• 全部
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会

煤矿带式输送机异常状态视频AI识别技术研究

2023-10-10


       毛清华,教授,博士生导师,现任西安科技大学机械学院副院长、仪器科学与技术硕士点学科带头人,陕西高校煤矿机电系统智能测控青年创新团队带头人。兼任中国工程机械学会矿山机械分会常务理事,中国振动工程学会转子动力学分会理事,陕西省振动工程学会理事,《工矿自动化》杂志编委。主要研究方向为煤矿机电设备智能检测与控制、机器人、机械传动系统故障诊断和图像智能识别等。主持国家自然科学基金面上项目、陕西省科技厅重点研发计划项目、陕西省科技厅陕煤联合基金项目、教育部博士点基金项目等20余项。获陕西省科学技术奖二等奖1项,中国煤炭工业协会科学技术奖二等奖3项,西安市科学技术奖二等奖1项,陕西省教学成果奖二等奖2项。发表学术论文40余篇,其中SCI/EI检索20余篇。出版专著1部,教材1部。参与编写煤矿智能化方面的团体标准和企业标准4项。授权国家专利40余项,其中发明专利20余项。


带式输送机异常状态视频AI识别研究现状 


1)输送带跑偏视频AI识别技术

       将预处理作为带式输送机输送带跑偏视频AI识别技术的首要研究目标。基于深度学习的输送带跑偏视频AI识别方法提高了跑偏识别的效率,但仍存在数据集构建耗时长、使用的视频AI识别算法只能对局部输送带进行识别而难以有效获得长距离依赖关系的问题。因此,在输送带跑偏识别中,需加强对数据集高效构建方法及融合全局和局部信息的视频AI识别算法的研究,从而提高输送带跑偏异常识别精度与速度。


2)托辊故障视频AI识别技术

        目前主要开展了基于红外视频AI技术、基于红外视频与RGB视频融合的托辊故障识别方法研究。将RGB视频图像与红外视频图像融合,能有效提升托辊故障识别精度,但仍存在识别实时性不足、融合后数据对比度低、细节丢失等问题。未来可考虑融合激光雷达等设备采集的数据,加强融合算法及视频AI识别技术研究,进一步提升识别精度和速度。


3)人员异常状态视频AI识别技术

        带式输送机运行中的人员异常状态主要分为人员入侵危险区域及人员不安全行为。① 人员入侵危险区域识别技术。人员入侵危险区域的视频AI识别算法包括帧差法、背景建模法和光流法等,但由于人员入侵带式输送机工作区域的数据样本不足、视频AI识别算法提取特征能力有限,人员入侵识别率仍有待提升。加强可应用于小样本数据的视频AI识别算法研究和融合前景人员动态信息与背景环境静止信息的识别算法研究,可进一步提升对人员入侵危险区域的识别效果。② 人员不安全行为识别技术。加强对融合人体轮廓、人体骨架等多种特征的三维视频AI识别技术研究,可有效提升人员不安全行为识别精度。


4、堆煤检测视频AI识别技术

       视频AI识别技术作为非接触式检测方法,在带式输送机堆煤检测中可有效克服传统检测方法的弊端并提高识别实时性。基于三维视频AI技术的堆煤异常识别方法能够检测带式输送机上煤流三维信息,对堆煤识别准确性更高,但现有的三维点云信息处理复杂,基于三维视频AI的堆煤识别精度和速度有待进一步提升。


5、输送带异物视频AI识别技术

       在异物视频AI识别算法方面,针对因异物数据不足导致的识别精度不高问题及因算法复杂导致的实时性问题,需加大对小样本识别算法的研究,从而降低视频图像数据集构建时间,提升识别精度与速度。



异常状态视频AI识别技术存在问题及解决思路


1)视频图像数据集构建耗时长

       ① 主要原因。目前视频AI识别采用有监督学习方法,需要大量异常状态数据样本,这些样本需要人工进行标注,耗时较长;异常状态出现频率小,采集异常状态数据周期较长。

       ② 解决思路。针对标注耗时长问题,加大半监督学习AI识别技术、无监督学习AI识别技术和小样本学习算法的研究。扩充异常数据集,基于生成模型的扩充方法可得到丰富多样的异常数据集,也可较好解决异常数据采集周期长导致的数据集构建耗时长问题。


2)异常状态识别精度不高

       ① 主要原因。煤矿带式输送机处于采光条件差、杂光干扰、粉尘干扰等复杂环境,导致视频图像模糊。实际工况中带式输送机异常状态出现频率不高,导致异常状态数据集不足,正常与异常样本数据不平衡。现有深度学习方法对于煤矿复杂环境下的视频图像特征提取和特征融合能力不足。

       ② 解决思路。研究适应于煤矿井下复杂环境的图像去模糊方法,构建数据集之前进行图像降噪、图像增强等预处理,提升数据集图像质量。对于正负样本不均衡导致的识别精度不高问题,运用辅助分类生成对抗网络等算法均衡异常和正常样本,提升识别精度。针对现有深度学习模型特征提取及融合能力不足导致的识别精度不高问题,通过改进视频AI识别的深度学习算法,使之更适用于煤矿特殊环境。 


3)视频信息传输延时大

        ① 主要原因。目前带式输送机异常状态视频识别系统将视频信息从井下带式输送机传到地面服务器,地面服务器利用视频AI识别算法识别视频信息中异常状态,视频信息传输距离远,且传输过程中存在网络通信延时,导致视频信息传输延时较大。带式输送机异常状态识别信息传输量较大,网络带宽占用率高,影响视频信息传输速率,导致传输延时较大。

       ② 解决思路。针对目前将数据传输至地面服务器识别异常状态导致的延时现象,构建“云−边−端”协同的视频AI识别系统架构,充分发挥边缘节点计算的优势,缓解传输过程及地面云端计算堵塞问题。适当降低视频分辨率,压缩数据量,减小带宽占用率,在井下合理部署高带宽、低延时的5G等网络通信系统。



煤矿带式输送机视频AI识别技术发展趋势


1)高性能视频AI识别算法

       针对识别精度不高、数据集构建耗时长等问题,需进一步加强无需人工构建数据集的无监督学习模型研究,简化识别过程,并深化提升算法识别精度的理论研究。进一步加强对当下主流AI算法的改进研究并提出新的AI识别算法,使之在井下复杂环境中呈现更好的识别效果。


2)高带宽、低延时视频通信技术

       现有4G、WiFi等网络通信技术在带宽、稳定性、延时等方面都不能满足煤矿视频信息高效传输需求,所以攻关高带宽、低延时的视频通信技术是未来的发展趋势之一。如代表性的5G网络,具有高带宽、低延时等优势,合理部署后将有利于解决井下带式输送机异常状态视频数据传输延时问题。


3)“云−边−端”高效协同视频AI识别系统

       目前用于视频AI识别分析的边缘计算节点存在通信接口协议、数据类型不同及边缘计算能力不足等问题,均会导致“云−边−端”系统难以高效协同。因此,应进一步加强对边缘计算、多数据融合技术,以及通信协议、接口自主匹配研究,构建“云−边−端”高效协同处理的视频AI识别系统。


4)健全视频AI识别技术标准

       目前视频AI识别技术已广泛应用于煤矿井下带式输送机等场景异常状态识别中,但尚未建立统一的技术规范标准、技术管理标准和技术应用标准,不利于视频AI识别技术在更多煤矿中的推广和应用。因此,逐步健全视频AI技术标准和生产实际中的技术管理体系,有助于形成安全高效的带式输送机异常状态视频AI识别体系,不断提高煤矿智能化建设水平。


引用格式

毛清华,郭文瑾,翟姣,等. 煤矿带式输送机异常状态视频AI识别技术研究[J].工矿自动化,2023,49(9):36-46.

MAO Qinghua, GUO Wenjin, ZHAI Jiao, et al. Research on video AI recognition technology for abnormal state of coal mine belt conveyors[J]. Journal of Mine Automation,2023,49(9):36-46.

扫码阅读全文


  责任编辑:宫在芹
今日专家
亮点论文

活动构造研究的关键环节与发展趋势袁道阳1, 王有林2, 李树武2, 王万合3, 李林元3, 邹小波4, 文亚猛1 作者单位(1. 兰州大学 地质科学与矿产资源学院,甘肃 兰州 730000;2. ...

今日企业

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联