• 论文
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会

矿井智能视频分析关键技术综述

2023-12-01


       程德强,教授,博导,中国矿业大学信息与控制工程学院党委书记,中国煤炭工业协会信息化分会理事,江苏省仪器仪表学会理事,江苏省科技咨询专家,《工矿自动化》杂志编委。获全国煤炭青年五四奖章、全国煤炭行业教育先进工作者、江苏省“333高层次人才培养工程”第五期中青年科学技术带头人、江苏高校“青蓝工程”优秀教学团队带头人、江苏省优秀教育工作者等称号。研究方向为智能传感与检测、图像处理与计算机视觉,长期从事矿井生产场景安全隐患辨识和监测预警技术研究及成果转化工作。主持国家自然科学基金项目3项,作为技术负责人完成国家重点研发计划课题、江苏省科技成果转化专项资金项目和贵州省科技支撑计划重点项目等20余项。成果获教育部科技进步二等奖、山西省科技进步二等奖、中国煤炭工业科学技术一等奖等省部级科研奖励10余项。以第1作者或通信作者发表学术论文80余篇,授权发明专利30余项。

       智能化是煤矿发展的方向,而智能视频分析是促进煤矿智能化的有效途径。全矿井智能视频分析技术具有实时监控、预警和决策支持能力,有助于提高矿山企业的安全性、生产效率、资源利用效率和环境可持续性。目前全矿井智能视频分析技术仍面临一些挑战,如视频数据量大、复杂环境下的目标检测与跟踪、高精度的事件识别、处理大规模视频数据的实时性等。通过对关键技术进行深入研究和不断创新,可以进一步提升全矿井智能视频分析技术的性能和效果,为矿山行业的发展和安全提供可靠保障。



全矿井智能视频分析关键技术


1、视频采集与处理技术

       1) 视频采集设备。① 高清晰度的视频采集已成为视频监控领域的主流趋势。 ② 视频采集设备的自适应能力得到大幅提升。 ③ 视频采集设备的实时性和数据传输速度是当前研究的关键。 ④ 视频采集设备的耐用性和适应性备受关注。

       2) 视频预处理。① 图像去噪。传统方法包括基于滤波器的方法和基于统计建模的方法。近年来深度学习技术的兴起极大地推动了图像去噪技术的发展。② 图像增强。传统方法主要包括直方图均衡化、灰度拉伸、滤波、小波变换、基于Retinex理论模型等。基于深度学习技术的低质矿井图像增强方法正在得到广泛应用。③ 图像超分辨率重建。主要包括插值法、重建法和学习法。学习法的重建效果上明显优于其他方法。在煤矿安全生产视频 AI 识别系统方面,有效地轻量化深度学习模型是亟待解决的问题。④ 视频稳像。传统方法包括基于软件的数字稳像和基于硬件的物理稳像。目前基于深度学习的矿井视频电子稳像方法取得了重要进展。

       3) 视频压缩与编码。传统方法主要基于离散余弦变换和运动补偿技术。目前针对矿井视频压缩与编码的研究主要集中在高效压缩算法和针对矿井环境特点的优化方面。随着深度学习技术的发展,研究人员开始将其应用于矿井视频的压缩和编码。


2、视频分析基础技术

       1) 目标检测与跟踪。① 目标检测。研究涉及数据集构建与标注、目标检测算法、矿井环境下的挑战、实时性与计算效率等方面。②  目标跟踪。研究涉及目标表示与特征提取、运动建模与目标预测、多目标跟踪与目标重识别、实时性与计算效率。

       2) 运动检测与分析。① 光流法。主要包括向量计算和特征提取两类。② 基于背景建模的方法。主要有基于统计的方法、基于差异图像的方法、基于像素分类的方法、基于深度学习的方法。

       3) 物体识别与分类。① 特征提取与描述。常见的矿井图像和视频特征提取方法包括基于颜色的特征提取、基于纹理的特征提取、基于形状的特征提取、基于深度学习的特征提取。常见的矿井图像和视频特征描述方法包括尺度不变特征变换、加速稳健特征、HOG、LBP。② 分类器设计与训练。主要包含选择分类器算法、模型训练、参数调优、模型评估、模型调优和迭代5个步骤。


3、高级视频分析技术

       1)行为识别与分析。① 动作识别与行为建模。常见方法包括基于手工设计特征方法、基于轨迹分析方法、基于CNN方法、基于RNN方法、基于多模态融合方法、基于强化学习方法、 基于注意力机制方法。近年来基于深度学习的方法在动作识别和行为建模中取得了显著进展。② 行为异常检测。常见方法包括统计方法、机器学习方法、基于规则的方法、异常度量方法。近年来基于深度学习的方法在行为异常检测中取得了显著进展。

       2) 事件检测与警报。① 关键事件定义与描述。可从时间、空间、因果关系和影响等维度进行描述。② 事件检测与识别算法。常见算法包括基于规则的方法、基于机器学习的方法、基于深度学习的方法、基于图模型的方法、基于集成方法的方法。

       3) 视频监控与布防。① 监视区域划定与配置。常用方法包括风险评估、任务需求分析、地理布局与平面图分析、支持设备选择、网络和存储规划、实地验证和优化。② 视频分析与警报响应。矿井视频分析可实现目标检测和识别、行为分析、运动跟踪等功能。常见的警报响应包括实时警报、警报通知和报警中心、自动联动控制3种。



全矿井智能视频分析应用

       研发了泛联兼容的矿山智脑AI视觉智能服务平台,可应用在智能探放水系统和探放瓦斯系统、煤岩识别与截割系统、掘进工作面、综采工作面、煤流运输系统、矿井提升机系统、辅助运输系统、选煤厂、智能化装车配煤系统等生产场景,实现了视频机器视觉识别与工业控制的深度融合,能够识别人员行为,监测矿井环境和设备状态,并自动保护停机和智能调速控制主要生产设备,实现安全节能目标。



面临的挑战与发展方向

       全矿井智能视频分析技术面临的挑战和限制具体体现在:① 视频质量;② 复杂背景;③ 实时性要求;④ 数据隐私和安全;⑤ 系统可靠性与稳定性。

      提出6个发展方向和建议:① 提升和优化算法。② 融合多模态数据。③ 开展实时分析和边缘计算研究。④ 开展强化学习和自主决策方面的研究。⑤ 注重数据隐私和安全保护。⑥ 发展硬件设备和传感器技术。


引用格式

程德强,寇旗旗,江鹤,等. 全矿井智能视频分析关键技术综述[J]. 工矿自动化,2023,49(11):1-21.

CHENG Deqiang, KOU Qiqi, JIANG He, et al. Overview of key technologies for mine-wide intelligent video analysis[J]. Journal of Mine Automation,2023,49(11):1-21.

扫码阅读全文


责任编辑:李明

审       核:王晖

  责任编辑:宫在芹
今日专家
亮点论文

煤炭企业环境会计信息披露体系构建与应用作者:袁显平, 崔伟单位:西安科技大学管理学院文章刊发:《煤炭经济研究》2023年第6期摘要:中国式现代化是人与自然和谐共生的...

今日企业

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联