综采工作面环境较复杂，地形狭长，多目标多设备经常出现在同一场景当中，使得目标检测难度加大。目前应用于煤矿井下的目标检测方法存在特征提取难度较大、泛化能力较差、检测目标类别较为单一等问题，且主要应用于巷道、井底车场等较为空旷场景，较少应用于综采工作面场景。针对上述问题，提出了一种基于深度神经网络的综采工作面视频目标检测方法。首先，针对综采工作面环境复杂多变、光照不均、煤尘大等不利条件，针对性挑选包含各角度、各环境条件下的综采工作面关键设备和人员的监控视频，并进行剪辑、删选，制作尽可能涵盖工作面现场各类场景的目标检测数据集。然后，通过对YOLOv4模型进行轻量化改进，构建了LiYOLO目标检测模型。该模型利用CSPDarknet、SPP、PANet等加强特征提取模块对视频特征进行充分提取，使用6分类YoloHead进行目标检测，对综采工作面环境动态变化、煤尘干扰等具有较好的鲁棒性。最后，将LiYOLO目标检测模型部署到综采工作面，应用Gstreamer对视频流进行管理，同时使用TensorRT对模型进行推理加速，实现了多路视频流的实时检测。与YOLOv3、YOLOv4模型相比，LiYOLO目标检测模型具有良好的检测能力，能够满足综采工作面视频目标检测的实时性和精度要求，在综采工作面数据集上的平均准确率均值为96.48%，召回率为95%，同时视频检测帧率达67帧/s。工程应用效果表明，LiYOLO目标检测模型可同时检测、展示6路视频，且对于不同场景下的检测目标都有较好的检测效果。

河南省科技攻关计划项目（212102210390）；河南省煤矿智能开采技术创新中心支撑项目（2021YD01）；

0 引言
1 基于深度神经网络的综采工作面视频目标检测
2 目标检测数据集制作
2.1 数据集背景分类
2.1.1 不同光照背景下的图像选取
2.1.2 不同尘雾背景下的图像选取
2.1.3 不同检测区间的图像选取
2.2 数据集目标标注
3 综采工作面视频目标检测模型构建
3.1 Li YOLO模型构建
3.2 模型的训练与测试结果分析
3.2.1 实验环境与配置
3.2.2 评价指标
3.2.3 实验结果与分析
4 综采工作面视频目标检测模型的工程部署
5 结论

杨艺,付泽峰,高有进,崔科飞,王科平.基于深度神经网络的综采工作面视频目标检测[J].工矿自动化,2022,48(08):33-42.DOI:10.13272/j.issn.1671-251x.2022040003.