文章来源：《智能矿山》2024年第7期 “学术园地”专栏

作者简介：赵青，工程师，硕士，主要从事智能矿山人工智能方向研发工作

作者单位：煤炭科学技术研究院有限公司；煤炭智能开采与岩层控制全国重点实验室；煤矿应急避险技术装备工程研究中心；北京市煤矿安全工程技术研究中心

引用格式：赵青. 基于5G的煤矿智能视频分析系统的研发与应用[J].智能矿山，2024，5（7）：66-71.

基金项目：煤炭科学技术研究院有限公司技术创新基金资助项目（2023CX-I-11）；天地科技股份有限公司科技创新创业资金专项资助项目（2023−TD−ZD005−005，2024−TD−QN002）

点击文末左下角“阅读原文”，免费下载阅读pdf全文

关注微信公众号，了解更多矿山智能化建设进展

视频监控是井下安全管理的重要手段，随着智能化的发展、井下安全管理的需求增加，监控设备也需要做出变革。传统的井下视频监控主要依赖人工，监控人员通过持续关注屏幕，发现煤矿现场的危险行为和异常现象，人为进行报警记录。然而，这种传统方式受限于监控人员的精力与注意力，可能导致一些潜在的安全隐患被忽视，对井下人员安全生产造成威胁。

矿用5G技术的成熟使井下网络传输环境有了显著改善，在全新的网络环境下，同样需要对视频监控设备进行改良。为了适应井下逐渐变革的网络结构，减少井下人员生产工作中存在的安全隐患，应对煤矿井下复杂多变的工作条件以及传统井下监控的局限性，笔者进行基于5G的煤矿智能视频分析系统的研究与开发，构建一种全天候实时监控、全自动分析预警、远程实时处置的智能系统，在传输方面能够适应当前井下5G大带宽、低时延的网络环境；将智能分析处理芯片与监控设备集成于一体，研究井下动目标的检测算法，可以实现井下视频的采集、分析、处理一体化。

基于5G的煤矿智能视频分析系统以多维视频数据采集、图像识别、AI控制为核心技术，结合5G通信技术，构建全天候实时监控、全自动分析预警、远程实时处置的智能系统。基于5G的煤矿智能视频分析系统由多种矿用型视频采集终端、矿用型边缘

分析装置以及基于5G的智能视频分析管控平台组成，基于5G的煤矿智能视频分析系统总体架构如图1所示。

图1　基于5G的煤矿智能视频分析系统总体架构

基于5G的煤矿智能视频分析系统由视觉采集装置、分析装置以及基于5G的智能视频分析管控平台协同进行图像采集、智能分析和联动报警。井下的黑光摄像仪、本安云台摄像仪等装置用于不同环境下的图像及各种信息的采集，通过矿用5G基站将图像数据传输到邻近的矿用边缘分析服务器上。边缘分析服务器（可以理解为基于5G的煤矿智能视频分析系统中的计算节点）根据业务逻辑识别业务模型，进一步通过配置文件调用模型处理视频图像数据并得到分析结果。整个推理过程由1个状态检测进程监控，用以保障计算的鲁棒性。边缘分析服务器将分析结果以图像数据的形式通过井下井上交换机上传至井上服务器，对于报警信息，服务器会通过声光报警系统、矿用本安型显示器等设备进行联动报警，实时显示井下场景、分析结果以及报警信息。同时通过RTSP或其他数据传输协议将图像数据实时上传到视频存储器中。

基于5G的煤矿智能视频分析系统通过大数据、任务调度等技术实现链路跟踪、服务治理等功能，为系统的易管理性以及安全性提供支持。

（1）煤矿黑光夜视成像与井下复杂背景图像增强技术

针对井下环境低照度、多尘雾等特点，提出双图像传感器构架和彩色夜视图像融合方法，通过改进双边滤波的融合Retinex算法，提升图像的亮度、对比度，减轻图像边缘模糊和色彩失真等问题。

（2）神经网络轻量化动目标检测技术

提出轻量化动目标检测技术，在MobileNet神经网络框架中对图像数据进行规范化处理并使用深度可分离卷积层，在不影响算法检测功能的前提下对动目标检测算法进行轻量化精简，减少迭代计算过程，使动目标检测算法的时间空间复杂度达到最优性能，实现算法框架的可嵌入性。

（3）轻量化煤矿智能视频分析平台开发技术开发平台采用MVC架构，实现了业务定义与业务实现的剥离，各模块之间按照统一接口进行交互，分析功能由基于注册机方式的SDK框架承载，改进了算法框架不同导致的各功能模块之间耦合度高的问题，有利于轻量化部署。基于MediaPipe框架，整理各算法和功能模块公用算子，将算子原子化，最大限度复用算子，实现功能的解耦以及流程的优化，提升了识别速度。

（1）矿用高清摄像仪

矿用高清摄像仪主要采用黑光夜视成像技术，运用视网膜成像的双sensor构架和彩色夜视图像融合。在井下低照度、煤粉尘多的条件下（如综采工作面）使用该摄像仪，其各项性能指标均优于普通摄像仪，黑白最低照度可达0.05lx，水平清晰度为900TVL，灰阶等级为11级，可清晰地监测并回传井下实时视频画面。矿用高清摄像仪如图2a所示。

图2　矿用型5G视觉采集装置

（2）矿用热成像摄像仪

矿用热成像摄像仪主要采用热成像与可见光的双目模式，可检测煤矿井下隐性火区分布、火源位置、大型设备的温度，还可实现火点检测、烟雾识别、温度异常报警，对井下火灾隐患的排除及井下救援具有重要意义。矿用热成像摄像仪如图2b所示。

（3）矿用红外云台摄像仪

矿用红外云台摄像仪通过将红外传感器与光学相机结合，可在井下黑光环境下进行图像采集，利用云台可实现水平方向0°~355°、垂直方向0°~90°的图像采集，摄像仪可安装在井下关键巡检点位及工作面，配合智能视频分析算法实现人员巡检智能检测以及综采工作面采煤机实时跟踪。矿用红外云台摄像仪如图2c所示。

（4）矿用智能摄像仪

矿用智能摄像仪主要采用深度学习算法，以海量图片及视频资源为路基，通过机器自身提取目标特征，形成深层可供学习的目标图像，提高目标的检出率。设备内置电动变焦镜头，操作便易，变焦过程平稳，支持AI模型的下发和运行，生成检测结果并上传业务平台；支持对人员、设备等目标的检测，并对检测结果分类，检测和分类结果均可上传业务平台；支持对实时视频进行分析，按照设定的帧率进行分析，并按照设定的报警间隔上传结果；支持抓图轮巡任务，按照设定的时间间隔进行抓图分析，并按照设定的报警间隔上传结果，矿用智能摄像仪如图2d所示。

结合矿用产品设计标准，进行轻量化结构设计，研制出一款矿用型边缘计算服务器，如图3所示，该服务器通过国家矿用型产品安全标准认证，采用ARM架构，并在设计的过程中，采用国产化AI加速芯片，便于适配与编译煤矿智能视频分析程序。该服务器可在井下部署基于5G的智能视频分析管控平台，最高支持16路视频的并行分析，并具备标准RS485接口，可将分析结果传输至井下控制单元以及地面智能视频分析综合管控平台。

图3　矿用型边缘计算服务器

矿用型边缘计算服务器将传统井上机房计算推理资源下沉至井下，可实现基于5G的煤矿智能视频分析边缘端计算，避免井上分析结果下发造成的传输时延，结合矿用5G网络大带宽、低时延特点，联动井下控制系统实现快速响应。

基于5G的智能视频分析管控平台利用深度学习框架以及机器视觉领域前沿技术，实现井下多种场景的智能识别分析联动功能。

平台主要由数据层、服务层、应用层构成。数据层提供数据接收、分发、联动、处理以及存储功能，能够接收井下图像数据信息并将信息分发到分析侧进行分析，将视频信息以及报警信息进行存储，同时可以存储用于不同业务的深度学习模型以及算法库；服务层具有整体平台服务治理以及配置管理功能，同时通过任务调度、数据流等操作对平台运行状态进行链路跟踪、集群监控以及容错保护，确保平台运行鲁棒性；应用层承载整体平台分析以及配置功能，主要包括人员“三违”检测、工作面工作人员人脸识别、火点检测、烟雾识别、温度检测、刮板输送机内大块煤智能视频检测、输送带堆煤检测智能视频识别、报警日志以及配置管理等功能，平台及功能如图4所示。

图4　基于5G的智能视频分析管控平台及功能

（1）人脸识别

平台能够识别的人脸库为3000人，识别时间2s，准确率95%。同时利用人员定位系统（UWB）对人员距离和所在位置进行判断，结合人脸识别，判断当前人员的身份信息以及是否进入危险区域，实现人员危险行为的监测。

（2）人员“三违”检测

在井下重点区域（如刮板输送机内、架前区域、刮板输送机机头和机尾）进行人员“三违”行为的智能视频识别。对进入该区域的行为预警并提醒工作人员禁止进入指定区域；在危险区域对人员进行检测识别，并推送预警信息。

（3）烟火点及温度检测功能

能够实现煤矿井下隐性火区分布、火源的位置检测，大型设备的温度检测，对井下火灾隐患的排除及井下救援都具有重要意义。

（4）大块煤检测

对刮板输送机大块煤场景建立模型，异物场景检测建模，视频按帧输入模型。当发现大块煤或超大煤量时，软件算法可发出预警信息，并上报基于5G的煤矿智能视频分析管控平台。

（5）片帮检测

当片帮面积大于1.5m2时（阈值可根据用户需求设置），能够及时发出报警信息，显示出实时片帮画面。视频分析平台可区分不同区域的片帮报警和同一区域的连续片帮报警。

基于5G的煤矿智能视频分析系统目前已应用于国家能源集团“基于5G通信的智能矿山基础平台建设”项目中，基于5G的煤矿智能视频分析系统于2023年4月初在内蒙古鄂尔多斯市国家能源集团神东煤炭集团公司上湾煤矿（简称上湾煤矿）试运行。在上湾煤矿井下综采工作面、大巷、变电所等重点场景共安装矿用高清摄像仪、矿用热成像摄像仪、矿用红外云台摄像仪以及矿用智能摄像仪110余台，矿用边缘计算服务器10台（图5）。

图5　现场设备安装

基于5G的智能视频分析管控平台主要由摄像仪进行图像采集，通过5G基站进行信号的传输。经过井下的矿用AI服务器进行视频智能分析，包括人员、设备等动目标的检测，堆煤、大块煤等场景的检测，温度、烟雾异常的检测等（图6），实现对井下视频的智能监控和报警，平台目前各项技术指标均已实现，整体运行稳定。

图6　现场平台运行情况

基于5G的煤矿智能视频分析系统将深度学习及其他最新的机器学习算法和计算机视觉技术运用到煤矿生产管理中，结合井下大带宽、低时延的5G网络，可以实现采煤机视频实时跟踪、片帮告警智能视频识别、堆煤检测智能视频识别、刮板输送机内大块煤及煤量估算智能视频识别、人员“三违”预警智能视频识别、井下工作人员人脸识别、烟火点检测等20种以上场景的智能视频分析，并可以生成报警日志以及支持报警录像回放。基于5G的煤矿智能视频分析系统以自动化和信息化确保矿区的安全生产，做到“事前预防，事中控制，事后分析”，可以有效提高劳动生产率，减少用工人数，降低生产成本，提高经济效益。