采用人工智能技术对井下人员的行为进行实时识别，对保证矿井安全生产具有重要意义。针对基于RGB模态的行为识别方法易受视频图像背景噪声影响、基于骨骼模态的行为识别方法缺乏人与物体的外观特征信息的问题，将2种方法进行融合，提出了一种基于多模态特征融合的井下人员不安全行为识别方法。通过SlowOnly网络对RGB模态特征进行提取；使用YOLOX与Lite-HRNet网络获取骨骼模态数据，采用PoseC3D网络对骨骼模态特征进行提取；对RGB模态特征与骨骼模态特征进行早期融合与晚期融合，最后得到井下人员不安全行为识别结果。在X-Sub标准下的NTU60 RGB+D公开数据集上的实验结果表明：在基于单一骨骼模态的行为识别模型中，基于多模态特征融合的行为识别模型支流网络PoseC3D拥有比GCN（图卷积网络）类方法更高的识别准确率，达到93.1%；基于多模态特征融合的行为识别模型对比基于单一骨骼模态的识别模型拥有更高的识别准确率，达到95.4%。在自制井下不安全行为数据集上的实验结果表明：基于多模态特征融合的行为识别模型在井下复杂环境下识别准确率仍最高，达到93.3%，对相似不安全行为与多人不安全行为均能准确识别。

0 引言
1 行为识别模型总体架构
2 骨骼模态数据获取
2.1 基于YOLOX的人体目标检测
2.2 基于Lite-HRNet的人体骨骼关键点检测
3 多模态特征融合
3.1 RGB模态特征提取
3.2 骨骼模态特征提取
3.3 特征融合
4 实验验证与结果分析
4.1 实验数据集
4.2 实验方案
4.3 NTU60 RGB+D公开数据集实验结果分析
4.4 自制井下不安全行为数据集实验结果分析
5 结论

王宇,于春华,陈晓青等.基于多模态特征融合的井下人员不安全行为识别[J/OL].工矿自动化:1-7[2023-11-09].DOI:10.13272/j.issn.1671-251x.2023070055.