对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂，监控视频质量不佳，导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型，用于识别煤矿井下人员不安全行为。针对分段视频图像，采用3D ResNet101模型提取图像特征，采用openpose算法和ST-GCN（时空图卷积网络）提取人体关键点特征；采用交叉注意力机制对图像特征和人体关键点特征进行融合处理，并与经自注意力机制处理后的图像特征和人体关键点特征拼接，得到最终行为识别特征；识别特征经全连接层及归一化指数函数softmax处理后，得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验，结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征，大幅提高识别准确率；与目前应用最广泛的行为识别模型SlowFast相比，基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%,0.9%，在自建数据集上的识别准确率提高6.7%，验证了基于交叉注意力机制的多特征融合行为识别模型更适用于煤矿井下复杂环境中人员不安全行为识别。

国家能源集团科技创新项目（GJNY-20-159）；

0 引言
1 多特征融合行为识别模型架构
2 行为识别原理
2.1 图像特征提取算法
2.2 人体关键点特征提取算法
2.3 图像特征自注意力机制
2.4 人体关键点特征自注意力机制
2.5 交叉注意力机制
3 实验与结果分析
3.1 实验数据集
3.2 实验环境
3.3 公共数据集实验结果及分析
3.4 自建数据集实验结果及分析
4 结论

饶天荣,潘涛,徐会军.基于交叉注意力机制的煤矿井下不安全行为识别[J].工矿自动化,2022,48(10):48-54.DOI:10.13272/j.issn.1671-251x.17949.