基于骨架序列的行为识别模型具有速度快，算力要求低，模型简单等特点，图卷积神经网络在处理骨架序列数据时具有优势，而现有基于图卷积的矿工行为识别模型在高精度和低计算复杂度之间难以兼顾。针对该问题，提出了一种基于轻量化姿态估计网络（Lite-HRNet）和多维特征增强时空图卷积网络（MEST-GCN）的矿工行为识别模型。Lite-HRNet通过目标检测器进行人体检测，利用卷积神经网络提取图像特征，并通过区域提议网络生成锚框，对每个锚框进行分类以判断是否包含目标；区域提议网络对被判定为目标的锚框进行边界框回归，输出人体边界框，并通过非极大值抑制筛选出最优检测结果；将每个检测到的人体区域裁剪出来并输入到Lite-HRNet，生成人体关键点骨架序列。MEST-GCN在时空图卷积神经网络（ST-GCN）的基础上进行改进：去除ST-GCN中的冗余层以简化模型结构，减少模型参数量；引入多维特征融合注意力模块M2FA。生成的骨架序列经MEST-GCN的BN层批量标准化处理后，由多维特征增强图卷积模块提取矿工行为特征，经全局平均池化层和Softmax层得到行为的置信度，获得矿工行为预测结果。实验结果表明：① MEST-GCN的参数量降低至1.87 Mib；② 在以X-sub和X-view为评价标准的公开数据集NTU60上，采用Lite-HRNet提取2D人体关键点坐标，基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率分别达88.0%和92.6%；③ 在构建的矿工行为数据集上，基于Lite-HRNet和MEST-GCN的矿工行为识别模型的准确率达88.5%，视频处理速度达18.26 帧/s，可以准确且快速地识别矿工的动作类别。

0引言
1 矿工行为识别模型整体架构
2基于姿态估计网络和图卷积的矿工行为识别
2.1人体关键点提取模块
2.1.1 Lite-HRNet
2.1.2矿工行为数据集构建
2.2人体动作识别模块
2.2.1构造人体时空图
2.2.2 MEST-GCN模型
3实验结果及分析
3.1数据集
3.2 参数配置
3.3对比实验
4结论

王建芳,段思源,潘红光,等.轻量化姿态估计时空增强图卷积模型下的矿工行为识别[J/OL].工矿自动化,1-10[2024-12-02].https://doi.org/10.13272/j.issn.1671-251x.2024090059.