目前大多数的井下人员不安全行为识别研究侧重于在计算机视觉上提高精度，但井下易出现遮挡、光照不稳定、反光等情况，仅采用计算机视觉技术难以实现对不安全行为的准确识别，尤其登高作业中的爬梯、扶梯等相似动作在识别过程中易被混淆，存在安全隐患。针对上述问题，提出一种基于多模态的井下登高作业专人扶梯检测方法。该方法从视觉和音频2个模态对监控视频数据进行分析。视觉模态方面，采用YOLO v8模型检测专人扶梯是否存在，如果存在，获得专人扶梯的位置坐标，并将视频段放入OpenPose算法中进行姿态估计，得到人体的各个骨骼关键点的特征，将这些骨骼关键点序列放入改进的时空注意图卷积网络（SAT-GCN）中，得到人体动作标签及其对应概率。音频模态方面，采用飞桨自动语言识别系统将语音转化为文本，使用双向编码器表示( BERT)模型对文本信息进行特征分析与提取，得到文本标签及其对应的概率。最后将视觉模态与音频模态得到的信息进行决策级融合，判断井下登高作业是否有专人扶梯。实验结果表明：基于骨架数据的动作识别中，优化后的SAT-GCN模型对于爬梯、扶梯、站立3种动作的识别精度分别提升了3.36%，2.83%，10.71%；基于多模态的检测方法比单模态方法具有更高的识别准确率，达到98.29%。

0 引言
1 基于多模态的井下登高作业专人扶梯检测方法原理
2 基于多模态的井下登高作业专人扶梯识别算法
2.1 基于YOLO v8的专人扶梯检测
2.2 基于OpenPose的人体骨骼关键点检测
2.3 基于SAT-GCN的人员动作识别
2.4 基于BERT模型的文本分析
2.5 多模态融合
2.6 基于多模态的登高作业不安全行为判别
3 实验验证与结果分析
3.1 实验环境与数据来源
3.2 实验与结果分析
3.2.1井下专人扶梯识别
3.2.2 井下登高作业文本分析
3.2.3 井下登高作业不安全行为识别
4 结论