综采工作面关键设备和人员的行为识别是开采环境信息智能感知的基础和核心。然而，综采工作面光照条件普遍较差，煤尘和水雾等干扰容易引起视频画面模糊，导致识别目标行为的关键特征难以提取，使得设备和人员的行为识别准确度无法达到实际工程应用的标准。为此，基于ResT网络架构，建立一种包含空间、时间、通道的多重信息自注意力模型和特征融合机制，扩展了模型特征提取的信息源，将其从单纯的空间信息扩展到空间、时间和通道的多重信息，提升了模型对目标行为的表征能力。其中，空间信息是对目标行为在空间上的深度解析，展现了目标的纹理、位置和形状等一系列深层特征；时间信息是从连续的视频帧中提取目标行为的时序特征，反映了行为发生的顺序以及演变关系；通道信息则是对空间和时间层面上的扩展与深入，从多角度挖掘空间和时间信息，并将原始数据表征在特征通道上，提供了目标行为的全局特征。算法的有效性在综采工作面行为识别数据集上进行了验证和对比实验。实验结果表明，在真实综采工作面环境下，行为识别的准确度可达到96.90%。相较于Swin-Transformer、Timesformer等主流的行为识别算法，识别准确率分别提升了11.06%和10.62%。算法经过ONNX模型转换和TensorRT加速后，在GPU上实现了推理，具备工程应用价值。据此，研发了综采工作面行为识别系统，并将算法模型以插件的形式嵌入到行为识别系统的Pipeline中，实现在DeepStream框架下对综采工作面关键设备和人员行为的实时推理和准确识别。

0引言：
1相关工作
2 ResT空间注意力运行机理
2.1 Transformer的自注意力机制
2.2 ResT的自注意力机制
3 STC-ResT模型
3.1 STC-ResT运行机制
3.2空间-时间-通道注意力模块
3.2.1 空间注意力模块
3.2.2 时间注意力模块
3.2.3 通道注意力模块
4实验设置与分析
4.1工作面行为识别数据集
4.2实验环境与配置
4.3对比实验
4.4消融实验
4.5识别结果及分析
5综采工作面行为识别系统
5.1前端
5.2 后端
5.3服务器端网络模型部署
5.4工程部署与实验
6总结与展望