随着煤矿智能化的发展与煤矿机器人的研发应用，煤矿操作员与煤矿机器人之间的高效协作对于井下复杂任务起到至关重要的作用。为优化多工种煤矿操作员与多机器人协作的复杂运行关系，基于数字孪生理念与在XR领域的长期实践，开展面向多人-多机复杂协作任务的煤矿XR智能运维系统设计与关键技术研究。首先，针对复杂任务中两类煤矿操作员（包括集控操作员与就地操作员）与两类煤矿机器人（包括探测机器人与作业机器人）协作的典型场景，设计了系统总体架构，将系统划分为物理子系统、VR运维子系统与AR运维子系统三部分，并对各部分的内容、功能以及三部分之间的协同运行关系进行介绍；然后，对系统涉及的VR运维子系统构建、AR运维子系统构建以及通讯网络构建等关键技术进行剖析，对各关键技术对应的解决方案进行了探讨，并实现了两类煤矿操作员、两类煤矿机器人与VR/AR运维子系统的集成运行；最后，在实验室环境下模拟井下复杂环境搭建了试验场地，在试验场地中设定了任务点与具体任务，对系统的可行性与有效性进行测试验证。试验结果表明，煤矿XR智能运维系统能够在不同复杂任务对应的多人-多机协作情形中发挥作用。通过VR运维子系统与AR运维子系统的协同运行，可实现虚拟空间和物理空间的协同感知、决策与控制，能够在虚拟空间中对物理空间的复杂任务进行迭代、优化和验算，形成了人-人、人-机、机-机交互协作的智能运行模式。

1 系统总体架构
1.1 物理子系统
1.2 VR运维子系统
1.3 AR运维子系统
1.4系统协同运行关系
2 系统关键技术研究
2.1 VR运维子系统构建关键技术
2.1.1 关键信息监测
2.1.2 SLAM点云逆向重建
2.1.3 基于5W2H模型的人机任务分配
2.1.4 机器人移动路径规划
2.1.5 机械臂运动轨迹规划
2.2 AR运维子系统构建关键技术
2.2.1 AR对象虚实映射
2.2.2 多模态交互模型
2.2.3 基于WebRTC的远程音视频通话
2.3 通讯网络构建
2.3.1 基于ROS#的ROS与Unity3d双向通讯
2.3.2 基于PUN的Unity3d跨平台通讯
2.3.3 多机器人之间的通讯
3 系统集成
3.1 多人-多机协作关系
3.2 虚实融合的“感-决-控”一体化架构
4 系统测试验证
4.1 试验环境介绍与任务设定
4.2 试验案例与分析
5 结论