环境感知和路径规划是煤矿智能化和无人化发展的关键技术。
煤矿机器人通过环境感知技术获取工作环境信息,而路径规划是继环境感知识别之后,决策和执行环节需要频繁迭代调用的核心功能,是实现机器人移动的基础。
根据《煤矿机器人重点研发目录》,需要环境感知、路径规划技术支撑的煤矿机器人可以分为5类:掘进类(掘进机器人)、采煤类(采煤机机器人)、运输类(搬运机器人、巷道清理机器人、井下无人驾驶运输车、露天矿卡车无人驾驶系统)、安控类(工作面巡检机器人、皮带机巡检机器人、巷道巡检机器人)、救援类(井下抢险作业机器人、矿井救援机器人、灾后搜救水陆两栖机器人)。
近日,中国矿业大学信息与控制工程学院杨春雨教授团队根据现有行业指导方案及国内外研究进展,以环境感知和路径规划为切入点总结了上述5类煤矿机器人的现状,归类现有研究并分析了煤矿机器人环境感知和路径规划研究中的热门研究方向和亟待解决的关键问题,讨论了相关方向的发展趋势。相关研究成果以《煤矿机器人环境感知与路径规划关键技术》为题于10月27日在《煤炭学报》进行了网络首发,张鑫博士为论文通讯作者。
一、5类煤矿机器人技术内涵
煤矿机器人环境感知相关研究可分为静态物体感知、动态事物认知2类;煤矿机器人的路径规划技术可分为关键部件定位、全局最优路径决策、自主避障规划3类。
(一)掘进类煤矿机器人
巷道掘进是煤矿开采的第一项工作,对后期开采起到决定性作用。在掘进工作中,掘进机利用行走机构向前推进,利用工作机构破碎和挖掘岩石,在矿区平直地面开凿出可通行巷道,具有成巷效率高的特点。
掘进机器人环境感知部分主要为掘进面煤岩分布的识别,而路径规划的重点在于研究掘进机器人车身相对大地坐标的定位、掘进头相对掘进面的定位、掘进头在掘进面上的路径规划。掘进机器人一般不存在大范围、长距离的行走,所以不考虑车身的路径规划。
掘进机器人技术内涵
无人化和智能化煤矿开采需要掘进机器人具有自主决策、智能控制能力,具备定位导航、纠偏、多参数感知、状态监测与故障预判、远程干预等功能,实现掘进机高精度定向、位姿调整、自适应截割及掘进环境可视化。
(二)采煤类煤矿机器人
采煤机作业决定该煤矿的生产效益,主要完成机械化掏槽和截割落煤,即在矿井下对采煤工作面(缓倾薄煤层﹑极薄复合煤层)开切底槽以截割落煤,取代较落后的手工工作。
采煤机的工作环境、技术指标和生产成本要求其必须具有较高的鲁棒性和工作精度。因此,提升采煤机智能化水平及其工作效率的根本措施是使用煤层及异构障碍的探测信息建立采煤刀头运行地图实现采煤机截割头合理截割路径规划。
采煤机机器人技术内涵
(三)运输类煤矿机器人
煤矿开采和生产工作离不开运输类煤矿机器人,一般配合其他关键矿用设备使用,如掘岩石转运、落煤运输、作业工人人车、辅助设备和物料输送、洗煤厂煤矿初产品配送等。其中,胶轮车具有高度灵活度,可用于多种运输环境,但无轨行走的特点增加了智能化实现难度。
运输类煤矿机器人处于起步阶段,其长期工作仍无法离开人为操控。分析已有研究,环境感知技术和运输车路径规划技术的研发可以加快煤矿运输车机器人化和智能化的发展。其环境感知包括对环境地图的创建和部分未知环境信息的识别;路径规划包括了运动规划和路径规划,根据环境不同及实际控制顺序,路径规划可分为全局路径规划、局部规划和轨迹重规划。
运输机器人技术内涵
(四)安控类煤矿机器人
安控巡检与煤矿开采的安全生产工作息息相关,是矿井下不可或缺的辅助工作。现有矿井巡检多依靠巡检人员携带手电及检测设备定时在复杂的巷道中步行检查,并在定点板牌上备注当前各气体浓度和巷道是否存在冒顶、漏顶等特殊情况,如若异常则及时上报。
按安控类煤矿机器人的行走方式划分,主要分为有轨式和无轨式矿用巡检机器人。有轨式巡检机器人的行走路线由轨道决定,但需要考虑定位等问题,而无轨式巡检机器人则具有更高的灵活性,但是需要考虑路径规划及避障问题。与其他煤矿机器人相比,巡检机器人的环境感知技术要求更高,其不但需要探测巷道、地面轨道等静止物体,还需要实时探测突发变化、其他移动设备及工作人员等动态事物并做出合适判断,确认是否存在风险。
安控类煤矿机器人技术内涵
(五)救援类煤矿机器人
救援类煤矿机器人具有多种结构的行走机构,其环境感知机构包括双目摄像机、激光雷达等。
根据需求,救援类煤矿机器人应具备自主行走、精确定位、被困人员生命探测、音视频交互、紧急救护物资输送、井下环境识别、挖掘、钻扩、运送、远程遥控等功能,实现害后的恶劣环境被困人员自主搜寻,实现抢险作业无人化。
救援类煤矿机器人技术内涵
二、关键技术及挑战
煤矿机器人关键技术主要包括:感知与认知、规划与决策、系统集成。
煤矿机器人关键技术
(一)感知与认知
感知是在一定环境和规律范围内利用相关信息做出判断,而认知不但需要判断规律内的事物,还要根据目前已掌握的信息进一步判断规律范围外的事物。
1.环境感知技术
基于视觉感知的传感器检测技术及其方法改进是煤矿机器人的必要研究方向,且发展趋势要求其精度更高、识别能力更强,在一定情形下可以更好的掌握动/静态障碍物的大地坐标、轮廓、深度等感知信息。
视觉感知的前端采集装置一般使用雷达(超声雷达、激光雷达、毫米波雷达等)、视觉摄像头(RGB摄像头、双目摄像头、深度摄像头等)。雷达扫描环境并生成工作环境的点云图,包含了工作区中各物体的坐标、深度等信息,而视觉摄像头采集到的图像数据在经过特征点匹配等处理后也可以对场景进行重构。
为了更智能地完成任务和适应工作环境,一般需要同时使用多种不同的传感器。但来自不同传感器的大量信息容易造成混乱,有效解决办法是使用多元传感器融合技术,这是环境感知技术的主要挑战之一。
2.突发情形认知
针对复杂、突发情形的认知技术不但需要煤矿机器人具有较高精度的感知能力,还需要其具有较高水平的物体识别能力。目前,常用于视觉认知的智能识别和分类框架是模板匹配、深度神经网络等机器学习方法。
小样本识别和迁移学习是解决深度网络框架缺点的有效探索,可以有效提高煤矿机器人的认知水平。元学习是其中较成功的策略,即“学会学习”,旨在使用以往知识经验来指导新任务的学习,令深度网络保持学习能力。使用元学习策略,可以令机器人认知模块较好地适合当前煤矿环境。
煤矿存在高度不确定性、各区域照度不同等特点,机器人大部分时间在实时行走,提取到的图片信息具有随机性和多样性,数据库中已包含的物体也可能因为角度和照度原因无法实现快速识别,少量未知物体在前期的数据集中难以全部涵盖,使用元学习的思想保留学习经验实现快速学习以便在下次遇到同样待识别物时既能够快速识别,也可以保证煤矿机器人的实时性要求
(二)规划与决策
煤矿机器人实现智能化决策并完成工作的过程即为煤矿机器人的规划过程。对于车型煤矿机器人,其规划主要体现在单目标点的路径规划及其控制,当任务包含多个目标点时则需要考虑各目标点的关系,并根据复杂关系完成自主最优决策,并在最优决策的框架下实现多个单目标点规划。
1.单目标点规划
对于掘进机器人和采煤机器人,其悬臂滚轮可以在传感器信息协助下使用全覆盖遍历路径规划:利用传感器获取煤岩分布信息,建立开采面栅格图,并根据不可通行的特征点对可采煤区进行划分,即在掘进面和截割面上规划好可截割区域和不可截割区域,并使用排序方法规划各待截割区域之间串联距离最短的连接方式,在可截割区域内使用由下而上的往复式遍历截割,截割完当前区域后截割头按照规划好的最短连接方式转至下一个可截割面重复遍历截割。
而对于其他3类机器人的行走控制和避障规划有2种方案可以参考:(1)对于运输和巡检煤矿机器人,其工作实时性要求低,可使用具有视觉感知能力的传感器,对工作范围进行扫描或拍摄,根据检测结果绘制出高精度地图,再进行路径规划;(2)对于救援机器人可以先使用全局路径规划方法规划出可通行、符合实际需求的最优全局路径,在行走过程中利用传感器信息做出避障决策。
2.多目标点决策
在煤矿机器人多目标点决策规划中,不但需要量化各目标点的需求度,还要在建立好决策模型后,使用合理的优化算法对目标点顺序进行最优排序,另外在目标点和目标点之间仍然需要设计稳定的避障规划技术。
使用算法进行全局和避障路径规划后,需要采用路径/轨迹/速度跟踪控制技术实现煤矿机器人更底层的运行。路径跟踪控制中,使用代价函数及机器人数学模型实现机器人对已规划好全局路线的逼近;在避障决策后,参考路径曲线与时间/空间,令煤矿机器人在规定的时间内到达某一预设好的参考路径点;更进一步,考虑煤矿环境的多坡道、多拐弯等情况,煤矿机器人在运行时的能源消耗比普通机器人更多,对速度和加速度进行规划并采取速度跟踪实现准确速度和加速度控制可以减少机器人能耗,其决策规划和控制技术均属于煤矿机器人的挑战性工作。
(三)系统集成
智能化煤矿工作平台集成是煤矿机器人环境感知和路径规划技术的关键搭载技术,该技术的挑战是机器人协作系统和局域通讯交互系统的搭建。其关系到相关算法及硬件的协调工作,需要具备各机器人快速通讯、准确定位功能以便完成矿区各机器人调度和机器人协作控制。
煤矿机器人系统框架
1.机器人协作系统
在煤矿工作区,随着机器人数量增加,机器人信息的有效处理及其决策控制成为问题。在多运输煤矿机器人车队中需要考虑安全车距保持问题;巡检机器人群和救援机器人群需要考虑当其中一个机器人到达事故点区域时,且当前机器人无法独立完成繁重任务,存在召集其他机器人并相互协作问题;当在露天环境中进行巡检和运输工作时,因为地面机器人的局限性还可以考虑增加无人机协同工作。以上工作均可归属于多机器人协作系统,其专项研发具有挑战性和实际意义,目前在煤矿机器人中的研究较少。
2.通讯交互系统
机器人协作的交互信息处理方式主要有2种:(1)集中式网络交互;(2)分布式网络交互。集中式控制使用蚁群算法在主机中进行任务分配,再发送给对应辅助运输机器人,实现多机器人搬运工作,为了防止机器人因未及时收到消息产生过操作和碰撞,引入了基于到达时间差的定位方法。其具有部署简单、单一处理器易数据存储、病毒感染几率低等优点,但缺陷明显:当数据量较大时,集中式的处理方式响应速度会明显减慢,且当各终端需求不同时需要单独对不同需求终端进行单独配置。煤矿环境中,各机器人终端的工作目及信息获取类型均不同,大量数据传输及单独配置特点令集中式网络交互较难实用。
分布式通讯交互方式可以增加机器人终端的扩展灵活性,更符合煤矿机器人的需求。各种数据由分布式终端自行处理并反馈有效信息的优点可以减少系统负荷,且其相关软硬件的配置分布于各机器人,当前任务完成后,多余的煤矿机器人设备可以快速地移植到其他任务中。
三、总结
最后,研究人员指出:
(1)感知与认知研究目前较集中于感知技术,如确定障碍物位置等,而更智能的认知技术需要进一步开发。通过认知技术煤矿机器人不但可以完成感知任务,还可以根据图像、视频、点云信息进一步识别当前障碍物的属性及威胁程度、预测四周事物的变化情况。相关认知方案在巡检机器人的故障检测中有较好的应用但仍有较多挖掘空间,经过针对性改进后有望服务于煤矿机器人自身。
(2)规划与决策不但是煤矿机器人的挑战性技术,还是机器人、智能汽车行业的研究方向之一。传统的路径规划方法虽然已经可以实现机器人自主运行,但智能化程度有限,一般只用于危险系数和实时性要求较低的工作领域。目前研究的重点是如何合理和迅捷地使用大量环境感知信息协助完成自主驾驶决策。
(3)系统集成是煤矿机器人的跨行业性的研究挑战,智能煤矿系统搭建决定着煤炭行业的未来发展程度。其首要任务是搭建具有数据快速传输能力的科学性网络系统(内部通讯系统、外部传输系统),实现管理人员、技术工人、煤矿机器人之间的闭环实时通讯和数据处理。另一部分工作是搭建多机器人协作控制系统,实现多工种煤矿机器人之间合作作业,充分实现煤矿无人化、智能化、系统化运作。
这项研究得到了国家重点研发项目、辽宁省重点科技创新基地联合开放基金项目、江苏省研究生科研与实践创新计划项目的资金支持。