煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取三个步骤:(1)针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny 网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;(2)求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;(3)采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。本文搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,实验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;本文提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。
0 引言
1图像与点云融合定位方法概述
1.1 基于IA-SimAM-YOLOv7-tiny的锚孔目标检测算法
1.1.1 数据集构建
1.1.2 IA-SimAM-YOLOv7-tiny模型
1.1.3 消融实验
1.1.4 检测效果验证
1.2 相机与三维激光雷达的联合标定
1.2.1 相机内参标定
1.2.2 相机与激光雷达的外参标定
1.3 相机与激光雷达数据融合进行目标检测
2 实验结果与分析
2.1 实验部署
2.2 模型实验验证
3 结论
主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会