基于深度学习的煤矿钻进机器人送钻位姿测量方法

煤炭学报
网络首发时间：2024-11-08 16:00:31

作者

罗江南李建平江红祥张德义
单位

中国矿业大学机电工程学院苏州科技大学机械工程学院
摘要

井下钻孔是一种常用的施工方式，需要反复进行钻杆的装卸。为了实现钻杆的智能装卸，送钻位姿的测量尤为重要。然而，煤矿井下的复杂环境中，存在多尘多雾且光照多变的情况，使得传统方法的识别能力难以满足要求。此外，送钻时钻杆并没有安装在钻机上，直接测量不切实际。针对煤矿井下送钻位姿难以测量的问题，提出了一种基于深度学习的送钻位姿测量方法。该方法由基于改进的PointNet++分割模型和基于动力头与夹持器点云配准两部分组成。首先，为应对目前公开的钻机点云数据集规模不足的问题，搭建钻机点云获取平台，使用3D相机在夜间采集钻机点云数据。采集时，光照完全来自LED灯，以模拟井下光照不均的情况。为了模拟多尘多雾的井下环境，在点云数据中增加椒盐噪声，并在建立标签时将噪声单独分类，以达到去噪效果。其次，在PointNet++的基础上集成生成对抗网络以捕捉更复杂和微细的点云特征；同时，采用聚焦损失函数，提高模型对动力头和夹持器的关注度，并使用贝叶斯参数优化算法进行超参数调整。然后，使用点特征直方图（FPFH）和迭代最近点（ICP）算法对被测点云进行配准，以得到被测点云至源点云的转换矩阵；最终，确定送钻位置和方向向量，并以此定义送钻位姿。为了对所提方法的测量精度进行评估，采集6组钻杆安装在钻机上的钻进场景点云，通过Cloud compare软件手动分割，测量钻杆位姿。在自建数据集上的实验结果表明，改进的PointNet++模型在交并比（IoU）和分割精度（Precision）方面分别提升了17.7%和37.8%。其中，对于动力头和夹持器的IoU值分别提升了34.9%和60.3%。在送钻位姿测量方面，平均距离误差为6.39mm，径向距离误差为5.34mm，平均角度误差为1.6°。因此，所提出的送钻位姿测量方法是可行的，在煤矿钻杆装卸的智能化领域具有潜在的应用价值。
关键词

送钻位姿3D视觉点云分割深度学习生成对抗网络钻进智能化
文章目录

0 引言
1送钻位姿测量方案
2数据集构建
3 钻进场景点云分割优化模型
3.1 生成对抗网络（GAN）
3.2 生成器PointNet++
3.3 判别器
3.4 聚焦损失
3.5 贝叶斯参数调优
3.6 实验环境配置和评价指标
4送钻位姿估计及评估方法
4.1 基于FPFH+ICP配准的送钻位姿估计方法
4.2 送钻位姿真实值测量方法
4.3 送钻位姿评估方法
5 试验与分析
5.1 基于深度学习的分割结果
5.1.1 点云分割结果分析
5.1.2 消融实验
5.2 基于FPFH+ICP配准送钻位姿估计结果与分析
6结论
引用格式

罗江南,李建平,江红祥,等.基于深度学习的煤矿钻进机器人送钻位姿测量方法[J/OL].煤炭学报,1-13[2024-11-19].https://doi.org/10.13225/j.cnki.jccs.2024.0831.