-
作者
王宏伟杨焜付翔李进贾思锋
-
单位
太原理工大学山西省煤矿智能装备工程研究中心太原理工大学矿业工程学院太原理工大学机械与运载工程学院
-
摘要
当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大，导致综采数据利用率低，无法辅助管理层实时下发决策指令。针对上述问题，设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成。数据源层由工作面各类硬件设备提供原始数据；数据采集存储层使用OPC UA网关实时采集井下传感器监测信息，再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎；数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据，解决因网络延时导致的数据局部采集顺序紊乱问题，并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值，提高数据挖掘模型的运行速度；前端应用层利用可视化组件与后端数据库关联，再通过AJAX技术与后端数据实时交互，实现模型挖掘结果和各类监测数据的可视化展示。测试结果表明，该平台能够充分保证数据采集的实时性与完整性，清洗效率较单机MySQL查询引擎提升5倍，挖掘效率较单机Python挖掘引擎提升4倍。
-
关键词
综采工作面海量数据数据挖掘数据采集数据存储数据清洗数据可视化
-
基金项目(Foundation)
国家自然科学基金资助项目（52274157）；山西省揭榜招标项目（20201101005）；“科技兴蒙”行动重点专项项目（2022EEDSKJXM010）；
-
文章目录
0 引言
1 平台总体架构
2 平台关键技术
2.1 海量数据实时采集存储技术
2.2 海量数据清洗技术
2.3 海量数据挖掘技术
2.4 前端实时可视化技术
3 平台测试
3.1 平台搭建
3.2 数据采集存储性能分析
3.3 数据清洗性能分析
3.4 数据挖掘性能分析
4 结语
-
引用格式
王宏伟,杨焜,付翔,李进,贾思锋.综采工作面海量数据挖掘分析平台设计[J].工矿自动化,2023,49(05):30-36+126.DOI:10.13272/j.issn.1671-251x.18088.
-
相关文章
-
相关专题
工矿自动化 
2023年第05期 
