当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大，导致综采数据利用率低，无法辅助管理层实时下发决策指令。针对上述问题，设计了一种综采工作面海量数据挖掘分析平台。该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成。数据源层由工作面各类硬件设备提供原始数据；数据采集存储层使用OPC UA网关实时采集井下传感器监测信息，再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎；数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据，解决因网络延时导致的数据局部采集顺序紊乱问题，并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值，提高数据挖掘模型的运行速度；前端应用层利用可视化组件与后端数据库关联，再通过AJAX技术与后端数据实时交互，实现模型挖掘结果和各类监测数据的可视化展示。测试结果表明，该平台能够充分保证数据采集的实时性与完整性，清洗效率较单机MySQL查询引擎提升5倍，挖掘效率较单机Python挖掘引擎提升4倍。

国家自然科学基金资助项目（52274157）；山西省揭榜招标项目（20201101005）；“科技兴蒙”行动重点专项项目（2022EEDSKJXM010）；

0 引言
1 平台总体架构
2 平台关键技术
2.1 海量数据实时采集存储技术
2.2 海量数据清洗技术
2.3 海量数据挖掘技术
2.4 前端实时可视化技术
3 平台测试
3.1 平台搭建
3.2 数据采集存储性能分析
3.3 数据清洗性能分析
3.4 数据挖掘性能分析
4 结语

王宏伟,杨焜,付翔,李进,贾思锋.综采工作面海量数据挖掘分析平台设计[J].工矿自动化,2023,49(05):30-36+126.DOI:10.13272/j.issn.1671-251x.18088.