• 全部
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会
基于Hadoop生态圈的选煤数据中台设计
  • 作者

    赵鑫王然风付翔

  • 单位

    太原理工大学矿业工程学院

  • 摘要

    针对现有选煤厂信息管理系统采用的接口不规范,导致数据重复采集,且各系统相互独立,对多源异构数据处理能力弱等问题,基于Hadoop生态圈大数据技术,提出了一种基于Hadoop生态圈的选煤数据中台设计方案。通过主数据管理系统、企业服务总线定义数据标准实现系统集成;设计归一化、相关系数矩阵和噪声异常点检测程序实现数据处理;结合D-S(Dempster-Shafer)证据理论、Hadoop与Hive数据仓库设计多源异构数据融合子系统,实现数据融合;利用Highcharts数据可视化组件实现数据交互式的可视化展示。实际应用结果表明,该数据中台实现了主数据定义标准与系统集成接口规范化,提高了选煤数据处理能力,实现了多源异构选煤数据融合共享、数据实时交互式的可视化展示。

  • 关键词

    选煤厂智能化Hadoop生态圈数据中台大数据多源异构数据数据融合D-S证据理论

  • 基金项目(Foundation)
    山西省应用基础研究计划重点自然基金项目(201901D111007);山西省关键核心技术和共性技术研发攻关专项项目(2020XXX004)
  • 文章目录

    0 引言

    1 选煤数据中台架构

    2 选煤数据中台关键技术

       2.1 多源异构数据集成技术

       2.2 多源异构数据处理技术

       2.3 多源异构数据融合技术

       2.4 多源异构数据可视化技术

    3 选煤数据中台应用

    4 结论

  • 引用格式
    赵鑫,王然风,付翔.基于Hadoop生态圈的选煤数据中台设计[J].工矿自动化,2021,47(12):121-127.
  • 相关文章
  • 图表
    •  
    •  
    • 选煤数据中台总体架构

    图(6) / 表(0)

相关问题

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联