从分析宝日希勒露天煤矿智能运输安全生产监控系统数据存储及计算存在的主要问题入手,研究并确立了宝日希勒露天煤矿安全生产大数据存储与流式计算的技术架构。采用分布式消息系统Kafka进行数据存储,采用流计算引擎Flink进行数据计算,针对实时数据、历史数据、业务数据的存储需求,分别采用Redis数据库、Elasticsearch、PostgreSQL进行数据存储。通过在宝日希勒露天煤矿智能运安全生产监控系统中的应用,验证了大数据存储与流式计算技术的可行性、高效性、可靠性。

0 引言
1 宝日希勒露天煤矿安全生产数据存储与计算的现状
2 大数据存储与流式计算技术
2.1 基于分布式消息系统Kafka的数据存储
2.2 基于流计算引擎Flink的数据计算
2.3 基于多种数据库的数据存储
2.3.1 实时数据存储
2.3.2 历史数据存储
2.3.3 关系数据存储
3 大数据存储与流式计算技术的应用效果
4 结语