文章来源：《智能矿山》2024年第8期 “神东煤炭集团智能化建设成果”专栏

作者简介：刘雄雄，高级工程师，主要研究智能矿山通信网络

作者单位：国家能源集团神东煤炭集团智能技术中心

引用格式：刘雄雄.叶脊架构在神东煤炭集团网络中的应用实践[J].智能矿山，2024，5（8）：49-53.

点击文末左下角“阅读原文”，免费下载阅读pdf全文

关注微信公众号，了解更多矿山智能化建设进展

煤炭是国家能源基石，是清洁高效利用的最经济、可靠的能源，煤矿智能化是实现煤炭工业高质量发展的核心技术支撑，而网络是煤炭企业实现智能化最重要的IT基础设施。

国能神东煤炭集团有限责任公司（简称神东煤炭集团）是国家能源集团的骨干煤炭生产企业，积极响应国家现代化建设的号召，正在全面推进煤矿智能化建设工作，也是国内煤矿智能化建设的标杆企业。随着神东煤炭集团煤矿智能化建设的推进，单个矿井的网络规模及其网络带宽迅速增加，扁平化的叶脊架构在煤炭企业网络中的部署和实践成为必然趋势。

现有叶脊架构的应用研究主要集中在企业数据中心领域，例如包琅允在《叶脊架构在数据中心的应用》中探讨了采用叶脊架构的大二层架构，以解决数据中心东西向流量问题，进而提高网络效率；安志聪在《数据中心叶脊网络架构及预端接布线设计探讨》文中指出，采用叶脊架构大二层架构，解决数据中心东西流量问题，提高了数据中心网络效率。然而，目前鲜见叶脊架构在大型煤炭企业网络中的应用实践研究。基于此，笔者介绍了叶脊架构在煤炭企业网络中的应用实践，包括组网现状、网络架构设计、路由规划等内容，并详细分析了叶脊架构在神东煤炭集团网络实践中的具体应用效果，旨在为叶脊架构在大型煤炭企业网络中的应用提供参考与借鉴。

神东煤炭集团拥有13个矿井，矿井分布在内蒙古、陕西、山西三省区域，南北长160km、东西宽140km，通信网络覆盖地理范围广，矿区通信光缆敷设环境较为复杂，增加了通信网络维护难度。原有神东骨干网络由6个核心结点组成环网架构，其余各矿及地面单位结点使用二层组网技术连接至6个骨干结点，各二级单位的设备网关均连接6个骨干结点。以太网为基于总线的广播式网络，二层数据链路层，采用带冲突检测的载波监听多路访问（CSMA/CD）机制，神东煤炭集团以太网的二层广播域较大，易形成广播风暴，企业网络的信道利用率较低，神东煤炭集团原网络环型拓扑示意如图1所示。

图1　神东原网络环型拓扑示意

随着神东煤炭集团矿井智能化建设，矿井单位对网络带宽、速率、时延、收敛速度等需求迅速提高，网络改造需解决网络带宽小、二层广播域大、不支持IPv6协议等问题，亟待建设大容量、高可靠、易维护的煤炭企业网络，以满足日益增加的网络容量及可靠性需求。

网络架构设计叶脊（Spine-Leaf）网络架构也称为分布式核心网络，由叶子层（叶层）和脊椎层（脊层）组成，每个叶层（leaflayer）交换机都与每个脊层（spine layer）交换机联接，形成扁平化网络拓扑结构，最大优势是带宽利用率高、东西向数据传输效率高和网络高可靠性。

为提升骨干网络的利用效率和可靠性，神东煤炭集团网络架构整体采用叶脊网络架构，其中公司总部、A矿、B矿、C矿等4个结点，属于脊交换机，13个矿井单位和3个地面单位交换机作为叶交换机，具体如图2所示。

图2　神东煤炭集团网络叶脊架构示意

在神东煤炭集团叶脊网络架构中，每个脊交换机结点部署2台物理交换机，采用CSS（Cluster Switch System）集群和MAD（Multi-Active Detection）多主检测技术，2台物理交换机从逻辑上虚拟为1台设备，登录CSS中任1台成员交换机，即可统一配置和管理CSS系统所有成员交换机，可简化网络部署和配置管理，并扩展带宽和链路跨框冗余备份。

16个叶交换机结点与该区域的脊交换机结点在物理层两两相联，形成扁平化网络拓扑结构；叶交换机与脊交换机间2条物理链路接口，采用Eth Trunk（链路聚合）技术进行捆绑，捆绑后作为更大带宽的逻辑接口使用，2个物理接口间形成负载平衡，有效提高通信链路的可靠性。

神东煤炭集团网络路由协议使用OSPF（Open Shortest Path First）路由协议，启用OSPFv3，同时支持IPv4地址和IPv6地址。公司总部、A矿、B矿、C矿等4个脊交换机结点属于网络中的核心/汇聚层，16个叶交换机结点属于网络中的汇聚/接入层。图3绿色区域为4个脊交换机和16个叶交换机对应端口，划分至OSPF骨干区域0；红色区域为接入层每台叶交换机划分出OSPF业务区域，负责接入各单位不同的业务VLAN，16个叶层交换机负责接入各单位二层交换机，各单位的设备网关移至接入层的叶交换机上。因此，神东煤炭集团网络路由区域为1个骨干区域area0和16个业务区域area1-16。

图3　神东煤炭集团OSPF路由区域示意

叶脊架构在神东煤炭集团网络中的实践部署，改变了网络架构，其应用实践效果及价值体现在以下4个方面。

（1）增加网络带宽

公司核心/汇聚层网络节点带宽由10Gbit/s增加到2×40Gbit/s，网络额定速率提高8倍；汇聚/接入层网络节点带宽由1Gbit/s增加到10Gbit/s，网络额定速率提高10倍。

（2）减小网络发送时延

设长度为100MB的数据块，若在带宽为10Gbit/s的信道上连续发送，发送速率为10Gbit/s，发送时延为0.08388608s；同理100MB的数据块在带宽为40Gbit/s的信道上连续发送，其网络时延是0.02097152s，网络发送时延减少4倍，见表1。

OSPF协议使用分布式的链路状态协议，当链路状态序号发生变化时，路由器向所有路由器洪泛法发送信息。每10s，OSPF用问候分组报文确定相邻路由器可达性，其余4种分组报文完成链路状态数据库同步。

神东煤炭集团叶脊网络共划分17个OSPF区域，如图3所示，当非骨干区域某煤矿网络设备或链路故障时，路由表仅在该矿OSPF非骨干业务区域内收敛，减少路由表大小，不会泛洪至其他OSPF区域，提高网络路由表的收敛速度。

改造前网络核心层由公司总部、A矿、B矿、C矿、D矿和E矿等6个骨干结点组成，链路条数为7，网络收敛时间17s；改造后网络核心层由公司总部、A矿、B矿、C矿等4个结点组成，链路条数为5，网络收敛时间11s。

叶脊网络架构满足业务分层，提升网络转发效率和网络利用效率。

（1）缩小二层广播域

梳理全公司IP地址，13个矿井单位和3个地面单位网络终端设备网关下移至叶交换机，广播报文限制在矿区内部，缩小企业网络数据链路层的广播域。改造前某核心结点下连4个矿井单位，若1个煤矿为1000个网络终端接入，改造前二层广播域范围为4000台网络终端，改造后为1000台网络终端。

（2）缩短路由跳数

叶脊网络架构中，所有横向叶交换机的网络位置为平行状态，扩大了接入层网络结点，缩短网络路由跳数，降低网络转发时延。在同一煤矿区域中心，煤矿网络主机通过1个区域脊交换机结点与另一煤矿的网络主机通信，如图4红色箭头所示，D矿主机经过2跳即可到达目标路由F矿；在不同煤矿区域中心，某煤矿网络主机通过2～3个区域脊交换机结点，与另一煤矿的网络主机通信，如图4绿色箭头所示，B矿主机经过3跳到达目标路由K矿。

图 4　叶脊网络路由跳数示意

（3）网络业务分层

神东煤炭集团叶脊网络架构实现了网络业务分层，网络业务分层很好适应了煤矿智能化分布式数据中心建设的数据通信需求，为煤矿智能化建设提供通信网络保障。

第1层：同一煤矿2台主机间通信时，2台主机的网关都在1个叶交换机的OSPF业务区域内，网络数据块仅在该矿内部传输（终端主机的网关位于该矿叶交换机）。

第2层：同一煤矿区域中心不同煤矿的2台主机间通信时，网络数据块经过该煤矿区域中心脊交换机和矿叶交换机（经过3个OSPF区域）；如图4红色箭头所示，当D矿和F矿间存在大量东西向流量时，对其他煤矿网络影响较小。

第3层：跨煤矿区域中心不同煤矿的2台主机间通信时，网络数据块在不同脊交换机和叶交换机间传输（经过3个OSPF区域，如图4绿色箭头所示。

第4层：煤矿主机在访问神东数据中心、集团广域网或互联网等业务时，网络数据块会在不同脊交换机和叶交换机上传输（经过3个以上OSPF区域）。

（1）设备集群和链路聚合保障网络的可靠性

改造前网络核心交换机为1台物理设备，核心结点间用1条物理链路连接，改造前4～5个矿的网络终端可同时收到数据链路层的广播报文；改造后每个脊交换机结点部署2台物理设备，脊结点间用2条物理链路连接；叶交换机与脊交换机间的2条物理链路，采用链路聚合技术形成负载均衡。在叶交换机间主机通信时，至少有4种物理转发路径；煤矿主机在访问神东数据中心、集团广域网或互联网时，至少有6种物理转发路径。

（2）网络分层满足扩展性

16个叶交换机接入侧，分别划分至16个不同的OSPF业务区域，各单位设备的网关下移至叶交换机结点，公司各矿井及地面单位网络相对独立，某煤矿网络业务调整割接时，网络影响范围缩小至该矿叶交换机之下，便于网络扩展与网络维护工作。网络可靠性与可扩展性对比见表2。

（1）叶脊网络架构有效解决了大二层网络广播域影响范围较大的问题。通过分层设计，实现了网络业务分层，大幅缩小了广播域的范围，显著提高了网络的转发效率和利用率。

（2）叶脊网络架构解决了网络容量小的问题。通过增加3层网络结点和提升网络结点带宽，提供更大网络容量，满足神东煤炭集团日益增长的网络需求。

（3）叶脊网络架构解决了网络可靠性和可扩展性的问题，两两相联的扁平化网络拓扑结构与1个骨干区域和16个业务区域的网络路由规划，网关下移至13个矿井和3个地面单位的叶交换机，并支持IPv6协议，全面提升了网络可靠性与可扩展性。

（4）网络业务的分层设计使得网络管理更为清晰高效。每个叶层交换机与脊层交换机连接，形成扁平化网络拓扑结构，提高了带宽利用率，优化了东西向煤矿数据传输效率。

（5）因神东煤炭集团横跨内蒙古、陕西、山西3个省区，部署叶脊架构项目实施过程中，因脊交换机和叶交换机间需互联，对网络结点间的物理通信光缆资源需求较大，需重新敷设较多光缆线路资源，以满足叶脊架构部署要求。