曙光:超大规模计算下如何保持高效互联与协同?
作者: 贾西贝
责任编辑: 贾西贝
来源: ISMB
时间: 2017-11-16 23:39
关键字: 中科曙光,TORUS硅元交换机
浏览: 0
点赞: 0
收藏: 0
目前,大型超级计算机在系统规模、扩展性、成本、能耗、可靠性等方面仍面临着严峻挑战。11月13日,中科曙光发布了全球首款TORUS硅元交换机。基于TORUS架构构建的超级计算机互连网络系统具有领先的性能、超强的扩展能力和极佳的容错能力,是迈向E级的最佳网络技术路线。
曙光公司HPC产品事业部总经理李斌和Intel Joe Yaworski共同发布Torus硅元交换机
高性能计算和人工智能蓬勃发展的背后不仅需要计算能力的支撑和推动,也离不开高速互连网络的保驾护航。
高性能计算机有很多重要的组成部分,其中最主要的三个硬件的部分是计算、存储和网络,TORUS硅元交换机就是高性能计算的网络部分。
对于高性能系统来说,解决的问题不再是互联,而是在高性能设备上将各个部件有效整合。高速网络好比身体上的神经,把人的各个部分组合在一起成为一个整体,所以说,在解决问题的时候也需要整合,这就是高速网络要解决的问题。
需要强调的是,高性能计算机的内部网络跟互联网络有很大的不同。如果把计算单元比成汽车,要让高性能计算机越来越快,就是把计算单元做成超级跑车,这个网络就是道路,我的车再快,没有好的道路支撑速度也发挥不出来。
所以说,要把高性能计算机的道路修好,相当于网络的速度、带宽要很大,修好路的同时还要把道路的规划和交通控制做好,这种控制其实就是网络的拓扑结构以及路由算法。
正因为高速网络的重要性,曙光在做高性能计算机的时候也把这个作为核心技术进行研发并投入了大量的精力。曙光高性能产品事业部总经理李斌强调,如果对连接结构不做优化的话,可能未来,计算网络成本要占到整个设备的50%。
曙光早在2015年的硅立方高性能计算机中就已实现了三维的3D-TORUS。目前,曙光的TORUS网络技术研究又有了突破性进展。
TORUS网络的维度从3D进化到了6D,提高TORUS维度能有效降低大规模系统的最长网络跳数,在软件层面,支持6D-TORUS的无死锁动态路由算法已经经过实际环境检验。
在硬件层面,TORUS硅元交换机就是一项重要的硬件实现,相当于把各种网络连接结构固化到了一个硬件里,以此来提高网络部署的集成度、密度,降低线缆的使用量和实施难度。本次发布的TORUS硅元交换机可以支持多达192个100Gb高速网络端口,TORUS硅元交换机之间通过400Gb专用接口进行互连。通过这样的硬件实现,也提高了TORUS高速网络技术的覆盖范围,一些中小规模的高性能计算系统也可以更便捷地享用这项先进技术。
值得一提的是,液冷技术对提高大规模网络系统的集成度和可靠性、降低能耗等方面同样可以发挥重要的作用。
另外,曙光是第一个大规模商业应用冷板式液冷的服务器厂商,在液冷方面积累了很多经验。因为能耗是整个高性能系统中非常关注的点,因此本次发布的TORUS硅元交换机就支持冷板式直接液体冷却,这标志着曙光的液体冷却技术从计算设备延展到了网络系统。
另外,为了更节能曙光用了高压直流的技术,保证交换机稳定运行和更加节能。同时,整个液冷系统的设计是插拔式的,每个单元相互独立,要想维修直接拔下来就可以,大大降低了维修成本。
与传统胖树网络拓扑结构相比,强调邻近互连的TORUS网络技术在扩展性上具有明显的优势。
关于这两种网络的拓扑结构都非常专业。现在常用的树状结构可以理解成北京的环线公路,所有计算单元相互通信的时候都要走到树的每一层里面去,可能近一点的走二环,远一点的要走三环,规模越大,树的层就越多,相当于所有的节点通信都要通过环路来走。TORUS技术相当于在环路上修了横七纵八的枝干的路,这些计算单元通信的时候不用都跑到环路上去了。
TORUS技术设计的目的是面向重大科学装置。8U的高度;网络协议是基于英特尔的Omni-Path架构;有6个32口的100G口,总共192个端口。当然,另外为了扩展更多维还留了400G的口。
一般来说1000个节点以下选择胖树会略好一些,1000-2000个节点以上的话,TORUS则有明显的优势,曙光的目标是可以扩展到10万个节点规模,因为TORUS主要的目的是瞄准更大规模扩展系统做得网络技术。当然,它在小规模的情况下也能用。如果是相同的节点规模,同样都用一台交换机的话,TORUS的性价比会比用胖树的交换机更好。
未来,曙光将在计算、存储、网络等核心技术方面进行持续创新,逐步发展成为中国新形象、新技术创新力量的名片之一。