通信对算力的影响有那么大？这是一个做大模型的朋友问我的问题。我才发现，居然还真有挺多人不了解这一点。 他看到中科院计算所某团队的案例，他们在做分子动力学模拟时发现，随着节点数量增加，计算速度确实在提升，但大量时间却被通信消耗掉，效率反而越来越低。 这其实是超算领域经典的“通信瓶颈”。 随着智算基础设施逐渐向万卡、十万卡规模扩张，通信带来的问题也被无限放大，网络从幕后走向台前。 也正因如此，上周中科曙光发布国产高速网络scaleFabric让不少业内人眼前一亮。这套网络主打的就是低时延、高带宽和无损通信，目标就是解决大规模集群里的数据交换问题。 前面说的中科院计算所团队就是第一批“种子用户”。他们实测，这套全国产高速网络不仅解决了通信瓶颈的问题，而且从部署到运行都很顺畅，各种科研软件都能直接跑起来，对研究人员来说非常友好。 很多人以为算力革命只靠芯片，但在万卡集群时代，真正决定效率的往往是网络。
