玩过拔河比赛的人，大概都会有过这样的感受，1个人一队，哨声一响就开始用力拉，没有什么问题，那如果是100个人一队，就需要解决每个人的用力节奏问题了，如果节奏不对，个人虽然很卖力，但也可能事倍功半。

AI芯片集群，也会遇到类似的问题。一块芯片很好说，但如果把4096块芯片整在一起，难度就会指数级上升。

“超节点。”

先说超节点是什么情况吧？

手机里的芯片，大概有几十亿个晶体管，这虽然听起来已经很顶了，但对于训练一个万亿参数的大模型来说，这就是卡拉米了。

所以，就有了把几十到几百甚至上千张AI算力卡，整在一起，当成一台超级大电脑用的思路了。业内就把这种，叫超节点。

它和普通服务器集群不一样，在超节点内部会构建全局统一的地址空间，数据可以在算力卡之间高速传送；在互联协议支持下，一张卡能够透明地访问另一张卡的远端内存资源，省去传统集群繁琐的数据打包、转发环节。

这看起来不错吧？但在这种思路之下，又要面临哪些困难呢？

“通信墙。”

之前的文章聊到过信号传输过程中的衰减、发热等带宽墙的问题，但这里要说的是一个包含它但比它还复杂的问题——通信墙，它既包含带宽压力，也包含时延、同步和拥塞难题。

4096张算力卡要协同训练一个模型，每算完一步，都得把结果同步给其他卡。这个同步数据量很大。有仿真和实测显示，千亿‑万亿级模型一次梯度同步产生的数据量可达TB级别，传统以太网带宽可能就扛不住。

在延迟上。在传统架构运行万亿模型训练的典型工况下，有不少观测显示大约40%的时间里，计算单元其实不是在算，而是在等数据传输过来。

那么，怎么解决这些问题呢？主流思路是搭建一套专用高速互联网络，让芯片之间的通信带宽远高于普通网络。比如英伟达的NVLink 6，在NVL72机架内，72块GPU之间单卡双向带宽可达3.6 TB/s，实现机架级全对全互联。

但新问题也来了，连接规模越大，互联就越难。铜缆方案在这么高的带宽下，有效传输距离不到一米。4096卡规模，铜缆不够用了，怎么办？光互联。

“光互联。”

在极高频率下，电信号在铜线里跑不了几米就开始严重衰减。家用网线，几十米，信号能用；但在AI超节点里，芯片间带宽可能是家用网线的几万倍，铜缆的有效传输距离被压缩到一米以内。

所以，大规模超节点要用到光互联方案。传统做法是用可插拔光模块，但按传统方案支撑4096卡规模，大约需要4.8万颗800G光模块来维持互联带宽。这么多光模块，功耗、故障都可能又是问题。

所以，最近行业内有了新动作，采用5500个Hi‑ONE近封装光学（NPO）引擎，替代原本预估需要的4.8万颗800G光模块，整机功耗降低超过550千瓦，系统可用度达到99.8%。当然，这目前还处于验证待交付阶段。

即便用上这套方案，4096卡超节点的散热仍然是巨大工程。整个系统需要全液冷设计，供电系统也要向更高电压架构演进。这样看，现在拼的已经不仅是芯片技术了，还有热力学和电力工程的事。

“故障。”

越是复杂的东西，出毛病的概率也可能就越大。

单张算力卡或许可以连续跑一年都没事；但当系统扩展到4096张卡，只要任意一个硬件、链路或者进程出现异常，就有可能拖累整个训练任务。

在恢复时间上，中断之后，不是简单点一下重启就能继续，还需要重新加载之前完整的训练状态。公开实测显示，128卡节点故障恢复大约需要188秒，256卡节点约316秒。

不过，也有一些好消息，业内正在快速推进高可靠方案。深圳已经点亮的昇腾910C智算集群，其一阶段3000P规模实测单设备日均故障率低至0.3‰。

但故障带来的影响不止是等待恢复，一旦部分节点掉队，为了保持全局梯度同步，其余数千张卡也常常需要停下等待对齐。这就涉及到下一个问题了。

“软件。”

硬件拼在一起后，还有协同的事，怎么拆分任务、给谁分配哪一部分计算，组合空间极其庞大，很难单纯依靠人工经验找到最优方案。

在流水线并行里，不同算力单元负责模型不同层级，上游没有算完，下游就无法开工；如果任务分配、调度节奏失衡，就会出现一部分卡满载、另一部分卡长时间空闲等待的情况，算力得不到充分利用。

混合专家模型（MoE）的普及进一步放大了这个压力。MoE架构高度依赖All‑to‑All全交换通信，几乎每一张卡都要和大量其他卡互传Token与中间结果，对网络带宽、调度策略提出极高要求。

这就有点像4096个人开视频会，每个人都要轮流和其余4095个人交换信息，想维持高效，难度可以想象了吧？

“标准。”

最后，聊一下标准，也就是互联协议尚未统一。

目前，英伟达NVLink、华为灵衢、AMD牵头的UALink等多条互联路线并行，各家协议原生并不互通。

为此，中国信通院已牵头启动《智能计算 超节点参考架构》国家标准化指导性技术文件的编制工作；华为也早已宣布开放灵衢2.0技术规范，尝试拉动产业形成共识。但要真正实现不同厂商设备原生、高效的互联互通，可能还有很长的路要走。

“写在最后。”

所以，这样看来，4096卡超节点的协同难题，本质上是一个系统工程问题，难在系统。

它不是哪一块芯片不够快，也不是哪一根线不够粗。而是当4096个计算单元被整在一起工作时，通信、散热、供电、故障恢复、软件调度、标准兼容，每一个环节都可能成为短板；哪一环跟不上，整体效率就会打折扣。

业内有个共识，单纯堆叠算力卡数量，已经无法线性提升训练效率，通信墙正成为制约AI基础设施能力释放的核心瓶颈。这不是靠某一项单点技术突破就能解决的，需要芯片设计、网络架构、散热方案、系统软件、行业标准等多个层面长期协同推进。

参考资料：
新浪网.华为昇腾芯片最新进展！昇腾960研发进度超预期，性能倍增.2026年9月18日.