评价AI服务器，以前看GPU数量、单卡算力、显存容量就差不多了，进入超节点和万卡集群以后，只看这些指标已经不够了。大模型训练时，不同GPU需要不断交换参数、激活值和中间结果。推理上下文变长以后，系统还要频繁读取和保存KV Cache。GPU数量越多，需要交换的数据越多，通信等待也越容易成为瓶颈。一旦数据传输速度跟不上，GPU就只能停下来等待。机房里的芯片数量增加了，理论算力提高了，实际完成的训练任务和生成的Token却未必按相同比例增长。高速互联解决的就是这部分等待时间。它从一颗芯片内部开始，经过封装内的多个芯粒，再连接服务器里的CPU、GPU、网卡和存储，随后扩展到超节点，最后把数千张甚至数万张GPU组成一个集群。连接距离不断扩大，使用的协议和器件也会发生变化，但目标始终相同，就是让数据及时到达需要计算的位置，尽量减少GPU等待。国海证券将AI高速互联分为五个层级。沿着数据从芯片内部向外传输的路径，可以更清楚地理解，为什么互联已经从服务器配套功能，逐渐变成决定AI系统实际吞吐量的核心环节。这篇文章需要一定的基础知识认知，不然可能有些晦涩难懂，今天很累了，不想挖心思组织通俗语言了，抄作业直接看最后。。一、芯片越复杂，内部数据越难调度第一层是芯片内部的NoC，也就是片上网络。一颗AI芯片内部包含大量计算核心、缓存、内存控制器和输入输出模块。模块数量较少时，传统总线还能承担数据传输。集成规模扩大后，大量数据同时争用同一条线路，容易出现拥堵，时序设计和服务质量也更难控制。NoC把芯片内部的功能模块连接到多个路由节点，再根据数据的目标位置安排传输路径。不同模块可以同时通信，不必全部挤在一条总线上。英特尔至强处理器采用网格互联，Arm提供Neoverse CMN系列相干网格网络，AMD则向Arteris采购片上网络IP，用于下一代AI芯片设计。头部厂商有的自研，有的采购外部IP，说明NoC已经成为大型处理器设计中的固定环节，也由此形成了独立的IP市场。第二层发生在芯片封装内部。单颗芯片面积越大，制造难度和成本越高。Chiplet把计算、输入输出等功能拆成多个芯粒，再通过先进封装组合起来。计算部分可以使用先进制程，输入输出部分可以使用成本较低的成熟制程，同一块芯粒也能在不同产品中重复使用。芯粒拆开以后，数据必须在封装内部高速传输。互联带宽不足，多个芯粒虽然装在一起，运行时仍然会彼此等待。台积电通过SoIC、CoWoS和InFO等技术连接芯粒，英特尔采用EMIB和Foveros。UCIe则试图统一不同厂商芯粒之间的接口和通信规则，降低跨厂商组合的难度。头部芯片厂仍然保留自己的互联方案。英伟达Blackwell Ultra内部的两个计算模块通过NV-HBI连接，峰值带宽达到10TB/s。AMD MI300系列使用Infinity Fabric连接计算芯粒、输入输出芯粒和HBM。制程继续升级的同时，芯片性能也越来越受封装和芯粒互联影响。芯粒之间传得不够快，先进制程带来的计算能力同样会被通信拖住。二、PCIe速率越高，越需要Retimer数据离开芯片封装后，需要在CPU、GPU、网卡和固态硬盘之间传输，这一层主要依靠PCIe。PCIe是服务器内部最常见的通用接口。PCIe 5.0的传输速率为32GT/s，PCIe 6.0提高到64GT/s。速率越高，信号经过PCB和连接器时越容易衰减，服务器需要增加Retimer，对信号重新整形、校准和发送。CPU能够提供的PCIe端口数量有限。连接的GPU、网卡和存储设备增加后，PCIe Switch负责把少量主机端口扩展成更多独立通道，让多种设备同时接入。英伟达新一代SuperNIC还把PCIe交换功能与高速网卡集成，减少服务器内部的独立芯片和连接层级。这一层正在增加的还有CXL。CXL建立在PCIe物理层之上，主要用于内存扩展、共享和资源组合。它可以把外部DDR内存接入CPU系统，也可以把多台服务器没有充分使用的内存组合成资源池。AI推理中的KV Cache会随着上下文长度和并发请求增加，占用大量HBM。显存容量不足时，CXL可以把部分缓存放到容量更大的外部内存中，减少GPU显存压力。国海证券引用的实验显示，CXL内存扩展使CPU只读带宽提高24%，混合读写带宽提高39%。另一项CXL内存池研究中，KV Cache架构的首次令牌时间减少89.6%，吞吐量提高7.35倍。实验结果受具体软硬件环境影响，但已经说明，内存连接方式会直接改变推理速度。相关芯片市场也在扩大。弗若斯特沙利文预计，全球PCIe Switch与Retimer市场规模将从2024年的22.89亿美元增至2030年的77.61亿美元，CXL互联芯片市场同期可能由430万美元增至17.03亿美元。三、Scale-Up解决超节点内部GPU互联PCIe适合连接服务器内部的多种设备，但当几十张、上百张GPU需要高频交换数据时，通用接口的带宽和时延逐渐成为限制。Scale-Up互联由此进入超节点内部。Scale-Up把多张GPU连接在一个高带宽、低时延的通信域内。训练中的张量并行和专家并行需要频繁交换数据，通信时间越短，GPU用于等待的时间越少。英伟达使用NVLink和NVLink Switch。GB300 NVL72通过18颗NVLink交换芯片连接72张GPU，形成130TB/s的全互联带宽。下一代Rubin Ultra NVL144预计连接144张GPU，并使用72颗NVLink 7交换芯片。GPU数量翻倍后，交换芯片数量和互联链路也随之增加。互联带来的硬件需求，不再只是多几条线缆，而是包括交换芯片、铜缆、连接器和光互联在内的一整套系统。连接范围继续扩大，铜缆会受到距离和信号损耗限制。英伟达计划在部分跨机架连接中采用CPO光互联，较短距离仍然使用铜连接。铜和光并不会立即相互替代，而是按照距离和带宽分工。华为CloudMatrix采用自研UB统一总线，把CPU、NPU和内存拆分为资源池，支持跨节点张量并行和专家并行。AMD通过XGMI和Infinity Fabric连接多张GPU。亚马逊Trainium3以PCIe 6.0为底座，通过交换结构实现服务器内部和机架之间的连接。目前各家超节点仍以自有协议为主。UALink试图建立开放的Scale-Up标准，计划支持最多1024个加速器直接访问彼此内存。如果开放标准逐步成熟，超节点对单一芯片厂商专有协议的依赖会下降，第三方交换芯片厂商也会获得进入这一市场的机会。四、万卡集群继续放大以太网和光互联需求Scale-Up解决超节点内部的通信，Scale-Out则把服务器、机柜和多个超节点连接成更大的集群。这一层主要使用InfiniBand和高速以太网。InfiniBand延迟较低，RDMA能力成熟，长期用于高性能计算和大型AI训练，目前最高链路速率达到800Gb/s。以太网的优势则是标准开放、应用范围广，交换芯片、网卡和设备供应商也更多。普通TCP/IP传输需要CPU参与多层协议处理。数据从一台服务器传到另一台服务器时，要经过多次复制和软件处理，会增加CPU负担和通信时延。RDMA可以让数据直接在不同服务器的内存之间传输，减少CPU参与。RoCE则把RDMA运行在以太网上，使以太网也能服务对时延更敏感的AI集群。超以太网联盟推出的UET，又继续针对AI训练、推理和高性能计算优化传输层，重点改善拥塞控制、数据重传和大规模集群效率。这些技术的共同目标，是在GPU数量不断增加后，尽量避免网络拥堵让大量芯片停下来等待。AI集群建设已经反映到交换机市场。2025年，全球以太网交换机收入达到551亿美元，其中数据中心交换机收入为325亿美元，同比增长53.5%。800G产品占第四季度收入的25.8%，200G和400G产品占全年收入的43.9%。高速端口收入占比快速提高，说明数据中心采购已经明显向高带宽产品集中。GPU集群越大，交换机需要处理的数据越多，端口速率和数量也会提高。交换芯片、网卡、光模块、光纤和连接器的需求因此会同步增加。从芯片内部的NoC，到封装内的Chiplet互联，再到服务器内的PCIe和CXL、超节点内的Scale-Up，以及万卡集群中的Scale-Out，高速互联已经形成一条完整的硬件链。国内厂商并不是在所有环节同时突破，目前相对清楚的进展主要集中在PCIe交换、Retimer、以太网交换芯片、超节点整机和光电连接器件。五、国产进展主要集中在交换芯片和系统配套高速互联涉及NoC、先进封装、PCIe Switch、Retimer、CXL、Scale-Up交换芯片、以太网交换芯片、网卡、光模块和连接器。国内厂商目前披露较多的进展，主要集中在PCIe交换、以太网交换、超节点整机和配套连接器件。万通发展子公司数渡科技正在推进PCIe交换芯片。公司计划在2026年底完成144通道PCIe 5.0交换芯片量产版本的首次生产，随后继续开发PCIe 6.0，以及PCIe 7.0和CXL 4.0产品。目前这项进展仍处于产品研发和量产准备阶段。首次生产之后，还需要经过适配、稳定性测试和客户验证，才能进入服务器批量采购。澜起科技的布局更靠近PCIe和CXL高速接口。公司已经推出PCIe 6.x和CXL 3.x相关产品，并继续研发PCIe 7.0 Retimer等下一代接口芯片。服务器速率升级后，Retimer的使用量与连接距离、主板设计和信号质量有关，产品还要与CPU、GPU和服务器平台共同验证。盛科通信主要布局以太网交换芯片，产品覆盖100Gbps至25.6Tbps交换容量，以及100M至800G端口速率，应用于企业网络、运营商、数据中心和工业网络。与博通已经推出的102.4T交换芯片相比，盛科通信在最高交换容量、软件生态和大规模客户验证方面仍有差距。现有25.6Tbps产品已经进入高速数据中心交换芯片范围，后续能否进一步提高带宽并进入更多大型集群，决定国产交换芯片可以覆盖的市场规模。高速互联芯片的难点也不只在芯片本身。交换芯片、Retimer和网卡需要与CPU、GPU、服务器主板和软件系统共同运行。产品完成流片后，还要经过协议适配、信号测试、稳定性验证和客户量产。PCIe、CXL和以太网标准不断升级，供应商还要持续跟进新版本。这也是国产替代不会在所有环节同时发生的原因。交换芯片已经出现明确产品，部分Retimer和接口芯片正在研发，超节点整机和网络设备也有国内厂商参与；NoC、高端Scale-Up交换芯片和完整软件生态，仍需要更长时间积累。AI服务器进入超节点和万卡集群后，GPU数量只能说明理论算力。芯片内部、封装、服务器、超节点和集群之间的数据传输效率，决定这些GPU有多少时间用于计算。高速互联已经不再是服务器里的普通配套件。GPU越多，通信量越大，互联对整机吞吐量的影响也越明显。国产厂商目前最清楚的切入口，是PCIe和以太网交换芯片、Retimer、整机系统以及光电连接器件；能否进入批量采购，还要经过产品、协议和客户系统的多轮验证。六、重点公司1. Switch企业：万通发展、澜起科技、盛科通信、紫光股份、浪潮信息。2. AI处理器：海光信息、寒武纪、壁仞科技、沐曦股份、天数智芯、芯原股份、龙芯中科、中国长城。3. 超节点OEM：浪潮信息、工业富联、中科曙光、华勤技术、紫光股份、联想集团、软通动力、烽火通信、中国软件国际。4. 网络及连接：中际旭创、新易盛、天孚通信、华工科技、中兴通讯、锐捷网络、华丰科技、鼎通科技、沃尔核材。
[淘股吧]