半导体
展开
【东方通信-半导体】Coding时代需要更大的Scale Up域,2027年或将成为多家芯片厂商机柜间Scale Up产品的爆发年
Claude Mythos 5 的总参数规模可能达到 10T,相比 Opus 4.8 的 1–2T 又提升了约 5 倍;同时采用更大的 MoE 架构,专家数量可能提升到约 256 个,推理激活参数也来到约 500B–1T。
1. MOE模型参数量及专家数量的提升,推动了 Scale Up 域的扩张。
2. Chatbot式的推理范式向Agent/Coding时代的转向,使得机柜间 Scale Up 的产品形态成为必然。
目前英伟达的NVL 576 的产品规划已经非常清楚:通过 8 个机柜并联,形成一个更大的 Scale Up 域来承接 Agent/Coding 的需求。而未来其他 ASIC /GPU 厂商也很难绕开这条路。无论是 AWS Trainium、Meta MTIA,还是 AMD MI450,只要它们也要服务更大的 MoE 模型、更复杂的 Agent/Coding 任务,就都需要思考如何把 Scale Up 从单机柜扩展到多机柜。
#结论:
1. 模型参数量、专家数量和推理激活规模继续提升,会系统性抬高 Scale Up 域的重要性;而 Coding/Agent 作为下一阶段大模型竞争的主战场,更大的 Scale Up 域将不仅关系到模型运行效率,更会直接影响产品时延、用户体验和商业竞争力。
2. 未来单机柜继续堆密度的边际性价比会下降,相比把功率、散热和互连压力都压在一个机柜里,通过机柜间 Scale Up 把低延迟计算域扩展出去,会成为更现实、也更重要的系统方案,并带来 NPO 和 CPO 用量的大幅提升。
重点推荐:#中际旭创、长盈通、致尚科技
欢迎联系:舒迪/刘梦磊
Claude Mythos 5 的总参数规模可能达到 10T,相比 Opus 4.8 的 1–2T 又提升了约 5 倍;同时采用更大的 MoE 架构,专家数量可能提升到约 256 个,推理激活参数也来到约 500B–1T。
1. MOE模型参数量及专家数量的提升,推动了 Scale Up 域的扩张。
2. Chatbot式的推理范式向Agent/Coding时代的转向,使得机柜间 Scale Up 的产品形态成为必然。
目前英伟达的NVL 576 的产品规划已经非常清楚:通过 8 个机柜并联,形成一个更大的 Scale Up 域来承接 Agent/Coding 的需求。而未来其他 ASIC /GPU 厂商也很难绕开这条路。无论是 AWS Trainium、Meta MTIA,还是 AMD MI450,只要它们也要服务更大的 MoE 模型、更复杂的 Agent/Coding 任务,就都需要思考如何把 Scale Up 从单机柜扩展到多机柜。
#结论:
1. 模型参数量、专家数量和推理激活规模继续提升,会系统性抬高 Scale Up 域的重要性;而 Coding/Agent 作为下一阶段大模型竞争的主战场,更大的 Scale Up 域将不仅关系到模型运行效率,更会直接影响产品时延、用户体验和商业竞争力。
2. 未来单机柜继续堆密度的边际性价比会下降,相比把功率、散热和互连压力都压在一个机柜里,通过机柜间 Scale Up 把低延迟计算域扩展出去,会成为更现实、也更重要的系统方案,并带来 NPO 和 CPO 用量的大幅提升。
重点推荐:#中际旭创、长盈通、致尚科技
欢迎联系:舒迪/刘梦磊
话题与分类:
主题股票:
主题概念:
声明:遵守相关法律法规,所发内容承担法律责任,倡导理性交流,远离非法证券活动,共建和谐交流环境!
