英伟达Groq 3 LPX如何加速AI推理
展开
英伟达Groq 3 LPX如何加速AI推理8月24日，N VIDI A 宣布 Groq 3 LPX 进入全面生产，Nebius 成为首个采用该系统的 AI 云平台。
Gemma 4 31B 在 10 万输入 token 下，测得中位3,431 输出 token/秒。
⚙️ 为什么是低延迟推理
- 256 颗 LPU
- 128 GB SRAM
- 40 PB/s SRAM 带宽
- 640 TB/s 机架内互联
模型逐 token 生成时，LPX 用 SRAM 缩短取数、确定性调度减少抖动、直接互联减少等待，让后续 token 更快、更稳定。
LPX并不是替代GPU，而是与Rubin GPU协同，重点加快后续内容生成，让回答速度更快、等待时间更稳定。
🌍 海外公司
- NVIDIA：LPX 产品与平台
- 三星电子：Groq 3 晶圆代工
- Nebius：首个 LPX AI 云采用方
- Dell：LPX 与 Vera Rubin 系统部署
🇨🇳 中国相关公司映射
- 英维克：液冷与精密温控
- 科华数据：UPS、液冷POD与电力模组
- 沪电股份：AI服务器与高速网络PCB
- 澜起科技：DDR5内存接口芯片
资料来源：NVIDIA、Groq、Artificial Analysis、韩联社及相关公司年报。不构成投资建议。
Gemma 4 31B 在 10 万输入 token 下，测得中位3,431 输出 token/秒。
⚙️ 为什么是低延迟推理
- 256 颗 LPU
- 128 GB SRAM
- 40 PB/s SRAM 带宽
- 640 TB/s 机架内互联
模型逐 token 生成时，LPX 用 SRAM 缩短取数、确定性调度减少抖动、直接互联减少等待，让后续 token 更快、更稳定。
LPX并不是替代GPU，而是与Rubin GPU协同，重点加快后续内容生成，让回答速度更快、等待时间更稳定。
🌍 海外公司
- NVIDIA：LPX 产品与平台
- 三星电子：Groq 3 晶圆代工
- Nebius：首个 LPX AI 云采用方
- Dell：LPX 与 Vera Rubin 系统部署
🇨🇳 中国相关公司映射
- 英维克：液冷与精密温控
- 科华数据：UPS、液冷POD与电力模组
- 沪电股份：AI服务器与高速网络PCB
- 澜起科技：DDR5内存接口芯片
资料来源：NVIDIA、Groq、Artificial Analysis、韩联社及相关公司年报。不构成投资建议。
话题与分类：
主题股票：
主题概念：
声明：遵守相关法律法规，所发内容承担法律责任，倡导理性交流，远离非法证券活动，共建和谐交流环境！
