AI推理芯片:LPU产业全景梳理(附股)
展开
消息面汇总:
2024年2月,由谷歌TPU设计者Jonathan Ross创立的Groq公司发布新一代LPU,实测性能引发行业震动:
在Meta Llama 2-70B推理任务中,其LPU相较英伟达H100实现10倍性能提升,推理成本降低80%。
LPU本质为减少计算中内存调用次数,从而实现推理效率的提升。
对推理芯片而言,更高性能、更低成本的LPU,提供了一个新的技术路径选项。
国内相关公
2024年2月,由谷歌TPU设计者Jonathan Ross创立的Groq公司发布新一代LPU,实测性能引发行业震动:
在Meta Llama 2-70B推理任务中,其LPU相较英伟达H100实现10倍性能提升,推理成本降低80%。
LPU本质为减少计算中内存调用次数,从而实现推理效率的提升。
对推理芯片而言,更高性能、更低成本的LPU,提供了一个新的技术路径选项。
国内相关公
