英伟达GB300带来4大变量
展开
一、 AI SSD趋势,以存代算受益推理需求爆发
据科创板日报,华为将于8月12日发布AI SSD,该技术降低AI推理对于HBM技术依赖。核心原理在于将占用HBM/ DRAM 的多级KV-Cache缓存数据、以及长序列文本持久化保存(至SSD)并高效使用,是增量而非替代。封装上,采用华为独创die on board(DOB)堆叠,单芯片有望堆叠至36层实现36TB,单硬盘容量有望提升至接
据科创板日报,华为将于8月12日发布AI SSD,该技术降低AI推理对于HBM技术依赖。核心原理在于将占用HBM/ DRAM 的多级KV-Cache缓存数据、以及长序列文本持久化保存(至SSD)并高效使用,是增量而非替代。封装上,采用华为独创die on board(DOB)堆叠,单芯片有望堆叠至36层实现36TB,单硬盘容量有望提升至接
