2月19日:NSA概念、人形机器人、小米AI、俄乌重建等概念股梳理
展开
[图片]
一、昨夜发酵消息精选。
1、NSA概念:DeepSeek 提出的 NSA (Native Sparse Attention,原生稀疏注意力) 机制,巧妙地将算法创新与硬件优化相结合,旨在实现高效的长文本建模。NSA 的核心亮点可以概括为以下两点:(1)动态分层稀疏策略: NSA 采用了一种动态分层的稀疏策略,结合了粗粒度的 Token 压缩 和 细粒度的 Token 选择。这种策略
一、昨夜发酵消息精选。
1、NSA概念:DeepSeek 提出的 NSA (Native Sparse Attention,原生稀疏注意力) 机制,巧妙地将算法创新与硬件优化相结合,旨在实现高效的长文本建模。NSA 的核心亮点可以概括为以下两点:(1)动态分层稀疏策略: NSA 采用了一种动态分层的稀疏策略,结合了粗粒度的 Token 压缩 和 细粒度的 Token 选择。这种策略
