产业链逻辑学笔记1.1
展开
AI算力产业链学笔记
1.1
AI大模型的训练和推理都需要不断计算得出结果
训练：公司投喂数据训练模型
推理：你问豆包问题他传到云端服务器后利用模型计算的过程
算力：每秒计算的能力
芯片：chip/integrated circuit 集成电路
芯片就是把大量电子元件做得极小、集中在一小片材料上的“计算/控制工具”
电子原件的核心的晶体管
材料：硅片，Silicon Wafer 通常是
晶体管，Transistor：超级小的电子开关，只有两种形态0/1
无数的晶体管表现出不同0/1组合从而表示/计算
组合成logic gate
芯片计算 = 电流在晶体管组成的电路中流动，按照规则把输入的0和1变成输出的0和1。
CPU，英文叫：Central Processing Unit，中央处理器它是芯片的一种
CPU的作用是：负责电脑/服务器里的核心控制和通用计算。
你可以把CPU理解成电脑的大脑或者总指挥，它负责处理很多复杂任务
GPU，英文叫：Graphics Processing Unit，图形处理器，它也是芯片的一种。GPU最早是为了处理图像、游戏画面、视频渲染。而图像计算有一个特点：数量巨大，但很多计算比较重复，可以同时做。说白了GPU处理的任务没GPU那么复杂，但是处理的任务数量多
CPU是老板统筹公司发展任务很复杂，GPU就是公司的工人擅长处理“结构相似、数量巨大、可以并行”的任务。
AI大模型的核心不是复杂逻辑判断，而是海量数学计算。尤其是：矩阵运算，Matrix Operation
所以大模型更需要GPU。
芯片
├── CPU：中央处理器，负责通用计算和调度
├── GPU：图形处理器，负责并行计算
├── NPU：神经网络处理器，专门处理AI任务
├──存储芯片：负责存数据
├──通信芯片：负责传输信号
└──电源管理芯片：负责管电
NPU，英文是：Neural Processing Unit
神经网络处理器专门干AI活的专业工人
GPU也能做这些，但GPU本来最早是为图形计算设计的，后来发现它很适合AI。而NPU一开始就是为AI设计的。
所以NPU的目标是：更省电、更高效地处理AI任务。
NPU不一定比GPU“绝对更强”，而是看场景。大模型训练一般更依赖GPU。手机、汽车、摄像头、智能设备上的AI推理，经常会用NPU。NPU弱化训练能力极致提升推理。训练一般还用GPU
A股里为什么会关注NPU？
因为以后AI不只是在云端大服务器里跑，也会进入：手机电脑汽车机器人摄像头智能家居工业设备
这些设备不可能每次都联网去大数据中心算，有些任务要在本地完成这叫：端侧AI，On-device AI / Edge AI
所以NPU对应的是：AI从云端走向终端设备
比如AI手机、AI PC、智能汽车、机器人，都会涉及NPU或类似AI加速芯片。
豆包=你问他一个问题，豆包将问题传给字节的云端服务器，计算完答案后再传给你
端侧AI，你的手机直接计算不用传给云端服务器
端侧AI解决问题：传输给云端服务器的高延迟
做到实时计算
存储芯片：负责存数据存储芯片，英文可以叫：Memory Chip
它的作用很简单：存放数据。但是这里要分清两类：临时存储和长期存储。
第一类：内存， DRAM
DRAM是：Dynamic Random Access Memory动态随机存取存储器
你可以把它理解成：电脑的临时工作台。比如你打开一个软件、运行一个游戏、让AI模型处理数据，这些正在使用的数据会先放在内存里。内存特点：速度快，断电就没，适合临时处理数据
第二类：闪存，NAND Flash
NAND Flash
就是常说的闪存。它负责长期保存数据。
比如：手机照片电脑文件游戏安装包视频系统文件这些一般放在闪存或硬盘里。
闪存特点：断电后数据还在容量大速度比内存慢适合长期
AI为什么需要存储芯片？因为AI模型和数据都非常大。一个大模型里面有海量参数，可以理解成：AI学到的知识和规则，都存在一堆数字里。这些数字要被保存、读取、搬运、计算。
AI计算大概是这个过程：
数据从存储里取出来
↓
放到内存/显存里
↓
GPU/NPU进行计算
↓
计算结果再写回存储所以AI不是只有“算”，还要不停地“读数据、搬数据、存数据”。
进阶版的是HBM，英文是：High Bandwidth Memory高带宽内存
HBM是高端AI GPU旁边配套的高速内存。
它的作用是让GPU能更快拿到数据。因为GPU算得太快了，如果数据送不过来，GPU就会“饿着”。
通信芯片：负责传输信号通信芯片，英文叫：Communication Chip
它负责一件事：让设备和设备之间传输信息。
比如：手机连5G，电脑连WiFi，蓝牙耳机连接手机，汽车雷达传输数据，服务器之间传输数据这些背后都需要通信芯片。
通信芯片就负责把数据转换成能传输的信号。
通信芯片有好几类
5G基带芯片：负责手机移动通信
WiFi芯片：负责无线网络
蓝牙芯片：负责短距离连
接射频芯片：负责无线信号收发
以太网芯片：负责有线网络连接
光通信芯片：负责光信号传输
AI算力为什么需要通信芯片？AI集群里有很多GPU、很多服务器。
它们要不断互相传数据。比如一个大模型训练任务，可能不是一张GPU完成，而是几千张GPU一起完成。
这时候就有一个问题：每张GPU算了一部分结果，怎么快速同步给其他GPU？
这就需要高速通信。所以AI算力里面有一句很重要的话：不只是“算得快”，还要“传得快”。如果GPU很强，但通信很慢，就像：一群厨师都很厉害但传菜通道堵死了最后整个饭店还是慢所以AI算力产业链里，光模块、交换机、网络芯片、高速连接会被资金反复炒，就是因为它们解决“传得快”的问题。
电源管理芯片：负责管电电源管理芯片
英文是：PMIC，Power Management Integrated Circuit
它负责：给不同芯片稳定、合适、高效地供电。
每个部件需要的电压、电流、工作状态都不一样。有些时候CPU全速运行。有些时候屏幕亮度提高。有些时候通信芯片要发射信号。有些时候NPU开始跑AI任务。电源管理芯片就像：电子设备里的电力调度员。它要决定：给谁供电给多少电什么时候省电什么时候降频什么时候保护电路
AI服务器里电源管理更重要
AI服务器里面有很多GPU，功耗巨大。
这时候电源系统要解决：
怎么稳定供电
怎么提高电能转换效率
怎么减少能量浪费
怎么避免过热
怎么保护昂贵芯片
所以AI算力里面，除了GPU、光模块、液冷，也会炒到：电源模块UPS服务器电源电源管理芯片变压器配电设备因为AI算力不是凭空来的，它最终吃的是电。
1.1
AI大模型的训练和推理都需要不断计算得出结果
训练：公司投喂数据训练模型
推理：你问豆包问题他传到云端服务器后利用模型计算的过程
算力：每秒计算的能力
芯片：chip/integrated circuit 集成电路
芯片就是把大量电子元件做得极小、集中在一小片材料上的“计算/控制工具”
电子原件的核心的晶体管
材料：硅片，Silicon Wafer 通常是
晶体管，Transistor：超级小的电子开关，只有两种形态0/1
无数的晶体管表现出不同0/1组合从而表示/计算
组合成logic gate
芯片计算 = 电流在晶体管组成的电路中流动，按照规则把输入的0和1变成输出的0和1。
CPU，英文叫：Central Processing Unit，中央处理器它是芯片的一种
CPU的作用是：负责电脑/服务器里的核心控制和通用计算。
你可以把CPU理解成电脑的大脑或者总指挥，它负责处理很多复杂任务
GPU，英文叫：Graphics Processing Unit，图形处理器，它也是芯片的一种。GPU最早是为了处理图像、游戏画面、视频渲染。而图像计算有一个特点：数量巨大，但很多计算比较重复，可以同时做。说白了GPU处理的任务没GPU那么复杂，但是处理的任务数量多
CPU是老板统筹公司发展任务很复杂，GPU就是公司的工人擅长处理“结构相似、数量巨大、可以并行”的任务。
AI大模型的核心不是复杂逻辑判断，而是海量数学计算。尤其是：矩阵运算，Matrix Operation
所以大模型更需要GPU。
芯片
├── CPU：中央处理器，负责通用计算和调度
├── GPU：图形处理器，负责并行计算
├── NPU：神经网络处理器，专门处理AI任务
├──存储芯片：负责存数据
├──通信芯片：负责传输信号
└──电源管理芯片：负责管电
NPU，英文是：Neural Processing Unit
神经网络处理器专门干AI活的专业工人
GPU也能做这些，但GPU本来最早是为图形计算设计的，后来发现它很适合AI。而NPU一开始就是为AI设计的。
所以NPU的目标是：更省电、更高效地处理AI任务。
NPU不一定比GPU“绝对更强”，而是看场景。大模型训练一般更依赖GPU。手机、汽车、摄像头、智能设备上的AI推理，经常会用NPU。NPU弱化训练能力极致提升推理。训练一般还用GPU
A股里为什么会关注NPU？
因为以后AI不只是在云端大服务器里跑，也会进入：手机电脑汽车机器人摄像头智能家居工业设备
这些设备不可能每次都联网去大数据中心算，有些任务要在本地完成这叫：端侧AI，On-device AI / Edge AI
所以NPU对应的是：AI从云端走向终端设备
比如AI手机、AI PC、智能汽车、机器人，都会涉及NPU或类似AI加速芯片。
豆包=你问他一个问题，豆包将问题传给字节的云端服务器，计算完答案后再传给你
端侧AI，你的手机直接计算不用传给云端服务器
端侧AI解决问题：传输给云端服务器的高延迟
做到实时计算
存储芯片：负责存数据存储芯片，英文可以叫：Memory Chip
它的作用很简单：存放数据。但是这里要分清两类：临时存储和长期存储。
第一类：内存， DRAM
DRAM是：Dynamic Random Access Memory动态随机存取存储器
你可以把它理解成：电脑的临时工作台。比如你打开一个软件、运行一个游戏、让AI模型处理数据，这些正在使用的数据会先放在内存里。内存特点：速度快，断电就没，适合临时处理数据
第二类：闪存，NAND Flash
NAND Flash
就是常说的闪存。它负责长期保存数据。
比如：手机照片电脑文件游戏安装包视频系统文件这些一般放在闪存或硬盘里。
闪存特点：断电后数据还在容量大速度比内存慢适合长期
AI为什么需要存储芯片？因为AI模型和数据都非常大。一个大模型里面有海量参数，可以理解成：AI学到的知识和规则，都存在一堆数字里。这些数字要被保存、读取、搬运、计算。
AI计算大概是这个过程：
数据从存储里取出来
↓
放到内存/显存里
↓
GPU/NPU进行计算
↓
计算结果再写回存储所以AI不是只有“算”，还要不停地“读数据、搬数据、存数据”。
进阶版的是HBM，英文是：High Bandwidth Memory高带宽内存
HBM是高端AI GPU旁边配套的高速内存。
它的作用是让GPU能更快拿到数据。因为GPU算得太快了，如果数据送不过来，GPU就会“饿着”。
通信芯片：负责传输信号通信芯片，英文叫：Communication Chip
它负责一件事：让设备和设备之间传输信息。
比如：手机连5G，电脑连WiFi，蓝牙耳机连接手机，汽车雷达传输数据，服务器之间传输数据这些背后都需要通信芯片。
通信芯片就负责把数据转换成能传输的信号。
通信芯片有好几类
5G基带芯片：负责手机移动通信
WiFi芯片：负责无线网络
蓝牙芯片：负责短距离连
接射频芯片：负责无线信号收发
以太网芯片：负责有线网络连接
光通信芯片：负责光信号传输
AI算力为什么需要通信芯片？AI集群里有很多GPU、很多服务器。
它们要不断互相传数据。比如一个大模型训练任务，可能不是一张GPU完成，而是几千张GPU一起完成。
这时候就有一个问题：每张GPU算了一部分结果，怎么快速同步给其他GPU？
这就需要高速通信。所以AI算力里面有一句很重要的话：不只是“算得快”，还要“传得快”。如果GPU很强，但通信很慢，就像：一群厨师都很厉害但传菜通道堵死了最后整个饭店还是慢所以AI算力产业链里，光模块、交换机、网络芯片、高速连接会被资金反复炒，就是因为它们解决“传得快”的问题。
电源管理芯片：负责管电电源管理芯片
英文是：PMIC，Power Management Integrated Circuit
它负责：给不同芯片稳定、合适、高效地供电。
每个部件需要的电压、电流、工作状态都不一样。有些时候CPU全速运行。有些时候屏幕亮度提高。有些时候通信芯片要发射信号。有些时候NPU开始跑AI任务。电源管理芯片就像：电子设备里的电力调度员。它要决定：给谁供电给多少电什么时候省电什么时候降频什么时候保护电路
AI服务器里电源管理更重要
AI服务器里面有很多GPU，功耗巨大。
这时候电源系统要解决：
怎么稳定供电
怎么提高电能转换效率
怎么减少能量浪费
怎么避免过热
怎么保护昂贵芯片
所以AI算力里面，除了GPU、光模块、液冷，也会炒到：电源模块UPS服务器电源电源管理芯片变压器配电设备因为AI算力不是凭空来的，它最终吃的是电。
话题与分类：
主题股票：
主题概念：
声明：遵守相关法律法规，所发内容承担法律责任，倡导理性交流，远离非法证券活动，共建和谐交流环境！
打赏
点赞(0)
Ta
回复
