2026年11月8日(日) --:--:--

AI 芯片架构入门:从算力单位到数据通路

AI 芯片架构入门:从算力单位到数据通路
Summary: 从算力单位、存储层级与数据通路三方面建立AI芯片架构的入门认知框架。

先弄清“算力”到底在算什么

接触AI芯片架构,最先要建立的不是型号知识,而是“算力单位”的含义。芯片标称的算力通常指单位时间内能完成的定点或浮点乘加运算次数,但乘加只是神经网络里最基础的一步。真正决定实际效率的,是这些运算能否连续不断地拿到数据。可以把芯片想象成一条流水线:计算单元是工位,数据是零件,存储是仓库。工位再多,如果零件送不到,流水线也只能空转。因此看架构时,先问三个问题:计算单元按什么粒度组织、每次运算需要几个操作数、这些操作数从哪里来。把这三问回答清楚,再看任何参数都不会被表面数字带偏。

存储层级决定架构的“性格”

AI芯片的存储通常分成多级:靠近计算单元的寄存器或片上缓存、容量更大的共享缓存、以及片外内存。层级越近,带宽越高、延迟越低,但容量越小、成本越高。架构设计的核心矛盾就在这里——计算单元需要的操作数往往远多于片上能容纳的量,于是数据必须在层级之间反复搬运。搬运消耗的时间和能量,常常超过运算本身。理解这一点,就能明白为什么很多架构把“减少数据搬运”当作第一目标:有的通过把权重常驻片上,有的通过让多个计算单元共享同一份数据,有的通过调整数据排布让连续访问更高效。评估一个架构时,不妨追问它的数据复用发生在哪一层、复用倍数大概由什么决定。

数据通路与并行方式

数据通路指数据从存储流向计算单元、再流回存储的路径。常见做法包括把一维或二维的计算阵列组织起来,让同一份输入广播给多个计算单元,同时让不同权重并行参与运算。并行的维度可以按输出通道、按空间位置、按批次展开,不同展开方式对存储带宽和片上容量的压力完全不同。入门阶段不必记住具体阵列形状,而要抓住判断框架:并行度提高会摊薄控制开销,但也会放大对带宽和容量的需求;并行度不足则计算单元利用率上不去。一个健康的架构,是并行度、带宽、容量三者匹配的结果,而不是某一项极致突出。

入门阶段的自查清单

学习这类架构时,可以用一份清单检验自己是否真的理解:能否说清一次乘加运算需要几个数据、它们分别来自哪一级存储;能否解释为什么片上缓存容量往往比计算峰值更能影响实际表现;能否区分“峰值算力”和“持续可用算力”的差别;能否描述数据复用发生在时间维度还是空间维度;能否指出一个架构在面对不同规模模型时可能的瓶颈位置。清单里的问题不需要标准答案,但每答一遍,对架构的理解就会具体一层。入门的目标不是背结论,而是形成一套能自己推演的分析习惯。

短评 2

电商运营 想问下,算力单位在不同精度下差异很大,入门阶段该以哪个精度为基准来理解算力?如果只记一个数字,会不会对实际有效算力产生误判?

UFO研究者 我入门时也是先建立算力单位、存储层级、数据通路这三个坐标,再去看具体架构就不容易迷路。补充一个做法:把每一层的带宽和延迟都标出来,很多性能瓶颈一眼就能看出在哪。

登录 后可以短评