从“算得快”到“喂得饱”
讨论 AI 芯片时，最容易被单个指标带偏，比如只盯着峰值算力。峰值算力描述的是在理想条件下单位时间能完成多少运算，但真实任务很少能一直处在理想状态。更值得关注的是“喂得饱”的问题：数据能否及时送到运算单元，结果能否及时写回。围绕这一点，架构术语大致分成两类，一类描述计算能力，一类描述数据搬运能力。理解芯片架构，本质上是在理解计算与搬运之间如何平衡。入门者可以先建立一个大图：运算单元负责算，存储层次负责放，互连负责传，调度负责安排顺序。四者中任何一环成为瓶颈，整体表现都会被拉低。判断一颗芯片适合什么任务，不要只看一个数字，而要看这四个环节是否与目标任务的形态匹配。任务的数据复用高、计算密集，和任务的数据频繁交换、访存随机，对架构的要求完全不同。
算力术语：峰值、有效与利用率
峰值算力是理论上限，通常按最基本的乘加操作计数，单位常用每秒多少次运算。它回答的是“最多能多快”，不回答“实际能多快”。有效算力则考虑实际运行中的等待、空转与调度开销，更接近可用能力。利用率是有效与峰值之间的比例，用来描述硬件被真正用起来的程度。三者要一起看：峰值很高但利用率低，说明瓶颈在数据供给或调度；峰值一般但利用率稳定，反而可能更适合持续任务。另一个常见术语是精度，指参与运算的数值用多少位表示。低位宽通常换来更高吞吐和更低存储占用，但可能损失数值稳定性。架构上常说的“混合精度”，是指不同环节采用不同位宽，在关键位置保留精度、在非关键位置压缩。入门者不必记具体位宽，但要理解一个取舍：精度、吞吐、存储三者互相牵制，任何架构都是在做权衡，而不是全面最优。
存储层次：容量、带宽与延迟
存储层次是理解 AI 芯片的关键。越靠近运算单元的存储，容量越小、带宽越高、延迟越低；越远的存储，容量大但访问慢。常见层次包括寄存器、片上缓存、片上共享存储、外部内存。术语“带宽”描述单位时间能搬运多少数据，“延迟”描述一次访问要等多久，两者不是一回事：带宽大不代表单次等待短，延迟低也不代表能同时搬很多。架构设计常说的“数据复用”，是指让同一份数据在被替换前被多次使用，从而减少搬运。复用率高的任务，对带宽压力小；复用率低的任务，即使带宽很大也可能不够。另一个术语是“片上存储容量”，它决定了能在一颗芯片内暂存多少中间结果。容量不足时，中间结果要反复写回外部内存，带宽和能耗都会上升。入门者可以用一个简单判断：任务是否需要频繁在层与层之间交换大块数据，如果是，片上存储与互连就更关键。
数据流与互连：谁在什么时候搬什么
数据流描述的是数据在计算过程中如何移动：从哪里读入、经过哪些单元、结果写到哪里。不同架构对数据流的安排不同，有的偏向让数据在运算阵列中流动，有的偏向让权重固定、输入流动，有的强调广播与归约。术语“广播”指一份数据同时送给多个运算单元，“归约”指把多个部分结果合并成一个。这两个动作的效率，往往决定了大矩阵类任务的成败。互连则是连接各单元的通道，关注点是拓扑与带宽分配：单元之间怎么连、谁和谁通信多、会不会出现拥塞。入门者不必深究拓扑细节，但要理解一个现象：当多个单元同时争用同一条通道时，实际速度由最拥挤的那段决定。调度术语也随之出现，比如“流水线”指把任务拆成阶段重叠执行，“分块”指把大任务切成能放进片上存储的小块。这些安排的共同目标，是让搬运与计算重叠，减少等待。
如何用这些术语做一次简单判断
拿到一个架构描述，可以按四步做初步判断。第一步看任务形态：是计算密集还是访存密集，数据复用高不高。第二步看存储层次：片上容量是否够放关键中间结果，带宽与延迟是否与任务匹配。第三步看数据流与互连：搬运路径是否清晰，是否存在明显的集中争用点。第四步看精度与调度：精度取舍是否影响结果稳定性，调度是否能让搬运与计算重叠。四步走完，不必得出“好或坏”的结论，而是得出“适合哪类任务”的判断。常见误区包括：把峰值算力当成实际能力；把带宽当成延迟；忽略片上容量对任务切分的影响；只看单颗芯片而忽略多芯片协同时的通信开销。术语的价值在于让讨论有共同语言，而不是制造门槛。理解每个术语回答的是哪个问题，比记住数字更有用。真正需要警惕的，是用一个指标去解释所有现象。
