端侧指的是“算在本地设备上”
端侧大模型，指的是模型参数存放在用户设备上、推理过程也在本地完成的一类模型。这里的“端”可以是手机、平板、笔记本、车载设备、可穿戴设备，也可以是某些边缘计算盒子。它与云端调用的根本差别不在于模型大小，而在于数据流向：端侧推理时，输入不必离开设备就能得到输出，因此对隐私敏感的场景更有吸引力，也减少了对网络的依赖。代价是设备算力、内存和电量有限，模型规模与响应速度受到约束。理解这个概念时，要区分“模型放在端上”和“任务在端上完成”两件事：有些方案把模型放在端上但部分能力仍调用远端，有些方案模型在远端但结果缓存在端上，这些都不算严格意义上的端侧推理。判断标准很简单：推理时是否需要把原始输入发出去。
量化、蒸馏、剪枝：把大模型塞进小设备的三条路
量化是降低数值精度，用更少的比特表示权重和激活值，常见的有把浮点权重转成低比特整数。它能显著减少内存占用和计算量，但精度损失需要评估，尤其是对数值敏感的任务。蒸馏是让一个小模型学习大模型的输出分布，把大模型的能力“压缩”到小模型里，适合有充足训练数据的场景，难点在于教师模型的选择和蒸馏目标的设定。剪枝是去掉对输出影响较小的连接或结构，让模型变稀疏，再配合专门的推理库获得加速。三条路常常组合使用：先蒸馏得到结构更小的模型，再量化压缩，最后针对目标硬件做算子优化。需要提醒的是，压缩不是免费的，压缩后的模型在长尾输入、多语言、复杂推理上的退化往往比在标准测试集上更明显，因此评估要覆盖真实使用分布，而不只看平均分。
上下文窗口、首字延迟与内存带宽
端侧体验由几个术语共同决定。上下文窗口指模型一次能处理的最大标记数量，窗口越大，能带入的对话历史或文档越长，但内存占用和计算量也随之上升，端侧通常要在窗口大小与可用性之间折中。首字延迟指从输入结束到输出第一个标记的时间，它受模型规模、量化程度、设备算力和内存带宽共同影响；很多用户感知的“卡”其实来自首字延迟，而不是整体生成速度。内存带宽常被忽略：端侧推理频繁读写权重，带宽不足时算力再高也发挥不出来。此外还有缓存机制，把对话中的中间状态保存下来可以避免重复计算，但缓存占用会挤压其他应用的内存。评估端侧模型时，应同时看首字延迟、生成速度、内存峰值和耗电，而不是只看参数量。
它适合什么、不适合什么
端侧模型适合对隐私敏感、对离线可用有要求、对响应延迟敏感且任务相对聚焦的场景，比如本地文本改写、简单分类、语音指令理解、输入法联想、设备内的信息抽取。它不适合需要海量世界知识、复杂多步推理、超长文档理解或高频更新的任务，这些场景云端模型仍有明显优势。工程上常见的做法是分层：简单任务本地处理，复杂任务在用户授权后交给远端，并把本地结果作为缓存或预处理。分层设计要明确边界与降级策略：网络不可用时哪些能力仍可用，本地模型置信度低时如何提示用户，远端返回后如何与本地状态合并。把这些规则写清楚，比单纯追求“全本地”或“全云端”更实际。
选型时的检查清单
逐项确认：目标设备的可用内存与算力是否满足模型峰值需求；量化方案是否经过真实分布评估；首字延迟与生成速度是否达到体验底线；上下文窗口是否覆盖主要使用场景；耗电与发热是否可接受；离线与弱网下的降级行为是否明确；本地数据是否默认不出设备，出设备时是否有清晰授权；模型更新如何下发、如何回滚；不同设备型号的能力差异如何兜底；评估集是否包含长尾输入与多语言。端侧大模型不是“把云端模型搬下来”这么简单，它是一套围绕设备约束重新设计的产品与工程取舍。把术语理解清楚，取舍才有依据。
