过去两年,对话助手默认走云端。这一周几家消费级平台把同一套能力放进本机:离线也能补全、摘要、改邮件。对写代码、整理会议纪要的人,体感差在「等 800 毫秒还是等 8 秒」,以及草稿会不会出电脑。
端侧不是免费午餐。内存带宽、散热和后台唤醒会把续航打薄。厂商用稀疏激活和 4bit 权重量化换空间,质量掉在长上下文和工具调用上。真正能进生产的,是短任务:改一段注释、从 PDF 抽表、给提交信息起个名字。
站点和技术团队要注意三条。第一,本机模型也有许可证,权重能不能商用要单独看。第二,用户关掉网络不等于关掉遥测,安装器仍可能回传崩溃栈。第三,别把「本地」写成隐私保证,除非你把网络权限和日志路径写进说明。
中小团队不必立刻换全员设备。先给一两台高内存机器做对照:同样的提示词,云端大模型和本机小模型各跑一周,记下失败类型。失败如果集中在事实核验,云端仍该是主路径;如果集中在等待和敏感草稿,端侧才值回票价。