千亿参数的大模型虽聪明,但训练和推理都要烧掉大量算力与显存,普通手机和边缘设备根本跑不动。想让AI落地到实际产品里,就必须在保持能力的前提下把模型做小,这就是模型压缩要解决的问题。
压缩的核心思路有三条:把参数精度降低、把冗余结构剪掉、让大模型把知识传给小模型。其中量化与蒸馏是最成熟、落地最多的两条技术路线,也是今天要讲的重点。
模型参数原本用32位浮点数存储,精度高但占空间。量化就是把这些数映射到更少的位数上,常见的有INT8和INT4。INT8把每个参数压到8位,推理速度能翻倍,显存省一半,精度损失通常很小。
INT4则更激进,一个参数只占4位,模型体积能缩到原来的四分之一,代价是精度可能明显下滑。工程上会配合校准数据来减少误差,让量化后的模型依然能正确回答问题。
知识蒸馏的思路很巧妙:让一个已经训练好的大模型当老师,把它的输出当成软标签,喂给一个小模型去学习。小模型模仿的不仅是标准答案,还有老师对每个选项的「置信度分布」,从而继承大模型的判断能力。
经过蒸馏,一个几百兆的小模型可能做出接近几十倍体积大模型的效果。这让语音助手、实时翻译、端侧图像识别等场景都能用上更轻便的AI,成本也随之大幅下降。
从趋势看,随着端侧芯片算力提升和量化算法成熟,越来越多的大模型正以轻量形态装进手机、汽车和智能家居。对普通用户来说,这意味着AI响应更快、隐私更有保障,也让更多人能低门槛地用上人工智能。