大模型的参数动辄数十亿，默认以高精度浮点数存储，这让它们在手机和笔记本上几乎跑不起来。模型量化正是解决这一难题的关键技术，它把高精度参数压缩成低比特整数，让大模型体积和算力需求大幅下降，从而能在端侧设备上流畅运行。

量化是怎么给模型减肥的

训练好的模型参数通常是16位或32位浮点数，量化就是把每个参数映射到8位甚至4位整数上，并记录一个缩放系数还原真实数值。打个比方，原本需要小数点后很多位的坐标，现在只用粗略刻度加比例尺表示，信息损失很小。经过量化，模型体积可以缩小四到八倍，推理时的内存占用和能耗也随之下降。

INT8与INT4的区别在哪里

INT8量化把参数压到8位，精度损失通常可以忽略，是当前工业界最成熟的方案，手机NPU普遍支持。INT4则更进一步，体积再减半，但数值表达能力更弱，容易出现精度下降，因此常常配合量化感知训练或混合精度策略使用，对敏感层保留更高精度。选择哪种量化，本质是在模型效果与运行效率之间做权衡。

端侧量化带来的实际改变

量化让语音助手、文本生成、图像处理等AI能力可以离线运行，用户不必把隐私数据上传云端，响应速度也更快。目前主流手机厂商都把端侧大模型作为卖点，背后正是量化与蒸馏等压缩技术的支撑。随着端侧芯片算力提升，未来在手机上直接运行数十亿参数的模型将成为常态。