模型压缩

这次的具体需求有三个硬指标： 1. 模型大小要控制在 500MB 以内（目标设备是 4GB …

要把一个 7B 语言模型塞进 8GB 内存的边缘设备——这不是"优化一下体验"，是硬件硬顶在那儿。

项目本身不复杂：一个文本分类任务，在服务器上训练好的 BERT 模型，分类准确率能达到 92% 以上，但部署时问题来了。

项目里那个 7B 参数的模型训练好了，部署到推理服务器上时，CPU 占用直接拉满，延迟干到了 3 秒多。