量化模型

问题的起点很现实：手里有张闲置的RTX 4090，想跑LLaMA-2-70B这种级别的模型，但显存不够。

年初的时候，我的主力开发机器是一台 16GB 显存的 4080 本地机，跑个 7B 模型还得精打细算，13B …