ExLlamaV2

问题的起点很现实：手里有张闲置的RTX 4090，想跑LLaMA-2-70B这种级别的模型，但显存不够。