开源模型

问题的起点很现实：手里有张闲置的RTX 4090，想跑LLaMA-2-70B这种级别的模型，但显存不够。

我的个人项目需要满足这些需求：

不绕弯子，先说几个现实限制条件：