大模型微调 LoRA Q-LoRA 机器学习大模型微调折腾手记结果光显存这块就踩了一堆坑:先是用全参数微调直接 OOM,换 LoRA 还是顶不住,最后上 Q-LoRA 才勉强在 24G 显存上跑起来。 醉月思📁 技术实践📅 2024-02-07