模型部署

"NLP 项目最难的" —— 一个被脏文本折腾到凌晨的人

直接转 RKNN 会失败，中间需要经过 ONNX 中转。

先说个最实在的：项目背景是个多模态问答系统，推理环境是 4 张 A100 80GB，PyTorch 2.1.1，CUDA 12.1。

线上 Llama2-7B 对话服务跑在 AWS g4dn.xlarge（单卡 T4）上，用户抱怨回答慢：首 token 延迟 2–3 秒，完整回…