指尖魔法屋
☰
文章
分类
标签
时间轴
关于
联系
🔍
性能调优
大模型
推理优化
性能调优
大模型推理优化技术实践笔记
这次项目要部署一个 7B 参数的大模型,一开始单次推理要 30 秒,用户根本接受不了。
醉月思
📁
技术实践
📅
2024-04-24