指尖魔法屋
  • 文章
  • 分类
  • 标签
  • 时间轴
  • 关于
  • 联系
  • 🔍

性能调优

大模型 推理优化 性能调优
大模型推理优化技术实践笔记
这次项目要部署一个 7B 参数的大模型,一开始单次推理要 30 秒,用户根本接受不了。
醉月思 醉月思
📁 技术实践
📅 2024-04-24
Copyright © 2017-2026 指尖魔法屋. All rights reserved POWERED BY thinkBlog · v6.1.0 关于 · 联系 · 隐私政策 · Cookie 政策 本站已顽强运行:加载中...
粤ICP备17055617号