系统架构

线上 Llama2-7B 对话服务跑在 AWS g4dn.xlarge（单卡 T4）上，用户抱怨回答慢：首 token 延迟 2–3 秒，完整回…

这次做高可用架构，调研了各种负载均衡算法，从简单的轮询到复杂的一致性哈希，各有各的适用场景。