大模型

先复现，再谈优化。记录从 OpenAI 切到 Claude 后，代码审查、写作辅助和排障三个场景里真正管用的用法和踩过的坑。

知识库项目按榜单上了 GPT-4，效果没问题，账单超预算 50%。

我第一个项目是一个代码助手微调，用 Python 代码片段和注释做训练数据，大概 5 万条。

大模型应用开发相关的坑，多半出在边界条件上。

这次项目要部署一个 7B 参数的大模型，一开始单次推理要 30 秒，用户根本接受不了。

AI预算规划相关的坑，多半出在边界条件上。

我分析了几个失败的例子，发现： 1. **类别定义模糊**：有些文献涉及多个领域，模型不知道优先选哪个 2. **摘要缺乏约束**：模型不知道…

GPT-3的论文里就提了这种思路，Megatron-LM也把它用得挺狠。

GPT-4 很强，但项目里要不要全换？记一次从 GPT-3.5 到混合调度的成本与效果权衡。

让 AI「写个 Python 脚本处理 CSV」，第一次只做清洗，第二次加了异常处理却把核心逻辑改了，第三次要格式化输出，它又把前面重构一轮。