深度学习

混合精度不是新概念，但真正把 FP16/BF16 落地到生产环境，还是踩了不少坑。

AI BERTology我没按教科书顺序做。

后来折腾了一圈域适应（Domain Adaptation），有些心得，也踩了不少坑。

第二次把 ResNet50 从零训到 80% 准确率时，我觉得可以出去吹牛。

前阵子AI元学习连续改了几轮，趁还记得写成备忘。

AI 少样本学习我没按教科书顺序做。

如果只能用一句话说AI多任务学习：先把失败复现出来。

项目里那个 7B 参数的模型训练好了，部署到推理服务器上时，CPU 占用直接拉满，延迟干到了 3 秒多。

神经架构搜索我没按教科书顺序做。

先用最简单的例子说一下梯度消失是怎么发生的。