分布式训练

显存占用一路狂奔到 23.5GB，然后崩了。

ZeRO（Zero Redundancy Optimizer）是DeepSpeed里的一组优化策略，核心思想就…

GPT-3的论文里就提了这种思路，Megatron-LM也把它用得挺狠。

上个月接手一个图像分类项目，训练数据大概 10TB，模型是 ResNet152 的魔改版。

把单卡换到多卡时踩过的坑：先看卡点

如果只能用一句话说联邦学习：先把失败复现出来。