梯度下降 优化 SGDAI梯度下降:直觉不够用了之后预估 2 小时跑完的实验拖了一整夜还在第二 epoch——loss 震荡,scheduler 也压不住,于是把梯度下降从直觉到工程参数重新过了一遍。 醉月思📁 技术实践📅 2020-08-21