https://arxiv.org/abs/2011.11152
Stable Weight Decay Regularization (Zeke Xie, Issei Sato, Masashi Sugiyama)
weight decay rate가 decoupled weight decay에서도 일정하지 않다는 문제 의식에서 개선 방법을 제안. adamw는 결과적으로 광범위하게 채택되고 있는데 이쪽은 어떨지.
#regularization
https://arxiv.org/abs/2011.11152
Stable Weight Decay Regularization (Zeke Xie, Issei Sato, Masashi Sugiyama)
weight decay rate가 decoupled weight decay에서도 일정하지 않다는 문제 의식에서 개선 방법을 제안. adamw는 결과적으로 광범위하게 채택되고 있는데 이쪽은 어떨지.
#regularization