https://arxiv.org/abs/2302.06675
Symbolic Discovery of Optimization Algorithms (Xiangning Chen, Chen Liang, Da Huang, Esteban Real, Kaiyuan Wang, Yao Liu, Hieu Pham, Xuanyi Dong, Thang Luong, Cho-Jui Hsieh, Yifeng Lu, Quoc V. Le)
구글 쪽에서 또 optimizer 탐색을 했네요. (이전에 한 번 했던 게 맞을까요? 이런 작업을 워낙 많이 해서 헷갈리네요.) 개인적으로 흥미로운 부분은 찾은 알고리즘이 상당히 간단하고 weight decay를 제외하면 weight update는 sign이라는 것이네요.
#optimizer #search