200701 On Dropout, Overfitting, and Interaction Effects in Deep Neural Networks.md

https://arxiv.org/abs/2007.00823

On Dropout, Overfitting, and Interaction Effects in Deep Neural Networks (Benjamin Lengerich, Eric P. Xing, Rich Caruana)

뉴럴넷 업계의 영원한 떡밥 dropout. 이 논문에서는 dropout이 (higher order interaction의 learning rate를 낮추는 방식으로) higher order interaction을 학습하는 것을 억제한다고 분석. co-adaptation을 억제한다는 원 아이디어로 돌아가는 것 같기도 하고. dropout은 대체 무엇인 걸까...

#dropout