https://arxiv.org/abs/2004.02967
Evolving Normalization-Activation Layers (Hanxiao Liu, Andrew Brock, Karen Simonyan, Quoc V. Le)
구글표 서치. normalization & activation을 묶어서 탐색. mean centering이 빠지고 swish 같은 activation이 다시 등장한다는 것이 흥미로운 듯.
#nas #normalization #activation