https://arxiv.org/abs/2007.10909
Improving compute efficacy frontiers with SliceOut (Pascal Notin, Aidan N. Gomez, Joanna Yoo, Yarin Gal)
SliceOut: Training Transformers and CNNs faster while using less memory (Pascal Notin, Aidan N. Gomez, Joanna Yoo, Yarin Gal)
채널이나 feature map의 일부만을 잘라내서 forward. regularization 효과와 함께 학습 속도 향상 및 메모리 소모 감소. 이걸 튜닝하는데 추가적은 자원을 쓰지만 않으면 CO2 배출량 감축에 기여할 수 있을 듯. #regularization #efficient_training