https://arxiv.org/abs/2106.09309
Layer Folding: Neural Network Depth Reduction using Activation Linearization (Amir Ben Dror, Niv Zehngut, Avraham Raviv, Evgeny Artyomov, Ran Vitek, Roy Jevnisek)
모델 파인튜닝 과정에서 레이어 사이 activation을 제거하는 방향의 패널티를 걸어줘서 activation의 수를 줄이는 방법. 중간 activation이 사라지면 레이어 둘을 합칠 수 있으므로 레이턴시를 줄일 수 있다...이런 아이디어네요. 재미있습니다.
#backbone #efficiency #pruning