https://arxiv.org/abs/2002.06048
AutoLR: Layer-wise Pruning and Auto-tuning of Learning Rates in Fine-tuning of Deep Networks (Youngmin Ro, Jin Young Choi)
Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks (Youngmin Ro, Jin Young Choi)
finetuning 상황에서 레이어를 pruning 하는 것의 효과성과 레이어별로 learning rate를 자동으로 설정할 수 있는 알고리즘을 제안. 둘 다 흥미로운 방법인 듯.
#pruning #finetuning