Skip to content

Latest commit

 

History

History
5 lines (3 loc) · 443 Bytes

200803 LoCo.md

File metadata and controls

5 lines (3 loc) · 443 Bytes

https://arxiv.org/abs/2008.01342

LoCo: Local Contrastive Representation Learning (Yuwen Xiong, Mengye Ren, Raquel Urtasun)

end2end backprop이 아니라 각 블럭에 대해 local하게 학습시키는 contrastive learning. 각 블럭들 사이에 겹치는 레이어를 설정해서 암묵적인 feedback을 발생시키는 것이 핵심. end2end 학습과 유사한 성능. 상당히 흥미로운 결과라고 생각. #contrastive_learning