https://arxiv.org/abs/2005.10243
What Makes for Good Views for Contrastive Learning? (Yonglong Tian, Chen Sun, Ben Poole, Dilip Krishnan, Cordelia Schmid, Phillip Isola)
What makes for good views for contrastive learning (Yonglong Tian, Chen Sun, Ben Poole, Dilip Krishnan, Cordelia Schmid, Phillip Isola)
contrastive learning에서 한 샘플을 변환해서 두 샘플(뷰)를 만드는데, 이 뷰 사이의 정보에서 과제(예: 분류)에 필요한 정보 외의 정보가 최소화되는 것이 최적이라는 프레임워크. (InfoMin!) 이를 위해 augmentation을 적절하게 투입. 이미지넷 성능이 73%까지 올라옴.
#contrastive_learning