https://arxiv.org/abs/2109.12909
Compressive Visual Representations (Kuang-Huei Lee, Anurag Arnab, Sergio Guadarrama, John Canny, Ian Fischer)
self supervised learning에서 두 view 사이의 불필요한 정보들을 날려서 representation을 압축하는 objective(entropy bottleneck)를 명시적으로 추가한다는 시도네요.
#self_supervised