https://arxiv.org/abs/2003.04297 몇 달 전 MoCo이 반향을 일으킨 다음 SimCLR이 상당히 인상적인 결과를 보여줬는데, SimCLR에는 방법과 독립적인 개선점들이 있었고(MLP 사용, 더 강한 augmentation 등) 그 개선들을 MoCo에 붙였더니 더 작은 배치 크기로 더 나은 성능을 보일 수 있었다는 보고. 이것이 뉴럴넷 판에서 새로운 연구 결과가 나왔을 때 주의해야할 것들을 잘 보여주는 사례가 아닌가 한다. 보통 새로운 방법이나 모델이 제안되는 경우에는 새로운 방법의 핵심 자체뿐만 아니라 여러 개선들이 동반된 경우가 많다. 예를 들어 더 큰 모델을 썼다거나 더 나은 학습 스킴을 썼다거나 등등...사실 이런 것 자체가 필요한 부분도 있다. 새로운 방법이 최선의 성능을 보여줄 수 있도록 튜닝할 필요는 있으므로. 그렇지만 그럴수록 기존 방법과 정확히 비교하는 것은 그만큼 더 어려워진다. 단순히 이런 개선 뿐만 아니라 미묘한 환경 차이 같은 것도 영향을 미치기 때문에 더 까다롭다. 그래도 이런 결과들 중에서 유용한 개선들을 지속적으로 발견할 필요가 있고, 그러자면 (물론 저자가 답을 줄 수 있다면 좋겠지만) 결국 직접 실험을 해보고 결과를 축적하는 수밖에 없다. (그렇게 했을 때 광범위하고 일반적인 성능 향상을 보여줄 수 있는 방법은 흔하지는 않다.)
#contrastive_learning #review