https://arxiv.org/abs/2106.07617
Delving Deep into the Generalization of Vision Transformers under Distribution Shifts (Chongzhi Zhang, Mingyuan Zhang, Shanghang Zhang, Daisheng Jin, Qiang Zhou, Zhongang Cai, Haiyu Zhao, Shuai Yi, Xianglong Liu, Ziwei Liu)
트랜스포머가 cnn보다 distribution shift에 강인하다는 결과 하나 더. 거기에 domain adversarial training 같은 domain shift에 대응하기 위한 테크닉들을 적용해봤군요. 지금 시점에서는 강인하다면 왜 더 강인한 것인가가 궁금해지기도 하네요.
#vit #robustness