https://arxiv.org/abs/2103.13023
Can Vision Transformers Learn without Natural Images? (Kodai Nakashima, Hirokatsu Kataoka, Asato Matsumoto, Kenji Iwata, Nakamasa Inoue)
fractal 이미지를 입력으로 주고 fractal 이미지를 생성할 때 쓴 파라미터를 예측하게 해서 vision transformer를 프리트레이닝 할 수 있다는 연구. 프랙탈 이미지 좋아하던 그 아저씨들이네요.
#vision_transformer #pretraining