https://arxiv.org/abs/2108.06152
Conditional DETR for Fast Training Convergence (Depu Meng, Xiaokang Chen, Zejia Fan, Gang Zeng, Houqiang Li, Yuhui Yuan, Lei Sun, Jingdong Wang)
detr 학습 가속화. attention의 positional encoding을 query embedding과 reference point를 사용해 생성하는 방식으로 가이드를 팡팡 주는 방법을 취했네요.
이런 detr 학습 최적화는 detr 자체보다도 detr과 같은 형태에 기반한 end2end 모델들에도 파급될 수 있다는 것이 의미가 있지 않을까 합니다.
#detr