https://arxiv.org/abs/2108.05895
Mobile-Former: Bridging MobileNet and Transformer (Yinpeng Chen, Xiyang Dai, Dongdong Chen, Mengchen Liu, Xiaoyi Dong, Lu Yuan, Zicheng Liu)
모바일넷 백본과 적은 수의 글로벌 토큰 위에서 동작하는 트랜스포머를 병렬로 세워놓고 상호연결 레이어를 첨가해서 만든 모바일/경량 백본. 실제 레이턴시가 문제이긴 한데 디텍션 결과 등은 굉장하네요. 경량 백본 업계를 흔들 수 있지 않을까 싶을 정도.
#backbone #transformer