https://arxiv.org/abs/2107.08391
AS-MLP: An Axial Shifted MLP Architecture for Vision (Dongze Lian, Zehao Yu, Xing Sun, Shenghua Gao)
채널을 축으로 자른 다음 각 청크들을 공간 축에 대해 밀고 다시 결합해서 공간적 정보 연결을 수행하는 mlp 모델. 드디어 디텍션 같은 다른 과제로 넘겨 쓸 수 있는 mlp 기반 모델들이 나오기 시작하네요. 레이턴시를 측정해볼 가치가 있을 것 같습니다.
뭔가 이전에는 컨볼루션으로 쉽게 때우던 것을 딥 러닝 프레임워크가 지원하는 primitive들을 사용해서 푸는 방법을 여러가지로 찾고 있는 듯한 모양새가 되긴 했는데요...어쨌든 결과는 흥미로우니 체크할 필요가 있는 듯 합니다.
#mlp #backbone