https://arxiv.org/abs/2105.01883
RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition (Xiaohan Ding, Xiangyu Zhang, Jungong Han, Guiguang Ding)
transformer로 해보겠다는 사람들이 한둘이 아니었던 것처럼 mlp로 해보겠다는 사람들도 한둘이 아니었던 것으로. repvgg를 만들었던 양반들이라 그런지 학습시에는 conv를 병렬로 붙여놓고 추론시에 fc로 밀어넣는 작업을 했군요.
#mlp #backbone