https://arxiv.org/abs/2103.13076
Finetuning Pretrained Transformers into RNNs (Jungo Kasai, Hao Peng, Yizhe Zhang, Dani Yogatama, Gabriel Ilharco, Nikolaos Pappas, Yi Mao, Weizhu Chen, Noah A. Smith)
비전에서 cnn을 트랜스포머로 교체해보려고 노력하는 중에 nlp에서는 트랜스포머를 rnn으로 교체해보려고 노력하고 있군요. 물론 linear attention에서 시작한 접근이긴 합니다만.
#efficient_attention