https://arxiv.org/abs/2108.04378
Making Transformers Solve Compositional Tasks (Santiago Ontañón, Joshua Ainslie, Vaclav Cvicek, Zachary Fisher)
compositional generalization을 촉진하는 inductive bias를 트랜스포머에 주입하기. 1. relative positional encoding 사용 2. 인풋 시퀀스를 카피해서 출력하는 것이 가능한 디코더 사용 3. 레이어간 weight sharing 4. 모델이 생성하기 쉬운 출력 포맷 사용.
#transformer