https://arxiv.org/abs/2006.15595
Rethinking Positional Encoding in Language Pre-training (Guolin Ke, Di He, Tie-Yan Liu)
Rethinking the Positional Encoding in Language Pre-training (Guolin Ke, Di He, Tie-Yan Liu)
positional encoding (pe)의 새로운 변형. 기본적으로는 pe를 분리해서 독립적인 linear transform을 거치게 만드는 것이 핵심. transformer-xl의 formulation에 다른 방식으로 접근한 형태.
#positional_encoding