https://arxiv.org/abs/2109.03127
Rare Words Degenerate All Words (Sangwon Yu, Jongyoon Song, Heeseung Kim, Seong-min Lee, Woo-Jong Ryu, Sungroh Yoon)
단어 임베딩 벡터의 singular value가 좁은 영역에 몰리는 방식으로 학습되는 이슈가 있었군요. rare word 때문에 발생하는 현상이라고 하는데...이걸 보완하고자 하는 방법입니다. 보고 있으니 word2vec 시대도 생각나고 그렇네요.
#embedding