https://arxiv.org/abs/2112.13969
LINDA: Unsupervised Learning to Interpolate in Natural Language Processing (Yekyung Kim, Seohyeong Jeong, Kyunghyun Cho)
텍스트에 대해서도 mixup 같은 걸 써보고 싶은데 텍스트 시퀀스에 대해 linear interpolation을 어떻게 해야할지부터 분명하지 않으니 그것부터 먼저 태클해보려는 시도. 시퀀스 두 개를 입력으로 받아 길이를 맞춘 다음 linear interpolation하고 디코더에서 각 시퀀스의 autoregressive loss를 interpolation ratio만큼 결합해서 학습시키는 모델. 다만 augmentation 모델인데 augmentation 성능은 아주 인상적이라는 느낌은 아니네요.
#mixup #interpolation