https://arxiv.org/abs/2004.02105
Unsupervised Domain Clusters in Pretrained Language Models (Roee Aharoni, Yoav Goldberg)
pretrained lm에서 추출된 임베딩이 domain cluster를 잘 이룬다는 연구. 도메인 특화 데이터셋을 구축하는데 도움이 될 수 있다고 제안.
#pretraining #domain
https://arxiv.org/abs/2004.02105
Unsupervised Domain Clusters in Pretrained Language Models (Roee Aharoni, Yoav Goldberg)
pretrained lm에서 추출된 임베딩이 domain cluster를 잘 이룬다는 연구. 도메인 특화 데이터셋을 구축하는데 도움이 될 수 있다고 제안.
#pretraining #domain