200129 Meena.md

https://arxiv.org/abs/2001.09977

evolved transformer가 사용된 케이스. 큰 모델을 많은 데이터에 학습시키면 된다의 연장. perplexity와 퍼포먼스의 상관관계는 흥미로움. 더 큰 모델 더 많은 데이터를 활용하면 더 흥미로운 챗봇을 만들 수 있을 듯.

#NLP #dialog