https://arxiv.org/abs/2105.11084
Unsupervised Speech Recognition (Alexei Baevski, Wei-Ning Hsu, Alexis Conneau, Michael Auli)
이 논문이 arxiv에 올라왔군요. unsupervised pretraining 정도가 아니라 asr 시스템 자체를 레이블 없이 구축하기. 물론 그만큼 많은 수작업과 prior가 사용된 것 같지만 그래도 굉장한 결과네요. 생각해보니 ocr에서도 text sequence에 대한 모델링을 사용해 unsupervised training을 한 결과가 있었던 것 같기도 하고요.
#unsupervised_training #asr