https://arxiv.org/abs/2109.02772
An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models (Tianxing He, Kyunghyun Cho, James Glass)
bert knowledge probing에서 결과가 잘 안 나오는 이유는 예측 결과의 카테고리가 안 맞기 때문인 경우가 많다. 예를 들어 태어난 도시를 묻는데 태어난 국가나 태어난 연도를 예측해서 틀리는 이슈가 많다는 것. few shot으로 살짝 파인튜닝해주면 훨씬 나아진다. 재미있는 점은 파인튜닝 할 때 프롬프트 이상으로 bias만 학습시켜주는 접근이 효과적이었다는 것.
#few_shot #knowledge_base #bert #prompt