https://arxiv.org/abs/2112.00114
Show Your Work: Scratchpads for Intermediate Computation with Language Models (Maxwell Nye, Anders Johan Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, Augustus Odena)
llm이 알고리즘을 실행할 수 있게 학습시키기. 주어진 문제의 중간 단계/상태, 예를 들면 파이썬 코드의 결과를 예측하는 문제라면 매 스텝의 지역 변수의 값 등을 예측하게 학습시키면 이러한 과제에 대한 성능이 향상된다는 결과. 흥미로운데 문제를 중간 단계를 생성하는 문제를 어떻게 학습시킬 것인가로 옮긴 것이긴 하네요.
#neural_computer