https://arxiv.org/abs/2305.10601
Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan)
선형적으로 진행되는 chain of thought의 한계를 극복하고자 트리 서치를 사용한 방법을 고안했군요. crosswords 같은 비교적 토이에 가까워보이는 과제를 하긴 했습니다만 여하간 흥미롭네요.
autoregressive lm의 한계로 꼽히는 planning의 문제를 lm을 submodule로 사용하는 agent를 만드는 것으로 극복하려는 시도가 많이 나오고 있는 것 같습니다. 애초에 모델에 planning이 가능한 요소를 결합하는 방법도 있고, 모델을 감싸서 planning이 가능한 시스템을 만드는 방법 두 가지가 있다고 하면 장기적으로 어느 쪽이 답이 될지 궁금하네요.
#in_context_learning #prompt