https://arxiv.org/abs/2305.02309
CodeGen2: Lessons for Training LLMs on Programming and Natural Languages (Erik Nijkamp, Hiroaki Hayashi, Caiming Xiong, Silvio Savarese, Yingbo Zhou)
Salesforce의 code lm에 대한 분석. 요약은:
- prefix lm 딱히 장점이 없는 듯. 이건 https://arxiv.org/abs/2205.11726 이 연구와도 합치하지 않나 싶습니다. (하이브리드는 애매한...)
- infilling은 아무 트레이드오프 없이 그냥 성능이 오르지는 않는 듯. 어떤 문제에 대해서는 문제가 생김.
- 그렇지만 아주 큰 손해는 아닌 듯 해서 UL2 스타일로 autoregressive lm + span corruption을 50% 비율로 섞고, 추가로 span corruption이 document boundary만 넘지 않도록 주의해서 적용해봄.
- 자연어와 코드를 섞으면 자연어/코드 과제에 대해 성능이 조금씩 떨어지긴 하는데 크게 떨어지는 것 같지는 않아서 섞는 것이 괜찮을 것 같음
위와 같습니다.
#lm