https://arxiv.org/abs/2304.10977
Evaluating Transformer Language Models on Arithmetic Operations Using Number Decomposition (Matteo Muffo, Aldo Cocco, Enrico Bertino)
숫자에 대한 토크나이징이 LM의 계산 성능에 어떤 영향을 미치는가? 기본 토크나이즈, 각 숫자마다 스페이스를 붙여서 분리한 문자열, 자릿수까지 붙여서 장황하게 표현한 문자열을 가지고 파인튜닝을 해봤네요. 자릿수까지 붙여놨을 때 가장 잘 하고, 기본 토크나이즈보다는 스페이스를 붙이는 쪽이 더 나았다라는 결과입니다.
#tokenizer