https://arxiv.org/abs/2304.14999
Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs (George Pu, Anirudh Jain, Jihan Yin, Russell Kaplan)
lora 같은 parameter efficient fine tuning 방법들에 대한 비교. FLAN-T5로 몇 가지 과제에 대해 파인튜닝한 결과인데...성능이 엇비슷한 것 같네요.
#finetuning