https://arxiv.org/abs/2106.04489
Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks (Rabeeh Karimi Mahabadi, Sebastian Ruder, Mostafa Dehghani, James Henderson)
bert의 representation을 조절하는 adapter의 파라미터를 조절하는 hypernetwork라는 구조군요. few shot multi task learning이라는 원대한 목표를 위해 꽤 흥미로운 방법이 아닌가 싶습니다.
#adapter #multitask #few_shot