200412 ProFormer.md

https://arxiv.org/abs/2004.05801

ProFormer: Towards On-Device LSH Projection Based Transformers (Chinnadhurai Sankar, Sujith Ravi, Zornitsa Kozareva)

트랜스포머 효율 개선. LSH로 임베딩을 최적화하고 풀링으로 입력 시퀀스의 길이를 줄여버리기.

#efficient_attention