https://arxiv.org/abs/2002.04764
Capsules with Inverted Dot-Product Attention Routing (Yao-Hung Hubert Tsai, Nitish Srivastava, Hanlin Goh, Ruslan Salakhutdinov)
capsule network 연구. inverted attention - low level feature가 high level feature에 attention을 준다는 느낌에서 붙인 이름인 듯? - 과 layer norm 사용 같은 개선들이 포함됨. 그런데 Nitish Srivastava하고 Ruslan Salakhutdinov가 애플에 갔었네.
#capsule #attention