Get max attentive context correctly

[kch31411]

논문의 내용과 다르게 구현된 부분이 있는 것 같아 PR 합니다.

[galsang]

제가 코드를 짠 지 오래 돼서 어떤 점이 잘못됐는지 설명해주시면 감사하겠습니다.

[kch31411]

기존 코드는 attention이 곱해진 context(ex. att_h_fw)들 중에서

BIMPM-pytorch/model/BIMPM.py

Line 292 in 17f3735

att_h_fw = con_h_fw.unsqueeze(1) * att_fw.unsqueeze(3)

element-wise하게 가장 큰 값들을 골라 뽑는 것으로 보입니다.

BIMPM-pytorch/model/BIMPM.py

Line 317 in 17f3735

att_max_h_fw, _ = att_h_fw.max(dim=2)

그러나 원 논문에서 의도된 Max attentive context는 가장 큰 attention 값을 가지는 context 벡터를 뽑아오는 것으로 되어있습니다.
"we pick the contextual embedding with the highest cosine similarity as the attentive vector"