Chapter 3 BERT 활용하기

[emphasis10]

발표 나누기
3.1 ~ 3.3 @0hee0
3.4 ~ @emphasis10

@mori8 님 QA 관련 부분 자료 업데이트 반영 부탁드립니다 ㅎㅎ
@shyram 님 #7 발행했습니다 ㅎㅎ

3.4 Downstream Task를 위한 BERT Fine-tuning 방법에 관련하여,

1. 현업에서 Fine-tuning 어떻게 하는지?
2. Fine-tuning 하면서 Freezing을 사용하는 것과 사용하지 않는 것에 대한 성능 차이가 있는지?

에 대한 추가적인 내용을 다룰 예정입니다.

[emphasis10]

[오탈자]
p.128 첫번째 줄.

tokens = [ [CLS], I, love, Paris, [SEP] ]
->
tokens = [ '[CLS]', 'I', 'love', 'Paris', '[SEP]' ]

p.137

segment_ids = [0] * len(question_tokens)
segment_ids += [1] * len(paragraph_tokens) # 문맥상 +=으로 변경 필요

[mori8]

p.117

• hidden_rep[0][1]은 두번째 토큰인 I i의 표현 벡터를 제공한다.

[hee-suh]

model = BertModel.from_pretrained('bert-base-uncased')
model(token_ids, attention_mask = attention_mask)

model이 반환하는 pooler_output이 활성화함수로 왜 tanh를 사용하는 건지 궁금합니다.