공유되지 않는 Adam

[HyeAnn-Lee]

저번 미팅 때 희찬님 말씀을 듣고 optimizer.state[optimizer.param_groups[0]['params'][0]] 을 찍어봤는데, 현재 제 코드에서는 Adam이 global이 아닌지라 다 따로 동작하고 있었습니다. 이게 ICM 논문에서 말하는 '메모리를 쉐어하지 않는 아담'인걸까요?

갑자기 생각나서 올려봅니다. 월요일에 더 생각해볼게요.

[right-chan]

원작자 코드(noreward-rl)를 확인해봤는데, 워커마다 아담객체를 새로 만들고 있습니다.
opt = tf.train.AdamOptimizer(constants['LEARNING_RATE'])

We used ADAM optimizer with its parameters not shared across the workers.

혜안님이 구현하신 것이 ICM논문에서 사용하고 있는 방향인 것 같아요.

---

추가 사항

• 원작자 코드에서는 job_name을 worker와 ps로 구분하는데, 여기서 ps가 parameter server으로 보여요.
• TensorFlow: ParameterServerStrategy를 사용한 매개변수 서버 훈련을 보면 매개변수 서버 형태의 훈련을 비동기 훈련이라고 하는 것을 알 수 있습니다.
• tf.get_variable이 부분을 통해 모델 파라미터를 계속적으로 가져오는 것 같아요.
• 모델 파라미터만 tf.get_variable으로 가져오고 Adam에 대한 파라미터를 가져오는 부분은 안보여요.
• 즉, 원작자는 optimizer를 워커별로 적용했어요.

원작자 코드에서 사용한 tensorflow 버전은 tensorflow==0.12.0rc1으로 위 링크(ParameterServerStrategy)와 원작자 코드에서 사용한 방법이 달라요.
tensorflow에 익숙하지 않아서 코드 해석에 어려움이 있네요.

[HyeAnn-Lee]

• 원작자 코드에서는 Adam을 워커마다 따로 사용하고 있다.
• 그런데 global net에서 parameter를 받아오듯이 global adam(이라는 것이 존재한다면)에서 parameter를 계속 받아온다면 Adam이 워커별로 따로 있다고 하더라도 완전한 분리가 아니다.
• 하지만 코드를 확인해봐도 global adam이라는 것에서 parameter를 받아오는 부분은 여전히 보이지 않는다.
• 그러므로 Adam은 워커별로 따로 돌아가고 있는 것이 맞다.

라는 말씀이신지요?!?

[right-chan]

두 번째 문장에서 '완전한 분리'가 뭔지 잘 모르겠어요!
Adam은 워커별로 따로 돌아가고 있는 것이 맞습니다.