딥러닝 인터뷰 중 "학습시 필요한 GPU 메모리는 어떻게 계산하는가?" 에 대한 의견 #148
-
|
새해 복 많이 받으세요! 자주 의견 남겼어야하는데...허헣..현생에 치이다보니... 거두 절미하고 인터뷰 내용들을 스으으윽 훑어보던중 해당
과연 실제로도 이렇게 계산하면 나올까요? |
Beta Was this translation helpful? Give feedback.
Answered by
CoodingPenguin
Jan 17, 2022
Replies: 1 comment 1 reply
-
|
@jjerry-k 우선 좋은 의견 정말 감사드립니다:) "학습 시 필요한 GPU 메모리 어떻게 계산하는가?"에 대해서 혹시 제리님이 생각하시는 더 좋은 답변이 있을까요? |
Beta Was this translation helpful? Give feedback.
1 reply
-
|
학습이라는 과정이라고 하면 단순히 모델과 데이터 뿐 아니라 Loss와 Gradient 계산에 필요한 메모리 까지 더해져야할 것 같습니다! |
Beta Was this translation helpful? Give feedback.
Answer selected by
CoodingPenguin
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
@jjerry-k 우선 좋은 의견 정말 감사드립니다:)
시간이 좀 흘렀지만 제리님도 새해 복 많이 받으시길 바랍니다!
"학습 시 필요한 GPU 메모리 어떻게 계산하는가?"에 대해서
cuda메서드를 사용하여 GPU를 사용하는 변수 부분만 고려해서 위와 같은 식을 생각 한 것 같습니다.혹시 제리님이 생각하시는 더 좋은 답변이 있을까요?