200207 Bayes Posterior.md

https://arxiv.org/abs/2002.02405

How Good is the Bayes Posterior in Deep Neural Networks Really? (Florian Wenzel, Kevin Roth, Bastiaan S. Veeling, Jakub Świątkowski, Linh Tran, Stephan Mandt, Jasper Snoek, Tim Salimans, Rodolphe Jenatton, Sebastian Nowozin)

세 줄 요약:

1. SG-MCMC는 정확하게 posterior를 근사하는 것 같다.
2. 그런데 true posterior sample을 쓰는 것보다 temperature를 낮춘 샘플을 사용하는 것이 성능이 더 낫다 (cold posterior)
3. 왜 그런지는 모르겠다. prior에 대한 연구를 좀 더 해야할 듯.

#bayesian