https://arxiv.org/abs/2012.05217
Positional Encoding as Spatial Inductive Bias in GANs (Rui Xu, Xintao Wang, Kai Chen, Bolei Zhou, Chen Change Loy)
generative model에서 zero padding으로 발생하는 position 정보를 첨가하는 것이 중요. 그렇다면 명시적으로 sinusoidal position encoding 같은 것을 사용하면 어떨까? 결과적으로 singan의 성능 향상이나 stylegan2의 multiscale training에 성공. nerf도 그렇고 position 정보를 명시적으로 주입하는 것이 중요하다는 것이 점점 더 명확해지는 중.
#positional_encoding #generative_model