Diffusion기반 생성모델 학습방법 성능 향상을 위한 기법 개발

• summary.ai는 KAIST와 협력하여, Diffusion 기반 생성모델의 학습성능을 높이는 방법을 고안하였다. Diffusion 모델은 Reverse Diffusion을 통하여 생성을 수행하는데, Diffusion의 분산에 따른 생성과정의 반영정도가 다르다는 점을 발견하였다. 이에 Diffusion 분산에 따른 Weighted Sampling을 수행할 수 있는 기법을 제안하였다. 제시된 기술은 기계학습 분야 최정상 학회인 ICML 2022에서 발표될 예정이다.

• Dongjun Kim, Seungjae Shin, Kyungwoo Song, Wanmo Kang, Il-Chul Moon, Soft Truncation: A Universal Training Technique of Score-based Diffusion Model for High Precision Score Estimation, International Conference on Machine Learning (ICML 2022), Baltimore, Jul 17, 2022