생성모델(5) conditional generation

 

 

1. conditional diffusion models

 

 

y가 control하고 싶은 signal일 때 reverse를 통해 noise -> image로 가는 와중에 controllable generation을 목표로 할 수 있다. 

 

 

주황색 term을 바로 못 구하기 때문에 베이즈룰을 사용하여 두 가지 term으로 나눈다. 왼쪽 노란색 term은 score function 그 자체가 되며, 오른쪽 초록 term은 y given x로 더 이상 score function과 상관 없이 별개로 학습된다.  

알고리즘은 아래와 같다. score model을 통해 평균을 구하고, 여기다가 추가적으로 classifier의 gradient 값을 더하여 샘플링하면 그 class의 xt를 뽑아낼 수 있다. (s는 스케일링 지수, 다른 값들은 수학적 공식)

 

 

 

2. related research 

 

ㅇㅇ

 

 

 

 

 

 

 

출처 : https://www.youtube.com/watch?v=uFoGaIVHfoE&t=5199s