diffusion model 정리 자료

 

 

DDPM fundamentals

 

-> 한 줄씩 이해해보자. 

 

1) Markov property

강화 학습 : 머신러닝 중 한 방법으로, 정답이 없다. 보상(reward)을 최대화하는 policy를 찾는 학습법

-> 1) Trial and Error, 2) Delayed Reward. 인간처럼 [방법을 알고, 이것에 익숙해지는 과정]을 거친다. 

-> 강화 학습의 대상이 되는 문제들은 MDP로 표현된다. 이 MDP는 모두 Markov Process에 기반한다.

-> policy : state s에서 action a를 취할 확률

 

Q. Markov Process란 무엇일까?

확률론에서, 마르코프연쇄는 [메모리를 갖지 않는] [이산 시간 확률과정]이다. 

-> 확률 과정 : 시간이 진행함에 따라 상태가 확률적으로 변화하는 과정

    확률론적으로 접근하자면, 어떠한 확률 분포를 따르는 랜덤값(random variable)이 discrete한 시간 간격마다 값을 생성.

A. Markov Process란, [이때의 시간간격이 discrete]하고, [현재의 state가 이전 state에만 영향을 받는] 확률 과정

    Markov Process란 Markov property를 갖는 확률 과정

 

Q. Markov Property란 무엇일까?

어떤 특정 state 도달하든 ~~, 그 이전에 어떠한 state를 거쳐왔든 ~~, 다음 state로 각 확률은 항상 같다. 

-> memoryless property라고 부르기도 한다. 

A. 0부터 (t-1) 시간까지의 여러 state를 거쳐, t시간의 state에 도달 확률 = (t-1) 시간의 상태에서 t시간의 state에 도달 확률

 

 

2) Product rule

Q. 조건부 확률?

A. P(B|A) : 사건 A가 일어났다는 조건 하에서, 사건 B가 일어날 확률

 

 

3) Sum rule(or Marginalization property)

 

우항의 p(X,Y) : 사건 X, 사건 Y가 동시에 일어날 확률

우항 : 모든 확률 변수 Y의 모든 값 y에 대한 적분 값(when y is continuous)

좌항 : 사건 X가 일어날 확률

** 사건 X가 발생할 확률 = 사건 X는 그대로 두고 사건 Y의 모든 확률을 더한 것

 

 

4) Markov chain

 

마르코프 성질을 가진 이산 확률과정

-> 마르코프 성질 : 특정 상태의 확률은 오직 과거의 상태에 의존한다. 

-> 하나의 state에서 나가는 node의 총합은 1이다. 

 

 

5) using Normal Distribution

 

where 뒤에 부분에서, σ0과 σ1이 아니라, σ0의 제곱과 σ1의 제곱으로 고쳐 보시면 됩니당

 

정규분포 : N (μ, σ2)

확률변수 X가 X ~ N (μ, σ2)를 따른다면

확률변수 X가 a에서 b 사이에 값을 갖게 될 확률은, 정규분포함수를 a ~ b에서 정적분하여 구할 수 있음

 

 

6) using Integral

 

X[1:T] : 데이터 X0과 동일한 차원의 잠재 요소

3) Sum rule을 이해하면, 동시에 이해가 된다. 

 

 

Denoising Diffusion Probabilistic Models

 

간단히 말해서, diffusion model의 sampling step을 줄이기 위해 제안된 연구.

neural network로 표현되는 p모델이 q를 보고 noise를 걷어내는 과정을 학습하는 것.

-> q는 noise를 아주 조금 추가하는 과정

-> 단순히 q의 평균, 분산과 같아지도록 p를 학습시킨다면 p 또한 noise가 추가되는 방향으로 학습되지 않겠는가

-> 이에 대한 해답은 아래에서

 

 

DDPM 관련 논문 리뷰글

https://ufubbd.tistory.com/82

DDPM(Denoising Diffusion Probabilistic Models) : Diffusion Models Beat GANs on Image Synthesis 논문 리뷰

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

출처 및 참고 사이트 : 

 

1) Markov property

https://sumniya.tistory.com/3

[Ch.2] Markov Decision Process

 

2) Sum rule

https://velog.io/@uonmf97/Google-AI-BootCamp-MML-Study6.-Probability-and-Distributions%ED%99%95%EB%A5%A0%EB%B6%84%ED%8F%AC-Sum-Rule-Product-Rule-and-Bayes-Theorem

[Google AI BootCamp MML Study]6. Probability and Distributions(확률분포)-Sum Rule, Product Rule, and Bayes’ Theorem

 

3)  걍 좀 ㄱㅊ은거 

https://ai-information.blogspot.com/2019/06/prml-012.html

PRML-01.2, 확률론

 

4) 깃허브?

https://github.com/w86763777/pytorch-ddpm

GitHub - w86763777/pytorch-ddpm: Unofficial PyTorch implementation of Denoising Diffusion Probabilistic Models

 

5) 걍 좀 ㄱㅊ은거2

https://wikidocs.net/24949

19-01 잠재 의미 분석(Latent Semantic Analysis, LSA)