DDPM 썸네일형 리스트형 [DiffAIL] DiffAIL : Diffusion Adversairal Imitation Learning 논문 리뷰 https://arxiv.org/abs/2312.06348 DiffAIL: Diffusion Adversarial Imitation Learning Imitation learning aims to solve the problem of defining reward functions in real-world decision-making tasks. The current popular approach is the Adversarial Imitation Learning (AIL) framework, which matches expert state-action occupancy measures to obtai arxiv.org 0. Abstract 모방 학습의 목표는 실제 세계의 decision-making ta.. 더보기 생성모델(1) Denoising Diffusion Probabilistic Models(DDPM) 자, 아래에서부터 ddpm에 관한 논문 리뷰가 본격적으로 이루어질 것이다. 그 전에. 신우상 박사님의 세미나를 들은 이후, ddpm에 관해 그리고 생성모델에 관해 깊은 생각을 할 수 있었다. 관련된 생각을 정리해보자. learning이란? criterion을 가지로 거리를 정의하는 것이다. '우리가 대학교 전공을 얼마나 잘 이해하였는가'는 '대학교 시험 점수'라는 criterion(기준)으로 판단할 수 있다. 이처럼, learning을 할 때에는 기준 그리고 기준과의 거리에 대해 생각할 필요가 있다. manifold란 고차원 데이터를 저차원에서도 잘 표현하는 공간을 의미한다. 이를 좀 더 비유적으로 설명해보자. 확률과정 과목에서 배웠듯이 continuous space에서 one point의 확률(연속공간.. 더보기 생성모델(4) Score-based generative models 1. Overview [1] 데이터 공간 상에서 임의의 랜덤한 노이즈(데이터)를 생성한다. [2] 확률 밀도 함수의 기울기를 계산 후, 확률 값이 높아지는 방향으로 데이터를 업데이트한다. [3] 확률값이 높은 곳에 도달하면 샘플링된 데이터와 유사한 데이터를 생성한다. 2. Score-based generative models score란 확률 밀도 함수의 미분이다. 즉, 입력 데이터 x에 대한 미분이다. 입력 데이터와 score의 dimension이 동일하다. [1] 데이터의 분포를 모르지만 Score만 알면 데이터 생성이 가능하다. [2] Score를 데이터로부터 추정한다. (score matching, training) [3] 추정된 score를 바탕으로 새로운 데이터를 sampling한다. (lan.. 더보기 Diffusion_Toy Simulation code 분석 드디어 코드 분석 시작! 바로 논문 코드를 분석하진 않았고, 쉬운 코드로 먼저 분석했다. 1. Package import & Device setting 딥러닝과 컴퓨터 비전 작업을 위한 다양한 라이브러리와 모듈을 가져오는 역할을 한다. 우선 PyTorch 라이브러리와 그 하위 모듈들을 가져오는 부분이다. 이에는 신경망 모듈('torch.nn'), 컴퓨터 비전 관련 모듈('torchvison'), 초기화 메소드('init'), 일반적인 연산에 대한 함수형 인터페이스('F') 등이 포함된다. 그 외에도 다양한 모듈을 활용한다. math 모듈은 연산을 수행한다. matplotlib.pyplot 모듈은 animation이라는 이름으로 가져오는데, 애니메이션을 생성한다. rotate 함수는 배열의 회전 변환을 수.. 더보기 [DDPM] Diffusion Models Beat GANs on Image Synthesis 논문 리뷰 Diffusion Model에 사용되는 아주 기본 공식들(여기를 클릭) 공부하기 전에 알아두면 좋은 DPM 기본 공식들 (여기를 클릭) Abstract diffusion model이 현재의 state-of-the-art generative model보다 우수한 [이미지 샘플 퀄리티]를 가진다. 일련의 절제(ablation)를 통해, 더 나은 아키텍처로 unconditional image synthesis을 수행한다. conditional image synthesis을 위해, 분류 지침을 통해, 샘플 품질을 추가적으로 개선한다. -> 분류 지침(clssifier guidance) : 분류기로부터 gradient를 사용하여, 다양성을 교환. 간단하고 효율적 방법 Diffusion Process 1) 원래의 .. 더보기 이전 1 다음
