Paper: Residual Denoising Diffusion Models (CVPR 2024)

기존 DDPM은 Image Restoration에 적용할 수 있지만, noise만을 다루는 구조로 인해 복원 과정에 대한 명확한 해석이 어렵다. 이를 해결하기 위해, 본 논문에서는 residual과 noise를 분리한 dual diffusion 구조를 도입해 DDPM을 확장함으로써, 생성과 복원을 모두 해석 가능한 형태로 통합하였다.

여기서 residual $I_\text{res}$는 degraded image의 “손상된 정도” (원본 이미지에 얼마나 noise나 blur 등이 추가되었는지)를 의미한다:

$$I_\text{res} = I_\text{in} - I_0$$

• $I_\text{in}$: 손상된 입력 이미지 (degraded input)
• $I_0$: 원래의 깨끗한 이미지 (target image)

기존 DDPM에서는 $I_0$에 noise $\epsilon$를 점점 추가하면서 $I_T$를 만드는 “noise 기반 확산"만 있었는데, RDDM은 이를 다음처럼 두 개의 확산 경로로 나눈다:

1. Residual diffusion:
   • $I_0 \rightarrow I_\text{in}$ 방향으로 residual을 점점 추가
   • certainty를 반영하여, restoration task에 효과적
2. Noise diffusion:
   • 일반적인 random noise $\epsilon$ 추가
   • diversity를 반영하여, generation task에 효과적

이 두 확산을 동시에 적용하여, 최종적으로 $I_T = I_\text{in} + \epsilon$인 diffusion을 정의하고 학습한다. 이 두 확산은 각각 독립적인 coefficient schedule로 조절되며, residual은 방향성 정보를, noise는 다양성을 각각 담당한다. RDDM 논문은 DDPM과 DDIM과의 비교 및 정리를 핵심적으로 다루고 있기 때문에, 주요 수식들을 아래에 동일한 형식으로 정리해두었다.

RDDM의 성능에 관해서는 아래 table을 보면,

(a) Image generation의 경우, coefficient transformation을 통해 pre-trained DDIM을 RDDM으로 변환할 수 있으며, FID 수치가 근소하게 오르는 것을 볼 수 있다.

(b-d) Image restoration의 경우에도 shadow removal, low-light enhancement, deraining task에서 SOTA와 필적하는 성능을 보였다. 학습에는 모든 task에 대해 동일한 UNet을 이용하였으며 총 5개 데이터셋에 대해 학습했다고 한다. 또한 별도의 하이퍼파라미터 튜닝 없이, 단순히 $\ell_1$ loss와 batch size = 1만으로 표의 성능을 달성했다. 다른 논문들이 정교한 구조와 튜닝을 통해 얻은 결과와 비슷하거나 오히려 더 뛰어난 성능을 보여준다는 점에서 꽤 인상적이다.