0
0

[总结] DDPM Diffusion模型各阶段训练和采样过程方案细节和代码逻辑汇总

DDPM Diffusion模型训练和采样过程细节汇总

算法回顾

DDPM的算法概述
在这里插入图片描述

我们从 Classifier-Free Diffusion Guidance 这篇文章开始。
classifier-free 引导的条件采样过程
在这里插入图片描述
在《Null-text Inversion for Editing Real Images using Guided Diffusion Models》 中，对Classifier-free guidance 形式化为：
在这里插入图片描述
简单的推断一下：
= 

  1.     ω
  2.    
  3.    
  4.     ∗
  5.    
  6.    
  7.     
  8.      ϵ
  9.     
  10.     
  11.      θ
  12.     
  13.    
  14.    
  15.     (
  16.    
  17.    
  18.     
  19.      z
  20.     
  21.     
  22.      t
  23.     
  24.    
  25.    
  26.     ,
  27.    
  28.    
  29.     t
  30.    
  31.    
  32.     ,
  33.    
  34.    
  35.     C
  36.    
  37.    
  38.     )
  39.    
  40.    
  41.     +
  42.    
  43.    
  44.     
  45.      ϵ
  46.     
  47.     
  48.      θ
  49.     
  50.    
  51.    
  52.     (
  53.    
  54.    
  55.     
  56.      z
  57.     
  58.     
  59.      t
  60.     
  61.    
  62.    
  63.     ,
  64.    
  65.    
  66.     t
  67.    
  68.    
  69.     ,
  70.    
  71.    
  72.     ⊘
  73.    
  74.    
  75.     )
  76.    
  77.    
  78.     −
  79.    
  80.    
  81.     ω
  82.    
  83.    
  84.     ∗
  85.    
  86.    
  87.     
  88.      ϵ
  89.     
  90.     
  91.      θ
  92.     
  93.    
  94.    
  95.     (
  96.    
  97.    
  98.     
  99.      z
  100.     
  101.     
  102.      t
  103.     
  104.    
  105.    
  106.     ,
  107.    
  108.    
  109.     t
  110.    
  111.    
  112.     ,
  113.    
  114.    
  115.     ⊘
  116.    
  117.    
  118.     )
  119.    
  120.   
  121.   
  122.    \omega * \epsilon_{\theta}(z_t,t,C)+\epsilon_{\theta}(z_t,t,\oslash )-\omega * \epsilon_{\theta}(z_t,t,\oslash )
  123.   
  124.  
  125. ω∗ϵθ​(zt​,t,C)+ϵθ​(zt​,t,⊘)−ω∗ϵθ​(zt​,t,⊘)

= 

  1.     ω
  2.    
  3.    
  4.     ∗
  5.    
  6.    
  7.     (
  8.    
  9.    
  10.     
  11.      ϵ
  12.     
  13.     
  14.      θ
  15.     
  16.    
  17.    
  18.     (
  19.    
  20.    
  21.     
  22.      z
  23.     
  24.     
  25.      t
  26.     
  27.    
  28.    
  29.     ,
  30.    
  31.    
  32.     t
  33.    
  34.    
  35.     ,
  36.    
  37.    
  38.     C
  39.    
  40.    
  41.     )
  42.    
  43.    
  44.     −
  45.    
  46.    
  47.     
  48.      ϵ
  49.     
  50.     
  51.      θ
  52.     
  53.    
  54.    
  55.     (
  56.    
  57.    
  58.     
  59.      z
  60.     
  61.     
  62.      t
  63.     
  64.    
  65.    
  66.     ,
  67.    
  68.    
  69.     t
  70.    
  71.    
  72.     ,
  73.    
  74.    
  75.     ⊘
  76.    
  77.    
  78.     )
  79.    
  80.    
  81.     )
  82.    
  83.    
  84.     +
  85.    
  86.    
  87.     
  88.      ϵ
  89.     
  90.     
  91.      θ
  92.     
  93.    
  94.    
  95.     (
  96.    
  97.    
  98.     
  99.      z
  100.     
  101.     
  102.      t
  103.     
  104.    
  105.    
  106.     ,
  107.    
  108.    
  109.     t
  110.    
  111.    
  112.     ,
  113.    
  114.    
  115.     ⊘
  116.    
  117.    
  118.     )
  119.    
  120.   
  121.   
  122.    \omega *( \epsilon_{\theta}(z_t,t,C)-\epsilon_{\theta}(z_t,t,\oslash ))+\epsilon_{\theta}(z_t,t,\oslash )
  123.   
  124.  
  125. ω∗(ϵθ​(zt​,t,C)−ϵθ​(zt​,t,⊘))+ϵθ​(zt​,t,⊘)

相当于是在

  1.      ϵ
  2.     
  3.     
  4.      θ
  5.     
  6.    
  7.    
  8.     (
  9.    
  10.    
  11.     
  12.      z
  13.     
  14.     
  15.      t
  16.     
  17.    
  18.    
  19.     ,
  20.    
  21.    
  22.     t
  23.    
  24.    
  25.     ,
  26.    
  27.    
  28.     ⊘
  29.    
  30.    
  31.     )
  32.    
  33.   
  34.   
  35.    \epsilon_{\theta}(z_t,t,\oslash )
  36.   
  37.  
  38. ϵθ​(zt​,t,⊘)的基础上，加强了在
  40.  
  41.   
  42.    
  43.     
  44.      ϵ
  45.     
  46.     
  47.      θ
  48.     
  49.    
  50.    
  51.     (
  52.    
  53.    
  54.     
  55.      z
  56.     
  57.     
  58.      t
  59.     
  60.    
  61.    
  62.     ,
  63.    
  64.    
  65.     t
  66.    
  67.    
  68.     ,
  69.    
  70.    
  71.     C
  72.    
  73.    
  74.     )
  75.    
  76.    
  77.     −
  78.    
  79.    
  80.     
  81.      ϵ
  82.     
  83.     
  84.      θ
  85.     
  86.    
  87.    
  88.     (
  89.    
  90.    
  91.     
  92.      z
  93.     
  94.     
  95.      t
  96.     
  97.    
  98.    
  99.     ,
  100.    
  101.    
  102.     t
  103.    
  104.    
  105.     ,
  106.    
  107.    
  108.     ⊘
  109.    
  110.    
  111.     )
  112.    
  113.   
  114.   
  115.    \epsilon_{\theta}(z_t,t,C)-\epsilon_{\theta}(z_t,t,\oslash )
  116.   
  117.  
  118. ϵθ​(zt​,t,C)−ϵθ​(zt​,t,⊘)方向上的引导，可以结合下图来进行理解：

在这里插入图片描述
Classifier-Free Diffusion Guidance 中的这张图也表达相同的意思，模型增加分类器指导强度时发生的Inception score增加和样本多样性减少的简化表现。
在这里插入图片描述

框架理解

下面画图理解一下Diffuion Model 发展各个阶段的方法

DDPM

训练过程

在这里插入图片描述

采样过程

在这里插入图片描述

Text-guiled DDPM

训练过程

在这里插入图片描述

采样过程

在这里插入图片描述

Null-text guiled DDPM

训练过程

和 text guiled DDPM一致。

采样过程

在这里插入图片描述

项目代码

下面是论文《GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models》的代码逻辑进行梳理，code 链接：https://github.com/openai/glide-text2im/

训练过程在这里插入图片描述

采样过程

在这里插入图片描述

标签： 算法 人工智能 Diffusion
本文转载自: https://blog.csdn.net/NGUever15/article/details/128574368
版权归原作者 _Summer tree 所有， 如有侵权，请联系我们删除。
登录后发布评论

“[总结] DDPM Diffusion模型各阶段训练和采样过程方案细节和代码逻辑汇总”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？