0
0

wFlow(CVPR2022)-虚拟试衣论文解读

文章目录

论文：
《Dressing in the Wild by Watching Dance Videos》

github:暂未开源

解决问题

问题：
虚拟试衣已经取得较大进步，但是现有方法忽略了自然场景，在自然场景表现出衣服人体未对齐，精细纹理细节退化；
解决方法：
wFlow关注自然场景，并且在真实性及自然性上改进明显，尤其对于宽松衣服：skirt和dress，有挑战性pose：胳膊交叉、腿弯曲，凌乱背景；
2D pixel flow适用于紧身或宽松衣服，然而对于pose变化比较大时失效；3D vertex flow虽然在各种姿势上表现较好，但是牺牲变形自由度，对于宽松衣服表现不好；wFlow将两者结合，作者基于Dance50k视频数据（利用跨帧一致性自监督训练）进行虚拟试衣，不需要成对图像训练，降低工作量；
本文贡献如下：
1、第一次探究自然场景下衣服迁移问题。
2、可将任意服装迁移至任何自然场景下复杂姿势，wFlow结合2D与3D信息；
3、构建大规模视频数据集，Dance50k，包括50k个跳舞视频序列；

算法

在这里插入图片描述

如图1，常规训练需要成对数据，

  1.     (
  2.    
  3.    
  4.     
  5.      I
  6.     
  7.     
  8.      s
  9.     
  10.    
  11.    
  12.     、
  13.    
  14.    
  15.     
  16.      I
  17.     
  18.     
  19.      q
  20.     
  21.    
  22.    
  23.     ，
  24.    
  25.    
  26.     
  27.      O
  28.     
  29.     
  30.      q
  31.     
  32.    
  33.    
  34.     )
  35.    
  36.   
  37.   
  38.    (I^s、I^q，O^q)
  39.   
  40.  
  41. (Is、Iq，Oq)，给出
  43.  
  44.   
  45.    
  46.     
  47.      I
  48.     
  49.     
  50.      s
  51.     
  52.    
  53.    
  54.     、
  55.    
  56.    
  57.     
  58.      I
  59.     
  60.     
  61.      q
  62.     
  63.    
  64.   
  65.   
  66.    I^s、I^q
  67.   
  68.  
  69. Is、Iq，生成
  71.  
  72.   
  73.    
  74.     
  75.      O
  76.     
  77.     
  78.      q
  79.     
  80.    
  81.   
  82.   
  83.    O^q
  84.   
  85.  
  86. Oq，然而
  88.  
  89.   
  90.    
  91.     
  92.      O
  93.     
  94.     
  95.      q
  96.     
  97.    
  98.   
  99.   
  100.    O^q
  101.   
  102.  
  103. Oq难以获得，本文使用
  105.  
  106.   
  107.    
  108.     (
  109.    
  110.    
  111.     
  112.      I
  113.     
  114.     
  115.      s
  116.     
  117.    
  118.    
  119.     ，
  120.    
  121.    
  122.     
  123.      I
  124.     
  125.     
  126.      t
  127.     
  128.    
  129.    
  130.     ，
  131.    
  132.    
  133.     
  134.      O
  135.     
  136.     
  137.      t
  138.     
  139.    
  140.    
  141.     )
  142.    
  143.   
  144.   
  145.    (I^s，I^t，O^t)
  146.   
  147.  
  148. (Is，It，Ot)进行训练，其中
  150.  
  151.   
  152.    
  153.     
  154.      I
  155.     
  156.     
  157.      s
  158.     
  159.    
  160.   
  161.   
  162.    I^s
  163.   
  164.  
  165. Is与
  167.  
  168.   
  169.    
  170.     
  171.      I
  172.     
  173.     
  174.      t
  175.     
  176.    
  177.   
  178.   
  179.    I^t
  180.   
  181.  
  182. It为同一人不同姿势，可通过视频不同帧获取。

在这里插入图片描述

图2为wFlow整体流程，包括以下三个阶段：
有条件人体分割：生成人体layout 

  1.     (
  2.    
  3.    
  4.     
  5.      M
  6.     
  7.     
  8.      t
  9.     
  10.    
  11.    
  12.     ，
  13.    
  14.    
  15.     
  16.      S
  17.     
  18.     
  19.      t
  20.     
  21.    
  22.    
  23.     )
  24.    
  25.   
  26.   
  27.    (M^t，S^t)
  28.   
  29.  
  30. (Mt，St)

像素流估计：利用预测

  1.      M
  2.     
  3.     
  4.      t
  5.     
  6.    
  7.    
  8.     、
  9.    
  10.    
  11.     
  12.      S
  13.     
  14.     
  15.      t
  16.     
  17.    
  18.   
  19.   
  20.    M^t、S^t
  21.   
  22.  
  23. Mt、St预测pixel flow
  25.  
  26.   
  27.    
  28.     
  29.      F
  30.     
  31.     
  32.      p
  33.     
  34.    
  35.   
  36.   
  37.    F^p
  38.   
  39.  
  40. Fp

wFlow引导衣服迁移

stage1: 有条件人体分割

直接使用姿态迁移进行衣服迁移，容易出现过拟合，因为训练过程使用同一人不同姿态，但在测试时为不同人体。
因此有条件分割网络（Conditional Person Segmentation, CSN）用于预测人体分割，其既能保证目标形状，又能保留源图衣服信息，如图2a所示，
CSN包括两个编码器，首先提取来自两个图像集合特征：
（1）20通道的人体分割

  1.      S
  2.     
  3.     
  4.      s
  5.     
  6.    
  7.   
  8.   
  9.    S^s
  10.   
  11.  
  12. Ss及人体特征
  14.  
  15.   
  16.    
  17.     
  18.      R
  19.     
  20.     
  21.      s
  22.     
  23.    
  24.   
  25.   
  26.    R^s
  27.   
  28.  
  29. Rs（包括3通道RGB图、1通道人体mask（由
  31.  
  32.   
  33.    
  34.     
  35.      S
  36.     
  37.     
  38.      s
  39.     
  40.    
  41.   
  42.   
  43.    S^s
  44.   
  45.  
  46. Ss二值化获得）、3通道densepose
  48.  
  49.   
  50.    
  51.     
  52.      D
  53.     
  54.     
  55.      s
  56.     
  57.    
  58.   
  59.   
  60.    D^s
  61.   
  62.  
  63. Ds(SMPL映射到UV空间)、18通道人体关键点
  65.  
  66.   
  67.    
  68.     
  69.      J
  70.     
  71.     
  72.      s
  73.     
  74.    
  75.   
  76.   
  77.    J^s
  78.   
  79.  
  80. Js）

（2）目标图densepose 

  1.      D
  2.     
  3.     
  4.      t
  5.     
  6.    
  7.   
  8.   
  9.    D^t
  10.   
  11.  
  12. Dt及人体关键点
  14.  
  15.   
  16.    
  17.     
  18.      J
  19.     
  20.     
  21.      t
  22.     
  23.    
  24.   
  25.   
  26.    J^t
  27.   
  28.  
  29. Jt。使用
  31.  
  32.   
  33.    
  34.     
  35.      D
  36.     
  37.     
  38.      t
  39.     
  40.    
  41.   
  42.   
  43.    D^t
  44.   
  45.  
  46. Dt可用于补充学习
  48.  
  49.   
  50.    
  51.     
  52.      J
  53.     
  54.     
  55.      t
  56.     
  57.    
  58.   
  59.   
  60.    J^t
  61.   
  62.  
  63. Jt可能难以感知粗糙目标形状。

将上述两者提取到特征，送入残差网络，输出目标人体mask及分割

  1.     (
  2.    
  3.    
  4.     
  5.      M
  6.     
  7.     
  8.      t
  9.     
  10.    
  11.    
  12.     ，
  13.    
  14.    
  15.     
  16.      S
  17.     
  18.     
  19.      t
  20.     
  21.    
  22.    
  23.     )
  24.    
  25.   
  26.   
  27.    (M^t，S^t)
  28.   
  29.  
  30. (Mt，St)，如式1，对于
  32.  
  33.   
  34.    
  35.     
  36.      M
  37.     
  38.     
  39.      t
  40.     
  41.    
  42.   
  43.   
  44.    M^t
  45.   
  46.  
  47. Mt使用L1损失，
  49.  
  50.   
  51.    
  52.     
  53.      S
  54.     
  55.     
  56.      t
  57.     
  58.    
  59.   
  60.   
  61.    S^t
  62.   
  63.  
  64. St使用交叉熵损失；

在这里插入图片描述

stage2: pixel flow估计

2D pixel flow用于保留图像之间结构及纹理信息，与目标无关，这保证对任意衣服款式的泛化性；因此作者使用PFN估计pixel flow 

  1.      F
  2.     
  3.     
  4.      p
  5.     
  6.    
  7.   
  8.   
  9.    F^p
  10.   
  11.  
  12. Fp

如图2b，其输入与CSN类似，源分支与CSN输入一致，**目标分支增加CSN所预测

  1.       M
  2.      
  3.      
  4.       t
  5.      
  6.     
  7.    
  8.    
  9.     M^t
  10.    
  11.   
  12.  Mt及
  13.  
  14.   
  15.    
  16.     
  17.      
  18.       S
  19.      
  20.      
  21.       t
  22.      
  23.     
  24.    
  25.    
  26.     S^t
  27.    
  28.   
  29.  St**

真实场景下源图与目标图难免发生较大变形，此时仅使用PFN容易产生伪影，对此引入特征关联层提高网络泛化性；
此外，编码器与解码器同层特征进行级联，加速学习进程；
解码器输入为两个同级别编码器特征及其相关性向量；由于源图与目标图为同一人不同姿势，因此可通过自监督训练pixel flow估计，通过依据pixel flow映射到目标帧的纹理与真值纹理差异性进行监督。
该过程如式2所示，

  1.      F
  2.     
  3.     
  4.      p
  5.     
  6.    
  7.   
  8.   
  9.    F^p
  10.   
  11.  
  12. Fp可以映射源图到目标图纹理特征；

本文PFN与ClothFlow区别为以下三点：
1、使用densepose 

  1.      D
  2.     
  3.     
  4.      t
  5.     
  6.    
  7.   
  8.   
  9.    D^t
  10.   
  11.  
  12. Dt作为输入；

2、使用相关层提供明确特征匹配引导；
3、ClothFlow利用估计的光流扭曲每个编码特征解决特征不对齐问题，而本文没有这样做，因为如果预测光流不准确将产生累计误差；

stage3: 使用wFlow进行衣服迁移

wFlow

使用阶段2产生的2D pixel flow及3D SMPL vertex flow，提升模型容纳能力，使得当面对自然场景时，模型拥有更大姿态迁移潜力；具体来说：
1、生成拟合

  1.      I
  2.     
  3.     
  4.      s
  5.     
  6.    
  7.    
  8.     、
  9.    
  10.    
  11.     
  12.      I
  13.     
  14.     
  15.      t
  16.     
  17.    
  18.   
  19.   
  20.    I^s、I^t
  21.   
  22.  
  23. Is、It的SMPL body mesh，将其映射为二维UV空间的densepose表征
  25.  
  26.   
  27.    
  28.     (
  29.    
  30.    
  31.     
  32.      D
  33.     
  34.     
  35.      s
  36.     
  37.    
  38.    
  39.     、
  40.    
  41.    
  42.     
  43.      D
  44.     
  45.     
  46.      t
  47.     
  48.    
  49.    
  50.     )
  51.    
  52.   
  53.   
  54.    (D^s、D^t)
  55.   
  56.  
  57. (Ds、Dt)；

2、因为SMPL拓扑结构固定，因此可进行计算

  1.      D
  2.     
  3.     
  4.      s
  5.     
  6.    
  7.   
  8.   
  9.    D^s
  10.   
  11.  
  12. Ds与
  14.  
  15.   
  16.    
  17.     
  18.      D
  19.     
  20.     
  21.      t
  22.     
  23.    
  24.   
  25.   
  26.    D^t
  27.   
  28.  
  29. Dt之间二维vertex flow 
  31.  
  32.   
  33.    
  34.     
  35.      F
  36.     
  37.     
  38.      v
  39.     
  40.    
  41.   
  42.   
  43.    F^v
  44.   
  45.  
  46. Fv；

3、根据式3获取wFlow 

  1.      F
  2.     
  3.     
  4.      w
  5.     
  6.    
  7.   
  8.   
  9.    F^w
  10.   
  11.  
  12. Fw，

在这里插入图片描述
其中

  1.      M
  2.     
  3.     
  4.      v
  5.     
  6.    
  7.   
  8.   
  9.    M^v
  10.   
  11.  
  12. Mv为由vertex flow 
  14.  
  15.   
  16.    
  17.     
  18.      F
  19.     
  20.     
  21.      v
  22.     
  23.    
  24.   
  25.   
  26.    F^v
  27.   
  28.  
  29. Fv导出的二进制mask；该式有两个好处：

vertex flow可保证刚性人体部件具有正确纹理映射；
pixel flow可保证精确非刚性衣服变形；
4、

  1.      F
  2.     
  3.     
  4.      w
  5.     
  6.    
  7.   
  8.   
  9.    F^w
  10.   
  11.  
  12. Fw依据目标姿态扭曲
  14.  
  15.   
  16.    
  17.     
  18.      I
  19.     
  20.     
  21.      s
  22.     
  23.    
  24.   
  25.   
  26.    I^s
  27.   
  28.  
  29. Is为
  31.  
  32.   
  33.    
  34.     
  35.      I
  36.     
  37.     
  38.      w
  39.     
  40.     
  41.      s
  42.     
  43.    
  44.   
  45.   
  46.    I^s_w
  47.   
  48.  
  49. Iws​，将其与
  51.  
  52.   
  53.    
  54.     
  55.      S
  56.     
  57.     
  58.      t
  59.     
  60.    
  61.   
  62.   
  63.    S^t
  64.   
  65.  
  66. St、未变化的目标人体部件
  68.  
  69.   
  70.    
  71.     
  72.      P
  73.     
  74.     
  75.      t
  76.     
  77.    
  78.   
  79.   
  80.    P^t
  81.   
  82.  
  83. Pt结合

GTN

如图2c，GTN有三个UNet生成器

  1.      G
  2.     
  3.     
  4.      B
  5.     
  6.    
  7.    
  8.     、
  9.    
  10.    
  11.     
  12.      G
  13.     
  14.     
  15.      S
  16.     
  17.    
  18.    
  19.     、
  20.    
  21.    
  22.     
  23.      G
  24.     
  25.     
  26.      T
  27.     
  28.    
  29.   
  30.   
  31.    G^B、G^S、G^T
  32.   
  33.  
  34. GB、GS、GT，
  37.  
  38.   
  39.    
  40.     
  41.      G
  42.     
  43.     
  44.      B
  45.     
  46.    
  47.   
  48.   
  49.    G^B
  50.   
  51.  
  52. GB修复原图与目标图背景，输入源图及目标图背景
  54.  
  55.   
  56.    
  57.     (
  58.    
  59.    
  60.     
  61.      B
  62.     
  63.     
  64.      m
  65.     
  66.     
  67.      s
  68.     
  69.    
  70.    
  71.     ，
  72.    
  73.    
  74.     
  75.      B
  76.     
  77.     
  78.      m
  79.     
  80.     
  81.      t
  82.     
  83.    
  84.    
  85.     )
  86.    
  87.   
  88.   
  89.    (B^s_m，B^t_m)
  90.   
  91.  
  92. (Bms​，Bmt​)，输出修复后的背景
  94.  
  95.   
  96.    
  97.     (
  98.    
  99.    
  100.     
  101.      B
  102.     
  103.     
  104.      o
  105.     
  106.     
  107.      s
  108.     
  109.    
  110.    
  111.     ，
  112.    
  113.    
  114.     
  115.      B
  116.     
  117.     
  118.      o
  119.     
  120.     
  121.      t
  122.     
  123.    
  124.    
  125.     )
  126.    
  127.   
  128.   
  129.    (B^s_o，B^t_o)
  130.   
  131.  
  132. (Bos​，Bot​)；
  135.  
  136.   
  137.    
  138.     
  139.      G
  140.     
  141.     
  142.      S
  143.     
  144.    
  145.   
  146.   
  147.    G^S
  148.   
  149.  
  150. GS重构原图，
  152.  
  153.   
  154.    
  155.     
  156.      B
  157.     
  158.     
  159.      o
  160.     
  161.     
  162.      s
  163.     
  164.    
  165.   
  166.   
  167.    B^s_o
  168.   
  169.  
  170. Bos​联合densepose masked源RGB图
  172.  
  173.   
  174.    
  175.     
  176.      I
  177.     
  178.     
  179.      d
  180.     
  181.     
  182.      s
  183.     
  184.    
  185.   
  186.   
  187.    I^s_d
  188.   
  189.  
  190. Ids​及源mask 
  192.  
  193.   
  194.    
  195.     
  196.      M
  197.     
  198.     
  199.      s
  200.     
  201.    
  202.   
  203.   
  204.    M^s
  205.   
  206.  
  207. Ms，通过
  209.  
  210.   
  211.    
  212.     
  213.      G
  214.     
  215.     
  216.      S
  217.     
  218.    
  219.   
  220.   
  221.    G^S
  222.   
  223.  
  224. GS重构
  226.  
  227.   
  228.    
  229.     
  230.      O
  231.     
  232.     
  233.      s
  234.     
  235.    
  236.   
  237.   
  238.    O^s
  239.   
  240.  
  241. Os，尽量与
  243.  
  244.   
  245.    
  246.     
  247.      I
  248.     
  249.     
  250.      s
  251.     
  252.    
  253.   
  254.   
  255.    I^s
  256.   
  257.  
  258. Is一致；

由于

  1.      D
  2.     
  3.     
  4.      s
  5.     
  6.    
  7.   
  8.   
  9.    D^s
  10.   
  11.  
  12. Ds来自SMPL mesh，因此，
  14.  
  15.   
  16.    
  17.     
  18.      I
  19.     
  20.     
  21.      d
  22.     
  23.     
  24.      s
  25.     
  26.    
  27.   
  28.   
  29.    I^s_d
  30.   
  31.  
  32. Ids​中宽松衣服的一些区域会被mask，这需要
  34.  
  35.   
  36.    
  37.     
  38.      G
  39.     
  40.     
  41.      s
  42.     
  43.    
  44.   
  45.   
  46.    G^s
  47.   
  48.  
  49. Gs学习补充
  51.  
  52.   
  53.    
  54.     
  55.      M
  56.     
  57.     
  58.      s
  59.     
  60.    
  61.   
  62.   
  63.    M^s
  64.   
  65.  
  66. Ms以外区域，
  68.  
  69.   
  70.    
  71.     
  72.      G
  73.     
  74.     
  75.      s
  76.     
  77.    
  78.   
  79.   
  80.    G^s
  81.   
  82.  
  83. Gs生成过程如式4；

在这里插入图片描述

  1.      G
  2.     
  3.     
  4.      T
  5.     
  6.    
  7.   
  8.   
  9.    G^T
  10.   
  11.  
  12. GT生成训练过程中姿态迁移结果，
  14.  
  15.   
  16.    
  17.     
  18.      B
  19.     
  20.     
  21.      o
  22.     
  23.     
  24.      t
  25.     
  26.    
  27.   
  28.   
  29.    B^t_o
  30.   
  31.  
  32. Bot​联合扭曲表征
  34.  
  35.   
  36.    
  37.     (
  38.    
  39.    
  40.     
  41.      I
  42.     
  43.     
  44.      w
  45.     
  46.     
  47.      s
  48.     
  49.    
  50.    
  51.     ，
  52.    
  53.    
  54.     
  55.      P
  56.     
  57.     
  58.      t
  59.     
  60.    
  61.    
  62.     ，
  63.    
  64.    
  65.     
  66.      S
  67.     
  68.     
  69.      t
  70.     
  71.    
  72.    
  73.     )
  74.    
  75.   
  76.   
  77.    (I^s_w，P^t，S^t)
  78.   
  79.  
  80. (Iws​，Pt，St)，通过
  82.  
  83.   
  84.    
  85.     
  86.      G
  87.     
  88.     
  89.      T
  90.     
  91.    
  92.   
  93.   
  94.    G^T
  95.   
  96.  
  97. GT生成姿态迁移结果
  99.  
  100.   
  101.    
  102.     
  103.      O
  104.     
  105.     
  106.      t
  107.     
  108.    
  109.   
  110.   
  111.    O^t
  112.   
  113.  
  114. Ot；

损失函数

GTN训练损失函数针对三部分进行：融合mask 

  1.      M
  2.     
  3.     
  4.      f
  5.     
  6.     
  7.      s
  8.     
  9.    
  10.   
  11.   
  12.    M^s_f
  13.   
  14.  
  15. Mfs​、重构
  17.  
  18.   
  19.    
  20.     
  21.      O
  22.     
  23.     
  24.      s
  25.     
  26.    
  27.   
  28.   
  29.    O^s
  30.   
  31.  
  32. Os、重构
  34.  
  35.   
  36.    
  37.     
  38.      O
  39.     
  40.     
  41.      t
  42.     
  43.    
  44.   
  45.   
  46.    O^t
  47.   
  48.  
  49. Ot；

使用BCE损失监督

  1.      M
  2.     
  3.     
  4.      f
  5.     
  6.     
  7.      s
  8.     
  9.    
  10.   
  11.   
  12.    M^s_f
  13.   
  14.  
  15. Mfs​及
  17.  
  18.   
  19.    
  20.     
  21.      M
  22.     
  23.     
  24.      f
  25.     
  26.     
  27.      t
  28.     
  29.    
  30.   
  31.   
  32.    M^t_f
  33.   
  34.  
  35. Mft​，如下式，

在这里插入图片描述
其中TV为正则项
在这里插入图片描述
对于重构

  1.      O
  2.     
  3.     
  4.      s
  5.     
  6.    
  7.   
  8.   
  9.    O^s
  10.   
  11.  
  12. Os和生成的
  14.  
  15.   
  16.    
  17.     
  18.      O
  19.     
  20.     
  21.      t
  22.     
  23.    
  24.   
  25.   
  26.    O^t
  27.   
  28.  
  29. Ot，使用L1及感知损失；

对抗损失进一步缩小生成图与真值差异;
GTN损失总结如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在线循环优化

在这里插入图片描述
当衣服图像分辨率不高或前背景模糊时，将充满挑战，对此作者引入在线循环优化，如图3所示，通过k次（20）Cycle Block实现，
第一次，首先通过GTN完成

  1.      I
  2.     
  3.     
  4.      s
  5.     
  6.    
  7.   
  8.   
  9.    I^s
  10.   
  11.  
  12. Is到
  14.  
  15.   
  16.    
  17.     
  18.      I
  19.     
  20.     
  21.      q
  22.     
  23.    
  24.   
  25.   
  26.    I^q
  27.   
  28.  
  29. Iq迁移，生成重构结果
  31.  
  32.   
  33.    
  34.     
  35.      
  36.       O
  37.      
  38.      
  39.       ^
  40.      
  41.     
  42.     
  43.      s
  44.     
  45.    
  46.   
  47.   
  48.    \hat O^s
  49.   
  50.  
  51. O^s及试衣结果
  53.  
  54.   
  55.    
  56.     
  57.      
  58.       O
  59.      
  60.      
  61.       ^
  62.      
  63.     
  64.     
  65.      q
  66.     
  67.    
  68.   
  69.   
  70.    \hat O^q
  71.   
  72.  
  73. O^q，接着使用同样GTN将
  75.  
  76.   
  77.    
  78.     
  79.      
  80.       O
  81.      
  82.      
  83.       ^
  84.      
  85.     
  86.     
  87.      q
  88.     
  89.    
  90.   
  91.   
  92.    \hat O^q
  93.   
  94.  
  95. O^q迁移到
  97.  
  98.   
  99.    
  100.     
  101.      I
  102.     
  103.     
  104.      s
  105.     
  106.    
  107.   
  108.   
  109.    I^s
  110.   
  111.  
  112. Is，生成重构
  114.  
  115.   
  116.    
  117.     
  118.      O
  119.     
  120.     
  121.      s
  122.     
  123.    
  124.   
  125.   
  126.    O^s
  127.   
  128.  
  129. Os，对
  131.  
  132.   
  133.    
  134.     
  135.      
  136.       O
  137.      
  138.      
  139.       ^
  140.      
  141.     
  142.     
  143.      s
  144.     
  145.    
  146.   
  147.   
  148.    \hat O^s
  149.   
  150.  
  151. O^s及
  153.  
  154.   
  155.    
  156.     
  157.      O
  158.     
  159.     
  160.      s
  161.     
  162.    
  163.   
  164.   
  165.    O^s
  166.   
  167.  
  168. Os与
  170.  
  171.   
  172.    
  173.     
  174.      I
  175.     
  176.     
  177.      s
  178.     
  179.    
  180.   
  181.   
  182.    I^s
  183.   
  184.  
  185. Is之间进行L1及MSE约束；

第二次，Is与Iq交换，其余同第一次；
以此循环往复，从而生成拥有边缘清晰，纹理丰富高质量图像；

实验

数据集

Dance50k数据集包含5W个单人跳舞序列（15s左右），其不仅可用于虚拟试衣，还可用于以人为中心的图像、视频方向；

评估方案

作者从两个角度进行评估：姿态迁移结果准确性及生成衣服迁移结果真实性；
使用SSIM评估姿态迁移；使用FID、LPIPS评估衣服迁移；使用IoU评估衣服形状，仅限于宽松衣服，由于紧身衣服通过SMPL建模IoU指标较高； 除此之外还有人工评测；

定性比较

在这里插入图片描述

如图4，作者在Dance5k及DeepFashion数据集，与ADGAN、DiOR、LWG进行比较；
ADGAN不能融合背景，且不能恰当的保留衣服特性；
DiOR在自然场景表现不佳，纹理失真；
LWG当面对复杂姿态时，生成模糊边缘，不能建模宽松衣服；

定量比较

在这里插入图片描述
如表1，SSIM用于评估结构和亮度相似性，wFlow引入pixel flow导致亮度发生轻微改变，进而SSIM在紧身衣上性能偏低；

消融实验

如表2为消融实验结果，
在这里插入图片描述
图6展示wFlow消融实验生成结果，仅使用Fp或不使用CO导致生成模糊衣服纹理，仅使用Fv不能保证衣服纹理一致性及衣服形状准确性，图6下展示随着CO（在线循环优化）进行，衣服纹理精确度越来越高；
在这里插入图片描述

结论

本文提出wFlow结合2D与3D身体信息映射衣服纹理，同事引入循环优化适用于非常规衣服，取得不错效果，同时提出Dance50k数据集；

标签： 人工智能 深度学习 计算机视觉
本文转载自: https://blog.csdn.net/qq_41994006/article/details/126542014
版权归原作者 ‘Atlas’ 所有， 如有侵权，请联系我们删除。
登录后发布评论

“wFlow(CVPR2022)-虚拟试衣论文解读”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？