一、关于IDM-VTON简介
随着线上购物踩坑越来越多,AI试衣镜、3D试穿等应用也开始流行开来,今天就为大家带来一款【AI一键换装】开源虚拟技术,这项技术能够生成高度真实的虚拟试衣图像,其细节处理之精细,令人赞叹不已。
【使用步骤】
1、进入IDM-VTON,上传个人照片,或选择软件提供的内置模特;
2、上传服装照片,或选择服装库中选择合适的服装样式;
3、点击Try-on,软件会模拟服装在模特身上的效果,如上图。
二、训练教程
【配置要求】
Win 环境:windwos10/11操作系统;英伟达显卡GPU 8G以上
Mac环境:MacOS(Apple Silicon-M1/M2/M3);推荐内存8G以上
【安装】-扩散模型
1.克隆仓库
2.安装Python依赖
3.下载预训练的VGG检查点并放置在models/vgg/目录下
**【安装】-**扭曲模块
4.克隆仓库
5.将代码移动至相应目录
【数据准备】-VITON-HD
1.下载VITON-HD数据集
下载链接:GitHub - shadow2496/VITON-HD: Official PyTorch implementation of "VITON-HD: High-Resolution Virtual Try-On via Misalignment-Aware Normalization" (CVPR 2021)
2.下载预先扭曲的衣物图像/掩模,将其放在你的VITON-HD数据集目录下
下载链接:百度网盘 请输入提取码
完成后文件结构如下:
【推理】-VITON-HD
1.下载预训练模型:
下载链接:百度网盘 请输入提取码
【推理】-扭曲模块
2.先将 warp_vtion.pth 移动到 checkpoints 目录:
3.然后运行测试命令:
4.推断后,你可以将结果用于VITON-HD中扩散模型的推理和训练。
【推理】-扩散模型
或者直接运行:
【训练】-扭曲模块
1.运行以下命令来训练扭曲模块
【训练】-扩散模型
1.我们使用Paint-by-Example的预训练模型作为初始化,可以下载预训练模型并保存到checkpoints目录。建议使用科学加速软件下载:
下载链接:https://drive.google.com/file/d/15QzaTWsvZonJcXsNv-ilMRCYaQLhzR_i/view
要使用VITON-HD训练新模型,首先需要在configs/viton512.yaml中修改VITON-HD数据集的根目录,然后使用main.py进行训练。例如:
或简单运行:
如果您的配置环境无法满足IDM-VTON的训练需求,我们也建议大家使用骋风算力平台,租用算力进行训练,平台卡型多种多样,按需付费,开箱即用,以4090卡型为例,每小时仅需1.99元!近期还有启程福利,新人注册、进群均有免费算力券领取,千万不要错过!
探索AI多元化发展路径,骋风算力与您一路相伴~
版权归原作者 骋风算力 所有, 如有侵权,请联系我们删除。