AI一键换装神器爆火，IDM-VTON ：奥特曼秒变猛男粉！

IDM-VTON（Improved Diffusion Models for Virtual Try-ON）是由韩国科学技术院和OMNIOUS.AI的研究人员提出的一种先进的AI虚拟试穿技术，通过改进扩散模型来生成逼真的人物穿戴图像，实现更真实的虚拟试穿效果。该技术包含两个关键组件：一是视觉编码器，用于提取服装图像的高级语义信息；二是GarmentNet，一个并行UNet网络，用于捕捉服装的低级细节特征。IDM-VTON还引入了详细的文本提示，以增强模型对服装特征的理解，从而提升生成图像的真实度。

在线体验：【链接直达】

开源项目：【GitHub】

安装环境要求：

git clone https://github.com/yisol/IDM-VTON.git
cd IDM-VTON

conda env create -f environment.yaml
conda activate idm

您可以从 VITON-HD 下载 VITON – HD 数据集。

下载 VITON-HD 数据集后，将 vitonhd_test_tagged.json 移动到测试文件夹中。

数据集目录的结构应如下所示。

train
|-- ...

test
|-- image
|-- image-densepose
|-- agnostic-mask
|-- cloth
|-- vitonhd_test_tagged.json

着装要求

您可以从DressCode下载 DressCode 数据集。

我们在这里提供预先计算的密集姿势图像和服装标题。

我们使用detectorron2来获取密集姿态图像，请参阅此处了解更多详细信息。

下载 DressCode 数据集后，放置图像密集目录和标题文本文件，如下所示。

DressCode
|-- dresses
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...
|-- lower_body
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...
|-- upper_body
    |-- images
    |-- image-densepose
    |-- dc_caption.txt
    |-- ...

使用带参数的 python 文件进行推理

accelerate launch inference.py \
    --width 768 --height 1024 --num_inference_steps 30 \
    --output_dir "result" \
    --unpaired \
    --data_dir "DATA_DIR" \
    --seed 42 \
    --test_batch_size 2 \
    --guidance_scale 2.0

或者，您可以简单地使用脚本文件运行。

sh inference.sh

对于 DressCode 数据集，通过类别参数输入要生成图像的类别，

accelerate launch inference_dc.py \
    --width 768 --height 1024 --num_inference_steps 30 \
    --output_dir "result" \
    --unpaired \
    --data_dir "DATA_DIR" \
    --seed 42 
    --test_batch_size 2
    --guidance_scale 2.0
    --category "upper_body"

或者，您可以简单地使用脚本文件运行。

sh inference.sh