FitDiT: uma ferramenta de ajuste virtual de IA de alta fidelidade para aprimorar a autenticidade dos detalhes das roupas

O FitDiT é um sistema de ajuste virtual de alta fidelidade baseado em transformadores de difusão. Desenvolvido pelo Tencent AI Lab, o projeto tem como objetivo abordar as limitações dos sistemas de ajuste virtual tradicionais na exibição dos detalhes das roupas. O FitDiT propõe de forma inovadora uma nova arquitetura algorítmica que preserva melhor os detalhes autênticos das roupas, tornando o efeito de ajuste virtual mais realista. O projeto é totalmente de código aberto, fornecendo demonstrações on-line, modelos pré-treinados e implementações de código completo para apoiar pesquisadores e desenvolvedores em pesquisas acadêmicas e pré-estudos comerciais. O projeto lançou o artigo em novembro de 2024 e, sucessivamente, abriu a demonstração on-line, o conjunto de dados e os pesos do modelo em dezembro de 2024, o que ganhou grande atenção do meio acadêmico e do setor.

Demonstração on-line: https://huggingface.co/spaces/BoyuanJiang/FitDiT

Lista de funções

• Função de geração de ajuste virtual totalmente automatizada
• Geração inteligente de máscara de área de ajuste
• Ferramentas de edição e ajuste manual da máscara
• Suporte a efeitos de ajuste de várias resoluções
• Otimização da fidelidade dos detalhes do vestuário
• Suporte à plataforma de apresentação on-line (interface Gradio)
• Suporte à implementação local (suporte a várias configurações de desempenho)
• Conjunto de dados de curativos virtuais complexos (CVDD)
• Código completo de treinamento e inferência de modelos
• Integração de hospedagem do modelo Hugging Face

Usando a Ajuda

1. acesso on-line

O FitDiT oferece duas maneiras de usá-lo on-line:

1. Demonstração on-line do Hugging Face Space: visite https://huggingface.co/spaces/BoyuanJiang/FitDiT
2. Plataforma oficial de demonstração on-line: acesse http://demo.fitdit.byjiang.com/

Passos para usar:

Etapa 1: Gerar a máscara da área de ajuste

1. Carregue uma foto da pessoa cujas roupas você deseja trocar
2. Carregue uma foto da peça de roupa que você deseja experimentar
3. 点击”Step1: Run Mask”按钮生成初始遮罩
4. Se você precisar ajustar o intervalo da máscara, poderá fazê-lo:
   • Use o controle deslizante para ajustar o intervalo da máscara:
     • mask offset top: ajusta a borda superior
     • mask offset bottom: ajusta a borda inferior
     • mask offset left: ajusta a borda esquerda
     • deslocamento da máscara à direita: ajusta a borda direita
   • Modificar manualmente a área mascarada usando a ferramenta pincel
   • Use a ferramenta Eraser para refinar as bordas da máscara

Etapa 2: Gerar resultados de ajuste

1. Escolha a resolução de ajuste desejada
2. 点击”Step2: Run Try-on”开始生成
3. Aguarde até que o modelo termine o processamento para ver o resultado do ajuste

2. metodologia de implantação local

Requisitos ambientais:

torch==2.3.0
torchvision==0.18.0
diffusers==0.31.0
transformers==4.39.3
gradio==5.8.0
onnxruntime-gpu==1.20.1

Etapas de implantação:

1. Solicite acesso aos pesos do modelo FitDiT:
   • Visite https://huggingface.co/BoyuanJiang/FitDiT
   • Faça o download do modelo para o catálogo local após obter acesso
2. Execute o serviço local do Gradio:
   Oferece quatro modos de operação que podem ser escolhidos de acordo com a configuração do hardware:

   # 最快速模式（需要较大显存）：
   python gradio_sd3.py --model_path local_model_dir
   # FP16精度模式：
   python gradio_sd3.py --model_path local_model_dir --fp16
   # CPU辅助模式（中等速度，适中显存）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --offload
   # 激进CPU负载模式（速度最慢，显存占用最少）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --aggressive_offload
   

3. instruções de uso para desenvolvedores

• O projeto segue a licença CC BY-NC-SA-4.0
• Apenas para uso não comercial
• Para licenças comerciais, entre em contato com byronjiang@tencent.com
• O código completo de treinamento do modelo e o conjunto de dados são de código aberto
• Oferece suporte ao uso de modelos pré-treinados por meio do Hugging Face