Z-Image: uma ferramenta de geração de imagens on-line baseada no modelo 6B lançada pelo Ali Tongyi Labs

O Z-Image é um modelo de base de geração de imagens eficiente desenvolvido e de código aberto pelo Alibaba Tongyi Lab. Ele adota uma arquitetura inovadora denominada Scalable Single-Stream DiT (S3-DiT) para unificar texto, semântica visual e variáveis latentes de imagem em um único fluxo, melhorando consideravelmente a eficiência dos parâmetros. Ao contrário dos megamodelos com dezenas de bilhões de parâmetros, o Z-Image contém apenas 6 bilhões (6B) de parâmetros, mas produz imagens fotorrealistas comparáveis aos principais modelos comerciais. O recurso mais notável do modelo é que ele é "amigável à produção", com velocidades de inferência rápidas (a versão Turbo alcança imagens de menos de um segundo) e requisitos mínimos de hardware, funcionando sem problemas em placas gráficas de consumo com até 16 GB de memória de vídeo. Além disso, o Z-Image resolve o problema dos modelos gráficos tradicionais no processamento de texto e é capaz de renderizar com precisão textos complexos em chinês e inglês, tornando-o um trabalho representativo na comunidade de código aberto que equilibra desempenho, eficiência e recursos de geração de texto.

Lista de funções

• Geração de imagens de alta qualidadeProduz imagens fotorrealistas, detalhadas e com belas composições com base na escala paramétrica 6B.
• Renderização de texto bilíngueO exclusivo recurso de processamento de codificação de texto permite gerar com precisão caracteres chineses complexos e caracteres ingleses em imagens, resolvendo o problema da "IA não consegue ler".
• Raciocínio extremo (modo turbo): Fornecido Z-Image-Turbo que reduz as etapas de inferência para 8 por meio de destilação, permite a geração em menos de um segundo em GPUs corporativas e é extremamente rápida em placas gráficas de consumo.
• baixo consumo de memóriaArquitetura: A arquitetura cuidadosamente otimizada permite que o modelo seja executado em placas de vídeo com menos de 16 GB de VRAM, como a RTX 4080/4090 ou configurações de memória ainda mais baixas.
• Instruções precisas são seguidas::Z-Image-Edit é especificamente ajustada para edição de imagens e é capaz de entender comandos complexos de linguagem natural para fazer modificações locais ou conversões de estilo global em imagens.
• Arquitetura de fluxo único (S3-DiT)A adoção de uma arquitetura de fluxo único com compartilhamento total de parâmetros, em vez do design tradicional de fluxo duplo (separação texto-gráfico), aumenta a profundidade da compreensão do modelo sobre as relações gráficas.

Usando a Ajuda

O Z-Image oferece várias maneiras de usá-lo, tanto para desenvolvedores por meio do código Python quanto para designers por meio do ComfyUI e outras interfaces visuais para uso. A seguir, um guia operacional detalhado baseado em usuários e desenvolvedores em geral.

1. preparação do hardware

Antes de começar, verifique se o computador atende aos seguintes requisitos básicos:

• sistema operacionalLinux ou Windows (recomenda-se o Windows 10/11).
• Placa gráfica (GPU)Placa de vídeo NVIDIA com 16 GB de memória de vídeo ou mais recomendada (as versões Turbo são otimizadas para serem executadas com menos memória de vídeo, mas recomenda-se 16 GB para obter a melhor experiência).
• matrizPython 3.10+ e PyTorch estão instalados.

2) Executar com o ComfyUI (recomendado para designers/usuários em geral)

A ComfyUI é a ferramenta de geração de gráficos de IA baseada em nós mais popular disponível, e a Z-Image já tem um fluxo de trabalho com suporte da comunidade.

Etapas de instalação:

1. Download dos pesos do modelo::
   Visite HuggingFace ou ModelScope (a comunidade Magic Hitch) e procure por Z-Image-Turbo.
   Faça o download do arquivo do modelo mestre (geralmente .safetensors (Formato).
   Coloque o arquivo baixado na pasta models/checkpoints/ Catálogo.
2. Atualizar o ComfyUI::
   Certifique-se de que a ComfyUI esteja atualizada ou que você tenha instalado um plug-in de terceiros compatível com a arquitetura Z-Image (como o ComfyUI-GGUF (ou um nó carregador de Z-Image dedicado, dependendo das atualizações da comunidade).
3. Carregando fluxos de trabalho::
   Faça o download do software oficial ou comunitário da Z-Image workflow.json (geralmente em um repositório do GitHub ou em um arquivo Civitai (Você pode encontrá-lo em).
   Arraste o arquivo JSON para a interface ComfyUI.
4. Geração de imagens::
   Digite seu prompt no nó "CLIP Text Encode". z-Image suporta prompts em chinês, por exemplo:一张海报，上面写着“通义实验室”五个大字，背景是未来的科技城市.
   Clique em "Queue Prompt" para iniciar a geração.

3. executar com código Python (recomendado para desenvolvedores)

Se você estiver familiarizado com programação, poderá usar diretamente o diffusers para executar o modelo.

Instale a dependência:
Abra um terminal ou prompt de comando e execute o seguinte comando para instalar as bibliotecas necessárias:

pip install torch diffusers transformers accelerate

Escreva um script em execução:
Crie um arquivo chamado run_zimage.py preencha o seguinte código:

import torch
from diffusers import DiffusionPipeline
# 加载 Z-Image-Turbo 模型
# 注意：如果无法直接访问 HuggingFace，请使用 ModelScope 的镜像地址
pipe = DiffusionPipeline.from_pretrained(
"Tongyi-MAI/Z-Image-Turbo",
torch_dtype=torch.bfloat16,
use_safetensors=True
)
# 启用显存优化
pipe.enable_model_cpu_offload()
# 定义提示词（支持中文）
prompt = "一只穿着宇航服的猫在月球上喝咖啡，背景有地球，照片级真实感"
# 生成图像
image = pipe(
prompt=prompt,
num_inference_steps=8,  # Turbo 版本仅需 8 步
guidance_scale=0.0      # Turbo 版本通常设为 0
).images[0]
# 保存图片
image.save("z_image_result.png")

Realizar a geração:
É executado no terminal:

python run_zimage.py

No final da execução, um arquivo chamado z_image_result.png As fotos.

4. recursos avançados: edição de imagens

Se você precisar modificar uma imagem existente, faça o download Z-Image-Edit e usam uma estrutura de código semelhante, mas carregam os pesos do modelo Image-to-Image Pipeline relacionado e fornece uma imagem inicial como entrada.

cenário do aplicativo

1. Design de pôster de comércio eletrônico
   Os designers podem aproveitar os poderosos recursos de renderização de texto da Z-Image para gerar diretamente fundos de pôsteres de comércio eletrônico com o nome e o slogan corretos do produto, eliminando a necessidade de uma extensa síntese de texto no PS pós-produção e reduzindo drasticamente o processo de design.
2. Criação de conteúdo de mídia social
   Os criadores de mídia autônoma podem usar prompts chineses para gerar rapidamente gráficos que se encaixam no contexto cultural chinês, como gráficos de saudação de feriados, ilustrações de estilo antigo etc., sem se preocupar com o limite complexo dos prompts em inglês.
3. Prototipagem de ativos de jogos
   Os desenvolvedores de jogos podem iterar rapidamente na arte conceitual de personagens ou cenas de jogos em uma máquina de desenvolvimento com 16 GB de memória gráfica, aproveitando a velocidade de menos de um segundo da versão Turbo para visualização inspirada em tempo real.
4. Educação e documentação
   Os professores ou redatores de documentos podem gerar diagramas ou ilustrações com textos explicativos que usam o conhecimento de mundo do modelo para retratar com precisão fenômenos científicos ou cenários históricos.

QA

1. Este endereço do site z-img.org Por que ele não abre?
   O URL que você forneceu z-img.org É muito provável que seja um nome de domínio antigo que tenha expirado ou um endereço que tenha sido deturpado. Este artigo descreve a Imagem Z O projeto está oficialmente hospedado principalmente no GitHub (github.com/Tongyi-MAI/Z-Image) e HuggingFace. Visite diretamente essas plataformas oficiais de hospedagem de código para obter recursos.
2. Quais são as vantagens do Z-Image em relação ao Stable Diffusion (SDXL)?
   Os principais pontos fortes da Z-Image sãoeficiênciaresponder cantandoHabilidades no idioma chinês. Ele faz isso mantendo os parâmetros do 6B (maior que o SDXL, mas menor que o Fluxo A arquitetura S3-DiT atinge velocidades de inferência muito altas e, ao mesmo tempo, é pequena, além de oferecer suporte nativo a palavras-chave e geração de texto em chinês, o que normalmente exigiria uma ControlNet adicional no SDXL.
3. Qual é a quantidade mínima de memória de vídeo necessária para executar o Z-Image?
   Oficialmente, recomenda-se 16 GB de memória de vídeo para obter o desempenho ideal. No entanto, é possível executar um cartão com 8 GB a 12 GB de RAM com uma versão quantificada (por exemplo, formato GGUF) ou com a Otimização extrema de memória (CPU Offload) ativada, mas a velocidade de geração será mais lenta.
4. Ele está disponível comercialmente?
   Certifique-se de verificar o arquivo de licença do modelo nas páginas do HuggingFace ou do GitHub. Geralmente, os modelos de código aberto da família Ali Tongyi são permitidos para pesquisa acadêmica, e o uso comercial pode exigir protocolos específicos ou registro, dependendo da declaração oficial mais recente.