Mecanismos de garantia de qualidade para técnicas quantitativas
A quantificação tradicional de 4 bits pode, de fato, levar aCerca de 121 métricas de PSNR do TP3T estão baixasNo entanto, a Nunchaku garante a qualidade do resultado por meio da tecnologia tripla:
1. tecnologia principal do SVDQuant
- Separação de matrizes de peso usando a decomposição de valor singular
- Atribuição de outliers para separar componentes de classificação baixa
- Manutenção da estabilidade numérica dos parâmetros do assunto
2. mecanismos de compensação dinâmica
- Implementação da perda de qualidade <8% nos modelos FLUX.1-dev
- Compensação dinâmica da perda de informações por meio de parâmetros como t5_min_length
3. programa de precisão híbrida
- Os principais componentes (por exemplo, codificadores de texto) suportam fallbacks de FP16
- Fornecer o parâmetro precision_threshold para controlar a intensidade da quantificação
As medições mostraram que, ao gerar uma imagem de 512×512 na RTX 4090, a versão quantificada de 4 bits com o modelo nativo doTaxa de discrepância da avaliação visual humana <5%No entanto, o espaço ocupado pela memória gráfica foi reduzido de 11 GB para 3 GB para cenários com restrição de recursos.
Essa resposta foi extraída do artigoNunchaku: uma ferramenta de inferência para executar com eficiência os modelos quantificados de 4 bits FLUX.1 e SANAO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " A quantificação de 4 bits afeta significativamente a qualidade do resultado do modelo e como a Nunchaku aborda esse problema?
