Um programa de quatro etapas para eliminar a repetição de texto
A seguinte combinação de medidas pode ser adotada para resolver o possível problema de geração duplicada de Tifa-Deepsex-14b-CoT:
- Seleção de versãoTifa-Deepsex-14b-CoT-Chat: a versão preferida é a que contém 30 mil dados de DPO especificamente treinados para a antiduplicação
- Combinações de parâmetros::
parâmetros valor recomendado corresponde ao inglês -ity, -ism, -ization repeat_penalty 1.2-1.5 Penalizar tokens duplicados top_k 40 Aumento da diversidade de amostragem top_p 0.95 Equilíbrio entre qualidade e diversidade - Engenharia de palavrasInclua instruções explícitas nos prompts do sistema, por exemplo:
"请避免重复使用相同的句式结构和形容词，保持词汇多样性" - Métodos de reprocessamentoDesenvolver um script de filtragem baseado em similaridade de cosseno que aciona automaticamente a regeneração quando a similaridade de parágrafos consecutivos é >0,7, que pode ser implementado usando a biblioteca de transformadores de frases
Essa resposta foi extraída do artigoTifa-Deepsex-14b-CoT: um modelo grande especializado em interpretação de papéis e geração de ficção ultralongaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como evitar conteúdo duplicado ao gerar romances para Tifa-Deepsex-14b-CoT?
