Um programa completo para melhorar a coerência de parcelas longas
O Tifa-Deepsex-14b-CoT, embora seja compatível com contextos de 128k, ainda requer técnicas específicas para garantir a qualidade de textos muito longos na prática:
- abordagem em etapas::
- Primeiro, gere um esboço de 500 palavras (exemplo de solicitação: "Por favor, crie um esboço detalhado para o romance [tópico] que inclua 5 pontos de virada principais")
- A geração capítulo a capítulo inclui um resumo do artigo anterior na palavra-chave (por exemplo, "O seguinte enredo é continuado: [resumo de 3 frases], detalhando os encontros do protagonista quando ele entra na tumba").
- Dicas de adaptação de hardware::
- Ao usar a versão quantificada de Q4_K_M, defina o comprimento do contexto como 8192 em vez do valor máximo para evitar a degradação do desempenho
- Adiciona quando os transformadores são carregados
max_lengthParâmetros:model.generate(input_ids, max_length=8192, temperature=0.8)
- Ferramentas de pós-calibraçãoEm conjunto com o uso da função
--ctx-mmapparâmetros para implementar o mapeamento de memória de texto longo ou desenvolver scripts personalizados de verificação de coerência para detectar a consistência do nome do caractere, da linha do tempo e do local
Essa resposta foi extraída do artigoTifa-Deepsex-14b-CoT: um modelo grande especializado em interpretação de papéis e geração de ficção ultralongaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como otimizar a Tifa-Deepsex-14b-CoT para obter coerência de enredo na geração de histórias longas?
