Ein vollständiges Programm zur Verbesserung der Kohärenz von langen Parzellen
Tifa-Deepsex-14b-CoT unterstützt zwar 128k Kontexte, erfordert aber dennoch spezielle Techniken, um die Qualität sehr langer Texte in der Praxis zu gewährleisten:
- stufenweiser Ansatz::
- Erstellen Sie zunächst eine Gliederung von 500 Wörtern (Beispielaufforderung: "Bitte erstellen Sie eine detaillierte Gliederung für den Roman [Thema], die 5 wichtige Wendepunkte enthält")
- Die kapitelweise Generierung enthält eine Zusammenfassung des vorherigen Artikels im Stichwort (z. B. "Die folgende Handlung wird fortgesetzt: [Zusammenfassung in 3 Sätzen], in der die Begegnungen des Protagonisten beim Betreten der Gruft beschrieben werden").
- Tipps zur Hardware-Anpassung::
- Wenn Sie die quantisierte Version von Q4_K_M verwenden, setzen Sie die Kontextlänge auf 8192 statt auf den Höchstwert, um Leistungseinbußen zu vermeiden.
- Fügt hinzu, wenn Transformatoren geladen sind
max_lengthParameter:model.generate(input_ids, max_length=8192, temperature=0.8)
- Werkzeuge für die Nachkalibrierung: In Verbindung mit der Verwendung von llama.cpp's
--ctx-mmapParameter zur Implementierung von Langtext-Speicherzuordnungen oder zur Entwicklung benutzerdefinierter Kohärenzprüfungsskripte zur Erkennung der Konsistenz von Zeichennamen/Zeitleiste/Ort
Diese Antwort stammt aus dem ArtikelTifa-Deepsex-14b-CoT: ein großes Modell, das sich auf Rollenspiele und die Erstellung ultralanger Fiktion spezialisiert hatDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann Tifa-Deepsex-14b-CoT für die Kohärenz der Handlung bei der Erstellung langer Geschichten optimiert werden?
