Die Notwendigkeit von Cue Engineering bei der Modellierung großer Sprachen

下面主要介绍了提示工程的基本理念，及其如何提升大型语言模型(LLM)的性能…

LLMs Schnittstelle:Einer der Hauptgründe, warum große Sprachmodelle so angesagt sind, ist, dass ihre Text-zu-Text-Schnittstellen eine minimalistische Betriebserfahrung ermöglichen. In der Vergangenheit erforderte die Lösung von Aufgaben mit Deep Learning in der Regel eine Feinabstimmung zumindest einiger Daten, um dem Modell beizubringen, wie die entsprechende Aufgabe zu lösen ist. Die meisten Modelle verfügten jedoch nur über Expertenwissen zu bestimmten Aufgaben. Dank der ausgezeichneten kontextuellen Lernfähigkeiten von LLM können wir nun eine Vielzahl von Problemen mit einem einzigen textuellen Hinweis lösen. Der ursprünglich komplexe Problemlösungsprozess wurde durch die Sprache abstrahiert!

“提示工程是一门相对较新的学科，主要聚焦于为各种应用和研究主题高效地利用语言模型进行开发和优化提示。” – 引自[1]

Was ist das Tip-Projekt?Die Einfachheit von LLM macht es für mehr Menschen zugänglich. Sie müssen kein Datenwissenschaftler oder Ingenieur für maschinelles Lernen sein, um LLM zu nutzen, Sie müssen nur Englisch (oder eine andere Sprache Ihrer Wahl) verstehen und Sie können LLM nutzen, um relativ komplexe Probleme zu lösen! Wenn LLM jedoch Probleme lösen darf, hängen die Ergebnisse oft stark von den textuellen Hinweisen ab, die wir dem Modell geben. Infolgedessen ist das Cue Engineering (d.h. die Methode, die Erfahrung zu nutzen, um verschiedene Cues zu testen, um die Leistung des LLM zu optimieren) sehr populär geworden und hat einen großen Einfluss gehabt, was uns zu einer Reihe von Techniken und Best Practices geführt hat.

Wie man einen Prompt gestaltet:Es gibt viele Möglichkeiten, LLM-Hinweise zu gestalten. Die meisten Hinweisstrategien haben jedoch ein paar gemeinsame Punkte:

– 输入数据(Input Data)：LLM需要处理的实际数据（比如，需要翻译或分类的句子，需要总结的文档，等等）。
– 示例(Exemplars)：在提示中包含的正确输入输出对的实例。
– 指令(Instruction)：模型预期产出的文字说明。
– 标签(Indicators)：在提示中创建结构的标签或格式元素。
– 上下文(Context)：在提示中给予LLM的任何额外信息。

In der folgenden Abbildung wird ein Beispiel dafür gegeben, wie alle oben genannten Cue-Elemente in einem einzigen Satz-Kategorisierungs-Cue zusammengeführt werden können.

Kontext-Fenster:Während des Vortrainings sieht das LLM Eingabesequenzen mit einer bestimmten Länge. Während des Pre-Trainings wählen wir diese Sequenzlänge als "Kontextlänge" des Modells, d. h. als die maximale Sequenzlänge, die das Modell verarbeiten kann. Wenn ein Textstück gegeben wird, das deutlich länger als diese vorgegebene Kontextlänge ist, kann das Modell unvorhersehbar reagieren und falsche Ergebnisse ausgeben. In der Praxis gibt es jedoch Methoden - wie z. B. die Selbstexpansion [2] oder die Positionsinterpolation [3] -, mit denen das Kontextfenster des Modells erweitert werden kann.

Neuere Forschungen zu LLMs haben den Schwerpunkt auf die Schaffung langer Kontextfenster gelegt, die es dem Modell ermöglichen, mehr Informationen pro Cue zu verarbeiten (z. B. mehr Beispiele oder mehr Kontext). Allerdings sind nicht alle LLMs in der Lage, ihre Kontextinformationen perfekt zu verarbeiten! Die Fähigkeit eines LLM, Informationen in einem langen Kontextfenster zu verarbeiten, wird in der Regel durch den "Nadel im Heuhaufen-Test" [4] bewertet, der.

1. eine zufällige Tatsache in den Kontext einbetten.
(2) Das Modell ist erforderlich, um diese Tatsache zu ermitteln.
3. diesen Test in verschiedenen Kontexten mit unterschiedlichen Längen und Positionen der Fakten im Kontext wiederholen.

Dieser Test erzeugt ein Bild wie das folgende (Quelle [4]), in dem man die Probleme mit dem Kontextfenster leicht erkennen kann.

Mein Stichwort Engineering-Strategie:Die Einzelheiten des Cue-Engineering variieren je nach verwendetem Modell. Es gibt jedoch einige allgemeine Grundsätze, die auch als Leitfaden für die Entwicklung von Cues dienen können:

– 实证法：提示工程的第一步就是设定一个可靠的评估你的提示的方式（如，通过测试案例，人类的评估，或LLM作为评判）以便简单地衡量对提示的修改。
– 由简入繁：首次尝试的提示应应尽可能简单，而不是一开始就尝试复杂的链式思考提示或其他特殊的提示技术。最初始的提示应该简单，然后逐渐增加复杂程度，同时衡量性能的变化，来判断是否需要增加额外的复杂性。
– 尽可能具体和直接：尽力消除提示中的模糊性，在说明预期输出时尽量简洁、直接、具体。
– 加入示例：如果描述预期产出比较困难，试着在提示中加入示例。示例提供预期输出的具体案例，可以消除模糊性。
– 尽可能避免复杂性：复杂的提示策略有时是必要的（例如，为了解决多步推理问题），但是我们在采取这种方法前要三思。采取实证的观点，并使用已经建立的评价策略真正判断是否必要加入这种复杂性。

Zusammenfassend lässt sich sagen, dass meine persönliche Cue-Engineering-Strategie darin besteht, i) einen guten Bewertungsrahmen festzulegen, ii) mit einem einfachen Cue zu beginnen und iii) die Komplexität langsam zu erhöhen, um das gewünschte Leistungsniveau zu erreichen.

Anmerkung:

[1] https://promptingguide.ai
[2] https://arxiv.org/abs/2401.01325
[3] https://arxiv.org/abs/2306.15595
[4] https://github.com/gkamradt/LLMTest_NeedleInAHaystack