Parlant: ein Open-Source-Framework für die zuverlässige Steuerung großer Sprachmodellierungsintelligenzen

Parlant ist ein Open-Source-Framework für KI-Intelligenz, das auf die zentralen Herausforderungen abzielt, mit denen aktuelle groß angelegte Sprachmodelle (LLMs) in realen Anwendungen konfrontiert sind: Unvorhersehbarkeit und mangelnde Kontrollierbarkeit. Bei der Entwicklung von KI-Intelligenz stoßen Entwickler oft auf Probleme, wie z.B. dass Modelle Systemaufforderungen ignorieren, halluzinatorische Antworten produzieren oder Grenzfälle nicht behandeln können. Parlant begegnet diesen Herausforderungen mit einem innovativen Ansatz, der sich nicht mehr nur auf komplexes Cue-Engineering stützt, sondern es Entwicklern ermöglicht, klare Verhaltensrichtlinien zu definieren. Diese in natürlicher Sprache verfassten Richtlinien stellen sicher, dass die Intelligenzen in einem bestimmten Kontext genau nach der Geschäftslogik und den vordefinierten Regeln handeln. Das Framework wendet die Richtlinien dynamisch durch Echtzeit-Selbstkritik und kontextbezogene Mechanismen an, um ein konsistentes und zuverlässiges intelligentes Verhalten zu gewährleisten, insbesondere in den Bereichen Kundenservice, Finanzen, Gesundheitswesen und anderen Bereichen, in denen eine hohe Stabilität erforderlich ist. Parlant unterstützt die Integration externer APIs und Tools und bietet vollständige Interpretierbarkeit, so dass Entwickler die Gründe für jede Entscheidung eines intelligenten Organs klar verstehen können.

Funktionsliste

• Leitlinien für das VerhaltenErmöglicht Entwicklern die Verwendung natürlicher Sprache zur Definition von Regeln, die Intelligenzen unter bestimmten Bedingungen befolgen müssen, um eine präzise Ausführung der Geschäftslogik zu gewährleisten.
• Gesprächsverlauf (Reisen)Ein klarer Dialogpfad kann definiert werden, der die Intelligenzen in mehreren Dialogrunden Schritt für Schritt zu ihren Zielen führt.
• Zuverlässige Tool-IntegrationUnterstützung für den stabilen Zugang zu externen APIs, Datenbanken oder Back-End-Diensten zu bestimmten Interaktionsereignissen von Intelligenzen.
• Anpassung der BereicheFähigkeit, branchenspezifische Terminologie zu erlernen und zu verwenden, um individuellere und professionellere Antworten geben zu können.
• Antworten aus der KonserveDas Risiko von Modellhalluzinationen lässt sich durch die Verwendung von vordefinierten Antwortvorlagen wirksam ausschalten, und die Einheitlichkeit des Antwortstils kann gewährleistet werden.
• Vollständige ErklärbarkeitEinblick in den Entscheidungsprozess eines intelligenten Gremiums geben und erklären, wann und warum jedes Kriterium angepasst und befolgt wurde.
• Eingebaute LeitplankenIntegrierte Mechanismen, die verhindern, dass Intelligenzen halluzinieren und vom Thema abschweifen, sowie die Fähigkeit, unangemessene Benutzereingaben durch Inhaltskontrolle zu behandeln.
• React-WidgetBietet eine Plug-and-Play-Chat-Benutzeroberfläche, die einfach in jede Webanwendung eingebettet werden kann.

Hilfe verwenden

Parlant zielt darauf ab, eine einfache und schnelle Erfahrung von der Entwicklung bis zur Bereitstellung zu bieten, die es Entwicklern ermöglicht, eine verhaltensgesteuerte KI-Intelligenz in wenigen Minuten zu erstellen und zu betreiben.

Montage

Parlant kann einfach mit pip, dem Paketmanager von Python, installiert werden. Öffnen Sie einfach Ihr Terminal oder Kommandozeilenprogramm und geben Sie den folgenden Befehl ein:

pip install parlant

Mit diesem Befehl werden das Parlant-Framework und alle erforderlichen Abhängigkeiten automatisch heruntergeladen und installiert.

Schnelleinstieg: Erstellen einer Wetter-Nachschlageintelligenz

Hier ist ein einfaches Beispiel, das zeigt, wie man einen intelligenten Körper erstellt, der in 60 Sekunden das Wetter nachschlagen kann.

1. das SDK importieren und Werkzeuge definieren

Zunächst müssen Sie dieparlant.sdk. Verwenden Sie dann die@p.toolDecorators, um die Werkzeuge zu definieren, die Intelligenzen verwenden können. Tools sind im Wesentlichen gewöhnliche asynchrone Python-Funktionen, die jede beliebige Funktion ausführen können, z. B. den Aufruf einer API.

import parlant.sdk as p
from datetime import datetime
# 定义一个获取天气的工具
# 它接收一个城市名称作为参数
@p.tool
async def get_weather(context: p.ToolContext, city: str) -> p.ToolResult:
# 在这里编写你自己的天气API调用逻辑
# 为简化示例，我们直接返回一个固定的结果
return p.ToolResult(f"Sunny, 72°F in {city}")
# 定义一个获取当前日期和时间的工具
@p.tool
async def get_datetime(context: p.ToolContext) -> p.ToolResult:
return p.ToolResult(datetime.now())

2 Intelligenzen erstellen und konfigurieren

Als nächstes müssen Sie einemainAsynchrone Funktionen zum Starten von Diensten, zum Erstellen von Intelligenzen und zum Konfigurieren des Verhaltens für diese Dienste.

async def main():
# 启动Parlant服务器
async with p.Server() as server:
# 创建一个名为"WeatherBot"的智能体
agent = await server.create_agent(
name="WeatherBot",
description="一个乐于助人的天气助手"
)
# 创建一个上下文变量，让智能体在每次回复时都能获取最新时间
# 'get_datetime'工具会被自动调用
await agent.create_variable(name="current-datetime", tool=get_datetime)
# 使用自然语言创建一条行为准则
# 这是Parlant的核心功能，用于确保智能体的行为
await agent.create_guideline(
condition="当用户询问天气时",
action="调用天气工具获取当前天气，并用友好的语气回复，同时给出一些建议",
tools=[get_weather] # 将之前定义的工具绑定到这条准则
)
# 你可以在这里添加更多、更复杂的行为准则...
# 启动成功后，可以在 http://localhost:8800 访问测试界面
print("🎉 智能体测试界面已就绪，请访问 http://localhost:8800")
if __name__ == "__main__":
import asyncio
asyncio.run(main())```
**3. 运行并测试**
将以上代码保存为一个Python文件（例如 `weather_bot.py`），然后在终端中运行它：
```shell
python weather_bot.py

Sobald das Programm läuft, sehen Sie in Ihrem Terminal die Meldung, dass sich die Testschnittstelle im http://localhost:8800 Es ist bereit zum Loslegen. Öffnen Sie Ihren Browser zu dieser Adresse und Sie können mit dem "WeatherBot", den Sie gerade erstellt haben, in Echtzeit interagieren.

Wenn Sie fragen: "Wie ist das Wetter in New York?" Wenn Sie fragen: "Wie ist das Wetter in New York?ParlantDas Framework wird erkennen, dass diese Absicht mit der übereinstimmt, die Sie für dieconditionund führt dann automatisch die gebundeneactionim Gesang antwortentoolsDies bedeutet, dass der Aufruf vonget_weatherFunktion, und auf der Grundlage deractionErzeugen Sie freundliche Antworten auf die Beschreibungen in der

Kernkonzept: Leitlinien für das Verhalten

Der Verhaltenskodex ist das stärkste Merkmal von Parlant. Er löst das Problem traditioneller Methoden, bei denen Intelligenzen langwierige Systemaufforderungen ignorieren können. Sie müssen nicht mehr beten, dass das LLM Ihre Absichten versteht, sondern können ihm direkt das Verhalten vorschreiben.

Eine Leitlinie besteht aus mehreren Teilen:

• condition:: Die Bedingungen, die das Kriterium auslösen, beschrieben in natürlicher Sprache. Beispiel: "Benutzer ist emotional und verlangt eine Rückerstattung".
• action:: Die Aktionen, die die Intelligenz ausführen soll, wenn die Bedingungen erfüllt sind, wiederum in natürlicher Sprache beschrieben. Beispiel: "Beruhigen Sie zunächst den Benutzer und rufen Sie dann das Tool zur Auftragsabfrage auf, um die Erstattungsfähigkeit zu bestätigen".
• tools:: Ein oder mehrere Werkzeuge, die an die Leitlinie gebunden sind. Diese Werkzeuge werden aufgerufen, wenn die Leitlinie aktiviert wird.

Die Parlant-Engine analysiert den Dialogkontext in Echtzeit und wählt dynamisch die am besten geeignete Kombination von Kriterien aus, um das LLM bei der Generierung von Antworten zu leiten. Dieser Ansatz verbessert die Vorhersagbarkeit und Zuverlässigkeit des Verhaltens der Intelligenzen erheblich.

Anwendungsszenario

1. Kundenbetreuung
   Im Bereich des Kundendienstes können Unternehmen strenge Richtlinien für den Dialogfluss und die Problembehandlung festlegen. Durch die Festlegung verschiedener Verhaltenskodizes für Szenarien wie Rückerstattungsanträge, technische Unterstützung, Bestellanfragen usw. wird sichergestellt, dass die Intelligenzen stets die Unternehmensrichtlinien befolgen, einen standardmäßigen, präzisen und einfühlsamen Service bieten und die Nutzer automatisch an den menschlichen Kundendienst weiterleiten, wenn eine negative Stimmung festgestellt wird.
2. Finanzdienstleistung
   In der Finanzbranche, in der die Einhaltung von Vorschriften von entscheidender Bedeutung ist, kann Parlant sicherstellen, dass KI-Intelligenzen strenge Gesetze und Vorschriften einhalten, wenn sie Anlageberatungen durchführen oder Kundenkontoinformationen verarbeiten. Es können Richtlinien festgelegt werden, um eine unerlaubte Finanzberatung zu vermeiden und eine Authentifizierung zu erzwingen, wenn es um sensible Vorgänge geht.
3. Gesundheitsfürsorge
   KI-Assistenten im medizinischen Bereich müssen mit sensiblen Patientendaten umgehen und dürfen keine falschen medizinischen Ratschläge geben. Mit Parlant können Sie strenge Datenschutzrichtlinien festlegen, sicherstellen, dass Konversationen mit gesetzlichen Anforderungen wie HIPAA konform sind, und Nutzern sofort raten, professionelle medizinische Hilfe in Anspruch zu nehmen, wenn sie schwerwiegende Symptome beschreiben, anstatt zu versuchen, diese selbst zu diagnostizieren.
4. e-Commerce
   Shopping Bots für E-Commerce-Plattformen können Parlant nutzen, um Nutzer durch den Kaufprozess zu führen. Durch die Einrichtung von "Dialogflüssen" (Journeys) können Nutzer dazu angeleitet werden, Produkte zu durchstöbern, Fragen zu Spezifikationen zu beantworten, Bestandsabfragen zu bearbeiten und schließlich eine Bestellung aufzugeben. Wenn der Benutzer vom Einkaufsthema abweicht, können die Leitlinien ihn zurück in den Einkaufsprozess führen.

QA

1. Wie unterscheidet sich Parlant von anderen KI-Frameworks wie z.B. LangChain?
   Der Hauptunterschied von Parlant ist seine Designphilosophie. Während sich herkömmliche Frameworks darauf konzentrieren, LLMs durch Hint-Engineering und verkettete Aufrufe zu "zwingen", Anweisungen zu befolgen, was in komplexen Szenarien oft unzuverlässig ist, bietet Parlant einen deterministischeren Ansatz, um Intelligenzen durch seinen "Verhaltenskodex" und Echtzeit-Kontextabgleichsmechanismen zu "zwingen", Regeln zu befolgen und so ein höheres Maß an Kontrolle und Zuverlässigkeit zu erreichen. Parlant bietet einen deterministischeren Ansatz, um Intelligenzen durch seinen "Verhaltenskodex" und seine Echtzeit-Kontextabgleichsmechanismen zur Befolgung von Regeln zu "zwingen" und so ein höheres Maß an Kontrollierbarkeit und Zuverlässigkeit zu erreichen.
2. Welche großen Sprachmodelle werden von Parlant unterstützt?
   Das Parlant-Framework ist auf Flexibilität ausgelegt und unterstützt eine breite Palette von LLMs, einschließlich der OpenAI-Modellfamilie sowie verschiedener Open-Source-Modelle auf HuggingFace. Dies ermöglicht es Entwicklern, das für ihre Bedürfnisse und ihr Budget am besten geeignete Modell auszuwählen.
3. Brauche ich ein tiefes KI-Hintergrundwissen, um Parlant zu nutzen?
   Nein. Eines der Entwicklungsziele von Parlant ist es, die Hürden für die Entwicklung zuverlässiger KI-Intelligenzen zu senken. Seine Kernfunktionen, wie z. B. Verhaltenskodizes, werden in natürlicher Sprache definiert, was es Entwicklern und sogar Geschäftsleuten ohne tiefgreifende KI-Kenntnisse ermöglicht, sich an der Entwicklung intelligenter Verhaltensweisen zu beteiligen.
4. Wie geht Parlant mit Halluzinationen und ungenauen Antworten um?
   Parlant geht das Problem der Halluzinationen auf verschiedene Weise an. Erstens stellt ein "Verhaltenskodex" sicher, dass die Intelligenzen in geschäftskritischen Szenarien auf Tools oder Datenbanken für sachliche Informationen zurückgreifen müssen. Zweitens ermöglicht die Funktion "vordefinierte Antwortvorlagen" die Verwendung von vorformuliertem Text in Szenarien, in denen absolute Genauigkeit erforderlich ist (z. B. Preisangaben, politische Erklärungen), wodurch die Notwendigkeit des Trittbrettfahrens durch LLMs gänzlich vermieden wird.
5. Ist das Projekt quelloffen und kommerziell verfügbar?
   Ja, Parlant ist Open Source unter der Apache 2.0 Lizenz, d.h. Sie können es kostenlos nutzen und in kommerziellen Projekten einsetzen.