LangFriend: ein Tagebuch mit Langzeitgedächtnisfunktion

Original: https://blog.langchain.dev/langfriend/?t=ZMdNze4qQKvNzUMHPhQRfg

LangChain konzentriert sich sehr auf das Konzept des Gedächtnisses, und es ist üblich, dass wir Beispielanwendungen erstellen, um die Konzepte, auf die wir uns konzentrieren, zu demonstrieren. Für das Gedächtnis haben wir uns entschieden, eine Tagebuchanwendung (LangFriend) zu erstellen! Wir haben eine Testversion für jedermann zur Verfügung gestellt und haben bereits begonnen, eine API für Entwickler zu entwickeln, wenn Sie daran interessiert sind, melden Sie sich bitte unten an, um teilzunehmen.

Hauptlinks.

• [YouTube]
• [Anwendung Tagebuch]
• [API-Zugang für Entwickler]

💡 Wir planen auch eine Zusammenarbeit mit New ComputerMongoDB und Anthropic veranstalten am 6. April 2024 gemeinsam einen Hackathon zum Thema Speicher. Weitere Informationen über den Hackathon finden Sie unter [hier sind] sich zur Teilnahme anmelden.

Wir setzen große Hoffnungen in diesen Teil des LLM-Systems, den Speicher. Ein großer Teil der Stärke der generativen KI liegt in ihrer Fähigkeit, jederzeit einzigartige Inhalte zu generieren, was für die Anpassung des Nutzererlebnisses sehr leistungsstark ist. Dies kann nicht nur durch den Zugriff auf vorhandene Informationen über den Nutzer erreicht werden, sondern auch durch die Erinnerung an frühere Interaktionen mit dem Nutzer und das Lernen aus diesen.

就是这种”记忆”型的探索让我们充满了期待。我们认为用户与LLM之间的交互会越来越多 —— 聊天机器人正成为LLM应用的主要形式。这意味着越来越多的有价值的用户信息将会在这些对话中交换 – 比如一个人的喜好或厌恶，他们的朋友是谁，他们的目标是什么等等。学习并理解这些属性，然后将它们融入应用，可以大大改善用户的体验。

在探索记忆的过程中，我们认为结合一个具体的用例例子，会对我们的工作起到很好的激励和引导作用。于是我们选择了创建一个日记应用。我们将这个应用命名为”LangFriend”，并在今天向公众开放使用。虽然现在这只是一个小小的研究预览版本，但我们希望收集到社区的反馈，了解哪些地方做的好，哪些地方还需要改进，之后再将其开源。

In diesem Beitrag sprechen wir über die akademische Forschung zum Thema Gedächtnis, über andere interessante Dinge, die Unternehmen in verwandten Bereichen tun, und darüber, warum wir uns für die Entwicklung einer Tagebuch-App entschieden haben. Anschließend werden wir einen tiefen Einblick in diese Tagebuch-App geben und ihre Funktionen vorstellen. Wenn Sie daran interessiert sind, das Thema Gedächtnis mit uns zu erforschen, können Sie sich gerne mit uns in Verbindung setzen.

akademische Forschung

Im Laufe unserer Arbeit zur Gedächtnisforschung sind wir auf zwei wissenschaftliche Arbeiten gestoßen, die uns sehr inspiriert haben.

Zunächst eine Arbeit von Forschern der UC Berkeley [MemGPT] Die Schlüsselidee dieses Papiers ist, dass sie LLMs mit der Fähigkeit ausstatten, mehrere Funktionen auszuführen, wie z.B. sich an bestimmte Fakten zu erinnern, sich an relevante Angelegenheiten zu erinnern, und so weiter.

Große Sprachmodelle (Large Language Models, LLMs) haben die KI revolutioniert, aber die Beschränkung auf ein begrenztes Kontextfenster behindert den Nutzen der KI für Aufgaben wie lange Dialoge und Dokumentenanalyse. Um dieses Problem zu lösen, schlagen wir eine Technik vor, die als virtuelles Kontextmanagement bezeichnet wird. Diese Technik ist inspiriert von hierarchischen Speichersystemen in traditionellen Betriebssystemen, die das Scheduling zwischen physischen Speichern und Festplatten nutzen, um den Effekt von unendlich skalierbaren virtuellen Speichern zu erzielen. Unter Verwendung dieser Technik haben wir MemGPT (Memory GPT) entwickelt, ein Speicherebenen-Verwaltungssystem, das effektiv erweiterte Kontexte innerhalb des begrenzten Kontextfensters von LLM bietet.

Die andere stammt von Forschern der Stanford University [Generierende Agenten] Der Kerngedanke dieser Arbeit ist, dass sie Erinnerungen bilden, indem sie über vergangene Erfahrungen nachdenken und diese dann speichern und programmatisch abrufen.

Wir zeigen empirisch, dass unsere Agentenarchitektur durch verschiedene Teile der Beobachtung, Planung und Reflexion funktioniert, von denen jeder einen erheblichen Einfluss auf die Genauigkeit des Verhaltens des generierten Agenten hat. Durch die Verschmelzung von groß angelegten Sprachmodellen mit computergestützten Interaktionsagenten stellen wir in dieser Arbeit die Generierung von Architekturen und Interaktionsmustern vor, die menschliches Verhalten genau modellieren.

Ein interessanter Unterschied zwischen diesen beiden Arbeiten ist das Ausmaß, in dem LLM den Speicher aktiv nutzt, im Gegensatz zu dem Ausmaß, in dem er dies eher als Hintergrundprozess tut. memGPT zwingt LLM dazu, die Speicherfunktion zu nutzen, während der generative Agent eher wie ein Hintergrundprozess agiert.

Firmen

Es gibt mehrere Unternehmen, die sich auf dem Gebiet der Speichertechnologie hervorgetan haben.

Plastic Labs ist ein Unternehmen, das sich auf die Entwicklung von Produkten wie [...TutorGPT] von innovativen Projekten für Start-ups.

LangChain LLM-App. Dies ist eine dynamische Meta-Prompting-Funktion für theoretische Denkübungen.

[Gute KI] ist ein Startup-Unternehmen, das vor kurzem einen Chat-Assistenten mit Langzeitgedächtnisfunktionen veröffentlicht hat.

Auf den ersten Blick mag Charlie bestehenden LLM-Agenten wie ChatGPT, Claude und Gemini ähnlich sehen. Seine Einzigartigkeit liegt jedoch in der Tatsache, dass es eine LTM-Implementierung einführt, die es ihm ermöglichtAus jeder Interaktion lernen. Dies umfasstSpeichern und Integrieren von Benutzernachrichten, Assistentenantworten und Umgebungsrückmeldungen in LTMum bei Bedarf Nachforschungen über relevante Aufgaben anstellen zu können.

OpenAIAuch die Speicherfunktion wurde kürzlich integriertGeben Sie ChatGPT ein.

Aus der Sicht dieser Unternehmen gibt es Unterschiede zwischen zwei Arten der Realisierung von Speicherfunktionalität: eine aktive Art, bei der LLMs bewusst aufgerufen werden müssen (z.B. ChatGPT), und eine passive Art, bei der sie automatisch in Hintergrundprozesse eingebunden werden (z.B. TutorGPT).

Warum Diary App wählen?

Bei der Überlegung, welches Szenario sich am besten eignet, um das Langzeitgedächtnis zu testen, kam uns sofort eine Tagebuch-App in den Sinn. Der Hauptgrund dafür war, dass wir dachten, die App würde mehr relevante Informationen enthalten, damit die Interaktion im Gedächtnis bleibt, als eine normale Chat-App.

与普通的聊天应用相比，后者可能会有很多不需要记忆的日常寒暄 – “嘿！”，”你好”，”最近怎么样”等等。而在日记类应用中，你更容易达到分享真实，有趣的情感和见解的阶段。

尽管如此 – 我们还是希望在这款APP中增加一个聊天组件。主要的原因是，我们想要展示出我们的应用是能够学习和记忆用户信息的。这款应用会利用这些信息来为用户生成个性化的响应。

Sie können sehen, dass diese App mich als Liebhaberin italienischer Küche und als erfrischend nach einem Training in Erinnerung hat.

在你添加第一篇日记并与我们的陪伴者对话后，你会在导航栏看到一个 “Memories” 按钮。点击它，你就会看到我们从你的日记中提取出的所有主要记忆。

Sie werden feststellen, dass die Liste übersichtlich und nicht allzu informativ ist. Dies sind nur einige der wichtigsten Basisinformationen, die wir extrahiert haben. Tatsächlich haben wir hinter den Kulissen noch viel mehr Informationen aus Ihren Protokollen extrahiert, und Sie können sie finden, indem Sie nach ihnen suchen!

在 “搜索记忆…(Search memories…)” 的输入框中开始输入，你就能实时地看到LangFriend存储的关于你的各种各样的信息：

Personalisierung

Wir wollen LangFriend für alle Nutzer attraktiv machen. Deshalb erlauben wir den Benutzern, die Systemnachrichten einzustellen, die als Start und Ton aller Chats mit unseren Chatpartnern dienen. Wir bieten eine Standardeinstellung an, die sorgfältig entworfen wurde, um die Bedürfnisse der meisten Benutzer zu erfüllen. Wenn Sie jedoch etwas anderes oder etwas völlig anderes erwarten, können Sie jeden Teil nach Ihren Wünschen ändern.

Sie können Ihre Systemwarnungen finden und aktualisieren, indem Sie die Seite Logs aufrufen und auf die Schaltfläche Configure klicken. Daraufhin wird ein Dialogfeld mit Ihren Systemwarnungen angezeigt.

Alle Änderungen, die Sie vornehmen, werden von Sitzung zu Sitzung beibehalten und werden zum Ausgangspunkt all Ihrer zukünftigen Chat-Unterhaltungen!

zu einem Urteil gelangen

LangFriend ist ein Blick in die Zukunft und eine Vorschau auf die Forschung, die das große Potenzial der Einbeziehung des Langzeitgedächtnisses in LLM-Anwendungen aufzeigt. LangFriend konzentriert sich auf die Entwicklung von Apps zum Aufnehmen von Notizen, die darauf abzielen, aussagekräftige Benutzerinformationen zu erfassen, um personalisierte Antworten zu geben und die Benutzererfahrung zu verbessern. LangFriend ist eine hervorragende Demonstration dafür, wie wir das Gedächtnis aktiv nutzen oder es als kontextbezogenen Prozess in Apps einbinden können, um interaktive Erfahrungen zu schaffen, die ansprechend und anpassungsfähig an Veränderungen sind. Wir laden die Community herzlich ein, sich an der Erforschung von LangFriend zu beteiligen, uns Feedback zu geben und gemeinsam mit uns die Möglichkeiten des Gedächtnisses in LLM-Apps voranzutreiben, um das volle Potenzial der generativen KI auszuschöpfen und leistungsfähigere, personalisierte und wertvolle Erfahrungen für die Nutzer zu schaffen.