llmware: ein Open-Source-Framework für die schnelle Erstellung von RAG-Anwendungen der Unternehmensklasse

llmware ist ein Open-Source-Framework, das Entwicklern hilft, schnell Retrieval Augmentation Generation (RAG)-Anwendungen der Unternehmensklasse zu erstellen. Es bietet über 50 kleine, dedizierte Large Language Models (LLMs), die in lokalen oder privaten Cloud-Umgebungen ausgeführt werden können. llmware eignet sich besonders für datenschutzsensible Branchen wie Finanzen, Recht und Compliance. llmware integriert eine vollständige Toolchain von der Datenverarbeitung bis zur Modellinferenz, die es Entwicklern ermöglicht, eine Verbindung zu einer unternehmensweiten Wissensbasis herzustellen und Aufgaben wie Abfragen, Klassifizierung, Extraktion usw. durchzuführen, ohne dass komplexe Konfigurationen erforderlich sind. Das Framework wurde mit dem Ziel entwickelt, die Hürden für die KI-Entwicklung zu senken, so dass sowohl Anfänger als auch professionelle Entwickler schnell loslegen können. Das Framework unterstützt eine breite Palette von Datenbanken und Vektorspeichern, läuft effizient und kann sogar auf normalen Laptops verwendet werden, ohne dass teure GPU-Server erforderlich sind. llmware wird von AI Bloks entwickelt, unterliegt der Apache 2.0-Lizenz, hat eine aktive Community und ermutigt die Benutzer, sich an der Entwicklung zu beteiligen.

Funktionsliste

• RAG-MontagebandUnterstützt das komplette Lebenszyklusmanagement vom Zugriff auf Wissensquellen bis hin zu generativen KI-Modellen.
• 50+ spezialisierte ModelleUmfasst die Modellfamilien SLIM, DRAGON und BLING, die für Aufgaben wie Frage und Antwort, Klassifizierung, Extraktion usw. optimiert sind.
• Multi-Datenbank-UnterstützungKompatibel mit Textdatenbanken wie MongoDB, PostgreSQL, SQLite und 10 Vektordatenbanken wie Milvus und PGVector.
• Effizienter lokaler BetriebKleine Modelle können auf einem normalen PC ohne GPU betrieben werden, was die Kosten senkt.
• Integration von WissensquellenUnterstützt mehrere Datenquellen wie PDF, Webseiten, Audio usw., die automatisch verarbeitet und in das Modell eingebettet werden.
• Faktenüberprüfung und AuditingEvidenzvalidierung, Faktenüberprüfung und Nachverfolgung von Hinweisen, um Modellierungsillusionen zu verringern.
• UI BeispielBietet interaktive Schnittstellenbeispiele, die Entwicklern helfen, Anwendungen schnell zu erstellen.
• Automatisierungs-SkriptBereitstellung von Ein-Klick-Installationsskripten zur Vereinfachung der Umgebungskonfiguration und von Testläufen.

Hilfe verwenden

Einbauverfahren

Der Installationsprozess für llmware ist einfach und unterstützt die Installation über die PyPI- oder GitHub-Quellen. Im Folgenden finden Sie die detaillierten Schritte:

1. Installation über PyPI::
   • Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus, um die Basisversion zu installieren:

     pip3 install llmware
     

   • Wenn Sie den vollen Funktionsumfang benötigen (einschließlich OCR, Vektordatenbanken usw.), führen Sie den Befehl aus:

     pip3 install 'llmware[full]'
     

   • Hinweis: Eine vollständige Installation umfasst optionale Abhängigkeiten wiepymilvusundpytesseractusw. für Benutzer, die erweiterte Funktionen benötigen.
2. Installation über GitHub-Quellcode::
   • Klonen Sie das llmware-Repository:

     git clone https://github.com/llmware-ai/llmware.git
     

   • Rufen Sie den Projektkatalog auf:

     cd llmware
     

   • Führen Sie das automatische Installationsskript aus, um die Abhängigkeiten zu installieren und die Beispiele zu konfigurieren:

     python3 welcome_to_llmware.py
     

   • Dieses Skript installiert automatisch dierequirements.txtAbhängigkeiten, kopieren Sie die Beispieldateien, und führen Sie daswelcome_example.pyfür eine schnelle Erfahrung.
3. Abhängigkeit von Umweltanforderungen::
   • Stellen Sie sicher, dass Python 3.8+ auf Ihrem System installiert ist.
   • Für die OCR-Funktionalität müssen Tesseract (v5.3.3) und Poppler (v23.10.0) manuell installiert werden.
   • Wenn Sie MongoDB verwenden, müssen Sie sicherstellen, dassmongo-c-driverVersion kleiner als 1.24.4, um Segmentierungsfehler zu vermeiden.
   • Ändern Sie die Größe des Systemstapels (in einer Linux-Umgebung):

     ulimit -s 160000
     

   • Für Docker-Benutzer wird die Stapelgröße zur Laufzeit festgelegt:

     docker run --ulimit stack=32768000:32768000
     

Hauptfunktionen

1. die Erstellung von RAG-Anwendungen

Das Herzstück von llmware ist die Erstellung von RAG-Anwendungen, und im Folgenden wird ein typischer Arbeitsprozess beschrieben:

• Bibliotheken erstellen: VerwendungLibraryKlassen erstellen Wissensdatenbanken zur Speicherung von Dokumenten.

  from llmware.library import Library
  lib = Library().create_new_library("my_library")
  

• Datei hinzufügenImportieren Sie PDF-, Text- und andere Dokumente in die Bibliothek.

  lib.add_files("/path/to/documents")
  

• Erzeugen einer Vektoreinbettung: Mit Hilfe eines Einbettungsmodells (z. B.industry-bert-contracts), die Vektoren erzeugen.

  from llmware.retrieval import Query
  q = Query(lib)
  q.generate_embeddings("industry-bert-contracts")
  

• eine Suche durchführenAbrufen von Informationen durch textuelle oder semantische Abfragen.

  results = q.text_search_by_page("contract termination", page_num=1)
  

• AufrufmodellLaden Sie das Modell und kombinieren Sie die Abfrageergebnisse, um Antworten zu generieren.

  from llmware.prompts import Prompt
  prompter = Prompt().load_model("llmware/dragon-yi-6b-gguf")
  prompter.add_source_query_results(results)
  response = prompter.prompt_with_source("What is the notice period for termination?")
  

2. die Verwendung von SLIM-Modellen

SLIM-Modelle sind für bestimmte Aufgaben konzipiert und geben strukturierte Daten aus (z. B. JSON, SQL). Beispiel für eine Operation:

• SLIM-Modell laden::

  from llmware.prompts import Prompt
  prompter = Prompt().load_model("llmware/slim-sentiment")
  

• exekutive Argumentation::

  response = prompter.prompt_main("This contract is favorable to us.")
  print(response)  # 输出：{"sentiment": "positive"}
  

3 Faktenüberprüfung und Auditing

llmware bietet Funktionen zur Beweisvalidierung, um sicherzustellen, dass die Antworten korrekt sind:

• Prüfen Sie die Antwort::

  stats = prompter.evidence_comparison_stats(response)
  print(stats)  # 输出证据匹配度
  

• Interaktionsverlauf speichern::

  prompter.save_state()
  

4) UI-Beispiele

llmware bietet interaktive Schnittstellenbeispiele auf derexamples/UI/Katalog:

• Führen Sie das Beispiel aus:

  python3 examples/UI/invoice_ui.py
  

• Das Beispiel unterstützt das Hochladen von PDF-Rechnungen und die Ausführung des BLING-Modells für Q&A.

Featured Function Bedienung

1) Multi-Modell-Agent Arbeitsablauf

Das SLIM-Modell unterstützt mehrstufige Agenten-Workflows. Zum Beispiel, die Kombinationsentimentim Gesang antwortenintentModelle:

• Laden mehrerer Modelle::

  prompter1 = Prompt().load_model("llmware/slim-sentiment")
  prompter2 = Prompt().load_model("llmware/slim-intent")
  

• Mehrstufige Argumentation durchführen::

  text = "I want to cancel my subscription."
  sentiment = prompter1.prompt_main(text)  # 输出：{"sentiment": "negative"}
  intent = prompter2.prompt_main(text)     # 输出：{"intent": "cancellation"}
  

2. die Vertragsanalyse

Das DRAGON-Modell von llmware optimiert die Vertragsanalyse:

• Analyse der Verträge::

  from llmware.library import Library
  from llmware.retrieval import Query
  lib = Library().create_new_library("contracts")
  lib.add_files("/path/to/contracts")
  q = Query(lib)
  results = q.text_query_with_document_filter("termination", {"file_source": "contract.pdf"})
  prompter = Prompt().load_model("llmware/dragon-yi-6b-gguf")
  prompter.add_source_query_results(results)
  response = prompter.prompt_with_source("Summarize termination provisions")
  

3. die Integration der Vector-Datenbank

Es wird eine Vielzahl von Vektordatenbanken unterstützt, wie z. B. Milvus:

• Milvus konfigurieren::

  curl -o docker-compose.yaml https://raw.githubusercontent.com/llmware-ai/llmware/main/docker-compose-redis-stack.yaml
  docker-compose up
  

• Einbettung generieren::

  q.generate_embeddings("industry-bert-contracts", vector_db="milvus")
  

Anwendungsszenario

1. Vertragsmanagement für Unternehmen
   llmware kann zur Analyse einer großen Anzahl von Verträgen und zur Extraktion der wichtigsten Klauseln (z. B. Kündigungsklauseln, Zahlungsbedingungen) verwendet werden. Unternehmen können Verträge in die Bibliothek importieren und das DRAGON-Modell verwenden, um semantische Abfragen durchzuführen und schnell eine Zusammenfassung der Bedingungen zu erstellen, die für Rechtsteams zur Verbesserung der Effizienz geeignet ist.
2. Verarbeitung von Finanzdaten
   Finanzteams können SLIM-Modelle verwenden, um Rechnungen oder Finanzberichte zu analysieren und Schlüsselfelder (z. B. Beträge, Daten) zu extrahieren. Die Stapelverarbeitung wird unterstützt, um strukturierte JSON-Ausgaben für eine einfache Integration in ERP-Systeme zu erzeugen.
3. Wissensdatenbank Q&A
   Unternehmen können eine interne Wissensdatenbank aufbauen und diese mit dem BLING-Modell kombinieren, um die Q&A-Funktion zu realisieren. Mitarbeiter können Unternehmensrichtlinien, Verfahren usw. in natürlicher Sprache abfragen, und das Modell liefert genaue Antworten mit Quellenangaben.
4. Lokaler KI-Einsatz
   Für datenschutzsensible Branchen unterstützt llmware die Ausführung von KI-Modellen auf einem lokalen PC oder in einer privaten Cloud, um Datenverluste zu vermeiden. Es eignet sich für Banken, medizinische Einrichtungen und andere Szenarien, die hohe Sicherheit erfordern.

QA

1. Benötigt llmware einen Grafikprozessor zur Ausführung?
   Nicht erforderlich. Die Modelle BLING und SLIM von llmware sind für den Betrieb auf der CPU optimiert und eignen sich für normale Laptops. Das Modell DRAGON erfordert zwar eine leistungsstärkere Hardware, unterstützt aber dennoch GPU-freie Umgebungen.
2. Wie gehen Sie mit Modellhalluzinationen um?
   llmware bietet Funktionen zur Faktenüberprüfung und zur Überprüfung von Beweisen durch dieevidence_comparison_statsim Gesang antwortenevidence_check_sourcesMethoden zur Überprüfung der Antworten, um die Konsistenz mit den Wissensquellen zu gewährleisten.
3. Welche Dateiformate werden unterstützt?
   Unterstützt PDF, Text, CSV, JSON, Audio, Webseiten usw. Die OCR-Funktion verarbeitet Text in Bildern und ist für gescannte Dokumente geeignet.
4. Wie kann ich mich an der llmware-Gemeinschaft beteiligen?
   Issues oder Pull Requests können über GitHub eingereicht werden, im Discord-Kanal (https://discord.com/invite/fCztJQeV7J) mitdiskutiert werden oder in den Richtlinien für Beiträge nachgelesen werden.