WeKnora: Tencents sofort einsatzbereite Q&A-Wissensdatenbank auf Unternehmensebene

WeKnora ist ein Q&A-Framework der Unternehmensklasse zum Verstehen und Abrufen von Dokumenten, das von Tencent zur Verfügung gestellt wird. WeKnora Kern ist der Abruf von augmented Generation (RAG) Technologie, die Technologie wird aus dem Dokument Kontext Schnipsel und die Kombination von großen Sprachmodelle abgerufen werden, um genauer zu generieren, näher an den Tatsachen der Antwort. Das gesamte Framework ist modular aufgebaut und entkoppelt das Parsen von Dokumenten, den Abruf von Inhalten und die Ableitung von Modellen, um einen vollständigen und effizienten Q&A-Prozess für Dokumente zu schaffen. Benutzer können nicht nur die Dokumentenverwaltung und intelligente Fragen und Antworten über eine intuitive Weboberfläche durchführen, sondern auch über die API-Schnittstelle für sekundäre Entwicklung und Integration. Dieses Framework unterstützt den privaten Einsatz, wodurch die Sicherheit und Kontrolle der Unternehmensdaten gewährleistet werden kann.

Funktionsliste

• Multimodale DokumentenanalyseKann PDF, Word, Bilder und andere Dokumente mit gemischtem Textinhalt genau analysieren, Text, Tabellen und Bildsemantik extrahieren.
• Modulare RAG-MontagelinieEs unterstützt die freie Zusammenstellung von Suchstrategien, großen Sprachmodellen und Vektordatenbanken und kann nahtlos in Plattformen wie Ollama integriert werden und flexibel zwischen Mainstream-Modellen wie Qwen und DeepSeek wechseln.
• Quiz zum intelligenten DenkenVerstehen der Benutzerabsicht und des Dokumentenkontextes mit Hilfe von großen Sprachmodellen, die präzise Fragen und Antworten und Dialoge mit mehreren Runden unterstützen.
• Flexible SuchstrategieEine Mischung von Strategien wie Schlüsselwortsuche, Vektorsuche und Wissensgraphen-Suche wird verwendet und freie Kombinationen werden unterstützt, um die Genauigkeit der Abrufergebnisse zu verbessern.
• Out-of-the-Box-ErfahrungBietet Ein-Klick-Startskripte und eine intuitive Web-UI-Benutzeroberfläche, die es auch technisch nicht versierten Benutzern ermöglicht, Implementierungen und Anwendungen schnell abzuschließen.
• Sichere und kontrollierte BereitstellungEs unterstützt die lokale und private Cloud-Bereitstellung und verfügt über ein integriertes Überwachungsprotokollierungssystem, um eine vollständige Beobachtbarkeit der Verbindung zu erreichen, so dass die Daten des Benutzers vollständig unter seiner Kontrolle sind.
• Konstruktion von WissensgraphenDie Fähigkeit, den Inhalt von Dokumenten in einen Wissensgraphen umzuwandeln, der die Zusammenhänge zwischen den Informationen visuell darstellt und so das Verständnis des Benutzers und eine gründliche Suche erleichtert.
• Umfangreiche ModellunterstützungKompatibel mit einer breiten Palette von Einbettungsmodellen (z.B. BGE/GTE), Vektordatenbanken (z.B. PostgreSQL, Elasticsearch) und gängigen großen Sprachmodellen.

Hilfe verwenden

WeKnora bietet ein komplettes Set von Toolchain, durch Docker zu erreichen Ein-Klick-Bereitstellung und Start-up, können die Nutzer das gesamte System in der lokalen Umgebung ohne komplexe Konfiguration laufen, um die Produktionsumgebung out of the box zu erreichen.

Anforderungen an die Umwelt

Bevor Sie mit der Installation beginnen, vergewissern Sie sich, dass Sie die folgenden drei grundlegenden Tools auf Ihrem Computer installiert haben:

• DockerVerwaltung und Ausführung von Anwendungscontainern.
• Docker ComposeDocker: Dient zur Definition und Ausführung von Docker-Anwendungen mit mehreren Containern.
• GitFür das Klonen von Code-Repositories von GitHub.

Installation und Inbetriebnahme

1. Code-Repository klonen
   Öffnen Sie zunächst ein Terminal (Befehlszeilentool) und verwenden Sie den BefehlgitBefehl, um die offizielle WeKnora-Codebasis auf Ihren lokalen Computer zu klonen.

   git clone https://github.com/Tencent/WeKnora.git
   

2. Wechseln Sie in das Projektverzeichnis
   Sobald das Klonen abgeschlossen ist, wechseln Sie zu dem Ordner, in dem sich das Projekt befindet.

   cd WeKnora
   

3. Umgebungsvariablen konfigurieren
   WeKnora hat dies möglich gemacht durch ein.envDatei, um alle Umgebungsvariablen des Projekts zu verwalten. Sie können Ihre eigene Konfigurationsdatei erstellen, indem Sie die mit dem Projekt gelieferte Beispieldatei kopieren.

   cp .env.example .env
   ```    复制后，你可以用文本编辑器打开`.env`文件，根据文件内的注释说明，填入你自己的配置信息。对于初次使用者，可以暂时跳过此步骤，直接启动服务，后续通过Web界面进行配置。
   

4. Ein-Klick-Start-Service
   Das Projekt bietet ein praktisches Startskript, mit dem alle erforderlichen Dienste auf einmal gestartet werden können, einschließlich Ollama (für die Verwaltung lokaler großer Modelle) und die Backend-Dienste von WeKnora.

   ./scripts/start_all.sh
   

   Sie können auch diemakeum denselben Effekt zu erzielen:

   make start-all
   

   Wenn das Terminal anzeigt, dass der Dienst erfolgreich gestartet wurde, können Sie ihn verwenden.

5. Zugriff auf die Webschnittstelle
   Rufen Sie nach erfolgreichem Start die folgende Adresse in Ihrem Browser auf:
   • Haupt-Webschnittstelle: http://localhost
   • Backend-API-Dokumentation: http://localhost:8080
   • Link Tracing System (Jaeger): http://localhost:16686 (wird von Entwicklern verwendet, um interne Systemaufrufe zu beobachten)

Konfiguration des Initialisierungsmodells

Wenn es Ihr erstes Mal ist, besuchen Siehttp://localhostWenn Sie dies tun, springt das System automatisch auf die Initialisierungskonfigurationsseite. Diese Seite kann Ihnen dabei helfen, die Konfiguration von Schlüsselkomponenten wie großen Sprachmodellen und eingebetteten Modellen über eine grafische Oberfläche abzuschließen, wodurch die Komplexität der manuellen Änderung von Konfigurationsdateien verringert wird. Bitte folgen Sie den Aufforderungen auf der Seite, um die richtige Modell-API-Adresse, den Schlüssel und andere Informationen einzugeben. Das System speichert dann automatisch und springt nach Fertigstellung zur Homepage der Wissensdatenbank.

Funktion Betriebsablauf

1. Wissensdatei hochladen
   Auf der Seite "Knowledge Base Management" der Weboberfläche können Sie Ihre Dokumente (z. B. Produkthandbücher, Unternehmensvorschriften, Forschungsberichte usw.) in das System hochladen, indem Sie die Dateien direkt per Drag&Drop in das System ziehen oder auf die Schaltfläche "Hochladen" klicken. Das System beginnt automatisch mit dem Parsing des Dokuments, der Extraktion des Inhalts und der Erstellung eines Vektorindexes für das Dokument; der Verarbeitungsfortschritt und -status wird auf der Benutzeroberfläche deutlich angezeigt.
2. Durchführung von intelligenten Frage- und Antwortrunden
   Sobald das Dokument bearbeitet wurde, können Sie den Bildschirm "Fragen und Antworten" aufrufen. Stellen Sie Ihre Fragen in das Eingabefeld, z. B. "Wie ist das Erstattungsverfahren des Unternehmens?" oder "Wie geht dieses Produkt mit Fehlern um?" . Auf der Grundlage Ihrer Frage führt das System eine semantische Suche in der hochgeladenen Wissensdatenbank durch, um die relevantesten Dokumentfragmente zu finden, und generiert dann mithilfe eines umfangreichen Sprachmodells eine flüssige und präzise Antwort. Die Antwort wird mit einer Quellenangabe versehen, so dass Sie die Informationen leicht zu ihrer Quelle zurückverfolgen können.
3. Verwendung des Knowledge Graph
   Für Dokumente mit einer komplexen Struktur können Sie die Funktion Knowledge Graph aktivieren. Das System analysiert dann die Beziehungen zwischen verschiedenen Absätzen und Entitäten innerhalb des Dokuments und stellt sie visuell in Form eines Diagramms dar. Dies hilft Ihnen nicht nur, die interne Logik des Dokuments besser zu verstehen, sondern bietet dem System auch eine strukturiertere Grundlage für die Suche und verbessert die Relevanz der Fragen und Antworten.
4. Einstellung von Dienstleistungen
   Wenn Sie fertig sind, können Sie das folgende Skript ausführen, um alle Dienste zu beenden:

   ./scripts/start_all.sh --stop
   

   Oder verwenden SiemakeBefehl:

   make stop-all
   

Anwendungsszenario

1. Wissensmanagement im Unternehmen
   Integrieren Sie verstreute Wissensdokumente im Unternehmen, wie interne Dokumente, Regeln und Vorschriften, Betriebshandbücher usw., um ein intelligentes F&A-Portal aufzubauen. Dies kann die Effizienz der Mitarbeiter bei der Suche nach Informationen verbessern und die Kosten für interne Schulungen senken.
2. Analyse der wissenschaftlichen Literatur
   Forscher können damit die riesige Menge an akademischer Literatur, Forschungsberichten und wissenschaftlichen Materialien schnell durchforsten und sich einen Überblick verschaffen. Dies beschleunigt die vorläufige Literaturrecherche und hilft bei Forschungsentscheidungen.
3. Technische Produktunterstützung
   Durch die Eingabe der technischen Handbücher und häufig gestellten Fragen in das System kann ein intelligenter 24-Stunden-Online-Kundendienst eingerichtet werden. Er kann die Fragen der Nutzer zu Produktmerkmalen, Fehlerbehebung usw. schnell beantworten und die Qualität des Kundendienstes verbessern.
4. Überprüfung der Einhaltung von Rechtsvorschriften
   Im juristischen Bereich kann es Anwälten oder juristischen Mitarbeitern helfen, Schlüsselinformationen in einer großen Anzahl von Vertragsbedingungen, Vorschriften, Richtlinien und Fällen schnell zu finden und die Effizienz der Überprüfung der Einhaltung von Vorschriften zu verbessern.
5. Analyse der Finanzanlagenforschung
   Finanzanalysten können damit eine große Anzahl von Unternehmensberichten, Branchenforschungsberichten und Marktankündigungen verarbeiten und so schnell Schlüsseldaten und Meinungen zur Unterstützung von Investitionsentscheidungen extrahieren.

QA

1. Welche Arten von großen Sprachmodellen werden von WeKnora unterstützt?
   WeKnora unterstützt eine Vielzahl von gängigen großen Sprachmodellen wie Qwen (Tongyi Thousand Questions) und DeepSeek. Die Modelle werden über Plattformen wie Ollama verwaltet, und die Nutzer können auch auf externe API-Dienste zugreifen, was sehr flexibel ist und in Konfigurationsdateien oder initialisierten Webschnittstellen umgeschaltet werden kann.
2. Ist der Einsatz von WeKnora kostenpflichtig?
   Das WeKnora-Projekt selbst ist ein Open-Source-Projekt, das auf der MIT-Lizenz basiert, und Sie können es frei verwenden, verändern und verbreiten, auch für kommerzielle Zwecke. Wenn Sie jedoch einen großen Sprachmodell-API-Dienst eines Drittanbieters verwenden, der in Ihrer Konfiguration eine Zahlung erfordert, dann wird der entsprechende Modellanbieter eine Gebühr verlangen.
3. Können auch technisch nicht versierte Personen diesen Rahmen nutzen?
   WeKnora bietet eine sofort einsatzbereite Weboberfläche und ein Ein-Klick-Startskript, das es den Nutzern ermöglicht, Wissen hochzuladen und Quizze durch Ziehen und Ablegen von Dateien und Anklicken von Schaltflächen durchzuführen, ohne Code zu schreiben und mit einer niedrigen Nutzungsschwelle.
4. Sind die hochgeladenen Dokumentendaten sicher?
   Sehr sicher. weKnora unterstützt die lokale und private Cloud-Bereitstellung, was bedeutet, dass das gesamte Q&A-System vollständig auf Ihrem eigenen Server oder lokalen Computer laufen kann. Alle hochgeladenen Dokumente und Daten sind unter Ihrer Kontrolle und werden nicht auf einen externen Server hochgeladen, was die Datensicherheit in hochsensiblen Szenarien garantiert.