Fake News Detector: ein automatisches Tool zur Erkennung von Fake News auf der Grundlage von KI und Beweissuche

Fake News Detector ist ein automatisiertes System zur Erkennung von Fake News auf der Grundlage von Faktenprüfung. Es nutzt Techniken der künstlichen Intelligenz, insbesondere Large Language Models (LLMs) und fortgeschrittene Einbettungsmodelle, um den Wahrheitsgehalt von Nachrichtentexten zu analysieren. Der Kern des Arbeitsablaufs besteht darin, zunächst automatisch Kernideen oder -aussagen zu identifizieren und zu extrahieren, die aus vom Benutzer eingegebenen Nachrichteninhalten überprüft werden müssen. Anschließend sucht das System mit Hilfe einer Suchmaschine im Internet nach relevanten beweiskräftigen Informationen. Durch den Vergleich und die Analyse der Nachrichtenaussage und der gesuchten Beweise gibt das System schließlich ein Urteil über den Wahrheitsgehalt der Nachricht ab, z. B. "richtig", "falsch" oder "teilweise richtig", und Das System gibt schließlich ein Urteil über den Wahrheitsgehalt der Nachricht ab, wie z. B. "richtig", "falsch" oder "teilweise richtig", und zeigt die Grundlage des Urteils und den Argumentationsprozess. Das gesamte System wird über eine visuelle Weboberfläche bedient, die es dem Benutzer ermöglicht, den Fortschritt der Überprüfung bei jedem Schritt intuitiv zu sehen.

Funktionsliste

• Automatische Extraktion von KernaussagenDie Software identifiziert und extrahiert automatisch die kritischsten Kernaussagen, die aus komplexen Nachrichtentexten verifiziert werden müssen.
• Websuche in Echtzeit:: Das System ist an die Suchmaschine DuckDuckGo angeschlossen, die in der Lage ist, das Internet in Echtzeit nach relevanten Artikeln, Berichten usw. zu durchsuchen, die auf den extrahierten Kernaussagen basieren.
• Analyse des semantischen Abgleichs:: Das BGE-M3 Einbettungsmodell wurde verwendet, um semantische Korrelationen zwischen Nachrichtenaussagen und Web-Beweisen zu berechnen, um sicherzustellen, dass die gefundenen Beweise eine hohe Relevanz für den Inhalt des zu überprüfenden Standpunkts haben.
• Verarbeitung von LangtextenWenn das gesuchte Beweismaterial zu lang ist, teilt das System es automatisch in kleinere Absätze auf und filtert die Beweisstücke heraus, die für die Kernaussage am wichtigsten sind.
• Zuverlässige Überprüfung der Fakten:: Auf der Grundlage der gefundenen Beweise nimmt das System eine umfassende Beurteilung vor und gibt eine Verifizierungsschlussfolgerung von "richtig", "falsch" oder "teilweise richtig" ab, wobei der Argumentationsprozess, der zu der Schlussfolgerung führte, erläutert wird.
• Visualisierung der BedienoberflächeStreamlit: Entwicklung einer benutzerfreundlichen Weboberfläche, die es den Benutzern ermöglicht, jeden Schritt des Prozesses in Echtzeit zu verfolgen, von der Extraktion der Aussagen über die Suche nach Beweisen bis hin zur endgültigen Beurteilung.

Hilfe verwenden

Das Tool ist eine Anwendung, die vom Benutzer auf seinem eigenen Computer installiert werden muss. Es hat keine Website, auf die direkt zugegriffen werden kann, so dass einige grundlegende Programmierkenntnisse erforderlich sind, um die Installation und den Start abzuschließen.

vorläufige Vorbereitung

Bevor Sie mit der Installation beginnen, müssen Sie sicherstellen, dass Ihr Computer die folgenden Bedingungen erfüllt:

1. Installation von Python: Auf Ihrem Computer muss Python Version 3.12 installiert sein. Sie können das Installationsprogramm auf der Python-Website finden und herunterladen.
2. Modellierung großer Sprachen (LLM)Sie benötigen ein umfangreiches Sprachmodell, das lokal eingesetzt werden kann, z. B.Qwen2.5oder jedes andere Modell, das mit der OpenAI-API-Schnittstelle kompatibel ist. Dies ist der Kern der Analyse und Beurteilung, die das gesamte System steuert.
3. Modelle einbettenSie müssen Folgendes vorbereitenBGE-M3Das Einbettungsmodell, das entweder aus dem Internet heruntergeladen und lokal eingesetzt oder über eine API aus der Ferne aufgerufen wird. Dieses Modell wird hauptsächlich für die Analyse der Ähnlichkeit zwischen Texten verwendet.

Installationsschritte

1. Code-Repository klonen
   Zunächst müssen Sie den Quellcode des Projekts von GitHub mit dem Git-Tool auf Ihren Computer herunterladen. Öffnen Sie das Terminal auf Ihrem Computer (Eingabeaufforderung oder PowerShell unter Windows, Terminal unter macOS oder Linux) und geben Sie den folgenden Befehl ein:

   git clone https://github.com/CaptainYifei/fake-news-detector.git
   

   Nach der Ausführung des Befehls wird der Code in eine Datei namensfake-news-detectordes Ordners. Gehen Sie dann in diesen Ordner:

   cd fake-news-detector
   

2. Installation von abhängigen Bibliotheken
   Die Ausführung des Projekts hängt von einer Reihe von Python-Bibliotheken von Drittanbietern ab, die in der Dokumentationrequirements.txtin der Datei. Sie können diepipDas Tool installiert alle erforderlichen Bibliotheken mit einem Klick. Führen Sie den folgenden Befehl im Terminal aus:

   pip install -r requirements.txt
   

   Dieser Vorgang kann einige Zeit in Anspruch nehmen, da alle erforderlichen Softwarebibliotheken automatisch heruntergeladen und installiert werden.

3. Modellpfade konfigurieren
   Wenn die Installation abgeschlossen ist, müssen Sie dem Programm IhreBGE-M3Wo das eingebettete Modell gespeichert ist.
   • Suchen Sie den Projektordner im Verzeichnisfact_checker.pyDatei und öffnen Sie sie mit einem Code-Editor.
   • Suchen Sie die folgende Codezeile in der Datei:
     self.embedding_model = BGEM3FlagModel('/path/to/your/bge-m3/')
   • Den Pfad in den Code einfügen'/path/to/your/bge-m3/'Ändern Sie es, um Ihre eigenen Daten zu speichernBGE-M3Der tatsächliche Ordnerpfad des Modells. Wenn Sie eine Remote-API verwenden, müssen Sie diesen Teil des Codes entsprechend den Anforderungen des von Ihnen verwendeten Modelldienstanbieters ändern.

eine Anwendung starten

Nachdem Sie alle Konfigurationen vorgenommen haben, können Sie dieses Tool zur Erkennung von Fake News starten. Im Stammverzeichnis des Projekts (fake-news-detectorOrdner), öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus:

streamlit run app.py

Nachdem der Befehl ausgeführt wurde, öffnet das Programm automatisch eine neue Seite in Ihrem Browser unter der Adresse, die normalerweise lautethttp://localhost:8501. Dies ist die Schnittstelle des Tools.

Wie es funktioniert

Sobald die App gestartet ist, sehen Sie eine übersichtliche Web-Oberfläche.

1. Suchen Sie ein Texteingabefeld auf der Benutzeroberfläche.
2. Kopieren Sie den vollständigen Text der Nachricht, deren Echtheit Sie überprüfen möchten, und fügen Sie ihn in dieses Eingabefeld ein.
3. Klicken Sie auf "Verifizierung starten" oder eine ähnliche Schaltfläche.
4. Das System beginnt sofort mit der Arbeit, und Sie können den Überprüfungsprozess in Echtzeit auf der Benutzeroberfläche verfolgen, einschließlich der Aktualisierung:
   • Die Kernaussage der Nachricht wird extrahiert...
   • Die Suche nach relevanten Beweisen...
   • Die Beweise werden auf ihre Relevanz für die Aussage analysiert...
   • Es werden Schlussfolgerungen zur Überprüfung der Fakten gezogen...
5. Schließlich zeigt das System die endgültige Schlussfolgerung der Überprüfung (richtig, falsch oder teilweise richtig) mit entsprechenden Links zu den Beweisen und dem Analyseprozess an, um Ihnen eine Vorstellung davon zu vermitteln, wie es zu dieser Schlussfolgerung gekommen ist.

Anwendungsszenario

1. Schnelles Screening von Informationen durch einzelne Nutzer
   Wenn eine Person eine unsichere Nachricht in den sozialen Medien oder im Internet sieht, kann sie dieses Tool nutzen, um die Fakten schnell zu überprüfen. Die Nutzer kopieren einfach den Text der Nachricht und fügen ihn in das Tool ein, um ein erstes Urteil auf der Grundlage von Online-Beweisen zu erhalten, damit sie nicht durch Gerüchte in die Irre geführt werden.
2. Hilfsmittel für Journalisten
   Für Journalisten, Redakteure und andere Nachrichtenpraktiker kann dieses Tool eine effiziente Hilfe sein. Bevor sie über eine Nachricht berichten oder sie zitieren, können sie damit eine erste Echtheitsprüfung durchführen, schnell relevantes Begleitmaterial finden oder Widersprüche aufdecken und so die Genauigkeit und Strenge der Nachrichtenberichterstattung verbessern.
3. Überprüfung der Informationsplattform für Inhalte
   Social-Media-Plattformen, Websites zur Zusammenstellung von Inhalten usw. können ähnliche Technologien integrieren, um die Überprüfung großer Mengen von Informationen auf der Plattform zu automatisieren. Durch die Analyse der von den Nutzern geposteten Inhalte in Echtzeit können potenzielle Falschinformationen schnell erkannt und gekennzeichnet werden, wodurch die Verbreitung von Gerüchten verringert und eine gesunde Ökologie der Plattforminhalte aufrechterhalten wird.

QA

1. Welche Sprachen unterstützt dieses Tool für die Nachrichtenerkennung?
   Das Tool stützt sich stark auf die Fähigkeiten des Large Language Model (LLM) und der dahinter eingebetteten Modelle. Wenn die konfigurierten Modelle (z. B. Qwen2.5 und BGE-M3) die mehrsprachige Verarbeitung unterstützen, ist das Tool theoretisch auch in der Lage, Nachrichtentext in der entsprechenden Sprache zu verarbeiten. Derzeit liegt der Schwerpunkt auf Chinesisch und Englisch.
2. Sind die Testergebnisse absolut zuverlässig?
   Nicht völlig zuverlässig. Die Erkennungsergebnisse des Tools basieren auf der Suche und Analyse des KI-Modells nach öffentlich zugänglichen Informationen im Internet, die als sehr wertvolle Referenz verwendet werden können, aber nicht garantiert 100% genau sind. Die Genauigkeit der Ergebnisse hängt von der Qualität der Beweise ab, die von der Suchmaschine gefunden werden können, sowie von der Beurteilungsfähigkeit des großen Sprachmodells selbst. Für die Überprüfung sehr wichtiger Informationen wird den Nutzern empfohlen, die Ergebnisse dieses Tools als Hilfsmittel zu verwenden und es mit anderen Quellen von Mehrfachnachweisen zu kombinieren.
3. Ich bin kein Programmierer, kann ich dieses Tool verwenden?
   Für Benutzer ohne Programmierkenntnisse wird es schwierig sein, das Projekt direkt zu nutzen, da der Code heruntergeladen, die Umgebung konfiguriert und auf einem lokalen Computer gestartet werden muss. Derzeit bietet das Projekt keine öffentliche Online-Website und richtet sich hauptsächlich an Entwickler oder Forscher mit einer gewissen technischen Grundlage.