Local LLM Notepad: Ein tragbares Werkzeug zur Offline-Ausführung lokaler großer Sprachmodelle

Local LLM Notepad ist eine quelloffene Offline-Anwendung, die es Benutzern ermöglicht, Local Large Language Models auf jedem Windows-Computer über ein USB-Gerät ohne Internetverbindung und ohne Installation auszuführen. Die Benutzer können einfach eine einzelne ausführbare Datei (EXE) und eine Modelldatei (z.B. im GGUF-Format) auf einen USB-Stick kopieren und überall und jederzeit chatten, brainstormen oder Dokumente entwerfen. Es wurde mit dem Ziel der Einfachheit und Benutzerfreundlichkeit entwickelt, erfordert keine Administratorrechte und eignet sich für Benutzer mit unterschiedlichen Qualifikationsniveaus in einer Vielzahl von Szenarien, wie z. B. Client-Zugang oder temporäre Workstations. Das Tool legt großen Wert auf Portabilität und Datenschutz, und die gesamte Datenverarbeitung erfolgt lokal, ohne auf Cloud- oder API-Dienste angewiesen zu sein. Die Benutzeroberfläche ist einfach und intuitiv, mit einem Zwei-Fenster-Layout, Unterstützung für die Hervorhebung von Stichwörtern und einem Exportdialog im JSON-Format, der es den Benutzern leicht macht, Inhalte zu verwalten und zu verfolgen.

Funktionsliste

• Große Sprachmodelle offline ausführenKeine Internetverbindung erforderlich, lädt Modelle im GGUF-Format, geeignet für datenschutzsensible Szenarien.
• Tragbares DesignEinzelne EXE-Datei, keine Installation erforderlich, direkt vom USB-Stick lauffähig.
• Interaktive Schnittstelle mit zwei FensternDie Benutzeroberfläche ist einfach und frei von unnötigen Verzierungen: Geben Sie unten das Lösungswort ein, und die Antwort des Modells wird oben in Echtzeit angezeigt.
• Hervorhebung von Stichwörtern und RückverfolgbarkeitWörter, die der Benutzer eingibt, werden in der Modellantwort automatisch fett gedruckt und unterstrichen. Klicken Sie auf Strg+Klick, um den Verlauf des entsprechenden Wortes zu sehen.
• JSON-Dialog-ExportUnterstützung des Exports von Dialogdatensätzen mit einem Mausklick für eine einfache Migration zwischen verschiedenen Geräten.
• Flexibler ModellwechselLaden Sie verschiedene GGUF-Modelle über "Datei > Modell wählen", um verschiedenen Anforderungen gerecht zu werden.
• Hohe LeistungUnterstützt schnelle CPU-Modelle (z. B. 0,8-GB-Modelle), die auf gängiger Hardware Generierungsgeschwindigkeiten von ~20 Token/Sekunde erreichen.

Hilfe verwenden

Installation und Vorbereitung

Local LLM Notepad erfordert keine Installation im herkömmlichen Sinne und ist so konzipiert, dass es sofort einsatzbereit ist. Nachfolgend finden Sie einen detaillierten Vorbereitungsprozess:

1. Programm herunterladenBesuchen Sie die Seite Releases auf dem GitHub-Repository (https://github.com/runzhouye/Local_LLM_Notepad), um die neueste Version des Programms herunterzuladen. Local_LLM_Notepad-portable.exe.
2. Abrufen der ModelldateiDownload kompatibler Modelldateien im GGUF-Format, z. B. empfohlen gemma-3-1b-it-Q4_K_M.gguf(~0,8GB). Erhältlich bei Hugging Face oder anderen Modeling-Communities.
3. Auf USB-Stick kopierenKopieren Sie die heruntergeladenen EXE-Dateien und GGUF-Modelldateien auf einen USB-Stick oder einen anderen Wechseldatenträger.
4. laufendes ProgrammDoppelklick auf einen beliebigen Windows-Computer Local_LLM_Notepad-portable.exe Starten. Beim ersten Start lädt das Programm das Modell in den Arbeitsspeicher (RAM), was einige Sekunden dauern kann; die folgenden Vorgänge laufen reibungsloser ab.

Hauptfunktionen

1. die Bedienung und Interaktion

Nach dem Start des Programms ist die Oberfläche in zwei Teile gegliedert:

• untere HälfteEingabe eines Prompts (Eingabeaufforderung), eines Begleittextes, von Fragen oder Anweisungen.
• OberteilDie Antworten des Modells werden in Echtzeit angezeigt und mit einer Geschwindigkeit von ca. 20 Token/Sekunde generiert (je nach Hardwareleistung).
  Die Nutzer können direkt eine Frage oder Aufgabe eingeben, z. B. "Schreiben Sie mir eine E-Mail" oder "Erklären Sie die Quantenmechanik", und das Modell generiert sofort die Antwort. Die Benutzeroberfläche ist intuitiv, ohne komplexe Menüs, und eignet sich ideal für schnelle Startvorgänge.

2 Hervorhebung und Verfolgung von Stichworten

Eine der Funktionen von Local LLM Notepad ist die Hervorhebung von Stichworten. Wörter oder Zahlen, die der Benutzer in das Stichwortwort eingibt, werden in der Modellantwort mit einemfetter UnterstrichDas Formular wird angezeigt. Wenn Sie beispielsweise "Technologietrends im Jahr 2025" eingeben, wird der Teil der Modellantwort, der sich auf "2025" oder "Technologie" bezieht, hervorgehoben. Der Benutzer kann den Teil der Modellantwort, der sich auf "2025" oder "Technologie" bezieht, hervorheben, indem er die Taste Ctrl Wenn Sie auf das hervorgehobene Wort klicken, öffnet sich ein Seitenfenster, in dem alle historischen Suchbegriffe angezeigt werden, die dieses Wort enthalten. Diese Funktion ist ideal für Szenarien, in denen Sie die Modellausgabe validieren oder Informationen zurückverfolgen müssen, z. B. bei der Datenextraktion oder der Überprüfung von Zusammenfassungen.

3. die Modellumschaltung

Wenn Sie das Modell ändern möchten, können Sie in der Menüleiste auf die Schaltfläche 文件 > 选择模型Wenn Sie ein neues Modell verwenden möchten, wählen Sie eine andere Modelldatei im GGUF-Format auf Ihrem USB-Speicherstick. Das Programm lädt das neue Modell automatisch, ohne neu zu starten. Es wird empfohlen, dass Erstbenutzer die empfohlenen leichten Modelle verwenden (z. B. 0,8 GB von gemma-3-1b-it-Q4_K_M.gguf), um ein reibungsloses Funktionieren auf gängiger Hardware zu gewährleisten.

4) Exportieren des Dialogs

Benutzer können den aktuellen Dialog im JSON-Format auf einem USB-Stick oder einem anderen Speicherpfad speichern, indem sie in der Benutzeroberfläche auf die Schaltfläche Exportieren klicken. Die exportierte Datei enthält die vollständigen Eingabeaufforderungen und Modellantworten, so dass sie problemlos auf anderen Geräten weiterverwendet oder archiviert werden kann. Schritte:

• Klicken Sie in der Menüleiste des 导出 Schaltfläche.
• Wählen Sie den Speicherpfad und benennen Sie die Datei (die Standard-Erweiterung lautet .json).
• Sobald die Datei gespeichert ist, kann sie in einem Texteditor angezeigt oder in andere Tools importiert werden, die JSON unterstützen.

5. die Optimierung der Leistung

Das Programm ist für gängige Hardware optimiert und benötigt keine GPU-Unterstützung. Wenn ein Modell zum ersten Mal geladen wird, speichert das Programm das Modell im RAM zwischen, um die nachfolgenden Antworten zu beschleunigen. Wenn Ihr Computer über wenig Arbeitsspeicher verfügt, empfiehlt es sich, eine kleinere Modelldatei zu wählen (weniger als 1 GB). In Tests erreicht das Programm eine Generierungsgeschwindigkeit von etwa 20 Token/Sekunde auf der i7-10750H-CPU, was für die meisten täglichen Aufgaben geeignet ist.

caveat

• Hardware-VoraussetzungMindestens 4 GB RAM, 8 GB oder mehr werden empfohlen, um einen reibungslosen Betrieb zu gewährleisten.
• Kompatibilität der ModelleNur Modelle im GGUF-Format werden unterstützt, nicht andere Formate wie PyTorch oder ONNX.
• BetriebssystemDerzeit wird nur Windows unterstützt, eine Mac- oder Linux-Version ist noch nicht verfügbar.
• DatenschutzAlle Verarbeitungen erfolgen lokal, ohne dass Daten hochgeladen werden, um die Informationssicherheit zu gewährleisten.

Anwendungsszenario

1. Vorübergehende Nutzung von Arbeitsplätzen
   Führen Sie Local LLM Notepad von einem USB-Stick auf einem Computer ohne Netzwerk oder mit eingeschränktem Zugang aus (z. B. an einem Kundenstandort oder in einer öffentlichen Einrichtung), um schnell Dokumente zu verfassen, Ideen zu sammeln oder Fragen zu beantworten.
2. Datenschutzrelevante Mandate
   Für Szenarien, die ein hohes Maß an Vertraulichkeit erfordern, wie z. B. das Verfassen von Rechtsdokumenten oder die Analyse sensibler Daten, stellt der Offline-Betrieb sicher, dass keine Daten nach außen dringen, und eignet sich daher für Anwälte, Journalisten oder Forscher.
3. Bildung und Lernen
   Schüler oder Lehrer können mit diesem Tool im Unterricht auf Modelle zugreifen, um komplexe Konzepte durch Eingabe von Fragen zu erklären, oder um Lernnotizen zu erstellen, die sich für webfreie Unterrichtsumgebungen eignen.
4. Kreativität auf Reisen
   Schriftsteller oder Kreative, die unterwegs sind, nutzen einen USB-Stick, um das Programm zu starten und jederzeit Inspirationen festzuhalten, Artikel zu verfassen oder kreative Inhalte zu erstellen, ohne auf cloudbasierte Dienste angewiesen zu sein.

QA

1. Brauche ich ein Netzwerk?
   Nein. Local LLM Notepad läuft komplett offline, alle Berechnungen werden lokal durchgeführt, eine Internetverbindung ist nicht erforderlich.
2. Welche Modelle werden unterstützt?
   Modelle im GGUF-Format werden derzeit unterstützt, und leichtgewichtige Modelle wie gemma-3-1b-it-Q4_K_M.ggufDer Benutzer kann kompatible Modelle von Plattformen wie Hug16.ging Face herunterladen. Die Benutzer können kompatible Modelle von Plattformen wie Hug16.ging Face herunterladen.
3. Funktioniert es auch auf einem Mac?
   Derzeit wird nur Windows unterstützt, Mac- oder Linux-Benutzer müssen auf eine spätere Version warten oder eine virtuelle Maschine verwenden, um es auszuführen.
4. Wie kann die Geschwindigkeit der Erzeugung gewährleistet werden?
   Das Programm ist für die CPU optimiert und wird im RAM zwischengespeichert, wenn das Modell zum ersten Mal geladen wird. Es wird empfohlen, ein Gerät mit mehr als 8 GB RAM zu verwenden und ein Modell mit weniger als 1 GB zu wählen, um die beste Leistung zu erzielen.
5. Wie werden Dialogaufzeichnungen gespeichert?
   Speichern Sie den Dialog als JSON-Datei zur Speicherung auf einem USB-Stick oder einem anderen Gerät für eine einfache Migration und Archivierung über die Exportfunktion in der Menüleiste.