Für die Vorbereitung und Ausführung von Local LLM Notepad sind nur die folgenden vier Schritte erforderlich:
- Holen Sie sich die Programmdatei:Laden Sie die neueste Version von der GitHub-Releases-Seite herunter.
Local_LLM_Notepad-portable.exe(ungefähr 50MB) - Kompatible Modelle herunterladen:Es wird empfohlen, leichtgewichtige Modelle im GGUF-Format zu beziehen, z. B.
gemma-3-1b-it-Q4_K_M.gguf(~0,8 GB), diese Modelle finden sich auf Plattformen wie Hugging Face - Speicher-Konfiguration:Kopieren Sie die EXE-Datei zusammen mit der Modelldatei in das Stammverzeichnis des USB-Sticks (empfohlener freier Speicherplatz ≥ 2GB)
- Es kann losgehen:Doppelklicken Sie auf die EXE-Datei in jedem Windows-Computer, das erste Mal, um das Modell zu laden dauert 30-60 Sekunden (abhängig von der Leistung der Hardware), die anschließende Verwendung der Antwort schneller!
Vorbehalte:Stellen Sie sicher, dass das Gerät über mindestens 4 GB freien Arbeitsspeicher verfügt, 8 GB oder mehr werden empfohlen, um eine Generierungsgeschwindigkeit von 20 Token/Sekunde zu erreichen. Modelle sind nach dem Laden im RAM resident, das Schließen des Programms gibt die Ressourcen frei. Wenn Sie das Modell ändern müssen, können Sie dies über die FunktionDatei → Modell auswählenFunktion, um jederzeit zwischen verschiedenen GGUF-Dateien zu wechseln.
Diese Antwort stammt aus dem ArtikelLocal LLM Notepad: Ein tragbares Werkzeug zur Offline-Ausführung lokaler großer SprachmodelleDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie bereitet man den lokalen LLM-Notepad vor und führt ihn zum ersten Mal aus?
