Eine vollständige Lösung für das Download-Problem
Bei der Verwendung des Transformers-Frameworks können beim Herunterladen von Modellen Probleme mit instabilen Netzwerken oder großen Dateien auftreten. Hier sind drei bewährte Lösungen:
- Lokales Vorab-Download des ModellsBatch-Download von Modelldateien mit der snapshot_download-Methode von Hugging Face Hub
from huggingface_hub import snapshot_download
snapshot_download(repo_id="meta-llama/Llama-2-7b-hf", repo_type="model") - Lokalen Caching-Mechanismus aktivierenCache-Pfade: Benutzerdefinierte Cache-Pfade über Umgebungsvariablen spezifizieren
export TRANSFORMERS_CACHE="/custom/path"
- Verwendung von inländischen SpiegelquellenFür chinesische Benutzer kann der Download durch die Konfiguration einer Spiegelseite beschleunigt werden.
HF_ENDPOINT=https://hf-mirror.com
Umsetzungsempfehlung: Bevorzugen Sie den Offline-Modus (HF_HUB_OFFLINE=1) in Kombination mit lokalem Caching, wodurch das Problem der Netzabhängigkeit vollständig gelöst werden kann.
Diese Antwort stammt aus dem ArtikelTransformers: Open Source Framework für maschinelles Lernen mit Unterstützung für Text-, Bild- und multimodale AufgabenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann ich das Problem der langsamen oder unterbrochenen Downloads von Transformers-Modellen lösen?
