Lösungen für unzureichenden Videospeicher
Das Problem des unzureichenden Videospeichers für gewöhnliche Computer kann durch die folgenden drei technischen Lösungen gelöst werden:
- QLoRA-QuantifizierungsprogrammTrainieren Sie mit 4-Bit-Präzision, um den Speicherbedarf des 7B-Modells auf 6 GB zu reduzieren. Ändern Sie die settings.json in der Dateiladen_in_4bitDer Parameter ist True
- Verteiltes SchulungsprogrammVerwenden Sie mehrere Consumer-Grafikkarten, um zusammenzuarbeiten und den Videospeicher mit dem ZeRO-2-Optimierer von DeepSpeed zu teilen. Installationsbefehl:
uv pip install deepspeed - Alternativen zu Cloud-DienstenKostenlose GPU-Ressourcen von AutoDL oder Kaggle werden empfohlen, wobei darauf geachtet werden sollte, Instanzen mit T4 (16GB) und höheren Grafikkarten auszuwählen.
Für Computer mit 8 GB Videospeicher können zusätzliche Schritte unternommen werden, um 1) batch_size auf 2 zu reduzieren, 2) gradient_checkpointing zu aktivieren und 3) CPU-Offloading-Techniken zu verwenden. Konkret müssen Sie in train_sft.py Folgendes hinzufügen--gradient_checkpointing --offload_param=cpuParameter
Diese Antwort stammt aus dem ArtikelWeClone: Ausbildung von digitalen Doppelgängern mit WeChat-Chat-Protokollen und StimmenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann man das Problem lösen, dass WeClone aufgrund von unzureichendem Videospeicher auf einem normalen Computer nicht laufen kann?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil