Die Hardware-Anforderungen von WeClone hängen vom jeweiligen Nutzungsszenario ab:
- grundlegende BedienungGPUs mit mindestens 16 GB Videospeicher (z. B. RTX3090) sind erforderlich, wenn das Standardmodell ChatGLM3-6B + LoRA-Feinabstimmung verwendet wird
- Niedrigprofil-ProgrammQLoRA: Mit QLoRA (4-Bit-Quantisierung) benötigt das 7B-Modell mindestens 6 GB Videospeicher, der durch Anpassung von Parametern wie per_device_train_batch_size angepasst werden kann.
- MultikartenlösungDeepSpeed-Unterstützung für Multikarten-Training, das große Modell 70B erfordert 8 A100 (80 GB)
- VertretungsprogrammeVersuchen Sie es mit Cloud-Plattformen wie Colab oder nutzen Sie die API-Dienste der Magic Hitch-Community, wenn Ihnen der Videospeicher ausgeht!
Daten aus der realen Welt: Es dauert etwa 4 Stunden, um 20.000 Daten auf einer Consumer RTX4080 (16 GB) zu trainieren. Wenn nur Inferenzen durchgeführt werden (kein Training), können 8 GB Videospeicher kaum die Grundfunktionen ausführen.
Diese Antwort stammt aus dem ArtikelWeClone: Ausbildung von digitalen Doppelgängern mit WeChat-Chat-Protokollen und StimmenDie