Die Anpassung eines Bereichs erfordert die Durchführung der folgenden vier Arbeitsschritte:
- Phase der Datenaufbereitung::
- Sammeln Sie professionelle Daten und fassen Sie sie zusammen zu
lora_medical.jsonlFormatierung - Es wird empfohlen, eine Länge von 512 Token beizubehalten, um die Modellarchitektur zu unterstützen.
- Sammeln Sie professionelle Daten und fassen Sie sie zusammen zu
- Phase der Parameterkonfiguration::
- Änderungen
./model/LMConfig.pyden Nagel auf den Kopf treffenn_layersund andere Parameter - anpassen
batch_sizeVermeiden Sie einen Überlauf des Videospeichers (3090 empfohlen ≤ 8)
- Änderungen
- Phase der Modellschulung::
- vollziehen
python train_lora.pyEinleitung der Habilitation vor Ort - erhöhen.
--use_wandbParameter Überwachung Verlustkurve
- vollziehen
- Anwendungsphase der Bereitstellung::
- ausnutzen
serve_openai_api.pyNeue Dienste - passieren (eine Rechnung oder Inspektion etc.)
curlBefehlstest Medizinische Q&A-Schnittstelle
- ausnutzen
Hinweis: Ein grundlegendes Vortraining (2-3 Runden) vor der LoRA-Feinabstimmung wird für ein professionelles Feldtraining empfohlen.
Diese Antwort stammt aus dem ArtikelMiniMind: 2 Stunden Training von Grund auf 26M Parameter GPT Open Source ToolDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie ist der genaue Ablauf bei der Verwendung von MiniMind für ein maßgeschneidertes Training (z.B. medizinische Quizze)?
