Drei effektive Lösungen für die Modellierung von Ressourcenbeschränkungen bei der Ausbildung
Qlib bietet flexible Lösungen für verschiedene Szenarien mit eingeschränkten Ressourcen:
- Auswahl leichter Modelle: Vorrangige Verwendung
LGBModelund andere auf Entscheidungsbäumen basierende Modelle mit einer 5-10 mal schnelleren Trainingsgeschwindigkeit und einem 80% geringeren Speicherverbrauch im Vergleich zu Deep-Learning-Modellen. kann über dienum_threadsParameter steuert die Anzahl der verwendeten CPU-Kerne. - Lösungen für die Cloud-BereitstellungQlib-Server auf AWS oder Azure bereitstellen, um die elastischen Rechenressourcen der Cloud-Dienste zu nutzen. docker images.
microsoft/qlib-serverAlle Abhängigkeiten sind vorinstalliert und stehen beim Start für verteilte Schulungen bereit. - Inkrementelle AusbildungstechnikenFür den Bedarf an kontinuierlichem Lernen, ein
model.fitDer inkrementelle Trainingsmodus, bei dem jedes Mal nur die neuesten Daten geladen werden, vermeidet die wiederholte Verarbeitung der gesamten Datenmenge. Die Klasse DatasetH von Qlib unterstützt natürlich diese Trainingsmethode.
Empfehlung zur Ressourcenoptimierung: Verwenden Sie kleine Stichprobendaten (z. B. die ersten 100 Aktien), um die Algorithmuslogik während der lokalen Entwicklungsphase schnell zu iterieren, und wechseln Sie dann während des vollständigen Trainings zur vollen Datenmenge. Zugleich ist es sinnvoll, dieearly_stopping_roundsVermeiden Sie ungültige Berechnungen.
Diese Antwort stammt aus dem ArtikelQlib: ein von Microsoft entwickeltes KI-Tool für quantitative InvestitionsforschungDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lassen sich Einschränkungen bei den Rechenressourcen für das Training von Modellen des maschinellen Lernens in der quantitativen Forschung überwinden?
