Três soluções eficazes para modelar as restrições de recursos de treinamento
O Qlib oferece soluções flexíveis para diferentes cenários com restrições de recursos:
- Seleção de modelos levesUso prioritário
LGBModele outros modelos baseados em árvores de decisão, com velocidade de treinamento 5 a 10 vezes mais rápida e consumo de memória 80% menor em comparação com os modelos de aprendizagem profunda.num_threadscontrola o número de núcleos de CPU usados. - Soluções de implantação na nuvemImplante o Qlib-Server no AWS ou no Azure para aproveitar os recursos de computação elástica do serviço de nuvem. imagens do docker.
microsoft/qlib-serverTodas as dependências foram pré-instaladas e estão prontas para o treinamento distribuído na inicialização. - Técnicas de treinamento incrementalPara necessidades de aprendizado contínuo, um
model.fitO modo de treinamento incremental, que carrega apenas os dados mais recentes a cada vez, evita o processamento repetido da quantidade total de dados.
Recomendação de otimização de recursos: use pequenas amostras de dados (por exemplo, os primeiros 100 estoques) para iterar rapidamente a lógica do algoritmo durante a fase de desenvolvimento local e, em seguida, mude para a quantidade total de dados durante o treinamento completo. Ao mesmo tempo, é razoável definirearly_stopping_roundsEvite cálculos inválidos.
Essa resposta foi extraída do artigoQlib: uma ferramenta de pesquisa de investimento quantitativo de IA desenvolvida pela MicrosoftO
