Estratégias de otimização em ambientes com recursos limitados
O processamento hierárquico e os programas de combinação de tecnologia estão disponíveis para lidar com as limitações de hardware:
- Tecnologia de fragmentação::
1. usar--config "small"Os parâmetros geram primeiro o subgráfico
2. adoção--chunk_size 5000Controla o número de nós processados em uma única passagem
3. usarmerge_graphs.pyScript Post Splicing - Otimização de recursos::
- ativar--low_memoryModo (a ser modificado)main.py(linha 47)
- devepython main.pymudar parapython -O main.pyHabilitando a compilação otimizada
- Limitando o uso de memória no Docker--memory=8g
Alternativas:
1. implantação na nuvem: configure o ambiente no Google Colab para aproveitar as vantagens das GPUs T4 gratuitas
2) Rebaixamento do modelo: mudar paragpt-3.5-turboAlternativa para um modelo maior
3. geração atrasada: configurações--interval 0.5Reduzir a frequência das solicitações
Principais ajustes de configuração:
- modificarrequirements.txtusado da mesma forma que na medicina tradicional chinesapython-igraphsubstituto denetworkx
- emstart_launchers.pyDiminuição denum_workersquantidades
- Desative os processos visuais intermediários para economizar memória
Essa resposta foi extraída do artigoGAG: Geração de um gráfico de relacionamento social usando um modelo grande para simular o comportamento humanoO
