As seguintes soluções podem ser implementadas para o gerenciamento de memória de contextos ultralongos de 512K:
- Otimização da camada de hardwareConfigure pelo menos 4 GPUs NVIDIA H100-80G por meio do
tensor-parallel-size=4Permite o carregamento distribuído da memória gráfica. Recomenda-se ativar a função de descarregamento da CPU para cenários de placa única. - tecnologia de compressão de memóriaAdicionar o seguinte à chamada dos transformadores
max_memoryaloca o limite superior de memória para cada dispositivo, em conjunto com o parâmetrodevice_map="balanced"Balanceamento automático de carga. - estratégia de fragmentaçãoPara documentos no nível de 1.600 páginas, o modelo é usado para gerar resumos segmentados (1 segmento por 20 páginas) e, em seguida, são realizadas análises globais com base nos resumos, e o consumo de memória pode ser reduzido em 70%.
- mecanismo de monitoramento e proteção: Pré-implantação com
nvidia-smi -l 1Monitoramento em tempo real da memória de vídeo, configuraçãomax_split_size_mb=512Evitar a fragmentação da memória.
Quando um erro OOM é encontrado, é dada prioridade à tentativa de reduzir othinking_budgetou mudar para o valor8-bitVersão quantificada (requer a instalação adicional da biblioteca bitsandbytes).
Essa resposta foi extraída do artigoSeed-OSS: Modelo de linguagem grande de código aberto para raciocínio de contexto longo e aplicativos versáteisO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como superar o problema de estouro de memória no processamento de textos muito longos?
