O mecanismo proprietário de reversão contínua desenvolvido pelo projeto MiMo revoluciona o processo de treinamento de RLHF. O mecanismo integra três tecnologias principais: reversão contínua, cálculo assíncrono de recompensa e encerramento antecipado, e melhora a velocidade típica de treinamento de aprendizagem por reforço em 2,29 vezes e a velocidade de verificação em 1,96 vezes por meio do gerenciamento inteligente dos recursos de computação da GPU. De acordo com o princípio técnico, o sistema ajusta automaticamente os nós de reversão ao monitorar o status do treinamento em tempo real, reduzindo significativamente o tempo de espera ocioso da GPU.
Em um conjunto de treinamento de 130.000 problemas de matemática e programação, a técnica permitiu que o ciclo de treinamento da versão RL fosse reduzido de 7 dias para 3 dias com métodos tradicionais, mantendo a qualidade consistente do modelo. Embora o recurso seja transparente para o usuário final, os benefícios que ele proporciona são refletidos diretamente no desempenho final do modelo, especialmente na estabilidade do desempenho ao lidar com derivações matemáticas complexas.
Essa resposta foi extraída do artigoMiMo: um pequeno modelo de código aberto para raciocínio matemático eficiente e geração de códigoO
