Análise comparativa de algoritmos
| caracterização | PPO | ORPO |
|---|---|---|
| Tipo de algoritmo | aprendizado por reforço clássico (física) | Nova otimização de preferências |
| Componente de requisitos | Requer modelagem de recompensa independente (RM) | Uso direto de dados de preferência |
| complexidade do treinamento | Superior (treinamento em dois estágios) | Inferior (treinamento de ponta a ponta) |
| aplicação típica | Cenas que exigem controle preciso dos efeitos de alinhamento | Realização rápida dos requisitos básicos de alinhamento |
Orientação para seleção
- Recomendado quando há um modelo de recompensa de alta qualidade disponível e se busca o melhor alinhamento.PPO
- Recomendado quando se deseja simplificar o processo para obter rapidamente o alinhamento de preferências de modeloORPO
- Ambos podem ser usados para melhorar a segurança do modelo e a consistência do diálogo
Essa resposta foi extraída do artigoQwen3-FineTuning-Playground: uma base de código pronta para uso para o ajuste fino dos grandes modelos do Qwen3.O
