No teste de autoridade do LiveCodeBench v5 de agosto de 2024 a fevereiro de 2025, o DeepCoder-14B-Preview alcançou uma precisão revolucionária de 60,61 TP3T Pass@1. Essa pontuação representa:
- Aprimoramento do 8% em comparação com o modelo básico
- Próximo aos modelos comerciais, como o OpenAI o3-mini
- Top 3 em modelagem de código aberto
O teste abrange dimensões de avaliação que incluem:
- Correção de soluções para problemas algorítmicos (por exemplo, programação dinâmica, teoria dos gráficos)
- Conformidade com a especificação do código (padrões como o PEP8)
- Capacidade de processamento de condições de contorno
- Cobertura de cenários de exceção
Essa conquista demonstra que o modelo tem aplicações práticas de engenharia e é particularmente adequado às necessidades de competições de programação e cenários de ensino.
Essa resposta foi extraída do artigoDeepCoder-14B-Preview: um modelo de código aberto que se destaca na geração de códigoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " DeepCoder-14B-Preview demonstra precisão de 60,6% nos testes do LiveCodeBench v5
