Im LiveCodeBench v5 Authority Test von August 2024 bis Februar 2025 erreichte DeepCoder-14B-Preview eine bahnbrechende 60,61 TP3T Pass@1 Genauigkeit. Diese Punktzahl repräsentiert:
- Verbesserung des 8% gegenüber dem Basismodell
- Ähnlich wie kommerzielle Modelle wie OpenAI o3-mini
- Top 3 in der Open-Source-Modellierung
Der Test umfasst verschiedene Bewertungsdimensionen:
- Korrektheit von Lösungen für algorithmische Probleme (z. B. dynamische Programmierung, Graphentheorie)
- Einhaltung von Code-Spezifikationen (Standards wie PEP8)
- Fähigkeit zur Verarbeitung von Randbedingungen
- Ausnahmeszenario Deckung
Diese Leistung zeigt, dass das Modell praktische technische Anwendungen hat und besonders für die Bedürfnisse von Programmierwettbewerben und Lehrszenarien geeignet ist.
Diese Antwort stammt aus dem ArtikelDeepCoder-14B-Preview: ein Open-Source-Modell, das sich bei der Codegenerierung auszeichnetDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " DeepCoder-14B-Preview zeigt eine Pass@1-Genauigkeit von 60,6% in LiveCodeBench v5-Tests
