2024年8月から2025年2月までのLiveCodeBench v5 Authority Testにおいて、DeepCoder-14B-Previewは画期的な60.61 TP3T Pass@1精度を達成しました。このスコアは以下を表しています:
- 8%のベース車からの改良点
- OpenAI o3-miniのような商用モデルに近い。
- オープンソースのモデリングにおけるトップ3
このテストは、以下のような評価項目をカバーしている:
- アルゴリズム問題(動的計画法、グラフ理論など)の解の正しさ
- コード仕様準拠(PEP8などの規格)
- 境界条件処理機能
- 例外シナリオの適用範囲
この成果は、このモデルが実用的な工学的応用が可能であり、プログラミング競技や教育シナリオのニーズに特に適していることを示している。
この答えは記事から得たものである。DeepCoder-14B-Preview:コード生成に優れたオープンソースモデルについて































