ベンチマーク・パフォーマンス
標準化されたSimpleQA評価システムにおいて、Jan-nanoは中国語ドメインで87.3%の精度を達成し、同じパラメータクラスのモデルを15ポイント上回りました。また、特別に強化されたエンティティ認識能力により、医学や法律などの専門的な領域における複雑な質問を扱った場合、91.2%のF1値を達成しました。このモデルが採用した非考察チャットテンプレートは、17%の冗長な出力を効果的に削減し、回答をより直接的で効果的なものにします。
実用化テストによれば、「契約法52条と民法153条の適用関係を説明せよ」といった専門的な質問に対して、Jan-nanoは自動的に法文データベースを参照し、司法解釈や典型的な事例を含めた詳細な分析を、現役の弁護士（82%）と遜色ない精度で行うことができる。このため、Jan-nanoは、法律技術や医療コンサルティングなどの専門分野において、強力なアシスタントとなります。
この答えは記事から得たものである。Jan-nano：軽量で効率的なテキスト生成モデルについて
無断転載を禁じます：AI生産性ツール " Jan-nano、SimpleQAベンチマークで優れたQ&Aパフォーマンスを実証
