Desempenho de referência
No sistema de avaliação padronizado SimpleQA, o Jan-nano obtém um desempenho de precisão de 87,3% no domínio chinês, superando os modelos da mesma classe de parâmetros em 15 pontos percentuais. Seu recurso de reconhecimento de entidades especialmente reforçado atinge um valor de F1 de 91,2% ao lidar com perguntas complexas em domínios especializados, como medicina, direito etc. O modelo de bate-papo sem pensar adotado pelo modelo reduz efetivamente a saída redundante de 17%, tornando as respostas mais diretas e eficazes.
Testes de aplicação prática mostram que, diante de perguntas profissionais como "Explicando a relação entre a aplicação do artigo 52 da Lei de Contratos e o artigo 153 do Código Civil", o Jan-nano pode consultar automaticamente o banco de dados de textos jurídicos e gerar análises detalhadas que incluem interpretações judiciais e casos típicos, com um nível de precisão tão alto quanto o de um advogado em exercício (82%). Isso torna o Jan-nano um assistente poderoso em áreas profissionais como tecnologia jurídica e consultoria médica.
Essa resposta foi extraída do artigoJan-nano: um modelo leve e eficiente para geração de textoO
