O GraphGen usaErro de calibração esperado(Expected Calibration Error, ou ECE) como o índice técnico principal para quantificar a tendência cognitiva do modelo. O processo de implementação específico é dividido em três etapas:
- Análise de confiança preditivaComo o modelo processa os nós no gráfico de conhecimento, o sistema registra a confiança das respostas do modelo às perguntas relevantes
- Verificação da precisãoCompare as previsões do modelo com os fatos padrão no gráfico de conhecimento e calcule a taxa de precisão real
- Quantificação de errosGrau de viés: O grau de viés é calculado pela fórmula ECE (média ponderada de |confiança-precisão|), geralmente com um limite padrão de 0,1.
A vantagem tecnológica se reflete em:marcação dinâmicaO sistema sinaliza em tempo real os pontos de conhecimento com valores de ECE acima do limite;priorizaçãoImplementar ponderação para pontos de conhecimento de erro de alta frequência;configurávelPermite que os pesquisadores ajustem a sensibilidade do limite por meio de arquivos YAML. Essa abordagem de diagnóstico com base quantitativa melhora a eficiência da anotação manual tradicional em cerca de 801 TP3T.
Essa resposta foi extraída do artigoGraphGen: ajuste fino de modelos de linguagem usando gráficos de conhecimento para gerar dados sintéticosO
