O indicador Ragas context_recall adota o método de análise de atribuição, que exige que os desenvolvedores preparem antecipadamente respostas padrão anotadas (verdade fundamental). Durante a avaliação, o sistema compara a resposta padrão, frase por frase, com o contexto da recuperação, classifica-a como [Atribuída] ou [Não atribuída] e, por fim, considera a taxa de atribuição como a pontuação. Por exemplo, no caso de Einstein, as informações de nascimento e o Prêmio Nobel foram atribuídos corretamente, enquanto o número de artigos e as informações de mudança foram rotulados como Não atribuídos.
Essa abordagem requer custos de rotulagem manual, mas avalia com precisão a capacidade de cobertura de informações do sistema de recuperação. Seu valor exclusivo está na capacidade de identificar conteúdo gerado "correto, mas sem fonte", o que é particularmente importante para cenários rigorosos, como o acadêmico e o médico. Em termos de implementação, a métrica se baseia nos recursos de compreensão semântica refinada do LLM, e o processo de avaliação inclui instruções detalhadas de raciocínio de atribuição.
Usada pelos desenvolvedores para garantir a qualidade da anotação, essa métrica é particularmente adequada para avaliar os sistemas RAG em campos especializados, nos quais é necessária uma alta recuperação, e é o padrão ouro para validar a abrangência das pesquisas.
Essa resposta foi extraída do artigoRagas: avaliando a precisão do RAG recall QA e a correlação de respostasO
