Ao otimizar o sistema RAG com base nos resultados da avaliação Ragas, podem ser adotadas as seguintes estratégias direcionadas:
- Baixo índice de fidelidade
- Verificar o mecanismo de pesquisa: garantir que informações relevantes e abrangentes sejam retornadas
- Ajustando o prompt do gerador: enfatizando respostas baseadas no contexto
- Aumento dos mecanismos de verificação de fatos
- Baixa pontuação de relevância da resposta
- Otimização do módulo de compreensão de consultas
- Aprimoramento dos recursos de foco em problemas do gerador
- Considere adicionar etapas de pós-processamento de resposta
- Baixa pontuação de relevância de contexto
- Ajuste da estratégia de extensão da consulta de recuperação
- Otimização da seleção de modelos vetorizados
- Mecanismos de triagem aprimorados para resultados de recall
As práticas recomendadas incluem:
- acumularReferências de avaliaçãoAcompanhamento das mudanças nos indicadores-chave
- adoçãoOtimização iterativaAjuste de um componente de cada vez
- ir em frenteexperimento de controleComparação do desempenho do indicador antes e depois da otimização
- com foco emBalanço de indicadoresEvite a otimização excessiva de indicadores individuais
Por meio desses métodos, os desenvolvedores podem melhorar sistematicamente o desempenho geral dos sistemas RAG.
Essa resposta foi extraída do artigoRagas: avaliando a precisão do RAG recall QA e a correlação de respostasO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como os resultados da avaliação da Ragas podem ser usados para otimizar o sistema RAG em projetos reais?
