Este projeto adota um esquema de pesquisa híbrido que combina a pesquisa de palavras-chave BM25 e a pesquisa de similaridade vetorial FAISS, o que apresenta vantagens significativas em relação a um único método de pesquisa: o algoritmo BM25 é responsável por processar a correspondência precisa de termos e capturar efetivamente as principais palavras-chave na consulta do usuário, enquanto o FAISS compreende a relevância semântica por meio da pesquisa vetorial densa, e ambos trabalham em conjunto para atingir uma taxa de recuperação de mais de 92%. Os dois trabalham juntos para atingir uma taxa de recuperação de mais de 92%. A técnica de reordenação neural implementada pelo codificador cruzado também é introduzida no processo de recuperação para otimizar a pontuação de relevância dos resultados iniciais de recuperação, garantindo que a precisão dos primeiros 5 resultados seja aumentada em 40%.
O sistema integra de forma inovadora a tecnologia de expansão de consultas HyDE (Hypothetical Document Embedding) para reconstruir vetores de consultas por meio da geração de respostas hipotéticas, resolvendo de forma eficaz o problema de incompatibilidade de terminologia, o que demonstrou melhorar a precisão média em 35% para consultas complexas de documentos profissionais. As medições mostram que essa tecnologia pode melhorar a precisão média em 35% para consultas complexas de documentos profissionais, e todos os componentes de recuperação são acelerados por GPU e otimizados para resposta em milissegundos em dispositivos com 16 GB de RAM.
Essa resposta foi extraída do artigoDeepSeek-RAG-Chatbot: um chatbot do DeepSeek RAG em execução localO
