WeKnora: a base de conhecimento de perguntas e respostas de nível empresarial pronta para uso da Tencent

O WeKnora é uma estrutura de Q&A de compreensão e recuperação de documentos de nível empresarial com código aberto da Tencent. O núcleo do WeKnora é a tecnologia de recuperação de geração aumentada (RAG), que será recuperada dos trechos de contexto do documento e da combinação de grandes modelos de linguagem, a fim de gerar respostas mais precisas e mais próximas dos fatos. Toda a estrutura adota um design modular que desacopla a análise de documentos, a recuperação de conteúdo e a inferência de modelos para formar um processo completo e eficiente de perguntas e respostas sobre documentos. Os usuários podem não apenas realizar o gerenciamento de documentos e as perguntas e respostas inteligentes por meio de uma interface da Web intuitiva, mas também por meio da interface de API para desenvolvimento e integração secundários. Essa estrutura oferece suporte à implementação privada, o que pode garantir a segurança e o controle dos dados corporativos.

Lista de funções

• Análise multimodal de documentosAnálise de PDF, Word, imagens e outros documentos com conteúdo de texto misto, extração de texto, tabelas e semântica de imagens.
• Linha de montagem modular RAGEle suporta a montagem gratuita de estratégias de pesquisa, modelos de linguagem grandes e bancos de dados vetoriais, e pode se integrar perfeitamente a plataformas como a Ollama e alternar com flexibilidade entre os principais modelos, como o Qwen e o DeepSeek.
• Teste de raciocínio inteligenteCompreensão da intenção do usuário e do contexto do documento usando grandes modelos de linguagem, com suporte a perguntas e respostas precisas e diálogo em várias etapas.
• Estratégia de pesquisa flexívelPesquisa de palavras-chave: uma combinação de estratégias como pesquisa de palavras-chave, pesquisa de vetores e pesquisa de gráficos de conhecimento é usada e combinações livres são suportadas para aumentar a precisão dos resultados de recuperação.
• Experiência pronta para usoOferece scripts de inicialização com um clique e uma interface Web UI intuitiva que permite que usuários não técnicos concluam rapidamente implementações e aplicativos.
• Implementação segura e controladaEle oferece suporte à implantação de nuvem privada e localizada e tem um sistema de registro de monitoramento integrado para obter total observabilidade do link, de modo que os dados do usuário estejam totalmente sob seu controle.
• construção de gráficos de conhecimentoCapacidade de transformar o conteúdo de um documento em um gráfico de conhecimento que demonstra visualmente as conexões entre as informações, auxiliando a compreensão do usuário e a recuperação aprofundada.
• Suporte avançado a modelosCompatível com uma ampla variedade de modelos de incorporação (por exemplo, BGE/GTE), bancos de dados vetoriais (por exemplo, PostgreSQL, Elasticsearch) e modelos de linguagem grandes e convencionais.

Usando a Ajuda

O WeKnora oferece um conjunto completo de ferramentas, por meio do Docker, para realizar a implantação e a inicialização com um clique, os usuários podem executar todo o sistema no ambiente local sem configurações complexas, para obter o ambiente de produção pronto para uso.

Requisitos ambientais

Antes de iniciar a instalação, certifique-se de ter as três ferramentas básicas a seguir instaladas em seu computador:

• DockerUsado para gerenciar e executar contêineres de aplicativos.
• Docker ComposeUsado para definir e executar aplicativos Docker com vários contêineres.
• GitPara clonar repositórios de código do GitHub.

Processo de instalação e inicialização

1. Repositório de código clone
   Primeiro, abra um terminal (ferramenta de linha de comando) e use o comandogitpara clonar a base de código oficial do WeKnora em seu computador local.

   git clone https://github.com/Tencent/WeKnora.git
   

2. Vá para o diretório do projeto
   Quando a clonagem estiver concluída, vá para a pasta onde o projeto está localizado.

   cd WeKnora
   

3. Configuração de variáveis de ambiente
   O WeKnora tornou isso possível por meio de um.envpara gerenciar todas as variáveis de ambiente do projeto. Você pode criar seu próprio arquivo de configuração copiando o arquivo de exemplo fornecido com o projeto.

   cp .env.example .env
   ```    复制后，你可以用文本编辑器打开`.env`文件，根据文件内的注释说明，填入你自己的配置信息。对于初次使用者，可以暂时跳过此步骤，直接启动服务，后续通过Web界面进行配置。
   

4. Serviço de início com um clique
   O projeto fornece um prático script de inicialização para iniciar todos os serviços necessários de uma só vez, incluindo o Ollama (para gerenciar grandes modelos locais) e os serviços de back-end do WeKnora.

   ./scripts/start_all.sh
   

   Você também pode usar omakepara obter o mesmo efeito:

   make start-all
   

   Quando o terminal mostrar que o serviço foi iniciado com êxito, você poderá começar a usá-lo.

5. Acesso à interface da Web
   Após uma inicialização bem-sucedida, acesse o seguinte endereço em seu navegador:
   • Interface principal da Web: http://localhost
   • Documentação da API de back-end: http://localhost:8080
   • Sistema de rastreamento de links (Jaeger): http://localhost:16686 (usado por desenvolvedores para observar chamadas internas do sistema)

Configuração do modelo de inicialização

Se for sua primeira vez, visitehttp://localhostQuando você fizer isso, o sistema saltará automaticamente para a página de configuração de inicialização. Essa página pode ajudá-lo a concluir a configuração dos principais componentes, como modelos de linguagem grandes e modelos incorporados, por meio de uma interface gráfica, reduzindo a complexidade da modificação manual dos arquivos de configuração. Siga as instruções da página para preencher o endereço correto da API do modelo, a chave e outras informações e, em seguida, o sistema salvará automaticamente e saltará para a página inicial da base de conhecimento após a conclusão.

Função Fluxo de operação

1. Carregar arquivo de conhecimento
   Na página Knowledge Base Management da interface da Web, você pode carregar seus documentos (por exemplo, manuais de produtos, regulamentos da empresa, relatórios de pesquisa etc.) no sistema arrastando e soltando os arquivos diretamente ou clicando no botão de upload. O sistema começará automaticamente a analisar o documento, extraindo o conteúdo e criando um índice vetorial para ele, e o progresso e o status do processamento serão claramente exibidos na interface.
2. Condução de sessões inteligentes de perguntas e respostas
   Depois que o documento tiver sido processado, você poderá acessar a tela de perguntas e respostas. Faça suas perguntas na caixa de entrada, como, por exemplo, "Qual é o processo de reembolso da empresa?" ou "Como esse produto lida com falhas?" . Com base em sua pergunta, o sistema executa uma pesquisa semântica na base de conhecimento carregada para encontrar o fragmento de documento mais relevante e, em seguida, gera uma resposta suave e precisa usando um grande modelo de linguagem. A resposta será acompanhada de uma citação, facilitando o rastreamento das informações até a fonte.
3. Usando o Knowledge Graph
   Para documentos com uma estrutura complexa, você pode ativar o recurso Knowledge Graph. O sistema analisará as relações entre diferentes parágrafos e entidades dentro do documento e as exibirá visualmente na forma de um gráfico. Isso não apenas ajuda a entender a lógica interna do documento mais profundamente, mas também fornece ao sistema uma base mais estruturada para recuperação e melhora a relevância das perguntas e respostas.
4. Descontinuação de serviços
   Quando terminar, você poderá executar o seguinte script para interromper todos os serviços:

   ./scripts/start_all.sh --stop
   

   Ou usemakeComando:

   make stop-all
   

cenário do aplicativo

1. Gestão do conhecimento empresarial
   Integrar documentos de conhecimento dispersos na empresa, como documentos internos, regras e regulamentos, manuais de operação etc., e criar um portal inteligente de perguntas e respostas. Isso pode aumentar a eficiência dos funcionários para encontrar informações e reduzir o custo do treinamento interno.
2. Análise da literatura científica
   Os pesquisadores podem usá-lo para examinar rapidamente e entender a grande quantidade de literatura acadêmica, relatórios de pesquisa e materiais acadêmicos. Isso acelera a pesquisa preliminar da literatura e ajuda nas decisões de pesquisa.
3. Suporte técnico de produtos
   Um serviço de atendimento ao cliente inteligente on-line 24 horas pode ser criado inserindo os manuais técnicos do produto e as perguntas frequentes no sistema. Ele pode responder rapidamente às perguntas dos usuários sobre os recursos do produto, solução de problemas, etc., e melhorar a qualidade do atendimento ao cliente.
4. Análise de conformidade legal
   No campo jurídico, ele pode ajudar os advogados ou a equipe jurídica a localizar rapidamente informações importantes em um grande número de termos contratuais, regulamentos, políticas e casos, além de aumentar a eficiência da análise de conformidade.
5. Análise de pesquisa de investimentos financeiros
   Os analistas financeiros podem usá-lo para processar um grande número de relatórios de lucros de empresas, relatórios de pesquisa do setor e anúncios de mercado, extraindo rapidamente dados e opiniões importantes para auxiliar nas decisões de investimento.

QA

1. Quais tipos de modelos de linguagem grandes são compatíveis com o WeKnora?
   O WeKnora oferece suporte a uma variedade de modelos de linguagem grandes e convencionais, como o Qwen (Tongyi Thousand Questions) e o DeepSeek. Ele gerencia modelos por meio de plataformas como a Ollama, e os usuários também podem acessar serviços de API externos, o que é altamente flexível e pode ser alternado em arquivos de configuração ou em interfaces da Web inicializadas.
2. Há alguma taxa para implantar o WeKnora?
   O projeto WeKnora em si é de código aberto com base na licença MIT, e você é livre para usá-lo, modificá-lo e distribuí-lo, mesmo para fins comerciais. No entanto, se você usar um serviço de API de modelo de linguagem grande de terceiros que exija pagamento em sua configuração, o provedor do modelo correspondente cobrará uma taxa.
3. Pessoas não técnicas podem usar essa estrutura?
   O WeKnora oferece uma interface da Web "pronta para uso" e um script de inicialização com um clique, que permite aos usuários fazer upload de conhecimento e realizar testes arrastando e soltando arquivos, clicando em botões etc., sem escrever código e com um baixo limite de uso.
4. Os dados do documento carregado estão seguros?
   Muito seguro. O weKnora oferece suporte à implantação em nuvem privada e localizada, o que significa que todo o sistema de Q&A pode ser executado inteiramente em seu próprio servidor ou computador local. Todos os documentos e dados carregados estão sob o seu controle e não serão carregados em nenhum servidor externo, garantindo a segurança dos dados em cenários altamente confidenciais.