Aplicabilidade da pesquisa e desafios de produção
Embora o KBLaM tenha tido um bom desempenho em experimentos acadêmicos, é oficial e explicitamente informado que sua fase atual é adequada para uso em pesquisa. As principais limitações incluem: a qualidade da incorporação do conhecimento depende da estrutura dos dados de origem, e as entradas de conhecimento não normalizadas podem levar a um viés de resposta (os testes mostram que os dados ruidosos diminuem a precisão em 40%); são necessárias GPUs de última geração com mais de 80 GB de memória de vídeo para processar bases de conhecimento muito grandes; e o sistema não tem um mecanismo sofisticado de calibração de confiança, que pode produzir perguntas com excesso de confiança além do escopo da base de conhecimento. respostas a perguntas além do escopo da base de conhecimento. Essas características o tornam mais adequado para ambientes de pesquisa controlados, como a equipe da Microsoft que o utilizou para explorar a eficácia da combinação de gráficos de conhecimento médico com LLM.
Essa resposta foi extraída do artigoKBLaM: uma ferramenta aprimorada de código aberto para incorporar conhecimento externo em modelos grandesO