Requisitos ambientais básicos
- sistema operacional: Linux/Windows (recomenda-se o Ubuntu 20.04+)
- dependência de softwarePython 3.8+, Git, PyTorch 2.0+, Transformers Library
- acesso à contaConta HuggingFace (para fazer download de modelos como o Llama)
Guia de instalação passo a passo
- Armazém de Clonagem:
git clone https://github.com/microsoft/KBLaM.git - Instale as dependências principais:
pip install -e . - Configure as permissões do modelo:
huggingface-cli login(token necessário) - Verificar a instalação: Executar
python -m kblam.test
Recomendações de configuração de hardware
Testes em pequena escalaA RTX 3090 (24 GB de memória de vídeo) pode lidar com bases de conhecimento de 100 MB;Implementação da produçãoO A100 80GB é recomendado para lidar com milhões de entradas de conhecimento. O tempo de resposta pode ser de 5 a 8 vezes maior se apenas a computação da CPU for usada.
Essa resposta foi extraída do artigoKBLaM: uma ferramenta aprimorada de código aberto para incorporar conhecimento externo em modelos grandesO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como instalar e configurar o ambiente KBLaM? Qual é o suporte de hardware necessário?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch