Três maneiras de lidar com os altos custos de cálculo
Enquanto os métodos tradicionais de aprendizagem contextual sofrem um aumento em escala quadrada no custo computacional ao lidar com o conhecimento externo, o KBLaM alcança um crescimento linear por meio do seguinte mecanismo inovador:
- Técnica de conversão de vetor chave-valorBase de conhecimento: converte a base de conhecimento em pares de valores-chave, armazenando os vetores de conhecimento apenas uma vez em vez de contá-los duas vezes.
- Mecanismo de atenção retangularSomente as regiões relevantes do vetor são ativadas durante a consulta de conhecimento por meio de uma estrutura aprimorada da camada de atenção
- Programa de ajuste fino do adaptadorApenas adaptadores leves que representam apenas 0,11 parâmetros TP3T do modelo original precisam ser treinados.
Isso pode ser otimizado em três etapas: 1) Use ogenerate_kb_embeddings.pyvetores de conhecimento pré-computados do script; 2) selecionar osall-MiniLM-L6-v2e outros modelos de incorporação leves; 3) o uso de um modelo de codificação incremental ao atualizar o conhecimento (consulte odelta_update(Parâmetros). Os dados experimentais mostram que o KBLaM economiza 83% de recursos computacionais em relação aos métodos tradicionais ao processar 1 milhão de conhecimentos.
Essa resposta foi extraída do artigoKBLaM: uma ferramenta aprimorada de código aberto para incorporar conhecimento externo em modelos grandesO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch