Metodologia de implementação de modelo de código aberto
A Privatemode resolve de forma criativa os desafios de privacidade da implantação de grandes modelos de código aberto em ambientes corporativos. Sua solução tecnológica abrange três dimensões principais:
- Aceleração quantitativa do modeloFornece versões quantificadas de modelos como o AWQ-INT4, que pode executar até 70 bilhões de modelos paramétricos em um dispositivo de 4 GB de RAM.
- Estrutura de ajuste fino de segurançaAs empresas podem usar dados criptografados para ajustar modelos para privacidade diferencial, com perda de precisão controlada dentro de 3%
- Serviços de prova de modelosVerificar o valor de hash do modelo em execução por meio de métodos criptográficos para garantir que ele não tenha sido adulterado
Na prática, o modelo Meta-Llama-3-70B tem um bom desempenho em ambientes criptografados: 1) Qualidade de geração de texto em inglês de até 921 TP3T para GPT-4 2) Velocidade de conclusão de código de até 401 TP3T mais rápida do que o serviço em nuvem 3) Suporte a memórias contextuais de até 32 mil tokens. O relatório de avaliação do Credit Suisse mostra que a solução pode economizar US$ 2,3 milhões por ano em chamadas de API comerciais.
Essa resposta foi extraída do artigoPrivatemode: um aplicativo de bate-papo com IA que oferece criptografia de ponta a ponta para proteger a privacidade dos dados corporativosO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch