A Rowfill adota uma estratégia de implantação de LLM localizada em seu projeto arquitetônico, que forma a defesa central de seu sistema de segurança de dados. A plataforma é compatível com Llama2, Mistral e outros LLMs de código aberto comuns executados em um ambiente privado, garantindo que os dados confidenciais não saiam da intranet corporativa. A implementação técnica criou um mecanismo de proteção triplo: o primeiro é o isolamento da rede, por meio do contêiner do Docker, para obter o ambiente de processamento de dados em sandbox; o segundo é a criptografia de memória, os dados temporários no processo de inferência do modelo são criptografados usando o AES-256; o terceiro é o controle de acesso, a integração do LDAP/ActiveDirectory para obter um gerenciamento de permissões com granularidade fina.
Em comparação com as soluções tradicionais que dependem de APIs de nuvem, o processamento localizado do Rowfill tem três vantagens significativas: a latência de processamento é reduzida em 80%, de uma média de 800ms para menos de 150ms; o risco de vazamento de dados de terceiros é completamente evitado; e o ajuste fino contínuo da base de conhecimento da empresa é suportado para treinamento. Os dados de teste de uma instituição financeira mostram que, ao processar relatórios de crédito de clientes, o modelo local mantém o tempo de resposta abaixo de 200 ms e, ao mesmo tempo, mantém a precisão de reconhecimento de 95%.
A plataforma também desenvolveu de forma inovadora um fluxo de trabalho de dessensibilização de dados que pode identificar e mascarar automaticamente 18 tipos de informações confidenciais, incluindo números de carteiras de identidade e números de cartões bancários, no estágio de extração. Esse mecanismo foi aprovado na certificação ISO27001 e é particularmente adequado para uso em setores altamente regulamentados, como saúde e finanças.
Essa resposta foi extraída do artigoRowfill: extração em lote de informações estruturadas de documentos e análise automatizadaO
