OneAIFW: um firewall leve de código aberto para proteger a privacidade de grandes modelos de dados

O OneAIFW (aifw) é uma ferramenta de código aberto desenvolvida pela Funstory.ai que tem como objetivo abordar problemas de privacidade de dados em modelos de linguagem grande (LLMs). Nos aplicativos LLM atuais, os usuários geralmente precisam enviar texto contendo informações de identificação pessoal (PII) ou segredos comerciais para modelos em nuvem (por exemplo, ChatGPT, Claude etc.) para processamento, o que representa um risco significativo de vazamento de privacidade. oneAIFW resolve o problema aderindo ao "princípio da primazia": Os dados devem estar seguros antes de deixarem o ambiente controlado pelo usuário. Ele atua como um "firewall" de camada intermediária, bloqueando solicitações ao LLM localmente (ou em servidores controlados).

O mecanismo de funcionamento central da ferramenta é muito intuitivo:"Mask" (Máscara) e "Restore" (Restaurar).. Antes de a solicitação ser enviada para o LLM externo, o OneAIFW identifica e substitui automaticamente as informações confidenciais no texto (por exemplo, nome, número de telefone, endereço de e-mail etc.) por marcadores de posição anônimos; quando o LLM retorna o resultado, ele restaura com precisão os marcadores de posição para os dados originais. Esse processo é transparente para o provedor de serviços do LLM, que só pode ver os dados dessensibilizados, eliminando, assim, o vazamento de dados confidenciais da fonte. O oneAIFW usa Zig e Rust de alto desempenho para escrever o mecanismo principal e suporta WebAssembly (WASM), o que significa que ele pode ser executado com eficiência no lado do servidor, bem como diretamente off-line no navegador do usuário, alcançando uma verdadeira privacidade de confiança zero no lado final. Realizando uma verdadeira proteção de privacidade de confiança zero no lado final.

Lista de funções

• Pipeline de privacidade bidirecional: Fornecido mask(blindado) e restore(Restaurar) duas interfaces principais. Substituir entidades confidenciais por rótulos genéricos antes de enviar (por exemplo <PERSON>), que restaura o rótulo para seu conteúdo original após o recebimento.
• Reconhecimento altamente preciso de PIIReconhecimento de entidade nomeada (NER): Um mecanismo de reconhecimento híbrido integrado que combina uma expressão regular de alto desempenho (com base no Rust regex) e um modelo de reconhecimento de entidade nomeada (NER) para capturar com precisão informações confidenciais, como nomes de pessoas, lugares e informações de contato.
• Suporte a vários idiomas e a várias plataformas::
  • NúcleoA biblioteca principal é escrita em Zig e Rust, e é extremamente leve e de alto desempenho.
  • Ligações Python: Fornecido aifw-pyEle é compatível com o ecossistema de transformadores HuggingFace e é adequado para a integração de serviços de back-end.
  • Vinculação JavaScript/WASM: Fornecido aifw-jscombinado com o transformers.js, permite a execução do processo completo de dessensibilização diretamente no navegador, sem a necessidade de um servidor de back-end.
• Implementação flexívelSuporte para execução como um serviço HTTP autônomo (com base no FastAPI/Presidio), integrando-se ao código existente como uma biblioteca ou até mesmo funcionando como um plug-in de navegador.
• Configuração personalizadaSuporte à personalização de regras de bloqueio, listas de ignorados e o modelo de detecção subjacente usado por meio de arquivos de configuração YAML.
• processamento de rastreamento zeroTodo o processamento é feito na memória e nenhum dado do usuário é armazenado de forma persistente, garantindo a "gravação após a leitura".

Usando a Ajuda

O OneAIFW foi projetado para ser "leve" e "portátil". Para que você possa usar a ferramenta na produção ou no desenvolvimento local, a seguir há uma descrição detalhada do processo completo, desde a preparação do ambiente, a compilação e a instalação até as chamadas de código reais.

I. Preparação e instalação do ambiente

Como o núcleo do OneAIFW é escrito na linguagem Zig e integra componentes Rust, você precisará preparar a cadeia de ferramentas de compilação apropriada.

1. instalação da cadeia básica de ferramentas

Antes de começar, certifique-se de ter as seguintes ferramentas instaladas em seu sistema:

• Compilador Zig: a versão precisa ser 0.15.2Você pode fazer o download no site da Zig e adicioná-lo à variável de ambiente do sistema PATH. Você pode fazer o download no site da Zig e adicioná-lo à variável de ambiente do sistema PATH. Verifique o comando:zig version.
• Cadeia de ferramentas RustInstalação recomendada stable versão. Se você precisar compilar a versão WASM, também precisará adicionar um destino.
  • Instalar o Rust:curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  • Adicionar suporte a WASM:rustup target add wasm32-unknown-unknown
• Node.js e pnpm(Necessário apenas para desenvolvimento JS): Node.js 18+ e pnpm 9+.
• Python(Necessário apenas para desenvolvimento em Python): Python 3.10+.

2. obter o código-fonte e compilar as bibliotecas principais

Comece clonando o repositório do GitHub:

git clone https://github.com/funstory-ai/aifw.git
cd aifw

Use o Zig para criar as bibliotecas principais (produtos nativos e WASM):

# 在项目根目录下执行
zig build
# 如果需要运行单元测试以确保环境正常
zig build -Doptimize=Debug test

Essa etapa gera o aifw Bibliotecas estáticas e bibliotecas dinâmicas para chamadas de linguagem de alto nível.

II. uso em ambiente Python (integração de back-end)

Se você é um desenvolvedor Python e deseja integrar um firewall de privacidade no backend do seu aplicativo de IA, siga estas etapas.

1. instalação de dependências
Vá para o diretório Python bindings e instale as dependências:

cd libs/aifw-py
# 建议创建虚拟环境
python -m venv .venv
source .venv/bin/activate
pip install -e .

2. exemplos de chamadas de código principal
O código a seguir mostra como carregar um firewall e "dessensibilizar" e "restaurar" um texto que contém informações confidenciais.

from aifw import AIFirewall
# 初始化防火墙，加载默认配置
fw = AIFirewall()
# 模拟用户输入的敏感文本
user_prompt = "请帮我联系张三，他的电话是 13800138000，我们要讨论关于 ProjectX 的秘密。"
# 步骤1：屏蔽（Mask）
# firewall 会自动识别 PII 并替换，同时返回一个 session 对象用于后续还原
masked_text, session_id = fw.mask(user_prompt)
print(f"发送给LLM的文本: {masked_text}")
# 输出示例: "请帮我联系<PERSON_1>，他的电话是<PHONE_NUMBER_1>，我们要讨论关于<ORG_1>的秘密。"
# 注意：此时真实数据从未离开本地内存
# ... 模拟将 masked_text 发送给 LLM，并获取回复 ...
# 假设 LLM 回复了包含占位符的内容：
llm_response = "好的，我已经记下了<PERSON_1>的电话<PHONE_NUMBER_1>，关于<ORG_1>的事项会保密。"
# 步骤2：还原（Restore）
# 使用之前的 session_id 将占位符还原为真实信息
final_response = fw.restore(llm_response, session_id)
print(f"展示给用户的文本: {final_response}")
# 输出: "好的，我已经记下了张三的电话 13800138000，关于 ProjectX 的事项会保密。"

III. uso em ambiente JavaScript/navegador (integração de front-end)

O poder do OneAIFW é que ele pode ser executado diretamente no navegador e dessensibilizado sem enviar dados a nenhum servidor.

1. compilação do SDK JS

# 安装依赖
pnpm -w install
# 构建 JS 库（会自动处理 WASM 和 模型文件）
pnpm -w --filter @oneaifw/aifw-js build

2. exemplo de chamada de front-end
Em seu projeto da Web (por exemplo Reagir ou Vue), introduzindo o aifw-js.

import { AIFirewall } from '@oneaifw/aifw-js';
async function protectData() {
// 初始化防火墙（会自动加载 WASM 和 浏览器端的小型 NER 模型）
const firewall = await AIFirewall.create();
const text = "我的邮箱是 alice@example.com";
// 1. Mask
const result = await firewall.mask(text);
console.log(result.masked); // 输出: "我的邮箱是 <EMAIL_1>"
// 模拟 AI 处理过程...
const aiOutput = `已向 <EMAIL_1> 发送邮件`;
// 2. Restore
const final = await firewall.restore(aiOutput, result.session);
console.log(final); // 输出: "已向 alice@example.com 发送邮件"
}

Executar a demonstração na Web

Um aplicativo intuitivo de demonstração na Web é fornecido para que você possa executá-lo diretamente:

cd apps/webapp
pnpm dev

Abra um navegador para acessar o endereço local da saída do console (geralmente o http://localhost:5173). Nessa interface, você pode inserir qualquer texto que contenha informações confidenciais na caixa de entrada à esquerda e clicar em Processar para visualizá-lo:

1. Resultados da análise de PIIIdentificação de entidades: Quais entidades são identificadas.
2. Prompt MascaradoComo é o texto real enviado.
3. Resposta restauradaO visual final restaurado.

V. Configuração avançada

Você pode fazer isso modificando o aifw.yaml ou definir variáveis de ambiente para ajustar o comportamento:

• AIFW_MODELS_DIREspecifica o caminho de armazenamento do modelo NER.
• AIFW_API_KEY_FILESe você usar o serviço de encaminhamento de LLM incorporado, configure a chave de API.
• Regex personalizadoNa seção Configuration (Configuração) do código-fonte, é possível adicionar expressões regulares específicas para reconhecer formatos confidenciais específicos (como o formato interno da empresa para designações de projetos).

Seguindo essas etapas, você pode integrar o OneAIFW a qualquer pilha de aplicativos modernos de IA, permitindo a proteção avançada da privacidade com "dados disponíveis, mas não visíveis".

cenário do aplicativo

1. Perguntas e respostas da base de conhecimento interna
   Ao usar assistentes de base de conhecimento baseados em LLM de nuvem pública, os funcionários da empresa geralmente envolvem listas de clientes ou dados financeiros. Após a implementação do OneAIFW, as entidades confidenciais nas perguntas dos funcionários são automaticamente substituídas antes de serem enviadas para modelos como o GPT-4, garantindo que os principais dados corporativos não saiam da intranet sem afetar a lógica de resposta do modelo.
2. Desenvolvimento de conformidade com o GDPR/CCPA
   Os aplicativos de IA para os mercados dos EUA e da Europa devem estar em conformidade com as rigorosas normas de privacidade de dados. Os desenvolvedores podem usar o OneAIFW para filtrar automaticamente PII (informações de identificação pessoal) das entradas do usuário, eliminando a necessidade de escrever manualmente regras de limpeza complexas para cada entrada e atender rapidamente aos requisitos de conformidade legal.
3. Plug-in de privacidade no navegador
   Desenvolvimento de extensões de navegador que funcionam na versão da Web do usuário ChatGPT talvez Claude Quando a caixa de solicitação é aberta, o conteúdo da caixa de solicitação é automaticamente interceptado e dessensibilizado localmente antes de ser preenchido novamente na página da Web. Isso garante a privacidade dos usuários, mesmo quando eles usam a versão oficial do serviço na Web.
4. Assistência para documentação médica e jurídica
   Ao trabalhar com registros médicos ou contratos legais, os documentos contêm um grande número de nomes e números de identificação extremamente confidenciais. O uso do OneAIFW permite que a IA ajude a retocar ou resumir documentos, mantendo a estrutura e o contexto do documento intactos, sem se preocupar com o comprometimento da privacidade do paciente ou do cliente para o provedor de serviços modelo.

QA

1. O OneAIFW torna a resposta da IA mais lenta?
   O OneAIFW é altamente otimizado e a camada principal é escrita em Zig/Rust para um processamento extremamente rápido (microssegundos). A principal latência geralmente vem da inferência do modelo NER, mas no caso de inferência usando modelos leves (como o neurobert-mini), esse atraso normalmente é da ordem de milissegundos, o que é quase insignificante em comparação com a solicitação de rede e o tempo de geração do LLM.
2. Que tipos de reconhecimento de informações confidenciais ele suporta?
   Os tipos comuns de PII são suportados por padrão, incluindo nomes de pessoas, lugares, organizações (identificados por modelos NER), bem como caixas de correio, números de telefone, números de identificação, números de cartão de crédito (identificados por Regex). Os usuários também podem personalizar expressões regulares para ampliar os tipos de reconhecimento.
3. E se a resposta do LLM não contiver placeholders?
   Se o LLM estiver gerando conteúdo com placeholders ausentes (por exemplo <PERSON_1>), a etapa de restauração não recuperará a mensagem original correspondente. No entanto, o OneAIFW otimiza as palavras do prompt ao projetar o Prompt para orientar o LLM a manter os placeholders intactos. Na maioria dos cenários de perguntas e respostas e resumos, o LLM faz um bom trabalho ao preservar esses tokens.
4. Os dados serão armazenados nos servidores do OneAIFW?
   Não. O OneAIFW é puramente uma biblioteca de ferramentas ou um serviço local, a Funstory.ai não opera um servidor de interceptação centralizado. Todo o processamento de dados é feito na memória do seu servidor implantado ou na memória do navegador do usuário, e os dados são destruídos quando o processo termina.