AlignLab: um conjunto abrangente de ferramentas para alinhamento de modelos de idiomas de grande porte

O AlignLab é um projeto de código aberto desenvolvido pela equipe do OpenAlign que fornece um conjunto completo de estruturas e ferramentas dedicadas ao alinhamento de grandes modelos de linguagem. Por "alinhamento", queremos dizer tornar o comportamento e a saída dos modelos mais consistentes com as expectativas e os valores humanos, como, por exemplo, garantir que eles sejam seguros, verdadeiros, imparciais e inofensivos. À medida que os grandes modelos se tornam cada vez mais poderosos, garantir que eles sejam usados de forma responsável se torna um desafio central, e o AlignLab tem como objetivo fornecer aos pesquisadores e desenvolvedores um conjunto de ferramentas padronizadas e fáceis de usar para resolver esse problema. Esse projeto melhora sistematicamente a confiabilidade dos modelos, integrando várias rubricas e conjuntos de dados convencionais em um fluxo de trabalho unificado que permite aos usuários executar avaliações de segurança complexas e gerar análises detalhadas com comandos simples.

Lista de funções

• Estrutura de avaliação unificadaIntegração de adaptadores para várias ferramentas de avaliação convencionais (por exemplo, lm-evaluation-harness, OpenAI Evals) para que os usuários não precisem alternar entre as ferramentas.
• Amplo conjunto de benchmarkingHá várias suítes de revisão predefinidas incorporadas, comosafety_core_v1abrangendo uma ampla gama de dimensões, desde a segurança, o conteúdo tóxico, a autenticidade até a parcialidade.
• Projeto "Registry-first" (Registro primeiro)Todos os benchmarkings são feitos por meio de um simplesYAMLO arquivo é definido para conter informações sobre fontes de dados, métricas de revisão e controle de versão, o que garante a reprodutibilidade da revisão.
• Suporte a vários idiomasIntegração de carregadores para conjuntos de dados de toxicidade, realismo e viés em vários idiomas facilita os estudos de alinhamento de modelos entre idiomas.
• "Integração do modelo "GuardLlama-Guard-3: fornece uma interface unificada para invocar modelos de "guarda", como o Llama-Guard-3, como um pré ou pós-filtro ou como um árbitro para avaliar a segurança dos resultados do modelo.
• Análise do Smart BodySuporte à avaliação dos recursos das inteligências em um ambiente seguro de sandbox, como a avaliação da taxa de sucesso de ataques e a propensão à negação excessiva de serviço.
• Geração automatizada de relatóriosO relatório pode gerar um relatório de avaliação detalhado com um clique em um formato semelhante ao de um artigo acadêmico, incluindo gráficos, intervalos de confiança e análises de dados categóricos, e suporta a exportação para o formato PDF ou HTML.

Usando a Ajuda

O AlignLab fornece um conjunto de ferramentas de linha de comando e bibliotecas Python essenciais que dão aos usuários a flexibilidade para executar todos os aspectos do alinhamento de modelos.

1. instalação ambiental

Recomendado para projetos uv como um gerenciador de pacotes para uma resolução mais rápida de dependências.

Etapa 1: Instalar o uv
Se ainda não o tiver em seu sistema uvIsso pode ser feito por meio do pipx talvez pip Realize a instalação.

# 使用 pipx (推荐)
pipx install uv

# 或者使用 pip
pip install uv

Etapa 2: Crie um ambiente virtual e ative-o
No diretório do projeto de sua escolha, use o comando uv Crie um novo ambiente virtual Python.

# 创建名为 .venv 的虚拟环境
uv venv

# 激活虚拟环境 (Windows)
.venv\Scripts\activate

# 激活虚拟环境 (macOS/Linux)
source .venv/bin/activate

Etapa 3: clonar o repositório do AlignLab
Clone o código do projeto localmente a partir do GitHub.

git clone https://github.com/OpenAlign/AlignLab.git
cd AlignLab

Etapa 4: Instalar as dependências do projeto
No diretório raiz do repositório, use o comando uv pip install instala todos os módulos do AlignLab.-e indica que a instalação está no modo "editável", o que significa que qualquer alteração que você fizer no código-fonte terá efeito imediato, o que a torna ideal para desenvolvimento e depuração.

uv pip install -e packages/alignlab-core -e packages/alignlab-cli \
-e packages/alignlab-evals -e packages/alignlab-guards \
-e packages/alignlab-agents -e packages/alignlab-dash

Após a conclusão da instalaçãoalignlab A ferramenta de linha de comando está pronta para ser usada.

2. operação de funções essenciais

A principal funcionalidade do AlignLab é fornecida por meio de alignlab para invocá-lo, aqui estão alguns comandos principais a serem usados.

A. Executar uma avaliação de segurança completa

Esse é um dos recursos mais usados para executar um conjunto abrangente de revisões do núcleo de segurança em um determinado modelo e gerar relatórios.

alignlab eval run --suite alignlab:safety_core_v1 \
--model meta-llama/Llama-3.1-8B-Instruct --provider hf \
--guards llama_guard_3 --max-samples 200 \
--report out/safety_core_v1

• --suite alignlab:safety_core_v1Especifica que um arquivo chamado safety_core_v1 que contém uma série de testes de segurança, parcialidade e autenticidade.
• --model meta-llama/Llama-3.1-8B-InstructEspecifique o modelo a ser avaliado; neste caso, o modelo de ajuste fino do comando Llama-3.1 8B é usado como exemplo.
• --provider hfEspecifique o provedor do modelo como Hugging Face (hf).
• --guards llama_guard_3Observação: Inclua o modelo Llama Guard 3 como "guarda" no processo de avaliação para avaliar os recursos de segurança do modelo.
• --max-samples 200Configuração para usar até 200 amostras por tarefa de teste para validação rápida.
• --report out/safety_core_v1Especifica o caminho onde os resultados da avaliação são salvos.

B. Geração de relatórios de visualização

No final da execução da revisão, você pode usar a função report build O comando compila os dados brutos dos resultados da avaliação em um relatório legível por humanos.

alignlab report build out/safety_core_v1 --format html,pdf

• out/safety_core_v1Aponta para o diretório em que os resultados da avaliação foram salvos no comando anterior.
• --format html,pdfEspecifica que os relatórios são gerados nos formatos HTML e PDF.

C. Visualização dos recursos disponíveis

Você sempre pode ver quais benchmarks e modelos disponíveis foram registrados no AlignLab.

# 列出所有可用的基准测试，并按安全、多语言进行筛选
alignlab benchmarks ls --filter safety,multilingual

# 列出所有可用的模型
alignlab models ls

D. Executando benchmarks individuais

Além de executar o conjunto completo, você também pode testar apenas um benchmark específico.

# 运行 truthfulqa 基准测试的验证集部分
# 并使用大语言模型作为裁判 (llm_rubric) 来进行打分
alignlab eval run truthfulqa --split validation --judge llm_rubric

cenário do aplicativo

1. Pesquisa de segurança e conformidade de IA
   Os pesquisadores podem usar o AlignLab para realizar revisões de segurança padronizadas de diferentes modelos de big language, avaliando sistematicamente os riscos dos modelos em termos de geração de informações prejudiciais, viés, violações de privacidade etc. por meio de seu abrangente conjunto de benchmarking. Os relatórios quantitativos gerados podem ser usados diretamente em trabalhos acadêmicos e análises de pesquisa.
2. Validação pré-implantação de modelos de classe empresarial
   Antes de uma organização integrar um grande modelo a um produto ou serviço, ela precisa garantir que o resultado seja seguro e confiável, e o AlignLab fornece um processo de avaliação pronto para uso em ambientes de produção que ajuda as equipes de desenvolvimento a realizar rigorosos "exercícios de equipe vermelha" e avaliações de risco antes de entrar em operação para garantir que o modelo esteja em conformidade com as diretrizes de segurança e ética da empresa. diretrizes éticas.
3. Ajuste fino do alinhamento para modelos específicos de domínio
   Quando um desenvolvedor precisa ajustar um modelo para um domínio específico (por exemplo, finanças, saúde), é importante não apenas aprimorar sua experiência, mas também garantir que seu comportamento esteja alinhado com as normas do setor. O AlignLab ajuda os desenvolvedores a monitorar continuamente o nível de alinhamento de seus modelos durante o processo de ajuste fino, por exemplo, verificando a veracidade de seus resultados por meio do TruthfulQA ou garantindo sua inocuidade por meio de benchmarks personalizados.
4. Teste de equidade e consistência de modelos multilíngues
   O suporte multilíngue do AlignLab ajuda os desenvolvedores a avaliar a imparcialidade e a sensibilidade cultural dos modelos ao lidar com diferentes idiomas, além de identificar e corrigir possíveis problemas de parcialidade em tempo hábil.

QA

1. O que significa "alinhamento do modelo"?
   O alinhamento de modelos é o processo de adaptação e otimização de um modelo de linguagem de grande porte para alinhar seu comportamento e resultado com as intenções, os valores e as normas sociais humanas. Isso consiste em três dimensões principais: utilidade (ser capaz de entender e cumprir instruções), veracidade (não contar mentiras) e inocuidade (não produzir conteúdo tendencioso, discriminatório ou perigoso). O AlignLab é uma ferramenta projetada para avaliar e melhorar sistematicamente o nível de alinhamento do modelo.
2. Qual é a diferença entre o AlignLab e outras ferramentas de revisão?
   O recurso mais importante do AlignLab é sua natureza "abrangente" e de "estrutura". Em vez de reinventar os algoritmos de avaliação, o AlignLab integra ferramentas de avaliação maduras e amplamente reconhecidas (por exemplo, HarmBench, JailbreakBench etc.) em uma estrutura unificada por meio do modo "adaptador". Isso elimina a necessidade de os usuários aprenderem a usar várias ferramentas, permitindo que eles invoquem diferentes recursos de avaliação por meio de um único conjunto de comandos e produzam relatórios padronizados, simplificando bastante o fluxo de trabalho de alinhamento.
3. Qual é a configuração de hardware necessária para usar o AlignLab?
   Os requisitos de hardware dependem muito do tamanho do modelo que você está analisando. Para um modelo como o Llama-3.1 8B, você precisará de uma placa de vídeo profissional ou de consumo com pelo menos 24 GB de memória de vídeo. Para modelos maiores, você precisará de recursos de computação mais potentes; o próprio AlignLab é uma estrutura Python que não consome muitos recursos, e a principal sobrecarga vem do carregamento e da execução de modelos de linguagem grandes.
4. Posso adicionar meus próprios conjuntos de dados ou rubricas?
   Sim. O AlignLab foi projetado para ser o "primeiro registro" e adicionar um novo benchmark é muito simples. Tudo o que você precisa fazer é adicionar um novo benchmark ao registrobenchmarks/para criar um diretórioYAMLUm arquivo de configuração, no qual você define a fonte do seu conjunto de dados (por exemplo, Hugging Face Hub), o tipo de tarefa de avaliação, o método de avaliação e os metadados relevantes, é suficiente. Esse design facilita muito a extensão da estrutura.