As etapas específicas para instalar e usar o promptfoo são as seguintes:
- Instalação de ferramentas de linha de comandoInstalação global via npm
npm install -g promptfoo - Projeto de inicializaçãoCriar o arquivo de configuração básico e a estrutura de diretórios
npx promptfoo@latest init - Configuração de casos de testeEdite o arquivo promptfooconfig.yaml gerado, adicione os prompts e as variáveis a serem testadas, exemplo de configuração:
targets: - id: 'example' config: method: 'POST' headers: 'Content-Type: application/json' body: userInput: '{{prompt}}' - Avaliação operacionalAvaliação da base para a implementação
promptfoo evaluate
Ou execute um teste de equipe vermelhanpx promptfoo@latest redteam init - análiseVisualização de relatórios de avaliação na saída da linha de comando ou na interface da Web
O projeto é inicializado para criar uma estrutura de diretórios completa contendo:
- prompts/ - modelos para prompts
- providers/ - Configuração do provedor de API
- testcases/ - arquivos de casos de teste
- promptfooconfig.yaml - arquivo de configuração principal
Os desenvolvedores podem ajustar essas configurações conforme necessário para criar conjuntos de testes abrangentes ao longo do tempo.
Essa resposta foi extraída do artigoPromptfoo: fornecendo uma ferramenta de teste de aplicativos LLM segura e confiávelO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como instalar e iniciar o teste do LLM com o promptfoo?
