安装和使用promptfoo的具体步骤如下:
- 安装命令行工具:通过npm全局安装
npm install -g promptfoo
- 初始化项目:创建基础配置文件和目录结构
npx promptfoo@latest init
- 配置测试用例:编辑生成的promptfooconfig.yaml文件,添加要测试的提示和变量,示例配置:
targets: - id: 'example' config: method: 'POST' headers: 'Content-Type: application/json' body: userInput: '{{prompt}}'
- 运行评估:执行基础评估
promptfoo evaluate
或运行红队测试npx promptfoo@latest redteam init
- 分析结果:在命令行输出或网页界面查看评估报告
项目初始化后会创建完整的目录结构,包含:
- prompts/ – 存放提示模板
- providers/ – API提供商配置
- testcases/ – 测试用例文件
- promptfooconfig.yaml – 主配置文件
开发者可以根据需要调整这些配置,逐步建立全面的测试套件。
本答案来源于文章《promptfoo:提供安全可靠的LLM应用测试工具》