OPEN SOURCE / 2026.11.16
要把提示词、模型和测试用例收成可重复的对照表时,不必先自研一套评测台。结论先说:先按官方文档走最小评测路径.
本文是文档核验版上手指南,未在本机安装,也没有跑过 promptfoo eval。版本、运行时和许可以 2026 年 11 月 16 日 08:16(Asia/Shanghai)公开页为准,之后可能会变。
能做什么、不能做什么
官方介绍把 Promptfoo 写成开源的命令行和库,用来评测并红队测试大模型应用。入门指南的主路径是:写好 promptfooconfig.yaml,对多条提示词和多个提供商跑同一组测试,再用网页查看对照结果。
配置里可以用 {{variable_name}} 声明变量,并给测试加断言,例如 containsundicontains 或 llm-rubric。断言是可选的;文档写明,很多人先靠网页手工审阅输出,也能得到价值。
入门页还列出其他官方示例:用评分规则自动打分、比较多个模型、评测 RAG,以及评测 OpenAI Agents SDK 工作流。这些是文档里的扩展路径,不是本文已经跑通的结果。
它不能代替「评测集该怎么设计」这个判断,见 11 月 1 日的评测集文;也不能替代给 Agent 挂 trace,那是 Langfuse 上手文 的范围。
比较模型的官方示例写过一句关键限制:成本和延迟断言检查的是「已经完成的响应」,它们不会封顶花费,也不会叫停过慢的请求。要把账单或超时真正卡住,需要在提供商或外围系统另设限制。
红队扫描是另一条命令路径,官方有单独的 Red teaming quickstart。最小评测路径并不会自动完成漏洞扫描。
环境、安装与版本纪律
官方 Installation 页给出三种安装方式:npm install -g promptfooundnpx promptfoo@latest,以及 macOS / Linux 上的 brew install promptfoo.
同一页写明:npm 和 npx 需要 Node.js >=22.22.0,并建议使用 Node.js 24 LTS。若当前版本更旧,应先升级再安装或更新。
11 月 16 日查询 npm 注册表,promptfoo 的 latest 是 0.125.1,engines.node 为 >=22.22.0,许可字段为 MIT。该版本发布时间是 2026-10-25T02:12:24Z,即北京时间 10 月 25 日 10:12:24。
文档页标注最近一次更新是 2026 年 11 月 15 日 16:27:31(页上 datetime 为 2026-11-15T08:27:31Z)。本轮核验时间是 2026 年 11 月 16 日 08:16(Asia/Shanghai)。这说明文档仍在维护,但不等于 npm 当天又发了新版本。生产环境应钉死要用的精确版本,并在升级前再核一次。
安装后,官方建议用 promptfoo --version 或 npx promptfoo@latest --version 查看版本号。卸载软件包不会删除 ~/.promptfoo 里的配置、评测历史和缓存;若要清理,需按文档单独删除。
作为项目依赖时,安装页给出 npm install promptfoo --save.npx 不会永久安装,也就没有对应的卸载步骤。
官方最小上手路径
入门指南把第一条路径写成:用官方示例初始化,补上提供商密钥,再跑评测并打开网页。下面的命令来自该页,本文没有执行。
npx promptfoo@latest init --example getting-started
export OPENAI_API_KEY=sk-abc123
cd getting-started
npx promptfoo@latest eval
npx promptfoo@latest view
该示例会生成目录,内含 promptfooconfig.yaml 和说明用的 README,用来测试翻译提示词在不同模型上的表现。大多数提供商需要鉴权;文档以 OpenAI 的环境变量为例。
不想用现成示例时,可以用 promptfoo init 走交互式命令行,或用 promptfoo eval setup 打开网页配置向导。向导页会引导选择提供商、编写提示词并添加测试用例。

自行编写配置时,文档给出的最小结构是:提示词、提供商和带变量的测试。下面这段摘自入门页,模型标识以 11 月 16 日文档为准,之后可能会改;文中截图里仍可见较旧的模型名,应以当前文档和你钉死的版本为准。
prompts:
- 'Convert the following English text to {{language}}: {{input}}'
providers:
- openai:gpt-6-sol
- openai:gpt-6-luna
tests:
- vars:
language: French
input: Hello world
assert:
- type: contains
value: 'Bonjour le monde'
跑完评测后,用 promptfoo view 查看网页对照表。文档也写明,结果可以输出为表格、JSON、YAML 或 HTML。

命令行还可以临时覆盖配置里的提供商,例如入门页的 promptfoo eval -r google:gemini-3.8-flash google:gemini-3.5-flash-lite。这只说明官方支持在当次运行替换模型,不代表这些模型标识会长期不变。
若下一步要做对抗测试,应改走红队文档:先初始化红队配置,再运行 promptfoo redteam run,并用 promptfoo redteam report 查看报告。它和 promptfoo eval 不是同一条最小路径。

许可、维护和停止条件
11 月 16 日核验:GitHub 仓库 promptfoo/promptfoo 根目录的 LICENSE 是 MIT License,版权行写的是 Promptfoo 2025。npm 的 license 字段同为 MIT。MIT 覆盖的是这套软件,不包括你调用的模型 API 条款。
文档站点页脚写有 © 2026 Promptfoo, Inc.,并单独提供红队、防护和评测等产品入口。是否使用托管或企业功能,不影响这份开源许可本身,也不能把商业能力和开源命令行混为一谈。
维护信号方面,公开文档在 11 月 15 日 16:27:31(2026-11-15T08:27:31Z)仍有更新,npm 最新版 0.125.1 发布于 10 月 25 日。本文未统计提交频率,也不把 GitHub 社交预览或星标数当成可用性证据。
| 条件 | 建议 | Anweisungen |
|---|---|---|
| Node.js 低于 22.22.0 | 先停,不要强装 | 不在官方 npm / npx 范围 |
| 只想先看对照表 | 用官方 getting-started 示例 | 仍需提供商密钥才能真实调用 |
| 要用成本或延迟断言 | 它不封顶、不中止请求 | 官方比较模型示例写明的限制 |
| 要做漏洞扫描 | 改走红队命令,不要指望最小 eval | 官方另有 redteam 文档 |
| 卸载后仍见历史数据 | 再清理 ~/.promptfoo | 卸载包不会自动删除 |
最小行动可以很小:先确认 Node.js 版本达标,用官方示例生成配置,钉死 promptfoo 版本,再决定要不要加断言或单独开红队扫描。在本机跑通之前,不要把文档里的截图或示例输出写成自己的评测结果。
Unsere Einschätzung:Promptfoo 适合把已有提示词和测试用例收成可重复对照;它不是评测集设计方法,也不能靠成本和延迟断言挡住超支。未在本机验证前,只把官方命令当作待执行清单。
Weiterführende Links
- Promptfoo:Installation(2026-11-16 08:16 Asia/Shanghai 核验,页上标注 2026-11-15T08:27:31Z 更新)
- Promptfoo:Getting started(2026-11-16 08:16 Asia/Shanghai 核验,页上标注 2026-11-15T08:27:31Z 更新)
- Promptfoo:Intro(2026-11-16 08:16 Asia/Shanghai 核验)
- Promptfoo:Red teaming quickstart(2026-11-16 08:16 Asia/Shanghai 核验)
- npm:promptfoo 0.125.1(发布 2026-10-25T02:12:24Z;2026-11-16 核验仍为 latest)
- GitHub:promptfoo LICENSE(MIT,Copyright Promptfoo 2025;2026-11-16 核验)


评论列表 (0条):
加载更多评论 Laden...