开发框架上手难度 ⚡ 入门#测试评估#红队#CI 集成
Promptfoo · 提示词与 RAG 测试评估工具
给 Prompt 写单元测试：红队测试 + 模型输出评估的开源 CLI
🟢 活跃维护✅ 商用友好协议cici-cdcicdevaluation
5 分钟上手
无需 GPU：npm 安装，算力在模型 API 侧npm install -g promptfoo
promptfoo init
promptfoo eval
promptfoo view项目速览
Promptfoo 把软件工程的质量实践带进 AI 开发：用 YAML 声明测试用例，自动对比不同模型/提示词的输出质量，内置幻觉检测、安全红队（越狱/注入攻击）用例库，CI 可直接集成。
能做什么
- Prompt 回归测试：改一版提示词，跑一遍看哪些用例退化
- 多模型横向评估（准确率/相似度/自定义断言）
- 自动化红队测试，上线前找 Agent 应用的安全漏洞
怎么部署
npm 全局安装，CLI 与 Web UI 双形态。配合 编程提示词教程 迭代提示词质量。
适合谁
对 AI 应用有质量要求的工程团队与 Prompt 工程师。
✅ 优点
- •YAML 声明式，CI 集成开箱即用
- •断言类型丰富（相似度/JSON schema/自定义）
- •红队测试能力在同品类中领先
⚠️ 局限与坑
- •评估成本随模型调用量线性增长（跑大用例集要预算）
- •复杂业务语义的自动判定仍需人工设计断言
- •Web UI 报告偶有大数据量卡顿
💼 典型应用场景
- 1.提示词改版跑回归测试防退化
- 2.选型：同一用例集横评多家模型
- 3.上线前对 AI 应用做注入/越狱红队测试
不想部署？试试同类在线工具
开发框架· 同类项目推荐
Transformers 165k
Hugging Face 模型加载库 · 五句话加载全球几十万开源模型，AI 开发者的事实标准 API
Spring AI Alibaba 11k
Java 生态 AI 应用框架 · 阿里开源 Java 版 LangChain，企业 Java 系统接入大模型的标准姿势
AX
Google AX — 声明式 Agent 编排运行时，11.5K Star Google 官方开源 · Google 开源 Agent 编排运行时（11.5K Star），声明式 YAML 定义任务，K8s 风格管理数十亿 Agent 工作负载
Univer
Univer — AI Agent 的一体化 Office 运行时（18.5K Star 开源办公 SDK） · 18.5K Star 开源 Office SDK：表格+文档+幻灯片+PDF+关系表，一套运行时跑在浏览器和 Node.js，供 AI Agent 直接读写
返回全部开源项目指标每周自动更新，数据来自 GitHub API · 最近同步 2026-09-09