质量实测
ocra 在黄金用例和 AACR-Bench 上找到了什么、漏掉了什么,是怎么测的,以及这些数字说明不了什么。
ocra 的评测运行到目前为止测到了什么、怎么测的,以及局限。样本很小,引用任何数字之前请先读局限。
怎么测的
ocra-eval 在固定到具体提交的改动上运行真实的 ocra review,再给它报出的问题计分(评测)。两个数据集:
- 黄金用例(ADR-0011)由 ocra 自己维护。每个用例把一个公开仓库固定在两个提交上,列出 ocra 必须报出的问题、同一问题也可以正确报在的其他位置、报了就算错的范围,或者注明改动没有问题。到目前为止的每次运行,用的都是 smoke 档当时的 8 个用例,共 16 个预期问题。此后 smoke 档增加到 10 个用例,full 档增加到 58 个,其中 42 个是 2026-10-23 从 AACR-Bench 加入的,每个都由两个 agent 独立盲审;两者都还没有按现在的样子跑过。自 2026-10-23 起(ADR-0036),每个用例最多要求 3 个问题;审查员没被要求报出的问题(编译器会报的、改动没碰过的代码里的),以及目前只有模型发现过的问题,都是可选的:报出它算正确,召回率不计入它。现在 smoke 档要求 7 个问题,full 档要求 52 个。本页的数字都是在这次调整之前计分的,不能和之后计分的运行比较。
- AACR-Bench 是由真实 PR 组成的外部基准,标准答案是经专家核对的评审评论,其中约四分之三由 AI 模型写成;它的数字可以和已公开的结果对比。
| 这些运行用的 8 个用例 | 用例 | 预期问题 | 语言 |
|---|---|---|---|
| 来自 ocra 自身历史的改动:后来修复的 bug,外加一个没有问题的改动 | 4 | 7 | TypeScript |
| AACR-Bench 的 PR,问题都对照代码核实过 | 4 | 9 | C#、C++、Go、TypeScript |
在黄金用例上,一条问题与预期问题匹配的条件是:同一文件,与预期行号或某个其他位置相距不超过一行,并且判定模型确认是同一个问题。
- 召回率:达到用例严重程度下限的预期问题中找到的比例。
- 精确率:报出的问题中,匹配预期问题或被标为有效的比例。什么都没匹配的问题会对照代码核查一次,标为有效或无效并存进用例;标注之前算错。
- 落在"报了就错"的范围内或没有问题的改动上的 critical 算作失败。目前还没有运行出现过。
AACR-Bench 用基准自己的匹配规则:同一文件、diff 的同一侧、相距不超过一行,再由判定模型确认。它的精确率是命中数除以报出数,不用标注。
2026-10-01 之前的所有运行都用 Vertex AI 上的 Gemini:审查员和核查用 gemini-3.5-flash(降级到 gemini-3.5-flash-lite),裁决(Judge)用 gemini-3.1-pro-preview,轻量任务用 gemini-3.5-flash-lite,计分时判定是否匹配用 gemini-flash-lite-latest。之后的两次运行每一步都用一个免费模型(见在免费模型上)。花费是 ocra 自己的记账:token 数乘以各模型的标价。
黄金用例
当前配置
2026-09-29(UTC)运行一次,使用 ocra 的默认设置,版本是 main 上的 664c850,加上紧随其后合并的"每个审查 agent 30 步"上限(f966d83):
- 16 个预期问题找到 7 个(44%):用例定为 warning 的 6 个中找到 5 个,定为 suggestion 的 10 个中找到 2 个。没有用例预期 critical 级别的问题。
- 报出 7 条问题,全部正确(7/7,100%),在没有问题的改动上什么都没报。
- 8 个改动共花费 $12.53:平均每个 $1.57(中位数 $1.15,最低 $0.07,最高 $3.98)。一次审查耗时的中位数是 243 秒,90 分位是 437 秒。
找到:头文件里的声明和调用方与定义对不上,导致无法编译(FreeCAD,C++);测试的 monitor 容器仍用公共镜像,而 server 容器已改用镜像站(ASP.NET Core,C#);文件在父目录之前创建(Ollama,Go);导入了模块未导出的名字,导致构建失败(RAGFlow,TypeScript);以及 ocra 历史上的三个 bug:文档承诺却没有代码写入的 .gitignore、被注册成插件的辅助函数、模型文字仍可借引用式 Markdown 链接发出可点击的链接。
漏掉:ocra 历史上的四个 bug(git index 的临时副本带着新的修改时间,同一秒内修改的文件看起来没变而被跳过;阻断性结论在新增的覆盖检查之前返回;未变更的文件被算作未审查;一个审查员失败、另一个已审完同样的文件时,运行被算作什么都没审查),Ollama 里四个较小的校验、错误处理和测试问题,以及 RAGFlow 里缺失的翻译键。
预期问题从哪里来
16 个中有 4 个是在任何运行之前、根据 ocra 历史上修复过的 bug 写下的,当前配置找到了其中 2 个。另外 12 个是 ocra 运行报出、对照代码核实后加进来的:5 个来自 AACR-Bench PR 上的运行,7 个来自这些用例上的运行,其中一个就是上面这次。在这 12 个上,召回率衡量 ocra 能否再次找到以前找到过的问题;它找到了 5 个。
每一次运行
这 8 个用例上的全部运行,都按 2026-10-23 之前的用例和标注计分,因此彼此可以比较,但不能和之后的运行比较。更早的三次运行只跑了最初的 4 个用例,每次在它们的 7 个预期问题中找到 1 个,报出的都正确。只检查流程、或只在几个 AACR-Bench PR 上比较某个改动的运行不列在这里。
| 日期(2026 年,UTC) | 配置 | 找到 | 精确率 | 每个改动的花费 |
|---|---|---|---|---|
| 09-28 | 每个审查 agent 20 步 | 6/16(38%) | 6/7(86%) | $1.16 |
| 09-28 | 同上,再跑一次 | 6/16(38%) | 7/7(100%) | $0.97 |
| 09-28 | 每个审查 agent 30 步 | 7/16(44%) | 7/8(88%) | $1.06 |
| 09-28 | 同上,再跑一次;8 个改动中跑了 7 个(花费上限) | 8/15(53%)¹ | 8/9(89%) | $1.77 |
| 09-28 | 20 步,加上防提示注入的边界 | 4/16(25%) | 4/5(80%) | $1.33 |
| 09-29 | 当前配置 | 7/16(44%) | 7/7(100%) | $1.57 |
| 09-29 | 稍后的 main,加上一个没有合并的提示词改动 | 6/16(38%)² | 8/9(89%) | $1.26 |
¹ 第 16 个预期问题就取自这次运行。
² 另有一个预期问题被找到,但严重程度低于用例的要求。
跑过两次的两种配置,每次找到的数量大致相同(6 和 6,7 和 8),精确率相差一条。两次运行看不出真实的波动:相差一两个问题请视为噪声。
在免费模型上
在 Space Bunny Alpha(stealth/space-bunny-alpha,OpenRouter 上匿名的免费预览模型,通过声明的 OpenAI 兼容端点接入)上,把今天的 smoke 档(10 个用例、18 个预期问题)跑了两次。免费密钥只能用这一个模型,所以各档位、核查、裁决和计分判定都是它。ocra 是 2026-10-02 的 main(c997e07),默认设置。OpenRouter 的免费模型每个账号共用一份每日额度(账号买过至少 10 美元额度时每天 1000 次请求,没有时约 50 次;见模型供应商),一个 smoke 用例要 30 到 250 次,所以即使每天 1000 次,每次运行也从 2026-10-02 拖到 2026-10-04。OpenRouter 在 2026-10-06 下架了这个模型,所以无法重复。
| 运行 | 找到 | 精确率 | 报出 | 未标注 | 每个改动耗时(中位数,秒) |
|---|---|---|---|---|---|
| A | 6/18(33%)³ | 9/17(53%) | 17 | 8 | 231 |
| B | 6/18(33%)³ | 9/13(69%) | 13 | 4 | 247 |
³ 另有一个预期问题被找到,但严重程度低于用例的要求。
两次运行找到同样的七个问题:FreeCAD 里声明与定义对不上、ASP.NET Core 的 monitor 容器仍用公共镜像、Keycloak 的优先级穿透、RAGFlow 导入了未导出的名字以及缺失的翻译键、ocra 文档承诺却没人写入的 .gitignore、被注册成插件的辅助函数。漏掉同样的十一个:Ollama 的全部五个(那个改动上什么都没报)、Elasticsearch 的问题、git index 副本的问题,以及 coverage-gaps 改动五个中的四个。两次都没有在"报了就错"的范围内报出 critical;没有问题的改动每次各收到一条 suggestion。命中相同、精确率差了四条:8 条和 4 条未标注的问题核查之前都算错,其中三条两次都出现(没有上限的读取缓存、FreeCAD 里提到已删参数的注释、手册的示例输出)。
在局限之外还有三点:
- 判定是否匹配的是 Space Bunny 自己,不是
gemini-flash-lite-latest,所以这两行只能相互比较。 - coverage-gaps 这个改动只审查了一部分。 每日配额拒绝了它的一部分任务(A 是 19 个中的 12 个,B 是 18 个中的 9 个),审查以不完整收尾;它漏掉的四个问题,有一部分在没人读过的代码里。
- index-copy 这个改动上,A 有两个任务、B 有一个任务达到了 10 分钟的任务上限。
模型标价为 0,花费也就是 $0。每次运行发送 1500 万到 1800 万输入 token,88% 命中缓存,输出约 50 万 token;每个改动耗时中位数 231 和 247 秒,90 分位 992 和 803 秒。
AACR-Bench
10 个 PR(--seed 1 --limit 10 --max-change-lines 300:每个最多改动 300 行,共 44 个标注问题),两种配置各跑两次,时间是 2026-09-28,早于当前配置:
| 配置 | 精确率 | 召回率 | 每个 PR 的花费 |
|---|---|---|---|
| 每个审查 agent 20 步 | 4/6(67%);2/5(40%) | 4/44(9.1%);2/44(4.5%) | $0.77;$0.86 |
| 同上,并要求每条问题一经确认就立即报告 | 3/14(21%);3/7(43%) | 3/44(6.8%);3/44(6.8%) | $0.97;$1.02 |
当前配置还没有在 AACR-Bench 上跑过。读这些数字时:
- 召回率有上限。 在 94 个 PR 标注的 530 个问题中,40% 是可维护性和可读性方面的意见,ocra 按设计不报,所以最多能覆盖 58%(
ocra-eval ceiling,不调用模型)。 - 精确率被低估。 没人评论过的真问题会被算作误报。对每条问题对照代码做过一次核查(由参与 ocra 开发的 AI agent 完成,没有记录为标注):前两次运行的 11 条问题中,6 条是真实缺陷、4 条是小问题、1 条是错的,而基准只算命中 6 条;后两次运行的 21 条问题中,15 条是真实缺陷、5 条是小问题、1 条是错的,基准同样只算命中 6 条。
- 匹配只容许相差一行。 在一个 Electron 的 PR 上,ocra 报出了标注里的 use-after-free,但离标准答案十行,于是既算漏报又算误报。因此
ocra-eval在官方指标旁给出宽松匹配(同一文件、同一问题、任意行)。
花费
这些运行按标价计算:
- 用当前配置审查一个黄金用例,平均花费 $1.57(中位数 $1.15),最低 $0.07,最高 $3.98;
- 用更早的配置审查 AACR-Bench 里较小的 PR,平均每个 $0.77 到 $1.02;
- 所有运行中最贵的一次审查花了 $4.31,改动涉及 10 个文件。
花费随改动规模和风险档位运行的审查员而增长。--max-cost-usd 给一次运行的花费设上限(CLI)。
局限
- 样本小。 8 个改动、16 个预期问题,其中只有 4 个是独立于 ocra 自身发现写下的。当前配置只跑过一次,full 档还没有跑过。
- 不独立。 用例和标注都是项目自己的,标注由参与 ocra 开发的 AI agent 对照代码核查每条问题并记录理由。另一个模型(Claude Fable 5.1)在不知道原标注的情况下,重新判断了当时 11 条标注中的 5 条,结论全部一致;项目之外还没有人审阅过。最近的改动(包括 30 步上限)是在这些用例上选定的,这会让当前配置的成绩偏好看。
- **匹配由模型判定:**Gemini 的运行用
gemini-flash-lite-latest。判定结果有缓存,用同一个判定模型重新计分结果不变,但换一个判定模型可能得出不同结论。这些运行都在ocra-eval的 judge v2 之前评分;v2 只看回答的第一个词,之前的解析会把 "Not the same issue" 这类回答算作命中,所以精确率和召回率可能偏高。Vertex AI 已不再提供这个模型别名,重新计分需要换一个判定模型(见判定模型)。 - 两个模型家族,互不可比。 2026-10-01 之前的运行用 Vertex AI 上的 Gemini;两次免费模型的运行每一步都用 Space Bunny Alpha,包括计分。换成别的模型,成绩会不同。
- 每次运行有波动。 同一配置的两次运行,精确率相差一条问题。
- 召回率是短板。 在这里 ocra 漏掉了一半以上的预期问题,其中大多被定为 suggestion;在 AACR-Bench 上,它命中的标注问题不到 10%。
- 最后一次运行之后的改动还没有测过,包括:agent 在审完文件之前停下时,现在会被要求继续一次。
- 不能跨工具比较。 其他工具的数字用的是别的数据集、匹配规则和模型。这里只说明 ocra 在自己的用例上表现如何,不代表排名。
对你意味着什么
ocra 能找到真实的 bug,也很少误报,但漏掉的比找到的多。把它当作人工审查之外的第二位审查者,而不是门禁;它的结论只是参考意见,不是安全检查(工作原理)。
复现
用例和标注在 evals/golden。按评测配置好模型后,在上面这 8 个用例上跑一次按标价要花 $8 到 $13;smoke 档现在有 10 个用例:
node packages/eval/dist/main.js run --dataset golden --tier smoke --label mine --max-cost-usd 20 --pr-max-cost-usd 6在 OpenRouter 的免费模型上,加上按OpenRouter 上的免费模型写的 --config <file>,判定模型的变量按评测设置。这样不花钱,但一次 smoke 运行超过一天的免费配额,所以用 --retry-failed 跨天接着跑。