Skip to content

Latest commit

 

History

History
66 lines (44 loc) · 3.75 KB

benchmarks.md

File metadata and controls

66 lines (44 loc) · 3.75 KB

实测记录

返回首页 · 运行指南

诊断效率

在同一 DeepSeek deepseek-flash 模型、相同冻结观测和相同硬预算下,对 12 个公开案例运行两套取证策略,共 24 次实际调查。顺序按案例交替,所有调用均有供应商返回的用量记录。

指标 逐页取证 速览与定向查证
完成报告 12 / 12 12 / 12
首选故障服务命中 12 / 12 12 / 12
耗时中位数 23.52 秒 15.59 秒
总 Token 1,083,460 501,653
模型调用次数 108 60

调查耗时降低 33.7%,总 Token 降低 53.7%,模型调用减少 44.4%。

工作台中的实际对照

优化包括证据速览、指标变化排序、日志去重、定向搜索、适用技能,以及取证轮数由 8 轮调整为 4 轮。两种策略均另留一轮提交报告。因此收益属于整套取证策略,不能单独归因于日志压缩或某个框架。

原始记录:

结果适用范围

样本来自 RCAEval,包含 7 个故障组合,属于已使用数据的回归验证。耗时只含调查阶段,不含数据下载;少量工作台验证与批次短暂同时运行,供应商与本机负载会影响耗时。首选服务命中不代表每项原因描述均已人工核实,证据范围校验也不等同于语义正确性。

这里没有企业生产流量、人工计时对照或生产故障恢复时长。结果不外推为企业人力节省或生产准确率。历史早期策略没有取得相同收益;本页展示的是冻结的最终配对回归,源码和样本说明保留供复核。

工程恢复与处置

检查 结果 记录
真实进程中断 20 次均恢复原任务,未重复创建工单,证据数量保持一致 逐次记录
审批与执行边界 6 组检查通过,覆盖拒绝、过期、参数修订、版本变化及恢复验证 检查记录
自建服务故障恢复 5 类故障各 3 次,共 15 次 演练记录
访问范围 5 项拒绝检查与 2 项正对照通过 检查记录

中断测试使用真实进程、Redis 与 PostgreSQL,诊断内容为明确标注的 fixture。故障演练使用实际自建服务。这些是工程验证,不是模型自动修复生产故障的成绩。

复现

先按 运行指南 启动服务,再下载回放数据:

make data

配置自己的真实模型后运行以下命令;这一步会产生供应商调用费用:

source scripts/env.sh
uv run --project services/agent-service python eval/runner.py \
  --cases 12 --split test --variants legacy,compact \
  --max-model-requests 280 --max-total-tokens 3500000 --max-cost-usd 1.5

费用限制需要配置可靠的输入、输出单价;没有价格时只执行请求数、Token 与期限限制。结果保存在新的 eval/results/<批次ID>/,不会覆盖本页公开的冻结记录。模型响应具有波动,复跑结果不保证与表格完全相同。

公开数据来自 RCAEval;下载版本、分组和隔离方式见 数据说明。仓库不分发完整原始数据集。