10+年产品经理专注分享AI 工具、AI 资讯、AI Coding、Vibe Coding与下一代产品创新,按 Ctrl+D 收藏我们
关于我 留言板 小程序 标签云

苏米客

  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
  • 登录
  • 首页
  • AIGC
    • AI最新动态
    • AI学习教程
    • AI工具集合
    • AI产品百科
    • AI编程开发
    • AI提示词
    • AI开源项目
    • AI智能体
  • Axure
    • Axure动态
    • Axure教程
  • 产品
    • 用户体验
    • 产品设计
    • 苏米杂谈
  • 资源
    • 产品UI组件库
    • 开源图标库
    • 中后台框架
  • 书单
    • AI书籍
    • 用户体验
    • UI视觉
    • 产品研究
    • 其他类型
  • 下载
    • Axure组件
    • Axure原型
    • 文档报告
    • 素材资源
当前位置: 首页 » AI开源项目

腾讯 WorkBuddy Bench 开源:260 道 Agent 评测任务 + 2 个自动化 Skill

1小时前 AI开源项目 7 0

腾讯 WorkBuddy 团队最新开源了 2 个 Agent Skill:wbbench-report-skills 和 wbbench-run-setup。

WorkBuddy Bench 是 WorkBuddy 产品工程实践的副产品——腾讯将内部用于模型选型、Harness 回归测试和任务分布分析的体系整体打包成了开源基准测试。

多模型 Agent 工作台的选型结果显示:GLM-5.2 在安全场景下表现突出,GPT-5.5 的 Token 消耗最低,Claude Opus 综合能力最强。这也解释了 WorkBuddy 为何选择多模型动态切换策略,而非单一依赖自家模型。

图片 1

重点不是榜单数字,而是为了让别人复现这套选型,团队在仓库的 .agents/skills/ 下放置了两个 Agent Skill:一个负责把评测跑起来,一个负责把报告写对。在 Claude Code 或 CodeBuddy Code 等 Skill 感知的客户端中一句话唤起,就能一阶段一确认地跑完整轮评测。

图片 2

真正值钱的不是基准本身那 260 道任务(Code 80、Web 70、Office 50、Security 60),而是这两个 Skill 把跑评测和写报告里最容易踩的坑,直接固化成了 Agent 可执行的 Playbook。

图片 3

两个 Skill 的分工很明确:wbbench-run-setup 负责把评测跑起来,wbbench-report-skills 负责把报告写对。一个管跑,一个管分析。

Skill 1:7 阶段评测流程

wbbench-run-setup 是一个 7 阶段(0 到 6)的交互式 Playbook,从零配置的 checkout 一路带到跑完分析:

  • 阶段 0:拉取数据集
  • 阶段 1:配置环境
  • 阶段 2:写模型配置
  • 阶段 3:填写 .env 凭据
  • 阶段 4:编写 job 文件
  • 阶段 5:dry-run 确认后执行
  • 阶段 6:交给 report skill 出报告

图片 4

设计特点:

  • 读实时模板,不靠记忆:不会因模板演进还拿旧字段处理
  • 运行时发现选项,不硬编码:避免使用可能过时的列表
  • 一阶段一确认:全程用用户语言回复

图片 5

Skill 2:报告生成

wbbench-report-skills 路由 Office、Web、Code 三个 Benchmark 的报告生成。第一步不是分析,而是先甄别 RUN_DIR 到底是哪一层。

图片 6

Harbor 的结果目录有三层嵌套:

  • JOB 层:只有时间戳子目录,没有 job.log
  • RUN 层:单次评测运行,有 job.log 加若干子目录(这才是正确层)
  • TRIAL 层:有 trial.log 加 verifier/,对应单道题

选错了层,整份报告就错了。Skill 的策略是:选不出唯一候选就回头问用户,绝不猜默认路径。

图片 7

甄别完后,三步生成报告:校验 RUN_DIR、运行 workbuddy_bench.scorer.metrics 生成 metrics.json、再写 report.md。输入产物全程只读,只往 REPORT_DIR 写东西,不修改 Harbor 原件,也不重跑评测。

图片 8

报告卫生的关键规则:

  • reward ≠ pass_rate:reward 是主分,取每任务 reward 均值,build_error 记 0 进分母;pass_rate 是 verifier 得分 ≥ 1.0 的 trial 占比,即整题全通过比例
  • Rule-only 和 Rule+Judge 评分契约不同,不能直接比较
  • 每个判断必须绑定 task id 加证据,不能只甩个均分
  • 只改测试、不动产品代码的改动不算有效修复,除非任务本身就是 Test Generation

图片 9

相关链接

  • 论文标题:Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction
  • arXiv:2607.20911
  • GitHub:https://github.com/Tencent/workbuddy-bench
声明:本站原创文章文字版权归本站所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表本站立场,图文版权归原作者所有。如有侵权,请联系我们删除。
未经允许不得转载:腾讯 WorkBuddy Bench 开源:260 道 Agent 评测任务 + 2 个自动化 Skill
#WorkBuddy #Agent评测 #开源基准 #Tencent #AIBenchmark 
收藏 1
MonkeyCode + MonkeyWork 实测:GitHub 4K Star 的 AI 开发平台,每天 3000 万免费 Token
SkillsGate 开源项目:AI Agent 技能的统一管理器,91000+ 技能一键安装到 18+ 款工具
推荐阅读
  • Codexia:开源桌面级 AI 编程助手,搭配GPT-5-Codex让你的开发效率瞬间开挂
  • Stirling-PDF:基于 Web 的本地化开源 PDF 处理工具
  • MopMonk(扫地僧)Agent:全球 AI 安全战力榜杀出的中国黑马
  • scroll-world 与 img2threejs:两个炫酷的 GitHub 开源项目,让 AI 帮你做网页和 3D 模型
  • Transitions.dev:27 个开箱即用的 UI 交互动效库,支持 Claude Skills
评论 (0)
请登录后发表评论
分类精选
WeKnora:终于等到了腾讯ima的开源知识库框架,用 API 轻松打造本地智能文档检索
11456 11月前
OpenSpec:比 Cursor Plan 更聪明?试试这款让 AI 编码更靠谱的规范驱动工具
10352 9月前
CapCut API:一个剪映API开源项目,让AI自动剪辑视频
9088 7月前
Antigravity-Manager:这个开源神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
8501 7月前
AIRI:你的开源AI女友,让你随时拥有属于自己的 AI VTuber
8079 11月前
就要创作:从提示词到创作团队,开源 AI 网文写作平台
7771 10月前
CompressO:开源免费的视频压缩神器,让你的硬盘瞬间轻松 10 倍
7769 10月前
awesome-openclaw-skills:700+ Skills 一条命令装配完成,如何让本地 AI Agent 真正落地可用
7632 6月前
baoyu-skills:又一个宝藏Skill,面向内容创作者的技能集,支持图文生成、发布与处理
7104 6月前
Claude Code 生成专业图表的 15 个 Skills:覆盖 7 种渲染引擎的完整指南
6928 3月前

文章目录

关注「苏米客」公众号

订阅推送更及时,手机查看更方便
分类排行
1 Firecrawl anydoc 开源:14 种文档格式转 Markdown,比 LibreOffice 快 256 倍
2 SkillsGate 开源项目:AI Agent 技能的统一管理器,91000+ 技能一键安装到 18+ 款工具
3 腾讯 WorkBuddy Bench 开源:260 道 Agent 评测任务 + 2 个自动化 Skill
4 微软开源 Skill Recorder:录制操作自动生成 AI Agent SKILL.md
5 AnyDoc:Rust 文档转 Markdown 引擎,性能碾压 MarkItDown
6 scroll-world 与 img2threejs:两个炫酷的 GitHub 开源项目,让 AI 帮你做网页和 3D 模型
7 Humanizer-zh:专治中文写作 AI 味的开源 Skill,14.6k Star
8 SenseNova U1.5-Lite-Preview 开源:8B 轻量级统一多模态模型,支持 4K 图像生成与编辑
9 Cloudflare 开源企业级 Agent 工作平台 Cloudflare OS
10 human-writing:卡兹克开源活人感写作 Skill,从材料到推进消除 AI 味
©2015-2024 苏米客XMSUMI 版权所有 · WWW.XMSUMI.COM 闽ICP备14005900号-6
微信文章助手 程序库 免费影视APP 免费字体下载 产品经理导航 爱克硕儿 产品经理AI资讯 Axure元件库下载 申请友联