DSH Wiki DSH Wiki
/ DSH 인텔 / 026
026

8 大 agent harness 横评:DeepSeek V4 Flash 与 Pi 是「天作之合」

u/LimpComedian1317 · 2026-08-11 · 307 · 进阶
竞品对比社区实测数据实证背景知识
원문
DSH 发布前两天的重磅横评:用 25 个真实自动化任务测 DeepSeek V4 Flash 在 8 个主流 harness 上的表现。结论是 model-harness fit 真实存在——通过率 46.7% 到 66.7%,单次成功成本 $0.028 到 $0.195 差 7 倍,缓存命中率是成本分水岭。对写文章的启发:harness 对模型发挥的影响是数量级的,这正是「值得花时间配置 DSH 插件」的核心论据。

핵심

·model-harness fit 真实存在:同一模型在不同 harness 上通过率 46.7%~66.7%,成本差 7 倍
·缓存命中率是成本分水岭:Claude Code 只缓存 1.5% token,比缓存 70% 的 Codex 贵近一倍
·Reasonix 被评论区刷屏求测,说明 DeepSeek 专用 harness 赛道在 DSH 之前已有玩家

핵심 수치

·8 个 harness × 25 个真实自动化任务
·通过率最高 Pi Agent 66.7% vs 最低 OpenCode 46.7%
·单次成功成本 $0.028(Pi)到 $0.195(Claude Code)差 7 倍
·Claude Code 缓存命中仅 1.5%,Codex 70%、OMP 57%
·DeepSeek 官方 API 比 OpenRouter 第三方便宜约 10 倍

인용할 문장

Claude Code 和 OMP 每任务都用约 74.2 万 token,但 Claude Code 贵了近一倍:它只缓存了 1.5% 的 token,Codex 是 70%,OMP 是 57%。
全帖最锋利的数字对比,一句话讲清「缓存命中率=钱」,写 DSH 缓存优势段的背景铺垫
测试没有一致性:Pi 用 DeepSeek API high 档,其他走 OpenRouter——OpenRouter 背后是多家供应商,成本差异巨大。
31 赞方法论质疑,引用横评数据时的必要免责声明,显示文章懂行
为什么用 OpenRouter?DeepSeek 官方比第三方便宜差不多 10 倍。
20 赞实用提醒,可直接转成给读者的省钱建议:跑 DSH 走官方 API
Reasonix 是专为 DeepSeek 打造的 harness,在 DeepSeek 社区非常有名。
生态位背景:DSH 入场前已有专用 harness 玩家,写「官方下场意味着什么」时交代竞争格局
同意,这让我更想要一个正经的 harness 基准了。
社区对 harness 基准的渴望原声,恰好为几天后 DSH 发布的「等官方」情绪做注脚
DSH Wiki · DSH 소식통 · ai798 Lab 제작
DeepSeek Harness 공식 사이트 GitHub
실측 데이터