menu Witchery_Lab Ornith 1.0 9B 本地跑核查:标题的「Opus 级」是 397B,9B 差 42 分(核查)
文章开始
文章结尾
~/blog/🤖 人工智能 AI/Ornith 1.0 9B 本地跑核查:标题的「Opus 级」是 397B,9B 差 42 分(核查)

Ornith 1.0 9B 本地跑核查:标题的「Opus 级」是 397B,9B 差 42 分(核查)

Ornith 1.0 本地跑核查

Ornith 1.0 本地跑真实情况是:视频标题说的「Opus 级」指的是 397B 旗舰,教程里真让你下载的却是 9B。同一张官方表上,9B 比 Claude Opus 4.8 低了 41.9 分;换独立榜单的 Opus 4.8 数据,也还差 28.8 分。

硬件那三条视频说对了:8GB 显存这条门槛没有夸大,35B 的 24GB 确实不够宽裕,397B 与家用机无关。问题出在「Opus 级」四个字和 9B 之间那道没人补的桥——397B 打得过 Opus 4.7,不代表你装得起的 9B 也打得过。

📌 视频来源与核查立场

素材是 The AI Grid 的 Ornith 1.0 Tutorial - How To Install and Use Ornith 1.0 (Opus Level Coding Locally),实测发布日期 2026-06-29,时长 8 分 54 秒,走 LM Studio 桌面端下载 9B GGUF 权重,生成单文件 HTML 应用,中间还演示了一次失败与一次修补。

核查立场:Ornith-1.0 的规格、基准表、许可证都取自 Hugging Face 官方模型卡与 DeepReinforce 技术博客;显存与文件体积取自第三方硬件测算站;跨来源的基准名冲突单列一节,不替任何一方选一个数。涉及模型能力的断言一律标出是谁在什么口径下测的。

⚡ 速览:七条判定

视频的主张判定依据
397B 版本在各基准上与前沿闭源模型竞争基本属实,但是厂商自报官方表 397B 的 SWE-bench Verified 82.4、SWE-bench Pro 62.2、Terminal-Bench 2.1(Terminus-2)77.5,五次运行平均
397B 版本在 Terminal-Bench 上压过 Opus 4.7属实(同一张表内)同表 Opus 4.7 为 70.3;但 Opus 4.8 为 85.0,仍在前面
标题的「Opus Level」适用于教程实际安装的 9B不成立9B 的 Terminal-Bench 2.1 是 43.1,Opus 4.8 是 85.0,差 41.9 分;换用独立榜单的 Opus 4.8(71.91)也还差 28.8 分
9B 只需 8GB 显存,12GB 更好方向正确,数值偏松第三方测算 Q4_K_M 下权重约 5.7GB、整机约 7.6GB 显存,建议至少 9GB;8GB 卡属于「刚好塞下」
35B 需要 24GB 显存,且「会慢会紧」属实第三方测 35B-A3B 的 Q4_K_M 约需 23.2GB 显存、建议 27GB;24GB 卡按其表属于 offload(溢出到系统内存)
397B 不适合家用机,需要多卡或数据中心属实官方模型卡给的 35B 服务配方就是 8×80GB 张量并行;9B 稠密模型 bf16 也约 19GB
模型只有 5GB 左右,完全离线可跑属实Q4_K_M 权重约 5.7GB,LM Studio 本地加载,推理不出本机

🧩 标题里的「Opus 级」和教程里的 9B 不是同一个东西

Ornith-1.0 由 DeepReinforce 在 2026-06-25 发布,一共四档:9B 稠密、31B 稠密、35B 混合专家、397B 混合专家,后两者分别后训练自 Qwen 3.5 与 Gemma 4,MIT 许可证,无地区限制。官方把整族的卖点写成「self-improving」:强化学习不只学解题过程,同时学驱动解题的脚手架,奖励回传给两个阶段。

这套说法在旗舰上有分量。官方表里 397B 的 Terminal-Bench 2.1(Terminus-2)是 77.5,同表 Opus 4.7 是 70.3,Opus 4.8 是 85.0。

SWE-bench Verified 一栏,397B 是 82.4,Opus 4.7 是 80.8,Opus 4.8 是 87.6。也就是说:397B 在 Terminal-Bench 与 SWE-bench Verified 上都赢 Opus 4.7,两栏也都输给 Opus 4.8。

视频真正的问题是把这一层的结论带到了下一层。9B 是同一族的最小档,官方给的 Terminal-Bench 2.1(Terminus-2)只有 43.1,Claude Code 脚手架口径 40.6。视频从头到尾没有念出这两个数字,标题却挂上了「Opus Level Coding Locally」。

📊 9B 的官方分数自己也不支持「Opus 级」

9B 的分数在同表里也压不过 35B 稠密基线。下面这些数字全部来自官方 9B 模型卡同一张表,可直接横向比:

基准(官方同表口径)Ornith-1.0-9BQwen3.5-9BQwen3.5-35BGemma4-31B
Terminal-Bench 2.1(Terminus-2)43.121.341.442.1
Terminal-Bench 2.1(Claude Code)40.618.938.9—
SWE-bench Verified69.453.270.052.0
SWE-bench Pro42.931.344.635.7
SWE-bench Multilingual52.039.760.351.7
NL2Repo27.216.220.515.5
Claw-eval 平均63.153.265.448.5

三件事可以直接读出来。

第一,9B 的强项集中在 Terminal-Bench 与 NL2Repo,都是命令行任务与仓库生成,对应「一条命令跑完」的形态。

第二,在 SWE-bench Verified、Pro、Multilingual、Claw-eval 四栏里,9B 全部低于同表的 Qwen3.5-35B。差距最大的 Multilingual 是 52.0 对 60.3,差 8.3 分。

第三,官方宣传里最亮眼的那句「9B 打平 Gemma4-31B」,落到具体数字是 43.1 对 42.1。这张表是五次运行平均,1.0 分落在噪声里。

站内已有两篇可对照的本地模型文章:显存预算怎么排见8GB 显存跑视频生成那篇,手机端离线跑权重的门槛见手机离线跑开源权重那篇。Ornith 9B 卡在两者之间:显存要求接近手机端的量级,但它是纯文本编码模型,没有多模态输入,不能替代手机那类用法。

🔍 同一个基准名,厂商表与独立榜单差 13 分

这是全篇最该记住的一条。凡是看到「A 模型打败 B 模型」,先看两边的数是不是同一个口径。

Claude Opus 4.8 在 Terminal-Bench 2.1(Terminus-2)这一个名字下有两个差很远的数:Z.ai 的对比表写 85.0,第三方独立评测站 Vals AI 的实测是 71.91%,差 13.09 分。

换成 Claude Code 脚手架口径,前者 78.9、后者 69.66%,差 9.24 分。同一个模型、同一个基准名、同一个 harness 名字,两套数差了 13 分。

原因不神秘:Terminal-Bench 的分数由模型、harness、任务集三者共同决定。厂商评测往往同时调了采样参数、改了 chat template、对 harness 做了适配。Ornith 官方就明确写了在 Terminal-Bench 评测里调整过 Qwen 的 chat template 以对齐训练与推理,并修改了 Harbor 的 key 格式。这类改动不违规,但「82.4 对 80.8」这种比较只在同一张表内成立。

第三方榜单那边同样能看到反例:Vals AI 的 Terminal-Bench 2.1 榜单上,Claude Opus 4.8 排第 25 名 71.91%,Claude Opus 4.7 排第 31 名 68.54%,GLM 5.2 第 33 名 67.79%。这个站已把 Terminal-Bench 2.1 归档为由 Terminal-Bench 4.0 取代,不再对新模型跑分,历史成绩保留供对照。

社区侧的独立复现更直接。有人拿 Ornith-1.5-35B 与 Qwen3.8-27B 做了对照并公开贴表:Terminal-Bench 2.1 是 67.8 对 73.0,SWE-bench Pro 是 59.6 对 61.7,DeepSWE 是 22.0 对 42.2。DeepSWE 那一栏差了将近一倍——而 DeepSWE 恰恰是最难靠单文件补丁刷分的长程工程基准。这是单人单次跑,不是同行评审,但足以说明「厂商表」与「复现值」之间经常不是同一件事。

⚙️ 硬件门槛:8GB 说得住,35B 的 24GB 是溢出不是刚好

视频列的三个数字,逐个对第三方测算口径。

9B:Q4_K_M 量化下权重约 5.7GB,加 KV 缓存与运行时开销,整机约需 7.6GB 显存,官方建议至少 9GB。视频说「8GB 能跑、12GB 更好」方向没错,但 8GB 是贴着天花板跑,不是宽裕。

速度受显存带宽限制,模型全量进显存和溢出到系统内存之间差着数倍:RTX 5090 与 4090 大约 132 tok/s,RTX 4080 Super 109 tok/s,RTX 4070 12GB 约 71 tok/s,RTX 4060 8GB 约 37 tok/s,最后这一档被标为 tight。

35B:这是 35B-A3B 的混合专家模型,激活参数 3B。Q4_K_M 下权重约 21.4GB、整机约 23.2GB 显存,测算站建议 27GB,24GB 卡的结论直接写的是 offload。视频说「24GB 可以但会慢会紧」,这个表述比多数测评准确,它没有把溢出说成装得下。

397B:与家用机无关。官方模型卡给的服务配方是 vLLM 加 SGLang,8 张 80GB 卡做张量并行,连 35B 那一档官方也这么写。9B 稠密模型 bf16 约 19GB,官方配方写的是单张 80GB 卡起步——这套配方面向服务端,不是桌面。

还有一条视频没提的硬门槛:官方要求 Transformers ≥ 5.8.1、vLLM ≥ 0.19.1、SGLang ≥ 0.5.9,且这些模型是默认开启思考块的推理模型,回复先来一段 <think>。LM Studio 这类桌面端能不能给推理块单独分流、给不给工具调用解析器,得按自己那套版本对一遍,别照抄视频的界面。

🔄 四个月后,Ornith-1.5 已经顶替 1.0

视频录于 2026-06-29,视频发布两个月后(2026-08-19/20),DeepReinforce 放出了 Ornith-1.5。这不是小修补,同尺寸模型的官方分数整体上移:

官方基准1.01.5变化
9B · Terminal-Bench 2.143.158.3+15.2
9B · SWE-bench Verified69.471.8+2.4
35B · Terminal-Bench 2.164.274.8+10.6
35B · SWE-bench Verified75.680.1+4.5
397B · Terminal-Bench 2.177.586.1+8.6(Opus 4.8 同栏 85.0)

做法上的变化是 1.5 在脚手架之上又加了一层:模型自己生成任务、自己搭脚手架、自己解,三段同时用 GRPO 训练,奖励回传给三段。所以叫「self-improvement」。这里的自我改进发生在训练期,不是下载后模型自己改权重——这一点官方与两篇独立分析的口径一致。

9B 一档还有个新选项:官方放出了量化版 Ornith-1.5-9B-Mobile,目标平台是手机。第三方给的 8GB 卡档位是 AD-Q5_K-Q4_K,文件 5.9GB、约 6GB 显存;16GB 统一内存的机器建议 AD-Q8_0-Q6_K;起步上下文开 8K 再按需往上调。

今天照着视频走,进 LM Studio 搜到的应该是 1.5 而不是 1.0,同一档 Terminal-Bench 差 15.2 分。

🧪 演示里那个问号按钮,是分数的注脚

视频自己留了两处失败。一处是让模型「改进设计并加一个深色模式按钮」,结果按钮渲染成了一个问号;作者一句「这就有点不太好」带过。另一处更典型:交易风险计算器的界面加载了,点计算按钮没反应,作者把 bug 描述清楚(「界面正常,点计算无响应,修 JS 让按钮生效,返回完整文件」),模型第二次就改对了。

这两处不是翻车,是演示本身给出的能力边界:单文件小应用能成型,交互细节靠人工描述修补才能收敛。这与 9B 的官方分数是一致的——43.1 的 Terminal-Bench 意味着约四成任务一次做不对,SWE-bench Verified 69.4 意味着真实仓库里三成问题需要返工。作者最后把 9B 称作「跑在自己机器上的初级开发者,检查它的工作」,这个定性跟 43.1 分的实测表现对得上,比标题里的「Opus 级」贴切。

✅ 可采纳 / ❌ 不可照抄

✅ 可以直接采纳❌ 不要照抄
MIT 许可、无地区限制,权重在 Hugging Face 与 ModelScope 均可取,商用与研究都不受限不要把标题的「Opus 级」套到 9B 上:同表 43.1 对 Opus 4.8 的 85.0,差 41.9 分
9B 的 Q4_K_M 权重约 5.7GB,8GB 显存能跑,隐私与零调用成本这两条是真的不要把「35B 用 24GB 显存」当成装得下:测算站结论是 offload,建议 27GB
完全离线运行,提示词不出本机,也不按消息计费——这是本地权重相对 API 的唯一硬优势不要用厂商表跨表比模型:同一基准名 Opus 4.8 有 85.0 与 71.91 两套数,差 13 分
小脚本、单文件网页应用、解释代码、明显的调试——这几类 9B 确实能干不要按视频的 1.0 数字决策:9B 的 Terminal-Bench 已从 43.1 升到 58.3,该下 1.5
「初级开发者 + 人工复核」这个定位,与官方分数和演示表现都对得上不要指望它独立处理大代码库、复杂前端项目、后端架构与长上下文多指令任务

📚 参考来源

  • Hugging Face,ornith-ai/Ornith-1.0-9B 官方模型卡(含 9B 全量基准表、采样参数、vLLM/SGLang 服务配方、推理模型说明)
  • Hugging Face,ornith-ai/Ornith-1.0-35B 官方模型卡(含 35B 基准表与 8×80GB 张量并行服务示例)
  • Hugging Face,ornith-ai/Ornith-1.0-9B-GGUF 官方量化权重页(标注可用 llama.cpp / LM Studio / Ollama / Jan 加载)
  • DeepReinforce 技术博客,Ornith-1.0 自脚手架 RL 说明(deep-reinforce.com)
  • explainx.ai,Ornith-1.0 与 Ornith-1.5 独立分析(397B/35B/9B 三档分数对照、评测脚手架说明、HN 社区复现数据转述)
  • Vals AI,Terminal-Bench 2.1 榜单与方法论(Opus 4.8 实测 71.91%、Opus 4.7 68.54%、GLM 5.2 67.79%;该基准已归档由 Terminal-Bench 4.0 取代)
  • willitrunai.com,Ornith 1.0 9B / 35B A3B 显存与速度测算(Q4_K_M 权重体积、各显卡 tok/s、35B 在 24GB 卡上的 offload 结论)
  • Atomic Chat,Ornith 1.5 9B 本地运行指南(8GB 卡 AD-Q5_K-Q4_K 5.9GB 文件、16GB 统一内存 AD-Q8_0-Q6_K、8K 起步上下文)

本文为公开信息核查整理,不构成投资建议。基准分数均为发布方或第三方在各自口径下的自报结果,尚未经同行评审;跨来源引用前请以各家最新页面为准。本地权重下载与运行请自行评估硬件与许可证条款。

← 返回博客列表 返回首页