📌 素材来源与核查立场
被核查的素材是 Matt Wolfe 于 3 月初发布的视频《How To Run Open-Source AI Models on Your Phone (For Free)》。作者在 iPhone 17 Pro 上装了一款叫 Locally AI 的免费应用,全程飞行模式,演示在手机上跑 Qwen3.5 开源小模型。视频本身没有厂商赞助,作者明确说明该公司不知道他在做这期节目。
本文逐条核查视频里可验证的主张。所有数字标注来源与读取日期。核查立场三条:厂商自己发布的对比表只代表厂商自选口径;独立评测机构在同一套测试环境跑出的分数优先;官方文档与商店页面的现况优先于视频发布时点。
这条内容属于结构性教程,时效门槛宽(1095 天),但手机端的模型清单半年一换代。核查重点因此放在两处:作者演示的模型和能力,在今天是否还成立;以及他推荐的这款应用,现在归谁。
⚡ 速览四档表
| 视频主张 | 核查结论 | 依据 |
|---|---|---|
| 手机能离线跑还不错的开源模型,不发任何数据到云端 | 【有证据】属实的功能 | App Store 页面标明「Offline. Private. No login. No data collection」,Apple 生态内用 MLX 本地推理 |
| Qwen3.5 小模型在多项基准上强过 GPT-OSS-120B 与 GPT-5 Nano | 【有证据】数字对得上 | MMLU-Pro 82.5 vs 80.8、GPQA Diamond 81.7 vs 80.1、MMMU-Pro 70.1 vs 57.2 |
| Locally AI 是 Adrian 做的独立小应用 | 【已过时】 | 该应用 2026 年 4 月 8 日被 LM Studio(Element Labs)收购,开发者加入并主导原生移动端,现名 Locally AI by LM Studio |
| Qwen3.5 的 0.8B/2B/4B/9B 四档是手机端该选的型号 | 【已过时】 | 4 月起 Gemma 4(E2B/E4B)与 Qwen3.6 进入该区间,部分榜单指南也仍停在 Qwen3 |
🧩 那款应用现在归谁了
视频里作者提到开发者叫「Adrian」,并在评论区找到了他的一则发布帖。这名字拼写是 Adrien Grondin,不是同名两人。他做的确实是一个独立应用,不是套壳。
但这个应用已经不属于他了。2026 年 4 月 8 日,LM Studio 官方博客发布公告,宣布收购 Locally AI,开发者 Grondin 加入 LM Studio 团队,负责跨设备的原生 AI 体验。LM Studio 的说法是把它纳入自有的「让 AI 在任何设备上都可用」这条路线;Grondin 本人的说法是会把 Locally AI 转为全职继续做。
现在 App Store 上的应用名是「Locally AI by LM Studio」,开发者主体是 Element Labs Inc,也就是 LM Studio 背后的公司。
这是个合规风险点。原视频演示的是下架前后的同一款应用,但演示时它背后只有一个人和一个团队;现在它背后是一家美国公司和一个开源模型分发平台。官方隐私声明仍是「不收集任何数据」,商店页面的 Data Not Collected 栏目没有变。功能上最大的变化是版本更新日志里这四项:Apple Foundation Models 现在支持视觉识别、新增 MiniCPM 5(1B 与 2B)、新增 LFM 2.5 VL(3B)、LM Link 连接稳定性改进。
📊 基准数字是对得上的
视频说 Qwen3.5 这四个型号「on par with the best open source GPT model, performs better than GPT-5 Nano」。这是发布方口径,但核下来并没有夸张。
Qwen3.5 小模型系列于 2026 年 3 月 2 日发布,四档为 0.8B、2B、4B、9B,全部 Apache 2.0 授权,原生多模态,上下文 262K。9B 型号在几项常被引用的分数上:
- MMLU-Pro 82.5,对照 GPT-OSS-120B 的 80.8(后者参数量是它的 13 倍)
- GPQA Diamond 81.7,对照 GPT-OSS-120B 的 80.1、对照上代 Qwen3-30B 的 77.2
- MMMU-Pro 70.1,对照 GPT-5-Nano 的 57.2,差 12.9 分
- MathVision 78.9,对照 GPT-5-Nano 的 62.2,差 16.7 分
- OmniDocBench 1.5 得 87.7,对照 GPT-5-Nano 的 55.9,差 31.8 分
文档理解那一项差得最大,也最容易在日常里感到——截图、表格、表单、混合版式,这类任务过去是云端小模型的短板。4B 型号在多数视觉项上也高于 GPT-5-Nano 与 Gemini 2.5 Flash-Lite。
一个必须说清的前提:这些是厂商发布表里的数字,不是第三方独立复测。视频作者自己也讲了「我不太看重基准」。所以正确的读法是「量级可信,具体分差别当精确值」,而不是当成排行榜。
📱 型号选择的门槛与现状
视频给的对应关系是:4B 型号建议 iPhone 15 Pro 或更新,2B 型号 iPhone 15 即可,0.8B 型号 iPhone 14 或更新。作者自己用的是 17 Pro,4B 型号下载约 5 分钟。内存占用的口径要分清两种:量化后的下载体积,与推理时的活动内存,不是一回事。
另一份 2026 年 9 月的整理给了四档量化下载体积:Qwen3.5-0.8B 约 1.0 GB、2B 约 2.7 GB、4B 约 3.4 GB、9B 约 6.6 GB,对应最小内存 2 / 4 / 6 / 8 GB。手机能塞进 2B 与 4B,9B 那档基本是笔记本级别。
现在的可选集合比视频发布时宽了一圈。Google 在 4 月 2 日放出 Gemma 4,四个型号 E2B、E4B、26B、31B,同样 Apache 2.0。E2B 有效参数约 2.3B、128K 上下文、支持文本图像音频三类输入,量化后约 2.9 GB,iOS 上 4 月 5 日就通过 Google AI Edge Gallery 上线。E4B 是对应的 4.5B 版本,量化下载约 4.5 GB。Qwen 那边同月出了 Qwen3.6,27B 稠密型号可量化进 24GB 显卡,已不属于手机级。
还有一条视频没提到的路:Apple 自家的 Apple Foundation Models。2026 年 9 月随 iOS 27 与 macOS 27 更新的这版模型已经支持离线运行与图像识别,Locally AI 这类应用可以直接调用它,不需要下载任何权重。用法是启动应用后选「Apple Foundation Advanced」再点继续,聊天界面直接出现,回答几乎无等待。官方对它的描述是「答案更好、指令遵循更好、现在能看图」。
这条路有明确的能力边界。日本媒体实测问它照片里是谁,回答是「这两个人无法识别」——即便对象是公众人物,也输不出名字。所以它能做识物与识图,不能做人脸识别。
还有一个时间差要说清:Qwen3.5 是 3 月 2 日发布,视频 3 月 3 日发,次日跟进。文中拿它比当时的对标模型没有问题,七个月后再照着这份清单选型就会落后一代。 发布两年的实时生成游戏模型，也做过同样的承诺兑现度对账。
🔍 演示里能看出模型的真实水平
视频最有价值的部分不是推荐,是两次实测暴露出的能力边界。
第一次是数「strawberry」里有几个 R。Qwen3.5 4B 答对了,三个。这个题目曾是很多小模型的翻车点,现在小模型能过。
第二次是那个 2B 型号被问「离家 200 米的洗车店,该走路还是开车」。2B 的回答里给出一段推理,说走 200 米大约需要 1.1 到 2 小时。这句话本身是荒谬的——200 米按正常步速大约两分半——但它没有意识到荒谬,还顺着这个错误前提展开,比较「步行一小时以上」和「开车十到十五分钟」的优劣。作者的评价是它「在其他模型身上也有同样的逻辑缺陷」。
接着还有一个反常识的转折:作者追问,如果洗车必须把车开进去,那是不是还得走回去。这个追问把 2B 模型从一个看似合理的判断,推回到了常识范围。
这段的核查价值在于,小模型的错误往往不是知识缺失,而是把一个明显离谱的中间量当成既定条件顺推下去。看不出离谱,是因为模型没有回头检查前提。判断小模型能不能用,看的就是它会不会做这种回头检查。
另两个观察也值得记。作者打开思考模式后,手机明显发热,滚动开始卡顿;对话越长,响应越慢,因为上下文在累积。这是端侧推理的物理约束,不是软件 bug——同样的现象在笔记本上跑本地模型也会出现。作者还提到视觉模式、语音模式与 Siri 快捷指令都在,但语音模式需要额外下载,并非默认安装。
💰 本地跑真正的账,不在内存上
本地推理最常被夸的两点是免费和隐私,这两点都不假,但都容易被说得太满。
免费的说法只对了一半。模型权重确实是免费下载,硬件你已经买了,所以边际成本确实接近零。但把本地推理理解成「以后都不花钱」会错两处。一处是电:端侧推理是拿手机电池换推理速度,长时间跑会发热降频,能效比远低于数据中心。一处是时间:4B 型号在手机上的下载体积约 3.4 GB,一次几分钟到二十分钟不等,换模型就是重来一遍。
对比云端更清楚。云端按 token 计费这件事有一套独立的算法,讨论见Grok 4.6 与 GPT-5.6 那场价格战的算账那篇——里面拆了列表价与实测账单的区别、20 万 token 后的整单重算规则,以及为什么同一张价格表上的对手分数需要交叉核对。同一套逻辑套在端侧场景里,结论是:如果你一个月只用几十次短问答,本地确实省;如果每天长时间对话,云端按量付费的总额未必更高,而本地要付的是电与时间。
隐私的说法则需要限定对象。数据不出设备这一点在 iOS 上成立,因为推理走的是 MLX 这类本地运行时。但要说清楚边界:模型权重来自第三方分发平台,应用更新来自 App Store,这两处的信任问题与云端服务是同一类问题,只是不在同一条链上。
还有一件与成本无关但同样实际的事:云端对话默认会留存,本地对话默认不会,后者需要你自己知道去清。这一点值得单独理解,原理见记忆摘要能改但改不掉那篇。如果你想在本地跑微调而不是推理,门槛是另一回事,成本表见那笔两美元多的自己训语气账那篇。
✅ 该怎么选
给具体场景,不给排名。
- 手机离线 + 长文本:Qwen3.5-4B 是稳妥起点,量化后约 3.4 GB,视觉与 262K 上下文都在,Apache 2.0 随便改。
- 手机离线 + 要能看图和听声音:Gemma 4 E2B 或 E4B,这是四个型号里少数明确支持音频输入的,量化后 2.9 / 4.5 GB。
- 不想等下载:Apple Foundation Models,系统自带,零下载,代价是不能识别人脸。
- 兜底思路:0.8B 那档跑在 iPhone 14 级别机器上,适合分类、抽取、意图分流这类不需要像样的输出,不要指望它做推理。
- 要跑 Agent:Liquid AI 在 8 月放的 LFM2.5-2.6B 是专为此训的,Q4 GGUF 约 1.67 GB,手机上报 30 token 每秒左右。有个实测细节:跑 Qwen 系列要设 temperature 0.6,贪心解码会导致重复循环。
最后一条验证成本最低,也最值得做:装上,飞行模式,问同一个你答错过的问题,看它会不会自己发现前提荒谬。这一步比任何基准分数都更能告诉你它能不能用。
⚠️ 免责与证据等级
本文是信息整理,不是购买建议,工具价格与功能以官方为准。文中的基准分数除注明来源为独立实测的部分外,均取自各厂商自行发布的对比表,尚未经第三方在统一环境下复测,量级可信而具体分差不宜当精确值。手机端的可用型号、强弱排序与内存门槛变动很快,本文核对日期为 2026 年 10 月初,隔月请以各模型仓库与应用商店页面为准。