menu Witchery_Lab 手机离线跑大模型:Locally AI 实测 Qwen 3.5,飞行模式可用、数据不出机
文章开始
文章结尾
~/blog/🤖 人工智能 AI/手机离线跑大模型:Locally AI 实测 Qwen 3.5,飞行模式可用、数据不出机

手机离线跑大模型:Locally AI 实测 Qwen 3.5,飞行模式可用、数据不出机

手机离线跑大模型
📹 来源:YouTube 频道 Matt Wolfe《How To Run Open-Source AI Models on Your Phone (For Free)》(发布于 Qwen 3.5 Small 发布当周,2026 年 3 月初)。本文重构其完整上手流程与实机演示,并对每一条关键主张对照阿里官方发布信息、Locally AI 官网与 App Store 页面核查;视频为非赞助内容,但跑分与体验属作者单点实测,下文逐条标注可信等级。

一句话直答:在近五年的 iPhone 上装一个免费 App(Locally AI),下载 Qwen 3.5 这类开源小模型后,开飞行模式也能完整对话——数据不出手机、不经过任何云端;它替代不了 GPT/Claude 旗舰,但作为隐私与离线场景的兜底工具已经够用。

先评估门槛再上工具:想让模型学自己的语气,最低成本的那条路在 自己训一个专属模型那篇的算账段——8B 底座训一次两块五,难的不是钱,是验证曲线会读。

⚡ 速览:核心主张核查表

视频主张结论依据
Locally AI 可在 iPhone 本地跑开源模型,免费✅ 属实官网 locallyai.app 明示支持 iPhone/iPad/Mac、针对 Apple Silicon 优化;App Store 页面在架(视频拍摄时 4.8 星 / 579 评分,评分有时效性)
Qwen 3.5 刚发布,有 0.8B/2B/4B/9B 四档✅ 属实阿里 Qwen 官方账号 2026-03-02 发布 Qwen3.5 Small 系列(0.8B/2B/4B/9B),Hugging Face 模型卡同步上线;0.8B/2B 定位边缘设备、4B 为轻量 Agent 多模态基座、9B 主打推理
4B 建议 iPhone 15 Pro+、2B 建议 iPhone 15、0.8B 支持 iPhone 14+✅ App 内明示视频展示 App 选模型界面的官方推荐口径;属应用侧工程建议,非阿里官方指标
飞行模式下完整可用,数据不出手机✅ 机制成立作者实机演示飞行模式连续对话;本地推理架构上无云端调用,隐私主张与机制一致(未做抓包级验证,但无反向证据)
Qwen 3.5 跑分「多数优于 GPT-5 Nano」🟡 打折听作者引用的官方榜单口径,未见独立复现;小模型跑分与真实体验常有落差,作者自己也说「不太看重跑分」
「相当于一两年前最强云端模型的水平」🟡 主观概括方向上与行业趋势一致,但无对照实测数据支撑,属体验型判断
不如 GPT 5.3 / Claude Opus 4.6 等云端旗舰✅ 合理参数量差三个数量级,复杂推理/长代码仍需云端,作者明确承认
Android 同样适用❌ 视频未覆盖Locally AI 官网只列 Apple 平台;Android 的免费官方通道是 Google AI Edge Gallery(见下文)

📱 Locally AI 是个什么 App

作者 Matt Wolfe 看到开发者 Adrian Grandin 演示在飞行模式下跑 Qwen 3.5 后顺藤摸瓜找到的这款应用:Locally AI,App Store 免费下载,官网标注支持 iPhone、iPad 和 Mac,针对 Apple Silicon 优化。首次打开可选 Apple 自带的 Foundation 模型、Gemma 2、Qwen 3 1.7B、Llama 3.2;跳过后能看到更多模型,包括刚发布的 Qwen 3.5 系列的 0.8B、2B、4B 三档(9B 档未在 App 内提供,手机内存吃不消)。

App 内功能不花哨但齐全:模型管理、自定义指令(personalization)、温度调节、一键删除全部对话历史,还能挂 Siri 快捷指令——说「Hey, Locally AI」直接提问。语音模式按需单独下载,不默认安装。视频拍摄时 App Store 评分 4.8 / 579 条,属早期口碑不错的工具。

🧠 Qwen 3.5 Small 是什么水平

阿里 2026-03-02 发布的 Qwen3.5 Small 系列共四档:0.8B / 2B 主打边缘设备与 IoT(低显存占用、高吞吐)、4B 是轻量 Agent 的多模态基座、9B 主打推理、对标 30B+ 级别。官方口径是「同一 Qwen3.5 基座、原生多模态、改进架构、强化学习规模训练」。旗舰线的发布核查与演示虚实见 Qwen 3.8 Max 发布核查。

放在手机上要冷静看:这是几十亿参数的小模型,定位是「飞机上也能用的随身助手」——头脑风暴、写作草稿、日常问答、哄娃支招这类任务够用;复杂数学、长代码、需要最新事实的问题别指望它。作者在视频里也明确:它不如 GPT 5.3、Claude Opus 4.6 这些云端旗舰,「但比一两年前的最强模型好」——后半句属主观体验,没有对照数据,听听就好。

🛠️ 上手全流程(按视频重构)

  • 📲 App Store 搜「Locally AI」下载(认准官网 locallyai.app 跳转,避免同名李鬼)
  • 🧩 首次打开跳过默认模型列表,在完整列表里选 Qwen 3.5,按机型挑档位(下表)
  • ⏬ 作者家用 Wi-Fi 下载 4B 档约 5 分钟;2B 档再花几分钟,可按需都装上对比速度
  • ⚙️ 设置里可配自定义指令与温度,默认即可;需要语音再单独下载语音模式
  • ✈️ 开飞行模式实测:连续对话正常流式输出,不联网、不走云端
模型档App 内推荐机型定位
Qwen 3.5 4BiPhone 15 Pro 或更新手机上能跑的「最聪明」档,作者主力演示档
Qwen 3.5 2BiPhone 15(非 Pro 可)速度与质量平衡档
Qwen 3.5 0.8BiPhone 14 或更新老机型兜底,速度最快

🧪 视频实测名场面

  • 🍓 strawberry 里有几个 R:4B 档拆解后答对(3 个),经典陷阱题过关
  • 🚗 洗车店离家 200 米,走路还是开车:2B 档暴露出小模型通病——绕开直接回答、罗列条件不下结论,「同款逻辑短板其他模型也有」
  • ✈️ 飞行模式哄娃:开飞行模式问「孩子被没收 iPad 在闹,怎么安抚」,流式输出了一篇结构完整、带排版的长答案——3 万英尺高空没网也能用的场景成立
  • 🌮 语音模式晚餐建议:给出烤三文鱼、鸡肉炒饭、蔬菜汤、taco bar、披萨五个选项并反问冰箱里有什么,多轮交互正常

作者强调视频非赞助:Locally AI 与开发者事先不知情。动机是「AI 圈太吵,想分享一个自己觉得酷的工具」。

🔍 核查补丁:哪些话要打折听

  • 🟡 「多数跑分优于 GPT-5 Nano」:作者引用的是官方榜单口径,本文未找到独立复现;小模型刷分与真实体验脱节是常态,作者自己也不看重跑分
  • 🟡 「比一两年前的最强模型还好」:体验型概括,无对照实测;方向上符合行业趋势,但别当硬结论
  • 🔋 免费≠零成本:模型文件要占存储(视频未给具体大小,按 0.8B–4B 量化模型的常见量级估算为数 GB 级,属经验估算非视频数据),本地推理吃芯片,长时间对话会发热耗电(常识推断,视频未测)
  • ⭐ App Store 4.8 分是视频拍摄时点数据,下载前以当前评分为准
  • 📵 「数据完全不出手机」与本地推理机制一致,但本文未做网络抓包验证;对隐私极度敏感的场景,建议飞行模式下使用更稳妥

🤖 Android 用户怎么办

Locally AI 官网只列 Apple 平台,视频也没覆盖 Android。Android 的免费官方通道是 Google AI Edge Gallery:Google AI Edge 团队的开源应用,Android 10 及以上可用,在应用内直接下载 Gemma 4 E2B/E4B 模型,同样全离线、无 API key、无云端费用。玩法与 Locally AI 对齐:装 App → 下模型 → 断网用。想在电脑上跑更大的本地模型(8GB 显存起步)的玩法见 MiniMax H3 本地实测。

✅ 实操建议:什么场景用本地,什么场景回云端

适合本地:飞机/地铁/野外等弱网无网环境;病历、日记、家庭矛盾等不想上云的隐私话题;头脑风暴、草稿、日常问答;给孩子用的「干净」AI 入口。

必须回云端:复杂推理与长代码、需要联网查最新事实的问题、多模态重型任务。小模型的事实性错误率天然更高,任何要当真的答案(健康、法律、财务)都不要直接采信本地小模型的输出。云端旗舰套餐怎么选、同价位 token 量差多少,见 五大厂订阅套餐年付横评。 想给本机算一笔更精确的显存账,可以看 开源世界模型的真实硬件门槛拆解——同样的问题在单卡 4090 上是什么量级,那里有论文实测数字。

❓ FAQ

  • 中文能用吗?Qwen 系列原生多语言、中文是其传统强项(官方定位);视频只演示了英文,中文体验建议自测。
  • 模型文件多大?视频未给出数字;按参数量级估算为数 GB 级(经验估算,非视频数据),下载前留意剩余存储。
  • 真的完全免费?App 免费、开源模型免费;真实成本是存储空间、电量与发热。
  • 能替代 ChatGPT / Claude 吗?不能。它是隐私与离线场景的兜底,不是旗舰平替;复杂任务仍需云端旗舰。

📚 参考来源

  • 原视频:youtube.com/watch?v=4dZ0VYjB8N8(Matt Wolfe《How To Run Open-Source AI Models on Your Phone (For Free)》,非赞助)
  • Qwen3.5 Small 官方发布:x.com/Alibaba_Qwen 公告(2026-03-02,0.8B/2B/4B/9B 四档定位)+ huggingface.co/Qwen/Qwen3.5-0.8B 模型卡
  • 发布报道:Marktechpost《Alibaba just released Qwen 3.5 Small models》(2026-03-02)
  • Locally AI 官网:locallyai.app(iPhone/iPad/Mac,Apple Silicon 优化)+ App Store 页面
  • Android 替代:developers.google.com/edge/gallery(Google AI Edge Gallery,Android 10+,Gemma 4 E2B/E4B 离线运行)

⚠️ 免责声明:本文信息整理自公开视频与公开资料,工具价格、机型要求与功能以官方最新页面为准;小模型输出可能存在事实性错误,健康、法律、财务等重要决策请自行核实。

← 返回博客列表 返回首页