开源世界模型 InSpatio-World 实测核查：24FPS 属实，14B 主模型已被撤下

视频来源:AI Advantage / MattVidPro(Matt Wolfe)频道对 InSpatio-World、Google Stitch、Google AI Studio 新版的一手上手演示,2026年9月发布。本文为公开内容与论文原文的事实核查整理,不构成任何产品承诺;工具价格与功能以官方页面为准。

先说结论:开源世界模型 InSpatio-World 确实存在、确实是 Apache-2.0 开源、1.3B 权重今天就能下载跑起来;但视频里"主模型 14B"的印象是错的——14B 配置在 2026 年 4 月 11 日就被从公开仓库删除了,论文里那些亮眼的 FID/FVD 数字正是用这个已经拿不到的 14B 跑出来的。开发者现在能下载的只有 1.3B,而官方宣称的"WorldScore-Dynamic 实时方法第一"用的也正是 1.3B(68.72 分,压过同为实时的 TeleWorld 66.73),所以这个第一是真的,但它在"实时/交互"这个限定词内成立——放到全部方法里,不可实时运行的 FantasyWorld-1.0 是 71.39,比它高。

⚡ 速看结论:四档核查表

• ✅ 「完全开源、权重和代码今天就能下」属实——GitHub 仓库 inspatio/inspatio-world 为 Apache-2.0 协议,1.3B 权重挂在 HuggingFace inspatio/world,仓库约 1.0k star / 89 fork;
• ✅ 「实时方法里排第一」属实但有前置条件——WorldScore-Dynamic 动态总分 68.72,优于同为实时的 TeleWorld(66.73);但不限实时的话 FantasyWorld-1.0 是 71.39,官方与论文都只声称"实时/交互方法中第一";
• ✅ 速度数字来自论文原文——1.3B 在 H 系列 NVIDIA GPU 上 24 FPS,单张 RTX 4090 上 10 FPS,加速手段是把 Wan-VAE 换成 Tiny-VAE 再叠 torch.compile;
• ⚠️ 「主模型是 14B」已过期——论文 Table 2 明写"为与 LingBot-World 保持一致,采用 14B 版本",而仓库在 2026 年 4 月 11 日有一次名为 remove_14B 的提交,同时改动了 configs/ 与 run_example.sh;今天能拿到的只有 1.3B;
• ⚠️ 「1.3B 大概 10–12GB 显存」是视频作者的外推,不是官方口径——论文和 README 都没给显存数字,只给了 4090 上 10 FPS 这个实测速度;
• ⚠️ Stitch「免费」成立,但额度口径各来源互相打架——第三方资料同时流传"标准 350 次/月 + Pro 200 次/月"和"每天 400 设计额度 + 15 次重设计额度"两套数字,Google 开发者论坛上另有"每天 150 次设计额度"的官方回复,三者对不上;
• ❌ 「世界模型已经能用了」说过头了——在线 demo 的交互延迟在视频实测里被评为"完全不能当游戏玩",时间控制、边界限制、人物幻觉(背景里的人没有手臂)都还是演示级; 同类「看着像产品、其实还停在演示级」的开源项目还有对照样本，浏览器里的开源 3D 地球那篇把这条线划得更清楚。
• ❌ 论文未经同行评审——arXiv 预印本,标注为 arXiv perpetual non-exclusive license,至今没有会议/期刊收录记录。

🧩 这个项目到底做了什么

官方定位是"首个由参考视频驱动的 4D 世界模型":输入一段单目视频,输出一个可以自由走动、可以暂停/慢放/倒放、能沿自定义相机轨迹漫游的动态场景。论文的框架叫 STAR(Spatio-Temporal Autoregressive),由两个部件组成:

• 隐式时空缓存(Implicit Spatiotemporal Cache)——把参考帧和历史生成帧聚合进一个固定滑动窗口的隐状态,充当长程记忆。作者明确说这是为了解决自回归框架在长时间运行或大视角切换时"丢失场景结构与环境状态"的漂移问题;
• 显式空间约束模块(Explicit Spatial Constraint)——引入参考帧的几何信息做多视角一致性,把用户的交互指令翻译成精确的相机轨迹。这条思路的作者标注为来自他们前作 InSpatio-WorldFM,本文把它推广到了视频生成模型上。

第三个组件 JDMD(Joint Distribution Matching Distillation) 针对的是"合成数据越训越假"这个问题:把训练拆成可控视频重渲染(V2V,学运动控制)和文生视频(T2V,对齐真实世界数据分布)两个蒸馏任务,共享权重,让真实分布的梯度去校准 V2V 的特征空间。作者的解释是两个任务输入结构不同,所以运动控制和视觉保真度的梯度不会互相干扰。

工程上它不是端到端的:完整流程是三步——Florence-2-large 给视频生成字幕 → DA3(Depth-Anything-3) 估深度并渲染点云 → InSpatio-World-1.3B 做 V2V 推理。骨干基于 Wan2.1,训练代码参考了 Self-Forcing,推理加速的 TAEV 组件来自 TAEHV。

📊 数字核对:第一是真的,但限定词也是真的

论文 Table 1(WorldScore,越低越好的是 FVD/FID,越高越好的是分数类指标)里 InSpatio-World 的成绩单:

三点值得单独拎出来:

• 「第一」的边界——实时/交互这一栏里只有 TeleWorld 和 InSpatio-World 两家,68.72 vs 66.73 是真第一;但全表最高的 71.39 是不可实时的 FantasyWorld-1.0,官方措辞"ranking first among all the models with real-time or interactive inference speed"没有夸大,视频里"排第一"的转述丢了限定词。
• 它的长板是相机控制,不是所有维度——相机分 81.51 明显领先,3D 一致性 84.18 低于 TeleWorld 的 87.35,更别说 CogVideoX 的 86.21;论文自己的静态总分 75.81 也低于 FantasyWorld 的 80.45。选型要看你要的是"跟着指令走准"还是"画面稳"。
• Table 2 那组漂亮数字是 14B 的——RE10K-Long 数据集上 FID 42.68 / FVD 100.55 / Rot 2.8762 / Trans 0.1398,对比 Infinite-World(89.44 / 215.96 / 16.518 / 0.4715)和 LingBot-World(64.84 / 173.02 / 11.981 / 0.2064)优势明显。这一行是 14B 跑的,而 14B 今天不可得。拿这组数字去预期 1.3B 的实际表现,会高估。

⚠️ 危险主张:这几条别照着做

1.「1.3B 大概需要 10–12GB 显存」——视频作者的经验外推,论文和 README 均未给出显存数字,未找到官方明示。官方给的唯一硬件口径是"单张 RTX 4090 上 10 FPS"(4090 是 24GB 卡)。要判断自己机器跑不跑得动,直接看显存够不够装下 Wan2.1-T2V-1.3B 文本编码器 + VAE + DA3 深度模型 + 1.3B 主模型这一整套,而不是套用 10–12GB 这个数。装不下就得 offload,速度另算。

2.「14B 是主模型,1.3B 是阉割版」——时点错了。仓库 2026 年 4 月 11 日的 remove_14B 提交已经把它拿掉。论文里 14B 只出现在 Table 2 的对比语境中(理由是要和 LingBot-World 同规模),作者从未把它作为公开分发版本。

3.「下载权重就能得到宣传片里的画质」——官方 demo 用的是哪一档权重、什么分辨率、多少步数,README 没写。项目页自己也说训练只需"数十块 GPU、训练成本相当低",但没给出 GPU 型号、卡时或总成本,无法据此反推复现难度。 另一个角度的「能不能在本地跑起来」，只做长文档和图文两类入口那篇记过一次额度与算力的实际水位。

4. 把 WorldScore 分数当绝对质量指标——这个基准只有 7 个方法在榜,且大量对照组是离线模型。跨基准的分数不可比,拿 68.72 去和别的评测体系里的数字横比没有意义。

🛠️ 跑起来要准备什么

README 明示的硬门槛很克制,但有几个坑:

• Python 3.10、CUDA 12.1,conda 环境按 environment.yml 建;
• FlashAttention-3 可选,且只对 Hopper(H100/H800)有效并需要 nvcc >= 12.3;非 Hopper 会自动回落到 FlashAttention-2;
• 要下四组权重/模型(1.3B 主模型、Wan2.1 文本编码器+VAE、DA3 深度、Florence-2-large),TAEHV 加速组件可选;
• 相机轨迹靠 --traj_txt_path 传一个 txt 文件控制,仓库里给了 traj/x_y_circle_cycle.txt 这类示例——这是个离线批处理管线,不是给你一个可以实时转视角的交互窗口,这点和在线 demo 的体验完全是两回事。

如果你的目标是"在自己机器上跑视频/图像生成",而不是专门研究世界模型,那本地视频模型这条线反而更成熟——可参考MiniMax H3 开源视频模型的本地实测,那条路径的显存占用和生成时长是实测过的。

🎨 Stitch 与 AI Studio:视频里最有价值的那半段

InSpatio 部分之外,视频后半段演示了 Google 的两个更新,核查结论如下:

• ✅ DESIGN.md 开源属实,而且有时间点——Google 官方博客 2026 年 4 月 21 日发布《Stitch app's DESIGN.md format is now open-source for designers》(作者 Cassia Xu),开源的是草案规范(draft specification),代码在 google-labs-code/design.md。官方对它的定位是让 AI agent 知道"这个颜色是干什么用的",并能对照 WCAG 无障碍规则自检。
• ✅ Stitch 的演进路径属实——2026 年 3 月重构为 AI 原生无限画布 + 项目感知的设计 agent,Google I/O 2026 加入实时流式与引导式生成,并打通到 Antigravity 和网页发布。所以视频里"设计系统能跨页面保持一致""导出后能丢给其他 agent 继续改"是产品实际能力,不是演示话术。
• ⚠️ 免费额度口径混乱,别照着任何一家数字规划——目前三方来源互相冲突:有说"标准档每月 350 次(Gemini 2.5 Flash)+ Pro 档 200 次(Gemini 2.5 Pro)",有说 Stitch 2.0 从 2026 年 4 月起改成"每天 400 设计额度 + 15 重设计额度、按复杂度扣减",Google 开发者论坛里的官方回复则是"目前每天提供 150 次设计额度,正在扩展"。唯一能确定的是:产品免费、不要信用卡;额度数字请以你登录后设置页显示的为准。
• ⚠️ 「AI Studio 比 Gemini 网页强」的结论是体验层面的——视频的对照实验是:同一句 prompt,Gemini App 的 canvas 吐出 550 行单体代码,AI Studio 因为自带虚拟文件系统和 .json/.tsx 多文件结构,产出的是分离的 UI / 游戏循环 / 夹娃娃机逻辑。这个观察有价值,但它没有量化,本质是"脚手架决定产出形态"的一个案例,不能推广成"AI Studio 全面更强"。

AI Studio 这个形态和聊天助手的日历联动实测里那套插件体系是同一条产品线思路的延伸:把 agent 从"只会聊天"推到"自带一个能读写文件的沙箱"。顺带说一句,视频里提到的"事件触发"问题在那篇实测里也踩过——定时轮询不等于真正的 when-this-do-that,这是当前 agent 生态的通病而非某一家的问题。

✅ 可以直接采纳 / ⛔ 不建议自行采纳

🧾 参考来源

• Shen D, Zhang G, Liu H, et al. (InSpatio Team). INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling. arXiv:2604.07209v2 [cs.CV], 2026 年 4 月 13 日提交。arxiv.org/abs/2604.07209（预印本,未经同行评审）
• InSpatio-World 开源仓库(Apache-2.0)。github.com/inspatio/inspatio-world（含 remove_14B 提交记录 2026-04-11）
• InSpatio-World 官方项目页(速度与训练成本表述出处)。inspatio.github.io/inspatio-world
• 模型权重(1.3B)。huggingface.co/inspatio/world
• Xu C. Stitch app's DESIGN.md format is now open-source for designers. Google 官方博客,2026 年 4 月 21 日。blog.google
• DESIGN.md 草案规范仓库。github.com/google-labs-code/design.md

本文为公开内容与论文原文的事实核查整理,信息以官方页面最新公告为准,不构成投资、采购或产品效果承诺。

🔗 延伸阅读

• 手机离线跑大模型的实测与硬件门槛——消费级设备跑模型的显存与速度实测,判断本机能否本地推理的参考
• AI 视频检测的工具边界实测——生成内容越来越多之后,怎么判断一段视频是不是模型合成的
• 聊天助手的日历联动实测——agent 从聊天走向带沙箱的实践,与本文的 AI Studio 形态同源