RESEARCH LIBRARY · 修订版 3 · 2026-10-13

每个方向,都有一份研究 overview。

HCI、XR tutorial、AIGC、Method paper、Base paper:五类研究总述,25 个主题 overview。
从已有进展与代表论文,读到研究缺口、候选假设和验证思路。

21HCI
7XR tutorial
116AIGC
199Method paper
108Base paper

451 个研究条目 · 21 个主归档 topic · 4 个跨分类 XR 方向

完整 Overview · Word 25 个主题总结 · CSV 451 条速览 · Word XR 支撑与假设 · Word 论文分类索引 · CSV

全部方向与 Base / Method Overview

五类研究各有总述,下面每个主题都有研究脉络、代表论文、缺口与候选假设。25 个 overview=21 个主归档 topic+4 个 XR 研究方向;后者跨分类引用论文,不增加研究条目。

研究缺口、迁移建议和假设来自本次综合,尚未实测,也未进行新颖性确认;既有论文结论仍以逐篇证据边界为准。

CATEGORY OVERVIEW · 4 个主题

HCI|人的交互、控制与协作

这组论文关注人如何提出需求、核查输出、介入过程和共同创作。四条线从主动帮助延伸到推理核查、创作控制及 XR 开发;评价对象是人和系统共同完成任务的过程与结果。

范围边界 出现 human、agent 或交互环境并不足以成为 HCI 贡献。通用策略、训练和优化归入方法库;用户信任、实际识错和任务收益也须分别验证。

阅读路径 先从 H1 确定人的需求与控制权,再选 H2 核查、H3 共创或 H4 空间系统;按需借用 M1、M4、M5,最终回到真实用户任务评价。

H1 · Application paper · 5 篇主归档论文

主动交互、协作与用户需求

Overview Mixed-Initiative 与 Sensible Agent 讨论帮助的内容、方式与打扰;Watch-And-Help、NOIR 和自动化偏好研究分别提供协作、控制接口与用户需求证据。

研究脉络

  1. 控制权分配:Mixed-Initiative 以意图不确定性与打扰成本组织帮助。
  2. 情境化帮助与协作:主动 AR、观察后协助和脑信号控制提供不同接口;自动化偏好补充任务选择依据。

代表论文与支撑作用

证据边界

用户目标、交互负担和团队收益是核心;工具完成率或离线求助策略不自动属于该组。

研究缺口 · 综合判断

当前证据多来自特定任务或有限场景;用户偏好变化、介入后恢复和长期协作尚缺统一评价。

研究问题

系统如何在不同任务阶段交接控制,使团队收益改善且打扰可接受?

应用与复用条件
可借 M1 的求助策略与 M5 的决策成本;HCI 贡献仍需以人的体验和协作结果建立。

候选假设 · 尚未实测

在相同帮助预算下,结合任务阶段与用户拒绝反馈调整介入方式,可减少不必要打扰并保持团队完成率。

验证思路 比较固定介入与情境适应,控制人类可用时间;测团队成功、接管恢复、负担和长期偏好。

不支持假设的结果 若只提高满意度而增加错误或接管成本,或收益完全来自减少帮助次数,则该假设不成立。

建议阅读顺序 P055 P059 P141 P267

完整论文索引(5 篇主归档论文)

P055 P059 P141 P193 P267

返回 overview 目录 ↑
H2 · Application paper · 5 篇主归档论文

人工核查、推理交互与依赖校准

Overview Hippo、Vis-CoT 和交互解释界面使用户能定位与修改推理内容;不确定性表达研究则直接考察人的依赖和任务表现。

研究脉络

  1. 将长推理变为可浏览、可修改的树或图,降低定位和干预门槛。
  2. 从“解释容易懂”转向“人能否正确核查”,并单独研究不确定性措辞对依赖的影响。

代表论文与支撑作用

证据边界

文本思维链不是内部计算的忠实证据;可理解、信任与识错能力分别检验。语义熵和隐状态探针归共享方法。

研究缺口 · 综合判断

核查收益可能受额外人工知识、错误基率和解释形式影响,尚需与模型答案本身的改进分离。

研究问题

把可查证据、交互修改和置信提示放在关键决策点,能否帮助用户更准确核查?

应用与复用条件
M4 可提供证据定位,M5 可提供校准信号;在 HCI、XR 指令核查和 AIGC 审核中分别检验人的决策效果。

候选假设 · 尚未实测

在答案与提示信息量一致时,把可查证据绑定到具体推理节点,可降低错误接受率而不过度增加正确答案误拒。

验证思路 固定答案内容,操控正确性、错误基率和证据入口;测错误接受、正确误拒、核查时间及最终任务收益。

不支持假设的结果 若收益仅在高错误基率或更长阅读时间下出现,或只是降低整体信任,则不支持精确核查贡献。

建议阅读顺序 P076 P080 P091 P038

完整论文索引(5 篇主归档论文)

P038 P065 P076 P080 P091

返回 overview 目录 ↑
H3 · Application paper · 7 篇主归档论文

人机共创与可编辑工作流

Overview VideoDiff 组织备选剪辑差异,InstructPipe、DreamGarden 和 RPGAgent 连接意图与可编辑产物;拼贴、布局和艺术对话覆盖不同创作活动。

研究脉络

  1. VideoDiff/Collaposer 把已有素材与备选结果组织成可操作对象。
  2. InstructPipe/DreamGarden 让生成过程暴露为节点图或计划树;RPGAgent 延伸到可玩产物的一致性协作。

代表论文与支撑作用

证据边界

界面与作者控制是此处的研究对象;支撑它们的生成或规划算法可另作跨场景方法引用。

研究缺口 · 综合判断

中间过程可见尚不意味着依赖关系准确;一次局部修改对已认可内容的影响仍难预测。

研究问题

可检查的中间表示和修改影响预览,能否减少返工并保留已认可的创作意图?

应用与复用条件
复用 M1 的任务分解、M4 的证据定位及版本记录,分别用于 HCI 共创、XR 教程创作和 AIGC 工作流。

候选假设 · 尚未实测

为结构化编辑增加修改影响预览与可回退版本,可减少恢复已认可内容的返工,特别是在多轮创作中。

验证思路 比较纯对话、结构化编辑和影响预览,测编辑成本、非目标漂移、控制感和独立作品评价。

不支持假设的结果 若系统只多展示信息而未减少返工,或预览遗漏使非目标内容更易漂移,则不支持该设计。

建议阅读顺序 P029 P062 P147 VG28

完整论文索引(7 篇主归档论文)

P029 P040 P062 P147 P239 P344 VG28

返回 overview 目录 ↑
H4 · Application paper · 4 篇主归档论文

XR 开发、协作与无障碍

Overview XR Blocks 与 Vibe Coding XR 降低原型集成成本,Thing2Reality 以快速三维表示支持远程交流,无障碍访谈揭示指南落实的实际困难。

研究脉络

  1. XR Blocks 提供模块化空间交互基础,Vibe Coding XR 研究自然语言驱动的原型生成。
  2. Thing2Reality 将生成内容带入远程交流;无障碍访谈暴露从指南到实际开发的断层。

代表论文与支撑作用

证据边界

XR 开发与协作属于 HCI,但能运行的原型、空间交流和学生学会操作是不同结果。

研究缺口 · 综合判断

桌面原型成功与真实设备的空间、交互和无障碍需求之间缺少系统的验证闭环。

研究问题

如何让 AI 生成的空间交互原型同时满足任务需求、真机条件与不同能力用户的访问需求?

应用与复用条件
M1 工具调用与 B4 环境可辅助原型验证;XR 开发效率和 XR 教学效果仍是两个研究问题。

候选假设 · 尚未实测

把空间交互与访问需求写成可检查约束,并在真机反馈后修订,可提高真实任务需求满足率。

验证思路 将桌面测试延伸到真机任务与目标用户,分别测开发时间、需求满足、空间错误和可达性。

不支持假设的结果 若只提高编译或桌面运行成功率,真机任务与目标用户可达性未改善,则不支持实际开发收益。

建议阅读顺序 P060 P056 P057 P058

完整论文索引(4 篇主归档论文)

P056 P057 P058 P060

返回 overview 目录 ↑
CATEGORY OVERVIEW · 5 个主题

XR tutorial|四个研究方向与教学应用基础

四方向分别处理改变动作后的后果生成、信息不足时的主动取证、新证据下的任务内纠错、跨任务的持续改善。X0 另总结教程创作、动作反馈和空间指示的应用基础,连接生成技术与教学问题。

范围边界 XR 四方向是本次综合提出的研究议题,并非各自已经完整实现的文献类别。现有论文通常只支撑一环;视频正确、真实操作成功、学员独立学会需要三层证据。

阅读路径 先读 X0 确认教程对象,再按触发条件选 XR-C/L/S/E。每个 overview 可进入逐篇支撑表及两个可推翻假设。

XR-C · 跨分类研究方向 · 12 条支撑引用

Causality-Aware Video Generation and Editing

面向 XR 操作后果的因果视频生成与编辑

Overview 现有证据已从几何和轨迹控制走向对象删除后的交互重生成、物理动作条件和推理—生成对齐。下一步可研究步骤与机制改变时,如何同时生成必要后果并保持无关状态,再检验这种对照是否帮助学员理解原因。

研究脉络

  1. 技术链:步骤差异 → 影响范围 → 可执行状态/物理条件 → 视频后果。
  2. 教学链:正常/错误/纠正流程对齐 → 原因理解 → 无辅助的新对象迁移。

代表论文与支撑作用

证据边界

这里改变的是世界中的动作或机制;新观测推翻旧猜测归 XR-S,缺少事实而主动取证归 XR-L。

研究缺口 · 综合判断

已有后果编辑先例,但未由此建立任意步骤/机制干预、多跳影响及 XR 教学迁移的完整证据。

研究问题

当用户漏做一步、换了操作顺序或对象机制改变时,能否生成正确的后果对照,并保持不受影响的对象、步骤和空间布局?

应用与复用条件
完整支撑表逐篇区分原论文事实、XR 迁移方式与尚缺证据;详细实验基线和推翻条件见本方向专题。

候选假设 · 尚未实测

C-H1:带依赖的状态差异与保持约束,比单纯改提示更能在未见操作组合中生成正确后果。;C-H2:在视频正确性相当时,状态对齐的反事实示范比单一正确示范更能改善学员的机制迁移。

验证思路 C-H1:建议先用 20 个小型装配/开合场景,每个设置正常、遗漏、顺序变化和无关干预四支;按机制组合留出,背景纹理不能泄漏分组。 指标:后果状态正确率、影响范围召回、不变量漂移、未见组合成功、生成开销。;C-H2:固定学习时长和信息量,比较单示范、文字错误解释、未对齐双视频与状态对齐双视频;采用新对象及新错误类型的无辅助测试。用户样本量另据 pilot 做功效分析。 指标:原因判断、后果预测、无辅助完成率、延迟保持、未见对象迁移。

不支持假设的结果 C-H1:若收益仅在见过的对象删除成立,或 oracle 影响范围仍不能改善视频执行,则不能支持可组合后果建模的假设。;C-H2:若只提升主观偏好、记住训练视频外观而不提升未见机制迁移,则不支持因果教学收益。

建议阅读顺序 VG04 VG13 VG46 VG31 VG16 P036

完整论文索引(12 条支撑引用)

VG13 VG46 VG31 VG04 VG43 VG10 P125 VG16 VG09 P143 P036 P146

XR-L · 跨分类研究方向 · 11 条支撑引用

Agentic Learning for Context-Complete Video Generation

主动获取充分上下文的 XR 教程生成

Overview 上下文补全从生成前检索扩展为主动询问、空间探索、工具策略和数据选择。研究重点是找到会改变操作决策的信息,并确认新增证据真正进入教程视频;当前任务取证与跨任务模型学习是两种不同贡献。

研究脉络

  1. 任务内:识别缺口 → 选择问人/观察/检索 → 条件化视频 → 检查执行。
  2. 跨任务:选择示范或反事实数据 → 模型更新 → 留出机制测试。

代表论文与支撑作用

证据边界

L1 是当前任务取证、可以不更新参数;L2 是采集数据后改善模型,必须证明留出任务收益。两者不混称已完成学习。

研究缺口 · 综合判断

已有澄清和探索研究,但信息成本、视频执行与人的打扰尚缺统一权衡;高不确定性未必具有高决策价值。

研究问题

生成下一段教程前,应该问人、转视角、查说明书还是获取示范,才能以最少代价补齐真正改变操作决策的信息?

应用与复用条件
完整支撑表逐篇区分原论文事实、XR 迁移方式与尚缺证据;详细实验基线和推翻条件见本方向专题。

候选假设 · 尚未实测

L-H1:按预期操作决策收益选择观察,比按不确定性大小或固定询问更能提高同等人类成本下的教程正确率。;L-H2:按留出机制上的预计增益挑选示范/反事实数据,比仅按难度挑选更能改善底层教程生成模型。

验证思路 L-H1:在可控场景隐藏对象型号、锁扣状态或关键视角,分别给出语音回答、移动观察与手动示范的成本;按对象和缺口类型留出。 指标:正确教程率—用户时间曲线、有效提问率、取证数、打扰负担、证据到视频执行的一致性。;L-H2:固定采集数量、人工时间、训练步数和生成骨干;用独立机制测试集对比课程与影响分数选择,测试集不参与选择。 指标:未见机制执行率、单位标注增益、旧任务回归、评价器迁移、总采集训练成本。

不支持假设的结果 L-H1:若随机或固定策略在同成本下同样有效,或收益只是更长提示而未改变生成内容,则不支持主动选择的价值。;L-H2:若提升仅出现在选择数据所用的同一个奖励模型上,或冻结检索已达到相同收益,则不支持模型学习贡献。

建议阅读顺序 VG17 VG20 VG60 P159 P157 VG58 VG61

完整论文索引(11 条支撑引用)

VG17 VG20 VG60 P149 P159 P157 P372 VG58 VG61 P059 P251

XR-S · 跨分类研究方向 · 12 条支撑引用

Self-Correcting Video World Models for Interactive Creation

新证据下可纠错的 XR 教程视频世界模型

Overview 长视频自修正、可更新记忆、流式编辑与版本回滚提供任务内纠错组件。这里进一步关注真实新证据推翻旧假设后,能否只撤销相关状态和未来演示,并保留仍然成立的观察及已提交内容。

研究脉络

  1. 状态层:区分观察与推断 → 反证定位 → 依赖失效与重建。
  2. 输出层:新状态进入生成 → 未播放片段局部重规划 → 向用户说明必要纠正。

代表论文与支撑作用

证据边界

这是同一次任务中的证据驱动纠错;已有播放帧不能撤回,也不能把真实历史重写为另一段观测。跨任务策略进步归 XR-E。

研究缺口 · 综合判断

普通遗忘门、追加更正提示或画质自评,不等于可定位地撤销错误信念;修订是否传到视频和实际指导仍待验证。

研究问题

当真实观察否定教程生成所依据的状态时,能否撤销错误假设及其依赖,只修订受影响的未来演示?

应用与复用条件
完整支撑表逐篇区分原论文事实、XR 迁移方式与尚缺证据;详细实验基线和推翻条件见本方向专题。

候选假设 · 尚未实测

S-H1:来源与依赖可追踪的记忆撤销,比追加更正提示或清空记忆更能消除错误复发并保留无关事实。;S-H2:显式提交边界加局部重规划能在保持内容连续的同时缩短纠错后的错误指导暴露时间。

验证思路 S-H1:同一历史分别加入补充信息、反证、真实移动及观测噪声;操控反证延迟和依赖链长度,禁止使用未来帧。 指标:未来状态正确率、错误复发、无关记忆保留、噪声误改、修正延迟、额外生成量。;S-H2:在流式教程播放时插入延迟观察;固定可用生成预算,比较不同缓冲长度和纠正呈现方式。 指标:错误指导暴露时长、有效纠正延迟、接缝/空间漂移、用户恢复正确操作的时间。

不支持假设的结果 S-H1:若仅文字日志变正确而视频仍沿旧状态生成,或与等预算重置无差异,则不支持定向记忆修订的贡献。;S-H2:若低延迟只来自降低画质或跳过必需纠正,或学员不能识别新旧指令关系,则不支持交互收益。

建议阅读顺序 VG15 VG63 VG30 P021 VG50 VG22 VG37

完整论文索引(12 条支撑引用)

VG15 VG63 P135 VG50 VG22 VG37 VG11 P021 P342 P391 VG30 P061

XR-E · 跨分类研究方向 · 11 条支撑引用

Self-Evolving Creative Video Generation

跨任务持续改善的 XR 教程生成

Overview 反思记忆、技能库和跨故事工作流补丁已经提供持续改善先例。面向 XR 教程的研究需要把学员错误、系统失败和教师建议转为可验证经验,在下一任务获益的同时检查旧能力、记忆污染与学习迁移。

研究脉络

  1. 系统进化:失败归因 → 经验/补丁/参数更新 → 独立回放与回滚。
  2. 教学进化:错误机制 → 解释、视角或节奏适应 → 新学员无辅助迁移。

代表论文与支撑作用

证据边界

必须指明进化对象:检索记忆、agent 策略、工作流或生成器权重;单次测试时修复属于 XR-S,不能单凭自评更高就宣称持续学习。

研究缺口 · 综合判断

当前视频自修复不等于跨任务进步;对同一评价器更高分、更多练习或重见测试题都不能证明持续学习。

研究问题

系统能否从多位学员的误操作与教师反馈中积累可验证的教学策略,改善下一任务,并避免旧教程退化?

应用与复用条件
完整支撑表逐篇区分原论文事实、XR 迁移方式与尚缺证据;详细实验基线和推翻条件见本方向专题。

候选假设 · 尚未实测

E-H1:经过独立回放验证的阶段性补丁,比自由文本反思和案例检索更能跨任务改善教程质量且控制旧能力退化。;E-H2:按学员错误机制积累的教程适应策略,比只按偏好或视频分数优化更能提升独立学习迁移。

验证思路 E-H1:按 session 累计相同反馈量,测试新机制、新学员和固定旧任务集;禁止将测试用户或题目写入可检索经验。 指标:每轮新任务增益、旧任务回归、负迁移、补丁复用率、验证成本和记忆污染。;E-H2:按用户和物体留出,在固定教学时长下比较静态教程、案例个性化、错误机制适应;做延迟及无辅助测试,样本量由 pilot 决定。 指标:独立完成、错误复发、延迟保持、跨物体迁移、教师审核量、不同用户收益分布。

不支持假设的结果 E-H1:若等预算冻结检索达到同样结果,或改进只来自记住同一测试题、牺牲旧任务,则不支持跨任务进化贡献。;E-H2:若只提高满意度或同一动作重复练习成绩,离开提示或换物体后收益消失,则不支持教学进化。

建议阅读顺序 VG19 VG02 P012 P097 P036 P379

完整论文索引(11 条支撑引用)

VG19 VG02 P012 P022 P097 P024 VG37 P390 P379 P036 P146

X0 · Application paper · 7 篇主归档论文

教程、技能反馈与空间指导的应用近邻

Overview SimStep、ExpertAF、AgentHands、ARCap、Code2Video、Paper2Video 和 Demo2Tutorial 提供教学创作、动作反馈、空间指示及经验转教程的应用接口。

研究脉络

  1. SimStep、Code2Video、Paper2Video、Demo2Tutorial 处理教学内容的结构化创作与编排。
  2. ExpertAF 连接错误诊断和动作反馈;AgentHands/ARCap 提供空间指示及采集反馈接口。

代表论文与支撑作用

证据边界

这些是不同层面的应用近邻,不把软件教程、机器人示范采集和头显技能学习视为同一实证。

研究缺口 · 综合判断

创作质量、反馈正确性、实际可执行和学员长期迁移之间还缺少贯通证据;当前库也非全部为头显教学实验。

研究问题

具体研究问题由 XR-C、XR-L、XR-S、XR-E 四条多重支撑链组织,而非让每篇只服务一个方向。

应用与复用条件
作为 XR 四方向的应用基础:XR-C 解释后果,XR-L 补齐条件,XR-S 修订指导,XR-E 复用经验证经验。

候选假设 · 尚未实测

将步骤前提、错误原因与空间对象绑定到同一可审查表示,比仅按脚本顺序展示内容更有利于未见对象上的独立操作。

验证思路 技术正确性、真实操作与人的学习迁移分开;详见四方向的假设、基线及推翻条件。

不支持假设的结果 若只提高观看偏好或跟随提示时的成绩,无辅助迁移没有改善,则不支持学习收益。

建议阅读顺序 P036 P146 P061 P379

完整论文索引(7 篇主归档论文)

P036 P061 P146 P251 P305 P306 P379

返回 overview 目录 ↑
CATEGORY OVERVIEW · 4 个主题

AIGC|可控内容、持续创作与世界生成

四条应用线按生成对象与控制难点组织:局部视频运动和编辑、长程叙事与创作代理、三维资产和动画、动作条件的世界生成。重点从单次出图扩展到可修改、可保持和可验证的内容生产。

范围边界 精确控制不等于因果识别,长期一致不等于跨任务学习,重建不等于新动作生成。通用架构和加速方法放入 M7/M8,避免把全部生成基础研究混入应用。

阅读路径 局部修改读 G1,跨镜头与工作流读 G2,资产可用性读 G3,动作后果读 G4;共同参考 B1 的分项评测及 B4 的真值环境。

G1 · Application paper · 37 篇主归档论文

视频运动、镜头、编辑与特效

Overview 轨迹、几何状态、参考图和掩码把创作意图转成编辑条件;运动、镜头、背景替换、对象删除与流式特效提供不同控制接口。

研究脉络

  1. 轨迹与 intrinsic 通道将运动、外观和渲染条件显式化。
  2. 几何编辑、对象删除和特效迁移进一步处理局部修改及其次生变化。

代表论文与支撑作用

证据边界

给定轨迹的跟随不等于推断未知后果;对象外的阴影、接触等可能是必要变化而非应冻结区域。

研究缺口 · 综合判断

控制跟随、必要后果传播与无关内容保持常被分开评价;更少控制信号能否仍保留正确影响范围尚待验证。

研究问题

如何用尽量少的控制信号实现有范围的修改,并验证必须改变与应保持的内容?

应用与复用条件
可支撑 HCI 可预测编辑和 XR-C 后果对照;稀疏控制不足时可借 XR-L/M4 补充观测。

候选假设 · 尚未实测

把目标修改拆成直接控制、必须随动和应保持三部分,可在相同输入成本下改善编辑正确性与非目标保持。

验证思路 比较文本、稀疏和密集控制,联合测控制误差、非目标漂移、接触状态、用户成本和端到端延迟。

不支持假设的结果 若只能靠密集真值标注获益,或以冻结本应变化的接触/阴影换取保持分数,则不支持实用控制优势。

建议阅读顺序 VG41 VG39 VG46 VG13

完整论文索引(37 篇主归档论文)

P164 P072 P214 P225 P245 P253 P283 P284 P383 P385 P402 P403 P198 P209 P219 P247 P258 P269 P301 P317 P319 P321 P327 P348 P355 P365 P367 P370 P371 P377 VG13 VG46 VG50 VG39 VG40 VG41 VG59

返回 overview 目录 ↑
G2 · Application paper · 26 篇主归档论文

叙事、创作代理与持续生成

Overview 分镜、长视频记忆和创作代理连接人物、事件与镜头;CineForge、A²RD 等分别提供跨任务补丁与任务内自修正,知识生成代理补充外部上下文。

研究脉络

  1. 分镜、角色与事件记忆支撑长程内容连续;A²RD 加入任务内检索和自修正。
  2. MaLiang 组织可执行视觉程序的修订版本;CineForge 将跨故事失败转为可复用工作流补丁。

代表论文与支撑作用

证据边界

工作流更新、记忆复用与参数学习分开;叙事、视觉连续与角色所知也需要独立证据。

研究缺口 · 综合判断

长上下文记忆、局部纠错和跨作品改进的贡献易混淆,故事合理性也不能只由视觉连续指标替代。

研究问题

创作系统如何同时支持长期保持、局部修订和跨作品经验迁移?

应用与复用条件
任务内修订支撑 XR-S,跨任务策略更新支撑 XR-E;HCI 可用版本与中间表示暴露作者控制。

候选假设 · 尚未实测

将事实记忆、创作约束与可复用策略分开记录,并对策略进行跨故事回放,可改善新故事表现且减少旧能力退化。

验证思路 在留出故事机制和用户条件下,比较长上下文、检索、结构化记忆和工作流补丁,测旧能力退化与修改传播。

不支持假设的结果 若收益仅来自更长提示、重见故事或同一评判器偏好,未见故事和独立评价无增益,则不支持跨作品学习。

建议阅读顺序 VG15 VG22 VG19 VG03

完整论文索引(26 篇主归档论文)

P033 P035 P039 P160 P161 P288 P240 P281 P286 P120 P122 P127 P128 P133 P138 VG17 VG63 VG15 VG18 VG14 VG03 VG19 VG20 VG22 VG29 VG33

返回 overview 目录 ↑
G3 · Application paper · 38 篇主归档论文

三维资产、重建与动画

Overview 文本、图片和视频被转换为可编辑网格、辐射场、Gaussian、布局与动画;显式表示便于材质、几何和关节等层级的控制。

研究脉络

  1. 从图像/多视角生成与重建三维表示,再处理不可见区域与身份保持。
  2. 从静态资产走向可编辑网格和关节动画,评价需要加入功能而不仅是渲染外观。

代表论文与支撑作用

证据边界

重建已观测运动、补全不可见内容和生成新动作是不同任务;视觉逼真不能代替尺度与交互真值。

研究缺口 · 综合判断

生成资产在尺度、接触、关节和不可见补全部分的可靠性尚难从外观分数推断。

研究问题

生成的三维内容如何同时具备可编辑性、可追踪的不确定区域和操作任务可用性?

应用与复用条件
可用于 XR 操作对象、HCI 远程协作和 AIGC 资产生产;需另行检查真实尺度和交互映射。

候选假设 · 尚未实测

把已观测与推断几何显式区分,并按目标交互约束验证,可提高同等资产质量下的任务可用性。

验证思路 分别评价已观测与补全部分,再以接触、抓取、空间指示等任务测功能,保留重建及控制器误差归因。

不支持假设的结果 若只改善新视角渲染而不改善接触、指向或关节操作,或把控制器改进归给资产,则不支持该主张。

建议阅读顺序 VG34 VG35 VG36 VG43

完整论文索引(38 篇主归档论文)

P192 P238 P285 P169 P171 P172 P174 P191 P196 P199 P203 P204 P222 P226 P230 P246 P261 P268 P291 P325 P345 P393 P232 P173 P190 P195 P404 P207 P216 P252 P278 VG43 VG12 VG32 VG34 VG35 VG36 VG53

返回 overview 目录 ↑
G4 · Application paper · 15 篇主归档论文

动作/物理条件的世界生成

Overview 语言动作、数字孪生、物理仿真与联合推理—视频模型提供动作条件世界生成的不同实现路径。

研究脉络

  1. 视频、潜状态与数字孪生提供不同形式的未来预测;动作或物理条件把预测连接到干预。
  2. RealWonder 外接物理仿真,VANS 联合推理与生成,提供模块化与学习式两条路径。

代表论文与支撑作用

证据边界

像素、潜状态、程序和仿真器的能力不能互换;外部仿真正确也不说明生成器独立识别了机制。

研究缺口 · 综合判断

生成器是否真正响应干预、是否只复现常见轨迹,以及错误来自状态估计还是视觉执行,仍需分解。

研究问题

在未见机制或动作组合下,如何验证后果被实际生成并保持无关状态?

应用与复用条件
是 XR-C 后果生成的直接技术基础;M3 的闭环控制和 B1/B4 的独立状态真值可用于分离误差。

候选假设 · 尚未实测

以成对干预状态差异监督规划与视频执行,比仅优化单条未来视频的质量更能泛化到未见动作组合。

验证思路 使用同初态成对干预和独立状态真值,分开测推理、视觉执行、真实执行与生成成本。

不支持假设的结果 若推理描述正确但视频没有实施对应变化,或只有外接仿真正确而学习模块未改善,则不支持生成能力贡献。

建议阅读顺序 VG10 VG31 P303 P071

完整论文索引(15 篇主归档论文)

P163 P071 P083 P085 P233 P341 P303 P304 P106 P123 P125 P135 P137 VG31 VG10

返回 overview 目录 ↑
CATEGORY OVERVIEW · 8 个主题

Method paper|可跨应用复用的八类机制

八类方法覆盖 agent、强化学习、世界模型、视觉取证、不确定性、组合推理、表征学习和生成效率。每类都有自己的问题、方法分支、代表论文、适用边界及可验证的改进假设。

范围边界 复用意味着重新匹配输入输出、反馈、训练权限和成本,不能把工具动作、语言 token 与视频去噪视为同一种优化对象。方法有效也不自动证明 HCI 或教学收益。

阅读路径 按瓶颈选方法:不会行动 M1/M3,训练信号 M2,证据不足 M4,错误成本 M5,推理组合 M6,状态表示 M7,生成成本 M8。

M1 · Method paper · 18 篇主归档论文

Agent 规划、工具、澄清与经验

Overview 共同问题是把目标、观察和反馈转为下一步有效行动。现有方法分别在求助与示范、工具调用、主动澄清及经验复用上构建 agent;它们提供策略或系统机制,应用是否真正帮助人需另测。

研究脉络

  1. 动作与工具:HG-DAgger、WebGPT、ToolkenGPT、GUI agent 处理反馈、工具表示及执行。
  2. 信息与经验:ACT/GPS 决定问什么,Reflexion/VOYAGER 用外部反思或技能库改善后续尝试。

代表论文与支撑作用

证据边界

调用更多工具或保留文字记忆并不等同参数学习;模拟用户反馈也不是实际用户收益。规则已知的澄清不代表未知机制发现。

研究缺口 · 综合判断

许多系统依赖任务内成功反馈,缺少统一的人类成本、失败恢复和未见工具组合评估。

研究问题

怎样在同一预算下决定回答、询问、观察、执行或复用经验?

应用与复用条件
HCI:控制交接与可接受求助;XR:取证、纠错和技能复用;AIGC:检索、生成、验证工具编排。先定义动作结果与失败语义。

候选假设 · 尚未实测

按预期任务收益减去工具与人工成本选择行动,比固定流程或只按不确定性行动更有效。

验证思路 固定骨干、工具集合和反馈量;比较固定流程、熵驱动、经验检索与价值策略,留出任务及工具组合;测成功—成本曲线、无效调用、恢复与负迁移。

不支持假设的结果 若收益在等调用预算下消失,或只记住训练任务的工具顺序,则不支持策略改进。

建议阅读顺序 P149 P159 P012 VG02

完整论文索引(18 篇主归档论文)

P001 P004 P012 P022 P041 P145 P149 P159 P184 P229 P206 P260 P314 P331 P335 P401 P115 VG02

返回 overview 目录 ↑
M2 · Method paper · 19 篇主归档论文

RL/GRPO、过程反馈与数据选择

Overview 这组研究围绕“用什么反馈训练什么行为”。过程监督、离线 RL、多轮 agent RL、GRPO 邻近变体及数据影响估计提供不同层面的学习信号;统一目标是让可测行为改善,而不是只让解释或奖励分数变好。

研究脉络

  1. 反馈粒度:过程奖励、结果奖励及反事实偏好对,分别约束步骤、最终结果或选择。
  2. 训练稳定与效率:ReGRPO、PARA-GRPO、QeRL、RFT-Inf 分别处理反思、工具、资源与数据价值。

代表论文与支撑作用

证据边界

Joint-GRPO、PARA-GRPO、ReGRPO 与 RGPO 应按原变体区分,本地库不因此包含 GRPO 原始论文。语言 token、工具动作和视频去噪需要各自的策略概率及信用分配定义。

研究缺口 · 综合判断

奖励投机、多轮推理坍塌和评价器过拟合会掩盖真实能力;工具反馈和下游用户效果之间缺少稳定对应。

研究问题

怎样使过程反馈或分组优化带来独立评价下的真实任务收益?

应用与复用条件
HCI 的求助策略、XR 的证据/修复策略、AIGC 的生成工具流程均可复用;先明确优化对象、奖励可得性和人工反馈成本。

候选假设 · 尚未实测

将可执行结果与可定位的过程错误联合用于策略更新,可在同等训练预算下减少无效调用并改善未见任务成功率。

验证思路 固定初始化、采样数、token/工具预算和训练步数;比较 SFT、结果奖励、过程奖励及适配的 RL 变体;用未参与训练的验证器测成功、奖励差距、坍塌和成本。

不支持假设的结果 若仅训练奖励上涨,独立任务成功不变,或效果完全来自额外采样与训练,则不支持算法贡献。

建议阅读顺序 P066 P390 VG58 VG61

完整论文索引(19 篇主归档论文)

P032 P066 P089 P090 P292 P360 P296 P390 P107 P108 P112 P117 VG09 VG27 VG48 VG54 VG55 VG58 VG61

返回 overview 目录 ↑
M3 · Method paper · 54 篇主归档论文

世界模型、闭环规划与控制

Overview 世界模型把当前观察与候选动作映射为未来状态,规划器再选择行动。库中同时存在程序模型、预训练视觉特征上的潜动力学、视频模拟器和机器人控制,核心共同点是预测服务于决策。

研究脉络

  1. 可执行与潜状态:WorldCoder/PoE-World 用程序描述转移,DINO-WM/V-JEPA 2 等在视觉表示中预测。
  2. 规划与适应:梯度搜索、层级规划和 AdaJEPA 等处理长时程、计算预算及新转移。

代表论文与支撑作用

证据边界

潜状态预测准确不自动推出像素生成正确或真实执行可靠;仿真、模型、奖励及控制器误差需分开。动作空间与可微性限制可用规划器。

研究缺口 · 综合判断

规划会利用模型误差;长时程分布偏移下,应继续搜索、获取新观察还是更新模型仍难判断。

研究问题

何时闭环观测和模型修订比增加想象搜索更有价值?

应用与复用条件
HCI 可用预测辅助决策,XR 可用操作后果及实时修正,AIGC 可用动作条件;若需要可见视频,必须另接解码/生成接口。

候选假设 · 尚未实测

用真实转移反馈触发局部模型更新并重规划,可在受控分布变化下比固定模型加大搜索获得更好的预算—成功权衡。

验证思路 固定感知、动作空间与总计算;比较冻结模型、增大搜索、仅重规划、局部适应及 oracle 转移;分开留出外观、几何、动力学,测执行成功、预测误差、回归与延迟。

不支持假设的结果 若优势只来自更多真实试错,或预测改善未转为实际成功,则不支持闭环适应收益。

建议阅读顺序 P150 P256 P337 P391

完整论文索引(54 篇主归档论文)

P150 P151 P156 P081 P165 P168 P179 P182 P185 P205 P215 P220 P244 P263 P272 P289 P308 P330 P333 P347 P356 P357 P394 P396 P398 P400 P248 P255 P373 P388 P208 P228 P231 P256 P262 P276 P294 P299 P320 P322 P326 P332 P334 P337 P350 P353 P358 P381 P386 P391 P395 P121 P124 P132

返回 overview 目录 ↑
M4 · Method paper · 26 篇主归档论文

视觉证据、空间推理与流式感知

Overview 这组方法关注答案或行动是否建立在正确的视觉证据上。它们通过时间定位、再次观察、主动搜索、空间记忆和流式处理,连接被看到的内容与最终推理结果。

研究脉络

  1. 证据绑定:视频片段定位、迭代证据精炼与解码约束减少推理脱离画面。
  2. 持续观察:流式 VideoLLM、场景图记忆和主动空间探索在有限窗口中维护可用证据。

代表论文与支撑作用

证据边界

注意力或文本解释不是可靠的内部因果证据;识别、检索和回答能力也不能直接外推到视频生成。在线系统须排除未来帧。

研究缺口 · 综合判断

更多帧、记忆容量和真正有用证据的作用常混在一起;新证据能否改变错误答案或后续输出需要追踪。

研究问题

如何选择能改变决策的证据,并使修订传播到最终输出?

应用与复用条件
HCI 为核查提供来源,XR 为观察补全和状态纠错,AIGC 为参考素材与生成验证;需要共享对象/时间坐标。

候选假设 · 尚未实测

带对象、时刻和来源的主动证据检索,比均匀采样或单纯增大上下文更能在同帧预算下纠正跨时刻状态判断。

验证思路 控制帧数、分辨率、模型调用与缓存大小;比较均匀/随机采样、语义检索、主动检索及 oracle 证据;测定位、答案修正、状态持续性、噪声误改和延迟。

不支持假设的结果 若只更换文字解释而答案或生成内容不变,或增益来自额外帧预算,则不支持取证机制。

建议阅读顺序 P069 P095 P175 VG60

完整论文索引(26 篇主归档论文)

P020 P079 P064 P069 P075 P078 P086 P087 P088 P092 P093 P095 P098 P099 P100 P175 P188 P170 P235 P290 P310 P323 VG60 VG08 VG51 VG68

返回 overview 目录 ↑
M5 · Method paper · 12 篇主归档论文

不确定性、决策损失与鲁棒优化

Overview 这组方法将“预测有多不确定”连接到“错误会造成什么决策损失”。语义不确定性和自验证提供信号,保形预测提供有条件的覆盖,决策导向训练与鲁棒优化直接考虑下游成本。

研究脉络

  1. 估计与校准:语义熵、一致性和隐状态探针;效用导向保形预测将集合与决策连接。
  2. 训练与稳健性:可微决策学习、LODL 黑盒损失和分布鲁棒方法重设优化目标。

代表论文与支撑作用

证据边界

自一致不等于正确;保形覆盖依赖交换性等条件,通常为边际保证。黑盒损失仍需求解器调用;渐近统计保证不等于极小样本有效。

研究缺口 · 综合判断

通用置信排序未必对应非对称错误成本,分布变化和用户代价也可能让原校准失效。

研究问题

怎样让置信、询问与训练目标共同服务于实际决策效用?

应用与复用条件
HCI 控制打扰与依赖,XR 决定取证/暂停,AIGC 分配验证与重生成预算;必须先定义各类错误的成本。

候选假设 · 尚未实测

使用任务损失和询问成本校准行动阈值,比统一置信阈值更能在固定覆盖或人工预算下减少实际错误代价。

验证思路 在相同校准数据与预测器下比较熵阈值、置信校准、效用保形和决策损失;改变成本矩阵及分布,报告覆盖、决策遗憾、求助率和失效条件。

不支持假设的结果 若只改善 ECE/置信分数却不改善决策效用,或覆盖条件被破坏仍声称保证,则不支持该主张。

建议阅读顺序 P148 P048 P049 P054

完整论文索引(12 篇主归档论文)

P046 P047 P048 P049 P050 P052 P054 P144 P148 P110 P118 P119

返回 overview 目录 ↑
M6 · Method paper · 19 篇主归档论文

迭代、潜空间与组合推理

Overview 这些方法突破单次从左到右文本生成:以能量最小化、搜索、代码执行、连续潜状态或循环计算组织推理。可复用对象是中间状态与计算分配方式,而不是某个固定应用。

研究脉络

  1. 显式结构:能量与约束组合、RAP 搜索和 Chain of Code 连接可检查中间操作。
  2. 隐式迭代:Coconut、CoCoMix 和 LoopVL 探索潜空间或循环表征中的计算。

代表论文与支撑作用

证据边界

潜状态类似搜索的现象不等于无限宽搜索证明;语言预测状态不是真实模拟器。多次迭代与搜索会增加计算,概念可解释性也取决于表示。

研究缺口 · 综合判断

更深迭代是否真正提高未见组合的推理能力,还是仅增加预算或记住训练分布,仍需分辨。

研究问题

哪种中间表示和迭代方式更有利于可组合约束的泛化?

应用与复用条件
HCI 多约束决策、XR 操作计划、AIGC 叙事与物理约束可使用不同表示;先确认哪些约束可执行或可微。

候选假设 · 尚未实测

当任务依赖可分解约束时,显式约束校验与自适应迭代组合,可比固定长度推理更有效地处理未见组合。

验证思路 按组合结构留出;匹配实际调用、计算与时延,比较文本 CoT、搜索、能量/潜状态迭代及执行器;测可执行正确、约束违反、深度外推和预算曲线。

不支持假设的结果 若只在更大计算预算或熟悉模板中获益,未见结构无改善,则不支持组合泛化贡献。

建议阅读顺序 P023 P103 P104 P201

完整论文索引(19 篇主归档论文)

P006 P015 P016 P017 P018 P023 P030 P037 P103 P201 P282 P313 P346 P180 P104 P114 VG01 VG06 VG26

返回 overview 目录 ↑
M7 · Method paper · 19 篇主归档论文

自监督表征、JEPA 与 tokenizer

Overview 表征与 tokenizer 决定系统保留哪些信息、压缩掉哪些变化。JEPA 系列在表征空间预测,运动—内容联合学习和稀疏分布约束提供不同归纳偏置;统一 tokenizer 与生成模型特征连接理解和生成。

研究脉络

  1. 预测表征:I-JEPA 从静态语义开始,MC-JEPA、V-JEPA 及后续工作扩展运动和视频特征。
  2. 接口统一:UniTok/VFMTok 兼顾理解与重建;反事实状态变化表征为步骤差异提供监督。

代表论文与支撑作用

证据边界

静态分类、视频理解、动作条件动力学与像素生成各有证据要求。防坍塌或可辨识理论不能直接保证未知机制恢复。

研究缺口 · 综合判断

语义不变性可能丢掉细小但影响操作的状态差异;重建质量与下游决策保真之间需要联合检查。

研究问题

怎样压缩外观冗余,同时保留改变行动后果的状态信息?

应用与复用条件
HCI 可检索证据、XR 可追踪步骤状态、AIGC 可压缩和控制内容;生成用途需额外验证解码器与信息丢失。

候选假设 · 尚未实测

加入动作前后与反事实状态差异监督,可在相同编码容量下提升操作状态区分,并改善下游规划或生成控制。

验证思路 匹配预训练数据、容量和算力;比较通用 JEPA、运动目标、统一 tokenizer 与状态差异监督;测细微状态检索、反事实辨别、下游任务及重建取舍。

不支持假设的结果 若只有线性探针改善,下游执行无收益,或状态标签泄漏测试机制,则不支持任务保真优势。

建议阅读顺序 P167 P183 VG04 VG57

完整论文索引(19 篇主归档论文)

P013 P212 P363 P392 P181 P167 P183 P217 P223 P237 P241 P264 P338 P352 P382 P399 VG04 VG56 VG57

返回 overview 目录 ↑
M8 · Method paper · 32 篇主归档论文

生成基础架构、优化、蒸馏与效率

Overview 该组围绕生成模型如何训练、采样和低成本部署。连续 token、统一多模态模型、平均流和漂移生成改变建模路径;缓存、蒸馏、稀疏注意力和测试时优化则改变现有模型的成本与适应方式。

研究脉络

  1. 建模与训练目标:连续自回归、MeanFlow、Improved MeanFlow、Drifting 等提供不同采样机制。
  2. 部署与适应:TeaCache、少步蒸馏、稀疏计算及实例级 LoRA/黑盒反馈优化控制质量—成本。

代表论文与支撑作用

证据边界

图像一步采样不保证视频时序正确或头显实时;训练成本、峰值显存和端到端时延需分别测。黑盒提示优化和可访问权重的梯度更新不是同一接口。

研究缺口 · 综合判断

平均画质与吞吐可能掩盖关键动作、罕见变化和修正阶段的错误;加速是否保留应用语义仍缺专项评价。

研究问题

如何把计算预算投向会改变任务结果的生成阶段?

应用与复用条件
HCI 交互响应、XR 流式教程、AIGC 长视频均受益于成本控制;先明确黑盒/白盒权限和目标硬件。

候选假设 · 尚未实测

按状态变化及验证失败自适应分配采样/重生成预算,可比均匀加速保持更多关键操作正确性。

验证思路 同骨干、分辨率、硬件和端到端预算下比较固定少步、缓存、蒸馏与自适应计算;报告画质、状态正确、尾延迟、显存及额外训练成本。

不支持假设的结果 若节省仅来自降低输出要求,关键状态错误增多,或额外验证耗时抵消加速,则不支持部署收益。

建议阅读顺序 P293 P162 VG23 VG37

完整论文索引(32 篇主归档论文)

P162 P068 P202 P200 P236 P254 P275 P277 P293 P298 P312 P318 P324 P336 P340 P166 P187 P242 P243 P270 P279 P300 P369 P265 VG37 VG11 VG23 VG25 VG45 VG52 VG62 VG67

返回 overview 目录 ↑
CATEGORY OVERVIEW · 4 个主题

Base paper|评测、理论、综述与实验基础

基础论文承担四种不同作用:B1 定义能力与失败,B2 解释条件及反例,B3 建立概念和证据地图,B4 提供数据、环境和可复现实验。这些基础可以为任何应用方向提供支撑。

范围边界 基准分数、理论保证、综述分类和平台可用性是不同证据。综述提出的趋势不能当成实证,理论结论不能脱离假设,使用同项目平台也不构成独立复现。

阅读路径 先用 B3 对齐术语,再用 B2 查关键假设,结合 B1 定义指标、B4 构造数据与实验;最后检验所选应用主张。

B1 · Base paper · 52 篇主归档论文

能力诊断与评测基准

Overview 评测论文把模糊能力拆成可观察失败:溯因与反事实、时空记忆、工具交互、物理后果、叙事和动作可执行性。它们主要回答“测什么、怎样测”,部分同时提供训练方法或基线。

研究脉络

  1. 理解与交互诊断:Black Swan、τ-bench、空间信念等区分解释、更新和连续任务可靠性。
  2. 生成与执行诊断:What-If World、WorldScore、Dream.exe 等检查后果、世界变化及可执行性。

代表论文与支撑作用

证据边界

一个基准只覆盖给定任务分布;VLM 评分可能与训练奖励共享偏差,模拟交互不是用户学习。带方法的 benchmark 也应分别评估两类贡献。

研究缺口 · 综合判断

不同系统可能在相同总分下有完全不同的失败模式,且生成、计划与执行错误常相互掩盖。

研究问题

怎样建立能预测真实应用失败的分层能力评价?

应用与复用条件
HCI 评价核查与协作,XR 分开测生成/操作/学习,AIGC 评价控制与连续性;按应用选择指标组合,不能照搬总分。

候选假设 · 尚未实测

联合成对干预、无关状态保持和独立执行检查,比单一平均视觉/答案分数更能预测目标应用失败。

验证思路 在相同任务上运行多个系统;分别采集计划、状态、视频、执行与用户结果,以留出任务检验指标对真实失败的预测能力,并报告评价器间一致性。

不支持假设的结果 若新指标只区分视觉外观,不能更好预测独立任务失败,或不同评价器结论不稳定,则不支持评价有效性。

建议阅读顺序 P021 P067 VG16 P380

完整论文索引(52 篇主归档论文)

P002 P005 P007 P008 P009 P019 P021 P027 P028 P053 P067 P094 P143 P070 P154 P074 P155 P158 P084 P096 P257 P266 P287 P302 P316 P328 P342 P354 P362 P372 P376 P211 P234 P271 P274 P297 P361 P380 P194 P329 P105 P111 P136 P139 VG16 VG05 VG07 VG21 VG24 VG38 VG47 VG49

返回 overview 目录 ↑
B2 · Base paper · 17 篇主归档论文

理论、机制分析与负面证据

Overview 理论与负面证据限定可声称的能力。反事实任务、长推理与记忆退化揭示经验性失效;因果校准、JEPA 表示和想象训练分析则说明结论在什么数学条件下成立。

研究脉络

  1. 行为反例:知识与反事实冲突、分布依赖的推理、反复改写的记忆污染。
  2. 机制与保证:正交校准、表征可辨识性及模型/奖励误差对规划学习的影响。

代表论文与支撑作用

证据边界

负面结果限于被测模型、任务和设置,不是普遍不可能定理;理论依赖的分布、可识别性、噪声和正则性不能省略。

研究缺口 · 综合判断

应用系统很少显式检查理论条件是否满足,也容易把一次成功演示误当成对失败机制的解决。

研究问题

如何把理论假设与已知失败模式转换成可操作的压力测试?

应用与复用条件
为所有场景提供边界与反例:HCI 检查错误依赖,XR 检查信念/技能更新,AIGC 检查持续生成与经验退化。

候选假设 · 尚未实测

围绕知识冲突、证据迟到、记忆污染和动力学偏移设计的受控压力测试,比随机留出更能暴露跨任务退化。

验证思路 同难度配对控制外观与语义,逐项改变冲突、延迟、更新轮数及转移噪声;检验失败是否随目标因素系统变化,并用消融与回滚区分原因。

不支持假设的结果 若压力条件只是普遍提高难度,控制难度后差异消失,或声称的机制无法被定向消融,则不支持机制解释。

建议阅读顺序 P043 P097 P375 P366

完整论文索引(17 篇主归档论文)

P011 P024 P034 P042 P043 P044 P073 P077 P097 P273 P311 P351 P366 P375 P397 P113 P116

返回 overview 目录 ↑
B3 · Base paper · 16 篇主归档论文

综述、概念框架与评价立场

Overview 综述与立场论文负责梳理问题空间和比较维度:agentic reasoning、因果推断、叙事、可控视频、三维生成、记忆、效率及 world action models。它们适合建立阅读地图,不直接证明某条路线效果更好。

研究脉络

  1. 按对象和技术组织:叙事、三维、可控视频与效率综述提供领域内方法地图。
  2. 按能力和过程组织:agent、记忆与世界建模框架连接推理、行动、更新和评价。

代表论文与支撑作用

证据边界

分类体系是作者的组织方式;预测、模拟、进化等术语在论文间含义不一。综述时间范围有限,不能凭收录或趋势判断新颖性。

研究缺口 · 综合判断

相同“world model”“self-improving”标签可能对应不同输入输出与更新对象,容易导致不可比的证据拼接。

研究问题

能否用任务、表示、更新对象、反馈和评价五个维度更准确地对齐研究?

应用与复用条件
用于 HCI/XR/AIGC 立题、相关工作与阅读顺序;选择候选路线后仍需回到原论文和目标场景实验。

候选假设 · 尚未实测

用操作性维度标注论文,比仅用能力标签更能提高独立研究者的分类一致性并减少不成立的迁移判断。

验证思路 让多位读者盲标同一论文集,对比标签式与维度式框架;测一致性、证据查找时间和迁移判断准确性,保留无法判定及多角色条目。

不支持假设的结果 若只增加标注负担,一致性与迁移判断未改善,则不支持新组织框架的效用;它也不构成模型能力提升。

建议阅读顺序 P031 P131 VG30 VG42

完整论文索引(16 篇主归档论文)

P031 P051 P063 P153 P101 P210 P218 P213 P368 P178 P126 P131 VG30 VG42 VG44 VG65

返回 overview 目录 ↑
B4 · Base paper · 23 篇主归档论文

数据、仿真与可复现实验基础

Overview 数据、仿真与公共实现决定哪些研究问题能受控验证。库中既有真实多视角技能数据,也有机制可知的交互环境、可调视觉/物理参数的仿真平台,以及统一世界模型与规划接口的复现工具。

研究脉络

  1. 真实观察与可控机制:Ego-Exo4D、Alchemy、DiscoveryWorld 分别支持技能观察、规则发现与实验流程。
  2. 规模化与复现:BEHAVIOR 系列、SimFoundry 和 stable-worldmodel 支持场景变化、数据生成及公平比较。

代表论文与支撑作用

证据边界

已知真值但对 agent 未知的机制发现,不同于开放创作中的规则补全;合成数据不自动迁移现实。P343/P374 是同项目不同报告,不能计作独立复现。

研究缺口 · 综合判断

训练测试可能共享资产、轨迹或机制组合;多视角、真值位姿等额外信息也可能让迁移条件过于理想。

研究问题

怎样构建能区分外观、机制和真实迁移的实验基础?

应用与复用条件
HCI 可复现交互任务、XR 可控错误步骤及真实技能数据、AIGC 配对生成与编辑真值;使用前核对模态、视角和标注权限。

候选假设 · 尚未实测

以机制组合和采集对象独立划分,并显式控制观测权限,比随机帧划分更能估计系统的真实迁移能力。

验证思路 分别留出外观、对象、机制组合和用户;记录版本、seed、动作/观察接口与额外真值,统一模型和规划预算,再在小规模真实任务验证排名稳定性。

不支持假设的结果 若严格划分后的结果仍与真实任务无关,或排名由额外真值/不同控制器决定,则该平台尚不足以支持迁移主张。

建议阅读顺序 P197 P142 P227 P374

完整论文索引(23 篇主归档论文)

P010 P142 P152 P157 P176 P177 P186 P189 P221 P227 P249 P250 P280 P309 P389 P197 P259 P359 P224 P339 P343 P374 P129

返回 overview 目录 ↑