Topics · 问题谱系与阅读更新

XR / AIGC 视频生成:问题谱系与逐篇拆解

本轮补充核对截至 2026-10-15;原全文阅读日期单列。已按后续指示连续完成文献核实、逐篇拆解和方向综合。

[推断] 8 个名称不等于 8 个独立问题。较清晰的结构是两组共享方法问题、一组具有包含关系的信息获取问题,加上教学持续改进和观众信息控制两个有条件的扩展。 PERMA · CINE · SUSP

返回 Topics · 近期补充阅读与发表状态

读法与核实范围

[推断] 本报告的“谱系”是按研究问题与操作定义整理的近邻图;仅 OMNI→VOID 等已核实关系可称明确技术继承,其余不冒称 citation genealogy。奠基代表是本脉络选取的早期支点,不宣称历史上最早。

[推断] “最新”指检索截至 2026-10-15、实际核实的近邻;不是对全网论文的穷尽排序。2026 年较多工作仅核实预印本状态,未核 venue 处保留待核。

[推断] 论文自己的 novelty/结果主张与本报告的证据强度判断分列;使用原作者报告的实验结果,未复现训练或运行模型。

[推断] 实验设计为本报告提案,尚未执行;未给出虚构 pilot 数字。真人研究样本量应预注册并依目标效应做 power analysis,不能把论文的人评人数复用为新实验的合理样本量。

[待核] L9 同题近期代表作未达到 3 篇;GPS 的 arXiv ID/DOI 未找到;GENEX、STREAM 的 human-study 总人数在本轮阅读中未确认;BLACK 正文与附录 human-baseline 口径不一致,已并列记录。未确认不等于论文未报告。

[论文] SPIRAL 正文为 v3,GENEX 正文为 v3,STATE 为 v6、VIS 为 v2;书目年份与正文版本分别记录。发表 venue 并不意味着此处读取的后续 arXiv 修订内容已全部经过该次同行评审。

[推断] 2026-10-15 补充阅读卡与原 38 篇全文拆解分层展示;发表状态与任务距离分开。XR-L 按最新要求仅研究 how,GT 存在于用户处;新颖性最多表述为“本论文池内未见”。

库内主表 18 篇既有补充参考 8 篇本次库外新找到 12 篇

下载结构化 JSON · 论文索引 CSV

编号名称一句话定义
XR-C面向 XR 操作后果的因果视频生成与编辑[推断] 在现实操作教程中,生成漏步、换序或机制变化后的后果对照,同时保留不受干预影响的对象与步骤。
XR-L面向 XR 教程的主动澄清:用户持有 GT,研究 how[推断] 输入不充分但目标或指代真值存在于用户认知中,且需要澄清已给定;XR agent 选择并执行澄清交互,获取用户答案并可靠更新教程。
XR-S新证据下可纠错的 XR 教程视频世界模型[推断] 真实观察否定教程假设时,撤销错误状态及其依赖,只修改受影响的未来演示。
XR-E跨任务持续改善的 XR 教程生成[推断] 将多个学员的误操作与教师反馈转成可验证的持久教学改进,同时避免旧任务能力退化。
AIGC-A事件干预后的选择性视频生成与编辑[推断] 固定同一历史与明确干预,只改变受影响的对象、事件和时间段,保留无关状态。
AIGC-B外来反证驱动的视频生成记忆修订[推断] 延迟到达的外部证据推翻早期推断时,局部修订生成记忆和未来视频,保留其它已确认事实。
AIGC-C事件时间与信息揭示时间解耦的视频生成[推断] 保持世界事件不变,控制观众从画面何时得知关键事实,并保证早期留白与后续揭示相容。
AIGC-D获取最少但足够的上下文与生成控制信号[推断] 在固定用户负担与生成预算下,选择能提高最终视频约束满足率的必要上下文或控制信号。

[推断] 所有方向定义是研究工作定义,沿用当前 topics 页面的问题范围;不是论文本身提出了这 8 个名称。最近论文的原文链接与版本见各卡。

任务分类读法 · 六个维度

任务(主轴,单选):文本或图像生成视频 / 条件控制生成 / 编辑与修改 / 长视频与多镜头叙事 / 动作条件的预测与交互世界模型 / 3D/4D 一致生成 / 视频作为推理或回答 / 其他

贡献落点(主落点 1 个,次落点可多选):表示 / 条件注入 / 架构与生成范式 / 记忆与上下文 / 训练信号 / 推理时方法 / 数据 / 评测

控制信号(多选,没有则无):文本 / 图像 / 相机 / 轨迹或光流 / 姿态或结构图 / 动作 / 音频 / 物理或模拟代理 / 身份参考

目标性质(多选):画质 / 短时连贯 / 实体一致 / 几何一致 / 环境记忆 / 因果或状态一致 / 物理合理 / 指令遵循 / 效率与延迟

生成范式(单选):离线整段生成 / 因果自回归或流式 / 少步或实时

论文类型(单选):方法 / 基准 / 数据集 / 分析 / 综述

[推断] 分类规则:按论文的主要任务与贡献归类,不按全部可演示应用重复贴主轴;类型按主要交付选一个。

[推断] 图像信号包含参考图与源视频帧;姿态或结构图在此包含 mask、depth、box、layout 等空间条件。纯理解/QA 输入列入任务定义,不冒记为视频生成控制。

[推断] 生成范式按视频的主合成过程判定;chunk/shot-level autoregressive 不代表单帧因果 attention,interactive 或 training-free 也不自动等于少步/实时。

[推断] 非视频生成任务与不限定 renderer 的 agent 框架使用“不适用”并说明原因;没有直接对应的目标性质同样解释,不强行贴生成一致性标签。

[推断] 目标性质描述论文优化/评测的目标,不意味着已经保证该性质;“必须保持”是任务约束整理,单独标为[推断]。

[推断] 证据按已核实的实验标注;有定量实验的论文中的 demo 写作“定性展示”,只有全部证据均为定性才写“仅定性展示”。未知人评人数保留[待核]。

XR-C · 两步研究结果

面向 XR 操作后果的因果视频生成与编辑

[推断] 在现实操作教程中,生成漏步、换序或机制变化后的后果对照,同时保留不受干预影响的对象与步骤。

2026-10-15 · [推断] 阅读排序

2026 已发表近邻 · 优先阅读

对动作、步骤或机制实施干预,传播必要后果,并保留无关内容。

VOID 是视频直接先例;Causal-Adapter 和 Multiverse Mechanica 提供两篇 AI 会议方法/评测支撑,分别属于图像与游戏机制。

1 · ECCV 2026 · 已发表/已确认会议归属

VOID: Video Object and Interaction Deletion

论文明确内容 以 Kubric/HUMOTO 配对反事实数据训练;识别删除对象后受影响区域,并重生成下游交互。

与本方向的距离 [推断] 最直接的选择性视频后果编辑先例;主要是删除,不能外推为任意动作或未知机制修改。

发表依据 · 核对记录

继续阅读与补充边界(1 篇)

arXiv 2026 · 预印本;正式 venue 未核实

Geometry-Instructed Video Editing

论文明确内容 用编辑前后几何条件和配对数据控制视频对象变换,包含阴影、反射等次生效果。

与本方向的距离 [推断] 与选择性执行直接接近;给定几何的控制不等于自行推断未知机制的全部后果。

发表依据 · 核对记录

第一步 · 它最接近谁

L1 · 视觉目标条件的 procedure planning → 状态变化监督 → 视频形式的下一事件回答(4 篇)

[推断] 直接任务脉络与邻接扩展。PROC→SCHEMA 延续 procedure planning;STATE 改为表征监督;VANS 改为 next-event video answer。后两者不是同一 benchmark 上的连续排名。 PROC · SCHEMA · STATE · VANS

[推断] 与 XR 教程接近,但“步骤规划/表征/下一事件答案”均不自动包含同一历史下的显式事件干预。 PROC · SCHEMA · STATE · VANS

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
既有补充
Procedure Planning in Instructional Videos[论文] Chien-Yi Chang; De-An Huang; Danfei Xu; Ehsan Adeli; Li Fei-Fei; Juan Carlos Niebles[论文] 2020 · ECCV 2020首版 2019;venue 依据
任务其他(教学视频中的 procedure planning;不输出视频)
论文类型方法
贡献落点主:表示次:训练信号
具体落点可规划的 state/action latent space;forward/conjugate dynamics 联合约束。
生成范式不适用
控制信号无
目标性质不适用规划成功与动作序列正确性
[推断] 近期进展/近邻
既有补充
SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos[论文] Yulei Niu; Wenliang Guo; Long Chen; Xudong Lin; Shih-Fu Chang[论文] 2024 · ICLR 2024首版 2024;venue 依据
任务其他(状态变化驱动的步骤规划)
论文类型方法
贡献落点主:表示次:训练信号 / 记忆与上下文
具体落点动作前后状态文本与视觉 state embeddings 对齐;显式预测 intermediate states。
生成范式不适用
控制信号无
目标性质不适用步骤与中间状态预测正确性
[推断] 近期进展/近邻
库内
What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning[论文] Chi-Hsi Kung; Frangil Ramirez; Juhyung Ha; Yi-Ting Chen; David Crandall; Yi-Hsuan Tsai[论文] 2025 · ICCV 2025首版 2025;venue 依据
任务其他(视频表征学习;counterfactual 是监督)
论文类型方法
贡献落点主:训练信号次:表示
具体落点state-change 正例与 counterfactual 负例用于 clip/video-level 表征对齐。
生成范式不适用
控制信号无
目标性质不适用表征的 procedure awareness 与下游正确率
[推断] 近期进展/近邻
库内
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO[论文] Junhao Cheng; Liang Hou; Xin Tao; Jing Liao[论文] 2026 · CVPR 2026首版 2025;venue 依据
任务视频作为推理或回答
论文类型方法
贡献落点主:训练信号次:数据
具体落点Joint-GRPO 对齐 VLM caption 与 VDM video answer。
生成范式离线整段生成一次回答生成一个未来片段;不是逐 token streaming 的能力主张。
控制信号文本 / 图像
目标性质实体一致 / 因果或状态一致 / 指令遵循
L2 · 个体反事实的结构化定义,与对象后效删除/几何及物理编辑的两条实现分支(6 篇)

[推断] DSCM 是概念奠基参照,不声称视频方法继承了其 SCM 或定理。实现分支中 OMNI→VOID 有明确权重初始化和任务推进关系;CWMDT、GIVE、PHYS 分别选择结构化语义、几何指令、重建后物理模拟。 DSCM · OMNI · CWMDT · VOID · GIVE · PHYS

[推断] 最直接对应 A;对 XR-C 还缺隐藏状态、主动操作及教学结果。geometry-dependent effects 与动态 causal consequences 必须分别评测。 DSCM · OMNI · CWMDT · VOID · GIVE · PHYS

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
既有补充
Deep Structural Causal Models for Tractable Counterfactual Inference[论文] Nick Pawlowski; Daniel C. Castro; Ben Glocker[论文] 2020 · NeurIPS 2020首版 2020;venue 依据
任务其他(图像上的结构因果反事实推断)
论文类型方法
贡献落点主:表示次:架构与生成范式
具体落点SCM structural mechanisms 与 exogenous-noise posterior,使个体反事实可计算。
生成范式不适用
控制信号无
目标性质不适用SCM 下的个体反事实一致性;非视频性质
[推断] 近期进展/近邻
库外
Generative Omnimatte: Learning to Decompose Video into Layers[论文] Yao-Chih Lee; Erika Lu; Sarah Rumbley; Michal Geyer; Jia-Bin Huang; Tali Dekel; Forrester Cole[论文] 2025 · CVPR 2025首版 2024;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:训练信号次:条件注入 / 数据
具体落点微调 Casper object-effect removal;trimask 区分删除、保留与不确定后效。
生成范式离线整段生成
控制信号图像 / 姿态或结构图
目标性质画质 / 实体一致 / 短时连贯
[推断] 近期进展/近邻
库内
Counterfactual World Models via Digital Twin-conditioned Video Diffusion[论文] Yiqing Shen; Aiza Maksutova; Chenjia Li; Mathias Unberath[论文] 2025 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2025;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:表示次:推理时方法
具体落点structured-text digital twin 表示对象/关系,先传播干预再条件化生成。
生成范式离线整段生成按干预请求生成序列;不是已核实的实时 action loop。
控制信号文本 / 图像 / 姿态或结构图
目标性质因果或状态一致 / 指令遵循 / 短时连贯
[推断] 近期进展/近邻
库内
VOID: Video Object and Interaction Deletion[论文] Saman Motamed; William Harvey; Benjamin Klein; Luc Van Gool; Zhuoning Yuan; Ta-Ying Cheng[论文] 2026 · ECCV 2026首版 2026;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:训练信号次:条件注入 / 数据 / 推理时方法
具体落点paired removal supervision+quadmask;第二遍用 flow-warped noise 稳定新运动。
生成范式离线整段生成
控制信号图像 / 姿态或结构图 / 轨迹或光流
目标性质因果或状态一致 / 物理合理 / 实体一致 / 短时连贯
[推断] 近期进展/近邻
库内
Geometry-Instructed Video Editing[论文] Chirui Chang; Xiaoyang Lyu; Yi-Hua Huang; Haoru Tan; Shizhen Zhao; Yikang Ding; Jianmin Bao; Xin Tao; Pengfei Wan; Xiaojuan Qi[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:条件注入次:表示 / 数据
具体落点pre/post depth-box+orientation-box 两路 geometry instruction;统一多种几何算子。
生成范式离线整段生成
控制信号图像 / 姿态或结构图
目标性质几何一致 / 实体一致 / 短时连贯 / 指令遵循
[推断] 近期进展/近邻
既有补充
VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction[论文] Conghan Yue; Yuanjie Chen; Yue Han; Ya Gao; Yunyan Xiao; WeiYao Zhang; Zhineng Chen[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:推理时方法次:表示 / 评测
具体落点重建可模拟的刚体场景,执行物理干预后用新轨迹指导生成。
生成范式离线整段生成
控制信号文本 / 图像 / 轨迹或光流 / 物理或模拟代理
目标性质因果或状态一致 / 物理合理 / 几何一致

第二步 · 综合与可证伪实验

原始问题与演变

[推断] 原始 procedure planning 问“从起点到目标做哪些动作”;SCHEMA 显式引入状态;STATE 把 counterfactual 用作表征监督,VANS 把输出改为下一事件视频。另一分支从对象后效去除扩展到 VOID 的动态删除,GIVE 的几何变化和 PHYS 的定时物理干预。两条分支尚不能仅凭名称合并成同一 causal generation 能力。 PROC · SCHEMA · STATE · VANS · DSCM · VOID · GIVE · PHYS

前沿证据边界

[推断] 已有较直接证据:程序数据集规划/表征结果,以及 engine 中 paired geometric/physical targets。较弱证据:真实复杂场景的“如果没做这一步”主要是偏好、judge 或定性;VANS 人评是答案质量,并非教学执行的随机对照。 PROC · SCHEMA · STATE · VANS · DSCM · VOID · GIVE · PHYS

候选核心问题

[推断] 局部观察无法区分多个隐藏机制时,系统应何时给出分支后果、何时先获取证据,而不是生成唯一看似可信的教程? PROC · SCHEMA · STATE · VANS · DSCM · VOID · GIVE · PHYS

为什么不是仅加数据/算力

[推断] (a) 设计观察等价、干预后结果不同的机制,观察数据再多也不能在当前实例确定真机制,属于可识别性问题;(b) 上述参考基准未联合测试该歧义与校准拒绝/分支;(c) 可控制隐藏机制和证据揭示时刻直接检验。 PROC · SCHEMA · STATE · VANS · DSCM · VOID · GIVE · PHYS

实验提案 · 尚未执行

案例:[推断] XR 装配或支撑物实验:外观相同的零件分别有隐藏锁扣/磁吸/纯支撑;源视频中都静止,移除支撑后的行为不同。先在引擎建立可复现实验,再用可切换机构录制受控真实视频。

操作/自变量:[推断] 2×2:隐藏机制可辨/不可辨 × 允许/不允许一次诊断性观察或轻触;固定初始条件、编辑时间、相机、随机种子,生成漏步/换序的结果。

对照:[推断] 同 backbone 的 VANS/文本条件、VOID 删除、PHYS 重建、显式多假设+主动查询;oracle mechanism 为上界;另设同成本随机查询。

指标:[推断] 对象轨迹与接触/步骤结果;未受影响对象状态误改率;不同机制下预测分布 calibration、错误确定性;查询成本;后续真人执行成功另作为教学验证。

可推翻结果:[推断] 如果在观察等价组中,单一假设方法仍可在预注册的隐藏机制随机化下稳定预测正确,需先查是否有数据泄漏;若多假设/诊断查询无收益,则当前核心假设或观测设计不成立。

已有工作与差别

[推断] PHYS 是物理重建直接竞争者;VOID 覆盖删除,GIVE 覆盖几何算子。DSCM 提供 abduction–action–prediction 原理,但依赖结构假设。差别不能写成“我们也考虑因果”,应是部分可识别下的后果分布与查询协议。 PROC · SCHEMA · STATE · VANS · DSCM · VOID · GIVE · PHYS

[推断] 与 AIGC-A 合并为一个方法方向;XR-C 是需要部分观察和操作证据的实例。只把电影对象换成工具不构成独立研究。 PROC · SCHEMA · STATE · VANS · DSCM · VOID · GIVE · PHYS

XR-L · 两步研究结果

面向 XR 教程的主动澄清:用户持有 GT,研究 how

[推断] 输入不充分但目标或指代真值存在于用户认知中,且需要澄清已给定;XR agent 选择并执行澄清交互,获取用户答案并可靠更新教程。

2026-10-15 · [推断] 阅读排序

2026 已发表近邻 · 优先阅读

Proactive clarification for XR Tutorials:已知需要澄清,GT 在用户那里;只研究 how。

Agent 自己选择并发起问题、对象高亮、候选对照或确认界面;用户提供 GT。主动感知未知物理事实、何时提问和跨任务数据选择均不是当前主问题。

继续阅读与补充边界(2 篇)

第一步 · 它最接近谁

L3 · 不充分输入下的主动澄清/信息获取 → 生成工具策略(5 篇)

[推断] 方法问题近邻。KnowNo 的 calibrated help、ACT 的 dialogue action、GPS 的条件图、Qwen 的 context acquisition、VideoGen-Agent 的工具策略,分别实现“缺信息时怎么办”;并非同一理论保证逐篇传递。 KNOW · ACT · GPS · QWEN · VGEN

[推断] 自动获取更多 context 已有实作;跨 ask/look/search/demo/control 的最小充分预算及最终视频风险,需要单独定义。 KNOW · ACT · GPS · QWEN · VGEN

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners[论文] Allen Z. Ren; Anushri Dixit; Alexandra Bodrova; Sumeet Singh; Stephen Tu; Noah Brown; Peng Xu; Leila Takayama; Fei Xia; Jake Varley; Zhenjia Xu; Dorsa Sadigh; Andy Zeng; Anirudha Majumdar[论文] 2023 · CoRL 2023首版 2023;venue 依据
任务其他(机器人任务规划与校准求助)
论文类型方法
贡献落点主:推理时方法
具体落点conformal prediction set 校准:行动候选不唯一时求助。
生成范式不适用
控制信号无
目标性质不适用计划覆盖率、任务成功与求助成本
[推断] 近期进展/近邻
库内
Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training[论文] Maximillian Chen; Ruoxi Sun; Tomas Pfister; Sercan Ö. Arık[论文] 2025 · ICLR 2025首版 2024;venue 依据
任务其他(多轮澄清对话策略)
论文类型方法
贡献落点主:训练信号
具体落点以不同 dialogue actions 及其后续结果构造对比,进行 quasi-online DPO。
生成范式不适用
控制信号无
目标性质不适用对话决策与目标答案正确性
[推断] 近期进展/近邻
库内
GPS: Graph-guided Proactive Information Seeking in Large Language Models[论文] Ruiqing Li; Yifeng Xu; Xinke Jiang; Zhibang Yang; Xinyu Ma; Yue Fang; Junfeng Zhao; Yasha Wang; Xu Chu[论文] 2026 · ICLR 2026首版 2026;venue 依据
任务其他(规则型 RAG 主动信息获取)
论文类型方法
贡献落点主:表示次:训练信号 / 推理时方法
具体落点conditional DAG 表示缺失条件与依赖,随回答遍历/剪枝。
生成范式不适用
控制信号无
目标性质不适用答案成功率与澄清效率
[推断] 近期进展/近邻
库内
Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation[论文] Zekai Zhang; Jiahao Li; Jie Zhang; Kaiyuan Gao; Kun Yan; Lihan Jiang; Ningyuan Tang; Shengming Yin; Tianhe Wu; Xiaoyue Chen; Xiao Xu; Yan Shu; Yanran Zhang; Yixian Xu; Yuxiang Chen; Zhendong Wang; Zihao Liu; Zikai Zhou; Huishuai Zhang; Dongyan Zhao; Chenfei Wu[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务其他(图像生成 agent;不是视频生成)
论文类型方法
贡献落点主:推理时方法次:记忆与上下文 / 评测
具体落点agent 规划并从 reasoning/search/memory/feedback 构建 generation context。
生成范式不适用该生成范式维度针对视频,图像任务不套用。
控制信号文本 / 图像 / 身份参考
目标性质指令遵循
[推断] 近期进展/近邻
库内
VideoGen-Agent: Reinforcing Video Generation Agents[论文] Binxu Li; Haoyi Duan; Yuhui Zhang; Yaohui Zhang; Zihao Lin; Kaituo Feng; Suozhi Huang; Xiangyi Li; Yu Li; Chunyuan Li; Shilong Liu; Mengdi Wang[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务条件控制生成
论文类型方法
贡献落点主:训练信号次:推理时方法 / 评测
具体落点SFT+agentic RL 学习工具选择;主落点是 agent policy,不是新视频 backbone。
生成范式不适用不适用统一范式:agent 编排多种 renderer;原文未把所有工具限定为同一种离线/因果/少步架构。
控制信号文本 / 图像 / 身份参考 / 物理或模拟代理
目标性质指令遵循 / 实体一致 / 物理合理 / 因果或状态一致

第二步 · 综合与可证伪实验

原始问题与演变

[推断] 从条件询问与 dialogue actions,推进到第一人称多模态消歧、可回答性奖励与 AR 候选呈现。原来的主动探索分支仍保留在 AIGC-D 与旧范围档案。 GPS · ACT · KNOW

前沿证据边界

[推断] Agent 自己选择并发起问题、对象高亮、候选对照或确认界面;用户提供 GT。主动感知未知物理事实、何时提问和跨任务数据选择均不是当前主问题。 GPS · ACT · KNOW

候选核心问题

[推断] 固定澄清触发时刻后,agent 如何选择提问内容、呈现形式与候选对照,让用户低负担地给出可执行答案? GPS · ACT · KNOW

为什么不是仅加数据/算力

[推断] 关键自变量是澄清行动及其语义可区分性;模型置信度和触发策略不作为主贡献。需同时检验答案恢复和后续视频执行,不能止于问句质量。 GPS · ACT · KNOW

实验提案 · 尚未执行

案例:[推断] 装配教程里用户知道目标部件、操作目的或所指对象,但初始表达不充分;系统已收到“需要澄清”信号。

操作/自变量:[推断] 固定触发时刻、可用传感信息和生成器,让 agent 选择开放问句、候选对照、高亮指认或确认组合;用户只回答意图/指代,不承担 agent 的策略选择。

对照:[推断] 固定模板、仅文本问答、候选列表、随机同成本交互、GPS-style DAG、Plug-and-Play Clarifier;oracle user answer。

指标:[推断] 目标/指代恢复率、问题可回答率、用户时间与轮数、错误确认率、答案到教程约束的执行率;分别报告澄清失败和 renderer 失败。

可推翻结果:[推断] 若同成本固定候选列表达到相同效果,或 GT 已正确恢复但视频不执行,不能将收益归因于更好的澄清策略。

已有工作与差别

[推断] Plug-and-Play Clarifier、GPS、CLARITI 最接近 how;Uncertain Pointer 支撑界面呈现。前者部分流程仍要求用户调整位置,须区分 agent 发起交互与 agent 独立获得所有信息。 GPS · ACT · KNOW

[推断] XR-L 是 AIGC-D 中“用户持有 GT”的受限子问题;共享缺口表示和答案执行,但不与广义主动探索、最优停止或数据采集研究合并。 GPS · ACT · KNOW

XR-S · 两步研究结果

新证据下可纠错的 XR 教程视频世界模型

[推断] 真实观察否定教程假设时,撤销错误状态及其依赖,只修改受影响的未来演示。

2026-10-15 · [推断] 阅读排序

2026 已发表近邻 · 优先阅读

区分内部自检、外部反证、真实世界变化与观测噪声,再更新记忆和后续教程。

优先研究外部反证下的选择性修订。导航纠错、空间记忆更新和历史保持分别是近邻,不能合起来声称问题已解决。

1 · ICML 2026 · 已发表/已确认会议归属

SC²-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments

论文明确内容 利用 world-model foresight 产生内部反馈,修订执行前计划;必要时选择性进行 test-time 模型适应。

与本方向的距离 [推断] 直接涉及 state-level 与 model-level correction,但任务是导航;内部反馈不等于外来反证,输出也不是教程视频。

发表依据 · 核对记录

2 · CVPR 2026 · 已发表/已确认会议归属

Spatia: Video Generation with Updatable Spatial Memory

论文明确内容 以可更新空间记忆支持视频生成,利用生成片段和视觉 SLAM 更新空间表示。

与本方向的距离 [推断] 很适合研究记忆到视频的执行接口;空间更新本身不建立外部证据推翻旧信念的选择性撤销。

发表依据 · 核对记录

3 · ICLR 2026 · 已发表/已确认会议归属

Composition of Memory Experts for Diffusion World Models

论文明确内容 组合短期、长期与空间记忆专家;长期专家通过轻量 test-time finetuning 将历史保留在外部 diffusion 权重中。

与本方向的距离 [推断] 解决历史保持与一致性;未据此建立冲突证据的来源裁决与依赖撤销。

发表依据 · 核对记录

继续阅读与补充边界(2 篇)

第一步 · 它最接近谁

L5 · 生成历史的长期记忆 → 编辑后有效性更新 → 组件级检索(5 篇)

[推断] 生成 memory 的直接技术邻域;STREAM 作为本表早期代表,不声称它是所有生成记忆的最早工作。WORLD 加入 pose/time;PERMA 显式使过时 memory 失效;A2RD 用 agent 检索修订;WEAVE 选择内部 KV。 STREAM · WORLD · PERMA · A2RD · WEAVE

[推断] “有可更新 memory”已经被覆盖;来自新证据的错误诊断、来源裁决、依赖传播和选择性撤销,不能用普通一致性代替。 STREAM · WORLD · PERMA · A2RD · WEAVE

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text[论文] Roberto Henschel; Levon Khachatryan; Hayk Poghosyan; Daniil Hayrapetyan; Vahram Tadevosyan; Zhangyang Wang; Shant Navasardyan; Humphrey Shi[论文] 2025 · CVPR 2025首版 2024;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:架构与生成范式 / 推理时方法
具体落点前一 chunk 的 CAM+首段 appearance anchor;blending 支持长程增强。
生成范式因果自回归或流式chunk-level autoregressive;不等于单帧 causal attention。
控制信号文本 / 图像
目标性质画质 / 短时连贯 / 实体一致
[推断] 近期进展/近邻
库内
WorldMem: Long-term Consistent World Simulation with Memory[论文] Zeqi Xiao; Yushi Lan; Yifan Zhou; Wenqi Ouyang; Shuai Yang; Yanhong Zeng; Xingang Pan[论文] 2025 · NeurIPS 2025首版 2025;venue 依据
任务3D/4D 一致生成
论文类型方法
贡献落点主:记忆与上下文次:条件注入
具体落点带 pose/time 的 memory frames,经 memory attention 检索旧视角状态。
生成范式因果自回归或流式按世界状态向前生成并读取过去 memory。
控制信号图像 / 相机 / 动作
目标性质几何一致 / 环境记忆 / 因果或状态一致
[推断] 近期进展/近邻
库外
PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory[论文] Shuai Yang; Bingjie Gao; Ziwei Liu; Jiaqi Wang; Dahua Lin; Tong Wu[论文] 2026 · NeurIPS 2026(已录用;作者列表确认)首版 2026;venue 依据
任务3D/4D 一致生成
论文类型方法
贡献落点主:记忆与上下文次:条件注入 / 数据
具体落点RGB/depth 双 memory;按全局/局部 edit invalidation 保留有效参考。
生成范式因果自回归或流式主任务是跨编辑的持续世界生成;局部编辑本身不是唯一输出。
控制信号图像 / 相机 / 姿态或结构图
目标性质几何一致 / 环境记忆 / 实体一致
[推断] 近期进展/近邻
库内
A$^2$RD: Agentic Autoregressive Diffusion for Long Video Consistency[论文] Do Xuan Long; Yale Song; Min-Yen Kan; Tomas Pfister; Long T. Le[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:推理时方法次:记忆与上下文 / 评测
具体落点Retrieve–Synthesize–Refine–Update;frame/video 两级校验与重采样。
生成范式因果自回归或流式segment-level autoregressive;内部单片段可以 extrapolation/interpolation。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 因果或状态一致 / 短时连贯
[推断] 近期进展/近邻
库外
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation[论文] Ziyi Wang; Junchi Yao; Heqian Qiu; Wenbo Shi; Chengjiu Wang; Jinyang He; Binkai Hong; Hongliang Li[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:推理时方法 / 条件注入
具体落点semantic slots 选择历史 KV;masked weaving 与 adaptive RoPE 控制组合参考。
生成范式因果自回归或流式逐镜头使用历史 cache;training-free 不等于少步或实时。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 短时连贯
L6 · 部分视觉证据下的解释与 belief/context 修订(3 篇)

[推断] 问题近邻而非已核实的引用链。BlackSwan 是新证据推翻解释的任务起点;GenEx 用想象更新 belief;VIS-Ground 将 source/history/intent 的依赖落实为续写约束。 BLACK · GENEX · VIS

[推断] 三者既不共用证据来源,也不都做 memory invalidation。用它们界定 B/S 的缺口,比把所有 consistency papers 都叫 belief revision 更准确。 BLACK · GENEX · VIS

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库内
Black Swan: Abductive and Defeasible Video Reasoning in Unpredictable Events[论文] Aditya Chinchure; Sahithya Ravi; Raymond Ng; Vered Shwartz; Boyang Li; Leonid Sigal[论文] 2025 · CVPR 2025首版 2024;venue 依据
任务其他(视频理解与可撤销推理;不是视频形式的回答)
论文类型基准
贡献落点主:评测次:数据
具体落点用逐步揭示的视频证据测试 abductive/defeasible reasoning。
生成范式不适用
控制信号无
目标性质不适用解释正确性与证据响应能力
[推断] 近期进展/近邻
既有补充
Generative World Explorer[论文] Taiming Lu; Tianmin Shu; Alan Yuille; Daniel Khashabi; Jieneng Chen[论文] 2025 · ICLR 2025首版 2024;venue 依据
任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:架构与生成范式次:表示 / 数据 / 评测
具体落点panoramic generative explorer 预测想象中的观察,用于 belief/decision 更新。
生成范式因果自回归或流式按探索动作连续生成;此标签不意味着已达到实时速度。
控制信号图像 / 动作
目标性质几何一致 / 环境记忆 / 因果或状态一致
[推断] 近期进展/近邻
既有补充
VIS-Ground: Video Interactive Storytelling with Contextual Grounding[论文] Bingxuan Li; Yiwen Song; Xueqing Wu; Yanzhou Pan; Yang Li; Kuang Su; Jingyun Liu; Sebastian Ko; Huan Zhang; Tong Zhang; Nanyun Peng; Tomas Pfister; Yale Song[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:推理时方法 / 评测
具体落点source/prefix/intent→evidence-linked dependencies→可执行 generation constraints。
生成范式离线整段生成论文评估从 prefix 生成 48 秒 continuation;交互续写不是低延迟 streaming 证明。
控制信号文本 / 图像 / 身份参考
目标性质因果或状态一致 / 实体一致 / 指令遵循

第二步 · 综合与可证伪实验

原始问题与演变

[推断] 生成 memory 先服务于“别忘记旧画面”;WorldMem 强化 spatial recall,PermaVid 已明确处理编辑后旧 context 失效。BlackSwan 则研究证据如何推翻解释,VIS-Ground 把异质上下文依赖转换为续写约束。XR-S 的交集是证据纠错如何传到未来生成。 STREAM · WORLD · PERMA · A2RD · WEAVE · BLACK · VIS

前沿证据边界

[推断] 已可靠展示局部历史保持、编辑后重访、组件检索和某些约束续写。尚不足以证明:带噪传感/教师证据否定隐藏状态时,所有依赖的未来动作都撤销、无关已确认事实不变。仅添加一段新 prompt 或刷新 memory 不足以界定这个目标。 STREAM · WORLD · PERMA · A2RD · WEAVE · BLACK · VIS

候选核心问题

[推断] 当生成假设与新观测冲突且影响跨越多个步骤时,能否识别“哪个推断错了”,并使 memory、计划与生成条件一致地局部失效? STREAM · WORLD · PERMA · A2RD · WEAVE · BLACK · VIS

为什么不是仅加数据/算力

[推断] (a) 涉及证据来源、冲突裁决和依赖失效语义,增加容量并不定义何者应信;(b) 现有 memory consistency 评测不等于含噪反证的纠错精确率;(c) 可控制错误来源、证据可靠性及 downstream dependency GT。 STREAM · WORLD · PERMA · A2RD · WEAVE · BLACK · VIS

实验提案 · 尚未执行

案例:[推断] 生成装配教程先推断“锁扣已扣上”;后续侧视图揭示未扣紧,需修改测试/承重步骤,却保持已装好的其它部件。

操作/自变量:[推断] 插入早期错误假设;在不同延迟揭示视觉/传感/教师证据;正交控制证据准确/误报和依赖链长度。

对照:[推断] append-only history、整段重生成、PermaVid-style spatial invalidation、A2RD critic loop、VIS-Ground constraints;provenance+dependency invalidation;oracle dependency graph。

指标:[推断] 错误状态撤销 precision/recall、下游错误残留率、无关事实误改率、回到旧视角后的错误复现、未来教程约束满足;固定算力下的修正延迟。

可推翻结果:[推断] 若简单最新帧/最近 prompt 替换已达到同样依赖修正与无关保留,则复杂 provenance graph 没有必要;若噪声下新方法更易推翻正确事实,核心价值未成立。

已有工作与差别

[推断] PermaVid 必须列作强 baseline:已知 edit region 的 RGB/depth 失效已有实现。VIS-Ground 必须测试 source/history/intent 约束。候选差别是外部证据的可靠性与非空间依赖;在本次检索范围内未找到完整覆盖此协议的已验证工作。 特别注意:VIS 已有 evidence-linked predicates、pass/fail/unknown 和 targeted script revision,因此 provenance graph 本身不是可守住的新意;必须以旧推断失效后的依赖撤销和 memory/KV 残留为区别。 STREAM · WORLD · PERMA · A2RD · WEAVE · BLACK · VIS

[推断] 与 AIGC-B 合并;就你的 abductive reasoning 背景而言,是自然衔接,但“可纠错 memory”这个宽标题已经不够新。 STREAM · WORLD · PERMA · A2RD · WEAVE · BLACK · VIS

XR-E · 两步研究结果

跨任务持续改善的 XR 教程生成

[推断] 将多个学员的误操作与教师反馈转成可验证的持久教学改进,同时避免旧任务能力退化。

2026-10-15 · [推断] 阅读排序

2026 已发表近邻 · 优先阅读

跨任务保留并改善教学策略:从学员执行反馈中更新可复用经验,并检验新任务迁移与旧任务回归。

ARify/AgentCoach 对应教学端;ACE/MCE 对应持续改进机制;VISTA 的单任务修补与 DGM 的代码自修改分别列作不同距离的近邻。

3 · ICML 2026 · 已发表/已确认会议归属

Meta Context Engineering via Agentic Skill Evolution

论文明确内容 联合演化 context-engineering skills 和 context artifacts,在五类领域的离线、在线设置中评价。

与本方向的距离 [推断] 比仅记录成功提示更接近策略演化;多领域实验不能直接解释成跨领域无遗忘迁移。

发表依据 · 核对记录

继续阅读与补充边界(8 篇)

第一步 · 它最接近谁

L7 · 执行经验与外部反馈 → 持久技能/生成器/生产策略改进及回归(5 篇)

[推断] 共通的是反馈跨执行保留,但更新对象不同:代码库、生成参数、stage-local policy、文本记忆。MEMFAULT 是反证分支,用于检验持续更新是否会退化。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

[推断] 跨任务改进并非新空白;XR-E 必须提出关于学习者反馈归因及教学收益的额外问题。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库内
Voyager: An Open-Ended Embodied Agent with Large Language Models[论文] Guanzhi Wang; Yuqi Xie; Yunfan Jiang; Ajay Mandlekar; Chaowei Xiao; Yuke Zhu; Linxi Fan; Anima Anandkumar[论文] 2024 · TMLR 2024首版 2023;venue 依据
任务其他(开放式 embodied agent 学习)
论文类型方法
贡献落点主:记忆与上下文次:推理时方法
具体落点持久 executable skill library;环境反馈改程序并复用。
生成范式不适用
控制信号无
目标性质不适用技能积累、任务成功与迁移
[推断] 近期进展/近邻
库外
VideoAgent: Self-Improving Video Generation[论文] Achint Soni; Sreyas Venkataraman; Abhranil Chandra; Sebastian Fischmeister; Percy Liang; Bo Dai; Sherry Yang[论文] 2024 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2024;venue 依据
任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:推理时方法次:训练信号
具体落点self-conditioning consistency 修订 video plans;执行数据可进一步训练生成器。
生成范式离线整段生成按轮生成/修订一段 video plan;闭环执行不等于生成器本身逐帧因果流式。
控制信号文本 / 图像
目标性质因果或状态一致 / 物理合理 / 指令遵循
[推断] 近期进展/近邻
库外
SPIRAL: Self-Evolving Action-Conditioned Video Generation via Reflective Planning Agents[论文] Yu Yang; Yue Liao; Jianbiao Mei; Baisen Wang; Xuemeng Yang; Licheng Wen; Jiangning Zhang; Xiangtai Li; Liang Lv; Hanlin Chen; Botian Shi; Yong Liu; Shuicheng Yan; Gim Hee Lee[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:架构与生成范式次:训练信号 / 记忆与上下文 / 数据 / 评测
具体落点plan–generate–critic 逐动作闭环;memory 保持状态,GRPO 后训练 generator。
生成范式因果自回归或流式原文明确按 action step 分段 streaming;主张不等于低延迟实时。
控制信号文本 / 图像 / 动作
目标性质因果或状态一致 / 短时连贯 / 实体一致 / 指令遵循
[推断] 近期进展/近邻
库内
CineForge: Self-Improving Agents for Long-Horizon Video Generation[论文] Junxiang Liu; Lin Wang; Haiyu Shi; Hongxu Ma; Xiaoyu Yang; Chunjie Chen; Xiaoxiao Xu; Kaiqiao Zhan; Boao Wang; Shuizhou Shi; Tianyun Zhu; Jie Li; Jiangtong Li[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:推理时方法次:表示 / 记忆与上下文 / 评测
具体落点typed production trajectory→跨故事 stage-local policy patch;不是 backbone 参数自训练。
生成范式离线整段生成整故事离线计划与分镜渲染;跨故事 policy 演化不是 token 自回归。
控制信号文本 / 图像 / 身份参考
目标性质因果或状态一致 / 实体一致 / 指令遵循 / 效率与延迟
[推断] 近期进展/近邻
库内
Useful Memories Become Faulty When Continuously Updated by LLMs[论文] Dylan Zhang; Yanshan Lin; Zhengkun Wu; Yihang Sun; Bingxuan Li; Dianqi Li; Hao Peng[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务其他(LLM agent memory 更新的失败分析)
论文类型分析
贡献落点主:评测次:记忆与上下文
具体落点受控替换 consolidation schedule;用 episodic-only 对照定位 memory regression。
生成范式不适用
控制信号无
目标性质不适用更新收益、旧任务回归与记忆效用

第二步 · 综合与可证伪实验

原始问题与演变

[推断] Voyager 积累可执行技能;VideoAgent 用外部反馈修视频计划并收集再训练数据;SPIRAL 联合闭环和生成器后训练;CineForge 已从多故事轨迹提炼持久策略。MEMFAULT 表明持续归纳 memory 也会伤害原有能力。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

前沿证据边界

[推断] “系统能跨任务改进”已经有直接近邻;“改得越来越好”没有无条件证据。模拟任务成功、故事质量、critic 分数,都不直接测真实学员学习增益或保持旧知识。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

候选核心问题

[推断] 怎样辨别一次学员失败是教程错误、学员差异还是环境异常,并只把有跨用户证据的修复升级为持久策略? VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

为什么不是仅加数据/算力

[推断] (a) 教程效果与能力/任务分配混淆,增加反馈量不能替代因果对照;(b) 现有视频 self-improvement papers 不直接提供教学归因和跨学员保留证据;(c) 可随机化反馈来源与策略部署,测试迁移及回归。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

实验提案 · 尚未执行

案例:[推断] 多个装配任务与新手/熟练学员;一个错误可能由镜头没拍到锁扣、术语不清或学员粗心导致。

操作/自变量:[推断] 分离 current-session repair 与 persistent update;按任务/学员随机分派教程版本;控制反馈噪声,保留原始 episode。

对照:[推断] 无更新、每次都写 memory、episodic retrieval、CineForge-style stage patch、SPIRAL-style parameter update、证据门控策略;所有方法用同一反馈池。

指标:[推断] 新学员未见任务执行成功/保持测验、旧任务 regression、最坏子群收益、反馈样本效率;跨用户划分而不是随机视频划分。

可推翻结果:[推断] 若盲测新用户无学习增益,只有 critic 分数提高,则不能称教学 self-improvement;若 episodic retrieval 已匹配全部收益,持久规则归纳或参数更新不必要。

已有工作与差别

[推断] ARify/AgentCoach 最接近教学界面;ACE/MCE/Darwinian Memory 支撑经验与策略更新;SILVR 连接执行反馈。VISTA 属单任务优化,CineForge 属跨故事策略,DGM 属自修改代码,距离不同。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

[推断] [推断] 可把跨任务教学策略迁移独立为候选问题,但须有留出任务的学员收益、旧任务回归和错误经验隔离证据;仅 self-evolution 命名或持续写记忆不足以立项。 VOY · VIDEOAG · SPIRAL · CINE · MEMFAULT

AIGC-A · 两步研究结果

事件干预后的选择性视频生成与编辑

[推断] 固定同一历史与明确干预,只改变受影响的对象、事件和时间段,保留无关状态。

2026-10-15 · [推断] 阅读排序

最推荐先读的 3 篇

优先阅读:视频后果传播 → 几何条件执行 → 因果属性干预与保持。

[推断] 按任务接近度选三篇,允许明确标记的预印本;第三篇是图像方法,不冒充视频证据。

1 · ECCV 2026 · 已发表/已确认会议归属

VOID: Video Object and Interaction Deletion

论文明确内容 以 Kubric/HUMOTO 配对反事实数据训练;识别删除对象后受影响区域,并重生成下游交互。

与本方向的距离 [推断] 最直接的选择性视频后果编辑先例;主要是删除,不能外推为任意动作或未知机制修改。

发表依据 · 核对记录

2 · arXiv 2026 · 预印本;正式 venue 未核实

Geometry-Instructed Video Editing

论文明确内容 用编辑前后几何条件和配对数据控制视频对象变换,包含阴影、反射等次生效果。

与本方向的距离 [推断] 与选择性执行直接接近;给定几何的控制不等于自行推断未知机制的全部后果。

发表依据 · 核对记录

继续阅读与补充边界(1 篇)

第一步 · 它最接近谁

L2 · 个体反事实的结构化定义,与对象后效删除/几何及物理编辑的两条实现分支(6 篇)

[推断] DSCM 是概念奠基参照,不声称视频方法继承了其 SCM 或定理。实现分支中 OMNI→VOID 有明确权重初始化和任务推进关系;CWMDT、GIVE、PHYS 分别选择结构化语义、几何指令、重建后物理模拟。 DSCM · OMNI · CWMDT · VOID · GIVE · PHYS

[推断] 最直接对应 A;对 XR-C 还缺隐藏状态、主动操作及教学结果。geometry-dependent effects 与动态 causal consequences 必须分别评测。 DSCM · OMNI · CWMDT · VOID · GIVE · PHYS

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
既有补充
Deep Structural Causal Models for Tractable Counterfactual Inference[论文] Nick Pawlowski; Daniel C. Castro; Ben Glocker[论文] 2020 · NeurIPS 2020首版 2020;venue 依据
任务其他(图像上的结构因果反事实推断)
论文类型方法
贡献落点主:表示次:架构与生成范式
具体落点SCM structural mechanisms 与 exogenous-noise posterior,使个体反事实可计算。
生成范式不适用
控制信号无
目标性质不适用SCM 下的个体反事实一致性;非视频性质
[推断] 近期进展/近邻
库外
Generative Omnimatte: Learning to Decompose Video into Layers[论文] Yao-Chih Lee; Erika Lu; Sarah Rumbley; Michal Geyer; Jia-Bin Huang; Tali Dekel; Forrester Cole[论文] 2025 · CVPR 2025首版 2024;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:训练信号次:条件注入 / 数据
具体落点微调 Casper object-effect removal;trimask 区分删除、保留与不确定后效。
生成范式离线整段生成
控制信号图像 / 姿态或结构图
目标性质画质 / 实体一致 / 短时连贯
[推断] 近期进展/近邻
库内
Counterfactual World Models via Digital Twin-conditioned Video Diffusion[论文] Yiqing Shen; Aiza Maksutova; Chenjia Li; Mathias Unberath[论文] 2025 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2025;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:表示次:推理时方法
具体落点structured-text digital twin 表示对象/关系,先传播干预再条件化生成。
生成范式离线整段生成按干预请求生成序列;不是已核实的实时 action loop。
控制信号文本 / 图像 / 姿态或结构图
目标性质因果或状态一致 / 指令遵循 / 短时连贯
[推断] 近期进展/近邻
库内
VOID: Video Object and Interaction Deletion[论文] Saman Motamed; William Harvey; Benjamin Klein; Luc Van Gool; Zhuoning Yuan; Ta-Ying Cheng[论文] 2026 · ECCV 2026首版 2026;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:训练信号次:条件注入 / 数据 / 推理时方法
具体落点paired removal supervision+quadmask;第二遍用 flow-warped noise 稳定新运动。
生成范式离线整段生成
控制信号图像 / 姿态或结构图 / 轨迹或光流
目标性质因果或状态一致 / 物理合理 / 实体一致 / 短时连贯
[推断] 近期进展/近邻
库内
Geometry-Instructed Video Editing[论文] Chirui Chang; Xiaoyang Lyu; Yi-Hua Huang; Haoru Tan; Shizhen Zhao; Yikang Ding; Jianmin Bao; Xin Tao; Pengfei Wan; Xiaojuan Qi[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:条件注入次:表示 / 数据
具体落点pre/post depth-box+orientation-box 两路 geometry instruction;统一多种几何算子。
生成范式离线整段生成
控制信号图像 / 姿态或结构图
目标性质几何一致 / 实体一致 / 短时连贯 / 指令遵循
[推断] 近期进展/近邻
既有补充
VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction[论文] Conghan Yue; Yuanjie Chen; Yue Han; Ya Gao; Yunyan Xiao; WeiYao Zhang; Zhineng Chen[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务编辑与修改
论文类型方法
贡献落点主:推理时方法次:表示 / 评测
具体落点重建可模拟的刚体场景,执行物理干预后用新轨迹指导生成。
生成范式离线整段生成
控制信号文本 / 图像 / 轨迹或光流 / 物理或模拟代理
目标性质因果或状态一致 / 物理合理 / 几何一致
L1 · 视觉目标条件的 procedure planning → 状态变化监督 → 视频形式的下一事件回答(4 篇)

[推断] 直接任务脉络与邻接扩展。PROC→SCHEMA 延续 procedure planning;STATE 改为表征监督;VANS 改为 next-event video answer。后两者不是同一 benchmark 上的连续排名。 PROC · SCHEMA · STATE · VANS

[推断] 与 XR 教程接近,但“步骤规划/表征/下一事件答案”均不自动包含同一历史下的显式事件干预。 PROC · SCHEMA · STATE · VANS

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
既有补充
Procedure Planning in Instructional Videos[论文] Chien-Yi Chang; De-An Huang; Danfei Xu; Ehsan Adeli; Li Fei-Fei; Juan Carlos Niebles[论文] 2020 · ECCV 2020首版 2019;venue 依据
任务其他(教学视频中的 procedure planning;不输出视频)
论文类型方法
贡献落点主:表示次:训练信号
具体落点可规划的 state/action latent space;forward/conjugate dynamics 联合约束。
生成范式不适用
控制信号无
目标性质不适用规划成功与动作序列正确性
[推断] 近期进展/近邻
既有补充
SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos[论文] Yulei Niu; Wenliang Guo; Long Chen; Xudong Lin; Shih-Fu Chang[论文] 2024 · ICLR 2024首版 2024;venue 依据
任务其他(状态变化驱动的步骤规划)
论文类型方法
贡献落点主:表示次:训练信号 / 记忆与上下文
具体落点动作前后状态文本与视觉 state embeddings 对齐;显式预测 intermediate states。
生成范式不适用
控制信号无
目标性质不适用步骤与中间状态预测正确性
[推断] 近期进展/近邻
库内
What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning[论文] Chi-Hsi Kung; Frangil Ramirez; Juhyung Ha; Yi-Ting Chen; David Crandall; Yi-Hsuan Tsai[论文] 2025 · ICCV 2025首版 2025;venue 依据
任务其他(视频表征学习;counterfactual 是监督)
论文类型方法
贡献落点主:训练信号次:表示
具体落点state-change 正例与 counterfactual 负例用于 clip/video-level 表征对齐。
生成范式不适用
控制信号无
目标性质不适用表征的 procedure awareness 与下游正确率
[推断] 近期进展/近邻
库内
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO[论文] Junhao Cheng; Liang Hou; Xin Tao; Jing Liao[论文] 2026 · CVPR 2026首版 2025;venue 依据
任务视频作为推理或回答
论文类型方法
贡献落点主:训练信号次:数据
具体落点Joint-GRPO 对齐 VLM caption 与 VDM video answer。
生成范式离线整段生成一次回答生成一个未来片段;不是逐 token streaming 的能力主张。
控制信号文本 / 图像
目标性质实体一致 / 因果或状态一致 / 指令遵循

第二步 · 综合与可证伪实验

原始问题与演变

[推断] 对象删除最初解决补背景及 effects;VOID 将目标推进到互动轨迹。GIVE 用几何 pre/post 状态扩展算子,PHYS 从观察重建后重新模拟;DSCM 提醒个体 counterfactual 还要求明确 abduction 和不变因素。STATE 的 counterfactual 是监督信号,VANS 的未来回答则是邻接任务。 DSCM · OMNI · VOID · GIVE · PHYS · CWMDT · STATE · VANS

前沿证据边界

[推断] 已解决若干受限算子的局部问题;“所有干预都只改该改的部分”尚无通用保证。synthetic paired GT 可测物理/几何;真实视频 preference 只能支持感知合理性。新 novelty 必须避开自动 mask、LLM reasoner、物理合理等已有宽表述。 DSCM · OMNI · VOID · GIVE · PHYS · CWMDT · STATE · VANS

候选核心问题

[推断] 干预的影响范围不是输入已知 mask 时,如何同时保证因果后果的完整修改与非后代状态的保留,并在不可识别时承认多解? DSCM · OMNI · VOID · GIVE · PHYS · CWMDT · STATE · VANS

为什么不是仅加数据/算力

[推断] (a) 编辑边界应由机制决定,而非固定像素面积;未知机制会产生观察等价;(b) 现有分数常把“改对后果”与“少改背景”混为一个总分;(c) 受控机制提供 descendants/non-descendants 与时间边界 GT。 DSCM · OMNI · VOID · GIVE · PHYS · CWMDT · STATE · VANS

实验提案 · 尚未执行

案例:[推断] 游戏引擎中连锁机关、球体碰撞、支撑结构;同一源 episode 分别干预删除、属性、动作时刻,生成电影/游戏替代结局。

操作/自变量:[推断] 固定同一 external noise/seed 与历史;改变 intervention type、chain depth、远距离依赖、隐藏参数;区分 observed factual future 可用和只有 prefix 两种设定。

对照:[推断] OMNI、VOID、GIVE、CWMDT、PHYS,各按其支持算子公平比较;共享 backbone 的 mask/structured state/trajectory control;oracle impact set。

指标:[推断] affected-state accuracy 与 unaffected-state error 分开;trajectory/contact error;影响集合 precision/recall;干预前一致性;跨算子泛化,不能只合成一个 VLM 总分。

可推翻结果:[推断] 如果已知 mask/轨迹 oracle 足以解释全部收益,问题在上游机制推断;如果标准编辑器在相同信息下达标,则候选选择性机制没有额外贡献。

已有工作与差别

[推断] 直接竞争就是 VOID/GIVE/PHYS/CWMDT;DSCM 提供定义而非视频成绩。较可守住的差别是作用集合的可识别性、个体不变性与证据校准;在本次检索范围内未找到完整覆盖上述组合协议的工作。 DSCM · OMNI · VOID · GIVE · PHYS · CWMDT · STATE · VANS

[推断] 属于 controllable/physical video editing 的明确近邻,不能称偏离 video generation;但应与 XR-C 合并并选一类机制,不以“大一统因果编辑”作为首篇目标。 DSCM · OMNI · VOID · GIVE · PHYS · CWMDT · STATE · VANS

AIGC-B · 两步研究结果

外来反证驱动的视频生成记忆修订

[推断] 延迟到达的外部证据推翻早期推断时,局部修订生成记忆和未来视频,保留其它已确认事实。

2026-10-15 · [推断] 阅读排序

最推荐先读的 3 篇

优先阅读:失效记忆怎样更新 → 外来反证怎样揭示信念惯性 → 怎样闭环修订状态/模型。

[推断] 三篇分别覆盖生成记忆、反证评测、纠错方法;本论文池内未见它们完整实现外来反证驱动的选择性教程视频修复。

3 · ICML 2026 · 已发表/已确认会议归属

SC²-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments

论文明确内容 利用 world-model foresight 产生内部反馈,修订执行前计划;必要时选择性进行 test-time 模型适应。

与本方向的距离 [推断] 直接涉及 state-level 与 model-level correction,但任务是导航;内部反馈不等于外来反证,输出也不是教程视频。

发表依据 · 核对记录

继续阅读与补充边界(3 篇)

CVPR 2026 · 已发表/已确认会议归属

Spatia: Video Generation with Updatable Spatial Memory

论文明确内容 以可更新空间记忆支持视频生成,利用生成片段和视觉 SLAM 更新空间表示。

与本方向的距离 [推断] 很适合研究记忆到视频的执行接口;空间更新本身不建立外部证据推翻旧信念的选择性撤销。

发表依据 · 核对记录

ICLR 2026 · 已发表/已确认会议归属

Composition of Memory Experts for Diffusion World Models

论文明确内容 组合短期、长期与空间记忆专家;长期专家通过轻量 test-time finetuning 将历史保留在外部 diffusion 权重中。

与本方向的距离 [推断] 解决历史保持与一致性;未据此建立冲突证据的来源裁决与依赖撤销。

发表依据 · 核对记录

第一步 · 它最接近谁

L5 · 生成历史的长期记忆 → 编辑后有效性更新 → 组件级检索(5 篇)

[推断] 生成 memory 的直接技术邻域;STREAM 作为本表早期代表,不声称它是所有生成记忆的最早工作。WORLD 加入 pose/time;PERMA 显式使过时 memory 失效;A2RD 用 agent 检索修订;WEAVE 选择内部 KV。 STREAM · WORLD · PERMA · A2RD · WEAVE

[推断] “有可更新 memory”已经被覆盖;来自新证据的错误诊断、来源裁决、依赖传播和选择性撤销,不能用普通一致性代替。 STREAM · WORLD · PERMA · A2RD · WEAVE

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text[论文] Roberto Henschel; Levon Khachatryan; Hayk Poghosyan; Daniil Hayrapetyan; Vahram Tadevosyan; Zhangyang Wang; Shant Navasardyan; Humphrey Shi[论文] 2025 · CVPR 2025首版 2024;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:架构与生成范式 / 推理时方法
具体落点前一 chunk 的 CAM+首段 appearance anchor;blending 支持长程增强。
生成范式因果自回归或流式chunk-level autoregressive;不等于单帧 causal attention。
控制信号文本 / 图像
目标性质画质 / 短时连贯 / 实体一致
[推断] 近期进展/近邻
库内
WorldMem: Long-term Consistent World Simulation with Memory[论文] Zeqi Xiao; Yushi Lan; Yifan Zhou; Wenqi Ouyang; Shuai Yang; Yanhong Zeng; Xingang Pan[论文] 2025 · NeurIPS 2025首版 2025;venue 依据
任务3D/4D 一致生成
论文类型方法
贡献落点主:记忆与上下文次:条件注入
具体落点带 pose/time 的 memory frames,经 memory attention 检索旧视角状态。
生成范式因果自回归或流式按世界状态向前生成并读取过去 memory。
控制信号图像 / 相机 / 动作
目标性质几何一致 / 环境记忆 / 因果或状态一致
[推断] 近期进展/近邻
库外
PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory[论文] Shuai Yang; Bingjie Gao; Ziwei Liu; Jiaqi Wang; Dahua Lin; Tong Wu[论文] 2026 · NeurIPS 2026(已录用;作者列表确认)首版 2026;venue 依据
任务3D/4D 一致生成
论文类型方法
贡献落点主:记忆与上下文次:条件注入 / 数据
具体落点RGB/depth 双 memory;按全局/局部 edit invalidation 保留有效参考。
生成范式因果自回归或流式主任务是跨编辑的持续世界生成;局部编辑本身不是唯一输出。
控制信号图像 / 相机 / 姿态或结构图
目标性质几何一致 / 环境记忆 / 实体一致
[推断] 近期进展/近邻
库内
A$^2$RD: Agentic Autoregressive Diffusion for Long Video Consistency[论文] Do Xuan Long; Yale Song; Min-Yen Kan; Tomas Pfister; Long T. Le[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:推理时方法次:记忆与上下文 / 评测
具体落点Retrieve–Synthesize–Refine–Update;frame/video 两级校验与重采样。
生成范式因果自回归或流式segment-level autoregressive;内部单片段可以 extrapolation/interpolation。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 因果或状态一致 / 短时连贯
[推断] 近期进展/近邻
库外
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation[论文] Ziyi Wang; Junchi Yao; Heqian Qiu; Wenbo Shi; Chengjiu Wang; Jinyang He; Binkai Hong; Hongliang Li[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:推理时方法 / 条件注入
具体落点semantic slots 选择历史 KV;masked weaving 与 adaptive RoPE 控制组合参考。
生成范式因果自回归或流式逐镜头使用历史 cache;training-free 不等于少步或实时。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 短时连贯
L6 · 部分视觉证据下的解释与 belief/context 修订(3 篇)

[推断] 问题近邻而非已核实的引用链。BlackSwan 是新证据推翻解释的任务起点;GenEx 用想象更新 belief;VIS-Ground 将 source/history/intent 的依赖落实为续写约束。 BLACK · GENEX · VIS

[推断] 三者既不共用证据来源,也不都做 memory invalidation。用它们界定 B/S 的缺口,比把所有 consistency papers 都叫 belief revision 更准确。 BLACK · GENEX · VIS

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库内
Black Swan: Abductive and Defeasible Video Reasoning in Unpredictable Events[论文] Aditya Chinchure; Sahithya Ravi; Raymond Ng; Vered Shwartz; Boyang Li; Leonid Sigal[论文] 2025 · CVPR 2025首版 2024;venue 依据
任务其他(视频理解与可撤销推理;不是视频形式的回答)
论文类型基准
贡献落点主:评测次:数据
具体落点用逐步揭示的视频证据测试 abductive/defeasible reasoning。
生成范式不适用
控制信号无
目标性质不适用解释正确性与证据响应能力
[推断] 近期进展/近邻
既有补充
Generative World Explorer[论文] Taiming Lu; Tianmin Shu; Alan Yuille; Daniel Khashabi; Jieneng Chen[论文] 2025 · ICLR 2025首版 2024;venue 依据
任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:架构与生成范式次:表示 / 数据 / 评测
具体落点panoramic generative explorer 预测想象中的观察,用于 belief/decision 更新。
生成范式因果自回归或流式按探索动作连续生成;此标签不意味着已达到实时速度。
控制信号图像 / 动作
目标性质几何一致 / 环境记忆 / 因果或状态一致
[推断] 近期进展/近邻
既有补充
VIS-Ground: Video Interactive Storytelling with Contextual Grounding[论文] Bingxuan Li; Yiwen Song; Xueqing Wu; Yanzhou Pan; Yang Li; Kuang Su; Jingyun Liu; Sebastian Ko; Huan Zhang; Tong Zhang; Nanyun Peng; Tomas Pfister; Yale Song[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:推理时方法 / 评测
具体落点source/prefix/intent→evidence-linked dependencies→可执行 generation constraints。
生成范式离线整段生成论文评估从 prefix 生成 48 秒 continuation;交互续写不是低延迟 streaming 证明。
控制信号文本 / 图像 / 身份参考
目标性质因果或状态一致 / 实体一致 / 指令遵循

第二步 · 综合与可证伪实验

原始问题与演变

[推断] 从 StreamingT2V 的第一段锚定到 WorldMem 的 pose/time memory,研究主要要求历史一致;PermaVid 已明确解决 edit-induced staleness。BlackSwan 提出 defeasible reasoning,VIS-Ground 联合多源上下文约束;WEAVE 说明内部 KV 也可以组件化选择。 STREAM · WORLD · PERMA · WEAVE · A2RD · BLACK · VIS

前沿证据边界

[推断] 不能再把“记忆可更新”“只取相关角色”“编辑后保持更新”作为空白。现有证据更少覆盖互相矛盾来源、可靠性差异、被推翻的 latent assumption 与其非局部依赖。此处是本次检索的条件性判断,不是断言无人研究。 STREAM · WORLD · PERMA · WEAVE · A2RD · BLACK · VIS

候选核心问题

[推断] 如何使生成器使用的内部条件忠实反映“哪些事实仍有效”,而非把相关但已失效的记忆继续写入新视频? STREAM · WORLD · PERMA · WEAVE · A2RD · BLACK · VIS

为什么不是仅加数据/算力

[推断] (a) relevance 与 validity 是不同语义,更多 history 不会自动定义撤销;(b) 高一致性甚至可能奖励重现错误;(c) 可操纵旧错误进入 prompt、frame bank 或 KV 的位置,分别检测其残留。 STREAM · WORLD · PERMA · WEAVE · A2RD · BLACK · VIS

实验提案 · 尚未执行

案例:[推断] 电影/动漫人物早先被误认;游戏 NPC 随后提供可靠证据澄清身份;保留同一人的衣着、空间及无关经历,只撤销依赖错误身份的后续互动。

操作/自变量:[推断] 对照真实 world change、编辑 instruction、纠正旧 belief 三种事件;注入不同可信度、延迟、作用范围的证据。

对照:[推断] append new prompt、清空全部 memory、PermaVid、WEAVE routing、VIS constraints;显式 provenance state 到 memory/KV invalidation 的映射。

指标:[推断] 事实有效性准确率、错误重现、非受影响一致性、dependency repair recall、拒绝假证据率;相同生成预算与随机种子。

可推翻结果:[推断] 如果单纯 prompt 更新即可跨多轮消除错误而不损坏无关事实,则内部干预没有必要;内部 cache 修订若牺牲其它角色,不能只报纠错成功率。

已有工作与差别

[推断] PermaVid 是最需要回应的近邻;WEAVE 提供内部 memory routing 实现;BlackSwan 提供证据事件设计;VIS-Ground 提供约束 baseline。区别应落实为外部证据真实性裁决与依赖撤销,而非模块命名。 特别注意:VIS 已有 evidence-linked predicates、pass/fail/unknown 和 targeted script revision,因此 provenance graph 本身不是可守住的新意;必须以旧推断失效后的依赖撤销和 memory/KV 残留为区别。 STREAM · WORLD · PERMA · WEAVE · A2RD · BLACK · VIS

[推断] 与 XR-S 是同一核心;推荐共同保留“证据来源—失效依赖—生成控制”的窄问题。新颖性风险高于仅看原库时的判断。 STREAM · WORLD · PERMA · WEAVE · A2RD · BLACK · VIS

AIGC-C · 两步研究结果

事件时间与信息揭示时间解耦的视频生成

[推断] 保持世界事件不变,控制观众从画面何时得知关键事实,并保证早期留白与后续揭示相容。

2026-10-15 · [推断] 阅读排序

最推荐先读的 3 篇

优先阅读:揭示时间的任务定义 → 事实与已呈现历史的约束 → 跨镜头记忆执行。

[推断] 这是互补阅读组合,不能说三篇都直接研究 video revelation。保留 EACL 2024,因为它比普通 2026 长视频论文更接近核心变量。

第一步 · 它最接近谁

L8 · 多场景计划 → 多镜头历史条件化 → 可交互约束续写与长片组织(4 篇)

[推断] 视频叙事生成的直接近邻:从 scene/layout plan 到 adaptive memory、contextual constraints 和 multi-grid。它们解决的主要是可实现性和一致性,而不是观众知识状态。 DIRECTOR · ONE · VIS · GRID

[推断] 可作为 C 的 renderer/planner baseline;不能把镜头顺序、角色一致性直接当作 revelation timing。 DIRECTOR · ONE · VIS · GRID

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning[论文] Han Lin; Abhay Zala; Jaemin Cho; Mohit Bansal[论文] 2024 · COLM 2024首版 2023;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:条件注入
具体落点显式 scene plan、entity layouts 与 consistency groups 指导 Layout2Vid。
生成范式离线整段生成先全局规划再渲染场景;scene 顺序不自动构成 causal video decoder。
控制信号文本 / 姿态或结构图 / 身份参考
目标性质实体一致 / 短时连贯 / 指令遵循
[推断] 近期进展/近邻
库内
OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory[论文] Zhaochong An; Menglin Jia; Haonan Qiu; Zijian Zhou; Xiaoke Huang; Zhiheng Liu; Weiming Ren; Kumara Kahatapitiya; Ding Liu; Sen He; Chenyang Zhang; Tao Xiang; Fanny Yang; Serge Belongie; Tian Xie[论文] 2026 · CVPR 2026首版 2025;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:条件注入 / 数据
具体落点历史 frame selection+importance-guided patchification,压缩 next-shot context。
生成范式因果自回归或流式shot-level autoregressive;单镜头仍调用 pretrained I2V。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 短时连贯 / 效率与延迟
[推断] 近期进展/近邻
既有补充
VIS-Ground: Video Interactive Storytelling with Contextual Grounding[论文] Bingxuan Li; Yiwen Song; Xueqing Wu; Yanzhou Pan; Yang Li; Kuang Su; Jingyun Liu; Sebastian Ko; Huan Zhang; Tong Zhang; Nanyun Peng; Tomas Pfister; Yale Song[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:推理时方法 / 评测
具体落点source/prefix/intent→evidence-linked dependencies→可执行 generation constraints。
生成范式离线整段生成论文评估从 prefix 生成 48 秒 continuation;交互续写不是低延迟 streaming 证明。
控制信号文本 / 图像 / 身份参考
目标性质因果或状态一致 / 实体一致 / 指令遵循
[推断] 近期进展/近邻
既有补充
Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation[论文] Jiawei Mao; Haoqin Tu; Hardy Chen; Yuhan Wang; Keyang Xu; Jieru Mei; Hongliang Fei; Ruogu Fang; Wei Shao; Cihang Xie; Yuyin Zhou[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:架构与生成范式 / 训练信号 / 数据
具体落点把有序 video chunks 空间 grid 化联合去噪;random clean-grid context 与 boundary loss。
生成范式离线整段生成主要比较 joint multi-grid generation;支持多轮扩展不改变本表主范式。
控制信号文本 / 图像
目标性质实体一致 / 短时连贯 / 指令遵循 / 效率与延迟
L9 · 读者可得信息、脱困计划与 suspense:计算模型 → LLM 叙事操纵(2 篇)

[推断] Dramatis 作为计算认知奠基代表;SUSP 将相近理论用于 LLM 生成,并直接操纵 information revelation timing。 DRAM · SUSP

[推断] 在本次检索范围内,未找到第三篇 2024–2026 且同样直接检验信息揭示时机的论文;不以普通 long-story/consistency 工作填足。该脉络明确保留缺额。 DRAM · SUSP

[待核] 未找到:第三篇满足同题与时间条件、已打开原文的代表作。当前 2 篇;目标 3–6 篇未完全达到。

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
Dramatis: A Computational Model of Suspense[论文] Brian O’Neill; Mark Riedl[论文] 2014 · AAAI 2014首版 2014;venue 依据
任务其他(计算叙事中的 suspense 建模)
论文类型方法
贡献落点主:表示次:评测
具体落点STRIPS time-slices+reader memory activation+escape-plan cost 表示 suspense。
生成范式不适用
控制信号无
目标性质不适用认知模型与人类体验的对应
[推断] 近期进展/近邻
库外
Creating Suspenseful Stories: Iterative Planning with Large Language Models[论文] Kaige Xie; Mark Riedl[论文] 2024 · EACL 2024首版 2024;venue 依据
任务其他(LLM 文本悬疑故事生成)
论文类型方法
贡献落点主:推理时方法
具体落点迭代规划 protagonist action/阻碍,再展开章节;操纵线索与信息揭示时机。
生成范式不适用
控制信号文本
目标性质不适用suspense、享受度与叙事逻辑;不强映射为视频性质

第二步 · 综合与可证伪实验

原始问题与演变

[推断] 计算叙事早已区分故事事件与读者获得的信息;Dramatis 模拟读者记忆与脱困计划,SUSP 直接实验 revelation timing。视频侧从 DirectorGPT、OneStory 到 VIS/MovieGrid 主要改善计划、跨镜头一致性和续写;这条实现链未自动接上观众知识的测量。 DRAM · SUSP · DIRECTOR · ONE · VIS · GRID

前沿证据边界

[推断] “事件/揭示分离”不是全新问题。SUSP 的时机比较不显著,不能用它保证 suspense 收益。现有 video consistency 指标未直接检验角色知识、观众知识、真实世界状态的分离;本次未找到第三篇符合 L9 同题条件的近期代表作。 DRAM · SUSP · DIRECTOR · ONE · VIS · GRID

候选核心问题

[推断] 是否能在生成器掌握完整世界状态的同时,使早期 pixels 对指定秘密不泄漏、后期又可一致解释;XR 自由视角下这种约束能否保持? DRAM · SUSP · DIRECTOR · ONE · VIS · GRID

为什么不是仅加数据/算力

[推断] (a) 原则上应限制观众可获得的信息,非靠更好图像质量;(b) 角色外观一致、镜头数和故事评分不测泄漏;(c) 固定世界事件、只改变 reveal schedule,可直接测观众知识获得时间。 DRAM · SUSP · DIRECTOR · ONE · VIS · GRID

实验提案 · 尚未执行

案例:[推断] 剧本杀短片:关键道具已被调包但到指定镜头才揭示;为同一事件图制作早揭示/晚揭示两版,随后允许 XR 观众换视角。

操作/自变量:[推断] 固定 actor actions/事件时间/随机种子,只改 camera、遮挡、画面线索、reveal schedule;另操纵是否给 renderer 完整秘密信息。

对照:[推断] 普通 storyboard prompt、OneStory、VIS-Ground constraints、显式 world/character/viewer state planner;2D 固定视角与 XR 可移动视角分别比较。

指标:[推断] 分时点秘密问答与 confidence、提前泄漏率、预期 reveal 后识别率、后续回看一致性;人类读者为主,多个 VLM probes 为辅助;suspense/享受度单列,不能替代信息控制。

可推翻结果:[推断] 若被遮挡和 prompt-only 基线在自由视角下已同样控制信息,复杂方法无优势;若泄漏低只是画面完全不可理解,需用后期可识别率排除伪成功。

已有工作与差别

[推断] SUSP 已操作 revelation timing;Dramatis 已模型化 reader state;VIS 处理依赖约束但不是泄密 benchmark;OneStory/MovieGrid 是渲染近邻。候选新问题需限定为 video perceptual information constraints,而不是叙事学术语搬运。 VIS 也报告 dataset information-leakage audit;本提案应区分基准答案泄漏检查与分时点观众知识控制,不能声称该文完全不考虑 leakage。 DRAM · SUSP · DIRECTOR · ONE · VIS · GRID

[推断] 可独立于 A/B 保留,但论文重心应是视频中可检验的信息边界;如果只调整台词/镜头顺序,更多是现有 narrative planning 的应用。 DRAM · SUSP · DIRECTOR · ONE · VIS · GRID

AIGC-D · 两步研究结果

获取最少但足够的上下文与生成控制信号

[推断] 在固定用户负担与生成预算下,选择能提高最终视频约束满足率的必要上下文或控制信号。

2026-10-15 · [推断] 阅读排序

最推荐先读的 3 篇

优先阅读:context gap → 视频工具执行 → 面向缺失条件的高效询问。

[推断] 前两篇是预印本,GPS 是 ICLR 2026。D 仍研究广义信息与控制获取;XR-L 是 GT 在用户处的窄子问题,不能直接合并。

2 · arXiv 2026 · 预印本;正式 venue 未核实

VideoGen-Agent: Reinforcing Video Generation Agents

论文明确内容 以 SFT 和 agentic RL 学习信息补充、视频生成与验证工具的使用。

与本方向的距离 [推断] 最直接的视频 agent 基线;选择工具不等于证明最少充分控制,也不保证每条条件被生成器执行。

发表依据 · 核对记录

继续阅读与补充边界(2 篇)

第一步 · 它最接近谁

L3 · 不充分输入下的主动澄清/信息获取 → 生成工具策略(5 篇)

[推断] 方法问题近邻。KnowNo 的 calibrated help、ACT 的 dialogue action、GPS 的条件图、Qwen 的 context acquisition、VideoGen-Agent 的工具策略,分别实现“缺信息时怎么办”;并非同一理论保证逐篇传递。 KNOW · ACT · GPS · QWEN · VGEN

[推断] 自动获取更多 context 已有实作;跨 ask/look/search/demo/control 的最小充分预算及最终视频风险,需要单独定义。 KNOW · ACT · GPS · QWEN · VGEN

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners[论文] Allen Z. Ren; Anushri Dixit; Alexandra Bodrova; Sumeet Singh; Stephen Tu; Noah Brown; Peng Xu; Leila Takayama; Fei Xia; Jake Varley; Zhenjia Xu; Dorsa Sadigh; Andy Zeng; Anirudha Majumdar[论文] 2023 · CoRL 2023首版 2023;venue 依据
任务其他(机器人任务规划与校准求助)
论文类型方法
贡献落点主:推理时方法
具体落点conformal prediction set 校准:行动候选不唯一时求助。
生成范式不适用
控制信号无
目标性质不适用计划覆盖率、任务成功与求助成本
[推断] 近期进展/近邻
库内
Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training[论文] Maximillian Chen; Ruoxi Sun; Tomas Pfister; Sercan Ö. Arık[论文] 2025 · ICLR 2025首版 2024;venue 依据
任务其他(多轮澄清对话策略)
论文类型方法
贡献落点主:训练信号
具体落点以不同 dialogue actions 及其后续结果构造对比,进行 quasi-online DPO。
生成范式不适用
控制信号无
目标性质不适用对话决策与目标答案正确性
[推断] 近期进展/近邻
库内
GPS: Graph-guided Proactive Information Seeking in Large Language Models[论文] Ruiqing Li; Yifeng Xu; Xinke Jiang; Zhibang Yang; Xinyu Ma; Yue Fang; Junfeng Zhao; Yasha Wang; Xu Chu[论文] 2026 · ICLR 2026首版 2026;venue 依据
任务其他(规则型 RAG 主动信息获取)
论文类型方法
贡献落点主:表示次:训练信号 / 推理时方法
具体落点conditional DAG 表示缺失条件与依赖,随回答遍历/剪枝。
生成范式不适用
控制信号无
目标性质不适用答案成功率与澄清效率
[推断] 近期进展/近邻
库内
Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation[论文] Zekai Zhang; Jiahao Li; Jie Zhang; Kaiyuan Gao; Kun Yan; Lihan Jiang; Ningyuan Tang; Shengming Yin; Tianhe Wu; Xiaoyue Chen; Xiao Xu; Yan Shu; Yanran Zhang; Yixian Xu; Yuxiang Chen; Zhendong Wang; Zihao Liu; Zikai Zhou; Huishuai Zhang; Dongyan Zhao; Chenfei Wu[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务其他(图像生成 agent;不是视频生成)
论文类型方法
贡献落点主:推理时方法次:记忆与上下文 / 评测
具体落点agent 规划并从 reasoning/search/memory/feedback 构建 generation context。
生成范式不适用该生成范式维度针对视频,图像任务不套用。
控制信号文本 / 图像 / 身份参考
目标性质指令遵循
[推断] 近期进展/近邻
库内
VideoGen-Agent: Reinforcing Video Generation Agents[论文] Binxu Li; Haoyi Duan; Yuhui Zhang; Yaohui Zhang; Zihao Lin; Kaituo Feng; Suozhi Huang; Xiangyi Li; Yu Li; Chunyuan Li; Shilong Liu; Mengdi Wang[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务条件控制生成
论文类型方法
贡献落点主:训练信号次:推理时方法 / 评测
具体落点SFT+agentic RL 学习工具选择;主落点是 agent policy,不是新视频 backbone。
生成范式不适用不适用统一范式:agent 编排多种 renderer;原文未把所有工具限定为同一种离线/因果/少步架构。
控制信号文本 / 图像 / 身份参考 / 物理或模拟代理
目标性质指令遵循 / 实体一致 / 物理合理 / 因果或状态一致
L10 · 外部空间条件 → 自由草图意图澄清 → 专业意图与生成模型内部对齐(3 篇)

[推断] 控制信号的执行与解释脉络。ControlNet 奠基于图像条件分支;SketchDynamics 是 HCI 意图交互;CogOmniControl 是视频 cognition/generation 对齐。跨模态迁移关系不等于共同 benchmark。 CONTROL · SKETCH · COG

[推断] 解决“给了控制后如何执行”较多;“何时值得请求哪个控制”与“最低需要多少”仍是另一个实验问题。 CONTROL · SKETCH · COG

[推断] 后三列为按原文整理的任务分类;点击标题查看任务定义、证据与推进。

谱系位置标题/完整作者年份/venue任务/论文类型贡献落点/生成范式控制信号/目标性质
[推断] 奠基代表
库外
Adding Conditional Control to Text-to-Image Diffusion Models[论文] Lvmin Zhang; Anyi Rao; Maneesh Agrawala[论文] 2023 · ICCV 2023首版 2023;venue 依据
任务其他(图像条件生成;非视频 ControlNet)
论文类型方法
贡献落点主:条件注入次:架构与生成范式
具体落点冻结 diffusion backbone,用 zero-conv 接入可训练空间条件分支。
生成范式不适用图像任务,视频生成范式不适用。
控制信号文本 / 图像 / 姿态或结构图
目标性质画质 / 指令遵循
[推断] 近期进展/近邻
库外
SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation[论文] Boyu Li; Lin-Ping Yuan; Zeyu Wang; Hongbo Fu[论文] 2026 · CHI 2026首版 2026;venue 依据
任务条件控制生成
论文类型方法
贡献落点主:推理时方法次:表示
具体落点草图→VLM 意图解释/澄清→Manim 动画代码;不是新增 diffusion backbone。
生成范式离线整段生成解释并生成代码后离线渲染数十秒动画;不是少步视频 diffusion。
控制信号文本 / 图像 / 姿态或结构图
目标性质指令遵循
[推断] 近期进展/近邻
既有补充
CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition[论文] Hongji Yang; Songlian Li; Yucheng Zhou; Xiaotong Zhao; Alan Zhao; Chengzhong Xu; Jianbing Shen[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue首版 2026;venue 依据
任务条件控制生成
论文类型方法
贡献落点主:条件注入次:训练信号 / 表示 / 推理时方法 / 评测
具体落点CogOmniDiT 融合 pixel conditions 与 CogVLM semantic features;RL 对齐并 Best-of-N。
生成范式离线整段生成按制作请求生成视频片段;Best-of-N 是采样策略,不是实时范式。
控制信号文本 / 图像 / 姿态或结构图
目标性质指令遵循 / 实体一致 / 短时连贯 / 画质

第二步 · 综合与可证伪实验

原始问题与演变

[推断] KnowNo/GPS/ACT 研究何时问什么;ControlNet 研究给定条件怎样控制;SketchDynamics 将草图解释与用户澄清结合,CogOmniControl 内部融合专业意图;Qwen/VideoGen-Agent 已将检索、工具、反馈用于生成。D 位于 acquisition 与 execution 的接缝。 KNOW · ACT · GPS · QWEN · VGEN · CONTROL · SKETCH · COG

前沿证据边界

[推断] 主动 agent、稀疏输入、专业意图和多条件控制都有近邻。没有证据允许把“用户少写了 prompt”直接当最小充分性,或把更强 renderer 的提升归于更好的询问。 KNOW · ACT · GPS · QWEN · VGEN · CONTROL · SKETCH · COG

候选核心问题

[推断] 如何区分缺少事实、意图本来多解、控制信号不足和 renderer 执行失败,进而选择正确且成本最低的补充? KNOW · ACT · GPS · QWEN · VGEN · CONTROL · SKETCH · COG

为什么不是仅加数据/算力

[推断] (a) 信息不足与执行能力不足是不同因果因素,多搜资料不能修复不支持的控制;(b) 现有总体 benchmark 容易混淆工具升级与 policy;(c) 可固定或替换 oracle context/control/renderer 逐层诊断。 KNOW · ACT · GPS · QWEN · VGEN · CONTROL · SKETCH · COG

实验提案 · 尚未执行

案例:[推断] 动漫短剧生成:同样要求“角色绕过桌子并拿起红杯”,分别缺角色参考、遮挡后的布局、运动路径或时间要求;部分案例故意给齐条件但 renderer 不能执行。

操作/自变量:[推断] 候选 query 为 ask、reference、depth/sketch、trajectory、keyframe;操纵每种价格和可用 renderer,预算恒定。

对照:[推断] 全信号、固定 prompt、随机同成本、置信阈值、GPS-style rule query、VideoGen-Agent;同 backbone;再用 oracle context 与 oracle control 分别定位错误。

指标:[推断] 视频约束满足—用户秒数/工具费/token/延迟曲线;minimal-subset deletion test、过度询问率、无效重试率;跨 renderer 迁移。

可推翻结果:[推断] 若一个固定 low-cost condition 即可解释全部收益,则自适应策略不必要;若 oracle 输入仍失败,不能将其记为 acquisition failure。

已有工作与差别

[推断] Qwen-Image-Agent 已明确定义 context gap;VideoGen-Agent 已训练共享工具策略;SketchDynamics 已做自由草图澄清;CogOmniControl 已做意图和内部生成对齐。更窄差别是可验证充分性和失败归因。 KNOW · ACT · GPS · QWEN · VGEN · CONTROL · SKETCH · COG

[推断] 与 XR-L 合并为 acquisition research;外部 control 与内部 injection 是执行层可替换模块,不应单凭内部/外部二分声称新方向。 KNOW · ACT · GPS · QWEN · VGEN · CONTROL · SKETCH · COG

哪些方向应该合并

方向共享核心判断依据
XR-C + AIGC-A[推断] 部分可识别机制下的选择性后果生成[推断] 合并方法研究;XR 为受限观察和执行验证场景。[推断] 输入都包含历史与干预;主要评价都是后代改对、非后代保留。只有引入真实操作/部分观察才产生额外约束。 VOID · GIVE · PHYS · DSCM
XR-S + AIGC-B[推断] 证据冲突下的依赖撤销与生成记忆有效性[推断] 合并;优先收窄外部反证与来源裁决。[推断] 同一 history/evidence→memory/plan/video update 链;PermaVid 已覆盖宽泛 edit-aware update,必须测不同问题。 PERMA · BLACK · VIS · WEAVE
XR-L + AIGC-D[推断] 用户 GT 澄清是充分信息获取的一个受限子问题[推断] 共享接口,不直接合并任务;XR-L 固定触发并只研究 how。[推断] D 包含搜索、观察和生成控制获取;L 的答案应由用户已知意图/指代提供,实验需排除未知物理机制探索。 KNOW · GPS · S3 · VGEN · COG
XR-E[推断] 跨用户教学反馈的归因、迁移与回归控制[推断] 保留独立候选,以跨任务教学迁移和回归评测为门槛。[推断] ACE/MCE 等已有持续改进机制;需证明教学反馈的归因与迁移,而非把单任务修补称为自进化。 CINE · VIDEOAG · MEMFAULT
AIGC-C[推断] 世界状态固定时的观众信息边界[推断] 可独立,但需 video/XR 感知证据,不能仅改剧情。[推断] 改变观众知道什么不等于改变世界;其变量与 A 的 intervention、B 的纠错不同。 DRAM · SUSP · ONE · VIS

[推断] 选题顺序建议:先用 XR-S/B 的“证据到来后依赖撤销”做一个窄 benchmark 与 baseline;把 XR-L/D 的主动补证作为下一层。若合作更偏物理/几何生成,则选择 XR-C/A 的隐藏机制与影响范围实验。AIGC-C 保留为独立叙事研究备选;XR-E 以教学策略跨任务迁移与回归实验作为独立立项门槛。这个排序依据问题可测性及你已有经历,不是对合作老师意愿或资源的推测。 PERMA · BLACK · S3 · VANS · GIVE · PHYS

[推断] 合作关联仅以作者与问题匹配为依据:VANS 包含 Jing Liao;GIVE 与 S3 包含 Xiaojuan Qi。前者可讨论视频答案与任务推理,后者可讨论几何控制/主动空间证据。未推定合作承诺或导师当前兴趣。 VANS · GIVE · S3

外部控制与模型内部控制:已经做到哪里

层次论文操作归类与边界分析
[推断] 外部语义状态/约束[论文] CWMDT、VIS-Ground[推断] 先改 structured state / dependencies / constraints,再编排渲染。 CWMDT · VIS
[推断] 外部 mask 与几何[论文] Generative Omnimatte、VOID、GIVE[推断] 指定允许修改区域,或 pre/post geometry;VOID 的新轨迹主要由 VDM 生成。 OMNI · VOID · GIVE
[推断] 外部物理模拟[论文] VideoPhysEdit[推断] 重建后执行物理干预,输出 trajectories 指导生成;条件受刚体场景限制。 PHYS
[推断] 模型内部条件分支/特征[论文] ControlNet、CogOmniControl[推断] 可训练分支或 pixel/semantic feature fusion;这是条件执行,不自动构成内部 causal variable。 CONTROL · COG
[推断] 模型内部 memory/KV[论文] WorldMem、PermaVid、Weave Forcing[推断] attention、validity-filtered memory、semantic KV masking/RoPE;已存在内部控制,未自动解决证据可信度。 WORLD · PERMA · WEAVE
[推断] 模型参数/agent policy 更新[论文] VANS、SPIRAL、VideoGen-Agent、CineForge[推断] 分别优化跨模态生成、生成器参数、工具策略、生产阶段策略;更新对象不能混淆。 VANS · SPIRAL · VGEN · CINE

[推断] 对 VOID 的有效性应采用分工解释:VLM 主要识别潜在影响区,VDM 根据配对训练与生成先验产生轨迹,第二遍抑制形变。VLM 不需要独自精确求解整段物理运动。消融支持这些模块有用,但尚不能唯一证明所有收益来自“因果推理能力”。 VOID · OMNI

[推断] “内部控制”已有 condition fusion、attention、memory/KV 与 parameter update 等具体做法。下一步可试把 evidence validity / causal dependency 映射为 token-level conditioning invalidation,再用同预算、同输入、同生成器实验检验;这是一项方法假设,不是已经验证的因果表示。 PERMA · WEAVE · COG · DSCM

长期应用场景与可用进展

[推断] 下面是可研究的应用切口,不是论文已验证这些产业效果。每行给一篇已核实发表的近邻与一篇较新 arXiv 近邻;最相关与最新并不总是同一篇,不能为满足“最新”抹去任务距离。

方向/领域场景已发表近邻较新 arXiv 近邻距离与风险
AIGC-A
电影/VFX 替代结局
[推断] 删除触发事件并重写连锁后果,保留演员/场景身份。Generative Omnimatte: Learning to Decompose Video into Layers[论文] CVPR 2025VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction[论文] arXiv:2609.35134 · 首版 2026[推断] OMNI 只给相关后效删除的已接收证据;PHYS 刚体限制与真实表演仍有距离。 OMNI · PHYS
AIGC-A
游戏机制与回放
[推断] 同一 seed 的机关/碰撞干预及影响范围 GT,适合可证伪基准。Generative Omnimatte: Learning to Decompose Video into Layers[论文] CVPR 2025VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction[论文] arXiv:2609.35134 · 首版 2026[推断] 先验证真实机制后果,再研究视觉生成;并非完整游戏世界模型已解决。 OMNI · PHYS
AIGC-A
操作训练/安全演示
[推断] 漏步、换序的后果对照。Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO[论文] CVPR 2026Geometry-Instructed Video Editing[论文] arXiv:2606.24225 · 首版 2026[推断] VANS 是视频答案;GIVE 是几何编辑。二者都不能直接替代操作风险真值。 VANS · GIVE
AIGC-B
剧本杀/交互电影
[推断] 新线索推翻角色身份猜测,局部修改未来互动。Black Swan: Abductive and Defeasible Video Reasoning in Unpredictable Events[论文] CVPR 2025VIS-Ground: Video Interactive Storytelling with Contextual Grounding[论文] arXiv:2610.09326 · 首版 2026[推断] BlackSwan 验证推理缺口;VIS 处理上下文依赖,但含噪反证的裁决需新实验。 BLACK · VIS
AIGC-B
动漫短剧连续制作
[推断] 设定纠错之后保留不受影响人物与画面资产。OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory[论文] CVPR 2026Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation[论文] arXiv:2610.03510 · 首版 2026[推断] OneStory/WEAVE 保持或组合历史;需加 PermaVid 作为编辑后失效的直接 baseline。 ONE · WEAVE
AIGC-B
游戏 persistent world
[推断] 回到旧区域后也遵守被证据修正的状态。WorldMem: Long-term Consistent World Simulation with Memory[论文] NeurIPS 2025PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory[论文] arXiv:2606.16449 · 首版 2026[推断] PermaVid 已支持编辑后重访;新价值要落在未知影响区和不可靠证据。 WORLD · PERMA
AIGC-C
剧本杀/悬疑电影
[推断] 同一事件图制作不同线索揭示顺序,并测提前泄密。Creating Suspenseful Stories: Iterative Planning with Large Language Models[论文] EACL 2024VIS-Ground: Video Interactive Storytelling with Contextual Grounding[论文] arXiv:2610.09326 · 首版 2026[推断] SUSP 已操纵揭示时机且该项不显著;VIS 提供约束续写,不证明观众体验。 SUSP · VIS
AIGC-C
动漫短剧/电影剪辑
[推断] 角色知道、观众知道与世界事实分开控制。OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory[论文] CVPR 2026Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation[论文] arXiv:2609.06373 · 首版 2026[推断] 多镜头一致性/覆盖率是 renderer 基础,不是信息揭示指标。 ONE · GRID
AIGC-C
XR 叙事游戏
[推断] 玩家自主换视角时保持线索边界与后期一致揭示。Dramatis: A Computational Model of Suspense[论文] AAAI 2014VIS-Ground: Video Interactive Storytelling with Contextual Grounding[论文] arXiv:2610.09326 · 首版 2026[推断] Dramatis 是符号/文本 reader model;XR 感知泄漏尚需实测。 DRAM · VIS
AIGC-D
动漫 storyboard production
[推断] 决定索取角色参考、草图、轨迹或关键帧中的哪一个。SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation[论文] CHI 2026CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition[论文] arXiv:2605.19995 · 首版 2026[推断] 专业意图条件化已存在;剩余问题是查询选择与充分性。 SKETCH · COG
AIGC-D
电影/VFX 导演工作流
[推断] 高成本渲染前获取最少的拍摄/动作约束。Adding Conditional Control to Text-to-Image Diffusion Models[论文] ICCV 2023VideoGen-Agent: Reinforcing Video Generation Agents[论文] arXiv:2609.24997 · 首版 2026[推断] ControlNet 奠基于图像;VideoGen-Agent 已学工具策略。不能把二者描述成电影制作验证。 CONTROL · VGEN
AIGC-D
游戏/XR 教程
[推断] 按任务影响选择问人、转视角、查规则、看示范。GPS: Graph-guided Proactive Information Seeking in Large Language Models[论文] ICLR 2026See, Remember, Explore: A Benchmark and Baselines for Streaming Spatial Reasoning[论文] arXiv:2603.23864 · 首版 2026[推断] GPS 是规则 QA;S3 是 streaming spatial reasoning;最终视频/执行结果须另测。 GPS · S3

逐篇拆解 · 38 篇去重记录

同一论文只保留一个完整拆解,跨方向复用上面的链接。绿色为原文明示;黄色为证据强度与隐含前提的分析;灰色为待核。

PROC · Procedure Planning in Instructional Videos
[论文] Chien-Yi Chang; De-An Huang; Danfei Xu; Ehsan Adeli; Li Fei-Fei; Juan Carlos Niebles
[论文] 2020 · ECCV 2020;首版 2019 · 发表依据
正式 proceedings

[推断] 任务分类

任务其他(教学视频中的 procedure planning;不输出视频)
论文类型方法
贡献落点主:表示次:训练信号
具体落点可规划的 state/action latent space;forward/conjugate dynamics 联合约束。
生成范式不适用
控制信号无
目标性质不适用规划成功与动作序列正确性

任务定义

输入

[论文] 起始视觉片段、目标视觉片段与规划长度。

输出

[论文] 连接起点和目标的离散操作序列。

必须保持不变的内容

[推断] 给定起终条件与动作语义;没有要求生成像素保持不变。

判断对错的方式

[论文] CrossTask 序列成功率、动作准确率与覆盖/排序指标。

证据类型

[论文] 定量 benchmark / 消融

[论文] CrossTask 上 success rate、动作准确率及序列覆盖指标;规划跨度比较、两个 dynamics 消融;另测 walkthrough 排序。

一句话 · 它在所属任务里推进了什么

[论文] 把从真实教学视频学习的表征用于目标条件规划,而非只预测即将发生的动作。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
研究问题:

[论文] 能否从 instructional videos 学得可规划的状态与动作空间,从起点、终点视觉观察推断中间操作?

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
案例/平台:

[论文] CrossTask instructional videos;procedure planning 与 walkthrough planning。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
被控制或改变的变量:

[论文] 输入起始和目标视觉观察、规划长度;输出离散动作序列;改变起点、终点与规划跨度。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
技术路线与 baseline 差别:

[论文] Dual Dynamics Network 同时学习 forward dynamics 和 conjugate dynamics;对比 UPN 的连续梯度规划以及去掉任一 dynamics 的动作预测模型。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
证据能支持多强的结论:

[推断] 支持带动作监督的离线视频规划;序列标签匹配不能证明真实执行成功,也没有视频生成或因果识别实验。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
明示前提/设置:

[论文] 训练有动作序列监督;评测提供起终点观察和任务动作集合。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
隐含假设及外推风险:

[推断] 可识别的动作词表及观察到的状态足以定位规划问题;相同外观下不同隐藏机制会使该映射不唯一。

依据:PROC 正文 · §3 Dual Dynamics Network;§4 Experiments;Tables 1–2
原文与核实记录

[论文] arXiv:1907.01172;
原始摘要 · 已读正文 1907.01172v3 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Dual Dynamics Network;§4 Experiments;Tables 1–2

关联方向:XR-C · AIGC-A

SCHEMA · SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos
[论文] Yulei Niu; Wenliang Guo; Long Chen; Xudong Lin; Shih-Fu Chang
[论文] 2024 · ICLR 2024;首版 2024 · 发表依据
作者 arXiv comments 明示 accepted

[推断] 任务分类

任务其他(状态变化驱动的步骤规划)
论文类型方法
贡献落点主:表示次:训练信号 / 记忆与上下文
具体落点动作前后状态文本与视觉 state embeddings 对齐;显式预测 intermediate states。
生成范式不适用
控制信号无
目标性质不适用步骤与中间状态预测正确性

任务定义

输入

[论文] 起终视觉状态;训练时提供步骤与 LLM 状态描述。

输出

[论文] 中间状态表示及步骤序列。

必须保持不变的内容

[推断] 目标状态、任务动作含义与可行顺序。

判断对错的方式

[论文] CrossTask/COIN/NIV 的 procedure planning 指标。

证据类型

[论文] 定量 benchmark / 消融

[论文] 三个 benchmark;CrossTask state alignment 及 mid-state prediction 消融,另测 Viterbi、描述类型与 memory。

一句话 · 它在所属任务里推进了什么

[论文] 将动作表示为状态变化,并显式预测中间状态。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
研究问题:

[论文] 只建模动作顺序会忽略状态:能否用明确 state changes 改善 procedure planning?

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
案例/平台:

[论文] CrossTask、COIN、NIV;给定起终状态的步骤规划。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
被控制或改变的变量:

[论文] LLM 生成动作前后状态文本;视觉观察与状态文本对齐;预测中间状态和步骤。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
技术路线与 baseline 差别:

[论文] GPT-3.5 状态描述+cross-modal contrastive alignment+两个 decoder;与直接步骤序列建模及单 decoder、随机 memory、无 state alignment 等设置比较。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
证据能支持多强的结论:

[推断] 支持状态描述对离线规划的增益;没有验证可见状态相同、隐藏机制不同的干预后果。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
明示前提/设置:

[论文] 论文明确承认:看不见的状态变化难以识别;LLM 描述质量构成瓶颈;使用 closed vocabulary。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
隐含假设及外推风险:

[推断] 语言先验补全的状态不能自动视为个体场景的观测事实;在 XR 中应区分 inferred 与 observed state。

依据:SCHEMA 正文 · §3;§4;Appendix Limitations;Tables 4、9–12
原文与核实记录

[论文] arXiv:2403.01599;
原始摘要 · 已读正文 2403.01599v1 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4;Appendix Limitations;Tables 4、9–12

关联方向:XR-C · AIGC-A

STATE · What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
[论文] Chi-Hsi Kung; Frangil Ramirez; Juhyung Ha; Yi-Ting Chen; David Crandall; Yi-Hsuan Tsai
[论文] 2025 · ICCV 2025;首版 2025 · 发表依据
arXiv journal reference

[推断] 任务分类

任务其他(视频表征学习;counterfactual 是监督)
论文类型方法
贡献落点主:训练信号次:表示
具体落点state-change 正例与 counterfactual 负例用于 clip/video-level 表征对齐。
生成范式不适用
控制信号无
目标性质不适用表征的 procedure awareness 与下游正确率

任务定义

输入

[论文] 教学视频 clips、narration 与生成的前后状态/counterfactual 描述。

输出

[论文] procedure-aware video embeddings 与下游任务预测。

必须保持不变的内容

[推断] 原始训练视频不必被编辑;监督改变,不意味着生成反事实视频。

判断对错的方式

[论文] 分割、错误检测、检索、识别 benchmark 和描述质量人评。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 多项下游 benchmark+组件消融;描述质量由 22 名评审评价 300 对 SC/CF,另用 Gemini 评 1000 对;人评 CF plausibility 低于 factual SC。

一句话 · 它在所属任务里推进了什么

[论文] 把动作的状态变化与假想错误结果引入 procedure-aware representation learning。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
研究问题:

[论文] 能否通过 state-change 描述及假想失败结果,学到更有 procedure awareness 的视频表征?

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
案例/平台:

[论文] Ego4D 预训练;GTEA 等 temporal action segmentation、EgoPER error detection、EPIC-KITCHENS retrieval、Charades-Ego recognition 等。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
被控制或改变的变量:

[论文] 改变监督文本与动作序列:before/after 描述、state-change counterfactual、missing-step 与 misordered-step counterfactual。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
技术路线与 baseline 差别:

[论文] LLM 生成正负状态描述,进行 clip-level 与 video-level 对齐;对比 narration-only/Weak HierVL 及去掉不同 counterfactual 的设置。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
证据能支持多强的结论:

[推断] 支持 counterfactual 文本监督改善表征;不能据此认定模型能生成正确的 counterfactual pixels、动力学或可执行教程。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
明示前提/设置:

[论文] 用 Llama 3.1 8B 由 narration 产生监督;论文承认 CF 有时为低概率情形;视频级 CF 包括删步与重排。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
隐含假设及外推风险:

[推断] 描述的 plausible negative 能用于区分表征,但不必等于同一事件的真实反事实;训练价值与因果真实性须分开检验。

依据:STATE 正文 · §3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation
原文与核实记录

[论文] arXiv:2503.21055;
原始摘要 · 已读正文 2503.21055v6 · 原文定位入口(不分发全文副本)

库内主表 · VG04
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4 Tables 2–5;Appendix Text Generation、Human Evaluation

关联方向:XR-C · AIGC-A

VANS · Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO
[论文] Junhao Cheng; Liang Hou; Xin Tao; Jing Liao
[论文] 2026 · CVPR 2026;首版 2025 · 发表依据
正式 CVF proceedings

[推断] 任务分类

任务视频作为推理或回答
论文类型方法
贡献落点主:训练信号次:数据
具体落点Joint-GRPO 对齐 VLM caption 与 VDM video answer。
生成范式离线整段生成一次回答生成一个未来片段;不是逐 token streaming 的能力主张。
控制信号文本 / 图像
目标性质实体一致 / 因果或状态一致 / 指令遵循

任务定义

输入

[论文] 输入视频、procedural 或 predictive question。

输出

[论文] 下一事件的文本描述及动态视频答案。

必须保持不变的内容

[推断] 输入情境中的对象/外观与问题约束;答案须接续已有情境。

判断对错的方式

[论文] 文本正确性指标、FVD/CLIP-V/T 与答案质量人评。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 文本指标、FVD、CLIP-V/T;奖励和训练策略消融;30 名评审,每人评 20 个案例(procedural/predictive 各 10)。

一句话 · 它在所属任务里推进了什么

[论文] 联合优化“推断怎样回答”与“能否忠实生成该答案”,减小简单串联的跨模态错配。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
研究问题:

[论文] 如何把 next-event prediction 的答案从文本扩展为符合输入情境的动态视频?

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
案例/平台:

[论文] Video-Next-Event Prediction;VANS-Data-100K;procedural 与 predictive benchmarks。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
被控制或改变的变量:

[论文] 输入视频与 procedural/predictive question;VLM 输出可视化 caption,VDM 生成下一事件;改变联合优化策略及奖励。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
技术路线与 baseline 差别:

[论文] Joint-GRPO 以共享奖励分阶段对齐 VLM 与 VDM;对比 SFT、只训练 VLM/VDM、独立 GRPO 及 all-in-one 联训。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
证据能支持多强的结论:

[推断] 支持该数据分布下下一事件答案与视觉一致性改善;文本/视觉相似度及满意度不足以证明干预因果正确性或学员学习收益。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
明示前提/设置:

[论文] 有专门构建的 VNEP 训练数据及奖励;任务为输入情境之后的事件回答。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
隐含假设及外推风险:

[推断] 下一事件参考及奖励具有足够代表性;现实分支可能多解,单一参考不等于可识别的反事实。

依据:VANS 正文 · §3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5
原文与核实记录

[论文] arXiv:2511.16669;
原始摘要 · 已读正文 2511.16669v2 · 原文定位入口(不分发全文副本)

库内主表 · VG31
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Joint-GRPO;§4 Tables 1–3;Appendix Human Evaluation Table 5

关联方向:XR-C · AIGC-A

DSCM · Deep Structural Causal Models for Tractable Counterfactual Inference
[论文] Nick Pawlowski; Daniel C. Castro; Ben Glocker
[论文] 2020 · NeurIPS 2020;首版 2020 · 发表依据
作者 arXiv comments 明示 accepted

[推断] 任务分类

任务其他(图像上的结构因果反事实推断)
论文类型方法
贡献落点主:表示次:架构与生成范式
具体落点SCM structural mechanisms 与 exogenous-noise posterior,使个体反事实可计算。
生成范式不适用
控制信号无
目标性质不适用SCM 下的个体反事实一致性;非视频性质

任务定义

输入

[论文] 观测影像/属性、指定 causal graph 与属性干预。

输出

[论文] 干预后属性及个体 counterfactual image。

必须保持不变的内容

[推断] 同一个体 abduction 得到的外生因素;替换指定机制而非重抽全部样本。

判断对错的方式

[论文] 合成属性/反事实实验及 MRI 影像结果;不是视频 benchmark。

证据类型

[论文] 定量 benchmark / 定性展示

[论文] 合成数据可核查干预属性及反事实;MRI 观察与可视化实验;结构与推断公式。

一句话 · 它在所属任务里推进了什么

[论文] 将高维影像纳入可进行外生噪声推断的 SCM。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
研究问题:

[论文] 如何让深度模型支持 association、intervention 与个体 counterfactual inference,并可推断 exogenous noise?

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
案例/平台:

[论文] 合成 Morpho-MNIST 与 UK Biobank brain MRI;不是视频生成实验。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
被控制或改变的变量:

[论文] 干预 SCM 中的属性变量;abduction 保留该样本的外生变量,再替换机制并预测。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
技术路线与 baseline 差别:

[论文] 用 normalizing flows 或 amortized variational inference 参数化 structural mechanisms;相较仅条件生成,明确实现外生噪声后验与 abduction–action–prediction。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
证据能支持多强的结论:

[推断] 给出“同一个体反事实”可执行建模方式;不是从任意 observational video 唯一识别因果图或真实反事实的定理。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
明示前提/设置:

[论文] acyclic structural assignments;独立外生噪声;指定的 causal graph;flow 对噪声可逆,或采用近似后验。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
隐含假设及外推风险:

[推断] 图与机制的正确性需要外部依据;多个模型同样拟合观察时,增加像素拟合能力不能消除反事实不可识别性。

依据:DSCM 正文 · §2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C
原文与核实记录

[论文] arXiv:2006.06485;
原始摘要 · 已读正文 2006.06485v2 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§2 SCM;§3 Deep mechanisms;§4 Experiments;Appendices B–C

关联方向:XR-C · AIGC-A

OMNI · Generative Omnimatte: Learning to Decompose Video into Layers
[论文] Yao-Chih Lee; Erika Lu; Sarah Rumbley; Michal Geyer; Jia-Bin Huang; Tali Dekel; Forrester Cole
[论文] 2025 · CVPR 2025;首版 2024 · 发表依据
作者项目页与 CVF proceedings

[推断] 任务分类

任务编辑与修改
论文类型方法
贡献落点主:训练信号次:条件注入 / 数据
具体落点微调 Casper object-effect removal;trimask 区分删除、保留与不确定后效。
生成范式离线整段生成
控制信号图像 / 姿态或结构图
目标性质画质 / 实体一致 / 短时连贯

任务定义

输入

[论文] 源视频、对象 masks;结构图指 trimask。

输出

[论文] clean background、solo videos 与 RGBA object/effect layers。

必须保持不变的内容

[推断] 保留对象与不应被删除的内容;去除目标及关联 effects。

判断对错的方式

[论文] 10 个合成场景 PSNR/LPIPS、mask/data 消融与真实分层结果。

证据类型

[论文] 定量 benchmark / 消融 / 定性展示

[论文] 10 场景 PSNR/LPIPS;数据和 mask conditioning 消融;真实视频定性。论文提醒小 benchmark 未充分体现 trimask 收益。

一句话 · 它在所属任务里推进了什么

[论文] 引入生成先验以补全动态遮挡,摆脱前作背景/重建约束。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
研究问题:

[论文] 如何把自然视频分解为对象及其 shadows/reflections 等关联效果的独立层,并补全动态遮挡区域?

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
案例/平台:

[论文] casually captured videos;10 个合成场景的 background-removal benchmark;real-video qualitative examples。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
被控制或改变的变量:

[论文] 输入视频与 object masks;trimask 指定 remove、preserve、uncertain effects 三类区域。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
技术路线与 baseline 差别:

[论文] 微调视频 inpainting prior 得到 Casper,先生成 clean background/solo videos,再分解层;相较 reconstructive Omnimatte 无需静态背景、相机 pose 或 depth。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
证据能支持多强的结论:

[推断] 支持对象与可见关联后效分离;不能外推至删掉支撑物后的新运动,也不能把自动 effect association 当作 VOID 独有贡献。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
明示前提/设置:

[论文] 需目标 masks;训练数据未覆盖 physical deformation;原文显示弯曲物体等效果去除失败,动态背景可能被误关联。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
隐含假设及外推风险:

[推断] 学到的 effects association 不等于 causal descendants;对不该改的动态背景需要独立保存约束。

依据:OMNI 正文 · §3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations
原文与核实记录

[论文] arXiv:2411.16683;
原始摘要 · 已读正文 2411.16683v2 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Fig.4 trimask;§4 Table 1;§5 Discussion and Limitations

关联方向:XR-C · AIGC-A

CWMDT · Counterfactual World Models via Digital Twin-conditioned Video Diffusion
[论文] Yiqing Shen; Aiza Maksutova; Chenjia Li; Mathias Unberath
[论文] 2025 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2025 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务编辑与修改
论文类型方法
贡献落点主:表示次:推理时方法
具体落点structured-text digital twin 表示对象/关系,先传播干预再条件化生成。
生成范式离线整段生成按干预请求生成序列;不是已核实的实时 action loop。
控制信号文本 / 图像 / 姿态或结构图
目标性质因果或状态一致 / 指令遵循 / 短时连贯

任务定义

输入

[论文] 观测视频/场景与 counterfactual intervention。

输出

[论文] 干预条件下的后续视觉序列。

必须保持不变的内容

[推断] 未被干预及其后果改变的场景事实;保持与源观察的关联。

判断对错的方式

[论文] RVEBench/FiVE 的语义、grounding、judge 等指标,另测 CausalVQA。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 两个编辑 benchmark 的 CLIP、GroundingDINO、LLM judge 等指标与消融;CausalVQA 额外实验的人类基线为 5 名标注者。

一句话 · 它在所属任务里推进了什么

[论文] 在结构化对象/关系表示中实施干预,再将结果送入视频生成。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
研究问题:

[论文] 如何在 world model 中把干预作为显式输入,而非仅从 factual pixels 做 forward simulation?

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
案例/平台:

[论文] RVEBench、FiVE;另在 CausalVQA debug split 测试生成辅助推理。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
被控制或改变的变量:

[论文] 把观测转换为对象与关系的 structured-text digital twin;干预场景属性并传播到后续时刻。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
技术路线与 baseline 差别:

[论文] perception→LLM intervention reasoning→conditioned video diffusion;消融 digital twin、reasoning mode、LLM size 和 modified initial frame。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
证据能支持多强的结论:

[推断] 支持显式结构作为编辑控制的实证价值;名称 digital twin 不自动意味着精确物理模拟,指标也不是个体动力学真值。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
明示前提/设置:

[论文] 依赖 perception 构建 twin、LLM 推理、修改后的初帧与 diffusion 条件化。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
隐含假设及外推风险:

[推断] 遗漏的隐藏关系无法通过文本图自动恢复;若结构错误,后续生成可能稳定地实现错误因果故事。

依据:CWMDT 正文 · §3 Framework;§4 Tables 2–3;CausalVQA additional evaluation
原文与核实记录

[论文] arXiv:2511.17481;
原始摘要 · 已读正文 2511.17481v1 · 原文定位入口(不分发全文副本)

库内主表 · P071
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Framework;§4 Tables 2–3;CausalVQA additional evaluation

关联方向:XR-C · AIGC-A

VOID · VOID: Video Object and Interaction Deletion
[论文] Saman Motamed; William Harvey; Benjamin Klein; Luc Van Gool; Zhuoning Yuan; Ta-Ying Cheng
[论文] 2026 · ECCV 2026;首版 2026 · 发表依据
2026-10-15 作者项目页明确标注 ECCV 2026;正文版本仍沿用原拆解记录。

[推断] 任务分类

任务编辑与修改
论文类型方法
贡献落点主:训练信号次:条件注入 / 数据 / 推理时方法
具体落点paired removal supervision+quadmask;第二遍用 flow-warped noise 稳定新运动。
生成范式离线整段生成
控制信号图像 / 姿态或结构图 / 轨迹或光流
目标性质因果或状态一致 / 物理合理 / 实体一致 / 短时连贯

任务定义

输入

[论文] 源视频与点选删除目标;quadmask 指明影响区,第二遍使用预测光流。

输出

[论文] 删除目标并重写下游互动的视频。

必须保持不变的内容

[推断] 未受影响的对象、背景和动态;删除目标导致的后果允许变化。

判断对错的方式

[论文] 合成评测与消融;真实数据用人类偏好和 VLM judge,没有真实 counterfactual GT。

证据类型

[论文] 定量 benchmark / 消融 / user study / 定性展示

[论文] 合成指标、数据/mask/VLM/refiner 消融;真实视频无 GT:25 人每人 5 案例,VOID 得 64.8% 选择率;另有多 VLM judge。

一句话 · 它在所属任务里推进了什么

[论文] 把 object removal 从背景和阴影修补推进到需要改写其它物体后续运动的删除。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
研究问题:

[论文] 删除与场景发生物理交互的对象后,如何同时修正下游互动,保留未受影响内容?

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
案例/平台:

[论文] Kubric 刚体与 HUMOTO 人体交互构造 paired removal data;75 条真实视频评估。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
被控制或改变的变量:

[论文] 用户点选删除对象;VLM 扩展 interaction-aware quadmask;VDM 生成新轨迹,可选第二遍用 flow-warped noise 稳定形状。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
技术路线与 baseline 差别:

[论文] 从 Generative Omnimatte 的 CogVideoX 权重初始化,进行 paired counterfactual training+quadmask+两遍生成;相较前作 trimask 和 photometric-effects 数据,引入动态互动后果监督。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
证据能支持多强的结论:

[推断] 支持所测删除场景下更受偏好且更合理的后果;没有证明 VLM 精确解出复杂轨迹,也没有真实视频个体 counterfactual GT。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
明示前提/设置:

[论文] 操作以删除为主;由 VLM 决定需放开修改的区域;训练配对由模拟/动作数据构造;真实评测依赖偏好与 judge。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
隐含假设及外推风险:

[推断] 有效性依赖影响区域召回、生成 prior 与训练后果类型共同作用;“自动推 mask”不足以区别既有 effect-aware 流程。未见物体被漏标时,保真约束可能保留错误后果。

依据:VOID 正文 · §3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5
原文与核实记录

[论文] arXiv:2604.02296;
原始摘要 · 已读正文 2604.02296v1 · 原文定位入口(不分发全文副本)

库内主表 · VG13
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Fig.3、dataset/quadmask/refiner;§4 Tables 1–4;Appendix mask reasoner Table 5

关联方向:XR-C · AIGC-A

GIVE · Geometry-Instructed Video Editing
[论文] Chirui Chang; Xiaoyang Lyu; Yi-Hua Huang; Haoru Tan; Shizhen Zhao; Yikang Ding; Jianmin Bao; Xin Tao; Pengfei Wan; Xiaojuan Qi
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务编辑与修改
论文类型方法
贡献落点主:条件注入次:表示 / 数据
具体落点pre/post depth-box+orientation-box 两路 geometry instruction;统一多种几何算子。
生成范式离线整段生成
控制信号图像 / 姿态或结构图
目标性质几何一致 / 实体一致 / 短时连贯 / 指令遵循

任务定义

输入

[论文] 源视频、目标对象编辑前/后的几何 box streams。

输出

[论文] 平移/旋转/缩放/复制/删除后的编辑视频。

必须保持不变的内容

[推断] 非目标内容、时间连贯和未改场景;几何相关阴影/反射须随编辑变化。

判断对错的方式

[论文] GIVE-Bench 配对参考、算子/条件消融;30 条真实 removal 的近似参考。

证据类型

[论文] 定量 benchmark / 消融 / 定性展示

[论文] engine-rendered paired benchmark、算子与条件消融;30 条 Pexels 视频有 copy-paste 构造的近似 removal reference;其余真实几何结果主要定性。

一句话 · 它在所属任务里推进了什么

[论文] 用轻量 pre/post geometry 编码替代易失效的逐视频完整几何重建,并统一多个算子。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
研究问题:

[论文] 如何无歧义地指定跨视角、跨时间的对象几何修改,并一致更新 shadows/reflections?

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
案例/平台:

[论文] Unreal Engine GIVE-Data/GIVE-Bench;translate、rotate、scale、duplicate、remove;真实视频转移。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
被控制或改变的变量:

[论文] 编辑前/后 depth-box 与 orientation-box 两路几何指令;固定非编辑因素生成配对监督。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
技术路线与 baseline 差别:

[论文] 统一 object-state transition 条件输入 diffusion editor;与 text/mask/track 控制及依赖逐视频重建的方法比较。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
证据能支持多强的结论:

[推断] 支持几何算子执行及几何依赖外观后效;copy-paste reference 不能充当真实干预后的动力学真值。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
明示前提/设置:

[论文] 训练/基准的受控配对来自 engine;需几何指令;作者展示新暴露的运动手部细节失败,多路 tokens 增加计算。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
隐含假设及外推风险:

[推断] 预先给定对象目标几何不等于由物理机制求出所有 downstream trajectories;不能直接作为任意事件干预的解法。

依据:GIVE 正文 · §3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7
原文与核实记录

[论文] arXiv:2606.24225;
原始摘要 · 已读正文 2606.24225v1 · 原文定位入口(不分发全文副本)

库内主表 · VG46
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Geometry instruction/data;§4;Supplement Table S3、Fig.S7

关联方向:XR-C · AIGC-A

PHYS · VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction
[论文] Conghan Yue; Yuanjie Chen; Yue Han; Ya Gao; Yunyan Xiao; WeiYao Zhang; Zhineng Chen
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务编辑与修改
论文类型方法
贡献落点主:推理时方法次:表示 / 评测
具体落点重建可模拟的刚体场景,执行物理干预后用新轨迹指导生成。
生成范式离线整段生成
控制信号文本 / 图像 / 轨迹或光流 / 物理或模拟代理
目标性质因果或状态一致 / 物理合理 / 几何一致

任务定义

输入

[论文] 源视频、物理编辑与执行帧;可包含数值或空间修改。

输出

[论文] 干预后运动/交互改变的 counterfactual video。

必须保持不变的内容

[推断] 干预前历史及未受影响内容;执行指定 Add/Delete/Set。

判断对错的方式

[论文] PCVE-RigidBench 的物理 GT、轨迹误差/PES;真实视频仅定性。

证据类型

[论文] 定量 benchmark / 消融 / 定性展示

[论文] paired synthetic GT、PES/轨迹误差及消融。完整 129 任务 PES 0.376;附录另列成功产出视频的 116 任务 PES 0.418,不能混用分母。117 任务在首帧干预,仅 12 个在中途干预;真实视频为定性。

一句话 · 它在所属任务里推进了什么

[论文] 把定时物理属性/对象编辑与 downstream trajectory evaluation 接起来。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
研究问题:

[论文] 源视频在指定帧发生物理编辑后,如何生成其导致的新运动与交互?

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
案例/平台:

[论文] PCVE-RigidBench:20 个源场景、129 个任务;真实视频额外定性;Add/Delete/Set 物理编辑。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
被控制或改变的变量:

[论文] 给定源视频、执行帧、物理编辑;重建物体状态/物理参数,干预后模拟轨迹并用于生成。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
技术路线与 baseline 差别:

[论文] 训练外 physical scene reconstruction+rigid-body simulation+trajectory-guided generation;相较直接编辑器使物理推理显式化。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
证据能支持多强的结论:

[推断] 在此刚体基准上有比偏好更直接的轨迹证据;但生成覆盖率与较小的中途干预子集限制结论,不能把首帧结果当作所有定时编辑已充分验证。不是一般现实物理识别保证。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
明示前提/设置:

[论文] 明确仅静态相机、平面支撑、sphere/box 几何;不覆盖 articulated/actively controlled humans or robots;阈值受尺度影响。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
隐含假设及外推风险:

[推断] 可拟合原视频的物理参数不必唯一;隐藏质量/摩擦若未被激发,准确复现 factual motion 仍可给出不同 intervention outcome。

依据:PHYS 正文 · §3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations
原文与核实记录

[论文] arXiv:2609.35134;
原始摘要 · 已读正文 2609.35134v1 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Physical Scene Reconstruction;§4 PCVE-RigidBench;Appendix comparison with VOID、Limitations

关联方向:XR-C · AIGC-A

KNOW · Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners
[论文] Allen Z. Ren; Anushri Dixit; Alexandra Bodrova; Sumeet Singh; Stephen Tu; Noah Brown; Peng Xu; Leila Takayama; Fei Xia; Jake Varley; Zhenjia Xu; Dorsa Sadigh; Andy Zeng; Anirudha Majumdar
[论文] 2023 · CoRL 2023;首版 2023 · 发表依据
作者 arXiv comments:CoRL 2023 Oral

[推断] 任务分类

任务其他(机器人任务规划与校准求助)
论文类型方法
贡献落点主:推理时方法
具体落点conformal prediction set 校准:行动候选不唯一时求助。
生成范式不适用
控制信号无
目标性质不适用计划覆盖率、任务成功与求助成本

任务定义

输入

[论文] 语言任务、环境状态、候选动作与 calibration examples。

输出

[论文] 执行的动作或向用户询问的候选集合。

必须保持不变的内容

[推断] 用户真实目标及 calibration/test 分布条件;不涉及像素保真。

判断对错的方式

[论文] 计划/执行成功率、求助负担及 coverage;理论保证的条件单列于原拆解。

证据类型

[论文] 定量 benchmark

[论文] conformal coverage 推导+模拟/硬件实验;论文报告硬件移动操作低层成功率约 86%,明确区分 plan 与 task success。

一句话 · 它在所属任务里推进了什么

[论文] 将可校准不确定性与 ask-for-help 连接,而非只用语言置信表达。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
研究问题:

[论文] LLM robot planner 何时知道自己不知道,并以尽量少的求助达到指定成功覆盖率?

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
案例/平台:

[论文] 模拟及真实 tabletop rearrangement、bimanual、mobile manipulation;多种语言歧义。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
被控制或改变的变量:

[论文] 从候选动作构造 conformal prediction set;非单元素集合向人求助;控制目标覆盖率。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
技术路线与 baseline 差别:

[论文] KnowNo 用 calibration set 校准 LLM 分数,不微调模型;对比 Simple Set、prompting 等求助策略。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
证据能支持多强的结论:

[推断] 可支持条件成立时的统计覆盖与较少求助;不是单次实例零风险、任意分布漂移或最少感知成本保证。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
明示前提/设置:

[论文] 正文假设 calibration/test scenarios 从同一分布 i.i.d. 抽样;可靠的人类帮助和低层控制;部分任务已知物体位置并用脚本动作。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
隐含假设及外推风险:

[推断] 未列入候选的真实状态、错误人类反馈及执行风险需独立建模;XR 的“足够信息”必须关联后续生成/执行结果。

依据:KNOW 正文 · §3 Uncertainty Alignment;§4;Appendix Low-level control success rate
原文与核实记录

[论文] arXiv:2307.01928;
原始摘要 · 已读正文 2307.01928v2 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Uncertainty Alignment;§4;Appendix Low-level control success rate

关联方向:XR-L · AIGC-D

ACT · Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training
[论文] Maximillian Chen; Ruoxi Sun; Tomas Pfister; Sercan Ö. Arık
[论文] 2025 · ICLR 2025;首版 2024 · 发表依据
作者 arXiv comments

[推断] 任务分类

任务其他(多轮澄清对话策略)
论文类型方法
贡献落点主:训练信号
具体落点以不同 dialogue actions 及其后续结果构造对比,进行 quasi-online DPO。
生成范式不适用
控制信号无
目标性质不适用对话决策与目标答案正确性

任务定义

输入

[论文] 用户请求、表格/文档/SQL schema 与对话历史。

输出

[论文] 澄清问题或最终回答。

必须保持不变的内容

[推断] 用户的信息目标与 grounded facts;澄清应解决歧义。

判断对错的方式

[论文] action、turn、trajectory 指标及最终任务答案。

证据类型

[论文] 定量 benchmark / 消融

[论文] 多任务少样本实验、action/turn/trajectory 指标、消融与失败轨迹;非 XR 人机教学实验。

一句话 · 它在所属任务里推进了什么

[论文] 以行动层面的反事实对比改善多轮 dialogue policy。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
研究问题:

[论文] 在对话数据有限时,如何让 LLM 学会先澄清而不是擅自猜测用户意图?

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
案例/平台:

[论文] PACIFIC tabular QA、machine reading comprehension、AmbigSQL。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
被控制或改变的变量:

[论文] 改变隐式 dialogue action(如澄清/回答),比较其后续对话达成信息目标的效果。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
技术路线与 baseline 差别:

[论文] Action-Based Contrastive Self-Training:quasi-online DPO 对比不同行动及模拟后续轨迹;相较 SFT/标准 DPO 不只做同类回答偏好。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
证据能支持多强的结论:

[推断] 支持澄清策略学习;不提供对真实用户误答、主动视角获取或视频生成成本的保证。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
明示前提/设置:

[论文] 利用任务目标答案与对话数据构造/评价候选轨迹;后续互动含模拟成分。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
隐含假设及外推风险:

[推断] 若 simulator 的反馈分布不代表真实学员,策略收益不能直接转移;语言答对也不等于视频操作正确。

依据:ACT 正文 · §3 ACT;Experiments;Appendix Algorithms、Tables A28–A29
原文与核实记录

[论文] arXiv:2406.00222;
原始摘要 · 已读正文 2406.00222v2 · 原文定位入口(不分发全文副本)

库内主表 · P149
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 ACT;Experiments;Appendix Algorithms、Tables A28–A29

关联方向:XR-L · AIGC-D

GPS · GPS: Graph-guided Proactive Information Seeking in Large Language Models
[论文] Ruiqing Li; Yifeng Xu; Xinke Jiang; Zhibang Yang; Xinyu Ma; Yue Fang; Junfeng Zhao; Yasha Wang; Xu Chu
[论文] 2026 · ICLR 2026;首版 2026 · 发表依据
正式 proceedings

[推断] 任务分类

任务其他(规则型 RAG 主动信息获取)
论文类型方法
贡献落点主:表示次:训练信号 / 推理时方法
具体落点conditional DAG 表示缺失条件与依赖,随回答遍历/剪枝。
生成范式不适用
控制信号无
目标性质不适用答案成功率与澄清效率

任务定义

输入

[论文] 不充分的用户问题、检索规则文档、已有回答。

输出

[论文] 逐步澄清问题与最终规则型答案。

必须保持不变的内容

[推断] 检索文档中的逻辑条件和用户已确认信息。

判断对错的方式

[论文] Synthetic/ConditionalQA/ShARC 成功率与 Weighted Clarification Turns;理论性质见拆解。

证据类型

[论文] 定量 benchmark / 消融

[论文] 三个 benchmark 的成功率/clarification efficiency、消融;理论证明 Boolean 条件的 DAG 表达完备性。

一句话 · 它在所属任务里推进了什么

[论文] 把开放式提问收敛为依据条件依赖的查询与剪枝。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
研究问题:

[论文] RAG 查询缺少用户条件时,如何依据文档中的条件规则主动获取必要信息?

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
案例/平台:

[论文] Synthetic、ConditionalQA、ShARC 三个 QA benchmarks;规则型 RAG。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
被控制或改变的变量:

[论文] 将文档规则转为 conditional DAG;依据用户回答动态剪枝,选择下一澄清问题。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
技术路线与 baseline 差别:

[论文] DAG reasoning+traversal clarification;conditional-path synthetic data 与 accuracy/efficiency 混合 reward 的 RL;对比无显式条件结构的澄清。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
证据能支持多强的结论:

[推断] 表示完备不等于 LLM 抽取正确、检索文档完备或现实世界观测充分;也不等于一般最优 information gain。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
明示前提/设置:

[论文] 有限取值条件变量;答案由检索文档中的逻辑条件决定;采用 User-Simulator LLM;理论分析针对所定义 DAG。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
隐含假设及外推风险:

[推断] 开放 XR 中“哪些变量重要”本身可能未知,因此不能假定已有完整条件图;先发现结构与在已知结构中问值是不同问题。

依据:GPS 正文 · ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis
原文与核实记录

[论文] [待核] arXiv ID/DOI 未找到;保留正式 proceedings 入口
原始摘要 · 已读正文 正式 proceedings PDF · 原文定位入口(不分发全文副本)

库内主表 · P159
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:ICLR proceedings PDF pp.3–6;§5;Appendix theoretical analysis

关联方向:XR-L · AIGC-D

QWEN · Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation
[论文] Zekai Zhang; Jiahao Li; Jie Zhang; Kaiyuan Gao; Kun Yan; Lihan Jiang; Ningyuan Tang; Shengming Yin; Tianhe Wu; Xiaoyue Chen; Xiao Xu; Yan Shu; Yanran Zhang; Yixian Xu; Yuxiang Chen; Zhendong Wang; Zihao Liu; Zikai Zhou; Huishuai Zhang; Dongyan Zhao; Chenfei Wu
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务其他(图像生成 agent;不是视频生成)
论文类型方法
贡献落点主:推理时方法次:记忆与上下文 / 评测
具体落点agent 规划并从 reasoning/search/memory/feedback 构建 generation context。
生成范式不适用该生成范式维度针对视频,图像任务不套用。
控制信号文本 / 图像 / 身份参考
目标性质指令遵循

任务定义

输入

[论文] 可能缺省或需最新知识的图像请求与可获取参考。

输出

[论文] 补齐上下文后的生成/编辑图像。

必须保持不变的内容

[推断] 用户意图、已核实知识与参考约束;不是长视频状态保持。

判断对错的方式

[论文] IA-Bench、Mindbench、WISE-Verified 及 context/renderer 消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 三个 benchmark 与 context/backbone 消融;去掉对应 context 会降低相应能力维度。

一句话 · 它在所属任务里推进了什么

[论文] 把用户输入视为部分上下文,并显式构建生成所需条件。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
研究问题:

[论文] 真实 image generation 请求缺省、隐含或依赖最新信息时,如何弥合 user context 与 generation context 的差距?

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
案例/平台:

[论文] 图像生成;IA-Bench 的 Plan/Reason/Search/Memory,Mindbench 与 WISE-Verified。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
被控制或改变的变量:

[论文] agent 在 plan、reason、search、memory、feedback 中组织所需上下文;改变 context 组成和 renderer。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
技术路线与 baseline 差别:

[论文] Context-Aware Planning+Context Grounding,再生成/反馈;消融各类 context 与图像 backbone。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
证据能支持多强的结论:

[推断] 支持获取/整合上下文改善图像生成;没有给出最小充分集合保证,也不是视频或 XR 主动感知结果。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
明示前提/设置:

[论文] 依赖外部检索、记忆与图像生成/编辑工具;论文指出 renderer 本身仍会计数/参考跟随失败。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
隐含假设及外推风险:

[推断] 正确 context 与 renderer 能力要分开归因;工具调用更丰富不必然意味着交互成本最优。

依据:QWEN 正文 · §3 Context-centric framework;Experiments Table 4;Conclusion
原文与核实记录

[论文] arXiv:2606.26907;
原始摘要 · 已读正文 2606.26907v2 · 原文定位入口(不分发全文副本)

库内主表 · VG17
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Context-centric framework;Experiments Table 4;Conclusion

关联方向:XR-L · AIGC-D

VGEN · VideoGen-Agent: Reinforcing Video Generation Agents
[论文] Binxu Li; Haoyi Duan; Yuhui Zhang; Yaohui Zhang; Zihao Lin; Kaituo Feng; Suozhi Huang; Xiangyi Li; Yu Li; Chunyuan Li; Shilong Liu; Mengdi Wang
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务条件控制生成
论文类型方法
贡献落点主:训练信号次:推理时方法 / 评测
具体落点SFT+agentic RL 学习工具选择;主落点是 agent policy,不是新视频 backbone。
生成范式不适用不适用统一范式:agent 编排多种 renderer;原文未把所有工具限定为同一种离线/因果/少步架构。
控制信号文本 / 图像 / 身份参考 / 物理或模拟代理
目标性质指令遵循 / 实体一致 / 物理合理 / 因果或状态一致

任务定义

输入

[论文] 复杂视频 prompt;可调用增强、生成、验证工具及中间结果。

输出

[论文] 通过多轮工具调用生成的视频。

必须保持不变的内容

[推断] 各任务的身份、物理、空间和事件顺序约束。

判断对错的方式

[论文] VABench 六类 rubric、训练/工具集对照与人类偏好。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 同一基础工具集 56.5→75.6,升级工具 86.1;human preference 每项比较 100 对×4 人;另 judge agreement 600 对×3 人。

一句话 · 它在所属任务里推进了什么

[论文] 跨六类任务学习共享工具策略,并可受益于升级工具。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
研究问题:

[论文] 能否训练共享 agent policy 使用外部工具,满足单一视频生成器难以实现的知识、身份、物理与事件顺序要求?

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
案例/平台:

[论文] VABench:600 prompts,六类各 100;多种 augmentation/generation/verification tools。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
被控制或改变的变量:

[论文] agent 依据 prompt 与中间观测选工具;改变 SFT/RL、reward components 与工具集。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
技术路线与 baseline 差别:

[论文] teacher trajectories SFT+multitask agentic RL;相较 standalone generator 学习多轮工具编排与验证。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
证据能支持多强的结论:

[推断] 有 agent 训练与工具升级的分离比较;部分训练/测试共享 evaluator rubric,不能把分数直接等同独立物理真值或最少信息证明。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
明示前提/设置:

[论文] 固定可调用工具接口与类别 reward;物理检查的 image-plane momentum 指标明确假设 fixed camera,不是校准的 3D 守恒检验。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
隐含假设及外推风险:

[推断] 若评测只奖励生成质量,策略可能用更多工具换分;要论证 D 需报告质量—成本曲线并测试必要信息被移除后的退化。

依据:VGEN 正文 · §3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric
原文与核实记录

[论文] arXiv:2609.24997;
原始摘要 · 已读正文 2609.24997v3 · 原文定位入口(不分发全文副本)

库内主表 · VG20
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Training;§4 VABench/Human Evaluation;Appendix D、physics rubric

关联方向:XR-L · AIGC-D

IVR · Interactive Visual Reasoning under Uncertainty
[论文] Manjie Xu; Guangyuan Jiang; Wei Liang; Chi Zhang; Yixin Zhu
[论文] 2023 · NeurIPS 2023 Datasets and Benchmarks;首版 2022 · 发表依据
作者 arXiv comments 明示 accepted;不是 2022 venue

[推断] 任务分类

任务其他(主动视觉因果实验环境)
论文类型基准
贡献落点主:评测次:数据
具体落点可主动试验的 Blicket 环境,分别测视觉感知与因果识别。
生成范式不适用
控制信号无
目标性质不适用因果识别准确率与试验代价

任务定义

输入

[论文] 不充分的物体—detector 观察与可用实验动作。

输出

[论文] 下一试验与对象 Blicketness belief。

必须保持不变的内容

[推断] 当前 episode 的隐藏 detector 机制;试验要识别它而非改写规则。

判断对错的方式

[论文] belief 正确性、试验效率、visual/symbolic 对照与人类 baseline。

证据类型

[论文] 定量 benchmark / user study

[论文] visual/symbolic 输入控制;算法比较;54 名参与者各完成一个随机 episode,最多 10 步。

一句话 · 它在所属任务里推进了什么

[论文] 把 uncertainty resolution 作为闭环可操作任务,而非只读既有观测。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
研究问题:

[论文] 面对含糊的 action–effect 关系,agent 能否设计实验识别对象的因果作用?

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
案例/平台:

[论文] Interactive Visual Reasoning / IVRE;CLEVR 风格 Blicket detector 环境。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
被控制或改变的变量:

[论文] 给定不充分 context,主动选择物体组合做试验,更新 Blicket belief;有最多 trial 数及效率惩罚。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
技术路线与 baseline 差别:

[论文] 构建交互评测平台并比较 RL、启发式、LLM 与人类;区别于被动看完整样本再答题。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
证据能支持多强的结论:

[推断] 可隔离主动实验与视觉感知难度;有限规则环境的因果发现证据不能外推到自然视频生成。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
明示前提/设置:

[论文] 生成器规定对象与 detector 规则;可安全、重复执行候选 trial;目标和反馈可评价。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
隐含假设及外推风险:

[推断] 现实 XR 的试验可能改变环境且不可逆;需要把信息价值与操作后果成本一同定义。

依据:IVR 正文 · Task/environment;Experiments Human study;Appendices environment and human examples
原文与核实记录

[论文] arXiv:2206.09203;
原始摘要 · 已读正文 2206.09203v2 · 原文定位入口(不分发全文副本)

库内主表 · P143
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:Task/environment;Experiments Human study;Appendices environment and human examples

关联方向:

GENEX · Generative World Explorer
[论文] Taiming Lu; Tianmin Shu; Alan Yuille; Daniel Khashabi; Jieneng Chen
[论文] 2025 · ICLR 2025;首版 2024 · 发表依据
正式 proceedings

[推断] 任务分类

任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:架构与生成范式次:表示 / 数据 / 评测
具体落点panoramic generative explorer 预测想象中的观察,用于 belief/decision 更新。
生成范式因果自回归或流式按探索动作连续生成;此标签不意味着已达到实时速度。
控制信号图像 / 动作
目标性质几何一致 / 环境记忆 / 因果或状态一致

任务定义

输入

[论文] 当前 egocentric view、预期移动/探索方向。

输出

[论文] 未来全景观察及基于想象的决策。

必须保持不变的内容

[推断] 探索中的场景结构与回环一致性;想象不是已证实的外部事实。

判断对错的方式

[论文] 生成质量、loop consistency、GenEx-EQA decision accuracy 与 human comparisons。

证据类型

[论文] 定量 benchmark / user study

[论文] 生成质量、loop consistency、探索与规划评测;人类评估说明见附录,但[待核] 本次未核实总人数。

一句话 · 它在所属任务里推进了什么

[论文] 将可连续探索的生成视觉用于部分可见场景的决策辅助。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
研究问题:

[论文] 部分观察下,能否用 imagined observations 更新 belief 并帮助 embodied planning?

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
案例/平台:

[论文] GenEx-DB synthetic urban scenes、GenEx-EQA;360° 环境探索和决策;真实街景/室内额外泛化。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
被控制或改变的变量:

[论文] 由当前 egocentric view 生成想象中的探索观察,交给决策模型;改变探索轨迹与可用视角。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
技术路线与 baseline 差别:

[论文] 训练 generative world explorer,将生成的全景观察用于 belief/decision;对比仅文本/当前视角等输入条件。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
证据能支持多强的结论:

[推断] 支持所测任务里想象有辅助价值;imagined evidence 不是实际测量,不能证明未知事实被观测确认。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
明示前提/设置:

[论文] 生成模型由合成城市数据训练;决策可以使用生成观察;本文读取正文为 v3,摘要页与正文的表述存在版本差异。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
隐含假设及外推风险:

[推断] 若把 imagined observation 与 sensed observation 混存,会循环强化先验;XR 纠错必须保留来源与置信度。

依据:GENEX 正文 · 正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation
原文与核实记录

[论文] arXiv:2411.11844;
原始摘要 · 已读正文 2411.11844v3 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:正文 v3 Abstract、Experiments Findings;Appendix Human Evaluation

关联方向:XR-S · AIGC-B

S3 · See, Remember, Explore: A Benchmark and Baselines for Streaming Spatial Reasoning
[论文] Yuxi Wei; Wei Huang; Qirui Chen; Lu Hou; Xiaojuan Qi
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务其他(流式空间推理与主动感知;不生成视频)
论文类型基准
贡献落点主:评测次:数据 / 记忆与上下文 / 训练信号
具体落点streaming spatial QA+active exploration;AMF-VLM 提供 memory folding baseline。
生成范式不适用streaming 指输入/推理方式,不是视频生成范式。
控制信号无
目标性质不适用空间 QA 正确率、记忆与主动感知效能

任务定义

输入

[论文] 截至查询时间的视觉流、空间问题及探索接口。

输出

[论文] 空间答案及 move/rotate/scan 等取证动作。

必须保持不变的内容

[推断] 不能使用查询时间之后的观察;仍有效的空间证据应被保留。

判断对错的方式

[论文] S3-Eval simulated/real accuracy、同数据 baseline 与模块消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] S3-Eval simulated/real splits、其他空间 benchmark transfer;同数据比较报告 8.8%/13.3% 改善;详细模块消融。

一句话 · 它在所属任务里推进了什么

[论文] 把离线后验空间 QA 改为 streaming、过去信息限定、可主动探索的任务。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
研究问题:

[论文] 如何在只用当前时刻之前的观察、有限计算下持续进行空间推理,并主动获取缺失视野?

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
案例/平台:

[论文] S3-Bench:10K+ scenes、26K+ trajectories;模拟可控探索与真实 streaming videos。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
被控制或改变的变量:

[论文] timestamp-grounded QA;memory folding;显式 move/rotate/scan 探索动作。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
技术路线与 baseline 差别:

[论文] AMF-VLM 压缩结构化 memory 并学习 active exploration;对比用相同训练数据的模型及模块消融。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
证据能支持多强的结论:

[推断] 直接支持 streaming spatial reasoning 的问题定位;真实流视频部分不自动等于在线真人 XR 探索的随机试验,更未测教程生成。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
明示前提/设置:

[论文] 标注来自模拟 GT 或真实数据 3D annotation 的投影/遮挡计算;输入和问题有时间边界。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
隐含假设及外推风险:

[推断] 提升空间 QA 不一定提高最终教程;有些观测减少几何不确定性,却不改变操作或生成决策。

依据:S3 正文 · §3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16
原文与核实记录

[论文] arXiv:2603.23864;
原始摘要 · 已读正文 2603.23864v1 · 原文定位入口(不分发全文副本)

库内主表 · VG60
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 S3-Bench;§4 AMF-VLM;§5;Appendix visibility/QA generation、Tables 13–16

关联方向:

BLACK · Black Swan: Abductive and Defeasible Video Reasoning in Unpredictable Events
[论文] Aditya Chinchure; Sahithya Ravi; Raymond Ng; Vered Shwartz; Boyang Li; Leonid Sigal
[论文] 2025 · CVPR 2025;首版 2024 · 发表依据
作者 arXiv comments

[推断] 任务分类

任务其他(视频理解与可撤销推理;不是视频形式的回答)
论文类型基准
贡献落点主:评测次:数据
具体落点用逐步揭示的视频证据测试 abductive/defeasible reasoning。
生成范式不适用
控制信号无
目标性质不适用解释正确性与证据响应能力

任务定义

输入

[论文] 受限的视频片段、假设或问题;后续可增加新视觉证据。

输出

[论文] 事件解释、MCQ 选择或假设是否成立的判断。

必须保持不变的内容

[推断] 已见真实证据不能被改写;解释可因新证据而撤回。

判断对错的方式

[论文] MCQ/Y-N accuracy、生成解释评分与人类上界;人评口径冲突见原证据。

证据类型

[论文] 定量 benchmark / user study

[论文] 15,469 问的多模型评测。Appendix D 写明筛选后 32 名生成解释评审;F.1 的判别题 human upper bound 为 2 名实验室学生,MCQ 各 100 题、Y/N 各 150 题,取较高分。正文 §5.2 简述为一位专家每 variant 150 题:[待核] 两处口径不一致。

一句话 · 它在所属任务里推进了什么

[论文] 将 visual evidence arrival 与 hypothesis revision 显式纳入视频推理评估。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
研究问题:

[论文] VLM 能否解释意外事件,并在新视觉证据出现后推翻先前假设?

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
案例/平台:

[论文] BlackSwanSuite:1655 videos;Forecaster、Detective、Reporter,MCQ/generative/yes-no tasks。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
被控制或改变的变量:

[论文] 人为限制可见片段,随后提供新信息;要求 abductive 与 defeasible responses。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
技术路线与 baseline 差别:

[论文] 构造不可预期事件 benchmark,评测多种 VLM;相较常见可预测事件 QA 强调隐藏事件与证据改变解释。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
证据能支持多强的结论:

[推断] 支持被测模型存在可撤销推理缺口;最高约 32 点差距针对该 benchmark 及人类上界设置,不是总体人群差距。人类基线取两人较高值、正文/附录样本口径不一致,应降低外推强度。不是视频生成纠错测试。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
明示前提/设置:

[论文] 来自 Oops! test videos;作者承认潜在训练接触与开放式生成评审主观性。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
隐含假设及外推风险:

[推断] 从能改文字答案到能使生成 memory、latent context 和未来 pixels 同步纠错,仍需另设实验。

依据:BLACK 正文 · §3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source
原文与核实记录

[论文] arXiv:2412.05725;
原始摘要 · 已读正文 2412.05725v2 · 原文定位入口(不分发全文副本)

库内主表 · P021
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 BlackSwanSuite;Experiments;Appendix Evaluation Metrics、Data Source

关联方向:XR-S · AIGC-B

STREAM · StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text
[论文] Roberto Henschel; Levon Khachatryan; Hayk Poghosyan; Daniil Hayrapetyan; Vahram Tadevosyan; Zhangyang Wang; Shant Navasardyan; Humphrey Shi
[论文] 2025 · CVPR 2025;首版 2024 · 发表依据
正式 CVF proceedings

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:架构与生成范式 / 推理时方法
具体落点前一 chunk 的 CAM+首段 appearance anchor;blending 支持长程增强。
生成范式因果自回归或流式chunk-level autoregressive;不等于单帧 causal attention。
控制信号文本 / 图像
目标性质画质 / 短时连贯 / 实体一致

任务定义

输入

[论文] 文本 prompt 与已生成 chunks。

输出

[论文] 连贯且保持运动的长视频。

必须保持不变的内容

[推断] 初始场景/对象外观与相邻 chunk 衔接。

判断对错的方式

[论文] 50 prompts 上 motion/consistency/CLIP 指标、消融与 pairwise 人评。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 一致性、motion/CLIP 等自动指标及消融;pairwise user study 报告偏好,[待核] 本次未核实人数。

一句话 · 它在所属任务里推进了什么

[论文] 联合短期衔接与长期外观锚定,缓解长生成停滞。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
研究问题:

[论文] 如何让短视频 diffusion 延长为连贯长视频,同时避免 hard cuts 和运动停滞?

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
案例/平台:

[论文] 50 个动作/对象/场景 prompts;80 到 1200+ frames 的生成。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
被控制或改变的变量:

[论文] 当前 chunk 接收前一 chunk 特征和第一 chunk appearance;改变 memory 模块、增强策略与长度。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
技术路线与 baseline 差别:

[论文] CAM short-term memory+APM first-chunk appearance+randomized blending enhancer;对比 autoregressive I2V、SparseControl、FreeNoise 等。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
证据能支持多强的结论:

[推断] 支持长视频延展与运动保持;保持初始外观是目标,不是识别初始记忆错误并撤回。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
明示前提/设置:

[论文] 第一 chunk 提供长期外观;上一 chunk 提供局部连续条件。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
隐含假设及外推风险:

[推断] 当第一 chunk 本身错误或过时,强锚定可能固化错误;需从“保持一致”转向“与有效证据一致”。

依据:STREAM 正文 · §3–4 memory/enhancement;§5;Appendix user study Fig.6
原文与核实记录

[论文] arXiv:2403.14773;
原始摘要 · 已读正文 2403.14773v2 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3–4 memory/enhancement;§5;Appendix user study Fig.6

关联方向:XR-S · AIGC-B

WORLD · WorldMem: Long-term Consistent World Simulation with Memory
[论文] Zeqi Xiao; Yushi Lan; Yifan Zhou; Wenqi Ouyang; Shuai Yang; Yanhong Zeng; Xingang Pan
[论文] 2025 · NeurIPS 2025;首版 2025 · 发表依据
正式 proceedings;优先于个别作者页面的 ICCV 标签

[推断] 任务分类

任务3D/4D 一致生成
论文类型方法
贡献落点主:记忆与上下文次:条件注入
具体落点带 pose/time 的 memory frames,经 memory attention 检索旧视角状态。
生成范式因果自回归或流式按世界状态向前生成并读取过去 memory。
控制信号图像 / 相机 / 动作
目标性质几何一致 / 环境记忆 / 因果或状态一致

任务定义

输入

[论文] 当前视觉/动作条件、相机状态及长期 frame-state memory。

输出

[论文] 世界推进和视角重访时的后续视频。

必须保持不变的内容

[推断] 相同位置/相应时间的场景状态;世界可按动作/时间演化。

判断对错的方式

[论文] 重访 reconstruction/LPIPS/rFID;pose encoding、检索与 memory 长度消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 重访 reconstruction/LPIPS/rFID 等指标;memory 长度、采样策略和编码消融;长度从 8 到 16 并非继续改善。

一句话 · 它在所属任务里推进了什么

[论文] 以带状态的长期 memory 超越固定生成窗口。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
研究问题:

[论文] 有限 context window 下,如何重访早先视角时仍保持世界一致,并表现随时间的变化?

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
案例/平台:

[论文] Minecraft 与真实场景实验;长距离视角重访、动态变化。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
被控制或改变的变量:

[论文] memory units 储存 frame、pose、timestamp;根据状态检索并 attention 条件化。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
技术路线与 baseline 差别:

[论文] WorldMem memory attention+pose/time embeddings;对比 full-sequence、Diffusion Forcing 及不同 pose/retrieval 设置。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
证据能支持多强的结论:

[推断] 支持显式 memory 的 spatial recall;重访自己生成的历史一致,不等于历史推断符合外部事实。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
明示前提/设置:

[论文] 依赖 camera/state metadata;原文承认遮挡时 overlap retrieval 不充分、交互不够真实多样、memory 线性增长。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
隐含假设及外推风险:

[推断] 保存的 frame 被默认可作为有效参考;新反证需先决定哪段 memory 失效,单纯检索更好无法完成这个判断。

依据:WORLD 正文 · §3;§4 Tables 1–2;Limitations;Appendix Table 7
原文与核实记录

[论文] arXiv:2504.12369;
原始摘要 · 已读正文 2504.12369v3 · 原文定位入口(不分发全文副本)

库内主表 · P135
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4 Tables 1–2;Limitations;Appendix Table 7

关联方向:XR-S · AIGC-B

PERMA · PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory
[论文] Shuai Yang; Bingjie Gao; Ziwei Liu; Jiaqi Wang; Dahua Lin; Tong Wu
[论文] 2026 · NeurIPS 2026(已录用;作者列表确认);首版 2026 · 发表依据
2026-10-15 Ziwei Liu 作者发表列表将该论文列于 NeurIPS 2026;未将 arXiv 版本冒记为正式 proceedings 版本。

[推断] 任务分类

任务3D/4D 一致生成
论文类型方法
贡献落点主:记忆与上下文次:条件注入 / 数据
具体落点RGB/depth 双 memory;按全局/局部 edit invalidation 保留有效参考。
生成范式因果自回归或流式主任务是跨编辑的持续世界生成;局部编辑本身不是唯一输出。
控制信号图像 / 相机 / 姿态或结构图
目标性质几何一致 / 环境记忆 / 实体一致

任务定义

输入

[论文] 编辑后的观察、camera trajectory、RGB/depth memory 与编辑范围。

输出

[论文] 跨时间/视角仍遵守更新状态的后续视频。

必须保持不变的内容

[推断] 未失效的几何/内容;被编辑内容应保持新版本而非退回旧版。

判断对错的方式

[论文] 编辑后重访 PSNR/SSIM/LPIPS、VBench 与 memory 消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 跨编辑重访 PSNR/SSIM/LPIPS、VBench 与 disentanglement 消融;存在局部/全局编辑的定量证据。

一句话 · 它在所属任务里推进了什么

[论文] 将 memory validity 与编辑类型、空间影响范围联动。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
研究问题:

[论文] 编辑使历史 context 过时后,如何在后续生成与视角重访中保持更新后的世界?

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
案例/平台:

[论文] UE-Mem;global style/lighting/season edits 与 local insertion/removal/replacement。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
被控制或改变的变量:

[论文] 分离 RGB/depth memory;全局编辑清空旧 RGB 并推进 semantic version;局部编辑使与 Ωe 重叠的 memory units 失效。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
技术路线与 baseline 差别:

[论文] edit-aware update/retrieval+mixed-modality conditioning;相较 RGB-only history 保留仍有效的 geometry,过滤过时 appearance。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
证据能支持多强的结论:

[推断] 直接覆盖“编辑后旧记忆失效并选择性更新”的宽泛主张;未等同含噪外部证据下的诊断、来源冲突和隐藏机制纠错。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
明示前提/设置:

[论文] 全局 appearance 编辑通常保留 geometry;局部有编辑区域 Ωe 与 pose footprint;几何变化时才同时使 depth memory 失效。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
隐含假设及外推风险:

[推断] 若修改范围未知、证据不可靠或影响沿因果依赖跨区域传播,空间 footprint 规则可能不足;这才是 B/S 可检验的区别。

依据:PERMA 正文 · §3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6
原文与核实记录

[论文] arXiv:2606.16449;
原始摘要 · 已读正文 2606.16449v2 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3.1–3.3,Eqs.1–3;§4 Tables 1、Fig.6

关联方向:XR-S · AIGC-B

WEAVE · Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
[论文] Ziyi Wang; Junchi Yao; Heqian Qiu; Wenbo Shi; Chengjiu Wang; Jinyang He; Binkai Hong; Hongliang Li
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:推理时方法 / 条件注入
具体落点semantic slots 选择历史 KV;masked weaving 与 adaptive RoPE 控制组合参考。
生成范式因果自回归或流式逐镜头使用历史 cache;training-free 不等于少步或实时。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 短时连贯

任务定义

输入

[论文] 新镜头 prompt、不同历史镜头中的人物/背景 references。

输出

[论文] 组合指定历史内容的新镜头与长视频。

必须保持不变的内容

[推断] 选定人物身份、背景语义与相邻片段连贯;无关历史不应混入。

判断对错的方式

[论文] inter/intra-shot consistency、text alignment 与 cache-fusion 消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 跨/镜头内一致性、文本对齐与质量指标;cache fusion 消融,inter-shot 指标更强但不是所有 intra-shot 指标领先。

一句话 · 它在所属任务里推进了什么

[论文] 从 whole-prompt retrieval 转为按语义组成选择和融合历史。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
研究问题:

[论文] 交互式新镜头需组合不同历史镜头的人物与背景时,如何避免取入无关内容?

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
案例/平台:

[论文] interactive long video generation;跨 shot subject/background consistency。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
被控制或改变的变量:

[论文] LLM 把 prompt 分成 character/background slots,选择历史 references;semantic masks 控制历史 KV tokens。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
技术路线与 baseline 差别:

[论文] training-free semantic routing+masked memory weaving+coverage-adaptive RoPE;对比全历史拼接、weighted fusion。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
证据能支持多强的结论:

[推断] 支持组件级历史重用及内部 KV 控制;“选择哪些参考”并非“判断哪个参考事实是错的”。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
明示前提/设置:

[论文] 需要历史中存在可用 reference;按 coverage 调整 RoPE 与 retention。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
隐含假设及外推风险:

[推断] 旧记忆包含错误时,semantic relevance 仍可很高;需把 validity/provenance 加入 routing 的决策变量。

依据:WEAVE 正文 · §3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2
原文与核实记录

[论文] arXiv:2610.03510;
原始摘要 · 已读正文 2610.03510v1 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Semantic slot routing、Masked memory weaving、RoPE;§4 Tables 1–2

关联方向:XR-S · AIGC-B

A2RD · A$^2$RD: Agentic Autoregressive Diffusion for Long Video Consistency
[论文] Do Xuan Long; Yale Song; Min-Yen Kan; Tomas Pfister; Long T. Le
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:推理时方法次:记忆与上下文 / 评测
具体落点Retrieve–Synthesize–Refine–Update;frame/video 两级校验与重采样。
生成范式因果自回归或流式segment-level autoregressive;内部单片段可以 extrapolation/interpolation。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 因果或状态一致 / 短时连贯

任务定义

输入

[论文] 剧情/场景描述、参考图与已生成片段的 multimodal memory。

输出

[论文] 逐段修订后的一至十分钟视频。

必须保持不变的内容

[推断] 人物/物体/环境在重现时与有效状态一致;剧情允许规定的状态变化。

判断对错的方式

[论文] LVBench-C/public benchmarks、模块消融及 7 人 human study。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 自动指标/MLLM judge、消融;人评 7 名,40 条 VBench-Long single-scene 样本,每条至少 2 人;未报告人评 agreement。

一句话 · 它在所属任务里推进了什么

[论文] 将多模态 memory 与逐段双层自纠错统一成闭环。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
研究问题:

[论文] 长视频如何避免 semantic drift 与 narrative collapse,维持出现—消失—再出现实体的一致性?

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
案例/平台:

[论文] LVBench-C 与 public long-video benchmarks;1–10 分钟视频。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
被控制或改变的变量:

[论文] 每段 retrieve–synthesize–refine–update;adaptive generation mode;frame/video 两层 critic。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
技术路线与 baseline 差别:

[论文] training-free agentic autoregressive diffusion,将 creative synthesis 与 consistency enforcement 分离;消融 memory、adaptive mode、hierarchical refinement。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
证据能支持多强的结论:

[推断] 支持 agent loop 改善生成一致性;单场景人评不能覆盖所有 nonlinear narrative,更不等于外部反证 revision。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
明示前提/设置:

[论文] 依赖参考图、剧情状态与 critics;本次生成错误主要由内部评价环纠正。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
隐含假设及外推风险:

[推断] critic 可能和 generator 共享常识偏差;需要独立观测来区分“不一致”与“原设定错误”。

依据:A2RD 正文 · §3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations
原文与核实记录

[论文] arXiv:2605.06924;
原始摘要 · 已读正文 2605.06924v1 · 原文定位入口(不分发全文副本)

库内主表 · VG15
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Retrieve–Synthesize–Refine–Update;Experiments;Appendix Human Study、limitations

关联方向:XR-S · AIGC-B

VOY · Voyager: An Open-Ended Embodied Agent with Large Language Models
[论文] Guanzhi Wang; Yuqi Xie; Yunfan Jiang; Ajay Mandlekar; Chaowei Xiao; Yuke Zhu; Linxi Fan; Anima Anandkumar
[论文] 2024 · TMLR 2024;首版 2023 · 发表依据
正式论文页首 Published in TMLR 03/2024

[推断] 任务分类

任务其他(开放式 embodied agent 学习)
论文类型方法
贡献落点主:记忆与上下文次:推理时方法
具体落点持久 executable skill library;环境反馈改程序并复用。
生成范式不适用
控制信号无
目标性质不适用技能积累、任务成功与迁移

任务定义

输入

[论文] Minecraft 环境状态、任务/curriculum 与已学技能。

输出

[论文] 可执行代码、动作及新技能。

必须保持不变的内容

[推断] 游戏规则和已验证技能语义;不是视频外观保持。

判断对错的方式

[论文] 物品/探索/科技树和新世界未见任务成功率。

证据类型

[论文] 定量 benchmark / 消融

[论文] 物品多样性、探索距离、科技树速度与组件消融;新任务每项 3 次试验。

一句话 · 它在所属任务里推进了什么

[论文] 把执行成功的程序作为可组合长期经验。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
研究问题:

[论文] LLM agent 能否开放式探索,积累可复用技能,并在新世界完成未见任务?

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
案例/平台:

[论文] Minecraft;探索、科技树、零样本新任务。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
被控制或改变的变量:

[论文] automatic curriculum 选任务;环境/执行错误反馈改代码;成功代码进入可检索 skill library。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
技术路线与 baseline 差别:

[论文] GPT-4 iterative prompting+executable skill memory;相较只保留语言反思,存可调用程序;不更新 LLM 参数。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
证据能支持多强的结论:

[推断] 支持环境内可执行技能的累积与复用;不支持教程生成的持续提升或真实学员学习改善。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
明示前提/设置:

[论文] Mineflayer 提供低层控制与结构化反馈;GPT-4 通过 API 调用。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
隐含假设及外推风险:

[推断] 代码可复现执行不等于教学策略的可迁移有效性;学员改变可能造成结果变化而非策略改善。

依据:VOY 正文 · §2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2
原文与核实记录

[论文] arXiv:2305.16291;
原始摘要 · 已读正文 2305.16291v2 · 原文定位入口(不分发全文副本)

库内主表 · VG02
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§2 Curriculum/Skill Library/Iterative Prompting;Experiments Tables 1–2

关联方向:XR-E

VIDEOAG · VideoAgent: Self-Improving Video Generation
[论文] Achint Soni; Sreyas Venkataraman; Abhranil Chandra; Sebastian Fischmeister; Percy Liang; Bo Dai; Sherry Yang
[论文] 2024 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2024 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:推理时方法次:训练信号
具体落点self-conditioning consistency 修订 video plans;执行数据可进一步训练生成器。
生成范式离线整段生成按轮生成/修订一段 video plan;闭环执行不等于生成器本身逐帧因果流式。
控制信号文本 / 图像
目标性质因果或状态一致 / 物理合理 / 指令遵循

任务定义

输入

[论文] 当前观察、任务指令与生成/执行反馈。

输出

[论文] 修订的视频计划及从计划导出的控制。

必须保持不变的内容

[推断] 任务目标与当前场景;计划必须可被下游控制器执行。

判断对错的方式

[论文] MetaWorld/iTHOR task success、生成指标与消融;真实机器人视频定性。

证据类型

[论文] 定量 benchmark / 消融 / 定性展示

[论文] 模拟下游 task success、生成指标与消融;iTHOR 为 4 rooms×3 objects×20 seeds,只测无 online access 的修正;真实机器人主要定性。

一句话 · 它在所属任务里推进了什么

[论文] 把外部反馈接入生成的 inference refinement 与数据积累。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
研究问题:

[论文] 如何利用外部反馈修正 hallucinated video plans,并通过环境交互进一步改善生成器?

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
案例/平台:

[论文] MetaWorld manipulation、iTHOR navigation;真实机器人视频额外展示。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
被控制或改变的变量:

[论文] 生成视频计划先由反馈自条件修正;执行后可采集环境数据再训练。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
技术路线与 baseline 差别:

[论文] self-conditioning consistency 将反馈与当前计划用于改进生成;与直接执行 AVDC 类 video plan 比较。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
证据能支持多强的结论:

[推断] 已覆盖“视频计划接受环境反馈并进一步训练”的宽泛问题;不能把所有设置都说成已验证在线自进化。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
明示前提/设置:

[论文] 可以从视频提取控制并在模拟环境执行;不同实验允许的 online access 不同。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
隐含假设及外推风险:

[推断] 执行反馈同时受控制器影响;若不拆分 planner/generator/controller,不能把任务成功增益全归因于视频因果理解。

依据:VIDEOAG 正文 · §3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation
原文与核实记录

[论文] arXiv:2410.10076;
原始摘要 · 已读正文 2410.10076v3 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Self-conditioning;§4 MetaWorld/iTHOR;Appendix real-world qualitative evaluation

关联方向:XR-E

SPIRAL · SPIRAL: Self-Evolving Action-Conditioned Video Generation via Reflective Planning Agents
[论文] Yu Yang; Yue Liao; Jianbiao Mei; Baisen Wang; Xuemeng Yang; Licheng Wen; Jiangning Zhang; Xiangtai Li; Liang Lv; Hanlin Chen; Botian Shi; Yong Liu; Shuicheng Yan; Gim Hee Lee
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务动作条件的预测与交互世界模型
论文类型方法
贡献落点主:架构与生成范式次:训练信号 / 记忆与上下文 / 数据 / 评测
具体落点plan–generate–critic 逐动作闭环;memory 保持状态,GRPO 后训练 generator。
生成范式因果自回归或流式原文明确按 action step 分段 streaming;主张不等于低延迟实时。
控制信号文本 / 图像 / 动作
目标性质因果或状态一致 / 短时连贯 / 实体一致 / 指令遵循

任务定义

输入

[论文] 高层任务、分解后的 sub-actions 与历史视觉/latent memory。

输出

[论文] 依动作逐段生成并可重试的视频。

必须保持不变的内容

[推断] 操作次序、持续动作执行与场景状态连贯。

判断对错的方式

[论文] ActVideoGen-Bench、规划/critic benchmarks、VBench 与消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 多 backbone benchmark、组件/重试消融;规划与 critic 也分别评测;原文 OOD planning 并非所有 baseline 都领先。

一句话 · 它在所属任务里推进了什么

[论文] 将 action planning、segment correction 与后训练统一。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
研究问题:

[论文] 长时动作条件生成怎样避免漏步、幻觉运动与 temporal drift,并以闭环反馈改进模型?

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
案例/平台:

[论文] ActVideoGen-Dataset/Bench;EgoPlan-Bench、VideoGen-RewardBench、VBench。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
被控制或改变的变量:

[论文] PlanAgent 分解 sub-actions,VideoGenerator 按 memory 生成,CriticAgent 反馈重试;用 actions/rewards 做 GRPO post-training。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
技术路线与 baseline 差别:

[论文] think–act–reflect 闭环+generator 参数后训练;区别于一次生成或仅推理时修补。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
证据能支持多强的结论:

[推断] 支持闭环与后训练的联合价值;不是跨真实学员长期教学改进证据。不能把每轮局部纠错等同跨任务累积。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
明示前提/设置:

[论文] 需 task-specific 数据和 critic reward;正文读取 v3,题名/数据集名不同于早期版本。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
隐含假设及外推风险:

[推断] critic 的 action-quality reward 若偏离教学结果,参数改进仍可能只提高可见执行形式;需独立任务指标。

依据:SPIRAL 正文 · 正文 v3 §3;Experiments;Appendix Tables 10–11
原文与核实记录

[论文] arXiv:2603.08403;
原始摘要 · 已读正文 2603.08403v3 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:正文 v3 §3;Experiments;Appendix Tables 10–11

关联方向:XR-E

CINE · CineForge: Self-Improving Agents for Long-Horizon Video Generation
[论文] Junxiang Liu; Lin Wang; Haiyu Shi; Hongxu Ma; Xiaoyu Yang; Chunjie Chen; Xiaoxiao Xu; Kaiqiao Zhan; Boao Wang; Shuizhou Shi; Tianyun Zhu; Jie Li; Jiangtong Li
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:推理时方法次:表示 / 记忆与上下文 / 评测
具体落点typed production trajectory→跨故事 stage-local policy patch;不是 backbone 参数自训练。
生成范式离线整段生成整故事离线计划与分镜渲染;跨故事 policy 演化不是 token 自回归。
控制信号文本 / 图像 / 身份参考
目标性质因果或状态一致 / 实体一致 / 指令遵循 / 效率与延迟

任务定义

输入

[论文] 完整 story/script、生产策略与既有生产案例。

输出

[论文] 完成的长故事视频及经验证的持久 production-policy 更新。

必须保持不变的内容

[推断] 故事的事件/角色/空间约束;更新需满足回归 guards。

判断对错的方式

[论文] CineScope/public benchmarks、跨故事演化对照与 metric–human alignment。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 跨故事与 evolution rounds;CineScope 4.024→4.380;metric 校准由 10 名评审评 180 视频,每条至少 5 评分;有受条件限制的统计 lemma。

一句话 · 它在所属任务里推进了什么

[论文] 让生产轨迹形成可审核的跨任务策略更新,而非仅单次返工。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
研究问题:

[论文] 能否从多个故事生产的重复失败中获得持久、针对阶段的策略改进?

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
案例/平台:

[论文] CineScope-Data 100 scripts;AnimeShooter、ViStoryBench;长故事视频生产。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
被控制或改变的变量:

[论文] 记录 typed production trajectories;case→pattern→policy patches;通过 replay 和 paired tests 决定 persistent update。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
技术路线与 baseline 差别:

[论文] CineForge-Produce 与 CineForge-Evolve 分离;区别于只修当前视频的 test-time loop;修改 stage-local policy。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
证据能支持多强的结论:

[推断] 直接覆盖“跨故事累积改进视频生产 agent”;理论不覆盖 correlated opportunities,评分提升也不是教学效能验证。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
明示前提/设置:

[论文] outcome metric 在演化阶段冻结且不参与 discovery/admission;统计 lemma 依赖条件独立/预声明机会等条件。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
隐含假设及外推风险:

[推断] 真实学员反馈受用户能力和任务分配混淆;需要证据归因、保留旧任务和跨用户迁移,不能只把 story 改名 tutorial。

依据:CINE 正文 · §3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma
原文与核实记录

[论文] arXiv:2608.29621;
原始摘要 · 已读正文 2608.29621v1 · 原文定位入口(不分发全文副本)

库内主表 · VG19
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 Produce/Evolve;§5;Appendix human alignment、CPPE admission lemma

关联方向:XR-E

MEMFAULT · Useful Memories Become Faulty When Continuously Updated by LLMs
[论文] Dylan Zhang; Yanshan Lin; Zhengkun Wu; Yihang Sun; Bingxuan Li; Dianqi Li; Hao Peng
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务其他(LLM agent memory 更新的失败分析)
论文类型分析
贡献落点主:评测次:记忆与上下文
具体落点受控替换 consolidation schedule;用 episodic-only 对照定位 memory regression。
生成范式不适用
控制信号无
目标性质不适用更新收益、旧任务回归与记忆效用

任务定义

输入

[论文] 相同任务经验、解题轨迹、memory update schedule 与 solver。

输出

[论文] 不同记忆策略下的任务表现/回归分析。

必须保持不变的内容

[推断] 对照中的经验来源、solver 等条件;刻意改变 memory 更新方式。

判断对错的方式

[论文] 多 task streams 上准确率/成功率、保留/删除/归纳对照。

证据类型

[论文] 定量 benchmark / 消融

[论文] 多 benchmark/time-stream 实验;论文报告特定 ARC 子集上 54% 原可解题在 GT consolidation 后失败;配有 schedule/solver 控制。

一句话 · 它在所属任务里推进了什么

[论文] 将“持续记忆必然改善”的假设变成可反驳的受控问题。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
研究问题:

[论文] LLM 持续将经验压缩成抽象记忆时,为什么有用的经历会变成有害 memory?

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
案例/平台:

[论文] ALFWorld、ScienceWorld、WebShop、AppWorld、Mind2Web、ARC-AGI Stream。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
被控制或改变的变量:

[论文] 同样轨迹采用不同 consolidation schedule;可 Retain/Delete/Consolidate;对照 episodic-only 与 no-memory。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
技术路线与 baseline 差别:

[论文] 受控比较 raw episodes、一次汇总与增量改写;把退化定位到 consolidation,而不是只比较最终 agent 总分。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
证据能支持多强的结论:

[推断] 说明特定模型与任务中记忆更新能造成回归;不能概括为所有 memory 都有害,也不能推定同一比例适用于视频。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
明示前提/设置:

[论文] 研究特定 LLM、prompt、task stream 与 memory budget;ARC 子集并非总体 ARC 成功率。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
隐含假设及外推风险:

[推断] 教学经验应保留原始证据、版本与回归集合;抽象规则的可读性不能替代可迁移有效性。

依据:MEMFAULT 正文 · §3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison
原文与核实记录

[论文] arXiv:2605.12978;
原始摘要 · 已读正文 2605.12978v2 · 原文定位入口(不分发全文副本)

库内主表 · P097
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3–5 experiments;ARC-AGI Stream;Appendix controlled consolidation comparison

关联方向:XR-E

DIRECTOR · VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning
[论文] Han Lin; Abhay Zala; Jaemin Cho; Mohit Bansal
[论文] 2024 · COLM 2024;首版 2023 · 发表依据
作者出版页与论文首页

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:条件注入
具体落点显式 scene plan、entity layouts 与 consistency groups 指导 Layout2Vid。
生成范式离线整段生成先全局规划再渲染场景;scene 顺序不自动构成 causal video decoder。
控制信号文本 / 姿态或结构图 / 身份参考
目标性质实体一致 / 短时连贯 / 指令遵循

任务定义

输入

[论文] 文本请求,可选用户图像参考。

输出

[论文] 有场景布局/实体一致性的多场景视频。

必须保持不变的内容

[推断] 人物/对象 identity、跨场景 consistency groups 与指定空间动作。

判断对错的方式

[论文] 布局/方向准确率、多场景结果与 attention/layout 消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 布局/方向准确率、生成质量、多场景结果和 gated attention/布局控制消融。

一句话 · 它在所属任务里推进了什么

[论文] 在多场景中显式维护实体布局和一致性分组。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
研究问题:

[论文] LLM 能否规划视频内容及布局,使多场景生成保持实体与空间一致?

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
案例/平台:

[论文] VPEval Skill-based prompts、ActionBench-Direction、multi-scene generation。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
被控制或改变的变量:

[论文] 文本扩为 scene descriptions、entity layouts、backgrounds、consistency groups;控制 layout strength。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
技术路线与 baseline 差别:

[论文] GPT-4 Video Planner+Layout2Vid;以 image-level annotations 训练布局控制,对比 ModelScopeT2V、I2V 等。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
证据能支持多强的结论:

[推断] 支持 planning-to-rendering 控制;没有度量观众何时知道秘密,也不证明事件世界和信息揭示独立。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
明示前提/设置:

[论文] 依赖 pretrained T2V backbone;论文承认训练分布、画质和 English corpus 限制。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
隐含假设及外推风险:

[推断] scene plan 写了保密要求,pixels 仍可泄漏;语义计划满足与感知层信息控制需两种评价。

依据:DIRECTOR 正文 · §3;§4 Tables 1–2;Appendix limitations、gated attention ablation
原文与核实记录

[论文] arXiv:2309.15091;
原始摘要 · 已读正文 2309.15091v2 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4 Tables 1–2;Appendix limitations、gated attention ablation

关联方向:AIGC-C

ONE · OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory
[论文] Zhaochong An; Menglin Jia; Haonan Qiu; Zijian Zhou; Xiaoke Huang; Zhiheng Liu; Weiming Ren; Kumara Kahatapitiya; Ding Liu; Sen He; Chenyang Zhang; Tao Xiang; Fanny Yang; Serge Belongie; Tian Xie
[论文] 2026 · CVPR 2026;首版 2025 · 发表依据
正式 CVF proceedings

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:记忆与上下文次:条件注入 / 数据
具体落点历史 frame selection+importance-guided patchification,压缩 next-shot context。
生成范式因果自回归或流式shot-level autoregressive;单镜头仍调用 pretrained I2V。
控制信号文本 / 图像 / 身份参考
目标性质实体一致 / 环境记忆 / 短时连贯 / 效率与延迟

任务定义

输入

[论文] 当前 shot caption、历史镜头与可选初始图像。

输出

[论文] 自回归生成的下一镜头和多镜头视频。

必须保持不变的内容

[推断] 跨镜头再出现的人物/背景与 referential relationships。

判断对错的方式

[论文] T2MSV/I2MSV consistency/quality;selection、conditioner 和 context-budget 消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] T2MSV/I2MSV 定量与 selection/conditioner/context budget 消融;一 latent-frame 等量 context 已带来改善。

一句话 · 它在所属任务里推进了什么

[论文] 将多镜头历史的选择与空间 token 分配联合用于生成。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
研究问题:

[论文] 多镜头叙事怎样压缩长期历史,同时保留新镜头需要的实体与环境上下文?

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
案例/平台:

[论文] 60K multi-shot dataset;T2MSV/I2MSV benchmarks;reappearance/composition 等模式。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
被控制或改变的变量:

[论文] 从先前镜头选 informative frames,importance-guided patchification 后作为 next-shot 条件。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
技术路线与 baseline 差别:

[论文] Frame Selection+Adaptive Conditioner,将 MSV 改写为 autoregressive next-shot generation;相较单 keyframe/有限历史窗口引入 compact global memory。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
证据能支持多强的结论:

[推断] 支持跨镜头外观/叙事一致性及高效 context;未提供观众知识状态或提前泄密指标。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
明示前提/设置:

[论文] 以 pretrained I2V(Wan2.1)微调;参考来自历史镜头,caption 带 referential relations。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
隐含假设及外推风险:

[推断] 模型用于角色辨识的内部完整信息不应全部暴露给观众;需区别“生成器知道”与“画面允许显示”。

依据:ONE 正文 · §3;§4 Tables 1–2;Appendix benchmark patterns
原文与核实记录

[论文] arXiv:2512.07802;
原始摘要 · 已读正文 2512.07802v1 · 原文定位入口(不分发全文副本)

库内主表 · P133
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4 Tables 1–2;Appendix benchmark patterns

关联方向:AIGC-C

VIS · VIS-Ground: Video Interactive Storytelling with Contextual Grounding
[论文] Bingxuan Li; Yiwen Song; Xueqing Wu; Yanzhou Pan; Yang Li; Kuang Su; Jingyun Liu; Sebastian Ko; Huan Zhang; Tong Zhang; Nanyun Peng; Tomas Pfister; Yale Song
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:推理时方法 / 评测
具体落点source/prefix/intent→evidence-linked dependencies→可执行 generation constraints。
生成范式离线整段生成论文评估从 prefix 生成 48 秒 continuation;交互续写不是低延迟 streaming 证明。
控制信号文本 / 图像 / 身份参考
目标性质因果或状态一致 / 实体一致 / 指令遵循

任务定义

输入

[论文] 外部 narrative/knowledge source、已播视频 prefix、新 viewer request 与 references。

输出

[论文] 满足多源约束的多镜头 continuation。

必须保持不变的内容

[推断] source 支持的事实及已建立 history;只在相容范围内响应新请求。

判断对错的方式

[论文] source faithfulness、continuity、interaction fulfillment 与 visual metrics;pilot 单列。

证据类型

[论文] 定量 benchmark / user study

[论文] VIS-Bench 从 250 passages 构造 1004 interventions、2008 planned instruction–style instances;三个 backbone 的 composite 提升;pilot 招 9 人,learning gain 仅 7 人,experience ratings 4 人。数据打包前审计 information leakage。

一句话 · 它在所属任务里推进了什么

[论文] 显式建模只有 source、history、intent 联合考虑才出现的依赖。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
研究问题:

[论文] 观众在已生成视频中提出新要求时,如何联合 source、rendered history 和 intent 得到可执行约束?

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
案例/平台:

[论文] narrative/knowledge grounded interactive continuation;三个 video backbones;小规模教育 pilot。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
被控制或改变的变量:

[论文] 输入异质 source、已播 prefix 与新 request;抽取 state/dependencies,投影 candidate-specific constraints 后生成/验证/修订。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
技术路线与 baseline 差别:

[论文] Structured Context Abstraction→Generation Constraints Induction→Constrained Video Generation;约束保留 predicates/evidence 链接,输出 pass/fail/unknown 并指导定点修订;baseline 为共享 renderer 下的适配版。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
证据能支持多强的结论:

[推断] 已覆盖可追溯约束和 unknown evidence 的宽主张;benchmark 审计泄漏不等于测试观众秘密揭示时间。比较的是适配 baseline,pilot 不足以确立通用教学效果。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
明示前提/设置:

[论文] 依赖 source 与 prefix 可用及 dependency extraction;原文承认抽取和 rendering faithful realization 尚有困难。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
隐含假设及外推风险:

[推断] 任务要求 continuation 不违背 source 和 established history;当外部反证说明旧 history 所依据的推断本来错误时,需要决定哪些依赖撤销,而不仅验证新脚本兼容性。是否可直接扩展到此协议仍待实测。

依据:VIS 正文 · §3;§4;Appendix E baseline adaptation、F pilot denominators
原文与核实记录

[论文] arXiv:2610.09326;
原始摘要 · 已读正文 2610.09326v2 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4;Appendix E baseline adaptation、F pilot denominators

关联方向:XR-S · AIGC-B · AIGC-C

GRID · Multi-Grid Post-Training for Long-Form Multi-Shot Video Generation
[论文] Jiawei Mao; Haoqin Tu; Hardy Chen; Yuhan Wang; Keyang Xu; Jieru Mei; Hongliang Fei; Ruogu Fang; Wei Shao; Cihang Xie; Yuyin Zhou
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务长视频与多镜头叙事
论文类型方法
贡献落点主:表示次:架构与生成范式 / 训练信号 / 数据
具体落点把有序 video chunks 空间 grid 化联合去噪;random clean-grid context 与 boundary loss。
生成范式离线整段生成主要比较 joint multi-grid generation;支持多轮扩展不改变本表主范式。
控制信号文本 / 图像
目标性质实体一致 / 短时连贯 / 指令遵循 / 效率与延迟

任务定义

输入

[论文] character-aware story prompt 与可保留的 clean grid chunks。

输出

[论文] 跨网格联合生成后还原顺序的长视频。

必须保持不变的内容

[推断] 事件顺序、跨 chunk 角色身份与网格布局边界。

判断对错的方式

[论文] 相同 token budget 下镜头覆盖、intra/inter-shot consistency、画质和消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 同 token budget、1616-frame 条件下 shots 数为 Temporal Packing 的 6.05 倍;intra/inter-shot 一致性和模块消融。

一句话 · 它在所属任务里推进了什么

[论文] 通过空间网格分摊时间轴负担并允许 chunks 全局交换信息。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
研究问题:

[论文] 单时间轴 packing 难表现完整镜头集合时,怎样在同预算下生成更长的多镜头叙事?

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
案例/平台:

[论文] MovieGrid;由 1000 长视频生成 54K grid videos;89 stories、五种视觉类别的 benchmark。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
被控制或改变的变量:

[论文] 把时间有序 chunks 放入空间 grid,保留随机 subset 作为 clean context;控制 grid embedding/boundary loss。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
技术路线与 baseline 差别:

[论文] Multi-Grid Post-Training+Noise-Free Random-Grid Training;与 Temporal Packing 及多镜头模型比较。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
证据能支持多强的结论:

[推断] 支持表示/训练方式改善长镜头覆盖;镜头数和身份一致性并不测故事信息是否提前泄露。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
明示前提/设置:

[论文] 训练以固定间隔 chunk 组织,不要求 chunk 与物理 shot 一一对应;使用自动视觉指标。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
隐含假设及外推风险:

[推断] 全局交换信息有利于一致性,却可能增加未来事实对早期画面的泄漏;这种风险需要显式信息边界测试。

依据:GRID 正文 · §3;§4 Table 1;Appendix A story-level benchmark
原文与核实记录

[论文] arXiv:2609.06373;
原始摘要 · 已读正文 2609.06373v1 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4 Table 1;Appendix A story-level benchmark

关联方向:AIGC-C

DRAM · Dramatis: A Computational Model of Suspense
[论文] Brian O’Neill; Mark Riedl
[论文] 2014 · AAAI 2014;首版 2014 · 发表依据
正式 proceedings / DOI

[推断] 任务分类

任务其他(计算叙事中的 suspense 建模)
论文类型方法
贡献落点主:表示次:评测
具体落点STRIPS time-slices+reader memory activation+escape-plan cost 表示 suspense。
生成范式不适用
控制信号无
目标性质不适用认知模型与人类体验的对应

任务定义

输入

[论文] 符号叙事、角色/动作 effects 与典型情境 scripts。

输出

[论文] 随故事推进的 suspense curve。

必须保持不变的内容

[推断] 输入叙事事实;建模读者状态,而非生成或编辑画面。

判断对错的方式

[论文] 三对故事的 curve-area 排序与 32 人主观 suspense、memory/goal 消融。

证据类型

[论文] user study / 消融

[论文] 32 名参与者评三对故事;模型曲线面积与人类故事排序比较;memory 与 goal 构造消融。

一句话 · 它在所属任务里推进了什么

[论文] 把读者的记忆可及性和可行脱困计划显式用于 suspense 计算。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
研究问题:

[论文] 能否从叙事结构计算接近人类读者体验的 suspense?

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
案例/平台:

[论文] Casino Royale、Rear Window、Harry Potter 场景的三对文本故事。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
被控制或改变的变量:

[论文] 删改/重排事件、提前引入解决方案;改变 MEI-P memory model 与 planning goal 选择。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
技术路线与 baseline 差别:

[论文] 以 STRIPS time-slices、reader memory activation 和最可能 escape plan 的成本计算 suspense;不同于穷举全部成功/失败路径。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
证据能支持多强的结论:

[推断] 支持三个受控故事上的认知模型对应关系;不是自动视频生成系统,也不是所有观众的心理定律。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
明示前提/设置:

[论文] 符号动作、preconditions/effects 与 scripts 可用;假设更易从记忆提取的行动被视为更可能成功。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
隐含假设及外推风险:

[推断] 真实观众可自行看向未规划线索;符号 time-slice 无法独自保证 XR 画面的信息边界。

依据:DRAM 正文 · AAAI PDF pp.2–5:Dramatis、Evaluations 1–3
原文与核实记录

[论文] DOI:10.1609/aaai.v28i1.8836
原始摘要 · 已读正文 正式 proceedings PDF · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:AAAI PDF pp.2–5:Dramatis、Evaluations 1–3

关联方向:AIGC-C

SUSP · Creating Suspenseful Stories: Iterative Planning with Large Language Models
[论文] Kaige Xie; Mark Riedl
[论文] 2024 · EACL 2024;首版 2024 · 发表依据
正式 ACL Anthology

[推断] 任务分类

任务其他(LLM 文本悬疑故事生成)
论文类型方法
贡献落点主:推理时方法
具体落点迭代规划 protagonist action/阻碍,再展开章节;操纵线索与信息揭示时机。
生成范式不适用
控制信号文本
目标性质不适用suspense、享受度与叙事逻辑;不强映射为视频性质

任务定义

输入

[论文] protagonist、目标、失败后果等故事设定。

输出

[论文] 悬疑故事文本与迭代大纲。

必须保持不变的内容

[推断] 角色目标与故事背景;实验比较控制共同背景。

判断对错的方式

[论文] 人评 suspense/novelty/enjoyment/logical sense;揭示时机与 clue setup 对照。

证据类型

[论文] user study / 消融

[论文] 主比较 90 人评 30 对故事;revelation timing 另招 90 人评 30 对,事前 42.1% 对事后 36.3%,差异不显著;clue setup 效果显著。

一句话 · 它在所属任务里推进了什么

[论文] 把 suspense 理论落实为 LLM planning,并区分线索、揭示时机与 empathy 的影响。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
研究问题:

[论文] 如何用 LLM 生成具有 suspense 的故事,而不仅依赖一句“写悬疑故事”?

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
案例/平台:

[论文] English thriller text generation;Prolific human evaluation。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
被控制或改变的变量:

[论文] 建立 protagonist/goal/dire outcome;迭代生成行动与失败原因;改变 clue setup 和 information revelation timing。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
技术路线与 baseline 差别:

[论文] 理论驱动 iterative prompting:计划脱困后设置阻碍,最后展开章节;对比直接 prompt、Llama 2、Re3 及规划/展开消融。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
证据能支持多强的结论:

[推断] 信息揭示时间已被明确操纵;不能把不显著结果写成“提前揭示更有效”,也不能把文本实验外推为视频信息控制已解决。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
明示前提/设置:

[论文] 仅英语;理论基于 Western storytelling tradition;人评关注读者体验。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
隐含假设及外推风险:

[推断] 文本由明确语句揭示,视频还会通过背景、视角和反射泄漏;C 的增量须落在这些可测的感知信息约束。

依据:SUSP 正文 · §3;§4.1–4.4,Information revelation timing;Limitations
原文与核实记录

[论文] arXiv:2402.17119;
原始摘要 · 已读正文 2402.17119v1 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3;§4.1–4.4,Information revelation timing;Limitations

关联方向:AIGC-C

CONTROL · Adding Conditional Control to Text-to-Image Diffusion Models
[论文] Lvmin Zhang; Anyi Rao; Maneesh Agrawala
[论文] 2023 · ICCV 2023;首版 2023 · 发表依据
正式 CVF proceedings

[推断] 任务分类

任务其他(图像条件生成;非视频 ControlNet)
论文类型方法
贡献落点主:条件注入次:架构与生成范式
具体落点冻结 diffusion backbone,用 zero-conv 接入可训练空间条件分支。
生成范式不适用图像任务,视频生成范式不适用。
控制信号文本 / 图像 / 姿态或结构图
目标性质画质 / 指令遵循

任务定义

输入

[论文] 文本及 edge/depth/segmentation/pose 等条件图。

输出

[论文] 符合空间条件的图像。

必须保持不变的内容

[推断] 给定空间布局/姿态约束;不要求保留某个源视频的全部像素。

判断对错的方式

[论文] 多条件实验、模块消融和 12 人草图生成偏好。

证据类型

[论文] 定量 benchmark / 消融 / user study

[论文] 多类条件实验、组件消融;user study 邀 12 人比较 20 sketches×5 methods。

一句话 · 它在所属任务里推进了什么

[论文] 以稳定初始化的可训练分支接入多种空间约束。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
研究问题:

[论文] 如何给大型 pretrained image diffusion 加入空间控制,而不破坏原有生成能力?

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
案例/平台:

[论文] Stable Diffusion;edge、depth、segmentation、human pose 等图像条件。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
被控制或改变的变量:

[论文] 单/多 spatial conditions,可有/无 text prompt;控制信号与可训练分支。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
技术路线与 baseline 差别:

[论文] 冻结 backbone、复制可训练 encoder,用 zero convolutions 连接;对比 sketch-guided diffusion、PITI、ControlNet-lite。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
证据能支持多强的结论:

[推断] 支持 spatial conditioning 的架构方法;不决定何时索取条件、哪种条件最小充分,更不是视频因果控制证明。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
明示前提/设置:

[论文] 有 paired condition/image training examples;论文实验为图像。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
隐含假设及外推风险:

[推断] 控制带宽高不等于信息必要性;D 需要依据目标选择条件,而不是固定让用户提供全部信号。

依据:CONTROL 正文 · §3 ControlNet;§4 User Study、ablation
原文与核实记录

[论文] arXiv:2302.05543;
原始摘要 · 已读正文 2302.05543v3 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 ControlNet;§4 User Study、ablation

关联方向:AIGC-D

SKETCH · SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation
[论文] Boyu Li; Lin-Ping Yuan; Zeyu Wang; Hongbo Fu
[论文] 2026 · CHI 2026;首版 2026 · 发表依据
作者保存的正式论文,DOI 10.1145/3772318.3791071;已补核 conditional 标签

[推断] 任务分类

任务条件控制生成
论文类型方法
贡献落点主:推理时方法次:表示
具体落点草图→VLM 意图解释/澄清→Manim 动画代码;不是新增 diffusion backbone。
生成范式离线整段生成解释并生成代码后离线渲染数十秒动画;不是少步视频 diffusion。
控制信号文本 / 图像 / 姿态或结构图
目标性质指令遵循

任务定义

输入

[论文] 自由 storyboard sketches、文字补充、澄清回答及素材。

输出

[论文] motion graphics 动画,可迭代修改。

必须保持不变的内容

[推断] 用户确认的动态意图;草图不要求逐像素照搬。

判断对错的方式

[论文] 三阶段 24 人研究的任务观察、问卷和访谈;跨 3D/video 主要为展示。

证据类型

[论文] user study / 定性展示

[论文] 24 人三阶段设计研究,定性观察/问卷;主体为短 storyboard 和数十秒 motion graphics。

一句话 · 它在所属任务里推进了什么

[论文] 将草图歧义视作可共同解释的设计空间,而非强制消除为固定命令。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
研究问题:

[论文] 自由草图如何表达 dynamic intent,并通过人与 VLM 的共同澄清变成动画?

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
案例/平台:

[论文] Sketch storyboard→motion graphics;三阶段研究共 24 人;Manim 2D vector animations。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
被控制或改变的变量:

[论文] 用户画自由草图、回应 interpretation clarification、迭代修改;少量 3D/video applicability 展示。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
技术路线与 baseline 差别:

[论文] VLM 将草图解释为可执行动画代码,界面允许澄清与 refinement;区别于固定 command brushes 的强约束符号。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
证据能支持多强的结论:

[推断] 支持自由草图中的歧义及协同解释价值;不能据此声称对长视频所有控制量达到最少用户输入。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
明示前提/设置:

[论文] 参与者多为有相关背景的大学生;渲染需秒级;受 Manim 表达范围限制。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
隐含假设及外推风险:

[推断] 草图表达了什么、用户本来想要什么、生成器执行了什么必须分别记录;否则低保真易被错判为意图缺失。

依据:SKETCH 正文 · System;Three-stage study;§Limitations;正式 CHI DOI 补核
原文与核实记录

[论文] arXiv:2601.20622;DOI:10.1145/3772318.3791071
原始摘要 · 已读正文 2601.20622v1 · 原文定位入口(不分发全文副本)

本次库外新找到 · 对照旧 topics 主表与补充 JSON,未发现相同 ID/完整题名
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:System;Three-stage study;§Limitations;正式 CHI DOI 补核

关联方向:AIGC-D

COG · CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition
[论文] Hongji Yang; Songlian Li; Yucheng Zhou; Xiaotong Zhao; Alan Zhao; Chengzhong Xu; Jianbing Shen
[论文] 2026 · arXiv 预印本;[待核] 本次未核实正式 venue;首版 2026 · 发表依据
预印本已核;不据此断言尚未录用

[推断] 任务分类

任务条件控制生成
论文类型方法
贡献落点主:条件注入次:训练信号 / 表示 / 推理时方法 / 评测
具体落点CogOmniDiT 融合 pixel conditions 与 CogVLM semantic features;RL 对齐并 Best-of-N。
生成范式离线整段生成按制作请求生成视频片段;Best-of-N 是采样策略,不是实时范式。
控制信号文本 / 图像 / 姿态或结构图
目标性质指令遵循 / 实体一致 / 短时连贯 / 画质

任务定义

输入

[论文] 专业 storyboard sketches/clay renders、文字等稀疏制作条件。

输出

[论文] 遵循 creative intent 的视频。

必须保持不变的内容

[推断] 条件规定的构图、动作与专业意图;不必复制输入草图的渲染外观。

判断对错的方式

[论文] CogReasonBench/CogControlBench 与 reasoning/控制/selection 消融。

证据类型

[论文] 定量 benchmark / 消融

[论文] 两个 benchmark、reasoning/控制/selection 组件比较;数据来自真实制作流程并经人工语义对齐。

一句话 · 它在所属任务里推进了什么

[论文] 把专门 creative-intent cognition 与生成 backbone 对齐,而非只附加原始条件。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
研究问题:

[论文] 抽象、稀疏、专业制作条件下,如何识别 creative intent 并忠实生成视频?

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
案例/平台:

[论文] anime production storyboards/clay renders;CogReasonBench、CogControlBench(200 representative high-resolution samples)。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
被控制或改变的变量:

[论文] 输入草图/制作条件;CogVLM 转成 dense reasoning 与语义特征,和 pixel conditions 一同控制生成。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
技术路线与 baseline 差别:

[论文] 专业数据训练 CogVLM+CogOmniDiT in-context fusion+RL alignment+adaptive evaluator Best-of-N;对比通用 VLM/adapter 控制。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
证据能支持多强的结论:

[推断] 支持专业意图理解与内部融合;“把 sparse cue 解释得更密”不证明补出的信息来自真实用户或达到最小充分性。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
明示前提/设置:

[论文] 专业训练/评价分布;reasoning data 含教师生成并经人工核查;依赖 aligned condition-target pairs。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
隐含假设及外推风险:

[推断] 一个稀疏草图可有多个合法意图,强先验可能替用户作决定;应把需要澄清的多解性与可执行控制区分。

依据:COG 正文 · §3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments
原文与核实记录

[论文] arXiv:2605.19995;
原始摘要 · 已读正文 2605.19995v1 · 原文定位入口(不分发全文副本)

既有补充参考 · 旧 topics 数据已有,未列入 papers.json 主表
已打开摘要;正文重点核对方法、实验、消融和前提,非逐字全文复核;2026-10-14
[论文] 定位:§3 CogVLM/CogOmniDiT;§4 Benchmark construction、Experiments

关联方向:AIGC-D

近期补充阅读与发表状态

补充卡按摘要/项目页记录;已有全文拆解保留原阅读日期。排序与方向迁移属于 [推断]。正式发表包含会议归属已确认的工作,具体核实源逐篇提供。

下载本次补充阅读 CSV

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2511.08971

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 未核实/未找到

已有全文拆解 →

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2602.13433

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

ICML 2026 · 已发表/已确认会议归属

SC²-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments

论文明确内容 利用 world-model foresight 产生内部反馈,修订执行前计划;必要时选择性进行 test-time 模型适应。

与本方向的距离 [推断] 直接涉及 state-level 与 model-level correction,但任务是导航;内部反馈不等于外来反证,输出也不是教程视频。

发表依据 · 核对记录

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

CVPR 2026 · 已发表/已确认会议归属

Spatia: Video Generation with Updatable Spatial Memory

论文明确内容 以可更新空间记忆支持视频生成,利用生成片段和视觉 SLAM 更新空间表示。

与本方向的距离 [推断] 很适合研究记忆到视频的执行接口;空间更新本身不建立外部证据推翻旧信念的选择性撤销。

发表依据 · 核对记录

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2512.15716

ICLR 2026 · 已发表/已确认会议归属

Composition of Memory Experts for Diffusion World Models

论文明确内容 组合短期、长期与空间记忆专家;长期专家通过轻量 test-time finetuning 将历史保留在外部 diffusion 权重中。

与本方向的距离 [推断] 解决历史保持与一致性;未据此建立冲突证据的来源裁决与依赖撤销。

发表依据 · 核对记录

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2602.07055

ECCV 2026 · 已发表/已确认会议归属

VOID: Video Object and Interaction Deletion

论文明确内容 以 Kubric/HUMOTO 配对反事实数据训练;识别删除对象后受影响区域,并重生成下游交互。

与本方向的距离 [推断] 最直接的选择性视频后果编辑先例;主要是删除,不能外推为任意动作或未知机制修改。

发表依据 · 核对记录

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2604.02296

已有全文拆解 →

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2509.24798

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

arXiv 2026 · 预印本;正式 venue 未核实

Geometry-Instructed Video Editing

论文明确内容 用编辑前后几何条件和配对数据控制视频对象变换,包含阴影、反射等次生效果。

与本方向的距离 [推断] 与选择性执行直接接近;给定几何的控制不等于自行推断未知机制的全部后果。

发表依据 · 核对记录

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2606.24225

已有全文拆解 →

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 未核实/未找到

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2510.04618

ICML 2026 · 已发表/已确认会议归属

Meta Context Engineering via Agentic Skill Evolution

论文明确内容 联合演化 context-engineering skills 和 context artifacts,在五类领域的离线、在线设置中评价。

与本方向的距离 [推断] 比仅记录成功提示更接近策略演化;多领域实验不能直接解释成跨领域无遗忘迁移。

发表依据 · 核对记录

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2601.21557

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2601.22528

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2506.06658

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2511.23002

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2510.15831

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2505.22954

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2608.29621

已有全文拆解 →

核对:摘要/作者项目页与发表信息;不冒充本轮阅读全文 · 2026-10-15 · arXiv: 2609.24955

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2606.16449

已有全文拆解 →

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2402.17119

已有全文拆解 →

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2610.09326

已有全文拆解 →

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2512.07802

已有全文拆解 →

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2606.26907

已有全文拆解 →

arXiv 2026 · 预印本;正式 venue 未核实

VideoGen-Agent: Reinforcing Video Generation Agents

论文明确内容 以 SFT 和 agentic RL 学习信息补充、视频生成与验证工具的使用。

与本方向的距离 [推断] 最直接的视频 agent 基线;选择工具不等于证明最少充分控制,也不保证每条条件被生成器执行。

发表依据 · 核对记录

核对:本轮摘要与发表信息复核;既有全文拆解另列,阅读日期与版本保留 · 2026-10-15 · arXiv: 2609.24997

已有全文拆解 →

检索账本与保留缺口

[推断] 检索使用公开 web search、arXiv 原始摘要/HTML、CVF、ICLR/NeurIPS proceedings、ACL Anthology、AAAI、作者正式版本。第三方聚合站只作线索,不作为技术结论的证据。以下按查询主题合并记录,不冒充系统综述的全量 PRISMA 流程。

范围实际查询/获取方式结果状态
页面与库内基线soniasuns.github.io/topics/data/{xr,aigc}-directions.json;papers.json 与既有补充 JSON线上 4 XR+4 AIGC 定义已重新获取;旧库 451 篇作为“库内”基线。范围记录
procedure/stateProcedure Planning Instructional Videos;SCHEMA;What Changed and What Could Have Changed;Video-as-AnswerPROC 为库外早期代表;SCHEMA/STATE/VANS 任务类型分开;VANS 补核 CVPR 2026。纳入
物理/反事实counterfactual video generation 2026 September October;VOID;GIVE;VideoPhysEdit;Generative Omnimatte纳入 object effects→dynamic consequences 及 geometry/physics 两条分支;不把所有 counterfactual 都视为 SCM 个体反事实。纳入
反事实术语的相邻用法Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation已打开 arXiv:2609.38172 摘要;PRISM 用 V2V 扩增 human-object interaction 数据并训练机器人。保留为应用邻居,未进入 38 篇精读卡:不是本表“固定同一历史的后果选择性”主问题。
已打开摘要
边界候选
memory revisionvideo generation belief revision counter evidence;PermaVid;Weave Forcing;video memory contradictory generationPermaVid、Weave Forcing 为主表/既有补充之外的新近邻;PermaVid 改变 B/S 新颖性边界。纳入
持续改进self improving video generation CineForge;VideoAgent Self-Improving;SPIRALVideoAgent/SPIRAL 库外纳入;与已有 CineForge/MEMFAULT 联合,区分 inference repair、parameter update、persistent policy。纳入
主动获取Robots That Ask For Help;Learning to Clarify Action Based;GPS Graph-guided Proactive Information Seeking纳入 KnowNo、ACT、GPS。GPS 的正式 proceedings/PDF 可访问;OpenReview 的一个 PDF 入口遇到浏览器验证,改用 proceedings。arXiv/DOI 未找到。纳入/标识缺口
视觉主动探索Interactive Visual Reasoning;Generative World Explorer;See Remember Explore三者分别为实验、想象和 streaming observation;未混算为真实主动感知证据。纳入
生成上下文/控制video generation active clarification context;Qwen-Image-Agent;VideoGen-Agent;SketchDynamics;CogOmniControl纳入 image/video/HCI 三类近邻并注明输出域;SketchDynamics 从 arXiv conditional 标签补核正式 CHI DOI。纳入
AIGC-C 库外反证检索computational narrative suspense generation reader knowledge planning information disclosure;Creating Suspenseful StoriesDramatis 与 SUSP 实际打开正文;找到 revelation timing 的直接人类实验,推翻“时间分离本身是新问题”的宽主张。纳入
AIGC-C 同题近期补查2025 2026 story generation "information revelation";2025 2026 suspense generation reader knowledge narrative planning;2025 video generation reveal narrative在本次检索范围内未找到第三篇 2024–2026、直接测试 revelation timing 且已打开原文的代表作。普通 story planning、SeqBench、NarrLV 搜索命中未用来填 L9 缺额。未找到/不凑数
venue 核实WorldMem NeurIPS/ICCV;OneStory CVPR;StreamingT2V CVPR;VANS CVPR;VideoDirectorGPT COLM;Voyager TMLR优先正式 proceedings。WorldMem 为 NeurIPS 2025;VIDEODIRECTORGPT 为 COLM 2024;VideoAgent 仅保留预印本,不将 ICLR under review 当录用。书目更正

[待核] L9 当前只有 2 篇核实的直接代表作,第三篇写为未找到;其余 9 条脉络各 3–6 篇。GPS 缺 arXiv/DOI 但有正式 proceedings。未核的人评人数未补造,预印本未冒记为已录用。

[推断] 审读时重点纠正了五类混淆:表征学习≠视频生成;视觉合理≠个体反事实真值;history consistency≠证据有效性;当前修补≠跨任务学习;镜头顺序≠观众知识。以上是本轮分析自检,未声称经过独立专家审稿。 STATE · VOID · PERMA · CINE · SUSP