← Topics · 首页

VIDEO GENERATION · RESEARCH MAP · 2026-10-14

视频生成：任务结构与选择性修改

当一个前提、事件或观察改变时，推断哪些内容必须改变、哪些应当保持，再让视频生成执行。

已完成论文池、taxonomy、逐篇标注与综合定位。论文事实链接到原文；分类解释与研究建议标 [推断]。

75篇已标注
75 / 75全文已获取
3篇主任务不确定
15个题的定位与邻居
逐篇标注 · CSV分类标准 · Markdown任务 × 贡献矩阵完整综合与15题定位57个空格/稀疏格审查来源明细全文核验清单

综合：任务结构与研究定位

[推断] 你的核心不是再加一种控制输入，而是建立一个可检验的“修改契约”：当前提/事件/观察改变时，推断必要改变集、应保持集和无法确定集，再由生成器执行，并验证两类约束都满足。它最自然落在编辑×训练信号，以及世界模型×记忆；数据与评测是实现该契约的必要支撑。

本池75篇全文均已取得并核对任务/方法/实验的相关片段（73篇HTML、2篇PDF），并非75篇逐行通读。事实字段给出正文/补充定位；归类、矩阵解释、差距及实验建议均为[推断]。三组GitHub配额和会议年份分层保持第一步不变。

计数：72篇主任务确定，3篇不确定；其他0/75＝0%，不确定3/75＝4%。64方法、6基准、4数据集、1分析、0综述。证据类型可重叠：74篇有定量评测（包含自建测试集，不全是独立公共benchmark）、67篇有消融、41篇有人类评价。人类评价包含生成偏好、指标校准与caption评价，不能直接相加参与者数或视为同一强度证据。

1 · 输入变化前提、事件、观测
明确是哪种变化
2 · 推断影响必须改变 / 必须保持
保留未确定部分
3 · 受约束生成执行后果传播
限制无关改动
4 · 验证与修复查遗漏与过度修改
避免约束回退

优先主线 [推断]：题3 · 事件编辑 或 题6 · 矛盾观察后的记忆修订。题4/7/11可把主线缩成可验证的具体实验。

选择性修改需要怎样的评测

[推断] 对干预前后状态定义三集合：必须改变、必须保持、未确定。像素变化范围不等于因果影响范围：相机/遮挡/光照变化可能让未变对象的像素改变；同一外观也可能隐藏错误状态。对可控模拟场景，用同初始状态和共享外生随机源构造成组干预；在真实视频上用独立人工/规则审计补充，不能把模拟ground truth当真实世界识别保证。

[推断] 最小结果面板应同时报告：编辑请求成功率、必要后果召回、无关内容破坏率、已满足约束回退率、长程旧状态复发率，以及预算/响应延迟。先按未见事件组合、未见对象机制、未见相机/背景拆测试，再做总平均。verifier与训练reward应有独立验证，防止只学会高分。

已有强邻居必须作为基线：P018 · TrajectoryMover: Generative Movement of Object Trajectories in Videos；P049 · ActionSplice: In-Flight Action Editing for Interactive World Models；P074 · PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory。P018允许接触引起运动改变；P049明确不保证后续解码前缀完全相同；P074根据已知编辑类型更新记忆。因此不能将它们概括成“只做外观、完全不管后果”。

建议的研究收敛顺序

[推断] 先以题3为主线，选题7的机构变化或一个更简单的可模拟交互作任务实例；题4提供修复执行器，题11提供保持/后果验证。若你更想研究memory而非编辑训练，题6是另一条清晰主线。题1/9/10/15宜作为支撑模块，不宜一开始同时推进。

[推断] 题5、12、13、15单独表述与池内工作重叠很强，需要先写出比邻居更窄且可证伪的差异。题2更偏叙事与观察者知识，具有相邻但不同的任务契约。以下15题定位均是研究建议，不是已被论文验证的结果。

逐任务阅读：定义、落点、证据、未解问题

文本或图像生成视频

[推断] 本文采用的标准定义：输入文本/初图，输出语义相符的视频；一般没有指定源视频的局部不变式。 本池落点：训练信号14/23，尤其蒸馏、偏好/RL和reward；架构3篇，评测/数据/推理各2篇。 证据主要是VBench等自动分数、reward/训练消融及人工偏好。 本池该任务23篇，定量23、消融18、人类评价19（可重叠，含自建评测集）。核心未解问题：高质量或高总分能否保证短暂必要事件和正确后果仍未解决；DOLLAR明确展示自动分数与人评错位，DenseDPO则诊断低运动偏好。 依据：P024 · DOLLAR: Few-Step Video Generation via Distillation and Latent Reward Optimization；P032 · Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation；P072 · DenseDPO: Fine-Grained Temporal Preference Optimization for Video Diffusion Models。

条件控制生成

[推断] 本文采用的标准定义：给定可独立操控的姿态、相机、轨迹、音频、身份或事件时间等信号，输出符合约束的视频。 本池落点：条件注入8/14，表示2篇、训练信号2篇，架构和推理各1篇。 证据主要是控制误差、参考fidelity、通用画质、组件消融和人工偏好。 本池该任务14篇，定量14、消融14、人类评价9（可重叠，含自建评测集）。核心未解问题：信号足够、互相相容且能表达后果，常由用户先保证；控制到位不能证明必要后果正确或无关内容保持。 依据：P005 · MotionCtrl: A Unified and Flexible Motion Controller for Video Generation；P012 · MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent；P056 · Mind the Time: Temporally-Controlled Multi-Event Video Generation。

编辑与修改

[推断] 本文采用的标准定义：给定源视频/已有世界与编辑请求，改变目标内容，同时保留任务规定的源信息；保持对象必须具体到身份、运动、背景或有效记忆。 本池落点：条件注入3/10、数据3/10；表示、架构、训练信号、记忆各1篇。 证据主要是编辑集上的遵循/相似性、运动/背景指标，消融及部分人工比较。 本池该任务10篇，定量9、消融10、人类评价5（可重叠，含自建评测集）。核心未解问题：“改哪些”多由mask、任务类型或已知编辑范围给出；P018已允许新接触改变原运动，P074已选择性更新记忆，因此剩余问题应收窄到影响范围未知、必要后果可组合且保持可验证。 依据：P018 · TrajectoryMover: Generative Movement of Object Trajectories in Videos；P059 · VideoCoF: Unified Video Editing with Temporal Reasoner；P074 · PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory。

长视频与多镜头叙事

[推断] 本文采用的标准定义：跨长时间或多镜头生成，要求后续prompt/镜头与历史实体、叙事连续；与短片AR和环境动作预测分开。 本池落点：3篇各落架构、记忆、评测；这个小样本不足以估计全领域主流。 证据主要是VBench-Long/InterVBench的长片统计、prompt对齐、实体judge与人工校准。 本池该任务3篇，定量3、消融2、人类评价2（可重叠，含自建评测集）。核心未解问题：身份保持和因果状态保持仍是不同目标；相似外观可能掩盖物品无因复原、信息提前泄露或旧事件被遗忘。 依据：P053 · WorldAttention: An Efficient Attention Architecture for Interactive Video World Models；P069 · LongLive: Real-time Interactive Long Video Generation；P075 · EntityBench: Towards Entity-Consistent Long-Range Multi-Shot Video Generation。

动作条件的预测与交互世界模型

[推断] 本文采用的标准定义：输入视觉历史与动作，输出未来观察或交互rollout；若还训练agent，需区分视频预测误差与真实控制成功。 本池落点：架构5/16、训练信号5/16，表示/条件/记忆各2篇。 证据主要是动作控制误差、rollout保真、游戏/机器人回报、重访测试和受控消融。 本池该任务16篇，定量16、消融16、人类评价3（可重叠，含自建评测集）。核心未解问题：动作或外部观察改变后，哪些历史假设失效、哪些事实仍有效，尚缺统一协议；实时FPS也不能替代中断响应延迟。 依据：P043 · AdaWorld: Learning Adaptable World Models with Latent Actions；P048 · Training Agents Inside of Scalable World Models；P049 · ActionSplice: In-Flight Action Editing for Interactive World Models；P050 · Echo-Memory: A Controlled Study of Memory in Action World Models。

3D/4D 一致生成

[推断] 本文采用的标准定义：从有限观察生成相机控制的多视图/视频，共享几何世界并在重访时一致；输出不必为显式3D资产。 本池落点：记忆2/3、评测1/3；Gen3C的3D cache还列次表示。 证据主要是新视角重建与相机误差、循环轨迹和WorldScore；部分人类质量校准。 本池该任务3篇，定量3、消融2、人类评价1（可重叠，含自建评测集）。核心未解问题：VMem明确承认循环轨迹较简单，纹理相似指标不能充分证明真实多视图一致；动态结构变更后几何与外观记忆如何分开失效也未被这3篇覆盖。 依据：P015 · GEN3C: 3D-Informed World-Consistent Video Generation with Precise Camera Control；P062 · VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory；P063 · WorldScore: A Unified Evaluation Benchmark for World Generation。

视频作为推理或回答

[推断] 本文采用的标准定义：生成视频承担回答或解题过程，而不只是按描述呈现画面；正确性由问题语义、目标和合法中间状态决定。 本池落点：训练信号2/3、评测1/3，集中在可验证reward与问题型benchmark。 证据主要是受限规则任务成功率、OOD、reward/训练消融；开放用户意图依赖judge。 本池该任务3篇，定量3、消融2、人类评价0（可重叠，含自建评测集）。核心未解问题：可解析迷宫/棋盘验证难直接迁移到开放世界；外观逼真不等于回答正确，通用judge还需校准和对抗错误测试。 依据：P030 · Respond Beyond Language: A Benchmark for Video Generation in Response to Realistic User Intents；P034 · Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning；P036 · Video Models Can Reason with Verifiable Rewards。

其他（说明）

[推断] 本文采用的标准定义：保留给现有七类确实无法表示的输入输出契约，不用来收纳证据不足。 本池落点：本池0篇，无法判定主流贡献。 证据主要是无本池样本；没有可汇总证据。 本池该任务0篇，定量0、消融0、人类评价0（可重叠，含自建评测集）。核心未解问题：0篇并不说明任务空间已经完整：安全目标、评分模型产物和机构变化等仍暴露现有轴的限制。 依据：P021 · SafeSora: Towards Safety Alignment of Text2Video Generation via a Human Preference Dataset；P035 · CaC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating。