统一逐篇研究速览
全库历史编号继续使用 Pxxx;旧 video gen 报告 Pxx 在此记为 VGxx,历史别名可搜索。每篇可返回所属主题 overview。
没有匹配结果;可清空筛选或关键词。
P001 · Method paper · Method paper / M1
HG-DAgger: Interactive Imitation Learning with Human Experts
2019 · Michael Kelly; Chelsea Sidrane; Katherine Driggs-Campbell; Mykel J. Kochenderfer
返回 M1 主题 Overview ↑
① 做了什么 让人类自主接管和交还控制权,改进真实系统中的交互式模仿学习,并从接管行为学习基于模型不确定性的风险阈值。
② 贡献 提出 Human-Gated DAgger,减少随机切换控制导致的人类标注失真;同时估计策略的可接受状态区域。
③ 边界 实现于仿真与实车驾驶任务;人类负责判断何时接管,风险阈值是经验估计,未给出无碰撞保证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 迭代执行新手策略;专家接管时独占控制并收集示范,数据聚合后重训网络集成;用集成输出分歧及接管前的不确定性学习阈值。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 实车在 5 组障碍配置上优于 DAgger/行为克隆;与人类转向分布的 Bhattacharyya 距离相较 DAgger 改善 21.1%。仿真中阈值内初始化的碰撞率约为阈值外的 1/12。
证据定位 摘要 p1;方法 p2–3;实验 p4–6,表 I–II。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P002 · Base paper · Base paper / B1
Abductive Commonsense Reasoning
2020 · Chandra Bhagavatula; Ronan Le Bras; Chaitanya Malaviya; Keisuke Sakaguchi; Ari Holtzman; Hannah Rashkin; Doug Downey; Scott Wen-tau Yih; Yejin Choi
返回 B1 主题 Overview ↑
① 做了什么 把溯因推理定义为根据前后观察寻找最合理解释,构建 ART 数据及解释选择、解释生成两类任务。
② 贡献 提供超过 2 万叙事情境和 20 万解释;提出 Abductive NLI/NLG,并分析预训练语言模型的推理缺口。
③ 边界 英语短篇常识叙事中的候选解释选择/文本生成;合理解释不等于唯一、可验证的真实原因。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 众包构造观察及正负解释,使用对抗筛选降低捷径;比较 GPT/BERT 微调和不同观察依赖结构,进行人工与自动评价。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 ART 测试集最佳 BERT 68.9%±0.5%,人类多数投票 91.4%;5 个训练随机种子;生成任务仍有明显常识与因果连贯性问题。
证据定位 摘要 p1;任务/数据 §2–4;结果 §5,表1;分析 §6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P004 · Method paper · Method paper / M1
WebGPT: Browser-assisted question-answering with human feedback
2021 / 2022 · Reiichiro Nakano; Jacob Hilton; Suchir Balaji; Jeff Wu; Long Ouyang; Christina Kim; Christopher Hesse; Shantanu Jain; Vineet Kosaraju; William Saunders; Xu Jiang; Karl Cobbe; Tyna Eloundou; Gretchen Krueger; Kevin Button; Matthew Knight; Benjamin Chess; John Schulman
返回 M1 主题 Overview ↑
① 做了什么 训练 GPT-3 操作文本浏览器、收集引用并回答长问题,以示范学习和人类偏好反馈提升答案质量。
② 贡献 把检索、浏览、引用和回答统一为可训练的交互轨迹,并利用带引用答案支持人类评价。
③ 边界 文本浏览器和 ELI5 长问答;最强模型使用 175B、best-of-64,有引用不代表引用真实或推断正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 约 6,000 条人类示范做行为克隆,约 21,500 组偏好比较训练奖励模型;比较 PPO 与拒绝采样,主要最优配置采用行为克隆加奖励筛选。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 在 ELI5 上,最强模型相对人类示范答案的偏好率为 56%,相对 Reddit 高赞答案为 69%(平局计半);这是偏好评价,不是事实准确率。
证据定位 摘要 p1;训练 §3;评价 §4–5;真实性和引用局限 §6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P005 · Base paper · Base paper / B1
There’s a Time and Place for Reasoning Beyond the Image
2022 · Xingyu Fu; Ben Zhou; Ishaan Preetam Chandratreya; Carl Vondrick; Dan Roth
返回 B1 主题 Overview ↑
① 做了什么 提出图像时空定位任务 TARA,要求综合画面线索与背景知识判断拍摄时间和地点。
② 贡献 构建约 16K 新闻图片和额外 61K WIT 弱监督样本,并提供基于局部图像线索的 CLIP 变体。
③ 边界 主要为 NYT/Wikipedia 图片和给定标签集合的分类,不是无需候选的任意地点、精确日期识别。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 自动抽取新闻时空标签,众包验证可推理子集;比较 CLIP、微调、WIT 监督及 segment-wise 表征,使用 Accuracy 和层级 Example-F1。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 全测试集地点准确率 CLIP 11.11%、CLIP+Seg 16.46%。在人类对照子集,地点 23.33% vs 人类 86.21%,时间 3.33% vs 75.86%;不能把两个测试集合并比较。
证据定位 摘要 p1;数据 §3–4;方法 §5;表2、表3及 §6.3。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P006 · Method paper · Method paper / M6
Learning Iterative Reasoning through Energy Minimization
2022 · Yilun Du; Shuang Li; Joshua Tenenbaum; Igor Mordatch
返回 M6 主题 Overview ↑
① 做了什么 把推理写成学习能量函数后的迭代优化,使测试时可以增加计算以处理更大或更难的问题。
② 贡献 IREM 用统一能量最小化处理图与连续算法任务,并演示嵌套组合求解。
③ 边界 验证于合成图运算、加法、矩阵补全/求逆等;优化过程不保证任意实例达到全局最优。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 学习输入与候选输出之间的能量景观;通过迭代梯度更新寻找低能量解,以回放缓冲和末步截断反传控制训练开销。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 10 节点训练、15 节点测试的最短路元素 MSE 为 0.0464,循环网络 0.1083、前馈模型 1.4089;更难加法 MSE 为 0.0021,对比最佳列示基线 0.1577。
证据定位 方法 §3;表1 p5;消融表2;§5 Conclusion and Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P007 · Base paper · Base paper / B1
The Abduction of Sherlock Holmes: A Dataset for Visual Abductive Reasoning
2022 · Jack Hessel; Jena D. Hwang; Jae Sung Park; Rowan Zellers; Chandra Bhagavatula; Anna Rohrbach; Kate Saenko; Yejin Choi
返回 B1 主题 Overview ↑
① 做了什么 构建 Sherlock,收集视觉线索和超出字面画面的合理推断,评估机器的视觉溯因能力。
② 贡献 103K 图片、363K 线索—推断对及约 19K 合理性判断,覆盖推断检索、证据定位和合理性比较。
③ 边界 推断是人类认为合理的假设;主要评价检索/定位/比较,开放式生成评价仍待解决。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 自由观察式众包标注线索框和推断;训练图像、区域、文本兼容性评分器,比较 LXMERT、UNITER 和 CLIP,并加入多任务训练。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 CLIP-RN50x64 加多任务目标在三类评测中优于所列强基线,但与人类判断一致性仍有明显差距;文中同时报告定位及排序指标,不能统一当作准确率。
证据定位 摘要 p1;任务 §4;方法/结果 §5、表2;结论 §6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P008 · Base paper · Base paper / B1
Visual Abductive Reasoning
2022 · Chen Liang; Wenguan Wang; Tianfei Zhou; Yi Yang
返回 B1 主题 Overview ↑
① 做了什么 在事件片段被遮蔽的视频中描述已知事件并生成最可能的缺失事件解释,提出 VAR 数据集和 REASONER。
② 贡献 设计因果方向感知编码及置信度引导的级联解码,逐轮改进前提描述与假设。
③ 边界 输入已有事件分段,缺失事件以黑帧遮蔽;实现的是语言解释生成,未识别或验证真实因果结构。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 使用预提取动作/外观特征,contextualized directional position embedding 区分关系;三个级联 Transformer 解码器通过句子置信度交换信息。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 消融中,普通 Transformer 的平均事件 CIDEr 30.04、BLEU-4 3.39;同时加入两个组件后为 36.13、4.66。完整模型领先比较的视频语言基线,但仍落后人类。
证据定位 任务 §3;实现 §4.4;实验 §5、表8;附录失败案例。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P009 · Base paper · Base paper / B1
Breaking Common Sense: WHOOPS! A Vision-and-Language Benchmark of Synthetic and Compositional Images
2023 · Nitzan Bitton-Guetta; Yonatan Bitton; Jack Hessel; Ludwig Schmidt; Yuval Elovici; Gabriel Stanovsky; Roy Schwartz
返回 B1 主题 Overview ↑
① 做了什么 通过人为设计的反常识合成图像,评价模型是否能识别和解释图像中的异常,而不只描述物体。
② 贡献 提供视觉常识基准及解释异常任务,结合 captioning、匹配和 VQA;分析感知与推理各自的瓶颈。
③ 边界 小规模、人工筛选的合成图像及四类任务;不能直接代表真实图像中的所有常识错误。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 设计师用文生图工具制作异常组合,众包标注解释;比较端到端 BLIP2 和图像描述→LLM 管线,并用人类及 GPT-4 评价解释。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 表1中,微调 BLIP2-XXL 异常识别 73%,人类 92%;解释的人类评分为 27%,oracle caption→GPT-3 为 68%,人类 95%。
证据定位 摘要;数据 §2;表1;结果 §5.2;局限 §8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P010 · Base paper · Base paper / B4
Visual Writing Prompts: Character-Grounded Story Generation with Curated Image Sequences
2023 · Xudong Hong; Asad Sayeed; Khushboo Mehra; Vera Demberg; Bernt Schiele
返回 B4 主题 Overview ↑
① 做了什么 用经过筛选的电影镜头序列和明确角色构建 VWP,以更好的输入与角色表示提升视觉故事的连贯性。
② 贡献 约 2K 个、每个 5–10 图的序列及约 12K 众包故事;提出角色感知的 CharGrid 基线。
③ 边界 生成图像序列对应的文本故事;依赖电影镜头、角色框和筛选流程,不生成视频或验证事件真实发生。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 过滤低信息和重复镜头,提供角色名称/裁剪图引导写作;冻结 Swin 特征提取,结合角色特征与角色网格建模跨句连贯性。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 28 名众包者比较 50 对故事;本地稿表7中 CharGrid 相较 TAPM+char 的人类判断差值:连贯性 +8.41、视觉依据 +6.25、多样性 +11.06 个百分点。
证据定位 摘要;构建 §3–5;模型 §6.1;人评 §6.3/表7;§7。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG14 · StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-Temporal Dynamics
数据集结构评价 · PDF p.14,Appendix 与 Table A1
StoryBlender 在对照 CineBoard3D 时指出,包含 VWP 的 VinaBench 及其组成子集没有显式解耦场景和镜头,环境元素主要依赖自由文本,因此不直接具备其 3D 预可视化所需的结构化资产登记。
适用范围 这是针对 3D 引擎预可视化的数据结构要求,评价覆盖 VinaBench 及其子集;不是对 VWP 原有角色驱动文本故事任务的否定。
查看评价原文 ↗
打开论文公开页面 ↗
P011 · Base paper · Base paper / B2
Reasoning or Reciting? Exploring the Capabilities and Limitations of Language Models Through Counterfactual Tasks
2024 · Zhaofeng Wu; Linlu Qiu; Alexis Ross; Ekin Akyürek; Boyuan Chen; Bailin Wang; Najoung Kim; Jacob Andreas; Yoon Kim
返回 B2 主题 Overview ↑
① 做了什么 用改变默认规则的反事实任务区分可迁移推理与对熟悉任务模式的依赖。
② 贡献 构造 11 类任务的默认/反事实配对评测,并加入反事实规则理解检查及不同提示条件。
③ 边界 任务包括算术、代码、逻辑、空间、音乐和游戏;研究基于指定的 2023 版闭源模型,不是对全部 LLM 的不可推理证明。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 保持任务结构、改动进制/索引/坐标/游戏规则等条件,比较 GPT-4、GPT-3.5、Claude、PaLM-2,控制 CoT 与 few-shot 提示。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 11 项任务整体呈现反事实条件下显著且一致的性能下降;few-shot 能缩小但不能消除差距,理解规则也不保证正确执行。
证据定位 摘要;框架 §2;结果 §4;分析 §5;局限 §7。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P012 · Method paper · Method paper / M1
Reflexion: Language Agents with Verbal Reinforcement Learning
2023 · Noah Shinn; Federico Cassano; Ashwin Gopinath; Karthik Narasimhan; Shunyu Yao
返回 M1 主题 Overview ↑
① 做了什么 让语言智能体把失败反馈总结成文字反思,并在后续尝试中利用记忆改进决策。
② 贡献 提出 actor—evaluator—self-reflection 框架,以语言记忆实现跨尝试改进。
③ 边界 不更新模型参数;依赖可重复尝试、可获得反馈的环境,所谓 verbal RL 与梯度训练式 RL 不同。
XR 支撑方向:XR-E
共享方法接口:F1
方法、研究建议与证据定位
方法 执行任务后由外部或内部评价器给出反馈,生成反思并写入有限情节记忆,下次提示时检索/拼接;在 ALFWorld、HotpotQA 和代码任务验证。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 论文报告 HumanEval 91% pass@1,相较引用的 GPT-4 80%;该数值来自允许反馈与迭代的完整协议,不能等同无反馈单次生成准确率。
证据定位 摘要;§3;§4.3;局限 §5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG02 · VOYAGER: An Open-Ended Embodied Agent with Large Language Models
实验比较 · PDF pp.7–8,探索、技术树与迁移实验
VOYAGER 作者报告,Reflexion 在其 Minecraft 开放探索设置中难以持续取得进展,并将原因联系到抽象探索目标缺少合适课程;在重置世界后的新任务测试中也未能在给定预算内解决任务。
适用范围 针对 VOYAGER 所实现的 Minecraft 基线和提示预算,不代表 Reflexion 在语言推理或代码任务中的效果;结果由比较论文报告。
查看评价原文 ↗
打开作者项目/代码 ↗
P013 · Method paper · Method paper / M7
Sequential Modeling Enables Scalable Learning for Large Vision Models
2024 / 2023 · Yutong Bai; Xinyang Geng; Karttikeya Mangalam; Amir Bar; Alan Yuille; Trevor Darrell; Jitendra Malik; Alexei A. Efros
返回 M7 主题 Overview ↑
① 做了什么 把图像、视频和视觉标注统一为视觉句子,使用下一 token 预测训练无需语言输入的大视觉模型。
② 贡献 构建统一视觉序列表示并展示多任务视觉提示和模型/数据扩展趋势。
③ 边界 任务由示例图像定义,输出为视觉 token;训练与评价不证明任意视觉任务均能零样本解决。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VQGAN 将图像离散化,再用自回归 Transformer 学习跨图像序列;在 420B 视觉 token 上训练 300M、600M、1B、3B 模型。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 420B token 约对应 1.64B 图像;文中语义分割视觉序列困惑度随规模从 23.1(300M)降到 14.0(3B),并展示类比、视频预测等视觉提示结果。
证据定位 摘要;方法 §4;规模实验 §5.1/图3–4;局限 §6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P015 · Method paper · Method paper / M6
Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs
2024 · Kewei Cheng; Jingfeng Yang; Haoming Jiang; Zhengyang Wang; Binxuan Huang; Ruirui Li; Shiyang Li; Zheng Li; Yifan Gao; Xian Li; Bing Yin; Yizhou Sun
返回 M6 主题 Overview ↑
① 做了什么 用 SolverLearner 分离从样例归纳规则与执行规则,重新比较 LLM 的归纳和演绎能力。
② 贡献 让 LLM 生成映射程序,再交给外部解释器执行,降低执行错误对归纳能力评价的干扰。
③ 边界 限于具有明确函数族和可执行规则的合成任务;程序执行由工具完成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 比较直接输入输出提示、显式给规则、由样例生成 Python 规则三种设置,测试算术、空间等默认/反事实任务。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 GPT-4 在大部分受限归纳条件下接近或达到准确率 1;直接演绎特别是反事实执行较弱,GPT-3.5 并不普遍达到同等水平。
证据定位 §3 SolverLearner;§5;结论后的 Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P016 · Method paper · Method paper / M6
DIVE: Towards Descriptive and Diverse Visual Commonsense Generation
2023 / 2024 · Jun-Hyung Park; Hyuntae Park; Youjin Kang; Eojin Jeon; SangKeun Lee
返回 M6 主题 Overview ↑
① 做了什么 通过过滤泛泛的推断并改进训练目标,让视觉常识生成更具体、多样。
② 贡献 提出 generic inference filtering 与 contrastive retrieval learning。
③ 边界 主要验证于 Visual Commonsense Graphs;“人类水平”限定于所测描述性/多样性指标。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 利用频次及图像语义集中度过滤通用推断,再用图结构构造对比检索监督;在原始、unique、novel 子集及人评中比较。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 在 VCG 的描述性和多样性指标上超过所列基线;450 条推断的人类成对评价支持改进,但并未证明常识正确性达到人类水平。
证据定位 §3–4,表1–3;§4.3 人评;结论后局限。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P017 · Method paper · Method paper / M6
Exploring Defeasibility in Causal Reasoning
2024 · Shaobo Cui; Lazar Milikic; Yiyang Feng; Mete Ismayilzada; Debjit Paul; Antoine Bosselut; Boi Faltings
返回 M6 主题 Overview ↑
① 做了什么 研究新信息如何增强或削弱常识因果关系,提出 δ-CAUSAL 与 CESAR 评分。
② 贡献 约 11K 事件、10 个领域的可撤销因果数据;测量加入 supporter/defeater 后因果强度变化。
③ 边界 文本常识因果关系的相对变化评价,不是通过干预数据估计因果效应。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 构造原因—结果及支持/反驳论据;以 token 级因果关联和注意力构建 CESAR,另测论据生成。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 捕捉强度变化的指标从基线 47.2% 提高到 80.1%,相对提升 69.7%;GPT-3.5 生成支持/反驳论据的人评分别比人类低 4.5/10.7 点。
证据定位 摘要;§5 CESAR;§6;Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P018 · Method paper · Method paper / M6
Learning Iterative Reasoning through Energy Diffusion
2024 · Yilun Du; Jiayuan Mao; Joshua Tenenbaum
返回 M6 主题 Overview ↑
① 做了什么 IRED 通过退火能量景观与扩散训练提升迭代推理,允许测试时增加优化计算。
② 贡献 结合分数匹配与能量监督,降低 IREM 训练不稳定和优化困难。
③ 边界 连续算法、数独、图连通和离散规划;未扩展验证到通用语言推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 学习多噪声级能量函数,用对比监督塑造低能量正确解;推理时沿退火景观迭代梯度优化。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 数独同分布/更难测试准确率为 99.4%/62.1%,IREM 为 93.5%/24.6%,RRN 为 99.8%/28.6%;说明主要优势在更难分布,非所有设置最优。
证据定位 §3;§4.2 表格 p7;§5 Conclusion and Discussions。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P019 · Base paper · Base paper / B1
NL-EYE: Abductive NLI for Images
2024 · Mor Ventura; Michael Toker; Nitay Calderon; Zorik Gekhman; Yonatan Bitton; Roi Reichart
返回 B1 主题 Overview ↑
① 做了什么 把溯因 NLI 扩展到多图输入,要求比较后果/原因图像的合理性并解释选择。
② 贡献 350 个三元组、1,050 张人工策划合成图,覆盖物理、功能、逻辑、情绪、文化和社会推理。
③ 边界 受控合成图像比较任务;事故预防和生成视频验证是潜在应用,未作为系统实现验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 人工撰写场景并迭代文生图;比较 triplet/pair 设置、合理性预测及解释,分析纯视觉和文本替代条件。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 被测 VLM 在多项设置接近随机基线,人类在合理性和解释质量上明显更好;结果限于本地版本使用的模型与测试集。
证据定位 摘要;§2–4;结果 §5;失败分析 §6;Ethics。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P020 · Method paper · Method paper / M4
ViCor: Bridging Visual Understanding and Commonsense Reasoning with Large Language Models
2024 · Kaiwen Zhou; Kwonjoon Lee; Teruhisa Misu; Xin Eric Wang
返回 M4 主题 Overview ↑
① 做了什么 区分直接视觉理解与超出画面的常识推断,让 LLM 选择并指挥合适的视觉处理路线。
② 贡献 任务分类加主动视觉取证的 VLM/LLM 协作流程。
③ 边界 VCR 和 A-OKVQA 四选一;不做域内微调,但依赖多个预训练模型及 in-context 示例。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 先从图像描述评估候选;不确定时由 LLM 分类为 VCU/VCI,调用 BLIP2 直接匹配或询问关键视觉因素,再重新推理。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 在论文所测无需域内微调的方法中表现最好;分析中 VCU 的 VLM/LLM+caption 平均准确率 63.6%/56.0%,VCI 为 50.5%/53.6%。
证据定位 §4;§5.1–5.2;§6;§8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P021 · Base paper · Base paper / B1
Black Swan: Abductive and Defeasible Video Reasoning in Unpredictable Events
2025 · Aditya Chinchure; Sahithya Ravi; Raymond Ng; Vered Shwartz; Boyang Li; Leonid Sigal
返回 B1 主题 Overview ↑
① 做了什么 以反常视频事件检验模型能否解释隐藏事件,以及获得新证据后修正原先假设。
② 贡献 BlackSwanSuite 包含 1,655 个视频、超过 3,800 个选择题、4,900 个生成题和 6,700 个是非题。
③ 边界 通过遮蔽或揭示视频片段构建 Forecaster/Detective/Reporter;是评测基准,未提出训练后消除缺陷的新模型。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 分阶段给出视觉证据,评估溯因和可撤销推理;使用选择题准确率、CLIP/LLM 生成指标及人类评价。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 表2 Detective MCQ:GPT-4o 65.1%、人类 90.0%,相差 24.9 个百分点;Reporter Y/N 为 60.1% vs 92.0%。注意本地表2图注与表头存在任务名称不一致,以上按表头及正文解释。
证据定位 §3–5;表2和 §6.1;§7–8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P022 · Method paper · Method paper / M1
Enabling Self-Improving Agents to Learn at Test Time With Human-In-The-Loop Guidance
2025 · Yufei He; Ruoyu Li; Alex Chen; Yue Liu; Yulin Chen; Yuan Sui; Cheng Chen; Yi Zhu; Luca Luo; Frank Yang; Bryan Hooi
返回 M1 主题 Overview ↑
① 做了什么 ARIA 识别知识缺口、向专家求助并维护带时间戳的知识库,以适应运行中变化的规则。
② 贡献 将主动询问、冲突消解和时效性知识更新结合,用于动态名称筛查与合同理解。
③ 边界 更新主要是外部知识库;TikTok Pay 部署和用户覆盖是论文自述,不能将平台月活当作实验人数;公开 CUAD 实验用 LLM 模拟专家。
XR 支撑方向:XR-E
方法、研究建议与证据定位
方法 自对话评估不确定性,在查询预算内请求解释/纠错;抽取知识、加时间戳,检测冲突并澄清后检索用于后续决策。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 真实序列测试为 11,846 例(156 阳性);CUAD 在 B=2000 时 GPT-4o+ARIA 准确率 0.6358,静态模型 0.4872,RAG 0.5735。
证据定位 §4;表1;§6.1–6.2/表4;Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P023 · Method paper · Method paper / M6
Generalizable Reasoning through Compositional Energy Minimization
2025 · Alexandru Oarga; Yilun Du
返回 M6 主题 Overview ↑
① 做了什么 先学习小子问题的能量函数,再在测试时组合约束求解更大、更复杂的问题。
② 贡献 组合能量景观与 Parallel Energy Minimization(PEM),支持增加约束和计算预算。
③ 边界 N-Queens、3-SAT、图着色和填字;子问题分解由任务结构提供,不是自动发现任意问题分解。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 扩散与对比损失训练局部能量函数;求和形成全局目标,用多个并行候选进行能量最小化和筛选。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 只用一个 8 皇后训练实例时,P=1024 的方法在 100 次生成中得到 97 个有效解,表1最强比较设置为 41 个。
证据定位 §3;表1 p6;§4;§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P024 · Base paper · Base paper / B2
Nested Learning: The Illusion of Deep Learning Architecture
2025 · Ali Behrouz; Meisam Razaviyayn; Peilin Zhong; Vahab Mirrokni
返回 B2 主题 Overview ↑
① 做了什么 把网络、优化器和记忆统一为不同更新频率的嵌套优化过程,并据此设计连续记忆系统和 Hope。
② 贡献 提出 NL 视角、表达力更强的优化器、自修改学习模块和 Continuum Memory System。
③ 边界 提供理论重述与具体原型实验;作者明确表示未普遍解决灾难性遗忘。标题按首页单数 Architecture,元数据为 Architectures。
XR 支撑方向:XR-E
共享方法接口:F4
方法、研究建议与证据定位
方法 将梯度/上下文压缩解释为关联记忆;设计多个时间尺度更新的 MLP 记忆、M3 优化器,以及结合自指 Titans 的 Hope。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 在语言建模、知识更新、形式语言和长上下文任务中展示收益;如表1 16K UUID 检索 Hope 24.8%、Titans 21.2%、Transformer 40.8%,说明优势取决于任务,非全面领先。
证据定位 §3–8;§9、表1–5;§10 的 Is Catastrophic Forgetting Solved?。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P027 · Base paper · Base paper / B1
VCD: A Dataset for Visual Commonsense Discovery in Images
2025 · Xiangqing Shen; Fanfan Wang; Siwei Wu; Rui Xia
返回 B1 主题 Overview ↑
① 做了什么 VCD 将物体框与可见、不可见常识三元组连接,支持图像中的常识发现。
② 贡献 超过 100K 图片、14M 物体—常识对,以及 Seen/Unseen、Property/Action/Space 层级分类;训练 VCM 基线。
③ 边界 静态图片、区域级常识生成;尚未覆盖视频时序和动态因果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 结合 Visual Genome 与 ConceptNet,映射/扩展三元组并进行质量控制,再用指令微调视觉语言模型生成常识。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 ImageNetVC 平均分由 OFA 80.7 到 VCM 83.5;Qwen-VL-7B 加常识后 OK-VQA 从 58.6 到 60.0。人评对 GPT-4o 的 Unseen 胜/平/负为 41%/29%/30%。
证据定位 §3;表3–5;Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P028 · Base paper · Base paper / B1
Video models are zero-shot learners and reasoners
2025 · Thaddäus Wiedemer; Yuxuan Li; Paul Vicol; Shixiang Shane Gu; Nick Matarese; Kevin Swersky; Been Kim; Priyank Jaini; Robert Geirhos
返回 B1 主题 Overview ↑
① 做了什么 探索 Veo 3 能否仅通过提示执行感知、操作和视觉推理任务,提出视频模型具备通用视觉能力的早期证据。
② 贡献 跨任务定性探索及 7 类任务定量评估,涵盖分割、边缘检测、编辑、迷宫、对称和类比。
③ 边界 Veo API 连同 LLM prompt rewriter 作为黑盒;作者承认部分答案可能来自重写器。best-frame 和 pass@10 不是单次最终输出表现。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 输入图像及任务提示生成 8 秒视频,再按任务读取最好/最后一帧;比较 Veo 2、Veo 3 和图像/语言基线。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 Veo 3 在多任务中明显优于 Veo 2,增加尝试次数提升成功率;边缘检测在 BIPEDv2 的 50 张测试图评测,分割只测 50 张较容易的 LVIS 图。
证据定位 §2;§4 及图3–9;§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P029 · Application paper · HCI / H3
VideoDiff: Human-AI Video Co-Creation with Alternatives
2025 · Mina Huh; Ding Li; Kim Pimmel; Hijung Valentina Shin; Amy Pavel; Mira Dontcheva
返回 H3 主题 Overview ↑
① 做了什么 用对齐时间轴、转录文本和差异高亮,帮助视频创作者比较、筛选和修改多种 AI 剪辑方案。
② 贡献 围绕 rough cut、B-roll 和文字效果的多方案共创交互。
③ 边界 对用户已有素材提供编辑建议/组合,未训练新的通用视频生成模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 8 名专业创作者形成性研究;实现 React/D3/Remotion 界面,Whisper 转录与 GPT-4o 编辑建议;12 人被试内对照和 3 个真实素材案例。
既有研究建议 在对齐时间轴上同时显示视觉差异与需求约束差异,检验用户能否更快发现“好看但违背意图”的备选剪辑。
结果记录 对“理解差异的有用性”评价均值为 4.92 vs 基线 2.25(p<0.05);参与者更易比较和定制,并报告更满意的创作结果。
证据定位 §3;§4.3;§5.1–5.3;§6–7。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P030 · Method paper · Method paper / M6
AbductiveMLLM: Boosting Visual Abductive Reasoning Within MLLMs
2026 · Boyu Chang; Qi Wang; Xi Guo; Zhixiong Nan; Yazhou Yao; Tianfei Zhou
返回 M6 主题 Overview ↑
① 做了什么 结合语言假设筛选与图像想象,增强多模态模型对缺失视觉事件的溯因推理。
② 贡献 REASONER 与 IMAGINER 双模块联合学习:前者筛选假设,后者用扩散视觉表示辅助解释。
③ 边界 标准 VAR 任务中的解释生成;想象画面属于条件生成,不能作为对真实隐藏事件的新观测证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LLM 根据视频描述提出候选,经因果相关对比学习筛选;条件扩散模块通过适配器融合视频和推理表示,联合优化语言与图像分支。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 作者在标准 VAR 基准报告优于所列传统模型和 MLLM;消融显示去掉 IMAGINER 或其适配器会降低 CIDEr 等生成指标。
证据定位 摘要;REASONER/IMAGINER 方法;实验表格;表6及结论。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P031 · Base paper · Base paper / B3
Agentic Reasoning for Large Language Models
2026 · Tianxin Wei; Ting-Wei Li; Zhining Liu; Xuying Ning; Ze Yang; Jiaru Zou; Zhichen Zeng; Ruizhong Qiu; Xiao Lin; Dongqi Fu; Zihao Li; Mengting Ai; Duo Zhou; Wenxuan Bao; Yunzhe Li; Gaotang Li; Cheng Qian; Yu Wang; Xiangru Tang; Yin Xiao; Liri Fang; Hui Liu; Xianfeng Tang; Yuji Zhang; Chi Wang; Jiaxuan You; Heng Ji; Hanghang Tong; Jingrui He
返回 B3 主题 Overview ↑
① 做了什么 系统梳理将推理与行动连接的语言智能体研究,覆盖基础能力、自我演化和多智能体协作。
② 贡献 按环境动态、优化方式与协作范围组织统一分类及应用/基准地图。
③ 边界 135 页综述,正文说明汇总截至 2025 年的进展;没有训练或统一重测一个新模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 分别梳理规划/工具/搜索、反馈/记忆/适应、角色/分工/协作演化,区分上下文编排与 SFT/RL 后训练,并整理跨领域基准。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 产出研究分类、方法对照表和开放问题:个性化、长时交互、世界模型、潜在推理与协作治理;没有可归于本文新算法的单一准确率。
证据定位 摘要;§2–5;应用 §6;基准 §7;开放问题 §8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P032 · Method paper · Method paper / M2
Autoregressive, Yet Revisable: In Decoding Revision for Secure Code Generation
2026 · Chengran Yang; Zichao Wei; Heminghao Deng; Jinfeng Jiang; Zhensu Sun; Ting Zhang; Tianyi Wu; Ming Wen; David Lo
返回 M2 主题 Overview ↑
① 做了什么 让自回归模型在生成过程中输出编辑指令,从而及时修改已经构造的代码。
② 贡献 Stream of Revision 以虚拟光标、编辑 token 和确定性渲染器把生成流转换为可修订程序。
③ 边界 token 流仍单调自回归,改变的是渲染后的代码;主要在 C/C++ 安全对齐和 CSE2 检测器上评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从真实 CVE 修复对构造训练数据,学习编辑动作及普通代码;用安全检查通过率、HumanEval 功能测试和 AST 解析率分别验证。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 相较多种修复/对齐基线改善 CSE2 安全通过率;叠加 ProSec 后文中报告 C +1.16、C++ +4.15 个百分点。
证据定位 §3;§4–6、表2;§7.3、表5;§9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P033 · Application paper · AIGC / G2
Gen-Searcher: Reinforcing Agentic Search for Image Generation
2026 · Kaituo Feng; Manyuan Zhang; Shawn Chen; Yunlong Lin; Kaixuan Fan; Yilei Jiang; Hongyu Li; Dian Zheng; Chenyang Wang; Xiangyu Yue(首页为 Shawn Chen,PDF 元数据为 Shuang Chen)
返回 G2 主题 Overview ↑
① 做了什么 为知识密集的图像生成训练多步搜索智能体,先找文字知识与参考图,再调用生成器。
② 贡献 Gen-Searcher-SFT-10k/RL-6k 数据、KnowGen 基准和结合文字/图像反馈的 RL。
③ 边界 搜索代理增强已有图像生成器;输出仍受搜索质量、网页时效和生成器能力限制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Qwen3-VL-8B 先 SFT 再 agentic RL;工具执行搜索/浏览,双奖励评价知识正确性与生成图的实际符合度。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 KnowGen、WISE 上相对所列生成器和代理基线获得提升,并展示跨生成器迁移;训练设置还需图像生成和网页摘要辅助模型,不能把代理 8B 视为全部计算规模。
证据定位 §3 数据与训练;§4.1–4.4、表1–3;§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P034 · Base paper · Base paper / B2
Lost in Transmission: When and Why LLMs Fail to Reason Globally
2025 / 2026 · Tobias Schnabel; Kiran Tomlinson; Adith Swaminathan; Jennifer Neville
返回 B2 主题 Overview ↑
① 做了什么 用注意力通信带宽受限模型解释 LLM 在跨输入全局推理上的失败。
② 贡献 提出 Bounded Attention Prefix Oracle(BAPO),证明可达性等问题的带宽下界,并分析 CoT 如何缓解限制。
③ 边界 理论结论对所定义 BAPO 模型成立;经验结果支持带宽假说,未证明真实 Transformer 只有同样的严格上限。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 用 prefix/attention oracle 抽象信息流,区分 BAPO-easy/hard;在受控和现实任务上比较模型与 CoT 条件。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 GPT-4o、Claude、Gemini 对 easy 任务较强、对小规模 hard 任务也会失败;适当分解的 CoT 在理论模型中可把 hard 计算转化为逐步 easy 计算。
证据定位 §2–3;§4;§6–7。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P035 · Application paper · AIGC / G2
Mind-Brush: Integrating Agentic Cognitive Search and Reasoning into Image Generation
2026 · Jun He; Junyan Ye; Zilong Huang; Dongzhi Jiang; Chenjue Zhang; Leqi Zhu; Renrui Zhang; Xiang Zhang; Weijia Li
返回 G2 主题 Overview ↑
① 做了什么 以意图分析、主动搜索和显式推理补全图像生成所需的知识与隐含约束。
② 贡献 训练无需新增的 Mind-Brush 编排框架,以及含 500 个动态知识/推理样本的 Mind-Bench。
③ 边界 调用既有搜索、推理与生成模型;输出符合事实的程度受检索资料和生成器制约。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 检测认知缺口,搜索多模态证据、补充约束后生成;用 checklist-based strict accuracy(全部清单项通过)和 WISE/RISEBench 评价。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 完整框架在 Mind-Bench 的消融中比仅 reasoning agent 高 0.17、比仅 search agent 高 0.06 的准确率;另在 WISE/RISE 上取得所报改进。
证据定位 §3;§4;§5.3–5.4;§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P036 · Application paper · XR tutorial / X0
SimStep: Human-in-the-Loop Authoring of Interactive Educational Simulations Through Task-Level Abstractions
2026 · Zoe Kaputa; Anika Rajaram; Vryan Feliciano; Zhuoyue Lyu; Maneesh Agrawala; Hariharan Subramonyam
返回 X0 主题 Overview ↑
① 做了什么 通过可检查、可修改的任务级图表示,让教师逐步创作并调试互动教学模拟。
② 贡献 Chain-of-Abstractions 及 inverse correction,将概念、场景、学习目标、UI 与代码衔接。
③ 边界 实现的是模拟创作与纠错工具;没有证明学生学习成绩改善或仿真物理绝对正确。
XR 支撑方向:XR-C XR-E
方法、研究建议与证据定位
方法 教师在抽象图上验证和编辑,Claude 生成/修改代码;自动测试和图形回溯定位隐含假设;进行教师使用与抽象保真度研究。
既有研究建议 把任务图接到真实对象状态,并让教师只修订错误前提;用无辅助迁移测验检验生成模拟的教学作用。
结果记录 11 名教师体验研究的 1–6 分可用性均值 4.66(SD 0.36);66 个模拟由 162 名 Prolific 参与者评价抽象保真度,概念图完整/连贯性 2.61/3。
证据定位 §3–5;§6.2;§7/表5;§8.3。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P037 · Method paper · Method paper / M6
SLM-MUX: Orchestrating Small Language Models for Reasoning
2026 · Chenyu Wang; Zishen Wan; Hao Kang; Emma Chen; Zhiqiang Xie; Tushar Krishna; Vijay Janapa Reddi; Yilun Du
返回 M6 主题 Overview ↑
① 做了什么 让多个小模型独立作答,用一致性选择结果,并搜索互补模型组合。
② 贡献 SLM-MUX、模型子集搜索与配套测试时计算分配方案。
③ 边界 使用固定模型组合及验证集;非模型间讨论,置信度主要以重复答案频次近似。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 每个模型多次采样,取自身众数并比较一致性;按 union accuracy 与冲突惩罚搜索组合,平局用验证准确率处理。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 论文报告相对既有编排方法最高提升 MATH 13.4、GPQA 8.8、GSM8K 7.0 个百分点;选定两个小模型的组合可在部分任务超过 Qwen2.5-72B。
证据定位 §3;§4;§5 Limitation and Future Work。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P038 · Application paper · HCI / H2
“I’m Not Sure, But...”: Examining the Impact of Large Language Models’ Uncertainty Expression on User Reliance and Trust
2024 · Sunnie S. Y. Kim; Q. Vera Liao; Mihaela Vorvoreanu; Stephanie Ballard; Jennifer Wortman Vaughan
返回 H2 主题 Overview ↑
① 做了什么 研究 LLM 用不同自然语言方式表达不确定性时,用户依赖、信任和任务表现如何变化。
② 贡献 预注册、N=404 的受控人类实验,区分第一人称、一般视角及无不确定性表达。
③ 边界 虚构 AI 搜索系统中的医学事实是非题;操控表达,不训练或校准模型的真实不确定性。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 随机分组,对照有/无 AI 与不同措辞;用行为、答案正确性、信心和自报信任评价,并区分确认性/探索性分析。
既有研究建议 在相同错误率下比较口头犹豫、可校准概率与可查证据,避免把较低信任直接视为更好的依赖。
结果记录 第一人称表达降低对系统信心与跟随率、提高用户准确率;一般视角效应较弱且未达显著。过度依赖仍存在,无 AI 组总体任务表现最好。
证据定位 §3 预注册设计;§4;§5.1;§6。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P039 · Application paper · AIGC / G2
Make-a-Story: Visual Memory Conditioned Consistent Story Generation
2023 · Tanzila Rahman; Hsin-Ying Lee; Jian Ren; Sergey Tulyakov; Shweta Mahajan; Leonid Sigal
返回 G2 主题 Overview ↑
① 做了什么 以视觉记忆支持带指代的故事可视化,保持角色与背景跨图一致。
② 贡献 自回归 Story-LDM 及句子条件记忆注意力,并扩展 MUGEN/Flintstones 的指代设置。
③ 边界 根据句子序列生成故事帧,主要是动画/游戏域;不是连续动作的长视频生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 潜在扩散逐帧生成,当前句子对过去图像和文本记忆做软注意力,以解析 he/she/they 等角色或背景指代。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 MUGEN、PororoSV、FlintstonesSV 上的图像质量、故事一致性和人评优于所列前作;同时演示保持一致与按情节改变背景。
证据定位 §3;§4–5;§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P040 · Application paper · HCI / H3
Collaposer: Transforming Photo Collections into Visual Assets for Storytelling with Collages
2026 · Jiayi Zhou; Liwenhan Xie; Jiaju Ma; Zheng Wei; Huamin Qu; Anyi Rao
返回 H3 主题 Overview ↑
① 做了什么 Collaposer 根据故事描述从照片集合中提取和组织可用于拼贴的视觉素材。
② 贡献 把自动标注/检测/分割与故事驱动的语义选择、分层聚类展示结合。
③ 边界 从输入照片提取切图并由用户构图;动画属于演示延伸,不是自主生成完整视频故事。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 6 名专家形成性访谈;流水线预处理照片,LLM 选择中心及相关标签,再按语义层次布局;12 人与两种消融基线被试内比较。
既有研究建议 【topic 层候选方向】带依赖与来源的编辑界面能否减少反复生成,同时提高作者意图的保留程度?
结果记录 12 人共创作 36 个静态拼贴故事、尝试 45 个提示;使用完整系统均一次获得可用素材集,故事匹配、多样性和可用性评价优于消融。
证据定位 §3;§4;§6–7;§9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P041 · Method paper · Method paper / M1
Learning to Complement Humans
2020 · Bryan Wilder; Eric Horvitz; Ece Kamar
返回 M1 主题 Overview ↑
① 做了什么 联合训练预测模型和求助策略,以人机团队的整体效用而非机器独立准确率为目标。
② 贡献 提出判别式及决策论式的联合优化,显式利用人类与机器错误模式的互补。
③ 边界 Galaxy Zoo 和 CAMELYON 的离线人类标注数据;交互主要为是否查询一个人类答案。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 建模标签、人类响应及条件预测;同时优化分类和查询决策,将求助成本/非对称错误代价纳入期望损失。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 表1中 Galaxy Zoo 一层 VOI 的平均损失改善 38.9%(跨查询成本),不同容量/任务收益差异很大,部分设置存在负改善。
证据定位 §2–3;§4/表1;§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P042 · Base paper · Base paper / B2
LLMs Struggle to Balance Reasoning and World Knowledge in Causal Narrative Understanding
2026 · Khurram Yamin; Shantanu Gupta; Gaurav Ghosal; Zachary Lipton; Bryan Wilder
返回 B2 主题 Overview ↑
① 做了什么 分析 LLM 在叙事因果理解中如何受事件顺序、已有知识和图结构复杂度影响。
② 贡献 受控的合成、半合成和真实叙事评测,定位常识捷径与顺序偏差。
③ 边界 主要判断事件间因果关系和抽取图;未涵盖完整反事实或干预推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从链、fork、collider 和 CauseNet 构造叙事,操控叙述顺序/知识一致性/长度;比较直接回答与先抽因果图。
既有研究建议 在保留叙事内容的情况下交换事件顺序和常识一致性,测试人类可改因果图是否减少模型的捷径判断。
结果记录 模型倾向按叙事顺序推断因果、以参数知识覆盖上下文;图更长/复杂时下降。先显式识别因果图可改善稳定性。
证据定位 §3–4;§5;与 P045 封面、摘要比对。
本轮核对摘要/首页,既有方法及数值未全部重验 P045 是同一研究的早期题名版本;已核对两稿摘要相同,按 P042 主条目归并,保留两个历史编号和 PDF,不以两个独立研究计数。
打开论文公开页面 ↗
P043 · Base paper · Base paper / B2
LLMs Struggle to Perform Counterfactual Reasoning with Parametric Knowledge
2025 · Khurram Yamin, Gaurav Ghosal, Bryan Wilder
返回 B2 主题 Overview ↑
① 做了什么 测试模型能否将新反事实前提与已存知识结合,而不是继续沿用默认知识。
② 贡献 区分强化、添加、冲突与无关上下文的知识整合任务,并研究微调的副作用。
③ 边界 受控知识图和短链因果查询;不是现实因果效应估计。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 在 GPT-4o/Llama3.1 与玩具模型上比较直接提示、CoT、160 条反事实示例微调及预训练干预。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 强化既有知识时 GPT-4o 直接提示约 85%、CoT 超过 95%;添加/冲突条件困难,简单微调可能仍依赖捷径或损害原有知识。
证据定位 §3;§4;§5–6;附录训练细节。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P044 · Base paper · Base paper / B2
Orthogonal Causal Calibration
2025 · Justin Whitehouse; Christopher Jung; Vasilis Syrgkanis; Bryan Wilder; Zhiwei Steven Wu
返回 B2 主题 Overview ↑
① 做了什么 用正交损失把异质性因果效应估计的校准转化为较标准的预测校准。
② 贡献 对 universal/conditional orthogonality 给出误差分解、样本切分和交叉校准算法及收敛保证。
③ 边界 结论依赖识别条件、正交性、损失正则性和 nuisance 估计;重点是 L2 校准,不保证个体反事实准确或决策最优。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 构造广义伪结果或条件损失,在独立样本上校准;把误差分为 nuisance 估计误差与假想已知 nuisance 下的校准误差。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 401(k) 观察数据和合成条件分位数实验中降低校准误差,部分同时降低平均损失;理论提供高概率收敛及条件性的 do-no-harm 结果。
证据定位 摘要;§3–4;§5 图1–2;§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P046 · Method paper · Method paper / M5
Explaining Concept Shift with Interpretable Feature Attribution
2025 · Ruiqi Lyu; Alistair Turcan; Bryan Wilder
返回 M5 主题 Overview ↑
① 做了什么 SGShift 将预测失效归因到条件标签分布发生变化的少数特征。
② 贡献 稀疏 GAM 归因、吸收模型误设项和 knockoff 错误发现控制扩展。
③ 边界 表格数据的概念漂移,需源/目标域信息和标注;被选特征不是必然的干预因果变量。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 在原模型输出上拟合带 L1 惩罚的加性修正,结合两域共享误设项;用 knockoffs 筛选发生变化的特征。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 在糖尿病再入院、COVID 和 SUPPORT2 的半合成实验中,knockoff 变体多次获得 AUC>0.9;召回率按 FPR=10% 评价,不能与任意阈值召回混用。
证据定位 §4;§5–6/表2;§7。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P047 · Method paper · Method paper / M5
Can LLMs Propose Instrumental Variables for Causal Reasoning?
2025 · 本地稿匿名;官方 CISPA 记录补充:Ivaxi Sheth; Zhijing Jin; Bryan Wilder; Dominik Janzing; Mario Fritz
返回 M5 主题 Overview ↑
① 做了什么 用 LLM 提议并批判工具变量,探索观察数据中候选工具的发现。
② 贡献 IV Co-Scientist 多角色流程,以及无真值时的内部一致性比较。
③ 边界 只能辅助提出候选;高 F 统计量只支持相关性,不能验证排除限制/独立性,内部一致也不等于因果有效。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 先测试恢复文献工具和拒绝已被推翻的工具;代理提议处理—结果—工具组合并批判假设,再比较第一阶段强度与估计一致性。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 5 个自动发现案例中多种候选表现出较强相关及高于随机代理的内部一致性;论文未建立所有新工具的真实有效性。
证据定位 摘要;§2.1–2.2/表1;附录 C、H;CISPA 作者记录。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P048 · Method paper · Method paper / M5
Utility-Directed Conformal Prediction: A Decision-Aware Framework for Actionable Uncertainty Quantification
2025 · Santiago Cortes-Gomez; Carlos Patiño; Yewon Byun; Zhiwei Steven Wu; Eric Horvitz; Bryan Wilder
返回 M5 主题 Overview ↑
① 做了什么 把下游成本纳入保形预测,使具有覆盖保证的预测集合更适合实际决策。
② 贡献 针对可分/不可分效用构造 nonconformity score 与集合选择方法,并证明保留标准覆盖。
③ 边界 标准覆盖依赖校准/测试交换性等条件,通常是边际保证;皮肤诊断为数据集示例,未做临床试验。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 利用标签或集合成本构造惩罚比率/保形分数,再做校准;在分类层级中偏好临床或语义更一致的集合。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 CIFAR-100、iNaturalist、ImageNet、Fitzpatrick 的所测效用成本均低于标准保形基线,并经验保持覆盖率。
证据定位 §3;§4/图3及附录表4–6;§5、Reproducibility Statement。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P049 · Method paper · Method paper / M5
Decision-Focused Learning without Differentiable Optimization: Learning Locally Optimized Decision Losses
2022 · Sanket Shah; Kai Wang; Bryan Wilder; Andrew Perrault; Milind Tambe
返回 M5 主题 Overview ↑
① 做了什么 通过学习局部决策损失,让预测训练适应下游优化而无需对求解器求导。
② 贡献 LODL 用黑盒优化器生成监督,学习可凸的任务相关损失。
③ 边界 仍需大量调用黑盒求解器来拟合损失;“without differentiable optimization”并非完全不做优化。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 在真实标签附近扰动预测,用决策质量作为目标,拟合加权 MSE/方向二次型等局部损失,再用于训练预测网络。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 三个资源分配域均优于任务无关的两阶段训练,部分超过手工可微代理;样本增多通常提高表现,损失学习可并行/复用。
证据定位 §4;§5/表1–3;§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P050 · Method paper · Method paper / M5
Distributionally Robust Feature Selection
2025 · Maitreyi Swaroop; Tamar Krishnamurti; Bryan Wilder
返回 M5 主题 Overview ↑
① 做了什么 在观测特征预算下选择对多个子群体都有用的特征,以支持分别训练高质量模型。
② 贡献 噪声连续松弛和 Bayes 最优预测方差目标,避免反传穿过训练过程。
③ 边界 选择共享特征,但下游允许各群体自己的模型;理论推导核心为 MSE,不能当作已证明所有损失适用。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 对特征加可控噪声,估计各组目标并最小化最差组损失,用重参数化和核估计做梯度优化。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 合成及 ACS/UCI 试验中优于所列 Lasso、XGBoost 和 DRO 改编基线;ACS 设置报告 MSE 数量级下降,UCI 分类也有经验收益。
证据定位 §3;§4.3/图3;§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P051 · Base paper · Base paper / B3
Fostering the Ecosystem of AI for Social Impact Requires Expanding and Strengthening Evaluation Standards
2025 · Bryan Wilder; Angela Zhou
返回 B3 主题 Overview ↑
① 做了什么 主张扩大社会影响贡献的认可范围,同时提高真实部署影响评价的严谨性。
② 贡献 区分方法创新、伙伴能力建设及部署贡献,讨论评审激励如何影响研究生态。
③ 边界 立场论文,提出评价建议;没有新预测模型、受控干预结果或统一算法排行榜。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 分析既有评审标准和应用研究案例,分别讨论试点、随机与非随机部署、反方意见。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 建议作者明确影响机制、评审按贡献类型要求证据,并对部署研究采用更清晰和严格的效果评价。
证据定位 §2–5;§6 Alternative views;§7。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P052 · Method paper · Method paper / M5
Valid Inference with Imperfect Synthetic Data
2025 · Yewon Byun; Shantanu Gupta; Zachary C. Lipton; Rachel Leah Childers; Bryan Wilder
返回 M5 主题 Overview ↑
① 做了什么 以广义矩估计整合真实、代理及完全合成数据,提高有限真实数据下的统计效率。
② 贡献 无需超参数的 GMM 估计器及一致性/渐近推断理论。
③ 边界 仍需要真实数据与可识别的矩条件;理论有效性是渐近的,不能保证极少样本时精确覆盖。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 联合真实与合成矩残差,利用它们的预测相关性,估计权重和协方差构造参数与置信区间。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 8/8 个下游任务获得最低 MSE,7/8 的置信区间更窄;少标注设置多次 MSE 降幅超过 50%,并经验保持覆盖。
证据定位 §4.5;§5.3/图1–2;§6 Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P053 · Base paper · Base paper / B1
Superhuman performance of a large language model on the reasoning tasks of a physician
2026 · Peter G. Brodeur; Thomas A. Buckley; Zahir Kanjee; Ethan Goh; Evelyn Bin Ling; Priyank Jain; Stephanie Cabral; Raja-Elie Abdulnour; Adrian D. Haimovich; Jason A. Freed; Andrew Olson; Daniel J. Morgan; Jason Hom; Robert Gallo; Liam G. McCoy; Haadi Mombini; Christopher Lucas; Misha Fotoohi; Matthew Gwiazdon; Daniele Restifo; Daniel Restrepo; Eric Horvitz; Jonathan Chen; Arjun K. Manrai; Adam Rodman
返回 B1 主题 Overview ↑
① 做了什么 用医生评分的复杂病例、诊断/管理任务及急诊第二意见场景评价 OpenAI o1 系列。
② 贡献 把评价扩展到临床推理过程和真实病历,而不局限选择题考试。
③ 边界 主要为离线病例及预定义时间点第二意见;未证明真实部署改善患者结局,也未实证人机团队优于医生。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 五类病例推理实验加急诊研究,专家使用 Bond/R-IDEA 等量表评分,与历史和医生基线比较;分别考察 o1-preview 与 o1。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 143 个 NEJM 病例中鉴别列表含正确诊断 78.3%(95%CI 70.7–84.8),首位诊断正确 52%;80 份 Healer 回答中 78 份 R-IDEA 满分;“不可漏诊”覆盖未显著优于对照。
证据定位 摘要 PDF p2;结果 p3–5;讨论 p5–6;方法 p6 起。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P054 · Method paper · Method paper / M5
Melding the Data-Decisions Pipeline: Decision-Focused Learning for Combinatorial Optimization
2019 · Bryan Wilder, Bistra Dilkina, Milind Tambe
返回 M5 主题 Overview ↑
① 做了什么 把预测与组合优化端到端连接,直接按最终决策质量训练预测器。
② 贡献 为线性规划和子模最大化提供可反传的连续松弛框架。
③ 边界 适用所分析的优化结构和松弛条件;不是用户建模或计算机使用日志研究。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 将离散优化连续化,计算决策目标对预测参数的梯度;以优化效用训练模型并与两阶段 MSE 训练比较。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 多种决策问题上提高最终效用,即使预测 MSE 更差;示例中决策训练模型的通道总权重与真值相关 r²=0.94,解释了正确排序的重要性。
证据定位 首页/元数据;技术框架及实验;图2讨论,PDF p7–8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P055 · Application paper · HCI / H1
Principles of Mixed-Initiative User Interfaces
1999 · Eric Horvitz
返回 H1 主题 Overview ↑
① 做了什么 讨论如何将直接操作与自动化代理结合,提出处理用户意图不确定性、打扰成本和人机共同修正结果的设计原则,以Lookout邮件日程助手说明。
② 贡献 归纳12条混合主动权界面原则,并将不确定性与动作效用引入“等待/询问/主动执行”的选择。
③ 边界 实现是叠加在Outlook上的邮件时间解析和日程建议原型;不是通用任务代理,也不是对12条原则的全面因果验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 SVM文本分类并校准意图概率;按收益、误操作及打扰成本设置决策阈值;结合阅读停留时间选择介入时机;允许手动调用、取消、降级到日历范围及编辑建议。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 展示Lookout自动提取会议日期、创建待确认预约、低置信度询问和时机建模;文中主要证据是系统与概率/效用曲线,未提供现代意义的大样本随机对照效率提升结果。
证据定位 PDF pp.1–2:12条原则;pp.2–7:Lookout实现、概率/效用及注意力模型;pp.7–8:总结。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P056 · Application paper · HCI / H4
Vibe Coding XR: Accelerating AI + XR Prototyping with XR Blocks and Gemini
待核实 · Ruofei Du; Benjamin Hersh; David Li; Nels Numan; Xun Qian; Yanhe Chen; Zhongyi Zhou; Jiahao Ren; Xingyue Chen; Robert Timothy Bettridge; Faraz Faruqi; Xiang ‘Anthony’ Chen; Steve Toh; David Kim
返回 H4 主题 Overview ↑
① 做了什么 通过XR Blocks的高层空间交互API与Gemini,将自然语言需求生成可运行WebXR原型,并提供60条提示的初步技术评测。
② 贡献 整合提示、代码生成、人工检查与即时XR运行的工作流;发布XR Blocks及VCXR60试点任务。
③ 边界 60提示来自20人四次工作坊;pass@1仅指桌面模拟器无运行错误,不衡量视觉质量、需求满足或真机交互正确性。“一分钟内”不是所有配置的结果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Reality Model封装用户、物理场景、感知/交互组件;Gemini生成脚本;XR Blocks v0.11.0通过Playwright无头Chromium监控错误,四种配置各运行5轮。
既有研究建议 将“可运行”拆成运行无错、空间交互正确、教学步骤正确,在真机上测生成原型的完整任务完成。
结果记录 表1:Gemini3.1Pro高思考pass@1=95.5%,时间中位86.02秒;低思考94.1%/33.39秒;3Flash高87.8%/22.26秒、低87.4%/17.30秒。每条提示5次中至少一次无错误。
证据定位 PDF pp.3–5:框架、表1及§4–5。
本轮核对摘要/首页,既有方法及数值未全部重验
打开作者项目/代码 ↗
P057 · Application paper · HCI / H4
Thing2Reality: Enabling Spontaneous Creation of 3D Objects from 2D Content using Generative AI in XR Meetings
2025 · Erzhen Hu, Mingyi Li, Jungtaek Hong, Xun Qian, Alex Olwal, David Kim, Seongkook Heo, and Ruofei Du
返回 H4 主题 Overview ↑
① 做了什么 在远程XR会议中把物理物体、网页图片转成可共同操作的3D表示,并在3D对象与2D白板快照间切换,支持即时讨论。
② 贡献 实现Thing2Reality的物体级2D→3D→2D交互链,研究多种表示在协作不同阶段的互补用途。
③ 边界 生成的是条件多视图/3D Gaussian近似表示,不保证精确几何、尺寸或不可见表面;研究为探索性原型评估,未设置2D屏幕共享基线。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 用户圈选对象→MobileSAM分割→条件多视图扩散与LGM Gaussian重建→Unity多人XR;支持缩放、移动、正交视图和白板投影。
既有研究建议 把生成三维对象的不可见表面标为待核查,检验这种提示是否减少远程教学中的错误空间指认。
结果记录 单人研究N=12均完成任务,工作流评分4.9/5、参与感5/5;双人研究18人/9对观察到2D组织叙事、3D空间解释及混合/顺序使用策略;7/9对准备演示时主动生成多个2D快照。
证据定位 PDF pp.4–7:实现、研究1;pp.8–12:研究2;§8.3。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P058 · Application paper · HCI / H4
How Well Can 3D Accessibility Guidelines Support XR Development? An Interview Study with XR Practitioners in Industry
2026 · Daniel Killough; Tiger F. Ji; Kexin Zhang; Yaxin Hu; Yu Huang; Ruofei Du; Yuhang Zhao
返回 H4 主题 Overview ↑
① 做了什么 访谈25位XR行业从业者,检查六套资源中的20项3D无障碍指南能否支持XR开发,分析指南含糊、场景不匹配和落实责任问题。
② 贡献 给出跨视觉、运动、认知、言语、听觉的指南适用性分析与开发责任/实施建议;强调指南应提供可操作示例。
③ 边界 评估对象是从业者对指南的解释和可行性判断;没有实现并测量全套辅助功能,也没有证明残障用户效果改善。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 半结构访谈、指南排序/讨论、主题分析,将优先级、开发阶段和责任组织成矩阵。
既有研究建议 把指南转成可执行的 XR 教程检查项,与不同能力用户共同验证,区分开发者认可与真实可用性。
结果记录 25人均提出可结合其项目的实现思路;12人报告沉浸与无障碍的张力,20人希望补充具体案例/实现;发现即时安全、平台依赖、需情境调整等不同优先级。
证据定位 PDF §3–4、表2–3、§5.3;pp.3–11。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P059 · Application paper · HCI / H1
Sensible Agent: A Framework for Unobtrusive Interaction with Proactive AR Agents
2025 · Geonsun Lee; Min Xia; Nels Numan; Xun Qian; David Li; Yanhe Chen; Achin Kulshrestha; Ishan Chatterjee; Yinda Zhang; Dinesh Manocha; David Kim; Ruofei Du
返回 H1 主题 Overview ↑
① 做了什么 结合多模态情境感知决定主动AR助手提供什么帮助,以及用语音、视觉、头/手/注视等何种方式交互,从而降低打扰和主观操作负担。
② 贡献 将建议内容和交互模态联合适配;专家工作坊N=12、标注研究N=40及XR原型研究N=10支撑设计。
③ 边界 当前没有长期用户偏好建模,也未求解精确的介入时机;测试为有限AR和360°视频场景。
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 第一视角相机/传感器与LMM推断活动和约束,选择图标、二选一或多选建议及可用输入模态;与语音提问基线做被试内比较。
既有研究建议 加入用户偏好和任务阶段,比较介入时机与交互模态的独立贡献,测长期打扰及漏助。
结果记录 N=10:Raw-TLX均值20.55对43.27,主观负担降低;偏好6.00对3.80/7;但交互更慢,28.54秒对16.43秒(p<.001)。SUS81.33对76.67,差异不显著(p=.11)。
证据定位 PDF pp.14–16,§7.4、图8、§9。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P060 · Application paper · HCI / H4
XR Blocks: Accelerating Human-centered AI + XR Innovation
2025 · David Li; Nels Numan; Xun Qian; Yanhe Chen; Zhongyi Zhou; Evgenii Alekseev; Geonsun Lee; Alex Cooper; Min Xia; Scott Chung; Jeremy Nelson; Xiuxiu Yuan; Jolica Dias; Tim Bettridge; Benjamin Hersh; Michelle Huynh; Konrad Piascik; Ricardo Cabello; David Kim; Ruofei Du
返回 H4 主题 Overview ↑
① 做了什么 提出跨桌面模拟器与XR设备的模块化Web框架,统一感知、渲染、交互和AI服务,以减少AI+XR原型开发的集成工作。
② 贡献 Reality Model与可插拔Core引擎,提供用户、世界、交互及AI模板和演示。
③ 边界 作者明确说agents、peers、context等概念原语仅初步实现;不是完整通用多代理/持久记忆/跨设备协作平台。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 WebXR、three.js、TensorFlow及Gemini之上封装相机/深度/音频、物理、手势与智能模块,同一高层脚本在模拟器和设备运行。
既有研究建议 为教程步骤加入可检查的空间前置条件,比较组件复用是否同时降低集成成本和真实设备错误。
结果记录 展示遮挡/重照明、虚实物理交互、手势控制和情境助手等开源样例;本白皮书未报告受控开发效率实验或通用基准提升数值。
证据定位 PDF §4–6,尤其§6.2 pp.6–7。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P061 · Application paper · XR tutorial / X0
AgentHands: Generating Interactive Hand Gestures for Spatially Grounded Agent Conversations in XR
2026 · Ziyi Liu; David Li; Zhongyi Zhou; David Kim; Ruofei Du; Xun Qian
返回 X0 主题 Overview ↑
① 做了什么 让XR会话助手以与语音同步、指向真实场景的虚拟手势解释对象、动作和位置,缩小语言指令与空间理解之间的差距。
② 贡献 形成手势设计分类并实现带GestureEvents的语言生成、解析和动画流水线。
③ 边界 依赖轻量预扫描对象注册表,主要适合静态场景;手势实例来自人工编写的有限集合,并非任意动作生成或物理机器人操作。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 N=10形成性研究→LLM生成按词对齐的手势类型/参数→解析为时间戳姿态→Unity/OpenXR渲染;Galaxy XR、Gemini2.5Flash与语音识别/合成。
既有研究建议 扩展到物体移动和遮挡场景,测手势与对象注册失配能否被检测,并用实际操作结果评价指示效果。
结果记录 N=12被试内研究,定位对象评分6.50对4.58/7,参与感6.08对4.58,理解困难1.83对3.58;数值信息理解差异不显著。主要指标是体验问卷,未证明长期记忆或实际任务正确率提升。
证据定位 PDF §4.5、§6、图8 p.13、§7 pp.14–15。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P062 · Application paper · HCI / H3
InstructPipe: Generating Visual Blocks Pipelines with Human Instructions and LLMs
2025 · Zhongyi Zhou; Jing Jin; Vrushank Phadnis; Xiuxiu Yuan; Jun Jiang; Xun Qian; Kristen Wright; Mark Sherwood; Jason Mayes; Jingtao Zhou; Yiyi Huang; Zheng Xu; Yinda Zhang; Johnny Lee; Alex Olwal; David Kim; Ram Iyengar; Na Li; Ruofei Du
返回 H3 主题 Overview ↑
① 做了什么 用自然语言生成Visual Blocks的ML可视化流水线,再由用户检查和编辑节点图,减少从空白画布寻找和连接节点的工作。
② 贡献 节点选择器、伪代码生成器与纠错编译器的模块化助手,结合技术评测及N=16用户研究。
③ 边界 生成范围受已支持节点/API和解释器约束;不保证流水线语义完全正确,用户仍需理解和调试。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LLM按指令选择节点→依据节点文档生成伪代码→解释器修复并编译JSON节点图→Visual Blocks交互修改。
既有研究建议 显示节点依赖与修改影响,检验用户能否保留已正确的子流程并定位自然语言需求的歧义。
结果记录 用户研究表2:完成时间中位203.5秒对304.5秒;交互次数中位5对16,均p<.001;NASA-TLX六项中五项改善,心理需求未显著下降。论文“5倍”交互缩减来自其他评测条件,不能代替该用户研究的3.2倍。
证据定位 PDF §3–5、§6.5、表2 p.9、§7–8。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P067 · Base paper · Base paper / B1
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
2024 · Shunyu Yao; Noah Shinn; Pedram Razavi; Karthik Narasimhan
返回 B1 主题 Overview ↑
① 做了什么 用模拟用户、领域规则和API数据库交互评估语言代理,检查最终数据库是否达成目标,并衡量多次执行都成功的可靠性。
② 贡献 零售/航空服务任务及pass^k一致性指标,补充静态工具调用基准。
③ 边界 用户由LLM模拟,后端为受控数据库;pass^k指k次都成功,和至少一次成功的pass@k相反;数据库结果匹配无法穷尽所有对话品质/规则违规。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 给代理政策与工具、模拟用户给需求,通过交互完成状态改变;匹配最终状态并重复运行估计一致成功率。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 表2 GPT-4o pass^1零售61.2%、航空35.2%,按领域平均48.2%;零售pass^8低于25%。因此摘要“<50%”是跨领域平均,不是每个域都低于50%。
证据定位 PDF §2–5、表2、图4。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P079 · Method paper · Method paper / M4
Thinking in 360°: Humanoid Visual Search in the Wild
2025 · Heyang Yu; Yinan Han; Xiangyu Zhang; Baiqiao Yin; Bowen Chang; Xiangyu Han; Xinhao Liu; Jing Zhang; Marco Pavone; Chen Feng; Saining Xie; Yiming Li
返回 M4 主题 Overview ↑
① 做了什么 在360°全景中通过头部转动主动寻找目标物体或路径,构建公共复杂环境H*Bench并训练视觉搜索代理。
② 贡献 对象搜索HOS/路径搜索HPS任务、全景感知—动作闭环与SFT+RL训练。
③ 边界 环境由单张全景表示,主要动作是头部视角旋转/对准;没有真实行走、避障、动态环境或完整机器人部署验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从全景渲染当前视角,根据图像/历史选择头部动作;Qwen2.5-VL-3B全参数SFT后RL优化搜索成功。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 对象搜索14.83%→47.38%,路径6.44%→24.94%;Gemini2.5Pro基线HOS31.96%、HPS33.00%,故训练模型并非在路径上超过最佳闭源模型。
证据定位 PDF §3–4、表1与训练结果、图5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P094 · Base paper · Base paper / B1
SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?
2026 · Kean Shi; Zihang Li; Tianyi Ma; Zengji Tu; Jialong Wu; Wendong Xu; Xinbo Xu; Qingyao Yang; Ruoyu Wu; Weichu Xie; Ming Wu; Jason Zeng; Michael Heinrich; Elvis Zhang; Liang Chen; Kuan Li; Baobao Chang
返回 B1 主题 Overview ↑
① 做了什么 在23个可部署SaaS系统、6个职业领域中设置106个跨应用长流程任务,以加权检查点衡量部分进度和完整完成。
② 贡献 可部署真实软件环境及长流程多模态评测,区分checkpoint score与resolved rate。
③ 边界 是受控部署的SaaS工作流评测,成绩依赖给定工具/步数/模型版本;部分纯文本模型只评文本域,分母不同。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 提供任务、应用入口和凭据,代理操作浏览器/GUI;检查各中间状态和最终目标,分析阶段衰减与错误类型。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 表2最高总体检查点分43.9%,最高全流程完成率3.8%;GPT5.5High等头部检查点约43–44%,不代表完成同等比例任务;模型在后续阶段持续衰减。
证据定位 PDF §3–4、表2 pp.7–9、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P063 · Base paper · Base paper / B3
Large Language Models and Causal Inference in Collaboration: A Comprehensive Survey
2025 · Xiaoyu Liu; Paiheng Xu; Junda Wu; Jiaxin Yuan; Yifan Yang; Yuhang Zhou; Fuxiao Liu; Tianrui Guan; Haoliang Wang; Tong Yu; Julian McAuley; Wei Ai; Furong Huang
返回 B3 主题 Overview ↑
① 做了什么 从双向关系综述因果推断与LLM:因果方法帮助推理、公平安全、可解释性和多模态建模;LLM知识与生成能力帮助因果发现和效应估计。
② 贡献 提供双向任务分类与方法梳理,组织因果视角下的LLM评测、干预和知识辅助推断。
③ 边界 综述,没有提出统一因果求解器或新实验排行榜;文献中的因果保证依赖各自识别假设。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 按“因果推断→LLM”和“LLM→因果推断”组织研究,人工筛选相关论文/预印本并归纳挑战。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 主要产出为分类、研究对照和开放问题:因果知识、可识别性、模型偏差和评估可靠性仍需结合;无统一效应量可报告。
证据定位 PDF §2–5、p.9 Limitations。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P141 · Application paper · HCI / H1
Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration
2021 / 2020 · Xavier Puig; Tianmin Shu; Shuang Li; Zilin Wang; Yuan-Hong Liao; Joshua B. Tenenbaum; Sanja Fidler; Antonio Torralba
返回 H1 主题 Overview ↑
① 做了什么 提出先观察、后协助的两阶段家庭任务:助手从另一智能体的一次示范中推断目标,再在不同房间配置中协助完成同一目标。VirtualHome-Social支持多智能体互动,并以规划、学习基线和真人实验评估社会感知与协作效率。
② 贡献 将目标推断与跨场景协作联合纳入可复现基准;提供多智能体家庭仿真、任务划分、成功率/加速比指标,并检验仿真人类与真实参与者配合时的结论是否一致。
③ 边界 Watch阶段学习目标,Help阶段执行;本文基线使用视野内物体的真值符号状态,并非端到端像素感知。目标以预设谓词组合表示,低层动作受模拟器限制;未实现在线澄清对话、XR头显取证或持续更新目标推断。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Transformer编码示范中的物体状态,再经LSTM与时间聚合预测目标谓词;对比层次规划HP、层次RL及学习高层策略与规划低层动作的Hybrid。规划器考虑Alice的未来计划,降低重复劳动与动作冲突。训练1,011个任务;两个测试集各100个任务,保留未见公寓及谓词组合,单轮最多250步。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 Test-1目标识别precision/recall为0.85/0.96;仅看最终观察为0.79/0.75;输入Alice动作则为0.99/0.99,说明结果明显依赖输入条件。Test-2组合任务降至0.68/0.64。HP和Hybrid能提供帮助,随机目标HP在40%的回合产生目标冲突。真人单人实验6人,协作实验12人、90次试验:三种助手的总体排序与仿真评估一致。
证据定位 PDF pp.3–5:任务、输入条件与基线;pp.6–7:目标识别和协作结果;pp.8–9及附录D:真人实验与边界。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P142 · Base paper · Base paper / B4
Alchemy: A Benchmark and Analysis Toolkit for Meta-Reinforcement Learning Agents
2021 · Jane X. Wang; Michael King; Nicolas Porcel; Zeb Kurth-Nelson; Tina Zhu; Charlie Deck; Peter Choy; Mary Cassin; Malcolm Reynolds; Francis Song; Gavin Buttimore; David P. Reichert; Neil Rabinowitz; Loic Matthey; Demis Hassabis; Alexander Lerchner; Matthew Botvinick(Wang与King共同一作)
返回 B4 主题 Overview ↑
① 做了什么 提出具有可分析潜在因果结构的元强化学习环境Alchemy。智能体通过试用药水、改变石头属性来发现每个episode的化学规则,并利用跨trial知识提高收益;同时提供符号版本、理想观察者和行为诊断工具,定位强化学习未能学会哪些抽象规律。
② 贡献 兼顾组合任务丰富度和机制透明性,使环境机制、belief与参考策略可计算;把总体分数拆解为结构发现、信息利用和动作执行的能力诊断。
③ 边界 每个episode包含10个trial;机制在episode内固定,跨episode重新采样,共167,424种预设化学配置。它研究已有真值机制的发现,不是创作者尚未定义规则的开放补全。理想观察者仅对当前trial做精确前瞻,并非对整个10-trial episode进行全局最优规划。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Unity第一人称3D环境与共享机制的符号环境;药水在三维属性立方体上改变石头状态,目标是提高投入坩埚的石头价值。训练IMPALA/LSTM与VMPO/Transformer-XL基线,另实现维护可能机制集合并搜索动作的理想观察者。通过额外提供真值机制或Bayesian belief、增加预测辅助损失,诊断感知与推断瓶颈。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 表1在1,000个测试episode上报告均值±标准误:IMPALA 140.2±1.5,VMPO 156.2±1.6,符号VMPO 155.4±1.6,随机启发式145.7±1.5,理想观察者284.4±1.6,oracle 288.5±1.5。基线虽训练2×10^10步仍远低于参考策略;提供显式belief/机制显著改善表现,说明困难不只来自视觉控制。
证据定位 PDF pp.4–5:任务机制、规模与表1;p.5脚注6:理想观察者的trial内边界;pp.6–10:训练、诊断和讨论。
本轮核对摘要/首页,既有方法及数值未全部重验
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P157 · Exploring Exploration with Foundation Agents in Interactive Environments
评测价值 · PDF pp.1–2,摘要与实验问题定义
《Exploring Exploration with Foundation Agents》认为 Alchemy 能揭示简单、近乎无状态的探索任务难以区分的能力差异:跨试次整合证据、元学习,以及规则改变后的策略适应。
适用范围 该研究使用自建的文本版 Alchemy;其对模型的观察不能直接视作原始视觉环境中的测试结果。
查看评价原文 ↗
打开论文公开页面 ↗
P143 · Base paper · Base paper / B1
Interactive Visual Reasoning under Uncertainty
2023 / 2022 · Manjie Xu; Guangyuan Jiang; Wei Liang; Chi Zhang; Yixin Zhu(Xu与Jiang共同一作)
返回 B1 主题 Overview ↑
① 做了什么 IVRE把Blicket检测变成主动视觉推理任务:仅凭初始场景不能知道所有物体是否会使机器激活,智能体必须提出新实验、根据结果更新belief,并在有限次数内解除不确定性。对符号、像素、LLM和人类基线的比较显示,实验选择和证据整合均构成明显瓶颈。
② 贡献 提供可干预、可反馈的视觉推理环境,联合评估假设更新与实验效率;用共享底层机制的符号/像素版本区分推理难度与感知难度。
③ 边界 9个物体、其中1–4个Blicket,4个初始context面板,总时步上限T=10;机制为至少一个Blicket出现即激活的OR规则,且告知Blicket总数。行动简化为选取物体集合,不含机器人运动控制、用户代执行、空间提示或注意力中断。
XR 支撑方向:XR-C
共享方法接口:F6
方法、研究建议与证据定位
方法 智能体同时输出下一实验的物体选择与各物体Blicketness belief;观测为二进制向量或160×120合成图。奖励联合全体识别成功、每步成本及与搜索oracle belief的Jensen–Shannon距离。对比随机/Bayes/逐个测试/NOTEARS/搜索组合、actor-critic RL与GPT-3.5/4。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 PDF表2的episode全物体识别准确率:人类98.15%,Search-Naive 83.80%,符号DDPG-Re 46.03%,GPT-4 26%,GPT-3.5 11%;像素DDPG与TD3仅0.72%/0.31%。机器基线通常评估10,000个随机episode,LLM评估100个,不能把这些值视作等样本量对照;人类为单独实验。
证据定位 PDF pp.4–5:环境及奖励;pp.6–7:基线和人类设置;p.8表2:结果;pp.9–10:分析与明确局限。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P064 · Method paper · Method paper / M4
Causality Model for Semantic Understanding on Videos
2025 · Yicong Li(李逸聪;学位作者);导师Tat-Seng Chua
返回 M4 主题 Overview ↑
① 做了什么 围绕视频关系检测与视频问答中的长尾、背景混淆和复杂时空结构,依次提出IVRD、IGV、EIGV和STR/TranSTR,研究因果建模与视觉证据选择。
② 贡献 四部分:关系原型与干预去偏;问题关键场景的不变定位;结合等变性的可解释定位;复杂长视频中关键帧和对象的时空选择。
③ 边界 针对具体监督视频理解任务的结构建模与正则化;没有证实任意现实因果发现。作者明确缺少人类因果场景定位标注,主要由QA准确率间接验证定位质量。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 IVRD以对象轨迹和关系原型降低对象—关系偏置;IGV置换环境保持答案不变;EIGV再要求因果场景/问题语义变化引发答案等变;TranSTR可微选择时刻/对象并改进候选答案解码。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 表3.2 ImageNet-VidVRD:mAP22.97对基线21.24,零样本mAP1.47对0.60;表4.2 IGV NExT-QA51.34对HGA50.01;表5.2 EIGV跨骨干/数据集提升1.3–5.2个百分点;表6.3 TranSTR NExT-QA61.5、MSVD47.1、MSRVTT43.1,表6.4 Causal-VidQA62.2对VGT55.4。不同章的骨干/设置不同,不能视为单一连续受控消融。
证据定位 摘要PDF pp.9–11;表3.2 p.46、表4.2–3 p.71、表5.2 p.91、表6.3–4 p.114;结论pp.120–123。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P065 · Application paper · HCI / H2
Human-in-the-Loop through Chain-of-Thought
2023 · Zefan Cai; Baobao Chang; Wenjuan Han
返回 H2 主题 Overview ↑
① 做了什么 通过人类局部修改LLM推理链提升多步推理,并用成本—效用模型分析人工纠错投入的取舍。
② 贡献 Manual Correction System(MCS)与CAMLOP成本效用模型,将中间逻辑修正和人工成本一起评估。
③ 边界 使用text-davinci-002及12个推理数据集;改善包含额外人工信息,不能等同模型自主推理提升;经济模型最优性仅相对其成本/效用假设。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 人工检查并修正推理子步骤,继续生成;可结合self-consistency;以Cobb–Douglas式效用与预算分析纠错策略。
既有研究建议 固定人工纠错时长,比对只改最终答案、修改关键中间步骤和补充原始证据的团队收益。
结果记录 8个算术数据集MCS比CoT平均+4.68个百分点,结合self-consistency平均+6.39;GSM8K56.48→61.56→62.92(5次运行中位);还评估常识/符号任务。
证据定位 PDF §3–4、表2–3、§5–6。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P144 · Method paper · Method paper / M5
Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation
2023 · Lorenz Kuhn; Yarin Gal; Sebastian Farquhar
返回 M5 主题 Overview ↑
① 做了什么 针对同一含义可有多种语言表达的问题,将LLM输出不确定性从token序列层提升到语义层:采样多个答案,将语义等价答案聚类,再对含义的概率分布计算熵。无需重新训练被测生成模型,在自由回答QA上更有效预测答案是否可靠。
② 贡献 提出semantic entropy及基于双向蕴含的语义聚类;分析采样温度、表达长度、样本数如何影响语言不确定性估计,避免把措辞差异误当作事实分歧。
③ 边界 实验以OPT 2.7B–30B、CoQA开放书QA和TriviaQA闭卷QA为主;需要多次生成、序列概率以及用于双向蕴含判断的DeBERTa模型。无监督指无需该任务的正确性标签训练不确定性估计器,不表示系统完全没有经过监督训练的组件。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 对同一问题采样M个答案;将问题与答案一起输入NLI模型,在两个方向均为entailment时聚为同一含义;聚合簇内序列概率并估计语义熵。对照普通/长度归一化预测熵、词面相似度和p(True),用错误检测AUROC评价。
既有研究建议 【topic 层候选方向】将可核查证据和经校准的置信信息放在关键决策点,能否改善用户依赖而不过度增加阅读负担?
结果记录 表2中30B设置:CoQA语义熵AUROC 0.77,单纯不同含义数量为0.66;TriviaQA分别0.83/0.79。人工核对聚类等价判断准确率为CoQA 95.5%、TriviaQA 92.7%。更多样本和合适的中间温度通常有利,文中主要采样温度0.5;AUROC衡量排序辨别能力,不能当作答案正确率。
证据定位 PDF pp.4–6:语义熵与双向蕴含;p.7:模型、数据及评价;p.8表2及p.9:结果、采样敏感性与讨论。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P066 · Method paper · Method paper / M2
Let’s Verify Step by Step
2024 · Hunter Lightman; Vineet Kosaraju; Yura Burda; Harri Edwards; Bowen Baker; Teddy Lee; Jan Leike; John Schulman; Ilya Sutskever; Karl Cobbe
返回 M2 主题 Overview ↑
① 做了什么 比较对每一步推理给反馈的过程监督与只标记最终答案的结果监督,在数学推理中过程奖励模型更适合挑选可靠解答,并发布PRM800K人工标注。
② 贡献 系统对比PRM/ORM、主动学习收集步骤标注及约80万条反馈数据集。
③ 边界 主要训练奖励/排序模型,固定生成器进行best-of-N选择;作者明确没有用奖励模型对生成器做RL。78%是在代表性MATH测试子集、较大采样预算下的结果。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F2
方法、研究建议与证据定位
方法 人类逐步判断正确/错误/中性,训练步骤奖励模型;与自动最终答案标签训练的ORM和多数投票比较;主动选择高价值错误样本。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 最佳过程监督系统在所评MATH子集解出约78%;PRM随N增加优于ORM和多数投票;主动学习带来约2.6倍数据效率提升。
证据定位 PDF §2、§3–5、图3、§8;方法边界p.3。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P145 · Method paper · Method paper / M1
Generative Agent-Based Modeling with Actions Grounded in Physical, Social, or Digital Space Using Concordia
2023 · Alexander Sasha Vezhnevets; John P. Agapiou; Avia Aharon; Ron Ziv; Jayd Matyas; Edgar A. Duéñez-Guzmán; William A. Cunningham; Simon Osindero; Danny Karmon; Joel Z. Leibo
返回 M1 主题 Overview ↑
① 做了什么 Concordia是构建生成式多智能体模拟的框架。智能体以组件和关联记忆组织行为,由Game Master维护环境并将自然语言动作转为情境后果或结构化/API操作,从而连接社会互动、模拟物理状态和数字服务。论文讨论应用场景及验证模拟可信度的方法。
② 贡献 以可组合组件统一LLM调用、记忆检索、角色行为和Game Master环境更新;支持将自然语言社会行为接到明确的外部状态变量与数字操作,提供开放实现与建模讨论。
③ 边界 自然语言GM对物理合理性的判断属于语言模型模拟;只有明确接入程序/状态变量的部分拥有相应执行语义。论文包含已实现案例与潜在应用设想,不能把法律/规范涌现、真实用户预测、所有外部应用接入都视为已验证功能。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 每个智能体用长期关联记忆与工作记忆组件回答身份、情境、适当行动等问题;GM解析尝试动作、更新状态并向不同角色发送其可见观察。数字案例通过嵌套PhoneGameMaster和PhoneUniverse选择app、函数和参数,再更新应用状态及通知。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 主要结果为框架与定性案例:展示多智能体叙事、数字手机/日历操作的调用流程,以及可接入确定性状态更新的模拟方式。本地报告未提供统一任务集上的成功率、基线消融或真实人类行为预测误差,不能据此声称社会模拟已达真实预测精度。
证据定位 PDF pp.5–10:组件、GM及实验设计;pp.10–11:模拟验证边界;pp.16–19:数字服务实例与明确标为潜在的应用;后续章节:讨论。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P162 · Method paper · Method paper / M8
Timestep Embedding Tells: It's Time to Cache for Video Diffusion Model
2025 · Feng Liu; Shiwei Zhang; Xiaofeng Wang; Yujie Wei; Haonan Qiu; Yuzhong Zhao; Yingya Zhang; Qixiang Ye; Fang Wan
返回 M8 主题 Overview ↑
① 做了什么 TeaCache是一种无需更新视频扩散模型权重的推理加速方法。利用时间步嵌入调制后的输入变化估计模型输出变化,按累计差异阈值决定何时重新计算、何时复用缓存的Transformer残差,以适应去噪过程中的非均匀冗余。
② 贡献 把固定间隔缓存改为随输入变化的自适应缓存;用时间步调制输入的相对L1距离作代理,再经多项式校准估计输出变化。无需微调基础模型,但仍需校准样本和模型相关的阈值、拟合参数。
③ 边界 研究的是既有DiT视频生成器的去噪计算复用,不是长期记忆、世界状态建模或跨镜头剧情推理。缓存的是扩散Transformer的残差信号,不能理解为直接复用整帧视频或学习新的因果规律。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 计算相邻时间步的调制输入相对L1距离,以多项式拟合输入差异到输出差异的尺度关系;累计估计差异未过阈值时复用残差,超过阈值则重算并清零累计值。用T2V-CompBench的70个提示、覆盖7类属性作拟合;slow/fast阈值分别为0.1/0.2。在Latte、Open-Sora 1.2、Open-Sora-Plan及A800 80GB GPU上评估速度和VBench、LPIPS、SSIM、PSNR。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 PDF p.7 Table 1:Open-Sora-Plan的65帧512×512设置,原始延迟99.65秒、VBench 80.39%;TeaCache-slow为22.62秒(4.41倍)、80.32%,下降0.07个百分点;fast为14.60秒(6.83倍)、79.72%,下降0.67个百分点。Latte-fast加速3.28倍,VBench由77.40%降至76.69%;Open-Sora 1.2-fast加速2.25倍,79.22%降至78.48%。这是各自基础模型和指定硬件设置下的速度/质量权衡,不是通用无损加速保证。
证据定位 PDF p.1:题名、作者、v2日期和摘要;pp.4–5 §3:输入/输出差异及多项式校准;p.6 §3.4和§4.1:残差缓存、70提示校准和硬件;p.7 Table 1:延迟及VBench;pp.7–8 Tables 2–4:消融和多GPU结果。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P163 · Application paper · AIGC / G4
Automating the Search for Artificial Life with Foundation Models
2025 · Akarsh Kumar; Chris Lu; Louis Kirsch; Yujin Tang; Kenneth O. Stanley; Phillip Isola; David Ha
返回 G4 主题 Overview ↑
① 做了什么 ASAL利用基础视觉模型的表示空间,自动搜索能产生指定现象、持续新颖行为或多样行为集合的人工生命仿真。优化的是预先定义仿真族的参数、规则或初始状态,而不是直接生成看似生命的视频像素。
② 贡献 统一三类搜索:以文本对齐为目标的现象搜索、与历史状态保持新颖性的开放性搜索、不同仿真之间的多样性搜索。覆盖Boids、Particle Life、Life-like CA、Lenia及NCA,并用CLIP表示量化参数敏感性、非线性和仿真停滞等现象。
③ 边界 必须先指定可执行、可渲染且参数化的仿真基底。主要使用CLIP图像嵌入评估渲染帧;模型不直接推断任意现实世界规则,也不证明搜索到真实生物机制或无限持续的开放式进化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 将初始状态、动力学和渲染器表示为参数theta。单目标搜索最大化渲染图像与文本的CLIP相似度,使用Sep-CMA-ES;NCA的时序目标用截断时间反向传播和Adam。开放性目标降低当前帧与历史最近邻的相似度,对2^18=262,144种Life-like CA穷举。多样性搜索用遗传算法维护8,192个解,通过最近邻表示距离淘汰最不新颖的解。以DINOv2和像素表示做表示空间消融。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 在多个基底展示匹配文本、按时序变化和多样化的仿真;Conway's Game of Life按所定义开放性分数位于Life-like CA前5%。附录说明穷举每个CA使用256个随机初态、运行2,048步,并抽取32个时刻计算开放性;多样性搜索运行100,000次迭代。CLIP和DINOv2相较像素表示的优势主要通过定性图集展示。这些结果不等于独立人评确认的通用开放性准确率。
证据定位 PDF pp.4–6 §3和Eqs.2–4:三个搜索目标;pp.7–9 §4.1–4.3:基底、搜索和前5%结果;pp.10–13 Figs.5–8:开放性、图集和表示消融;p.14讨论;pp.20–22附录A/B:仿真步数、种群、初态数量和迭代配置。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P146 · Application paper · XR tutorial / X0
ExpertAF: Expert Actionable Feedback from Video
2025 / 2024 · Kumar Ashutosh; Tushar Nagarajan; Georgios Pavlakos; Kris Kitani; Kristen Grauman
返回 X0 主题 Overview ↑
① 做了什么 从学习者执行体育动作的视频和3D姿态生成可操作的指导,包括指出优缺点的专家式文字反馈、检索正确示范,以及生成修正后的3D姿态。利用Ego-Exo4D专家评论构建弱监督错误—正确动作配对,训练统一视频、姿态与文本模型。
② 贡献 将技能评价从单一分数推进到具体纠正建议与示范;贡献弱监督配对数据和支持三类输出的多模态自回归模型。
③ 边界 实际评估篮球、足球、攀岩三类身体技能;主设置输入包含ego/exo视频与3D姿态,假定一个主要动作执行者。输出视频是检索已有示范,生成的是姿态序列;新专家视频生成留作未来。没有进行长期训练者技能提升或实时XR闭环试验。
XR 支撑方向:XR-C XR-E
方法、研究建议与证据定位
方法 Llama3-70B压缩专家评论并标注身体部位/正确性;按技能等级匹配错误与正确演示,用PA-MPJPE对齐时间并过滤。InternVideo2视频特征、姿态codebook和文本映射至Llama3-8B,联合学习评论、示范检索与姿态token生成。训练25,505个tuple,人工核验测试1,272个。
既有研究建议 把检索示范与生成姿态做成学员视角对照,检验动作纠正、延迟保持和新场景迁移,而不只评价反馈偏好。
结果记录 表1:ExpertAF的BLEU-4/METEOR/ROUGE-L为44.9/49.6/54.6;示范检索recall@50为19.1%、median rank 158,优于LLaVA-FT w/pose的18.0%/172;姿态误差PA-MPJPE由该基线150mm降至135mm。每场景5名评价者的1–4分质量评分也优于基线。带正确示范等特权输入的full-sup行不可与主设置混用。
证据定位 PDF pp.3–6:任务、配对数据、编码器及训练;p.7表1:三类输出结果及特权输入说明;p.8:人评和失败案例。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P147 · Application paper · HCI / H3
DreamGarden: A Designer Assistant for Growing Games from a Single Prompt
2025 / 2024 · Sam Earle; Samyak Parajuli; Andrzej Banburski-Fahey
返回 H3 主题 Overview ↑
① 做了什么 从一个开放的梦境、场景或游戏构想出发,LLM规划器逐层分解任务,调用代码和素材子模块在Unreal Engine内构建环境。用户通过可视化计划树扩展、剪枝、查看中间产物及编辑反馈,与自主生成过程协作。
② 贡献 将分层计划、可编辑游戏引擎资产、编译/运行/视觉反馈和节点界面整合为创作助手,研究用户在主动编辑与旁观生成之间切换的交互方式。
③ 边界 实现C++ Actor、场景布局、素材生成/检索与UE内运行;实验主要限制为无需玩家的0-player模拟。修改节点会撤回相关实现及顺序上后续任务,并重新执行;不是精确因果依赖分析,也没有证明任意规则编辑后的最小后果更新。视觉自动评估只看启动后前6秒的6张截图。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GPT-4o将seed prompt递归展开为计划树,叶节点分派给代码/素材模块;代码经历编译、布局加载、运行、截图评价的反复修正。GUI允许变更叶节点状态、直接改代码或反馈,再继续生成。N=10、每次最多45分钟的形成性可用性研究记录访谈、操作与系统日志。
既有研究建议 【topic 层候选方向】带依赖与来源的编辑界面能否减少反复生成,同时提高作者意图的保留程度?
结果记录 研究参与者认可规划和原型用途,部分人认为计划树本身就有价值;观察到剪枝、扩展与自定义反馈能够改变后续产物。但对复杂游戏机制的能力仍持保留态度。默认超参数下完整流程约1小时,情绪体验有正负两面。论文以定性系统观察和小样本可用性研究为主,没有受控比较的规则正确率或开发效率增益。
证据定位 PDF pp.6–10:模块、代码循环、剪枝与实验设计;p.8:6秒视觉评价边界;pp.11–15:系统结果、用户主题与耗时;pp.15–16:讨论。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P148 · Method paper · Method paper / M5
Detecting Hallucinations in Large Language Models Using Semantic Entropy
2024 · Sebastian Farquhar; Jannik Kossen; Lorenz Kuhn; Yarin Gal(前三位共同贡献)
返回 M5 主题 Overview ↑
① 做了什么 研究幻觉中的一种特定机制:同一提示下随机产生不同且错误的事实性回答。通过聚合同义表达后的语义熵识别这种confabulation,并设计不依赖输出概率的离散版本和长段落事实拆分流程,支持跨任务判断何时不宜直接信任回答。
② 贡献 明确区分随机编造与稳定的系统性错误;将语义不确定性扩展到不同模型、QA/数学任务及GPT-4传记段落,并支持只有文本输出的黑箱接口。
③ 边界 定位的是随采样变化的confabulations,不能保证事实正确,也不处理所有训练错误、欺骗或系统性推理失误。方法为生成后的检测/选择性回答;没有自动获取新环境证据或学习交互式取证策略。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 对同一问题多次采样,用双向蕴含判断将回答按含义聚类;有概率时聚合语义概率,无概率时用簇的样本频率估计离散语义熵。长文本先拆分事实陈述,再围绕陈述生成问题、重采样回答并汇总不确定性;以AUROC和拒答—准确率曲线等评估。
既有研究建议 【topic 层候选方向】将可核查证据和经校准的置信信息放在关键决策点,能否改善用户依赖而不过度增加阅读负担?
结果记录 30个模型×任务组合的平均AUROC:语义熵0.790,naive entropy 0.691,P(True) 0.698,embedding regression 0.687。离散版本总体接近有概率版本;GPT-4长篇传记实验的错误检测AUROC/AURAC也优于比较基线,但拒绝20%以上高风险回答后,P(True)在剩余回答准确率上略占优。上述指标不是模型本身的QA准确率。
证据定位 PDF p.1:confabulation定义、发表日期与边界;pp.2–5:实验、30组合均值及长文本结果;pp.7–10:方法细节;p.11:代码地址。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P149 · Method paper · Method paper / M1
Learning to Clarify: Multi-turn Conversations with Action-Based Contrastive Self-Training
2025 / 2024 · Maximillian Chen; Ruoxi Sun; Tomas Pfister; Sercan Ö. Arık(按本地v2顺序)
返回 M1 主题 Overview ↑
① 做了什么 针对LLM在歧义请求中直接猜测或含糊回答的问题,提出ACT,用询问澄清与直接回答等不同对话动作构造偏好对,再结合当前策略采样和多轮用户模拟训练,使少量对话数据也能教会模型何时澄清及如何完成任务。
② 贡献 把偏好学习从回答表面质量推进到动作选择及多轮任务后果;提出quasi-online DPO训练流程和AmbigSQL歧义SQL任务,并评估缺少人工动作标签的设置。
③ 边界 实验为PACIFIC表格QA、Abg-CoQA阅读QA、AmbigSQL;澄清依赖文本用户模拟器、动作分类器和任务结果判据。无动作标签版本仍使用伪标签及任务数据,不是无需监督。用户回答主要提供信息,不涉及执行物理动作以生成新证据。
XR 支撑方向:XR-L
共享方法接口:F1
方法、研究建议与证据定位
方法 先根据正确/错误对话动作产生winning/losing响应;训练中从当前模型采样,识别动作是否正确。对正确动作继续模拟用户和助手对话,按最终语义/SQL执行结果更新偏好对,再进行DPO式优化。主模型Zephyr-7B,比较50/100/250条对话下的SFT、IRPO及提示基线。
既有研究建议 将澄清动作扩展为“回答一个条件”或“执行一次观察”,在相同用户时间预算下比较信息收益。
结果记录 PACIFIC 50对话、相同Zephyr模型:动作Macro-F1从SFT 69.0升至ACT 82.2,澄清后F1从43.5升至57.2,trajectory F1从61.3升至61.9。AmbigSQL相同50对话设置,execution match由21.9升至43.6,澄清后由13.9升至38.1;但50对话的动作准确率仍低于IRPO(80.8 vs 91.0)。消融支持on-policy采样与多轮模拟的作用,不能概括为所有指标全面最佳。
证据定位 PDF pp.4–7:设定和ACT算法;p.8表1:PACIFIC;p.10表3:AmbigSQL;pp.11–12表4/5:无标签设置与消融;附录:模拟器和提示。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P150 · Method paper · Method paper / M3
WorldCoder, a Model-Based LLM Agent: Building World Models by Writing Code and Interacting with the Environment
2024 · Hao Tang; Darren Key; Kevin Ellis
返回 M3 主题 Overview ↑
① 做了什么 让LLM根据与环境的少量交互,编写可执行Python转移与奖励函数作为世界模型,再由规划器选择行动。模型既要解释已有经历,也应允许找到正收益计划;新证据揭示错误时修改代码,支持环境和目标迁移。
② 贡献 将环境知识显式表示成程序;把optimism under uncertainty写为程序与规划器之间的逻辑约束,以引导探索和修正奖励理解;展示可编辑程序模型的样本效率与迁移优势。
③ 边界 确定性、符号离散状态;Sokoban/MiniGrid及转成符号MDP的ALFWorld。是从既有环境的观测学习模型,不是从任意创作者规则生成完整世界;代码可编辑不意味着已经评测规则编辑的局部保持、合法多样性或全部反事实后果。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F4
方法、研究建议与证据定位
方法 分离Python转移函数与目标条件奖励函数。模型需满足对所有已收集transition的拟合约束,以及存在可达正奖励轨迹的乐观约束。GPT-4根据不一致样本修补代码,REx决定优先改哪个候选;配合有限深度值迭代/MCTS规划、经验回放和少量随机探索。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 Sokoban约前50个动作即可建立基本世界模型;ReAct在基础关卡仅15%±8%成功。示例模型前置约40万LLM token后可用程序规划继续行动;预训练知识贡献被作者明确承认。加入传送门规则后仍能学习阻塞行为;MiniGrid迁移及稀疏奖励任务受益于乐观约束。ALFWorld可合成250余行模型,代表任务通常首个episode约20步探索后获得奖励(3 seeds),不是完整ALFWorld榜单成功率。
证据定位 PDF pp.2–5:表示、约束与算法;pp.6–8图3–5:Sokoban、MiniGrid、ALFWorld结果;pp.9–10:局限;附录D/E:生成代码。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P151 · Method paper · Method paper / M3
COMBO: Compositional World Models for Embodied Multi-Agent Cooperation
2025 / 2024 · Hongxin Zhang; Zeyuan Wang; Qiushi Lyu; Zheyuan Zhang; Sunli Chen; Tianmin Shu; Behzad Dariush; Kwonjoon Lee; Yilun Du; Chuang Gan(前三位共同一作)
返回 M3 主题 Overview ↑
① 做了什么 在各智能体只有第一人称局部观察的条件下,通过可组合视频世界模型预测联合动作后果,并配合他者意图估计与树搜索实现协作。先补全全局俯视状态,再将多智能体动作条件组合起来模拟未来,支持不同合作伙伴和人数。
② 贡献 组合式联合动作建模、针对智能体可达区域的损失加权,以及世界状态补全—意图预测—搜索规划的模块化系统;包含仿真基准和小规模真实人机协作。
③ 边界 主要评估2–4个智能体的桌面拼图、食物组合、按钮取物任务;输入RGBD和相机矩阵,动作采用环境定义的操作。所谓任意人数的实验支持是4-agent训练向2/3-agent迁移,不是无限人数保证。真实机器人实验另用真实数据微调世界模型,仅5次试验。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 融合历次局部RGBD为俯视点云投影并用扩散补全;通过组合各智能体动作条件的扩散预测,并按其可达区域加权学习。VLM负责动作提议、意图跟踪和结果评分,再用树搜索选择计划。对异常高预测收益设置阈值以抑制利用世界模型幻觉。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 表1在每设置20个episode上,COMBO于TDW-Game两合作伙伴成功率均1.00,TDW-Cook为0.90/1.00;移除意图跟踪后分别0.65/0.60及0.80/0.80。2D-FetchQ的60次replay评价成功率81.3%,Co-GAIL为53.3%。真实人类—XArm拼图成功4/5,成功trial平均8.4步。表4预算扩大可改善表现,但该消融样本更小。
证据定位 PDF pp.4–7:组合模型、区域损失及规划;pp.8–10表1–5:仿真结果与计算预算;pp.23–24附录D/表8:真实人机实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P152 · Base paper · Base paper / B4
DiscoveryWorld: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents
2024 · Peter Jansen; Marc-Alexandre Côté; Tushar Khot; Erin Bransom; Bhavana Dalvi Mishra; Bodhisattwa Prasad Majumder; Oyvind Tafjord; Peter Clark
返回 B4 主题 Overview ↑
① 做了什么 提出低成本虚拟科学发现环境,要求智能体完整经历提出假设、设计与执行实验、分析结果、得出解释并完成任务。涵盖蛋白质组、化学、考古、反应堆、植物营养、太空疾病、火箭科学和语言发现,用任务完成、过程与解释知识三类指标区分会操作和真正形成发现。
② 贡献 为端到端科学发现提供可复现、可控参数的互动基准;加入组件级unit tasks和人类科学家参照,避免只用最终成功掩盖不完整推理过程。
③ 边界 8主题×3难度×5参数seed=120个发现任务实例(24个主题—难度组合),另有10类基础unit tasks。环境为抽象文本/2D模拟而非真实实验;任务机制已定义但对agent未知,适合机制发现研究,不替代创作者规则补全任务。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F6
方法、研究建议与证据定位
方法 提供物体、仪器、移动/读写/操作等动作及结构化记分卡;GPT-4o实现ReAct、Plan+Execute、维护实验假设与测量记录的Hypothesizer。简单任务最多100步,普通/挑战任务1,000步;知识按预设解释要求评价。另招募11名自然科学硕士/博士背景参与者。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 表4:ReAct的简单/挑战任务平均完成率38%/18%;Hypothesizer对应解释知识得分34%/8%。机器在基础unit tasks可达到60%左右完成率,仍难完成发现全流程。人类所测16个普通/挑战组合平均完成率66%、知识得分55%;人类评测的任务与seed配置不同,不能与120实例机器均值无条件直接比较。
证据定位 PDF pp.4–6:环境、规模与指标;p.7表4/5:机器;pp.8–9表6:人类与分析;p.15附录B/C:局限、成本和动作空间。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P153 · Base paper · Base paper / B3
Internal Consistency and Self-Feedback in Large Language Models: A Survey
2024 · Xun Liang; Shichao Song; Zifan Zheng; Hanyu Wang; Qingchen Yu; Xunkai Li; Rong-Hua Li; Yi Wang; Zhonghao Wang; Feiyu Xiong; Zhiyu Li
返回 B3 主题 Overview ↑
① 做了什么 从模型内部一致性出发,统一整理置信度估计、幻觉检测、推理、自我修正与自训练等工作。将一致性分成文本响应、token解码和潜在张量三个层次,并用自我评价—反馈—自我更新框架解释现有方法之间的关系与争议。
② 贡献 给出跨响应、解码和潜在表示的一致性分类,以及Self-Evaluate→反馈信号→Self-Update的统一组织框架;把推理时的回答修改与训练时的参数/学生模型更新放在同一研究地图中。
③ 边界 属于综述和概念框架,没有提出并统一验证一个新的通用自我修正算法。文中的‘Consistency Is (Almost) Correctness’是有前提的假设,不是模型答案正确性的定理;当稳定错误来自训练知识或共享偏差时,多次一致仍可能出错。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 按黑箱/灰箱/白箱访问条件,梳理不确定性、置信度、幻觉、语言批评及对比等反馈;归纳推理拓扑、迭代修改、多智能体、偏好学习、蒸馏和数据增广。以Llama3-8B-Instruct的标点计数展示三个一致性层次的区别,并讨论hourglass假说。
既有研究建议 【topic 层候选方向】将可核查证据和经校准的置信信息放在关键决策点,能否改善用户依赖而不过度增加阅读负担?
结果记录 主要结果是文献分类与相互矛盾发现的综合解释。p.5的示例中,同一标点计数问题5次文本回答为{5,3,3,3,3},多数一致但错误;不同解码策略输出为{4,4,3,4,4}。这是小型说明性实验,不能外推为总体性能提升或正式基准结果。
证据定位 PDF pp.4–7:分类、标点示例与统一框架;pp.8–14:方法组织;pp.15–16:争议与一致性假设。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P164 · Application paper · AIGC / G1
Diffusion as Shader: 3D-aware Video Diffusion for Versatile Video Generation Control
2025 · Zekai Gu; Rui Yan; Jiahao Lu; Peng Li; Zhiyang Dou; Chenyang Si; Zhen Dong; Qifeng Liu; Cheng Lin; Ziwei Liu; Wenping Wang; Yuan Liu
返回 G1 主题 Overview ↑
① 做了什么 DaS把具有跨帧固定颜色标识的3D点轨迹渲染成控制视频,注入CogVideoX图生视频模型,在一个架构中支持相机控制、动作迁移、网格动画转视频及物体操纵。3D轨迹既提供几何运动控制,也提供跨帧对应关系。
② 贡献 以首帧相机坐标归一化后的RGB为3D点编码,保持点的颜色跨时间不变,使同一控制表示适配多类视频编辑。冻结基础去噪DiT,仅训练复制的条件分支和零初始化线性注入层。
③ 边界 输出仍是条件生成的2D视频,不是可执行的三维场景或物理世界模拟器。用户需提供与输入图像兼容的轨迹、网格动画或源视频;精细控制受深度估计、分割、跟踪及点覆盖范围限制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从CogVideoX的42个DiT块复制前18块作为条件分支,VAE编码3D跟踪视频,逐块注入控制特征。使用MiraData真实视频和Mixamo渲染视频;真实视频用SpatialTracker跟踪4,900个点,合成视频用真值几何。训练视频为49帧720×480,2,000步、有效batch size 64;论文报告少于1万视频,在8张H800上训练3天。推理50步DDIM,生成49帧约2.5分钟/张H800。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 PDF p.6 Table 1:小幅相机运动的平移/旋转角误差为27.85/5.97度,CameraCtrl为42.31/7.82度;大幅运动为37.17/10.40度,对照66.76/29.70度。p.7 Table 2:动作迁移文本CLIP分数32.6、相邻帧CLIP一致性0.971,TokenFlow为31.9/0.956。Table 3中4,900点控制的FVD为551.3,深度图控制为645.1,基于50个验证视频的再生成比较。网格动画和物体操纵主要展示定性结果。
证据定位 PDF p.1:作者、v2日期、训练规模;pp.4–5 §3:点编码、18块条件DiT、训练和四类控制;p.6 Table 1及p.7 Tables 2–3:定量结果;p.10 §4.5:50视频验证、推理速度;p.10 §5/Fig.11:结构不兼容和无轨迹覆盖的失败模式。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P068 · Method paper · Method paper / M8
TPDiff: Temporal Pyramid Video Diffusion Model
2025 · Lingmin Ran; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 利用扩散前期高噪声下的帧冗余,以低帧率起步并逐阶段增加帧率,配合分阶段扩散训练降低视频生成成本。
② 贡献 时间金字塔扩散与stage-wise训练,统一减少训练和采样计算。
③ 边界 需要相应训练/适配;验证以MiniFlux-vid、AnimateDiff等配置为主,不是任意预训练视频模型的无损即插即用加速。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 沿去噪过程分段求解概率流ODE,阶段间时序插值并对齐数据/噪声,仅末段使用完整帧率。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 30步采样:MiniFlux-vid20.79→12.18秒(1.71倍),AnimateDiff6.01→4.04秒(1.49倍);训练速度约2/2.13倍,所评VBench多数指标保持或改善。
证据定位 PDF §3–4、表1–2、图5 pp.6–8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P069 · Method paper · Method paper / M4
VideoMind: A Chain-of-LoRA Agent for Temporal-Grounded Video Reasoning
2026 · Ye Liu; Kevin Qinghong Lin; Chang Wen Chen; Mike Zheng Shou
返回 M4 主题 Overview ↑
① 做了什么 用规划、时刻定位、验证、回答四个角色进行带时间证据的视频问答,以共享骨干上的多个LoRA切换角色。
② 贡献 角色化视频推理与Chain-of-LoRA,兼顾专门训练能力与显存效率,评估15个基准。
③ 边界 各角色有专门训练数据/优化,并非零训练工具链;定位证据不代表严格因果解释,尚未结合音频。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 planner决定需要何种角色,grounder提出时间段,verifier筛选,answerer基于片段回答;同一Qwen2-VL骨干动态加载角色LoRA。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 表7(2B)Chain-of-LoRA峰值显存4.2GB,对独立四模型16.6GB,性能相同;Video-MME总分55.4对基础53.0,长视频46.3对43.1;NExT-GQA准确率71.4对69.6、mIoU28.6。
证据定位 PDF §3–4、表7 p.9、结论局限。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P070 · Base paper · Base paper / B1
Impossible Videos
2025 · Zechen Bai; Hai Ci; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 构建违背物理、生物、地理或社会常识的视频生成/理解基准,检查模型能否遵循不可能情景提示并识别视频异常。
② 贡献 IPV-Bench分类体系(4域14类)、IPV-TXT生成提示与IPV-VID理解数据及综合生成指标。
③ 边界 目标是按提示生成反现实内容,不能把高分解读为更准确模拟物理;“不可能”包括语境化社会/地理常识,非全是严格物理定律。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 按分类设计提示、收集筛选生成视频,对生成质量/提示跟随及Video-LLM异常理解做评测。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 所测生成模型最佳Mochi1仅37.3%情形生成高质量不可能视频;高视觉质量与异常提示跟随常不一致;视频理解模型仍难联合时间动态和世界知识识别异常。
证据定位 PDF §3–5,表2、§4.1 p.8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P072 · Application paper · AIGC / G1
Wan-Move: Motion-controllable Video Generation via Latent Trajectory Guidance
2025 · Ruihang Chu; Yefei He; Zhekai Chen; Shiwei Zhang; Xiaogang Xu; Bin Xia; Dingdong Wang; Hongwei Yi; Xihui Liu; Hengshuang Zhao; Yu Liu; Yingya Zhang; Yujiu Yang
返回 G1 主题 Overview ↑
① 做了什么 用密集点轨迹移动首帧潜特征,直接作为图生视频条件,实现无需额外运动编码器的精细运动控制,并提出MoveBench。
② 贡献 latent trajectory guidance与运动控制评测集,保持Wan-I2V架构并进行规模化训练。
③ 边界 无架构变化不等于无需训练;需要首帧及运动轨迹,主要展示5秒480p生成,不保证长期遮挡下的可控性。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 将点轨迹投影到VAE潜空间,沿轨迹复制首帧特征,形成时空条件图,对基础I2V模型微调。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 MoveBench/DAVIS上取得较低轨迹EPE和较高PSNR/SSIM;192个多物体样例继续评估;用户研究认为运动控制可与Kling1.5Pro Motion Brush相比,比较限定于所评设置。
证据定位 PDF §3、§5表1–2、§6 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG41 · FlexTraj: Image-to-Video Generation with Flexible Point Trajectory Control
实验比较与接口边界 · PDF p.8,Table 4 与比较说明
FlexTraj 报告,其 Wan2.2-5B 版本在 MoveBench 的 FID、FVD 和 SSIM 上优于 Wan-Move-14B,PSNR 与 EPE 相近;并指出 Wan-Move 主要支持空间稀疏轨迹,未覆盖其密集、时间稀疏或未对齐条件接口。
适用范围 这是不同模型与训练方案的比较,不是单变量消融;指标更好与支持更广控制接口是两项不同主张。
查看评价原文 ↗
打开论文公开页面 ↗
P154 · Base paper · Base paper / B1
Text2World: Benchmarking Large Language Models for Symbolic World Model Generation
2025 · Mengkang Hu; Tianxing Chen; Yude Zou; Yuheng Lei; Qiguang Chen; Ming Li; Yao Mu; Hongyuan Zhang; Wenqi Shao; Ping Luo(前三位共同贡献)
返回 B1 主题 Overview ↑
① 做了什么 研究模型能否将自然语言世界描述转成可供符号规划器使用的PDDL世界模型。通过多阶段数据筛选、人工核验及解析执行和结构指标,评价16个LLM,并比较报错修正、上下文示例、合成数据微调及智能体训练对建模能力的作用。
② 贡献 建立自然语言→符号状态/动作规则的基准和评测流程;将谓词、参数、前置条件与动作效果分开测量,暴露仅生成可解析代码与正确建模之间的差距。
③ 边界 输入已提供谓词/动作名称、类型或签名和高层描述;主设置刻意省略明确前置条件和效果,让模型补足。初始1,801个域经筛选剩264个,人工终检得到103个,分为2个训练示例和101个测试域;不能把中间264个当成最终测试数。EXEC主要检查解析/验证器可执行性,SIM和F1基于参考PDDL结构,不是所有轨迹的行为等价证明。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从已有PDDL域构造自然语言描述,多阶段自动过滤后由6位计算机背景标注者及2位复核者做质量控制。评价9个系列的16个LLM;比较零样本CoT、不做修正EC0与最多3次解析报错反馈EC3、两样本提示、601个合成域上的SFT及智能体轨迹训练。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 Table 1中DeepSeek-R1从EC0到EC3:EXEC 72.3→89.1,谓词F1 71.7→86.7、参数F1 64.0→76.3、前置条件F1 57.6→65.0、效果F1 58.8→67.3;结构SIM反而84.3→84.0。两样本提示能明显改善部分模型,但gpt-4o-mini部分指标退步。合成数据SFT使原本EXEC为0的Llama3.1模型获得可解析建模能力;不同干预没有一致改善所有指标。
证据定位 PDF pp.2–5:任务、指标、数据过滤与103/101计数;pp.6–9:错误类型、Table 1主结果及Table 2示例实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P073 · Base paper · Base paper / B2
The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
2025 · Parshin Shojaee; Iman Mirzadeh; Keivan Alizadeh; Maxwell Horton; Samy Bengio; Mehrdad Farajtabar
返回 B2 主题 Overview ↑
① 做了什么 在可调复杂度的谜题中比较推理模型与普通LLM,分析准确率与思考token随复杂度变化的规律。
② 贡献 使用汉诺塔、棋子交换、过河及积木等可模拟验证任务,识别低、中、高复杂度的不同表现区间并检查推理轨迹。
③ 边界 测量有限模型在给定提示、完整动作序列输出和预算下的谜题表现;不能据此证明模型完全没有推理能力,或所有未来架构存在同一不可逾越上限。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 调节任务规模、以模拟器验证逐步动作,每实例25次采样;匹配推理预算比较pass@k,分析解答出现位置及token使用。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 低复杂度普通模型常较有效,中复杂度推理模型占优,高复杂度二者可降至0;临界复杂度附近思考token反而下降,即使仍有预算;给出算法也未稳定解决精确执行。
证据定位 PDF §4、图4–8、§5及Limitations p.11。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P074 · Base paper · Base paper / B1
Beyond Single-Sentence Prompts: Upgrading Value Alignment Benchmarks with Dialogues and Stories
2025 · Yazhou Zhang; Qimeng Liu; Qiuchi Li; Peng Zhang; Jing Qin
返回 B1 主题 Overview ↑
① 做了什么 把单句中文价值观评测改写成多轮对话与伦理故事,检验更复杂上下文中的价值对齐与责任判断。
② 贡献 基于CVALUES构建C-Plus Values/CVALUES PLUS数据及分层评估框架,暴露单轮直接问题不易发现的失误。
③ 边界 中文语境和定义的伦理评分;分数并非客观普世道德质量,也不等于已改善模型安全性。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 自动/人工清洗原始问题,生成对话陷阱与故事,组合人工和自动评分,比较不同模型在对话/叙事场景的表现。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 本地报告Claude3.5对话得分83.7、故事65.3;许多模型在故事任务下降,但各模型并非一致,Llama3.1-405B对话49.4、故事55.2。
证据定位 PDF §2–5,§5.2–3 p.13、Limitations p.15。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P075 · Method paper · Method paper / M4
Chain-of-Evidence Multimodal Reasoning for Few-shot Temporal Action Localization
2025 · Mengshi Qi; Hongwei Ji; Wulian Yun; Xianlin Zhang; Huadong Ma
返回 M4 主题 Overview ↑
① 做了什么 将视频与由VLM/LLM生成的Chain-of-Evidence文本结合,在少样本条件下定位未见动作类别的时间范围。
② 贡献 层次文本—视觉对齐、逐阶段证据链生成和Human-related Anomaly Localization(HAL)数据集。
③ 边界 few-shot针对新动作类别,基础VLM/LLM和特征器已有预训练;文本生成后有自动过滤、一致性校验、迭代及人工审核,不是无需人工的通用因果定位。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从视频产生事件证据描述,逐层精化时间/动作关系;对齐query/support视觉及语义特征,联合建模动作共同性与差异。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 ActivityNet1.3单实例1-shot mAP@0.5=71.5,多实例5-shot=58.7;在THUMOS14多实例设置改善,但单实例1-shot下降,作者归因于短且不完整动作片段妨碍完整CoE生成。
证据定位 PDF §III–IV、表I/III、图6 pp.6–8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P076 · Application paper · HCI / H2
Interactive Reasoning: Visualizing and Controlling Chain-of-Thought Reasoning in Large Language Models
2025 · Rock Yuren Pang; K. J. Kevin Feng; Shangbin Feng; Chu Li; Weijia Shi; Yulia Tsvetkov; Jeffrey Heer; Katharina Reinecke
返回 H2 主题 Overview ↑
① 做了什么 Hippo将长推理文本组织成可交互的主题树,允许用户删除、添加、修改假设并重新生成,支持有权衡的日常决策。
② 贡献 提出Interactive Reasoning界面与原型,展示在输出最终答案前介入推理内容的人机协作。
③ 边界 可视化的是生成的CoT及其整理结果,不是模型真实内部计算图;作者明确没有声称反馈使推理或答案更准确/更个性化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DeepSeek-R1生成推理,GPT-4o负责整理树、澄清和连接节点;反馈节点/直接编辑后续写;16人被试内比较。
既有研究建议 在用户能修改主题树的基础上加入外部证据,分别测控制感、错误检出和最终决策收益。
结果记录 感知控制评分Hippo5.75对基线4.19,p=.003;用户报告更易理解结构和察觉假设,观察到更有针对性的反馈;没有客观准确率提升结论。
证据定位 PDF §4.3、§5.3、§8 p.11。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P077 · Base paper · Base paper / B2
Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
2026 · Chengshuai Zhao; Zhen Tan; Pingchuan Ma; Dawei Li; Bohan Jiang; Yancheng Wang; Yingzhen Yang; Huan Liu
返回 B2 主题 Overview ↑
① 做了什么 以可控合成环境研究CoT在训练与测试分布的任务、长度和格式差异下何时失败,解释推理链与最终答案可能不一致。
② 贡献 DataAlchemy精确控制分布偏移,分离推理过程、答案与完整链正确性,检验由训练分布形成的归纳偏置。
③ 边界 合成符号转化任务中的受控证据,不是证明所有自然语言推理仅为记忆;大模型训练语料不透明。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 控制训练变换组合、链长度和表达格式,训练/微调多架构规模模型并对比ID、组合迁移和OOD;分别评估链与答案exact match。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 指定变换实验中完整链ID100%,CMP0.01%、POOD/OOD0%;可出现推理100%但答案0.01%,或推理0%但答案100%的分离。数值只适用于该受控任务。
证据定位 PDF §3–8、表1–2 p.7、Limitations p.11。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P155 · Base paper · Base paper / B1
EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios
2026 / 2025 / 2024 · Lu Qiu; Yi Chen; Yuying Ge; Yixiao Ge; Ying Shan; Xihui Liu(前两位共同贡献;按本地v2署名顺序)
返回 B1 主题 Overview ↑
① 做了什么 以真实第一人称活动视频考查多模态LLM能否结合当前视觉状态、此前任务进度与目标选择下一步行动。构建涵盖4个领域、24种场景的1,321个问题,并用多模态CoT和自一致性改善模型的历史理解、对象定位与下一步决策。
② 贡献 从1,113段Ego4D视频建立依赖视觉信息和活动进度的规划问答,刻意剔除仅靠文字即可回答、或当前帧已经泄露下一动作的问题;分析模型对时间、对象和目标的联合理解错误。
③ 边界 任务是离线四选一下一动作预测,不是执行计划的闭环智能体成功率。输入包含任务目标、历史视频与当前帧;视频时长为数秒至5分钟。筛选条件要求相关对象可见,未评测用户按请求主动改变视角来补充证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GPT-4辅助清理动作叙述、推断目标及生成问答;InternVL1.5与GPT-4帮助自适应选择时间点,再做循环评测与人工核查。训练自由的增强流程结合动作历史摘要、GroundingDINO对象边界框、CoT及自一致性投票。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本地Table I中GPT-4V最高准确率32.63%,随机为25%,多数模型约23–27%。Table II是另一提示实验:基线32.80%,加入多模态CoT和自一致性达到43.04%,提升10.24个百分点;不能把这个增量加到Table I的32.63%。使用真实标注动作历史可到51.67%,属于特权输入条件。
证据定位 PDF pp.5–7:数据构建与Table I;pp.7–12:错误分析;p.14 Table II:提示与特权输入条件;正式期刊信息见Springer页面。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P156 · Method paper · Method paper / M3
PoE-World: Compositional World Modeling with Products of Programmatic Experts
2025 · Wasu Top Piriyakulkij; Yichao Liang; Hao Tang; Adrian Weller; Marta Kryven; Kevin Ellis
返回 M3 主题 Overview ↑
① 做了什么 将环境动力学表示为多个小型程序专家组成的加权乘积模型,支持随机性、部分可观测性和较复杂的对象交互。LLM从少量轨迹编写与修订专家程序,优化其权重后形成可规划或用于训练策略的世界模型。
② 贡献 用可组合的概率程序专家替代单一庞大确定性模拟器;把局部机制知识、轨迹拟合与在线修订结合起来,并在原版和修改后的Atari环境中考查少样本适应。
③ 边界 使用OCAtari提取的结构化对象/属性,作者还按游戏修补对象检测,非从原始像素端到端学得全部机制。模型以完整历史为条件,并假设下一状态对象属性条件独立以便归一化。实验集中在Pong、Montezuma’s Revenge及其改版;没有解决通用探索、奖励学习或任意创作者世界。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LLM合成短Python程序,其确定性属性预测转换为带噪专家分布,未规定属性采用均匀分布;按加权乘积组合。L-BFGS最大似然拟合权重并删去弱专家,新轨迹触发补充/修正。使用对象接触关系的高层图和低层动作搜索做分层规划,也用世界模型训练RL策略。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 少于1,000帧初始示范加最多3,000步额外交互条件下,Table 1的PoE-World+planner在原版/改版Montezuma均得100±0,WorldCoder和100k步PPO均为0;此处100分对应拿到钥匙,非通关。原版/改版Pong分别为−12.33±0.88、−13.67±0.67,虽优于相应少样本基线但仍是负分;20M步PPO在原版Pong为17±0.58,不能笼统声称超越长期训练的RL。
证据定位 PDF pp.3–6:专家分布、权重学习、规划和对象输入;p.7 Table 1:交互预算与游戏结果;pp.8–10:预测实验和局限。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P078 · Method paper · Method paper / M4
Seeing but Not Believing: Probing the Disconnect Between Visual Attention and Answer Correctness in VLMs
2025 · Zhining Liu; Ziyi Chen; Hui Liu; Chen Luo; Xianfeng Tang; Suhang Wang; Joy Zeng; Zhenwei Dai; Zhan Shi; Tianxin Wei; Benoit Dumoulin; Hanghang Tong
返回 M4 主题 Overview ↑
① 做了什么 分析视觉注意力与答对之间的分离,发现模型错误回答时也可能关注正确证据,提出测试时视觉证据增强VEA。
② 贡献 层间注意力诊断与按深层注意力选择/突出证据区域的无需训练干预。
③ 边界 “看到”用注意力定位代理衡量,不等于模型完整理解或证据对答案有因果作用;需要开放权重/注意力访问。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 定位视觉grounding层,提取证据分数,选择性遮罩/突出图像区域后重推理;跨4个系列8个VLM比较。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 表1平均Exact Match+5.67个百分点(最高11.1),Token F1+6.83(最高17.3);跨LLaVA、Qwen、Gemma、InternVL收益较一致,小模型收益更大。
证据定位 PDF §3–4、表1–2、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P157 · Base paper · Base paper / B4
Exploring Exploration with Foundation Agents in Interactive Environments
2025 / 2024 · Daniel P. Sawyer; Nan Rosemary Ke; Hubert Soyer; Martin Engelcke; David P. Reichert; Drew A. Hudson; John Reid; Alexander Lerchner; Danilo Jimenez Rezende; Timothy P. Lillicrap; Michael Mozer; Jane X. Wang
返回 B4 主题 Overview ↑
① 做了什么 考查基础模型能否在交互环境中主动收集信息、检验假设并适应隐藏机制。以文本/三维Feature World和更复杂的Alchemy实验,分析模型、先验说明及周期总结对探索质量、跨试次学习和机制突变后适应的作用。
② 贡献 区分探索动作是否提供足够信息与模型是否正确利用信息;从简单特征发现扩展到跨试次隐藏动力学学习,并测试不预告的规则改变。包含模型从视频读取状态、提出行动指令、由人类执行的三维概念验证。
③ 边界 无需微调的模型能力研究,非新训练算法。三维试验用Gemini 1.5 Pro,由人类执行移动/放置指令;这一设置已经覆盖‘新证据需要请求人类行动’的基本形态。每个三维条件15个episode,任务结构简单,未优化人类注意力、行动可接受性或XR空间提示。
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 Feature World中寻找产生奖励的颜色/形状属性或属性组合,比较模型探索与随机及理想策略;将Gemini扩展到三维视频输入和人类执行。TextAlchemy比较GPT-4o、o4-mini、Claude 3.7与Gemini 2.5 Pro,控制是否给结构先验、是否每轮自总结,并在后续试次静默更换环境机制。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 三维Gemini行动条件的15个episode有8个出现视觉错误;保留这些错误时,奖励属性识别相对随机行动者的提升不显著(p=0.13),去除视觉错误后才显示优势。Alchemy在无先验且不总结时,没有模型显示显著的跨试次提升;增加总结后,除o4-mini外模型在无先验设置也能改善。机制改变后,Gemini 2.5 Pro和Claude 3.7在相应增强条件下能恢复表现,GPT-4o/o4-mini适应较弱。
证据定位 PDF pp.5–7:Feature World与三维人类执行,p.7 Figure 3及视觉错误;pp.8–11:Alchemy、总结/先验和机制突变;p.12:局限。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P080 · Application paper · HCI / H2
Vis-CoT: A Human-in-the-Loop Framework for Interactive Visualization and Intervention in LLM Chain-of-Thought Reasoning
2025 · Kaviraj Pather; Elena Hadjigeorgiou; Arben Krasniqi; Claire Schmit; Irina Rusu; Marc Pons; Kabir Khan
返回 H2 主题 Overview ↑
① 做了什么 将线性CoT转换成交互图,由用户标记、剪除错误分支并补充前提,再继续生成,报告人机协作正确率和体验提升。
② 贡献 Vis-CoT图结构、pruning/grafting干预流程与用户研究。
③ 边界 结果包含用户新增知识和纠错,不是Llama2-70B独立解题能力;图是CoT的结构化展示,不保证忠实反映内部推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Llama2-70B-Chat、React/D3界面与FastAPI,24名相关专业参与者;GSM8K/StrategyQA及100项自建规划任务,人工评价部分任务的答案与有效推理链。
既有研究建议 控制用户新增知识量,再比较交互图与文本修改,以分离界面组织和额外答案信息的作用。
结果记录 作者报告CoT→Vis-CoT:GSM8K74.8→91.7%,StrategyQA79.5→94.1%,规划68→92%;平均时间410.5→285.2秒,2.1次干预/题;SUS65.5→88.2。
证据定位 PDF pp.6–8,算法1、实验设置、表I–III。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P158 · Base paper · Base paper / B1
RULER-Bench: Probing Rule-based Reasoning Abilities of Next-level Video Generation Models for Vision Foundation Intelligence
2025 · Xuming He; Zehao Fan; Hengjia Li; Fan Zhuo; Hankun Xu; Senlin Cheng; Di Weng; Haifeng Liu; Can Ye; Boxi Wu(前三位共同贡献)
返回 B1 主题 Overview ↑
① 做了什么 为视频生成模型建立规则推理基准,要求生成的过程在科学、视觉、假设、游戏、语义与人文任务中体现隐含规则。通过人工核验的规则解释和逐项问题,将指令遵循、视觉一致性、视觉保真度与规则连贯性分开评价。
② 贡献 提供622个样本、40种任务、6个大类和约6,500条核查问题,分别测试文本到视频及图像到视频模型;揭示视觉质量较高仍可能缺少正确规则后果的现象。
③ 边界 评价短视频生成是否符合给定场景/隐含规则,包含假设性世界条件,但没有交互式创作者规则编辑或同一规则下多条演化的覆盖实验。o3按good/medium/bad映射100/50/0做问题级评分,RC是归一化评分,不是整段视频严格满足规则的比例。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 人工与GPT-5构造任务、隐含解释和核查表并复核;评测10个视频模型(6闭源、4开源),由o3逐项评分。另比较加入规则/预期结果解释的增强提示,并以80个视频、813个问题的人类标注核对自动评审。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 Table 2中Veo 3.1的RC为48.87、IF 68.70、VC 76.68、VF 86.72;Sora 2的RC为41.23,体现画面质量与规则得分的差距。游戏类Sora 2为19.97、Veo 3.1为17.70;正文‘全部低于15’与表格不一致,本条依表格记录。o3与人工判断一致率85.12%,Spearman 0.8011。增强提示下Veo假设类RC由46.79到58.12;该提示包含额外规则/结果信息。
证据定位 PDF p.3:分类;p.5:指标与问题构建;p.6 Tables 2–3:主结果;p.7 Table 4:提示实验;p.8:人工一致性研究。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P071 · Application paper · AIGC / G4
Counterfactual World Models via Digital Twin-conditioned Video Diffusion
2025 · Yiqing Shen; Aiza Maksutova; Chenjia Li; Mathias Unberath
返回 G4 主题 Overview ↑
① 做了什么 把视频转为显式对象与关系的数字孪生描述,LLM修改干预后的时间演化,再条件生成反事实视频。
② 贡献 CWMDT将感知、干预传播和视频合成分开,提供可编辑结构条件。
③ 边界 数字孪生为结构化文本/轨迹描述,不是经过物理验证的仿真器;LLM预测的反事实合理性不等于识别真实因果效应。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 提取场景摘要、对象帧描述、深度/面积/质心轨迹→LLM生成干预后的表示→视频扩散条件合成;每个干预采样3条孪生轨迹。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 在RVEBench及另一反事实视频基准报告优于比较方法;补充CausalVQA debug评估中Qwen2.5VL+CWMDT反事实准确率70.0%,比基础模型+17.5个百分点,anticipation62.5%、hypothetical72.5%。这些是小型debug集结果。
证据定位 PDF §3–4 pp.3–8;附录A表4 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P081 · Method paper · Method paper / M3
Olaf-World: Orienting Latent Actions for Video World Modeling
2026 · Yuxin Jiang; Yuchao Gu; Ivor W. Tsang; Mike Zheng Shou
返回 M3 主题 Overview ↑
① 做了什么 针对无标签视频中潜动作与场景纠缠的问题,用冻结视频表征的时间变化为潜动作提供跨场景共享语义参考,训练可迁移世界模型。
② 贡献 SeqΔ-REPA序列控制效果对齐与Olaf-World预训练/控制适配流水线。
③ 边界 潜动作是从视频变化学习的控制表示,非保证唯一可识别真实动作;“1分钟”是特定新控制空间的少量标注适配,不是完整机器人任务训练时间。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 β-VAE逆/前向动力学学习潜动作;累计动作表征对齐冻结自监督视频编码器特征差;训练潜动作条件视频生成并适配新控制接口。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 第一/第三人称跨域动作线性探测和动作原型一致性优于AdaWorld;展示零样本动作转移、新场景生成及少标注适配收益。
证据定位 PDF §3–4、图4–5、§5及附录E。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P083 · Application paper · AIGC / G4
Causal-JEPA: Learning World Models through Object-Level Latent Masking
2026 · Heejeong Nam; Quentin Le Lidec; Lucas Maes; Yann LeCun; Randall Balestriero
返回 G4 主题 Overview ↑
① 做了什么 将JEPA掩码预测从图像patch移到对象潜变量,通过遮住部分对象迫使模型利用交互关系,改善反事实问答与规划效率。
② 贡献 C-JEPA对象级潜掩码学习目标与可观测性理论分析,区分仅对象表示和对象掩码的作用。
③ 边界 object masking是“counterfactual-like”预测,不直接等同do干预;没有用显式时间因果图验证影响邻域。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 对象编码器产生slots,预测被遮对象的历史/未来潜状态,避免像素重建;基于紧凑潜模型规划控制。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 表2 SAVi骨干反事实按问题准确率60.19%,无对象掩码OC-JEPA41.10%(+19.09个百分点),总体83.88对77.28%;控制任务用约patch模型1%的潜输入特征达到可比结果。
证据定位 PDF §4–6、表2 p.6、§7 p.9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P084 · Base paper · Base paper / B1
CRONOS: Benchmarking Counterfactual Physical Consistency in Video Models
2026 · León Begiristain; Olaf Dünkel; Adam Kortylewski
返回 B1 主题 Overview ↑
① 做了什么 在Unreal Engine中保持物理事件类别并系统改变视角、场景、对象类别和外观,测量视频世界模型预测是否稳定符合物理。
② 贡献 可匹配干预的CRONOS基准与经人评校验的物体稳定/物理合理性指标。
③ 边界 主要衡量视觉条件变化下的物理一致性,非现实因果效应估计;I2V首帧无法唯一确定未来,采用best-of-three缓解而未完全解决。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 生成碰撞、跌落、遮挡等受控视频;比较Cosmos2.5、CogVideoX1.5、MAGI1、Wan2.2;部分支持5帧V2V;结合规则、视觉模型和VLM评判。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 所评最强模型成功率仍仅22%;视角变化尤其破坏结果;报告的多种得分从3次采样中按参考运动相似度挑选,不能作单次成功率理解。
证据定位 PDF §3–4、§4.1 p.6、§5 p.9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P085 · Application paper · AIGC / G4
SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
2026 · Junchao Huang; Guian Fang; Shengju Qian; Xianghao Kong; Zhuoran Zhao; Wei Huang; Yihua Du; Zixin Zhang; Justin Cui; Yuchao Gu; Yukang Chen; Xinting Hu; Tianyu He; Shaoshuai Shi; Zhuotao Tian; Xin Wang; Mike Zheng Shou; Li Jiang
返回 G4 主题 Overview ↑
① 做了什么 统一多源视频、相机几何、字幕和质量记录,跨视频骨干实施三阶段训练,支持相机可控的长时自回归视频生成。
② 贡献 10数据源143万canonical clips的数据引擎、可重配筛选与混合配方、四种5B–33B标称骨干的统一适配/蒸馏框架。
③ 边界 长时展示主要为5B-fast学生;固定场景文本、预定相机轨迹是控制条件,不是任意任务代理或经过验证的物理仿真;发布矩阵含作者承诺,未逐项验证下载。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 对齐帧、度量相机几何、字幕和来源;双向适配→teacher-forced自回归初始化/AnyFlow→分布匹配蒸馏;保留各骨干原生表征。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 报告16fps、4步采样,5秒片段训练后连续生成分钟/60分钟序列;§7主要以图6–11定性展示跨域、相机跟随和长时外观保持,缺少统一量化长时物理/记忆基准,不能将小时端点示例解读为所有帧一致性保证。
证据定位 PDF §4–6、表1/4/5;§7 pp.15–20、图10–11。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P086 · Method paper · Method paper / M4
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
2026 · Yongchang Zhang; Oliver Ma; Tianyi Liu; Guangquan Zhou; Yang Chen
返回 M4 主题 Overview ↑
① 做了什么 ECRD在推理过程中维护文字视觉证据池,将基础生成概率与证据引导分布结合,不足时再次观察图片补充证据。
② 贡献 无需训练的证据条件解码与动态visual decider,尝试抑制推理中视觉幻觉传播。
③ 边界 需要访问token概率并多次视觉查询;证据池来自模型描述,不是已验证真值,“每个token有视觉依据”是设计目标而非形式保证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 改进VDGD的候选词和KL证据偏好,融合基础置信度,按当前上下文决定是否追加图像证据并继续解码。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 TreeBench Qwen2.5VL-7B总体37.0→47.9(+10.9个百分点,约29.5%相对提升);32B42.5→48.6、72B42.2→49.9。摘要16.5–29.5%不应全部写成百分点;RH-Bench另报告RH-AUC收益。
证据定位 PDF §2–3、表1 p.4、§4。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P087 · Method paper · Method paper / M4
Don't Blink: Evidence Collapse during Multimodal Reasoning
2026 · Suresh Raghu; Satwik Pandey
返回 M4 主题 Overview ↑
① 做了什么 发现推理过程中视觉证据注意力下降,但其与出错的关系取决于任务;结合熵和视觉信号进行选择性拒答风险控制。
② 贡献 证据衰减诊断、熵—视觉交互模型及任务条件的vision veto。
③ 边界 3个2B–8B模型、2模型家族、每数据集约300题;注意力是相关性信号,不能证明证据衰减导致错误。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 用标注证据区域选视觉grounding层,分析推理前后注意力、输出熵和正确性,拟合跨任务交互并在固定覆盖率筛除高风险回答。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 视觉证据注意力常下降超过一半;持续视觉参考任务中的低熵/低视觉关注更危险,符号任务未必;针对性veto在90%覆盖率下最多降低1.9个百分点选择性风险,全局线性融合可能恶化迁移。
证据定位 PDF §3–5、Limitations p.8、附录B。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P088 · Method paper · Method paper / M4
V-Retrver: Evidence-Driven Agentic Reasoning for Universal Multimodal Retrieval
2026 · Dongyang Chen; Chaoyang Wang; Dezhao Su; Xi Xiao; Zeyu Zhang; Jing Xiong; Qing Li; Yuzhang Shang; Shichao Kan
返回 M4 主题 Overview ↑
① 做了什么 在多模态检索候选重排时主动调用视觉工具查看细节,以交替假设与验证代替只依赖固定图像编码的文字推理。
② 贡献 V-Retrver代理式视觉检索推理及三阶段课程训练。
③ 边界 在给定候选池上检索/重排,依赖初始召回及视觉工具;不是无成本全库端到端搜索。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 监督激活推理→拒绝采样精炼→证据对齐RL,学习针对模糊候选进行选择性图像检查。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 M-BEIR平均Recall69.7%,U-MARVEL-7B64.8%(+4.9个百分点);FIQ51.2对38.2、CIRR73.5对63.2。各子任务Recall@K的K不同;摘要“平均23%”不能替代这里的同表绝对差。
证据定位 PDF §3–4、表2 pp.6–7。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P089 · Method paper · Method paper / M2
Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models
2026 · Yanting Miao; Yutao Sun; Dexin Wang; Mengyu Zhou; Pascal Poupart; Lei Lv; Li Xu; Qi Zhao; Li Wang; Hao Li; Xiaoxi Jiang; Guanjun Jiang
返回 M2 主题 Overview ↑
① 做了什么 诊断连续视觉潜推理将decoder隐状态直接反馈到输入时的特征尺度失配,提出特征、数据/上下文及难度分配的多粒度对齐。
② 贡献 GAP的PCA对齐latent head、可检查辅助图像监督与按难度选择潜token训练。
③ 边界 在Qwen2.5VL-7B等所评设置微调;辅助图像用于监督构造,不是推理时外部图像生成;前作系统对比训练配方不同,不能全部归因为架构。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 构造49,309个图像—问题—辅助图像样本,学习映射回视觉输入子空间,选择基础模型困难题应用潜监督,并控制latent token预算。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 相对Monet,平均感知+1.74、平均推理+5.98个百分点;相对LVR+0.57/+6.31;基础Qwen Avg-R52.62,而前两者47.99/47.66,说明潜推理也可能退化。
证据定位 PDF §3–5、表2–5、§6;作者p.1。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P090 · Method paper · Method paper / M2
From <Answer> to <Think>: Multi-Dimensional Supervision of Reasoning Process for LLM Optimization
未注明(匿名稿) · Anonymous authors(本地双盲稿未署名)
返回 M2 主题 Overview ↑
① 做了什么 用置信度、相关性与连贯性三个维度评价完整推理过程,作为无需逐步切分或标准答案的奖励,支持偏好优化和RL。
② 贡献 Dimension-level Reward Model(DRM)及DPO/GRPO训练应用,补充仅最终正确性或逐步PRM监督。
③ 边界 评分不要求答案真值,但仍借助预训练相关性/奖励模型及训练数据;不等于没有任何监督或能保证逻辑正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 置信度校准、Qwen3-8B-Reranker语义相关性及Nemotron70B奖励模型连贯性组成分数,构造偏好对或在线奖励,可与可验证答案奖励组合。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 在Llama3.1-8B、R1-Distill-Llama8B及Qwen3-8B上报告数学、QA、代码执行与谜题的ID/OOD收益;DRM能区分答案均对或均错的样本,DRM@ANY在表4优于对应只看答案的偏好构造。
证据定位 PDF §2–3、表4–5、§6;首页匿名状态。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P159 · Method paper · Method paper / M1
GPS: Graph-guided Proactive Information Seeking in Large Language Models
2026 · Ruiqing Li; Yifeng Xu; Xinke Jiang; Zhibang Yang; Xinyu Ma; Yue Fang; Junfeng Zhao; Yasha Wang; Xu Chu
返回 M1 主题 Overview ↑
① 做了什么 面向检索增强问答中缺少用户条件的问题,将文档中的条件规则组织为有向无环图,沿图主动澄清缺失变量,并根据回答裁剪无关分支。通过条件路径合成训练数据和面向澄清结果的强化学习,同时改善回答正确性和提问效率。
② 贡献 把条件逻辑表示、主动澄清与训练目标结合:DAG为提问提供结构,动态遍历降低冗余,混合奖励共同考虑最终正确性、交互轮数和图质量。
③ 边界 理论的逻辑完备性针对有限取值函数可被DAG表示,不保证LLM会从真实文档正确抽取全部规则。实验的用户模拟器回答已有条件事实;没有通过物理行动创造新证据。世界规则已给定,未知的是用户条件,并非从观察发现未知环境机制。
XR 支撑方向:XR-L
共享方法接口:F1
方法、研究建议与证据定位
方法 Reasoner输出条件变量、值分支与答案叶节点;Clarifier按可达路径代价选择问题,收到回答后剪枝。用ConditionalQA中的欠明确样本及DeepSeek-R1合成条件路径,筛选完整输入可答而缺失输入不可答的数据。GRPO训练Reasoner,结合正确性、轮数惩罚与结构质量奖励;在Qwen2.5-7B和Llama3-8B骨干上验证。
既有研究建议 将规则图中的未知条件绑定真实对象观测,测试取证成本和错误回答时的回退;不把条件澄清称为发现未知机制。
结果记录 Table 1中Qwen-GPS在Synthetic/ConditionalQA/ShARC的成功率为60.2/73.4/79.3%,WCT为4.59/2.91/2.41;对应Clarify-DPO成功率59.2/72.0/78.5%,WCT 4.67/3.52/2.93。WCT把失败样本按最大10轮计罚,不等于原始平均提问次数;另列F1衡量是否需要澄清,不是答案F1。Llama-GPS在ShARC为75.8%,低于Clarify-DPO的82.7%,并非所有设置均最佳。Qwen在ConditionalQA移除RL后成功率73.4→67.7%。
证据定位 PDF pp.3–7:DAG、算法、数据合成与奖励;p.8:SR/WCT/澄清需要F1定义;pp.9–10 Tables 1–2:主结果和消融;附录A/B:理论。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P091 · Application paper · HCI / H2
Improving Human Verification of LLM Reasoning through Interactive Explanation Interfaces
2026 · Runtao Zhou; Giang Nguyen; Nikita Kharya; Anh Nguyen; Chirag Agarwal
返回 H2 主题 Overview ↑
① 做了什么 比较传统CoT与可交互文本、程序和图形解释,研究用户能否更准确核查数学解答及定位推理错误。
② 贡献 iCoT、iPoT、iGraph三种格式转换界面及125人验证实验。
③ 边界 优化的是人类核查模型解释的表现,不是LLM自主解题;10道实验题中正确/错误解释比例1:9,结果受错误高基率影响。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 保持解释底层内容,改变结构、渐进展示、变量高亮和依赖关系;被试组间比较正确性核验、错误定位、时间及体验。
既有研究建议 降低错误解释的基率并加入正确但复杂的解答,检验图界面是否仍提高核查而不诱发过度拒绝。
结果记录 核验准确率iGraph85.6%、iPoT82.5%、iCoT80.6%、普通CoT73.5%;平均响应时间57.9、约60、约60、64.7秒。
证据定位 PDF §3–5、图5–7、§7 p.10。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P092 · Method paper · Method paper / M4
Improving Visual Reasoning with Iterative Evidence Refinement
2026 · Zeru Shi; Kai Mei; Yihao Quan; Dimitris N. Metaxas; Ruixiang Tang
返回 M4 主题 Overview ↑
① 做了什么 SIEVE通过模型内部显著图像区域的embedding重复访问证据,以RL学习何时以及取哪些区域,避免外部裁剪与重新编码。
② 贡献 内生视觉重访和证据嵌入插入推理链的训练框架。
③ 边界 需要RL训练和隐状态访问,不是training-free;复用已有视觉编码不能恢复首次编码完全丢失的细节。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 依据文本锚点和视觉显著性抽取区域表示,在生成中触发重访并注入embedding,按回答奖励学习调用策略。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 表1 Qwen3VL-4B V*78.01→85.86%(+7.85个百分点/约10.06%相对),HR4K77.75→81.25、HR8K72.38→76.13;但ZoomEye的4B V*为90.05,高于SIEVE,正文“所有基线均胜出”的概括不完全符合表格。
证据定位 PDF §3–4、表1 pp.7–8;正文与表格例外已注明。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P093 · Method paper · Method paper / M4
Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning
2026 · Yashwant Pravinrao Bangde; Debaditya Roy
返回 M4 主题 Overview ↑
① 做了什么 分别以任务指令和严格视觉证据提示计算两条token分布,用分歧自适应门控融合,降低语言先验驱动的幻觉。
② 贡献 Instruction-Evidence Contrastive Dual-Stream Decoding(IECD²)的双流及对称KL门控。
③ 边界 推理时双流概率,依赖开放模型logits和证据提示;两流均来自模型,证据流不是真实标签。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 每步计算instruction/evidence两分布;一致时保留表达性,分歧大时抑制仅语言流偏好的token;跨caption/VQA/对象幻觉评估。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 在LLaVA1.5和InstructBLIP的POPE、AMBER、VQAv2、MME及COCO报告改善,尤其POPE adversarial;各指标与骨干详见表1及生成评测表,不能把所有子项概括为同一提升幅度。
证据定位 PDF §3–4、表1、§5 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P160 · Application paper · AIGC / G2
Fictional Worldbuilding: Multi-Agent LLM Collaboration with Hierarchical Context Compression and Iterative Review
2026 · Jingbo Chen; He Wang; Wei Yuan; Yuqiao Lai; Zhenyan Lu
返回 G2 主题 Overview ↑
① 做了什么 AutoWorldBuilder从一两句世界设定生成地理、社会、资源与文化等概念。系统以多智能体分工、任务依赖调度、分层上下文预算和迭代审核控制规模与内部一致性;在20个设定任务、两种LLM后端上报告运行及内部评审结果。
② 贡献 整合概念存储、DAG与语义分组调度、FAISS检索和四层上下文、专门Auditor与可配置角色。是架空世界概念扩展系统的直接前作,但其提出的数据结构与实际启用功能必须区分。
③ 边界 作者在§6.4明确:16种概念关系只完成定义,关系解析模块未实现,实验关系类型覆盖率为0%;不能称已验证完整知识图谱推理。输出是概念设定集合,未实现可执行世界演化、因果干预或规则修改后的依赖更新;接受/拒绝设定等实时人机协作列为未来工作。质量来自系统内部LLM评审,无独立外部正确性基准。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 将输入拆成有依赖的任务,拓扑排序后按语义与批大小分组;从已完成批次检索相关概念,按Essential/Relevant/Summary/Collaboration四层分配上下文。21种专门角色按技能配置加载,8种Auditor参与评分、修订和筛选;主要测试中文输入。20个案例覆盖5类世界,每种后端各运行20次,共40次。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 Table 8中GPT-OSS 120B和DeepSeek v3.2均19/20次完成(95%);成功世界平均56.2/103.4个概念,平均18/31分钟,内部最终通过率85.5/99.2%。作者称初轮42%经审核到85%以上,但Table 14中DeepSeek平均评分从8.40降至8.21。所谓89.9/90.7%压缩对应平均304.3/278.4 token相对3,000-token预算的未用比例,不能当作相对未压缩完整上下文的受控节省率。Auditor全部通过只说明未检出问题,不代表零冲突。
证据定位 PDF pp.12–20:概念/调度/压缩/审核;pp.21–25 Tables 6–14:20×2实验及压缩分母;pp.27–28 §5.4:非受控消融声明;p.30 §6.4:关系模块未实现及质量评估局限;p.31:人机协作列为未来工作。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P095 · Method paper · Method paper / M4
TIR-Flow: Active Video Search and Reasoning with Frozen VLMs
2026 · Hongbo Jin; Siyi Xie; Jiayu Ding; Kuanwei Lin; Ge Li
返回 M4 主题 Overview ↑
① 做了什么 冻结视频VLM,通过分解问题、主动局部观察与持久证据工作区迭代进行视频搜索和推理。
② 贡献 HDD任务分解、HAP高保真主动感知、EBA证据仲裁组成TIR-Flow。
③ 边界 不更新模型参数,但使用多轮推理/视频片段访问;所谓“严格逻辑一致”无形式证明,受基础模型规划能力限制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 把问题拆成可验证子任务,针对假设搜索/放大视频证据,累积修订线索再回答。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 7个基准报告平均约5.9个百分点收益;Qwen2.5VL-7B EgoSchema69.2%,较基线+10.5个百分点;推理类子集平均约6.7,两个平均不能混用。
证据定位 PDF §3–4、表1、Limitations p.9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P096 · Base paper · Base paper / B1
TSRBench: A Comprehensive Multi-task Multi-modal Time Series Reasoning Benchmark for Generalist Models
2026 · Fangxu Yu; Xingang Guo; Lingzhi Yuan; Haoqiang Kang; Hongyu Zhao; Lianhui Qin; Furong Huang; Bin Hu; Tianyi Zhou
返回 B1 主题 Overview ↑
① 做了什么 用文本、图形时间序列评估通用模型在感知、推理、预测与决策上的能力,并分析规模和模态组合效应。
② 贡献 14领域、4,125题、15任务的TSRBench及30余种LLM/VLM/TSLLM比较。
③ 边界 基准得分衡量所构造任务,不能直接代表真实预测收益、临床/金融决策质量;“scaling规律失效”是该样本上的经验现象。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 统一时间序列多模态输入和任务定义,比较文本/视觉/合并输入、模型规模及子任务关联。
既有研究建议 【topic 层候选方向】当任务代价、群体和分布变化时,系统如何同时报告可靠性与人机决策收益?
结果记录 GPT5文本+视觉总体55.6%;开放LLM Qwen2.5-72B42.4%,开放VLM Qwen3VL-32B44.9%。推理/感知随规模改善,预测关联较弱或负;多模态互补未被稳定利用。
证据定位 PDF §3–4、表2、图3–4、§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P097 · Base paper · Base paper / B2
Useful Memories Become Faulty When Continuously Updated by LLMs
2026 · Dylan Zhang; Yanshan Lin; Zhengkun Wu; Yihang Sun; Bingxuan Li; Dianqi Li; Hao Peng
返回 B2 主题 Overview ↑
① 做了什么 持续把经验压缩改写成文字记忆可能先有帮助再逐渐损坏,即使输入是有用轨迹或标准答案,抽象/合并过程仍会积累失真。
② 贡献 多代理基准的连续记忆退化诊断,控制更新顺序/分组及原始情节保留,并构建ARC-AGI Stream记忆动作环境。
③ 边界 研究自然语言外部记忆及当前LLM整理器,不涉及权重更新或所有结构化记忆;不能推出记忆本身必然有害。
XR 支撑方向:XR-E
共享方法接口:F4
方法、研究建议与证据定位
方法 固定经验池比较Static-All、Static-Group、Stream与只保留episodic轨迹;允许Retain/Delete/Consolidate;分析错分组、过度概括和窄分布过拟合。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 WebShop AWM随经验从8增至128,成功率0.64→0.20(无记忆0.20);19题已被GPT5.4无记忆全部解出的ARC切片,在带真值合并后正文报告准确率降至约54%;原始轨迹对照仍有竞争力。
证据定位 PDF pp.1–3、§4–6、图1–2/4、§8 p.11;摘要与正文数值冲突。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P098 · Method paper · Method paper / M4
First Logit Boosting: Visual Grounding Method to Mitigate Object Hallucination in Large Vision-Language Models
2026 · Jiwoo Ha; Jongwoo Baek; Jinhyun So
返回 M4 主题 Overview ↑
① 做了什么 保存首次生成时的整条词表logit向量,并在后续解码中加权补回,缓解长文本生成时视觉约束减弱造成的对象幻觉。
② 贡献 First Logit Boosting(FLB)轻量解码方法,并分析初始视觉信号与“The”等词的间接稳定作用。
③ 边界 复用的是第一步完整logits,不是重复第一个词;不增加额外模型或双路逐token推理,但不能动态重新读取新证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 缓存l₀,在每一步对当前logits加入加权初始分布后采样;跨对象幻觉任务、模型及基准比较。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 报告在多LVLM和幻觉基准上减少虚构对象,且推理开销接近基线;改进来自静态早期信号补偿,并非消除位置编码导致的长期衰减。
证据定位 PDF §4–6、§7及Limitations p.8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P099 · Method paper · Method paper / M4
VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs
2026 · Govinda Kolli; Adinath Madhavrao Dukre; Behzad Bozorgtabar; Dwarikanath Mahapatra; Imran Razzak
返回 M4 主题 Overview ↑
① 做了什么 通过原图与加噪图条件下词概率的差异估计视觉依赖,按token自适应调整医疗VLM解码以减少幻觉。
② 贡献 Visual Grounding Score与VGS-Decoding,区别于固定权重对比解码。
③ 边界 医疗影像问答离线评测,不是临床验证;视觉依赖分数不保证医学正确性;代码在稿中仅承诺录用后发布。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 向原图加Gaussian/Poisson噪声,双路得到token分布,以视觉退化后的概率变化定义VGS并重加权候选。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 LLaVA-Med、CheXagent、MedGemma在VQA-RAD和MIMIC-Diff-VQA六组合均报告改善;MedGemma总体分别+8.16/+9.12个百分点,CheXagent在MIMIC仅+0.12;约2倍推理开销。
证据定位 PDF §2–3、表1–2、§4 p.9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P100 · Method paper · Method paper / M4
When Thinking Drifts: Evidential Grounding for Robust Video Reasoning
待核实 · Mi Luo; Zihui Xue; Alex Dimakis; Kristen Grauman
返回 M4 主题 Overview ↑
① 做了什么 分析视频CoT可能因语言先验而偏离视觉内容,提出Visual Evidence Reward,用RL促使推理过程保持可验证的视频证据。
② 贡献 Visual Thinking Drift诊断及Video-VER证据奖励训练。
③ 边界 主要在选择题等封闭答案任务构造规则奖励;开放式QA明确列为未来工作;Bayesian解释不构成所有漂移的因果证明。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 将答案正确、视觉证据、格式和长度奖励结合GRPO(证据权重0.3),训练模型产生与问题相关视频内容一致的推理。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 10基准中所比较开放模型9项排名第一,VSI-Bench由Video-R1更强;TempCompass74.0%、TVBench52.8%。多基础模型直接CoT会下降,证据训练后较稳定。
证据定位 PDF §3–5、表1、§6 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P101 · Base paper · Base paper / B3
Computational Understanding of Narratives: A Survey
2022 · Priyanka Ranade; Sanorita Dey; Anupam Joshi; Tim Finin
返回 B3 主题 Overview ↑
① 做了什么 综述叙事的计算理解,特别是在线多源碎片化叙事的构建、抽取、演化、生成、表示与评估。
② 贡献 整理叙事结构组成、语义/时间关系和研究任务层次,汇集资源与开放挑战。
③ 边界 综述及概念整理,不是统一实现系统;涵盖到2022年前后的技术,不能作为后续LLM叙事研究全景。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 围绕实体/事件、主题、意图和关系组织IR/NLU工作,比较自包含故事与跨来源演化叙事。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 产出研究分类图、语义关系示例和代表项目/挑战表,强调跨源连接、时间演化、意图/修辞及一致评估不足;无新模型准确率结果。
证据定位 PDF §§II–V、图2、表1/3、§VI p.16。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P161 · Application paper · AIGC / G2
Learning Long-form Movie Prior via Large Language Models
2026 · Jinheng Xie; Jiajun Feng; Mike Zheng Shou
返回 G2 主题 Overview ↑
① 做了什么 将电影中的剧本、人物身份、站位、动作和场景物体表示为可离散化的文本与空间坐标序列,使用LLaMA的下一token预测学习联合分镜先验,再通过指令微调从简短创意生成分镜。提出Storyboard20K,为跨镜头身份、边界框与全身关键点提供细粒度标注;生成结果可作为可控图像模型的布局条件,辅助视觉叙事创作。
② 贡献 构建来自MovieNet与LSMDC的20,310个分镜、149,528个关键帧,覆盖约400部电影;标注约319K人物框、180K场景物体框、跨帧一致身份及全身关键点,并提供GPT-4生成的标题、类型、情绪、场景和短摘要。将script、objects、main characters统一编码为JSON形式的token序列,以LLaMA-3/3.2的1B、3B、8B模型学习结构化电影先验。
③ 边界 核心输出是剧本文本、边界框和关键点组成的稀疏分镜,不是直接生成连续像素视频。数据通常每个分镜3–10个关键帧,源片段平均33.9秒;不能据此声称已验证整部长电影的长期一致性。ROICtrl等现成图像模型用于可视化。人物身份与布局连贯不等于已学得可执行的因果世界模型;论文没有验证世界规则编辑、物理干预或规则修改后的依赖更新。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 先用检测、姿态估计和人脸识别自动标注,再由7名标注者校准人物身份、框、关键点及开放类别场景物体,并进行多轮复核。将连续坐标量化到m个整数区间,与文本共同tokenize;大于96×96像素面积的人物用98个全身关键点,否则用17个关键点或边界框。预训练时随机交换script、objects、main characters的顺序,以最大似然学习联合分布;随后把概括性标注作为指令、剧本和空间标注作为回答进行微调。训练/testA/testB分别为18,207/905/1,198个分镜,testA使用概括描述,testB使用逐镜头描述。对照商业模型获得2个上下文示例。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 Table 3中8B模型在testA/testB的布局FID为4.05/17.72,3B为4.35/16.86,对照Gemini-Pro为8.53/22.30、GPT-3.5-turbo为23.08/35.14;FID由训练的布局分类器特征计算,且这里只评估边界框,不是生成图像/视频的画质FID,也不是关键点精度。Table 2中8B的ROUGE-L为19.1/19.6,GPT-3.5为20.4/17.6,说明文本指标并非全面领先。Table 4中8B的指令遵循/关键帧变化/时间连贯评分为7.27/7.68/7.83(0–10分),GPT-4o为7.91/6.06/6.42;8B获得68%的首选比例,Gemini-Pro/GPT-4/GPT-4o分别为7%/13%/12%。68%是该人工比较中的偏好比例,不是任务准确率。
证据定位 PDF p.1:题名、3位作者、DOI和已接收作者稿声明;pp.3–4 §3及Table 1:20,310分镜、149,528帧、约400电影、平均33.9秒、标注流程;p.5 §4:坐标离散化、98/17关键点与两阶段学习;p.6 Fig.5、§5.1及Tables 2–3:数据划分、两示例对照、文本指标与布局FID;pp.6–7 §5.3及Table 4:人工评价和68%偏好率;p.8 Fig.6:ROICtrl可视化。资源状态另核对作者主页、官方仓库及arXiv旧版记录(2026-09-16)。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P103 · Method paper · Method paper / M6
Training Large Language Models to Reason in a Continuous Latent Space
2025 · Shibo Hao; Sainbayar Sukhbaatar; DiJia Su; Xian Li; Zhiting Hu; Jason Weston; Yuandong Tian
返回 M6 主题 Overview ↑
① 做了什么 Coconut把LLM最后隐状态直接作为下一个输入embedding,在连续潜空间进行中间推理,以课程训练逐步取代文本CoT。
② 贡献 Chain of Continuous Thought架构及课程,展示某些任务中潜状态可同时容纳备选路径的行为。
③ 边界 以小模型和合成逻辑/数学任务验证,潜状态类似BFS的观察不等于通用、严格或无限宽搜索;数学表现仍低于文本CoT。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 逐阶段用连续thought替代更多文本步骤,回馈隐状态,再生成文字答案;比较无CoT、iCoT、pause token等。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 表1 GSM8K34.1±1.5%对CoT42.9±0.2%,但高于无CoT16.5%;ProsQA97.0对CoT77.5,仍低于iCoT98.2;GSM8K平均生成位置8.2对25.0(包含潜步骤的效率定义须遵循论文)。
证据定位 PDF §3–5、表1 p.9、§5.3–6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P165 · Method paper · Method paper / M3
VIMA: General Robot Manipulation with Multimodal Prompts
2023 · Yunfan Jiang; Agrim Gupta; Zichen Zhang; Guanzhi Wang; Yongqiang Dou; Yanjun Chen; Li Fei-Fei; Anima Anandkumar; Yuke Zhu; Linxi Fan
返回 M3 主题 Overview ↑
① 做了什么 研究问题:图文交错提示能否统一多种机器人操作任务?
② 贡献 VIMA 通过多模态提示、自回归动作预测和程序化桌面任务研究分层泛化。
③ 边界 正式发表于 2023;动作预测基准不直接评价世界视频或物理机制修订。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VIMA 通过多模态提示、自回归动作预测和程序化桌面任务研究分层泛化。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P168 · Method paper · Method paper / M3
MimicPlay: Long-Horizon Imitation Learning by Watching Human Play
2023 · Chen Wang; Linxi Fan; Jiankai Sun; Ruohan Zhang; Li Fei-Fei; Danfei Xu; Yuke Zhu; Anima Anandkumar
返回 M3 主题 Overview ↑
① 做了什么 研究问题:人类自由玩耍视频怎样降低长程机器人模仿的数据需求?
② 贡献 MimicPlay 从人类视频学习潜计划,指导少量遥操作数据训练的低层控制。
③ 边界 潜计划与真实动作仍由不同数据和模块连接,不是纯视频生成策略。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MimicPlay 从人类视频学习潜计划,指导少量遥操作数据训练的低层控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P175 · Method paper · Method paper / M4
Modeling Dynamic Environments with Scene Graph Memory
2023 · Andrey Kurenkov; Michael Lingelbach; Tanmay Agarwal; Emily Jin; Chengshu Li; Ruohan Zhang; Li Fei-Fei; Jiajun Wu; Silvio Savarese; Roberto Martín-Martín
返回 M4 主题 Overview ↑
① 做了什么 研究问题:物体会移动且只能部分观察时,场景记忆怎样更新?
② 贡献 Scene Graph Memory 累积对象和房间关系,以节点边预测指导动态家庭环境中的搜索。
③ 边界 图中的位置预测与持续生成动态视频不同,但可作为显式记忆对照。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F4
方法、研究建议与证据定位
方法 Scene Graph Memory 累积对象和房间关系,以节点边预测指导动态家庭环境中的搜索。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P176 · Base paper · Base paper / B4
Sonicverse: A Multisensory Simulation Platform for Embodied Household Agents that See and Hear
2023 · Ruohan Gao; Hao Li; Gokul Dharan; Zhuzhu Wang; Chengshu Li; Fei Xia; Silvio Savarese; Li Fei-Fei; Jiajun Wu
返回 B4 主题 Overview ↑
① 做了什么 研究问题:听觉和视觉如何在家庭导航仿真中共同作用?
② 贡献 Sonicverse 将音视频模拟结合,研究多感官导航与仿真到真实迁移。
③ 边界 导航和声音条件有专门目标,不直接评估可控视频后果生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Sonicverse 将音视频模拟结合,研究多感官导航与仿真到真实迁移。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P177 · Base paper · Base paper / B4
The ObjectFolder Benchmark: Multisensory Learning with Neural and Real Objects
2023 · Ruohan Gao; Yiming Dou; Hao Li; Tanmay Agarwal; Jeannette Bohg; Yunzhu Li; Li Fei-Fei; Jiajun Wu
返回 B4 主题 Overview ↑
① 做了什么 研究问题:视觉、声音与触觉分别怎样帮助对象理解和操作?
② 贡献 ObjectFolder Benchmark 结合神经对象及真实多感官对象数据,比较识别、重建和操作任务。
③ 边界 多感官数据提供额外物理证据,不能与单目视频输入忽略条件地比较。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ObjectFolder Benchmark 结合神经对象及真实多感官对象数据,比较识别、重建和操作任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P179 · Method paper · Method paper / M3
Dynamic-Resolution Model Learning for Object Pile Manipulation
2023 · Yixuan Wang; Yunzhu Li; Katherine Driggs-Campbell; Li Fei-Fei; Jiajun Wu
返回 M3 主题 Overview ↑
① 做了什么 研究问题:物体堆动力学的表示分辨率怎样按任务调节?
② 贡献 作者以动态粒子分辨率和图神经网络,在效率与操作精度间选择抽象层级。
③ 边界 粒状物模型有特定状态和任务条件,不是通用像素视频模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者以动态粒子分辨率和图神经网络,在效率与操作精度间选择抽象层级。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P182 · Method paper · Method paper / M3
VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
2023 · Wenlong Huang; Chen Wang; Ruohan Zhang; Yunzhu Li; Jiajun Wu; Li Fei-Fei
返回 M3 主题 Overview ↑
① 做了什么 研究问题:自然语言中的可供性和约束怎样变成三维动作计划?
② 贡献 VoxPoser 组合三维价值图进行闭环轨迹规划,并可从在线接触经验学习动力学。
③ 边界 语言推理、视觉检测和规划器共同产生结果,不能归因于视频模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VoxPoser 组合三维价值图进行闭环轨迹规划,并可从在线接触经验学习动力学。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P184 · Method paper · Method paper / M1
Primitive Skill-based Robot Learning from Human Evaluative Feedback
2023 · Ayano Hiranaka; Minjune Hwang; Sharon Lee; Chen Wang; Li Fei-Fei; Jiajun Wu; Ruohan Zhang
返回 M1 主题 Overview ↑
① 做了什么 研究问题:人能否在技能执行前评价高层意图以减少反馈成本?
② 贡献 SEED 将参数化基础技能与人类评价强化学习结合,研究样本效率与人类负担。
③ 边界 前瞻性的技能评价与视觉后果预览相邻,但并未直接验证视频分支界面。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 SEED 将参数化基础技能与人类评价强化学习结合,研究样本效率与人类负担。 本条方法定位来自摘要,训练细节待核。
既有研究建议 在技能执行前加入可检查的后果预览,对照只展示技能名称,测人类能否更早发现危险选择。
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P185 · Method paper · Method paper / M3
Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation
2023 · Yuanpei Chen; Chen Wang; Li Fei-Fei; C. Karen Liu
返回 M3 主题 Overview ↑
① 做了什么 研究问题:多个灵巧技能怎样串接为长程操作?
② 贡献 Sequential Dexterity 通过强化学习衔接多个策略,并研究新物体与真实机器人的迁移。
③ 边界 技能链可执行不意味着可生成供人观看的可信后果视频。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Sequential Dexterity 通过强化学习衔接多个策略,并研究新物体与真实机器人的迁移。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P186 · Base paper · Base paper / B4
MindAgent: Emergent Gaming Interaction
2023 · Ran Gong; Qiuyuan Huang; Xiaojian Ma; Hoi Vo; Zane Durante; Yusuke Noda; Zilong Zheng; Song-Chun Zhu; Demetri Terzopoulos; Li Fei-Fei; Jianfeng Gao
返回 B4 主题 Overview ↑
① 做了什么 研究问题:语言模型怎样协调多个游戏角色并与人合作?
② 贡献 MindAgent 提供 CUISINEWORLD 和协作效率评价,通过反馈进行上下文协调。
③ 边界 多人协作基准与视频生成中的多主体动力学不能互相代替。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MindAgent 提供 CUISINEWORLD 和协作效率评价,通过反馈进行上下文协调。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P188 · Method paper · Method paper / M4
D$^3$Fields: Dynamic 3D Descriptor Fields for Zero-Shot Generalizable Rearrangement
2023 · Yixuan Wang; Mingtong Zhang; Zhuoran Li; Tarik Kelestemur; Katherine Driggs-Campbell; Jiajun Wu; Li Fei-Fei; Yunzhu Li
返回 M4 主题 Overview ↑
① 做了什么 研究问题:动态语义三维描述怎样支持跨物体的重排任务?
② 贡献 D3Fields 将多视角视觉特征投影到三维描述场,用于零样本重排。
③ 边界 动态描述场主要组织观测,未自动提供未知未来动力学。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 D3Fields 将多视角视觉特征投影到三维描述场,用于零样本重排。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P189 · Base paper · Base paper / B4
Mini-BEHAVIOR: A Procedurally Generated Benchmark for Long-horizon Decision-Making in Embodied AI
2023 · Emily Jin; Jiaheng Hu; Zhuoyi Huang; Ruohan Zhang; Jiajun Wu; Li Fei-Fei; Roberto Martín-Martín
返回 B4 主题 Overview ↑
① 做了什么 研究问题:如何低成本生成多变的长程具身任务?
② 贡献 Mini-BEHAVIOR 以程序化环境提供日常活动式规划问题,便于扩大任务变化。
③ 边界 简化环境中的规划能力不能直接外推到写实视频或真实接触动力学。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Mini-BEHAVIOR 以程序化环境提供日常活动式规划问题,便于扩大任务变化。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P192 · Application paper · AIGC / G3
ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Image
2023 · Kyle Sargent; Zizhang Li; Tanmay Shah; Charles Herrmann; Hong-Xing Yu; Yunzhi Zhang; Eric Ryan Chan; Dmitry Lagun; Li Fei-Fei; Deqing Sun; Jiajun Wu
返回 G3 主题 Overview ↑
① 做了什么 研究问题:单张自然图像怎样支持更广视角的场景生成?
② 贡献 ZeroNVS 训练三维感知扩散先验,处理场景数据混合与尺度模糊,并改善完整视角生成。
③ 边界 单图隐藏内容是生成推测,尚非经观测验证的环境真值。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ZeroNVS 训练三维感知扩散先验,处理场景数据混合与尺度模糊,并改善完整视角生成。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P193 · Application paper · HCI / H1
NOIR: Neural Signal Operated Intelligent Robots for Everyday Activities
2023 · Ruohan Zhang; Sharon Lee; Minjune Hwang; Ayano Hiranaka; Chen Wang; Wensi Ai; Jin Jie Ryan Tan; Shreya Gupta; Yilun Hao; Gabrael Levine; Ruohan Gao; Anthony Norcia; Li Fei-Fei; Jiajun Wu
返回 H1 主题 Overview ↑
① 做了什么 研究问题:人能否通过脑信号指挥机器人完成日常活动?
② 贡献 NOIR 将脑信号接口与智能机器人技能组合,研究多类家庭活动控制。
③ 边界 交互通道和执行系统与视频预览不同;对 Foresee 更适合作为控制权设计参照。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 NOIR 将脑信号接口与智能机器人技能组合,研究多类家庭活动控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P201 · Method paper · Method paper / M6
Chain of Code: Reasoning with a Language Model-Augmented Code Emulator
2023 · Chengshu Li; Jacky Liang; Andy Zeng; Xinyun Chen; Karol Hausman; Dorsa Sadigh; Sergey Levine; Li Fei-Fei; Fei Xia; Brian Ichter
返回 M6 主题 Overview ↑
① 做了什么 研究问题:代码与语言仿真能否组合精确计算和语义推理?
② 贡献 Chain of Code 用代码结构组织推理,并让语言模型模拟不易直接执行的语义步骤。
③ 边界 部分步骤由语言模型近似,不能将整条链默认视为可验证程序执行。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Chain of Code 用代码结构组织推理,并让语言模型模拟不易直接执行的语义步骤。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P202 · Method paper · Method paper / M8
Photorealistic Video Generation with Diffusion Models
2023 · Agrim Gupta; Lijun Yu; Kihyuk Sohn; Xiuye Gu; Meera Hahn; Li Fei-Fei; Irfan Essa; Lu Jiang; José Lezama
返回 M8 主题 Overview ↑
① 做了什么 研究问题:视频扩散怎样联合利用图像数据并减少注意力成本?
② 贡献 W.A.L.T. 结合因果编码、窗口注意力和超分辨级联生成写实视频。
③ 边界 主要验证通用视频生成,不直接验证行动后果或新规则推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 W.A.L.T. 结合因果编码、窗口注意力和超分辨级联生成写实视频。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P205 · Method paper · Method paper / M3
Model-Based Control with Sparse Neural Dynamics
2023 · Ziang Liu; Genggeng Zhou; Jeff He; Tobia Marcucci; Li Fei-Fei; Jiajun Wu; Yunzhu Li
返回 M3 主题 Overview ↑
① 做了什么 研究问题:稀疏神经动力学能否更适合可优化的预测控制?
② 贡献 作者剪除冗余 ReLU 神经元,再用混合整数规划和分支定界求解动作。
③ 边界 结构可优化不等于语义规则可解释;优化保证也受模型误差限制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者剪除冗余 ReLU 神经元,再用混合整数规划和分支定界求解动作。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P210 · Base paper · Base paper / B3
Agent AI: Surveying the Horizons of Multimodal Interaction
2024 · Zane Durante; Qiuyuan Huang; Naoki Wake; Ran Gong; Jae Sung Park; Bidipta Sarkar; Rohan Taori; Yusuke Noda; Demetri Terzopoulos; Yejin Choi; Katsushi Ikeuchi; Hoi Vo; Li Fei-Fei; Jianfeng Gao
返回 B3 主题 Overview ↑
① 做了什么 研究问题:多模态 agent 如何整合感知、外部知识与人类反馈?
② 贡献 Agent AI 综述梳理物理与虚拟环境中的交互系统和下一动作预测路线。
③ 边界 综述提供概念脉络,不能替代具体实验边界。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Agent AI 综述梳理物理与虚拟环境中的交互系统和下一动作预测路线。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P215 · Method paper · Method paper / M3
An Interactive Agent Foundation Model
2024 · Zane Durante; Bidipta Sarkar; Ran Gong; Rohan Taori; Yusuke Noda; Paul Tang; Ehsan Adeli; Shrinidhi Kowshika Lakshmikanth; Kevin Schulman; Arnold Milstein; Demetri Terzopoulos; Ade Famoti; Noboru Kuno; Ashley Llorens; Hoi Vo; Katsu Ikeuchi; Li Fei-Fei; Jianfeng Gao; Naoki Wake; Qiuyuan Huang
返回 M3 主题 Overview ↑
① 做了什么 研究问题:多域多任务预训练能否形成通用交互动作模型?
② 贡献 Interactive Agent Foundation Model 结合视觉遮挡、语言建模和下一动作预测,研究机器人及游戏等任务。
③ 边界 动作泛化与像素世界建模、物理机制可解释性需独立验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Interactive Agent Foundation Model 结合视觉遮挡、语言建模和下一动作预测,研究机器人及游戏等任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P218 · Base paper · Base paper / B3
Position Paper: Agent AI Towards a Holistic Intelligence
2024 · Qiuyuan Huang; Naoki Wake; Bidipta Sarkar; Zane Durante; Ran Gong; Rohan Taori; Yusuke Noda; Demetri Terzopoulos; Noboru Kuno; Ade Famoti; Ashley Llorens; John Langford; Hoi Vo; Li Fei-Fei; Katsu Ikeuchi; Jianfeng Gao
返回 B3 主题 Overview ↑
① 做了什么 研究问题:基础模型如何与行动结合形成通用具身智能?
② 贡献 Agent AI 立场论文讨论感知、基础模型与行动模型的整合路线。
③ 边界 研究主张和跨域展望不应当作统一系统已经实现的实验证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Agent AI 立场论文讨论感知、基础模型与行动模型的整合路线。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P220 · Method paper · Method paper / M3
DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation
2024 · Chen Wang; Haochen Shi; Weizhuo Wang; Ruohan Zhang; Li Fei-Fei; C. Karen Liu
返回 M3 主题 Overview ↑
① 做了什么 研究问题:便携人手动作捕捉怎样支持灵巧机器人模仿?
② 贡献 DexCap 提供手部捕捉系统,DexIL 将人类动作数据用于机器人技能学习。
③ 边界 捕捉和策略迁移不直接预测未知物体后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DexCap 提供手部捕捉系统,DexIL 将人类动作数据用于机器人技能学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P221 · Base paper · Base paper / B4
BEHAVIOR-1K: A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation
2024 · Chengshu Li; Ruohan Zhang; Josiah Wong; Cem Gokmen; Sanjana Srivastava; Roberto Martín-Martín; Chen Wang; Gabrael Levine; Wensi Ai; Benjamin Martinez; Hang Yin; Michael Lingelbach; Minjune Hwang; Ayano Hiranaka; Sujay Garlanka; Arman Aydin; Sharon Lee; Jiankai Sun; Mona Anvari; Manasi Sharma; Dhruva Bansal; Samuel Hunter; Kyu-Young Kim; Alan Lou; Caleb R Matthews; Ivan Villa-Renteria; Jerry Huayang Tang; Claire Tang; Fei Xia; Yunzhu Li; Silvio Savarese; Hyowon Gweon; C. Karen Liu; Jiajun Wu; Li Fei-Fei
返回 B4 主题 Overview ↑
① 做了什么 研究问题:贴近日常需要的长程家庭任务怎样被模拟并评价?
② 贡献 BEHAVIOR-1K 提供大量人本活动与交互仿真,测试复杂操作及迁移。
③ 边界 模拟任务成功与生成视频对人类探索的价值仍是不同结果。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F6
方法、研究建议与证据定位
方法 BEHAVIOR-1K 提供大量人本活动与交互仿真,测试复杂操作及迁移。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P227 · Base paper · Base paper / B4
BEHAVIOR Vision Suite: Customizable Dataset Generation via Simulation
2024 · Yunhao Ge; Yihe Tang; Jiashu Xu; Cem Gokmen; Chengshu Li; Wensi Ai; Benjamin Jose Martinez; Arman Aydin; Mona Anvari; Ayush K Chakravarthy; Hong-Xing Yu; Josiah Wong; Sanjana Srivastava; Sharon Lee; Shengxin Zha; Laurent Itti; Yunzhu Li; Roberto Martín-Martín; Miao Liu; Pengchuan Zhang; Ruohan Zhang; Li Fei-Fei; Jiajun Wu
返回 B4 主题 Overview ↑
① 做了什么 研究问题:怎样生成可控制环境变量的视觉训练与评价数据?
② 贡献 BEHAVIOR Vision Suite 支持改变场景、外观和物理相关参数,生成带定制标注的合成数据。
③ 边界 可控仿真便于因子实验,但需另外检查仿真到真实的差别。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F6
方法、研究建议与证据定位
方法 BEHAVIOR Vision Suite 支持改变场景、外观和物理相关参数,生成带定制标注的合成数据。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P229 · Method paper · Method paper / M1
TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction
2024 · Yunfan Jiang; Chen Wang; Ruohan Zhang; Jiajun Wu; Li Fei-Fei
返回 M1 主题 Overview ↑
① 做了什么 研究问题:人的在线纠正怎样帮助策略跨越仿真到真实的差别?
② 贡献 TRANSIC 将仿真策略与真实执行时的人类辅助结合,学习应对接触复杂任务中的迁移误差。
③ 边界 人的介入提供额外信息与成本,不能与完全自主系统忽略条件地比较。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 TRANSIC 将仿真策略与真实执行时的人类辅助结合,学习应对接触复杂任务中的迁移误差。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P238 · Application paper · AIGC / G3
OccFusion: Rendering Occluded Humans with Generative Diffusion Priors
2024 · Adam Sun; Tiange Xiang; Scott Delp; Li Fei-Fei; Ehsan Adeli
返回 G3 主题 Overview ↑
① 做了什么 研究问题:遮挡人体的自由视角渲染怎样利用扩散先验补全?
② 贡献 OccFusion 将三维 Gaussian 表示与二维扩散监督结合,改善遮挡条件的人体重建。
③ 边界 生成补全部分未必是真实观测,不能直接用于物理后果真值。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 OccFusion 将三维 Gaussian 表示与二维扩散监督结合,改善遮挡条件的人体重建。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P244 · Method paper · Method paper / M3
ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
2024 · Wenlong Huang; Chen Wang; Yunzhu Li; Ruohan Zhang; Li Fei-Fei
返回 M3 主题 Overview ↑
① 做了什么 研究问题:关系关键点约束能否把自然语言转成实时操作计划?
② 贡献 ReKep 自动生成视觉关键点约束,并通过分层优化求解末端位姿序列。
③ 边界 显式任务约束不等于环境动力学模型;关键点与感知是重要条件。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ReKep 自动生成视觉关键点约束,并通过分层优化求解末端位姿序列。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P249 · Base paper · Base paper / B4
Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making
2024 · Manling Li; Shiyu Zhao; Qineng Wang; Kangrui Wang; Yu Zhou; Sanjana Srivastava; Cem Gokmen; Tony Lee; Li Erran Li; Ruohan Zhang; Weiyu Liu; Percy Liang; Li Fei-Fei; Jiayuan Mao; Jiajun Wu
返回 B4 主题 Overview ↑
① 做了什么 研究问题:具身决策的不同语言模块怎样用统一输入输出定位错误?
② 贡献 Embodied Agent Interface 形式化任务和模块接口,超越单一终局成功率分析。
③ 边界 语言模块诊断与视频生成正确性需要分别评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Embodied Agent Interface 形式化任务和模块接口,超越单一终局成功率分析。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P250 · Base paper · Base paper / B4
Automated Creation of Digital Cousins for Robust Policy Learning
2024 · Tianyuan Dai; Josiah Wong; Yunfan Jiang; Chen Wang; Cem Gokmen; Ruohan Zhang; Jiajun Wu; Li Fei-Fei
返回 B4 主题 Overview ↑
① 做了什么 研究问题:不精确复制真实场景的数字近似能否仍支持策略迁移?
② 贡献 Digital Cousins 自动生成保留几何与语义可供性的相近场景,组成 real-to-sim-to-real 训练。
③ 边界 可供性保持与精确物理孪生不同,不能据此验证某个具体反事实后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Digital Cousins 自动生成保留几何与语义可供性的相近场景,组成 real-to-sim-to-real 训练。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P251 · Application paper · XR tutorial / X0
ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback
2024 · Sirui Chen; Chen Wang; Kaden Nguyen; Li Fei-Fei; C. Karen Liu
返回 X0 主题 Overview ↑
① 做了什么 研究问题:AR 反馈能否帮助非专家采集机器人可执行的示范?
② 贡献 ARCap 通过增强现实视觉反馈和触觉警告,帮助用户避免碰撞并匹配机器人运动学。
③ 边界 与 AR tutorial 直接相邻,但目标是示范采集;不是多分支未来视频探索。
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 ARCap 通过增强现实视觉反馈和触觉警告,帮助用户避免碰撞并匹配机器人运动学。 本条方法定位来自摘要,训练细节待核。
既有研究建议 把示范采集反馈用于新手学习任务,分开测机器人可执行数据质量和人本身的技能提高。
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P257 · Base paper · Base paper / B1
HourVideo: 1-Hour Video-Language Understanding
2024 · Keshigeyan Chandrasegaran; Agrim Gupta; Lea M. Hadzic; Taran Kota; Jimming He; Cristóbal Eyzaguirre; Zane Durante; Manling Li; Jiajun Wu; Li Fei-Fei
返回 B1 主题 Overview ↑
① 做了什么 研究问题:一小时视频中的事件和空间信息怎样持续理解?
② 贡献 HourVideo 包含总结、回忆、追踪、推理和导航任务,提供长视频问答评价。
③ 边界 问答中的预测或反事实标签不表示模型会生成可验证的未来像素。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HourVideo 包含总结、回忆、追踪、推理和导航任务,提供长视频问答评价。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P263 · Method paper · Method paper / M3
The Language of Motion: Unifying Verbal and Non-verbal Language of 3D Human Motion
2024 · Changan Chen; Juze Zhang; Shrinidhi K. Lakshmikanth; Yusu Fang; Ruizhi Shao; Gordon Wetzstein; Li Fei-Fei; Ehsan Adeli
返回 M3 主题 Overview ↑
① 做了什么 研究问题:言语与三维非言语动作怎样统一理解和生成?
② 贡献 The Language of Motion 用多模态语言模型连接语言、手势、情绪与动作编辑。
③ 边界 动作表达生成不同于人物和物体接触的物理仿真。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 The Language of Motion 用多模态语言模型连接语言、手势、情绪与动作编辑。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P266 · Base paper · Base paper / B1
Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces
2024 · Jihan Yang; Shusheng Yang; Anjali W. Gupta; Rilyn Han; Li Fei-Fei; Saining Xie
返回 B1 主题 Overview ↑
① 做了什么 研究问题:视频语言模型如何看见、记忆并回忆空间?
② 贡献 Thinking in Space 构建 VSI-Bench 并用语言与视觉表达探查空间推理。
③ 边界 空间问答表现不能等同于完整三维状态恢复或可控未来生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Thinking in Space 构建 VSI-Bench 并用语言与视觉表达探查空间推理。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P267 · Application paper · HCI / H1
Why Automate This? Exploring Correlations Between Desire for Robotic Automation, Invested Time and Well-Being
2025 · Ruchira Ray; Leona Pang; Sanjana Srivastava; Li Fei-Fei; Samantha Shorey; Roberto Martín-Martín
返回 H1 主题 Overview ↑
① 做了什么 研究问题:人希望自动化什么活动,是否能用耗时直接预测?
② 贡献 作者结合日常活动与福祉调查,分析自动化偏好和时间、情绪的关联。
③ 边界 相关性研究不证明机器人介入的因果收益,可为选任务提供人本动机。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者结合日常活动与福祉调查,分析自动化偏好和时间、情绪的关联。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P272 · Method paper · Method paper / M3
A Real-to-Sim-to-Real Approach to Robotic Manipulation with VLM-Generated Iterative Keypoint Rewards
2025 · Shivansh Patel; Xinchen Yin; Wenlong Huang; Shubham Garg; Hooshang Nayyeri; Li Fei-Fei; Svetlana Lazebnik; Yunzhu Li
返回 M3 主题 Overview ↑
① 做了什么 研究问题:语言任务怎样变成可迭代的视觉关键点奖励?
② 贡献 IKER 用 VLM 生成和修改 Python 奖励,在重建仿真中训练策略,再部署到真实环境。
③ 边界 可执行奖励约束的是目标,不等于学到了可执行世界转移规律。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 IKER 用 VLM 生成和修改 Python 奖励,在重建仿真中训练策略,再部署到真实环境。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P280 · Base paper · Base paper / B4
BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities
2025 · Yunfan Jiang; Ruohan Zhang; Josiah Wong; Chen Wang; Yanjie Ze; Hang Yin; Cem Gokmen; Shuran Song; Jiajun Wu; Li Fei-Fei
返回 B4 主题 Overview ↑
① 做了什么 研究问题:家庭任务的全身机器人学习怎样整合本体、采集和训练?
② 贡献 BEHAVIOR Robot Suite 提供机器人系统、示范接口和学习方案,覆盖多种困难家庭活动。
③ 边界 是具身执行基础设施;人机协作与视频预览收益需独立评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 BEHAVIOR Robot Suite 提供机器人系统、示范接口和学习方案,覆盖多种困难家庭活动。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P285 · Application paper · AIGC / G3
Repurposing 2D Diffusion Models with Gaussian Atlas for 3D Generation
2025 · Tiange Xiang; Kai Li; Chengjiang Long; Christian Häne; Peihong Guo; Scott Delp; Ehsan Adeli; Li Fei-Fei
返回 G3 主题 Overview ↑
① 做了什么 研究问题:二维扩散预训练怎样迁移到三维 Gaussian 生成?
② 贡献 Gaussian Atlas 将三维结构展开到稠密二维网格,构建 GaussianVerse 数据进行微调。
③ 边界 主要是静态三维对象,尚不直接预测时空交互。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Gaussian Atlas 将三维结构展开到稠密二维网格,构建 GaussianVerse 数据进行微调。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P287 · Base paper · Base paper / B1
WorldScore: A Unified Evaluation Benchmark for World Generation
2025 · Haoyi Duan; Hong-Xing Yu; Sirui Chen; Li Fei-Fei; Jiajun Wu
返回 B1 主题 Overview ↑
① 做了什么 研究问题:不同三维、四维和视频生成方法怎样在统一世界生成任务上比较?
② 贡献 WorldScore 以明确相机轨迹组织下一场景生成,分开评价控制、质量和动态。
③ 边界 相机驱动的世界生成不涵盖全部动作干预和物理机制验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 WorldScore 以明确相机轨迹组织下一场景生成,分开评价控制、质量和动态。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P289 · Method paper · Method paper / M3
Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models
2025 · Chen Wang; Fei Xia; Wenhao Yu; Tingnan Zhang; Ruohan Zhang; C. Karen Liu; Li Fei-Fei; Jie Tan; Jacky Liang
返回 M3 主题 Overview ↑
① 做了什么 研究问题:视频中难以看见的控制参数能否通过声音和肌肉信号补足?
② 贡献 Chain-of-Modality 用多模态示范与 VLM 提取任务计划和控制参数。
③ 边界 额外声音、肌肉传感与语言推理改变输入条件,不属于仅视频生成器推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Chain-of-Modality 用多模态示范与 VLM 提取任务计划和控制参数。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P292 · Method paper · Method paper / M2
RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning
2025 · Zihan Wang; Kangrui Wang; Qineng Wang; Pingyue Zhang; Linjie Li; Zhengyuan Yang; Xing Jin; Kefan Yu; Minh Nhat Nguyen; Licheng Liu; Eli Gottlieb; Yiping Lu; Kyunghyun Cho; Jiajun Wu; Li Fei-Fei; Lijuan Wang; Yejin Choi; Manling Li
返回 M2 主题 Overview ↑
① 做了什么 研究问题:多轮强化学习怎样稳定改善交互 agent 的推理?
② 贡献 RAGEN 提供轨迹级训练框架并分析奖励、采样和思维监督的作用。
③ 边界 自进化是训练过程;不能由此推断世界机制的识别、执行和修订已自动解决。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 RAGEN 提供轨迹级训练框架并分析奖励、采样和思维监督的作用。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P302 · Base paper · Base paper / B1
MindCube: Spatial Mental Modeling from Limited Views
2025 · Qineng Wang; Baiqiao Yin; Pingyue Zhang; Jianshu Zhang; Kangrui Wang; Zihan Wang; Jieyu Zhang; Keshigeyan Chandrasegaran; Han Liu; Ranjay Krishna; Saining Xie; Jiajun Wu; Li Fei-Fei; Manling Li
返回 B1 主题 Overview ↑
① 做了什么 研究问题:有限视角下的空间心智模型怎样支持位置、视角和假设运动推理?
② 贡献 MindCube 设计空间问答,并通过先生成认知地图再推理的训练改善空间理解。
③ 边界 认知地图上的假设推演不同于物理视频后果生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MindCube 设计空间问答,并通过先生成认知地图再推理的训练改善空间理解。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P308 · Method paper · Method paper / M3
VAGEN: Reinforcing World Model Reasoning for Multi-Turn VLM Agents
2025 · Kangrui Wang; Pingyue Zhang; Zihan Wang; Yaning Gao; Linjie Li; Qineng Wang; Hanyang Chen; Chi Wan; Yiping Lu; Zhengyuan Yang; Lijuan Wang; Ranjay Krishna; Jiajun Wu; Li Fei-Fei; Yejin Choi; Manling Li
返回 M3 主题 Overview ↑
① 做了什么 研究问题:显式状态估计和转移预测怎样帮助多轮 VLM agent?
② 贡献 VAGEN 用强化学习约束视觉状态推理,并提供逐轮状态预测奖励。
③ 边界 world model reasoning 由 VLM 的状态推理实现,不能与视频扩散内生推理混用。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VAGEN 用强化学习约束视觉状态推理,并提供逐轮状态预测奖励。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P309 · Base paper · Base paper / B4
MoMaGen: Generating Demonstrations under Soft and Hard Constraints for Multi-Step Bimanual Mobile Manipulation
2025 · Chengshu Li; Mengdi Xu; Arpit Bahety; Hang Yin; Yunfan Jiang; Huang Huang; Josiah Wong; Sujay Garlanka; Cem Gokmen; Ruohan Zhang; Weiyu Liu; Jiajun Wu; Roberto Martín-Martín; Li Fei-Fei
返回 B4 主题 Overview ↑
① 做了什么 研究问题:移动双臂任务的数据生成怎样同时满足可达性和可见性?
② 贡献 MoMaGen 在软硬约束下扩展示范,综合安排底座、相机和多步操作。
③ 边界 仿真中的可行示范生成不是任意视频生成的物理推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MoMaGen 在软硬约束下扩展示范,综合安排底座、相机和多步操作。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P316 · Base paper · Base paper / B1
ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction
2025 · Qineng Wang; Wenlong Huang; Yu Zhou; Hang Yin; Tianwei Bao; Jianwen Lyu; Weiyu Liu; Ruohan Zhang; Jiajun Wu; Li Fei-Fei; Manling Li
返回 B1 主题 Overview ↑
① 做了什么 研究问题:第一视角长交互中的动作效果和记忆怎样排除画质干扰地评价?
② 贡献 ENACT 用 BEHAVIOR 合成的状态动作轨迹形成视觉问答,测试具身认知与世界建模。
③ 边界 采用 VQA 而非像素生成;可作语义后果指标,不能独立评估视频真实性。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ENACT 用 BEHAVIOR 合成的状态动作轨迹形成视觉问答,测试具身认知与世界建模。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P328 · Base paper · Base paper / B1
QuantiPhy: A Quantitative Benchmark Evaluating Physical Reasoning Abilities of Vision-Language Models
2025 · Li Puyin; Tiange Xiang; Ella Mao; Shirley Wei; Xinye Chen; Adnan Masood; Li Fei-fei; Ehsan Adeli
返回 B1 主题 Overview ↑
① 做了什么 研究问题:模型能否从视频和给定量纲先验准确估计运动物理量?
② 贡献 QuantiPhy 以数值真值评价尺寸、速度和加速度估计,并改变背景和反事实先验。
③ 边界 主要测试 VLM 数值推理,不是生成未来视频的物理正确率。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 QuantiPhy 以数值真值评价尺寸、速度和加速度估计,并改变背景和反事实先验。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P330 · Method paper · Method paper / M3
Dream2Flow: Bridging Video Generation and Open-World Manipulation with 3D Object Flow
2025 · Karthik Dharmarajan; Wenlong Huang; Jiajun Wu; Li Fei-Fei; Ruohan Zhang
返回 M3 主题 Overview ↑
① 做了什么 研究问题:生成视频中的物体运动怎样转成机器人可追踪的任务?
② 贡献 Dream2Flow 从生成视频恢复三维物体流,再以轨迹跟踪连接操作控制。
③ 边界 真实执行还依赖三维恢复与控制器;必须区分生成和下游转换的误差。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Dream2Flow 从生成视频恢复三维物体流,再以轨迹跟踪连接操作控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P333 · Method paper · Method paper / M3
PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation
2026 · Wenlong Huang; Yu-Wei Chao; Arsalan Mousavian; Ming-Yu Liu; Dieter Fox; Kaichun Mo; Li Fei-Fei
返回 M3 主题 Overview ↑
① 做了什么 研究问题:不同机器人能否在统一三维点流中表达动作和状态变化?
② 贡献 PointWorld 从 RGB-D 与动作预测逐像素三维位移,并以真实、合成轨迹研究跨本体规模化训练。
③ 边界 三维位移预测与写实视频渲染是不同输出;动作和深度是额外条件。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 PointWorld 从 RGB-D 与动作预测逐像素三维位移,并以真实、合成轨迹研究跨本体规模化训练。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P342 · Base paper · Base paper / B1
Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration?
2026 · Pingyue Zhang; Zihan Huang; Yue Wang; Jieyu Zhang; Letian Xue; Zihan Wang; Qineng Wang; Keshigeyan Chandrasegaran; Ruohan Zhang; Yejin Choi; Ranjay Krishna; Jiajun Wu; Li Fei-Fei; Manling Li
返回 B1 主题 Overview ↑
① 做了什么 研究问题:智能体怎样从主动探索的部分观察建立和修正空间信念?
② 贡献 Theory of Space 用逐步空间信念探针分析探索效率、知识退化及错误信念的修正。
③ 边界 显式报告的信念是探针输出,不应默认忠实等同于全部内部状态。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 Theory of Space 用逐步空间信念探针分析探索效率、知识退化及错误信念的修正。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P347 · Method paper · Method paper / M3
Learning from Trials and Errors: Reflective Test-Time Planning for Embodied LLMs
2026 · Yining Hong; Huang Huang; Manling Li; Li Fei-Fei; Leonidas Guibas; Jiajun Wu; Yejin Choi
返回 M3 主题 Overview ↑
① 做了什么 研究问题:执行前后反思怎样共同改善长程具身规划?
② 贡献 Reflective Test-Time Planning 在行动前评分候选,行动后以外部反馈更新模型,并追溯早期决策。
③ 边界 推理和更新主要由具身语言 agent 承担,不能作为视频生成模型内生推理证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Reflective Test-Time Planning 在行动前评分候选,行动后以外部反馈更新模型,并追溯早期决策。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P354 · Base paper · Base paper / B1
MIRAGE: The Illusion of Visual Understanding
2026 · Mohammad Asadi; Jack W. O'Sullivan; Fang Cao; Tahoura Nedaee; Kamyar Rajabalifardi; Fei-Fei Li; Ehsan Adeli; Euan Ashley
返回 B1 主题 Overview ↑
① 做了什么 研究问题:多模态模型的正确回答是否真正使用了图像?
② 贡献 MIRAGE 检查缺失图像时仍产生详细描述和高分的现象,并提出减少文本泄漏的评价方法。
③ 边界 主要实验涉及图像问答;作为视觉依赖测试的设计参照,不能直接外推视频生成失败率。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MIRAGE 检查缺失图像时仍产生详细描述和高分的现象,并提出减少文本泄漏的评价方法。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P356 · Method paper · Method paper / M3
CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation
2026 · Letian Fu; Justin Yu; Karim El-Refai; Ethan Kou; Haoru Xue; Huang Huang; Wenli Xiao; Guanzhi Wang; Dantong Niu; Fei-Fei Li; Guanya Shi; Jiajun Wu; Shankar Sastry; Yuke Zhu; Ken Goldberg; Linxi "Jim" Fan
返回 M3 主题 Overview ↑
① 做了什么 研究问题:代码作为机器人策略时,抽象层级与执行反馈怎样影响可靠性?
② 贡献 CaP-X 统一代码策略评价,并研究多轮反馈、技能合成和强化学习改进。
③ 边界 显式代码策略与可执行环境动力学模型不同,也非视频生成器推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 CaP-X 统一代码策略评价,并研究多轮反馈、技能合成和强化学习改进。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P357 · Method paper · Method paper / M3
IMPASTO: Integrating Model-Based Planning with Learned Dynamics Models for Robotic Oil Painting Reproduction
2026 · Yingke Wang; Hao Li; Yifeng Zhu; Hong-Xing Yu; Ken Goldberg; Li Fei-Fei; Jiajun Wu; Yunzhu Li; Ruohan Zhang
返回 M3 主题 Overview ↑
① 做了什么 研究问题:学习的像素动力学怎样用于真实油画笔触规划?
② 贡献 IMPASTO 将像素变化预测与模型规划结合进行机器人油画复现。
③ 边界 与绘画任务直接相邻;需要细读画材、笔触参数及预测误差的具体范围。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 IMPASTO 将像素变化预测与模型规划结合进行机器人油画复现。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P360 · Method paper · Method paper / M2
RAGEN-2: Reasoning Collapse in Agentic RL
2026 · Zihan Wang; Chi Gui; Xing Jin; Qineng Wang; Licheng Liu; Kangrui Wang; Shiqi Chen; Linjie Li; Zhengyuan Yang; Pingyue Zhang; Yiping Lu; Jiajun Wu; Li Fei-Fei; Lijuan Wang; Yejin Choi; Manling Li
返回 M2 主题 Overview ↑
① 做了什么 研究问题:强化学习中的推理是否依赖当前输入,而非套用模板?
② 贡献 RAGEN-2 区分输出多样性与跨输入可辨别性,提出互信息代理诊断和信噪比筛选。
③ 边界 agent 文本推理的模板坍塌与视频生成的推理能力须分别测量。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 RAGEN-2 区分输出多样性与跨输入可辨别性,提出互信息代理诊断和信噪比筛选。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P362 · Base paper · Base paper / B1
HumanScore: Benchmarking Human Motions in Generated Videos
2026 · Yusu Fang; Tiange Xiang; Tian Tan; Narayan Schuetz; Scott Delp; Li Fei-Fei; Ehsan Adeli
返回 B1 主题 Overview ↑
① 做了什么 研究问题:生成的人体动作是否符合身体结构和生物力学约束?
② 贡献 HumanScore 用多种运动强度提示及物理相关指标评估生成视频中的人体运动。
③ 边界 人体运动评价不直接覆盖液体、接触物体或任意自定义规律。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HumanScore 用多种运动强度提示及物理相关指标评估生成视频中的人体运动。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P372 · Base paper · Base paper / B1
ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop
2026 · Yining Hong; Jiageng Liu; Han Yin; Manling Li; Leonidas Guibas; Li Fei-Fei; Jiajun Wu; Yejin Choi
返回 B1 主题 Overview ↑
① 做了什么 研究问题:空间理解从固定观察转为主动探索后会发生什么?
② 贡献 ESI-Bench 在 OmniGibson 中让观察者执行动作取证,比较主动探索、被动观察与三维辅助。
③ 边界 显式三维表示错误也可能损害推理;不能预设 3D 辅助必然更可靠。
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 ESI-Bench 在 OmniGibson 中让观察者执行动作取证,比较主动探索、被动观察与三维辅助。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P376 · Base paper · Base paper / B1
Planning with the Views
2026 · Kangrui Wang; Linjie Li; Zhengyuan Yang; Shiqi Chen; Zihan Wang; Li Fei-Fei; Jiajun Wu; Leonidas Guibas; Lijuan Wang; Manling Li
返回 B1 主题 Overview ↑
① 做了什么 研究问题:智能体能否预测视角改变并组合多步观察计划?
② 贡献 Planning with the Views 在 ViewSuite 中评估视角变换,通过自探索和视图图蒸馏改善规划。
③ 边界 对象是主动观察与空间推理,不直接生成物理交互后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Planning with the Views 在 ViewSuite 中评估视角变换,通过自探索和视图图蒸馏改善规划。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P389 · Base paper · Base paper / B4
SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation
2026 · Nadun Ranawaka; Josiah Wong; Wei-Lin Pai; Wei-Teng Chu; Tianyuan Dai; Masoud Moghani; Hang Yin; Yunfan Jiang; Wesley Durbano; Brandon Huynh; Yu Fang; Danfei Xu; Ruohan Zhang; Li Fei-Fei; Linxi Fan; Bowen Wen; Ajay Mandlekar; Yuke Zhu
返回 B4 主题 Overview ↑
① 做了什么 研究问题:真实视频能否自动转成适合策略学习和评价的模拟场景?
② 贡献 SimFoundry 以模块化 real-to-sim 管线生成场景,并比较仿真排序和真实执行结果。
③ 边界 仿真与真实的相关性在所测任务中成立,不能作为所有生成世界的物理保真保证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 SimFoundry 以模块化 real-to-sim 管线生成场景,并比较仿真排序和真实执行结果。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P394 · Method paper · Method paper / M3
RoboTTT: Context Scaling for Robot Policies
2026 · Yunfan Jiang; Yevgen Chebotar; Ruijie Zheng; Fengyuan Hu; Yunhao Ge; Jimmy Wu; Tianyuan Dai; Scott Reed; Li Fei-Fei; Yuke Zhu; Linxi "Jim" Fan
返回 M3 主题 Overview ↑
① 做了什么 研究问题:机器人策略怎样利用很长的交互历史而控制推理成本?
② 贡献 RoboTTT 用测试时训练机制扩展视觉运动上下文,研究示范学习、扰动恢复与多阶段任务。
③ 边界 长策略上下文不等于像素视频的长期世界记忆。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 RoboTTT 用测试时训练机制扩展视觉运动上下文,研究示范学习、扰动恢复与多阶段任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P396 · Method paper · Method paper / M3
Masked Visual Actions for Unified World Modeling
2026 · Hadi Alzayer; Wenlong Huang; Haonan Chen; Christopher Luey; Lvmin Zhang; Maneesh Agrawala; Gordon Wetzstein; Li Fei-Fei; Yilun Du; Jiajun Wu; Jia-Bin Huang
返回 M3 主题 Overview ↑
① 做了什么 研究问题:遮挡不同实体的未来轨迹能否统一前向、逆向与无条件世界建模?
② 贡献 Masked Visual Actions 以部分可见的实体轨迹视频作为动作接口,预测其余交互并支持候选策略评价。
③ 边界 部分实体未来已知,但被遮挡实体后果仍需预测;输入条件强于仅给首帧。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Wan-Fun-Control 2.2 14B;同一 VAE 编码条件,缺失区域置灰后拼接。LoRA rank 256,batch 4,8 张 H200,约 1 万步/4 天。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 DROID、未见末端形态与 BEHAVIOR 本体上的视觉保真和控制比较,另有策略评价、规划和逆向建模实验。Table 1 各基线条件不完全相同,需连同正文说明比较。
证据定位 PDF pp.3–5:实体掩码接口、数据构造;p.6 §4.2:训练规模;p.7 §5.1、Tables 1–2:跨本体条件与比较。方法已核查,未复现实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P398 · Method paper · Method paper / M3
TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks
2026 · Zhi Cao; Howard Ji; Kevin Zhang; Kuangzhi Ge; Li Fei-Fei; Jiajun Wu; Huang Huang
返回 M3 主题 Overview ↑
① 做了什么 研究问题:视觉轨迹能否连接候选机器人动作与未来视频评价?
② 贡献 TrAct 联合提出动作及视觉轨迹,用轨迹条件世界模型预测后果,再由视觉语言奖励模型排序。
③ 边界 动作提出与结果评分有独立模块;需要区分轨迹跟随、被动物体预测及最终执行成功。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 π0.5 改为动作/轨迹联合 flow 训练;SVD 加轨迹 ControlNet。预训练用 DROID/EgoDex,轨迹来自校准投影和 CoTracker;动作模型报告 4 张 H100、3 万步。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 LIBERO-INTEGRAL 包括稳健性和跨本体任务;比较 π0.5、仅 VLAT、动作条件及轨迹条件世界模型,并测试真实 Franka。统一数据适配用于检验轨迹接口的作用。
证据定位 PDF pp.3–5 §3–4:完整接口、训练、推理与 LIBERO-INTEGRAL;p.5 §4.2:对照错误。方法已核查,未复现实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P400 · Method paper · Method paper / M3
One Demonstration, Many Objects: Generalizing Manipulation via Local Contact Geometry
2026 · Satvik Sharma; Samrat Sahoo; Huang Huang; Fei-Fei Li; Jiajun Wu; Dorsa Sadigh; Jeannette Bohg
返回 M3 主题 Overview ↑
① 做了什么 研究问题:少量示范如何通过局部接触几何迁移到不同物体?
② 贡献 DemoMimic 关注接触点附近的物体几何,学习更可泛化的灵巧操作策略。
③ 边界 策略的接触泛化不是视频生成的直接证据;奖励和真实测试条件仍需细读。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DemoMimic 关注接触点附近的物体几何,学习更可泛化的灵巧操作策略。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P169 · Application paper · AIGC / G3
3D Video Loops from Asynchronous Input
2023 · Li Ma; Xiaoyu Li; Jing Liao; Pedro V. Sander
返回 G3 主题 Overview ↑
① 做了什么 研究问题:异步多视图视频如何重建可实时浏览的循环动态场景?
② 贡献 Multi-Tile Video 以稀疏时空表示和两阶段优化构建视角一致的三维循环视频。
③ 边界 针对周期重放与视角变化,不能视为开放式未来预测或无限演化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Multi-Tile Video 以稀疏时空表示和两阶段优化构建视角一致的三维循环视频。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P171 · Application paper · AIGC / G3
AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control
2023 · Ruixiang Jiang; Can Wang; Jingbo Zhang; Menglei Chai; Mingming He; Dongdong Chen; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:文本生成的神经人体如何同时支持身份与形状姿态控制?
② 贡献 AvatarCraft 用扩散先验优化人体几何和纹理,再通过参数化人体间的显式变形支持动画。
③ 边界 姿态可控与模型自行预测人体运动或对象互动的能力不同。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 AvatarCraft 用扩散先验优化人体几何和纹理,再通过参数化人体间的显式变形支持动画。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P172 · Application paper · AIGC / G3
Learning Neural Duplex Radiance Fields for Real-Time View Synthesis
2023 · Ziyu Wan; Christian Richardt; Aljaž Božič; Chao Li; Vijay Rengarajan; Seonghyeon Nam; Xiaoyu Xiang; Tuotuo Li; Bo Zhu; Rakesh Ranjan; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:如何将辐射场转成适合实时渲染的网格特征表示?
② 贡献 将 NeRF 蒸馏到双层网格上的神经特征,结合屏幕空间卷积和多视图优化提升渲染效率。
③ 边界 加速的是给定场景的新视角渲染,不能套用为视频生成模型的推理延迟。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 将 NeRF 蒸馏到双层网格上的神经特征,结合屏幕空间卷积和多视图优化提升渲染效率。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P174 · Application paper · AIGC / G3
Text2NeRF: Text-Driven 3D Scene Generation with Neural Radiance Fields
2023 · Jingbo Zhang; Xiaoyu Li; Ziyu Wan; Can Wang; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:文本生成的三维场景如何保持跨视图几何与纹理一致?
② 贡献 Text2NeRF 结合文本到图像先验、单目深度与渐进场景补全更新,优化场景辐射场。
③ 边界 依赖图像与深度先验的静态场景构建,没有由摘要证明可执行动态机制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Text2NeRF 结合文本到图像先验、单目深度与渐进场景补全更新,优化场景辐射场。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P191 · Application paper · AIGC / G3
VQ-NeRF: Neural Reflectance Decomposition and Editing with Vector Quantization
2023 · Hongliang Zhong; Jingbo Zhang; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:离散材质表示能否改善三维反射分解和交互编辑?
② 贡献 VQ-NeRF 将连续分支与离散材料码结合,并提供材质编辑界面。
③ 边界 材质可编辑性与由材质决定的动力学后果属于不同建模目标。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VQ-NeRF 将连续分支与离散材料码结合,并提供材质编辑界面。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P196 · Application paper · AIGC / G3
HumanRef: Single Image to 3D Human Generation via Reference-Guided Diffusion
2023 · Jingbo Zhang; Xiaoyu Li; Qi Zhang; Yanpei Cao; Ying Shan; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:单张参考图如何约束三维人体的几何、纹理和跨视角身份?
② 贡献 HumanRef 采用参考引导的分数蒸馏和区域注意力,让生成的人体与输入外观对应。
③ 边界 主要目标是静态三维人体生成,不能直接证明运动或接触物理正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HumanRef 采用参考引导的分数蒸馏和区域注意力,让生成的人体与输入外观对应。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P199 · Application paper · AIGC / G3
Mesh-Guided Neural Implicit Field Editing
2023 · Can Wang; Mingming He; Menglei Chai; Dongdong Chen; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:显式网格如何帮助编辑隐式神经场?
② 贡献 以可微网格提取、颜色映射和八叉树优化连接易编辑网格与辐射场,支持不同粒度的局部编辑。
③ 边界 局部几何编辑与局部机制修订不同;动态后果不在摘要任务范围内。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 以可微网格提取、颜色映射和八叉树优化连接易编辑网格与辐射场,支持不同粒度的局部编辑。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P203 · Application paper · AIGC / G3
CAD: Photorealistic 3D Generation via Adversarial Distillation
2023 · Ziyu Wan; Despoina Paschalidou; Ian Huang; Hongyu Liu; Bokui Shen; Xiaoyu Xiang; Jing Liao; Leonidas Guibas
返回 G3 主题 Overview ↑
① 做了什么 研究问题:对抗蒸馏能否改善扩散先验引导的三维生成质量和多样性?
② 贡献 CAD 比较多视图渲染与扩散先验的分布差异,以对抗学习支持单图条件三维合成与插值。
③ 边界 质量和多样性评价不能替代几何或物理约束的完整验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 CAD 比较多视图渲染与扩散先验的分布差异,以对抗学习支持单图条件三维合成与插值。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P204 · Application paper · AIGC / G3
HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation
2023 · Hongyu Liu; Xuan Wang; Ziyu Wan; Yujun Shen; Yibing Song; Jing Liao; Qifeng Chen
返回 G3 主题 Overview ↑
① 做了什么 研究问题:文本怎样生成可进一步编辑的三维头部?
② 贡献 HeadArtist 通过关键点引导的 ControlNet 先验与自分数蒸馏优化参数化头部。
③ 边界 研究人体局部几何与外观生成;不涉及通用世界动力学。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HeadArtist 通过关键点引导的 ControlNet 先验与自分数蒸馏优化参数化头部。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P213 · Base paper · Base paper / B3
Advances in 3D Generation: A Survey
2024 · Xiaoyu Li; Qi Zhang; Di Kang; Weihao Cheng; Yiming Gao; Jingbo Zhang; Zhihao Liang; Jing Liao; Yan-Pei Cao; Ying Shan
返回 B3 主题 Overview ↑
① 做了什么 研究问题:三维生成有哪些表示、算法、数据与应用路线?
② 贡献 综述按前馈生成、优化生成、程序生成和生成式新视角合成组织三维文献。
③ 边界 综述用于寻找来源与建立分类,本身不提供各能力的统一实证验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 综述按前馈生成、优化生成、程序生成和生成式新视角合成组织三维文献。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P214 · Application paper · AIGC / G1
Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion
2024 · Shiyuan Yang; Liang Hou; Haibin Huang; Chongyang Ma; Pengfei Wan; Di Zhang; Xiaodong Chen; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:如何解耦控制相机运动与多个对象的运动?
② 贡献 Direct-a-Video 分别建模相机参数和对象运动,以新增时间交叉注意力和数据增强训练相机控制。
③ 边界 用户已指定运动条件;控制准确性需要与自主预测后果区分。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Direct-a-Video 分别建模相机参数和对象运动,以新增时间交叉注意力和数据增强训练相机控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P222 · Application paper · AIGC / G3
RaFE: Generative Radiance Fields Restoration
2024 · Zhongkai Wu; Ziyu Wan; Jing Zhang; Jing Liao; Dong Xu
返回 G3 主题 Overview ↑
① 做了什么 研究问题:如何利用二维生成先验修复不同退化类型的辐射场?
② 贡献 RaFE 先修复多视图图像,再通过生成式辐射场处理各视角修复结果的不一致。
③ 边界 针对场景恢复与新视角合成,不检验动作条件的未来演化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 RaFE 先修复多视图图像,再通过生成式辐射场处理各视角修复结果的不一致。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P225 · Application paper · AIGC / G1
AniClipart: Clipart Animation with Text-to-Video Priors
2024 · Ronghuan Wu; Wanchao Su; Kede Ma; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:如何用视频扩散先验让静态剪贴画形成可控动画?
② 贡献 AniClipart 用贝塞尔曲线参数化关键点轨迹,并结合视频分数蒸馏与骨架保持损失优化动画。
③ 边界 轨迹优化以视频先验和骨架约束为依据,非物理仿真保证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 AniClipart 用贝塞尔曲线参数化关键点轨迹,并结合视频分数蒸馏与骨架保持损失优化动画。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P226 · Application paper · AIGC / G3
Learn2Talk: 3D Talking Face Learns from 2D Talking Face
2024 · Yixiang Zhuang; Baoping Cheng; Yao Cheng; Yuntao Jin; Renshuai Liu; Chengyang Li; Xuan Cheng; Jing Liao; Juncong Lin
返回 G3 主题 Overview ↑
① 做了什么 研究问题:二维说话人模型怎样监督三维语音面部动画?
② 贡献 Learn2Talk 从二维说话人方法获得唇音同步和教师监督,改进语音到三维面部运动的学习。
③ 边界 研究特定人体动画子任务,泛化到手部操作或环境后果需要新证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Learn2Talk 从二维说话人方法获得唇音同步和教师监督,改进语音到三维面部运动的学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P230 · Application paper · AIGC / G3
EG4D: Explicit Generation of 4D Object without Score Distillation
2024 · Qi Sun; Zhiyang Guo; Ziyu Wan; Jing Nathan Yan; Shengming Yin; Wengang Zhou; Jing Liao; Houqiang Li
返回 G3 主题 Overview ↑
① 做了什么 研究问题:如何从单图获得时空一致的显式四维对象?
② 贡献 利用视频扩散生成多视图视频,再进行动态 Gaussian 重建与细节修整,减少对分数蒸馏的依赖。
③ 边界 显式四维表示在此指动态外观与几何;不能由此推出对象动力学机制可识别或可编辑。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 利用视频扩散生成多视图视频,再进行动态 Gaussian 重建与细节修整,减少对分数蒸馏的依赖。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P239 · Application paper · HCI / H3
Chat2Layout: Interactive 3D Furniture Layout with a Multimodal LLM
2024 · Can Wang; Hongliang Zhong; Menglei Chai; Mingming He; Dongdong Chen; Jing Liao
返回 H3 主题 Overview ↑
① 做了什么 研究问题:用户如何通过多模态对话迭代修改三维家具布局?
② 贡献 Chat2Layout 通过视觉文本提示和参考示例搜索引导 MLLM,利用反馈改善交互式家具布局,摘要声明无需修改模型权重。
③ 边界 推理与布局决策位于外部 MLLM;应另查真实用户负担和布局约束的评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Chat2Layout 通过视觉文本提示和参考示例搜索引导 MLLM,利用反馈改善交互式家具布局,摘要声明无需修改模型权重。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】带依赖与来源的编辑界面能否减少反复生成,同时提高作者意图的保留程度?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P245 · Application paper · AIGC / G1
LVCD: Reference-based Lineart Video Colorization with Diffusion Models
2024 · Zhitong Huang; Mohan Zhang; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:参考图引导的线稿视频上色如何保持长序列一致性?
② 贡献 LVCD 使用扩散模型和参考条件处理线稿视频上色,关注颜色与时序一致。
③ 边界 目标是上色和身份保持;不是下一事件预测或物理机制推断。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LVCD 使用扩散模型和参考条件处理线稿视频上色,关注颜色与时序一致。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P246 · Application paper · AIGC / G3
Generative Object Insertion in Gaussian Splatting with a Multi-View Diffusion Model
2024 · Hongliang Zhong; Can Wang; Jingbo Zhang; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:如何把生成对象以多视图一致的方式插入 Gaussian 场景?
② 贡献 通过多视图扩散先验实现 Gaussian Splatting 场景的生成式对象插入。
③ 边界 对象插入和多视图一致性不直接验证插入后接触、碰撞等动态后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 通过多视图扩散先验实现 Gaussian Splatting 场景的生成式对象插入。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P253 · Application paper · AIGC / G1
SGEdit: Bridging LLM with Text2Image Generative Model for Scene Graph-based Image Editing
2024 · Zhiyuan Zhang; DongDong Chen; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:场景图怎样连接语言指令与可控图像编辑?
② 贡献 SGEdit 将 LLM 与文本到图像模型通过场景图连接,支持结构化的对象及关系编辑。
③ 边界 属于外部语言模型与生成器协作的编辑管线;具体关系约束和执行范围待正文核查。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 SGEdit 将 LLM 与文本到图像模型通过场景图连接,支持结构化的对象及关系编辑。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P261 · Application paper · AIGC / G3
Distractor-free Generalizable 3D Gaussian Splatting
2024 · Yanqi Bao; Jing Liao; Jing Huo; Yang Gao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:带有动态干扰的多视图输入如何支持泛化三维重建?
② 贡献 DGGS 在训练中预测并修整干扰掩码,在推理中重选参考图像并裁剪受干扰的 Gaussian 表示。
③ 边界 新视角重建的抗干扰性能不等于长期动态状态记忆。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DGGS 在训练中预测并修整干扰掩码,在推理中重选参考图像并裁剪受干扰的 Gaussian 表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P268 · Application paper · AIGC / G3
TalkingEyes: Pluralistic Speech-Driven 3D Eye Gaze Animation
2025 · Yixiang Zhuang; Chunshan Ma; Yao Cheng; Xuan Cheng; Jing Liao; Juncong Lin
返回 G3 主题 Overview ↑
① 做了什么 研究问题:语音如何驱动多样且协调的眼神和头部运动?
② 贡献 TalkingEyes 使用音频与三维运动配对数据,在分开的潜空间中生成头部和视线,并与面部动画整合。
③ 边界 关注角色表现与语音运动协调,非动作干预下的环境后果模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 TalkingEyes 使用音频与三维运动配对数据,在分开的潜空间中生成头部和视线,并与面部动画整合。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P283 · Application paper · AIGC / G1
I2V3D: Controllable image-to-video generation with 3D guidance
2025 · Zhiyuan Zhang; Dongdong Chen; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:如何把粗糙三维渲染转换成可控且连贯的视频?
② 贡献 I2V3D 先用三维引导生成高质量关键帧,再采用双向引导的视频插值,支持相机、物体和角色动画控制。
③ 边界 动作与几何由图形管线提供,属于三维条件生成;插值无训练不表示整条管线无训练。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 I2V3D 先用三维引导生成高质量关键帧,再采用双向引导的视频插值,支持相机、物体和角色动画控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P284 · Application paper · AIGC / G1
MTV-Inpaint: Multi-Task Long Video Inpainting
2025 · Shiyuan Yang; Zheng Gu; Liang Hou; Xin Tao; Pengfei Wan; Xiaodong Chen; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:长视频如何兼顾区域补全与可控对象插入?
② 贡献 MTV-Inpaint 以双分支空间注意力统一补全和插入,通过关键帧处理与中间帧传播扩展序列长度。
③ 边界 长序列补全强调外观和时序一致,尚需另测编辑引发的真实因果后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MTV-Inpaint 以双分支空间注意力统一补全和插入,通过关键帧处理与中间帧传播扩展序列长度。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P288 · Application paper · AIGC / G2
AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction
2025 · Junhao Cheng; Yuying Ge; Yixiao Ge; Jing Liao; Ying Shan
返回 G2 主题 Overview ↑
① 做了什么 研究问题:互动动画如何在多轮游戏中更新角色状态和动态镜头?
② 贡献 AnimeGamer 由 MLLM 根据历史预测含动作信息的多模态状态表示,再由视频扩散模型解码动画镜头。
③ 边界 状态推断由 MLLM 承担;语境一致和游戏体验不能替代可执行物理规则检查。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 AnimeGamer 由 MLLM 根据历史预测含动作信息的多模态状态表示,再由视频扩散模型解码动画镜头。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P291 · Application paper · AIGC / G3
CasaGPT: Cuboid Arrangement and Scene Assembly for Interior Design
2025 · Weitao Feng; Hang Zhou; Jing Liao; Li Cheng; Wenbo Zhou
返回 G3 主题 Overview ↑
① 做了什么 研究问题:用分解的长方体原语能否改进室内场景的构成与放置?
② 贡献 CasaGPT 自回归排列长方体原语,使用拒绝采样降低对象碰撞,并整理场景布局数据。
③ 边界 静态布局碰撞约束与动态物理演化不同;依赖所定义的几何原语和数据范围。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 CasaGPT 自回归排列长方体原语,使用拒绝采样降低对象碰撞,并整理场景布局数据。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P325 · Application paper · AIGC / G3
Animus3D: Text-driven 3D Animation via Motion Score Distillation
2025 · Qi Sun; Can Wang; Jiaxiang Shang; Wensen Feng; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:如何从文本和静态三维资产生成稳定且明显的运动?
② 贡献 Animus3D 以运动分数蒸馏优化运动场,利用 LoRA 静态分布、反演估噪及时空正则保持外观与运动细节。
③ 边界 由视频先验蒸馏出的运动仍需单独检验物理参数和干预后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Animus3D 以运动分数蒸馏优化运动场,利用 LoRA 静态分布、反演估噪及时空正则保持外观与运动细节。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P344 · Application paper · HCI / H3
Exploring a Multimodal Chatbot as a Facilitator in Therapeutic Art Activity
2026 · Le Lin; Zihao Zhu; Rainbow Tin Hung Ho; Jing Liao; Yuhan Luo
返回 H3 主题 Overview ↑
① 做了什么 研究问题:多模态聊天机器人如何支持艺术创作中的反思交流?
② 贡献 系统分析创作画面并与创作者对话,报告五位相关专家的初步评价和后续设计问题。
③ 边界 属于进行中的探索性研究;专家意见不能替代临床疗效或长期用户收益验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 系统分析创作画面并与创作者对话,报告五位相关专家的初步评价和后续设计问题。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】带依赖与来源的编辑界面能否减少反复生成,同时提高作者意图的保留程度?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P345 · Application paper · AIGC / G3
Ani3DHuman: Photorealistic 3D Human Animation with Self-guided Stochastic Sampling
2026 · Qi Sun; Can Wang; Jiaxiang Shang; Yingchun Liu; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:如何同时保持三维人体身份、关节运动和非刚性细节?
② 贡献 Ani3DHuman 将刚性骨架运动与残余非刚性运动分层,由粗渲染引导视频扩散,再通过自引导随机采样兼顾外观质量和身份保持。
③ 边界 刚性动作由运动学方法提供;衣物等细节的视觉合理性不等于完整物理仿真。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Ani3DHuman 将刚性骨架运动与残余非刚性运动分层,由粗渲染引导视频扩散,再通过自引导随机采样兼顾外观质量和身份保持。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P383 · Application paper · AIGC / G1
Cinematic Compositing Using Character-Environment-Harmonized Video Generation Models
2026 · Tianyi Xiang; Mingming He; Li Ma; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:视频合成如何同时表现角色对环境的交互与环境对角色的光照影响?
② 贡献 通过三类掩码和 RGB-D 联合去噪协调角色、交互道具与环境,并构造重光照训练配对。
③ 边界 视频合成中的交互合理性需要与指定动作下的正确后果区分;控制输入与配对数据条件待正文核查。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 通过三类掩码和 RGB-D 联合去噪协调角色、交互道具与环境,并构造重光照训练配对。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P385 · Application paper · AIGC / G1
BoxCtrl: 3D-Aware Visual Prompting for Geometric Image Editing
2026 · Feifei Wang; Shiyuan Yang; Xiaoyu Li; Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 研究问题:如何通过投影的三维框精确控制图像中的几何编辑?
② 贡献 BoxCtrl 以 RGB 三维框的二维投影作为视觉提示,先使用合成数据监督微调,再通过真实数据与几何、画质奖励进行强化学习。
③ 边界 编辑目标由用户的几何控制给定;几何编辑准确性与未知物理后果预测应分别评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 BoxCtrl 以 RGB 三维框的二维投影作为视觉提示,先使用合成数据监督微调,再通过真实数据与几何、画质奖励进行强化学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P393 · Application paper · AIGC / G3
ThinkBLOX: 3D Indoor Scene Generation with Progressive Reasoning
2026 · Yuan Xiao; Can Wang; Xiangyu Kong; Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 研究问题:三维室内场景能否通过逐步推理与局部反馈来构建和修改?
② 贡献 ThinkBLOX 用 VLM 逐步放置和修整场景,构建带多视图、推理说明和 JSON 布局的训练数据,并使用分层奖励优化。
③ 边界 推理发生在 VLM 与显式场景布局层;尚不能据此认定视频模型自身推断物理后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ThinkBLOX 用 VLM 逐步放置和修整场景,构建带多视图、推理说明和 JSON 布局的训练数据,并使用分层奖励优化。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P200 · Method paper · Method paper / M8
Return of Unconditional Generation: A Self-supervised Representation Generation Method
2023 · Tianhong Li; Dina Katabi; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:无条件生成能否通过先生成自监督语义表征来改善?
② 贡献 RCG 先在自监督编码器的表征空间生成条件,再让图像生成器利用这些条件,降低无条件与有条件生成的差距。
③ 边界 无标签图像生成并不意味着无需数据先验,也没有直接验证世界动力学。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 RCG 先在自监督编码器的表征空间生成条件,再让图像生成器利用这些条件,降低无条件与有条件生成的差距。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P212 · Method paper · Method paper / M7
Deconstructing Denoising Diffusion Models for Self-Supervised Learning
2024 · Xinlei Chen; Zhuang Liu; Saining Xie; Kaiming He
返回 M7 主题 Overview ↑
① 做了什么 研究问题:扩散模型的哪些组成部分对自监督表征学习真正必要?
② 贡献 逐项拆解去噪扩散模型并向去噪自编码器简化,对比其表征学习表现。
③ 边界 感知表征质量与生成后果正确性使用不同任务和评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 逐项拆解去噪扩散模型并向去噪自编码器简化,对比其表征学习表现。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P232 · Application paper · AIGC / G3
TetSphere Splatting: Representing High-Quality Geometry with Lagrangian Volumetric Meshes
2024 · Minghao Guo; Bohan Wang; Kaiming He; Wojciech Matusik
返回 G3 主题 Overview ↑
① 做了什么 研究问题:拉格朗日体网格表示怎样提高三维形状质量和可用性?
② 贡献 TetSphere Splatting 通过四面体球的变形及几何正则构造高质量体网格,评价单视图和多视图重建。
③ 边界 几何表示适合后续物理应用,不表示论文已经学习完整动力学。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 TetSphere Splatting 通过四面体球的变形及几何正则构造高质量体网格,评价单视图和多视图重建。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P233 · Application paper · AIGC / G4
Physically Compatible 3D Object Modeling from a Single Image
2024 · Minghao Guo; Bohan Wang; Pingchuan Ma; Tianyuan Zhang; Crystal Elaine Owens; Chuang Gan; Joshua B. Tenenbaum; Kaiming He; Wojciech Matusik
返回 G4 主题 Overview ↑
① 做了什么 研究问题:单图重建怎样同时考虑形状、物理属性与外力的相容性?
② 贡献 把静态平衡作为约束,将物理属性分解并连接到三维重建优化中,使模型更适合仿真和制造。
③ 边界 单图中的物理属性可能不唯一;静态相容性需要与真实参数识别和长期动态准确性区分。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 把静态平衡作为约束,将物理属性分解并连接到三维重建优化中,使模型更适合仿真和制造。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P236 · Method paper · Method paper / M8
Autoregressive Image Generation without Vector Quantization
2024 · Tianhong Li; Yonglong Tian; He Li; Mingyang Deng; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:自回归生成是否一定需要离散量化 token?
② 贡献 通过扩散过程建模连续 token 的条件分布,将 Diffusion Loss 与自回归或掩码自回归架构结合。
③ 边界 图像生成的连续表示基础可以提供方法参照,但未直接验证视频机制执行。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 通过扩散过程建模连续 token 的条件分布,将 Diffusion Loss 与自回归或掩码自回归架构结合。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P248 · Method paper · Method paper / M3
Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers
2024 · Lirui Wang; Xinlei Chen; Jialiang Zhao; Kaiming He
返回 M3 主题 Overview ↑
① 做了什么 研究问题:跨机器人、任务和传感器的预训练怎样共享策略表征?
② 贡献 HPT 用可共享 Transformer 主干连接不同本体的视觉和本体感知数据,研究异构预训练的扩展规律。
③ 边界 学习对象为控制策略表征,不是可独立检验所有动作后果的世界模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HPT 用可共享 Transformer 主干连接不同本体的视觉和本体感知数据,研究异构预训练的扩展规律。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P254 · Method paper · Method paper / M8
Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens
2024 · Lijie Fan; Tianhong Li; Siyang Qin; Yuanzhen Li; Chen Sun; Michael Rubinstein; Deqing Sun; Kaiming He; Yonglong Tian
返回 M8 主题 Overview ↑
① 做了什么 研究问题:连续 token 与生成顺序怎样影响文本到图像模型的扩展?
② 贡献 Fluid 对比离散或连续 token、固定或随机顺序,并采用连续 token 的随机顺序自回归生成。
③ 边界 验证损失、生成指标与视觉质量可能呈现不同趋势,不能只靠损失判断应用能力。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Fluid 对比离散或连续 token、固定或随机顺序,并采用连续 token 的随机顺序自回归生成。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P275 · Method paper · Method paper / M8
Is Noise Conditioning Necessary for Denoising Generative Models?
2025 · Qiao Sun; Zhicheng Jiang; Hanhong Zhao; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:去噪生成模型是否必须显式输入噪声等级?
② 贡献 研究去除噪声条件后的生成性能与误差,并给出理论和图像实验分析。
③ 边界 结论与噪声分布、模型和数据设置有关;视频模型迁移需单独测试。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 研究去除噪声条件后的生成性能与误差,并给出理论和图像实验分析。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P277 · Method paper · Method paper / M8
Fractal Generative Models
2025 · Tianhong Li; Qinyi Sun; Lijie Fan; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:递归组合原子生成模块能否形成有效的生成架构?
② 贡献 Fractal Generative Models 通过递归调用生成模块形成自相似结构,并以逐像素自回归图像生成进行验证。
③ 边界 模块递归结构本身不提供多步物理或跨分支一致性保证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Fractal Generative Models 通过递归调用生成模块形成自相似结构,并以逐像素自回归图像生成进行验证。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P282 · Method paper · Method paper / M6
Denoising Hamiltonian Network for Physical Reasoning
2025 · Congyue Deng; Brandon Y. Feng; Cecilia Garraffo; Alan Garbarz; Robin Walters; William T. Freeman; Leonidas Guibas; Kaiming He
返回 M6 主题 Overview ↑
① 做了什么 研究问题:如何把哈密顿结构扩展到多种物理推理输入输出?
② 贡献 Denoising Hamiltonian Network 将物理算子推广成可学习的神经算子,覆盖前向模拟之外的物理推理任务。
③ 边界 需要核对变量表示、训练分布与物理约束;不能把算子任务直接视为写实视频推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Denoising Hamiltonian Network 将物理算子推广成可学习的神经算子,覆盖前向模拟之外的物理推理任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P293 · Method paper · Method paper / M8
Mean Flows for One-step Generative Modeling
2025 · Zhengyang Geng; Mingyang Deng; Xingjian Bai; J. Zico Kolter; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:平均速度场能否支持从零训练的单步生成模型?
② 贡献 MeanFlow 以区间平均速度代替仅建模瞬时速度,构建不依赖预训练蒸馏的一步生成框架。
③ 边界 研究给定图像任务上的采样效率;不是现成视频模型的即插即用加速保证。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 MeanFlow 以区间平均速度代替仅建模瞬时速度,构建不依赖预训练蒸馏的一步生成框架。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P298 · Method paper · Method paper / M8
Diffuse and Disperse: Image Generation with Representation Regularization
2025 · Runqian Wang; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:扩散模型的内部表征分散正则能否改善生成?
② 贡献 Dispersive Loss 鼓励隐藏表征分散,不要求正样本配对或外部表征教师,作为生成训练的附加正则。
③ 边界 改善图像分布指标不能直接证明物理规律或操作后果更正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Dispersive Loss 鼓励隐藏表征分散,不要求正样本配对或外部表征教师,作为生成训练的附加正则。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P312 · Method paper · Method paper / M8
Back to Basics: Let Denoising Generative Models Denoise
2025 · Tianhong Li; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:直接预测干净像素能否简化高维扩散模型?
② 贡献 JiT 以大块像素 Transformer 直接预测干净数据,研究去噪目标与流形假设,避免依赖额外 tokenizer。
③ 边界 主要验证图像生成,尚需实测其设计在视频时间一致性上的效果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 JiT 以大块像素 Transformer 直接预测干净数据,研究去噪目标与流形假设,避免依赖额外 tokenizer。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P313 · Method paper · Method paper / M6
ARC Is a Vision Problem!
2025 · Keya Hu; Ali Cy; Linlu Qiu; Xiaoman Delores Ding; Runqian Wang; Yeyin Eva Zhu; Jacob Andreas; Kaiming He
返回 M6 主题 Overview ↑
① 做了什么 研究问题:抽象规则任务能否用纯视觉表示和测试时训练来求解?
② 贡献 Vision ARC 把 ARC 网格任务改写为画布上的图像到图像映射,从 ARC 数据训练,并通过测试时训练适应新任务。
③ 边界 视觉推理不等于视频推理;测试时适配成本与任务限定的数据范围需保留。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Vision ARC 把 ARC 网格任务改写为画布上的图像到图像映射,从 ARC 数据训练,并通过测试时训练适应新任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P318 · Method paper · Method paper / M8
Improved Mean Flows: On the Challenges of Fastforward Generative Models
2025 · Zhengyang Geng; Yiyang Lu; Zongze Wu; Eli Shechtman; J. Zico Kolter; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:平均流的训练目标和引导方式怎样改善单步生成?
② 贡献 Improved MeanFlow 用平均速度参数化瞬时速度回归,并把引导作为显式条件,改善从零训练的一步生成。
③ 边界 属于生成模型基础方法;在目标视频骨干上的训练成本和后果保持尚未由该摘要验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Improved MeanFlow 用平均速度参数化瞬时速度回归,并把引导作为显式条件,改善从零训练的一步生成。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P324 · Method paper · Method paper / M8
Bidirectional Normalizing Flow: From Data to Noise and Back
2025 · Yiyang Lu; Qiao Sun; Xianbang Wang; Zhicheng Jiang; Hanhong Zhao; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:归一化流怎样避免因果解码带来的采样瓶颈?
② 贡献 BiFlow 放宽精确解析逆的要求,通过双向归一化流改进生成质量和采样效率。
③ 边界 单次函数评估及图像采样速度不等于完整视频管线的端到端延迟。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 BiFlow 放宽精确解析逆的要求,通过双向归一化流改进生成质量和采样效率。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P336 · Method paper · Method paper / M8
One-step Latent-free Image Generation with Pixel Mean Flows
2026 · Yiyang Lu; Susie Lu; Qiao Sun; Hanhong Zhao; Zhicheng Jiang; Xianbang Wang; Tianhong Li; Zhengyang Geng; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:如何实现无需潜空间编码器的单步像素图像生成?
② 贡献 Pixel MeanFlow 区分网络输出空间和损失空间,在图像流形与平均速度之间建立转换。
③ 边界 评价主要为静态图像生成;直接迁移到视频仍需处理时间维度与资源需求。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Pixel MeanFlow 区分网络输出空间和损失空间,在图像流形与平均速度之间建立转换。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P340 · Method paper · Method paper / M8
Generative Modeling via Drifting
2026 · Mingyang Deng; He Li; Tianhong Li; Yilun Du; Kaiming He
返回 M8 主题 Overview ↑
① 做了什么 研究问题:能否在训练阶段演化生成分布,从而只用一步采样?
② 贡献 Drifting Models 通过漂移场推动生成样本分布与数据分布匹配,形成单步推理的生成器。
③ 边界 ImageNet 图像结果不能直接作为视频时序质量或小显存实时性的证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Drifting Models 通过漂移场推动生成样本分布与数据分布匹配,形成单步推理的生成器。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P346 · Method paper · Method paper / M6
GeoPT: Scaling Physics Simulation via Lifted Geometric Pre-Training
2026 · Haixu Wu; Minghao Guo; Zongyi Li; Zhiyang Dou; Mingsheng Long; Kaiming He; Wojciech Matusik
返回 M6 主题 Overview ↑
① 做了什么 研究问题:静态几何预训练怎样为物理仿真提供有用的动态表征?
② 贡献 GeoPT 用合成动态信息扩展静态几何上的自监督任务,再适配流体、固体等神经仿真任务。
③ 边界 这是神经仿真器预训练,输出与评价并非写实视频生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GeoPT 用随机速度、粒子和动态距离等构造预训练信号,把静态几何数据扩展为动态表征学习。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 下游神经仿真任务评估;本轮未把仿真误差转写为视频生成质量结论。
证据定位 PDF pp.3–6:预训练任务、合成动态与下游适配。方法已核查,未复现实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P363 · Method paper · Method paper / M7
Image Generators are Generalist Vision Learners
2026 · Valentin Gabeur; Shangbang Long; Songyou Peng; Paul Voigtlaender; Shuyang Sun; Yanan Bao; Karen Truong; Zhicheng Wang; Wenlei Zhou; Jonathan T. Barron; Kyle Genova; Nithish Kannen; Sherry Ben; Yandong Li; Mandy Guo; Suhas Yogin; Yiming Gu; Huizhong Chen; Oliver Wang; Saining Xie; Howard Zhou; Kaiming He; Thomas Funkhouser; Jean-Baptiste Alayrac; Radu Soricut
返回 M7 主题 Overview ↑
① 做了什么 研究问题:图像生成模型能否通过少量指令微调成为通用视觉模型?
② 贡献 Vision Banana 将多种感知任务的输出编码成 RGB 图像,以图像生成骨干进行统一指令微调。
③ 边界 任务涉及二维和三维感知;视频动力学与反事实后果需要独立评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Vision Banana 将多种感知任务的输出编码成 RGB 图像,以图像生成骨干进行统一指令微调。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P392 · Method paper · Method paper / M7
Video Generation Models are General-Purpose Vision Learners
2026 · Letian Wang; Chuhan Zhang; Rishabh Kabra; Jasper Uijlings; Steven Waslander; Andrew Zisserman; Joao Carreira; Kaiming He; Misha Andriluka; Eduard Gabriel Bazavan; Andrei Zanfir; Cristian Sminchisescu
返回 M7 主题 Overview ↑
① 做了什么 研究问题:视频生成预训练能否提供可迁移到多种视觉任务的通用表征?
② 贡献 GenCeption 将预训练视频扩散骨干改为前馈感知模型,经任务条件后训练支持深度、法线、分割、姿态和关键点等任务。
③ 边界 重点是生成预训练到感知的迁移,不能把感知任务泛化等同于视频模型预测干预后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 将视频扩散骨干改成干净 latent、固定 t=0 的单次前向感知模型;稠密任务映射到 RGB,稀疏任务加可学习 token,主要使用合成监督。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 多类稠密与稀疏视觉感知任务;本条核查了接口和训练任务,未逐表复核全部分数。
证据定位 PDF pp.5–7 §3、Fig.4–5:生成到感知改造和统一输出;方法已核查,未复现实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P166 · Method paper · Method paper / M8
Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation
2023 · Jay Zhangjie Wu; Yixiao Ge; Xintao Wang; Weixian Lei; Yuchao Gu; Yufei Shi; Wynne Hsu; Ying Shan; Xiaohu Qie; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:只有一个文本视频样本时怎样适配图像扩散生成视频?
② 贡献 Tune-A-Video 通过时间注意力和单样本微调学习运动,使用反演提供结构条件。
③ 边界 正式发表于 2023;单样本外观运动适配不等于可泛化的物理机制学习。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Tune-A-Video 通过时间注意力和单样本微调学习运动,使用反演提供结构条件。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P170 · Method paper · Method paper / M4
Affordance Grounding from Demonstration Video to Target Image
2023 · Joya Chen; Difei Gao; Kevin Qinghong Lin; Mike Zheng Shou
返回 M4 主题 Overview ↑
① 做了什么 研究问题:演示视频中的可操作部位怎样迁移定位到目标图像?
② 贡献 Afformer 逐步细化 affordance 定位,并用 MaskAHand 自监督预训练模拟上下文变化。
③ 边界 可操作部位定位不能直接说明动作执行或后果预测准确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Afformer 逐步细化 affordance 定位,并用 MaskAHand 自监督预训练模拟上下文变化。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P173 · Application paper · AIGC / G3
HOSNeRF: Dynamic Human-Object-Scene Neural Radiance Fields from a Single Video
2023 · Jia-Wei Liu; Yan-Pei Cao; Tianyuan Yang; Eric Zhongcong Xu; Jussi Keppo; Ying Shan; Xiaohu Qie; Mike Zheng Shou
返回 G3 主题 Overview ↑
① 做了什么 研究问题:单目视频怎样重建动态人、物和场景以自由视角观看?
② 贡献 HOSNeRF 用对象骨骼与状态嵌入组织人体交互和场景表示。
③ 边界 重建既有轨迹与生成新干预下的动力学不同。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HOSNeRF 用对象骨骼与状态嵌入组织人体交互和场景表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P181 · Method paper · Method paper / M7
EgoVLPv2: Egocentric Video-Language Pre-training with Fusion in the Backbone
2023 · Shraman Pramanick; Yale Song; Sayan Nag; Kevin Qinghong Lin; Hardik Shah; Mike Zheng Shou; Rama Chellappa; Pengchuan Zhang
返回 M7 主题 Overview ↑
① 做了什么 研究问题:第一人称视频语言预训练怎样更早融合跨模态信息?
② 贡献 EgoVLPv2 将跨模态融合直接放入视频和语言骨干以支持不同下游任务。
③ 边界 理解表征是相邻基础,不能直接作为后果视频生成结果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 EgoVLPv2 将跨模态融合直接放入视频和语言骨干以支持不同下游任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P187 · Method paper · Method paper / M8
Show-1: Marrying Pixel and Latent Diffusion Models for Text-to-Video Generation
2023 · David Junhao Zhang; Jay Zhangjie Wu; Jia-Wei Liu; Rui Zhao; Lingmin Ran; Yuchao Gu; Difei Gao; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:像素和潜空间扩散怎样结合以兼顾对齐和生成成本?
② 贡献 Show-1 先生成低分辨率像素视频,再以潜扩散放大并修复。
③ 边界 通用视频基准主要度量生成质量,不证明物理推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Show-1 先生成低分辨率像素视频,再以潜扩散放大并修复。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(2)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P068 · TPDiff: Temporal Pyramid Video Diffusion Model
作者观点 · PDF p.1,Introduction
TPDiff 将 Show-1 与 LaVie 的级联生成路线列为效率改进方法,同时指出低分辨率生成后再提升分辨率的级联结构会带来误差累积和推理时间增加。
适用范围 这是对一类级联架构的局限分析,不能据此认为 Show-1 在所有质量与效率设置下均落后。
查看评价原文 ↗
-
来自 P211 · Towards A Better Metric for Text-to-Video Generation
作者观点 · PDF p.2,Related Work
《Towards A Better Metric for Text-to-Video Generation》肯定 Show-1 将像素扩散和潜空间扩散结合:前者生成低分辨率内容,后者执行放大,以兼顾内容质量与计算效率。
适用范围 属于相关工作中的方法评价,不是该评价论文对 Show-1 做出的独立复现结论。
查看评价原文 ↗
打开论文公开页面 ↗
P402 · Application paper · AIGC / G1
MotionDirector: Motion Customization of Text-to-Video Diffusion Models
2023 · Rui Zhao; Yuchao Gu; Jay Zhangjie Wu; David Junhao Zhang; Jiawei Liu; Weijia Wu; Jussi Keppo; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:少量视频中的运动概念怎样与外观解耦迁移?
② 贡献 MotionDirector 用双路径 LoRA 和去外观偏差的时间损失学习运动定制。
③ 边界 运动风格迁移不直接验证动作导致的对象状态变化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MotionDirector 用双路径 LoRA 和去外观偏差的时间损失学习运动定制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P190 · Application paper · AIGC / G3
DynVideo-E: Harnessing Dynamic NeRF for Large-Scale Motion- and View-Change Human-Centric Video Editing
2023 · Jia-Wei Liu; Yan-Pei Cao; Jay Zhangjie Wu; Weijia Mao; Yuchao Gu; Rui Zhao; Jussi Keppo; Ying Shan; Mike Zheng Shou
返回 G3 主题 Overview ↑
① 做了什么 研究问题:大动作和视角变化下的视频编辑怎样保持一致?
② 贡献 DynVideo-E 在动态 NeRF 中编辑,并通过形变场传播,结合多视角多姿态扩散先验。
③ 边界 动态来自已观测视频;三维编辑一致性与未来预测分开判断。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DynVideo-E 在动态 NeRF 中编辑,并通过形变场传播,结合多视角多姿态扩散先验。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P195 · Application paper · AIGC / G3
XAGen: 3D Expressive Human Avatars Generation
2023 · Zhongcong Xu; Jianfeng Zhang; Jun Hao Liew; Jiashi Feng; Mike Zheng Shou
返回 G3 主题 Overview ↑
① 做了什么 研究问题:三维人体生成怎样细粒度控制脸、手和身体?
② 贡献 XAGen 采用多尺度、多部位表示与渲染、判别设计实现表情和姿态控制。
③ 边界 人体表示可控不等同于物理运动或多对象交互建模。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 XAGen 采用多尺度、多部位表示与渲染、判别设计实现表情和姿态控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P403 · Application paper · AIGC / G1
MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
2023 · Zhongcong Xu; Jianfeng Zhang; Jun Hao Liew; Hanshu Yan; Jia-Wei Liu; Chenxu Zhang; Jiashi Feng; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:人物图像动画怎样保持身份和时间连续?
② 贡献 MagicAnimate 使用视频扩散、外观编码与片段融合改善人物动画。
③ 边界 运动条件控制与物理规律推断需要不同实验。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MagicAnimate 使用视频扩散、外观编码与片段融合改善人物动画。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P197 · Base paper · Base paper / B4
Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives
2023 · Kristen Grauman; Andrew Westbury; Lorenzo Torresani; Kris Kitani; Jitendra Malik; Triantafyllos Afouras; Kumar Ashutosh; Vijay Baiyya; Siddhant Bansal; Bikram Boote; Eugene Byrne; Zach Chavis; Joya Chen; Feng Cheng; Fu-Jen Chu; Sean Crane; Avijit Dasgupta; Jing Dong; Maria Escobar; Cristhian Forigua; Abrham Gebreselasie; Sanjay Haresh; Jing Huang; Md Mohaiminul Islam; Suyog Jain; Rawal Khirodkar; Devansh Kukreja; Kevin J Liang; Jia-Wei Liu; Sagnik Majumder; Yongsen Mao; Miguel Martin; Effrosyni Mavroudi; Tushar Nagarajan; Francesco Ragusa; Santhosh Kumar Ramakrishnan; Luigi Seminara; Arjun Somayazulu; Yale Song; Shan Su; Zihui Xue; Edward Zhang; Jinxu Zhang; Angela Castillo; Changan Chen; Xinzhu Fu; Ryosuke Furuta; Cristina Gonzalez; Prince Gupta; Jiabo Hu; Yifei Huang; Yiming Huang; Weslie Khoo; Anush Kumar; Robert Kuo; Sach Lakhavani; Miao Liu; Mi Luo; Zhengyi Luo; Brighid Meredith; Austin Miller; Oluwatumininu Oguntola; Xiaqing Pan; Penny Peng; Shraman Pramanick; Merey Ramazanova; Fiona Ryan; Wei Shan; Kiran Somasundaram; Chenan Song; Audrey Southerland; Masatoshi Tateno; Huiyu Wang; Yuchen Wang; Takuma Yagi; Mingfei Yan; Xitong Yang; Zecheng Yu; Shengxin Cindy Zha; Chen Zhao; Ziwei Zhao; Zhifan Zhu; Jeff Zhuo; Pablo Arbelaez; Gedas Bertasius; David Crandall; Dima Damen; Jakob Engel; Giovanni Maria Farinella; Antonino Furnari; Bernard Ghanem; Judy Hoffman; C. V. Jawahar; Richard Newcombe; Hyun Soo Park; James M. Rehg; Yoichi Sato; Manolis Savva; Jianbo Shi; Mike Zheng Shou; Michael Wray
返回 B4 主题 Overview ↑
① 做了什么 研究问题:多视角数据怎样支持技能理解和跨视角人体分析?
② 贡献 Ego-Exo4D 提供第一/第三视角活动数据及技能、姿态和视角转换任务。
③ 边界 观测数据与姿态任务本身不提供干预后果真值。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Ego-Exo4D 提供第一/第三视角活动数据及技能、姿态和视角转换任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P146 · ExpertAF: Expert Actionable Feedback from Video
数据集评价 · PDF p.2,Related Work
ExpertAF 将 Ego-Exo4D 的价值归于:同类活动包含从初学者到专家的多种执行水平,并提供专家反馈;相较常以熟练示范为主的 how-to 视频,这些数据更适合构造纠错和动作指导任务。
适用范围 这是对数据适用性的肯定。ExpertAF 仍需另行构造学习者—专家配对与测试标注,并非直接证明该数据集本身能训练有效的 XR 教学系统。
查看评价原文 ↗
打开论文公开页面 ↗
P404 · Application paper · AIGC / G3
DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation
2023 · Bardienus P. Duisterhof; Zhao Mandi; Yunchao Yao; Jia-Wei Liu; Jenny Seidenschwarz; Mike Zheng Shou; Deva Ramanan; Shuran Song; Stan Birchfield; Bowen Wen; Jeffrey Ichnowski
返回 G3 主题 Overview ↑
① 做了什么 研究问题:多视角视频怎样重建高形变物体的稠密运动?
② 贡献 DeformGS 通过 Gaussian 表示和动量、等距启发正则估计场景流。
③ 边界 这是已观测动态的重建;物理启发正则不等于未知未来的完整模拟器。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DeformGS 通过 Gaussian 表示和动量、等距启发正则估计场景流。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P198 · Application paper · AIGC / G1
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
2023 · Yuchao Gu; Yipin Zhou; Bichen Wu; Licheng Yu; Jia-Wei Liu; Rui Zhao; Jay Zhangjie Wu; David Junhao Zhang; Mike Zheng Shou; Kevin Tang
返回 G1 主题 Overview ↑
① 做了什么 研究问题:交互式语义点怎样支持形状改变的视频主体替换?
② 贡献 VideoSwap 用稀疏语义对应及拖动、删除交互控制主体身份和运动。
③ 边界 源动作已给定;编辑保持不代表新动作后果可预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VideoSwap 用稀疏语义对应及拖动、删除交互控制主体身份和运动。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P206 · Method paper · Method paper / M1
ASSISTGUI: Task-Oriented Desktop Graphical User Interface Automation
2023 · Difei Gao; Lei Ji; Zechen Bai; Mingyu Ouyang; Peiran Li; Dongxing Mao; Qinchen Wu; Weichen Zhang; Peiyi Wang; Xiangwu Guo; Hengxu Wang; Luowei Zhou; Mike Zheng Shou
返回 M1 主题 Overview ↑
① 做了什么 研究问题:桌面 agent 能否完成真实软件中的长步骤任务?
② 贡献 AssistGUI 建立 Windows 软件任务并用 GUI 解析与 actor-critic 推理组织执行。
③ 边界 执行基准与人机协作效用不同,用户负担需额外实验。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 AssistGUI 建立 Windows 软件任务并用 GUI 解析与 actor-critic 推理组织执行。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P207 · Application paper · AIGC / G3
ShowRoom3D: Text to High-Quality 3D Room Generation Using 3D Priors
2023 · Weijia Mao; Yan-Pei Cao; Jia-Wei Liu; Zhongcong Xu; Mike Zheng Shou
返回 G3 主题 Overview ↑
① 做了什么 研究问题:三维先验怎样改善文本生成的房间场景?
② 贡献 ShowRoom3D 结合多视角扩散先验、渐进视角选择和姿态变换优化场景。
③ 边界 生成静态场景不直接提供随时间演化的物理状态。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ShowRoom3D 结合多视角扩散先验、渐进视角选择和姿态变换优化场景。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P209 · Application paper · AIGC / G1
Moonshot: Towards Controllable Video Generation and Editing with Multimodal Conditions
2024 · David Junhao Zhang; Dongxu Li; Hung Le; Mike Zheng Shou; Caiming Xiong; Doyen Sahoo
返回 G1 主题 Overview ↑
① 做了什么 研究问题:图像、文字和几何条件怎样共同控制视频?
② 贡献 Moonshot 用多模态视频模块与解耦交叉注意力整合条件,并接入预训练 ControlNet。
③ 边界 多条件可控性与未知后果预测是不同问题。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Moonshot 用多模态视频模块与解耦交叉注意力整合条件,并接入预训练 ControlNet。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P211 · Base paper · Base paper / B1
Towards A Better Metric for Text-to-Video Generation
2024 · Jay Zhangjie Wu; Guian Fang; Haoning Wu; Xintao Wang; Yixiao Ge; Xiaodong Cun; David Junhao Zhang; Jia-Wei Liu; Yuchao Gu; Rui Zhao; Weisi Lin; Wynne Hsu; Ying Shan; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 研究问题:文本到视频怎样同时评估提示对齐与视觉质量?
② 贡献 T2VScore 分开建模文本视频对齐与视频质量,并用人工判断数据检验指标。
③ 边界 两类观感指标仍不足以证明物理机制和干预结果正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 T2VScore 分开建模文本视频对齐与视频质量,并用人工判断数据检验指标。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P216 · Application paper · AIGC / G3
Bring Your Own Character: A Holistic Solution for Automatic Facial Animation Generation of Customized Characters
2024 · Zechen Bai; Peng Chen; Xiaolan Peng; Lu Liu; Hui Chen; Mike Zheng Shou; Feng Tian
返回 G3 主题 Overview ↑
① 做了什么 研究问题:不同虚拟角色的面部动画怎样适配并纳入用户反馈?
② 贡献 Bring Your Own Character 预测表情系数进行面部重定向,并通过人在环反馈改进定制。
③ 边界 角色表情编辑不是开放世界物理交互预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Bring Your Own Character 预测表情系数进行面部重定向,并通过人在环反馈改进定制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P219 · Application paper · AIGC / G1
DragAnything: Motion Control for Anything using Entity Representation
2024 · Weijia Wu; Zhuang Li; Yuchao Gu; Rui Zhao; Yefei He; David Junhao Zhang; Mike Zheng Shou; Yan Li; Tingting Gao; Di Zhang
返回 G1 主题 Overview ↑
① 做了什么 研究问题:怎样通过实体表示分别控制多个对象的运动?
② 贡献 DragAnything 将实体表征与运动引导结合,支持对象和背景的轨迹控制。
③ 边界 输入轨迹已指定;控制跟随不能直接证明模型自主预测因果后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DragAnything 将实体表征与运动引导结合,支持对象和背景的轨迹控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P234 · Base paper · Base paper / B1
VideoGUI: A Benchmark for GUI Automation from Instructional Videos
2024 · Kevin Qinghong Lin; Linjie Li; Difei Gao; Qinchen WU; Mingyi Yan; Zhengyuan Yang; Lijuan Wang; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 研究问题:agent 能否从教学视频中重建并执行软件步骤?
② 贡献 VideoGUI 以视频目标评估高层程序规划、中层动作叙述与原子执行。
③ 边界 主要是 GUI 示范理解,不能直接评估物理 AR 教程效果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VideoGUI 以视频目标评估高层程序规划、中层动作叙述与原子执行。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P235 · Method paper · Method paper / M4
VideoLLM-online: Online Video Large Language Model for Streaming Video
2024 · Joya Chen; Zhaoyang Lv; Shiwei Wu; Kevin Qinghong Lin; Chenan Song; Difei Gao; Jia-Wei Liu; Ziteng Gao; Dongxing Mao; Mike Zheng Shou
返回 M4 主题 Overview ↑
① 做了什么 研究问题:模型怎样在连续视频流中及时回答和描述?
② 贡献 VideoLLM-online 以 LIVE 目标、流式数据构造和推理优化支持时间对齐对话。
③ 边界 在线响应与预测尚未发生的后果是不同能力。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VideoLLM-online 以 LIVE 目标、流式数据构造和推理优化支持时间对齐对话。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P243 · VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation
作者分析与案例 · PDF p.2,Figure 1 与 Introduction
VideoLLM-MoD 指出 VideoLLM-online 每帧只保留 CLS token,会限制细粒度空间理解;图中给出把西兰花识别为甜椒等错误。增加空间 token 可以改善识别,但朴素扩展会提高训练与注意力计算成本。
适用范围 区分原始 VideoLLM-online 与该文构造的 online+ 增强基线;图示案例说明空间表示问题,不是所有流式问答的总体错误率。
查看评价原文 ↗
打开论文公开页面 ↗
P240 · Application paper · AIGC / G2
Learning Video Context as Interleaved Multimodal Sequences
2024 · Kevin Qinghong Lin; Pengchuan Zhang; Difei Gao; Xide Xia; Joya Chen; Ziteng Gao; Jinheng Xie; Xuhong Xiao; Mike Zheng Shou
返回 G2 主题 Overview ↑
① 做了什么 研究问题:长视频上下文如何与角色、字幕和外部知识一起组织?
② 贡献 MovieSeq 用交错多模态序列与指令微调连接画面、人物、情节和字幕。
③ 边界 外部人物信息与字幕改变输入条件;不是仅凭视频生成器完成推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MovieSeq 用交错多模态序列与指令微调连接画面、人物、情节和字幕。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P242 · Method paper · Method paper / M8
Show-o: One Single Transformer to Unify Multimodal Understanding and Generation
2024 · Jinheng Xie; Weijia Mao; Zechen Bai; David Junhao Zhang; Weihao Wang; Kevin Qinghong Lin; Yuchao Gu; Zhijie Chen; Zhenheng Yang; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:一个 Transformer 能否统一多模态理解和生成?
② 贡献 Show-o 在共享模型内结合文本建模与视觉生成,研究统一多模态能力。
③ 边界 共享参数并不直接证明物理推理或干预预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Show-o 在共享模型内结合文本建模与视觉生成,研究统一多模态能力。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P270 · UniMoD: Efficient Unified Multimodal Transformers with Mixture-of-Depths
方法改进实验 · PDF pp.1–2,摘要与 Introduction
UniMoD 将 Show-o 作为实际改造对象,报告通过按任务与层选择 token,训练 FLOPs 约减少 15%,同时在若干基准上保持或改善性能,表明其统一 Transformer 中存在可利用的计算冗余。
适用范围 15% 指该论文训练设置中的 FLOPs,而非通用推理延迟或所有部署设备上的加速比。
查看评价原文 ↗
打开论文公开页面 ↗
P243 · Method paper · Method paper / M8
VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation
2024 · Shiwei Wu; Joya Chen; Kevin Qinghong Lin; Qimeng Wang; Yan Gao; Qianli Xu; Tong Xu; Yao Hu; Enhong Chen; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:视频语言流式计算能否在保留视觉 token 的同时降成本?
② 贡献 VideoLLM-MoD 让部分视觉 token 跳过若干层,减少长视频处理计算。
③ 边界 面向视频语言模型;不能直接推断视频扩散骨干有同样收益。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VideoLLM-MoD 让部分视觉 token 跳过若干层,减少长视频处理计算。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P247 · Application paper · AIGC / G1
High Quality Human Image Animation using Regional Supervision and Motion Blur Condition
2024 · Zhongcong Xu; Chaoyue Song; Guoxian Song; Jianfeng Zhang; Jun Hao Liew; Hongyi Xu; You Xie; Linjie Luo; Guosheng Lin; Jiashi Feng; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:人物动画怎样改善脸、手与运动模糊细节?
② 贡献 作者增加关键区域监督、显式运动模糊条件和高分辨率训练策略。
③ 边界 局部外观真实度不能替代动作的物理可行性验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者增加关键区域监督、显式运动模糊条件和高分辨率训练策略。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P252 · Application paper · AIGC / G3
ControLRM: Fast and Controllable 3D Generation via Large Reconstruction Model
2024 · Hongbin Xu; Weitao Chen; Zhipeng Zhou; Feng Xiao; Baigui Sun; Mike Zheng Shou; Wenxiong Kang
返回 G3 主题 Overview ↑
① 做了什么 研究问题:大重建模型怎样实现快速且可控的三维生成?
② 贡献 ControLRM 通过条件分支和图像分支联合训练,连接二维控制与三维表示。
③ 边界 主要生成静态三维内容,尚不能直接证明四维动力学正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ControLRM 通过条件分支和图像分支联合训练,连接二维控制与三维表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P255 · Method paper · Method paper / M3
Skinned Motion Retargeting with Dense Geometric Interaction Perception
2024 · Zijie Ye; Jia-Wei Liu; Jia Jia; Shikun Sun; Mike Zheng Shou
返回 M3 主题 Overview ↑
① 做了什么 研究问题:跨角色动作迁移怎样考虑身体几何接触?
② 贡献 MeshRet 用语义传感点对应和稠密网格交互场建模动作重定向。
③ 边界 几何交互保持与完整受力模拟不同,也不是未来视频预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MeshRet 用语义传感点对应和稠密网格交互场建模动作重定向。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P258 · Application paper · AIGC / G1
ReCapture: Generative Video Camera Controls for User-Provided Videos using Masked Video Fine-Tuning
2024 · David Junhao Zhang; Roni Paiss; Shiran Zada; Nikhil Karnad; David E. Jacobs; Yael Pritch; Inbar Mosseri; Mike Zheng Shou; Neal Wadhwa; Nataniel Ruiz
返回 G1 主题 Overview ↑
① 做了什么 研究问题:怎样为用户已有视频生成新的相机轨迹?
② 贡献 ReCapture 先构造新视角的带噪锚定视频,再以掩码视频微调修复。
③ 边界 保留的动态来自输入视频;不可见部分是生成假设而非新增观测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ReCapture 先构造新视角的带噪锚定视频,再以掩码视频微调修复。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P259 · Base paper · Base paper / B4
MovieBench: A Hierarchical Movie Level Dataset for Long Video Generation
2024 · Weijia Wu; Mingyu Liu; Zeyu Zhu; Xi Xia; Haoen Feng; Wen Wang; Kevin Qinghong Lin; Chunhua Shen; Mike Zheng Shou
返回 B4 主题 Overview ↑
① 做了什么 研究问题:长视频训练和评价如何覆盖跨镜头角色与叙事?
② 贡献 MovieBench 以电影和镜头层级组织视频、角色、音频与描述。
③ 边界 角色和故事连续性指标不足以验证动态物理机制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MovieBench 以电影和镜头层级组织视频、角色、音频与描述。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P260 · Method paper · Method paper / M1
ShowUI: One Vision-Language-Action Model for GUI Visual Agent
2024 · Kevin Qinghong Lin; Linjie Li; Difei Gao; Zhengyuan Yang; Shiwei Wu; Zechen Bai; Weixian Lei; Lijuan Wang; Mike Zheng Shou
返回 M1 主题 Overview ↑
① 做了什么 研究问题:轻量视觉语言动作模型怎样处理 GUI 状态和历史?
② 贡献 ShowUI 结合界面引导 token 选择、交错状态动作流与高质量指令数据。
③ 边界 面向软件操作的动作模型,不是像素世界生成器。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ShowUI 结合界面引导 token 选择、交错状态动作流与高质量指令数据。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P269 · Application paper · AIGC / G1
MakeAnything: Harnessing Diffusion Transformers for Multi-Domain Procedural Sequence Generation
2025 · Yiren Song; Cheng Liu; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:不同制作任务的中间步骤如何保持一致地生成?
② 贡献 MakeAnything 以多领域过程序列微调 DiT,并用非对称 LoRA 和时空约束生成或反推制作过程。
③ 边界 合理制作序列未必是给定真实动作的可核验物理后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MakeAnything 以多领域过程序列微调 DiT,并用非对称 LoRA 和时空约束生成或反推制作过程。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否把真实操作记录转为可检查的步骤与前置条件,并按学员错误局部修订 XR 教程?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P270 · Method paper · Method paper / M8
UniMoD: Efficient Unified Multimodal Transformers with Mixture-of-Depths
2025 · Weijia Mao; Zhenheng Yang; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:统一多模态模型怎样按任务和层减少冗余 token 计算?
② 贡献 UniMoD 用任务感知路由选择跳过计算的 token,比较训练成本和多模态任务表现。
③ 边界 计算减少不自动等于视频生成延迟或显存同比减少。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 UniMoD 用任务感知路由选择跳过计算的 token,比较训练成本和多模态任务表现。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P271 · Base paper · Base paper / B1
WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point
2025 · Henry Hengyuan Zhao; Kaiming Yang; Wendi Yu; Difei Gao; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 研究问题:GUI agent 能否从非默认状态恢复并调整计划?
② 贡献 WorldGUI 系统改变软件任务初始状态,用批评式执行框架比较恢复与适应能力。
③ 边界 界面状态变化与环境因果规律变化需要区分。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 WorldGUI 系统改变软件任务初始状态,用批评式执行框架比较恢复与适应能力。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P274 · Base paper · Base paper / B1
PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning
2025 · Xinyu Zhang; Yuxuan Dong; Yanrui Wu; Jiaxing Huang; Chengyou Jia; Basura Fernando; Mike Zheng Shou; Lingling Zhang; Jun Liu
返回 B1 主题 Overview ↑
① 做了什么 研究问题:模型在哪些物理知识和推导步骤上出错?
② 贡献 PhysReason 构建物理题及答案、步骤级评分,分析定理使用、条件判断与计算问题。
③ 边界 物理题推理主要由语言模型完成,不能等同于视频生成中的物理行为。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 PhysReason 构建物理题及答案、步骤级评分,分析定理使用、条件判断与计算问题。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P278 · Application paper · AIGC / G3
Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models
2025 · Jay Zhangjie Wu; Yuxuan Zhang; Haithem Turki; Xuanchi Ren; Jun Gao; Mike Zheng Shou; Sanja Fidler; Zan Gojcic; Huan Ling
返回 G3 主题 Overview ↑
① 做了什么 研究问题:少步扩散怎样修复三维重建的新视角伪影?
② 贡献 Difix3D+ 用单步图像扩散修复渲染结果,并将修复信号反馈到三维表示。
③ 边界 新视角补全并不证明补出的隐藏几何是真实测量结果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Difix3D+ 用单步图像扩散修复渲染结果,并将修复信号反馈到三维表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在生成可编辑资产的同时标明不可观测部分,并验证它们对交互任务的影响?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P279 · Method paper · Method paper / M8
DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles
2025 · Rui Zhao; Weijia Mao; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:没有配对图文时如何把统一模型适配到新风格领域?
② 贡献 DoraCycle 通过图文双向循环利用单模态数据进行领域适配。
③ 边界 主要适用于不依赖精确配对知识的任务;视频动力学需要额外条件。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DoraCycle 通过图文双向循环利用单模态数据进行领域适配。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P281 · Application paper · AIGC / G2
Automated Movie Generation via Multi-Agent CoT Planning
2025 · Weijia Wu; Zeyu Zhu; Mike Zheng Shou
返回 G2 主题 Overview ↑
① 做了什么 研究问题:如何从剧本自动规划多场景、多镜头影片?
② 贡献 MovieAgent 用层级多智能体思维链组织场景、镜头与角色,并调用视频生成。
③ 边界 叙事推理由 agent 提供,不能视为生成器自身的长程机制推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MovieAgent 用层级多智能体思维链组织场景、镜头与角色,并调用视频生成。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P286 · Application paper · AIGC / G2
Long-Context Autoregressive Video Modeling with Next-Frame Prediction
2025 · Yuchao Gu; Weijia Mao; Mike Zheng Shou
返回 G2 主题 Overview ↑
① 做了什么 研究问题:长上下文视频自回归怎样减少历史冗余又保留近期细节?
② 贡献 FAR 使用远近不同的 patch 粒度组织历史帧,提高长视频建模效率。
③ 边界 长视频质量不必然意味着长期状态与规则始终正确。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 FAR 使用远近不同的 patch 粒度组织历史帧,提高长视频建模效率。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P290 · Method paper · Method paper / M4
LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale
2025 · Joya Chen; Ziyun Zeng; Yiqi Lin; Wei Li; Zejun Ma; Mike Zheng Shou
返回 M4 主题 Overview ↑
① 做了什么 研究问题:廉价语音转写能否支撑实时视频语言学习?
② 贡献 LiveCC 将词语和视频帧按时间交错训练,建立直播描述数据与体育评论评价。
③ 边界 语音是额外监督;评论正确性不同于未来后果预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LiveCC 将词语和视频帧按时间交错训练,建立直播描述数据与体育评论评价。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P296 · Method paper · Method paper / M2
UniRL: Self-Improving Unified Multimodal Models via Supervised and Reinforcement Learning
2025 · Weijia Mao; Zhenheng Yang; Mike Zheng Shou
返回 M2 主题 Overview ↑
① 做了什么 研究问题:统一多模态模型能否利用自身生成图像进行后训练?
② 贡献 UniRL 以模型合成图像形成迭代数据,比较监督微调和 GRPO。
③ 边界 自改进主要在所测图像任务中验证;不能推断自进化会顺带解决世界机制问题。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 UniRL 以模型合成图像形成迭代数据,比较监督微调和 GRPO。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些反馈应沉淀为可迁移知识,哪些应只用于当前作品修复?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P297 · Base paper · Base paper / B1
macOSWorld: A Multilingual Interactive Benchmark for GUI Agents
2025 · Pei Yang; Hai Ci; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 研究问题:GUI agent 在 macOS 和多语言任务中的执行能力如何?
② 贡献 macOSWorld 提供可交互软件任务,比较多类 GUI agent 的完成情况。
③ 边界 这是相邻交互基准,不能直接支持视频世界模型结论。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 macOSWorld 提供可交互软件任务,比较多类 GUI agent 的完成情况。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P300 · Method paper · Method paper / M8
Show-o2: Improved Native Unified Multimodal Models
2025 · Jinheng Xie; Zhenheng Yang; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:理解与图像、视频生成能否使用统一的原生模型?
② 贡献 Show-o2 结合自回归与 flow matching,并在因果三维 VAE 空间融合视觉表示。
③ 边界 统一架构不自动证明理解能力会转移为可靠物理后果生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Show-o2 结合自回归与 flow matching,并在因果三维 VAE 空间融合视觉表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P301 · Application paper · AIGC / G1
FramePrompt: In-context Controllable Animation with Zero Structural Changes
2025 · Guian Fang; Yuchao Gu; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:参考图与骨架动作能否直接作为视频序列条件实现动画控制?
② 贡献 FramePrompt 把参考外观、骨架运动和目标视频组织为统一视觉序列,减少专用结构修改。
③ 边界 未来骨架已给定;主要验证动作控制而非自主预测动作或物理规律。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 FramePrompt 把参考外观、骨架运动和目标视频组织为统一视觉序列,减少专用结构修改。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P305 · Application paper · XR tutorial / X0
Code2Video: A Code-centric Paradigm for Educational Video Generation
2025 · Yanzhe Chen; Kevin Qinghong Lin; Mike Zheng Shou
返回 X0 主题 Overview ↑
① 做了什么 研究问题:教育视频能否用可执行代码实现可修改的内容规划?
② 贡献 Code2Video 组合规划、代码生成与视觉检查,并用学科视频和知识测验代理指标评价。
③ 边界 视频由代码与 agent 组织;VLM 测验也不能直接代表真实人的学习增益。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Code2Video 组合规划、代码生成与视觉检查,并用学科视频和知识测验代理指标评价。 本条方法定位来自摘要,训练细节待核。
既有研究建议 用真实学习者的前测、后测和延迟迁移替代单一 VLM 测验代理,定位代码渲染错误与讲解错误。
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P306 · Application paper · XR tutorial / X0
Paper2Video: Automatic Video Generation from Scientific Papers
2025 · Zeyu Zhu; Kevin Qinghong Lin; Mike Zheng Shou
返回 X0 主题 Overview ↑
① 做了什么 研究问题:论文怎样自动转为信息协调的讲解视频?
② 贡献 Paper2Video 构建论文展示基准,PaperTalker 用多智能体协调幻灯片、语音、字幕和讲者。
③ 边界 这是内容编排式生成;讲解质量不属于物理世界预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Paper2Video 构建论文展示基准,PaperTalker 用多智能体协调幻灯片、语音、字幕和讲者。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否把真实操作记录转为可检查的步骤与前置条件,并按学员错误局部修订 XR 教程?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P314 · Method paper · Method paper / M1
Computer-Use Agents as Judges for Generative User Interface
2025 · Kevin Qinghong Lin; Siyuan Hu; Linjie Li; Zhengyuan Yang; Lijuan Wang; Philip Torr; Mike Zheng Shou
返回 M1 主题 Overview ↑
① 做了什么 研究问题:界面生成能否用实际操作 agent 检查功能并指导修改?
② 贡献 作者提出 AUI-Gym,以 Coder 与计算机使用 agent 协作,通过可执行任务和可视化反馈改进界面。
③ 边界 agent 评价不替代真实用户体验,需要区分功能可达与人的使用效用。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者提出 AUI-Gym,以 Coder 与计算机使用 agent 协作,通过可执行任务和可视化反馈改进界面。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P317 · Application paper · AIGC / G1
WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation
2025 · Quanjian Song; Yiren Song; Kelly Peng; Yuan Gao; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:第一和第三人称视频之间怎样保持同步运动和主体身份?
② 贡献 WorldWander 以同步三元组数据训练上下文视角转换,并构建 EgoExo-8K。
③ 边界 视角翻译的时间对应来自输入视频;不等同于未来世界演化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 WorldWander 以同步三元组数据训练上下文视角转换,并构建 EgoExo-8K。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P319 · Application paper · AIGC / G1
X-Humanoid: Robotize Human Videos to Generate Humanoid Videos at Scale
2025 · Pei Yang; Hai Ci; Yiren Song; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:能否规模化把人类活动视频转换为人形机器人数据?
② 贡献 X-Humanoid 使用合成配对数据适配 Wan 2.2,再将真实人类视频机器人化。
③ 边界 本体替换保留既有动作,不直接预测新干预的未知后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 X-Humanoid 使用合成配对数据适配 Wan 2.2,再将真实人类视频机器人化。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P321 · Application paper · AIGC / G1
H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos
2025 · Hai Ci; Xiaokang Liu; Pei Yang; Yiren Song; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:没有人机配对视频时如何生成保持动作的机器人视频?
② 贡献 H2R-Grounder 用背景修补及夹爪位置、方向视觉提示连接人类与机器人视频,并微调 Wan 模型。
③ 边界 运动提示提供额外轨迹信息;视觉上的物理贴合不等于低层控制可执行。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 H2R-Grounder 用背景修补及夹爪位置、方向视觉提示连接人类与机器人视频,并微调 Wan 模型。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P327 · Application paper · AIGC / G1
Mitty: Diffusion-based Human-to-Robot Video Generation
2025 · Yiren Song; Cheng Liu; Weijia Mao; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:人类操作视频怎样端到端转成机器人外形的视频?
② 贡献 Mitty 利用视频上下文学习与自动合成人机配对数据进行 Human2Robot 转换。
③ 边界 动作来源视频已知;外形迁移质量与真实操作成功需要分开验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Mitty 利用视频上下文学习与自动合成人机配对数据进行 Human2Robot 转换。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P331 · Method paper · Method paper / M1
ShowUI-$π$: Flow-based Generative Models as GUI Dexterous Hands
2025 · Siyuan Hu; Kevin Qinghong Lin; Mike Zheng Shou
返回 M1 主题 Overview ↑
① 做了什么 研究问题:GUI agent 怎样同时生成点击与连续拖拽动作?
② 贡献 ShowUI-π 用 flow 模型生成连续鼠标调整,并构建拖拽数据与 ScreenDrag 基准。
③ 边界 输出是界面动作轨迹,不能当作像素视频生成模型的推理结果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ShowUI-π 用 flow 模型生成连续鼠标调整,并构建拖拽数据与 ScreenDrag 基准。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P335 · Method paper · Method paper / M1
ShowUI-Aloha: Human-Taught GUI Agent
2026 · Yichun Zhang; Xiangwu Guo; Yauhong Goh; Jessica Hu; Zhiheng Chen; Xin Wang; Difei Gao; Mike Zheng Shou
返回 M1 主题 Overview ↑
① 做了什么 研究问题:怎样把非结构化人类录屏转成 GUI agent 可学习的任务?
② 贡献 ShowUI-Aloha 结合录屏和精确交互记录,整理可执行任务与示范数据。
③ 边界 软件界面操作与物理 AR 任务存在状态和动作接口差别。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 ShowUI-Aloha 结合录屏和精确交互记录,整理可执行任务与示范数据。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P341 · Application paper · AIGC / G4
World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy
2026 · Xiaokang Liu; Zechen Bai; Hai Ci; Kevin Yuchen Ma; Mike Zheng Shou
返回 G4 主题 Overview ↑
① 做了什么 研究问题:视频世界模型与动作策略能否通过成功及近成功轨迹共同改进?
② 贡献 World-VLA-Loop 以状态感知视频模型预测帧和二元奖励,形成世界模型与 VLA 的闭环训练。
③ 边界 策略收益需与模型误差区分;闭环改进不自动解决新规律或反常识机制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 World-VLA-Loop 以状态感知视频模型预测帧和二元奖励,形成世界模型与 VLA 的闭环训练。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P348 · Application paper · AIGC / G1
Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance
2026 · Yiqi Lin; Guoqiang Liang; Ziyun Zeng; Zechen Bai; Yanzhe Chen; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:视频编辑能否同时精确遵循语言与视觉参考?
② 贡献 Kiwi-Edit 构建参考图引导的编辑四元组数据,并以多阶段训练融合语义查询和视觉特征。
③ 边界 参考遵循和编辑保持与干预后果的因果正确性不同。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Kiwi-Edit 构建参考图引导的编辑四元组数据,并以多阶段训练融合语义查询和视觉特征。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P365 · Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance
实验结果与失败分析 · PDF pp.1–2,Introduction 与 Figure 1
Sparkle 作者指出,Kiwi-Edit 与 OpenVE-Edit 虽具备背景替换能力,但在该文采用的 OpenVE-Bench / Gemini-2.5-Pro 评测中难以超过 2.5/5;生成中存在静态背景与动态前景生硬拼接、前景保留失败等问题。
适用范围 评价针对视频背景替换及指定自动评审协议;不能外推到 Kiwi-Edit 的全部编辑任务,也不能把自动评分当作人类满意度。
查看评价原文 ↗
打开论文公开页面 ↗
P355 · Application paper · AIGC / G1
P-Flow: Prompting Visual Effects Generation
2026 · Rui Zhao; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:不更新模型参数能否按提示定制动态视觉特效?
② 贡献 P-Flow 探索免训练的动态特效定制,在文本和图像条件视频任务中评估效果。
③ 边界 特效生成可以违背现实物理,但不因此证明用户指定机制被系统性执行。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 P-Flow 探索免训练的动态特效定制,在文本和图像条件视频任务中评估效果。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P359 · Base paper · Base paper / B4
OpenWorldLib: A Unified Codebase and Definition of Advanced World Models
2026 · DataFlow Team; Bohan Zeng; Daili Hua; Kaixin Zhu; Yifan Dai; Bozhou Li; Yuran Wang; Chengzhuo Tong; Yifan Yang; Mingkun Chang; Jianbin Zhao; Zhou Liu; Hao Liang; Xiaochen Ma; Ruichuan An; Junbo Niu; Zimo Meng; Tianyi Bai; Meiyi Qiang; Huanyao Zhang; Zhiyou Xiao; Tianyu Guo; Qinhan Yu; Runhao Zhao; Zhengpin Li; Xinyi Huang; Yisheng Pan; Yiwen Tang; Juanxi Tian; Yang Shi; Yue Ding; Xinlong Chen; Hongcheng Gao; Minglei Shi; Jialong Wu; Zekun Wang; Yuanxing Zhang; Xintao Wang; Pengfei Wan; Yiren Song; Mike Zheng Shou; Wentao Zhang
返回 B4 主题 Overview ↑
① 做了什么 研究问题:异构世界模型如何通过统一接口复用和比较?
② 贡献 OpenWorldLib 提供多任务推理框架和能力分类,连接感知、交互与长期记忆模块。
③ 边界 统一代码接口不意味着模型在全部能力上均已达标。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 OpenWorldLib 提供多任务推理框架和能力分类,连接感知、交互与长期记忆模块。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P361 · Base paper · Base paper / B1
GameWorld: Towards Standardized and Verifiable Evaluation of Multimodal Game Agents
2026 · Mingyu Ouyang; Siyuan Hu; Kevin Qinghong Lin; Hwee Tou Ng; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 研究问题:多模态游戏 agent 能否用状态真值进行可复现评价?
② 贡献 GameWorld 统一浏览器游戏动作接口,并用可检验状态度量任务结果。
③ 边界 游戏执行成功不同于生成的视频是否遵循同一规则。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GameWorld 统一浏览器游戏动作接口,并用可检验状态度量任务结果。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P365 · Application paper · AIGC / G1
Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via Decoupled Guidance
2026 · Ziyun Zeng; Yiqi Lin; Guoqiang Liang; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:怎样为背景替换生成更准确的前景和背景监督?
② 贡献 Sparkle 构建解耦引导和质量筛选的数据管线,并发布背景替换数据与基准。
③ 边界 已知原视频内容的编辑,不等同于预测新动作的后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Sparkle 构建解耦引导和质量筛选的数据管线,并发布背景替换数据与基准。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P367 · Application paper · AIGC / G1
OmniHumanoid: Streaming Cross-Embodiment Video Generation with Paired-Free Adaptation
2026 · Yiren Song; Xiyao Deng; Pei Yang; Yihan Wang; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:跨机器人外形的视频动作迁移能否减少新外形配对数据需求?
② 贡献 OmniHumanoid 将共享运动迁移与外形适配器分开,并支持流式人形视频生成。
③ 边界 保持动作外观与真实机器人可执行性需要不同测试。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 OmniHumanoid 将共享运动迁移与外形适配器分开,并支持流式人形视频生成。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P368 · Base paper · Base paper / B3
World Action Models: The Next Frontier in Embodied AI
2026 · Siyin Wang; Junhao Shi; Zhaoyang Fu; Xinzhe He; Feihong Liu; Chenchen Yang; Yikang Zhou; Zhaoye Fei; Jingjing Gong; Jinlan Fu; Mike Zheng Shou; Xuanjing Huang; Xipeng Qiu; Yu-Gang Jiang
返回 B3 主题 Overview ↑
① 做了什么 研究问题:怎样统一描述未来状态预测和动作生成的结合方式?
② 贡献 World Action Models 综述区分级联和联合建模,梳理数据、条件和动作解码方式。
③ 边界 综述中的研究议程不是新模型能力已被验证的证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 World Action Models 综述区分级联和联合建模,梳理数据、条件和动作解码方式。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P369 · Method paper · Method paper / M8
AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation
2026 · Yuchao Gu; Guian Fang; Yuxin Jiang; Weijia Mao; Song Han; Han Cai; Mike Zheng Shou
返回 M8 主题 Overview ↑
① 做了什么 研究问题:视频扩散怎样同时适应不同采样预算并减少因果滚动误差?
② 贡献 AnyFlow 学习任意时间区间的 flow map,并通过在策略分布上的模拟蒸馏改善少步采样。
③ 边界 速度与质量需按模型、帧数、硬件共同报告;蒸馏本身不保证物理推理保留。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 AnyFlow 学习任意时间区间的 flow map,并通过在策略分布上的模拟蒸馏改善少步采样。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否依据事件风险分配计算,在相同响应预算下保护教学或叙事中的关键瞬间?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG67 · AnyStep-WAM: Budget-Aligned Distillation and Adaptive Inference for World Action Models
迁移实验与失败分析 · PDF pp.1、8、15–16,Figure 4 与 Appendix E
AnyStep-WAM 将 AnyFlow 改用于世界动作模型时,观察到依赖当前学生的有限差分监督目标波动和梯度尖峰;在其 RoboTwin 实验中,一至两步动作生成的成功率较低,增加去噪步数后有所恢复。
适用范围 评价对象是 AnyStep-WAM 作者的 WAM 适配实现,不是 AnyFlow 原始视频生成任务;精细接触动作对误差更敏感。
查看评价原文 ↗
打开论文公开页面 ↗
P370 · Application paper · AIGC / G1
StreamingEffect: Real-Time Human-Centric Video Effect Generation
2026 · Yiren Song; Cheng Liu; Yuxin Jiang; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:交互式人物视频特效怎样做到因果流式生成?
② 贡献 StreamingEffect 将双向教师蒸馏为因果学生并减少采样步数,支持在线注入关键帧特效。
③ 边界 论文的实时设置使用 H200;不能直接承诺 A10 上同等分辨率和延迟。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 StreamingEffect 将双向教师蒸馏为因果学生并减少采样步数,支持在线注入关键帧特效。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P371 · Application paper · AIGC / G1
VISTA: Triplet-Supervised Video Style Transfer with Diffusion Transformers
2026 · Yiren Song; Wangzi Yao; Haofan Wang; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:视频风格迁移怎样解耦风格、内容和运动?
② 贡献 VISTA 使用运动对齐的三元组数据与风格适配器训练视频扩散模型。
③ 边界 风格和时间一致性的结果不能证明物理规则遵循。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VISTA 使用运动对齐的三元组数据与风格适配器训练视频扩散模型。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P373 · Method paper · Method paper / M3
SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution
2026 · Yiren Song; Yihan Wang; Xiyao Deng; Zhuoran Yan; Mike Zheng Shou
返回 M3 主题 Overview ↑
① 做了什么 研究问题:机器人任务是否可以用稀疏关键状态替代密集视频规划?
② 贡献 SWEET 在相同机器人数据设置下比较视频生成和图像编辑,再用逐次编辑产生任务关键帧。
③ 边界 稀疏目标的执行收益不表示帧间动态正确;对 Foresee 是预览预算的对照方法。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 SWEET 在相同机器人数据设置下比较视频生成和图像编辑,再用逐次编辑产生任务关键帧。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P377 · Application paper · AIGC / G1
PAI-Studio: Cinematic Video Background Replacement with Camera-Aware Motion
2026 · Heyuan Gao; Bangxun Tang; Yiren Song; Guian Fang; Zijian He; Jie Yang; Mike Zheng Shou
返回 G1 主题 Overview ↑
① 做了什么 研究问题:更换动态背景时怎样保持前景运动、身份和光照协调?
② 贡献 PAI-Studio 用参考条件与双向注意力联合建模前景动态和背景外观,并构建电影来源训练数据。
③ 边界 背景一致与重光照不直接验证接触、受力或反事实后果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 PAI-Studio 用参考条件与双向注意力联合建模前景动态和背景外观,并构建电影来源训练数据。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P379 · Application paper · XR tutorial / X0
Demo2Tutorial: From Human Experience to Multimodal Software Tutorials
2026 · Zechen Bai; Zhiheng Chen; Yiqi Lin; Kevin Qinghong Lin; Difei Gao; Xiangwu Guo; Xin Wang; Mike Zheng Shou
返回 X0 主题 Overview ↑
① 做了什么 研究问题:人类的软件操作记录怎样转成可学习的多模态教程?
② 贡献 Demo2Tutorial 将录屏和交互日志解析为动作与意图,再形成层级任务图及图文教程,评估人和 GUI agent 的使用效果。
③ 边界 生成的是软件操作教程,不能等同于预测物理干预后果的视频。
XR 支撑方向:XR-E
方法、研究建议与证据定位
方法 GPT-4o 解析状态变化和意图,Step Planner 组成层级图;不是训练视频扩散模型来预测下一操作后果。
既有研究建议 将软件任务图迁移为带物理前置条件的 XR 教程,检验步骤可执行性、例外流程与无辅助迁移。
结果记录 TutorialBench 的教程质量比较、教程作为 Agent-S3 外部知识时的 OSWorld 完成率,以及用户完成时间和形式偏好。
证据定位 PDF pp.4–5 §3.2–5:动作解析、任务图、选帧、TutorialBench 与三类评价。方法已核查,未复现实验。
本轮核对摘要/首页,既有方法及数值未全部重验
打开论文公开页面 ↗
P380 · Base paper · Base paper / B1
Dream.exe: Can Video Generation Models Dream Executable Robot Manipulation?
2026 · Rui Zhao; Kaiming Yang; Jifeng Zhu; Siyang Chen; Ziqi Wang; Weijia Wu; Kevin Qinghong Lin; Heng Wang; Mike Zheng Shou
返回 B1 主题 Overview ↑
① 做了什么 研究问题:视频中看似合理的机器人操作是否真的可执行?
② 贡献 Dream.exe 以视频到执行管线,分别评估视觉质量、轨迹保真和执行成功。
③ 边界 执行评价也受运动恢复与控制管线影响,需与视频生成错误分开归因。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F6
方法、研究建议与证据定位
方法 主要贡献是评价框架;包含通用闭源、开源及机器人专用模型,并另测在测试集外数据微调的 Wan。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 约 101 个经过视角、遮挡与轨迹可辨性筛选的任务,分原子动作、多对象交互、多阶段任务;视觉质量、轨迹保真与执行成功分开。
证据定位 PDF pp.3–4 §3.1–3.3:任务筛选、难度层级、模型类别与执行评价管线。方法已核查,未重新跑执行实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P388 · Method paper · Method paper / M3
Supervise What Survives: Geometry-Guided VLA Adaptation from Synthetic Robot Videos
2026 · Danze Chen; Yanzhe Chen; Qiming Huang; Zhijun Cao; Chen Gao; Mike Zheng Shou
返回 M3 主题 Overview ↑
① 做了什么 研究问题:合成机器人视频中的哪些信息适合监督真实动作模型?
② 贡献 GRA 将合成数据中的几何运动提炼为二维末端路径,用辅助预测和表征对齐适配 VLA。
③ 边界 视频中的几何轨迹与低层电机控制分开处理;不能直接把像素恢复成可靠控制标签。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GRA 将合成数据中的几何运动提炼为二维末端路径,用辅助预测和表征对齐适配 VLA。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P390 · Method paper · Method paper / M2
ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents
2026 · Binjie Zhang; Mike Zheng Shou
返回 M2 主题 Overview ↑
① 做了什么 研究问题:工具智能体怎样从实际失败中学习有效且不过量的反思?
② 贡献 ReGRPO 用错误类型、证据和修复计划构造训练数据,再联合优化反思与纠正动作并计入反思成本。
③ 边界 工具任务中的纠错不直接证明物理世界机制修订或视频推理。
XR 支撑方向:XR-E
共享方法接口:F2
方法、研究建议与证据定位
方法 ReGRPO 用错误类型、证据和修复计划构造训练数据,再联合优化反思与纠正动作并计入反思成本。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P401 · Method paper · Method paper / M1
Show-Harness: Just a VLM Agent Can Play Robots
2026 · Yanzhe Chen; Zechen Bai; Zhijun Cao; Wenzheng Zeng; Kevin Qinghong Lin; Yiqi Lin; Guoqiang Liang; Kevin Yuchen Ma; Qiming Huang; Mike Zheng Shou
返回 M1 主题 Overview ↑
① 做了什么 研究问题:怎样用紧凑的语义接口让人和 VLM 操控不同机器人?
② 贡献 Show-Harness 通过语义动作接口连接意图与执行,并以 GUMI 支持 GUI 示范采集。
③ 边界 属于机器人交互与执行接口,不直接生成或验证未来视频。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Show-Harness 通过语义动作接口连接意图与执行,并以 GUMI 支持 GUI 示范采集。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否按预期决策收益选择询问、观察或接管,使同等人类投入带来更好的团队结果?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P167 · Method paper · Method paper / M7
Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture
2023 · Mahmoud Assran; Quentin Duval; Ishan Misra; Piotr Bojanowski; Pascal Vincent; Michael Rabbat; Yann LeCun; Nicolas Ballas
返回 M7 主题 Overview ↑
① 做了什么 研究问题:能否通过预测图像块的语义表征获得高效自监督学习?
② 贡献 I-JEPA 用上下文预测多个目标区域的表示,研究掩码规模和上下文信息对语义学习的影响。
③ 边界 静态图像表征是后续视频 JEPA 的基础,不直接处理时间演化。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 I-JEPA 用上下文预测多个目标区域的表示,研究掩码规模和上下文信息对语义学习的影响。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P178 · Base paper · Base paper / B3
Introduction to Latent Variable Energy-Based Models: A Path Towards Autonomous Machine Intelligence
2023 · Anna Dawid; Yann LeCun
返回 B3 主题 Overview ↑
① 做了什么 研究问题:潜变量能量模型怎样组成自主智能的预测与规划架构?
② 贡献 这篇介绍性论文梳理能量模型、潜变量和分层 JEPA 的关系,提供架构层面的研究动机。
③ 边界 概念和教程性质的论述不能当成所有模块已经联合实现的实验证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 这篇介绍性论文梳理能量模型、潜变量和分层 JEPA 的关系,提供架构层面的研究动机。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P180 · Method paper · Method paper / M6
Self-Supervised Learning with Lie Symmetries for Partial Differential Equations
2023 · Grégoire Mialon; Quentin Garrido; Hannah Lawrence; Danyal Rehman; Yann LeCun; Bobak T. Kiani
返回 M6 主题 Overview ↑
① 做了什么 研究问题:偏微分方程的对称性怎样用于学习可迁移物理表示?
② 贡献 作者利用 Lie 对称性构造联合嵌入自监督任务,评估方程参数回归与神经求解器时间步推进。
③ 边界 已知 PDE 结构和数据条件与从真实视频发现未知规律不同。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者利用 Lie 对称性构造联合嵌入自监督任务,评估方程参数回归与神经求解器时间步推进。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P183 · Method paper · Method paper / M7
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
2023 · Adrien Bardes; Jean Ponce; Yann LeCun
返回 M7 主题 Overview ↑
① 做了什么 研究问题:运动和内容特征能否在同一自监督编码器中相互促进?
② 贡献 MC-JEPA 将光流估计与内容表征目标联合训练,评估运动和分割任务。
③ 边界 光流与内容表征不直接验证多步物理预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MC-JEPA 将光流估计与内容表征目标联合训练,评估运动和分割任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P194 · Base paper · Base paper / B1
GAIA: a benchmark for General AI Assistants
2023 · Grégoire Mialon; Clémentine Fourrier; Craig Swift; Thomas Wolf; Yann LeCun; Thomas Scialom
返回 B1 主题 Overview ↑
① 做了什么 研究问题:怎样用真实问题评估通用助手的工具、推理和多模态能力?
② 贡献 GAIA 以需要检索、工具和综合推理的现实问题构建助手评测。
③ 边界 属于相邻 agent 基准,不直接测世界动力学或视频生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GAIA 以需要检索、工具和综合推理的现实问题构建助手评测。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P208 · Method paper · Method paper / M3
Gradient-based Planning with World Models
2023 · Jyothir S; Siddhartha Jalagam; Yann LeCun; Vlad Sobal
返回 M3 主题 Overview ↑
① 做了什么 研究问题:可微世界模型中的梯度规划能否替代采样式动作搜索?
② 贡献 作者比较梯度优化、其他模型预测控制和策略方法,考察样本效率与规划效果。
③ 边界 优化器能找到低模型损失的动作,不代表模型误差或真实执行风险已消除。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者比较梯度优化、其他模型预测控制和策略方法,考察样本效率与规划效果。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P217 · Method paper · Method paper / M7
Learning and Leveraging World Models in Visual Representation Learning
2024 · Quentin Garrido; Mahmoud Assran; Nicolas Ballas; Adrien Bardes; Laurent Najman; Yann LeCun
返回 M7 主题 Overview ↑
① 做了什么 研究问题:预测已知图像变换的作用能否学习更可控的视觉表征?
② 贡献 Image World Models 把 JEPA 从遮挡补全扩展到给定全局光度变化的潜空间预测,并研究条件和容量的影响。
③ 边界 这里的 world model 主要针对图像变换,不能泛化为任意物理环境模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Image World Models 把 JEPA 从遮挡补全扩展到给定全局光度变化的潜空间预测,并研究条件和容量的影响。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P223 · Method paper · Method paper / M7
Revisiting Feature Prediction for Learning Visual Representations from Video
2024 · Adrien Bardes; Quentin Garrido; Jean Ponce; Xinlei Chen; Michael Rabbat; Yann LeCun; Mahmoud Assran; Nicolas Ballas
返回 M7 主题 Overview ↑
① 做了什么 研究问题:不重建像素,仅预测视频特征能否获得通用视觉表示?
② 贡献 V-JEPA 从视频特征预测学习表征,以冻结骨干评估运动、外观和图像任务。
③ 边界 下游理解准确率不是动作条件后果预测或视频生成的直接验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 V-JEPA 从视频特征预测学习表征,以冻结骨干评估运动、外观和图像任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P224 · Base paper · Base paper / B4
EgoPet: Egomotion and Interaction Data from an Animal's Perspective
2024 · Amir Bar; Arya Bakhtiar; Danny Tran; Antonio Loquercio; Jathushan Rajasegaran; Yann LeCun; Amir Globerson; Trevor Darrell
返回 B4 主题 Overview ↑
① 做了什么 研究问题:动物第一视角数据能为运动和交互学习提供什么信号?
② 贡献 EgoPet 收集宠物运动与交互视频,设计动物行为任务并评估其对四足机器人预训练的帮助。
③ 边界 数据迁移收益不表示人类教程或可控未来视频生成已解决。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 EgoPet 收集宠物运动与交互视频,设计动物行为任务并评估其对四足机器人预训练的帮助。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P228 · Method paper · Method paper / M3
Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning
2024 · Yuexiang Zhai; Hao Bai; Zipeng Lin; Jiayi Pan; Shengbang Tong; Yifei Zhou; Alane Suhr; Saining Xie; Yann LeCun; Yi Ma; Sergey Levine
返回 M3 主题 Overview ↑
① 做了什么 研究问题:强化学习能否把视觉语言模型训练成更有效的决策智能体?
② 贡献 作者将任务描述、语言思维链和文本动作接入强化学习,通过任务奖励优化视觉语言决策。
③ 边界 推理由 VLM 承担,不属于视频生成模型本身涌现的推理证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者将任务描述、语言思维链和文本动作接入强化学习,通过任务奖励优化视觉语言决策。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P231 · Method paper · Method paper / M3
Hierarchical World Models as Visual Whole-Body Humanoid Controllers
2024 · Nicklas Hansen; Jyothir S; Vlad Sobal; Yann LeCun; Xiaolong Wang; Hao Su
返回 M3 主题 Overview ↑
① 做了什么 研究问题:分层世界模型能否从视觉输入学习复杂全身控制?
② 贡献 作者让高层视觉策略产生指令、低层控制器执行,并以奖励联合训练模拟人形机器人的多个任务。
③ 边界 依赖模拟环境和奖励;动作偏好与物理控制不能替代像素生成评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者让高层视觉策略产生指令、低层控制器执行,并以奖励联合训练模拟人形机器人的多个任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P237 · Method paper · Method paper / M7
Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
2024 · Shengbang Tong; Ellis Brown; Penghao Wu; Sanghyun Woo; Manoj Middepogu; Sai Charitha Akula; Jihan Yang; Shusheng Yang; Adithya Iyer; Xichen Pan; Ziteng Wang; Rob Fergus; Yann LeCun; Saining Xie
返回 M7 主题 Overview ↑
① 做了什么 研究问题:视觉编码和连接器如何影响多模态模型的视觉依据?
② 贡献 Cambrian-1 系统比较视觉编码器,引入 CV-Bench 与空间视觉聚合器,研究视觉中心的多模态学习。
③ 边界 视觉问答和图像空间任务不等同于视频动态推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Cambrian-1 系统比较视觉编码器,引入 CV-Bench 与空间视觉聚合器,研究视觉中心的多模态学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P241 · Method paper · Method paper / M7
PooDLe: Pooled and dense self-supervised learning from naturalistic videos
2024 · Alex N. Wang; Christopher Hoang; Yuwen Xiong; Yann LeCun; Mengye Ren
返回 M7 主题 Overview ↑
① 做了什么 研究问题:如何在自然视频中同时学习语义和空间对应?
② 贡献 PooDLe 结合全局不变表征与光流变换下的稠密等变目标,评估驾驶和行走视频中的特征。
③ 边界 表征学习提供基础,不直接预测动作后果或处理规则突变。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 PooDLe 结合全局不变表征与光流变换下的稠密等变目标,评估驾驶和行走视频中的特征。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P256 · Method paper · Method paper / M3
DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning
2024 · Gaoyue Zhou; Hengkai Pan; Yann LeCun; Lerrel Pinto
返回 M3 主题 Overview ↑
① 做了什么 研究问题:离线视觉轨迹能否支持不依赖专家策略的测试时规划?
② 贡献 DINO-WM 在预训练视觉特征空间学习动力学,以目标条件搜索完成多类环境中的零样本规划。
③ 边界 不重建像素世界;其规划优势不能直接转化为 Foresee 的视频观看质量。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DINO-WM 在预训练视觉特征空间学习动力学,以目标条件搜索完成多类环境中的零样本规划。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(4)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P329 · What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?
实验比较 · PDF pp.1–2,摘要与研究贡献
《What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?》报告,经系统考察表征、预测器与规划器设计后,其组合方案在所测导航和操控任务上优于 DINO-WM 与 V-JEPA-2-AC。
适用范围 属于该论文协议下的系统级比较;不同组件同时变化,不能把整体提升都归因于某一个表征机制。
查看评价原文 ↗
-
来自 P350 · Temporal Straightening for Latent Planning
作者分析 · PDF p.2,Related Work
《Temporal Straightening for Latent Planning》认为 DINO-WM 的冻结 DINOv2 特征具有较好视觉质量,但并非为规划优化,因而可能产生难以优化的规划目标;该文据此引入潜轨迹曲率正则。
适用范围 评价聚焦潜空间几何与规划优化难度,不等于否认 DINOv2 的感知表征质量。
查看评价原文 ↗
-
来自 P353 · LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
设计权衡 · PDF p.2,方法路线比较
LeWorldModel 将 DINO-WM 归为基础模型表征路线:冻结预训练视觉编码器能规避表征坍塌,但也放弃了从像素到预测器的端到端联合学习。
适用范围 这是训练范式的权衡,不是断言冻结编码器必然使任务性能更差。
查看评价原文 ↗
-
来自 P343 · stable-worldmodel-v1: Reproducible World Modeling Research and Evaluation
复现与基础设施评价 · PDF pp.1–2,Introduction 与代码库比较表
stable-worldmodel-v1 指出 DINO-WM 与 PLDM 对同一个 Two-Room 环境存在明显不同的重复实现,认为缺少共享环境和工具会增加公平比较与复现成本。
适用范围 评价对象是比较论文所检查时的研究代码与环境实现;不推断算法无效,也不把当时的仓库状态当成永久状态。
查看评价原文 ↗
打开论文公开页面 ↗
P262 · Method paper · Method paper / M3
Navigation World Models
2024 · Amir Bar; Gaoyue Zhou; Danny Tran; Trevor Darrell; Yann LeCun
返回 M3 主题 Overview ↑
① 做了什么 研究问题:动作条件视频预测能否用于视觉导航规划?
② 贡献 Navigation World Models 预测给定导航动作后的观察,再生成或排序抵达目标的候选轨迹。
③ 边界 陌生环境生成与熟悉环境规划的条件不同;不能用视觉合理性代替到达成功率。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Navigation World Models 预测给定导航动作后的观察,再生成或排序抵达目标的候选轨迹。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P264 · Method paper · Method paper / M7
Video Representation Learning with Joint-Embedding Predictive Architectures
2024 · Katrina Drozdov; Ravid Shwartz-Ziv; Yann LeCun
返回 M7 主题 Overview ↑
① 做了什么 研究问题:如何防止视频 JEPA 坍塌并表示多种可能未来?
② 贡献 VJ-VCR 以方差协方差正则学习视频表征,并探索潜变量对不确定未来的表达。
③ 边界 多未来潜表示并不直接验证人可观看的视频分支或反事实因果正确性。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VJ-VCR 以方差协方差正则学习视频表征,并探索潜变量对不确定未来的表达。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P265 · Method paper · Method paper / M8
MetaMorph: Multimodal Understanding and Generation via Instruction Tuning
2024 · Shengbang Tong; David Fan; Jiachen Zhu; Yunyang Xiong; Xinlei Chen; Koustuv Sinha; Michael Rabbat; Yann LeCun; Saining Xie; Zhuang Liu
返回 M8 主题 Overview ↑
① 做了什么 研究问题:视觉预测式指令微调能否统一理解与生成?
② 贡献 MetaMorph 在语言模型中加入视觉 token 预测,研究理解数据与生成能力的相互作用。
③ 边界 以图像和多模态任务为主;不能直接当作视频世界推理的实验依据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 MetaMorph 在语言模型中加入视觉 token 预测,研究理解数据与生成能力的相互作用。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】理解监督能否改善生成中的结构与约束执行,而不只是提升独立问答分数?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG54 · MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO
实验比较 · PDF p.8,Table 4 与 Main Results
MindOmni 在其视觉理解比较中报告,MMBench 表现高于 MetaMorph,并将此作为统一理解与生成模型仍能提升理解能力的证据。
适用范围 比较涉及不同模型规模、训练数据和目标;不应把差异全归因于 RGPO,也不据此判定全部生成或理解任务的优劣。
查看评价原文 ↗
打开论文公开页面 ↗
P273 · Base paper · Base paper / B2
Intuitive physics understanding emerges from self-supervised pretraining on natural videos
2025 · Quentin Garrido; Nicolas Ballas; Mahmoud Assran; Adrien Bardes; Laurent Najman; Michael Rabbat; Emmanuel Dupoux; Yann LeCun
返回 B2 主题 Overview ↑
① 做了什么 研究问题:自然视频中的自监督预测是否学到直觉物理?
② 贡献 作者使用预期违背实验,测试潜空间视频预测器对物体持续性和形状一致性等性质的敏感性。
③ 边界 识别异常的惊讶度不等于生成正确干预结果,也不证明规则可编辑。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者使用预期违背实验,测试潜空间视频预测器对物体持续性和形状一致性等性质的敏感性。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P276 · Method paper · Method paper / M3
Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models
2025 · Vlad Sobal; Wancong Zhang; Kyunghyun Cho; Randall Balestriero; Tim G. J. Rudner; Yann LeCun
返回 M3 主题 Overview ↑
① 做了什么 研究问题:没有奖励标注的离线数据何时更适合模型规划而非无模型强化学习?
② 贡献 作者在导航任务中系统改变数据质量、多样性和环境布局,比较 JEPA 动力学规划与强化学习。
③ 边界 结论依赖所测任务与数据分布,不是所有机器人场景的普遍排序。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者在导航任务中系统改变数据质量、多样性和环境布局,比较 JEPA 动力学规划与强化学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P294 · Method paper · Method paper / M3
OSVI-WM: One-Shot Visual Imitation for Unseen Tasks using World-Model-Guided Trajectory Generation
2025 · Raktim Gautam Goswami; Prashanth Krishnamurthy; Yann LeCun; Farshad Khorrami
返回 M3 主题 Overview ↑
① 做了什么 研究问题:单次示范如何迁移到训练中未见过的任务结构?
② 贡献 OSVI-WM 根据专家示范和当前观察生成潜状态、动作轨迹,以世界模型指导视觉模仿。
③ 边界 示范提供额外目标信息;未见任务泛化与改变物理规律是不同设置。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 OSVI-WM 根据专家示范和当前观察生成潜状态、动作轨迹,以世界模型指导视觉模仿。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P299 · Method paper · Method paper / M3
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
2025 · Mido Assran; Adrien Bardes; David Fan; Quentin Garrido; Russell Howes; Mojtaba; Komeili; Matthew Muckley; Ammar Rizvi; Claire Roberts; Koustuv Sinha; Artem Zholus; Sergio Arnaud; Abha Gejji; Ada Martin; Francois Robert Hogan; Daniel Dugas; Piotr Bojanowski; Vasil Khalidov; Patrick Labatut; Francisco Massa; Marc Szafraniec; Kapil Krishnakumar; Yong Li; Xiaodong Ma; Sarath Chandar; Franziska Meier; Yann LeCun; Michael Rabbat; Nicolas Ballas
返回 M3 主题 Overview ↑
① 做了什么 研究问题:大规模无动作视频预训练怎样支持理解与少量交互数据下的机器人规划?
② 贡献 V-JEPA 2 先学习视频潜表征,再以机器人数据训练动作条件预测器;语言对齐与机器人规划分别评价。
③ 边界 V-JEPA 2-AC 是潜空间规划模型;语言问答结果与机器人控制结果不能互作证明。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 V-JEPA 2 先学习视频潜表征,再以机器人数据训练动作条件预测器;语言对齐与机器人规划分别评价。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(3)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P352 · V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
后续论文比较 · PDF p.2,Figure 2 与 Introduction
V-JEPA 2.1 肯定 V-JEPA 系列的全局视频理解、运动建模与规划潜力,同时指出细粒度局部空间结构较难从其特征中提取;新论文以密集预测损失改善深度、追踪和分割等任务。
适用范围 这是同系列后续工作的诊断与模型比较;图中还包含模型规模和训练设计变化,不属于对原模型的独立复现。
查看评价原文 ↗
-
来自 P399 · LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics
实验比较 · PDF pp.1–2,摘要与主要发现
LeVJEPA 报告,在相同数据和匹配训练轮次下,其 ViT-S/B/L 设置以约 5.6–20.8 倍更少的总预训练计算量达到或超过 V-JEPA 2 的相应表现,并另行给出计算预算匹配的比较。
适用范围 结论限于该论文重训基线与冻结表征评测;不能将图像识别或动作基准的收益直接外推为机器人规划收益。
查看评价原文 ↗
-
来自 VG23 · From Scores to Samples: Elastic Forcing for Autoregressive Video Generation
特征复用消融 · PDF p.10 与 p.26,编码器消融
Elastic Forcing 将 V-JEPA 2 用作视频表征,报告与 VideoMAE 联合使用时的 VBench 总分高于分别单用;加入 DINOv3 后自动总分与 VLM 排序的变化并不一致,说明特征选择与评价指标存在交互。
适用范围 这是下游视频后训练系统的编码器消融,不是 V-JEPA 2 自身视频理解能力的直接排名。
查看评价原文 ↗
打开论文公开页面 ↗
P303 · Application paper · AIGC / G4
Whole-Body Conditioned Egocentric Video Prediction
2025 · Yutong Bai; Danny Tran; Amir Bar; Yann LeCun; Trevor Darrell; Jitendra Malik
返回 G4 主题 Overview ↑
① 做了什么 研究问题:给定全身动作轨迹,能否预测第一人称未来视频?
② 贡献 PEVA 用身体关节层级组织的三维姿态条件训练自回归扩散模型,并在 Nymeria 上设计分层预测与控制评价。
③ 边界 输入已包含未来身体运动;它预测观察后果,不能与无动作输入的开放未来预测直接比较。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 PEVA 用身体关节层级组织的三维姿态条件训练自回归扩散模型,并在 Nymeria 上设计分层预测与控制评价。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P304 · Application paper · AIGC / G4
Back to the Features: DINO as a Foundation for Video World Models
2025 · Federico Baldassarre; Marc Szafraniec; Basile Terver; Vasil Khalidov; Francisco Massa; Yann LeCun; Patrick Labatut; Maximilian Seitzer; Piotr Bojanowski
返回 G4 主题 Overview ↑
① 做了什么 研究问题:预训练 DINO 表征能否支撑通用视频世界预测?
② 贡献 DINO-world 在 DINOv2 潜空间预测未来,并考察视频预测与观测—动作轨迹适配。
③ 边界 潜空间预测和视频解码质量须分别衡量;动作适配有额外交互数据条件。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DINO-world 在 DINOv2 潜空间预测未来,并考察视频预测与观测—动作轨迹适配。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P310 · Method paper · Method paper / M4
Cambrian-S: Towards Spatial Supersensing in Video
2025 · Shusheng Yang; Jihan Yang; Pinzhi Huang; Ellis Brown; Zihao Yang; Yue Yu; Shengbang Tong; Zihan Zheng; Yifan Xu; Muhan Wang; Daohan Lu; Rob Fergus; Yann LeCun; Li Fei-Fei; Saining Xie
返回 M4 主题 Overview ↑
① 做了什么 研究问题:视频系统怎样持续记忆并推断画面背后的空间状态?
② 贡献 Cambrian-S 提出空间 supersensing 框架、VSI-SUPER 基准与 VSI-590K 数据,考察持续空间回忆和计数。
③ 边界 主要证据来自理解和空间记忆任务;不能直接视为可控像素世界生成。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Cambrian-S 提出空间 supersensing 框架、VSI-SUPER 基准与 VSI-590K 数据,考察持续空间回忆和计数。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P311 · Base paper · Base paper / B2
LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
2025 · Randall Balestriero; Yann LeCun
返回 B2 主题 Overview ↑
① 做了什么 研究问题:怎样简化并理论化 JEPA 的防坍塌表征学习目标?
② 贡献 LeJEPA 提出 Sketched Isotropic Gaussian Regularization,研究表示分布与下游预测风险的联系。
③ 边界 表示学习理论不是任意环境机制可辨识或长期规划可靠性的证明。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LeJEPA 提出 Sketched Isotropic Gaussian Regularization,研究表示分布与下游预测风险的联系。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P375 · When Does LeJEPA Learn a World Model?
理论分析 · PDF p.1,摘要与 Introduction
《When Does LeJEPA Learn a World Model?》为 LeJEPA 的对齐加高斯正则目标给出线性可识别性分析:在论文规定的平稳加性噪声潜变量演化条件下,讨论何时能从非线性观测恢复潜结构,并刻画高斯分布条件的重要性。
适用范围 保证依赖该论文的生成过程与分布假设;不能解读为任意现实视频中的 LeJEPA 都已学到真实因果世界模型。
查看评价原文 ↗
打开论文公开页面 ↗
P320 · Method paper · Method paper / M3
From Generated Human Videos to Physically Plausible Robot Trajectories
2025 · James Ni; Zekai Wang; Wei Lin; Amir Bar; Yann LeCun; Trevor Darrell; Jitendra Malik; Roei Herzig
返回 M3 主题 Overview ↑
① 做了什么 研究问题:生成的人类动作视频怎样转换成真实机器人能执行的全身行为?
② 贡献 GenMimic 将视频生成、4D 人体重建、动作重定向和物理强化学习控制组合起来,并构建动作基准。
③ 边界 物理可行性依赖重建和控制器修正,不能归因于视频生成器独立掌握物理规律。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GenMimic 将视频生成、4D 人体重建、动作重定向和物理强化学习控制组合起来,并构建动作基准。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】将错误定位到关节、接触对象和步骤,再给出匹配学员视角的对比示范,能否改善技能迁移?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P322 · Method paper · Method paper / M3
Closing the Train-Test Gap in World Models for Gradient-Based Planning
2025 · Arjun Parthasarathy; Nimit Kalra; Rohun Agrawal; Yann LeCun; Oumayma Bounou; Pavel Izmailov; Micah Goldblum
返回 M3 主题 Overview ↑
① 做了什么 研究问题:训练时预测转移与测试时优化动作之间的差别如何缩小?
② 贡献 作者以面向规划的数据合成和训练设计,改善 JEPA 在梯度动作规划中的使用效果。
③ 边界 规划适配的收益需在一致预算下比较,不代表所有长程后果都可信。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者以面向规划的数据合成和训练设计,改善 JEPA 在梯度动作规划中的使用效果。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P323 · Method paper · Method paper / M4
VL-JEPA: Joint Embedding Predictive Architecture for Vision-language
2025 · Delong Chen; Mustafa Shukor; Theo Moutakanni; Willy Chung; Jade Yu; Tejaswi Kasarla; Yejin Bang; Allen Bolourchi; Yann LeCun; Pascale Fung
返回 M4 主题 Overview ↑
① 做了什么 研究问题:视觉语言系统能否预测语义表示并按需解码文本?
② 贡献 VL-JEPA 将视觉语言预测放在语义嵌入空间,研究选择性解码与视频理解。
③ 边界 这是视觉语言理解架构,不是直接生成未来视频的世界模型。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 VL-JEPA 将视觉语言预测放在语义嵌入空间,研究选择性解码与视频理解。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】在教学过程中,助手能否只请求能改变下一步指导的观察,并在新证据出现后修正空间记忆?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P326 · Method paper · Method paper / M3
World Models for Learning Dexterous Hand-Object Interactions from Human Videos
2025 · Raktim Gautam Goswami; Amir Bar; David Fan; Tsung-Yen Yang; Gaoyue Zhou; Prashanth Krishnamurthy; Michael Rabbat; Farshad Khorrami; Yann LeCun
返回 M3 主题 Overview ↑
① 做了什么 研究问题:人类第一人称手部视频能否支持灵巧操作世界模型?
② 贡献 DexWM 使用手指关键点动作表示与潜状态、手部一致性目标,学习可用于灵巧规划的动态表示。
③ 边界 主要预测潜状态;人到机器人动作映射与写实后果生成是另外的环节。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 DexWM 使用手指关键点动作表示与潜状态、手部一致性目标,学习可用于灵巧规划的动态表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P329 · Base paper · Base paper / B1
What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?
2025 · Basile Terver; Tsung-Yen Yang; Jean Ponce; Adrien Bardes; Yann LeCun
返回 B1 主题 Overview ↑
① 做了什么 研究问题:JEPA 世界模型的物理规划成功主要受哪些设计影响?
② 贡献 作者系统比较表示、训练目标和规划器配置,并在仿真和真实任务中检查效果。
③ 边界 需要按统一数据和预算读比较结果;规划成功不能替代视频真实性评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者系统比较表示、训练目标和规划器配置,并在仿真和真实任务中检查效果。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P332 · Method paper · Method paper / M3
Value-guided action planning with JEPA world models
2025 · Matthieu Destrade; Oumayma Bounou; Quentin Le Lidec; Jean Ponce; Yann LeCun
返回 M3 主题 Overview ↑
① 做了什么 研究问题:如何让潜空间距离更接近任务价值而改善动作规划?
② 贡献 Value-guided action planning 使表示距离近似目标条件价值,从而为动作优化提供更有用的信号。
③ 边界 引入任务价值改变了监督条件,不能直接与纯无奖励表示学习等同。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Value-guided action planning 使表示距离近似目标条件价值,从而为动作优化提供更有用的信号。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P334 · Method paper · Method paper / M3
Learning Latent Action World Models In The Wild
2026 · Quentin Garrido; Tushar Nagarajan; Basile Terver; Nicolas Ballas; Yann LeCun; Michael Rabbat
返回 M3 主题 Overview ↑
① 做了什么 研究问题:无动作标注的真实视频能否提供可迁移的连续潜动作?
② 贡献 作者从自然视频学习受约束的连续潜动作并用于动作条件世界建模,减少对离散动作码的依赖。
③ 边界 潜动作的控制效果不代表动作语义具有唯一的因果解释。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者从自然视频学习受约束的连续潜动作并用于动作条件世界建模,减少对离散动作码的依赖。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P337 · Method paper · Method paper / M3
Parallel Stochastic Gradient-Based Planning for World Models
2026 · Michael Psenka; Michael Rabbat; Aditi Krishnapriyan; Yann LeCun; Amir Bar
返回 M3 主题 Overview ↑
① 做了什么 研究问题:怎样加速通过可微世界模型进行动作规划?
② 贡献 GRASP 引入并行优化的虚拟状态和软动力学约束,缓解逐步展开的规划成本。
③ 边界 收益依赖已学习的世界模型及优化条件,不直接解决视频生成显存占用。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 GRASP 引入并行优化的虚拟状态和软动力学约束,缓解逐步展开的规划成本。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P338 · Method paper · Method paper / M7
Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations
2026 · Yilun Kuang; Yash Dagade; Tim G. J. Rudner; Randall Balestriero; Yann LeCun
返回 M7 主题 Overview ↑
① 做了什么 研究问题:能否用稀疏非负表征的分布匹配目标改善自监督学习?
② 贡献 Rectified LpJEPA 以整流广义高斯分布约束表示,研究稀疏性与视觉表征学习。
③ 边界 主要是表征基础方法;视频后果预测与规划需要另外验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Rectified LpJEPA 以整流广义高斯分布约束表示,研究稀疏性与视觉表征学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P339 · Base paper · Base paper / B4
A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures
2026 · Basile Terver; Randall Balestriero; Megi Dervishi; David Fan; Quentin Garrido; Tushar Nagarajan; Koustuv Sinha; Wancong Zhang; Mike Rabbat; Yann LeCun; Amir Bar
返回 B4 主题 Overview ↑
① 做了什么 研究问题:怎样以统一组件实现图像、视频和动作条件 JEPA?
② 贡献 EB-JEPA 整理表征学习与世界建模的模块化实现和实验接口。
③ 边界 软件框架的覆盖范围不是每类下游能力已验证的证据。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 EB-JEPA 整理表征学习与世界建模的模块化实现和实验接口。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P343 · Base paper · Base paper / B4
stable-worldmodel-v1: Reproducible World Modeling Research and Evaluation
2026 · Lucas Maes; Quentin Le Lidec; Dan Haramati; Nassim Massaudi; Damien Scieur; Yann LeCun; Randall Balestriero
返回 B4 主题 Overview ↑
① 做了什么 研究问题:怎样系统比较潜空间世界模型在环境变化下的规划稳健性?
② 贡献 stable-worldmodel-v1 提供统一模型与规划评测,讨论 DINO-WM 等方法对分布变化的表现。
③ 边界 与后续 stable-worldmodel 报告属于同一项目脉络,保留独立预印本记录而不视作独立复现实验。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 stable-worldmodel-v1 提供统一模型与规划评测,讨论 DINO-WM 等方法对分布变化的表现。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核 与 P374 属同一项目系列、不同预印本记录;分别保留,不能当成两次独立复现。
打开论文公开页面 ↗
P350 · Method paper · Method paper / M3
Temporal Straightening for Latent Planning
2026 · Ying Wang; Oumayma Bounou; Gaoyue Zhou; Randall Balestriero; Tim G. J. Rudner; Yann LeCun; Mengye Ren
返回 M3 主题 Overview ↑
① 做了什么 研究问题:怎样使潜空间轨迹更利于梯度规划?
② 贡献 Temporal Straightening 用轨迹曲率约束改善潜空间距离和规划优化条件。
③ 边界 更易优化的潜空间不必等同于真实世界的线性动力学或显式机制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Temporal Straightening 用轨迹曲率约束改善潜空间距离和规划优化条件。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P351 · Base paper · Base paper / B2
Representation Learning for Spatiotemporal Physical Systems
2026 · Helen Qu; Rudy Morel; Michael McCabe; Alberto Bietti; François Lanusse; Shirley Ho; Yann LeCun
返回 B2 主题 Overview ↑
① 做了什么 研究问题:物理系统表征的质量是否能由下一帧预测准确率代表?
② 贡献 作者用物理参数估计等下游任务评估时空物理系统的表示,比较预测式与通用自监督学习。
③ 边界 评价强调任务差别;不能把一个下游任务的优势泛化到全部物理推理。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者用物理参数估计等下游任务评估时空物理系统的表示,比较预测式与通用自监督学习。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P352 · Method paper · Method paper / M7
V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning
2026 · Lorenzo Mur-Labadia; Matthew Muckley; Amir Bar; Mido Assran; Koustuv Sinha; Mike Rabbat; Yann LeCun; Nicolas Ballas; Adrien Bardes
返回 M7 主题 Overview ↑
① 做了什么 研究问题:怎样获得空间与时间上更稠密、稳定的视频表征?
② 贡献 V-JEPA 2.1 通过图像与视频上的自监督学习及中间层监督改善稠密视觉表示。
③ 边界 重点是表示学习;应与动作条件世界模型和视频生成模块区分。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 V-JEPA 2.1 通过图像与视频上的自监督学习及中间层监督改善稠密视觉表示。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P353 · Method paper · Method paper / M3
LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels
2026 · Lucas Maes; Quentin Le Lidec; Damien Scieur; Yann LeCun; Randall Balestriero
返回 M3 主题 Overview ↑
① 做了什么 研究问题:能否以简洁的端到端目标从像素学习可用于规划的世界模型?
② 贡献 LeWorldModel 联合学习编码与未来潜状态预测,并以高斯正则约束表示分布,考察规划和物理异常信号。
③ 边界 物理异常可检测不等于已识别具体因果规律,也不直接提供人可观看的后果视频。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LeWorldModel 联合学习编码与未来潜状态预测,并以高斯正则约束表示分布,考察规划和物理异常信号。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P358 · Method paper · Method paper / M3
Hierarchical Planning with Latent World Models
2026 · Wancong Zhang; Basile Terver; Artem Zholus; Soham Chitnis; Harsh Sutaria; Mido Assran; Randall Balestriero; Amir Bar; Adrien Bardes; Yann LeCun; Nicolas Ballas
返回 M3 主题 Overview ↑
① 做了什么 研究问题:视觉潜空间规划怎样扩展到更长时间尺度?
② 贡献 HWM 使用分层世界模型与模型预测控制,在不同层级组织目标和动作搜索。
③ 边界 层级规划成功不自动保证像素生成长期一致。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 HWM 使用分层世界模型与模型预测控制,在不同层级组织目标和动作搜索。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P366 · Base paper · Base paper / B2
On Training in Imagination
2026 · Nadav Timor; Ravid Shwartz-Ziv; Micah Goldblum; Yann LeCun; David Harel
返回 B2 主题 Overview ↑
① 做了什么 研究问题:在想象轨迹上训练策略时,模型误差怎样影响策略回报?
② 贡献 作者分析动力学和奖励误差对策略学习的影响,讨论噪声、方差与计算预算之间的关系。
③ 边界 理论中的误差与平滑性假设需要对应到实际模型;不能以视频观感代替回报验证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者分析动力学和奖励误差对策略学习的影响,讨论噪声、方差与计算预算之间的关系。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P374 · Base paper · Base paper / B4
stable-worldmodel: A Platform for Reproducible World Modeling Research and Evaluation
2026 · Lucas Maes; Quentin Le Lidec; Luiz Facury; Nassim Massaudi; Ayush Chaurasia; Francesco Capuano; Richard Gao; Taj Gillin; Dan Haramati; Damien Scieur; Yann LeCun; Randall Balestriero
返回 B4 主题 Overview ↑
① 做了什么 研究问题:怎样使世界模型在受控环境变化下的比较可复现?
② 贡献 stable-worldmodel 提供数据、模型和规划器接口,以及视觉、几何和物理变化的统一实验平台。
③ 边界 这是比较基础设施;具体模型是否解决某类变化仍须查看实验结果。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 stable-worldmodel 提供数据、模型和规划器接口,以及视觉、几何和物理变化的统一实验平台。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否构建同时拥有环境状态真值、学员错误和干预分支的 XR 教学评测集?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核 与 P343 属同一项目系列、不同预印本记录;分别保留,不能当成两次独立复现。
打开论文公开页面 ↗
P375 · Base paper · Base paper / B2
When Does LeJEPA Learn a World Model?
2026 · David Klindt; Yann LeCun; Randall Balestriero
返回 B2 主题 Overview ↑
① 做了什么 研究问题:在什么条件下,JEPA 学到的表示可辨识为世界状态?
② 贡献 作者分析 LeJEPA 的线性可辨识性以及状态分布、噪声假设与规划性能之间的关系。
③ 边界 结论依赖所给生成过程和分布假设,不能外推为真实世界因果机制的普遍可辨识性。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 作者分析 LeJEPA 的线性可辨识性以及状态分布、噪声假设与规划性能之间的关系。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P381 · Method paper · Method paper / M3
Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks
2026 · Raktim Gautam Goswami; Prashanth Krishnamurthy; Yann LeCun; Farshad Khorrami
返回 M3 主题 Overview ↑
① 做了什么 研究问题:对象级世界模型能否为长任务提供可执行的中间目标?
② 贡献 WorldDP 在运行时提出可行的子目标,由低层 diffusion policy 执行,连接世界预测与多阶段机器人任务。
③ 边界 高层目标有效性与生成视频中的细粒度物理正确性属于不同评价。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 WorldDP 在运行时提出可行的子目标,由低层 diffusion policy 执行,连接世界预测与多阶段机器人任务。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P382 · Method paper · Method paper / M7
You Don't Need Strong Assumptions: Visual Representation Learning via Temporal Differences
2026 · Ninad Daithankar; Alexi Gladstone; Yann LeCun; Heng Ji
返回 M7 主题 Overview ↑
① 做了什么 研究问题:时间差分能否在较弱假设下提供有用的视觉学习信号?
② 贡献 这项工作研究利用时间差分学习视觉表示,重新审视常见预训练假设。
③ 边界 本轮只核对摘要层的问题定位;具体目标与理论条件仍需方法复核。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 这项工作研究利用时间差分学习视觉表示,重新审视常见预训练假设。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P386 · Method paper · Method paper / M3
SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors
2026 · Pratyaksh Rao; Wancong Zhang; Randall Balestriero; Yann LeCun; Giuseppe Loianno
返回 M3 主题 Overview ↑
① 做了什么 研究问题:如何把潜空间世界模型用于高频无人机控制?
② 贡献 SkyJEPA 将隐空间动力学、物理启发的状态探针与采样规划结合,研究仿真到真实的飞行控制。
③ 边界 可读出的物理状态与控制成功不代表模型内部是完整可解释的物理机制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 SkyJEPA 将隐空间动力学、物理启发的状态探针与采样规划结合,研究仿真到真实的飞行控制。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P391 · Method paper · Method paper / M3
AdaJEPA: An Adaptive Latent World Model
2026 · Ying Wang; Oumayma Bounou; Yann LeCun; Mengye Ren
返回 M3 主题 Overview ↑
① 做了什么 研究问题:部署时遇到外观或动力学变化,潜空间世界模型能否利用刚发生的交互快速适应?
② 贡献 AdaJEPA 在执行动作后,用观测到的转移更新编码器和预测器的部分参数,再进行规划。
③ 边界 属于潜空间模型的测试时适应;不等于显式规则编辑,也没有直接验证写实视频质量。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 测试时每次 MPC 后用自监督转移损失更新编码器、预测器的后层;近期 5 个样本回放,每次一步梯度更新。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 PushT、PointMaze 上的变化测试;按目标达成评价,而不是视频 FVD。正文给出种子和每种环境的具体变化,不能概括为任意机制突变均已解决。
证据定位 PDF pp.2–6:方法闭环、更新参数、回放、数据与变化设置。方法已核查,未复现实验。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P395 · Method paper · Method paper / M3
Patch Policy: Efficient Embodied Control via Dense Visual Representations
2026 · Gaoyue Zhou; Zichen Jeff Cui; Ada Langford; Bowen Tan; Yann LeCun; Lerrel Pinto
返回 M3 主题 Overview ↑
① 做了什么 研究问题:能否直接利用稠密视觉 token 学习高效的机器人策略?
② 贡献 Patch Policy 使用预训练视觉特征中的局部 token,减少对完整视觉语言模型的依赖。
③ 边界 机器人动作策略并非可供人浏览的后果视频生成器。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Patch Policy 使用预训练视觉特征中的局部 token,减少对完整视觉语言模型的依赖。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】能否将规划器的可行子目标转为可验证、可解释的教学步骤,并在真实状态偏离时局部重规划?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P397 · Base paper · Base paper / B2
LpWM: A Case for Sparse Representations in World Models
2026 · Yilun Kuang; Yash Dagade; Quentin Le Lidec; Lucas Maes; Randall Balestriero; Yann LeCun
返回 B2 主题 Overview ↑
① 做了什么 研究问题:什么潜空间几何更适合学习和规划非线性动力学?
② 贡献 LpWM 从稀疏表征与动力学近似的关系出发研究世界模型的潜空间结构。
③ 边界 理论假设与实验环境需单独核对,不能直接推成任意真实世界的可解释规则。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LpWM 从稀疏表征与动力学近似的关系出发研究世界模型的潜空间结构。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P399 · Method paper · Method paper / M7
LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics
2026 · Lukas Kuhn; Lucas Maes; Giuseppe Serra; Quentin Le Lidec; Yann LeCun; Randall Balestriero; Florian Buettner
返回 M7 主题 Overview ↑
① 做了什么 研究问题:怎样以较少训练启发式学习兼顾外观与运动的视频表征?
② 贡献 LeVJEPA 将 LeJEPA 的表征学习目标扩展到视频,并比较外观与运动任务中的表示质量。
③ 边界 视频编码能力不等于像素级未来生成;需另测动作条件预测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 LeVJEPA 将 LeJEPA 的表征学习目标扩展到视频,并比较外观与运动任务中的表示质量。 本条方法定位来自摘要,训练细节待核。
既有研究建议 【topic 层候选方向】哪些表征保留了操作后果所需的状态信息,又能在观测变化时保持稳定?
结果记录 本轮未独立核对定量表格;不依据摘要中的领先表述填写未经核查的提升数值。
证据定位 依据作者提交的 arXiv 摘要与元数据进行首轮标注;全文已逐页提取,但未逐项复核方法、指标和图表。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P104 · Method paper · Method paper / M6
Reasoning with Language Model is Planning with World Model
2023 · Shibo Hao; Yi Gu; Haodi Ma; Joshua Jiahua Hong; Zhen Wang; Daisy Zhe Wang; Zhiting Hu
返回 M6 主题 Overview ↑
① 做了什么 RAP让LLM分别提出推理动作和预测状态变化,再用蒙特卡洛树搜索规划较高价值的推理路径。
② 贡献 统一推理为规划,将LLM世界模型和MCTS用于积木规划、数学及逻辑任务。
③ 边界 世界模型是语言预测状态,不是真实环境模拟器;搜索增加多次模型调用,效果受转移/奖励错误限制。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 定义状态、动作和奖励,MCTS选择/扩展/回传,LLM模拟后果并评估中间收益,输出一个选定计划。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 Blocksworld RAP20在2/4/6步任务成功率1.00/0.88/0.42,GPT4-CoT0.50/0.63/0.40;6步优势很小,33%相对提升是特定汇总口径,不代表每项。
证据定位 PDF §2–4、表1、Limitations p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P105 · Base paper · Base paper / B1
New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models
2024 · Shibo Hao; Yi Gu; Haotian Luo; Tianyang Liu; Xiyan Shao; Xinyuan Wang; Shuhua Xie; Haodi Ma; Adithya Samavedhi; Qiyue Gao; Zhen Wang; Zhiting Hu
返回 B1 主题 Overview ↑
① 做了什么 提出自动生成任务特定评价标准的AutoRace与统一搜索、奖励、世界模型组件的LLM Reasoners库,系统比较多步推理策略。
② 贡献 推理链自动评测、模块化库与搜索因素实验分析。
③ 边界 AutoRace以GPT4为评判者,自动不等于无误;评判是否符合标准,不保证推理链忠实反映内部过程。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 自动归纳任务错误/规则形成rubric,再评估链;将CoT、ToT、RAP统一为搜索/奖励/转移,研究宽度、深度和提示。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 6任务推理链评判平均准确率0.86,SocREval0.82、直接整链判断0.56;搜索奖励可减少“答案对但推理错”,部分任务广度优于深度。
证据定位 PDF §3–5、表1 p.5、§5.2 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P106 · Application paper · AIGC / G4
Pandora: Towards General World Model with Natural Language Actions and Video States
待核实 · Jiannan Xiang; Guangyi Liu; Yi Gu; Qiyue Gao; Yuting Ning; Yuheng Zha; Zeyu Feng; Tianhua Tao; Shibo Hao; Yemin Shi; Zhengzhong Liu; Eric P. Xing; Zhiting Hu
返回 G4 主题 Overview ↑
① 做了什么 把语言自回归模型与视频扩散生成器结合,按自由文本动作连续生成下一段世界状态视频。
② 贡献 混合自回归—扩散架构与复用预训练模型的分阶段对齐/指令微调。
③ 边界 世界状态为视频片段,动作跟随和物理一致性可能失败;通用世界模型是目标,“实时控制”不等于每帧物理实时仿真。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Vicuna7B接收历史视觉状态与动作,输出条件embedding供DynamiCrafter生成下一段,额外使用上一段末4帧维持连续性。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 展示室内外、人类/机器人、2D/3D等跨域可控生成;扩大训练规模后动作跟随改善;§3.4明确展示语义、运动、常识和时序一致性失败。
证据定位 PDF §2、§3示例与§3.4 p.14、§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P107 · Method paper · Method paper / M2
Offline Reinforcement Learning for LLM Multi-step Reasoning
2025 · Huaijie Wang; Shibo Hao; Hanze Dong; Shenao Zhang; Yilin Bao; Ziran Yang; Yi Wu
返回 M2 主题 Overview ↑
① 做了什么 OREO用离线轨迹联合学习策略与价值函数,以soft Bellman方程进行细粒度信用分配,减少对成对偏好数据的依赖。
② 贡献 离线推理优化目标,可复用学到的价值函数指导测试时树搜索。
③ 边界 不需要偏好对不等于不需要带奖励数据;价值模型可直接复用不代表搜索没有额外算力成本。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F2
方法、研究建议与证据定位
方法 最大熵RL下优化策略/价值的Bellman一致性,支持token或响应层次目标、迭代数据更新和价值引导搜索。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 Qwen1.5B GSM8K77.3%、MATH52.5%,SFT73.5/47.5;DeepSeekMath7B85.9/49.2;ALFWorld unseen79.1%、seen80.7%,SFT67.2/62.9。
证据定位 PDF §3–5、表1–2 p.7、§7 p.9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P108 · Method paper · Method paper / M2
Flow of Reasoning: Training LLMs for Divergent Problem Solving with Minimal Examples
未注明(匿名稿) · Anonymous authors(本地双盲稿)
返回 M2 主题 Overview ↑
① 做了什么 用GFlowNet式训练让LLM按奖励比例采样不同有效推理路径,在少量问题示例下同时提高正确性和解法多样性。
② 贡献 Flow of Reasoning(FOR)把多步推理表示为DAG上的概率流,优化多样高奖励轨迹。
③ 边界 “15示例”是部分任务的问题数,不代表只有15次训练交互;依赖任务奖励/模拟器,创造性是任务定义的解法多样性指标。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 以Markov推理状态与路径奖励构造流匹配/轨迹训练,从有限问题反复探索高质量路径并微调LLM。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 五类谜题评测;Rubik四步183题、15训练示例时FOR准确率10.87±1.18%,SFT1.82%,XoT4.92%;FOR多样性1.29、创造性82.61%。Game24仍落后GPT4o/o1-mini等更强基础模型。
证据定位 PDF §3–4、表1–3、§4.4 p.8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P110 · Method paper · Method paper / M5
Understanding the Sources of Uncertainty for Large Language and Multimodal Models
2025 · Ziran Yang; Shibo Hao; Hao Sun; Lai Jiang; Qiyue Gao; Yian Ma; Zhiting Hu
返回 M5 主题 Overview ↑
① 做了什么 将模型输出不确定性按提示措辞、上下文和视觉预处理等因素分解,识别与错误率更相关的分量以用于幻觉检测和自训练筛选。
② 贡献 超出传统epistemic/aleatoric二分的信息论分解框架及effective calibrator概念。
③ 边界 分量含义依赖选定扰动因素与采样分布;与错误相关不意味着识别真正因果来源,也不保证概率校准。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 用条件熵与互信息逐层分解总熵,对提示/输入变体采样,比较分量与错误关联;用于VQA及SVAMP自训练。
既有研究建议 【topic 层候选方向】将可核查证据和经校准的置信信息放在关键决策点,能否改善用户依赖而不过度增加阅读负担?
结果记录 部分分量比总不确定性更能指示幻觉;在视觉QA和数学推理展示检测/筛选收益;SVAMP采用Gemma2-9B、6种实体改写和6种CoT模板,结论受该扰动空间约束。
证据定位 PDF §2、表1、§3–4 pp.6–9。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
按题名检索论文 ↗
P111 · Base paper · Base paper / B1
CocoaBench: Evaluating Unified Digital Agents in the Wild
2026 · CocoaBench Team; Shibo Hao; Zhining Zhang; Zhiqi Liang; Tianyang Liu; Yuheng Zha; Qiyue Gao; Jixuan Chen; Zilong Wang; Zhoujun Cheng; Haoxiang Zhang; Junli Wang; Hexi Jin; Boyuan Zheng; Kun Zhou; Yu Wang; Feng Yao; Licheng Liu; Yijiang Li; Zhifei Li; Zhengtao Han; Pracha Promthaw; Tommaso Cerruti; Xiaohan Fu; Ziqiao Ma; Jingbo Shang; Lianhui Qin; Julian McAuley; Eric P. Xing; Zhengzhong Liu; Rupesh Kumar Srivastava; Zhiting Hu
返回 B1 主题 Overview ↑
① 做了什么 用同时需要视觉、搜索和编程的长流程任务评估统一数字代理,以最终输出自动评测,并提供轻量共享Cocoa-Agent框架。
② 贡献 CocoaBench跨能力组合任务及控制模型骨干差异的统一实验支架。
③ 边界 完整代理系统和共享框架的成绩不可混为纯模型能力;“in the wild”仍是人工设计、有自动验证器的任务样本。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 只给任务说明,以最终产物函数判定成功;分别测完整系统和相同Cocoa-Agent下的模型,分析规划/执行/视觉错误。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 GPT5.4在Codex/OpenClaw中45.1%,共享Cocoa-Agent36.6%;ClaudeSonnet4.6在OpenClaw34.0%、ClaudeCode25.5%、Cocoa-Agent15.7%,显示框架影响显著。
证据定位 PDF §3–5、图4、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P112 · Method paper · Method paper / M2
Vision-G1: Towards General Reasoning Vision-Language Models via Reinforcement Learning
2026 · Yuheng Zha, Kun Zhou, Yujia Wu, Yushu Wang, Jie Feng, Zhi Xu, Shibo Hao, Zhengzhong Liu, Eric P. Xing, Zhiting Hu
返回 M2 主题 Overview ↑
① 做了什么 汇集多域视觉推理可验证奖励数据,结合影响函数筛选与难度课程,多轮RL训练通用视觉推理模型。
② 贡献 46数据集、5域13维度的RL-ready数据及Vision-G1-7B训练方案。
③ 边界 “general”限于涵盖的图像任务;视频和3D是未来方向;正文对评测数量有9/18/17三种表述,按具体表格任务阅读。
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 统一题目/奖励格式,影响函数过滤低价值样本,再按中等难度及类别平衡进行多轮GRPO。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 数学表2平均42.1%,基础Qwen2.5VL-7B39.0,但Vision-R1-7B42.5%、GPT4o45.7%更高;因此不能将摘要领先描述套到每个数学指标。跨综合/专业任务另有收益。
证据定位 PDF Approach、Main Results、表1–3、Conclusion p.7;指标例外见表2。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P113 · Base paper · Base paper / B2
Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought
2026 · Hanlin Zhu; Shibo Hao; Zhiting Hu; Jiantao Jiao; Stuart Russell; Yuandong Tian
返回 B2 主题 Overview ↑
① 做了什么 分析连续CoT隐式并行搜索如何在训练中形成,针对简化两层Transformer的有向图可达任务刻画关键注意力logit动态。
② 贡献 在思考生成和答案预测两阶段分析index-matching logit先增长再有界,从而保留多个可能前沿的理论机制。
③ 边界 定理依赖简化两层模型、任务结构与对称等假设,不适用于任意大模型训练;superposition是向量多路径编码,不是量子计算。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 推导梯度训练下局部搜索logit变化,用课程训练跟踪注意力及潜状态,检验理论预测。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 受控图任务测试准确率96.2%,训练logit轨迹与有界假设一致;部分候选提升通路随设置/随机种子改变,并不总经同一<R> token。
证据定位 PDF §3–5、§5训练细节p.9、§6及附录E。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P114 · Method paper · Method paper / M6
LLM Pretraining with Continuous Concepts
2026 / 2025 · Jihoon Tack; Jack Lanchantin; Jane Yu; Andrew Cohen; Ilia Kulikov; Janice Lan; Shibo Hao; Yuandong Tian; Jason Weston; Xian Li
返回 M6 主题 Overview ↑
① 做了什么 CoCoMix在下一token预训练之外预测来自稀疏自编码器的连续概念,并与token表示交错输入,以提高样本效率及一定程度的可控性。
② 贡献 连续概念预测+混合的端到端预训练方案,比较NTP、蒸馏和pause tokens。
③ 边界 需要预训练模型/SAE提供概念目标;概念可解释性依赖SAE,不能保证全模型透明;主要模型规模69M–1.38B。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 从教师隐状态经SAE提取稀疏概念,学生同时预测token和概念,将压缩概念向量插入隐状态流。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 200B token实验中1.38B模型平均下游准确率49.7对NTP48.7、KD49.1%;报告达到NTP同等性能所需token减少21.5%;124M概念教师也可帮助更大模型。
证据定位 PDF §2–3、表1 p.6、§5;首页日期。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P115 · Method paper · Method paper / M1
ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings
2023 · Shibo Hao; Tianyang Liu; Zhen Wang; Zhiting Hu
返回 M1 主题 Overview ↑
① 做了什么 把工具当作词表里的特殊token,仅学习工具embedding,使冻结LLM能选择大量工具,再通过提示生成参数并执行。
② 贡献 toolken表示及低参数工具学习,支持扩展工具集合并利用示范数据。
③ 边界 冻结骨干不等于无训练;每个新工具仍需embedding学习/示范,参数生成及执行错误未被消除。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F1
方法、研究建议与证据定位
方法 把工具embedding矩阵拼到输出词表,联合选择文字/工具;触发工具后切参数提示,执行结果回填上下文。
既有研究建议 【topic 层候选方向】在长工作流中显式维护目标、已验证状态和可恢复检查点,能否降低人类救援成本?
结果记录 GSM8K-XL(568题)ToolkenGPT33%对ReAct32%;FuncQA13工具单跳73%对57%,多跳15%对6%,多跳绝对成功率仍低;另有知识库与具身规划实验。
证据定位 PDF §3–4、表2 p.6、§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P116 · Base paper · Base paper / B2
Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought
2025 · Hanlin Zhu; Shibo Hao; Zhiting Hu; Jiantao Jiao; Stuart Russell; Yuandong Tian
返回 B2 主题 Overview ↑
① 做了什么 构造两层Transformer在连续CoT中并行编码多个搜索前沿,以图直径D步解决有向图可达,并用训练实验观察相似潜表示。
② 贡献 连续thought并行BFS的表达能力构造及经验对应分析。
③ 边界 与离散CoT的O(n²)是对比已有最好构造,不是已证明离散CoT必需Ω(n²);严格分离的下界明确留作未来。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 在连续向量中叠加搜索前沿,用两层注意力迭代扩展;ProsQA合成子集上课程训练与潜态/注意力分析。
既有研究建议 【topic 层候选方向】将竞争假设、可获取证据和可执行状态分开,能否避免把想象结果误当作事实并提升受约束生成?
结果记录 2层Coconut在所评ProsQA接近满分,CoT/无CoT约75%,12层CoT约83%;理论需D个连续步骤,条件和数值精度按构造。
证据定位 PDF 定理及§3–4、§5图4、§6 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P117 · Method paper · Method paper / M2
Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective
2025 · Zhoujun Cheng; Shibo Hao; Tianyang Liu; Fan Zhou; Yutao Xie; Feng Yao; Yuexin Bian; Yonghao Zhuang; Nilabjo Dey; Yuheng Zha; Yi Gu; Kun Zhou; Yuqi Wang; Yuan Li; Richard Fan; Jianshu She; Chengqian Gao; Abulhair Saparov; Haonan Li; Taylor W. Killian; Mikhail Yurochkin; Zhengzhong Liu; Eric P. Xing; Zhiting Hu
返回 M2 主题 Overview ↑
① 做了什么 构建92K条六域可验证推理数据GURU,研究RL跨域迁移及难度影响,并训练7B/32B多域推理模型。
② 贡献 数学、代码、科学、逻辑、仿真、表格数据与验证器,跨域训练分析和17任务评估套件。
③ 边界 只覆盖可构造验证奖励的领域;混合训练并非每项都优于专用模型,难源域还可能负迁移到简单任务。
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 来源清洗去重、领域/难度过滤,Qwen2.5-Base上GRPO训练,控制域混合和难度研究迁移。
既有研究建议 【topic 层候选方向】把规划、条件表达和生成执行的错误分开归因,是否能让反馈更高效且减少奖励投机?
结果记录 表3平均GURU7B41.17对ORZ7B33.90(+7.27);32B52.68对ORZ46.95(+5.73)。32B AIME24为32.29,低于ORZ47.50,说明总体更均衡不等于数学全面领先。
证据定位 PDF §2–4、表3 p.8、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P118 · Method paper · Method paper / M5
Calibrating Reasoning in Language Models with Internal Consistency
2024 · Zhihui Xie; Jizhou Guo; Tong Yu; Shuai Li
返回 M5 主题 Overview ↑
① 做了什么 解码中间层对答案的潜在预测,以层间一致性衡量置信度,并优先选择内部更一致的推理路径。
② 贡献 Internal consistency无需训练置信信号、推理路径加权与attention/FFN跨层分析。
③ 边界 需要隐状态访问和可定义答案的任务;内部一致不保证正确,也不是标准概率意义的普遍校准保证。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 用中间层潜预测与末层比较,计算一致性;对多条CoT/L2M路径加权,提高更可信答案的权重。
既有研究建议 【topic 层候选方向】将可核查证据和经校准的置信信息放在关键决策点,能否改善用户依赖而不过度增加阅读负担?
结果记录 跨模型/数据发现错误CoT常有更低内部一致性,加权后推理表现改善;实验使用二分类50/50平衡的calibrated accuracy,不能当作原始类别比例下准确率。
证据定位 PDF §3–4、§4.1–3、§6 p.10。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P119 · Method paper · Method paper / M5
Reasoning Models Know When They’re Right: Probing Hidden States for Self-Verification
2025 · Anqi Zhang; Yulin Chen; Jane Pan; Chen Zhao; Aurojit Panda; Jinyang Li; He He
返回 M5 主题 Overview ↑
① 做了什么 训练隐状态探针识别中间答案正确性,发现答案形成前已有可预测信号,并用高置信提前结束降低过度推理。
② 贡献 中间/未来答案正确性探测、校准分析和动态早退出。
③ 边界 需要带正确性标签训练探针、访问隐状态;标题“知道”指可解码统计信号,并非意识或无监督自证。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F3
方法、研究建议与证据定位
方法 收集中间答案隐状态与标签,训练MLP探针,验证集调参/校准,推理中达到阈值时退出并输出答案。
既有研究建议 【topic 层候选方向】将可核查证据和经校准的置信信息放在关键决策点,能否改善用户依赖而不过度增加阅读负担?
结果记录 阈值0.85约节省24%token,准确率88.2对不退出88.6%,是近似保持并非完全相等;0.9阈值节省19%,准确率同为88.6%;同预算胜固定退出约5个百分点。
证据定位 PDF §3–5、§5.2 p.8、图5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P120 · Application paper · AIGC / G2
Imagine This! Scripts to Compositions to Videos
2018 · Tanmay Gupta; Dustin Schwenk; Ali Farhadi; Derek Hoiem; Aniruddha Kembhavi
返回 G2 主题 Overview ↑
① 做了什么 CRAFT先从文本预测实体的时空布局,再检索视频实体片段并合成视频,利用组合式表示提高语义匹配和视觉一致性。
② 贡献 Composition/Retrieval/Fusion网络、布局与外观联合建模及超过25,000视频的Flintstones标注数据。
③ 边界 主要动画域和已有视频片段重组,不能任意合成库中不存在的对象/运动;不同模块评测有使用前序真值布局/外观的条件。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 逐实体布局预测、联合文本/场景/位置检索,triplet与辅助分类学习检索空间,融合时空片段。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 在语义名词/形容词/动词召回、布局与人评视觉质量上优于直接像素生成基线;可组合未见描述并转移到无字幕视频库。
证据定位 PDF §3–5、表1–3与§5.3;ECVA用于会议信息。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P121 · Method paper · Method paper / M3
World Models
2018 · David Ha, Jürgen Schmidhuber
返回 M3 主题 Overview ↑
① 做了什么 用生成式模型压缩视觉并预测时间动态,训练小控制器,展示在学到的梦境中学习策略后迁移回真实游戏环境。
② 贡献 VAE视觉模型、MDN-RNN记忆模型和简洁控制器的模块化世界模型,区分表征学习与控制优化。
③ 边界 CarRacing和VizDoom等游戏;CarRacing控制器并非全部仅在梦中训练,梦中转移主要由Doom实验展示;不能保证学到完整物理因果结构。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 无监督学习V和M,控制器用z及RNN隐状态选动作,由进化策略优化;在随机梦境模型中训练并调温防利用模型缺陷。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 CarRacing100随机试验906±21,视觉表示单独632±251、加隐藏层788±141;展示Doom梦境训练后的真实环境迁移。
证据定位 PDF §3表1、§4梦境实验及讨论。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P122 · Application paper · AIGC / G2
Phenaki: Variable Length Video Generation from Open Domain Textual Descriptions
2023 · Ruben Villegas; Mohammad Babaeizadeh; Pieter-Jan Kindermans; Hernan Moraldo; Han Zhang; Mohammad Taghi Saffar; Santiago Castro; Julius Kunze; Dumitru Erhan
返回 G2 主题 Overview ↑
① 做了什么 通过因果视频tokenizer与文本条件掩码Transformer,从随时间改变的文字提示生成可延续的视频。
② 贡献 C-ViViT变长视频离散表示、图文与视频文本联合训练、随故事提示自回归延续。
③ 边界 “任意长”是可反复延长的机制,不保证任意时长保持质量/角色记忆;训练短片与展示长片之间没有无限泛化保证。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 因果时间注意力压缩视频token,T5文本条件下迭代补全被掩token,解码后以已有帧/新提示生成后续片段。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 相较逐帧编码减少约40%或更多视频token并改善时空重建一致性;训练1.4秒、8fps片段后展示分钟级变提示生成;图文联合数据帮助覆盖视频训练中未见概念组合。
证据定位 PDF §2–4、tokenizer及生成实验、附录;首页摘要。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P123 · Application paper · AIGC / G4
Genie: Generative Interactive Environments
2024 · Jake Bruce; Michael Dennis; Ashley Edwards; Jack Parker-Holder; Yuge (Jimmy) Shi; Edward Hughes; Matthew Lai; Aditi Mavalankar; Richie Steigerwald; Chris Apps; Yusuf Aytar; Sarah Bechtle; Feryal Behbahani; Stephanie Chan; Nicolas Heess; Lucy Gonzalez; Simon Osindero; Sherjil Ozair; Scott Reed; Jingwei Zhang; Konrad Zolna; Jeff Clune; Nando de Freitas; Satinder Singh; Tim Rocktäschel
返回 G4 主题 Overview ↑
① 做了什么 从无动作标签的互联网视频学习潜动作和动态,用图像、照片或草图初始化可逐帧控制的生成式环境。
② 贡献 11B生成式交互环境,时空tokenizer、潜动作模型与自回归动态模型联合支持视频到可控世界。
③ 边界 文字提示经图像生成可间接初始化,模型本体主要图像提示/潜动作控制;主要平台游戏等域,非任意真实世界高保真模拟。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 潜动作模型从相邻帧推断离散控制,ST-transformer编码视频token,动态模型根据历史与动作预测下一帧;不需真实动作标签训练。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 展示未见图片/手绘初始化、潜动作可控性和从视频模仿策略;模型约1fps、记忆仅16帧,作者明确长时一致与交互速度待提升。
证据定位 PDF §2–4、§5 p.11。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(2)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 P106 · Pandora: Towards General World Model with Natural Language Actions and Video States
作者观点 · PDF p.2,Introduction
Pandora 将 Genie 列为可交互世界模型的重要进展,同时认为这类早期系统通常面向特定领域,允许的动作或状态集合有限,以此引出跨领域自然语言动作接口。
适用范围 该文举例中的 Genie 面向 2D 游戏;评价的是任务域与接口范围,而非在 Genie 原任务上的质量排名。
查看评价原文 ↗
-
来自 P132 · Pre-trained Video Generative Models as World Simulators
资源成本分析 · PDF p.1,Introduction
《Pre-trained Video Generative Models as World Simulators》以 Genie 为例说明从头训练可交互世界模拟器的成本,引用其 125k 步、256 个 TPUv5p 核心的训练设置,主张复用预训练视频生成模型。
适用范围 这些是该论文引用的 Genie 训练资源记录,不是本项目实测,也不能直接换算为其它硬件上的训练时间。
查看评价原文 ↗
打开论文公开页面 ↗
P124 · Method paper · Method paper / M3
iVideoGPT: Interactive VideoGPTs are Scalable World Models
2024 · Jialong Wu; Shaofeng Yin; Ningya Feng; Xu He; Dong Li; Jianye Hao; Mingsheng Long
返回 M3 主题 Overview ↑
① 做了什么 把视觉、动作与奖励统一为token序列,使用压缩视频tokenizer及自回归Transformer预训练,适配预测、规划与模型式RL。
② 贡献 交互VideoGPT框架、上下文条件压缩tokenization及大规模人类/机器人轨迹预训练。
③ 边界 主要机器人操作/视觉控制任务;未经适配在新机器人上会生成旧机器人外观,少样本tokenizer适配仍重要。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 用上下文帧帮助大幅压缩后续帧token,将动作奖励交错建模;下游微调模型/编码器,并以模型生成经验供策略学习。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 在所评连续控制上改善相对无模型方法的样本效率,与DreamerV3相当或更高;100/1000轨迹时预训练优势更明显,全量数据时较小;压缩方案按自回归forward次数计约16倍降低。
证据定位 PDF §3–4,图6–8、§4.4 p.8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P125 · Application paper · AIGC / G4
Causally Steered Diffusion for Automated Video Counterfactual Generation
2025 · Nikos Spyrou; Athanasios Vlontzos; Paraskevas Pegios; Thomas Melistas; Nefeli Gkouti; Yannis Panagakis; Giorgos Papanastasiou; Sotirios A. Tsaftaris
返回 G4 主题 Overview ↑
① 做了什么 给定属性因果图,把干预及其应保留/改变的关系写入提示,用VLM文字反馈反复优化视频编辑以生成更符合指定因果关系的反事实。
② 贡献 黑箱可接入的CSVC提示级因果引导,评估有效性、最小性和时序质量。
③ 边界 依赖先验因果图,主要真实人脸年龄/性别/胡须/秃发等属性编辑;不是从视频发现因果结构,基于外观标签的假设不等于生物学因果真值。
XR 支撑方向:XR-C
方法、研究建议与证据定位
方法 因果目标/解耦提示→TokenFlow/FLATTEN/Tune-A-Video等编辑器→VLM评估损失→语言提示迭代,核心框架不需改编辑器内部。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 表1中CSVC通常提高各编辑后端的目标属性有效性,加入因果解耦提示效果更佳;通过LPIPS、VLM、DOVER、FVD及帧间CLIP检查最小性/质量。
证据定位 PDF §3–5、表1、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P126 · Base paper · Base paper / B3
Diffusion-Based Visual Art Creation: A Survey and New Perspectives
2025 · Bingyuan Wang; Qifeng Chen; Zeyu Wang
返回 B3 主题 Overview ↑
① 做了什么 从艺术需求和技术方法共同审视扩散视觉艺术创作,系统编码相关论文,建立应用、理解和生成的分析框架及人机协作展望。
② 贡献 四阶段文献筛选、七维编码和场景—模态—任务—方法框架,连接艺术要求与计算问题。
③ 边界 综述,不是新的图像/视频生成模型;PDF封面的2026-01-31为下载日期,不是发表日。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 明确研究问题和纳入条件,结构/时间分析论文编码,归纳技术与人机协作趋势。
既有研究建议 【topic 层候选方向】带依赖与来源的编辑界面能否减少反复生成,同时提高作者意图的保留程度?
结果记录 识别视觉艺术的风格控制、内容编辑、跨模态与多场景生成热点,提出技术能力与艺术家参与方式共同演化的研究方向;无统一新实验排名。
证据定位 PDF封面元数据;§4–6、图4、§7–8(正文到PDF p.30)。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P127 · Application paper · AIGC / G2
MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequences
2025 · Canyu Zhao; Mingyu Liu; Wen Wang; Weihua Chen; Fan Wang; Hao Chen; Bo Zhang; Chunhua Shen
返回 G2 主题 Overview ↑
① 做了什么 用自回归模型规划长序列关键帧token,再以扩散渲染图像和视频,以多模态剧本和人脸身份条件维持跨场景角色一致。
② 贡献 叙事/渲染分层框架、包含角色及风格的剧本和身份保持渲染。
③ 边界 “叙事一致”主要由脚本对齐和角色视觉指标代理;关键帧及短片段组装不保证每项事件真实发生或长时物理因果一致。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 扩散自动编码器产生紧凑关键帧token,自回归预测下一个keyframe,文本/FaceID条件解码,再生成帧间视频。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 表1无参考Ours长期一致LT0.814对StoryDiffusion0.596,FID2.043对4.643;审美6.093略低于6.134,非逐项最佳;有参考Ours-ref LT0.893但使用额外条件。
证据定位 PDF §3–4、表1–2 p.9、§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P128 · Application paper · AIGC / G2
StoryMem: Multi-shot Long Video Storytelling with Memory
2025 · Kaiwen Zhang; Liming Jiang; Angtian Wang; Jacob Zhiyuan Fang; Tiancheng Zhi; Qing Yan; Hao Kang; Xin Lu; Xingang Pan
返回 G2 主题 Overview ↑
① 做了什么 用动态历史关键帧记忆把单镜头视频扩散改造成逐镜头长叙事生成,并通过语义/审美选择维持紧凑记忆。
② 贡献 Memory-to-Video(M2V)、负RoPE位置与latent拼接、LoRA训练及ST-Bench。
③ 边界 需微调单镜头骨干;分钟级逐镜头生成不是无限记忆,纯视觉记忆可能混淆多角色;平滑过渡和提示跟随有取舍。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 历史镜头选相关美观关键帧写入记忆,潜空间拼接注入模型;MI2V/MR2V支持过渡和定制。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 ST-Bench总体跨镜头一致性0.5065,报告比基础模型相对提高28.7%、比HoloCine提高9.4%;用户成对偏好更高;单镜头提示跟随略下降。
证据定位 PDF §3–4、表1–2、图7、§5。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P129 · Base paper · Base paper / B4
StoryReasoning Dataset: Using Chain-of-Thought for Scene Understanding and Grounded Story Generation
2025 · Daniel A. P. Oliveira; David Martins de Matos
返回 B4 主题 Overview ↑
① 做了什么 为电影图像序列生成带跨帧实体链接的场景分析和故事,建立StoryReasoning并微调Qwen Storyteller,减少人物/物体指代幻觉。
② 贡献 4,178故事、52,016图像的结构化分析/grounded叙事数据,跨帧重识别和基线模型。
③ 边界 输出以多图到文字故事为主,不是生成视频;创造性/幻觉主要由LLM评判,不能等同人类创意评估。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 视觉相似性与人脸识别匹配对象,表格组织跨帧场景,CoT生成并将词语链接到实体,微调Qwen2.5VL7B。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 平均每故事幻觉4.06→3.56(相对−12.3%);创造性评分2.58→3.38/5(+31%);描述准确评分2.69→2.76,收益较小。
证据定位 PDF §3–5、表1–2 p.8、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P131 · Base paper · Base paper / B3
Controllable Video Generation: A Survey
2025 / 2026 · Yue Ma; Kunyu Feng; Zhongyuan Hu; Xinyu Wang; Yucheng Wang; Mingzhe Zheng; Bingyuan Wang; Qinghe Wang; Xuanhua He; Hongfa Wang; Chenyang Zhu; Hongyu Liu; Yingqing He; Zeyu Wang; Zhifeng Li; Xiu Li; Sirui Han; Yike Guo; Wei Liu; Dan Xu; Linfeng Zhang; Qifeng Chen
返回 B3 主题 Overview ↑
① 做了什么 系统梳理文本之外的姿态、深度、轨迹、相机、音频、身份等视频生成控制,比较单条件、多条件和通用控制机制。
② 贡献 控制信号/注入方式分类、基础视频模型及文献资源汇集。
③ 边界 综述,列出的生成分辨率、速度和代码状态属于原文时点/原实验配置;不是同硬件复现实验排行榜。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 PRISMA式四阶段筛选,按基础模型、条件类型、去噪注入方式和应用分析研究。
既有研究建议 【topic 层候选方向】在最少控制信号下,能否正确执行修改并保护语义上无关的内容?
结果记录 形成控制分类与模型对照,指出多条件协调、精确局部控制、时序一致、通用接口和评估标准的挑战;无新模型统一提升数值。
证据定位 PDF §3检索流程、§4–7、§8 p.26。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P132 · Method paper · Method paper / M3
Pre-trained Video Generative Models as World Simulators
2025 · Haoran He; Yang Zhang; Liang Lin; Zhongwen Xu; Ling Pan
返回 M3 主题 Overview ↑
① 做了什么 DWS在预训练视频生成器上添加动作条件模块和运动强化损失,获得可按动作轨迹生成的动态模型,再通过优先想象改进模型式RL。
② 贡献 适配扩散/自回归骨干的动作接口、动态转移训练与prioritized imagination。
③ 边界 需要任务动作数据和微调;“任何模型通用”仅在所测架构证实,主要游戏/机器人域,非现实通用仿真。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 轻量动作模块对齐动作与视觉变化,以运动损失强化动态;按价值选想象轨迹供PPO/离线策略训练。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 Procgen/Atari展示较PPO及部分模型式RL的样本效率收益;Breakout报告约7倍分数提升,限定具体预算/基线;另用合成经验增强离线策略。
证据定位 PDF §3–5、§5.2图6–7、§5.3。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P133 · Application paper · AIGC / G2
OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory
2025 · Zhaochong An; Menglin Jia; Haonan Qiu; Zijian Zhou; Xiaoke Huang; Zhiheng Liu; Weiming Ren; Kumara Kahatapitiya; Ding Liu; Sen He; Chenyang Zhang; Tao Xiang; Fanny Yang; Serge Belongie; Tian Xie
返回 G2 主题 Overview ↑
① 做了什么 OneStory把多镜头生成视为下一镜头预测,从全局历史挑选相关帧并自适应压缩为紧凑条件,保持角色/环境一致。
② 贡献 Frame Selection、Adaptive Conditioner、带指代字幕的多镜头数据及shot inflation/解耦条件训练。
③ 边界 历史经选择压缩,不能保留所有事件状态;依赖预训练I2V模型和相应训练,并非无需训练的记忆外挂。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 按当前镜头字幕检索历史信息帧,重要性引导patchification压缩上下文,直接条件注入下一镜头视频生成器。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 表2无AC/FS时角色/环境一致0.5153/0.5112,完整0.5874/0.5752;语义对齐0.1814→0.2389。增加至3帧等价上下文后角色/环境0.5926/0.5863,说明预算仍有影响。
证据定位 PDF §3–5、表2 p.8、§6。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P135 · Application paper · AIGC / G4
WorldMem: Long-term Consistent World Simulation with Memory
2025 · Zeqi Xiao; Yushi Lan; Yifan Zhou; Wenqi Ouyang; Shuai Yang; Yanhong Zeng; Xingang Pan
返回 G4 主题 Overview ↑
① 做了什么 以过去帧、位姿和时间戳组成记忆库,通过状态相关的memory attention重建之前去过的地方并表达世界随时间演化。
② 贡献 显式状态帧记忆与检索式世界生成,扩展有限上下文的视频模拟。
③ 边界 Minecraft主要实验使用模拟器提供的真值位姿;现实只给动作时位姿需预测,误差条件不同;记忆增强并不证明完整3D世界模型。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 为帧存姿态/时间,按当前目标状态检索并注意历史视图;扩散模型结合当前上下文与记忆生成。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 超上下文Minecraft PSNR25.32对DiffusionForcing18.04,LPIPS0.1429对0.4376;RealEstate10K回访PSNR20.19对DFoT8.396。主要是回到已见视角的重建任务。
证据定位 PDF §3–4、§4.1 pp.6–7、表1–2。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(2)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG63 · VideoSSM: Autoregressive Long Video Generation with Hybrid State-Space Memory
作者观点 · PDF p.2,Introduction
VideoSSM 将 WorldMem 的按 3D 相机位姿索引缓存与其它空间记忆方法一起讨论,认为这种与 3D 状态耦合的设计较难直接迁移到没有显式世界状态、自由相机和高度动态场景的分钟级开放视频生成。
适用范围 针对任务设定改变后的迁移难点,不是说 WorldMem 在原有受控视角世界模拟中无效。
查看评价原文 ↗
-
来自 VG30 · The Past Frames the Future: Memory for Autoregressive Video Generation — A Survey
综述评价 · PDF p.24,显式空间状态与混合记忆
《The Past Frames the Future》指出 WorldMem 一类混合记忆可以借助位姿把历史视觉证据与后续视角对齐,同时依赖准确标定和时间同步;位姿漂移或位姿—证据失配会造成几何不一致。
适用范围 这是综述对这类记忆设计的适用条件分析,不是该综述独立测得的 WorldMem 失败率。
查看评价原文 ↗
打开论文公开页面 ↗
P136 · Base paper · Base paper / B1
StoryBench: A Multifaceted Benchmark for Continuous Story Visualization
2023 · Emanuele Bugliarello; Hernan Moraldo; Ruben Villegas; Mohammad Babaeizadeh; Mohammad Taghi Saffar; Han Zhang; Dumitru Erhan; Vittorio Ferrari; Pieter-Jan Kindermans; Paul Voigtlaender
返回 B1 主题 Overview ↑
① 做了什么 在三个既有视频数据集上增加带时间戳的多句故事标注,评估动作执行、故事续写和纯文本故事视频生成。
② 贡献 Oops/UVO/DiDeMo的连续故事基准、不同训练设置及视频人评指南。
③ 边界 多数为较短、单镜头用户视频,不能代表长电影多镜头;虽为“continuous story”不意味着无限时长评测。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 人工标注时间段/动作及诊断标签;用小型Phenaki基线进行零样本、单任务、多任务微调;比较自动指标与人类评价。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 续写专门微调改善动作与上下文一致;Oops动作执行FVD:GEN-ZS416、CONT-ST350;但自动分数与人评存在偏离,作者强调仍需人工核查。
证据定位 PDF §3–6、表4–7、§7–8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG30 · The Past Frames the Future: Memory for Autoregressive Video Generation — A Survey
评测边界 · PDF p.69,Goal and Narrative Continuation
《The Past Frames the Future》认为 StoryBench 等基准可用于考察事件顺序、遗漏、重复和叙事矛盾,但完整脚本或结构化提示通常仍在输入中,因此单凭这些分数不足以隔离“必须从历史记忆取回信息”的能力。
适用范围 这是对用 StoryBench 证明记忆能力的证据边界,而非否定它作为故事可视化基准的用途。
查看评价原文 ↗
打开作者项目/代码 ↗
P137 · Application paper · AIGC / G4
Long-Context State-Space Video World Models
2025 · Ryan Po; Yotam Nitzan; Richard Zhang; Berlin Chen; Tri Dao; Eli Shechtman; Gordon Wetzstein; Xun Huang
返回 G4 主题 Overview ↑
① 做了什么 以块级SSM扫描存储较长视频历史,结合局部注意力维持局部连贯,降低动作条件世界模型长上下文计算。
② 贡献 因果视频SSM架构、训练策略及长时空间记忆测试。
③ 边界 每帧推理成本不随历史增长,但作者明确尚不支持交互帧率,无法有效超训练长度记忆;仅低分辨率合成环境。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 Mamba状态压缩长历史,block-wise扫描与frame-local attention结合,逐帧扩散生成。
既有研究建议 【topic 层候选方向】能否在未见机制组合下同时保持物理后果正确、无关内容稳定,并对错误状态作定向修订?
结果记录 576历史帧/224预测帧任务PSNR28.2、LPIPS0.099、SSIM0.855;接近全历史Transformer28.8/0.089/0.860并优于较低复杂度比较方法。
证据定位 PDF §4–5、表3 p.6、§6 p.8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开论文公开页面 ↗
P138 · Application paper · AIGC / G2
StoryGAN: A Sequential Conditional GAN for Story Visualization
2019 · Yitong Li, Zhe Gan, Yelong Shen, Jingjing Liu, Yu Cheng, Yuexin Wu, Lawrence Carin, David Carlson, Jianfeng Gao
返回 G2 主题 Overview ↑
① 做了什么 每句话生成一张图,把故事可视化为有角色和场景一致性的图片序列。
② 贡献 StoryGAN顺序条件GAN、动态Context Encoder/Text2Gist、图像级与故事级判别器,以及CLEVR-SV/Pororo-SV数据。
③ 边界 是句子到图片序列,不是连续视频生成;重点为全局一致而非帧间运动平滑;主要合成/动画小域。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 故事编码初始化状态,Text2Gist融合当前句与历史,逐图生成;两级对抗损失约束单图和全序列。
既有研究建议 【topic 层候选方向】能否分别维护事件状态、角色信念和镜头信息,使叙事修改只传播到相关内容?
结果记录 CLEVR-SV SSIM0.672,ImageGAN0.596、SVC0.641、SVFN0.654;用户排序平均名次1.94优于ImageGAN2.91(越低越好)。
证据定位 PDF §3–4、表1 p.6、表3–4 p.8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
P139 · Base paper · Base paper / B1
Is Your World Simulator a Good Story Presenter? A Consecutive Events-Based Benchmark for Future Long Video Generation
2025 · Yiping Wang; Xuehai He; Kuan Wang; Luyao Ma; Jianwei Yang; Shuohang Wang; Simon Shaolei Du; Yelong Shen
返回 B1 主题 Overview ↑
① 做了什么 用2–4个连续事件的短故事提示测量视频模型是否完成所要求事件,补充审美与时空一致性等细节指标。
② 贡献 StoryEval423提示、7类场景,逐事件自动核验与一致投票。
③ 边界 completion rate是已完成事件比例,不是全故事全对比例;视频时长有限,不能直接代表分钟级长叙事表现。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 检索真实视频/人工构思提示,VLM如GPT4o和LLaVAOV72B核验每一事件并投票,与人工评价检查一致性。
既有研究建议 【topic 层候选方向】能否用配对条件和独立真值找出视觉指标漏掉的机制错误?
结果记录 11模型无一平均事件完成率超过50%,hard类无一超过20%;Kling1.5总体40.1%,Pika1.5为19.4%;高传统时间一致性分数仍可伴随低事件完成。
证据定位 PDF §2–3、表1–2、§3.1 pp.7–8。
本轮重新分类;摘要、方法及边界沿用既有笔记,附本地原文供复核
打开作者项目/代码 ↗
VG17 · Application paper · AIGC / G2
Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation
2026 · Zekai Zhang;Jiahao Li;Jie Zhang;Kaiyuan Gao;Kun Yan;Lihan Jiang;Ningyuan Tang;Shengming Yin;Tianhe Wu;Xiaoyue Chen;Xiao Xu;Yan Shu;Yanran Zhang;Yixian Xu;Yuxiang Chen;Zhendong Wang;Zihao Liu;Zikai Zhou;Huishuai Zhang;Dongyan Zhao;Chenfei Wu
返回 G2 主题 Overview ↑
① 做了什么 通过规划、推理、搜索、记忆和反馈,把不完整用户请求补成可供图像生成的充分上下文。
② 贡献 相较直接渲染提示,它把缺什么信息、去哪里补以及如何整合显式化,并用 IA-Bench 评测。
③ 边界 【原文局限】隐含缺口可能识别失败、反馈偏后端且成本高;
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 相较直接渲染提示,它把缺什么信息、去哪里补以及如何整合显式化,并用 IA-Bench 评测。
既有研究建议 【原文局限】隐含缺口可能识别失败、反馈偏后端且成本高;【我的假设→实验】扩展为视频上下文的获取—撤销—传播,只补能改变事件决策的信息并验证执行。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Context-Aware Planning;PDF p.12 原文局限 / Weak Feedback Supervision
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P17 在统一库中记为 VG17,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG31 · Application paper · AIGC / G4
Video-as-Answer: Predict and Generate Next Video Event with Joint-GRPO(VANS)
2025 · Junhao Cheng;Liang Hou;Xin Tao;Jing Liao
返回 G4 主题 Overview ↑
① 做了什么 让 VLM 预测下一事件、VDM 生成视频答案,并用分两阶段的 Joint-GRPO 对齐推理与视觉执行。
② 贡献 相较文本下一事件回答或分别训练两个模型,它让描述既语义正确又可被生成器忠实表现。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:XR-C
共享方法接口:F2
方法、研究建议与证据定位
方法 相较文本下一事件回答或分别训练两个模型,它让描述既语义正确又可被生成器忠实表现。
既有研究建议 【研究推断】单次下一事件任务及 CLIP 类相似性奖励未充分检验选择性因果编辑;可给同一历史加入相反前提,联合测后果差异、非相关保持与迟到证据纠错。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务 / Video-NextEvent Prediction;PDF p.5 两阶段机制 / Stage 2: Context-Faithful;PDF p.5 奖励 / CLIPScore
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P31 在统一库中记为 VG31,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG13 · Application paper · AIGC / G1
VOID: Video Object and Interaction Deletion
2026 · Saman Motamed;William Harvey;Benjamin Klein;Luc Van Gool;Zhuoning Yuan;Ta-Ying Cheng
返回 G1 主题 Overview ↑
① 做了什么 利用仿真成对数据和 VLM 推断的受影响区域,删除对象并重生成其下游物理交互。
② 贡献 相较只补背景、阴影或反射的对象删除,它已处理“物体没了,碰撞等后果也必须改”的因果编辑。
③ 边界 【原文局限】短视频及特殊视角存在域差;
XR 支撑方向:XR-C
方法、研究建议与证据定位
方法 相较只补背景、阴影或反射的对象删除,它已处理“物体没了,碰撞等后果也必须改”的因果编辑。
既有研究建议 【原文局限】短视频及特殊视角存在域差;【我的假设→实验】从对象删除扩展到事件替换和多跳机制改变,学习影响范围并显式惩罚无关内容漂移。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 已有因果编辑 / downstream physical interactions;PDF p.10 原文局限 / unusual angle
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P13 在统一库中记为 VG13,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG46 · Application paper · AIGC / G1
Geometry-Instructed Video Editing(GIVE)
2026 · Chirui Chang;Xiaoyang Lyu;Yi-Hua Huang;Haoru Tan;Shizhen Zhao;Yikang Ding;Jianmin Bao;Xin Tao;Pengfei Wan;Xiaojuan Qi
返回 G1 主题 Overview ↑
① 做了什么 用编辑前后的深度框和方向框表示对象状态变换,训练视频编辑器执行几何修改及次生视觉变化。
② 贡献 相较模糊文本/二维控制,它已把平移、旋转、缩放、删除等编辑统一为明确的 3D 前后状态条件。
③ 边界 【原文局限】多条件流增加开销且新显露细节会失败;
XR 支撑方向:XR-C
方法、研究建议与证据定位
方法 相较模糊文本/二维控制,它已把平移、旋转、缩放、删除等编辑统一为明确的 3D 前后状态条件。
既有研究建议 【原文局限】多条件流增加开销且新显露细节会失败;【我的假设→实验】让 agent 从机制变化推断所需状态条件,并把阴影等局部后果扩展到跨对象事件链。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / pre/post geometric specification;PDF p.19 原文局限 / newly exposed moving hand
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P46 在统一库中记为 VG46,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG16 · Base paper · Base paper / B1
What-If World: A Causal Benchmark for General World Models in Embodied Scenarios
2026 · Kunlin Cai;Rui Song;Jinghuai Zhang;Kaiyuan Zhang;Pranav Bodapati;Alicia Yu;Fnu Suya;Mohammad Rostami;Jiaqi Ma;Yuan Tian
返回 B1 主题 Overview ↑
① 做了什么 用只改变一个物理条件的提示对,评估驾驶和操作视频是否产生正确的结果差异。
② 贡献 相较逐视频评测,它揭示两段各自逼真却对干预无反应的失败,并同时检查共享环境保持。
③ 边界 【任务边界】它是评测而非训练方法,场景范围有限;
XR 支撑方向:XR-C
共享方法接口:F6
方法、研究建议与证据定位
方法 相较逐视频评测,它揭示两段各自逼真却对干预无反应的失败,并同时检查共享环境保持。
既有研究建议 【任务边界】它是评测而非训练方法,场景范围有限;【我的假设→实验】把成对评测扩成干预组监督,留出组合机制并同时测必改后果和应保持内容。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 成对任务 / 319;PDF p.8 成对测量 / Some failures are invisible to single-video metrics
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P16 在统一库中记为 VG16,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG30 · Base paper · Base paper / B3
The Past Frames the Future: Memory for Autoregressive Video Generation — A Survey
2026 · Harold Haodong Chen;Rongjin Guo;Disen Lan;Wen-Jie Shu;Hongfei Zhang;Hanzhe Hu;Shengtao Yao;Zixin Zhang;Guibin Zhang;Zhefan Rao;Jinxiu Liu;Yexin Liu;Rui Peng;Yuhao Liu;Bin Ren;Shuai Yang;Yukang Chen;Salman Khan;Ying-Cong Chen;Ser-Nam Lim;Rynson W. H. Lau;Nicu Sebe;Yu Cheng;Ming-Hsuan Yang;Qifeng Chen
返回 B3 主题 Overview ↑
① 做了什么 从形式、功能、操作、学习与评测五个视角梳理自回归视频生成的持续记忆机制。
② 贡献 相较把长上下文等同于记忆,它强调历史信息需在离开窗口后仍准确、可访问并影响生成。
③ 边界 【证据边界】综述提供分类与问题定位而非新模型实证;
XR 支撑方向:XR-S
共享方法接口:F4
方法、研究建议与证据定位
方法 相较把长上下文等同于记忆,它强调历史信息需在离开窗口后仍准确、可访问并影响生成。
既有研究建议 【证据边界】综述提供分类与问题定位而非新模型实证;【我的假设→实验】用带来源的记忆撤销与依赖传播,专测外部观测纠错后的错误复发率。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 综述框架 / five complementary perspectives;PDF p.1 更新问题 / trustworthy state updating
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P30 在统一库中记为 VG30,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG63 · Application paper · AIGC / G2
VideoSSM: Autoregressive Long Video Generation with Hybrid State-Space Memory
2025 · Yifei Yu;Xiaoshan Wu;Xinting Hu;Tao Hu;Yangtian Sun;Xiaoyang Lyu;Bo Wang;Lin Ma;Yuewen Ma;Zhongrui Wang;Xiaojuan Qi
返回 G2 主题 Overview ↑
① 做了什么 用局部窗口保存细节、SSM 全局状态压缩离窗历史,实现可随内容更新的长视频记忆。
② 贡献 相较滑窗遗忘或固定首帧锚导致重复,它协调动态全局记忆与局部运动信息。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:XR-S
共享方法接口:F4
方法、研究建议与证据定位
方法 相较滑窗遗忘或固定首帧锚导致重复,它协调动态全局记忆与局部运动信息。
既有研究建议 【研究推断】模型已有更新与遗忘门,但未由此证明能按证据撤销特定错误;可加入来源可追踪的记忆修订,测矛盾观测后的旧错误复发率。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / hybrid statespace memory;PDF p.5 现有更新机制 / injection gate
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P63 在统一库中记为 VG63,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG15 · Application paper · AIGC / G2
A²RD: Agentic Autoregressive Diffusion for Long Video Consistency
2026 · Do Xuan Long;Yale Song;Min-Yen Kan;Tomas Pfister;Long T. Le
返回 G2 主题 Overview ↑
① 做了什么 用多模态记忆、分段生成策略和分层自修正,按检索—生成—修订—更新循环制作长视频。
② 贡献 相较开放环路拼接,它在片段进入后续生成前检查并改善实体、环境与叙事的一致性。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 相较开放环路拼接,它在片段进入后续生成前检查并改善实体、环境与叙事的一致性。
既有研究建议 【研究推断】已有记忆更新与自修正不等于支持外来证据推翻历史;可加入事实来源和依赖失效机制,测试迟到观测下的定向纠错及无关记忆保留。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Retrieve–Synthesize–Refine–Update;PDF p.16 原文局限 / verification rubrics reflect implicit assumptions
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P15 在统一库中记为 VG15,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG60 · Method paper · Method paper / M4
See, Remember, Explore: A Benchmark and Baselines for Streaming Spatial Reasoning(S³-Bench / AMF-VLM)
2026 · Yuxi Wei;Wei Huang;Qirui Chen;Lu Hou;Xiaojuan Qi
返回 M4 主题 Overview ↑
① 做了什么 用有时间截止的流式空间问答评测记忆与主动探索,并以 memory folding 压缩历史、按需获取新证据。
② 贡献 相较看完整视频再答题,它要求仅用当时可得观察,在有限计算下主动弥补视野不足。
③ 边界 【任务边界】已有主动探索但主要输出答案;
XR 支撑方向:XR-L
方法、研究建议与证据定位
方法 相较看完整视频再答题,它要求仅用当时可得观察,在有限计算下主动弥补视野不足。
既有研究建议 【任务边界】已有主动探索但主要输出答案;【我的假设→实验】把发现的矛盾接入生成记忆的撤销与后果重写,测错误状态纠正速度和最小观察成本。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / memory folding;PDF p.1 任务边界 / only observations available
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P60 在统一库中记为 VG60,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG18 · Application paper · AIGC / G2
Look-Before-Move: Narrative-Grounded World Visual Attention in Dynamic 3D Story Worlds
2026 · Jiaming Bian;Bingliang Li;Yuehao Wu;Pichao Wang;Zhi Wang;Hailan Ma;Huadong Mo;Zhenhong Sun
返回 G2 主题 Overview ↑
① 做了什么 先把叙事意图写成观察约束,再搜索合适视点并生成连续、避碰的 3D 相机运动。
② 贡献 相较只优化相机轨迹平滑,它先决定必须看见什么证据,再求实现这些观察的镜头运动。
③ 边界 【原文局限】目标识别、未来遮挡和过渡中可见性仍会失败;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只优化相机轨迹平滑,它先决定必须看见什么证据,再求实现这些观察的镜头运动。
既有研究建议 【原文局限】目标识别、未来遮挡和过渡中可见性仍会失败;【我的假设→实验】同时加入“尚不能看见”的约束,按观众和角色分别控制信息揭示时间。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Semantic Observation Contract;PDF p.19 原文局限 / anticipate future occlusions
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P18 在统一库中记为 VG18,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG01 · Method paper · Method paper / M6
Sabre: A Narrative Planner Supporting Intention and Deep Theory of Mind
2021 · Stephen G. Ware;Cory Siler
返回 M6 主题 Overview ↑
① 做了什么 用显式世界状态、角色信念与意图规划故事,使作者目标达成且角色行动有动机。
② 贡献 相较只管情节可达或角色全知的规划器,它把错误信念与深层心智理论纳入可解释行动规划。
③ 边界 【原文局限】领域规则仍需手写且搜索昂贵;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只管情节可达或角色全知的规划器,它把错误信念与深层心智理论纳入可解释行动规划。
既有研究建议 【原文局限】领域规则仍需手写且搜索昂贵;【我的假设→实验】用“同一事件、不同角色获知时间”监督视频,检验能否保持真实事件不变而改变角色反应。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与机制 / possibly wrong beliefs;PDF p.7 原文局限 / general problem of author burden
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P01 在统一库中记为 VG01,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG14 · Application paper · AIGC / G2
StoryBlender: Inter-Shot Consistent and Editable 3D Storyboard with Spatial-Temporal Dynamics
2026 · Bingliang Li;Zhenhong Sun;Jiaming Bian;Yuehao Wu;Yifu Wang;Hongdong Li;Yatao Bian;Huadong Mo;Daoyi Dong
返回 G2 主题 Overview ↑
① 做了什么 用连续性记忆图、统一 3D 资产及引擎反馈,把故事转成可直接编辑的多镜头 3D 分镜。
② 贡献 相较二维分镜的身份漂移与重采样式编辑,它通过全局资产和镜头变量解耦获得跨镜头一致性。
③ 边界 【原文局限】复杂表现性动作与交互仍受资产和动画能力限制;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较二维分镜的身份漂移与重采样式编辑,它通过全局资产和镜头变量解耦获得跨镜头一致性。
既有研究建议 【原文局限】复杂表现性动作与交互仍受资产和动画能力限制;【我的假设→实验】只改揭示镜头而固定事件状态,评估悬念变化和因果连续性是否可独立控制。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / continuity memory graph;PDF p.35 原文局限 / expressive 3D foundation models
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P14 在统一库中记为 VG14,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG43 · Application paper · AIGC / G3
ArtiMo: Agent-Driven Articulated Mesh Animation
2026 · Chunyu Zou;Peng Dai;Yi-Hua Huang;Ze Yuan;Jingwei Huang;Yeming Yao;Xiaojuan Qi
返回 G3 主题 Overview ↑
① 做了什么 利用 URDF 关节约束、语言规划和视觉自修正,零样本生成有部件因果关系的网格动画。
② 贡献 相较自由形变或普通文本驱动动画,它显式约束轴向、部件联动与动作阶段,支持机构相关操作。
③ 边界 【原文局限】依赖正确关节结构且小部件/遮挡难识别;
XR 支撑方向:XR-C
方法、研究建议与证据定位
方法 相较自由形变或普通文本驱动动画,它显式约束轴向、部件联动与动作阶段,支持机构相关操作。
既有研究建议 【原文局限】依赖正确关节结构且小部件/遮挡难识别;【我的假设→实验】改变锁扣或联动规则,用最少新观测更新机制并只重生成相关动作,这是方向 7 的具体场景。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / URDF;PDF p.19 原文局限 / Our method depends on the quality
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P43 在统一库中记为 VG43,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG37 · Method paper · Method paper / M8
VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization
2026 · Junhao Cheng;Liang Hou;Tianxiong Zhong;Xin Tao;Pengfei Wan;Kun Gai;Jing Liao
返回 M8 主题 Overview ↑
① 做了什么 让 VLM 生成任务规则与可微奖励,在测试时优化视频模型的轻量 LoRA 来纠正推理轨迹。
② 贡献 相较 VLM 只写提示或反复抽样选优,它让规则验证反馈直接改变视频模型的执行行为。
③ 边界 【原文局限】教师会看错或漏写目标,且存在视觉质量取舍;
XR 支撑方向:XR-S XR-E
共享方法接口:F5
方法、研究建议与证据定位
方法 相较 VLM 只写提示或反复抽样选优,它让规则验证反馈直接改变视频模型的执行行为。
既有研究建议 【原文局限】教师会看错或漏写目标,且存在视觉质量取舍;【我的假设→实验】用局部归因和已满足约束保护,测试每修一错是否会引入新错。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / lightweight LoRA module;PDF p.11 原文局限 / perception granularity
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P37 在统一库中记为 VG37,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG50 · Application paper · AIGC / G1
JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion
2026 · Yicheng Xiao;Wenxun Dai;Xinran Qin;Lin Song;Maoquan Zhang;Hang Xu;Yukang Chen;Yitong Li;Guohui Zhang;Yuan Zhang;Xuying Zhang;Tommy Zhang;Jianlong Yuan;Peihao Li;Shuai Lu;Siming Fu;Chuyang Zhao;Xin Han;Jie Huang;Wenbo Li;Guoqing Ma;Wei Huang;Xiaojuan Qi;Haoyang Huang;Nan Duan
返回 G1 主题 Overview ↑
① 做了什么 以分块自回归、源视频锚定蒸馏和长程蒸馏,完成无未来帧输入的实时流式视频编辑。
② 贡献 相较离线整段编辑或逐段独立处理,它联合解决有界计算、源内容保持和少步生成的长期漂移。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 相较离线整段编辑或逐段独立处理,它联合解决有界计算、源内容保持和少步生成的长期漂移。
既有研究建议 【研究推断】流式因果输出不等于能撤回已显示内容;可显式设置可重写缓冲区和提交边界,测中断后修改延迟及边界接缝。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Source-Anchored Distribution Matching;PDF p.1 任务边界 / without access to future frames
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P50 在统一库中记为 VG50,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG02 · Method paper · Method paper / M1
VOYAGER: An Open-Ended Embodied Agent with Large Language Models
2023 · Guanzhi Wang;Yuqi Xie;Yunfan Jiang;Ajay Mandlekar;Chaowei Xiao;Yuke Zhu;Linxi “Jim” Fan;Anima Anandkumar
返回 M1 主题 Overview ↑
① 做了什么 通过自动课程、可执行技能库和执行反馈,让 Minecraft agent 持续探索并复用技能。
② 贡献 相较一次性任务规划,它把成功程序存成可检索技能,在不更新模型参数的情况下支持持续积累。
③ 边界 【原文局限】自验证会误判、课程会提出不存在的任务;
XR 支撑方向:XR-L XR-E
共享方法接口:F1
方法、研究建议与证据定位
方法 相较一次性任务规划,它把成功程序存成可检索技能,在不更新模型参数的情况下支持持续积累。
既有研究建议 【原文局限】自验证会误判、课程会提出不存在的任务;【我的假设→实验】在 XR 机制改变后给技能附加可撤销前提,测失效技能识别与最少重学成本。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与机制 / automatic curriculum;PDF p.10 原文局限 / self-verification module may also fail
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P02 在统一库中记为 VG02,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG03 · Application paper · AIGC / G2
VideoAuteur: Towards Long Narrative Video Generation
2025 · Junfei Xiao;Feng Cheng;Lu Qi;Liangke Gui;Jiepeng Cen;Zhibei Ma;Alan Yuille;Lu Jiang
返回 G2 主题 Overview ↑
① 做了什么 构建烹饪叙事数据,用自回归导演依次生成动作、描述和关键帧,再驱动长视频生成。
② 贡献 相较只生成几秒片段,它专门处理多步骤内容的语义推进与视觉衔接。
③ 边界 【原文局限】会重复步骤、产生动作和物体连续性幻觉;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只生成几秒片段,它专门处理多步骤内容的语义推进与视觉衔接。
既有研究建议 【原文局限】会重复步骤、产生动作和物体连续性幻觉;【我的假设→实验】固定烹饪事件链但改变揭示顺序,检验模型能否保留被暂时隐藏的关键步骤。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与机制 / Long Narrative Video Director;PDF p.26 原文失败例 / Repeated “Steps”
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P03 在统一库中记为 VG03,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG04 · Method paper · Method paper / M7
What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
2025 · Chi-Hsi Kung;Frangil Ramirez;Juhyung Ha;Yi-Ting Chen;David J. Crandall;Yi-Hsuan Tsai
返回 M7 主题 Overview ↑
① 做了什么 用 LLM 生成动作前后状态及遗漏、乱序等反事实描述,训练程序性视频表征。
② 贡献 相较主要学习动作顺序的表征,它显式监督“动作如何改变状态”,改善程序理解与错误检测。
③ 边界 【任务边界】成果是视频理解表征,未展示反事实视频编辑;
XR 支撑方向:XR-C
共享方法接口:F6
方法、研究建议与证据定位
方法 相较主要学习动作顺序的表征,它显式监督“动作如何改变状态”,改善程序理解与错误检测。
既有研究建议 【任务边界】成果是视频理解表征,未展示反事实视频编辑;【我的假设→实验】把状态对比监督接到生成器,测试漏一步后哪些后果需改、哪些背景应保留。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与机制 / state-change descriptions;PDF p.8 生成边界 / synthetic long-form videos
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P04 在统一库中记为 VG04,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG05 · Base paper · Base paper / B1
VideoGen-Eval: Agent-based System for Video Generation Evaluation
2025 · Yuhang Yang;Ke Fan;Shangkun Sun;Hongxiang Li;Ailing Zeng;FeiLin Han;Wei Zhai;Wei Liu;Yang Cao;Zheng-Jun Zha
返回 B1 主题 Overview ↑
① 做了什么 将提示拆成评测维度,结合 MLLM 判断和密集时间工具评估生成视频。
② 贡献 相较固定指标和简单提示,它让评测随内容变化,并改善与人类偏好的对齐。
③ 边界 【原文局限】特殊领域仍难达专家水平;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较固定指标和简单提示,它让评测随内容变化,并改善与人类偏好的对齐。
既有研究建议 【原文局限】特殊领域仍难达专家水平;【我的假设→实验】加入短暂接触、遮挡和因果链定位题,测视频 verifier 能否发现平均质量分掩盖的关键错误。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与机制 / temporal-dense;PDF p.8 原文局限 / expert-level judgments
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P05 在统一库中记为 VG05,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG06 · Method paper · Method paper / M6
Reasoning with Sampling: Your Base Model is Smarter Than You Think
2025 · Aayush Karan;Yilun Du
返回 M6 主题 Overview ↑
① 做了什么 用基座语言模型自身似然进行 MCMC 式采样,增强无需训练或外部 verifier 的推理。
② 贡献 相较把推理增益完全归于 RL,它展示单靠改变采样分布也能释放已有能力并保留多样性。
③ 边界 【任务边界】证据来自语言推理而非连续视频生成;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较把推理增益完全归于 RL,它展示单靠改变采样分布也能释放已有能力并保留多样性。
既有研究建议 【任务边界】证据来自语言推理而非连续视频生成;【我的假设→实验】检验视频候选分布锐化是否保留正确但低概率的事件分支,并计入全部采样成本。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法与范围 / own likelihoods;PDF p.1 无验证器条件 / does not require training
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P06 在统一库中记为 VG06,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG07 · Base paper · Base paper / B1
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm
2025 · Jingqi Tong;Yurong Mou;Hangcheng Li;Mingzhe Li;Yongzhuo Yang;Ming Zhang;Qiguang Chen;Tianyi Liang;Xiaomeng Hu;Yining Zheng;Xinchi Chen;Jun Zhao;Xuanjing Huang;Xipeng Qiu
返回 B1 主题 Overview ↑
① 做了什么 提出用视频生成过程承载多模态推理,并用 VideoThinkBench 测试视觉与文本任务。
② 贡献 相较只用文本或静态图像表达推理,它考察动态视觉过程能否成为统一的推理载体。
③ 边界 【原文局限】主要依赖闭源 Sora-2,内部机制难分析;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只用文本或静态图像表达推理,它考察动态视觉过程能否成为统一的推理载体。
既有研究建议 【原文局限】主要依赖闭源 Sora-2,内部机制难分析;【我的假设→实验】设计中途改前提的成对任务,区分“生成了对的答案”与“正确传播了变化”。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与范围 / VideoThinkBench;PDF p.12 原文局限 / Sora-2 is not open-source
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P07 在统一库中记为 VG07,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG08 · Method paper · Method paper / M4
Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models(DSR Suite)
2025 · Shengchao Zhou;Yuxin Chen;Yuying Ge;Wei Huang;Jiehong Lin;Ying Shan;Xiaojuan Qi
返回 M4 主题 Overview ↑
① 做了什么 从真实视频提取 4D 几何构建 DSR 数据,并用问题条件化的几何选择模块增强 VLM。
② 贡献 相较静态空间题或直接堆入大量 3D 特征,它专门学习多对象、视角变化和细粒度时间关系。
③ 边界 【任务边界】主要验证动态空间问答,几何先验仍来自估计;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较静态空间题或直接堆入大量 3D 特征,它专门学习多对象、视角变化和细粒度时间关系。
既有研究建议 【任务边界】主要验证动态空间问答,几何先验仍来自估计;【我的假设→实验】让 agent 仅获取区分两个未来分支所必需的几何线索,测控制成本与生成正确率。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.2 方法 / Geometry Selection Module;PDF p.8 实验取舍 / general video understanding performance
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P08 在统一库中记为 VG08,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG09 · Method paper · Method paper / M2
CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models
2026 · Tobia Poppi;Burak Uzkent;Amanmeet Garg;Lucas Porto;Garin Kessler;Yezhou Yang;Marcella Cornia;Lorenzo Baraldi;Rita Cucchiara;Florian Schiffers
返回 M2 主题 Overview ↑
① 做了什么 保持场景上下文而合成动作或时序不同的视频偏好对,用 MixDPO 降低 VLM 幻觉。
② 贡献 相较文本负例或随机扰动,它提供语义接近但动态不同的视觉硬负例,迫使模型看清真实动作。
③ 边界 【原文局限】跨生成器验证尚待完成,目标仍是理解模型;
XR 支撑方向:XR-C XR-L
共享方法接口:F6
方法、研究建议与证据定位
方法 相较文本负例或随机扰动,它提供语义接近但动态不同的视觉硬负例,迫使模型看清真实动作。
既有研究建议 【原文局限】跨生成器验证尚待完成,目标仍是理解模型;【我的假设→实验】用成组干预训练生成器并留出生成器与机制,检测是否只记住合成数据伪迹。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / MixDPO;PDF p.9 原文局限 / cross-generator validation remains
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P09 在统一库中记为 VG09,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG10 · Application paper · AIGC / G4
RealWonder: Real-Time Physical Action-Conditioned Video Generation
2026 · Wei Liu;Ziyu Chen;Zizhang Li;Yue Wang;Hong-Xing Yu;Jiajun Wu
返回 G4 主题 Overview ↑
① 做了什么 把单图重建后的 3D 动作经物理仿真转为光流和 RGB 条件,再用少步视频模型生成后果。
② 贡献 相较仅文本或二维运动控制,它建立力、机器人动作等连续物理输入到视频输出的桥梁。
③ 边界 【原文局限】重建不可靠会传递到仿真与视频;
XR 支撑方向:XR-C
方法、研究建议与证据定位
方法 相较仅文本或二维运动控制,它建立力、机器人动作等连续物理输入到视频输出的桥梁。
既有研究建议 【原文局限】重建不可靠会传递到仿真与视频;【我的假设→实验】在 XR 中改变质量或关节机制并只补测关键参数,比较正确后果与非相关内容保持。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / physics simulation as an intermediate bridge;PDF p.15 原文局限 / suboptimal simulation
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P10 在统一库中记为 VG10,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG11 · Method paper · Method paper / M8
VQQA: An Agentic Approach for Video Evaluation and Quality Improvement
2026 · Yiwen Song;Tomas Pfister;Yale Song
返回 M8 主题 Overview ↑
① 做了什么 动态生成视觉问题,把 VLM 的自然语言批评转成黑盒视频生成的提示优化反馈。
② 贡献 相较被动打分或需访问模型内部的优化,它提供可解释、可行动且跨生成器的修正闭环。
③ 边界 【原文局限】受评判幻觉和串行延迟限制;
XR 支撑方向:XR-S
共享方法接口:F5
方法、研究建议与证据定位
方法 相较被动打分或需访问模型内部的优化,它提供可解释、可行动且跨生成器的修正闭环。
既有研究建议 【原文局限】受评判幻觉和串行延迟限制;【我的假设→实验】把反馈定位为对象—时间—约束并锁定已通过项,检验局部修复能否减少反复改坏。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / semantic gradients;PDF p.19 原文局限 / A. Limitations
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P11 在统一库中记为 VG11,避免与全库 Pxxx 编号混淆。
其它论文的评价与比较(1)
以下为来源论文观点或结果的中文概述;实验结果由来源作者报告,未在此独立复现。
-
来自 VG15 · A²RD: Agentic Autoregressive Diffusion for Long Video Consistency
作者观点 · PDF p.4,Related Work:Test-Time Optimization
A²RD 肯定 VQQA 通过 VLM 问题实现闭环优化,同时将其与其它方法归为主要改善单段质量的路线,指出跨片段一致性与叙事推进仍需另行处理。
适用范围 该判断针对多片段长视频研究范围;不应据此抹去 VQQA 对单段视频中时序或全局问题的诊断能力。
查看评价原文 ↗
打开论文公开页面 ↗
VG12 · Application paper · AIGC / G3
Stereo World Model: Camera-Guided Stereo Video Generation(StereoWorld)
2026 · Yang-Tian Sun;Zehuan Huang;Yifan Niu;Lin Ma;Yan-Pei Cao;Yuewen Ma;Xiaojuan Qi
返回 G3 主题 Overview ↑
① 做了什么 用相机条件 RoPE 和立体感知注意力,联合生成左右眼视频及一致的双目几何。
② 贡献 相较先生成单目再估深转双目,它直接在 RGB 生成中约束视差与视角一致性。
③ 边界 【任务边界】双目一致不等于干预后因果正确;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较先生成单目再估深转双目,它直接在 RGB 生成中约束视差与视角一致性。
既有研究建议 【任务边界】双目一致不等于干预后因果正确;【我的假设→实验】在 XR 机械编辑后同时测左右眼变化区域、遮挡关系和未编辑区域是否一致。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / stereo-aware attention decomposition;PDF p.1 任务范围 / stereo video generation
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P12 在统一库中记为 VG12,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG19 · Application paper · AIGC / G2
CineForge: Self-Improving Agents for Long-Horizon Video Generation
2026 · Junxiang Liu;Lin Wang;Haiyu Shi;Hongxu Ma;Xiaoyu Yang;Chunjie Chen;Xiaoxiao Xu;Kaiqiao Zhan;Boao Wang;Shuizhou Shi;Tianyun Zhu;Jie Li;Jiangtong Li
返回 G2 主题 Overview ↑
① 做了什么 记录故事生产轨迹,将跨故事反复出现的问题转成分阶段的策略补丁,经回放检验后复用。
② 贡献 相较只修当前视频或存自由文本反思,它把错误追溯到生产阶段并学习可版本化的持续改进。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:XR-E
方法、研究建议与证据定位
方法 相较只修当前视频或存自由文本反思,它把错误追溯到生产阶段并学习可版本化的持续改进。
既有研究建议 【研究推断】回放保护仅覆盖指定指标和样本,不能保证开放场景零退化;可把补丁约束下沉到视频时空区域,测每次修复新增的违规率。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Case-to-Pattern-to-Policy;PDF p.6 保护边界 / protected deterministic guard metrics
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P19 在统一库中记为 VG19,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG20 · Application paper · AIGC / G2
VideoGen-Agent: Reinforcing Video Generation Agents
2026 · Binxu Li;Haoyi Duan;Yuhui Zhang;Yaohui Zhang;Zihao Lin;Kaituo Feng;Suozhi Huang;Xiangyi Li;Yu Li;Chunyuan Li;Shilong Liu;Mengdi Wang
返回 G2 主题 Overview ↑
① 做了什么 通过多任务 agentic RL 学习调用信息补充、生成与验证工具,以完成不同类型的视频请求。
② 贡献 相较固定工作流,它学习根据提示和中间结果选择工具,覆盖知识、身份、物理与多镜头需求。
③ 边界 【原文局限】组合泛化和工具依赖仍待扩展;
XR 支撑方向:XR-L
共享方法接口:F2
方法、研究建议与证据定位
方法 相较固定工作流,它学习根据提示和中间结果选择工具,覆盖知识、身份、物理与多镜头需求。
既有研究建议 【原文局限】组合泛化和工具依赖仍待扩展;【我的假设→实验】奖励最少但充分的控制信号,比较未见干预任务中的工具花费、后果正确率与内容保持。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / category-aware hybrid reward;PDF p.10 原文局限 / broader compositional generalization
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P20 在统一库中记为 VG20,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG21 · Base paper · Base paper / B1
Training Object Permanence in World Models(WROP)
2026 · Haotian Zhang;Fengyuan Yu;Dezhi Luo;Haoran Sun;Zehong Zhao;Qingying Gao;Yihan Li;Siyuan An;Huayi Qin;Yilan Zhang;Zhengze Jiang;Pinyuan Feng;Renrui Zhang;Ziyu Guo;Letian Wang;Mengyue Yang;Kangfu Mei;Maijunxian Wang;Ran Ji;Vikash Kumar;Freda Shi;Chandra Sripada;Vincent C. Muller;Philip Torr;Alan Yuille;Nikolaus Kriegeskorte;Felix Juefei-Xu;Lvmin Zhang;Jieneng Chen;Yilun Du;Hokin Deng
返回 B1 主题 Overview ↑
① 做了什么 用可参数化 Blender 任务生成大规模对象恒存与实体不可穿透数据,并训练和评测视频续写模型。
② 贡献 相较小规模或依赖 VLM 评分的物理题,它提供可训练的 3D 任务及人评支持的恒存测量。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较小规模或依赖 VLM 评分的物理题,它提供可训练的 3D 任务及人评支持的恒存测量。
既有研究建议 【研究推断】已学恒存不代表能区分“确实移走”与“只是看不见”;可加入迟到证据和对象转移干预,测记忆应保留还是应撤销。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务与数据 / 150 hand-designed;PDF p.2 评测范围 / blind pairwise
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P21 在统一库中记为 VG21,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG22 · Application paper · AIGC / G2
MaLiang-Harness: A Programmable Path to Image and Video Generation
2026 · Haoyu Zhao;Zihao Zhang;Xudong Wang;Jiaxi Gu;Zuxuan Wu;Yu-Gang Jiang;Shuicheng Yan
返回 G2 主题 Overview ↑
① 做了什么 把视觉程序、构建历史和渲染验证绑定到同一修订版本,支持持续检查、修改与恢复。
② 贡献 相较代码能运行就算成功,它专门检查可执行程序是否真的产生符合要求的图像或视频。
③ 边界 【原文局限】照片真实感和停滞的反复修订仍是问题;
XR 支撑方向:XR-S
共享方法接口:F4
方法、研究建议与证据定位
方法 相较代码能运行就算成功,它专门检查可执行程序是否真的产生符合要求的图像或视频。
既有研究建议 【原文局限】照片真实感和停滞的反复修订仍是问题;【我的假设→实验】借用版本对齐与回滚思想,为扩散视频的局部修复记录约束依赖和退化证据。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / common revision reference;PDF p.14 原文局限 / stalled refinement
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P22 在统一库中记为 VG22,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG23 · Method paper · Method paper / M8
From Scores to Samples: Elastic Forcing for Autoregressive Video Generation
2026 · Chi Zhang;Yueyi Liu;Shi Haoyang;Ruichuan An;Haoyu Li;Yuhang Wu;Sen Cui;Miao Liu
返回 M8 主题 Overview ↑
① 做了什么 用冻结视频表征空间中的 MMD 直接匹配参考视频分布,省去在线 teacher 与 fake-score 网络。
② 贡献 相较依赖双评分网络的 DMD,它把少步自回归后训练改为基于样本的分布匹配。
③ 边界 【原文局限】表征会漏掉错误且边缘分布匹配不保证每个条件正确;
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 相较依赖双评分网络的 DMD,它把少步自回归后训练改为基于样本的分布匹配。
既有研究建议 【原文局限】表征会漏掉错误且边缘分布匹配不保证每个条件正确;【我的假设→实验】增加关键事件和条件干预的局部监督,检查短暂但决定结局的动作是否被蒸馏抹掉。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / maximum mean discrepancy;PDF p.24 原文局限 / Matching feature distributions can miss errors
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P23 在统一库中记为 VG23,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG24 · Base paper · Base paper / B1
Scaling Video Generation for Reasoning: At What Cost?
2026 · Weihang Guo;Xiaoyu Wu;Yifei Wang;Niloofar Mireshghallah;Lydia E. Kavraki
返回 B1 主题 Overview ↑
① 做了什么 在有精确隐状态真值的魔方任务中研究视频模型规模、训练计算与状态推理能力的关系。
② 贡献 相较把低生成损失视为强推理,它显示外观拟合与正确跟踪隐状态可显著脱节,符号监督也能带来收益。
③ 边界 【原文局限】证据集中在单一手工状态环境;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较把低生成损失视为强推理,它显示外观拟合与正确跟踪隐状态可显著脱节,符号监督也能带来收益。
既有研究建议 【原文局限】证据集中在单一手工状态环境;【我的假设→实验】用多种 XR 操作机制复现“画面对但状态错”,测试事件状态监督能否跨机制泛化。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务 / Rubik;PDF p.9 原文结论 / handcrafted states for a single environment
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P24 在统一库中记为 VG24,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG25 · Method paper · Method paper / M8
LongLive-Plug: Once-for-All Distillation
2026 · Shuai Yang;Luozhou Wang;Wei Huang;ZhiFei Chen;Bohan Zhang;Xiao Fu;Qianli Ma;Chen-Hsuan Lin;Weian Mao;Bryan Chu;Song Han;Yukang Chen
返回 M8 主题 Overview ↑
① 做了什么 把 CFG、少步采样和长上下文纠错蒸馏为可复用 LoRA,迁移到兼容的下游视频模型。
② 贡献 相较每个任务各蒸馏一次,它在骨干家族内复用加速能力,并保留一定 guidance 调节能力。
③ 边界 【原文局限】要求兼容骨干且存在任务相关取舍;
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 相较每个任务各蒸馏一次,它在骨干家族内复用加速能力,并保留一定 guidance 调节能力。
既有研究建议 【原文局限】要求兼容骨干且存在任务相关取舍;【我的假设→实验】在迁移后的事件编辑模型上测短暂关键事件召回,检验通用加速是否牺牲因果细节。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / reusable capabilities as LoRAs;PDF p.9 原文局限 / Once-for-all reuse requires compatible descendants
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P25 在统一库中记为 VG25,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG26 · Method paper · Method paper / M6
LoopVL: Recurrent Visual Intelligence
2026 · Zhe Qian;Ziyang Gong;Zhongxing Xu;Hehan Li;Zhonghua Wang;Fei Luo;Mingxuan Wang;Xue Yang;Shiwei liu;Yanbiao Ma;Junchi Yan;Jungong Han
返回 M6 主题 Overview ↑
① 做了什么 通过共享模块的 Module-Loop 与 Model-Loop,反复更新统一视觉语言状态以增强推理。
② 贡献 相较只增加不共享的网络深度,它探索用参数复用获得更深的多模态计算与注意力调整。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只增加不共享的网络深度,它探索用参数复用获得更深的多模态计算与注意力调整。
既有研究建议 【研究推断】循环次数和注意力变化不证明证据已充分;可按干预分支的不确定性自适应循环,测试额外计算是否真的找到遗漏的关键观察。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Module-Loop;PDF p.1 任务范围 / multimodal understanding and visual reasoning
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P26 在统一库中记为 VG26,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG27 · Method paper · Method paper / M2
Finetuning with Sampling: SFT Learns Better Than You Think
2026 · Aayush Karan;Sitan Chen;Yilun Du
返回 M2 主题 Overview ↑
① 做了什么 用 MCMC 将专家离策略推理轨迹变得更接近学习者分布,再进行监督微调。
② 贡献 相较直接模仿外部轨迹或只靠在线 RL 探索,它从数据分布适配入手兼顾新能力学习与保持。
③ 边界 【任务边界】实验并未建立视频扩散上的等价结果;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较直接模仿外部轨迹或只靠在线 RL 探索,它从数据分布适配入手兼顾新能力学习与保持。
既有研究建议 【任务边界】实验并未建立视频扩散上的等价结果;【我的假设→实验】改写生成 agent 的工具轨迹且保留因果约束,测少量反事实数据能否更有效被学会。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / off-policy traces;PDF p.1 任务范围 / scientific skill acquisition
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P27 在统一库中记为 VG27,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG28 · Application paper · HCI / H3
RPGAgent: Driving Coherent Story-to-Play Generation with an LLM-Based Multi-Agent System
2026 · Shunan Zhang;Yi Xiao;Ruoxuan Ma;Chi-sing Leung
返回 H3 主题 Overview ↑
① 做了什么 让专门 agent 交换结构化信息,将故事梗概转成叙事、场景与机制相互配合的可玩 RPG。
② 贡献 相较零散生成故事或资产,它面向新手打通从创意到可玩原型的工作流。
③ 边界 【原文局限】18 人研究、有限基线和参与者背景限制归因;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较零散生成故事或资产,它面向新手打通从创意到可玩原型的工作流。
既有研究建议 【原文局限】18 人研究、有限基线和参与者背景限制归因;【我的假设→实验】修改一条玩法规则后局部重生成演示视频,测玩家能否正确理解新机制。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Elemental Tetrad;PDF p.2 原文局限 / 18 participants
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P28 在统一库中记为 VG28,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG29 · Application paper · AIGC / G2
Procedural Generation of Narrative Worlds
2022 · J. Timothy Balint;Rafael Bidarra
返回 G2 主题 Overview ↑
① 做了什么 把故事需要的对象、位置和出现时间整理成 narrative world mold,再生成支持故事的场景。
② 贡献 相较仅凭常见物体共现布置静态场景,它加入跨地点、随剧情变化的对象需求。
③ 边界 【原文局限】知识库语义正确仍可能违背作者意图;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较仅凭常见物体共现布置静态场景,它加入跨地点、随剧情变化的对象需求。
既有研究建议 【原文局限】知识库语义正确仍可能违背作者意图;【我的假设→实验】将对象存在时间与被看见时间分开,在同一故事世界中生成不同揭示版本。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / narrative world mold;PDF p.9 原文局限 / nonsensical to the narrative author
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P29 在统一库中记为 VG29,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG32 · Application paper · AIGC / G3
Controllable Texture Tiling via Diffusion Transformers with Transformed Rotary Embeddings
2026 · Junrong Huang;Zhiyuan Zhang;Rui Tang;Hongbo Fu;Jing Liao
返回 G3 主题 Overview ↑
① 做了什么 用变换后的 rotary embeddings 控制参考纹理的频率、方向与尺度,将图案贴到指定表面。
② 贡献 相较只能语义迁移材质或破坏图案的像素重采样,它解耦空间变换与内容生成以保留纹理结构。
③ 边界 【原文边界】单一仿射变换难覆盖尖锐折面;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只能语义迁移材质或破坏图案的像素重采样,它解耦空间变换与内容生成以保留纹理结构。
既有研究建议 【原文边界】单一仿射变换难覆盖尖锐折面;【我的假设→实验】在 XR 多面物体材质变化后重生成交互视频,检验纹理控制能否跨视角保持而不误改运动。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 控制任务 / frequency, orientation, and scale;PDF p.7 原文局限 / single affine transform cannot
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P32 在统一库中记为 VG32,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG33 · Application paper · AIGC / G2
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
2025 · Peiying Zhang;Nanxuan Zhao;Matthew Fisher;Yiran Xu;Jing Liao;Difan Liu
返回 G2 主题 Overview ↑
① 做了什么 联合生成图像与 SVG token,并在推理时用模型内部视觉预测引导 SVG 解码。
② 贡献 相较只按文本序列写 SVG,它补入解码中的视觉约束,改善语义和几何一致性。
③ 边界 【任务边界】静态矢量图结果不保证视频事件可执行;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只按文本序列写 SVG,它补入解码中的视觉约束,改善语义和几何一致性。
既有研究建议 【任务边界】静态矢量图结果不保证视频事件可执行;【我的假设→实验】借用视觉—结构双表示,为故事事件生成可检查草图,再验证草图修订是否改善视频局部编辑。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / jointly generates image tokens;PDF p.1 任务范围 / SVG decoding
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P33 在统一库中记为 VG33,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG34 · Application paper · AIGC / G3
Identity-Preserving Human Reconstruction from a Single Image via 3D Token Reasoning(IPRM)
未核实 · Anonymous authors(本地稿未披露姓名)
返回 G3 主题 Overview ↑
① 做了什么 将单图人体的可见身份特征锚定到 3D token,仅推断不可见区域并解码成人体表示。
② 贡献 相较主要在二维特征中推理人体,它显式区分已观察身份与待补全部分来改善 3D 一致性。
③ 边界 【原文局限】稀疏体素限制细节;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较主要在二维特征中推理人体,它显式区分已观察身份与待补全部分来改善 3D 一致性。
既有研究建议 【原文局限】稀疏体素限制细节;【我的假设→实验】把已观测/推断标签扩展到视频记忆,新视角出现时只撤销错误补全而保护确认过的身份。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / only unobserved regions;PDF p.9 原文局限 / sparse voxel representation limits
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P34 在统一库中记为 VG34,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG35 · Application paper · AIGC / G3
Learning Stable Canonical Worlds for Novel View Synthesis and Beyond(CanonicalGS)
2026 · Xiaoyu Xu;Jian Zou;Sheyang Tang;Zhihua Wang;Jing Liao;Kede Ma
返回 G3 主题 Overview ↑
① 做了什么 按不确定性融合多视角证据,构建稳定的 canonical 场景表征用于新视角合成和感知。
② 贡献 相较视角依赖预测随更多输入累积冗余噪声,它将证据归并到共享世界坐标并抑制不可靠观测。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较视角依赖预测随更多输入累积冗余噪声,它将证据归并到共享世界坐标并抑制不可靠观测。
既有研究建议 【研究推断】稳定融合不等于能处理世界真的变了;可在 XR 中插入对象移动和矛盾观测,区分应降权的噪声与必须更新的真实状态。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / uncertainty-aware fusion;PDF p.1 任务范围 / stable scene representation
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P35 在统一库中记为 VG35,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG36 · Application paper · AIGC / G3
MeshFlow: Mesh Generation with Equivariant Flow Matching
2026 · Qi Sun;Kiyohiro Nakayama;Jing Nathan Yan;Qixing Huang;Alexander Rush;Leonidas Guibas;Gordon Wetzstein;Jing Liao;Guandao Yang
返回 G3 主题 Overview ↑
① 做了什么 将网格作为 triangle soup,用尊重面和顶点排列对称性的 flow matching 快速生成三角网格。
② 贡献 相较依赖任意序列顺序的网格生成,它把表示的置换结构直接纳入模型与匹配过程。
③ 边界 【原文局限】面数需预设且高分辨率扩展待改进;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较依赖任意序列顺序的网格生成,它把表示的置换结构直接纳入模型与匹配过程。
既有研究建议 【原文局限】面数需预设且高分辨率扩展待改进;【我的假设→实验】局部替换 XR 物体结构后只重生成受影响的交互过程,检验几何改变是否真的改变动作机制。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / equivariant optimal;PDF p.18 原文局限 / predefined face number
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P36 在统一库中记为 VG36,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG38 · Base paper · Base paper / B1
Video-Holmes: Can MLLM Think like Holmes for Complex Video Reasoning?
2025 · Junhao Cheng;Yuying Ge;Teng Wang;Yixiao Ge;Jing Liao;Ying Shan
返回 B1 主题 Overview ↑
① 做了什么 用悬疑短片中的多段线索和事件因果关系构建复杂视频推理问答基准。
② 贡献 相较单个显式线索即可回答的感知题,它要求主动定位、整合跨片段证据。
③ 边界 【任务边界】评的是看完整视频后的回答,未控制生成中的信息释放;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较单个显式线索即可回答的感知题,它要求主动定位、整合跨片段证据。
既有研究建议 【任务边界】评的是看完整视频后的回答,未控制生成中的信息释放;【我的假设→实验】固定真相而改变线索出现顺序,测观众何时足以推断与是否被提前剧透。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务 / 1,837 questions;PDF p.1 跨片段证据 / multiple relevant visual
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P38 在统一库中记为 VG38,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG39 · Application paper · AIGC / G1
X2Video: Adapting Diffusion Models for Multimodal Controllable Neural Video Rendering
2025 · Zhitong Huang;Mohan Zhang;Renhan Wang;Rui Tang;Hao Zhu;Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 结合材质、法线、光照等 intrinsic 通道与局部文本/参考图,实现可控且连贯的视频神经渲染。
② 贡献 相较仅提示控制,它把多种可解释场景属性接入生成器并支持全局与局部控制。
③ 边界 【原文局限】缺少完整 3D 理解时反射会出错;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较仅提示控制,它把多种可解释场景属性接入生成器并支持全局与局部控制。
既有研究建议 【原文局限】缺少完整 3D 理解时反射会出错;【我的假设→实验】物体材质或形状改变后,只更新确受影响的反射和交互,测几何与事件两类依赖。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / intrinsic channels;PDF p.11 原文局限 / lack of complete 3D scene understanding
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P39 在统一库中记为 VG39,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG40 · Application paper · AIGC / G1
EffectMaker: Unifying Reasoning and Generation for Customized Visual Effect Creation
2026 · Shiyuan Yang;Ruihuang Li;Jiale Tao;Shuai Shao;Qinglin Lu;Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 用 MLLM 理解参考特效语义、DiT 提取视觉细节,将参考视频特效迁移到新主体。
② 贡献 相较每个特效分别微调,它通过语义和视觉双路条件支持参考驱动的定制与泛化。
③ 边界 【原文局限】复杂重叠特效等场景仍具挑战;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较每个特效分别微调,它通过语义和视觉双路条件支持参考驱动的定制与泛化。
既有研究建议 【原文局限】复杂重叠特效等场景仍具挑战;【我的假设→实验】修改特效触发条件而保持主体行为,测试模型是否只改对应事件及其后果。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.2 方法 / semantic-visual dualpath;PDF p.8 原文局限 / multiple overlapping effects
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P40 在统一库中记为 VG40,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG41 · Application paper · AIGC / G1
FlexTraj: Image-to-Video Generation with Flexible Point Trajectory Control
2025 · Zhiyuan Zhang;Can Wang;Dongdong Chen;Jing Liao
返回 G1 主题 Overview ↑
① 做了什么 用统一点轨迹表示和退火训练,支持稀疏、稠密、时间不完整及未严格对齐的运动条件。
② 贡献 相较要求固定密度或严格对齐的轨迹控制,它让不同粒度的轨迹能被同一视频模型执行。
③ 边界 【任务边界】能跟随轨迹不代表会推断该选哪些轨迹;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较要求固定密度或严格对齐的轨迹控制,它让不同粒度的轨迹能被同一视频模型执行。
既有研究建议 【任务边界】能跟随轨迹不代表会推断该选哪些轨迹;【我的假设→实验】让 agent 在预算内主动选择少量决定事件结果的点,绘制控制成本—因果正确率曲线。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.2 方法 / annealing training strategy;PDF p.2 控制范围 / alignment-agnostic
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P41 在统一库中记为 VG41,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG42 · Base paper · Base paper / B3
Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond
2026 · Meng Chu;Xuan Billy Zhang;Kevin Qinghong Lin;Lingdong Kong;Jize Zhang;Teng Tu;Weijian Ma;Ziqi Huang;Senqiao Yang;Wei Huang;Yeying Jin;Zhefan Rao;Jinhui Ye;Xinyu Lin;Xichen Zhang;Qisheng Hu;Shuai Yang;Leyang Shen;Wei Chow;Yifei Dong;Fengyi Wu;Quanyu Long;Bin Xia;Shaozuo Yu;Mingkang Zhu;Wenhu Zhang;Jiehui Huang;Haokun Gui;Runyi Li;Chenyu Tang;Dong Huang;Xuhang Chen;Rui Liu;Chengzu Li;Shiyi Du;Xu Huang;Haoxuan Che;Long Chen;Qifeng Chen;Wenya Wang;Wenxuan Zhang;Xiaojuan Qi;Yang Deng;Yanwei Li;Mike Zheng Shou;Zhi-Qi Cheng;See-Kiong Ng;Ziwei Liu;Philip Torr;Jiaya Jia
返回 B3 主题 Overview ↑
① 做了什么 以 Predictor、Simulator、Evolver 三层能力及物理、数字、社会、科学规律组织世界模型研究。
② 贡献 相较不同社区各用一套世界模型定义,它把预测、长程模拟与新证据驱动的模型修订明确分开。
③ 边界 【证据边界】分类是综述框架,不是能力已实现的证明;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较不同社区各用一套世界模型定义,它把预测、长程模拟与新证据驱动的模型修订明确分开。
既有研究建议 【证据边界】分类是综述框架,不是能力已实现的证明;【我的假设→实验】将“外来证据推翻旧预测”落实为视频记忆更新测试,避免只宣称系统会演化。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 综述框架 / three capability levels;PDF p.1 证据定位 / early-access preprint
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P42 在统一库中记为 VG42,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG44 · Base paper · Base paper / B3
Efficient Diffusion Language Models: A Comprehensive Survey
2026 · Haokun Lin;Xinle Jia;Shaozhen Liu;Shujun Xia;Weitao Huang;Haobo Xu;Junyang Li;Yicheng Xiao;Xingrun Xing;Ziyu Guo;Renrui Zhang;Qi Li;Yichen Wu;Renzhen Wang;Xiaojuan Qi;Caifeng Shan;Hongsheng Li;Zhenan Sun
返回 B3 主题 Overview ↑
① 做了什么 从训练、推理、上下文、框架与多模态梳理扩散语言模型的效率方法。
② 贡献 相较只比较解码步数,它讨论并行更新、缓存和部署的整体吞吐—质量取舍。
③ 边界 【证据边界】离散文本扩散结论不能直接搬到连续视频流;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只比较解码步数,它讨论并行更新、缓存和部署的整体吞吐—质量取舍。
既有研究建议 【证据边界】离散文本扩散结论不能直接搬到连续视频流;【我的假设→实验】分别定义视频外层事件决策与内层去噪策略,再测各自的探索成本。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 综述框架 / five categories;PDF p.1 任务范围 / partially masked sequences
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P44 在统一库中记为 VG44,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG45 · Method paper · Method paper / M8
Generalized Kullback-Leibler Divergence Loss
2025 · Jiequan Cui;Beier Zhu;Qingshan Xu;Zhuotao Tian;Xiaojuan Qi;Bei Yu;Hanwang Zhang;Richang Hong
返回 M8 主题 Overview ↑
① 做了什么 分解 KL 损失并改造优化不对称性、引入类别全局信息,提出 GKL 用于蒸馏与鲁棒训练。
② 贡献 相较直接使用逐样本 KL,它从损失结构解释并缓解教师分数造成的优化偏差。
③ 边界 【任务边界】分类与视觉语言蒸馏证据不等于视频多目标 RL 稳定性;
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 相较直接使用逐样本 KL,它从损失结构解释并缓解教师分数造成的优化偏差。
既有研究建议 【任务边界】分类与视觉语言蒸馏证据不等于视频多目标 RL 稳定性;【我的假设→实验】先在事件分类奖励上比较梯度冲突,再决定是否迁移到生成优化。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / weighted Mean Square Error;PDF p.1 实证范围 / adversarial training and knowledge distillation
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P45 在统一库中记为 VG45,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG47 · Base paper · Base paper / B1
Easier Painting Than Thinking: Can Text-to-Image Models Set the Stage, but Not Direct the Play?(T2I-CoReBench)
2025 · Ouxiang Li;Yuan Wang;Xinting Hu;Huijuan Huang;Rui Chen;Jiarong Ou;Xin Tao;Pengfei Wan;Xiaojuan Qi;Fuli Feng
返回 B1 主题 Overview ↑
① 做了什么 用高密度构图和演绎、归纳、溯因任务评测图像模型,并逐项检查隐含要求。
② 贡献 相较低密度、简单一对一推理测试,它分开诊断“画出指定元素”与“推断未明说元素”。
③ 边界 【任务边界】静态图像 checklist 尚不测事件传播;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较低密度、简单一对一推理测试,它分开诊断“画出指定元素”与“推断未明说元素”。
既有研究建议 【任务边界】静态图像 checklist 尚不测事件传播;【我的假设→实验】把隐含要求改成有时间和依赖关系的视频约束,检验补全是否执行且不越界。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务 / 12-dimensional;PDF p.2 评测 / yes/no questions
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P47 在统一库中记为 VG47,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG48 · Method paper · Method paper / M2
QeRL: Quantization-Enhanced Low-Rank Reinforcement Learning for LLMs
2025 · Wei Huang;Yi Ge;Shuai Yang;Yicheng Xiao;Huizi Mao;Yujun Lin;Hanrong Ye;Sifei Liu;Ka Chun Cheung;Hongxu Yin;Yao Lu;Xiaojuan Qi;Song Han;Yukang Chen
返回 M2 主题 Overview ↑
① 做了什么 结合 NVFP4、LoRA 和自适应量化噪声,加速语言模型 RL rollout 并改善探索。
② 贡献 相较仅将量化当压缩,它实证研究量化噪声对策略熵与训练表现的作用。
③ 边界 【原文局限】评测集中于语言推理且训练仍昂贵;
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F2
方法、研究建议与证据定位
方法 相较仅将量化当压缩,它实证研究量化噪声对策略熵与训练表现的作用。
既有研究建议 【原文局限】评测集中于语言推理且训练仍昂贵;【我的假设→实验】在视频 agent 与连续去噪两层分别测噪声是否产生有意义的事件分支,不能直接把画面噪声算探索。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Adaptive Quantization Noise;PDF p.24 原文局限 / did not extend our evaluations
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P48 在统一库中记为 VG48,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG49 · Base paper · Base paper / B1
Is This Edit Correct? A Multi-Dimensional Benchmark for Reasoning-Aware Image Editing(RE-Edit)
2026 · Yixuan Ding;Wei Huang;Ruijie Quan;Xiaojuan Qi;Yi Yang
返回 B1 主题 Overview ↑
① 做了什么 从物理、环境、文化、因果与指代五维评测图像编辑,并探索轻量推理后编辑。
② 贡献 相较只看视觉质量或字面指令,它检查改一处后隐含上下文约束是否仍成立。
③ 边界 【任务边界】图像编辑不包含延迟后果与长程记忆;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只看视觉质量或字面指令,它检查改一处后隐含上下文约束是否仍成立。
既有研究建议 【任务边界】图像编辑不包含延迟后果与长程记忆;【我的假设→实验】扩成视频成对任务,同时标注目标修改、应传播后果和不能改变的内容。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 任务 / five complementary reasoning dimensions;PDF p.1 方法边界 / post-edit baseline
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P49 在统一库中记为 VG49,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG51 · Method paper · Method paper / M4
Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models(Event-MLLM)
2026 · Baoheng Zhang;Jiahui Liu;Gui Zhao;Weizhou Zhang;Yixuan Ma;Jun Jiang;Yingxian Chen;Wilton W. T. Fok;Xiaojuan Qi;Hayden Kwok-Hay So
返回 M4 主题 Overview ↑
① 做了什么 按光照退化程度融合事件相机与 RGB,并将融合特征对齐到正常光照语义以恢复感知。
② 贡献 相较只依赖过曝或欠曝 RGB,它用另一种传感证据弥补丢失的结构信息。
③ 边界 【原文局限】依赖事件数据且稀疏/间断事件仍待研究;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较只依赖过曝或欠曝 RGB,它用另一种传感证据弥补丢失的结构信息。
既有研究建议 【原文局限】依赖事件数据且稀疏/间断事件仍待研究;【我的假设→实验】当 XR 操作线索不可见时按需获取传感证据,再修正视频预测中的错误动作假设。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Illumination Indicator;PDF p.8 原文局限 / sparse or intermittently available
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P51 在统一库中记为 VG51,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG52 · Method paper · Method paper / M8
LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation
2026 · Yukang Chen;Luozhou Wang;Wei Huang;Shuai Yang;Bohan Zhang;Yicheng Xiao;Ruihang Chu;Weian Mao;Qixin Hu;Shaoteng Liu;Yuyang Zhao;Huizi Mao;Ying-Cong Chen;Enze Xie;Xiaojuan Qi;Song Han
返回 M8 主题 Overview ↑
① 做了什么 联合序列并行训练、NVFP4 推理与 KV 缓存量化、异步 VAE 解码,提高长视频全流程效率。
② 贡献 相较只减少采样步数,它同时处理训练布局、推理计算、通信与解码瓶颈。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 相较只减少采样步数,它同时处理训练布局、推理计算、通信与解码瓶颈。
既有研究建议 【研究推断】通用画质保持不保证关键瞬间的状态精度;可逐层量化消融,测接触/释放事件召回、在线延迟和纠错所需额外 rollout。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Balanced SP;PDF p.1 效率机制 / asynchronous streaming VAE decoding
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P52 在统一库中记为 VG52,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG53 · Application paper · AIGC / G3
Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene Reconstruction
2026 · Yang-Tian Sun;Tianjia Liu;Zehuan Huang;Yi-Hua Huang;Xiaoyang Lyu;Ziyi Yang;Zi-Xin Zou;Yuan-Chen Guo;Yan-Pei Cao;Xiaojuan Qi
返回 G3 主题 Overview ↑
① 做了什么 联合生成物体几何与 canonical coordinate map,再以稠密对应恢复单图场景中的对象布局。
② 贡献 相较难学习的稀疏位姿回归,它以有界像素对应表征连接对象几何和场景摆放。
③ 边界 【原文局限】依赖几何估计且单物体生成质量受数据量限制;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较难学习的稀疏位姿回归,它以有界像素对应表征连接对象几何和场景摆放。
既有研究建议 【原文局限】依赖几何估计且单物体生成质量受数据量限制;【我的假设→实验】新视角否定初始布局时只更新相关对象状态,检验后续交互视频是否随之纠正。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Canonical Coordinate Map;PDF p.31 原文局限 / self-intersections may appear
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P53 在统一库中记为 VG53,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG54 · Method paper · Method paper / M2
MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO
2025 · Yicheng Xiao;Lin Song;Yukang Chen;Yingmin Luo;Yuxin Chen;Yukang Gan;Wei Huang;Xiu Li;Xiaojuan Qi;Ying Shan
返回 M2 主题 Overview ↑
① 做了什么 用统一多模态架构、CoT 监督和 RGPO,把显式推理融入理解与图像生成。
② 贡献 相较固定文本编码器或隐式语义映射,它支持多模态输入并用反馈优化需要推理的生成任务。
③ 边界 【任务边界】图像生成收益未建立视频时间因果保证;
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F2
方法、研究建议与证据定位
方法 相较固定文本编码器或隐式语义映射,它支持多模态输入并用反馈优化需要推理的生成任务。
既有研究建议 【任务边界】图像生成收益未建立视频时间因果保证;【我的假设→实验】分开给计划正确、视频执行正确和内容保持分配奖励,测错因归属与多目标冲突。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.2 方法 / Reasoning Generation Policy Optimization;PDF p.2 任务范围 / text-to-image systems
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P54 在统一库中记为 VG54,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG55 · Method paper · Method paper / M2
Scaling RL to Long Videos(LongVILA-R1 / MR-SP)
2025 · Yukang Chen;Wei Huang;Baifeng Shi;Qinghao Hu;Hanrong Ye;Ligeng Zhu;Zhijian Liu;Pavlo Molchanov;Jan Kautz;Xiaojuan Qi;Sifei Liu;Hongxu Yin;Yao Lu;Song Han
返回 M2 主题 Overview ↑
① 做了什么 结合长视频问答数据、CoT-SFT、RL 与序列并行及视觉特征缓存,扩展长视频理解训练。
② 贡献 相较短视频或昂贵重复预填,它使长输入推理的 RL rollout 更可行。
③ 边界 【任务边界】主体实验是视频理解,不能据此认定生成长视频 rollout 同样便宜;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较短视频或昂贵重复预填,它使长输入推理的 RL rollout 更可行。
既有研究建议 【任务边界】主体实验是视频理解,不能据此认定生成长视频 rollout 同样便宜;【我的假设→实验】先复用缓存训练长时域 verifier,再测关键事件采样的漏检率。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Multi-modal Reinforcement Sequence Parallelism;PDF p.1 任务范围 / long video QA pairs
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P55 在统一库中记为 VG55,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG56 · Method paper · Method paper / M7
UniTok: A Unified Tokenizer for Visual Generation and Understanding
2025 · Chuofan Ma;Yi Jiang;Junfeng Wu;Jihan Yang;Xin Yu;Zehuan Yuan;Bingyue Peng;Xiaojuan Qi
返回 M7 主题 Overview ↑
① 做了什么 用多码本量化扩展离散 token 容量,同时承载视觉重建和语义理解。
② 贡献 相较将两种训练目标冲突视为必然,它显示表示瓶颈是统一 tokenizer 的重要障碍。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较将两种训练目标冲突视为必然,它显示表示瓶颈是统一 tokenizer 的重要障碍。
既有研究建议 【研究推断】静态语义和重建都好仍可能丢失短暂状态变化;可构建事件敏感 tokenizer,测低码率下关键动作和后续因果判断是否保留。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / multi-codebook quantization;PDF p.1 机制论点 / limited representational capacity
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P56 在统一库中记为 VG56,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG57 · Method paper · Method paper / M7
VFMTok:Vision Foundation Models as Effective Visual Tokenizers / as Generalist Tokenizers
2025 · Anlin Zheng;Xin Wen;Xuanyang Zhang;Chuofan Ma;Tiancai Wang;Gang Yu;Xiangyu Zhang;Xiaojuan Qi
返回 M7 主题 Overview ↑
① 做了什么 基于冻结视觉基础模型,用区域自适应量化和语义重建构建高效 tokenizer,Generalist 稿还覆盖连续潜空间。
② 贡献 相较从零训练且冗余的重建 tokenizer,它复用语义先验以提高 token 效率和生成收敛速度。
③ 边界 【任务边界】主要是图像证据,两个文件为同一方法的不同稿本;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较从零训练且冗余的重建 tokenizer,它复用语义先验以提高 token 效率和生成收敛速度。
既有研究建议 【任务边界】主要是图像证据,两个文件为同一方法的不同稿本;【我的假设→实验】在视频中测语义压缩会否抹去短暂但关键的开锁/接触事件。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / region-adaptive quantization;PDF p.1 任务范围 / image tokenizer
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P57 在统一库中记为 VG57,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG58 · Method paper · Method paper / M2
ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning
2026 · Zuhao Yang;Kaichen Zhang;Sudong Wang;Keming Wu;Zhongyu Yang;Bo Li;Xiaojuan Qi;Shijian Lu;Xingxuan Li;Lidong Bing
返回 M2 主题 Overview ↑
① 做了什么 并行调用视频裁剪工具,并以结构 token 格式奖励及帧预算随机化训练 PARA-GRPO。
② 贡献 相较串行裁剪的错误累积和成本,它研究工具先验如何同时帮助探索与诱发格式崩溃或跳工具捷径。
③ 边界 【任务边界】证据来自理解工具而非生成控制;
XR 支撑方向:XR-L
共享方法接口:F1 F2
方法、研究建议与证据定位
方法 相较串行裁剪的错误累积和成本,它研究工具先验如何同时帮助探索与诱发格式崩溃或跳工具捷径。
既有研究建议 【任务边界】证据来自理解工具而非生成控制;【我的假设→实验】让生成 agent 选择证据/控制信号,既惩罚无效调用又避免“永不调用”奖励捷径。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / Tool Prior Paradox;PDF p.1 局部奖励 / structural-token positions
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P58 在统一库中记为 VG58,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG59 · Application paper · AIGC / G1
S2VG: 3D Stereoscopic and Spatial Video Generation via Denoising Frame Matrix
2025 · Peng Dai;Feitong Tan;Qiangeng Xu;Yihua Huang;David Futschik;Ruofei Du;Sean Fanello;Yinda Zhang;Xiaojuan Qi
返回 G1 主题 Overview ↑
① 做了什么 将单目视频按估计深度重投影,用跨视角—时间的 frame matrix 补全生成双目或空间视频。
② 贡献 相较分别补洞或逐视角生成,它利用现成视频先验联合维持时间与多视角一致性,无需额外训练。
③ 边界 【原文局限】高分辨率迭代成本仍高;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较分别补洞或逐视角生成,它利用现成视频先验联合维持时间与多视角一致性,无需额外训练。
既有研究建议 【原文局限】高分辨率迭代成本仍高;【我的假设→实验】当某个视角揭示原补全错误时,检验局部跨视角重生成能否修正所有受影响视图。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / frame matrix inpainting;PDF p.15 原文局限 / coarse-to-fine schedule
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P59 在统一库中记为 VG59,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG61 · Method paper · Method paper / M2
Understanding Data Influence in Reinforcement Finetuning(RFT-Inf)
2025 · Haoru Tan;Xiuzhe Wu;Sitong Wu;Shaofeng Zhang;Yanfeng Chen;Xingwu Sun;Jeanne Shen;Xiaojuan Qi
返回 M2 主题 Overview ↑
① 做了什么 通过优化轨迹的一阶近似估计训练样本对最终奖励的影响,用于强化微调数据选择。
② 贡献 相较只按难度或奖励筛数据,它以样本梯度与总体更新方向的关系估计训练价值。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:XR-L
共享方法接口:F2
方法、研究建议与证据定位
方法 相较只按难度或奖励筛数据,它以样本梯度与总体更新方向的关系估计训练价值。
既有研究建议 【研究推断】对当前奖励有用不等于对未见机制有用;可让出题 agent 按留出干预泛化收益选数据,比较随机、最难样本和影响分数策略。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / first-order approximation;PDF p.1 度量 / final training reward
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P61 在统一库中记为 VG61,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG62 · Method paper · Method paper / M8
Veda: Scalable Video Diffusion via Distilled Sparse Attention
2026 · Shihao Han;Hao Yang;Xinting Hu;Xiaofeng Mei;Yi Jiang;Xiaojuan Qi
返回 M8 主题 Overview ↑
① 做了什么 把稀疏注意力 tile 选择当成全注意力重建问题,用统计与 head 感知评分配合高效 kernel 加速视频生成。
② 贡献 相较只提高稀疏率,它强调稀疏模式是否保留原注意力结构决定质量与实际加速。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 相较只提高稀疏率,它强调稀疏模式是否保留原注意力结构决定质量与实际加速。
既有研究建议 【研究推断】注意力重建好不保证因果关键瞬间被保留;可按干预敏感度保护少量关键时空 tile,测关键事件正确率与真实运行时。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / tilewise geometry;PDF p.1 加速机制 / tile-skipping kernel
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P62 在统一库中记为 VG62,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG65 · Base paper · Base paper / B3
Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling
2026 · Keming Wu;Zuhao Yang;Kaichen Zhang;Shizun Wang;Haowei Zhu;Sicong Leng;Zhongyu Yang;Qijie Wang;Sudong Wang;Ziting Wang;Zili Wang;Hui Zhang;Haonan Wang;Hang Zhou;Yifan Pu;Xingxuan Li;Fangneng Zhan;Bo Li;Lidong Bing;Yuxin Song;Ziwei Liu;Wenhu Chen;Jingdong Wang;Xinchao Wang;Xiaojuan Qi;Shijian Lu;Bin Wang
返回 B3 主题 Overview ↑
① 做了什么 以五层能力图谱梳理从单次视觉生成到可控、agentic 和因果世界建模的演进,并分析压力测试。
② 贡献 相较仅按模型架构或画质组织工作,它把结构、状态、交互与因果能力作为研究定位轴。
③ 边界 【证据边界】层级是路线图而非普遍成立的升级规律;
XR 支撑方向:未列入四方向核心支撑链
方法、研究建议与证据定位
方法 相较仅按模型架构或画质组织工作,它把结构、状态、交互与因果能力作为研究定位轴。
既有研究建议 【证据边界】层级是路线图而非普遍成立的升级规律;【我的假设→实验】分别量化补全、传播和保持,验证 agent 化是否真的改善目标能力。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 综述框架 / five-level taxonomy;PDF p.1 证据定位 / evolving roadmap
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P65 在统一库中记为 VG65,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG67 · Method paper · Method paper / M8
AnyStep-WAM: Budget-Aligned Distillation and Adaptive Inference for World Action Models
2026 · Rui Wang;Xiangyu Wang;Donglin Yang;Yibo Li;Canyang Chen;Zhongrui Wang;Xiaojuan Qi
返回 M8 主题 Overview ↑
① 做了什么 以冻结教师轨迹蒸馏可变步数模型,再用风险—收益调度器按场景选择动作生成预算。
② 贡献 相较固定步数加速,它已针对不同动作的误差敏感性自适应分配计算。
③ 边界 原速览的边界与研究建议见下方;建议并非原文实证结论。
XR 支撑方向:未列入四方向核心支撑链
共享方法接口:F5
方法、研究建议与证据定位
方法 相较固定步数加速,它已针对不同动作的误差敏感性自适应分配计算。
既有研究建议 【研究推断】教师曲率与保真度只是风险代理,未专测叙事关键瞬间;可加入“短暂事件改变后续结局”的监督,检验重要性是否超出教师误差。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / riskbenefit scheduler;PDF p.1 风险代理 / teacher-curvature-based difficulty
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P67 在统一库中记为 VG67,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗
VG68 · Method paper · Method paper / M4
Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation
2026 · Kaichen Zhang;Wei Huang;Keming Wu;Bo Li;Xiaojuan Qi
返回 M4 主题 Overview ↑
① 做了什么 将视频、音频输入与文字/静默输出对齐到时间网格,使模型能持续接收观察并决定何时回应。
② 贡献 相较轮流预填—解码或微轮询,它以双工架构联合学习回应内容和时机。
③ 边界 【任务边界】流式输出主要是语言,不能等同于可中断的视频生成;
XR 支撑方向:XR-S
方法、研究建议与证据定位
方法 相较轮流预填—解码或微轮询,它以双工架构联合学习回应内容和时机。
既有研究建议 【任务边界】流式输出主要是语言,不能等同于可中断的视频生成;【我的假设→实验】将时间对齐与提交边界用于视频块,测新观察打断旧计划的反应时间。
结果记录 结果和适用范围见原速览证据,不新增未经复核的数值。
证据定位 PDF p.1 方法 / lexical token or a silence token;PDF p.1 任务边界 / textual output
沿用原速览已有逐页证据;本轮重组支撑关系,未重新全文核验全部结论 原报告 P68 在统一库中记为 VG68,避免与全库 Pxxx 编号混淆。
打开论文公开页面 ↗