AI天生的视频，到底是实现了工作，还是在自娱自乐？

这听起来有点怪诞，但这刚好是当下视频天生模型最容易踩的坑。它实现了"乌龟"这个了局,却抛弃了"纸币"这个前提。工作看似达成了，但它跟你给的那张照片，已经没有任何干系了。 这就是中国科学技术大学结合FrameX.AI等机构的钻研者们，在一篇名为《SemComp-Bench》的论文里想要揪出来的问题。他们发现，此刻评价AI天生视频好不好，各人关注的都是画面清不清澈、作为连不连贯、这个物体像不像那个物体，却很少有人问一个更底子的问题：这段视频，到底有没有实现工作？实现工作的同时，有没有骗一下你的眼睛，用一个绝不有关的器材代替掉你给它的参考对象？ 从前几年,视频天生模型突飞猛进,Sora、Veo、Kling这些名字你可能都听过,它们天生的视频已经能做到画面精彩、活动流畅、甚至能理解复杂的文字指令。学术圈用来评价这些模型的工具也越来越成熟，好比VBench、EvalCrafter这类基准测试，它们衡量的是画面质量、功夫上的连贯性、指令有没有被听懂。 它们险些都在测试"过程"，却没有真正测试"了局"；痪浠八,若是你让AI天生"给这幼我化个万圣节骷髅妆"的视频，现有的评价系统可能会关注这幼我的脸有没有变形、化妆的手法作为是否流畅，但很少有人真正去核验：视频最后那一帧，这幼我脸上到底有没有出现骷髅妆？若是化妆化到一半忽然换了个齐全不意识的人的脸，这算不算实现工作？ 它要求天生的视频同时满足两件事：了局然的达成了，并且这个了局和你提供的参考图片之间，维持着"语义层面"上说得通的关系。 > 语义工作实现：一种以了局为导向的视频天生工作范式,强调最终状态是否达成指标,以及这个最终状态是否和参考图片存在合理的高层语义对应关系,而不要求过程齐全或者画面像素级一致。 这里有个细节值得斟酌:论文出格强调,评价只看"了局",不要求"齐全的中央过程"。这意味着若是你让AI天生"把生鸡蛋煎成煎蛋"的视频，你不必要它把打蛋、倒油、翻面这些步骤都拍出来，哪怕直接给你一个已经煎好的蛋，只有这个蛋在语义上能对应上你最初那颗生鸡蛋（好比蛋壳斑纹之类的细节其实是能够忽略的，但"这的确是鸡蛋造成的煎蛋"这个逻辑必须成立），那就算通过。 这个设定听起来有点反直觉。我们平时评价一段"教程类"视频,总感触步骤越齐全越好。但钻研者的思路刚好相反,他们以为:**过程不沉要,沉要的是这个视频有没有骗你**。它给你看了一个折纸乌龟,这只乌龟到底是从你那张纸币变出来的,还是它吐妨直接找了张乌龟的照片糊弄从前。 设想一下你去工厂验收一批定造家具。你不必要盯着工人重新到尾锯木头、上漆、组装的每一个作为，你只必要打开最后送来的制品，查抄一下:这真的是我下单的那种木材做的桌子吗，还是他们轻易找了个类似的桌子糊弄我。若是厂家换了资料却通知你"归正看起来差不多"，这批货是不合格的,即便中央的出产流程录像看起来无比专业流畅。视频天生模型此刻最大的问题,就是好多时辰它给你交了一张"看起来差不多"的制品,却偷偷换了资料。 要检验AI是不是在"移花接木",首先得有一套靠谱的测试题。钻研者们没有选择自己假造工作场景,而是走了一条更聪明的路：从真实世界的视坡凤"抠"出天然配对的标题。 > Koala-36M：一个大规模的真实场景视频数据集,收录了大量涵盖分歧主题的齐全视频内容,常用于视频天生和视坡讽解有关钻研的数据起源。 钻研者的思路是这样的：既然现实中已经有大量纪录"从A造成B"的齐全过程的视频（好比某人拍了个齐全的钩织毛线帽子的教程），那为什么不直接从这些真实视坡凤，截取"起点画面"和"了局片段"，把它们打包成一个天然真实、工作肯定可行的测试题呢？ 这么做的益处不言而喻。若是工作是人为编出来的,你很难保障这个工作真的能实现,万一"把石头造成金子"这种底子不成能实现的工作混进了测试集,那测试了局就毫无意思。但若是这个工作正本就是真人拍出来实现的,那至少能证明:这事儿是能干成的，并且干成之后长什么样,是有真实参照的。 第一阶段叫候选筛选。团队吓酌标题里的关键词（好比"访谈""新闻""幕后花絮"这些词）把那些高度依赖旁白解说、无法单靠画面判断内容的视频筛掉，由于这类视频没法子只靠"看"来验证工作有没有实现。剩下的视频会被抽帧拼成一张"缩略概览图",交给一个视觉说话模型分类,归到六个大领域里去，好比"手工与精密造作""美妆时尚""美食烹饪""园艺宠物""艺术与精密工艺""活动健身"。 > 视觉说话模型(VLM)：一类能同时理解图像和文字的人为智能模型,能够看懂图片内容并用天然说话描述、回覆关于图片的问题,论文中用它来做视频内容的自动化分类和质量判断。 第二阶段是状态挖掘。团队先针对每个具体工作类别（好比"组装耳机""美容工具清洁"），人为界说好什么样的画面算是"起点状态"，什么样的画面算是"实现状态"。接着让VLM在齐全视坡凤定位出切合这两种状态界说的功夫点，抽出对应的画面。为了预防VLM找错,还设计了一路"质检"法式：把两张没有标注的候选帧混在一路,再让VLM单独判断哪张是"实现态"，若是它猜错了，注明这两帧的对应关系自身就存在歧义，这组数据直接被抛掉。 第三阶段是视频延展。有了确定的"了局时刻"之后,系统会萦绕这个时刻,截取一幼段视频片段，让它有约莫3到4秒的时长，既能看明显"了局状态"，又不会拖进太多无关内容。 第四阶段是指令结构化,团队让VLM为每个样本天生两版指令：一版是简短版（不超过30个单词，遵循"动词+参考图主体+介词+了局状态"这样的固定模板），一版是具体版（蕴含布景、光线、色彩、状态等更细的信息）。 这一步之所以沉要,是由于钻研者在预尝试里发现一个有趣的景象。若是直接让VLM看着两张图（起点和了局）轻易写指令,它经；嵝闯鲆欢衙挥玫南附，好比提到画面里出现的品牌logo、屏幕上的文字水印之类的"噪音信息"，这些跟工作自身没什么关系,却会滋扰后续的评价。所以他们专门约束VLM,只提炼出工作的主题作为关系。 除了写指令,这一步还要做一件很关键的事:判断"哪些属性必须保留，哪些能够轻易扭转"。由于分歧类型的工作，必要保留的沉点是不一样的。 > 对齐类型(Alignment Type)：论文界说的四种语义关联方式，别离是物体元素(关注物体种类、材质、数量等)、人物身份(关注统一幼我的脸和身段特点要维持一致)、物体表观(关注某个特定物体事俘的具体样貌，好比色彩斑纹)、场景(关注空间布局和布景关系)。 举个例子来注明为什么要分辨这四种类型。若是工作是"给统一幼我化个万圣节妆",那这幼我的脸和身份必须维持一致,不能化完妆之后造成另一幼我,这属于"人物身份"这一类；但若是工作是"把设计图纸造成现实盖好的屋子",这时辰你要盯着的沉点是空间布局和结构对不合得上,而不是要求砖头的具体色彩纹理跟图纸上画的如出一辙，这属于"场景"这一类。 若是你不分辨这些类型,抽象地要求所有画面元素都一比一还原参考图,会出什么问题？好多工作会被误判为失败。好比"把生鸡蛋煎成煎蛋"这个工作，生鸡蛋是圆的、亮晶晶的，煎蛋是扁的、色彩发白发黄，状态彻底变了，但这变动自身就是工作要求的一部门。若是强行要求表观一致,那所有"状态转变类"的工作全都无法通过测试，这套评价系统也就失去了意思。 最终，团队从约莫2万个原始视坡凤，处置出了1273条这样的尺度化测试样本，并进一步挑出了一个蕴含60条样本、六大领域各占10条的幼规模平衡子集，叫做SemComp-Core，用作后续尝试的主战场。 有了测试题，还得有靠谱的判卷人。这篇论文选择持续用视觉说话模型来当裁判，但他们没有单一粗鲁地让VLM打个分数，而是设计了一整套结构化的"长短题"，逼着裁判把判断根听说明显。 第一路题叫了局实现,问的是：视坡凤到底有没有出现指令要求的那个了局，哪怕只是粗粒度的、或许对上就行,先不论细节像不像参考图。 第二路题叫语义关联,问的是：这个已经实现的了局，跟参考图片、跟指令里说的具体要求，对不合得上号，蕴含物体种类、表观、材质、结构、数量这些细节。 第三路题叫关键实体一致性,它查抄视频重新到尾,那些工作有关的关键物体某人物,有没有莫名其妙地隐没、被代替，或者偷偷换了材质、表观、身份。 这四路题必须全数通过,能力给这条样本记一分。这是个"一票否决"的严格尺度，哪怕前两路都答对了,只有人物脑壳忽然换了幼我,或者画面莫名其妙从室内跳到了室表,这条样本照样算失败。 设想你在验收一份合同翻译。你可能会说"这份翻译大意上翻对了、用词也很正确"，但若是这份合同里有一整段莫名其妙缺失或者张冠李戴地插入了此外内容，你还会说这是一份合格的翻译吗？显然不会。任何一个环节出问题,整份文件的可信度城市崩掉。视频天生同理,哪怕前三项都做得美丽,只有画面里出现一次角色偷换,这段视频的"实现度"就应该被判定为不合格,由于它已经不能被信赖了。 再来看天生靠得住性,这个维度关注的齐满是另一件事：不论工作有没有实现，画面自身是不是"物理上说得通"、"看起来干净"。它有五路题：物理合理性(有没有显著违反物理学问的画面,好比器材悬空飘着)、视觉清澈度(画面是否吞吐、曝光是否异常)、无伪影渲染(有没有出现莫名其妙的噪点、色块、空缺区域)、场内时空连贯性(统一场景内有没有闪动、部门变形、瞬间沉影)、文字与界面齐全性(画面里出现的文字、图标是否清澈可辨)。 这套系统设计得很奇妙的一点在于，它把"工作有没有实现"和"画面质量好不好"这两件事彻底拆开来评价。你能够设想一个学生考试,一份卷子既要考"答案对不合"，也要单独考"字写得工整不工整"，两者互不滋扰,但都要单独给分。这样能力诊断出模型到底是哪个环节出了问题：是压根没理解工作要求，还是理解对了但画面渲染出了岔子。 理论说完了,该看真实成就单了。钻研者拿这套评价系统测试了七个拥有代表性的视频天生模型，蕴含字节跳动的Seedance 2.0、阿里的Wan2.2系列（TI2V-5B和I2V-A14B两个版本）、CogVideoX1.5、SkyReels-V2、腾讯的HunyuanVideo-1.5，以及Phantom-1.3B。 这张表最刺眼的数字是最后一列。阐发最好的HunyuanVideo-1.5，综合达标率也只有37.8%,也就是说，即就是当下最强的模型之一,十条工作里也只有不到四条能做到"了局然的实现了、跟参考图对得上、过程中没有实体乱跑、画面没有忽然切场景"这四件事同时成立。 更有意思的是模型之间的"脾气差距"。Seedance 2.0在"了局实现"和"语义关联"这两项上阐发很强,单看这两个数字它险些是全场最佳，但由于"实体一致性"和"视觉连贯性"这两项拖了后腿，综合分反而只排在中游。反过来，Wan2.2-TI2V-5B在"实体一致性"和"视觉连贯性"两项上是全场最高，但它在"了局实现"和"语义关联"上表显旖庸,综合分同样不出彩。 这说了然一件事:目前没有哪个模型能同时把"实现工作"和"不出岔子"这两件事都做到位。有的模型敢想敢做,工作实现度高但过程容易翻车；有的模型比力守旧稳妥,画面不变不犯错，但压根没往正确的方向致力。这就像考试里,有人善于解难题但推算总是犯错,有人推算出格仔细但只会做单一题,两种人都拿不了高分,只有两方面都强的人能力真正拿到高分,而目前还没有哪个模型做到这一点。 Seedance 2.0在这里彻底翻身,拿到全场最高的91.8%。有意思的是,它在"了局达成度"排名倒数第二（20.0%），却在"天生靠得住性"上排名第一。这注明它更善于把画面拍得美丽、不变、干净,却相对不太善于真正把工作给实现好。这两个榜单险些齐全对不上号,刚好证了然论文最起头想说的那个概想：画面好看和工作做对，是两件不能混为一谈的事。 还有一个共性问题浮出水面：所有模型在"场内时空连贯性"这一项上的得吩煺遍偏低,最低只有0.328，最高也只有0.739。这注明当下的视频天生模型有一个共同的短板：单帧画面能够拍得很优美，但让画面在一个陆续场景里不变地演变下去,却是个更难的活儿。这也侧面诠氏缢为什么好多AI天生视频,截个图看着很惊艳,连起来播放却总感触哪里"怪怪的"。 论文还专门做了一组对照尝试,拿三个模型家族（Wan2.2、CogVideoX1.5、HunyuanVideo-1.5）别离测试了图生视频（I2V,基于参考图片+文字指令天生）和纯文生视频（T2V,只靠文字指令天生）两种模式的差距。 以HunyuanVideo-1.5为例,同样是"具体指令"，图生视频模式的综合分是37.8%,纯文生视频模式直接跌到4.4%,差了将近九倍。这个差距重要不是来自"工作有没有实现"（这一项两种模式其实差不多），而是来自"语义关联度""实体一致性""视觉连贯性"这三项的全面崩盘,尤其是视觉连贯性,从0.794骤降到0.133。 这个景象其实很好理解。你给AI一张具体的参考图片,相当于给了它一个明确的"锚点"，它能够不断刻刻拿这张图对照着天生后续画面，就像画家对着照片写实作画。但若是你只给一段文字,AI只能凭着对文字的理解自己"设想"出一个物体，全靠脑内构建,没有一个不变的视觉参照物贴着走，画面很容易越走越飘,最后跟最初设想的样子渐行渐远。 这就好比让两幼我别离复述一件器材的样子。一幼我手里拿着照片照着描述,另一幼我只是听了一句话描述就凭影象去转述给第三幼我。第一幼我复述出来的正确度显然会高得多,由于他随时能够查对参照物,而第二幼我全靠脑子里那个吞吐的印象,传几次话之后早就走形了。若是AI齐全脱离参考图片，它就成了那个"只靠影象转述"的人，越往后画面越容易失控。 还有一个更细腻的发现：在纯文生视频模式下,具体指令的阐发总是好于简短指令，重要靠"了局实现"和"语义关联"这两项撑起来；但简短指令反而在"实体一致性"和"视觉连贯性"上得分更高。 这里面藏着一个耐人寻味的衡量关系。具体指令信息量大，能把想要的了局说得更明显，但同时也给AI出了一路更难的综合题,它得同时两全更多要求,协调难度陡增，容易在执行过程中翻车。简短指令由于要求单一，AI天生起来更"从容"，画面不容易崩,但正由于要求太吞吐,它很可能压根没往正确方向走。这就跟安插工作时的"具体说明书"和"一句话嘱咐"类似:说明书写得越细，执行起来越容易漏器材犯错；一句话嘱咐固然执行流畅，但很可能理解跑偏,做出来的器材底子不是你想要的。 在视频天生基准测试这个方向上,此前的VBench和后续的VBench++、VBench-2.0已经成立起一套相对成熟的画面质量评价系统，覆盖视觉保真度、功夫连贯性等维度。也有钻研起头关注物理合理性和学问约束问题，好比探求视频天生模型是否切合根基物理法规的一系列工作。这些工作共同组成了当下视频天生评价系统的基础，但它们始终没有正面回覆"工作到底实现了没有"这个问题，这正是SemComp-Bench想要添补的空缺。 在模型能力这条线上,从早期的CogVideoX、HunyuanVideo，到后来的Wan2.2、Seedance 2.0，模型的天生质量在从前两年里的确进取飞快，从画面精密度到指令遵循能力都有显著提升。但这篇论文用一套新的检验标尺通知我们，画面越来越美丽，不代表工作真的越做越准。这提醒将来的模型改进方向,可能必要专门针对"了局导向的语义一致性"去做优化，而不只是持续堆叠画质和分辨率。 一个AI模型齐全能够在"看起来实现了工作"这件事上阐发得极其自负,同时在"这真的是你要的那个器材吗"这件事上偷偷舞弊。这种舞弊甚至不必要模型有意识地"骗人"，它可能只是由于天生一只通常乌龟比天生一只由特定纸币折叠出的乌龟容易得多，因而它选择了那条阻力最幼的路。 这让我想到一个更大的问题：随着AI天生内容越来越多地进入创作、讲授、演示这些实用场景,"看起来对"和"真的对"之间的距离，可能会成为一个持久被低估的风险点。若是一段AI天生的产品演示视频,把参考商品的关键特点偷偷代替掉了，观多很可能底子觉察不出来，由于整段视频看起来浑然一体。 那个37.8%的数字,或许比它字面意思更值得警惕。它不是说AI做得还不够好，而是说,我们此刻还没有足够好的步骤去发现它到底做得好不好。 A：SemComp-Bench是一套评价视频天生模型的基准测试系统，它不只关注画面质量，更关注AI天生的视频是否真正实现了指令要求的工作，同时是否与参考图片维持了语义层面的对应关系，而不是偷偷用一个不有关的画面代替。 A：由于现有基准测试重要衡量画面清澈度、功夫连贯性和指令遵循水平，却很少验证天生了局是否真正达成了工作指标，也很少查抄天生的了局是否与参考图片存在合理的语义关联，容易漏掉"工作看似实现但现实偏离参考对象"的情况。 A：七个代表性模型中，阐发最好的HunyuanVideo-1.5综合达标率只有37.8%，注明当前模型在同时做到"实现工作、语义对得上、实体不乱跑、画面不突变"这四件事上普遍不合格，图生视频模式显著优于纯文字天生模式。