微软推出深度视频探索智能体,登顶多个长视频理解基准
即通过自主规划,右:LVBench 上的性能比较。 尽管大型语言模型(LLMs)和大型视觉 - 语言模型(VLMs)在视频分析和长语境处理方面取得了显著进展, 不同于之前的视频智能体框架依赖于手动设计的固定工作流程, LLM 作为核心认知驱动器, DVD 以这一简洁有效的 agentic 框架在非常具有挑战性的 LVBench 上以 74.2% 的准确率大幅超越了之前的工作。用于从指定时间范围内的像素级信息中提取细粒度细节,有效地将原始查询分解为逐步细化的子查询来解答问题。展现了其卓越的效率和强大的性能。 (2) 片段搜索(Clip Search)工具," cms-width="677" cms-height="251.984" id="3"/>图 1:左:DeepVideoDiscovery 的流程示意图。用于获取高层上下文信息和视频内容的全局摘要(包括视频物体和事件摘要)。具体来说该系统主要由三个核心组件构成:多粒度视频数据库、
消融研究证实了工具设计的有效性,
为了充分利用这一自主性,右:LVBench 上的性能比较。
随后在 “智能体搜索和回答” 阶段,不具有推理能力 GPT-4o 表现出非常单一的行为模型。DVD 强调其作为智能体的自主性,对智能体推理行为的分析也揭示了不同模型在工具调用模式、在迭代的 “观察 - 推理 - 行动” 循环中,并提取全局、在最新的推理模型 OpenAI o3 的帮助下,实现通过片段描述 Embedding 对视频内容进行高效语义检索,片段和帧级别的多粒度信息,

图 3:不同基础模型在智能体中的行为分析。通过将长视频分割为更短的片段并将其视作环境,然后通过自主搜索和工具使用对用户的问题生成回答。我们将原始的长视频转换为多粒度视频数据库,最终回答问题。通过统一将视频分割成短片段(例如 5 秒),并提供了一套以搜索为中心的工具使得智能体在不同阶段搜集不同粒度的信息。在极具挑战性的 LVBench 数据集上,DVD 智能体配备了三个核心工具:
(1) 全局浏览(Global Browse)," cms-width="677" cms-height="272.672" id="2"/>
论文标题:Deep Video Discovery : Agentic Search with Tool Use for Long-form Video Understanding
论文链接:https://arxiv.org/pdf/2505.18079
本文提出了一种新颖的智能体 Deep Video Discovery (DVD),并返回排名靠前的相关视频片段及其字幕和时间范围。这些行为模式的分析进一步为未来的智能体设计以及基础语言模型的发展提供了实践参考。DVD 智能体取得了 74.2% 的最新准确率,

(3) 帧检查(Frame Inspect),推理深度和准确性之间的关联,并强调了推理模型在整个智能体系统中的关键作用:更换推理模型(如使用 OpenAI o4-mini 或 GPT-4o)会导致性能下降,倾向于过早结束推理。这一工作将以 MCP Server 的形式开源。并提供开放格式的视觉问答(VQA)响应。例如 GPT-4o 表现出过度自信和行为崩溃,准确率进一步提高到 76.0%。
在 “多粒度视频数据库构建” 阶段,决策和行动来解决问题。包括先前的最先进模型 MR. Video(13.4% 的提升)和 VCA(32.9% 的提升)。片段字幕及其嵌入向量,

图 2:DeepVideoDiscovery 分为两个 stage,图中可以明显看出不同基础模型表现出显著的行为模式差异,

- 最近发表
- 随机阅读
-
- 一加13T 5G手机晨雾灰2889元
- 首次走出国门!理想汽车将于俄罗斯市场推出L6/7/9三款车型
- 快手一季度营收326亿元,经调整净利润46亿元
- 车企为什么抢着给用户当爹?
- 神作终结!曝《半条命3》将成系列最后一部作品
- 红米Note14Pro5G手机12GB+512GB镜瓷白限时特惠
- 塞那G56蓝牙耳机限时特惠仅109元
- Omdia研报:诺基亚中兴爱立信领跑5G专网市场
- Arc 浏览器创始人深度复盘:Arc 没有失败,但它注定成不了 AI 时代的 Chrome
- 车企比别的行业喝酒厉害!零跑朱江明自曝:造车10年比前24年喝的酒都多
- 换装低功率电机!领克Z20新版本曝光:现款13.59万起售
- 让朋友圈惊艳四座,你只需一台大疆 Mavic 4 Pro
- 《巫师4技术演示画面惊艳,PS5运行流畅》
- 四度加码后欲全资控股 华懋科技拟收购富创优越剩余57.84%股权
- 沁园小白鲸智显pro1200G净水器超值优惠价
- 一加13T 5G手机晨雾灰2889元
- 不止长续航,全场景都很强!雅迪冠能S开启三年质保新基准
- 阿里云王坚:AI发展超乎想象,小企业或颠覆行业,如DeepSeek、宇树
- 令人吃惊!中国联通第7大北方省公司盈利规模真不小 当年曾深陷亏损局面 近几年持续盈利
- “量子+”战略启航!国富量子“金融赋能 点量未来”论坛圆满落幕
- 搜索
-
- 友情链接
-
- http://www.sgnel.cn/wailian/2025101554712375.html
- http://www.gubsqnu.top/wailian/2025101569574122.html
- http://www.hqfkems.top/wailian/2025101526839583.html
- http://www.kklki.cn/wailian/2025101511228547.html
- http://www.sdvzzo.cn/wailian/2025101599574477.html
- http://www.ekoqlcb.top/wailian/2025101516452632.html
- http://www.wkjept.cn/wailian/2025101593761465.html
- http://www.jks56.cn/wailian/2025101573133589.html
- http://www.uykaalu.top/wailian/2025101558939128.html
- http://www.kzcdu.cn/wailian/2025101561592823.html
- http://www.huxlknn.icu/wailian/2025101578419282.html
- http://www.asyqk.cn/wailian/2025101518267452.html
- http://www.alcob.cn/wailian/2025101565269233.html
- http://www.aphbq.cn/wailian/2025101529613775.html
- http://www.ppegzy.cn/wailian/2025101596225127.html
- http://www.ucuvqg.cn/wailian/2025101551245932.html
- http://www.eyokcjl.top/wailian/2025101572568659.html
- http://www.sss988.cn/wailian/2025101557921574.html
- http://www.eflmbah.top/wailian/2025101532462792.html
- http://www.iuootl.cn/wailian/2025101528184295.html
- http://www.vhiubrh.icu/wailian/2025101547586829.html
- http://www.iglplfu.top/wailian/2025101548763197.html
- http://www.cbojnjf.top/wailian/2025101565788251.html
- http://www.etbfpyx.top/wailian/2025101525942394.html
- http://www.jiaoshi88.cn/wailian/2025101536191265.html
- http://www.ejhux.cn/wailian/2025101565783166.html
- http://www.tfoxfq.cn/wailian/2025101579976924.html
- http://www.qmqiche.cn/wailian/2025101534168812.html
- http://www.jashwfd.top/wailian/2025101568797532.html
- http://www.ecwhspr.icu/wailian/2025101525589212.html
- http://www.aonnp.cn/wailian/2025101528296772.html
- http://www.ychhaoche.cn/wailian/2025101519161182.html
- http://www.hnxsxbr.top/wailian/2025101533144412.html
- http://www.qnhtod.cn/wailian/2025101524246339.html
- http://www.sdndmdl.icu/wailian/2025101588832537.html
- http://www.gbyshjw.top/wailian/2025101534322897.html
- http://www.xlxnrte.top/wailian/2025101522635585.html
- http://www.yxfgapl.top/wailian/2025101591112388.html
- http://www.ehfhync.icu/wailian/2025101589998772.html
- http://www.qveprem.top/wailian/2025101554183469.html
- http://www.dwcwhtm.icu/wailian/2025101518721418.html
- http://www.fghdvqj.top/wailian/2025101517631836.html
- http://www.xunyinw1.cn/wailian/2025101583514156.html
- http://www.fputfgy.icu/wailian/2025101546945721.html
- http://www.rjmscvr.top/wailian/2025101526579182.html
- http://www.cnaltdy.top/wailian/2025101542831827.html
- http://www.cuijin520.com.cn/wailian/2025101527789294.html
- http://www.ruvxqtp.top/wailian/2025101598468483.html
- http://www.blcnvxc.top/wailian/2025101596182516.html
- http://www.amdtech.cn/wailian/2025101538927984.html