BLOG / 6 de noviembre de 2026
openJiuwen 的 Agent-Memory 把多模态能力 OmniMem-Lens 写进 0.2.0 叙事:别再按固定秒数盲切长视频,改成视听双流对焦后的「按事件记忆」。量子位 11 月 4 日稿给出的硬数字很刺眼——召回精度最高 +45.7%,在线问答时延最高降 97%。
如果 Agent 真要替人看完三小时发布会或一整天监控,记忆切分方式会先决定它是「影评人翻笔记」,还是「每次把整部电影重看一遍」。
按秒切,是把电影交给秒表;按事件切,才是按情节记。
盲切的两个致命伤
通行做法是把长视频按固定窗口切段再分别记忆。官方叙事指出两处硬伤:证据碎片化——连贯讲解被切成互不相干的片段,问答只能拿到断章;证据被稀释——关键几秒动作被前后噪音淹没,召回掉点。
更糟的是单模态事件分割会在两种场景失灵:画面长时间不动时看不见议题已换;没有台词时耳朵也帮不上忙。问题被归因到切分源头失焦,而不只是算力不够。
眼睛加耳朵,再分层存
OmniMem-Lens 的主张是视觉流抓画面/镜头变化,听觉流经 ASR 抓话题与说话人变化,双证据交叉后在真实事件边界落刀。记忆再拆成三层:L0 保留原视频供核验;L1 事件级大纲做广度召回;L2 片段级索引做精定位。L1/L2 文本化与向量化后,可接主流向量库。


检索链路被写成「离线建好、在线查」:提问先与 L1/L2 语义匹配,需要画面证据时再按需调 L0。团队把它比作带目录和索引的书——先翻章,再定位句,必要时回原文。
数字怎么读,例子怎么拆
公开对比口径:在 Video-MME-L、LVbench、EgoLife-QA 上,OmniMem-Lens + Qwen3-VL-8B 的记忆问答相对「VLM 直接啃视频」全面领先;EgoLife-QA 召回 +45.7% 最显眼。时延侧,LVbench 上直答约 34.5 秒、OmniMem-Lens 约 1.72 秒,约 20 倍差距,也被写成最高降时延 97% 的来源之一。


两个故事把抽象机制钉死:动画片里「女生离开→目送→幻想蝴蝶」横跨多个 1 分钟窗会被切碎,模型可能把幻想当现实;评审会同一张架构图讲三十分钟三个议题,只靠视觉会糊成一段,ASR 转向才能切开。项目地址指向 gitcode.com/openJiuwen/agent-memory,GitHub 镜像为 openJiuwen-ai/agent-memory。
工程迁移时,最值钱的不是把三个百分比抄进 PPT,而是改掉切分器:固定窗口换成「视觉变化 ∪ ASR 话题变化」的事件边界;索引层先保证 L1/L2 可检索,再决定何时昂贵地回看 L0。已有 RAG 栈几乎可以先吃文本化记忆,再补视频帧懒加载。
也要承认失败模式:事件边界本身可能切错;ASR 在嘈杂环境会漂;第一人称整天视频(EgoLife 类)与电影剪辑、监控录像的错误分布完全不同。公开提升幅度应读作「在这些基准 + 该基座」下的对照,而不是跨域保票。
和「世界模型出片」类新闻相比,OmniMem-Lens 更像基础设施补丁:它不管你用哪家 VLM 答题,先解决「记忆是不是一盘散沙」。Agent 要进入长视频生产力,记忆层往往会比再换一个更强的端到端模型更早成为瓶颈。
把 OmniMem-Lens 放回 Agent 栈,位置更像「视频记忆中间件」:上游接 ASR 与视觉变化检测,下游吐给向量库与问答 Agent。WorkSwarm 等产品叙事称将对接 AgentMemory,让对话里的视频内容可被记住并在讨论时召回——这是应用层信号,但仍需以仓库与版本说明为准。
和「端到端长视频 VLM 一把梭」相比,分层记忆的代价是管线更长:离线构建要算力与存储,在线路径要维护索引一致性。收益则是问答时延与证据定位可控。团队用「看电影先做笔记」作比喻,工程翻译就是:索引建设前置,推理请求轻量。
阅读公开数字时,建议固定三个标签:基准名、对照基座(文中为 Qwen3-VL-8B)、指标定义(召回 vs 时延)。缺任一标签,就把百分比降级成宣传语。EgoLife-QA 的大涨幅,更说明「事件密集、细节碎」场景对盲切最不友好,而不证明监控安防或影视剪辑会拿到同一增益。
对开源社区,可核验动作很具体:打开 agent-memory 仓库与 0.2.0 发布说明,确认视频多模态记忆/OmniMem-Lens 相关能力是否在你锁定的版本里;再决定是接入 SDK/HTTP,还是只把「事件切分」思想迁到自研切分器。口号可以跟量子位,落地必须跟提交记录。
补充核验:上述数字与产品能力均来自公开通稿、官网或仓库页面,本稿不做私下实测;若官方后续更正权重开放日期、榜单名次或评测设定,以最新公告为准。
Nuestra valoración:OmniMem-Lens 的新闻价值在「切分哲学」而不只在又一个多模态口号。数字来自团队公开对照、且绑定具体基座与基准,读作方向性证据即可,不要外推成所有长视频 Agent 的通用承诺。真正可迁移的问题是:你的管线还在按秒盲切吗?
Enlaces de referencia
- 量子位:openJiuwen Agent-Memory 视听双流记忆
- GitCode:openJiuwen/agent-memory
- GitHub:openJiuwen-ai/agent-memory
- Releases:Agent-Memory 版本说明


评论列表 (0条):
加载更多评论 Cargando...