上周五帮一个同学看客服知识库问答。他把近两年的工单导出、产品手册、FAQ 全塞进一个 200K 上下文窗口里,问:「登录超时怎么办?」模型答得像在念散文——把三个不同版本的报错揉在一起,还引用了一段已经下线半年的旧入口。
我让他改成「资料夹 + 检索」:只喂命中的 6 段段落,再强制带出处。同样的问题,答案短了,但能对上现网路径。那一刻我更确信一件反常识的事——窗口变大,并不等于你可以关掉结构化知识库。

核心判断:长上下文解决的是「通读」,不是「治理」
我的判断就一句话:任务需要整本推理时,直接塞全文;知识会变、要可引用、或体量远超窗口时,坚持 RAG / 资料夹。把两者当成互斥信仰,最后要么账单爆炸,要么答案漂。
Anthropic 在 2025-09-29 的工程文 Effective context engineering for AI agents 里写得很直:上下文是有限注意力预算,token 越多,「context rot」越明显——能塞进窗口,不等于模型还能同等精度地召回中间内容。OpenAI 在 Optimizing LLM Accuracy(核对于 2026-10)也提醒:长提示必须按不同上下文长度做评估,否则会「lost in the middle」。

纵向来历:从「能塞下」到「该不该塞」
2023–2024,大家先被 needle-in-a-haystack 测分吸引,窗口从 8K 冲到 128K、1M,叙事变成「RAG 要过时了」。2024 年 arXiv 上的对比研究 RAG or Long-Context LLMs?(Li 等)给出更拧巴的结论:资源够时,长上下文平均分数常高于 RAG;但 RAG 成本更低,且当输入远超窗口时仍必要。他们还提出 Self-Route:模型先自评能不能靠检索答,不行再升到全文。
到 2025 下半年,厂商自己开始讲「别幻想窗口无限涨就完事」。Anthropic 那篇文把重点挪到 compaction(摘要压缩后续聊)、structured note-taking(窗外记笔记再拉回)、以及 just-in-time 取数——用路径、查询、链接当轻量索引,而不是预把整库灌进提示。Claude Code 一类工作流,本质上是「文件夹 + 按需读取」,不是「一次性 dump 仓库」。
我自己踩过的坑:把客户三年会议纪要全贴进 Project,问「上次定价结论是什么」。模型给出一个听起来很完整的数字,出处却是另一场 brainstorm 的随口估计。后来我改成按客户/季度拆资料夹,检索命中后再人工点开原段落——错答率肉眼下降,速度反而更快,因为不用每次烧完整窗口。

横向对比:四种喂法差在哪
| 喂法 | 最适合 | 成本/延迟 | 最大风险 |
|---|---|---|---|
| 整文件塞进窗口 | 单份合同、单周报、单 PRD 通读对照 | 高(按 token 计) | 中间信息被淹没;过期段落无法剔除 |
| RAG / 向量检索 | FAQ、工单、政策库、多文档问答 | 低–中 | 切块差、召回偏 → 模型「一本正经瞎编」 |
| 资料夹 / Project 知识库 | 按客户/项目隔离的背景材料 | 中 | 文件夹一乱,等于把噪声常驻进对话 |
| 混合(先检索后全文) | 先定位章节,再对 2–3 份关键文件通读 | 可控 | 路由规则写糊了会双倍花钱 |

公开对比里,Li 等(2024)报告:充分资源下 Gemini-1.5-Pro / GPT-4o 等模型,长上下文平均可高于 RAG 约数个百分点到十几个百分点;但成本差距是另一条轴。我的用法更土:默认检索,只有「必须跨全文推理」才升舱。

推演:接下来我会看哪些信号
信号 1:团队是否开始把「窗口规格」写进方案书,却没有任何按长度分层的评测——这通常预示上线后会在长文档上翻车。
信号 2:知识更新频率。周更政策、日更库存,还硬塞全文,等于保证模型读到过期页。
信号 3:厂商是否继续把 compaction / memory tool 当一等公民。Anthropic 已在同一篇文章里把窗外记忆、子代理摘要写成标配套路;这其实在承认——再大的窗口也解决不了污染。

我自己的推演:未来两年「纯长上下文替代 RAG」只会在演示里好看;生产里赢家是轻索引 + 按需读取 + 偶发全文。谁还在卖「把整个网盘丢进提示」,我会先问他评测集和账单。

对读者意味着什么
- 个人知识工作者:单篇 PDF / 合同直接塞;跨半年笔记用文件夹或本地检索,别一次贴 80 篇。
- 做内部助手的同学:先把语料按「会变 / 不变」切开;会变的走 RAG,不变的短规范可以常驻系统提示。
- 管理者:验收别只看「能不能答」,要看「有没有出处、能否指出过期」。
- 拿你最常用的 10 个问题,分别测「全文」和「仅检索 top-k」,记录正确率与费用。
- 给资料夹立两条规矩:命名含日期;过期文件移出默认库。
- 只有在「必须对照全文结构」的任务上,才打开长上下文升舱开关。
开放问题
你最近一次答错,是窗口太短,还是塞进去的东西太杂?如果只能先改一件事,你会砍语料,还是加检索?


Список комментариев (0 записей):
Показать ещё отзывы Загрузка...