<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>注意力机制 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/</link>
		<description>Recent content in 注意力机制 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Sun, 25 Oct 2026 02:30:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>给AI塞了100页文档，它却只记住了头和尾——&#39;中间迷失&#39;现象为什么至今无解，以及正在改变游戏规则的新思路</title>
				<link>https://lingyu7.com/posts/lost-in-the-middle-llm-context-dead-zone-token-gate/</link>
				<pubDate>Sun, 25 Oct 2026 02:30:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/lost-in-the-middle-llm-context-dead-zone-token-gate/</guid>
				<description>&lt;h2 id=&#34;引言一个你可能亲身踩过的坑&#34;&gt;引言：一个你可能亲身踩过的坑&lt;/h2&gt;&#xA;&lt;p&gt;假设你是一个律师助理，把一份80页的并购合同丢给AI，让它帮你找出第47页关于&amp;quot;竞业禁止&amp;quot;的那段话。你等了30秒，AI回复：&lt;/p&gt;&#xA;&lt;p&gt;&amp;ldquo;在这份合同中，未找到关于竞业禁止的条款。&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;你翻到第47页——它就在那里，白纸黑字。&lt;/p&gt;&#xA;&lt;p&gt;这不是AI&amp;quot;看漏了&amp;quot;，而是一个被学术研究反复验证过的系统性缺陷。2023年，斯坦福大学、UC伯克利和Samaya AI的研究团队发表了一篇论文，给了这个现象一个精确的名字：&lt;strong&gt;Lost in the Middle&lt;/strong&gt;——&amp;ldquo;迷失在中间&amp;rdquo;。&lt;/p&gt;&#xA;&lt;p&gt;他们的实验很简单：给模型20份文档，把答案分别放在不同位置。结果画出来的曲线像一个字母U——放在开头和结尾的答案，模型找得又快又准；放在中间的答案，准确率断崖式下跌，有时甚至&lt;strong&gt;比不给任何文档还差&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;你没看错。给模型提供了参考资料，它反而答得更烂了。&lt;/p&gt;&#xA;&lt;h2 id=&#34;为什么ai会迷失在中间&#34;&gt;为什么AI会&amp;quot;迷失在中间&amp;quot;？&lt;/h2&gt;&#xA;&lt;p&gt;要理解这个现象，得先理解大模型是怎么&amp;quot;读&amp;quot;东西的。&lt;/p&gt;&#xA;&lt;h3 id=&#34;注意力不是探照灯更像是黄昏时的余光&#34;&gt;注意力不是探照灯，更像是黄昏时的余光&lt;/h3&gt;&#xA;&lt;p&gt;大模型的核心架构叫Transformer，它靠一种叫&amp;quot;注意力机制&amp;quot;的东西来决定&amp;quot;哪些词重要&amp;quot;。你可以把它想象成一束光——但这束光不是均匀的探照灯，而更像是黄昏时分从窗户照进来的光：窗边最亮，房间中央还行，角落就暗了。&lt;/p&gt;&#xA;&lt;p&gt;具体来说，模型对&lt;strong&gt;开头的信息&lt;/strong&gt;格外敏感。因为注意力计算一开始，模型的&amp;quot;视线&amp;quot;刚刚展开，前面几个token享受到了最完整的关注。同时对&lt;strong&gt;结尾的信息&lt;/strong&gt;也格外敏感——因为模型在生成回答时，最后一个位置的上下文信号最强，就像你读一本书，刚读完的那一页印象最深。&lt;/p&gt;&#xA;&lt;p&gt;而中间呢？它既不享受&amp;quot;首因效应&amp;quot;的红利，也不占&amp;quot;近因效应&amp;quot;的光。注意力强度在中间区域形成一个凹陷——信息明明在那里，但模型的&amp;quot;目光&amp;quot;滑过去了。&lt;/p&gt;&#xA;&lt;h3 id=&#34;还有一个更微妙的问题信息密度&#34;&gt;还有一个更微妙的问题：信息密度&lt;/h3&gt;&#xA;&lt;p&gt;想想你看一本书的习惯。开头通常是背景介绍和核心论点，结尾是结论和总结，中间是什么？过渡、展开、补充说明。从信息价值的角度，开头和结尾的&amp;quot;含金量&amp;quot;本来就可能更高。&lt;/p&gt;&#xA;&lt;p&gt;模型在训练中可能学到了这个模式——&amp;ldquo;重要的东西在两头&amp;rdquo;。于是它把注意力资源往两端倾斜，中间部分得到的关注就更少了。这是一个自我强化的循环。&lt;/p&gt;&#xA;&lt;h2 id=&#34;三年过去了问题消失了吗&#34;&gt;三年过去了，问题消失了吗？&lt;/h2&gt;&#xA;&lt;p&gt;&lt;strong&gt;没有。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;2026年10月23日，一篇发布在开发者社区的技术文章用了一个刺眼的标题：&amp;ldquo;Lost in the Middle: Find Your Context Dead Zone and Fix It Before the Call&amp;rdquo;——找到你AI的&amp;quot;上下文死角&amp;quot;，在上线之前修好它。&lt;/p&gt;&#xA;&lt;p&gt;作者指出了一个令人不安的事实：即便是2026年最新的模型，这个&amp;quot;U型曲线&amp;quot;虽然比2023年平缓了不少，但&lt;strong&gt;从未真正消失&lt;/strong&gt;。你把20份检索到的文档喂给GPT类模型，答案放在中间时，表现仍然会掉20个百分点以上。&lt;/p&gt;&#xA;&lt;p&gt;更值得注意的是，最近一周同时出现了两篇来自顶级机构的新论文，从不同角度试图解决这个问题。它们指向同一个方向：&lt;strong&gt;不是让AI看所有东西，而是让它学会&amp;quot;跳读&amp;quot;。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h2 id=&#34;新思路一像人类一样学会略读&#34;&gt;新思路一：像人类一样学会&amp;quot;略读&amp;quot;&lt;/h2&gt;&#xA;&lt;p&gt;10月19日，来自CMU和UC Berkeley的团队发布了&lt;strong&gt;TokenGate&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;人类阅读一份300页的报告时，不会逐字逐句从头读到尾。你会先扫目录，翻到相关章节，重点看关键段落，其余的一扫而过。TokenGate做的就是这件事——它给模型装了一个&amp;quot;门控&amp;quot;模块，让模型在处理长文本时，学会判断哪些token值得精读、哪些可以跳过。&lt;/p&gt;&#xA;&lt;p&gt;具体怎么实现？它在模型的中间某一层加了一个小型的&amp;quot;评分网络&amp;quot;。这个网络给每一个token打一个&amp;quot;重要性分数&amp;quot;，然后只保留最重要的那一小批继续往上送。不重要的token？直接从这一层开始就不再处理了——既省计算，也省内存。&lt;/p&gt;&#xA;&lt;p&gt;效果如何？在多种任务上，TokenGate实现了&lt;strong&gt;最高11.3倍的首token响应加速&lt;/strong&gt;和&lt;strong&gt;3.4倍的峰值内存降低&lt;/strong&gt;，而且准确率没有下降。&lt;/p&gt;&#xA;&lt;p&gt;这里有一个关键洞察：传统的做法是让模型&amp;quot;看完所有东西再挑重点&amp;quot;，TokenGate反过来——&amp;ldquo;先挑重点，只看重点&amp;rdquo;。这不是偷懒，这恰恰是人类专家阅读长文档的方式。&lt;/p&gt;&#xA;&lt;h2 id=&#34;新思路二分层采样不让任何角落被遗忘&#34;&gt;新思路二：分层采样，不让任何角落被遗忘&lt;/h2&gt;&#xA;&lt;p&gt;几乎同一时间（10月20日），另一支团队提出了&lt;strong&gt;Stratified Sparse Attention（SSA）&lt;/strong&gt;——分层稀疏注意力。&lt;/p&gt;&#xA;&lt;p&gt;如果说TokenGate的思路是&amp;quot;学会跳读&amp;quot;，SSA的思路更像&amp;quot;确保每个角落都被随机抽查到&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;它把注意力机制拆成两层：第一层确定性地关注那些&amp;quot;明确重要&amp;quot;的token（比如包含关键词的句子）；第二层则用一种带修正的采样方法，从剩余token中随机抽取一批来&amp;quot;扫一眼&amp;quot;。这个&amp;quot;扫一眼&amp;quot;不是随便看的——它会用代理注意力分数来估算哪些被跳过的token可能也重要，然后对采样偏差做数学修正。&lt;/p&gt;&#xA;&lt;p&gt;效果是：在128K上下文的极端稀疏条件（只关注1/50的token）下，SSA仍然恢复了&lt;strong&gt;85%的密集注意力性能&lt;/strong&gt;。而此前的最好方法只能恢复到63.8%。&lt;/p&gt;&#xA;&lt;h2 id=&#34;这对普通用户意味着什么&#34;&gt;这对普通用户意味着什么？&lt;/h2&gt;&#xA;&lt;p&gt;说了这么多技术细节，对你日常用AI有什么实际影响？&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第一，关键信息放两头。&lt;/strong&gt; 如果你给AI一段长提示词，最重要的指令放在最开头和最结尾。中间放背景说明和参考资料。这不是技巧，这是模型的物理特性决定的。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第二，别迷信&amp;quot;上下文窗口越大越好&amp;quot;。&lt;/strong&gt; 一个模型号称支持200K token，不代表你该把所有东西都塞进去。200K是容量上限，不是推荐用量。塞得越多，中间部分被忽略的概率越大。更好的做法是：精选信息、结构化呈现、控制长度。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第三，用RAG（检索增强生成）时，注意排序。&lt;/strong&gt; 很多AI应用会先从知识库检索相关文档片段，再塞给模型。如果你检索出10个片段，把最相关的那个放在第一个或最后一个，别放在第五个。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第四，对于长文档场景，留意新技术。&lt;/strong&gt; TokenGate和SSA这类&amp;quot;选择性注意力&amp;quot;技术正在快速成熟。当它们被集成到你使用的产品中时，你会发现AI处理长文档的能力有质的飞跃——不是因为模型变&amp;quot;聪明&amp;quot;了，而是因为它学会了&amp;quot;看重点&amp;quot;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;一个更大的启示&#34;&gt;一个更大的启示&lt;/h2&gt;&#xA;&lt;p&gt;&amp;ldquo;Lost in the Middle&amp;quot;现象揭示的，其实是一个关于信息处理的深层悖论：&lt;strong&gt;拥有更多信息，不等于利用得更好。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这不只是AI的问题。人类也一样——你收藏了500篇&amp;quot;稍后再读&amp;quot;的文章，最后真正读完的可能不到50篇。你的浏览器开了30个标签页，但注意力真正集中的只有一两个。&lt;/p&gt;</description>
			</item>
			<item>
				<title>给AI看几个例子它就会了——上下文学习：大模型最像&#39;魔法&#39;的能力</title>
				<link>https://lingyu7.com/posts/in-context-learning-ai-learns-from-examples/</link>
				<pubDate>Fri, 18 Sep 2026 18:30:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/in-context-learning-ai-learns-from-examples/</guid>
				<description>&lt;h2 id=&#34;引言&#34;&gt;引言&lt;/h2&gt;&#xA;&lt;p&gt;你可能已经习惯了这样使用ChatGPT：&lt;/p&gt;&#xA;&lt;p&gt;&amp;ldquo;帮我翻译以下内容，风格参照：&amp;lsquo;今天天气真好&amp;rsquo;→&amp;lsquo;What a beautiful day&amp;rsquo;；&amp;lsquo;晚饭吃了火锅&amp;rsquo;→&amp;lsquo;Had hotpot for dinner&amp;rsquo;。现在翻译：&amp;lsquo;周末去了趟故宫&amp;rsquo;。&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;AI会立刻输出：&amp;ldquo;Visited the Forbidden City on the weekend.&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;你觉得这很正常。但仔细想想，这件事其实非常不可思议——你没有教它任何东西，没有训练，没有更新参数，只是给了两个例子，它就好像&amp;quot;学会&amp;quot;了一种新的翻译风格，完美地应用到了第三句。&lt;/p&gt;&#xA;&lt;p&gt;这种能力叫做&lt;strong&gt;上下文学习&lt;/strong&gt;（In-Context Learning，简称ICL），是大语言模型最接近&amp;quot;魔法&amp;quot;的能力之一。&lt;/p&gt;&#xA;&lt;h2 id=&#34;什么是上下文学习&#34;&gt;什么是上下文学习&lt;/h2&gt;&#xA;&lt;p&gt;用一个生活类比来说明。&lt;/p&gt;&#xA;&lt;p&gt;假设你是一位翻译官，某天客户给你一份文档，开头附了两段参考译文，告诉你&amp;quot;请用这种风格翻&amp;quot;。你看完参考后，立刻理解了——也许是口语化的，也许是文言味的。然后你开始翻译后续内容，风格完全对齐。&lt;/p&gt;&#xA;&lt;p&gt;你没有变成&amp;quot;新的人&amp;quot;，你的翻译能力没有本质改变，但你根据上下文中提供的少量示例，临时调整了自己的输出方式。&lt;/p&gt;&#xA;&lt;p&gt;大语言模型做的事情本质上和你一样。上下文学习的核心特征是&lt;strong&gt;不更新任何参数&lt;/strong&gt;：模型的权重从训练完成那一刻起就固定了，但每次你给它新的上下文——几个示例、一段说明、一种格式——它都能在不&amp;quot;重新学习&amp;quot;的情况下表现得好像学到了新技能。&lt;/p&gt;&#xA;&lt;h2 id=&#34;这个能力什么时候被发现&#34;&gt;这个能力什么时候被发现&lt;/h2&gt;&#xA;&lt;p&gt;严格来说，上下文学习是2020年GPT-3论文中被正式命名的。当时OpenAI的研究人员发现一个有趣的现象：随着模型变大，它们开始展现出一种训练目标中没有明确要求的能力——只看几个示例就能完成新任务。&lt;/p&gt;&#xA;&lt;p&gt;GPT-3的训练目标很简单：给定前面的文字，预测下一个词。研究人员并没有显式地教它&amp;quot;翻译&amp;quot;&amp;ldquo;分类&amp;quot;&amp;ldquo;做数学&amp;rdquo;，但当模型足够大时，它竟然能通过这些简单示例推断出任务规则。&lt;/p&gt;&#xA;&lt;p&gt;更让人吃惊的是，模型越大，上下文学习的效果越好。一个1750亿参数的GPT-3，给几个示例就能完成翻译、情感分析、新闻分类等任务，效果堪比专门训练的小模型。&lt;/p&gt;&#xA;&lt;p&gt;从那时候起，研究者们就开始追问：这个能力到底是怎么回事？&lt;/p&gt;&#xA;&lt;h2 id=&#34;最新发现ai内部在构建信念&#34;&gt;最新发现：AI内部在构建&amp;quot;信念&amp;rdquo;&lt;/h2&gt;&#xA;&lt;p&gt;2026年9月15日发表的论文《Large Language Models Develop Belief State Geometry In-Context》（arXiv:2609.17376）给出了一个令人兴奋的答案。&lt;/p&gt;&#xA;&lt;p&gt;研究者设计了一个巧妙的实验：他们让大模型阅读由隐马尔可夫模型（HMM）生成的序列数据。你可以把这理解为一种&amp;quot;有隐藏规律的密码序列&amp;quot;——表面上看到的是一串符号，但背后有一套隐藏的状态机在控制符号的生成。&lt;/p&gt;&#xA;&lt;p&gt;然后他们在模型内部探测一个关键指标：&lt;strong&gt;&amp;ldquo;信念状态&amp;rdquo;&lt;/strong&gt;——也就是模型在看到当前所有符号后，对隐藏状态的概率推断。这就像你看了一段密码后，心里对&amp;quot;下一个符号可能是什么&amp;quot;的判断。&lt;/p&gt;&#xA;&lt;p&gt;结果非常惊人：在6个开源大模型、40个不同的隐马尔可夫模型上，模型内部激活值的几何结构与贝叶斯最优信念状态的几何结构高度吻合，R²值达到了0.83到0.99。&lt;/p&gt;&#xA;&lt;p&gt;换句话说，&lt;strong&gt;模型在&amp;quot;看&amp;quot;示例的过程中，内部真的在构建一个精确的概率推理引擎&lt;/strong&gt;。它不是在死记硬背示例的模式，而是在推断示例背后的隐藏规律，然后用这个规律去预测下一步。&lt;/p&gt;&#xA;&lt;p&gt;研究者还做了一个&amp;quot;手术&amp;quot;：直接修改模型内部那个与信念状态对应的子空间。结果模型的预测能力大幅下降。这证明那个子空间不是无关的旁支信号，而是上下文学习的功能核心。&lt;/p&gt;&#xA;&lt;h2 id=&#34;另一面它可能不是真正的推理&#34;&gt;另一面：它可能不是&amp;quot;真正的推理&amp;quot;&lt;/h2&gt;&#xA;&lt;p&gt;但几乎同时发表的另一篇论文，给这个乐观图景泼了一盆冷水。&lt;/p&gt;&#xA;&lt;p&gt;《Recursive Reasoning or Statistical Extrapolation?》（arXiv:2609.18591）提出了一个尖锐的问题：上下文学习到底是在做深层推理，还是只是在统计模式上做外推？&lt;/p&gt;&#xA;&lt;p&gt;研究者设计了一个多人博弈实验——让多个AI在不完整信息的博弈场景中做决策。这种场景需要&amp;quot;递归推理&amp;quot;：我需要猜你在想什么，你在猜我在想什么，我在猜你猜我在想什么……这是真正需要&amp;quot;理解对方心理&amp;quot;的场景。&lt;/p&gt;&#xA;&lt;p&gt;然后他们做了一个关键的操作：打乱历史数据的统计规律，让&amp;quot;过去的数据分布&amp;quot;和&amp;quot;未来的数据分布&amp;quot;不再一致。&lt;/p&gt;&#xA;&lt;p&gt;结果发现：当统计规律被打乱后，更长的上下文带来的好处几乎完全消失了。AI的表现退化到和没有上下文时一样。而且博弈中的策略依赖越强——也就是越需要理解对方心理的时候——这种退化越严重。&lt;/p&gt;&#xA;&lt;p&gt;结论很清楚：在这类需要深层推理的场景中，上下文学习更像是在做统计模式外推，而不是真正的策略推理。&lt;/p&gt;&#xA;&lt;h2 id=&#34;两篇论文拼出完整图景&#34;&gt;两篇论文拼出完整图景&lt;/h2&gt;&#xA;&lt;p&gt;把这两篇论文放在一起看，一幅更完整的图浮现出来：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;上下文学习的本质，是一种高度精密的&amp;quot;快速适应&amp;quot;机制，但它不是万能的。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;它厉害的地方在于：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;对于模式清晰、规律可循的任务（翻译风格、格式转换、分类规则），模型能迅速从少量示例中提取规律，效果接近统计学上的最优解&lt;/li&gt;&#xA;&lt;li&gt;这种能力不是&amp;quot;临时学会&amp;quot;的，而是在海量预训练数据中&amp;quot;预埋&amp;quot;的——模型见过无数种模式匹配场景，以至于它学会了一种通用的&amp;quot;看示例找规律&amp;quot;的元能力&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;它的天花板在于：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;对于需要深层因果推理、多方博弈、长链逻辑推演的任务，上下文学习的&amp;quot;统计外推&amp;quot;本质就暴露了&lt;/li&gt;&#xA;&lt;li&gt;示例的质量至关重要。如果示例带有误导性模式，模型会忠实地外推错误模式&lt;/li&gt;&#xA;&lt;li&gt;它擅长的是&amp;quot;从模式到模式&amp;quot;的映射，而不是&amp;quot;从零到一&amp;quot;的推理&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;怎么更好地利用这个能力&#34;&gt;怎么更好地利用这个能力&lt;/h2&gt;&#xA;&lt;p&gt;理解了上下文学习的机制和边界，你可以更聪明地使用AI：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;1. 示例越精准，效果越好。&lt;/strong&gt; 不要只给模糊的指令。给模型2~3个你期望的输出示例，比写一大段&amp;quot;我希望你这样做&amp;quot;的描述效果好得多。模型在上下文学习中，对&amp;quot;模式&amp;quot;的提取能力远强于对自然语言指令的理解能力。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;2. 复杂任务别指望&amp;quot;看一眼就会&amp;quot;。&lt;/strong&gt; 需要深层推理的任务（数学证明、多步逻辑推演），光给示例不够。你需要配合&amp;quot;思维链&amp;quot;——让模型一步步想，而不是一眼看答案。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
