AI基础理论 on 灵语AI

AI的「遗忘」艺术——为什么学会丢掉信息，才是真正的智能

Sat, 25 Jul 2026 02:29:00 +0800

引言：你的大脑，是一个"遗忘大师"

我们来做一个小实验。

回想一下，上周三的午饭你吃了什么？如果你能立刻回答出来，那你属于少数人。大多数人需要想一会儿，甚至根本想不起来。

但这不是问题——这是优点。

你每天摄入海量的信息：看到的、听到的、闻到的、触摸到的、思考到的。如果全部记住，你的大脑会迅速被撑爆。所以你的大脑做了一个极其聪明的选择：只保留"可能有用"的信息，扔掉其余的。

你可以准确说出自己家的地址，但记不住昨天路过的那家便利店门口垃圾桶的颜色。

你可以认出朋友的脸，但记不住他上周三穿的是什么颜色的袜子。

你之所以智能，不是因为你会记住，而是因为你学会了遗忘。

这个看似简单的道理，其实是AI领域最深刻的理论之一。它有一个名字，叫信息瓶颈（Information Bottleneck）。

一、信息瓶颈是什么？——一个"抄笔记"的隐喻

想象你在上数学课。

老师讲了一道很复杂的微积分题，你需要在有限的时间内记笔记。

你有两种记法：

第一种：逐字逐句地记。

老师说的每一个字你都记下来——“好，我们来看这道题，第一步，先求导……“你连老师的语气词都没放过。下课后，你的笔记本比老师的教案还厚。

但问题是，你记了这么多，真正有用的信息被淹没在大量废话里了。 考试的时候，你根本找不到重点。

第二种：只记关键步骤。

你快速判断：这道题的核心是"链式法则”。你只记下关键公式和两个关键步骤，其他的都忽略。笔记只有三行，但每一行都是精华。

信息瓶颈理论要回答的，就是这个问题：如何找到"最优的笔记”？

它正式的定义是这样的：

给定输入X（老师讲的全部内容）和输出Y（考试要考的知识点），找到一个压缩表示Z（你的笔记），使得：

Z尽可能小（压缩率高，笔记简洁）

Z尽可能保留关于Y的信息（预测能力强，考试能拿分）

这两个目标相互矛盾。 笔记越简洁，丢失的信息越多，预测能力可能下降；笔记越详细，预测能力越强，但压缩率差。

信息瓶颈理论的核心贡献是：它给出了这个权衡的数学最优解。

二、一个公式，道尽智能的本质

信息瓶颈的核心公式，其实只有一行：

最小化：I(X;Z) — β × I(Z;Y)

不要被公式吓到——它表达的是一种我们每天都在做的直觉判断。

让我们拆解一下：

I(X;Z)：你的笔记（Z）包含的原始信息（X）的量。这个值越小，说明你的笔记越"压缩"。
I(Z;Y)：你的笔记（Z）能预测考试内容（Y）的能力。这个值越大，说明你的笔记越"有用"。
β：一个调节旋钮，控制你更看重"简洁"还是"准确"。

这个公式的哲学是：最优的智能，不是"记住最多信息"，而是"用最少的信息，保留最多的价值"。

β=0时，你只关心压缩，笔记只有一行"今天上了数学课"——考试肯定挂。

β=很大时，你只关心预测，笔记有几万字——信息过载，考试时找不到重点。

β=最优值时，你的笔记刚好记下关键点——考试时思路清晰，效率最高。

这个"最优值"对应的笔记，就是信息瓶颈理论所说的"最优表征"。

三、深度学习，本质上就在做这件事

2015年，信息论专家纳夫塔利·蒂什比（Naftali Tishby）提出了一个大胆的观点：深度神经网络训练的过程，本质上就是在解信息瓶颈问题。

他做了一个实验，让一个神经网络在手写数字识别任务上训练，然后观察每一层神经元在训练过程中的变化。

结果非常有趣：

第一阶段：拟合（Fitting）

刚开始训练时，网络在"记住"训练数据。每一层的神经元都在努力获取关于输入X的信息——I(X;Z)迅速上升。

这就像你刚开始听课时的状态——拼命记笔记，生怕漏掉一个字。

第二阶段：压缩（Compression）

训练到一定阶段后，网络开始"遗忘"。它不再关注输入中的无关细节，而是只保留对分类有用的特征。

I(X;Z)下降，但I(Z;Y)保持不变甚至上升——你丢掉了废话，留下了精华。

这就是深度学习成功的秘密：它不是在学习"记住所有东西"，而是在学习"忘记不重要的东西"。

一个没有经过充分训练的AI，就像那个逐字逐句记笔记的学生——它记住了训练数据的每一个细节，但换一个场景就不知所措了（这就是我们说的"过拟合"）。

一个训练充分的AI，就像那个只记关键点的学生——它抓住了问题的本质，即使面对新情况也能灵活应对（这就是"泛化能力"）。

信息瓶颈理论告诉我们：泛化能力，本质上就是压缩能力。

四、为什么"忘记"比"记住"更难？

你可能会想：既然压缩这么重要，那让AI使劲压缩不就行了？

没那么简单。因为压缩的前提是：你知道什么该保留，什么该丢弃。

一个刚出生的婴儿，分不清"妈妈的脸"和"天花板的颜色"哪个更重要。他需要大量的学习和经验，才能建立起"哪些信息值得保留"的判断力。

同样，AI在训练初期也不知道什么特征重要。它需要反复试错，才能学会"压缩"。

这就是为什么深度学习需要海量数据——不是为了让AI记住更多，而是为了让AI学会该忘记什么。

信息瓶颈理论揭示了另一个惊人的事实：最优的压缩，会自然地出现在神经网络的不同层之间。

如果你把神经网络看成一个流水线：

第一层：处理最原始的信息（像素级别的颜色、边缘）
中间层：开始提取有意义的模式（形状、纹理）
最后一层：只保留最"有用"的特征（“这是一只猫"的判断）

每一层都在做一次信息瓶颈——压缩输入，保留对下一层有用的信息。

AI真的「理解」文字吗？——符号接地问题的百年追问

Fri, 24 Jul 2026 02:29:00 +0800

引言：你和一个AI的对话，和真正的「理解」有多远？

假设你和一个AI聊了五分钟。

你问：“猫会抓老鼠吗？” AI答：“会的，猫是老鼠的天敌，猫科动物的捕猎本能很强。”

你问：“那猫为什么喜欢玩毛线球？” AI答：“因为毛线球的滚动和跳跃模拟了老鼠的运动轨迹，触发了猫的捕猎本能。”

你说：“帮我写一个关于猫和老鼠的童话故事。” AI很快写了一个汤姆和杰瑞式的有趣故事。

看起来，这个AI很理解"猫"和"老鼠"是什么，对吧？

但如果我问你：这个AI见过猫吗？摸过猫吗？听过猫叫吗？被猫抓过吗？

答案是：没有。

它只在"文字的世界"里存在。它读过海量的文本，知道"猫"和"毛线球"、“喵喵叫”、“抓老鼠"这些词经常一起出现。但它从未——永远无法——真正地"看到"一只猫从窗台上跳下来。

那么问题来了：一个从未接触过真实世界的系统，能真正"理解"关于世界的语言吗？

这个问题，不是哲学家的玄想。它是一个被正式命名的科学问题，叫符号接地问题。它已经存在了三十多年，到今天依然没有定论。

而2026年的AI发展，让这个问题变得更加紧迫。

一、符号接地问题：一个"词典里的死循环”

1990年，认知科学家史蒂文·哈纳德（Stevan Harnad）提出了这个问题。

他用一个简单的比喻来说明：

想象你是一个外星人，来到地球。你捡到一本英汉词典，想通过它学习中文。你翻开第一页，看到"猫"这个字，旁边的解释是：“一种小型哺乳动物，善捕鼠。”

你不懂"哺乳动物"是什么，于是查这个词——“哺乳动物：用乳汁哺育幼崽的脊椎动物。”

你不懂"脊椎动物"是什么，又往下查——“脊椎动物：有脊柱的动物。”

你不懂"脊柱"是什么，再查——“脊柱：脊椎动物的中轴骨骼。”

你发现了吗？你陷入了一个死循环。

每个词的定义，都是用其他词来写的。你翻来翻去，永远在符号的圈子里打转，永远找不到一个词和一个"真实世界的东西"之间的直接连接。

哈纳德说，这就是纯符号系统面临的根本困境：符号之间的无限循环。

人类之所以能跳出这个循环，是因为我们有身体、有感官——我们见过猫、摸过猫、被猫抓过、听过猫打呼噜。这些非符号的感官经验，为"猫"这个符号提供了"接地"（grounding）的基础。

而一个纯文本的AI，本质上就是那个外星人。 它只拥有词典，没有身体，没有感官，没有真实世界的体验。

二、哈纳德的三层方案：从感知到符号的阶梯

哈纳德没有只提出问题，他给出了一个解决方案的框架，分三层：

第一层：图像式表征（iconic representations）

这是最底层，直接与感知经验对应。你看到一只猫的视觉形象，听到猫的叫声，感受到猫毛的柔软——这些都是"图像式表征"。它们不是抽象符号，而是对感官输入的"模拟"。

第二层：类别表征（categorical representations）

你见过很多不同的猫：橘猫、黑猫、白猫、胖猫、瘦猫、长毛猫、短毛猫……虽然它们各不相同，但你能把它们归为"猫"这个类别。这就是"类别表征"——从具体感知到抽象概念的中间层。

第三层：符号表征（symbolic representations）

基于类别，你构建了关于"猫"的知识体系：“猫是哺乳动物”、“猫会抓老鼠”、“猫的平均寿命是12-15年”……这一层就是我们通常说的"知识"。

哈纳德的核心观点是：符号必须从下往上、从感知到类别再到符号，逐层接地，才能获得真正的意义。

如果只有最上层的符号层（就像现在的LLM），没有下层的感知基础，符号就是"空转"的——它们彼此连接，但从未触达真实世界。

三、争议：AI到底是"随机鹦鹉"还是真的有理解？

这个问题在AI界引发了激烈的争论，形成了三种主要立场。

立场一：「随机鹦鹉」论

2020年，语言学家艾米丽·本德（Emily Bender）和她的同事提出了一个尖锐的批评：大语言模型只是在"随机鹦鹉"——它们能模仿语言的模式，但并不真正理解内容。

就像一个会说话的鹦鹉，它能模仿你说"你好"，但它并不理解"你好"是什么意思。LLM只是在海量文本中学习到"猫"和"老鼠"经常一起出现，所以当你说"猫"的时候，它知道下一个词可能是"老鼠"——但这不等于它"理解"了猫和老鼠的关系。

立场二：肯定论——LLM确实有某种理解

另一派研究者认为，LLM在训练中构建了关于世界的"心理模型"。

支持这一观点的证据在增加：

2023年，Anthropic的研究发现，LLM的内部神经元确实编码了具体的概念——比如"金门大桥"的神经元，在提到金门大桥时会激活，不管语境是"金门大桥在哪"还是"金门大桥有多长"。
更近期的研究表明，LLM能进行推理、类比、计划——这些能力很难用"随机鹦鹉"来解释。

立场三：中间路线——“有局限的理解”

目前最受支持的立场是中间路线：LLM具备"推理语义"——理解符号之间的逻辑关系；但缺乏完整的"指称语义"——符号与真实世界对象的对应。

简单说：AI知道"猫"和"毛线球"之间的概念关系，但它不知道"猫"这个符号对应着一个真实的、毛茸茸的、会呼噜呼噜叫的生物。

这就像一个人从物理课本上学会了所有关于"火"的知识——火的化学方程式、燃烧的条件、火的温度——但他从未真正见过火、靠近过火、被火烫过。你说他"理解"火吗？理解了一些。但和真正摸过火的人比，他的理解是"残缺的"。

四、多模态是答案吗？——当AI开始"看"世界

如果问题的根源在于AI只有文字没有感官，那么一个自然的解决方案就是：给AI装上"眼睛"和"耳朵"。

这就引出了多模态模型——同时处理文本、图像、音频、视频的AI模型。

2021年，OpenAI的CLIP模型首次展示了语言和视觉的联合学习。CLIP在4亿张图片-文字对上进行训练，学会了将"猫"这个单词和猫的图片联系起来。

2023年之后的GPT-4V、Gemini、以及2025-2026年的多模态模型，进一步将这种能力推向了新的高度。

问题是：多模态解决了符号接地问题吗？

答案是：部分解决，但没有完全解决。

多模态确实让AI多了一层"接地"——“猫"这个符号不再只是和其他文本符号关联，还和猫的视觉特征关联。但这仍然不是"真正的接地”：

AI看到的图片是二维的，不是真实的猫
AI没有触觉、没有嗅觉、没有身体与世界的互动
AI没有"被猫抓过"的痛感，没有"猫毛蹭到腿上"的触感

真正的接地，可能需要具身——一个能感知、能行动、能与环境互动的物理身体。

这正是具身智能（Embodied AI）研究的方向。2024-2026年，具身智能领域取得了显著进展：机器人学会了在复杂环境中导航、操作物体、与人类协作。但距离"拥有真正的感知经验"，还有很长的路要走。

AI不需要你教它——它自己就从例子中学会了，甚至连DNA都不放过

Wed, 22 Jul 2026 02:29:00 +0800

引言：你教AI的方式，可能彻底错了

想象你要教一个朋友认识一种新水果。

你拿出了一个芒果，说：“这是芒果。”

然后你拿出第二个芒果，说：“这也是芒果。”

到第三个的时候，你朋友自己就学会了——“我懂了，芒果是这种黄色的、有甜味的东西。”

这不神奇。人类每天都在做这种事。

但AI也能做同样的事，而且方式比人类更不可思议。

你给它几个例子，它就能"学会"一个新任务——不用重新训练，不用调整参数，不用更新模型权重。你只是把几个例子放在它的"输入框"里，它就能按照你的意图去执行。

这种能力，叫做上下文学习（In-Context Learning, ICL）。

你可能会想：“这有什么了不起的？不就是让AI记住几个例子然后模仿吗？”

但问题在于——没有人知道它为什么能做到。

2020年GPT-3横空出世时，1750亿参数规模让ICL能力"涌现"了。但六年过去了，我们对这个问题的理解，才刚刚开始触及核心。

而2026年的一项新发现，把这个问题推向了更深的层次：

ICL不仅仅是人类语言的专属能力。它在DNA序列模型上，同样涌现了。

一、什么是"上下文学习"？——它比你想象的更奇怪

先理解ICL到底是什么。

想象你是一个大模型，被训练来"预测下一个词"。

训练时，你读了整个互联网——从维基百科到Reddit论坛，从学术论文到菜谱。你学会的是：给定前面的话，猜出后面的话最可能是什么。

然后有一天，有人给你看了一段话：

“把英文翻译成中文： hello -> 你好 good morning -> 早上好 I love AI -> "

你还记得吗？你从来没被专门训练过"翻译任务”。你只是被训练来"预测下一个词"。

但你的内部机制做了一件奇怪的事：你从给出的例子中"提取"了一个模式，然后把"翻译任务"转化成了"预测下一个词"任务。

你看到三个英文-中文配对后，自动推断出：哦，这个上下文的规则是"把英文翻译成中文"。所以当看到"I love AI"时，你预测下一个词是"我爱人工智能"。

这就是ICL——不需要额外训练，不需要梯度更新，仅仅通过几个例子，模型就学会了新任务。

听起来很神奇，对吧？

但更神奇的事情是：这个能力不是任何人有意识设计出来的。 没有人写代码说"让GPT-3学会从例子中学习"。它只是被训练来预测下一个词，然后这个能力就自己涌现了。

就像你种了一棵苹果树，结果它不仅长了苹果，还长出了柠檬——你完全不确定它是怎么做到的。

二、传统的解释：ICL是语言的"副产品"

对于ICL为什么会出现，最初的主流解释是：

ICL是语言模型在语言数据上训练的"副产品"。

逻辑是这样的：

人类语言中充满了"类比"和"模式"——比如我们经常会说"就像……一样"、“例如……”
语言模型在训练时见过了无数这样的例子
所以它学会了"从例子中推测规则"的通用能力
这个能力被"迁移"到了所有任务上

这个解释听起来很合理，对吧？甚至有点"理所当然"。

但2026年，这个解释被彻底推翻了。

三、颠覆性的发现：ICL在DNA模型上同样涌现

Johns Hopkins大学的研究团队做了一个实验。

他们选择了Evo2——一个被训练来预测DNA序列的模型。DNA序列由A、C、G、T四个碱基组成，像一本用四个字母写成的天书。

Evo2的训练目标很简单：给定一段DNA序列，预测下一个碱基是什么。

注意：Evo2从来没有见过任何人类语言数据。 它不知道"你好"是什么意思，没见过"翻译任务"，也没读过"例子"这个概念的任何一个字。

但研究团队做了以下测试：

他们给Evo2看一些"例子"——比如，给出一段DNA序列，然后在末尾加上对应的功能标注。然后再给一段新的DNA序列，问Evo2：“根据前面的例子，这段序列的功能标注应该是什么？”

结果：Evo2展现出了和GPT-3完全一样的ICL模式——随示例数量增加，性能稳定提升。

DNA模型，没有接触过任何人类语言，没有"类比"概念，没有"例子"这个训练数据——但它仍然学会了"从例子中学习"。

这个发现彻底改变了我们对ICL的理解：

ICL不是人类语言的副产品。 ICL不是"类比推理"的产物。 ICL甚至不是"文本"的专属能力。

ICL是——当一个模型被训练预测足够复杂的序列数据中的下一个元素时，自然涌现的通用能力。