表征学习 on 灵语AI

AI的「遗忘」艺术——为什么学会丢掉信息，才是真正的智能

Sat, 25 Jul 2026 02:29:00 +0800

引言：你的大脑，是一个"遗忘大师"

我们来做一个小实验。

回想一下，上周三的午饭你吃了什么？如果你能立刻回答出来，那你属于少数人。大多数人需要想一会儿，甚至根本想不起来。

但这不是问题——这是优点。

你每天摄入海量的信息：看到的、听到的、闻到的、触摸到的、思考到的。如果全部记住，你的大脑会迅速被撑爆。所以你的大脑做了一个极其聪明的选择：只保留"可能有用"的信息，扔掉其余的。

你可以准确说出自己家的地址，但记不住昨天路过的那家便利店门口垃圾桶的颜色。

你可以认出朋友的脸，但记不住他上周三穿的是什么颜色的袜子。

你之所以智能，不是因为你会记住，而是因为你学会了遗忘。

这个看似简单的道理，其实是AI领域最深刻的理论之一。它有一个名字，叫信息瓶颈（Information Bottleneck）。

一、信息瓶颈是什么？——一个"抄笔记"的隐喻

想象你在上数学课。

老师讲了一道很复杂的微积分题，你需要在有限的时间内记笔记。

你有两种记法：

第一种：逐字逐句地记。

老师说的每一个字你都记下来——“好，我们来看这道题，第一步，先求导……“你连老师的语气词都没放过。下课后，你的笔记本比老师的教案还厚。

但问题是，你记了这么多，真正有用的信息被淹没在大量废话里了。 考试的时候，你根本找不到重点。

第二种：只记关键步骤。

你快速判断：这道题的核心是"链式法则”。你只记下关键公式和两个关键步骤，其他的都忽略。笔记只有三行，但每一行都是精华。

信息瓶颈理论要回答的，就是这个问题：如何找到"最优的笔记”？

它正式的定义是这样的：

给定输入X（老师讲的全部内容）和输出Y（考试要考的知识点），找到一个压缩表示Z（你的笔记），使得：

Z尽可能小（压缩率高，笔记简洁）

Z尽可能保留关于Y的信息（预测能力强，考试能拿分）

这两个目标相互矛盾。 笔记越简洁，丢失的信息越多，预测能力可能下降；笔记越详细，预测能力越强，但压缩率差。

信息瓶颈理论的核心贡献是：它给出了这个权衡的数学最优解。

二、一个公式，道尽智能的本质

信息瓶颈的核心公式，其实只有一行：

最小化：I(X;Z) — β × I(Z;Y)

不要被公式吓到——它表达的是一种我们每天都在做的直觉判断。

让我们拆解一下：

I(X;Z)：你的笔记（Z）包含的原始信息（X）的量。这个值越小，说明你的笔记越"压缩"。
I(Z;Y)：你的笔记（Z）能预测考试内容（Y）的能力。这个值越大，说明你的笔记越"有用"。
β：一个调节旋钮，控制你更看重"简洁"还是"准确"。

这个公式的哲学是：最优的智能，不是"记住最多信息"，而是"用最少的信息，保留最多的价值"。

β=0时，你只关心压缩，笔记只有一行"今天上了数学课"——考试肯定挂。

β=很大时，你只关心预测，笔记有几万字——信息过载，考试时找不到重点。

β=最优值时，你的笔记刚好记下关键点——考试时思路清晰，效率最高。

这个"最优值"对应的笔记，就是信息瓶颈理论所说的"最优表征"。

三、深度学习，本质上就在做这件事

2015年，信息论专家纳夫塔利·蒂什比（Naftali Tishby）提出了一个大胆的观点：深度神经网络训练的过程，本质上就是在解信息瓶颈问题。

他做了一个实验，让一个神经网络在手写数字识别任务上训练，然后观察每一层神经元在训练过程中的变化。

结果非常有趣：

第一阶段：拟合（Fitting）

刚开始训练时，网络在"记住"训练数据。每一层的神经元都在努力获取关于输入X的信息——I(X;Z)迅速上升。

这就像你刚开始听课时的状态——拼命记笔记，生怕漏掉一个字。

第二阶段：压缩（Compression）

训练到一定阶段后，网络开始"遗忘"。它不再关注输入中的无关细节，而是只保留对分类有用的特征。

I(X;Z)下降，但I(Z;Y)保持不变甚至上升——你丢掉了废话，留下了精华。

这就是深度学习成功的秘密：它不是在学习"记住所有东西"，而是在学习"忘记不重要的东西"。

一个没有经过充分训练的AI，就像那个逐字逐句记笔记的学生——它记住了训练数据的每一个细节，但换一个场景就不知所措了（这就是我们说的"过拟合"）。

一个训练充分的AI，就像那个只记关键点的学生——它抓住了问题的本质，即使面对新情况也能灵活应对（这就是"泛化能力"）。

信息瓶颈理论告诉我们：泛化能力，本质上就是压缩能力。

四、为什么"忘记"比"记住"更难？

你可能会想：既然压缩这么重要，那让AI使劲压缩不就行了？

没那么简单。因为压缩的前提是：你知道什么该保留，什么该丢弃。

一个刚出生的婴儿，分不清"妈妈的脸"和"天花板的颜色"哪个更重要。他需要大量的学习和经验，才能建立起"哪些信息值得保留"的判断力。

同样，AI在训练初期也不知道什么特征重要。它需要反复试错，才能学会"压缩"。

这就是为什么深度学习需要海量数据——不是为了让AI记住更多，而是为了让AI学会该忘记什么。

信息瓶颈理论揭示了另一个惊人的事实：最优的压缩，会自然地出现在神经网络的不同层之间。

如果你把神经网络看成一个流水线：

第一层：处理最原始的信息（像素级别的颜色、边缘）
中间层：开始提取有意义的模式（形状、纹理）
最后一层：只保留最"有用"的特征（“这是一只猫"的判断）

每一层都在做一次信息瓶颈——压缩输入，保留对下一层有用的信息。

自学成才的AI——没有老师，它是怎么学会「看懂」世界的？

Tue, 21 Jul 2026 02:31:20 +0800

引言：你给AI看了一亿张图，但没告诉它任何一张是什么

想象你是一个刚出生的婴儿，被扔进一个充满图片的世界。

没有人指着猫说"这是猫"，没有人告诉你"这是红色"、“那是圆形”。你只能自己看、自己比较、自己找规律。

你会怎么学习？

这个问题的答案，指向了AI领域过去几年最深层的变革之一——自监督学习。

传统的AI训练方式很"娇气"：需要人类一张一张地标注数据。“这张图是猫，那张图是狗，这张是车……” 标注一亿张图需要的人力成本，够一个中型公司破产好几次。

但现实世界的数据是没有标签的——互联网上每天产生数亿张图片，没人在上面写"这是风景"或"这是美食"。如果AI只能从有标签的数据中学习，它的"视野"就永远被人类标注的边界所限制。

自监督学习改变了这一切。 它让AI在没有人类老师的情况下，自己从海量无标签数据中学习。

但问题是：AI真的"学会"了吗？还是只是在玩一场自己设计规则的、精妙的游戏？

一、策略一：找不同——“这两张图是同一个东西吗？”

第一种自监督学习策略，叫对比学习。它的思路简单到令人发指：

给AI看两张图，问它：这两张是同一个东西的"变体"，还是完全不同的东西？

以SimCLR（2020年Google提出）为代表，这套方法的玩法是这样的：

第一步：从一张猫的图片出发，做两次不同的"整容"——一次把它旋转+裁剪，一次给它调色+模糊。这两张"整容后"的图片，就是"正样本对"——它们是同一个东西的不同版本。

第二步：再从同一个训练批次里，随机抓一堆其他图片（狗、车、树……），作为"负样本"——这些是"不同东西"。

第三步：让AI把所有图片映射到一个"嵌入空间"里——一个高维的"特征地图"。要求是：正样本对在空间里靠得近，负样本对在空间里离得远。

就这么简单？差不多。

打个比方：

想象你在一个巨大的派对上，所有人戴着面具。你的任务是：找到你的双胞胎兄弟。

你只有一次机会——你可以在人群中任意选两个人，问：“他们是不是同一个人的不同造型？”

每问一次，你就学到一点特征：哦，原来我兄弟的身形轮廓是稳定的，但衣服颜色可以变；原来他的身高是特征，但站姿不是。

SimCLR做的就是这件事——只不过它问了上亿次。

效果如何？ 惊人地好。SimCLR在ImageNet上的分类准确率达到了76.5%，接近甚至超过了当时许多有监督学习方法。而且它学到的"视觉特征"非常通用——不仅在分类任务上表现好，在目标检测、语义分割等其他任务上也能迁移使用。

但问题来了：它真的"理解"猫是什么了吗？

仔细想想SimCLR实际在做的事：它只是被训练去"让同一张图片的两个增强版本靠近，让不同图片的版本远离"。它从来没有被告知"猫"这个概念，也不知道"猫"和"狗"的边界在哪里。

它能区分猫和狗，是因为猫和狗在自然图像中的底层结构差异足够大——它们占据的"像素空间"区域天然不同，经过增强后仍然不同。SimCLR的"靠近/远离"操作，恰好利用了这种天然差异。

也就是说：SimCLR不是在"理解语义"，而是在"利用数据的统计结构"。 它发现了一个"好用的区分方式"，但这个方式恰好与人类的语义类别对齐了。

这不是坏事——实际上，这种"对齐"正是自监督学习的核心价值。但认识到这一点很重要：AI的"聪明"和人类的"理解"，底层逻辑可能完全不同。

二、策略二：填空——“遮住大部分，猜出少部分”

第二种策略，来自一个更直观的想法：如果你能完美地猜出被遮住的部分，说明你真的理解了整体。

这就是MAE（Masked Autoencoder，掩码自编码器，2021年Meta提出）的核心思路。

玩法是这样的：

第一步：把一张猫的图片切成196个16x16的小块，然后随机遮住其中75%——只留49个小块可见。

第二步：把剩下的49个可见小块输入编码器，让编码器"看"这49个碎片。

第三步：用一个轻量解码器，从这49个碎片中重建出全部的196个小块——包括被遮住的那147个。

关键点： 编码器只看25%的碎片，解码器必须重建100%的图像。

为什么遮住75%这么极端？

因为如果只遮住10%，AI可以靠"邻接像素的颜色渐变"来填充——就像你在Photoshop里用"内容感知填充"一样。但遮住75%后，邻接信息几乎没有了，AI必须真正理解"这张图里有一只猫在草地上"才能猜出猫耳朵的位置、草地的纹理。

打个比方：

给你看一张拼图的25块碎片，要你猜出整幅拼图的内容——包括你完全没看到的那些碎片。

如果你猜对了，那说明你真的从这些碎片中"推导"出了整幅图的结构——而不是简单地"填补"了空白。

MAE的效果更是惊人： 在ImageNet上达到了87.8%的Top-1准确率，并且展现出极强的规模扩展性——模型越大，效果越好。

但它真的"理解"了吗？

从Ω-CFI框架来看，MAE的本质是一个高维空间中的条件生成模型：给定稀疏的观测（25%的可见块），在隐空间中构建一个"低秩流形"，让缺失部分在这个流形上的投影误差最小。

说人话就是：MAE不是在"理解语义"，而是在"找到自然图像在数学空间中的低维结构"。因为自然图像——无论是猫、狗、还是风景——本质上都存在于一个低维流形上（即"真实世界图像"只占所有可能像素组合的极小一部分）。MAE通过高掩码率，迫使模型找到这个流形。

这里的微妙之处： 这个"低维流形"恰好与人类语义结构高度重合。不是因为MAE理解了"猫"是什么，而是因为"猫"这个语义概念在像素空间中也对应着一个低维结构。

所以MAE的"理解"是一种数学上的巧合，还是真正的认知？ 这个问题，比它看起来要深得多。

三、策略三：自举——“我猜我猜我猜猜猜”

第三种策略，也是最反直觉的一个——BYOL（Bootstrap Your Own Latent，自举潜在表征，2020年DeepMind提出）。

它的思路是：让AI自己给自己当老师。

玩法：

同时训练两个网络——一个"学生"（在线网络）和一个"老师"（目标网络）。

第一步：对同一张猫的图片做两种不同的增强，分别喂给学生和老师。

第二步：学生试着预测老师会给出什么表征。

第三步：学生的参数更新，老师的参数缓慢地向学生靠拢（通过EMA——指数移动平均）。

最关键的是：BYOL不使用任何负样本。

等等，没有负样本？那它不会"学偏"吗？

想象一下，如果AI只需要"靠近"而不需要"远离"，它最后会怎样？——所有图片的表征会坍缩到同一个点，因为"全都靠近"比"有选择地靠近"容易得多。