神经网络本质 on 灵语AI

AI的「视觉错觉」——为什么一张贴纸就能骗过世界上最聪明的AI

Sun, 26 Jul 2026 02:29:00 +0800

引言：一张贴纸，让最聪明的AI变成了"盲人"

2017年，一群研究人员做了一个实验。

他们在路边放了一个"停止"标志牌——红底白字，八边形，全世界的司机都认识。然后，他们在上面贴了几张小小的黑白贴纸，贴的位置看起来毫无规律。

接着，他们让一辆搭载了最先进AI识别系统的测试车驶过这个标志牌。

结果令人震惊：AI把"停止牌"认成了"限速牌"。

贴纸的位置和图案是精心设计的——对人类来说，它们只是毫无意义的涂鸦，不影响我们认出"停止牌"。但AI的"眼睛"被这些贴纸彻底欺骗了。它看到了一个和"停止牌"完全不同的东西。

这不是科幻电影的情节。这是真实发生的实验。这种能让AI"看错"的特殊图案，有一个名字：对抗样本（Adversarial Examples）。

它们被称为"AI的视觉错觉"——就像人类会被"视觉错觉图"骗到一样，AI也有自己的"视觉错觉"。但和人类视觉错觉不同的是，AI的"错觉"可以被精确地设计和制造，而且几乎无法通过"多看两眼"来纠正。

一、对抗样本是什么？——一个"差之毫厘，谬以千里"的故事

先来看一个更经典的例子。

2015年，Goodfellow和他的团队做了一个实验：

他们给AI看一张熊猫的照片。AI以99.9%的置信度判断：“这是一只熊猫”。

然后，他们在原始图片上叠加了一层肉眼几乎看不见的"噪声"——就像电视信号不好时画面上的雪花点。这层噪声极淡，淡到人眼根本无法察觉。

但AI再看这张图时，它说：“这是一只长臂猿”。

原始图片 vs 加了噪声的图片——人眼看几乎一模一样，AI眼里却天差地别。

这就是对抗样本的"核心魔法"：在人类无法察觉的微小变化上，AI的判断可以发生180度大转弯。

对抗样本的正式定义是这样的：

对原始输入（一张图片、一段音频、一段文字）施加一个人类无法察觉的微小扰动，使得AI模型的输出发生显著错误。

这个扰动不是随机的，而是精心设计的——它针对的是AI模型的"弱点"。

二、为什么AI会被骗？——因为AI的"看"和你的"看"不一样

要理解这件事，你需要先理解一个关键的区别：AI的"眼睛"和你的眼睛，工作原理完全不同。

人类怎么"看"？

你看到"停止牌"的时候，大脑做的是语义理解——你看到的是"一个红色的八边形，上面写着’停’这个字"。你提取了它的意义，而不是它的像素值。

即使停止牌上沾了点泥巴、被风吹歪了30度、或者上面贴了几张贴纸——你依然能认出它。因为你的大脑在做"概念匹配"：不管细节怎么变，只要核心特征（红色、八边形、中间有字）在，就是"停止牌"。

AI怎么"看"？

AI看到一张图片时，它看到的不是"概念"，而是数字。一张图片在AI眼里，就是一个巨大的数字矩阵——每个像素点有三个数字（红、绿、蓝的亮度值），范围从0到255。

“停止牌"对于AI来说，就是"R=200, G=25, B=25”（红色区域）和"R=255, G=255, B=255"（白色文字区域）的特定排列组合。

AI的"识别"过程，本质上是在做"数字模式匹配"——它从海量的训练数据中学习到：“当这些数字以某种方式排列时，它应该输出’停止牌’"。

关键差异：AI对"微小变化"的极度敏感

人类大脑处理的是"语义层级”——你看到的是"概念"和"意义"。

AI处理的是"数字层级"——它看到的是"数值"和"模式"。

这意味着：对人类来说微不足道的数值变化，对AI来说可能是天翻地覆的模式变化。

想象你在一个巨大的数字矩阵中做微调：

把"停止牌"图片中某个像素的红色值从200调到210
把另一个像素的蓝色值从50调到55
重复1000次这样的微调

对人类来说，这些变化无法察觉。 因为"红色"仍然是"红色"，“八边形"仍然是"八边形”。

但对AI来说，这些变化的累积效果，可能让它看到的"数字模式"完全变成了另一个东西。 就像你在一个密码锁上，把每个数字都拨动了一点点——组合起来，密码就完全变了。

三、对抗样本是怎么造出来的？——“问AI，AI就会告诉你”

2015年，Goodfellow提出了一个极简的对抗样本生成方法，叫FGSM（快速梯度符号法）。它的原理简单到令人惊讶：

第一步：把图片输入AI，让AI执行正常的识别流程。

这是"前向传播"——图片通过神经网络的每一层，最终得到一个输出：“这只熊猫的概率是99.9%"。

第二步：问AI一个问题——“如果要让输出变成’长臂猿’，图片应该怎么改？”

这是"反向传播”——计算梯度。梯度告诉我们：如果改变这个像素的值，AI的输出会往哪个方向变化。

第三步：在所有像素上，沿着"让输出变成’长臂猿’“的方向，都走一小步。

这一步产生的"噪声”，就是对抗样本的核心。

关键点：这个过程只需要一次"前向传播"和一次"反向传播"。 也就是说，你只需要问AI一次"怎么改你才会犯错"，AI就会告诉你答案。

这就像你问一个密码锁：“我的密码是0000，但我想打开它。告诉我，每个数字应该怎么调？“密码锁回答说：“第一位+3，第二位-1，第三位+2，第四位-5。"——然后你就知道了正确的密码。

AI对对抗样本的"脆弱性”，不是它的漏洞，而是它的特性。 因为AI的决策过程是"可微分的”——你可以通过数学求导，找出"让AI犯错的最短路径”。

四、对抗样本告诉我们什么？——AI的"理解"是脆弱的

对抗样本的存在，揭示了AI"理解"世界的三个深层真相。

真相一：AI看到的不是"语义"，是"表面特征"

AI在训练时，学到的不是"猫的概念"——它学到的是一组"猫图片的统计特征"。

这意味着，如果你在猫的图片上叠加一层精心设计的噪声，让AI的"猫特征统计"变成"狗特征统计"，AI就会把猫认成狗。

AI的"知识"是统计性的，不是语义性的。 它知道"猫"和"毛茸茸"、“有耳朵"经常一起出现，但它不知道"猫"是一个有生命的、会呼吸的、和人类有情感联系的动物。

真相二：AI的"决策边界"和人类的"概念边界"不重合

人类的概念有"鲁棒性”——“猫"的概念边界很宽，不管猫是黑是白、是胖是瘦、是坐是躺，你都能认出来。

AI的决策边界是"精确但不鲁棒"的——它在训练数据覆盖的区域内表现很好，但在训练数据覆盖的边缘地带，可能突然崩溃。

AI的「遗忘」艺术——为什么学会丢掉信息，才是真正的智能

Sat, 25 Jul 2026 02:29:00 +0800

引言：你的大脑，是一个"遗忘大师"

我们来做一个小实验。

回想一下，上周三的午饭你吃了什么？如果你能立刻回答出来，那你属于少数人。大多数人需要想一会儿，甚至根本想不起来。

但这不是问题——这是优点。

你每天摄入海量的信息：看到的、听到的、闻到的、触摸到的、思考到的。如果全部记住，你的大脑会迅速被撑爆。所以你的大脑做了一个极其聪明的选择：只保留"可能有用"的信息，扔掉其余的。

你可以准确说出自己家的地址，但记不住昨天路过的那家便利店门口垃圾桶的颜色。

你可以认出朋友的脸，但记不住他上周三穿的是什么颜色的袜子。

你之所以智能，不是因为你会记住，而是因为你学会了遗忘。

这个看似简单的道理，其实是AI领域最深刻的理论之一。它有一个名字，叫信息瓶颈（Information Bottleneck）。

一、信息瓶颈是什么？——一个"抄笔记"的隐喻

想象你在上数学课。

老师讲了一道很复杂的微积分题，你需要在有限的时间内记笔记。

你有两种记法：

第一种：逐字逐句地记。

老师说的每一个字你都记下来——“好，我们来看这道题，第一步，先求导……“你连老师的语气词都没放过。下课后，你的笔记本比老师的教案还厚。

但问题是，你记了这么多，真正有用的信息被淹没在大量废话里了。 考试的时候，你根本找不到重点。

第二种：只记关键步骤。

你快速判断：这道题的核心是"链式法则”。你只记下关键公式和两个关键步骤，其他的都忽略。笔记只有三行，但每一行都是精华。

信息瓶颈理论要回答的，就是这个问题：如何找到"最优的笔记”？

它正式的定义是这样的：

给定输入X（老师讲的全部内容）和输出Y（考试要考的知识点），找到一个压缩表示Z（你的笔记），使得：

Z尽可能小（压缩率高，笔记简洁）

Z尽可能保留关于Y的信息（预测能力强，考试能拿分）

这两个目标相互矛盾。 笔记越简洁，丢失的信息越多，预测能力可能下降；笔记越详细，预测能力越强，但压缩率差。

信息瓶颈理论的核心贡献是：它给出了这个权衡的数学最优解。

二、一个公式，道尽智能的本质

信息瓶颈的核心公式，其实只有一行：

最小化：I(X;Z) — β × I(Z;Y)

不要被公式吓到——它表达的是一种我们每天都在做的直觉判断。

让我们拆解一下：

I(X;Z)：你的笔记（Z）包含的原始信息（X）的量。这个值越小，说明你的笔记越"压缩"。
I(Z;Y)：你的笔记（Z）能预测考试内容（Y）的能力。这个值越大，说明你的笔记越"有用"。
β：一个调节旋钮，控制你更看重"简洁"还是"准确"。

这个公式的哲学是：最优的智能，不是"记住最多信息"，而是"用最少的信息，保留最多的价值"。

β=0时，你只关心压缩，笔记只有一行"今天上了数学课"——考试肯定挂。

β=很大时，你只关心预测，笔记有几万字——信息过载，考试时找不到重点。

β=最优值时，你的笔记刚好记下关键点——考试时思路清晰，效率最高。

这个"最优值"对应的笔记，就是信息瓶颈理论所说的"最优表征"。

三、深度学习，本质上就在做这件事

2015年，信息论专家纳夫塔利·蒂什比（Naftali Tishby）提出了一个大胆的观点：深度神经网络训练的过程，本质上就是在解信息瓶颈问题。

他做了一个实验，让一个神经网络在手写数字识别任务上训练，然后观察每一层神经元在训练过程中的变化。

结果非常有趣：

第一阶段：拟合（Fitting）

刚开始训练时，网络在"记住"训练数据。每一层的神经元都在努力获取关于输入X的信息——I(X;Z)迅速上升。

这就像你刚开始听课时的状态——拼命记笔记，生怕漏掉一个字。

第二阶段：压缩（Compression）

训练到一定阶段后，网络开始"遗忘"。它不再关注输入中的无关细节，而是只保留对分类有用的特征。

I(X;Z)下降，但I(Z;Y)保持不变甚至上升——你丢掉了废话，留下了精华。

这就是深度学习成功的秘密：它不是在学习"记住所有东西"，而是在学习"忘记不重要的东西"。

一个没有经过充分训练的AI，就像那个逐字逐句记笔记的学生——它记住了训练数据的每一个细节，但换一个场景就不知所措了（这就是我们说的"过拟合"）。

一个训练充分的AI，就像那个只记关键点的学生——它抓住了问题的本质，即使面对新情况也能灵活应对（这就是"泛化能力"）。

信息瓶颈理论告诉我们：泛化能力，本质上就是压缩能力。

四、为什么"忘记"比"记住"更难？

你可能会想：既然压缩这么重要，那让AI使劲压缩不就行了？

没那么简单。因为压缩的前提是：你知道什么该保留，什么该丢弃。

一个刚出生的婴儿，分不清"妈妈的脸"和"天花板的颜色"哪个更重要。他需要大量的学习和经验，才能建立起"哪些信息值得保留"的判断力。

同样，AI在训练初期也不知道什么特征重要。它需要反复试错，才能学会"压缩"。

这就是为什么深度学习需要海量数据——不是为了让AI记住更多，而是为了让AI学会该忘记什么。

信息瓶颈理论揭示了另一个惊人的事实：最优的压缩，会自然地出现在神经网络的不同层之间。

如果你把神经网络看成一个流水线：

第一层：处理最原始的信息（像素级别的颜色、边缘）
中间层：开始提取有意义的模式（形状、纹理）
最后一层：只保留最"有用"的特征（“这是一只猫"的判断）

每一层都在做一次信息瓶颈——压缩输入，保留对下一层有用的信息。