<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>对抗样本 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E5%AF%B9%E6%8A%97%E6%A0%B7%E6%9C%AC/</link>
		<description>Recent content in 对抗样本 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Sun, 26 Jul 2026 02:29:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E5%AF%B9%E6%8A%97%E6%A0%B7%E6%9C%AC/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>AI的「视觉错觉」——为什么一张贴纸就能骗过世界上最聪明的AI</title>
				<link>https://lingyu7.com/posts/ai-visual-illusion-adversarial-examples/</link>
				<pubDate>Sun, 26 Jul 2026 02:29:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/ai-visual-illusion-adversarial-examples/</guid>
				<description>&lt;h2 id=&#34;引言一张贴纸让最聪明的ai变成了盲人&#34;&gt;引言：一张贴纸，让最聪明的AI变成了&amp;quot;盲人&amp;quot;&lt;/h2&gt;&#xA;&lt;p&gt;2017年，一群研究人员做了一个实验。&lt;/p&gt;&#xA;&lt;p&gt;他们在路边放了一个&amp;quot;停止&amp;quot;标志牌——红底白字，八边形，全世界的司机都认识。然后，他们在上面贴了几张小小的黑白贴纸，贴的位置看起来毫无规律。&lt;/p&gt;&#xA;&lt;p&gt;接着，他们让一辆搭载了最先进AI识别系统的测试车驶过这个标志牌。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;结果令人震惊：AI把&amp;quot;停止牌&amp;quot;认成了&amp;quot;限速牌&amp;quot;。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;贴纸的位置和图案是精心设计的——对人类来说，它们只是毫无意义的涂鸦，不影响我们认出&amp;quot;停止牌&amp;quot;。但AI的&amp;quot;眼睛&amp;quot;被这些贴纸彻底欺骗了。它看到了一个和&amp;quot;停止牌&amp;quot;完全不同的东西。&lt;/p&gt;&#xA;&lt;p&gt;这不是科幻电影的情节。这是真实发生的实验。这种能让AI&amp;quot;看错&amp;quot;的特殊图案，有一个名字：&lt;strong&gt;对抗样本（Adversarial Examples）&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;它们被称为&amp;quot;AI的视觉错觉&amp;quot;——就像人类会被&amp;quot;视觉错觉图&amp;quot;骗到一样，AI也有自己的&amp;quot;视觉错觉&amp;quot;。但和人类视觉错觉不同的是，&lt;strong&gt;AI的&amp;quot;错觉&amp;quot;可以被精确地设计和制造，而且几乎无法通过&amp;quot;多看两眼&amp;quot;来纠正。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;一对抗样本是什么一个差之毫厘谬以千里的故事&#34;&gt;一、对抗样本是什么？——一个&amp;quot;差之毫厘，谬以千里&amp;quot;的故事&lt;/h2&gt;&#xA;&lt;p&gt;先来看一个更经典的例子。&lt;/p&gt;&#xA;&lt;p&gt;2015年，Goodfellow和他的团队做了一个实验：&lt;/p&gt;&#xA;&lt;p&gt;他们给AI看一张熊猫的照片。AI以99.9%的置信度判断：&amp;ldquo;这是一只熊猫&amp;rdquo;。&lt;/p&gt;&#xA;&lt;p&gt;然后，他们在原始图片上叠加了一层肉眼几乎看不见的&amp;quot;噪声&amp;quot;——就像电视信号不好时画面上的雪花点。&lt;strong&gt;这层噪声极淡，淡到人眼根本无法察觉。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;但AI再看这张图时，它说：&amp;ldquo;这是一只长臂猿&amp;rdquo;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;原始图片 vs 加了噪声的图片——人眼看几乎一模一样，AI眼里却天差地别。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这就是对抗样本的&amp;quot;核心魔法&amp;quot;：&lt;strong&gt;在人类无法察觉的微小变化上，AI的判断可以发生180度大转弯。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;对抗样本的正式定义是这样的：&lt;/p&gt;&#xA;&lt;blockquote&gt;&#xA;&lt;p&gt;对原始输入（一张图片、一段音频、一段文字）施加一个&lt;strong&gt;人类无法察觉的微小扰动&lt;/strong&gt;，使得AI模型的输出&lt;strong&gt;发生显著错误&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;p&gt;这个扰动不是随机的，而是&lt;strong&gt;精心设计的&lt;/strong&gt;——它针对的是AI模型的&amp;quot;弱点&amp;quot;。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;二为什么ai会被骗因为ai的看和你的看不一样&#34;&gt;二、为什么AI会被骗？——因为AI的&amp;quot;看&amp;quot;和你的&amp;quot;看&amp;quot;不一样&lt;/h2&gt;&#xA;&lt;p&gt;要理解这件事，你需要先理解一个关键的区别：&lt;strong&gt;AI的&amp;quot;眼睛&amp;quot;和你的眼睛，工作原理完全不同。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h3 id=&#34;人类怎么看&#34;&gt;人类怎么&amp;quot;看&amp;quot;？&lt;/h3&gt;&#xA;&lt;p&gt;你看到&amp;quot;停止牌&amp;quot;的时候，大脑做的是&lt;strong&gt;语义理解&lt;/strong&gt;——你看到的是&amp;quot;一个红色的八边形，上面写着&amp;rsquo;停&amp;rsquo;这个字&amp;quot;。你提取了它的&lt;strong&gt;意义&lt;/strong&gt;，而不是它的&lt;strong&gt;像素值&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;即使停止牌上沾了点泥巴、被风吹歪了30度、或者上面贴了几张贴纸——你依然能认出它。因为你的大脑在做&amp;quot;概念匹配&amp;quot;：不管细节怎么变，只要核心特征（红色、八边形、中间有字）在，就是&amp;quot;停止牌&amp;quot;。&lt;/p&gt;&#xA;&lt;h3 id=&#34;ai怎么看&#34;&gt;AI怎么&amp;quot;看&amp;quot;？&lt;/h3&gt;&#xA;&lt;p&gt;AI看到一张图片时，它看到的不是&amp;quot;概念&amp;quot;，而是&lt;strong&gt;数字&lt;/strong&gt;。一张图片在AI眼里，就是一个巨大的数字矩阵——每个像素点有三个数字（红、绿、蓝的亮度值），范围从0到255。&lt;/p&gt;&#xA;&lt;p&gt;&amp;ldquo;停止牌&amp;quot;对于AI来说，就是&amp;quot;R=200, G=25, B=25&amp;rdquo;（红色区域）和&amp;quot;R=255, G=255, B=255&amp;quot;（白色文字区域）的特定排列组合。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;AI的&amp;quot;识别&amp;quot;过程，本质上是在做&amp;quot;数字模式匹配&amp;quot;——它从海量的训练数据中学习到：&amp;ldquo;当这些数字以某种方式排列时，它应该输出&amp;rsquo;停止牌&amp;rsquo;&amp;quot;。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;h3 id=&#34;关键差异ai对微小变化的极度敏感&#34;&gt;关键差异：AI对&amp;quot;微小变化&amp;quot;的极度敏感&lt;/h3&gt;&#xA;&lt;p&gt;人类大脑处理的是&amp;quot;语义层级&amp;rdquo;——你看到的是&amp;quot;概念&amp;quot;和&amp;quot;意义&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;AI处理的是&amp;quot;数字层级&amp;quot;——它看到的是&amp;quot;数值&amp;quot;和&amp;quot;模式&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;这意味着：&lt;strong&gt;对人类来说微不足道的数值变化，对AI来说可能是天翻地覆的模式变化。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;想象你在一个巨大的数字矩阵中做微调：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;把&amp;quot;停止牌&amp;quot;图片中某个像素的红色值从200调到210&lt;/li&gt;&#xA;&lt;li&gt;把另一个像素的蓝色值从50调到55&lt;/li&gt;&#xA;&lt;li&gt;重复1000次这样的微调&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;strong&gt;对人类来说，这些变化无法察觉。&lt;/strong&gt; 因为&amp;quot;红色&amp;quot;仍然是&amp;quot;红色&amp;quot;，&amp;ldquo;八边形&amp;quot;仍然是&amp;quot;八边形&amp;rdquo;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;但对AI来说，这些变化的累积效果，可能让它看到的&amp;quot;数字模式&amp;quot;完全变成了另一个东西。&lt;/strong&gt; 就像你在一个密码锁上，把每个数字都拨动了一点点——组合起来，密码就完全变了。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;三对抗样本是怎么造出来的问aiai就会告诉你&#34;&gt;三、对抗样本是怎么造出来的？——&amp;ldquo;问AI，AI就会告诉你&amp;rdquo;&lt;/h2&gt;&#xA;&lt;p&gt;2015年，Goodfellow提出了一个极简的对抗样本生成方法，叫&lt;strong&gt;FGSM（快速梯度符号法）&lt;/strong&gt;。它的原理简单到令人惊讶：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第一步：把图片输入AI，让AI执行正常的识别流程。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这是&amp;quot;前向传播&amp;quot;——图片通过神经网络的每一层，最终得到一个输出：&amp;ldquo;这只熊猫的概率是99.9%&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第二步：问AI一个问题——&amp;ldquo;如果要让输出变成&amp;rsquo;长臂猿&amp;rsquo;，图片应该怎么改？&amp;rdquo;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这是&amp;quot;反向传播&amp;rdquo;——计算梯度。梯度告诉我们：如果改变这个像素的值，AI的输出会往哪个方向变化。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第三步：在所有像素上，沿着&amp;quot;让输出变成&amp;rsquo;长臂猿&amp;rsquo;&amp;ldquo;的方向，都走一小步。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这一步产生的&amp;quot;噪声&amp;rdquo;，就是对抗样本的核心。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;关键点：这个过程只需要一次&amp;quot;前向传播&amp;quot;和一次&amp;quot;反向传播&amp;quot;。&lt;/strong&gt; 也就是说，你只需要问AI一次&amp;quot;怎么改你才会犯错&amp;quot;，AI就会告诉你答案。&lt;/p&gt;&#xA;&lt;p&gt;这就像你问一个密码锁：&amp;ldquo;我的密码是0000，但我想打开它。告诉我，每个数字应该怎么调？&amp;ldquo;密码锁回答说：&amp;ldquo;第一位+3，第二位-1，第三位+2，第四位-5。&amp;quot;——然后你就知道了正确的密码。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;AI对对抗样本的&amp;quot;脆弱性&amp;rdquo;，不是它的漏洞，而是它的特性。&lt;/strong&gt; 因为AI的决策过程是&amp;quot;可微分的&amp;rdquo;——你可以通过数学求导，找出&amp;quot;让AI犯错的最短路径&amp;rdquo;。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;四对抗样本告诉我们什么ai的理解是脆弱的&#34;&gt;四、对抗样本告诉我们什么？——AI的&amp;quot;理解&amp;quot;是脆弱的&lt;/h2&gt;&#xA;&lt;p&gt;对抗样本的存在，揭示了AI&amp;quot;理解&amp;quot;世界的三个深层真相。&lt;/p&gt;&#xA;&lt;h3 id=&#34;真相一ai看到的不是语义是表面特征&#34;&gt;真相一：AI看到的不是&amp;quot;语义&amp;quot;，是&amp;quot;表面特征&amp;quot;&lt;/h3&gt;&#xA;&lt;p&gt;AI在训练时，学到的不是&amp;quot;猫的概念&amp;quot;——它学到的是一组&amp;quot;猫图片的统计特征&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;这意味着，如果你在猫的图片上叠加一层精心设计的噪声，让AI的&amp;quot;猫特征统计&amp;quot;变成&amp;quot;狗特征统计&amp;quot;，AI就会把猫认成狗。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;AI的&amp;quot;知识&amp;quot;是统计性的，不是语义性的。&lt;/strong&gt; 它知道&amp;quot;猫&amp;quot;和&amp;quot;毛茸茸&amp;quot;、&amp;ldquo;有耳朵&amp;quot;经常一起出现，但它不知道&amp;quot;猫&amp;quot;是一个有生命的、会呼吸的、和人类有情感联系的动物。&lt;/p&gt;&#xA;&lt;h3 id=&#34;真相二ai的决策边界和人类的概念边界不重合&#34;&gt;真相二：AI的&amp;quot;决策边界&amp;quot;和人类的&amp;quot;概念边界&amp;quot;不重合&lt;/h3&gt;&#xA;&lt;p&gt;人类的概念有&amp;quot;鲁棒性&amp;rdquo;——&amp;ldquo;猫&amp;quot;的概念边界很宽，不管猫是黑是白、是胖是瘦、是坐是躺，你都能认出来。&lt;/p&gt;&#xA;&lt;p&gt;AI的决策边界是&amp;quot;精确但不鲁棒&amp;quot;的——它在训练数据覆盖的区域内表现很好，但在训练数据覆盖的边缘地带，可能突然崩溃。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
