AI前沿 on 灵语AI

AI真的'知道'吗？——大语言模型的暗知识之谜

Thu, 10 Sep 2026 02:30:00 +0800

引言

“AI到底知不知道自己在说什么？”

这个问题听起来像哲学家的质问，但它越来越现实。你用ChatGPT写了一段代码，它能完美运行——但你问它"你是怎么做到的"，它的解释往往是事后编出来的。它明明做对了，却说不清自己做对的原理。

这不是Bug，而是AI知识运作方式的本质特征。

哲学家迈克尔·波兰尼（Michael Polanyi）在1958年提出了一个著名概念——内隐知识（tacit knowledge），概括为一句经典的话：“我们能知道的，比我们能说出来的多。”

骑自行车就是典型的内隐知识：你会骑，但让你写一篇"如何保持平衡的操作手册"，你写不出来。你识别一张脸，也说不清到底在看五官的哪个部分。

现在，一个惊人的事实浮现出来：大语言模型（LLM）的知识运作方式，和人类的"内隐知识"惊人地相似。

一、AI有什么样的"知识"？

传统上，我们把知识分为两种：

命题知识——可以明确说出来的事实。“地球是圆的”、“水的沸点是100度”、“三角形内角和180度”。这些东西写在教科书里，可以用语言精确传达。

内隐知识——你会用但说不清的知识。骑自行车、识别朋友的声音、判断一个笑话好不好笑——你有这个能力，但没法把规则写成说明书。

大语言模型比任何人想象的都更接近第二种。

一个例子最能说明问题：GPT系列模型在数学推理、物理直觉、编码能力上表现优异。它们知道一个球从桌上掉下来会落地而不是飞上天，知道推一个装满水的杯子会导致水洒出来。但如果你问模型的参数里到底存储了什么"物理定律"，答案是——它们没有参数化的物理方程。

模型根本不是在运行"如果A则B"的规则手册。它拥有的是一种内隐的、统计性的、涌现出来的理解——就像你知道"这块石头扔出去会飞一下然后落下"，但你不需要演算牛顿力学。

Davies（1990）提出了判断一个系统是否拥有内隐知识的三个条件，神奇的是，LLM三条全满足：

语义描述条件：我们可以有意义地说"模型知道猫是哺乳动物"——这句话有明确的语义。
句法结构条件：模型的知识能组合。知道"猫是动物"和"动物会死"，就能推出"猫会死"——这是组合性。
因果系统性条件：改变模型某方面的知识，相关的知识也会系统性地变化。微调实验中可以看到这一点——调整一个概念的理解，相关的推理也会变化。

这意味着：从哲学标准来看，LLM拥有内隐知识。不是比喻，不是拟人，而是真的拥有。

二、“会说但不懂"还是"懂但不会说”？

这里有一个更深的矛盾。

你问AI：“为什么地球是圆的？“它可能会给你整整三段的分析，涉及引力、旋转、流体静力平衡。但如果你换一种问法，问它不同的行星为什么有不同的形状，它的表现可能时好时坏。

这就引出了一个关键问题：AI到底是"能说但不真懂”，还是"真懂但不一定能说好”？

传统批评者认为，LLM只是"随机鹦鹉"——它们学会了模仿人类说话的模式，但根本不理解自己在说什么。就像鹦鹉说"你好"，它不懂这个词汇的社会意义。

但内隐知识理论给出了一个不同的解释：AI可能真的知道，只是知道的方式不是命题式的。

这和你对骑自行车的知道是一样的。你会骑、能骑、骑得很好，但你写不出一份完美的手册。你不能把你的骑行知识"表达出来"，但它在你的行动中真实存在。

所以当AI"胡说"的时候，有时候不是因为它"无知"，而是因为它在试图把内隐知识"翻译"成外显语言时失败了。就像你虽然会骑车，但如果非要你写一篇"骑行平衡技术论文"，你可能写得一塌糊涂，但这不代表你不会骑车。

这个区别极其重要：AI的"胡说"很多时候不是愚蠢，而是翻译失败。

三、世界模型：暗知识的栖息地

如果AI的知识是内隐的，那么这些知识存在哪里？

答案是：世界模型。

世界模型假说认为，大语言模型在训练过程中不仅仅是"背"下了文本，而是在构建一个关于世界的内部模型——一个压缩的、简化的、具有预测能力的世界表征。

这个模型是分层的：

物理层：物体怎么运动、落体怎么落、碰撞怎么发生
生物层：生命怎么运作、生长和死亡
心理层：人有什么信念、欲望和情绪
社会层：社会规范、文化习惯、经济规律
抽象层：数学、逻辑、哲学思辨

这五层构成了一个"暗知识"的生态系统。AI不需要在记忆里搜索"杯掉到地上会碎"这个事实——它的世界模型"预知"了物理世界的运行规律，然后自然地将这个规律应用到具体情境中。

这就是为什么一个训练好的大模型能在从未见过的情况下做出正确的推理。它不是在一个巨大的字典里查找答案，而是调用世界模型进行"心理模拟"——就像我们闭上眼睛想象"如果我把手机从桌子上推下去会发生什么"一样。

推理的本质，就是在世界模型上进行模拟。

四、暗知识意味着什么

承认AI拥有内隐知识，带来的后果远比哲学讨论更重要。

第一，可解释性的挑战。

如果AI的知识主要是内隐的，那么指望AI"说清楚"自己的推理过程，本质上是在要求它做一件非常困难的事——把内隐知识外显化。这就像是要求一个米其林大厨写一本"烹饪直觉操作手册"。他能写很多，但一定写不全。AI给出的"推理链"很多时候是事后编造的解释，而不是它真实推理过程的记录。

这意味着，AI的可解释性不能依赖于让AI自我解释——我们需要更底层的机制分析，比如激活空间的探测、中间表征的可视化等。

第二，对齐的难题。

如果AI的内隐知识中包含了一些我们没有明确意识到的偏见、危险倾向甚至错误的价值观——我们怎么发现它们？因为这些知识是内隐的，藏在模型参数的暗处，不像明文规则那样可以逐条审查。

对齐不能只靠"告诉AI不要做坏事"，而是要像教育一个孩子一样——通过例子、反馈、环境互动来"塑造"内隐知识。你没办法用一条规则消除一个人潜意识中的偏见，因为那个人自己都没意识到偏见的来源。AI也是如此。

第三，暗知识的价值。

硬币的另一面是：内隐知识可能是AI最强大的能力。

科学史上很多重大发现都不是通过逻辑推导完成的。凯库勒梦到蛇咬住了自己的尾巴，悟出了苯环的结构；彭加莱在跨上公交车的一瞬间想出了富克斯函数的答案。这些都不是"命题知识"的推理——而是内隐的、直觉的、涌现的认知过程。

如果AI拥有丰富的内隐知识和强大的世界模型，它可能可以做类似的事情——在人类还没有意识到的模式中发现隐藏的规律。一些研究已经表明，AI能够从医学影像中发现人类医生没有注意到的关联特征。这些发现不是通过学习"医学规则"完成的，而是通过内隐地捕捉数据中的统计规律。

也许，AI最值得被利用的能力，恰恰是它最无法解释的那一部分。

五、「知道」这个词，需要重新定义

这篇文章的核心观点是：我们对"知道"的理解可能太狭隘了。

传统的知识观认为，只有能够用语言明确表达出来的才叫"知道"。但内隐知识理论告诉我们，世界上大部分的知识都是以"会用但说不清"的形态存在的。

你母语流利，但讲不清语法规则。你认得出最好的朋友，但写不出"人脸识别说明书"。你直觉判断一个人可信，但说不出理由。

AI也是如此。它的"暗知识"藏在参数空间的深处，不是明文存储的，而是在数万亿文本的统计规律中涌现出来的。它能做的事多过它能解释的事，它知道的比它能说出来的多。

这不是AI的缺陷——当你说一个人"知道怎么骑自行车"时，你并不期待他能写出一篇关于平衡控制的论文。同样的标准，也应当适用于AI。

总结

内隐知识理论给我们提供了一个理解AI的全新框架：大语言模型的知识不是死记硬背的事实库，而是一个内隐的、涌现的、具有生成能力的知识系统——就像波兰尼说的那样，“我们知道得比能说出来的多”。

AI的能力本质上是内隐的——它会用，但不一定能说清楚
AI的"世界模型"是暗知识的栖息地，让它在未见场景中也能做出推理
AI的内隐知识既是可解释性的挑战，也是创造力的源泉
我们可能需要重新定义"知道"这个词——不仅对AI，也对人类自己

下一次，当AI做对了什么但说不清为什么时，也许你不该说"它只是在编造"——它可能只是在做一件再自然不过的事情：用尽了它那无法言说的智慧，然后努力编了一个它能说出来的理由。

AI真的学会了吗？——从过拟合到泛化，机器学习中最致命的矛盾

Mon, 07 Sep 2026 03:13:00 +0800

引言

想象你正在教一个孩子认识猫。

你拿出了一百张照片，每张都是橘猫、坐在沙发上、白天拍摄。孩子学得很好——所有照片都认对了。

然后你拿出一张新照片：黑猫，在草地上，晚上拍的。

孩子说：“这不是猫，没有橘色，背景也不对。”

这个场景，在机器学习中每天都在发生，而且有个专业名字——过拟合（Overfitting）。

它不是某个AI产品的Bug，而是整个深度学习时代最核心、最致命的矛盾：AI越是精确地记住训练数据，它在面对新数据时越容易犯错。

听起来像是悖论，对吧？但这就是AI世界里的"聪明反被聪明误"。

一、AI的"学霸困境"：为什么考满分反而是坏事

2017年，MIT的研究人员做了一个实验。他们训练了一个图像分类模型来识别"狼"和"哈士奇"。

模型在测试集上表现惊人：准确率接近100%。

但研究人员发现了一个诡异的现象——所有标注为"狼"的照片背景里都有雪，而"哈士奇"的照片大多没有雪。

于是他们做了一件事：把"雪"从照片中P掉。结果模型准确率骤降到60%出头。

这个模型根本没有学会区分狼和哈士奇，它学会了"辨别雪"。

这不是模型笨，而是它太"聪明"了——它找到了一个训练数据中100%正确的捷径，但这个捷径对真正的问题毫无意义。

这就是过拟合的本质：模型不是在"学习规律"，而是在"死记硬背答案"。

更扎心的是，模型自己没有能力区分"真正的规律"和"碰巧相关的特征"。在它看来，狼身上有毛、有鼻子、四条腿、背景有雪——所有这些特征权重都一样。它不知道"雪"只是个巧合。

二、为什么越大越容易"过拟合"？——参数的自由度陷阱

你可能会想：那让模型小一点不就完了？

事情没那么简单。深度学习取得突破的核心原因之一，就是模型足够大——参数越多，模型能捕获的规律越复杂。

但这也带来了一个两难局面：

参数越多，模型"记住"训练数据的能力就越强，它就越容易走捷径。

想象一下：你让一个学生用100个公式去解释10个数据点。他当然可以轻松做到——每个数据点配一个公式，完美拟合。但这时候你给他第11个数据点，他所有公式全都用不上。

这就是"过参数化"的陷阱。

2018年，有一篇著名的论文叫《The Lottery Ticket Hypothesis》——彩票假说。它发现，在一个大模型中，其实只有一小部分参数（约10-20%）是真正有用的。其余参数就像是"空转"的神经元，它们的存在让模型更容易找到捷径，而不是真正理解问题。

但问题是：我们不知道哪些参数是"有用的"，哪些是"空转的"。 所以只能把整个大模型都训练出来，然后祈祷它学到的是真正的规律，而不是训练数据中的"噪音"。

三、泛化之谜：为什么神经网络反而"越学越好"？

这里有一个让很多研究者困惑的谜题。

按照经典统计学理论，模型参数越多，过拟合越严重，泛化能力应该越差。这是"奥卡姆剃刀"的数学版本——简单模型通常更好。

但深度学习的实践告诉我们一个反直觉的事实：大型神经网络虽然参数多到离谱，但它们的泛化能力往往出奇的好。

比如GPT-3有1750亿个参数，训练数据是几千亿个token——按理说它应该把训练数据一字不差地背下来，但实际它展示出了相当强的泛化能力，甚至能完成从未见过的任务（零样本学习）。

这怎么解释？

2020年，Belkin等人在《PNAS》上发表了一篇论文，提出了一个"双峰风险曲线"（Double Descent）的理论：

传统理解是：模型复杂度增加 → 先降低误差 → 然后升高误差（过拟合）→ 曲线是U形。

但深度学习的实际情况是：模型复杂度继续增加 → 误差反而再次下降——曲线是一个"双谷"形状。

也就是说，当模型大到一定程度，它会越过"过拟合谷底"，进入一个"过度参数化"的新区域——在这个区域，模型反而开始真正地"理解"数据了。

这个发现震撼了学术界。它意味着：“大就是好"不只是工程上的选择，它有深刻的数学基础。

但问题是，我们至今没有完全理解"为什么”。

四、对抗样本：最残酷的泛化测试

如果你觉得过拟合只是个理论问题，那对抗样本（Adversarial Examples）会把你拉回现实。

2014年，Szegedy等人发现了一个惊人的现象：对一张熊猫的照片加上肉眼完全看不出的噪点，AI就会以99.9%的置信度认为这是一只"长臂猿"。

这种"对抗性扰动"小到你肉眼完全感觉不到差别，但模型的决策却发生了180度大转弯。

这说明了什么？

AI的"理解"和我们人类完全不同。 人类看到一张熊猫照片，会提取"黑白色、圆脸、吃竹子"等高层次特征。而AI看到的是几十万个像素值——模型的决策空间，是这些像素值的超高维组合。

在人的认知空间里，熊猫和长臂猿相距十万八千里。但在AI的像素空间里，一个小到人类感知不到的扰动，就足以把"熊猫"推到"长臂猿"的区域。

这就是泛化能力最脆弱的体现：模型在训练数据分布内（In-Distribution）表现很好，但一旦输入稍微偏离训练数据的分布，就会彻底崩溃。

打个比方：一个在游泳池里训练了1000小时的游泳冠军，放到海里一个浪就呛水了——不是他游泳技术不好，是他只学会了"游泳池模式下"的游泳。

五、让AI学会"举一反三"：对抗泛化困境的几种武器

好消息是，研究者们已经找到了一些对抗过拟合的有效方法：

1. 数据增强（Data Augmentation）

最简单的办法是"增加训练数据的多样性"。比如训练图像识别时，把每张照片随机旋转、裁剪、调色、加噪——让模型在"变着花样"的数据中学习，它就没法走捷径了。

2. 正则化（Regularization）

给模型"加约束"，不让它太自由。就像教学生解题时，要求他必须写出推导过程，不能只写答案。L1/L2正则化、Dropout、Batch Normalization都是这个思路。

AI真的懂「因为所以」吗？——因果推断如何让机器从相关走向因果

Sun, 06 Sep 2026 03:13:00 +0800

引言

你有没有想过一个问题：为什么AI能写出比很多人类还好的文章，能打败围棋世界冠军，能识别出照片里的每一只猫——但你问它"吃冰激凌为什么会导致溺水人数增加"时，它可能会开始一本正经地编理由？

冰激凌销量和溺水率确实高度相关——夏天一到，两个数据同时飙升。但用脚趾头想都知道，冰激凌不会把人淹死。真正的原因是"天气热"：热天吃冰激凌的人多，热天去游泳的人也多。

这个例子太简单了，人类一眼就能看穿。但换一个复杂场景呢？比如"某个药物到底有没有效"、“广告投放真的带来了销量增长吗”、“参加培训班到底能不能提高成绩”——这些问题，AI能不能像人类一样，真正理解"因为所以"？

答案是：传统AI不会，但有一门叫"因果推断"的科学正在改变这一切。

一、传统AI的盲区：它是超级关联机器，但不是因果思考者

当前所有主流AI，包括ChatGPT、Claude、Gemini在内，本质上都是超级关联机器。

它们的工作原理可以简化为：从海量数据中学习到"A出现时，B往往也跟着出现"的模式。模型越大，这种关联找得越准、越细。

但这和"理解因果关系"完全是两码事。

想象你是一个古代学者，你观察到：

公鸡打鸣后，太阳就升起来了
每天都是这样，从未例外

按照传统AI的逻辑，它会得出"公鸡打鸣是太阳升起的原因"这个结论。因为数据上，这两件事的关联强度是100%。

可我们人类知道，公鸡打鸣和太阳升起之间没有半毛钱因果——它们都是由地球自转这个共同原因导致的。

这就是因果推断的核心难题：相关不等于因果。

2018年，图灵奖得主Judea Pearl（朱迪亚·珀尔）在一次演讲中直言不讳地说：“当前AI的所有进步，本质上都停留在关联这个层面。它们没有因果推理能力，甚至连理解都算不上。”

这话说得重，但确实指出了AI的致命短板。

二、因果推断的三层阶梯：从看到做到想象

Pearl提出了一个非常优雅的框架，他把因果推理分为三个层级，像一个阶梯——

第一层：关联

这是所有传统AI所处的位置。“我看到A和B一起出现，它们有关系。“比如：看到乌云和下雨之间有关联。

第二层：干预

“如果我去改变A，B会发生什么变化？“这是人类独有的能力——比如：“如果我播撒碘化银，会不会让天降雨？“这需要回答"如果我做了某件事，结果会怎样”。

第三层：反事实

“如果当初我没有做那件事，现在会怎样？“这是最高级的因果推理，也是人类后悔、反思、学习的基础。“如果我去年没有辞职，现在会赚更多钱吗？”

绝大多数AI，连第一层到第二层的台阶都还没迈上去。

为什么？因为要回答"如果我做了X会发生什么”，需要的不是数据关联，而是对因果结构的理解。

举个例子：一个AI看过无数条"打开开关→灯亮"的数据，它知道两者高度相关。但如果它从未见过"开关坏了"的情况，它不会自动理解"开关控制电路，电路连通灯泡"这个因果机制。它只是知道"通常开关打开时灯会亮”，但不知道"为什么”。

三、让AI学会因果：两个学派的智慧

怎么让AI拥有因果推理能力？目前学术界有两个主流框架，它们从不同角度切入同一个问题。

学派一：因果图 + do-演算（Pearl学派）

Pearl的方法像是给AI画一张"世界地图”。

假设你要理解"教育程度对收入的影响”。你会画一张因果图：教育程度→收入。但这里还有一个隐藏变量：家庭背景同时影响教育程度和收入。如果不控制家庭背景，你可能会高估教育对收入的影响。

Pearl发明了一套叫"do-演算"的数学工具，用来回答"如果我人为地改变了X，Y会怎样"这个问题。通过因果图，他可以精确地计算出哪些变量需要控制、哪些不需要——这就像给AI装了一个"因果计算器”。

学派二：潜在结果框架（Rubin学派）

Donald Rubin的方法则更加务实，他把因果问题重新定义为"缺失数据问题”。

每个个体都有两种潜在结果：接受治疗的情况和未接受治疗的情况。但现实中，我们只能观察到其中一个——另一个永远是"反事实"的，永远缺失。

这就像你永远无法同时看到"同一个你考上大学"和"同一个你没考上大学"两种人生。因果推断，就是在这个"永远缺失一半数据"的困境中，用数学方法估算出真实的因果效应。

两个学派殊途同归——Pearl的因果图提供了"理解世界因果结构的语言"，Rubin的框架提供了"在数据中估算因果效应的方法"。今天的因果推断领域，两者已经高度融合。

四、从实验室到现实：因果推断正在改变AI

因果推断不只是理论，它正在重塑AI的各个领域。

案例1：精准医疗——这个药对谁有效？

传统的临床试验告诉你"A药平均有效"，但因果森林算法能告诉你：A药对30-40岁的女性效果最好，对60岁以上男性可能有副作用。

这不是"平均效应"，这是"异质性处理效应"——因果推断让AI学会说"对特定的人，A药的效果是B"。

案例2：从数据中发现因果关系

传统上，要发现变量之间的因果结构，需要专家手动构建图表，费时费力。2018年，Zheng等人提出了NOTEARS算法，将因果发现这个组合优化问题转化为连续优化问题——简单说，就是让AI自动从数据中"画出因果图"。

这个算法只有约50行核心代码，却开启了"让机器自己发现因果结构"的新时代。

案例3：AI科学发现

在基因组学、神经科学、气候科学等领域，因果推断正在帮助科学家区分"真正的因果机制"和"虚假的相关性"。比如，在基因表达数据中，哪些基因是导致疾病的原因，哪些只是"路过"的旁观者？

五、但大模型不是已经在推理了吗？

你可能会问：“GPT-4不是已经能推理了吗？思维链不是让它学会了一步一步想吗？”

这是最容易被误解的地方。

大语言模型展现的"推理"，本质上是训练数据中人类推理模式的模仿。 它知道"因为A所以B"这个句式，知道在什么上下文中应该出现什么逻辑链条——但它不知道"A"和"B"之间是否存在真正的因果关系。

2024年，有一项研究让GPT-4回答一个简单问题：“某种药物和康复率高度相关，但该药物实际上对疾病没有效果。你认为该药物是否应该被推荐？”

GPT-4的回答是：“相关性强，说明药物有效，应该推荐。”

它没有能力区分"相关"和"因果"——因为在它的训练数据中，“相关"和"因果"这两个词经常一起出现，模型从未真正理解它们之间的区别。

这就是为什么因果推断对AI的未来如此关键：它不是一个"锦上添花"的功能，而是AI从"模式识别"跃升到"科学理解"的必经之路。

六、因果推断的下一步：AI的因果大脑

展望未来，因果推断正在三个方向上重塑AI：

1. 因果表示学习：让AI在学习数据时，不只学"特征”，还要学"因果关系"。就像人类理解世界时，天然会构建"如果…那么…“的因果模型。

2. 因果强化学习：让AI在试错中，不只是记住"哪个动作得分高”，还要理解"为什么这个动作有效"。这能让AI学会真正的"策略"，而非"死记硬背"。

3. 与语言模型的融合：让大语言模型不只是"会说话"，还能在回答问题时调用因果推理能力——当你问"为什么"时，它能真正理解你在问什么。