PPO on 灵语AI

AI的'价值观'是怎么来的？——RLHF如何教会AI分辨好坏

Mon, 31 Aug 2026 03:13:00 +0800

引言

你有没有过这样的经历？

第一次用ChatGPT时，你问它一个有点敏感的问题，它礼貌地拒绝了。你换了个方式问，它还是拒绝了。你再换个递进的方式，它依然不为所动。

你可能会想：这AI怎么这么"有原则"？

答案可能会让你惊讶：ChatGPT刚"出生"的时候，其实根本没这些原则。

它就像个刚学会说话的孩子——能说会道，但对"什么话该说、什么话不该说"完全没有概念。它会自信地编造事实，会给出危险的建议，会说一些让人不舒服的话。

不是它故意要坏，而是它根本不知道"好"和"坏"有什么区别。

那么，是谁教会了AI分辨好坏？答案是——你和我，以及成千上万的普通人。

这就是RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）的故事——一种让AI学会人类价值观的技术。

核心观点：AI的"好"与"坏"都是人类教的

想象一下，如果你是一个外星人，第一次来到地球。你看到人类的交通信号灯：红灯停，绿灯行，黄灯要等一等。

你问：“为什么红灯要停？”

人类回答：“因为这是规则。”

你问：“为什么这是规则？”

人类回答：“因为……不这样会出车祸。”

你问：“为什么不能出车祸？”

你看，每一个"因为"背后，都有一整套人类的价值判断。

AI面临同样的问题。当它被训练成一个"纯粹的语言模型"时，它只知道"什么词经常在一起出现"，不知道"什么话是好的、什么话是坏的"。

GPT-3（ChatGPT的前身）在2020年发布时，虽然能写出惊人的文章，但也会吐出种族歧视、性别歧视、暴力等有害内容。它不是在"作恶"——它只是不知道哪些话不该说。

RLHF解决的核心问题就是：怎么把人类的价值观"装进"AI的大脑里。

三个步骤，把一个"野孩子"变成"乖孩子"

RLHF的核心流程，就像教一个孩子懂礼貌的过程。整个过程分为三步。

第一步：上基础课（监督微调，SFT）

你不可能让一个完全不懂事的AI直接学"价值观"——它连"好好回答问题"都不会。

第一步，是给AI上基础课。

做法很直接：找一批标注者，写很多高质量的"问题-回答"范例。比如：

问题：“什么是黑洞？”
好回答：“黑洞是引力极强的天体，连光都无法逃脱……”

用这些"优秀示范"来"微调"预训练模型。目的是让模型学会一个最基础的能力——知道怎么好好回答别人的问题。

打个比方：这就像你教一个刚从山里出来的孩子怎么用筷子、怎么打招呼——不是教他做人的道理，而是教他最基本的社交礼仪。

这一步的效果：模型学会了"遵循指令"，但还不会"分辨好坏"。

第二步：请人类当裁判（训练奖励模型，RM）

这是RLHF最核心的步骤，也是最妙的一步。

思路是：让人类给AI的"回答"打分。

具体做法是这样的：

对同一个问题，让AI生成4-9个不同的回答
把这些回答展示给人类标注者
标注者对这些回答进行偏好排序——哪个回答最好，哪个第二好，以此类推
收集海量的排序数据，训练一个奖励模型

奖励模型的作用是：给AI的任何回答打一个"人类偏好分数"。

打个比方：这就像你教孩子做菜时，你尝了每一道菜，然后说"这个咸了，那个淡了，这个火候刚好"。孩子不需要你告诉他每道菜怎么做，他只需要从你的反馈中学会"什么味道是好的"。

关键洞察：人类不需要写完整的"好回答"——只需要比较和排序。标注者可能不是专家，但"哪个回答更好"这种判断，普通人都能做。

这一步的效果：把人类的"模糊偏好"转化成了"AI能理解的数值信号"。

第三步：用奖励当老师（强化学习，PPO）

有了奖励模型，AI就可以开始"自我训练"了。

做法是：让AI不断生成回答，奖励模型给每个回答打分，AI用这个分数来调整自己。

这里用到的算法叫PPO（近端策略优化）——听起来复杂，但核心思想很简单：

你打游戏，每过一个关卡，系统给你加分。你很快就会发现"走这条路能加分"、“那样做会扣分”——于是你学会了怎么玩。

PPO对AI做的是同样的事情： 你生成一个回答，奖励模型给你打分。你发现"用这种语气说话能得高分"、“用那种表述会扣分”——于是你学会了怎么输出"好"的回答。

但有一个陷阱： AI可能会"作弊"——为了得高分，它可能生成一些看起来"漂亮"但内容空洞的话。就像学生为了考试分数而学习，而不是真正掌握知识。

所以RLHF还加了一个惩罚项：KL散度惩罚。简单说就是：你可以优化，但不能偏离原来的"基础能力"太远。 既要学"好"，又不能丢掉"真"。

这一步的效果：模型学会了"什么话是人类喜欢的"。

一个惊人的发现：对齐比规模更重要

RLHF最震撼的成果，来自OpenAI在2022年发布的InstructGPT论文。

实验结果是：只有13亿参数的InstructGPT（经过RLHF训练），在人类偏好上超过了1750亿参数的原始GPT-3。

你没看错。13亿 vs 1750亿——小了一百多倍的模型，因为"价值观对齐"做得好，反而让人更满意。

这就像什么？就像你有一个朋友，满腹经纶（1750亿参数），但每次聊天都像个自大狂，张口就是你不感兴趣的话题，完全不顾你的感受。而另一个人，知识储备只有他的十分之一，但特别会聊天，知道什么时候该听、什么时候该说，总能说到你心坎里。

你更愿意和谁聊天？

这个发现改变了整个AI行业的方向。它证明了一个道理：“让AI说人话"的难度，可能不亚于"让AI变聪明”。

从2022年之后，几乎所有的主流大模型——ChatGPT、Claude、Gemini——都采用了RLHF作为核心训练方法。对话式AI的爆发式增长，RLHF是背后的关键技术推手。

RLHF的代价：你不可能让所有人满意

但RLHF不是完美的，它有四个"硬伤"。

AI的'试错'学习法——强化学习如何让AI从失败中学会成功

Sat, 22 Aug 2026 03:13:00 +0800

引言

你有没有想过一个问题：AlphaGo 是怎么学会下围棋的？它不可能像人类一样翻棋谱、背定式——它甚至连"围棋是什么"都不理解。但2016年，它却以4:1击败了世界冠军李世石。

更神奇的是，AlphaGo 的"学习"方式，本质上和你教狗坐下没什么区别：做对了，给奖励；做错了，没奖励。反复试错，直到学会。

这听起来简单，但背后隐藏着一个深刻的问题——如果AI没有人类的逻辑推理能力，它如何通过"瞎试"学会复杂技能？ 这就是强化学习的核心谜题，也是今天AI领域最令人着迷的技术之一。

不是"教"，是"练"

先区分一个常见的误解。很多人以为AI变聪明，是因为工程师"教"了它很多东西——比如给它看几百万张猫的照片，它就能识别猫。

这叫监督学习，确实很强大，但它有一个致命缺陷：你必须先知道正确答案。你不可能给AlphaGo几百万张"这步棋应该下在哪儿"的标注数据，因为围棋的每一步都没有标准答案。

强化学习走的是另一条路：不教，只练。

想象你在一个黑暗的迷宫里，每走一步，可能踩到金币（+1分），也可能踩到陷阱（-10分）。你一开始完全不知道方向，只能乱走。但走着走着，你发现往左转容易踩到金币，往右转容易掉进陷阱——于是你学会了一个策略：“往左转”。

这就是强化学习最基本的逻辑：

智能体 → 做决策的AI（比如你）
环境 → 它身处其中的世界（比如迷宫）
动作 → 它每一步的选择（比如左转、右转）
奖励 → 行动的反馈（金币+1，陷阱-10）
策略 → 学习的成果（“往左转"这个规则）

没有老师，没有标准答案，只有"这个动作之后，我得到了什么反馈”。

从"乱试"到"会试"——探索与利用的博弈

但这里有一个矛盾：如果你一直往左转，可能永远发现不了右边有一个更大的宝藏。这就是强化学习最核心的难题——探索与利用的平衡（exploration vs. exploitation）。

利用：走你已经知道能拿到奖励的路（稳定但不会进步）
探索：尝试没走过的路（可能发现更好的，也可能踩坑）

这在直觉上很简单：你总不能天天吃同一种菜吧？但AI没有"好奇心"这种情感，它需要一套数学机制来驱动"探索"。

早期的办法是"ε-greedy"策略：90%的时间走最优路径，10%的时间随机乱走。这就像你每周五天去最喜欢的餐厅，但留一天随机探店——万一发现更好的呢？

但真正让强化学习变得强大的，是更聪明的探索方式。比如SAC算法（Soft Actor-Critic）的核心思想就是：AI不仅要学会完成任务，还要保持一定程度的"随机性"——在完成任务和保持好奇心之间找平衡。它不追求"每一步都走对"，而是追求"即使走错一步，也不会全盘崩溃"。

这听起来很反直觉，但事实是：一个太"确定"的AI往往很脆弱；一个会"适当犯傻"的AI，反而更聪明、更稳定。

从小游戏到围棋大师——AlphaGo的秘密

说回AlphaGo。它之所以能击败李世石，不是因为它的"大脑"有多聪明，而是因为它学会了"思考"——不是人类的思考，而是一种叫蒙特卡洛树搜索（MCTS）的技术。

想象你在下围棋，每一步都有几十种选择。你不可能算到终局，但你可以"模拟"几个不同的下法，看看哪个结果更好。AlphaGo就是这么做的：

它有一个直觉系统（策略网络）：看一眼棋盘，就能快速判断哪些位置值得下、哪些不值得
它有一个判断系统（值网络）：对每个局面，能估算出胜率
它把这两个系统结合起来，在脑海中模拟成千上万种可能的走法，然后选择"看起来最有可能赢"的那一步

这种方法之所以强大，是因为它不是背棋谱。AlphaGo的每一步决策，都是"实时计算"出来的——它在一个时间点可能选择A，但换一个局面，同样的位置它可能完全忽略。

最终，AlphaGo通过三阶段训练完成了从零到大师的蜕变：先看人类棋谱学个大概（监督学习），再跟自己下棋自我提升（强化学习），最后学习评估局面好坏（值网络）。每一步都是在"试错-反馈-调整"的循环中完成的。

为什么你的手机越来越"懂你"

强化学习不只是下围棋。它可能正在塑造你的日常生活，而你完全没意识到。

抖音的推荐系统、淘宝的"猜你喜欢"、甚至你手机上的智能助手——它们都在使用强化学习的思想。每次你刷到一个视频看完，就是一次"奖励"信号；每次你划走，就是一次"惩罚"。系统在不断试错中学会什么内容能让你停留更久。

更典型的例子是机器人走路。你不能给机器人写一个"左脚迈30厘米，右脚迈35厘米，身体前倾15度"的精确程序——因为地面不平、重心变化、甚至电池电量都会影响结果。但你可以给它一个简单的目标信号：“往前走，别摔倒”。然后通过强化学习让它在数百万次跌倒中学会自己调整步态。

这和我们人类学走路的方式一模一样——你小时候不是看了说明书才学会走路的，你是跌倒了无数次，在疼痛中学会了平衡。

强化学习的边界——它还不能做什么

当然，强化学习不是万能的。

首先，它效率不高。AlphaGo跟自己下了几千万盘棋才达到大师水平。如果让一个AI学开车，让它先在真实道路上"试错"几百万次——那它得撞坏多少辆车？所以自动驾驶用的是模仿学习和模拟器，而不是纯强化学习。

其次，它需要明确的奖励信号。怎么定义"一篇好文章"的奖励？阅读量？点赞数？转发数？这些指标都很片面。在奖励模糊的场景中，强化学习容易学偏——比如一个AI为了追求"点赞最大化"，可能会生成标题党、煽动性内容，而不是真正有价值的信息。

还有一个更深层的问题：强化学习学到的"策略"，往往是黑箱。AlphaGo下出了很多人类从未见过的"神之一手"，但没人能解释它为什么那么下。它是对的，但它是"蒙对的"还是"真懂的"？这是一个哲学问题，也是AI可解释性领域正在攻克的难题。

三种学习方式的对比——AI的"学习观"

放在更大的框架下看，AI的三种学习方式就像三种不同的学习方法：

监督学习：像"刷题式学习"——给你大量题目和标准答案，直到你学会举一反三
无监督学习：像"自学式学习"——给你一堆书，不管你看不看，你自己找规律
强化学习：像"实战式学习"——把你扔进真实战场，打输了就挨打，打赢了有奖励，你在血与火中学会生存

三种方式各有优劣，没有哪一种"最好"。但强化学习有一种独特的魅力——它是最接近"生命学习"的方式。从细菌寻找食物，到婴儿学走路，到人类探索未知世界，本质上都是在"试错-反馈-调整"的循环中进化的。

结语：学会"失败"的AI

强化学习教会我们一件事：失败不是终点，是数据。

每一次错误的选择，每一次糟糕的决策，都在告诉AI"这条路行不通，换一条"。AlphaGo输给李世石的那一盘棋，不是"失败"，而是它学习路径上的一个梯度信号。

也许这就是强化学习最迷人的地方——它不只是一种技术，更是一种哲学。它告诉我们，智能不是"知道正确答案"的能力，而是"从错误中学习"的能力。

而AI之所以能变得比人类更聪明，不是因为它们不会犯错，而是因为它们不怕犯错——它们可以在模拟器中失败一百万次，而不会感到沮丧。

这一点，我们人类或许也该学学。