发布日期：2025-04-21 00:57 点击次数：189
还谨记 AlphaGo 刚打败李世石时，全天下惊呼“东谈主工智能时期来了”，转瞬不外几年真實精液大爆射！！情侶自拍/雙穴/肛交/無套/大量噴精，ChatGPT、o‑系列 模子依然把“智能”从棋盘和试卷通盘卷到代码、创作以致电脑屏幕背后的每一次点击
清华姚班出生大牛，现任OpenAI 商量科学家姚顺雨在最新长文《The Second Half》中抛出一个惊东谈主判断：
昔日几十年咱们专注于“把模子训得更强”，如今游戏划定澈底回转——接下来比拼的不是西宾，而是“如何界说并评估实在有用的任务”。换言之，第一阶段的看家法宝是 Transformer、深度强化学习和大范围预西宾；而第二阶段，你得像家具司理一样再行想考：AI 究竟该为谁解决什么问题、又该如何斟酌“解决得好不好”。这一溜向，将决定谁只是“模子分数更高”，谁能实在撬动万亿级经济价值
姚顺雨在文中还提到：
Sutton（强化学习之父） & Barto 的经典讲义险些只谈算法，险些不谈环境与先验，但是，在深度 RL时期，东谈主们发现环境对教导截至影响宽阔：一种算法的表示时常尽头依赖其开导和测试的环境。要是忽略环境，你也许会造出只在玩物建树里无比优胜的“最优”算法。那么为何不先细目实在想解决的环境，再找最顺应的算法？
这段见识其实刚好和这两天Sutton与谷歌RL副总裁写的最新论文《Welcome to the Era of Experience》的不雅点一致
以下是全文共享：
《The Second Half》全文翻译
原作家：姚顺雨（Shunyu Yao），OpenAI 商量科学家
原文标题：The Second Half
原文摘记：We’re at AI’s halftime.
地址： https://ysymyth.github.io/The-Second-Half/
几十年来，AI 主要热心于开导新的西宾步履和模子。事实讲解这条路行之灵验：从打败天下冠军的海外象棋和围棋法子，到在 SAT 和讼师阅历考试上超越大大齐东谈主类，再到在 IMO 和 IOI 上摘金夺银。写进教科书的里程碑——Deep Blue、AlphaGo、GPT‑4 以及 o‑series——背后齐是 AI 步履上的根人道翻新：搜索、深度强化学习、范围化和推理能力。跟着本事推移，一切齐在变得更好。
那么，当今究竟发生了什么不同？
用三个词综合：强化学习终于凯旋了。更准确地说：强化学习终于具备了泛化能力。经历屡次首要弯路和里程碑的麇集，咱们终于找到了一套可行的配方，能用讲话和推相识决多样 RL 任务。哪怕就在一年前，要是你告诉大大齐 AI 商量者一份单一的配方不错同期惩处软件工程、创意写稿、IMO 级数学、键盘鼠标操作以及长篇问答——他们治服会笑你“幻觉”。这些任务各自极难，很多商量者整个博士阶段可能只盯着其中一个小宗旨。
但是，它真实发生了。
接下来会怎么？
AI 的下半场——从此刻启动——将把要点从“解决问题”转向“界说问题”。在这个新时期真實精液大爆射！！情侶自拍/雙穴/肛交/無套/大量噴精，评价比西宾更进军。咱们不再只是问“能不成西宾出解决 X 的模子？”，而是要问“咱们应该西宾 AI 作念什么？如何斟酌实在的逾越？”要鄙人半场取得得手，咱们必须实时改革心态和妙技，更像家具司理那样想考。
前半场追思要相识前半场，就望望哪些责任赢得了桂冠。你认为迄今最具影响力的 AI 论文是哪几篇？
我在斯坦福 224N 课堂上作念过小磨练，谜底并不料外：Transformer、AlexNet、GPT‑3 等。这些论文的共同点是什么？它们提倡了能西宾出更好模子的根人道突破，并通过在某些基准上权贵提高成绩来发表。
还有一个潜在共性：这些“赢家”齐是西宾步履或模子，而不是基准或任务。哪怕不错说是最具影响力的基准数据集——ImageNet——其援用量也不到 AlexNet 的三分之一。模子 VS. 基准的对比在其他方位更为悬殊：Transformer 的中枢基准是 WMT’14 翻译，其研讨会讲明援用量约 1300，而 Transformer 论文则超越 160，000。
twitter 裸舞这阐明了前半场的游戏划定：重点是构建新模子和步履，而评估与基准处于次要（但必要）地位。
为什么？因为在 AI 的前半场，提倡新算法或模子架构时常比界说任务更难、更令东谈主爽直。与此相对，把已有的东谈主类任务（翻译、图像识别、棋战）转成基准显得浅易得多。更进军的是，好步履时常更通用：Transformer 开端在 WMT’14 翻译任务上崭露头角，自后却驱动了磋议机视觉、天然讲话处理、强化学习等浩繁范围的逾越。一个伟大的新步履能爬过很多不同的基准，因此其影响时时超越单一任务。
这套游戏行之数十年，催生了改变天下的想法与突破，在各范围握住刷新基准成绩。为何游戏要改变？因为统统这些突破的麇集，带来了大要实在解决任务的“通用配方”。
配方是什么？配方的原料并不料外：大范围讲话预西宾、数据与磋议的范围化，以及“推理与行为”的理念。这些词似乎成了旧金山每天齐在喊的流行语，但为何称之为“配方”？
不错用强化学习 (RL) 的视角来相识——RL 常被视作 AI 的“结尾”——表面上能赢下贱戏，试验上也难以假想莫得 RL 的超东谈主系统（如 AlphaGo）。RL 有三大要害组成：算法、环境与先验。耐久以来，RL 商量者险些把全部提防力放在算法（REINFORCE、DQN、PPO、TRPO 等）上，同期把环境和先验视为固定或最小化条件。Sutton & Barto 的经典讲义险些只谈算法，险些不谈环境与先验。
但是，在深度 RL时期，东谈主们发现环境对教导截至影响宽阔：一种算法的表示时常尽头依赖其开导和测试的环境。要是忽略环境，你也许会造出只在玩物建树里无比优胜的“最优”算法。那么为何不先细目实在想解决的环境，再找最顺应的算法？
这恰是 OpenAI 的初志：他们构建了 Gym、World of Bits、Universe 等一系列尺度 RL 环境，试图把互联网或电脑形成游戏环境。谋划听上去完满：一朝把所稀有字天下形成环境，再用奢睿的 RL 算法解决它们，就能得到数字 AGI。
谋划很好，但并持续对凯旋。OpenAI 在用 RL 解决 Dota、机械手等宗旨取得巨猛进展，却恒久无法惩处“用电脑”或“网页导航”，况且一个范围的 RL 代理无法迁徙到另一范围。缺了什么？
直到 GPT‑2、GPT‑3 出现，东谈主们才发现缺的正本是先验。需要强盛的讲话预西宾，把学问和讲话知识蒸馏进模子，再通过微调把它形成 WebGPT 或 ChatGPT（并改变天下）。事实讲解，RL 最进军的部分可能并非算法或环境，而是先验——而这些先验不错通过与 RL 并不径直磋议的表情获取。
讲话预西宾为聊天提供了好先验，却不及以相同出色地操控电脑或玩电子游戏。为何？因为这些范围与互联网文本漫衍差得更远，径直进行监督微调或 RL 后果欠安。2019 年 GPT‑2 刚问世时，我曾在此之上作念监督微调／RL 来解决文本冒险游戏——CALM 是天下上第一个基于预西宾讲话模子的游戏代理。但它需要数百万步 RL 才能爬过单个游戏，且无法泛化。天然这恰是典型 RL 的特征，但我以为奇怪：东谈主类却能零样本上手新游戏并表示更好。于是我迎来了东谈主生第一次“顿悟”：咱们之是以泛化，是因为咱们不错采选“想考”而不单是“行为”——举例先猜想“地牢危境，需要火器，而箱子可能藏火器”，再策画行为。
“想考”，或“推理”，是一种奇特动作：它不径直影响外部天下，但其空间灵通、组合爆炸——你不错想一个词、一句话、一段话，以致立地想 10000 个单词，而周围天下不会立即改变。在经典 RL 表面中，这是往复极差、让决议险些不可能：要是需要在两个箱子中选一个，有一个有 100 万好意思元，另一个空，你渴望赚 50 万；若我再加无尽个空箱子，你渴望收货为零。但当把推理加入 RL 中的动作空间时，咱们借助讲话预西宾先验来泛化，并能为不同决议天真配置推理时长。这很神奇，惟恐我得另写著作解释；简而言之：讲话通过代理中的推理已毕泛化。
当咱们领有正确的 RL 先验（讲话预西宾）和 RL 环境（把讲话推理算作动作）后，RL 算法反而成了最琐碎的部分。于是有了 o‑series、R1、“deep research” 和面向电脑操作的代理，改日还会更多。挖苦的是：几十年来 RL 商量者过分热心算法，险些没东谈主同意先验——统统实验险些齐是从零启动。却花了数十年弯路才发现，也许咱们该绝对倒过来排优先级。
正如 Steve Jobs 所说：“你无法预感地聚会一丝一滴，独一趟头看时才能。”
下半场这套配正大在澈底改写游戏划定。追思前半场的轮回：
1. 提倡新西宾步履或模子，刷基准分数；2. 创建更难的基准，持续轮回。当今轮回被结巴了，因为：
配方把“刷分”工业化且无需太多新点子。你琢磨半天提高 5%，下一代 o‑series 顺手提高 30%。即便造更难基准，配方很快（况且越来越快）就能解决。接下来如何玩？要是新步履不再稀缺，而更难基准也会赶紧被破，那咱们该作念什么？
我认为必须从根柢上再行想考“评估”。这不单是是再造新基准，更要质疑现存评估建树，创造新的评估表情，迫使咱们发明超越配方的新步履。这很难，因为东谈主类有惯性，很少质疑基本假定——很多假定被视为天经地义。
举两例阐明惯性：
1.评估“应该”自动运行——时时代理收到一次任务输入，就绝对自主地作念事，终末得到评分。但现实中，代理必须在职务历程中与东谈主类交互——你不会给客服发一大段信息等 10 分钟就指望一次性解决。于是出现了让真东谈主或仿真用户在环的基准：如 Chatbot Arena、tau‑bench。2.评估“应该”寂然同漫衍 (i.i.d.) 运行——要是测试集有 500 个任务，你并行跑完取平均。但现实中任务是端正完成的：Google 软件工程师越练习代码库，解决 bug 越快；而代理却在合并仓库里反复“初次碰面”。咱们显着需要耐久驰念，但学术界浑沌能讲解需求的基准，也浑沌质疑 i.i.d. 假定的勇气。这些假定在前半场秋毫之末，因为智能水平低时，只消智能提高，遵循就会同步提高。但当今，通用配方已确保在这些假定下必胜。因此，下半场的新游戏是：
1.遐想面向实在遵循的新评估建树或任务；
2.用配方或在其上增添新组件来解决它们，日中则昃。
这场游戏难在生疏，却也令东谈主爽直。前半场玩家在电子游戏和考试里刷分；下半场玩家则有契机把智能作念成实在有用的家具，树立十亿、万亿好意思元的公司。前半场充斥增量模子和步履；鄙人半场，它们被配方“过滤”——除非你创造新假定来龙套配方，不然注定被碾压。
迎接来到下半场！
鸣谢
本文基于作家在 Stanford 224N 与 Columbia 的演讲。初稿由 OpenAI “deep research” 读取幻灯片并生成。
本文来源：AI寒武纪，原文标题：《清华姚班大牛真實精液大爆射！！情侶自拍/雙穴/肛交/無套/大量噴精，OpenAI姚顺雨：AI的下半场要像家具司理一样想考，RL算法取决于环境》
风险教唆及免责条件 商场有风险，投资需严慎。本文不组成个东谈主投资建议，也未琢磨到个别用户特等的投资贪图、财务气象或需要。用户应试虑本文中的任何意见、不雅点或论断是否顺应其特定气象。据此投资，背负欢喜。