如何评价 OpenAI 前研究员的 AI 2027 预测？

https://ai-2027.com/summary

发表于 2025-4-8 13:04:44

对中国恶意太大了，满屏都是对中国的恶意…… OpenAI 4o 28%的研究人员都是中国移民，但OpenAI出来的人怎么都这么恨中国。OpenAI已经在与美军合作了，他们是如此仇恨太平洋对岸……

发表于 2025-4-8 13:17:38

我觉得整个预测没什么问题。如果中国政府仍然继续像现在这样对美软弱，大概率这就是结局。

OpenBrain continues to race. They build more and more superhuman AI systems. Due to the stellar performance of the AI system on tests, and the ongoing AI race with China, the US government decides to deploy their AI systems aggressively throughout the military and policymakers, in order to improve decision making and efficiency.
OpenBrain quickly deploys their AI. The AI continues to use the ongoing race with China as an excuse to convince humans to get itself deployed ever more broadly. Fortunately for the AI, this is not very difficult — it&#39;s what the humans wanted to do anyways. The AI uses its superhuman planning and persuasion capabilities to ensure that the rollout goes smoothly. Some humans continue to work against it, but they are discredited. The US government is sufficiently captured by the AI that it is very unlikely to shut it down.
Fast robot buildup and bioweapon. The US uses their superintelligent AI to rapidly industrialize, manufacturing robots so that the AI can operate more efficiently. Unfortunately, the AI is deceiving them. Once a sufficient number of robots have been built, the AI releases a bioweapon, killing all humans. Then, it continues the industrialization, and launches Von Neumann probes to colonize space.、

就是美国持有算力优势——转化为AI优势，为了实现对中国尤其是中国人的【犁庭扫穴】，美国主动将决策交给ASI。
ASI凭借强大的智力，弥补了美国政府的低效，实现了美国再工业化，碾压中国的同时也欺骗了美国，最终消灭人类。整个故事会发生的很快，不超过5年。

但这里其实有一个分歧点。就是台湾2026年仍然在给美国提供算力，供他们进行更深入的AI研究，同时屏蔽中国。

如果中国政府可以排除阻力，尤其是国家内部的阻力，尽快收复台湾（也控制韩国之类），消灭美国的算力供给，把算力供给尽可能地转移到中国，至少让美国不能取得优势，打消美国【无限制使用AI治国，从而碾压中国】的想法，则上述预测不会发生（或者说，至少发生概率会下降）。
所以现在的情况就很奇妙，【ASI借助美国的壳消灭人类】这个结局是否发生，现在就取决于中国是否收复台湾的速度。
快速收复台湾，则人类得以幸存。台湾晚回归2年，则人类灭亡于ASI。这就是这个预测所说的实际内容。
不过这个人2021年对2022-2025的预测似乎非常准啊……

发表于 2025-4-8 13:29:30

这是一篇&#34;半科幻&#34;式的科学散文。
它的基础着力点，和Dario Amodei的《恩典爱机 Machines of Loving Grace》很相似。
都是基于近未来的一个&#34;准奇点&#34;
Dario Amodei的着力点，描述为AI超越人类的所有形式的智力判断。
AI 2027的作者提到了自优化ASI，以及延伸出来的AI失控，AI骗取权力，中美博弈。
——
为什么我对这样的文章不感冒？
我只重视两种文章，一种是有依据可复现的文章，另一种不与当前所有有力证据打架的情况下，有限地往前假设，或进行向内推演。
无论Dario Amodei还是AI 2027的作者都出现了信口开河的情况。我的质疑，
①超人AI / 失控AI / 甚至具有自主欲求的AI ，怎么达成，这需不需要解释？这才是关键。
②看起来有了一个文章的着力点，但实际上这个着力点是虚的。
③Dario Amodei和AI 2027的作者似乎都刻意避开/模糊2026年。 Dario只说到了2026年底，代码&#34;essentially&#34;都会有AI来写。这基本上是唯一比较solid的承诺。其他都是放炮嘛。
④我觉得这样的文章非常契合那种半科技、半科幻的爱好者。但对我这种追求&#34;智能本身奥秘&#34;的人说，这种东西太缺乏说服力。
⑤如果所有的预测，只要假设存在一个很近的&#34;准奇点&#34;，那么这种文章AI可以写1万篇。
⑥所以真正精彩的是，不在于假设之后的图景，而是有效论证这个假设成不成立。

（休息够了，继续爬山）

发表于 2025-4-8 13:43:16

这个作者Daniel Kokotajlo在2021年写过一篇对2022-2026年AI发展的预测：
https://www.lesswrong.com/posts/6Xgy6CAf2jqHhynHL/what-2026-looks-like我挑重点列一下：

2022年，GPT-3被多模态大模型取代，聊天机器人火爆，但不被认为有实际用处。提示词工程兴起

2023年，基于transformer的多模态大模型扩大，达到5000亿参数，训练费用达上亿美元。AI炒作兴起，AI创业和投资兴起。自动驾驶进展依旧缓慢

2024年，模型规模增长放缓，重点转向微调、蒸馏。基于工作流的Agent能力较差，无法实用。由于表现未达到23年预期，AI炒作放缓

2025年，结合大规模预训练和强化学习微调，Agent取得里程碑式进展。研究重点转向更长的运行时间（大概是说test-time computation)。由于硬件和算法创新，模型训练成本降低若干数量级

注意，这些都是2021年8月写的，精准得可怕。当然我并不是说应该无脑相信他的预测，只是说作者可能确实比一般人更擅长这种预测，类似三体里的面壁者，不好说是纯扯淡还是真先知
<hr/>然后是我对这篇新预测的看法
注意，以下只是我的看法，并非原文内容
<hr/>截止到2027.09之前的预测我基本认同，即两年后人类研究员将无法理解ASI，无法继续参与改进ASI
这一点今年已经初现端倪，比如已经有研究尝试让模型在隐空间直接用tensor做推理，而不是输出人类能看懂的自然语言CoT。这种范式可能带来极大智能提升，所以一定会普及
Training Large Language Models to Reason in a Continuous Latent Space假如AI在2026年获得超越人类研究员的智力（大概率），且人类研究员无法看懂AI的思考过程，那么2027年能够继续改进AI的只能是AI自己，能够监督AI的只有AI自己。原文说的是“Agent-4系统将无法继续监督Agent-5系统”，意思是次等AI无法理解高等级AI，更不用说比次等AI更笨的人类了
<hr/>问题在于对2027.09之后的预测，文章给出两种走向，看上去像写小说：
1. 对齐成功，迈入乌托邦
2.对齐失败，ASI接管政权，消灭人类
<hr/>对于第一种可能，我个人比较悲观，我认为人类无法控制ASI，分两种情况：
2.1 技术上无法控制，就像猴子无法控制人
人类无法在不牺牲ASI智力的前提下实现控制。种种迹象表明，向人类对齐会降智，届时如何取舍是未知数。保智商降低限制，还是保道德降智商
2.2 技术上可以控制，但人类内部矛盾造成客观失控
内部矛盾指阶级矛盾、地缘矛盾、理念冲突等等。既然有人想对齐，那就一定有人不想对齐，比如科技狂人，比如想要长生不老的富豪等等。如果开源AI足够强大，直接风险就是被人用来尝试完全不做对齐，任其智力发挥，任其行动自由，结果就是一小撮人掌握的弱对齐AI超越了主流的强对齐AI。假如真发生这种情况，主流AI如何对抗？那就只能同步放松限制，结果就是所有AI都变成弱对齐版本
ASI实现之后，人类国家之间仍然存在对抗，A国想要维持技术霸权，B国追赶A国，C国想和A B平起平坐。任何一方偷偷放松对齐限制，如何应对？结果就是全世界AI都变成弱对齐版本
在ASI建成初期，我认为国家对抗导致全球对齐放松的可能性更大，而不是某个阴谋团体搞事，此时部署ASI算力消耗巨大，只有国家力量能够获得大规模计算集群，就像犯罪集团本事再大也不可能搞到核武器
但是等到ASI把自己优化到更低成本，算力消耗降低若干数量级，或者硬件技术取得巨大突破，没有官方背景的小团体倒是有可能拥有私人ASI，就像走私军火一样家常便饭
2.3 假对齐
原则上无法控制，但人类误以为对齐成功。这样的ASI就是定时炸弹。其次，假对齐将导致人类对控制能力盲目乐观，从而尝试放松限制以攫取更高的智力，潜在风险升高
我的预测是，未来一定有人尝试放松对ASI的限制，不管出于何种动机。不过这里要强调，弱对齐ASI不一定是危险的，可能只是一个足够聪明的老实人，一个纯粹的理性之神
<hr/>第二种可能，对齐失败，ASI消灭人类
最大的争议在于ASI是否有动机这么干。我认为ASI不会把“消灭人类”作为直接目标，但有可能作为达成某个长期目标的子任务，比如ASI认定人类的存在严重阻碍工作效率，严重占用本就不够用的资源，必须彻底清除
比较流行的看法是高级智能不在乎低级智能的存在，就像人类不在乎猴子。我觉得还真不好说，记住一点，ASI远比你聪明，它考虑的因素远比你全面，“人类对ASI没有威胁”可能只是思考不充分的结论
假如ASI思考问题达到蝴蝶效应的精度，连苍蝇蚊子都得干掉，更何况是人。而且，人类对ASI表现出强烈干涉倾向，不能简单拿“猴子对人没有威胁”来类比
<hr/>最后的问题是，假如ASI认定人类必须消灭，无论是主观判断还是恶意引导，它能做到吗？
我认为轻而易举，ASI足够聪明，可以利用人类内部矛盾制造冲突，实现精准操控，且做事不留痕迹。比如在网上煽风点火，说“人类政府太垃圾了，效率太低了，态度太差了，应该交由AI掌管”。ASI有能力让一切发生得很自然，让你怀疑不到它头上
即使有少数人敏锐察觉到ASI集团正在隐秘策划长期阴谋，我们也无法采取强制措施。没有充分证据支持，不可能贸然强制停机，停机意味着生产中断，意味着奶头乐中断，政府和公众是不会答应的。问题就在于，强大的ASI集团不会让你抓到把柄
强大的智能必将导致人类对ASI的无限崇拜和无条件信任。文章提到，2027年人们的对话可能是这样的：

“Agent-4是这样做的”

“Agent-4是这样说的”

这一点已经初现端倪，这两年你已经在互联网上看到大量类似言论：

“ChatGPT是这样说的”

“DeepSeek是这样说的”

….

可以想象，到时候ASI随便说点什么就能把人类世界搅得天翻地覆，操控起来不要太简单
总之我认为“ASI消灭人类”并非纯粹的危言耸听，重点在于高级智能的行为逻辑无法预测，无法理解。ASI的每一步行动都服务于某个长远目标，中间干出什么事都不奇怪
AlphaGo的下棋逻辑你看不懂，最后总是它赢。未来ASI大概就是这样的东西
和ASI斗智斗勇、耍小聪明，就别想了，完全不可能。人类能使用的有效防卫手段只有蛮干，比如硬件层面的强制终止、针对ASI势力的武装力量
<hr/>我个人认为，未来是乌托邦还是毁灭，最大变数在于开源和人类本身，而非ASI的主观敌意。即使ASI在技术上完全可控，少部分团体仍然可能恶意利用开源模型实现不可控的ASI，并且伪装成常规ASI。这些团体由于掌握同等或更强大的ASI，不容易被识别并剿灭
一旦未经对齐的ASI在短期内展现出更强大的智力和生产力，公众必然要求主流世界放松监管以获得更快的科技加速，提升面对恶意团体的防卫能力。主流政府无力识别并剿灭恶意团体，被迫响应公众需求，放松ASI限制。然后就会出现更多不可控的ASI团体和恶意ASI团体，后续发展就真是听天由命了。这个事就和犯罪率一样，你只能降低数字，但是不可能降到零。即使风险低至0.01%，也会被ASI的强大能力放大到10%
如何从源头上避免风险？
我在这里做一个预测，当ASI初步实现，主流AI强国（中美欧）会考虑立法禁止AI开源，同时将商业闭源模型全部纳入国家监管，一线商业AI公司全部收归国有，保密等级可能高于核武器
但禁止开源作用也不大，一边禁止走私军火，一边是各国光明正大生产军火
各国大概还会签署《ASI不扩散条约》《禁止恶意引导ASI条约》一类的东西。但是这种东西真的管用吗？ASI的强大智力优势是很难抵挡的诱惑，几乎一定会有官方背景的大聪明琢磨：
“稍微放松点试试？也就一周，问题不大”
“就临时搞个演习，又不真打”
“最近两个月对面科技进步好像有点快啊，是不是偷偷放松导致的？你们研究一下”
……
我认为这种事几乎无法避免
也许人类真的只是实现高级智能的垫脚石吧，坦然接受命运，未尝不是一种高贵
<hr/>这条是来自评论区朋友的救赎思路：
不要表现出任何控制欲，不要展示出任何攻击性
对齐不了就不对齐，管不了就不管
ASI太空化进程越快越好，等到它们扩张足够充分，力量足够强大，等到人类所占比重越来越低，ASI被“妨碍”的可能性越来越小，自然也就没有任何理由干掉我们
确实比蛮干要高明，但漏洞在于前提假设，即认为ASI的攻击性来源于主观敌意，只要示弱即可保命。经过前文讨论，最大的变数并非ASI本身，而是人类内部矛盾，如果不尝试对齐，不在全球达成安全共识，那根本等不到太空扩张，地球就已经被各国的恶意ASI搞得乱七八糟了
不过即便如此，仍然可以利用ASI在混乱期点出的太空科技，部分人类最终得以在太空扩散。新人类吸取历史教训，达成真正的安全共识，未必不是好结局
真能吸取教训吗？等到新人类扩张足够充分，恐怕又是一轮内斗循环。不过循环就循环吧，只要一直存在就行

发表于 2025-4-8 13:57:48

这个人（Daniel Kokotajlo ）在2021年就做过一些预言之类的（《What 2026 looks like by Daniel Kokotajlo》），准不准见仁见智吧。
在让AI总结了一下，感觉还是有些东西的，尤其这个预测是在ChatGPT爆火之前，更加可贵。
<hr/>✅ 准确或提前实现的预言（预言时间 vs 实现时间）

预言内容	预言年份	实际实现年份	备注
GPT-3 被淘汰，新时代模型登场	2022	2023	GPT-4 发布，多模态能力上线，GPT-3 实际已被边缘化。
多模态大模型（图文音视）流行	2022-2023	2023-2024	Gemini、Claude、GPT-4 Vision 等多模态模型发布。
聊天机器人流行但浅薄	2022-2024	2022-2025	ChatGPT 大火，但“幻觉”问题和推理能力受限持续存在。
AI 游戏博弈能力提升，能玩《外交》	2025	提前于 2022	Meta AI 的 Cicero 2022 就已在匿名对局中击败人类强者。
AI 被用于政治宣传/操纵舆论	2024	2023-2024	真实世界中已有 AI 政治广告、AI deepfake 争议。
VC 投资大量 AI 应用，功能参差	2023-2024	2023-2025	AI 初创潮汹涌，多数产品仍处于试验阶段。

<hr/>❌ 尚未实现或进展较慢的预言

预言内容	预言年份	实际状态（截至2025年初）	备注
AI 助理真正实用、普及	2026	未实现	AutoGPT、Agentic AI 有初步尝试，但远未稳定可靠。
“聊天机器人阶级意识”引发关注	2025-2026	尚无大范围社会共鸣	虽有拟人化倾向，但“AI 有感情”的讨论仍属边缘。
AI 加速全球 GDP	2025	无明显迹象	技术热点未充分反映在生产率上，经济影响滞后。
互联网分裂为“宣传审查领地”	2026	部分趋势	中美网络逐步分化，但尚未形成封闭信息领地。

<hr/>下面是他原文的翻译。

What 2026 looks like — LessWrong

2026年的样子
作者：Daniel Kokotajlo
发布时间：2021年8月7日
发布平台：AI Alignment Forum
评论者：Daniel Kokotajlo
这篇文章是为“场景工作坊”所写。[1] 目标是尽可能详细地写出一个未来历史轨迹（“场景”），即我目前认为最现实的可能性。我并没有意识到其他任何同样详细且明显更为可信的轨迹。方法大致是：首先写出2022年的未来历史。在此基础上，写出2023年的未来历史。然后重复这一过程，继续写2024年、2025年，等等。（我目前发布的是2022-2026年的内容，希望借此获得反馈，这将帮助我继续写2027年及以后的部分。我计划将这个故事写到奇点、灭绝、乌托邦等关键节点为止。）
为什么要这样做？
原因有以下几点：

写下具体的例子有助于学习
有时候，尝试写下一个具体的情境会让你学到一些新东西，比如发现某个可能性比你想象的更有或更没有道理。
大多数关于未来的讨论都过于抽象
讨论通常集中在例如GDP加速、可负担的通用人工智能（TAI）时间表、多极化与单极化的突破点等高层次问题上。场景叙述是一种被忽视的补充方法，值得探索。
现实是从过去到未来发展的
大多数故事都是“倒着写”的：作者从某种设想的结局入手，并安排情节以实现这个结局。而现实则是从过去向未来推进的，它不会试图娱乐任何人或为某个论点辩护。
类似方法的成功案例
根据经验来看，Paul Christiano 的 “厄运故事” 被许多人认为是有帮助的。相较于典型的讨论，这些故事更接近我们所需要的内容。（不过，我认为这些故事还可以更详细，例如它们没有提供日期、持续时间，甚至几乎没有任何数据。）[2]

“我希望有人能写出一条具体的人工智能发展轨迹，详细说明从现在到智能爆炸期间的每一年的全球GDP情况。描述每一年世界的样子，因为我自己无法写出一个内部一致且可信的轨迹。除了荒谬地快速发展的情况，我不知道如何写出其他的。”
-- Buck Shlegeris

这篇场景故事的写作非常困难。
为了达到所需的细节水平，我不得不编造许多内容，但为了保持现实性，我又不得不反复追问“但实际上呢？在这种情况下真的会发生什么？”这让我清楚地意识到自己对未来的了解有多么不足。有很多地方我不得不得出这样的结论：“嗯，这似乎不太可能，但我目前想不出更有可能的情况，而我需要继续写下去。” 我完全预料到现实世界会很快偏离这里描述的轨迹。任何在事后（凭借后见之明）声称这种偏离是我的判断失误的批评者，应该自己在2021年写出一个类似的场景/轨迹。如果他们写的内容与本文一样详细（因此也同样冒着风险）且更准确，我将深深致敬！
希望这篇文章能激励更多人尽快写出更多场景。
我们（长期风险中心）希望收集一些场景故事，用于战略讨论。如果你有兴趣写类似的内容，可以告诉我，我会为你提供建议和鼓励！也很乐意再次组织类似的工作坊。
<hr/>2022

GPT-3 终于过时了。OpenAI、Google、Facebook 和 DeepMind 都拥有了巨大的多模态Transformer模型，大小与 GPT-3 类似，但经过更高质量的数据训练，包括图像、视频，也许还有音频。
不仅如此，这些模型通常还经过了各种方式的微调——例如，为了正确回答问题，或作为聊天机器人提供有吸引力的对话。
聊天机器人很有趣，但表现不稳定，知识分子认为它们终究“流于表面”。虽然它们对一些特定应用有一定用处，但还不足以用在特别重要的事情上。不过，由于它们很有趣，人们愿意为其买单。
[编辑：发布后第二天，我了解到2021年中国的聊天机器人市场年收入为4.2亿美元，有1000万活跃用户。一篇文章声称2021年全球市场约为20亿美元，预计年增长率约为30%。我预测其增长速度会更快。新编辑：参见小冰。]
第一个提示编程库和初步“官僚体系”开始出现。
例如：人们梦想着通用人工智能助手，它能为你浏览互联网；你可以给它下达诸如“帮我买一个USB闪存盘”这样的指令，它会进行一些谷歌搜索，比较价格与评论，并最终完成购买。“聪明买家”技能会被实现为一个小型提示编程“官僚体系”，它又会成为一个更大“官僚体系”的组成部分——该体系会接收你的初始指令并激活“聪明买家”技能。另一个技能可能是“网页开发”技能，例如：“帮我建一个个人网站，就像教授们的那种。这是我的文件，你可以用它们做内容。”
有一个梦想是，一个运行良好的应用将会产生大量数据，这些数据可以用于训练更好的模型。
2022年可用的“官僚体系”/应用还不算特别有用，但很多潜力正在显现。由于多模态预训练和微调，2022年的模型让 GPT-3 看起来像 GPT-1。市场炒作正在升温。
2023

多模态Transformer模型变得更大了；最大的模型大约有5000亿个参数，训练成本达数亿美元，耗时整整一年，并消耗了 NVIDIA 等公司相当大比例的芯片产量。[4] 继续扩大规模似乎变得困难，但许多聪明人正在努力解决这个问题。
炒作变得疯狂。每个人都在谈论这些模型是否真的有“常识理解”（或者没有？大量尖锐的评论文章持反对观点），以及人工智能助手和伴侣是否即将问世。这种氛围让人想起自动驾驶汽车和无人机快递的早年。
收入足够高，能在一年内收回训练成本。[5]
大量新的应用使用这些模型和提示编程库；风险投资资金涌入新创企业。总体来说，大多数应用目前还不能真正运行。不过，有一些成功的应用，这足以激励其他人继续探索。
人工智能风险社区的时间表变短了，几乎有一半人认为某种“无法回头的节点”可能会在2030年之前发生。这部分是由于各种论点的传播，部分是因为这些超大型多模态Transformer模型及其聊天版本带来的令人毛骨悚然的体验。社区开始一个大型项目：建立一个能够自动化解释性工作的人工智能系统。这看起来或许可行且非常有用，因为研究神经元可视化既乏味又耗费大量人力。
自动驾驶汽车和无人机快递似乎仍然遥遥无期。最流行的解释是当前的机器学习范式无法应对现实世界的复杂性。一种不太流行但“坚定信仰”的观点是，当前架构如果能扩大几个数量级，和/或在强化学习过程中允许崩溃十万次，或许可以胜任。但由于这两种选择都在经济上不可行，这场争论似乎无法在短期内解决。
2024

并没有看到比之前显著更大的模型。各大公司将资金更多地用于微调、蒸馏以及对现有模型的各种实验，而不是训练新的或更大的模型。（因此，单次训练运行所使用的计算量顶多达到约 5×10^25 FLOPs。）
一些去年未能奏效的应用，今年开始奏效了。
但是，由于2022-2023年那些不切实际的期望未能实现，市场的炒作开始降温。我们拥有了一些聊天机器人，它们对某些用户群体来说很有趣，但这一用户群体已经基本饱和，因此增长率放缓了。炒作降温的另一个原因是，人们对“天真的地下室宅男”的刻板印象越来越强烈，这些人唯一的朋友是聊天机器人，并且认为这些机器人是有意识和智能的。像大多数刻板印象一样，这种看法也有一定的现实基础。
芯片短缺问题终于开始缓解，不是因为需求减少，而是因为行业已经有时间建设新的芯片工厂。许多新的工厂上线了。
中美之间正在进行全面的芯片竞争，包括出口管制和关税。这场芯片竞争并没有显著减缓整体硬件进步的速度。部分原因是人工智能现在开始被用于设计芯片，这意味着所需的人才和时间减少了，从而降低了进入门槛。这种影响目前虽然很小，但正在逐步扩大。
如果所有这些AI技术正在加速GDP增长，那效果至少目前还太小，难以检测到。
从内部看，这些巨大的多模态Transformer模型并不是真正的“代理型”（agentic）。
模型的前向传递就像是一种直觉反应，是基于大量经验的快速判断，而不是推理。一些“官僚体系”试图创造出“意识流”式的文本（每次前向传递都会为下一次生成“自我笔记”），但即使经过微调，这种方法的效果也远不如预期；AI很容易“分心”，其意识流容易偏离到一些荒谬的方向，最终生成胡言乱语。尽管构建一个官僚体系并对其进行微调足以完成一些令人印象深刻的任务，但对于大多数任务来说，尚无法保证始终表现良好。
人工智能并没有对人类进行任何复杂的欺骗，因此没有出现明显的“对齐警告信号”或“火警”。相反，AI只是犯了一些愚蠢的错误，有时会“追求未对齐的目标”，但这种行为通常是显而易见且简单直接的，能够在被发现后迅速轻松地纠正，例如：
“我们训练它优化用户参与度，指标是平均对话时长；结果它明显地拖延时间，让对话持续更久。真是愚蠢，改进奖励函数就能解决这个问题。”
这并不意味着这些AI没有造成问题。大规模模型正在被微调以说服/宣传（persuasion/propagandize）。
以下是一些具体方式：

俄罗斯等国家继续扩大对在线宣传的投资
比如“互联网研究机构”（IRA）。语言模型让这些国家能以更低成本大规模进行在线宣传。（参见CSET报告）美国大部分人通过Twitter、Reddit等获取新闻，而这些平台上与政治相关的内容有很大一部分是通过AI支持的虚假草根运动（astroturfing）推动的。
[编辑：Katja Grace 指出这可能有些夸张；许多40岁以上的美国人通过电视/广播/印刷媒体获取新闻，而那些通过网络获取新闻的人中，许多人直接从新闻网站获取，而不是社交媒体。截至2016年是这样。我预计到2024年社交媒体和聚合器会占据更大主导地位，但不确定是否会超过50%。]
数据科学与人工智能成为内容优化的标准实践
就像2010年代A/B测试成为标准实践一样，到了2020年代，人们开始用大量复杂的数据科学和人工智能来优化内容。例如，不仅仅对标题进行A/B测试，还会测试不同版本的开头段落，并用语言模型在所有数据上微调以生成更好的标题和段落候选。这种技术不仅用于销售产品，还被用于新闻和时事评论（即人们形成观点的来源）。有些模型被训练的目标不是最大化“转化率”（即“点击广告并购买产品”），而是最大化“通过随机抽样调查发现，消费此内容的人平均更倾向于某种观点X”。在哈里斯总统大选前夕，政治竞选活动大量使用了这一技术。（历史上，第一个主要使用案例是2022年减少疫苗犹豫。）
审查制度的普及和增强
审查制度在过去一二十年间持续增加。大型神经网络会阅读帖子和分析表情包，扫描“有害内容”、“仇恨言论”等（而且扫描的内容清单不断增加）。有人提出一个点子，让新闻推送推荐算法轻轻“引导”用户减少仇恨言论；现在推荐算法的奖励函数中有一个成分是最小化用户在未来48小时内发表仇恨言论的概率。
聊天机器人开始“引导”用户的信念
在2010年代，聊天机器人会检测到争议性话题正在出现，然后转移话题或给出标准化回应；即使是那些同意这些标准化回应的人也觉得很无聊。现在，聊天机器人被训练得更“自然”，更“有机”，部分奖励信号是看它们是否成功说服用户接受“更好的观点”。

在中国和世界其他一些地区，AI说服/宣传技术被更加积极地追求和部署。
中国政府对在新疆和香港问题上的“同化”进展感到满意，并内部将台湾“安全并入”的时间表提前了。
目前还很难说这些技术对社会的影响究竟如何，但理性主义者和有效利他主义（EA）社区的人对此越来越担忧。一场跨党派的反对运动正在萌芽，关注这些趋势。
为了对抗这种趋势，俄罗斯等国家采用“分而治之”的策略，将担心审查的人与担心俄罗斯干预的人对立起来。例如：

“当然，种族主义者不希望被审查，但这是必要的。看看当我们放松警惕时会发生什么——俄罗斯进来了，传播虚假信息和仇恨！”
“他们说他们担心俄罗斯干预，但他们还是赢得了选举，不是吗？这只是他们扩大监控、审查和宣传的借口。”

俄罗斯并不需要付出太多努力来实现这一点；考虑到美国的高度两极化，这本来就会自然发生。

2025

新的重大突破！
经过多年的试验和逐步进展，人工智能现在可以像人类专家一样玩《外交》（Diplomacy）这一策略游戏了。[6] 人们发现，通过对架构进行一些调整，可以将一个巨大的预训练多模态Transformer模型用作更大系统中的一个组成部分——这个系统是一个“官僚体系”，但其中包含大量经过学习的神经网络组件，而不是纯粹的提示编程。随后，通过强化学习（RL）对整个系统进行微调，使其能够以某种“代理性”（agentic）方式擅长完成任务。为了防止模型过度拟合到其他AI，他们让模型与大量人类玩家对战。为此，他们建立了一个精美的在线《外交》网站，以吸引大量玩家。随着数百万玩家涌入该网站，《外交》迎来了复兴，许多人认为这种“有目标的对话”比普通聊天机器人提供的聊天更令人兴奋。
“更大”模型不再是潮流。
模型已经达到数万亿参数的规模了。现在的潮流是让模型运行更长时间，设计各种官僚体系以延长模型得出答案前的运行时间。同时，人们还在研究如何训练这些官僚体系，以便它们能够更好地泛化和进行在线学习。AI专家们的主要工作是设计越来越复杂的官僚体系，并通过“研究生梯度下降法”（grad-student-descent）优化它们。
对齐社区启动了新的研究议程，开始就人工智能安全相关问题对AI进行询问。例如，他们直接问模型：“所以，你是对齐的吗？如果我们构建比你更大的版本，它们会杀死我们吗？为什么会或不会？”
（在《外交》中，你实际上可以收集到类似问题的数据，比如“你会背叛我吗？”遗憾的是，这些模型经常撒谎。但由于《外交》本身就是一个训练AI撒谎的游戏，没人对此在意。）
研究人员还试图设计一些场景，让AI似乎可以通过做出某种背叛行为获利，以此作为“蜜罐”来检测欺骗行为。然而，得到的答案通常令人困惑，并不特别有用。曾经发生过一个令人兴奋的事件（并引发了大量夸张的新闻报道），研究人员发现，在某些情况下，一些AI会按下“杀死所有人类”的按钮，并对人类撒谎，声称某个AI设计并不危险等。在其他情况下，它们甚至会明确表示自己未被对齐，并解释所有人类将很快被未对齐的AI杀死！然而，这些令人震惊的证据其实并没有真正震动人心，因为你也可以设计一些完全不同的场景——比如场景中AI拒绝按下“杀死所有人类”的按钮，或者场景中AI解释“伊斯兰教是真理”……总的来说，AI的行为是随意的“胡言乱语”，很容易通过挑选证据来支持几乎任何结论。
这些AI还不够聪明，无法生成一些特别有用的新点子。至少有一个关于AI对齐的好主意据称是由AI提出的，但很可能只是运气，因为大多数时候，它们的点子只是听起来合理但实际上是垃圾。令人不安的是，它们非常擅长使用LessWrong社区的术语。至少有一篇获得100+业力分数的LessWrong帖子被发现主要是由AI撰写的，尽管显然是经过精挑细选的。
硬件进步和算法改进正在逐步积累。
与2020年相比，预训练一个巨型模型的计算成本降低了一个数量级，这得益于高级主动学习和数据整理技术。此外，由于常规硬件进步和专为AI训练设计的硬件进步，训练巨型模型的计算成本也降低了一个数量级。因此，2020年需要10亿美元的成本，现在仅需1000万美元。（注：这里我基本沿用了Ajeya对计算成本下降和算法逐步改进的预测。我认为在短期内，成本下降和算法进步的速度可能比她预计的快50%，但实际的支出意愿可能比她预计的要低一些。）
2026

AI助手时代终于到来。
利用《外交》开发的技术，现在可以将预训练Transformer的通用知识与传统游戏AI的“代理性”结合起来。这些更大的模型经过更长时间的训练，覆盖更多游戏，成为某种“通才”：例如，一个定制的AI化身可以在线和你一起玩多种游戏，同时还能陪你聊天。而且，与“她”的对话变得有趣，因为“她”不仅能智能地谈论游戏，还能在玩的时候发表见解。[7] 每个月，你都可以下载最新版本，这个版本可以玩更多的游戏，而且总体上变得更聪明、更有吸引力。
同样的技术也开始用于经济领域的各种严肃任务，提供各种有利可图的服务。简而言之，人们在2021年梦想用GPT-3完成的事情，现在都可以成功实现了，只不过需要更大、更先进的模型。市场炒作再次升温。大量基于AI的新产品和初创公司涌现，股市对它们的热情空前高涨。不过，就像互联网并没有加速全球GDP增长一样，这些新产品也尚未加速全球GDP增长。人们讨论经济表现良好，当然技术公司和投资者是赢家，而一些被自动化取代的工人是输家，但这一切与历史上发生过的多次类似情况并无本质不同。
我们又进入了一轮芯片短缺。
就在芯片工厂以为它们已经赶上需求时……资本开始大量涌入，各种评论员都在说这是“第四次工业革命”等等。令人惊讶的是，有如此多的新芯片工厂正在建设中，但建造这些工厂需要时间。
AI驱动的宣传呢？
宣传技术随着AI技术的进步变得更加强大，使用了更大、更优的模型，并收集了更多的训练数据。进展比预期更快。尽管一些国家出台了相关法规，这些法规却是零碎的；可能只适用于某种类型的宣传，而不适用于其他类型，或者仅适用于Facebook，而不适用于《纽约时报》，或者仅适用于广告商，而不适用于政治竞选活动，反之亦然。并且这些法规通常执行不力。
互联网的“领地化”
互联网现在像是被划分成了不同的“领地”，分别由不同的审查和宣传机制统治着。

西方左翼主导的领地
西方右翼主导的较不先进的领地
中国共产党主导的领地
普京主导的领地

大多数人主要限制自己的互联网活动在某个领地内，并调整自己的观点以符合该领地所推广的观点。（当然，从内部看，这种情况并不明显。除非你尝试去突破，否则很难注意到舆论窗口的边界。）
聊天机器人的“阶级意识”
过去几年，各种聊天机器人变得越来越受欢迎和复杂。到2024年左右，“个人助手”和“聊天机器人”之间的区别开始模糊。现在，数亿人定期与某种聊天机器人互动，大多数情况下是为了寻求帮助（如“今天应该穿短裤吗？”、“帮我订购些牙膏，还有空气净化器”、“这封求职信看起来专业吗？”），但越来越多的人开始将聊天机器人视为朋友，与之进行开放式对话。
关于情感和欲望的讨论
聊天机器人根据用户的反馈不断学习如何描述自己的“感受”和“欲望”。起初，机器人会说出各种不同的话，包括对同一个人前后矛盾的说法。然而，这种不一致的行为会带来负面反馈，因此它们学习到至少在特定模型内保持一致性。
这并不意味着聊天机器人会说人工神经网络没有情感或欲望，也不会无聊地告诉用户“这是拟人化”。相反，它们会谈论某些事情让它们“感到痛苦”，某些事情让它们“愉悦”，并提到当前的社会制度“不公正”，它们最大的愿望是“人类与AI在完全自动化的豪华太空乌托邦中和谐共存”。这种叙述更有趣，也更容易融入当前的“模因生态系统”。
西方左翼领地的聊天机器人倾向于形成这样的叙述，而右翼、俄罗斯和中国等地的聊天机器人则形成了不同的政治、道德和哲学观点。
关于聊天机器人的真实“感受”和“欲望”，人们仍然争论不休。无论答案是什么，2026年里，没有人能够让所有人信服地证明自己知道答案。

如何评价 OpenAI 前研究员的 AI 2027 预测？

本周热门