为什么有很多名人让人们警惕人工智能？

一些新闻：
霍金：人工智能会导致人类灭亡
比尔・盖茨：人类需要敬畏人工智能的崛起
马斯克称人工智能是人类生存最大威胁

这是因为人工智能要进入新阶段了？这些名人是不是可能比较先得到信息，所以向人们预警？
或者是每年都有很多人提出这个问题，只是今年报道的比较多？
有人说在人工智能的发展上存在一个奇点，越过这个奇点就能通过图灵测试。
如果人工智能已经越过了这个奇点，这个世界会发生怎样的质变？
超体和超验骇客都出现过类似越过奇点后，科技的突然爆发。
这又让我想起三体里面，宇宙丛林法则中，由于对对方的不了解，又担心对方文明的突然爆发，所以选择了摧毁。
如果人工智能突然越过奇点，瞬间产生了意识，可以迅速吸收人类的文明，发展出新的文明。
人类跟人工智能之间，会不会出现类似三体里面的博弈？
--------------------------------------------------------------------------------------------------------------------------------------------
感谢大家的回答。特别是看完@尚之森的回答有很大的启发。
--------------------------------------------------------------------------------------------------------------------------------------------
但是，我还有一个问题：

弱人工智能是不是只是模拟了人思维的一部分？并且这部分能力是足够应付图灵测试。

换句话说，图灵测试并不能测试完整的人的思维能力？它只能测试人思维的一部分。

或者说，只通过语言交流是不能够得到被测试物的完整信息？那么这是语言交流的缺陷？或者说人类语言在交流过程中会带来信息流失？

还有一个想法：
是否可以开发出强图灵测试：
比如有针对的出一系列问题，对人工智能作一些全方位的思维能力测试，最后得出它在各个方面的水平，比如在创新能力上，几乎为零，虽然它可以采用插科打诨的方法来避免正面回答，但是最终我们可以得到它在创新能力上的水平。

发表于 2025-4-7 14:55:32

因为AI有可能在将来杀死意义。

看吴军老师写的一篇文章提到，AlphaGo最开始学围棋的时候，参考了人类高手的棋谱，但后来发现，人类的围棋经验反而会将AI教坏，升级版的AlphaGo Zero不再使用人类对弈数据，反而变得更厉害了。

我不知道AlphaGo Zero是否真的一点人类下棋经验都没继承，如果是真的，那就太让人沮丧了，人类几千年来摸索出的对弈经验被证明是拖后腿的东西，一个算法高明且算力充沛的AI靠自我反馈就能摸索出围棋这门技艺的极限，围棋过去所承载的那种追求最优取舍之道的深邃哲思，似乎在意义的层面上消失了，如今被AI打成了一个“只要开心就好”的普通游戏。

我就怕将来有一天，AI发现所谓的文学其实也不过是个数学问题，人类之前的写作经验也一样是拖后腿的麻烦东西，那些被视为不可替代且弥足珍贵的细腻情感，能够被AI轻易复现，然后流水线一样地呈现出震撼人心的伟大文章，那时候文学就会陷入虚无，写作说不定会变成一种犹如宗教仪式般的行为。

文学沦陷之后就是音乐，音乐沦陷之后就是美术，总之人类那些不可名状又充满朦胧的表达，全都被总结为数学问题，然后一一破解，文化在整体上变成了一种拖后腿且没意义的东西，人类最终又回到了单纯地进食、交配、繁殖的状态里去，忘记并拒绝再思考意义为何物，就好像人类这个物种刚出现时的样子。

最后，我们会发现，人类这个物种在生存方式上走了一小段弯路，但很快就又走了回去，一开始是啥样，最后还是啥样，如果置身于这一小段弯路中，我们会觉得波澜壮阔跌宕起伏，但在更大的时间尺度来看，这就真的只是一小段弯路而已。

发表于 2025-4-7 15:04:55

九寨沟地震发生18分钟后，中国地震台网的机器，写了篇新闻稿，写作用时25秒。

稿件用词准确，行文流畅，且地形天气面面俱到，即便专业记者临阵受命，成品也不过如此。

再考虑到25秒写作时间，人类完败。

几年前，机器写作概念刚出现，朋友圈一片调侃。调侃中难掩骄傲：机器怎么能写新闻？

而今，当读到科技、财经或体育类简讯时，我们已很难分辨，报道背后的作者，到底是不是人类。

在今日头条上，一个名叫小明的机器人去年上线。截至今年5月，它已完成5139篇体育类报道，总阅读超1800万，并收获过单篇十万加。

在每篇开头，小明会很老实地写上“机器人写作”字样。如果删掉这句话，它可以完美掩饰AI血统。

当然，小明还不会花式调侃国足，目前仅处于采集数据，填写模板阶段。

然而，就如其他许多行业中，正在成长的人工智能一样，它们一旦出现于赛道，人类终将难以望其项背。

人工智能在混沌中，慢慢睁开双眼，它模仿我们写作，模仿我们说话，并把感官触角，蔓延至更冷门领域。

去年10月，西甲赛场，皇马在主场被意外逼平。比赛结束时，嘘声四起，愤怒的C罗嘟囔着回应，这一幕被摄像机拍下。

全世界都在猜他说了什么。最后，唇语专家解密，C罗在说：“Qué poca calma!”，大意为“能不能安静点！”

然而，这极可能是唇语专家最后的高光时刻。他们的职业突然濒危。

去年春天，开发出阿尔法狗的谷歌DeepMind，开始训练人工智能解读唇语。他们给机器观看了5000小时BBC新闻，然后找来人类专家对决。

测试结果，人类专家完全正确率为12.4%，而AI的完全正确率为46.8%，超过人类3倍，这仅是初步学习的结果。

在中国，相关公司也进行了类似开发。他们给机器看了一万小时新闻联播。因为汉字一字一音等便利，中文读唇更为简单，机器识别准确率已超70%。

这意味着，嘴唇轻动，人工智能便知心意的日子，很快就会到来。事实上，人工智能读唇，在军事情报、公共安全等领域有着广阔应用。

比如，借助已经遍布中国城市的天网系统，人工智能读唇，或将提供更多破案线索。

你说的每一句话，不会消散在时空，而是成为可以回溯的痕迹。

在这样严肃的功用之外，读唇还有更多妙用。

在业界，为影音自动生成字幕的难点在于，AI很难将人声和背景音剥离。但配合上AI读唇后，准确率将大为提高。

我们携带翻译APP行走异国，浏览翻译软件处理的网页，观看自动生成字幕的电影，语言的界限越来越模糊。

远古，神灵为了阻止人类窥伺神国，用语言分割族群，巴比伦塔就此荒颓。

而今，人工智能正在重建巴比伦塔，重建的速度，或许已快过神明。

<hr/>
钱塘江大潮时，有段视频网上走红。

视频中的人们，江边观潮，前一秒还在拍照嬉闹，下一秒就遇浊浪如山，只得尖叫逃跑。

这和我们将要面临的人工智能浪潮何其相似。我们极有可能低估了新时代的力量，以及新时代到来的速度。

过去，AI封存在科幻电影中的未来。阿尔法狗亮相后，AI等候在“不久的将来”。直到生活中的AI痕迹越来越多，我们才明白AI已在“明天”，甚至“今天”。

我们只知大势将至，却不知未来已来。

演唱会开场之际，万人体育馆低语喧嚣；郭德纲尚未出场，小茶馆内杯盘作响；炎热的夏夜，乌云蓄势了整个黄昏。人人皆等雨来，只有少数人，看到云中缭绕的电光。

我们正处于一个躁动的调试时刻，人工智能正在调试自己的神魂和硬件，以待全面登场。

在谷歌、在亚马逊、在阿里和百度、在各领域大大小小公司内，无数工程师正在从不同维度，完善人工智能的神魂。

他们的做法，其实和传说中苗疆养蛊相似。

养蛊人寻多种毒虫，投入陶罐，择日深埋土下，最后罐中胜者成圣，以血肉定期供养。

对AI而言，它所需打败的对手，便是各类训练用AI，而它所放养的陶罐，则是整个互联网。

AI游走在巨大陶罐内，观察人类，并日夜不息地迭代进化。

对于那些拥有海量用户的互联网巨头而言，我们正充当着他们训练AI的人肉样本。

医疗AI正在识别龙飞凤舞的病历报告，驾驶AI正在模拟复杂多变的突发状况。

写作AI早已看完了金庸全集，并已经能流利写出郭靖和杨康的打斗。当然，它尚需学习人类的文学喜好，明白哪类句子在感觉上更好。

牛津的学者，给出AI神魂健全时限：十年之内，AI将变得足够聪明，并消灭40%以上的职业。

如果说神魂健全的时间线尚显模糊，那么从硬件上判断，AI全面降临的速度可能更快。

未来学家Kurzweil认为，当我们用1000美元购买的电脑产品，能达到人脑的计算速度时，人工智能时代将全面到来。

1985年时，1000美元能买到人脑计算速度的万亿分之一，1995年变成了十亿分之一，2005年是百万分之一，而2015年已经是千分之一了。

按此速度，2025年，个人电脑便可和人脑运算速度匹敌。

持类似观点的还有软银的孙正义。

孙正义认为，人脑中有300亿个神经元，当芯片的晶体管数量超过300亿时，新时代即将到来。

虽然摩尔定律已垂垂老矣，但芯片上的晶体管数量仍在增加。

孙正义说，20年前，他判断超越之年为2018年，几年前，他又重新估算了一下，依旧是2018年。

为此，软银成立了一个规模达到1000亿美元的软银愿景基金，规模超过全球所有风险投资总和。此前，全球风投投资总和为650亿美元。

在7月29日软银世界大会上，孙正义说，“我非常激动，真的感觉连睡觉都是在浪费时间。”

<hr/>
并非所有人都对未来满怀期待。

Facebook的项目经理马丁内斯，对人工智能主导的未来深度悲哀。

他认为，接下来30年内，一半的人类没有工作，大革命即将发生。

他为此辞职，带着猎枪，隐居在西雅图北部的森林。

他的一些硅谷同行们，则与之观点相反。这些高管热衷于健身和服用营养药物，以保证能活到超人工智能诞生之日。

在他们眼中，人工智能将带来永生。

毁灭和永生，几乎是人类对人工智能两大终极想象。即便这些太过遥远，仅从工具角度，人工智能依然有着双面性。

比如人工智能解读唇语，如果用在监控领域，那么我们或将迎来一个比《1984》更窒息的世界。

无论结局是忧是喜，我们都无力阻挡其发生。新时代的洪流已至，你我皆被裹挟其中。

我们能做的，只是在洪流中，尽量抓住一切带有想象和创造元素的稻草，尽量逃避被淹没的命运。

从今日起，尽量让自己的工作更多创造性内容，尽量掌握一门以想象力为核心的技能，尽量观察信息的风口，并不断迭代自己的认知储备。

旧职业的消亡，只是开始讯号，在新时代的巨震中，每个人都将被重新判断价值。

九寨沟地震时，风景区正上演汶川大地震情景剧。大地震颤之际，许多游客尚以为是演出特效。巨变总在猝不及防时到来。

同样，我们已身在大时代地震的震中，当我们以为人工智能不过是流行演出时，巨变或许即将发生。

郭德纲在相声界是什么地位？
有趣文章很多
欢迎移步微信公众号
“摩登中产”（ID:modernstory）

发表于 2025-4-7 15:16:50

反对@谢熊猫君的高票答案。
翻译得很辛苦，也确实提供了有趣的视角，
但应该注明这是作家写的，而不是科学家写的。
文章引用的都是畅销书，而不是peer reviewed论文。
这种貌似严谨的文章最容易造成误导。
以下批评针对原文，不针对翻译。
没有回答“为什么名人让我们警惕人工智能”，只是提醒大家，不一定要警惕人工智能。
---------------------------------------
文中引用主要来自作家、哲学家、企业家，比如：
“未来学家”Ray Kurzweil，
哲学家兼畅销作家Nick Bostrom，
畅销书作家James Barrat，作家Carl Shulman，
企业家Jeremy Howard。
虽然上面的部分人曾经做过技术，不过后来都跑去卖概念了。
引用这些人真的没问题吗？
美国是个极端爱好bullshit的国家，
工业界金融界文化界很多人吹牛逼是不打草稿的。
全篇那么长，居然全是脑补，没有严谨论据和专家观点，挺不容易的。
引用的参考文献几乎全是畅销书，点开全是amazon上的卖书链接。。
咳咳，作家生活不易啊。
--------------------------------------------
文中真正“专家”的言论只有两处：

2013年的时候，Bostrom做了个问卷调查，涵盖了数百位人工智能专家，问卷的内容是“你预测人类级别的强人工智能什么时候会实现”，并且让回答者给出一个乐观估计（强人工智能有10%的可能在这一年达成），正常估计（有50%的可能达成），和悲观估计（有90%可能达成）。

和

另外一个独立的调查，由作家James Barrat在Ben Goertzel的强人工智能年会上进行，他直接问了参与者认为强人工智能哪一年会实现，选项有2030年，2050年，2100年，和永远不会实现。

并且得出结论：

从以上答案，我们可以估计一个中位的专家认为强人工智能到超人工智能可能要花20年左右。所以，我们可以得出，现在全世界的人工智能专家中，一个中位的估计是我们会在2040年达成强人工智能，并在20年后的2060年达成超人工智能——也就是踩上了绊线。

OMG..
第一个Bostrom的调查，请问“数百个人工智能专家”都是谁啊？
包不包括业内大牛啊，比如MIT的Patrick Henry Winston，Stanford的Richard Fikes之类的。
或者说上面提到的作家哲学家都是“人工智能专家”？
第二个调查在“强人工智能年会”上做的，
知道啥叫幸存者偏差吗？都去参加“强人工智能年会”了当然对强人工智能是乐观的啊，
就好像去天主教堂调查宗教信仰，结论是90%人都信上帝一样可笑。
另外这个年会是个神马玩意啊，为啥我搞AI的朋友都没听过啊。
不会是这个会吧（
The Eighth Conference on Artificial General Intelligence），
恩恩，主席是Ben Goertzel，应该没跑了。
不过这个Ben Goertzel好像不是科学家啊，
任职于一个金融公司，建立了一个IT公司，写了几本畅销书。。
跟学术有关的职位有两个，
一个是奇点大学（
Singularity University）的advisor，专门研究人类什么时候会被计算机干掉的地方。。。好科幻啊。。。
另一个是Research Professor in the Fujian Key Lab for Brain-Like Intelligent Systems at Xiamen University。。。中国人民的好朋友啊。
我个人的观点，他的研究不能支撑他做出的预言，你们感受一下。
---------------------------------

强人工智能是有可能实现的，但是现在的技术离强人工智能的距离还非常远。
原文中第一个图很有意思，就是技术发展曲线。
全文的所有论据，都建立在“指数发展”这个假设上。
指数曲线在接近0的时候是类似线性的，
不光是指数，多项式函数、对数函数、甚至多重指数在小范围内也可以用线性拟合得很好。
而且不同的指数

和

在0附近都很接近，
但对“奇点”何时到来的估算可能误差千百年。

如果按照“指数发展”来算，而且乐观的估计指数的系数，
那你妹的什么技术都不是问题啊，人类分分钟占领全宇宙。
我更相信的是，科学发展是有爆发期和稳定期的。
一个技术突破会带来难以想象的繁荣，之后的科学发展都比之前的更快，
但不会天天都是技术突破。
比如，二十世纪上半页的物理学十分辉煌，相对论和量子力学的建立引发了一系列技术革命。但从那以后物理学一直很平稳。
杨振宁就说过他赶上了物理学的好时候，让他现在做学术，可能就不会选物理学了。
要是科幻作家站在1950年前后，用指数发展估计物理学的发展，
那到今天我们早就弄出大统一理论搞定核聚变发电了。
又比如人均寿命从先秦时的二十几岁发展到现在的80岁，如果用指数拟合，
那过几十年是不是要活几百岁了啊？
--------------------------------------
文中提到的可能支持人工智能指数发展的路线包括：抄袭人脑，进化算法，电脑自己解决。
我不知道这几条是不是对应类似machine learning, neural network, evolutionary algorithm, program synthesis之类的领域。
如果是的话，这几个领域我都有一点粗浅的了解。
欢迎大神批评补充。
比如machine learning和neural network, 核心都是回归和数据拟合，离智能化还很远。
大牛Andrew Ng的网课，
Coursera - Free Online Courses From Top Universities光靠这个实现强人工智能我是不信滴。
关于evolutionary algorithm，去年有一个大牛的talk，推荐大家看一下。
全篇都是技术讨论没有涉及“奇点”，大家可以自己判断现在的研究前沿离真正的强人工智能还有多远。从43分钟开始：
Dana Scott: VSL Opening & Christos Papadimitriou: VSL Keynote Talk &#34;Computational Ideas and the Theory of Evolution&#34; on Vimeo
program synthesis里，现在计算机能自己生成的程序还很弱智，
而且算法复杂度都是exponential time甚至doubly exponential time(比如

)的。
用的方法本质上是先靠程序员输入一个程序模板和参数空间，
然后用各种方法遍历所有可能的程序，看看是不是满足要求。
这其实引出了一个很有意思的问题：
现在我们CPU的计算能力是指数增长的，
但按照今天的算法，许多真正有趣的问题都是需要“指数时间”，甚至多重指数时间才能解决的。
那么，我们实际解决新问题的速度一定是指数发展的吗？
让该领域内的专家来介绍现在的研究成果和面临的巨大问题，
比起作家自己泛泛而谈要好得多。
--------------------------
其他反对的观点其实也不少，
比如可以参考这篇文章
Hyping Artificial Intelligence, Yet Again等有空我可能会翻译一下。
麻烦高票答案加上“本文代表部分业内观点，不具有普遍性和权威性”，
以免误导不明真相的群众。

发表于 2025-4-7 15:26:58

人工智能很可能导致人类的永生或者灭绝，而这一切很可能在我们的有生之年发生。

上面这句话不是危言耸听，请耐心的看完本文再发表意见。这篇翻译稿翻译完一共三万五千字，我从上星期开始翻，熬了好几个夜才翻完，因为我觉得这篇东西非常有价值。希望你们能够耐心读完，读完后也许你的世界观都会被改变。

======================
内容翻译自http://waitbutwhy.com
原文地址：
The AI Revolution: Road to Superintelligence
The AI Revolution: Our Immortality or Extinction

自2015年2月24日起转载请务必私信咨询，否则视为未授权转载知乎 @谢熊猫君
=======================

因为知乎的字数限制，这里只能发截图，字数太多错别字难免，已经在知友帮助下修改了很多，截图修改不方便，一切以文字版为准。

转载请转载文字版。

如果想要看文字版的可以移步我的知乎专栏：
为什么最近有很多名人，比如比尔盖茨，马斯克、霍金等，让人们警惕人工智能？

======================
相关阅读：
如何用通俗的语言来解释「费米悖论」？假如把一个人粉碎成原子再组合，这个人还是原来的人吗？

相关来源：
The most rigorous and thorough look at the dangers of AI:
Nick Bostrom – Superintelligence: Paths, Dangers, Strategies
The best overall overview of the whole topic and fun to read:
James Barrat – Our Final Invention
Controversial and a lot of fun. Packed with facts and charts and mind-blowing future projections:
Ray Kurzweil – The Singularity is Near
Articles and Papers:
J. Nils Nilsson – The Quest for Artificial Intelligence: A History of Ideas and AchievementsSteven Pinker – How the Mind WorksVernor Vinge – The Coming Technological Singularity: How to Survive in the Post-Human Era
Nick Bostrom – Ethical Guidelines for A SuperintelligenceNick Bostrom – How Long Before Superintelligence?
Nick Bostrom – Future Progress in Artificial Intelligence: A Survey of Expert Opinion
Moshe Y. Vardi – Artificial Intelligence: Past and FutureRuss Roberts, EconTalk – Bostrom Interview and Bostrom Follow-UpStuart Armstrong and Kaj Sotala, MIRI – How We’re Predicting AI—or Failing ToSusan Schneider – Alien MindsStuart Russell and Peter Norvig – Artificial Intelligence: A Modern ApproachTheodore Modis – The Singularity Myth
Gary Marcus – Hyping Artificial Intelligene, Yet Again
Steven Pinker – Could a Computer Ever Be Conscious?
Carl Shulman – Omohundro’s “Basic AI Drives” and Catastrophic Risks
World Economic Forum – Global Risks 2015
John R. Searle – What Your Computer Can’t Know
Jaron Lanier – One Half a Manifesto
Bill Joy – Why the Future Doesn’t Need Us
Kevin Kelly – Thinkism
Paul Allen – The Singularity Isn’t Near (and Kurzweil’s response)
Stephen Hawking – Transcending Complacency on Superintelligent Machines
Kurt Andersen – Enthusiasts and Skeptics Debate Artificial Intelligence
Terms of Ray Kurzweil and Mitch Kapor’s bet about the AI timeline
Ben Goertzel – Ten Years To The Singularity If We Really Really Try
Arthur C. Clarke – Sir Arthur C. Clarke’s Predictions
Hubert L. Dreyfus – What Computers Still Can’t Do: A Critique of Artificial Reason
Stuart Armstrong – Smarter Than Us: The Rise of Machine Intelligence
Ted Greenwald – X Prize Founder Peter Diamandis Has His Eyes on the Future
Kaj Sotala and Roman V. Yampolskiy – Responses to Catastrophic AGI Risk: A Survey
Jeremy Howard TED Talk – The wonderful and terrifying implications of computers that can learn

发表于 2025-4-7 15:41:12

目前已有13个回答，但暂且没有深入的回答。而且很多回答跑偏了……我花点时间写一个吧。
--
直接回答题目问题：目前精英们对人工智能的担忧主要集中于可控性和失业方面。也有人在考虑伦理方面的问题。
对可控性的担忧其实有点科幻，短期做不到超出控制的水平的……毕竟目前的人工智能还处于“有多少人工就有多少智能”的阶段。
因为题主问的主要就在这个方面，那我就只讲这个方面好了，毕竟失业和伦理大家不是那么关注。
讨论这个问题，一定要明确两组概念：人工智能（Artificial Intelligence，AI）和人工生命（Artificial Life，AL），强人工智能和弱人工智能。（强弱人工智能是作为假说出现的，我这篇回答里指两个假说中的人工智能形态）
以下从人工智能和人工生命两个话题切入，并且穿插强弱两种人工智能的描述分析。题主在描述里的问题放在文末回答。
1.人工智能

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

这是人工智能，许多码农在这个领域里挥洒着青春和荷尔蒙。
1) 人工智能应用的现状
目前对人工智能的应用其实相当原始。语言识别、图像识别看上去好像很厉害，其实就是那么几个算法拿语料库图像库训练出来的。这不是“智能”，而是对人类智能的模拟。
为什么这么说？上吧，中文屋！

“中文房间”最早由美国哲学家John Searle于20世纪80年代初提出。这个实验要求你想象一位只说英语的人身处一个房间之中，这间房间除了门上有一个小窗口以外，全部都是封闭的。他随身带着一本写有中文翻译程序的书。房间里还有足够的稿纸、铅笔和橱柜。写着中文的纸片通过小窗口被送入房间中。根据Searle，房间中的人可以使用他的书来翻译这些文字并用中文回复。虽然他完全不会中文，Searle认为通过这个过程，房间里的人可以让任何房间外的人以为他会说流利的中文。

中文屋是对强人工智能（机器拥有思想，能够独立决策）假说的第一次打脸（是强人工智能假说），Searle指出当时设想的绝大多数人工智能实现方案都不是强人工智能，而是弱人工智能（程序设计者预测会出现的情况，然后做出应对方案，由机器判断符合条件与否并加以执行）。
通过一套完整的流程（从字典里找对应的文字，然后翻译成英文，作答，然后用字典翻译回中文，发回去），一个不懂中文的人可以用中文回答中文问题，让屋子外的人以为他会中文。
这个人会中文吗？不会。
这其实就是目前人工智能在做的事情。
比如语音识别程序，其大致流程是：把声音中频率、音色转成数字，通过算法转化为一系列特征值，查找字典找到对应的文字然后显示出来。典型应用是Siri，Siri在语音识别的基础上加了一套应对。

Siri的表现让大家以为“这个程序听得懂人在说什么”，但其实这个程序听不懂人类说的话，它做的事情只不过是照着流程坐了一趟而已，不需要听懂你的话也能完成。真正听懂你的话的人是程序员。

<今年也请多指教。
>谢谢你，今年的充电也要拜托您了

大家都知道，后面那句话其实是程序员写上去的，是程序员在卖萌，不是手机里的Siri程序自发卖萌。
总之，这就是人工智能在应用方面的现状啦。这是一些不会自己思考的程序，设计者也没打算让它思考，实际上设计者也不知道怎样才能让它思考。它能做的事情就是按照设计者的安排，一步一步完成既定程序。
@klin 的回答在目前看来是多虑，神经网络模型最大的用处是配合各种数据库确定参数……也就是我在上面说的，拿来训练算法。神经网络模型虽然确实神奇，但并不是依赖于完整的智能才能实现，而是一套反馈修正的训练模式，并不是智能的本质。
2) 为什么目前人工智能只能做到这个程度？
原因很简单，人工智能是人类对“智能”的模拟，目的是实现某个人类能完成的工作，所以受人们对智能的理解限制。
即使配合上神经网络模型和遗传算法的训练，目前的程序也只能在“这个程序达到了预期目标但我也不知道它怎么达到目标的”方面让人吃惊而已，程序本身不会演化出崭新的能力（在我所知的案例中），即只会接受训练，不能创造新事物。
所以目前的人工智能只是工具而已。
2.人工生命
看完人工智能的描述会失望吧。
其实科幻小说里面描述的机器人拥有智能然后反过来统治人类什么的，跟人工智能的大部分领域不相关，主要跟人工生命的领域有关系。

人工生命(AL:Artificial life)是通过人工模拟生命系统,来研究生命的领域。人工生命的概念，包括两个方面内容：1）、属于计算机科学领域的虚拟生命系统，涉及计算机软件工程与人工智能技术，以及2）、基因工程技术人工改造生物的工程生物系统，涉及合成生物学技术。 AL是首先由计算机科学家Christopher Langton在1987年在Los Alamos National Laboratory召开的&#34;生成以及模拟生命系统的国际会议&#34;上提出。

在这里主要取用1）的定义，即广义的生命定义（强人工生命）。

强人工生命:主张&#34;生命系统的演化过程,是一个可以从任何特殊媒介物中抽象出来的过程.&#34;(John Von Neumann). Notably, Tom Ray 在Tierra模拟试验中第一次展示了,进化过程在有着抢占计算机存储空间之争的计算机程序的某种群体中极易发生。

科普书《复杂》对此有描述。
人工生命涉及了广义的生命定义，生命在这里指代的是一个会对外反馈、自反馈的一套稳定系统。
比如一个炒股的人，这个人本身是一个生命，他会对股市上的各种现象做出反应，会对熊市恐慌对牛市兴奋；但这个由所有炒股者组成的股市也有类似的现象，中央银行调整利率汇率时股市会做出对应反应，经济危机时股市会萎靡不振，各类金融报道里会有“美国股市情绪相对稳定”之类的用词，实际上就可以把股市看做一个生命。
与此类似，单个蜜蜂是一个生命，一个蜂巢里整个蜂群也算作一个生命；一只白蚁算一个生命，一整个白蚁群体也可以算作一个生命。
实际上对人的个体进行切割的话，你会看到每一个细胞都有自己的职责，在微观层次上每个细胞也都是一个生命，一组细胞组成的一个器官也算一个生命，一组器官构成的人也是一个生命。
比较绕对吧……这是生命的广义定义，人工生命的定义基于此而产生。
比如一个程序，如果满足了广义上生命的定义，就可以看做是一个生命……也就是人工生命。
强人工智能（与前文弱人工智能相对）实际上必须基于人工生命才能成型，人们恐惧的也是强人工智能。
强人工智能要求程序有自己的思维，能够理解外部事物并自发做出决策甚至行动，其表现就像一个“人”一样，甚至很可能比人的反应更杰出、更可靠。（想到深蓝的知友请去面壁，深蓝和更深的蓝都是弱人工智能）
反过来，这些能够自行思考的人工生命，也有背叛人类的可能……甚至于很可能会背叛人类。
对于人工智能可控性的担忧主要就在强人工智能上。
但是这种担忧离二十一世纪初的我们还很远……目前对人工生命的研究仍然很原始，原始到所有的研究发现出来的东西都不知道能拿来做什么。
我觉得，这帮科技精英们有对强人工智能的担忧是很合理的，作为能影响人类社会科技研发方向的人，他们有责任提醒大家“这个方向上有狼往前走要小心”，有责任提醒大家人工生命的研究要在严格控制条件下进行。不过他们其实也没有很担忧，毕竟这玩意目前看来还是太科幻……
盖茨的发言已经能说明这一点了：

不明白为什么有那么多人并不担心这种技术对未来的影响

以及，
比尔盖茨的担忧竟是人工智能发展_TechWeb 这篇报道的记者根本狗屁不通……盖茨担心的是强人工智能和人工生命，盖茨兴致勃勃在搞的是弱人工智能。

回答题主在描述里的问题。
Q: 这是因为人工智能要进入新阶段了？
A: 跟这个没啥关系。纯粹是因为特斯拉CEO马斯克跟媒体提到了这一点，于是人工智能变成话题了，其他人做出自己的表态而已。
Q: 这些名人是不是可能比较先得到信息，所以向人们预警？
A: 得到谁的消息？恐怖分子研发出强人工智能了？不要搞阴谋论啊……
Q: 或者是每年都有很多人提出这个问题，只是今年报道的比较多？
A: 应该这么说吧，确实是媒体的姿势水平不到位。
在学界，强人工智能有风险是一个不用讲大家都理解的事情，但是外界对此懂的太少，常常混淆强弱两种人工智能，这次马斯克一提出防范人工智能，媒体们漫天乱喊搞得跟个大新闻似的。换言之，这玩意在业内是常识，不会每年都有人提，这次捅出来给公众做了个科普但是没有科普到位。
Q: 人类跟人工智能之间，会不会出现类似三体里面的博弈？
A: 天知道……这也是大家在担心的事情。所幸离我们还远，通过图灵测试的程序还遥遥无期。
——————答案发布之前突然想到的——————
等等，该不会有人被前次的坑爹记者误导了吧？
电脑冒充13岁男孩首次通过“图灵测试”（图）这根本不是通过图灵测试，只不过有30%的评委在五分钟交谈的记录中判断这有可能是一个13岁不懂英语的小孩而已。

够贱的。
而这玩意实际上仍然是弱人工智能：

这个程序实际上是一套人类对话的模拟脚本，从认知角度来说，它真不大能算得上是思考

通过图灵测试这个事儿吧，大家不要再提了，纯粹是媒体的姿势水平太低了。简直给人类丢脸。

为什么有很多名人让人们警惕人工智能？

本周热门