5G这里我不多作评论。实际上，在约十年前5G还没落地，标准还没制定完毕的时期，当时我在一家既有通信业务也有AI业务(深度学习应用)的公司做研发，恰好同时经历了5G投资爆发的前期 和 深度学习应用爆发的前期。业内（移动通信技术业内）都已经很非常明晰，由于其通信原理性的限制，5G的应用场景和落地的实际性能体验，相对4G必然非常有限。这一点在业内基本不存在争议，不过这些信息不可能在大众平台广泛传播，其中原因大家自行想象和理解。由于其它非技术因素，国内5G方面的基建投入显著超出移动通信技术行业人员的预估，即便如此，其体验并没有意料之外的相对4G的提升。
跟5G不同，在当前这个大模型(LLM)狂热的时代，不仅仅是AI技术背景人员的“业内”，还是 跟AI完全不相关的人员的“业外”，我个人认为都存在普遍性的高估。当然，在这种普遍性的高估和狂热的情况下，说一点关于LLM被人广泛忽略的缺陷是难免要挨骂的，关于这一点我已做好心里准备并且体验过多次。
当前大模型在大众领域的热度大爆发（以 文字和图像内容生产 为典型应用），跟十年前的深度学习在大众领域热度大爆发（以 人脸识别/美颜/自动驾驶 为典型应用），在热度上没有太大差别。不同的是，十年前国内的创投市场还十分火热，大家的资金还非常充裕，伴随着对追踪不上技术发展的紧张的，是似乎用不完的投资资金。而如今，投资资金规模已大不如前，伴随着这种对追踪不上技术发展的紧张的，是深刻的力不从心感。
从我个人在AI行业不到20年的短暂学习和工作经历来看，类似的周期性潮起潮落就已经经历过不少于4次，支持向量机(SVM)[1], 概率图模型(PGM)[2], 深度学习(DL)[3] 和 目前 深度学习的继续发展下的 大语言模型(LLM, 多模态信息仍然被转换为语义进行处理)[4] 各领风骚几年，行业热点不断变换. 很多从业者也不得不主动或者被动的跟随。
但在这些不断发展之中，作为 从业者/研发者 和应用落地者，业内在1984年提出的一些基础问题[5](The dark ages of AI: a panel discussion at AAAI-84, 这篇文章建议都好好读读)得到了很好的解决了吗?
我们扪心自问，不难得出一个显然的结论：并没有。而且本次的爆发 跟 1984年之前的那一轮爆发，在社会上的影响 似乎也没有本质区别。一样的社会性紧张、一级市场紧张 以及 从业者的紧张。实际上，1984年前那一轮紧张 还触发和塑造了 我们今天视之为理所当然的 科幻小说/电影 的主题形态（赛博朋克等）。
从原理性角度粗加理解，这种“不解决”也是理所当然的。大模型的“幻觉”(Hallucination)[6]问题，并非是 “幻觉”字面上这么简单，它实际上是内生的，不可避免的，在当前技术路线下永远存在且不可忽视的。连接主义统计机器学习中这类拟合条件概率分布的基础做法，对于非线性的现实世界具有天然的无力感(参考 有个疑惑，AI按理说应该最擅长理工，为啥先冲击文艺行业？ 神经网络能否被严谨地解释为符号逻辑？).
而人类的智能 相比于 连接主义统计机器学习AI 来说，更擅长处理这些 现实世界普遍存在的非线性问题，而不是统计性的概率分布拟合和计算。前者需要很少的样本甚至零样本，也同时需要对“概念”、“规则”的“理解”，从而产生“逻辑”。后者则需要大量的样本进行训练，但 缺乏内生性的“概念”和“规则”，从而不会产生“逻辑”。神经网络具有很强的非线性函数拟合能力[7]，但我们也都明确的知道，即使是在数据量非常大且数据无噪声的时候，神经网络拟合任何非线性函数的误差都不是0. 这一点跟存粹的使用非线性函数进行前向推理（逻辑推理）是不一致的。在进行符号逻辑推理时候，我们还必须面对如何将符号对象 跟 非线性函数中的语义对象对应起来的问题。在大语言模型中，我们使用vocab的embedding叠加position embedding进行语义对象的学习和对应。显然，这个对应关系的学习的结果也不会100%的准确。目前的大模型方案，是试图使用全世界的可得样本去解决，但这种技术路径显然不是“解决”，而是“缓解”(Mitigate).
这些内生性问题，一直制约着AI的应用范围的扩张。在应用中，如果对准确性、可靠性有很高的要求（比如需要承担法律责任，对于错误需要承担包括客服解释、损失赔偿等经济成本），则应用扩张的 零边际成本(Zero Marginal Cost)[8] 不可能达到。也就是不可避免的 高人工维护成本。
同时，连接主义统计机器学习AI不可能通过自身产生的数据样本来提升性能。这在当前大模型技术发展路径下也限制了其性能提升的边际速率。在这种意义下，Transformer 解决的模型和训练数据的Scale Up问题，在现实的引力下已经发展到了极限。我们甚至可以武断的说，在当前还没有很好解决的问题，多半不可能通过大模型更好的解决了。
当前，很多人已经认为AGI几年之内就能产生了。AGI真就这么简单达到吗？这个问题目前似乎变成了怎么定义AGI的问题。作为前人脑研究者以及现AI从业者，我对人类智能有信心，对连接主义统计机器学习AI不可能接近人类智能也有信心。潮起又潮落，每个弄潮的人追求的不一样，很多人追求的只是在潮水中获取自己的利益而已，在这种利益驱动下，随大流说一些违背自己认知和良心的话也是可以理解的。引用“The dark ages of AI: a panel discussion at AAAI-84”中的一句话结束吧：
The real problem is that what reporters see as real issues in the world are very different from what the AI community sees as real issues. |
|
