谁能想到，震惊整个科技圈的内斗起因却是一封信。
据路透社报道，在萨姆·奥尔特曼被解雇之前，OpenAI 的一名研究员向该公司董事会发出了一封举报信，警告强大的人工智能可能威胁人类。
这是一个名为 Q*（读作：Q-stard）的 AI 模型。 知情人士表示，这可能是OpenAI在AGI方向的最新突破。
长期以来，硅谷大佬们一直在争论“AI安全”。
或许这就是为什么这个可能是下一个革命性技术的最新发现被业内人士提前曝光。
目前关于新模型到底是什么的信息非常少，但从 OpenAI 社区消息中可以看出，大多数人并不欢迎 Q* 的到来。
Q*是什么
根据外媒的曝光，我们先简单介绍一下Q*。
Q*的前身是Ilya Sutskever团队于2021年推出的GPT-zero项目，旨在解决合成数据的问题。
如果说过去训练大型模型的数据大部分来自互联网上的个人数据，那么GPT-zero项目可以用计算机生成的数据进行训练，一下子解决了数据源的瓶颈。
对于AI公司来说，数据也是一种资源。 尤其是高质量的语言数据直接决定了大型模型的质量。
面对大规模模型混战，人工智能公司从数十亿个参数开始，并向它们提供 TB 级的数据集。 不仅数据集可能会耗尽，而且价格也在上涨。
因此，当合成数据出现时，它可以像永动机一样无限地产生高质量的数据来解决数据问题。
在谈到 GPT-zero 项目时，马斯克还评论道：“合成数据将超过无数。（合成数据可以超过 1ZB）。”
与现有数据相比，它可以装在一个硬盘上（有点可悲的是，你可以在一个硬盘上装下人类有史以来写的每一本书的文本）。
基于 GPT-zero 的研究成果，OpenAI 的两位高级研究员 Jakub Pachocki 和 Szymon Sidor 构建了 Q* 模型。
虽然目前水平可能不高（小学生的数学能力），但专业人士认为该模型可以解决以前从未见过的数学问题。
而这就涉及到另一个技术——Q-learning算法。
这是一种经典的强化学习算法，具有很强的规划能力，但不具有普适性和泛化性。 大模型的优点在于大模型具有几乎人类水平的泛化能力，也就是举一反三。
那么两者合而为一之后，这个兼具规划和泛化能力的大模型就非常接近人脑了，可以自主学习和提高。 最终结果：大概率自主决策，并具有轻微的自我意识，成为接近超越人类的AGI。
如果报道属实，我们可以想象保守派代表Ilya Sutskever因商业化和安全理念的差异而主导高调罢免奥特曼。
就在今年 7 月，Ilya Sutskever 组建了一个团队，致力于限制人工智能潜在的安全威胁。
Altman 重返 OpenAI 后，Ilya Sutskever 未能继续留在董事会。
图片| Ilya Sutskever 在 Ted 上谈论人工智能安全
目前，OpenAI 尚未对 Q* 的报道做出回应。 OpenAI是否实现了AGI，我们只能等待后续报道。
人们担心什么？
报告发布后，OpenAI开发者论坛上网友们开始了热烈讨论。
从几条好评评论可以看出，大多数人还是对Q*的到来感到担心。
很多人表示，AGI来的比想象的要快，它带来的负面影响甚至比大模型本身还要大。
这不免让人想起此前硅谷大佬们关于“AI安全”的争论——为何在新时代到来之前就开始出现恐惧和不安？
我们以 DeepMind 最近发表的论文作为参考。
要评估一个系统是否满足AGI的定义，需要考虑六个维度：广泛性和性能、自主性、持久性、递归自我完善、自主任务选择和目标驱动。
其中，仅就广度和性能而言，AGI的最高水平是Super human AGI，这意味着它在所有任务上都可以超过人类100%。 只有这样，我们才能实现真正的AGI。
如果我们对应到其他维度，我们可以发现AGI的发展实际上会引发很多伦理和安全问题。
最终，在机遇面前，风险也是不可避免的：在某些特定领域，AGI可能超越人类，在关键角色上取代人类，或者进行递归的自我完善。 一旦这样的AGI最终实现，它将彻底改变我们的社会、经济和文化。
有趣的是，网友对AGI的恐惧其实更多是出于对AI公司垄断的担忧。
从上一篇文章可以看出，定义AGI是一件非常复杂的事情。 如果你问不同的人工智能专家，他们可能会给出不同但相关的答案。
在这种情况下，完全由人工智能公司的领导者来决定某件事是否是AGI。
一旦人工智能实现商业可行性并拥有既得利益，这样的产品很可能成为“垄断”。
我们都知道萨姆·奥尔特曼其实是一个特别致力于AI商业化的人。 作为激进派的代表，萨姆·奥尔特曼一直对AGI抱有最积极的态度。
然而，在非盈利的治理结构下，无论是山姆·奥尔特曼还是微软，一旦开始从事危险的或违背人类利益的事情，董事会就可以直接将其开除。
这也与这起事件的早期发展非常相似。
不过，随着 Sam Altman 重返 OpenAI 并重组董事会，现有三名董事均不是独立董事。 换句话说，董事会实际上无法开除。 连他自己都被颠覆了。
在缺乏监管的情况下，OpenAI 仅受政府监管机构的限制。
然而，作为OpenAI背后的主要资助者，微软在美国政府的AI监管中一直在推动AI方面发挥着积极的作用。 最终，政府监管对OpenAI的影响会越来越小。
在利益面前，似乎很少有人在讨论Q*甚至AGI技术本身。