硅谷最特立独行的 CTO。

Mira Murati 是 OpenAI 的一名老将。

她在 2018 年加入了当时还是非盈利研究所 OpenAI，在此之前 Murati 曾参与过特斯拉 Model X 的开发。

担任 CTO 的 Mira Murati 带领团队开发出 ChatGPT、DALL-E 和最新的 GPT-4 等重要模型，帮助 OpenAI 转型成最具创新力的公司。

但在她看来，OpenAI 仍未实现他们最终的愿景——打造通用型人工智能（AGI）。

OpenAI 在这五年间发生翻天覆地的变化，这篇文章还原了这场变化的原因和其中的细节。

划重点：

1. 目前我们仍未有一条的安全、可靠、符合标准的路径去实现 AGI 系统。

2. OpenAI 采取了大量的措施避免 AI 模型出现认知偏见和安全问题。

3. 签署一封公开信并不能有效地建立安全机制或协调业内玩家。OpenAI 并没有在训练 GPT-5，未来六个月内也没计划这样做。

4. OpenAI 为了实现他们的愿景调整了公司的架构，但是他们的员工并未因此而改变初心

2018 年，当 Mira Murati 加入 OpenAI 时，这家位于旧金山的非盈利研究所在 AI 领域中已经有了一点声量，但还没到现在这般家喻户晓的程度。 

她最近接受了美联社的采访，谈到了 AI 保障和公司对未来概念的人工智能，即 AGI 的愿景。以下是采访摘要。 

Q: 对 OpenAI 来说，人工智能意味着什么？ 

A: 通常，人工智能意味着高度自主的系统，能够产生经济产出。换句话说，是可以在不同领域中做出共性判断的系统，具备与人类同等的能力。 

基于这个定义， OpenAI 的愿景是安全地构建 AGI 系统，并找出如何以符合人类意愿的方式构建它，使 AI 系统能依照人们的要求而运转，理想情况下 AGI 应该造福尽可能多的人。

Q: GPT-4 和 AGI 之间是否存在一条清晰的路径？ 

A:目前我们仍未有一条的安全、可靠、符合标准的路径去实现 AGI 系统。我们实现这一目标的途径有几个重要方向。

从研究角度来看，我们需要建立一种强大的、与人类类似的理解能力的系统。虽然像 GPT-3 这样的系统最初是针对文本数据进行训练，但我们所处的世界不仅仅是由文本构成，还包括图像等复杂的形式，因此我们需要引入其他形式的数据。 

同时，我们还要扩大这些系统的泛化能力。GPT-4 是一个能力更强的系统，尤其在理解事物方面，这种能力至关重要。如果模型能够理解高层目标或比较模糊的方向，就可以为其制定符合目标的计划。与此相反，如果它连高层目标或方向都无法理解，则很难与之保持一致。 

因此，仅仅在实验室闭门造车是不够的，我们需要与现实世界有更多的接触，了解这个系统还存在那些弱点和突破点，并尝试以低风险方式获取尽可能多的反馈。 

Q: 你们采取了哪些安全措施呢？ 

A: 在系统运行的每个阶段，我们都会考虑干预措施。在模型初步训练阶段，我们会删除某些数据。 

拿 DALL-E 作为例子，我们需要调整训练数据集中男女图像的比例，以减少有害偏差问题。然而，这种调整必须非常小心，因为可能会引入更多的偏差问题。因此，我们需要随时进行审计。实际上，我们也从中发现了更多的偏见，因为很多图像是与性别相关的。 

针对这种情况，我们必须再次进行调整，并特别小心，以了解每次干预手段的影响。值得一提的是，在ChatGPT 模型的训练中，我们使用了人类反馈的强化学习，以帮助模型更好地符合人类偏好。基本上，我们会加强被认为是良好行为的行为，然后减少被认为是不良行为的行为。 

Q: 这些系统应该受到监管吗？ 

A: 是的，这些系统应该受到监管。在 OpenAI，我们正在不断与政府、监管机构和其他开发这些系统的组织进行对话，至少在公司层面上达成一定程度的标准协议。 

在过去的几年中，我们与大型语言模型开发商一起开展了一些工作，以对部署这些模型的基本安全标准进行对齐。 但我认为还需要做更多的工作。政府监管机构应该积极参与其中。

Q: 最近一封号召停止建造比 GPT-4 更强大的 AI 模型的公开信引起了很多关注。你对请愿书及其关于 AI 风险的假设有什么看法？ 

A: 我认为在复杂系统中设计安全机制是一项艰巨的任务。这个过程中有许多细节需要考虑，因此请愿信中提到的一些风险完全是合理的。 

在多年的时间里，OpenAI 一直公开讨论并研究这些风险。然而， 我认为签署一封信并不是建立安全机制或协调业内玩家的最有效方式。同时，关于开发 GPT-4 或者 GPT-5 的一些言论是不正确的。我们并没有在训练 GPT-5，也没有计划在未来六个月内这样做。

相反，我们花费了六个月的时间专注于 GPT-4 的安全开发和部署。即便如此，我们依然采取大量的防护措施，并通过有序、缓慢的推出方式来向公众开放。我们只向部分用户开放，并且也不会开源。 

所有这些都是为了证明安全机制和协调机制在任何 AI 系统或复杂技术系统中都是非常棘手的问题，需要进行认真思考、探索，并协调所有利益相关方。

Q: 加入 OpenAI 以后，它发生了什么变化？ 

A: 当我加入 OpenAI 时，它是一家非营利机构。我认为这（AGI）是人类建造的最为重要的技术，而且我也坚信像 OpenAI 这样的公司最有可能确保它能够顺利推进。 

但随着时间的推移，我们发现由于这些系统的昂贵性和需要大量的资金支持，我们需要调整结构。我们确保采用某种激励机制来维持我们的非盈利使命，因此我们采用了「有限利润」的结构。 

但是， OpenAI 的员工仍然保持着一致的内在动机和使命，这一点从一开始就没有改变。

然而，五年的时间里，我们在思考部署和安全方面的最佳策略上发生了很大的变化。这可能是最明显的变化，但我认为这是一个好的改变。 

Q: 你是否预料到了 ChatGPT 在 11 月 30 日发布前的反应？ 

A: 在此之前，其基础技术已经存在了几个月。我们对于从已经在使用 API 的客户那里得反馈，让我们对模型的限制非常有信心，但是我们还是进行了一些基础模型的修改，使其适应对话中的应用。然后，我们通过一个新的 ChatGPT 界面将其提供给研究人员使用。 

这个阶段，我们一直在狭窄、可信赖的小组内部探索它，慢慢我们意识到我们遇到了瓶颈，而打破瓶颈的方式就是从更多的人身上获得更多信息和数据。 

因此，我们希望将其扩展到更多人，并称之为研究预览，而不是产品。我们的主要目标是收集有关模型行为的反馈，并使用这些数据改进模型，使其更加贴近实际情况。 

我们没有预料到人们会对 AI 系统的交互表现出如此狂热的兴趣。在我们看来这只是一个研究预览，我们也没有预料到用户数量和狂热程度会达到如此之高。 

原文标题：Insider Q&A: OpenAI CTO Mira Murati on shepherding ChatGPT