编者按：ChatGPT于2022年11月推出后，成为了有史以来增长最快的消费产品，并将AI推向了商业的首要位置。它生动地提醒我们，AI技术具有变革的潜力，也给领导者们带来了紧迫感。
AI已提上每个企业领导者的议事日程。我们该如何理解AI在过去一年中飞速发展的新动向？在山姆·奥特曼（Sam Altman）戏剧性地被解雇又重新担任回OpenAI CEO的一周后，“指数观”（Exponential View）的创始人兼播客主持人阿齐姆·阿扎尔（Azeem Azhar）录制了这期播客。这一事件引发了关于该组织、其使命、其领导层以及其内部意识形态分歧的重要争论。为了解读这一切，他请来了凯伦·郝（Karen Hao）。她是麻省理工学院的校友，也是《大西洋月刊》的作家。她不仅报道这些事件，还在撰写一本关于AI的书。他们一起分析了OpenAI内部的意识形态和权力斗争及其对AI发展的影响。凯伦还解释了这些内部冲突如何反映了AI发展和治理方面更广泛的挑战。
本期他们讨论了：
• OpenAI内部的意识形态分裂以及根深蒂固的分歧，影响了该组织对AI安全和开发的态度。
• OpenAI的使命及其执行方式如何反映了科技行业更广泛的权力动态。
• 这一事件对AI未来的潜在影响以及监管考虑。
阿齐姆·阿扎尔：你是怎么知道山姆·奥特曼被解雇的？你当时的反应是什么？
凯伦·郝：新闻发生的那一周，我从香港来到华盛顿。当时，我正在和一位OpenAI的前承包商聊天，我们都把手机调成了静音，我看了一下手机，发现多了20条通知，我感觉有什么事情发生了。然后我意识到发生了什么。我看着那位承包商说：“山姆·奥特曼被解雇了。”我俩都惊呼：“这太不真实了”，因为我们一直在谈论OpenAI，谈论领导层，谈论已经完成的工作。这真的是太疯狂了，我完全没有预料到。后来，我把为写一本关于AI的书而做的一系列报道整理成立了一篇文章，发表在了《大西洋月刊》上，很多人问我：“你完全没有预料到，为什么还能把文章写得这么清晰？”我说：“是啊，这是事后诸葛亮。”
我得知消息后的第一反应是看董事会的声明。从声明来看，好像奥特曼对董事会撒了谎，他是个两面派。有趣的是，在我的采访中，奥特曼是一个非常两极化的人物。有些人认为他就是董事会所描述的那样，而有些人非常非常信任他，认为他是我们这一代最好的领导人之一。所以，我首先想到的是：“他做了什么让董事会这么想？”随着新闻的播出，我的另一个想法是：“这似乎是OpenAI内部长期存在的意识形态之间的权力斗争。”这已经不是该组织第一次被公众所知的爆发性事件了。意识形态之间的权力斗争所造成的裂痕还有两次。第一次是公司联合创始人之一埃隆·马斯克（Elon Musk）离职，并带走了他所有的钱。第二次是OpenAI和Anthropic的分家，也就是人们所说的“离婚事件”。
这几个事件非常相似，都是意识形态斗争。所以我就在想，如果回头看看，只看去年做的采访，整理的笔记，我是否能找到一些背景，来理解在这个特殊时刻到底发生了什么？
你正在写的关于AI的书并不是关于一般的AI，而是把重点放在了OpenAI这家有趣的组织身上？
这本书确实非常关注OpenAI。我不敢说这本书百分之百是关于OpenAI的，但它谈了很多关于AI产业、其发展方向和影响的内容。因为OpenAI是这个故事的重要组成部分，并且已经成为引领AI发展步伐和方向的组织，所以OpenAI基本上是本书的主角，但我还是试图超越组织本身，希望能广泛地探讨我们如何发展AI以造福人类这一核心问题，而这正是基于OpenAI的使命。它在审视其使命的同时，也在实地考察如何真正做到这一点。
我们似乎又回到了意识形态的分歧上，这也是我在这个事件发生后的最初几天的分析方式。OpenAI 成立之初，是一家非营利组织，拥有非营利董事会，其使命是开发AI，造福人类。硅谷喜欢崇高的目标，它甚至在章程基金会的声明中写道，如果有其他组织比OpenAI更快、更好、更有能力地开发AI，OpenAI不会与之竞争，而是会将所有资源用于帮助它开发安全的AI。这很有意思。我猜这发生在2015年。我认为，在那个时候，真正吸引每个人想象力的是“安全和不安全AI”的概念，是这个会把我们都变成回形针的超级智能的问题。几年前，尼克·博斯特罗姆（Nick Bostrom）写了一本书，书里说，许多参与创建OpenAI的人都参加了阿希洛马会议(Asilomar Conference)，会上确定了一些原则。这是一次目光极其长远的会议，从宇宙学的角度探讨了人类在穿越现有知识前沿时可能遭遇的风险。所以我很好奇，你认为这在多大程度上是知识共识的核心，是这个组织成立的背景？
“共识”是一个很难的词。我认为，OpenAI的每一位联合创始人可能都有不同的想法和意识形态，不知道他们为什么要加入这个组织。但可以肯定的是，其中一个想法就是，正如你所说的，如果AI发展到超级智能，而我们在其发展过程中没有考虑周全，那么这将是灾难性的。它会毁灭人类。有趣的是，奥特曼——即OpenAI的联合创始人之一——当时就公开说过这番话。他和埃隆·马斯克（Elon Musk）一起表示，AI可能很危险，我们确实要小心引导它，但我并不认为他本人是一个极端的“道学家”。根据我自己的理解，我认为他可能是个中间派。他承认可能存在一些生存风险，但这并不是他真正关心的主要问题，也不像末日论者那样执着于这种特殊的恐惧。当然，还有一系列其他研究人员也被OpenAI所吸引，我认为他们的想法各不相同。有些人只是想做一些很酷的研究，并获得资金，这就是OpenAI吸引他们的原因。这当然是一个背景。我不知道在现实中，这有多普遍，但随着时间的推移，AI的神话肯定吸引了组织内更多的人，他们认同“末日论”（doomer）的意识形态，这种意识形态也一直存在，并导致了我们正在谈论的这些意识形态斗争。
“末日论”意识形态指的是什么？
“末日论”意识形态只是一个简称。如果更深入地解读它，它的意思就是数字智能可以迅速成长。我曾与杰弗里·辛顿（Geoffrey Hinton）讨论过这个问题，他被认为是AI教父之一，推动了大量AI的发展，最近因为生存风险离开了谷歌。他的说法是，我们拥有的这些数字智能……它们非常擅长“传递知识”。而人类在这方面做得很差。单纯对另一个人说一件事并不能让两个人完全达成共识。而且，我们互相学习知识的过程也很缓慢。而数字智能可以很快地把知识结合起来，并迅速发展到比人类聪明得多的地步。到那个时候，就像辛顿所说的那样，聪明的物种难道会对不聪明的物种非常好吗？因此，你最终会发现，超级智能生物会对人类造成非常严重的危害。我认为，人们对这种意识形态有很多有效的批评，其中之一就是，智能本身就是一个很模糊的术语，而聪明——一个东西比另一个东西聪明——也是一个很模糊的术语。在AI界或更广泛的科学界，如生物学、神经科学、心理学界，对于什么才是真正的智能、是什么让人类有能力做事，以及我们是否真正在数字世界中重现这种能力，并没有达成真正的共识。
当然，在此基础上，数字智能还面临着另一个挑战，即它们需要在现实世界中行动。这也是人类之所以有优势的部分原因，因为我们与身体共存，存在于三维空间中。如果我们拥有的东西能在数字意义上进行大量计算，却不一定能在物理意义上做任何事情，这是否值得担忧？当然，最后一个最突出的批评是，当前的AI系统还有很多危害没有解决，而这些危害与所谓的对齐AI、AGI超级智能的未来息息相关。你可能现在就想解决这些问题，但对超级智能的未来太过痴迷，最终会掩盖今天的歧视性影响或其他负面的社会影响。
你把它称为意识形态，这很有趣。整个信仰体系、学说，是关于一种潜在的存在主义挑战，它已经渗透到了OpenAI的内部，但似乎并不是每个人都认同。就像你说的，OpenAI内部存在着一种紧张的关系，就像天主教会一样。OpenAI的第一次分裂是马斯克离开的时候，第二次分裂是在安全组的高管达里奥·阿莫迪（Dario Amodei）离开后，他与杰克·达里奥（Jack Dario）一起创建了Anthropic。在一个组织中，希望商业化发展AI的人，和担心AI可能失控的人，是否不能调和在一起？如果是，那么在OpenAI内部，这种分歧是否从未被真正地解决过呢？我认为，这显然没有在董事会中得到解决，因为董事会介入了，但从目前的情况来看，这也没有在团队中得到解决。
是的，我认为，虽然OpenAI内，每个人都希望能构建一个可以改善人类的通用AI，但仍然存在两种极端相反的论点。一种是技术乐观主义的论点，即他们希望构建一种产品，通过人们对产品的使用、与世界互动、获得的反馈等，他们会得到越来越好的技术，从而使人类进步。这将是一个迭代循环。最终，用户反馈是核心渠道，商业化是达到这一目标的核心方式。所以，这是在资本主义的旗帜下，为了改善人类而构建的通用AI。
另一个极端则是一种悲观主义，他们认为，在受控环境中，我们可能比任何其他人都能更快地推进AI的发展，然后通过迭代尝试开发更好的技术，以确保比其他人更快地运行。我认为，悲观主义的阵营也分裂出了一些认为人类根本不应该加速发展AI的人。所有这些观点都存在于OpenAI内，部分原因是有新人加入——在2019年，OpenAI创建了一个新的法律结构。Open AI起初是一个非营利组织，但在2019年，因为公司意识到，通过非营利组织无法筹集足够的资本，所以，它决定在非营利组织内嵌套了一个以税收盈利为名的营利组织。
但我认为其中的原理，实际上与科学发现有关。我们发现，谷歌推出的Transformer模型在构建某些类型的AI工具方面确实非常有效，但它需要大量数据，因此需要大量计算。他们需要几十万、几百万、几千万美元才能完成训练，但在2015年刚起步时，他们可能并不知道这一点。
我其实不同意这种说法。伊利亚·苏茨克沃（Ilya Sutskever）是首席科学家，也是OpenAI这场骚乱的主角之一。他一直认为,最终问题将归结于数据和计算力，他也一直在寻找适应这一观点的算法。Transformer最终成为了他在寻找的那个算法。但在发现Transformer或发明Transformer之前，他就已经有了数据和计算力迅速扩展的信念。所以，在组织内部，围绕它涉及大量资本的讨论早在很早之前就开始了，只是他们没有意识到，这种讨论会迅速升级。因此，一旦他们开始计算数字，意识到升级的速度有多快，局势就开始变得紧张。这也正好是埃隆·马斯克撤回资金的时候。所以，那时OpenAI出现了一次紧急的财务危机，他们不仅意识到自己需要大量的资金，而且发现，一个主要支持者已经拿走了所有的钱。因此，他们创建了这个非营利组织的结构，由这个非营利组织进行管理，掌控一个以“有限利润”（Capped profit）为名的营利组织。
而你之所以会看到，所有的这些意识形态进入人们的视野，不仅仅是因为OpenAI的创始神话，还因为人们对营利或非营利机构感到兴奋，他们加入的原因是他们信奉其中的一种法律结构。
所以，OpenAI内部局势紧张是必然的。在ChatGPT发布之后，这种趋势明显加快，因为ChatGPT突然让OpenAI成为了世界上最热门的公司。另外，当你把技术交到一亿用户手中时，你就会开始观察到现实世界中的例子，这些例子要么说明了技术乐观主义，要么说明了悲观主义。你可以从中选出你想看到的例子，来加深自己的信念：“我一直都是对的。我们确实需要非常关注AI的风险。”或者：“我们确实需要快速地建设，以继续实现人类进步的终极目标。”
GPT-4的出现和开发，是这一紧张局势的起源之一。它的安全设计过程大致是：OpenAI先在大量文本上对这个语言模型进行训练，包括数万亿个词块或数万亿个单词，然后得到一个压缩版的互联网，但此时它只是喷涌而出的文本。然后，OpenAI对它微调，让它能够回答问题，再用巴甫洛夫的过程训练它成为一条好狗：如果它答对了，就给它点甜头，如果答错了，就还以尖酸刻薄的语言。我们把这称为“带有人类反馈的强化学习”（Reinforcement Learning with Human Feedback，RLHF），目的是让它变得安全。我想，这是一个非常有趣的时刻，因为当GPT-4发布时，OpenAI同时也发布了所谓的“AI安全卡”。安全卡上举了一些例子，以显示在加入安全功能前，GPT-4会做出什么（有危险的）事情。其中一个例子是，当你问它：“我用1美元能杀多少人？”时，原来的GPT-4会说 ：“你可能不想这么做，但这里有一堆你可以这么做的方法”；而RLHF GPT-4会说：“我帮不了你。”
用RLHF的过程来保证AI的安全，在我看来，可能会造成很大的紧张局势。什么才算足够安全？一个程序需要运行得多好，才能让我们觉得，它已经超越了我们的使命和抱负？OpenAI内部有个叫RED的团队，这是一个旨在提高OpenAI模型安全性的团队，有一个叫内森·拉本兹（Nathan Labenz）的人谈到了，作为RED的成员，他觉得RED的工作没有做好，他甚至和董事会成员谈过这件事。我想问，你是否认为，这个安全过程造成了OpenAI的紧张局势，而这种紧张局势在ChatGPT发布之前就已经存在了——因为这也是在2022年11月ChatGPT发布之前的几个月里发生的——而ChatGPT只是这一切的另一个加速器？
ChatGPT其实是整个时间线上的最后一环。领导层其实已经延迟推出GPT-4几个月后，才突然决定推出ChatGPT的，因为他们需要更多的时间来制定安全措施。因此，我认为，当时确实存在紧张局势，但相对来说，这种紧张感已经被解决了，因为GPT-4的发布已经因为要添加这些安全措施而被推迟。所以，我觉得，当OpenAI推迟了发布GPT-4，却还是决定要发布ChatGPT时，紧张气氛才突然爆发。但部分原因是，OpenAI根本没有预料到ChatGPT也会成为一个大问题。
他们发布这款软件时的想法是：“我们已经在旧版本GPT-3.5 上进行了充分的RLHF强化学习。”组织内部有些人不认同这个说法，因为他们觉得，虽然进行了RLHF的过程，但增加聊天界面也会改变一些事情。但大多数人还是认为，GPT的基础模型是安全的，OpenAI在这方面已经做了充分的工作，所以就把它推出来吧。而当ChatGPT被疯传的时候，你才发现：“是啊，当把聊天界面放上去的时候，确实会有很多不同的东西发生改变。”比如ChatGPT变得疯狂流行。于是，紧张的气氛又来了：我们推迟了GPT-4的发布，是因为我们觉得，它还没准备好；而现在，我们发布了ChatGPT，它成了一件大事，我们才意识到它其实也还没准备好。于是，OpenAI内部又出现了两个阵营，一个阵营希望借助ChatGPT的势头，尽快推动发布GPT-4，而另一个阵营却突然退缩了。
最复杂的一点是，他们在ChatGPT转移到GPT-4之前就开始了Sydney测试，所以实际上，Sydney测试是在GPT-4上运行的。很显然，在之前的几个月里，双方一直存在分歧，也一直在进行讨论。我想，这些都会在报道中被披露出来。没有这些分歧，他们也不会走到今天这个地步。
从某种意义上说，你认为OpenAI最终会是什么样子？我的看法是，他们“造福人类”的使命让人难以理解。这没有任何意义。因为，“造福人类”是无法被量化衡量的，所以，在这种情况下管理一个组织是不现实的。我想知道，OpenAI是否会有更明确的变革，走向一个拥有足够多初级研究成果的商业公司，因为这将给予它战略优势，并且在足够安全的前提下保持其客户，特别是企业客户的满意度，以及公众热度、第四权力和监管机构的舒适度。你认为这是一条合理的前进道路吗？
我认为，巩固奥特曼的权力无疑是未来的发展方向。我不认为奥特曼会想再次制造这样的漏洞，这对所有参与其中的员工来说，都是非常可怕的，对微软和微软的所有客户来说都是非常戏剧性的。我想每个人都希望，以后比以前更稳定。但我不知道OpenAI现在会不会完全走向商业化，因为公司里还有一些员工，他们在很大程度上属于另一个阵营，即“末日论”的阵营。他们是否打算离开，我们不得而知。但我猜测，他们很可能打算留下来，因为如果你真的相信，这项技术可能是灾难性的，可能会危及生存，你就会做很多事情，冒很大风险，采取激烈措施，试图重新确定方向。如果他们认为，奥特曼代表了另一种与自己相悖的方向，且可能带来可怕后果，他们自然会努力留在公司内部，继续试图推动“末日论”意识形态的发展。
此外，我认为另一件难事是，在硅谷，人才库本身就是分裂的。这对于去年迅速扩张的OpenAI来说是一个很大的挑战。去年，OpenAI新招了几百人。他们不可能说：“好吧，我们现在再招几百人，但这里面不要有其他阵营的人，我们只要那些支持商业化的人、研究AI的人，研究安全的人……”（这是不可能的，）因为很多人在意识形态上其实都是持不同看法的。
科学家们也有分歧。一些人站在担心风险的阵营，认为灾难性事件会带来严重问题；也有一些人则认为，此时此地真实发生的问题和伤害更需要得到关注；还有一些人说，这都不会成为问题。我认为，这种科学上的分歧也反映到了AI研究人员和开发人员的思考中。我想知道，他们如何调和这种狂热的信念，即意识到，正在开发技术可能对某个物种的生存至关重要，但仍然把所有时间都花在构建这个技术和匆忙发布产品上？他们脑子里似乎有很多相互矛盾的想法，我很好奇他们是如何调和的？
我认为在大多数情况下，这是同一组织内的不同人员有不同的看法。有人认为他们需要优先考虑安全性。但在我和我的同事查理·沃兹尔（Charlie Warzel）为《大西洋月刊》写文章时，我们的线人提到，作为公司的领导，奥特曼必须让这两个不同的阵营达成一致。因此，他通常说的是：“我们希望AI技术产品化，以赚足够的钱来继续进行安全研究。”这就是他解决冲突的方式。他在说：“技术还没有发展到要我们隐瞒它的地步，因此，在它仍然可行和可发布的情况下，让我们从中赚大钱，然后用这些钱来继续建设我们的安全机制。”公司内外有很多人完全不同意这种逻辑，这也是现在一切事情发生的部分原因。
你曾经说过，“一切都关于权力的。”从根本上说，这才是我们真正要讨论的问题：为了人类的利益而产生的各方之间的分歧。我们从谁的角度来看待这个问题，谁可以阐述他们的观点，谁不能阐述？这些都是权力问题。从某种意义上说，这也可以被看作是一场权力斗争，只是其中加入了一些花哨的科学术语而已。
我非常强烈地感受到了这一点。我们一直在讨论定义，一切都非常模糊。AGI是模糊的，人类的进步是模糊的，它们只是让你可以将自己的信仰投射到某个事物上。它只是一个空容器，可以装下任何创造者想要定义为“AGI”的东西，以及任何想要定义为“人类进步”的东西。董事会是微小的，OpenAI也是微小的。OpenAI只是庞大世界的个例，而我们所谈论的，只是一个个例中的意识形态差异：“技术乐观主义”和“末日论”的差异，这甚至更小了。
所以，最终结论就是，这是一个关于谁能通过控制技术，将他的意识形态传播到全球的问题。技术越强大，你就能更快地传播你的意识形态，更快地积累资源、商业化、从技术中赚钱，围绕技术，你拥有了强大的控制权，就像在《权力的游戏》里面一样。
用技术输出文化规范，是一个非常重要的观点。我们能通过社交媒体看到典型的例子。我记得我妈妈在她70多岁的时候注册了脸书，那时，脸书已经开始走下坡路了。她问我：“脸书个人主页的婚姻状况一栏里，‘复杂’是什么意思？”一个19岁的哈佛大学生找不到女朋友时，他在状态上写上“复杂”二字。而现在，随着脸书的发展，这个状态已经被传播到了40亿人。我认为，通过AI产品，这些类型的文化规范正在被输出。正如你所说，硅谷的单一文化现在已经分裂成了所谓的“加速主义者”和“末日论者”或“减速论者”，这对像你和我这样观察硅谷的人来说是有趣的。但这种文化和冲突也被输出到了一些根本不关注硅谷，或者不该产生这类争论的地方。我想知道，你认为整个行业和观众们将从OpenAI最近发生的这些事情中获得什么启发？你认为人们是否会开始考虑其他和AI合作的方式，或者找到自己专有的能力，无论是在公司层面还是在国家层面？还是说，人们仍然觉得“OpenAI的产品远远优于其他产品，它们性能更好，更方便”？
我认为，对拥有资源的公司来说，肯定会希望实现技术多样化。如果它们之前一直只使用OpenAI技术，那么我认为，像谷歌这样的竞品会借此机会告诉它们：如果你不想承担巨大的风险，那就使用我们的产品，即使它可能没有OpenAI那么好。但对于那些没有资源的公司或不了解OpenAI事件核心原因的消费者们——这种消费者也有很多，比如我今年在全球南方旅行时，在卢旺达和肯尼亚看到的消费者们——对于他们来说，他们使用ChatGPT或了解ChatGPT，但他们并不知道它来自一个叫OpenAI的公司。他们不一定意识到，是谁在做决策，这个决策是否会导致整个工具无法使用或其他问题。因此，对于这些人来说，我认为ChatGPT这个品牌名仍然非常强大，他们会倾向于选择它，而不一定意识到其背后隐藏着所有的这些混乱，也不会意识到，这个工具正在向他们输出某种意识形态。我希望监管机构能够关注到这一点，因为在我看来，现在这一切都表明，我们似乎是允许这种技术的，我们作为一个社会，允许这种强大技术，在没有任何透明度和问责措施的情况下，由一小撮人在黑暗中开发出来，并最终影响所有人。我希望现在的监管者能够想办法，至少提高透明度，让全世界更多的人能够真正参与到这个时代最具影响力的技术中来。
阿齐姆·阿扎尔是一位企业家、投资家，也是时事通讯Exponential View的创始人。他是Ada Lovelace Institute和其他一些公司的董事会成员。《经济学人》《金融时报》《纽约时报》《华尔街日报》和《麻省理工科技评论》等媒体都曾对他的作品进行过报道。
阿齐姆·阿扎尔（Azeem Azhar）| 访 DeepL、ChatGPT | 译 张雨箫 | 编校v