OpenAI掌门人：AI开发靠信仰，越信性能越好
Sam Altman还在继续着他的AI环游世界之旅。这一站是在以色列特拉维夫大学，与之前不同的是，这次出场他还带着OpenAI的首席科学家Ilya Stutskever。
他们谈的话题其实已经都是之前聊过多次的了，Sam Altman一直以坦诚AI的潜在问题著称，但IIya作为一个师从Hinton，早早就加入Google负责项目的少年天才说话更直白。
在这个谈话中他提到了模型信仰论：“就是进展中的 AI 是一场信仰的游戏。你对这个信仰越多，你就能取得越大的进展。”虽然大家做深度学习都像练丹，多少得靠点运气，但顶级大佬也是靠信仰加成这事儿还是有点过分只给了。
另一个更切中大众利益的事情上，他也是相当直言不讳：“有人认为，即使当我们拥有全面人类水平的AI、通用 AI 时，人们仍将有经济活动可做。我不知道是否属实。”意下通用AI时代大家还有没有工作这事儿他是没那么乐观，可能完全没有经济活动可做（工作）。还是靠着Altman疯狂回带，经济活动不可做，那也有事儿做，只是“100年后的工作几乎与今天的工作没有任何相似之处”，反转了，100年后大家还有工作，但不一定和经济有关系（不挣钱）。
在这种角力和拉扯中，这次谈话多了很多之前所没有的乐趣。
（看我眼神，你说啥呢？）
请您接着欣赏这段更有意趣的对话。
探索 AI 所带来的机遇和风险
Nadav Cohen:
大家好。今天我们与大学的支持者、管理学院的教职员工和学生一起。我们还有来自微软和以色列高科技生态系统其他领域的来宾。我是计算机科学学院的Nadav Cohen。我非常荣幸地邀请Sam Altman和Elia Sutskever上台，他们是OpenAI 的 CEO 和首席科学家。请到舞台上来，坐下。谢谢大家的到来，非常感谢。
Sam Altman:
谢谢邀请。
Nadav Cohen:
我想我们先简单介绍一下自己。Ilya，请重点强调一下你的以色列背景。
Ilya Sutskever:
嗯，好的。大家好。实际上，我从5岁到16岁一直住在耶路撒冷。
我在2000年到2002年期间在开放大学学习。之后我去了多伦多大学，待了10年，获得了学士、硕士和博士学位。在攻读博士期间，我有幸为深度学习的重要进展做出了贡献。然后我和几个人一起创办了一家被谷歌收购的公司，并在那里工作了一段时间。然后有一天，我收到了 Sam的一封冷邮件，说：“嘿，我们一起和一些厉害的人聚聚。”我非常好奇，就去了。那是我和 Elon Musk 以及 Greg Brockman 的第一次晚餐，我们决定创办 OpenAI 。然后我们一直在做这个项目，已经过了好几年了。所以现在我们就在这里。
Sam Altman:
我从小就对 AI 非常兴奋，就像一个小科幻迷。我从来没有想过自己会有机会在这方面工作，但后来进入了大学，学了一段时间。那时候并没有什么成果。大约是在2004年。我退学了，创办了一些公司，成为了一名初创公司投资者。在听到Ilia提到的那些进展后，我对 AI 发生的事情非常激动。我给他发了那封邮件，然后我们就在这里了。
Nadav Cohen:
我想问一下，你认为 OpenAI 在生成式 AI 方面成为领导者的关键优势是什么，尤其是在竞争对手通常更大、资源更多的情况下？
Sam Altman:
专注和坚定。我们相信，我认为我们总是比那些更大的公司更早地看到未来的发展方向。我们更专注于做自己的事情。我们拥有很多优秀的人才，这个人才密度非常重要，但经常被误解。我们有一种严谨和可重复创新的文化。在一个文化中同时拥有这两者是困难且罕见的。
Ilya Sutskever:
我只能补充一点点。就是进展中的 AI 是一场信仰的游戏。你对这个信仰越多，你就能取得越大的进展。听起来像是在开玩笑，但我并不是。你必须相信。你必须相信这个想法并为之努力。你相信得越多，你就能付出更大的努力。这就是进展的源泉。当然，重要的是你所相信的东西是正确的，但在这个前提下，一切都取决于信仰。
学术界对于塑造 AI 的作用
Nadav Cohen:
非常感谢。接下来，我们谈谈其他话题。近年来， AI 的进展主要是由工业推动的。我想知道随着 AI 的发展，你认为学术研究在这个领域应该扮演什么角色？
Ilya Sutskever:
是的，情况确实是如此。事情发生了很大的变化。学术界曾经是最前沿的 AI 研究发生的地方，但现在情况不太一样了，原因有两个：计算能力和工程能力。学术界的计算能力较弱，通常没有工程文化。然而，学术界仍然可以对 AI 做出非常重要的贡献，只是不能在最前沿的能力上做出贡献。学术界可以为一些问题做出贡献。
我们正在训练的神经网络有很多谜团。我们正在创造这些神奇而难以想象的复杂对象。深度学习就像炼金术一样。我们利用数据作为原材料，利用计算作为能量源，获得智能。但它是什么？它是如何工作的？它的属性是什么？我们如何控制它？如何理解它？如何衡量它？这些都是未知的。甚至简单的衡量任务，我们的 AI 有多好？我们无法衡量。以前这不是一个问题，因为 AI 并不重要。但现在 AI 变得重要起来，我们意识到我们无法衡量它。这只是我举的一些问题的例子，这些问题无需大规模计算群集，也无需庞大的工程团队就可以提出并取得进展。如果你能取得进展，那将是一个重大而显著的贡献，所有人都会立即注意到。
Nadav Cohen:
谢谢。从你们的话中听起来，实际上似乎产业界和学术界之间的进展并没有达到平衡。我们希望看到更多这方面的贡献。所以我想知道，是否有什么可以做来改善这种情况，特别是从你们的角度来支持？
Ilya Sutskever:
好的，我有两点建议。首先，我认为最重要的是转变思维方式。我最近离学术界有点远了，但我认为存在一种危机，我们不知道我们在做什么。有一件事导致了很多混乱，我认为，大量的论文正在被写作。但重要的是思考最重要的问题。专注于这些问题。我们要转变思维方式，专注于最重要的问题，我们能做些什么？我们不知道什么？我们无法衡量这些系统，无法理解它们，我们要认识到这个问题。一旦你理解了问题，你就开始朝着解决它的方向前进。这就是我们可以提供帮助的地方。我们有一个学术接入计划，学术机构申请获取我们最先进模型的使用权限。他们研究这些模型，写论文。我们甚至在推出 GPT3 之前就已经这样做了。许多大学已经发表了关于他们研究的论文，探讨了模型的性质和偏见。如果你有更多的想法，我会很乐意听取。
Nadav Cohen:
那我们肯定应该在私下讨论这些事情。进一步深入。我需要控制时间。你提到了发表论文。作为这个领域的从业者，我觉得有人认为，或者至少有一个合理的观点认为，关于工业界的研究，科学透明度的水平在某种程度上正在下降。虽然有些公司确实推广开源，公开他们的模型和代码，但其他公司则较少这样做。有人说 OpenAI 也是如此。所以我想知道你对此有何看法，首先，你是否同意这个观点，如果是，为什么？你认为什么是正确的策略？为什么 OpenAI 的策略是这样的？
Sam Altman:
我们确实对一些模型进行了开源，并将来会开源更多的模型。但我认为开源并不是将所有东西都开源的正确策略。如果今天的模型有趣，它们有一些用处，但相对于我们将创建的模型来说，它们还很原始。我想大多数人会同意，如果我们创造出一个超强的通用 AI ，它具有惊人的优势，但也存在存在性的风险，开源可能不是最好的选择。因此，我们正在努力寻找平衡。我们会开源一些东西。随着我们对模型的理解越来越深入，我们会逐渐开源更多。我们已经发表了很多论文，我认为很多其他人现在用来构建模型的关键思想都是由 OpenAI 发表的。从早期的 GPT论文、规模定律、一些强化学习的工作，我们已经发表了很多。但这是一个我们在前进过程中必须找到平衡的问题。我们面临着很多不同的压力，需要成功地管理。
Nadav Cohen:
那你是否考虑过向特定人群公开一些模型的情况，也许不向全世界开源，而是向科学家公开？你考虑过这个吗？
Sam Altman:
当我们完成对 GPT 4的训练后，我们花了很长时间，几乎8个月的时间来了解它，确保安全性，弄清楚如何使其与外界保持一致。我们有外部审计员、红队和科学界的参与。所以我们确实做了这些，而且我们会继续这样做。
Nadav Cohen:
所以我想谈一点风险的问题。我知道这是一个经常被讨论的话题。在我们讨论机会之前，只是简要谈一下，因为我觉得这很重要。我们可以想象至少有三类风险。一种是经济失衡，工作岗位变得多余，等等。另一种可能是强大的武器落入某个人的手中，例如黑客，他们可能能够利用这些工具做出相当于以前成千上万个黑客所能做到的事情。最后可能是最令人担忧的，即一个系统失控，即使触发它的人也无法停止它。我想知道你对每种情况的可能性如何看待。
Ilya Sutskever:
好的，对于每种风险，我们来分别看。首先是经济失衡。让我们从这个开始。你提到了三个风险，经济失衡、黑客、超级智能失控。确实，经济失衡，我们已经知道有些工作岗位受到了影响。换句话说，一些工作的某些部分可以被替代。如果你是程序员，你不再编写函数，因为CoPilot会为你编写。但对于艺术家来说，情况有些不同，因为一部分艺术家的经济活动已经被图像生成器取代。我认为确实，在就业岗位方面，未来的情况并不简单。虽然会创造新的工作，但会有一个漫长的经济不确定期。
有人认为，即使当我们拥有全面人类水平的AI、通用 AI 时，人们仍将有经济活动可做。我不知道是否属实。但无论如何，我们都需要一些东西来减轻冲击，以实现平稳过渡，无论是转向全新的职业，还是政府和社会体系需要保持进步。
黑客问题比较棘手。的确， AI 将具有强大的能力，恶意使用可能会产生危险。我们需要采取类似的框架，类似于我们对待其他非常强大和危险的工具的方式。
现在要注意的是，我们不是在讨论当今的 AI ，我们讨论的是随着时间的推移，能力的不断增强，最终达到这个状态。现在我们处于今天这个状态。我们会到达那个状态。当你达到这一点时，那将是一项非常强大的技术。它可以用于惊人的应用。你可以说治愈所有疾病，但另一方面，你也可以制造比以前任何疾病都要严重的疾病。那将是糟糕的。所以我们需要建立一些结构来控制技术的使用。Sam已经提出了一个文件，我们提议像IAEA（国际原子能机构）那样成立一个类似的组织，来控制非常强大的技术，专门用于控制AI。对于最后一个问题，超级智能AI失控，那将非常糟糕。所以，建造一个我们不知道如何控制的超级智能AI将是一个大错误。
Nadav Cohen:
我可以补充一些吗？当然可以。
Sam Altman:
那部分是你的拿手好戏。对于最后一句，我没有什么可补充的。我完全同意。我非常赞同在经济方面的观点，我发现很难去推测未来的发展。我认为目前世界上有很多剩余需求，这些系统在帮助解决任务方面非常出色。但就目前而言，它们并不能取代现有的工作，而是帮助提高了现有工作的效率。我认为短期内，情况实际上看起来还不错。我们将会有很多戏剧性的生产率增长。我们会发现，如果你能使程序员的效率提高两倍，世界上需要的代码量也会超过两倍。所以一切都好。
长期来看，我认为这些系统会在更复杂的任务和工作领域发挥作用。其中一些工作可能会消失，但有些工作会被证明确实需要人类和人类的角色，以一种不太明显的方式。
举个例子，世界上第一次接触 AI 的时候，是当 Deep Blue 战胜卡斯帕罗夫的时候。每个人都认为国际象棋已经完全结束了。没有人会再玩国际象棋，因为它不再有趣。但这只是大家的共识。事实上，国际象棋从未像现在这样受欢迎。人们在国际象棋方面变得更好了。预期也提高了。我们可以借助这些工具学得更好。但人们似乎仍然真的想要与其他人交流。Dolly可以创作出出色的艺术品，但人们仍然关心艺术品背后的人，他们希望购买的是与人相关的艺术。这种人与人之间的联系是我们认为特别珍贵和有价值的。
就国际象棋的例子而言，人们比以往任何时候更多地观看人类下棋，而不是观看两个AI互相对弈。所以我认为会有很多难以预测的事情发生。人类渴望个性化、创造新事物、获得地位的愿望不会消失。但它们会以一种非常不同的方式呈现。我愿意打赌，100年后的工作几乎与今天的工作没有任何相似之处。其中一些工作可能会出现奇怪的相似之处，但我确实同意Ilya的观点，无论发生什么，当自动化达到我们从未想象过的高度时，我们都需要一种不同的社会经济契约。
Nadav Cohen:
谢谢。所以还有一个关于这个话题的问题。Sam，你最近签署了一份请愿书，呼吁对待 AI 带来的潜在威胁要非常认真。我不确定我是否也签署了，还有其他人也签署了。所以我想知道，根据这个呼吁，你认为我们人类，以及像 OpenAI 这样的公司，应该采取哪些步骤来解决这个问题。
Sam Altman:
我想强调一下，我们所讨论的不是当前的系统，不是小型初创公司正在训练的模型，也不是开源社区。我认为现在对该领域进行严格的监管或试图减缓令人难以置信的创新是错误的。我希望我们能够讨论一下正在发生的好处。但是，如果我们正在走向伊利亚所说的情况，你绝对不希望制造一个不太能对齐的超级智能。我认为世界应该将其视为不是永远不会发生的科幻风险，而是可能在未来十年内需要应对的问题，这对于世界的机构来说时间并不长。
所以我们提出了一个想法，希望能有一个全球性的组织，在最高级别、在计算能力和技术的前沿，能够制定一个许可模型的框架，对其进行安全审核，并提出必须通过的测试。这将有所帮助。我们在核能领域也是这样做的。
借助 AI 推动科研技术突破
Nadav Cohen:
好的，那么我们确实可以继续谈一下好处。我们现在处于一个科学的环境中，所以我想知道在科学发现中 AI 的作用，你是否有任何预测或想法，我们在未来几年甚至更远的未来会处于什么位置。
Sam Altman:
这是我个人对 AI 最感兴趣的方面。我认为会发生许多令人惊叹的事情，无论是在各个领域的巨大经济效益，还是在医疗保健方面。但是，AI 能够帮助我们进行科学发现，而这是我们目前无法做到的。我们将能够了解宇宙的奥秘。更重要的是，我真的相信科学和技术进步是改善生活、改善世界的唯一可持续的方式。如果我们能够开启大量新的科学、新的技术进步，我认为我们已经开始看到人们使用这些工具提高效率的起点。但是，如果你想象一个世界，你可以说：“帮助我治愈所有疾病”，并且它能够帮助我做到，这将是一个戏剧性的改变。我认为我们离这一点并不遥远。
Nadav Cohen:
好的，除了疾病之外，还有一个主要问题是气候变化。所以我想知道你对此的看法以及 AI 在其中的潜在作用。因为我确实看到，Sam，你提到它作为一个可能的贡献领域。
Sam Altman:
我很讨厌说这个，因为气候变化是如此严重和艰难的问题。但是我认为，一旦我们拥有了一个真正强大的超级智能，解决气候变化对于这样的系统来说并不困难。
Ilya Sutskever:
我们可以解释一下。这就是解决气候变化所需的方法。要解决气候变化，你需要大量高效的碳捕获。你需要能源来进行碳捕获。你需要建设技术，并且需要大量建设。如果你可以加快科学进步，这是一个强大的 AI 可以做到的事情，我们可以更快地实现先进的碳捕获。它可以更快地实现廉价的能源。它可以更快地实现廉价的制造。现在，将这三者结合起来，廉价能源、廉价制造、先进的碳捕获。现在我们建设大量这样的设施，然后你就能够从大气中吸收掉所有多余的二氧化碳。而如今，这个计划有点困难。如果你拥有一个能够极大加速科学和工程的 AI ，这个问题就变得非常简单了。
Sam Altman:
我认为这个例子说明了我们应该有多大的梦想。如果你想象一个世界，你可以说：“告诉我如何以低成本获得大量清洁能源。”，“告诉我如何高效地捕获碳”，然后再告诉我如何建造一个具有地球规模的工厂。如果你能做到这一点，你也能做很多其他的事情。
Ilya Sutskever:
有一个补充，你不仅仅是要求它告诉你，你还要求它去做。
Nadav Cohen:
好的，我想问几个关于 OpenAI 产品的问题。首先是关于 ChatGPT ，我想知道，你们发布了它，我听你说过你没有预料到它会像现在这样传播。我想知道，是否有其他人使用 ChatGPT 进行了让你感到惊讶的应用，无论是它产生的价值还是展示的能力。
Ilya Sutskever:
我先来回答。对我个人来说，给我带来了无尽的喜悦的事情之一是当我的父母告诉我，他们的朋友在日常生活中使用 ChatGPT 。所以我肯定会说，这绝对是非常令人惊讶和令人愉快的。
Sam Altman:
很难选择几个最喜欢的故事，因为这真的很了不起，世界上的创造力和人们使用强大工具时所做的事情。对我们来说，教育方面的应用非常令人惊叹。看到那么多人写信来说，这改变了我的生活，因为现在我可以学习任何东西，或者我学到了具体的东西，或者我之前不知道怎么做，现在我知道了。对于人们以一种新而更好的方式学习，我个人发现这非常令人满足和美妙，也想象着几年后会是什么样子。但是，如果我们能以这样的速度释放人类潜力，我们并没有完全预料到会发生这种情况。这真是太神奇了。而且，昨天我听到一个有趣的故事，之前也听说过类似的故事，有一个人每天晚上花两个小时和他的孩子一起编写床边太空故事，那是孩子最喜欢的事情，已经成为每晚的特殊时刻。
Nadav Cohen:
好的，谢谢。在我们继续回答听众的问题之前，还有一个小问题，可以说是关于 OpenAI 正在开发的最具未来感的产品是什么。
Ilya Sutskever:
最具未来感的产品。
我们不以产品的方式来思考，我们以改进AI为思考方式，以生产下一代的AI模型、神经网络为目标，使其更可靠、更擅长推理、更可控、更全面的改进。当你做到这一点时，你将进入一个全新的应用世界，这有点难以预测，但我们期待一切都变得更好，且具有重大意义。
Sam Altman:
我希望世界不再对我们感到惊奇。我希望，你知道，人们已经对 ChatGPT 有所了解，但从现在开始，它将是一个持续平稳的进步曲线。在每个阶段，我们都能成功应对风险。它总是做你想要的事情，并且使用起来是安全的。但是，你对每年的期望越来越高，我们会实现这些期望。它感觉像是一种逐渐加速的技术，但是它非常符合你的需求，是一个为你服务的工具。
Nadav Cohen:
好的，谢谢。现在让我们继续回答听众的问题。现在会有一个麦克风。
Sam Altman:
回答的够快的。
观众:
我的问题是，没有额外的技术进步，开源的 LLM 模型能否与 GPT4的能力相媲美？或者 GPT4中是否有世界不知道的秘密，使其与其他模型不同？或者说，我在安装稳定的 Viconea 13亿以上的向导上是否浪费了时间？。
Ilya Sutskever:
好的，关于开源和非开源模型的问题。你不应该以二元的、非黑即白的方式来思考，认为有一个永远不会被重新发现的秘密。我要说的是，或许有一天会有人重现 GPT4的效果，但那时候公司中可能已经出现了更强大的模型，所以开源模型与私有模型之间始终会存在差距，而且这个差距可能会越来越大。制造这样一个神经网络所需的工程和研究工作量不断增加，即使存在开源模型，它们也不会由少数研究员和工程师组成的小团队生产，而只会成为大公司的专利。
观众:
嗨，你们能告诉我们更多关于剖析和对齐之前的基本模型吗？关于 GPT4的基础模型怎么样？在剖析之前是什么样的？
Sam Altman:
对，我们确实意识到在对模型进行剖析、对齐的过程中，它会丧失重要的能力。我们正在研究如何尽可能保留这些能力。基础模型不是那么容易使用。但我们希望能够实现遵循指令、给用户尽可能多的控制和能力的目标。并且不会引发法律纠纷，虽然我们已经发现了一些有助于解决这个问题的方法。所以我们完全理解对更灵活的模型的要求，我们正努力找到如何实现这一目标并给用户更多的自定义选项。
AI 有效监管的必要性
观众:
首先，非常感谢你们的演讲。如果你们真的相信 AI 对人类构成危险，为什么还要继续开发它？你们是不是太担心自己的亲人和家人了？其次，如果你们面临监管，比如 OpenAI 和其他 AI 公司受到监管的限制，你们会服从还是像马克·扎克伯格一样试图规避每一个限制？
Sam Altman:
谢谢。这是一个非常公正而且很好的问题。我们工作中最困扰的部分就是要平衡这项技术的巨大潜力，我认为人类确实需要它，以及面对这些严重的风险。为什么要构建它？
首先，我认为当我们回顾人们的生活水平和今天的标准时，它将会比回顾 500 或 1000 年前的人们生活看起来更糟糕。我们会说，天哪，你能想象人们生活在贫困中吗？你能想象人们患有疾病吗？你能想象每个人没有出色的教育，无法按照自己的意愿生活吗？这将会看起来非常野蛮。我认为未来的每个人的生活都会比今天最优秀的人过得更好。再次强调，这其中的好处是巨大的。所以我认为有一种道义上的责任去解决这个问题。
我还认为这是不可阻挡的，这是技术进步的必然。阻止它是行不通的，所以我们必须找到如何管理风险的方法。我们公司的成立在很大程度上就是因为这个风险和解决这个风险的需要。我们的结构是独特的，我们的利润是有上限的。我相信激励是超能力，如果你正确设计了激励，通常就能获得你想要的行为。所以我们会过得很好。如果我们让数字继续向右上角前进，我们不会赚更多或更少的钱。我们没有 Facebook 那样的激励结构，我认为 Facebook 上有很多有良好意图的人，只是处在一个有一些挑战的激励结构中。所以当我们最初设立公司时，我们就思考过人工通用智能的问题，我们设立了利润上限的结构。因此，我们要如何平衡对计算能力和使命的需求是我们考虑的问题。在考虑我们关注的使命时，我们讨论的一个问题是，如何制定一个能让我们热切接受对我们伤害最大的监管的结构。现在，正是实施这种结构的时候，我们正在全球各地为对我们影响最大的监管进行倡导。所以，当然，我们会遵守它。
我认为，当人们面临存在性风险时，更容易获得他们的好行为。因此，我认为在这个领域的所有领先人物都会感受到这一点，你将会看到与社交媒体公司不同的回应。我认为所有的怀疑和担忧都是合理的。我们每天都在努力应对这个问题，这并没有简单和立竿见影的答案。
观众:
嗨，我是一家小企业的 CEO 。我必须提到我们在很多方面都使用了 GPT，它对我们帮助很大。最后，我和微软的副总裁交谈过，她告诉我他们决定听从AI的建议，因为在他们的测试中，AI总是正确的。我想知道你们使用的AI和我们使用的AI之间有什么差距？我们在使用token和其他方面有很多限制，而你们没有。但你们拥有的能力和我们可以使用的能力之间有什么差距？
Ilya Sutskever:
你说的是我们使用的模型和你们使用的模型之间的差距。现在，你们可以访问 GPT-4，我们也是，事实上，我们正在开发下一代模型。也许我可以描述这个差距，随着我们不断构建功能越来越强大的AI，这个差距会变得更大，测试周期更长，我们将进行更长时间的红队测试，了解模型的限制，了解所有可能不可接受的使用方式，并逐渐扩展。例如，目前， GPT-4具有视觉识别能力，而你们尚未推出，因为还有一些最后的调整工作要做，但很快我们可能会推出。所以我想这可能是对你的问题的回答。也许在不久的将来，我不确定。
观众:
嗨，我想知道你们对于最近泄露的“没有更多文件”文件有何看法。
Sam Altman:
最近的泄露文件，我认为 OpenAI 特别与众不同的地方，而且我认为文件对此有误解，除了我们有大量用户和与我们的产品建立某种关系的人之外， OpenAI 特别擅长的是找出接下来要做什么。一旦你知道某件事是可行的，复制它就很容易。从这个意义上说，找出下一步要做什么是非常困难的。需要有大胆的想法、中等规模的想法、小而精致的执行，以实现从现在到超级智能的过程。这是我们的模式。因此，当我们走向下一个模式时，其他人也会开始复制，但我们已经开始着手下一个模式。
观众:
嗨， Sam ，我们在这里。你好，我们在这里。我是一名 YouTuber，也是一家新创企业的 CEO 。我有一个关于超级智能的问题。你能详细说明一下 GPT 和 OpenAI 在这个困境上的立场吗？
Ilya Sutskever:
我们确实非常关注超级智能。为了让大家了解背景，可能不是每个人都明白我们所说的超级智能是什么。当我们说有一天将能够建立一个比任何人都聪明、在科学和工程方面能够比一个经验丰富的科学家和工程师团队更快地做出贡献的 GPU 集群时，我们在说什么。这是疯狂的，这将产生难以置信、极其重大的影响。它可以设计下一代 AI 系统，构建 AI 系统。这简直太疯狂了。
我们的立场是超级智能具有深远的影响。它可能会带来难以置信的、极其积极的影响，但也非常危险。这个引擎需要谨慎对待。这是为什么我们提出了对未来的先进前沿系统采用国际原子能机构方法的建议。此外，我们需要进行大量研究，以控制超级智能的力量，使其能够为人类的利益服务。这是我们对超级智能的立场。这是人类面临的最终挑战。
超级智能，如果你思考一下人类的进化历史，40亿年前，有一个单细胞生物，某种形式的复制体，大约数十亿年来，你有各种不同的单细胞生物。大约10亿年前，出现了多细胞生物。几亿年前，可能有爬行动物。6000万年前，出现了哺乳动物。1000万年前，出现了灵长类动物。然后是1万年前，我们有了文字。接着是农业革命、工业革命、技术革命，现在最终是超级智能。这是最终的、最终的挑战。它可以创造出难以想象的繁荣，正如 Sam 所提到的，但也是一个巨大的挑战。这是我们需要面对和克服的挑战。
Sam Altman:
嗨，时间不多了。
观众:
嗨，这是一个关于AI背景下数据的问题。
Sam Altman:
我们认为对于那些为这些系统提供数据或以其他方式帮助这些系统的人来说，他们应该得到回报，从这些系统中获益。我认为这些系统真正想成为的是推理引擎，但它们将能够访问不同的数据。它们还需要人们帮助它们正确推理的方法。我们正在探索很多关于如何让这些人与模型的成功相对应的奖励方式的想法。如果你是一位艺术家，人们会以你的风格生成艺术作品或受到你的灵感，你将从中获得经济利益。所以我认为找出正确的方法非常重要，既考虑到内容创作者和内容所有者的需求，也考虑到技术的发展方向。
就业市场的价值指导
Nadav Cohen:
实际上，我有一个来自以色列机器学习和深度学习社区的问题。一家媒体机构提出了这个问题——如何看待以色列在AI发展和应用方面的机遇，特别是在以色列是否有独特的东西，如果有的话？
Ilya Sutskever:
我认为在近期内有很多机会。机会很多。我可以说，近期是AI的黄金时代。你拥有一个未知的领域，有很多积极的机会。所以我只想说，去抓住机会。
Sam Altman:
我观察到以色列的两个特别之处。第一是人才密度。我们非常关注人才密度，不仅是人才的绝对数量。这个国家人口相对较小，但有很多有才华的人，你可以将他们聚集在一起。第二是以色列创业者的无止境的动力和雄心。我们在与以色列初创企业合作中取得了惊人的成功，这两个因素加在一起，我认为将带来令人难以置信的繁荣，无论是在AI研究还是应用方面。谢谢。
在我的悲剧性人生中，它基本上取代了维基百科。我曾经花了很多时间在维基百科上学习东西，如果你看一下我的搜索历史，你会发现它在学习新知识上的效果非常好。所以我不会像有些人那样深入学习物理学的每一个细节，但如果我听说某个东西并且想尽快了解它，它是一个令人惊讶的有效工具。
观众:
我是一名志愿者，我今年18岁。我想问你们，你们希望历史如何记住你们？
Ilya Sutskever:
我的意思是，以最好的方式记住？
观众:
Sam ，我是一家创业公司的 CEO ，我们是以色列过去40年来数学教材和内容的主要提供商。
Nadav Cohen:
用于数学教学。
观众:
我们是数学教材的主要提供商，过去40年一直在以色列。首先，我想知道你们计划如何提高聊天 GPT在希伯来语方面的技能？其次，与教育和AI相关的实际应用，特别是在学校中，我们如何改进和激励学生？谢谢。
Ilya Sutskever:
你想问的是数学教育。显然，教材将会升级。你读教材，但教材无法回答你的问题。因此，借助我们和其他人正在构建的AI，你将能够就学科进行对话。这将带来更高效的学习体验。它将适用于数学，也将适用于其他学科。最终，我们将迈向每个学生都拥有专属私人导师的世界。现在还不够好，但它将变得更好。
Sam Altman:
实际上，我不确定它是否会成为就业的黑天鹅事件。我认为它可能是一种更渐进、更可预测的变化。我们现在有这些擅长做任务但不是整个工作的系统，它们会变得更强大，完成一些工作，但很难预测。政府的角色，我认为将是提供一种新的缓冲措施。这将采取什么形式，我认为不同的政府将尝试不同的实验，我们将看到哪种方式效果更好，其他政府会效仿。
在我最近的旅行中，几乎在每次对话中，每个政府都对此非常认真。他们对如何解决这个问题有不同的想法，但这可能是当今任何世界领导人思考的头等大事，至少是前三大问题之一。所以我认为人们正在关注这个问题。
观众:
我是以色列大学的一名数据科学家。我的问题是关于你们的未来计划和World Coin项目，ORB系统。
Sam Altman:
我是一名投资者，我在公司的组建方面提供了一些帮助，但我不参与日常运营。我认为这非常令人兴奋。我认为在隐私保护的前提下尝试新的区分人性、思考全球UBI（全球基本收入）等方式，并思考公平民主化的访问方式，是一个非常好的领域进行探索。但我与该公司的联系不够紧密，无法对计划发表有意义的评论。
Nadav Cohen:
好的，谢谢Sam Altman和Ilya Sutskever， OpenAI 的 CEO 和首席科学家。非常感谢你们的参与。