Zhidongxi Chen Richa Panken Zhidongxi最近于8月16日，歌剧院总裁Greg Brockman的共同创始人格雷格·布罗克曼（Greg Brockman）分享了他关于AI的关键问题的最新观点，例如在AI技术，科学研究和工程学开发中的瓶颈。作为2015年进入AI行业的AI行业的资深人士，Brockman提出了一个非常重要的观察结果，可以回答主机对GPT-6的发展挑战的问题。计算机功率和数据量表的迅速扩展已经恢复了基础研究，算法的重要性再次成为未来AI技术发展的重要瓶颈。对于布罗克曼来说，这不是一件坏事。写警告有点无聊。您整天需要的一切，人们对他们的智慧感到“不满意”是不可避免的。目前，LearningReforeversion是算法研究的新地址之一，但它注意到仍然有很多明显的我的技能差距。 ▲格雷格·布罗克曼（Greg Brockman）（右）和工程和客人的科学研究是驱动AI开发的两个主要引擎。布罗克曼（Brockman）出生于工程师，他认为工程师的贡献与研究人员的贡献相当，在几个方面更为重要。没有科学研究和创新，就无关紧要。没有工程能力，这些想法将无法做到。歌剧从一开始就提倡对工程和研究的相同愿景，这两个想法是不同的。对于加入OpenAI的工程师来说，布罗克曼的第一堂课是保持技术谦卑，因为传统互联网制造商的有效方法可能不适用于OpenAI。产品与研究之间的资源协调也是Openai面临的常见问题。布罗克曼（Brockman）在一次采访中承认，Openai必须使他的计算机力量适用于几乎“未来抵押贷款”的科学研究。 b他认为这笔交易是值得的。在采访中，Blockmann审查了他对数学的童年兴趣，将目光投向了该计划，他从哈佛大学转移到了麻省理工学院，最后离开了学校，加入了Fintech的开始。由于空间的限制，转录不包括内容的这一部分。在采访结束时，布罗克曼回答了NVIDIA的创始人兼首席执行官Huang Renxun的两个问题，随着未来AI基础设施和发展过程的未来形式的演变。今年6月对格雷格·布罗克曼（Greg Brockman）进行了采访。以下是令人兴奋的内容（智能添加，消除和更改的智能内容，而无需更改意图的措施）：1。工程师与研究人员一样重要。他加入Openai的第一堂课是技术谦虚的主持人。 2022年说，是时候成为一名自动学习工程师了。好的工程师可以在与良好研究的同一水平上取得进展嗯。我会做出贡献。今天仍然有效吗？格雷格·布罗克曼（Greg Brockman）：我认为工程师的贡献与研究人员的贡献相似，甚至更大。最初，Openai是一群早期的博士研究科学家，他们提出并测试了几个想法，而工程学对于这些研究至关重要。 Alexnet本质上是一个“在GPU中实现快速卷积核心”的项目。有趣的是，当时的人们在Alex Krizhevsky的实验室不太喜欢研究，我认为Alexnet是特定图像数据集的快速核心，ESO并不重要。但是伊利亚说：“它可以应用于Imagenet。它肯定会起作用。”该决定将出色的工程与理论创新相结合。我认为我以前的意见仍然有效。如今，工程行业的需求不仅建立了一个特定的核心，而且还建立了一个完整的系统，该系统延伸至100,000 GPU，还建立了增强学习系统ND协调不同部分之间的关系。没有创新的想法，无关。没有工程能力，他将无法意识到这个想法。我们需要结合和谐的两个方面。 Illya和Alex之间的关系是研究与工程之间合作的象征，现在是一种开放的哲学。 Operai认为，从一开始，工程和研究也同样重要，两支球队必须密切合作。研究与工程之间的关系也是一个无法完全解决的问题。解决当前水平问题后，他们面临更复杂的问题。我们意识到我们遇到的问题基本上与他们所面临的其他实验室相同，只是可能有更多不同的变体。我认为背后有一些基本原因。最初，具有工程和研究环境的人清楚地认为对系统局限性的理解。作为工程师，“如果已经确定了接口，那么如果您不必担心其背后的实现，则可以以某种方式实现它。”但是作为研究人员，“如果系统的任何部分都有错误，则性能下降，一个例外消息，不知道错误在哪里。它必须负责整个代码。”除非界面非常稳定且完全固定，否则它是一个很高的标准：研究人员负责此代码。这种差异通常会导致摩擦。一旦我在一个早期的项目中看到工程师编写了代码后，研究人员就会对每一行进行很好的讨论，并且进度非常慢。然后我们改变了方法，直接参与了该项目，并同时提出了五个想法。研究人员说，四人不起作用，我认为这些是他们想要的评论。我们认可的最大价值Nize也是工程行业新的Operaigues，技术谦卑的重点。您以宝贵的技能来到这里，但这与各种环境中的新传统互联网公司完全不同。学会区分何时可以信任您的原始直觉以及何时发布它们并不容易。最重要的事情，谦虚，原始倾听，让我们摆脱它在真正理解之前仍然有一些我们不理解的事情。接下来，更改架构并调整抽象层。真正理解和以这种谦卑做事是确定成功或失败的关键因素。 2。一些科学研究能力已转移到产品上。 Operai有时是“未来抵押贷款”的主持人：让我们谈谈最近的一些Openi发布会，并分享一些有趣的故事。特别值得一提的一件事是可伸缩性问题。一切都会崩溃租金规模。当Chatgpt推出时，它在短短五天内就吸引了100万用户。自今年Image Gen以来，用户数量在五天内已超过1亿。这两个阶段有什么区别？格雷格·布罗克曼（Greg Brockman）：他们在许多方面都相似。 Chatgpt最初是Inmodesta Vestage的预览，但默默地启动了它，但该系统很快就被阻止了。我们希望它会很受欢迎，但是当时我们认为我们会等到GPT-4真正发烧。我的内部同事已经与他接触，因此并不感到惊讶。这也是该领域的特征：更新节奏非常快。 “这是我见过的最令人惊讶的事情，”下次，“为什么不能同时合并10个PR？”图像情况相似，在发布后非常受欢迎，其扩展速度和用户的增长速度令人难以置信。为了支持这两个版本，我们违反了大会并取消了一些计算机资源from产品研究。这相当于“抵制未来”，以便该系统正常工作，但是如果按时交付，这种补偿是值得的，可以满足您的需求并允许更多的人体验技术的魔力。我们始终遵守相同的理念：我们将为用户提供最佳的体验，我们将促进技术，产生前所未有的结果，将它们带到世界上并尽一切可能取得成功。 3。AI的编程不仅是关于“展示技能”，而且是认真的。它已转变为软件工程。主机：“ Vibe编码”现在已成为一种现象。你怎么认为？格雷格·布罗克曼（Greg Brockman）：作为一种授权机制，大气编程非常神奇，反映了未来的发展趋势。该特定形式会随着时间而变化。即使使用诸如Codex之类的技术，我们的愿景也是：如果这些代理商确实被使用，它们可以执行数十万甚至数十万个代理商同时，不仅是一本或十本。他将想像他的同事一样与他们合作：他们在云中运行并连接到不同的系统。即使您睡觉并且笔记本电脑关闭，它们也可以继续工作。如今，人们通常将大气编程视为互动群体，但这种形式发生了变化。未来的互动增加了AIS越多，并且超过了该模型，它将构建的系统越多。一个有趣的现象是，大气节目的许多演示都集中在“伟大”项目上，例如创建有趣的应用程序和伪造网站，但是真正新颖和变革的是AI开始改变和渗透现有的应用程序。当他们使用继承的代码库时，许多公司需要迁移，更新和转换旧语言，例如COBOL到现代语言。大气编程的起点是“执行冷应用程序”，去进行严肃的软件工程，特别是Y具有其能力，可以加深现有系统并进行改进。这将使公司的发展速度更快，并且正是我们要去的地方。主持人：我听说法典就像一个“用自己的双手长大的孩子”。从一开始，他强调它是模块化的和记录的。您认为法典将如何改变我们的编程方式？格雷格·布罗克曼（Greg Brockman）：说他是我的“儿子”有点夸张。我有一个非常好的团队，并支持他们和他们的愿景。我正在努力。这个地址令人着迷，并且充满了可能性。最有趣的是，确定法典的代码基础结构可以获得多少价值。尽管大多数现有的代码库旨在利用人类的优势，但模型非常适合处理各种任务，并且无法将相似的概念与人类深入联系。如果系统适合模型的特性，则将更有效。理想的方法是分割鳕鱼e进入较小的模块，高速写入并执行高质量测试，并输入每个型号的详细信息。该模型执行测试并完成实现。组件（体系结构图）之间的连接相对易于构建，但是详细信息最难完成。这种方法听起来像是一种很好的软件工程实践，但实际上，这一步骤经常被省略，因为人类可以处理更复杂的概念抽象。写作和完美测试是一项无聊的任务，模型可以比人类执行100或1000倍的测试，因此可以做更多的工作。在某种程度上，我希望我们构建的代码库类似于设计的东西，以使初级开发人员最大化模型的价值。当然，随着模型的功能不断提高，如果这种结构仍然是最佳的，那么它将成为有趣的问题。这个想法的优势在于，它与人类必须遵循的实践一致y。软件工程的未来可能需要重新引入已放弃快捷方式的实践，以便该系统可以最大程度地提高其价值。 4。培训系统变得越来越复杂，必须同步更新控制点设计。问题：目前，我们经常需要大量时间的任务，占用更多的GPU，不可靠，常常失败并导致训练中断。这是众所周知的。但是您说您可以重新启动一次并跑步，这很好。但是，当他需要长期轨迹训练代理商时，他如何照顾他？如果轨迹本身是非确定性的，并且在中间，则确实发生了。从B开始很难，因此重新启动。格雷格·布罗克曼（Greg Brockman）：随着Themodel的能力，将发现新问题，将会发现问题，并将继续发现新问题。当执行时间短时，这些问题并不重要。但是，如果您需要执行任务几天，则应C请考虑详细信息，例如如何存储国家。总而言之，随着培训系统变得越来越复杂，应该认真对待此类问题。几年前，我们主要专注于传统和监督培训，但是节省控制点相对简单，但这并不容易。如果要更改“偶尔的控制点”以“保存所有步骤”，则必须认真考虑避免复制，阻止和其他数据问题的方法。在更复杂的增强学习系统中，控制点仍然很重要，例如存储缓存以避免重复计算。我们的系统具有其优势。 Modelo de langua具有相对清晰的状态，并且易于存储和处理。但是，如果连接的外部工具具有状态，则可能在休息后不可能恢复。因此，您必须计划整个系统的末端控制点机制。也许在某些情况下，中断A是可以接受的nd重新启动系统，并在结果曲线中看到一些变化。因为该模型足够聪明，可以应对这种情况。计划启动的一项新功能是允许用户照顾虚拟机，保存其状态并恢复操作。 5。创建AGI不仅是创建软件，还涉及同时创建超级计算机。 Huang Renxun，我真的希望您可以直接提出问题。在这个新世界，数据中心和AI基础设施的工作负载将在极端多样化。一方面，一些代理商进行了深入的调查，负责思考，推理，计划和需要大量记忆。另一方面，某些代理商必须尽快做出反应。有效地管理大量的完整任务，大量的解码任务和工作费用，以构建可以处理的AI基础架构。这些AIS就像R2-D2（星球大战机器人）或准备使用的同事一样。这两种类型工作量有很大不同。一个是密集的，可以长时间执行超级计算。另一个需要低延迟。您将来，您理想的AI基础架构会是什么样？格雷格·布罗克曼（Greg Brockman）：当然，这需要许多GPU。如果我想总结，Raohuan表示您应该构建哪种类型的硬件。要求有两种类型：一个是长而大的计算机要求，另一个是实时和实时的要求计算机。这确实很困难，因为这是一个复杂的Codiseño问题。我是一家基于软件的公司。最初，我只是在开发AGI软件（常见人工智能），但是我很快意识到要实现这些目标，我需要建立大型基础架构。如果您想构建一个真正改变世界的系统，则可能必须构建人类历史上最大的计算机。一种简单的方法是您需要两个不同的加速器。一个人正在寻求最大化计算机性能，并且他的其他人正在寻找极低的延迟。在类中堆叠，许多高带宽（HBM）内存和许多计算机单元都堆叠在不同的类别中，从本质上解决了问题。真正困难的事情是预测两种需求的关系。如果余额不好，则一部分机组人员可能没有任何意义。这听起来很恐怖。但是，该领域没有固定的规则和限制，因此主要是一个优化问题。如果工程师分配偏差，您通常可以找到使用这些资源的方法，但可能会很昂贵。例如，该行业正在使用专家的混合。在某种程度上，这在不增加计算机成本的情况下提高了自动学习的计算机效率，因为某些DRAM是不活动的，因此，使用这些不活动资源，模型参数增加了。但这意味着即使资源余额不正确，也不会造成灾难。 Accelera的均质化TOR是一个很好的起点，但我认为必须为特定目的自定义加速器是有意义的。当基础设施资本支出达到令人难以置信的规模时，优化其工作量也很有意义。但是，该行业尚未结束，因为研究发展如此之快。 6。基础研究已经返回，算法替换了数据，计算机功率已成为重要的瓶颈。问题：我不会问这个问题，但提到了调查。您可以对GPT-6扩展过程中面临的瓶颈进行分类吗？计算，数据，算法，电力，融资。第一个和第二个是什么？ Openai最限制的是什么？格雷格·布罗克曼（Greg Brockman）：我认为我们正在回到基础研究的时候。这是非常令人兴奋的。曾经有一段时间人们担心。当我们拥有变压器时，我们将继续扩展它。在这些明确的问题中，主要任务是改善指标。这是InteresTing，但我从智力上感觉到这在某种程度上是具有挑战性的，而且不足。生活不应有原始文章“您应该考虑的一切”。我们现在看到的是，计算机功率和数据量表的迅速扩展再次成为未来进步的重要瓶颈。这些问题是基本和重要的联系。它们在日常生活中似乎有些不成比例，但是您基本上需要保持这些平衡。看到诸如增强学习等范式的进步非常令人兴奋。这些年来，这也是我有意识地投资的领域。当您训练GPT-4时，当您第一次与GPT-4互动时，每个人都会想：“这是AGI吗？”这不是AGI，但是很难澄清为什么不是。它运行良好，但有时会朝错误的方向发展。这表明可靠性仍然是一个核心问题。我从未经历过这个世界，但是似乎是一个只知道阅读所有书籍并观察世界的人。因此，我们认识到需要几个范式，并继续促进改进，直到系统真正有能力为止。我认为这就是这样，但是这种情况仍然存在，并且仍然应该填补许多明显能力的空白。在我们继续前进的同时，我们最终将实现我们的目标。 7。“多样化的模型库”逐渐采用形式，并且将来将由AI驱动。在本地AI工程师的协助下，他可能会认为，在未来几年中，Openai将拥有AGI（通用人工智能），并在Openai Agi的特定领域中建立代理商。随着Openai的AGI将变得越来越强大，开发过程将如何变化？格雷格·布罗克曼（Greg Brockman）：我认为这是一个非常有趣的问题。从非常广泛的角度可以看出它，并且具有扎实的视野，但是它们彼此不同。我的看法最重要的是，一切都是可能的ble。将来Theit将非常强大，因此您必须拥有所有书面代码。也许AI在云中运行。也许有许多特定的域代理需要大量的自定义才能实现。我认为这种趋势正在朝着这个“多元化的模型库”迈进。这是非常令人兴奋的，因为不同的模型从系统的角度使用不同的推理成本和蒸馏技术效果很好。实际上，许多能力归因于模型调用另一个模型的能力。这创造了许多机会，并朝着驱动AI的经济发展。它尚未到达，但迹象已经揭示。与会者正在建立一切。经济体系是巨大，多样和动态的。当人们想象AI的可能性时，很容易只专注于我们现在的AI和人类的比例。但是，真正的观点是如何将经济成果提高10倍，每个人的利润更高。将来，他的模型将更强大，基本技术将更加完整。与他一起做更多的事情将减少入学阈值。例如，在医学领域，您不能简单地申请；您需要考虑正确的方法。教育领域涉及父母，老师和学生，每个链接都需要专业知识和大量工作。因此，有很多机会来构建这些系统，所有工程师都有实现这一目标的精力。
特殊声明：先前的内容（包括照片和视频（如果有），如有）已由网络自我媒体平台的用户收费和发布。该平台仅提供信息存储服务。
注意：以前的内容（如果您有照片或视频）将由netease Hao的用户（一个社会网络平台）加载和发布，仅提供信息存储服务。
歌剧头揭示了GPT