OpenAI内部动荡揭秘：人工智能新发现引发安全担忧

这是关于OpenAI内部技术进展导致最近动荡的原因传闻，仅供大家参考。
<div class="markdown-toc editormd-markdown-toc">[TOC]</div> OpenAI公司近期发生了一系列动荡，其中包括公司CEO Sam Altman的解雇事件。根据路透社的报道，这一系列事件的核心是一封由公司研究人员写给董事会的信函，以及一个被称为Q*的人工智能算法项目。
<h2 id="h2-u4E8Bu4EF6u56DEu987E"><a name="事件回顾" class="reference-link"></a>事件回顾</h2> 在Sam Altman被解雇前，公司内部有研究人员向董事会发出警告，称他们发现了一个强大的人工智能技术，可能会对人类构成威胁。这封信函以及Q*算法是导致Altman被董事会解雇的关键因素之一。在Altman被解雇后，超过700名员工威胁要辞职，并与公司的投资方微软公司(MSFT.O)站在一起，以示对被解雇领导的支持。
<h2 id="h2-q-"><a name="Q*项目介绍" class="reference-link"></a>Q*项目介绍</h2> 有人认为Q*项目可能是OpenAI在寻求所谓的人工通用智能（AGI）过程中的一个突破。AGI是指在大多数经济价值任务中超越人类的自主系统。据悉，Q*模型在获得大量计算资源的支持下，能够解决某些数学问题，尽管目前只达到小学生水平，但其表现让研究人员对未来充满期待。
<h2 id="h2-u5B89u5168u62C5u5FE7"><a name="安全担忧" class="reference-link"></a>安全担忧</h2> 研究人员在信中提到了AI的能力和潜在危险，但没有具体说明信中提到的安全问题。长期以来，计算机科学家一直在讨论高智能机器可能带来的危险，例如，如果这些机器决定摧毁人类符合它们的利益。
<h2 id="h2-ai-"><a name="AI科学家团队" class="reference-link"></a>AI科学家团队</h2> 此外，研究人员还提到了一个由“代码生成”和“数学生成”团队合并而成的“AI科学家”团队，该团队正在探索如何优化现有AI模型，以提高其推理能力，并最终执行科学工作。
OpenAI的这次内部动荡揭示了人工智能领域在追求技术突破的同时，也需要面对伴随而来的安全和伦理问题。随着AI技术的不断进步，如何平衡创新和风险，将是整个行业需要共同思考的问题。
<hr>
<h2 id="h2-u8DEFu900Fu793Eu7684u539Fu6587u7FFBu8BD1"><a name="路透社的原文翻译" class="reference-link"></a>路透社的原文翻译</h2>这是一篇关于OpenAI的新闻报道，以下是翻译：
2022年11月22日（路透社） - 在OpenAI首席执行官Sam Altman四天的流放之前，几名研究人员给董事会写了一封信，警告一个强大的人工智能发现可能会威胁到人类，两名知情人士告诉路透社。
这封之前未被报道的信件和AI算法是董事会解雇Altman之前的关键发展，这两个消息来源说。在周二晚些时候回归之前，超过700名员工威胁要辞职，并以支持微软（MSFT.O）作为对被解雇领导人的声援。
消息来源表示，这封信是导致Altman被解雇的一系列不满中的一个因素，其中包括在了解后果之前就商业化技术进步的担忧。路透社无法查看这封信的副本。写这封信的员工没有回应置评请求。
在被路透社联系后，OpenAI拒绝置评，但在内部给员工的一条消息中承认了一个名为Q*的项目和董事会之前收到的一封信，其中一人说。OpenAI的一位发言人表示，这条消息由资深执行官Mira Murati发送，提醒员工关注某些媒体报道，但没有评论其准确性。
OpenAI内部的一些人认为Q*（发音为Q-Star）可能是该初创公司在寻找所谓的人工通用智能（AGI）方面的突破，其中一人告诉路透社。OpenAI将AGI定义为在大多数经济价值任务中超越人类的自主系统。
有人说，鉴于巨大的计算资源，新模型能够解决某些数学问题，此人要求匿名，因为他/她无权代表公司发言。尽管只在小学生的数学水平上表现，但在这些测试中表现出色，使研究人员对Q*的未来成功非常乐观，消息来源说。
路透社无法独立验证研究人员声称的Q*的能力。
“无知的面纱” 研究人员认为数学是生成型AI开发的前沿。目前，生成型AI擅长写作和语言翻译，通过统计预测下一个词，对同一个问题的回答可能会有很大差异。但是，征服能做数学的能力——在数学中只有一个正确的答案——意味着AI将拥有类似于人类智能的更强推理能力。例如，AI研究人员相信，这可以应用于新的科学研究。
与只能解决有限数量操作的计算器不同，AGI可以概括、学习和理解。
在给董事会的信中，研究人员提到了AI的能力和潜在危险，消息来源说，但没有具体说明信中提到的具体安全问题。长期以来，计算机科学家一直在讨论高智能机器所带来的危险，例如，它们可能决定摧毁人类符合它们的利益。
研究人员还提到了一个“AI科学家”团队的工作，该团队的存在得到了多个消息来源的确认。这个团队是通过结合早期的“代码生成”和“数学生成”团队形成的，正在探索如何优化现有AI模型以提高它们的推理能力，并最终进行科学工作，其中一个人说。
Altman领导了使ChatGPT成为历史上增长最快的软件应用之一的努力，并吸引了微软必要的投资和计算资源，以更接近AGI。
除了本月早些时候展示了一系列新工具之外，Altman上周在旧金山世界领导人峰会上暗示，他相信重大进展即将到来。
他在亚太经合组织峰会上说：“在OpenAI的历史上，现在是第四次，最近一次是在过去几周内，我有幸在房间里，当我们推动无知的面纱后退，发现的边界向前推进，能做到这一点是我职业生涯的荣誉。”
一天后，董事会解雇了Altman。
原文地址：<a href="https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/#:~:text=Some%20at%20OpenAI%20believe%20Q,in%20most%20economically%20valuable%20tasks">https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/#:~:text=Some%20at%20OpenAI%20believe%20Q,in%20most%20economically%20valuable%20tasks</a>.

OpenAI内部动荡揭秘：人工智能新发现引发安全担忧

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客