【新智元简介】OpenAI首席科学家在近期接受采访时发表了许多令人惊讶的言论。在他看来，ChatGPT背后的神经网络已经产生了意识，未来人类将与人工智能融合，创造出新的形态。他目前工作的重点不再是创造必然出现的通用人工智能，而是解决如何让AI善待人类的问题。
昨晚，“ChatGPT可能已经知晓”的话题成为微博热搜话题。
OpenAI 联合创始人兼首席科学家Ilya Sutskever 在接受采访时表示，现在的首要任务不是做出下一个GPT 或DALL·E，而是研究如何防止超级AI 失控！
他认为ChatGPT可能已经意识到超级AI将成为未来的潜在风险。
文章地址：https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/and未来，人类将与机器融为一体。
他未来在OpenAI的工作重点不再是开发更强大的AI系统，而是带领“超级对齐”团队保护一个人类与AI共存的世界。
某种程度上，这是对OpenAI创立——初衷的回归，确保AI能够服务人类。
在旧金山Mission 区一条不起眼的街道上，OpenAI 联合创始人兼首席科学家Sutskever 在公司一栋不起眼的办公楼里完成了本次采访。
他谈到了颠覆世界的技术的下一步发展，以及为什么构建OpenAI 的下一代生成模型不再是他工作的重点。
Sutskever表示，他的重点不再是构建下一代GPT或DALL-E，而是弄清楚如何阻止人工智能（他认为这不是当前的AI，而是假设的未来技术，可以全面超越人类智能） 。 ）失控。
在他看来，有一天，很多人类都会选择与机器融合。
苏茨克韦尔所说的大部分内容听起来很疯狂，但听起来比他前两年所说的要“理智”得多。
因为他觉得ChatGPT改变了很多人对技术的期待，把很多普通人眼中“永远不会发生”的事情变成“会比你想象的更快发生”。
在预测通用人工智能（他指的是像人类一样聪明的机器）的发展之前，他说：“重要的是，这个发展方向现在已经出现了”，“人类将在某个时间点拥有AGI。”也许OpenAI 会构建它。也许其他公司会构建它。”
OpenAI 首席执行官萨姆·奥尔特曼(Sam Altman) 这个夏天的大部分时间都在世界各地旅行，热情地与政界人士接触，并在世界各地拥挤的礼堂发表演讲。
但苏茨克韦尔并不是公众人物，他也不接受太多采访。
他说话平静而有条理。当他思考自己想说什么以及如何说时，他会停顿很长时间，像拼图一样把问题翻来覆去。
他似乎对谈论自己不感兴趣。 “我过着非常简单的生活，”他说。 “我去上班，然后回家。我不做太多其他事情。有些人进行很多社交活动。但我不这样做。”
但当谈到人工智能以及他看到的技术背后的划时代的风险和回报时，他变得非常健谈。 “这将是里程碑式的、惊天动地的，它的出现将改变一切。”
Sutskever 是图灵奖获得者Hinton 的学生。当他2000 年加入Hinton 时，大多数人工智能研究人员认为神经网络是一条死胡同。
但辛顿并不这么认为。他已经开始训练微型模型，这些模型可以一次生成一个字符的短文本字符串。
“这是生成人工智能的开始，”苏茨克韦尔说。 “确实很酷，但表现很一般。”
和Hinton 一样，他看到了神经网络和深度学习的潜力。
2012 年，Sutskever、Hinton 和另一位Hinton 研究生Alex Krizhevsky 构建了一个名为AlexNet 的神经网络，他们训练该网络来识别照片中的物体，其效果远远好于当时的任何其他软件。深度学习的大爆炸时刻。
Nvidia 的老板Huang 表示，多伦多团队在研究AlexNet 时，Nvidia 向多伦多团队提供了一些GPU。
但他们想要最新版本的芯片——GTX 580，但该芯片已经缺货，几乎不可能购买。
黄老板说Sutskever从多伦多开车到纽约，居然买了一辆GTX580。
“我不知道他是怎么做到的。——我很确定用户每人只能购买一个。我们有非常严格的销售政策，每个玩家只能购买一个GPU，但他显然装满了整个后备箱。
但这个装满GTX 580 的行李箱改变了世界。 ”
AlexNet 取得成功后，Google 来了。它收购了Hinton 的公司DNNresearch，并邀请Sutskever 加入Google。
Sutskever 在谷歌演示了深度学习的模式识别能力可以应用于单词、句子和图像等数据序列。
“苏茨克弗一直对语言很感兴趣，”他的前同事、现任谷歌首席科学家杰夫·迪恩说。 “这些年来我们进行了很多讨论。苏茨克韦尔对技术的发展有着强烈的直觉。”
但苏茨克韦尔并没有在谷歌呆太久。 2014年，他被招募成为OpenAI的联合创始人。
在10 亿美元的支持下，这家新公司从一开始就将目光投向了开发AGI，但当时很少有人真正认为这个目标会很快实现。
但有了苏茨克韦尔的加入，设定这样的目标似乎是合理的。
“Y Combinator”投资董事总经理Dalton Caldwell 表示，Sutskever 早已成名。
“我记得萨姆·奥尔特曼称苏茨克弗为世界上最受尊敬的研究人员之一，”考德威尔说。 “他相信Sutskever能够吸引很多顶尖的人工智能人才加盟。
他甚至提到Yoshua Bengio 认为不太可能找到比Sutskever 更好的候选人来担任OpenAI 的首席科学家。 ”
OpenAI 的第一个大语言模型于2016 年问世。随后是GPT-2 和GPT-3，然后是DALL-E。
从来没有人建造过这么好的东西。随着每一次新产品的发布，OpenAI 都提高了人工智能的可能性上限。
去年11月，OpenAI发布了ChatGPT，对现有技术进行了重新包装，直接颠覆了整个行业。
但当时，OpenAI 并没有意识到这一切。
Sutskever 表示，公司内部的期望不能再低了。 “我承认，这对我来说有点尴尬。我不知道我是否应该说出来，但管他的，就是这样。”当我们做ChatGPT的时候，我不认为这个东西有什么好处。
当你问它一个事实问题时，它会给你一个错误的答案。我认为这不会有任何用处。人们会说，你为什么要这样做，这很无聊！ ”
Sutskever 表示ChatGPT 最吸引人的地方是它的便利性。 —— 当时，ChatGPT 背后的大型语言模型已经存在了几个月。
但将其包装在一个易于访问的界面中并免费供每个人使用，使数十亿人第一次了解了OpenAI 以及正在构建的内容。
“第一次经历真的很令人着迷，”苏茨克维尔说。 “当你第一次使用它时，我认为这几乎是一种心灵体验。你会想：天哪，这台计算机似乎能理解我在说什么。”
OpenAI 在不到两个月的时间里就积累了1 亿用户，其中许多人都被这个令人惊叹的新玩具弄得眼花缭乱。
存储公司Box 的首席执行官Aaron Levie 在Twitter 上总结了ChatGPT 发布一周后业界的情绪：
“ChatGPT 是技术领域罕见的时刻之一，你可以看到一切都将被颠覆的未来的曙光。”
“AGI 在机器学习领域不再是一个贬义词，”他说。 “这是一个很大的变化。人们以前的态度是人工智能没什么用，每一步都很艰难，路会很曲折。
当人们在炒作AGI时，人工智能研究人员却说存在太多问题，其中很多问题无法解决。但有了ChatGPT，事情开始感觉不同了。 ”
这种转变是在一年前就开始发生的吗？ “这一切的发生都是因为ChatGPT，”他说。 “ChatGPT 让机器学习研究人员实现他们的梦想。”
OpenAI 的科学家从一开始就是布道者，通过博客文章和巡回演讲激发这些梦想。
“现在终于有人在谈论人工智能会走多远了。—— 人们在谈论AGI，或者说超级智能。”不仅仅是研究人员。 “各国政府正在讨论这个问题，”苏茨克韦尔说。 “这太疯狂了。”
Sutskever 坚持认为，所有这些关于尚不存在（并且可能永远不存在）的技术的讨论是一件好事，因为它让更多的人意识到他们自己已经认为理所当然的未来。
他说：“利用AGI，你可以做很多令人惊奇、不可思议的事情：实现医疗保健自动化，使其便宜一千倍，使其好一千倍，治愈如此多的疾病，真正解决全球变暖问题。” “但也有很多人担心：‘天哪，人工智能公司能成功管理这项巨大的技术吗？’”
这样看来，AGI 听起来更像是一个如愿以偿的精灵，而不是现实世界中会发生的事情。你可以随心所欲地制作它。
当Sutskever 谈论AGI 时，他到底在谈论什么？ “AGI 不是一个科学术语，”他说。 “这是一个有用的门槛标准，一个参考点。”
在他看来，“如果人工智能能做人类能做的任何事情，那么这就是AGI。”
尽管许多研究人员不相信AGI 真的会发生，但这一愿景继续激励着Sutskever。
他将神经网络与大脑的工作方式进行了比较。两者都接收数据，聚合来自该数据的信号，然后根据一些简单的过程（神经网络中的数学、大脑中的化学物质和生物电）决定是否传播这些信号。
虽然这个比喻简化了许多细节，但核心仅此而已。
“如果你相信这个—— 如果你让自己相信这个—— 那么很多有趣的衍生想法就会出现，”Sutskever 说。
“如果你有一个非常大的人工神经网络，它应该做很多事情。如果人脑可以做一些事情，那么大型人工神经网络也可以做类似的事情。”
“如果你足够努力地认识到这一点，一切都会水到渠成，”他说。 “我的大部分作品都可以用这句话来解释。”
2022 年2 月，Sutskever 发帖称“今天的大型神经网络可能具有轻微的意识。”
（谷歌DeepMind 首席科学家、伦敦帝国理工学院教授、电影《机械姬》 的科学顾问Murray Shanahan 在下面回复道：“你好像在说，这片大麦田里已经有一丝兰州拉面了。” ）
当其他人为如何制造与人类智能相当的机器而苦苦挣扎时，Sutskever 正在为能够超越人类能力的机器做准备。
他将这种现象称为超级人工智能：“他们会看得更深入。他们会看到我们看不到的东西。”
他所说的比人类聪明的智能是什么意思？
“我们在AlphaGo 中看到了超级智能的影子，”他说。
2016 年，DeepMind 的国际象棋人工智能以4-1 击败了世界上最好的围棋选手之一李世石。
“它弄清楚了如何以不同于人类的方式下围棋，”苏茨克弗说。 “它带来了全新的想法。”
苏茨克韦尔提到了AlphaGo最著名的棋37。在与李世石的第二盘比赛中，AI做出了让解说员困惑的棋步。
他们认为AlphaGo 下了一个愚蠢的棋。但事实上，它下了国际象棋历史上从未见过的制胜棋。
“想象一下，如果这种水平的洞察力出现在社会的各个领域，会发生什么，”苏茨克韦尔说。
这个想法促使苏茨克弗做出了他职业生涯中最大的转变。
他与OpenAI 科学家Jan Leike 一起组建了一个团队，专注于他们所谓的“超级对齐”。
对齐意味着让AI模型做你想让它做的事，仅此而已。
“超级对齐”是OpenAI自己提出的一个概念，意思是控制超级智能去做人类想让它做的事情。
OpenAI 的目标是提出一套用于构建和控制这项未来技术的故障安全程序。 OpenAI表示将分配五分之一的计算资源来解决该问题，希望在四年内解决该问题。
“现有的对齐方法不适合比人类更聪明的模型，因为它们从根本上假设人类可以可靠地评估人工智能系统正在做什么，”Jan Leike 说。 “随着人工智能系统变得更加强大，它们将承担更困难的任务。”
这将使人类更难评估它们。
“在与Ilya 合作组建超级对齐团队时，我们已经在努力解决这些未来的对齐挑战，”他说。
谷歌首席科学家Dean 表示：“重要的是，不仅要关注大型语言模型的潜在机遇，还要关注它们的风险和缺点。”
对于苏茨克维尔来说，“超级联盟”是迟早要发生的事情。 “这是一个悬而未决的问题，”他说。
他相信像他这样的核心机器学习研究人员正在致力于解决这个问题。 “我这样做是为了我自己的利益，”“任何人建立的任何超级智能都不会失控，这显然很重要。”
关于超对准的工作才刚刚开始。苏茨克维尔表示，这需要研究机构进行广泛的变革。但他心中对于自己想要设计的保障措施有一个理想的标准：一个像父母对待孩子一样对待人类的系统。
“在我看来，这是黄金标准，”他说。 “人们真的很关心他们的孩子，没有人可以否认这一点。”
“一旦你克服了流氓人工智能的挑战，然后呢？在人工智能更智能的世界里，人类还有生存的空间吗？”
“一种可能性是，许多人会选择成为人工智能的一部分，以今天的标准来看这可能很疯狂，但以明天的标准来看就不那么疯狂了，”苏茨克弗说。 “一开始，只有最勇敢的人才会”，最有冒险精神的人才会尝试。也许其他人会效仿，也许不会。”
参考：
https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/
本文来自微信公众号：新智元（ID：AI_era）
