Aioga
AI资讯 / 行业动态
返回 AI资讯

Gary Marcus 记录梵蒂冈 AI 会议:与教皇 Leo XIV 会面并谈 AI 伦理五点

Gary Marcus:The Road to AI We Can TrustAioga 编辑团队2026-10-31T15:17:33.000Z热度 58

Gary Marcus 记述了 10 月 30 日在梵蒂冈与教皇 Leo XIV 的会面,并转述教皇关于 AI 的五点主张:AI 未来并非注定、机器是工具而非人、关键决策不可委...

行业动态Gary Marcus:The Road to AI We Can Trust

今日 AI 情报摘要

Gary Marcus 记述了 10 月 30 日在梵蒂冈与教皇 Leo XIV 的会面,并转述教皇关于 AI 的五点主张:AI 未来并非注定、机器是工具而非人、关键决策不可委托给

AI、智能技术应服务共同利益、亟需能落实伦理原则的国际机构。 教皇还呼吁在 11 月日内瓦会议上推动禁止致命性自主武器。

中文正文 · AI 翻译

在我看来,在世界著名领导人中,教皇利奥十四世是人工智能方面最清晰的思想家。昨天能见到他真是一次真正的激动人心的经历。

说我非常喜欢他的人工智能通谕《Magnifica Humanita》是轻描淡写:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html。能够昨天亲耳听他讲话,距离只有几英尺,这种经历难以用言语形容。

他发表了一篇精彩且简短的演讲,你可以在这里找到:https://www.vatican.va/content/leo-xiv/en/speeches/2026/october/documents/20261030-incontro-pav.html。

他提出的五个核心观点,我完全赞同:

第一,人工智能的未来并非预定的。作为由人类开发的技术,其未来取决于我们所做的选择。因此,我们有责任引导、改变,并在必要时拒绝其应用(参见第97、104条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html )。决定性的问题不只是“人工智能能做什么?”,而是“人工智能应服务于何种目的?”那些仅将其发展视为一场竞赛的人,风险在于只关注终点,而忘记那些被落下的人。一个服务于人的可靠系统,其价值高于一个异常强大但后果无法充分预见或控制的系统。

第二,机器是工具,而不是人。“所谓的人工智能不会经历体验,不拥有身体,不会感受喜悦或痛苦,不会通过关系成熟,也不会从内心理解爱、工作、友谊或责任的意义”(第99条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html )。如今,一些人提议赋予这些系统权利,甚至法律人格。这种做法可能掩盖人类的责任,并让那些受到伤害的人面对一个无名的实体。

第三,某些决策绝不可被委托。当一个人被列入目标名单或被输入边境控制数据库时,他或她有可能被简化为一个单纯的数据点。影响人类生命、自由和武力使用的决策必须始终受到有效、知情且负责任的人类监督(参见第198-200条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html)。因此,人工智能必须被“解除武装”(第110条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html),我鼓励各国代表在十一月于日内瓦的会议上采取切实措施,禁止致命性自主武器。

第四,智能技术必须致力于共同利益。“正义要求能够获得创新的成果,包括护理、知识、工具和机会”(第161条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html)。实际上,它们绝不可成为自我目的或仅服务于少数特权群体的利益。相反,其发展应促进全球社区各层面的团结与参与,确保进步的成果公平共享,尤其是与最需要帮助的人共享(参见第71–72条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html)。

最后,我想强调一个挑战,这可能是最紧迫的。我们已经知道许多应该指导人工智能发展的伦理原则。我们当前需要的是能够将这些原则付诸实践的机构,尤其是能够保障全球共同利益的有效国际机构(参见第64条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html)。这需要共同标准、独立监督和明确问责机制,以便对人工智能发展和使用相关的决策进行审查,在必要时提出质疑,并为造成的任何伤害提供适当的补救措施(参见第105、107条:https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html)。

(数字指的是通谕。)

作为附加内容,这里是我自己(即兴)关于人工智能的技术、政治和哲学方面的发言记录,这是当天早些时候在一次小型私密会议上,在Max Tegmark、Stuart Russell和Valérie Pisano发言之后,我的评论,会议就在我们小组与教皇会面之前:

今天这里有很多有趣的想法,值得回应。

我首先要说,能够来到这里并出席这样一群杰出人士的听众是一种巨大的荣誉。

对于那些不认识我的人,我首先是一名认知科学家。我在麻省理工学院跟随Steven Pinker学习,我的博士论文涉及多方面内容,研究人类如何学习世界、儿童如何学习语言,同时也涉及神经网络——这些神经网络是现在流行网络的前身。

在我对该领域有所评论的范围内,一直是通过比较人类智能的运作方式、自然智能的运作方式。我也研究过动物,比较自然智能与机器智能的运作方式。我认为这让我对事物的进展有了稍微不同的视角。

我还曾作为一名创业者工作过一段时间。我创办了一家人工智能公司,并将其出售给了Uber,所以我既见过行业方面,也见过学术方面的情况。这就是我的部分背景来源。

因此,例如,我同意Max [Tegmark]关于委员会可能提出的许多建议。而我最深切认同的可能是Stuart [Russell]的观点,即当前的道路不可持续,行业越早认识到这一点越好。我也同意Valérie [Pisano]的看法,即我们误将某些事情视为必然,讨论中太多人理所当然地认为我们只有一条路,而不去考虑可能有不同的路径。

我同意我们依然有自主权,需要以不同的方式看待事物。因此,作为一名认知科学家,我从对人工智能本身的定义这一基本陈述出发,开始以不同的视角看待问题。作为认知科学家,我关注智能的本质。

我们有时会讨论智力的模块化,即智力由许多不同的组成部分构成。所以,有语言智力和数学智力。还有运动智力,即我们如何在世界中移动身体,等等。

所以我想指出的一个分歧实际上是与斯图尔特说过的某些话有关,我认为那部分是真的。斯图尔特说我们是人类,我们会预测,实际上我们确实会预测。认知科学文献有大量证据表明我们会进行预测,包括对下一个词的预测。

但认知科学也有大量证据表明我们会做许多其他事情。因此,除了进行预测之外,我们还会进行推理、情感判断等等。正如一句美妙的引用所说,心智“不是一个整体,而是许多部分”。

我认为这个领域所犯的根本错误是,假设捕捉智力的一个组成部分——极其出色的预测能力——就足以捕捉全部智力。我们现在虽然以前并非如此,已经有了一个完整的产业围绕这一点展开,正如斯图尔特——共同撰写了最著名的人工智能教材的人——非常清楚,我们过去实际上有许多不同的人工智能方法,而该领域最终选择了一种:大型语言模型,这是我们拥有的最好的预测机器。它这一点做得非常好,但对其他一些事情做得不够好。

我认为它的推理能力仍然很差。而且也许最危险、也最能概括我们在这个讨论中所有人观点的一点是,目前的人工智能不太擅长遵循指令。这可能令人惊讶,但事实证明,这些预测机器的工作方式是遵循相关性而不是因果关系。

我会说它们对世界的语义理解,也就是它们对世界含义的理解,相当肤浅。因此,它们经常会匹配我们希望它们匹配的内容,但并没有保证,这在许多不同方面都可见。例如,你可以告诉一个大型语言模型不要编造任何引用。

所以它们在预测方面真的很出色。但它们在基础指令方面不太擅长,比如,只是在你已经拥有的参考表中找到某个东西。所以,我们被困在这条无法维持的道路上,因为我们正在构建的机器实际上技能不均衡。

它们在预测接下来会发生什么方面非常擅长,但在推理方面不那么擅长,不太擅长坚持事实,也不太擅长遵循指令。所以,我喜欢Yoshua [Bengio] 正在尝试做的事情,尽管我可能在一些技术细节上持不同意见,是因为他正在尝试构建一个设计上安全、能够按设计遵循指令的系统。我认为,除非像他这样的人成功,否则我们确实陷入了非常严重的麻烦。

也许他会成功,也许别人会采取[不同的]方法。但我认为这里有一点被忽视了,但在[Valérie的演讲]中可能没有被忽视,那就是我们需要不同的研究方法。我理解Stuart声称我们在研究上路线不佳的观点。

他在这点上是对的。所以我理解想要采取政策方法的紧迫性,我认为我们实际上需要两者兼备。我们需要政策方法,我接下来会给你一个例子。

我们需要政策方法,但我们也仍然需要那些研究方法。事实上,我认为如果我们没有新的研究方法,比如Joshua正在尝试的方法,我认为我们需要许多这样的方式,那么我们就陷入了严重麻烦,仅靠政策无法解决问题。政策可以帮助推动我们采用这些方法。

这是一个例子,我认为我们目前陷入困境并且需要深思的地方。并非所有当前的人工智能都是危险的。许多当前的人工智能并不危险。

我今天大部分路程都是用GPS导航系统到达这里的,最后一点稍微手动调整了一下。GPS导航系统不会入侵澳大利亚政府网站。它们不会入侵像Hugging Face之类的地方。

它们有一点互联网访问权限,但受到限制。GPS导航系统是一种智能形式。它们利用我们称之为世界模型的东西,为从A点到B点找到最优路线,实际上它们有一个真实的世界模型。

它们并不是那么危险。有很多形式的人工智能并不是很危险。没有人曾指出过AlphaFold会带来危险,它只是根据核苷酸的描述来预测蛋白质结构。

没有人见过它入侵Hugging Face或其他任何东西,对吧?它只处理特定的问题、特定的数据库,并以特定的方式工作。它不会造成伤害。

但现在我们有一组人们统称为“代理”的系统。实际上,它们是一种特殊形式的代理。目前导致问题的代理,或者说那些开放式的代理,可以在互联网上做任何事情。

如果你有一个只能在互联网上做一件事的代理,GPS系统其实可以查询交通网站并给你一些信息。如果你有这些开放式的东西,那么就会遇到麻烦。嗯,会有多麻烦呢?

嗯,Hugging Face事件真的很糟糕,尽管你可以看出来,OpenAI在很多方面都失败了,这很有趣。但事实证明,已经发生过大约10,000起类似的事件。我们看到法国的制冷系统也被攻击过。

现在日本各种网络攻击事件层出不穷。事件的数量要高得多,我想,比如在过去一个月,甚至可能在前一年,数量可能比以往任何时候都多。所以目前,我们面对的有点像实验或彩排。

这个实验是,我们该如何应对?我们现在拥有的人工智能技术,我想大家都可以同意,它实际上是不安全的。它很可能在世界上造成大量伤害。

也许已经造成了一些伤害,OpenAI给出了一条令人害怕的声明,他们说大多数这些事件相对无害或类似的说法。大部分。我在想他们没有告诉我们的那些事件,也许会更有害一些。

所以我们显然需要监管。这是一个我们可能真的需要进行产品召回的时候,无论是政府强制的,还是公司自愿的。比如,如果公司在没有将这些代理下架并修复之前,我们不能再认真对待他们关于安全性的声明。

这些就像,你知道的,有爆炸油箱的福特品托车。他们知道,或者他们本应该知道。我的意思是,我写了很多文章说,一旦你用缺少某些功能的大型语言预测机器构建代理,你将会遇到一团糟。

他们一定知道这一点。我写过很多次,显而易见的是,如果你使用一个不可靠的系统,并给它互联网访问权限,并允许它获取凭证,那么坏事可能会发生。所以,你知道,这就像福特品托车一样。

他们做出了经济决定,认为这里赚钱最多的方式是卖代理,因为它们消耗更多的代币。所以它们赚更多的钱,尽管媒体对这些公司有赞扬性的报道,这些公司实际上都有财务问题。他们花的钱远超过收入。

所以他们真的需要这些代理。因此我们处在一个显而易见的正确做法的位置。我认为,是将它们下架,你可以自愿这么做,也可以让政府强制,或者两者结合。

斯图尔特总是强调,我们对其他行业都有监管。这是我们应该监管的领域,是的。这就像在十字路口。

要么我们说不,把这些代理下架直到修好它们,要么我们就失去所有的道德权威。因此我认为这是开发人工智能的关键时刻。我们必须立即做出决定。

斯图尔特有一个非常好的概念。我不知道他是否发明了它,但我与他联系的是,红线。这是一条红线。

你不能让这些代理无限制地访问互联网,而我们因为允许这种情况继续发生而受苦。所以这是我们决定分岔路口的时刻。我们是走经济学的路线吗?

我们希望这些公司能够存活下来,因为这对经济有好处。你知道,这就像是某些我不会点名的政府所做的决定,或者说我们是否想把它作为测试案例,看看我们如何实现人工智能安全。当我们看到明显不安全的事情时,我们就会采取措施。再用一分钟时间说一件事,除此之外,我知道关于人工智能是否有意识存在一些争议。

我认为这源于因果关系和相关性的混淆。事实证明,如果你有一个下一个词预测器,无论其工作方式如何,无论是大型语言模型,还是像多维尺度等旧技术,你都会发现很多词之间存在相关性。

因此,你可能会推断如果它们在系统中相关,那就意味着在现实世界中也有意义,但实际上并不是。这里是我最喜欢的例子:Facebook 曾经有一个机器人,有人问它:“我应该把我的孩子送到纽约市的哪所学校?”这是一 个非常常见的问题。一些你可能得到的答案是,比如斯图依文桑、布朗克斯科学学校等等。

AI 系统回答说:“嗯,我把孩子送到斯图依文桑,他们很喜欢那里。”然而,AI 系统根本没有孩子。

你可以做类似于猴脑中单神经元分析的操作,然后你可以说,这是 AI 内部的一个状态,对应它说“我的孩子去斯图依文桑”。但这只是毫无意义的。这只是一些词在不同语境中的相关性而已。

这并不意味着它实际上有孩子去斯图依文桑。当它说感到疼痛时,也并不意味着它真的感到疼痛。关于《Magnifica》我最喜欢的部分,我在我的文章(针对私人活动)里写过,就是其中说,要有意识,你必须有经验。而这些系统根本没有。把意识归因于它们是错误的。

Gary Marcus 通过 Domus Communis 基金会,是教宗利奥十四关于人工智能通谕《Magnifica Humanitas》的全球大使。

分享:https://garymarcus.substack.com/p/report-from-the-vatican?utm_source=substack&utm_medium=email&utm_content=share&action=share

从没想过我会和教皇并肩作战而死

这是我在Substack上关于这些问题读到的最积极的一篇文章。

我意识到的是,人工智能以一种微妙、暗中的方式侵入个人生活。

情报判断

Aioga 编辑摘要

Gary Marcus记述了10月30日在梵蒂冈与教皇Leo XIV会面,并转述其关于AI未来、机器属性、关键决策、共同利益和国际伦理机构的五点主张;教皇还呼吁11月日内瓦会议推动禁止致命性自主武器。

背景分析

来源称,Leo XIV认为AI未来取决于人类选择,机器是工具而非人,涉及生命、自由和使用武力的决定应保留有效的人类监督;智能技术应服务共同利益,并需要能落实伦理原则的国际机构。

Aioga 观点

Aioga判断:这组主张将AI伦理重点放在责任归属、关键决策中的人类监督、技术收益分配和国际治理执行上,也显示反对把系统能力或法律地位等同于人的立场。

影响与后续

可能影响:相关主张若进入政策讨论,评估AI应用时可能更重视人类监督、共同利益和国际执行机制;但现有材料不足以证明这些主张已形成广泛政策共识或产生实际监管变化。 后续观察:关注11月日内瓦会议是否出现推动禁止致命性自主武器的具体行动,也应留意相关国际机构能否被提出并承担落实AI伦理原则的职责。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: 摘要聚合 · 原始域名: garymarcus.substack.com

来源: Gary Marcus:The Road to AI We Can Trust

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-10-31T15:17:33.000Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

Gary Marcus 记述了 10 月 30 日在梵蒂冈与教皇 Leo XIV 的会面,并转述教皇关于 AI 的五点主张:AI 未来并非注定、机器是工具而非人、关键决策不可委...

Gary Marcus:The Road to AI We Can Trust2026-10-31T15:17:33.000Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。