# 联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn

*Источник: finance.sina.cn*
*Дата: 2026-09-25*
*Язык: zh*

**Кратко:** 联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察
（来源：封面新闻）
封面新闻记者 边雪
人工智能的“主战场”，正在发生变化。
过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。
当地时间9月23日，这个问题被带到了联合国安理会。
记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。
联合国安理会讨论AI安全。
奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。
阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。
从“让AI更强”到“确保AI可控”
今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。
需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。
但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。
9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）
这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。
此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。
OpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。
AI企业为何主动谈“监管”？
从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。
OpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。
这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。
因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”
这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。
AI进入联合国，意味着什么？
AI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。
尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。
技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。
但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。
AI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。
如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。
AI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。
奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。
过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：
当AI越来越强，谁有权决定它应该走多远？

联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察
（来源：封面新闻）
封面新闻记者 边雪
人工智能的“主战场”，正在发生变化。
过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。
当地时间9月23日，这个问题被带到了联合国安理会。
记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。
联合国安理会讨论AI安全。
奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。
阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。
从“让AI更强”到“确保AI可控”
今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。
需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。
但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。
9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）
这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。
此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。
OpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。
AI企业为何主动谈“监管”？
从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。
OpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。
这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。
因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”
这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。
AI进入联合国，意味着什么？
AI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。
尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。
技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。
但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。
AI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。
如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。
AI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。
奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。
过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：
当AI越来越强，谁有权决定它应该走多远？

[Оригинал](https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993)