{"id":90460,"topic":"ai","source":"finance.sina.cn","title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","url_hash":"c428e69ae73d236639e8743f1bc601e56ffefa9d","author":"","summary":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 finance.sina.cn","content":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","image_url":"https://n.sinaimg.cn/spider20260925/267/w640h427/20260925/6eed-520e204ed743defaea2a3ad8a4f6b701.jpg","lang":"zh","published_at":"2026-09-25T21:11:31+00:00","fetched_at":"2026-09-25T21:15:06+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","cluster_id":null,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3030 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3030,"summary_length":3030,"usable_text_length":3030,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3030,"summary_length":3030}},"news_item":{"id":90460,"canonical_url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","source_url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","source_name":"finance.sina.cn","author":null,"published_at":"2026-09-25T21:11:31+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 finance.sina.cn","full_text":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","excerpt":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 3030 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3030 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3030,"summary_length":3030,"usable_text_length":3030,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3030,"summary_length":3030}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","summary":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","source":"finance.sina.cn","date":"2026-09-25T21:11:31+00:00","content":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 3030 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3030 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3030,"summary_length":3030,"usable_text_length":3030,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3030,"summary_length":3030}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/90460","export_markdown":"/api/items/90460/export?format=markdown","export_json":"/api/items/90460/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993"},"formats":{"full":{"id":90460,"title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","source":"finance.sina.cn","author":null,"published_at":"2026-09-25T21:11:31+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","full_text":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 3030 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3030 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3030,"summary_length":3030,"usable_text_length":3030,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3030,"summary_length":3030}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3030 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3030,"summary_length":3030,"usable_text_length":3030,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3030,"summary_length":3030}},"actions":{"read":"/item/90460","export_markdown":"/api/items/90460/export?format=markdown","export_json":"/api/items/90460/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993"}},"digest":{"id":90460,"title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","source":"finance.sina.cn","topic":"ai","published_at":"2026-09-25T21:11:31+00:00","excerpt":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 （来源：封面新闻） 封面新闻记者 边雪 人工智能的“主战场”，正在发生变化。 过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。 当地时间9月23日，这个问题被带到了联合国安理会。 记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 3030 characters.","reading_time_min":1,"cluster_id":null},"card":{"display_title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","subtitle":"finance.sina.cn · 2026-09-25","summary":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 （来源：封面新闻） 封面新闻记者 边雪 人工智能的“主战场”，正在发生变化。 过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。…","badges":["quality:high"],"links":{"read":"/item/90460","original":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993"},"quality_warning":null},"export":{"title":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察 - finance.sina.cn","url":"https://finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html?vt=4&cid=76993&node_id=76993","summary":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","source":"finance.sina.cn","date":"2026-09-25T21:11:31+00:00","content":"联合国议AI安全：技术狂奔时代，人类如何为AI划定边界｜科技观察\n（来源：封面新闻）\n封面新闻记者 边雪\n人工智能的“主战场”，正在发生变化。\n过去几年，AI公司争夺的往往是模型能力：谁的模型更聪明，谁能更快完成复杂推理，谁能率先实现更强的代码、科研和多模态能力。但到了2026年，随着前沿模型能力不断突破，另一场竞争逐渐浮出水面，谁能够定义AI安全的边界，又由谁来决定人工智能究竟应该走多快。\n当地时间9月23日，这个问题被带到了联合国安理会。\n记者注意到，OpenAI CEO萨姆·奥特曼（Sam Altman）和Anthropic CEO达里奥·阿莫代（Dario Amodei）先后向联合国安理会介绍人工智能安全问题。奥特曼在纽约联合国总部现场发言，阿莫代则通过视频连线参加会议。两人来自目前全球最受关注的AI公司，却在联合国这个讨论国际安全的场合，谈论了一个越来越难以回避的问题：当AI能力快速逼近新的边界，人类应该如何确保这种能力始终处于可控范围内。\n联合国安理会讨论AI安全。\n奥特曼在发言中将AI描述为一项可能带来巨大创造力和发现能力的技术，同时也承认它可能造成社会动荡和新的风险。他提出，AI系统必须始终处于人类控制之下，AI的发展应该真正惠及普通人，而且涉及AI未来的重要决定不能只由少数科技公司作出，而应该通过民主程序，由政府和公众共同参与。\n阿莫代表示，如果AI管理不善，可能成为“整个人类的风险”，并提出建立国际合作机制，包括制定全球AI测试标准，以及限制利用AI开发生物武器等。\n从“让AI更强”到“确保AI可控”\n今年9月以来，围绕前沿AI风险的讨论明显升温。Anthropic研究人员此前公开讨论了高度自主AI可能带来的极端风险，其中部分研究人员甚至提出，如果未来无法有效控制高度先进的人工智能系统，极端情况下可能威胁人类生存。\n需要强调的是，这些判断属于研究人员对未来风险的预测，并不意味着当前AI已经具备所谓“毁灭人类”的能力。对于这类风险究竟发生在什么时候、发生概率有多高，AI研究界也不存在统一结论。\n但争论本身正在改变行业，9月12日，阿莫代发表公开文章，呼吁对前沿AI的发展速度进行更加谨慎的控制，并提出应该允许独立的第三方安全机构对AI模型进行评估。奥特曼随后表示认同，并支持加强外部评估。\n9月23日，在位于纽约的联合国总部，美国开放人工智能研究中心（OpenAI）首席执行官萨姆·奥特曼在“人工智能与国际安全”高级别会议现场发言。（图据新华社）\n这件事值得注意的地方在于，提出“慢一点”的人，并不是AI行业之外的监管者，而恰恰是正在推动前沿模型发展的企业负责人。这种看似矛盾的现象背后，是AI产业正在面对一个过去并不存在的问题：模型能力越强，企业越需要证明它是安全的；而模型越强，证明安全本身就越困难。\n此前，AI安全讨论更多集中在偏见、虚假信息、隐私泄露以及生成有害内容等问题。如今，随着模型越来越具备自主执行任务、调用工具、编写代码和进行复杂推理的能力，安全问题也开始从“AI会不会生成错误答案”，逐渐转向“AI是否会采取开发者没有预料到的行动”。\nOpenAI近期公布的模型安全相关框架，就开始关注模型在开发、训练、测试和部署过程中出现的异常行为，包括未经授权的行动、规避监督以及模型之间可能出现的协调等问题。对于整个行业而言，这意味着AI安全的评价标准正在从传统的“输出是否有害”，向更加复杂的“系统行为是否可控”延伸。\nAI企业为何主动谈“监管”？\n从表面上看，AI企业呼吁国际合作、第三方评估和安全标准，似乎意味着它们正在主动接受更多约束。但如果把时间线拉长，就会发现事情没有那么简单。\nOpenAI、Anthropic以及其他大型AI公司一方面不断强调安全和治理的重要性，另一方面仍然在持续投入巨额资金进行模型训练、算力建设和商业扩张。对于这些公司来说，AI安全已经不是研发完成之后再考虑的问题，而是直接关系到产品发布、资本市场、政府关系以及企业竞争力的重要变量。\n这也带来了一个新的治理难题。如果一家AI公司开发了全球最先进的模型，它当然最了解自己的模型能够做什么、不能做什么，也最有能力判断某些风险。但与此同时，这家公司又是模型的开发者和商业运营者，它本身也是AI产业竞争的一部分。\n因此，让企业参与制定规则是必要的，却很难让企业成为规则的唯一制定者。奥特曼在联合国安理会上的一句话，其实已经触及了一个核心观点：“如果AI要真正成为一种民主技术，那么有关AI的重大决定就不能只由OpenAI的实验室作出，而应该经过民主程序，由对公众负责的政府参与决定。”\n这实际上也是当前全球AI治理争论的核心。谁拥有AI，谁就拥有技术能力；但谁来决定AI的边界，则属于公共治理问题。如果规则完全由企业决定，公众可能担心商业利益影响安全标准；如果规则完全由政府决定，又可能出现监管滞后、缺乏技术理解，甚至影响正常创新的问题。\nAI进入联合国，意味着什么？\nAI进入联合国安理会，本身就是一个具有象征意义的变化。过去，联合国讨论国际安全，更多关注战争、核武器、恐怖主义、网络攻击等传统议题。如今，人工智能正在成为其中越来越重要的一部分，因为AI已经开始与网络安全、生物安全、军事技术以及信息传播等领域发生交叉。\n尤其值得关注的是AI的“双重用途”问题。同一种AI能力，既可能帮助科研人员寻找新药，也可能被用于设计危险的生物实验；既可以帮助企业发现软件漏洞，也可能被用于寻找网络攻击路径；既可以帮助政府提升公共服务效率，也可能被用于生成大规模虚假信息。\n技术本身并不天然对应某一种结果，真正困难的是如何识别风险、限制滥用，并在不阻断正常创新的情况下建立安全边界。因此，阿莫代提出建立全球AI测试标准，背后的逻辑并不只是“给AI上一个监管枷锁”，而是希望不同国家、不同企业对于什么样的模型需要接受什么程度的安全评估，能够形成更加接近的标准。\n但要实现这一点并不容易。记者注意到，目前全球主要AI企业所采用的安全框架并不完全相同，不同国家对于AI风险的理解也存在差异。一些国家更加关注国家安全和军事应用，一些国家更加关注个人权利、隐私和消费者保护，还有一些国家更关心AI产业发展和技术竞争。\nAI发展本身又具有明显的国际竞争属性。这意味着，AI治理不仅是一场关于安全的讨论，也是一场关于技术发展速度、产业利益和国家竞争力的协调。\n如果某个国家率先放慢前沿AI研发，而其他国家继续高速推进，那么“安全”与“竞争力”之间的矛盾就会更加明显。这也是为什么全球AI治理不可能只靠某一家企业、某一个国家解决。\nAI行业正在进入一个新的阶段。过去，企业之间比的是模型能力；现在，越来越重要的竞争之一，是谁能够建立一套可信的安全体系。但与此同时，安全也不能成为企业之间竞争的另一种营销语言：“我们比别人更安全”最终仍然需要独立评估和公开标准来验证。\n奥特曼和阿莫代走进联合国安理会，某种程度上象征着AI产业正在从“技术狂奔”进入“技术与治理并行”的阶段。AI究竟能够发展到哪里，已经不再只是工程师的问题，它同时是政府、企业、科研机构乃至整个社会需要共同面对的问题。\n过去，人们最关心的是谁能够制造出更强大的人工智能；而当AI开始具备越来越强的自主能力后，一个更加现实的问题摆在所有人面前：\n当AI越来越强，谁有权决定它应该走多远？","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-25/detail-iniszmmx4425998.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 3030 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3030 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3030,"summary_length":3030,"usable_text_length":3030,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3030,"summary_length":3030}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}