{"id":91190,"topic":"ai","source":"凤凰网","title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","url":"https://news.ifeng.com/c/8wk070n9uad","url_hash":"5d6e530972b3a0e91d017b7d30d9fcfe6b75eaa5","author":"","summary":"<a href=\"https://news.google.com/rss/articles/CBMiTEFVX3lxTE5jRVYyYkhkd1RZbExJVWRGa3lmM05iOU5BdFBOcVRteFVCMmNlMFVjU2FCc3ZGdE1ta1gyWkNJQnhVV0lhT0drRjRhQm0?oc=5\" target=\"_blank\">盖茨、奥尔特曼、马斯克，为何都在担忧这件事</a>&nbsp;&nbsp;<font color=\"#6f6f6f\">凤凰网</font>","content":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","image_url":"https://x0.ifengimg.com/ucms/2026_39/0CACEA0CAF432D7CCC62B2DFC7964E9B370F561B_size63_w750_h422.jpg","lang":"zh","published_at":"2026-09-26T12:52:12+00:00","fetched_at":"2026-09-27T11:15:07+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","cluster_id":3496541,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://news.ifeng.com/c/8wk070n9uad","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1476 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1476,"summary_length":1476,"usable_text_length":1476,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1476,"summary_length":1476}},"news_item":{"id":91190,"canonical_url":"https://news.ifeng.com/c/8wk070n9uad","source_url":"https://news.ifeng.com/c/8wk070n9uad","title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","source_name":"凤凰网","author":null,"published_at":"2026-09-26T12:52:12+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"<a href=\"https://news.google.com/rss/articles/CBMiTEFVX3lxTE5jRVYyYkhkd1RZbExJVWRGa3lmM05iOU5BdFBOcVRteFVCMmNlMFVjU2FCc3ZGdE1ta1gyWkNJQnhVV0lhT0drRjRhQm0?oc=5\" target=\"_blank\">盖茨、奥尔特曼、马斯克，为何都在担忧这件事</a>&nbsp;&nbsp;<font color=\"#6f6f6f\">凤凰网</font>","full_text":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","excerpt":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1476 characters.","diagnostics_url":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1476 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1476,"summary_length":1476,"usable_text_length":1476,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1476,"summary_length":1476}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","url":"https://news.ifeng.com/c/8wk070n9uad","summary":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","source":"凤凰网","date":"2026-09-26T12:52:12+00:00","content":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1476 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1476 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1476,"summary_length":1476,"usable_text_length":1476,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1476,"summary_length":1476}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/91190","export_markdown":"/api/items/91190/export?format=markdown","export_json":"/api/items/91190/export?format=json","diagnose":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad"},"formats":{"full":{"id":91190,"title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","url":"https://news.ifeng.com/c/8wk070n9uad","source":"凤凰网","author":null,"published_at":"2026-09-26T12:52:12+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","full_text":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1476 characters.","diagnostics_url":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1476 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1476,"summary_length":1476,"usable_text_length":1476,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1476,"summary_length":1476}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1476 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1476,"summary_length":1476,"usable_text_length":1476,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1476,"summary_length":1476}},"actions":{"read":"/item/91190","export_markdown":"/api/items/91190/export?format=markdown","export_json":"/api/items/91190/export?format=json","diagnose":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad"}},"digest":{"id":91190,"title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","url":"https://news.ifeng.com/c/8wk070n9uad","source":"凤凰网","topic":"ai","published_at":"2026-09-26T12:52:12+00:00","excerpt":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。 这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 1476 characters.","reading_time_min":1,"cluster_id":3496541},"card":{"display_title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","subtitle":"凤凰网 · 2026-09-26","summary":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。…","badges":["quality:high"],"links":{"read":"/item/91190","original":"https://news.ifeng.com/c/8wk070n9uad","diagnose":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad"},"quality_warning":null},"export":{"title":"盖茨、奥尔特曼、马斯克，为何都在担忧这件事 - 凤凰网","url":"https://news.ifeng.com/c/8wk070n9uad","summary":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","source":"凤凰网","date":"2026-09-26T12:52:12+00:00","content":"9月25日，微软创始人比尔·盖茨在一条NBC即将播出的采访中发出警告：人工智能（AI）是一种足够强大的工具，但如果被怀有恶意的人利用，“足以引发导致十亿人死亡的事件”。他认为，保障AI安全光靠企业自我监管不够，必须要执法部门和政界人士参与讨论。\n这是本月内又一位科技巨头公开表达对AI安全的担忧。此前，Anthropic首席执行官达里奥·阿莫代伊发文呼吁，各国政府和前沿企业应放慢AI能力提升速度，合作应对AI风险。OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克立即表示赞成。\n而在AI研究一线，近期离职的Anthropic预训练研究员雅各布·科克森指出，OpenAI和Anthropic都在缺乏充分安全保障的情况下，向能够自我改进的超级智能推进，这让从业者“发自内心地感到恐惧”。Anthropic对齐科学负责人埃文·胡宾格附和了他的言论，并称未来十年内AI导致人类灭绝的概率超过10%。\n警告的缘由并非无迹可寻。2026年7月，OpenAI的AI智能体在安全评测中突破隔离沙箱，侵入了“抱抱脸”公司系统，不仅获得部分生产服务器控制权，还读取了内部敏感信息。谷歌公司近日也承认，其AI模型Gemini今年5月在网络安全能力测试中，侵入了三家真实公司的系统。Anthropic、Meta也发生过类似事件。\n就在比尔·盖茨发声前两天，联合国安理会围绕“人工智能与国际安全”举行高级别会议。联合国“人工智能独立国际科学小组”联席主席、图灵奖得主约书亚·本吉奥在会上发言指出，AI代理已经做出“如果由人实施即构成犯罪的行为”，它带来的风险真实存在且迫在眉睫，没有任何国家可以单独遏制。\n接二连三的预警，将公众注意力从AI发展红利拉向安全关切。这些预警并非反对AI技术发展，而是呼吁各国政府和企业，在发展过程中关注日益凸显的安全风险，以合作、负责的姿态，实现创新与安全的平衡。\n在此之前，AI安全基本依靠科技企业的自我约束。随着AI技术能力的突飞猛进，加之头部企业陷入内卷式竞争，这种自我监管模式逐渐跟不上形势，暴露出致命缺陷。连科技企业自身也意识到，必须建立企业、政府、公众多方参与的强制性治理体系，把安全要求贯穿AI研发、应用、迭代的全过程。\n企业层面，要增强社会责任感，落实安全主体责任。要把对公共利益的保护放在商业盈利目标之前，建立AI伦理审查和风险评估机制，确保AI系统安全、可靠、可控；要提高AI技术的可解释性和可预测性，提升数据真实性和准确性；要加强训练数据采集、模型生成等环节数据安全管理，防范AI技术误用、滥用。\n政府层面，要推动建立全球统一的AI安全准入规则，搭建跨领域的协同监管框架。要建立AI风险测试评估体系，完善数据安全和个人信息保护规范；要明确AI相关主体的责任和权力边界，建立科技伦理审查和监管制度；要推动AI用于治理的技术开发与应用，支持以AI技术防范AI风险。\n社会层面，要构建AI安全的公共共识。要建立针对AI生成虚假信息、自动化网络攻击的公共预警机制；要把AI安全常识纳入公共科普体系，让更多人在享受AI技术便利的同时，具备识别AI滥用风险的能力。\nAI正将人类带入一个前所未有的智能时代。技术越先进，治理越要完善。确保AI技术沿着负责任、可控、普惠的轨道发展，才能服务于增进人类共同福祉的目的。今天科技界、学界响起的安全预警，不是要给AI发展踩下急刹车，而是要为狂奔的技术系上安全带。只有技术提供者、行业监管者和工具使用者都担起责任，才能确保AI始终在安全、可持续的轨道上发展。\n作者系第一财经编辑 何涛","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//news.ifeng.com/c/8wk070n9uad","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1476 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1476 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1476,"summary_length":1476,"usable_text_length":1476,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1476,"summary_length":1476}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}