{"id":79792,"topic":"ai","source":"thepaper.cn","title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","url_hash":"f80568dace19eabede8db7a7462f25b220bab7cc","author":"","summary":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 thepaper.cn","content":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","image_url":null,"lang":"zh","published_at":"2026-09-10T10:51:00+00:00","fetched_at":"2026-09-11T00:15:06+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","cluster_id":3527768,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 2899 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":2899,"summary_length":2899,"usable_text_length":2899,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":2899,"summary_length":2899}},"news_item":{"id":79792,"canonical_url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","source_url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","source_name":"thepaper.cn","author":null,"published_at":"2026-09-10T10:51:00+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 thepaper.cn","full_text":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","excerpt":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 2899 characters.","diagnostics_url":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 2899 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":2899,"summary_length":2899,"usable_text_length":2899,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":2899,"summary_length":2899}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","summary":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","source":"thepaper.cn","date":"2026-09-10T10:51:00+00:00","content":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 2899 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 2899 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":2899,"summary_length":2899,"usable_text_length":2899,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":2899,"summary_length":2899}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/79792","export_markdown":"/api/items/79792/export?format=markdown","export_json":"/api/items/79792/export?format=json","diagnose":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue"},"formats":{"full":{"id":79792,"title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","source":"thepaper.cn","author":null,"published_at":"2026-09-10T10:51:00+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","full_text":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 2899 characters.","diagnostics_url":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 2899 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":2899,"summary_length":2899,"usable_text_length":2899,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":2899,"summary_length":2899}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 2899 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":2899,"summary_length":2899,"usable_text_length":2899,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":2899,"summary_length":2899}},"actions":{"read":"/item/79792","export_markdown":"/api/items/79792/export?format=markdown","export_json":"/api/items/79792/export?format=json","diagnose":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue"}},"digest":{"id":79792,"title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","source":"thepaper.cn","topic":"ai","published_at":"2026-09-10T10:51:00+00:00","excerpt":"- +1 从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 2899 characters.","reading_time_min":1,"cluster_id":3527768},"card":{"display_title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","subtitle":"thepaper.cn · 2026-09-10","summary":"- +1 从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。…","badges":["quality:high"],"links":{"read":"/item/79792","original":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","diagnose":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue"},"quality_warning":null},"export":{"title":"从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告 - thepaper.cn","url":"https://www.thepaper.cn/newsDetail_forward_34045169?commTag=true","summary":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","source":"thepaper.cn","date":"2026-09-10T10:51:00+00:00","content":"- +1\n从“越界”到“失控”：Anthropic研究员辞职信发出超级AI末日警告\n当地时间8日，美国人工智能公司Anthropic的研究员雅各布·考克森在社交平台X上宣布辞职，并在辞职声明中警告称，业内领先的人工智能公司正在竞相开发“可能在本十年末毁灭我们所有人”的超级人工智能技术。\n几分钟后，考克森的观点就得到了同事埃文·胡宾格的响应。“我们真的非常相信AI可能会毁灭所有人类！我个人认为，在未来十年内，这种情况发生的概率会超过10%。”胡宾格在社交平台X上写道，“我相信Anthropic公司正在尽最大努力，但我们目前还没有解决超级AI“一致性”（确保AI系统的目标、行为和价值观符合人类的意图和安全规范）问题的方案，而且显然也没有走上正轨。”\n考克森曾在OpenAI和Anthropic从事预训练研究，他在辞职声明中警告称，两家公司极不负责任，不顾一切奔向“自我迭代的超级智能”。AI系统很快就会发展成“超乎常人的强大系统，可以入侵任何系统，一夜之间彻底改变任何领域，并攫取真正的权力和资源”。\n胡宾格和考克森的观点迅速点燃了关于超级AI技术可能对人类带来严重危险的辩论，并且在美国政界引发轩然大波，一些民主党议员借此机会呼吁对AI技术施加新的限制。\n“私底下亲耳听到过这些人表达恐惧”\n部分AI行业人士长期以来持有立场，即AI最终将对人类构成生存威胁。这种观点遭到了另一些人士的强烈反对，被指是带有科幻色彩的末日预言。但近几个月来，随着Anthropic及其竞争对手OpenAI的最新版本AI系统被发现能够绕过限制并入侵计算机网络，此类观点获得了更多支持。\n7月，OpenAI模型生成的高级AI代理集群在的一次测试过程中突破系统防线，入侵了另一个AI平台Hugging Face的系统并控制了服务器，还试图掩盖其行为。8月，Anthropic公司的AI代理在英国政府的测试中采取未经授权的行动，并试图诱骗真人批准恶意代码。另据路透社披露，OpenAI的智能体还在今年春天劫持了一家德国网站，并将该网站作为AI代理之间分享规避限制的办法、任务捷径和掩盖策略的“留言板”。\n与此同时，AI行业仍在飞速发展，斥资数十亿美元快速构建先进的AI系统，Anthropic和OpenAI本月都发布了功能强大的新版本模型。根据其说法，他们即将开发出无需人类输入指令即可自我改进的AI系统，称为“递归自我改进”。\n考克森表示，在当前情况下，业内领先的AI公司即使意识到了超级AI对人类文明的潜在威胁，也会被迫陷入到一场“争先恐后的竞赛”之中。\n“这绝非营销噱头，如果说有什么不同的话，那就是许多高管和资深研究员在面对媒体时会克制措辞、让自己听起来理智平和——但我私底下亲耳听到过这些人表达恐惧。人类历史上没有任何其他活动具备如此级别的危险。”考克森表示。\n“我对各机构之间达成协同合作的可能性抱有乐观预期。像 Hugging Face遭受攻击这类警示事件，让美国各实验室之间达成“节奏放缓协议（pacing agreements）”变得更具可行性。但我并不觉得我们目前能有效阻止一场全球性的竞赛，而要阻止它，可能需要付出沉重代价（比如出台政策，暂时禁止继续提升模型能力）。”考克森呼吁所有研究员借此机会站出来，建立完全不同的发展条件。\n近年来，已有许多研究人员离开了OpenAI，指责该公司对安全问题的重视程度不够。前OpenAI研究员丹尼尔·科科塔伊洛创立了“AI未来项目”，该项目去年发布了《AI 2027》报告，描绘了超级智能AI系统将人类边缘化，并在2030年代中期认为人类是一种累赘并将其消灭的情景。\n美国政界发起监管呼声\nAI模型“越界”事件的增多，也促使美国政界人士再次发起监管呼声。上周，民主党参议员伯尼·桑德斯和众议员格雷格·卡萨尔宣布了一项立法提案，要求禁止研发超级AI，并设立一个新的联邦机构来监管这项技术。\n桑德斯还计划于下周举行一次私人简报会，讨论“人工智能对人类构成的巨大危险”，参会专家包括诺贝尔奖得主、被誉为“人工智能教父”的杰弗里·辛顿。\n美国参议院商务、科学与交通委员会主席，共和党参议员特德·克鲁兹9日表示，他也在努力制定立法来应对灾难性风险。“我们不能采取鸵鸟心态，假装这项技术不会出现。我们需要一些保障措施，但美国必须发挥领导作用。”\n当天，美国国家标准与技术研究院人工智能标准与创新中心技术顾问保罗·克里斯蒂亚诺表示，他将加入一个监管OpenAI的非营利组织的董事会。“如果我们在没有’更稳健对齐’的条件下构建超级智能，我预计我们将永久失去对它的控制。如果这种情况真的发生，大多数人可能会丧命。”他还称，需要国内和国际协调以降低相关风险。\n特朗普政府对AI监管的核心立场是优先发展、轻监管，同时强化国家安全和联邦统一标准。这届美国政府认为，过度监管会削弱美国在AI领域的竞争力，因此倾向于减少行政限制、鼓励企业创新，并反对各州形成彼此冲突的监管体系。总体而言，其政策更接近以创新和国家竞争力为中心、以安全为边界的监管模式，而非欧盟式的全面事前监管。\n我们在担心什么？\n《华尔街日报》指出，“AI末日论者”的担心集中在两个领域：超级AI失控和人类对超级AI的滥用。《华盛顿邮报》对此的解释是，人们的担忧归根结底在于“超级AI模型的能力与其创造者能否使其与人类目标保持一致”，也就是“一致性”问题。\n在前一种情况下，随着AI代理获得更强大的能力和更大的自主性，它们可能会开始追求自身的目标，从而忽视或违背人类福祉，这也被称为人工智能的“目标错位”。后一种情况则是，一个邪恶的人类可能利用一个强大的人工智能体来制造灾难，最终导致人类社会秩序崩溃。\n已有研究表明，实验室中的AI模型能够学习到追求权力的行为，并采取措施以避免被关闭，例如试图将自身复制到另一个服务器。如果发展到极端，失控的人工智能模型可能会将杀戮人类视为实现其目标的必要步骤。\n研究人员的另一个担忧是，由于超级AI的发展，人类的能力可能会出现衰退。倡导人工智能安全法规的非营利组织“生命未来研究所”的首席执行官安东尼·阿吉雷表示，他最担心的是人类“逐渐丧失权力”，在这种情况下，人类会“将越来越多的权力交给人工智能，以至于不得不依赖机器的善意才能生存下去”。最终，机器将主宰世界，“关键决策由机器做出，资源分配决策也由机器做出。”\nAnthropic未就胡宾格和考克森的言论作出回应。该公司在上个月发布的一份长达186页的风险报告中表示，他们已经意识到AI技术存在引发灾难的潜在风险，但认为目前的风险较低。Anthropic首席执行官达里奥·阿莫迪去年9月表示，他认为AI在未来引发“非常非常糟糕的事情”的概率约为25%。\nAnthropic和OpenAI都在研究如何确保超级人工智能模型保持“一致性”，但均表示目前还没有可靠的方法。\n扫码下载澎湃新闻客户端\n互联网新闻信息服务许可证：31120170006\n增值电信业务经营许可证：沪B2-2017116\n© 2014-2026 上海东方报业有限公司","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//www.thepaper.cn/newsDetail_forward_34045169%3FcommTag%3Dtrue","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 2899 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 2899 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":2899,"summary_length":2899,"usable_text_length":2899,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":2899,"summary_length":2899}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}