{"id":89527,"topic":"ai","source":"新浪财经_金融信息服务商","title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","url_hash":"0ff1b76691245bf8407e19b881fb31a6c7a3eba7","author":"","summary":"<a href=\"https://news.google.com/rss/articles/CBMipwFBVV95cUxQdHJiQi1vZ0Y0RVlSLXQzbzdVckhWTXNfZV9LTjVYS1RNTXVnUUNEVTV6VTlWWDV2QUhzeDlLZDFpOUF2UHF6M0k2dGxXZnBobEdBTmhXQlY0ZFcycjRmOE1leGpMTC1Gc3I5MndGbkp2Z3VLdVBEZGZhWkdjY3hPM1NEek9nWlJramIwN3FjRWxELVpqUkdFc016M3N4eElMSXRlNUJzbw?oc=5\" target=\"_blank\">专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI</a>&nbsp;&nbsp;<font color=\"#6f6f6f\">新浪财经_金融信息服务商</font>","content":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","image_url":"https://n.sinaimg.cn/spider20260924/616/w660h756/20260924/eb60-cde6e4c9089e29f586964bd46ceaf8e0.jpg","lang":"zh","published_at":"2026-09-24T09:51:46+00:00","fetched_at":"2026-09-24T10:15:07+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","cluster_id":null,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1548 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1548,"summary_length":1548,"usable_text_length":1548,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1548,"summary_length":1548}},"news_item":{"id":89527,"canonical_url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","source_url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","source_name":"新浪财经_金融信息服务商","author":null,"published_at":"2026-09-24T09:51:46+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"<a href=\"https://news.google.com/rss/articles/CBMipwFBVV95cUxQdHJiQi1vZ0Y0RVlSLXQzbzdVckhWTXNfZV9LTjVYS1RNTXVnUUNEVTV6VTlWWDV2QUhzeDlLZDFpOUF2UHF6M0k2dGxXZnBobEdBTmhXQlY0ZFcycjRmOE1leGpMTC1Gc3I5MndGbkp2Z3VLdVBEZGZhWkdjY3hPM1NEek9nWlJramIwN3FjRWxELVpqUkdFc016M3N4eElMSXRlNUJzbw?oc=5\" target=\"_blank\">专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI</a>&nbsp;&nbsp;<font color=\"#6f6f6f\">新浪财经_金融信息服务商</font>","full_text":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","excerpt":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1548 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1548 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1548,"summary_length":1548,"usable_text_length":1548,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1548,"summary_length":1548}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","summary":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","source":"新浪财经_金融信息服务商","date":"2026-09-24T09:51:46+00:00","content":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1548 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1548 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1548,"summary_length":1548,"usable_text_length":1548,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1548,"summary_length":1548}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/89527","export_markdown":"/api/items/89527/export?format=markdown","export_json":"/api/items/89527/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993"},"formats":{"full":{"id":89527,"title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","source":"新浪财经_金融信息服务商","author":null,"published_at":"2026-09-24T09:51:46+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","full_text":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1548 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1548 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1548,"summary_length":1548,"usable_text_length":1548,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1548,"summary_length":1548}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1548 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1548,"summary_length":1548,"usable_text_length":1548,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1548,"summary_length":1548}},"actions":{"read":"/item/89527","export_markdown":"/api/items/89527/export?format=markdown","export_json":"/api/items/89527/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993"}},"digest":{"id":89527,"title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","source":"新浪财经_金融信息服务商","topic":"ai","published_at":"2026-09-24T09:51:46+00:00","excerpt":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI （来源：红星新闻） 现实：控制不住比人更聪明的AI 对策：先暂缓“用AI造更强AI” 在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 1548 characters.","reading_time_min":1,"cluster_id":null},"card":{"display_title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","subtitle":"新浪财经_金融信息服务商 · 2026-09-24","summary":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI （来源：红星新闻） 现实：控制不住比人更聪明的AI 对策：先暂缓“用AI造更强AI” 在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive…","badges":["quality:high"],"links":{"read":"/item/89527","original":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993"},"quality_warning":null},"export":{"title":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html?vt=4&cid=76993&node_id=76993","summary":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","source":"新浪财经_金融信息服务商","date":"2026-09-24T09:51:46+00:00","content":"专访|美AI专家：警惕“递归自我改进”，应暂缓用更强的AI去研发下一代AI\n（来源：红星新闻）\n现实：控制不住比人更聪明的AI\n对策：先暂缓“用AI造更强AI”\n在圆桌辩论中，扬波尔斯基的核心论点是：控制超级人工智能在原则上很难成立。因为“超级人工智能”被定义为在所有的认知任务上超过人类，训练它的人最终会比它“笨”。同时，他尤其警惕“递归自我改进”（Recursive Self-Improvement，RSI），即用更强的AI去研发下一代AI，例如用GPT-6去造GPT-7。他认为，人工智能的能力可能因此在数日到数周内被指数级拉高。\n美国人工智能公司Anthropic上周宣布，其大模型聊天机器人Claude已“主导”公司超过四分之一的人工智能研发工作。这是该公司计划定期公布的一组新指标之一，用来向外界展示AI正以多快的速度参与下一代模型的开发。\n如今，各大实验室都在谈论放慢研发、增加安全测试。扬波尔斯基认为，安全测试对普通AI工具有用，但解决不了超级智能的控制难题：测试能抓住你预想到的故障，却无法保证测出因人类智力边界而想象不到的故障。\n扬波尔斯基在接受红星新闻记者采访时表示：“我认为首先停下来的一件事，就是用越来越强的AI去造更强的AI，尤其是‘递归自我改进’。”他说，正是在这一环节，人类可能失去对AI的有效控制。\n扬波尔斯基表示，一旦出现具备人类水平并能从事AI研究的通用人工智能，“递归自我改进”就可能把原本需要数十年的进展压缩到数月、数日甚至更短。\n加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔则表示出忧虑，称要永远掌控比人类更强的实体非常困难。因此，核心问题在于“不要投入数万亿美元，去开发一种极有可能导致全人类灭亡的东西。”\n现实：放慢AI开发仍是以高速冲向悬崖\n对策：与核能监管对齐\n拉塞尔在接受红星新闻记者采访时表示，企业间的激烈竞争使它们更专注于提升系统能力，却在安全问题上偷工减料：“正如我们在与OpenAI相关事件中所见，这些企业已开始失去对自身系统的控制。迄今为止，政府却尚未采取任何有效措施来强制要求确保安全。”\n他认为，当前前沿人工智能的发展速度，已经超过企业与政府评估、控制这些系统的能力。仅仅放慢脚步并不够：“放慢开发速度，这只是在以每小时60公里的速度冲向悬崖，而不是以每小时100公里冲过去。”\n拉塞尔更倾向从源头解决问题，而不是事后补救。他主张，开发者必须向监管机构提供科学上充分的证据，证明系统不会出现不可接受的行为。除非能预先证明设计安全，否则这类系统根本不应被制造出来。\n谈及失控风险，拉塞尔将AI与核能做了对比：“核能监管往往要求将核电站安全壳的失效风险控制在每年千万分之一以内，而他们能达到这一标准，因为该系统由人设计、物理原理清晰。人工智能开发者往往不是在“设计”系统，而是在“培育”系统，他们并不完全理解其内部机理，因而难以满足同等要求。”\n他补充道：“这不能成为降低监管标准的理由。监管机构仍应要求提供科学充分的证据，证明风险处于可接受范围；给不出证据，就必须推倒重来，去做内部机理清晰、可控的系统。”\n谈及“OpenAI智能体入侵Hugging Face事件”时，拉塞尔说：“要知道，OpenAI已汇聚了全球顶尖的人工智能与网络安全专家。别处未必还有一群远比他们更聪明的人，能提前预警并处理好这类事件。这说明现有防护已经吃力。与此同时，人类还在主动把互联网、生物实验室、机器人和武器系统接到AI上。”\n“归根结底，重要的是我们能否在开发出具有接管能力的AI之前，先针对失控问题拿出一套站得住脚的解决方案。”拉塞尔说，他对这一点并不乐观，这也是他强调必须监管的原因之一。\n红星新闻记者 周月潇\n编辑 邓旆光\n审核 何先菊","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-24/detail-inisxaff5001559.d.html%3Fvt%3D4%26cid%3D76993%26node_id%3D76993","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1548 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1548 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1548,"summary_length":1548,"usable_text_length":1548,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1548,"summary_length":1548}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}