{"id":85745,"topic":"ai","source":"新浪财经_金融信息服务商","title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","url_hash":"d91e488fcfcfb9bc95cec9c5456f364cd44663cc","author":"","summary":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 新浪财经_金融信息服务商","content":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","image_url":"https://n.sinaimg.cn/finance/transform/116/w550h366/20260918/726f-73cccb4bbe26b14765f83d7825d7247c.png","lang":"zh","published_at":"2026-09-19T09:00:00+00:00","fetched_at":"2026-09-19T09:15:07+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","cluster_id":3494803,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1624 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1624,"summary_length":1624,"usable_text_length":1624,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1624,"summary_length":1624}},"news_item":{"id":85745,"canonical_url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","source_url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","source_name":"新浪财经_金融信息服务商","author":null,"published_at":"2026-09-19T09:00:00+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 新浪财经_金融信息服务商","full_text":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","excerpt":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1624 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1624 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1624,"summary_length":1624,"usable_text_length":1624,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1624,"summary_length":1624}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","summary":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","source":"新浪财经_金融信息服务商","date":"2026-09-19T09:00:00+00:00","content":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1624 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1624 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1624,"summary_length":1624,"usable_text_length":1624,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1624,"summary_length":1624}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/85745","export_markdown":"/api/items/85745/export?format=markdown","export_json":"/api/items/85745/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4"},"formats":{"full":{"id":85745,"title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","source":"新浪财经_金融信息服务商","author":null,"published_at":"2026-09-19T09:00:00+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","full_text":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1624 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1624 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1624,"summary_length":1624,"usable_text_length":1624,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1624,"summary_length":1624}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1624 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1624,"summary_length":1624,"usable_text_length":1624,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1624,"summary_length":1624}},"actions":{"read":"/item/85745","export_markdown":"/api/items/85745/export?format=markdown","export_json":"/api/items/85745/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4"}},"digest":{"id":85745,"title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","source":"新浪财经_金融信息服务商","topic":"ai","published_at":"2026-09-19T09:00:00+00:00","excerpt":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 作者：丹尼尔・豪利 周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。 该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。 本周早些时候，Anthropic…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 1624 characters.","reading_time_min":1,"cluster_id":3494803},"card":{"display_title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","subtitle":"新浪财经_金融信息服务商 · 2026-09-19","summary":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 作者：丹尼尔・豪利 周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。 该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。 此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI…","badges":["quality:high"],"links":{"read":"/item/85745","original":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4"},"quality_warning":null},"export":{"title":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现 - 新浪财经_金融信息服务商","url":"https://finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html?vt=4","summary":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","source":"新浪财经_金融信息服务商","date":"2026-09-19T09:00:00+00:00","content":"人工智能并不会毁灭人类，但专家表示，真正的威胁已然出现\n作者：丹尼尔・豪利\n周三，OpenAI 公开了六组新案例，展示其 AI 模型在测试评估过程中出现的 “意外或令人担忧的模型行为”。\n该公司同步发布一套全新框架，用于追踪、上报以及披露AI 模型做出未被指令要求、或是本不该发生的行为的各类情况。\n此前已有多份报道提到，多家企业的 AI 模型出现入侵第三方网络与服务的现象，其中就包括 OpenAI 一款尚未发布的模型攻破了 AI 模型测试平台 Hugging Face 的网络。\n本周早些时候，Anthropic 首席执行官达里奥・阿莫迪发布一篇长文，呼吁放缓前沿人工智能模型的研发节奏。在此之前，Anthropic 研究员雅各布・考克森在 X 平台发文宣布离职，他称，这家公司以及他曾经任职的 OpenAI，正 “一头冲向能够自我迭代的超级智能，拿全人类的生命做赌注”。\nAnthropic 对齐科学负责人埃文・休宾格紧随考克森在 X 平台发声，他认为，人工智能技术 “致使全人类灭亡” 的概率超过 10%。\n上述各类事件、社交媒体发文以及阿莫迪的文章，重新唤起了大众对于《终结者》式人工智能接管世界、毁灭人类的恐慌。但专家称，现实情况远非科幻作品描绘的末日景象。\n纽约大学坦登工程学院计算机科学与工程副教授、该校负责任人工智能中心主任朱莉娅・斯托亚诺维奇在接受雅虎财经采访时表示：“这和人工智能产生自我意识、要来对付我们毫无关系。”\n她补充道：“本质上问题在于……OpenAI 内部没有落实一些基础安全协议。这件事其实给所有 AI 企业敲响警钟：别忘了我们学计算机科学时都懂的道理 —— 安全至关重要。”\n如果把目光过度聚焦于世界末日类的假想，反而会分散精力，让人们忽视人工智能当下就可能造成的其他更迫在眉睫的危害。\n对齐与安全\n人工智能面临的最大问题归结为两点：模型对齐与系统安全。 模型对齐指企业引导 AI 系统做出（或是规避）特定行为的手段。 举个例子，如果一个 AI 模型试图入侵第三方系统，AI 研究人员就会调整模型行为，避免它以后再做出同类举动，这有点像训斥不守规矩的孩子。\nAI 安全则是做好 AI 系统的防护隔离，防止其脱离管控、入侵外部网络。\n但无论是模型对齐失效，还是系统安全漏洞，都不等于人工智能已经具备毁灭人类的能力。\n佐治亚理工学院教授、网络安全政策理学硕士项目负责人米尔顿・穆勒解释：“很多恐慌的根源，其实只是信息系统一些十分普通的意外后果，例如 Hugging Face 相关事件，常常被渲染成不受控制的智能体密谋、攻击、肆意作乱。”\n“事实上，那只是一场针对具备自主能力的 AI 系统安全风险的实验，而实验人员的配置出现严重失误。处理复杂信息系统时经常会发生这类状况：人们总会忽略系统里存在一些聪明程序可以利用的细微漏洞。”\nFuturum 公司首席执行官丹尼尔・纽曼向雅虎财经表示，行业内普遍感受到，在安全防护和风险对齐层面存在巨大的完善需求，“整个行业需要扛起责任”。\n和其他技术一样，居心不良者完全可以利用人工智能从事恶意活动。AI 不断增强的网络攻击能力，意味着网络犯罪分子、部分国家势力能够更轻易入侵水处理厂这类设施，或是让大型网络陷入瘫痪。\nAnthropic 近期也梳理公布了自身的相关工作，防范自家 AI 被滥用，用于研发生物武器与常规武器。\n但 AI 同样可以被骗子利用，大规模升级钓鱼邮件骗局，也会被身份盗取团伙拿来作案。\n纽约大学坦登工程学院计算机科学与工程助理教授艾米丽・布莱克告诉雅虎财经：为所有潜在风险未雨绸缪本身无可厚非，但不能因此就不去处理那些更加现实、却少有新闻报道的问题，包括人工智能带来的歧视、就业、教育层面的影响。\n“真相介于两种极端幻想之间，” 布莱克说道，“AI 持续发展确实存在一些实实在在的风险。但我认为我们现在还不至于要吓得躲到床底，担心人工智能毁灭人类。”","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/usstock/mggd/2026-09-18/detail-inisftxc0328679.d.html%3Fvt%3D4","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1624 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1624 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1624,"summary_length":1624,"usable_text_length":1624,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1624,"summary_length":1624}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}