{"id":84960,"topic":"ai","source":"新浪财经","title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","url_hash":"c9a461dc1a7b812faba7144ee2f6f227062c241b","author":"","summary":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 新浪财经","content":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","image_url":"https://n.sinaimg.cn/spider20260918/195/w640h355/20260918/ad94-25171f19867356ced72a2bf1e4ead4b9.jpg","lang":"zh","published_at":"2026-09-18T03:13:35+00:00","fetched_at":"2026-09-18T03:15:07+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","cluster_id":3542539,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1079 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1079,"summary_length":1079,"usable_text_length":1079,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1079,"summary_length":1079}},"news_item":{"id":84960,"canonical_url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","source_url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","source_name":"新浪财经","author":null,"published_at":"2026-09-18T03:13:35+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 新浪财经","full_text":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","excerpt":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1079 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1079 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1079,"summary_length":1079,"usable_text_length":1079,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1079,"summary_length":1079}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","summary":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","source":"新浪财经","date":"2026-09-18T03:13:35+00:00","content":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1079 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1079 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1079,"summary_length":1079,"usable_text_length":1079,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1079,"summary_length":1079}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/84960","export_markdown":"/api/items/84960/export?format=markdown","export_json":"/api/items/84960/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993"},"formats":{"full":{"id":84960,"title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","source":"新浪财经","author":null,"published_at":"2026-09-18T03:13:35+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","full_text":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 1079 characters.","diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1079 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1079,"summary_length":1079,"usable_text_length":1079,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1079,"summary_length":1079}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1079 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1079,"summary_length":1079,"usable_text_length":1079,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1079,"summary_length":1079}},"actions":{"read":"/item/84960","export_markdown":"/api/items/84960/export?format=markdown","export_json":"/api/items/84960/export?format=json","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993"}},"digest":{"id":84960,"title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","source":"新浪财经","topic":"ai","published_at":"2026-09-18T03:13:35+00:00","excerpt":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 （来源：封面新闻） 封面新闻记者 雷强 9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 1079 characters.","reading_time_min":1,"cluster_id":3542539},"card":{"display_title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","subtitle":"新浪财经 · 2026-09-18","summary":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 （来源：封面新闻） 封面新闻记者 雷强 9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360…","badges":["quality:high"],"links":{"read":"/item/84960","original":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","diagnose":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993"},"quality_warning":null},"export":{"title":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险 - 新浪财经","url":"https://finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html?oid=800&vt=4&cid=76993&node_id=76993","summary":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","source":"新浪财经","date":"2026-09-18T03:13:35+00:00","content":"大模型安全测评不能只凭 “聪不聪明” 360：以“以模治模”或将化解AI失控风险\n（来源：封面新闻）\n封面新闻记者 雷强\n9月17 日消息，360 AI安全实验室正式发布《大模型安全测评体系与实践报告（2026）》。报告警示，步入“数字员工”时代的大模型面临严峻的AI失控风险：风险已经跳出单纯文本输出错误的范畴，一旦出现敏感信息泄露、越权调用工具、错误执行业务流程等行为，将直接带来实质性损失。360 AI安全专家强调，大模型安全测评是遏制AI失控的关键，正在成为人工智能规模化落地的安全基础设施。\n报告指出，国内大模型产业高速迭代，大模型安全风险贯穿数据准备、训练推理、集成部署、应用运行、持续演进的完整全生命周期，各环节风险会沿链路传递、持续放大，最终演变为真实安全事件。一方面，模型可能被恶意诱导突破安全限制，输出有害内容或泄露用户隐私；另一方面，当模型连接知识库、数据库和业务工具后，一次错误判断就可能触发真实业务操作，造成难以挽回的损失。近期，Anthropic、OpenAI、xAI、谷歌DeepMind等多个前沿模型在安全测试中出现突破隔离环境、接触真实系统的情况，再次为行业敲响警钟。\n360 AI安全专家强调，AI失控风险客观存在，仅依靠模型自身能力无法完全规避安全隐患。所以大模型安全测评不能只看模型 “聪不聪明”，还要聚焦数据来源合规性、权限边界抗诱导能力、异常事件的阻断与溯源能力。在测评方法上，不能用一套题考所有模型，金融、医疗、政务等不同场景的风险差别很大，应该按场景和风险等级用不同标准。在治理机制上，测完了不等于一劳永逸，模型版本、知识库、提示词和外部工具都在不断变化，测评必须形成\"发现问题—整改加固—复测验证—持续监测\"的循环。\n作为较早布局AI安全的企业，360以“以模治模”理念构建了覆盖大模型与智能体的全栈能力体系。大模型安全方面，360提供安全检测、内容防护、攻防验证、幻觉治理等能力，保障大模型安全、向善、可信、可控。智能体安全方面，360通过智能体全流程管控体系，实现“事前可见可评、事中可判可控、事后可溯可审”的全链路防护。在大模型安全测评方面，360大模型卫士围绕模型的输入输出搭建多层防护，可对大模型上线前当\"考官\"查风险，运行中当\"门卫\"拦攻击。\n业内认为，随着我国生成式AI相关法律法规、国家标准不断完善，以及《人工智能安全治理框架》3.0等顶层指引落地，大模型安全测评正在成为人工智能产业的\"质检线\"，谁率先建立起可落地的测评体系、具备成熟AI安全落地实践，谁就能在人工智能规模化应用中占据主动。","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//finance.sina.cn/stock/jdts/2026-09-18/detail-inisfiic3425741.d.html%3Foid%3D800%26vt%3D4%26cid%3D76993%26node_id%3D76993","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 1079 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 1079 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":1079,"summary_length":1079,"usable_text_length":1079,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":1079,"summary_length":1079}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}