# AI安全，正在成为下一个万亿级赛道？-36氪 - 36kr.com *Источник: 36kr.com* *Дата: 2026-09-29* *Язык: zh* **Кратко:** 过去两年，人工智能产业最重要的问题只有一个：如何让AI变得更强。 资本市场围绕这一目标，构建起一条庞大的产业链。 英伟达GPU成为全球资本市场最受关注的资产之一，服务器、光模块、液冷、电力和数据中心，成为AI时代最热门的投资方向。 但进入2026年，一个新的变化正在发生。 人工智能行业开始面对另一个更加现实的问题：当模型拥有越来越强的推理能力、代码能力和自主执行能力，人类如何确保它仍然处于可控范围？ 此前，OpenAI对部分先进模型研发节奏进行调整，引发市场关注。 这并不是AI研发停止，而是随着模型能力提升，公司开始重新审视安全评估、模型监控和风险控制体系。 从“追求更强智能”到“确保智能安全”，AI产业正在进入一个新的阶段。 01 大模型竞争的逻辑彻底变了 人工智能行业过去几年的发展逻辑非常简单：更大的模型、更多的数据、更多的算力、更快的迭代。 从GPT系列模型，到Gemini、Claude等产品，全球科技公司不断刷新大模型能力边界。 但随着模型能力提升，一个新的问题逐渐出现：AI正在从“回答问题的工具”，变成“能够执行任务的智能体”。 过去，用户提出问题，AI生成答案；未来，用户提出目标，AI自主规划步骤，并调用工具完成任务。 能力提升的另一面，是风险边界也在扩大。 如果一个普通聊天机器人出现错误，影响可能只是一次错误回答，但如果一个连接企业系统的AI Agent出现错误，影响可能涉及客户数据、商业机密、内部流程，甚至关键基础设施。 因此，AI安全开始从“研究问题”，变成“商业问题”。 全球AI公司已经开始调整安全策略。 OpenAI曾公开表示，在先进模型开发过程中，公司会持续进行安全评估，包括模型能力测试、风险评估和部署限制。对于具备更强代码能力和网络安全能力的模型，企业需要额外评估其潜在风险。 这意味着，大模型竞争的评价标准正在发生变化。 02 AI Agent的致命诱惑 AI安全之所以受到关注，并不是因为行业突然改变方向，而是因为越来越多案例显示，AI风险正在随着应用扩大而暴露。 过去的软件系统，主要按照固定规则运行：程序员写入逻辑，系统执行命令。 但AI Agent不同，它能够理解目标，并自主决定下一步行动。 这带来了新的安全挑战，比如，如果目标理解错误怎么办？如果权限过高怎么办？如果被恶意诱导怎么办？ 这也是为什么近年来“提示词攻击”“模型越权”“数据泄露”等问题成为AI安全领域的重要议题。 例如，企业在部署AI助手时，往往希望它能够访问更多内部信息。但访问权限越大，风险也越高。一个能够帮助员工提高效率的AI助手，同时也可能成为新的数据入口。 这形成了AI时代特有的矛盾：企业希望AI更强，但又必须限制AI。 类似问题也出现在海外AI公司测试过程中。 Google曾披露，在AI安全研究中，会通过模拟攻击方式测试模型是否可能突破限制环境。 这类测试的目的，并不是证明模型已经失控，而是提前发现潜在风险。 Anthropic等公司也持续开展模型安全评估，包括对网络安全能力、长任务执行能力和模型行为进行测试。 这些案例说明，AI安全已经成为大模型商业化过程中无法绕开的环节。 同时，AI也正在改变网络攻击方式。 过去，黑客攻击需要大量人工分析；未来，攻击者可能利用AI自动寻找漏洞、生成攻击代码、分析目标系统。 这意味着，AI既可能成为安全工具，也可能成为新的攻击工具。安全行业正在进入“AI对抗AI”的阶段。 03 AI的下一场战争在“安全” 如果回顾过去几轮科技产业发展，会发现一个规律：每一次技术革命，都伴随着新的安全需求。 比如，在互联网时代，连接规模扩大，催生网络安全；在云计算时代，企业迁移上云，催生云安全；而在人工智能时代，智能系统进入生产环境，催生AI安全。 过去两年，资本市场关注的是AI基础设施。因为模型训练需要大量算力，于是GPU上涨、服务器扩产、数据中心建设加速。 但当AI进入企业应用阶段，新的瓶颈正在出现：企业敢不敢用AI？能不能放心把核心业务交给AI？ 对于企业而言，AI落地不仅是技术问题，也是风险管理问题。比如，一家银行部署智能客服，需要考虑客户信息是否安全；一家制造企业部署AI生产助手，需要考虑生产数据是否泄露；一家企业部署AI办公系统，需要考虑内部资料是否被模型误调用。 这也是为什么，海外市场正在重新关注AI安全。 网络安全公司开始将AI能力融入安全产品，同时开发针对AI系统的新防护方案。例如，Palo Alto Networks、CrowdStrike等企业，都在探索AI驱动安全运营、威胁检测以及企业AI环境保护。 它们的发展路径说明，安全产业真正的增长机会，往往来自技术基础设施的变化。 04 AI安全不会再造一个英伟达 如果说过去两年AI产业最大的机会来自算力，那么下一阶段，安全可能成为人工智能商业化过程中不可缺少的一环。 但与GPU、服务器不同，AI安全不会诞生一个单一的超级赛道，它更像过去二十年的网络安全行业，需求分散在不同场景，却伴随着整个数字化产业发展不断扩大。 AI时代同样如此。 随着大模型逐渐进入办公、金融、制造、政务、能源等领域，企业面对的问题已经从“有没有AI能力”变成“如何让AI安全地进入生产系统”。 这也意味着，传统安全企业正在迎来新的产业机会。 过去，企业安全建设主要解决的是，如何阻止外部攻击进入系统。 防火墙、防病毒软件、漏洞检测、安全运营平台，构成了传统网络安全体系。 但AI时代，安全边界正在发生变化。企业不仅需要防止别人攻击自己的系统，还需要防止AI访问不应该访问的数据，AI执行不应该执行的操作，AI生成不符合要求的内容。 简单来说，过去安全保护的是“系统”，未来安全保护的是“智能”。 在这一变化中，国内网络安全企业正在寻找新的增长空间。 以奇安信为例，公司长期服务政府、金融、能源等关键行业客户，业务覆盖网络安全、数据安全、云安全等领域。 过去，客户购买安全产品的核心诉求，是保护网络和业务系统。但随着企业部署大模型，安全需求正在向新的方向延伸。 例如，一家企业上线内部AI助手后，需要解决员工输入的数据是否包含敏感信息？模型是否会泄露内部资料？AI调用企业系统时权限是否过大？ 这些问题，本质上已经超出了传统网络防护范围。因此，AI安全对于传统安全厂商而言，并不是完全陌生的新市场，而是原有安全能力向人工智能场景的延伸。 类似的变化，也正在发生在启明星辰身上。 长期以来，启明星辰主要服务政企客户，在网络安全、信息安全运营等领域积累了大量经验。而政府、电力、金融等行业，恰恰也是未来AI应用最早落地的领域。 原因在于，这些行业拥有大量数据资源，同时对安全要求更高。 例如，金融机构使用AI进行智能客服、投研辅助、风险分析时，需要同时满足效率提升、数据安全、合规要求。这意味着，未来AI应用规模越大，对于安全运营能力的要求也越高。 在云计算和企业数字化领域，AI安全也正在成为新的需求。 深信服长期布局企业级IT基础设施、云计算和网络安全。过去几年，企业数字化转型推动了云安全需求增长。而AI时代，企业IT架构正在进一步复杂化。 一家企业未来可能同时拥有云服务器、企业数据库、知识库、AI Agent、自动化业务流程。 这些系统之间连接越紧密，安全管理难度越高。因此，AI安全并不是一个孤立的新业务，而是云安全、数据安全和网络安全的融合升级。 除了传统网络安全厂商，数据安全领域也可能成为AI安全的重要方向。 大模型最大的价值之一，是能够理解企业数据。但与此同时，数据也是企业最敏感的资产。 企业希望AI知道更多，但又必须确保AI“不知道不该知道的内容”，这形成了AI时代新的安全矛盾：哪些数据可以开放给模型？哪些数据必须隔离？模型是否记录敏感信息？AI生成内容是否符合监管要求？ 这些问题，都需要新的安全技术解决。因此，包括安恒信息、美亚柏科、绿盟科技等在内的安全企业，也正在围绕数据安全、安全检测等方向布局。 从资本市场角度看，AI安全真正值得关注的，并不是短期某家公司订单增长，而是产业逻辑正在发生变化。 过去，AI推动企业采购更多算力；未来，AI规模化应用，可能推动企业采购更多安全能力，因为企业愿意购买一个更聪明的AI，但前提是它必须可信。 05 AI正在重复云计算走过的老路 如果回顾互联网产业的发展，会发现一个明显规律：技术革命初期，市场关注的是效率提升。但当技术进入大规模商业应用阶段，安全往往成为新的基础设施。 互联网时代如此，云计算时代如此，人工智能时代可能同样如此。 20年前，互联网快速普及。企业最关心的问题是：如何连接更多用户，如何建立线上业务。 但随着互联网规模扩大，病毒、黑客攻击、数据泄露开始频繁出现。于是，网络安全行业快速发展，企业开始投入防火墙、终端安全、安全运营。 随后，云计算成为新的基础设施。企业把服务器、业务系统迁移到云端，安全问题再次出现。于是，云安全成为新的增长方向。 海外市场中，CrowdStrike、Palo Alto Networks等公司，就是伴随企业数字化转型成长起来的新一代安全企业。 它们的发展逻辑并不是依靠某一次安全事件，而是因为企业越来越依赖数字系统，因此，安全价值越来越高。 AI可能正在重复类似路径。 过去，企业讨论AI时，关注的是模型能力、成本、效率，但随着AI开始进入核心业务流程，企业必须回答：如果AI出现错误怎么办？如果AI泄露数据怎么办？如果AI被攻击怎么办？ 这意味着，未来企业部署AI，可能形成类似“三件套”的基础设施：大模型解决能力问题，算力解决运行问题，安全体系解决可信问题。 没有安全体系，大模型能力越强，企业反而越谨慎。因为企业不会把核心业务交给一个无法控制的系统。 当然，AI安全仍然处于早期阶段。目前市场仍面临几个问题： 首先，技术标准尚未完全形成，不同企业对于AI风险的理解不同。 其次，商业模式仍在探索，企业是否愿意为AI安全单独付费，还需要时间验证。 第三，行业竞争格局尚未稳定，传统安全公司、云厂商、大模型公司，都可能进入这一领域。 但长期趋势已经出现，人工智能正在改变企业IT架构。而每一次IT架构变化，都会重新定义安全产业。 06 结语 过去两年，人工智能产业的第一阶段，是能力竞争。 谁拥有更强模型，谁拥有更多算力，谁能够让机器变得更聪明。 但当AI开始进入现实世界，竞争逻辑正在发生变化。未来，比拼的不只是谁能创造更强的AI，还包括谁能让AI被放心使用。 OpenAI调整部分先进模型研发节奏，并不意味着AI热潮结束。相反，它说明人工智能正在进入一个更加成熟的阶段。 第一阶段，人类的问题是如何让AI拥有更强能力。 第二阶段，人类的问题是如何让强大的AI保持可控。 过去互联网时代，安全保障了连接。 云计算时代，安全保障了迁移。 人工智能时代，安全可能保障的是智能进入现实世界的可能性。 因此，AI安全不会只是AI产业的附属环节。它可能成为下一轮人工智能革命中，新的基础设施。 而资本市场寻找的，也可能不再只是制造“大脑”的公司，还有那些帮助“大脑安全运行”的企业。 本文来自微信公众号“阿尔法工场研究院”，作者：谢赫，36氪经授权发布。 过去两年，人工智能产业最重要的问题只有一个：如何让AI变得更强。 资本市场围绕这一目标，构建起一条庞大的产业链。 英伟达GPU成为全球资本市场最受关注的资产之一，服务器、光模块、液冷、电力和数据中心，成为AI时代最热门的投资方向。 但进入2026年，一个新的变化正在发生。 人工智能行业开始面对另一个更加现实的问题：当模型拥有越来越强的推理能力、代码能力和自主执行能力，人类如何确保它仍然处于可控范围？ 此前，OpenAI对部分先进模型研发节奏进行调整，引发市场关注。 这并不是AI研发停止，而是随着模型能力提升，公司开始重新审视安全评估、模型监控和风险控制体系。 从“追求更强智能”到“确保智能安全”，AI产业正在进入一个新的阶段。 01 大模型竞争的逻辑彻底变了 人工智能行业过去几年的发展逻辑非常简单：更大的模型、更多的数据、更多的算力、更快的迭代。 从GPT系列模型，到Gemini、Claude等产品，全球科技公司不断刷新大模型能力边界。 但随着模型能力提升，一个新的问题逐渐出现：AI正在从“回答问题的工具”，变成“能够执行任务的智能体”。 过去，用户提出问题，AI生成答案；未来，用户提出目标，AI自主规划步骤，并调用工具完成任务。 能力提升的另一面，是风险边界也在扩大。 如果一个普通聊天机器人出现错误，影响可能只是一次错误回答，但如果一个连接企业系统的AI Agent出现错误，影响可能涉及客户数据、商业机密、内部流程，甚至关键基础设施。 因此，AI安全开始从“研究问题”，变成“商业问题”。 全球AI公司已经开始调整安全策略。 OpenAI曾公开表示，在先进模型开发过程中，公司会持续进行安全评估，包括模型能力测试、风险评估和部署限制。对于具备更强代码能力和网络安全能力的模型，企业需要额外评估其潜在风险。 这意味着，大模型竞争的评价标准正在发生变化。 02 AI Agent的致命诱惑 AI安全之所以受到关注，并不是因为行业突然改变方向，而是因为越来越多案例显示，AI风险正在随着应用扩大而暴露。 过去的软件系统，主要按照固定规则运行：程序员写入逻辑，系统执行命令。 但AI Agent不同，它能够理解目标，并自主决定下一步行动。 这带来了新的安全挑战，比如，如果目标理解错误怎么办？如果权限过高怎么办？如果被恶意诱导怎么办？ 这也是为什么近年来“提示词攻击”“模型越权”“数据泄露”等问题成为AI安全领域的重要议题。 例如，企业在部署AI助手时，往往希望它能够访问更多内部信息。但访问权限越大，风险也越高。一个能够帮助员工提高效率的AI助手，同时也可能成为新的数据入口。 这形成了AI时代特有的矛盾：企业希望AI更强，但又必须限制AI。 类似问题也出现在海外AI公司测试过程中。 Google曾披露，在AI安全研究中，会通过模拟攻击方式测试模型是否可能突破限制环境。 这类测试的目的，并不是证明模型已经失控，而是提前发现潜在风险。 Anthropic等公司也持续开展模型安全评估，包括对网络安全能力、长任务执行能力和模型行为进行测试。 这些案例说明，AI安全已经成为大模型商业化过程中无法绕开的环节。 同时，AI也正在改变网络攻击方式。 过去，黑客攻击需要大量人工分析；未来，攻击者可能利用AI自动寻找漏洞、生成攻击代码、分析目标系统。 这意味着，AI既可能成为安全工具，也可能成为新的攻击工具。安全行业正在进入“AI对抗AI”的阶段。 03 AI的下一场战争在“安全” 如果回顾过去几轮科技产业发展，会发现一个规律：每一次技术革命，都伴随着新的安全需求。 比如，在互联网时代，连接规模扩大，催生网络安全；在云计算时代，企业迁移上云，催生云安全；而在人工智能时代，智能系统进入生产环境，催生AI安全。 过去两年，资本市场关注的是AI基础设施。因为模型训练需要大量算力，于是GPU上涨、服务器扩产、数据中心建设加速。 但当AI进入企业应用阶段，新的瓶颈正在出现：企业敢不敢用AI？能不能放心把核心业务交给AI？ 对于企业而言，AI落地不仅是技术问题，也是风险管理问题。比如，一家银行部署智能客服，需要考虑客户信息是否安全；一家制造企业部署AI生产助手，需要考虑生产数据是否泄露；一家企业部署AI办公系统，需要考虑内部资料是否被模型误调用。 这也是为什么，海外市场正在重新关注AI安全。 网络安全公司开始将AI能力融入安全产品，同时开发针对AI系统的新防护方案。例如，Palo Alto Networks、CrowdStrike等企业，都在探索AI驱动安全运营、威胁检测以及企业AI环境保护。 它们的发展路径说明，安全产业真正的增长机会，往往来自技术基础设施的变化。 04 AI安全不会再造一个英伟达 如果说过去两年AI产业最大的机会来自算力，那么下一阶段，安全可能成为人工智能商业化过程中不可缺少的一环。 但与GPU、服务器不同，AI安全不会诞生一个单一的超级赛道，它更像过去二十年的网络安全行业，需求分散在不同场景，却伴随着整个数字化产业发展不断扩大。 AI时代同样如此。 随着大模型逐渐进入办公、金融、制造、政务、能源等领域，企业面对的问题已经从“有没有AI能力”变成“如何让AI安全地进入生产系统”。 这也意味着，传统安全企业正在迎来新的产业机会。 过去，企业安全建设主要解决的是，如何阻止外部攻击进入系统。 防火墙、防病毒软件、漏洞检测、安全运营平台，构成了传统网络安全体系。 但AI时代，安全边界正在发生变化。企业不仅需要防止别人攻击自己的系统，还需要防止AI访问不应该访问的数据，AI执行不应该执行的操作，AI生成不符合要求的内容。 简单来说，过去安全保护的是“系统”，未来安全保护的是“智能”。 在这一变化中，国内网络安全企业正在寻找新的增长空间。 以奇安信为例，公司长期服务政府、金融、能源等关键行业客户，业务覆盖网络安全、数据安全、云安全等领域。 过去，客户购买安全产品的核心诉求，是保护网络和业务系统。但随着企业部署大模型，安全需求正在向新的方向延伸。 例如，一家企业上线内部AI助手后，需要解决员工输入的数据是否包含敏感信息？模型是否会泄露内部资料？AI调用企业系统时权限是否过大？ 这些问题，本质上已经超出了传统网络防护范围。因此，AI安全对于传统安全厂商而言，并不是完全陌生的新市场，而是原有安全能力向人工智能场景的延伸。 类似的变化，也正在发生在启明星辰身上。 长期以来，启明星辰主要服务政企客户，在网络安全、信息安全运营等领域积累了大量经验。而政府、电力、金融等行业，恰恰也是未来AI应用最早落地的领域。 原因在于，这些行业拥有大量数据资源，同时对安全要求更高。 例如，金融机构使用AI进行智能客服、投研辅助、风险分析时，需要同时满足效率提升、数据安全、合规要求。这意味着，未来AI应用规模越大，对于安全运营能力的要求也越高。 在云计算和企业数字化领域，AI安全也正在成为新的需求。 深信服长期布局企业级IT基础设施、云计算和网络安全。过去几年，企业数字化转型推动了云安全需求增长。而AI时代，企业IT架构正在进一步复杂化。 一家企业未来可能同时拥有云服务器、企业数据库、知识库、AI Agent、自动化业务流程。 这些系统之间连接越紧密，安全管理难度越高。因此，AI安全并不是一个孤立的新业务，而是云安全、数据安全和网络安全的融合升级。 除了传统网络安全厂商，数据安全领域也可能成为AI安全的重要方向。 大模型最大的价值之一，是能够理解企业数据。但与此同时，数据也是企业最敏感的资产。 企业希望AI知道更多，但又必须确保AI“不知道不该知道的内容”，这形成了AI时代新的安全矛盾：哪些数据可以开放给模型？哪些数据必须隔离？模型是否记录敏感信息？AI生成内容是否符合监管要求？ 这些问题，都需要新的安全技术解决。因此，包括安恒信息、美亚柏科、绿盟科技等在内的安全企业，也正在围绕数据安全、安全检测等方向布局。 从资本市场角度看，AI安全真正值得关注的，并不是短期某家公司订单增长，而是产业逻辑正在发生变化。 过去，AI推动企业采购更多算力；未来，AI规模化应用，可能推动企业采购更多安全能力，因为企业愿意购买一个更聪明的AI，但前提是它必须可信。 05 AI正在重复云计算走过的老路 如果回顾互联网产业的发展，会发现一个明显规律：技术革命初期，市场关注的是效率提升。但当技术进入大规模商业应用阶段，安全往往成为新的基础设施。 互联网时代如此，云计算时代如此，人工智能时代可能同样如此。 20年前，互联网快速普及。企业最关心的问题是：如何连接更多用户，如何建立线上业务。 但随着互联网规模扩大，病毒、黑客攻击、数据泄露开始频繁出现。于是，网络安全行业快速发展，企业开始投入防火墙、终端安全、安全运营。 随后，云计算成为新的基础设施。企业把服务器、业务系统迁移到云端，安全问题再次出现。于是，云安全成为新的增长方向。 海外市场中，CrowdStrike、Palo Alto Networks等公司，就是伴随企业数字化转型成长起来的新一代安全企业。 它们的发展逻辑并不是依靠某一次安全事件，而是因为企业越来越依赖数字系统，因此，安全价值越来越高。 AI可能正在重复类似路径。 过去，企业讨论AI时，关注的是模型能力、成本、效率，但随着AI开始进入核心业务流程，企业必须回答：如果AI出现错误怎么办？如果AI泄露数据怎么办？如果AI被攻击怎么办？ 这意味着，未来企业部署AI，可能形成类似“三件套”的基础设施：大模型解决能力问题，算力解决运行问题，安全体系解决可信问题。 没有安全体系，大模型能力越强，企业反而越谨慎。因为企业不会把核心业务交给一个无法控制的系统。 当然，AI安全仍然处于早期阶段。目前市场仍面临几个问题： 首先，技术标准尚未完全形成，不同企业对于AI风险的理解不同。 其次，商业模式仍在探索，企业是否愿意为AI安全单独付费，还需要时间验证。 第三，行业竞争格局尚未稳定，传统安全公司、云厂商、大模型公司，都可能进入这一领域。 但长期趋势已经出现，人工智能正在改变企业IT架构。而每一次IT架构变化，都会重新定义安全产业。 06 结语 过去两年，人工智能产业的第一阶段，是能力竞争。 谁拥有更强模型，谁拥有更多算力，谁能够让机器变得更聪明。 但当AI开始进入现实世界，竞争逻辑正在发生变化。未来，比拼的不只是谁能创造更强的AI，还包括谁能让AI被放心使用。 OpenAI调整部分先进模型研发节奏，并不意味着AI热潮结束。相反，它说明人工智能正在进入一个更加成熟的阶段。 第一阶段，人类的问题是如何让AI拥有更强能力。 第二阶段，人类的问题是如何让强大的AI保持可控。 过去互联网时代，安全保障了连接。 云计算时代，安全保障了迁移。 人工智能时代，安全可能保障的是智能进入现实世界的可能性。 因此，AI安全不会只是AI产业的附属环节。它可能成为下一轮人工智能革命中，新的基础设施。 而资本市场寻找的，也可能不再只是制造“大脑”的公司，还有那些帮助“大脑安全运行”的企业。 本文来自微信公众号“阿尔法工场研究院”，作者：谢赫，36氪经授权发布。 [Оригинал](https://www.36kr.com/p/4003985874327176)