AI安全是AI规模化应用“加速器”

量子位的朋友们 2026-10-29 16:50:14 来源：量子位

人工智能正在加速进入生产系统和核心业务。当AI真正参与业务决策、调用工具、操作系统乃至控制设备时，决策者关心的，不只是“能力有多强”，还关心“安全不安全”。进入智能体时代，AI安全也已不只是防止数据泄露或回答错误，而是关系到现实资产、业务连续性和责任承担。

由此，一个常被讨论的问题正在发生变化：AI安全究竟是技术发展的约束，还是产业应用的前提条件？目前看，AI安全已从附加条件转变为AI进入生产系统、核心业务和关键行业的基础能力。进一步说，AI安全决定了AI能不能用、能用到什么程度、能够以多快速度实现规模化应用。

AI发展新趋势对AI安全提出新挑战

当前AI能力呈现出六个相互关联的变化。

第一，AI从生成内容“回答问题”走向自主行动，可以调用工具、执行任务、操作系统和控制设备，风险从“说错了”升级为“做错了”。

第二，AI从单模型走向多智能体协作，可以任务拆解、记忆共享、相互调用，提升效率。风险随之从一个单点错误，沿着任务拆解或记忆共享，或工具调用，演变为系统性、链式风险。

第三，AI从辅助工具逐渐成为业务基础设施，AI进入金融、医疗、工业、能源、政务等关键领域。模型输出会直接影响核心业务决策与连续运行，AI的影响更广、代价更高、责任链更长。

第四，AI从封闭模型走向开源普及，开源开放降低了创新门槛，使更多行业、更多专业人员可以参与AI创新，这是我国发展人工智能的重要条件。但能力扩散的同时，风险也会同步扩散，恶意使用成本下降，下游责任更加分散。

第五，AI从数字世界走向物理世界，如具身智能、智能汽车和机器人等，发展迅速。AI的错误或能力不足，影响不再停留在屏幕里，可能直接造成现实损害。

第六，AI竞争正从模型训练转向规模化推理和应用，安全重心开始从“模型有没有风险”，转向“整个系统在真实业务中是否能够长期可靠运行”。

安全边界已经扩展为一张贯穿经济社会的风险地图

随着上述变化叠加，AI安全已从“一个模型是否安全”，扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。越向上，风险影响范围越大;不同层次又通过数据流、权限链、工具链和业务链相互连接。

AI的六层风险地图

这意味着，AI风险呈现出三个突出特征：一是链条化，一个提示注入可能借助智能体权限转化为真实业务操作；二是涌现化，单个模型看似安全，多个模型、工具和数据连接后却可能产生新风险；三是外溢化，技术缺陷可能迅速转化为企业经营风险、社会风险乃至国家安全风险。传统的“上线前做一次安全检测”已经不够，必须把安全贯穿数据、开发、部署、运行和退出的全生命周期。

安全不是发展的跷跷板，而是相互促进的飞轮

AI正在成为社会发展的新动能。其自主性越高，能力越强，越能够进入核心生产流程，创造的价值也越大；但与此同时，风险敞口也会增加。企业并非看不到AI价值，而是担心发生事故后损失有多大、风险能否控制、业务如何恢复、责任由谁承担。只有解决这些顾虑，AI才可能从局部试点真正走向规模应用。

AI高质量规模化应用=有效性×可靠性×安全性。有效性回答“有没有用”，可靠性回答“能不能持续稳定地用”，安全性回答“敢不敢放进核心业务”。三者不是简单相加，任何一项接近于零，整体价值都会显著下降。

因此，安全与发展不是此消彼长的跷跷板，而是相互促进的飞轮。AI应用不断扩张，带来更多风险暴露，促使企业增加安全投入;安全产品和服务规模化部署，又会沉淀告警、攻击样本和处置反馈，提升检测与自动化能力;当误报下降、风险更加可控，企业信任随之增强，也就更敢把AI放进核心业务。安全投入不是单纯的成本，而是降低不确定性、扩大AI应用市场的生产性投入。

AI安全正在形成新的产业增长空间

从全球实践看，AI安全主要依靠三类主体共同推动：政府通过监管明确底线，企业通过市场竞争推动技术和产品迭代，第三方机构提供技术标准、评测、审计和认证。美国比较偏重技术标准、商业平台和市场竞争，欧盟更强调政府监管、安全标准和第三方保证。我国强调统筹平衡政府监管、企业竞争和第三方认证、技术标准的三者协同作用。

在这一过程中，AI安全已经具备成为独立产业的基本特征。虽然现实收入规模仍远小于潜在市场，但产品形态正在从单点工具走向平台化，智能体安全正在成为新的增长点，AI应用企业购买安全服务的意愿也在增强。其产业价值正在从“限制风险”转向“使AI能够规模化进入核心业务”。

从市场结构看，模型安全评测、AI运行时安全、供应链安全、数据安全、智能体与非人身份安全、治理合规和第三方保证等赛道正在形成。收入模式也将从以项目制咨询、红队测试为主，逐渐扩展到平台订阅、托管安全服务、审计认证等持续性收入。赛道越清晰、标准越统一，产业规模才越有可能真正做大。

加快发展AI安全，以高水平安全推动AI规模化应用

面向AI规模化应用，需要重点推进五方面工作。

第一，把AI安全纳入国家AI基础能力建设。AI安全不应只是应用上线后的合规环节，而应与算法、算力、数据、资本、应用、人才等要素并列，成为驱动人工智能发展的基础要素。

第二，推动安全能力内生化。过去很多安全能力是在系统建成后外挂，智能体时代仅靠外围防护已经不够。安全要与模型设计、智能体架构和业务流程同步建设，形成安全原生模型、安全原生智能体、安全原生平台和安全原生应用。

第三，重点攻关智能体安全关键技术，优先发展身份认证、最小权限控制、工具调用安全、记忆安全、多智能体协同安全、行为审计和自动化红队测试。核心是回答三个问题：智能体是谁，被允许做什么，做错后能否及时发现并停止。

第四，把AI安全培育成新的产业增长点，推动安全数据、安全工具、模型评测、运行时防护、智能体治理、审计认证和安全服务协同发展，让安全投入既支撑风险治理，也形成新的产业价值。

第五，建设AI安全公共基础设施。高质量安全数据集、漏洞与事件数据库、行业安全基准、红队攻防平台、风险监测预警体系等具有明显公共属性，需要政府、企业、高校和第三方机构共同参与，降低重复投入，形成统一风险语言。

引入商业保险，以经济机制加快AI安全发展

AI规模化应用还需要建立市场经济逻辑，商业保险值得重点探索。很多新技术、新产品从导入期走向规模应用，都离不开保险对剩余风险的分担。对于数据泄露、系统中断、智能体误操作和第三方财产损失等低频高损风险，保险可以降低企业“不敢用”的顾虑。

更重要的是，保险能够把抽象的安全风险转化为可量化、可定价的风险。如果企业具备严格的权限控制、上线前安全评测、持续运行监测、人工复核和紧急熔断、完整日志与责任追溯，其保费就应更低、保障范围可以更广。这样，安全能力便从原则要求转化为可计算的经济收益。

保险还可以把一次性经济补偿升级为持续安全服务，推动形成“安全评测—风险分级—保险定价—持续监测—理赔复盘”的闭环，并在承保和理赔过程中沉淀事故发生率、损失分布和控制措施有效性等数据，反过来促进技术、标准和监管迭代。

当然，AI保险仍面临责任链条不清、历史数据不足、风险动态变化、系统性风险集中以及损失因果难以证明等问题。因此，需要从静态保单转向动态保险，从单纯赔偿转向“保险+安全服务”，并探索产业链协同承保。安全技术决定风险能不能防，法律治理决定责任由谁承担，商业保险决定剩余风险能不能承受，三者缺一不可。

结语

AI能力越大，能够进入的领域越关键，获得的权限越高，安全失效的代价也越大。可信度正在成为AI规模化应用能否突破的关键瓶颈。

因此，AI安全不是AI发展的“刹车片”，而是AI从试点应用走向规模化应用、关键领域应用和高质量发展的“加速器”。让安全能力与AI能力同步演进，形成技术、治理、产业和市场机制协同的安全体系，有助于加快把AI的技术潜力转化为产业价值和社会价值。

主要作者简介：

邵广禄

中国电信集团科技委主任，中粮集团外部董事，中国电信集团原总经理。教授级高级工程师，哈尔滨工业大学工学硕士和经济学硕士，南开大学管理学博士。兼任国家数据局专家委员、中国互联网协会专咨委常务副主任。

本文由中国电信提供，量子位获授权转载，观点归原作者所有。