科技向善，行稳智远 ——德勤人工智能安全风险应对方案 | 德勤中国

主要内容

如何认识人工智能实践中的安全风险
人工智能落地须遵守哪些监管要求
德勤人工智能安全风险应对方案
人工智能风险管理——为什么是现在

引言

当今世界，随着人工智能技术的发展，人工智能的应用正在快速进入诸如医疗保健、金融服务、农业、能源等垂直专业领域，开始显露出其不可小觑的潜力，并有望在不远的将来代替人类完成部分工作。人工智能技术除了在智能算法推荐、零售用户画像、医学数据分析、自动辅助驾驶等应用场景中大展拳脚，近期在AIGC领域以ChatGPT为代表的大语言模型（Large Language Model）技术和具备图片、视频创作能力的扩散性模型（Diffusion Model）技术更是成为了学术界、产业界和公众的讨论热点。各种机构和企业正开始基于人工智能来完成各种各样的任务，如数据分析、自动驾驶、个人助理、决策与推荐等。

然而，随着人工智能技术逐步融入各种实际应用场景，相应的风险和挑战也随之而来。人工智能推荐算法需要遵守对应的合规要求，以及具备一定的透明度和可解释性，并在某些情况下需要通过备案。除此之外，生成式人工智能带来了新的版权，、合规，、数据安全和隐私保护的问题。例如,现今的生成式人工智能可能生成虚构的内容，进而产生难以预测的影响，且正成为监管关注的焦点。

同时，人工智能技术落地所依赖的相关计算平台、大数据存储、训练框架和应用也扩展了网络安全与数据保护的风险面，高速扩展的人工智能基础设施正成为网络攻击的新目标。企业不仅需要考虑如何保护这些资产，还需要将其整合进企业风险管理体系中，以便在更为统一的视角上安全地实现人工智能对业务的赋能，并应对复杂的网络攻击。

人工智能技术变革正在切实地改变我们的生活，但任何技术都是一把“双刃剑”。德勤通过全面的人工智能应对方案，帮助组织应对人工智能技术带来的风险，助力组织抓住当前和未来机遇。

如何认识人工智能实践中的安全风险?

德勤通过在网络安全及战略风险领域的前瞻性行业研究，以及与客户、合作伙伴的共同实践和工作，我们对人工智能领域的安全风险进行了持续追踪和分析。一般而言，人工智能相关风险来自三个层面：智能模型本身、支撑模型训练和部署以及处理相关数据的信息系统、以及训练模型依赖的环境设施（例如计算平台、网络与存储等）。

人工智能模型相关风险

数据投毒与模型倾斜：攻击者可能通过注入恶意输入数据来操纵模型训练过程，进而故意污染数据，以导致模型性能不一致，从而影响其生成准确预测的能力，或是输出可控范围外的内容（对于生成式人工智能而言）

模型提取/窃取：攻击者可能通过一系列精心设计的输入，对模型进行对抗性探测，并通过其响应结果尝试提取其中含有的机密数据，或重建模型算法。这可能会直接影响到相关的关键业务流程。

人工智能模型固有风险：因人工疏忽未严格遵从编码规范和测试要求而出现的逻辑漏洞，相关技术本身存在的缺陷，以及训练数据中所含有的有意或无意的偏见都将影响模型的输出质量。

信息系统相关风险

勒索攻击：勒索攻击尝试加密并锁定模型训练或部署所依赖的应用系统、数据以及自动化工具。一旦这些资产受到攻击，人工智能所驱动的业务将受到严重影响，同时还存在机密数据被损坏或者窃取的可能。

服务盗用：人工智能服务面临被盗用的风险，例如通过破解应用程序的API接口，攻击者可以通过窃取企业的人工智能服务接口来搭建自己的应用程序或网站，且不需要为此支付额外费用。

物联网入侵：某些人工智能系统通过大量的传感器来驱动业务场景，例如雷达，摄像头和麦克风，这些设备同样可以成为攻击者的目标。并且此类攻击往往更加难以被发现。

环境设施相关风险

云环境漏洞：攻击者可能会寻找云环境中存在的安全配置漏洞，并尝试利用漏洞绕过访问控制措施，以获取云环境中的机密信息或进行其他的未授权操作。

物理破坏：攻击者可能通过尝试破坏基础设施、中断数据中心的供电来影响人工智能模型的训练或相关应用程序的部署与正常运行。在某些人工智能训练框架中，系统中途因电源被切断带来的停机可能摧毁一整轮训练过程，甚至可能丢失数据。

第三方风险：组织往往使用第三方提供的用于训练人工智能所依赖的计算资源或者服务，某些针对这些第三方发起的攻击事件可能影响组织自身的数据安全和业务流程。另外，在使用由第三方提供的“多租户”模型的嵌入式技术和调优技术时，数据、嵌入和调优可能因安全控制的缺失无法保持机密性。

人工智能落地须遵守哪些监管要求

目前，对于人工智能领域的监管，主要是针对涉及国家安全、经济安全、社会公共利益等方面的重要问题和关键环节进行规范和管理，包括中国国家科学技术部发布的《新一代人工智能伦理规范》在内的全球各国对人工智能的规范要求主要集中在人工智能决策模型的透明度、可信度、隐私保护以及安全性，以使相关技术在可控范围内健康发展，以避免人工智能对个人、组织以及社会产生直接或间接的危害。

另外，针对生成式人工智能的相关监管也正在进一步完善。国家网信办等部门近期发布的《生成式人工智能服务管理暂行办法》的正式实行，标志着国内对生成式人工智能的监管和支持进入了新的阶段。

近年全球人工智能监管动向

随着全球各国在人工智能领域监管要求的逐渐细化和深入，业界相应的人工智能风险管理框架和指南也在发布和更新，其中包括由全国信安标委发布的《信息安全技术人工智能计算平台安全框架》，《人工智能管理体系》以及中国电子工业标准化技术协会发布的《信息技术人工智能风险管理能力评估》等标准，以及美国国家标准与技术研究院发布的《人工智能风险管理框架（NIST AI RMF》。这些标准和指南为企业和组织在发展和应用人工智能技术方面提供持续评估和管理风险的依据。

人工智能风险管理标准和指南，以及德勤人工智能风险研究相关的部分专题

德勤人工智能安全风险应对方案

德勤网络安全团队认为缺乏对人工智能技术的风险管理是限制组织人工智能技术应用的首要因素之一，相对于传统领域，在引入人工智能技术时，组织需要持续追踪新的安全与合规需求：

复杂的人工智能技术正在快速发展，扩展了组织的应用程序中与AI相关的风险，尤其是对组织的数据治理和隐私保护能力提出了更高的要求。
新出台的各类法规对人工智能模型的可解释性做出了要求，组织的人工智能解决方案需要遵从相关监管要求，并维持模型训练数据的可溯源与完整。
集成人工智能技术到现有业务流程的过程中产生了对模型透明度、公平性以及输出质量的要求，使得组织需要持续评估模型的潜在风险。
人工智能可能成为网络攻击的新工具——人工智能同样具备协助攻击者生成大量钓鱼邮件和虚假信息、实施漏洞武器化以及搜寻新的漏洞等工作的能力。一旦攻击者设法绕过人工智能服务的安全限制，人工智能可能成为实施更复杂的网络攻击的有效工具。

德勤持续追踪人工智能安全领域动向并联合行业领先合作伙伴连续多年发布相关报告与白皮书。德勤基于对人工智能的深刻理解，提出了德勤可信人工智能框架。该框架与《生成式人工智能服务管理暂行办法》、《新一代人工智能伦理规范》以及人工智能风险管理框架（AI RMF）的核心内容保持一致并进行了提炼和整理，并已助力部分客户用于评估人工智能治理情况，为建立负责、可信的人工智能解决方案以及对应的数据安全与隐私保护控制奠定了基石。