模型威胁评估：评估生成式 AI 工作负载的安全风险

关键要点

在生成式 AI 模型日益融入商业应用的背景下，评估其潜在的安全风险至关重要。本文概述了有效进行生成式 AI 工作负载威胁建模的关键步骤，以及最佳实践和示例，以帮助企业在采用新技术时保持高安全标准。

在 AWS reInvent 2023 大会上，我们对此进行了专题演讲，帮助数百位客户安全地采用新技术并维持高效的决策能力。本文还将提供使用 AWS 开源工具 Threat Composer 进行威胁建模的示例和指南。

为何使用威胁建模生成式 AI？

新技术在识别和缓解其独特安全风险方面常伴随学习曲线，生成式 AI 同样如此。这些工作负载特别是大型语言模型由于其输出高度自定义且不确定，给安全带来了新的挑战。此外，这类模型通常依赖于大量内部数据，可能包含敏感信息。

蘑菇vp加速器

尽管处理大型语言模型的实践相对新颖，并且有一些特有的安全风险，但仍需认识到它们只是更大工作负载的一部分。在系统的各个部分应用威胁建模方法，考虑已知威胁如注入攻击或凭证泄露是很重要的。

生成式 AI 威胁建模的四个阶段

威胁建模是一种系统化的方法，用于识别、理解、解决和沟通特定系统或应用的安全风险。AWS 将威胁建模视为启动应用程序安全AppSec过程的必要输入，构建团队得到安全顾问的支持，以构建其特性或服务的威胁模型。

以下是结构化威胁建模方法的四个关键问题：

我们在做什么？会发生什么问题？我们将如何应对？我们的工作做得够好吗？

我们在做什么？

此问题旨在深入了解业务背景和应用架构。详细信息应作为生成式 AI 解决方案构建者创建的系统文档的一部分。通过从这些文档出发，您可以简化威胁建模过程，专注于识别潜在威胁和漏洞，而不必重建基础系统知识。

示例成果或交付物

构建者应至少记录解决方案的关键组件，包括数据流、假设和设计决策：

清晰描述应用程序关键数据流的数据流图DFD关于用户如何与系统交互的假设业务的关键设计决策及其背后的理由应用程序的详细业务背景

会发生什么问题？

通过上一个问题收集到的上下文信息，确定应用程序可能面临的威胁。利用现有的知识库如 OWASP十大、MITRE ATLAS框架或AI风险仓库以发现潜在威胁。

您可以将这些威胁撰写为威胁陈述，确保一致性和简洁性。遵循以下语法：

[威胁源] 拥有 [前提条件] 可以 [威胁行为] 导致 [威胁影响] 负面影响 [受影响资产]。

示例威胁陈述有访问公共应用程序的威胁行为者可以插入恶意提示，重写现有系统提示，导致返回其他患者的医疗数据，从而影响数据库中的数据机密性。

我们将如何应对？

识别可能的威胁后，考虑哪些控制措施适合缓解与这些威胁相关的风险。为每个威胁定义特定的缓解策略，建议每个威胁至少关联一个预防性控制和一个检测性控制。

示例成果或交付物

与每个威胁相应的缓解措施列表，每个措施附带唯一标识符以便后续查阅。

例如： M001 预定义 SQL 查询结构 M002 知名参数的过滤输入过滤

我们的工作做得够好吗？

威胁模型是一个动态文档，需要不断验证所识别的缓解措施的有效性。需定期对威胁建模流程进行回顾，确保与业务、构建团队和安全职能之间的互动畅通。

示例输出基于缓解措施的自动化测试用例定义渗透测试的范围及基于威胁的测试用例

结论

通过本文，我们探讨了对生成式 AI 工作负载进行威胁建模的实用方法，涵盖了识别潜在威胁、定义缓解策略和验证流程有效性等关键步骤。通过遵循这些步骤，组织能够更好地维护高安全标准，并在采用生成式 AI 技术时保障系统和数据的安全与隐私。

如需深入了解生成式 AI 安全方面的其他内容，请查看《保护生成式 AI》系列的其他文章。