在当今信息化迅猛发展的时代，网络专业人士正竞相提升人工智能（AI）安全领域的专业技能。随着这一趋势的推进，他们的企业也在快速地引入各类AI工具、平台、应用程序和服务，业界也相应涌现出众多资源，以协助从业者适应这一不断变化的环境。
在此背景下，开放全球应用程序安全项目（OWASP）的AI Exchange成为了其中最具价值的资源之一。OWASP正越来越多地被视为AI安全知识的权威来源，其2023年发布的OWASP LLM Top 10便是最早的体系化AI安全风险列表，该列表详述了大型语言模型（LLM）系统的十大潜在风险，并提供了相应的风险缓解策略。
而最新推出的OWASP AI Exchange是一项开源协作项目，它致力于推动全球AI安全标准、法规和知识的进步与共享。该项目覆盖了AI领域的诸多关键方面，包括主要威胁、漏洞和控制措施。
由于全文较长，这里仅抽取了部分内容供大家简要了解，详细了解可查看原项目：*地址*
AI安全威胁及控制导航
下面的导航图显示了所有威胁、控制措施及其关联方式，包括风险和控制措施类型。
下面的 AI 安全矩阵显示了所有威胁和风险，并按攻击面和生命周期排序。
下图形象的展示了AI面临的一些常见攻击手段和信息泄露风险
AI安全控制内容概要
AI 安全控制（以大写字母表示 - 并在文档中进一步讨论）可以按照元控制进行分组：
- 应用 AI** 治理** （AIPROGRAM）
- 应用信息安全管理 （SECPROGRAM），其中 AI 关注点：1. 新资产：训练/测试数据、输入数据、输出数据、模型参数、模型技术信息以及代码和配置。这取决于它们是否代表重要的知识产权，或者数据是否敏感，或者数据是否可以帮助攻击者设计攻击 （DISCRETE）。2. 新威胁：ISO/IEC 27563（关于人工智能用例安全和隐私）描述了一些人工智能用例的安全性，以帮助进行风险分析，ISO/IEC 23894详细阐述了风险管理。AI Exchange 和即将推出的 ISO 27090（AI 安全）是更全面的威胁和控制来源。3. 需要考虑人工智能监管（CHECKCOMPLIANCE）4. 意识培训需要包括 AI 威胁和控制 （SECEDUCATE）5. 本文档中的信息安全控制属于安全管理活动（例如模型权限、监控、访问控制、数据保护、供应链）
- 将专业的软件工程实践应用于 AI 生命周期 （DEVPROGAM）。
- 将安全软件开发应用于 AI 工程 （SECDEVPROGRAM），并在安全开发时使用涵盖技术应用程序安全控制和操作安全的标准（例如 15408、ASVS、OpenCRE）。AI关注点：1. 确保保护运行时模型及其 IO（RUNTIMEMODELINTEGRITY、RUNTIMEMODELIOINTEGRITY、RUNTIMEMODELCONFIDENTIALITY、MODELINPUTCONFIDENTIALITY、MODELOBFUSCATION）2. 控制模型使用 （MONITORUSE、MODELACCESSCONTROL、RATELIMIT）3. ENCODEMODELOUTPUT（如果它是基于文本的）4. LIMITRESOURCES 防止拒绝服务
- 开发时保护：1. DEVDATAPROTECT（保护训练/测试数据、参数、代码和配置）2. DEVSECURITY（包括工程师筛选在内的进一步信息安全）3. SEGREGATE数据4. CONFCOMPUTE的5. 联邦学习6. 供应链管理
- 全新的应用程序安全控制是 MODELOBFUSCATION 和防止间接提示注入 GenAI 的保护：PROMPTINPUTVALIDATION 和 INPUTSEGREGATION
- 如果数据是敏感的，则限制数据量和存储时间（DATAMINIMIZE、ALLOWEDDATA、SHORTRETAIN、OBFUSCATETRAININGDATA）
- 限制不需要的模型行为的影响（OVERSIGHT、LEASTMODELPRIVILEGE、AITRAINSPARENCY、EXPLAINABILITY）
- 使用模型时的数据科学运行时控制：1. 连续验证2. 不需要的偏见测试3. DETECTODD输入4. 检测对抗输入5. DOSINPUT验证6. 输入失真7. FILTERSENSITIVEMODEL输出8. OBSCURECONFIDENCE（防止重建列车数据）
- 数据科学****开发时控制：1. 连续验证2. 不需要的偏见测试3. EVASIONROBUST模型4. POISIONROBUST模型5. TRAINADVERSARIAL6. TRAINDATADISTORTION7. ADVERSARIALROBUST蒸馏（如果您应用蒸馏）8. FILTERSENSITIVETRAINDATA9. 模型合奏10. 更多火车数据11. SMALLMODEL（防止重建训练数据）12. DATAQUALITYCONTROL（在 5259 中涵盖，但不针对数据操作）
本文转载自: https://blog.csdn.net/weixin_45581780/article/details/142300852
版权归原作者 星尘安全 所有， 如有侵权，请联系我们删除。
版权归原作者 星尘安全 所有， 如有侵权，请联系我们删除。