Security-101 第 8.1 课：AI 安全关键概念——AI 安全与传统网络安全有何异同？
【免费下载链接】Security-1018 Lessons, Kick-start Your Cybersecurity Learning.项目地址: https://gitcode.com/GitHub_Trending/se/Security-101
本篇技术指南是开源课程 Security-101（Cybersecurity for Beginners） 第 8 模块"AI 安全基础"的第一课（8.1），聚焦回答一个核心问题：AI 安全为什么与传统的网络安全不一样，又与传统的 IT 系统安全有哪些相通之处。读完本文，你将掌握数据投毒（data poisoning）、对抗攻击（adversarial attacks）、模型安全（model security）、AI 攻击面扩展、可解释性缺失等关键概念，并能判断哪些传统安全实践可以直接沿用、哪些必须针对 AI 特性重新设计。
本课在整个课程中的学习目标在 README 模块总览 中有明确说明："了解传统安全与 AI 安全之间的差异与相似之处"，每个课时预计 30~60 分钟，末尾附带小测验与延伸阅读，方便按需深入。
一、AI 安全为何不同于传统网络安全
AI 系统之所以难以沿用传统安全思路，根源在于 AI 的学习能力与决策过程与传统软件截然不同：传统软件的行为由人类编写的代码逻辑决定，而 AI 的行为由数据与训练出来的模型共同决定。以下是课程原文给出的五个关键差异维度。
1. 数据完整性（Data Integrity）：训练数据的"下毒"风险
AI 系统高度依赖数据完成学习，因此数据的完整性成为安全的第一道关口。攻击者可以通过操纵训练数据来影响 AI 的最终行为，这种攻击手法被称为数据投毒（data poisoning）。
与传统软件不同，传统软件的"输入"通常是运行时传入的请求参数，而 AI 的"输入"还包括模型成型之前的训练语料。投毒攻击往往在训练阶段就已埋下隐患：攻击者不需要入侵生产环境，只要能在数据采集、标注、存储或传输环节混入恶意样本，就可能让模型在特定场景下产生错误分类或有害输出。这也是为什么 AI 安全必须把**数据管道（data pipeline）**纳入保护范围，而不只是保护运行时的 API。
2. 模型安全（Model Security）：决策模型本身成为攻击目标
AI 的决策模型本身就是可被攻击的对象。攻击者的目标不再局限于"窃取数据"，而是：
- 逆向工程模型：通过反复查询或分析模型输出来推断训练数据、模型结构或参数，进而实施模型窃取（model extraction）或成员推断（membership inference）；
- 利用模型弱点：找到模型在特定输入下的盲区，诱导其做出错误甚至有害的决策。
这意味着安全团队必须把模型权重、模型文件、推理服务等"新资产"纳入资产管理范围，而它们此前在传统安全体系中并不存在。
3. 对抗攻击（Adversarial Attacks）：细微到人眼不可察的输入扰动
AI 系统对对抗性输入扰动极其敏感——攻击者在输入数据上施加极其细微、往往人类无法察觉的改动，就可能让 AI 产生完全错误的预测。例如在图像分类任务中，对像素做微小扰动就能让模型把"熊猫"识别成"长臂猿"；在自动驾驶场景中，贴上精心设计的贴纸就能让车辆视觉系统误读交通标志（该例子在后续课程 8.3 负责任 AI 中被再次引用，说明其现实危害性）。
这类攻击的特殊性在于：防御方难以通过传统签名库或特征检测来发现，因为扰动几乎不改变数据的人类可感知语义，只改变模型内部的表征。
4. 基础设施安全（Infrastructure Security）：多出"云与专用硬件"的复杂度
传统网络安全同样关注基础设施保护，但 AI 系统在基础设施层面引入了额外复杂性：
- 云化服务：模型训练与推理大量依赖云平台，涉及 GPU 集群、对象存储、模型注册表、托管推理端点等新组件；
- 专用硬件：GPU、TPU、NPU 等加速硬件的安全配置、固件更新与资源隔离，都是传统服务器运维之外的新课题；
- 训练与推理环境隔离：训练数据、模型权重、推理日志在存储与网络层面需要更细粒度的访问控制。
5. 伦理考量（Ethical Considerations）：安全策略必须回应隐私与偏见
在安全中使用 AI 会带来传统安全较少触及的伦理问题：
- 隐私关切：AI 依赖海量数据，若数据采集、使用与留存不当，会形成系统性隐私风险；
- 决策偏见：训练数据中的历史偏见会被模型放大并固化，导致不公平的自动决策。
这些伦理因素不再是"锦上添花"的讨论，而是必须在安全策略制定阶段就纳入的硬性约束。
小结：保护 AI 系统需要一套不同的方法论——不仅要保护数据、模型与学习过程，还要考虑 AI 部署带来的伦理影响。
二、七大维度：AI 威胁的复杂性远超传统系统
在第一节的五个差异基础上，课程进一步从威胁特征的角度给出了 AI 安全与传统网络安全之间的七点对比。这七点可以理解为上一节的延伸与细化。
1. 威胁的复杂性（Complexity of Threats）
传统网络安全主要处理恶意软件、钓鱼攻击、网络入侵等威胁，攻防双方对抗的是"代码与网络"；而 AI 系统引入了针对机器学习算法本身的攻击类型：
- 对抗攻击（adversarial attacks）：输入扰动导致错误输出；
- 数据投毒（data poisoning）：污染训练数据影响模型行为；
- 模型逃逸（model evasion）：找到模型决策边界的漏洞，使恶意样本绕过检测（例如让恶意软件被分类为良性）。
这些攻击的对象是算法与数据，防御思路与签名、补丁式修复完全不同。
2. 攻击面更大（Attack Surface）
AI 系统的攻击面比传统系统更大，因为它不只依赖软件，还依赖数据与模型两类新资产。攻击者可选择的切入点是三维的：
| 攻击目标 | 典型手段 |
|---|---|
| 训练数据 | 数据投毒、数据窃取、训练样本逆向 |
| 模型 | 模型操纵、模型窃取、后门注入 |
| 算法本身 | 利用算法漏洞、梯度信息泄露 |
3. 威胁的适应性（Adaptability of Threats）
AI 系统会从环境中学习和适应，这带来一个悖论：防御手段在进化，攻击也在根据 AI 的行为持续演化。传统基于固定规则的安全措施可能不足以应对"随着 AI 行为不断演变"的攻击——攻击者可以观察模型输出、调整攻击样本，形成动态攻防循环。
4. 可解释性与可解释性缺失（Interpretability and Explainability）
理解"AI 为什么做出某个决定"往往比理解传统软件困难得多。这种可解释性（interpretability）与可解释性（explainability）的缺失直接削弱安全能力：
- 难以定位攻击发生的具体环节（是数据问题、模型问题还是推理输入问题）；
- 难以向审计方、监管方解释安全事件根因；
- 难以验证缓解措施是否真正生效。
5. 数据隐私风险（Data Privacy Concerns）
AI 系统往往依赖大规模数据，若处理不当会引入传统安全未充分覆盖的隐私风险。除了合规层面的数据保护，AI 还面临特有的隐私泄露通道，例如通过模型输出反推训练数据中的个人信息。
6. 监管合规（Regulatory Compliance）
AI 安全的监管环境仍在演进中：专门针对 AI 系统独特挑战的法规与标准正在陆续出台。传统网络安全框架可能需要扩展或适配，才能满足这些新兴法规的合规要求。这意味着安全团队需要持续跟踪监管变化，并把合规要求映射到 AI 系统的数据、模型与部署三个层面。
7. 伦理考量（Ethical Considerations）
AI 安全不仅是"防攻击"，还包括确保 AI 被合乎伦理地、负责任地使用——涉及公平性（fairness）、透明度（transparency）与问责制（accountability）。这些维度在传统网络安全中并不突出，但在 AI 场景下直接关系到系统是否会被滥用（例如算法歧视、无监督监控），也因此与 8.3 负责任 AI 一课的"由 AI 非伦理使用引发的安全问题"形成呼应。
三、AI 安全与传统 IT 系统安全的四个共同点
尽管差异显著，课程明确指出：保护 AI 系统与传统网络安全共享若干基本原则，AI 安全并非从零开始，而是"继承传统 + 适配 AI 特性"的混合方法。
- 威胁防护（Threat Protection）：AI 系统与传统系统一样，都需要防范未授权访问、数据篡改与破坏等通用威胁。身份认证、访问控制、加密等基础控制依然有效。
- 漏洞管理（Vulnerability Management）：影响传统系统的许多漏洞——软件缺陷、错误配置等——同样会影响 AI 系统。AI 应用本身仍是软件，代码审计、配置加固、依赖管理不可缺席。
- 数据安全（Data Security）：防止数据泄露、保障机密性在两个领域同等重要。数据分类分级、加密存储与传输、访问审计依然是基石（可参见课程第 7 模块 7.1 数据安全关键概念）。
- 供应链安全（Supply Chain Security）：两类系统都面临供应链攻击——任何一个被攻陷的组件（开源库、预训练模型、第三方依赖）都可能削弱整个系统的安全性。对 AI 而言，"模型供应链"（基础模型、模型托管平台、训练数据集）是比传统软件供应链更广的新维度。
核心结论：AI 系统引入了新的安全挑战，但同时也要求沿用成熟的网络安全实践来确保稳健防护。正确姿势是"复用传统安全智慧，同时适配 AI 技术的独有特征"。
四、从概念到落地：AI 安全能力与工具速览
理解了 8.1 的概念框架后，可以自然延伸到第 8 模块后续课程，看到这些威胁如何被实际工具应对：
- 8.2 AI 安全能力：介绍当前可用的 AI 安全工具与能力，包括开源自动化安全测试工具 Counterfit、评估模型对抗鲁棒性的对抗机器学习工具、开源 AI 安全工具包，以及企业与 AI 社区协作开发的 AI 供应链安全扫描器；同时对比了AI 红队（AI red teaming）与传统红队的差异——AI 红队不仅探测安全漏洞，还要测试提示注入（prompt injection）、非预期输入行为、恶意与非恶意的各类系统失效，是"设计即负责任 AI"的一环。
- 8.3 负责任 AI：讲解负责任 AI 与 AI 安全如何相互交织——伦理考量、鲁棒性与可靠性、透明度与可解释性、问责机制四者既是负责任 AI 的原则，也是 AI 安全的核心要求；并给出了"如何让 AI 系统既安全又合乎伦理"的实践步骤（遵循伦理原则、部署稳健安全措施、引入多元利益相关者、保证透明度、维护数据隐私、启用人类监督、跟踪 AI 安全研究、遵守法规）。
- 8.4 模块测验：通过测验检验本模块概念掌握情况。
本仓库采用 docsify 构建（见 index.html），所有课时文档（含多语言翻译，韩文版位于 translations/ko）可直接在浏览器中按章节浏览。
五、本节要点速查
- AI 安全的核心差异：数据完整性（数据投毒）、模型安全（逆向/利用弱点）、对抗攻击（细微输入扰动）、基础设施复杂度（云服务与专用硬件）、伦理考量（隐私与偏见）。
- AI 威胁的七个特征：威胁更复杂、攻击面更大、威胁可自适应演化、可解释性缺失、数据隐私风险、监管环境仍在演进、伦理责任更重。
- 与传统安全的相通之处：威胁防护、漏洞管理、数据安全、供应链安全四大原则可直接沿用。
- 总体方法论：混合路径——继承传统安全实践，同时针对 AI 的数据—模型—学习过程重新设计保护与审计机制。
延伸阅读（原文档推荐）
课程原文在本节末尾推荐了四份权威资料，建议按需研读：网络安全领域经典读物Not with a Bug, But with a Sticker（书籍）；面向初学者的 AI 安全入门系列文章Intro to AI Security Part 1: AI Security 101；微软安全博客发布的AI 安全风险治理最佳实践；以及 OWASP 基金会维护的AI 安全与隐私指南（该指南对 AI 系统威胁建模与攻击面梳理非常系统，可作为本课概念图的工程化补充）。
【免费下载链接】Security-1018 Lessons, Kick-start Your Cybersecurity Learning.项目地址: https://gitcode.com/GitHub_Trending/se/Security-101
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
