目的
为避免一学就会、一用就废，这里做下笔记
内容
分类规则
机器学习，通常根据学习过程中系统接收的“监督信号”类型和形式来分类
具体分类
1. 监督学习
- 核心：使用“已标注”的数据集进行训练。每个训练样本都包含输入特征和对应的正确输出标签。
- 目标：学习从输入到输出的映射函数，以便对新的、未见过的输入做出准确预测。
- 主要任务：
- 分类：预测离散的类别标签。
- 二分类：垃圾邮件过滤（是/否）。
- 多分类：图像识别（猫/狗/鸟）。
- 回归：预测连续的数值。
- 示例：预测房价、预测销售额。
- 分类：预测离散的类别标签。
- 典型算法：线性回归、逻辑回归、支持向量机、决策树、随机森林、神经网络。
2. 无监督学习
- 核心：使用“未标注”的数据集进行训练。只有输入特征，没有给定的输出标签。
- 目标：发现数据内在的结构、模式或分布。
- 主要任务：
- 聚类：将数据分成有意义的组，使得组内相似度高，组间相似度低。
- 示例：客户细分、新闻主题分组。
- 降维：在尽可能保留关键信息的前提下，减少数据特征的数量，以用于可视化、去噪或作为监督学习的预处理步骤。
- 示例：主成分分析（PCA）、t-SNE。
- 关联规则学习：发现数据中特征之间的有趣联系。
- 示例：购物篮分析（“买啤酒的人常买尿布”）。
- 聚类：将数据分成有意义的组，使得组内相似度高，组间相似度低。
- 典型算法：K-Means、层次聚类、DBSCAN、PCA、自编码器。
3. 强化学习
- 场景：竞技游戏、机器人控制、自动驾驶等
- 核心：智能体通过与环境互动来学习。智能体根据当前状态采取行动，环境给予奖励或惩罚的反馈信号。
- 目标：学习一个策略，使得智能体通过一系列行动能获得最大的累积奖励。
- 关键要素：状态、动作、奖励、策略、价值函数。
- 特点：没有“标准答案”，只有延迟的、稀疏的反馈。强调序列决策和探索与利用的权衡。
- 典型算法：Q-Learning、策略梯度算法、深度强化学习（如DQN、AlphaGo）。
4. 半监督学习
- 核心：训练数据中，少量昂贵的标注数据提供“标准答案”，而大量易得的无标签数据帮助模型更好地理解数据的整体分布和内在结构，从而填补知识空白，学习更强大、更通用的特征表示。
- 动机：在实际应用中，获取标签成本高昂，而无标签数据则相对容易获得。
- 场景/案例
医学影像分析、网页分类、工业视觉检测（质检）等
5. 自监督学习
- 核心：一种“无中生有”的学习方式。从数据自身构造监督信号，生成“伪标签”进行学习。
- 示例：
- 在NLP中：掩码语言模型（如BERT），通过预测被遮蔽的词语来学习。
- 在CV中：对比学习（如SimCLR），通过判断两个图像增强版本是否来自同一原图来学习。
- 意义：是当前大模型预训练的核心技术，能充分利用海量无标签数据。
6. 迁移学习
- 核心：将一个领域（源领域）上训练好的模型或知识，应用于另一个相关但不同的领域（目标领域）。
- 方法：通常复用预训练模型的部分层（特征提取器），只对最后几层进行微调。
- 价值：极大减少目标领域所需的数据量和训练时间。ImageNet上预训练的CNN是经典例子。
总结对比
| 类型 | 数据形式 | 监督信号 | 目标 | 经典应用 |
|---|---|---|---|---|
| 监督学习 | 带标签 | 明确、直接 | 预测、映射 | 分类、回归、预测 |
| 无监督学习 | 无标签 | 无 | 发现结构 | 聚类、降维、推荐 |
| 强化学习 | 交互序列 | 延迟奖励/惩罚 | 最优决策 | 游戏、机器人、自动驾驶 |
| 半监督学习 | 少量标签+大量无标签 | 混合 | 利用无标签数据提升性能 | 网页分类、医学影像 |
| 自监督学习 | 无标签（自身构造） | 自动生成 | 学习通用特征表示 | 大语言模型、视觉预训练 |
| 迁移学习 | 源领域+目标领域 | 源领域有，目标领域可能无 | 知识迁移与适应 | 图像识别、自然语言处理 |
这个分类体系是理解和应用机器学习的基础。在实际项目中，常常需要根据问题特点和数据情况，灵活组合或选择这些范式。
