机器学习、深度学习算法分别有哪些？
经常有初学者问我：“深度学习到底有哪些算法？跟机器学习的那堆算法是不是要分开记两套？”老实说，这个问题我每次答完都觉得没答透——因为两边不是简单的“两个篮子”，而是你中有我、我中有你的关系，而且每一种算法背后都对应着一类问题和一套思维模式，光报名字列表根本没意义。
这篇文章想把这件事讲清楚：我会先拆解机器学习和深度学习的从属关系与核心差异，再分别梳理两边的主流算法体系，然后给出一个“在真实项目里到底选哪边”的判断思路。不管你是刚入门想搭知识框架，还是做工程想选型，应该都能用得上。文章不求面面俱到，但凡是写到名字的算法，我都会把它“解决什么问题、本质思路是什么、适合什么场景”这三件事说透。
1. 先厘清一件事：机器学习、深度学习算法是谁包含谁
很多人把“机器学习算法”和“深度学习算法”当成并列的两大类，这其实是最大的误区。深度学习从来不是和机器学习平级的另一个学科，它就属于机器学习的一个分支，只不过这个分支在过去十几年里成长得太快，以至于单独拎出来讨论更有意义。
1.1 从“学特征”的思路上理解两者的分岔
传统机器学习算法的核心套路是：人先把原始数据加工成特征，再交给算法去拟合一个从特征到结果的映射。这个“加工特征”的过程通常叫做特征工程，非常依赖人对业务领域的理解。比如做房价预测，你得知道“房龄”“面积”“周边配套”这些字段怎么组合成有预测力的特征；做垃圾邮件识别，你要会写规则去抽取出“发件人域名”“措辞模式”之类的特征。算法做的是在已经给定的特征空间里找规律，它自己不会（或者说很难）去发现新的、更高层次的抽象特征。
深度学习则把特征工程这件事也一并自动化了。它的核心结构多层神经网络，天然就在做一件事：把原始输入逐层抽象。拿图像识别来说，输入是一堆像素，网络的第一层可能在学“边缘”，第二层学“角点”，第三层学“轮毂”“车窗”这类部件，到了深层才形成“这是一辆汽车”的判断。你不需要手工告诉网络边缘是什么，它自己从数据里学出来了。
所以“机器学习算法”与“深度学习算法”真正分岔的点，不是算法技巧本身，而是对特征的处理方式：一个靠人来设计特征，一个靠网络结构自动习得特征。
1.2 深度学习算法也是机器学习算法，别把科目割裂开
既然如此，深度学习算法在数学上同样属于机器学习的范畴，它同样满足“用数据学习规律、用规律做预测或决策”的大框架。之所以业界习惯单独讨论，主要是两点原因：一是深度学习算法的实现和调参与传统算法差距极大，需要GPU、大规模矩阵运算、反向传播这些专门的工具链；二是深度学习模型的结构无限多样，你可以随意堆叠卷积、循环、注意力、归一化等模块，而传统算法往往有固定的数学形式。
这也解释了为什么在很多面试或系统设计题里，你会发现最优解常常是“传统机器学习+深度学习混合使用”—— 两者不是替代关系，而是互补关系。把这一点立住了，后面聊“有哪些算法”才不会被分类框限制住思路。
2. 机器学习算法的完整图谱：按学习方式分最清楚
机器学习算法最实用、最不容易混淆的分类维度，是按学习方式划分。因为每一种学习方式对应一种数据形态和任务目标，算法的名字就好记了。
2.1 监督学习：给答案学规律，覆盖大多数业务场景
监督学习的数据形式是“特征+标签”，就是每条样本都带着一个标准答案。模型的任务是从这些“问题-答案”对里学到规律，然后去预测没见过的数据。按标签类型又分成回归和分类两路。
回归算法用于预测连续数值，比如房价、销量、温度。最基础的是线性回归，它假设因变量和自变量之间是直线关系，求解时用的最小二乘法，本质是让预测值和真实值之间的平方误差最小。如果特征之间存在多重共线性，直接上线性回归参数会抖得厉害，这时候岭回归（加了L2正则）和Lasso回归（加了L1正则，还能自动筛特征）会更稳。决策树回归则把特征空间切成一堆矩形区域，在每个区域里取均值作为预测值，非线性关系也处理得了。
分类算法用于预测离散类别，典型场景包括信贷风控、疾病诊断、图像分类。这里面每一家都有看家本领：
- 逻辑回归：名字带“回归”，干的却是分类的活。它在线性回归外面套了一层Sigmoid函数，把输出压缩到0和1之间当作概率。它在工业界地位极高，倒不是因为它精度最强，而是因为简单、可解释、训练快，而且可以在此基础上做海量的特征交叉实验。
- 决策树：像一系列“如果…那么…”规则的集合，选哪个特征、在哪个阈值上分裂，依据是信息增益或基尼系数。它有一个有趣的特性：几乎不需要做数据标准化，对缺失值和异常值都有不错的容忍度。
- 随机森林：用有放回抽样（Bootstrap）生成多棵不同的树，每棵树投票得出结果。随机森林的成功在于同时引入了“样本随机性”和“特征随机性”，让每一棵树都长得不太一样，最后投票时单个树过拟合的坏影响被群体摊平了，方差一下小很多。
- 梯度提升树（GBDT）与其升级版XGBoost、LightGBM：和随机森林的并行建树不同，GBDT是串行地一颗一颗地�不断加树，新树专门去拟合前面所有树汇总后的残差。到XGBoost、LightGBM这一代，又加入了正则项、直方图分箱（把连续特征离散成桶，大幅加快训练）、叶子节点级别的并行等优化，在表格类数据上，它几乎是无冕之王。
- 支持向量机（SVM）：核心是找一个超平面把两类数据分开，并且让这个超平面离两边最近的样本点（支持向量）的间隔最大。面对线性不可分的数据，SVM通过核函数把数据映射到高维空间去画这个超平面。它的数学很漂亮，在小样本、高维数据上往往有奇效，但样本量一大训练成本就上来了，所以在工业级大规模场景里没有GBDT那么常用。
- 朴素贝叶斯：基于贝叶斯定理，假设特征之间相互独立。虽然这个“朴素”假设在真实世界几乎不成立，但它计算量极小、需要的数据量也小，在做文本分类（比如垃圾短信识别）时效果出人意料地好。
- K近邻（KNN）：最懒也最直观的算法，不训练，预测时直接找离待预测样本最近的K个邻居投票。它适合样本量不大、特征维度不高的场景，而且非常吃特征缩放——不标准化的话，数值大的特征会把距离计算完全带偏。
2.2 无监督学习：无人指挥也能发现结构，数据探索的利器
无监督学习的数据没有标签，算法要自己从数据里发现结构。它不像监督学习那样“有标准答案对错”，更像是在帮忙理解数据本身长什么样。
聚类是其中最主要的任务，目标是“物以类聚”。K-Means是最经典的做法：先随机定K个中心点，把每个样本归到离它最近的中心，再重新计算中心位置，如此循环迭代。它快、直观，但K要自己定，而且对初始中心和离群点很敏感。DBSCAN则是一个密度聚类算法，它不需要事先指定类别数，只要某个区域里样本密度达到阈值就蔓延出一片簇来，还能顺手把稀疏区域的点标为噪声。它非常适合有大量异常点的散点数据，比如用户地理位置的聚类。层次聚类则是从上到下或从下到上地合并/分裂簇，输出一棵树状图，最常用在群体遗传分析、物种分类这类需要看层级关系的场景。
降维是另一大类无监督方法。**主成分分析（PCA）**把原始特征映射到一组相互正交的新坐标系里，按方差大小排序，只取前几个主成分，就能用很少的维度解释绝大部分数据的波动。在做数据可视化（把高维降到2维/3维）和加速模型训练时，PCA是起步操作。
关联规则处理的是“买了A的人常常还买B”这类问题。最有名的是Apriori算法，它用“频繁项集”的概念去扫描数据集，找出频率超过阈值的组合，再从中提取强关联规则。超市购物篮分析、电商交叉销售推荐，靠的就是这套逻辑。
2.3 半监督学习与强化学习：两个容易被忽略的“旁支”
半监督学习介于监督与无监督之间，它利用“少量有标签+大量无标签”的数据来训练。思路通常是先用有标签数据训练一个初始模型，再用这个模型去给无标签数据打伪标签，挑置信度高的样本混合进训练集继续迭代。这个技术在医疗影像、工业质检这种“标注成本极高但未标注数据源源不断”的场景里非常实用。
强化学习从算法分类上完全属于另一套哲学：它没有现成标签，而是让智能体在环境里通过试错获得奖赏信号，学习一套策略来最大化长期累计奖励。Q-Learning和**深度Q网络（DQN）**是其中两个代表性算法：前者用一张Q表记录“在某个状态做某个动作”的期望收益，后者在状态空间太大、Q表装不下时用神经网络来近似这个Q函数。游戏AI、机器人控制、自动竞价这类“交互决策型”任务，都是强化学习的典型舞台。
2.4 给传统机器学习算法排个优先级的话，我会这么排
如果你时间有限，我建议按下面的顺序学：先学线性回归和逻辑回归建立直觉，再学决策树和随机森林理解集成思想，接着重点啃XGBoost/LightGBM——在结构化数据上它基本是实战首选，最后了解SVM和KNN作为补充武器。聚类和降维在探索阶段会用到，要会调但不用钻太深。
3. 深度学习不是算法的大杂烩，它是架构的演化史
深度学习里的“算法”和传统算法跑的不是一个路子。它更像是在搭一套端到端的神经网络架构，你选择哪种架构，取决于数据形态（图像、文本、序列、组合关系）和任务目标。理解了这一点，拿到任何一篇新模型论文，你都能迅速归类。
3.1 基础骨架：全连接网络（MLP）与反向传播
全连接神经网络/多层感知机（MLP）是一切的起点。它由输入层、若干隐藏层、输出层组成，每一层的每个神经元都和上一层的所有神经元相连，层与层之间通过激活函数（最常用的是ReLU，给网络引入非线性）做变换。训练它的关键机制是反向传播：将预测值和真实值的误差从输出层一层一层往回传，利用链式法则计算每个权重对误差的贡献，然后用随机梯度下降（SGD）或Adam这类优化器去更新权重。
MLP的问题也非常明显：参数数量随输入维度平方级膨胀，而且在图像这类高维数据上，全连接结构不会利用像素的空间位置信息，学起来又慢又容易过拟合。所以说到底，整个深度学习架构演进史，很大程度上就是一部“如何更好地利用数据本身的结构”的奋斗史。
3.2 卷积神经网络（CNN）：为图像而生的空间结构利用者
卷积神经网络之所以叫“卷积”，是因为它用卷积核（一个小的二维权重窗口，比如3×3）在输入图像上滑动，每个位置做一次内积运算，提取局部特征。和全连接相比，卷积就两个杀手锏：参数共享（同一个卷积核扫遍整张图，权重数量不随图像尺寸变大而膨胀）和局部连接（每个输出只看输入的一小块邻域，天然贴合“邻近像素才有关系”的图像原理）。
卷积层之后一般跟着池化层（常用最大池化，取2×2区域里的最大值），作用是下采样、降维，也带来一定的平移不变性。经典结构一路从LeNet（手写数字识别）走到AlexNet（靠ReLU+Dropout+GPU把ImageNet大杀四方）再到ResNet（引入残差连接，让上百层的网络也能训练起来）。到今天，虽然Transformer在视觉上攻城略地，CNN在轻量级设备、图像底层特征提取上依然是绝对主力。
3.3 循环神经网络（RNN/LSTM/GRU）：处理时间序列和文本的序列建模
如果数据是有先后顺序的——一段语音、一句文本、连续几天的股票交易记录——传统的卷积和全连接就没法直接处理了，因为它们是空间性的模型，只看位置不看先后。**循环神经网络（RNN）**的做法是在时间维度上共享同一套参数：每一个时间步都接收当前输入和上一时间步的隐藏状态，两者融合后输出当前步的结果并传给下一步。
RNN有一个流传很广的毛病：梯度消失。序列一长，最早的信息传到最后，梯度几乎衰减到零，模型就“记不住远的事情”。为此诞生了两大改良：**LSTM（长短期记忆网络）**专门设计了一个“细胞状态”和三个门（输入门、遗忘门、输出门），让网络可以自主决定记住什么、丢掉什么；GRU则进一步把门从三个精简到两个，参数更少、训练更快，在很多场景下效果和LSTM几乎相当。这类模型适合语音识别、机器翻译、时序预测等任务。当然，Transformer之后，长序列任务的主流已经是注意力机制的天下了，但RNN家族在在线学习、低延迟推断等场景里仍有价值——毕竟它天然是逐个时间步消费输入的。
3.4 Transformer与注意力机制：近十年最重要的一次范式转移
Transformer的全部核心竞争力，就是那个自注意力机制（Self-Attention）。它的核心思想是：在处理一个序列时，让序列里的每个位置都去计算自己跟其他所有位置的相关程度（用点积算出注意力权重），然后按照权重把所有位置的信息加权融合。一个词的含义不再只看它自己，而是看它在当前上下文里“注意”到了什么。
相比RNN，Transformer有两个决定性优势：一是并行计算，因为它不依赖串行的时间步，整个序列可以同时计算；二是远距离依赖，因为任意位置之间只需一次注意力计算就能直接建立联系，不存在信息层层传递的衰减。2017年那篇“Attention Is All You Need”的论文提出这个架构之后，先是在机器翻译领域取代了RNN，随后BERT（双向编码器）和GPT（自回归解码器）等预训练语言模型相继登场，把NLP推向了大模型的爆发期。再往后，Transformer还被跨行用到了图像分类（Vision Transformer）、蛋白质结构预测、多模态理解等方向。
在实际用Transformer的时候，有几个词你一定会频繁碰到：多头注意力（Multi-Head Attention），就是把注意力分成多个子空间并行去算，让每个头关注不同角度的关系；位置编码（Positional Encoding），因为并行结构没有天然的先后概念，必须在输入上叠加一个位置信号；训练时的层归一化和残差连接，是让深层的Transformer能稳定收敛的关键。
3.5 生成模型：自编码器、GAN与扩散模型，不只是“分类”的世界
前面所有的网络结构都是在学“从输入到输出的映射”，而生成模型的目标是让模型学会“数据到底是怎么生成的”，然后可以直接生成全新样本。**自编码器（Autoencoder）**是最朴素的一支：它把输入压成一个低维的“编码”向量，再尝试把编码还原成原始输入。压缩的过程就逼迫网络去抓住数据的核心特征，训练完只要扔掉解码器，编码器就可以拿来做特征抽取、降噪和数据压缩。
**生成对抗网络（GAN）**则是一套非常聪明的双人游戏：生成器负责制造以假乱真的样本，判别器负责分辨真伪，两者在对抗中共同变强。它在图像生成、风格迁移、AI换脸等场景里名噪一时，但训练很有名的“不稳定”——生成器和判别器很容易一方碾压另一方，导致训练崩盘。
近两年开始唱主角的是扩散模型（Diffusion Model），像当前图像生成领域的头部模型大多走的是这条路。它的思路是先用一个过程逐步把真实图像加噪声变成纯噪声，然后训练一个网络反向地一步步去噪，最终从纯噪声里恢复出一张新图。扩散模型生成质量高、训练稳定性比GAN好一大截，但代价是生成速度慢（要迭代很多步去噪）。实在要打个比方的话：GAN像一个急于求成的画家与挑剔的评审互相较劲，扩散模型则像一个非常有耐心的人，从一团浆糊里一点点把画面“擦”出来。
3.6 深度强化学习与预训练大模型：深度学习在更大尺度上的又一次燃烧
深度强化学习的本质，是把神经网络接在强化学习这个框架上。**深度Q网络（DQN）**是第一个让人眼前一亮的代表，它用卷积网络处理游戏画面，直接端到端学习游戏操作，那年在Atari游戏上横扫人类选手，整个领域就是从那时被点燃的。后来的Alpha系列围棋模型、机器人策略学习、自动驾驶决策模块，基本都是在“策略梯度”“演员-评论家”这类强化学习框架下用深层网络做策略表示。
而预训练大模型是当前最宏大的一条线。它用的是自监督学习思路：不加人工标注，直接从海量文本里构造学习任务（比如“盖住一个词让模型猜出来”，或者“预测下一句话是什么”）。一个万亿参数规模的模型先在海量数据上完成预训练，学到通用的语言知识和常识，再通过**微调（Fine-tuning）或提示词（Prompt）**等方式适配具体任务。它没有发明全新的“算法”，而是把注意力架构、规模经济、分布式训练、数据工程这些要素全部拉满，形成了一次令人瞠目结舌的能力涌现。
4. 同一个任务，传统算法与深度算法的实战分界点
纸上谈兵没用，真正做好技术选型才是关键。我基于自己这几年做项目的经验，把常见数据形态和任务的推荐方案列在下面，当然每个场景都有例外，但这个表可以作为绝大多数情况的起点。
| 任务/数据形态 | 传统机器学习方案 | 深度学习方案 | 我的选型倾向 |
|---|---|---|---|
| 中小规模表格数据（风控、营销、销量预测） | XGBoost/LightGBM，加特征工程 | MLP/Transformer表格模型 | 首选GBDT，数据和特征工程性价比极高 |
| 海量表格数据（千万级以上） | 几乎没戏 | MLP/DLRM类模型 | 深度学习能吃下更大数据量 |
| 图像分类、目标检测、图像分割 | 手工特征（HOG, SIFT）+SVM，精度有限 | CNN（ResNet、YOLO、U-Net），或VIT | 无脑选深度学习，传统方案只作基线 |
| 文本分类、情感分析、命名实体识别 | TF-IDF+朴素贝叶斯/逻辑回归 | BERT类预训练模型微调 | 小规模快速验证用传统方案，品质优先用预训练模型 |
| 机器翻译、摘要 | 基本不存在传统方案 | Transformer系的seq2seq | 必须深度学习 |
| 时间序列预测 | 自回归、XGBoost滞后特征 | LSTM/Transformer时序模型 | 先试XGBoost，平滑序列可考虑ARIMA，非线性依赖复杂再上深度学习 |
| 异常检测 | 孤立森林、DBSCAN、OCSVM | 自编码器重构误差 | 数据维度高、非线性强用自编码器 |
| 交互决策类（游戏、机器人、调度） | Q-Learning表式方法 | DQN、PPO等深度强化学习 | 必须深度强化学习 |
| 数据探索、可视化 | PCA、t-SNE、层次聚类 | 自编码器做非线性降维 | 起步用PCA，非线性结构明显再上AE |
4.1 特征工程、训练成本与可解释性的三角权衡
我知道很多人一到“深度学习”四个字就自动兴奋，但真实项目里必须冷静。
先说数据量门槛。深度学习不是魔法，它对数据量的胃口是天文数字。一个简单的图像分类任务没有几万张图都不太好训练；而XGBoost可能几千条干净样本就能打得有模有样。问题在于，现实中很多业务场景的可用数据可能就是几千到几万条——这时候别犹豫，传统机器学习方案才是正解。
**再说成本结构。**深度学习训练需要GPU集群、分布式框架、动辄数个小时甚至数天的迭代周期，调参空间大到没有天花板。而XGBoost在一台CPU服务器上几十分钟就能训完一套不错的模型，而且它的收敛几乎不怎么挑超参。如果你们团队没有专门的算法工程师配置，或者业务迭代节奏是“一周一版本”，传统方案能帮你活着走到那个需要深度学习来突破拐点的时刻。
**最后说可解释性。**金融、医疗、法律这些领域的合规性要求模型说得出“为什么”。线性回归、逻辑回归、决策树天然透明：每个特征是怎么影响的，一一列得出。随机森林和GBDT可以通过特征重要性、SHAP值做出一份说得过去的解释。但深度神经网络内部的黑箱程度更高，那些复杂的高阶特征交互不好向审计师解释，有些场景不是你模型精度高就行的。
4.2 一个真实项目里的混合决策案例
我之前做过一个贷款风控的项目，刚开始很自然地拉了一堆深度学习模型去拼AUC，结果训了半天效果还不如LR顺手。后来老老实实退回去做特征工程：把银行流水数据转成频次、波动率、近三个月趋势、额度利用率这类业务特征，再用XGBoost建模，线上AUC比基准高了一大截，而且业务团队要我解释每条规则对坏账率的影响，我也能给得清清楚楚。
与此同时，项目里的用户行为序列数据（比如点击流）是XGBoost怎么切特征都吃不满的——因为用户行为是变长的、强依赖时序的，手工特征根本没法完全表达“最近10次操作之间的顺序关系”。最终我们在这个子任务上用了LSTM网络，把序列建模的能力补上。两个模型各管一段，业务效果远好于任何一边单打独斗。
这是个非常典型的形态：传统机器学习负责结构化数据的主干分析，深度学习负责非结构化数据的补充理解。这样既控制了成本，又兼顾了精度和可解释性。
5. 给新手的学习顺序与选型建议
算法名单可以列得很长，但人的精力是有限的，路径选错了，学三个月还在原地打转。
5.1 四个阶段的算法学习路线
第一阶段：把机器学习的地基打牢。重点学习线性回归、逻辑回归、决策树、随机森林、GBDT这五个模型，配合sklearn做练习。目标不是看懂公式，而是能独立完成一个端到端流程：数据清洗、特征工程、模型训练、调参、评估（包括Precision、Recall、F1、AUC这些指标的取舍）。这个阶段大概需要2-3个月，它决定你后续所有模型直觉的深浅。
第二阶段：掌握无监督和进阶工具。聚类学习K-Means与DBSCAN，降维学习PCA，同时把XGBoost/LightGBM用熟，学会用交叉验证和网格搜索/贝叶斯搜索做好超参调优。这个时候你可以打一些Kaggle表格类竞赛题，用实战验证自己的理解。
第三阶段：进入深度学习的世界。先手推一遍感知机和反向传播的数学过程（哪怕只推导一个两层网络也算数），然后动手搭建MLP和CNN，在公开图像数据集上完整跑一遍训练、验证、测试流程。接着接触RNN/LSTM处理序列数据，再把Transformer的原理书啃下来。这个阶段的核心不是背架构，而是理解“为什么CNN能利用图像结构”“为什么注意力机制能建模长距离依赖”。
第四阶段：按方向纵深发展。想做视觉就深入目标检测和图像分割；想做NLP就研究预训练模型的微调与推理优化；想做决策就学深度强化学习。到了这个阶段，算法对你来说不再是名词列表，而是解决问题时的工具库，你拿到任何新任务都能在几分钟内划定一条可行的技术路线。
5.2 选型时的实用判断清单
我每次接到一个新任务，都会按照下面这个顺序过一遍：
- 数据是可入表的结构化数据，还是图像/文本/音频这类非结构化数据？前者优先传统机器学习，后者直接考虑深度学习。
- 数据量有多少？少于万级，传统方案体验远好于深度学习；十万百万级，可以开始给深度学习机会。
- 对可解释性、合规性有没有硬要求？有的话，逻辑回归、决策树、SHAP值解释的GBDT是相对安全的选择。
- 训练和推理的资源预算有多少？没有GPU集群，就踏实把XGBoost和特征工程玩到极致，效果一样能打。
- 任务形态是单点预测还是序列决策？单点预测（分类/回归）两边都有解，序列决策（游戏、机器人、调度）基本锁死深度强化学习。
5.3 几个比算法名单更重要的认知
最后说三个我踩过坑之后才彻底想明白的道理，希望能帮你避开同样的弯路。
第一，数据质量永远大于模型复杂度。脏数据、标签噪声、特征泄漏，这些问题的破坏性远大于“模型选错了”。我见过有人拿SVM跑出比调参半天的深度模型还好的结果，原因就是他把数据清洗做得足够细致。
第二，别沉迷于算法榜单一味追新。学术论文里满天飞的新模型，真正能落在工业界成为默认方案的，其实只有那么几个：LR、GBDT系、CNN系、Transformer系。理解了它们，其他模型都可以按需查阅而不是逐个大动干戈地学习。
第三，传统机器学习不会死，反而会越来越关键。深度学习擅长的是在“高维原始数据”里找规律，而真实生产环境里高达八成以上的数据是结构化表格数据。在这些数据上，GBDT至今准确高效，而且解释性强、部署成本低——这决定了传统机器学习在很长一段时间里，依然是工业级模型体系里不可替代的中坚力量。
学习算法这事，最忌讳的是“收藏了二十张知识图谱，一个模型都没跑通过”。说到底，名单只是开始，真正的理解只能来自一次次亲手把数据喂进模型、再看着它的预测结果去反省和修正。挑一个数据集，把它用三到四种不同的算法各跑一遍，你的感受会比读十篇教程都要深。
