1. 几何变换的本质：从图像坐标系说起
先说一个我在项目里最直观的感受：很多人一开始接触 OpenCV 的图像处理，都是从滤波、边缘检测、二值化这些操作入门的，这些东西处理的是“像素值”；但一旦到了做文档扫描、拍照矫正、图像拼接、AR 叠加这些任务，你会发现所有问题都会落到同一个底层操作上——把图像里的点从一个位置搬到另一个位置。这就是几何变换，而仿射变换与透视变换正是几何变换里最核心的两张牌。
1.1 一个真实例子引出需求
想象你手里拿着一张身份证，手机随手一拍，拍出来的照片一般都不是正的：可能是歪的，也可能因为拍摄角度产生近大远小的透视形变。如果你想把这张照片变回一个标准的正面矩形，要怎么操作？如果只是旋转一下，用仿射变换就够了；但如果是透视形变，单纯旋转缩放是拉不正的，必须用透视变换。
另一个很常见的场景是文档扫描 APP。你拍一张书页，纸张在画面里是一个梯形（因为镜头和纸面不垂直），APP 自动把梯形区域抠出来，再映射成一个矩形，看起来就像扫描仪扫描出来一样。这个“梯形拉成矩形”的过程，就是透视变换的典型应用。
这两个场景实际上已经覆盖了仿射变换与透视变换的核心区别：仿射变换保持平行关系，透视变换可以改变平行关系。记住这句话，后面所有数学推导和代码细节都能串起来。
1.2 为什么大家都容易在这两者上绕晕
我在带初学者的时候发现，大家容易搞混的点主要有三个。
第一是矩阵维度。仿射变换是 2×3 矩阵，透视变换是 3×3 矩阵。很多人知道这个结论，但不理解为什么是 2×3 和 3×3，只知道背，结果一遇到数据格式不对就不知道怎么办。
第二是自由度。三点确定一个仿射变换，四点确定一个透视变换。但“为什么是三个点/四个点”这个问题，很多人没有真正想明白，导致在手动选点的时候，不知道选几个点、按什么顺序选。
第三是两者之间的关系。其实仿射变换是透视变换的特例——当透视矩阵里的某些系数取特定值时，透视变换就退化成了仿射变换。理解这个关系之后，很多代码你根本不用分别记忆，因为 API 的调用方式几乎一样，只是参数维度和矩阵含义不同。
这篇文章我会从数学到代码、从API到实战坑点，把这条线完整走一遍。内容不烧脑，但需要你跟着动手敲一两个例子，才能真正变成自己的东西。
2. 仿射变换的数学拆解与 OpenCV 实现
2.1 仿射变换究竟在做什么
先看数学上的定义。对一个像素坐标点 (x, y)，仿射变换把它映射到 (x', y')，公式长这样：
x' = a0 * x + a1 * y + b0 y' = a2 * x + a3 * y + b1用矩阵形式写出来：
| x' | | a0 a1 b0 | | x | | y' | = | a2 a3 b1 | · | y | | 1 | | 0 0 1 | | 1 |通常 OpenCV 里你拿到的 2×3 矩阵就是：
M = [ [a0, a1, b0], [a2, a3, b1] ]把上面 3×3 矩阵去掉最后一行，就是它。
这个公式说明什么？左边 2×2 的矩阵部分负责线性变换（旋转、缩放、剪切），最后一列 b0、b1 负责平移。
举个例子来说，旋转一个角度 θ，对应的 2×2 线性部分是：
[ cosθ, -sinθ ] [ sinθ, cosθ ]缩放是：
[ Sx, 0 ] [ 0, Sy ]如果既有旋转又有缩放还有平移，就先把前两步的矩阵乘起来，再在最后一列加上平移量。注意矩阵乘法是有顺序的，OpenCV 里用getRotationMatrix2D生成的就是一个完整的 2×3 浮点矩阵，它内部已经帮你把旋转、缩放、平移组合好了。
2.2 为什么三个点就能确定仿射变换
每个对应点能提供两个方程（x 方向一个，y 方向一个）。仿射矩阵有 6 个未知数，所以 3 个点提供 6 个方程，正好解出来。这就是cv2.getAffineTransform需要传 3 对点的原因。
这 3 个点不能共线，因为共线的时候方程组会退化，解不唯一。实际用起来，你从原图上点任意三个不共线的点，再给它们各自的目标位置，OpenCV 内部通过解线性方程组就能得到完整的 2×3 矩阵。
需要提醒的是，这里的点要转成numpy.float32格式，很多人第一次写会传成 Python 列表或者 int 数组，直接报错。
2.3 warpAffine 函数的使用细节
拿到 M 矩阵之后，真正对图像执行变换的函数是cv2.warpAffine。先看一个最小可运行的例子：
import cv2 import numpy as np img = cv2.imread("demo.jpg") # 换成你自己的图片路径 h, w = img.shape[:2] # 原图三个点：左上、右上、左下（随便选，只要不共线） src = np.float32([[50, 50], [200, 50], [50, 200]]) # 目标三个点：把上面的三角形拉伸成一个新的位置 dst = np.float32([[10, 80], [180, 20], [120, 220]]) M = cv2.getAffineTransform(src, dst) out = cv2.warpAffine(img, M, (w, h)) cv2.imshow("original", img) cv2.imshow("affine", out) cv2.waitKey(0) cv2.destroyAllWindows()这段代码你直接跑就能看到效果：图像上原来的三个点被移动到目标位置，整个画面跟着一起变形。注意warpAffine的第三个参数是输出图像的尺寸(width, height)，不是(height, width)。这里很多人写反过，输出结果会直接出错或者裁剪异常。
2.4 用 getRotationMatrix2D 做旋转缩放
实际项目里，很少会手动去定义三个点的位置来做普通旋转，通常直接用getRotationMatrix2D更方便：
center = (w // 2, h // 2) # 旋转中心，这里取图像中心 angle = 45 # 顺时针旋转45度（OpenCV里角度为正表示逆时针，注意这个坑） scale = 1.0 # 缩放系数 M_rot = cv2.getRotationMatrix2D(center, angle, scale) img_rot = cv2.warpAffine(img, M_rot, (w, h))这里有个非常容易踩的坑：OpenCV 的角度单位是度，不是弧度，而且正角度表示逆时针旋转。但很多人的直觉认为正数是顺时针。如果你发现图片转的方向和你想的相反，加个负号就好。
另外warpAffine输出尺寸如果不改，旋转之后图像边缘会被裁掉一部分，这是正常的——因为图像旋转后四个角超出了原画布范围。要完整显示，需要计算新的画布尺寸，这个放到后面实战部分讲。
3. 透视变换：更一般的几何变换
3.1 透视变换的矩阵长什么样
透视变换的数学形式是：
x' = (p00*x + p01*y + p02) / (p20*x + p21*y + 1) y' = (p10*x + p11*y + p12) / (p20*x + p21*y + 1)分母不再是 1，而是p20*x + p21*y + 1，这一项正是产生“近大远小”效果的关键——坐标 x、y 的大小会影响缩放比例。当p20 = p21 = 0时，分母恒等于 1，公式就退化成仿射变换。这再次说明仿射变换是透视变换的特例。
用齐次坐标统一写成：
| x' | | p00 p01 p02 | | x | | y' | = | p10 p11 p12 | · | y | | w' | | p20 p21 p22 | | 1 |最终图像坐标是 (x'/w', y'/w')。OpenCV 内部会对矩阵做归一化，通常最后一个元素 p22 会变成 1，所以你在代码里打印出来的 3×3 矩阵，右下角一般是 1.0。
3.2 为什么四个点确定一个透视变换
每个点提供两个方程，透视矩阵虽然有 9 个元素，但因为整体尺度不影响变换结果（矩阵乘以任意非零常数，变换效果不变），实际未知数是 8 个，所以 4 个点提供的 8 个方程正好可以求解。
这就是cv2.getPerspectiveTransform需要传入 4 对点的原因。注意这 4 个点不能有三点共线的情况，否则矩阵退化，得到的变换结果会非常诡异。
3.3 实战：把一张歪斜的卡片拉正
下面这段代码是文档矫正最核心的部分。假设我有一张拍摄角度很歪的卡片照片，我在原图上手动确定了卡片的四个角点坐标，目标是把它变换成一个标准的矩形。
import cv2 import numpy as np img = cv2.imread("card_photo.jpg") h, w = img.shape[:2] # 原图中的四个角点（左上、右上、左下、右下，顺序要一致） src = np.float32([ [168, 85], # 左上 [452, 130], # 右上 [129, 290], # 左下 [420, 343] # 右下 ]) # 目标矩形：一张标准正面的卡片 dst = np.float32([ [0, 0], [w, 0], [0, h], [w, h] ]) M = cv2.getPerspectiveTransform(src, dst) result = cv2.warpPerspective(img, M, (w, h)) cv2.imshow("original", img) cv2.imshow("perspective", result) cv2.waitKey(0) cv2.destroyAllWindows()跑通之后你会看到，梯形区域的卡片被拉成了一个铺满整个画面的矩形。这就是文档扫描类 APP 最关键的一步。
这里我要特别强调一个顺序问题：src 和 dst 中点的顺序必须一一对应。我在实际项目里见过太多次，四个点对应关系错乱，变换结果出来完全是一团乱麻，甚至像把纸对折了一样。最稳妥的办法是先把四个点画在图上确认它们是按左上、右上、左下、右下的顺序排列，再拿去计算。
3.4 getPerspectiveTransform 与 findHomography 的区别
在学透视变换的时候，大家一定会遇到另一个函数cv2.findHomography。简单理解：
getPerspectiveTransform：只接受 4 个点，直接解方程组，适合你已经准确知道角点的情况。findHomography：接受多个匹配点对（比如几十个），内部会用 RANSAC 或 LMEDS 等鲁棒估计算法去除异常点，适合从特征匹配得到的匹配点来计算，抗噪声能力强很多。
两者返回的都是 3×3 单应矩阵。实际项目里，如果做特征匹配自动矫正，几乎都用findHomography；如果手动标定角点，用getPerspectiveTransform就够了。
4. 我从项目里踩过的坑与排查思路
4.1 数据类型和深拷贝的隐蔽问题
OpenCV 里几何变换相关函数的输入点坐标矩阵必须是float32或float64。有一次我用鼠标回调函数收集点击坐标，存的时候用了普通的 Python int，结果传给getPerspectiveTransform直接报 TypeError。把 np.array 包一层np.float32就好。
另一个隐蔽问题是数组的连续性。有时候你用切片、索引或者其他库生成数组，它不是 C 连续的，传给 OpenCV 某些函数会莫名报错或者出莫名其妙的变换结果。遇到这种情况，加一句np.ascontiguousarray()十有八九能解决。
4.2 变换后出现黑色区域，边界怎么处理
warpAffine和warpPerspective在执行的时候，输出图像上每个像素会反向映射回原图找对应颜色。如果映射出的坐标超出了原图范围，那个位置就没有像素值，默认填成黑色（数值 0）。
我在处理含透明背景的素材时，这个黑色区域特别碍事。解决办法是设置borderMode和borderValue：
result = cv2.warpAffine( img, M, (new_w, new_h), borderMode=cv2.BORDER_CONSTANT, borderValue=(255, 255, 255) # 白色填充 )如果你不想用纯色填充，borderMode=cv2.BORDER_REPLICATE会用边缘像素往外扩，有时视觉效果会自然一点。
4.3 旋转后图像被裁剪的问题：扩大画布的完整推导
前面提到warpAffine输出尺寸不变的话，旋转后角会被裁掉。怎么计算旋转后的新尺寸？直接把原图四个角点用变换矩阵算一下，找出新的边界就行。
h, w = img.shape[:2] angle_rad = np.deg2rad(angle) cos_a = abs(np.cos(angle_rad)) sin_a = abs(np.sin(angle_rad)) new_w = int(w * cos_a + h * sin_a) new_h = int(w * sin_a + h * cos_a) # 调整旋转矩阵中的平移分量 M[0, 2] += (new_w - w) / 2.0 M[1, 2] += (new_h - h) / 2.0 rotated = cv2.warpAffine(img, M, (new_w, new_h))这段代码的原理很简单：旋转矩阵里最后一列的平移量原本是按原图中心对齐的，现在画布变大了，要把偏移量补上，让旋转后的图像仍然居中。
4.4 透视矫正完成后图像发虚，怎么提升清晰度
透视变换本质上是重采样，拉伸的区域必然丢失细节。尤其是把一个小区域放大成整个画面时，会看到明显的锯齿和模糊。
我的经验是：
- 如果目标是最终输出，插值方法用
cv2.INTER_CUBIC或cv2.INTER_LANCZOS4，清晰度比默认的INTER_LINEAR好不少。 - 如果目标只是快速预览，用
INTER_LINEAR就好，因为高级插值慢。 - 如果缩小图像，用
cv2.INTER_AREA效果最稳，抗锯齿最好。
下面给一个对比示例：
up_linear = cv2.warpPerspective(img, M, (w*2, h*2), flags=cv2.INTER_LINEAR) up_lanczos = cv2.warpPerspective(img, M, (w*2, h*2), flags=cv2.INTER_LANCZOS4)同一张图放大两倍，Lanczos 在文字边缘的锐利程度会明显好过 Linear。
4.5 一个完整的排查链路：为什么我的透视变结果像“折纸”
有一次我帮同事调一个答题卡识别的项目，透视变换之后图像像被对折又展开了一样，中间有明显的撕裂感。排查过程是这样的：
第一步，我先打印src四个点的坐标，画到原图上人工看。发现我选的四个点里，第一个点其实是右上角，第二个是左上角，顺序完全乱了。这个属于对应点顺序错乱。
第二步，调整顺序后，结果还是不对，但撕裂感减轻了。我又怀疑是数据类型，检查后确认是np.float32，没问题。
第三步，我把src和dst里的点打印出来一一对比，发现dst写的是：
dst = np.float32([[0, 0], [0, h], [w, 0], [w, h]])最后两个点顺序反了：左上角对应了左下角，右上角对应了右下角。修正成正确的对应关系后，结果立刻就正常了。
这个问题听起来很简单，但在真实项目里，尤其是在代码写得很长、点坐标是动态计算得出的时候，非常容易犯。排查思路永远是：先可视化源点，再检查对应关系，最后才怀疑算法问题。
5. 进阶：从仿射、透视到自动矫正的技术链路
5.1 用特征点匹配实现自动透视矫正
手动选四个角点在小样本演示里没问题，但项目一旦要批量处理图片，就不能靠人工了。自动化的思路其实不复杂：用特征点检测找到两幅图（或者一幅图中的已知模板）的对应点，然后用findHomography计算出单应矩阵，最后执行warpPerspective。
典型的流程是：
- 对输入图像和目标模板分别提取 ORB 或 SIFT 特征点。
- 用暴力匹配器或 FLANN 匹配器进行特征匹配。
- 用 ratio test 或交叉匹配筛选优质匹配点。
- 将筛选后的匹配点传入
cv2.findHomography(srcPoints, dstPoints, cv2.RANSAC)。 - 用返回的单应矩阵执行透视变换。
这里我放一个简化但完整的代码思路：
import cv2 import numpy as np img_query = cv2.imread("query.jpg") # 歪斜的照片 img_template = cv2.imread("template.jpg") # 标准正面图 # 1. 提取特征 sift = cv2.SIFT_create() kp1, des1 = sift.detectAndCompute(img_query, None) kp2, des2 = sift.detectAndCompute(img_template, None) # 2. 匹配 bf = cv2.BFMatcher() matches = bf.knnMatch(des1, des2, k=2) # 3. 用ratio test筛选 good = [] for m, n in matches: if m.distance < 0.75 * n.distance: good.append(m) # 4. 取点坐标 src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2) dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2) # 5. 计算单应矩阵 H, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0) # 6. 变换 h, w = img_template.shape[:2] result = cv2.warpPerspective(img_query, H, (w, h))这段代码能跑通的关键在于：两幅图中必须有足够的重复纹理，如果背景是纯白墙、没有任何特征点，RANSAC 也帮不了你。
findHomography里 RANSAC 的阈值 5.0 表示像素误差阈值，如果匹配点噪声大可以适当调大；太小会筛掉过多正常点，太大可能把错误匹配也保留下来。
5.2 单应矩阵的边界：为什么有些场景矫正后还是变形
接触透视变换一段时间后，你可能会听说过“单应矩阵只适用于平面场景”——这句话不是随便说的。
透视变换描述的是：一个平面在空间中经过透视投影后，在图像平面上的映射关系。所以当被拍摄的物体本身是一个平面（比如文档、车牌、身份证），或者场景可以近似看作一个平面（比如远处的墙面），单应矩阵就能完美描述两幅图之间的关系。
但如果场景里有明显的深度变化，比如一个三维立体的盒子，盒子的两个面在图像里都可见，这时候用一个单应矩阵去矫正整个画面，只能保证其中一个面被矫正，另一个面必然变形。这也是很多 SLAM 和三维重建任务里不能只用单应矩阵的原因。
在实际项目里遇到这种场景，我的做法是：先明确矫正目标。如果只关心某个平面区域（比如提取盒子正面），就先手动或自动框定该平面区域再变换；如果必须要处理多个平面，那就需要做平面分割，分别求单应矩阵，再分别矫正。不要指望一个奇异矩阵解决所有透视问题。
5.3 图像拼接中的透视变换
另一个非常有意思的应用是图像拼接。你把相机从左边转到右边拍两张照片，两张照片有重叠区域。现在想把它们拼成一张全景图，怎么对齐？
本质上的思路是：假设拍摄场景足够远、可以近似为平面，两张照片之间的关系就可以用一个单应矩阵描述。对第二张图执行透视变换，变换到第一张图的坐标系，然后做拼接融合。
OpenCV 的Stitcher模块内部就是先检测特征点、计算单应矩阵、再 warp 拼接的，原理和 5.1 里说的完全一样。
5.4 视频流里的矩阵平滑
如果你想在视频流里做实时矫正，有一个很多教程都不会提的坑：直接逐帧调用findHomography得到的矩阵在相邻帧之间会有抖动，因为特征点匹配带有随机性，RANSAC 内部的随机采样每次可能收敛到略有不同的解。
最简单的改进方案是对单应矩阵做指数滑动平均，也就是每一帧把新矩阵和上一帧的矩阵做一个加权融合：
alpha = 0.7 H_smooth = alpha * H_smooth + (1 - alpha) * H但注意，单应矩阵的数值不能简单地线性平均，因为矩阵元素和实际变换并不是线性对应的。更稳妥的做法是对矩阵做归一化，保证最后一元素为 1，再作平滑；或者干脆把矩阵转换成对应的四个角点坐标，对角点做平滑，再根据平滑后的角点重新计算单应矩阵。
第二个方法实际操作更稳定，因为角点坐标的物理意义明确，平滑后不会出现矩阵尺度漂移。
6. 仿射变换与透视变换的选择建议
文章写到这儿，大部分核心知识已经铺完了。简单梳理一下，方便你之后在实际项目里做选型：
| 需求 | 选型 |
|---|---|
| 图像旋转、缩放、平移，平行线保持平行 | 仿射变换 |
| 把梯形区域拉成矩形，纠正拍照视角 | 透视变换 |
| 视频稳定、简单运动补偿 | 仿射变换（或相似变换） |
| 文档扫描矫正、车牌矫正、AR 平面跟踪 | 透视变换 |
| 需要综合旋转+缩放+平移但可允许轻微形变 | 仿射变换 |
| 全景图像拼接、平面场景配准 | 透视变换（单应矩阵） |
从我个人的经验来看，正式写代码之前，先想清楚两个问题：
第一，变换前后平行线是否还需要保持平行。如果是，优先仿射，因为它参数少、数值稳定，运算也快；如果画面里有明显的透视视角矫正需求，直接用透视。
第二，变换区域的形状是什么。如果只是整个画面统一操作，仿射就够；如果要把画面里的某个四边形区域抠出来变成矩形，透视是唯一选择。
这里多说一句：透视变换计算量比仿射大不少，在嵌入式设备上跑实时处理时，如果只是校正卡片位置，尽量用仿射；如果精度要求高、必须做透视矫正，也要注意控制输出图像的像素量，别动不动就输出 4000×3000 的大图，处理速度会很难看。
还有一次我做答题卡识别，一开始全图做透视矫正，一张 6000×4000 的图处理一次要几百毫秒，后来改成先定位答题卡区域缩小到 1000×700 再做透视矫正，速度直接提升了十倍。这种优化思路比调任何参数都管用。
最后再分享一个小技巧：如果你要批量处理一批角度类似的照片，不必每张都重新算透视矩阵。先手工标定一张图的四个角点，求出矩阵后保存成 numpy 文件（np.save），后面几张直接用同一个矩阵。只要相机位置和拍摄目标没有大变化，这个矩阵能一直复用，能省不少时间和算力。我自己在跑一批固定工位的仪表盘拍摄矫正时，就是用这种方式把处理流程从原来的每张几百毫秒压到了几十毫秒。
