MapPoint::UpdateNormalAndDepth()函数是ORB_SLAM2里MapPoint几何属性维护的核心函数。它主要做两件事:更新MapPoint的平均观测方向、更新MapPoint的合理观测距离范围。最终更新三个非常重要的核心成员。
mNormalVector // 平均观测方向 mfMaxDistance // 最大有效观测距离 mfMinDistance // 最小有效观测距离一、先理解MapPoint中存储的是什么?
一个MapPoint可以理解为世界坐标系中一个稳定的3D点。
例如:
世界坐标系 Z ↑ │ │ MapPoint │ ● │ / \ │ / \ │ / \ │ / \ Camera1 Camera2 Camera3这个点可能被很多关键帧观测到,所以MapPoint不只是一个位置,还要包括:
- 哪些关键帧能看到我?
- 从什么方向看到我?
- 多远距离还能正常看到我?
- 我的最佳ORB描述子是什么?
void MapPoint::UpdateNormalAndDepth() { // Step 1 获得观测到该地图点的所有关键帧、坐标等信息 // observations表示: 哪些关键帧观测到了这个地图点,以及这个地图点对应关键帧中的那个特征点 //例如 KF1 → feature 125 map<KeyFrame*,size_t> observations; KeyFrame* pRefKF; //表示这个地图点的参考关键帧 cv::Mat Pos; //MapPoint 在世界坐标系中的 3D 坐标。 { unique_lock<mutex> lock1(mMutexFeatures); unique_lock<mutex> lock2(mMutexPos); if(mbBad) return; observations=mObservations; // 获得观测到该地图点的所有关键帧 pRefKF=mpRefKF; // 观测到该点的参考关键帧(第一次创建时的关键帧) Pos = mWorldPos.clone(); // 地图点在世界坐标系中的位置 } if(observations.empty()) return; // Step 2 计算该地图点的平均观测方向 // 能观测到该地图点的所有关键帧,对该点的观测方向归一化为单位向量,然后进行求和得到该地图点的朝向 // 初始值为0向量,累加为归一化向量,最后除以总数n cv::Mat normal = cv::Mat::zeros(3,1,CV_32F); //创建一个三行1列的零向量 int n=0; //遍历所有能观测到这个点的关键帧 for(map<KeyFrame*,size_t>::iterator mit=observations.begin(), mend=observations.end(); mit!=mend; mit++) { KeyFrame* pKF = mit->first; cv::Mat Owi = pKF->GetCameraCenter(); //获取相机中心坐标 // 获得地图点和观测到它关键帧的向量并归一化 cv::Mat normali = mWorldPos - Owi; //从相机中心指向 MapPoint 的向量。 normal = normal + normali/cv::norm(normali); // 归一化向量并累加,归一化的原因是只保留方向 n++; } cv::Mat PC = Pos - pRefKF->GetCameraCenter(); // 参考关键帧相机指向地图点的向量(在世界坐标系下的表示) const float dist = cv::norm(PC); // 该点到参考关键帧相机的距离 const int level = pRefKF->mvKeysUn[observations[pRefKF]].octave; // 观测到该地图点的当前帧的特征点在金字塔的第几层 const float levelScaleFactor = pRefKF->mvScaleFactors[level]; // 当前金字塔层对应的尺度因子,scale^n,scale=1.2,n为层数 const int nLevels = pRefKF->mnScaleLevels; // 金字塔总层数,默认为8 { unique_lock<mutex> lock3(mMutexPos); // 使用方法见PredictScale函数前的注释 mfMaxDistance = dist*levelScaleFactor; // 观测到该点的距离上限 mfMinDistance = mfMaxDistance/pRefKF->mvScaleFactors[nLevels-1]; // 观测到该点的距离下限 mNormalVector = normal/n; // 获得地图点平均的观测方向 } }ORB-SLAM2 不只在原始图像上检测特征,而是建立:
Level 0 原图
↓
Level 1 缩小
↓
Level 2 更小
↓
Level 3
↓
...
Level 7
例如缩放因子:scaleFactor=1.2,那么:
Level 0 → 1 Level 1 → 1.2 Level 2 → 1.2² Level 3 → 1.2³ ...计算 mfMaxDistance:给MapPoint 建立最大有效观测距离
因为一个特征点在参考 KeyFrame 中是在某一个尺度层被检测出来的。假设:
MapPoint距离相机: dist = 5m 特征点: level = 2那么:
dmax=5×1.22 约7.2m意思可以粗略理解成:如果相机距离这个 MapPoint 太远,超过这个尺度范围,就不太适合用当前的 ORB 特征尺度来描述它。
计算mfMinDistance:建立最小有效观测距离
假设层数为8
计算完最大和最小,就可以得到一个有效距离区间,这就是UpdateNormalAndDepth()最重要的实际意义。假设一个 MapPoint:
mfMinDistance = 2m mfMaxDistance = 10m那么:
相机距离 MapPoint: 1m → 太近 3m → 合理 5m → 合理 8m → 合理 12m → 太远后面 ORB-SLAM2 就可以根据当前相机距离判断这个这个 MapPoint 应该使用哪个 ORB 金字塔尺度。
平均观测方向