涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机 涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

示例图片三
网站首页 > 新闻资讯 > 业界资讯

基于特征点的位姿估计算法解析

2021-02-22 09:30:06 【东智精密】   来源: 智车科技IV     阅读

本文泉源:燃云汽车

/ 导读 /

本文从图像形貌、建图查询、特征匹配,位姿盘算四个方面先容了基于特征点的位姿预计算法。虽然传统视觉全局定位要领现在依然是现实应用中的首选,可是,传统要领是建设在特征点被准确界说、准确提取、准确匹配、准确观察的条件下举行的,这一条件对于视觉自己而言就是庞大的挑战。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

引 言

在无人驾驶中,感知、定位、计划决议、控制是四个基本的系统模块。由于当前算法还无法实现绝对的智能,因此依然需要大量的先验知识来提高模块性能、鲁棒性,以实现宁静的自动驾驶。其中,高精舆图是对门路及周边情况先验知识的集成。而建设在舆图之上的准确定位,是判断行车状态的主要依据,为后续的感知、计划决议提供有力支持。

用于定位的主要数据源现在主要有 GPS、激光雷达、视觉、毫米波雷达。对于视觉而言,虽然现在还没有一套工业内公认的足够可靠的定位方案,可是在这方面探索从未制止过,主要缘故原由如下:

宁静性是无人驾驶系统最主要的指标,因此大部门功效的实现,都是多源数据、差别算法效果的耦合。没有哪种传感器方案是完善的,好比 GPS RTK 作为普遍使用的方案,容易受卫星状态、天气状态、 数据链传输状态影响,在隧道内、室内和高楼麋集区无法使用。再者,激光雷达虽然具有运算量小,提供深度信息,不受光照影响等优点,但信息希罕,造价现在还十分昂贵,还不具备大批量车辆装配能力。相比力而言,摄像头提供的视觉信息,虽然会受到光照、天气影响,可是成本低,内容富厚,是现在辅助驾驶方案主要数据源,在舆图定位方面也具有很大潜力。

由于主流基于视觉定位算法的焦点头脑一脉相承,以是本文仅从一系列主要算法框架组件角度,先容了现在实践中最常用的、基于特征点的全局定位算法,即在舆图坐标系下举行定位。本文省略了其中涉及到的优化、几何约束公式推导,旨在给同砚们一个定位算法的宏观先容,详细细节可以参考相关文献和书籍。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

基于特征点全局定位算法

视觉全局定位,指的是凭据当前图像,求出相机在舆图坐标系中的 6 个自由度 (Degree of freedom, DoF) 位姿 (Pose) , 即  (x, y, z) 坐标,以及围绕三个坐标轴的角度偏转 (yaw, pitch, roll) 。现在主要可以分类为基于 3D 结构的要领、基于 2D 图像的要领、基于序列图像的要领、基于深度学习的要领。其中,基于深度学习的要领属于端到端 (End-to-end) 的要领,而其它多阶段 (Multi-stage) 非端到端要领虽然流程有所差异,但算法思绪多数如 Fig. 1 所示:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 1: 凭据查询图像,盘算 2D-3D 转换矩阵,求解相机位姿

基于已建的舆图,匹配历史中最相似的舆图子集(图像/点云/特征点),凭据匹配到的舆图子集所提供的历史位姿真值、特征点坐标真值,盘算点对间的变换矩阵,求解当前相机位姿。

以是,其焦点包罗图像形貌、建图查询、特征匹配,位姿盘算四个方面。这里仅仅是手艺层面的宏观分类,现实算法框架纷歧定根据此顺序执行,而学者在研究中主要针对这些手艺举行革新。整体而言,基于特征点的图像形貌基本成熟,生长较少。而位姿盘算由于是基于几何约束的优化问题,以是要领也较为牢固。相对地,建图查询和特征匹配中革新手艺较多。凭据数据源差别,建图查询、匹配可以是2D-2D,2D-3D,3D-3D。2D 图像由相机获得,3D 点云可以由提供深度的双目相机、RGB-D 相机发生。

2.1 特征点提取

2D 图像自己是一个由亮度、色彩组成的矩阵,对视角、光照、色调转变等很敏感,直接使用十分难题。以是,一样平常会使用具有代表性的点举行相关盘算。人们希望这样的点具有旋转、平移、尺度、光照稳定性等优点。这些点称为图像的特征 (Feature) 点,包罗要害点(Key-points) 和形貌子 (Descriptor) 两部门。要害点表达了特征点的位置,而形貌子则是对于特征点视觉特征的形貌,大多为向量形式。一样平常而言,形貌子主要是以某种模式,统计要害点周围的灰度/色彩梯度转变。一种鲁棒的形貌子,在差别图像 的差别情形下,统一特征点的形貌子的距离 (Distance) 应当较小。

形貌子一样平常是人为手工设计的 (Hand-crafted features) 。经典的形貌如 HOG(Histogram of oriented gradients)[1],SIFT(Scale-invariant feature transform)[2],SURF(Speeded up robust features)[3],AKAZE(Accelerated KAZE)[4] 等。

为了实时性的要求,一些盘算速率更快的二值模式形貌子被设计出来,如 LBP(Local binary patterns)[5],BRIEF(Binary robust independent elementary features),ORB(Oriented FAST and rotated BRIEF)[6],BRISK(Binary robust invariant scalable key-point)[7],FREAK(Fast retina key-point)[8] 等。

在深度学习盛行之前,这些手工特征一直引领着整个盘算视觉工业,直到今天,这些特征在那些缺少标注数据、约束较多的场景下,依然被普遍应用。下面简朴先容两类常用的形貌子。

2.1.1 SIFT

SIFT 形貌子可以算是 CV 界最具影响力的手艺之一。从要害点检测层面,主要使用高斯差分 (Difference of Gaussian, DoG) 要领检测多尺度空间上的极值点,作为要害点。而 Babaud 等人 [9] 证实了高斯平滑是唯一的能用多尺度空间平滑滤波核,为相关要领提供了富足的理论支持。

那么为什么这样的要领可以找到特征要害点呢?

由于高斯核可以通过模糊的方式把图像缩放到差别尺度空间,而梯度转变较小的平滑区域在差别尺度空间的值差距较小。相反,边缘、点、角、纹理等区域则差距较大。这样通过对相邻尺度的图像做差分,最终可以算得多尺度空间的极值点。可是,差别的图像细节自己就处于差别的尺度中。好比一副人物画像中,人脸可能经由较小的模糊就会被平滑为一片,而画框的角则可能需要更大尺度的平滑才会体现出局部“极值”。

因此,如 Fig. 2 所示,首先使用图像金字塔将图像先分组 (Octave) ,每组中再使用差别尺度的高斯核,形成一系列的层。这种方式比单纯地使用更多尺度的高斯核效果更好,可以检测到更多的特征点。需要注重的是,虽然 SIFT 使用了 DoG 举行要害点检测,可是其它检测要领也是可行的,并不影响 SIFT 形貌子的建设。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 2: 高斯差分要领

SIFT 特征点的形貌子,可以明白为一种简朴统计版的 HOG。如 Fig. 3所示,以检测到的要害点为中央,选取周围 16 × 16 的区域,将区域再组织为 4 个 4 × 4 的块(Patch)。对每一个块,使用 8-bins 的直方图对梯度举行统计,梯度偏向决议落入哪个 bin,而梯度的模决议值的巨细。为了保证尺度一致性,梯度巨细需要举行归一化。为了保证旋转稳定性,会凭据 16 × 16 的区域内的所有梯度盘算出一个主偏向, 所有梯度根据主偏向举行旋转。最终形成 4 × 4 × 8 的 128 维向量。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 3: 基于梯度分块统计的 SIFT 形貌子

2.1.2 二值形貌子

虽然在 SIFT 提出后,又发生了一些革新算法如 SURF、AKAZE 等,可是纵然放在 2019 年的今天, 依然难以保证一些场景对算法实时性的要求。例如,手持装备一样平常算力有限。而无人驾驶中,CPU、GPU资源需要被多个盘算麋集型模块同时调理。因此,效率是考察算法适用性的主要指标。

为了提高效率,一些二值形貌子被学者们提出。一样平常地,这些要领都是在特征要害点周围举行点采 样。然后比力一对点的灰度巨细,效果以 0/1 表现,形成 N 维的二进制形貌向量,组成特征点的二值模式。而差别二值形貌子最大的差异,主要在于特征采样模式差别、点对选取要领差别。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 4: LBP 形貌子采样模式

如 Fig. 4所示,LBP 形貌子接纳对要害点周围,举行环形采样,并与中央要害点的灰度举行比力的方案。圆环上展示了灰度比力效果,玄色的点是 0,白色的点是 1。LBP 是二值形貌子最简朴的形式,而 ORB 革新了 BRIEF 特征,是现在比力常用的二值形貌子。如 Fig. 5所示,在点对选取上,与单纯使用中央点差别,ORB 接纳了随机的方式,更周全地形貌局部细节。但点对的相关性会比力大,从而降低形貌子的判别性(Discriminative)。ORB 直接接纳了贪心法、穷举法解决这一问题,寻找相关性低的随机点对。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 5: ORB 形貌子点对选取模式

以上二值形貌子的采样方式和点对选取方式切合人们一样平常直觉,而 BRISK、FREAK 等形貌子则提供了越发规则化、自带尺度信息的二值模式构建要领。例如,FREAK 形貌子模拟了人眼的视觉采样模式。如 Fig. 6所示,每个采样点的值是红色圆圈规模内的灰度均值,蓝线则表现点对选取方案。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 6: FREAK 形貌子采样、点对选取摸式

二值形貌子的高效率,主要体现在三个方面。

二值形貌子使用二进制向量作为特征形貌,只需要 比力点对巨细而不需要盘算详细梯度。

两个形貌子之间比力可以使用盘算更快,更容易优化的汉明距离 (Hamming distance)。

由于每个二进制向量都对应一个十进制数,以是其自己也代了表一种模 式,而不需要像 SIFT 一样使用直方图举行表现。

二值形貌子一样平常判别性不如 SIFT 家族形貌子,但在特定场景下,配合并行化编程,可以在保证相似判别能力的同时,效率横跨几十甚至百倍。

2.2 数据库建设与查询

数据库可以明白为于舆图 + 索引的集成。舆图可以是由单纯的 2D 图像组成,也可以是由 3D 点云舆图组成,也可以是 2D 图像和 3D 点云的联合。3D 点云舆图天生主要使用三维重修的要领 SfM(Structure from motion),从时间序列的 2D 图像中推算 3D 信息。若是有双目、RGB-D 相机提供深度,可以获得 更准确的 3D 点信息。其中也包罗了一些诸如要害帧(Key-frame)的选取计谋,详细要领超出了本文的讨论规模,有兴趣的同砚可以自行查阅相关资料。数据库的作用在于:

对于一张输入的观察图像,通过数据库,查询建图历史(图像/点云/特征点),获得当前图像最可能观察到的舆图子集(图像/点云/特征点),将舆图与观察信息举行匹配,盘算变换矩阵,获得观察相机的位姿。

索引则是加速这一历程的要害。数据库自己往往是庞大的。以美团的小袋机械人在北京向阳大悦城二层试运营为例,安装有 3 个深度相机,纵然经由筛选,也使用了快要 8 万张 900 × 600 的图片。思量到定位所需要的实时性,查询时不行能每次都和 8 万张图片逐一对比,以是要使用索引手艺加速整个算法。这方面手艺与 SLAM 中的回环测试,视觉中的图像检索、位置识别等高度重合,以下仅先容一样平常要领。

一张图像内有若干特征点,需要先对特征点举行编码,如 VLAD(Vector of locally aggregated descriptors) 编码,用局部形貌子形成图像的全局形貌。再使用索引,如 kd-tree,举行图像级查询。固然,编码和索引也可以同时举行,如条理化词袋模子(Bag-of-words,BoW)+ 正向索引 + 逆向索引的要领。

2.2.1 VLAD 编码

VLAD(Vector of locally aggregated descriptors)[10],如 Fig. 7所示,是一种通过聚合局部形貌子形成码本 (Codebook) ,通过累加盘算形貌子与码词 (Word) 的距离,举行全局编码的简朴要领。一个

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

维形貌子

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

通过

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

个码词的码本举行编码,可以形成一个

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

维的形貌向量,向量中的值是形貌子与第

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

个码词在第

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

维的差。之后举行

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

归一化,形成最后的 VLAD 向量。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 7: VLAD 通过形貌子与码词的距离举行编码

这里要特殊提先容一下 DenseVLAD[11] 和 NetVLAD[12] 。Torii 等人证实,DenseSIFT 在查询、匹配上都优于尺度 SIFT。DenseVLAD 在四个尺度,以 2 个像素距离的网格状采样模式,提取 SIFT 点。在全局随机采样 25M 个形貌子,用 k-means 算法天生 128 个码词的码本。VLAD 向量在归一化后使用 PCA(Principal component analysis) 降维,形成最后 4096 维的 DenseVLAD 向量。如 Fig. 8所示,使用DenseSIFT 匹配后的内点(绿)数目更多。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 8: DenseSIFT 和尺度 SIFT 特征点,匹配后内点(绿)对比

而 NetVLAD,将 VLAD 中加入了监视信息,增强 VLAD 编码的判别性。如 Fig. 9所示,假设红、绿两个形貌子泉源于不应匹配到一起的两张图片。由于它们都离 VLAD 中央(×)半径较大且距离相似,经由 L2 归一化,它们编码后值也会很相似。而加入了红、绿形貌子所对应图片不匹配的监视信息后,NetVLAD 天生的中央点(★)则可以更好地域分两个形貌子,增添他们编码后的距离(半径)差。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 9: NetVLAD 聚类中央(×)与 VLAD 聚类中央(★)对比

2.2.2 BoW 编码 + 索引

基于词袋模子 BoW[13, 14] 的特征编码及其设计头脑在盘算机视觉生长中具有举足轻重的职位,这里不再睁开先容。本文以 2D 查询图像匹配 2D 图像数据库为例,先容一种常见的 BoW 编码、索引一体化的模子。如 Fig. 10所示,词典 (Vocabulary) 天生接纳条理化要领,对于数据集中的所有形貌子,按树状结构举行空间划分,每一层都是由 k-means 聚类盘算。最终叶子节点就相当于码词(Fig. 10中有 9个码词)。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 10: 带正向索引、逆向索引的条理化 BoW 模子

树的结构历程,现实上就是将原始图像编码的历程。可是编码自己并不能加速搜索历程,与 VLAD 相似,照旧需要与数据库中的图像逐一比力。因此,这里设计了一种逆向索引(Inverse index) ,不需要比力编码后的向量。其原理如 Fig. 11所示,对于一张查询图像 (Query image) ,将提取的形貌子输入到 BoW 中,最终会落入码词叶子结点 (Visual word) k 中。而每个码词对应一个索引,记载码词

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

对于数据库中第

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

张图的权重

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

(Fig.10)。这里权重使用 TF-IDF(Term frequencyCinverse document frequency) 盘算。即若是一个词

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

在某个图像

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

中泛起频率高,在其它图像泛起频率低,则这个词对于图像判别性较好,权重值

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

较高。最终通过投票 (Voting) 机制,选出匹配图像。同样需要注重的是,逆向索引纷歧定建设在树形结构的 BoW 上,它仅仅是提供一种快速查询的要领。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 11: 通过逆向索引 + 投票机制,直接查询图像

而正向索引 (Direct Index) 的作用主要是记载结构 BoW 时,数据库图片的特征点都落入了哪些结点中,这样当查询到图像后,不需要盘算特征点,可以直接通过索引提取特征点。

2.2.3 3D 点云查询

2D 图像查询中,是先从语意层面查询图像,因此可以通过图像对特征点的空间规模举行约束。3D 点云查询没有这样的约束,以是具诸多灾点。如需要思量空间一连性,查询到的点是否都在可观察规模内等。这里仅先容 Sattler 在 TPAMI 2016 上揭晓的要领 [15],经由多年的打磨,这套要领框架相对简练、完善。由于其中的词典编码搜索步骤与上节内容有所重叠,这里仅先容 Active Search 和 Visbility Filtering 两种机制。

Active Search 主要是为了使得匹配到的 3D 点尽可能空间中邻近、有几何意义。如 Fig. 12所示,红 色的点通过一系列编码、精化历程(红线),匹配到了点云中一个点。凭据所提出优先排序(Prioritization) 框架,从点云中找到一个概率最大的 3D 点,并反向(蓝线)匹配查询图像中的一个对应的 2D 点。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 12: Active Search

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 13: Visbility Filtering

Visbility Filtering 主要是为了让匹配到的点尽可能可以被相机观察到(定位是无监视的,并不能知道所匹配到的点是否准确)。这里接纳的要领是在使用 SfM 建设 3D 点云舆图时,同时建设一个双向可见图 (Bipartite visibility graph) 。如 Fig. 13(左)所示,当一个点可以同时被两个相机观察时,则建设拓扑关系。Fig. 13(中)里,蓝色的点为匹配到的点,它们从观察视角上存在冲突。通过在已有拓扑上进 行图聚类,将相机两两分组,如 Fig. 13(右)。这样就可以天生新的图拓扑关系。之后通过判断每个子图(Sub-graph)间的重合情形,过滤掉那些那或许率不行见的点。

需要说明的是,虽然双目相机和 RGB-D 相机可以获取深度,查询 2D 图像也可以获得限制规模内的 3D 特征点坐标,可是由于现在手艺限制,在室内材质庞大,室外大尺度场景下,深度并不行靠。以是 2D图像点和 3D 点云舆图的匹配依然是一种主要的要领。

2.3 特征点匹配

特征点匹配历程可以是在数据库查询中自顺应完成的,这多见于基于 3D 结构的查询。匹配也可以是在查询后单独举行,多见于基于 2D 图像查询。特征匹配的目的是,为后续的变换矩阵盘算提供匹配的点对集,实现位姿的解算。

2.3.1 经典 RANSAC

随机抽样一致算法 (Random sample consensus,RANSAC)[16] 是一种经典的数据过滤、参数拟合算法。它假设数据(内点,Inliers)漫衍切合一定的数学模子,通过迭代盘算,去除外点 (Outliers) 、噪声点, 同时获取概率上最佳的模子参数。在全局定位中,内点指准确的匹配,外点指错误的匹配,参数模子指匹配点对的空间变换矩阵。如 Fig. 14所示,经由 RANSAC 算法优化后,匹配越发合理。RANSAC 所期望找到的匹配子集需要知足两个指标:内点重投影误差尽可能小;内点数目尽可能多。以是基本流程如下:

①采样初始子集。

②盘算变换矩阵。

③ 凭据变换矩阵盘算匹配点的重投影误差。

④ 去除误差较大的点

⑤ 循环①-④,保留最知足指标的匹配方案。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 14: (上)原始特征匹配;(下)经由 RANSAC 算法优化后的匹配
其中,初始候选匹配是凭据形貌子之间的距离发生的,但重投影误差则只和要害点的空间位置有关, 与形貌子自己无关。详细投影矩阵要领请参考“2.4 位姿盘算”。需要指出的是,RANSAC 算法受到原始匹 配误差和参数选择的影响,只能保证算法有足够高的概率合理,纷歧定获得最优的效果。算法参数主要包罗阈值和迭代次数。RANSAC 获得可信模子的概率与迭代次数成正比,所获得的匹配数目和阈值成反比。因此现实使用时,可能需要重复实验差别的参数设置才气获得较优的效果。
学者们对经典 RANSAC 算法举行了许多革新,如 Fig. 15所示,提出了全局 RANSAC(Universal- RANSAC)[17] 的结构图,形成了具有普适性的 RANSAC 架构,涵盖了险些所有的 RANSAC 的革新方 面,如预滤波、最小子集采样、由最小子集天生可靠模子、参数校验、模子精化。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 15: Universal-RANSAC 通用算法框架
2.3.3 可微分 RANSAC
由于手工形貌子在定位领域依然体现出较高的性能,以是一些学者最先探索使用深度学习取代算法框架中的某些部门,而不是直接使用端到端的位姿预计模子完全取代传统要领。可微分 RANSAC(Differentiable RANSAC,DSAC)[18] 旨在用概率假说选择取代确定性假说选择,使得 RANSAC 历程可以被求导,流程如 Fig. 16所示,其中“Scoring”步骤依然接纳重投影误差作为指标,所差别的是,误差是基于整张图像而不是特征点,而原先筛选特征点匹配的历程被换为了直接以概率筛选相机位姿假设 h 的历程。虽然目 前要领局限性比力大,但 DSAC 为怎样在当前无监视为主的定位算法框架中加入先验知识,提供了一种可行的思绪。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 16: 差分 RANSAC 算法框架
2.4 位姿盘算
对于已获得的准确匹配点对,需要通过几何约束盘算响应的变换矩阵  (Transformation matrix) 。由于数据库中的点坐标,采样时的相机位姿已知,以是可以通过匹配点对于舆图点的变换矩阵,获得当前相机的位姿。此处界说一些基本符号。相机内参为

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

,变换矩

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

的齐次形式为:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

其中,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

为旋转矩阵,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

为平移矩阵。
2.4.1 2D-2D 变换矩阵盘算

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 17: 2D-2D 变换矩阵盘算中的对极几何
对于两张二维图像中的已匹配好的特征点对 (

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

) ,它们在归一化平面上的坐标为 (

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

),需要通过对极约束盘算出响应的变换矩阵。如 Fig. 17所示,其几何意义是

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

三者共面,这个面也被称为极平面,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

称为基线,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

称为极线。对极约束中同时包罗了平移和旋转,界说为:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

其中,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

在归一化平面上的坐标,∧ 是外积运算符。将公式中心部门计为基础矩阵

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

和本质矩阵

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

,则有:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

由于本质矩阵

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

不具有尺度信息,以是 E 乘以恣意非零常数后对极约束依然建立。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

可以通过经典的 8 点法求解(Eight-point-algorithm),然后剖析获得

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

。因此可以看出 2D-2D 的变换矩阵求解方式有两个弱点,首先单目视觉具有尺度不确定性,尺度信息需要在初始化中由

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

提供。响应地,单目初始化不能只有纯旋转,必须要有足够水平的平移,否则会导致

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

为零。
2.4.2 2D-3D 变换矩阵盘算
2D-3D 匹配是位姿预计中主要的一种要领。一样平常使用 PnP 法,即已知

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

对 2D-3D 匹配点,求解变换矩阵,以获得相机位姿。我们将 3D 点 P(X, Y, Z) 投影到相机成像平面 (

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

) 上:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

其中,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

为尺度,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

。这个等式的求解可以化为一个线性方程问题,每个特征可以提供两个线性约束:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

这样,最少可以通过 6 对匹配点举行求解,而匹配数大于 6 时可以使用 SVD 等要领通过结构最小二乘 求解。P3P 法可以看作是 PnP 法的特殊解法,如 Fig. 18所示,使用三角形相似性子增添更多约束,只需要 3 对点就可以求解。其它解法另有直接线性变换法 (Direct linear transformation,DLT),EPnP(Efficient PnP) 法,和 UPnP(Uncalibrated PnP)等。相对于以上线性优化要领,非线性优化要领如Bundle Adjustment(BA) 也有着普遍的应用。BA 要领在视觉 SLAM 中是一种“万金油”的存在,可以同时优化多个变量,这样可以一定水平缓解局部误差带来的系统不鲁棒,感兴趣的同砚可以翻阅相关资料更深入地举行相识。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

Figure 18: 2D-3D 变换矩阵盘算中的 P3P 要领
2.4.3 3D-3D 变换矩阵盘算
3D 点之间的变换矩阵可以用迭代最近点(Iterative closet point, ICP)算法求解。假设点对匹配 (

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

) 效果准确,则求得的转换矩阵应当只管淘汰重投影误差

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

。可以使用 SVD 求解最小二乘问题:

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

或者使用建设在李代数上的非线性优化要领 Bundle Adjustment 求解

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

其中,

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

表现相机位姿。这里的优化目的与 2D-3D 匹配中的 Bundle Adjustment 的类似,可是不需要思量相机内参

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

,由于通过双目相机或者 RGB-D 深度相机,已经把原本图像上的 2D 点从相机成像平面投影到 3D 天下中。
ICP 问题已经被证实存在唯一解和无限多解的情形。因此,在存在唯一解的情形下,优化函数相当于是一个凸函数,极小值即是全局最优解,无论接纳何种初始化,都可以求得这一唯解。这是 ICP 要领的一大优点。

涂覆(涂层)检测AOI设备,台式涂覆机,三防漆桌面涂覆机,台式点胶机,三防漆喷涂机,三防漆喷胶机,桌面点胶机

总结与展望

本文从图像形貌、建图查询、特征匹配,位姿盘算四个方面先容了基于特征点的位姿预计算法。虽然传统视觉全局定位要领现在依然是现实应用中的首选,可是,传统要领是建设在特征点被准确界说、准确提取、准确匹配、准确观察的条件下举行的,这一条件对于视觉自己而言就是庞大的挑战。其次,由于传统要领是 multi-stage 框架,而非 end-to-end,以是中心每个环节,环节之间的交互,都需要众多参数调整,每个环节的手艺都可以作为一个单独的研究偏向。现实应用时,也需要加入对应详细场景的大量tricks,工程上比力庞大。

而人们对 end-to-end 要领的期望催生出了如 PoseNet,VLocNet,HourglassNet 等网络,在 benchmark上取得了不错的结果。笔者以为现在 end-to-end 的要领还存在许多问题,主要有 loss function 缺少几何 约束,建图时位姿的 6 自由度空间并不一连,与输入空间难以形成优秀映射,而且缺少响应的位姿回归、 精化机制等。不能否认,作为非线性空间最有力的建模工具,深度学习在未来会更多地泛起在定位领域中。

回归到视觉定位自己,由于视觉最主要的优势就是成本低、语意富厚、使用场景限制少。因此,以视觉为主,其它低成本传感器为辅的定位融合方案在未来也将会是一个主要的课题。

参考资料[1]  Dalal, N., and B. Triggs. ”Histograms of oriented gradients for human detection.” CVPR, 2005.[2]  Lowe, David G. ”Distinctive Image Features from Scale-Invariant Keypoints.” IJCV, 2004.[3]  Bay, Herbert, T. Tuytelaars, and L. V. Gool. ”SURF: Speeded Up Robust Features.” ECCV, 2006.[4]  P.F.Alcantarilla,J.Nuevo,andA.Bartoli.Fast explicit diffusion for accelerated features in nonlinear scale spaces. BMVC, 2013.[5]  Ojala, Timo. ”Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns.” ECCV, 2000.[6]  Rublee, Ethan , et al. ”ORB: An efficient alternative to SIFT or SURF.” ICCV, 2011.[7]  Leutenegger, Stefan , M. Chli , and R. Y. Siegwart . ”BRISK: Binary Robust invariant scalable keypoints.” ICCV, 2011[8]  Alahi, Alexandre , R. Ortiz , and P. Vandergheynst . ”FREAK: Fast retina keypoint.” CVPR, 2012.[9]  Witkin, A P, M. Baudin, and R. O. Duda. ”Uniqueness of the Gaussian Kernel for Scale-Space Filtering.” TPAMI, 1986.[10]  Jegou, Herve , et al. ”Aggregating local descriptors into a compact image representation.” CVPR, 2010.[11]  Torii, Akihiko , et al. ”24/7 place recognition by view synthesis.” CVPR, 2015.[12]  Arandjelovic, Relja, et al. ”NetVLAD: CNN architecture for weakly supervised place recognition.” TPAMI, 2017.[13]  Li, Fei Fei . ”A Bayesian Hierarchical Model for Learning Natural Scene Categories. CVPR, 2005.[14]  Galvez-Lopez, D. , and J. D. Tardos . ”Bags of Binary Words for Fast Place Recognition in Image Sequences.” TRO, 2012.[15]  Sattler, Torsten , B. Leibe , and L. Kobbelt . ”Efficient & Effective Prioritized Matching for Large- Scale Image-Based Localization.” TPAMI, 2016.[16]  Fischler, Martin A., and R. C. Bolles. ”Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography.” Communications of the ACM, 1981.[17]  Raguram, Rahul , et al. ”USAC: A Universal Framework for Random Sample Consensus.” TPAMI, 2013.[18]  Brachmann, Eric, et al. ”DSAC ―Differentiable RANSAC for Camera Localization.” CVPR, 2017.- End -

Powered by 天使猫信息科技 ©2008-2021 www.tzmsmt.com 粤ICP备18017075号