CN111709893A - 一种基于信息熵和锐化调整的orb-slam2改进算法 - Google Patents

Abstract

本发明公开了一种基于信息熵和锐化调整的ORB‑SLAM2改进算法。该算法基于自适应信息熵筛选算法和锐化调整算法。信息熵筛选图像块和锐化算法的结合在一定程度上解决了相机大角度转动、图像纹理信息不丰富导致的系统定位与建图失败问题。

Description

一种基于信息熵和锐化调整的ORB-SLAM2改进算法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于信息熵和锐化调整的ORB-SLAM2改进算法。

背景技术

目前的SLAM系统按照传感器类型的不同主要分为两大类：激光SLAM和视觉SLAM。激光SLAM的传感器激光雷达的优点是可视范围广，但是缺点是价格高，且低成本的雷达角分辨率不够高，影响到建模精度。而视觉SLAM使用的传感器摄像头价格成本低，且图像具有丰富信息。因此21世纪以来，视觉SLAM得以快速发展。

以摄像头为外部传感器的SLAM称为视觉SLAM。视觉SLAM按照视觉传感器分类可分为单目SLAM、双目SLAM和RGB-D SLAM等；按照图像处理方式可分为直接法和非直接法，如特征点法、轮廓特征等；按照构建地图的稀疏程度可分为稀疏、稠密、半稠密等。视觉SLAM的标志性研究成果有Mono-SLAM、PTAM、ORB-SLAM、ORB-SLAM2等。

2007年，Andrew Davison提出了Mono-SLAM，是SfM(Structure from Motion)实时性的实现，因此也称为Real-Time Structure From Motion。Mono-SLAM是基于概率建图的SLAM，并且具有闭环修正的功能。但是Mono-SLAM的只能实时地处理小场景，只在小场景中有良好的效果。同年，Georg Klein、David Murray提出了PTAM(Parallel Tracking andMapping)，其革命性创新是将系统分为两个线程：跟踪和建图，并且提出了关键帧的概念。PTAM不再是处理序列，而是处理包含的很大信息量的关键帧。2015年，MUR-ARTALR等人提出了ORB-SLAM，2016年，又提出了ORB-SLAM2。ORB-SLAM[4]是一个以PTAM为框架进行改进、基于特征点的单目SLAM系统。该算法可以实时运行在狭小的室内环境和宽阔的室外环境中、对剧烈运动具有鲁棒性。在ORB-SLAM的基础上增加了应用范围，是一套可以基于单目，双目和RGB-D相机的完整的SLAM方案。ORB-SLAM2比此前方案精度更高，并能在标准CPU上实时工作。

目前ORB-SLAM2中仍存在一些问题有待解决：在光照突然变化、光照强度太强、太弱或者弱纹理环境下，特征点提取鲁棒性差的问题；在动态环境下，如相机大角度转动情况下，特征点丢失的问题，以及在视野中有动态物体运动的复杂环境下对特征点提取的影响等。

针对上述问题，本文对ORB-SLAM2算法进行修改，增加了基于自适应信息熵的筛选算法以及图像锐化算法。实验结果显示，改进后的算法优化了ORB-SLAM2的精度和鲁棒性，同时解决了纹理信息不丰富时和部分大角度转动问题。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，针对ORB-SLAM2系统对纹理信息不丰富的图像序列，以及相机在大角度转动时定位与建图失败的问题，提出了一种基于信息熵和锐化处理的视觉里程计算法。该算法既保留图像信息又能够对纹理信息不丰富的图像以及一定程度的模糊图像有所改善。

其技术方案如下：

步骤1，将输入的图像转化为灰度图，并将图片在缩放因子的作用下扩展成为8层图像金字塔，然后将金字塔的每层图像划分图像块；

步骤2，计算图像块的信息熵E，将所得的信息熵E与信息熵阈值E₀作比较，信息熵E小于阈值E₀的图像块，表示图像块所包含的有效信息较少，进行ORB特征点提取的效果较差；需要先进行锐化处理来增强细节；

步骤3，信息熵小于阈值的图像块在完成锐化处理后与信息熵大于阈值的图像块进行ORB特征点的提取；在金字塔中采用FAST特征点提取算法提取出特征点，然后对提取出的特征点用四叉树均匀化算法进行均匀化处理。

步骤4，接着对均匀化处理后的特征点进行BRIEF描述，生成特征点的二进制描述子。此时生成的具有BRIEF描述子的特征点叫做ORB特征，具有视点不变性和光照不变性。ORB特征在ORB-SLAM2系统中用于之后的图匹配和识别。

步骤5，当前帧提取完ORB特征后，将上一帧所得到的特征点根据世界坐标系下的相机内参矩阵和旋转矩阵投影到当前帧，得到上一帧特征点在当前帧的像素坐标。以投影后的特征点为中心，以一定半径建立搜索区域，搜索出当前帧在投影区的所有特征点。接着，分别计算这些特征点与中心特征点的最优描述子距离。以有着最小距离的特征点作为与上一帧的特征点匹配结果。最后，剔除误匹配。得到最终匹配结果。

步骤6，将得到的特征点加上颜色等信息后转换为点云存储。采用ICP算法来进行运动估计。在待匹配的点云集P中取出点云P_i，并在源点云Q中找到与P_i对应的点云Q_i，由于待匹配点云P_i能够通过一定的旋转和平移得到Q_i。

构建误差函数：

其中R为旋转矩阵，t为平移矩阵。求出R，t后。

再利用P_i'＝P_iR+t，求出P_i'即估计的相机运动。

有益效果

本发明与现有技术相比有如下优点：

1、提出了图像信息熵阈值自适应的计算公式，使得场景适应能力增强；

2、通过计算图像块对应的信息熵阈值，并比较图像块信息熵与信息熵阈值之间的大小关系，对信息熵不同的图像块进行不同处理；当图像块信息熵小于信息熵阈值时则对该图像块进行锐化处理，当图像块信息熵大于信息熵阈值时，不做处理，既保留图像信息又能够对纹理信息不丰富的图像以及一定程度的模糊图像有所改善；

3、在一定程度上解决了相机大角度转动以及图像纹理信息不丰富而导致的系统定位与建图失败的问题，提高了系统的鲁棒性；

4、一定程度上提高了特征点的质量，从而减小了系统的平均绝对轨迹误差。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请基于信息熵和锐化调整的ORB-SLAM2改进算法框架图；

图2为本申请基于信息熵和锐化调整的ORB-SLAM2改进算法流程图；

具体实施方式

下面对本发明的实施例进行详细说明：

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明的基于信息熵和锐化调整的ORB-SLAM2改进算法框架图。

在Tracking线程运行前，ORB-SLAM2系统对输入的图像进行一系列的处理。首先将输入进来的图像转为灰度图，接着构造Frame。在本文算法中，在构造Frame中加入基于信息熵阈值的锐化调整。在纹理不丰富的图像和模糊的图像中，通过图像锐化调整，能够使得图像的角点信息更加突出，因此在Tracking线程中提取ORB特征时，更加容易检测出特征点，增强了系统的鲁棒性。并且加入基于信息熵阈值的筛选，有当图像块信息熵小于阈值时才进行图像锐化调整，从而减少了锐化调整的时间，保证了系统的实时性和保留图像信息的完整性，当图像块信息熵大于阈值时不进行处理，算法的系统框架在图1中展示。

Tracking线程输入为每一帧图像，在未初始化时，尝试利用两帧图像进行初始化。初始化完成后，对获得的每一帧图像，通过特征描述子实现图像特征点与局部地图点的有效匹配，运用光束平差法来最小化重投影误差，从而优化当前帧相机位姿，实现每帧图像采集时刻相机的跟踪和定位。满足特定条件时，将当前帧确定为关键帧。

在Tracking部分选出的关键帧需要将其插入地图中，进行建图。关键帧中包含有地图点，地图点是特征点，当超过一定数目的关键帧都能检测到该关键点时，该特征点被加入到地图中，成为地图点。当观测到某地图点的关键帧被删除时，使得该地图点不满足成为地图点的条件时，该地图点被删除。

在建图时，会进行局部BA优化。利用BA进行最小化重投影误差并且优化地图点和位姿。由于BA需要大量的数学运算，并且运算的时间与关键帧等有关，因此为了减少耗时，Local Mapping会删除冗余的关键帧。

在相机的持续运动中，计算机计算得到的相机位姿，以及三角化得到的地图点都不会与实际完全一致，它们之间存在一定的误差，并且随着帧数的增加，误差逐渐累积。为了减少这些累积误差，最有效的方法是闭环修正，并且利用闭环对所得到的相机姿态以及地图点等进行优化。ORB-SLAM2采用闭环检测的方法，当相机重新进入之前的场景，系统检测到闭环，进行全局BA优化，以减小累计误差。因此当ORB-SLAM2系统应用于大范围场景时，表现出更高的鲁棒性和可用性。

如图2所示，本发明基于信息熵和锐化调整的ORB-SLAM2改进算法流程图；

(1)将输入的图像转化为灰度图，并将图片在缩放因子的作用下扩展成为8层图像金字塔，然后将金字塔的每层图像划分图像块。

(2)计算图像块的信息熵E，将所得的信息熵E与信息熵阈值E₀作比较。信息熵E小于阈值E₀的图像块，表示图像块所包含的有效信息较少，进行ORB特征点提取的效果较差。因此需要先进行锐化处理来增强细节。

(3)信息熵小于阈值的图像块在完成锐化处理后，与信息熵大于阈值的图像块进行ORB特征点的提取。在金字塔中采用FAST特征点提取算法提取出特征点，接着对提取出的特征点用四叉树均匀化算法进行均匀化处理，使得提取特征点分布更加均匀，避免了特征点出现扎堆的现象，使算法更具有鲁棒性。

(4)接着对均匀化处理后的特征点进行BRIEF描述，生成特征点的二进制描述子。此时生成的具有BRIEF描述子的特征点叫做ORB特征，具有视点不变性和光照不变性。ORB特征在ORB-SLAM2系统中用于之后的图匹配和识别。

(5)将上一帧所得到的特征点根据世界坐标系下的相机内参矩阵和旋转矩阵投影到当前帧，得到上一帧特征点在当前帧的像素坐标。以投影后的特征点为中心，以一定半径建立搜索区域，搜索出当前帧在投影区的所有特征点。接着，分别计算这些特征点与中心特征点的最优描述子距离。以有着最小距离的特征点作为与上一帧的特征点匹配结果。最后，剔除误匹配。得到最终匹配结果。

(6)将得到的特征点加上颜色等信息后转换为点云存储。采用ICP算法来进行运动估计。在待匹配的点云集P中取出点云P_i，并在源点云Q中找到与P_i对应的点云Q_i，由于待匹配点云P_i能够通过一定的旋转和平移得到Q_i。

构建误差函数：

其中R为旋转矩阵，t为平移矩阵。

求出R，t后。再利用P_i'＝P_iR+t，求出P_i'即估计的相机运动。

图像信息处理的重点是特征点的提取。ORB算法是将FAST特征点检测和BRIEF特征描述子这两种方法相结合，且在他们的基础上做出进一步的优化和改进。FAST算法的核心是取一个像素，将其与它周围的点的灰度值进行比较，若这个像素与周围的大多数像素的灰度值相差大，就认为这是一个特征点。ORB算法正是基于这样的方法，找到图像中的角点。

质心是指以图像块灰度值作为权重的中心。其具体操作步骤如下：

1.在一个小的图像块B中，定义图像块的矩为：

2.通过矩可以找到图像块的质心：

3.连接图像块的几何中心O与质心C，得到一个方向向量

于是特征点方向可以定义为：

通过以上方法，FAST角点便具有了尺度与旋转的描述，大大提升了它们在不同图像之间表述的鲁棒性。所以在ORB中，把这种改进后的FAST称为OrientedFAST。

BRIEF描述子的主要思路是在特征点的附近按照某种概率分布，随机选取若干点对，然后将这些点对的灰度值，组合为二进制串，最后将这个二进制作为此特征点的描述符。但是BRIEF描述子不具有旋转不变性，所以ORB算法对其进行了改进，在计算BRIEF描述子时，ORB会对这些对应的特征点进行主方向的求解，从而保证了在不同的旋转角度下，对同一特征点选取的点对是一样的。

图像锐化调整的目的是为了使图像的边缘、轮廓变得清晰以及增强图像的细节。图像锐化的方法有一阶微分锐化方法和二阶锐化微分方法，图像锐化最常用的是梯度法。一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，而图像边缘信息也主要集中在其高频部分。通常使用平滑处理去除高频处的噪声，但这样也模糊了图像的边缘信息，使图像出现边缘和轮廓模糊的情况，影响特征点的提取。

为了减少不利的影响，本文采用卷积运算，增大矩阵每一个元素与周边元素的方差，达到图像锐化的效果。卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n)，n为整数变量，则卷积的结果为：

对划分好的图像块做卷积操作其实就是利用卷积核在图像上滑动，将像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。卷积函数表达式如下：

kernel为卷积核，是一个矩阵；anchor为内核的基准点，其中，(x,y)表示图像像素的位置，(x′,y′)表示卷积模板像素位置。

在信息论中，熵是无序程度的一种度量，用于度量图像中信息的不确定性。熵值越大，表示无序程度越高；熵值越小，表示无序程度越低。在图像处理中，熵可以反映图像的信息丰富程度、展示图像中所含的信息量的大小。

本文使用的信息熵计算公式为：

其中p(x_i)为灰度为i(i＝0…255)的像素在图像中的概率。

若图像中含有的信息量用信息熵表示，则定义一幅大小为M×N的图像的熵值为：

其中f(i,j)为图像中点(i,j)处灰度,p_ij为点(i,j)处灰度分布概率,H为该图像的熵。若将M×N作为图像中以为中心的一个局部邻域,则H称为图像的信息熵值。信息熵反映了局部图像所包含的纹理信息丰富程度或图像像素梯度变化程度：信息熵值越大，则图像纹理信息丰富、图像像素梯度变化明显。

因此ORB特征点提取的效果好，该图像块不需要细节增强；局部信息熵值越低，图像像素梯度变化不明显、纹理信息不丰富，因此ORB特征点提取的效果差，需要进行锐化调整以增强细节，优化特征点提取的效果。通过对比ORB-SLAM2的特征点提取可以直观的看出优化后的提取算法精度会更好。

由于信息熵值的大小跟场景有密切的关系，不同场景下的不同视频序列，其信息丰富度不同，因此不同场景的信息熵阈值也必然是不同的。在每个不同的场景中，为了得到阈值，需要经过反复实验，多次设置信息熵阈值进行匹配计算。且不同场景下的经验值差异较大，阈值不具有普适性，也不能快速得到较好的匹配结果，因此信息熵的自适应算法尤为重要。

本文提出一种信息熵阈值自适应的方法，根据不同的场景调整阈值。自调整公式为：

H(i)_ave为该场景下的信息熵的平均值，可通过在该场景下的一段视频中的每帧图片的信息熵累加然后除以帧数得到。i为该视频序列的帧数，δ为修正因子，经过实验，这里取为0.3时效果最好。通过上述公式，计算出的E₀即为该场景的信息熵阈值。

在绝对轨迹误差评价标准下，本文算法占有一定的优势，在相机做360°旋转的场景下，绝对轨迹误差提升了35％，在普通场景下，绝对轨迹误差提升了48％，在图像序列纹理不丰富的情况下，绝对轨迹误差提升却是最大的，说明本文算法对图像序列纹理不丰富的场景有相当的改善，并且对相机做大角度转动的情况也有一定的改善。本文算法在平均相对轨迹误差上有优势：在普通场景下，比ORB-SLAM2系统的平均相对轨迹误差小了17.5％，在相机做360°旋转的场景下和图像序列纹理不丰富时的情况下，本文算法比ORB-SLAM2系统提升了40％以上。证明了本文算法的确较ORB-SLAM2系统有提升。由于对局部图像进行锐化处理，平均追踪时间略有增加但是增加不大。

由于利用了图像块的信息熵判断其信息量大小，信息熵较小的图像块被锐化处理，增强局部图像细节，为提取能够表征图像信息的局部特征点作为相邻帧及关键帧匹配的关联依据，增强鲁棒性，同时为减少由于帧间匹配失败而造成的运动跟踪丢失问题.根据匹配结果计算帧间的R,t变换关系，后端采用G2O进行基于姿态图的位姿优化，最终生成运动轨迹。

跟踪精度采用反映测量精密度的绝对轨迹误差均方根(RMSE)作为评价标准，绝对轨迹误差均方根RMSE(x)定义如下：

其中，x_e，i表示图像序列中第i帧的位置估计值，x_s，i表示图像序列中第i帧的位置标准值。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变换或改进，这些都属于本发明的保护范围。

Claims (4)

1.一种基于信息熵和锐化调整的ORB-SLAM2改进算法，其特征在于包括如下步骤：

步骤1，将输入的图像转化为灰度图，并将图片在缩放因子的作用下扩展成为8层图像金字塔，然后将金字塔的每层图像划分图像块；

步骤2，计算图像块的信息熵E，将所得的信息熵E与信息熵阈值E₀作比较，信息熵E小于阈值E₀的图像块，表示图像块所包含的有效信息较少，进行ORB特征点提取的效果较差；需要先进行锐化处理来增强细节；

步骤3，信息熵小于阈值的图像块在完成锐化处理后与信息熵大于阈值的图像块进行ORB特征点的提取；在金字塔中采用FAST特征点提取算法提取出特征点，然后对提取出的特征点用四叉树均匀化算法进行均匀化处理。

2.根据权利要求1所述的基于信息熵和锐化调整的ORB-SLAM2改进算法，还包括步骤4，对均匀化处理后的特征点进行BRIEF描述，生成特征点的二进制描述子，此时生成的具有BRIEF描述子的特征点叫做ORB特征；ORB特征在ORB-SLAM2系统中用于图匹配和识别。

3.根据权利要求2所述的基于信息熵和锐化调整的ORB-SLAM2改进算法，还包括步骤5，当前帧提取完ORB特征后，将上一帧所得到的特征点根据世界坐标系下的相机内参矩阵和旋转矩阵投影到当前帧，得到上一帧特征点在当前帧的像素坐标；以投影后的特征点为中心，以一定半径建立搜索区域，搜索出当前帧在投影区的所有特征点，然后分别计算这些特征点与中心特征点的最优描述子距离；以有着最小距离的特征点作为与上一帧的特征点匹配结果；最后，剔除误匹配，得到最终匹配结果。

4.根据权利要求3所述的基于信息熵和锐化调整的ORB-SLAM2改进算法，还包括步骤6，将得到的特征点加上颜色等信息后转换为点云存储；采用ICP算法来进行运动估计，在待匹配的点云集P中取出点云P_i，并在源点云Q中找到与P_i对应的点云Q_i，由于待匹配点云P_i能够通过一定的旋转和平移得到Q_i，

构建误差函数：

其中R为旋转矩阵，t为平移矩阵；

求出R，t后，再利用P_i'＝P_iR+t，求出P_i'即估计的相机运动。

Images