[go: up one dir, main page]

CN108682027A - 基于点、线特征融合的vSLAM实现方法及系统 - Google Patents

基于点、线特征融合的vSLAM实现方法及系统 Download PDF

Info

Publication number
CN108682027A
CN108682027A CN201810449541.0A CN201810449541A CN108682027A CN 108682027 A CN108682027 A CN 108682027A CN 201810449541 A CN201810449541 A CN 201810449541A CN 108682027 A CN108682027 A CN 108682027A
Authority
CN
China
Prior art keywords
frame
line
features
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810449541.0A
Other languages
English (en)
Inventor
王行
周晓军
杨淼
李朔
李骊
盛赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810449541.0A priority Critical patent/CN108682027A/zh
Publication of CN108682027A publication Critical patent/CN108682027A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点、线特征融合的vSLAM实现方法及系统。包括步骤S110、获取目标场景的图像帧序列；步骤S120、对各帧图像进行预处理；步骤S130、根据匹配成功的点特征和线特征，初始化环境地图；步骤S140、基于环境地图进行跟踪，并对当前帧图像的位姿进行估计；步骤S150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤S160，若否，则重复执行步骤S110至步骤S150；步骤S160、执行局部地图线程的步骤；步骤S170、执行闭环检测线程的步骤；步骤S180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vSLAM在复杂、低纹理场景下存在的不足。

Description

基于点、线特征融合的vSLAM实现方法及系统
技术领域
本发明涉及视觉同步定位与地图构建(SLAM)领域，特别涉及一种基于点、线特征融合的vSLAM实现方法以及一种基于点、线特征融合的vSLAM实现系统。
背景技术
同步定位与地图构建(simultaneous localization and mapping,SLAM)最早源于机器人领域，其目标是在一个未知的环境中实时重建环境的三维结构并同时对机器人自身进行定位。早期的SFM技术一般是离线处理的，后来随着技术的发展出现实时的SFM技术，可以归于SLAM的范围。V-SLAM技术根据拍摄的视频信息推断出摄像头在未知环境中的方位,并同时构建环境地图,其基本原理为多视图几何原理。V-SLAM的目标为同时恢复出每帧图像对应的相机运动参数C1...Cm，以及场景三维结构X1...Xn；其中每个相机运动参数Ci包含了相机的位置和朝向信息，通常表达为一个3×3的旋转矩阵Ri和一个三维位置变量Pi。
由于基于特征的V-SLAM需要进行图像特征的匹配，因此其稳定性严重依赖于场景特征的丰富程度。当场景中纹理信息缺失时或相机快速运动导致图像模糊时，点特征的数量往往较少，影响了位姿估计的精度。虽然直接跟踪法在某种程度上缓解了特征的依赖问题，但是稠密和半稠密的直接跟踪计算量较大，无法在一些计算能力有限的平台上运行。而在人造的结构化环境中，存在着结构化的特征，如线段特征、平面特征等。线段特征和点特征是互为补充的，可以观察到在地面和墙面上几乎提取不到点特征，例如，相机拍摄一面纯色的白墙，那么仅从图像无法恢复出相机的运动。而在地面与墙面的交界处等却存在着丰富的线段特征。线段特征相对于点特征而言，是一种更高层次的特征，利用线段特征构建的环境地图具有更直观的几何信息，同时也能提高SLAM系统的精度和鲁棒性。
中国专利申请CN104077809A公开了“基于结构性线条的视觉SLAM方法”，该方法中，提供了一种基于结构性线条的视觉SLAM方法，其中，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建(SLAM)；该方法包括如下内容：SLAM初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；SLAM过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征直线的位置以及所述摄像设备的位置和姿态。该发明利用结构性线条的主导方向信息，可以全局的限制预测的方向，很大程度上提高轨迹和地图的精度。该方法存在以下不足：1、使用卡尔曼滤波器优化位姿的方法，具有一定的局限性，由于状态变量仅保留当前时刻的位姿，过去时刻的位姿将不再更新，导致估计不准确的先验信息一直传递到后一时刻中，照成累计误差；2、该方法并没有实现闭环检测的功能，具有一定的扩展局限性。
中国专利申请CN107392964A公开了“基于室内特征点和结构线结合的室内SLAM方法”，该方法中，涉及室内特征点和结构线结合的视觉SLAM算法，包括：相机内参标定；针对相机获取的视频帧影像数据，提取特征点和结构线；根据获取的特征点和结构线，进行特征点和结构线跟踪，并进行关键帧选取；根据获取的特征点和结构线的跟踪信息，进行周围环境空间点和空间线制图以及平台定位优化；判断平台运动轨迹是否形成闭环，获取正确的闭环关键帧，对全局的影像姿态和地图进行整体优化。该发明具有实时性、高效性，利用匹配的特征点和结构线对影像的姿态和周围的环境进行制图，并进行了回环检测处理，在充分利用结构线减少漂移误差的同时，利用回环检测最后可以获取较好地移动机器人平台定位结果和周围环境的结构特征。该方法存在以下不足：1、回环检测部分构建DBoW2词典只对特征点进行描述，并没有对特征线条描述，在回环检测的准确性能上要低；2、双目相机的标定和像素深度的计算复杂度高。
因此，如何克服现有技术中存在的上述不足，真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的SLAM系统，这成为本领域亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种基于点、线特征融合的vSLAM实现方法和一种基于点、线特征融合的vSLAM实现系统。
为了实现上述目的，本发明的第一方面，提供了一种基于点、线特征融合的vSLAM实现方法，包括：
步骤S110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；
步骤S120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；
步骤S130、根据匹配成功的点特征和线特征，初始化环境地图；
步骤S140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；
步骤S150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤S160，若否，则重复执行步骤S110至步骤S150；
步骤S160、执行局部地图线程的步骤；
步骤S170、执行闭环检测线程的步骤；
步骤S180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。
可选地，所述步骤S120包括：
采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；
采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：
两段线特征的方向向量夹角小于
两段线特征的长度比值
两段线特征的重叠区域长度
两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；
其中，为两段线特征所对应的方向向量夹角的最大阈值；
min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；
τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；
loverlap为两段线特征的重叠区域长度；
β为两段线特征的重叠区域长度的阈值；
ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。
可选地，所述步骤S130包括：
根据相邻两帧图像匹配后点对坐标，计算其视差并三角化，以计算出对应的空间点坐标；
分别以前一帧图像中的线特征的两个端点为基准，过该线特征的端点作平行线与当前帧图像中的线特征相交，以得到前一帧图像中的线特征的两个端点的深度；
根据两个端点的深度，计算对应的普吕克坐标，以完成环境地图的初始化。
可选地，所述步骤S140包括：
分别基于相邻帧图像的特征匹配和局部地图特征匹配，得到空间点、线特征与平面点、线特征的匹配关系；
根据相邻帧图像的匹配关系，假定跟踪到的空间点和和空间线的坐标是确定的，以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数进行姿态求解：
根据局部地图的匹配关系，假定局部地图内的空间点和空间线的坐标是确定的，去优化当前帧的位姿；
其中，xc表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，ρ为Huber的cost函数，∑为协方差矩阵，e为投影误差，pilj为特征集。
可选地，所述关键帧条件满足：
距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲；以及，
当前帧至少跟踪到了50个特征点和15条空间直线；以及，
当前帧包含参考关键帧中的特征要少于75％。
可选地，所述步骤S160包括：
局部地图管理，包括对空间点、空间线的增删、更新以及关键帧的剔除；
局部地图优化，从环境地图中提取一部分位姿和路标，对这些位姿和路标构成的图模型进行优化。
可选地，所述步骤S170包括：
闭环检测，具体为对于每一帧插入的关键帧，利用离线训练得到的视觉字典，将其转换为词包向量，并根据所述词包向量构建在线数据库，以作为倒排索引；
闭环校正，具体为根据当前帧和闭环帧的信息，计算出该两帧之间的位姿变换矩阵；以及，
将环境地图中的最小生成树包含的关键帧作为顶点，关键帧之间相对位姿变换作为边建立位姿图模型，以进行闭环校正；
可选地，所述步骤S180包括：
对环境地图中的所有的路标和位姿进行优化，以获得优化后的环境地图，完成同步定位与地图构建。
本发明的第二方面，提供了一种基于点、线特征融合的vSLAM实现系统，包括：
获取模块，用于获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；
预处理模块，用于对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；
初始化模块，用于根据匹配成功的点特征和线特征，初始化环境地图；
位姿计算模块，用于基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；
判断模块，用于判断当前帧图像是否满足关键帧条件；
局部地图线程模块，用于执行局部地图线程；
闭环检测线程模块，用于执行闭环检测线程；
全局优化线程模块，用于执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。
可选地，所述预处理模块用于：
采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；
采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：
两段线特征的方向向量夹角小于
两段线特征的长度比值
两段线特征的重叠区域长度
两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；
其中，为两段线特征所对应的方向向量夹角的最大阈值；
min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；
τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；
loverlap为两段线特征的重叠区域长度；
β为两段线特征的重叠区域长度的阈值；
ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。
本发明的基于点、线特征融合的vSLAM实现方法及系统，通过对图像帧序列中的点、线特征进行提取并进行特征匹配，并完成初始化环境地图以及根据环境地图进行跟踪和位姿估计，并依次执行局部地图线程、闭环检测线程和全局优化线程的步骤，从而可以完成同步定位与地图构建。因此，本发明的基于点、线特征融合的vSLAM实现方法及系统，对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vSLAM在复杂、低纹理场景下存在的不足，能够真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的SLAM系统。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明一实施例中基于点、线特征融合的vSLAM实现方法的流程图；
图2为本发明一实施例中基于点、线特征融合的vSLAM实现方法的流程图；
图3为本发明一实施例中图像特征处理的流程图；
图4为本发明一实施例中点、线特征融合的vSLAM实现系统的结构示意图。
附图标记说明
100：点、线特征融合的vSLAM实现系统；
110：获取模块；
120：预处理模块；
130：初始化模块；
140：位姿计算模块；
150：判断模块；
160：局部地图线程模块；
170：闭环检测线程模块；
180：全局优化线程模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，本发明的基于点、线特征融合的vSLAM实现方法主要包括跟踪线程、局部地图线程、闭环检测线程和全局优化线程。
跟踪线程：输入为深度相机采集到的图像帧序列，分为彩色图像和深度图像，同一时刻的图像称为一帧。图像预处理部分包括图像的畸变校正、特征点和特征线段的检测和描述，以及特征匹配。跟踪分为两个阶段，一是对相邻帧间的跟踪，二是对局部地图的跟踪，通过最小化重投影误差得到相机的位姿。最后对当前帧进行关键帧的判断。
局部地图线程：在跟踪线程插入关键帧后，优化局部地图中的点、线和位姿。同时根据统计信息对地图中的空间点和空间线进行剔除，保留稳定跟踪的部分，对地图中的具有冗余信息的关键帧进行剔除。在关键帧插入后，会结合局部地图内的另一帧创建新的地图点和线。
闭环检测线程：通过字典树进行闭环检测，当检测到闭环时，计算闭环帧与当前帧的SE(3)变换，并通过位姿图的优化纠正累计误差和纠正地图点、线的位姿。
全局优化线程：在闭环线程中，采用先优化位相机位姿，再调整空间点、线位姿方式并不能保证全局最优，需要进行全局优化。
除此之外，还基于点线特征构建了一个场景识别模块，用于闭环检测。同时系统维护环境地图中的元素，包括地图点、地图线、关键帧，以及关键帧之间建立的连接关系，即共视图和最小生成树子图。若两帧之间有共同观测到的特征，则以这两帧为图中的顶点、共同观测的特征数量为边，重建立一个无向图，最后形成共视图，最小生成树即共视图中权重较高的一个子图。通过查询共视图，可以得到与当前帧相连的一个窗口，形成局部地图。
下文将进行详细描述，其中，步骤S110至步骤S150为跟踪线程的步骤。
本发明的第一方面，如图1和图2所示，涉及一种基于点、线特征融合的vSLAM实现方法S100，包括：
步骤S110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像。
步骤S120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配。
步骤S130、根据匹配成功的点特征和线特征，初始化环境地图。
步骤S140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计。
步骤S150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤S160，若否，则重复执行步骤S110至步骤S150。
步骤S160、执行局部地图线程的步骤。
步骤S170、执行闭环检测线程的步骤。
步骤S180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。
本实施例中的基于点、线特征融合的vSLAM实现方法S100，通过对图像帧序列中的点、线特征进行提取并进行特征匹配，并完成初始化环境地图以及根据环境地图进行跟踪和位姿估计，并依次执行局部地图线程、闭环检测线程和全局优化线程的步骤，从而可以完成同步定位与地图构建。因此，本实施例中的基于点、线特征融合的vSLAM实现方法S100，对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vSLAM在复杂、低纹理场景下存在的不足，能够真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的SLAM系统。
可选地，如图1和图3所示，所述步骤S120包括：
采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性，如果极限上对应特征向量的距离小于设定阈值，并且搜索区域内最小的，认为匹配成功；最后对所有匹配对的汉明距离按大小排序，自适应选取阈值，剔除一些距离较大的匹配对；
采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：
两段线特征的方向向量夹角小于
两段线特征的长度比值
两段线特征的重叠区域长度
两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；
其中，为两段线特征所对应的方向向量夹角的最大阈值；
min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；
τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；
loverlap为两段线特征的重叠区域长度；
β为两段线特征的重叠区域长度的阈值；
ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。
其中，ORB描述子和LBD描述子均为256位的二进制描述子，存储结构相同，为建立综合点线特征的离线字典和查询图像数据库等操作提供了便利。
可选地，所述步骤S130包括：
对于点特征，根据相邻两帧图像匹配后点对坐标，计算其视差并三角化，以计算出对应的空间点坐标；
对于线特征，由于端点的不确定性较大，匹配线段的端点可能不在同一水平线上，无法直接通过三角化恢复出两个端点的坐标。可以分别以前一帧图像中的线特征的两个端点为基准，过该线特征的端点作平行线与当前帧图像中的线特征相交，以得到前一帧图像中的线特征的两个端点的深度；
根据两个端点的深度，计算对应的普吕克坐标，以完成环境地图的初始化。虽然端点具有较大的噪声，但在帧间的匹配、界面显示中都有重要的作用。线特征的初始化过程中，如果右的线段接近平行，在计算视差时会出现较大的误差，因此在本方法中不考虑此线段的初始化。
可选地，所述步骤S140包括：
分别基于相邻帧图像的特征匹配和局部地图特征匹配，得到空间点、线特征与平面点、线特征的匹配关系；
根据相邻帧图像的匹配关系，假定跟踪到的空间点和和空间线的坐标是确定的，以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数进行姿态求解：
根据局部地图的匹配关系，假定局部地图内的空间点和空间线的坐标是确定的，去优化当前帧的位姿。并且通过相邻帧之间求解的位姿可以作为本次优化的初值，良好的初值有利于减少优化的迭代次数。在优化求解的过程中，会重新求解点和线的重投影误差，根据卡方检验剔除一些误匹配对。
其中，xc表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，ρ为Huber的cost函数，∑为协方差矩阵，e为投影误差，pilj为特征集。
可选地，所述关键帧条件满足：
距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲；以及，
当前帧至少跟踪到了50个特征点和15条空间直线；以及，
当前帧包含参考关键帧中的特征要少于75％。
可选地，所述步骤S160包括：
局部地图管理，包括对空间点、空间线的增删、更新以及关键帧的剔除。
当前帧中未匹配的特征点与相邻关键帧的匹配对，通过三角化恢复空间点新增的空间点需要满足视差、重投影误差、极限约束等条件才能加入环境地图中。
空间点线的剔除：由于误匹配问题可能导致错误的三角化，或者增加的路标仅有几个关键帧观测到了，在后续的帧中并没有观测到。这些路标会增大系统的维度，并且误匹配会增大系统的误差。因此需要对新添加的路标迸行严格地筛选通过连续帧的观测来判断是否是高质量的路标，一个稳定的路标至少要被3个关键帧观测到。
关键帧的剔除：为了使图模型更加紧凑，需要检测出具有冗余信息的关键帧。如果一个关键帧跟踪绝大部分到的特征被其他关键帧跟踪到，则认为该关键帧是冗余的，需要进行剔除。
空间直线端点的维护：在所有的优化中，空间直线均采用无限延长的线段来表示，其端点对最后优化的结果没有影响。通过投影空间直线的端点限制匹配搜索范围；同时端点在环境地图的可视化中也具有重要作用，因此系统需要维护空间直线的两个端点。
局部地图优化，从环境地图中提取一部分位姿和路标，对这些位姿和路标构成的图模型进行优化。通常可以将最近的n个关键帧以及相关联的路标作为待优化的状态变量，这种固定窗口的做法不太灵活，无法判断选取的关键帧与当前帧的联系。而通过共视图可以知道地图中的每一帧与当前帧共同观测的多少。因此以当前处理的关键帧fi、在共视图中与fi相连接的关键帧fc以及这些关键帧观测到的路标v作为局部地图。同时将观测到路标v且不属于fi和fc的关键帧作为不优化的节点，起到稳定优化结果的作用。局部地图优化，则是假定局部地图以外的位姿和路标是准确的，通过最小化代价函数优化局部地图内的变量。
可选地，所述步骤S170包括：
闭环检测，具体为对于每一帧插入的关键帧，利用离线训练得到的视觉字典，将其转换为词包向量，并根据所述词包向量构建在线数据库，以作为倒排索引。通过倒排索引，可以快速地搜索到包含某个视觉词汇的所有关键帧。当环境地图中的关键帧与当前帧具有共同词汇时，才计算两者的相似性得分。加入了线特征以后，可以分别计算点、线的相似性分数，需要通过一定的权重进行求和，在室内等线特征丰富的场景，线的权重应该大一些。
闭环校正，具体为根据当前帧和闭环帧的信息，计算出该两帧之间的位姿变换矩阵。由于本发明中采用深度相机，其构建的地图尺度信息是确定的，因此只要计算两帧之间的SE(3)。首先需要对当前帧和闭环帧进行特征匹配，利用构建好的视觉词典将线特征划分到字典树的某一层，对属于同一聚类中心的线特征进行暴力匹配，从而加速线特征的匹配。在得到了点、线的匹配对后，通过3D-2D的方式求解位姿，结合RANSAC能很好地剔除其中的错误数据关联。求解该问题最少需要3个匹配对，即3个点的匹配对或3个线的匹配对。对于点特征的匹配对，则通过EPnP求解；对于线特征的匹配对，通过两帧中图像中三焦点张量关系求解。在点特征较多的情况下，本发明优先使用点特征计算位姿，同时计算所有特性匹配对的误差，若误差小于一定阈值，则认为是内点。如果求解的姿态内点数足够多，则对所有内点进行非线性优化。
将环境地图中的最小生成树包含的关键帧作为顶点，关键帧之间相对位姿变换作为边建立位姿图模型，以进行闭环校正。这种方式能快速进行闭环校正，将误差平均分摊到所有关键帧中。位姿图优化本质上也是一个最小二乘问题，优化变量为各个顶点的位姿，边来自于位姿观测约束。
可选地，所述步骤S180包括：
对环境地图中的所有的路标和位姿进行优化，以获得优化后的环境地图，完成同步定位与地图构建。
本发明的第二方面，如图4所示，提供了一种基于点、线特征融合的vSLAM实现系统100，包括：
获取模块110，用于获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；
预处理模块120，用于对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；
初始化模块130，用于根据匹配成功的点特征和线特征，初始化环境地图；
位姿计算模块140，用于基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；
判断模块150，用于判断当前帧图像是否满足关键帧条件；
局部地图线程模块160，用于执行局部地图线程；
闭环检测线程模块170，用于执行闭环检测线程；
全局优化线程模块180，用于执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。
本实施例中的基于点、线特征融合的vSLAM实现系统100，通过对图像帧序列中的点、线特征进行提取并进行特征匹配，并完成初始化环境地图以及根据环境地图进行跟踪和位姿估计，并依次执行局部地图线程、闭环检测线程和全局优化线程的步骤，从而可以完成同步定位与地图构建。因此，本实施例中的基于点、线特征融合的vSLAM实现系统100，对线特征的提取、匹配过程进行改进，以提高前端中数据关联的正确率，从而能够有效克服vSLAM在复杂、低纹理场景下存在的不足，能够真正意义上实现了基于深度相机提取点、线特征融合的前端、图模型的后端优化和可靠的回环检测功能，构成一个完整的SLAM系统。
可选地，所述预处理模块120用于：
采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；
采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：
两段线特征的方向向量夹角小于
两段线特征的长度比值
两段线特征的重叠区域长度
两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；
其中，为两段线特征所对应的方向向量夹角的最大阈值；
min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；
τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；
loverlap为两段线特征的重叠区域长度；
β为两段线特征的重叠区域长度的阈值；
ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。
除此以外，本发明中的基于点、线特征融合的vSLAM实现系统100还用于执行前文记载的基于点、线特征融合的vSLAM实现方法100的其余内容，可以参考前文相关记载，此处不做赘述。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于点、线特征融合的vSLAM实现方法，其特征在于，包括：
步骤S110、获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；
步骤S120、对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；
步骤S130、根据匹配成功的点特征和线特征，初始化环境地图；
步骤S140、基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；
步骤S150、判断当前帧图像是否满足关键帧条件，若是，则执行步骤S160，若否，则重复执行步骤S110至步骤S150；
步骤S160、执行局部地图线程的步骤；
步骤S170、执行闭环检测线程的步骤；
步骤S180、执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。
2.根据权利要求1所述的vSLAM实现方法，其特征在于，所述步骤S120包括：
采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；
采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：
两段线特征的方向向量夹角小于
两段线特征的长度比值
两段线特征的重叠区域长度
两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；
其中，为两段线特征所对应的方向向量夹角的最大阈值；
min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；
τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；
loverlap为两段线特征的重叠区域长度；
β为两段线特征的重叠区域长度的阈值；
ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。
3.根据权利要求1所述的vSLAM实现方法，其特征在于，所述步骤S130包括：
根据相邻两帧图像匹配后点对坐标，计算其视差并三角化，以计算出对应的空间点坐标；
分别以前一帧图像中的线特征的两个端点为基准，过该线特征的端点作平行线与当前帧图像中的线特征相交，以得到前一帧图像中的线特征的两个端点的深度；
根据两个端点的深度，计算对应的普吕克坐标，以完成环境地图的初始化。
4.根据权利要求1所述的vSLAM实现方法，其特征在于，所述步骤S140包括：
分别基于相邻帧图像的特征匹配和局部地图特征匹配，得到空间点、线特征与平面点、线特征的匹配关系；
根据相邻帧图像的匹配关系，假定跟踪到的空间点和和空间线的坐标是确定的，以当前帧的位姿作为需要优化的状态变量构建图模型，通过最小化以下代价函数进行姿态求解：
根据局部地图的匹配关系，假定局部地图内的空间点和空间线的坐标是确定的，去优化当前帧的位姿；
其中，xc表示相邻帧之间的匹配对集合，函数等号右侧前半部分为点特征信息，后半部分为线特征信息，ρ为Huber的cost函数，∑为协方差矩阵，e为投影误差，pilj为特征集。
5.根据权利要求1所述的vSLAM实现方法，其特征在于，所述关键帧条件满足：
距离上一次关键帧的插入已经过了20帧或者局部地图构建线程空闲；以及，
当前帧至少跟踪到了50个特征点和15条空间直线；以及，
当前帧包含参考关键帧中的特征要少于75％。
6.根据权利要求1至5中任意一项所述的vSLAM实现方法，其特征在于，所述步骤S160包括：
局部地图管理，包括对空间点、空间线的增删、更新以及关键帧的剔除；
局部地图优化，从环境地图中提取一部分位姿和路标，对这些位姿和路标构成的图模型进行优化。
7.根据权利要求1至5中任意一项所述的vSLAM实现方法，其特征在于，所述步骤S170包括：
闭环检测，具体为对于每一帧插入的关键帧，利用离线训练得到的视觉字典，将其转换为词包向量，并根据所述词包向量构建在线数据库，以作为倒排索引；
闭环校正，具体为根据当前帧和闭环帧的信息，计算出该两帧之间的位姿变换矩阵；以及，
将环境地图中的最小生成树包含的关键帧作为顶点，关键帧之间相对位姿变换作为边建立位姿图模型，以进行闭环校正。.
8.根据权利要求1至5中任意一项所述的vSLAM实现方法，其特征在于，所述步骤S180包括：
对环境地图中的所有的路标和位姿进行优化，以获得优化后的环境地图，完成同步定位与地图构建。
9.一种基于点、线特征融合的vSLAM实现系统，其特征在于，包括：
获取模块，用于获取目标场景的图像帧序列，所述图像帧序列包括多帧图像；
预处理模块，用于对各帧所述图像进行预处理，所述预处理包括根据预先标定的深度相机参数矩阵和畸变参数对各帧所述图像去畸变、提取各帧所述图像中的点特征和线特征并对所述点特征和所述线特征进行特征匹配，并提取匹配成功的点特征和线特征；其中，特征匹配包括相邻帧图像的特征匹配和局部地图特征匹配；
初始化模块，用于根据匹配成功的点特征和线特征，初始化环境地图；
位姿计算模块，用于基于所述环境地图进行跟踪，并对当前帧图像的位姿进行估计；
判断模块，用于判断当前帧图像是否满足关键帧条件；
局部地图线程模块，用于执行局部地图线程；
闭环检测线程模块，用于执行闭环检测线程；
全局优化线程模块，用于执行全局优化线程的步骤，以获得优化后的环境地图，完成同步定位与地图构建。
10.根据权利要求9所述的vSLAM实现系统，其特征在于，所述预处理模块用于：
采用ORB对各帧所述图像中的点特征进行检测和描述，并利用相邻帧图像中的各点特征所对应的特征向量的汉明距离度量各点特征的相似性；
采用LSD对各帧所述图像中的线特征进行检测，并采用LBD对各帧所述图像中的线特征进行描述，各帧图像中的线特征匹配满足预定的几何约束；其中，所述预定的几何约束满足：
两段线特征的方向向量夹角小于
两段线特征的长度比值
两段线特征的重叠区域长度
两段线特征对应的LBD特征向量的距离小于设定阈值ρT，并且搜索区域内最小，认为匹配成功；
其中，为两段线特征所对应的方向向量夹角的最大阈值；
min(l1.l2)～max(l1.l2)为两段线特征空间几何距离所满足的区间范围；
τ为两段线特征空间几何距离中最小距离与最大距离之比的阈值；
loverlap为两段线特征的重叠区域长度；
β为两段线特征的重叠区域长度的阈值；
ρT为两段线特征对应特征LBD向量之间的汉明距离最大值。
CN201810449541.0A 2018-05-11 2018-05-11 基于点、线特征融合的vSLAM实现方法及系统 Pending CN108682027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810449541.0A CN108682027A (zh) 2018-05-11 2018-05-11 基于点、线特征融合的vSLAM实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810449541.0A CN108682027A (zh) 2018-05-11 2018-05-11 基于点、线特征融合的vSLAM实现方法及系统

Publications (1)

Publication Number Publication Date
CN108682027A true CN108682027A (zh) 2018-10-19

Family

ID=63805964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810449541.0A Pending CN108682027A (zh) 2018-05-11 2018-05-11 基于点、线特征融合的vSLAM实现方法及系统

Country Status (1)

Country Link
CN (1) CN108682027A (zh)

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109522832A (zh) * 2018-11-06 2019-03-26 浙江工业大学 一种基于点云片段匹配约束和轨迹漂移优化的回环检测方法
CN109540148A (zh) * 2018-12-04 2019-03-29 广州小鹏汽车科技有限公司 基于slam地图的定位方法及系统
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微系统与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN109682385A (zh) * 2018-11-05 2019-04-26 天津大学 一种基于orb特征的即时定位与地图构建的方法
CN109712170A (zh) * 2018-12-27 2019-05-03 广东省智能制造研究所 环境对象追踪方法、装置、计算机设备和存储介质
CN109978919A (zh) * 2019-03-22 2019-07-05 广州小鹏汽车科技有限公司 一种基于单目相机的车辆定位方法及系统
CN110039536A (zh) * 2019-03-12 2019-07-23 广东工业大学 室内地图构造和定位的自导航机器人系统及图像匹配方法
CN110132278A (zh) * 2019-05-14 2019-08-16 驭势科技（北京）有限公司 一种即时定位与建图的方法及装置
CN110288650A (zh) * 2019-05-27 2019-09-27 盎锐（上海）信息科技有限公司 用于vslam的数据处理方法及扫描终端
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
CN110490085A (zh) * 2019-07-24 2019-11-22 西北工业大学 点线特征视觉slam系统的快速位姿估计算法
CN110570473A (zh) * 2019-09-12 2019-12-13 河北工业大学 一种基于点线融合的权重自适应位姿估计方法
CN110570474A (zh) * 2019-09-16 2019-12-13 北京华捷艾米科技有限公司 一种深度相机的位姿估计方法及系统
CN110647609A (zh) * 2019-09-17 2020-01-03 上海图趣信息科技有限公司 视觉地图定位方法及系统
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN110852356A (zh) * 2019-10-24 2020-02-28 华南农业大学 一种移动机器人v-slam动态阈值图像特征点提取方法
CN110866497A (zh) * 2019-11-14 2020-03-06 合肥工业大学 基于点线特征融合的机器人定位与建图方法和装置
CN111060113A (zh) * 2019-12-31 2020-04-24 歌尔股份有限公司 一种地图更新方法及装置
CN111091621A (zh) * 2019-12-11 2020-05-01 东南数字经济发展研究院 双目视觉的同步定位与构图方法、装置、设备及存储介质
CN111311742A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建方法、三维重建装置和电子设备
CN111368015A (zh) * 2020-02-28 2020-07-03 北京百度网讯科技有限公司 用于压缩地图的方法和装置
CN111390975A (zh) * 2020-04-27 2020-07-10 浙江库科自动化科技有限公司 具有摘风管功能的巡检智能机器人及其巡检方法
CN111435244A (zh) * 2018-12-26 2020-07-21 沈阳新松机器人自动化股份有限公司 一种回环闭合方法、装置及机器人
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法
CN111489393A (zh) * 2019-01-28 2020-08-04 速感科技（北京）有限公司 Vslam方法、控制器和可移动设备
CN111506687A (zh) * 2020-04-09 2020-08-07 北京华捷艾米科技有限公司 一种地图点数据提取方法、装置、存储介质及设备
CN111796600A (zh) * 2020-07-22 2020-10-20 中北大学 一种基于四足机器人的物体识别与跟踪系统
CN111815684A (zh) * 2020-06-12 2020-10-23 武汉中海庭数据技术有限公司 一种基于统一残差模型的空间多元特征配准优化方法及装置
CN111899334A (zh) * 2020-07-28 2020-11-06 北京科技大学 一种基于点线特征的视觉同步定位与地图构建方法及装置
CN112037261A (zh) * 2020-09-03 2020-12-04 北京华捷艾米科技有限公司 一种图像动态特征去除方法及装置
CN112240768A (zh) * 2020-09-10 2021-01-19 西安电子科技大学 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法
CN112507778A (zh) * 2020-10-16 2021-03-16 天津大学 一种基于线特征的改进词袋模型的回环检测方法
CN112634395A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112734839A (zh) * 2020-12-31 2021-04-30 浙江大学 一种提高鲁棒性的单目视觉slam初始化方法
CN112880687A (zh) * 2021-01-21 2021-06-01 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN113160130A (zh) * 2021-03-09 2021-07-23 北京航空航天大学 一种回环检测方法、装置及计算机设备
CN113298014A (zh) * 2021-06-09 2021-08-24 安徽工程大学 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备
CN113344980A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种目标跟踪方法、装置和用于目标跟踪的装置
CN113450412A (zh) * 2021-07-15 2021-09-28 北京理工大学 一种基于直线特征的视觉slam方法
CN113465617A (zh) * 2021-07-08 2021-10-01 上海汽车集团股份有限公司 一种地图构建方法、装置及电子设备
CN113524216A (zh) * 2021-07-20 2021-10-22 成都朴为科技有限公司 一种基于多帧融合的果蔬采摘机器人及其控制方法
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅
CN113970974A (zh) * 2020-07-22 2022-01-25 福建天泉教育科技有限公司 一种线条轨迹预测方法及终端
WO2022016320A1 (zh) * 2020-07-20 2022-01-27 深圳元戎启行科技有限公司 地图更新方法、装置、计算机设备和存储介质
CN114022630A (zh) * 2021-11-10 2022-02-08 深圳市其域创新科技有限公司 三维场景的重建方法、装置、设备和计算机可读存储介质
CN114494437A (zh) * 2022-01-25 2022-05-13 浙江工业大学 用于膜式壁低纹理结构点线特征提取的slam改进算法
CN115151948A (zh) * 2019-12-20 2022-10-04 奈安蒂克公司 合并来自建图设备的局部地图
CN115729250A (zh) * 2021-09-01 2023-03-03 中移(成都)信息通信科技有限公司 一种无人机的飞行控制方法、装置、设备及存储介质
CN115727854A (zh) * 2022-11-28 2023-03-03 同济大学 一种基于bim结构信息的vslam定位方法
US11629965B2 (en) 2019-01-28 2023-04-18 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
CN115982399A (zh) * 2023-03-16 2023-04-18 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品
CN116030136A (zh) * 2023-03-29 2023-04-28 中国人民解放军国防科技大学 基于几何特征的跨视角视觉定位方法、装置和计算机设备
US11670047B2 (en) 2019-07-02 2023-06-06 Tata Consultancy Services Limited System and method for integrating objects in monocular slam
WO2023184968A1 (zh) * 2022-04-02 2023-10-05 华南理工大学 一种基于点线面特征的结构化场景视觉slam方法
CN117170501A (zh) * 2023-08-24 2023-12-05 北京自动化控制设备研究所 基于点线融合特征的视觉跟踪方法
CN117649536A (zh) * 2024-01-29 2024-03-05 华东交通大学 一种点线和线结构特征融合的视觉同步定位与建图方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161901A1 (en) * 2015-12-08 2017-06-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Simultaneous Localization and Mapping of 2D and 3D Data Acquired by Sensors from a 3D Scene
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107392964A (zh) * 2017-07-07 2017-11-24 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN107909612A (zh) * 2017-12-01 2018-04-13 驭势科技（北京）有限公司 一种基于3d点云的视觉即时定位与建图的方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161901A1 (en) * 2015-12-08 2017-06-08 Mitsubishi Electric Research Laboratories, Inc. System and Method for Hybrid Simultaneous Localization and Mapping of 2D and 3D Data Acquired by Sensors from a 3D Scene
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107392964A (zh) * 2017-07-07 2017-11-24 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN107909612A (zh) * 2017-12-01 2018-04-13 驭势科技（北京）有限公司 一种基于3d点云的视觉即时定位与建图的方法与系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALBERT PUMAROLA 等: "PL-SLAM: Real-time monocular visual SLAM with points and lines", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
JIANWEN YIN 等: "Mobile Robot Loop Closure Detection Using Endpoint and Line Feature Visual Dictionary", 《2017 2ND INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION ENGINEERING》 *
XINGXING ZUO 等: "Robust visual SLAM with point and line features", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
谢晓佳: "基于点线综合特征的双目视觉", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微系统与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN109682385A (zh) * 2018-11-05 2019-04-26 天津大学 一种基于orb特征的即时定位与地图构建的方法
CN109522832A (zh) * 2018-11-06 2019-03-26 浙江工业大学 一种基于点云片段匹配约束和轨迹漂移优化的回环检测方法
CN109522832B (zh) * 2018-11-06 2021-10-26 浙江工业大学 基于点云片段匹配约束和轨迹漂移优化的回环检测方法
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN109509230A (zh) * 2018-11-13 2019-03-22 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109509230B (zh) * 2018-11-13 2020-06-23 武汉大学 一种应用于多镜头组合式全景相机的slam方法
CN109540148B (zh) * 2018-12-04 2020-10-16 广州小鹏汽车科技有限公司 基于slam地图的定位方法及系统
CN109540148A (zh) * 2018-12-04 2019-03-29 广州小鹏汽车科技有限公司 基于slam地图的定位方法及系统
CN111435244A (zh) * 2018-12-26 2020-07-21 沈阳新松机器人自动化股份有限公司 一种回环闭合方法、装置及机器人
CN111435244B (zh) * 2018-12-26 2023-05-30 沈阳新松机器人自动化股份有限公司 一种回环闭合方法、装置及机器人
CN109712170B (zh) * 2018-12-27 2021-09-07 广东省智能制造研究所 基于视觉惯性里程计的环境对象追踪方法和装置
CN109712170A (zh) * 2018-12-27 2019-05-03 广东省智能制造研究所 环境对象追踪方法、装置、计算机设备和存储介质
US11629965B2 (en) 2019-01-28 2023-04-18 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
CN111489393A (zh) * 2019-01-28 2020-08-04 速感科技（北京）有限公司 Vslam方法、控制器和可移动设备
CN110039536A (zh) * 2019-03-12 2019-07-23 广东工业大学 室内地图构造和定位的自导航机器人系统及图像匹配方法
CN109978919A (zh) * 2019-03-22 2019-07-05 广州小鹏汽车科技有限公司 一种基于单目相机的车辆定位方法及系统
CN110132278A (zh) * 2019-05-14 2019-08-16 驭势科技（北京）有限公司 一种即时定位与建图的方法及装置
CN110288650A (zh) * 2019-05-27 2019-09-27 盎锐（上海）信息科技有限公司 用于vslam的数据处理方法及扫描终端
CN110288650B (zh) * 2019-05-27 2023-02-10 上海盎维信息技术有限公司 用于vslam的数据处理方法及扫描终端
US11670047B2 (en) 2019-07-02 2023-06-06 Tata Consultancy Services Limited System and method for integrating objects in monocular slam
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
CN110349207B (zh) * 2019-07-10 2022-08-05 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
CN110490085B (zh) * 2019-07-24 2022-03-11 西北工业大学 点线特征视觉slam系统的快速位姿估计算法
CN110490085A (zh) * 2019-07-24 2019-11-22 西北工业大学 点线特征视觉slam系统的快速位姿估计算法
CN110570473A (zh) * 2019-09-12 2019-12-13 河北工业大学 一种基于点线融合的权重自适应位姿估计方法
CN110570474A (zh) * 2019-09-16 2019-12-13 北京华捷艾米科技有限公司 一种深度相机的位姿估计方法及系统
CN110570474B (zh) * 2019-09-16 2022-06-10 北京华捷艾米科技有限公司 一种深度相机的位姿估计方法及系统
CN110647609A (zh) * 2019-09-17 2020-01-03 上海图趣信息科技有限公司 视觉地图定位方法及系统
CN110647609B (zh) * 2019-09-17 2023-07-18 上海图趣信息科技有限公司 视觉地图定位方法及系统
CN112634395A (zh) * 2019-09-24 2021-04-09 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112634395B (zh) * 2019-09-24 2023-08-25 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN110852356B (zh) * 2019-10-24 2023-05-23 华南农业大学 一种移动机器人v-slam动态阈值图像特征点提取方法
CN110852356A (zh) * 2019-10-24 2020-02-28 华南农业大学 一种移动机器人v-slam动态阈值图像特征点提取方法
CN110866497B (zh) * 2019-11-14 2023-04-18 合肥工业大学 基于点线特征融合的机器人定位与建图方法和装置
CN110866497A (zh) * 2019-11-14 2020-03-06 合肥工业大学 基于点线特征融合的机器人定位与建图方法和装置
CN111091621A (zh) * 2019-12-11 2020-05-01 东南数字经济发展研究院 双目视觉的同步定位与构图方法、装置、设备及存储介质
CN115151948A (zh) * 2019-12-20 2022-10-04 奈安蒂克公司 合并来自建图设备的局部地图
CN111060113A (zh) * 2019-12-31 2020-04-24 歌尔股份有限公司 一种地图更新方法及装置
CN111060113B (zh) * 2019-12-31 2022-04-08 歌尔股份有限公司 一种地图更新方法及装置
US12031837B2 (en) 2019-12-31 2024-07-09 Goertek Inc. Method and device for updating map
CN111368015A (zh) * 2020-02-28 2020-07-03 北京百度网讯科技有限公司 用于压缩地图的方法和装置
CN111368015B (zh) * 2020-02-28 2023-04-07 北京百度网讯科技有限公司 用于压缩地图的方法和装置
CN111311742A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建方法、三维重建装置和电子设备
CN111462210B (zh) * 2020-03-31 2023-06-16 华南理工大学 一种基于极线约束的单目线特征地图构建方法
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法
CN111506687B (zh) * 2020-04-09 2023-08-08 北京华捷艾米科技有限公司 一种地图点数据提取方法、装置、存储介质及设备
CN111506687A (zh) * 2020-04-09 2020-08-07 北京华捷艾米科技有限公司 一种地图点数据提取方法、装置、存储介质及设备
CN111390975A (zh) * 2020-04-27 2020-07-10 浙江库科自动化科技有限公司 具有摘风管功能的巡检智能机器人及其巡检方法
CN111815684A (zh) * 2020-06-12 2020-10-23 武汉中海庭数据技术有限公司 一种基于统一残差模型的空间多元特征配准优化方法及装置
CN111815684B (zh) * 2020-06-12 2022-08-02 武汉中海庭数据技术有限公司 基于统一残差模型的空间多元特征配准优化方法及装置
WO2022016320A1 (zh) * 2020-07-20 2022-01-27 深圳元戎启行科技有限公司 地图更新方法、装置、计算机设备和存储介质
CN114930391B (zh) * 2020-07-20 2025-04-22 深圳元戎启行科技有限公司 地图更新方法、装置、计算机设备和存储介质
CN114930391A (zh) * 2020-07-20 2022-08-19 深圳元戎启行科技有限公司 地图更新方法、装置、计算机设备和存储介质
CN113970974A (zh) * 2020-07-22 2022-01-25 福建天泉教育科技有限公司 一种线条轨迹预测方法及终端
CN111796600A (zh) * 2020-07-22 2020-10-20 中北大学 一种基于四足机器人的物体识别与跟踪系统
CN113970974B (zh) * 2020-07-22 2023-04-28 福建天泉教育科技有限公司 一种线条轨迹预测方法及终端
CN111899334B (zh) * 2020-07-28 2023-04-18 北京科技大学 一种基于点线特征的视觉同步定位与地图构建方法及装置
CN111899334A (zh) * 2020-07-28 2020-11-06 北京科技大学 一种基于点线特征的视觉同步定位与地图构建方法及装置
CN112037261A (zh) * 2020-09-03 2020-12-04 北京华捷艾米科技有限公司 一种图像动态特征去除方法及装置
CN112240768A (zh) * 2020-09-10 2021-01-19 西安电子科技大学 基于Runge-Kutta4改进预积分的视觉惯导融合SLAM方法
CN112507778A (zh) * 2020-10-16 2021-03-16 天津大学 一种基于线特征的改进词袋模型的回环检测方法
CN112734839A (zh) * 2020-12-31 2021-04-30 浙江大学 一种提高鲁棒性的单目视觉slam初始化方法
CN112880687B (zh) * 2021-01-21 2024-05-17 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN112880687A (zh) * 2021-01-21 2021-06-01 深圳市普渡科技有限公司 一种室内定位方法、装置、设备和计算机可读存储介质
CN113160130A (zh) * 2021-03-09 2021-07-23 北京航空航天大学 一种回环检测方法、装置及计算机设备
CN113298014A (zh) * 2021-06-09 2021-08-24 安徽工程大学 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备
US11645846B2 (en) * 2021-06-09 2023-05-09 Anhui Polytechnic University Closed-loop detecting method using inverted index-based key frame selection strategy, storage medium and device
US20220406059A1 (en) * 2021-06-09 2022-12-22 Anhui Polytechnic University Closed-loop detecting method using inverted index-based key frame selection strategy, storage medium and device
CN113344980A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种目标跟踪方法、装置和用于目标跟踪的装置
CN113465617A (zh) * 2021-07-08 2021-10-01 上海汽车集团股份有限公司 一种地图构建方法、装置及电子设备
CN113465617B (zh) * 2021-07-08 2024-03-19 上海汽车集团股份有限公司 一种地图构建方法、装置及电子设备
CN113450412A (zh) * 2021-07-15 2021-09-28 北京理工大学 一种基于直线特征的视觉slam方法
CN113524216B (zh) * 2021-07-20 2022-06-28 成都朴为科技有限公司 一种基于多帧融合的果蔬采摘机器人及其控制方法
CN113524216A (zh) * 2021-07-20 2021-10-22 成都朴为科技有限公司 一种基于多帧融合的果蔬采摘机器人及其控制方法
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅
CN115729250A (zh) * 2021-09-01 2023-03-03 中移(成都)信息通信科技有限公司 一种无人机的飞行控制方法、装置、设备及存储介质
CN114022630A (zh) * 2021-11-10 2022-02-08 深圳市其域创新科技有限公司 三维场景的重建方法、装置、设备和计算机可读存储介质
CN114494437A (zh) * 2022-01-25 2022-05-13 浙江工业大学 用于膜式壁低纹理结构点线特征提取的slam改进算法
WO2023184968A1 (zh) * 2022-04-02 2023-10-05 华南理工大学 一种基于点线面特征的结构化场景视觉slam方法
CN115727854A (zh) * 2022-11-28 2023-03-03 同济大学 一种基于bim结构信息的vslam定位方法
CN115982399B (zh) * 2023-03-16 2023-05-16 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品
CN115982399A (zh) * 2023-03-16 2023-04-18 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品
CN116030136A (zh) * 2023-03-29 2023-04-28 中国人民解放军国防科技大学 基于几何特征的跨视角视觉定位方法、装置和计算机设备
CN117170501B (zh) * 2023-08-24 2024-05-03 北京自动化控制设备研究所 基于点线融合特征的视觉跟踪方法
CN117170501A (zh) * 2023-08-24 2023-12-05 北京自动化控制设备研究所 基于点线融合特征的视觉跟踪方法
CN117649536A (zh) * 2024-01-29 2024-03-05 华东交通大学 一种点线和线结构特征融合的视觉同步定位与建图方法
CN117649536B (zh) * 2024-01-29 2024-04-16 华东交通大学 一种点线和线结构特征融合的视觉同步定位与建图方法

Similar Documents

Publication Publication Date Title
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN112304307B (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN110335319B (zh) 一种语义驱动的相机定位与地图重建方法和系统
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
Lim et al. Real-time 6-DOF monocular visual SLAM in a large-scale environment
CN112446882B (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
CN103646391B (zh) 一种针对动态变化场景的实时摄像机跟踪方法
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
CN108615246B (zh) 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
WO2019057179A1 (zh) 一种基于点线特征的视觉slam方法和装置
CN107610175A (zh) 基于半直接法和滑动窗口优化的单目视觉slam算法
CN112101160B (zh) 一种面向自动驾驶场景的双目语义slam方法
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN111882602B (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
CN117421384A (zh) 基于共视投影匹配的视觉惯性slam系统滑窗优化方法
CN117253003A (zh) 一种融合直接法与点面特征法的室内rgb-d slam方法
Li et al. An efficient LiDAR SLAM with angle-based feature extraction and voxel-based fixed-lag smoothing
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
Kim et al. Edge-based visual odometry with stereo cameras using multiple oriented quadtrees
CN117490679A (zh) 基于曼哈顿结构面特征约束的视觉slam方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181019

RJ01 Rejection of invention patent application after publication