[go: up one dir, main page]

CN117367404A - 基于动态场景下slam的视觉定位建图方法及系统 - Google Patents

基于动态场景下slam的视觉定位建图方法及系统 Download PDF

Info

Publication number
CN117367404A
CN117367404A CN202311215551.5A CN202311215551A CN117367404A CN 117367404 A CN117367404 A CN 117367404A CN 202311215551 A CN202311215551 A CN 202311215551A CN 117367404 A CN117367404 A CN 117367404A
Authority
CN
China
Prior art keywords
feature points
dynamic
slam
frame
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311215551.5A
Other languages
English (en)
Inventor
储开斌
郭培鑫
张继
冯成涛
史孛远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN202311215551.5A priority Critical patent/CN117367404A/zh
Publication of CN117367404A publication Critical patent/CN117367404A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像技术领域，尤其涉及基于动态场景下SLAM的视觉定位建图方法及系统，包括利用YOLOv7模型进行动态目标检测；使用深度相机获取RGB图像和对应深度图像，并传入ORB‑SLAM3系统，对当前帧图像进行特征点提取；获取动态物体检测框的位置及顶点坐标；剔除动态物体检测框中的特征点，并将剩余的特征点进行特征匹配及位姿估计；生成关键帧，利用关键帧来建立稠密点云地图。本发明通过在视觉SLAM前端去除动态特征点，通过去除动态特征点，仅使用剩余的静态特征点进行位姿估计，可以显著提高视觉SLAM系统在动态环境中的定位精度，并增强系统的鲁棒性和稳定性；并利用关键帧构建稠密点云地图用于后续导航工作。

Description

基于动态场景下SLAM的视觉定位建图方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及基于动态场景下SLAM的视觉定位建图方法及系统。
背景技术
同时定位与建图技术(Simultaneous Localization And Mapping,SLAM)是指机器人在没有任何先验知识的情况下，利用自身携带的环境感知传感器完成对周围未知环境地图的构建；在相关领域中，出现了许多优秀的开源视觉SLAM算法，如ORB-SLAM、RGBD-SLAM、OpenVSLAM等；这些算法的出现进一步推动了视觉SLAM技术的发展。
在传统的视觉SLAM算法中，通常基于静态环境假设进行建图和定位；然而，在实际环境中存在不断运动的物体，例如人、动物或车辆的移动，这导致机器人的位姿估计出现较大偏差，从而导致定位失败的问题。且传统的视觉SLAM算法构建的为稀疏点云地图，无法用来后续导航及路径规划。
发明内容
针对现有方法的不足，本发明通过在视觉SLAM前端去除动态特征点，通过去除动态特征点，仅使用剩余的静态特征点进行位姿估计；这样可以显著提高视觉SLAM系统在动态环境中的定位精度，并增强系统的鲁棒性和稳定性；最后利用关键帧构建稠密点云地图用于后续导航工作。
本发明所采用的技术方案是：基于动态场景下SLAM的视觉定位建图方法包括以下步骤：
步骤一、对YOLOv7网络模型进行训练，实现动态目标检测；
步骤二、使用深度相机获取RGB图像和对应深度图像，并传入ORB-SLAM3系统，对当前帧图像进行特征点提取；
进一步的，步骤二具体包括：
步骤21、构建图像金字塔模型，对RGB图像进行高斯模糊、降采样和分层级处理，利用FAST角点检测对每个层级提取特征点；
进一步的，提取特征点的公式为：
其中，N表示设置的总特征点数量，α代表当前层级，s表示图像金字塔各层级的缩放因子，n表示图像金字塔的总层级数。
步骤22、将每个层级划分为像素格子，并对每个像素格子提取FAST角点；
步骤23、采用四叉树法均匀选择Nα个角点。
步骤三、将当前帧RGB图像输入YOLOv7模型获取到动态物体的检测框，获得检测框的位置及顶点坐标；
步骤四、基于运动分析的方法剔除动态物体检测框中的特征点，并将剩余的特征点进行特征匹配及位姿估计；
进一步的，步骤四具体包括：
步骤41、将检测目标分为动态物体和静态物体；
步骤42、将在动态检测框中的特征点在相邻两帧之间进行特征匹配，当特征点的描述子的距离小于某个预设阈值时表示匹配成功；
步骤43、对于匹配到的特征点对，计算该特征点在图像平面上的位移Δx；
其中，(x1,y1)表示第一帧中特征点的坐标，(x2,y2)表示第二帧中相应特征点的坐标；
步骤44、通过RGB-D相机的帧率来确定相邻两帧的时间间隔Δt；
步骤45、根据像素位移和时间间隔计算特征点的速度v，(3)；
步骤46、当特征点的速度超过设定阈值时，判定为动态特征点；反之，则为静态特征点；
步骤47、剔除掉动态特征点，得到静态特征点；
步骤48、在相邻两帧之间进行特征匹配，结合位姿求解算法计算帧间位姿，采用RANSAC算法排除错误的匹配数据。
步骤五、生成关键帧，利用关键帧来建立稠密点云地图；
进一步的，步骤五具体包括：
步骤51、使用点云库生成当前关键帧的点云；
步骤52、将关键帧中静态特征点从二维像素坐标转换为三维空间坐标；并将历史关键帧的点云与当前关键帧的点云进行融合；
步骤53、根据ORB-SLAM3中获取的关键帧的位置信息，将所有点云连接在一起，形成一个完整的全局点云地图。
进一步的，基于动态场景下SLAM的视觉定位建图系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现基于动态场景下SLAM的视觉定位建图方法。
进一步的，存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现基于动态场景下SLAM的视觉定位建图方法。
本发明的有益效果：
1、根据特征点的相对位移、时间差计算特征点的速度，根据特征点速度判断为静态还是动态，计算方法简单；
2、本发明方法有效地应对了动态环境下的挑战，为视觉SLAM系统在实际场景中的应用提供了更可靠的解决方案；
3、将ORB-SLAM3系统与YOLOv7目标检测算法相结合，实现了对动态目标的实时识别和剔除；
4、通过将ORB-SLAM3和YOLOv7相互协作，相机的最优运动轨迹被计算出并生成关键帧；利用这些关键帧，能够提供更加鲁棒和准确的视觉定位，建立更加准确的稠密点云地图。
附图说明
图1是本发明的基于动态场景下SLAM的视觉定位建图方法流程图；
图2(a)表示本发明在fr3_walking_xyz下的绝对轨迹误差；图2(b)表示ORB-SLAM3在fr3_walking_xyz下的绝对轨迹误差；
图3是在TUM数据集上本发明构建稠密点云地图的建图效果。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，基于动态场景下SLAM的视觉定位建图方法包括以下步骤：
步骤一、对YOLOv7网络模型进行训练，获取到训练好的用来检测动态目标的YOLOv7模型，将训练好的YOLOv7模型在SLAM系统上进行部署；
选择COCO数据集对YOLOv7网络模型进行训练，获取训练好的用于检测动态目标的YOLOv7模型；利用官方提供的export.py脚本将训练好的模型文件转换为torchscript格式。将转换好的模型导入SLAM系统，并创建模型实例，使模型集成在SLAM系统中。
步骤二、使用深度相机获取RGB图像及其对应的深度图像，并传入ORB-SLAM3系统对当前帧图像进行特征点提取；
通过构建图像金字塔，使用FAST角点检测算法，并结合格子划分和四叉树法，可以获取适量且均匀分布的特征点，用于后续的特征描述和跟踪阶段。
首先需要构建图像金字塔模型，这涉及对原始RGB图像进行高斯模糊处理，并进行降采样，并分成多个层级；在每个层级上使用FAST角点检测算法提取特征点；根据每一层级金字塔面积所占比例分配每一层级特征点数量，通过公式(1)计算图像金字塔每层面积占比来分配每层提取的特征点数量Nα，公式：
其中，N表示设置的总特征点数量，α代表当前层级，s表示图像金字塔各层级的缩放因子，n表示图像金字塔的总层级数。
其次，将构建的图像金字塔的每个层级划分为30×30像素的格子，并在每个格子中独立提取FAST角点；如果某个格子提取不到足够数量的FAST角点，则降低FAST角点阈值，确保纹理较弱的区域也能提取到角点。
最后，对提取到的FAST角点，采用四叉树法均匀选择Nα个角点，这样可以确保选取的特征点在整个图像中分布均匀，既能涵盖纹理丰富的区域，也考虑了纹理较弱的区域。
步骤三、将当前帧的RGB图像传入训练好的YOLOv7模型获取到动态物体的检测框；
传入当前帧图像并加载训练好的YOLOv7模型，对图像中的目标进行检测，YOLOv7网络首先对输入的图像进行预处理，将图像调整为640*640RGB图像；接着，将调整后的图像输入到网络的主干中；主干网络会生成三个不同尺寸的特征图；然后，特征图会经过一系列的RepVGG块和卷积层，在头部(head)层进行三类任务的预测，包括目标的分类、前后背景的分类以及边框的预测；最后，YOLOv7模型输出最终检测结果并获取到检测框的位置及检测框顶点坐标。
步骤四、基于运动分析的方法剔除动态物体检测框中的特征点，并将剩余的特征点进行特征匹配及位姿估计；
对于YOLOv7网络检测出的动态检测框，如果将其中的特征点都视为动态特征点，将会剔除大量特征点导致匹配的特征点对较少，使位姿估计不够准确；现有方法有利用光流法进行二次筛选，但在快速运动或者低纹理区域下效果又不太理想。
本发明采用运动分析法，通过计算特征点的像素位移的相对运动速度对动静态点进行划分；利用YOLOv7模型将获取到的检测目标分为动态物体和静态物体，在图像中找到动态物体检测框位置，采用运动分析法判断检测框中的动态特征点；首先将在动态检测框中的特征点在相邻两帧之间进行特征匹配，当特征点的描述子的距离小于某个预设阈值时表示匹配成功；对于匹配到的特征点对，计算该特征点在图像平面上的位移Δx，也可称为像素位移，是通过计算两个特征点在图像坐标系中的坐标差得到，计算公式：
其中，(x1,y1)表示第一帧中特征点的坐标，(x2,y2)表示第二帧中相应特征点的坐标。
再通过RGB-D相机的帧率来确定相邻两帧的时间间隔Δt；最后根据像素位移和时间间隔计算特征点的速度v，公式为：
根据运动分析法得到的结果对动态物体检测框中的特征点进行判定，当特征点的速度超过设定阈值时，判定为动态特征点；反之，则为静态特征点；最终剔除掉动态特征点，将当前帧剩余特征点归为静态特征点。
利用提取到的静态特征点，在相邻两帧之间进行特征匹配，在特征匹配过程中，采用RANSAC算法来排除错误的匹配数据；RANSAC算法用于帧间位姿估计；通过不断将错误匹配点设为局外点，并结合位姿求解算法，得到最优的位姿估计结果，最终通过静态特征点的匹配来计算帧间的准确位姿。
步骤五、生成关键帧，利用关键帧来建立稠密点云地图；
利用关键帧构建静态环境的稠密点云地图，首先使用点云库(Point CloudLibrary)生成当前关键帧的点云，将关键帧中静态特征点从二维像素坐标转换为三维空间坐标；然后将历史关键帧的点云与当前关键帧的点云进行融合，即将新的点云数据添加到点云地图中，进行局部建图；再经过回环检测线程进行地图的全局优化，不断更新全局点云，使它们成为一个更大的点云地图；最后，根据ORB-SLAM3中获取的关键帧的位置信息，将所有点云连接在一起，形成一个完整的全局点云地图。
仿真实验
基于动态场景下SLAM的视觉定位建图实验的仿真环境为：GPU NVIDIA GeForceRTX 3090Ti，CPU AMD Ryzen 7 5800x，Ubuntu18.04。选择公开数据集TUM DynamicObjects进行实验，选择该数据集中freiburg3_walking_xyz序列进行评估。
为了验证本发明在动态环境下的性能，分别使用ORB-SLAM3和本发明方法在数据集上实验并进行对比；图2是在TUM数据集上的绝对轨迹误差对比，其中，图2(a)表示本发明在fr3_walking_xyz下的绝对轨迹误差；图2(b)表示ORB-SLAM3在fr3_walking_xyz下的绝对轨迹误差；表1通过量化的方法对比两种方法在动态环境下绝对轨迹误差的均方根误差，实验表明本发明方法提高了视觉SLAM系统在动态环境中的定位精度。
表1 ORB-SLAM3与本发明方法的绝对轨迹误差的均方根误差(RMSE)
ORB-SLAM3 Ours
fr3_walking_xyz 0.3821 0.0120
由此可以看出，本发明方法通过将ORB-SLAM3和YOLOv7结合，并利用运动分析的方法，实现了对动态目标的识别和剔除，提高了视觉SLAM系统在动态环境中的定位精度。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (7)

1.基于动态场景下SLAM的视觉定位建图方法，其特征在于，包括以下步骤：
步骤一、利用YOLOv7模型进行动态目标检测；
步骤二、使用深度相机获取RGB图像和对应深度图像，并传入ORB-SLAM3系统，对当前帧图像进行特征点提取；
步骤三、将当前帧RGB图像输入YOLOv7模型获取到动态物体的检测框，获得检测框的位置及顶点坐标；
步骤四、基于运动分析的方法剔除动态物体检测框中的特征点，并将剩余的特征点进行特征匹配及位姿估计；
步骤五、生成关键帧，利用关键帧来建立稠密点云地图。
2.根据权利要求1所述的基于动态场景下SLAM的视觉定位建图方法，其特征在于，步骤二具体包括：
步骤21、构建图像金字塔模型，对RGB图像进行高斯模糊、降采样和分层级处理，利用FAST角点检测对每个层级提取特征点；
步骤22、将每个层级划分为像素格子，并对每个像素格子提取FAST角点；
步骤23、采用四叉树法均匀选择特征点个角点。
3.根据权利要求2所述的基于动态场景下SLAM的视觉定位建图方法，其特征在于，提取特征点的公式为：
其中，N表示设置的总特征点数量，α代表当前层级，s表示图像金字塔各层级的缩放因子，n表示图像金字塔的总层级数。
4.根据权利要求1所述的基于动态场景下SLAM的视觉定位建图方法，其特征在于，步骤四具体包括：
步骤41、将检测目标分为动态物体和静态物体；
步骤42、将在动态检测框中的特征点在相邻两帧之间进行特征匹配，当特征点的描述子的距离小于某个预设阈值时表示匹配成功；
步骤43、对于匹配到的特征点对，计算该特征点在图像平面上的位移Δx；
其中，(x1,y1)表示第一帧中特征点的坐标，(x2,y2)表示第二帧中相应特征点的坐标；
步骤44、通过RGB-D相机的帧率来确定相邻两帧的时间间隔Δt；
步骤45、根据像素位移和时间间隔计算特征点的速度v，
步骤46、当特征点的速度超过设定阈值时，判定为动态特征点；反之，则为静态特征点；
步骤47、剔除动态特征点，得到静态特征点；
步骤48、在相邻两帧之间进行特征匹配，结合位姿求解算法计算帧间位姿，采用RANSAC算法排除错误的匹配数据。
5.根据权利要求1所述的基于动态场景下SLAM的视觉定位建图方法，其特征在于，步骤五具体包括：
步骤51、使用点云库生成当前关键帧的点云；
步骤52、将关键帧中静态特征点从二维像素坐标转换为三维空间坐标；并将历史关键帧的点云与当前关键帧的点云进行融合；
步骤53、根据ORB-SLAM3中获取的关键帧的位置信息，将所有点云连接在一起，形成一个完整的全局点云地图。
6.基于动态场景下SLAM的视觉定位建图系统，其特征在于，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如权利要求1-5任一项所述的基于动态场景下SLAM的视觉定位建图方法。
7.存储有计算机程序代码的计算机可读介质，其特征在于，计算机程序代码在由处理器执行时实现如权利要求1-5任一项所述的基于动态场景下SLAM的视觉定位建图方法。
CN202311215551.5A 2023-09-20 2023-09-20 基于动态场景下slam的视觉定位建图方法及系统 Pending CN117367404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311215551.5A CN117367404A (zh) 2023-09-20 2023-09-20 基于动态场景下slam的视觉定位建图方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311215551.5A CN117367404A (zh) 2023-09-20 2023-09-20 基于动态场景下slam的视觉定位建图方法及系统

Publications (1)

Publication Number Publication Date
CN117367404A true CN117367404A (zh) 2024-01-09

Family

ID=89395451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311215551.5A Pending CN117367404A (zh) 2023-09-20 2023-09-20 基于动态场景下slam的视觉定位建图方法及系统

Country Status (1)

Country Link
CN (1) CN117367404A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118351248A (zh) * 2024-06-17 2024-07-16 国网山东省电力公司滨州供电公司 用于变压器的结构化静态模型重建方法、系统及介质
CN118758289A (zh) * 2024-09-02 2024-10-11 云南师范大学 一种动态场景下基于运动目标检测的3d slam方法
CN118781000A (zh) * 2024-07-08 2024-10-15 武汉科技大学 一种基于图像增强和NeRF的单目稠密SLAM地图构建方法
CN118857270A (zh) * 2024-09-24 2024-10-29 云南师范大学 一种动态环境中基于点-线特征与超像素分割的3d slam方法
CN118887288A (zh) * 2024-07-16 2024-11-01 中山大学 一种基于地面分割网络的多特征室内视觉定位方法及系统
CN119295689A (zh) * 2024-09-23 2025-01-10 长安大学 一种动态环境下的同步定位与地图构建方法及装置
CN119540942A (zh) * 2025-01-22 2025-02-28 浙江大学 一种基于YOLOv11和ORB-SLAM3的动态环境密集点云的SLAM方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118351248A (zh) * 2024-06-17 2024-07-16 国网山东省电力公司滨州供电公司 用于变压器的结构化静态模型重建方法、系统及介质
CN118781000A (zh) * 2024-07-08 2024-10-15 武汉科技大学 一种基于图像增强和NeRF的单目稠密SLAM地图构建方法
CN118887288A (zh) * 2024-07-16 2024-11-01 中山大学 一种基于地面分割网络的多特征室内视觉定位方法及系统
CN118758289A (zh) * 2024-09-02 2024-10-11 云南师范大学 一种动态场景下基于运动目标检测的3d slam方法
CN119295689A (zh) * 2024-09-23 2025-01-10 长安大学 一种动态环境下的同步定位与地图构建方法及装置
CN118857270A (zh) * 2024-09-24 2024-10-29 云南师范大学 一种动态环境中基于点-线特征与超像素分割的3d slam方法
CN119540942A (zh) * 2025-01-22 2025-02-28 浙江大学 一种基于YOLOv11和ORB-SLAM3的动态环境密集点云的SLAM方法及系统
CN119540942B (zh) * 2025-01-22 2025-05-30 浙江大学 一种基于YOLOv11和ORB-SLAM3的动态环境密集点云的SLAM方法及系统

Similar Documents

Publication Publication Date Title
CN117367404A (zh) 基于动态场景下slam的视觉定位建图方法及系统
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN109784333B (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN109345574B (zh) 基于语义点云配准的激光雷达三维建图方法
CN107564012B (zh) 面向未知环境的增强现实方法及装置
JP5881743B2 (ja) 奥行きマップを使用したモバイルカメラの自己位置推定
CN104361611B (zh) 一种基于群稀疏鲁棒pca的运动目标检测方法
CN107093205B (zh) 一种基于无人机图像的三维空间建筑物窗户检测重建方法
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
CN110084304A (zh) 一种基于合成数据集的目标检测方法
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
CN104881029B (zh) 基于一点ransac和fast算法的移动机器人导航方法
CN109711321B (zh) 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN104933738A (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
CN106525000A (zh) 基于激光扫描离散点强度梯度的道路标线自动化提取方法
WO2022095514A1 (zh) 图像检测方法、装置、电子设备及存储介质
Gao et al. Pose refinement with joint optimization of visual points and lines
Peña et al. Disparity estimation by simultaneous edge drawing
CN110175574A (zh) 一种道路网提取方法及装置
CN113487631A (zh) 基于lego-loam的可调式大角度探测感知及控制方法
CN106408596A (zh) 基于边缘的局部立体匹配方法
CN118097265A (zh) 基于深度学习与gpu加速的动态场景下视觉slam优化方法
CN119206203A (zh) 一种动态环境下基于深度掩膜分割的语义视觉slam方法
Xu et al. DOS-SLAM: A real-time dynamic object segmentation visual SLAM system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination