[go: up one dir, main page]

CN109341689A - 基于深度学习的移动机器人视觉导航方法 - Google Patents

基于深度学习的移动机器人视觉导航方法 Download PDF

Info

Publication number
CN109341689A
CN109341689A CN201811064016.3A CN201811064016A CN109341689A CN 109341689 A CN109341689 A CN 109341689A CN 201811064016 A CN201811064016 A CN 201811064016A CN 109341689 A CN109341689 A CN 109341689A
Authority
CN
China
Prior art keywords
target
camera
robot
deep learning
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811064016.3A
Other languages
English (en)
Inventor
阮晓钢
任顶奇
朱晓庆
刘少达
李昂
武悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201811064016.3A priority Critical patent/CN109341689A/zh
Publication of CN109341689A publication Critical patent/CN109341689A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于深度学习的移动机器人视觉导航方法，包括：移动机器人通过自身搭载的深度摄像机在未知环境空间进行图像(彩色图像)采集，对采集到的图像进行处理得到预设尺寸的图片，用打标工具(如LabelImg)对图片进行打标，用深度学习方法对彩色图像进行训练得到目标检测模型，输入目标，机器人对未知环境进行探索并实时采集图片(包括彩色图像和深度图像)，并将彩色图作为目标检测模型的输入进行目标检测，检测到目标之后根据深度图计算机器人与目标位置的方向和距离，生成运动策略。

Description

基于深度学习的移动机器人视觉导航方法
技术领域
本发明涉及目标检测，深度学习，移动机器人室内导航技术领域，尤其涉及基于深度学习的移动机器人视觉导航方法。
背景技术
近些年来，不管是在学术界还是产业界，智能机器人的研究都引起了广泛的关注。
目前技术比较成熟且应用较为广泛的定位技术为全球定位系统(GlobalPositioning System，GPS)定位技术，这种定位技术的定位方法是车辆、手机等移动设备通过搭载GPS模块实现对自身的定位，从而实现导航。GPS定位技术要求移动设备能够接收GPS信号，适用于室外开阔场景，而在建筑物内部，GPS 信号往往很弱，无法为机器人提供精确的位置信息，导航效果不佳。
目前室内机器人导航技术应用较多的为基于激光雷达的导航技术和基于视觉的导航技术，通过激光雷达或者视觉传感器进行移动机器人室内定位和建图，从而实现室内移动机器人的导航。激光雷达技术相对较成熟并且精度较高，但是激光雷达往往价格较高，存在镜面问题，只能探测物理距离机器人自身的位置和方向，无法识别室内的物体。视觉传感器价格较为低廉，且能够获得更多的环境信息，能够对环境中存在的物体进行识别，实现目标导向的导航。
发明内容
本发明提出一种基于深度学习的移动机器人室内导航方法，该方法以机器人搭载的RGB-D深度相机采集的图像信息作为输入，通过目标检测算法检测目标物体，通过深度图目标位置的距离，实现机器人的导航。
本发明采用的技术方案为基于深度学习的移动机器人视觉导航方法，包括以下步骤：
步骤1：机器人在未知环境中随机探索，并以给定的频率拍摄图像，并将图像按拍摄时间序列进行命名并保存。
步骤2：采用打标工具对采集的RGB图像进行打标。
步骤3：用目标检测模型对打标图像进行训练，得到满足要求的目标检测模型。
步骤4：用户输入机器人要到达的目标。
步骤5：机器人通过自身搭载的RGB-D深度相机采集图片。
步骤6：机器人根据RGB图通过目标检测模型进行目标检测。
步骤7：检测到目标后机器人根据彩色图与深度图计算目标位置的坐标。
步骤8：机器人根据运动控制策略朝向目标位置行进。
本发明实施例的基于深度学习的移动机器人视觉导航方法，以图片为输入，通过目标检测模型对目标进行识别，对目标大致基本方位进行认知，再根据深度图计算机器人距离目标的精确距离。使用轮式移动机器人搭载视觉传感器，成本低且能够识别室内环境中不同的物体，更加符合室内服务机器人的性能要求。
另外，根据本实施例的基于深度学习的视觉导航方法还具有如下附加的技术特征：
在步骤1中需要对图片进行处理，其中对图片的处理为缩放处理，采集到的图片像素值为640*480，经过缩放后像素值为320*240。
在步骤3中目标检测模型为卷积神经网络，网络采用卷积层和池化层的结构。输入层为480*480*3，后面是3个卷积池化层，最后是一个平均池化层和Softmax 层。第一层是96个3*3步长为2的卷积核，然后是一个2*2的池化层。第二层是72个3*3步长为2的卷积核，然后是一个2*2的池化层。第三层是48个3*3 步长为2的卷积核，然后是一个2*2的池化层。最后是一个24个2*2卷积核的平均池化层和全连接层，其中全连接层的神经元个数为3*3*15。
目标检测算法的输入为经过打标的RGB图像，输出为目标类别和在图像中的位置向量[pc,bx,by,bh,bw,c],其中pc为边框中物体为类别c的概率，bx为边框中心的横坐标，by为边框中心的纵坐标，bh为边框的高度，bw为边框的宽度，c为目标类别向量[c1,c2,c3,…,cN]，N为目标类别向量元素的个数。
在步骤4中对目标的输入是语音输入或者是文字输入，机器人根据输入的字符找到其对应的编码，其中编码为[0,1,2，…，N-1]。
在步骤5中对所采集图片进行同步骤1相同的缩放处理。
在步骤6中目标物体在图片中的位置信息[bx,by,bh,bw]。
在步骤7中，以相机坐标系作为世界坐标系，相机所在位置为坐标原点，以步骤6中边框的中心[bx,by]作为目标在深度图中的位置，根据像素坐标与相机坐标的转换关系得到目标位置的实际坐标。
像素坐标为[u,v,d],假设相机坐标pc为[x,y,z]，相机坐标到像素坐标的关系为：
其中u＝bx，v＝by，[u,v]为像素点在像素平面坐标系中的坐标，d为像素点的深度值，[x,y,z]为像素点在相机坐标系中的三维坐标，x轴方向为水平方向，y 轴方向为竖直方向，z轴方向为垂直相机平面向外，K为相机的内参数矩阵，K 由相机本身决定。
计算目标在相机坐标系下的坐标pc[x,y,z]。
z＝d/s
在步骤8中的预设距离为20cm。cx，cy，fx，fy为构成K的相机内参，cx， cy为相机光圈中心，fx，fy为相机在x，y两个轴上的焦距，s为深度图的缩放因子。
附图说明
图1是基于深度学习的移动机器人视觉导航方法的流程图。
图2是目标检测模型的结构图。
具体实施方式
下面详细说明本发明的实施例，本实施例在本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
步骤1：机器人在未知环境中随机探索，并以给定的频率拍摄图像，并将图像按拍摄时间序列进行命名并保存。
本实施例为建筑物室内环境，由于机器人处在未知环境，机器人需在环境空间中进行随机探索对环境进行认知，通过随机探索的方式记录下环境的空间信息。
RGB-D深度相机以的频率从各个角度在环境空间进行图像采集，本步骤中的图像采集只保存彩色图，总共采集1000张图片，其中800张作为训练，200 张作为测试。
对采集到的图像进行处理得到预设尺寸的图像，该步骤中对图片的处理为缩放处理，采集到的图片为640*480，经过缩放后尺寸为320*240。
步骤2：采用打标工具对采集的图像进行打标。
采用LabelImg对图像进行打标，用边框框出图片中的目标，并给目标打上相应的标签(label＝1,2,3，…，N，N＝10)，生成相应的文件。
步骤3：用目标检测模型对打标图像进行训练，得到满足要求的目标检测模型。
目标检测模型为卷积神经网络，网络采用卷积层和池化层的结构。输入层为480*480*3,后面是3个卷积池化层，最后是一个平均池化层和Softmax层。第一层是96个3*3步长为2的卷积核，然后是一个2*2的池化层。第二层是72个 3*3步长为2的卷积核，然后是一个2*2的池化层。第三层是48个3*3步长为2 的卷积核，然后是一个2*2的池化层。最后是一个24个2*2卷积核的平均池化层和3*3*15个单元的全连接层。
目标检测算法的输入为经过打标的RGB图像，输出为目标类别和在图像中的位置向量[pc,bx,by,bh,bw,c],其中pc为边框中物体为类别c的概率，bx为边框中心的横坐标，by为边框中心的纵坐标，bh为边框的高度，bw为边框的宽度，c为目标类别向量[c1,c2,c3,…,cN]。
步骤4：将机器人放置在环境中的任意位置，输入要到达的目标。
输入可以是语音输入目标对象也可以是文字输入目标对象，机器人根据输入的字符找到其对应的编码。
步骤5：机器人通过自身搭载的RGB-D深度相机采集图片。
本步骤中同时采集彩色图和深度图，并采用与步骤1相同的方法进行缩放，彩色图用于实时的目标检测，深度图用于实时判断机器人与目标位置的距离。
步骤6：根据RGB图进行目标检测。
根据步骤3得到的目标检测模型和步骤5中采集到的图片，检测RGB图像中是否存在目标物体，及目标物体在图片中的位置信息[bx,by,bh,bw]。
步骤7：检测到目标后根据彩色图与深度图计算目标位置的坐标。
以相机坐标系作为世界坐标系，相机所在位置为坐标原点，以步骤6中边框的中心[bx,by]作为目标在深度图中的位置，根据像素坐标与相机坐标的转换关系得到目标位置的实际坐标。
像素坐标为[u,v,d]，假设相机坐标pc为[x,y,z]，相机坐标到像素坐标的关系为：
其中u＝bx，v＝by。
计算目标在相机坐标系下的坐标pc[x,y,z]。
z＝d/s
步骤8：机器人朝向目标位置移动。
机器人以的速度朝向目标行进并实时检测机器人与目标位置的距离，如果距离大于预设距离则继续前进，否则停止前进。本实施例中的预设距离为20cm。

Claims (9)

1.基于深度学习的移动机器人视觉导航方法，其特征在于：包括以下步骤，
步骤1：机器人在未知环境中随机探索，并以给定的频率拍摄图像，并将图像按拍摄时间序列进行命名并保存；
步骤2：采用打标工具对采集的RGB图像进行打标；
步骤3：用目标检测模型对打标图像进行训练，得到满足要求的目标检测模型；
步骤4：用户输入机器人要到达的目标；
步骤5：机器人通过自身搭载的RGB-D深度相机采集图片；
步骤6：机器人根据RGB图通过目标检测模型进行目标检测；
步骤7：检测到目标后机器人根据彩色图与深度图计算目标位置的坐标；
步骤8：机器人根据运动控制策略朝向目标位置行进。
2.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：以图片为输入，通过目标检测模型对目标进行识别，对目标大致基本方位进行认知，再根据深度图计算机器人距离目标的精确距离；使用轮式移动机器人搭载视觉传感器。
3.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤1中需要对图片进行处理，其中对图片的处理为缩放处理，采集到的图片像素值为640*480，经过缩放后像素值为320*240。
4.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤3中目标检测模型为卷积神经网络，网络采用卷积层和池化层的结构；输入层为480*480*3，后面是3个卷积池化层，最后是一个平均池化层和Softmax层；第一层是96个3*3步长为2的卷积核，然后是一个2*2的池化层；第二层是72个3*3步长为2的卷积核，然后是一个2*2的池化层；第三层是48个3*3步长为2的卷积核，然后是一个2*2的池化层；最后是一个24个2*2卷积核的平均池化层和全连接层，其中全连接层的神经元个数为3*3*15。
5.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：目标检测算法的输入为经过打标的RGB图像，输出为目标类别和在图像中的位置向量[pc，bx，by，bh，bw，c]，其中pc为边框中物体为类别c的概率，bx为边框中心的横坐标，by为边框中心的纵坐标，bh为边框的高度，bw为边框的宽度，c为目标类别向量[c1，c2，c3，...，cN]，N为目标类别向量元素的个数。
6.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤4中对目标的输入是语音输入或者是文字输入，机器人根据输入的字符找到其对应的编码，其中编码为[0，1，2，...，N-1]。
7.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤5中对所采集图片进行同步骤1相同的缩放处理。
8.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤6中目标物体在图片中的位置信息[bx，by，bh，bw]。
9.根据权利要求1所述的基于深度学习的移动机器人视觉导航方法，其特征在于：在步骤7中，以相机坐标系作为世界坐标系，相机所在位置为坐标原点，以步骤6中边框的中心[bx，by]作为目标在深度图中的位置，根据像素坐标与相机坐标的转换关系得到目标位置的实际坐标；
像素坐标为[u，v，d]，假设相机坐标pc为[x，y，z]，相机坐标到像素坐标的关系为：
其中u＝bx，v＝by，[u，v]为像素点在像素平面坐标系中的坐标，d为像素点的深度值，[x，y，z]为像素点在相机坐标系中的三维坐标，x轴方向为水平方向，y轴方向为竖直方向，z轴方向为垂直相机平面向外，K为相机的内参数矩阵，K由相机本身决定；
计算目标在相机坐标系下的坐标pc[x，y，z]；
z＝d/s
在步骤8中的预设距离为20cm；cx，cy，fx，fy为构成K的相机内参，cx，cy为相机光圈中心，fx，fy为相机在x，y两个轴上的焦距，s为深度图的缩放因子。
CN201811064016.3A 2018-09-12 2018-09-12 基于深度学习的移动机器人视觉导航方法 Pending CN109341689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811064016.3A CN109341689A (zh) 2018-09-12 2018-09-12 基于深度学习的移动机器人视觉导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811064016.3A CN109341689A (zh) 2018-09-12 2018-09-12 基于深度学习的移动机器人视觉导航方法

Publications (1)

Publication Number Publication Date
CN109341689A true CN109341689A (zh) 2019-02-15

Family

ID=65304863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811064016.3A Pending CN109341689A (zh) 2018-09-12 2018-09-12 基于深度学习的移动机器人视觉导航方法

Country Status (1)

Country Link
CN (1) CN109341689A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084307A (zh) * 2019-04-30 2019-08-02 东北大学 一种基于深度强化学习的移动机器人视觉跟随方法
CN110223212A (zh) * 2019-06-20 2019-09-10 上海木木机器人技术有限公司 一种运输机器人的调度控制方法和系统
CN110334701A (zh) * 2019-07-11 2019-10-15 郑州轻工业学院 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN110646574A (zh) * 2019-10-08 2020-01-03 张家港江苏科技大学产业技术研究院 基于无人船的水质电导率自主检测系统及方法
CN111136648A (zh) * 2019-12-27 2020-05-12 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111178257A (zh) * 2019-12-28 2020-05-19 深圳奥比中光科技有限公司 一种基于深度相机的区域安全防护系统及方法
CN112000100A (zh) * 2020-08-26 2020-11-27 德鲁动力科技(海南)有限公司 机器人的充电系统及方法
CN112884841A (zh) * 2021-04-14 2021-06-01 哈尔滨工业大学 一种基于语义目标的双目视觉定位方法
CN113392584A (zh) * 2021-06-08 2021-09-14 华南理工大学 基于深度强化学习和方向估计的视觉导航方法
CN113520810A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 辅助视障人士的行进动作规划方法、装置及计算设备
CN113643382A (zh) * 2021-08-22 2021-11-12 浙江大学 一种基于旋转激光融合相机的稠密着色点云获取方法及装置
CN114018268A (zh) * 2021-11-05 2022-02-08 上海景吾智能科技有限公司 室内移动机器人导航方法
CN114186112A (zh) * 2021-11-27 2022-03-15 北京工业大学 一种基于贝叶斯优化多重信息增益探索策略的机器人导航方法
CN114434443A (zh) * 2022-01-23 2022-05-06 轮趣科技(东莞)有限公司 一种自主移动设备的控制方法及装置
CN114859940A (zh) * 2022-07-05 2022-08-05 北京建筑大学 机器人移动控制方法、装置、设备以及存储介质
CN114995494A (zh) * 2022-05-30 2022-09-02 华南农业大学 一种基于视觉定位的无人机自动除梢装置及其控制方法
WO2023273056A1 (zh) * 2021-06-30 2023-01-05 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAN WU: ""Predicting World Coordinates of Pixels in RGB Images Using Convolutional Neural Network for Camera Relocalization"", 《7TH INTERNATIONAL CONFERENCE ON INTELLIGENT CONTROL AND INFORMATION PROCESSING》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084307A (zh) * 2019-04-30 2019-08-02 东北大学 一种基于深度强化学习的移动机器人视觉跟随方法
CN110084307B (zh) * 2019-04-30 2021-06-18 东北大学 一种基于深度强化学习的移动机器人视觉跟随方法
CN110223212B (zh) * 2019-06-20 2021-05-18 上海智蕙林医疗科技有限公司 一种运输机器人的调度控制方法和系统
CN110223212A (zh) * 2019-06-20 2019-09-10 上海木木机器人技术有限公司 一种运输机器人的调度控制方法和系统
CN110334701A (zh) * 2019-07-11 2019-10-15 郑州轻工业学院 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN110646574A (zh) * 2019-10-08 2020-01-03 张家港江苏科技大学产业技术研究院 基于无人船的水质电导率自主检测系统及方法
CN110646574B (zh) * 2019-10-08 2022-02-08 张家港江苏科技大学产业技术研究院 基于无人船的水质电导率自主检测系统及方法
CN111136648A (zh) * 2019-12-27 2020-05-12 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111178257A (zh) * 2019-12-28 2020-05-19 深圳奥比中光科技有限公司 一种基于深度相机的区域安全防护系统及方法
CN113520810A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 辅助视障人士的行进动作规划方法、装置及计算设备
CN112000100A (zh) * 2020-08-26 2020-11-27 德鲁动力科技(海南)有限公司 机器人的充电系统及方法
CN112884841A (zh) * 2021-04-14 2021-06-01 哈尔滨工业大学 一种基于语义目标的双目视觉定位方法
CN112884841B (zh) * 2021-04-14 2022-11-25 哈尔滨工业大学 一种基于语义目标的双目视觉定位方法
CN113392584A (zh) * 2021-06-08 2021-09-14 华南理工大学 基于深度强化学习和方向估计的视觉导航方法
WO2023273056A1 (zh) * 2021-06-30 2023-01-05 深圳市优必选科技股份有限公司 机器人导航方法、机器人及计算机可读存储介质
CN113643382A (zh) * 2021-08-22 2021-11-12 浙江大学 一种基于旋转激光融合相机的稠密着色点云获取方法及装置
CN113643382B (zh) * 2021-08-22 2023-10-10 浙江大学 一种基于旋转激光融合相机的稠密着色点云获取方法及装置
CN114018268A (zh) * 2021-11-05 2022-02-08 上海景吾智能科技有限公司 室内移动机器人导航方法
CN114018268B (zh) * 2021-11-05 2024-06-28 上海景吾智能科技有限公司 室内移动机器人导航方法
CN114186112A (zh) * 2021-11-27 2022-03-15 北京工业大学 一种基于贝叶斯优化多重信息增益探索策略的机器人导航方法
CN114186112B (zh) * 2021-11-27 2024-05-28 北京工业大学 一种基于贝叶斯优化多重信息增益探索策略的机器人导航方法
CN114434443A (zh) * 2022-01-23 2022-05-06 轮趣科技(东莞)有限公司 一种自主移动设备的控制方法及装置
CN114995494A (zh) * 2022-05-30 2022-09-02 华南农业大学 一种基于视觉定位的无人机自动除梢装置及其控制方法
CN114859940A (zh) * 2022-07-05 2022-08-05 北京建筑大学 机器人移动控制方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN109341689A (zh) 基于深度学习的移动机器人视觉导航方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
Cao et al. Rapid detection of blind roads and crosswalks by using a lightweight semantic segmentation network
CN104299244B (zh) 基于单目相机的障碍物检测方法及装置
CN110009682B (zh) 一种基于单目视觉的目标识别定位方法
CN111856963A (zh) 一种基于车载环视系统的泊车仿真方法及装置
CN107944390B (zh) 机动车行驶前方物体视频测距及方向定位方法
Li et al. Aruco marker detection under occlusion using convolutional neural network
CN106780484A (zh) 基于卷积神经网络特征描述子的机器人帧间位姿估计方法
CN114972421B (zh) 车间物料识别追踪与定位方法、系统
CN112364793A (zh) 基于长短焦多相机车辆环境下的目标检测和融合方法
CN105243664A (zh) 一种基于视觉的轮式移动机器人快速目标跟踪方法
CN114677531B (zh) 一种融合多模态信息的水面无人艇目标检测与定位方法
Zhang et al. Deep learning based object distance measurement method for binocular stereo vision blind area
CN113239072A (zh) 一种终端设备定位方法及其相关设备
CN111144415B (zh) 一种微小行人目标的检测方法
Gopal et al. Tiny object detection: Comparative study using single stage CNN object detectors
CN115825946A (zh) 基于无监督学习的毫米波雷达测距方法及装置
Zhou et al. Obstacle detection for unmanned surface vehicles by fusion refinement network
CN113033470B (zh) 一种轻量型目标检测方法
CN113137973A (zh) 一种图像语义特征点真值确定方法及装置
CN114429435A (zh) 退化视觉环境下宽视场范围目标搜索装置、系统及方法
CN111192290B (zh) 行人图像检测的分块处理方法
Jain et al. Deep learning-based AI model for road detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication