[go: up one dir, main page]

CN110716559B - 一种用于商场超市拣货机器人的综合控制方法 - Google Patents

一种用于商场超市拣货机器人的综合控制方法 Download PDF

Info

Publication number
CN110716559B
CN110716559B CN201911153026.9A CN201911153026A CN110716559B CN 110716559 B CN110716559 B CN 110716559B CN 201911153026 A CN201911153026 A CN 201911153026A CN 110716559 B CN110716559 B CN 110716559B
Authority
CN
China
Prior art keywords
robot
obstacle
goods
target
shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911153026.9A
Other languages
English (en)
Other versions
CN110716559A (zh
Inventor
张建华
何伟
赵爱迪
冯琦
姜旭
周有杰
张垚楠
张霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201911153026.9A priority Critical patent/CN110716559B/zh
Publication of CN110716559A publication Critical patent/CN110716559A/zh
Application granted granted Critical
Publication of CN110716559B publication Critical patent/CN110716559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种用于商场超市拣货机器人的综合控制方法，包括1)采用激光雷达和单目相机结合的方式构建环境地图；利用gmapping算法增量式构建环境地图，并对当前帧的环境图像进行回环检测，在构建环境地图的过程中利用贝叶斯滤波算法计算货架的位置坐标；2)采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；利用融合A*算法和DWA算法进行全局最优路径规划，采用匀速直线行进的方式进行局部匀速路径规划；3)基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障；4)基于单目相机的目标识别，包括图像标注和数据集的训练。该方法能够实现大场景下机器人的拣货送货，不仅大大降低了对人力的需求，而且提高了场景的适应性。

Description

一种用于商场超市拣货机器人的综合控制方法
技术领域
本发明涉及机器人自动控制领域，尤其涉及一种用于商场超市拣货机器人的综合控制方法。
背景技术
随着服务机器人逐渐进入人们的生活，尤其是近年来电商业的快速发展，拣货机器人应运而生。拣货机器人一般能根据拣货单自动完成货物的定位、识别和捡取，并将捡取的货物运送至指定位置，进而取代繁重的人工劳动，实现无人化的货物拣选作业。为保证拣货机器人顺利完成前述动作，一套实现拣货机器人各部分之间相互协调工作的控制方法显得尤为重要。
申请号201811371601.8的中国专利公开了一种基于机器人的物流分区拣选方法、装置、终端、系统及存储介质，机器人获得货物的货位信息后，再通过获取货位信息所映射的机器人的拣货位信息，再规划机器人的行进路径，该方法需要提前统计所有货物的位置信息，但是由于超市货架摆放的商品种类繁多，商品位置变化频率快，每次统计商品位置信息耗时多，人力消耗大，因此该方法并不适用于复杂环境的超市。
申请号201710295472.8的中国专利公开了一种机器人的控制系统，包括障碍物检测模块、障碍物处理模块和导航控制模块，通过背景建模的方法或帧差法检测障碍物是否运动，静态障碍物会影响路径规划，机器人绕开障碍物行走；动态障碍物不影响机器人路径规划，机器人靠近动态障碍物时减速，并试图穿过动态障碍物行走；机器人需等待障碍物自动消除后再行走，影响拣货效率，因此该方法并不适用于超市等障碍物较多的复杂场合。
发明内容
针对现有技术的不足，本发明拟解决的问题是，提供一种用于商场超市拣货机器人的综合控制方法，该方法集地图构建、路径规划、动态避障、目标识别、信息通信于一体，能够实现大场景下机器人的拣货送货，不仅大大降低了对人力的需求，而且提高了场景的适应性。
本发明解决所述技术问题采用的技术方案是，提供一种用于商场超市拣货机器人的综合控制方法，该方法包含以下内容：
一、采用激光雷达和单目相机结合的方式构建环境地图；利用gmapping算法增量式构建环境地图，并对当前帧的环境图像进行回环检测，在构建环境地图的过程中利用贝叶斯滤波算法计算货架的位置坐标；
二、采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；利用融合A*算法和DWA算法进行全局最优路径规划，采用匀速直线行进的方式进行局部匀速路径规划；
三、基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障，保证机器人不会因避障绕行而错捡漏捡；
四、基于单目相机的目标识别，包括图像标注和数据集的训练。
步骤一中计算货架的位置坐标的过程是：上位机采用SSD算法检测货架；检测出货架后，结合单目相机与激光雷达的相对安装位置，利用贝叶斯滤波算法计算货架的位置坐标，贝叶斯滤波算法满足公式1)：
xt～p(xt|w1：t，v1：t) 1)
式1)中，xt为货架在t时刻的位置坐标；w1：t表示从初始状态到t时刻货架相对于激光雷达的位置坐标；v1：t表示从初始状态到t时刻货架相对于单目相机的位置坐标；p(xt|w1：t，v1：t)为用货架相对于激光雷达以及单目相机的位置表示货架的位置坐标。
对机器人从起始位置运动至目标货架起点之间、从上一目标货架终点运动至下一目标货架起点之间以及机器人从拣货完成位置运动至中转箱之间的路径进行全局最优路径规划，对机器人从目标货架起点至该目标货架终点之间的路径进行局部匀速路径规划。
步骤四中图像标注的过程是：先对每种商品选取相同数量的图像进行人工标注，为系统提供初始训练数据集；
然后采用流体标注对所有商品剩余的图像进行自动标注，使用Q-learning线程计算流体标注图像边界两侧的像素值，并对两侧的像素值之差进行评价，计算划分收益并设定收益阈值，以设定的收益阈值为评价标准，选出标注合格的图像；人工再次对完成自动标注的图像进行复筛，完成所有图像的标注；上述所有标注合格的图像组成数据集；
采用分布式机器学习系统SPARK，通过YOLO自带的darknet脚本对数据集进行训练；利用YOLOV3线程进行目标检测，并采用ResNet-101对YOLOV3线程的识别结果进行优化。
非拣货避障的具体过程为：(1)机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按全局最优路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，机器人报障；若正后端不存在障碍物，则机器人后退一段距离；机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物；若前端右侧不存在障碍物，机器人向右侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；
拣货避障：(1)机器人从目标货架起点运动到该目标货架终点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按预定的路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，则机器人报障；若正后端不存在障碍物，则机器人后退一段距离；然后机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向右侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；当剩余目标货架都检完后，机器人判断商品目录是否都检到，如果未捡完所有目标商品则机器人返回拣货失败的目标货架，对该目标货架进行重新拣货。
该方法还包括基于ROS机器人操作系统的实时通信，即机器人控制系统的通信机制；
机器人启动，使用激光雷达和单目相机构建环境地图，上位机计算所有货架的坐标，机器人获取商品目录开始拣货；根据所有货架的坐标预估目标货架的位置并读取目标货架的起点与终点，根据目标货架的起点与终点计算机器人的起点与终点并进行局部匀速路径规划，使机器人到达初始目标货架起点；机器人沿着目标货架匀速运动，单目相机进行目标识别；
当该目标货架上不存在商品目录中的目标商品时，机器人继续运动；当存在目标商品时，机器人检测目标商品是否在视野正中，如果不在视野正中则继续运动，如果在视野正中机器人停止运动，机器人的机械臂开始拣货；拣货成功后从商品目录中剔除已拣商品，拣货不成功则机器人后退一定距离，重新拣货；
机器人在运动过程中依靠超声波传感器检测是否存在障碍物，若前进方向不存在障碍物则继续运动；若前进方向存在障碍物，机器人停止运动等待障碍物消除，一段时间后再次检测前进方向是否存在障碍物；若不存在，机器人继续运动；若存在则判断机器人目前是否正在进行拣货，并启动相应的避障措施；直到机器人完成商品目录中所有商品的拣货。
与现有技术相比，本发明的有益效果是：
1)本发明针对商场超市的大场景环境，采用激光雷达和单目相机相结合的方式构建环境地图，并对环境信息进行回环检测，避免误匹配；采用贝叶斯滤波算法计算货架在环境地图中的位置坐标，实现货架的自动标注。
2)传统的路径规划方法仅考虑时间或路径最优，而忽视机器人执行任务时所需的路径需求；本发明提出全局最优路径规划和局部匀速路径规划相结合的方式，保证机器人在货架前拣货过程中匀速行走，增加机器人行进的稳定性，使单目相机更加准确地识别目标商品。
3)针对商超环境，不仅是单纯的避开障碍物，而是与拣货过程中的目标识别相结合，针对拣货和未拣货场景提出不同避障方式，保证机器人不会因避障绕行而错捡漏捡。
4)改进了传统的YOLO算法，在YOLOV3的目标识别之后使用ResNet-101对识别结果进行优化，提高多光照强度和背景下识别小体积商品的准确性；该目标识别能更好适应商品种类繁多和摆放不规律的情景。
5)基于ROS机器人操作系统提出一种各系统协作工作的机制，保证了整个系统的稳定运行；本发明集地图构建、路径规划、动态避障、目标识别、信息通信于一体，能够实现大场景下机器人的拣货送货，不仅大大降低了对人力的需求，而且提高了场景的适应性。
6)本发明适用于超市或仓储环境的无人作业。
附图说明
图1为本发明的机器人的通信机制；
图2为本发明的机器人的避障流程图。
具体实施方式
为了使本发明更加通俗易懂，下文将结合实施例及附图进一步阐述本发明。
本发明提供了一种用于商场超市拣货机器人的综合控制方法，包括以下内容：
拣货机器人的拣货系统包括激光雷达、单目相机、四个超声波传感器、Arduino开发板和上位机；激光雷达和单目相机均设在机器人的前端，激光雷达的扫描平面与货架层板所在的平面等高；两个超声波传感器分别安装在机器人的正前端和正后端，另外两个超声波传感器安装在机器人的前端左侧、前端右侧，分别与机器人的左右轴线呈30°夹角；Arduino开发板和上位机均设在机器人上；上位机分别与激光雷达、单目相机、超声波传感器和Arduino开发板通信连接，上位机中储存有机器人的控制程序；
一、采用激光雷达和单目相机结合的方式构建环境地图；激光雷达用于扫描环境信息，单目相机用于提取环境图像；
S1、上位机采用gmapping算法增量式构建环境地图，具体步骤为：
步骤一：将环境信息抽象为粒子状态信息，粒子状态信息用公式(1)描述为：
p(x1：t，m|z1：t，u1：t-1)＝p(m|x1：t，z1：t)·p(x1：t|z1：t，u1：t-1) (1)
式(1)中，x1：t为机器人从初始状态到t时刻的位姿；m为环境地图的状态数据；z1：t表示激光雷达从初始状态到t时刻的观测数据；u1：t-1表示从初始状态到t-1时刻控制系统发给机器人的控制数据；p(m|x1：t，z1：t)表示环境地图在t时刻的状态分布；p(x1：tz1：t，u1：t-1)表示从初始状态到t时刻机器人的位姿；p(x1：t，m|z1：t，u1：t-1)为用从初始状态到t-1时刻的控制系统控制机器人进行的数据和激光雷达的观测数据表示机器人位姿和环境地图的状态分布；
步骤二：计算每个粒子的权重，以供步骤三的重采样使用；
由于粒子要覆盖机器人的全部运动状态空间，而其中只有一小部分粒子符合要求，采用公式(2)计算每个粒子的权重；
Figure BDA0002284072910000041
式(2)中，
Figure BDA0002284072910000042
表示t时刻任意粒子的权重；
Figure BDA0002284072910000043
表示t-1时刻任意粒子的权重；xj表示运动状态空间峰值附近(接近真实状态)的机器人位姿；Zt表示t-1时刻激光雷达的观测数据；
Figure BDA0002284072910000044
表示t-1时刻环境地图的状态数据；
Figure BDA0002284072910000045
表示t-1时刻机器人的位姿；ut-1表示t-1时刻控制系统给机器人的控制数据；K表示运动状态空间峰值附近粒子的个数；
Figure BDA0002284072910000046
为用t-1时刻环境地图的状态数据、机器人位姿和控制机器人的控制数据表示运动状态空间峰值附近激光雷达的观测数据；
Figure BDA0002284072910000051
为用t-1时刻环境地图的状态数据表示运动状态空间峰值附近激光雷达的观测数据；
Figure BDA0002284072910000052
为用t-1时刻机器人的位姿和机器人的控制数据表示运动状态空间峰值附近的机器人位姿；
步骤三：对粒子进行重采样，筛选符合实际场景环境的粒子；采用粒子表示环境地图状态分布时，需要把权重小的粒子丢弃，保留权重大的粒子并复制，使粒子收敛到真实状态附近；为了筛选出与真实状态相近的粒子，需对权重变化超过阈值的粒子进行重采样，重采样的标准满足公式(3)；阈值为N/2，N为采集到的粒子个数；
Figure BDA0002284072910000053
式(3)中，
Figure BDA0002284072910000054
表示任意粒子的权重；N表示采集到的粒子个数；当Neff大于阈值时，表示粒子权重与真实值的差距越小，当所有粒子权重都一样时这些粒子恰好可以表示真实分布；当Neff小于阈值时，表示粒子权重与真实值的差距很大，需要对粒子进行重采样；
通过步骤一至步骤三获得t时刻的环境地图，重复执行步骤一至步骤三，完成增量式构建室内环境地图；在此过程中机器人实时更新自身位姿，实现了自定位的目的；
S2、采用ORB-SLAM2算法的LOOPCLOSING线程对当前帧的环境图像进行回环检测；
利用单目相机采集每一帧的环境图像，上位机采用ORB特征描述算法分别对每帧的环境图像提取特征点，当同一环境图像的特征点满足一定数量(至少为30个)为关键帧，并将所有关键帧加入词袋模型；
上位机采用ORB-SLAM2算法的LOOPCLOSING线程匹配单目相机采集的当前帧和词袋模型中的关键帧，对当前帧进行回环检测，即对当前帧与词袋模型中的关键帧进行匹配，将当前帧生成的地图与上一帧生成的地图进行匹配；若回环检测成功，上位机引导gmapping算法匹配回环检测成功的关键帧对应的机器人位置点，实现机器人路径的闭合，以消除机器人在构建环境地图中的累计误差，实现环境地图的校正，为拣货机器人更加精准的避障和导航提供基础；若回环检测失败，上位机继续对回环检测失败的帧进行回环检测；
S3、采用贝叶斯滤波算法计算货架的位置坐标；在构建环境地图的过程中，上位机采用SSD算法检测货架；检测出货架后，结合单目相机与激光雷达的相对安装位置，利用贝叶斯滤波算法计算货架的位置坐标，贝叶斯滤波算法满足公式(4)：
xt～p(xt|w1：t，v1：t) (4)
式(4)中，xt为货架在t时刻的位置坐标；w1：t表示从初始状态到t时刻货架相对于激光雷达的位置坐标；v1：t表示从初始状态到t时刻货架相对于单目相机的位置坐标；p(xt|w1：t，v1：t)为用货架相对于激光雷达以及单目相机的位置表示货架的位置坐标；
gmapping算法体现激光雷达与货架的相对位置，SSD算法体现单目相机与货架的相对位置，结合单目相机与激光雷达的相对安装位置，可以实时计算货架在环境地图中的位置坐标，实现货架的位置自动标注；
由于激光雷达扫描区域为一定高度的平面，而商场超市的货架支脚比较细小，难以被激光雷达扫描，故本算法将激光雷达的扫描平面设置为货架层板所在的平面，使货架更加容易识别；由于货架位置信息已经被扫描到环境地图上，上位机计算货架在环境地图中的位置坐标，因此不需要在地图上手动标注货架位置坐标；
在大场景范围内构建环境地图，如果只使用激光雷达和gmapping算法，缺少回环检测，并且商场超市货架较为类似，货架之间容易发生误匹配；如果只使用单目相机，构建环境地图易受到光照等环境因素影响，难以构建大场景环境地图，故本发明使用激光雷达和单目相机相结合的方式构建环境地图；
此部分的主要创新点为：采用ORB-SLAM2的LOOPCLOSING线程对gmapping算法构建的环境地图进行回环检测，增加建图精度；采用贝叶斯滤波算法计算货架的位置坐标，实现货架坐标在环境地图中的自动标注，取代了人工标注；
二、采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；
1)全局最优路径规划：采用融合A*算法和DWA算法对机器人从起始位置运动至目标货架起点之间、从上一目标货架终点运动至下一目标货架起点之间以及机器人从拣货完成位置运动至中转箱之间的路径进行全局最优路径规划；
2)局部匀速路径规划：采用匀速直线行进的方式对机器人从目标货架起点至该目标货架终点之间的路径进行局部匀速路径规划，机器人沿着局部匀速路径作匀速直线运动；
此部分的主要创新点为：传统的仓储物流领域，需要在机器人运动路径上预先铺设磁条或张贴二维码，以实现机器人按照设定路径运动；本发明中机器人只需要读取货架起点和终点坐标，实现匀速直线行进，不需要在机器人行进路径上铺设外部辅助设备；
传统的路径规划方法仅考虑时间或路径最优，而忽视机器人执行任务时所需的路径需求；本发明提出全局最优路径规划和局部匀速路径规划相结合的方式，保证机器人在货架前拣货过程中匀速行走，增加机器人行进的稳定性，使单目相机更加准确地识别目标商品；
三、基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障；
非拣货避障：(1)机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后(5s左右)，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按全局最优路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，机器人报障；若正后端不存在障碍物，则机器人后退一段距离(一般为两倍机器人底盘长度)，以保证机器人避障过程中不会碰撞障碍物；机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物；若前端右侧不存在障碍物，机器人向右侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；
拣货避障：(1)机器人从目标货架起点运动到该目标货架终点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后(5s左右)，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按预定的路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，则机器人报障；若正后端不存在障碍物，则机器人后退一段距离(一般为机器人底盘长度的两倍)，以保证机器人避障过程中不会碰撞障碍物；然后机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向右侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；当剩余目标货架都检完后，机器人判断商品目录是否都检到，如果未捡完所有目标商品则机器人返回拣货失败的目标货架，对该目标货架进行重新拣货；
此部分的障碍物一般为拣货机器人；
综上所述，此部分的主要创新点为：针对商超环境，不仅是单纯的避开障碍物，而是与拣货过程中的目标识别相结合，针对拣货和未拣货场景提出不同避障方式，保证机器人不会因避障绕行而错捡漏捡；
四、基于单目相机的目标识别；
使用单目相机采集商品的图像数据，同时采集同一商品在不同角度、光照、背景下的多张图片，增加图像数据的丰富性，提高目标识别的成功率；对采集的所有图像进行高斯模糊和锐化，保证单目相机在运动过程中，即使拍摄的图像不清晰，也可以实现准确快速的目标识别；
图像标注：先对每种商品选取相同数量的图像进行人工标注，为系统提供初始训练数据集；
然后采用流体标注对所有商品剩余的图像进行自动标注，提高图像标注的效率；针对流体标注中边界不准的问题，使用Q-learning线程计算流体标注图像边界两侧的像素值，并对两侧的像素值之差进行评价，计算划分收益并设定收益阈值，以设定的收益阈值为评价标准对标注结果进行评价和筛选，选出标注合格的图像；若划分收益大于或等于收益阈值，表示图像标注合格；若划分收益小于收益阈值，表示图像标注不合格，标注不合格的图像重新进入自动标注线程进行循环标注，直到每种商品标注合格的图像达到数量要求，数量要求取决于识别精度；若循环标注后某种商品标注合格的图像仍未达到数量要求，则需要对此种商品补充采集图像，并对补充的图像进行自动标注与筛选，直到此种商品标注合格的图像达到数量要求，完成图像的自动标注；
人工再次对完成自动标注的图像进行复筛，完成所有图像的标注；所有标注合格的图像组成数据集；
数据集的训练：采用分布式机器学习系统SPARK，通过YOLO自带的darknet脚本对数据集进行训练，实现多线程共同训练数据以提高训练的速度；使用单目相机实时扫描货架上的商品，上位机利用YOLOV3线程进行目标检测；YOLOV3线程对小体积商品具有很好的鲁棒性，对小体积商品感知不准确，故在YOLOV3线程的目标识别之后采用ResNet-101对YOLOV3线程的识别结果进行优化，防止对小体积商品识别不明显，以提高多光照强度和背景下识别小体积商品的准确性，避免当使用环境背景加深时，匹配误差变大，识别结果不准确的问题，ResNet-101可以保证目标识别的速度最优；
此部分的主要创新点为：首先，为减少人工标注图像的工作量，对图像进行自动标注；针对图像自动标注中存在的边界不准问题，引入Q-learning线程对自动标注结果进行评价，筛选出标注合格的图像；其次，引入分布式机器学习系统对图像进行训练，以提高训练速度；最后，在采用YOLOV3线程进行目标识别的基础上，通过ResNet-101对目标识别进行优化，降低目标识别的误差，提高对小体积物体识别的准确性；
五、基于ROS(机器人软件平台)机器人操作系统的实时通信，即机器人控制系统的通信机制；
机器人启动，使用激光雷达和单目相机构建环境地图，上位机计算所有货架的坐标，机器人获取商品目录开始拣货；根据所有货架的坐标预估目标货架的位置并读取目标货架的起点与终点，根据目标货架的起点与终点计算机器人的起点与终点并进行路径规划，使机器人到达初始目标货架起点位置；机器人沿着目标货架匀速运动，此时单目相机开启进行目标识别；
当该目标货架上不存在商品目录中的目标商品时，机器人继续运动；当存在目标商品时，机器人检测目标商品是否在视野正中，如果不在视野正中则继续运动，如果在视野正中机器人停止运动，机器人的机械臂开始拣货；拣货成功后从商品目录中剔除已拣商品，拣货不成功则表明机器人依靠惯性前进太多，错过了目标商品，则机器人后退一定距离，重新拣货；
机器人在运动过程中依靠超声波传感器检测是否存在障碍物，若前进方向不存在障碍物则继续运动；若前进方向存在障碍物，机器人停止运动等待障碍物消除，一段时间(5S)后再次检测前进方向是否存在障碍物；若不存在，机器人继续运动；若存在则判断机器人目前是否正在进行拣货；
如果正在拣货，则检测机器人其他方向(正后端、前端左侧和前端右侧)是否存在障碍物；只要正后端存在障碍物则进行报障，若前端左侧、正后端或前端右侧、正后端没有障碍物则机器人绕开障碍物运动至下一目标货架；
如果不是在拣货(机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点过程中)，继续检测机器人后方是否存在障碍物，若存在则进行报障；若不存在则检测机器人左、右(前端左侧、前端右侧)是否存在障碍物；若不存在则机器人避障绕行进行前进，若均存在则进行报障处理；
此部分的主要创新点为：针对商超环境，基于ROS机器人操作系统提出一套机器人的通信机制，保证各部分之间的协调工作，使机器人安全平稳运行。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种用于商场超市拣货机器人的综合控制方法，其特征在于，该方法包含以下内容：
一、采用激光雷达和单目相机结合的方式构建环境地图；利用gmapping算法增量式构建环境地图，并对当前帧的环境图像进行回环检测，在构建环境地图的过程中利用贝叶斯滤波算法计算货架的位置坐标；
S1、上位机采用gmapping算法增量式构建环境地图，具体步骤为：
步骤一：将环境信息抽象为粒子状态信息，粒子状态信息用公式(1)描述为：
p(x1：t，m|z1：t，u1：t-1)＝p(m|x1：t，z1：t)·p(x1：t|z1：t，u1：t-1) (1)
式(1)中，x1：t为机器人从初始状态到t时刻的位姿；m为环境地图的状态数据；z1：t表示激光雷达从初始状态到t时刻的观测数据；u1：t-1表示从初始状态到t-1时刻控制系统发给机器人的控制数据；p(m|x1：t，z1：t)表示环境地图在t时刻的状态分布；p(x1：t|z1：t，u1：t-1)表示从初始状态到t时刻机器人的位姿；p(x1：t，m|z1：t，u1：t-1)为用从初始状态到t-1时刻的控制系统控制机器人进行的数据和激光雷达的观测数据表示机器人位姿和环境地图的状态分布；
步骤二：计算每个粒子的权重，以供步骤三的重采样使用；
由于粒子要覆盖机器人的全部运动状态空间，而其中只有一小部分粒子符合要求，采用公式(2)计算每个粒子的权重；
Figure FDA0003699591080000011
式(2)中，
Figure FDA0003699591080000012
表示t时刻任意粒子的权重；
Figure FDA0003699591080000013
表示t-1时刻任意粒子的权重；xj表示运动状态空间峰值附近(接近真实状态)的机器人位姿；Zt表示t-1时刻激光雷达的观测数据；
Figure FDA0003699591080000014
表示t-1时刻环境地图的状态数据；
Figure FDA0003699591080000015
表示t-1时刻机器人的位姿；ut-1表示t-1时刻控制系统给机器人的控制数据；K表示运动状态空间峰值附近粒子的个数；
Figure FDA0003699591080000016
为用t-1时刻环境地图的状态数据、机器人位姿和控制机器人的控制数据表示运动状态空间峰值附近激光雷达的观测数据；
Figure FDA0003699591080000017
为用t-1时刻环境地图的状态数据表示运动状态空间峰值附近激光雷达的观测数据；
Figure FDA0003699591080000018
为用t-1时刻机器人的位姿和机器人的控制数据表示运动状态空间峰值附近的机器人位姿；
步骤三：对粒子进行重采样，筛选符合实际场景环境的粒子；采用粒子表示环境地图状态分布时，需要把权重小的粒子丢弃，保留权重大的粒子并复制，使粒子收敛到真实状态附近；为了筛选出与真实状态相近的粒子，需对权重变化超过阈值的粒子进行重采样，重采样的标准满足公式(3)；阈值为N/2，N为采集到的粒子个数；
Figure FDA0003699591080000019
式(3)中，
Figure FDA00036995910800000110
表示任意粒子的权重；N表示采集到的粒子个数；当Neff大于阈值时，表示粒子权重与真实值的差距越小，当所有粒子权重都一样时这些粒子恰好可以表示真实分布；当Neff小于阈值时，表示粒子权重与真实值的差距很大，需要对粒子进行重采样；
通过步骤一至步骤三获得t时刻的环境地图，重复执行步骤一至步骤三，完成增量式构建室内环境地图；在此过程中机器人实时更新自身位姿，实现了自定位的目的；
S2、采用ORB-SLAM2算法的LOOPCLOSING线程对当前帧的环境图像进行回环检测；
利用单目相机采集每一帧的环境图像，上位机采用ORB特征描述算法分别对每帧的环境图像提取特征点，当同一环境图像的特征点满足一定数量(至少为30个)为关键帧，并将所有关键帧加入词袋模型；
上位机采用ORB-SLAM2算法的LOOPCLOSING线程匹配单目相机采集的当前帧和词袋模型中的关键帧，对当前帧进行回环检测，即对当前帧与词袋模型中的关键帧进行匹配，将当前帧生成的地图与上一帧生成的地图进行匹配；若回环检测成功，上位机引导gmapping算法匹配回环检测成功的关键帧对应的机器人位置点，实现机器人路径的闭合，以消除机器人在构建环境地图中的累计误差，实现环境地图的校正，为拣货机器人更加精准的避障和导航提供基础；若回环检测失败，上位机继续对回环检测失败的帧进行回环检测；
S3、采用贝叶斯滤波算法计算货架的位置坐标；在构建环境地图的过程中，上位机采用SSD算法检测货架；检测出货架后，结合单目相机与激光雷达的相对安装位置，利用贝叶斯滤波算法计算货架的位置坐标，贝叶斯滤波算法满足公式(4)：
xt～p(xt|w1：t，v1：t) (4)
式(4)中，xt为货架在t时刻的位置坐标；w1：t表示从初始状态到t时刻货架相对于激光雷达的位置坐标；v1：t表示从初始状态到t时刻货架相对于单目相机的位置坐标；p(xt|w1：t，v1：t)为用货架相对于激光雷达以及单目相机的位置表示货架的位置坐标；
二、采用全局最优路径规划和局部匀速路径规划相结合的方式进行路径规划；利用融合A*算法和DWA算法进行全局最优路径规划，采用匀速直线行进的方式进行局部匀速路径规划；
三、基于超声波传感器的实时动态避障，包括非拣货避障和拣货避障，保证机器人不会因避障绕行而错捡漏捡；
四、基于单目相机的目标识别，包括图像标注和数据集的训练。
2.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，对机器人从起始位置运动至目标货架起点之间、从上一目标货架终点运动至下一目标货架起点之间以及机器人从拣货完成位置运动至中转箱之间的路径进行全局最优路径规划，对机器人从目标货架起点至该目标货架终点之间的路径进行局部匀速路径规划。
3.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，步骤四中图像标注的过程是：先对每种商品选取相同数量的图像进行人工标注，为系统提供初始训练数据集；
然后采用流体标注对所有商品剩余的图像进行自动标注，使用Q-learning线程计算流体标注图像边界两侧的像素值，并对两侧的像素值之差进行评价，计算划分收益并设定收益阈值，以设定的收益阈值为评价标准，选出标注合格的图像；人工再次对完成自动标注的图像进行复筛，完成所有图像的标注，得到标注合格的图像，所有标注合格的图像组成数据集；
采用分布式机器学习系统SPARK，通过YOLO自带的darknet脚本对数据集进行训练；利用YOLO V3线程进行目标检测，并采用ResNet-101对YOLO V3线程的识别结果进行优化。
4.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，非拣货避障的具体过程为：(1)机器人从起始位置运动至目标货架起点以及从上一目标货架终点运动至下一目标货架起点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按全局最优路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，机器人报障；若正后端不存在障碍物，则机器人后退一段距离；机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物；若前端右侧不存在障碍物，机器人向右侧绕行，进行避障，然后沿全局最优路径继续运动，继续执行(1)；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；
拣货避障：(1)机器人从目标货架起点运动到该目标货架终点的过程中，如果机器人正前端的超声波传感器检测到有障碍物，机器人立即停止运动，等待障碍物消除；(2)一段时间后，机器人正前端的超声波传感器再次检测障碍物是否消除，若障碍物消除，机器人则按预定的路径继续前进；若障碍物仍存在，机器人正后端的超声波传感器检测是否有障碍物；(3)若正后端存在障碍物，则机器人报障；若正后端不存在障碍物，则机器人后退一段距离；然后机器人前端左侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向左侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端左侧存在障碍物，则机器人前端右侧的超声波传感器检测是否存在障碍物，若不存在障碍物，机器人向右侧绕行，进行避障，然后行进至下一目标货架进行拣货，继续执行(1)，表示该目标货架拣货失败；若前端右侧存在障碍物，则机器人继续执行(3)，直至机器人正后端出现障碍物，机器人报障；当剩余目标货架都检完后，机器人判断商品目录是否都检到，如果未捡完所有目标商品则机器人返回拣货失败的目标货架，对该目标货架进行重新拣货。
5.根据权利要求1所述的用于商场超市拣货机器人的综合控制方法，其特征在于，该方法还包括基于ROS机器人操作系统的实时通信，即机器人控制系统的通信机制；
机器人启动，使用激光雷达和单目相机构建环境地图，上位机计算所有货架的坐标，机器人获取商品目录开始拣货；根据所有货架的坐标预估目标货架的位置并读取目标货架的起点与终点，根据目标货架的起点与终点计算机器人的起点与终点并进行局部匀速路径规划，使机器人到达初始目标货架起点；机器人沿着目标货架匀速运动，单目相机进行目标识别；
当该目标货架上不存在商品目录中的目标商品时，机器人继续运动；当存在目标商品时，机器人检测目标商品是否在视野正中，如果不在视野正中则继续运动，如果在视野正中机器人停止运动，机器人的机械臂开始拣货；拣货成功后从商品目录中剔除已拣商品，拣货不成功则机器人后退一定距离，重新拣货；
机器人在运动过程中依靠超声波传感器检测是否存在障碍物，若前进方向不存在障碍物则继续运动；若前进方向存在障碍物，机器人停止运动等待障碍物消除，一段时间后再次检测前进方向是否存在障碍物；若不存在，机器人继续运动；若存在则判断机器人目前是否正在进行拣货，并启动相应的避障措施；直到机器人完成商品目录中所有商品的拣货。
CN201911153026.9A 2019-11-22 2019-11-22 一种用于商场超市拣货机器人的综合控制方法 Active CN110716559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911153026.9A CN110716559B (zh) 2019-11-22 2019-11-22 一种用于商场超市拣货机器人的综合控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911153026.9A CN110716559B (zh) 2019-11-22 2019-11-22 一种用于商场超市拣货机器人的综合控制方法

Publications (2)

Publication Number Publication Date
CN110716559A CN110716559A (zh) 2020-01-21
CN110716559B true CN110716559B (zh) 2022-07-29

Family

ID=69215498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911153026.9A Active CN110716559B (zh) 2019-11-22 2019-11-22 一种用于商场超市拣货机器人的综合控制方法

Country Status (1)

Country Link
CN (1) CN110716559B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112161624A (zh) * 2020-09-11 2021-01-01 上海高仙自动化科技发展有限公司 标记方法、标记装置、智能机器人及可读存储介质
CN112241171A (zh) * 2020-10-09 2021-01-19 国网江西省电力有限公司检修分公司 一种可绕障碍的轮式机器人直线轨迹跟踪方法
CN112904855B (zh) * 2021-01-19 2022-08-16 四川阿泰因机器人智能装备有限公司 基于改进动态窗口的跟随机器人局部路径规划方法
CN114227683B (zh) * 2021-12-23 2024-02-09 江苏木盟智能科技有限公司 机器人控制方法、系统、终端设备和存储介质
CN116414118A (zh) * 2021-12-31 2023-07-11 追觅创新科技(苏州)有限公司 一种基于障碍标记的路径规划方法、系统及自移动机器人
CN114723154B (zh) * 2022-04-18 2024-05-28 淮阴工学院 一种智慧超市

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634267A (zh) * 2017-10-09 2019-04-16 北京瑞悟科技有限公司 一种用于商场超市智能拣货送货机器人
CN110465928A (zh) * 2019-08-23 2019-11-19 河北工业大学 一种仓储商品取放移动平台及该移动平台的路径规划方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634267A (zh) * 2017-10-09 2019-04-16 北京瑞悟科技有限公司 一种用于商场超市智能拣货送货机器人
CN110465928A (zh) * 2019-08-23 2019-11-19 河北工业大学 一种仓储商品取放移动平台及该移动平台的路径规划方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Context-Aware Route Planning for Automated Warehouses;Jakub Hvězda等;《2018 21st International Conference on Intelligent Transportation Systems (ITSC)》;20181210;第2955-2960页 *
基于单目天花板视觉的扫地机器人定位算法设计及实现;王晓彤等;《微电子学与计算机》;20180305(第03期);全文 *
电商仓库拣货机器人路径规划与实现;唐淑华等;《物流技术》;20180825(第08期);全文 *
移动机器人目标路径规划的仿真研究;陈至坤等;《计算机仿真》;20160515(第05期);全文 *

Also Published As

Publication number Publication date
CN110716559A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110716559B (zh) 一种用于商场超市拣货机器人的综合控制方法
CN115699098B (zh) 使用比例图和三维模型的基于机器学习的对象标识
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US11727593B1 (en) Automated data capture
US11204247B2 (en) Method for updating a map and mobile robot
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
Barnes et al. Driven to distraction: Self-supervised distractor learning for robust monocular visual odometry in urban environments
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
Luber et al. People tracking in rgb-d data with on-line boosted target models
US20200116501A1 (en) Map creation method for mobile robot and path planning method based on the map
Azzam et al. Feature-based visual simultaneous localization and mapping: A survey
WO2024138851A1 (zh) 基于深度学习感知的多层级语义地图构建方法和装置
CN106379684A (zh) 一种潜入式agv对接方法及系统以及潜入式agv
CN112486171A (zh) 一种基于视觉的机器人避障方法
WO2019092439A1 (en) Detecting static parts of a scene
EP2671384A2 (en) Mobile camera localization using depth maps
Alcantarilla et al. How to localize humanoids with a single camera?
WO2019113859A1 (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
CN116007607A (zh) 一种多源语义感知下的室内动态slam方法
Ma et al. Semantic geometric fusion multi-object tracking and lidar odometry in dynamic environment
JP7273696B2 (ja) 位置推定装置及びシステム
CN111780744A (zh) 移动机器人混合导航方法、设备及存储装置
Maier et al. Appearance-based traversability classification in monocular images using iterative ground plane estimation
CN116766191A (zh) 机器人运动控制方法、装置、计算设备和存储介质
Chen et al. Multiple-object tracking based on monocular camera and 3-D lidar fusion for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant