[go: up one dir, main page]

CN113128501B - 取货机器人、取货方法、计算机可读存储介质 - Google Patents

取货机器人、取货方法、计算机可读存储介质 Download PDF

Info

Publication number
CN113128501B
CN113128501B CN202110430586.5A CN202110430586A CN113128501B CN 113128501 B CN113128501 B CN 113128501B CN 202110430586 A CN202110430586 A CN 202110430586A CN 113128501 B CN113128501 B CN 113128501B
Authority
CN
China
Prior art keywords
identifier
slot
goods
target
cargo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110430586.5A
Other languages
English (en)
Other versions
CN113128501A (zh
Inventor
王迎春
陈超
郭晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jizhijia Technology Co Ltd
Original Assignee
Beijing Jizhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jizhijia Technology Co Ltd filed Critical Beijing Jizhijia Technology Co Ltd
Priority to CN202110430586.5A priority Critical patent/CN113128501B/zh
Publication of CN113128501A publication Critical patent/CN113128501A/zh
Application granted granted Critical
Publication of CN113128501B publication Critical patent/CN113128501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31028—Selecting workpieces from one or more containers by robot with vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种取货机器人、取货方法和计算机可读存储介质，其中，首先，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；之后，在基于目标图像中的槽位标识符确定当前槽位为存放待取货物的目标槽位时，从目标图像中筛选货物标识符；并在筛选得到货物标识符时，基于货物标识符确定待取货物在目标槽位中的位置信息；最后，基于上述位置信息从目标槽位中提取待取货物。上述技术方案利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。

Description

取货机器人、取货方法、计算机可读存储介质
技术领域
本申请涉及图像处理和计算机软件领域，具体而言，涉及一种取货机器人、取货方法和计算机可读存储介质。
背景技术
随着购物的网络化，对物流业的处理速度提出了更高的要求。从货仓中取出需要的货物是物流业中的一个环节，该环节中的人工取货逐渐被机器人取货替代。
机器人取货的操作中，机器人需要行驶到所取货物存放的地方，并且能够准确的提取到货物，现在有技术中由于定位缺陷，导致取货失败率较高，降低了取货效率以及物流行业整体的物流效率。
发明内容
有鉴于此，本申请至少提供一种取货机器人、取货方法和计算机可读存储介质。
第一方面，本申请提供了一种取货机器人，包括：摄像头、处理器、取货部件；所述处理器包括图像处理模块和位置确定模块；
所述摄像头设置为，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
所述图像处理模块设置为，在基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位时，从所述目标图像中筛选货物标识符；
所述位置确定模块设置为，在筛选得到所述货物标识符时，基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
所述取货部件设置为，基于所述位置信息，从所述目标槽位中提取所述待取货物。
在一种可能的实施方式中，所述图像处理模块还设置为，
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
在一种可能的实施方式中，所述槽位标识符为二维码；
所述图像处理模块还设置为：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
在一种可能的实施方式中，所述图像处理模块在从所述目标图像中筛选货物标识符时，具体设置为：
将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域；
检测所述兴趣区域中是否包括具有预设形状的标识符；
若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
在一种可能的实施方式中，所述位置确定模块在基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息时，具体设置为：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
在一种可能的实施方式中，所述图像处理模块还设置为，
若未筛选得到所述货物标识符，则确定所述目标槽位中不存在所述待取货物。
第二方面，本申请提供了一种取货方法，包括：
获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
若基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位，则从所述目标图像中筛选货物标识符；
若筛选得到所述货物标识符，则基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
基于所述位置信息，从所述目标槽位中提取所述待取货物。
在一种可能的实施方式中，在获取到所述目标图像之后，所述取货方法还包括：
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
在一种可能的实施方式中，所述槽位标识符为二维码；
所述取货方法还包括确定所述槽位标识符对应的槽位是否为存放所述待取货物的目标槽位的步骤：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
在一种可能的实施方式中，所述基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息，包括：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
第三方面，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述取货方法的步骤。
本申请提供了一种取货机器人、取货方法和计算机可读存储介质，其中，首先，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；之后，在基于目标图像中的槽位标识符确定当前槽位为存放待取货物的目标槽位时，从目标图像中筛选货物标识符；并在筛选得到货物标识符时，基于货物标识符确定待取货物在目标槽位中的位置信息；最后，基于上述位置信息从目标槽位中提取待取货物。上述技术方案利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种取货机器人的结构示意图；
图2示出了本申请实施例中的目标图像的示意图；
图3示出了本申请实施例提供的一种取货方法的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
目前物流业中利用机器人从货仓中取货的过程中，由于定位上的缺陷，存在取货成功率低的缺陷，针对该确定本申请提供了一种取货机器人、取货方法和计算机可读存储介质，本申请利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。
具体地，本申请实施例提供了一种取货机器人，如图1所示，包括：摄像头110、处理器120、取货部件130；所述处理器120包括图像处理模块1201和位置确定模块1202。
所述摄像头110设置为，获取取货部件130运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符。
所述图像处理模块1201设置为，在基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位时，从所述目标图像中筛选货物标识符。
所述位置确定模块1202设置为，在筛选得到所述货物标识符时，基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息。
所述取货部件130设置为，基于所述位置信息，从所述目标槽位中提取所述待取货物。
摄像头每经过预设的时间间隔就拍摄一个图像，上述的目标图像为取货机器人或获取机器人的取货部件运行到存储货物的槽位处拍摄的图像，该图像中包括槽位对应的槽位标识符。
上述槽位用于存储货物，可以设置在每个槽位的下方，例如槽位的下方横梁，该槽位标识符用于标识对应的槽位，例如可以标识槽位的ID号。在具体实施时，上述槽位标识符可以设置为二维码等。
取货机器人的摄像头110获取到包括槽位标识符的目标图像之后，以及图像处理模块1201在从目标图像中筛选货物标识符之前，取货机器人需要利用图像处理模块1201从目标图像中提取槽位标识符，并对提取到的槽位标识符进行解析，得到槽位的标识信息。之后，图像处理模块1201需要获取待取货物所存放的目标槽位的标识信息，并判断目标槽位的标识信息和目标图像中的槽位的标识信息是否相同，若相同，则表示目标图像中的槽位即为待取货物所存放的目标槽位，否则，目标图像中的槽位并非待取货物所存放的目标槽位，机器人需要继续行驶。
在取货机器人的图像处理模块1201确定目标图像中的槽位为存放待取货物的目标槽位时，才执行从所述目标图像中筛选货物标识符的步骤。
图像处理模块1201从目标图像中提取槽位标识符，即图像处理模块1201确定槽位标识符在目标图像中的位置信息。在具体实施时，图像处理模块1201可以利用如下步骤确定槽位标识符在目标图像中的位置信息：
步骤一、对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点。
图像处理模块1201对目标图像进行二值化处理，得到二值化图像。
在得到二值化图像之后，从该二值化图像中提取具有预设灰度值的像素点，即提取用于定位槽位标识符的定位标识符的像素点。如图2所示，在具体实施时，如果槽位标识符的定位标识符为具有一定宽度的黑框21，则，此步骤中图像处理模块1201提取的就是黑色的像素点。
步骤二、基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符。
图像处理模块1201在提取到定位标识符的像素点之后，拟合直线，得到具有一定宽度的黑框，该步骤得到的黑框为候选定位标识符，需要进行进一步的验证才能确定该黑框是否为用于定位槽位标识符的目标定位标识符。拟合的直线的交点即为定位标识符的角点。
步骤三、若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符。
图像处理模块1201在拟合得到的候选定位标识符之后，利用预设条件验证该候选定位标识符是否为用于定位槽位标识符的目标定位标识符。例如，验证候选定位标识符的线宽是否为预设的宽度、或验证候选定位标识符是否具有预设形状等。
在候选定位标识符符合预设条件时，确定该候选定位标识符为用于定位槽位标识符的目标定位标识符。
步骤四、基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
图像处理模块1201在确定了目标定位标识符之后，基于该目标定位标识符与槽位标识符预设的相对位置关系，实现对槽位标识符的定位，即确定槽位标识符在目标图像中的位置信息。
确定了槽位标识符在目标图像中的位置信息，就能够对槽位标识符进行解析，以确定目标图像中的当前槽位是否为待取货物所存放的目标槽位。
图像处理模块1201在确定前槽位为存放待取货物的目标槽位之后，需要从目标图像中筛选货物标识符，以基于该货物标识符用于确定待取货物在目标槽位中的位置信息。
在具体实施时，图像处理模块1201可以利用如下步骤从目标图像中筛选货物标识符：
步骤一、将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域。
在具体实施时，货物标识符是设置在待取货物上的，货物标识符的位置高于槽位标识符，因此此步骤将槽位标识符上方的图像区域作为兴趣区域来筛选货物标识符。同时在槽位标识符计算过程中可以得到大小，根据预设信息，从而确定货物标识符的大小。
步骤二、检测所述兴趣区域中是否包括具有预设形状的标识符。
在具体实施时，如图2所示，货物标识符可以是具有预设形状的标识符22，因此此步骤检测兴趣区域中是否包括具有预设形状的标识符。上述预设形状可以是圆形、三角形、方形等，本申请对货物标识符的形状不进行限定。
当然，货物标识符也可以是具有预设的颜色的标识符，也可以是二维码等。本申请对货物标识符的具体形态不进行限定，只需要在筛选货物标识符的时候基于货物标识符实际上的具体形态进行筛选即可。
步骤三、若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
在兴趣区域内具有预设形状的标识符时，图像处理模块1201即将该标识符作为所述货物标识符。
由于货物标识符是设置在货物上的，因此如果图像处理模块1201未筛选得到所述货物标识符，则表明目标槽位中没有存储待取货物，此次取货失败。
在图像处理模块1201筛选到货物标识符之后，位置确定模块1202可以利用如下步骤确定所述待取货物在所述目标槽位中的位置信息：
步骤一、确定所述货物标识符在所述目标图像中的中心位置信息。
位置确定模块1202利用图像解析等技术确定货物标识符的中心在所述目标图像中位置信息。
步骤二、基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
货物标识符预先设置在货物上的预设位置处，因此，货物标识符与所述待取货物的相对位置信息是已知的。基于货物标识在目标图像中的中心位置信息和货物标识符与所述待取货物的相对位置信息，能够确定待取货物在目标图像中的位置信息，之后，基于图像坐标系与地理坐标系的变换关系就能够确定待取货物在目标槽位中的位置信息。
在具体实施时，货物标识符还可以设置在货物的任何位置处，此时，上货物标识符可以是二维码，该二维码中存储有货物标识符与所述待取货物的相对位置信息。位置确定模块1202通过对货物标识符的解码处理，能够获取到货物标识符与所述待取货物的相对位置信息。
在位置确定模块1202确定了待取货物在所述目标槽位中的位置信息之后，取货机器人可以利用取货部件设基于所述位置信息，从所述目标槽位中提取所述待取货物。
上述取货部件130可以是设置在获取机器人上的伸缩叉。
上述实施例利用槽位标识符和货物标识符能够准确的确定待取货物所存放的目标槽位，以及待取货物在目标槽位中的位置信息，基于确定的该位置信息能够准确地提取到待取货物，有效提高了取货的成功率，同时有利于提高物流业的物流效率。
对应于上述取货机器人，本申请实施例还提供了一种取货方法，该方法应用于上述取货机器人上，并且能够达到相同或相似的有益效果，因此对于重复的部分不再赘述。
具体地，如图3所示，本申请的取货方法可以包括如下步骤：
S310、获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符；
S320、若基于所述槽位标识符确定当前槽位为存放待取货物的目标槽位，则从所述目标图像中筛选货物标识符；
S330、若筛选得到所述货物标识符，则基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息；
S340、基于所述位置信息，从所述目标槽位中提取所述待取货物。
在一些实施例中，在获取到所述目标图像之后，所述取货方法还包括：
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
在一些实施例中，所述槽位标识符为二维码；
所述取货方法还包括确定所述槽位标识符对应的槽位是否为存放所述待取货物的目标槽位的步骤：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
在一些实施例中，所述基于所述货物标识符确定所述待取货物在所述目标槽位中的位置信息，包括：
确定所述货物标识符在所述目标图像中的中心位置信息；
基于所述中心位置信息以及所述货物标识符与所述待取货物的相对位置信息，确定所述待取货物在所述目标槽位中的位置信息。
本申请实施例还提供的一种对应于上述方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，本文不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种取货机器人，其特征在于，包括：摄像头、处理器、取货部件；所述处理器包括图像处理模块和位置确定模块；
所述摄像头设置为，获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符和待取货物对应的货物标识符；
所述图像处理模块设置为，从所述目标图像中筛选所述槽位标识符和货物标识符；
所述位置确定模块设置为，在筛选得到所述槽位标识符和货物标识符时，确定所述槽位标识符和货物标识符在所述目标图像中的中心位置信息；基于所述中心位置信息以及所述槽位标识符和货物标识符与所述待取货物的相对位置信息，确定所述待取货物在目标槽位中的位置信息；
所述取货部件设置为，基于所述位置信息，从所述目标槽位中提取所述待取货物；所述取货部件包括设置在取货机器人上的伸缩叉；
所述图像处理模块在从所述目标图像中筛选货物标识符时，具体设置为：
将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域；
检测所述兴趣区域中是否包括具有预设形状的标识符；
若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
2.根据权利要求1所述的取货机器人，其特征在于，所述图像处理模块还设置为，
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
3.根据权利要求2所述的取货机器人，其特征在于，所述槽位标识符为二维码；
所述图像处理模块还设置为：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
4.根据权利要求1所述的取货机器人，其特征在于，所述图像处理模块还设置为，
若未筛选得到所述货物标识符，则确定所述目标槽位中不存在所述待取货物。
5.一种取货方法，其特征在于，包括：
获取取货部件运行到货物所存放的每个槽位处拍摄到的目标图像；所述目标图像中包括当前槽位对应的槽位标识符和待取货物对应的货物标识符；所述取货部件包括设置在取货机器人上的伸缩叉；
从所述目标图像中筛选所述槽位标识符和货物标识符；
若筛选得到所述槽位标识符和货物标识符，则确定所述槽位标识符和货物标识符在所述目标图像中的中心位置信息；基于所述中心位置信息以及所述槽位标识符和货物标识符与所述待取货物的相对位置信息，确定所述待取货物在目标槽位中的位置信息；
基于所述位置信息，从所述目标槽位中提取所述待取货物；
从所述目标图像中筛选货物标识符，包括：
将所述目标图像中的位于所述槽位标识符上方的图像区域作为兴趣区域；
检测所述兴趣区域中是否包括具有预设形状的标识符；
若所述兴趣区域中包括具有预设形状的标识符，则将该标识符作为所述货物标识符。
6.根据权利要求5所述的取货方法，其特征在于，在获取到所述目标图像之后，所述取货方法还包括：
对所述目标图像进行二值化处理，并从二值化处理得到的图像中提取具有预设灰度值的像素点；
基于提取得到的所述像素点，拟合得到所述槽位标识符的候选定位标识符；
若所述候选定位标识符符合预设条件，则确定所述候选定位标识符为所述槽位标识符的目标定位标识符；
基于所述目标定位标识符，确定所述槽位标识符在所述目标图像中的位置信息。
7.根据权利要求6所述的取货方法，其特征在于，所述槽位标识符为二维码；
所述取货方法还包括确定所述槽位标识符对应的槽位是否为存放所述待取货物的目标槽位的步骤：
基于所述二维码在所述目标图像中的位置信息，对所述二维码进行解码处理，得到所述二维码对应的当前槽位的标识信息；
若得到的所述标识信息与所述待取货物所存放的目标槽位的标识信息相同，则确定所述二维码对应的当前槽位为所述目标槽位。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求5~7任一所述的取货方法。
CN202110430586.5A 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质 Active CN113128501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110430586.5A CN113128501B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911368940.5A CN113052517B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
CN202110430586.5A CN113128501B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911368940.5A Division CN113052517B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113128501A CN113128501A (zh) 2021-07-16
CN113128501B true CN113128501B (zh) 2024-11-19

Family

ID=76505548

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202411911996.1A Pending CN119648092A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
CN201911368940.5A Active CN113052517B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
CN202110430586.5A Active CN113128501B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202411911996.1A Pending CN119648092A (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质
CN201911368940.5A Active CN113052517B (zh) 2019-12-26 2019-12-26 取货机器人、取货方法、计算机可读存储介质

Country Status (7)

Country Link
US (1) US20220315337A1 (zh)
EP (1) EP4002243A4 (zh)
JP (1) JP7392116B2 (zh)
KR (1) KR102751589B1 (zh)
CN (3) CN119648092A (zh)
AU (1) AU2020414142B2 (zh)
WO (1) WO2021129608A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945063A (zh) * 2021-10-15 2022-01-18 福建瑞雪制冷设备有限公司 一种基于物联网的冷库控制方法、系统及其存储介质
CN116902467B (zh) * 2022-12-14 2025-07-08 北京极智嘉科技股份有限公司 一种货箱定位方法、装置、设备和存储介质
CN117088023B (zh) * 2023-07-26 2024-09-13 中核核电运行管理有限公司 货物搬运方法及相关装置
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备
CN119304891B (zh) * 2024-12-13 2025-05-16 科大讯飞(苏州)科技有限公司 机器人控制方法及相关装置、机器人和存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056313A1 (en) * 2000-05-08 2001-12-27 Osborne William Joseph Object locating and retrieving system utilizing labels
KR100339691B1 (ko) * 2001-11-03 2002-06-07 한탁돈 코드인식을 위한 장치 및 그 방법
JP2004196439A (ja) * 2002-12-16 2004-07-15 Fuji Photo Film Co Ltd 在庫管理システム
JP2005083984A (ja) * 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
US7296747B2 (en) * 2004-04-20 2007-11-20 Michael Rohs Visual code system for camera-equipped mobile devices and applications thereof
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2009015684A (ja) * 2007-07-06 2009-01-22 Komatsu Utility Co Ltd 配車システム及び方法
CN104008361B (zh) * 2014-06-16 2017-05-31 北京握奇智能科技有限公司 一种二维码扫描定位提示方法及系统
US9120622B1 (en) * 2015-04-16 2015-09-01 inVia Robotics, LLC Autonomous order fulfillment and inventory control robots
JP6722438B2 (ja) * 2015-11-24 2020-07-15 ワム・システム・デザイン株式会社 情報処理装置、情報処理方法、及びプログラム
US9908702B2 (en) * 2016-02-05 2018-03-06 Invia Robotics, Inc. Robotic navigation and mapping
TWI595426B (zh) * 2016-03-24 2017-08-11 佳世達科技股份有限公司 條碼解碼方法
US10227176B2 (en) * 2016-09-05 2019-03-12 Kabushiki Kaisha Toshiba Picking apparatus
US10625941B2 (en) * 2017-01-30 2020-04-21 Walmart Apollo, Llc Distributed autonomous robot systems and methods
US20190220807A1 (en) * 2017-02-10 2019-07-18 Ns Solutions Corporation System, information processing device, information processing method, program, and recording medium
CA3071332A1 (en) * 2017-07-25 2019-01-31 Mbl Limited Systems and methods for operations a robotic system and executing robotic interactions
CN108182417B (zh) * 2017-12-29 2020-07-10 广东安居宝数码科技股份有限公司 出货检测方法、装置、计算机设备及自动售货机
CN110097304B (zh) * 2018-01-30 2024-01-16 北京京东乾石科技有限公司 信息生成方法和装置
US10678228B2 (en) * 2018-04-04 2020-06-09 Invia Robotics, Inc. Autonomous robots performing concerted operation based on shared sensory access and holistic flow of information
US11427404B2 (en) * 2018-04-10 2022-08-30 Fetch Robotics, Inc. System and method for robot-assisted, cart-based workflows
CN109409218A (zh) * 2018-09-18 2019-03-01 北京无线体育俱乐部有限公司 提示方法、装置及系统
CN109344928B (zh) * 2018-09-19 2020-05-15 中国科学院信息工程研究所 一种大型仓库中基于无人机的货物精确盘点方法及系统
CN109636269B (zh) * 2018-11-14 2022-08-23 深圳市海柔创新科技有限公司 货物处理方法、装置、存储介质和计算机设备
CN110148257A (zh) * 2019-04-01 2019-08-20 厦门鲜喵网络科技有限公司 一种取货方法及系统

Also Published As

Publication number Publication date
CN113128501A (zh) 2021-07-16
US20220315337A1 (en) 2022-10-06
CN119648092A (zh) 2025-03-18
KR20220069929A (ko) 2022-05-27
KR102751589B1 (ko) 2025-01-10
JP7392116B2 (ja) 2023-12-05
CN113052517B (zh) 2025-01-10
JP2022546999A (ja) 2022-11-10
EP4002243A1 (en) 2022-05-25
WO2021129608A1 (zh) 2021-07-01
AU2020414142A1 (en) 2022-03-10
EP4002243A4 (en) 2023-11-22
AU2020414142B2 (en) 2023-07-27
CN113052517A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113128501B (zh) 取货机器人、取货方法、计算机可读存储介质
CN110705405B (zh) 目标标注的方法及装置
US20130279758A1 (en) Method and system for robust tilt adjustment and cropping of license plate images
US8699786B2 (en) 3D model generating apparatus, method and CRM by line pattern imaging
CN110472580B (zh) 基于全景影像的检测车位的方法、装置、存储介质
CN110097542A (zh) 芯片气泡的检测方法、装置及存储介质
JP2007109235A (ja) 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
CN110199317A (zh) 使用手持设备对木板的自动检测、计数和测量
CN110910314A (zh) 一种货架场景图像的拼接方法及装置
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN111178445A (zh) 图像处理方法及装置
CN109919164B (zh) 用户界面对象的识别方法及装置
CN104951440B (zh) 一种图像处理方法及电子设备
CN115115631B (zh) 轮毂缺陷检测方法、装置、设备及计算机可读介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN113033743B (zh) 定位标识、识别定位标识的机器人、定位方法
CN115619739B (zh) 一种基于视频的多图裂缝自动检测方法
JP6055307B2 (ja) 対応点探索装置およびカメラ姿勢推定装置ならびにこれらのプログラム
CN114299109B (zh) 多目标对象轨迹生成方法、系统、电子设备和存储介质
CN116168196A (zh) 目标状态检测方法、装置、计算机设备及存储介质
CN114663885A (zh) 基于卷积神经网络的竖直箱号识别方法、系统、存储介质及计算机设备
CN114548136B (zh) 一种反光二维码图片的解析方法、装置、设备和介质
CN116052003B (zh) 一种天线角度信息的测量方法、装置及相关设备
US20170200383A1 (en) Automated review of forms through augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant