WO2024242249A1 - Vps integrated mobile robot unit, mobile robot system, and method for controlling vps integrated mobile robot unit - Google Patents
Vps integrated mobile robot unit, mobile robot system, and method for controlling vps integrated mobile robot unit Download PDFInfo
- Publication number
- WO2024242249A1 WO2024242249A1 PCT/KR2023/017297 KR2023017297W WO2024242249A1 WO 2024242249 A1 WO2024242249 A1 WO 2024242249A1 KR 2023017297 W KR2023017297 W KR 2023017297W WO 2024242249 A1 WO2024242249 A1 WO 2024242249A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- map
- vps
- mobile robot
- driving
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005259 measurement Methods 0.000 claims abstract description 103
- 238000005070 sampling Methods 0.000 claims abstract description 58
- 238000003860 storage Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000012790 confirmation Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 16
- 238000002360 preparation method Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000010977 unit operation Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
Definitions
- the present invention relates to a mobile robot unit, a mobile robot system and a control method thereof, and more particularly, to a mobile robot system, a mobile robot and a control method for achieving accurate position estimation in the case where marker or automation information is excluded.
- Robots are expanding their scope of application in various industrial fields and daily life. From robot vacuum cleaners used in the home to manufacturing robots used in welding and press processes in automobile factories, various robots used in logistics systems such as AGVs and AMRs are being researched, produced, and used in various ways.
- AGVs or AMRs especially AGVs, follow a floor line as a guide line within the driving environment or provide passive or active markers such as optical identification codes such as QR codes or additional external sensors to drive.
- passive or active markers such as optical identification codes such as QR codes or additional external sensors to drive.
- the present invention aims to provide a VPS integrated mobile robot unit, a control method and system thereof, which enables driving control through more accurate position estimation when the conventional marker-based position recognition or odometry-based position information acquisition structure is excluded during driving or when the odometry information is unreliable due to an error in the odometry information or damage to an encoder, etc.
- the present invention provides a mobile robot unit (20, hereinafter referred to as a mobile robot unit) including a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to a kinematic driving type of a unit driving unit (28) based on the integrated map and a VPS position information signal calculated from surrounding environment image information.
- a mobile robot unit including a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to a kinematic driving type of a unit driving unit (28) based on the integrated map and a VPS position information signal calculated from surrounding environment image information.
- the unit control unit (22) may include: a driving control module (221) that applies a driving control signal to the unit driving unit (28) using set destination information, a position estimation module (223) that extracts distance measurement features from the surrounding environment distance measurement information while driving to the destination, compares and matches the distance measurement features and the VPS location information signal using the integrated map to calculate a current estimated location, and a position confirmation module (225) that confirms the location calculated by the position estimation module (223).
- the position estimation module (223) may include: a data feature extraction unit (2231) that extracts distance measurement measurements from at least the distance measurement information during driving to the destination, a feature comparison and matching unit (2233) that compares and matches the distance measurement features extracted during driving to the destination, and an estimated position calculation unit (2235) that calculates the orientation and position of the robot using the distance measurement feature information compared and matched by the feature comparison and matching unit (2233).
- the estimated position calculation unit (2235) may also calculate orientation information and position information using the distance measurement feature information compared and matched by the feature comparison and matching unit (2233) and the VPS position information signal.
- the update cycle of the VPS position information signal used in the estimated position calculation unit (2235) may be longer than the update cycle of the distance measurement feature information.
- the surrounding environment distance measurement information and the surrounding environment image information are detected by the unit detection unit (21), and the unit detection unit (21) may include: an image sensor (211) that detects the surrounding environment image information, and a distance measurement sensor (213) that detects the surrounding environment distance measurement information.
- a unit communication unit (26) may be further provided that transmits surrounding environment image information detected by the image sensor (211) and receives the VPS location information signal.
- the sampling range may be at least one of a circular range, an elliptical range and an arc range when projected onto the ground.
- the integrated map may be a map that is produced by comparing and matching grid map features extracted from the grid map and VPS map features extracted from the VPS map using an ICP algorithm.
- a drone mapping unit (20a, 20a') that acquires surrounding environment information for forming the grid map and the VPS map may be further provided.
- the present invention may include a provision step (S10) of providing a mobile robot unit (20) including a unit storage unit (23) storing an integrated map linking a grid map and a VPS map, and a unit control unit (22) executing position estimation and driving control, at least a preparation step (S20) of confirming driving information for driving to a destination and a kinematic driving type of a unit driving unit (28), and a driving control step (S30) of executing driving control to a destination, and executing precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map, and a VPS position information signal calculated from surrounding environment image information.
- the preparation step (S20) may include: a type confirmation step (S21) for confirming a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28), and a driving information confirmation step (S23) including at least destination information.
- the type confirmation step (S21) may include: a unit type check step (S211) for confirming the kinematic drive type of the unit drive unit (28), and a sampling range selection step (S213) for selecting a sampling range corresponding to the kinematic drive type of the unit drive unit (28) confirmed in the unit type check step (S211).
- a map preparation step (S25) of preparing a grid map and a VPS map and comparing and matching the grid map and the VPS map to prepare an integrated map may be further included.
- the map preparation step (S25) may include: a grid map and VPS map confirmation step (S251) of confirming a grid map and a VPS map for a surrounding environment in which the mobile robot unit (20) is to drive, a map feature extraction step (S253) of extracting features from the grid map and the VPS map, a map feature matching step (S255) of comparing and matching the map features extracted in the map feature extraction step (S253), and an integrated map calculation step (S257) of calculating an integrated map by linking the grid map and the VPS map based on the matching features matched in the map feature matching step (S255).
- the driving control step (S30) may include: an initial VPS position information confirmation step (S31) of receiving the VPS position information at the start of driving and confirming the current position information, a driving drive step (S33) of executing a driving drive control so that the mobile robot unit (20) drives to a destination, a driving position estimation step (S35) of executing a precise position estimation by comparing and matching feature information using the surrounding environment distance measurement information executed through the sampling range based on the integrated map and the VPS position information signal, based on the driving drive, simultaneously with the execution of the driving drive, and executing a precise position estimation, and an arrival confirmation step (S35) of confirming whether the mobile robot unit (20) has reached the destination.
- the driving position estimation step (S35) may include: a sampling range scan step (S351) of executing distance measurement with the sampling range through the distance measurement sensor (213) of the unit detection unit (21) to derive surrounding environment distance measurement information; a driving matching step (S353) of extracting feature information using the integrated map and the surrounding environment distance measurement information and executing matching while driving using the feature information derived during driving to derive current location information; a VPS location information confirmation step (S355) of confirming updated VPS location information; a precision matching step (S357) of confirming the precision of the current location information using the current location information derived in the driving matching step (S353) and the VPS location information; and a precision position update step (S359) of updating the current location information with new driving location information of the mobile robot unit (20) if the precision of the current location information is confirmed in the precision matching step (S357).
- a sampling range scan step (S351) of executing distance measurement with the sampling range through the distance measurement sensor (213) of the unit detection unit (21) to derive surrounding
- the update cycle of the VPS position information signal used in the estimated position calculation unit (2235) may be longer than the update cycle of the distance measurement feature information.
- the sampling range may be at least one of a circular range, an elliptical range and an arc range when projected onto the ground.
- the sampling range may be formed and selected to reflect the steering angle of the mobile robot unit (20).
- the present invention provides a mobile robot system (1) including a plurality of mobile robot units (20), and a mobile robot managing server (10) which provides a driving path including a destination to which the mobile robot units (20) drive and manages the driving, and the mobile robot unit (20) which performs data transmission and reception including driving information from the mobile robot managing server (10), the mobile robot unit (20) including a unit storage unit (23) which stores an integrated map linking a grid map and a VPS map, and a unit control unit (22) which performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map and a VPS position information signal calculated from surrounding environment image information.
- the mobile robot unit (20) including a unit storage unit (23) which stores an integrated map linking a grid map and a VPS map, and a unit control unit (22) which performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kin
- the mobile robot managing server (10) may include: an operation control unit (11) that controls and manages driving along a reference path of the mobile robot unit (20), and a map generation unit (13) that generates the integrated map.
- the map generation unit (13) may include: a VPS map verification unit (131) that verifies a VPS map for the surrounding environment in which the mobile robot unit (20) intends to drive, a grid map verification unit (133) that verifies a grid map for the surrounding environment in which the mobile robot unit (20) intends to drive, and a map integration unit (135) that extracts, compares, and matches map features from the grid map and the VPS map.
- the VPS map verification unit (131) may include: an image verification unit (1311) that verifies an image of a surrounding environment in which the mobile robot unit (20) is to drive, a visual feature extraction unit (1313) that extracts a visual feature from the image, and a VPS map generation unit (1315) that generates a VPS map that links the image of the surrounding environment and the visual feature.
- the map integration unit (135) may include: a map feature extraction unit (1351) that extracts and verifies grid map features and visual map features of the grid map and the VPS map, a map feature matching unit (1353) that compares and matches the grid map features and visual map features using an ICP algorithm, and an integrated map verification unit (1355) that generates an integrated map in which the grid map and the VPS map are linked and integrated based on the matched matching features.
- a map feature extraction unit (1351) that extracts and verifies grid map features and visual map features of the grid map and the VPS map
- a map feature matching unit (1353) that compares and matches the grid map features and visual map features using an ICP algorithm
- an integrated map verification unit (1355) that generates an integrated map in which the grid map and the VPS map are linked and integrated based on the matched matching features.
- the mobile robot system and the mobile robot system control method of the present invention use an integrated map that links a VPS map and a grid map to secure the reliability of position estimation in cases where odometry information cannot be utilized or must be excluded, and utilizes distance measurement information and image information about the surrounding environment to enable more accurate position estimation.
- the mobile robot system and the mobile robot system control method of the present invention use an integrated map that links a VPS map and a grid map to secure the reliability of position estimation in cases where odometry information cannot be utilized or must be excluded, and utilizes distance measurement information and image information about the surrounding environment to enable more accurate position estimation, and at the same time, changes the sampling range according to the driving type reflecting the driving type and/or the steering type by reflecting the kinematic behavior characteristics of the mobile robot unit, thereby enabling more precise positioning information collection for the subsequent estimated position according to the change in time, thereby excluding or minimizing accumulated errors and deriving more accurate position estimation.
- FIG. 1 is a schematic configuration diagram of a VPS integrated mobile robot system according to one embodiment of the present invention.
- FIG. 2 is a schematic configuration diagram of a mobile robot managing server of a VPS integrated mobile robot system according to an embodiment of the present invention.
- FIG. 3 is a schematic diagram of a map generation unit of a mobile robot managing server of a VPS integrated mobile robot system according to an embodiment of the present invention.
- FIG. 4 is a schematic configuration diagram of a VPS map verification unit of a VPS integrated mobile robot system according to an embodiment of the present invention.
- FIG. 5 is a schematic configuration diagram of a map integration unit of a VPS integrated mobile robot system according to an embodiment of the present invention.
- Figure 6 is an exemplary state diagram illustrating distance measurement information forming a grid map.
- Figure 7 is an exemplary state diagram illustrating features extracted from image information detected through an image sensor of a unit detection unit.
- Figure 8 is an example of a VPS map produced by utilizing image information from which features of Figure 7 are extracted.
- Figure 9 is a state diagram in which the outline feature (VOL) is extracted as a VPS map feature of the VPS map of Figure 8.
- Figure 10 is an exemplary state diagram of a state in which an outline is extracted as a grid map feature from the grid map of Figure 6.
- Figure 11 is a state diagram showing a state in which grid map features and VPS map features are compared and aligned and overlapped.
- Figure 12 is an exemplary state diagram of the VPS integrated mobile robot unit of the present invention.
- Fig. 13 is an exemplary configuration diagram of a VPS integrated mobile robot unit of the present invention.
- Figure 14 is a configuration diagram of a position estimation module of the VPS integrated mobile robot unit of the present invention.
- FIGS 15 to 21 are schematic flowcharts of the control process of the VPS integrated mobile robot unit of the present invention.
- Figure 22 is an exemplary state diagram of a sampling range according to the driving type of the VPS integrated mobile robot unit of the present invention.
- FIG. 23 and FIG. 25 are schematic state change diagrams explaining a process of performing position correction according to the sampling range of the VPS integrated mobile robot unit of the present invention.
- Figures 26 to 30 are state diagrams showing examples of changes in sampling ranges considering kinematic behavioral characteristics such as driving type and steering type of the VPS integrated mobile robot unit of the present invention.
- Figure 31 is a state change diagram explaining the position estimation control process of the VPS integrated mobile robot unit of the present invention.
- Figure 32 is a configuration state diagram of a VPS integrated mobile robot unit according to another example of the present invention.
- FIG 33 is a block diagram of a VPS integrated mobile robot unit according to another example of the present invention.
- Figure 34 is a configuration state diagram of a VPS integrated mobile robot unit according to another example of the present invention.
- the server may be implemented as a standalone device or as part of a general-purpose processing device in the form of a collection of hardware including a central processing unit, a user I/F, an operating system (not shown), a memory storing various necessary data, an external communication port, a printer I/F, etc., and software that operates the same, which performs various functions required for the present invention described below by executing various software programs and/or command sets stored in a memory section.
- the VPS integrated mobile robot unit (20) is implemented as an autonomous driving robot, and may be configured to be operationally controlled by the mobile robot system (1) to assign driving information and tasks including a driving destination when multiple mobile robot units (20) are driving, and may be configured to be individually controlled by the mobile robot system (1) in the case of an emergency.
- Various configurations are possible, such as:
- the mobile robot system (1) includes one or more mobile robot units (20) and a mobile robot managing server (10), and in some cases, an administrator terminal (30), such as a task manager's computer, may also be included in the overall system.
- an administrator terminal (30) such as a task manager's computer
- Each of the components constituting the mobile robot system (1) can perform mutual communication operations through a communication network and transmit and receive data.
- a communication network or a communication network may include, for example, a cellular communication protocol, for example, at least one of LTE, LTE-A, 5G, WCDMA, CDMA, UMTS, Wibro, and GSM.
- the communication network may be configured regardless of the communication type, such as wired and wireless, and may be implemented as various communication networks, such as a Personal Area Network (PAN), a Local Area Network (LAN), a Metropolitan Area Network (MAN), and a Wide Area Network (WAN).
- PAN Personal Area Network
- LAN Local Area Network
- MAN Metropolitan Area Network
- WAN Wide Area Network
- the communication, communication network or communication network may be the well-known World Wide Web (WWW), and include various communication methods, such as Infrared Data Association (IrDA) or Bluetooth or Bluetooth Lowenergy and RF wireless communication.
- IrDA Infrared Data Association
- Bluetooth Bluetooth Lowenergy and RF wireless communication.
- Fig. 12 illustrates an example of a mobile robot unit (20)
- Fig. 13 illustrates a schematic block diagram of a mobile robot unit (20).
- one or more mobile robot units (20) are provided, and the mobile robot unit (20) autonomously drives to a destination, which will be described later, to perform a predetermined task, thereby enabling stable task performance.
- the mobile robot unit (20) of the present invention includes a unit storage unit (23) and a unit control unit (22).
- the unit storage unit (23) stores an integrated map that links a grid map and a VPS map, and the unit control unit (22) performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map and a VPS position information signal derived from surrounding environment image information.
- the mobile robot unit (20) of the present invention includes a unit detection unit (21), a unit control unit (22), a unit storage unit (23), a unit operation unit (24), a unit input unit (25), a unit communication unit (26), a unit output unit (27), and a unit driving unit (28).
- the unit detection unit (21) is a detection means for acquiring information on the driving status and surrounding environment of the mobile robot unit (20), and the unit detection unit (21) includes an image sensor (211) and a distance measurement sensor (213).
- the image sensor (211) can capture an image of the surroundings while the mobile robot unit (20) is driving and convert and provide image information.
- the distance measurement sensor (213) can be selected in a variety of ways in the range of detecting distance measurement through an ultrasonic sensor, a laser sensor, etc., but in this embodiment, a component that performs a scan detection function, such as a lidar as a laser sensor, is implemented to extract point cloud data of surrounding objects, etc., and detect the presence of obstacles, that is, objects that affect driving operations, such as other mobile robot units that require crossing or objects that can collide, and enable recognition of the current location through comparison with a grid map, etc.
- a component that performs a scan detection function such as a lidar as a laser sensor
- the unit control unit (22) applies a detection operation control signal to the unit detection unit (21) of the mobile robot unit (20), or receives the detected detection information and transmits it to the mobile robot managing server (10), so that the corresponding data can be transmitted and stored in the operation data storage module (17) of the mobile robot managing server (10).
- the driving of the mobile robot unit (20) is structured to perform an independent and individual autonomous driving function under the control of the unit control unit (22), but it is clear from this technology that a case may be taken where partial driving information provision or driving control is controlled by the mobile robot managing server (10).
- the unit storage unit (23) is operated according to the unit storage control signal of the unit control unit (22), and has the function of storing unit pre-data for driving operation or storing image information or detection data in the form of a point cloud detected by the unit detection unit (21), and can perform integrated map storage linked to a grid map and a VPS map.
- the unit operation unit (24) may execute a predetermined operation process according to the unit operation control signal of the unit control unit (22) by utilizing unit dictionary data, etc. stored in the unit storage unit.
- the unit input unit (25) may enable direct data input into the mobile robot unit (20) in addition to input through the terminal (30) of the user or management operator.
- the unit communication unit (26) communicates with the mobile robot managing server (10) through wired or wireless communication, and can receive a motion control signal transmitted from the mobile robot managing server (10) or transmit detection data detected by the unit detection unit (21) of the mobile robot unit (20).
- the unit communication unit (26) in the present embodiment transmits surrounding environment image information detected by the image sensor (211) and can also receive the VPS location information signal described below.
- the VPS location information signal may be directly processed by the unit control unit (22), or in some cases, it may be quickly processed by the mobile robot managing server (10) and then transmitted to the mobile robot unit (20).
- the unit output unit (27) is attached to the mobile robot unit (20) to output signals externally.
- the unit output unit (27) can be implemented with various output elements such as a speaker or display.
- the unit drive unit (28) includes various power generation and power transmission means such as wheels, drive motors, and reducers of the mobile robot unit.
- the unit drive unit (28) takes a differential type drive type, but is not limited thereto. That is, the mobile robot unit (20) of the present embodiment is not limited to a specific drive type, such as a single drive type, a differential type, and a quad type, and can be modified in various ways.
- the unit control unit (22) of the present invention can perform precise position estimation of the current position of the mobile robot unit (20) by comparing and matching feature information using the surrounding environment distance measurement information and the VPS position information signal based on an integrated map that links the grid map and the VPS map stored in the unit storage unit (23).
- the surrounding environment distance measurement information refers to point cloud data on the surrounding environment of the mobile robot unit (20) that is executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28).
- the unit detection unit (21) includes an image sensor (211) and a distance measurement sensor (213).
- the image sensor (211) detects image information of the surrounding environment
- the distance measurement sensor (213) detects distance measurement information of the surrounding environment.
- the grid map is formed through the surrounding environment distance measurement information using point cloud data detected by the distance measurement sensor (213).
- FIG. 7 illustrates a state in which visual feature information acquired from image information, such as vertices or lines, among visual feature information having high importance, has been acquired and confirmed
- FIG. 8 illustrates a VPS map including visual feature information similar to that in FIG. 7, and the VPS location information signal refers to location information that has been confirmed by comparing and matching feature points in acquired surrounding environment image information with visual features on a VPS map (Visual Positioning System map) as a visual map.
- VPS map Visual Positioning System map
- the unit control unit (22) of the present invention uses an integrated map.
- the integrated map is an integrated map derived by linking a grid map and a VPS map, and in one embodiment of the present invention, it may be input and stored in the unit storage unit (23) and used as a reference map when the unit control unit (22) performs location estimation.
- the creation of an integrated map may be executed directly on the mobile robot unit (20), but due to problems of computational load or processing time, the derivation of an integrated map through linking the grid map and the VPS map may be structured to be executed on the mobile robot managing server (10).
- FIGS. 9 and 10 illustrate a case where map features are derived from a VPS map and a grid map, respectively. That is, a VPS map feature indicated by the reference symbol VOL in FIG. 9 can be extracted from a VPS map including a VPS feature, and an outline feature can be extracted as a grid map feature from a grid map as illustrated in FIG. 10.
- outline features such as VPS map features and grid map features are extracted using a Canny edge in this embodiment, but the present invention is not limited thereto.
- an integrated map can be derived in which the two maps are linked and integrated, as in Fig. 11. That is, it is achieved through ICP matching of outline features.
- the integrated map is linked and produced by comparing and matching grid map features extracted from the grid map and VPS map features extracted from the VPS map using the ICP algorithm.
- the unit control unit (22) of the present invention is illustrated in Fig. 13. More specifically, as illustrated in Fig. 13, the unit control unit (22) includes a driving control module (221), a position estimation module (223), and a position confirmation module (225).
- the driving control module (221) applies a driving control signal to the unit driving unit (28) using the set destination information.
- the location estimation module (223) extracts distance measurement features from the surrounding environment distance measurement information during the process of driving to the destination, and compares and matches the distance measurement features and VPS location information signals using an integrated map to calculate the current estimated location.
- the location confirmation module (225) confirms the location calculated by the location estimation module (223). That is, a region that can move at each time period can be demarcated through the unit driving unit. If it is determined that newly updated location information has made an unrealistic location movement, the location confirmation module (225) may execute an abnormal notification or request the location estimation module (223) to re-execute location estimation.
- the location estimation module (223) includes a data feature extraction unit (2231), a feature comparison matching unit (2233), and an estimated location calculation unit (2235).
- the data feature extraction unit (2231) extracts distance measurement features from at least the distance measurement information during driving to the destination. That is, it extracts features from the surrounding environment distance measurement information in the form of a point cloud detected by the distance measurement sensor (213) of the unit detection unit (21).
- the feature comparison matching unit (2233) of the position estimation module (223) of the unit control unit (22) compares and matches distance measurement features extracted during driving to the destination. That is, it performs comparison and matching between distance measurement features detected in the order of driving time of the mobile robot unit (20), such as time t-1, t, t+1, etc. during driving.
- the estimated position calculation unit (2235) calculates the orientation and position of the robot using the distance measurement feature information compared and matched by the feature comparison and matching unit (2233). That is, the position information of the current mobile robot unit (20) is confirmed and derived through the relative position change between the distance measurement features compared and matched by the feature comparison and matching unit (2233).
- the comparison and matching between these distance measurement features uses the ICP (Iterative Closest POint) algorithm and the ICP matching method, but the comparison and matching of the present invention is not limited to this and various selections are possible.
- the estimated position calculation unit (2235) can calculate orientation information and position information using the distance measurement feature information and VPS position information signal compared and matched by the feature comparison and matching unit (2233). That is,
- the surrounding environment distance measurement information and the surrounding environment image information are detected by the unit detection unit (21), and as described above, the unit detection unit (21) includes an image sensor (211) and a distance measurement sensor (213).
- the image information acquired by the image sensor (211) may be directly acquired by the unit control unit (22) through calculation of VPS location information, but may also be transmitted to the mobile robot managing server (10) to calculate VPS location information through a VPS map, and transmitted by the server's operation communication module (19) described below and received through the unit communication unit (26), thereby being used for location estimation.
- the update cycle of the VPS location information signal used in the estimated location calculation unit (2235) is longer than the update cycle of the distance measurement feature information.
- the location estimation for each detailed time period between the location estimation cycles using the VPS location information signal can be derived through the temporal relative position change of the feature derived from the surrounding environment distance measurement information as a point cloud derived from the distance measurement sensor.
- the range of the area detected by the distance measurement sensor used for position estimation between the reception cycles of such VPS position information signals may vary depending on the kinematic drive type of the mobile robot unit (20). That is, when the surrounding environment distance measurement information is detected by the mobile robot unit (20), the sampling range may be selected depending on the kinematic characteristics of the mobile robot unit (20), that is, the drive type.
- the sampling range may be at least one of a circular range, an elliptical range, and an arc-shaped range when projected onto the ground.
- the shape of the sampling range may refer to a comprehensive form of coverage that takes into account the steering range of the area being scanned.
- FIG. 22, FIG. 26 to FIG. 29 illustrate changes in sampling ranges according to the kinematic driving type of the unit driving unit (28) of the mobile robot unit (10).
- FIG. 22 illustrates a case where the sampling range at time t-1 takes an arc, and by forming the sampling range as a detection area of the distance measurement sensor detected at time t-1 into an arc and forming it so as to overlap as much as possible within the range of the area that can move at time t, more accurate position estimation can be enabled.
- a mobile robot unit (20) is depicted on an integrated map (IM), and the mobile robot unit (20) sets a sampling range (SR) according to a kinematic drive type.
- SR sampling range
- features F1, F2 are extracted, and by using the integrated map (IM) to confirm the change in the position of the features over time, accurate position (P) correction of the mobile robot unit (20) can be performed, as illustrated in Fig. 25.
- FIGS. 26 to 30 illustrate various variations of sampling ranges (SR1, SR2, SR3, SR4, SR5) according to the driving types in which the arrangement positions of the driving wheels and the arrangement positions of the steering wheels are different.
- each sampling range (SR1, SR2, SR3, SR4, SR5) has a maximum steering angle (Max, St1; Max, St2; Max, St3; Max, St4; Max, St5), and for each area, a trajectory (TRJ1, TRJ2, TRJ3, TRJ4, TRJ5) while moving from time t to time t+1, time t+2, ... is provided.
- the kinematic behavior characteristics are different according to each driving type, by selecting an appropriate sampling range according to the driving type, it is possible to obtain distance measurement information and image information for an area in which the mobile robot unit is likely to move after a detailed cycle, thereby enabling more precise position estimation.
- the mobile robot unit (20) of the present invention may further include a drone mapping unit (20a, 20a').
- the drone mapping unit (20a, 20a') may acquire surrounding environment information for forming a grid map and a VPS map. That is, the mobile robot unit (20) of the present invention may directly drive and acquire distance measurement information and image information for forming a grid map and a VPS map for the surrounding environment, but may further include a sub-unit for acquiring surrounding environment information for the surrounding environment depending on the case.
- an openable unit withdrawal portion (20b) is formed on the side of the housing of the mobile robot unit (20) of the present invention, and a drone mapping unit (20a) is positioned in a withdrawable manner on the unit withdrawal portion (20b).
- the drone mapping unit (20a) of the present invention includes a drone unit detection unit (21), a drone unit control unit (22), a drone unit storage unit (23), a drone unit operation unit (24), a drone unit input unit (25), a drone unit communication unit (26), a drone unit output unit (27), and a drone unit driving unit (28), and the configuration and function thereof are identical or substantially identical to those of the mobile robot unit described above, and therefore, a duplicate description is omitted.
- the distance measurement information and image information detected by the drone unit detection unit (21a) are transmitted to the mobile robot unit (20) through the drone unit communication unit (26a) or to the operation control unit (11) and operation data storage module (17) through the operation server communication module (19) of the mobile robot managing server (10), and can enable the formation of a grid map and a VPS map.
- the drone mapping unit (20b) may be implemented as a flying drone mapping unit, and various modifications are possible.
- the mobile robot unit control method of the present invention includes a providing step (S10), a preparation step (S20), and a driving control step (S30).
- a mobile robot unit (20) which includes a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that executes position estimation and driving control.
- the mobile robot unit (20) has been described above, and thus, duplicate descriptions thereof are omitted.
- a preparation step (S20) is executed, in which at least the driving information for driving to the destination and the kinematic driving type of the unit driving unit (28) are confirmed.
- the driving information for driving refers to the destination information to which the mobile robot unit (20) must drive and the task to be executed
- the kinematic driving type of the unit driving unit (28) refers to a driving type such as a quad type, a single type, etc. and/or a steering type.
- a group of future position candidates to be moved according to the driving and/or steering changes, and accordingly, the sampling range can be changed to enable more precise position estimation.
- the preparation step (S20) includes a type confirmation step (S21) and a driving information confirmation step (S23). As illustrated in Fig. 16, in the type confirmation step (S21), a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) is confirmed.
- the type verification step (S21) includes a unit type check step (S211) and a sampling range selection step (S213).
- the kinematic drive type of the unit drive unit (28) is confirmed.
- the kinematic drive type of the unit drive unit (28) may be included in the preset storage information stored in the unit storage unit (23), or may be implemented as data input through the unit input unit (25). That is, the driving control module (221) of the unit control unit (22) can confirm the corresponding information from the preset data stored in the unit storage unit (23), etc.
- sampling range selection step (S213) a sampling range corresponding to the kinematic drive type of the unit drive unit (28) confirmed in the unit type check step (S211) is selected.
- the type information of the sampling range may also be included in the preset storage information stored in the unit storage unit (23), or may be implemented as data input through the unit input unit (25). That is, the driving control module (221) of the unit control unit (22) can confirm the corresponding information from the preset data stored in the unit storage unit (23), etc.
- a driving information confirmation step (S23, see FIG. 16) is executed.
- driving information confirmation step (S23) driving information including at least destination information is confirmed.
- This may be included in preset storage information stored in the unit storage unit (23), may be implemented as data input through the unit input unit (25), or may be structured to be received from the mobile robot managing server (10) through the unit communication unit (26) and stored in the unit storage unit (23). That is, the driving control module (221) of the unit control unit (22) can confirm the corresponding information from preset data or updated stored data stored in the unit storage unit (23), etc.
- a map preparation step (S25) may be further included as illustrated in Fig. 18.
- a grid map and a VPS map are prepared, and an integrated map is prepared by comparing and matching the grid map and the VPS map.
- the map preparation step (S25) includes a grid map and VPS map verification step (S251), a map feature extraction step (S253), a map feature matching step (S255), and an integrated map calculation step (S257).
- a grid map and VPS map verification step (S251) a grid map and VPS map for the surrounding environment in which the mobile robot unit (20) is to drive are verified.
- map feature extraction step (S253) features are extracted from the grid map and the VPS map. As described above, features are extracted using the Canny edge, but the present invention is not limited thereto.
- map features extracted in the map feature extraction step (S253) are compared and matched.
- the integrated map is generated by linking the grid map and the VPS map based on the matching features aligned in the map feature matching step (S255).
- This map preparation step may be executed by the unit control unit (22), but considering the data processing amount and processing speed, etc., it may be executed by the mobile robot managing server (10) and stored in the unit storage unit (23), and various options are possible depending on the design specifications.
- a driving control step (S30) is executed to control the autonomous driving operation of the mobile robot unit (20) to the destination. That is, in the driving control step (S30), driving control to the destination is executed, and a precise position estimation is executed by comparing and matching the surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map and the VPS position information signal calculated from the surrounding environment image information.
- Fig. 20 illustrates detailed steps of the driving control step (S30).
- the driving control step (S30) includes an initial VPS position information confirmation step (S31), a driving drive step (S33), a driving position estimation step (S35), and an arrival confirmation step (S37).
- the current location information is confirmed by receiving the VPS location information at the start of driving.
- the location estimation module (223) of the unit control unit (22) may directly generate the initial VPS location information, but in this embodiment, a VPS location information processing structure is formed through the mobile robot managing server (10). That is, the image information acquired from the image sensor (211) of the unit detection unit (21) is transmitted to the mobile robot managing server (10) through the unit communication unit (26), and is signal-processed to produce predetermined visual-based VPS location information, which can be transmitted and received to the mobile robot unit (20) through the operation communication module (19).
- driving drive control is executed so that the mobile robot unit (20) drives to the destination. That is, the driving control module (221) applies a driving control signal to the unit driving unit (28) to execute a predetermined driving, stopping, or steering operation control.
- a precise position estimation is executed by comparing and matching the surrounding environment distance measurement information executed through the sampling range based on the integrated map and the feature information using the VPS position information signal.
- the arrival confirmation step (S37) it is confirmed whether the mobile robot unit (20) has reached the destination.
- the driving control module (221) of the unit control unit (22) confirms whether the current mobile robot unit (20) has reached the destination from the driving information and current estimated position information stored in the unit storage unit (23). At this time, if the driving control module (221) determines that the current mobile robot unit (20) has not reached the destination, the control flow switches to step S33 to repeat the driving drive and driving position estimation steps.
- step S38 the control flow switches to step S38 to end driving and perform a task execution step (S39) to execute a task.
- the driving position estimation step (S35) includes a sampling range scan step (S351), a driving alignment step (S353), a VPS position information confirmation step (S355), a precision alignment step (S357), and a precision position update step (S359).
- the sampling range scan step (S351) distance measurement is performed in the sampling range through the distance measurement sensor (213) of the unit detection unit (21), and the surrounding environment distance measurement information is calculated.
- the surrounding environment distance measurement information is acquired by performing distance measurement through the distance measurement sensor (213) in the sampling range selected according to the driving type of Figs. 26 to 29.
- the sampling range may be at least one of a circular range, an elliptical range, and an arc-shaped range when projected onto the ground.
- the sampling range may be formed and selected to reflect the steering angle of the mobile robot unit (20). That is, in addition to the driving type of the unit driving unit (28), the sampling range may be changed to reflect the kinematic behavioral characteristics of the mobile robot unit (20) depending on the steering angle or steering point. By reflecting such behavioral characteristics, more accurate position estimation of the mobile robot unit (20) is enabled.
- driving alignment step (S353) feature information is extracted using the integrated map and surrounding environment distance measurement information, and driving alignment is performed using the feature information calculated during driving to derive current location information.
- the updated VPS location information is confirmed. That is, in the initial stage, location estimation starts using the provided VPS location information.
- the update cycle of the VPS location information signal used in the estimated location calculation unit (2235) is longer than the update cycle of the distance measurement feature information. Therefore, in the detailed cycles between the update cycles of the VPS location information, location estimation can be performed based on the grid map and/or the integrated map with the ICP algorithm using the surrounding environment distance measurement information, and more precise location estimation can be performed by reflecting the VPS location information of the new update cycle. That is, in the precise matching step (S357), the precision of the current location information is confirmed using the current location information derived in the driving matching step (S353) and the VPS location information.
- the VPS location information can be calculated by comparing and matching visual features extracted from image information acquired by the image sensor with visual features already secured in the VPS map, and through the positional relationship with these aligned visual features.
- VPS position information may be delayed from the actual position of the mobile robot unit (20) due to the computational speed. Therefore, in the detailed cycle, a method may be adopted to verify the reliability of the estimated position by comparing the previous position derived from the inverse kinematics with the VPS position information from the estimated position based on the grid map and/or the integrated map using the ICP algorithm using the surrounding environment distance measurement information.
- the precision position update step (S359) if the precision of the current position information is confirmed in the precision alignment step (S357), the current position information is updated with new driving position information of the mobile robot unit (20).
- Fig. 31 illustrates a series of position estimation processes. That is, when initial VPS position information is input and driving control is executed, the unit control unit (22) searches the surrounding environment and executes driving based on the input initial VPS position information. During detailed time periods of time t-5, t-4, t-3, and t-2, surrounding distance measurement information is detected through a continuous distance measurement sensor, features are extracted therefrom, and the position information of the mobile robot unit is estimated and updated for each detailed time period from relative distance information according to the temporal position change of the features using a grid map and/or an integrated map.
- the image information of the surrounding environment acquired by the image sensor is transmitted to the mobile robot managing server, and an operation for VPS-based position estimation is executed to compare and match the visual feature information expressed as particles in the image information with the VPS map, thereby executing a predetermined VPS position estimation.
- the consistency or accuracy of the position estimation of the mobile robot unit is verified, and then the acceptance within the preset range is determined or a new confirmed position information is updated through a predetermined correction process.
- the present invention can provide a mobile robot system (1) including a mobile robot managing server (10) that operates the driving of a plurality of mobile robot units (20).
- the mobile robot system (1) of the present invention includes a plurality of mobile robot units (20) and a mobile robot managing server (10).
- the mobile robot managing server (10) provides a driving route including a destination to which the mobile robot unit (20) is driving and manages the driving. At this time, the mobile robot unit (20) transmits and receives data including driving information from the mobile robot managing server (10).
- the mobile robot unit (20) includes a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic drive type of the unit drive unit (28) based on the integrated map and a VPS position information signal derived from surrounding environment image information. Since this is the same as described above, duplicate descriptions will be replaced with the above, and explanations will be given focusing on differences.
- the administrator terminal (30) may also be included in the overall system as described above.
- the administrator terminal (30) may transmit and receive data by intercommunicating with other components, such as by individually applying a control signal to the mobile robot unit (20) or to the mobile robot unit (20) and the mobile robot managing server (10) through a communication network, or by acquiring current driving situation information.
- the mobile robot managing server (10) includes an operation control unit (11), and may include a map generation unit (13) and/or a position estimation module (15) as the case may be.
- the operation control unit (11) controls and manages the driving of the mobile robot unit (20) along a reference path.
- the mobile robot managing server (10) includes an operation data storage module (17).
- the operation data storage module (17) can store preset data and detection data, such as driving information for the driving of the mobile robot unit (20), and can also store map data, i.e., map data of a grid map and a VPS map.
- the mobile robot managing server (10) includes an operational communication module (19), through which data can be transmitted and received with the unit communication unit (26) of the mobile robot unit (20) described above.
- the map generation unit (13) generates an integrated map.
- the integrated map may be formed directly in the mobile robot unit (20), and the VPS location information calculation through the VPS map may also be directly calculated in the mobile robot unit (20).
- a structure for generating an integrated map in the map generation unit (13) of the mobile robot managing server (10) is described.
- the map generation unit (13) may include a VPS map verification unit (131), a grid map verification unit (133), and a map integration unit (135).
- the VPS map verification unit (131) verifies the VPS map for the surrounding environment in which the mobile robot unit (20) intends to drive.
- the grid map verification unit (133) verifies the grid map for the surrounding environment in which the mobile robot unit (20) intends to drive.
- the VPS map and the grid map can be generated in various ways, such as directly generated in the mobile robot unit (20) or generated through the drone mapping unit (20a, 20a'), and the VPS map verification unit (131) and the grid map verification unit (133) verify whether the VPS map and the grid map are ready.
- the VPS map verification unit (131) and the grid map verification unit (133) can directly generate the grid map and the VPS map by using the input surrounding distance measurement information and surrounding environment image information.
- there are various options available for providing distance measurement information for forming a grid map as preparatory data such as utilizing an odometry-based mapping robot unit in the case of a grid map.
- the VPS map verification unit (131) includes an image verification unit (1311), a visual feature extraction unit (1313), and a VPS map generation unit (1315).
- the image verification unit (1311) verifies an image of the surrounding environment in which the mobile robot unit (20) is to drive.
- the visual feature extraction unit (1313) extracts visual features from the image. Extraction of visual features can be performed through various feature extraction methods such as the Canny Edge described above. In this way, the VPS map generation unit (1315) generates a VPS map by linking the image of the surrounding environment and the visual features.
- the map integration unit (135) extracts map features from the grid map and VPS map and compares and matches them.
- the map integration unit (135) includes a map feature extraction unit (1351), a map feature matching unit (1353), and an integrated map verification unit (1355).
- the map feature extraction unit (1351) extracts and verifies grid map features and visual map features of the grid map and the VPS map.
- FIGS. 9 and 10 illustrate a case where map features are derived from the VPS map and the grid map, respectively.
- a VPS map feature as a visual feature indicated by the reference symbol VOL can be extracted from a VPS map including the VPS feature by the map feature extraction unit (1351), and as illustrated in FIG. 10, an outline feature can be extracted as a grid map feature from the grid map.
- the outline features such as the VPS map feature and the grid map feature are extracted using a Canny edge in this embodiment, but the present invention is not limited thereto.
- the map feature extraction unit (1351) extracts and verifies grid map features and visual map features of the grid map and the VPS map.
- the map feature matching unit (1353) compares and matches the grid map features and the visual map features using the ICP algorithm. That is, an integrated map in which two maps are linked and integrated, as in Fig. 11, can be derived through ICP matching between points of each outline feature, which is achieved through ICP matching of the outline features.
- the integrated map is produced by comparing and matching the grid map features extracted from the grid map and the VPS map features extracted from the VPS map using the ICP algorithm.
- the integrated map verification unit (1355) When comparative matching is performed in the map feature matching unit (1353), the integrated map verification unit (1355) generates an integrated map in which the grid map and the VPS map are linked and integrated based on the matched matching features. That is, the integrated map verification unit (1355) can check whether there is an error within a preset range, and if the reliability of comparative matching is confirmed, the map in which the grid map and the VPS map are integrated can be confirmed as the final integrated map.
- the position estimation module estimates the current position of the mobile robot unit using map data, accumulated sensing surrounding environment distance measurement information, and surrounding environment image information. It structurally has the same or substantially the same structure as the position estimation module (223) provided in the unit control unit (22) of the mobile robot unit (20) described above, and is replaced with the above.
- the VPS integrated mobile robot unit of the present invention can be used in various applications, such as in delivery robots for commercial purposes in addition to logistics robots in industrial sites.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
본 발명은 모바일 로봇 유니트, 모바일 로봇 시스템 및 그 제어 방법에 관한 것으로, 보다 구체적으로 마커 내지 오토메트리 정보가 배제되는 경우의 정확한 위치 추정을 이루는 모바일 로봇 시스템, 모바일 로봇 및 제어 방법에 관한 것이다.The present invention relates to a mobile robot unit, a mobile robot system and a control method thereof, and more particularly, to a mobile robot system, a mobile robot and a control method for achieving accurate position estimation in the case where marker or automation information is excluded.
로봇은 각종 산업 분야 및 일상 생활에서 다양하게 활용 범위를 증대시키고 있다. 가정에서 사용하는 로봇 청소기에서부터, 자동차 공장의 용접 내지 프레스 공정 등에 사용되는 제조 로봇 뿐만 아니라, AGV 또는 AMR 같은 물류 시스템에 사용되는 각종 로봇이 다양하게 연구 및 생산 사용되고 있다. Robots are expanding their scope of application in various industrial fields and daily life. From robot vacuum cleaners used in the home to manufacturing robots used in welding and press processes in automobile factories, various robots used in logistics systems such as AGVs and AMRs are being researched, produced, and used in various ways.
특히, AGV(Automatic Guided Vehicle) 내지 AMR(Autonomous Mobile Robot) 같은 안내 내지 자율 주행되는 운반 물류 로봇의 경우, 활용 및 적용 범위가 비약적으로 증대되고 있다. 즉, 구동 기술의 발달로 인하여, 반도체 공장 등과 같은 클린 시설에서의 운용 필요성을 넘어, 쇼핑몰 및 화물 운송 등 서비스에 있어서의 운송 서비스 산업 분야 뿐만 아니라, 풀필먼트 시스템을 운용하는 각종 물류 배송 산업 분야를 포함하여, 중공업 등과 같이 큰 하중 운반을 필요로 하는 중후 장대 산업에서도 확장 적용되는 추세를 이룬다. In particular, in the case of guided or autonomous transport logistics robots such as AGV (Automatic Guided Vehicle) or AMR (Autonomous Mobile Robot), the scope of utilization and application is increasing rapidly. In other words, due to the development of driving technology, beyond the necessity of operation in clean facilities such as semiconductor factories, the trend is to expand application not only in the transportation service industry for services such as shopping malls and cargo transport, but also in various logistics delivery industries that operate fulfillment systems, and even in heavy industries that require the transport of large loads such as heavy industry.
종래의 AGV 내지 AMR, 특히 AGV의 경우 주행 환경 내에서 유도선으로서의 바닥 라인을 추종하거나 또는 QR코드와 같은 광학 식별 코드 내지 추가 외부 센서와 같은 수동 내지 능동적 마커를 제공하여 주행을 하였으나, 주행 환경의 복잡한 경로 형성이 요구되거나 복수의 로봇이 운행되는 경우 동선의 교차 내지 회피 등의 복잡한 난제들이 수반되었다. Conventional AGVs or AMRs, especially AGVs, follow a floor line as a guide line within the driving environment or provide passive or active markers such as optical identification codes such as QR codes or additional external sensors to drive. However, when complex path formation in the driving environment is required or multiple robots are operated, complex challenges such as crossing or avoidance of paths are encountered.
또한, 종래의 무인 주행 차량의 경우 엔코더로부터 입력되는 오도메트리(ODOMETRY) 정보를 이용하여 자신의 위치를 파악하는 방식을 사용하였는데, 이러한 감지 센서의 경우 반복적 내지 장시간 동작으로 인한 피로 내지 오작동 확률이 급속이 증대되어 위치 추정에 상당한 장애 요소로 작동할 수도 있다. In addition, in the case of conventional unmanned vehicles, a method of determining one's own location was used using odometry information input from an encoder. However, in the case of such detection sensors, the probability of fatigue or malfunction due to repetitive or long-term operation rapidly increases, which can act as a significant obstacle to location estimation.
따라서, 본 발명은 주행 중 종래의 마커 기반 위치 인식 내지 오도메트리 기반의 위치 정보 파악 구조를 배제하거나 오도메트리 정보의 오류 내지 엔코더 등의 파손 등으로 인하여 오도메트리 정보를 신뢰할 수 없는 경우 보다 정확한 위치 추정을 통한 주행 제어를 가능하게 하는 VPS 통합 모바일 로봇 유니트, 이의 제어 방법 및 시스템을 제공하는 것을 목적으로 한다. Accordingly, the present invention aims to provide a VPS integrated mobile robot unit, a control method and system thereof, which enables driving control through more accurate position estimation when the conventional marker-based position recognition or odometry-based position information acquisition structure is excluded during driving or when the odometry information is unreliable due to an error in the odometry information or damage to an encoder, etc.
본 발명의 일면에 따르면, 본 발명은, VPS 통합 모바일 로봇 유니트(20, 이하 모바일 로봇 유니트)로서, 그리드 맵 및 VPS 맵을 연동한 통합 맵을 저장하는 유니트 저장부(23)와, 상기 통합 맵에 기초하여, 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보로부터 산출되는 VPS 위치 정보 신호를 이용하여 비교 정합되어 정밀 위치 추정을 실행하는 유니트 제어부(22)를 포함하는 모바일 로봇 유니트(20)를 제공한다. According to one aspect of the present invention, the present invention provides a mobile robot unit (20, hereinafter referred to as a mobile robot unit) including a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to a kinematic driving type of a unit driving unit (28) based on the integrated map and a VPS position information signal calculated from surrounding environment image information.
상기 모바일 로봇 유니트에 있어서, 상기 유니트 제어부(22)는: 설정된 도착지 정보를 이용하여 상기 유니트 구동부(28)에 주행 제어 신호를 인가하는 주행 제어 모듈(221)과, 도착지까지 주행 중 상기 주변 환경 거리 측위 정보로부터 거리 측위 특징을 추출하고, 상기 통합 맵을 이용하여 상기 거리 측위 특징 및 상기 VPS 위치 정보 신호를 이용 비교 정합하여 현재 추정 위치를 산출하는 위치 추정 모듈(223)과, 상기 위치 추정 모듈(223)에서 산출된 위치를 컨펌 확인하는 위치 확인 모듈(225)를 포함할 수도 있다. In the above mobile robot unit, the unit control unit (22) may include: a driving control module (221) that applies a driving control signal to the unit driving unit (28) using set destination information, a position estimation module (223) that extracts distance measurement features from the surrounding environment distance measurement information while driving to the destination, compares and matches the distance measurement features and the VPS location information signal using the integrated map to calculate a current estimated location, and a position confirmation module (225) that confirms the location calculated by the position estimation module (223).
상기 모바일 로봇 유니트에 있어서, 상기 위치 추정 모듈(223)은: 도착지까기 주행 중 적어도 상기 거리 측위 정보에서 거리 측위 측징을 추출하는 데이터 특징 추출부(2231)와, 도착지까기 주행 중 추출되는 상기 거리 측위 특징을 비교 정합하는 특징 비교 정합부(2233)과, 상기 특징 비교 정합부(2233)에서 비교 정합되는 거리 측위 특징 정보를 이용하여 로봇의 배향 및 위치를 산출하는 추정 위치 산출부(2235)를 포함할 수도 있다. In the above mobile robot unit, the position estimation module (223) may include: a data feature extraction unit (2231) that extracts distance measurement measurements from at least the distance measurement information during driving to the destination, a feature comparison and matching unit (2233) that compares and matches the distance measurement features extracted during driving to the destination, and an estimated position calculation unit (2235) that calculates the orientation and position of the robot using the distance measurement feature information compared and matched by the feature comparison and matching unit (2233).
상기 모바일 로봇 유니트에 있어서, 상기 추정 위치 산출부(2235)는, 상기 특징 비교 정합부(2233)에서 비교 정합되는 거리 측위 특징 정보 및 상기 VPS 위치 정보 신호를 이용하여 배향 정보 및 위치 정보를 산출할 수도 있다. In the above mobile robot unit, the estimated position calculation unit (2235) may also calculate orientation information and position information using the distance measurement feature information compared and matched by the feature comparison and matching unit (2233) and the VPS position information signal.
상기 모바일 로봇 유니트에 있어서, 상기 추정 위치 산출부(2235)에서 사용되는 상기 VPS 위치 정보 신호의 갱신 주기는 상기 거리 측위 특징 정보의 갱신 주기보다 길 수도 있다. In the above mobile robot unit, the update cycle of the VPS position information signal used in the estimated position calculation unit (2235) may be longer than the update cycle of the distance measurement feature information.
상기 모바일 로봇 유니트에 있어서, 상기 주변 환경 거리 측위 정보와, 상기 주변 환경 이미지 정보는 유니트 감지부(21)에 의하여 감지되고, 상기 유니트 감지부(21)는: 주변 환경의 이미지 정보를 감지하는 이미지 센서(211)와, 상기 주변 환경 거리 측위 정보를 감지하는 거리 측위 센서(213)를 포함할 수도 있다. In the above mobile robot unit, the surrounding environment distance measurement information and the surrounding environment image information are detected by the unit detection unit (21), and the unit detection unit (21) may include: an image sensor (211) that detects the surrounding environment image information, and a distance measurement sensor (213) that detects the surrounding environment distance measurement information.
상기 모바일 로봇 유니트에 있어서, 상기 이미지 센서(211)에서 감지된 주변 환경 이미지 정보를 송출하고, 상기 VPS 위치 정보 신호를 수신하는 유니트 통신부(26)가 더 구비될 수도 있다. In the above mobile robot unit, a unit communication unit (26) may be further provided that transmits surrounding environment image information detected by the image sensor (211) and receives the VPS location information signal.
상기 모바일 로봇 유니트에 있어서, 상기 샘플링 레인지는 지면에 투영시 원형 레인지, 타원형 레인지 및 호상 레인지 중의 하나 이상일 수도 있다. In the above mobile robot unit, the sampling range may be at least one of a circular range, an elliptical range and an arc range when projected onto the ground.
상기 모바일 로봇 유니트에 있어서, 상기 통합 맵은, 상기 그리드 맵에서 추출되는 그리드 맵 특징과, 상기 VPS 맵에서 추출되는 VPS 맵 특징을 ICP 알고리즘을 이용하여 비교 정합하여 연동 산출되는 맵일 수도 있다. In the above mobile robot unit, the integrated map may be a map that is produced by comparing and matching grid map features extracted from the grid map and VPS map features extracted from the VPS map using an ICP algorithm.
상기 모바일 로봇 유니트에 있어서, 상기 그리드 맵 및 상기 VPS 맵을 형성하기 위한 주변 환경 정보를 취득하는 드론 맵핑 유니트(20a,20a')가 더 구비될 수도 있다. In the above mobile robot unit, a drone mapping unit (20a, 20a') that acquires surrounding environment information for forming the grid map and the VPS map may be further provided.
본 발명의 다른 일면에 따르면, 본 발명은 그리드 맵 및 VPS 맵을 연동한 통합 맵을 저장하는 유니트 저장부(23)와, 위치 추정 및 주행 제어를 실행하는 유니트 제어부(22)를 포함하는 모바일 로봇 유니트(20)를 제공하는 제공 단계(S10)와, 적어도, 도착지까지 주행을 위한 주행 정보 및 유니트 구동부(28)의 기구학적 구동 유형을 확인하는 준비 단계(S20)와, 도착지까지 주행 제어를 실행하고, 상기 통합 맵에 기초하여, 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보로부터 산출되는 VPS 위치 정보 신호를 이용하여 비교 정합되어 정밀 위치 추정을 실행하는 정밀 위치 추정을 실행하는 주행 제어 단계(S30)를 포함할 수도 있다. According to another aspect of the present invention, the present invention may include a provision step (S10) of providing a mobile robot unit (20) including a unit storage unit (23) storing an integrated map linking a grid map and a VPS map, and a unit control unit (22) executing position estimation and driving control, at least a preparation step (S20) of confirming driving information for driving to a destination and a kinematic driving type of a unit driving unit (28), and a driving control step (S30) of executing driving control to a destination, and executing precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map, and a VPS position information signal calculated from surrounding environment image information.
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 준비 단계(S20)는: 상기 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 확인하는 유형 확인 단계(S21)와, 적어도 도착지 정보를 포함하는 주행 정보 확인 단계(S23)를 포함할 수도 있다. In the above mobile robot unit control method, the preparation step (S20) may include: a type confirmation step (S21) for confirming a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28), and a driving information confirmation step (S23) including at least destination information.
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 유형 확인 단계(S21)는: 상기 유니트 구동부(28)의 기구학적 구동 유형을 확인하는 유니트 유형 체크 단계(S211)와, 상기 유니트 유형 체크 단계(S211)에서 확인된 상기 유니트 구동부(28)의 기구학적 구동 유형에 대응하는 샘플링 레인지를 선택하는 샘플링 레인지 셀렉션 단계(S213)을 포함할 수도 있다. In the above mobile robot unit control method, the type confirmation step (S21) may include: a unit type check step (S211) for confirming the kinematic drive type of the unit drive unit (28), and a sampling range selection step (S213) for selecting a sampling range corresponding to the kinematic drive type of the unit drive unit (28) confirmed in the unit type check step (S211).
상기 모바일 로봇 유니트 제어 방법에 있어서, 그리드 맵 및 VPS 맵을 준비하고 상기 그리드 맵 및 상기 VPS 맵을 비교 정합하여 통합 맵을 준비하는 맵 준비 단계(S25)를 더 포함할 수도 있다. In the above mobile robot unit control method, a map preparation step (S25) of preparing a grid map and a VPS map and comparing and matching the grid map and the VPS map to prepare an integrated map may be further included.
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 맵 준비 단계(S25)는: 상기 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 그리드 맵 및 VPS 맵을 확인하는 그리드 맵 및 VPS 맵 확인 단계(S251)와, 상기 그리드 맵 및 VPS 맵에서 특징을 추출하는 맵 특징 추출 단계(S253)와, 상기 맵 특징 추출 단계(S253)에서 추출된 맵 특징을 비교 정합하는 맵 특징 정합 단계(S255)와, 상기 맵 특징 정합 단계(S255)에서 정합된 정합 특징을 중심으로 상기 그리드 맵과 상기 VPS 맵을 연동시켜 통합 맵을 산출하는 통합 맵 산출 단계(S257)를 포함할 수도 있다. In the above mobile robot unit control method, the map preparation step (S25) may include: a grid map and VPS map confirmation step (S251) of confirming a grid map and a VPS map for a surrounding environment in which the mobile robot unit (20) is to drive, a map feature extraction step (S253) of extracting features from the grid map and the VPS map, a map feature matching step (S255) of comparing and matching the map features extracted in the map feature extraction step (S253), and an integrated map calculation step (S257) of calculating an integrated map by linking the grid map and the VPS map based on the matching features matched in the map feature matching step (S255).
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 주행 제어 단계(S30)는: 주행 시작시 상기 VPS 위치 정보를 수신하여 현재 위치 정보를 확인하는 초기 VPS 위치 정보 확인 단계(S31)와, 도착지까지 상기 모바일 로봇 유니트(20)가 주행하도록 주행 드라이브 제어 실행하는 주행 드라이브 단계(S33)와, 상기 주행 드라이브 실행과 동시에, 상기 통합 맵에 기초하여, 상기 샘플링 레인지를 통해 실행되는 상기 주변 환경 거리 측위 정보와, 상기 VPS 위치 정보 신호를 이용하여 특징 정보를 비교 정합되어 정밀 위치 추정을 실행하는 정밀 위치 추정을 실행하는 주행 위치 추정 단계(S35)와, 상기 모바일 로봇 유니트(20)가 도착지에 도달했는지 여부를 확인하는 도달 확인 단계(S35)를 포함할 수도 있다. In the above mobile robot unit control method, the driving control step (S30) may include: an initial VPS position information confirmation step (S31) of receiving the VPS position information at the start of driving and confirming the current position information, a driving drive step (S33) of executing a driving drive control so that the mobile robot unit (20) drives to a destination, a driving position estimation step (S35) of executing a precise position estimation by comparing and matching feature information using the surrounding environment distance measurement information executed through the sampling range based on the integrated map and the VPS position information signal, based on the driving drive, simultaneously with the execution of the driving drive, and executing a precise position estimation, and an arrival confirmation step (S35) of confirming whether the mobile robot unit (20) has reached the destination.
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 주행 위치 추정 단계(S35)는: 상기 유니트 감지부(21)의 거리 측위 센서(213)를 통하여 상기 샘플링 레인지로 거리 측위를 실행하여 주변 환경 거리 측위 정보를 산출하는 샘플링 레인지 스캔 단계(S351)와, 상기 통합 맵 및 상기 주변 환경 거리 측위 정보를 이용하여 특징 정보를 추출하고 주행 중 산출되는 특징 정보를 이용하여 주행 중 정합을 실행하여 현재 위치 정보를 도출하는 주행 정합 단계(S353)과, 갱신되는 VPS 위치 정보를 확인하는 VPS 위치 정보 확인 단계(S355)와, 상기 주행 정합 단계(S353)에서 도출된 현재 위치 정보와 상기 VPS 위치 정보를 이용하여 현재 위치 정보의 정밀성을 확인하는 정밀 정합 단계(S357)와, 상기 정밀 정합 단계(S357)에서 현재 위치 정보의 정밀성을 확인된 경우 현재 위치 정보를 상기 모바일 로봇 유니트(20)의 새로운 주행 위치 정보로 갱신하는 정밀 위치 갱신 단계(S359)를 포함할 수도 있다. In the above mobile robot unit control method, the driving position estimation step (S35) may include: a sampling range scan step (S351) of executing distance measurement with the sampling range through the distance measurement sensor (213) of the unit detection unit (21) to derive surrounding environment distance measurement information; a driving matching step (S353) of extracting feature information using the integrated map and the surrounding environment distance measurement information and executing matching while driving using the feature information derived during driving to derive current location information; a VPS location information confirmation step (S355) of confirming updated VPS location information; a precision matching step (S357) of confirming the precision of the current location information using the current location information derived in the driving matching step (S353) and the VPS location information; and a precision position update step (S359) of updating the current location information with new driving location information of the mobile robot unit (20) if the precision of the current location information is confirmed in the precision matching step (S357).
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 추정 위치 산출부(2235)에서 사용되는 상기 VPS 위치 정보 신호의 갱신 주기는 상기 거리 측위 특징 정보의 갱신 주기보다 길 수도 있다. In the above mobile robot unit control method, the update cycle of the VPS position information signal used in the estimated position calculation unit (2235) may be longer than the update cycle of the distance measurement feature information.
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 샘플링 레인지는 지면에 투영시 원형 레인지, 타원형 레인지 및 호상 레인지 중의 하나 이상일 수도 있다. In the above mobile robot unit control method, the sampling range may be at least one of a circular range, an elliptical range and an arc range when projected onto the ground.
상기 모바일 로봇 유니트 제어 방법에 있어서, 상기 샘플링 레인지는 상기 모바일 로봇 유니트(20)의 조향각을 반영하여 형성 선택될 수도 있다. In the above mobile robot unit control method, the sampling range may be formed and selected to reflect the steering angle of the mobile robot unit (20).
본 발명의 또 다른 일면에 따르면, 본 발명은 복수 개의 모바일 로봇 유니트(20)와, 상기 모바일 로봇 유니트(20)이 주행하는 도착지를 포함하는 주행 경로를 제공하고 주행을 관리하는 모바일 로봇 매니징 서버(10)를 포함하고, 상기 모바일 로봇 매니징 서버(10)로부터 주행 정보를 포함하는 데이터 송수신을 이루는 상기 모바일 로봇 유니트(20)는, 그리드 맵 및 VPS 맵을 연동한 통합 맵을 저장하는 유니트 저장부(23)와, 상기 통합 맵에 기초하여, 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보로부터 산출되는 VPS 위치 정보 신호를 이용하여 비교 정합되어 정밀 위치 추정을 실행하는 유니트 제어부(22)를 포함하는 것을 특징으로 하는 모바일 로봇 시스템(1)을 제공한다. According to another aspect of the present invention, the present invention provides a mobile robot system (1) including a plurality of mobile robot units (20), and a mobile robot managing server (10) which provides a driving path including a destination to which the mobile robot units (20) drive and manages the driving, and the mobile robot unit (20) which performs data transmission and reception including driving information from the mobile robot managing server (10), the mobile robot unit (20) including a unit storage unit (23) which stores an integrated map linking a grid map and a VPS map, and a unit control unit (22) which performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map and a VPS position information signal calculated from surrounding environment image information.
상기 모바일 로봇 시스템에 있어서, 상기 모바일 로봇 매니징 서버(10)는: 상기 모바일 로봇 유니트(20)의 기준 경로 상 주행을 제어 관리하는 운용 제어부(11)와, 상기 통합 맵을 생성하는 맵 생성부(13)를 포함할 수도 있다. In the above mobile robot system, the mobile robot managing server (10) may include: an operation control unit (11) that controls and manages driving along a reference path of the mobile robot unit (20), and a map generation unit (13) that generates the integrated map.
상기 모바일 로봇 시스템에 있어서, 상기 맵 생성부(13)는: 상기 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 VPS 맵을 확인하는 VPS 맵 확인부(131)와, 상기 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 그리드 맵을 확인하는 그리드 맵 확인부(133)와, 상기 그리드 맵 및 VPS 맵에서 맵 특징을 추출 비교 정합하는 맵 통합부(135)를 포함할 수도 있다. In the above mobile robot system, the map generation unit (13) may include: a VPS map verification unit (131) that verifies a VPS map for the surrounding environment in which the mobile robot unit (20) intends to drive, a grid map verification unit (133) that verifies a grid map for the surrounding environment in which the mobile robot unit (20) intends to drive, and a map integration unit (135) that extracts, compares, and matches map features from the grid map and the VPS map.
상기 모바일 로봇 시스템에 있어서, 상기 VPS 맵 확인부(131)는: 상기 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 이미지를 확인하는 이미지 확인부(1311)와, 상기 이미지에서 비쥬얼 피처를 추출하는 비쥬얼 피처 추출부(1313)와, 상기 주변 환경에 대한 이미지와 상기 비쥬얼 피처를 연게시키는 VPS 맵을 생성하는 VPS 맵 생성부(1315)를 포함할 수도 있다. In the above mobile robot system, the VPS map verification unit (131) may include: an image verification unit (1311) that verifies an image of a surrounding environment in which the mobile robot unit (20) is to drive, a visual feature extraction unit (1313) that extracts a visual feature from the image, and a VPS map generation unit (1315) that generates a VPS map that links the image of the surrounding environment and the visual feature.
상기 모바일 로봇 시스템에 있어서, 상기 맵 통합부(135)는: 상기 그리드 맵 및 상기 VPS 맵의 그리드 맵 특징 및 비쥬얼 맵 특징을 추출 확인하는 맵 특징 추출부(1351)와, ICP 알고리즘을 이용하여 상기 그리드 맵 특징 및 비쥬얼 맵 특징을 비교 정합하는 맵 특징 정합부(1353)와, 정합되는 정합 특징을 중심으로 상기 그리드 맵과 상기 VPS 맵이 연계 통합되는 통합 맵을 산출하는 통합 맵 확인부(1355)를 포함할 수도 있다. In the above mobile robot system, the map integration unit (135) may include: a map feature extraction unit (1351) that extracts and verifies grid map features and visual map features of the grid map and the VPS map, a map feature matching unit (1353) that compares and matches the grid map features and visual map features using an ICP algorithm, and an integrated map verification unit (1355) that generates an integrated map in which the grid map and the VPS map are linked and integrated based on the matched matching features.
상기와 같이 구성되는 본 발명의 모바일 로봇 유니트, 모바일 로봇 유니트 제어 방법 및 모바일 로봇 시스템의 효과는 다음과 같다. The effects of the mobile robot unit, mobile robot unit control method, and mobile robot system of the present invention configured as described above are as follows.
첫째, 본 발명의 모바일 로봇 시스템 및 모바일 로봇 시스템 제어 방법은, 오도메트리 정보를 활용할 수 없거나 배제하여야 하는 경우 내지 위치 추정의 신뢰성을 확보할 수 있도록, VPS 맵과 그리드 맵을 연동시킨 통합 맵을 이용하고 주변 환경에 대한 거리 측위 정보와 이미지 정보를 활용하 보다 정확한 위치 추정을 가능하게 한다. First, the mobile robot system and the mobile robot system control method of the present invention use an integrated map that links a VPS map and a grid map to secure the reliability of position estimation in cases where odometry information cannot be utilized or must be excluded, and utilizes distance measurement information and image information about the surrounding environment to enable more accurate position estimation.
둘째, 본 발명의 모바일 로봇 시스템 및 모바일 로봇 시스템 제어 방법은, 오도메트리 정보를 활용할 수 없거나 배제하여야 하는 경우 내지 위치 추정의 신뢰성을 확보할 수 있도록, VPS 맵과 그리드 맵을 연동시킨 통합 맵을 이용하고 주변 환경에 대한 거리 측위 정보와 이미지 정보를 활용하 보다 정확한 위치 추정을 가능하게 함과 동시에, 모바일 로봇 유니트의 기구학적 거동 특성을 반영하여 구동 타입 및/또는 조향 유형을 반영한 구동 유형에 따라 샘플링 레인지를 변화시켜 시간 변화에 따라 후속하는 추정 위치에 대한 보다 정밀한 측위 정보 수집을 가능하게 하여 누적되는 오차를 배제 내지 최소화시키고 보다 정확한 위치 추정을 도출할 수 있다. Second, the mobile robot system and the mobile robot system control method of the present invention use an integrated map that links a VPS map and a grid map to secure the reliability of position estimation in cases where odometry information cannot be utilized or must be excluded, and utilizes distance measurement information and image information about the surrounding environment to enable more accurate position estimation, and at the same time, changes the sampling range according to the driving type reflecting the driving type and/or the steering type by reflecting the kinematic behavior characteristics of the mobile robot unit, thereby enabling more precise positioning information collection for the subsequent estimated position according to the change in time, thereby excluding or minimizing accumulated errors and deriving more accurate position estimation.
도 1은 본 발명의 일실시예에 따른 VPS 통합 모바일 로봇 시스템의 개략적 구성도이다. FIG. 1 is a schematic configuration diagram of a VPS integrated mobile robot system according to one embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 VPS 통합 모바일 로봇 시스템의 모바일 로봇 매니징 서버의 개략적 구성도이다. FIG. 2 is a schematic configuration diagram of a mobile robot managing server of a VPS integrated mobile robot system according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 VPS 통합 모바일 로봇 시스템의 모바일 로봇 매니징 서버의 맵 생성부에 대한 개략적 구성도이다. FIG. 3 is a schematic diagram of a map generation unit of a mobile robot managing server of a VPS integrated mobile robot system according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 VPS 통합 모바일 로봇 시스템의 VPS 맵 확인부에 대한 개략적인 구성도이다. FIG. 4 is a schematic configuration diagram of a VPS map verification unit of a VPS integrated mobile robot system according to an embodiment of the present invention.
도 5는 본 발명의 일실시예에 따른 VPS 통합 모바일 로봇 시스템의 맵 통합부에 대한 개략적인 구성도이다. FIG. 5 is a schematic configuration diagram of a map integration unit of a VPS integrated mobile robot system according to an embodiment of the present invention.
도 6은 그리드 맵을 형성하는 거리 측위 정보가 도시되는 예시적 상태도이다. Figure 6 is an exemplary state diagram illustrating distance measurement information forming a grid map.
도 7은 유니트 감지부의 이미지 센서를 통하여 검출된 이미지 정보에서 추출된 특징을 도시하는 예시적 상태도이다. Figure 7 is an exemplary state diagram illustrating features extracted from image information detected through an image sensor of a unit detection unit.
도 8은 도 7의 특징이 추출된 이미지 정보를 활용하여 산출되는 VPS 맵의 일예이다.Figure 8 is an example of a VPS map produced by utilizing image information from which features of Figure 7 are extracted.
도 9는 도 8의 VPS 맵의 VPS 맵 특징으로서의 외곽선 특징(VOL)이 추출된 상태도이다. Figure 9 is a state diagram in which the outline feature (VOL) is extracted as a VPS map feature of the VPS map of Figure 8.
도 10은 도 6의 그리드 맵에서 그리드 맵 특징으로서의 외곽선이 추출된 상태의 예시적 상태도이다. Figure 10 is an exemplary state diagram of a state in which an outline is extracted as a grid map feature from the grid map of Figure 6.
도 11은 그리드 맵 특징과 VPS 맵 특징이 비교 정합되어 중첩된 상태를 도시하는 상태도이다. Figure 11 is a state diagram showing a state in which grid map features and VPS map features are compared and aligned and overlapped.
도 12는 본 발명의 VPS 통합 모바일 로봇 유니트의 예시적 상태도이다. Figure 12 is an exemplary state diagram of the VPS integrated mobile robot unit of the present invention.
도 13은 본 발명의 VPS 통합 모바일 로봇 유니트의 예시적 구성도이다. Fig. 13 is an exemplary configuration diagram of a VPS integrated mobile robot unit of the present invention.
도 14는 본 발명의 VPS 통합 모바일 로봇 유니트의 위치 추정 모듈의 구성도이다. Figure 14 is a configuration diagram of a position estimation module of the VPS integrated mobile robot unit of the present invention.
도 15 내지 도 21은 본 발명의 VPS 통합 모바일 로봇 유니트의 제어 과정의 개략적인 흐름도이다. Figures 15 to 21 are schematic flowcharts of the control process of the VPS integrated mobile robot unit of the present invention.
도 22는 본 발명의 VPS 통합 모바일 로봇 유니트의 구동 유형에 따른 샘플링 레인지의 예시적 상태도이다. Figure 22 is an exemplary state diagram of a sampling range according to the driving type of the VPS integrated mobile robot unit of the present invention.
도 23 및 도 25는 본 발명의 VPS 통합 모바일 로봇 유니트의 샘플링 레인지에 따라 위치 보정을 이루는 과정을 설명하는 개략적인 상태 변화도이다. FIG. 23 and FIG. 25 are schematic state change diagrams explaining a process of performing position correction according to the sampling range of the VPS integrated mobile robot unit of the present invention.
도 26 내지 도 30는 본 발명의 VPS 통합 모바일 로봇 유니트의 구동 타입 및 조향 타입 등의 기구학적 거동 특성을 고려한 샘플링 레인지의 변화예를 도시하는 상태도이다. Figures 26 to 30 are state diagrams showing examples of changes in sampling ranges considering kinematic behavioral characteristics such as driving type and steering type of the VPS integrated mobile robot unit of the present invention.
도 31은 본 발명의 VPS 통합 모바일 로봇 유니트의 위치 추정 제어 과정을 설명하는 상태 변화도이다. Figure 31 is a state change diagram explaining the position estimation control process of the VPS integrated mobile robot unit of the present invention.
도 32은 본 발명의 다른 일예에 따른 VPS 통합 모바일 로봇 유니트의 구성 상태도이다. Figure 32 is a configuration state diagram of a VPS integrated mobile robot unit according to another example of the present invention.
도 33는 본 발명의 다른 일예에 따른 VPS 통합 모바일 로봇 유니트의 구성 블록 선도이다. Figure 33 is a block diagram of a VPS integrated mobile robot unit according to another example of the present invention.
도 34은 본 발명의 또 다른 일예에 따른 VPS 통합 모바일 로봇 유니트의 구성 상태도이다. Figure 34 is a configuration state diagram of a VPS integrated mobile robot unit according to another example of the present invention.
이하, 도면을 참조하여 본 발명의 VPS 통합 모바일 로봇 유니트, VPS 통합 모바일 로봇 시스템 및 그 제어 방법의 구성을 실시하기 위한 구체적인 내용을 실시예에 기초하여 설명한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수도 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. Hereinafter, specific details for implementing the configuration of the VPS integrated mobile robot unit, the VPS integrated mobile robot system, and the control method thereof according to the present invention will be described based on embodiments with reference to the drawings. These embodiments will be described in sufficient detail to enable those skilled in the art to implement the present invention. It should be understood that the various embodiments of the present invention are different from each other, but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention with respect to one embodiment. In addition, it should be understood that the positions or arrangements of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the following detailed description is not intended to be limiting, and the scope of the present invention is defined only by the appended claims, along with the full scope equivalent to what such claims claim, if properly described. Like reference numerals in the drawings designate the same or similar functions throughout the several aspects.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있는 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백히 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with a meaning that can be commonly understood by a person of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries shall not be ideally or excessively interpreted unless explicitly specifically defined.
후술하는 실시예에 있어서, 서버는 다양한 소프트웨어 프로그램 및/또는 메모리부에 저장되어 있는 명령어 세트를 실행하여 후술하는 본 발명에 소요되는 여러 기능을 수행하는, 중앙처리장치, 사용자 I/F, 운영체제(미도시) 및 각종 필요 데이터를 저장하는 메모리, 외부 통신포트, 인쇄장치 I/F 등을 포함하는 하드웨어와 이를 구동하는 소프트웨어의 집합체 형태로 독자적인 기기나 범용 처리장치의 일부로 구현될 수도 있다. In the embodiments described below, the server may be implemented as a standalone device or as part of a general-purpose processing device in the form of a collection of hardware including a central processing unit, a user I/F, an operating system (not shown), a memory storing various necessary data, an external communication port, a printer I/F, etc., and software that operates the same, which performs various functions required for the present invention described below by executing various software programs and/or command sets stored in a memory section.
본 발명의 일실시예에 따른 VPS 통합 모바일 로봇 유니트(20)는 자율 주행 로봇으로 구현되고, 복수 개의 모바일 로봇 유니트(20)가 주행하는 경우 경우에 따라 주행 도착지를 포함하는 주행 정보와 태스크를 부여하도록 모바일 로봇 시스템(1)에 의하여 운용 제어되는 구성을 취할 수도 있고, 긴급 상황의 경우 모바일 로봇 시스템(1)에 의하여 개별 주행 제어가 실행되는 구성을 취할 수도 있는 등 다양한 구성이 가능하다. The VPS integrated mobile robot unit (20) according to one embodiment of the present invention is implemented as an autonomous driving robot, and may be configured to be operationally controlled by the mobile robot system (1) to assign driving information and tasks including a driving destination when multiple mobile robot units (20) are driving, and may be configured to be individually controlled by the mobile robot system (1) in the case of an emergency. Various configurations are possible, such as:
모바일 로봇 시스템(1)은 하나 이상의 모바일 로봇 유니트(20)와, 모바일 로봇 매니징 서버(10)를 포함하고, 경우에 따라 작업 관리자의 컴퓨터와 같은 관리자 단말기(30)도 전체적 시스템 내에 포함될 수 있다. 이들 모바일 로봇 시스템(1)을 구성하는 각각의 구성요소는 서로 통신망을 통하여 상호 통신 동작을 이루며 데이터의 송수신을 이룰 수 있다. The mobile robot system (1) includes one or more mobile robot units (20) and a mobile robot managing server (10), and in some cases, an administrator terminal (30), such as a task manager's computer, may also be included in the overall system. Each of the components constituting the mobile robot system (1) can perform mutual communication operations through a communication network and transmit and receive data.
통신, 통신망 내지 통신 네트워크는 예를 들어, 셀룰러 통신 프로토콜로서, 예를 들어 LTE, LTE-A, 5G, WCDMA, CDMA, UMTS, Wibro, GSM 중 적어도 하나를 포함할 수 있다. 또한, 통신 네트워크는 유선 및 무선 등과 같은 통신 유형을 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN;Personal Area Network), 근거리 통신망(LAN;Local Area Network), 도시권 통신망(MAN;Metropolitan Area Network_, 광역 통신망(WAN;Wide Area Network) 등 다양한 통신망으로 구현될 수 있고, 통신, 통신망, 통신 네트워크는 공지의 월드와이드웹(WWW;World Wide Web)일 수도 있고, 적외선(Infrared Data Association;IrDA) 또는 블루투스(Bluetooth) 내지 저전력 블루투스(Bluetooth Lowenergy)와 RF 무선 통신을 다양한 통신 방법을 포함한다. Communication, a communication network or a communication network may include, for example, a cellular communication protocol, for example, at least one of LTE, LTE-A, 5G, WCDMA, CDMA, UMTS, Wibro, and GSM. In addition, the communication network may be configured regardless of the communication type, such as wired and wireless, and may be implemented as various communication networks, such as a Personal Area Network (PAN), a Local Area Network (LAN), a Metropolitan Area Network (MAN), and a Wide Area Network (WAN). In addition, the communication, communication network or communication network may be the well-known World Wide Web (WWW), and include various communication methods, such as Infrared Data Association (IrDA) or Bluetooth or Bluetooth Lowenergy and RF wireless communication.
도 12에는 모바일 로봇 유니트(20)의 일예가 도시되고, 도 13에는 모바일 로봇 유니트(20)의 개략적인 블록 선도가 도시된다. 본 실시예에서 모바일 로봇 유니트(20)는 하나 이상이 구비되는데, 모바일 로봇 유니트(20)는 소정의 태스크 실행을 위하여 후술되는 도착지까지의 주행 제어를 통하여 자율 주행하고 안정적인 태스크 수행을 가능하게 한다. Fig. 12 illustrates an example of a mobile robot unit (20), and Fig. 13 illustrates a schematic block diagram of a mobile robot unit (20). In this embodiment, one or more mobile robot units (20) are provided, and the mobile robot unit (20) autonomously drives to a destination, which will be described later, to perform a predetermined task, thereby enabling stable task performance.
본 발명의 모바일 로봇 유니트(20)은 유니트 저장부(23)와, 유니트 제어부(22)를 포함한다. 유니트 저장부(23)는 그리드 맵 및 VPS 맵을 연동한 통합 맵을 저장하고, 유니트 제어부(22)는 통합 맵에 기초하여, 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보로부터 산출되는 VPS 위치 정보 신호를 이용하여 비교 정합되어 정밀 위치 추정을 실행한다. The mobile robot unit (20) of the present invention includes a unit storage unit (23) and a unit control unit (22). The unit storage unit (23) stores an integrated map that links a grid map and a VPS map, and the unit control unit (22) performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map and a VPS position information signal derived from surrounding environment image information.
보다 구체적으로, 본 발명의 모바일 로봇 유니트(20)는 유니트 감지부(21)와, 유니트 제어부(22)와, 유니트 저장부(23)와, 유니트 연산부(24), 유니트 입력부(25), 유니트 통신부(26), 유니트 출력부(27) 및 유니트 구동부(28)를 포함한다. More specifically, the mobile robot unit (20) of the present invention includes a unit detection unit (21), a unit control unit (22), a unit storage unit (23), a unit operation unit (24), a unit input unit (25), a unit communication unit (26), a unit output unit (27), and a unit driving unit (28).
유니트 감지부(21)는 모바일 로봇 유니트(20)의 주행 상태 및 주변 환경 정보를 취득하기 위한 감지 수단으로서, 유니트 감지부(21)는 이미지 센서(211)와 거리 측위 센서(213)를 포함한다. 이미지 센서(211)는 모바일 로봇 유니트(20)의 주행 중 주변의 이미지를 촬상하여 화상 정보를 변환 제공할 수 있다. The unit detection unit (21) is a detection means for acquiring information on the driving status and surrounding environment of the mobile robot unit (20), and the unit detection unit (21) includes an image sensor (211) and a distance measurement sensor (213). The image sensor (211) can capture an image of the surroundings while the mobile robot unit (20) is driving and convert and provide image information.
거리 측위 센서(213)는 초음파 센서, 레이저 센서 등을 통하여 거리 측위를 감지하는 범위에서 다양한 선택이 가능하나, 본 실시예에서는 레이저 센서로서의 라이다와 같은 스캔 감지 기능을 수행하는 구성요소 구현되어, 주변의 물체 등의 포인트 클라우드 형태 데이터를 추출하여 교행을 필요로 하는 반대 방향으로 주행하는 다른 모바일 로봇 유니트 내지 충돌 가능한 물체 들, 즉 주행 동작에 영향을 미치는 물체인 장애물의 존재를 감지하고, 그리드 맵 등과의 비교를 통한 현재 위치 인식을 가능하게 한다. The distance measurement sensor (213) can be selected in a variety of ways in the range of detecting distance measurement through an ultrasonic sensor, a laser sensor, etc., but in this embodiment, a component that performs a scan detection function, such as a lidar as a laser sensor, is implemented to extract point cloud data of surrounding objects, etc., and detect the presence of obstacles, that is, objects that affect driving operations, such as other mobile robot units that require crossing or objects that can collide, and enable recognition of the current location through comparison with a grid map, etc.
유니트 제어부(22)는 모바일 로봇 유니트(20)의 유니트 감지부(21)의 감지 동작 제어 신호를 인가하거나, 감지된 감지 정보를 전달받아 모바일 로봇 매니징 서버(10) 측으로 전달하여, 해당 데이터들은 모바일 로봇 매니징 서버(10)의 운용 데이터 저장 모듈(17)에 전달 저장할 수 있다. The unit control unit (22) applies a detection operation control signal to the unit detection unit (21) of the mobile robot unit (20), or receives the detected detection information and transmits it to the mobile robot managing server (10), so that the corresponding data can be transmitted and stored in the operation data storage module (17) of the mobile robot managing server (10).
본 실시예에서 모바일 로봇 유니트(20)의 주행은 유니트 제어부(22)의 관장 하에 독립 개별적 자율 주행 기능을 수행하는 구조를 이룸이 중심이나, 부분적인 주행 정보 제공 내지 주행 제어를 모바일 로봇 매니징 서버(10)에서 관장하는 경우를 취할 수도 있음은 본 기술로터 명백하다. In this embodiment, the driving of the mobile robot unit (20) is structured to perform an independent and individual autonomous driving function under the control of the unit control unit (22), but it is clear from this technology that a case may be taken where partial driving information provision or driving control is controlled by the mobile robot managing server (10).
유니트 저장부(23)는 유니트 제어부(22)의 유니트 저장 제어 신호에 따라 가동되고, 구동 동작을 위한 유니트 사전 데이터를 저장하거나 유니트 감지부(21)에서 감지된 화상 정보 내지 포인트 클라우드 형태의 감지 데이터를 저장하는 기능과 동시에, 그리드 맵 및 VPS 맵을 연동한 통합 맵 저장을 수행할 수 있다. The unit storage unit (23) is operated according to the unit storage control signal of the unit control unit (22), and has the function of storing unit pre-data for driving operation or storing image information or detection data in the form of a point cloud detected by the unit detection unit (21), and can perform integrated map storage linked to a grid map and a VPS map.
유니트 연산부(24)는 유니트 저장부에 저장된 유니트 사전 데이터 등을 활용하여 유니트 제어부(22)의 유니트 연산 제어 신호에 따라 소정의 연산 과정을 실행할 수도 있다. 또한, 유니트 입력부(25)를 통하여 사용자 내지 관리 운영자의 단말기(30)를 통한 입력 이외에 직접 모바일 로봇 유니트(20)로 직접 데이터 입력을 가능하게 할 수도 있다. The unit operation unit (24) may execute a predetermined operation process according to the unit operation control signal of the unit control unit (22) by utilizing unit dictionary data, etc. stored in the unit storage unit. In addition, the unit input unit (25) may enable direct data input into the mobile robot unit (20) in addition to input through the terminal (30) of the user or management operator.
유니트 통신부(26)는 유선, 무선 통신을 통하여 모바일 로봇 매니징 서버(10) 측과 통신을 이루어, 모바일 로봇 매니징 서버(10) 측으로부터 전달되는 동작 제어 신호를 수신하거나 모바일 로봇 유니트(20)의 유니트 감지부(21)에서 감지된 감지 데이터를 송출할 수 있다. 본 실시예에서의 유니트 통신부(26)는 이미지 센서(211)에서 감지된 주변 환경 이미지 정보를 송출하고, 후술되는 VPS 위치 정보 신호를 수신할 수도 있다. 경우에 따라 VPS 위치 정보 신호가 직접 유니트 제어부(22)에서 직접 처리되는 구조를 취할 수도 있고, 경우에 따라 모바일 로봇 매니징 서버(10)에서 빠르게 처리된 후 모바일 로봇 유니트(20)로 송출되는 구조를 취할 수도 있다. The unit communication unit (26) communicates with the mobile robot managing server (10) through wired or wireless communication, and can receive a motion control signal transmitted from the mobile robot managing server (10) or transmit detection data detected by the unit detection unit (21) of the mobile robot unit (20). The unit communication unit (26) in the present embodiment transmits surrounding environment image information detected by the image sensor (211) and can also receive the VPS location information signal described below. In some cases, the VPS location information signal may be directly processed by the unit control unit (22), or in some cases, it may be quickly processed by the mobile robot managing server (10) and then transmitted to the mobile robot unit (20).
유니트 출력부(27)는 모바일 로봇 유니트(20)에 부착되어 신호의 외부 출력을 이루는데, 유니트 출력부(27)는 스피커, 디스플레이 등의 다양한 출력 소자로 구현될 수 있다. The unit output unit (27) is attached to the mobile robot unit (20) to output signals externally. The unit output unit (27) can be implemented with various output elements such as a speaker or display.
유니트 구동부(28)는 모바일 로봇 유니트의 휠, 구동 모터, 감속기 등의 다양한 동력 생성, 동력 전달 수단을 포함한다. 도 12의 본 실시예에서 유니트 구동부(28)는 디퍼런셜 타입의 구동 유형을 취하나, 이에 국한되지 않는다. 즉, 본 실시예의 모바일 로봇 유니트(20)는 싱글 드라이브 타입, 디퍼런셜 타입, 쿼드 타입일 수도 있는 등 특정 구동 유형에 국한되지 않고 다양한 변형이 가능하다. The unit drive unit (28) includes various power generation and power transmission means such as wheels, drive motors, and reducers of the mobile robot unit. In the present embodiment of Fig. 12, the unit drive unit (28) takes a differential type drive type, but is not limited thereto. That is, the mobile robot unit (20) of the present embodiment is not limited to a specific drive type, such as a single drive type, a differential type, and a quad type, and can be modified in various ways.
한편, 본 발명의 유니트 제어부(22)는 유니트 저장부(23)에 저장되는 그리드 맵 및 VPS 맵을 연동한 통합 맵에 기초하여, 주변 환경 거리 측위 정보와, VPS 위치 정보 신호를 이용하여 특징 정보들을 비교 정합되어 현재 모바일 로봇 유니트(20)의 현재 위치에 대한 정밀 위치 추정을 실행할 수 있다. 여기서, 주변 환경 거리 측위 정보는 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 모바일 로봇 유니트(20)의 주변 환경에 대한 포인트 클라우드 데이터를 지칭한다. Meanwhile, the unit control unit (22) of the present invention can perform precise position estimation of the current position of the mobile robot unit (20) by comparing and matching feature information using the surrounding environment distance measurement information and the VPS position information signal based on an integrated map that links the grid map and the VPS map stored in the unit storage unit (23). Here, the surrounding environment distance measurement information refers to point cloud data on the surrounding environment of the mobile robot unit (20) that is executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28).
앞서 기술한 바와 같이, 유니트 감지부(21)는 이미지 센서(211)와, 거리 측위 센서(213)를 포함하는데, 이미지 센서(211)는 주변 환경의 이미지 정보를 감지하고, 거리 측위 센서(213)는 주변 환경 거리 측위 정보를 감지한다. As described above, the unit detection unit (21) includes an image sensor (211) and a distance measurement sensor (213). The image sensor (211) detects image information of the surrounding environment, and the distance measurement sensor (213) detects distance measurement information of the surrounding environment.
도 6에 도시된 바와 같이 그리드 맵은 거리 측위 센서(213)에 감지된 포인트 클라우드 데이터를 이용하여 주변 환경 거리 측위 정보를 통하여 형성된다. As shown in Fig. 6, the grid map is formed through the surrounding environment distance measurement information using point cloud data detected by the distance measurement sensor (213).
또한, 도 7에는 이미지 정보에서 취득되는 비쥬얼 특징 정보들, 예를 들어 꼭지점 또는 선 등과 같은 비쥬얼 특징 정보 중 중요도가 높은 비쥬얼 특징점들이 취득 확인된 상태가 도시되고, 도 8에는 도 7에서와 가은 비쥬얼 특징 정보가 포함되는 VPS 맵이 도시되는데, VPS 위치 정보 신호는 취득한 주변 환경 이미지 정보 내 특징점들을 비쥬얼 맵으로서의 VPS 맵(Visual Positioning System map) 상에서 비쥬얼 특징들과 비교 정합하여 확인된 위치 정보를 지칭한다. In addition, FIG. 7 illustrates a state in which visual feature information acquired from image information, such as vertices or lines, among visual feature information having high importance, has been acquired and confirmed, and FIG. 8 illustrates a VPS map including visual feature information similar to that in FIG. 7, and the VPS location information signal refers to location information that has been confirmed by comparing and matching feature points in acquired surrounding environment image information with visual features on a VPS map (Visual Positioning System map) as a visual map.
본 발명의 유니트 제어부(22)는 통합 맵을 사용한다. 여기서, 통합 맵은 그리드 맵과 VPS 맵을 연동시켜 도출된 통합 지도로서, 본 발명의 일실시예에서 유니트 저장부(23)에 입력 저장되어 유니트 제어부(22)가 위치 추정을 실시하는 경우 사용되는 레퍼런스 맵으로 사용될 수도 있다. The unit control unit (22) of the present invention uses an integrated map. Here, the integrated map is an integrated map derived by linking a grid map and a VPS map, and in one embodiment of the present invention, it may be input and stored in the unit storage unit (23) and used as a reference map when the unit control unit (22) performs location estimation.
통합 맵의 작성은 모바일 로봇 유니트(20)에서 직접 실행될 수도 있으나, 연산 부하 내지 처리 시간의 문제로 인하여 그리드 맵과 VPS 맵의 연동을 통한 통합 맵 도출은 모바일 로봇 매니징 서버(10)에서 실행되는 구조를 취할 수도 있다. The creation of an integrated map may be executed directly on the mobile robot unit (20), but due to problems of computational load or processing time, the derivation of an integrated map through linking the grid map and the VPS map may be structured to be executed on the mobile robot managing server (10).
도 9 및 도 10에는 VPS 맵과 그리드 맵에서 각각 맵 특징이 도출된 경우가 상태가 도시된다. 즉, 도 9에서 VPS 특징을 포함하는 VPS 맵으로부터 도면 부호 VOL로 표시되는 VPS 맵 특징이 추출될 수 있고, 도 10에 도시되는 바와 같이 그리드 맵으로부터 그리드 맵 특징으로서 외곽선 특징(feature)가 추출될 수 있다. 여기서, VPS 맵 특징과 그리드 맵 특징과 같은 외곽선 특징은 본 실시예에서 캐니 엣지(Canny edge)를 이용한 방식으로 추출되었으나, 본 발명이 이에 국한되는 것은 아니다. FIGS. 9 and 10 illustrate a case where map features are derived from a VPS map and a grid map, respectively. That is, a VPS map feature indicated by the reference symbol VOL in FIG. 9 can be extracted from a VPS map including a VPS feature, and an outline feature can be extracted as a grid map feature from a grid map as illustrated in FIG. 10. Here, outline features such as VPS map features and grid map features are extracted using a Canny edge in this embodiment, but the present invention is not limited thereto.
그런 후 각각의 외곽선 특징들의 포인트 간 ICP 정합을 통하여 도 11에서와 같이 두 개의 맵이 연동 통합되는 통합 맵이 도출될 수 있다. 즉, 외곽선 특징의 ICP 정합을 통하여 이루어지는데, 본 실시예에서 통합 맵은, 그리드 맵에서 추출되는 그리드 맵 특징과, VPS 맵에서 추출되는 VPS 맵 특징을 ICP 알고리즘을 이용하여 비교 정합하여 연동 산출된다. Then, through ICP matching between the points of each outline feature, an integrated map can be derived in which the two maps are linked and integrated, as in Fig. 11. That is, it is achieved through ICP matching of outline features. In this embodiment, the integrated map is linked and produced by comparing and matching grid map features extracted from the grid map and VPS map features extracted from the VPS map using the ICP algorithm.
한편, 본 발명의 유니트 제어부(22)는 도 13에 도시된다. 보다 구체적으로, 도 13에 도시되는 바와 같이 유니트 제어부(22)는 주행 제어 모듈(221)과, 위치 추정 모듈(223)과, 위치 확인 모듈(225)를 포함한다. 주행 제어 모듈(221)는 설정된 도착지 정보를 이용하여 유니트 구동부(28)에 주행 제어 신호를 인가한다. Meanwhile, the unit control unit (22) of the present invention is illustrated in Fig. 13. More specifically, as illustrated in Fig. 13, the unit control unit (22) includes a driving control module (221), a position estimation module (223), and a position confirmation module (225). The driving control module (221) applies a driving control signal to the unit driving unit (28) using the set destination information.
위치 추정 모듈(223)은 도착지까지 주행하는 과정 중 주변 환경 거리 측위 정보로부터 거리 측위 특징을 추출하고, 통합 맵을 이용하여 거리 측위 특징 및 VPS 위치 정보 신호를 이용 비교 정합하여 현재 추정 위치를 산출한다. The location estimation module (223) extracts distance measurement features from the surrounding environment distance measurement information during the process of driving to the destination, and compares and matches the distance measurement features and VPS location information signals using an integrated map to calculate the current estimated location.
위치 확인 모듈(225)은 위치 추정 모듈(223)에서 산출된 위치를 컨펌 확인한다. 즉, 유니트 구동부를 통하여 시간 주기마다 이동 가능한 영역이 구획 가능한데, 만약 새로이 갱신된 위치 정보가 비현실적 위치 이동을 이룬 것으로 판단되는 경우 위치 확인 모듈(225)은 비정상 알림을 실행하거나, 위치 추정 모듈(223)로 하여금 위치 추정의 재실행을 요청할 수도 있다. The location confirmation module (225) confirms the location calculated by the location estimation module (223). That is, a region that can move at each time period can be demarcated through the unit driving unit. If it is determined that newly updated location information has made an unrealistic location movement, the location confirmation module (225) may execute an abnormal notification or request the location estimation module (223) to re-execute location estimation.
보다 구체적으로, 본 실시예에서 위치 추정 모듈(223)은 데이터 특징 추출부(2231)와, 특징 비교 정합부(2233)와, 추정 위치 산출부(2235)를 포함한다. More specifically, in this embodiment, the location estimation module (223) includes a data feature extraction unit (2231), a feature comparison matching unit (2233), and an estimated location calculation unit (2235).
데이터 특징 추출부(2231)는 도착지까기 주행 중 적어도 거리 측위 정보에서 거리 측위 특징을 추출한다. 즉, 유니트 감지부(21)의 거리 측위 센서(213)로부터 감지된 포인트 클라우드 형태의 주변 환경 거리 측위 정보로부터 특징으로 추출한다. The data feature extraction unit (2231) extracts distance measurement features from at least the distance measurement information during driving to the destination. That is, it extracts features from the surrounding environment distance measurement information in the form of a point cloud detected by the distance measurement sensor (213) of the unit detection unit (21).
유니트 제어부(22)의 위치 추정 모듈(223)의 특징 비교 정합부(2233)는 도착지까기 주행 중 추출되는 거리 측위 특징을 비교 정합시킨다. 즉, 주행 중 시간 t-1, t, t+1.. 등 모바일 로봇 유니트(20)의 주행 시간 순으로 검출된 거리 측위 특징 들 간의 비교 정합을 실행한다. The feature comparison matching unit (2233) of the position estimation module (223) of the unit control unit (22) compares and matches distance measurement features extracted during driving to the destination. That is, it performs comparison and matching between distance measurement features detected in the order of driving time of the mobile robot unit (20), such as time t-1, t, t+1, etc. during driving.
추정 위치 산출부(2235)는 특징 비교 정합부(2233)에서 비교 정합되는 거리 측위 특징 정보를 이용하여 로봇의 배향 및 위치를 산출한다. 즉, 특징 비교 정합부(2233)에서 비교 정합된 거리 측위 특징 간의 상대적 위치 변화를 통하여 현재 모바일 로봇 유니트(20)의 위치 정보를 확인 도출한다. 본 실시예에서 이러한 거리 측위 특징 간의 비교 정합은 ICP(Iterative Closest POint) 알고리즘을 통하여 ICP 정합 방식을 사용하였으나, 본 발명의 비교 정합은 이에 국한되지 않고 다양한 선택이 가능하다. The estimated position calculation unit (2235) calculates the orientation and position of the robot using the distance measurement feature information compared and matched by the feature comparison and matching unit (2233). That is, the position information of the current mobile robot unit (20) is confirmed and derived through the relative position change between the distance measurement features compared and matched by the feature comparison and matching unit (2233). In this embodiment, the comparison and matching between these distance measurement features uses the ICP (Iterative Closest POint) algorithm and the ICP matching method, but the comparison and matching of the present invention is not limited to this and various selections are possible.
또한, 본 실시예의 경우 거리 측위 특징 간의 비교 정합 이외에 추정 위치 산출부(2235)는 특징 비교 정합부(2233)에서 비교 정합되는 거리 측위 특징 정보 및 VPS 위치 정보 신호를 이용하여 배향 정보 및 위치 정보를 산출할 수 있다. 즉, In addition, in the case of the present embodiment, in addition to comparing and matching between distance measurement features, the estimated position calculation unit (2235) can calculate orientation information and position information using the distance measurement feature information and VPS position information signal compared and matched by the feature comparison and matching unit (2233). That is,
여기서, 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보는 유니트 감지부(21)에 의하여 감지되는데, 앞서 기술한 바와 같이, 유니트 감지부(21)는 이미지 센서(211)와, 거리 측위 센서(213)를 포함한다. 이미지 센서(211)에서 취득된 이미지 정보는 직접 유니트 제어부(22)에서 VPS 위치 정보가 연산 취득될 수도 있으나, 모바일 로봇 매니징 서버(10)로 전송되어 VPS 맵을 통한 VPS 위치 정보가 산출되고 후술되는 서버의 운용 통신 모듈(19)에서 송신되고 유니트 통신부(26)를 통하여 수신됨으로써 위치 추정에 사용될 수도 있다. Here, the surrounding environment distance measurement information and the surrounding environment image information are detected by the unit detection unit (21), and as described above, the unit detection unit (21) includes an image sensor (211) and a distance measurement sensor (213). The image information acquired by the image sensor (211) may be directly acquired by the unit control unit (22) through calculation of VPS location information, but may also be transmitted to the mobile robot managing server (10) to calculate VPS location information through a VPS map, and transmitted by the server's operation communication module (19) described below and received through the unit communication unit (26), thereby being used for location estimation.
특히, 본 실시예의 경우 추정 위치 산출부(2235)에서 사용되는 VPS 위치 정보 신호의 갱신 주기는 거리 측위 특징 정보의 갱신 주기보다 길다. VPS 위치 정보 신호를 이용한 위치 추정 주기 사이의 세부 시간 주기마다의 위치 추정은 거리 측위 센서로부터 도출되는 포인트 클라우드로서의 주변 환경 거리 측위 정보에서 도출되는 특징의 시간적 상대 위치 변화를 통하여 도출될 수 있다. In particular, in the case of the present embodiment, the update cycle of the VPS location information signal used in the estimated location calculation unit (2235) is longer than the update cycle of the distance measurement feature information. The location estimation for each detailed time period between the location estimation cycles using the VPS location information signal can be derived through the temporal relative position change of the feature derived from the surrounding environment distance measurement information as a point cloud derived from the distance measurement sensor.
본 발명의 경우, 이와 같은 VPS 위치 정보 신호의 수신 주기 사이의 위치 추정에 있어 사용되는 거리 측위 센서가 감지하는 영역의 범위는 모바일 로봇 유니트(20)의 기구학적 구동 유형에 따라 변화될 수 있다. 즉, 모바일 로봇 유니트(20)에 의하여 주변 환경 거리 측위 정보를 감지하는 경우, 모바일 로봇 유니트(20)의 기구학적 특성, 즉 구동 유형에 따라 샘플링 레인지가 선택될 수 있다. 샘플링 레인지는 지면에 투영시 원형 레인지, 타원형 레인지 및 호상 레인지 중의 하나 이상일 수 있다. 여기서, 샘플링 레인지의 형상은 주사되는 영역의 조향 범위를 고려한 총합적 형태의 커버리지를 지칭하는 것일 수 있다. In the case of the present invention, the range of the area detected by the distance measurement sensor used for position estimation between the reception cycles of such VPS position information signals may vary depending on the kinematic drive type of the mobile robot unit (20). That is, when the surrounding environment distance measurement information is detected by the mobile robot unit (20), the sampling range may be selected depending on the kinematic characteristics of the mobile robot unit (20), that is, the drive type. The sampling range may be at least one of a circular range, an elliptical range, and an arc-shaped range when projected onto the ground. Here, the shape of the sampling range may refer to a comprehensive form of coverage that takes into account the steering range of the area being scanned.
도 22, 도 26 내지 도 29에는 모바일 로봇 유니트(10)의 유니트 구동부(28)의 기구학적 구동 유형에 따른 샘플링 레인지의 변화가 도시된다. 도 22에는 시간 t-1에서의 샘플링 레인지가 호상을 취하는 경우가 도시되는데, 시간 t-1에서 감지되는 거리 측위 센서의 감지 영역으로서의 샘플링 레인지를 호상으로 형성하여 시간 t에서 이동할 수 있는 영역의 범주 내가능한 최대 중첩되도록 형성함으로써 보다 정확한 위치 추정을 가능하게 할 수 있다. FIG. 22, FIG. 26 to FIG. 29 illustrate changes in sampling ranges according to the kinematic driving type of the unit driving unit (28) of the mobile robot unit (10). FIG. 22 illustrates a case where the sampling range at time t-1 takes an arc, and by forming the sampling range as a detection area of the distance measurement sensor detected at time t-1 into an arc and forming it so as to overlap as much as possible within the range of the area that can move at time t, more accurate position estimation can be enabled.
도 23에 도시되는 바와 같이, 통합 맵(IM) 상에 모바일 로봇 유니트(20)가 도시되는데, 모바일 로봇 유니트(20)는 기구학적 구동 유형에 따라 샘플링 레인지(SR)를 설정한다. 도 24에 도시되는 바와 같이, 샘플링 레인지(SR)에서 감지되는 주변 환경 거리 측위 정보를 이용하여 특징(F1,F2)를 추출하고 통합 맵(IM)을 이용하여 특징의 시간별 위치 변화 확인을 통해, 도 25에 도시되는 바와 같이 모바일 로봇 유니트(20)의 정확한 위치(P) 보정이 이루어질 수 있다. As illustrated in Fig. 23, a mobile robot unit (20) is depicted on an integrated map (IM), and the mobile robot unit (20) sets a sampling range (SR) according to a kinematic drive type. As illustrated in Fig. 24, by using the surrounding environment distance measurement information detected in the sampling range (SR), features (F1, F2) are extracted, and by using the integrated map (IM) to confirm the change in the position of the features over time, accurate position (P) correction of the mobile robot unit (20) can be performed, as illustrated in Fig. 25.
도 26 내지 도 30에는 구동 휠의 배치 위치 및 조향 휠의 배치 위치가 상이한 구동 유형에 따른 샘플링 레인지(SR1,SR2,SR3,SR4,SR5)의 변형예가 다양하게 도시된다. 구동 유형에 따라 각각의 샘플링 레인지(SR1,SR2,SR3,SR4,SR5)에 대하여 조향 최대각(Max,St1;Max,St2;Max,St3;Max,St4;Max,St5)을 구비하고, 각각의 영역에 대하여 시간 t로 시간 t+1, 시간 t+2,...까지 이동하는 동안의 트래젝토리(TRJ1,TRJ2,TRJ3,TRJ4,TRJ5)를 구비한다. 각각의 구동 유형에 따른 기구학적 거동 특성이 상이하여 구동 유형에 따라 적절한 샘플링 레인지의 선택을 통하여 세부 주기 이후 모바일 로봇 유니트가 이동할 확률이 높은 영역에 대한 거리 측위 정보 및 이미지 정보를 취득하여 보다 정밀한 위치 추정을 가능하게 할 수 있다. FIGS. 26 to 30 illustrate various variations of sampling ranges (SR1, SR2, SR3, SR4, SR5) according to the driving types in which the arrangement positions of the driving wheels and the arrangement positions of the steering wheels are different. According to the driving type, each sampling range (SR1, SR2, SR3, SR4, SR5) has a maximum steering angle (Max, St1; Max, St2; Max, St3; Max, St4; Max, St5), and for each area, a trajectory (TRJ1, TRJ2, TRJ3, TRJ4, TRJ5) while moving from time t to
또 한편, 본 발명의 모바일 로봇 유니트(20)는 드론 맵핑 유니트(20a,20a')를 더 구비할 수 있다. 드론 맵핑 유니트(20a,20a')는 그리드 맵 및 VPS 맵을 형성하기 위한 주변 환경 정보를 취득 가능하다. 즉, 본 발명의 모바일 로봇 유니트(20)가 직접 주행하여 해당 주변 환경에 대한 그리드 맵 및 VPS 맵을 형성하기 위한 거리 측위 정보 및 이미지 정보를 취득할 수도 있으나, 경우에 따라 주변 환경에 대한 주변 환경 정보를 취득하는 서브 유니트를 더 포함할 수도 있다. Meanwhile, the mobile robot unit (20) of the present invention may further include a drone mapping unit (20a, 20a'). The drone mapping unit (20a, 20a') may acquire surrounding environment information for forming a grid map and a VPS map. That is, the mobile robot unit (20) of the present invention may directly drive and acquire distance measurement information and image information for forming a grid map and a VPS map for the surrounding environment, but may further include a sub-unit for acquiring surrounding environment information for the surrounding environment depending on the case.
즉, 도 32에 도시되는 바와 같이 본 발명의 모바일 로봇 유니트(20)의하우징의 측부에는 개방 가능한 유니트 인출부(20b)가 형성되고, 유니트 인출부(20b)에 드론 맵핑 유니트(20a)가 인출 가능하게 배치된다. That is, as illustrated in Fig. 32, an openable unit withdrawal portion (20b) is formed on the side of the housing of the mobile robot unit (20) of the present invention, and a drone mapping unit (20a) is positioned in a withdrawable manner on the unit withdrawal portion (20b).
보다 구체적으로, 도 33에 도시되는 바와 같이 본 발명의 드론 맵핑 유니트(20a)는 드론 유니트 감지부(21)와, 드론 유니트 제어부(22)와, 드론 유니트 저장부(23)와, 드론 유니트 연산부(24), 드론 유니트 입력부(25), 드론 유니트 통신부(26), 드론 유니트 출력부(27) 및 드론 유니트 구동부(28)를 포함하며, 이의 구성 및 기능은 앞서 기술된 모바일 로봇 유니트의 구성과 동일 내지 실질적으로 동일한 바 중복된 설명은 생략한다. More specifically, as illustrated in FIG. 33, the drone mapping unit (20a) of the present invention includes a drone unit detection unit (21), a drone unit control unit (22), a drone unit storage unit (23), a drone unit operation unit (24), a drone unit input unit (25), a drone unit communication unit (26), a drone unit output unit (27), and a drone unit driving unit (28), and the configuration and function thereof are identical or substantially identical to those of the mobile robot unit described above, and therefore, a duplicate description is omitted.
이와 같이, 드론 유니트 감지부(21a)에서 감지된 거리 측위 정보 및 이미지 정보는 드론 유니트 통신부(26a)를 통하여 모바일 로봇 유니트(20)로 또는 모바일 로봇 매니징 서버(10)의 운용 서버 통신 모듈(19)을 통하여 운용 제어부(11) 및 운용 데이터 저장 모듈(17)로 전달되고 그리드 맵 및 VPS 맵을 형성 가능하게 할 수 있다. In this way, the distance measurement information and image information detected by the drone unit detection unit (21a) are transmitted to the mobile robot unit (20) through the drone unit communication unit (26a) or to the operation control unit (11) and operation data storage module (17) through the operation server communication module (19) of the mobile robot managing server (10), and can enable the formation of a grid map and a VPS map.
도 32의 경우 도로 직접 주행 방식을 이용하였으나, 경우에 따라 도 34에 도시되는 바와 같이 드론 맵핑 유니트(20b)는 비행 방식의 드론 맵핑 유니트로 구현될 수도 있는 등 다양한 변형이 가능하다. In the case of Fig. 32, a direct road driving method was used, but in some cases, as shown in Fig. 34, the drone mapping unit (20b) may be implemented as a flying drone mapping unit, and various modifications are possible.
이하에서는 도면을 참조하여 본 발명의 모바일 로봇 유니트의 제어 방법을 설명한다. Hereinafter, a method for controlling a mobile robot unit of the present invention will be described with reference to the drawings.
먼저, 도 15에 도시되는 바와 같이 본 발명의 모바일 로봇 유니트 제어 방법은 제공 단계(S10)와, 준비 단계(S20)와, 주행 제어 단계(S30)을 포함한다. First, as illustrated in Fig. 15, the mobile robot unit control method of the present invention includes a providing step (S10), a preparation step (S20), and a driving control step (S30).
제공 단계(S10)에서는 그리드 맵 및 VPS 맵을 연동한 통합 맵을 저장하는 유니트 저장부(23)와, 위치 추정 및 주행 제어를 실행하는 유니트 제어부(22)를 포함하는 모바일 로봇 유니트(20)가 제공된다. 모바일 로봇 유니트(20)에 대하여는 상술한 바, 상기로 대체하여 중복된 설명은 생략한다. In the provision step (S10), a mobile robot unit (20) is provided, which includes a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that executes position estimation and driving control. The mobile robot unit (20) has been described above, and thus, duplicate descriptions thereof are omitted.
그런 후, 준비 단계(S20)가 실행되는데, 준비 단계(S20)에서는 적어도, 도착지까지 주행을 위한 주행 정보 및 유니트 구동부(28)의 기구학적 구동 유형이 확인된다. 여기서 주행을 위한 주행 정보는 모바일 로봇 유니트(20)가 주행하여야 하는 도착지 정보 및 실행해야 하는 태스크 등을 지칭하고, 유니트 구동부(28))의 기구학적 구동 유형은 쿼드 타입, 싱글 타입 등과 같은 구동 종류 및/또는 스티어링 유형을 지칭하는데, 이러한 유형에 따라 구동 및/또는 조향에 따라 이동하여야 하는 차후 위치 후보군이 변화하며 이에 따라 샘플링 레인지를 변화시켜 보다 정밀한 위치 추정을 가능하게 할 수 있다. After that, a preparation step (S20) is executed, in which at least the driving information for driving to the destination and the kinematic driving type of the unit driving unit (28) are confirmed. Here, the driving information for driving refers to the destination information to which the mobile robot unit (20) must drive and the task to be executed, and the kinematic driving type of the unit driving unit (28) refers to a driving type such as a quad type, a single type, etc. and/or a steering type. Depending on the type, a group of future position candidates to be moved according to the driving and/or steering changes, and accordingly, the sampling range can be changed to enable more precise position estimation.
보다 구체적으로, 준비 단계(S20)는 유형 확인 단계(S21)와, 주행 정보 확인 단계(S23)를 포함한다. 도 16에 도시되는 바와 같이, 유형 확인 단계(S21)에서는 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지가 확인된다. More specifically, the preparation step (S20) includes a type confirmation step (S21) and a driving information confirmation step (S23). As illustrated in Fig. 16, in the type confirmation step (S21), a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) is confirmed.
보다 상세하게, 도 17에 도시되는 바와 같이 유형 확인 단계(S21)는 유니트 유형 체크 단계(S211)와, 샘플링 레인지 셀렉션 단계(S213)를 포함한다. In more detail, as illustrated in Fig. 17, the type verification step (S21) includes a unit type check step (S211) and a sampling range selection step (S213).
유니트 유형 체크 단계(S211)에서는 유니트 구동부(28)의 기구학적 구동 유형이 확인된다. 유니트 구동부(28)의 기구학적 구동 유형은 유니트 저장부(23)에 저장되는 사전 설정 저장 정보에 포함될 수도 있고, 유니트 입력부(25)를 통하여 입력되는 데이터로 구현될 수도 있다. 즉, 유니트 제어부(22)의 주행 제어 모듈(221)은 해당 정보를 유니트 저장부(23) 등에 저장되는 사전 설정 데이터로부터 확인할 수 있다. In the unit type check step (S211), the kinematic drive type of the unit drive unit (28) is confirmed. The kinematic drive type of the unit drive unit (28) may be included in the preset storage information stored in the unit storage unit (23), or may be implemented as data input through the unit input unit (25). That is, the driving control module (221) of the unit control unit (22) can confirm the corresponding information from the preset data stored in the unit storage unit (23), etc.
샘플링 레인지 셀렉션 단계(S213)에서는 유니트 유형 체크 단계(S211)에서 확인된 유니트 구동부(28)의 기구학적 구동 유형에 대응하는 샘플링 레인지가 선택된다. 샘플링 레인지의 유형 정보도 유니트 저장부(23)에 저장되는 사전 설정 저장 정보에 포함될 수도 있고, 유니트 입력부(25)를 통하여 입력되는 데이터로 구현될 수도 있다. 즉, 유니트 제어부(22)의 주행 제어 모듈(221)은 해당 정보를 유니트 저장부(23) 등에 저장되는 사전 설정 데이터로부터 확인할 수 있다. In the sampling range selection step (S213), a sampling range corresponding to the kinematic drive type of the unit drive unit (28) confirmed in the unit type check step (S211) is selected. The type information of the sampling range may also be included in the preset storage information stored in the unit storage unit (23), or may be implemented as data input through the unit input unit (25). That is, the driving control module (221) of the unit control unit (22) can confirm the corresponding information from the preset data stored in the unit storage unit (23), etc.
그런후 주행 정보 확인 단계(S23, 도 16 참조)가 실행되는데, 주행 정보 확인 단계(S23)에서는 적어도 도착지 정보를 포함하는 주행 정보가 확인되며, 이는 유니트 저장부(23)에 저장되는 사전 설정 저장 정보에 포함될 수도 있고, 유니트 입력부(25)를 통하여 입력되는 데이터로 구현될 수도 있고, 유니트 통신부(26)를 통하여 모바일 로봇 매니징 서버(10)로부터 수신되어 유니트 저장부(23)에 저장되는 구조를 취할 수도 있다. 즉, 유니트 제어부(22)의 주행 제어 모듈(221)은 해당 정보를 유니트 저장부(23) 등에 저장되는 사전 설정 데이터 내지 갱신 저장되는 데이터로부터 확인할 수 있다. After that, a driving information confirmation step (S23, see FIG. 16) is executed. In the driving information confirmation step (S23), driving information including at least destination information is confirmed. This may be included in preset storage information stored in the unit storage unit (23), may be implemented as data input through the unit input unit (25), or may be structured to be received from the mobile robot managing server (10) through the unit communication unit (26) and stored in the unit storage unit (23). That is, the driving control module (221) of the unit control unit (22) can confirm the corresponding information from preset data or updated stored data stored in the unit storage unit (23), etc.
한편, 경우에 따라 도 18에 도시되는 바와 같이 맵 준비 단계(S25)가 더 포함될 수 있다. 맵 준비 단계(S25)에서 그리드 맵 및 VPS 맵이 준비되고, 그리드 맵 및 VPS 맵을 비교 정합하여 통합 맵이 준비된다. Meanwhile, in some cases, a map preparation step (S25) may be further included as illustrated in Fig. 18. In the map preparation step (S25), a grid map and a VPS map are prepared, and an integrated map is prepared by comparing and matching the grid map and the VPS map.
보다 상세하게, 도 19에 도시되는 바와 같이 맵 준비 단계(S25)는 그리드 맵 및 VPS 맵 확인 단계(S251)와, 맵 특징 추출 단계(S253)와, 맵 특징 정합 단계(S255)와, 통합 맵 산출 단계(S257)를 포함하는데, 먼저 그리드 맵 및 VPS 맵 확인 단계(S251)에서는 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 그리드 맵 및 VPS 맵이 확인된다. In more detail, as illustrated in FIG. 19, the map preparation step (S25) includes a grid map and VPS map verification step (S251), a map feature extraction step (S253), a map feature matching step (S255), and an integrated map calculation step (S257). First, in the grid map and VPS map verification step (S251), a grid map and VPS map for the surrounding environment in which the mobile robot unit (20) is to drive are verified.
맵 특징 추출 단계(S253)에서는 그리드 맵 및 VPS 맵에서 특징을 추출된다. 특징 추출에 있어 상기한 바와 같이 캐니 엣지(Canny edge)를 이용한 방식으로 추출되었으나, 본 발명이 이에 국한되는 것은 아니다. In the map feature extraction step (S253), features are extracted from the grid map and the VPS map. As described above, features are extracted using the Canny edge, but the present invention is not limited thereto.
맵 특징 정합 단계(S255)에서는 맵 특징 추출 단계(S253)에서 추출된 맵 특징이 비교 정합된다. In the map feature matching step (S255), the map features extracted in the map feature extraction step (S253) are compared and matched.
통합 맵 산출 단계(S257)에서는 맵 특징 정합 단계(S255)에서 정합된 정합 특징을 중심으로 그리드 맵과 VPS 맵을 연동시켜 통합 맵이 산출된다. 이러한 맵 준비 단계는 유니트 제어부(22)에 의하여 실행될 수도 있으나, 데이터 처리량 및 처리 속도 등을 고려하여 모바일 로봇 매니징 서버(10)에서 실행되고 유니트 저장부(23)에 탑재 저장되는 구조를 취할 수도 있는 등 설계 사양에 따라 다양한 선택이 가능하다. In the integrated map generation step (S257), the integrated map is generated by linking the grid map and the VPS map based on the matching features aligned in the map feature matching step (S255). This map preparation step may be executed by the unit control unit (22), but considering the data processing amount and processing speed, etc., it may be executed by the mobile robot managing server (10) and stored in the unit storage unit (23), and various options are possible depending on the design specifications.
그런 후, 모바일 로봇 유니트(20)의 도착지까지의 자율 주행 동작을 제어하는 주행 제어 단계(S30)가 실행된다. 즉, 주행 제어 단계(S30)에서는 도착지까지 주행 제어를 실행하고, 통합 맵에 기초하여, 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보로부터 산출되는 VPS 위치 정보 신호를 이용하여 비교 정합되어 정밀 위치 추정을 실행하는 정밀 위치 추정을 실행한다.After that, a driving control step (S30) is executed to control the autonomous driving operation of the mobile robot unit (20) to the destination. That is, in the driving control step (S30), driving control to the destination is executed, and a precise position estimation is executed by comparing and matching the surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic driving type of the unit driving unit (28) based on the integrated map and the VPS position information signal calculated from the surrounding environment image information.
도 20에는 주행 제어 단계(S30)의 세부 단계가 도시된다. 주행 제어 단계(S30)는 초기 VPS 위치 정보 확인 단계(S31)와 주행 드라이브 단계(S33)와 주행 위치 추정 단계(S35)와 도달 확인 단계(S37)를 포함한다. Fig. 20 illustrates detailed steps of the driving control step (S30). The driving control step (S30) includes an initial VPS position information confirmation step (S31), a driving drive step (S33), a driving position estimation step (S35), and an arrival confirmation step (S37).
먼저, 초기 VPS 위치 정보 확인 단계(S31)에서는 주행 시작시 VPS 위치 정보를 수신하여 현재 위치 정보가 확인된다. 유니트 제어부(22)의 위치 추정 모듈(223)이 직접 초기 VPS 위치 정보를 생성할 수도 있으나, 본 실시예에서는 모바일 로봇 매니징 서버(10)를 통한 VPS 위치 정보 처리 구조를 형성한다. 즉, 유니트 감지부(21)의 이미지 센서(211)에서 취득한 이미지 정보는 유니트 통신부(26)를 통하여 모바일 로봇 매니징 서버(10)로 전달되고 신호 처리되어 소정의 비쥬얼 기반 VPS 위치 정보가 산출되어 운용 통신 모듈(19)을 통하여 모바일 로봇 유니트(20)로 송수신될 수 있다. First, in the initial VPS location information confirmation step (S31), the current location information is confirmed by receiving the VPS location information at the start of driving. The location estimation module (223) of the unit control unit (22) may directly generate the initial VPS location information, but in this embodiment, a VPS location information processing structure is formed through the mobile robot managing server (10). That is, the image information acquired from the image sensor (211) of the unit detection unit (21) is transmitted to the mobile robot managing server (10) through the unit communication unit (26), and is signal-processed to produce predetermined visual-based VPS location information, which can be transmitted and received to the mobile robot unit (20) through the operation communication module (19).
주행 드라이브 단계(S33)에서는 도착지까지 모바일 로봇 유니트(20)가 주행하도록 주행 드라이브 제어 실행된다. 즉, 주행 제어 모듈(221)은 유니트 구동부(28)에 구동 제어 신호를 인가하여 소정의 주행 내지 정지 내지 조향 동작 제어를 실행한다. In the driving drive stage (S33), driving drive control is executed so that the mobile robot unit (20) drives to the destination. That is, the driving control module (221) applies a driving control signal to the unit driving unit (28) to execute a predetermined driving, stopping, or steering operation control.
주행 위치 추정 단계(S35)에서는 주행 드라이브 실행과 동시에, 통합 맵에 기초하여, 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, VPS 위치 정보 신호를 이용하여 특징 정보를 비교 정합되어 정밀 위치 추정을 실행하는 정밀 위치 추정을 실행한다. In the driving position estimation step (S35), while the driving drive is being executed, a precise position estimation is executed by comparing and matching the surrounding environment distance measurement information executed through the sampling range based on the integrated map and the feature information using the VPS position information signal.
도달 확인 단계(S37)에서는 모바일 로봇 유니트(20)가 도착지에 도달했는지 여부가 확인된다. 유니트 제어부(22)의 주행 제어 모듈(221)은 유니트 저장부(23)에 저장되는 주행 정보 및 현재 추정 위치 정보로부터 현재 모바일 로봇 유니트(20)가 도착지에 도달했는지 여부를 확인한다. 이때, 주행 제어 모듈(221)이 현재 모바일 로봇 유니트(20)가 도착지에 도달하지 못했다고 판단하는 경우, 제어 흐름은 단계 S33으로 전환되어 주행 드라이브 및 주행 위치 추정 단계를 반복한다. In the arrival confirmation step (S37), it is confirmed whether the mobile robot unit (20) has reached the destination. The driving control module (221) of the unit control unit (22) confirms whether the current mobile robot unit (20) has reached the destination from the driving information and current estimated position information stored in the unit storage unit (23). At this time, if the driving control module (221) determines that the current mobile robot unit (20) has not reached the destination, the control flow switches to step S33 to repeat the driving drive and driving position estimation steps.
반면, 주행 제어 모듈(221)이 현재 모바일 로봇 유니트(20)가 도착지에 도달했다고 판단하는 경우, 제어 흐름은 단계 S38로 전환되어 주행을 종료하고, 태스크를 실행하는 태스크 실행 단계(S39)를 수행한다. On the other hand, if the driving control module (221) determines that the current mobile robot unit (20) has reached the destination, the control flow switches to step S38 to end driving and perform a task execution step (S39) to execute a task.
여기서, 주행 위치 추정 단계(S35)의 세부 단계는 도 21 및 도 31에 도시된다. 주행 위치 추정 단계(S35)는 샘플링 레인지 스캔 단계(S351)와,주행 정합 단계(S353)과, VPS 위치 정보 확인 단계(S355)와, 정밀 정합 단계(S357)와, 정밀 위치 갱신 단계(S359)를 포함한다. Here, the detailed steps of the driving position estimation step (S35) are illustrated in FIG. 21 and FIG. 31. The driving position estimation step (S35) includes a sampling range scan step (S351), a driving alignment step (S353), a VPS position information confirmation step (S355), a precision alignment step (S357), and a precision position update step (S359).
샘플링 레인지 스캔 단계(S351)에서는 유니트 감지부(21)의 거리 측위 센서(213)를 통하여 샘플링 레인지로 거리 측위를 실행하여 주변 환경 거리 측위 정보가 산출된다. 도 22에 도시된 바와 같이, 도 26 내지 도 29의 구동 유형에 따라 선택되는 샘플링 레인지로 거리 측위 센서(213)를 통하여 거리 측위를 실행하여 주변 환경 거리 측위 정보가 취득된다. 샘플링 레인지는 지면에 투영시 원형 레인지, 타원형 레인지 및 호상 레인지 중의 하나 이상일 수 있다. In the sampling range scan step (S351), distance measurement is performed in the sampling range through the distance measurement sensor (213) of the unit detection unit (21), and the surrounding environment distance measurement information is calculated. As illustrated in Fig. 22, the surrounding environment distance measurement information is acquired by performing distance measurement through the distance measurement sensor (213) in the sampling range selected according to the driving type of Figs. 26 to 29. The sampling range may be at least one of a circular range, an elliptical range, and an arc-shaped range when projected onto the ground.
또한, 샘플링 레인지는 모바일 로봇 유니트(20)의 조향각을 반영하여 형성 선택될 수도 있다. 즉, 구동 유형에는 유니트 구동부(28)의 구동 타입 이외에 조향각 내지 조향포인트에 따라 모바일 로봇 유니트(20)의 기구학적 거동 특성을 반영하여 샘플링 레인지가 변화될 수도 있다. 이러한 거동 특성 반영을 통하여 모바일 로봇 유니트(20)의 보다 정확한 위치 추정을 가능하게 한다.In addition, the sampling range may be formed and selected to reflect the steering angle of the mobile robot unit (20). That is, in addition to the driving type of the unit driving unit (28), the sampling range may be changed to reflect the kinematic behavioral characteristics of the mobile robot unit (20) depending on the steering angle or steering point. By reflecting such behavioral characteristics, more accurate position estimation of the mobile robot unit (20) is enabled.
주행 정합 단계(S353)에서는 통합 맵 및 주변 환경 거리 측위 정보를 이용하여 특징 정보를 추출하고 주행 중 산출되는 특징 정보를 이용하여 주행 중 정합을 실행하여 현재 위치 정보가 도출된다. In the driving alignment step (S353), feature information is extracted using the integrated map and surrounding environment distance measurement information, and driving alignment is performed using the feature information calculated during driving to derive current location information.
VPS 위치 정보 확인 단계(S355)에서는 갱신되는 VPS 위치 정보가 확인된다. 즉, 초기 단계의 경우 위치 추정은 제공되는 VPS 위치 정보를 이용하여 시작한다. 이때, 추정 위치 산출부(2235)에서 사용되는 VPS 위치 정보 신호의 갱신 주기는 거리 측위 특징 정보의 갱신 주기보다 길다. 따라서, VPS 위치 정보의 갱신 주기 사이의 세부 주기에서는 주변 환경 거리 측위 정보를 이용한 ICP 알고리즘으로 그리드 맵 및/또는 통합 맵을 기반하여 위치 추정을 실행할 수 있고, 새로운 갱신 주기의 VPS 위치 정보를 반영하여 보다 정밀한 위치 추정을 실행할 수 있다. 즉, 정밀 정합 단계(S357)에서는 주행 정합 단계(S353)에서 도출된 현재 위치 정보와 VPS 위치 정보를 이용하여 현재 위치 정보의 정밀성이 확인된다. VPS 위치 정보는 이미지 센서에 취득한 이미지 정보에서 추출된 비쥬얼 특징을 VPS 맵 내의 기 확보된 비쥬얼 특징과 비교 정합을 이루고, 이들 정합된 비쥬얼 특징들과의 위치 관계를 통하여 VPS 위치 정보가 산출될 수도 있다. In the VPS location information confirmation step (S355), the updated VPS location information is confirmed. That is, in the initial stage, location estimation starts using the provided VPS location information. At this time, the update cycle of the VPS location information signal used in the estimated location calculation unit (2235) is longer than the update cycle of the distance measurement feature information. Therefore, in the detailed cycles between the update cycles of the VPS location information, location estimation can be performed based on the grid map and/or the integrated map with the ICP algorithm using the surrounding environment distance measurement information, and more precise location estimation can be performed by reflecting the VPS location information of the new update cycle. That is, in the precise matching step (S357), the precision of the current location information is confirmed using the current location information derived in the driving matching step (S353) and the VPS location information. The VPS location information can be calculated by comparing and matching visual features extracted from image information acquired by the image sensor with visual features already secured in the VPS map, and through the positional relationship with these aligned visual features.
경우에 따라 VPS 위치 정보는 연산 속도에 의한 모바일 로봇 유니트(20)의 실제 위치와의 지연이 발생할 수 있는바, 세부 주기에서는 주변 환경 거리 측위 정보를 이용한 ICP 알고리즘으로 그리드 맵 및/또는 통합 맵을 기반하여 실행되는 위추정 위치로부터 역기구학적으로 산출된 이전 위치와 VPS 위치 정보의 비교를 통한 추정 위치 신뢰성의 컴퍼메이션 검증을 실행하는 방식을 취할 수도 있다. In some cases, VPS position information may be delayed from the actual position of the mobile robot unit (20) due to the computational speed. Therefore, in the detailed cycle, a method may be adopted to verify the reliability of the estimated position by comparing the previous position derived from the inverse kinematics with the VPS position information from the estimated position based on the grid map and/or the integrated map using the ICP algorithm using the surrounding environment distance measurement information.
이와 같은 일련의 과정을 거친 후 정밀 위치 갱신 단계(S359)에서는 정밀 정합 단계(S357)에서 현재 위치 정보의 정밀성을 확인된 경우 현재 위치 정보를 모바일 로봇 유니트(20)의 새로운 주행 위치 정보로 갱신된다. After going through a series of processes like this, in the precision position update step (S359), if the precision of the current position information is confirmed in the precision alignment step (S357), the current position information is updated with new driving position information of the mobile robot unit (20).
도 31에는 일련의 위치 추정 과정이 도시된다. 즉, 초기 VPS 위치 정보가 입력되고 주행 제어가 실행되는 경우, 유니트 제어부(22)는 입력된 초기 VPS 위치 정보를 기반으로 주변 환경을 탐색하면서 주행을 실행한다. 시간 t-5,t-4,t-3, t-2의 세부 시간 주기동안 지속적인 거리 측위 센서를 통한 주변 거리 측위 정보가 탐지되고 이로부터 특징이 추출되고 그리드 맵 및/또는 통합 맵을 이용하여 특징들의 시간적 위치 변화에 따른 상대 거리 정보로부터 각 세부 시간 주기별로 모바일 로봇 유니트의 위치 정보가 추정 갱신된다. 이러한 과정 중 이미지 센서에 취득된 주변 환경의 이미지 정보는 모바일 로봇 매니징 서버로 전송되어 VPS 기반 위치 추정을 위한 연산을 실행하여 이미지 정보 내 파티클로 표현되는 비쥬얼 특징 정보와 VPS 맵을 비교 정합시켜 소정의 VPS 위치 추정을 실행한다. Fig. 31 illustrates a series of position estimation processes. That is, when initial VPS position information is input and driving control is executed, the unit control unit (22) searches the surrounding environment and executes driving based on the input initial VPS position information. During detailed time periods of time t-5, t-4, t-3, and t-2, surrounding distance measurement information is detected through a continuous distance measurement sensor, features are extracted therefrom, and the position information of the mobile robot unit is estimated and updated for each detailed time period from relative distance information according to the temporal position change of the features using a grid map and/or an integrated map. During this process, the image information of the surrounding environment acquired by the image sensor is transmitted to the mobile robot managing server, and an operation for VPS-based position estimation is executed to compare and match the visual feature information expressed as particles in the image information with the VPS map, thereby executing a predetermined VPS position estimation.
그리고 시간 t-2의 시간에 송수신되는 갱신된 VPS 위치 정보를 기반으로 모바일 로봇 유니트의 위치 추정의 정합성 내지 정확성을 확인한 후 사전 설정 범위 내에서의 수용 여부를 판단하거나 소정의 보정 과정을 거쳐 새로운 확정된 위치 정보가 갱신된다. Then, based on the updated VPS position information transmitted and received at time t-2, the consistency or accuracy of the position estimation of the mobile robot unit is verified, and then the acceptance within the preset range is determined or a new confirmed position information is updated through a predetermined correction process.
또 한편, 본 발명의 다른 일면에 따르면 본 발명은 복수 개의 모바일 로봇 유니트(20)의 주행을 운용하는 모바일 로봇 매니징 서버(10)를 포함하는 모바일 로봇 시스템(1)을 제공할 수 있다. Meanwhile, according to another aspect of the present invention, the present invention can provide a mobile robot system (1) including a mobile robot managing server (10) that operates the driving of a plurality of mobile robot units (20).
도 1에 도시되는 바와 같이, 본 발명의 모바일 로봇 시스템(1)은 복수 개의 모바일 로봇 유니트(20)와, 모바일 로봇 매니징 서버(10)를 포함한다. As illustrated in FIG. 1, the mobile robot system (1) of the present invention includes a plurality of mobile robot units (20) and a mobile robot managing server (10).
모바일 로봇 매니징 서버(10)는 모바일 로봇 유니트(20)이 주행하는 도착지를 포함하는 주행 경로를 제공하고 주행을 관리한다. 이때 모바일 로봇 유니트(20)는 모바일 로봇 매니징 서버(10)로부터 주행 정보를 포함하는 데이터 송수신을 이룬다. The mobile robot managing server (10) provides a driving route including a destination to which the mobile robot unit (20) is driving and manages the driving. At this time, the mobile robot unit (20) transmits and receives data including driving information from the mobile robot managing server (10).
또한, 모바일 로봇 유니트(20)는, 그리드 맵 및 VPS 맵을 연동한 통합 맵을 저장하는 유니트 저장부(23)와, 통합 맵에 기초하여, 유니트 구동부(28)의 기구학적 구동 유형에 따라 변화 형성 가능한 샘플링 레인지를 통해 실행되는 주변 환경 거리 측위 정보와, 주변 환경 이미지 정보로부터 산출되는 VPS 위치 정보 신호를 이용하여 비교 정합되어 정밀 위치 추정을 실행하는 유니트 제어부(22)를 포함하는데 이는 앞서 기술한 바와 동일하므로 중복된 설명은 상기로 대체하며 차이점을 중심으로 설명한다. In addition, the mobile robot unit (20) includes a unit storage unit (23) that stores an integrated map that links a grid map and a VPS map, and a unit control unit (22) that performs precise position estimation by comparing and matching surrounding environment distance measurement information executed through a sampling range that can be changed according to the kinematic drive type of the unit drive unit (28) based on the integrated map and a VPS position information signal derived from surrounding environment image information. Since this is the same as described above, duplicate descriptions will be replaced with the above, and explanations will be given focusing on differences.
관리자 단말기(30)도 앞서 기술한 바와 같이, 전체적 시스템 내에 포함될 수 있다. 관리자 단말기(30)는 통신망을 통하여 모바일 로봇 유니트(20)에 개별적으로 또는 모바일 로봇 유니트(20) 및 모바일 로봇 매니징 서버(10)에 제어 신호를 인가하거나 현재 주행 상황 정보를 취득할 수도 있는 등 다른 구성과 상호 통신 동작을 이루며 데이터의 송수신을 이룰 수 있다. The administrator terminal (30) may also be included in the overall system as described above. The administrator terminal (30) may transmit and receive data by intercommunicating with other components, such as by individually applying a control signal to the mobile robot unit (20) or to the mobile robot unit (20) and the mobile robot managing server (10) through a communication network, or by acquiring current driving situation information.
한편, 모바일 로봇 매니징 서버(10)는 운용 제어부(11)를 포함하고, 경우에 따라 맵 생성부(13) 및/또는 위치 추정 모듈(15)을 포함할 수 있다. 운용 제어부(11)는 모바일 로봇 유니트(20)의 기준 경로 상 주행을 제어 관리한다. 모바일 로봇 매니징 서버(10)는 운용 데이터 저장 모듈(17)를 포함한다. 운용 데이터 저장 모듈(17)은 모바일 로봇 유니트(20)의 주행을 위한 주행 정보와 같은 사전 설정 데이터 및 감지 데이터를 저장할 수 있고, 맵 데이터, 즉 그리드 맵과 VPS 맵의 맵 데이터도 저장될 수 있다. Meanwhile, the mobile robot managing server (10) includes an operation control unit (11), and may include a map generation unit (13) and/or a position estimation module (15) as the case may be. The operation control unit (11) controls and manages the driving of the mobile robot unit (20) along a reference path. The mobile robot managing server (10) includes an operation data storage module (17). The operation data storage module (17) can store preset data and detection data, such as driving information for the driving of the mobile robot unit (20), and can also store map data, i.e., map data of a grid map and a VPS map.
또한, 모바일 로봇 매니징 서버(10)는 운용 통신 모듈(19)을 포함하는데, 운용 통신 모듈(19)을 통하여 앞서 기술된 모바일 로봇 유니트(20)의 유니트 통신부(26)와 데이터 송수신을 이룰 수 있다. In addition, the mobile robot managing server (10) includes an operational communication module (19), through which data can be transmitted and received with the unit communication unit (26) of the mobile robot unit (20) described above.
맵 생성부(13)는 통합 맵을 생성한다. 앞선 실시예에 기재된 바와 같이, 통합 맵은 모바일 로봇 유니트(20)에서 직접 형성될 수도 있고, VPS 맵을 통한 VPS 위치 정보 산출도 모바일 로봇 유니트(20)에서 직접 산출될 수도 있으나, 본 실시예에서는 모바일 로봇 매니징 서버(10)의 맵 생성부(13)에서 통합 맵을 생성성하는 구조를 설명한다. The map generation unit (13) generates an integrated map. As described in the previous embodiment, the integrated map may be formed directly in the mobile robot unit (20), and the VPS location information calculation through the VPS map may also be directly calculated in the mobile robot unit (20). However, in this embodiment, a structure for generating an integrated map in the map generation unit (13) of the mobile robot managing server (10) is described.
보다 구체적으로, 맵 생성부(13)는 VPS 맵 확인부(131)와 그리드 맵 확인부(133)와 맵 통합부(135)를 포함할 수 있다. More specifically, the map generation unit (13) may include a VPS map verification unit (131), a grid map verification unit (133), and a map integration unit (135).
먼저, VPS 맵 확인부(131)는 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 VPS 맵을 확인한다. 그리드 맵 확인부(133)는 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 그리드 맵을 확인한다. VPS 맵 및 그리드 맵은 앞서 기술한 바와 같이, 모바일 로봇 유니트(20)에서 직접 생성될 수도 있고, 드론 맵핑 유니트(20a,20a')를 통하여 생성될 수도 있는 등 다양한 방식으로 생성이 가능하고, VPS 맵 확인부(131) 및 그리드 맵 확인부(133)은 VPS 맵과 그리드 맵의 준비 제공 여부를 확인한다. 경우에 따라, VPS 맵 확인부(131) 및 그리드 맵 확인부(133)가 입력되는 주변 거리 측위 정보 및 주변 환경 이미지 정보를 이용하여 직접 그리드 맵과 VPS 맵을 생성할 수도 있다. 여기서, 그리드 맵과 같은 경우 오도메트리 기반의 맵핑 로봇 유니트를 활용할 수도 있는 등 제반 준비 데이터로서 그리드 맵을 형성하기 위한 거리 측위 정보를 제공하는 범위에 다양한 선택이 가능하다. First, the VPS map verification unit (131) verifies the VPS map for the surrounding environment in which the mobile robot unit (20) intends to drive. The grid map verification unit (133) verifies the grid map for the surrounding environment in which the mobile robot unit (20) intends to drive. As described above, the VPS map and the grid map can be generated in various ways, such as directly generated in the mobile robot unit (20) or generated through the drone mapping unit (20a, 20a'), and the VPS map verification unit (131) and the grid map verification unit (133) verify whether the VPS map and the grid map are ready. In some cases, the VPS map verification unit (131) and the grid map verification unit (133) can directly generate the grid map and the VPS map by using the input surrounding distance measurement information and surrounding environment image information. Here, there are various options available for providing distance measurement information for forming a grid map as preparatory data, such as utilizing an odometry-based mapping robot unit in the case of a grid map.
VPS 맵 확인부(131)는 이미지 확인부(1311)와, 비쥬얼 피처 추출부(1313)와, VPS 맵 생성부(1315)를 포함한다. 이미지 확인부(1311)는 모바일 로봇 유니트(20)가 주행하고자 하는 주변 환경에 대한 이미지를 확인한다. 비쥬얼 피처 추출부(1313)는 이미지에서 비쥬얼 피처를 추출한다. 비쥬얼 피처의 추출은 앞서 기술된 캐니 엣지 등의 다양한 특징 추출 방식을 통하여 실행될 수 있다. 이와 같이 VPS 맵 생성부(1315)는 주변 환경에 대한 이미지와 비쥬얼 피처를 연계시켜 VPS 맵을 생성한다. The VPS map verification unit (131) includes an image verification unit (1311), a visual feature extraction unit (1313), and a VPS map generation unit (1315). The image verification unit (1311) verifies an image of the surrounding environment in which the mobile robot unit (20) is to drive. The visual feature extraction unit (1313) extracts visual features from the image. Extraction of visual features can be performed through various feature extraction methods such as the Canny Edge described above. In this way, the VPS map generation unit (1315) generates a VPS map by linking the image of the surrounding environment and the visual features.
VPS 맵 확인부(131) 및 그리드 맵 확인부(133)에서 그리드 맵 및 VPS 맵의 준비 제공이 확인된 경우, 맵 통합부(135)는 그리드 맵 및 VPS 맵에서 맵 특징을 추출 비교 정합한다. 맵 통합부(135)는 맵 특징 추출부(1351)와 맵 특징 정합부(1353)과 통합 맵 확인부(1355)를 포함한다. When the provision of grid maps and VPS maps is confirmed in the VPS map verification unit (131) and the grid map verification unit (133), the map integration unit (135) extracts map features from the grid map and VPS map and compares and matches them. The map integration unit (135) includes a map feature extraction unit (1351), a map feature matching unit (1353), and an integrated map verification unit (1355).
맵 특징 추출부(1351)는 그리드 맵 및 VPS 맵의 그리드 맵 특징 및 비쥬얼 맵 특징을 추출 확인한다. 앞서 기술한 바와 같이 도 9 및 도 10에는 VPS 맵과 그리드 맵에서 각각 맵 특징이 도출된 경우가 상태가 도시되는데, 도 9에서 VPS 특징을 포함하는 VPS 맵으로부터 도면 부호 VOL로 표시되는 비쥬얼 피처로서의 VPS 맵 특징이 맵 특징 추출부(1351)에서 추출될 수 있고, 도 10에 도시되는 바와 같이 그리드 맵으로부터 그리드 맵 특징으로서 외곽선 특징(feature)이 추출될 수 있다. 여기서, VPS 맵 특징과 그리드 맵 특징과 같은 외곽선 특징은 본 실시예에서 캐니 엣지(Canny edge)를 이용한 방식으로 추출되었으나, 본 발명이 이에 국한되지는 않는다. The map feature extraction unit (1351) extracts and verifies grid map features and visual map features of the grid map and the VPS map. As described above, FIGS. 9 and 10 illustrate a case where map features are derived from the VPS map and the grid map, respectively. In FIG. 9, a VPS map feature as a visual feature indicated by the reference symbol VOL can be extracted from a VPS map including the VPS feature by the map feature extraction unit (1351), and as illustrated in FIG. 10, an outline feature can be extracted as a grid map feature from the grid map. Here, the outline features such as the VPS map feature and the grid map feature are extracted using a Canny edge in this embodiment, but the present invention is not limited thereto.
맵 특징 추출부(1351)에서 추출된 특징을 이용하여 맵 특징 정합부(1353)에서 특징 간의 비교 정합이 실행된다. 맵 특징 추출부(1351)는 그리드 맵 및 VPS 맵의 그리드 맵 특징 및 비쥬얼 맵 특징을 추출 확인한다. 맵 특징 정합부(1353)는 ICP 알고리즘을 이용하여 그리드 맵 특징 및 비쥬얼 맵 특징을 비교 정합한다. 즉, 각각의 외곽선 특징들의 포인트 간 ICP 정합을 통하여 도 11에서와 같이 두 개의 맵이 연동 통합되는 통합 맵이 도출될 수 있는데, 외곽선 특징의 ICP 정합을 통하여 이루어진다. 본 실시예에서 통합 맵은, 그리드 맵에서 추출되는 그리드 맵 특징과, VPS 맵에서 추출되는 VPS 맵 특징을 ICP 알고리즘을 이용하여 비교 정합하여 연동 산출된다. Using the features extracted from the map feature extraction unit (1351), a comparison and matching between features is performed in the map feature matching unit (1353). The map feature extraction unit (1351) extracts and verifies grid map features and visual map features of the grid map and the VPS map. The map feature matching unit (1353) compares and matches the grid map features and the visual map features using the ICP algorithm. That is, an integrated map in which two maps are linked and integrated, as in Fig. 11, can be derived through ICP matching between points of each outline feature, which is achieved through ICP matching of the outline features. In this embodiment, the integrated map is produced by comparing and matching the grid map features extracted from the grid map and the VPS map features extracted from the VPS map using the ICP algorithm.
맵 특징 정합부(1353)에서 비교 정합이 이루어진 경우, 통합 맵 확인부(1355)는 정합되는 정합 특징을 중심으로 그리드 맵과 VPS 맵이 연계 통합되는 통합 맵을 산출한다. 즉, 통합 맵 확인부(1355)는 사전 설정 범위 내의 오차를 갖는지를 확인하고 비교 정합의 신뢰성이 확인된 경우 그리드 맵과 VPS 맵이 통합된 맵을 최종 통합 맵으로 확정할 수 있다. When comparative matching is performed in the map feature matching unit (1353), the integrated map verification unit (1355) generates an integrated map in which the grid map and the VPS map are linked and integrated based on the matched matching features. That is, the integrated map verification unit (1355) can check whether there is an error within a preset range, and if the reliability of comparative matching is confirmed, the map in which the grid map and the VPS map are integrated can be confirmed as the final integrated map.
위치 추정 모듈(15)은 맵 데이터와 감지 누적된 주변 환경 거리 측위 정보 및 주변 환경 이미지 정보를 이용하여 모바일 로봇 유니트의 현재 위치를 추정하는데, 구조적으로 앞서 기술한 모바일 로봇 유니트(20)의 유니트 제어부(22)에 구비되는 위치 추정 모듈(223)과 동일 내지 실질적으로 동일한 구조를 취하는바, 상기로 대체한다. The position estimation module (15) estimates the current position of the mobile robot unit using map data, accumulated sensing surrounding environment distance measurement information, and surrounding environment image information. It structurally has the same or substantially the same structure as the position estimation module (223) provided in the unit control unit (22) of the mobile robot unit (20) described above, and is replaced with the above.
이상, 본 발명을 본 발명의 원리를 예시하기 위한 바람직한 실시예와 관련하여 도시하고 설명하였으나, 본 발명은 그와 같이 도시되고 설명된 그대로의 구성 및 작용으로 한정되는 것이 아니다. 오히려 첨부된 청구범위의 사상 및 범위를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다.While the present invention has been illustrated and described with reference to preferred embodiments for illustrating the principles of the present invention, the present invention is not limited to the exact construction and operation as illustrated and described. Rather, it will be readily apparent to those skilled in the art that numerous changes and modifications can be made to the present invention without departing from the spirit and scope of the appended claims.
본 발명의 VPS 통합 모바일 로봇 유니트는 산업 현장에서의 물류 로봇 이외에도 상업적 용도로서의 배달 로봇 등에 사용될 수도 있는 등 다양한 적용이 가능하다.The VPS integrated mobile robot unit of the present invention can be used in various applications, such as in delivery robots for commercial purposes in addition to logistics robots in industrial sites.
Claims (25)
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20230066347 | 2023-05-23 | ||
KR10-2023-0066347 | 2023-05-23 | ||
KR1020230098631A KR102751176B1 (en) | 2023-05-23 | 2023-07-28 | Vps integrated mobile robot unit, mobile robot system and method for controlling the same |
KR10-2023-0098631 | 2023-07-28 | ||
KR10-2023-0147021 | 2023-10-30 | ||
KR1020230147021A KR20240170752A (en) | 2023-05-23 | 2023-10-30 | Vps integrated mobile robot unit, mobile robot system and method for controlling the same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024242249A1 true WO2024242249A1 (en) | 2024-11-28 |
Family
ID=93590116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/017297 WO2024242249A1 (en) | 2023-05-23 | 2023-11-01 | Vps integrated mobile robot unit, mobile robot system, and method for controlling vps integrated mobile robot unit |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024242249A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180004151A (en) * | 2015-04-10 | 2018-01-10 | 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 | Apparatus and method for real-time mapping and localization |
KR20200143217A (en) * | 2019-06-14 | 2020-12-23 | 엘지전자 주식회사 | How to update a map in Fusion Slam and a robot that implements it |
KR20210033808A (en) * | 2019-09-19 | 2021-03-29 | 엘지전자 주식회사 | Method of applying heterogeneous position information acquisition mechanism in outdoor region and robot and cloud server implementing thereof |
WO2021065122A1 (en) * | 2019-10-02 | 2021-04-08 | Mitsubishi Electric Corporation | System and method for probabilistic multi-robot slam |
US20220066456A1 (en) * | 2016-02-29 | 2022-03-03 | AI Incorporated | Obstacle recognition method for autonomous robots |
-
2023
- 2023-11-01 WO PCT/KR2023/017297 patent/WO2024242249A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180004151A (en) * | 2015-04-10 | 2018-01-10 | 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 | Apparatus and method for real-time mapping and localization |
US20220066456A1 (en) * | 2016-02-29 | 2022-03-03 | AI Incorporated | Obstacle recognition method for autonomous robots |
KR20200143217A (en) * | 2019-06-14 | 2020-12-23 | 엘지전자 주식회사 | How to update a map in Fusion Slam and a robot that implements it |
KR20210033808A (en) * | 2019-09-19 | 2021-03-29 | 엘지전자 주식회사 | Method of applying heterogeneous position information acquisition mechanism in outdoor region and robot and cloud server implementing thereof |
WO2021065122A1 (en) * | 2019-10-02 | 2021-04-08 | Mitsubishi Electric Corporation | System and method for probabilistic multi-robot slam |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021101047A1 (en) | Mobile robot device and method for controlling mobile robot device | |
EP3829832A1 (en) | Moving robot, moving robot system, and method for moving to charging station of moving robot | |
WO2017091008A1 (en) | Mobile robot and control method therefor | |
WO2018043957A1 (en) | Robot cleaner | |
WO2018143620A2 (en) | Robot cleaner and method of controlling the same | |
WO2021137483A1 (en) | Method and system for updating map by using autonomous driving robot | |
WO2023120867A1 (en) | Method and system for controlling robot by using reinforcement learning-based algorithm and path planning-based algorithm, and building having robot arranged therein | |
WO2022234923A1 (en) | Communication-based robot control method and system, and building in which robot is positioned | |
CN102087529B (en) | Movable device and control method thereof | |
WO2020027611A1 (en) | Moving robot, moving robot system, and method for moving to charging station of moving robot | |
WO2024242249A1 (en) | Vps integrated mobile robot unit, mobile robot system, and method for controlling vps integrated mobile robot unit | |
WO2024162816A1 (en) | Bending-articulated unmanned robotic forklift system and autonomous traveling method using same | |
WO2023096151A1 (en) | Robot and controlling method thereof | |
EP3562369A2 (en) | Robot cleaner and method of controlling the same | |
WO2022045677A1 (en) | Robot and control method for robot | |
WO2025029111A1 (en) | Robot cleaner comprising light-emitting unit and control method thereof | |
CN115847428B (en) | Mechanical assembly auxiliary guiding system and method based on AR technology | |
WO2025005347A1 (en) | Smart logistics vehicle control method and control device | |
EP3478143A1 (en) | Robot cleaner | |
TWI727851B (en) | Method of controlling end-effector to trace object in arcuate path | |
KR20240170752A (en) | Vps integrated mobile robot unit, mobile robot system and method for controlling the same | |
WO2024101767A1 (en) | Mobile robot unit, mobile robot system, and method for controlling mobile robot system | |
CN114063557B (en) | How to control end-effector tracking objects in an arc path | |
WO2024043575A1 (en) | Robotic device for identifying movement path using reliability values, and method for controlling same | |
WO2024123153A1 (en) | Docking system and docking method for docking of unmanned moving body |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23938619 Country of ref document: EP Kind code of ref document: A1 |