[go: up one dir, main page]

KR102891096B1 - System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle - Google Patents

System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle

Info

Publication number
KR102891096B1
KR102891096B1 KR1020230010350A KR20230010350A KR102891096B1 KR 102891096 B1 KR102891096 B1 KR 102891096B1 KR 1020230010350 A KR1020230010350 A KR 1020230010350A KR 20230010350 A KR20230010350 A KR 20230010350A KR 102891096 B1 KR102891096 B1 KR 102891096B1
Authority
KR
South Korea
Prior art keywords
robot
floor tile
server
movement
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230010350A
Other languages
Korean (ko)
Other versions
KR20240117918A (en
Inventor
정광호
이상문
문재윤
이헌재
백재선
Original Assignee
린나이코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 린나이코리아 주식회사 filed Critical 린나이코리아 주식회사
Priority to KR1020230010350A priority Critical patent/KR102891096B1/en
Publication of KR20240117918A publication Critical patent/KR20240117918A/en
Application granted granted Critical
Publication of KR102891096B1 publication Critical patent/KR102891096B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/246Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2464Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using an occupancy grid
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622Obstacle avoidance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템에 관한 것으로, 특정 공간 내에서 이동하는 로봇; 특정 공간의 제1의 3차원 영상을 입력받아 제1 사진정보를 획득하는 제1 사진정보 획득부; 및 제1 사진정보 중 바닥타일 경계의 색상을 기준으로 관심영역을 추출하고, 제1 사진정보 중 바닥타일 패턴이 검출된 구역을 대상공간으로 생성하며, 대상공간 내 바닥타일 패턴을 기준으로 복수의 구역으로 분할 형성된 맵을 생성하며, 맵으로부터 제1 사진정보의 각 물체의 형태를 추출하며, 추출된 각 물체의 형태의 제1의 3차원 영상과 상기 맵을 이미지 병합하며, 맵의 각 면에 물체의 형태가 존재하는지 판단하며, 물체의 형태가 존재하는 경우 각 면의 물체의 형태가 로봇 마커인지를 판단하며, 각 면의 물체의 형태가 로봇 마커인 경우 맵의 내부 면의 위치를 로봇의 현재위치로 인식하며, 로봇의 현재위치를 기준으로 로봇의 현재위치와 목표위치 사이에서 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출하며, 로봇이 목표위치에 도착하였는지를 판단하며, 로봇이 목표위치에 도착한 경우 로봇의 이동을 멈추게 하는 서버를 포함한다.The present invention relates to a system for robot obstacle avoidance and movement based on virtual map generation, comprising: a robot moving within a specific space; a first image information acquisition unit for receiving a first three-dimensional image of a specific space and acquiring first image information; And a server that extracts an area of interest based on the color of the boundary of the floor tiles among the first photo information, creates an area in which a floor tile pattern is detected among the first photo information as a target space, creates a map formed by dividing the target space into a plurality of areas based on the floor tile pattern, extracts the shape of each object of the first photo information from the map, merges a first 3D image of the shape of each extracted object with the map, determines whether the shape of the object exists on each side of the map, and if the shape of the object exists, determines whether the shape of the object on each side is a robot marker, and if the shape of the object on each side is a robot marker, recognizes the location of the inner side of the map as the current location of the robot, extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free side between the current location of the robot and the target location based on the current location of the robot, determines whether the robot has arrived at the target location, and stops the movement of the robot if the robot has arrived at the target location.

Description

가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템과, 그 장애물 회피 및 이동 방법{SYSTEM FOR ROBOT EVASION AND ROBOT MOVEMENT REGARDING OBSTACLE DEPENDING ON GENERATION OF VIRTUAL MAP, AND METHOD FOR ROBOT EVASION AND ROBOT MOVEMENT OF OBSTACLE}{SYSTEM FOR ROBOT EVASION AND ROBOT MOVEMENT REGARDING OBSTACLE DEPENDING ON GENERATION OF VIRTUAL MAP, AND METHOD FOR ROBOT EVASION AND ROBOT MOVEMENT OF OBSTACLE}

본 발명은 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템과, 그 장애물 회피 및 이동 방법에 관한 것으로, 특히 특정 공간 내에서 입력된 3차원 영상으로부터 정사영된 공간과 사물의 정보에 대한 이미지 처리과정을 거쳐 로봇이 사물의 위치를 파악하여 장애물을 회피하여 최적의 경로로 목표위치에 도착하도록 하는, 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템과, 그 장애물 회피 및 이동 방법에 관한 것이다.The present invention relates to a system for robot obstacle avoidance and movement based on virtual map generation, and a method for robot obstacle avoidance and movement, and more particularly, to a system for robot obstacle avoidance and movement based on virtual map generation, and a method for robot obstacle avoidance and movement, in which a robot identifies the location of an object through an image processing process for information on a space and an object projected from a three-dimensional image input within a specific space, avoids obstacles, and arrives at a target location via an optimal path.

공항, 학교, 관공서, 호텔, 사무실, 공장, 체육관, 공연장과 같은 문화시설 등 인적, 물적 교류가 활발히 발생하는 공간에서 로봇이 동작하기 위해서는 공간을 지속적으로 센싱하여 이동하는 것이 필요하다. 한편, 로봇이 이동하는 공간에는 항상 보행자들 또는 보행자들과 동반하여 이동하는 다양한 사물들이 다수 배치될 수 있으므로, 로봇은 이들을 회피하여 주행하는 것이 필요하다.For robots to operate in spaces with high levels of human and material interaction, such as airports, schools, government offices, hotels, offices, factories, gyms, and cultural facilities like performance halls, they must continuously sense and navigate the space. Furthermore, the spaces where robots move are often filled with numerous pedestrians or various objects moving alongside them, requiring robots to avoid these objects as they navigate.

특히, 인적, 물적 교류가 활발하게 발생하는 공간에서는 사람들이 다양한 방향에서 출몰할 수 있으며, 이들에 동반한 사물들 역시 로봇이 회피해야 하는 대상이다. 그런데, 로봇이 이들 이동하는 장애물들과의 거리를 유지하는 방식 및 회피하는 방식은 로봇의 이동경로와 작업기능에 많은 영향을 미친다. 또한, 이동과정에서 로봇이 특정한 지점으로 이동하는 것은 로봇의 성능에 많은 영향을 미친다.In particular, in spaces where human and material interactions are active, people can appear from various directions, and the objects accompanying them also become targets for robots to avoid. However, how a robot maintains its distance from and avoids these moving obstacles significantly impacts its movement path and operational capabilities. Furthermore, the robot's ability to navigate to specific locations during its movement significantly impacts its performance.

또한, 기존의 이동식 로봇의 장애물 회피방법은 이동식 로봇을 기준으로 각종 센서 및 라이다 기술을 빅데이터화 하여 장애물을 회피하였다. 그리고 움직이는 이동식 로봇 학습 데이터를 통해 최적의 경로가 설정되어 특정한 예외사항 발생시 우회경로 탐색의 효율이 저하되는 문제점과 인지의 정밀도를 높이기 위해 복수의 센서 부착과 라이다 센서를 탑재함으로써 장치 비용이 증가하는 문제점이 있었다.Furthermore, existing obstacle avoidance methods for mobile robots utilize big data from various sensors and lidar technologies based on the mobile robot. However, optimal paths are established through learning data from the mobile robot, which reduces the efficiency of detour search when specific exceptions occur. Furthermore, the installation of multiple sensors and lidar sensors to improve recognition accuracy increases device costs.

국내 등록특허공보 제10-2090590호(공고일 2020년 04월23일)Domestic Patent Publication No. 10-2090590 (published on April 23, 2020)

본 발명에서 해결하고자 하는 기술적 과제 중 하나는, 센서 및 라이다 장비에 비해 가격이 저렴한 CCTV 카메라를 이용하여 예외사항 발생시 로봇의 우회경로 탐색 효율을 극대화 하는 데 있다.One of the technical challenges to be solved by the present invention is to maximize the efficiency of a robot's detour route search when an exception occurs by using a CCTV camera that is less expensive than sensors and lidar equipment.

본 발명에서 해결하고자 하는 기술적 과제 중 하나는, 특정공간의 장애물 유무와 위치를 정밀하게 인지하여 로봇을 안전하게 목표위치까지 최적의 경로로 도달할 수 있도록 하는데 있다.One of the technical challenges to be solved by the present invention is to precisely recognize the presence and location of obstacles in a specific space so that the robot can safely reach the target location via an optimal path.

상기 목적들은, 본 발명에 따르면, 특정 공간 내에서 이동하는 로봇; 특정 공간의 제1의 3차원 영상을 입력받아 제1 사진정보를 획득하는 제1 사진정보 획득부; 및 제1 사진정보 중 바닥타일 경계의 색상을 기준으로 관심영역을 추출하고, 제1 사진정보 중 바닥타일 패턴이 검출된 구역을 대상공간으로 생성하며, 상기 대상공간 내 바닥타일 패턴을 기준으로 복수의 구역으로 분할 형성된 맵을 생성하며, 상기 맵으로부터 제1 사진정보의 각 물체의 형태를 추출하며, 추출된 각 물체의 형태의 제1의 3차원 영상과 상기 맵을 이미지 병합하며, 상기 맵의 각 면에 물체의 형태가 존재하는지 판단하며, 물체의 형태가 존재하는 경우 각 면의 물체의 형태가 로봇 마커인지를 판단하며, 각 면의 물체의 형태가 로봇 마커인 경우 상기 맵의 내부 면의 위치를 로봇의 현재위치로 인식하며, 상기 로봇의 현재위치를 기준으로 상기 로봇의 현재위치와 목표위치 사이에서 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출하며, 로봇이 상기 목표위치에 도착하였는지를 판단하며, 로봇이 상기 목표위치에 도착한 경우 로봇의 이동을 멈추게 하는 서버를 포함하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템으로부터 달성될 수 있다.The above objects are achieved by, according to the present invention, a robot moving within a specific space; a first image information acquisition unit that receives a first three-dimensional image of a specific space and acquires first image information; And a server that extracts an area of interest based on the color of the floor tile boundary among the first photo information, creates an area where a floor tile pattern is detected among the first photo information as a target space, creates a map formed by dividing the target space into a plurality of areas based on the floor tile pattern, extracts the shape of each object of the first photo information from the map, merges the first 3D image of the shape of each extracted object with the map, determines whether the shape of the object exists on each side of the map, and if the shape of the object exists, determines whether the shape of the object on each side is a robot marker, and if the shape of the object on each side is a robot marker, recognizes the location of the inner side of the map as the current location of the robot, extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free side between the current location of the robot and the target location based on the current location of the robot, determines whether the robot has arrived at the target location, and stops the movement of the robot when the robot has arrived at the target location. Can be.

본 발명의 실시예에 따르면, 상기 대상공간은 색상의 차이를 기준으로 경계를 형성하여 바닥타일 패턴이 검출된 구역이 분할되어 구성될 수 있다.According to an embodiment of the present invention, the target space can be configured by dividing an area where a floor tile pattern is detected by forming a boundary based on a difference in color.

본 발명의 실시예에 따르면, 상기 대상공간에는 상기 경계를 기준으로 2차원 평면이 생성되어 구성될 수 있다.According to an embodiment of the present invention, a two-dimensional plane can be created and configured based on the boundary in the target space.

본 발명의 실시예에 따르면, 상기 서버는 상기 제1 사진정보로부터 복수의 외관 에지를 추출하고, 추출된 복수의 외관 에지의 교차점이 4개인 최소 크기 구역을 하나의 바닥타일 패턴으로 검출하되, 제1 바닥타일과 인접한 제2 바닥타일 사이의 배열성을 인식하여 제1 바닥타일 패턴을 검출하여 구성될 수 있다.According to an embodiment of the present invention, the server may be configured to extract a plurality of exterior edges from the first photo information, detect a minimum size area having four intersections of the plurality of extracted exterior edges as one floor tile pattern, and detect the first floor tile pattern by recognizing the arrangement between the first floor tile and an adjacent second floor tile.

본 발명의 실시예에 따르면, 상기 서버는 외관 에지의 교차점의 반복을 인식하거나, 또는 외관 에지로 인식된 최소 크기 구역의 크기를 산출하여 상기 제1 바닥타일과 인접한 상기 제2 바닥타일 사이의 배열성을 인식하여 구성될 수 있다.According to an embodiment of the present invention, the server may be configured to recognize the arrangement between the first floor tile and the adjacent second floor tile by recognizing the repetition of the intersection of the exterior edges or by calculating the size of the minimum size area recognized as the exterior edge.

본 발명의 실시예에 따르면, 상기 서버는 상기 배열성이 연속된 구역을 바닥타일로 인식하되, 바닥타일을 기준으로 타일별 일련번호를 생성한다.According to an embodiment of the present invention, the server recognizes the continuous area of the array as a floor tile, and generates a serial number for each tile based on the floor tile.

본 발명의 실시예에 따르면, 상기 서버는 바닥타일과 로봇의 이동 폭을 기준으로 바닥타일을 분할하여 일련번호를 생성하여 구성될 수 있다.According to an embodiment of the present invention, the server may be configured to generate a serial number by dividing the floor tile based on the floor tile and the movement width of the robot.

본 발명의 실시예에 따르면, 상기 서버는 상기 맵이 생성된 이후 획득된 이미지를 분석하되 복수의 바닥타일 중 제1 바닥타일과 인접한 제2 바닥타일 사이에 형성된 에지 상에 장애물이 감지되었을 때 상기 제1 바닥타일과 인접한 제2 바닥타일 사이에 장애물이 놓여졌다는 것을 인식하여 구성될 수 있다.According to an embodiment of the present invention, the server may be configured to analyze an image acquired after the map is generated, and when an obstacle is detected on an edge formed between a first floor tile and an adjacent second floor tile among a plurality of floor tiles, recognize that an obstacle is placed between the first floor tile and the adjacent second floor tile.

본 발명의 실시예에 따르면, 상기 서버는 상기 제1 바닥타일과 상기 제2 바닥타일 사이의 로봇의 이동거리를 상기 로봇의 이동경로에 해당하는 에지의 평균거리로 산출하여 구성될 수 있다.According to an embodiment of the present invention, the server may be configured to calculate the movement distance of the robot between the first floor tile and the second floor tile as the average distance of the edge corresponding to the movement path of the robot.

본 발명의 실시예에 따르면, 상기 서버는 상기 로봇의 현재위치와 상기 목표위치 사이의 이동경로를 결정함에 있어 복수의 바닥타일 중 장애물이 없는 2개의 바닥타일 사이의 이동거리 중 최소 이동거리를 갖는 이동경로를 로봇의 이동경로로 결정하여 구성될 수 있다.According to an embodiment of the present invention, the server may be configured to determine a movement path between the current location of the robot and the target location by determining a movement path having a minimum movement distance between two obstacle-free floor tiles among a plurality of floor tiles as the movement path of the robot.

본 발명의 실시예에 따르면, 특정 공간의 제2의 3차원 영상을 입력받아 제2 사진정보를 획득하는 제2 사진정보 획득부를 더 포함하고, 상기 서버는 상기 제2 사진정보에서 상기 제1 바닥타일과 상기 제2 바닥타일 사이의 에지의 장애물 가려짐이 없는 상태에서 상기 제1 바닥타일과, 상기 제1 바닥타일이 제2 바닥타일이 배치된 위치로 향하는 방향과 대향되는 제3 바닥타일 사이에서 에지의 가려짐을 검출하였을 때 상기 제1 바닥타일에 장애물이 있음을 감지하여 구성될 수 있다.According to an embodiment of the present invention, a second image information acquisition unit is further included to receive a second three-dimensional image of a specific space and acquire second image information, and the server may be configured to detect the presence of an obstacle in the first floor tile when an edge is occluded between the first floor tile and a third floor tile opposite to the direction in which the first floor tile is directed toward a position where the second floor tile is arranged, in a state in which there is no obstacle occlusion of the edge between the first floor tile and the second floor tile in the second image information.

상기 목적들은, 본 발명에 따르면, 제1 사진정보 획득부가 특정 공간의 제1의 3차원 영상을 입력받아 제1 사진정보를 획득하는 제1 단계; 서버가 제1 사진정보 중 바닥타일 패턴이 검출된 구역을 대상공간으로 생성하는 제2 단계; 상기 서버가 상기 대상공간 내 바닥타일 패턴을 기준으로 복수의 구역으로 분할 형성된 맵을 생성하는 제3 단계; 상기 서버가 상기 맵으로부터 제1 사진정보의 각 물체의 형태를 추출하는 제4 단계; 상기 서버가 추출된 각 물체의 형태의 제1의 3차원 영상과 상기 맵을 이미지 병합하는 제5 단계; 상기 서버가 상기 맵의 각 면에 물체의 형태가 존재하는지 판단하는 제6 단계; 상기 제6 단계의 조건을 만족하는 경우, 상기 서버가 각 면의 물체의 형태가 로봇 마커인지를 판단하는 제7 단계; 상기 제7 단계의 조건을 만족하는 경우, 상기 서버가 상기 맵의 내부 면의 위치를 로봇의 현재위치로 인식하는 제8 단계; 상기 서버가 상기 로봇의 현재위치를 기준으로 상기 로봇의 현재위치와 목표위치 사이의 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출하는 제9 단계; 상기 서버가 로봇이 상기 목표위치에 도착하였는지의 여부를 판단하는 제10 단계; 및 상기 제10 단계의 조건을 만족하는 경우, 상기 서버가 로봇의 이동을 멈추게 하는 제11 단계를 포함하는 가상맵 생성에 따른 장애물 회피 및 이동방법에 의하여 달성될 수 있다.The above objects are achieved, according to the present invention, by a first step in which a first photo information acquisition unit receives a first three-dimensional image of a specific space and acquires first photo information; a second step in which a server creates an area in which a floor tile pattern is detected from the first photo information as a target space; a third step in which the server creates a map formed by dividing the target space into a plurality of areas based on the floor tile pattern; a fourth step in which the server extracts the shape of each object of the first photo information from the map; a fifth step in which the server merges the first three-dimensional image of the shape of each object extracted with the map; a sixth step in which the server determines whether the shape of the object exists on each side of the map; a seventh step in which, if the condition of the sixth step is satisfied, the server determines whether the shape of the object on each side is a robot marker; an eighth step in which, if the condition of the seventh step is satisfied, the server recognizes the position of an inner side of the map as the current position of the robot; The method for obstacle avoidance and movement based on virtual map generation can be achieved by a ninth step in which the server extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free surface between the current position of the robot and the target position based on the current position of the robot; a tenth step in which the server determines whether the robot has arrived at the target position; and an eleventh step in which the server stops the movement of the robot when the condition of the tenth step is satisfied.

본 발명의 실시예에 따르면, 상기 제6 단계를 만족하지 않는 경우, 상기 서버가 상기 맵의 내부 면에 장애물이 위치하지 않는 것으로 인식하는 단계를 더 포함한다.According to an embodiment of the present invention, if the sixth step is not satisfied, the server further includes a step of recognizing that no obstacle is located on the inner surface of the map.

본 발명의 실시예에 따르면, 상기 제7 단계를 만족하지 않는 경우, 상기 서버가 상기 맵의 내부 면에 장애물이 위치하는 것으로 인식하는 단계를 더 포함한다.According to an embodiment of the present invention, if the seventh step is not satisfied, the server further includes a step of recognizing that an obstacle is located on an inner surface of the map.

본 발명은, 센서 및 라이다 장비에 비해 가격이 저렴한 CCTV 카메라를 이용하여 예외사항 발생시 로봇의 우회경로 탐색 효율을 보다 높이는 효과가 있다.The present invention has the effect of increasing the efficiency of a robot's detour route search when an exception occurs by using a CCTV camera that is less expensive than sensor and lidar equipment.

본 발명은, 특정공간의 장애물 유무와 위치를 정밀하게 인지하여 로봇을 안전하게 목표위치까지 최적의 경로로 도달할 수 있는 효과가 있다.The present invention has the effect of enabling a robot to safely reach a target location via an optimal path by precisely recognizing the presence and location of obstacles in a specific space.

도 1은 본 발명의 일 실시예에 따른 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제1의 3차원 영상을 입력받아 획득한 제1 사진정보이다.
도 3은 도 2에서 바닥타일 패턴이 검출된 구역을 나타낸 사진정보이다.
도 4는 본 발명의 일 실시예에 따른 병합된 제1 사진정보이다.
도 5는 도 4로부터 변환되어 선으로 표시된 이미지이다.
도 6은 본 발명의 일 실시예에 따른 복수의 구역으로 분할 형성된 맵이다.
도 7은 본 발명의 일 실시예에 따른 로봇의 현재위치를 인식한 사진정보이다.
도 8은 본 발명의 일 실시예에 따른 로봇과 객체가 표시된 맵이다.
도 9는 본 발명의 일 실시예에 따른 로봇의 현재위치, 목표위치 및 장애물이 표시된 맵이다.
도 10은 본 발명의 일 실시예에 따른 로봇의 현재위치와 목표위치 사이에서 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로가 표시된 맵이다.
도 11은 본 발명의 일 실시예에 따른 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법의 제1 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법의 제2 흐름도이다.
FIG. 1 is a block diagram of a robot obstacle avoidance and movement system based on virtual map generation according to one embodiment of the present invention.
FIG. 2 is first photographic information obtained by inputting a first three-dimensional image according to one embodiment of the present invention.
Figure 3 is photographic information showing the area where the floor tile pattern was detected in Figure 2.
Figure 4 is merged first photo information according to one embodiment of the present invention.
Figure 5 is an image converted from Figure 4 and displayed as a line.
Figure 6 is a map divided into multiple zones according to one embodiment of the present invention.
Figure 7 is photo information recognizing the current location of a robot according to one embodiment of the present invention.
Figure 8 is a map showing a robot and an object according to one embodiment of the present invention.
Figure 9 is a map showing the current location, target location, and obstacles of a robot according to one embodiment of the present invention.
FIG. 10 is a map showing the shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free surface between the current position and the target position of the robot according to one embodiment of the present invention.
FIG. 11 is a first flowchart of a method for robot obstacle avoidance and movement by creating a virtual map according to one embodiment of the present invention.
Fig. 12 is a second flowchart of a method for avoiding obstacles and moving a robot by creating a virtual map according to one embodiment of the present invention.

이하, 본 발명의 바람직한 실시예에 따른 '가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템과, 그 장애물 회피 및 이동 방법'을 설명하면 다음과 같다.Hereinafter, a 'robot obstacle avoidance and movement system based on virtual map creation and an obstacle avoidance and movement method thereof' according to a preferred embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템의 블록도, 도 2는 본 발명의 일 실시예에 따른 제1의 3차원 영상을 입력받아 획득한 제1 사진정보, 도 3은 도 2에서 바닥타일 패턴이 검출된 구역을 나타낸 사진정보, 도 4는 본 발명의 일 실시예에 따른 병합된 제1 사진정보를 나타낸 것이다. 또한 도 5는 도 4로부터 변환되어 선으로 표시된 이미지, 도 6은 본 발명의 일 실시예에 따른 복수의 구역으로 분할 형성된 맵, 도 7은 본 발명의 일 실시예에 따른 로봇의 현재위치를 인식한 사진정보, 도 8은 본 발명의 일 실시예에 따른 로봇과 객체가 표시된 맵, 도 9는 본 발명의 일 실시예에 따른 로봇의 현재위치, 목표위치 및 장애물이 표시된 맵, 도 10은 본 발명의 일 실시예에 따른 로봇의 현재위치와 목표위치 사이에서 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로가 표시된 맵을 나타낸 것이다.FIG. 1 is a block diagram of a system for robot obstacle avoidance and movement by creating a virtual map according to an embodiment of the present invention, FIG. 2 is first image information acquired by inputting a first three-dimensional image according to an embodiment of the present invention, FIG. 3 is image information showing an area where a floor tile pattern is detected in FIG. 2, and FIG. 4 is merged first image information according to an embodiment of the present invention. In addition, FIG. 5 is an image converted from FIG. 4 and indicated by lines, FIG. 6 is a map formed by dividing into a plurality of areas according to an embodiment of the present invention, FIG. 7 is image information recognizing the current location of the robot according to an embodiment of the present invention, FIG. 8 is a map showing a robot and an object according to an embodiment of the present invention, FIG. 9 is a map showing the current location, target location, and obstacles of the robot according to an embodiment of the present invention, and FIG. 10 is a map showing a shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free surface between the current location and the target location of the robot according to an embodiment of the present invention.

도 1을 참조하면, 가상 맵(map) 생성에 따른 로봇의 장애물 회피 및 이동 시스템(1000)은, 제1 사진정보 획득부(100), 제2 사진정보 획득부(200), 로봇(robot, 300), 및 서버(server, 400)를 포함할 수 있다Referring to FIG. 1, a robot obstacle avoidance and movement system (1000) according to virtual map creation may include a first photo information acquisition unit (100), a second photo information acquisition unit (200), a robot (robot, 300), and a server (server, 400).

제1 사진정보 획득부(100)는 특정 공간의 제1의 3차원 영상을 입력받아 도 2와 같은 제1 사진정보를 획득한다. 제1 사진정보 획득부(100)는 복수의 CCTV(Closed-Circuit Television) 카메라로 구현될 수 있으며, 이에 한정되지는 않는다. 특정 공간은 건물의 실내공간일 수 있다.The first image information acquisition unit (100) receives a first three-dimensional image of a specific space and acquires first image information as shown in Fig. 2. The first image information acquisition unit (100) may be implemented using multiple closed-circuit television (CCTV) cameras, but is not limited thereto. The specific space may be an indoor space of a building.

서버(400)는 제1 사진정보 중 바닥타일 경계의 색상을 기준으로 관심영역을 추출하고, 제1 사진정보 중 도 3과 같은 바닥타일 패턴이 검출된 구역을 대상공간으로 생성한다.The server (400) extracts an area of interest based on the color of the floor tile boundary among the first photo information, and creates an area in which a floor tile pattern such as that in FIG. 3 is detected among the first photo information as a target space.

이때, 서버(400)는 바닥타일 패턴이 검출된 구역과 벽을 구분하기 위해 벽 하부의 바닥과 벽면 사이의 색상을 달리하여 바닥타일로 구성된 실내의 구역만을 관심영역으로 추출한다. 복수의 제1 사진정보 획득부(100)로부터 획득된 제1 사진정보는 도 4와 같이 병합된다.At this time, the server (400) extracts only the indoor area composed of floor tiles as the region of interest by differentiating the color between the floor and the wall surface at the bottom of the wall to distinguish the area where the floor tile pattern is detected from the wall. The first photo information acquired from the plurality of first photo information acquisition units (100) is merged as shown in Fig. 4.

대상공간은 색상의 차이를 기준으로 경계를 형성하여 바닥타일 패턴이 검출된 구역이 분할된다. 바닥타일은 흰색이고 벽 하부의 걸레받이 색상은 검은 색일 때, 색상의 차이의 패턴을 검출하여 흰색으로 촬영된 공간을 로봇이 이동 가능한 바닥타일 패턴이 검출된 구역으로 설정하고, 바닥타일 패턴이 검출된 구역과 경계로 맞닿은 검은 색 부분과 분리하여 인식할 수 있다.The target space is divided into areas where floor tile patterns are detected by forming boundaries based on color differences. When the floor tiles are white and the mop base at the bottom of the wall is black, the pattern of color differences is detected, and the space captured as white is set as the area where the robot can move and the floor tile pattern is detected. The black part that borders the area where the floor tile pattern is detected can be recognized separately.

대상공간에는 경계를 기준으로 2차원 평면이 생성되어 구성될 수 있다. 제1 사진정보 획득부(100)가 CCTV 카메라라고 하자. 로봇의 이동경로를 포함하는 이미지를 획득하는 CCTV 카메라는 이미지와 렌즈 거리, 각도 등 기구적인 특징에 의해 틀어진 바닥타일로 검출된 구역을 정사각형 형태로 보정한다. CCTV 카메라를 통해 획득한 이미지 중 생성된 구역의 경계를 기준으로 촬영된 이미지를 X축, Y축, Z축의 각도를 구하여 YZ 평면(바닥)으로 각도, 좌표 및 거리를 보정한다(이미지 프로세싱 캘리브레이션). 그리고, CCTV 카메라는 바닥타일로 검출된 구역의 경계선의 특정 RGB 색상을 기준으로 사각형 형태로 바닥의 실내공간 전체 영역을 검출한다.A two-dimensional plane can be generated and configured based on the boundary in the target space. Let's say that the first photo information acquisition unit (100) is a CCTV camera. The CCTV camera that acquires an image including the movement path of the robot corrects the area detected by the floor tiles that are distorted due to mechanical characteristics such as the image and lens distance and angle into a square shape. Among the images acquired through the CCTV camera, the image taken based on the boundary of the generated area is corrected to the YZ plane (floor) by calculating the angles of the X-axis, Y-axis, and Z-axis (image processing calibration). In addition, the CCTV camera detects the entire indoor space area of the floor in a square shape based on a specific RGB color of the boundary line of the area detected by the floor tiles.

그리고, 서버(400)는 제1 사진정보로부터 복수의 외관 에지를 추출하고, 추출된 복수의 외관 에지의 교차점이 4개인 최소 크기 구역을 하나의 바닥타일 패턴으로 검출하되, 제1 바닥타일과 인접한 제2 바닥타일 사이의 배열성을 인식하여 제1 바닥타일 패턴을 검출한다.And, the server (400) extracts a plurality of external edges from the first photo information, and detects a minimum size area having four intersections of the extracted plurality of external edges as one floor tile pattern, and detects the first floor tile pattern by recognizing the arrangement between the first floor tile and the adjacent second floor tile.

바닥타일의 경계선 추출은 바닥타일로 검출된 구역 내에서 선만을 추출하는 에지검출 프로세스를 통해 에지형태로 추출되되, 선과 선이 만나는 모서리가 4개인 하나의 사각형을 형성할 때 패턴으로 인식하여 가로와 세로로 검출된 구역까지 선을 그려진다.The boundary line of the floor tile is extracted in the form of an edge through an edge detection process that extracts only lines within the area detected as a floor tile, and when the corners where the lines meet form a square with four corners, it is recognized as a pattern and a line is drawn up to the area detected horizontally and vertically.

이때, 서버(400)는 외관 에지의 교차점의 반복을 인식하거나, 또는 외관 에지로 인식된 최소 크기 구역의 크기를 산출하여 제1 바닥타일과 인접한 제2 바닥타일 사이의 배열성을 인식한다.At this time, the server (400) recognizes the repetition of the intersection of the exterior edges or calculates the size of the minimum size area recognized as the exterior edge to recognize the arrangement between the first floor tile and the adjacent second floor tile.

또한, 서버(400)는 배열성이 연속된 구역을 바닥타일로 인식하되, 바닥타일을 기준으로 타일별 일련번호를 생성한다. Additionally, the server (400) recognizes a continuous area of arrays as a floor tile, and generates a serial number for each tile based on the floor tile.

이때, 서버(400)는 바닥타일과 로봇(300)의 이동 폭을 기준으로 바닥타일을 분할하여 일련번호를 생성한다. 구체적으로, 바닥타일의 크기가 로봇의 이동 폭보다 클 때(예를 들어, 2배 이상), 바닥타일을 분할할 수 있으며, 바닥타일의 크기가 로봇의 이동 폭보다 작을 때(예를 들어, 0.5배 이하) 인접타일 2개를 병합하여 하나의 바닥타일로 인식할 수 있다.At this time, the server (400) divides the floor tile based on the movement width of the floor tile and the robot (300) and generates a serial number. Specifically, when the size of the floor tile is larger than the movement width of the robot (e.g., more than twice), the floor tile can be divided, and when the size of the floor tile is smaller than the movement width of the robot (e.g., less than 0.5 times), two adjacent tiles can be merged and recognized as one floor tile.

또한, 서버(400)는 추출된 각 물체의 형태의 제1의 3차원 영상과 맵을 이미지 병합하며, 맵의 각 면에 물체의 형태가 존재하는지 판단한다. 이때, 서버(400)는 병합된 이미지로부터 모서리만을 추출하여 도 5와 같이 선으로 표시된 이미지로 변환한 후 바닥에서 이동경로를 설정할 수 있는 하나의 가상의 실내의 맵을 설정할 수 있도록 타일 경계선에 해당되는 부분을 선으로 이어 표시한다. In addition, the server (400) merges the first 3D image of the shape of each extracted object and the map, and determines whether the shape of the object exists on each side of the map. At this time, the server (400) extracts only the edges from the merged image, converts it into an image indicated by lines as in FIG. 5, and then connects the parts corresponding to the tile boundaries with lines so that a single virtual indoor map can be set up, allowing a movement path to be set up on the floor.

또한, 서버(400)는 대상공간 내 바닥타일 패턴을 기준으로 도 6과 같은 복수의 구역으로 분할 형성된 맵을 생성하며, 맵으로부터 제1 사진정보의 각 물체의 형태를 추출한다.In addition, the server (400) creates a map divided into multiple zones as shown in Fig. 6 based on the floor tile pattern within the target space, and extracts the shape of each object of the first photo information from the map.

서버(400)는 맵이 생성된 이후 획득된 이미지를 분석하되 복수의 바닥타일 중 제1 바닥타일과 인접한 제2 바닥타일 사이에 형성된 에지 상에 장애물이 감지되었을 때 제1 바닥타일과 인접한 제2 바닥타일 사이에 장애물이 놓여졌다는 것을 인식한다.The server (400) analyzes the image acquired after the map is created, and when an obstacle is detected on the edge formed between a first floor tile and an adjacent second floor tile among a plurality of floor tiles, it recognizes that an obstacle is placed between the first floor tile and the adjacent second floor tile.

또한, 서버(400)는 물체의 형태가 존재하는 경우, 각 면의 물체의 형태가 로봇 마커(로봇 머리에 인식된 마커, robot marker)인지를 판단한다. 이때, 서버 (400)는 장애물이 바닥타일 위에 존재한다고 인식하여 가상의 실내의 맵에 장애물을 표시한다.Additionally, if an object shape exists, the server (400) determines whether the shape of the object on each side is a robot marker (a marker recognized by the robot head, robot marker). At this time, the server (400) recognizes that an obstacle exists on the floor tile and displays the obstacle on the virtual indoor map.

또한, 각 면의 물체의 형태가 로봇 마커인 경우, 서버(400)는 맵의 내부 면의 위치를 로봇(300)의 현재위치로 인식하다. 이때, 로봇(300)의 현재위치는 색다르게 표시하며, 로봇(300)이 이동해야 하는 목적위치를 맵에 표시한다.Additionally, if the shape of the object on each side is a robot marker, the server (400) recognizes the location of the inner side of the map as the current location of the robot (300). At this time, the current location of the robot (300) is displayed differently, and the destination location to which the robot (300) must move is displayed on the map.

서버(400)는 도 7과 같은 사진정보로부터 로봇의 현재위치를 인식한 후 도 8과 같이 로봇과 객체를 인식하여 맵에 표시한다. 이후, 서버(400)는 로봇(300)이 장애물을 회피하여 이동할 수 있도록 도 9와 같이 표시된 맵에서 도 10과 같이 로봇(300)의 현재위치를 기준으로 로봇의 현재위치와 목표위치 사이에서 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출한다. The server (400) recognizes the current location of the robot from the photo information as in Fig. 7, and then recognizes the robot and objects as in Fig. 8 and displays them on the map. Thereafter, the server (400) extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of the obstacle-free surface between the current location of the robot (300) and the target location from the map displayed as in Fig. 9, based on the current location of the robot (300), as in Fig. 10, so that the robot (300) can move while avoiding obstacles.

이때, 서버(400)는 제1 바닥타일과 제2 바닥타일 사이의 로봇(300)의 이동거리를 로봇(300)의 이동경로에 해당하는 에지의 평균거리로 산출한다.At this time, the server (400) calculates the movement distance of the robot (300) between the first floor tile and the second floor tile as the average distance of the edge corresponding to the movement path of the robot (300).

또한, 서버(400)는 로봇(300)의 현재위치와 목표위치 사이의 이동경로를 결정함에 있어 복수의 바닥타일 중 장애물이 없는 2개의 바닥타일 사이의 이동거리 중 최소 이동거리를 갖는 이동경로를 로봇(300)의 이동경로로 결정한다.In addition, when determining a movement path between the current position and the target position of the robot (300), the server (400) determines a movement path having the minimum movement distance among the movement distances between two floor tiles without obstacles among a plurality of floor tiles as the movement path of the robot (300).

이렇게 하여, 서버(400)는 추출된 최단경로를 로봇(300)에게 전달하여 로봇(300)이 해당 최단경로로 이동할 수 있도록 한다.In this way, the server (400) transmits the extracted shortest path to the robot (300) so that the robot (300) can move along the shortest path.

또한, 서버(400)는 로봇(300)이 목표위치에 도착하였는지를 판단하며, 로봇(300)이 목표위치에 도착한 경우 로봇(300)의 이동을 멈추게 한다. 이와 같이, 서버(400)는 로봇(300)이 목표위치에 도착하기까지 제1 사진정보 획득부(100)로부터 계속적으로 사진정보를 획득하여 장애물의 유무와 위치를 인식하여 로봇이 안전하게 목표위치까지 도달할 수 있도록 한다.In addition, the server (400) determines whether the robot (300) has arrived at the target location, and if the robot (300) has arrived at the target location, stops the movement of the robot (300). In this way, the server (400) continuously acquires photo information from the first photo information acquisition unit (100) until the robot (300) arrives at the target location, thereby recognizing the presence and location of obstacles, and enabling the robot to safely reach the target location.

또한, 제2 사진정보 획득부(200)는 특정 공간의 제2의 3차원 영상을 입력받아 제2 사진정보를 획득할 수 있다.In addition, the second photo information acquisition unit (200) can acquire second photo information by receiving a second 3D image of a specific space.

또한, 서버(400)는 제2 사진정보에서 제1 바닥타일과 제2 바닥타일 사이의 에지의 장애물 가려짐이 없는 상태에서 제1 바닥타일과, 제1 바닥타일이 제2 바닥타일이 배치된 위치로 향하는 방향과 대향되는 제3 바닥타일 사이에서 에지의 가려짐을 검출하였을 때 제1 바닥타일에 장애물이 있음을 감지한다.In addition, when the server (400) detects that there is an obstacle in the first floor tile when the edge between the first floor tile and the second floor tile is occluded in the second photo information and the third floor tile is opposite to the direction in which the first floor tile is directed toward the position where the second floor tile is placed, the server (400) detects that there is an obstacle in the first floor tile.

도 11은 본 발명의 일 실시예에 따른 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법의 제1 흐름도이고, 도 12는 본 발명의 일 실시예에 따른 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법의 제2 흐름도이다. A, B는 도 11과 도 12가 연결되는 부분을 나타낸 것이다.Fig. 11 is a first flowchart of a method for robot obstacle avoidance and movement according to virtual map creation according to one embodiment of the present invention, and Fig. 12 is a second flowchart of a method for robot obstacle avoidance and movement according to virtual map creation according to one embodiment of the present invention. A and B indicate the portion where Figs. 11 and 12 are connected.

도 11 및 도 12를 참조하면, 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법은, S100 내지 S1100을 포함할 수 있다. 도 11 및 도 12와 관련된 상세한 설명은 도 1에 대한 설명을 참조하기로 한다.Referring to FIGS. 11 and 12, a method for robot obstacle avoidance and movement based on virtual map generation may include S100 to S1100. For detailed descriptions related to FIGS. 11 and 12, refer to the description of FIG. 1.

먼저, 제1 사진정보 획득부(100)가 특정 공간의 제1의 3차원 영상을 입력받아 사진정보를 획득한다(S100).First, the first photo information acquisition unit (100) receives a first 3D image of a specific space and acquires photo information (S100).

S100 이후, 서버(400)가 제1 사진정보 중 바닥타일 패턴이 검출된 구역을 대상공간으로 생성한다(S200).After S100, the server (400) creates an area in which a floor tile pattern is detected among the first photo information as a target space (S200).

S200 이후, 서버(400)가 대상공간 내 바닥타일 패턴을 기준으로 복수의 구역으로 분할 형성된 맵을 생성한다(S300).After S200, the server (400) creates a map divided into multiple zones based on the floor tile pattern within the target space (S300).

S300 이후, 서버(400)가 맵으로부터 제1 사진정보의 각 물체의 형태를 추출한다(S400).After S300, the server (400) extracts the shape of each object of the first photo information from the map (S400).

S400 이후, 서버(400)가 추출된 각 물체의 형태의 제1의 3차원 영상과 맵을 이미지 병합한다(S500).After S400, the server (400) merges the first 3D image and map of the shape of each extracted object (S500).

S500 이후, 서버(400)가 맵의 각 면에 물체의 형태가 존재하는지 판단한다(S600).After S500, the server (400) determines whether an object shape exists on each side of the map (S600).

S600의 조건을 만족하는 경우, 서버(400)가 각 면의 물체의 형태가 로봇 마커인지를 판단한다(S700). 그러나, S600의 조건을 만족하지 않는 경우, 서버(400)가 맵의 내부 면에 장애물이 위치하지 않는 것으로 인식한다(S650).If the condition of S600 is satisfied, the server (400) determines whether the shape of the object on each side is a robot marker (S700). However, if the condition of S600 is not satisfied, the server (400) recognizes that no obstacle is located on the inner side of the map (S650).

S700의 조건을 만족하는 경우, 서버(400)가 맵의 내부 면의 위치를 로봇(300)의 현재위치로 인식한다(S800). 그러나, S700을 만족하지 않는 경우, 서버(400)가 맵의 내부 면에 장애물이 위치하는 것으로 인식한다(S750).If the condition of S700 is satisfied, the server (400) recognizes the location of the inner surface of the map as the current location of the robot (300) (S800). However, if S700 is not satisfied, the server (400) recognizes that an obstacle is located on the inner surface of the map (S750).

S800 이후, 서버(400)가 로봇(300)의 현재위치를 기준으로 로봇(300)의 현재위치와 목표위치 사이의 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출한다(S900).After S800, the server (400) extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of the obstacle-free surface between the current position of the robot (300) and the target position based on the current position of the robot (300) (S900).

S900 이후, 서버(400)가 로봇(300)이 목표위치에 도착하였는지를 판단한다(S1000).After S900, the server (400) determines whether the robot (300) has arrived at the target location (S1000).

S1000의 조건을 만족하는 경우, 서버(400)가 로봇(300)의 이동을 멈추게 한다(S1100). 그러나, S1000의 조건을 만족하지 않는 경우, S100을 다시 수행한다.If the condition of S1000 is satisfied, the server (400) stops the movement of the robot (300) (S1100). However, if the condition of S1000 is not satisfied, S100 is performed again.

위에서 설명한 시스템은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.The system described above may be implemented using hardware components, software components, and/or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them.

처리장치는 운영체제(OS) 및 운영체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 그리고, 처리장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(processing element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.A processing unit can execute an operating system (OS) and one or more software applications running on the OS. Furthermore, the processing unit can access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing unit is sometimes described as being used singly; however, those skilled in the art will appreciate that the processing unit may include multiple processing elements and/or multiple types of processing elements. For example, the processing unit may include multiple processors, or a processor and a controller. Other processing configurations, such as parallel processors, are also possible.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리장치에 의하여 해석되거나 처리장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독가능 기록매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing device to perform a desired operation or may independently or collectively command the processing device. The software and/or data may be embodied in any type of machine, component, physical device, computer storage medium, or device for interpretation by the processing device or for providing instructions or data to the processing device. The software may also be distributed over networked computer systems and stored or executed in a distributed manner. The software and data may be stored on one or more computer-readable recording media.

위에서 설명한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. The method described above can be implemented in the form of program instructions that can be executed via various computer means and recorded on a computer-readable medium. The medium may be used to permanently store a computer-executable program or temporarily store it for execution or download.

또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.In addition, the medium may be a variety of recording or storage means in the form of a single or multiple hardware combinations, and is not limited to media directly connected to a computer system, but may also exist distributedly on a network. Examples of the medium may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and those configured to store program instructions, including ROM, RAM, and flash memory. In addition, examples of other media may include recording or storage media managed by app stores that distribute applications, sites that supply or distribute various software, servers, etc.

이상, 설명된 바와 같이, 본 발명은 도면에 도시된 일실시예를 참고로 설명되었으나 실시 예로 한정되지 않으며 본 발명의 요지를 벗어나지 않는 범위 내에서 수정 및 변형하여 실시할 수 있으며 수정과 변형이 이루어진 것은 본 발명의 기술 사상에 포함된다.As described above, the present invention has been described with reference to an embodiment shown in the drawings, but is not limited to the embodiment, and can be implemented by modifying and changing within a scope that does not depart from the gist of the present invention, and the modifications and changes made are included in the technical spirit of the present invention.

100 : 제1 사진정보 획득부 200 : 제2 사진정보 획득부
300 : 로봇 400 : 서버
100: 1st photo information acquisition unit 200: 2nd photo information acquisition unit
300: Robot 400: Server

Claims (12)

특정 공간 내에서 이동하는 로봇; 상기 특정 공간의 제1의 3차원 영상을 입력받아 제1 사진정보를 획득하는 제1 사진정보 획득부; 및 상기 제1 사진정보 중 바닥타일 경계를 추출하여 바닥타일 패턴이 검출된 구역을 대상공간으로 생성하고, 상기 대상공간 내 바닥타일 패턴을 기준으로 복수의 구역으로 분할 형성된 맵을 생성하며, 상기 맵으로부터 제1 사진정보의 각 물체의 형태를 추출하여 제1의 3차원 영상과 상기 맵을 이미지 병합하며, 상기 맵의 각 면에 존재하는 물체의 형태가 로봇 마커인 경우 상기 맵의 내부 면의 상기 로봇의 현재위치로 인식하여 상기 로봇의 현재위치와 목표위치 사이에서 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출하고, 로봇이 상기 목표위치에 도착한 경우 로봇의 이동을 멈추게 하는 서버;를 포함하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템에 있어서, 상기 대상공간은, 바닥타일 경계의 색상을 기준으로 관심영역을 추출하여 바닥타일 패턴이 검출된 구역을 대상공간으로 생성한 것으로, 색상의 차이를 기준으로 경계를 형성하여 바닥타일 패턴이 검출된 구역이 분할된 것이고, 상기 서버는, 상기 제1 사진정보로부터 복수의 외관 에지를 추출하고, 추출된 복수의 외관 에지의 교차점이 4개인 최소 크기 구역을 하나의 바닥타일 패턴으로 검출하되, 제1 바닥타일과 인접한 제2 바닥타일 사이의 배열성을 인식하여 제1 바닥타일 패턴을 검출하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.A robot moving within a specific space; a first image information acquisition unit that receives a first three-dimensional image of the specific space and acquires first image information; And a server that extracts a floor tile boundary from the first photo information to create a target space in an area where a floor tile pattern is detected, and creates a map formed by dividing the target space into a plurality of areas based on the floor tile pattern, extracts the shape of each object of the first photo information from the map and merges the first 3D image and the map into images, and if the shape of an object existing on each side of the map is a robot marker, recognizes the current position of the robot on the inner side of the map and extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free surface between the current position of the robot and the target position, and stops the movement of the robot when the robot arrives at the target position; In a system for robot obstacle avoidance and movement according to virtual map creation, the target space is a region of interest extracted based on the color of the floor tile boundary and created as a target space in an area where a floor tile pattern is detected, and a boundary is formed based on a difference in color, and the server generates a plurality of external appearances from the first photo information. A robot obstacle avoidance and movement system based on virtual map generation, characterized in that the system extracts edges and detects a minimum size area having four intersections of a plurality of extracted exterior edges as a single floor tile pattern, and detects the first floor tile pattern by recognizing the arrangement between a first floor tile and an adjacent second floor tile. 삭제delete 제 1 항에 있어서,
상기 대상공간에는 상기 경계를 기준으로 2차원 평면이 생성된 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In the first paragraph,
A robot obstacle avoidance and movement system based on virtual map generation, characterized in that a two-dimensional plane is generated based on the boundary in the above target space.
삭제delete 제 1 항에 있어서,
상기 서버는 외관 에지의 교차점의 반복을 인식하거나, 또는 외관 에지로 인식된 최소 크기 구역의 크기를 산출하여 상기 제1 바닥타일과 인접한 상기 제2 바닥타일 사이의 배열성을 인식하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In the first paragraph,
A robot obstacle avoidance and movement system according to virtual map generation, characterized in that the server recognizes the arrangement between the first floor tile and the adjacent second floor tile by recognizing the repetition of the intersection of the exterior edges or calculating the size of the minimum size area recognized as the exterior edge.
제 5 항에 있어서,
상기 서버는 상기 배열성이 연속된 구역을 바닥타일로 인식하되, 바닥타일 을 기준으로 타일별 일련번호를 생성하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In paragraph 5,
A robot obstacle avoidance and movement system based on virtual map generation, characterized in that the server recognizes the continuous area of the above arrangement as a floor tile and generates a serial number for each tile based on the floor tile.
제 6 항에 있어서,
상기 서버는 바닥타일과 로봇의 이동 폭을 기준으로 바닥타일을 분할하여 일련번호를 생성하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In paragraph 6,
A robot obstacle avoidance and movement system based on virtual map generation, characterized in that the above server generates a serial number by dividing the floor tiles based on the floor tiles and the robot's movement width.
제 7 항에 있어서,
상기 서버는 상기 맵이 생성된 이후 획득된 이미지를 분석하되 복수의 바닥타일 중 제1 바닥타일과 인접한 제2 바닥타일 사이에 형성된 에지 상에 장애물이 감지되었을 때 상기 제1 바닥타일과 인접한 제2 바닥타일 사이에 장애물이 놓여졌다는 것을 인식하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In paragraph 7,
A system for robot obstacle avoidance and movement according to virtual map generation, characterized in that the server analyzes an image acquired after the map is generated, and when an obstacle is detected on an edge formed between a first floor tile and an adjacent second floor tile among a plurality of floor tiles, the system recognizes that an obstacle is placed between the first floor tile and the adjacent second floor tile.
제 8 항에 있어서,
상기 서버는 상기 제1 바닥타일과 상기 제2 바닥타일 사이의 로봇의 이동거리를 상기 로봇의 이동경로에 해당하는 에지의 평균거리로 산출하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In paragraph 8,
A system for robot obstacle avoidance and movement based on virtual map generation, characterized in that the server calculates the robot's movement distance between the first floor tile and the second floor tile as the average distance of the edge corresponding to the robot's movement path.
제 9 항에 있어서,
상기 서버는 상기 로봇의 현재위치와 상기 목표위치 사이의 이동경로를 결정함에 있어 복수의 바닥타일 중 장애물이 없는 2개의 바닥타일 사이의 이동거리 중 최소 이동거리를 갖는 이동경로를 로봇의 이동경로로 결정하는 것을 특징으로 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In paragraph 9,
A system for robot obstacle avoidance and movement by creating a virtual map, characterized in that the server determines the movement path of the robot as the movement path having the minimum movement distance among the movement distances between two floor tiles without obstacles among a plurality of floor tiles when determining the movement path between the current location of the robot and the target location.
제 1 항에 있어서,
특정 공간의 제2의 3차원 영상을 입력받아 제2 사진정보를 획득하는 제2 사진정보 획득부를 더 포함하고, 상기 서버는 상기 제2 사진정보에서 상기 제1 바닥타일과 상기 제2 바닥타일 사이의 에지의 장애물 가려짐이 없는 상태에서 상기 제1 바닥타일과, 상기 제1 바닥타일이 제2 바닥타일이 배치된 위치로 향하는 방향과 대향되는 제3 바닥타일 사이에서 에지의 가려짐을 검출하였을 때 상기 제1 바닥타일에 장애물이 있음을 감지하는 것을 특징으로 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 시스템.
In the first paragraph,
A system for robot obstacle avoidance and movement according to virtual map generation, characterized in that it further includes a second image information acquisition unit that receives a second three-dimensional image of a specific space and acquires second image information, and the server detects an edge occlusion between the first floor tile and a third floor tile opposite to the direction in which the first floor tile is directed toward the position where the second floor tile is arranged in a state in which there is no obstacle occlusion of the edge between the first floor tile and the second floor tile in the second image information, and detects that there is an obstacle in the first floor tile.
제1 사진정보 획득부가 특정 공간의 제1의 3차원 영상을 입력받아 제1 사진정보를 획득하는 제1 단계; 서버가 제1 사진정보 중 바닥타일 패턴이 검출된 구역을 대상공간으로 생성하는 제2 단계; 상기 서버가 상기 대상공간 내 바닥타일 패턴을 기준으로 복수의 구역으로 분할 형성된 맵을 생성하는 제3 단계; 상기 서버가 상기 맵으로부터 제1 사진정보의 각 물체의 형태를 추출하는 제4 단계; 상기 서버가 추출된 각 물체의 형태의 제1의 3차원 영상과 상기 맵을 이미지 병합하는 제5 단계; 상기 서버가 상기 맵의 각 면에 물체의 형태가 존재하는지 판단하는 제6 단계; 상기 제6 단계의 조건을 만족하는 경우, 상기 서버가 각 면의 물체의 형태가 로봇 마커인지를 판단하는 제7 단계; 상기 제7 단계의 조건을 만족하는 경우, 상기 서버가 상기 맵의 내부 면의 위치를 로봇의 현재위치로 인식하는 제8 단계; 상기 서버가 상기 로봇의 현재위치를 기준으로 상기 로봇의 현재위치와 목표위치 사이의 장애물이 없는 면의 가로 길이와 세로 길이의 합을 최소로 하는 최단경로를 추출하는 제9 단계; 상기 서버가 로봇이 상기 목표위치에 도착하였는지를 판단하는 제10 단계; 및 상기 제10 단계의 조건을 만족하는 경우, 상기 서버가 로봇의 이동을 멈추게 하는 제11 단계;를 포함하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법에 있어서, 상기 제2 단계는 상기 서버가 제1 사진정보 중 바닥타일 패턴이 검출된 구역을 대상공간으로 생성하되, 상기 대상공간은, 바닥타일 경계의 색상을 기준으로 관심영역을 추출하여 바닥타일 패턴이 검출된 구역을 대상공간으로 생성한 것으로, 색상의 차이를 기준으로 경계를 형성하여 바닥타일 패턴이 검출된 구역을 분할하는 단계;를 포함하며, 상기 제4 단계는 서버를 통해 상기 제1 사진정보로부터 복수의 외관 에지를 추출하고, 추출된 복수의 외관 에지의 교차점이 4개인 최소 크기 구역을 하나의 바닥타일 패턴으로 검출하고, 제1 바닥타일과 인접한 제2 바닥타일 사이의 배열성을 인식하여 제1 바닥타일 패턴을 검출하는 단계;를 포함하는 것을 특징으로 하는 가상 맵 생성에 따른 로봇의 장애물 회피 및 이동 방법.A first step in which a first image information acquisition unit receives a first three-dimensional image of a specific space and acquires first image information; a second step in which a server creates an area in which a floor tile pattern is detected from the first image information as a target space; a third step in which the server creates a map divided into a plurality of areas based on the floor tile pattern within the target space; a fourth step in which the server extracts the shape of each object of the first image information from the map; a fifth step in which the server merges the first three-dimensional image of the shape of each extracted object with the map; a sixth step in which the server determines whether an object shape exists on each side of the map; a seventh step in which, if the condition of the sixth step is satisfied, the server determines whether the shape of the object on each side is a robot marker; an eighth step in which, if the condition of the seventh step is satisfied, the server recognizes a location of an inner side of the map as a current location of the robot; A ninth step in which the server extracts the shortest path that minimizes the sum of the horizontal and vertical lengths of an obstacle-free surface between the current position of the robot and the target position based on the current position of the robot; A tenth step in which the server determines whether the robot has arrived at the target position; And in a method for robot obstacle avoidance and movement according to virtual map generation, including an 11th step in which the server stops the movement of the robot when the condition of the 10th step is satisfied; wherein the 2nd step includes a step in which the server creates an area in which a floor tile pattern is detected from the first photo information as a target space, wherein the target space is created by extracting an area of interest based on the color of the floor tile boundary and creating an area in which a floor tile pattern is detected as a target space, and forming a boundary based on the color difference to divide the area in which the floor tile pattern is detected; and the 4th step includes a step in which the server extracts a plurality of exterior edges from the first photo information, detects a minimum size area in which four intersections of the plurality of extracted exterior edges are present as one floor tile pattern, and recognizes an arrangement between the first floor tile and an adjacent second floor tile to detect the first floor tile pattern.
KR1020230010350A 2023-01-26 2023-01-26 System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle Active KR102891096B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230010350A KR102891096B1 (en) 2023-01-26 2023-01-26 System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230010350A KR102891096B1 (en) 2023-01-26 2023-01-26 System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle

Publications (2)

Publication Number Publication Date
KR20240117918A KR20240117918A (en) 2024-08-02
KR102891096B1 true KR102891096B1 (en) 2025-11-26

Family

ID=92418162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230010350A Active KR102891096B1 (en) 2023-01-26 2023-01-26 System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle

Country Status (1)

Country Link
KR (1) KR102891096B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102434580B1 (en) * 2017-11-09 2022-08-22 삼성전자주식회사 Method and apparatus of dispalying virtual route
KR102090590B1 (en) 2018-06-08 2020-04-23 엘지전자 주식회사 Robot of moving waypoints based on obstace avoidance and method of moving
KR102595387B1 (en) * 2021-03-09 2023-10-27 동의대학교 산학협력단 Virtual grid-based A-Star route search method and system

Also Published As

Publication number Publication date
KR20240117918A (en) 2024-08-02

Similar Documents

Publication Publication Date Title
KR102749005B1 (en) Method and device to estimate distance
KR102152192B1 (en) Robot path   planning   systems, methods, robots and media
US20190163958A1 (en) Methods and associated systems for grid analysis
KR102628012B1 (en) Method and apparatus of auto calibration
US11054839B2 (en) Mobile robotic device that processes unstructured data of indoor environments to segment rooms in a facility to improve movement of the device through the facility
US8903160B2 (en) Apparatus and method with traveling path planning
KR20210022016A (en) Method and system for improving depth information of feature points using camera and lidar
KR102096926B1 (en) Method and system for detecting change point of interest
Fichtner et al. Semantic enrichment of octree structured point clouds for multi‐story 3D pathfinding
KR102260121B1 (en) A checkerboard for camera calibration, method and apparatus for automatic target recognition using the same
US10565786B1 (en) Sensor placement interface
KR102707596B1 (en) Device and method to estimate ego motion
KR20200050246A (en) Method for detecting 3d object from 2d image and apparatus thereof
KR20200042100A (en) Device and method to convert image
JP2011065202A (en) Autonomous mobile device
KR20200143228A (en) Method and Apparatus for localization in real space using 3D virtual space model
KR20210015516A (en) Method and system for improving depth information of feature points using camera and lidar
US20210397202A1 (en) Touch control of unmanned aerial vehicles
KR102891096B1 (en) System for robot evasion and robot movement regarding obstacle depending on generation of virtual map, and method for robot evasion and robot movement of obstacle
CN115494856B (en) Obstacle avoidance method, device, drone and electronic equipment
JP2013065351A (en) Image processing apparatus and image processing method
WO2024203115A1 (en) Information processing method, information processing device, and program
JPH10149435A (en) Environment recognition system and mark used therefor
ELzaiady et al. Next-best-view planning for environment exploration and 3D model construction
KR20190070235A (en) Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D22 Grant of ip right intended

Free format text: ST27 STATUS EVENT CODE: A-1-2-D10-D22-EXM-PE0701 (AS PROVIDED BY THE NATIONAL OFFICE)

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-2-2-U10-U11-OTH-PR1002 (AS PROVIDED BY THE NATIONAL OFFICE)

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

Q13 Ip right document published

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q13-NAP-PG1601 (AS PROVIDED BY THE NATIONAL OFFICE)