[go: up one dir, main page]

KR20200059110A - 파지 로봇 및 목표 물체 파지를 위한 주변 물체 분리 방법 - Google Patents

파지 로봇 및 목표 물체 파지를 위한 주변 물체 분리 방법 Download PDF

Info

Publication number
KR20200059110A
KR20200059110A KR1020190015124A KR20190015124A KR20200059110A KR 20200059110 A KR20200059110 A KR 20200059110A KR 1020190015124 A KR1020190015124 A KR 1020190015124A KR 20190015124 A KR20190015124 A KR 20190015124A KR 20200059110 A KR20200059110 A KR 20200059110A
Authority
KR
South Korea
Prior art keywords
target object
boundary surface
nonlinear
area
separating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190015124A
Other languages
English (en)
Other versions
KR102270958B1 (ko
Inventor
서일홍
박영빈
원종순
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20200059110A publication Critical patent/KR20200059110A/ko
Application granted granted Critical
Publication of KR102270958B1 publication Critical patent/KR102270958B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

목표 물체를 파지하기 위해 목표 물체로부터 주변 물체를 분리하는 파지 로봇 및 방법이 개시된다. 개시된 파지 로봇은 목표 물체 및 주변 물체에 대한 제1이미지를 생성하는 카메라; 제1이미지가 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지를 생성하는 이미지 분할부; 상기 제2이미지를 이용하여, 엔드 이펙터의 상기 목표 물체에 대한 파지 동작 또는 상기 목표 물체로부터 상기 주변 물체를 분리하는 분리 동작을 결정하는 동작 결정부; 및 상기 분리 동작을 위한 상기 엔드 이펙터의 비선형 밀기 궤적을 생성하는 분리 동작 제어부를 포함한다.

Description

파지 로봇 및 목표 물체 파지를 위한 주변 물체 분리 방법{GRASPING ROBOT AND METHOD OF PUSHING OBRJECTS AROUND A TRAGET OBJECT}
본 발명은 파지 로봇 및 목표 물체 파지 방법에 관한 발명으로서, 더욱 상세하게는 목표 물체를 파지하기 위해 목표 물체로부터 주변 물체를 분리하는 파지 로봇 및 방법에 관한 것이다.
로봇은 인간의 다양한 편의를 위해 연구, 개발이 진행되어 왔으며, 사용 용도에 따라 단순 반복 작업 및 육체적으로 힘들고 안전상 위험한 업무를 사람을 대신해 수행하는 산업용 로봇과, 인간의 일상 생활에 다양한 편의를 제공하는 지능형 서비스 로봇 등으로 구분된다.
많은 로봇들이 목표 물체를 파지하기 위한 적어도 하나의 엔드 이펙터(end effector), 예컨대 로봇 핸드와 같은 엔드 이펙터를 구비하며, 목표 물체를 파지하기 위한 동작을 수행한다.
관련 선행문헌으로 대한민국 공개특허 제2018-0114200호가 있다.
본 발명은 목표 물체를 파지하기 위해 목표 물체로부터 주변 물체를 분리하는 파지 로봇 및 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 목표 물체 및 주변 물체에 대한 제1이미지를 생성하는 카메라; 제1이미지가 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지를 생성하는 이미지 분할부; 상기 제2이미지를 이용하여, 엔드 이펙터의 상기 목표 물체에 대한 파지 동작 또는 상기 목표 물체로부터 상기 주변 물체를 분리하는 분리 동작을 결정하는 동작 결정부; 및 상기 분리 동작을 위한 상기 엔드 이펙터의 비선형 밀기 궤적을 생성하는 분리 동작 제어부를 포함하는 파지 로봇이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 목표 물체 및 주변 물체를 포함하는 제1이미지가, 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지를 입력받는 단계; 상기 목표 물체 영역을 미리 설정된 넓이만큼 팽창시키는 단계; 및 팽창된 목표 물체 영역과 상기 주변 물체 영역이 오버랩되는지에 따라서, 엔드 이펙터의 상기 목표 물체에 대한 파지 동작 또는 상기 목표 물체로부터 상기 주변 물체를 분리하는 분리 동작을 결정하는 단계를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 목표 물체 및 주변 물체를 포함하는 제1이미지가, 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지에 대해, 상기 목표 물체 영역 및 상기 주변 물체 영역을 구분하는 비선형 경계면을 생성하는 단계; 상기 비선형 경계면 중에서, 배경 영역에 포함되는 배경 영역 경계면을 선택하는 단계; 상기 비선형 경계면 및 배경 영역 경계면을 이용하여, 상기 목표 물체로부터 상기 주변 물체를 분리하는 엔드 이펙터의 분리 동작을 위한 비선형 밀기 궤적을 생성하는 단계를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법이 제공된다.
본 발명에 따르면, 목표 물체 주변에 물체들이 존재하여 파지가 용이하지 않은 상황에서 파지 동작 전에 선행적으로 분리 동작을 수행하여 주변 물체를 목표 물체로부터 이격시킴으로써, 보다 안정적이고 용이하게 목표 물체를 파지할 수 있다.
또한 본 발명에 따르면, 비선형 밀기 궤적에 기반하여 분리 동작을 수행함으로써, 보다 적은 횟수의 분리 동작을 수행하여 목표 물체를 파지할 수 있다.
도 1은 본 발명의 일실시예에 따른 파지 로봇을 설명하기 위한 도면이다.
도 2는 제1 및 제2이미지를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 목표 물체 파지를 위한 주변 물체 분리 방법을 설명하기 위한 도면이다.
도 4는 팽창된 목표 물체 영역을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 목표 물체 파지를 위한 주변 물체 분리 방법을 설명하기 위한 도면이다.
도 6은 비선형 경계면 및 배경 영역 경계면을 설명하기 위한 도면이다.
도 7은 비순환 구조인 비선형 경계면을 나타내는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 목표 물체 파지를 위한 주변 물체 분리 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 파지 로봇이 분리 동작을 수행하는 환경의 일예를 도시하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
파지 로봇이 목표 물체를 파지할 때, 목표 물체 주변에 위치하는 주변 물체가 목표 물체 가까이 인접해 존재하거나 붙어 있을 경우, 엔드 이펙터가 목표 물체를 파지하러 이동하면서 주변 물체에 부딪혀 파지 로봇의 파지가 실패할 확률이 높아질 수 있다. 따라서, 파지 로봇이 목표 물체를 파지하기 전에, 목표 물체 주변에 위치하는 주변 물체를 목표 물체로부터 이격시킨다면, 보다 안정적으로 목표 물체를 파지할 수 있을 것이다.
본 발명은 이러한 점에 착안한 것으로서, 목표 물체를 파지하기 위해 목표 물체로부터 주변 물체를 분리하는 파지 로봇 및 방법을 제안한다.
파지 로봇은 주변 물체를 밀어서, 주변 물체를 목표 물체로부터 분리하는 동작을 수행할 수 있는데, 파지 로봇이 주변 물체를 미는 궤적은 선형 또는 비선형의 궤적일 수 있다. 쉽게 말해, 파지 로봇은 직선 궤적으로 주변 물체를 밀거나 또는 곡선 궤적으로 주변 물체를 밀어서, 주변 물체를 목표 물체로부터 분리할 수 있다.
이 때, 복수의 주변 물체들이 목표 물체를 둘러싸고 있으며, 파지 로봇이 선형 궤적을 이용하여 목표 물체로부터 주변 물체를 분리하는 동작을 수행할 경우, 파지 로봇은 분리 동작을 여러 번 수행하여, 주변 물체를 분리할 수 밖에 없다. 반면, 파지 로봇이 비선형 궤적을 이용하여 목표 물체로부터 주변 물체를 분리하는 동작을 수행할 경우에는 상대적으로 적은 횟수의 분리 동작을 수행하여 주변 물체를 분리할 수 있다.
이에 본 발명은 비선형 밀기 궤적을 이용하여 목표 물체로부터 주변 물체를 분리하는 방법에 관한 실시예를 제시한다.
본 발명에 따른 주변 물체 분리 방법은 프로세서를 포함하는 컴퓨팅 장치, 파지 로봇 등에서 수행될 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 파지 로봇을 설명하기 위한 도면이며, 도 2는 제1 및 제2이미지를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 파지 로봇은, 카메라(110), 이미지 분할부(120), 동작 결정부(130) 및 분리 동작 제어부(140)를 포함하며, 실시예에 따라서 파지 동작 제어부(150)를 더 포함할 수 있다.
카메라(110)는 목표 물체(211) 및 주변 물체(212, 213, 214)에 대한 제1이미지(210)를 생성하며, 파지 로봇의 외부에 설치될 수 있다.
이미지 분할부(120)는, 제1이미지(210)에서 목표 물체(211) 및 주변 물체(212, 213, 214)와 같은 객체를 검출하여, 제1이미지(210)가 객체 영역 및 배경 영역으로 분할된 제2이미지(220)를 생성한다. 객체 영역은 목표 물체 및 주변 물체와 같은 객체가 포함된 영역으로서, 목표 물체가 포함된 목표 물체 영역 및 주변 물체가 포함된 주변 물체 영역을 포함할 수 있다. 분할된 영역 각각은 단일 색상으로 표시될 수 있다. 도 2에서, 목표 물체 영역은 분홍색으로 표시된 영역, 주변 물체 영영역은 파란색, 적색 및 노란색으로 표시된 영역이다. 배경 영역은, 제2이미지(220)에서 객체 영역이 아닌 영역을 나타낸다.
일실시예로서, 이미지 분할부(120)는 영상을 객체 단위의 의미적 특징으로 분할하는 의미적 영상 분할(semantic segmentation) 알고리즘에 기반하여, 제1이미지(210)에 포함된 객체를 검출하여 제2이미지(220)를 생성할 수 있다.
동작 결정부(130)는 제2이미지(220)를 이용하여, 엔드 이펙터의 목표 물체에 대한 파지 동작 또는 목표 물체로부터 주변 물체를 분리하는 분리 동작을 결정한다.
일실시예로서, 동작 결정부(130)는 목표 물체 영역을 미리 설정된 넓이만큼 팽창시키는 영상 처리부 및 팽창된 목표 물체 영역이 주변 물체 영역과 오버랩되는 경우, 엔드 이펙터의 분리 동작을 선택하는 선택부를 포함할 수 있다. 선택부는 팽창된 목표 물체 영역이 주변 물체 영역과 오버랩되지 않는 경우, 엔드 이펙터의 파지 동작을 선택할 수 있다.
분리 동작 제어부(140)는 분리 동작이 결정된 경우, 분리 동작을 위한 엔드 이펙터의 비선형 밀기 궤적을 생성한다. 분리 동작 제어부(140)는 파지 동작이 결정될 때까지 비선형 밀기 궤적을 생성할 수 있다.
일실시예로서, 분리 동작 제어부(140)는 경계면 생성부, 세그먼트 생성부 및 밀기 궤적 생성부를 포함할 수 있다.
경계면 생성부는 제2이미지(220)에 대해, 목표 물체 영역 및 주변 물체 영역을 구분하는 비선형 경계면을 생성한다.
세그먼트 생성부는 비선형 경계면 중 배경 영역에 포함되는 배경 영역 경계면을, 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라 복수의 세그먼트로 분할한다.
밀기 궤적 생성부는, 비선형 경계면에서, 최장 세그먼트를 제외한 나머지 경계면을 비선형 밀기 궤적으로 결정한다. 또는 실시예에 따라서, 비선형 경계면에서, 제2이미지(220)의 외곽 경계선에 접촉되는 세그먼트를 제외한 나머지 경계면을 비선형 밀기 궤적으로 결정한다.
파지 동작 제어부(150)는 파지 동작이 결정된 경우, 엔드 이펙터의 파지 동작, 즉 엔드 이펙터가 목표 물체를 잡는 동작을 제어한다.
결국, 본 발명에 따르면, 목표 물체 주변에 물체들이 존재하여 파지가 용이하지 않은 상황에서 파지 동작 전에 선행적으로 분리 동작을 수행하여 주변 물체를 목표 물체로부터 이격시킴으로써, 보다 안정적이고 용이하게 목표 물체를 파지할 수 있다.
이하, 도 3 내지 9를 참조하여, 동작 결정부의 동작 결정 방법, 분리 동작 제어부의 비선형 궤적 생성 방법을 보다 자세히 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 목표 물체 파지를 위한 주변 물체 분리 방법을 설명하기 위한 도면이며, 도 4는 팽창된 목표 물체 영역을 설명하기 위한 도면이다.
도 3에서는 파지 로봇에서 수행되는 파지 동작 및 분리 동작을 결정하는 방법이 일실시예로서 설명된다.
본 발명에 따른 파지 로봇은 목표 물체 및 주변 물체를 포함하는 제1이미지가, 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지를 입력받고(S310), 목표 물체 영역을 미리 설정된 넓이만큼 팽창(S320)시킨다. 그리고 팽창된 목표 물체 영역과 주변 물체 영역이 오버랩되는지에 따라서, 엔드 이펙터의 목표 물체에 대한 파지 동작 또는 목표 물체로부터 주변 물체를 분리하는 분리 동작을 결정(S330)한다.
단계 S330에서 파지 로봇은 팽창된 목표 물체 영역과 주변 물체 영역이 오버랩되는 경우, 주변 물체가 목표 물체에 인접하여 위치한 것으로 판단하여 엔드 이펙터의 분리 동작을 결정한다. 또한 파지 로봇은 팽창된 목표 물체 영역과 주변 물체 영역이 오버랩되지 않는 경우, 주변 물체가 목표 물체에 인접하지 않아서 분리 동작이 불필요한 것으로 판단하여 엔드 이펙터의 파지 동작을 결정한다.
단계 S320에서 파지 로봇은 영상처리 기법의 하나인 모폴로지 연산을 통해 목표 물체 영역을 팽창(dilation)시킬 수 있다. 도 4에서는, 제2이미지에서의 목표 물체 영역이 적색으로 팽창되고 주변 물체 영역이 파란색으로 표시된 실시예가 도시되어 있다. 도 2의 제2이미지에서는 최초 목표 물체 영역과 주변 물체 영역이 오버랩되지 않았으나, 이러한 팽창에 의해 목표 물체 영역과 주변 물체 영역이 오버랩됨을 알 수 있다.
이 때, 팽창되는 넓이는 엔드 이펙터의 굵기 또는 목표 물체의 크기에 따라서 결정될 수 있다. 엔드 이펙터, 예컨대 로봇 핸드의 손가락 굵기가 굵을수록, 주변 물체가 목표 물체로부터 멀리 이격되어야 엔드 이펙트가 용이하게 목표 물체 영역을 파지할 수 있으므로, 파지 로봇은 로봇 핸드의 손가락 굵기가 굵을수록 팽창되는 넓이를 증가시킨다. 팽창되는 넓이가 커질수록, 팽창된 목표 물체 영역과 주변 물체 영역이 오버랩될 가능성이 높아지기 때문에, 단계 S330에서 파지 로봇이 엔드 이펙터의 분리 동작을 결정할 확률 역시 증가하며, 주변 물체가 목표 물체로부터 보다 멀리 이격될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 목표 물체 파지를 위한 주변 물체 분리 방법을 설명하기 위한 도면이며, 도 6은 비선형 경계면 및 배경 영역 경계면을 설명하기 위한 도면이다. 도 7은 비순환 구조인 비선형 경계면을 나타내는 도면이다.
본 발명에 따른 파지 로못은 목표 물체 및 주변 물체를 포함하는 제1이미지가, 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지에 대해, 목표 물체 영역 및 주변 물체 영역을 구분하는 비선형 경계면을 생성(S510)한다. 그리고 비선형 경계면 중에서, 배경 영역에 포함되는 배경 영역 경계면을 선택(S520)한다. 그리고 비선형 경계면 및 배경 영역 경계면을 이용하여, 목표 물체로부터 주변 물체를 분리하는 엔드 이펙터의 분리 동작을 위한 비선형 밀기 궤적을 생성(S530)한다.
단계 S510에서 파지 로봇은 일실시예로서 비선형 SVM(Nonlinear SVM) 알고리즘을 이용하여 비선형 경계면을 생성할 수 있다.
SVM 알고리즘은 데이터를 분류하는 기계 학습 알고리즘의 하나로서, 다양한 데이터를 경계면을 이용하여 positive 데이터와 negative 데이터로 구분한다. 이 때 선형 경계면을 이용하여 데이터를 분류하는 SVM 알고리즘을 선형 SVM 알고리즘, 비선형 경계면을 이용하여 데이터를 분류하는 SVM 알고리즘을 선형 SVM 알고리즘이라 한다. 즉, 비선형 SVM 알고리즘을 통해서는 비선형 경계면이 생성될수 있다.
또한 단계 S510에서 파지 로봇은 실시예에 따라서, 목표 물체 영역 및 주변 물체 영역을 구분하는 비선형 경계면을 생성하거나 또는 도 6과 같이 팽창된 목표 물체 영역 및 주변 물체 영역을 구분하는 비선형 경계면(610)을 생성할 수 있다.
단계 S520에서 파지 로봇은 비선형 경계면에서, 배경 영역에 포함되는 배경 영역 경계면을 제외한 나머지 경계면을 비선형 밀기 궤적으로 결정할 수 있으며, 이러한 비선형 밀기 궤적은 경계면의 궤적에 대응되거나 또는 경계면의 궤적을 추종하도록 결정될 수 있다.
이 때, 배경 영역 경계면은 주변 물체의 배치 상태에 따라서, 하나의 이어진 곡선이 아닌 도 6 및 도 7에 도시된 바와 같이 끊겨진 형태로 존재할 수 있다. 이 경우, 파지 로봇은 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라서, 배경 영역 경계면을 복수의 세그먼트로 분할한다. 도 6의 경우, 배경 영역 경계면이 3개의 곡선으로 끊어진 형태이므로, 파지 로봇은 배경 영역 경계면을 3개의 제1 내지 제3세그먼트(611, 612, 613)로 분할할 수 있다.
그리고 파지 로봇은 비선형 경계면에서, 최장 세그먼트 즉, 가장 긴 세그먼트를 제외한 나머지 경계면을 비선형 밀기 궤적으로 결정할 수 있다. 도 6에서 제1세그먼트(611)가 최장 세그먼트이므로 파지 로봇은 비선형 경계면(610)에서 제1세그먼트(611)를 제외한 나머지 경계면, 즉 제1포인트(630)에서 제2포인트(640)까지의 경계면을 비선형 밀기 궤적으로 결정할 수 있다. 제1포인트(630) 및 제2포인트(640)는, 엔드 이펙트가 비선형 밀기 궤적에 따라 수행하는 분리 동작의 시작 위치 및 종료 위치가 될 수 있다.
한편, 비선형 경계면은 도 6과 같이 순환 구조로 생성될 수 있으며, 목표 물체 및 주변 물체의 배치에 따라서 도 7과 같이 비순환 구조로 생성될 수도 있다. 이 경우, 파지 로봇은 비선형 경계면에서, 제2이미지의 외곽 경계선에 접촉되는 세그먼트를 제외한 나머지 경계면을 비선형 밀기 궤적으로 결정할 수 있다. 도 7에서, 파지 로봇은 비선형 경계면(710)에서 외곽 경계선(750)에 접촉되는 제1 및 제2세그먼트(711, 712)를 제외한 나머지 경계면, 즉 제1포인트(730)에서 제2포인트(740)까지의 경계면을 비선형 밀기 궤적으로 결정할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 목표 물체 파지를 위한 주변 물체 분리 방법을 설명하기 위한 도면이다.
본 발명에 따른 파지 로봇은 배경 영역 경계면의 분할된 세그먼트 중 최장 세그먼트에 포함된 픽셀수에 따라서, 비선형 밀기 궤적을 생성할 수 있다. 여기서, 최장 세그먼트에 포함된 픽셀수는 최장 세그먼트의 길이에 대응된다. 즉, 최장 세그먼트의 길이가 길수록 최장 세그먼트에 포함된 픽셀수는 증가한다.
목표 물체 주변을 주변 물체가 촘촘히 둘러싸고 있는 경우에, 엔드 이펙트가 분리 동작을 위한 시작 위치로 이동하는 과정에서 엔드 이펙트와 주변 물체 사이에 충돌이 발생할 수 있다. 그리고 목표 물체 주변을 주변 물체가 촘촘히 둘러싸고 있는 경우는 최장 세그먼트의 길이가 짧은 경우에 대응된다.
따라서, 본 발명에 따른 파지 로봇은 최장 세그먼트에 포함된 픽셀수와 임계값을 비교(S810)하여, 픽셀수가 임계값보다 클 경우 즉, 최장 세그먼트의 길이가 임계 길이보다 클 경우 비선형 밀기 궤적을 생성(S820)한다. 이 때 파지 로봇은 순환 구조인 비선형 경계면에 기반하여 비선형 밀기 궤적을 생성하는 방법과 같이, 비선형 밀기 궤적을 생성할 수 있다.
반면, 단계 S810의 비교 결과, 픽셀수가 임계값 이하인 경우, 즉 최장 세그먼트의 길이가 임계 길이 이하인 경우, 파지 로봇은 목표 물체로부터 상기 주변 물체를 분리하는 엔드 이펙터의 분리 동작을 위한 선형 밀기 궤적을 생성(S830)한다.
일실시예로서 단계 S830에서 파지 로봇은 주변 물체 영역 중 최대 주변 물체, 즉 가장 큰 주변 물체에 대한 주변 물체 영역과 목표 물체 영역을 구분하는 선형 경계면을 생성하고, 생성된 선형 경계면을 이용하여, 선형 밀기 궤적을 생성할 수 있다. 선형 경계면은 선형 SVM 알고리즘 기반으로 생성될 수 있다.
부피가 작은 물체보다는 부피가 큰 물체가 이동해야 주변 물체들이 보다 효과적으로 산개되어, 주변 물체들이 목표 물체로부터 멀리 이격될 수 있으므로, 파지 로못은 최대 주변 물체에 대응되는 주변 물체 영역과 목표 물체 영역을 구분하는 선형 경계면을 생성한다.
이 때 생성되는 선형 경계면은 비순환 경계면과 유사한 형태를 나타내므로, 파지 로봇은 비순환 경계면에 기반하여 선형 밀기 궤적을 생성하는 방법과 같이, 선형 밀기 궤적을 생성할 수 있다.
도 9는 본 발명의 일실시예에 따른 파지 로봇이 분리 동작을 수행하는 환경의 일예를 도시하는 도면으로서, 도 9는 파지 로봇의 카메라에서 촬영된 제1이미지를 나타낸다.
도 9에 도시된 바와 같이, 8개의 다양한 물체들이 존재하는 환경에서 파지 로봇은 미리 설정된 목표 물체를 파지하기 위해, 주변 물체를 목표 물체로부터 이격시키기 위한 분리 동작을 수행할 수 있다. 어떠한 물체가 목표 물체로 설정되느냐에 따라서, 주변 물체의 개수는 달라질 수 있으며, [표 1]은 주변 물체의 개수에 따라서 선형 밀기 궤적 및 비선형 밀기 궤적 각각에 기반한 분리 동작을 수행하였을 때, 파지 동작을 수행할때까지 수행된 분리 동작의 횟수를 나타낸다.
Figure pat00001
[표 1]과 같이, 비선형 밀기 궤적 각각에 기반한 분리 동작을 수행하였을 때, 보다 적은 분리 동작 횟수가 필요함을 알 수 있다. 특히, 주변 물체가 증가할수록 비선형 밀기 궤적에 기반한 분리 동작이 선형 밀기 궤적에 기반한 분리 동작보다 훨씬 효율적임을 알 수 있다.
이와 같이, 본 발명에 따르면, 비선형 밀기 궤적에 기반하여 분리 동작을 수행함으로써, 보다 적은 횟수의 분리 동작을 수행하여 목표 물체를 파지할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 목표 물체 및 주변 물체에 대한 제1이미지를 생성하는 카메라;
    제1이미지가 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지를 생성하는 이미지 분할부;
    상기 제2이미지를 이용하여, 엔드 이펙터의 상기 목표 물체에 대한 파지 동작 또는 상기 목표 물체로부터 상기 주변 물체를 분리하는 분리 동작을 결정하는 동작 결정부; 및
    상기 분리 동작을 위한 상기 엔드 이펙터의 비선형 밀기 궤적을 생성하는 분리 동작 제어부
    를 포함하는 파지 로봇.
  2. 제 1항에 있어서,
    상기 동작 결정부는
    상기 목표 물체 영역을 미리 설정된 넓이만큼 팽창시키는 영상 처리부; 및
    상기 팽창된 목표 물체 영역이 상기 주변 물체 영역과 오버랩되는 경우, 상기 엔드 이펙터의 분리 동작을 선택하는 선택부
    를 포함하는 파지 로봇.
  3. 제 1항에 있어서,
    상기 분리 동작 제어부는
    상기 제2이미지에 대해, 상기 목표 물체 영역 및 상기 주변 물체 영역을 구분하는 비선형 경계면을 생성하는 경계면 생성부;
    상기 비선형 경계면 중 배경 영역에 포함되는 배경 영역 경계면을, 상기 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라 복수의 세그먼트로 분할하는 세그먼트 생성부; 및
    상기 비선형 경계면에서, 최장 세그먼트를 제외한 나머지 경계면을 상기 비선형 밀기 궤적으로 결정하는 밀기 궤적 생성부
    를 포함하는 파지 로봇.
  4. 제 1항에 있어서,
    상기 분리 동작 제어부는
    상기 제2이미지에 대해, 상기 목표 물체 영역 및 상기 주변 물체 영역을 구분하는 비선형 경계면을 생성하는 경계면 생성부;
    상기 비선형 경계면 중 배경 영역에 포함되는 배경 영역 경계면을, 상기 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라 복수의 세그먼트로 분할하는 세그먼트 생성부; 및
    상기 비선형 경계면에서, 상기 제2이미지의 외곽 경계선에 접촉되는 세그먼트를 제외한 나머지 경계면을 상기 비선형 밀기 궤적으로 결정하는 밀기 궤적 생성부
    를 포함하는 파지 로봇.
  5. 목표 물체 및 주변 물체를 포함하는 제1이미지가, 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지를 입력받는 단계;
    상기 목표 물체 영역을 미리 설정된 넓이만큼 팽창시키는 단계; 및
    팽창된 목표 물체 영역과 상기 주변 물체 영역이 오버랩되는지에 따라서, 엔드 이펙터의 상기 목표 물체에 대한 파지 동작 또는 상기 목표 물체로부터 상기 주변 물체를 분리하는 분리 동작을 결정하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  6. 제 5항에 있어서,
    상기 팽창되는 넓이는
    상기 엔드 이펙터의 굵기 또는 상기 목표 물체의 크기에 따라서 결정되는
    목표 물체 파지를 위한 주변 물체 분리 방법.
  7. 제 5항에 있어서,
    상기 분리 동작을 결정하는 단계는
    팽창된 목표 물체 영역과 상기 주변 물체 영역이 오버랩되는 경우, 상기 엔드 이펙터의 분리 동작을 결정하는
    목표 물체 파지를 위한 주변 물체 분리 방법.
  8. 목표 물체 및 주변 물체를 포함하는 제1이미지가, 목표 물체 영역, 주변 물체 영역 및 배경 영역으로 분할된 제2이미지에 대해, 상기 목표 물체 영역 및 상기 주변 물체 영역을 구분하는 비선형 경계면을 생성하는 단계;
    상기 비선형 경계면 중에서, 배경 영역에 포함되는 배경 영역 경계면을 선택하는 단계;
    상기 비선형 경계면 및 배경 영역 경계면을 이용하여, 상기 목표 물체로부터 상기 주변 물체를 분리하는 엔드 이펙터의 분리 동작을 위한 비선형 밀기 궤적을 생성하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  9. 제 8항에 있어서,
    상기 비선형 밀기 궤적을 생성하는 단계는
    상기 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라서, 상기 배경 영역 경계면을 복수의 세그먼트로 분할하는 단계; 및
    상기 비선형 경계면에서, 최장 세그먼트를 제외한 나머지 경계면을 상기 비선형 밀기 궤적으로 결정하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  10. 제 8항에 있어서,
    상기 비선형 밀기 궤적을 생성하는 단계는
    상기 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라서, 상기 배경 영역 경계면을 복수의 세그먼트로 분할하는 단계; 및
    상기 비선형 경계면에서, 상기 제2이미지의 외곽 경계선에 접촉되는 세그먼트를 제외한 나머지 경계면을 상기 비선형 밀기 궤적으로 결정하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  11. 제 8항에 있어서,
    상기 비선형 밀기 궤적을 생성하는 단계는
    상기 비선형 경계면에서, 상기 배경 영역 경계면을 제외한 나머지 경계면을 상기 비선형 밀기 궤적으로 결정하는
    목표 물체 파지를 위한 주변 물체 분리 방법.
  12. 제 8항에 있어서,
    상기 비선형 밀기 궤적을 생성하는 단계는
    상기 배경 영역 경계면에 포함되는 픽셀의 연결성에 따라서, 상기 배경 영역 경계면을 복수의 세그먼트로 분할하는 단계; 및
    상기 세그먼트 중 최장 세그먼트에 포함된 픽셀수가 임계값보다 클 경우, 상기 비선형 밀기 궤적을 생성하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  13. 제 12항에 있어서,
    상기 세그먼트 중 최장 세그먼트에 포함된 픽셀수가 임계값 이하인 경우, 상기 목표 물체로부터 상기 주변 물체를 분리하는 엔드 이펙터의 분리 동작을 위한 선형 밀기 궤적을 생성하는 단계
    를 더 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  14. 제 13항에 있어서,
    상기 선형 밀기 궤적을 생성하는 단계는
    상기 주변 물체 영역 중 최대 주변 물체에 대한 주변 물체 영역과 상기 목표 물체 영역을 구분하는 선형 경계면을 생성하는 단계; 및
    상기 선형 경계면을 이용하여, 상기 선형 밀기 궤적을 생성하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
  15. 제 8항에 있어서,
    상기 비선형 경계면을 생성하는 단계는
    상기 목표 물체 영역을 미리 설정된 넓이만큼 팽창시키는 단계; 및
    상기 팽창된 목표 물체 영역 및 상기 주변 물체 영역을 구분하는 비선형 경계면을 생성하는 단계
    를 포함하는 목표 물체 파지를 위한 주변 물체 분리 방법.
KR1020190015124A 2018-11-20 2019-02-08 파지 로봇 및 목표 물체 파지를 위한 주변 물체 분리 방법 Active KR102270958B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180143248 2018-11-20
KR20180143248 2018-11-20

Publications (2)

Publication Number Publication Date
KR20200059110A true KR20200059110A (ko) 2020-05-28
KR102270958B1 KR102270958B1 (ko) 2021-06-30

Family

ID=70920037

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190015124A Active KR102270958B1 (ko) 2018-11-20 2019-02-08 파지 로봇 및 목표 물체 파지를 위한 주변 물체 분리 방법

Country Status (1)

Country Link
KR (1) KR102270958B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112605983A (zh) * 2020-12-01 2021-04-06 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN114952841A (zh) * 2022-05-26 2022-08-30 上海交通大学 一种沙土掩埋情况下推拨抓取方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
원종순, "손쉬운 로봇 파지를 위한 영상 공간에서의 산개 동작 경로 계획", 한양대학교 대학원 지능형 로봇학과, 석사학위논문(2018.08.)* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112605983A (zh) * 2020-12-01 2021-04-06 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN112605983B (zh) * 2020-12-01 2022-04-19 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN114952841A (zh) * 2022-05-26 2022-08-30 上海交通大学 一种沙土掩埋情况下推拨抓取方法及装置
CN114952841B (zh) * 2022-05-26 2025-06-24 上海交通大学 一种沙土掩埋情况下推拨抓取方法及装置

Also Published As

Publication number Publication date
KR102270958B1 (ko) 2021-06-30

Similar Documents

Publication Publication Date Title
Yang et al. A deep learning approach to grasping the invisible
Misra et al. Mapping instructions and visual observations to actions with reinforcement learning
Li et al. Learning of grasp adaptation through experience and tactile sensing
EP3035246A2 (en) Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
KR20190119863A (ko) 반 지도 학습과 여러 개의 멀티 모달 네트워크를 이용한 비디오 기반 인물 감정 인식 기법
JP6835218B2 (ja) 群衆状態認識装置、学習方法および学習プログラム
JP6340957B2 (ja) 物体検出装置および物体検出プログラム
KR102270958B1 (ko) 파지 로봇 및 목표 물체 파지를 위한 주변 물체 분리 방법
Alliegro et al. End-to-end learning to grasp via sampling from object point clouds
US20210334599A1 (en) Training a deep neural network model to generate rich object-centric embeddings of robotic vision data
KR20220059194A (ko) 대상 객체에 적응적인 객체 추적 방법 및 장치
JP2021066011A5 (ko)
JP6208018B2 (ja) 画像認識アルゴリズム組合せ選択装置
Motoda et al. Bimanual shelf picking planner based on collapse prediction
Huu et al. Proposing recognition algorithms for hand gestures based on machine learning model
CN111164645A (zh) 图像分割方法及装置
KR101014852B1 (ko) 인공지능 기반의 캐릭터 동작생성 장치, 방법 및 그 기록 매체
US9443168B1 (en) Object detection approach using an ensemble strong classifier
KR102085427B1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
Wang et al. Exploring causalworld: Enhancing robotic manipulation via knowledge transfer and curriculum learning
Ogawara et al. Recognition of human task by attention point analysis
JP2016221660A (ja) 判定方法、判定プログラム及び判定装置
KR101329642B1 (ko) 작업 솜씨 학습을 위한 모델링 방법 및 이를 이용한 로봇
KR20220081782A (ko) 뉴럴 네트워크를 이용하는 데이터 처리 방법, 데이터 처리 장치 및 이를 포함한 전자 장치
Mohammed et al. Color matching based approach for robotic grasping

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190208

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200313

Patent event code: PE09021S01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200928

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210406

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210624

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210624

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240627

Start annual number: 4

End annual number: 4