KR20170053585A

KR20170053585A - 로봇 제어 장치 및 로봇 제어 방법

Info

Publication number: KR20170053585A
Application number: KR1020160146389A
Authority: KR
Inventors: 데츠리 소노다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2015-11-06
Filing date: 2016-11-04
Publication date: 2017-05-16
Anticipated expiration: 2036-11-04
Also published as: CN106945035A; JP2017087326A; US20170129101A1; US10695905B2; KR102086884B1; CN106945035B; JP6711591B2

Abstract

대상 물체를 파지하는 로봇의 동작을 제어하는 로봇 제어 장치는, 대상 물체의 위치 및 자세에 관한 정보를 획득하는 취득 유닛, 대상 물체의 촬상 화상에 기초하여, 복수의 파지 모드 중 하나의 파지 모드를 선택하는 선택 유닛, 및 획득된 위치 및 자세와 선택된 파지 모드에 기초하여, 로봇의 파지 동작을 규정하는 파지 동작 데이터를 생성하는 생성 유닛을 포함한다.

Description

로봇 제어 장치 및 로봇 제어 방법{ROBOT CONTROL APPARATUS AND ROBOT CONTROL METHOD}

본 개시내용의 양상들은, 일반적으로, 대상 물체를 파지하는 로봇의 제어 장치 및 제어 방법에 관한 것이다.

공급된 대상 물체를 파지하고, 미리 결정된 장소에 배치하는 로봇 장치가 변화하는 대상 물체의 공급 상태들에 부응하기 위해, 대상 물체를 파지하기 이전에 다양한 센서들을 사용하여 대상 물체의 종류, 위치, 및 자세를 인식하고 측정하는 기술이 최근 개발되고 있다. 일본 특허 3314890호는, 파지 유닛으로 대상 물체를 파지하기 이전에, 벨트 컨베이어에 의해 반송되는 대상 물체의 영상을 획득하고, 이러한 영상에 기초하여, 로봇의 지지 부재를 회전하는 로봇 장치를 논의한다. 또한, 일본 특허 3805310호는, 대상 물체가 놓인 상황에 따라 자세가 변경될 수 있는 워크 파지 유닛을 포함하는 장치를 논의한다.

일본 특허 제3314890호 및 일본 특허 제3805310호에 논의되는 장치들은, 대상 물체의 위치 및 자세가 대상 물체의 촬상 화상으로부터 적절하게 인식될 수 있다는 점을 전제로 한다. 불충분하거나 또는 어두운 조명, 또는 대상 물체 상의 오염들과 같은 악조건들로 인해 대상 물체의 인식이 불완전하거나 또는 불가능하면, 대상 물체는 따라서 파지되지 못할 수 있다. 대상 물체가 파지되지 못하게 되면, 즉, 파지의 성공률이 떨어지면, 로봇의 동작 효율이 감소된다.

본 발명의 양상에 따르면, 대상 물체를 파지하도록 구성되는 로봇의 동작을 제어하는 로봇 제어 장치는, 대상 물체의 위치 및 자세에 관한 정보를 획득하도록 구성되는 취득 유닛, 대상 물체의 촬상 화상에 기초하여, 복수의 파지 모드들 중 하나를 선택하도록 구성되는 선택 유닛, 및 획득된 위치 및 자세와 선택된 파지 모드에 기초하여, 파지 동작 데이터를 생성하도록 구성되는 생성 유닛을 포함하고, 파지 동작 데이터는 로봇의 파지 동작을 규정한다.

본 출원의 명세서에 따르면, 이러한 로봇은, 대상 물체의 정확한 위치 및 자세가 인식될 수 없더라도, 대상 물체를 적절하게 파지할 수 있다.

첨부된 도면들을 참조하여 실시예들의 이하의 설명으로부터 추가의 특징들이 명백하게 될 것이다.

도 1a는 제1 실시예에 따른 로봇 제어 장치를 포함하는 로봇 시스템을 도시하는 개략 평면도이고, 도 1b는 대상 물체의 사시도이다.
도 2는 제1 실시예에 따른 로봇 제어 장치의 동작을 도시하는 흐름도이다.
도 3은 제1 실시예에 따른 물체 정보 취득 단계의 상세를 도시하는 흐름도이다.
도 4a, 4b, 및 4c는 제1 실시예에 따른 배경 화상, 촬상 화상, 및 차분 화상을 도시하는 도면들이다.
도 5는 차분 화상에서의 대상 물체의 무게 중심 및 주축을 도시하는 도면이다.
도 6은 제1 실시예에 따른 정규화 화상을 도시하는 도면이다.
도 7a, 7b, 및 7c는 제1 실시예에 따른 대상 물체의 3개 종류의 배치 자세들을 도시하는 도면들이다.
도 8a, 8b, 및 8c는 도 7a, 7b, 및 7c의 3개 종류의 배치 자세들에 각각 대응하는 3개의 템플릿들을 도시하는 도면들이다.
도 9는 제2 실시예에 따른 로봇 제어 장치의 동작을 도시하는 흐름도이다.
도 10은 제3 실시예에 따른 로봇 제어 장치의 동작을 도시하는 흐름도이다.
도 11은 로봇 시스템의 블록도이다.

본 발명을 구현하는 실시예들이 첨부 도면들을 참조하여 이하 상세히 설명될 것이다. 이하의 실시예들은 본 발명을 구현하는 단지 몇몇 예들이다. 실시예들이 적용되는 장치 및 시스템의 구성과 여러 조건들에 의존하여 적절하게 이들에 대해 수정들 및 변경들이 이루어질 수 있다. 이하의 실시예들이 제한적인 것으로 이해되는 것은 아니다.

카메라에 의해 촬상된 대상 물체의 촬상 화상을 사용하여 대상 물체에 관한 물체 정보를 획득하고 대상 물체를 파지하는 로봇 시스템이 이하 설명될 것이다. 제1 실시예에서, 이러한 대상 물체는 처리 이전의 또는 이후의 부품이다. 본 실시예에서, 물체 정보는 대상 물체의 위치 및 자세에 관한 정보이다.

<로봇 시스템의 구성>

도 1a는 본 실시예에 따른 로봇 시스템의 위에서 보았을 때의 도면이다. 카메라(101)는 벨트 컨베이어(102) 상에 위치되는 대상 물체(103)의 화상을 촬상하도록 배치된다.

로봇 시스템은, 카메라(101), 정보 취득 유닛(104), 파지 모드 선택 유닛(105), 파지 동작 생성 유닛(106), 및 로봇(107)을 포함한다. 카메라(101), 정보 취득 유닛(104), 파지 모드 선택 유닛(105), 파지 동작 생성 유닛(106), 및 로봇(107)은, 라인(110)에 의해 유선 방식으로 접속된다. 본 실시예에 따른 로봇(107)은 싱글 암 로봇이다. 벨트 컨베이어(102)는 그 상에 위치되는 대상 물체(103)를 화살표(111)의 방향으로 반송한다. 벨트 컨베이어(102)는 대상 물체(103)를 반송하고 그로 인해 로봇(107)에 대상 물체(103)를 공급하므로, 벨트 컨베이어(102)는 공급 유닛이라고 지칭될 수 있다. 벨트 컨베이어(102)는 그 상에 위치되는 복수의 대상 물체(103)를 반송할 수 있다. 평면도로 볼 때, 대상 물체(103)는 직사각 형상의 본체 및 본체로부터 돌출되는 반원형의 돌출부를 포함한다.

도 1b는 대상 물체(103)의 사시도이다. 도 1b는 화살표(111)의 반대 방향으로 보았을 때의 도 1a의 대상 물체(103)를 도시한다. 위에 설명된 바와 같이, 평면에서 보았을 때, 대상 물체(103)는 직사각 형상의 본체(103a) 및 본체(103a)로부터 돌출되는 반원형의 돌출부(103b)를 포함한다.

도 1a에 도시되는 바와 같이, 카메라(101)는 벨트 컨베이어(102)에 의해 공급되는 대상 물체(103)의 화상을 위에서 촬상하여, 대상 물체(103)의 촬상 화상을 획득한다. 카메라(101)는 미리 결정된 촬영 범위(112)를 갖고, 이러한 촬영 범위(112) 내로 반송되는 대상 물체(103)의 화상을 촬영할 수 있다. 예를 들어, 본 실시예에서, 대상 물체(103)의 촬상 화상은, 대상 물체의 화소 단위 휘도 값들과 같은, 부품(물체)의 측정 값을 획득하기 위해 사용된다. 따라서, 카메라(101)는 대상 물체(103)의 측정 유닛으로서 기능한다. 대상 물체(103)의 휘도 값들은 대상 물체(103)에 관한 물리적 속성에 관련된 정보의 일례이다. 로봇 손(109)의 위치 및 자세는 카메라(101)의 좌표계에 표현될 수 있다. 카메라(101)에 의해 획득되는 촬상 화상은 정보 취득 유닛(104)에 송신된다. 예를 들어, 카메라(101)는 CCD(charge-coupled device) 이미지 센서 및 CMOS(complementary metal oxide semiconductor) 이미지 센서와 같은 화상 센서(시각 센서)를 포함하는 디지털 카메라(비디오 카메라를 포함함)일 수 있다.

<제어 장치의 구성>

도 1a 및 1b에 도시되는 실시예에서, 정보 취득 유닛(104), 파지 모드 선택 유닛(105), 및 파지 동작 생성 유닛(106)은, 로봇(107)을 제어하는 로봇 제어 장치(114)를 구성한다. 로봇 제어 장치(114)는 파지 동작 생성 유닛(106)에 의해 생성되는 파지 동작 데이터를 로봇(107)에 송신하는 것에 의해, 로봇(107)의 파지 동작을 제어한다.

정보 취득 유닛(104)은 카메라(101)에 의해 획득되는 촬상 화상을 사용하여 대상 물체(103)에 관한 물체 정보를 획득한다. 본 실시예에서, 정보 취득 유닛(104)은 복수 종류의 물체 정보를 획득한다. 복수 종류의 물체 정보는, 물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보를 포함한다. 정보 취득 유닛(104)은 물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보를 획득하는 처리(계산)를 실행한다. 물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보는, 대상 물체(103)의 인식 정확도(촬영 정확도)에 따라 단계적으로 설정된다. 물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보의 상세는 이하 설명될 것이다.

파지 모드 선택 유닛(105)은 대상 물체(103)의 촬상 화상에 기초하여, 복수의 파지 모드들 중 하나를 선택한다. 복수의 파지 모드들은 대상 물체(103)의 파지 정확도에 대응한다. 본 실시예에서, 파지 모드 선택 유닛(105)은 4개의 파지 모드들 중 하나를 선택한다. 4개의 파지 모드들은 상세 위치지정 파지 모드, 개략 위치지정 파지 모드, 위치 범위 지정 파지 모드, 및 랜덤 파지 모드이다. 상세 위치지정 파지 모드는, 대상 물체(103)의 촬상 화상으로부터 대상 물체(103)에 관한 상세 정보가 성공적으로 획득(인식)되면 선택된다. 개략 위치지정 파지 모드는, 촬상 화상으로부터 대상 물체(103)에 관한 개략 정보가 성공적으로 획득되면 선택된다. 위치 범위 지정 파지 모드는, 촬상 화상으로부터 대상 물체(103)의 단서가 되는 정보가 성공적으로 획득되면 선택된다. 랜덤 파지 모드는, 대상 물체(103)에 관한 상세 정보, 개략 정보, 및 단서 정보 중 어느 것도 성공적으로 획득되지 않는 경우에 선택된다. 이러한 파지 모드들의 상세는 이하 설명될 것이다. 4개의 파지 모드들은, 대상 물체(103)의 4단계의 파지 정확도에 대응하도록 설정된다.

파지 동작 생성 유닛(106)은 파지 모드 선택 유닛(105)에 의해 선택된 파지 모드에 기초하여, 대상 물체(103)를 파지하는 로봇(107)의 파지 동작 데이터를 생성한다. 이러한 파지 동작 데이터는 로봇(107)의 파지 동작을 규정하는 데이터이다.

로봇(107)은, 로봇 암(108), 로봇 손(109), 및 베이스 유닛(113)을 포함한다. 예를 들어, 로봇 암(108)은 다관절 암이다. 로봇 손(109)은 로봇 암(108)의 단부에 부착된다. 로봇 손(109)은 대상 물체(103)를 파지하는 파지 유닛(이펙터)이다. 도 1a에서의 로봇 손(109)은 표준 2개-손가락형 로봇 손이다. 로봇(107)은 또한 로봇 암(108)을 구동하는 서보 모터(도시되지 않음) 및 이러한 서보 모터의 각도 위치를 검출하는 인코더(도시되지 않음)를 포함한다. 로봇(107)은 파지 동작 생성 유닛(106)에 의해 생성된 파지 동작 데이터(커맨드)에 따라 동작하여, 대상 물체(103)를 파지한다. 로봇 암(108)의 베이스 부분은 베이스 유닛(113)에 부착된다. 베이스 유닛(113)은 로봇 암(108)을 지지하는 받침대이다.

<처리 플로우>

도 2는, 본 실시예에 따른 로봇(107)이 카메라(101)에 의해 촬상된 대상 물체(103)의 촬상 화상을 사용하여, 대상 부품(대상 물체)에 관한 물체 정보를 획득하고 파지를 수행하는 동작을 도시하는 흐름도이다. 로봇 제어 장치(114)의 동작이 도 2를 참조하여 이하 설명될 것이다. 도 2의 흐름도는, 예를 들어, 로봇(107)이 파워 온 될 때 시작된다.

단계 S201에서, 카메라(101)는 대상 물체(103)의 화상을 위에서 촬상하여, 촬상 화상을 획득한다.

단계 S202에서, 정보 취득 유닛(104)은 단계 S201에서 획득된 촬상 화상을 사용하여, 물체 정보(물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보)를 획득한다. 물체 상세 정보는 대상 물체(103)의 정확한 위치 및 자세를 표현하는(식별하는) 정보이다. 즉, 물체 상세 정보는 대상 물체(103)의 상세한 위치 및 자세가 식별될 수 있는 정보이다. 물체 개략 정보는 대상 물체(103)의 위치들 및 자세들의 가능한 범위를 나타내는 정보이다. 즉, 물체 개략 정보는 범위를 갖는 대상 물체(103)의 위치 및 자세를 표현하는 정보이다. 물체 단서 정보는 미리 결정된 영역에서의 대상 물체(103)의 존재를 나타내는 정보이다. 즉, 물체 단서 정보는 대상 물체(103)의 존재 범위를 나타내는 위치 범위 정보이다. 본 실시예에서, 정보 취득 유닛(104)은 하나의 단계(단계 S202)에서 복수의 물체 정보(물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보)를 획득한다.

단계 S202에서, 물체 정보를 취득할 때, 정보 취득 유닛(104)은 대상 물체(103)의 촬상 화상을 스캔하고, 촬상 화상과 배경 화상 사이의 차분들을 획득하여, 차분 화상을 결정한다. 정보 취득 유닛(104)은 차분 화상에서의 0보다 더 큰 화소 휘도 값을 각각 갖는 화소들의 수 m_D를 검출(계산)한다. 정보 취득 유닛(104)은 또한 대상 물체(103)의 정규화 화상을 획득하고, 정규화 화상에 대하여 템플릿 매칭을 수행하여, 최소 매칭 오차 e_min을 결정한다. 단계 S202에서의 물체 정보의 취득 처리(차분 화상의 취득, 화소들의 수 m_D의 검출, 및 정규화 화상의 취득)의 상세는 도 3을 사용하여 이하 설명될 것이다.

단계 S203에서, 파지 모드 선택 유닛(105)은 단계 S202에서 획득된 최소 매칭 오차 e_min을 미리 설정된 임계값 e_precise와 비교한다. 최소 매칭 오차 e_min이 임계값 e_precise 미만이면(단계 S203에서 "예"), 대상 물체(103)에 관한 상세 정보(정확한 위치 및 자세)는 촬상 화상으로부터 성공적으로 인식(검출)될 수 있다고 결정되고, 처리는 단계 S204로 진행한다. 최소 매칭 오차 e_min이 임계값 e_precise 이상이면(단계 S203에서 "아니오"), 대상 물체(103)에 관한 상세 정보는 촬상 화상으로부터 인식(검출)될 수 없다고 결정되어, 처리는 단계 S207로 진행한다. 단계 S203에서의 최소 매칭 오차 e_min과 임계값 e_precise의 비교는 대상 물체(103)에 관한 실제로 인식가능한 정보가 높은 정확도를 갖는지 결정한다. 높은 정확도를 갖는다는 것은 대상 물체(103)의 위치 및 자세가 상세하게 식별될 수 있다는 것을 의미한다.

단계 S204에서, 파지 모드 선택 유닛(105)은 파지 모드로서 상세 위치지정 파지 모드를 선택한다. 상세 위치지정 파지 모드에서는, 이하 설명되는 바와 같이, 로봇 손(109)의 목적 위치가 대상 물체(103)의 정확한 위치 및 자세에 기초하여 결정된다. 이하의 설명에서, "위치 및 자세"는 "위치-자세"라고 지칭될 것이다.

단계 S205에서, 파지 동작 생성 유닛(106)은 상세 위치지정 파지 모드에서 계산하고, 파지 동작 O₁을 로봇(107)에 출력한다. 카메라(101)의 좌표계에서의 로봇 손(109)의 초기 위치-자세는 R₀으로, 목표 위치-자세는 R₁로 표기될 것이다. 초기 위치-자세 R₀과 목표 위치-자세 R₁은 이하의 식 (1)로 표현된다. 파지 동작 O₁은 파지 동작 데이터라고 지칭될 수 있다.

식 (1)에서, R_precise는 단계 S202에서 결정된 물체 상세 정보(대상 물체(103)의 정확한 위치-자세)를 나타낸다. R_h는 대상 물체(103)의 좌표계에 대하여 로봇 손(109)의 파지 위치-자세를 나타낸다. R_h는 대상 물체(103)가 적절하게 파지될 수 있는 위치-자세이다. 이러한 위치-자세는 대상 물체(103)의 위치-자세가 측정되는 환경하에서 대상 물체(103)의 좌표계에 의해 미리 설정된다. 파지 동작 O₁은 시계열 방식으로 초기 위치-자세 R₀과 목표 위치-자세 R₁을 연결하는 위치-자세들 R의 집합으로서 표현된다. 초기 위치-자세 R₀과 목표 위치-자세 R₁을 사용하여, 파지 동작 O₁은 이하의 식 (2)에 의해 주어진다.

여기서, "l"은 초기 위치-자세 R₀과 목표 위치-자세 R₁의 사이의 분할들의 수를 나타낸다. 각각의 위치-자세 R은 4×4의 행렬에 의해 표현된다. 식 (2)에서의 실제 자세의 보간 계산은, 직교 정규성(orthonormality)을 유지하기 위해 쿼터니언 표현들(quaternion expressions)을 사용하여 수행된다.

이러한 방식으로, 파지 동작 생성 유닛(106)은, 정보 취득 유닛(104)에 의해 획득된 물체 정보이며 파지 모드 선택 유닛(105)에 의해 선택된 파지 모드에 대응하는, 물체 상세 정보 R_precise를 사용하여, 로봇(107)의 파지 동작을 규정하는 파지 동작 데이터를 생성한다. 단계 S206에서, 로봇(107)은 파지 동작 생성 유닛(106)에 의해 생성되는 파지 동작 O₁을 실행하여, 대상 물체(103)를 파지한다. 로봇(107)이 대상 물체(103)를 파지하면, 이러한 처리는 종료한다. 대상 물체(103)를 파지한 후, 로봇(107)은 대상 물체(103)를 미리 결정된 위치(영역)에 조립한다.

최소 매칭 오차 e_min이 임계값 e_precise 이상이면(단계 S203에서 "아니오"), 단계 S207에서, 파지 모드 선택 유닛(105)은 단계 S202에서 결정된 최소 매칭 오차 e_min를 미리 설정된 제2 임계값 e_rough와 비교한다. 최소 매칭 오차 e_min이 제2 임계값 e_rough미만이면(단계 S207에서 "예"), 파지 모드 선택 유닛(105)은 대상 물체(103)에 관한 개략 정보가 촬상 화상으로부터 성공적으로 인식(검출)되는 것으로 결정한다. 다음으로, 처리는 단계 S208로 진행한다. 최소 매칭 오차 e_min이 제2 임계값 e_rough 이상이면(단계 S207에서 "아니오"), 파지 모드 선택 유닛(105)은 대상 물체(103)에 관한 개략 정보(대상 물체(103)의 개략의 위치-자세)가 촬상 화상으로부터 인식되거나 또는 검출할 수 없다고 결정한다. 처리는 단계 S210으로 진행한다.

단계 S208에서, 파지 모드 선택 유닛(105)은 파지 모드로서 개략 위치지정 파지 모드를 선택한다. 개략 위치지정 파지 모드에서는, 이하 설명되는 바와 같이, 로봇 손(109)의 목적 위치는, 대상 물체(103)의 개략 위치-자세에 기초하여 결정된다.

단계 S209에서, 파지 동작 생성 유닛(106)은 개략 위치지정 파지 모드에서 파지 동작 O₂를 계산하고, 파지 동작 O₂를 로봇(107)에 출력한다. 카메라(101)의 좌표계에서의 목표 위치-자세는 R₂로 표기될 것이다. 목표 위치-자세 R₂는 이하의 식 (3)으로 표현된다.

R_rough는 단계 S202에서 결정된 물체 개략 정보(범위를 갖는 대상 물체(103)의 위치-자세)를 나타낸다. α 및 β는, 각각, 이하 설명될 위치 및 자세의 변동들에 대한 가중 계수들을 나타낸다. x_rand, y_rand, z_rand, 및 λ_rand는 0 내지 1의 임의의 값을 각각 갖는 실수 난수들을 나타낸다. 이러한 단계 S209에서의 식 (3)의 R_rough가 식 (1)의 R_precise보다 더 정확한 물체 정보는 아니다. 본 실시예에서, 물체 개략 정보 R_rough가 사용되면, 목표 위치-자세 R₂는 따라서, 잘못된 파지 위치의 취득을 방지하기 위해, R_v에 의해 미리 결정된 변동들로 결정된다. 파지 동작 O₂는 시계열 방식으로 초기 위치-자세 R₀과 목표 위치-자세 R₂를 연결하는 위치-자세들 R의 집합으로서 생성된다. 파지 동작 O₂는 식 (2)에서의 R₁을 R₂로 치환하여 생성된다. 단계 S209 후, 처리는 단계 S206으로 진행한다. 단계 S206에서, 로봇(107)은 파지 동작 생성 유닛(106)에 의해 생성되는 파지 동작 O₂를 실행하여, 대상 물체(103)를 파지한다.

최소 매칭 오차 e_min이 제2 임계값 e_rough 이상이면(단계 S207에서 "아니오"), 단계 S210에서, 파지 모드 선택 유닛(105)은 화소들의 수 m_D(차분 화상 D에서의 0보다 더 큰 휘도 값을 각각 갖는 화소들의 수)와 미리 설정된 화소 수 임계값 m_clue를 비교한다. 화소들의 수 m_D가 화소 수 임계값 m_clue 이상이면(단계 S210에서 "예"), 파지 모드 선택 유닛(105)은 대상 물체(103)에 관한 단서 정보(대상 물체(103)가 존재하는 위치 범위)가 성공적으로 검출되는 것으로 결정한다. 다음으로, 처리는 단계 S211로 진행한다. 화소들의 수 m_D가 화소 수 임계값 m_clue 미만이면(단계 S210에서 "아니오"), 파지 모드 선택 유닛(105)은 대상 물체(103)에 관한 단서 정보가 검출될 수 없다고 결정한다. 다음으로, 처리는 단계 S213으로 진행한다.

단계 S211에서, 파지 모드 선택 유닛(105)은 파지 모드로서 위치 범위 지정 파지 모드를 선택한다. 위치 범위 지정 파지 모드에서, 이하 설명되는 바와 같이, 로봇 손(109)의 목적 위치는, 물체 단서 정보로부터 획득되는, 대상 물체(103)가 존재하는 위치 범위(영역)에 기초하여, 결정된다.

단계 S212에서, 파지 동작 생성 유닛(106)은 위치 범위 지정 파지 모드에서 파지 동작 O₃을 계산하고, 파지 동작 O₃을 로봇(107)에 출력한다. 카메라(101)의 좌표계에서의 목표 위치-자세는 R₃으로 표기될 것이다. 로봇 손(109)의 목표 위치-자세 R₃은 이하의 식 (4)로 표현된다.

x_u, y_u, δ_x, 및 δ_y는 도 3을 참조하여 이하 설명될 것이다. x_R3rand 및 y_R3rand는 -1 내지 1의 임의의 값을 각각 갖는 실수 난수를 나타낸다. z_fix는 벨트 컨베이어(102) 상의 대상 물체(103)를 파지하기에 적절한 로봇 손(109)의 높이의 미리 설정된 고정 값을 나타낸다. 단계 S212에서, 파지 동작 생성 유닛(106)은 물체 단서 정보로부터 획득된 대상 물체(103)의 위치 범위 u(x_u ± δx, y_u ± δy) 내의 위치를 랜덤하게 지정하는 것에 의해 목표 위치-자세 R₃을 생성한다. 파지 동작 O₃은 시계열 방식으로 초기 위치-자세 R₀과 목표 위치-자세 R₃를 연결하는 위치-자세들 R의 집합으로서 생성된다. 파지 동작 O₃은 식 (2)에서의 R₁을 R₃으로 치환하는 것에 의해 생성된다. 단계 S212 후, 처리는 단계 S206으로 진행한다. 단계 S206에서, 로봇(107)은 파지 동작 생성 유닛(106)에 의해 생성되는 파지 동작 O₃을 실행하여, 대상 물체(103)를 파지한다.

화소들의 수 m_D가 화소 수 임계값 m_clue 미만이면(단계 S210에서 "아니오"), 단계 S213에서, 파지 모드 선택 유닛(105)은 파지 모드로서 랜덤 파지 모드를 선택한다. 랜덤 파지 모드에서는, 이하 설명되는 바와 같이, 로봇(107)의 목적 위치(로봇 손(109)의 목적지 위치)는, 물체 정보를 사용하지 않고 결정된다.

단계 S214에서, 파지 동작 생성 유닛(106)은 랜덤 파지 모드에서 파지 동작 O₄을 계산하고, 파지 동작 O₄을 로봇(107)에 출력한다. 카메라(101)의 좌표계에서의 목표 위치-자세는 R₄로 표기될 것이다. 로봇 손(109)의 목표 위치-자세 R₄는 이하의 식 (5)로 표현된다.

x_R4rand와 y_R4rand는 공급 유닛인 벨트 컨베이어(102)가 존재하는 x 방향에서의 범위 x_conveyor _min 내지 x_conveyor _max와 y 방향에서의 범위 y_conveyor _min 내지 y_conveyor _max 내의 임의의 값을 각각 갖는 실수 난수를 나타낸다. 본 단계(S214)에서, 파지 동작 생성 유닛(106)은 대상 물체(103)의 위치-자세를 사용하지 않는다. 파지 동작 생성 유닛(106)은 전체 공급 유닛의 범위 내의(도 1의 벨트 컨베이어(102)의 범위 내의 또한 카메라(101)의 촬영 범위(112) 내부의) 위치를 랜덤하게 지정하는 것에 의해, 목표 위치-자세 R₄를 생성한다. 파지 동작 O₄는 시계열 방식으로 초기 위치-자세 R₀과 목표 위치-자세 R₄를 연결하는 위치-자세들 R의 집합으로서 생성된다. 파지 동작 O₄는 식 (2)에서의 R₁을 R₄로 치환하여 생성된다. 단계 S214 후, 처리는 단계 S206으로 진행한다. 단계 S206에서, 로봇(107)은 파지 동작 생성 유닛(106)에 의해 생성되는 파지 동작 O₄를 실행하여, 대상 물체(103)를 파지한다.

위에 설명된 바와 같이, 로봇(107)으로 대상 물체(103)를 적절하게 파지하도록 단계들 S201 내지 S214의 동작이 수행될 수 있다. 대상 물체(103)를 파지한 후, 로봇(107)은 대상 물체(103)를 미리 결정된 위치(영역)에 조립한다.

<물체 정보 취득 처리>

다음으로, 단계 S202에서의 물체 정보 취득 처리의 상세가 도 3에서의 흐름도를 참조하여 설명될 것이다. 도 3의 흐름도는 도 4a 내지 도 8c를 참조하여 설명될 것이다. 도 3에 도시되는 단계들(S301 내지 S308)은 정보 취득 유닛(104)에 의해 실행된다.

단계 S301에서, 정보 취득 유닛(104)은 촬상 화상을 스캔하고, 배경 화상으로부터 차분들을 계산하여, 차분 화상 D를 획득한다.

도 4a 내지 4c는 차분 화상 D의 취득을 도시하는 도면들이다. 도 4a에 도시되는 바와 같이, 대상 물체(103)가 존재하지 않는 상태에서 촬상된 배경 화상 B가 미리 생성된다(준비된다). 배경 화상 B는 도 1에서의 벨트 컨베이어(102)의 상부의 화상이다. 도 4b는 현재의 촬상 화상 C를 도시한다. 따라서, 도 1의 상태에서 촬상된 화상이 촬상 화상 C이다. 대상 물체(103)가 벨트 컨베이어(102) 상에 위치된다. 도 4c는 차분 화상 D를 도시한다. 차분 화상 D는, 배경 화상 B와 촬상 화상 C 사이의 차분들을 식 (6)에 의해 표현되는 바와 같이 획득하여, 대상 물체(103)를 나타내는 화소들만을 추출하는 것에 의해, 결정될 수 있다.

여기서, I_b, I_c, 및 I_d는 각각 배경 화상 B, 촬상 화상 C, 및 차분 화상 D를 구성하는 화소들의 휘도 값들을 나타낸다. I_t는 차분 화상 D를 획득하기 위해 사용되는 휘도 차분의 임계값을 나타낸다. 정보 취득 유닛(104)은 전체 촬상 화상을 스캔하고, 그로 인해 촬상 화상 C의 모든 화소들에 식 (6)의 계산을 적용하여, 차분 화상 D를 획득한다.

도 5는, 차분 화상 D에서의 대상 물체(103)의 무게 중심 g 및 대상 물체(103)의 긴 변의 방향을 나타내는 직선 h를 도시하는 도면이다. 직선 h는 대상 물체(103)의 무게 중심 g를 통과한다. 직선 h는 대상 물체(103)의 주축이라고 지칭될 수 있다.

단계 S302에서, 정보 취득 유닛(104)은 촬상 화상에서의 대상 물체(103)의 위치를 규정하는 무게 중심 g(x_g, y_g) 및 주축 h를 계산한다. 도 5는 차분 화상 D에서의 대상 물체(103)의 무게 중심 g(x_g, y_g) 및 주축 h를 도시한다. 대상 물체(103)의 무게 중심 g는 이하의 식 (7)로 표현된다.

x_d 및 y_d는 차분 화상 D에서의 0보다 더 큰 휘도 값을 갖는 화소 d의 위치들(x 좌표 위치 및 y 좌표 위치)를 나타낸다. m_D는 이러한 화소들의 수를 나타낸다. 주축이 되는 직선 h는 이하의 식 (8)로 표현된다. 도 5의 수평 방향이 x 방향이고, 수직 방향이 y 방향이다.

단계 S303에서, 정보 취득 유닛(104)은 템플릿 매칭에 의해 대상 물체(103)의 인식이 가능하게 되도록, 차분 화상 D의 화소 위치들, 회전, 및 스케일을 정규화한다. 정보 취득 유닛(104)은 그로 인해 도 6에 도시되는 정규화 화상 N을 획득한다. 도 6의 수평 방향이 x 방향이고, 수직 방향이 y 방향이다. 정규화 화상 N을 구성하는 각 화소 n(x_n, y_n)은 이하의 식 (9)로 표현된다.

x_dmax 및 x_dmin은, 각각, 차분 화상 D에서의 0보다 더 큰 휘도 값을 각각 갖는 화소들 d의 모든 x_d 중에서 최대값 및 최소값을 나타낸다. 정보 취득 유닛(104)은 0보다 더 큰 휘도 값을 각각 갖는 모든 화소들 d에 식 (9)를 적용하는 것에 의해 정규화 화상 N을 획득한다.

단계 S304에서, 정보 취득 유닛(104)은 정규화 화상 N에 대하여 템플릿 매칭을 수행하여, 현재의 대상 물체(103)의 배치 자세를 인식한다. 본 실시예에서, 도 7a, 7b, 및 7c에 도시되는 바와 같이, 대상 물체(103)는 3개 종류의 배치 자세들을 갖는다. 3개 종류의 배치 자세들은 위로부터(도 7a 내지 7c에서의 화살표(701)의 방향으로) 미리 관찰되어, 단계들 S301 내지 S303의 것과 유사한 절차에 의해 정규화 화상들 N을 생성한다. 정규화 화상들 N은 각각의 자세들의 템플릿들 T₁ 내지 T₃으로서 사용된다. 도 8a, 8b, 및 8c는 도 7a, 7b, 및 7c에 각각 대응하는 템플릿들 T₁, T₂, 및 T₃을 도시한다. 템플릿들 T₁, T₂, 및 T₃을 사용하여, 정보 취득 유닛(104)은 이하의 식 (10)에 의해 템플릿 매칭을 수행한다.

I_n은 정규화 화상 N에서의 각 화소의 휘도 값을 나타낸다. I_tk는 템플릿 T_k에서의 각 화소의 휘도 값을 나타낸다. m_N은 정규화 화상 N의 화소들의 총 수를 나타낸다. e_k는 템플릿 T_k에 대한 매칭 오차를 나타낸다. 정보 취득 유닛(104)은 결정된 매칭 오차들 e₁ 내지 e₃ 중에서 최소 매칭 오차 e_min을 선택하고, 최소 매칭 오차 e_min에 대응하는 템플릿 T_k를 사용하여 매칭 결과를 출력한다. 단계 S305에서, 정보 취득 유닛(104)은 최소 매칭 오차 e_min에 대응하는 템플릿 T_k에 대하여 촬상 화상에서의 대상 물체(103)의 스케일 s를 계산한다. 스케일 s는, 이하의 식 (11)로 결정된다.

s_d는 단계 S303에서의 식 (9)에 의해 획득되는 수치이다. s_emin은 최소 매칭 오차 e_min에 대응하는 템플릿 T_k가 미리 계산될 때 획득되는 s_d에 상응하는 수치이다.

단계 S306에서, 정보 취득 유닛(104)은 물체 상세 정보로서 대상 물체(103)의 3차원 위치-자세를 나타내는 R_precise를 계산하여 출력한다. R_precise는 이하의 식 (12)로 획득된다.

f는 카메라(101)의 초점 거리를 나타낸다. z_tk는 최소 매칭 오차 e_min에 대응하는 템플릿 T_k이 촬상될 때 대상 물체(103)의 z 방향 위치(z 좌표 위치)를 나타낸다. 초점 거리 f는 카메라(101)의 캘리브레이션을 수행하는 것에 의해 미리 획득된다. z_tk는 템플릿 T_k이 촬상될 때 실제 측정에 의해 미리 획득된다. 단계 S307에서, 정보 취득 유닛(104)은 물체 개략 정보로서 범위를 갖는 대상 물체(103)의 3차원 위치-자세를 나타내는 R_rough를 계산하여 출력한다. R_rough는 이하의 식 (13)으로 획득된다.

α는 대상 물체(103)의 3차원 위치에서의 변동들을 최소 매칭 오차 e_min과 관련시키는 가중 계수를 나타낸다. β는 z축 회전 방향에서의 변동들을 최소 매칭 오차 e_min과 관련시키는 가중 계수를 나타낸다. 이러한 계수들 α 및 β는, 다양한 위치들 및 자세들로 배치되는 대상 물체(103)와 템플릿 매칭을 수행하고, 최소 매칭 오차 e_min과 위치 및 자세에서의 변동들 사이의 수치 변화들을 결정하는 것에 의해, 미리 설정된다. 단계 S308에서, 정보 취득 유닛(104)은 물체 단서 정보로서 대상 물체(103)의 존재 범위를 나타내는 위치 범위 u를 계산하여 출력한다. 위치 범위 u는 이하의 식 (14)으로 획득된다.

y_dmax 및 y_dmin은, 각각, 차분 화상 D에서의 0보다 더 큰 휘도 값을 각각 갖는 화소들의 모든 y_d 중에서 최대값 및 최소값을 나타낸다.

위에 설명된 바와 같이 로봇(107)의 파지 동작을 제어하는 것에 의해, 본 실시예의 로봇 제어 장치(114)는 촬상 화상으로부터 획득되는 대상 물체(103)에 관한 정보의 정확도(촬영 정확도)에 따라 파지 모드를 선택하고, 대상 물체(103)를 파지할 수 있다. 대상 물체(103)에 관한 상세한(정확한) 정보가 악조건들에서 취득될 수 없더라도, 대상 물체(103)의 파지 성공률이 증가될 수 있다.

본 실시예에서, 예를 들어, 로봇(107)이 대상 물체(130)를 특정 위치에 끼워 넣는 동작을 수행하는 경우에, 대상 물체(103)에 관한 물체 상세 정보가 성공적으로 획득(인식)되면(단계 S203에서 "예"), 로봇 제어 장치(114)는 상세 위치지정 파지 모드를 선택한다. 이것은 대상 물체(103)의 빠른 끼워 넣기 동작을 가능하게 한다. 대상 물체(103)에 관한 상세한(정확한) 위치 및 자세가 성공적으로 인식되므로, 대상 물체(103)는 다시 파지되지 않을 것이다. 대상 물체(103)에 관한 물체 상세 정보는 인식(검출)될 수 없고 물체 개략 정보는 성공적으로 검출되면(단계 S207에서 "예"), 로봇 제어 장치(114)는 개략 위치지정 파지 모드를 선택하여, 대상 물체(103)를 파지한다. 이러한 경우에, 로봇(107)은 로봇 손(109)으로 대상 물체(103)를 파지하고, 다른 장소(예를 들어, 다시 파지하기 위한 적재대)에 대상 물체(103)를 이송한다. 로봇(107)은 다음으로 대상 물체(103)를 적재대 상에 두고, 대상 물체(103)를 다시 파지한다. 다시 파지한 후, 로봇(107)은 대상 물체(103)를 끼워넣는 동작을 수행한다. 예를 들어, 이러한 적재대 근처에 대상 물체(103)의 상세한 위치 및 자세를 촬영할 수 있는 디바이스가 배치된다. 대상 물체(103)의 상세한 위치 및 자세가 검출된 후, 로봇(107)은 대상 물체(103)를 빠르게 파지할 수 있다. 대상 물체(103)에 관한 물체 상세 정보 및 물체 개략 정보는 검출될 수 없고 물체 단서 정보는 성공적으로 검출되면(단계 S210에서 "예"), 로봇 제어 장치(114)는 파지를 위해 위치 범위 지정 파지 모드를 선택한다. 이러한 경우에, 로봇(107)은 로봇 손(109)으로 대상 물체(103)를 파지하고, 다시 파지하기 위해 적재대에 대상 물체(103)를 이송한다. 로봇(107)은 다음으로 대상 물체(103)를 적재대 상에 두고, 대상 물체(103)를 다시 파지한다. 다시 파지한 후, 로봇(107)은 대상 물체(103)를 끼워넣는 동작을 수행한다. 이러한 방식으로, 대상 물체(103)의 위치-자세가 적절하게 인식될 수 없더라도, 로봇(107)은 비정상적 정지 없이 끼워 넣기 동작을 수행할 수 있다. 따라서, 대상 물체(103)의 파지 성공률이 이에 따라 증가될 수 있다.

종래의 로봇 장치들은, 카메라로부터의 촬상 화상을 사용하여, 대상 물체의 상세한 위치-자세를 인식(검출)하고, 대상 물체의 상세한 위치-자세에 기초하여 대상 물체의 파지를 수행한다. 대상 물체의 촬영 환경 또는 인식 조건(상태)이 나쁘면, 정확한(상세한) 위치-자세는 인식되는 것에 실패할 수 있고, 대상 물체는 파지되는 것이 불가능할 수 있다. 대조적으로, 본 실시예에 따르면, 로봇 시스템은, 대상 물체(103)의 상세한 위치-자세에 대응하는 물체 상세 정보뿐만 아니라, 개략적인 위치-자세를 나타내는 물체 개략 정보 및 대상 물체(103)의 존재의 단서가 되는 물체 단서 정보를 동시에(하나의 단계 S202에서) 획득하는 처리를 수행한다. 로봇 시스템은 다음으로 대상 물체(103)의 촬상 화상에 기초하여(대상 물체(103)에 관한 실제로 인식가능한 정보 정확도에 기초하여) 파지 모드를 선택하고, 이러한 파지 모드에 대응하는 물체 정보를 사용하여, 대상 물체(103)를 파지한다. 악조건들에서 대상 물체(103)에 관한 상세 정보가 취득될 수 없더라도, 대상 물체(103)의 파지의 성공률이 이에 따라 증가될 수 있다.

위에 설명된 설명에서, 카메라(101), 정보 취득 유닛(104), 파지 모드 선택 유닛(105), 파지 동작 생성 유닛(106), 및 로봇(107)은, 라인(110)에 의해 유선 방식으로 접속되는 것으로 설명된다. 그러나, 컴포넌트들은 무선으로 접속될 수 있다.

본 발명은, 위에 설명된 제1 실시예 이외의 다양한 모드들로 구현될 수 있다. 제1 실시예에서, 정보 취득 유닛(104)은 하나의 단계(단계 S202)에서 3개 종류의 물체 정보(물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보)를 획득하는 처리를 수행한다. 제1 실시예에서, 물체 정보 취득 처리(단계 S202) 후, 파지 모드 선택 유닛(105)은 대상 물체(103)에 관한 실제 인식된 정보의 정확도(촬영 정확도)에 기초하여 파지 모드를 선택(결정)한다. 제2 실시예에서, 정보 취득 유닛(104)은 하나의 단계에서 1개 종류의 물체 정보를 획득한다. 보다 구체적으로, 제2 실시예에서는, 하나의 단계에 있는 정보 취득 유닛(104)의 처리 부하가 감소된다. 이것은, 상세 위치지정 파지 모드를 선택했을 때 동작(전체 로봇 시스템의 동작)을 고속화할 수 있어, 최단 동작이 달성된다.

제2 실시예에서 사용되는 로봇 시스템은 제1 실시예에서 설명한 것(도 1a 및 1b)과 유사한 구성을 갖는다. 이하의 설명에서, 제1 실시예와 동일한 참조 부호들이 따라서 사용될 것이다. 제2 실시예에서, 카메라(101)는 유사하게 대상 물체(103)의 화상을 촬상한다. 정보 취득 유닛(104)은 이러한 촬상 화상을 사용하여, 대상 물체(103)에 관한 물체 정보를 획득한다. 다음으로, 로봇(107)은 대상 물체(103)를 파지한다.

도 9는 본 실시예에 따른 로봇 제어 장치(114)의 처리를 도시하는 흐름도이다. 도 9의 단계들에 따라 동작이 이하 설명될 것이다.

단계 S901에서, 카메라(101)는 대상 물체(103)의 화상을 위에서 촬상하여, 대상 물체(103)의 촬상 화상을 획득한다. 단계 S901에서의 처리는 제1 실시예의 단계 S201에서의 것과 유사하다. 상세한 설명은 따라서 생략될 것이다.

단계 S902에서, 정보 취득 유닛(104)은 단계 S901에서 획득된 촬상 화상을 사용하여 물체 상세 정보를 획득한다. 정보 취득 유닛(104)은 제1 실시예에 따른 단계들 S301 내지 S306(도 3)의 것과 유사한 절차에 의해 물체 상세 정보를 획득한다. 제1 실시예(단계들 S301 및 S304)에서와 같이, 정보 취득 유닛(104)은 차분 화상 D 및 최소 매칭 오차 e_min을 획득한다.

단계 S903에서, 파지 모드 선택 유닛(105)은 단계 S902에서 획득된 최소 매칭 오차 e_min를 미리 설정된 제1 임계값 e_precise와 비교한다. 최소 매칭 오차 e_min이 제1 임계값 e_precise 미만이면(단계 S903에서 "예"), 대상 물체(103)에 관한 상세 정보(정확한 위치 및 자세)가 촬상 화상으로부터 성공적으로 인식되는 것으로 결정된다. 다음으로, 처리는 단계 S904로 진행한다. 최소 매칭 오차 e_min이 제1 임계값 e_precise 이상이면(단계 S903에서 "아니오"), 대상 물체(103)에 관한 상세 정보가 인식(검출)되는 것에 실패한 것으로 결정된다. 다음으로, 처리는 단계 S907로 진행한다.

단계들 S904 내지 S906에서, 파지 모드 선택 유닛(105)은 파지 모드를 선택하고, 파지 동작 생성 유닛(106)은 파지 동작을 생성하고, 로봇(107)은 물체 파지 동작을 수행한다. 단계들 S904 내지 S906의 처리는 제1 실시예에 따른 단계들 S204 내지 S206의 것과 유사하다. 따라서, 그 설명은 생략될 것이다.

최소 매칭 오차 e_min이 제1 임계값 e_precise 이상이면(단계 S903에서 "아니오"), 단계 S907에서, 정보 취득 유닛(104)은 단계 S901에서 획득된 촬상 화상을 사용하여 물체 개략 정보를 획득한다. 정보 취득 유닛(104)은 제1 실시예에 따른 단계 S307의 것과 유사한 처리에 의해 물체 개략 정보를 획득한다.

단계 S908에서, 파지 모드 선택 유닛(105)은 단계 S902에서 획득된 최소 매칭 오차 e_min를 미리 설정된 제2 임계값 e_rough과 비교한다. 최소 매칭 오차 e_min이 제2 임계값 e_rough 미만이면(단계 S908에서 "예"), 대상 물체(103)에 관한 개략 정보는 성공적으로 인식(검출)되는 것으로 결정된다. 다음으로, 처리는 단계 S909로 진행한다. 최소 매칭 오차 e_min이 제2 임계값 e_rough 이상이면(단계 S908에서 "아니오"), 대상 물체(103)에 관한 개략 정보는 인식되는 것에 실패한 것으로 결정된다. 다음으로, 처리는 단계 S911로 진행한다.

단계들 S909 및 S910에서, 파지 모드 선택 유닛(105)은 파지 모드를 선택하고, 파지 동작 생성 유닛(106)은 파지 동작을 생성한다. 단계 S909의 상세는 제1 실시예에 따른 단계 S208의 것과 유사하다. 단계 S910의 상세는 제1 실시예에 따른 단계 S209의 것과 유사하다. 그 설명은 따라서 생략될 것이다. 단계 S910 후, 처리는 단계 S906으로 진행한다. 단계 S906에서, 로봇(107)은 물체 파지 동작을 실행한다.

최소 매칭 오차 e_min이 제2 임계값 e_rough 이상이면(단계 S908에서 "아니오"), 단계 S911에서, 정보 취득 유닛(104)은 단계 S901에서 획득된 촬상 화상을 사용하여 물체 단서 정보를 획득한다. 정보 취득 유닛(104)은 제1 실시예에 따른 단계 S308의 것과 유사한 처리에 의해 물체 단서 정보를 획득한다.

단계 S912에서, 파지 모드 선택 유닛(105)은 단계 S902에서 획득된 차분 화상 D에서의 0보다 더 큰 휘도 값을 각각 갖는 화소들의 수 m_D를 미리 설정된 임계값인 화소 수 임계값 m_clue와 비교한다. 화소들의 수 m_D가 화소 수 임계값 m_clue 이상이면(단계 S912에서 "예"), 대상 물체(103)의 단서가 되는 정보는 성공적으로 인식되는 것으로 결정된다. 다음으로, 처리는 단계 S913으로 진행한다. 화소들의 수 m_D가 화소 수 임계값 m_clue 미만이면(단계 S912에서 "아니오"), 대상 물체(103)의 단서가 되는 정보는 인식되는 것에 실패한 것으로 결정된다. 다음으로 처리는 단계 S915로 진행한다.

단계들 S913 및 단계 S914에서, 파지 모드 선택 유닛(105)은 파지 모드를 선택하고, 파지 동작 생성 유닛(106)은 파지 동작을 생성한다. 단계 S913의 상세는 제1 실시예에 따른 단계 S211의 것과 유사하다. 단계 S914의 상세는 제1 실시예에 따른 단계 S212의 것과 유사하다. 따라서, 그 설명은 생략될 것이다. 단계 S914 후, 처리는 단계 S906으로 진행한다. 단계 S906에서, 로봇(107)은 물체 파지 동작을 실행한다.

화소들의 수 m_D가 화소 수 임계값 m_clue 미만이면(단계 S912에서 "아니오"), 단계 S915에서, 파지 모드 선택 유닛(105)은 랜덤 파지 모드를 선택한다. 단계 S916에서, 파지 동작 생성 유닛(106)은 파지 동작을 생성한다. 단계 S915의 상세는 제1 실시예에 따른 단계 S213의 것과 유사하다. 단계 S916의 상세는 제1 실시예에 따른 단계 S214의 것과 유사하다. 그 설명은 따라서 생략될 것이다. 단계 S916 후, 처리는 단계 S906으로 진행한다. 단계 S906에서, 로봇(107)은 물체 파지 동작을 실행한다.

이러한 방식으로, 로봇(107)으로 대상 물체(103)를 파지하기 위해 단계들 S901 내지 S916의 동작이 수행될 수 있다.

본 실시예에서, 각각의 물체 정보 취득은 위에 설명된 바와 같이 로봇(107)의 파지 동작을 제어하는 것에 의해 순차적으로(동시가 아니라 연속적으로) 수행된다. 물체 정보의 순차적 취득에 따르면, 예를 들어, 물체 상세 정보가 획득되고 대상 물체(103)에 관한 상세 정보가 성공적으로 인식되면(단계 S903에서 "예"), 물체 개략 정보의 취득(단계 S907)은 수행되지 않고, 물체 단서 정보의 취득(단계 S911) 또한 수행되지 않는다. 물체 개략 정보가 획득되고 대상 물체(103)에 관한 개략 정보가 성공적으로 인식되면(단계 S908에서 "예"), 물체 단서 정보의 취득(단계 S911)은 수행되지 않는다. 즉, 제2 실시예에서, 각각의 물체 정보의 순차적 취득은 제1 실시예서의 것보다 더 낮은 처리 부하로 원하는 물체 정보의 취득을 가능하게 할 수 있다. 이러한 경우에, 정보 취득 유닛(104)의 처리 시간이 감소될 수 있다.

제2 실시예에서, 각각의 물체 정보의 취득은 순차적으로 수행된다. 정보 취득 유닛(104)은 따라서 하나의 단계에서 1개 종류의 물체 정보를 획득한다. 이것은 하나의 단계의 처리 부하를 감소시킨다. 하나의 단계의 처리 부하는 감소될 수 있어, 하나의 단계에서의 정보 취득 유닛(104)의 처리 시간을 감소시킨다.

본 실시예의 로봇 시스템은, 물체 정보를 획득하고, 촬상 화상에 기초하여 파지 모드를 선택(결정)하고, 대상 물체(103)를 파지할 수 있다. 따라서, 제1 실시예의 효과들 외에도, 상세 위치지정 파지 모드 및 개략 위치지정 파지 모드에서의 동작이 따라서 고속화될 수 있다. 특히, 본 실시예는, 대상 물체(103)의 촬영 환경이 양호하고, 로봇(107)이 상세 위치지정 파지 모드를 더 선택할 것 같은 경우에 적합하다.

위에 설명된 제1 및 제2 실시예들은 제한적인 것으로 보이지 않는다. 제1 실시예에서, 정보 취득 유닛(104)은 복수 종류의 물체 정보를 획득하고, 파지 모드는 대상 물체(103)에 관한 실제로 획득된(인식가능한) 정보의 정확도에 기초하여 결정된다. 대안적으로, 정보 취득 유닛(104)은 물체 상세 정보만 획득할 수 있고, 파지 모드는 촬상 화상에 기초하여 선택될 수 있다. 이러한 구성을 갖는 로봇 제어 장치가 제3 실시예로서 설명될 것이다. 제3 실시예에서 사용되는 로봇 시스템은 제1 실시예에서 설명된 것(도 1a 및 1b)과 유사한 구성을 갖는다. 따라서, 이하의 설명에서, 제1 실시예의 것들과 동일한 참조 부호들이 사용될 것이다. 제3 실시예에서, 카메라(101)는 유사하게 대상 물체(103)의 화상을 촬상한다. 정보 취득 유닛(104)은 이러한 촬상 화상을 사용하여, 대상 물체(103)에 관한 물체 정보를 획득한다. 다음으로, 로봇(107)은 대상 물체(103)를 파지한다. 제3 실시예에서, 물체 상세 정보만이 획득되고, 파지 모드는 촬상 화상에 기초하여 선택되며, 이에 의해 로봇(107)의 동작이 고속화될 수 있다.

도 10은 본 실시예에 따른 로봇 제어 장치(114)의 처리를 도시하는 흐름도이다. 동작은 도 10의 단계들에 따라 이하 설명될 것이다.

단계 S1001에서, 카메라(101)는 대상 물체(103)의 화상을 위에서 촬상하여, 촬상 화상을 획득한다. 단계 S1001의 처리는 제1 실시예의 단계 S201의 것과 유사하다.

단계 S1002에서, 정보 취득 유닛(104)은 단계 S1001에서 획득된 촬상 화상을 사용하여 물체 상세 정보를 획득한다. 보다 구체적으로, 정보 취득 유닛(104)은 제1 실시예에 따른 단계들 S301 내지 S306의 것과 유사한 처리를 수행한다. 제1 실시예(단계 S304)에서와 같이, 정보 취득 유닛(104)은 그 때 최소 매칭 오차 e_min을 결정한다.

단계 S1003에서, 파지 모드 선택 유닛(105)은 단계 S1002에서 획득된 최소 매칭 오차 e_min를 미리 설정된 임계값 e_precise와 비교한다. 최소 매칭 오차 e_min이 임계값 e_precise 미만이면(단계 S1003에서 "예"), 대상 물체(103)에 관한 상세 정보는 성공적으로 인식(취득)되는 것으로 결정된다. 다음으로, 처리는 단계 S1004로 진행한다. 최소 매칭 오차 e_min이 임계값 e_precise 이상이면(단계 S1003에서 "아니오"), 대상 물체(103)에 관한 상세 정보는 인식되는 것에 실패한 것으로 결정된다. 다음으로, 처리는 단계 S1007로 진행한다.

단계들 S1004 내지 S1006에서, 파지 모드 선택 유닛(105)은 파지 모드를 선택하고, 파지 동작 생성 유닛(106)은 파지 동작을 생성하고, 로봇(107)은 물체 파지 동작을 실행한다. 단계들 S1004 내지 S1006의 상세는 제1 실시예에 따른 단계들 S204 내지 S206의 것들과 유사하다. 따라서, 그 설명이 생략될 것이다.

최소 매칭 오차 e_min이 임계값 e_precise 이상이면(단계 S1003에서 "아니오"), 단계 S1007에서, 파지 모드 선택 유닛(105)은 랜덤 파지 모드를 선택한다. 단계 S1008에서, 파지 동작 생성 유닛(106)은 파지 동작을 생성한다. 단계 S1007의 상세는 제1 실시예에 따른 단계 S213의 것과 유사하다. 단계 S1008의 상세는 제1 실시예에 따른 단계 S214의 것과 유사하다. 따라서, 그 설명이 생략될 것이다. 단계 S1008 후, 처리는 단계 S1006으로 진행한다. 단계 S1006에서, 로봇(107)은 물체 파지 동작을 수행한다.

이러한 방식으로, 로봇(107)으로 대상 물체(103)를 파지하기 위해 단계들 S1001 내지 S1008의 동작이 수행될 수 있다.

위에 설명된 바와 같이, 본 실시예에서는, 물체 상세 정보만의 취득 처리가 수행된다. 파지 모드는 대상 물체(103)에 관한 실제로 취득된 정보의 정확도(촬영 정확도)에 기초하여(단계 S1003) 선택되고, 대상 물체(103)의 파지가 수행된다. 이것은 정보 취득 유닛(104)의 처리 시간을 단축시키고, 파지 모드 선택 유닛(105)에 의한 단계들의 분기를 상당히 감소시킨다(도 2와 도 10의 비교는 도 10에서 단계 S207 및 단계 S210에 대응하는 단계가 존재하지 않는다는 것을 보여준다). 따라서, 제1 실시예의 효과들 외에도, 로봇 제어 장치(114)의 처리 속도 및 로봇(107)의 전체 동작이 가속화된다. 본 실시예는, 대상 물체(103)가 파지하기 쉬울 것 같고, 로봇(107)이 랜덤 파지 모드에서도 파지에 성공하기 쉬울 것 같으면, 적합하다.

<변형예들>

위에 설명된 제1 내지 제3 실시예들은 제한적인 것으로 보이지 않는다. 예를 들어, 이하의 변형들 및 추가들이 위에 설명된 실시예들에 이루어질 수 있다.

(제1 실시예에서의 것과는 상이한 로봇 동작을 포함하는 변형예)

제1 실시예에 따른 로봇(107)은, 대상 물체(103)를 파지하고, 다음으로 대상 물체(103)를 미리 결정된 위치(영역)에 조립하는 것으로 설명된다. 그러나, 로봇(107)의 동작이 이에 제한되는 것은 아니다. 예를 들어, 촬상된 물체 정보의 정보 정확도에 따라서 선택되는 파지 모드로 대상 물체(103)를 파지한 후, 로봇(107)은 대상 물체(103)의 배치 위치를 변경할 수 있다.

보다 구체적으로, 대상 물체(103)에 관한 상세 정보가 획득되면(성공적으로 인식되면), 로봇 제어 장치(114)는 대상 물체(103)가 정상적인 상태에 있는 물체라고 결정하고, 정상 물체용 벨트 컨베이어(도시되지 않음) 상에 대상 위치(103)를 이송하여 배치한다. 대상 물체(103)에 관한 상세 정보는 획득되지 않고 개략 정보는 획득되면, 로봇 제어 장치(114)는 대상 물체(103)에 결함이 있을 수 있다고 결정한다. 다음으로, 로봇 제어 장치(114)는 로봇(107)을 사용하여 검사용 벨트 컨베이어(도시되지 않음) 상에 대상 물체(103)를 이송하여 배치한다. 대상 물체(103)에 관한 개략 정보는 획득되지 않고 단서 정보는 획득되면, 로봇 제어 장치(114)는 대상 물체(103)가 일종의 비정상을 갖는다고 결정한다. 다음으로, 로봇 제어 장치(114)는 비정상 물체용 벨트 컨베이어(도시되지 않음) 상에 대상 물체(103)를 이송하여 배치한다. 단서 정보가 획득되지 않으면, 로봇 제어 장치(114)는 대상 물체(103)를 폐기물용 벨트 컨베이어(도시되지 않음)에 이송하여 배치하도록 로봇(107)을 제어한다. 이러한 방식으로, 대상 물체(103)의 상태에 적절한 동작은, 대상 물체(103)에 관한 획득된 정보의 정확도에 따라서 파지 모드를 선택하는 것 및 후속 배치 위치(이송 목적지)를 변경하는 것에 의해 수행될 수 있다.

<3차원 화상 센서를 사용하는 변형예>

제1 내지 제3 실시예들에 따른 카메라(101)는 대상 물체(103)의 화상을 위에서 촬상하여, 물체 측정 값인 촬상 화상을 획득한다. 위에 설명된 실시예들에 따른 카메라(101)는 따라서 측정 유닛이다. 이러한 측정 유닛에 카메라(101)에 제한되는 것은 아니다. 측정 유닛은, 대상 물체(103)에 관한, 위치, 자세, 화소, 및 휘도와 같은, 물체 정보 계산하는 물체 측정 값이 취득될 수 있는 한, 임의 종류의 측정 유닛일 수 있다. 예를 들어, 비행 시간(time-of-flight) 3차원 화상 센서가 측정 유닛으로서 사용될 수 있다. 비행 시간 3차원 화상 센서는 물체 측정 값으로서 대상 물체(103)의 화소 단위 휘도 값들 대신에 거리 값을 획득할 수 있다. 3차원 센서는 물체 상세 정보로서 보다 정확한 위치-자세를 결정하기 위해 사용될 수 있다. 3차원 화상 센서의 사용은 또한 물체 단서 정보로서 휘도 차분들이 아니라 거리 차분들의 사용을 가능하게 한다.

<화상 센서 이외의 측정 유닛을 사용하는 변형예>

로봇 제어 장치(114) 또는 로봇 시스템의 측정 유닛이 화상 센서에 제한되는 것은 아니다. 예를 들어, 로봇 시스템의 측정 유닛은, 초음파들을 사용하는 측정에 의해, 또는 탐침을 사용하는 접촉 측정에 의해, 위에 설명된 3차원 화상 센서의 것과 유사하게, 측정 유닛으로부터의 거리를 측정하고 물체 측정 값을 획득할 수 있다. 초음파들 또는 접촉 측정의 사용은 대상 물체(103)의 표면 상의 광 반사에 의존하지 않는 측정을 가능하게 한다. 이러한 측정 유닛은 투명한 대상 물체를 파지하는 경우에 적합하다.

<상세 위치지정 파지 모드를 포함하지 않는 변형예>

제1 및 제2 실시예들에 따른 정보 취득 유닛(104)은 3개의 물체 정보(물체 상세 정보, 물체 개략 정보, 및 물체 단서 정보)를 획득한다. 그러나, 로봇(107)에 의해 취급될 대상 물체(103)의 형상 및 사이즈와 로봇(107)의 목적 동작에 따라서, 정보 취득 유닛(104)이 반드시 3개의 물체 정보를 획득할 필요는 없다. 예를 들어, 대상 물체(103)가 파지하기 용이하고, 로봇(107)의 동작이, 파지된 대상 물체(103)를 정확히 조립하는 것이 아니라, 파지된 대상 물체(103)를 단순히 평평하게 위치시키는 것이면, 정보 취득 유닛(104)은 물체 상세 정보를 획득하지 않고 더 단순한 물체 개략 정보 및 물체 단서 정보를 획득할 수 있다. 대안적으로, 정보 취득 유닛(104)은, 물체 상세 정보를 획득하지 않고, 목적 동작에 따라서 물체 개략 정보 또는 물체 단서 정보 중 어느 하나를 선택적으로 획득할 수 있다. 이러한 경우에, 파지 모드 선택 유닛(105)은, 상세 위치지정 파지 모드를 선택하지 않고, 개략 위치지정 파지 모드와 위치 범위 지정 파지 모드 사이로부터 물체 정보에 대응하는 파지 모드를 선택한다. 파지 동작 생성 유닛(106)은 이에 따라서 파지 동작을 생성한다. 대상 물체(103)의 형상 및 사이즈와 로봇(107)의 목적 동작에 따라서, 물체 상세 정보가 필요없는 것으로 고려되면, 물체 상세 정보의 계산(취득)은 정보 취득 유닛(104)의 처리를 고속화하기 위해 생략될 수 있다.

이러한 구성을 갖는 로봇 시스템을 구성하기 위해서, 예를 들어, 도 1a의 카메라(101)와 정보 취득 유닛(104) 사이에 제어 유닛이 제공된다. 다음으로, 제어 유닛은, 대상 물체(103)의 형상 및 사이즈 및/또는 로봇(107)의 목적 동작에 기초하여, 정보 취득 유닛(104)에게, 물체 상세 정보의 취득 처리를 수행하지 않을 것을 명령한다. 즉, 제어 유닛은, 3개의 물체 정보 중 불필요한 물체 정보를 검출한다. 검출 결과에 기초하여, 예를 들어, 제어 유닛은 물체 상세 정보의 취득 처리를 생략하는 제어를 수행한다. 그 결과, 도 2의 단계들 S203 내지 S205에서의 처리가 실행되지 않는다. 도 2의 단계 S202의 후, 처리는 단계 S203으로가 아니라 단계 S207로 진행한다. 로봇(107)의 목적 동작은 미리 제어 유닛에 입력된 것으로 가정된다.

<물체 상세 정보에 대해 상이한 계산 방법을 포함하는 변형예>

물체 상세 정보를 계산하기 위해, 제1 내지 제3 실시예들에 따른 정보 취득 유닛(104)은, 무게 중심 위치 g 및 긴 변 방향에서의 주축 h를 획득하고, 정규화를 수행하고, 템플릿 매칭을 계산한다. 그러나, 이러한 계산 방법이 제한적인 것으로 보이지 않는다. 대상 물체(103)의 정확한 위치-자세가 획득될 수 있는 한 정규화 처리 또는 템플릿 매칭 이외의 방법들이 사용될 수 있다. 예를 들어, 대상 물체(103)가 원 형상에 가깝고, 긴 변의 주축이 안정적으로 획득될 수 없으면, 대상 물체(103)의 화상은 정규화하기 곤란하게 된다. 이러한 경우에, SIFT(scale-invariant feature transform)와 같은, 대상 물체(103)의 회전 방향에 의존하지 않는 화상 특징량이 정규화를 수행하지 않는 직접 매칭을 위해 검출 및 기록될 수 있다. 이것은 다양한 형상들의 대상 물체들을 취급하는 것을 가능하게 한다.

<물체 개략 정보에 대해 상이한 계산 방법을 포함하는 변형예>

물체 개략 정보를 계산하기 위해, 제1 내지 제3 실시예들에 따른 정보 취득 유닛(104)은, 템플릿 매칭 시의 최소 매칭 오차 e_min에 가중 계수 α 및 β를 곱셈하여, 대상 물체(103)의 위치 및 자세에 변화를 준다. 그러나, 이러한 계산 방법이 제한적인 것으로 보이지 않는다. 예를 들어, 대상 물체(103)의 화상이 정규화하기 곤란하면, 정보 취득 유닛(104)은 SIFT에 의해 획득되는 상위 매칭 후보 및 대응하는 위치-자세를 랜덤하게 선택할 수 있다. 이러한 경우에, 선택된 상위 매칭 결과의 오차는 최소 매칭 오차 e_min에 상당하는 값으로서 사용될 수 있다. 이것은 훨씬 더 다양한 형상들의 대상 물체들을 취급하는 것을 가능하게 한다. 또한, 상위 매칭 후보의 위치-자세를 랜덤하게 가정하는 것은 오인에 기초하여 국지적 해결책들을 사용하는 것에 의해 잘못된 위치-자세들을 계속 선택하는 문제점을 회피할 수 있다.

<물체 단서 정보에 대해 상이한 계산 방법을 포함하는 변형예>

물체 단서 정보를 계산할 때, 제1 내지 제3 실시예들에 따른 정보 취득 유닛(104)은 차분 화상 D가 존재하는 영역을 사용한다. 다른 실시예에서, 예를 들어, 배경의 휘도와 대상 물체(103)의 휘도가 가까우면, 정보 취득 유닛(104)은, 휘도 차분들 대신에, 휘도 분산 값과 휘도 에지들 및 휘도 코너들의 위치들 및 수들과 같은 값들을 사용하여 물체 단서 정보를 획득할 수 있다. 벨트 컨베이어(102)의 화상과 같은 배경 화상은 균일한 휘도 값들을 포함하는 한편, 대상 물체(103)는 상대적으로 복잡한 형상을 갖고, 많은 휘도 분산들, 휘도 에지들, 및 휘도 코너들을 갖는 것으로 예상된다. 대상 물체(103)가 가질 것으로 예상되는 값들을 포함하는 이러한 위치 범위를 획득하는 것에 의하면, 이는 물체 단서 정보일 수 있다.

위에 설명된 3차원 화상 센서가 사용되면, 물체 단서 정보는 대상 물체(103)의 형상에 의존하여 거리 차분들 이외에 최근방 거리, 근방 영역의 위치 및 면적, 거리 분산 값, 및 거리 에지들 및 거리 코너들의 위치들 및 수들과 같은 값들을 사용하여 획득될 수 있다. 3차원 화상 센서부터 벨트 컨베이어(102)와 같은 배경까지의 거리는 균일한 한편, 대상 물체(103)는 상대적으로 복잡한 형상을 갖고, 많은 거리 분산들, 거리 에지들, 및 거리 코너들을 갖는 것으로 예상된다. 3차원 화상 센서부터 대상 물체(103)까지의 거리는 3차원 화상 센서부터 벨트 컨베이어(102)까지의 거리보다 짧기 때문에, 대상 물체(103)는 최근방 위치에, 또는 근방 영역에 존재하는 것으로 예상된다. 따라서, 대상 물체(103)가 갖는 것으로 예상되는 값들을 포함하는 이러한 위치 범위가 물체 단서 정보로서 결정될 수 있다.

대안적으로, 대상 물체(103)의 위치 부분에 부착되는 특정한 바코드 또는 대상 물체(103) 특유의 패턴 또는 형상이 물체 단서 정보로서 사용될 수 있다. 대상 물체(103)가 이러한 고유의 특징들을 가지면, 물체 단서 정보는 보다 적합하게 획득될 수 있다.

실시예들에 따른 로봇 제어 장치(114)의 정보 취득 유닛(104)은 대상 물체(103)에 관한 물체 정보가 계산될 수 있는 한 임의의 종류의 것일 수 있다.

<상이한 파지 유닛을 갖는 변형예>

제1 내지 제3 실시예들에 따른 로봇(107)의 파지 유닛은 도 1a에 도시되는 통상적인 2개-손가락형 로봇 손(109)이다. 그러나, 이러한 종류의 파지 유닛이 제한적인 것으로 보이지 않는다. 예를 들어, 로봇 손(109)은 동일한 동작에 의해 특정한 자세 이외에서도 다양한 형상들의 대상 물체들을 파지할 수 있는 범용 손일 수 있다. 이러한 범용 손의 예는 분말이 채워진 얇은 고무 자루를 포함하는 것이다. 이러한 고무 자루 내부의 공기는 고무 부분을 경화시키기 위해 펌프에 의해 분출되고, 이에 의해 대상 물체(103)가 파지된다.

본 발명에 다른 로봇(107)의 파지 유닛은 파지 유닛이 임의의 자세에 있는 대상 물체(103)를 하는 한 임의의 종류의 것일 수 있다.

<하드웨어 구성>

도 11은 로봇 시스템의 하드웨어 구성의 예를 도시하는 블록도이다. 도 11에 도시되는 바와 같이, 로봇 시스템은, 카메라(101), 로봇 제어 장치(114), 및 로봇(107)을 포함한다. 로봇 제어 장치(114)는 화상 처리 유닛(120), 인터페이스(121), CPU(central processing unit)(122), ROM(read-only memory)(123), RAM(random access memory)(124), HDD(hard disk drive)(125), 및 인터페이스(126)를 포함한다. CPU(122)는 로봇 제어 장치(114)의 연산 유닛이다. 로봇 제어 장치(114)는 저장 유닛들로서 ROM(123) 및 RAM(124)을 포함한다. 인터페이스(121), CPU(122), ROM(123), RAM(124), HDD(125), 및 인터페이스(126)는 버스(127)에 의해 인터커넥트된다. ROM(123)은 BIOS(basic input/output system)와 같은 기본 프로그램들을 저장한다. RAM(124)은 CPU(122)의 연산 처리 결과와 같은 다양한 종류의 데이터를 일시적으로 저장한다. HDD(125)는 CPU(122)의 연산 결과들, 외부로부터 로봇 시스템에 획득되는 다양한 종류의 데이터, 및 CPU(122)로 하여금 다양한 종류의 연산 처리를 실행하게 하는 프로그램(128)을 저장한다. CPU(122)는 HDD(125)에 저장되는 프로그램(128)에 기초하여 로봇(107)의 파지 동작을 제어한다.

인터페이스(121)는 화상 처리 유닛(120)과 접속된다. 화상 처리 유닛(120)은 카메라(101)로부터 입력되는 촬상 화상으로부터 대상 물체(103)의 위치 및 자세를 획득하는 화상 처리를 수행하고, 대상 물체(103)의 위치 및 자세를 나타내는 데이터를 인터페이스(121) 및 버스(127)를 통해 CPU(122)에 송신한다. 다른 인터페이스(126)는 로봇(107)과 접속된다. CPU(122)는 파지 동작 데이터를 생성하는 프로그램(128)에 기초하여 로봇 손(109)의 파지 동작을 계산하고, 로봇 암(108) 및 로봇 손(109)에 명령들을 송신한다. 재기입가능한 불휘발성 메모리 및 외부 HDD와 같은 외부 저장 유닛들이 버스(127)에 접속될 수 있다.

<다른 변형예들>

제1 및 제2 실시예들에서, 로봇(107)은 4개의 파지 모드들을 포함하는 것으로 설명된다. 제3 실시예에서, 로봇(107)은 2개의 파지 모드들을 포함하는 것으로 설명된다. 그러나, 파지 모드들의 수는 2개 또는 4개로 제한되는 것은 아니다.

실시예들에 따른 로봇(107)의 파지 모드 선택 유닛(105)은 대상 물체(103)의 촬상 화상에 기초하여 파지 모드가 선택되는 한 임의의 종류의 것일 수 있다.

실시예들에 따른 로봇 제어 장치(114)의 파지 동작 생성 유닛(106)은 선택된 파지 모드에 따라서 파지 동작이 생성되는 한 임의의 종류의 것일 수 있다.

로봇 제어 장치(114)는 카메라(101)(또는 3차원 화상 센서), 정보 취득 유닛(104), 파지 모드 선택 유닛(105), 및 파지 동작 생성 유닛(106)을 포함할 수 있다.

다른 실시예들

본 발명의 실시예(들)는 또한, 위에 설명된 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 (보다 충실하게는 '비-일시적 컴퓨터 판독가능 저장 매체'라고 또한 지칭될 수 있는) 저장 매체 상에 기록되는 컴퓨터 실행가능 명령어들(예를 들어, 하나 이상의 프로그램들)을 판독하여 실행하고, 위에 설명된 실시예(들) 중 하나 이상의 기능들을 수행하는 하나 이상의 회로들(예를 들어, ASIC(application specific integrated circuit))을 포함하는 시스템 또는 장치의 컴퓨터에 의해, 및 예를 들어, 위에 설명된 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어들을 판독하여 실행하는 것 및/또는 위에 설명된 실시예(들) 중 하나 이상의 기능들을 수행하기 위해 하나 이상의 회로들을 제어하는 것에 의해, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수 있다. 이러한 컴퓨터는 하나 이상의 프로세서들(예를 들어, CPU(central processing unit), MPU(micro processing unit))을 포함할 수 있고, 컴퓨터 실행가능 명령어들을 판독하여 실행하기 위해 별도의 컴퓨터들 또는 별도의 프로세서들의 네트워크를 포함할 수 있다. 이러한 컴퓨터 실행가능 명령어들은, 예를 들어, 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 이러한 저장 매체는, 예를 들어, 하드 디스크, RAM(random-access memory), ROM(read only memory), 분산형 컴퓨팅 시스템들의 스토리지, (CD(compact disc), DVD(digital versatile disc), 또는 BD^TM(Blu-ray Disc)와 같은) 광 디스크, 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.

(기타의 실시예)

본 발명은, 상기의 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실현가능하다.

또한, 1개 이상의 기능을 실현하는 회로(예를 들어,ASIC)에 의해서도 실행가능하다.

실시예들이 설명되었지만, 본 발명이 개시된 실시예들에 제한되는 것은 아니라는 점이 이해되어야 한다. 이하 청구항들의 범위는 모든 이러한 변형예들 및 등가의 구조들 및 기능들을 아우르도록 최광의 해석이 부여되어야 한다.

Claims

대상 물체를 파지하도록 구성되는 로봇의 동작을 제어하는 로봇 제어 장치로서,
상기 대상 물체의 위치 및 자세에 관한 정보를 획득하도록 구성되는 취득 유닛;
상기 대상 물체의 촬상 화상에 기초하여, 복수의 파지 모드 중 하나의 파지 모드를 선택하도록 구성되는 선택 유닛; 및
획득된 상기 위치 및 자세와 선택된 상기 파지 모드에 기초하여, 파지 동작 데이터를 생성하도록 구성되는 생성 유닛을 포함하고,
상기 파지 동작 데이터는 상기 로봇의 파지 동작을 규정하는, 로봇 제어 장치.
제1항에 있어서,
상기 취득 유닛은 상기 대상 물체의 촬상 화상에 기초하여, 상기 위치 및 자세에 관한 정보를 획득하도록 구성되고,
상기 선택 유닛은 상기 획득된 위치 및 자세에 관한 정보에 대응하는 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 취득 유닛은, 상기 대상 물체의 촬상 화상에 기초하여, 위치들 및 자세들에 관한 복수의 정보를 획득하도록 구성되고,
상기 선택 유닛은, 상기 획득된 위치 및 자세의 종류에 따라, 상기 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제3항에 있어서,
상기 위치들 및 자세들에 관한 복수 종류의 정보 중에서 상기 취득 유닛에 의해 취득될 위치 및 자세에 관한 정보를 결정하도록 구성되는 결정 유닛을 더 포함하는, 로봇 제어 장치.
제1항에 있어서,
상기 취득 유닛은 위치 및 자세에 관한 1개 종류의 정보를 획득하도록 구성되고,
상기 생성 유닛은, 상기 선택 유닛이 상기 위치 및 자세에 관한 상기 1개 종류의 정보에 대응하는 파지 모드를 성공적으로 선택하는 경우에, 상기 위치 및 자세에 관한 상기 1개 종류의 정보를 사용하여, 상기 파지 동작 데이터를 생성하도록 구성되고,
상기 취득 유닛은, 상기 선택 유닛이 상기 위치 및 자세에 관한 상기 1개 종류의 정보에 대응하는 상기 파지 모드를 선택할 수 없는 경우에, 위치 및 자세에 관한 다른 종류의 정보를 획득하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 취득 유닛은 위치 및 자세에 관한 1개 종류의 정보를 획득하도록 구성되고,
상기 생성 유닛은, 상기 선택 유닛이 상기 위치 및 자세에 관한 상기 1개 종류의 정보에 대응하는 파지 모드를 성공적으로 선택하는 경우에, 상기 위치 및 자세에 관한 상기 1개 종류의 정보를 사용하여, 상기 파지 동작 데이터를 생성하도록 구성되고,
상기 선택 유닛은, 상기 선택 유닛이 상기 위치 및 자세에 관한 상기 1개 종류의 정보에 대응하는 상기 파지 모드를 선택할 수 없는 경우에, 다른 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 대상 물체를 측정하도록 구성되는 측정 유닛을 더 포함하고,
상기 선택 유닛은 상기 측정 유닛에 의해 측정되는 값을 사용하여 상기 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 위치 및 자세에 관한 상기 정보는 상기 대상 물체의 위치 및 자세를 식별하는 정보를 포함하는, 로봇 제어 장치.
제1항에 있어서,
상기 위치 및 자세에 관한 상기 정보는 상기 대상 물체의 위치들 및 자세들의 가능한 범위를 나타내는 정보를 포함하는, 로봇 제어 장치.
제1항에 있어서,
상기 위치 및 자세에 관한 상기 정보는 미리 결정된 영역에서의 상기 대상 물체의 존재를 나타내는 정보를 포함하는, 로봇 제어 장치.
제1항에 있어서,
상기 선택 유닛은, 상기 대상 물체의 상기 위치 및 자세가 상기 촬상 화상에 기초하여 성공적으로 식별되는 경우에, 상기 대상 물체의 상기 위치 및 자세에 기초하여 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 선택 유닛은, 상기 촬상 화상에 기초하여, 상기 대상 물체의 상기 위치 및 자세가 식별될 수 없고, 상기 대상 물체의 위치들 및 자세들의 가능한 범위는 성공적으로 검출되는 경우에, 상기 대상 물체의 위치들 및 자세들의 상기 가능한 범위에 기초하여 상기 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 선택 유닛은, 상기 촬상 화상에 기초하여, 상기 대상 물체의 상기 위치 및 자세가 식별될 수 없고, 상기 대상 물체의 위치들 및 자세들의 가능한 범위가 검출될 수 없으며, 미리 결정된 영역에서의 상기 대상 물체의 존재는 성공적으로 검출되는 경우에, 상기 미리 결정된 영역에 관한 정보에 기초하여 파지 모드를 선택하도록 구성되는, 로봇 제어 장치.
제1항에 있어서,
상기 생성 유닛은, 상기 선택 유닛에 의해 선택된 파지 모드가 상기 취득 유닛에 의해 획득된 어느 정보에도 대응하지 않는 경우에, 상기 대상 물체의 상기 위치 및 자세에 관한 정보를 사용하지 않고 상기 파지 동작 데이터를 생성하도록 구성되는, 로봇 제어 장치.
로봇 시스템으로서,
대상 물체를 파지하도록 구성되는 로봇의 동작을 제어하는 로봇 제어 장치; 및
상기 대상 물체를 파지하도록 구성되는 로봇을 포함하고,
상기 로봇 제어 장치는,
상기 대상 물체의 위치 및 자세에 관한 정보를 획득하도록 구성되는 취득 유닛;
상기 대상 물체의 촬상 화상에 기초하여, 복수의 파지 모드 중 하나의 파지 모드를 선택하도록 구성되는 선택 유닛; 및
획득된 상기 위치 및 자세와 선택된 상기 파지 모드에 기초하여, 파지 동작 데이터를 생성하도록 구성되는 생성 유닛을 포함하고,
상기 파지 동작 데이터는 상기 로봇의 파지 동작을 규정하는, 로봇 시스템.
대상 물체를 파지하도록 구성되는 로봇의 동작을 제어하는 로봇 제어 장치의 제어 방법으로서,
상기 대상 물체의 위치 및 자세에 관한 정보를 획득하는 단계,
상기 대상 물체의 촬상 화상에 기초하여, 복수의 파지 모드 중 하나의 파지 모드를 선택하는 단계; 및
획득된 상기 위치 및 자세와 선택된 상기 파지 모드에 기초하여, 파지 동작 데이터를 생성하는 단계를 포함하고,
상기 파지 동작 데이터는 상기 로봇의 파지 동작을 규정하는, 로봇 제어 장치의 제어 방법.
컴퓨터로 하여금 대상 물체를 파지하도록 구성되는 로봇의 동작을 제어하는 로봇 제어 장치의 제어 방법을 실행하게 하는 컴퓨터 실행가능 명령어들을 저장하는 기록 매체로서,
상기 제어 방법은,
상기 대상 물체의 위치 및 자세에 관한 정보를 획득하는 단계,
상기 대상 물체의 촬상 화상에 기초하여, 복수의 파지 모드 중 하나의 파지 모드를 선택하는 단계; 및
획득된 상기 위치 및 자세와 선택된 상기 파지 모드에 기초하여, 파지 동작 데이터를 생성하는 단계를 포함하고,
상기 파지 동작 데이터는 상기 로봇의 파지 동작을 규정하는, 기록 매체.