KR20200059465A - 영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치 - Google Patents

Abstract

영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치가 개시된다. 영상 기반으로 드로잉 로봇을 제어하는 방법은, 사람의 드로잉(drawing)에 의한 붓의 움직임을 추적하여 생성된 3차원 모션 데이터를 수집하는 단계, 수집된 3차원 모션 데이터를 로봇 제어 신호로 변환하는 단계, 변환된 로봇 제어 신호를 드로잉 로봇에 전송하여 상기 드로잉 로봇의 드로잉을 제어하는 단계, 외부의 카메라를 이용하여 상기 드로잉 로봇을 모니터링한 로봇드로잉 영상 데이터를 획득하는 단계, 획득된 로봇 드로잉 영상 데이터를 분석하여 붓의 3차원 모션 보정 데이터를 생성하는 단계 및 생성된 3차원 모션 보정 데이터를 로봇 제어 보정 신호로 변환하여 상기 드로잉 로봇에 전송하는 단계를 포함한다.

Description

영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING A DRAWING ROBOT BASED ON IMAGE}

본 발명은 영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 붓을 사용하는 드로잉 로봇을 영상 기반으로 모니터링함으로써, 붓의 정교한 움직임을 보정할 수 있는 기술에 관한 것이다.

인공관절과 모터 등을 이용해 여러 동작을 수행하는 로봇 기술이 발전함에 따라 사람의 행동을 동일하게 묘사하고자 하는 연구가 계속되고 있다. 이러한 연구 중 하나로, 사람이 드로잉한 그림에 대한 2차원 좌표 정보를 이용하여 로봇 팔이 동일한 그림을 드로잉하는 기술이 있다.

로봇팔을 이용한 이미지 드로잉 기법은 대부분 연필이나 볼펜, 사인펜 등과 같이 펜촉이 단단한 도구를 사용하므로 사람이 작업한 결과물과 유사한 수준의 드로잉 결과를 제공한다.

그런데, 사람이 서예 붓을 이용하여 이미지를 드로잉하는 것을 모방하는 로봇 기술의 경우, 안료 또는 붓의 종류, 위치, 자세 등에 따라 다양한 결과를 나타내므로 정밀하게 모방하기 어려운 문제가 있다.

특히, 붓은 기울기나 회전 등에 따라 여러 패턴으로 드로잉될 수 있기 때문에, 단순히 3차원 공간 정보만을 활용하는 것만으로는 사람의 드로잉 결과를 재현하는데 한계가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 영상 기반으로 드로잉 로봇을 제어하는 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 영상 기반으로 드로잉 로봇을 제어하는 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 영상 기반으로 드로잉 로봇을 제어하는 방법을 제공한다.

영상 기반으로 드로잉 로봇을 제어하는 방법은, 사람의 드로잉(drawing)에 의한 붓의 움직임을 추적하여 생성된 3차원 모션 데이터를 수집하는 단계, 수집된 3차원 모션 데이터를 로봇 제어 신호로 변환하는 단계, 변환된 로봇 제어 신호를 드로잉 로봇에 전송하여 상기 드로잉 로봇의 드로잉을 제어하는 단계, 외부의 카메라를 이용하여 상기 드로잉 로봇을 모니터링한 로봇드로잉 영상 데이터를 획득하는 단계, 획득된 로봇 드로잉 영상 데이터를 분석하여 붓의 3차원 모션 보정 데이터를 생성하는 단계 및 생성된 3차원 모션 보정 데이터를 로봇 제어 보정 신호로 변환하여 상기 드로잉 로봇에 전송하는 단계를 포함할 수 있다.

상기 3차원 모션 데이터는, 붓의 회전, 기울기, 방향 중 적어도 하나를 나타내는 피치(pitch), 요(yaw), 롤(roll) 정보 및 붓의 3차원 공간 좌표 정보를 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 로봇드로잉 영상 데이터와 기준 영상 데이터에 대한 색상 표준화를 수행하는 단계 및 색상 표준화된 로봇드로잉 영상 데이터와 상기 기준 영상 데이터를 서로 비교하여 보정 영역과 상기 보정 영역에 대한 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 기준 영상 데이터는, 상기 외부의 카메라를 이용하여 상기 사람의 드로잉(drawing)을 모니터링하여 획득한 영상 데이터일 수 있다.

상기 색상 표준화를 수행하는 단계는, 미리 수집된 샘플에 대한 표준 색상 정보와 상기 샘플에 대한 카메라 색상 정보를 비교하여 생성된 색상 공간 변환 데이터를 불러오는 단계, 불러온 색상 공간 변환 데이터를 이용하여 상기 로봇드로잉 영상 데이터와 상기 기준 영상 데이터의 색상 공간을 표준화하는 단계를 포함할 수 있다.

상기 채색 데이터를 생성하는 단계는, 상기 보정 영역에 대한 표준 색상 데이터를 획득하는 단계, 획득된 표준 색상 데이터를 기초로 물감 조합 시뮬레이션을 수행하여 상기 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 채색 데이터를 생성하는 단계 이후에, 미리 수집한 붓 패턴 정보를 기초로 상기 보정 영역에 대한 붓 종류를 선정하는 단계 및 선정된 붓 종류 및 상기 붓 패턴 정보를 기초로 상기 보정 영역을 드로잉하기위한 붓의 최적 경로를 생성하는 단계를 더 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 붓의 최적 경로를 생성하는 단계 이후에, 상기 최적 경로에 따른 드로잉 시간을 산출하는 단계 및 산출된 드로잉 시간이 미리 설정된 임계값을 초과하면, 드로잉 준비를 위한 추가 모션 데이터를 생성하는 단계를 더 포함할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명의 다른 측면은, 영상 기반으로 드로잉 로봇을 제어하는 장치를 제공한다.

영상 기반으로 드로잉 로봇을 제어하는 장치는, 적어도 하나의 프로세서(processor), 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)이 저장된 메모리(memory)를 포함할 수 있다.

상기 적어도 하나의 단계는, 사람의 드로잉(drawing)에 의한 붓의 움직임을 추적하여 생성된 3차원 모션 데이터를 수집하는 단계, 수집된 3차원 모션 데이터를 로봇 제어 신호로 변환하는 단계, 변환된 로봇 제어 신호를 드로잉 로봇에 전송하여 상기 드로잉 로봇의 드로잉을 제어하는 단계, 외부의 카메라를 이용하여 상기 드로잉 로봇을 모니터링한 로봇드로잉 영상 데이터를 획득하는 단계, 획득된 로봇 드로잉 영상 데이터를 분석하여 붓의 3차원 모션 보정 데이터를 생성하는 단계 및 생성된 3차원 모션 보정 데이터를 로봇 제어 보정 신호로 변환하여 상기 드로잉 로봇에 전송하는 단계를 포함할 수 있다.

상기 3차원 모션 데이터는, 붓의 회전, 기울기, 방향 중 적어도 하나를 나타내는 피치(pitch), 요(yaw), 롤(roll) 정보 및 붓의 3차원 공간 좌표 정보를 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 로봇드로잉 영상 데이터와 기준 영상 데이터에 대한 색상 표준화를 수행하는 단계 및 색상 표준화된 로봇드로잉 영상 데이터와 상기 기준 영상 데이터를 서로 비교하여 보정 영역과 상기 보정 영역에 대한 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 기준 영상 데이터는, 상기 외부의 카메라를 이용하여 상기 사람의 드로잉(drawing)을 모니터링하여 획득한 영상 데이터일 수 있다.

상기 색상 표준화를 수행하는 단계는, 미리 수집된 샘플에 대한 표준 색상 정보와 상기 샘플에 대한 카메라 색상 정보를 비교하여 생성된 색상 공간 변환 데이터를 불러오는 단계, 불러온 색상 공간 변환 데이터를 이용하여 상기 로봇드로잉 영상 데이터와 상기 기준 영상 데이터의 색상 공간을 표준화하는 단계를 포함할 수 있다.

상기 채색 데이터를 생성하는 단계는, 상기 보정 영역에 대한 표준 색상 데이터를 획득하는 단계, 획득된 표준 색상 데이터를 기초로 물감 조합 시뮬레이션을 수행하여 상기 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 채색 데이터를 생성하는 단계 이후에, 미리 수집한 붓 패턴 정보를 기초로 상기 보정 영역에 대한 붓 종류를 선정하는 단계 및 선정된 붓 종류 및 상기 붓 패턴 정보를 기초로 상기 보정 영역을 드로잉하기위한 붓의 최적 경로를 생성하는 단계를 더 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 붓의 최적 경로를 생성하는 단계 이후에, 상기 최적 경로에 따른 드로잉 시간을 산출하는 단계 및 산출된 드로잉 시간이 미리 설정된 임계값을 초과하면, 드로잉 준비를 위한 추가 모션 데이터를 생성하는 단계를 더 포함할 수 있다.

상기와 같은 본 발명에 따른 영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치를 이용할 경우에는 붓의 3차원 좌표뿐만 아니라 자세를 고려하여 정교한 드로잉 제어를 수행할 수 있다.

또한, 드로잉 로봇이 붓을 이용해 드로잉을 수행함에 따라 발생하는 다양한 변수를 고려하여 오차를 수정할 수 있는 보정이 수행되는 장점이 있다.

또한, 영상 기반으로 제어함에 따라 발생할 수 있는 카메라 특성을 고려하여 표준화된 제어를 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치에 대한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 방법에 대한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 모션 보정 데이터를 생성하는 단계를 구체화한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 색상 표준화 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 보정 영역의 채색을 위한 물감 조합 시뮬레이션 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 장치에 대한 하드웨어 구성도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 방법 및 장치에 대한 개념도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 방법은, 먼저 사람(40)이 그림을 그리고 있는 장면 및/또는 그 결과물을 카메라(20)로 촬영하여 기준 영상(또는 reference image, 레퍼런스 영상)을 생성하고, 그와 동시에 사람(40)이 사용하는 붓의 움직임을 추적하여 3차원 모션 데이터를 생성할 수 있다.

이때, 3차원 모션 데이터는 일반적인 펜이나 연필 등이 사용하는 2차원 또는 3차원 공간 좌표(x, y, z 좌표)를 추적하는 것에 그치는 것이 아니라, 붓의 회전, 기울기, 방향 중 적어도 하나(또는 붓의 자세)를 나타내는 피치(pitch), 요(yaw), 롤(roll) 정보를 포함할 수 있다.

여기서, 생성된 붓의 3차원 모션 데이터는 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 장치(10)로 전송될 수 있고, 레퍼런스 영상도 카메라로부터 영상 기반으로 드로잉 로봇을 제어하는 장치(10)로 전송될 수 있다.

영상 기반으로 드로잉 로봇을 제어하는 장치(10)는 앞서 수집한 붓의 3차원 모션 데이터를 이용하여 드로잉 로봇의 기어, 모터 등을 직접 제어할 수 있는 로봇 제어 신호를 생성하고, 생성된 로봇 제어 신호를 드로잉 로봇(30)으로 전송할 수 있다.

드로잉 로봇(30)은 영상 기반으로 드로잉 로봇을 제어하는 장치(10)로부터 전송받은 로봇 제어 신호에 따라 사람(40)의 드로잉 장면을 모방하여 그림을 그리는 동작을 수행할 수 있다. 이때, 드로잉 로봇(30)이 그림을 그리는 장면 및/또는 그 중간 결과물은 카메라(20)에 의해 촬영되어 로봇 드로잉 영상이 생성될 수 있다. 여기서 생성된 로봇 드로잉 영상은 다시 드로잉 로봇을 제어하는 장치(10)로 전달되고, 드로잉 로봇을 제어하는 장치(10)는 드로잉 로봇(30)의 동작 오차를 수정하는 로봇 제어 신호를 생성할 수 있다. 여기서 생성된 로봇 제어 신호는 다시 드로잉 로봇(30)으로 전송되어 드로잉 로봇의 동작을 보정할 수 있다.

도 1에서는 영상 기반으로 드로잉 로봇을 제어하는 장치(10)와 카메라(20), 드로잉 로봇(30)을 각각 개별적으로 도시하였으나, 그 중 일부가 서로 결합되어 구현될 수도 있으며, 그러한 경우에도 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

이하에서는, 개별적인 각 동작을 보다 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 방법에 대한 흐름도이다.

도 2를 참조하면, 영상 기반으로 드로잉 로봇을 제어하는 방법은, 사람의 드로잉(drawing)에 의한 붓의 움직임을 추적하여 생성된 3차원 모션 데이터를 수집하는 단계(S100), 수집된 3차원 모션 데이터를 로봇 제어 신호로 변환하는 단계(S110), 변환된 로봇 제어 신호를 드로잉 로봇에 전송하여 상기 드로잉 로봇의 드로잉을 제어하는 단계(S120), 외부의 카메라를 이용하여 상기 드로잉 로봇을 모니터링한 로봇드로잉 영상 데이터를 획득하는 단계(S130), 획득된 로봇 드로잉 영상 데이터를 분석하여 붓의 3차원 모션 보정 데이터를 생성하는 단계(S140) 및 생성된 3차원 모션 보정 데이터를 로봇 제어 보정 신호로 변환하여 상기 드로잉 로봇에 전송하는 단계(S150)를 포함할 수 있다.

3차원 모션 데이터를 수집하는 단계(S100)는 모션 추적 장비를 사용하여 붓의 움직임을 추적함으로써 시간에 따른 붓의 위치, 방향, 자세, 위치 등의 변화를 나타내는 3차원 모션 데이터를 수집할 수 있다.

한편, 이러한 3차원 모션 데이터를 이용하여 드로잉 로봇이 붓을 들고 사람과 동일한 움직임을 재현할 수 있으려면, 로봇 관절의 모터, 기어 등을 제어하기 위한 제어 신호로 변환하여야 한다. 따라서, 상기 로봇 제어 신호로 변환하는 단계(S110)가 수행될 수 있고, 이러한 신호 변환은 드로잉 로봇의 종류, 명령어 지원 방식 등에 따라 다르게 적용될 수 있다. 또한, 신호 변환과정에서 캔버스의 3차원 위치 정보를 반영할 수 있다. 즉, 캔버스의 3차원 위치 정보에 따른 평면으로 3차원 모션 데이터의 동작 평면을 이동시키는 과정이 추가될 수 있다.

드로잉 로봇의 드로잉을 제어하는 단계(S120)에서는 단순히 3차원 모션 데이터에 따라 드로잉 로봇의 움직임을 제어하는 것에 그치는 것에서 더 나아가, 붓에 물감의 잔량을 감지하거나 드로잉된 평면의 물감 잔량을 감지하는 등의 방식으로 붓에 물감 부족을 인지하고, 붓에 추가로 물감을 묻히는 동작 제어가 수행될 수 있고, 붓이 굽어 있는지 감지하여 붓을 바르게 펴는 동작 제어가 수행될 수 있다.

이하에서는 3차원 모션 보정 데이터를 생성하는 단계(S140)를 상세하게 설명한다.

도 3은 본 발명의 일 실시예에 따른 3차원 모션 보정 데이터를 생성하는 단계를 구체화한 흐름도이다. 도 4는 본 발명의 일 실시예에 따른 색상 표준화 방법을 설명하기 위한 개념도이다. 도 5는 본 발명의 일 실시예에 따른 보정 영역의 채색을 위한 물감 조합 시뮬레이션 방법을 설명하기 위한 개념도이다.

도 3을 참조하면, 도 2의 3차원 모션 보정 데이터를 생성하는 단계(S140)는, 로봇드로잉 영상 데이터와 기준 영상 데이터에 대한 색상 표준화를 수행하는 단계(S141), 색상 표준화된 로봇드로잉 영상 데이터와 기준 영상 데이터를 서로 비교하여 보정 영역과 상기 보정 영역에 대한 채색 데이터를 생성하는 단계(S142), 미리 수집한 붓 패턴 정보를 기초로 상기 보정 영역에 대한 붓 종류를 선정하는 단계(S143) 및 선정된 붓 종류 및 상기 붓 패턴 정보를 기초로 상기 보정 영역을 드로잉하기위한 붓의 최적 경로를 생성하는 단계(S144)를 포함할 수 있다.

여기서 기준 영상 데이터는 앞선 도 1에서 설명한 것과 같이, 외부의 카메라를 이용하여 사람의 드로잉(drawing)을 모니터링하여 획득한 영상 데이터일 수 있다. 따라서, 본 발명에서는 사람의 드로잉을 모니터링하여 획득한 영상 데이터(드로잉하는 장면 및 드로잉된 중간 결과물을 포함)를 기준 영상 데이터로 하여 드로잉 로봇의 드로잉 장면 및/또는 중간 결과물을 모니터링하여 획득한 로봇드로잉 영상 데이터를 서로 비교함으로써, 보정이 필요한 영역을 결정하고, 결정된 보정 영역에 대해 채색해야 할 채색 데이터를 생성할 수 있다.

또한, 채색 데이터를 생성하는 단계(S142)에서, 로봇드로잉 영상 데이터와 기준 영상 데이터를 비교시에 렌즈, 조명, 캔버스 등 주변 환경의 차이에 의해 발생하는 왜곡을 보정하기 위하여 각각의 영상 데이터에 대한 기하 보정이 수행될 수 있다.

또한, 채색 데이터를 생성하는 단계(S142)에서, 로봇드로잉 영상 데이터와 기준 영상 데이터를 비교시에는 중간 결과물의 채색 영역과 선 부분을 분리하고, 분리된 각 부분(또는 영역)의 크기, 모양에 대한 기하 분석, 색상에 대한 비교가 수행될 수 있다.

한편, 일반적으로 카메라로 획득되는 영상의 RGB(Red, Green, Blue) 색상 정보는 동일한 물감이라고 하더라도 조명과 카메라의 설정에 따라 다르게 표현될 수 있다. 이 때문에, 영상에서 나타나는 색상을 사물의 대표 색상으로 사용할 경우 인식율이 크게 감소하는 문제가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 카메라로 획득되는 영상의 색상을 표준화함으로써, 카메라의 특성이나 조명 등 주변 환경의 영향을 최소화하고 균등한 재현 품질을 보장할 수 있다.

구체적으로 도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 장치는 색상 표준화 모듈(소프트웨어 또는 하드웨어 모듈, 40)을 포함할 수 있다. 여기서, 색상 표준화 모듈(40)은 색상 공간 변환 데이터(42)를 이용하여 카메라의 색상 데이터(또는 RGB 데이터, 41)를 표준 색상 공간에 따른 색상 데이터(43)로 변환할 수 있다. 여기서 표준 색상 공간의 예시로는 CIELAB가 있을 수 있다.

본 발명의 일 실시예에 따르면, 물감과 캔버스(종이, 한지 등)를 비롯한 각종 샘플들에 대하여 표준 컬러 공간에서의 색상 정보(42a)를 미리 수집하여 데이터베이스에 저장할 수 있다. 또한, 표준 컬러 공간에서의 색상 정보(42a)를 수집한 것과 동일한 샘플 및 동일한 조명 환경에 대하여 카메라 촬영을 통해 RGB 색상 정보(42b)를 수집하여 데이터베이스에 저장할 수 있다.

본 발명의 일 실시예에 따른 색상 공간 변환 데이터(42)은, 앞서 수집된 여러 샘플들에 대한 표준 색상 정보(42a)와 카메라 색상 정보(42b) 사이의 관계 및/또는 변환규칙을 나타내는 데이터를 의미할 수 있다.

따라서 도 3에 따른 색상 표준화를 수행하는 단계(S141)는, 미리 수집된 샘플에 대한 표준 색상 정보와 상기 샘플에 대한 카메라 색상 정보를 비교하여 생성된 색상 공간 변환 데이터를 불러오는 단계 및 불러온 색상 공간 변환 데이터를 이용하여 상기 로봇드로잉 영상 데이터와 상기 기준 영상 데이터의 색상 공간을 표준화하는 단계를 포함할 수 있다.

한편, 채색 데이터를 생성하는 단계(S142)에서, 보정 영역에 대하여 채색할 채색 데이터를 생성하기 위해서는 기준 영상 데이터의 보정 영역과 로봇드로잉 영상 데이터의 보정 영역 사이의 색상 차이를 최소화할 수 있는 물감 조합을 선정해야 할 수 있다.

이러한 문제를 해결하기 위해 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 장치는 물감 조합 시뮬레이션 모듈(50)을 포함할 수 있다.

구체적으로 도 5를 참조하면, 물감 조합 시뮬레이션 모듈(50)은 개별 물감과 캔버스에 대한 표준 색상 정보(52) 및/또는 여러 물감과 캔버스의 조합에 대한 표준 색상 정보(53)를 미리 학습하고, 학습된 정보를 이용하여 가상의 물감과 캔버스 조합에 따른 대한 색상 정보를 시뮬레이션할 수 있다.

즉, 물감 조합 시뮬레이션 모듈(50)은 로봇드로잉 영상 데이터의 보정 영역에 대한 표준 색상 데이터(51)에 가상의 물감/캔버스 조합에 따른 채색하는 과정을 시뮬레이션하고, 시뮬레이션된 채색 결과가 기준 영상 데이터의 보정 영역과 일치하거나 가장 유사한 최적의 채색 데이터(54)를 도출할 수 있다.

도 5에 따른 내용을 종합하면, 도 3에 따른 상기 채색 데이터를 생성하는 단계(S142)는, 보정 영역에 대한 표준 색상 데이터를 획득하는 단계, 획득된 표준 색상 데이터를 기초로 물감 조합 시뮬레이션을 수행하여 상기 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 붓 종류를 선정하는 단계(S143)에서, 붓 패턴 정보는 붓에 물감을 묻히고 다양한 자세, 방향, 각도 등으로 그림을 그릴 경우에 결과물로 표시될 수 있는 다양한 패턴(선의 굵기, 시작과 끝의 모양 등)을 의미할 수 있다. 이러한 붓 패턴 정보는 미리 사람의 드로잉 동작과 그 결과물을 매칭하여 수집함으로써 획득할 수 있다.

붓의 최적 경로를 생성하는 단계(S144)에서, 붓의 최적 경로는 물감, 캔버스, 붓의 상태에 따라서 그려지는 굵기가 달라질 수 있으므로, 단계 S142에서 생성한 채색 데이터와 드로잉 로봇의 붓, 캔버스를 고려하여 생성해야 할 수 있다.

또한, 붓으로 드로잉하는 과정이 길어지면 붓에 물감을 다시 묻히거나 구부러진 붓을 다시 바르게 펴는 과정이 필요할 수 있다. 따라서, 상기 붓의 최적 경로를 생성하는 단계(S144) 이후에, 상기 최적 경로에 따른 드로잉 시간을 산출하는 단계 및 산출된 드로잉 시간이 미리 설정된 임계값을 초과하면, 드로잉 준비를 위한 추가 모션 데이터를 생성하는 단계를 더 포함할 수 있다.

여기서 드로잉 준비를 위한 추가 모션 데이터는 붓에 물감을 묻히는 동작이나 구부러진 붓을 바르게 펴는 동작을 나타내는 데이터일 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 기반으로 드로잉 로봇을 제어하는 장치에 대한 하드웨어 구성도이다.

도 6을 참조하면, 영상 기반으로 드로잉 로봇을 제어하는 장치(100)는 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 포함할 수 있다.

상기 적어도 하나의 단계는, 사람의 드로잉(drawing)에 의한 붓의 움직임을 추적하여 생성된 3차원 모션 데이터를 수집하는 단계, 수집된 3차원 모션 데이터를 로봇 제어 신호로 변환하는 단계, 변환된 로봇 제어 신호를 드로잉 로봇에 전송하여 상기 드로잉 로봇의 드로잉을 제어하는 단계, 외부의 카메라를 이용하여 상기 드로잉 로봇을 모니터링한 로봇드로잉 영상 데이터를 획득하는 단계, 획득된 로봇 드로잉 영상 데이터를 분석하여 붓의 3차원 모션 보정 데이터를 생성하는 단계 및 생성된 3차원 모션 보정 데이터를 로봇 제어 보정 신호로 변환하여 상기 드로잉 로봇에 전송하는 단계를 포함할 수 있다.

상기 3차원 모션 데이터는, 붓의 회전, 기울기, 방향 중 적어도 하나를 나타내는 피치(pitch), 요(yaw), 롤(roll) 정보 및 붓의 3차원 공간 좌표 정보를 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 로봇드로잉 영상 데이터와 기준 영상 데이터에 대한 색상 표준화를 수행하는 단계 및 색상 표준화된 로봇드로잉 영상 데이터와 상기 기준 영상 데이터를 서로 비교하여 보정 영역과 상기 보정 영역에 대한 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 기준 영상 데이터는, 상기 외부의 카메라를 이용하여 상기 사람의 드로잉(drawing)을 모니터링하여 획득한 영상 데이터일 수 있다.

상기 색상 표준화를 수행하는 단계는, 미리 수집된 샘플에 대한 표준 색상 정보와 상기 샘플에 대한 카메라 색상 정보를 비교하여 생성된 색상 공간 변환 데이터를 불러오는 단계, 불러온 색상 공간 변환 데이터를 이용하여 상기 로봇드로잉 영상 데이터와 상기 기준 영상 데이터의 색상 공간을 표준화하는 단계를 포함할 수 있다.

상기 채색 데이터를 생성하는 단계는, 상기 보정 영역에 대한 표준 색상 데이터를 획득하는 단계, 획득된 표준 색상 데이터를 기초로 물감 조합 시뮬레이션을 수행하여 상기 채색 데이터를 생성하는 단계를 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 채색 데이터를 생성하는 단계 이후에, 미리 수집한 붓 패턴 정보를 기초로 상기 보정 영역에 대한 붓 종류를 선정하는 단계 및 선정된 붓 종류 및 상기 붓 패턴 정보를 기초로 상기 보정 영역을 드로잉하기위한 붓의 최적 경로를 생성하는 단계를 더 포함할 수 있다.

상기 3차원 모션 보정 데이터를 생성하는 단계는, 상기 붓의 최적 경로를 생성하는 단계 이후에, 상기 최적 경로에 따른 드로잉 시간을 산출하는 단계 및 산출된 드로잉 시간이 미리 설정된 임계값을 초과하면, 드로잉 준비를 위한 추가 모션 데이터를 생성하는 단계를 더 포함할 수 있다.

영상 기반으로 드로잉 로봇을 제어하는 장치(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 사람의 드로잉(drawing)에 의한 붓의 움직임을 추적하여 생성된 3차원 모션 데이터를 수집하는 단계;
   수집된 3차원 모션 데이터를 로봇 제어 신호로 변환하는 단계;
   변환된 로봇 제어 신호를 드로잉 로봇에 전송하여 상기 드로잉 로봇의 드로잉을 제어하는 단계;
   외부의 카메라를 이용하여 상기 드로잉 로봇을 모니터링한 로봇드로잉 영상 데이터를 획득하는 단계;
   획득된 로봇 드로잉 영상 데이터를 분석하여 붓의 3차원 모션 보정 데이터를 생성하는 단계; 및
   생성된 3차원 모션 보정 데이터를 로봇 제어 보정 신호로 변환하여 상기 드로잉 로봇에 전송하는 단계를 포함하는, 영상 기반으로 드로잉 로봇을 제어하는 방법.

Images