[go: up one dir, main page]

KR100692526B1 - 시스템 자동제어용 제스처 인식 장치 및 그 방법 - Google Patents

시스템 자동제어용 제스처 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR100692526B1
KR100692526B1 KR1020050119798A KR20050119798A KR100692526B1 KR 100692526 B1 KR100692526 B1 KR 100692526B1 KR 1020050119798 A KR1020050119798 A KR 1020050119798A KR 20050119798 A KR20050119798 A KR 20050119798A KR 100692526 B1 KR100692526 B1 KR 100692526B1
Authority
KR
South Korea
Prior art keywords
user
gesture
robot
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020050119798A
Other languages
English (en)
Inventor
김계경
김혜진
곽근창
김도형
이재연
지수영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050119798A priority Critical patent/KR100692526B1/ko
Application granted granted Critical
Publication of KR100692526B1 publication Critical patent/KR100692526B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 시스템 자동 제어 기능에 응용할 수 있는 제스처 인식 장치 및 그 방법에 관한 것으로서,
로봇에 부착된 카메라로부터 사용자의 연속 제스처 영상을 획득하여 전달하는 영상 입력부, 상기 영상 입력부로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역 및 입력 영상의 영상특징정보를 기초로 대상 사용자에 대한 사람의 형상을 추출하는 형상 디텍터부, 연속 제스처 영상 프레임으로부터 사용자의 제스처를 추출하여 특징을 추출한 다음 인식하는 제스처 인식부 및 상기 사용자의 제스처를 인식하여 시스템을 자동으로 제어하거나 로봇의 동작을 자동으로 제어하는 시스템 및 로봇 자동제어부를 포함하여 구성함으로써,
각종 시스템을 제어하기 위해 반드시 필요했던 리모콘 기능을 대체하게 함으로써 리모콘 사용에 대한 불편함을 해소하여 사용자에게 편리함을 제공해준다.
로봇, 얼굴 추출, 손 영역 추적, 제스처 인식, 시스템 제어

Description

시스템 자동제어용 제스처 인식 장치 및 그 방법 {GESTURE RECOGNITION APPARATUS AND METHODS FOR AUTOMATIC CONTROL OF SYSTEMS}
도 1은 본 발명의 실시 예에 따른 시스템 자동 제어용 제스처 인식 장치의 전체 구성도,
도 2는 본 발명의 실시 예에 따른 시스템 자동 제어용 제스처 인식 장치에서 제스처 인식 과정 및 인식 결과가 로봇 동작제어나 시스템 자동제어에 활용되는 것을 나타내는 흐름도,
도 3a는 로봇 자동 제어를 위한 환경의 예를 도시한 것으로, 3b는 호출 제스처로 로봇을 사용자에게 다가오게 하는 것이며, 3c는 로봇의 움직임을 사용자와 로봇과의 일정거리 앞에서 멈추게 하는 제스처를 행했을 때의 환경을 나타내는 도,
도 4는 본 발명의 실시 예에 따른 시스템 제어용 제스처 인식 장치에서 사용자를 검출하기 위해 t번째 프레임에서 원본 영상(a)으로부터 사용자의 모션 정보(b)와 피부색 영역(c)을 검출하고, 원본 영상(a)에서 사용자 얼굴영역과 손의 움직임(d)을 추적하는 것을 나타내는 도,
도 5는 제스처 인식 결과를 이용하여 제어하고자 하는 시스템의 선택(a) 및 버튼 제어(b)에 활용하는 예를 나타내는 도,
도 6은 제스처 인식을 위하여 사용자의 제스처 구간에 대한 얼굴 및 손의 움직임 좌표를 추적(a)하여 구조적인 특징 벡터(b)를 추출하는 것을 나타내는 도인다.
<도면의 주요 부분에 대한 부호의 설명>
100. 영상 입력부 200. 형상 디텍터부
210. 움직임 영역 추출부 220. 영상특징정보 추출부
230. 형상 추출부 300. 제스처 인식부
310. 얼굴영역 추출부 320. 손영역 추출부
330. 제스처 특징 추출 및 인식부 400. 시스템 및 로봇동작 자동제어부
410. 시스템 선택부 420. 버튼 제어부
430. 로봇동작 자동제어부 440. 시스템 자동제어부
본 발명은 시스템 자동 제어를 위한 제스처 인식 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 로봇에 부착된 카메라로부터 획득한 입력 영상으로부터 제스처를 추출하여 시스템을 자동으로 제어하는 제스처 인식 장치 및 그 방법에 관한 것이다.
종래, 제스처 인식은 자연스러운 컴퓨터 상호작용 및 로봇 제어 목적으로 연구되어 왔다. 또한 최근 가상현실분야에서는 삼차원 제스처 데이터를 추출하여 인식함으로써 PC에서 가상 이미지를 임의의 방향으로 움직이도록 하는 연구가 진행되고 있다.
자연스러운 컴퓨터 상호작용을 목적으로 한 제스처 인식은 모니터 근처에 카메라를 부착시켜두고, 사용자의 제스처를 입력받아 인식함으로써 마우스나 키보드와 같은 입력 장치 대용으로 활용할 수 있도록 하였다. 즉, 키보드의 자음과 모음 또는 알파벳에 해당하는 손 모양을 인식하여 사용자가 키보드 키를 직접 치지 않고 자동으로 키보드 키를 입력할 수 있는 자동 인터페이스 기능 구현을 위한 연구를 수행하여 왔다. 또한, 키보드나 다른 도구를 사용하지 않고 발표 자료의 앞뒤 넘김 또는 특정 페이지로의 이동 등과 같이 문서를 자동으로 제어할 수 있는 제스처 인식에 대한 연구가 진행되어 왔다.
따라서 제스처를 정확하게 인식하여 컴퓨터 키보드를 자동으로 움직여주거나 손의 방향 정보를 추출하여 발표 자료 등과 같은 문서 넘김을 자동으로 제어해주기 위한 제스처 인식을 위해서는 카메라의 방향과 손과 카메라 사이의 거리 정보가 매우 중요하다.
그러나, 사용자 제스처 인식 방법은 대부분 컴퓨터 상호작용을 위한 제스처 인식에서 사용된 카메라는 특정 공간내의 천정이나 벽과 같은 곳에 카메라를 부착시켜 설치해 두고 사용자가 그 특정 공간으로 이동하여 제스처를 행하면 그 제스처를 입력받아 인식하도록 하였다. 여기에서 정확한 손의 움직임 정보나 손 모양 정보를 추출하는데 많은 오류가 발생하여 실질적으로 제스처 인식 결과가 컴퓨터 상호작용 목적으로 활용되지 못하는 문제점이 있다.
따라서, 본 발명의 목적은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 어떤 위치에 상관없이 모바일 로봇에 부착된 카메라로 사용자의 제스처 영상을 획득하여 인식한 다음 제어하고자 하는 특정 시스템을 선택하여 시스템을 자동으로 제어할 수 있는 시스템 자동제어용 제스처 인식 장치 및 그 방법을 제공하는데 있다.
한편, 본 발명의 다른 목적은 사용자의 제스처를 인식하기 위하여 연속된 프레임의 이동 물체에서 움직임 추출 및 연상 특징 정보를 이용한 사람 형상 추출을 시행하여 정확한 사용자 형상을 추출하고 사용자의 호출에 반응하기 위하여 얼굴 검출 및 추적 그리고 제스처 인식 결과를 같이 활용함으로써 특정 사용자 추적 및 제스처 인식을 실시간에 자연스럽게 이루어질 수 있도록 하는 시스템 자동제어용 제스처 인식 장치 및 그 방법을 제공하는데 있다.
한편, 본 발명의 또 다른 목적은 특정 시스템의 자동 제어를 위하여 로봇을 사용자의 공간으로 이동하게 하여 시스템 선택 버튼 및 제어 버튼을 자동으로 실행시켜주는 제스처를 인식하게 하였을 뿐만 아니라, 사용자의 제스처와 행동을 분석하여 시스템의 플레이와 정지도 자동으로 이루어질 수 있는 시스템 자동제어용 제스처 인식 장치 및 그 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 시스템 자동제어용 제스처 인식 장치는, 로봇에 부착된 카메라로부터 인식 대상이 되는 사용자의 제스처 영상을 획득하여 전달하는 영상 입력부, 상기 영상 입력부로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역과 상기 전달된 영상의 영상특징정보, 즉, 윤곽선, 피부색 영역 등을 기초로 대상 사용자에 대한 사람의 형상을 추출하는 형상 디텍터부, 상기 사용자의 제스처 영상 중 사용자의 제스처 구간을 추출하여 인식하는 제스처 인식부 및 상기 사용자의 제스처를 인식하여 그 인식 결과에 따라 시스템 및 로봇동작을 자동으로 제어하는 시스템 및 로봇동작 자동제어부를 포함하여 이루어지고, 로봇에 부착된 카메라로부터 획득한 영상으로부터 제스처를 추출하고 인식하여 시스템을 자동 제어하는 것을 특징으로 한다.
한편, 상기와 같은 목적을 달성하기 위한 본 발명의 시스템 자동제어용 제스처 인식 방법은, 로봇에 부착된 카메라로부터 획득한 입력 영상으로부터 대상 사용자를 검출하여 제스처를 인식한 다음 특정 시스템을 제어하는 방법으로서, 로봇에 장착된 카메라를 통해 입력 영상을 획득하는 단계, 상기 획득한 입력 영상으로부터 사용자를 검출하고, 상기 검출된 사용자의 손의 움직임을 추출하는 단계, 상기 추출된 손의 움직임에 의한 제스처가 로봇을 제어하기 위한 제스처인지, 시스템 자동 제어를 위한 제스처인지를 판별하는 단계, 상기 판별 결과, 상기 로봇을 제어하기 위한 제스처일 경우, 상기 사용자와 로봇간의 일정 거리가 유지될 때까지 상기 사용자에게 다가가도록 제어하는 단계 및 상기 사용자의 로봇 움직임을 멈추게 하는 제스처를 인식하면, 상기 사용자의 정면에서 로봇이 멈추도록 제어하는 단계를 포함하여 이루어진 것을 특징으로 한다.
한편 본 발명의 시스템 자동제어용 제스처 인식 방법은, 상기 제스처 판별 단계에서, 시스템을 자동 제어하기 위한 제스처일 경우, 시스템 자동 제어는, 시스템 선택을 위한 버튼을 디스플레이하는 단계, 상기 사용자의 제스처가 인식되면, 상기 사용자의 제스처에 따라 선택된 버튼을 제어하여 시스템을 플레이시키는 단계 및 상기 사용자가 시스템의 플레이 멈춤 제스처를 행하거나 일정 시간 이상 자리를 비웠을 경우, 상기 선택된 시스템의 플레이를 정지시키는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
한편 본 발명의 시스템 자동제어용 제스처 인식 방법은, 상기 획득한 입력 영상으로부터 사용자를 검출하고, 상기 검출된 사용자의 손의 움직임을 추출하는 단계에 있어서, 상기 사용자 검출은, 상기 획득한 입력 영상에 소정 임계치 이상의 움직임 영역이 존재하는지 체크하는 단계, 상기 체크 결과, 상기 소정 임계치 이상의 움직임 영역이 존재하는 경우, 영상 프레임과 이전 입력 영상 프레임으로부터 움직임 후보 영역을 추출하는 단계, 상기 움직임 후보 영역으로부터 영상 특징 정보를 추출하여 사람의 실루엣 형상을 검출하는 단계 및 상기 검출된 사람의 실루엣 형상으로부터 사용자의 얼굴 영역을 추출하여 상기 사용자를 검출하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
한편 본 발명의 시스템 자동제어용 제스처 인식 방법은, 상기 획득한 입력 영상으로부터 사용자를 검출하고, 상기 검출된 사용자의 손의 움직임을 추출하는 단계에 있어서, 상기 사용자의 손의 움직임 추출은, 상기 추출한 사용자의 얼굴 영역에서 피부색 영역을 역으로 추정하여 손 영역을 추출하는 단계 및 상기 추출한 손 영역으로부터 손의 움직임을 추적하여 제스처 구간을 검출하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명의 시스템 제어용 제스처 인식 장치 및 방법을 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 시스템 제어용 제스처 인식 장치의 구성도 이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 시스템 제어용 제스처 인식 장치는 영상 입력부(100), 형상 디텍터부(200), 제스처 인식부(300) 및 시스템 및 로봇동작 자동제어부(400)를 포함한다.
상세하게는 영상 입력부(100)는 예를 들어 로봇에 부착된 카메라 등을 포함하며, 검출 대상이 되는 사용자의 제스처 영상을 획득하여 시스템 내부로 전달한다.
형상 디텍터부(200)는 움직임 영역 추출부(210), 영상특징정보 추출부(220) 및 형상 추출부(230)를 포함하고, 움직임 영역 추출부(210)는 상기 영상 입력부(100)로부터 전달된 연속된 영상의 시퀀스로부터 이웃하는 프레임간의 영상 차를 이용하여 사용자의 움직임 정보를 추출한다. 즉, 영상 시퀀스로부터 연속된 영상인 세 프레임(t-1, t, t+1 )간의 화소의 명도값의 차가 임계치보다 큰 경우, 움직임이 발생한 화소(이하, 모션 화소라고도 한다)로 간주하여 움직임 정보를 추출한다.
영상특징정보 추출부(220)에서는 앞서 구한 모션 화소들이 사용자의 움직임 영역인 경우, 에지, 색상, 형상 정보과 같은 영상 특징 정보를 추출한다.
형상 추출부(230)에서는 영상특징정보 추출부(220)에서 추출한 영상특징정보로부터 배경영상과 현재 영상과의 차를 구하여 얻은 사람의 실루엣 정보와 사람의 피부색 정보를 이용하여 사람의 형상을 추출한다.
제스처 인식부(300)는 얼굴영역 추출부(310), 손영역 추출부(320) 및 제스처 특징 추출 및 인식부(330)를 포함하고, 얼굴영역 추출부(310)는 사람의 형상의 구조적 특징 정보를 이용하여 얼굴 영역을 검출하고, 손영역 추출부(320)는 추출한 얼굴 영역으로부터 피부색 영역 및 움직임 영역을 추출하여 손 영역을 추출한다. 사용자의 손 영역을 계속 추적하여 제스처 구간을 검출한다.
제스처 특징 추출 및 인식부(330)는 제스처의 방향성, 시간성, 공간성에 무관하게 사용자의 제스처를 인식할 수 있도록 하기 위한 특징 추출 방법을 사용하여 검출된 제스처 구간에서 사용자가 행한 제스처의 구조적인 특징정보를 추출하고, 이를 이용하여 사용자의 제스처를 인식하도록 한다. 또한, 사용자 제스처의 인식 결과에 따라 시스템 및 로봇동작 자동제어부(400)에서 로봇의 움직임을 제어하거나 특정 시스템을 자동 제어할 수 있도록 한다.
시스템 및 로봇 자동제어부(400)는 시스템 자동 제어를 위한 시스템 선택부 (410), 버튼 제어부(420)로 이루어진 시스템 자동제어부(440) 및 로봇동작 자동제어부(430)를 포함한다. 로봇을 사용자 쪽으로 움직이게 하는 제스처를 인식한 경우, 로봇동작 자동제어부(430)에서는 로봇의 움직임을 제어하기 위하여 먼저 로봇을 호출하는 제스처를 행하는 사용자를 식별하여 사용자 쪽으로 로봇을 이동하게 하고, 시스템 제어를 위한 손의 제스처를 충분히 인식할 수 있는 거리까지 왔을 때 로봇의 움직임을 정시시키도록 제어한다.
제스처 특징 추출 및 인식부(330)의 제어에 의해 로봇과 사용자 간 거리가 제스처를 인식할 수 있는 거리로 유지되었을 때 로봇의 동작이 멈추면, 시스템 선택부(410)는 특정 시스템을 제어하기 위해 사용자가 시스템을 선택할 수 있도록 버튼을 디스플레이하고, 사용자 제스처 인식 결과에 따라 제어하기를 원하는 특정 시스템을 선택하도록 한다. 버튼 제어부(420)는 사용자의 제스처에 따라 시스템을 자동으로 제어할 수 있는 선택되는 버튼을 제어하여 시스템을 플레이 시킨다. 즉, 이와 같이 시스템 및 로봇동작 자동제어부(400)는 사용자의 제스처 인식 결과나 사용자의 행동을 분석하여 시스템을 자동으로 플레이 시키고 정지시키는 기능을 제공한다.
또한 시스템 및 로봇동작 자동제어부(400)는 연속된 영상 시퀀스로부터 제스처 데이터를 추출하여 특징을 뽑아 인식한 다음 특정 시스템을 자동으로 제어하는 인터페이스로도 활용할 수 있다.
도 2는 본 발명의 실시 예에 따른 시스템 제어용 제스처 인식 장치에서 제스처 인식 과정을 나타내는 흐름도이다.
로봇의 주의를 집중시키기 위해 사용자가 호출 제스처를 취하면(S1), 로봇은 영상 입력부(100)로써 부착된 카메라를 통해 사용자의 제스처 영상을 입력 영상으로서 획득한다(S2).
영상 입력부(100)로부터 획득한 입력 영상에 소정 임계치 이상의 움직임 영역이 존재하는지 체크하여(S3), 소정 임계치 이상의 움직임 영역이 존재하는 경우, 움직임 영역 추출부(210)에서 연속한 입력 영상 프레임으로부터 움직임 후보 영역을 추출하고, 입력 영상으로부터 영상특징정보를 추출한다(S4). 추출한 움직임 후보 영역과 영상특징정보를 이용하여 사람의 실루엣과 같은 형상을 검출한다(S5).
추출된 사람의 실루엣 형상으로부터 사용자의 얼굴 영역을 추출하여 사용자를 검출한다(S6). 그런 다음 추출한 사용자의 얼굴 영역에서 역으로 피부색 영역을 추정하여 손 영역을 추출하고, 추출한 손 영역으로부터 사용자의 손의 움직임을 추적하고, 제스처 구간을 검출한다(S7).
검출한 제스처가 로봇 제어 제스처인지 판단하고(S8), 로봇 제어 제스처이면 로봇의 움직임을 제어한다. 로봇의 움직임 제어는 사용자가 로봇 호출을 위한 제스처를 행했을 경우, 이를 로봇이 인식하고 사용자와 로봇간의 거리가 일정 거리가 유지될 때까지 사용자에게 다가가도록 한다(S9). 그런 다음 사용자가 로봇 움직임을 멈추게 하는 제스처를 행하면, 사용자의 정면에서 로봇이 멈추도록 제어한다(S10).
로봇 제어 제스처가 아니면 시스템 자동 제어를 위한 제스처인지를 판단한다(S11). 판단 결과 시스템 자동 제어를 위한 제스처이면 로봇은 시스템 선택을 위한 버튼을 디스플레이하고(S12), 사용자의 제스처를 인식한 결과에 따라 시스템 선택 버튼을 제어하여(S13) 시스템을 플레이 시킨다(S14). 그런 다음 사용자의 손 영역을 계속 추적한다. 사용자가 선택된 시스템의 플레이 멈춤 제스처를 행하거나 사용자가 일정 시간 이상 자리를 비웠을 경우, 선택된 시스템의 플레이를 정시시킨다(S14).
도 3은 로봇 자동 제어를 통해 사용자를 검출하는 환경을 나타낸다. 도 3a는 로봇 자동 제어를 위한 환경을 나타낸 것으로, 로봇을 행하여 3명의 사람이 늘어서 있는 상항이며, 도 3b는 호출 제스처로 로봇을 움직이게 하는 것을 나타낸 것으로, 사용자가 손짓(호출 제스처)으로 로봇을 호출하면, 로봇이 사용자의 얼굴 영역을 추적하면서 사용자에게 다가가는 것을 나타낸다. 도 3c는 로봇의 움직임을 사용자와 로봇과의 일정거리 앞에서 멈추게 하는 제스처를 사용자가 행했을 때의 환경을 나타낸 것으로, 사용자가 멈춤 제스처를 하면 로봇이 정지한다.
도 4는 본 발명의 실시 예에 따른 시스템 제어용 제스처 인식 장치에서 사용자를 검출하기 위해 t번째 프레임의 원본 영상(a)으로부터 사용자의 얼굴 영역(b)을 검출하고, 원본 영상(a)으로부터 사용자의 모션 정보(c)와 피부색 영역(d)을 검출한 후, 원본 영상(a)에서 사용자 손의 움직임을 검출하여 추적하는 것을 나타내는 도이다.
도 5는 제스처 인식 결과를 이용하여 제어하고자 하는 시스템의 선택(a) 및 버튼 제어(b)에 활용하는 예를 나타내는 도이다. 도 5의 (a)는 선택할 수 있는 버튼들 중 DVD를 선택하는 것을 나타내고, (b)는 DVD가 선택된 후 그 세부 항목에 해당되는 버튼들을 디스플레이하고, 이 중 목록 3이 선택되는 것을 나타내고 있다.
도 6은 제스처 구간에서 추출된 손 좌표로부터 제스처의 구조적인 특징 벡터를 추출하는 것을 나타내는 도이다. 제스처 특징 추출 및 인식부(330)에서 사용자의 제스처 인식을 사용자가 행하는 제스처(a)의 방향성, 공간성, 시간성에 무관하게 인식할 수 있도록 하는 구조적 특징 패턴을 추출하여 인식(b)하는 것을 나타낸다.
이상에서 카메라를 장착한 모바일 로봇이 움직이는 사람을 대상으로 사람 형상을 추출하고 손을 추적한 다음 제스처를 인식하여 시스템을 제어하는 경우를 예로 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예 로 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이, 본 발명에 의한 시스템 자동제어용 제스처 인식 장치 및 그 방법은, 특정 위치에 고정된 카메라 근처로 다가가서 그 영역 내에서만 제스처를 행하고 인식해야만 하였으나, 본 발명에서는 사용자가 어떤 위치에서도 상관없이 로봇에 장착된 카메라를 통해 사용자의 제스처를 획득하여 특정 시스템을 작동시킬 수 효과가 있다.
또한, 본 발명에 의한 시스템 자동제어용 제스처 인식 장치 및 그 방법은, 사용자가 서비스를 제공받기 위해 특정 위치나 시스템으로 다가가는 것이 아니라 서비스를 제공해 줄 수 있는 로봇을 다가오게 하여 사용자가 원하는 서비스, 즉 시스템 자동 제어와 같은 서비스를 제스처 인식으로 가능하게 함으로써 시스템을 제어하기 위해 반드시 필요했던 리모콘 기능을 대체하여 리모콘 사용에 대한 불편함을 해소하여 사용자에게 편리함을 제공하는 효과가 있다.

Claims (11)

  1. 로봇에 부착된 카메라로부터 사용자의 제스처 영상을 획득하여 전달하는 영상 입력부(100);
    상기 영상 입력부(100)로부터 전달된 영상의 시퀀스로부터 이웃하는 프레임간의 영상차를 통해 추출된 움직임 후보 영역과 상기 전달된 영상의 영상특징정보를 이용하여 사용자에 대한 사람의 형상을 추출하는 형상 디텍터부(200);
    상기 사용자의 제스처 영상 중 사용자의 제스처 구간을 추출하여 인식하는 제스처 인식부(300); 및
    상기 사용자의 제스처를 인식하여 시스템을 자동으로 제어하거나 로봇의 동작을 자동으로 제어하는 시스템 및 로봇동작 자동제어부(400);
    를 포함하여 구성되는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  2. 제 1항에 있어서, 상기 형상 디텍터부(200)는,
    상기 영상 입력부(100)로부터 전달된 연속된 영상의 시퀀스로부터 이웃하는 프레임간의 영상 차를 이용하여 사용자의 움직임 영역을 추출하는 움직임 영역 추출부(210);
    상기 사용자의 움직임 영역에서 영상 특징 정보를 추출하는 영상특징정보 추출부(220); 및
    상기 추출한 영상특징정보로부터 사람의 형상을 추출하는 형상 추출부(230);
    를 포함하여 구성되는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  3. 제 1항 또는 제 2항에 있어서, 상기 제스처 인식부(300)는,
    상기 사람의 형상으로부터 구조적 특징 정보를 이용하여 얼굴 영역을 검출하는 얼굴영역 추출부(310);
    상기 추출한 얼굴 영역으로부터 피부색 영역 및 움직임 영역을 추정하여 손 영역을 검출하는 손영역 추출부(320); 및
    상기 검출된 손 영역으로부터 사용자의 제스처 영역을 검출하여 제스처 특징을 추출하고, 추출된 제스처 특징을 이용하여 사용자의 제스처를 인식하는 제스처 특징 추출 및 인식부(330);
    를 포함하여 구성되는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  4. 제 3항에 있어서, 상기 시스템 및 로봇동작 자동제어부(400)는,
    특정 시스템을 선택할 수 있는 버튼을 디스플레이하는 시스템 선택부(410)와 상기 사용자의 제스처에 따라 선택된 버튼을 제어하여 시스템을 자동제어하는 버튼 제어부(420)로 구성된 시스템 자동제어부(440); 및
    상기 사용자의 제스처에 의해 로봇의 동작을 자동으로 제어하는 로봇동작 자동제어부(430);
    를 포함하여 구성되는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  5. 제 2항에 있어서, 상기 움직임 영역 추출부(210)에서 사용자의 움직임 영역은,
    상기 영상 입력부(100)를 통해 획득한 영상 시퀀스로부터 연속된 영상 세 프레임간 화소의 명도의 차가 임계치보다 큰 경우, 움직임이 발생한 화소로 간주하여 움직임 영역으로 추출되는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  6. 제 4항에 있어서, 상기 로봇동작 자동제어부(430)에서 로봇의 움직임 제어는,
    사용자가 로봇을 호출하는 제스처를 행할 경우, 상기 사용자 쪽으로 로봇을 이동하게 하고, 시스템 제어를 위한 손의 제스처를 충분히 인식할만한 거리까지 접근했을 때 로봇의 움직임을 정지시키는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  7. 제 3항에 있어서, 상기 제스처 특징 추출 및 인식부(330)에서 제스처 인식은,
    사용자가 행하는 제스처의 방향성, 공간성, 시간성에 무관하게 사용자의 제스처를 인식할 수 있도록 하는 구조적 특징 패턴을 추출하여 인식하는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 장치.
  8. 사용자의 제스처를 인식하는 방법에 있어서,
    로봇에 장착된 카메라를 통해 입력 영상을 획득하는 단계;
    상기 획득한 입력 영상으로부터 사용자를 검출하고, 상기 검출된 사용자의 손의 움직임을 추출하는 단계;
    상기 추출된 손의 움직임에 의한 제스처가 로봇을 제어하기 위한 제스처인지, 시스템 자동 제어를 위한 제스처인지를 판별하는 단계;
    상기 판별 결과, 상기 로봇을 제어하기 위한 제스처일 경우, 상기 사용자와 로봇간의 일정 거리가 유지될 때까지 상기 사용자에게 다가가도록 제어하는 단계; 및
    상기 사용자의 로봇 움직임을 멈추게 하는 제스처를 인식하면, 상기 사용자의 정면에서 로봇이 멈추도록 제어하는 단계;
    를 포함하여 이루어진 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 방법.
  9. 제 8항에 있어서, 상기 획득한 입력 영상으로부터 사용자를 검출하고, 상기 검출된 사용자의 손의 움직임을 추출하는 단계에 있어서, 상기 사용자 검출은,
    상기 획득한 입력 영상에 임계치 이상의 움직임 영역이 존재하는지 체크하는 단계;
    상기 체크 결과, 상기 임계치 이상의 움직임 영역이 존재하는 경우, 연속한 영상 프레임으로부터 움직임 후보 영역을 추출하는 단계;
    상기 움직임 후보 영역으로부터 영상 특징 정보를 추출하여 사람의 실루엣 형상을 검출하는 단계; 및
    상기 검출된 사람의 실루엣 형상으로부터 사용자의 얼굴 영역을 추출하여 상기 사용자를 검출하는 단계;
    를 더 포함하여 이루어지는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 방법.
  10. 제 9항에 있어서, 상기 사용자의 손의 움직임 추출은,
    상기 추출한 사용자의 얼굴 영역에서 피부색 영역을 역으로 추정하여 손 영역을 추출하는 단계; 및
    상기 추출한 손 영역으로부터 손의 움직임을 추적하여 제스처 구간을 검출하는 단계;
    를 더 포함하여 이루어지는 것을 특징으로 하는 시스템 자동 제어용 제스처 인식 방법.
  11. 제 8항에 있어서, 상기 제스처 판별 단계에서, 시스템을 자동 제어하기 위한 제스처일 경우, 시스템 자동 제어는,
    시스템 선택을 위한 버튼을 디스플레이하는 단계;
    상기 사용자의 제스처가 인식되면, 상기 사용자의 제스처에 따라 선택된 버튼을 제어하여 시스템을 플레이시키는 단계; 및
    상기 사용자가 시스템의 플레이 멈춤 제스처를 행하거나 일정 시간 이상 자리를 비웠을 경우, 상기 선택된 시스템의 플레이를 정지시키는 단계;
    를 더 포함하여 이루어지는 것을 특징으로 하는 로봇을 이용한 시스템 자동 제어용 제스처 인식 방법.
KR1020050119798A 2005-12-08 2005-12-08 시스템 자동제어용 제스처 인식 장치 및 그 방법 Expired - Fee Related KR100692526B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050119798A KR100692526B1 (ko) 2005-12-08 2005-12-08 시스템 자동제어용 제스처 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050119798A KR100692526B1 (ko) 2005-12-08 2005-12-08 시스템 자동제어용 제스처 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR100692526B1 true KR100692526B1 (ko) 2007-03-12

Family

ID=38103040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050119798A Expired - Fee Related KR100692526B1 (ko) 2005-12-08 2005-12-08 시스템 자동제어용 제스처 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100692526B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
KR101130063B1 (ko) 2010-04-30 2012-03-28 동명대학교산학협력단 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법
WO2012144667A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Method and electronic device for gesture recognition
WO2013165177A1 (ko) * 2012-05-02 2013-11-07 주식회사 매크론 동작 인식 리모트 컨트롤러
CN104023160A (zh) * 2013-02-28 2014-09-03 株式会社Pfu 上置型扫描仪装置和图像获取方法
KR101536353B1 (ko) * 2014-07-16 2015-07-14 주식회사 매크론 동작인식 장난감
US9940718B2 (en) 2013-05-14 2018-04-10 Samsung Electronics Co., Ltd. Apparatus and method for extracting peak image from continuously photographed images
CN111332314A (zh) * 2018-11-30 2020-06-26 上海博泰悦臻网络技术服务有限公司 无人车服务方法及系统、存储介质、车载终端及无人车
KR102290505B1 (ko) * 2020-07-15 2021-08-13 이영훈 딥러닝 기반의 스마트 tv 자동 제어 방법 및 이를 수행하는 스마트 tv
CN113494802A (zh) * 2020-05-28 2021-10-12 海信集团有限公司 一种智能冰箱控制方法及智能冰箱

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266353A (ja) 2002-03-18 2003-09-24 Sony Corp ロボット装置及びその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266353A (ja) 2002-03-18 2003-09-24 Sony Corp ロボット装置及びその制御方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
KR101130063B1 (ko) 2010-04-30 2012-03-28 동명대학교산학협력단 차세대 통합 디스플레이 장치용 손동작 인식 기반의 콘텐츠 제어 방법
WO2012144667A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Method and electronic device for gesture recognition
US9372540B2 (en) 2011-04-19 2016-06-21 Lg Electronics Inc. Method and electronic device for gesture recognition
KR101370022B1 (ko) * 2012-05-02 2014-03-25 주식회사 매크론 동작 인식 리모트 컨트롤러
WO2013165177A1 (ko) * 2012-05-02 2013-11-07 주식회사 매크론 동작 인식 리모트 컨트롤러
US9529443B2 (en) 2012-05-02 2016-12-27 Macron Co., Ltd Remote controller for motion recognition
CN104023160A (zh) * 2013-02-28 2014-09-03 株式会社Pfu 上置型扫描仪装置和图像获取方法
CN104023160B (zh) * 2013-02-28 2017-04-12 株式会社Pfu 上置型扫描仪装置和图像获取方法
US9940718B2 (en) 2013-05-14 2018-04-10 Samsung Electronics Co., Ltd. Apparatus and method for extracting peak image from continuously photographed images
KR101536353B1 (ko) * 2014-07-16 2015-07-14 주식회사 매크론 동작인식 장난감
WO2016010369A1 (ko) * 2014-07-16 2016-01-21 주식회사 매크론 동작인식 장난감
CN111332314A (zh) * 2018-11-30 2020-06-26 上海博泰悦臻网络技术服务有限公司 无人车服务方法及系统、存储介质、车载终端及无人车
CN113494802A (zh) * 2020-05-28 2021-10-12 海信集团有限公司 一种智能冰箱控制方法及智能冰箱
KR102290505B1 (ko) * 2020-07-15 2021-08-13 이영훈 딥러닝 기반의 스마트 tv 자동 제어 방법 및 이를 수행하는 스마트 tv
KR102290510B1 (ko) * 2020-07-15 2021-08-13 이영훈 딥러닝 기반의 스마트 tv 자동 제어 방법 및 이를 수행하는 스마트 tv

Similar Documents

Publication Publication Date Title
US10168794B2 (en) Motion-assisted visual language for human computer interfaces
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
RU2439653C2 (ru) Виртуальный контроллер для визуальных отображений
EP2659336B1 (en) User interface, apparatus and method for gesture recognition
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
EP4160530B1 (en) Gesture recognition device, system, and program for same
JP5205187B2 (ja) 入力システム及び入力方法
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP5077956B2 (ja) 情報端末装置
EP2790089A1 (en) Portable device and method for providing non-contact interface
JP6524589B2 (ja) クリック動作検出装置，方法およびプログラム
JP6771996B2 (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
JP5438601B2 (ja) 人物動作判定装置およびそのプログラム
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN114333056B (zh) 一种手势控制的方法、系统、设备及存储介质
KR100692526B1 (ko) 시스템 자동제어용 제스처 인식 장치 및 그 방법
JP5077879B2 (ja) 視線入力装置、視線入力方法、及び、視線入力プログラム
US20150304570A1 (en) Image processing system, image processing method, and program
US20160034027A1 (en) Optical tracking of a user-guided object for mobile platform user input
KR101426378B1 (ko) 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법
JP2006244272A (ja) 手位置追跡方法、装置、およびプログラム
JP2013134549A (ja) データ入力装置およびデータ入力方法
US20220129109A1 (en) Information processing apparatus, information processing method, and recording medium
EP4407569A1 (en) Systems and methods for tracking objects
US20120165084A1 (en) Method and apparatus for tracking locations using webcams

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20051208

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061118

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070221

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070302

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070305

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100226

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110228

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120228

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130304

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140303

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150226

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160226

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170224

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180226

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20200224

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20211125

Start annual number: 16

End annual number: 16

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20231213