KR20120068253A

KR20120068253A - 사용자 인터페이스의 반응 제공 방법 및 장치

Info

Publication number: KR20120068253A
Application number: KR1020100129793A
Authority: KR
Inventors: 정기준; 류희섭; 김연배; 박승권; 강정민
Original assignee: 삼성전자주식회사
Priority date: 2010-12-17
Filing date: 2010-12-17
Publication date: 2012-06-27
Also published as: US20120159330A1

Abstract

사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 방법 및 장치가 제공된다.
사용자 인터페이스의 반응 제공 장치는 사용자를 촬영하여 이미지 프레임을 획득하고, 미리 설정된 제스처에 상응하는 데이터를 사용자 영역에 유지한다. 사용자 인터페이스의 반응 제공 장치는 식별된 사용자에 대한 상기 데이터를 이용하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공한다.

Description

사용자 인터페이스의 반응 제공 방법 및 장치{Method and Apparatus for Providing Response of User Interface}

사용자 인터페이스의 반응을 제공하는 기술이 개시된다. 더욱 상세하게는, 사용자의 움직임으로부터 보다 편리하고 신뢰성 있는 사용자 인터페이스의 반응을 제공하기 위한 기술이 개시된다.

사용자 인터페이스(user interface)는 사용자와 사물, 시스템, 장치, 또는 프로그램 등 사이의 의사소통이 가능하도록 일시적 또는 지속적인 접근을 제공할 수 있다. 사용자 인터페이스는 물리적 매개체 또는 가상적 매개체를 포함할 수 있다. 일반적으로 사용자 인터페이스는 사용자가 시스템을 조작하는 입력과 시스템의 입력에 대한 반응 또는 결과를 보이는 출력으로 나눌 수 있다.

입력은 스크린상에서 커서를 이동시키거나, 특정 대상을 선택하기 위한 사용자의 조작을 획득하는 입력 장치를 필요로 한다. 출력은 입력에 대한 반응을 사용자의 시각, 청각 또는 촉각 등으로 확인될 수 있도록 하는 출력 장치를 필요로 한다.

최근에는 텔레비전 및 게임기 등의 기기에서 사용자에게 편리를 제공하기 위해 원격으로 사용자의 움직임을 입력으로 인식하여 사용자의 움직임에 상응하는 사용자 인터페이스의 반응을 제공하기 위한 기술이 연구 중이다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 방법은, 사용자를 촬영하여 이미지 프레임을 획득하는 단계, 상기 사용자를 식별하는 단계, 메모리의 사용자 영역에 유지되는 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터를 포함하고, 상기 적어도 하나의 데이터 각각은 3차원 공간에서의 움직임에 대한 정보를 나타냄 -에 액세스하는 단계, 및 상기 이미지 프레임상에서의 상기 사용자의 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 포함할 수 있다.

일 측면에 따르면, 상기 사용자의 상기 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트하는 단계를 더 포함할 수 있다.

일 측면에 따르면, 상기 메모리의 상기 사용자 영역은 상기 사용자의 상기 제스처 프로파일과 함께 상기 사용자의 식별정보를 더 유지하고, 상기 사용자를 식별하는 단계는 상기 사용자의 형상과 상기 사용자의 상기 식별정보가 매칭되는지 여부를 판단하는 것일 수 있다.

일 측면에 따르면, 상기 사용자의 식별을 성공하지 못하는 경우, 상기 이미지 프레임상에서의 상기 사용자의 상기 움직임 및 불특정 사용자에 대한 기본 제스처 프로파일을 이용하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 더 포함할 수 있다.

일 측면에 따르면, 상기 사용자 인터페이스의 반응을 제공하는 단계는 상기 이미지 프레임상에서의 상기 사용자의 상기 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여, 상기 사용자의 상기 움직임이 상기 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단하는 단계, 및 상기 판단결과에 따른 제스처에 상응하는 상기 사용자 인터페이스의 반응을 제공하는 단계를 포함할 수 있다.

일 측면에 따르면, 상기 3차원 공간에서의 움직임에 대한 상기 정보는 상기 이미지 프레임상 x축 방향 움직임의 크기, 상기 이미지 프레임상 y축 방향 움직임의 크기 및 상기 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함할 수 있다.

일 측면에 따르면, 상기 3차원 공간에서의 움직임에 대한 상기 정보는 x축 성분, y축 성분 및 z축 성분을 포함하는 적어도 2개의 3차원 좌표들을 포함할 수 있다.

일 측면에 따르면, 상기 사용자의 상기 제스처 프로파일은 제1 이미지 프레임- 상기 제1 이미지 프레임은 미리 설정된 제스처를 모방하는 상기 사용자의 제1 움직임을 촬영하여 획득됨 -상에서의 상기 사용자의 상기 제1 움직임으로부터 산출된 상기 데이터를 가지고 업데이트될 수 있다.

일 측면에 따르면, 상기 적어도 하나의 제스처는 플릭(flick), 푸시(push), 홀드(hold), 원그리기(circling), 양손 모으기(gathering) 및 양손 벌리기(widening) 중 적어도 하나를 포함할 수 있다.

일 측면에 따르면, 상기 사용자 인터페이스의 반응은 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 장치는, 사용자를 촬영하여 이미지 프레임을 획득하는 센서, 사용자 영역에 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터를 포함하고, 상기 적어도 하나의 데이터 각각은 3차원 공간에서의 움직임에 대한 정보를 나타냄 -을 유지하는 메모리, 및 상기 사용자를 식별하고, 상기 메모리의 상기 사용자 영역에 유지되는 상기 사용자의 상기 제스처 프로파일에 액세스하고, 상기 이미지 프레임상에서의 상기 사용자의 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 제어부를 포함할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 사용자의 상기 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트할 수 있다.

일 측면에 따르면, 상기 메모리는 상기 사용자 영역에 상기 사용자의 상기 제스처 프로파일과 함께 상기 사용자의 식별정보를 더 유지하고, 상기 제어부는 상기 사용자의 형상과 상기 사용자의 상기 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 상기 사용자를 식별할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 사용자의 식별을 성공하지 못하는 경우, 상기 이미지 프레임상에서의 상기 사용자의 상기 움직임 및 불특정 사용자에 대한 기본 제스처 프로파일을 이용하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 이미지 프레임상에서의 상기 사용자의 상기 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 움직임이 상기 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단하고, 상기 판단결과에 따른 제스처에 상응하는 상기 사용자 인터페이스의 반응을 제공할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 방법은, 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득하는 단계, 상기 제1 이미지 프레임상에서의 상기 사용자의 상기 제1 움직임으로부터 상기 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 데이터를 산출하는 단계, 상기 데이터를 가지고 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 상기 적어도 하나의 제스처에 상응하는 상기 적어도 하나의 데이터를 포함함 -을 업데이트하여 메모리의 사용자 영역에 유지하는 단계, 상기 사용자를 식별하는 단계, 상기 메모리의 상기 사용자 영역에 유지되는 상기 사용자의 상기 제스처 프로파일에 액세스하는 단계, 및 제2 이미지 프레임상에서의 상기 사용자의 제2 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 포함할 수 있다.

일 측면에 따르면, 상기 사용자의 상기 제1 움직임을 촬영하여 상기 제1 이미지 프레임을 획득하는 단계는 상기 미리 설정된 제스처에 대한 가이드를 제공하도록 제어하는 단계, 및 상기 사용자의 식별정보를 획득하는 단계를 포함할 수 있다.

일 측면에 따르면, 상기 사용자의 상기 제2 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트하는 단계를 더 포함할 수 있다.

일 측면에 따르면, 상기 사용자의 식별을 성공하지 못하는 경우, 상기 제2 이미지 프레임상에서의 상기 사용자의 상기 제2 움직임 및 불특정(unspecified) 사용자에 대한 기본 제스처 프로파일을 이용하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 더 포함할 수 있다.

일 측면에 따르면, 상기 사용자 인터페이스의 반응을 제공하는 단계는 상기 제2 이미지 프레임상에서의 상기 사용자의 상기 제2 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여, 상기 사용자의 상기 제2 움직임이 상기 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단하는 단계, 및 상기 판단결과에 따른 제스처에 상응하는 상기 사용자 인터페이스의 반응을 제공하는 단계를 포함할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 장치는, 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득하는 센서, 상기 제1 이미지 프레임상에서의 상기 사용자의 상기 제1 움직임으로부터 상기 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 데이터를 산출하는 제어부, 및 상기 데이터를 가지고 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 상기 적어도 하나의 제스처에 상응하는 상기 적어도 하나의 데이터를 포함함 -을 업데이트하여 사용자 영역에 유지하는 메모리를 포함하고, 상기 제어부는 상기 사용자를 식별하고, 상기 메모리의 상기 사용자 영역에 유지되는 상기 사용자의 상기 제스처 프로파일에 액세스하고, 제2 이미지 프레임상에서의 상기 사용자의 제2 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 미리 설정된 제스처에 대한 가이드를 제공하도록 제어하고, 상기 사용자의 식별정보를 획득할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 사용자의 상기 제2 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 사용자의 식별을 성공하지 못하는 경우, 상기 제2 이미지 프레임상에서의 상기 사용자의 상기 제2 움직임 및 불특정 사용자에 대한 기본 제스처 프로파일을 이용하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

일 측면에 따르면, 상기 제어부는 상기 제2 이미지 프레임상에서의 상기 사용자의 상기 제2 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 제2 움직임이 상기 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단하고, 상기 판단결과에 따른 제스처에 상응하는 상기 사용자 인터페이스의 반응을 제공할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 방법은, 사용자를 촬영하여 이미지 프레임을 획득하는 단계, 상기 사용자를 식별하는 단계, 메모리의 사용자 영역에 유지되는 미리 설정된 제스처에 상응하는 3차원 공간에서의 상기 사용자의 움직임 정보를 나타내는 훈련(training) 데이터에 액세스하는 단계, 및 상기 이미지 프레임상에서의 상기 사용자의 움직임과 상기 사용자 영역에 유지되는 상기 훈련 데이터를 비교하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 포함할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 장치는, 사용자를 촬영하여 이미지 프레임을 획득하는 센서, 미리 설정된 제스처에 상응하는 3차원 공간에서의 상기 사용자의 움직임 정보를 나타내는 훈련 데이터를 사용자 영역에 유지하는 메모리, 및 상기 사용자를 식별하고, 상기 메모리의 상기 사용자 영역에 유지되는 상기 훈련 데이터에 액세스하고, 상기 이미지 프레임상에서의 상기 사용자의 움직임과 상기 사용자 영역에 유지되는 상기 훈련 데이터를 비교하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 제어부를 포함할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임(motion)에 대한 사용자 인터페이스의 반응을 제공하는 방법은, 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득하는 단계, 상기 제1 이미지 프레임상에서의 상기 사용자의 상기 제1 움직임으로부터 상기 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임 정보를 나타내는 훈련 데이터를 산출하여 메모리의 사용자 영역에 유지하는 단계, 상기 사용자를 식별하는 단계, 상기 사용자 영역에 유지되는 상기 훈련 데이터에 액세스하는 단계, 및 제2 이미지 프레임상에서의 상기 사용자의 제2 움직임과 상기 사용자 영역에 유지되는 상기 훈련 데이터를 비교하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 포함할 수 있다.

예시적인 실시예의 일 측면에 따르면, 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 장치는, 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득하는 센서, 상기 제1 이미지 프레임상에서의 상기 사용자의 상기 제1 움직임으로부터 상기 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임 정보를 나타내는 훈련 데이터를 산출하는 제어부, 및 상기 미리 설정된 제스처에 상응하는 상기 훈련 데이터를 사용자 영역에 유지하는 메모리를 포함하고, 상기 제어부는 상기 사용자를 식별하고, 상기 사용자 영역에 유지되는 상기 훈련 데이터에 액세스하고, 제2 이미지 프레임상에서의 상기 사용자의 제2 움직임과 상기 사용자 영역에 유지되는 상기 훈련 데이터를 비교하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

3차원 공간에서의 움직임에 대한 정보를 포함하는 사용자의 제스처 프로파일을 메모리에 유지하여 사용함으로써, 사용자에 따라 적응적으로 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있는 방법 및 장치가 제공된다.

또한, 미리 설정된 제스처를 모방하는 사용자의 움직임을 촬영하여 이미지 프레임을 획득하고, 이미지 프레임상에서의 사용자의 움직임으로부터 산출된 데이터를 가지고 제스처 프로파일을 업데이트함으로써, 보다 신뢰성 있는 사용자 인터페이스의 반응을 제공할 수 있는 방법 및 장치가 제공된다.

또한, 사용자 인터페이스의 반응을 획득하기 위한 사용자의 움직임을 이용하여 사용자의 제스처 프로파일을 업데이트함으로써, 사용자의 제스처 프로파일에 포함된 데이터를 보다 편리하게 유지할 수 있는 방법 및 장치가 제공된다.

도 1은 일실시예의 일 측면에 따른 사용자 인터페이스의 반응을 제공하는 장치를 나타내는 예시도이다.
도 2는 일실시예의 일 측면에 따른 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 예시도이다.
도 3은 일실시예의 일 측면에 따른 센서를 나타내는 예시도이다.
도 4는 일실시예의 일 측면에 따른 이미지 프레임 및 이미지 프레임상에서 사용자를 나타내는 예시도이다.
도 5는 일실시예의 일 측면에 따른 센서 및 촬영되는 위치의 개념을 나타내는 예시도이다.
도 6은 일실시예의 일 측면에 따른 이미지 프레임상에서의 사용자의 움직임 을 나타내는 예시도이다.
도 7은 일실시예의 일 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.
도 8은 일실시예의 일 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.
도 9는 일실시예의 다른 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.
도 10은 일실시예의 다른 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 일실시예의 일 측면에 따른 사용자 인터페이스의 반응을 제공하는 장치를 나타내는 예시도이다.

사용자 인터페이스의 반응 제공 장치(100)는 센서(110), 메모리(120) 및/또는 제어부(130)를 포함할 수 있다. 제어부(130)는 산출부(131), 사용자 식별부(133), 제스처 판단부(135) 및/또는 제공부(137)를 포함할 수 있다. 즉, 제어부(130)는 산출부(131), 사용자 식별부(133), 제스처 판단부(135) 및/또는 제공부(137) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.

사용자 인터페이스의 반응 제공 장치(100)는 이미지 프레임을 이용하여 사용자의 움직임을 획득하고, 사용자의 움직임이 어느 제스처에 대한 움직임인지를 판단하고, 판단결과에 따른 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다. 즉, '사용자 인터페이스의 반응'이란, 사용자의 움직임에 대응하는 명령 또는 이벤트를 수행하거나, 사용자 인터페이스가 구비된 디바이스가 판단된 제스처에 따라 동작하는 것을 의미할 수 있다.

센서(110)는 사용자의 위치를 검출할 수 있다. 또한, 센서(110)는 사용자 및/또는 사용자의 움직임을 촬영하여 사용자의 위치에 대한 정보를 포함하는 이미지 프레임을 획득할 수 있다. 여기서, 센서(110)의 검출 대상으로서 '사용자' 또는 이미지 프레임상의 '사용자'는 사용자의 전신, 신체 일부(예를 들어, 얼굴 또는 적어도 하나의 손 등), 또는 사용자가 다루는 도구(예를 들어, 손에 쥘 수 있는 바(bar)) 등일 수 있다. 위치에 대한 정보는 이미지 프레임상 수직방향에 대한 좌표, 이미지 프레임상 수평방향에 대한 좌표 및 사용자와 센서(110)간 거리를 나타내는 사용자의 깊이 정보 중 적어도 하나를 포함할 수 있다. 여기서, 사용자의 깊이 정보는 이미지 프레임과 수직하는 방향에 대한 좌표의 값으로 나타낼 수 있다. 예를 들어, 센서(110)는 사용자를 촬영하여 사용자의 깊이 정보를 포함하는 이미지 프레임을 획득할 수 있다. 센서(110)는 사용자의 위치에 대한 정보로서 이미지 프레임상 수직방향에 대한 좌표, 이미지 프레임상 수평방향에 대한 좌표 및 사용자의 깊이 정보를 획득할 수 있다. 센서(110)로는 깊이 센서(depth sensor), 2차원 카메라, 또는 스테레오스코픽(stereoscopic) 카메라를 포함하는 3차원 카메라 등이 사용될 수 있다. 또한, 센서(110)로서 초음파 또는 전파를 송수신하여 오브젝트의 위치를 획득하는 장치가 사용될 수도 있다.

또한, 센서(110)는 제어부(130)가 사용자를 식별하기 위해 필요한 사용자의 식별데이터를 제공할 수 있다. 예를 들어, 센서(110)는 사용자를 촬영하여 획득한 이미지 프레임을 제어부(130)에 제공할 수 있다. 센서(110)는 깊이 센서, 2차원 카메라 또는 3차원 카메라 중 어느 하나일 수 있다. 또한, 센서(110)는 깊이 센서, 2차원 카메라 또는 3차원 카메라 중 적어도 2개를 포함하는 것일 수 있다. 또한, 사용자의 식별데이터로서 목소리 인식, 지문 인식 또는 망막 인식 등에 대한 데이터가 사용되는 경우, 센서(110)는 마이크, 지문 인식기 또는 망막 인식기 등을 포함할 수 있다.

또한, 센서(110)는 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득할 수 있다. 이때, 제어부(130)는 미리 설정된 제스처에 대한 가이드를 제공하도록 제어하고, 센서(110)으로부터 수신된 식별데이터를 이용하여 사용자의 식별정보를 획득할 수 있다. 제어부(130)는 획득된 사용자의 식별정보를 메모리(120)에 유지하도록 제어할 수 있다.

메모리(120)는 센서(110)에서 획득된 이미지 프레임, 사용자의 위치 또는 사용자의 식별정보를 저장할 수 있다. 메모리(120)는 센서로부터 임의 시구간에서 연속적으로 또는 주기적으로 획득되는 미리 설정된 개수만큼의 이미지 프레임들을 또는 미리 설정된 시구간 동안의 이미지 프레임들을 저장할 수 있다. 또한, 메모리(120)는 사용자의 영역에 사용자의 제스처 프로파일을 유지할 수 있다. 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터(또는 훈련 데이터)를 포함하고, 적어도 하나의 데이터 각각은 3차원 공간에서의 움직임에 대한 정보를 나타낼 수 있다. 여기서, 3차원 공간에서의 움직임에 대한 정보는 이미지 프레임상 x축 방향 움직임의 크기, 이미지 프레임상 y축 방향 움직임의 크기 및 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함할 수 있다. 구현에 따라, 3차원 공간에서의 움직임에 대한 정보는 x축 성분, y축 성분 및 z축 성분을 포함하는 적어도 2개의 3차원 좌표들을 포함할 수도 있다.

적어도 하나의 제스처는 플릭(flick), 푸시(push), 홀드(hold), 원그리기(circling), 양손 모으기(gathering) 및 양손 벌리기(widening) 중 적어도 하나를 포함할 수 있다. 사용자 인터페이스의 반응은 특정 제스처에 상응하는 미리 설정된 이벤트일 수 있다. 예를 들어, 사용자 인터페이스의 반응은 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.

적어도 하나의 데이터 각각은 사용자의 움직임과 비교되는 대상으로서, 사용자의 움직임이 어느 제스처에 대한 것인지 판단하기 위해 사용될 수 있다. 또한, 적어도 하나의 데이터 각각은 특정 제스처의 발생여부를 판단하기 위해 사용되거나, 사용자 인터페이스의 반응으로서 미리 설정된 이벤트의 발생량 등을 결정하기 위해 사용될 수 있다.

다른 측면에 따라, 메모리(120)는 미리 설정된 제스처에 상응하는 3차원 공간에서의 사용자의 움직임 정보를 나타내는 훈련 데이터를 사용자 영역에 유지할 수 있다. 또한, 메모리(120)는 사용자 영역에 미리 설정된 제스처에 상응하는 상기 훈련 데이터와 함께 사용자의 식별정보를 더 유지할 수 있다. 제어부(130)는 사용자의 형상과 메모리(120)에 유지되는 사용자의 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 사용자를 식별할 수 있다.

이처럼, 사용자 인터페이스의 반응 제공 장치(100)는 3차원 공간에서의 움직임에 대한 정보를 포함하는 사용자의 제스처 프로파일 또는 훈련 데이터를 메모리(120)에 유지하여 사용함으로써, 사용자에 따라 적응적으로 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

제어부(130)는 사용자를 식별하고, 메모리(120)의 사용자 영역에 유지되는 사용자의 제스처 프로파일에 액세스할 수 있다. 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터를 비교하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다. 즉, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터를 비교하여 사용자의 움직임이 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단하고, 판단결과에 따른 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다. 여기서, 사용자의 제스처 프로파일은 제1 이미지 프레임상에서의 사용자의 제1 움직임으로부터 산출된 데이터를 가지고 업데이트되는 것일 수 있다. 제1 이미지 프레임은 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 획득된 것일 수 있다.

또한, 제어부(130)는 사용자의 움직임을 이용하여 사용자의 제스처 프로파일을 업데이트할 수 있다. 또한, 제어부(130)는 사용자의 형상과 사용자의 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 사용자를 식별할 수 있다. 또한, 제어부(130)는 사용자의 식별을 성공하지 못하는 경우, 이미지 프레임상에서의 사용자의 움직임 및 불특정 사용자에 대한 기본 제스처 프로파일을 이용하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

다른 측면에 따라, 제어부(130)는 이미지 프레임을 이용하여 사용자를 식별하고, 메모리(120)의 사용자 영역에 유지되는 훈련 데이터에 액세스할 수 있다. 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자 영역에 유지되는 훈련 데이터를 비교하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다. 즉, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자 영역에 유지되는 훈련 데이터를 비교하여 사용자의 움직임이 미리 설정된 제스처인지 여부를 판단하고, 미리 설정된 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다.

제어부(130)는 산출부(131), 사용자 식별부(133), 제스처 판단부(135)및/또는 제공부(137)를 포함할 수 있다.

산출부(131)는 메모리(120)에 저장된 적어도 하나의 이미지 프레임을 이용하거나, 사용자의 위치에 대한 정보를 이용하여 이미지 프레임상에서의 사용자의 움직임을 검출할 수 있다. 또한, 산출부(131)는 적어도 하나의 이미지 프레임을 통해 3차원 공간에서의 사용자의 움직임에 대한 정보를 산출할 수 있다. 예를 들어, 산출부(131)는 적어도 2개의 이미지 프레임들상의 사용자에 대한 적어도 2개의 3차원 좌표들로부터 사용자의 움직임의 크기를 산출할 수 있다. 이때, 사용자의 움직임의 크기는 이미지 프레임상 x축 방향 움직임의 크기, 이미지 프레임상 y축 방향 움직임의 크기 및 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함할 수 있다. 예를 들어, 산출부(131)는 사용자의 움직임의 시작 및 끝 좌표를 잇는 직선 길이를 움직임의 크기로 산출할 수 있다. 또한, 산출부(131)는 휴리스틱(heuristic) 방식을 사용하여 이미지 프레임상의 사용자의 좌표들에 근접하는 가상의 직선을 그려내고, 가상의 직선의 길이를 움직임의 크기로 산출할 수도 있다. 또한, 산출부(131)는 사용자의 움직임의 방향에 대한 정보를 더 산출할 수 있다. 또한, 산출부(131)는 사용자의 움직임의 속도에 대한 정보를 더 산출할 수 있다.

산출부(131)는 사용자의 움직임의 정보를 나타내는 훈련 데이터 또는 제스처 프로파일을 업데이트할 수 있다. 예를 들어, 산출부(131)는 선행모드(leading mode) 및/또는 후행모드(following mode)를 통해 상기 훈련 데이터 또는 제스처 프로파일을 업데이트할 수 있다.

선행모드에서, 제어부(130)는 미리 설정된 제스처에 대한 가이드를 사용자에게 제공하도록 제어할 수 있다. 이때, 센서(110)는 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득할 수 있다. 또한, 제어부(130)는 사용자의 식별정보를 획득할 수 있다. 예를 들어, 제어부(130)는 이미지 프레임을 이용하여 사용자의 식별정보로서, 신장, 얼굴 윤곽, 머리 모양, 성별, 의복 또는 신체 사이즈 등을 획득할 수 있다. 제어부(130)의 산출부(131)는 제1 이미지 프레임상에서의 사용자의 제1 움직임으로부터 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 데이터(또는 훈련 데이터)를 산출할 수 있다. 이때, 메모리(120)는 산출된 데이터를 가지고 사용자의 제스처 프로파일을 업데이트하여 사용자 영역에 유지할 수 있다. 다른 측면에 따라, 메모리(120)는 미리 설정된 제스처에 상응하는 산출된 훈련 데이터를 사용자 영역에 유지할 수 있다. 이처럼, 사용자 인터페이스의 반응 제공 장치(100)는 미리 설정된 제스처를 모방하는 사용자의 움직임을 촬영하여 이미지 프레임을 획득하고, 이미지 프레임상에서의 사용자의 움직임으로부터 훈련 데이터를 가지고 제스처 프로파일을 업데이트함으로써, 보다 신뢰성 있는 사용자 인터페이스의 반응을 제공할 수 있다.

후행모드에서, 제어부(130)는 사용자 인터페이스의 반응을 획득하기 위한 사용자의 움직임을 이용하여, 사용자의 제스처 프로파일 또는 사용자의 훈련 데이터를 업데이트함으로써, 사용자의 제스처 프로파일에 포함된 데이터 또는 미리 설정된 제스처에 상응하는 훈련 데이터를 보다 편리하게 유지할 수 있다. 예를 들어, 산출부(131)는 사용자의 움직임을 이용하여 사용자의 제스처 프로파일을 업데이트할 수 있다. 즉, 산출부(131)는 사용자의 움직임을 가지고 미리 설정된 수식을 통해 사용자의 제스처 프로파일에 포함된 제1 제스처에 상응하는 제1 데이터를 제2 데이터로 수정하여 사용자의 업데이트된 제스처 프로파일을 획득할 수 있다. 다른 측면에 따라, 산출부(131)는 사용자의 움직임을 이용하여 미리 설정된 제스처에 상응하는 훈련 데이터를 업데이트할 수 있다. 예를 들어, 산출부(131)는 사용자의 움직임을 가지고 미리 설정된 수식을 통해 기존의 훈련 데이터를 새로운 데이터로 업데이트할 수 있다.

사용자 식별부(133)는 센서(110) 또는 메모리(120)로부터 수신된 사용자의 식별데이터를 통해 사용자의 식별정보를 획득할 수 있다. 또한, 사용자 식별부(133)는 획득된 사용자의 식별정보를 메모리(120)의 해당 사용자의 사용자 영역에 유지하도록 제어할 수 있다. 또한, 사용자 식별부(133)는 사용자의 식별데이터로부터 획득한 사용자의 식별정보와 메모리(120)에 유지되는 사용자의 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 사용자를 식별할 수 있다. 예를 들어, 사용자의 식별데이터로는 이미지 프레임, 목소리 인식, 지문 인식 또는 망막 인식 등에 대한 데이터가 사용될 수 있다. 이미지 프레임이 사용되는 경우, 사용자 식별부(134)는 사용자의 형상과 사용자의 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 사용자를 식별할 수 있다.

또한, 사용자 식별부(133)는 식별된 사용자에 상응하는 메모리(120)의 사용자 영역의 위치정보 또는 주소를 제스처 판단부(135)에게 제공할 수 있다.

제스처 판단부(135)는 사용자 식별부(133)로부터 제공받은 사용자 영역의 위치정보 또는 주소를 통해, 식별된 사용자의 제스처 프로파일 또는 훈련 데이터를 메모리(120)로부터 액세스할 수 있다. 또한, 제스처 판단부(135)는 산출부(131)로부터 수신한 이미지 프레임상의 사용자의 움직임과 식별된 사용자의 제스처 프로파일에 포함된 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단할 수 있다. 다른 측면에 따라, 제스처 판단부(135)는 이미지 프레임상의 사용자의 움직임과 사용자 영역에 유지되는 유지되는 훈련 데이터를 비교하여 사용자의 움직임이 미리 설정된 제스처인지 여부를 판단할 수 있다.

제공부(137)는 제스처 판단부(135)의 판단결과에 따른 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다. 즉, 제공부(137)는 판단된 제스처에 상응하는 이벤트가 발생되도록 인터럽트 신호를 발생시킬 수 있다. 예를 들어, 제공부(137)는 도 2의 메뉴(220)를 디스플레이하는 스크린을 통해 사용자의 움직임에 대한 반응을 표시하도록 제어할 수 있다.

이하에서 도 2내지 도 6를 참조하여, 각 구성요소의 동작을 상세히 설명하도록 한다.

도 2는 일실시예의 일 측면에 따른 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 예시도이다.

도 2의 기기(210)는 사용자 인터페이스의 반응 제공 장치(100)를 포함하거나, 또는 사용자 인터페이스의 반응 제공 장치(100)와 함께 연동 가능하다. 기기(210)는 미디어 시스템 또는 각종 전자 기기일 수 있다. 상기 미디어 시스템은 텔레비전, 게임기 및/또는 오디오 등을 포함할 수 있다. 사용자는 사용자(260)의 전신, 사용자(260)의 신체 일부(270), 또는 사용자(260)가 다루는 도구일 수 있다.

사용자 인터페이스의 반응 제공 장치(100)의 메모리(120)는 사용자의 영역에 사용자의 제스처 프로파일을 유지할 수 있다. 또한, 메모리(120)는 미리 설정된 제스처에 상응하는 3차원 공간에서의 사용자의 움직임 정보를 나타내는 훈련 데이터를 사용자 영역에 유지할 수 있다. 적어도 하나의 제스처는 플릭(flick), 푸시(push), 홀드(hold), 원그리기(circling), 양손 모으기(gathering) 및 양손 벌리기(widening) 중 적어도 하나를 포함할 수 있다. 사용자 인터페이스의 반응은 특정 제스처에 상응하는 미리 설정된 이벤트일 수 있다. 예를 들어, 사용자 인터페이스의 반응은 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다. 또한, 특정 제스처는 특정 이벤트와 매핑되어 사용될 수도 있으며, 일부 제스처들은 그래픽 사용자 인터페이스들에 따라 다른 이벤트들을 발생시킬 수 있다.

예를 들어, 사용자의 움직임이 원그리기 제스처를 나타내는 경우, 사용자 인터페이스의 반응 제공 장치(100)는 기기(210)의 디스플레이 전원 켜짐 또는 꺼짐에 대한 사용자 인터페이스 반응을 제공할 수 있다.

또한, 도 2의 방향(275)으로 사용자(260)(또는 손(270))의 움직임(일례로, 플릭)에 대한 반응에 상응하는 이벤트로서, 기기(210)의 디스플레이된 메뉴(220)의 활성화된 아이템이 아이템(240)에서 아이템(245)으로 변경될 수 있다. 제어부(130)는 사용자(260)(또는 손(270))의 움직임에 상응하게 커서(230)의 이동이 표시되도록 하고, 아이템(240) 및 아이템(245)의 영역내에 커서(230)가 포함되는지를 판단하여 아이템의 활성화 여부가 표시되도록 제어할 수 있다.

또한, 제어부(130)는 커서(230)의 표시여부와 관계없이, 활성화된 아이템의 변경을 불연속적으로 표시할 수 있다. 이때, 제어부(130)는 센서(110)를 통해 획득된 이미지 프레임상에서의 제1 사용자의 움직임의 크기와 미리 설정된 제스처- 미리 설정된 제스처는 활성화된 아이템의 변경에 필요한 조건 일 수 있음 -에 상응하는 제1 사용자의 사용자 영역에 유지되는 훈련 데이터 또는 제1 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터와 비교할 수 있다. 또한, 제어부(130)는 상기 비교 동작을 통해 인접한 아이템으로 활성화된 아이템을 변경할 지 여부를 판단할 수 있다. 예를 들어, 활성화된 아이템을 1 칸 이동하여 변경 시킬 때 비교되는 제1 사용자의 제스처 프로파일에 포함된 데이터가 x축 또는 y축 방향으로 5cm 이동 크기라고 가정할 수 있다. 센서(110) 또는 메모리(120)로부터 수신된 이미지 프레임상에서의 제1 사용자의 움직임의 크기가 x축 또는 y축 방향으로 3cm 인 경우, 제어부(130)는 제1 사용자의 움직임과 상기 데이터를 비교하여 활성화된 아이템을 변경하지 않도록 제어할 수 있다. 이때, 제1 사용자의 움직임에 대한 사용자 인터페이스의 반응은 활성화된 아이템을 이동하지 않음, 인터럽트 신호를 발생시키지 않음, 또는 현재 상태의 유지를 나타낼 수 있다. 또한, 제1 사용자의 움직임의 크기가 x축 또는 y축 방향으로 12cm 인 경우, 제어부(130)는 이벤트 발생량으로서 2 칸만큼 인접한 아이템을 활성화된 아이템으로 변경할 것으로 판단할 수 있다. 또한, 제어부(130)는 제1 사용자의 움직임에 대한 사용자 인터페이스의 반응으로서 활성화된 아이템의 2 칸 이동에 대한 인터럽트 신호를 발생시킬 수 있다.

또한, 활성화된 아이템을 1 칸 이동하여 변경 시킬 때 비교되는 제2 사용자의 제스처 프로파일에 포함된 데이터가 x축 또는 y축 방향으로 9cm 이동 크기라고 가정할 수 있다. 이때, 제2 사용자의 이미지 프레임상 움직임의 크기가 x축 또는 y축 방향으로 12cm 인 경우, 제어부(130)는 이벤트 발생량으로서 1 칸만큼 인접한 아이템을 활성화된 아이템으로 변경할 것으로 판단할 수 있다.

또한, 방향(280)으로 사용자(260)(또는 손(270))의 움직임(일례로, 푸시(push))에 대한 반응에 상응하는 이벤트로서 기기(210)의 디스플레이된 메뉴(220)에서 활성화된 아이템(240)에 대한 선택 동작이 수행될 수 있다. 이때, 아이템의 선택을 위한 제스처(일례로, 푸시)에 상응하는 사용자의 제스처 프로파일에 포함된 데이터 또는 훈련 데이터는 사용자의 움직임의 z축 방향 크기를 비교하기 위한 z축 방향 크기에 대한 정보를 포함할 수 있다.

이처럼, 사용자마다 동일한 제스처에 대한 움직임이 다르므로, 사용자 인터페이스의 반응 제공 장치(100)는 사용자의 제스처에 대한 x축, y축 및 z축 각각의 움직임 정보를 해당 사용자의 식별정보와 함께 제스처 프로파일 또는 훈련 데이터로서 유지하고, 해당 사용자에 대한 사용자 인터페이스의 반응을 제공하기 위해 제스처 프로파일 또는 훈련 데이터를 사용할 수 있다.

도 4는 일실시예의 일 측면에 따른 이미지 프레임 및 이미지 프레임상에서 사용자를 나타내는 예시도이다.

센서(110)는 사용자(260)의 손(270)을 포함하는 도 4의 이미지 프레임(410)을 획득할 수 있다. 이미지 프레임(410)은 등고선과 유사하게 일정 범위의 깊이를 갖는 대상들에 대한 윤곽 및 해당 윤곽에 상응하는 깊이 정보를 포함할 수 있다. 윤곽(412)은 이미지 프레임(410)상 사용자(260)의 손(270)에 상응하고, 손(270)과 센서(110)간 거리를 나타내는 깊이 정보를 가질 수 있다. 윤곽(414)은 사용자(260) 팔의 일부에 상응하고, 윤곽(416)은 사용자(260)의 머리 및 상반신에 상응할 수 있다. 윤곽(418)은 사용자(260)의 뒤에 위치한 배경에 상응할 수 있다. 윤곽(412)내지 윤곽(418)은 서로 다른 깊이 정보를 가질 수 있다.

제어부(130)는 이미지 프레임(410)을 이용하여 사용자 및 사용자의 위치를 검출할 수 있다. 예를 들어, 이미지 프레임(410)상에서 사용자는 사용자의 손일 수 있다. 제어부(130)는 이미지 프레임(410)으로부터 이미지 프레임(410)상 사용자(412)를 검출하고, 이미지 프레임(420)이 검출된 사용자(422)만을 포함하도록 제어할 수 있다. 또한, 제어부(130)는 이미지 프레임(410)에서 사용자(412)를 다른 형태를 갖도록 표시하여 제어할 수 있다. 예를 들면, 제어부(130)는 이미지 프레임(430)상의 사용자(432)를 적어도 하나의 점 또는 선, 면 등으로 나타내도록 제어할 수 있다.

또한, 제어부(130)는 이미지 프레임(430)상 사용자(432)를 점으로 나타내고, 사용자(432)의 위치를 3차원 좌표로 표시할 수 있다. 3차원 좌표는 x축, y축 및/또는 z축 성분을 포함하고, x축은 이미지 프레임상 수평방향에 대응하고, y축은 이미지 프레임상 수직방향에 대응할 수 있다. z축은 이미지 프레임과 수직하는 방향, 즉 깊이 정보가 나타내는 값에 대응할 수 있다.

제어부(130)는 적어도 하나의 이미지 프레임을 통해 3차원 공간에서의 사용자의 움직임에 대한 정보를 산출할 수 있다. 예를 들어, 제어부(130)는 이미지 프레임상의 사용자의 위치를 추적하고, 적어도 2개의 이미지 프레임들 상의 사용자의 3차원 좌표들로부터 사용자의 움직임의 크기를 산출할 수 있다. 또한, 사용자의 움직임의 크기는 x축, y축 및/또는 z축 성분으로 나누어 나타낼 수 있다.

메모리(120)는 센서(110)로부터 획득된 이미지 프레임(410)을 저장할 수 있다. 이때, 메모리(120)는 적어도 둘의 이미지 프레임들을 연속적으로 또는 주기적으로 저장할 수 있다. 또한, 메모리(120)는 제어부(130)에 의해 처리된 이미지 프레임(422) 또는 이미지 프레임(430)을 저장할 수 있다. 여기서, 사용자(432)의 깊이 정보를 포함하는 이미지 프레임(430)을 대신하여, 사용자(432)의 3차원 좌표를 저장할 수도 있다.

또한, 이미지 프레임(435)이 격자(grid)로 구분된 가상의 복수의 영역들을 포함하는 경우, 사용자(432)의 좌표는 사용자(432)가 속한 영역 또는 해당 영역의 좌표로 나타내질 수 있다. 구현에 따라, 격자로 구분된 영역들 각각은 센서(110)에서 이미지 프레임을 획득하여 윤곽을 형성하는 최소 단위이거나, 제어부(130)에 의해 구획된 영역일 수 있다. 또한, 이미지 프레임상 영역이 격자로 구분되는 방식과 동일하게, 깊이에 대한 정보가 미리 설정된 단위 크기로 구분될 수도 있다. 이미지 프레임이 영역들 또는 단위 크기의 깊이들로 구획됨으로써, 사용자의 위치 및 사용자의 움직임의 크기에 대한 데이터 량이 줄어 들 수 있다.

또한, 이미지 프레임(435)상 복수의 영역들 중 일부 영역에 사용자(432)가 속하는 경우, 사용자(432)의 위치 또는 사용자(432)의 움직임이 산출될 때 해당 이미지 프레임(435)이 사용되지 않을 수 있다. 즉, 복수의 영역들 중 일부 영역에 사용자(432)가 속할 때, 이미지 프레임(435)상 사용자(432)의 움직임이 실제 촬영되는 사용자의 움직임과 비교하여 일정 수준이상 다르게 산출되는 경우, 해당 일부 영역에 포함된 사용자(432)의 위치가 사용되지 않을 수 있다. 여기서, 일부 영역은 이미지 프레임(434)상의 모서리에 해당하는 영역들을 포함할 수 있다. 예를 들어, 이미지 프레임상의 모서리에 해당하는 영역들에 사용자가 속하는 경우, 사용자의 위치 또는 사용자의 움직임을 산출할 때 해당 이미지 프레임이 사용되지 않도록 미리 설정될 수 있다.

센서(110)는 사용자의 위치로서 이미지 프레임상 수직방향에 대한 좌표 및 이미지 프레임상 수평방향에 대한 좌표를 획득할 수 있다. 또한 센서(110)는 사용자의 위치로서 사용자와 센서(110)간 거리를 나타내는 사용자의 깊이 정보를 획득할 수 있다. 깊이 센서(depth sensor), 2차원 카메라, 또는 스테레오스코픽(stereoscopic) 카메라를 포함하는 3차원 카메라 등이 센서(110)로서 사용될 수 있다. 또한, 센서(110)로서 초음파 또는 전파를 송수신하여 사용자의 위치를 획득하는 장치가 사용될 수도 있다.

예를 들면, 2차원 카메라로서 일반적인 광학 카메라를 사용하는 경우, 제어부(130)는 획득된 이미지 프레임으로부터 연산 처리하여 사용자를 검출할 수 있다. 제어부(130)는 이미지 프레임상 사용자의 위치를 획득할 수 있고, 이미지 프레임상에서 사용자의 크기 또는 사용자의 크기를 검출할 수 있다. 제어부(130)는 검출된 크기에 따른 깊이 정보의 매핑 테이블을 이용하여, 깊이 정보를 획득할 수 있다. 스테레오스코픽 카메라가 센서(110)로서 사용되는 경우, 제어부(130)는 시차 또는 초점거리 등을 이용하여 사용자의 깊이 정보를 획득할 수 있다.

또한, 센서(110)는 이미지 프레임을 획득할 수 있는 센서와 함께, 사용자를 식별할 수 있는 별도의 센서를 더 포함할 수도 있다.

깊이 센서가 센서(110)로서 사용되는 경우는 도 3을 참조하여 설명한다.

도 3은 일실시예의 일 측면에 따른 센서를 나타내는 예시도이다.

도 3의 센서(110)는 깊이 센서일 수 있다. 센서(110)는 적외선(Infrared) 송신부(310) 및 광학 수신부(320)를 포함할 수 있다. 광학 수신부(320)는 렌즈(322), 적외선 필터(324) 및 이미지 센서(326)를 포함할 수 있다. 적외선 송신부(310)와 광학 수신부(320)는 동일하거나 또는 근접한 거리에 위치되도록 구현될 수 있다. 센서(110)는 광학 수신부(320)에 따라 고유 값으로 시야각(field of view)을 가질 수 있다. 적외선 송신부(310)를 통해 전송된 적외선은 전방에 위치한 사용자를 포함한 실체들에 도달한 후 반사되고, 반사된 적외선은 광학 수신부(320)에 수신될 수 있다. 렌즈(322)는 실체들의 광 성분을 수신하고, 적외선 필터(324)는 수신된 광 성분 중에서 적외선을 통과시킬 수 있다. 이미지 센서(326)는 통과된 적외선을 전기 신호로 변환하여, 이미지 프레임을 획득할 수 있다. 예를 들어, 이미지 센서(326)는 CCD (Charge Coupled Device) 또는 CMOS (Complementary metal Oxide Semiconductor) 등이 될 수 있다. 이미지 센서(326)에 의해 획득된 이미지 프레임은 도 4의 이미지 프레임(410)일 수 있다. 이때, 실체들의 깊이에 따라 윤곽을 나타내고 각 윤곽이 깊이 정보를 포함하도록 신호 처리될 수 있다. 깊이 정보는 적외선 송신부(310)으로부터 전송된 적외선이 광학 수신부(320)에 도달하기까지의 비행 시간(time of flight) 등을 이용하여 획득될 수 있다. 또한, 초음파 또는 전파를 송수신하여 사용자의 위치를 획득하는 장치도 초음파 또는 전파의 비행 시간을 이용하여 깊이 정보를 획득할 수 있다.

도 5는 일실시예의 일 측면에 따른 센서 및 촬영되는 위치의 개념을 나타내는 예시도이다.

도 5는 센서(110)에 의해 촬영되는 제1 깊이를 갖는 면(520) 및 제2 깊이를 갖는 면(530)에 대한 예시도이다. 각각의 촬영되는 면들(520, 530)은 이미지 프레임상 가상으로 구획된 영역들을 포함할 수 있다. 또한, 도 2 및 도 5에서 3차원 축(250)은 센서(110)로부터 떨어진 손(270), 즉 사용자의 위치를 표시하기 위한 x축, y축 및 z축에 대한 방향을 나타낸다.

도 6은 일실시예의 일 측면에 따른 이미지 프레임상에서의 사용자의 움직임을 나타내는 예시도이다.

기기(616)는 스크린(618) 및 사용자 인터페이스의 반응 제공 장치(100)를 포함할 수 있다. 또한, 사용자 인터페이스의 반응 제공 장치(100)는 센서(612)를 포함할 수 있다. 예시도(610)는 센서(612)의 시야각(614)내에서 사용자(또는 사용자의 손)가 위치(621)에서 위치(628)로 파선의 궤적에 따라 이동하는 사용자의 움직임을 나타낸다.

센서(612)는 사용자를 촬영하여 이미지 프레임을 획득할 수 있다. 사용자의 위치(621)부터 위치(628)로 이동하는 사용자의 움직임으로부터 획득한 8개의 이미지 프레임들 각각에서의 사용자의 위치를 P1(631) 내지 P8(638)의 점들로 나타내는 경우, 이미지(630)는 P1(631) 내지 P8(638)의 점들을 하나의 이미지 프레임에 포함되도록 도시된 것이다. 이때, 이미지 프레임들은 일정한 시간 간격마다 획득된 것일 수 있다. 예를 들어, 제어부(130)는 82msec의 시구간 동안 획득된 8개의 이미지 프레임들로부터 사용자의 위치 또는 좌표를 추적할 수 있다. 하기 테이블 1은 제1 사용자의 미리 설정된 제스처(일례로, 플릭)에 대한 움직임으로부터 획득된 P1(631) 내지 P8(638)의 점들에 상응하는 제1 사용자의 위치에 대한 정보들일 수 있다.

[테이블 1]

여기서, x축, y축 및 z축 좌표의 단위는 일례로, 'cm' 일 수 있다. 또한, 상기 단위는 센서(614) 또는 제어부(130)에서 미리 설정된 단위일 수 있다. 예를 들어, x축 및 y축 좌표의 단위는 이미지 프레임상의 픽셀 크기일 수도 있다. 또한, 상기 좌표 값은 이미지 프레임상의 미리 설정된 단위로 획득된 값일 수도 있으며, 센서(612)의 시야각(614) 내에 위치한 실체와의 거리(또는 깊이)에 따른 척도 등을 고려하여 처리된 값일 수도 있다.

선행모드에서, 제어부(130)는 미리 설정된 제스처에 대한 가이드를 사용자에게 제공하도록 제어할 수 있다. 예를 들어, 제어부(130)는 스크린(618)에 미리 설정된 제스처(일례로, 플릭)에 대한 이미지 또는 시연 동영상을 재생하도록 제어할 수 있다. 이때, 센서(612)는 미리 설정된 제스처를 모방하는 제1 사용자의 제1 움직임을 촬영하여 적어도 하나의 제1 이미지 프레임을 획득할 수 있다. 또한, 제어부(130)는 제1 사용자의 식별정보를 획득할 수 있다. 적어도 하나의 제1 이미지 프레임이 P1(631) 내지 P8(638)의 점들에 상응하는 제1 사용자의 위치에 대한 정보를 포함하는 경우, 제어부(130)는 제1 사용자의 위치에 대한 정보로부터 3차원 공간에서의 움직임에 대한 정보를 획득할 수 있다. 예를 들어, 제어부(130)는 테이블 1의 제1 사용자의 제1 움직임의 시작 및 끝 위치인 P1(631) 및 P8(638)을 통해, 일례로 하기 테이블 2의 플릭 제스처에 대한 x축 방향 움직임의 크기, y축 방향 움직임의 크기 및 z축 방향 움직임의 크기를 나타낼 수 있다. 즉, 제어부(130)는 제1 사용자의 위치를 테이블 1을 이용하여 P(x 좌표, y 좌표, z 좌표)로 나타내는 경우, P8(57, 56, 137)에서 P1(10, 53, 135)을 감산하여 움직임의 크기 및/또는 방향을 포함하는 제1 사용자의 제1 움직임에 대한 정보를 산출할 수 있다. 또한, 제어부(130)는 P1(631) 내지 P8(638)의 좌표의 변동폭을 포함하여 제1 사용자의 제1 움직임에 대한 정보를 산출할 수 있다. 예를 들면, 테이블 1을 참조하면, P1(631) 내지 P8(638)에서의 변동폭은 x축 47, y축 4.8, z축 7일 수 있다. 제어부(130)는 1회 이상의 미리 설정된 제스처를 모방하는 제1 사용자의 제1 움직임을 촬영하여 획득된 이미지 프레임들의 셋을 이용하여, 1회 이상의 제1 사용자의 움직임에 대한 정보들을 이용하여 훈련 데이터 또는 제스처 프로파일에 포함된 데이터를 산출할 수 있다. 예를 들어, 훈련 데이터 또는 제스처 프로파일에 포함된 데이터는 움직임에 대한 정보들에 대한 움직임의 크기의 평균 및/또는 변동폭의 평균 등의 연산 등을 통해 산출될 수 있다. 또한, 제어부(130)는 훈련 데이터 또는 제스처 프로파일에 포함된 데이터를 산출할 때, 해당 데이터가 제스처의 발생여부를 판단하기 위한 비교 값임을 고려하여 움직임에 대한 정보들에 마진 또는 일정 범위의 값을 가감할 수 있다. 또한, 제어부(130)는 제스처에 따라 움직임의 형태가 잘 드러나도록 사용되는 이미지 프레임들의 간격, 움직임에 대한 정보들의 연산 방법을 상이하게 적용할 수 있다.

또한, 제어부(130)는 산출된 훈련 데이터 또는 제스처 프로파일이 메모리(120)에 유지되도록 제어할 수 있다. 하기 테이블 2는 메모리(120)의 제1 사용자의 사용자 영역에 유지되는 제1 사용자의 훈련 데이터 또는 제스처 프로파일일 수 있다. 여기서, x축, y축 및 z축 방향 움직임의 크기 단위는 일례로, 'cm' 일 수 있다. 예를 들어, 제1 사용자의 제스처 프로파일에 포함된 푸시 제스처에 상응하는 데이터는 x축 -1, y축 +2, z축 -11로서, 방향 및 크기를 포함하는 움직임 정보일 수 있다.

[테이블 2]

또한, 테이블 2의 제1 사용자의 제스처 프로파일에 포함된 미리 설정된 제스처에 상응하는 데이터는 x축, y축 및 z축 각각에서 적어도 2개의 값을 갖는 좌표들을 포함하는 형태로 유지될 수도 있다.

테이블 2의 제1 사용자의 제스처 프로파일이 메모리(120)에 유지되는 경우, 제어부(130)는 제1 사용자의 제2 움직임에 대한 반응으로 사용자 인터페이스의 반응을 제공하기 위해, 제1 사용자의 제스처 프로파일을 사용할 수 있다. 즉, 제어부(130)는 제1 사용자를 식별하고, 메모리(120)의 제1 사용자의 사용자 영역에 유지되는 제1 사용자의 제스처 프로파일에 액세스할 수 있다. 또한, 제어부(130)는 제2 이미지 프레임상에서의 제1 사용자의 제2 움직임과 제1 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터를 비교하여, 제1 사용자의 제2 움직임이 상기 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단할 수 있다. 예를 들어, 제어부(130)는 제2 움직임에 대한 정보와 상기 적어도 하나의 제스처에 상응하는 데이터를 비교하여, 상관도가 가장 큰 제스처를 해당 제2 움직임이 나타내는 제스처로 판단할 수 있다. 또한, 제어부(130)는 제1 사용자의 제2 움직임에 대한 정보와 상기 적어도 하나의 제스처에 상응하는 데이터의 크기를 비교하여, 해당 제스처를 식별하거나, 또는 해당 제스처의 발생 여부를 판단할 수 있다. 예를 들어, 제2 움직임이 x축, y축 및 z축 방향 움직임의 크기 각각 +45, -2, +1 인 경우 플릭 제스처와 상관도가 가장 크므로, 제어부(130)는 제1 사용자의 제2 움직임이 플릭 제스처에 대한 것으로 판단할 수 있다. 또한, 플릭 제스처는 x축 또는 y축 방향 움직임의 크기가 일정 크기 이상인 경우 발생되는 것으로 설정된 경우, x축 또는 y축 방향 움직임의 크기가 47을 넘지 않으므로, 해당 제스처에 대한 인터페이스의 반응을 생략할 수도 있다.

하기 테이블 3은 메모리(120)의 제2 사용자의 사용자 영역에 유지되는 제2 사용자의 훈련 데이터 또는 제스처 프로파일일 수 있다. 여기서, x축, y축 및 z축 방향 움직임의 크기 단위는 일례로, 'cm' 일 수 있다. 예를 들어, 테이블 2 및 테이블 3에서 플릭 제스처 및 푸시 제스처에 상응하는 데이터가 서로 다를 수 있다.

[테이블 3]

이처럼, 사용자 인터페이스의 반응 제공 장치(100)는 사용자에 상응하여 해당 사용자의 훈련 데이터 또는 제스처 프로파일을 적응적으로 사용함으로써, 사용자의 움직임이 나타내는 제스처를 식별할 수 있는 정확도를 높일 수 있다. 예를 들어, 플릭 제스처에 대한 제2 사용자의 움직임과 제2 사용자의 제스처 프로파일에 포함된 플릭 제스처에 상응하는 데이터의 상관도는, 제2 사용자의 움직임과 기본 제스처 프로파일에 포함된 플릭 제스처에 상응하는 데이터의 상관도 보다 클 수 있다. 또한, 제2 사용자의 제스처 프로파일에 포함된 플릭 제스처와 다른 제스처들과의 직교성(orthogonality)이 높을 수 있다.

하기 테이블 4는 메모리(120)에 유지되는 불특정 사용자에 대한 기본 제스처 프로파일일 수 있다. 여기서, x축, y축 및 z축 방향 움직임의 크기 단위는 일례로, 'cm' 일 수 있다. 제어부(130)는 사용자의 식별을 성공하지 못하는 경우, 제2 이미지 프레임상에서의 사용자의 제2 움직임 및 기본 제스처 프로파일을 이용하여, 사용자의 제2 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다. 또한, 제어부(130)는 선행모드로 획득된 제스처 프로파일 또는 훈련 데이터가 없는 경우, 식별된 사용자에 대한 움직임 정보를 나타내는 초기 데이터로서, 기본 제스처 프로파일을 사용할 수 있다.

[테이블 4]

또한, 후행모드에서 제어부(130)는 사용자의 제2 움직임을 가지고 하기 수학식 1을 통해 사용자의 제스처 프로파일에 포함된 제1 제스처에 상응하는 제1 데이터를 제2 데이터로 수정하여 사용자의 업데이트된 제스처 프로파일을 획득할 수 있다.

여기서,

은 제2 데이터에 포함된 x축 방향 움직임의 크기이고,

은 제2 데이터에 포함된 y축 방향 움직임의 크기이고,

은 제2 데이터에 포함된 z축 방향 움직임의 크기이고,

는 제1 데이터에 포함된 x축 방향 움직임의 크기이고,

는 제1 데이터에 포함된 y축 방향 움직임의 크기이고,

는 제1 데이터에 포함된 z축 방향 움직임의 크기이고,

은 사용자의 제2 움직임의 x축 방향 움직임의 크기이고,

은 사용자의 제2 움직임의 y축 방향 움직임의 크기이고,

은 사용자의 제2 움직임의 z축 방향 움직임의 크기이고,

및

는 0 보다 큰 실수(real number)이고,

,

및

는 실수인 상수(constant)를 나타낼 수 있다.

예를 들어, 메모리(120)는 선행모드 또는 후행모드를 통해 사용자의 제2 움직임보다 앞서 획득된 제1 제스처에 상응하는 미리 설정된 개수의 사용자의 움직임의 정보들을 저장할 수 있다. 제어부(130)는 미리 설정된 개수의 사용자의 움직임의 정보들로부터 평균적 움직임의 크기를 산출하여, 사용자의 제2 움직임의 크기와 평균적 움직임의 크기의 차가 미리 설정된 값보다 큰지 여부를 확인할 수 있다. 여기서, 사용자의 제2 움직임의 크기와 평균적 움직임의 크기의 차는 x축 방향, y축 방향 및 z축 방향 각각에서의 움직임의 크기의 차를 나타낼 수 있다. 또한, 제어부(130)가 상기 차가 미리 설정된 값보다 큰지 여부를 확인할 때, 평균적 움직임의 크기를 대신하여, 사용자의 제스처 프로파일에 포함된 제1 제스처에 상응하는 제1 데이터가 사용될 수도 있다. 상기 확인결과, 상기 차가 미리 설정된 값보다 크지 않은(작거나 같은) 경우, 제어부(130)는 사용자의 제2 움직임으로부터 수학식 1을 통해 사용자의 업데이트된 제스처 프로파일을 획득할 수 있다. 상기 차가 미리 설정된 값보다 큰 경우, 제어부(130)는 수학식 1의 연산을 생략하거나, 수학식 1의

의 값을 0으로 설정하여, 제스처 프로파일의 업데이트 동작을 생략할 수 있다. 또한, 상기 차가 미리 설정된 값보다 큰 경우, 제어부(130)는 수학식 1의

및

의 값을 상기 차가 미리 설정된 값보다 크지 않은 경우의

및 의 값과 다르게 변경하고, 변경된

및

의 값이 적용된 수학식 1을 통해 제스처 프로파일을 업데이트할 수도 있다. 일례로, 제어부(130)는 상기 차가 미리 설정된 값보다 큰 경우의

의 값은 상기 차가 미리 설정된 값보다 크지 않은 경우의

의 값보다 작도록 설정할 수 있다.

이하에서, 도 7 내지 도 10을 참조하여 일실시예에 따른 사용자 인터페이스의 반응을 제공하는 방법을 설명한다. 이하에서, 각 단계의 동작은 일례로, 도 1의 사용자 인터페이스의 반응 제공 장치(100) 또는 사용자 인터페이스의 반응 제공 장치(100)에 포함된 부재를 참조하여 설명한다.

도 7은 일실시예의 일 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.

단계(705)에서, 사용자 인터페이스의 반응 제공 장치(100)의 센서(120)는 사용자를 촬영하여 이미지 프레임을 획득할 수 있다.

단계(710)에서, 제어부(130)는 사용자를 식별할 수 있다. 메모리(120)는 사용자 영역에 사용자의 제스처 프로파일과 함께 사용자의 식별정보를 더 유지할 수 있다. 제어부(130)는 사용자의 형상과 사용자의 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 사용자를 식별할 수 있다.

단계(715)에서, 제어부(130)는 사용자의 식별을 성공하였는지 판단할 수 있다. 사용자의 식별을 성공하지 못하는 경우, 단계(720)에서, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임 및 불특정 사용자에 대한 기본 제스처 프로파일을 이용하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

사용자의 식별을 성공한 경우, 단계(725)에서, 제어부(130)는 메모리(120)의 사용자 영역에 유지되는 사용자의 제스처 프로파일- 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터를 포함하고, 적어도 하나의 데이터 각각은 3차원 공간에서의 움직임에 대한 정보를 나타냄 -에 액세스할 수 있다. 여기서, 3차원 공간에서의 움직임에 대한 정보는 이미지 프레임상 x축 방향 움직임의 크기, 이미지 프레임상 y축 방향 움직임의 크기 및 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함할 수 있다. 또한, 3차원 공간에서의 움직임에 대한 정보는 x축 성분, y축 성분 및 z축 성분을 포함하는 적어도 2개의 3차원 좌표들을 포함할 수 있다.

적어도 하나의 제스처는 플릭(flick), 푸시(push), 홀드(hold), 원그리기(circling), 양손 모으기(gathering) 및 양손 벌리기(widening) 중 적어도 하나를 포함할 수 있다. 사용자 인터페이스의 반응은 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.

사용자의 제스처 프로파일은 제1 이미지 프레임- 제1 이미지 프레임은 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 획득됨 -상에서의 사용자의 제1 움직임으로부터 산출된 데이터를 가지고 업데이트되는 것일 수 있다.

단계(730) 내지 단계(735)에서, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터를 비교하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다. 즉, 단계(730)에서, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터를 비교하여, 사용자의 움직임이 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단할 수 있다. 단계(735)에서, 제어부(130)는 단계(730)에서의 판단결과에 따른 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다.

또한, 단계(735)에서, 제어부(130)는 사용자의 움직임을 이용하여 사용자의 제스처 프로파일을 업데이트할 수 있다. 일례로, 제어부(130)는 사용자의 움직임을 가지고 하기 수학식 2를 통해 사용자의 제스처 프로파일에 포함된 제1 제스처에 상응하는 제1 데이터를 제2 데이터로 수정하여 사용자의 업데이트된 제스처 프로파일을 획득할 수 있다.

여기서,

은 제2 데이터에 포함된 x축 방향 움직임의 크기이고,

은 제2 데이터에 포함된 y축 방향 움직임의 크기이고,

은 제2 데이터에 포함된 z축 방향 움직임의 크기이고,

는 제1 데이터에 포함된 x축 방향 움직임의 크기이고,

는 제1 데이터에 포함된 y축 방향 움직임의 크기이고,

는 제1 데이터에 포함된 z축 방향 움직임의 크기이고,

은 사용자의 움직임의 x축 방향 움직임의 크기이고,

은 사용자의 움직임의 y축 방향 움직임의 크기이고,

은 사용자의 움직임의 z축 방향 움직임의 크기이고,

및

는 0 보다 큰 실수(real number)이고,

,

및

는 실수인 상수(constant)를 나타낼 수 있다.

도 8은 일실시예의 일 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.

단계(805)에서, 사용자 인터페이스의 반응 제공 장치(100)의 제어부(130)는 미리 설정된 제스처에 대한 가이드를 제공하도록 제어할 수 있다.

단계(810)에서, 센서(110)는 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득할 수 있다.

단계(815)에서, 제어부(130)는 사용자의 식별정보를 획득할 수 있다. 또한, 단계(815)에서 제어부(130)는 제1 이미지 프레임상에서의 사용자의 제1 움직임으로부터 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 데이터를 산출할 수 있다.

단계(820)에서, 메모리(120)는 사용자 영역에 사용자의 제스처 프로파일과 함께 사용자의 식별정보를 더 유지할 수 있다. 또한, 메모리(120)는 단계(815)에서 산출된 데이터를 가지고 사용자의 제스처 프로파일- 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터를 포함함 -을 업데이트하여 메모리의 사용자 영역에 유지할 수 있다.

단계(820)이후, 사용자 인터페이스의 반응 제공 장치(100)는 동작을 종료하거나, 도 7의 단계(710)로 진입하여 동작할 수 있다. 단계(710) 내지 단계(735)는 앞서 상술하였으므로, 단계(710) 내지 단계(735)에 포함된 몇 개의 단계들에 대해서 간략히 설명한다.

단계(710)에서, 제어부(130)는 사용자를 식별할 수 있다.

단계(725)에서, 제어부(130)는 메모리의 사용자 영역에 유지되는 사용자의 제스처 프로파일에 액세스할 수 있다.

단계(730)에서, 제어부(130)는 제2 이미지 프레임상에서의 사용자의 제2 움직임과 사용자의 제스처 프로파일에 포함된 적어도 하나의 데이터를 비교하여, 사용자의 제2 움직임이 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단할 수 있다.

단계(735)에서, 제어부(130)는 단계(730)에서의 판단결과에 따른 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다.

도 9는 일실시예의 다른 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.

단계(905)에서, 사용자 인터페이스의 반응 제공 장치(100)의 센서(120)는 사용자를 촬영하여 이미지 프레임을 획득할 수 있다.

단계(910)에서, 제어부(130)는 사용자를 식별할 수 있다. 메모리(120)는 사용자 영역에 사용자의 훈련 데이터와 함께 사용자의 식별정보를 더 유지할 수 있다. 제어부(130)는 사용자의 형상과 사용자의 식별정보가 매칭되는지 여부를 판단하는 것에 기초하여 사용자를 식별할 수 있다.

단계(915)에서, 제어부(130)는 사용자의 식별을 성공하였는지 판단할 수 있다. 사용자의 식별을 성공하지 못하는 경우, 단계(920)에서, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임 및 불특정 사용자에 대한 기본 제스처 프로파일을 이용하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다.

사용자의 식별을 성공한 경우, 단계(925)에서, 제어부(130)는 메모리(120)의 사용자 영역에 유지되는 미리 설정된 제스처에 상응하는 3차원 공간에서의 사용자의 움직임 정보를 나타내는 훈련 데이터에 액세스할 수 있다. 여기서, 3차원 공간에서의 움직임에 대한 정보는 이미지 프레임상 x축 방향 움직임의 크기, 이미지 프레임상 y축 방향 움직임의 크기 및 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함할 수 있다. 또한, 3차원 공간에서의 움직임에 대한 정보는 x축 성분, y축 성분 및 z축 성분을 포함하는 적어도 2개의 3차원 좌표들을 포함할 수 있다.

상기 적어도 하나의 제스처는 플릭(flick), 푸시(push), 홀드(hold), 원그리기(circling), 양손 모으기(gathering) 및 양손 벌리기(widening) 중 적어도 하나를 포함할 수 있다. 사용자 인터페이스의 반응은 디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함할 수 있다.

훈련 데이터는 제1 이미지 프레임- 제1 이미지 프레임은 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 획득됨 -상에서의 사용자의 제1 움직임으로부터 산출되는 것일 수 있다.

단계(930) 내지 단계(935)에서, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자 영역에 유지되는 훈련 데이터를 비교하여 사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공할 수 있다. 즉, 단계(930)에서, 제어부(130)는 이미지 프레임상에서의 사용자의 움직임과 사용자 영역에 유지되는 훈련 데이터를 비교하여, 사용자의 움직임이 미리 설정된 제스처인지 여부를 판단할 수 있다. 단계(935)에서, 제어부(130)는 미리 설정된 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다.

또한, 단계(935)에서, 제어부(130)는 사용자의 움직임을 이용하여 미리 설정된 제스처에 상응하는 훈련 데이터를 업데이트할 수 있다. 일례로, 제어부(130)는 사용자의 움직임을 가지고 하기 수학식 3을 통해 훈련 데이터를 새로운 데이터로 업데이트할 수 있다.

여기서,

은 새로운 데이터에 포함된 x축 방향 움직임의 크기이고,

은 새로운 데이터에 포함된 y축 방향 움직임의 크기이고,

은 새로운 데이터에 포함된 z축 방향 움직임의 크기이고,

는 훈련 데이터에 포함된 x축 방향 움직임의 크기이고,

는 훈련 데이터에 포함된 y축 방향 움직임의 크기이고,

는 훈련 데이터에 포함된 z축 방향 움직임의 크기이고,

은 사용자의 움직임의 x축 방향 움직임의 크기이고,

은 사용자의 움직임의 y축 방향 움직임의 크기이고,

은 사용자의 움직임의 z축 방향 움직임의 크기이고,

및

는 0 보다 큰 실수(real number)이고,

,

및

는 실수인 상수(constant)를 나타낼 수 있다.

도 10은 일실시예의 다른 측면에 따른 사용자 인터페이스의 반응을 제공하는 방법을 나타내는 순서도이다.

단계(1005)에서, 사용자 인터페이스의 반응 제공 장치(100)의 제어부(130)는 미리 설정된 제스처에 대한 가이드를 제공하도록 제어할 수 있다.

단계(1010)에서, 센서(110)는 미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득할 수 있다.

단계(1015)에서, 제어부(130)는 사용자의 식별정보를 획득할 수 있다. 또한, 단계(815)에서 제어부(130)는 제1 이미지 프레임상에서의 사용자의 제1 움직임으로부터 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 훈련 데이터를 산출할 수 있다.

단계(1020)에서, 메모리(120)는 사용자 영역에 사용자의 훈련 데이터와 함께 사용자의 식별정보를 더 유지할 수 있다. 또한, 메모리(120)는 단계(1015)에서 산출된 훈련 데이터를 메모리의 사용자 영역에 유지할 수 있다.

단계(1020)이후, 사용자 인터페이스의 반응 제공 장치(100)는 동작을 종료하거나, 도 9의 단계(910)로 진입하여 동작할 수 있다. 단계(910) 내지 단계(935)는 앞서 상술하였으므로, 단계(910) 내지 단계(935)에 포함된 몇 개의 단계들에 대해서 간략히 설명한다.

단계(910)에서, 제어부(130)는 사용자를 식별할 수 있다.

단계(925)에서, 제어부(130)는 메모리의 사용자의 사용자 영역에 유지되는 훈련 데이터에 액세스할 수 있다.

단계(930)에서, 제어부(130)는 제2 이미지 프레임상에서의 사용자의 제2 움직임과 사용자의 사용자 영역에 유지되는 훈련 데이터를 비교하여, 사용자의 제2 움직임이 미리 설정된 제스처인지 여부를 판단할 수 있다.

단계(935)에서, 제어부(130)는 미리 설정된 제스처에 상응하는 사용자 인터페이스의 반응을 제공할 수 있다.

상술한 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 사용자 인터페이스의 반응 제공 장치
110: 센서
120: 메모리
130: 제어부
131: 산출부
133: 사용자 식별부
135: 제스처 판단부
137: 제공부

Claims

사용자의 움직임(motion)에 대한 사용자 인터페이스의 반응(response)을 제공하는 방법에 있어서,
사용자를 촬영하여 이미지 프레임을 획득하는 단계;
상기 사용자를 식별하는 단계;
메모리의 사용자 영역에 유지되는 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터를 포함하고, 상기 적어도 하나의 데이터 각각은 3차원 공간에서의 움직임에 대한 정보를 나타냄 -에 액세스하는 단계; 및
상기 이미지 프레임상에서의 상기 사용자의 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 포함하는
사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 사용자의 상기 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트하는 단계를 더 포함하는 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 메모리의 상기 사용자 영역은
상기 사용자의 상기 제스처 프로파일과 함께 상기 사용자의 식별정보를 더 유지하고,
상기 사용자를 식별하는 단계는
상기 사용자의 형상과 상기 사용자의 상기 식별정보가 매칭되는지 여부를 판단하는 것인 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 사용자의 식별을 성공하지 못하는 경우, 상기 이미지 프레임상에서의 상기 사용자의 상기 움직임 및 불특정(unspecified) 사용자에 대한 기본 제스처 프로파일을 이용하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 더 포함하는 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 사용자 인터페이스의 반응을 제공하는 단계는
상기 이미지 프레임상에서의 상기 사용자의 상기 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여, 상기 사용자의 상기 움직임이 상기 적어도 하나의 제스처 중 어느 제스처에 대한 움직임인지를 판단하는 단계; 및
상기 판단결과에 따른 제스처에 상응하는 상기 사용자 인터페이스의 반응을 제공하는 단계를 포함하는 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 3차원 공간에서의 움직임에 대한 상기 정보는
상기 이미지 프레임상 x축 방향 움직임의 크기, 상기 이미지 프레임상 y축 방향 움직임의 크기 및 상기 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함하는 사용자 인터페이스의 반응 제공 방법.
제6항에 있어서,
상기 사용자의 상기 움직임을 가지고 하기 수학식을 통해 상기 사용자의 상기 제스처 프로파일에 포함된 제1 제스처에 상응하는 제1 데이터를 제2 데이터로 수정하여 상기 사용자의 업데이트된 제스처 프로파일을 획득하는 단계를 더 포함하는 사용자 인터페이스의 반응 제공 방법.
[수학식]

여기서,
은 상기 제2 데이터에 포함된 x축 방향 움직임의 크기이고,
은 상기 제2 데이터에 포함된 y축 방향 움직임의 크기이고,
은 상기 제2 데이터에 포함된 z축 방향 움직임의 크기이고,
는 상기 제1 데이터에 포함된 x축 방향 움직임의 크기이고,
는 상기 제1 데이터에 포함된 y축 방향 움직임의 크기이고,
는 상기 제1 데이터에 포함된 z축 방향 움직임의 크기이고,
은 상기 사용자의 상기 움직임의 x축 방향 움직임의 크기이고,
은 상기 사용자의 상기 움직임의 y축 방향 움직임의 크기이고,
은 상기 사용자의 상기 움직임의 z축 방향 움직임의 크기이고,
및
는 0 보다 큰 실수(real number)이고,
,
및
는 실수인 상수(constant)를 나타냄.
제1항에 있어서,
상기 3차원 공간에서의 움직임에 대한 상기 정보는
x축 성분, y축 성분 및 z축 성분을 포함하는 적어도 2개의 3차원 좌표들을 포함하는 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 사용자의 상기 제스처 프로파일은
제1 이미지 프레임- 상기 제1 이미지 프레임은 미리 설정된 제스처를 모방하는 상기 사용자의 제1 움직임을 촬영하여 획득됨 -상에서의 상기 사용자의 상기 제1 움직임으로부터 산출된 상기 데이터를 가지고 업데이트되는 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 적어도 하나의 제스처는
플릭(flick), 푸시(push), 홀드(hold), 원그리기(circling), 양손 모으기(gathering) 및 양손 벌리기(widening) 중 적어도 하나를 포함하는 사용자 인터페이스의 반응 제공 방법.
제1항에 있어서,
상기 사용자 인터페이스의 반응은
디스플레이 전원 켜짐, 디스플레이 전원 꺼짐, 메뉴의 디스플레이, 커서의 이동, 활성화된 아이템의 변경, 아이템의 선택, 아이템에 상응하는 동작 수행, 디스플레이 채널의 변경 및 음량의 변경 중 적어도 하나를 포함하는 사용자의 인터페이스의 반응 제공 방법.
사용자의 움직임(motion)에 대한 사용자 인터페이스의 반응을 제공하는 장치에 있어서,
사용자를 촬영하여 이미지 프레임을 획득하는 센서;
사용자 영역에 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 적어도 하나의 제스처에 상응하는 적어도 하나의 데이터를 포함하고, 상기 적어도 하나의 데이터 각각은 3차원 공간에서의 움직임에 대한 정보를 나타냄 -을 유지하는 메모리; 및
상기 사용자를 식별하고, 상기 메모리의 상기 사용자 영역에 유지되는 상기 사용자의 상기 제스처 프로파일에 액세스하고, 상기 이미지 프레임상에서의 상기 사용자의 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 움직임에 대한 사용자 인터페이스의 반응을 제공하는 제어부를 포함하는
사용자 인터페이스의 반응 제공 장치.
제12항에 있어서,
상기 제어부는
상기 사용자의 상기 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트하는 사용자 인터페이스의 반응 제공 장치.
제12항에 있어서,
상기 3차원 공간에서의 움직임에 대한 상기 정보는
상기 이미지 프레임상 x축 방향 움직임의 크기, 상기 이미지 프레임상 y축 방향 움직임의 크기 및 상기 이미지 프레임과 수직인 z축 방향 움직임의 크기에 대한 정보를 포함하는 사용자 인터페이스의 반응 제공 장치.
제12항에 있어서,
상기 3차원 공간에서의 움직임에 대한 상기 정보는
x축 성분, y축 성분 및 z축 성분을 포함하는 적어도 2개의 3차원 좌표들을 포함하는 사용자 인터페이스의 반응 제공 장치.
제12항에 있어서,
상기 사용자의 상기 제스처 프로파일은
제1 이미지 프레임- 상기 제1 이미지 프레임은 미리 설정된 제스처를 모방하는 상기 사용자의 제1 움직임을 촬영하여 획득됨 -상에서의 상기 사용자의 상기 제1 움직임으로부터 산출된 상기 데이터를 가지고 업데이트되는 사용자 인터페이스의 반응 제공 장치.
사용자의 움직임(motion)에 대한 사용자 인터페이스의 반응을 제공하는 방법에 있어서,
미리 설정된 제스처를 모방하는(imitating) 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득하는 단계;
상기 제1 이미지 프레임상에서의 상기 사용자의 상기 제1 움직임으로부터 상기 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 데이터를 산출하는 단계;
상기 데이터를 가지고 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 상기 적어도 하나의 제스처에 상응하는 상기 적어도 하나의 데이터를 포함함 -을 업데이트하여 메모리의 사용자 영역에 유지하는 단계;
상기 사용자를 식별하는 단계;
상기 메모리의 상기 사용자 영역에 유지되는 상기 사용자의 상기 제스처 프로파일에 액세스하는 단계; 및
제2 이미지 프레임상에서의 상기 사용자의 제2 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공하는 단계를 포함하는
사용자 인터페이스의 반응 제공 방법.
제17항에 있어서,
상기 사용자의 상기 제1 움직임을 촬영하여 상기 제1 이미지 프레임을 획득하는 단계는
상기 미리 설정된 제스처에 대한 가이드를 제공하도록 제어하는 단계; 및
상기 사용자의 식별정보를 획득하는 단계를 포함하는 사용자 인터페이스의 반응 제공 방법.
제17항에 있어서,
상기 사용자의 상기 제2 움직임을 이용하여 상기 사용자의 상기 제스처 프로파일을 업데이트하는 단계를 더 포함하는 사용자 인터페이스의 반응 제공 방법.
사용자의 움직임에 대한 사용자 인터페이스의 반응을 제공하는 장치에 있어서,
미리 설정된 제스처를 모방하는 사용자의 제1 움직임을 촬영하여 제1 이미지 프레임을 획득하는 센서;
상기 제1 이미지 프레임상에서의 상기 사용자의 상기 제1 움직임으로부터 상기 미리 설정된 제스처에 상응하는 3차원 공간에서의 움직임의 정보를 나타내는 데이터를 산출하는 제어부; 및
상기 데이터를 가지고 상기 사용자의 제스처 프로파일- 상기 제스처 프로파일은 상기 적어도 하나의 제스처에 상응하는 상기 적어도 하나의 데이터를 포함함 -을 업데이트하여 사용자 영역에 유지하는 메모리를 포함하고,
상기 제어부는
상기 사용자를 식별하고, 상기 메모리의 상기 사용자 영역에 유지되는 상기 사용자의 상기 제스처 프로파일에 액세스하고, 제2 이미지 프레임상에서의 상기 사용자의 제2 움직임과 상기 사용자의 상기 제스처 프로파일에 포함된 상기 적어도 하나의 데이터를 비교하여 상기 사용자의 상기 제2 움직임에 대한 사용자 인터페이스의 반응을 제공하는
사용자 인터페이스의 반응 제공 장치.