[go: up one dir, main page]

KR101550580B1 - 사용자 인터페이스 장치 및 그것의 제어 방법 - Google Patents

사용자 인터페이스 장치 및 그것의 제어 방법 Download PDF

Info

Publication number
KR101550580B1
KR101550580B1 KR1020140005980A KR20140005980A KR101550580B1 KR 101550580 B1 KR101550580 B1 KR 101550580B1 KR 1020140005980 A KR1020140005980 A KR 1020140005980A KR 20140005980 A KR20140005980 A KR 20140005980A KR 101550580 B1 KR101550580 B1 KR 101550580B1
Authority
KR
South Korea
Prior art keywords
user
shape
hand
target
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140005980A
Other languages
English (en)
Other versions
KR20150085957A (ko
Inventor
박정민
황원상
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020140005980A priority Critical patent/KR101550580B1/ko
Priority to US14/293,566 priority patent/US9547371B2/en
Publication of KR20150085957A publication Critical patent/KR20150085957A/ko
Application granted granted Critical
Publication of KR101550580B1 publication Critical patent/KR101550580B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 사용자의 동작을 감지하여 타겟을 선택하는 다차원 사용자 인터페이스 장치 및 그것의 제어 방법에 관한 것이다.
본 발명에 따른 사용자 인터페이스 장치는 사용자의 눈의 위치 및 시선 방향을 감지하는 시선 감지부 및 사용자의 손 모양을 감지하는 손 모양 감지부를 포함하고, 눈의 위치 및 시선 방향으로부터 대상의 위치와 관련된 위치 인자를 계산하고, 손 모양으로부터 대상과 손 모양 사이의 적합도와 관련된 적어도 하나의 적합도 인자를 계산하고, 계산된 위치 인자 및 적어도 하나의 적합도 인자에 따라 선택적으로, 대상을 사용자가 선택한 타겟으로 결정한다.

Description

사용자 인터페이스 장치 및 그것의 제어 방법{USER INTERFACE APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 사용자 인터페이스 장치 및 그것의 제어 방법에 관한 것으로서, 더욱 상세하게는 사용자의 동작을 감지하여 대상을 선택하는 다차원 사용자 인터페이스 장치 및 그것의 제어 방법에 관한 것이다.
최근 노트북, 스마트 폰 등과 같은 휴대용 컴퓨터 전자 장치가 널리 보급되면서, 장치에 대한 사용자의 명령을 인식하기 위한 사용자 인터페이스 방식 또한 다양해지고 있다. 사용자 인터페이스의 예시적인 종래기술로서, 이차원 마우스를 이용한 선택 방법, 공간상의 사용자 손 움직임을 트래킹하여 대상을 선택하는 방법 또는 6 자유도(6 Degrees Of Freedom, 6DOF) 입력 핸드헬드 장치를 이용한 선택 방법 등이 제시되어 있다.
그러나, 이러한 종래 기술들은 사용자가 제어할 대상을 결정한 후, 그러한 대상을 전자 장치상에서 선택하기 위해 인터페이스 수단을 별도로 조작하여야 하는 불편이 있다. 가령, 사용자는 전자 장치상에서 물체를 선택하기 위해, 마우스, 6DOF 입력 핸드헬드 장치 또는 손 트래킹 장치를 통해 2차원 커서 또는 3차원 커서를 제어할 대상 위에 위치시켜제어할 대상을 선택 또는 활성화시켜야 한다.
이러한 별도의 선택 조작은 사용자에게 불편을 초래할 뿐 아니라, 선택 조작 동안 소요되는 시간 때문에 전자 장치의 전체적인 동작/조작 시간을 증가시키는 문제점이 있다. 따라서, 별도의 선택 조작을 요구하지 않고, 사용자 직관성 및 사용성이 향상된 새로운 사용자 인터페이스 방식이 요구된다.
대한민국 공개특허공보 제10-2013-0108643호(2013.10.04)
1. R.Y.Wang, S.Paris 및 J.Popovic의 "6D Hands: Markerless Hand Tracking for Computer Aided Design", ACM User Interface Software and Technology Symposium(UIST), 2011. 2. T.Grossman 및 R.Balakrishnan의 "The Design and Evaluation of Selection Techniques for 3D Volumetric Displays", ACM User Interface Software and Technology Symposium(UIST), 2006. 3. V.Tanriverdi 및 R.J.Jacob의 "Interacting with Eye Movements in Virtual Environment", ACM SIGCHI Conference on Human Factors in Computing Systems(CHI), 2000.
본 발명의 목적은 별도의 선택 조작 없이도, 타겟을 선택할 수 있는 사용자 인터페이스 장치 및 그것의 제어 방법을 제공하는 데 있다.
나아가, 본 발명의 목적은 다차원 인터페이스 환경에서, 더욱 직관적이고 간편하게 사용자 명령을 인식할 수 있는 사용자 인터페이스 장치 및 그것의 제어 방법을 제공하는 데 있다.
본 발명의 실시 예들에 따른 사용자 인터페이스 장치는, 사용자의 눈의 위치 및 시선 방향을 감지하는 시선 감지부; 및 사용자의 손 모양을 감지하는 손 모양 감지부를 포함하고, 상기 눈의 위치 및 상기 시선 방향으로부터 대상의 위치와 관련된 위치 인자를 계산하고, 상기 손 모양으로부터 상기 대상의 적합도와 관련된 적어도 하나의 적합도 인자를 계산하고, 상기 계산된 위치 인자 및 적어도 하나의 적합도 인자에 따라 선택적으로, 상기 대상을 사용자가 선택한 타겟으로 결정한다.
실시 예로서, 상기 눈의 위치 및 시선 방향으로부터 사용자 시선을 결정하고, 상기 사용자 시선과 상기 대상 사이의 최소 거리로부터 상기 위치 인자를 계산한다.
실시 예로서, 상기 사용자 시선은 상기 눈의 위치로부터 계산되는 평균 위치를 시점으로 하고, 상기 시선 방향으로부터 계산되는 평균 시선 방향으로 향하는 반직선이다.
실시 예로서, 상기 대상의 모양과 상기 손 모양과의 관계 또는 상기 대상을 가공하여 만들어지는 가공물의 모양과 상기 손 모양과의 관계로부터 상기 적어도 하나의 적합도 인자를 계산하고, 상기 손 모양은 손의 외형, 손의 자세, 손의 크기, 손의 각 부분들의 위치, 손의 각 부분들간의 상대위치, 손의 각 부분들의 굽은 정도 또는 손의 외형으로부터 인식되는 각도를 포함하고, 상기 대상 또는 상기 가공물의 모양은 상기 대상 또는 상기 가공물의 외형, 크기 또는 상기 대상 또는 상기 가공물의 외형으로부터 인식되는 각도를 포함한다.
실시 예로서, 상기 위치 인자 및 상기 적합도 인자들을 미리 결정된 결정식에 대입하여 상기 대상의 코스트를 계산하고, 상기 대상의 코스트를 다른 대상의 코스트와 비교하여 선택적으로 상기 대상을 상기 타겟으로 결정한다.
실시 예로서, 상기 결정식은,
Figure 112014004970683-pat00001
이다.
실시 예로서, 상기 대상을 표시하는 디스플레이부를 더 포함한다.
실시 예로서, 상기 대상은 영상 표시 수단에 의해 3차원으로 표시되는 입체 영상 또는 입체물이다.
본 발명의 실시 예들에 따른 사용자 인터페이스 장치의 제어 방법은, 사용자의 시선으로부터 대상의 위치와 관련된 제 1 데이터를 계산하는 단계; 사용자의 손 모양으로부터 상기 대상의 모양 또는 상기 대상을 가공하여 만들어지는 가공물의 모양과 관련된 제 2 데이터를 계산하는 단계; 및 상기 제 1 데이터 및 상기 제 2 데이터를 참조하여, 상기 대상을 사용자가 선택한 타겟으로서 선택적으로 결정하는 단계를 포함한다.
실시 예로서, 상기 제 1 데이터는 상기 사용자의 시선과 상기 대상 사이의 거리를 나타내는 거리 인자를 포함한다.
실시 예로서, 상기 제 2 데이터는 상기 대상의 모양과 상기 사용자의 손 모양 사이의 적합도 또는 상기 가공물의 모양과 상기 사용자의 손 모양 사이의 적합도를 나타내는 크기 인자 및 각도 인자를 포함한다.
실시 예로서, 상기 선택적으로 결정하는 단계는, 상기 제 1 데이터 및 상기 제 2 데이터를 미리 결정된 결정식에 대입하여 상기 대상의 코스트를 계산하는 단계; 상기 대상의 코스트와 다른 대상의 코스트를 비교하는 단계; 및 상기 비교 결과에 따라 상기 대상을 상기 타겟으로서 선택적으로 결정하는 단계를 포함한다.
본 발명의 실시 예들에 따르면, 사용자 인터페이스 장치는, 사용자의 시선 및 손 모양을 인식함으로써 별도의 선택 조작 없이 사용자가 의도한 타겟을 선택 또는 인식할 수 있다.
또한, 그러한 사용자 인터페이스 장치는, 사용자가 타겟을 선택하는 데 걸리는 시간을 제거하므로 사용자의 신속한 타겟 조작 입력에 기여할 수 있고, 종래기술에 비해 더욱 직관적인 방법으로 타겟을 인식하므로 사용자 직관성 및 사용성이 향상될 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치를 예시적으로 나타내는 사시도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치의 조작 방법을 종래 기술과 비교하는 개요도이다.
도 3은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치의 사용자 시선 감지 방법을 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치가 감지된 사용자 시선으로부터 대상의 위치 인자를 계산하는 방법을 나타내는 도면이다.
도 5는 일반적인 손 모양 감지 방법을 예시적으로 나타내는 투시도이다.
도 6은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치가 사용자의 손 모양으로부터 대상 선택에 기여하는 손가락을 판단하는 방법을 나타내는 도면이다.
도 7은 잡기에 참여하는 손가락으로부터 대상을 투영할 투영 평면을 결정하는 방법을 나타내는 도면이다.
도 8은 도 7에서 결정된 투영 평면상에 대상을 투영한 결과를 도시하는 평면도이다.
도 9는 도 8의 투영체로부터, 사용자 손 모양과의 적합도를 나타내는 적합도 인자들을 계산하는 방법을 나타내는 도면이다.
도 10은 본 발명의 다른 실시 예에 따른, 대상 선택에 기여하는 손가락이 두 개일 때의 적합도 인자를 계산하는 방법을 나타내는 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치의 제어 방법을 나타내는 순서도이다.
도 12는 도 11의 S110 단계를 더욱 구체화한 순서도이다.
도 13은 도 11의 S120 단계를 더욱 구체화한 순서도이다.
도 14는 도 11의 S130 단계를 더욱 구체화한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다.
또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않는 범위 내에서 다양하게 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 의도된 것이 아니며, 본 발명의 범위는 원칙적으로 첨부한 청구항들에 정해지고, 청구항들에 기재된 것 및 그와 균등한 범위의 가능한 실시 예들을 포괄한다. 유사한 참조부호가 도면들에서 사용되는 경우, 유사한 참조부호는 여러 실시 예들에 대해서 동일하거나 유사한 기능을 지칭한다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치를 예시적으로 나타내는 사시도이다. 도 1을 참조하면, 사용자 인터페이스 장치(100)는 시선 감지부(110), 손 모양 감지부(120) 및 디스플레이부(130)를 포함한다. 사용자 인터페이스 장치(100)는 복수의 대상(131, 132, 133)을 사용자(200)에게 표시하고, 사용자가 복수의 대상 중 어떤 것을 선택하는지 판단한다.
시선 감지부(110)는 사용자의 시선을 감지하여(A), 사용자의 시선(210)이 어느 대상을 향하고 있는지 판단한다. 또는, 시선 감지부(110)는 복수의 대상(131, 132, 133) 각각이 감지된 사용자의 시선(210)으로부터 얼마나 떨어져 있는지 판단한다. 판단된 결과는 위치 인자로서 출력 또는 저장될 수 있다.
손 모양 감지부(120)는 사용자의 손 모양을 감지하여(B), 사용자의 손 모양(220)이 복수의 대상(131, 132, 133) 중 어떤 대상에 적합한지 판단한다. 즉, 손 모양 감지부(120)는 사용자 손 모양(220)과 대상들(131, 132, 133)의 크기, 형상을 비교하여, 어떤 대상이 감지된 손 모양(220)에 적합한 형태를 갖추고 있는지 판단한다. 판단된 결과는 적합도 인자로서 출력 또는 저장될 수 있다.
디스플레이부(130)는 사용자(200)에게 복수의 대상(131, 132, 133)을 디스플레이하고, 사용자(200)의 대상 선택 및 조작에 따라 대응되는 화면을 디스플레이한다. 디스플레이부(130)는 스테레오스코피, 시차 장벽을 이용한 3차원 디스플레이, 홀로그래피 디스플레이, 3차원 체적형 디스플레이 또는 레이저를 이용한 3차원 플라즈마 디스플레이 등 다양한 3차원 디스플레이를 포함할 수 있다.
한편, 도 1에서 도시되지는 않았으나, 사용자 인터페이스 장치(100)는 시선 감지부(110), 손 모양 감지부(120) 및 디스플레이부(130)를 제어하고, 사용자 인터페이스 장치(100)의 구동에 필요한 다양한 연산을 수행하는 제어부(미도시)를 더 포함할 수 있다. 제어부는 시선 감지부(110), 손 모양 감지부(120) 또는 디스플레이부(130) 중 어느 하나에 포함되거나 임베디드될 수 있고, 또는 시선 감지부(110), 손 모양 감지부(120) 또는 디스플레이부(130)와 구분되는 독립한 모듈로서 구현될 수도 있다.
사용자 인터페이스 장치(100)는 시선 감지부(110) 및 손 모양 감지부(120)를 통해 사용자 시선(210) 및 사용자 손 모양(220)을 인식하고, 복수의 대상(131, 132, 133) 중 사용자가 선택한 타겟(133)이 어느 것인지 판단한다. 그리고, 이후 사용자(200)의 조작에 따라(예를 들어, 손을 흔들거나 움켜쥐는 손 자세를 취하는 것과 같은), 타겟(133)의 움직임이나 형태를 제어한다. 예를 들어, 사용자(200)가 직관적으로 타겟(133)을 잡고 흔드는 조작을 할 때, 명시적으로 타겟을 지정하는 조작이 없어도, 사용자 인터페이스 장치(100)는 이미 사용자의 시선(210) 및 손 모양(220)으로부터 타겟(133)을 인식하고, 사용자(200)의 흔드는 동작에 따라 타겟(133)의 위치를 위아래로 움직이게 할 수 있다.
이와 같은 방법에 의해, 사용자 인터페이스 장치(100)는 사용자(200)가 2차원 커서 또는 3차원 커서를 대상 위에 올린다거나 별도의 선택 메뉴를 실행시킨다거나 하는 등의 대상 선택을 위한 별도의 조작을 하지 않아도, 사용자가 선택한 타겟(133)을 인식하고 이후의 사용자 조작에 대응할 수 있다.
한편, 시선 감지부(110), 손 모양 감지부(120)의 구체적인 구성과 동작 방법, 그리고 그로부터 사용자가 선택한 타겟을 판단하는 방법은 도 3 이하에서 상세히 설명된다.
본 실시 예에서, 시선 감지부(110) 및 손 모양 감지부(120)는 디스플레이부(130)와 구분되는 모듈로서 설명되었지만, 이는 예시적인 것으로서 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 시선 감지부(110) 및 손 모양 감지부(120)는 디스플레이부(130)에 임베디드된 형태로 실시될 수 있다. 나아가, 시선 감지부(110) 및 손 모양 감지부(120)는 하나의 인터페이스 모듈로서 디스플레이부(130)와 분리되어 독립된 장치를 구성할 수도 있다.
또한, 본 실시 예에서, 디스플레이되고 선택되는 대상은 3차원 대상들(131, 132, 133)인 것으로 설명되었지만, 이에 한정되지 않으며, 본 발명의 범위는 평면상에 디스플레이된 2차원 대상에 대한 사용자의 시선 및 손 모양을 감지하여 2차원 대상을 선택하는 실시 형태를 포함한다. 이 경우 디스플레이부(130)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), LED(Light Emitting Diode) 또는 FED(Field Emission Display) 등 다양한 2차원 표시 수단을 포함할 수 있다.
상기와 같은 본 발명의 실시 예에 따르면, 사용자 인터페이스 장치는, 사용자의 시선 및 손 모양을 인식함으로써 별도의 선택 조작 없이 사용자가 의도한 타겟을 선택 또는 인식할 수 있다. 또한, 별도의 선택 조작에 소요되는 시간이 제거되므로, 사용자 인터페이스 장치는 더욱 신속하게 필요한 작업을 수행할 수 있고, 종래기술에 비해 더욱 직관적인 방법으로 타겟을 인식하므로 사용자 직관성 및 사용성이 향상될 수 있다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치의 조작 방법을 종래 기술과 비교하는 개요도이다. 도 2a는 종래기술에 따른 타겟 선택 및 조작 방법을 도시한다. 도 2b는 본 발명에 따른 타겟 선택 및 조작 방법을 도시한다.
도 2a에서, 종래기술에 따라 사용자가 대상을 선택하고 조작하기 위해서는, 크게 구분되는 세 단계(STEP1, STEP2, STEP3)를 거쳐야 한다.
먼저 제 1 단계(STEP1)에서, 사용자는 자신이 선택하고자 하는 대상을 타겟으로 결정한다. 이는 사용자 내심의 의사 결정 단계로서, 종래 기술은 이 단계에서 사용자로부터 어떠한 선택 정보를 얻지 못한다.
다음으로 제 2 단계(STEP2)에서, 사용자는 결정된 타겟이 무엇인지 장치에 알리기 위해, 장치에 대해 선택 작업을 수행한다. 선택 작업은 예를 들어, 어떤 대상에 마우스 커서를 올리거나 특정 대상을 지시하는 메뉴를 실행 또는 선택하는 것과 같이, 별도의 사용자 조작을 통해 복수의 대상 중 일부를 타겟으로 특정하는 작업을 의미한다.
마지막으로 제 3 단계(STEP3)에서, 사용자는 장치상에서 선택된 타겟을 잡고 흔들거나, 밀거나, 당기거나, 비트는 등의 실감 조작을 수행한다.
이러한 종래기술에 따르면, 제 2 단계(STEP2)가 필수적으로 요구되므로, 사용자 불편이 초래되고, 사용자가 타겟을 결정한 후(STEP1) 실감 조작을 하기까지(STEP3) 어느 정도의 시간 지연을 감수할 수밖에 없다.
도 2b에서, 본 발명은 사용자가 대상을 선택하고 조작하기까지, 두 개의 단계(STEP1, STEP2)만을 거치면 된다. 선택 작업 단계(STEP1.5, 도 2a의 STEP2에 대응하는)는 도 2b의 단계들(STEP1, STEP2) 사이에 내포되어 별도로 구분되지 않는다.
제 1 단계(STEP1)에서, 사용자는 자신이 선택하고자 하는 대상을 타겟으로 결정한다. 이는 사용자 내심의 의사 결정 단계이지만, 사용자는 타겟을 결정하기 위해 먼저 표시된 대상들을 바라보게 되며, 최종적으로 사용자의 시선은 타겟에 머무르게 된다. 이때, 본 발명에 따른 사용자 인터페이스 장치는 사용자 시선을 인식 및 추적하여, 타겟 결정에 필요한 제 1 데이터(예를 들어, 타겟의 위치와 관련된 위치 인자)를 얻는다.
다음으로 제 2 단계(STEP2)에서, 사용자는 선택한 타겟을 실감 조작한다. 이때, 사용자는 실감 조작을 위해 자연스럽게 타겟의 형태에 맞는 손 모양을 취하게 된다. 예를 들어, 타겟이 봉 형태인 경우 사용자는 손가락을 모아 오므려 쥐게 된다. 반면에, 타겟이 구 형태인 경우 사용자는 공을 잡듯이 손가락을 벌려 움켜쥐게 된다. 본 발명에 따른 사용자 인터페이스 장치는 사용자 손 모양을 인식하여, 타겟 결정에 필요한 제 2 데이터(예를 들어, 타겟의 형태와 관련된 적합도 인자들)를 얻는다. 그리고, 제 1 데이터 및 제 2 데이터를 종합적으로 참조하여, 타겟을 결정하고 사용자의 실감 조작에 대응한다.
이처럼, 본 발명에서는 장치상에서 타겟을 선택하는 별도의 조작 없이도, 장치가 타겟을 판단할 수 있으며, 판단에 필요한 데이터들은 제 1 단계(STEP1) 및 제 2 단계(STEP2)에 내재된 사용자의 행동으로부터 자연스럽게 얻어진다.
도 3은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치의 사용자 시선 감지 방법을 나타내는 도면이다. 도 3을 참조하면, 사용자 인터페이스 장치(100)는 사용자 눈의 위치 및 시선 방향으로부터 사용자 시선을 도출한다.
도 3에서 대상(133)은 디스플레이부(130) 전면에 표시된다. 시선 감지부(110)는 사용자의 양 눈의 위치(pL, pR)를 각각 측정하고(a2), 이를 평균하여 양 눈의 평균 위치(pcenter)를 산출한다. 그리고, 시선 감지부(110)는 양 눈의 시선 방향(gL, gR)을 각각 측정하고(a1), 이를 평균하여 평균 시선 방향(gavg)을 산출한다. 평균 위치(pcenter) 및 평균 시선 방향(gavg)은 수학식 1에 의해 계산된다.
Figure 112014004970683-pat00002
여기서, pL, pR, gL, gR, pcenter 및 gavg는 모두 크기와 방향을 갖는 벡터이다.
그리고, 산출된 평균 위치(pcenter) 및 평균 시선 방향(gavg)으로부터 수학식 2와 같은 하나의 평균적인 사용자 시선이 도출된다.
Figure 112014004970683-pat00003
수학식 2의 사용자 시선은 평균 위치(pcenter) 및 평균 시선 방향(gavg)에 의해 반직선의 형태로 표현되는 벡터로서, 이때 t는 0보다 큰 실수이다.
이와 같은 방법을 통해, 사용자 인터페이스 장치(100)는 사용자 눈의 위치 및 시선 방향으로부터 하나의 반직선인 사용자 시선을 계산할 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치가 감지된 사용자 시선으로부터 대상의 위치 인자를 계산하는 방법을 나타내는 도면이다. 도 4를 참조하면, 사용자 인터페이스 장치(100)는 대상(133)의 물체중심(pobj)을 감지하고, 그것과 사용자 시선 사이의 최소거리(dgaze)를 계산하여 위치 인자로서 이용한다.
평균 위치(pcenter) 및 평균 시선 방향(gavg)은 도 3에서 설명한 바와 같이, 양 눈의 위치(pL, pR) 및 양 눈의 시선 방향으로부터 산출된 것으로서, 평균 위치(pcenter)에서 디스플레이(130)로 진행하는 하나의 사용자 시선을 구성한다.
감지부(110)는 대상(133)의 물체중심(pobj)을 감지하고, 수학식 2의 사용자 시선과 물체중심(pobj) 사이의 최소거리(dgaze)를 구한다. 최소거리(dgaze)는 수학식 3에 의해 계산된다.
Figure 112014004970683-pat00004
여기서, pcenter, pobj 및 gavg는 크기와 방향을 갖는 벡터이고, dgaze는 크기만을 갖는 스칼라량이다. 여기서 물체중심(pobj)은 대상(133)을 대표하는 중심점으로서 다양한 점들이 사용될 수 있다. 예를 들어, 물체중심(pobj)은 대상(133)의 무게중심점일 수 있다.
최소거리(dgaze)는 대상마다 각각 구하며, 대상(133)의 위치가 바뀌거나 사용자 시선이 변화하면, 그때마다 새로운 최소거리를 다시 구한다. 예를 들어 표시된 대상이 세 개이면(131, 132, 133, 도 1 참조), 대상마다 각각의 최소거리를 따로 구하고, 최소거리를 구한 후 해당 대상이 이동하거나 사용자 시선이 이동하면, 이동한 대상의 위치 또는 사용자 시선에 기초하여 새로운 최소거리를 다시 구한다.
구해진 최소거리(dgaze)는 대상(133)의 위치와 사용자 시선과의 관계를 나타내는 위치 인자로서 출력 또는 저장될 수 있다. 후술하겠지만, 위치 인자는 사용자 인터페이스 장치(100)가 타겟을 결정하기 위해 사용하는 결정식(후술되는 수학식 8)의 독립변수로서 기능한다.
한편, 이상에서, 중심위치(pcenter), 평균 시선 방향(gavg), 사용자 시선 및 최소거리(dgaze)를 구하는 연산들은, 예를 들어 시선 감지부(110) 내의 프로세서에서 수행될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 그러한 연산은 사용자 인터페이스 장치(100)의 다른 부분에서 수행되거나, 별도의 외부 계산 장치를 이용하여 수행될 수도 있다.
다음의 도 5 내지 도 10에서는, 사용자 손 모양을 감지하여, 대상의 형태와 사용자 손 모양 사이의 적합도를 계산하는 방법이 설명된다.
도 5는 일반적인 손 모양 감지 방법을 예시적으로 나타내는 투시도이다. 도 5를 참조하면, 깊이 영상 카메라를 이용해 손가락 모양이나 움직임을 감지하는 수단이 도시된다.
도 5는, 깊이 영상 카메라로서 크리에이티브(Creative)사의 Senz3D를 예시하였지만, 그 외에도 프라임센스(Primesense)사의 Carmine 또는 마이크로소프트(Microsoft)사의 Kinect와 같은 다양한 깊이 영상 카메라들이 사용될 수 있다.
또한, 도 5는 움직임 감지 기술로서 인텔(Intel)사의 Skeletal Hand Tracking Library를 예시하였지만, 그 외에도 쓰리기어 시스템즈(3Gear Systems)사의 3Gear Dev Kit와 같은 다른 움직임 감지 기술이 사용될 수 있다.
이와 같은 깊이 영상 카메라와 움직임 감지 기술을 이용하면, 사람의 손 모양이나 손가락 마디별 위치를 나타내는 3D 위치 정보를 실시간으로 수집할 수 있다. 깊이 영상 카메라 및 움직임 감지 기술의 구체적인 구성 및 방법은 당해 기술 분야에 자명하므로, 여기서는 그에 대한 더 자세한 설명을 생략한다.
도 6은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치가 사용자의 손 모양으로부터 대상 선택에 기여하는 손가락을 판단하는 방법을 나타내는 도면이다. 도 6에서, 사용자 인터페이스 장치(100, 도 1 참조)는 손 모양 감지부(120)를 이용하여, 사용자의 손 모양을 감지하고, 그로부터 대상을 잡는 데 기여하는 손가락을 결정한다.
이때, 손 모양은 손의 외형이나 손의 자세뿐 만 아니라, 손의 크기, 손의 각 부분들의 위치, 손의 각 부분들간의 상대위치, 손의 각 부분들의 굽은 정도 또는 손의 외형으로부터 인식되는 각도를 포함한다. 예를 들어, 손 모양은 각 손가락들의 시작 위치, 끝 위치, 또는 그것들 사이의 상대위치를 포함한다.도 6에 도시된 실시 예에서, 손 모양 감지부(120)는 각 손가락 끝의 3차원 위치(1, 2, 3, 4, 5)를 감지한다. 이때, 손가락 끝의 위치는 도 5에서 설명한 깊이 영상 카메라 및 움직임 감지 기술을 이용하여 얻을 수 있다.
이어서, 감지된 손가락 끝의 위치(1, 2, 3, 4, 5)로부터 대상을 잡는 데 기여하는 손가락을 결정하되, 손가락 중 엄지는 항상 잡기에 참여하는 것으로 간주한다. 그리고, 나머지 손가락들에 대해서는, 그 끝 위치(2, 3, 4, 5)가 엄지 손가락 끝(1)으로부터 상대적으로 얼마나 멀리 떨어져 있는지에 따라 다음과 같은 방법으로 참여 여부를 결정한다.
먼저, 엄지 손가락 끝(1)과 가장 가까운 손가락의 끝 위치(도 6에서는, 3)을 찾는다.
그리고, 가장 가까운 손가락 끝(3)과 엄지 손가락 끝(1)을 잇는 벡터(gthumb)를 법선 벡터로 하고, 가장 가까운 손가락 끝(3)을 포함하는 평면을 기준 평면(121)으로서 결정한다.
그리고, 결정된 기준 평면(121)과 각 손가락 끝 사이의 거리(dthumb, dindex, dmiddle, dring, dlittle)를 계산한다. 기준 평면(121)과 손가락 끝 사이의 거리는 수학식 4를 통해 구할 수 있다.
Figure 112014004970683-pat00005
여기서, dfingertip은 기준 평면(121)과 각 손가락 끝 사이의 거리(dthumb, dindex, dmiddle, dring, dlittle)이고, gthumb은 기준 평면(121)의 법선 벡터이고, pfingertip은 각 손가락 끝 위치(1, 2, 3, 4, 5)를 나타내는 벡터이고, pclosest는 가장 가까운 손가락 끝(3) 위치를 나타내는 벡터이다.
수학식 4에 의해 구해진 거리(dthumb, dindex, dmiddle, dring, dlittle)는 각각 기준거리와 비교되어, 기준거리보다 크면 해당 손가락은 잡기에 참여하지 않는 손가락으로 판단되고, 기준거리보다 작으면 해당 손가락은 잡기에 참여하는 손가락으로 판단된다.
앞서 설명한 바와 같이, 엄지 손가락은 항상 잡기에 참여하는 것으로 가정되고, 가장 가까운 손가락(3)은 거리(dmiddle)가 언제나 0이므로 마찬가지로 잡기에 참여한다. 나머지 손가락 중에서 기준거리보다 작은 거리를 갖는 것은 약지뿐이므로, 최종적으로 엄지와, 중지 및 약지가 잡기에 참여하는 것으로 판단된다. 반면에, 검지의 거리(dindex) 및 소지의 거리(dlittle)는 기준거리보다 크므로 잡기에 참여하지 않는 것으로 판단된다.
도 7 및 도 8에서는 도 6에 이어서, 잡기에 참여하는 손가락의 위치로부터 대상과의 적합도를 판단하는 방법이 설명된다. 이때, 대상의 모양과 손 모양을 직접 비교하는 대신, 대상을 가공하여 만들어지는 가공물을 설정하고 설정된 가공물의 모양과 손 모양을 비교함으로써, 대상의 적합도를 판단할 수 있다. 여기서, 대상 또는 가공물의 모양은 대상 또는 가공물의 외형, 크기, 그것들의 외형으로부터 인식되는 각도를 포함할 수 있다. 도 7 이하에서는 대상의 가공물로서 대상을 투영 평면상에 투영시킨 기하물을 예시한다.
도 7은 잡기에 참여하는 손가락으로부터 대상을 투영할 투영 평면을 결정하는 방법을 나타내는 도면이다. 도 7에서, 사용자 인터페이스 장치(100)는 손 모양 감지부(120)에 의해 감지된 손가락 끝 위치로부터 투영 평면을 새롭게 결정한다.
사용자 인터페이스 장치(100)는 잡기에 참여하는 손가락들(여기서는, 엄지, 중지, 약지)들 중 엄지 손가락 끝(1)에서 가장 가까운 손가락 끝(3)과 두 번째로 가까운 손가락 끝(4)을 잇는 서브 벡터(gsub)를 계산한다.
그리고, 기준 평면(121)의 법선 벡터(gthumb)와 서브 벡터(gsub)를 포함하는 평면의 법선 벡터(n)를 구한다. 법선 벡터(n)는 수학식 5에 의해 계산될 수 있다.
Figure 112014004970683-pat00006
그리고, 수학식 5의 법선 벡터(n)에 수직이면서 원점을 지나는 평면을 투영 평면으로 결정한다. 여기서 원점은 수학식 2의 사용자 시선이 디스플레이부(130, 도 1 참조)에 닿는 지점, 사용자 시선 상의 임의의 지점 또는 디스플레이부(130) 상의 임의의 지점일 수 있다. 투영 평면은 대상들(131, 132, 133, 도 1 참조)을 2차원 평면상에 투영하는 데 사용된다.
도 8은 도 7에서 결정된 투영 평면상에 대상을 투영한 결과를 도시하는 평면도이다.
도 8에서, 사용자 인터페이스 장치(100)는 3차원 대상들(131, 132, 133, 도 1 참조)의 표면상에 있는 모든 점들을 투영 평면(122)상에 투영한다. 투영된 점들의 집합은 대상들의 투영체(131a, 132a, 133a)를 구성한다. 투영 평면(122)상의 투영된 점들의 위치는 수학식 6에 의해 계산될 수 있다.
Figure 112014004970683-pat00007
여기서, pp는 대상의 표면상에 있는 점들의 위치를 나타내는 벡터이고, pproj.p는 점들이 투영 평면(122)상에 투영된 위치를 나타내는 벡터이고, n은 수학식 5에 의해 계산된 투영 평면(122)의 법선 벡터이다.
사용자 인터페이스 장치(100)는 계산된 투영체(131a, 132a, 133a)의 크기 및 형태로부터 사용자 손 모양과의 적합도를 판단하게 된다. 그에 대한 내용이 도 9 이하에서 설명된다.
도 9는 도 8의 투영체로부터, 사용자 손 모양과의 적합도를 나타내는 적합도 인자들을 계산하는 방법을 나타내는 도면이다. 도 9를 참조하면, 사용자 인터페이스 장치(100, 도 1 참조)는 투영 평면(122)상에 투영된 투영체(133a)로부터 적합도 인자들(예를 들어, 크기 인자 및 각도 인자)를 계산한다.
사용자 인터페이스 장치(100)는 투영체(133a)의 중심을 지나고, 기준 평면(121)의 법선 벡터(gthumb)에 평행한 제 1 직선(L1)을 결정한다.
그리고, 제 1 직선과 투영체(133a)의 외곽선이 만나는 두 점(p1, p2)을 결정한다. 이때, 제 1 점(p1)은 투영체의 중심으로부터 서브 벡터(gsub)의 양의 방향에 위치한 점이고, 제 2 점(p2)은 투영체의 중심으로부터 법선 벡터(gthumb)의 음의 방향에 위치한 점이다. 여기서, 투영체의 중심은 투영체(133a)의 중심점으로서, 예를 들어 대상의 물체중심(pobj, 도 4 참조)이 투영 평면(122)상에 투영된 점일 수 있다.
그리고, 제 2 점(p2)을 지나고 서브 벡터(gsub)와 평행인 제 2 직선(L2)을 결정한다.
그리고, 제 2 점(p2)에서의 투영체의 접선을 제 3 직선(L3)으로 결정한다.
이어서, 사용자 인터페이스 장치(100)는 결정된 제 1 직선(L1), 제 2 직선(L2), 제 3 직선(L3) 및 제 1 점(p1), 제 2 점(p2)에 기반하여, 적합도 인자들을 계산한다.
이때, 적합도 인자들은 대상(133)의 관찰 크기 또는 투영체(133a)의 크기와 관련되는 크기 인자(dmag) 및, 대상(133)의 관찰된 형태 또는 투영체(133a)의 형태와 관련되는 각도 인자(θ)를 포함할 수 있다.
크기 인자(dmag)는 수학식 7에 의해 계산된다.
Figure 112014004970683-pat00008
여기서, dmag는 구하고자 하는 크기 인자이고, dobj는 제 1 점(p1)과 제 2 점(p2) 사이의 거리이고, dthumb는 엄지 손가락의 끝 위치(1, 도 6 참조)와 가장 가까운 손가락의 끝 위치(3, 도 6 참조) 사이의 거리이다.
한편, 각도 인자(θ)는 제 2 직선(L2)와 제 3 직선(L3)이 이루는 사잇각이다.
계산된 적합도 인자들(크기 인자(dmag) 및 각도 인자(θ))은 사용자 인터페이스 장치(100)가 타겟을 결정하기 위해 사용하는 결정식(후술되는 수학식 8)의 독립변수들로 사용된다.
도 10은 본 발명의 다른 실시 예에 따른, 대상 선택에 기여하는 손가락이 두 개일 때의 적합도 인자를 계산하는 방법을 나타내는 도면이다. 도 10에서는, 세 개 손가락들(여기서는, 중지, 약지, 소지)의 기준 평면(121, 도 6참조)과의 사이 거리(dmiddle, dring, dlittle, 도 6 참조)가 기준 거리보다 큰 경우를 가정한다.
도 10의 실시 예에서, 잡기에 기여하는 손가락이 엄지와 검지 둘 뿐이므로, 앞서 설명한 방법으로는 서브 벡터(gsub)를 결정할 수 없다. 따라서, 이러한 경우 사용자 인터페이스 장치(100, 도 1 참조)는 검지의 시작 점(Sindex)과 소지의 시작점(Slittle)을 잇는 벡터를 서브 벡터(gsub)로 결정한다. 그리고 결정된 서브 벡터(gsub)에 따라, 도 7 및 도 9에서 설명된 방법과 동일한 방법으로 적합도 인자를 계산한다. 다만, 이 경우, 적합도 인자로서 계산되는 것은 크기 인자(dmag, 도 9 참조) 뿐이며, 각도 인자(θ)는 계산되지 않고, 이후의 결정식에서도 각도 인자(θ)는 배제된다.
즉, 도 10의 실시 예는, 검지의 시작점(Sindex)과 소지의 시작점(Slittle)을 잇는 벡터를 서브 벡터(gsub)로 결정하는 점과, 적합도 판단에 있어 각도 인자(θ)를 배제하는 점을 제외하면, 도 6 내지 도 9의 실시 예와 실질적으로 동일하다.
한편, 이상에서, 감지된 손가락 끝 위치로부터 적합도 인자들을 계산하기까지의 일련의 계산 및 연산들은, 손모양 감지부(120) 내의 프로세서에 의해 수행될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 그러한 연산은 사용자 인터페이스 장치(100)의 다른 부분에서 수행되거나, 별도의 외부 계산 장치를 이용하여 수행될 수도 있다.
이어서, 사용자 인터페이스 장치(100)는 위치 인자 및 적합도 인자를 참조한 결정식(후술되는 수학식 8)의 계산 결과에 따라, 대상들(131, 132, 133, 도 1 참조) 중에서 타겟을 결정한다. 타겟 결정에 사용되는 결정식은 수학식 8에서 제시된다.
Figure 112014004970683-pat00009
여기서, cost는 수학식 8에 의해 최종적으로 계산되는 코스트이고, dgaze는 수학식 3에서 설명된 위치 인자이고, dmag는 수학식 8에서 설명된 적합도 인자 중 크기 인자이고, θ는 도 9에서 설명된 적합도 인자 중 각도 인자이고, kgaze, kmag 및 kangle는 각각 dgaze, dmag 및 θ에 가중치를 부여하는 계수들이다. 이때, kgaze, kmag 및 kangle는 사용자가 임의적으로 부여하거나 실험적으로 선택된 적절한 값일 수 있다. 또한, kgaze, kmag 및 kangle의 단위는 각각 dgaze, dmag 및 의 단위의 역이 된다. 예를 들어, dgaze의 단위가 밀리미터(mm)이면, kgaze의 단위는 퍼밀리미터(/mm 또는 mm-1)가 된다.
사용자 인터페이스 장치(100)는 수학식 8에 의해 대상들(131, 132, 133) 각각에 대해 각자의 코스트를 계산하고, 계산된 코스트들을 비교하여 가장 작은 코스트를 갖는 대상을 타겟으로 결정한다.
한편, 이상에서는 대상의 물체중심(pobj)을 이용하여 위치 인자 또는 적합도 인자들을 계산하고, 그로부터 대상의 코스트를 산출하였으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 사용자 인터페이스 장치(100)는 대상에 대해 다양한 기준점들을 설정하고, 설정된 기준점들에 대해 각각 코스트를 계산한 후, 계산된 코스트가 가장 작은 기준점을 선택하고, 선택된 기준점을 포함하는 대상을 타겟으로 결정하는 방법에 의해, 대상을 선택할 수 있다. 이러한 방법은, 대상 중심이 아닌 기준점을 중심으로 타겟을 결정하는 방법으로서, 모양이 복잡한 대상에 대해 사용자가 다양한 손 모양을 취할 수 있을 때 유용한 타겟 결정 방법이다.
이상에서 설명한 본 발명의 실시 예들에 따르면, 사용자 인터페이스 장치는, 사용자의 시선 및 손 모양을 인식함으로써 별도의 선택 조작 없이 사용자가 의도한 타겟을 선택 또는 인식할 수 있다. 또한, 별도의 선택 조작에 소요되는 시간이 제거되므로, 사용자 인터페이스 장치는 더욱 신속하게 필요한 작업을 수행할 수 있고, 종래기술에 비해 더욱 직관적인 방법으로 타겟을 인식하므로 사용자 직관성 및 사용성이 향상될 수 있다.
도 11은 본 발명의 일 실시 예에 따른, 사용자 인터페이스 장치의 제어 방법을 나타내는 순서도이다. 도 11을 참조하면, 사용자 인터페이스 장치의 제어 방법은 S110 단계 내지 S130 단계를 포함한다.
S110 단계에서, 사용자 인터페이스 장치(100)는 사용자(200)의 시선으로부터 대상의 위치와 관련된 제 1 데이터를 계산한다. 이를 위해, 사용자 인터페이스 장치(100)는 시선 감지부(110)를 통해 사용자(200)의 양 눈의 위치(pL, pR), 양 눈의 시선 방향(gL, gR) 및 물체중심(pobj)을 감지 또는 추적하고, 그것으로부터 중심위치(pcenter), 평균 시선 방향(gavg), 사용자 시선 및 최소거리(dgaze)를 순차적으로 계산한다. 계산된 최소거리(dgaze)는 위치 인자로서 제 1 데이터에 포함된다.
사용자 인터페이스 장치(100)가 시선 감지부(110)의 감지 또는 추적 결과로부터 최소거리(dgaze)를 도출하는 구체적인 방법은 도 3 및 도 4에서 설명한 바와 동일하다.
S120 단계에서, 사용자 인터페이스 장치(100)는 사용자(200)의 손모양으로부터 대상의 형태 또는 적합도와 관련된 제 2 데이터를 계산한다. 이를 위해, 사용자 인터페이스 장치(100)는 손모양 감지부(120)를 통해 각 손가락 끝의 3차원 위치(1, 2, 3, 4, 5)를 감지 또는 추적하고, 그것으로부터 법선 벡터(gthumb), 기준 평면(121), 서브 벡터(gsub), 법선벡터(n), 투영 평면(122), 투영체의 중심(pobj), 제 1 내지 제 3 직선(L1, L2, L3), 제 1 및 제 2 점(p1, p2), 크기 인자(dmag) 및 각도 인자(θ)를 순차적으로 계산한다. 계산된 크기 인자(dmag) 및 각도 인자(θ)는 적합도 인자로서 제 2 데이터에 포함된다.
사용자 인터페이스 장치(100)가 손모양 감지부(120)로부터 감지부(110)의 감지 또는 추적 결과로부터 크기 인자(dmag) 및 각도 인자(θ)를 도출하는 구체적인 방법은 도 6 내지 도 10에서 설명한 바와 동일하다.
S130 단계에서, 사용자 인터페이스 장치(100)는 제 1 데이터 및 제 2 데이터를 참조하여 복수의 대상 중 코스트가 가장 작은 대상을 사용자가 선택한 타겟으로 결정한다. 이때, 사용자 인터페이스 장치(100)가 각 대상의 코스트를 계산하기 위해, 수학식 8에서 설명된 결정식에 제 1 데이터 및 제 2 데이터를 대입시킨다.
도 12는 도 11의 S110 단계를 더욱 구체화한 순서도이다. 도 12를 참조하면, S110 단계는 S111 단계 내지 S113 단계를 포함한다.
S111 단계에서, 시선 감지부(110)는 양 눈의 위치(pL, pR) 및 양 눈의 시선 방향(gL, gR)을 측정한다.
S112 단계에서, 시선 감지부(110)는 측정된 양 눈의 위치(pL, pR) 및 양 눈의 시선 방향(gL, gR)을 각각 평균하여 하나의 평균적인 사용자 시선을 결정한다. 결정된 사용자 시선은 수학식 2와 같은 형태로 표현될 수 있다.
S113 단계에서, 시선 감지부(110)는 대상의 물체중심(pobj)을 감지하고, 사용자 인터페이스 장치(100)는 물체중심(pobj)과 사용자 시선 사이의 최소거리(dgaze)를 제 1 데이터로서 계산한다. 계산된 최소거리(dgaze)는 타겟 결정을 위한 위치 인자로서 이용된다.
도 13은 도 11의 S120 단계를 더욱 구체화한 순서도이다. 도 13을 참조하면, S120 단계는 S121 단계 내지 S125 단계를 포함한다.
S121 단계에서, 손 모양 감지부(120)는 손 모양, 예를 들어 각 손가락들의 끝 위치(1, 2, 3, 4, 5)를 측정한다.
S122 단계에서, 사용자 인터페이스 장치(100)는 손가락들의 끝 위치(1, 2, 3, 4, 5)로부터 법선 벡터(gthumb) 및 기준 평면(121)을 결정하고, 기준 평면(121)으로부터 떨어진 정도에 따라서 잡기 동작에 기여하는 손가락을 결정한다.
S123 단계에서, 사용자 인터페이스 장치(100)는 잡기 동작에 기여하는 것으로 결정된 손가락의 끝 위치에 따라, 서브 벡터(gsub), 법선벡터(n) 및 투영 평면(122)을 순차적으로 결정하고, 결정된 투영 평면(122) 상에 대상을 투영시킨다.
S124 단계에서, 사용자 인터페이스 장치(100)는 잡기에 기여하는 것으로 결정된 손가락의 끝 위치로부터 유도되는 제 1 직선(L1)과 투영된 대상(즉, 투영체)의 형태로부터 두 점(p1, p2)을 결정한다. 그리고, 제 2 데이터 중 크기 인자로서 두 점(p1, p2) 사이의 거리와 엄지손가락의 끝 위치와 가장 가까운 손가락의 끝 위치 사이의 거리의 차를 계산한다.
S125 단계에서, 사용자 인터페이스 장치(100)는 제 2 점(p2)으로부터 제 2 직선(L2) 및 제 3 직선(L3)을 결정하고 이어서, 결정된 제 2 직선(L2) 및 제 3 직선(L3)의 사잇각을 계산한다. 계산된 사잇각은 제 2 데이터의 각도 인자(θ)가 된다.
도 14는 도 11의 S130 단계를 더욱 구체화한 순서도이다. 도 14를 참조하면, S130 단계는 S131 단계 및 S132 단계를 포함한다.
S131 단계에서, 계산된 제 1 데이터 및 제 2 데이터를 미리 결정된 결정식에 대입하여, 대상의 위치 인자, 크기 인자 및 각도 인자의 가중치 합을 코스트로서 산출한다.
S132 단계에서, 대상의 산출된 코스트를 다른 대상의 코스트와 비교하고, 비교한 대상들 중 코스트가 가장 작은 대상을 사용자가 선택한 타겟으로 결정한다.
이상에서 설명한 바와 같은 본 발명의 실시 예들에 따르면, 사용자 인터페이스 장치는, 사용자의 시선 및 손 모양을 인식함으로써 별도의 선택 조작 없이 사용자가 의도한 타겟을 선택 또는 인식할 수 있다. 또한, 별도의 선택 조작에 소요되는 시간이 제거되므로, 사용자 인터페이스 장치는 더욱 신속하게 필요한 작업을 수행할 수 있고, 종래기술에 비해 더욱 직관적인 방법으로 타겟을 인식하므로 사용자 직관성 및 사용성이 향상될 수 있다.
한편, 본 명세서에서, 시선 감지부(110)와 손 모양 감지부(120)가 서로 구분되는 독립된 모듈로서 설명되었으나, 본 발명의 범위는 이에 한정되지 않는다. 예를 들어, 시선 감지부(110)와 손 모양 감지부(120)는 하나의 하드웨어 상에 함께 임베디드되거나, 양자의 기능이 통합된 단일한 모듈로서 구현될 수 있다. 나아가, 그러한 통합된 모듈 또한 디스플레이부(130) 내에 임베디드된 형태로 구현될 수 있다.
본 명세서의 상세한 설명에서는 구체적인 실시 예를 들어 설명하였으나, 본 명세서의 범위에서 벗어나지 않는 한 각 실시 예는 여러 가지 형태로 변형될 수 있다.
또한, 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 명세서의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 명세서의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 및 그 균등물에 의해 정해져야 한다.
100: 사용자 인터페이스 장치 200: 사용자
110: 시선 감지부 120: 손모양 감지부
130: 디스플레이부 131, 132, 133: 대상
122: 투영 평면 131a, 132a, 133a: 투영체

Claims (12)

  1. 사용자의 눈의 위치 및 시선 방향을 감지하는 시선 감지부; 및
    사용자의 손 모양을 감지하는 손 모양 감지부를 포함하고,
    상기 눈의 위치 및 상기 시선 방향으로부터 대상의 위치와 관련된 위치 인자를 계산하고, 상기 손 모양으로부터 상기 대상의 적합도와 관련된 적어도 하나의 적합도 인자를 계산하고, 상기 계산된 위치 인자 및 적어도 하나의 적합도 인자에 따라 상기 대상을 사용자에 의해 선택된 타겟으로 결정하며,
    상기 적합도 인자는 상기 대상의 모양과 상기 손 모양과의 관계 또는 상기 대상을 가공하여 만들어지는 가공물의 모양과 상기 손 모양과의 관계로부터 계산되는, 사용자 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 눈의 위치 및 시선 방향으로부터 사용자 시선을 결정하고, 상기 사용자 시선과 상기 대상 사이의 최소 거리로부터 상기 위치 인자를 계산하는, 사용자 인터페이스 장치.
  3. 제 2 항에 있어서,
    상기 사용자 시선은 상기 눈의 위치로부터 계산되는 평균 위치를 시점으로 하고, 상기 시선 방향으로부터 계산되는 평균 시선 방향으로 향하는 반직선인, 사용자 인터페이스 장치.
  4. 제 1 항에 있어서,
    상기 손 모양은 손의 외형, 손의 자세, 손의 크기, 손의 각 부분들의 위치, 손의 각 부분들간의 상대위치, 손의 각 부분들의 굽은 정도 또는 손의 외형으로부터 인식되는 각도를 포함하고,
    상기 대상 또는 상기 가공물의 모양은 상기 대상 또는 상기 가공물의 외형, 크기 또는 상기 대상 또는 상기 가공물의 외형으로부터 인식되는 각도를 포함하는, 사용자 인터페이스 장치.
  5. 제 1 항에 있어서,
    상기 위치 인자 및 상기 적합도 인자들을 미리 결정된 결정식에 대입하여 상기 대상의 코스트를 계산하고, 상기 대상의 코스트를 다른 대상의 코스트와 비교하여 선택적으로 상기 대상을 상기 타겟으로 결정하는, 사용자 인터페이스 장치.
  6. 제 5 항에 있어서,
    상기 결정식은
    Figure 112014004970683-pat00010
    인, 사용자 인터페이스 장치.
  7. 제 1 항에 있어서,
    상기 대상을 표시하는 디스플레이부를 더 포함하는, 사용자 인터페이스 장치.
  8. 제 7 항에 있어서,
    상기 대상은 영상 표시 수단에 의해 3차원으로 표시되는 입체 영상 또는 입체물인, 사용자 인터페이스 장치.
  9. 사용자의 시선으로부터 대상의 위치와 관련된 제 1 데이터를 계산하는 단계;
    사용자의 손 모양으로부터 상기 대상의 모양 또는 상기 대상을 가공하여 만들어지는 가공물의 모양과 관련된 제 2 데이터를 계산하는 단계; 및
    상기 제 1 데이터 및 상기 제 2 데이터를 참조하여, 상기 대상을 사용자에 의해 선택된 타겟으로서 결정하는 단계를 포함하는, 사용자 인터페이스 장치의 제어 방법.
  10. 제 9 항에 있어서,
    상기 제 1 데이터는 상기 사용자의 시선과 상기 대상 사이의 거리를 나타내는 거리 인자를 포함하는, 사용자 인터페이스 장치의 제어 방법.
  11. 제 9 항에 있어서,
    상기 제 2 데이터는 상기 대상의 모양과 상기 사용자의 손 모양 사이의 적합도 또는 상기 가공물의 모양과 상기 사용자의 손 모양 사이의 적합도를 나타내는 크기 인자 및 각도 인자를 포함하는, 사용자 인터페이스 장치의 제어 방법.
  12. 제 9 항에 있어서,
    상기 결정하는 단계는,
    상기 제 1 데이터 및 상기 제 2 데이터를 미리 결정된 결정식에 대입하여 상기 대상의 코스트를 계산하는 단계;
    상기 대상의 코스트와 다른 대상의 코스트를 비교하는 단계; 및
    상기 비교 결과에 따라 상기 대상을 상기 타겟으로서 선택적으로 결정하는 단계를 포함하는, 사용자 인터페이스 장치의 제어 방법.
KR1020140005980A 2014-01-17 2014-01-17 사용자 인터페이스 장치 및 그것의 제어 방법 Active KR101550580B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140005980A KR101550580B1 (ko) 2014-01-17 2014-01-17 사용자 인터페이스 장치 및 그것의 제어 방법
US14/293,566 US9547371B2 (en) 2014-01-17 2014-06-02 User interface apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005980A KR101550580B1 (ko) 2014-01-17 2014-01-17 사용자 인터페이스 장치 및 그것의 제어 방법

Publications (2)

Publication Number Publication Date
KR20150085957A KR20150085957A (ko) 2015-07-27
KR101550580B1 true KR101550580B1 (ko) 2015-09-08

Family

ID=53544747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005980A Active KR101550580B1 (ko) 2014-01-17 2014-01-17 사용자 인터페이스 장치 및 그것의 제어 방법

Country Status (2)

Country Link
US (1) US9547371B2 (ko)
KR (1) KR101550580B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3141985A1 (en) 2015-09-10 2017-03-15 Alcatel Lucent A gazed virtual object identification module, a system for implementing gaze translucency, and a related method
US10649536B2 (en) * 2015-11-24 2020-05-12 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US10860113B2 (en) * 2018-05-30 2020-12-08 Atheer, Inc. Augmented reality head gesture recognition systems
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
US11880504B2 (en) * 2021-09-28 2024-01-23 Ramot At Tel-Aviv University Ltd. Automatic preference quantification of displayed objects based on eye tracker data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
KR100962569B1 (ko) 2008-05-29 2010-06-11 고려대학교 산학협력단 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
KR101374316B1 (ko) 2012-05-02 2014-03-14 (주) 미디어인터랙티브 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
US9720505B2 (en) * 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities

Also Published As

Publication number Publication date
KR20150085957A (ko) 2015-07-27
US20150205362A1 (en) 2015-07-23
US9547371B2 (en) 2017-01-17

Similar Documents

Publication Publication Date Title
KR101550580B1 (ko) 사용자 인터페이스 장치 및 그것의 제어 방법
AU2017244109B2 (en) Interactions with 3D virtual objects using poses and multiple-DOF controllers
US11119581B2 (en) Displacement oriented interaction in computer-mediated reality
KR102712505B1 (ko) 시야 주위의 시각적 아우라
Wacker et al. Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone
JP5981591B1 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
Argelaguet et al. A survey of 3D object selection techniques for virtual environments
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
KR102283747B1 (ko) 시선 추적을 갖는 타겟 위치결정
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US8933882B2 (en) User centric interface for interaction with visual display that recognizes user intentions
US8872762B2 (en) Three dimensional user interface cursor control
JP5609416B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101340797B1 (ko) 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
TW201220159A (en) Apparatus and method for user input for controlling displayed information
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
JP2016181302A (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
Arslan et al. E-Pad: Large display pointing in a continuous interaction space around a mobile device
Luo¹ et al. Head-Mounted Displays

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140117

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150213

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150824

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150901

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150902

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180903

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190902

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200826

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210823

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220803

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20240901

Start annual number: 10

End annual number: 10