[go: up one dir, main page]

KR20150002786A - 제스처들을 이용한 디바이스와의 상호작용 - Google Patents

제스처들을 이용한 디바이스와의 상호작용 Download PDF

Info

Publication number
KR20150002786A
KR20150002786A KR1020147031460A KR20147031460A KR20150002786A KR 20150002786 A KR20150002786 A KR 20150002786A KR 1020147031460 A KR1020147031460 A KR 1020147031460A KR 20147031460 A KR20147031460 A KR 20147031460A KR 20150002786 A KR20150002786 A KR 20150002786A
Authority
KR
South Korea
Prior art keywords
user
pose
progress
predetermined
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147031460A
Other languages
English (en)
Other versions
KR102255774B1 (ko
Inventor
프랜시스 비 맥두걸
에반 알 힐드레스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150002786A publication Critical patent/KR20150002786A/ko
Application granted granted Critical
Publication of KR102255774B1 publication Critical patent/KR102255774B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

제스처 모드에 접속하고 재접속하기 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들이 제공된다. 일 실시형태에서, 컴퓨터 시스템에 의해 수행되는 방법은, 사용자 포즈의 초기 존재를 검출하고, 사용자 포즈를 계속 검출하면서 미리 결정된 상태를 달성하는 것을 향한 진행을 사용자에게 표시하고, 사용자 포즈의 검출이 미리 결정된 상태에 도달했다고 결정하고, 검출이 미리 결정된 상태에 도달했다고 결정하는 것에 기초하여 사용자 포즈의 검출에 응답한다. 컴퓨터 시스템은 사용자 결정에 대한 옵션에 대응하는 사용자 포즈의 표현을 디스플레이하고, 사용자 포즈의 검출이 미리 결정된 상태에 도달했다고 결정하는 것에 적어도 부분적으로 기초하여 사용자 결정을 검출하고, 사용자 결정에 응답함으로써 사용자를 더 프롬프트할 수도 있다.

Description

제스처들을 이용한 디바이스와의 상호작용{INTERACTING WITH A DEVICE USING GESTURES}
관련 출원들에 대한 상호 참조
본 특허 출원은 2012 년 4 월 16 일에 출원된 "INTERACTING WITH A DEVICE USING GESTURES" 라는 발명의 명칭의 미국 가출원 제 61/625,076 호, 및 2013 년 3월 13 일에 출원된 "INTERACTING WITH A DEVICE USING GESTURES" 라는 발명의 명칭의 미국 출원 제 13/799,839 호의 혜택을 주장하며, 이들은 다용도로 그 전체가 본원에 참조로서 포함된다.
본 개시물의 양상들은 컴퓨팅 기술들에 관한 것이다. 특히, 본 개시물의 양상들은 제스처 인식을 수행하는 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들에 관한 것이다.
점점 더, 컴퓨팅 디바이스들, 예컨대, 스마트 폰들, 태블릿 컴퓨터들, 개인 휴대 정보 단말기 (PDA) 들, 및 다른 디바이스들은 터치 스크린들, 가속도계들, 카메라들, 근접 센서들, 마이크로폰들, 및/또는 이러한 디바이스들이 사용자 입력의 형태로서 모션 및/또는 다른 감지된 조건들을 캡쳐하는 것을 허용할 수도 있는 다른 센서들을 포함한다. 일부 디바이스들은, 예를 들어, 특정 이동들 및/또는 발생들이, 예를 들어, 상이한 상황들에서 특정 커맨드들에 대응하는 제스처들로서 인식될 수도 있다. 예를 들어, 디바이스는, 제스처, 예컨대, 브라우저 애플리케이션이 디스플레이되는 동안에는 "이전 페이지" 커맨드에 대응하는, 그리고 미디어 재생기 애플리케이션이 디스플레이되는 동안에는 "이전 트랙" 커맨드에 대응하는 (예를 들어, 사용자가 디바이스의 앞에서 사용자들의 손을 왼쪽으로 흔드는 경우) 왼쪽 스와이프 (swipe) 를 인식할 수도 있다. 이러한 예에서, 사용자는 이러한 상황들의 각각에서 대응하는 제스처들을 수행함으로써 디바이스가 이러한 커맨드들을 실행하게 할 수도 있다. 개선된 제스처 인식은 많은 상황들에서 이로울 수도 있다.
이러한 혜택들 및 다른 것들은, 본원에서 설명된, 본 발명의 실시형태들에 따라 실현될 수도 있다. 또한, 실시형태들은 제스처 제어 시스템에 접속하는 (engage) 것과 연관된 문제들을 해결할 수도 있다.
시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들이 본원에서 제공된다. 일 실시형태에서, 컴퓨터 시스템에 의해 수행되는 방법은 제 1 포즈를 위해 사용자를 프롬프트하고 (prompt), 제 1 포즈를 검출하고, 제 1 포즈의 검출에 응답한다. 일부 실시형태들에서, 포즈는, 예를 들어, 컴퓨팅 시스템이 적절히 구성되는 경우 및/또는 포즈에 뒤이어 추가적인 모션이 이어지는 경우 접속 제스처를 포함할 수도 있다. 또한, 포즈는 손들, 팔들, 다리들, 얼굴 특징들 등, 또는 심지어 개인이 하거나 행사할 수도 있는 다른 오브젝트들에 의해 수행될 수도 있으며, 이를 포함할 수도 있다. 제 1 포즈는 손과 같은 사용자 말단부위에 의해 수행될 수도 있고 손-포즈 또는 손-포즈를 동반하는 모션을 포함할 수도 있다. 컴퓨터 시스템은 포즈에 응답할 시에 왼손과 오른손 사이에서 구별할 수도 있다. 본 발명의 예시적인 실시형태들은 컴퓨터 시스템으로부터의 프롬프트에 확인응답하고 (acknowledgment), 액션 과정을 취소하거나 수락하고, 컴퓨터 시스템을 잠금해제하고, 호 (call) 를 수락하거나 거절하는데 이용될 수도 있다. 일부 실시형태들에서, 포즈는 일 유형의 제스처를 포함할 수도 있고, 제스처를 설명하는 실시형태들은 제스처가 포즈를 포함하는 경우에 이용될 수도 있다. 또한, 포즈에 대해 논의된 실시형태들은 일부 실시형태들에서 다른 제스처들과 함께 이용될 수도 있다.
일부 실시형태들에서, 방법은 사용자 포즈의 초기 존재를 검출하는 단계를 포함한다. 방법은 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행 (progress) 을 사용자에게 표시하는 단계를 더 포함할 수도 있다. 방법은 미리 결정된 검출 상태가 달성되었다고 결정하는 단계를 더 포함할 수도 있다. 방법은 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 사용자 포즈에 응답하는 단계를 더 포함할 수도 있다.
일부 실시형태들에서, 방법은 사용자 포즈를 포함하는 복수의 잠재적인 사용자 포즈들의 표현을 디스플레이함으로써 사용자를 프롬프트하는 단계를 더 포함하며, 복수의 잠재적인 사용자 포즈들의 각각은 사용자 결정에 대한 옵션에 대응한다. 방법은 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 적어도 부분적으로 기초하여 사용자 결정을 검출하는 단계를 더 포함할 수도 있다. 응답하는 것은 사용자 결정에 응답하는 것을 포함할 수도 있다.
일부 실시형태들에서, 결정하는 것은 복수의 이미지들을 획득하고 분석하는 것을 더 포함한다.
일부 실시형태들에서, 응답하는 것은 통지 이벤트에 대한 확인응답을 수락하는 것을 더 포함한다.
일부 실시형태들에서, 검출하는 단계는 사용자의 손 포즈를 검출하는 것을 더 포함한다.
일부 실시형태들에서, 미리 결정된 상태는 미리 결정된 기간 동안 검출된 사용자 포즈를 포함한다.
일부 실시형태들에서, 미리 결정된 상태는 특정 신뢰 수준에 도달하는 사용자 포즈의 검출을 포함한다.
일부 실시형태들에서, 표시하는 것은 복수의 영역들을 포함하는 원형 표시 바 (circular indication bar) 를 디스플레이 하는 것을 포함하며, 여기서 복수의 영역들은 진행을 표시한다.
일부 실시형태들에서, 표시하는 것은 사용자 포즈의 애니메이션화된 (animated) 이미지를 디스플레이하는 것을 포함하며, 여기서 사용자 포즈의 디스플레이된 이미지의 부분들은 진행을 표시하도록 선택적으로 애니메이션화된다.
일부 실시형태들에서, 표시하는 것은 미리 결정된 상태를 달성하는 것에 대한 백분율을 디스플레이하는 것을 포함한다.
일부 실시형태들에서, 표시하는 것은 미리 결정된 상태가 달성되었다고 결정될 때까지, 또는 사용자 포즈가 더 이상 검출되지 않을 때까지 진행의 순차적인 표시들을 사용자에게 제공하는 것을 포함한다.
일부 실시형태들에서, 방법은 미리 결정된 상태가 달성되는 것에 후속하여 완료될 사용자 모션의 표시를 사용자에게 제공하는 단계를 더 포함한다.
일부 실시형태들에서, 장치는 이미지들을 캡쳐하도록 구성된 이미지 캡쳐 디바이스 및 사용자에게 출력을 제공하도록 구성된 사용자 출력 디바이스를 포함한다. 장치는 이미지 캡쳐 디바이스 및 사용자 출력 디바이스에 커플링된 프로세서를 더 포함할 수도 있다. 프로세서는 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지들에 기초하여 사용자 포즈의 초기 존재를 검출하도록 구성될 수도 있다. 프로세서는 사용자 포즈를 계속 검출하면서 사용자 출력 디바이스로 하여금 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하게 하도록 더 구성될 수도 있다. 프로세서는, 진행이 사용자에게 표시되게 하여, 미리 결정된 검출 상태가 달성되었다고 결정하도록 더 구성될 수도 있다. 프로세서는 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 사용자 포즈에 응답하도록 더 구성될 수도 있다.
일부 실시형태들에서, 장치는 사용자 포즈의 초기 존재를 검출하는 수단을 포함한다. 장치는 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하는 수단을 더 포함할 수도 있다. 장치는 진행이 사용자에게 표시된 후에 미리 결정된 결정 상태가 달성되었다고 결정하는 수단을 더 포함할 수도 있다. 장치는 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 사용자 포즈에 응답하는 수단을 더 포함할 수도 있다.
일부 실시형태들에서, 비일시적 프로세서 판독가능 매체는 프로세서로 하여금 사용자 포즈의 초기 존재를 검출하도록 구성된 프로세서 판독가능 명령들을 포함한다. 명령들은 프로세서로 하여금 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하게 하도록 더 구성될 수도 있다. 사용자에게 진행을 표시하여, 명령들은 프로세서로 하여금 미리 결정된 검출 상태가 달성되었다고 결정하게 하도록 더 구성될 수도 있다. 명령들은 프로세서로 하여금 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 사용자 포즈에 응답하게 하도록 더 구성될 수도 있다.
다양한 실시형태들의 본질 및 이점들의 추가적인 이해는 다음의 도면들에 대한 참조로 깨닫게 될 수도 있다. 첨부된 도면들에서, 유사한 컴포넌트들 또는 특징부들은 동일한 참조 부호를 가질 수도 있다. 또한, 동일한 유형의 다양한 컴포넌트들은 참조 부호에 뒤이어 이어지는 유사한 컴포넌트들 중에서 구분짓는 대쉬 및 제 2 부호에 의해 구분될 수도 있다. 단지 제 1 참조 부호만이 명세서에서 이용되는 경우, 설명은 제 2 참조 부호와 상관없이 동일한 제 1 참조 부호를 갖는 유사한 컴포넌트들 중 임의의 컴포넌트에 적용가능하다.
도 1 은 일부 실시형태들에 따른, 예시적인 컴퓨터 시스템을 도시한다.
도 2 는 일부 실시형태들에 따른, 프롬프트와 상호작용하기 위한 포즈를 검출하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 3 은 일부 실시형태들에 따른, 디바이스를 잠금해제하기 위한 포즈를 검출하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 4a 내지 도 4f 는 일부 실시형태들에 따른, 포즈를 검출하고 진행 피드백을 사용하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 5a 내지 도5l 은 일부 실시형태들에 따른, 포즈를 검출하고 진행 피드백을 사용하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 6 은 일부 실시형태들에 따른, 프롬프트와 상호작용하기 위한 포즈를 검출하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 7 은 일부 실시형태들에 따른, 프롬프트와 상호작용하기 위한 포즈를 검출하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 8 은 일부 실시형태들에 따른, 2 단계 프롬프트와 상호작용하기 위한 포즈를 검출하도록 구성된 다른 예시적인 컴퓨팅 시스템을 도시한다.
도 9 는 포즈를 검출하기 위한 예시적인 실시형태를 도시하는 흐름도이다.
도 10 은 포즈를 검출하기 위한 예시적인 실시형태를 도시하는 다른 흐름도이다.
도 11 은 포즈를 위해 사용자를 프롬프트하기 위한 예시적인 실시형태를 도시하는 흐름도이다.
본 개시물의 양상들은 제스처 인식을 수행하는 보다 편리하고, 직관적이고, 기능적인 방식들을 제공한다. 터치 시스템에서, 손가락은 스크린의 유리를 터치하고, 그 다음에 제스처의 방향으로 이동하고, 그 다음에 들어올려져, 사용자와의 터치 상호작용을 요구한다. 그러나, 프롬프트에 응답하기 위해 사용자가 스크린을 터치할 수도 없거나 터치하길 원하지 않을 수도 있는 많은 상황들이 있다. 예를 들어, 사용자는 차를 운전할 수도 있고, 사용자 인터페이스에서의 특정한 버튼 또는 영역을 터치하기 위해 도로에서 사용자들의 눈들을 떼길 원하지 않을 수도 있다. 이러한 시나리오 및 많은 다른 시나리오들은 오직 터치를 통해서만 활성화될 수 있는 인터페이스들을 갖는 단점들을 지적한다.
설명을 위해, 본 발명의 실시형태들은 손 포즈를 이용하여 본원에서 설명된다. 그러나, 임의의 사용자 말단부위가 포즈들 및 제스처들에 이용될 수도 있다. 일부 실시형태들에서, 사용자의 신체, 얼굴, 또는 머리가 제스처를 수행하는데 이용될 수도 있다. 또한, 사용자와 연관되고/되거나 사용자에 의해 제어되는 제어 오브제젝트가 일부 실시형태들에서 포즈 또는 제스처를 수행하는데 이용될 수도 있다. 제어 오브젝트는, 예를 들어, 사람의 손 또는 사용자에 의해 쥐어지거나 사용자에 의해 착용되는 어떤 것을 포함할 수도 있다. 예로서, 완드 (wand) 가 제어 오브젝트일 수도 있다. 당업자들은 수행될 수도 있는 다른 제스처들을 인식할 것이다.
일부 실시형태들에서, 포즈는, 예를 들어, 컴퓨팅 시스템이 적절히 구성되는 경우 및/또는 포즈에 뒤이어 추가적인 모션이 이어지는 경우 접속 제스처를 포함할 수도 있다. 또한, 포즈는 손들, 팔들, 다리들, 얼굴 특징들 등, 또는 심지어 개인이 하거나 행사할 수도 있는 다른 오브젝트들에 의해 수행될 수도 있으며, 이를 포함할 수도 있다. 다음의 실시형태들에서, 용어 "희망하는 결과" 는 제스처가 불러오기로 되어 있는 사용자 인터페이스 이벤트를 활성화시키는 것을 지칭한다. 일부 실시형태들에서, 시뮬레이션된 "터치" 이벤트는, 예를 들어, 손 포즈를 이용하여, 디스플레이된 프롬프트의 선택의 형태로 디바이스로 전송될 수 있다. 일부 실시형태들에서, 사용자는 사용자는 디바이스 상에 디스플레이된 옵션들 사이에서 돌아다니기 위해 "왼쪽으로 스와이프 (swipe)" 또는 "오른쪽으로 스와이프" 와 같은 포즈를 수행할 수도 있다. 일부 구현들에서, 디바이스 상의 애플리케이션은 (예를 들어, 카메라와 같은 입력 디바이스에 의해) 디바이스에 의해 캡쳐된 제스처들을 해석하기 위해 임베디드된 제스처 검출 능력들을 가질 수도 있다. 또 다른 구현들에서는, 애플리케이션으로부터 별개의 제스처 시스템으로의 직접적인 연결이 생성될 수도 있고 제스처 메시지들이 제스처 시스템에 의해 해석되어 애플리케이션에 직접적으로 전송될 수 있으며, 여기서 애플리케이션은 디바이스의 작업 메모리에 상주할 수도 있고 디바이스의 프로세서는 애플리케이션 명령들을 실행할 수도 있다. 이러한 요소들은 도 1 에 대해 하기에서 보다 상세히 설명된다.
본 발명의 실시형태들을 이용하여, 컴퓨터 시스템은, 예를 들어, 사용자가 수행하는 알려진 포즈에 의해 터치되지 않으면서, 잠금해제될 수도 있다. 예를 들어, 카메라가 컴퓨터 시스템과 연관될 수도 있도, 사용자는 컴퓨터 시스템과 연관된 카메라의 뷰에서 포즈를 수행할 수도 있다. 일부 실시형태들에서, 다른 검출 가능 디바이스들이, 이로 제한되지는 않으나, 초음파 센서, 전자기 방사선 센서, 미세전자기계 시스템 (microelectromechanical systems; MEMS) 기반 디바이스들, 및 관성 센서들을 포함하는 제어기 디바이스를 포함하는 컴퓨터 시스템과 연관될 수도 있다. 사용자는 이러한 다른 검출 가능 디바이스들이 검출할 수도 있는 방식으로 포즈를 수행할 수도 있다. 포즈가 컴퓨터 시스템을 잠금해제하기 위한 미리 정의된 제스처에 대응하는 경우 및/또는 미리 결정된 검출 상태가 달성된 경우 컴퓨터 시스템이 잠금해제될 수도 있다. 일부 실시형태들에서, 사용자는 디바이스에 의해 프롬프트되는 경우 임의의 포즈를 수행할 수도 있고, 미리 결정된 검출 상태가 달성되면 디바이스는 그 포즈에 확인응답하거나 응답할 수도 있다. 포즈는 손 포즈 또는 제스처일 수 있고, 사용자의 손 포지션을 반영하는 커서가 컴퓨터 시스템 상에 디스플레이될 수도 있다. 일부 실시형태들에서, 제스처는 사용자가 미리 정의된 경로(들)를 따라 공중에서 하나 이상의 손들을 이동시킴으로써 또는 위의 방법들의 임의의 조합으로 수행될 수도 있다. 일부 실시형태들에서, 포즈는, 예를 들어, 컴퓨팅 시스템이 적절히 구성되는 경우 및/또는 포즈에 뒤이어 추가적인 모션이 이어지는 경우 접속 제스처를 포함할 수도 있다. 또한, 포즈는 손들, 팔들, 다리들, 얼굴 특징들 등, 또는 심지어 개인이 하거나 행사할 수도 있는 다른 오브젝트들에 의해 수행될 수도 있고, 이를 포함할 수도 있다. 컴퓨터 시스템은 또한 컴퓨터 시스템의 스크린 상에 미리 정의된 제스처의 시각적 큐들을 디스플레이하여 사용자에게 제스처를 상기시킬 수도 있다. 또한, 카메라를 갖는 컴퓨터 시스템은 사용자가 유사한 메커니즘을 통해 컴퓨터 시스템을 터치하지 않으면서 임의의 프롬프트에 확인응답하는 것을 인에이블할 수도 있다. 또한, 답변/무시, 또는 OK/취소와 같은 2 개의 가능한 응답들을 가지는 프롬프트들에 대해, 각각의 가능한 응답에 대해 하나씩, 2 개의 미리 정의된 제스처들이 이용될 수 있다. 특히, 시각적 큐가 디스플레이의 일 측 상에 하나의 응답 옵션을, 그리고 디스플레이의 다른 측 상에 다른 응답 옵션을 보여주는 경우, 희망하는 응답을 선택하기 위해 동일한 손 포즈가 이용될 수 있으나, 사용자는 우측 옵션을 선택하기 위해 그 포즈에서 사용자들의 오른손, 그리고 좌측 옵션을 선택하기 위해 그 포즈에서 사용자들의 왼손을 이용할 수 있다. 또한, 각각의 옵션에 대한 특정한 손 포즈 또는 제스처의 적합한 시각적 프롬프트들이 전과 같이 사용자에 대한 큐들로서 디스플레이될 수 있다.
여러 예시적인 실시형태들이 본원의 일부분을 형성하는 첨부 도면들에 대하여 이제 설명될 것이다. 본 개시물의 하나 이상의 양상들이 구현될 수도 있는 특정 실시형태들이 위에서 설명되나, 다른 실시형태들이 이용될 수도 있고, 본 개시물의 범위 또는 첨부된 청구항들의 사상으로부터 벗어나지 않으면서 다양한 수정들이 이루어질 수도 있다. 상술된 실시형태들의 모두는 컴퓨터 시스템과 같은 그러한 시스템들에서 실시될 수도 있다. 하기의 실시형태들은 카메라를 갖는 사용자에 의해 제공되는 포즈나 제스처 또는 다른 입력의 검출은 언급할 수도 있다. 위에서 논의된 바와 같이, 그러나, 이용될 수도 있는 다른 검출 가능 디바이스들은, 이로 제한되지는 않으나, 초음파 센서, 전자기 방사선 센서, 미세전자기계 시스템 (MEMS) 기반 디바이스들, 및 제어기 디바이스를 포함한다. 따라서, 카메라를 설명하는 하기의 예들의 각각에서, 카메라는 상술된 센서들 중 임의의 센서로 대체되거나 그에 더해 이용될 수도 있거나, 사용자에 의해 제공되는 포즈나 제스처 또는 다른 입력을 검출하도록 구성된 다른 센서들이 이용될 수도 있다.
도 2 는 일부 실시형태들에 따른, 프롬프트 (220) 와 상호작용하기 위한, 포즈들 (226, 228) 을 검출하도록 구성된 예시적인 컴퓨팅 시스템 (예를 들어, 도 1 에 도시된 컴퓨터 시스템 (100)) 을 도시한다. 일 실시형태에서, 컴퓨팅 시스템은 스마트폰과 같은 모바일 디바이스 (200) 이다. 다른 실시형태들에서, 컴퓨팅 시스템은 태블릿, 텔레비전, 개인용 컴퓨터, 개인 휴대 정보 단말기, 넷북 등과 같은 다른 디바이스들일 수도 있다. 모바일 디바이스 (200) 는 하나 이상의 카메라들 (120) 및 출력 디바이스 (110) 를 포함한다. 일 실시형태에서, 출력 디바이스 (110) 는 디스플레이 디바이스이다. 디바이스 (200) 는 사용자에게 프롬프트들 (220) 및 포즈 요청 (224) 을 나타낼 수도 있다. 사용자는 사용자 포즈들 (226, 228) 을 수행함으로써 프롬프트들 (220) 에 응답할 수도 있다. 일 실시형태에서, 사용자 포즈들은 왼손 사용자 포즈 (226) 및 오른손 사용자 포즈 (228) 이다. 사용자 포즈들은 사용자의 손에 의해 구성되는 포즈들로 제한되지 않고 사용자의 다리들, 발들, 발가락들, 무릎들, 발목들, 배, 가슴, 어깨들, 팔들, 팔꿈치들, 손가락들, 및 임의의 다른 사용자 신체 부분 혹은 말단부위에 의해 구성될 수도 있는 것으로 이해될 수 있다. 또한, 포즈는 미리 정의된 포즈를 포함할 수도 있다. 일부 실시형태들에서, 디바이스 (200) 는 모션, 예를 들어, 미리 정의된 경로를 따른 또는 미리 정의된 방향으로의 모션, 또는 포즈와 모션의 조합을 위해 사용자를 프롬프트할 수도 있다. 카메라 (120) 는 복수의 이미지들을 캡쳐함으로써 사용자 포즈들 (226, 228) 을 검출하고, 획득하고, 분석하도록 동작가능할 수도 있다.
일부 실시형태들에서, 하나 이상의 카메라들 (120) 을 갖는 모바일 디바이스 (200) 를 제어하는 방법은 모바일 디바이스 (200) 가 확인응답을 기다린다는 것을 디스플레이 유닛 또는 스피커와 같은 출력 디바이스 (110) 를 이용하여 사용자에게 통지하는 단계, 카메라 (120) 로부터 일련의 이미지들을 캡쳐하는 단계, 그러한 이미지들을 분석하는 단계, 및 포즈 요청 (224) 또는 임의의 다른 미리 정의된 포즈와 유사한 방식으로 사용자의 오른손이나 왼손 또는 옵션으로 양손들 (또는 임의의 다른 신체 부분들 또는 말단부위들) 이 검출되었는지를 결정하는 단계를 포함한다. 사용자의 포즈가 초기에 검출되면, 모바일 디바이스 (200) 는 옵션으로 미리 정의된 검출 상태가 도달될 때까지, 예를 들어, 희망하는 결과를 트리거링하기에 충분한 시간 동안 포즈가 유지될 때가지, 진행 피드백을 디스플레이하거나 (도 3 참조) 감각 피드백하는 일부 다른 수단을 이용할 수도 있다. 감각 피드백하는 다른 수단의 일부 예들은, 이로 제한되지는 않으나, 오디오 큐들, 모바일 디바이스 (200) 의 진동 등을 포함한다.
일부 실시형태들에서, 충분한 시간은 제스처 또는 포즈가 정확하게 검출되는 특정 신뢰 수준과 연관성이 있을 수도 있다. 예를 들어, 디스플레이 (110) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 사용자에게 표시하는 진행 표시자를 나타낼 수도 있다. 일부 실시형태들에서, 충분한 시간은 사용자가 통상적으로 포즈를 하고 있지 않을 수도 있고, 따라서, 예를 들어, 다른 이유로 만지작거리거나 움직이는 대신에 사용자가 의도적인 입력을 제공하는 것을 확실히 하는데 이용될 수도 있는 동안의 시간의 양을 포함한다. 도 2 에 도시된 접근법은 확인응답이 필요할 수도 있으나 도 7 에 도시된 바와 같은 2 개의 옵션들 사이의 결정은 필요하지 않을 수도 있는 정보 메시지인 프롬프트 (220) 에 적절할 수도 있다. 예를 들어, 모바일 디바이스 (200) 는 모바일 디바이스의 배터리가 모바일 디바이스의 배터리 잔여분이 단 5% 만을 갖고 있다고 알릴 수도 있다. 일부 실시형태들에서, 디바이스 (200) 는 왼손 사용자 포즈 (226) 가 검출되거나 오른손 사용자 포즈 (228) 가 검출되는 어느 일방의 경우에 사용자가 확인응답을 제공한 것으로 결정할 수도 있다. 따라서, 요청 (224) 이 디스플레이되는 경우, 디바이스는 어느 손이 이용되는지에 관계없이 펼쳐진 손바닥으로, 손가락이 뻗은 포즈로 있는 손을 검출할 수도 있다. 다른 실시형태들에서, 디바이스 (200) 는 특정 손, 예를 들어, 요청 (224) 에 의해 디스플레이된 포즈를 미러링하는 손이 검출되는 경우, 사용자가 확인응답을 제공한 것으로 결정할 수도 있다.
일부 실시형태들에서, 카메라 (120) 를 갖는 모바일 디바이스 (200) 를 제어하는 방법은 모바일 디바이스 (200) 가 확인응답을 기다릴 수도 있다는 것을 사용자에게 통지하는 단계, 카메라 (120) 로부터 일련의 이미지들을 캡쳐하는 단계, 그러한 이미지들을 분석하는 단계, 및 포즈 (226, 228) 가 검출되었는지를 결정하는 단계를 포함한다. 포즈 (226, 228) 가 부분적으로 완료되었을 때 검출될 수 있는 경우에, 모바일 디바이스 (200) 는 옵션으로 포즈가 완전히 완료되고 희망하는 결과가 트리거링될 때까지 진행 피드백 이미지를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단 (도 3 참조) 을 이용할 수 있다.
도 3 은 일부 실시형태들에 따른, 디바이스를 잠금해제하기 위한 포즈들 (226, 228) 을 검출하도록 구성되는, 다른 예시적인 컴퓨팅 시스템 (예를 들어, 도 1 에 도시된 컴퓨터 시스템 (100)) 을 도시한다. 도 3 에서, 디바이스 (200) 는 진행 피드백 이미지 (330) 를 나타낸다.
일 실시형태에서, 하나 이상의 카메라들 (120) 을 갖는 모바일 디바이스 (200) 를 제어하는 방법은 모바일 디바이스 (200) 가 확인응답 또는 커맨드를 기다리고 있다는 것을 디스플레이 유닛 또는 스피커와 같은 출력 디바이스 (110) 를 이용하여 사용자에게 통지하는 단계, 카메라 (120) 로부터 일련의 이미지들을 캡쳐하는 단계, 그러한 이미지들을 분석하는 단계, 및 왼손 사용자 포즈 (226) 및 오른손 사용자 포즈 (228) 중 어느 일방 또는 옵션으로 사용자의 양손들이 펼쳐진 손바닥 포즈 또는 다른 미리 정의된 포즈로 검출되었는지를 결정하는 단계를 포함한다. 사용자 포즈들은 사용자의 손에 의해 구성되는 포즈들로 제한되지 않고 사용자의 다리들, 발들, 발가락들, 무릎들, 발목들, 배, 가슴, 어깨들, 팔들, 팔꿈치들, 손가락들, 및 임의의 다른 사용자 신체 부분 혹은 말단부위에 의해 구성될 수도 있는 것으로 이해될 수 있다. 또한, 포즈는 미리 정의된 포즈를 포함할 수도 있다. 일부 실시형태들에서, 디바이스 (200) 는 모션, 예를 들어, 미리 정의된 경로를 따른 혹은 미리 정의된 방향으로의 모션, 또는 포즈와 모션의 조합을 위해 사용자를 프롬프트할 수도 있다. 사용자의 포즈 (226, 228) 가 초기에 검출되면, 컴퓨터 시스템은 옵션으로 사용자 포즈 (226, 228) 가 시스템과의 접속으로서 확정되기에 충분한 시간 동안 유지될 때까지 진행 피드백 이미지 (330) 를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수도 있다. 일부 실시형태들에서, 디바이스 (200) 는 포즈가 검출되기에 앞서 이미지 (330) 를 디스플레이하나, 포즈의 검출 이후까지는 이미지 (330) 를 업데이트하지 않는다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 예를 들어, 디스플레이 (110) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 사용자에게 표시하는 진행 표시자를 나타낼 수도 있다. 후속하여, 사용자는 희망하는 결과가 트리거링되도록 프롬프트를 확인응답하기 위한 사용자들의 희망을 확인하기 위해 그 지점으로부터 어느 방향으로 사용자들의 손 (또는 다른 말단부위) 을 이동시키도록 프롬프트될 수 있다. 다른 실시형태들에서, 디바이스 (200) 는 디바이스 (200) 에 확인응답 또는 커맨드를 제공하는데 포즈 및 모션이 이용될 수도 있다는 것을 사용자가 의식하고 있도록 포즈의 검출에 앞서 손 모션을 위한 프롬프트를 사용자에게 디스플레이할 수도 있다. 도 3 에 도시된 접근법은 단순히 확인응답만을 요구하고 도 6 에 도시된 바와 같은 2 개의 옵션들 사이의 결정은 요구하지 않는 정보 메시지에 적절할 수도 있다. 예를 들어, 도면에서 도시된 바와 같이, 사용자가 모바일 전화기, 태블릿, 또는 텔레비전과 같은 컴퓨터 시스템을 잠금해제하기를 원하는지 여부를 결정하기 위해 디바이스 (200) 에 의해 그러한 접근법이 사용될 수도 있다.
일 실시형태에서, 모바일 디바이스 (200) 는 카메라 (120) 가 사용자의 존재를 검출한 후에 초기에 잠금해제 프롬프트 (220) 및 포즈 요청 (224) 을 디스플레이할 수도 있다. 이러한 특정 실시형태에서, 진행 피드백 이미지 (330) 는 슬라이드 바 이미지이다. 슬라이드 바 이미지는 사용자 포즈 (226, 228) 의 이동에 따라 디스플레이에 걸쳐 일측에서 타측으로 (side-to-side) 계속적으로 이동할 수도 있다. 예를 들어, 포즈 요청 (224) 은 펼쳐진 손바닥인 인간의 오른손의 이미지를 묘사할 수도 있다. 사용자는 모바일 디바이스 (200) 를 잠금해제하기 위해 오른손 사용자 포즈 (228) 를 수행할 수도 있다. 모바일 디바이스 (200) 는 초기에 프롬프트 (220), 포즈 요청 (224), 및 진행 피드백 이미지 (330) 를 나타낼 수도 있다. 프롬프트 (220) 는 모바일 디바이스 (200) 와의 추가적인 상호작용에 앞서 잠금해제가 요구된다고 사용자에게 표시하는 메시지일 수도 있다. 포즈 요청 (224) 은 사용자 말단부위를 묘사하는 이미지, 이 경우에, 사용자의 오른손의 이미지를 포함할 수도 있다. 포즈 요청은 또한 사용자가 사용자의 말단부위 (오른손) 를 이동시켜야 하는 모션을 묘사하는 이미지를 포함할 수도 있다. 사용자가 포즈 요청 (224) 에서 묘사된 포즈와 유사한 포즈로 사용자들의 오른손을 유지하여 포즈 요청 (224) 에 묘사된 모션으로 사용자들의 오른손을 이동시킴에 따라, 진행 피드백 이미지 (330) 는 사용자의 오른손 포즈 (228) 이동에 따라 디스플레이 (110) 에 걸쳐 일측에서 타측으로 계속적으로 이동한다. 모바일 디바이스 (200) 는, 디스플레이 (110) 상에서 미리 정의된 위치에 도달하는 진행 피드백 이미지 (330) (슬라이드 바) 에 의해 표시되는, 포즈 요청 (224) 에 의해 묘사되는 모션을 사용자가 완료하면 잠금해제를 할 수도 있다. 사용자는 그러면 모바일 디바이스 (200) 와 계속 상호작용할 수도 있다. 포즈 요청은 펼쳐진 손바닥 사용자 왼손 또는 임의의 유형의 사용자 말단부위 모션에 따른 임의의 구성에서의 임의의 다른 신체 부분이나 사용자 말단부위의 이미지를 묘사할 수도 있는 것으로 이해될 수 있다. 사용자는 묘사된 모션을 모방함으로써 사용자들의 대응하는 신체 부분 또는 말단부위를 이용하여 디바이스를 잠금해제할 수도 있다. 일부 실시형태들에서, 사용자 포즈 요청 (224) 은 하이라이트되거나, 색상이 변화하거나, 임의의 다른 방식으로 시각적으로 달라져 사용자 포즈 (226, 228) 가 정확하게 검출되었고 사용자 포즈 (226, 228) 의 후속하는 이동은 포즈 요청 (224) 의 슬라이드바에 대한 대응하는 이동이 될 것이라고 사용자에게 표시할 수도 있다. 일부 실시형태들에서, 포즈 요청 (224) 의 슬라이드바는 포즈가 검출된 후에 사용자 이동을 추적하는 대신에 얼마나 오랫 동안 사용자 포즈가 유지되었는지를 사용자에게 표시하는데 이용될 수도 있다.
일 실시형태에서, 카메라 (120) 는 미리 정의된 간격들에서 사용자 포즈를 검출하고, 캡쳐하고, 분석할 수도 있다. 예를 들어, 카메라 (120) 는 미리 정의된 시간 가격들에서 (예를 들어, 매 0.5 초마다) 사용자 포즈를 검출하고, 캡쳐하고, 분석할 수도 있다. 미리 결정된 시간 간격들에서 사용자 포즈를 검출하고, 캡쳐하고, 분석함으로써, 모바일 디바이스 (200) 및 접속 시스템은 사용자 포즈를 끊임없이 검출하고, 캡쳐하고, 분석하는 것에 비해 저 전력 프로파일로 동작할 수도 있다. 일 실시형태에서, 모바일 디바이스 (200) 및 접속 시스템은 디스플레이 (110) 또는 카메라 (120) 의 앞에서의 사용자 신체 부분 또는 말단부위의 존재에 기초하여 프레임들이 검출되고, 캡쳐되고, 분석되는 빈도를 동적으로 증가시킬 수도 있다. 예를 들어, 사용자 포즈가 디바이스 (200) 에 의해 검출되면, 카메라 및/또는 제스처나 포즈 인식 엔진의 듀티 사이클은 보다 높은 정확도 및/또는 보다 낮은 지연으로 포즈나 제스처들 또는 그것들의 변화들을 검출하도록 증가될 수도 있다.
도 4a 내지 도 4f 는 일부 실시형태들에 따른, 포즈들을 검출하고 진행 피드백 이미지 (330) 를 사용하도록 구성되는 다른 예시적인 컴퓨팅 시스템을 도시한다. 상술된 바와 같이, 컴퓨터 시스템은 옵션으로 사용자 포즈가 시스템과의 접속으로서 확정되기에 충분한 시간 동안 유지될 때까지 진행 피드백 이미지 (330) 를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수도 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 일 실시형태에서, 진행 피드백 이미지 (330) 는 사용자 포즈의 검출에 도달하는 것, 예를 들어, 사용자 포즈가 실질적으로 임계 시간의 양 동안 유지되었다고 검출하는 것에 대한 백분율을 디스플레이할 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 도 4a 에서, 프롬프트들 (220) 은 메시지 및 모바일 디바이스 (200) (도 2) 와 계속 상호작용을 할지 여부에 대한 확인응답으로 디스플레이된다. 또한, 포즈 요청 (224) 은 시스템이 포즈들을 수락하고 어떤 포즈(들)가 예상되는지를 표시하는 오른쪽 사용자 손의 이미지로서 디스플레이된다. 도 4a 는 시간 (t<0) 에서 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 시간 (t) 은 임의의 단위의 시간, 예를 들어, 초, 밀리초 등일 수도 있다. 일 실시형태에서, 어떠한 진행 피드백 이미지 (330) 도 시간 (t<0) 에서 디스플레이 (110) 상에 디스플레이되지 않는다.
일부 실시형태들에서, 디스플레이 (110) 상에 초기에 보여지는 포즈 요청 (224) 이 없을 수도 있다. 일부 경우들에서, 사용자는 (예를 들어, 시스템과의 상호작용을 개시하는데 특정 접속 제스처가 이용되는 경우) 어떤 특정 포즈가 시스템과 상호작용하기 위한 것일 수도 있는지에 관한 지식을 이미 가지고 있을 수도 있다. 또한 소정의 기능성을 개시하거나 제어하는 것과 연관된 다수의 잠재적인 포즈들이 있을 수도 있다. 그러한 실시형태들에서, 디바이스 (200) (도 2) 는 오직 손 포즈가 초기에 검출된 시간에서의 또는 그 시간 후의 대응하는 손 포즈의 이미지만을 묘사할 수도 있으며, 그렇게 함으로써 특정 손 포즈가 검출되고 있거나 손 포즈가 적절히 검출되고 있다는 것을 사용자에게 알려준다. 일부 실시형태들에서, 진행 피드백 (330) 이 그 다음에 디스플레이 (110) 상에 디스플레이되어 손 포즈가 시스템에 접속하기에 충분한 시간 동안 유지되는 것을 확실하게 하거나 일정 종류의 입력 또는 커맨드를 제공할 수도 있다.
일 실시형태에서, 카메라 (120) (도 1) 가 사용자 포즈의 존재를 검출하면, 시간 (t=0) 에서, 진행 피드백 이미지 (330) 가 디스플레이 (110) 상에 디스플레이될 수도 있다. 예를 들어, 이러한 특정 실시형태에서, 진행 피드백 이미지 (330) 는 원형 표시 바이다. 원형 표시 바는 시스템과의 접속으로서 확정되기에 충분한 시간 동안 사용자 포즈를 수행할 시에 사용자의 진행을 표시할 수도 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 일 실시형태에서, 원형 표시 바는 사용자가 사용자 포즈를 수행하는 동안에 경과된 시간의 양에 대응하는 원형 표시 바의 부분들을 어둡게 하거나, 음영을 주거나, 색상을 주거나, 핀치하거나, 삭제하는 등으로써 이러한 진행을 표시할 수도 있다.
이러한 특정 실시형태는에서, 포즈 요청 (224) 은 펼쳐진 손바닥 사용자 오른손을 묘사한다. 사용자 포즈들은 사용자의 손에 의해 구성되는 포즈들로 제한되지 않고 사용자의 다리들, 발들, 발가락들, 무릎들, 발목들, 배, 가슴, 어깨들, 팔들, 팔꿈치들, 손가락들, 및 임의의 다른 사용자 신체 부분 혹은 말단부위에 의해 구성될 수도 있는 것으로 이해될 수 있다.
도 4b 에서, 진행 피드백 이미지 (330) 가 디스플레이 (110) 상에 디스플레이된다. 일 실시형태에서, 진행 피드백 이미지 (330) 는 포즈 요청 (224) 주위를 중심에 둔 원형 표시 바이다. 도 4b 는 시간 (t=0) 에서의, 즉, 카메라 (120) (도 1) 가 사용자 포즈의 존재를 검출할 시의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 원형 표시 바는 사용자 포즈가 시스템과의 접속으로서 확정되기에 충분한 시간 동안 유지되었다는 것을 표시하는 진행 피드백을 제공한다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 진행 피드백 이미지 (330) 는 사용자에게 진행 피드백을 제공할 수도 있는 임의의 유형의 이미지, 예를 들어, 직사각형 표시 바, 백분율 표시자, 애니메이션화된 이미지 등일 수도 있는 것으로 이해될 수 있다.
도 4c 는 시간 (t=0.25) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 이 도면에서, 원형 표시 진행 피드백 이미지 (330) 는 그것의 8 개의 섹션들 중 2 개가 음영진다. 원형 표시 진행 피드백 이미지 (330) 의 음영진 섹션들은 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=0.25) 동안 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다.
도 4d 는 시간 (t=0.5) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 원형 표시 진행 피드백 이미지 (330) 는 그것의 8 개의 섹션들 중 4 개가 음영진다. 원형 표시 진행 피드백 이미지 (330) 의 음영진 섹션들은 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=0.5) 동안 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다.
도 4e 는 시간 (t=0.75) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 원형 표시 진행 피드백 이미지 (330) 는 그것의 8 개의 섹션들 중 음영진 6 개의 섹션을 갖는다. 원형 표시 진행 피드백 이미지 (330) 의 음영진 섹션들은 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=0.75) 동안 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다.
도 4f 는 시간 (t=1) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 원형 표시 진행 피드백 이미지 (330) 는 그것의 8 개의 섹션들 모두가 음영진다. 원형 표시 진행 피드백 이미지 (330) 의 음영진 섹션들은 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=1) 동안 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다. 이러한 도면에서, 포즈 요청 (224) 과 유사한 사용자 포즈가 시스템에 의해 확정되도록 충분히 길게 유지되었으며, 그 시점에 진행 피드백 이미지 (330) 는 완전히 음영지고 사용자는 프롬프트들 (220) 의 확인응답을 완료했다. 일부 실시형태들에서, 이러한 확인응답은 시스템을 접속시키고 추가적인 기능성을 인에이블할 수도 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다.
도 5a 내지 도 5l 은 일부 실시형태들에 따른, 포즈들을 검출하고 진행 피드백 (330) 을 사용하도록 구성되는 다른 예시적인 컴퓨팅 시스템을 도시한다. 상술된 바와 같이, 컴퓨터 시스템은 옵션으로 사용자 포즈가 시스템과의 접속으로서 확정되기에 충분한 시간 동안 유지될 때까지 진행 피드백 이미지 (330) 를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수도 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 도 5a 에서, 프롬프트들 (220) 은 메시지 및 모바일 디바이스 (200) (도 2) 와의 상호작용에 대한 '예' 또는 '아니오' 응답을 요구하는 확인응답으로 디스플레이된다. 또한, 포즈 요청 (224) 은 시스템이 포즈들을 수락하고 어떤 포즈(들)가 예상되는지를 표시하는 펼쳐진 손바닥 오른쪽 사용자 손의 이미지로서 디스플레이된다. 도 4a 는 시간 (t<0) 에서 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 시간 (t) 은 임의의 단위의 시간, 예를 들어, 초, 밀리초 등일 수도 있다. 일 실시형태에서, 어떠한 진행 피드백 이미지 (330) 도 시간 (t<0) 에서 디스플레이 (110) 상에 디스플레이되지 않는다.
일 실시형태에서, 카메라 (120) (도 1) 가 사용자 포즈의 존재를 검출하면, 시간 (t=0) 에서, 진행 피드백 이미지 (330) 가 디스플레이 (110) 상에 디스플레이될 수도 있다. 예를 들어, 이러한 특정 실시형태에서, 진행 피드백 이미지 (330) 는 포즈 요청 (224) 위에 겹쳐 놓인 이미지일 수도 있다. 겹쳐 놓여진 이미지는 시스템과의 접속으로서 확정되기에 충분한 시간 동안 사용자 포즈를 수행할 시에 사용자의 진행을 표시할 수도 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 일 실시형태에서, 겹쳐 놓여진 이미지는 사용자가 사용자 포즈를 수행하는 동안에 경과된 시간의 양에 대응하는 겹쳐 놓여진 이미지의 부분들을 어둡게 하거나, 음영을 주거나, 색상을 주거나, 핀치하거나, 삭제하는 등으로써 이러한 진행을 표시할 수도 있다.
이러한 특정 실시형태는에서, 포즈 요청 (224) 은 펼쳐진 손바닥 사용자 오른손을 묘사한다. 사용자 포즈들은 사용자의 손에 의해 구성되는 포즈들로 제한되지 않고 사용자의 다리들, 발들, 발가락들, 무릎들, 발목들, 배, 가슴, 어깨들, 팔들, 팔꿈치들, 손가락들, 및 임의의 다른 사용자 신체 부분 혹은 말단부위에 의해 구성될 수도 있는 것으로 이해될 수 있다.
도 5b 에서, 진행 피드백 이미지 (330) 가 디스플레이 (110) 상에 디스플레이된다. 일 실시형태에서, 진행 피드백 이미지 (330) 는 포즈 요청 (224) 위에 겹쳐 놓여진다. 도 5b 는 시간 (t=0) 에서의, 즉, 카메라 (120) (도 1) 가 사용자 포즈의 존재를 검출할 시의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 겹쳐 놓여진 이미지는 사용자 포즈가 시스템과의 접속으로서 확정되기에 충분한 시간 동안 유지되었다는 것을 표시하는 진행 피드백을 제공한다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 진행 피드백 이미지 (330) 는 사용자에게 진행 피드백을 제공할 수도 있는 임의의 유형의 겹쳐 놓여진 이미지, 예를 들어, 직사각형 표시 바, 백분율 표시자, 애니메이션화된 이미지 등일 수도 있는 것으로 이해될 수 있다. 이러한 특정 실시형태에서, 겹쳐 놓여진 이미지는, 포즈 요청 (224) 으로 묘사된 동일한 이미지인, 펼쳐진 손바닥 오른쪽 사용자 손을 묘사한다.
도 5c 는 시간 (t=0.25) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 겹쳐 놓여진 진행 피드백 이미지 (330) 는 그 전체 높이의 대략 1/4 이 음영진다. 겹쳐 놓여진 진행 피드백 이미지 (330) 의 음영진 높이는 사용자 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=0.25) 동안 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다. 사용자의 포즈(들)를 이용하여 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시하는 음영은 폭 면에서, 대각선으로, 나선형으로, 원형 등으로 음영질 수도 있는 것으로 이해될 수 있다.
도 5d 는 시간 (t=0.5) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 겹쳐 놓여진 진행 피드백 이미지 (330) 는 그 전체 높이의 대략 1/2 이 음영진다. 겹쳐 놓여진 진행 피드백 이미지 (330) 의 음영진 높이는 사용자 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=0.5) 동안의 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다.
도 5e 는 시간 (t=0.75) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 겹쳐 놓여진 진행 피드백 이미지 (330) 는 그 전체 높이의 대략 3/4 이 음영진다. 겹쳐 놓여진 진행 피드백 이미지 (330) 의 음영진 높이는 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=0.75) 동안의 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다.
도 5f 는 시간 (t=1) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 겹쳐 놓여진 진행 피드백 이미지 (330) 는 그 전체 높이 모두가 음영진다. 겹쳐 놓여진 진행 피드백 이미지 (330) 의 음영진 높이는 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 이러한 예에서, 사용자는 시간 (t=1) 동안 포즈 요청 (224) 과 유사한 사용자 포즈를 수행해 오고 있다. 이러한 도면에서, 포즈 요청 (224) 과 유사한 사용자 포즈가 시스템에 의해 확정되도록 충분히 길게 유지되었으며, 그 시점에 진행 피드백 이미지 (330) 는 완전히 음영지고 사용자는 프롬프트들 (220) 및 시스템의 확인응답을 완료했다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다.
진행 피드백 이미지는, 프롬프트 요청 (224) 에 겹쳐 놓이는 대신에, 프롬프트 요청 (224) 을 대체할 수도 있다는 것이 이해될 수 있다. 진행 피드백 이미지 (330) 의 사이즈 또는 불투명도와 같은 다른 애니메이션들이 진행 피드백을 표시하는데 이용될 수도 있다는 것이 이해될 수 있다.
도 5g 는 시간 (t=1.25) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 겹쳐 놓여진 진행 피드백 이미지 (330) 는 그 전체 높이 모두가 음영진다. 겹쳐 놓여진 진행 피드백 이미지 (330) 의 음영진 높이는 손 포즈(들)를 이용함으로써 프롬프트들 (220) 과의 상호작용을 완료할 시에 사용자의 진행을 표시한다. 일 실시형태에서, 충분히 긴 시간의 양 동안 사용자 포즈를 검출할 시에, 예를 들어, 도 5a 내지 도 5f 에 도시된 바와 같이, 프롬프트들 (220) 과의 추가적인 상호작용을 위해 디스플레이 (110) 상에 포즈 요청들 (224) 의 새로운 쌍이 나타날 수도 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 진행 피드백 이미지 (330) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 표시할 수도 있다. 포즈 요청들 (224) 의 쌍은 대응하는 사용자 프롬프트 (220) 선정을 하도록 어느 일방으로 사용자의 포즈가 이동하는 것을 사용자에게 표시할 수도 있다. 이러한 예에서, 사용자는 '예' 또는 '아니오' 응답 사이에서 선택할 수도 있다. 포즈 요청들 (224) 의 쌍은 진행 피드백 이미지 (330) 뒤에 디스플레이될 수도 있고 예상되는 사용자 포즈 모션들을 표시하도록 애니메이션화될 수도 있다. 예를 들어, 포즈 요청들은 애니메이션화될 수도 있고, 개별적으로, '예' 및 '아니오' 프롬프트들 (220) 쪽으로 이동할 수도 있다. 일 실시형태에서, 애니메이션은 사용자가 사용자 포즈 모션을 완료하고 사용자 프롬프트 (220) 선정을 선택하거나 사용자가 사용자 포즈를 수행하는 것을 중지할 때까지 루프할 수도 있다 (loop). 이러한 도면에서, 사용자 포즈 요청들 (224) 의 쌍은 진행 피드백 이미지 (330) 로부터 사용자 프롬프트들 (220) 까지의 거리의 1/3 이다. 일부 실시형태들에서, 포즈 모션은 포즈가 실질적으로 유지되는 동안에 수행되는 모션을 포함할 수도 있다. 본원의 예들에서, 일부 실시형태들에서의 포즈 모션 대신에 이동 동안에 소정의 포즈가 유지되는 것을 요구하지 않는 모션이 구현될 수도 있다.
도 5h 는 시간 (t=1.5) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 이러한 도면에서, 사용자 포즈 요청들 (224) 의 쌍은 진행 피드백 이미지 (330) 로부터 사용자 프롬프트들 (220) 까지의 거리의 2/3 이다.
도 5i 는 시간 (t=1.75) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 이러한 도면에서, 사용자 포즈 요청들 (224) 의 쌍은 애니메이션화되었고 진행 피드백 이미지 (330) 로부터 사용자 프롬프트들 (220) 까지의 전체 거리를 이동했다. 일 실시형태에서, 애니메이션은 이제, 도 5g 에 도시된 바와 같이 재시작하여, 사용자가 사용자 포즈 모션을 완료하고 사용자 프롬프트 (220) 선정을 선택하거나 사용자가 사용자 포즈를 수행하는 것을 중지할 때까지 루프할 수도 있다.
도 5j 는 시간 (t=2.0) 에서의 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 도면에서, 사용자는 도 5g 내지 도 5i 에서의 사용자 포즈 요청들 (224) 의 쌍에 의해 도시된 것과 유사한 사용자 포즈 모션을 시작했다. 일 실시형태에서, 진행 피드백 이미지 (300) 는 프롬프트들 (220) 과의 상호작용을 완료하기 위해 사용자 포즈가 이동할 것으로 예상되는 (사용자 포즈 요청들 (224) 의 쌍의 애니메이션 및 이동으로 표시되는) 거리에 대해 사용자 포즈가 이동한 거리를 표시하도록 애니메이션화되고 이동한다. 이러한 도면에서, 사용자의 펼쳐진 손바닥 오른손 포즈는 디스플레이 (110) 의 왼쪽 가장자리로 이동하여 사용자가 프롬프트 (220) 에 대해 '예' 로 응답하길 원하는 것을 표시한다. 사용자 포즈는 펼쳐진 손바닥 왼손 포즈일 수도 있는 것으로 이해될 수 있다. 사용자 포즈는 프롬프트 (220) 와 상호작용하기 위해 디스플레이 (110) 에 대해 어디든 이동할 수도 있는 것으로 또한 이해될 수 있다. 이러한 도면에서, 진행 피드백 이미지 (330) 는 프롬프트들 (220) 과의 상호작용을 완료하기 위해 이동할 것으로 예상되는 거리의 대략 1/3 을 이동했다.
도 5k 는 시간 (t=2.25) 에서 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 이러한 도면에서, 진행 피드백 이미지 (330) 는 프롬프트들 (220) 과의 상호작용을 완료하기 위해 사용자 포즈가 이동할 것으로 예상되는 거리의 대략 2/3 를 이동했다.
도 5l 은 시간 (t=2.25) 에서 모바일 디바이스 (200) (도 2) 디스플레이 (110) 를 도시한다. 이러한 도면에서, 진행 피드백 이미지 (330) 는 프롬프트들 (220) 과의 상호작용을 완료하기 위해 사용자 포즈가 이동할 것으로 예상되는 거리를 거의 이동했다. 도면에서, 사용자는 이제 '예' 사용자 프롬프트 (220) 선정을 선택했고 프롬프트들 (220) 과의 상호작용이 완료될 수도 있다.
도 5a 내지 도 5f 의 실시형태들은 도 5g 및 도 5l 에 설명된 실시형태들과 조합하여 이용될 수도 있는 것으로 이해될 수 있다. 즉, 대응하는 사용자 프롬프트 선택을 하도록 어느 일 방향으로 사용자가 포즈를 이동시키기에 앞서 및/또는 디스플레이되고 있는 프롬프트들 (220) 및 사용자 포즈 요청들 (224) 중 하나 이상에 앞서 사용자는 충분한 시간의 양 동안 (예를 들어, 진행 피드백 이미지 (330) 가 완전히 음영질 때까지) 포즈를 유지할 수도 있다. 일부 실시형태들에서, 도 5a 내지 도 5f 는 도 5g 내지 도 5l 없이 이용될 수도 있다. 그러한 실시형태들에서, '예' 및 '아니오' 프롬프트들 (220) 은, 예를 들어, 사용자에 의한 선택안이 요구되지 않는 경우, 일부 실시형태들에서 생략될 수도 있다.
도 6 은 일부 실시형태들에 따른, 프롬프트 (220) 와 상호작용하기 위한 포즈들 (226, 228) 을 검출하도록 구성되는 다른 예시적인 컴퓨팅 시스템을 도시한다. 일 실시형태에서, 하나 이상의 카메라들 (120) 을 갖는 모바일 디바이스 (200) 를 제어하는 방법은 사용자가 2 개 이상의 가능한 프롬프트들 (220) 사이에서 선택하기를 컴퓨터 시스템이 기다리고 있다는 것을 디스플레이 유닛 또는 스피커와 같은 출력 디바이스 (110) 를 이용하여 사용자에게 통지하는 단계, 디스플레이 (110) 의 좌측 및 우측 상에 프롬프트들을 디스플레이하는 단계, 및 그 다음에 카메라 (120) 로부터 일련의 이미지들을 캡쳐하는 단계, 그러한 이미지들을 분석하는 단계, 및 사용자의 오른손 포즈 (228) 또는 왼손 포즈 (226) 중 어느 일방이 펼쳐진 손바닥 포즈 또는 다른 미리 정의된 포즈로 검출되는지를 결정하는 단계를 포함한다. 사용자가 스크린의 좌측 상에 디스플레이된 프롬프트 (220) 를 택하기를 바라는 경우 (취소), 사용자들은 그들의 왼손을 들어올려 포즈 요청 (224) 에 의해 보여지는 바와 같은 희망하는 포즈로 그들의 왼손을 유지할 수 있다. 사용자가 스크린의 우측 상에 디스플레이된 프롬프트 (220) 를 택하기를 바라는 경우 (OK), 사용자들은 그들의 오른손을 들어올려 원하는 포즈로 그들의 오른손을 유지할 수 있다. 사용자의 포즈가 초기에 검출되면, 컴퓨터 시스템은, 희망하는 결과를 트리거링하기에 충분한 시간 동안 포즈가 유지될 때까지, 상술된 바와 같이, 옵션으로 사용자에게 진행 피드백 이미지를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 예를 들어, 디스플레이 (110) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 사용자에게 표시하는 진행 표시자를 나타낼 수도 있다.
이러한 접근법은 도면에 도시된 바와 같은 임의의 "OK/취소" 또는 다른 듀얼 옵션 프롬프트 (220) 에 적절할 수도 있다. 디스플레이 (110) 는 포즈 요청들 (224) 과 함께 프롬프트들 (220) 을 디스플레이할 수도 있다. 포즈 요청들 (224) 은 왼손 사용자 포즈 및 오른손 사용자 포즈를 묘사할 수도 있다. 사용자는 사용자 포즈를 수행할 수도 있는데, 오른손 사용자 포즈 (228) 가 그것들이 액션을 불러오는 것을 허용할 수도 있는 한편 왼손 사용자 포즈 (226) 는 그것들이 액션을 취소하는 것을 허용할 수도 있다. 일부 실시형태들에서는, 오직 하나의 요청 (224) 만이 보여지고, 디바이스 (200) 는 요청 (224) 에 의해 표현되는 포즈가 사용자의 왼손 또는 오른손에 의해 수행되는지 여부를 검출하고, 어느 손이 포즈를 수행하는데 이용되었는지에 기초하여 2 개의 옵션들 중 하나의 옵션이 선택되었다고 결정한다.
일부 실시형태들에서, 오른손 포즈 (228) 및 왼손 포즈 (226) 는 전적으로 상이할 수도 있다. 예를 들어, 오른손 포즈 (228) 는 펼쳐진 손 포즈일 수도 있는 반면 왼손 포즈 (226) 는 접혀진 손 포즈일 수도 있거나, 그 반대일 수도 있다. 접혀진 손 포즈는 "취소" 프롬프트의 선택을 표현할 수도 있는 반면 펼쳐진 손 포즈는 "OK" 프롬프트의 선택을 표현할 수도 있다. 일부 실시형태들에서, 복수의 포즈들이 사용자에게 나타내어질 수도 있고/있거나 각각의 프롬프트에 대해 수락될 수도 있다. 예를 들어, "취소" 프롬프트는 접힌 손 포즈 또는 손으로 형성된 평화 사인 포즈에 의해 선택될 수도 있으며, 반면 "OK" 프롬프트는 펼쳐진 손 포즈 또는 (예를 들어, 엄지손가락과 집게손가락은 접촉하고 다른 손가락들은 뻗어 있는) 손으로 형성된 OK 포즈에 의해 선택될 수도 있다.
도 7 은 일부 실시형태들에 따른, 프롬프트 (220) 와 상호작용하기 위한 포즈들 (226, 228) 을 검출하도록 구성되는 다른 예시적인 컴퓨팅 시스템을 도시한다. 일 실시형태에서, 하나 이상의 카메라들 (120) 을 갖는 모바일 디바이스 (200) 를 제어하는 방법은 디스플레이의 좌측 및 우측 상에 프롬프트들을 디스플레이함으로써 사용자가 2 개 이상의 가능한 프롬프트들 사이에서 선택하기를 컴퓨터 시스템이 기다리고 있다는 것을 디스플레이 유닛 또는 스피커와 같은 출력 디바이스 (110) 를 이용하여 사용자에게 통지하는 단계, 옵션으로 디스플레이 (110) 상에 단일 손 아이콘을 디스플레이하는 단계, 그 다음에 카메라 (120) 로부터 일련의 이미지들을 캡쳐하는 단계, 그러한 이미지들을 분석하는 단계, 및 사용자의 오른손 또는 왼손 중 어느 일방이 펼쳐진 손바닥 포즈 또는 다른 미리 정의된 포즈로 검출되었는지를 결정하는 단계를 포함한다. 사용자의 포즈가 초기에 검출되면, 모바일 디바이스 (200) 는, 접속으로서 확정되기에 충분한 시간 동안 포즈가 유지될 때까지, 상술된 바와 같이, 옵션으로 사용자에게 진행 피드백 이미지를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수 있다. 일 실시형태에서, 충분한 시간은 특정 신뢰 수준과 연관성이 있을 수도 있다. 예를 들어, 디스플레이 (110) 는 특정 신뢰 수준에 도달하는 것을 향한 진행을 사용자에게 표시하는 진행 표시자를 나타낼 수도 있다. 접속되면, 사용자는 왼손 측 옵션에 접속하도록 왼쪽으로, 그리고 오른손 측 옵션에 접속하도록 오른쪽으로 이동할 수 있다. 사용자가 희망하는 방향 쪽으로 이동함에 따라, 컴퓨터 시스템은 옵션으로 이동이 완료되고 희망하는 결과가 트리거링될 때까지 진행 피드백 이미지를 디스플레이하고 감각 피드백하는 다른 진행 수단을 디스플레이할 수 있다. 일부 실시형태들에서는, 진행 피드백이 생략된다. 예를 들어, 포즈가 초기에 검출되면, 디바이스 (200) 는 즉시 손의 모션을 추적하고 모션에 기초하여 프롬프트들 (220) 중 하나의 프롬프트를 선택할 수도 있다.
이러한 접근법은 도면에 도시되는 바와 같은 호 응대 애플리케이션에 적절할 수도 있다. 전화기가 울리는 경우, 착신 호를 표시하는 프롬프트들 (220) 및 그 호를 수락 또는 거절하는 어느 일방에 대한 옵션들이 디스플레이될 수도 있다. 일 실시형태에서, 펼쳐진 손바닥 오른쪽 사용자 손을 묘사하는 프롬프트 요청 (224) 이 또한 디스플레이 (110) 상에 디스플레이될 수도 있다. 사용자는 디스플레이 (110) 의 오른쪽 가장자리 또는 왼쪽 가장자리로 사용자 포즈 (226, 228) 를 이동시키는 것에 기초하여 호를 수락하거나 거절하도록 프롬프트에 접속하여 선택할 수도 있다. 일 실시형태에서, 오직 오른손 사용자 포즈 (228) 만이 모바일 디바이스 (200) 에 접속할 것이고 왼손 사용자 포즈 (226) 의 이용은 수락되지 않을 것이다. 다른 실시형태에서, 오른손 사용자 포즈 (228) 또는 왼손 사용자 포즈 (226) 중 어느 일방이 모바일 디바이스 (200) 에 접속하여 프롬프트 (220) 를 선택하는데 이용될 수도 있다.
도 8 은 일부 실시형태들에 따른, 2 단계 프롬프트와 상호작용하기 위한 포즈들을 이용하여 다른 예시적인 컴퓨팅 시스템 및 접속 시스템을 도시한다. 도 7 에서 설명된 바와 같이 사용자가 프롬프트 (220) 와 상호작용하고 접속할 시에, 초기의 프롬프트들 (220) 에 대한 사용자의 결정에 기초하여 새로운 프롬프트 (220) 가 디스플레이될 수도 있다. 일 실시형태에서, 포즈 요청 (224) 은 사용자가 수행하기 위한 포즈 및 모션을 포함할 수도 있다. 후속하여, 사용자는 희망하는 결과가 트리거링되도록 프롬프트 (220) 에 확인응답하기 위해 사용자들의 희망을 확인하기 위하여 그 지점으로부터 어느 방향으로 사용자들의 손을 이동시키도록 프롬프트될 수 있다. 사용자가 희망하는 방향 쪽으로 이동함에 따라, 컴퓨터 시스템은 옵션으로 이동이 완료될 때까지 진행 피드백 이미지 및 감각 피드백하는 다른 진행 수단을 디스플레이할 수 있다. 이는 도면에서 입증되고 그것의 결과들로 인한 보다 정밀한 확정을 요구할 수도 있는 임의의 듀얼 옵션 프롬프트 (220) 에 적용될 수 있다.
도 9 는 포즈들을 검출하기 위한 본 발명의 예시적인 실시형태를 도시하는 흐름도이다. 방법 (900) 은 하드웨어 (회로부, 전용 로직 등), (범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는 것과 같은) 소프트웨어, 펌웨어 (임베디드 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세서 (104) (도 1) 와 같은 프로세싱 로직에 의해 수행된다. 일 실시형태에서, 방법 (900) 은 도 1 의 컴퓨터 시스템 (100) 또는 도 2 의 모바일 디바이스 (200) 에 의해 수행된다. 컴퓨터 시스템 상에서 구동하는 소프트웨어는, 작업 메모리 (118) (도 1) 에 또는 저장 디바이스 (106) (도 1) 상에 저장된, 운영 체제 (114) (도 1) 및 애플리케이션들 (116) (도 1) 을 포함할 수도 있다.
도 9 를 참조하면, 블록 (902) 에서, 컴퓨터 시스템은 포즈를 위해 사용자를 프롬프트한다. 일 구현에서, 사용자는 컴퓨터 시스템에 커플링된 디스플레이 유닛을 이용하여 포즈를 위해 프롬프트된다. 도 2 내지 도 8 에서 디스플레이 유닛 상에 디스플레이된 프롬프트들은 블록 (902) 에서 디스플레이된 프롬프트의 예시적인 실시형태들이다. 디스플레이 유닛은 도 1 에 도시된 바와 같은, 출력 디바이스 (110) 로서 구현될 수도 있다.
프롬프트에 응답하여, 사용자는 포즈로 응답할 수도 있다. 블록 (904) 에서, 컴퓨터 시스템은 제 1 포즈를 검출한다. 컴퓨터 시스템은 복수의 이미지들을 획득하고 포즈를 검출하도록 복수의 이미지들을 분석함으로써 제 1 포즈를 검출할 수도 있다. 이미지들은 도 1 의 컴퓨터 시스템의 카메라 (120) 를 통해 획득될 수도 있다. 포즈는 사용자 말단부위에 의해 발생될 수도 있다. 일 실시형태에서, 사용자 말단부위는 사용자의 왼손, 오른손, 또는 양손들일 수 있다. 포즈는 손-포즈 또는 임의의 다른 미리 정의된 포즈일 수도 있다.
일부 실시형태들에서 (예를 들어, 도 6 및 도 8), 포즈의 검출은 포즈를 발생시키는데 이용되는 사용자 말단부위의 검출에 기초한다. 컴퓨터 시스템은 포즈를 발생시킬 시에 이용되는 상이한 사용자 말단부위들 사이의 차이를 고려할 수도 있다. 일 예에서, 사용자는 컴퓨터 시스템에 커플링된 디스플레이 유닛을 이용하여 포즈를 위해 프롬프트될 수도 있으며, 디스플레이 유닛은 그로부터 선택하도록 적어도 2 개의 이벤트들을 수평으로 디스플레이하며, 여기서 포즈의 검출은 적어도 2 개의 이벤트들 중 하나의 이벤트를 선택한다.
예를 들어, 오른손 및 왼손을 이용하는 포즈는 상이한 의미들과 연관될 수도 있고 결과적으로 상이한 응답일 수도 있다. 예를 들어, 왼손인 사용자 말단부위를 검출하는 것은 왼쪽으로 디스플레이되는 이벤트를 선택하고, 오른손인 사용자 말단부위를 검출하는 것은 오른쪽으로 디스플레이되는 이벤트를 선택한다. 다시 블록 (902) 을 참조하면, 일부 실시형태들에서, 컴퓨터 시스템은 컴퓨터 시스템이 왼손과 오른손 포즈를 구별한다는 것을 사용자에게 표시할 수도 있다. 예를 들어, 도 6 에서, "취소" 커맨드는 왼손을 이용하는 포즈 및 손-포즈와 연관되며, 반면 "OK" 커맨드는 오른손을 이용하는 포즈 또는 손-포즈와 연관된다.
일 실시형태에서, 제 1 포즈를 검출하는 것은 사용자 말단부위의 초기 존재를 검출하고, 옵션으로 검출이 진행 중이라는 것을 사용자에게 표시하기 위해 사용자에게 진행 피드백을 제공하면서 미리 결정된 기간 동안 사용자 말단부위의 존재를 계속 검출하는 것을 포함한다. 예를 들어, 블록 (906) 에서, 사용자의 제 1 포즈가 초기에 검출되면, 컴퓨터 시스템은 옵션으로 제 1 포즈가 미리 결정된 기간 동안 안정되게 유지될 때가지 진행 피드백 이미지를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수 있다 (블록 (908)). 일 실시형태에서, 컴퓨터 시스템은 도 1 에서 논의된 바와 같은 디스플레이 유닛을 이용하여 사용자에게 피드백을 제공한다.
블록 (910) 에서, 컴퓨터 시스템은 사용자의 확인응답을 수락하거나 다른 포즈 또는 포즈의 모션을 위해 사용자를 프롬프팅함으로써 응답한다. 예를 들어, 도 2 에서, 컴퓨터 시스템은 제 1 포즈의 검출 시에 "메시지" 의 사용자에 의한 확인응답을 수락하고 계속된다. 유사하게, 도 6 에서, 컴퓨터 시스템은 "취소" 커맨드를 해석하는 왼손 및 "OK" 커맨드를 해석하는 오른손을 검출한다.
그러나, 일부 실시형태들에서, 컴퓨터 시스템은 추가적인 액션 또는 모션을 위해 사용자를 프롬프트하는데, 예컨대, 적어도 일 방향으로 사용자 말단부위를 이동시키도록 사용자를 프롬프팅한다. 블록 (912) 에서, 컴퓨터 시스템은 사용자 말단부위가 프롬프트에 의해 명시되는 적어도 일 방향으로 이동되었다고 검출한다. 또한, 블록 (914) 에서, 컴퓨터 시스템은 사용자 말단부위가 적어도 일 명시된 방향으로 이동했다는 검출에 응답한다. 일 실시형태에서, 응답은 확인응답을 수락하거나 프롬프트를 제거하는 것만큼 간단할 수도 있다. 사용자 말단부위가 적어도 일 명시된 방향으로 이동했다는 검출은 그 방향과 연관된 액션에 대한 표시를 포함할 수도 있다. 예를 들어, 도 3 에서, 컴퓨터 시스템은 "잠금해제" 커맨드를 확정하는 스와이프를 예상한다. 도 7 에서, 컴퓨터 시스템은 포즈를 검출하는 것에 더해 왼쪽 또는 오른쪽 스와이프 모션을 검출할 것을 예상한다. 유사하게, 도 8 에서, 컴퓨터 시스템은 "취소" 또는 "OK" 커맨드를 확정하기 전에 왼쪽 또는 오른쪽 스와이프 모션을 검출할 것을 예상한다.
도 10 은 일부 실시형태들에 따른, 포즈들을 검출하기 위한 본 발명의 예시적인 실시형태를 도시하는 다른 흐름도 (1000) 이다. 방법 (1000) 은 하드웨어 (회로부, 전용 로직 등), (범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는 것과 같은) 소프트웨어, 펌웨어 (임베디드 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세서 (104) (도 1) 와 같은 프로세싱 로직에 의해 수행된다. 일 실시형태에서, 방법 (1000) 은 도 1 의 컴퓨터 시스템 (100) 또는 도 2 의 모바일 디바이스 (200) 에 의해 수행된다. 컴퓨터 시스템 상에서 구동하는 소프트웨어는, 작업 메모리 (118) (도 1) 에 또는 저장 디바이스 (106) (도 1) 상에 저장된, 운영 체제 (114) (도 1) 및 애플리케이션들 (116) (도 1) 을 포함할 수도 있다.
블록 (1002) 에서, 사용자 포즈의 초기 존재가 검출된다. 컴퓨터 시스템은 복수의 이미지들을 획득하고 포즈를 검출하도록 복수의 이미지들을 분석함으로써 제 1 포즈를 검출할 수도 있다. 이미지들은 도 1 의 컴퓨터 시스템의 카메라 (120) 를 통해 획득될 수도 있다. 포즈는 사용자 말단부위에 의해 발생될 수도 있다. 일 실시형태에서, 사용자 말단부위는 사용자의 왼손, 오른손, 또는 양손들일 수 있다. 포즈는 손-포즈 또는 임의의 다른 미리 정의된 포즈일 수도 있다.
일부 실시형태들에서 (예를 들어, 도 6 및 도 8), 포즈의 검출은 포즈를 발생시키는데 이용되는 사용자 말단부위의 검출에 기초한다. 컴퓨터 시스템은 포즈를 발생시킬 시에 이용되는 상이한 사용자 말단부위들 사이의 차이를 고려할 수도 있다. 일 예에서, 사용자는 컴퓨터 시스템에 커플링된 디스플레이 유닛을 이용하여 포즈를 위해 프롬프트될 수도 있으며, 디스플레이 유닛은 그로부터 선택하도록 적어도 2 개의 이벤트들을 수평으로 디스플레이하며, 여기서 포즈의 검출은 적어도 2 개의 이벤트들 중 하나의 이벤트를 선택한다.
예를 들어, 오른손 및 왼손을 이용하는 포즈는 상이한 의미들과 연관될 수도 있고 결과적으로 상이한 응답과 연관될 수도 있다. 예를 들어, 왼손인 사용자 말단부위를 검출하는 것은 왼쪽으로 디스플레이되는 이벤트를 선택하고, 오른손인 사용자 말단부위를 검출하는 것은 오른쪽으로 디스플레이되는 이벤트를 선택한다. 예를 들어, 도 6 에서, "취소" 커맨드는 왼손을 이용하는 포즈 및 손-포즈와 연관되며, 반면 "OK" 커맨드는 오른손을 이용하는 포즈 또는 손-포즈와 연관된다.
일 실시형태에서, 제 1 포즈를 검출하는 것은 사용자 말단부위의 초기 존재를 검출하고, 옵션으로 검출이 진행 중이라는 것을 사용자에게 표시하기 위해 사용자에게 진행 피드백을 제공하면서 미리 결정된 기간 동안 사용자 말단부위의 존재를 계속 검출하는 것을 포함한다. 예를 들어, 사용자의 제 1 포즈가 초기에 검출되면, 컴퓨터 시스템은 옵션으로 제 1 포즈가 미리 결정된 기간 동안 안정되게 유지될 때가지 진행 피드백 이미지를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수 있다 (블록 (1004)). 일 실시형태에서, 컴퓨터 시스템은 도 1 에서 논의된 바와 같은 디스플레이 유닛을 이용하여 사용자에게 피드백을 제공한다.
블록 (1006) 에서, 사용자 포즈의 검출이 미리 결정된 상태에 도달했는지 여부에 대한 결정이 이루어진다. 일 실시형태에서, 사용자 포즈를 계속 검출하면서 미리 결정된 상태를 달성하는 것을 향한 진행을 사용자에게 표시한 후에 결정이 이루어진다 (블록 (1004)). 미리 결정된 상태는 미리 결정된 기간 동안 사용자 포즈를 유지하거나 포즈 모션에 접속해 있는 것을 포함할 수도 있다. 예를 들어, 도 4f 에서, 사용자 포즈가 미리 결정된 기간 동안 유지되었고, 진행 피드백 이미지는 완전히 음영져 사용자 포즈가 미리 결정된 상태에 도달했다는 것을 표시한다. 일부 실시형태들에서, 미리 결정된 상태는 제어 오브젝트에 의해 수행된 유한한, 미리 결정된 모션을 포함할 수도 있거나, 미리 결정된 상태는 제어 오브젝트가 블록 (102) 에서의 초기의 포즈 검출에 기초하여 결정된 위치 또는 포지션에 도달하는 것을 포함할 수도 있다. 그러한 미리 결정된 상태들은, 예를 들어, 도 3 및/또는 도 5 에서 설명된 컴퓨팅 시스템의 일부 실시형태들에서 구현될 수도 있다.
블록 (1008) 에서, 검출이 미리 결정된 상태에 도달했다고 결정하는 것에 기초하여 사용자 포즈의 검출에 대한 응답이 발생된다. 사용자 포즈를 검출할 시에, 컴퓨터 시스템은 사용자 결정을 확인응답하거나 사용자에게 도 8 에 도시된 것과 같은 추가적인 프롬프트들 및 옵션들을 나타낼 수도 있다. 일 실시형태에서, 컴퓨터 시스템은 사용자 말단부위가 적어도 일 명시된 방향으로 이동했다는 검출에 응답할 수도 있다. 일 실시형태에서, 응답은 확인응답을 수락하거나 프롬프트를 제거하는 것만큼 간단할 수도 있다. 사용자 포즈의 검출에 대한 응답은, 많은 다른 잠재적인 액션들 중에서, 예를 들어, 착신 호의 수락, 또는 모바일 디바이스를 잠금해제하는 것, 또는 메시지를 디스플레이하는 것일 수도 있다. 사용자 말단부위가 적어도 일 명시된 방향으로 이동했다는 검출은 그 방향과 연관된 액션에 대한 표시를 포함할 수도 있다. 예를 들어, 도 3 에서, 컴퓨터 시스템은 "잠금해제" 커맨드를 확정하는 스와이프를 예상한다. 도 7 에서, 컴퓨터 시스템은 포즈를 검출하는 것에 더해 왼쪽 또는 오른쪽 스와이프 모션을 검출할 것을 예상한다. 유사하게, 도 8 에서, 컴퓨터 시스템은 "취소" 또는 "OK" 커맨드를 확정하기 전에 왼쪽 또는 오른쪽 스와이프 모션을 검출할 것을 예상한다.
일부 실시형태들에서, 사용자는 사용자 결정에 대한 옵션에 대응하는 사용자 포즈의 표현을 디스플레이함으로써 프롬프트될 수도 있다. 표현은, 예를 들어, 펼쳐진 손바닥 손 포즈의 이미지 또는 사용자 말단부위를 이용한 임의의 다른 포즈나 제스처일 수도 있다. 사용자 결정은 사용자 포즈의 검출이 미리 결정된 상태에 도달했다고 결정하는 것에 적어도 부분적으로 기초하여 검출될 수도 있다. 예를 들어, 시스템은 사용자 포즈가 소정의 양의 시간 또는 임의의 다른 측정가능한 임계치 동안 수행되었다고 결정했으며, 시스템은 특정 신뢰 수준에 도달하고 사용자 결정의 입력을 수락할 수도 있다. 예를 들어, 사용자는 디스플레이 디바이스 상에 디스플레이된 "OK" 프롬프트를 선택하기로 택할 수도 있다. 사용자 결정의 입력에 대한 응답은 컴퓨터 시스템에 의해 실행될 수도 있다.
도 11 은 일부 실시형태들에 따른, 포즈를 위해 사용자를 프롬프트하기 위한 본 발명의 예시적인 실시형태를 도시하는 흐름도 (1100) 이다. 방법 (1100) 은 하드웨어 (회로부, 전용 로직 등), (범용 컴퓨팅 시스템 또는 전용 머신 상에서 구동되는 것과 같은) 소프트웨어, 펌웨어 (임베디드 소프트웨어), 또는 이들의 임의의 조합을 포함하는 프로세서 (104) (도 1) 와 같은 프로세싱 로직에 의해 수행된다. 일 실시형태에서, 방법 (1100) 은 도 1 의 컴퓨터 시스템 (100) 또는 도 2 의 모바일 디바이스 (200) 에 의해 수행된다. 컴퓨터 시스템 상에서 구동하는 소프트웨어는, 작업 메모리 (118) (도 1) 에 또는 저장 디바이스 (106) (도 1) 상에 저장된, 운영 체제 (114) (도 1) 및 애플리케이션들 (116) (도 1) 을 포함할 수도 있다.
블록 (1102) 에서, 사용자는 사용자 결정에 대한 적어도 제 1 사용자 옵션에 대응하는 적어도 제 1 사용자 포즈의 표현을 디스플레이함으로써 프롬프트된다. 컴퓨터 시스템은 포즈를 위해 사용자를 프롬프트한다. 일 구현에서, 사용자는 컴퓨터 시스템에 커플링된 디스플레이 유닛을 이용하여 포즈를 위해 프롬프트된다. 도 2 내지 도 8 에서 디스플레이 유닛 상에 디스플레이된 프롬프트들은 블록 (1102) 에서 디스플레이된 프롬프트의 예시적인 실시형태들이다. 디스플레이 유닛은 도 1 에 도시된 바와 같은, 출력 디바이스 (110) 로서 구현될 수도 있다. 일 실시형태에서, 제 1 사용자 포즈는, 도 2 내지 도 8 에서 도시된 바와 같이, 사용자 결정에 대한 적어도 제 1 사용자 옵션에 대응할 수도 있다.
블록 (1104) 에서, 사용자 결정을 표시하는 제 1 사용자 포즈의 존재가 검출된다. 컴퓨터 시스템은 복수의 이미지들을 획득하고 포즈를 검출하도록 복수의 이미지들을 분석함으로써 제 1 사용자 포즈를 검출할 수도 있다. 이미지들은 도 1 의 컴퓨터 시스템의 카메라 (120) 를 통해 획득될 수도 있다. 포즈는 사용자 말단부위에 의해 발생될 수도 있다. 일 실시형태에서, 사용자 말단부위는 사용자의 왼손, 오른손, 또는 양손들일 수 있다. 포즈는 손-포즈 또는 임의의 다른 미리 정의된 포즈일 수도 있다. 포즈는 사용자 결정에 대응할 수도 있고 따라서 사용자 결정을 표시할 수도 있다.
일부 실시형태들에서 (예를 들어, 도 6 및 도 8), 포즈의 검출은 포즈를 발생시키는데 이용되는 사용자 말단부위의 검출에 기초한다. 컴퓨터 시스템은 포즈를 발생시킬 시에 이용되는 상이한 사용자 말단부위들 사이의 차이를 고려할 수도 있다. 일 예에서, 사용자는 컴퓨터 시스템에 커플링된 디스플레이 유닛을 이용하여 포즈를 위해 프롬프트될 수도 있으며, 디스플레이 유닛은 그로부터 선택하도록 적어도 2 개의 이벤트들을 수평으로 디스플레이하며, 여기서 포즈의 검출은 적어도 2 개의 이벤트들 중 하나의 이벤트를 선택한다.
예를 들어, 오른손 및 왼손을 이용하는 포즈는 상이한 의미들과 연관될 수도 있고 결과적으로 상이한 응답과 연관될 수도 있다. 예를 들어, 왼손인 사용자 말단부위를 검출하는 것은 왼쪽으로 디스플레이된 이벤트를 선택하고, 오른손인 사용자 말단부위를 검출하는 것은 오른쪽으로 디스플레이된 이벤트를 선택한다. 예를 들어, 도 6 에서, "취소" 커맨드는 왼손을 이용하는 포즈 및 손-포즈와 연관되며, 반면 "OK" 커맨드는 오른손을 이용하는 포즈 또는 손-포즈와 연관된다.
일 실시형태에서, 제 1 포즈를 검출하는 것은 사용자 말단부위의 초기 존재를 검출하고, 옵션으로 검출이 진행 중이라는 것을 사용자에게 표시하기 위해 사용자에게 진행 피드백을 제공하면서 미리 결정된 기간 동안 사용자 말단부위의 존재를 계속 검출하는 것을 포함한다. 예를 들어, 사용자의 제 1 포즈가 초기에 검출되면, 컴퓨터 시스템은 옵션으로 제 1 포즈가 미리 결정된 기간 동안 안정되게 유지될 때가지 진행 피드백 이미지를 디스플레이하거나 감각 피드백하는 일부 다른 진행 수단을 이용할 수 있다 (블록 (1104)). 일 실시형태에서, 컴퓨터 시스템은 도 1 에서 논의된 바와 같은 디스플레이 유닛을 이용하여 사용자에게 피드백을 제공한다.
블록 (1106) 에서, 사용자 결정에 대한 응답이 발생된다. 사용자 포즈를 검출할 시에, 컴퓨터 시스템은 사용자 결정에 확인응답하거나 사용자에게 도 8 에 도시된 것과 같은 추가적인 프롬프트들 및 옵션들을 나타낼 수도 있다. 일 실시형태에서, 컴퓨터 시스템은 사용자 말단부위가 적어도 일 명시된 방향으로 이동했다는 검출에 응답할 수도 있다. 일 실시형태에서, 응답은 확인응답을 수락하거나 프롬프트를 제거하는 것만큼 간단할 수도 있다. 사용자 말단부위가 적어도 일 명시된 방향으로 이동했다는 검출은 그 방향과 연관된 액션에 대한 표시를 포함할 수도 있다. 예를 들어, 도 3 에서, 컴퓨터 시스템은 "잠금해제" 커맨드를 확정하는 스와이프를 예상한다. 도 7 에서, 컴퓨터 시스템은 포즈를 검출하는 것에 더해 왼쪽 또는 오른쪽 스와이프 모션을 검출할 것을 예상한다. 유사하게, 도 8 에서, 컴퓨터 시스템은 "취소" 또는 "OK" 커맨드를 확정하기 전에 왼쪽 또는 오른쪽 스와이프 모션을 검출할 것을 예상한다.
위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시형태들은 다양한 절차들 또는 컴포넌트들을 적절히 생략, 대체, 또는 추가할 수도 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 설명된 것과 상이한 순서로 수행될 수도 있고/있거나, 다양한 스테이지들이 추가, 생략, 및/또는 조합될 수도 있다. 또한, 소정의 실시형태들에 대해 설명된 특징들은 다양한 다른 실시형태들에 조합될 수도 있다. 본 실시형태들의 상이한 양상들 및 요소들은 유사한 방식으로 조합될 수도 있다. 또한, 기술은 진화하고, 따라서, 요소들 중 많은 요소는 이러한 특정 예들로 본 개시물의 범위를 제한하지 않는 예들이다.
실시형태들의 철저한 이해를 제공하기 위해 특정한 세부사항들이 설명에서 주어진다. 그러나, 실시형태들은 이러한 특정 세부사항들이 없이 실시될 수도 있다. 예를 들어, 공지의 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 실시형태들을 모호하게 하는 것을 피하기 위해 불필요한 세부사항 없이 제시되었다. 이러한 설명은 단지 예시적인 실시형태들만을 제공하고, 본 발명의 범위, 적용가능성, 또는 구성을 제한하도록 의도되지는 않는다. 오히려, 본 실시형태들의 앞서의 설명은 당업자들에게 본 발명의 실시형태들을 구현하는 것에 대한 가능한 설명을 제공할 것이다. 본 발명의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변화들이 이루어질 수도 있다.
또한, 일부 실시형태들은 흐름도들 또는 블록도들로서 도시된 프로세스들로서 설명되었다. 각각이 순차적인 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수도 있다. 또한, 방법들의 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드에서 구현되는 경우, 연관된 태스크들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서들은 연관된 태스크들을 수행할 수도 있다.
도 1 은 본 발명의 실시형태들을 실시하는데 사용되는 디바이스의 부분들을 포함하는 예시적인 컴퓨터 시스템을 도시한다. 도 1 에 도시된 바와 같은 컴퓨터 시스템은 상술된 컴퓨터화된 디바이스의 일부분으로서 포함될 수도 있다. 예를 들어, 컴퓨터 시스템 (100) 은 텔레비전, 모바일 디바이스, 서버, 데스크톱, 워크스테이션, 자동차에서의 제어 혹은 상호작용 시스템, 태블릿, 헤드 마운트 디스플레이 (head mounted display; HMD), 넷북, 또는 임의의 다른 적합한 컴퓨팅 시스템의 컴포넌트들 중 일부를 표현할 수 있다. 일부 실시형태들에서, 시스템 (100) 은 의료 디바이스에 포함될 수도 있고, 의료 디바이스를 터치하지 않으면서 소정의 메시지들 또는 상태들을 수락하거나 응답확인하는 수단을 갖는 의료 전문가를 제공할 수도 있다. 모바일 디바이스는 이미지 캡쳐 디바이스나 입력 센서 유닛 및 사용자 출력 디바이스를 갖는 임의의 컴퓨팅 디바이스일 수도 있다. 이미지 캡쳐 디바이스 또는 입력 센서 유닛은 카메라 디바이스일 수도 있다. 사용자 출력 디바이스는 디스플레이 유닛일 수도 있다. 모바일 디바이스의 예들은, 이로 제한되지는 않으나, 비디오 게임 콘솔들, 태블릿들, 스마트 폰들, 및 임의의 다른 핸드-헬드 디바이스들을 포함한다. 도 1 은 본원에서 설명된 바와 같은 다양한 다른 실시형태들에 의해 제공되는 방법들을 수행할 수 있고/있거나, 호스트 컴퓨터 시스템, 원격 키오스크/단말기, POS (point-of-sale) 디바이스, 자동차에서의 전화기 혹은 네비게이션 혹은 멀티미디어 인터페이스, 모바일 디바이스, 셋-톱 박스, 테이블 컴퓨터, 및/또는 컴퓨터 시스템으로서 기능할 수 있는 컴퓨터 시스템 (100) 의 일 실시형태의 개략도를 제공한다. 도 1 은 단지 다양한 컴포넌트들의 일반화된 예시만을 제공하고자 하며, 그 임의의 것 및/또는 모두가 적절히 사용될 수도 있다. 도 1 은, 따라서, 어떻게 개개의 시스템 요소들이 구상대적으로 분리되어 또는 상대적으로 보다 집적되는 방식으로 구현될 수도 있는지를 광범위하게 도시한다.
컴퓨터 시스템 (100) 은 버스 (102) 를 통해 전기적으로 커플링될 수 있는 (또는, 그렇지 않으면, 적절히 통신 상태일 수도 있는) 하드웨어 요소들을 포함하는 것으로 도시된다. 하드웨어 요소들은 하나 이상의 범용 프로세서들 및/또는 하나 이상의 특수 목적용 프로세서들 (예컨대, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등) 을 포함하나 이로 제한되지는 않는 하나 이상의 프로세서들 (104); 하나 이상의 카메라들, 센서들, 마우스, 키보드, 초음파나 다른 사운드들을 검출하도록 구성된 마이크로폰 등을 포함할 수 있으나 이로 제한되지는 않는 하나 이상의 입력 디바이스들 (108); 및 본 발명의 실시형태들에서 이용되는 디바이스, 프린터 등과 같은 디스플레이 유닛을 포함할 수 있으나 이로 제한되지는 않는 하나 이상의 출력 디바이스들 (110) 을 포함할 수도 있다. 프로세서 (104) 또는 시스템 (100) 의 다른 요소는 출력 디바이스 (110) 로 하여금, 위에서 논의된 사용자에게 표시들 또는 프롬프트들 중 임의의 것, 예를 들어, 프롬프트 (220), 요청 (224), 및/또는 이미지 (330) 를 디스플레이하게 할 수도 있다. 일부 실시형태들에서, 입력 디바이스 (108) 중 하나 이상 - 예를 들어, 초음파 주파수에 민감한 마이크로폰 및/또는 관성 측정 유닛 - 이 사용자에 의해 제공되는 포즈나 제스처 또는 다른 입력을 검출하기 위해 도 2 내지 도 11 에 대해 상술된 예들에서의 카메라에 더해 또는 카메라 대신에 이용될 수도 있다. 추가적인 카메라들 (120) 이 사용자의 말단부위들 및 제스처들의 검출에 사용될 수도 있다. 일부 구현들에서, 입력 디바이스들 (108) 은 적외선 센서 및 초음파 센서와 같은 하나 이상의 센서들을 포함할 수도 있다.
컴퓨터 시스템 (100) 의 일부 요소들은 또한 컴퓨터 시스템 (100) 에 외부적으로 연관되어 있을 수도 있다는 것이 이해될 수 있다. 예를 들어, 카메라 (120) 는 (예를 들어, 범용 직렬 버스 연결을 통해) 컴퓨터 시스템 (100) 에 외부적으로 연결되고 또한 컴퓨터 시스템 (100) 에 의한 프로세싱을 위해 이미지들을 캡쳐할 수도 있다. 일부 실시형태들에서, 프로세싱은 프로세서 (104) 에 의해 또는 다른 외부 서브시스템들에 의해 행해질 수도 있다.
본 발명의 실시형태들의 일부 구현들에서, 디스플레이 디바이스들, 테이블들, 바닥들, 벽들, 및 창문 스크린들과 같은 인터페이스들에 다양한 입력 디바이스들 (108) 및 출력 디바이스들 (110) 이 임베디드될 수도 있다. 또한, 프로세서들에 커플링된 입력 디바이스들 (108) 및 출력 디바이스들 (110) 은 다차원 추적 시스템들을 형성할 수도 있다.
컴퓨터 시스템 (100) 은, 제한 없이, 로컬 및/또는 네트워크 액세스가능한 저장부를 포함할 수 있는, 하나 이상의 비일시적 저장 디바이스들 (106) 을 더 포함할 수도 있고/있거나 (및/또는 이것들과 통신 상태일 수도 있다), 제한 없이, 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 프로그램가능하고, 플래시 업데이트 가능한 등인 랜덤 액세스 메모리 ("RAM") 및/또는 판독 전용 메모리 ("ROM") 등과 같은 솔리드 스테이트 저장 디바이스를 포함할 수 있다. 그러한 저장 디바이스들은, 제한 없이, 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하여, 임의의 적절한 데이터 저장부를 구현하도록 구성될 수도 있다.
컴퓨터 시스템 (100) 은 또한, 제한 없이, 모뎀, 네트워크 카드 (무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋 (예컨대, BluetoothTM 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 시설들 등) 등을 포함하 수 있는 통신 서브시스템 (112) 을 포함할 수도 있다. 통신 서브시스템 (112) 은 네트워크, 다른 컴퓨터 시스템들, 및/또는 상술된 임의의 다른 디바이스들로 데이터가 교환되는 것을 허락할 수도 있다. 많은 실시형태들에서, 컴퓨터 시스템 (100) 은 상술된 바와 같이 RAM 디바이스 또는 ROM 디바이스를 포함할 수 있는 비일시적 작업 메모리 (118) 를 더 포함할 것이다.
컴퓨터 시스템 (100) 은 또한, 운영 체제 (114), 디바이스 드라이버들, 실행가능한 라이브러리들, 및/또는 다양한 실시형태들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수도 있고/있거나, 본원에서 설명된 바와 같은 다른 실시형태들에 의해 제공되는 방법들, 및/또는 구성 시스템들을 구현하도록 설계될 수도 있는 하나 이상의 애플리케이션 프로그램들 (116) 과 같은 다른 코드를 포함하는, 작업 메모리 (118) 내에 현재 위치된 것으로 도시되는 소프트웨어 요소들을 포함할 수 있다. 단지 예로서, 위에서 논의된 방법(들)에 대해 설명된 하나 이상의 절차들은 컴퓨터 (및/또는 컴퓨터 내의 프로세서) 에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수도 있으며; 일 양상에서, 그러면, 그러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터 (또는 다른 디바이스) 를 구성하고/하거나 적응시키는데 이용될 수 있다.
이러한 명령들 및/또는 코드의 세트는 위에서 설명된 저장 디바이스(들) (106) 와 같은 컴퓨터 판독가능 저장 매체 상에 저장될 수도 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템 (100) 과 같은 컴퓨터 시스템 내에 포함될 수도 있다. 다른 실시형태들에서, 저장 매체는 컴퓨터 시스템으로부터 분리될 수도 있고/있거나 (예를 들어, 컴팩트 디스크와 같은 제거가능한 매체), 설치 패키지로 제공되어, 저장 매체가 저장 매체 상에 저장된 명령들/코드로 범용 컴퓨터를 프로그램, 구성, 및/또는 적응시키는데 이용될 수 있다. 이러한 명령들은 컴퓨터 시스템 (100) 상에 의해 실행가능한 실행가능한 코드의 형태를 취할 수도 있고/있거나, (예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등 중 임의의 것을 이용하여) 컴퓨터 시스템 (100) 상에 컴파일 및/또는 설치 시에 실행가능한 코드의 형태를 취하는 소스 및/또는 설치가능한 코드의 형태를 취할 수도 있다. 일부 실시형태들에서, 명령들의 프로세싱은 컴퓨터 시스템 (100) 의 작업 메모리 (118) 내에서 애플리케이션 (116) 레벨에서 일어날 수도 있다. 다른 실시형태들에서, 명령들의 프로세싱은 프로세서 (104) 내에서 일어날 수도 있다. 다른 실시형태들에서, 명령들의 프로세싱은 전용 제스처 인식 칩 (미도시) 또는 컴퓨터 시스템 (100) 의 애플리케이션 프로세서 내에서 일어날 수도 있다. 일부 실시형태들에서, 도 2 내지 도 11 에 대해 설명된 바와 같은 동작들 또는 기능성은 일부 실시형태들에서 고차원 운영 체제 (high level operation system; HLOS) 를 포함할 수도 있는 운영 체제 (114) 내에 포함되거나 그 운영 체제에서 구현된다.
특정한 요구사항들에 따라 상당한 변화들이 이루어질 수도 있다. 예를 들어, 맞춤제작된 하드웨어가 또한 이용될 수도 있고/있거나, 특정 요소들이 하드웨어, (애플릿들 등과 같은 휴대용 소프트웨어를 포함하여) 소프트웨어, 또는 양자 모두로 구현될 수도 있다. 또한, 네트워크 입/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 연결이 사용될 수도 있다. 일부 실시형태들에서, 컴퓨터 시스템 (100) 의 하나 이상의 요소들은 생략될 수도 있거나, 도시된 시스템들과 별도로 구현되는 수도 있다. 예를 들어, 프로세서 (104) 및/또는 다른 요소들은 입력 디바이스 (108) 와 별도로 구현될 수도 있다. 일 실시형태에서, 프로세서는 별도로 구현되는 하나 이상의 카메라들로부터 이미지들을 수신하도록 구성된다. 일부 실시형태들에서, 도 1 에서 설명된 것들에 더해 컴퓨터 시스템 (100) 에 요소들이 포함될 수도 있다.
일부 실시형태들은 (컴퓨터 시스템 (100) 과 같은) 컴퓨터 시스템을 사용하여 본 개시물에 따른 방법들을 수행할 수도 있다. 예를 들어, 설명된 방법들의 절차들 중 일부 또는 전부는 작업 메모리 (118) 에 포함된 (운영 체제 (114), 및/또는 애플리케이션 프로그램 (116) 과 같은 다른 코드 내에 포함될 수도 있는) 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행하는 프로세서 (104) 에 응답하여 컴퓨터 시스템 (100) 에 의해 수행될 수도 있다. 그러한 명령들은 다른 컴퓨터 판독가능 매체, 예컨대, 저장 디바이스(들) (106) 중 하나 이상의 저장 디바이스로부터 작업 메모리 (118) 내로 판독될 수도 있다. 단지 예로서, 작업 메모리 (118) 에 포함된 명령들의 시퀀스들의 실행은 프로세서(들) (104) 로 하여금 본원에서 설명된 방법들의 하나 이상의 절차들을 수행하게 하도록 할 수도 있다.
본원에서 이용된 바와 같은 용어들 "머신 판독가능 매체" 및 "컴퓨터 판독가능 매체" 는 머신으로 하여금 특정한 방식으로 동작하도록 하는 데이터를 제공할 시에 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템 (100) 을 이용하여 구현되는 일 실시형태에서, 다양한 컴퓨터 판독가능 매체들이 실행을 위한 명령들/코드를 프로세서 (104) 에 제공할 시에 수반될 수도 있고/있거나, 그러한 명령들/코드 (예를 들어, 신호들) 을 저장하고/하거나 전달하는데 이용될 수도 있다. 많은 구현들에서, 컴퓨터 판독가능 매체는 물리적 및/또는 유형의 저장 매체이다. 그러한 매체는, 이로 제한되지는 않으나, 비휘발성 매체들, 휘발성 매체들, 및 송신 메체들을 포함하여, 많은 형태들을 취할 수도 있다. 비휘발성 매체들은, 예를 들어, 저장 디바이스(들) (106) 와 같은 광학 및/또는 자기 디스크들을 포함할 수도 있다. 휘발성 매체들은, 제한 없이, 작업 메모리 (118) 와 같은 동작 메모리를 포함한다. 송신 매체들은, 제한 없이, 버스 (102), 뿐만 아니라 통신 서브시스템 (112) 의 다양한 컴포넌트들을 포함하는 와이어들을 포함하여, 동축 케이블들, 구리 와이어, 및 광섬유 (및/또는 그에 의해 통신 서브시스템 (112) 이 다른 디바이스들과의 통신을 제공하는 매체들) 를 포함한다. 따라서, 송신 매체들은 또한 (제한 없이, 무선 웨이브 및 적외선 데이터 통신들 동안에 발생되는 것과 같은 무선, 웨이브, 음향 웨이브, 및/또는 광 웨이브를 포함하여) 웨이브들의 형태를 취할 수 있다.
물리적 및/또는 유형의 컴퓨터 판독가능 매체들의 통상적인 형태들은, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프 혹은 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치카드들, 페이퍼테이프, 홀들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, 플래시 EPROM, 임의의 다른 메모리 칩 혹은 카트리지, 이후에 설명된 바와 같은 반송파, 또는 그로부터 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
컴퓨터 판독가능 매체들의 다른 형태들이 실행을 위해 프로세서(들) (104) 에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송할 시에 수반될 수도 있다. 단지 예로서, 명령들은 초기에 원격 컴퓨터의 자기 디스크 및/또는 광학 디스크 상으로 반송될 수도 있다. 원격 컴퓨터는 원격 컴퓨터의 동적 메모리로 명령들을 로딩하고, 컴퓨터 시스템 (100) 에 의해 수신되고/되거나 실행되도록 송신 매체를 통해 신호들로서 명령들을 전송할 수도 있다. 전자기 신호들, 음향 신호들, 광학 신호들 등의 형태일 수도 있는 이러한 신호들은, 모두, 본 발명의 다양한 실시형태들에 따른, 명령들이 인코딩될 수 있는 반송파들의 예들이다.
통신 서브시스템 (112) (및/또는 그의 컴포넌트들) 이 일반적으로 신호들을 수신할 것이고, 버스 (102) 가 그 다음에 그로부터 프로세서(들) (104) 가 명령들을 취출하고 실행하는 작업 메모리 (118) 에 신호들 (및/또는 신호들에 의해 반송되는 데이터, 명령들 등) 을 반송할 것이다. 작업 메모리 (118) 에 의해 수신된 명령들은 옵션으로 프로세서(들) (104) 에 의한 실행 전 또는 후에 비일시적 저장 디바이스 (106) 상에 저장될 수도 있다.
위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시형태들은 다양한 절차들 또는 컴포넌트들을 적절히 생략, 대체, 또는 추가할 수도 있다. 예를 들어, 대안적인 구성들에서, 설명된 방법들은 설명된 것과 상이한 순서로 수행될 수도 있고/있거나 다양한 스테이지들이 추가, 생략, 및/또는 조합될 수도 있다. 또한, 소정의 실시형태들에 대해 설명된 특징들은 다양한 다른 실시형태들로 조합될 수도 있다. 실시형태들의 상이한 양상들 및 요소들은 유사한 방식으로 조합될 수도 있다. 또한, 기술은 진화하고, 따라서, 요소들 중 많은 요소는 이러한 특정한 예들로 본 개시물의 범위를 제한하지 않는 예들이다.
실시형태들의 철저한 이해를 제공하기 위해 특정한 세부사항들이 설명에서 주어진다. 그러나, 실시형태들은 이러한 특정한 세부사항들이 없이 실시될 수도 있다. 예를 들어, 공지의 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 실시형태들을 모호하게 하는 것을 피하기 위해 불필요한 세부사항들 없이 제시되었다. 이러한 설명은 오직 예시적인 실시형태들만을 제공하고, 본 발명의 범위, 적용가능성, 또는 구성을 제한하도록 의도되지는 않는다. 오히려, 본 실시형태들의 앞서의 설명은 당업자들에게 본 발명의 실시형태들을 구현하는 것에 대한 가능한 설명을 제공할 것이다. 본 발명의 사상 및 범위를 벗어나지 않으면서 요소들의 기능 및 배열에 다양한 변화들이 이루어질 수도 있다.
또한, 일부 실시형태들은 흐름도들 또는 블록도들로서 도시된 프로세스들로서 설명된다. 각각이 순차적인 프로세스로서 동작들을 설명할 수도 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 도면들에 포함되지 않은 추가적인 단계들을 가질 수도 있다. 또한, 방법들의 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어들, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드에서 구현되는 경우, 연관된 태스크들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터 판독가능 매체에 저장될 수도 있다. 프로세서들은 연관된 태스크들을 수행할 수도 있다. 따라서, 위의 설명에서, 컴퓨터 시스템에 의해 수행되는 것으로 설명되는 기능들 또는 방법들은 기능들 또는 방법들을 수행하도록 구성된 프로세서 - 예를 들어, 프로세서 (104) - 에 의해 수행될 수도 있다. 또한, 그러한 기능들 또는 방법들은 하나 이상의 컴퓨터 판독가능 매체들 상에 저장된 명령들을 실행하는 프로세서에 의해 수행될 수도 있다.
설명된 위의 여러 실시형태들, 다양한 수정예들, 대안적인 구조들, 및 등가물은 본 개시물의 사상으로부터 벗어나지 않으면서 이용될 수도 있다. 예를 들어, 위의 요소들은 단지 보다 큰 시스템의 컴포넌트일 수도 있으며, 여기서 다른 규칙들이 우선할 수도 있거나 그렇지 않으면 본 발명의 출원을 수정할 수도 있다. 또한, 위의 요소들이 고려되기 전에, 중에, 또는 후에 다수의 단계들이 착수될 수도 있다. 이에 따라, 위의 설명은 본 개시물의 범위를 제한하지 않는다.
다양한 예들을 설명하였다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims (37)

  1. 사용자 포즈 (pose) 의 초기 존재를 검출하는 단계;
    상기 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하는 단계;
    상기 사용자에게 진행을 표시하였으면, 상기 미리 결정된 검출 상태가 달성되었다고 결정하는 단계; 및
    상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 상기 사용자 포즈에 응답하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 사용자 포즈를 포함하는 복수의 잠재적인 사용자 포즈들의 표현을 디스플레이함으로써 상기 사용자를 프롬프트하는 단계로서, 상기 복수의 잠재적인 사용자 포즈들의 각각은 사용자 결정에 대한 옵션에 대응하는, 상기 사용자를 프롬프트하는 단계; 및
    상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 적어도 부분적으로 기초하여 상기 사용자 결정을 검출하는 단계를 더 포함하고,
    상기 응답하는 단계는 상기 사용자 결정에 응답하는 단계를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 결정하는 단계는 복수의 이미지들을 획득하고 분석하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 응답하는 단계는 통지 이벤트에 대한 확인응답을 수락하는 단계를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 검출하는 단계는 상기 사용자의 손 포즈를 검출하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 미리 결정된 상태는 상기 사용자 포즈가 미리 결정된 기간 동안 검출된 것을 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 미리 결정된 상태는 상기 사용자 포즈의 검출이 특정 신뢰 수준에 도달하는 것을 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 표시하는 단계는 복수의 영역들을 포함하는 원형 표시 바를 디스플레이하는 단계를 포함하고,
    상기 복수의 영역들은 상기 진행을 표시하는, 방법.
  9. 제 1 항에 있어서,
    상기 표시하는 단계는 상기 사용자 포즈의 애니메이션화된 이미지를 디스플레이하는 단계를 포함하고,
    상기 사용자 포즈의 디스플레이된 상기 이미지의 부분들은 상기 진행을 표시하도록 선택적으로 애니메이션화되는, 방법.
  10. 제 1 항에 있어서,
    상기 표시하는 단계는 상기 미리 결정된 상태를 달성하는 것에 대한 백분율을 디스플레이하는 단계를 포함하는, 방법.
  11. 제 1 항에 있어서,
    상기 표시하는 단계는 상기 미리 결정된 상태가 달성되었다고 결정될 때까지 또는 상기 사용자 포즈가 더 이상 검출되지 않을 때까지 상기 진행의 순차적인 표시들을 상기 사용자에게 제공하는 단계를 포함하는, 방법.
  12. 제 1 항에 있어서,
    달성 중인 상기 미리 결정된 상태에 후속하여 완료될 사용자 모션의 표시를 상기 사용자에게 제공하는 단계를 더 포함하는, 방법.
  13. 장치로서,
    이미지들을 캡쳐하도록 구성된 이미지 캡쳐 디바이스;
    사용자에게 출력을 제공하도록 구성된 사용자 출력 디바이스; 및
    상기 이미지 캡쳐 디바이스 및 상기 사용자 출력 디바이스에 커플링된 프로세서를 포함하고,
    상기 프로세서는 상기 이미지 캡쳐 디바이스에 의해 캡쳐된 이미지들에 기초하여 사용자 포즈의 초기 존재를 검출하도록 구성되고;
    상기 프로세서는, 상기 사용자 출력 디바이스로 하여금, 상기 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하게 하도록 구성되며;
    상기 프로세서는, 상기 진행이 상기 사용자에게 표시되게 하였으면, 상기 미리 결정된 검출 상태가 달성되었다고 결정하도록 구성되고;
    상기 프로세서는 상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 상기 사용자 포즈에 응답하도록 구성되는, 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 사용자 출력 디바이스로 하여금 상기 사용자 포즈를 포함하는 복수의 잠재적인 사용자 포즈들의 표현을 디스플레이하게 함으로써 상기 사용자를 프롬프트하는 것으로서, 상기 복수의 잠재적인 사용자 포즈들의 각각은 사용자 결정에 대한 옵션에 대응하는, 상기 사용자를 프롬프트하는 것; 및
    상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 적어도 부분적으로 기초하여 상기 사용자 결정을 검출하는 것을 행하도록 더 구성되고,
    상기 응답하는 것은 상기 사용자 결정에 응답하는 것을 포함하는, 장치.
  15. 제 13 항에 있어서,
    상기 결정하는 것은 복수의 이미지들을 획득하고 분석하는 것을 포함하는, 장치.
  16. 제 13 항에 있어서,
    상기 응답하는 것은 통지 이벤트에 대한 확인응답을 수락하는 것을 포함하는, 장치.
  17. 제 13 항에 있어서,
    상기 검출하는 것은 상기 사용자의 손 포즈를 검출하는 것을 포함하는, 장치.
  18. 제 13 항에 있어서,
    상기 미리 결정된 상태는 상기 사용자 포즈가 미리 결정된 기간 동안 검출된 것을 포함하는, 장치.
  19. 제 13 항에 있어서,
    상기 미리 결정된 상태는 상기 사용자 포즈의 검출이 특정 신뢰 수준에 도달하는 것을 포함하는, 장치.
  20. 제 13 항에 있어서,
    야기하게 하는 것은, 상기 사용자 출력 디바이스로 하여금, 복수의 영역들을 포함하는 원형 표시 바를 디스플레이하게 하는 것을 포함하고,
    상기 복수의 영역들은 상기 진행을 표시하는, 장치.
  21. 제 13 항에 있어서,
    야기하게 하는 것은, 상기 사용자 출력 디바이스로 하여금, 상기 사용자 포즈의 애니메이션화된 이미지를 디스플레이하게 하는 것을 포함하고,
    상기 사용자 포즈의 상기 애니메이션화된 이미지의 부분들은 상기 진행을 표시하도록 선택적으로 애니메이션화되는, 장치.
  22. 제 13 항에 있어서,
    야기하게 하는 것은, 상기 사용자 출력 디바이스로 하여금, 상기 미리 결정된 상태를 달성하는 것에 대한 백분율을 디스플레이하게 하는 것을 포함하는, 장치.
  23. 제 13 항에 있어서,
    야기하게 하는 것은, 상기 사용자 출력 디바이스로 하여금, 상기 미리 결정된 상태가 달성되었다고 결정될 때까지 또는 상기 사용자 포즈가 더 이상 검출되지 않을 때까지 상기 진행의 순차적인 표시들을 상기 사용자에게 제공하게 하는 것을 포함하는, 장치.
  24. 제 13 항에 있어서,
    상기 프로세서는, 상기 사용자 출력 디바이스로 하여금, 달성 중인 상기 미리 결정된 상태에 후속하여 완료될 사용자 모션의 표시를 상기 사용자에게 제공하게 하도록 더 구성되는, 장치.
  25. 사용자 포즈의 초기 존재를 검출하는 수단;
    상기 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하는 수단;
    진행이 상기 사용자에게 표시된 후에, 상기 미리 결정된 검출 상태가 달성되었다고 결정하는 수단; 및
    상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 상기 사용자 포즈에 응답하는 수단을 포함하는, 장치.
  26. 제 25 항에 있어서,
    상기 사용자 포즈를 포함하는 복수의 잠재적인 사용자 포즈들의 표현을 디스플레이함으로써 상기 사용자를 프롬프트하는 수단으로서, 상기 복수의 잠재적인 사용자 포즈들의 각각은 사용자 결정에 대한 옵션에 대응하는, 상기 사용자를 프롬프트하는 수단; 및
    상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 적어도 부분적으로 기초하여 상기 사용자 결정을 검출하는 수단을 더 포함하고,
    상기 응답하는 수단은 상기 사용자 결정에 응답하는 수단을 포함하는, 장치.
  27. 제 25 항에 있어서,
    상기 결정하는 수단은 복수의 이미지들을 획득하고 분석하는 수단을 포함하는, 장치.
  28. 제 25 항에 있어서,
    상기 응답하는 수단은 통지 이벤트에 대한 확인응답을 수락하는 수단을 포함하는, 장치.
  29. 제 25 항에 있어서,
    상기 검출하는 수단은 상기 사용자의 손 포즈를 검출하는 수단을 포함하는, 장치.
  30. 제 25 항에 있어서,
    상기 미리 결정된 상태는 상기 사용자 포즈가 미리 결정된 기간 동안 검출된 것을 포함하는, 장치.
  31. 제 25 항에 있어서,
    상기 미리 결정된 상태는 상기 사용자 포즈의 검출이 특정 신뢰 수준에 도달하는 것을 포함하는, 장치.
  32. 제 25 항에 있어서,
    상기 표시하는 수단은 복수의 영역들을 포함하는 원형 표시 바를 디스플레이하는 수단을 포함하고,
    상기 복수의 영역들은 상기 진행을 표시하는, 장치.
  33. 제 25 항에 있어서,
    상기 표시하는 수단은 상기 사용자 포즈의 애니메이션화된 이미지를 디스플레이하는 수단을 포함하고,
    상기 사용자 포즈의 상기 애니메이션화된 이미지의 부분들은 상기 진행을 표시하도록 선택적으로 애니메이션화되는, 장치.
  34. 제 25 항에 있어서,
    상기 표시하는 수단은 상기 미리 결정된 상태를 달성하는 것에 대한 백분율을 디스플레이하는 수단을 포함하는, 장치.
  35. 제 25 항에 있어서,
    상기 표시하는 수단은 상기 미리 결정된 상태가 달성되었다고 결정될 때까지 또는 상기 사용자 포즈가 더 이상 검출되지 않을 때까지 상기 진행의 순차적인 표시들을 상기 사용자에게 제공하는 수단을 포함하는, 장치.
  36. 제 25 항에 있어서,
    달성 중인 상기 미리 결정된 상태에 후속하여 완료될 사용자 모션의 표시를 상기 사용자에게 제공하는 수단을 더 포함하는, 장치.
  37. 프로세서 판독가능 명령들을 포함하는 비일시적 프로세서 판독가능 매체로서,
    상기 명령들은, 프로세서로 하여금,
    사용자 포즈의 초기 존재를 검출하게 하고;
    상기 사용자 포즈를 계속 검출하면서 미리 결정된 검출 상태를 달성하는 것을 향한 진행을 사용자에게 표시하게 하며;
    상기 사용자에게 진행을 표시하였으면, 상기 미리 결정된 검출 상태가 달성되었다고 결정하게 하고;
    상기 미리 결정된 검출 상태가 달성되었다고 결정하는 것에 기초하여 상기 사용자 포즈에 응답하게 하는, 비일시적 프로세서 판독가능 매체.
KR1020147031460A 2012-04-16 2013-04-10 제스처들을 이용한 디바이스와의 상호작용 Active KR102255774B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261625076P 2012-04-16 2012-04-16
US61/625,076 2012-04-16
US13/799,839 US9141197B2 (en) 2012-04-16 2013-03-13 Interacting with a device using gestures
US13/799,839 2013-03-13
PCT/US2013/035930 WO2013158433A1 (en) 2012-04-16 2013-04-10 Interacting with a device using gestures

Publications (2)

Publication Number Publication Date
KR20150002786A true KR20150002786A (ko) 2015-01-07
KR102255774B1 KR102255774B1 (ko) 2021-05-24

Family

ID=49324614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147031460A Active KR102255774B1 (ko) 2012-04-16 2013-04-10 제스처들을 이용한 디바이스와의 상호작용

Country Status (6)

Country Link
US (1) US9141197B2 (ko)
EP (2) EP3825823B1 (ko)
JP (1) JP6158913B2 (ko)
KR (1) KR102255774B1 (ko)
CN (1) CN104246661B (ko)
WO (1) WO2013158433A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048370A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 헤드 마운티드 디스플레이 및 이를 이용하여 가상 공간에서 동작이 수행되도록 하는 방법

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
KR102041984B1 (ko) * 2012-12-18 2019-11-07 삼성전자주식회사 추가 구성 요소를 이용한 얼굴 인식 기능을 가지는 모바일 장치 및 그 제어 방법
US10216403B2 (en) * 2013-03-29 2019-02-26 Orange Method to unlock a screen using a touch input
US9612740B2 (en) * 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
US10402060B2 (en) 2013-06-28 2019-09-03 Orange System and method for gesture disambiguation
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
KR102131828B1 (ko) 2013-12-03 2020-07-09 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US9987554B2 (en) 2014-03-14 2018-06-05 Sony Interactive Entertainment Inc. Gaming device with volumetric sensing
CN104932797A (zh) * 2014-03-17 2015-09-23 深圳富泰宏精密工业有限公司 手势解锁方法及系统
USD738910S1 (en) * 2014-03-19 2015-09-15 Wargaming.Net Llp Display screen with animated graphical user interface
DE102014004675A1 (de) * 2014-03-31 2015-10-01 Audi Ag Gestenbewertungssystem, Verfahren zur Gestenbewertung und Fahrzeug
CN103941873B (zh) * 2014-04-30 2017-05-10 北京智谷睿拓技术服务有限公司 识别方法和设备
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
GB201412268D0 (en) * 2014-07-10 2014-08-27 Elliptic Laboratories As Gesture control
KR102319530B1 (ko) * 2014-08-18 2021-10-29 삼성전자주식회사 사용자 입력 처리 방법 및 장치
JP2016051288A (ja) * 2014-08-29 2016-04-11 株式会社デンソー 車両用入力インターフェイス
US10015402B2 (en) 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
JP6684042B2 (ja) * 2014-09-08 2020-04-22 任天堂株式会社 電子機器
US9588643B2 (en) * 2014-12-18 2017-03-07 Apple Inc. Electronic devices with hand detection circuitry
CN104680364A (zh) * 2015-03-13 2015-06-03 珠海市金邦达保密卡有限公司 动态签名密码装置、网络交易系统和网络交易方法
JP6464889B2 (ja) 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP6293372B2 (ja) * 2015-05-20 2018-03-14 三菱電機株式会社 情報処理装置及びインタロック制御方法
CN105824405A (zh) * 2015-11-26 2016-08-03 维沃移动通信有限公司 一种移动终端的信息显示方法及装置
US12248995B2 (en) 2016-04-21 2025-03-11 Wayne Fueling Systems Llc Intelligent fuel dispensers
JP2019520269A (ja) 2016-04-21 2019-07-18 ウェイン・フューエリング・システムズ・エルエルシーＷａｙｎｅ Ｆｕｅｌｉｎｇ Ｓｙｓｔｅｍｓ ＬＬＣ インテリジェントな燃料ディスペンサー
EP3466054B1 (en) 2016-05-27 2021-05-26 Wayne Fueling Systems Llc Transparent fuel dispenser
JP2018109871A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器
JP6101881B1 (ja) * 2017-01-04 2017-03-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
JP6346699B1 (ja) * 2017-08-08 2018-06-20 京セラ株式会社 電子機器
EP3477429A1 (en) * 2017-10-30 2019-05-01 Vestel Elektronik Sanayi ve Ticaret A.S. Screen lock for an optical see through hmd
CN108989553A (zh) * 2018-06-29 2018-12-11 北京微播视界科技有限公司 场景操控的方法、装置及电子设备
US11294472B2 (en) * 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US11550457B2 (en) * 2019-01-12 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Method, device, apparatus and storage medium of displaying information on video
US11301128B2 (en) * 2019-05-01 2022-04-12 Google Llc Intended input to a user interface from detected gesture positions
CN110968239B (zh) * 2019-11-28 2022-04-05 北京市商汤科技开发有限公司 一种展示对象的控制方法、装置、设备及存储介质
EP3835924A1 (en) * 2019-12-13 2021-06-16 Treye Tech UG (haftungsbeschränkt) Computer system and method for human-machine interaction
US11418863B2 (en) 2020-06-25 2022-08-16 Damian A Lynch Combination shower rod and entertainment system
CN112173899A (zh) * 2020-10-10 2021-01-05 田锐 升降装置控制方法、系统及其计算机可读存储介质
CN112860212A (zh) * 2021-02-08 2021-05-28 海信视像科技股份有限公司 一种音量调节方法及显示设备
JP2022182801A (ja) * 2021-05-28 2022-12-08 京セラドキュメントソリューションズ株式会社 表示装置及び画像形成装置
USD1026009S1 (en) * 2021-11-17 2024-05-07 Express Scripts Strategic Development, Inc. Display screen with an icon
US11983691B2 (en) * 2022-07-27 2024-05-14 Bank Of America Corporation System and methods for detecting and implementing resource allocation in an electronic network based on non-contact instructions
US12360608B2 (en) 2022-08-18 2025-07-15 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
US20240061513A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2009526314A (ja) * 2006-02-10 2009-07-16 マイクロソフト コーポレーション タッチ入力を確認するための方法
JP2012008772A (ja) * 2010-06-24 2012-01-12 Sony Corp ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US20120052942A1 (en) * 2010-08-31 2012-03-01 Microsoft Corporation User Selection and Navigation Based on Looped Motions

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2250021C (en) * 1997-05-19 2007-02-06 Matsushita Electric Industrial Co., Ltd. Graphic display apparatus, synchronous reproduction method, and av synchronous reproduction apparatus
JP3791728B2 (ja) * 1998-06-03 2006-06-28 コナミ株式会社 ゲーム画面の表示制御方法、ゲームシステムおよびコンピュータ読み取り可能な記録媒体
US6985620B2 (en) * 2000-03-07 2006-01-10 Sarnoff Corporation Method of pose estimation and model refinement for video representation of a three dimensional scene
US7581103B2 (en) 2001-06-13 2009-08-25 Intertrust Technologies Corporation Software self-checking systems and methods
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US20090109036A1 (en) 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8514251B2 (en) 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8600166B2 (en) 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
JP2011166332A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd 情報処理装置
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US8751953B2 (en) * 2010-06-04 2014-06-10 Apple Inc Progress indicators for loading content
US8768006B2 (en) 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US9058663B2 (en) * 2012-04-11 2015-06-16 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3D pose estimation
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
US9147058B2 (en) * 2012-10-12 2015-09-29 Apple Inc. Gesture entry techniques

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
JP2009526314A (ja) * 2006-02-10 2009-07-16 マイクロソフト コーポレーション タッチ入力を確認するための方法
JP2012008772A (ja) * 2010-06-24 2012-01-12 Sony Corp ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US20120052942A1 (en) * 2010-08-31 2012-03-01 Microsoft Corporation User Selection and Navigation Based on Looped Motions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048370A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 헤드 마운티드 디스플레이 및 이를 이용하여 가상 공간에서 동작이 수행되도록 하는 방법

Also Published As

Publication number Publication date
WO2013158433A1 (en) 2013-10-24
EP2839356B1 (en) 2021-01-06
CN104246661A (zh) 2014-12-24
CN104246661B (zh) 2017-10-31
JP6158913B2 (ja) 2017-07-05
US20130271360A1 (en) 2013-10-17
JP2015515065A (ja) 2015-05-21
US9141197B2 (en) 2015-09-22
EP3825823A1 (en) 2021-05-26
EP2839356A1 (en) 2015-02-25
KR102255774B1 (ko) 2021-05-24
EP3825823B1 (en) 2024-10-16

Similar Documents

Publication Publication Date Title
KR102255774B1 (ko) 제스처들을 이용한 디바이스와의 상호작용
EP3461291B1 (en) Implementation of a biometric enrollment user interface
EP3754471B1 (en) Method and portable terminal for providing a haptic effect
KR102230630B1 (ko) 빠른 제스처 재접속
US9448714B2 (en) Touch and non touch based interaction of a user with a device
US20130211843A1 (en) Engagement-dependent gesture recognition
US20150138101A1 (en) Mobile terminal and control method thereof
EP2575007A1 (en) Scaling of gesture based input
KR20140147557A (ko) 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
KR20160060109A (ko) 모션 또는 그의 부재에 기초한 터치 기반 디바이스 상의 제어 인터페이스의 제시
KR20180006133A (ko) 전자 장치 및 그의 동작 방법
WO2015100746A1 (zh) 应用程序显示方法和终端
KR102325339B1 (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
KR20180001985A (ko) 전자 장치 및 그의 동작 방법
JP6048489B2 (ja) 表示装置
TW201741814A (zh) 視窗控制方法及行動終端
WO2018160258A1 (en) System and methods for extending effective reach of a user&#39;s finger on a touchscreen user interface
TWI564780B (zh) 觸控螢幕姿態技術
KR101154137B1 (ko) 터치 패드 상에서 한손 제스처를 이용한 사용자 인터페이스
WO2013183533A1 (ja) 表示装置、表示方法及びプログラム
US8726191B2 (en) Ephemeral object selections and fast-path gesturing for device control
KR101474873B1 (ko) 비동작 신호 및 동작 신호에 기반한 제어 장치 및 그 장치 제어 방법
JP2013122666A (ja) タッチパネルシステム及びタッチパネルシステムの動作方法
KR20180027886A (ko) 전자 장치 및 그의 동작 방법
TW201329793A (zh) 基於手勢之輸入之縮放

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20141107

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180323

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190930

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200629

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20201207

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210218

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210518

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210518

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240320

Start annual number: 4

End annual number: 4