[go: up one dir, main page]

KR20160124786A - 인 에어 초음파 펜 제스처들 - Google Patents

인 에어 초음파 펜 제스처들 Download PDF

Info

Publication number
KR20160124786A
KR20160124786A KR1020167024203A KR20167024203A KR20160124786A KR 20160124786 A KR20160124786 A KR 20160124786A KR 1020167024203 A KR1020167024203 A KR 1020167024203A KR 20167024203 A KR20167024203 A KR 20167024203A KR 20160124786 A KR20160124786 A KR 20160124786A
Authority
KR
South Korea
Prior art keywords
pen
user device
command
ultrasonic
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020167024203A
Other languages
English (en)
Inventor
나탄 알트만
니콜로 파도바니
길라드 본스타인
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160124786A publication Critical patent/KR20160124786A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 명세서에 기재된 기술의 구현들은 초음파 펜 시스템을 사용하여 제스처 커맨드를 검출하기 위한 방법을 제공한다. 시스템은 펜이고 사용자 디바이스이다. 제스처 커맨드들의 검출은 사용자 디바이스의 스크린에 대한 2 차원 제스처들, 사용자 디바이스의 스크렌에 대한 3 차원 제스처들, 펜 바디의 종축 주위의 롤링/회전, 및 펜 바디의 종축 주위의 마이크로 트위스팅에 기초한다. 사용자 디바이스는 제스처들을 수신하고 이들을 UNDO 및 BACK 와 같은 커맨드들로 해석한다.

Description

인 에어 초음파 펜 제스처들 {IN-AIR ULTRASOUND PEN GESTURES}
관련 출원들에 대한 상호 참조
본 특허 출원은 대상 출원과 동일한 발명자들에 의해 2014 년 2 월 21 일에 출원된, 명칭이 IN-AIR ULTRASOUND PEN GESTURES 인 가출원 제 61/943,261 호에 대해 우선권을 주장하며, 이 가출원은 본 명세서의 양수인에게 양도되고, 이로써 그 전부가 본 명세서에 참조로서 명백히 통합된다.
본 명세서에 기재된 기술은 펜 기반 시스템들에 관한 것이고, 특히 초음파 펜 제스처 검출에 관한 것이다.
많은 컴퓨터 시스템들, 특히 그래픽 사용자 인터페이스들 (GUI) 을 사용한 컴퓨터 시스템들은 하나 이상의 별개의 입력 디바이스들로부터 사용자 입력을 수용하기 위해 최적화된다. 키보드는 텍스트를 입력하기 위해 사용될 수도 있다. 마우스와 같은 포인팅 디바이스는 또한 사용자 인터페이스를 동작하기 위해 사용될 수도 있다. 키보드 및 마우스 인터페이스들은 문서들, 스프레드시트들, 데이터베이스 필드들, 도면들, 사진들 등의 빠른 수정 및 생성을 제공한다.
하지만, 최근에는, 펜 기반 컴퓨팅 시스템들, 예컨대 테블릿 개인용 컴퓨터들 (PC), 개인용 디지털 보조기들 (PDA) 등의 인기가 증가하고 있다. 펜 기반 컴퓨팅 시스템들에 있어서, 사용자 입력은 전자 "펜" 또는 스타일러스를 사용하여 도입될 수도 있다 (예를 들어, 한 장의 종이에 종래의 펜 또는 연필로 기입하는 것과 유사함). 하지만, 펜 기반 시스템들에 대한 개선의 여지가 여전히 있다.
본 명세서에 기재된 기술의 구현은 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하는 방법에 관한 것이고, 방법은 사용자 디바이스의 x 축을 따라 초음파 펜의 포지션을 획득하는 단계; 사용자 디바이스의 y 축을 따라 초음파 펜의 포지션을 획득하는 단계; 사용자 디바이스의 z 축을 따라 초음파 펜의 포지션을 획득하는 단계; 및 획득된 포지션들에 기초하여 커맨드를 수행하는 단계를 포함한다.
또 다른 구현은 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하기 위한 장치에 관한 것이고, 장치는 사용자 디바이스의 x 축을 따라, 사용자 디바이스의 y 축을 따라, 그리고 사용자 디바이스의 z 축을 따라 초음파 펜의 포지션을 획득하도록 구성된 마이크로폰 어레이; 및 획득된 포지션들에 기초하여 커맨드를 수행하도록 구성된 커맨드 실행 모듈을 포함한다.
또 다른 구현은 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하기 위한 장치에 관한 것이고, 사용자 디바이스의 x 축을 따라, 사용자 디바이스의 y 축을 따라, 그리고 사용자 디바이스의 z 축을 따라 초음파 펜의 포지션을 획득하는 수단; 및 획득된 포지션들에 기초하여 커맨드를 수행하는 수단을 포함한다.
또 다른 구현은, 머신에 의해 액세스될 때, 머신으로 하여금, 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하기 위한 동작들을 수행하게 하는 정보를 포함하는 컴퓨터 판독가능 저장 매체에 관한 것이고, 동작들은, 사용자 디바이스의 x 축을 따라, 사용자 디바이스의 y 축을 따라, 그리고 사용자 디바이스의 z 축을 따라 초음파 펜의 포지션을 획득하는 것; 및 획득된 포지션들에 기초하여 커맨드를 수행하는 것을 포함한다.
상기는 본 명세서에 기재된 하나 이상의 구현들과 관련하여 간략화된 개요이다. 이로써, 개요는 모든 고려되는 양태들 및/또는 구현들에 관한 광범위한 개관으로서 고려되지 않아야 하고, 또한 개요가 모든 고려되는 양태들 및/또는 구현들에 관하여 핵심적이거나 중요한 엘리먼트들을 식별하거나 임의의 특정 양태 및/또는 구현과 연관된 범위를 한정하는 것으로 간주되지도 않아야 한다. 따라서, 개요는 하기에 제시되는 상세한 설명에 앞서 간략화된 형태로 본 명세서에 개시된 메커니즘들에 관하여 하나 이상의 양태들 및/또는 구현들과 관련하여 소정의 개념들을 제시하기 위한 단 하나의 목적을 갖는다.
도 1 은 본 명세서에 기재된 기술의 예시의 구현에 따른 인 에어 펜 제스처 시스템을 도시한다.
도 2 는 본 명세서에 기재된 기술의 예시의 구현에 따른 펜 팁의 포지션을 검출하기 위한 사용자 디바이스 상의 2 차원 (2D) 및/또는 x-y 포지션 배향을 도시하는 인 에어 펜 제스처 시스템의 측면도이다.
도 3 은 본 명세서에 기재된 기술의 예시의 구현에 따른 사용자 디바이스 상의 2 차원 (2D) 및/또는 x-y 포지션 배향을 도시하는 도 1 에 도시된 인 에어 펜 제스처 시스템의 상면도이다.
도 4a 는 본 명세서에 기재된 기술의 예시의 구현에 따른 사용자 디바이스 상의 2 차원 (2D) 및/또는 x-y 포지션 배향을 도시하는 도 1 에 도시된 인 에어 펜 제스처 시스템의 측면도이다.
도 4b 는 본 명세서에 기재된 기술의 대안의 구현에 따른 사용자 디바이스 상의 2 차원 (2D) 및/또는 x-y 포지션 배향을 도시하는 도 1 에 도시된 인 에어 펜 제스처 시스템의 측면도이다.
도 4c 는 본 명세서에 기재된 기술의 또 다른 구현에 따른 사용자 디바이스 상의 2 차원 (2D) 및/또는 x-y 포지션 배향을 도시하는 도 1 에 도시된 인 에어 펜 제스처 시스템의 측면도이다.
도 5 는 본 명세서에 기재된 기술의 예시의 구현에 따른 사용자 디바이스 상의 2 차원 (2D) 및/또는 x-y 포지션 배향의 몇몇 예들을 도시한다.
도 6 은 본 명세서에 기재된 기술의 구현들에 따른 사용자 디바이스 상의 3 차원 (3D) 및/또는 x-y-z 포지션 배향의 몇몇 예들의 그래픽 표현들을 도시한다.
도 7 은 본 명세서에 기재된 기술의 구현에 따른 펜 제스처 배향 및 롤링/트위스팅 인 에어 제스처를 받고 있는 펜을 도시한다.
도 8 (a) 내지 도 8 (d) 는 본 명세서에서의 기술의 하나 이상의 구현들에 따른 펜을 위한 마이크로 트위스트 제스처를 도시한다.
도 9 는 본 명세서에 기재된 기술에 따른 인 에어 펜 제스처 시스템의 동작을 도시하는 방법의 플로우챠트이다.
상세한 설명은 첨부 도면들을 참조한다. 도면들에 있어서, 참조 번호의 최 좌측 숫자(들) 은 참조 번호가 먼저 나타나는 도면을 식별한다. 같은 피처들 및 컴포넌트들을 참조하기 위해 동일한 번호들이 도면들 전체에 걸쳐 사용된다.
일반적으로, 본 명세서에 기재된 기술의 예시의 구현들은 초음파 펜 시스템을 사용하여 인 에어 제스처 커맨드들을 검출하는 것에 관한 것이다. 본 명세서에서 인 에어 제스처는 사용자 디바이스의 디스플레이 스크린 근방에 있지만, 이와 접촉하지 않는 펜의 사용자에 의해 이루어지는 이동 (movement) 으로서 정의된다. 사용자 디바이스는 펜 및/또는 스타일러스 입력이 사용자 디바이스의 기능들을 제어하도록 한다. 입력들은 (1) 2 차원 (2D) 인 에어 제스처들, (2) 3 차원 (3D) 인 에어 제스처들, (3) 롤링 인 에어 제스처들, (4) 트위스팅 인 에어 제스처들, (5) 마이크로 트위스팅 인 에어 제스처들 등일 수도 있다. 인 에어 제스처들은 볼륨 제어, 스크린 스크롤링, 주밍 (zooming) 등과 같은 기능들을 제어하기 위해 사용자 디바이스에 의해 검출되고 해석된다.
도 1 은 본 명세서에 기재된 기술의 예시의 구현에 따른 인 에어 펜 제스처 시스템 (100) 을 도시한다. 도시된 시스템 (100) 은 사용자 디바이스 (102) 를 포함한다. 사용자 디바이스 (102) 는 스크린 (104) 및 포지션 추적 모듈 (106) 을 포함한다. 포지션 추적 모듈 (106) 은 마이크로폰/자기 코일 어레이 모듈 (108), 삼각측량 모듈 (110), 및 커맨드 실행 모듈 (112) 를 포함한다. 사용자 디바이스 (102) 는 또한 우측 (114), 좌측 (116), 상측 (118), 및 하측 (114) 을 포함한다.
도시된 시스템 (100) 은 펜 (122) 을 포함한다. 펜 (122) 은 팁 (124) 및 종축 (126) 을 포함한다. 펜 (122) 은 종축 (126) 을 따라 배치된 방사기 모듈 (128) 을 포함한다. 방사기 모듈 (128) 은 수개의 자기 방사기들 (130) 및 수개의 초음파 방사기들 (132) 을 포함한다. 방사기 모듈 (128) 은 펜 (122) 의 종축을 따라 배치된다.
하나 이상의 구현들에 있어서, 사용자 디바이스 (102) 는 임의의 사용자 디바이스 및/또는 장비, 예컨대 전화기, 테블릿 컴퓨터, 스마트폰, 패블릿, 랩탑 또는 데스크탑 컴퓨터, 차량 엔터테인먼트 시스템 등일 수도 있다. 사용자 디바이스 (102) 는 음파, 자기파 등의 형태로 에너지를 수신하는 것이 가능할 수도 있다.
하나 이상의 구현들에 있어서, 스크린 (104) 은 사용자가 사용자 디바이스 (102) 와 상호작용하는 것을 가능하게 하는 적절한 임의의 적합한 디스플레이 스크린일 수도 있다. 예를 들어, 스크린 (104) 은 네비게이션의 메커니즘들, 키보드, 아이콘들, 또는 다른 적절한 디스플레이 스크린 아이템들을 가질 수도 있다. 스크린 (104) 은 또한 터치 감지형, 압력 감지형, 전기 감지형, 음향 감지형, 광 감지형 등일 수도 있다.
하나 이상의 구현들에 있어서, 포지션 추적 모듈 (106) 은 펜 (122) 으로부터 스크린 (104) 으로 송신되는 에너지에 의해 이동되는 거리들을 계산할 수 있는 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 그 조합을 포함한다.
하나 이상의 구현들에 있어서, 마이크로폰/자기 코일 어레이 모듈 (108) 은 펜 (122) 으로부터 사용자 디바이스 (102) 로 송신되는 전자기 에너지 및/또는 음파들을 수신하고, 수신된 에너지를 포지션 추적 모듈 (106) 에 의해 사용가능한 신호로 변환할 수 있는 임의의 적절한 트랜스듀서들, 자기 코일들 및/또는 센서들을 포함할 수도 있다.
하나 이상의 구현들에 있어서, 삼각측량 모듈 (110) 은, 스크린 (104) 에 대해 펜 (122) 이 포지셔닝되는 곳 (예를 들어, 스크린 (104) 에 대한 펜 (122) 의 x-y-z 좌표) 을 결정하기 위해 사용자 디바이스 (102) 에서 수신된 에너지에 삼각측량 알고리즘을 적용할 수 있는 임의의 적절한 하드웨어, 소프트웨어, 펌웨어 또는 그 조합을 포함한다.
하나 이상의 구현들에서, 커맨드 실행 모듈 (112) 은 펜 (122) 의 이동 등을 따르며 사용자 디바이스 (102) 에 의해 추적되고 및/또는 검출되는 제스처들의 미리 결정된 세트(들) 에 시스템 (100) 을 노출시킬 수 있는 임의의 적절한 소프트웨어 개발 키트 (SDK) 를 사용하여 구현될 수도 있다. 커맨드 실행 모듈 (112) 은 하기에서 더욱 상세하게 기재된다.
하나 이상의 구현들에 있어서, 펜 (122) 은 본 명세서에 개시된 기술에 따라 사용자 디바이스 (102) 와 상호작용할 수 있는 임의의 적절한 펜, 스타일러스 등일 수도 있다. 자기 방사기들 (130) 및 초음파 방사기들 (132) 을 갖는 것으로 도시되어 있지만, 가속도계들 등과 같은 다른 메커니즘들이 사용될 수도 있다.
하나 이상의 구현들에 있어서, 팁 (124) 은 고무, 마이크로섬유, 금속 등과 같은 임의의 적절한 재료일 수도 있다. 팁 (124) 은 도시된 바와 같이 종축 (126) 을 따라 펜 (122) 의 일 단에 배치된다.
도시된 방사기 모듈 (128) 은 수개의 자기 방사기들 (130) 및 수개의 초음파 방사기들 (132) 을 갖는 것으로 나타나 있다. 하지만, 다른 구현들에 있어서, 방사기 모듈 (128) 은 다른 적절한 에너지 방사기들 (예를 들어, 전자기 에너지 방사기들) 을 포함할 수도 있다.
하나 이상의 구현들에 있어서, 자기 방사기들 (130) 은 알려진 자기장 방향 및 세기를 생성하는 임의의 적절한 디바이스들일 수도 있다. 일 예에서, 자기 방사기들 (130) 은 개방 변압기들일 수도 있다. 일 구현에 있어서, 자기 방사기들 (130) 에서의 개별 자기 방사기들은 펜 (122) 의 종축 (126) 을 따라 서로와 정렬된다.
하나 이상의 구현들에 있어서, 초음파 방사기들 (132) 은 전기 신호를 수신하고, 그 전기 신호를 에너지 (예를 들어, 초음파) 로 변환하고, 그리고 펜 (122) 으로부터 사용자 디바이스 (102) 로 에너지를 송신할 수 있는 임의의 적절한 트랜스듀서들을 포함할 수도 있다. 초음파 방사기들 (132) 에서의 개별 초음파 방사기들은 펜 (122) 의 종축 (126) 을 따라 서로와 정렬된다.
하나 이상의 구현들에 있어서, 시스템 (100) 은 사용자 디바이스 (102) 의 x 축, y 축, 및/또는 z 축을 따라 펜 (122) 의 포지션들을 결정할 수 있다. 일 구현에 있어서, 시스템 (100) 은 다음과 같이 사용자 디바이스 (102) 의 x 축, y 축, 및/또는 z 축을 따라 펜 (122) 의 포지션들을 결정할 수도 있다.
사용자가 스크린 (104) 의 x 축, 스크린 (104) 의 y 축, 및/또는 스크린 (104) 의 z 축을 따라 이동할 때, 초음파 방사기들 (132) 은 초음파 신호들을 생성한다. 마이크로폰/자기 코일 어레이 (108) 에서의 마이크로폰들은 초음파 신호들을 수신하고 그 초음파 신호들을 삼각측량 모듈 (110) 에 커플링한다. 삼각측량 모듈 (110) 은, 펜 (122) 이 스크린 (104) 의 x 축, y 축, 및/또는 z 축에 대해 포지셔닝되는 곳을 결정하기 위해 수신된 초음파 신호들에 임의의 알려진 삼각측량 알고리즘을 적용한다.
포지션 추적 모듈 (106) 은 팁 (124) 으로부터 마이크로폰/자기 코일 어레이 (108) 에서의 마이크로폰들로의 초음파 신호들의 비행 시간에 기초하여 팁 (124) 으로부터 스크린 (104) 까지 초음파 신호들에 의해 이동된 거리를 계산한다. 초음파 신호들에 의해 이동된 거리는 임의의 알려진 TOA (time-of-arrival) 알고리즘 또는 미분 TOA (time-of-arrival) 알고리즘을 사용하여 계산될 수도 있다.
스크린 (104) 의 x 축, y 축, 및/또는 z 축에 대한 펜 (122) 의 포지션 및 초음파 신호들에 의해 이동된 거리를 갖는 사용자 디바이스 (102) 는, 이로써 사용자 디바이스 (102) 의 x 축, y 축, 및/또는 z 축을 따라 펜 (122) 의 포지션들을 식별할 수 있다.
하나 이상의 구현들에 있어서, 시스템 (100) 은 또한 펜 (122) 의 종축 (126) 에 관하여 롤링 및/또는 트위스팅 제스처들을 검출할 수 있다. 일 구현에 있어서, 시스템 (100) 은 다음과 같이 종축 (126) 을 따라 펜 (122) 의 롤링 및/또는 트위스팅 제스처들을 검출한다.
사용자가 펜의 종축 (126) 에 관하여 의도적인 방식으로 소정 수 정도, 즉 1/4 턴, 90 도, 180 도, 360 도 등으로 펜 (122) 을 롤링하거나 트위스팅할 때, 펜 (122) 에서의 자기 방사기 (130) 는 알려진 자기장 방향 및 세기를 생성한다. 자기 방사기 (130) 에 의해 생성된 2 이상의 자기장은 사용자 디바이스 (102) 상의 마이크로폰/자기 코일 어레이 (108) 에서 자기 코일들에 의해 생성되고 추적되는 자기장들과 상호작용한다. 사용자가 회전 (예를 들어, 펜 (122) 을 롤링 또는 트위스팅) 함에 따라, 사용자 디바이스 (102) 에서 수신된 자기장들의 형상/페이즈는 변형한다. 마이크로폰/자기 코일 어레이 (108) 에서의 자기 코일들은 상이한 자기장들의 변형을 검출한다. 자기장들의 변형의 검출은 시스템 (100) 이 종축 (126) 에 관한 펜 (122) 의 바디의 배향을 결정하도록 한다.
대안으로, 가속도계가 종축 (126) 에 관한 펜 (122) 의 바디의 배향 및/또는 펜 (122) 의 롤링 및/또는 트위스팅을 검출하기 위해 사용될 수도 있다. 가속도계는 펜 (122) 바디에 위치될 수도 있다. 펜 (122) 은 초음파 신호들 또는 임의의 다른 적절한 통신 수단, 예컨대 블루투스, 블루투스 저에너지 (BLTE) 등을 사용하여 사용자 디바이스 (102) 의 가속도계로부터 신호를 송신할 수 있다.
하나 이상의 구현들에 있어서, 시스템 (100) 은 또한 종축 (126) 에 관한 펜 (122) 의 마이크로 트위스팅 제스처들을 검출할 수 있다. 마이크로 트위스팅 제스처는 일 방향에서의 짧은 롤링 이동 다음 반대 방향에서의 빠른 롤링 이동을 수반한다.
변수들은, 예를 들어 마이크로 트위스트들의 속도, 변경 방향에서의 빠름, 마이크로 트위스트의 지속기간, 공기 중에서의 펜 (122) 의 위치, 마이크로 트위스트 동안 스크린 (104) 과 관련된 펜 (122) 의 틸트 각도, 및 펜 (122) 의 짧은 회전 거리에 걸친 신속한 엄지 손가락 및 손가락 이동들의 존재를 포함한다.
짧은 회전 거리는 대략 1 도 내지 10 도일 수도 있다. 또 다른 짧은 회전 거리는 대략 11 도 내지 1/4 턴일 수도 있다. 물론, 종축 (126) 에 관한 펜 (122) 의 롤링 제스처들 및 트위스팅 제스처들에 대한 회전 각도들 및/또는 거리들 사이의 미분은 설계 트레이드오프들에 기초하여 결정될 수도 있다.
일 구현에 있어서, 시스템 (100) 은 종축 (126) 에 관한 펜 (122) 의 마이크로 트위스팅 제스처들을 다음과 같이 검출한다. 사용자가 펜 (122) 을 마이크로 트위스팅할 때, 펜 (122) 에서의 자기 방사기들 (130) 은 마이크로 트위스트에 비례하는 알려진 자기장 방향 및 세기를 생성한다. 자기 방사기들 (130) 에 의해 생성된 2 이상의 자기장들은 사용자 디바이스 (102) 상의 마이크로폰/자기 코일 어레이 (108) 에서의 자기 코일들에 의해 생성되고 추적되는 자기장들과 상호작용한다. 사용자가 종축 (126) 에 관하여 펜 (122) 을 마이크로 트위스트할 때, 사용자 디바이스 (102) 에서 수신된 자기장들의 형상/페이즈는 변형한다. 마이크로폰/자기 코일 어레이 (108) 에서의 자기 코일들은 상이한 자기장들의 변형을 검출한다. 자기장들의 변형의 검출은 시스템 (100) 이 종축 (126) 에 관한 펜 (122') 의 바디의 마이크로 트위스팅을 결정하도록 한다.
본 명세서에 개시된 기술의 구현들은 시스템 (100) 이 스크린 (104) 을 표현하는 펜 (122) 의 제스처들을 검출할 수 있는 것에 관하여 기재되었지만, 시스템 (100) 은 사용자 디바이스 (102) 의 주변 상에서 이루어지는 제스처들을 검출할 수 있다. 예를 들어, 펜 (122) 은 펜 (122) 의 우측 (114), 좌측 (116), 상측 (118), 또는 하측 (120) 에 배치될 수 있고, 사용자 디바이스 (102) 는, 펜이 펜 (122) 의 우측 (114), 좌측 (116), 상측 (118), 또는 하측 (120) 근방에 배치될 때, 펜 (122) 으로부터 초음파 및/또는 자기 신호들을 여전히 검출할 수 있다.
일 구현에 있어서, 시스템 (100) 은 사용자 디바이스 (102) 의 우측 (114) 근방에서 다음과 같이 펜 (122) 의 제스처들을 검출할 수도 있다. 사용자가 사용자 디바이스 (102) 의 우측 (114) 근방에서 펜 (122) 을 이동할 때, 초음파 방사기들 (132) 은 초음파 신호들을 생성한다. 마이크로폰/자기 코일 어레이 (108) 에서의 마이크로폰들은 초음파 신호들을 수신하고, 펜 (122) 이 사용자 디바이스 (102) 의 우측 (114) 에 대해 포지셔닝되는 곳을 수신된 초음파 신호들에 대한 삼각 알고리즘이 결정하는, 삼각측량 모듈 (110) 에 이 초음파 신호들을 커플링한다
포지션 추적 모듈 (106) 은 팁 (124) 으로부터 마이크로폰/자기 코일 어레이 (108) 에서의 마이크로폰들로 초음파 신호들의 비행의 시간에 기초하여 팁 (124) 으로부터 스크린 (104) 으로 초음파 신호들에 의해 이동되는 거리를 계산한다. 초음파 신호들에 의해 이동된 거리는 임의의 알려진 TOA (time-of-arrival) 알고리즘 또는 미분 TOA (time-of-arrival) 알고리즘을 사용하여 계산될 수도 있다.
초음파 신호들에 의해 이동되는 거리 및 사용자 디바이스 (102) 의 우측 (114) 에 대한 펜 (122) 의 포지션을 갖는, 사용자 디바이스 (102) 는 이로써 사용자 디바이스 (102) 의 우측 (114) 에 대한 펜 (122) 의 포지션들을 식별할 수 있다.
시스템 (100) 은 사용자 디바이스 (102) 의 우측 (114) 근방에서 펜 (122) 의 제스처들을 결정하는 것과 유사한 방식으로 사용자 디바이스 (102) 의 좌측 (116), 사용자 디바이스 (102) 의 상측 (118) 및 사용자 디바이스 (102) 의 하측 근방에서 펜 (122) 의 제스처들을 결정할 수도 있다.
시스템 (100) 은 또한 펜 (122) 의 틸트 각도를 검출할 수 있다. 예를 들어, 시스템 (100) 은 스크린 (104) 에 관하여 펜 (122) 의 각도를 결정하기 위해 틸트 검출 메커니즘을 포함한다. 본 명세서에 기재된 초음파 펜 기술은 스크린 (104) 에 관한 z 축 포지셔닝 및 스크린 (104) 에 관한 틸트를 추적하기 때문에, "레이저 포인터" 타입 상호작용 또는 "마우스" 타입 상호작용이 가능해질 수 있다. 하지만, 상이한 상호작용 방법들은 사용자가 x-y 제스처들을 어떻게 입력하는지에 약간 영향을 미칠 수도 있다. 예를 들어, 마우스 타입 상호작용에 있어서, 사용자는 펜 (106) 의 틸트 각도와 관련되지 않을 수도 있고 단지 제스처 경로와 팁 (124) 의 절대 x-y 포지션을 매칭할 수도 있다. 레이저 포인터 타입 상호작용에 있어서, 사용자는 스크린 (104) 상에 나타나는 커서로 제스처 경로를 본질적으로 "드로우" 하는 것이 가능할 수도 있다.
틸트 센싱 시스템 (100) 을 인에이블하는 것에 의해, 마우스 이동들과 유사한 스크린 (104) 의 x-y 좌표만을 따라 팁 (124) 포지션을 추적하기 보다 오히려 펜 (122) 은, 스크린 (104) 의 x-y-z 좌표를 따라 포인팅할 수 있다. 틸트 센싱은, 손 및/또는 펜 (122) 바디의 최소 이동으로 스크린 (104) 을 조종하기 위한 메커니즘을 사용자에게 부여하기 때문에 이로울 수도 있다.
일 예로서, 펜 (122) 이 여전히 미리 결정된 범위, 펜 (122) 이동의 적응 양 내에 있는 한, 스크린 (104) 으로부터 더 멀리, z 축을 따라 펜 (122) 은 스크린 상 커서 이동의 동등한 양을 필요로 할 수도 있다. 가령, 펜 (122) 이 스크린 (104) 표면으로부터 1 피트이고 y 방향에서 위로 1 센티미터 이동하는 경우, 이것은 스크린 (104) 상의 y 축을 따라 10 센티미터 커서 이동으로 해석할 수도 있다. 이것을 펜 (122) 이 스크린 (104) 으로부터 10 피트 멀리 있고 y 방향에서 위로 1 센티미터 이동하는 것과 대조한다. 이것은 스크린 (104) 상의 y 축을 따라 백 센티미터 커서 이동으로 해석할 수도 있다.
하나 이상의 구현들에 있어서, 사용자 디바이스 (102)(예를 들어, 포지션 추적 모듈 (106)) 가 사용자 디바이스 (102) 의 x 축, y 축, 및 z 축을 따라 초음파 펜 (122) 의 포지션들을 획득하고, 사용자 디바이스 (102) 의 주변을 따라 포지션들을 획득하며, 및/또는 롤링, 트위스팅, 및/또는 마이크로 트위스팅 제스처들을 검출하면, 사용자 디바이스 (102) 는 그러한 획득된 포지션들에 기초하여 커맨드들을 수행할 수도 있다. 하나 이상의 구현들에 있어서, 제스처 커맨드들은 커맨드 실행 모듈 (112) 을 사용하여 구현될 수도 있다. 가령, 커맨드 실행 모듈 (112) 의 소프트웨어 개발 키트 (SDK) 를 사용하여, 특정 제스처가 검출되었다는 것을 표시하는 이벤트가 생성될 수도 있다. 사용자 디바이스 (102) 의 연관된 어플리케이션 및/또는 동작 시스템은 그 후 특정 사용자 인터페이스 커맨드로 그 이벤트를 해석할 수도 있다.
일 예로서, 사용자가 복잡한 도면을 드로잉하고 있고 사용자가 막 행한 정확한 라인을 사용자가 지우는 것이 약간 어렵게 된다고 가정한다. 통상적으로, 사용자 디바이스는 그 스크린의 그래픽 사용자 인터페이스 (GUI) 상의 UNDO 버튼을 포함한다. 사용자는 원치 않는 라인을 제거하기 위해 UNDO 버튼을 수동으로 선택하게 된다. 본 명세서에 기재된 기술을 사용하여, UNDO 버튼을 터치하여야 하는 대신, 사용자는 펜 (122) 을 빠르게 트위스트 (또는 펜 (122) 을 마이크로 트위스트) 하여 시스템 (100) 의 UNDO 커맨드를 인에이블할 수 있다. 사용자는 원치 않는 라인을 지우기 위해서 사용자 디바이스 (102) 와 직접 물리 접촉하는 펜 (122) 을 갖지 않아도 된다.
대안의 예에 있어서, 사용자가 그 랩 (lap) 에서 시스템 (100) 과 인터넷을 브라우징하고 있다고 가정한다. 통상적으로 사용자 디바이스는 그 스크린의 그래픽 사용자 인터페이스 (GUI) 상의 BACK 버튼을 포함한다. 사용자는 현재 페이지로부터 이전 페이지로 다시 가기 위해서 BACK 버튼을 수동으로 선택하게 된다. 본 명세서에 기재된 기술을 사용하여, BACK 버튼을 터치하여야 하는 대신, 사용자는 펜 (122) 을 빠르게 트위스트하여 시스템 (100) 의 BACK 커맨드를 인에이블할 수 있다. 사용자는 스크린 (104) 이 이전 페이지로 리턴하게 하기 위해서, 사용자 디바이스 (102) 와 직접 물리 접촉하는 펜 (122) 을 갖지 않아도 된다.
다른 예에서, 사용자가 스크린 상의 페이지들을 턴하기를 희망한다고 가정한다. 통상적으로, 사용자는 페이지를 턴하기 위해 스크린의 표면을 따라 펜 팁 또는 손가락 끝 중 어느 하나를 스와이프 (swipe) 하게 된다. 본 명세서에 기재된 기법을 사용하여, 스크린 (104) 을 터치하여야 하는 대신, 사용자는 펜 (122) 을 빠르게 트위스트하여 시스템 (100) 의 PAGE TURN 커맨드를 인에이블할 수 있다. 사용자는 페이지가 턴하게 하기 위해서 사용자 디바이스 (102) 와 직접 물리 접촉하는 펜 (122) 을 갖지 않아도 된다.
도 2 는 사용자 디바이스 (102) 의 스크린 (104) 상의 2 개의 마이크로폰들/자기 코일들 (108A 및 108B) 을 도시하는 시스템 (100) 의 측면도이다. 펜 (122) 은 방사기 (202) 및 방사기 (204) 를 갖는다. 펜 (122) 은 마이크로폰/자기 코일 (108A) 과 접촉하는 위치에 포지셔닝된 그 팁 (124) 을 갖는다.
라인 (206) 은 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다. 라인 (208) 은 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108B) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다. 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간이, 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간 보다 작다는 것을 유의한다.
시스템 (100) 은, 라인 (206) 을 따라 방사기 (202) 로부터의 초음파/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간과, 라인 (208) 을 따라 방사기 (204) 로부터의 초음파 및/쪼는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간 사이의 차이를 이용하여 사용자 디바이스 (102) 에 대한 팁 (124) 의 틸트 각도, 위치, 및 포지션을 결정할 수 있다. 포지션 추적 모듈 (106) 은 사용자 디바이스 (102) 에 대한 팁 (124) 의 틸트 각도, 위치 및 포지션을 결정하고, 상술한 바와 같이, 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 라인 (208) 을 따라 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리/시간을 계산할 수도 있다.
마이크로폰/자기 코일들 (180A 및 180B) 은 팁의 바로 근방은 아니지만 실질적으로 펜 (122) 바디 상의 어느 곳이든 위치될 수도 있다. 부가적으로, 그와 같이 도시되지는 않았지만, 펜 (122) 은 마이크로폰/자기 코일 (108A) 과 접촉하지 않는 위치에 포지셔닝된 그 팁 (124) 을 가질 수 있고, 포지션 추적 모듈 (106) 은 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간과, 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 시간 사이의 차이를 이용하여 사용자 디바이스 (102) 에 대한 팁 (124) 의 틸트 각도, 위치 및 포지션을 결정할 수 있다.
도 3 은 사용자 디바이스 (102) 의 스크린 (104) 상의 4 개의 마이크포폰들/자기 코일들 (108A, 108B, 108B, 및 108D) 를 도시하는 시스템 (100) 의 상면도이다. 펜 (122) 은 방사기 (202) 및 방사기 (204) 를 포함한다. 펜 (122) 은 스크린 (104) 의 중앙 근방의 위치에서 사용자 디바이스 (102) 의 스크린 (104) 위 에 포지셔닝된다.
라인 (302) 은 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다. 라인 (304) 는 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크포폰/자기 코일 (108A) 에 도달하는데 걸리는 시간을 나타낸다.
라인 (306) 은 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크포폰/자기 코일 (108B) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다. 라인 (308) 은 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108B) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다.
라인 (310) 은 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108C) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다. 라인 (312) 은 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108C) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다.
라인 (314) 는 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108D) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다. 라인 (316) 은 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108D) 에 도달하는데 걸리는 거리 및/또는 시간을 나타낸다.
라인 (302) 를 따라 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간이, 라인 (304) 을 따라 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A) 에 도달하는데 걸리는 거리 및/또는 시간 보다 작다는 것을 유의한다. 유사하게, 라인 (306) 를 따라 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108B) 에 도달하는데 걸리는 거리 및/또는 시간이, 라인 (308) 을 따라 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108B) 에 도달하는데 걸리는 거리 및/또는 시간 보다 작다.
마찬가지로, 라인 (310) 을 따라 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108C) 에 도달하는데 걸리는 거리 및/또는 시간이, 라인 (312) 을 따라 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108D) 에 도달하는데 걸리는 거리 및/또는 시간 보다 작다. 부가적으로, 라인 (314) 를 따라 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108D) 에 도달하는데 걸리는 거리 및/또는 시간이, 라인 (316) 을 따라 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108D) 에 도달하는데 걸리는 거리 및/또는 시간 보다 작다.
위에서 기재된 방식에 있어서, 포지션 추적 모듈 (106) 은, 방사기 (202) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A, 108B, 108C 및 108D) 에 도달하는데 걸리는 거리 및/또는 시간과, 방사기 (204) 로부터의 초음파 및/또는 자기 신호가 마이크로폰/자기 코일 (108A, 108B, 108C 및 108D) 에 도달하는데 걸리는 거리 및/또는 시간 사이의 차이를 이용하여 사용자 디바이스 (102) 에 대한 팁 (124) 의 틸트 각도, 위치, 및 포지션을 결정할 수 있다.
도 4a 는 본 명세서에 기재된 기술의 예시의 구현에 따른 사용자 디바이스 (102) 상의 펜 (122) 포지션 배향을 도시하는 시스템 (100) 의 측면도이다. 도시된 구현에 있어서, 펜 (122) 은 스크린 (104) 에 관하여 펜 배향 (PO1) 을 갖는다. 펜 배향 (PO1) 에서의 펜 (122) 은 스크린에 관하여 높이 (Z1) 을 갖는다. 펜 배향 (PO1) 에서의 펜 (122) 은 커서 위치 (C1) 로 그리고 스크린 (104) 상에 포인팅한다. 커서 (C1) 는 스크린 (104) 상에 x-y 축들을 따라 포지션을 정의한다. 높이 (Z1) 는 스크린 (104) 상에 z 축에 관하여 포지션을 정의한다.
사용자 디바이스 (102) 는 배향 (PO1), 높이 (Z1), 및 커서 위치 (C1) 에서 펜 (122) 의 위치를 특정 커맨드로서 해석한다. 예를 들어, 커맨드는 스크린 (104) 상에서 페이지 상의 MOVE ONE LINE UP 으로서 해석될 수도 있다. 대안으로, 커맨드는 스크린 (104) 상에서 페이지 상의 ZOOM IN 으로서 해석될 수도 있다. 대안으로 또한, 커맨드는 사용자 디바이스 (102) 상의 뮤직, 게임, 비디오 플레잉의 INCREASE MEDIA VOLUME 으로서 해석될 수도 있다.
스크린 (104) 에 관한 펜 (122) 의 포지션이 변화하는 경우, 사용자 디바이스 (102) 는 상이한 커맨드로서 포지션을 해석할 수도 있다. 예를 들어, 도 4b 는 본 명세서에 기재된 기술의 대안의 예의 구현에 따른 사용자 디바이스 (102) 상의 펜 (122) 포지션 배향을 도시하는 시스템 (100) 의 측면도이다. 도시된 구현에 있어서, 펜 (122) 은 여전히 스크린 (104) 에 관하여 펜 배향 (PO1) 을 갖는다. 펜 배향 (PO1) 에서의 펜 (122) 은 커서 위치 (C1) 로 그리고 스크린 (104) 상에서 여전히 포인팅한다. 하지만, 펜 배향 (PO1) 에서의 펜 (122) 은 스크린 (104) 에 관하여 상이한 높이, 높이 (Z2) 를 갖는다.
스크린 (104) 상에서 페이지 상의 커맨드 MOVE ONE LINE UP 로서 도 4b 에서의 펜 (122) 의 배향을 해석하기 보다 오히려, 사용자 디바이스는 스크린 (104) 상에서 커맨드 SCROLL TEN PAGES 로서 도 4b 에서의 펜 (122) 의 배향을 해석할 수도 있다. 대안으로, 커맨드는 스크린 (104) 상에서 페이지 상의 ZOOM OUT 으로서 해석될 수도 있다. 대안으로 또한, 커맨드는 사용자 디바이스 (102) 의 INCREASE SYSTEM VOLUME 으로서 해석될 수도 있다.
도 4c 는 본 명세서에 기재된 기술의 또 다른 예시의 구현에 따른 사용자 디바이스 (102) 상의 펜 (122) 포지션 배향을 도시하는 시스템 (100) 의 측면도이다. 도 4c 에 도시된 예에서, 펜 (122) 은 여전히 높이 (Z2) 를 갖는다. 하지만, 펜 (122) 은 스크린 (104) 에 관하여 틸트 각도 (α) 를 생성하는, 상이한 펜 배향 (PO2) 을 갖는다. 펜 (122) 은 또한 상이한 커서 위치 (C2) 로 그리고 스크린 (104) 상에 포인팅한다.
커서 위치 (C1) 로부터 커서 위치 (C2) 로 펜 (122) 을 이동시키는 것이 또한 커맨드로서 해석될 수도 있다. 예를 들어, 커서 위치 (C1) 으로부터 커서 위치 (C2) 로 펜 (122) 을 이동시키는 것은 스크린 (104) 상에서 GO TO THE NEXT PAGE 로서 또한 해석될 수도 있다. 대조적으로, 커서 위치 (C2) 로부터 커서 위치 (C1) 으로 펜 (122) 을 이동시키는 것은 스크린 (104) 상에서 GO TO THE PREVIOUS PAGE 로서 또한 해석될 수도 있다. 커서 위치 (C2) 및 높이 (Z2) 와 조합하여 틸트 각도 (α) 에서 펜 (122) 을 배향하는 것은 또한 상이한 커맨드로서 해석될 수도 있다.
도 5 는 본 명세서에 기재된 기술의 구현들에 따른 사용자 디바이스 (102) 에 관하여 펜 (122) 제스처들의 예를 도시하는 그래픽 표현 (500) 이다. 펜 (122) 제스처들 (502, 504, 506 및 508) 은 단일 선형 제스처들이다. 본 명세서에서 사용된 바와 같이, 선형 제스처는 방향에 있어서의 임의의 단일 이동이다.
도시된 구현에 있어서, 제스처 (510) 는 곡선 제스처이다. 본 명세서에서 사용된 바와 같이, 곡선 제스처는 원의 형태로 나타나는 임의의 제스처일 수도 있다. 하지만, 제스처 (510) 는 단지 곡선의 일 부분일 수도 있다.
도시된 구현에 있어서, 제스처 (512) 는, 곡선 제스처와 결합된 선형 제스처와 같은, 제스처들의 조합일 수도 있다. 제스처 (512) 는 일련의 전후 선형 이동들을 야기하는 선형 조합의 예이다. 이 제스처는 ERASE 또는 UNDO 커맨드를 구현하기 위해 사용될 수도 있다.
대안으로, 조합 제스처는 스크린 (110) 상에서 스크롤링을 가속화하기 위해 사용될 수도 있다. 이것은 펜 (122) 의 상하 이동을 사용하여 구현될 수도 있다.
다른 곡선 조합 예들은, SWITCH-TO-PEN TOOL, SWITCH-TO-BRUSH TOOL 등의 커맨드들을 구현하기 위해 사용될 수도 있는, 사인곡선 제스처 뿐만 아니라, REFRESH ALL 커맨드를 구현하기 위한 일련의 원형 펜 (122) 제스처들을 포함할 수도 있다.
도 6 은 본 명세서에 기재된 기술의 구현들에 따른 3 차원 (3D) 포지션 배향의 몇몇 예들의 그래픽 표현 (600) 이다. 3 차원 제스처 (602) 는 코르크 스크류 (corkscrew) 를 닮은 경로를 포함한다. 이 제스처는, 예를 들어 사용자 디바이스 (102) 상에서 DIG DEEPER INTO A FOLDER HIERARCHY 에 대한 커맨드를 호출하기 위해 사용될 수도 있다.
1 차원 제스처 (604) 는 펜 (122) 을 위 또는 아래로 일직선으로 이동시키는 것을 포함한다. 이 제스처는 스크린(104) 상에서 특정 오브젝트로 ZOOM 또는 이를 SELECT 하기 위한 커맨드를 호출하는데 사용될 수도 있다.
2 차원 제스처 (606) 는 일직선이 아닌 각도 (604 와 같음) 로 펜 (122) 을 이동하는 것을 포함한다. 이 제스처는 "z" 축이었던 뷰 포인트가 오브젝트로부터의 거리를 인코딩하고 측면 이동이 뷰 포인트 또는 카메라의 포지션을 인코딩하는 사용자들을 변화시키기 위한 커맨드를 호출하기 위해 사용될 수도 있다.
도 7 은 본 명세서에 기재된 기술의 구현에 따른 롤링/트위스팅 인 에어 제스처 및 펜 배향 제스처를 겪고 있는 펜 (122) 을 도시한다. 도시된 구현에 있어서, 펜 (122) 은 화살표 (702) 로 나타낸 방향으로 롤링되고 및/또는 트위스팅된다. 펜 (122) 은 펜 (122) 의 종축 (126) 에 관하여 롤링되고 및/또는 트위스팅된다. 사용자는 연관된 커맨드들을 성공적으로 입력하기 위해 의도적인 방식으로, 소정 수 정도, 즉 1/4 턴, 90 도, 180 도, 360 도 등으로 펜 (122) 을 롤링하거나 트위스팅할 수도 있다.
도 8 (a) 내지 도 8 (d) 는 본 명세서에서의 기술의 하나 이상의 구현들에 따른 펜 (122) 에 대한 마이크로 트위스트 제스처를 도시한다. 마이크로 트위스트 제스처는 일 방향에서의 짧은 롤링 이동 다음 반대 방향에서의 빠른 롤링 이동을 수반한다. 변수들은, 예를 들어 트위스트들의 속도, 방향을 변화하는데 있어서의 신속성, 트위스트들의 지속 기간, 에어에서의 펜 (122) 의 포지션, 트위스트 동안 스크린 (104) 에 관한 틸트 각도, 및 신속한 엄지 손가락 및 손가락 이동들의 존재를 포함한다.
마이크로 트위스트 제스처는 3 개의 주요 단계들로 정의될 수도 있다. 도 8 (a) 및 도 8 (b) 에 나타낸 제 1 단계는, 사용자의 손 (802) 에 의한 초기 트위스트 또는 롤링 이동 (즉, 좌측 또는 우측으로) 이다. 사용자의 집게 손가락 (804) 은 집게 손가락 접촉 0 상에 위치되고, 사용자의 엄지 손가락 (806) 은 엄지 손가락 접촉 0 에 위치된다. 펜 (122) 의 이동의 방향은 화살표 (808) 을 따른다.
제 2 단계는 방향에서의 급 정지 및 변화이다. 이것은 도 8 (c) 에 나타나 있는데, 도 8 (c) 에서는 사용자의 집게 손가락 (804) 이 집게 손가락 접촉 0 으로부터 집게 손가락 접촉 1 로 이동되고, 사용자의 엄지 손가락 (806) 은 엄지 손가락 접촉 0 으로부터 엄지 손가락 접촉 1 로 이동된다. 펜 (122) 의 이동의 방향은 화살표 (810) 를 따른다.
제 3 단계는 초기 트위스트의 시작에서 펜 (122) 의 배향에 근접한 반대 방향에서의 역 트위스트이다. 이것은 도 8 (d) 에 나타나 있으며, 도 8 (d) 에서 사용자의 집게 손가락 (804) 은 집게 손가락 접촉 2 로 이동되고 사용자의 엄지 손가락 (806) 은 엄지 손가락 접촉 2 로 이동되며, 이는 집게 손가락 접촉 0 상의 원래 집게 손가락 손가락 (804) 위치 및 엄지 손가락 접촉 0 상의 원래 사용자의 엄지 손가락 (806) 위치를 근사화한다.
도 9 는 본 명세서에 기재된 기술에 따른 시스템 (100) 의 동작을 도시하는 방법 (900) 의 플로우챠트이다.
블록 (902) 에서, 방법 (900) 은 사용자 디바이스 스크린의 x 축을 따라 펜의 포지션을 획득한다. 일 예에서, 사용자 디바이스 (102) 는 사용자 디바이스 스크린 (104) 의 x 축을 따라 펜 (122) 의 포지션을 획득한다.
블록 (904) 에서, 방법 (900) 은 사용자 디바이스 스크린의 y 축을 따라 펜의 포지션을 획득한다. 일 예에서, 사용자 디바이스 (102) 는 사용자 디바이스 스크린 (104) 의 y 축을 따라 펜 (122) 의 포지션을 획득한다.
블록 (906) 에서, 방법 (900) 은 사용자 디바이스 스크린의 z 축을 따라 펜의 포지션을 획득한다. 일 예에서, 사용자 디바이스 (102) 는 사용자 디바이스 스크린 (104) 의 z 축을 따라 펜 (122) 의 포지션을 획득한다.
블록 (908) 에서, 방법 (900) 은 선택적으로 사용자 디바이스 스크린에 관하여 펜의 종축 포지션을 획득한다. 일 예에서, 사용자 디바이스 (102) 는 사용자 디바이스 스크린 (104) 에 관하여 펜 (122) 의 종축 포지션을 획득한다.
블록 (910) 에서, 방법 (900) 은 획득된 포지션들에 기초하여 커맨드를 수행한다. 일 예에서, 사용자 디바이스 (102) 는 사용자 디바이스 (102) 에서의 인터넷 브라우징, e 북 페이지 터닝과 관련된 커맨드들을 수행하기 위해 x, y, z 방향들에서 펜 (122) 의 제스처들에 대응한다.
본 명세서에 기재된 기술의 양태들 및 관련 도면들은 기술의 특정 구현들로 지향된다. 대안의 구현들은 본 명세서에 기재된 기술의 범위를 벗어나지 않으면서 창안될 수도 있다. 부가적으로, 기술의 주지된 엘리먼트들은 관련 상세들을 모호하게 하지 않도록 상세하게 설명되지 않을 것이고 또는 생략될 것이다.
이 개시물에서는 다양한 방법들의 단계들 및 결정들이 연속적으로 기재되어 있을 수도 있지만, 이들 단계들 및 결정들의 일부는, 결합으로 또는 병렬로, 비동기로 또는 동기로, 파이프라인된 방식으로, 또는 다른 것이든, 별도의 엘리먼트들에 의해 수행될 수도 있다. 단계들 및 결정들은, 명시적으로 그렇게 표시되고, 그렇지 않으면 컨텍스트로부터 명백하거나, 또는 본질적으로 필요한 경우를 제외하고, 이 개시가 이들을 나열하는 것과 동일한 순서로 수행되어야 하는 특정 요건은 없다. 하지만, 상술한 선택된 변형들에 있어서, 단계들 및 결정들은 상술한 순서로 수행된다는 것을 유의해야 한다. 또한, 본 명세서에 기재된 기술에 따른 모든 구현/변형에 있어서 모든 도시된 단계 및 결정이 필요하지 않을 수도 있는 한편, 구체적으로 예시되지 않았던 일부 단계들 및 결정들이 본 명세서에 기재된 기술에 따른 일부 구현/변형들에 바람직하거나 필요할 수도 있다.
당업자는 정보 및 신호들은 여러 상이한 기술들 및 기법들을 사용하여 나타낼 수도 있다는 것을 이해한다. 예를 들어, 위의 기재 전체에 걸쳐 언급될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압, 전류, 전자기파, 자기장 또는 자기 입자, 광학장 또는 광학 입자, 또는 이들의 조합으로 나타낼 수도 있다.
당업자는 또한, 본 명세서에 개시된 구현들과 관련하여 기재된 여러 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로서 구현될 수도 있음을 이해하게 된다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명백히 나타내기 위해서, 여러 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들은 그 기능에 관하여 위에서 일반적으로 기재되었다. 그러한 기능이 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합인지 여부는 전체 시스템에 부과된 설계 제약들 및 특정 어플리케이션에 의존한다. 당업자들은 각각의 특정 어플리케이션에 대해 다양한 방식들로 기재된 기능을 구현할 수도 있지만, 그러한 구현 결정들은 본 명세서에 기재된 현재 기술의 범위로부터의 일탈을 야기하지 않은 것으로서 해석되어야 한다.
본 명세서에 개시된 구현들과 관련하여 기재된 여러 예시적인 논리 블록들, 모듈들 및 회로들은 본 명세서에 기재된 기능들을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서 (DPS), 어플리케이션 특정 집적 회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA), 또는 다른 프로그램가능 논리 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 그 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 협력하는 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
본 명세서에 개시된 양태들과 관련하여 기재된 방법 또는 알고리즘의 단계들은 하드웨어로 직접, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들 2 개의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 탈착가능 디스크, CD-ROM 또는 종래에 알려진 저장 매체의 임의의 다른 형태에 상주할 수도 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 저장하도록 프로세서에 커플링된다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 은 액세스 단말기에 상주할 수도 있다. 대안으로, 프로세서 및 저장 매체는 액세스 단말기에서 이산 컴포넌트들로서 상주할 수도 있다.
개시된 구현들의 이전 기재는 당업자가 본 명세서에 기재된 기술을 행하거나 사용하는 것을 가능하게 하기 위해 제공된다. 이들 구현들에 대한 다양한 수정들이 당업자에게 쉽게 명백할 것이고, 본 명세서에 정의된 일반적인 원리들은 본 명세서에 기재된 기술의 사상 또는 범위로부터 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 따라서, 본 명세서에 기재된 기술의 양태들은 본 명세서에 나타낸 구현들에 제한되는 것으로 의도되는 것이 아니라, 본 명세서에 개시된 원리들 및 신규 피처들을 따르는 광범위한 범위에 부합되는 것이다.

Claims (28)

  1. 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하는 방법으로서,
    상기 사용자 디바이스의 x 축을 따라 상기 초음파 펜의 포지션을 획득하는 단계;
    상기 사용자 디바이스의 y 축을 따라 상기 초음파 펜의 포지션을 획득하는 단계;
    상기 사용자 디바이스의 z 축을 따라 상기 초음파 펜의 포지션을 획득하는 단계; 및
    획득된 상기 포지션들에 기초하여 커맨드를 수행하는 단계를 포함하는, 제스처 커맨드들을 검출하는 방법.
  2. 제 1 항에 있어서,
    상기 포지션들을 획득하는 단계는,
    초음파 신호를 수신하는 단계;
    상기 초음파 신호에 의해 이동된 거리를 계산하는 단계; 및
    계산된 상기 거리에 기초하여 상기 획득된 포지션들을 식별하는 단계를 포함하는, 제스처 커맨드들을 검출하는 방법.
  3. 제 1 항에 있어서,
    제 1 계산된 거리는 제 1 커맨드와 연관되고, 제 2 계산된 거리는 상기 제 1 커맨드와 상이한 제 2 커맨드와 연관되는, 제스처 커맨드들을 검출하는 방법.
  4. 제 1 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 상측 또는 하측으로부터 획득되는, 제스처 커맨드들을 검출하는 방법.
  5. 제 1 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 좌측 또는 우측으로부터 획득되는, 제스처 커맨드들을 검출하는 방법.
  6. 제 1 항에 있어서,
    상기 펜의 종축에 관하여 상기 초음파 펜의 롤링 또는 트위스팅 제스처를 획득하는 단계; 및
    획득된 상기 롤링 또는 트위스팅 제스처에 기초하여 상기 롤링 또는 트위스팅 제스처와 연관된 커맨드를 수행하는 단계를 포함하는, 제스처 커맨드들을 검출하는 방법.
  7. 제 1 항에 있어서,
    상기 펜의 종축에 관하여 상기 초음파 펜의 마이크로 트위스팅 제스처를 획득하는 단계; 및
    획득된 상기 마이크로 트위스팅 제스처에 기초하여 상기 마이크로 트위스팅 제스처와 연관된 커맨드를 수행하는 단계를 더 포함하는, 제스처 커맨드들을 검출하는 방법.
  8. 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하기 위한 장치로서,
    상기 사용자 디바이스의 x 축을 따라, 상기 사용자 디바이스의 y 축을 따라, 그리고 상기 사용자 디바이스의 z 축을 따라 상기 초음파 펜의 포지션을 획득하도록 구성된 마이크로폰 어레이; 및
    획득된 상기 포지션들에 기초하여 커맨드를 수행하도록 구성된 커맨드 실행 모듈을 포함하는, 제스처 커맨드들을 검출하기 위한 장치.
  9. 제 8 항에 있어서,
    상기 마이크로폰 어레이는 또한, 초음파 신호를 수신하도록 구성되고,
    상기 삼각측량 모듈은 또한, 상기 초음파 신호에 의해 이동된 거리를 계산하고, 그리고 계산된 상기 거리에 기초하여 상기 획득된 포지션들을 식별하도록 구성되는, 제스처 커맨드들을 검출하기 위한 장치.
  10. 제 9 항에 있어서,
    제 1 계산된 거리는 제 1 커맨드와 연관되고, 제 2 계산된 거리는 상기 제 1 커맨드와 상이한 제 2 커맨드와 연관되는, 제스처 커맨드들을 검출하기 위한 장치.
  11. 제 8 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 좌측 또는 우측으로부터 획득되는, 제스처 커맨드들을 검출하기 위한 장치.
  12. 제 8 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 상측 또는 하측으로부터 획득되는, 제스처 커맨드들을 검출하기 위한 장치.
  13. 제 8 항에 있어서,
    상기 펜의 종축에 관하여 상기 초음파 펜의 롤링 또는 트위스팅 제스처를 획득하도록 구성된 자기 코일 어레이를 더 포함하고,
    상기 커맨드 실행 모듈은 또한, 획득된 상기 롤링 또는 트위스팅 제스처에 기초하여 상기 롤링 또는 트위스팅 제스처와 연관된 커맨드를 수행하도록 구성되는, 제스처 커맨드들을 검출하기 위한 장치.
  14. 제 8 항에 있어서,
    상기 펜의 종축에 관하여 상기 초음파 펜의 마이크로 트위스팅 제스처를 획득하도록 구성된 자기 코일 어레이를 더 포함하고,
    상기 커맨드 실행 모듈은 또한, 획득된 상기 마이크로 트위스팅 제스처에 기초하여 상기 마이크로 트위스팅 제스처와 연관된 커맨드를 수행하도록 구성되는, 제스처 커맨드들을 검출하기 위한 장치.
  15. 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하기 위한 장치로서,
    상기 사용자 디바이스의 x 축을 따라, 상기 사용자 디바이스의 y 축을 따라, 그리고 상기 사용자 디바이스의 z 축을 따라 상기 초음파 펜의 포지션을 획득하는 수단; 및
    획득된 상기 포지션들에 기초하여 커맨드를 수행하는 수단을 포함하는, 제스처 커맨드들을 검출하기 위한 장치.
  16. 제 15 항에 있어서,
    상기 포지션들을 획득하는 것은,
    초음파 신호를 수신하는 수단;
    상기 초음파 신호에 의해 이동된 거리를 계산하는 수단; 및
    계산된 상기 거리에 기초하여 상기 획득된 포지션들을 식별하는 수단을 포함하는, 제스처 커맨드들을 검출하기 위한 장치.
  17. 제 16 항에 있어서,
    제 1 계산된 거리는 제 1 커맨드와 연관되고, 제 2 계산된 거리는 상기 제 1 커맨드와 상이한 제 2 커맨드와 연관되는, 제스처 커맨드들을 검출하기 위한 장치.
  18. 제 15 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 상측 또는 하측으로부터 획득되는, 제스처 커맨드들을 검출하기 위한 장치.
  19. 제 15 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 좌측 또는 우측으로부터 획득되는, 제스처 커맨드들을 검출하기 위한 장치.
  20. 제 15 항에 있어서,
    상기 펜의 종축에 관하여 상기 초음파 펜의 롤링 또는 트위스팅 제스처를 획득하는 수단; 및
    획득된 상기 롤링 또는 트위스팅 제스처에 기초하여 상기 롤링 또는 트위스팅 제스처와 연관된 커맨드를 수행하는 수단을 더 포함하는, 제스처 커맨드들을 검출하기 위한 장치.
  21. 제 15 항에 있어서,
    상기 펜의 종축에 관하여 상기 초음파 펜의 마이크로 트위스팅 제스처를 획득하는 수단; 및
    획득된 상기 마이크로 트위스팅 제스처에 기초하여 상기 마이크로 트위스팅 제스처와 연관된 커맨드를 수행하는 수단을 더 포함하는, 제스처 커맨드들을 검출하기 위한 장치.
  22. 머신에 의해 액세스될 때, 상기 머신으로 하여금, 초음파 펜 및 사용자 디바이스를 사용하여 제스처 커맨드들을 검출하기 위한 동작들을 수행하게 하는 정보를 포함하는 컴퓨터 판독가능 저장 매체로서,
    상기 동작들은,
    상기 사용자 디바이스의 x 축을 따라, 상기 사용자 디바이스의 y 축을 따라, 그리고 상기 사용자 디바이스의 z 축을 따라 상기 초음파 펜의 포지션을 획득하는 것; 및
    획득된 상기 포지션들에 기초하여 커맨드를 수행하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  23. 제 22 항에 있어서,
    상기 포지션들을 획득하는 것은,
    초음파 신호를 수신하는 것;
    상기 초음파 신호에 의해 이동된 거리를 계산하는 것; 및
    계산된 상기 거리에 기초하여 상기 획득된 포지션들을 식별하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    제 1 계산된 거리는 제 1 커맨드와 연관되고, 제 2 계산된 거리는 상기 제 1 커맨드와 상이한 제 2 커맨드와 연관되는, 컴퓨터 판독가능 저장 매체.
  25. 제 22 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 좌측 또는 우측으로부터 획득되는, 컴퓨터 판독가능 저장 매체.
  26. 제 22 항에 있어서,
    상기 포지션들은 상기 사용자 디바이스의 상측 또는 하측으로부터 획득되는, 컴퓨터 판독가능 저장 매체.
  27. 제 22 항에 있어서,
    상기 머신에 의해 액세스될 때, 상기 머신으로 하여금,
    상기 펜의 종축에 관하여 상기 초음파 펜의 롤링 또는 트위스팅 제스처를 획득하는 것; 및
    획득된 상기 롤링 또는 트위스팅 제스처에 기초하여 상기 롤링 또는 트위스팅 제스처와 연관된 커맨드를 수행하는 것의
    동작들을 수행하게 하는 정보를 더 포함하는, 컴퓨터 판독가능 저장 매체.
  28. 제 22 항에 있어서,
    상기 머신에 의해 액세스될 때, 상기 머신으로 하여금,
    상기 펜의 종축에 관하여 상기 초음파 펜의 마이크로 트위스팅 제스처를 획득하는 것; 및
    획득된 상기 마이크로 트위스팅 제스처에 기초하여 상기 마이크로 트위스팅 제스처와 연관된 커맨드를 수행하는 것
    의 동작들을 수행하게 하는 정보를 더 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020167024203A 2014-02-21 2015-02-20 인 에어 초음파 펜 제스처들 Abandoned KR20160124786A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461943261P 2014-02-21 2014-02-21
US61/943,261 2014-02-21
US14/626,198 2015-02-19
US14/626,198 US9720521B2 (en) 2014-02-21 2015-02-19 In-air ultrasound pen gestures
PCT/US2015/016758 WO2015127167A1 (en) 2014-02-21 2015-02-20 In-air ultrasound pen gestures

Publications (1)

Publication Number Publication Date
KR20160124786A true KR20160124786A (ko) 2016-10-28

Family

ID=52597308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167024203A Abandoned KR20160124786A (ko) 2014-02-21 2015-02-20 인 에어 초음파 펜 제스처들

Country Status (7)

Country Link
US (1) US9720521B2 (ko)
EP (1) EP3108353A1 (ko)
JP (1) JP6617111B2 (ko)
KR (1) KR20160124786A (ko)
CN (1) CN105980966B (ko)
CA (1) CA2937956A1 (ko)
WO (1) WO2015127167A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050604A1 (ko) * 2020-09-07 2022-03-10 삼성전자 주식회사 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
KR20230105601A (ko) * 2022-01-04 2023-07-11 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
US9639213B2 (en) 2011-04-26 2017-05-02 Sentons Inc. Using multiple signals to detect touch input
US9189109B2 (en) 2012-07-18 2015-11-17 Sentons Inc. Detection of type of object used to provide a touch contact input
US9477350B2 (en) 2011-04-26 2016-10-25 Sentons Inc. Method and apparatus for active ultrasonic touch devices
US11327599B2 (en) 2011-04-26 2022-05-10 Sentons Inc. Identifying a contact type
CN104169847B (zh) 2011-11-18 2019-03-12 森顿斯公司 局部触觉反馈
US11340124B2 (en) 2017-08-14 2022-05-24 Sentons Inc. Piezoresistive sensor for detecting a physical disturbance
KR101850680B1 (ko) 2011-11-18 2018-04-20 센톤스 아이엔씨. 터치 입력 힘 검출
US9459715B1 (en) 2013-09-20 2016-10-04 Sentons Inc. Using spectral control in detecting touch input
US10725550B2 (en) 2014-01-07 2020-07-28 Nod, Inc. Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data
US10338685B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using relative coordinate system boundaries
US10338678B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor
US10048811B2 (en) * 2015-09-18 2018-08-14 Sentons Inc. Detecting touch input provided by signal transmitting stylus
US10908741B2 (en) 2016-11-10 2021-02-02 Sentons Inc. Touch input detection along device sidewall
US10296144B2 (en) 2016-12-12 2019-05-21 Sentons Inc. Touch input detection with shared receivers
CN106781849A (zh) * 2016-12-16 2017-05-31 崔熙媛 一种激光笔及其控制方法
US10126877B1 (en) 2017-02-01 2018-11-13 Sentons Inc. Update of reference data for touch input detection
US10585522B2 (en) 2017-02-27 2020-03-10 Sentons Inc. Detection of non-touch inputs using a signature
US10281994B2 (en) * 2017-06-16 2019-05-07 Anousheh Sayah Smart wand device
CN107368189A (zh) * 2017-07-14 2017-11-21 信利光电股份有限公司 一种实现三维触控功能的触控显示装置及方法
US11580829B2 (en) 2017-08-14 2023-02-14 Sentons Inc. Dynamic feedback for haptics
CN109032387B (zh) * 2018-07-18 2021-07-06 华讯智控(厦门)电子科技有限公司 一种通过超声波跟电磁定位双传感器检测笔身姿态的方法
US10386481B1 (en) * 2018-07-19 2019-08-20 King Abdullah University Of Science And Technology Angle-of-arrival-based gesture recognition system and method
JP7280682B2 (ja) * 2018-10-24 2023-05-24 東芝テック株式会社 サイン入力装置、決済端末、プログラム、サイン入力方法
KR20200115889A (ko) * 2019-03-28 2020-10-08 삼성전자주식회사 전자 펜을 통한 사용자 입력에 기초하여 동작을 실행하는 전자 디바이스 및 그 동작 방법
CN110764612B (zh) * 2019-10-08 2023-09-08 Oppo（重庆）智能科技有限公司 超声波处理方法、装置、电子设备及计算机可读介质
DE102020113382A1 (de) 2020-05-18 2021-11-18 Bayerische Motoren Werke Aktiengesellschaft Aktivieren eines automatisierten Parkmanövers mittels einer mit einem mobilen Kommunikationsgerät durchgeführten Aktivierungsbewegung
KR20220017143A (ko) 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치 및 이의 전자 펜 포인터를 표시하는 방법
KR20220051725A (ko) 2020-10-19 2022-04-26 삼성전자주식회사 전자 펜 장치의 동작을 제어하기 위한 전자 장치, 전자 장치에서의 동작 방법 및 비일시적 저장 매체
US11989359B1 (en) 2023-01-24 2024-05-21 Kyndryl, Inc. Virtualization of digital crown actions based on actions performed with an electronic pen

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL96620A0 (en) 1990-12-23 1991-09-16 Marc Zuta Electrical input device and method
US5308936A (en) * 1992-08-26 1994-05-03 Mark S. Knighton Ultrasonic pen-type data input device
DE69426919T2 (de) * 1993-12-30 2001-06-28 Xerox Corp Gerät und Verfahren zur Ausführung von vielen verkettenden Befehlsgesten in einen System mit Gestenbenutzerschnittstelle
US6717073B2 (en) 2000-12-29 2004-04-06 Intel Corporation Wireless display systems, styli, and associated methods
JP4590114B2 (ja) * 2001-02-08 2010-12-01 キヤノン株式会社 座標入力装置及びその制御方法、記録媒体
AU2003219506B2 (en) * 2002-04-15 2009-02-05 Qualcomm Incorporated Method and system for obtaining positioning data
JP4006290B2 (ja) * 2002-07-30 2007-11-14 キヤノン株式会社 座標入力装置、座標入力装置の制御方法、プログラム
JP4146188B2 (ja) * 2002-08-15 2008-09-03 富士通株式会社 超音波型座標入力装置
US20040240739A1 (en) 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
JP2007004614A (ja) * 2005-06-24 2007-01-11 Sharp Corp 座標入力ペンおよびそれを備えた座標入力装置
JP2008217179A (ja) * 2007-02-28 2008-09-18 Pentel Corp 筆跡入力システム
US20090044153A1 (en) * 2007-08-06 2009-02-12 Nokia Corporation User interface
US20130009907A1 (en) * 2009-07-31 2013-01-10 Rosenberg Ilya D Magnetic Stylus
US8730190B2 (en) 2011-01-13 2014-05-20 Qualcomm Incorporated Detect motion generated from gestures used to execute functionality associated with a computer system
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US20130321348A1 (en) 2011-02-25 2013-12-05 Sharp Kabushiki Kaisha Pen tablet device, and pen tablet system
CN103502909A (zh) * 2011-04-27 2014-01-08 松下电器产业株式会社 电子设备
US9195351B1 (en) 2011-09-28 2015-11-24 Amazon Technologies, Inc. Capacitive stylus
US9201521B2 (en) 2012-06-08 2015-12-01 Qualcomm Incorporated Storing trace information
US20140035886A1 (en) * 2012-07-31 2014-02-06 Research In Motion Limited Apparatus and Method to Determine an Angle of Inclination and/or Rotation of a Stylus
US20140218343A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Stylus sensitive device with hover over stylus gesture functionality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050604A1 (ko) * 2020-09-07 2022-03-10 삼성전자 주식회사 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
KR20230105601A (ko) * 2022-01-04 2023-07-11 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
JP6617111B2 (ja) 2019-12-04
EP3108353A1 (en) 2016-12-28
CA2937956A1 (en) 2015-08-27
US20150242002A1 (en) 2015-08-27
US9720521B2 (en) 2017-08-01
JP2017506392A (ja) 2017-03-02
CN105980966B (zh) 2019-07-30
CN105980966A (zh) 2016-09-28
WO2015127167A1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
JP6617111B2 (ja) 空中超音波ペンジェスチャー
US12073008B2 (en) Three-dimensional object tracking to augment display area
US10649552B2 (en) Input method and electronic device using pen input device
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US8525780B2 (en) Method and apparatus for inputting three-dimensional location
US10956030B2 (en) Multi-touch based drawing input method and apparatus
TR201810307T4 (tr) Dokunmaya duyarlı kaydırma yöntemi ve sistemi.
CN109002201B (zh) 在电子呈现系统中拒绝无关触摸输入
CN105488832B (zh) 光学数字尺
KR101580570B1 (ko) 터치 센서 패널의 제어방법 및 제어장치
Costagliola et al. Gesture‐Based Computing
JP2013069195A (ja) ポインタを用いた指による操作が可能なユーザインタフェース装置、動作発動方法及びプログラム
JP2010086367A (ja) 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
US20170285770A1 (en) Enhanced user interaction with a device
CN115904063A (zh) 非接触式人机交互笔笔迹生成方法、装置、设备及系统
EP2677401B1 (en) Image data generation using a handheld electronic device
KR20190063346A (ko) 스크린 상의 포인터를 이용한 터치 스크린 조작 방법 및 이를 수행하기 위한 전자기기
KR20170012804A (ko) 터치 입력의 트레이스 기반 링 유저 인터페이스의 입력 방법, 애플리케이션 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20160901

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200203

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210125

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210713

PC1904 Unpaid initial registration fee