[go: up one dir, main page]

KR20120024247A - 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치 - Google Patents

사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치 Download PDF

Info

Publication number
KR20120024247A
KR20120024247A KR1020100087038A KR20100087038A KR20120024247A KR 20120024247 A KR20120024247 A KR 20120024247A KR 1020100087038 A KR1020100087038 A KR 1020100087038A KR 20100087038 A KR20100087038 A KR 20100087038A KR 20120024247 A KR20120024247 A KR 20120024247A
Authority
KR
South Korea
Prior art keywords
gesture
information
mobile device
user
context
Prior art date
Application number
KR1020100087038A
Other languages
English (en)
Inventor
김영석
이경은
고준호
전해식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100087038A priority Critical patent/KR20120024247A/ko
Priority to JP2013528111A priority patent/JP2013539579A/ja
Priority to PCT/KR2011/006534 priority patent/WO2012033312A1/en
Priority to CN201180042930.8A priority patent/CN103109249B/zh
Priority to EP11823745.2A priority patent/EP2614418B1/en
Priority to US13/225,944 priority patent/US8831636B2/en
Publication of KR20120024247A publication Critical patent/KR20120024247A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H04M1/72472—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons wherein the items are sorted according to specific criteria, e.g. frequency of use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하고, 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행하는 이동 장치를 동작하는 방법 및 그 이동 장치가 개시된다.

Description

사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치{Method for operating a mobile device by recognizing a user gesture and the mobile device thereof}
본 발명은 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치에 관한 것으로서, 더욱 상세하게는 상황 정보에 기반하여, 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치에 관한 것이다.
최근 스마트 폰을 위시한 다양한 이동 장치(Mobile Device)가 보급되어감에 따라서 다양한 서비스들이 제공되고 있다. 그 중 대표적인 예가 제스처 인식 서비스이다. 이동 장치를 사용해서 미리 정의 된 제스처를 수행하는 경우, 이동 장치에서 어플리케이션 동작(application action)을 수행하도록 하는 것이다.
종래 기술은 다양한 제스처를 사용하여 여러 어플리케이션 동작을 손 쉽게 수행할 수 있었다. 그러나 종래 기술은 특정 제스처를 특정 장소 또는 시간 등과 같은 주변 상황 정보와 연관 시키는 것이 불가능하다는 문제점이 있었다.
본 발명이 해결하고자 하는 기술적 과제는 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치를 제공하는데 있고, 상기 방법을 실행시키기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따르면 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법은, 상기 사용자의 제스처 및 상황 정보를 인식하는 단계; 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하는 단계; 및 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행하는 단계를 포함한다.
본 발명의 일 실시예에 따르면 상기 상황 정보는, 상기 사용자의 제스처를 인식한 시간 및 그 시간에서의 상기 이동 단말의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보일 수 있다.
본 발명의 일 실시예에 따르면 상기 어플리케이션 동작은, 상기 인식된 제스처 및 상기 상황 정보의 조합에 따라 상이할 수 있다.
본 발명의 일 실시예에 따르면 상기 사용자의 제스처 및 상황 정보를 인식하는 단계는, 사용자의 제스처를 감지하고, 감지한 제스처를 기 저장된 복수의 제스처들과 비교하여, 상기 감지된 제스처와 대응하는 제스처를 판정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면 가속도계, 자이로스코프, 카메라, 거리 측정기, 지자기 센서, 압력 센서, 터치스크린 중 적어도 하나를 사용하여 상기 사용자의 제스처를 감지할 수 있다.
본 발명의 일 실시예에 따르면 상기 이동 장치 동작 방법은, 상기 인식된 제스처 및 상황 정보를 제공하고, 상기 인식된 제스처 및 상황 정보의 인식 오류 여부에 대한 사용자 피드백 정보를 수신하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면 상기 상황 정보는, 개인정보 관리시스템(PIMS: personal information management system)과 연동하여 획득될 수 있다.
본 발명의 일 실시 예에 따르면 상기 시간 정보는, 상기 이동 장치에 탑재된, 조도 센서 및 시계를 통해 획득될 수 있다.
본 발명의 일 실시 예에 따르면 상기 위치 정보는 상기 이동 장치에 탑재된, GPS 수신 인터페이스, 와이파이(Wifi: Wireless Fidelity　) 인터페이스, 및 셀룰라 인터페이스 중 적어도 하나의 인터페이스를 통해 획득될 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시 예에 따르면 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법은, 상기 사용자의 제스처 및 상황 정보를 인식하는 단계; 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하는 단계; 상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작들 중 하나를 매핑하는 단계; 및 상기 매핑되는 상황 기반 제스처 정보와 어플리케이션 동작을 저장하는 단계를 포함한다.
본 발명의 다른 실시예에 따르면 상기 상황 정보는, 상기 이동 장치가 상기 매핑되는 어플리케이션 동작을 수행하는 시간 및 그 시간에서의 상기 이동 장치의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보일 수 있다.
본 발명의 다른 실시예에 따르면 상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작들 중 하나를 매핑하는 단계는, 상기 복수의 어플리케이션 동작들을 포함한 어플리케이션 동작 리스트를 제공하는 단계; 사용자 입력 신호에 기반하여, 상기 제공된 어플리케이션 동작 리스트에서 어플리케이션 동작을 선택하는 단계; 및 상기 상황 기반 제스처 정보와 상기 선택된 어플리케이션 동작을 매핑하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 실시 예에 따르면 사용자의 제스처를 인식하여 동작하는 이동 장치는, 상기 사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하며, 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행하는 제스처 실행부를 구비할 수 있다.
본 발명의 또 다른 실시 예에 따르면 상기 상황 정보는, 상기 사용자의 제스처를 인식한 시간 및 그 시간에서의 상기 이동 단말의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보일 수 있다.
본 발명의 또 다른 실시 예에 따르면 상기 어플리케이션 동작은, 상기 인식된 제스처 및 상기 상황 정보의 조합에 따라 상이할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 상기 이동 장치는, 상기 인식된 제스처, 및 상황 정보를 제공하는 제공부; 및 상기 인식된 제스처, 및 상황 정보의 인식 오류 여부에 대한 사용자 피드백 정보를 수신하는 입력부를 더 구비할 수 있다.
본 발명의 또 다른 실시 예에 따르면 상기 제공부는 디스플레이부일 수 있다.
본 발명의 또 다른 실시 예에 따르면, 상기 이동 장치는, 개인정보 관리시스템(PIMS: personal information management system)과 연동하여 상기 상황 정보를 획득하는 상황 정보 획득부를 더 구비할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 상기 이동 장치는, 상기 사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하고, 상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작 중 하나를 매핑하여, 상기 매핑되는 상황 기반 제스처 정보와 어플리케이션 동작을 메모리에 저장하는 제스처 설정부를 더 구비하고, 상기 제스처 실행부는, 상기 매핑되는 어플리케이션 동작을 실행할 수 있다.
또한, 본 발명의 또 다른 실시 예에 따르면 상기 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.
도 1은 본 발명의 일 실시 예에 따른 상황 기반 제스처 정보와 그에 대응하는 어플리케이션 동작을 등록하는 방법을 개략적으로 설명한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 상황 기반 제스처 정보에 대응하는 어플리케이션 동작을 실행하는 방법을 설명한 흐름도이다.
도 3a, 도 3b, 및도 3c는 본 발명의 일 실시 예에 따른 위치 기반 제스처 정보를 생성하고 어플리케이션 동작을 등록하는 방법을 개략적으로 도시한 것이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 위치 기반 제스처 정보 정보에 대응하는 어플리케이션 동작을 실행하는 방법을 개략적으로 도시한 것이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 시간 기반 제스처 정보에 대응하는 어플리케이션 동작을 실행하는 방법을 개략적으로 도시한 것이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 감정 기반 제스처 정보에 기반하여 이동 장치를 동작하는 방법을 개략적으로 도시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 이동 장치의 개략적인 블록도이다.
도 8은 도 7의 이동 장치가 사용자 피드백 정보를 획득하는 방법을 도시한 개략적인 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 상황 기반 제스처 정보와 그에 대응하는 어플리케이션 동작을 등록하는 방법을 상세히 설명한 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 상황 기반 제스처 정보에 대응하는 어플리케이션 동작을 실행하는 방법을 상세히 설명한 흐름도이다.
본 발명의 실시 예에 대한 이하의 설명에서, 본 명세서의 일부를 형성하는 첨부된 도면에 대한 참조가 이루어지며, 발명이 실시될 수 있는 다수의 특정한 실시 예들을 예시의 방법으로 나타낸다. 기타의 실시 예들이 이용될 수도 있으며, 본 발명의 범주를 벗어나지 않고도 구조적인 변경이 이루어질 수 있음을 이해해야 한다.
본 발명은 첨부된 도면에 도시되며, 이는 한정이 아닌 예시로서 간주되어야 한다. 본 명세서 및 도면들에서, 실질적으로 동일한 기능 구성을 가지는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
도 1 및 도 2는 본 발명의 일 실시 예에 따른 이동 장치를 동작하는 방법을 개략적으로 설명한 흐름도이다.
특히, 도 1은 본 발명의 일 실시 예에 따른 상황 기반 제스처 정보와 그에 대응하는 어플리케이션 동작을 등록하는 방법을 개략적으로 설명한 흐름도이다. 본 발명에 따른 이동 장치는, 이동 전화기, 개인 휴대 정보 단말기(PDA), 스틸 카메라, 비디오 카메라, 휴대용 계산기, 휴대형 라디오 또는 다른 뮤직 또는 비디오 플레이어, 디지털 온도계, 게임기, 휴대형 전자 장치, 시계, 또는 사용자가 손에 쥐거나 몸에 지닐 수 있는 어떤 다른 장치를 포함할 수 있다.
도 1을 참조하면, 이동 장치는, 단계 110에서, 사용자의 제스처 및 상황 정보를 인식한다(S110).
구체적인 예로서, 본 발명의 일 실시 예에 따른 이동 장치는 사용자의 제스처를 인식할 것을 준비한다. 다음에, 사용자가 제스처를 수행한다. 이때, 사용자의 제스처는, 다양한 손을 통하여, 더 구체적으로는, 손가락(digit), 움직임(motions), 탭(taps), 압력, 머무름(dwells) 등을 통하여 만들어질 수 있다. 다음에, 이동 장치는, 센서를 사용해서 사용자의 제스처를 감지하고, 감지한 제스처를 이동 장치 내에 기 저장된 복수의 제스처들과 비교하여, 감지된 제스처와 대응하는 제스처를 판정한다. 이동 장치는, 예컨대 가속도계(Accelerometer), 자이로스코프(Gyroscope), 카메라, 및 거리 측정기를 적어도 하나를 사용하여 모션(motion) 정보를 추출함으로써, 상기 사용자의 제스처를 감지할 수 있다. 제스처를 감지하는 방법은 이에 한정되는 것은 아니고, 이 기술 분야의 통상의 지식을 가진 자(이하, 당업자)에게 잘 알려진 방법을 활용할 수 있다.
다음에, 이동 장치는, 상황 정보를 인식한다. 이때, 상황 정보는, 이동 장치가 특정 어플리케이션 동작을 수행하는 시간 및 그 시간에서의 상기 이동 단말의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보를 의미한다. 더 자세히, 상황 정보는 제스처가 수행되는 현재 시간, 그 현재 시간에서의 이동 장치의 위치 등의 상황 정보를 포함하고, 또한 사용자에 의해 설정된 시간 및 그 설정된 시간에서의 이동 장치의 위치 등의 상황 정보를 포함한다. 예컨대, 사용자가, 오전 7시에, 스냅(snap) 제스처를 취하면, 이동 장치의 알람 시계가 오프(off)되길 원한다고 하자. 이때 상황 정보는, 그 스냅 제스처 외의 부가적인 정보인 오전 7시를 의미한다. 그리고, 사용자는, 현재 시각 오전 7시를 스냅 제스처 및 알람 오프와 연동하여 이동 장치에 인식시킬 수 있고, 또한, 현재 시각과 관계없이 오전 7시를 스냅 제스처 및 알람 오프와 연동하여 이동 장치에 설정할 수 있다.
상황 정보를 얻는 방법은, 당업자에게 잘 알려진 다양한 방법을 활용할 수 있다. 예를 들면, 이동 장치는, 이동 장치에 탑재된, GPS 수신 인터페이스, 와이파이(Wifi: Wireless Fidelity　) 인터페이스, 및 셀룰라 인터페이스 중 적어도 하나의 인터페이스를 통해 얻은 위치 정보를 활용할 수 있다. 또한 이동 장치는 이동 장치에 탑재된 시계, 조도 센서 등을 통해 얻은 시간 정보를 활용할 수 있다.
특히, 이동 장치는, 개인정보 관리시스템(personal information management system, 이하 'PIMS[핌즈]')과 연동하여 상황 정보를 획득할 수 있다. 이때, PIMS[핌즈]는 컴퓨터 사용자들이 개인정보를 쉽게 관리할 수 있게 해주는　소프트웨어　프로그램의 총칭이다. PIMS에서 "S"를 빼고, PIM이라고 불리는 경우도 있는데, 이때에는 "personal information manager" 정도의 의미가 된다. 이 부류의 소프트웨어는 많은 종류가 있지만,　텍스트　형태의 간단한 메모부터 시작해서, 기념일, 명함관리, 약속이나 일정관리, 달력, 계산기 등의 기능을 지원하는 것이 대부분이다. 핌즈를 사용하는 경우, GPS 및 센서 등을 통해, 상황 정보를 감지할 때보다 전력 소모가 작다는 장점이 있다.
단계 120에서, 이동 장치는, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성한다(S120). 따라서, 본 발명에 따른 이동 장치는, 시간, 위치, 감정 등의 상황에 따라 동일한 제스처라도 다른 기능을 수행할 수 있다는 장점을 가진다. 예컨대, 제스처, 시간, 위치의 조합은 모두 8가지 어플리케이션 동작에 할당될 수 있다.
단계 130에서, 상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작들 중 하나를 매핑한다(S130). 이때, 어플리케이션 동작은, 특정 프로그램을 시작하기(launching), 프로그램의 특정 모드를 시작하기, 웹 사이트를 시작하기, 게임 시작하기, 전화 걸기, 메시지 보내기, 메뉴 열기 등을 포함하는 커맨드 등이다. 이들 예는 제한이 아니고 다른 어플리케이션 동작들이 이용될 수도 있다는 것을 이해해야 할 것이다. 단계 130에서, 예컨대, 이동 장치는, 메모리에 기 저장된 복수의 어플리케이션 동작들을 포함한 어플리케이션 동작 리스트를 사용자에게 제공할 수 있다. 그 제공 방법은, 디스플레이, 음성, 진동 등 여러 방법을 포함할 수 있다. 사용자는 어플리케이션 동작 리스트 중에서 하나의 어플리케이션 동작을 선택할 수 있다. 이동 장치는, 상황 기반 제스처 정보와 상기 사용자에 의해 선택된 어플리케이션 동작을 매핑할 수 있다.
단계 140에서, 이동 장치는, 상기 매핑되는 상황 기반 제스처 정보와 어플리케이션 동작을 저장한다(S 140). 또한, 이동 장치가 단계 110내지 단계 140를 반복하여, 복수의 매핑 정보를 생성하여 메모리에 저장할 수 있음이 당업자에게 자명할 것이다.
도 2는 본 발명의 일 실시 예에 따른 상황 기반 제스처 정보에 대응하는 어플리케이션 동작을 실행하는 방법을 설명한 흐름도이다. 상황 정보의 제스처 및 상황 정보를 인식하고, 상황 기반 제스처 정보를 생성하는 과정은 도 1의 단계 110 및 단계 120에서 설명된 것과 동일하다. 이하 차이점을 위주로 설명을 간략히 한다.
단계 210에서, 이동 장치는, 사용자의 제스처 및 상황 정보를 인식한다(S210). 이때, 상황 정보는, 사용자의 제스처를 인식한 현재 시간 및 그 현재 시간에서의 상기 이동 단말의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보일 수 있다.
단계 220에서, 이동 장치는, 인식된 제스처 및 상황 정보를 조합한 상황 기반 제스처 정보를 생성한다(S220).
단계 230에서, 이동 장치는, 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행한다(S230). 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작은, 도 1의 단계 110~140을 통해 상기 상황 기반 제스처 정보와 매핑되어 상기 메모리에 기 저장된 어플리케이션 동작일 수 있다.
정리하면, 상술한 본 발명의 일 실시 예에 따른 이동 장치를 동작하는 방법은 사용자에 의한 제스처 생성 및 사용자가 수행하는 제스처의 인식 및 동작 수행에 있어서, 부가 정보인 위치 및 시간 등의 상황 정보를 사용하는 방법이다. 상기 방법을 사용하여 사용자가 제스처를 행할 때 위치 및 시간에 따라 다른 동작을 수행할 수 있도록 할 수 있다. 환언하면, 사용자의 의도에 따라 이동 장치의 어플리케이션 동작이 정의되고, 해당 어플리케이션 동작이 정의될 때 위치 및 시간 정보가 부가 정보로 기록된다. 또한 사용자의 의도에 따라 특정 어플리케이션 동작으로 변경(수행)이 되며, 특정 어플리케이션 동작을 결정하는데 있어서 처음에 입력된 위치 및 시간 정보와 현재의 위치 및 시간정보를 비교하여 결정할 수 있다. 그 결과, 본 발명의 일 실시 예에 따른 이동 장치를 동작하는 방법은, 특정 제스처를 특정 장소 또는 시간 등과 같은 상황 정보와 연관시킴으로써, 다양한 상황에서 단일한 제스처로 다양한 어플리케이션 동작이 가능할 수 있다는 장점을 갖는다. 이하 본 발명의 일실 예에 따른 이동 장치의 구체적인 활용 방안을 살펴본다.
예를 들어, 본 발명의 일 실시 예에 따른 이동 장치를 동작하는 방법은, 사용자가 실내에서 이동 장치를 흔드는 제스처를 수행하는 경우에는 이동 장치의 벨/진동 모드를 벨 소리로 변경 할 수 있고, 실외에서 이동 장치를 흔드는 제스처를 수행하는 경우는 반대로 진동 모드로 변경할 수 있다.
또한, 본 발명의 일 실시 예에 따른 이동 장치를 동작하는 방법은, 아침에 일어날 때 이동 장치를 흔들면 설정된 알람이 해지되고, 저녁에 잘 때 이동 장치를 흔들면 알람이 다시 설정되는 방식 역시 지원할 수 있다.
또한, 본 발명의 일 실시 예에 따른 이동 장치를 동작하는 방법은, 상기 두 가지 정보를 혼합해서 사용하는 방법 역시 지원할 수 있다.
또한, 본 발명의 일 실시 예에 따른 이동 장치는, 시간, 위치뿐만 아니라 상황 인지에 따른 제스처 동작의 위해 핌즈(PIMS)와 연동하여 현재 시간 해당 스케줄에 따른 상황을 인지할 수 있다. 본 발명의 일 실시 예에 따른 이동 장치는, 해당 시간에 관련 센서를 구동시키고, 친구와 약속 시 손에 휴대폰을 들고 흔드는 특정 제스처를 취하면, 해당 친구 단말에 메시지를 보낸다던가, 위험상황에서 특정 제스처를 취하면, 112로 바로 전화를 건다든가 하는 다양한 기능을 수행할 수 있다.
즉, 장소 및 시간과 제스처를 연동할 수 있으므로, 불필요하게 많은 제스처를 사용자가 생성하고 기억 해야 되는 문제점을 해결할 수 있다.
이하, 도 3a 내지 도 6b를 참조하여, 다양한 상황 (ex, 위치, 시간, 감정) 에 기반하여 도 1및 도 2의 이동 장치를 동작하는 방법의 다양한 구현 예를 더 상세히 살펴본다.
도 3a 내지 도 3c는 본 발명의 일 실시 예에 따른 위치 기반 제스처 정보를 생성하고 어플리케이션 동작을 등록하는 방법을 개략적으로 도시한 것이다.
도 3a 를 참조하면, 사용자가 스냅 제스처를 취한다.
다음에, 이동 장치는 센서로부터 얻은 미가공 데이터(raw data)를 활용하여 스냅 제스처를 인식한다.
다음에, 이동 장치는 제스처가 취해진 위치, 즉 사무실(office)임을 GPS를 활용하여 결정한다.
다음에, 이동 장치는, 스냅 제스처 및 사무실 정보에 매핑되는 다이얼러 시작(Launch Dialer) 동작을 결정한다.
다음에, 이동 장치는 매핑되는 스냅 제스처 및 사무실 정보와 다이얼러 시작 (Launch Dialer) 동작을 저장한다.
반면에, 도 3b를 참조하면, 이동 장치는 제스처가 취해진 위치, 즉 버스임을 GPS를 활용하여 결정한다.
다음에, 이동 장치는, 스냅 제스처 및 버스 정보에 매핑되는 게임 시작(Launch Game) 동작을 결정한다. 　다음에, 이동 장치는 매핑되는 스냅 제스처 및 버스 정보와 게임 시작(Launch Game) 동작을 저장한다.
반면에, 도 3c를 참조하면, 이동 장치는 맵(map)을 디스플레이한다. 다음에, 사용자가 상기 디스플레이된 맵을 보고, 자신이 정한 위치를 이동 장치에 입력한다.
다음에 이동 장치는, 스냅 제스처 및 사용자에 의해 입력된 위치 정보에 매핑되는 게임 시작(Launch Game) 동작을 결정한다. 　다음에, 이동 장치는 매핑되는 스냅 제스처 및 사용자에 의해 입력된 위치 정보와 게임 시작(Launch Game) 동작을 저장한다(미도시).
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 위치 기반 제스처 정보 정보에 대응하는 어플리케이션 동작을 실행하는 방법을 개략적으로 도시한 것이다.
도 4a를 참조하면, 사용자는 특정 장소에서 스냅 제스처를 수행한다.
다음에, 이동 장치는 내장 GPS 모듈을 사용하여 현재의 위치를 판단한다.
다음에, 이동 장치는 현재의 위치가 사무실이므로, 사무실에서 스냅 제스처를 수행하는 경우에 매핑되는 어플리케이션 동작을 식별한다. 식별된 어플리케이션 동작은 다이얼러 시작(launch dialer) 동작이다.
다음에, 이동 장치는, 다이얼러를 시작한다.
반면에 도 4b를 참조하면, 이동 장치는, 현재의 위치가 버스이므로, 버스에서 스냅 제스처를 수행하는 경우에 매핑되는 어플리케이션 동작을 확인한다. 확인된 어플리케이션 동작은 게임 시작(Launch Game) 동작이다.
다음에, 이동 장치는, 게임을 시작한다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 시간 기반 제스처 정보에 기반하여 이동 장치를 동작하는 방법을 개략적으로 도시한 것이다. 그 방법은 도 3a 내지 도 4b와 유사하므로, 차이점 위주로 간략히 설명한다.
도 5a를 참조하면, 이동 장치는, 흔들기(shake) 제스처 및 오전 6시 정보와 알람 오프(Alarm On) 동작을 매핑하고 저장한다.
다음에, 이동 장치는, 현재의 시각이 오전 6시이므로, 오전 6시에 흔들기 제스처를 수행하는 경우에 매핑되는 어플리케이션 동작을 식별한다. 식별된 어플리케이션 동작은 알람 오프(Alarm Off) 동작이다.
다음에, 이동 장치는, 알람을 오프한다.
반면에, 도 5b를 참조하면, 이동 장치는, 흔들기 제스처 및 오후 9시 정보와 알람 온(Alarm On) 동작을 매핑하고 저장한다.
다음에, 이동 장치는, 현재의 시각이 오후 9시이므로, 오후 9시에 흔들기 제스처를 수행하는 경우에 매핑되는 어플리케이션 동작을 식별한다. 식별된 어플리케이션 동작은 알람 온(Alarm On) 동작이다.
다음에, 이동 장치는, 알람을 온한다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 감정 기반 제스처 정보에 기반하여 이동 장치를 동작하는 방법을 개략적으로 도시한 것이다.
도 6a 를 참조하면, 이동 장치는, 흔들기 제스처 및 행복(Happy) 감정 정보와 음악 재생(Music Play) 동작을 매핑하고 저장한다. 예시로서, 감정 정보는, 음성 감지 센서를 사용해서, dB를 측정하여 인식할 수 있다. 목소리 크기가 특정 dB이상이면 화난 것으로, 아니면 행복한 것으로 판단할 수 있다.
다음에, 이동 장치는, 현재의 감정이 행복함(Happy)이므로, 행복할 때에 흔들기 제스처를 수행하는 경우에 매핑되는 어플리케이션 동작을 확인한다. 확인된 어플리케이션 동작은 음악 재생 동작이다.
다음에, 이동 장치는, 음악을 재생한다.
반면에, 도 6b를 참조하면, 이동 장치는, 흔들기 제스처 및 화남(Angry) 감정 정보와 시스템 오프(System Off) 동작을 매핑하고 저장한다.
다음에, 이동 장치는, 현재의 감정이 화남(Angry)이므로, 화날 때, 흔들기 제스처를 수행하는 경우 매핑되는 어플리케이션 동작을 확인한다. 확인된 어플리케이션 동작은, 시스템 오프 동작이다.
다음에, 이동 장치는 시스템을 오프한다.
도 7은 본 발명의 일 실시 예에 따른 이동 장치(700)의 개략적인 블록도이다.
도 7을 참조하면, 이동 장치(700)는, 제스처 감지부(710), 상황 정보 획득부(720), 처리부(730), 메모리(740), 제공부(750), 및 입력부(760)를 구비할 수 있다. 처리부(730)는, 제스처 설정부(732) 및 제스처 실행부(734) 중 적어도 하나를 포함할 수 있다.
제스처 감지부(710)는, 사용자의 제스처를 감지한다. 제스처 감지부(710)는, 가속도계, 자이로스코프, 카메라, 지자기 센서, 압력 센서, 터치 스크린 및 거리 측정기 등 사용자의 이동 장치에 대한 움직임을 감지하기 위한 모든 장치를 구비하거나, 이들 장치와 연동 할 수 있다.다만 이 예시에 한정된 것은 아니고, 제스처 감지부(710)는, 제스처를 감지할 수 있는 다른 센서들도 포함할 수 있다.
상황 정보 획득부(720)는, 위치, 시간, 감정 등의 상황 정보를 획득할 수 있다. 다음에, 상황 정보 획득부(720)는, 어플리케이션 동작 수행을 의도하는 상황 정보를, 제스처 설정부(732)에 전달할 수 있다. 또한, 상황 정보 획득부(720)는 제스처가 수행되는 시점의 상황 정보를 제스처 실행부(734)에 전달할 수 있다. 상황 정보 획득부(720)는 예컨대, 개인정보 관리시스템(PIMS: personal information management system)과 연동하여, 사용자의 일정을 검색하여, 상황 정보를 획득할 수 있다. 또한, 상황 정보 획득부(720)는 GPS 수신 인터페이스, 와이파이(Wifi: Wireless Fidelity) 인터페이스, 및 셀룰라 인터페이스 중 적어도 하나의 인터페이스를 구비하거나, 이들과 연동하여, 위치 정보를 획득할 수 있다(미도시).
또한 상황 정보 획득부(720)는, 예컨대, 시계, 조도 센서 등을 구비하거나, 이들과 연동하여 시간 정보를 획득할 수 있다(미도시). 다만, 주의할 것은 열거된 상황 정보 획득 방법은 예시에 불과하며, 이에 한정되는 것은 아니다는 것이다.
메모리(740)는, 제한 없이, 자기 매체, 광 매체, 램(RAM), 롬(ROM), 이동식 매체, 또는 어떤 다른 적합한 로컬 또는 리모트 메모리(740) 컴포넌트를 포함하는 일종의 휘발성 또는 비휘발성 메모리(740)일 수 있다. 메모리(740)는 처리부(730)가 실행 가능한 소프트웨어, 로직 모듈들 또는 컴포넌트들을 포함한다. 메모리(740)는, 또한, 사용자의 제스처 정보, 상황 정보, 어플리케이션 동작, 매핑 정보 등을 저장하거나 로딩하기 위한 저장 공간이다. 또한, 메모리(740)는 핌즈(PIMS)와 같이 다양한 어플리케이션을 포함할 수 있다. 메모리(740)의 컴포넌트들은 본 발명의 기술적 사상의 범위 내에서 특정 요구 또는 희망에 따라 처리할 수 있도록 결합 및/또는 분할될 수 있다. 　
　처리부(730)는 마이크로프로세서, 제어기, 또는 어떤 다른 적합한 컴퓨팅 장치 또는 자원일 수 있다. 처리부(730)는, 이동 장치(700) 내에서 이용 가능한 기능들을 구현하도록 다양한 컴퓨터 언어들의 각종 컴퓨터 명령들을 실행하도록 구성되어 있다. 처리부(730)는 특히 이동 장치(700)의 관리 및 동작을 제어하기에 적합한 모든 제어기를 포함할 수 있다.
처리부(730)는, 제스처 설정부(732) 및 제스처 실행부(734)를 구비할 수 있다.
제스처 설정부(732)는, 사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하고, 상황 기반 제스처 정보와 복수의 어플리케이션 동작들 중 하나를 매핑하며, 그리고 상기 매핑되는 상황 기반 제스처 정보와 어플리케이션 동작을 메모리(740)에 저장한다. 이때, 제스처 설정부(732)는 복수의 어플리케이션 동작을 포함하는 어플리케이션 동작 리스트를 제공부(750)에 출력시킨 후, 어플리케이션 동작 리스트에서 사용자에 의해 선택된 어플리케이션 동작을 획득할 수 있다.
제스처 실행부(734)는, 사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하고, 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행한다. 예컨대, 제스처 실행부(734)는, 사용자가 제스처를 수행하면, 해당 시점에 상황 정보 획득부(720)에서 획득한 미가공 데이터를 기반으로, 수행된 제스처를 인식한다. 또한 제스처 실행부(734)는 해당 시점의 위치 정보 또는 시간 정보를 획득한다. 제스처 실행부(734)는 상기 획득된 정보를 기반으로 메모리(740)에서 검색을 수행하여 획득된 정보에 대응하는 어플리케이션 동작을 인식한 후 해당 어플리케이션 동작을 수행시킬 수 있다.
제공부(750)는, 복수의 어플리케이션 동작을 포함한 어플리케이션 동작 리스트, 상황 정보, 매핑 정보 등을 제공할 수 있다. 예컨대, 제공부(750)는 디스플레이부일 수 있다.
입력부(760)는 사용자가 장치에 입력을 전달하기 위한 인터페이스를 제공한다. 입력부(760)는 키보드, 키패드, 트랙 휠, 노브, 터치패드, 스텐실, 또는 사용자가 장치에 입력을 전달할 수 있는 어떤 다른 컴포넌트들을 포함할 수 있다.
다른 실시 예들에 따른 이동 장치(700)는 도 7에 도시한 장치의 컴포넌트들 중 일부를 포함하지 않을 수도 있다. 주의할 것은 다른 실시 예들에 따른 이동 장치(700)는, 장치에 관하여 구체적으로 도시하지 않은 추가의 컴포넌트들을 포함할 수도 있다는 것이다. 예컨대 이동 장치(700)는, 와이파이 인터페이스, 셀룰러 인터페이스, GPS 수신 인터페이스와 같은 통신 인터페이스를 포함할 수 있다(미도시). 통신 인터페이스는 다른 핸드헬드 장치 또는 컴포넌트와 같은 다른 장치와의 데이터 및 정보의 무선 또는 유선 통신을 지원할 것이다.
이하, 도 8을 참조하여, 도 7의 이동 장치(700)가 사용자 피드백 정보를 획득하는 방법을 개략적으로 도시한 것이다.
도 8을 참조하면, 디스플레이부(750a)는, 복수의 어플리케이션 동작을 포함한 어플리케이션 동작 리스트를 사용자에게 디스플레이할 수 있다. 사용자는 상기 어플리케이션 동작 리스트에서, 특정 상황 정보와 매핑할 어플리케이션 동작을 선택한다. 입력부(760)는 사용자에 의한 어플리케이션 동작 선택결과(selection)을 수신한다.
다른 예로서, 디스플레이부(750a)는 인식된 제스처 및 상황 정보를 디스플레이 할 수 있다. 사용자는 디스플레이부(750a)에 출력된 제스처 및 상황 정보를 보고 해당 제스처 및 상황 정보가 사용자의 의도에 부합되는지 판단하고, 오류가 있는 제스처 및 상황 정보를 입력부(760)를 통해 삭제할 수 있다. 특정 실시 예들에 있어서는, 디스플레이부(750a)와 입력부(760)가 동일한 컴포넌트 (예컨대 터치 스크린)로 결합될 수 있다는 것을 주목해야 한다.
이하, 도 9 및 도 10을 참조하여, 본 발명의 일 실시 예에 따른 이동 장치(800)를 동작하는 방법을 상세히 설명한 흐름도를 살펴본다.
도 9 는 도 7의 이동 장치(700)가 상황 기반 제스처 정보와 그에 대응하는 어플리케이션 동작을 등록하는 방법의 일 실시 예를 상세히 설명한 흐름도이다.
본 발명에 따른 이동 장치(700)에서, 도 9 및 도 10의 이동 장치(700)의 동작 방법은 도 7에 도시된 바와 같은 이동 장치(700)의 내부에서 수행될 수 있는데, 실시 예에 따라 이동 장치(700) 내의 주변 구성 요소들의 도움을 받아 처리부(730) 내부에서 수행될 수 있다.
도 7 및 도 9을 참조하면, 단계 910에서. 사용자는 제스처 생성을 위하여 이동 장치(700)가 제스처를 인식할 수 있도록 준비 시킨다(S910).
단계 920에서, 사용자가 이동 장치(700)를 사용하여 제스처를 수행한다(S920).
단계 930에서, 제스처 설정부(732)는 내장된 제스처 감지부(710)를 사용하여 해당 제스처의 미가공 데이터를 획득 한다(S930).
단계 940에서, 제스처 설정부(732)는 해당 미가공 데이터를 제스처로 인식한다(S940).
단계 950에서, 제스처 설정부(732)는 해당 제스처가 수행 되었을 때의 위치 정보를 상황 정보 획득부(720)로부터 획득한다(S950).
단계 960에서, 제스처 설정부(732)는 사용자에게 인식된 제스처 정보를 제공부(750)에 출력하여, 인식된 결과에 대한 정보를 제공한다(S960).
단계 970에서, 사용자는 사용자가 의도한 제스처를 입력부(760)를 통해 선택한다(S970).
단계 980에서, 제스처 설정부(732)는 사용자가 제스처를 수행할 때 인식된 위치 정보가 있는지 확인한다(S980).
단계 990에서, 제스처 설정부(732)는 해당 정보가 있는 경우 해당 정보를 제공부(750)에 출력한다. 사용자가 위치 정보 및 시간 정보를 선택하지 않는 경우는 바로 어플리케이션 동작 리스트를 제공부(750)에 출력한다(S990).
단계 1000에서, 사용자는 위치 또는 시간 또는 위치와 시간 정보를 입력부(760)를 통해 선택한다(S1000).
단계 1010에서, 위치 정보가 없는 경우에는 시간 정보만 제공부(750)에 출력한다. 사용자가 시간 정보를 선택 하지 않는 경우는 바로 어플리케이션 동작 리스트를 제공부(750)에 출력한다(S1010).
단계 1020에서, 사용자가 시간 정보를 입력부(760)를 통해 선택한다(S1020).
단계 1030에서, 제스처 설정부(732)는 해당 제스처에 할당한 어플리케이션 동작 리스트를 제공부(750)에 출력한다(S1030).
단계 1040에서, 사용자는 출력된 어플리케이션 동작 리스트 중 원하는 어플리케이션 동작을 입력부(760)를 통해 선택한다(S1040).
단계 1050에서, 제스처 설정부(732)는 제스처 및 상황 정보(위치, 시간, 또는 위치 및 시간)를 조합한 상황 기반 제스처 정보와, 상기 상황 기반 제스처 정보에 대응되는 어플리케이션 동작을 저장한다(S1050).
도 10은, 도 7의 이동 장치(700)가 상황 기반 제스처 정보에 대응하는 어플리케이션 동작을 실행하는 방법의 일 실시 예를 상세히 설명한 흐름도이다.
도 7 및 도 10을 참조하면, 단계 1100에서, 사용자가 이동 장치(700)에게 제스처를 인식할 수 있도록 준비시킨다(S1100).
단계 1200에서, 사용자가 제스처를 수행한다(S1200).
단계 1300에서, 제스처 실행부(734)는 내장된 상황 정보 획득부(720)를 사용하여 미가공 데이터를 획득한다(S1300).
단계 1400에서, 제스처 실행부(734)는 획득한 미가공 데이터를 사용하여 제스처를 식별한다(S1400).
단계 1500에서, 제스처 실행부(734)는 해당 제스처가 수행된 시점의 이동 장치의 위치 및 시간 정보를 상황 정보 획득부(720)로부터 획득한다(S1500).
단계 1600에서, 제스처 실행부(734)는 위치 및 시간 정보를 획득하였는지 확인한다(S1600).
단계 1700에서, 위치 및 시간 정보가 있는 경우, 제스처 실행부(734)는 인식된 제스처 및 위치와 시간에 대응하는 상황 기반 제스처 정보가 있는지 검색한다(S1700).
단계 1800에서, 제스처 실행부(734)는 단계 1600에서 획득된 정보가 없는 경우, 인식된 제스처에 대응하는 제스처가 있는지 검색한다(S1800).
단계 1900에서, 제스처 실행부(734)는 검색된 상황 기반 제스처 정보와 연관되는 어플리케이션 동작이 있는지 검색한다. 또는 검색된 제스처에 대응하는 어플리케이션 동작이 있는지 검색한다. 어플리케이션 동작이 없는 경우 다시 제스처 수행 대기 상태로 전환한다(S1900).
단계 2000에서, 제스처 실행부(734)는 할당된 어플리케이션 동작을 수행한다(S2000).
또한, 본 발명의 일 실시 예에 따른 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법은 컴퓨터가 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 정보가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 정보 저장장치 등이 있으며, 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 그리고, 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법을 구현하기 위한 기능적(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법으로서,
    상기 사용자의 제스처 및 상황 정보를 인식하는 단계;
    상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하는 단계; 및
    상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행하는 단계를 포함하는 것을 특징으로 하는 이동 장치 동작 방법.
  2. 제1항에 있어서,
    상기 상황 정보는, 상기 사용자의 제스처를 인식한 시간 및 그 시간에서의 상기 이동 단말의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보인 것을 특징으로 하는 이동 장치 동작 방법.
  3. 제1항에 있어서,
    상기 어플리케이션 동작은, 상기 인식된 제스처 및 상기 상황 정보의 조합에 따라 상이한 것을 특징으로 하는 이동 장치 동작 방법.
  4. 제1항에 있어서, 상기 사용자의 제스처 및 상황 정보를 인식하는 단계는,
    사용자의 제스처를 감지하고, 감지한 제스처를 기 저장된 복수의 제스처들과 비교하여, 상기 감지된 제스처와 대응하는 제스처를 판정하는 단계를 포함하는 것을 특징으로 하는 이동 장치 동작 방법.
  5. 제4항에 있어서,
    가속도계, 자이로스코프, 카메라, 거리 측정기, 지자기 센서, 압력 센서, 및 터치 스크린 중 적어도 하나를 사용하여 상기 사용자의 제스처를 감지하는 것을 특징으로 하는 이동 장치 동작 방법.
  6. 제1항에 있어서, 상기 이동 장치 동작 방법은,
    상기 인식된 제스처 및 상황 정보를 제공하고,
    상기 인식된 제스처 및 상황 정보의 인식 오류 여부에 대한 사용자 피드백 정보를 수신하는 단계를 더 구비하는 이동 장치 동작 방법.
  7. 제1항에 있어서,
    상기 상황 정보는, 개인정보 관리시스템(PIMS: personal information management system)과 연동하여 획득하는 것을 특징으로 하는 이동 장치 동작 방법.
  8. 제2항에 있어서,
    상기 시간 정보는, 상기 이동 장치에 탑재된, 조도 센서 및 시계 중 적어도 하나를 통해 획득되는 것을 특징으로 하는 이동 장치 동작 방법.
  9. 제2항에 있어서,
    상기 위치 정보는 상기 이동 장치에 탑재된, GPS 수신 인터페이스, 와이파이(Wifi) 인터페이스, 및 셀룰라 인터페이스 중 적어도 하나의 인터페이스를 통해 획득되는 것을 특징으로 하는 이동 장치 동작 방법.
  10. 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법으로서,
    상기 사용자의 제스처 및 상황 정보를 인식하는 단계;
    상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하는 단계;
    상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작들 중 하나를 매핑하는 단계; 및
    상기 매핑되는 상황 기반 제스처 정보와 어플리케이션 동작을 저장하는 단계를 포함하는 것을 특징으로 하는 이동 장치 동작 방법.
  11. 제10항에 있어서,
    상기 상황 정보는, 상기 이동 장치가 상기 매핑되는 어플리케이션 동작을 수행하는 시간 및 그 시간에서의 상기 이동 장치의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보인 것을 특징으로 하는 이동 장치 동작 방법.
  12. 제10항에 있어서, 상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작들 중 하나를 매핑하는 단계는,
    상기 복수의 어플리케이션 동작들을 포함한 어플리케이션 동작 리스트를 제공하는 단계;
    사용자 입력 신호에 기반하여, 상기 제공된 어플리케이션 동작 리스트에서 어플리케이션 동작을 선택하는 단계; 및
    상기 상황 기반 제스처 정보와 상기 선택된 어플리케이션 동작을 매핑하는 단계를 포함하는 것을 특징으로 하는 이동 장치 동작 방법.
  13. 사용자의 제스처를 인식하여 동작하는 이동 장치로서,
    상기 사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하며, 상기 상황 기반 제스처 정보에 대응하는, 어플리케이션 동작을 실행하는 제스처 실행부를 구비하는 것을 특징으로 하는 이동 장치.
  14. 제13항에 있어서,
    상기 상황 정보는, 상기 사용자의 제스처를 인식한 시간 및 그 시간에서의 상기 이동 단말의 위치 정보 중 적어도 하나를 포함하는 상황에 대한 정보인 것을 특징으로 하는 이동 장치.
  15. 제13항에 있어서,
    상기 어플리케이션 동작은, 상기 인식된 제스처 및 상기 상황 정보의 조합에 따라 상이한 것을 특징으로 하는 이동 장치.
  16. 제13항에 있어서, 상기 이동 장치는,
    상기 인식된 제스처, 및 상황 정보를 제공하는 제공부; 및
    상기 인식된 제스처, 및 상황 정보의 인식 오류 여부에 대한 사용자 피드백 정보를 수신하는 입력부를 더 구비하는 것을 특징으로 하는 이동 장치.
  17. 제16항에 있어서,
    상기 제공부는 디스플레이부인 것을 특징으로 하는 이동 장치.
  18. 제13항에 있어서, 상기 이동 장치는,
    개인정보 관리시스템(PIMS: personal information management system)과 연동하여 상기 상황 정보를 획득하는 상황 정보 획득부를 더 구비하는 이동 장치.
  19. 제13항에 있어서, 상기 이동 장치는,
    상기 사용자의 제스처 및 상황 정보를 인식하고, 상기 인식된 제스처 및 상기 상황 정보를 조합한 상황 기반 제스처 정보를 생성하고, 상기 상황 기반 제스처 정보와 복수의 어플리케이션 동작 중 하나를 매핑하여, 상기 매핑되는 상황 기반 제스처 정보와 어플리케이션 동작을 메모리에 저장하는 제스처 설정부를 더 구비하고,
    상기 제스처 실행부는, 상기 매핑되는 어플리케이션 동작을 실행하는 것을 특징으로 하는 이동 장치.
  20. 제1항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020100087038A 2010-09-06 2010-09-06 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치 KR20120024247A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100087038A KR20120024247A (ko) 2010-09-06 2010-09-06 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
JP2013528111A JP2013539579A (ja) 2010-09-06 2011-09-02 ユーザのジェスチャーを認識して移動装置を動作させる方法及びその移動装置
PCT/KR2011/006534 WO2012033312A1 (en) 2010-09-06 2011-09-02 Method of operating mobile device by recognizing user's gesture and mobile device using the method
CN201180042930.8A CN103109249B (zh) 2010-09-06 2011-09-02 通过识别用户的手势操作移动装置的方法及使用该方法的移动装置
EP11823745.2A EP2614418B1 (en) 2010-09-06 2011-09-02 Method of operating mobile device by recognizing user's gesture and mobile device using the method
US13/225,944 US8831636B2 (en) 2010-09-06 2011-09-06 Method of operating mobile device by recognizing user's gesture and mobile device using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100087038A KR20120024247A (ko) 2010-09-06 2010-09-06 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170040767A Division KR20170037932A (ko) 2017-03-30 2017-03-30 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치

Publications (1)

Publication Number Publication Date
KR20120024247A true KR20120024247A (ko) 2012-03-14

Family

ID=45771097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100087038A KR20120024247A (ko) 2010-09-06 2010-09-06 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치

Country Status (6)

Country Link
US (1) US8831636B2 (ko)
EP (1) EP2614418B1 (ko)
JP (1) JP2013539579A (ko)
KR (1) KR20120024247A (ko)
CN (1) CN103109249B (ko)
WO (1) WO2012033312A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256917B1 (ko) * 2011-09-26 2013-04-25 한국과학기술연구원 동작 인식을 이용한 이동 단말의 조작 장치 및 방법
KR101512177B1 (ko) * 2013-04-23 2015-04-15 주식회사 다해아이티 모바일 단말에서의 복권 구매 방법
KR101537624B1 (ko) * 2014-02-12 2015-07-17 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2015182967A1 (ko) * 2014-05-24 2015-12-03 (주)브이터치 매칭시스템 및 매칭방법
US9869760B2 (en) 2014-09-18 2018-01-16 Hyundai Motor Company System and method for recognizing a motion by analyzing a radio signal
US10057483B2 (en) 2014-02-12 2018-08-21 Lg Electronics Inc. Mobile terminal and method thereof
WO2020262808A1 (ko) * 2019-06-26 2020-12-30 삼성전자 주식회사 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
EP2748939B1 (en) 2011-08-22 2019-07-24 Intel Corporation Device, system and method of controlling wireless communication based on an orientation-related attribute of a wireless communication device
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
US9600169B2 (en) 2012-02-27 2017-03-21 Yahoo! Inc. Customizable gestures for mobile devices
US20130293454A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co. Ltd. Terminal and method for controlling the same based on spatial interaction
KR101375166B1 (ko) * 2012-05-14 2014-03-20 전남대학교산학협력단 문자화장단말기 및 제어방법
US9678573B2 (en) * 2012-07-30 2017-06-13 Microsoft Technology Licensing, Llc Interaction with devices based on user state
US9179490B2 (en) * 2012-11-29 2015-11-03 Intel Corporation Apparatus, system and method of disconnecting a wireless communication link
US9583828B2 (en) 2012-12-06 2017-02-28 Intel Corporation Apparatus, system and method of controlling one or more antennas of a mobile device
CN103941846B (zh) * 2013-01-18 2017-11-24 联想(北京)有限公司 电子设备以及输入方法
US20140208333A1 (en) * 2013-01-22 2014-07-24 Motorola Mobility Llc Initialize a Computing Device to Perform an Action
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9854084B2 (en) * 2013-03-06 2017-12-26 Google Llc Contextual alarm and notification management
CN103269398A (zh) * 2013-05-07 2013-08-28 深圳市卡卓无线信息技术有限公司 手势识别方法及智能移动终端
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN104182033A (zh) * 2013-05-23 2014-12-03 联想(北京)有限公司 一种信息输入方法、装置及一种电子设备
US9429432B2 (en) * 2013-06-06 2016-08-30 Duke University Systems and methods for defining a geographic position of an object or event based on a geographic position of a computing device and a user gesture
US9733716B2 (en) * 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
JP6091354B2 (ja) * 2013-06-21 2017-03-08 株式会社Ｎｔｔドコモ 情報処理装置、情報処理方法及びプログラム
US10437350B2 (en) * 2013-06-28 2019-10-08 Lenovo (Singapore) Pte. Ltd. Stylus shorthand
US20170187866A1 (en) * 2015-10-17 2017-06-29 Eric Qing Li Automatic Volume Control Based on Context and Location
AU2014287072A1 (en) * 2013-07-10 2016-01-28 Aliphcom System and method for audio processing using arbitrary triggers
US9110561B2 (en) 2013-08-12 2015-08-18 Apple Inc. Context sensitive actions
US20150169832A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte, Ltd. Systems and methods to determine user emotions and moods based on acceleration data and biometric data
CN103645804A (zh) * 2013-12-18 2014-03-19 三星电子（中国）研发中心 识别人体手势的方法、装置以及使用其的手表
KR102102647B1 (ko) * 2014-02-21 2020-04-21 엘지전자 주식회사 무선 리시버 및 그 제어 방법
CN104898822B (zh) * 2014-03-03 2018-04-27 联想(北京)有限公司 一种控制方法及电子设备
KR102305245B1 (ko) * 2014-05-21 2021-09-27 엘지전자 주식회사 스마트 밴드를 이용한 사용자 인증방법
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10540348B2 (en) 2014-09-22 2020-01-21 At&T Intellectual Property I, L.P. Contextual inference of non-verbal expressions
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
KR101594946B1 (ko) 2014-11-21 2016-02-17 스튜디오씨드코리아 주식회사 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20160162148A1 (en) * 2014-12-04 2016-06-09 Google Inc. Application launching and switching interface
US20160259488A1 (en) * 2015-03-06 2016-09-08 Alibaba Group Holding Limited Navigation user interface for compact mobile devices
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
CN111552416A (zh) * 2015-04-13 2020-08-18 华为技术有限公司 启动任务管理界面的方法、装置及设备
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US9939923B2 (en) * 2015-06-19 2018-04-10 Microsoft Technology Licensing, Llc Selecting events based on user input and current context
CN105056525A (zh) * 2015-08-17 2015-11-18 联想(北京)有限公司 一种信息处理方法及电子设备
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
CN105353973A (zh) * 2015-10-21 2016-02-24 联想(北京)有限公司 一种输入方法及设备
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
CN105681560A (zh) * 2016-01-20 2016-06-15 广东欧珀移动通信有限公司 一种收音机电台切换方法及装置
CN105630174A (zh) * 2016-01-22 2016-06-01 上海斐讯数据通信技术有限公司 一种智能终端拨号的系统和方法
JP6688160B2 (ja) * 2016-06-03 2020-04-28 株式会社Ｎｔｔドコモ 通信端末装置及びプログラム
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
US20170365013A1 (en) * 2016-06-21 2017-12-21 Samsung Electronics Co., Ltd. Device and method of providing social network service with click
KR102497299B1 (ko) * 2016-06-29 2023-02-08 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. Multi-modal interfaces
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN108390961B (zh) * 2018-01-25 2020-06-26 奇酷互联网络科技（深圳）有限公司 触摸响应方法、装置、可读存储介质及移动终端
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108469933A (zh) * 2018-03-27 2018-08-31 湖州华科信息咨询有限公司 一种用于触摸屏多处理操作的设备
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN109116895A (zh) * 2018-06-11 2019-01-01 广州视源电子科技股份有限公司 智能洗浴系统的控制方法、控制装置及可读存储介质
CN108762055A (zh) * 2018-06-25 2018-11-06 Oppo广东移动通信有限公司 闹钟、闹钟控制方法及计算机可读存储介质
JP6957768B2 (ja) * 2018-09-18 2021-11-02 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ メディアコンテンツを提示するための方法、システム、およびプログラム
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7243130B2 (en) * 2000-03-16 2007-07-10 Microsoft Corporation Notification platform architecture
US8996698B1 (en) * 2000-11-03 2015-03-31 Truphone Limited Cooperative network for mobile internet access
JP2004312439A (ja) 2003-04-08 2004-11-04 Matsushita Electric Ind Co Ltd 携帯通信装置
KR100541502B1 (ko) 2003-08-07 2006-01-10 주식회사 팬택 위치추적시스템을 이용한 이동통신단말기 제어장치 및 그 제어방법
WO2005027560A1 (en) * 2003-09-12 2005-03-24 Ntt Docomo, Inc. Secure intra- and inter-domain handover
JP4485332B2 (ja) * 2003-12-01 2010-06-23 ソフトバンクモバイル株式会社 移動体通信端末
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7669135B2 (en) * 2004-07-15 2010-02-23 At&T Mobility Ii Llc Using emoticons, such as for wireless devices
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US8130193B2 (en) 2005-03-31 2012-03-06 Microsoft Corporation System and method for eyes-free interaction with a computing device through environmental awareness
US20100009662A1 (en) * 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
CN101685343B (zh) * 2008-09-26 2011-12-28 联想(北京)有限公司 一种实现手势识别的方法、装置
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
US8704767B2 (en) * 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
JP2012518236A (ja) * 2009-02-17 2012-08-09 オーメック インタラクティブ，リミテッド ジェスチャー認識のための方法及びシステム
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
BRPI0904540B1 (pt) * 2009-11-27 2021-01-26 Samsung Eletrônica Da Amazônia Ltda método para animar rostos/cabeças/personagens virtuais via processamento de voz
JP4950321B2 (ja) * 2010-04-26 2012-06-13 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
US20110320978A1 (en) * 2010-06-29 2011-12-29 Horodezky Samuel J Method and apparatus for touchscreen gesture recognition overlay
US20120038652A1 (en) * 2010-08-12 2012-02-16 Palm, Inc. Accepting motion-based character input on mobile computing devices

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256917B1 (ko) * 2011-09-26 2013-04-25 한국과학기술연구원 동작 인식을 이용한 이동 단말의 조작 장치 및 방법
KR101512177B1 (ko) * 2013-04-23 2015-04-15 주식회사 다해아이티 모바일 단말에서의 복권 구매 방법
KR101537624B1 (ko) * 2014-02-12 2015-07-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US10057483B2 (en) 2014-02-12 2018-08-21 Lg Electronics Inc. Mobile terminal and method thereof
WO2015182967A1 (ko) * 2014-05-24 2015-12-03 (주)브이터치 매칭시스템 및 매칭방법
US9869760B2 (en) 2014-09-18 2018-01-16 Hyundai Motor Company System and method for recognizing a motion by analyzing a radio signal
WO2020262808A1 (ko) * 2019-06-26 2020-12-30 삼성전자 주식회사 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치
US12248057B2 (en) 2019-06-26 2025-03-11 Samsung Electronics Co., Ltd. Method for providing service related to electronic device by forming zone, and device therefor

Also Published As

Publication number Publication date
US20120058783A1 (en) 2012-03-08
EP2614418A4 (en) 2017-06-07
JP2013539579A (ja) 2013-10-24
WO2012033312A1 (en) 2012-03-15
CN103109249A (zh) 2013-05-15
CN103109249B (zh) 2016-07-06
EP2614418A1 (en) 2013-07-17
EP2614418B1 (en) 2020-07-08
US8831636B2 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
KR20120024247A (ko) 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
CN104951335B (zh) 应用程序安装包的处理方法及装置
CN112955856B (zh) 在分屏上显示可执行应用的列表的电子装置及其操作方法
RU2526758C2 (ru) Коснитесь любого места, чтобы говорить
EP2945058B1 (en) Processing method and device for application program
EP2701055A2 (en) Application execution method and mobile terminal
EP3133466B1 (en) Method and device for reminding in shutdown state
US20130268396A1 (en) Method and system for providing personalized application recommendations
KR101947462B1 (ko) 사용자 디바이스에서 단축번호 제공 방법 및 장치
JP2014045449A (ja) 電子機器、制御方法、及び制御プログラム
KR20130108205A (ko) 대안적 잠금 해제 패턴
JPWO2014155549A1 (ja) 携帯情報端末
KR20170130417A (ko) 이동 단말기 및 그 제어 방법
CN109358933A (zh) 快应用的创建方法及装置
WO2011102447A1 (ja) 情報処理装置の動作制御システム及び動作制御方法
CN107295183A (zh) 一种闹钟提醒方法、装置、存储介质和终端
EP3173925B1 (en) Interface display method and apparatus, computer program and recording medium
CN111557089A (zh) 用于使能上下文交互的方法和电子设备
CN112162675A (zh) 移动终端及其窗口小部件显示方法
CN112000932A (zh) 移动终端及其应用控制方法
CN106210325B (zh) 一种设置社交应用来电铃声的方法、装置及终端
KR20170037932A (ko) 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
KR102785655B1 (ko) 루틴을 제공하기 위한 방법 및 이를 지원하는 전자 장치
CN107534699A (zh) 一种来电铃声设置方法、电子设备及存储介质
US9819791B2 (en) Mobile electronic device, control method, and control program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100906

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150817

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20100906

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160823

Patent event code: PE09021S01D

A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20170330

Patent event code: PA01071R01D

E601 Decision to refuse application
E801 Decision on dismissal of amendment
PE0601 Decision on rejection of patent

Patent event date: 20170428

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20160823

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PE0801 Dismissal of amendment

Patent event code: PE08012E01D

Comment text: Decision on Dismissal of Amendment

Patent event date: 20170428

Patent event code: PE08011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20170330

Patent event code: PE08011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20161010

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20170529

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20170428

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Patent event date: 20170228

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Appeal identifier: 2017101002630

Request date: 20170529

J301 Trial decision

Free format text: TRIAL NUMBER: 2017101002630; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170529

Effective date: 20190327

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20190327

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20170529

Decision date: 20190327

Appeal identifier: 2017101002630