[go: up one dir, main page]

KR101395480B1 - 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말 - Google Patents

필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말 Download PDF

Info

Publication number
KR101395480B1
KR101395480B1 KR1020120058961A KR20120058961A KR101395480B1 KR 101395480 B1 KR101395480 B1 KR 101395480B1 KR 1020120058961 A KR1020120058961 A KR 1020120058961A KR 20120058961 A KR20120058961 A KR 20120058961A KR 101395480 B1 KR101395480 B1 KR 101395480B1
Authority
KR
South Korea
Prior art keywords
handwriting input
target application
text
application
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120058961A
Other languages
English (en)
Other versions
KR20130135425A (ko
Inventor
오정원
정우경
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020120058961A priority Critical patent/KR101395480B1/ko
Priority to US13/905,622 priority patent/US9448652B2/en
Publication of KR20130135425A publication Critical patent/KR20130135425A/ko
Application granted granted Critical
Publication of KR101395480B1 publication Critical patent/KR101395480B1/ko
Priority to US15/264,235 priority patent/US10140014B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법은 터치 디스플레이에 감지되는 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계; 상기 필기 입력을 텍스트로 변환하는 단계; 복수의 어플리케이션들 중 타겟 어플리케이션을 선택하는 단계; 및 상기 타겟 어플리케이션으로 상기 텍스트를 제공하는 단계를 포함한다.

Description

필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말{METHOD FOR ACTIVATING APPLICATION BASED ON HANDWRITING INPUT AND TERMINAL THEREOF}
본 발명은 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말에 관한 것이다.
메시지 수신 시에 사용자는 메시지 도착을 알리는 화면을 통해 수신한 메시지를 확인하고, 수신 메시지에 대한 회신 버튼을 선택함으로써 수신 메시지에 대한 회신을 작성할 수 있다.
이때, 사용자가 회신 버튼을 선택하면 메시지 전송을 위한 어플리케이션이 구동되고, 사용자는 메시지 전송을 위한 어플리케이션이 구동됨에 따라 제공되는 내용 입력 창을 선택한 후 회신 내용을 작성 해야 한다. 사용자는 회신 내용의 작성을 완료하고 작성된 메시지를 전송한 후, 메시지 전송을 위한 어플리케이션을 종료해야 하는 번거로움이 있다. 따라서, 사용자는 메시지 전송을 위한 별도의 어플리케이션 혹은 별도의 윈도우 창의 구동 없이는 수신 메시지에 대해 회신을 수행할 수 없다. 뿐만 아니라, 필기 인식이 가능한 단말이라도 필기 입력을 통해 메시지 수신 후 회신 내용을 작성하기 위해서는 필기 입력을 지원하는 별도의 어플리케이션을 실행해야만 필기를 입력할 수 있다. 또한, 전술한 것과 동일한 과정을 통해 메시지를 전송해야 하므로 사용자의 이용에 불편함을 가중시키는 요소가 된다.
본 발명의 일 실시예는 단말의 필기 인식 기능을 통해 다중 작업을 수행하는 사용자에게 편의를 제공하는 동시에, 기존 어플리케이션의 구동에 영향을 주지 않고도 사용자가 선택한 유저 인터페이스에 대응하는 기능을 즉시 실행할 수 있도록 하는 것이 목적이다.
또한, 본 발명의 일 실시예는 필기 입력을 위한 별도의 어플리케이션을 구동하지 않고도 터치 디스플레이부터 감지된 필기 입력에 연동하여 사용자가 선택한 유저 인터페이스에 대응하는 기능을 실행하여 별도의 어플리케이션 구동을 위한 처리 시간 및 전력 소모를 줄일 수 있도록 하는 것이 목적이다.
또한, 본 발명의 일 실시예는 사용자가 어플리케이션을 수행하는 경우에 특정 기능을 실행하기 위해 복잡한 단계를 거치지 않고도 원하는 기능을 수행할 수 있도록 하는 것이 목적이다.
일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법은 터치 디스플레이에 감지되는 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계; 상기 터치 이벤트가 상기 필기 입력에 해당하면 상기 필기 입력을 상기 터치 디스플레이에 표시하는 단계; 복수의 어플리케이션들 중 타겟 어플리케이션을 선택하는 단계; 및 상기 타겟 어플리케이션으로 상기 필기 입력을 제공하는 단계를 포함한다.
상기 터치 디스플레이 상에서 상기 타겟 어플리케이션이 구현되는 레이어와 구별되는 레이어를 통해 상기 터치 이벤트를 입력받는 단계를 더 포함할 수 있다.
상기 터치 디스플레이 화면 상에서 상기 타겟 어플레이케이션의 선택을 위한 버튼 영역과 상기 터치 이벤트를 위한 영역을 구분하여 디스플레이 하는 단계를 더 포함하고, 상기 터치 디스플레이에 감지되는 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계는 상기 터치 이벤트를 위한 영역에서 감지되는 터치 이벤트를 상기 필기 입력에 해당하는 것으로 판단할 수 있다.
상기 필기 입력을 텍스트로 변환하는 단계를 더 포함하고, 상기 필기 입력을 제공하는 단계는 상기 타겟 어플리케이션으로 상기 변환된 텍스트를 제공하는 단계를 포함할 수 있다.
상기 타겟 어플리케이션으로 상기 필기 입력을 제공하는 단계는 상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 추가 필기 입력을 수신하는 단계를 더 포함할 수 있다.
상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계는 상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 발생된 상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계일 수 있다.
상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계는 상기 터치 디스플레이로부터 상기 터치 이벤트를 감지하는 단계; 및 상기 터치 이벤트가 감지됨에 따라 상기 터치 이벤트가 상기 유효한 필기 입력 또는 단순 터치 중 어디에 속하는지를 판단하는 단계를 포함할 수 있다.
상기 필기 입력을 텍스트로 변환하는 단계는 상기 터치 이벤트가 상기 유효한 필기 입력으로 판단되면, 상기 필기 입력을 상기 텍스트로 변환하여 저장하는 단계를 포함할 수 있다.
상기 필기 입력을 텍스트로 변환하는 단계는 상기 필기 입력이 종료함에 따라, 상기 필기 입력을 상기 텍스트로 변환하여 저장하는 단계일 수 있다.
상기 타겟 어플리케이션으로 상기 필기 입력을 제공하는 단계는 상기 필기 입력이 종료한 후, 상기 타겟 어플리케이션이 선택됨에 따라 상기 타겟 어플리케이션으로 상기 변환된 텍스트를 제공할 수 있다.
상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계를 더 포함할 수 있다.
상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계는 상기 타겟 어플리케이션에 대한 등록 정보를 기초로 상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계일 수 있다.
상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계는 상기 등록 정보에 포함된 상기 타겟 어플리케이션의 기능들에 대한 정보를 기초로 상기 변환된 텍스트에 대응하는 상기 타겟 어플리케이션의 기능이 존재하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 텍스트 입력에 대응하는 상기 타겟 어플리케이션의 기능이 존재한다고 판단되면, 상기 타겟 어플리케이션의 등록 정보 중 상기 변환된 텍스트에 대응하는 상기 타겟 어플리케이션의 기능에 대한 정보를 추출하는 단계를 더 포함할 수 있다.
상기 타겟 어플리케이션에 대한 후보로서 상기 복수의 어플리케이션들 중 상기 필기 입력과 연동 가능한 어플리케이션들의 목록을 디스플레이하는 단계를 더 포함하고, 상기 타겟 어플리케이션을 선택하는 단계는 상기 디스플레이된 어플리케이션들의 목록 중 선택된 어느 하나를 상기 타겟 어플리케이션으로 선택할 수 있다.
일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 단말은 터치 디스플레이에 감지되는 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 제1 판단부; 상기 필기 입력을 텍스트로 변환하는 변환부; 복수의 어플리케이션들 중 타겟 어플리케이션을 선택하는 선택부; 및 상기 타겟 어플리케이션으로 상기 텍스트를 제공하는 제공부를 포함한다.
상기 변환된 텍스트를 저장하는 저장부를 더 포함할 수 있다.
상기 제1 판단부는 상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 발생된 상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단할 수 있다.
상기 제1 판단부는 상기 터치 디스플레이로부터 상기 터치 이벤트를 감지하는 감지부; 및 상기 터치 이벤트가 감지됨에 따라 상기 터치 이벤트가 유효한 필기 입력 또는 단순 터치 중 어디에 속하는지를 판단하는 필기 판단부를 포함할 수 있다.
상기 변환부는 상기 터치 이벤트가 상기 유효한 필기 입력으로 판단되면, 상기 필기 입력을 상기 텍스트로 변환할 수 있다.
상기 변환부는 상기 필기 입력이 종료함에 따라, 상기 필기 입력을 상기 텍스트로 변환할 수 있다.
상기 타겟 어플리케이션으로 상기 변환된 텍스트를 제공한 후, 상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 추가 필기 입력을 수신하는 수신부를 더 포함할 수 있다.
상기 타겟 어플리케이션에 대한 등록 정보를 기초로 상기 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 제2 판단부를 더 포함할 수 있다.
상기 제2 판단부는 상기 등록 정보에 포함된 상기 타겟 어플리케이션의 기능들에 대한 정보를 기초로 상기 텍스트에 대응하는 상기 타겟 어플리케이션의 기능이 존재하는지 여부를 판단할 수 있다.
일 실시예에 따르면, 터치 디스플레이로부터 감지된 필기 입력을 통해 획득한 텍스트를 타겟 어플리케이션에 제공하여 연동시킴으로써 사용자에 의해 선택된 어플리케이션의 기능을 수행하기 위한 여러 단계의 접근 경로를 줄임으로써 사용자가 원하는 어플리케이션을 실행할 수 있다.
일 실시예에 따르면, 필기 인식을 위한 별도의 어플리케이션을 구동하지 않고도 사용자가 선택한 유저 인터페이스에 대응하는 기능을 실행할 수 있으므로 별도 어플리케이션의 구동을 위한 처리 시간 및 전력 소모를 줄일 수 있다.
도 1은 메시지가 도착한 경우에 단말에서 회신을 수행하는 일반적인 처리 화면을 나타낸 도면이다.
도 2는 메시지가 도착한 경우에 단말에서 회신을 수행하는 일반적인 처리 과정을 나타낸 플로우 차트다.
도 3은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법을 나타낸 플로우 차트이다.
도 4는 다른 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법을 나타낸 플로우 차트이다.
도 5는 메시지가 도착한 경우에 단말에서 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 메시지 회신을 수행하는 처리 화면을 나타낸 도면이다.
도 6은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 입력 후 다이얼 버튼을 선택한 때의 처리 화면을 나타낸 도면이다.
도 7은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 입력 후 메시지 아이콘을 선택한 때의 처리 화면을 나타낸 도면이다.
도 8은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 입력 후 메신저 아이콘을 선택한 때의 처리 화면을 나타낸 도면이다.
도 9는 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 인식 모듈에서 입력된 필기를 인식 및 처리하는 과정을 나타낸 플로우 차트이다.
도 10은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에서 사용자 알림 유저 인터페이스(UI)의 버튼이 선택된 때의 처리 과정을 나타낸 플로우 차트이다.
도 11은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에서 어플리케이션을 구동하는 아이콘이 선택된 때의 처리 과정을 나타낸 플로우 차트이다.
도 12는 본 발명의 일실시예에 따른 모바일 디바이스를 계층적으로 나타낸 도면이다.
도 13은 도 12와 관련하여 언급된 액티비티 매니저(Active Manager)의 뷰 그룹(View Group) 구성을 나타낸 도면이다.
도 14는 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 단말의 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
이하에서 '단말'은 이동 단말, 탭, 패드, PDP, PDA, PC, 노트북 등과 같이 터치 디스플레이 등을 통해 필기 입력을 처리할 수 있는 모든 전자 기기를 포함하는 의미로 사용될 수 있다.
이하에서는 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 대하여 설명하기에 앞서, 도 1 및 도 2를 통해 메시지 도착과 같이 사용자에게 알림(notification)을 해주는 이벤트가 발생했을 때의 일반적인 처리 절차에 대해 설명한다.
도 1은 메시지가 도착한 경우에 단말에서 회신을 수행하는 일반적인 처리 화면을 나타낸 도면이다.
도 1을 참조하면, 일반적으로 단말에서는 메시지 도착 알림과 같이 사용자에게 이벤트를 알리고 이벤트에 대한 사용자의 선택(예를 들어, 메시지 확인 또는 회신 등)을 수신하는 단순한 유저 인터페이스를 지원한다.
보다 구체적으로, 일반적인 단말에서는 메시지의 도착 시에 사용자에게 110 화면과 같이 메시지 도착 알림과 같은 단편적인 사용자 알림(notification)을 제공한다.
메시지 도착 알림을 수신한 사용자가 '회신'을 위해서 메시지 도착 알림의 회신 버튼을 선택하면, 단말은 130 화면과 같이 메시지 전송을 위한 어플리케이션을 구동한다.
사용자는 메시지 전송을 위한 어플리케이션에서 내용 입력을 선택하여 150 화면과 같이 입력기를 활성화한다. 사용자가 활성화된 입력기에 회신 내용을 입력 하고 전송을 선택을 선택함에 따라 회신 메시지는 170 화면과 같이 상대방에게 전송된다.
도 2는 메시지가 도착한 경우에 단말에서 회신을 수행하는 일반적인 처리 과정을 나타낸 플로우 차트다.
도 2를 참조하면, 단말에 설치된 메시지 어플리케이션을 통해 신규 메시지가 도착하면(S210), 메시지 어플리케이션은 신규 메시지를 분석한 후, 사용자에게 메시지 도착 알림이 필요한 경우 사용자 알림 위한 유저 인터페이스(User Interface; UI)를 구동한다(S220).
메시지 어플리케이션에 의해 구동된 사용자 알림을 위한 유저 인터페이스는 자신이 필요로 하는 자원을 할당하여 사용자 알림을 위한 유저 인터페이스를 시작한다(S230).
이 후, 사용자 알림을 위한 유저 인터페이스는 메시지 어플리케이션의 구동 시에 추가된 정보들을 분석한다(S240). 메시지 어플리케이션의 구동 시에 추가된 정보들은 예를 들어, 디스플레이(Display) 될 정보들, 버튼(Button)과 같은 기능(Function) 정보들일 수 있다.
사용자 알림을 위한 유저 인터페이스는 포어그라운드(Foreground) 구동 중인 메시지 어플리케이션이 사용하는 윈도우(window)가 아닌 다른 윈도우를 할당 받아 화면을 디스플레이할 자원을 마련한다(S250). 이는 포어그라운드 구동 중인 메시지 어플리케이션의 구동과 디스플레이에 영향을 주지 않기 위함이다.
여기서, 윈도우(window)는 여러 개의 레이어(layer)들로 구현될 수 있다. 예를 들어, 화면에서 배터리, 안테나 등이 표시되는 부분인 인디케이터 바(indicator bar)는 최상위 레이어에 구현되어 항상 화면 상에 나타나 있을 수 있다. 반면에, 어플리케이션은 그보다 하위 레이어에 구현되어 어플리케이션 위로 인디케이터 바를 내리면 가려지게 된다.
따라서, 일 실시예에서는 이러한 레이어의 개념을 도입하여 통화 어플리케이션이 구현되는 레이어 위에 별도의 투명 레이어를 띄움으로써 통화 어플리케이션에 영향을 주지 않고, 별도의 투명 레이어를 통해 필기를 입력받도록 할 수 있다.
사용자 알림을 위한 유저 인터페이스는 할당 받은 화면에 메시지 어플리케이션으로부터 수신한 정보를 디스플레이한다(S260). 사용자 알림을 위한 유저 인터페이스가 메시지 어플리케이션으로부터 수신한 정보를 디스플레이할 때 부분 영역을 사용하면, 할당 받은 윈도우에서 사용하지 않는 영역은 투명으로 처리 하고 정보를 디스플레이 하는 영역은 드로우(draw) 한다.
사용자 알림을 위한 유저 인터페이스는 사용자 이벤트 및 선택 영역 등을 등록한다(S270). 이때, 사용자 알림을 위한 유저 인터페이스는 예를 들어, 종료 이벤트와 같이 해당 유저 인터페이스에 정의된 기본 처리 이벤트와 S240에서 분석한 사용자 알림을 위한 유저 인터페이스의 선택 이벤트 및 버튼 등과 같은 터치(Touch) 선택 영역을 등록한다.
사용자 알림을 위한 유저 인터페이스는 단말을 통해 입력된 다양한 이벤트들(예를 들어, 키 입력, 터치 등의 이벤트)을 수신하여 S270과 같이 등록할 것인지를 판단한다(S280).
S280에서 이벤트가 검출된 터치 시작 영역이 단말의 디스플레이 화면 중 등록 영역이 아니라면 이후의 터치 이벤트는 무시될 수 있다. 이후, 사용자 알림을 위한 유저 인터페이스는 유저 인터페이스의 구동 시작에서 할당한 모든 자원을 반환하고 동작을 종료한다(S290).
반면에, S280에서 이벤트가 검출된 터치 시작 영역이 등록 영역이라면, 사용자 알림을 위한 유저 인터페이스는 등록된 이벤트의 기능 선택 혹은 종료를 판별해서 동작한다.
S280에서 메시지 어플리케이션에 등록된 기능이 선택이 되었다면, 사용자 알림을 위한 유저 인터페이스는 등록된 기능을 구동(S295)한 후 사용자 알림을 위한 유저 인터페이스를 종료한다(S290).
즉, S280에서 도 1의 메시지 회신 기능이 선택되었다면, 유저 인터페이스 분석에서 회신 기능의 구동 정의를 실행한다. 이때, 정의된 구동을 실행함으로써 메시지 어플리케이션이 호출되고, 정의된 구동 타입에 따라 메시지 어플리케이션이 구동된다. 다만, 이때 해당 번호의 대화 리스트가 정의가 되어 있어야 한다.
이처럼 메시지 도착 알림과 같이 사용자에게 알림(notification)을 해주는 등의 이벤트가 발생한 경우에 사용자는 어플리케이션 혹은 특정 기능을 실행하기 위해 복잡한 단계를 거쳐야 한다. 따라서, 일 실시예에서는 이러한 문제점을 해결할 수 있는 방안을 제안하고자 한다.
도 3은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법을 나타낸 플로우 차트이다.
도 3을 참조하면, 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 단말(이하, '단말')은 터치 디스플레이로부터 터치 이벤트를 감지할 수 있다(S310). 이때, 단말은 터치 디스플레이에서 필기 입력 영역을 기존의 레이어가 아닌 별도의 레이어(layer)로 구현하여 터치 이벤트를 입력받을 수도 있다.
단말은 S310에서 터치 이벤트가 감지됨에 따라 터치 이벤트가 유효한 필기 입력 또는 단순 터치 중 어디에 속하는지를 판단할 수 있다(S320).
여기서, '단순 터치'는 필기 입력을 제외한 나머지 터치 동작을 의미하며, 예를 들어, 아이콘 클릭이나 홈 스크린 플리킹(flicking) 등을 포함할 수 있다.
S320에서 단말은 미리 설정된 영역에서 발생된 터치 이벤트가 유효한 필기 입력에 해당하는지를 판단할 수 있다. 이때, '미리 설정된 영역'은 타겟 어플리케이션에 대해 독립적으로 할당된 디스플레이의 일부 영역일 수 있으며, '미리 설정된 영역'은 터치 디스플레이의 터치 인식 영역 전체에 해당하는 영역일 수도 있다.
여기서, 단말은 사용자가 터치 디스플레이에서 '미리 설정된 영역 즉, 필기 입력이 가능한 필기 영역을 용이하게 인식할 수 있도록 터치 디스플레이의 터치 인식 영역 전체 또는 일부 영역의 테두리 부분(혹은 가장 자리)을 다른 색상으로 표시하거나, 잠시 반짝거리는 등의 방법으로 표시할 수 있다.
S320에서 단말은 필기 인식 모듈을 활성화함으로써 터치 이벤트가 유효한 필기 입력에 해당하는지 여부를 판단할 수 있다.
S320에서의 판단 결과, 터치 이벤트가 유효한 필기 입력으로 판단되면, 단말은 필기 입력을 텍스트로 변환할 수 있다(S330). 이때, 단말은 필기 변환 엔진을 이용하여 필기 입력을 텍스트로 변환할 수 있다. 여기서, '필기 변환 엔진'은 터치 디스플레이 등에서 입력된 터치 이벤트로부터 파악되는 좌표 등에 대응하는 값을 계산하여 해당 터치 이벤트를 텍스트 혹은 숫자, 기타 기호의 형태로 변환해 주는 소프트웨어 엔진이다.
반면에, S320에서의 판단 결과, 터치 이벤트가 유효한 필기 입력에 해당하지 않으면(즉, 터치 이벤트가 단순 터치라고 판단되면), 단말은 해당 프로세서를 종료할 수 있다.
단말은 복수의 어플리케이션들 중 타겟 어플리케이션을 선택한다(S340). 여기서, '타겟 어플리케이션'은 예를 들어, 터치 디스플레이 화면에 나타난 단말의 기본 기능을 위한 유저 인터페이스(UI) 혹은 다양한 어플리케이션의 구동을 위한 아이콘, 버튼들을 포함하는 개념으로 이해할 수 있으며, 사용자의 선택 혹은 프로그램에 의한 자동 설정 등에 의해 선택될 수 있다.
단말은 타겟 어플리케이션으로 텍스트를 제공한다(S350).
상술한 도 3 및 이하의 실시예들에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법은 안드로이드 단말뿐만 아니라, Microsoft Windows 기반의 단말이나 , Rex 기반의 Feature phone, 그 외에 다양한 운영 체제(Operating System)를 사용하는 단말들에 폭넓게 적용될 수 있다.
도 4는 다른 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 다른 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 단말(이하, '단말')은 터치 디스플레이에 감지되는 터치 이벤트가 필기 입력에 해당하는지 여부를 판단한다(S410). S410의 판단 결과, 터치 이벤트가 필기 입력에 해당하지 않는 것으로 판단되면(즉, 터치 이벤트가 단순 터치라고 판단되면), 단말은 해당 프로세서를 종료할 수 있다.
반면에, S410의 판단 결과, 터치 이벤트가 필기 입력에 해당하는 것으로 판단되면, 단말은 필기 입력을 터치 디스플레이에 표시할 수 있다(S420). 단말은 입력된 터치 이벤트가 유효한 필기 입력이면 필기 입력 내용을 화면에 표시함으로써 사용자가 해당 내용을 보고 추후 기능을 취하도록 할 수 있다.
이 후, 단말은 필기 입력이 종료했는지 여부를 판단할 수 있다(S430).
S430에서 필기 입력이 종료했는지 여부를 판단하는 구체적인 방법에 대하여는 도 9를 참조하여 후술한다.
S430에서 필기 입력이 종료했다고 판단되면, 단말은 필기 입력을 텍스트로 변환한다(S440). 이때, 필기 입력을 텍스트로 변환하는 데에는 필기 변환 엔진을 이용할 수 있으며, 변환된 텍스트는 저장될 수 있다. 반면에, 필기 입력이 종료하지 않았다고 판단되면, 단말은 S420으로 가서 필기 입력이 종료할 때까지 필기 입력을 터치 디스플레이에 표시하며 대기할 수 있다.
단말은 복수의 어플리케이션들 중 타겟 어플리케이션을 선택한다(S450).
단말은 텍스트가 S450에서 선택된 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단할 수 있다(S460). 여기서, '텍스트가 선택된 타겟 어플리케이션의 입력으로서 유효한 것인지 여부'란 사용자가 선택한 어플리케이션의 등록 정보 중 텍스트를 필요로 하는 기능이 등록되어 있는지 여부를 의미한다.
단말은 타겟 어플리케이션에 대한 등록 정보를 기초로 텍스트가 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단할 수 있다. 즉, 등록 정보에 포함된 타겟 어플리케이션의 기능들에 대한 정보에 텍스트에 대응하는 타겟 어플리케이션의 기능이 존재하면, 텍스트가 타겟 어플리케이션의 입력으로서 유효하다고 판단할 수 있다.
이때, 등록 정보에 포함된 타겟 어플리케이션의 기능들에 대한 정보에 텍스트 입력에 대응하는 타겟 어플리케이션의 기능이 존재하면, 단말은 타겟 어플리케이션의 등록 정보 중 텍스트에 대응하는 타겟 어플리케이션의 기능에 대한 정보를 추출할 수 있다. 여기서, 타겟 어플리케이션의 '기능'은 안드로이드 시스템에서 실행 명령인 액션(Action)으로 이해될 수 있다.
S460에서의 판단 결과, 텍스트가 타겟 어플리케이션의 입력으로서 유효하지 않다고 판단되면, 단말은 해당 프로세서를 종료할 수 있다.
반면에, S460에서 텍스트가 타겟 어플리케이션의 입력으로서 유효하다고 판단되면, 단말은 타겟 어플리케이션으로 텍스트를 제공할 수 있다(S470).
도 5는 메시지가 도착한 경우에 단말에서 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 메시지 회신을 수행하는 처리 화면을 나타낸 도면이다.
도 5를 참조하면, 사용자의 단말에 메시지가 도착하면, 단말은 510 화면의 메시지 도착 알림과 같이 단편적인 사용자 노티를 제공한다.
메시지 도착 알림에 대하여 사용자는 530 화면과 같이 터치 디스플레이에 필기로 회신 내용에 해당하는 '응'을 필기 입력할 수 있다. 이때, 사용자가 회신 내용을 입력하는 영역은 메시지 도착 알림과는 독립적으로 할당되는 영역이며, 예를 들어, 메시지 도착 알림 영역 위쪽으로 할당된 영역일 수 있다. 또한 사용자가 회신 내용을 입력하는 영역은 터치 디스플레이의 터치 인식 영역 전체에 해당하는 영역일 수 있다.
이후, 사용자가 550 화면과 같이 회신 버튼을 실행하면, 단말은 회신 버튼에 대한 등록 정보 중에 필기 입력 액션이 있는지 확인한다. 단말은 등록 정보 중 필기 입력 액션이 있으면 필기 내용을 인식하고, 필기 입력된 내용에 의해 메시지 도착 알림에 대응되는 전화번호로의 회신 메시지 전송 액션을 백 그라운드(Background)로 실행한다. 이때, 회신 버튼에 대한 등록 정보에는 필기 입력 액션 및 회신 메시지 전송 액션 등이 포함될 수 있다.
회신 메시지 전송 액션의 실행으로 해당 메시지 알림은 종료하고, 단말은 백 그라운드 실행의 결과, 즉 570 화면과 같이 회신 메시지의 전송에 대한 결과를 보여준다.
도 1 및 도 2를 통해 상술한 바와 같이 일반적으로 메시지 도착 알림에 대한 메시지 회신 과정은 '1. 알림 UI -> 2. 답장 선택 -> 3. 메시지 어플리케이션 구동 -> 4. 입력 선택 -> 5. 회신 메시지 입력 -> 6. 전송 선택 -> 7. 메시지 어플리케이션 종료 -> 8. 메시지 도착 이전의 상태로의 천이'와 같이 여러 단계를 필요로 한다.
반면에, 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에서는 '1. 알림 UI -> 2. 필기로 내용 입력 -> 3. 답장 선택 -> 4. 메시지 도착 이전의 상태로의 천'와 같이 축소된 단계의 수행만으로도 메시지 회신을 수행할 수 있다. 이때, 메시지 전송은 백그라운드로 처리된다.
뿐만 아니라, 일 실시예에서는 별도의 메시지 어플리케이션을 구동하지 않고도 알림 UI 에서 사용자가 필요한 기능을 직관적으로 간편히 처리 할 수 있다.
일 실시예에서는 일반적인 메시지 도착 사용자 알림을 일 예로 다루고 있지만, 이 밖에도 통화 중이나 스크린 메뉴 등 단편적인 유저 인터페이스(UI)의 기능 또한 다양하게 확장하여 향상된 사용자 편의를 제공할 수 있다.
도 6은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 입력 후 다이얼 버튼을 선택한 때의 처리 화면을 나타낸 도면이다.
도 6을 참조하면, 일 실시예에서는 필기 내용을 다이얼 버튼 선택과 연동함으로써 해당 버튼에 대응하는 대표 액션을 실행할 수 있다.
사용자가 610 화면과 같이 터치 디스플레이에 번호('114')를 필기한 후, 손가락 혹은 펜 등으로 다이얼 버튼을 선택한다고 하자. 이 때, 다이얼 버튼에 등록된 대표 액션으로는 전화 걸기 액션이 해당될 수 있으며, 다이얼 버튼의 등록 정보에는 전화를 걸기 위한 번호 입력 액션 등이 포함될 수 있다. 따라서, 타겟 어플리케이션에 해당하는 다이얼 버튼으로 필기 입력된 번호('114')가 제공되면, 단말은 필기 입력된 번호('114')로 630 화면과 같이 전화 걸기를 실행할 수 있다.
도 7은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 입력 후 메시지 아이콘을 선택한 때의 처리 화면을 나타낸 도면이다.
도 7을 참조하면, 사용자는 터치 디스플레이의 홈 스크린에 필기를 입력할 수 있고, 단말은 필기 입력 후, 일정 시간 지나면 필기 입력된 내용을 텍스트(Text)로 변환할 수 있다.
단말은 필기 입력된 내용을 텍스트로 변환한 후 저장하거나, 710 화면에 나타난 것과 같이 결과 내용('안녕 오늘은 어떤 하루')을 홈 스크린 화면에 보여줄 수 있다.
이 경우, 터치 디스플레이에 표시되는 텍스트는 입력된 필기 분량이 많은 경우, 연속적으로 입력된 내용(예를 들어, 도 7에서와 같이, '안녕 오늘은 어떤 하루') 중 앞서 입력된 부분('안녕 오늘은 어떤')은 710 화면의 상단에 표시된 것과 같이 작게 표시될 수 있고, 이후에 입력된 부분은 크게 표시되어 사용자로 하여금 필기 입력이 올바른지를 확인하기 용이하도록 할 수 있다.
사용자가 터치 디스플레이에 대한 필기 입력을 종료한 후, 메시지 아이콘을 선택했다고 하자. 이때, 메시지 아이콘에 대한 등록 정보에는 메시지 내용 입력 액션이 포함되어 있다고 하면, 단말은 필기 입력된 내용('안녕 오늘은 어떤 하루')을 어플리케이션 구동기와 연동해서 메시지 아이콘에 대응하여 등록된 대표 액션을 실행할 수 있다.
즉, 사용자가 필기 입력 후 메시지 아이콘을 선택하면, 메시지 아이콘에 대한 등록 정보에는 메시지 내용 입력 액션이 포함되어 있으므로, 단말은 필기 입력된 내용으로 730 화면과 같이 메시지 작성 액션을 구동할 수 있다.
이 밖에도, 필기 입력한 내용을 어플리케이션 구동기와 연동시킨 이후에도 사용자가 추가로 입력할 사항이 있는 경우에 단말은 터치 디스플레이의 터치 인식 영역 전체 또는 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 사용자로부터 추가적인 내용에 대한 필기 입력을 수신할 수 있다.
이 밖에도 일 실시예에 따르면, 사용자가 홈 스크린 등에 필기로 글을 입력하고 노트 아이콘을 선택하면, 입력한 내용이 노트로 저장될 수 있다. 이는 아이콘 선택 시에 런처(launcher, 아이콘 구동기)가 해당 선택 어플리케이션의 등록 정보상 우선 순위 액션이 있고, 런처(launcher)는 해당 액션 중에 정보에 대한 처리 액션으로 어플리케이션을 실행할 수 있는 확장 기능을 제공할 수 있다.
최근, 상용화된 펜 활용 기능은 하드웨어 키나 펜 버튼을 통해서 화면을 캡처하고, 필기 입력이 가능한 노트 어플리케이션을 실행해 노트 어플리케이션의 배경에 캡처한 화면을 띄우는 방식이다. 즉, 필기 입력이 지원되는 노트 어플리케이션이 구동된 상태에서 글씨를 쓰고, 이를 이미지화 해 저장 및 활용 하는 기능을 제공하고 있다. 하지만, 이것은 본 발명과 다르게 이미지 공유 기능만 제공한다. 그러므로, 일 실시예와 같이 특정 어플리케이션을 구동하지 않고 사용자가 입력한 내용을 텍스트로 변환해서 메시지 전송 등과 같이 특정 어플리케이션에 등록된 기능을 구동하거나 특정 어플리케이션에 필기 내용을 제공하지 못한다.
뿐만 아니라, 펜 활용 기능은 반드시 노트 어플리케이션 등과 같이 필기 입력이 가능한 어플리케이션에 의해 실행 되어야 하기 때문에, 노트 어플리케이션의 범위에서만 구현이 되고 노트 어플리케이션의 시나리오에 따른 액션만을 실행할 수 있다. 반면에, 본 발명은 타겟 어플리케이션의 동작과는 독립적으로 수행되므로, 추가적인 어플리케이션의 구동 없이도 바로 실행을 할 수 있고, 마켓 등에서 다운로드 된 정의 되지 않은 어플리케이션의 액션 또한 실행할 수 있다.
도 8은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 입력 후 메신저 아이콘을 선택한 때의 처리 화면을 나타낸 도면이다.
도 8을 참조하면, 사용자는 810 화면과 같이 터치 디스플레이에 '안녕'을 필기 입력한 후, 메신저 아이콘을 선택할 수 있다. 이 경우, 메신저 아이콘의 등록 정보에는 메시지 입력 액션, 대화 상대 선택 액션, 대화 상대 추가 액션, 메시지 전송 액션 등이 포함될 수 있으며, 대화 상대 선택 액션이 대표 액션이라고 하자. 그러면, 단말은 830 화면과 같이 입력 내용을 전달할 대화 상대 추가 액션을 구동할 수 있다. 물론, 이때 단말은 사용자에 의해 필기 입력된 내용 즉, 텍스트('안녕')을, 대화 상대 추가 액션의 구동에 따라 선택된 대화 상대에게 바로 전송할 수 있다.
일 실시예에 따른 단말은 필기 인식 기능을 포함하며, 필기 인식을 통해 어플리케이션의 구동을 포함하는 다양한 기능들을 수행하도록 함으로서 단편적인 정보 유저 인터페이스와 기능 선택 유저 인터페이스 표시만 제공하던 단말에서 복잡한 사용자 입력 및 시나리오 단계들을 통해 수행했던 기능을 여러 단계를 거치지 않고 사용자에게 좀 더 직관적으로 처리하는 향상된 기능을 제공할 수 있다.
도 9는 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에 의해 필기 인식 모듈에서 입력된 필기를 인식 및 처리하는 과정을 나타낸 플로우 차트이다.
일 실시예에서 필기 인식 모듈은 예를 들어, 후술하는 도 12의 소프트웨어 블록(1210)에 위치할 수 있으며, 상위 어플리케이션에서의 설정을 통해서 활성화될 수 있다.
일 실시예에 따른 필기 인식 모듈은 터치 인식부, 디스플레이부, 필기 판단부, 추출부 및 전달부를 포함할 수 있으며, 각 구성 요소에서 수행되는 동작은 다음과 같다.
도 9를 참조하면, 필기 인식 모듈의 터치 인식부는 터치 디스플레이에서 터치 이벤트가 감지되면, 터치 정보(즉, 필기 입력)을 보유(임시 저장)하고, 해당 터치 이벤트가 유효한 필기 입력인지 아니면 단순 터치인지 여부를 판단할 수 있다(S910).
S910에서 터치 이벤트가 유효한 필기 입력인지를 판단하는 방법은 다음과 같다.
우선, 필기 인식 모듈의 터치 인식부는 터치 디스플레이에 대한 터치 다운(Touch Down)을 인식하면 터치 이벤트의 시작을 인지한다. 터치 이벤트의 시작을 인지함에 따라 터치 인식부는 터치 무브(Touch Move) 동작에 따른 좌표 이동 등의 필기 입력 정보를 유지한다. 이후, 터치 업(Touch up)이 인식되면 터치 인식부는 다음 필기를 입력 하는 유효 시간까지 터치 다운(Touch Down)을 기다린다.
여기서, '터치 다운(Touch Down)'은 사용자가 터치 디스플레이에 접촉하여 터치 이벤트의 시작을 알리는 상태를 의미할 수 있다.
또한, '터치 무브(Touch Move)'는 사용자가 터치 디스플레이에 접촉하여 접촉 상태를 유지한 채, 이동하고 있는 상태를 의미하고, '터치 업(Touch up)'은 '터치 다운(Touch Down)' 혹은 '터치 무브(Touch Move)' 이후 사용자가 터치 디스플레이로부터 접촉을 떨어트린 상태를 의미할 수 있다.
이때, 다음 필기를 입력하는 유효 시간이 초과하거나 더 이상 사용자의 필기 입력이 없으면, 터치 인식부는 임시 저장한 터치 이벤트 정보를 삭제하여 필기 인식을 초기화 한다.
반면에, 다음 필기를 입력하는 유효 시간 이전에 사용자의 필기 입력이 있으면(즉, 터치 디스플레이에 대한 터치 다운(Touch Down)이 감지되면), 터치 인식부는 단순 터치가 아닌 필기 인식으로 간주하고 필기 입력 내용을 임시 저장함과 동시에 디스플레이부를 통해 화면에 디스플레이 한다(S930).
필기 입력 모듈의 필기 판단부는 필기 종료 후 장시간(미리 설정된 일정 시간)동안 터치 이벤트가 없으면 필기 입력이 종료된 것으로 보아 시작(S970)으로 이동하고, 일정 시간 후에도 입력이 없으면 취소로 간주한다(S950).
필기 입력 모듈의 추출부는 타겟 어플리케이션 혹은 타겟 어플리케이션의 등록 정보에 포함된 텍스트에 대응하는 액션으로부터 필기 사용 요청이 있으면, 입력 정보로부터 필기 내용을 텍스트(Text)로 추출한다(S970). 보다 구체적으로, 사용자가 필기를 필요로 하는 액션 혹은 기능을 구동하면 알림 유저 인터페이스는 필기 사용 요청을 하고, 이에 따라 단말은 입력 내용을 필기 검출 엔진을 통해 텍스트(Text)로 변환할 수 있다.
이후, 필기 인식 모듈의 전달부는 추출한 내용이 적정한 텍스트이면 그 내용을 어플리케이션으로 그대로 전달하고, 그 내용이 적정하지 않으면 추출된 텍스트가 오류임을 전달한다(S990). 추출된 텍스트에 오류가 있는 경우, 사용자를 통해 오류 내용을 수정한 후 어플리케이션으로 재전달될 수 있다.
도 10은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에서 사용자 알림 유저 인터페이스(UI)의 버튼이 선택된 때의 처리 과정을 나타낸 플로우 차트이다. 이하에서 S1010 및 S1015는 메시지 어플리케이션의 동작이고, S1020 내지 사용자 알림 유저 인터페이스(UI)의 동작에 해당할 수 있다. 또한, S1045 내지 S1075, S1085 및 S1091은 필기 인식 모듈의 동작으로서 후술하는 도 12의 소프트웨어 블록(1210)에 의해 동작될 수 있다.
도 10을 참조하면, 단말에 설치된 메시지 어플리케이션을 통해 신규 메시지가 도착하면(S1010), 메시지 어플리케이션은 신규 메시지를 분석한 후 사용자에게 메시지 도착 알림이 필요한 경우 사용자 알림 위한 유저 인터페이스(UI)를 구동한다(S1015).
메시지 어플리케이션에 의해 구동된 사용자 알림을 위한 유저 인터페이스(UI)는 자신이 필요로 하는 자원을 할당하여 사용자 알림을 위한 유저 인터페이스를 시작한다(S1020).
메시지 어플리케이션에 의해 구동된 사용자 알림을 위한 유저 인터페이스(UI)는 메시지 어플리케이션의 구동 시에 추가된 정보들을 분석한다(S1025). 이때, 메시지 어플리케이션의 구동 시에 추가된 정보들은 예를 들어, 디스플레이(Display) 될 정보들, 버튼(Button)과 같은 기능함수(Function) 정보들일 수 있다.
사용자 알림을 위한 유저 인터페이스는 포어그라운드(Foreground) 구동 중인 메시지 어플리케이션이 사용하는 윈도우(window)가 아닌 다른 윈도우를 할당 받아 화면을 디스플레이할 자원을 마련한다(S1030). 이는 포어그라운드 구동 중인 메시지 어플리케이션의 구동과 디스플레이에 영향을 주지 않기 위함이다.
사용자 알림을 위한 유저 인터페이스는 할당 받은 화면에 메시지 어플리케이션으로부터 수신한 정보를 디스플레이한다(S1035).
사용자 알림을 위한 유저 인터페이스는 사용자 이벤트 및 선택 영역 등을 등록한다(S1040).
이때, 사용자 알림을 위한 유저 인터페이스는 예를 들어, 종료 이벤트와 같이 해당 유저 인터페이스에 정의된 기본 처리 이벤트와 S1025에서 분석한 사용자 알림을 위한 유저 인터페이스의 선택 이벤트 및 버튼 등과 같은 터치(Touch) 선택 영역을 등록한다.
사용자 알림을 위한 유저 인터페이스의 기본 이벤트 및 영역 등록은 종래와 동일하게 수행될 수 있다. 이때, 사용자 알림을 위한 유저 인터페이스는 해당 단말에서 필기 인식 기능이 지원되는지 여부를 판단하고, 만약, 필기 인식 기능이 지원된다면 S1045로 가서 필기 인식 모듈을 구동시킬 수 있다.
반면에, S1040에서 사용자 알림을 위한 유저 인터페이스는 해당 단말에서 필기 인식 기능을 지원하지 않으면, 기본 이벤트 검출 여부를 판단하여 기능을 선택하여 S1085로 가거나 동작을 종료할 수 있다(S1080).
필기 인식 모듈이 구동(S1045)되면, 단말은 기존 터치 이벤트의 검출 영역 외의 전체 화면 영역에 대한 터치 이벤트 값(즉, 필기 입력)을 감지(Detect)할 수 있다.
이후, 필기 인식 모듈은 입력된 터치 이벤트 값이 유효한 필기 입력인지를 판단한다(S1050).
S1050에서 입력된 터치 이벤트 값이 유효한 필기 입력이라고 판단되면, 필기 인식 모듈은 필기 입력을 화면에 디스플레이(S1055)하지만, S1050에서 입력된 터치 이벤트 값이 유효한 필기 입력이 아니라고 판단되면(즉, 단순 터치로 판단되면), 유효한 필기 입력이 입력될 때까지 대기할 수 있다.
이후, S1080에서 사용자에 의해 기본 이벤트 검출(예를 들어, '답장' 또는 '회신' 기능 선택 등)에 해당하는 기능이 선택되면 필기 입력은 종료될 수 있다(S1060). 이 경우, 사용자 알림을 위한 유저 인터페이스는 사용자에 의해 기본 이벤트가 선택되었음을 알려 주고 필기 인식 모듈에게 텍스트 데이터를 요청하게 된다.
필기 입력이 종료됨에 따라, 필기 입력은 필기 변환 엔진에 의해 텍스트(Text)로 변경될 수 있다(S1065).
S1065에서 변경된 텍스트가 정상적 텍스트(데이터)에 해당하면, 해당 텍스트는 추출되어 터치 디스플레이 화면에 디스플레이될 수 있다(S1070). 반면에, S1065에서 변경된 텍스트가 비정상적인 텍스트(데이터)라면, 해당 텍스트(데이터)는 초기화될 수 있다.
S1070에서 디스플레이된 텍스트(데이터)는 추출 후, 사용자의 확인에 의해 사용 여부가 결정될 수 있다(S1075).
이후, 사용자가 입력한 정상적인 텍스트 데이터가 있는지 여부를 판별(S1085)하여, 정상적인 텍스트 데이터가 없다면 기능에 정의된 기능 구동을 실행 한다(S1090).
반면에, 정상적인 텍스트 데이터가 있다면, 기능에 정의된 기능 구동에 필기 인식 모듈에서 추출한 데이터를 포함해서 기능을 구동한다(S1091).
이 후, S1020의 사용자 알림 유저 인터페이스의 구동 과정에서 할당한 모든 자원 및 필기 인식 모듈의 자원을 반환하고, 사용자 알림 유저 인터페이스를 종료할 수 있다(S1093).
도 10에서 S1080의 기본 이벤트 검출의 예는 버튼 선택에 대한 내용이지만 아이콘 선택 시에도 동일하게 동작할 수 있다.
즉, 필기 인식 모듈을 통해서 아이콘 구동기(런처)는 해당 아이콘의 구동 어플리케이션의 등록 정보에 등록된 액션 정보를 추출하고, 입력 정보(필기 입력)를 필요로 하는 액션에 의해 어플리케이션을 구동 할 수 있다.
홈 스크린, 메뉴(어플리케이션 리스트)에 필기로 글을 먼저 입력하고, 그 이후에 어플리케이션 아이콘 선택하는 경우에 대한 대표적인 실시예는 다음과 같다.
메시지 아이콘을 선택한 경우라면 메시지 작성 액션을 구동하고 필기 내용을 메시지 내용으로 추가하거나, 전화부 아이콘을 선택한 경우라면 필기 내용으로 전화부 검색 액션을 수행한 후 검색 결과가 있으면 결과를 보여줄 수 있다. 다이얼 아이콘을 선택한 경우라면 필기 내용에 대응되는 번호로 전화를 연결해 줄 수 있으며, 노트 아이콘을 선택한 경우라면 필기 내용을 노트에 저장해 줄 수 있다.
또한, 도 10에 나타난 버튼 구현 방식에 대한 다른 실시예는 다음과 같다.
사용자가 통화 중 터치 디스플레이에 필기를 한 후, 메시지 버튼을 선택한 경우에 통화하는 사람에게 필기 내용 메시지 전송하거나, 필기 내용을 별도로 저장할 수 있다. 또한, 사용자가 필기 후 메시지 버튼을 선택한 경우에 사용자가 요청하는 사람에게 필기 내용을 메시지로 전송할 수 있다.
도 11은 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 방법에서 어플리케이션을 구동하는 아이콘이 선택된 때의 처리 과정을 나타낸 플로우 차트이다.
도 11에서 S1110 ~ S1115는 어플리케이션의 수행 영역이고, 1120 ~ S1160은 소프트웨어 블록에서 수행하는 영역이다. 어플리케이션의 수행 영역은 유저 인터페이스와 관련된 사항으로 어플리케이션 구동을 사용자가 선택하는 과정이다.
사용자가 어플리케이션 아이콘을 선택(S1110)함에 따라 해당 어플리케이션에 대한 구동 요청이 전달되어 어플리케이션 구동 액션이 실행된다(S1115).
어플리케이션 구동 액션이 실행되면, 소프트웨어 블록에서는 어플리케이션 구동기가 실행된다(S1120).
어플리케이션 구동기는 사용자의 필기 내용이 있는지를 필기 인식 모듈에게 요청한다(S1125). 필기 인식 모듈은 어플리케이션 구동기의 필기 내용 요청에 따라 필기 내용을 반환(제공한다)(S1130).
필기 인식 모듈로부터 필기 내용을 제공받은 어플리케이션 구동기는 필기 내용의 유무를 판단하여 필기를 검출한다(S1135). 만약, S1135에서 필기 내용이 없다면, 어플리케이션 구동기는 사용자의 요청에 따라 선택된 어플리케이션의 초기 상태로 구동한다(S1160). 반면에, S1135에서 필기 내용이 있다면, 어플리케이션 액션 정보를 수집한다(S1140).
어플리케이션 구동기는 사용자가 선택한 어플리케이션의 등록 정보 중 텍스트(Text) 내용을 사용하는 액션이 등록되어 있는지 여부를 판단한다(S1145).
S1145에서 해당 액션 정보가 없다면, 어플리케이션 구동기는 S1160으로 가서 사용자에 의해 선택된 어플리케이션을 기본 액션을 구동한다.
반면에, S1145에서 해당 액션 정보가 있다면, 어플리케이션 구동기는 필기 내용으로 사용자가 선택한 어플리케이션의 액션을 구동할 수 있도록 필요한 액션을 생성하고, 생성된 액션으로 어플리케이션을 구동한다(S1150).
만약, S1150의 과정에서 어플리케이션의 액션을 구동함에 있어 사용자의 추가 필기 입력을 필요로 하는 경우, 어플리케이션 구동기는 사용자로부터 추가 필기 입력을 수신할 수 있다. S1150에서 생성된 액션에 의한 어플리케이션이 구동함에 따라, 필기 내용을 활용한 어플리케이션 액션이 구동된다(S1155).
도 12는 본 발명의 일실시예에 따른 모바일 디바이스를 계층적으로 나타낸 도면이다.
도 12를 참조하면, 모바일 디바이스는 크게 하드웨어 계층(1210), 하드웨어 계층(1210)에서 입력된 신호를 처리하고 전달하는 플랫폼(1230), 플랫폼(1230)을 기반으로 구동되는 각종 응용 프로그램들로 구성되는 응용 프로그램 계층(1250)으로 구성된다.
플랫폼(1230)은 모바일 디바이스의 운영 체제에 따라 안드로이드 플랫폼, 윈도우 모바일 플랫폼, iOS 플랫폼 등으로 구분되며, 각각의 플랫폼에 따라 조금씩 그 구조가 상이하나 기본적인 역할은 동일하다.
이하에서는 편의상 안드로이드 플랫폼을 일 예로 들어 모바일 운영 체제에 대하여 설명한다.
안드로이드 플랫폼(1230)의 경우, 각종 하드웨어의 관리 등을 담당하며 응용 프로그램의 요청을 하드웨어에 전달하고, 하드웨어의 응답을 다시 응용 프로그램에 전달하는 리눅스 커널(Linux Kernel) 계층, C 또는 C++로 구성되어 하드웨어와 프레임워크 계층을 연결하는 라이브러리(Library) 계층, 각종 응용 프로그램을 관리하기 위한 프레임워크(Framework) 계층으로 구성된다. 이 밖에도, 안드로이드 플랫폼(1230)은 안드로이드 실행 환경에서의 동작을 위하여 달빅 가상 머신과 안드로이드 실행 환경을 위한 코어 라이브러리를 포함하는 안드로이드 런타임(Android Runtime) 계층을 포함할 수 있다.
윈도우 모바일 플랫폼의 경우, 윈도우 코어 계층이 리눅스 커널 계층에 해당하며, 코어 계층과 응용 프로그램 계층을 연결하며 각종 언어 지원이나 기능 지원을 위한 인터페이스 계층으로 구성된다.
iOS 플랫폼의 경우, 코어 OS 계층이 리눅스 커널 계층에 해당하며, 코어 서비스 계층이 라이브러리 계층 및 프레임워크 계층과 유사하고, 멀티미디어 기능을 제공하는 미디어 계층, 각종 응용 프로그램을 위한 계층인 코코아 터치 계층으로 구성된다.
여기서 각각의 계층을 블록(block)으로 표현하기도 하며, 프레임워크 계층 및 이에 해당하는 유사한 계층을 '소프트웨어 블록(1240)'으로 정의한다. 본 발명은 전술한 바와 같은 모바일 디바이스의 플랫폼 상에서 구현될 수 있으며, 전술한 플랫폼의 종류에 한정되지 않는다.
소프트웨어 블록(1240)은 어플리케이션 프레임워크와 같이 어플리케이션 개발 시에 필요한 API(Application Programming Interface)를 제공할 수 있다.
소프트웨어 블록(1240)은 어플리케이션이 만들어지기 위해 필요한 구성 요소들을 포함한다. 보다 구체적으로, 소프트웨어 블록(1240)은 액티비티 매니저(Activity Manager), 윈도우 매니저(Window Manager), 컨텐츠 프로바이더(Contents Provider), 뷰 시스템(View System), 패키지 매니저(Package Manager), 텔레포니 매니저(Telephony Manager), 리소소 매니저(Resource Manager), 로케이션 매니저(Location Manager) 및 노티피케이션 매니저(Notification Manager) 등을 포함할 수 있다.
응용 프로그램 계층(1250)은 이메일 클라이언트, SMS 프로그램, 달력, 지도, 브라우저 등과 같이 기본적으로 제공되는 어플리케이션들을 포함할 수 있다.
도 1 내지 도 11을 통하여 설명된 필기 입력에 기초하여 어플리케이션을 실행하는 방법을 실행하는 모듈은 소프트웨어 블록(1240)에 위치할 수 있다. 예를 들어, 모바일 디바이스가 이미 잘 알려진 안드로이드 운영 체제를 기반으로 한다면, 상기 필기 입력에 기초하여 어플리케이션을 실행하는 방법을 실행하는 모듈은 액티비티 매니저를 통하여 구현될 수 있다.
여기서, 필기 모드 구성은 화면 구성과 이벤트 처리를 담당하는 소프트웨어 블록(1240)의 액티비티 매니저(Activity Manager)에서 하드웨어 터치(HW Touch) ->리눅스 커널(Linux Kernel) -> 안드로이드 런타임(Android Runtime) -> 액티비티 매니저(Activity Manager)의 순서로 전달될 수 있다.
도 13은 도 12와 관련하여 언급된 액티비티 매니저(Activity Manager)의 뷰 그룹(View Group) 구성을 나타낸 도면이다.
액티비티 매니저(Activity Manager)는 뷰 그룹(View Group)을 관리한다.
액티비티 매니저(Activity Manager)에 터치 이벤트(Touch Event)가 전달되면 하위 뷰(View)나 하위 뷰 그룹(ViewGroup)으로 이벤트가 전달이 된다.
터치 이벤트(Touch Event)는 도 9의 필기 인식 모듈에 포함된 터치 인식부 및 하위 뷰(View)의 버튼 뷰(View)로도 전달된다. 버튼 영역에 터치 다운(Touch Down)이 된 후, 영역 안에서 터치 업(Touch Up)이 되면 버튼 선택으로 인식해서 버튼 액션(Action)을 구동될 수 있다.
일 실시예에서는 터치 디스플레이 화면 상에서 필기 입력 영역과 버튼 영역을 별도로 구분하거나, 버튼 영역의 구분없이 전체 디스플레이 영역을 필기 입력 영역으로 사용할 수도 있다.
만약, 버튼 영역을 별도로 구분하는 때에는 버튼 선택이 다른 터치 인식과 구분될 수 있으므로, 버튼 영역을 제외한 모든 영역을 활성화 또는 비활성화시킬 수 있다. 따라서, 문자가 왔을 때 회신 등의 버튼 영역만 활성화하던 종래와는 달리, 버튼 이외의 영역을 구분해서 인지하고, 버튼 이외의 영역(기존에 비활성화 영역)을 활성화시킬 수도 있다.
예를 들어, 사용자는 통화 중에 필기를 입력한 후 버튼을 터치할 수 있다.
이때, 사용자의 편의를 위하여 터치 디스플레이의 화면에서 통화 버튼/종료 버튼 등이 있는 버튼 영역 이외의 영역에서만 필기 입력을 받도록 할 수 있다. 즉, 단말은 터치 디스플레이의 화면 영역을 구획하여 사용자에게 필기 입력을 위한 전용 영역(공간)과 버튼 터치를 위한 영역(예를 들어, 아이콘이 위치하는 영역)을 구분하여 제공할 수 있다. 이때, 어플리케이션(혹은 단말)은 필기 입력을 위한 전용 영역을 통해 감지되는 터치 이벤트를 필기 입력으로 판단할 수도 있다. 이와 같이 필기 입력 영역과 버튼 입력 등을 위한 아이콘 영역이 명확히 구분되고, 필기 입력 영역에만 필기가 입력되는 경우에는 필기 입력이 완료된 후, 아이콘 영역에서의 터치 이벤트에 따라 필기 입력은 종료된 것으로 보아 아이콘의 터치 시에 바로 해당 아이콘의 기능을 실행할 수 있다.
반면에, 버튼 영역의 구분없이 전체 디스플레이 영역을 필기 입력 영역으로 사용하는 경우, 사용자는 필기 입력 후에 선택하고 싶은 아이콘이 바탕 화면에 있더라도 필기 입력 영역에 가려져서 해당 아이콘을 바로 선택할 수 없는 경우도 발생할 수 있다. 즉, 사용자는 필기 입력에 대한 인식이 종료할 때까지 일정 시간을 기다려야 할 수도 있고, 이러한 경우 필기 입력과 어플리케이션의 선택이 바로 연동되지 않을 수 있다.
이와 같이 전체 디스플레이 영역을 통해 필기를 입력한 다음 일정 시간 후에 사용자가 선택하고 싶은 어플리케이션(의 아이콘)의 메뉴를 눌러야만 하는 경우, 단말은 필기 내용을 임시로 저장하고 있다가 일정 시간 이내에 어플리케이션(의 아이콘)이 선택되면 그 때 필기를 어플리케이션과 연동해 줄 수 있다. 이때, 단말은 필기 내용을 임시로 저장할 것인지를 묻는 팝업을 띄우거나, 또는 바탕 화면에 나타나지 않은 연동 가능한 어플리케이션들의 목록을 팝업이나 리스트 등을 통해 사용자에게 보여줄 수도 있다. 이때, 사용자에게 보여준 어플리케이션들의 목록 중 사용자에 의해 선택된 어플리케이션을 타겟 어플리케이션으로 삼아 해당 어플리케이션으로 필기 입력을 제공할 수 있다.
또한, 이와 같이 버튼 영역의 구분없이 전체 디스플레이 영역을 다 사용하고자 하는 경우, 실시예에 따라서는 도 2와 관련하여 전술한 레이어의 개념을 도입하여 필기 입력이 구현되는 레이어와 별도로 어플리케이션(의 아이콘)의 메뉴가 나타나는 레이어(혹은 버튼 입력이 구현되는 레이어)를 띄움으로써 어플리케이션(혹은 버튼) 선택에 영향을 주지 않고, 별도의 투명 레이어를 통해 필기가 입력되도록 할 수도 있다.
이 밖에도, 일 실시예에서는 사용자가 디스플레이 영역에서 필기 입력으로 숫자만을 입력하는 경우, 다이얼과 관련된 어플리케이션(예를 들어, 통화 관련 어플리케이션)을 보여 주고, 이후 문자가 입력됨에 따라 여러 가지 어플리케이션을 추가로 추천해서 보여줄 수도 있다.
도 14는 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 단말의 블록도이다.
도 14를 참조하면, 일 실시예에 따른 필기 입력에 기초하여 어플리케이션을 실행하는 단말(이하, '단말')(1400)은 제1 판단부(1410), 저장부(1420), 변환부(1430), 선택부(1440) 및 제공부(1450)를 포함한다. 또한, 단말(1400)은수신부(1460) 및 제2 판단부(1470)를 더 포함할 수 있다.
제1 판단부(1410)는 터치 디스플레이의 터치 인식 영역 전체 또는 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 발생된 터치 이벤트가 필기 입력에 해당하는지 여부를 판단한다. 여기서, '미리 설정된 영역'은 타겟 어플리케이션에 대해 독립적으로 할당될 수 있으며, 예를 들어, 터치 디스플레이의 터치 인식 영역 전체에 해당하는 영역일 수 있다.
제1 판단부(1410)는 감지 수단(1413) 및 판단 수단(1416)을 포함할 수 있다.
감지 수단(1413)은 터치 디스플레이로부터 터치 이벤트를 감지한다.
판단 수단(1416)은 터치 이벤트가 감지됨에 따라 필기 인식 모듈을 활성화함으로써 터치 이벤트가 유효한 필기 입력 또는 단순 터치 중 어디에 속하는지를 판단할 수 있다. '필기 인식 모듈'은 상술한 미리 설정된 영역으로부터 터치 이벤트를 감지하여 터치 이벤트가 유효한 필기 입력에 해당하는지 여부를 판단할 수 있다.
여기서, '유효한 필기 입력'은 필기 변환 엔진에 의해 텍스트, 혹은 숫자 등으로 변환이 가능하도록 인식되는 터치 이벤트를 의미한다.
저장부(1420)는 변환된 텍스트를 저장하며, 필기 입력 설정에 따라 어플리케이션에 전달하기 전까지 임시로 저장할 수 있다.
변환부(1430)는 필기 입력을 텍스트로 변환한다. 변환부(1430)는 터치 이벤트가 유효한 필기 입력으로 판단되면, 필기 변환 엔진을 이용하여 필기 입력을 텍스트로 변환할 수 있다. '필기변환 엔진'은 터치 디스플레이 등에서 입력된 터치 이벤트로부터 파악되는 좌표 등에 대응하는 값을 계산하여 해당 터치 이벤트를 텍스트 혹은 숫자, 기타 기호의 형태로 변환해 주는 소프트웨어 엔진이다.
변환부(1430)는 필기 입력이 종료함에 따라, 필기 변환 엔진을 이용하여 필기 입력을 텍스트로 변환할 수 있다. 변환부(1430)에 의해 변환된 텍스트는 이후 저장부(1420)에 저장될 수 있다.
선택부(1440)는 복수의 어플리케이션들 중 타겟 어플리케이션을 선택한다.
제공부(1450)는 타겟 어플리케이션으로 텍스트를 제공한다.
수신부(1460)는 타겟 어플리케이션으로 변환된 텍스트가 제공된 후, 필요하다면 터치 디스플레이의 터치 인식 영역 전체 또는 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 추가 필기 입력을 수신할 수 있다.
제2 판단부(1470)는 타겟 어플리케이션에 대한 등록 정보를 기초로 텍스트가 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단할 수 있다.
또한, 제2 판단부(1470)는 등록 정보에 포함된 타겟 어플리케이션의 액션들에 대한 정보를 기초로, 텍스트에 대응하는 타겟 어플리케이션의 기능이 존재하는지 여부를 판단할 수 있다.
상술한 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가지 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
1410: 제1 판단부
1420: 저장부
1430: 변환부
1440: 선택부
1450: 제공부
1460: 수신부
1470: 제2 판단부

Claims (24)

  1. 터치 디스플레이로부터 터치 이벤트를 감지하는 단계;
    상기 터치 이벤트가 유효한 필기 입력 또는 단순 터치 중 어디에 속하는지를 판단하는 단계;
    상기 터치 이벤트가 상기 유효한 필기 입력에 해당하면 상기 필기 입력을 상기 터치 디스플레이에 표시하는 단계;
    상기 필기 입력을 텍스트로 변환하는 단계;
    복수의 어플리케이션들 중 타겟 어플리케이션을 선택하는 단계; 및
    상기 타겟 어플리케이션으로 상기 텍스트를 제공하는 단계
    를 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  2. 제1항에 있어서,
    상기 터치 디스플레이 상에서 상기 타겟 어플리케이션이 구현되는 레이어와 구별되는 레이어를 통해 상기 터치 이벤트를 입력받는 단계
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  3. 제1항에 있어서,
    상기 터치 디스플레이 화면 상에서 상기 타겟 어플레이케이션의 선택을 위한 버튼 영역과 상기 터치 이벤트를 위한 영역을 구분하여 디스플레이 하는 단계
    를 더 포함하고,
    상기 터치 디스플레이에 감지되는 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계는
    상기 터치 이벤트를 위한 영역에서 감지되는 터치 이벤트를 상기 필기 입력에 해당하는 것으로 판단하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 타겟 어플리케이션으로 상기 필기 입력을 제공하는 단계는,
    상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 추가 필기 입력을 수신하는 단계
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  6. 제1항에 있어서,
    상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계는
    상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 발생된 상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 단계인 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 필기 입력을 텍스트로 변환하는 단계는
    상기 터치 이벤트가 상기 유효한 필기 입력으로 판단되면, 상기 필기 입력을 상기 텍스트로 변환하여 저장하는 단계
    를 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  9. 제1항에 있어서,
    상기 필기 입력을 텍스트로 변환하는 단계는
    상기 필기 입력이 종료함에 따라, 상기 필기 입력을 상기 텍스트로 변환하여 저장하는 단계인 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  10. 제9항에 있어서,
    상기 타겟 어플리케이션으로 상기 필기 입력을 제공하는 단계는
    상기 필기 입력이 종료한 후, 상기 타겟 어플리케이션이 선택됨에 따라 상기 타겟 어플리케이션으로 상기 변환된 텍스트를 제공하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  11. 제1항에 있어서,
    상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  12. 제11항에 있어서,
    상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계는
    상기 타겟 어플리케이션에 대한 등록 정보를 기초로 상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계인 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  13. 제12항에 있어서,
    상기 변환된 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 단계는
    상기 등록 정보에 포함된 상기 타겟 어플리케이션의 기능들에 대한 정보를 기초로 상기 변환된 텍스트에 대응하는 상기 타겟 어플리케이션의 기능이 존재하는지 여부를 판단하는 단계
    를 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  14. 제13항에 있어서,
    상기 텍스트 입력에 대응하는 상기 타겟 어플리케이션의 기능이 존재한다고 판단되면,
    상기 타겟 어플리케이션의 등록 정보 중 상기 변환된 텍스트에 대응하는 상기 타겟 어플리케이션의 기능에 대한 정보를 추출하는 단계
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  15. 제1항에 있어서,
    상기 타겟 어플리케이션에 대한 후보로서 상기 복수의 어플리케이션들 중 상기 필기 입력과 연동 가능한 어플리케이션들의 목록을 디스플레이하는 단계
    를 더 포함하고,
    상기 타겟 어플리케이션을 선택하는 단계는
    상기 디스플레이된 어플리케이션들의 목록 중 선택된 어느 하나를 상기 타겟 어플리케이션으로 선택하는 필기 입력에 기초하여 어플리케이션을 실행하는 방법.
  16. 터치 디스플레이로부터 터치 이벤트를 감지하는 감지부;
    상기 터치 이벤트가 감지됨에 따라 상기 터치 이벤트가 유효한 필기 입력 또는 단순 터치 중 어디에 속하는지를 판단하는 필기 판단부;
    상기 필기 입력을 텍스트로 변환하는 변환부;
    복수의 어플리케이션들 중 타겟 어플리케이션을 선택하는 선택부; 및
    상기 타겟 어플리케이션으로 상기 텍스트를 제공하는 제공부
    를 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  17. 제16항에 있어서,
    상기 변환된 텍스트를 저장하는 저장부
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  18. 제16항에 있어서,
    상기 제1 판단부는
    상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 발생된 상기 터치 이벤트가 필기 입력에 해당하는지 여부를 판단하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  19. 삭제
  20. 제16항에 있어서,
    상기 변환부는
    상기 터치 이벤트가 상기 유효한 필기 입력으로 판단되면, 상기 필기 입력을 상기 텍스트로 변환하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  21. 제16항에 있어서,
    상기 변환부는
    상기 필기 입력이 종료함에 따라, 상기 필기 입력을 상기 텍스트로 변환하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  22. 제16항에 있어서,
    상기 타겟 어플리케이션으로 상기 변환된 텍스트를 제공한 후,
    상기 터치 디스플레이의 터치 인식 영역 전체 또는 상기 타겟 어플리케이션에 대해 독립적으로 할당되는 미리 설정된 영역에서 추가 필기 입력을 수신하는 수신부
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  23. 제16항에 있어서,
    상기 타겟 어플리케이션에 대한 등록 정보를 기초로 상기 텍스트가 상기 타겟 어플리케이션의 입력으로서 유효한 것인지 여부를 판단하는 제2 판단부
    를 더 포함하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
  24. 제23항에 있어서,
    상기 제2 판단부는
    상기 등록 정보에 포함된 상기 타겟 어플리케이션의 기능들에 대한 정보를 기초로 상기 텍스트에 대응하는 상기 타겟 어플리케이션의 기능이 존재하는지 여부를 판단하는 필기 입력에 기초하여 어플리케이션을 실행하는 단말.
KR1020120058961A 2012-06-01 2012-06-01 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말 Active KR101395480B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120058961A KR101395480B1 (ko) 2012-06-01 2012-06-01 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말
US13/905,622 US9448652B2 (en) 2012-06-01 2013-05-30 Method and terminal for activating application based on handwriting input
US15/264,235 US10140014B2 (en) 2012-06-01 2016-09-13 Method and terminal for activating application based on handwriting input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120058961A KR101395480B1 (ko) 2012-06-01 2012-06-01 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말

Publications (2)

Publication Number Publication Date
KR20130135425A KR20130135425A (ko) 2013-12-11
KR101395480B1 true KR101395480B1 (ko) 2014-05-14

Family

ID=49669604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120058961A Active KR101395480B1 (ko) 2012-06-01 2012-06-01 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말

Country Status (2)

Country Link
US (2) US9448652B2 (ko)
KR (1) KR101395480B1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101623214B1 (ko) * 2010-01-06 2016-05-23 삼성전자주식회사 다기능 펜 및 다기능 펜의 사용 방법
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
KR101397711B1 (ko) * 2012-09-24 2014-05-26 주식회사 팬택 필기 기반으로 특정 기능을 실행하는 방법 및 그에 따른 디바이스
KR102044460B1 (ko) * 2012-11-12 2019-11-13 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
JP5757966B2 (ja) * 2013-01-31 2015-08-05 シャープ株式会社 入出力装置
US8943092B2 (en) * 2013-03-04 2015-01-27 Microsoft Corporation Digital ink based contextual search
KR102251834B1 (ko) * 2013-07-10 2021-05-14 삼성전자주식회사 전자 장치의 디스플레이 방법
KR20150023151A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자 장치 및 이의 어플리케이션 실행 방법
KR102063103B1 (ko) * 2013-08-23 2020-01-07 엘지전자 주식회사 이동 단말기
KR20150028627A (ko) * 2013-09-06 2015-03-16 삼성전자주식회사 사용자 필기를 텍스트 정보로 변환하는 방법 및 이를 수행하기 위한 전자 기기
KR101614731B1 (ko) * 2013-11-08 2016-04-22 현대자동차주식회사 차량 및 그 제어방법
CN109257487B (zh) * 2013-12-20 2020-04-28 华为终端有限公司 通知栏消息管理的方法、装置及计算机可读存储介质
US11256410B2 (en) * 2014-01-22 2022-02-22 Lenovo (Singapore) Pte. Ltd. Automatic launch and data fill of application
US10270819B2 (en) 2014-05-14 2019-04-23 Microsoft Technology Licensing, Llc System and method providing collaborative interaction
US9552473B2 (en) 2014-05-14 2017-01-24 Microsoft Technology Licensing, Llc Claiming data from a virtual whiteboard
US20150331557A1 (en) * 2014-05-14 2015-11-19 Microsoft Corporation Selector to coordinate experiences between related applications
US20150331604A1 (en) * 2014-05-14 2015-11-19 Microsoft Corporation Presenting stored files in whiteboard application
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10817124B2 (en) 2014-06-03 2020-10-27 Lenovo (Singapore) Pte. Ltd. Presenting user interface on a first device based on detection of a second device within a proximity to the first device
KR102238531B1 (ko) * 2014-06-25 2021-04-09 엘지전자 주식회사 이동단말기 및 그 제어방법
DE212015000194U1 (de) 2014-08-06 2017-05-31 Apple Inc. Verkleinerte Benutzeroberflächen für Batteriemanagement
CN115665320B (zh) 2014-09-02 2024-10-11 苹果公司 电子设备、存储介质和用于操作电子设备的方法
AU2015312369B2 (en) 2014-09-02 2018-04-05 Apple Inc. Reduced-size interfaces for managing alerts
US10649652B2 (en) * 2014-11-12 2020-05-12 Samsung Electronics Co., Ltd. Method of displaying interface of mobile device and mobile device
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
KR102309897B1 (ko) * 2015-01-09 2021-10-07 주식회사 케이티 웹 어플리케이션 데이터의 무결성 보장 방법 및 장치
US9996255B2 (en) 2015-02-23 2018-06-12 Capit Learning Touch screen finger tracing device
US20160259488A1 (en) * 2015-03-06 2016-09-08 Alibaba Group Holding Limited Navigation user interface for compact mobile devices
US20160334959A1 (en) * 2015-05-15 2016-11-17 Fih (Hong Kong) Limited Electronic device and application launching method
US10572497B2 (en) 2015-10-05 2020-02-25 International Business Machines Corporation Parsing and executing commands on a user interface running two applications simultaneously for selecting an object in a first application and then executing an action in a second application to manipulate the selected object in the first application
US20170147710A1 (en) * 2015-11-20 2017-05-25 Google Inc. Multi-format search results in dialer application
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
CN105867811A (zh) * 2016-03-25 2016-08-17 乐视控股（北京）有限公司 一种消息回复方法和终端
US20170285931A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
KR102544780B1 (ko) 2016-07-04 2023-06-19 삼성전자주식회사 필기 입력에 따른 사용자 인터페이스 제어 방법 및 이를 구현한 전자 장치
WO2018052257A1 (en) * 2016-09-19 2018-03-22 Samsung Electronics Co., Ltd. Apparatus and method for managing notification
CN109614178A (zh) * 2018-09-04 2019-04-12 广州视源电子科技股份有限公司 批注显示方法、装置、设备和存储介质
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
TWI751711B (zh) * 2020-09-17 2022-01-01 元太科技工業股份有限公司 觸控顯示器及其顯示模式的控制方法
US11995297B2 (en) * 2021-03-08 2024-05-28 Samsung Electronics Co., Ltd. Enhanced user interface (UI) button control for mobile applications
CN114327232B (zh) * 2021-12-31 2025-03-25 联想(北京)有限公司 一种全屏手写的实现方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080068495A (ko) * 2007-01-19 2008-07-23 엘지전자 주식회사 터치 스크린을 구비한 전자 기기 및 이를 이용한 정보 입력방법
KR20100117417A (ko) * 2009-04-24 2010-11-03 엘지전자 주식회사 이동 통신 단말기에서의 애플리케이션 실행 방법 및 이를 적용한 이동 통신 단말기

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ582900A0 (en) * 2000-02-24 2000-03-16 Silverbrook Research Pty Ltd Printed media production
US5946406A (en) * 1991-06-17 1999-08-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US7113173B1 (en) * 1995-10-16 2006-09-26 Nec Corporation Local handwriting recognition in a wireless interface tablet device
US6552719B2 (en) * 1999-01-07 2003-04-22 Microsoft Corporation System and method for automatically switching between writing and text input modes
US6826551B1 (en) * 2000-05-10 2004-11-30 Advanced Digital Systems, Inc. System, computer software program product, and method for producing a contextual electronic message from an input to a pen-enabled computing system
US7003308B1 (en) * 2000-09-12 2006-02-21 At&T Corp. Method and system for handwritten electronic messaging
US20030093419A1 (en) * 2001-08-17 2003-05-15 Srinivas Bangalore System and method for querying information using a flexible multi-modal interface
US20040145574A1 (en) * 2003-01-29 2004-07-29 Xin Zhen Li Invoking applications by scribing an indicium on a touch screen
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
EP1639439A2 (en) * 2003-06-13 2006-03-29 The University Of Lancaster User interface
AU2003304306A1 (en) * 2003-07-01 2005-01-21 Nokia Corporation Method and device for operating a user-input area on an electronic display device
TWI399671B (zh) * 2007-01-19 2013-06-21 Lg Electronics Inc 透過觸碰輸入裝置之資訊輸入
US7996045B1 (en) * 2007-11-09 2011-08-09 Google Inc. Providing interactive alert information
US20090122019A1 (en) * 2007-11-12 2009-05-14 Dell Products L.P. Display For Information Handling System
US10095375B2 (en) * 2008-07-09 2018-10-09 Apple Inc. Adding a contact to a home screen
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
US10375223B2 (en) * 2008-08-28 2019-08-06 Qualcomm Incorporated Notifying a user of events in a computing device
US8954894B2 (en) * 2008-11-15 2015-02-10 Adobe Systems Incorporated Gesture-initiated symbol entry
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8869070B2 (en) * 2008-12-30 2014-10-21 T-Mobile Usa, Inc. Handwriting manipulation for conducting a search over multiple databases
KR101559178B1 (ko) * 2009-04-08 2015-10-12 엘지전자 주식회사 명령어 입력 방법 및 이를 적용한 이동 통신 단말기
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US20100306705A1 (en) * 2009-05-27 2010-12-02 Sony Ericsson Mobile Communications Ab Lockscreen display
KR101561703B1 (ko) * 2009-06-08 2015-10-30 엘지전자 주식회사 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
KR101071843B1 (ko) * 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
EP2375316B1 (en) * 2010-04-06 2019-11-27 Lg Electronics Inc. Mobile terminal and controlling method thereof
US8799798B2 (en) * 2010-06-09 2014-08-05 Fujitsu Limited Method and system for handwriting-based launch of an application
US20110314427A1 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Personalization using custom gestures
US9021402B1 (en) * 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
TW201227328A (en) * 2010-12-23 2012-07-01 Linktel Inc Method of transmitting and displaying messages and portable electronic devices thereof
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR101772979B1 (ko) * 2011-04-06 2017-08-31 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
EP2527968B1 (en) * 2011-05-24 2017-07-05 LG Electronics Inc. Mobile terminal
US9886567B2 (en) * 2011-06-24 2018-02-06 Facebook, Inc. Display dynamic contents on locked screens
US9176608B1 (en) * 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
US20130106710A1 (en) * 2011-10-31 2013-05-02 Nokia Corporation Methods, apparatuses, and computer program products for adjusting touchscreen sensitivity
US9600169B2 (en) * 2012-02-27 2017-03-21 Yahoo! Inc. Customizable gestures for mobile devices
US8843858B2 (en) * 2012-05-31 2014-09-23 Microsoft Corporation Optimization schemes for controlling user interfaces through gesture or touch
US8943092B2 (en) * 2013-03-04 2015-01-27 Microsoft Corporation Digital ink based contextual search
US9225677B2 (en) * 2013-03-15 2015-12-29 Facebook, Inc. Systems and methods for displaying a digest of messages or notifications without launching applications associated with the messages or notifications
US20140372896A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation User-defined shortcuts for actions above the lock screen
KR102063103B1 (ko) * 2013-08-23 2020-01-07 엘지전자 주식회사 이동 단말기
KR20150086032A (ko) * 2014-01-17 2015-07-27 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080068495A (ko) * 2007-01-19 2008-07-23 엘지전자 주식회사 터치 스크린을 구비한 전자 기기 및 이를 이용한 정보 입력방법
KR20100117417A (ko) * 2009-04-24 2010-11-03 엘지전자 주식회사 이동 통신 단말기에서의 애플리케이션 실행 방법 및 이를 적용한 이동 통신 단말기

Also Published As

Publication number Publication date
US20130321314A1 (en) 2013-12-05
US20170003868A1 (en) 2017-01-05
US10140014B2 (en) 2018-11-27
US9448652B2 (en) 2016-09-20
KR20130135425A (ko) 2013-12-11

Similar Documents

Publication Publication Date Title
KR101395480B1 (ko) 필기 입력에 기초하여 어플리케이션을 실행하는 방법 및 그 단말
CN109766053B (zh) 用户界面显示方法、装置、终端及存储介质
CN103064620B (zh) 触摸屏操作方法及触屏终端
CN104898952B (zh) 一种终端分屏实现方法及终端
US10347246B2 (en) Method and apparatus for executing a user function using voice recognition
EP3579105A1 (en) Application preloading method and device, storage medium and terminal
CN102763074B (zh) 自动键盘布局确定
US20100107067A1 (en) Input on touch based user interfaces
EP3575963A2 (en) Method for preloading application, storage medium, and terminal
US20120019465A1 (en) Directional Pad Touchscreen
KR102157327B1 (ko) 이미지 형식의 객체를 텍스트 형식으로 변환하는 전자 장치 및 방법
US20100192105A1 (en) System and method for controlling function of a device
US20140337720A1 (en) Apparatus and method of executing function related to user input on screen
CN105144037A (zh) 用于输入字符的设备、方法和图形用户界面
CN105321096A (zh) 连续性
CN108647056B (zh) 应用程序预加载方法、装置、存储介质及终端
KR20140027850A (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR20150010132A (ko) 외부 입력 장치를 제어하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN113741784A (zh) 一种切换支付功能方法及电子设备
WO2015065146A1 (ko) 전자 장치 및 이의 어플리케이션 실행 방법
CN112650433A (zh) 界面截图方法、装置和电子设备
CN108780400B (zh) 数据处理方法及电子设备
AU2015271922B2 (en) Method and apparatus for executing a user function using voice recognition
US11360579B2 (en) Capturing pen input by a pen-aware shell
CN106775184B (zh) App选项卡展现方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120601

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130927

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140425

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140508

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140508

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171030

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181030

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210304

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220307

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230306

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240305

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20250305

Start annual number: 12

End annual number: 12