[go: up one dir, main page]

KR20140026719A - 단말기의 기능 운용 방법 및 이를 지원하는 단말기 - Google Patents

단말기의 기능 운용 방법 및 이를 지원하는 단말기 Download PDF

Info

Publication number
KR20140026719A
KR20140026719A KR1020120092139A KR20120092139A KR20140026719A KR 20140026719 A KR20140026719 A KR 20140026719A KR 1020120092139 A KR1020120092139 A KR 1020120092139A KR 20120092139 A KR20120092139 A KR 20120092139A KR 20140026719 A KR20140026719 A KR 20140026719A
Authority
KR
South Korea
Prior art keywords
function
pen
voice
terminal
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020120092139A
Other languages
English (en)
Inventor
정혜순
구한준
이장우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120092139A priority Critical patent/KR20140026719A/ko
Publication of KR20140026719A publication Critical patent/KR20140026719A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H04B1/401—Circuits for selecting or indicating operating mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 단말기 기능 운용에 관한 것으로, 특히 본 발명은 오디오 신호를 수집하기 위한 마이크 및 수집된 오디오 신호를 기반으로 음성 기반 기능을 수행하고, 상기 음성 기반 기능 수행 중에 터치용 펜 기반의 펜 기능을 활성화하되, 상기 펜 기능을 통해 입력된 입력 이벤트를 상기 음성 기반 기능에 적용한 펜 적용 음성 기반 기능을 수행하도록 제어하는 제어부를 포함하는 기능 운용을 지원하는 단말기 및 이의 운용 방법의 구성을 개시한다.

Description

단말기의 기능 운용 방법 및 이를 지원하는 단말기{Operation Method for user Function and Electronic Device supporting the same}
본 발명은 단말기 기능 운용에 관한 것으로, 특히 음성 인식 기능 운용 중 펜 터치 기능을 보다 신속하고 편리하게 운용할 수 있도록 지원하는 단말기 기능 운용 방법 및 이를 지원하는 단말기에 관한 것이다.
휴대 단말기는 특정 사용자 기능을 지원하면서도 그 크기가 휴대할 수 있을 정도로 작아 많은 산업 및 생활 분야에서 각광받고 있다. 그리고 최근 들어 다양한 단말기 기능을 통합적으로 지원하는 휴대 단말기가 등장하고 있다. 이러한 휴대 단말기는 사용자 기능을 지원하면서 해당 사용자 기능에 대응하는 화면을 표시부를 통하여 제공하고 있다. 이에 따라 사용자는 특정 사용자 기능을 이용할 때 표시부에 출력되는 화면을 열람하면서 해당 기능을 이용하고 있다.
한편 종래 휴대 단말기는 휴대 단말기의 보다 세밀한 터치 입력을 지원하기 위하여 터치 펜이 제공되고 있다. 이에 따라 사용자는 손가락 등 터치 면적이 상대적으로 큰 터치 물체가 제공하지 못하는 미세 선택이나 글쓰기 등의 상황 또는 사용자가 원하는 상황에서 터치펜을 활용하고 있다. 특히 노트나 메모와 같이 필기가 가능한 사용자 기능에서 사용자는 터치펜을 이용하여 필기를 하고 있다.
한편 종래 휴대 단말기는 사용자의 음성을 수집하고, 수집된 음성을 기반으로 다양한 음성 기반 사용자 기능을 지원하고 있다. 특히 종래 휴대 단말기는 수집된 음성으로 통화 기능을 지원하거나 음성을 녹음하는 기능을 지원하고 있다. 또한 종래 휴대 단말기는 음성을 기반으로 특정 정보를 검색하는 등의 검색 기능을 지원하고 있다. 그런데 종래 휴대 단말기는 음성을 기반으로 하는 기능을 지원하는 동안에는 음성 기반 기능만을 수행할 수 있도록 지원하기 때문에 기능의 운용 측면에서 제한이 많은 단점이 있다. 이에 따라 종래 휴대 단말기 사용자는 음성 기반 기능 운용 중에 다른 사용자 기능을 운용하고자 하는 경우 음성 기반 기능을 종료하고 다른 사용자 기능을 활성화해야 하는 불편함이 있다. 특히 음성 기반 기능 활성화 중에 다른 사용자 기능을 이용해야 하는 경우도 있는데 이러한 상황에 있다 하더라도 종래 휴대 단말기는 이러한 기능을 제대로 지원하지 못하는 단점이 있었다.
따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 음성 기반 기능 운용 중에도 다른 사용자 기능을 보다 손쉽고 간편하게 활성화할 수 있도록 하여 다양한 기능을 연속적으로 그리고 합리적으로 운용할 수 있도록 지원하는 단말기 기능 운용 방법 및 이를 지원하는 단말기를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명은 오디오 신호를 수집하기 위한 마이크 및 수집된 오디오 신호를 기반으로 음성 기반 기능을 수행하고, 상기 음성 기반 기능 수행 중에 터치용 펜 기반의 펜 기능을 활성화하되, 상기 펜 기능을 통해 입력된 입력 이벤트를 상기 음성 기반 기능에 적용한 펜 적용 음성 기반 기능을 수행하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 기능 운용을 지원하는 단말기의 구성을 개시한다.
본 발명은 또한, 마이크를 활성화하여 오디오 신호를 수집하는 과정, 수집된 오디오 신호를 기반으로 음성 기반 기능을 수행하는 과정, 터치용 펜 기반의 펜 기능을 활성화하는 과정, 상기 펜 기능을 통해 입력된 입력 이벤트를 상기 음성 기반 기능에 적용하는 과정을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법의 구성을 개시한다.
이상에서 살펴본 바와 같이 본 발명에 따른 단말기 기능 운용 방법 및 이를 지원하는 단말기에 따르면, 본 발명은 음성 기반 기능 운용 중에도 해당 기능을 종료하지 않고 펜 입력 기능을 신속하고 편리하게 운용할 수 있도록 지원한다.
또한 본 발명은 설정에 따라 음성 기반 기능과 펜 입력 기능을 연속적이며 통합적으로 운용할 수 있도록 지원하여 다양한 입력 환경을 복합적으로 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 단말기 기능 운용 시스템의 구성을 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 단말기의 표시부 구성을 보다 상세히 나타낸 도면.
도 3은 본 발명의 터치용 펜 구성을 보다 상세히 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 단말기 구성을 보다 상세히 나타낸 블록도
도 5는 도 4의 제어부 구성을 보다 상세히 나타낸 도면.
도 6은 본 발명의 실시 예에 따른 단말기 기능 운용 방법을 설명하기 위한 도면.
도 7은 본 발명의 실시 예에 따른 단말기 기능 운용에 따른 화면 인터페이스의 일예를 설명하기 위한 도면.
도 8은 본 발명의 실시 예에 따른 단말기 기능 운용을 설명하기 위한 도면.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
도 1은 본 발명의 실시 예에 따른 단말기 기능 운용을 지원하는 시스템의 구성을 개략적으로 나타낸 도면이며, 도 2는 시스템의 구성 중 단말기(100)의 표시부 구성을 보다 상세히 나타낸 도면이다. 그리고 도 3은 본 발명의 시스템 구성 중 터치용 펜의 단면을 나타낸 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 단말기 기능 운용 시스템(10)은 단말기(100)와 터치용 펜(200)을 포함할 수 있다.
이와 같은 구성을 가지는 본 발명의 단말기 기능 운용 시스템(10)은 단말기(100)의 음성 기반 기능 운용 과정에서 터치용 펜(200)을 파지하고 단말기(100)의 일정 거리 이내 즉 터치용 펜(200)을 인식할 수 있는 호버링(Hovering) 영역 내에 위치하는 경우 음성 기반 기능을 일시 중지하고 터치용 펜(200) 기능 지원을 위한 펜 기능을 활성화하도록 지원할 수 있다. 또는 본 발명의 단말기 기능 운용 시스템(10)은 음성 기반 기능과 함께 터치용 펜(200) 기반의 펜 기능을 통합적으로 운용하도록 지원할 수 있다. 즉 단말기 기능 운용 시스템(10)은 입력 신호를 음성 및 펜 터치 중 적어도 하나로부터 수신하고 수신된 입력 신호에 따른 기능을 수행하도록 지원할 수 있다. 그리고 단말기 기능 운용 시스템(10)은 터치용 펜(200)이 단말기(100)로부터 일정 거리 이상 이격되어 인식 거리를 벗어난 경우, 최초 수행된 음성 기반 기능을 유지하도록 제어할 수 있다. 이에 따라 본 발명의 단말기 기능 운용 시스템(10)은 음성 기반 기능을 운용하면서도 터치용 펜(200) 기반의 펜 기능을 자유롭게 활용할 수 있도록 지원할 수 있고, 필요에 따라 음성 기반 기능을 펜 기능으로 연계하여 운용할 수 있도록 지원한다.
상기 단말기(100)는 손가락 등 정전하 변화를 기반으로 하는 터치 이벤트 생성을 지원하는 터치 패널(143)과, 단말기 기능 운용에 따른 화면을 출력하는 표시 패널(141), 터치용 펜(200) 운용을 위한 펜 터치 패널(145)을 포함하는 표시부(140)를 포함한다. 또한 단말기(100)는 상술한 표시부(140)를 구동하기 위한 구동 모듈과 전원부 및 기타 단말기(100)를 구성하는 다양한 요소들을 실장하는 수납부를 더 포함할 수 있다. 또한 본 발명의 단말기(100)는 음성 기반 기능 지원을 위하여 마이크(MIC)를 포함할 수 있다. 단말기(100)는 사용자 조작에 따라 음성 기반 기능 활성화 요청을 위한 입력 신호가 발생하면 마이크(MIC)를 활성화하고 음성 신호를 수집하도록 제어할 수 있다. 이때 마이크(MIC)는 사용자의 음성뿐만 아니라 단말기(100) 주변 다양한 오디오 신호를 수집할 수 있다. 그러면 단말기(100)는 현재 활성화 중인 기능에 따라 음성만을 필터링한 신호 또는 전체 오디오 신호를 해당 기능 운용에 적용할 수 있다. 특히 본 발명의 단말기(100)는 마이크(MIC)를 활성화하여 음성 기반 기능을 수행하면서 터치용 펜(200) 운용을 위한 제어를 지원할 수 있다. 예를 들어 단말기(100)는 터치용 펜(200) 거치부를 마련하고, 터치용 펜(200)이 거치부로부터 이탈되는 경우 터치용 펜(200) 운용을 위하여 펜 터치 패널(145)에 전원을 공급할 수 있다. 그리고 단말기(100)는 터치용 펜(200)이 펜 터치 패널(145)의 일정 거리 이내로 근접하여 터치용 펜(200)을 인식하는 경우 펜 기능 운용을 위한 동작을 수행할 수 있다. 이때 단말기(100)는 음성 기반 기능을 임시 중지하거나 기능 유지를 지원할 수 있다. 그리고 단말기(100)는 음성 기반 기능 운용을 위해 입력된 신호 및 펜 기능 운용을 위해 입력된 신호 중 적어도 하나의 신호에 따른 기능 운용을 제어할 수 있다. 이와 같이 본 발명의 단말기(100)는 음성 기반 기능을 운용하면서 펜 기능 운용을 지원할 수 있도록 다양한 루트를 형성함으로써 사용자의 상황에 맞게 다양한 입력 신호 생성을 지원할 수 있다. 상술한 음성 기반 기능 운용과 펜 기능 운용 과정에서의 단말기(100) 운용에 대한 보다 상세한 설명은 후술하는 도면들을 참조하여 보다 상세히 설명하기로 한다.
상기 터치용 펜(200)은 도시된 바와 같이 펜대(220)와, 펜대(220) 끝에 배치된 펜촉(210), 펜촉(210)에 인접된 영역의 펜대(220) 내부에 배치되는 코일(230)을 포함하여 구성될 수 있다. 이와 같은 구성을 가지는 본 발명의 터치용 펜(200)은 정전유도 방식을 지원하는 구성으로서 상기 코일(230)에 의하여 펜 터치 패널(145)의 일정 지점에 자기장이 형성되며, 단말기(100)가 해당 자기장 위치를 검출하여 터치 지점을 인식하도록 지원할 수 있다.
상술한 터치용 펜(200)은 단말기(100)의 펜 터치 패널(145)에 일정 거리 이내로 접근하게 되면, 코일(230)에 의한 자기장을 펜 터치 패널(145) 일정 지점에 발생시킬 수 있다. 이를 위하여 단말기(100)는 펜 터치 패널(145)에 형성되는 자기장 스캔 작업을 실시간 또는 일정 주기로 수행할 수 있다. 또한 터치용 펜(200) 운용을 위하여 단말기(100)는 앞서 언급한 바와 같이 터치용 펜(200)이 거치부로부터 이탈되는 것을 감지하여 펜 터치 패널(145)을 활성화하거나 음성 기반 기능 활성화 시 일정 주기로 펜 터치 패널(145)을 통하여 터치용 펜(200) 감지를 수행하도록 제어할 수 있다. 거치부 마련 시 단말기(100)에는 터치용 펜(200)의 탈부착을 감지할 수 있는 센서나 스위치가 마련될 수 있다.
터치용 펜(200)이 펜 터치 패널(145)에 의해 감지되면, 단말기(100)는 터치용 펜(200)을 기반으로 입력 작업을 수행할 수 있도록 핸드라이팅 또는 드로잉을 수행할 수 있는 사용자 인터페이스를 표시 패널(141)에 출력할 수 있다. 여기서 사용자 인터페이스는 펜 터치 입력을 수행할 수 있도록 정의된 제스처 패드가 될 수 있다. 이 제스처 패드는 본 발명의 음성 기반 기능 운용 시 출력되는 형태나 색이 다른 기능 운용 시 출력되는 형태나 색과 다르게 출력될 수도 있다. 그리고 제스처 패드는 음성 기반 기능 사용자 인터페이스 상의 적어도 일부 영역에 오버레이되어 표시될 수 있다.
상술한 바와 같이 본 발명의 단말기 기능 운용 시스템(10)은 단말기(100)의 음성 기반 기능을 운용하면서 펜 기능을 간단하고 편리하게 운용할 수 있도록 함으로써 음성으로 입력을 수행할 수 없는 환경에서도 사용자는 간편하게 펜 입력으로 대체 운용할 수 있다.
도 4는 본 발명의 실시 예에 따른 단말기(100)의 구성을 보다 상세히 나타낸 블록도이다.
도 4를 참조하면, 본 발명의 단말기(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다.
이러한 구성의 단말기(100)는 입력부(120) 및 입력 기능의 표시부(140) 중 적어도 하나의 입력 수단으로부터 음성 기반 기능 활성화를 요청하는 입력 신호가 발생하면 오디오 처리부(130)의 마이크(MIC)를 활성화하도록 제어한다. 그리고 단말기(100)는 마이크(MIC)가 수집하는 오디오 신호를 이용하여 음성 기반 기능을 지원할 수 있다. 이 과정에서 단말기(100)는 터치용 펜(200)의 일정 영역 이내의 진입이 감지되면 음성 기반 기능을 일시적으로 중지하거나 계속 유지하면서 터치용 펜(200) 운용을 위한 펜 기능을 지원할 수 있다. 예를 들어 단말기(100)는 펜 기능 운용을 위한 가상 제스처 패드를 표시 패널(141)에 출력하도록 지원할 수 있다. 이에 따라 본 발명의 단말기(100)는 음성 기반 기능을 별도로 종료하지 않더라도 터치용 펜(200) 운용을 위한 펜 기능을 지원할 수 있다. 특히 본 발명의 단말기(100)는 터치용 펜(200)을 파지하여 단말기(100)의 표시부(140) 방향으로 이동하는 간단한 동작만으로도 펜 기능 이용을 수행할 수 있도록 가상 제스처 패드를 출력하도록 지원한다. 추가로 단말기(100)는 터치용 펜(200)이 표시부(140)로부터 일정 거리 이격되거나 거치부에 다시 장착되면 가상 제스처 패드를 제거하면서 펜 기능을 비활성화하도록 지원할 수 있다. 이와 함께 단말기(100)는 음성 기반 기능으로 복귀함으로써 펜 기능이 비활성화되더라도 즉각적으로 음성 기반 기능을 이용할 수 있도록 지원할 수 있다. 특히 본 발명의 단말기(100)는 음성 기반 기능 운용 과정에서 가상 제스처 패드에 입력된 정보에 대하여 입력 완료를 수행하도록 지원할 수 있다. 예를 들어 단말기(100)는 가상 제스처 패드 제거 과정에서 가상 제스처 패드에 입력된 펜 입력 신호를 음성 입력 신호로 변환하거나 별도 변환 없이 입력된 펜 입력 정보를 음성 기반 기능에 적용하도록 지원할 수 있다. 이에 따라 사용자가 음성을 입력할 수 없는 상황에서도 본 발명의 단말기(100)는 펜 기능을 이용하여 적절한 음성 기반 기능을 운용할 수 있도록 지원할 수 있다.
한편 본 발명의 단말기(100)에서 손가락 등의 터치 인식을 위한 터치 패널(143)은 정전용량 방식으로 구성될 수 있으며, 펜 터치 패널(145)은 정전유도 방식으로 구성될 수 있다. 그러나 본 발명이 이에 한정되는 것은 아니며 상기 터치 패널(143)은 저항막 방식이나 레이저 방식 등 다양한 방식으로 교체 치환될 수 있을 것이다.
통신부(110)는 단말기(100)의 통신 기능을 지원하는 구성이다. 특히 통신부(110)는 단말기(100)가 통신 기능을 지원하는 단말기 형태로 제작되는 경우 추가될 수 있는 구성이다. 따라서 본 발명이 적용될 수 있는 단말기(100)가 통신 기능을 지원하지 않는 경우 통신부(110)는 단말기(100) 구성에서 생략될 수 있다. 한편 통신부(110)는 단말기(100)의 통신 기능 특히 이동통신 기능을 지원하기 위하여 이동통신 모듈의 형태로 마련될 수 있다. 이러한 통신부(110)는 이동통신 시스템과 통신 채널을 형성하여 단말기(100)의 이동통신 기능 수행을 위한 신호 송수신을 지원한다. 예를 들어 통신부(110)는 이동통신 시스템과 음성 서비스 채널, 영상 서비스 채널, 데이터 서비스 채널 중 적어도 하나를 형성하고, 해당 서비스 채널에 따른 특정 신호의 송수신을 지원할 수 있다. 특히 통신부(110)는 단말기(100)가 음성 기반 기능을 지원하는 과정에서 외부 서버 장치를 이용한 음성 기반 검색 기능을 지원하는 경우 수집된 음성 신호를 외부 서버 장치에 전송하는 역할을 수행할 수 있다. 그리고 통신부(110)는 외부 서버 장치에서 해당 음성 신호에 대응하는 결과를 제공하면, 해당 결과를 수신하고 이를 제어부(160)에 전달할 수 있다.
입력부(120)는 상기 단말기(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 이러한 입력부(120)는 단말기(100)의 호환 가능 여부에 따라 키보드나 키패드, 키버튼 등의 다양한 입력 수단으로 구성될 수 있다. 단말기(100)의 구동 제어나 단말기 기능 운용을 위한 입력 신호를 생성한다는 측면에서 입력부(120)는 터치 패널(143)과 표시 패널(141)에 출력되는 터치 맵의 형태로 구성될 수 있다. 또한 입력부(120)는 펜 터치 패널(145)과 표시 패널(141)에 출력되는 터치 맵의 형태로 구성될 수 있으며, 터치 패널(143)과 펜 터치 패널(145)의 혼용된 형태의 터치 맵으로 구성될 수 도 있다. 또한 입력부(120)는 단말기(100)의 입력 신호 생성의 측면에서 마이크(MIC)의 구성을 포함할 수도 있다. 이러한 본 발명의 입력부(120)는 음성 기반 기능 예를 들면 음성 인식 기반의 음성 검색 기능, 음성 녹음 기능, 음성 인식 기반 음성 입력 기능 등 다양한 기능 중 적어도 하나를 활성화하기 위한 입력 신호, 음성 기반 기능 종료를 위한 입력 신호 등을 생성할 수 있다. 또한 입력부(120)는 펜 터치 패널(145)과 터치용 펜(200)으로 구성된 경우 음성 기반 기능 활성화 과정에서 단말기(100)에 터치용 펜(200)이 일정 거리 이내로 접근하는 것을 펜 기능 활성화를 위한 입력 신호로 수집하고 이를 제어부(160)에 제공할 수 있다.
오디오 처리부(130)는 단말기(100)의 운용과정에서 설정된 다양한 오디오 데이터 및 저장부(150)에 저장된 오디오 파일 재생에 따른 오디오 데이터, 외부로부터 수신된 오디오 데이터 등을 출력할 수 있다. 또한 오디오 처리부(130)는 오디오 데이터 수집 기능을 지원할 수 있다. 이를 위하여 오디오 처리부(130)는 스피커(SPK)와 마이크(MIC)를 포함할 수 있다. 마이크(MIC)는 본 발명의 음성 기반 기능 운용을 위하여 사용자의 음성 신호 또는 단말기(100)의 주변에서 발생하는 오디오 신호를 수집하고, 수집된 신호를 제어부(160)에 전달할 수 있다. 마이크(MIC)가 수집한 신호는 현재 활성화되어 있는 음성 기반 기능의 종류에 따라 다양한 신호 처리를 수행한 후, 해당 기능에 적용될 수 있다. 예를 들어 마이크(MIC)가 수집한 음성 신호는 음성 인식되어 검색어로 처리될 수 있다. 또한 마이크(MIC)가 수집한 음성 신호는 음성 신호 자체로 녹음 처리될 수 있다. 이러한 마이크(MIC)는 음성 기반 기능 운용 시 활성화 상태를 유지하다가 펜 기능이 활성화되는 경우 일시적으로 비활성화되거나 또는 해당 기능의 종류나 사용자 조작에 따라 활성화 상태를 유지할 수도 있다.
한편 오디오 처리부(130)는 다양한 오디오 신호 출력을 지원할 수 있다. 즉 오디오 처리부(130)는 음성 기반 기능을 안내하는 오디오 신호 또는 효과음, 음성 기반 기능 활성화 중에 펜 기능 활성화를 안내하는 오디오 신호 또는 효과음, 활성화된 펜 기능을 종료함에 따른 효과음이나 오디오 신호 출력을 수행할 수 있다. 이러한 오디오 신호 출력은 사용자 제어에 따라 또는 설계자의 의도에 따라 생략될 수도 있다.
표시부(140)는 단말기(100) 운용에 필요한 다양한 화면을 제공하는 구성이다. 예를 들어 상기 표시부(140)는 단말기(100) 운용에 필요한 대기 화면, 메뉴 화면 등을 지원한다. 특히 본 발명의 표시부(140)는 터치 패널(143), 표시 패널(141) 및 펜 터치 패널(145)을 포함하여 구성될 수 있다. 터치 패널(143)은 예를 들면 정전용량 방식으로 구성될 수 있으며 이에 따라 정전용량 변화를 가할 수 있는 손가락 등의 물체에 의한 터치 이벤트를 생성한다.
여기서 터치 패널(143)에서 발생하는 터치 이벤트는 정전용량 변화를 가할 수 있는 다른 물체 예를 들면 정전용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있을 것이다. 펜 터치 패널(145)은 예를 들면 정전유도식 방식으로 구성될 수 있으며, 이에 따라 펜 터치 패널(145)은 자기장을 형성할 수 있도록 특수 제작된 터치용 펜(200)에 의한 펜 터치 이벤트 이벤트를 생성한다.
표시 패널(141)은 단말기 구동에 따른 화면 출력 및 단말기 기능 운용에 따른 화면 등을 출력할 수 있다. 특히 표시 패널(141)은 다양한 단말기 기능 중 어느 하나를 선택하여 활성화할 수 있도록 마련되는 실행 아이콘이나 메뉴 등을 포함하는 화면을 출력할 수 있다. 특히 표시 패널(141)은 앞서 설명한 음성 기반 기능 중 적어도 하나를 활성화할 수 있는 아이콘이나 메뉴를 포함하는 화면을 출력할 수 있다. 그리고 해당 아이콘이나 메뉴 선택 시 선택된 음성 기반 기능 활성화를 지원하기 위한 화면이 표시 패널(141)에 출력될 수 있다. 그리고 표시 패널(141)은 터치용 펜(200)의 접근에 따라 펜 기능 지원을 위한 가상 제스처 패드를 화면 일측에 출력할 수 있다. 표시 패널(141)은 터치용 펜(200)의 조작에 따라 가상 제스처 패드 상에서 특정 글씨나 그림이 표시되도록 지원할 수 있다. 터치용 펜(200)이 단말기(100)로부터 일정 거리 이격되는 경우 표시 패널(141)은 자동 펜 기능 비활성화에 따른 가상 제스처 패드 제거 기능을 수행할 수 있다.
저장부(150)는 단말기(100) 운용에 필요한 다양한 기본 운영체제 및 다양한 단말기 기능에 해당하는 데이터 또는 응용 프로그램과 알고리즘 등을 저장할 수 있다. 특히 상기 저장부(150)는 본 발명의 단말기 기능 운용을 지원하기 위한 응용 프로그램을 저장하며, 특히 음성 기반 기능 지원을 위한 다양한 프로그램을 저장할 수 있다. 그리고 저장부(150)는 음성 기반 기능 중 음성 인식 기능을 지원하기 위하여 음성 인식 DB(Database)(151)를 저장할 수 있다. 또한 저장부(150)는 음성 기반 기능 활성화에 따라 생성된 녹음 데이터, 음성 인식된 데이터를 기반으로 검색된 검색 데이터, 음성 기반 기능 활성화 상태에서 펜 기능 운용에 따라 입력된 데이터 등을 임시 또는 반영구적으로 저장할 수 있다. 음성 인식 DB(151)는 음성 인식 기능 지원을 위한 것으로, 외부 서버 장치에 저장된 음성 인식 데이터베이스를 이용하도록 설계되는 경우 저장부(150)에 포함되지 않고 생략될 수 있다.
제어부(160)는 본 발명의 실시 예에 따른 단말기 기능 운용을 지원하기 위하여 필요한 다양한 신호 흐름 제어와 정보 수집 및 출력 등을 제어하는 구성이다. 이를 위하여 제어부(160)는 도 5에 도시된 바와 같은 구성을 포함할 수 있다.
도 5는 본 발명의 실시 예에 따른 제어부(160)의 구성을 보다 상세히 나타낸 도면이다.
도 5를 참조하면, 본 발명의 제어부(160)는 터치 기능 지원부(161), 음성 기반 기능 지원부(163), 펜 기능 지원부(165) 및 기능 처리부(167)를 포함할 수 있다.
터치 기능 지원부(161)는 터치 패널(143) 운용을 지원하는 구성이다. 이러한 터치 기능 지원부(161)는 단말기(100) 운용 과정에서 기 설정된 스케줄 정보 또는 사용자 요청에 따라 터치 패널(143)을 활성화하도록 제어하고, 터치 패널(143)에서 발생하는 터치 이벤트를 수집한다. 그리고 터치 기능 지원부(161)는 수집된 터치 이벤트를 기능 처리부(167)에 전달할 수 있다. 또한 터치 기능 지원부(161)는 음성 기반 기능 활성화 과정에서 터치 패널(143)을 활성화하도록 제어할 수도 있다. 그리고 터치 기능 지원부(161)는 음성 기반 기능 활성화 중 터치 패널(143)에서 발생한 터치 이벤트를 기능 처리부(167)에 전달할 수 있다. 또한 터치 기능 지원부(161)는 음성 기반 기능 활성화 중에 펜 기능이 활성화된 상태에서도 터치 패널(143)을 활성화하도록 지원하고, 해당 터치 패널(143)에서 발생한 터치 이벤트를 기능 처리부(167)에 전달할 수 있다.
음성 기반 기능 지원부(163)는 기 설정된 스케줄 정보 또는 사용자 요청에 따라 음성 기반 기능 운용을 지원하는 구성이다. 이를 위하여 음성 기반 기능 지원부(163)는 음성 기반 기능을 선택 및 활성화할 수 있는 적어도 하나의 음성 기반 기능 관련 아이콘이나 메뉴를 표시부(140)에 출력하도록 지원할 수 있다. 그리고 음성 기반 기능 지원부(163)는 해당 아이콘이나 메뉴 선택에 따른 음성 기반 기능을 지원할 수 있다. 예를 들어, 음성 기반 기능 지원부(163)는 음성 검색 기능 아이콘이나 메뉴를 표시부(140)에 출력하도록 지원할 수 있으며, 해당 아이콘이나 메뉴 선택 시 음성 검색 기능을 활성화하도록 제어할 수 있다. 이 과정에서 음성 기반 기능 지원부(163)는 마이크(MIC)를 활성화하여 사용자 음성을 수집하고, 수집된 음성을 음성 인식 DB(151)를 이용하여 음성 인식한다. 그리고 음성 기반 기능 지원부(163)는 음성 인식된 데이터를 검색어로서 음성 검색 기능을 수행할 수 있다. 이때 음성 기반 기능 지원부(163)는 사전 정의된 제약에 따라 해당 검색어에 대응하는 검색 데이터를 단말기(100)에 저장된 정보에서 검색하거나 외부 서비스 장치 예를 들면 웹 검색 서비스 장치에 접속하여 검색을 요청하고 그에 대응하는 검색 데이터를 수신할 수 있다. 이를 위하여 음성 기반 기능 지원부(163)는 통신부(110)를 활성화하고 사전 설정된 특정 검색 사이트에 해당 검색어를 제공할 수 있다.
추가로 음성 기반 기능 지원부(163)는 음성 인식을 외부 음성 인식 서버 장치를 이용하도록 설계된 경우, 수집된 음성 신호를 통신부(110)를 통하여 외부 음성 인식 서버 장치에 전송하도록 지원할 수 있다. 그리고 음성 기반 기능 지원부(163)는 외부 음성 인식 서버 장치로부터 해당 음성에 대한 검색 데이터를 수신하고, 수신된 검색 데이터를 저장부(150)에 임시 또는 반영구적으로 저장하도록 제어하거나, 표시부(140)에 출력하는 등의 데이터 처리를 지원할 수 있다.
펜 기능 지원부(165)는 터치용 펜(200) 운용을 지원하는 구성이다. 이러한 펜 기능 지원부(165)는 터치용 펜(200)이 단말기(100)에 마련된 거치부로부터 이탈되는 경우 터치용 펜(200) 운용을 위하여 펜 터치 패널(145)을 활성화하도록 제어할 수 있다. 이 과정에서 펜 기능 지원부(165)는 터치용 펜(200)이 펜 터치 패널(145)로부터 일정 거리 이내에 진입함에 따른 호버링(Hovering) 상태를 확인하고, 호버링 이벤트에 따른 펜 기능 초기화 과정을 수행한다. 펜 기능 초기화가 완료되면 펜 기능 지원부(165)는 터치용 펜(200)의 펜 터치 패널(145) 접촉에 따른 펜 터치 이벤트를 수집하고 이를 기능 처리부(167)에 전달할 수 있다. 실질적으로 도시된 도면에서 표시 패널(141) 하부에 펜 터치 패널(145)이 배치되기 때문에 터치용 펜(200)이 펜 터치 패널(145)에 물리적으로 접촉되지는 않지만 펜 기능 지원부(165)는 터치용 펜(200)의 접근에 따라 일정 이상의 전자기 유도가 발생한 경우 터치용 펜(200)이 터치 패널(143) 또는 표시 패널(141) 상에 접촉되는 것으로 판단할 수 있다. 결국 펜 기능 지원부(165)는 펜 터치 패널(145) 상에 전자기 유도가 일정 값 이상 발생하는 경우 터치용 펜(200)이 표시부(140)에 접촉되는 것으로 판단하고 그에 대응하는 펜 터치 이벤트를 기능 처리부(167)에 전달할 수 있다. 한편 펜 기능 지원부(165)는 펜 터치 패널(145)로부터 터치용 펜(200)이 일정 거리 이상 이격됨에 따라 호버링 상태가 해제되는 경우 펜 기능 종료를 수행하도록 지원할 수 있다. 이 경우 펜 기능 지원부(165)는 호버링 상태 해제에 따른 펜 기능 종료 이벤트를 기능 처리부(167)에 전달할 수 있다.
기능 처리부(167)는 터치 기능 지원부(161)로부터 전달된 터치 이벤트, 음성 기반 기능 지원부(163)로부터 전달된 음성 신호, 펜 기능 지원부(165)로부터 전달된 호버링 이벤트 및 펜 터치 이벤트 중 적어도 하나의 수신에 따른 기능 처리를 지원하는 구성이다. 즉 기능 처리부(167)는 터치 기능 지원부(161)로부터 터치 이벤트가 수집되면 수집된 터치 이벤트에 따라 기능 처리를 지원할 수 있다. 예를 들어, 표시 패널(141)에 다양한 아이콘이 출력되고, 해당 아이콘을 선택하기 위한 터치 이벤트가 발생하면 기능 처리부(167)는 해당 아이콘 선택을 위한 터치 이벤트 발생에 따라 아이콘에 할당된 기능 수행을 지원할 수 있다. 일예로서 표시 패널(141)에 음성 기반 기능 활성화를 위한 아이콘이 출력되고, 해당 아이콘 선택을 위한 터치 이벤트가 터치 패널(143)에서 발생하면, 기능 처리부(167)는 음성 기반 기능을 활성화하도록 제어할 수 있다.
한편 기능 처리부(167)는 음성 기반 기능 지원부(163)로부터 음성 신호가 전달되면, 현재 활성화되어 있는 음성 기반 기능의 종류에 따라 녹음하거나, 통신부(110)를 통하여 외부 서버 장치에 전달하거나 또는 타 단말기에 전달하도록 제어할 수 있다. 특히 기능 처리부(167)는 현재 음성 검색 기능이 활성화되어 있는 경우 음성 기반 기능 지원부(163)가 전달한 음성 신호를 음성 인식하고, 음성 인식 결과를 검색어로 할당할 수 있다. 그리고 기능 처리부(167)는 해당 검색어에 대응하는 검색 데이터를 단말기(100)의 저장부(150)에 저장된 데이터들을 기준으로 검색하거나, 검색 데이터를 제공하는 외부 서버 장치 접속을 통하여 검색 데이터를 수집할 수 있다. 검색 데이터가 수집되면 기능 처리부(167)는 수집된 검색 데이터를 표시부(140)에 출력하도록 지원할 수 있다.
본 발명의 기능 처리부(167)는 음성 기반 기능 예를 들어, 음성 검색 기능이 활성화된 상태에서 펜 기능 지원부(165)로부터 터치용 펜(200)의 접근에 따른 호버링 이벤트가 전달되면, 터치용 펜(200)에 의한 입력 이벤트 수집을 위하여 가상 제스처 패드를 표시 패널(141)의 적어도 일측에 출력하도록 지원할 수 있다. 그리고 기능 처리부(167)는 펜 기능 지원부(165)가 수집한 가상 제스처 패드에서 발생된 펜 터치 이벤트를 수신하고 수신된 펜 터치 이벤트에 따른 기능을 수행하도록 지원할 수 있다. 특히 기능 처리부(167)는 음성 검색 기능 수행 중에 활성화된 가상 제스처 패드에서 입력된 펜 터치 이벤트를 음성 신호의 음성 인식 결과와 동일한 레벨로 인식하고, 그에 따른 음성 검색 기능을 수행하도록 지원할 수 있다. 이에 따라 본 발명의 기능 처리부(167)는 음성 검색 기능을 마이크(MIC)를 통하여 수행하다가 마이크(MIC)를 이용할 수 없는 상황에서도 가상 제스처 패드를 호출하여 음성 검색 기능에 적용할 검색어 입력을 연속성을 가지며 수행하도록 지원할 수 있다. 즉 기능 처리부(167)는 음성 검색 기능이 수행된 상태에서 호출된 펜 기능을 음성 검색 기능과 자동으로 연계하여 운용될 수 있도록 한다. 그리고 기능 처리부(167)는 펜 기능 지원부(165)로부터 호버링 해제에 따른 펜 기능 종료 이벤트를 수신하면 가상 제스처 패드를 표시부(140)에서 제거하고 음성 기반 기능인 음성 검색 기능을 음성으로 수행되도록 지원할 수 있다. 여기서 기능 처리부(167)는 가상 제스처 패드가 출력되고 있는 동안에는 마이크(MIC) 기능을 임시로 중지하도록 제어할 수 있으며, 또한 사용자 설정 등에 따라 마이크(MIC) 기능을 활성화하고 마이크(MIC)가 수집한 음성 신호를 인식한 결과 가상 제스처 패드를 통하여 입력된 데이터를 검색어로서 할당한 검색 기능을 수행하도록 지원할 수 있다.
이상에서 설명한 바와 같이 본 발명의 단말기 기능 운용을 위한 시스템(10)은 음성 기반 기능 수행 중에 터치용 펜(200) 진입만을 통해서 간단히 펜 기능을 운용할 수 있도록 지원한다. 또한 본 발명의 단말기 기능 운용 시스템(10)은 음성 기반 기능의 입력 수단으로 펜 기능을 이용할 수 있도록 함으로써 음성을 입력할 수 없는 상황에서 즉각적이며 안정적으로 신호 입력을 지원할 수 있다. 특히 본 발명의 단말기 기능 운용 시스템(10)은 음성 기반 기능을 수행하면서 펜 기능을 음성 기반 기능의 운용을 위한 입력 수단으로 활용할 수 있어 기능의 연속성을 유지할 수 있다. 예를 들어, 음성 기반 기능을 운용하기 위한 저장부(150) 연결 루트나 외부 서버 장치의 연결 루트는 펜 기능을 통한 입력의 단말기 기능 수행 루트와 다르게 설계되고 구현될 수 있다. 그러나 본 발명의 경우 동일한 음성 기반 기능 수행을 위한 프로그램들의 호출이나 연산 및 기타 통신 모듈들의 운용을 그대로 유지하면서 펜 기능에 의한 입력 신호를 해당 음성 기반 기능에 적용하도록 지원할 수 있다. 이에 따라 본 발명은 단말기의 기능 수행에 있어서 효율을 극대화할 수 있으며, 음성 기반 기능에 연계된 특징을 수행하기 때문에 검색 데이터를 음성 검색 시와 동일하게 획득할 수 있도록 지원한다.
도 6은 본 발명의 실시 예에 따른 단말기 기능 운용 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 본 발명의 단말기 운용 방법은 먼저, 601 단계에서와 같이 전원부로부터 전원이 공급되면, 제어부(160)는 공급된 전원을 단말기(100) 구동에 필요한 각 구성들에 분배하도록 지원할 수 있다. 특히 제어부(160)는 단말기(100) 부팅에 필요한 전원 공급과 신호 흐름 제어를 수행할 수 있으며, 부팅이 완료된 상태인 경우 기 설정된 스케줄 정보에 따른 기능 수행 제어를 지원할 수 있다. 예를 들어 제어부(160)는 음성 기반 기능을 활성화할 수 있는 아이콘이나 메뉴를 포함하는 화면을 표시부(140)에 출력하도록 지원할 수 있다.
이후 제어부(160)는 입력 이벤트가 발생하면 603 단계에서 음성 기반 기능 수행을 위한 입력 이벤트 발생인지 여부를 확인한다. 이 단계에서 음성 기반 기능이 아닌 경우 605 단계로 분기하여 해당 입력 이벤트에 따른 기능 수행을 지원할 수 있다. 예를 들어, 제어부(160)는 입력 이벤트에 따른 파일 재생 기능, 파일 편집 기능, 방송 수신 기능, 웹 접속 기능 등 다양한 기능을 수행하도록 지원할 수 있다. 그리고 제어부(160)는 단말기(100) 종료를 위한 입력 이벤트 발생 시 단말기(100)를 종료하도록 제어할 수 있다.
한편 제어부(160)는 603 단계에서 입력 이벤트가 음성 기반 기능 수행을 위한 입력 이벤트인 경우 607 단계로 분기하여 음성 기반 기능이 수행될 수 있도록 지원할 수 있다. 예를 들어 제어부(160)는 음성 기반 기능이 녹음 기능인 경우 마이크(MIC)를 활성화하고, 마이크(MIC)를 통하여 입력된 음성 신호를 저장하도록 제어할 수 있다. 이때 단말기(100)는 상기 펜 기능에 의해 입력된 텍스트를 음성 변환하고, 변환된 음성을 녹음 데이터로 저장할 수 있다. 또한 제어부(160)는 음성 기반 기능이 음성 검색 기능인 경우 마이크(MIC)를 활성화하고 마이크(MIC)를 통하여 입력된 음성 신호를 음성 인식하고, 음성 인식 결과를 검색어로 할당하여 검색 데이터 수집을 지원할 수 있다.
한편 제어부(160)는 음성 기반 기능을 수행하면서 609 단계에서 펜 기능 수행을 위한 입력 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 제어부(160)는 거치부에 거치된 터치용 펜(200)이 거치부로부터 탈거되거나, 일정 주기로 펜 터치 패널(145)을 활성화하여 터치용 펜(200)이 일정 거리 이내로 접근함에 따른 호버링 상태를 가지는지를 검출할 수 있다. 또는 제어부(160)는 펜 기능 운용을 위하여 사전 정의된 아이콘이나, 메뉴 선택 또는 하드 키 등의 버튼 선택 신호가 발생하는지를 확인할 수 있다. 예를 들어 제어부(160)는 단말기(100)의 거치부에서 터치용 펜(200)이 탈거되거나 호버링 상태를 가지는 경우 펜 기능 지원을 위한 가상 제스처 패드를 표시부에 출력하도록 지원할 수 있다.
제어부(160)는 펜 기능 운용을 위한 입력 이벤트가 발생하면 611 단계로 분기하여 펜 기능 및 음성 기반 기능 중 적어도 하나를 수행하도록 지원할 수 있다. 특히 본 발명의 제어부(160)는 음성 기반 기능을 수행하면서 펜 기능을 통해 발생하는 입력 신호를 음성 기반 기능의 입력 신호로 처리하도록 지원할 수 있다. 예를 들어 제어부(160)는 녹음 기능이 운용되고 있는 경우 펜 기능을 통해 입력된 입력 신호를 음성 신호로 변환한 후 변환된 음성 신호로서 녹음 기능이 수행되도록 지원할 수 있다. 또한 제어부(160)는 음성 검색 기능이 운용되고 있는 경우 펜 기능을 통해 입력된 입력 신호를 음성 검색 기능의 검색어로 할당하고, 해당 검색어에 따른 검색 데이터 수집을 제어할 수 있다.
이후 제어부(160)는 613 단계에서 펜 기능 종료를 위한 입력 이벤트 발생이 있는지 여부를 확인한다. 즉 제어부(160)는 펜 기능 종료를 위해 마련된 종료 아이콘이나 종료 버튼이 눌려지거나, 터치용 펜(200)이 펜 터치 패널(145)로부터 일정 거리 이상 벗어나서 호버링이 해제되거나, 단말기(100)에 마련된 거치부에 장착되는 경우 펜 기능 종료로 판단할 수 있다. 이러한 펜 기능 종료 이벤트가 발생하지 않는 경우 제어부(160)는 611 단계 이전으로 분기하여 이하 과정을 재수행하도록 제어할 수 있다. 한편 단말기(100)는 펜 기능 종료 이벤트가 발생하는 경우 615 단계로 분기하여 음성 기반 기능 종료를 위한 입력 이벤트 발생 여부를 확인한다. 그리고 해당 입력 이벤트 발생이 없는 경우에는 607 단계 이전으로 분기하여 이하 과정을 재수행하고, 음성 기반 기능 종료를 위한 입력 이벤트가 발생하면 603 단계 이전으로 분기하여 이하 과정을 재수행하도록 제어할 수 있다.
도 7은 본 발명의 실시 예에 따른 단말기 기능 운용 중 제공 가능한 화면 인터페이스의 일예를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 단말기(100)는 사용자 요청에 따라 또는 기 설정된 스케줄 정보에 따라 음성 기반 기능을 활성활 수 있다. 특히 단말기(100)는 701 화면에서와 같이 음성 검색 기능 활성화에 따른 화면을 표시부(140)에 출력하도록 지원할 수 있다. 이때 단말기(100)는 음성 검색 기능 지원을 위하여 마이크(MIC)를 활성화하도록 제어할 수 있다.
한편 사용자는 음성 검색 기능 이용 중에 음성 입력이 불편하거나 불가능한 경우, 펜 기능 운용을 위한 입력 이벤트를 생성할 수 있다. 예를 들어, 사용자는 단말기(100)에 별도 마련된 거치부에서 터치용 펜(200)을 탈거할 수 있다. 그러면 단말기(100)는 펜 터치 패널(145)을 일정 주기로 활성화하여 터치용 펜(200)에 의한 펜 입력 이벤트가 발생하는지를 확인할 수 있다. 예를 들어, 단말기(100)는 펜 터치 패널(145)로부터 일정 거리 이내로 터치용 펜(200)이 접근하는지를 펜 터치 패널(145)에서 발생하는 전자기 유도 정도로 확인할 수 있다.
터치용 펜(200)이 일정 거리 이내로 접근하여 호버링 상태가 된 경우, 또는 단말기의 펜 거치부에서 터치용 펜(200)이 탈거되는 경우 단말기(100)는 703 화면에서와 같이 가상 제스처 패드(40)를 화면 일측에 출력하도록 지원할 수 있다. 이때 제공되는 가상 제스처 패드(40)는 음성 검색 기능 지원용 가상 제스처 패드가 될 수 있다. 즉 가상 제스처 패드(40)에 입력된 정보는 음성 검색 기능 이용을 위한 검색어로 할당될 수 있다. 한편 단말기(100)는 가상 제스처 패드(40) 이외의 터치 영역(50)에 대하여 터치 패널(143) 운용을 지원할 수 있다. 이에 따라 사용자는 터치 영역(50)을 통하여 터치 패널(143) 기반의 터치 이벤트 생성을 운용할 수 있다. 한편 도시된 도면에서는 가상 제스처 패드(40)가 화면의 일부 영역에만 출력되는 것으로 나타내었으나 본 발명이 이에 한정되는 것은 아니다. 즉 가상 제스처 패드(40)는 화면 전체에 출력될 수도 있다. 또는 터치용 펜(200)의 운용에 따라 가상 제스처 패드(40)의 크기가 변경될 수도 있다. 예를 들어 터치용 펜(200)을 이용하여 가상 제스처 패드(40)의 가장 자리 영역 또는 모서리 영역을 터치하고 일정 방향으로 이동함에 따라 가상 제스처 패드(40)의 크기는 커지거나 작아질 수 있다.
한편 사용자는 터치용 펜(200)을 이용하여 가상 제스처 패드(40) 상에 핸드라이팅 기능 또는 드로잉 기능 중 적어도 하나를 운용할 수 있다. 단말기(100)는 가상 제스처 패드(40) 상에 입력된 정보를 확인하여 사전 정의된 특정 문자에 대응하는지 확인할 수 있다. 이를 위하여 단말기(100)는 입력된 정보와 비교하기 위한 문자 데이터베이스를 저장부(150)에 저장하고, 이를 기반으로 입력 정보가 어떠한 문자에 대응하는지를 확인할 수 있다. 여기서 단말기(100)는 입력된 정보가 문자 데이터베이스에 저장된 특정 문자들과의 유사율이 일정 비율 이하인 경우 해당 정보를 드로잉 정보로 판단할 수 있다. 이에 따라 단말기(100)는 입력된 정보와 일정 유사율 이상의 문자를 문자 인식하여 핸드라이팅 정보로 판단하거나, 드로잉 정보로 판단할 수 있다. 한편 단말기(100)는 핸드라이팅 정보 및 드로잉 정보 중 적어도 하나가 입력되면 해당 정보에 대응하는 정보를 검색어로 하여 검색 데이터 수집을 진행할 수 있다. 특히 단말기(100)는 드로잉 정보에 대응하는 검색 데이터를 수집할 수 있다. 예를 들어 사용자가 드로잉 정보로서 "감자" 형상을 드로잉하고, "요리"라는 글자를 기입하는 경우, 단말기(100)는 드로잉 정보로서 감자에 대응하는 이미지를 수집하며, 핸드라이팅 정보로서 "요리"를 수집할 수 있다. 결과적으로 단말기(100)는 705 화면에서와 같이 "감자 요리"를 검색어로 할당하고, 이에 대한 검색을 수행할 수 있다. 여기서 단말기(100)는 드로잉 정보 및 핸드라이팅 정보를 각각 구분하여 검색을 수행하고 그에 따른 검색 데이터 수집을 진행할 수 있다. 그리고 단말기(100)는 707 화면에서와 같이 수집된 검색 데이터를 표시부(140)에 표시하도록 지원할 수 있다.
한편 단말기(100)는 터치용 펜(200)이 펜 터치 패널(145)의 일정 영역에 진입하여 호버링 상태가 인식되면 가상 제스처 패드(40)를 703 화면에서와 같이 출력하여 핸드라이팅 정보 및 드로잉 정보 중 적어도 하나를 펜 기능으로 입력할 수 있도록 지원한다. 그리고 단말기(100)는 터치용 펜(200)이 펜 터치 패널(145)로부터 일정 거리 이상 이격되어 호버링 해제 상태가 인식되면 가상 제스처 패드(40)를 표시부(140)에서 제거할 수 있다. 이때 단말기(100)는 호버링 해제 이벤트를 가상 제스처 패드(40)에 입력된 정보들에 대한 입력 완료 이벤트로 인식할 수 있다. 이에 따라 단말기(100)는 가상 제스처 패드(40)를 화면에서 제거하는 과정에서 가상 제스처 패드(40)에 별다른 정보 입력이 없는 경우에는 가상 제스처 패드(40) 제거 및 펜 기능 종료만을 제어할 수 있다. 그리고 단말기(100)는 가상 제스처 패드(40)를 화면에서 제거하는 과정에서 가상 제스처 패드(40)에 특정 입력 정보가 있는 경우 호버링 해제 이벤트를 입력 완료 이벤트로 인식하고 입력 정보를 기반으로 음성 검색 기능을 수행하도록 제어할 수 있다.
상술한 바와 같이 본 발명의 단말기 기능 운용은 터치용 펜(200)의 파지 및 쓰기 자세를 취하는 동작만으로도 펜 기능 운용을 간편하게 활성화할 수 있으며, 터치용 펜(200)을 펜 터치 패널(145)로부터 일정 거리 이격시키는 동작으로도 펜 기능 입력 완료를 수행하도록 지원할 수 있다. 특히 본 발명은 음성 기반 기능 상에 펜 기능을 입력 신호 생성 수단으로 이용함으로써 음성 기반 기능 운용 중 펜 기능 운용을 통한 다양한 입력 신호 생성이 가능하도록 지원할 수 있다.
도 8은 본 발명의 실시 예에 따른 단말기 기능 운용에 대한 개념을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 단말기(100)는 음성 기반 기능(810)과 펜 적용 음성 기반 기능(820)을 운용할 수 있도록 지원한다. 여기서 음성 기반 기능(810)은 앞서 설명한 바와 같이 마이크(MIC)를 통하여 입력되는 오디오 신호 또는 음성 신호를 포함한 오디오 신호를 이용하는 다양한 음성 관련 기능 중 적어도 하나가 될 수 있다. 예를 들어 음성 기반 기능(810)은 음성 녹음 기능, 음성 검색 기능, 음성 확대 출력 또는 변경 출력 기능 등 다양한 기능이 될 수 있다. 여기서 음성 녹음 기능은 마이크(MIC)가 수집한 음성을 녹음하는 기능에 해당할 수 있다. 음성 검색 기능은 마이크(MIC)가 수집한 음성을 음성 인식하고 음성 인식된 결과를 기반으로 검색 데이터를 수집하여 제공하는 기능이 될 수 있다. 음성 확대 출력 기능은 마이크(MIC)가 수집한 음성 신호를 일정 데시벨로 확대하거나 특정 음성 신호로 변경하여 출력하는 기능이 될 수 있다.
한편 음성 기반 기능(810) 운용 중에 사용자는 터치용 펜(200) 및 펜 터치 패널(145)을 이용하여 호버링 상태를 가지도록 단말기(100)를 조작할 수 있다. 단말기(100)는 호버링 상태에 대한 입력 이벤트가 수집되면 펜 적용 음성 기반 기능(820)이 수행되도록 지원할 수 있다. 즉 단말기(100)는 음성 기반 기능(810)을 수행하되 입력 이벤트를 펜 기능을 기반으로 수신하거나 또는 마이크(MIC) 및 펜 기능 중 적어도 하나로부터 수신되는 신호를 입력 이벤트로 처리할 수 있다. 여기서 단말기(100)는 펜 적용 음성 기반 기능(820) 수행 중에 호버링 상태가 해제되는 경우, 펜 기능을 종료하고 음성 기반 기능(810)으로 복귀할 수 있다.
상술한 바와 같이 본 발명의 실시 예에 따른 단말기(100)는 터치용 펜(200) 운용에 있어서 호버링 상태 생성 및 해제만으로 펜 기능 운용을 지원할 수 있도록 한다. 이에 따라 사용자는 보다 신속하고 편리한 펜 기능 운용을 통한 입력 이벤트 생성을 수행할 수 있다.
한편 상술한 단말기(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기(100)는 근거리 통신을 위한 근거리통신모듈, 상기 단말기(100)의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
또한 본 발명의 실시 예에 따른 상기 단말기(100)는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)을 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 단말기 110 : 통신부
120 : 입력부 130 : 오디오 처리부
140 : 표시부 150 : 저장부
160 : 제어부
200 : 터치용 펜 210 : 펜촉
220 : 펜대 230 : 코일

Claims (20)

  1. 마이크를 활성화하여 오디오 신호를 수집하는 과정;
    수집된 오디오 신호를 기반으로 음성 기반 기능을 수행하는 과정;
    터치용 펜 기반의 펜 기능을 활성화하는 과정;
    상기 펜 기능을 통해 입력된 입력 이벤트를 상기 음성 기반 기능에 적용하는 과정;을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  2. 제1항에 있어서,
    상기 음성 기반 기능을 수행하는 과정은
    상기 수집된 오디오 신호를 기반으로 하는 음성 검색 기능인 것을 특징으로 하는 단말기의 기능 운용 방법.
  3. 제2항에 있어서,
    상기 적용 과정은
    상기 펜 기능에 의해 입력된 정보를 상기 음성 검색 기능의 검색어로 할당하는 과정;
    상기 검색어에 해당하는 검색 데이터를 수집하는 과정;
    상기 수집된 검색 데이터를 출력하는 과정;을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  4. 제2항에 있어서,
    상기 검색어로 할당하는 과정은
    상기 펜 기능에 의해 입력된 드로잉 정보를 검색어로 할당하는 과정;
    상기 펜 기능에 의해 입력된 핸드라이팅 정보를 검색어로 할당하는 과정; 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  5. 제4항에 있어서,
    상기 핸드라이팅 정보를 검색어로 할당하는 과정은
    상기 핸드라이팅된 정보를 문자 인식하는 과정;
    상기 문자 인식된 정보를 상기 검색어로 할당하는 과정;을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  6. 제1항에 있어서,
    상기 펜 기능을 활성화하는 과정은
    터치용 펜이 펜 터치 패널의 인접된 영역에 배치되어 상기 펜 터치 패널이 호버링 상태에 따른 전자기 유도 값을 수집하는 경우 상기 호버링 상태 발생에 따라 펜 입력을 위한 가상 제스처 패드를 화면의 적어도 일부 영역에 표시하는 과정;
    터치용 펜이 단말기의 거치부에서 탈거되는 경우 상기 터치용 펜의 펜 입력을 위한 가상 제스처 패드를 화면의 적어도 일부 영역에 표시하는 과정; 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  7. 제6항에 있어서,
    상기 호버링 상태가 해제되는 경우 상기 가상 제스처 패드를 화면에서 제거하고 상기 음성 기반 기능으로 복귀하는 과정;
    상기 단말기의 거치부에 상기 터치용 펜이 장착되는 경우 상기 가상 제스처 패드를 화면에서 제거하고 상기 음성 기반 기능으로 복귀하는 과정;을 더 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  8. 제7항에 있어서,
    상기 호버링 상태가 해제되거나, 상기 단말기의 거치부에 상기 터치용 펜이 장착되는 경우 상기 가상 제스처 패드를 이용한 정보 입력 완료를 수행하는 과정;을 더 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  9. 제1항에 있어서,
    상기 음성 기반 기능을 수행하는 과정은
    상기 수집된 오디오 신호를 녹음하는 녹음 기능인 것을 특징으로 하는 단말기의 기능 운용 방법.
  10. 제9항에 있어서,
    상기 적용 과정은
    상기 펜 기능에 의해 입력된 텍스트를 음성 변환하는 과정;
    변환된 음성을 녹음 데이터로 저장하는 과정;을 포함하는 것을 특징으로 하는 단말기의 기능 운용 방법.
  11. 오디오 신호를 수집하기 위한 마이크;
    수집된 오디오 신호를 기반으로 음성 기반 기능을 수행하고, 상기 음성 기반 기능 수행 중에 터치용 펜 기반의 펜 기능을 활성화하되, 상기 펜 기능을 통해 입력된 입력 이벤트를 상기 음성 기반 기능에 적용한 펜 적용 음성 기반 기능을 수행하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  12. 제11항에 있어서,
    상기 음성 기반 기능 운용에 따른 화면;
    상기 펜 기능을 통해 입력된 입력 이벤트가 적용된 음성 기반 기능 운용에 따른 화면; 중 적어도 하나의 화면을 출력하는 표시부;를 더 포함하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  13. 제12항에 있어서,
    상기 표시부는
    상기 터치용 펜 기반의 펜 기능을 지원하기 위해 화면의 적어도 일부에 출력되는 가상 제스처 패드;를 표시하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  14. 제13항에 있어서,
    상기 단말기 일측에 마련되어 상기 터치용 펜 탈거를 감지하는 거치부;를 더 포함하고,
    상기 표시부는
    상기 터치용 펜이 상기 거치부로부터 탈거되면 상기 가상 제스처 패드를 출력하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  15. 제14항에 있어서,
    상기 제어부는
    상기 거치부에 상기 터치용 펜이 장착되는 경우 상기 펜 적용 음성 기반 기능에서 상기 음성 기반 기능으로 복귀하도록 제어하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  16. 제11항에 있어서,
    상기 터치용 펜 운용을 위한 펜 터치 패널;을 더 포함하고,
    상기 표시부는
    상기 펜 터치 패널에서 상기 터치용 펜의 호버링 상태에 대응하는 전자기 유도 값을 수집하는 경우 상기 가상 제스처 패드를 출력하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  17. 제16항에 있어서,
    상기 제어부는
    상기 호버링 상태 해제 시, 상기 펜 적용 음성 기반 기능에서 상기 음성 기반 기능으로 복귀하도록 제어하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  18. 제11항에 있어서,
    상기 제어부는
    상기 음성 기반 기능으로서, 상기 수집된 오디오 신호를 기반으로 하는 음성 검색 기능을 수행하되,
    상기 펜 기능에 의해 입력된 정보를 상기 음성 검색 기능의 검색어로 할당하고, 상기 검색어에 해당하는 검색 데이터를 수집하여 출력하도록 제어하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  19. 제18항에 있어서,
    상기 제어부는
    상기 펜 기능에 의해 입력된 드로잉 정보 및 상기 펜 기능에 의해 입력된 핸드라이팅 정보 중 적어도 하나를 검색어로 할당하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
  20. 제11항에 있어서,
    상기 제어부는
    상기 음성 기반 기능으로서, 상기 수집된 오디오 신호를 녹음하는 녹음 기능을 수행하되, 상기 펜 기능에 의해 입력된 텍스트를 음성 변환하고, 변환된 음성을 녹음 데이터로 저장하거나,
    상기 음성 기반 기능으로서, 상기 수집된 오디오 신호를 확대 출력하거나 변경 출력하도록 제어하는 것을 특징으로 하는 기능 운용을 지원하는 단말기.
KR1020120092139A 2012-08-23 2012-08-23 단말기의 기능 운용 방법 및 이를 지원하는 단말기 Withdrawn KR20140026719A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120092139A KR20140026719A (ko) 2012-08-23 2012-08-23 단말기의 기능 운용 방법 및 이를 지원하는 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120092139A KR20140026719A (ko) 2012-08-23 2012-08-23 단말기의 기능 운용 방법 및 이를 지원하는 단말기

Publications (1)

Publication Number Publication Date
KR20140026719A true KR20140026719A (ko) 2014-03-06

Family

ID=50641125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092139A Withdrawn KR20140026719A (ko) 2012-08-23 2012-08-23 단말기의 기능 운용 방법 및 이를 지원하는 단말기

Country Status (1)

Country Link
KR (1) KR20140026719A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020237A (zh) * 2021-11-01 2022-02-08 联想(北京)有限公司 一种切换方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020237A (zh) * 2021-11-01 2022-02-08 联想(北京)有限公司 一种切换方法及系统

Similar Documents

Publication Publication Date Title
US11692840B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
KR102084041B1 (ko) 펜 기능 운용 방법 및 시스템
KR102040857B1 (ko) 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
RU2669087C2 (ru) Способ и устройство управления тактильной отдачей инструмента ввода для терминала мобильной связи
KR102070013B1 (ko) 컨텐츠 활용 기능 지원 방법 및 이를 지원하는 단말기
CN103927113B (zh) 便携式终端及在便携式终端中提供触觉效果的方法
US9965035B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
US10013098B2 (en) Operating method of portable terminal based on touch and movement inputs and portable terminal supporting the same
US9110587B2 (en) Method for transmitting and receiving data between memo layer and application and electronic device using the same
CN104049745A (zh) 输入控制方法和支持该输入控制方法的电子装置
WO2014197340A1 (en) Device and method for generating user interfaces from a template
CN103853493A (zh) 移动终端及其信息处理方法
KR20140125671A (ko) 입력 제어 방법 및 이를 지원하는 전자 장치
KR20140105331A (ko) 터치 스크린 상에서 객체 디스플레이를 제어하는 휴대 단말 및 방법
CN103870133A (zh) 用于滚动显示装置的屏幕的方法和设备
KR20140105340A (ko) 휴대 단말기의 멀티 태스킹 운용 방법 및 장치
KR101898952B1 (ko) 복합 터치 패널 운용 방법과 시스템 및 이를 지원하는 단말기
KR20140026719A (ko) 단말기의 기능 운용 방법 및 이를 지원하는 단말기
KR20140092459A (ko) 메모 레이어와 어플리케이션 사이에 데이터를 주고 받는 방법 및 이를 구비한 전자장치
KR20140030398A (ko) 명령어 패드 운용 방법 및 이를 지원하는 단말기
KR20190125269A (ko) 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
KR20140113757A (ko) 핑거프린트를 이용하여 미디어를 수신하는 휴대 단말 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120823

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid