[go: up one dir, main page]

KR101262700B1 - 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 - Google Patents

음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 Download PDF

Info

Publication number
KR101262700B1
KR101262700B1 KR1020110104840A KR20110104840A KR101262700B1 KR 101262700 B1 KR101262700 B1 KR 101262700B1 KR 1020110104840 A KR1020110104840 A KR 1020110104840A KR 20110104840 A KR20110104840 A KR 20110104840A KR 101262700 B1 KR101262700 B1 KR 101262700B1
Authority
KR
South Korea
Prior art keywords
voice
motion
item
task
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110104840A
Other languages
English (en)
Other versions
KR20130016016A (ko
Inventor
김정근
김유태
유승동
한상진
류희섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15188013.5A priority Critical patent/EP2986014A1/en
Priority to EP12175763A priority patent/EP2555536A1/en
Priority to EP23181497.1A priority patent/EP4235365A3/en
Priority to ES20189197T priority patent/ES2958183T3/es
Priority to EP20189197.5A priority patent/EP3754997B1/en
Priority to EP18185555.2A priority patent/EP3413575A1/en
Priority to CA2825827A priority patent/CA2825827C/en
Priority to PCT/KR2012/006170 priority patent/WO2013022223A2/en
Priority to RU2013139297/08A priority patent/RU2013139297A/ru
Priority to BR112013019984A priority patent/BR112013019984A2/pt
Priority to AU2012293065A priority patent/AU2012293065B2/en
Priority to MX2013008889A priority patent/MX2013008889A/es
Priority to JP2012173304A priority patent/JP5819269B2/ja
Priority to US13/567,354 priority patent/US9002714B2/en
Priority to CN201210277229.0A priority patent/CN103150010B/zh
Publication of KR20130016016A publication Critical patent/KR20130016016A/ko
Application granted granted Critical
Publication of KR101262700B1 publication Critical patent/KR101262700B1/ko
Priority to US14/626,513 priority patent/US9733895B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Position Input By Displaying (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Amplification And Gain Control (AREA)

Abstract

음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치가 제공된다.
전자 장치는 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어할 수 있다. 또한, 전자 장치는 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서, 상기 제2 태스크들을 수행하기 위한 모션 가이드 정보가 표시되도록 제어할 수 있다.

Description

음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치{Method for Controlling Electronic Apparatus based on Voice Recognition and Motion Recognition, and Electric Apparatus thereof}
본 발명은 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치에 관한 것으로, 더욱 상세하게는 음성 인식 및 모션 인식을 기초로 전자 장치의 태스크의 수행을 위한 사용자 조작의 편리를 제공하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치에 관한 것이다.
전자 장치가 점점 다기능화, 고도화됨에 따라, 전자 장치를 제어하기 위한 다양한 사용자 인터페이스가 개발되어 왔다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 있다.
근래에는 사용자의 음성을 인식하여 전자 장치를 제어하는 방법, 사용자의 모션을 인식하여 전자 장치를 제어하는 방법 등이 개발되고 있다. 하지만, 음성 인식 또는 모션 인식을 이용하여 제어하는 종래 기술은, 전자 장치의 제어 기능 중 단순한 일부 기능에만 해당하며, 사용자의 조작의 편의를 고려하여 설계되지 못하였다.
이에 따라, 음성 인식 또는 모션 인식을 이용하는 전자 장치에서 체계적이고 편리한 사용자 인터페이스를 제공할 수 있는 기술의 연구가 요구된다.
따라서, 본 발명의 일 면에 따른 목적은 보다 편리하게 음성 또는 모션을 입력할 수 있도록 사용상의 조작을 가이드할 수 있는 사용자 인터페이스를 제공하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치를 제공하는데 있다.
또한, 본 발명의 타의 면에 따른 목적은 음성 또는 모션의 입력에 대응하는 기능들을 보다 체계적으로 구분하고, 구분된 기능들에 적합한 효과적인 사용자 인터페이스를 제공하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치를 제공하는데 있다.
본 발명의 일 면에 따른 전자 장치의 제어 방법은, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시하는 단계; 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하는 단계; 상기 제1 태스크들 중, 상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계; 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서, 상기 제2 태스크들을 수행하기 위한 모션 가이드 정보를 표시하는 단계; 상기 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식하는 단계; 및 상기 제2 태스크들 중, 상기 제1 모션 아이템에 대응하는 태스크를 수행하는 단계를 포함한다.
상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는 상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보(additional item information) 를 표시하는 단계를 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는 상기 아이템 부가 정보에 대응하는 제2 음성을 인식하는 단계를 더 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는 상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행하는 단계일 수 있다.
상기 적어도 하나의 음성 아이템 각각은 발화가능한(utterable) 명령어일 수 있다.
상기 아이템 부가 정보는 상기 제1 음성 아이템과 관련된 부가 명령어, 가이드 문구 및 발화(utterance) 예시 중 적어도 하나를 포함할 수 있다.
상기 적어도 하나의 모션 아이템 각각은 상기 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 및 상기 인식 가능한 모션에 대응하는 태스크를 나타내는 텍스트를 포함할 수 있다.
상기 음성 가이드 정보 및 상기 모션 가이드 정보 중 적어도 하나는 상기 음성 태스크 모드 및 상기 모션 태스크 모드 중 지정된 모드를 나타내는 이미지 및 텍스트 중 적어도 하나를 포함할 수 있다.
상기 아이템 부가 정보는 상기 음성 태스크 모드 및 상기 모션 태스크 모드 중 하나의 지정된 모드를 나타내는 이미지 및 텍스트 중 적어도 하나를 포함할 수 있다.
상기 음성 태스크 모드는 상기 모션 태스크 모드로 진입하기 위한 미리 설정된 모션을 나타내는 모션 개시 명령(trigger motion)이 인식되는 경우, 상기 모션 태스크 모드로 전환되고, 상기 모션 태스크 모드는 상기 음성 태스크 모드로 진입하기 위한 미리 설정된 음성을 나타내는 음성 개시 명령(trigger voice)이 인식되는 경우, 상기 음성 태스크 모드로 전환될 수 있다.
상기 제1 태스크들 및 상기 제2 태스크들은 서로 상이하고, 상기 제1 태스크들은 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자에 대응하는 제3 음성이 인식된 경우, 상기 식별자에 대응하는 채널을 재생하기 위한 채널 바로가기를 포함하고, 상기 제2 태스크들은 채널 업 및 다운 중 하나에 대응하는 제2 모션이 인식된 경우, 상기 채널 업 및 다운 중 하나에 대응하도록, 현재 채널에서 상기 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경하기 위한 채널 재핑을 포함할 수 있다.
상기 아이템 부가 정보는 상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 제1 태스크들 중 채널 바로가기인 경우, 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자의 발화에 대한 가이드 문구 및 발화 예시 중 적어도 하나를 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 아이템 부가 정보에 대응하는 상기 식별자에 대한 제3 음성이 인식된 경우, 상기 식별자에 대응하는 채널을 재생하기 위한 상기 채널 바로가기를 수행하는 단계일 수 있다.
상기 제1 모션 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 제1 모션 아이템에 대응하는 상기 태스크가 상기 제2 태스크들 중 채널 재핑인 경우, 현재 채널에서 상기 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경하는 단계일 수 있다.
상기 제1 태스크들 및 상기 제2 태스크들은 서로 상이하고, 상기 제1 태스크들은 미리 설정된 레벨들 중 하나의 레벨에 대응하는 제4 음성이 인식된 경우, 상기 인식된 제4 음성에 대응하는 상기 레벨로서 볼륨 레벨을 지정하기 위한 볼륨 레벨 지정을 포함하고, 상기 제2 태스크들은 볼륨 업 및 다운 중 하나에 대응하는 제3 모션이 인식된 경우, 상기 볼륨 업 및 다운 중 하나에 대응하도록, 현재 볼륨에서 현재 볼륨 레벨보다 미리 설정된 레벨만큼 증가시키는 것과 미리 설정된 레벨만큼 감소시키는 것 중 하나를 나타내는 볼륨 레벨 조절을 포함할 수 있다.
상기 아이템 부가 정보는 상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 제1 태스크들 중 전원끄기인 경우, 상기 전원끄기의 수행 여부를 문의하는 가이드 문구 및 상기 문의의 답변에 대한 발화 예시 중 적어도 하나를 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 제1 태스크들 중 소리끄기인 경우, 상기 소리끄기가 수행되도록 제어하고, 상기 제1 음성 아이템을 대신하여 상기 제1 태스크들 중 소리켜기에 대응하는 제2 음성 아이템을 포함하는 변경된 음성 가이드 정보를 표시하는 단계를 포함할 수 있다.
상기 음성 가이드 정보로서 표시된 상기 적어도 하나의 음성 아이템은 상기 음성 가이드 정보와 함께 표시되는 어플리케이션, OSD(on screen display) 및 인식 후보(candidate) 중 적어도 하나에 따라, 상기 제1 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나가 선택적으로 구성된 것이고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
상기 모션 가이드 정보로서 표시된 상기 적어도 하나의 모션 아이템은 상기 모션 가이드 정보와 함께 표시되는 어플리케이션, OSD 및 인식 후보 중 적어도 하나에 따라, 상기 제2 태스크들에 대응하는 모션 아이템들 중에서 적어도 하나가 선택적으로 구성된 것이고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
상기 음성 태스크 모드에서 상기 음성 가이드 정보와 함께 인식 후보가 표시된 후, 상기 음성 태스크 모드에서 상기 모션 태스크 모드로 전환되는 경우, 상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 태스크 모드에 상응하는 상기 모션 가이드 정보로 변경하여 표시하는 단계를 더 포함하고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 가이드 정보로 변경하여 표시하는 단계는 상기 계속하여 표시되는 인식 후보 중 하나의 인식 후보에 포커스를 표시하는 단계를 포함할 수 있다.
상기 모션 태스크 모드에서 상기 모션 가이드 정보와 함께 인식 후보가 표시된 후, 상기 모션 태스크 모드에서 상기 음성 태스크 모드로 전환되는 경우, 상기 인식 후보를 계속하여 표시하고, 상기 모션 가이드 정보를 상기 음성 태스크 모드에 상응하는 상기 음성 가이드 정보로 변경하여 표시하는 단계를 더 포함하고, 상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다.
상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 가이드 정보로 변경하여 표시하는 단계는 상기 계속하여 표시되는 인식 후보에 대응하는 숫자 및 문자 중 적어도 하나로 구성된 인덱스를 표시하는 단계를 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는 상기 제1 음성 아이템이 상기 제1 태스크들에 대응하는 음성 아이템들 중에서 상기 적어도 하나의 음성 아이템과 다른 아이템을 표시 위한 아이템인 경우, 상기 다른 아이템을 표시하는 단계를 포함할 수 있다.
상기 다른 아이템을 표시하는 단계는 표시된 음성 아이템 중 어느 하나가 미리 설정된 시간동안 인식되지 않는 경우, 상기 음성 태스크 모드를 중단하기 위한 타이머의 구동을 생략하는 것을 더 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 상기 제1 음성을 인식하는 단계는 상기 제1 음성 아이템 및 상기 제1 음성 아이템에 대응하는 상기 태스크 중 적어도 하나를 나타내는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
상기 제1 모션 아이템에 대응하는 상기 제1 모션을 인식하는 단계는 상기 제1 모션 아이템 및 상기 제1 모션 아이템에 대응하는 상기 태스크 중 적어도 하나를 나타내는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
상기 제1 음성 아이템에 대응하는 상기 제1 음성을 인식하는 단계는 상기 제1 음성의 인식 정확도에 따라, 상기 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
상기 제1 모션 아이템에 대응하는 상기 제1 모션을 인식하는 단계는 상기 제1 모션의 인식 정확도에 따라, 상기 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
본 발명의 일 면에 따른 전자 장치는, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어하고, 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서 상기 제2 태스크들을 수행하기 위한 모션 가이드 정보가 표시되도록 제어하는 제어부를 포함하고, 상기 제어부는 상기 음성 태스크 모드에서 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하고, 상기 제1 태스크들 중 상기 제1 음성 아이템에 대응하는 태스크를 수행하고, 상기 모션 태스크 모드에서 상기 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식하고, 상기 제2 태스크들 중 상기 제1 모션 아이템에 대응하는 태스크를 수행한다.
본 발명의 타의 면에 따른 전자 장치의 제어 방법은, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시하는 단계; 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하는 단계; 상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보를 표시하는 단계; 상기 아이템 부가 정보에 대응하는 제2 음성을 인식하는 단계; 및 상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행하는 단계를 포함한다.
본 발명의 타의 면에 따른 전자 장치는, 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어하는 제어부를 포함하고, 상기 제어부는 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하고, 상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어하고, 상기 아이템 부가 정보에 대응하는 제2 음성을 인식하고, 상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행한다.
음성 인식 또는 모션 인식을 이용한 태스크의 수행을 위한 사용자의 조작을 가이드할 수 있는 사용자 인터페이스를 제공하기 때문에, 본 발명은 사용상의 편리함을 제공하는 효과를 갖는다.
또한, 음성 또는 모션의 입력에 대응하는 기능들을 보다 체계적으로 구분하고, 구분된 기능들에 적합한 사용자 인터페이스를 제공하기 때문에, 본 발명은 사용상의 효율성을 증진하는 효과를 갖는다.
또한, 음성 태스크 모드 및 모션 태스크 모드 중 하나의 지정된 모드, 음성 또는 모션의 인식 정확도 등에 대응하는 피드백을 제공함으로써, 본 발명은 조작에 대해 보다 신속히 적응할 수 있도록 하는 효과를 갖는다.
도 1 내지 3은 본 발명의 다양한 실시 예에 따른, 전자 장치의 구성을 설명하기 위한 블럭도,
도 4 및 도 5는 본 발명의 일 실시 예에 따른, 전자 장치의 음성 태스크를 수행하기 위한 음성 가이드 정보 및 아이템 부가 정보를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른, 전자 장치의 모션 태스크를 수행하기 위한 모션 가이드 정보를 도시한 도면,
도 7a 내지 도 16c는 음성 태스크의 수행 방법의 다양한 예를 설명하기 위한 도면,
도 17a 내지 도 25c는 모션 태스크의 수행 방법에 대한 다양한 예를 설명하기 위한 도면,
도 26a 및 도 26b는 음성 태스크 및 모션 태스크에 대응되는 원격 제어 장치의 버튼에 대한 도면,
도 27 내지 도 29는 본 발명의 다양한 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도, 그리고,
도 30a 내지 도 30c는 음성 인식 또는 모션 인식에 따른 시각적 피드백을 나타내는 도면이다.
이하에서는 도면을 참조하여, 본 발명을 더욱 상세하게 설명하도록 한다.
도 1 내지 도 3을 참조하여 본 발명의 다양한 실시예에 따른 전자 장치(100)의 구성이 설명된다.
도 1은 본 발명의 일 실시예에 따른, 전자 장치(100)의 블럭도를 간략히 도시한 도면이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)를 포함할 수 있다. 이때, 전자 장치(100)는 TV, 셋탑박스, 핸드폰(cellular phone), PC와 같은 전자 장치로 구현될 수 있으나, 이에 한정되는 것은 아니다.
음성 입력부(110)는 사용자가 발화한 음성을 입력받는다. 그리고, 음성 입력부(110)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(140)로 출력한다.
모션 입력부(120)는 사용자를 촬상한 영상 신호를 입력받아, 제어부(140)로 제공한다.
저장부(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 또한, 저장부(130)는 전원 제어 모듈, 채널 제어 모듈, 볼륨 제어 모듈 등과 같은 다양한 소프트웨어 모듈들을 저장할 수 있다.
특히, 저장부(130)는 음성 입력부(110)를 통해 입력된 음성을 인식하기 위한 음성 인식 모듈 및 모션 입력부(120)를 통해 입력된 모션을 인식하기 위한 모션 인식 모듈을 저장한다.
또한, 저장부(130)는 음성 데이터베이스 및 모션 데이터베이스를 포함할 수 있다. 음성 데이터베이스란 음성 및 각 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 인식된 음성이 적어도 하나의 명령어 중 하나에 대응하는 경우, 제어부(140)는 저장부(130)에 유지되는 음성 데이터베이스을 참조하여 해당 명령어에 대응하는 태스크를 식별할 수 있다. 예를 들어, 음성 데이터베이스는 적어도 하나의 명령어와 적어도 하나의 명령어 각각에 대응하는 태스크의 매핑 정보를 포함하는 매핑 테이블일 수 있다. 따라서, 음성 데이터베이스는 인식된 음성이 적어도 하나의 명령어 중 어느 하나에 대응하는지 식별하는데 사용되거나, 어떤 숫자, 문자, 또는 텍스트에 대응하는지 식별하는데 사용되거나, 또는 명령어에 매핑된 태스크를 확인하는데 사용될 수 있다. 모션 데이터베이스란 모션 및 각 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다. 인식된 모션이 적어도 하나의 모션 정보 중 하나에 대응하는 경우, 제어부(140)는 저장부(130)에 유지되는 모션 데이터베이스을 참조하여 해당 모션 정보에 대응하는 태스크를 식별할 수 있다. 예를 들어, 모션 데이터베이스는 적어도 하나의 모션 정보와 적어도 하나의 모션 정보 각각에 대응하는 태스크의 매핑 정보를 포함하는 매핑 테이블일 수 있다. 따라서, 모션 데이터베이스는 인식된 모션이 적어도 하나의 모션 정보 중 어느 하나에 대응하는지 식별하는데 사용되거나, 또는 모션 정보에 매핑된 태스크를 확인하는데 사용될 수 있다.
음성 입력부(110)를 통해 음성 신호가 입력되거나, 모션 입력부(120)를 통해 영상 신호가 입력되면, 제어부(140)는 음성 인식 모듈 또는 모션 감지 모듈을 이용하여 사용자의 음성 또는 모션을 인식한다.
구체적으로, 음성 신호가 입력된 경우, 제어부(140)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(140)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다.
제어부(140)은 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다.
제어부(140)은 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여, 텍스트 정보를 생성한다. 이에 따라, 제어부(140)는 음성 신호 중에 포함된 사용자의 음성을 인식할 수 있다.
한편, 영상 신호가 입력된 경우, 제어부(140)는 저장부(130)에 저장된 모션 인식 모듈을 이용하여 사용자가 어떠한 모션을 취하였는지를 인식한다.
구체적으로, 제어부(140)는 입력된 영상 신호가 프레임 단위로 저장되도록 제어한다. 그리고 나서, 제어부(140)는 저장된 복수의 프레임을 비교하여 모션이 있는 부분을 감지한다. 즉, 제어부(140)는 각 프레임을 복수의 블록으로 구분한 후, 해당 블록의 대표값(픽셀 평균값, 최대 픽셀 값, 최소 픽셀값 등)을 검출한다. 이에 따라, 일정 범위 내의 대표값을 가지는 블록들이 서로 연속해서 위치한 경우, 해당 블록들이 하나의 오브젝트를 이루는 것으로 인식할 수 있다. 또한, 각 블록들의 연결 상태를 파악하여 해당 오브젝트의 형상도 인식할 수 있고, 그 블록들의 픽셀 값을 확인하여 해당 오브젝트의 컬러도 인식할 수 있다. 예를 들어, 사용자의 손이나, 얼굴, 특정 물건 등이 하나의 오브젝트로 인식될 수 있다. 제어부(140)는 오브젝트가 인식되면 이전 프레임과 현재 프레임에서 오브젝트의 위치를 확인하여, 이동 여부를 판단한다. 이에 따라, 사용자가 손이나 특정 물건을 잡고 흔드는 모션을 취한 경우, 제어부(140)는 사용자의 손 또는 해당 물건, 즉 오브젝트의 움직임을 인식할 수 있다.
따라서, 제어부(140)는 오브젝트로 감지된 부분의 움직임을 추적할 수 있다. 이때, 제어부(140)는 오브젝트의 움직임을 예측하여, 오브젝트의 움직임 예상 영역 이외의 영역에 존재하는 노이즈를 제거할 수도 있다. 제어부(140)는 추적된 오브젝트의 형체 및 위치에 따라 사용자 모션을 판단한다. 구체적으로, 제어부(140)는 오브젝트의 형태의 변화, 속도, 위치, 방향 등을 판단하여, 사용자의 모션이 그랩(grab), 포인팅 이동(pointing move), 슬랩(slap), 쉐이크(shake), 회전인지 여부를 판단한다.
여기서, 그랩은 손을 쥐는 모션을 말하며, 포인팅 이동은 손을 이동하는 모션을 말하며, 슬랩은 손을 일정 속도 이상으로 또는 가속시키면서 한쪽 방향으로 움직이는 모션을 말하며, 쉐이크는 손을 일정 속도 이상으로 흔드는 모션을 말하며, 회전은 손을 회전시키는 모션을 말한다. 그러나, 이는 일 실시 예에 불과할 뿐 상술한 실시 예에 이외의 다른 모션도 본 발명의 기술적 사상에 따라 전자 장치(100)에 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
제어부(140)는 사용자의 모션이 포인팅 이동인지, 슬랩인지 여부를 판단하기 위해, 오브젝트가 기 설정된 시간(예를 들어, 800ms) 내에 기 설정된 영역(예를 들어, 40cm x 40cm의 사각형)을 벗어났는지를 판단한다. 오브젝트가 기 설정된 시간 내에 기 설정된 영역을 벗어나지 않는 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단할 수 있다. 오브젝트가 기 설정된 시간 내에 기 설정된 영역을 벗어난 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단할 수 있다.
또한, 오브젝트의 속도가 기설정된 속도(예를 들어, 30 cm/s) 이하인 것으로 판단된 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단한다. 오브젝트의 속도가 기설정된 속도 초과인 것으로 판단되는 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단한다.
제어부(140)는 상술한 바와 같이, 인식된 음성 및 모션을 이용하여, 전자 장치(100)의 태스크(task)를 수행한다. 전자 장치(100)의 태스크는 채널 변경, 볼륨 조절, 컨텐츠(예를 들어, 동영상, 음악, 사진 등)의 재생 또는 인터넷 브라우징 등과 같이, 전자 장치(100)에 의해 수행될 수 있는 기능을 의미한다. 이러한 태스크들은 작업(operation), 기능(function), 동작(work), 설정(setting), 제어(control) 등과 같이 다양한 명칭으로 불릴 수도 있으나, 설명의 편의를 위하여 본 명세서에서는 태스크라 명명한다.
한편, 전자 장치(100)에서 수행 가능한 전체 태스크는 음성 태스크 및 모션 태스크로 구분될 수 있다.
여기서, 음성 태스크란 음성 인식 모듈을 통해 인식된 음성에 따라 제어 가능한 태스크를 의미한다. 일 예로, 음성 태스크로 전자 장치(100)의 전원 제어, 채널 바로 가기, 소리끄기, 외부단자 변경, 볼륨 레벨 지정, 문자 입력 및 컨텐츠 재생/정지 기능 중 적어도 하나가 포함될 수 있다. 즉, 사용자가 음성으로 발화할 수 있는 명칭 또는 식별자를 가진 각종 태스크 또는 문자 입력이 요구되는 태스크가 음성 태스크로 설정될 수 있다. 여기서, 음성 인식 모듈은 저장부(130)에 유지되는 것일 수 있다. 일례로, 음성 인식 모듈은 제어부(140)에 의해 구동될 수 있는 소프트웨어 모듈일 수 있다. 또한, 음성 인식 모듈은 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어의 조합으로서 구현될 수도 있음은 통상의 지식인에 의해 이해될 수 있다. 제어부(140)는 저장부(130)에 유지되는 음성 인식 모듈을 액세스하고, 음성 인식 모듈을 구동시켜서 음성 인식을 수행할 수 있다.
또한, 모션 태스크란 모션 인식 모듈을 통해 인식된 모션에 따라 제어 가능한 태스크를 의미한다. 일 예로, 모션 태스크로 채널 재핑, 볼륨 레벨 조절, 화면 네비게이션, 슬라이드 바 컨트롤 및 커서 포인팅 등이 포함될 수 있다. 즉, 사용자 모션의 종류 및 방향 등에 따라 단계적으로 제어 가능한 각종 태스크 및 커서가 사용되는 태스크가 모션 태스크로 설정될 수 있다. 여기서, 모션 인식 모듈은 저장부(130)에 유지되는 것일 수 있다. 일례로, 모션 인식 모듈은 제어부(140)에 의해 구동될 수 있는 소프트웨어 모듈일 수 있다. 또한, 모션 인식 모듈은 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어의 조합으로서 구현될 수도 있음은 통상의 지식인에 의해 이해될 수 있다. 제어부(140)는 저장부(130)에 유지되는 모션 인식 모듈을 액세스하고, 모션 인식 모듈을 구동시켜서 모션 인식을 수행할 수 있다.
음성 인식 모듈을 통해 사용자의 음성이 인식되는 경우, 제어부(140)는 사용자의 음성에 포함된 발화 내용에 직접적으로 대응하는 음성 태스크를 수행한다.
예를 들어, 사용자가 채널 명이나 채널 번호, 프로그램 명과 같이 채널을 구분하기 위한 채널 식별자를 말한 경우, 제어부(140)는 사용자가 발화한 음성 중에서 채널 식별자를 인식한다.
상술된 바와 같이 저장부(130)에 음성 데이터베이스가 저장되어 있는 경우, 제어부(140)는 음성 데이터베이스를 이용하여 인식된 채널 식별자에 대응되는 채널로 바로 가기를 수행할 수 있다. 예를 들어, 사용자가 “11”이라고 말한 경우, 제어부(140)는 음성을 인식하여, 음성 데이터베이스에 “11”에 해당하는 채널 식별자가 기록되어 있는지 확인한다. 이 때, 11번 채널에 대응하는 채널 식별자가 기록되어 있다면, 제어부(140)는 11번 채널로 바로 가기 동작을 수행한다. 즉, 채널 바로 가기는 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자에 대응하는 음성이 인식된 경우, 해당 식별자에 대응하는 채널을 재생하기 위한 태스크일 수 있다.
또한, 모션 인식 모듈을 통해 사용자의 모션이 인식되는 경우, 제어부(140)는 사용자의 모션의 방향에 따라 사용자의 모션에 대응하는 모션 태스크를 수행한다. 예를 들어, 위쪽 방향의 슬랩 동작이 모션 인식 모듈을 통해 인식되는 경우, 제어부(140)는 모션 데이터베이스로부터 위쪽 방향 슬랩 동작에 대응되는 모션 태스크를 확인하여, 현재 채널을 기준으로 채널 번호가 증가되는 채널 재핑을 수행할 수 있다. 즉, 채널 재핑은 채널 업 및 다운 중 하나에 대응하는 모션이 인식된 경우, 채널 업 및 다운 중 하나에 대응하도록, 현재 채널에서 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경하기 위한 태스크일 수 있다.
한편, 음성을 이용하여 음성 태스크를 제어하는 동작은 음성 태스크 모드 하에서 수행되고, 모션을 이용하여 모션 태스크를 제어하는 동작은 모션 태스크 모드 하에서 수행될 수 있다.
즉, 제어부(140)는 원격 제어 장치에 의해 제어되는 일반 모드, 음성에 의해 제어되는 음성 태스크 모드, 모션에 의해 제어되는 모션 태스크 모드 중 하나로 동작할 수 있다. 제어부(140)는 타 모드를 개시하기 위한 개시 명령이 입력되면 해당 모드로 전환할 수 있다. 예를 들어, 음성 태스크 모드는 모션 태스크 모드로 진입하기 위한 미리 설정된 모션을 나타내는 모션 개시 명령(trigger motion)이 인식되는 경우, 모션 태스크 모드로 전환될 수 있다. 모션 태스크 모드는 음성 태스크 모드로 진입하기 위한 미리 설정된 음성을 나타내는 음성 개시 명령(trigger voice)이 인식되는 경우, 음성 태스크 모드로 전환될 수 있다.
제어부(140)는 일반 모드 또는 모션 태스크 모드 하에서 음성 인식 모듈을 통해 음성 개시 명령(trigger voice)이 인식되면, 음성 태스크 모드로 전환한다. 여기서, 음성 개시 명령은 음성 태스크 모드에 진입하는 동작에 매칭되는 단어가 포함된 명령이다. 예를 들어, “지니”라는 단어가 음성 개시 명령으로 설정된 경우라면, 제어부(140)는 “지니”가 인식되었을 때 음성 태스크 모드로 전환한다. 이러한 음성 개시 명령은 사용자가 환경 설정을 통해 변경할 수도 있고, 디폴트로 정의된 고정 명령어로 제공될 수도 있다.
음성 태스크 모드로 동작하는 동안, 제어부(140)는 음성 데이터베이스를 이용하여 사용자가 발화한 음성에 포함된 단어에 대응되는 음성 태스크를 수행한다.
제어부(140)는 일반 모드로 복귀하기 위한 개시명령이나 모드 해지 명령, 모션 태스크 모드로 전환하기 위한 모션 개시 명령이 인식되기 전까지는 음성 태스크 모드를 유지할 수 있다. 또는, 음성 태스크 모드로 전환한 후 기 설정된 시간(예를 들어, 5분) 동안 아무런 음성도 인식되지 않으면, 제어부(140)는 자동으로 일반 모드로 복귀할 수도 있다.
한편, 제어부(140)는 일반 모드 또는 음성 태스크 모드 하에서 모션 인식 모듈을 통해 모션 개시 명령(trigger motion)이 인식되는 경우에는 모션 태스크 모드로 전환할 수 있다. 여기서, 모션 개시 명령이라 함은 모션 태스크 모드에 진입하기 위해 기 설정된 모션이다. 예를 들어, 손을 좌우 방향으로 3~4회 흔드는 모션이 모션 개시 명령으로 설정되었다면, 이러한 모션이 인식되었을 때, 제어부(140)는 모션 태스크 모드로 전환한다. 이러한 모션 개시 명령은 사용자가 환경 설정을 통해 변경할 수도 있고, 디폴트로 정의된 고정 모션으로 제공될 수도 있다.
모션 태스크 모드로 동작하는 동안, 제어부(140)는 모션 데이터베이스를 이용하여 사용자의 모션에 대응되는 모션 태스크를 수행한다. 제어부(140)는 일반 모드로 복귀하기 위한 개시명령이나 모드 해지 명령, 음성 태스크 모드로 전환하기 위한 음성 개시 명령이 인식되기 전까지는 모션 태스크 모드를 유지할 수 있다. 또는, 모션 태스크 모드로 전환한 후 기 설정된 시간(예를 들어, 5분) 동안 아무런 모션도 인식되지 않으면, 제어부(140)는 자동으로 일반 모드로 복귀할 수도 있다.
한편, 제어부(140)는 인식된 음성에 따라 음성 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 음성 태스크들을 수행하기 위한 음성 가이드 정보(voice assistance information)가 표시되도록 제어할 수 있다. 예를 들어, 제어부(140)는 음성 인식 모듈을 통해 음성 개시 명령이 인식된 경우, 사용자의 음성에 의해 제어 가능한 음성 태스크들을 수행하기 위한 음성 가이드 정보가 디스플레이 되도록 제어할 수 있다. 음성 가이드 정보로서 각종 음성 태스크들에 대응되는 적어도 하나의 음성 아이템이 표시될 수 있다. 여기서, 적어도 하나의 음성 아이템 각각은 발화 가능한(utterable) 명령어일 수 있다. 이에 따라, 사용자는 음성 태스크 모드에서 인식 가능한 명령어를 편리하게 인식할 수 있다. 또한, 해당 명령어를 발화하면 어떠한 음성 태스크가 수행될 지 여부를 용이하게 인식할 수 있다.
또한, 제어부(140)는 음성 태스크 모드에서 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식할 수 있다. 제어부(140)는 인식된 제1 음성에 대응하는 제1 음성 아이템과 관련된 아이템 부가 정보(additional item information)가 존재하는지 여부를 판단할 수 있다. 아이템 부가 정보가 존재하지 않는 경우, 제어부(140)는 제1 음성 아이템에 대응하는 태스크를 수행할 수 있다. 또한, 음성 가이드 정보의 변경이 필요한 경우, 제어부(140)는 변경된 음성 가이드 정보가 표시되도록 디스플레이부(미도시)를 제어할 수 있다. 아이템 부가 정보가 존재하는 경우, 제어부(140)는 인식된 제1 음성에 대응하는 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 제어부(140)는 아이템 부가 정보에 대응하는 제2 음성을 인식할 수 있다. 제어부(140)는 음성 태스크들 중 제1 음성 아이템 및 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다.
또한, 제어부(140)는 인식된 모션에 따라 모션 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서, 모션 태스크들을 수행하기 위한 모션 가이드 정보가 표시되도록 제어할 수 있다. 예를 들어, 제어부(140)는 모션 인식 모듈을 통해 모션 개시 명령이 인식된 경우, 사용자의 모션에 의해 제어 가능한 모션 태스크들을 수행하기 위한 모션 가이드 정보가 디스플레이 되도록 한다. 모션 가이드 정보로서 각종 모션 태스크에 대응되는 적어도 하나의 모션 아이템이 표시될 수 있다. 여기서, 적어도 하나의 모션 아이템 각각은 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 및 인식 가능한 모션에 대응하는 태스크를 포함할 수 있다. 이에 따라, 사용자는 모션 태스크 모드에서 인식 가능한 모션을 쉽게 인식할 수 있으며, 어떠한 모션을 취하면, 어떠한 모션 태스크가 수행될 지 여부를 용이하게 인식할 수 있어, 사용자는 모션 태스크를 보다 편리하게 수행할 수 있게 된다.
또한, 제어부(140)는 모션 태스크 모드에서 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식할 수 있다. 제어부(140)는 인식된 제1 모션에 대응하는 제1 모션 아이템과 관련된 아이템 부가 정보가 존재하는지 여부를 판단할 수 있다. 아이템 부가 정보가 존재하지 않는 경우, 제어부(140)는 제1 모션 아이템에 대응하는 태스크를 수행할 수 있다. 또한, 모션 가이드 정보의 변경이 필요한 경우, 제어부(140)는 변경된 모션 가이드 정보가 표시되도록 디스플레이부(미도시)를 제어할 수 있다. 아이템 부가 정보가 존재하는 경우, 제어부(140)는 인식된 제1 모션에 대응하는 제1 모션 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 제어부(140)는 아이템 부가 정보에 대응하는 제2 모션을 인식할 수 있다. 제어부(140)는 모션 태스크들 중 제1 모션 아이템 및 인식된 제2 모션에 대응하는 태스크를 수행할 수 있다. 음성 가이드 정보, 모션 가이드 정보, 음성 아이템과 관련된 아이템 부가 정보, 또는 모션 아이템과 관련된 아이템 부가 정보 등은 디스플레이 화면의 동일한 영역(예를 들어, 화면의 하단)에 디스플레이 될 수 있다. 또한, 상기 정보들은 미리 설정된 영역 또는 동적으로 변경되는 영역상에 디스플레이 될 수 있다. 예를 들어, 음성 가이드 정보 또는 모션 가이드 정보는 디스플레이 화면의 상단, 하단, 우측 또는 좌측에 디스플레이될 수 있고, 화면에 함께 표시되는 이미지에 따라 동적으로 변경될 수도 있다.
또한, 음성 가이드 정보, 모션 가이드 정보, 음성 아이템과 관련된 아이템 부가 정보, 또는 모션 아이템과 관련된 아이템 부가 정보 등은 디스플레이되거나 재생되는 영상, 어플리케이션, OSD, 또는 인식 후보 등과 함께 표시되거나, 단독으로도 표시될 수 있다. 또한, 상기 정보들이 표시되는 영역은 영상, 어플리케이션, OSD, 또는 인식 후보가 표시되는 영역과 오버랩되어 표시될 수 있다. 이러한 음성 가이드 정보 또는 모션 가이드 정보는 적어도 일부가 투명하게 표시될 수도 있다. 이러한 투명도(transparency)는 사용자의 선택에 의해 조절될 수 있다.
상술한 바와 같이, 전자 장치(100)의 전체 태스크는 음성 입력부(110)를 통해 입력된 음성 신호에 포함된 음성으로 제어 가능한 음성 태스크와 모션 입력부(120)를 통해 입력된 영상 신호로부터 인식된 모션으로 제어가능한 모션 태스크로 구분될 수 있다. 또한, 음성 태스크들 및 모션 태스크들은 서로 상이할 수 있다. 사용자의 조작의 편리를 고려하여, 음성을 이용하여 제어되는 음성 태스크들 및 모션을 이용하여 제어되는 모션 태스크들을 체계적으로 구분함으로써, 음성 및 모션을 이용한 전자 장치(100)에 대한 조작상의 효율성이 증진될 수 있다.
또한, 전체 태스크는 원격 제어 장치(예를 들어, 리모컨)에 의해 제어될 수 있는 종류의 태스크들일 수 있다. 즉, 상술한 음성 태스크 및 모션 태스크들 각각에 대응되는 키가 원격 제어 장치에 마련될 수 있다. 이에 따라, 사용자가 원격 제어 장치의 특정 키를 누르면, 선택된 키에 해당하는 기능이 수행될 수 있다. 이 경우, 특정 키에 대응하는 기능이 음성 태스크에 포함되는 경우, 사용자는 그 기능에 대응되는 명령어(또는 명칭)를 발화함으로써, 동일한 기능이 수행될 수도 있다. 마찬가지로, 특정 키에 대응하는 기능이 모션 태스크에 속하는 경우, 사용자는 그 기능에 대응되는 모션을 취함으로써 동일한 기능이 수행될 수도 있다. 이에 대해서는 추후 도 26a 및 26b를 이용하여 자세히 설명하기로 한다.
또한, 도 1의 전자 장치(100)는 제어부(140)의 제어에 의해 화면에 음성 가이드 정보, 모션 가이드 정보, 음성 아이템과 관련된 아이템 부가 정보, 또는 모션 아이템과 관련된 아이템 부가 정보, 시각적 피드백, 어플리케이션, OSD(on screen display) 또는 인식 후보 등을 표시하는 디스플레이부(미도시)를 더 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 전자 장치(100)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180), 및 방송 출력부(190)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 디스플레이부가 구비되지 않은 셋탑박스(set-top box)일 수 있으나 이에 한정되는 것은 아니다.
음성 입력부(110)는 음성 신호를 입력받아 제어부(140)로 제공하고, 모션 입력부(120)는 영상 신호를 입력받아 제어부(140)로 제공한다. 제어부(140)는 입력된 음성 신호 및 영상 신호를 이용하여 사용자의 음성 및 모션을 인식하고, 인식된 음성 및 모션에 따라 전자 장치(100)의 동작을 제어한다.
저장부(130)에는 제어부(140)의 동작을 위한 각종 소프트웨어 및 데이터 등이 저장되어 있을 수 있다.
도 2에서 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명 중 도 1과 중복되는 내용은 기재를 생략한다.
방송 수신부(150)는 유, 무선으로 외부의 방송 신호를 수신한다. 이때, 방송 수신부(150)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 입력되는 방송 신호를 수신할 수 있다. 여기서, 방송 신호는 영상 데이터, 음성 데이터 및 부가 데이터(예를 들어, 채널 번호, 채널 명 및 프로그램 명과 같은 채널 정보)를 포함한다. 외부 단자 입력부(160)는 HDMI(High-Definition Multimedia Interface) 입력 단자, 컴포넌트 입력 단자, PC 입력 단자, USB 입력 단자 중 적어도 하나를 포함한다. 이때, 외부 단자 입력부(160)는 외부기기로부터 영상 데이터(예를 들어, 동영상, 사진 등), 음성 데이터(예를 들어, 음악 등) 및 제어 데이터(예를 들어, 재생 명령 등) 등을 입력받을 수 있다.
리모컨 신호 수신부(170)는 리모컨 장치로부터 전자 장치(100)를 제어하기 위한 신호를 입력받는다. 리모컨 신호 수신부(170)는 인식된 음성에 의해 제어되는 음성 태스크 모드 또는 인식된 모션에 의해 제어되는 모션 태스크 모드에서도 리모컨 신호를 수신할 수 있다.
네트워크 인터페이스부(180)는 제어부(140)의 제어에 의해 외부의 장치(예를 들어, 서버)와 연결될 수 있다. 이때, 네트워크 인터페이스부(180)는 이더넷(Ethernet), 무선랜 및 블루투스(bluetooth)로 구현될 수 있으나, 이에 한정되는 것은 아니다.
방송 출력부(190)는 방송 수신부(150)를 통해 수신된 영상 신호 또는 외부단자 입력부(160)에서 입력된 영상 신호 또는 저장부(130)에 저장된 영상 신호를 외부의 디스플레이 장치(예를 들어, 모니터, TV)로 출력한다.
또한, 제어부(140)는 채널을 변경하기 위한 태스크를 음성 태스크 및 모션 태스크로 구분하여 수행한다. 예를 들어, 전자 장치(100)가 셋탑박스에 포함되되는 경우, 제어부(140)는 음성 태스크들 중 하나로서 채널 바로가기를 수행할 수 있으며, 모션 태스크들 중 하나로서 채널 재핑을 수행할 수 있다. 채널 바로가기 및 채널 재핑은 도 1을 통해 상술되었므로, 설명이 생략된다.
도 3은 본 발명의 일 실시 예에 따른, 전자 장치(100)의 블럭도를 도시한 도면이다. 도 3에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 (160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180), 디스플레이부(193) 및 오디오 출력부(196)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 외부의 네트워크와 연결될 수 있는 TV로 구현될 수 있으나, 이에 한정되는 것은 아니다.
한편, 본 도면에서 설명된 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 (160), 리모컨 신호 수신부(170) 및 네트워크 인터페이스부(180)에 대한 설명은 도 1 및 도 2에서 설명한 바와 같으므로, 자세한 설명이 생략된다.
디스플레이부(193)는 신호 처리된 영상 데이터를 디스플레이한다. 또한, 디스플레이부(193)는 제어부(140)의 제어에 의해 음성 태스크들을 수행하기 위한 음성 가이드 정보 또는 모션 태스크들을 수행하기 위한 모션 가이드 정보를 디스플레이 화면의 제1 영역(예를 들어, 화면의 하단)에 디스플레이할 수 있다. 또한, 디스플레이부(193)는 제어부(140)의 제어에 의해 음성 아이템과 관련된 아이템 부가 정보, 모션 아이템과 관련된 아이템 부가 정보, 시각적 피드백, 어플리케이션, OSD 또는 인식 후보 등을 표시할 수 있다.
오디오 출력부(196)는 제어부(140)의 제어에 의해 오디오 데이터를 출력한다. 이때, 오디오 출력부(360)는 스피커, 헤드폰 출력 단자, S/PDIF 출력 단자 등으로 구현될 수 있다.
한편, 저장부(140)는 도 3에 도시된 바와 같이, 전원 제어 모듈(130a), 채널 제어 모듈(130b), 볼륨 제어 모듈(130c), 외부입력 제어 모듈(130d), 화면 제어 모듈(130e), 오디오 제어 모듈(130f), 인터넷 제어 모듈(130g), 어플리케이션 모듈(130h), 검색 제어 모듈(130i), UI 처리 모듈(130j), 음성 인식 모듈(130k), 모션 인식 모듈(130l), 음성 데이터베이스(130m) 및 모션 데이터베이스(130n)를 포함한다. 이들 모듈들(130a 내지 130n)은 각각 전원 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 외부 입력 제어 기능, 화면 제어 기능, 오디오 제어 기능, 인터넷 제어 기능, 어플리케이션 실행 기능, 검색 제어 기능, UI 처리 기능을 수행하기 위하여 저장부(130)에 저장된 소프트웨어로 구현될 수 있다. 제어부(140)는 저장부(130)에 저장된 이들 소프트웨어를 실행시켜 해당 기능을 수행할 수 있다.
제어부(140)는 음성 인식 모듈(130k)을 이용하여 인식된 음성 및 모션 인식 모듈(130l)을 이용하여 인식된 모션에 따라, 전자 장치(100)의 태스크를 수행할 수 있다.
이때, 전자 장치(100)의 태스크는 사용자의 음성에 의해 제어되는 음성 태스크 및 사용자의 모션에 의해 제어되는 모션 태스크로 구분될 수 있다.
구체적으로는, 전체 태스크들은 아래의 표 1과 같이 구분될 수 있다.
음성 태스크들 전원 제어(전원끄기, 전원 켜기 등), 채널 바로가기, 볼륨 레벨 지정, 소리끄기, 외부입력 변경, 검색, 기능 실행 (대상의 명칭이 명확한 경우), 기능 취소, 문자 입력
모션 태스크들 채널 재핑, 볼륨 레벨 조절, 기능 실행 (대상 명칭이 불명확한 경우), 재생 컨트롤, 슬라이드바 컨트롤, 커서 포인팅
표 1에 도시된 음성 태스크들은 음성 개시 명령에 의해 실행되는 음성 태스크 모드에서 수행될 수 있으며, 표 1에 도시된 모션 태스크들은 모션 개시 명령에 의해 실행되는 모션 태스크 모드에서 수행될 수 있다.
이하에서는, 제어부(140)가 저장된 각종 모듈 및 데이터베이스(130a 내지 130n)를 이용하여, 전자 장치(100)를 제어하는 방법이 설명된다.
예를 들어, 사용자의 전원 명령을 기다리는 대기 모드인 경우, 제어부(140)는 음성 입력부(110)를 통해 “전원”과 같은 음성이 입력되면, 전원 제어 모듈(130a)을 이용하여 인식된 음성에 대응되도록 전자 장치(100)의 전원이 온(on) 된다.
전자 장치(100)의 전원이 온된 경우, 제어부(140)는 음성 인식 모듈(130k)을 이용하여 음성을 인식한다. 이 경우, 전원 끄기와 같은 음성이 인식되면, 제어부(140)는 전원 제어 모듈(130a)을 이용하여 전자 장치(100)의 전원을 오프(off) 한다.
음성 태스크 모드에서 음성 인식 모듈(130k)을 통해 채널 식별자(예를 들어, 채널 번호, 채널 명 및 프로그램 명 등)가 인식된 경우, 제어부(140)는 채널 제어 모듈(130b)을 이용하여, 인식된 채널 식별자에 대응되는 채널로 전환한다.
모션 태스크 모드에서 모션 인식 모듈(130l)을 통해 채널 재핑에 대응하는 모션이 인식된 경우, 제어부(140)는 채널 제어 모듈(130b)을 이용하여, 모션에 대응되는 방향으로 채널을 재핑한다.
모션 태스크 모드에서 모션 인식 모듈(130l)을 통해 볼륨 레벨 조절에 대응하는 사용자 모션이 인식된 경우, 제어부(140)는 볼륨 제어 모듈(130c)을 이용하여, 사용자 모션에 대응되는 방향으로 볼륨을 단계적으로 조절한다. 예를 들어, 모션 태스크 모드에서, 모션 인식 모듈(130l)을 통해 오른쪽 방향의 "슬랩" 모션이 인식된 경우, 제어부(140)는 볼륨 제어 모듈(130c)을 이용하여 볼륨 레벨이 증가되도록 한다. 즉, 볼륨 레벨 조절은 볼륨 업 및 다운 중 하나에 대응하는 모션이 인식된 경우, 볼륨 업 및 다운 중 하나에 대응하도록, 현재 볼륨에서 현재 볼륨 레벨보다 미리 설정된 레벨만큼 증가시키는 것과 미리 설정된 레벨만큼 감소시키는 것 중 하나를 나타내는 것일 수 있다.
음성 태스크 모드에서 음성 인식 모듈(130k)을 통해 볼륨 레벨 지정에 대응하는 음성이 인식된 경우, 제어부(140)는 볼륨 제어 모듈(130c)을 이용하여, 인식된 음성에 대응되는 레벨로서 볼륨 레벨을 지정한다. 즉, 볼륨 레벨 지정은 미리 설정된 레벨들 중 하나의 레벨에 대응하는 음성이 인식된 경우, 인식된 음성에 대응하는 레볼로서 볼륨 레벨을 지정하기 위한 태스크일 수 있다.
음성 태스크 모드에서 음성 인식 모듈(130k)을 통해 소리끄기 명령이 인식된 경우, 제어부(140)는 볼륨 제어 모듈(130c)을 이용하여, 오디오 데이터가 출력되지 않도록 한다.
음성 태스크 모드에서 음성 인식 모듈(130k)을 통해 외부 입력(HDMI 입력, 컴포넌트 입력, PC 입력, USB 입력) 식별자 중 하나가 인식되는 경우, 제어부(140)는 외부입력 제어 모듈(130d)을 이용하여, 인식된 외부입력 식별자에 대응되는 외부입력 단자에 연결된 외부기기와 연결되도록 제어한다. 예를 들어, 음성 태스크 모드에서 음성 인식 모듈(130k)을 통해 "HDMI 입력"이라는 사용자의 음성이 인식된 경우, 제어부(140)는 외부입력 제어 모듈(130d)을 이용하여 "HDMI 입력 단자"에 연결된 외부기기와 연결되도록 제어한다.
모션 태스크 모드에서 화면 설정 메뉴가 디스플레이되고, 모션 인식 모듈(130l)을 통해 모션이 인식되는 경우, 제어부(140)는 화면 제어 모듈(130e)을 이용하여, 인식된 모션에 대응되는 방향으로 화면 설정을 조절한다. 예를 들어, 모션 태스크 모드에서 화면 밝기 메뉴가 디스플레이되고 모션 인식 모듈(130l)을 통해 "오른쪽" 방향의 "슬랩" 모션이 인식되는 경우, 제어부(140)는 화면 제어 모듈(130e)을 이용하여 화면의 밝기값이 증가되도록 한다.
음성 태스크 모드에서 오디오 설정 메뉴가 디스플레이되고, 음성 인식 모듈(130k)을 통해 오디오 설정 식별자가 인식되는 경우, 제어부(140)는 오디오 제어 모듈(130f)을 이용하여, 오디오 설정 식별자에 대응되도록 오디오 설정을 변경한다. 예를 들어, 음성 태스크 모드에서 오디오 모드 메뉴가 디스플레이되고, 음성 인식 모듈(130k)을 통해 "영화"이라는 음성이 인식되는 경우, 제어부(140)는 오디오 제어 모듈(130f)을 이용하여 오디오 모드가 "영화 모드"로 변경한다.
상술한 실시 예 이외에도, 태스크에 특정 식별자가 부여된 경우, 음성 태스크 모드 상태에서 인식된 음성에 따라 전자 장치(100)가 제어될 수 있다. 또한, 태스크가 미리 설정된 순서, 레벨, 또는 인덱스 등에 따라 현재 설정값이 현재 설정값의 전과 후, 또는 미리 설정된 레벨만큼 증가된 설정값과 미리 설정된 레벨만큼 감소된 설정값 중 하나로 변경될 수 있는 경우, 모션 태스크 모드 상태에서 인식된 모션에 따라 전자 장치(100)가 제어될 수 있다.
또한, 제어부(140)는 인터넷 제어 모듈(130g)을 이용하여 웹 브라우징을 수행한다. 특히, 음성 태스크 모드에서 웹 브라우징이 수행되는 경우, 제어부(140)는 음성 인식 모듈(130k)을 통해 인식된 음성을 이용하여 웹 브라우징을 수행할 수 있다. 예를 들어, 제어부(140)는 인식된 음성을 통해 웹 검색을 수행할 수 있다. 또한, 모션 태스크 모드에서 웹 브라우징이 수행되는 경우, 제어부(140)는 모션 인식 모듈(130l)을 통해 인식된 모션을 이용하여 웹 브라우징을 수행할 수 있다. 예를 들어, 제어부(140)는 인식된 모션을 통해 웹 페이지의 커서 포인팅 또는 네비게이션을 수행할 수 있다.
또한, 제어부(140)는 어플리케이션 모듈(130h)을 통해 각종 어플리케이션을 실행한다. 제어부(140)는 어플리케이션에 대응되는 단축 아이콘을 디스플레이부(193)에 표시한다. 특히, 음성 인식이 가능한 어플리케이션에 대응되는 단축 아이콘 및 단축 아이콘의 이름은 음성 인식이 불가능한 어플리케이션에 대응되는 단축 아이콘 및 단축 아이콘의 이름과 구별되도록 디스플레이될 수 있다. 또한, 모션 인식이 가능한 어플리케이션에 대응되는 단축 아이콘 및 단축 아이콘의 이름은 모션 인식이 불가능한 어플리케이션에 대응되는 단축 아이콘 및 단축 아이콘의 이름과 구별되도록 디스플레이될 수 있다.
또한, 제어부(140)는 검색 제어 모듈(130i)을 이용하여 저장된 컨텐츠 검색, 어플리케이션 검색, 기능(예를 들어, 영상 통화 기능) 검색 또는 웹 검색을 할 수 있다. 구체적으로, 음성 태스크 모드 에서 검색창이 디스플레이되고, 음성 인식 모듈(130k)을 통해 특정 식별자와 대응되는 음성 인식되는 경우, 제어부(140)는 검색 제어 모듈(130i)을 이용하여 특정 식별자가 포함된 기능을 검색한다. 예를 들어, 음성 태스크 모드에서 검색창이 디스플레이되고, 음성 인식 모듈(130k)을 통해 "영상 통화"라는 음성이 인식되는 경우, 제어부(140)는 검색 제어 모듈(130i)을 이용하여 영상 통화 기능을 검색한다.
또한, 제어부(140)는 UI 처리 모듈(130j)을 이용하여 도 4 내지 도 6에 도시된 바와 같은, 음성 태스크를 수행하기 위한 음성 가이드 정보 또는 모션 태스크를 수행하기 위한 모션 가이드 정보가 디스플레이되도록 제어한다. 또한, 제어부(140)는 음성 아이템과 관련된 아이템 부가 정보 또는 모션 아이템과 관련된 아이템 부가 정보가 디스플레이되도록 제어할 수 있다.
상술한 바와 같이, 음성 태스크와 모션 태스크가 구분되며, 지정된 모드에서 수행가능한 태스크에 따라 전자 장치(100)가 제어될 수 있다. 또한, 전자 장치(100)는 하나의 기능(예를 들어, 채널 변경, 볼륨 변경)을 수행하기 위한 태스크들이, 서로 상이한 음성 태스크(일례로, 채널 바로 가기, 볼륨 레벨 지정 등) 또는 모션 태스크(일례로, 채널 재핑, 볼륨 레벨 조절 등)로 구분될 수 있다.
상술한 바와 같은 전자 장치(100)를 통해, 사용자는 음성 및 모션을 통해 전자 장치를 보다 효율적이고 직관적으로 조작할 수 있게 된다.
한편, 상술한 여러 실시 예들에서 음성 입력부(110)는 직접 사용자의 음성을 입력받는 마이크로 구현될 수도 있고, 또는, 마이크에서 입력된 음성 신호를 전달 받는 인터페이스로 구현될 수도 있다. 마찬가지로 모션 입력부(120)는 사용자를 직접 촬상하는 카메라로 구현될 수도 있고, 카메라에서 촬상한 데이터를 전달받는 인터페이스로 구현될 수도 있다.
도 1 내지 도 3을 참조하여 상술된 본 발명의 다양한 실시예에 따른 전자 장치(100)의 구성은 상술된 부재들 또는 실시예들에 국한되지 않으며, 본 발명의 기술적 사상에 따라 다양하게 구성되거나, 변형된 실시예들이 실시 가능하다. 예를 들어, 도 1 내지 도 3에서의 전자 장치(100)를 구성하는 부재들 또는 상술된 실시예들은, 상기 부재들 중 적어도 일부를 이용하여 다양하게 조합되거나, 상기 실시예들이 조합될 수 있다. 또한, 전자 장치(100)의 구성은 도 1 내지 도 3에서의 전자 장치(100)를 구성하는 부재들의 적어도 일부와 상기 부재들과 다른 부재를 포함하여 구성될 수 있으며, 상기 부재들의 일부 부재가 생략되어 구성될 수도 있음은 통상의 지식인에 의해 이해될 수 있다.
한편, 상술한 음성 가이드 정보 및 모션 가이드 정보는 다양한 형태로 사용자에게 제공될 수 있다. 이하에서는 도 4 내지 도 6을 참조하여 음성 가이드 정보, 음성 아이템에 관련된 아이템 부가 정보 및 모션 가이드 정보가 더욱 상세히 설명된다.
도 4는 본 발명의 일 실시 예에 따른, 음성 태스크 모드인 경우 디스플레이부(193)에 디스플레이되는 음성 가이드 정보를 나타내는 도면이다.
도 4에 도시된 바와 같이, 음성 태스크 모드에서, 디스플레이부(193)는 음성 가이드 정보로서 적어도 하나의 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518)을 표시할 수 있다. 여기서, 적어도 하나의 음성 아이템 각각은 발화 가능한 명령어일 수 있다. 또한, 음성 가이드 정보는 음성 태스크 모드를 나타내는 모드 이미지 또는 텍스트 등을 포함할 수 있다. 음성 가이드 정보는 적어도 하나의 음성 아이템을 포함하는 명령 표시 영역(510) 또는 전자 장치(100)의 지정된 모드(예를 들어, 음성 태스크 모드 또는 모션 태스크 모드)를 표시하는 모드 표시 영역(520)을 포함할 수 있다. 모드 표시 영역(520)에는 음성 태스크 모드 및 모션 태스크 모드 중 지정된 모드를 나타내는 모드 이미지 및 텍스트 중 적어도 하나가 포함될 수 있다. 또한, 명령 표시 영역(510) 및 모드 표시 영역(520)은 도 4에 도시된 바와 같이 구분되어 표시될 수도 있고, 두 영역의 경계가 구분되지 않게 표시될 수도 있다. 또한, 모드 표시 영역(520)이 생략될 수도 있다. 명령 표시 영역(510) 및 모드 표시 영역(520) 각각의 위치는 전자 장치(100)의 제조시 설정되거나, 사용자에 의해 임의로 설정되거나, 가이드 정보와 함께 표시되는 영상에 따라 동적으로 위치될 수도 있다. 예를 들어, 명령 표시 영역(510) 또는 모드 표시 영역(520)의 위치는, OSD가 표시되는 경우 OSD의 표시가 두드러지도록 OSD의 표시된 영역 밖의 임의 위치로 변경될 수도 있다. 명령 표시 영역(510)은 디스플레이 화면 하단에 디스플레이 될 수 있으며, 모드 표시 영역(520)은 디스플레이 화면의 하단 중앙에 디스플레이 될 수 있다. 또한, 모드 표시 영역(520)의 위치는 명령 표시 영역(510)에 독립적으로 환경 설정에 따라 하단 우측과 같이 다른 위치로 변경될 수 있다.
음성 태스크 모드에서, 명령 표시 영역(510)은 적어도 하나의 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518)을 포함한다. 예를 들어, 적어도 하나의 음성 아이템 각각은 명령어 일 수 있다. 명령 표시 영역(510)에 포함된 적어도 하나의 명령어는 전원끄기(511), 채널(512), 소리끄기(513), 외부입력(514), 스마트허브(515), 앱스(516), 검색(517) 또는 전체(518) 등을 포함할 수 있다. 이때, 전원끄기(511)는 전자 장치(100)의 전원 끄기를 수행하기 위한 명령어다. 채널(512)은 채널 바로가기를 수행하기 위한 명령어이다. 소리끄기(513)는 소리끄기를 수행하기 위한 명령어다. 외부입력(514)는 외부입력 변경을 수행하기 위한 명령어다. 스마트허브(515)는 전자 장치(100)의 인터넷 기능, 어플리케이션 제공 기능, 멀티미디어(예를 들어, 동영상, 음악, 사진 등) 제공 기능과 같은 스마트 기능에 진입하는 태스크를 수행하기 위한 명령어다. 앱스(516)는 전자 장치(100)의 어플리케이션을 검색하는 태스크를 수행하기 위한 명령어다. 검색(517)은 전자 장치(100)가 제공하는 컨텐츠, 어플리케이션, 기능, 웹 검색을 수행하기 위한 명령어다. 전체(518)는 전체 명령어를 표시하기 위한 명령어다. 또한, 명령 표시 영역(510)은 전체(518)를 대신하여 명령어로서 ‘더보기’(more)를 포함할 수 있다. 즉, 전체(518) 및 ‘더보기’는 음성 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나의 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518)과 다른 아이템을 표시하기 위한 음성 아이템일 수 있다. 또한, 전자 장치(100)가 상기 다른 아이템을 표시하는 경우, 미리 설정된 타이머의 구동을 생략할 수 있다. 여기서, 미리 설정된 타이머는 표시된 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518) 중 어느 하나가 미리 설정된 시간동안 인식되지 않는 경우, 음성 태스크 모드를 중단하기 위한 타이머일 수 있다. 음성 태스크 모드가 중단되는 경우, 음성 가이드 정보의 표시가 사라지고, 일반적인 원격 제어 장치에 의해 제어되는 모드로 변경될 수 있다. 또한, 음성 태스크 모드가 중단되는 경우, 음성 개시 명령에 따라 음성 태스크 모드로 재진인하기 전까지 음성 태스크의 수행이 제한될 수 있다. 또한, 화면에 음성 가이드 정보, 모션 가이드 정보, 아이템 부가 정보 등과 함께 OSD 또는 인식 후보가 표시된 경우, 지정된 모드와 상관 없이 지정된 모드의 중단을 위한 미리 설정된 타이머의 구동이 생략될 수도 있다. 또한, 명령 표시 영역(510)에는 상술된 명령어들과 다른 명령어가 포함될 수도 있다.
음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518)은 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 즉, 명령 표시 영역(510)에 디스플레이되는 적어도 하나의 명령어는 전자 장치(100)의 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 예를 들어, 적어도 하나의 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518)은 음성 가이드 정보와 함께 표시되는 어플리케이션, OSD(on screen display) 및 인식 후보(candidate) 중 적어도 하나에 따라, 음성 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나가 선택적으로 구성된 것일 수 있다. 예를 들어, 현재 전자 장치(400)에 스마트 기능이 수행되는 경우, 방송 수신 상태로 복귀하기 위한 명령어인 “복귀”가 포함된 음성 가이드 정보가 디스플레이 될 수 있다. 여기서, 인식 후보는 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 인식된 음성과 유사한 명령어, 유사한 명령어에 대응하는 태스크, 인식된 모션과 유사한 모션, 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함할 수 있다. 예를 들어, 도 10c의 인식 후보들(1100) 또는 도 11c의 인식 후보들(1200)은 인식된 음성과 유사한 채널 식별자들의 리스트가 팝업 윈도우내에 표시될 수 있다. OSD는 전자 장치(100)의 현재 설정 정보, 인식 후보를 제외한 전자 장치(100)의 설정 메뉴 등을 포함할 수 있다. 예를 들어, OSD로서, 도 10a의 우측 상단에 현재 재생중인 채널의 식별자가 표시되거나, 도 13b의 외부입력 리스트(1300) 또는 도 19a의 채널리스트(1900)가 표시될 수 있다.
제어부(140)는 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템(511, 512, 513, 514, 515, 516, 517, 518) 중 제1 음성 아이템에 대응하는 제1 음성을 인식할 수 있다. 제어부(140)는 인식된 제1 음성에 대응하는 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 제1 음성 아이템에 관련된 아이템 부가 정보는 제1 음성 아이템과 관련된 부가 명령어, 가이드 문구 또는 발화(utterance) 예시 등을 포함할 수 있다. 예를 들어, 음성 인식 모듈(130k)을 통해 명령 표시 영역(510)에 표시된 음성 아이템(512)에 대응하는 음성으로서 "채널"이 인식되고, 음성 아이템(512)에 대응하는 태스크가 음성 태스크들 중 채널 바로가기인 경우, 디스플레이부(193)는 도 5에 도시된 바와 같이, 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자의 발화에 대한 가이드 문구, 발화 예시, 또는 부가 명령어(일례로, ‘이전’)를 포함하는 아이템 부가 정보를 표시할 수 있다. 여기서, ‘이전’은 도 4의 명령 표시 영역(510)을 포함하는 가이드 정보가 다시 표시되도록 하기 위한 명령어일 수 있다. 아이템 부가 정보는 부가 명령어, 가이드 문구 또는 발화(utterance) 예시 등을 포함하는 가이드 영역(530) 및 모드 표시 영역(520)을 포함할 수 있다. 일례로, 가이드 영역(530)의 좌측에는 가이드 문구가 표시되고, 가이드 영역(530)의 우측에는 부가 명령어 또는 발화 예시 등이 표시될 수 있다.
또한, 제어부(140)는 아이템 부가 정보에 대응하는 제2 음성을 인식할 수 있다. 제어부(140)는 음성 태스크들 중 제1 음성 아이템 및 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 음성 아이템이 음성 아이템(512)이고, 도 5의 아이템 부가 정보에 대응하는 제2 음성으로서 ‘MBC’가 인식된 경우, 제어부(140)는 ‘MBC’를 포함하는 채널 식별자에 대응하는 채널로 변경하는 채널 바로 가기를 수행할 수 있다. 이처럼, 제1 음성 아이템에 관련된 아이템 부가 정보는 제1 음성 아이템에 대응하는 태스크를 수행함에 있어서, 해당 태스크의 수행 여부를 문의하거나, 해당 태스크의 수행에 필요한 정보를 추가로 획득하기 위해, 제2 음성의 발화를 가이드하기 위한 정보일 수 있다.
도 6은 본 발명의 일 실시 예에 따른 전자 장치에서, 모션 태스크 모드인 경우 디스플레이부(193)에 디스플레이되는 모션 가이드 정보를 나타낸다.
도 6에 도시된 바와 같이, 모션 태스크 모드에서, 디스플레이부(193)는 모션 가이드 정보로서 적어도 하나의 모션 아이템(611, 612, 613, 614)을 표시할 수 있다. 여기서, 적어도 하나의 모션 아이템 각각은 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 또는 인식 가능한 모션(또는 모션 이미지)에 대응하는 태스크를 나타내는 텍스트를 포함할 수 있다. 또한, 모션 가이드 정보는 모션 태스크 모드를 나타내는 모드 이미지 또는 텍스트 등을 포함할 수 있다. 모션 가이드 정보는 적어도 하나의 모션 아이템을 포함하는 명령 표시 영역(610) 및 전자 장치(100)의 모드를 표시하는 모드 표시 영역(620)을 포함할 수 있다. 모드 표시 영역(620)에는 음성 태스크 모드 및 모션 태스크 모드 중 지정된 모드를 나타내는 모드 이미지 및 텍스트 중 적어도 하나가 포함될 수 있다. 또한, 명령 표시 영역(610) 및 모드 표시 영역(620)은 도 6에 도시된 바와 같이 구분되어 표시될 수도 있고, 두 영역의 경계가 구분되지 않게 표시될 수도 있다. 또한, 모드 표시 영역(620)이 생략될 수도 있다. 예를 들어, 명령 표시 영역(610)은 디스플레이 화면 하단에 디스플레이 될 수 있으며, 모드 표시 영역(620)은 디스플레이 화면의 하단 중앙에 디스플레이 될 수 있다. 여기서, 모드 표시 영역(620)의 위치는 환경 설정에 의해 변경(예를 들어, 하단 우측)될 수 있다.
모션 태스크 모드에서, 명령 표시 영역(610)은 적어도 하나의 모션 아이템(611, 612, 613, 614)을 포함한다. 예를 들어, 적어도 하나의 모션 아이템 각각은 모션 이미지 및 모션 이미지에 대응하는 태스크를 나타내는 텍스트를 포함할 수 있다. 명령 표시 영역(610)에 포함된 적어도 하나의 모션 아이템은 반시계 방향 회전 모션은 이전 설정으로 가는 기능을 수행하기 위한 뒤로 가기에 대응함을 나타내는 모션 아이템(611), 상/하 슬랩 모션은 볼륨 레벨 조절을 수행하기 위한 볼륨 업/다운에 대응함을 나타내는 모션 아이템(612), 좌/우 슬랩 모션은 채널 재핑을 수행하기 위한 채널 업/다운에 대응함을 나타내는 모션 아이템(613), 그랩 모션은 영상 재생을 수행하기 위한 재생에 대응함을 나타내는 모션 아이템(614) 등을 포함할 수 있다. 또한, 명령 표시 영역(610)에는 상술된 모션 아이템들과 다른 모션 아이템이 포함될 수도 있다. 또한, 상술한 적어도 하나의 모션 아이템들 각각에 포함된 모션이미지 및 모션 이미지에 대응하는 텍스트는, 인식 가능한 모션 및 인식 가능한 모션에 대응하는 태스크의 매핑 설정에 따라 변경될 수 있다. 예를 들어, 명령 표시 영역(610)에는 상/하 슬랩 모션이 채널 재핑을 수행하기 위한 채널 업/다운에 대응함을 나타내는 모션 아이템 및 좌/우 슬랩 모션이 볼륨 레벨 조절을 수행하기 위한 볼륨 업/다운에 대응함을 나타내는 모션 아이템을 포함할 수도 있다.
모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템(611, 612, 613, 614)은 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 즉, 명령 표시 영역(610)에 디스플레이되는 적어도 하나의 모션 아이템(611, 612, 613, 614)은 전자 장치(100)의 현재 수행되는 기능에 따라 상이하게 구성될 수 있다. 예를 들어, 적어도 하나의 모션 아이템(611, 612, 613, 614)은 모션 가이드 정보와 함께 표시되는 어플리케이션, OSD 및 인식 후보 중 적어도 하나에 따라, 모션 태스크들에 대응하는 모션 아이템들 중에서 적어도 하나가 선택적으로 구성된 것일 수 있다.
또한, 제어부(140)는 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템(611, 612, 613, 614) 중 제1 모션 아이템에 대응하는 제1 모션을 인식할 수 있다. 아이템 부가 정보가 존재하는 경우, 제어부(140)는 인식된 제1 모션에 대응하는 제1 모션 아이템에 관련된 아이템 부가 정보가 표시되도록 제어할 수 있다. 예를 들어, 모션 아이템(614)에 대응하는 그랩 모션이 인식된 경우, 선택된 아이템 또는 영상 파일을 재생할지 여부를 문의하는 가이드 문구, 또는 좌/우 슬랩 모션이 예(Yes)/아니오(No)에 대응함을 나타내는 모션 아이템 등을 포함하는 아이템 부가 정보가 표시될 수 있다.
또한, 제어부(140)는 아이템 부가 정보에 대응하는 제2 모션을 인식할 수 있다. 제어부(140)는 모션 태스크들 중 제1 모션 아이템 및 인식된 제2 모션에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 모션 아이템이 모션 아이템(614)이고, 지정된 영상 파일을 재생할지 여부를 문의하는 가이드 문구 및 좌/우 슬랩 모션이 예/아니오에 대응함을 나타내는 모션 아이템을 포함하는 아이템 부가 정보에 대응하는 제2 모션으로서 좌측 방향의 슬랩 모션이 인식된 경우, 지정된 영상 파일이 재생될 수 있다. 이처럼, 제1 모션 아이템에 관련된 아이템 부가 정보는 제1 모션 아이템에 대응하는 태스크를 수행함에 있어서, 해당 태스크의 수행 여부를 문의하거나, 해당 태스크의 수행에 필요한 정보를 추가로 획득하기 위해, 제2 모션을 가이드하기 위한 정보일 수 있다.
또한, 모션 인식에 오류가 발생하는 경우, 오류 안내를 나타내는 모션 가이드 정보가 표시될 수 있다. 예를 들어, 모션 가이드 정보는 “제스처를 인식하지 못했습니다. 다시 입력하여 주세요”라는 가이드 문구, 또는 다시 입력을 나타내는 텍스트와 매핑된 손바닥 이미지 등을 포함할 수 있다. 또한, 모션 가이드 정보는 “지금은 양손 인식이 불가능합니다.”라는 가이드 문구, 또는 “ ‘웹 브라우져’, ‘사진 보기’, ‘구글 맵 App’에서만 이용 가능합니다”라는 가이드 문구를 포함할 수 있다. 여기서, 양손 인식은 양손을 좁하기, 양손을 넓히기 등의 모션에 대응하여 화면의 확대, 또는 축소 등의 태스크를 수행하기 위한 것일 수 있다. 또한, 모션 가이드 정보의 일부로서, 모드 표시 영역에 오류 안내를 나타내는 이미지 또는 텍스트 등이 표시될 수도 있다.
이하에서는 도 7a 내지 도 16c를 참조하여, 인식된 음성에 따라 제어되는 음성 태스크들을 설명하고, 도 17a 내지 도 25c를 참조하여, 인식된 모션에 의해 제어되는 모션 태스크들을 설명하기로 한다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른, 음성 인식을 이용한 전원 켜기를 설명하기 위한 도면이다. 도 7a에 도시된 바와 같이, 영상이 출력되지는 않으나, 음성 입력부(110) 및 제어부(140)에는 전원이 공급되는 대기모드에서 음성 인식 모듈(130k)을 이용하여 "전원 켜기"가 인식된 경우, 전자 장치(100)는 도 7b에 도시된 바와 같이, 전원이 온 될 수 있다.
도 8a 내지 도 8c는 본 발명의 일 실시예에 따른, 음성 인식을 이용한 전원 끄기를 설명하기 위한 도면이다. 도 8a에 도시된 바와 같이, 음성 태스크 모드에서 화면 하단에 음성 가이드 정보가 디스플레이될 수 있다. 제어부(140) 및 음성 인식 모듈(130k)을 이용하여 "전원끄기"가 인식된 경우, 전자 장치(140)는 도 8b에 도시된 바와 같이, 전원끄기의 수행 여부를 문의하는 가이드 문구 및 문의의 답변에 대한 발화 예시(예를 들어, 예/아니오) 중 적어도 하나를 포함하는 가이드 영역(920)이 아이템 부가 정보로서 표시될 수 있다. 아이템 부가 정보에 대응하는 음성으로서 "예"가 인식된 경우, 전자 장치(100)는 도 8c에 도시된 바와 같이, 전원이 오프 된다.
도 9a 내지 도 9b는 본 발명의 일 실시예에 따른, 음성 인식을 이용한 스마트 전원 켜기를 설명하기 위한 도면이다. 여기서 스마트 전원 켜기는 전자 장치(100)의 전원이 온 되는 동시에 사용자가 원하는 채널로 바로 변경되는 기능이다. 즉, 스마트 전원 켜기는 전원 켜기 및 채널 바로가기가 함께 수행되는 태스크일 수 있다. 도 9a에 도시된 바와 같이, 영상이 출력되지는 않으나, 음성 입력부(110) 및 제어부(140)에는 전원이 공급되는 대기모드에서, 음성 인식 모듈(130k)을 이용하여 "지니" 와 "채널 6"이 연속적으로 인식된 경우, 전자 장치(100)는 도 9b에 도시된 바와 같이, 전원을 온 하고, 채널 6번을 디스플레이 한다. 이때, 채널 6번의 재생과 함께 음성 가이드 정보가 표시될 수도 있다. 도 10a 내지 도 10d는 본 발명의 일 실시예에 따른, 채널 번호를 이용하는 채널 바로가기를 설명하기 위한 도면이다. 도 10a에 도시된 바와 같이, 음성 태스크 모드에서 화면 하단에 음성 가이드 정보가 디스플레이될 수 있다. 음성 아이템(512)에 대응하는 음성으로서 "채널"이 인식된 경우, 도 10b에 도시된 바와 같이, 전자 장치(100)는 음성 아이템(512)에 관련된 아이템 부가 정보로서 가이드 영역(530)을 디스플레이할 수 있다. 가이드 영역(530)에는 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자의 발화에 대한 가이드 문구, 또는 발화 예시 등이 표시될 수 있다. 아이템 부가 정보에 대응하는 음성으로서, 채널 번호에 대응하는 음성으로서 "칠"이 인식된 경우, 도 10d에 도시된 바와 같이, 전자 장치(100)는 채널 7번이 선국되도록 채널 변경한다.
음성 인식 모듈(130k)을 이용하여 인식된 "칠"을 포함하거나 “칠”과 유사한 인식 후보가 있을 경우, 도 10c에 도시된 바와 같이, 전자 장치(100)는 인식 후보들(1000) 및 인식 후보 중 하나가 지정되기 위한 방법을 안내하는 음성 가이드 정보로서 가이드 영역(1010)을 디스플레이할 수 있다. 여기서, 인식 후보들(1000) 각각에 대응하는 숫자 및 문자 중 적어도 하나로 구성된 인덱스가 표시될 수 있다. 도 10c에 도시된 바와 같이, 가이드 영역(1010)에는 가이드 문구가 포함되고, 인식 후보들(1000)이 표시된 팝업 윈도우내에 음성 아이템으로서 명령어(예를 들어, 취소)가 포함될 수 있다. 또한, 인식 후보들(1000) 각각에 대응하는 인덱스는 음성 가이드 정보로서 가이드 문구에 대응하는 발화 예시이며, 인덱스에 대응하는 인식 후보를 나타내는 것일 수 있다. 이처럼, 음성 가이드 정보는 가이드 영역(1010), 명령 표시 영역, 또는 모드 표시 영역 등의 미리 설정된 영역에 한정되지 않고, 현재 수행되는 기능에 따라 다른 영역에 표시될 수도 있다.
음성 후보들(1000)이 디스플레이되고, 제어부(140)와 음성 인식 모듈(130k)을 이용하여 발화 예시로서 표시된 인덱스에 대응하는 "1 번"(또는 “1”)이 인식된 경우, 전자 장치(100)는 도 10d에 도시된 바와 같이, 인덱스 1에 대응하는 채널 7번이 선국되도록 할 수 있다.
도 11a 내지 도 11d는 본 발명의 일 실시예에 따른, 채널명을 이용하는 채널 바로가기를 설명하기 위한 도면이다. 도 11a에 도시된 바와 같이, 음성 태스크 모드에서 음성 가이드 정보가 디스플레이될 수 있다. 음성 아이템(512)에 대응하는 음성으로서 "채널"이 인식된 경우, 도 11b에 도시된 바와 같이, 전자 장치(100)는 음성 아이템(512)에 관련된 아이템 부가 정보로서 가이드 영역(530)을 디스플레이할 수 있다. 채널명에 대응하는 음성으로서 "엠비씨"가 인식된 경우, 전자 장치(100)는 도 11d에 도시된 바와 같이, "엠비씨"라는 채널명을 가지는 채널 11번이 선국되도록 한다.
음성 인식 모듈(130k)을 이용하여 인식된 "엠비씨"를 포함하거나 “엠비씨"와 유사한 후보들이 있을 경우, 도 11c에 도시된 바와 같이, 전자 장치(100)는 인식 후보들(1100) 및 인식 후보 중 하나가 지정되기 위한 방법을 안내하는 음성 가이드 정보로서 가이드 영역(1110)을 디스플레이할 수 있다. 인식 후보들(1100)이 디스플레이되고, 제어부(140)와 음성 인식 모듈(130k)을 이용하여 발화 예시로서 표시된 인덱스에 대응하는 "1 번"(또는 “1”)이 인식된 경우, 도 11d에 도시된 바와 같이, 전자 장치(100)는 인덱스 1에 대응하는 후보로서 "엠비씨"라는 채널 명을 가지는 채널 11번이 선국되도록 할 수 있다.
또한, 음성 태스크 모드에서 음성 가이드 정보(1010, 1110)와 함께 인식 후보들(1000, 1100)이 표시된 후, 음성 태스크 모드에서 모션 태스크 모드로 전환되는 경우, 전자 장치(100)는 인식 후보들(1000, 1100)을 계속하여 표시하고, 음성 가이드 정보(1010, 1110)를 모션 태스크 모드에 상응하는 모션 가이드 정보로 변경하여 표시할 수 있다. 이때, 전자 장치(100)는 계속하여 표시되는 인식 후보들(1000, 1100) 중 하나의 인식 후보에 포커스를 표시할 수 있다.
마찬가지로, 모션 태스크 모드에서 모션 가이드 정보와 함께 인식 후보들(1000, 1100)이 표시된 후, 모션 태스크 모드에서 음성 태스크 모드로 전환되는 경우, 전자 장치(100)는 인식 후보들(1000, 1100)을 계속하여 표시하고, 모션 가이드 정보를 음성 태스크 모드에 상응하는 음성 가이드 정보(1010, 1110)로 변경하여 표시할 수 있다. 이때, 전자 장치(100)가 음성 가이드 정보(1010, 1110)로 변경하여 표시하는 것은, 계속하여 표시되는 인식 후보들(1000, 1100) 각각에 대응하는 숫자 및 문자 중 적어도 하나로 구성된 인덱스를 표시하는 것을 포함할 수 있다.
도 12a 내지 도 12c는 본 발명의 일 실시예에 따른, 음성 인식을 이용한 소리끄기(mute)를 설명하기 위한 도면이다. 도 12a 도시된 바와 같이, 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이될 수 있다. 음성 아이템(513)에 대응하는 음성으로서 "소리끄기"가 인식된 경우, 전자 장치(100)는 소리끄기가 수행되도록 제어할 수 있다. 즉, 전자 장치(100)는 오디오가 출력되지 않도록 제어할 수 있다. 또한, 전자 장치(100)는 음성 아이템(513)을 대신하여 음성 태스크들 중 소리켜기에 대응하는 음성 아이템(1213)을 포함하는 변경된 음성 가이드 정보(1210)를 표시할 수 있다. 또한, 도 12b에 도시된 바와 같이, 전자 장치(100)는 디스플레이 화면에 소리끄기에 대한 설정을 나타내는 아이콘(1200)을 디스플레이 할 수 있다.
음성 아이템(1213)에 대응하는 음성으로서 "소리켜기"가 인식된 경우, 전자 장치(100)는 오디오 출력부(196)에서 소리끄기 이전의 볼륨 레벨로 오디오가 출력되도록 제어할 수 있다. 또한, 도 12c에 도시된 바와 같이, 전자 장치(100)는 디스플레이 화면에 소리끄기 아이콘(1300)을 삭제하고, 음성 아이템(1213)을 대신하여 음성 아이템(513)을 표시할 수 있다.
도 13a 내지 도 13c는 본 발명의 일 실시 예에 따른, 음성 인식을 이용한 외부입력 변경을 설명하기 위한 도면이다. 도 13a에 도시된 바와 같이, 음성 태스크 모드에 진입하여 디스플레이 화면 하단에 음성 가이드 정보가 디스플레이될 수 있다. 음성 아이템(514)에 대응하는 음성으로서 "외부입력"이 인식된 경우, 도 13b에 도시된 바와 같이, 전자 장치(100)는 OSD로서 외부입력 리스트(1300)를 디스플레이하고, 음성 아이템(514)에 관련된 아이템 부가 정보로서 외부입력 선택을 안내하는 가이드 영역(1310)을 디스플레이할 수 있다. 이때, 외부입력 리스트(1300)에는 외부단자 입력부(160)에 연결된 외부 단자인 USB 외부단자, AV1 외부단자, PC 외부 단자는 선명하게 표시되고, 연결되지 않은 외부 단자인 “HDMI 1” 및 “HDMI 2”는 희미하게 표시될 수 있다. 아이템 부가 정보에 대응하는 음성으로서 "피씨"가 인식된 경우, 전자 장치(100)는 도 13c에 도시된 바와 같이, 외부입력을 "PC"로 변경할 수 있다.
도 14a 내지 도 14c는 본 발명의 일 실시예에 따른, 대상 명칭이 명확한 기능 실행 태스크를 설명하기 위한 도면이다. 도 14a에 도시된 바와 같이, 스마트 기능(예를 들어, 인터넷 기능, 어플리케이션 기능, 동영상 재생, 음악 감상 등)을 수행하기 위한 스마트 허브를 진입하는 사용자 명령이 입력되어 스마트 허브(1400)가 디스플레이될 수 있다. 스마트 허브(1400)는 전자 장치(100)에서 지원하는 복수의 기능(예를 들어, 비디오 보기, 음악 듣기, 인터넷 접속 등)에 대응되는 단축 아이콘을 표시할 수 있는 UI를 포함할 수 있다. 또한, 스마트 허브(1400)는 전자 장치(100)의 저장부(130)에 저장된 컨텐츠(예를 들어, 포토, 음악, 비디오 등)에 대응되는 단축아이콘, 외부로부터 수신 가능한 컨텐츠(예를 들어, 포토, 음악, 비디오 등)에 대응되는 단축아이콘 및 외부와 연결 가능한 어플리케이션(예를 들어, 인터넷 브라우저 등)에 대응되는 단축아이콘을 표시하는 UI를 포함할 수 있다.
예를 들어, 예를 들어, 도 13a에서 음성 아이템(515)에 대응하는 음성으로서 “스마트허브”가 인식된 경우, 전자 장치(100)는 스마트 허브(1400)를 구동할 수 있다. 또한, 음성 태스크 모드로 진입하기 위한 음성 개시 명령으로서 "지니"가 인식되는 경우, 전자 장치(100)는 도 14b에 도시된 바와 같이, 디스플레이 화면 하단에 명령 표시 영역(510) 및 모드 표시 영역(520)을 포함하는 음성 가이드 정보를 생성하고, 음성 태스크 모드로 진입한다. 이때, 음성 태스크 모드로 진입되는 경우, 전자 장치(100)는 스마트 허브(1400)에서 사용자의 음성에 의해 선택될 수 있는 단축 아이콘을 음성에 의해 선택될 수 없는 단축 아이콘과 구분하여 표시할 수 있다. 예를 들어, 사용자의 음성에 의해 선택될 수 있는 스마트 허브(1400)의 단축 아이콘에는 단축 아이콘의 이름에 밑줄이 표시될 수 있다.
도 14b에 도시된 바와 같이, 음성 가이드 정보가 디스플레이될 수 있다. 사용자의 음성에 의해 선택될 수 있는 스마트 허브(1400)의 단축 아이콘의 이름에 대응하는 음성으로서 "유어 비디오"가 인식되는 경우, 전자 장치(100)는 도 14c에 도시된 바와 같이, 스마트 허브(1400)의 "유어 비디오"에 포함되는 동영상을 실행시킬 수 있다. 여기서, “유어 비디오” 에 포함된 동영상이 1개인 경우에는 동영상이 바로 실행되고, “유어 비디오”에 포함된 동영상이 복수인 경우에는 “유어 비디오”에 포함된 동영상 리스트가 표시될 수 있다.
도 15a 내지 도 15b는 본 발명의 일 실시예에 따른, 음성 인식을 이용하여 방송 수신 기능으로 복귀하는 복귀 기능을 설명하기 위한 도면이다. 도 15a에 도시된 바와 같이, 스마트 허브 및 음성 가이드 정보가 디스플레이될 수 있다. 음성 아이템(519)에 대응하는 음성으로서 "복귀"가 인식되는 경우, 도 15b에 도시된 바와 같이, 전자 장치(100)는 스마트 허브를 디스플레이하기 전의 방송 수신 상태로 복귀할 수 있다.
도 16a 내지 도 16c는 본 발명의 일 실시예에 따른, 음성 인식을 이용하여 영상 재생기능 및 영상 정지 기능을 설명하기 위한 도면이다. 도 16a에 도시된 바와 같이, 영상(예를 들어, 저장부(130)에 저장된 동영상)이 재생되고, 음성 태스크 모드로 진입하기 위해 음성 개시 명령으로서 "지니"가 인식되는 경우, 도 16b에 도시된 바와 같이, 전자 장치(100)는 음성 태스크 모드로 진입하고, 음성 가이드 정보를 디스플레이 화면 하단에 디스플레이할 수 있다.
음성 가이드 정보가 디스플레이된 상태에서, 음성 인식 모듈(130k)을 이용하여 "일시정지"가 인식되는 경우, 전자 장치(100)는 현재 재생되는 영상을 일시 정지하고, 도 16c에 도시된 바와 같이, 디스플레이 화면에 일시 정지 아이콘을 디스플레이하고, 영상이 일시 정지되도록 제어할 수 있다. 또한, 음성 인식 모듈(130k)을 이용하여 "재생"이 인식되는 경우, 도 16b에 도시된 바와 같이, 전자 장치(100)는 일시 정지된 영상을 다시 재생되도록 제어할 수 있다. 이처럼, 음성 가이드 정보와 함께 표시되는 이미지 또는 어플리케이션 등에 따라, 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템들(511, 512, 513, 514, 515, 516, 517, 518)에 포함되지 않은 명령어도 인식될 수 있다. 또한, 도 16b와 같이, 영상 재생 중에는 가이드 정보로서 일시정지/정지/복귀 명령어에 대응하는 음성 아이템이 명령 표시 영역(510) 또는 별도의 영역에 표시될 수도 있다. 또한, 도 16c와 같이, 영상 일시 정지 중에는 가이드 정보로서 재생 명령어에 대응하는 음성 아이템이 표시될 수도 있다.
상술된 바와 같이, 음성 인식 모듈(130k)을 이용하여 인식된 음성에 의해 제어되는 음성 태스크는 발화 가능한 식별자가 부여된 태스크 또는 문자 입력이 필요한 태스크일 수 있으며, 사용자는 음성을 통해 음성 태스크가 수행되도록 더욱 쉽고 편리하게 전자 장치(100)을 조작할 수 있다.
도 17a 및 도 17b는 본 발명의 일 실시예에 따른, 모션 인식을 이용한 채널 재핑을 설명하기 위한 도면이다. 도 17a에 도시된 바와 같이, 모션 태스크 모드에 진입하여 디스플레이 화면 하단에 모션 가이드 정보가 디스플레이될 수 있다. 모션 아이템(613)에 대응하는 모션으로서 사용자의 손이 현재 위치에서 우측 방향으로 이동하는 슬랩 모션이 인식되는 경우, 전자 장치(100)는 도 17b에 도시된 바와 같이, 채널 업에 대응하여 현재 채널(6번)에서 미리 설정된 순서에 따라 현재 채널(6번)의 후에 위치한 다음 채널로서 채널(7번)이 선국되도록 한다. 이와 반대로, 도 17b에 도시된 바와 같이 7번 채널이 디스플레이된 이후, 모션 아이템(613)에 대응하는 모션으로서 좌측 방향으로 이동하는 슬랩 모션이 인식되는 경우, 전자 장치(100)는 도 17a에 도시된 바와 같이, 현재 채널(7번)에서 미리 설정된 순서에 따라 현재 채널(7번)의 전에 위치한 이전 채널로서 채널(6번)이 선국되도록 한다.
도 18a 및 도 18c는 본 발명의 일 실시예에 따른, 모션 인식을 이용한 볼륨 레벨 조절을 설명하기 위한 도면이다. 도 18a에 도시된 바와 같이, 모션 태스크 모드에 진입하여 디스플레이 화면 하단에 모션 가이드 정보가 디스플레이될 수 있다. 모션 인식 모듈(130l)을 통해 모션 아이템(612)에 대응하는 모션으로서 현재 위치에서 위쪽 방향으로 이동하는 슬랩 모션이 인식되는 경우, 전자 장치(100)는 도 18b에 도시된 바와 같이, 볼륨 레벨을 표시하는 볼륨 레벨 조절바(1800)를 디스플레이하고, 현재 볼륨 레벨(9)에서 한 단계 증가된 다음 단계의 볼륨(10)을 출력할 수 있다. 볼륨 레벨 조절바(1800)는 디스플레이된 후 기 설정된 시간(예를 들어, 5초) 동안 표시된 후, 기 설정된 시간 이후 볼륨 레벨 조절바(1800)가 도 18c에 도시된 바와 같이, 화면에서 제거되고, 조절된 볼륨 레벨에 따라 오디오가 출력될 수 있다.
도 19a 내지 도 19d는 본 발명의 일 실시 예에 따른, 사용자의 포인팅 동작을 이용한 채널 변경을 설명하기 위한 도면이다. 채널을 선택하기 위한 OSD로서 채널리스트(1900)의 표시를 위한 채널리스트 생성 명령(예를 들어, 리모콘의 채널리스트 버튼)이 입력되는 경우, 도 19a에 도시된 바와 같이, 화면에 채널리스트(1900)가 디스플레이 될 수 있다. 모션 인식 모듈(130l)을 통해 모션 태스크 모드로 진입하기 위해 모션 개시 명령으로서 손을 3~4회 흔드는 모션이 인식되는 경우, 도 19b에 도시된 바와 같이, 전자 장치(100)는 커서(1910)를 표시하고, 모션 가이드 정보를 임의의 위치에(일례로, 화면 하단) 디스플레이할 수 있다. 또한, 커서를 대신하여, 채널리스트(1900)의 임의의 채널에 포커스가 표시될 수도 있다. 이 경우, 상하로 움직이는 모션에 대응하여 포커스된 채널이 변경될 수 있다.
모션 인식 모듈(130l)을 통해 커서(1910)를 이동시키기 위해 모션으로서 현재 손의 위치에서 왼쪽 아래 방향으로 이동시키는 모션이 인식되는 경우, 전자 장치(100)는 커서(1910)를 모션에 따라 이동시켜 "11-1 MBC" 에 위치시킬 수 있다.
또한, 모션 인식 모듈(130l)을 통해 모션 아이템(614)에 대응하는 모션으로서 그랩 모션이 인식되는 경우, 도 19d에 도시된 바와 같이, 전자 장치(100)는 “11-1 MBC”가 지정됨을 판단하고, "11-1 MBC"에 대응하는 채널을 선국하여 "채널 11-1 MBC"를 디스플레이할 수 있다.
도 20a 내지 도 20d는 본 발명의 일 실시예에 따른, 사용자의 포인팅 동작을 이용한 어플리케이션의 실행을 설명하기 위한 도면이다. 도 20a에 도시된 바와 같이, 디스플레이 화면에 스마트 허브가 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 개시 명령으로서 손을 3~4회 흔드는 쉐이크 모션이 인식되는 경우, 도 20b에 도시된 바와 같이, 전자 장치(100)는 커서(2010)를 표시하고, 모션 가이드 정보를 디스플레이 화면 하단에 디스플레이할 수 있다. 또한, 전자 장치(100)는 커서(2010)을 대신하여 임의의 단축 아이콘 또는 링크에 포커스를 표시할 수 있다. 이 경우, 상/하/좌/우로 움직이는 모션에 대응하여 포커스된 단축 아이콘 또는 링크가 변경될 수 있다.
모션 인식 모듈(130l)을 통해 현재 손의 위치에서 오른쪽 아래 방향으로 이동시키는 모션이 인식되는 경우, 도 20c에 도시된 바와 같이, 전자 장치(100)는 커서(2010)를 모션에 따라 이동시켜 "APP 2" 에 위치시킬 수 있다. 또한, 커서(2010)가 명령 표시 영역(610) 및 모드 표시 영역(620)을 포함하는 모션 가이드 정보에 근접하는 경우, 전자 장치(100)는 모션 가이드 정보의 투명도를 증가시켜서, 모션 가이드 정보 뒤에 표시된 스마트 허브의 이미지가 일부 표시되도록 제어할 수도 있다. 예를 들어, 스마트 허브의 단축 아이콘 상에 가이드 정보가 겹쳐서 표시되고, 가이드 정보에 적어도 일부가 가려진 단축 아이콘 쪽으로 커서(2010)가 이동되는 경우, 가이드 정보의 투명도가 증가하고, 가려진 단축 아이콘이 활성화 되거나, 선택 가능한 상태로 변경될 수도 있다.
모션 아이템(614)에 대응하는 모션으로서 그랩 모션이 인식되는 경우, 도 20d에 도시된 바와 같이, 전자 장치(100)는 "APP 2"를 실행할 수 있다. 이때, 전자 장치(100)는 도 20d에 도시된 바와 같이, 스마트 허브를 대체하는 새로운 화면으로 선택된 어플리케이션을 실행할 수 있다. 또한, 스마트 허브 내에 스마트 허브보다 작은 화면으로 어플리케이션의 실행이 표시될 수도 있다.
도 21a 내지 도 21c는 본 발명의 일 실시예에 따른, 사용자의 모션을 이용한 스마트 허브의 어플리케이션 표시 영역(2120)에서의 네비게이션을 설명하기 위한 도면이다. 도 21a에 도시된 바와 같이, 디스플레이 화면에 스마트 허브가 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 개시 명령으로서 손을 3~4회 흔드는 모션이 인식되는 경우, 도 21b에 도시된 바와 같이, 전자 장치(100)는 커서(2110)를 표시하고, 모션 가이드 정보를 화면 하단에 디스플레이할 수 있다.
커서(2110)가 네비게이션이 가능한 영역(예를 들어, 좌우 이동 방향 키(2113,2116)가 표시된 영역)에 위치하고, 모션 인식 모듈(130l)을 통해 현재 손의 위치에서 오른쪽 방향으로 이동되는 슬랩이 인식되는 경우, 도 21c에 도시된 바와 같이, 전자 장치(100)는 커서(2110)가 위치한 어플리케이션 표시 영역(2120)을 오른쪽 방향으로 이동시킬 수 있다. 이때, 내비게이션이 가능한 영역은 좌우 이동 방향키가 표시된 영역을 포함할 뿐 아니라, 슬라이드 바가 표시된 영역을 포함할 수 있다.
도 22a 내지 도 22d는 본 발명의 일 실시 예에 따른, 모션 인식을 이용한 대상 명칭이 명확하지 않은 아이콘의 실행을 설명하기 위한 도면이다. 도 24a에 도시된 바와 같이, 디스플레이 화면에 웹 페이지 화면이 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 개시 명령으로서 손을 3~4회 흔드는 모션이 인식되는 경우, 도 22b에 도시된 바와 같이, 전자 장치(100)는 커서(2210)를 생성하고, 모션 가이드 정보를 디스플레이할 수 있다.
커서(2210)를 이동시키기 위해 모션으로서 현재 손의 위치를 왼쪽 위 방향으로 이동시키는 모션이 인식되는 경우, 전자 장치(100)는 도 22c에 도시된 바와 같이, 커서(2210)를 인식된 모션에 따라 "북마크 아이콘"에 위치되도록 제어할 수 있다.
모션 아이템(614)에 대응하는 모션으로서 그랩이 인식되는 경우, 도 22d에 도시된 바와 같이, 전자 장치(100)는 북마크(2220)가 표시되도록 제어할 수 있다.
도 23a 내지 도 23b는 본 발명의 일 실시예에 따른, 모션 인식을 이용한 방송 수신 기능으로 복귀하는 복귀 태스크를 설명하기 위한 도면이다. 도 23a에 도시된 바와 같이, 리모컨의 버튼 또는 모션 개시 명령에 의해 스마트 허브 및 모션 가이드 정보가 디스플레이될 수 있다. 모션 인식 모듈(130l)을 통해 모션 아이템(611)에 대응하는 모션으로서 반시계 방향의 회전 모션이 인식되는 경우, 도 23b에 도시된 바와 같이, 전자 장치(100)는 스마트 허브를 디스플레이 하기 전의 방송 수신 상태로 복귀할 수 있다.
도 24a 내지 도 24c는 본 발명의 일 실시예에 따른, 모션 인식을 이용한 재생 컨트롤 태스크를 설명하기 위한 도면이다. 도 24a에 도시된 바와 같이, 컨텐츠 영상(예를 들어, 저장부에 저장된 동영상 또는 외부에서 수신된 동영상)이 디스플레이 화면에 디스플레이되고, 모션 태스크 모드로 진입하기 위한 모션 개시 명령으로서 손을 3~4회 흔드는 모션이 인식되는 경우, 도 24b에 도시된 바와 같이, 전자 장치(100)는 재생 컨트롤 바(2410)를 생성하고, 모션 가이드 정보를 디스플레이할 수 있다. 이때, 재생 컨트롤 바(2410)는 모션 개시 명령이 인식되는 경우, 함께 표시될 수 있다. 또한, 재생 컨트롤 바(2410)는 별도의 사용자 입력(예를 들어, 리모컨 버튼)이 수신되는 경우 표시될 수도 있다.
모션 인식 모듈(130l)을 통해 왼쪽 방향의 슬랩 모션이 인식되는 경우, 도 24c에 도시된 바와 같이, 전자 장치(100)는 현재 영상에서 기 설정된 시간(예를 들어, 10분) 뒤로 가서 재생한다. 이때, 기 설정된 시간은 환경 설정을 통해 변경될 수 있다. 또한, 모션 아이템(613)을 대신하여, 좌/우 슬랩을 나타내는 이미지에 대응하는 태스크로서, 뒤로/앞으로 이동을 나타내는 텍스트가 표시되는 모션 아이템이 표시될 수도 있다.
도 25a 내지 도 25c는 본 발명의 일 실시예에 따른, 또 다른 모션 인식을 이용한 재생 컨트롤 태스크를 설명하기 위한 도면이다. 도 25a에 도시된 바와 같이, 영상(예를 들어, 저장부에 저장된 동영상 또는 외부에서 수신된 동영상)이 디스플레이 화면에 디스플레이되고, 모션 태스크 모드로 진입하기 위해 모션 개시 명령으로서 손을 3~4회 흔드는 모션이 인식되는 경우, 도 25b에 도시된 바와 같이, 전자 장치(400)는 재생 컨트롤 바(2510)를 생성하고, 모션 가이드 정보를 디스플레이할 수 있다. 이때, 재생 컨트롤 바(2410)는 모션 개시 명령이 인식되는 경우, 모션 가이드 정보와 함께 표시될 수 있다. 또한, 재생 컨트롤 바(2510)는 별도의 사용자 입력(예를 들어, 리모컨 버튼)이 수신되는 경우 표시될 수도 있다.
모션 아이템(614)에 대응하는 모션으로서 그랩 모션이 인식되는 경우, 전자 장치(100)는 현재 재생 위치를 나타내는 아이콘(2515)를 선택하고, 그 후 모션 인식 모듈(130l)을 통해 왼쪽 방향의 이동 모션이 인식되는 경우, 전자 장치(100)는 왼쪽 방향의 이동 모션에 대응되는 시간만큼 아이콘(2515)을 뒤로 이동시킬 수 있다. 모션 인식 모듈(130l)을 통해 그랩이 해제(예를 들어, 손을 펴는 스프레드(spread) 동작)되는 경우, 전자 장치(100)는 이동된 아이콘(2515)의 위치에 대응하는 뒤로 간 시간에서부터 영상을 다시 재생할 수 있다. 또한, 그랩 후, 오른쪽 방향의 이동 모션이 인식되는 경우, 전자 장치(100)는 오른쪽 방향의 이동 모션에 대응되는 시간만큼 앞으로 갈 수도 있다.
상술한 바와 같이, 모션 인식 모듈(130l)을 이용하여 인식된 모션에 의해 제어되는 모션 태스크는 설정값이 단계적으로 변경되는 태스크 또는 커서가 이용되는 태스크일 수 있으며, 사용자는 모션을 통해 모션 태스크가 수행되도록 더욱 쉽고 편리하게 전자 장치(100)을 조작할 수 있다.
이하에서 도 26a 내지 도 26c를 참조하여, 전자 장치(100)에서 음성 인식 또는 모션 인식에 따른 피드백을 제공하는 사용자 인터페이스에 대해 설명된다.
도 26a에 도시된 바와 같이, 음성 태스크 모드에서, 명령 표시 영역(510) 및 모드 표시 영역(2620) 등을 포함하는 음성 가이드 정보가 디스플레이될 수 있다. 이때, 명령 표시 영역(510) 및 모드 표시 영역(2620)은 화면의 하단에서부터 솟아오르는 시각적 효과가 적용되어 표시될 수 있다. 예를 들어, 명령 표시 영역(510) 및 모드 표시 영역(2620)이 일정 시구간 동안(일례로, 3초 동안) 애니메이션 형태로 표시될 수 있다. 일례로, 명령 표시 영역(510) 및 모드 표시 영역(2620)의 일부가 하단에서 빠른 속도로 솟아오르며 표시되다가, 점점 느린 속도로 솟아올라 도 26a에 표시된 명령 표시 영역(510) 및 모드 표시 영역(2620)의 형태가 완성되면서 솟아오르는 애니메이션이 종료될 수 있다. 또한, 모션 태스크 모드로 진입하는 경우에도 모션 가이드 정보가 상술된 애니메이션 형태로 표시될 수도 있다. 또한, 특정 모드에 대한 가이드 정보가 표시되었다가 사라지는 경우, 특정 모드로 전환되는 경우 등에도 상술된 시각적 효과 외에도 다양한 시각적, 청각적 효과가 출력될 수 있다.
전자 장치(100)는 제1 음성 아이템에 대응하는 제1 음성을 인식하는 경우, 제1 음성의 인식 정확도에 따라, 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공할 수 있다. 또한, 전자 장치(100)는 제1 모션 아이템에 대응하는 제1 모션을 인식하는 경우, 제1 모션의 인식 정확도에 따라, 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공할 수 있다. 여기서, 인식 정확도는 제1 음성(또는 제1 모션)이 전자 장치(100)에서 인식 가능한 음성(또는 모션)인지 여부를 판단할 수 있는 수준을 나타내거나, 또는 인식된 음성(또는 모션)이 미리 설정된 명령어들(또는 미리 설정된 모션들) 중 하나에 해당하는지 식별할 수 있는 수준을 나타내는 것일 수 있다. 또한, 인식 정확도는 음성 또는 모션을 인식하여 해당 음성 또는 모션에 대응하는 태스크를 식별하는데까지 걸리는 시간에 따라 나타내는 지표일 수 있다.
예를 들어, 전자 장치(100)가 음성 아이템(515)에 대응하는 음성으로서 “스마트허브”를 인식하는 경우, 전자 장치(100)는 명령 표시 영역(510)에 포함된 적어도 하나의 명령어(511, 512, 513, 514, 515, 516, 517, 518) 중 하나로 식별가능한 수준을 확률적으로 계산하여 인식 정확도를 결정할 수 있다. 전자 장치(100)는 인식 정확도와 미리 설정된 임계값을 비교하여, 인식 정확도가 임계값보다 큰 경우와 인식 정확도가 낮은 경우 각각에 대응하는 시각적 효과를 서로 다르게 표시할 수 있다. 일례로, 도 26b에 도시된 바와 같이, 음성 인식의 정확도에 따라, 모드 표시 영역(2620)에 음성 태스크 모드를 나타내는 이미지의 배경에 시계방향으로 회전하는 애니메이션이 표시될 수 있다. 이때, 애니메이션은, 인식 정확도가 임계값보다 작은 경우 이미지 회전 속도가 느린 것이고, 인식 정확도가 임계값보다 큰 경우 이미지 회전 속도가 빠른 것일 수 있다. 또한, 인식 정확도에 따라 상술된 시각적 피드백이 제공될 때, 각 시각적 피드백과 함께 청각적 피드백이 제공될 수도 있다.
또한, 모드 표시 영역(2620)에 표시되는 시각적 피드백으로서의 애니메이션은 도 26a의 음성 아이템(515)에 대응하는 음성이 인식된 이후, 도 26c의 스마트 허브(1400)가 구동되어 표시되기 전까지의 시구간동안 표시되며, 인식 정확도와 무관한 것일 수도 있다.
또한, 전자 장치(100)는 제1 음성 아이템에 대응하는 제1 음성을 인식하는 경우, 제1 음성 아이템 및 제1 음성 아이템에 대응하는 태스크 중 적어도 하나를 나타내는 시각적 피드백 또는 청각적 피드백을 제공할 수 있다. 또한, 전자 장치(100)는 제1 모션 아이템에 대응하는 제1 모션을 인식하는 경우, 제1 모션 아이템 및 제1 모션 아이템에 대응하는 태스크 중 적어도 하나를 나타내는 시각적 피드백 또는 청각적 피드백을 제공할 수 있다.
예들 들어, 도 26b에 도시된 바와 같이, 음성 아이템(515)에 대응하는 음성으로서 “스마트허브”가 인식된 경우, 음성 아이템(515) 또는 음성 아이템(515)에 대응하는 태스크로서 피드백 영역(2630)에 "스마트허브"가 표시될 수 있다. 또한, 피드백 영역(2630)에 대한 제한 없이, 화면의 임의의 위치에서 시각적 피드백이 표시될 수도 있다. 또한, 피드백 영역(2630)에 표시되는 시각적 피드백과 함께, “You said, 스마트허브”라는 청각적 피드백이 출력될 수도 있다.
또한, 도 17a에서 모션 아이템(613)에 대응하는 모션으로서 우측 방향 슬랩이 인식된 경우, 전자 장치(100)는 피드백 영역(2630)에 모션 아이템(613) 중 하나에 대응하는 태스크를 나타내는 “You did, Channel UP”라는 시각적 피드백을 표시하거나, 전자 장치(100)의 TTS(Text to speech) 모듈(미도시) 등을 이용하여 청각적 피드백이 출력되도록 제어할 수도 있다.
이하에서는 도 27a 및 도 27b는 사용자 음성 및 사용자 모션과 대응되는 원격 제어 장치의 버튼을 도시한 도면이다. 즉, 도 27a 및 도 27b는 음성 태스크들 및 모션 태스크들에 대응하는 원격 제어 장치의 버튼을 도시한 것이다.
도 27a는 적어도 하나의 음성 태스크를 수행하기 위한 명령어에 대응되는 원격 제어 장치의 버튼을 도시하였다. 즉, 음성 입력이 인식된 경우 수행되는 태스크가, 원격 제어 장치의 버튼 중 하나에 따라 수행되는 태스크에 대응함을 나타낸다. 예를 들어, 도 27a에 도시된 바와 같이, 원격 제어 장치의 전원 버튼(2701)에 따라 수행되는 태스크는 “호출어(예를 들어, 지니)” 또는 “전원”이라는 음성이 인식된 경우 수행되는 태스크에 대응된다. 이에 따라, 외부입력 버튼(2702)은 “외부입력”이라는 음성과 대응된다. 또한, 숫자 버튼(2703)은 발화한 숫자와 대응된다. 또한, 이전 채널 버튼(2704)은 “이전 채널”이라는 음성과 대응된다. 또한, 음소거(mute) 버튼(2705)은 “소리끄기” 또는 “소리켜기”라는 음성과 대응된다. 또한, 채널리스트 버튼(2706)은 “채널 리스트”라는 음성과 대응된다. 또한, 스마트 허브/메뉴/검색/간편메뉴/정보표시 버튼(2707), 복귀 버튼(2708), 종료 버튼(2709), 소셜 네트워크/ 3D 영상 제공 버튼(2710), 도움말 버튼(2711) 및 재생/일시정지/정지 버튼/녹화 버튼(2712)은 각각의 버튼 명칭에 해당하는 음성과 대응된다.
도 27b는 적어도 하나의 모션 태스크를 수행하기 위한 모션에 대응되는 원격 제어 장치의 버튼을 도시하였다. 즉, 모션 입력이 인식된 경우 수행되는 태스크가, 원격 제어 장치의 버튼 중 하나에 따라 수행되는 태스크에 대응함을 나타낸다. 예를 들어, 도 27b에 도시된 바와 같이, 볼륨 업/다운 버튼 및 채널 업/다운 버튼(2721)에 따라 수행되는 태스크는 상-하-좌-우 슬랩 모션이 인식된 경우 수행되는 태스크에 대응된다. 이에 따라, 상,하,좌,우 방향키(2722)는 상-하-좌-우 슬랩 모션과 대응된다. 또한, 선택 버튼(2723)은 그랩 모션과 대응된다. 또한, 복귀 버튼(2724)은 반시계 방향의 회전 모션에 대응된다. 또한, 기능 버튼(2725)은 OSD에 키 가이드가 있는 경우, 해당 키의 포인팅 모션과 대응된다.
이하에서는 도 28 내지 도 30를 참조하여 전자 장치(100)의 제어 방법에 대해 설명하기로 한다.
도 28은 본 발명의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
단계(2710)에서, 전자 장치(100)는 음성 인식 모듈 및 모션 인식 모듈 중 하나를 이용하여 사용자의 입력(음성 또는 모션)을 인식할 수 있다. 사용자 음성은 마이크를 통해 입력되고, 음성 인식 모듈에 의해 입력된 음성이 인식될 수 있고, 사용자 모션은 카메라에 의해 촬상되고, 모션 인식 모듈에 의해 촬상된 모션이 인식될 수 있다.
단계(2820)에서, 전자 장치(100)는 수신된 사용자 입력에 따라 음성 태스크 및 모션 태스크 중 하나를 수행할 수 있다. 즉, 전자 장치(100)는 음성 태스크 모드 및 모션 태스크 모드 중 하나의 지정된 모드에 따라 동작할 수 있다. 예를 들어, 음성 개시 명령 또는 모션 개시 명령이 인식되는 경우, 인식된 개시 명령에 대응하는 모드가 지정될 수 있다.
음성 태스크 모드는 인식된 음성에 따라 제1 태스크들(즉, 음성 태스크들) 중 적어도 하나를 수행할 수 있는 모드이고, 모션 태스크 모드는 인식된 모션에 따라 제2 태스크들(즉, 모션 태스크들) 중 적어도 하나를 수행할 수 있는 모드이다. 음성 태스크들은 인식된 음성에 따라 수행될 수 있는 태스크들을 나타내고, 모션 태스크들은 인식된 모션에 따라 수행될 수 있는 태스크들을 나타낼 수 있다. 음성 태스크들 및 모션 태스크들은 서로 상이할 수 있다. 도 29 및 도 30은 본 발명의 일 실시예에 따른, 전자 장치(400)의 제어 방법을 설명하기 위한 흐름도이다.
단계(2905)에서, 전자 장치(100)는 지정된 모드가 음성 태스크 모드 및 모션 태스크 모드 중 어느 모드 인지 식별할 수 있다. 여기서는 음성 태스크 모드 및 모션 태스크 모드만을 표시하였지만, 식별가능한 모드들은 원격 제어 장치에 의해 제어되는 모드 등을 더 포함할 수도 있다.모션 태스크 모드인 경우, 전자 장치(100)는 도 30의 단계(3010)로 진입하여 본 발명의 일 실시에에 따른 전자 장치(300)의 제어 동작을 계속할 수 있다.
음성 태스크 모드인 경우, 단계(2910)에서 전자 장치(100)는 인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시할 수 있다.
단계(2915)에서, 전자 장치(100)는 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식할 수 있다.
단계(2920)에서, 전자 장치(100)는 인식된 제1 음성에 대응하는 제1 음성 아이템과 관련된 아이템 부가 정보가 존재하는지 여부를 판단할 수 있다. 제1 음성 아이템과 관련된 아이템 부가 정보가 존재하지 않는 경우, 단계(2925)에서 전자 장치(100)는 제1 음성 아이템에 대응하는 태스크를 수행할 수 있다. 또한, 음성 가이드 정보의 변경이 필요한 경우, 전자 장치(100)는 변경된 음성 가이드 정보를 표시할 수 있다. 예를 들어, 도 12a에서 음성 아이템(513)에 대응하는 음성으로서 소리끄기가 인식된 경우, 전자 장치(100)는 소리끄기를 수행하고, 도 12b에 도시된 바와 같이, 음성 아이템(513)을 음성 아이템(1213)으로 변경하여, 변경된 음성 가이드 정보를 표시할 수 있다.
제1 음성 아이템과 관련된 아이템 부가 정보가 존재하는 경우, 단계(2930)에서 전자 장치(100)는 인식된 제1 음성에 대응하는 제1 음성 아이템과 관련된 아이템 부가 정보를 표시할 수 있다. 예를 들어, 도 10a에서 음성 아이템(512)에 대응하는 음성으로서 “채널”이 인식된 경우, 도 10b에서 가이드 문구, 발화 예시 등을 포함하는 아이템 부가 정보가 표시될 수 있다.
단계(2935)에서, 전자 장치(100)는 아이템 부가 정보에 대응하는 제2 음성을 인식할 수 있다.
단계(2940)에서, 전자 장치(100)는 제1 태스크들 중 제1 음성 아이템 및 인식된 제2 음성에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 음성 아이템이 도 10a의 음성 아이템(512)이고, 제2 음성이 “칠”인 경우, 전자 장치(100)는 채널 식별자가 7인 채널로 변경하는 채널 바로가기를 수행할 수 있다.
또한, 모션 태스크 모드인 경우, 도 30의 단계(3010)에서 전자 장치(100)는 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서 제2 태스크들을 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
단계(3015)에서, 전자 장치(100)는 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식할 수 있다.
단계(3020)에서, 전자 장치(100)는 인식된 제1 모션에 대응하는 제1 모션 아이템과 관련된 아이템 부가 정보가 존재하는지 여부를 판단할 수 있다. 제1 모션 아이템과 관련된 아이템 부가 정보가 존재하지 않는 경우, 단계(3025)에서 전자 장치(100)는 제1 모션 아이템에 대응하는 태스크를 수행할 수 있다. 예를 들어, 도 17a에서 모션 아이템(613)에 대응하는 모션으로서 우측 방향의 슬랩이 인식된 경우, 전자 장치(100)는 채널 업에 대응하여 현재 채널(6번)에서 미리 설정된 순서에 따라 현재 채널(6번)의 후에 위치한 다음 채널로서 채널(7번)이 선국되도록 할 수 있다. 또한, 모션 가이드 정보의 변경이 필요한 경우, 전자 장치(100)는 변경된 모션 가이드 정보를 표시할 수도 있다.
제1 모션 아이템과 관련된 아이템 부가 정보가 존재하는 경우, 단계(3030)에서 전자 장치(100)는 인식된 제1 모션에 대응하는 제1 모션 아이템과 관련된 아이템 부가 정보를 표시할 수 있다. 예를 들어, 도 6의 모션 아이템(614)에 대응하는 그랩 모션이 인식된 경우, 선택된 아이템 또는 영상 파일을 재생할지 여부를 문의하는 가이드 문구, 또는 좌/우 슬랩 모션이 예(Yes)/아니오(No)에 대응함을 나타내는 모션 아이템 등을 포함하는 아이템 부가 정보가 표시될 수 있다.
단계(3035)에서, 전자 장치(100)는 아이템 부가 정보에 대응하는 제2 모션을 인식할 수 있다.
단계(3040)에서, 전자 장치(100)는 제2 태스크들 중 제1 모션 아이템 및 인식된 제2 모션에 대응하는 태스크를 수행할 수 있다. 예를 들어, 제1 모션 아이템이 도 6의 모션 아이템(614)이고, 제2 모션이 좌측 방향의 슬랩 모션인 경우, 전자 장치(100)는 지정된 영상 파일을 재생할 수 있다.
또한, 전술된 제어부(140) 대신 마이크로 프로세서 또는 마이크로 컴퓨터가 사용될 수 있고, 그것의 작동은 도 28 내지 도 30에서 설명된 일 실시예에 의해 행해질 수 있다. 도 28 내지 도 30에서 설명된 일 실시예에 대한 프로그램은 소프트웨어, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로 구성될 수 있다는 것은 통상의 지식인에 의해 이해될 수 있다. 또한, 도 28 내지 도 30에서 설명된 일 실시예에 대한 프로그램은 통신망을 통해 서버 또는 컴퓨터로부터 UI 제공 장치로 다운로드될 수도 있다.
또한, 이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110: 음성 입력부 120: 모션 입력
130: 저장부 140: 제어부
150: 방송 수신부 160: 외부단자 입력부
170: 리모컨 신호 쉰부 180: 네트워크 인터페이스부
190: 방송 출력부 193: 디스플레이부
196: 오디오 출력부

Claims (32)

  1. 전자 장치의 제어 방법에 있어서,
    인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시하는 단계;
    상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하는 단계;
    상기 제1 태스크들 중, 상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계;
    인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서, 상기 제2 태스크들을 수행하기 위한 모션 가이드 정보를 표시하는 단계;
    상기 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식하는 단계; 및
    상기 제2 태스크들 중, 상기 제1 모션 아이템에 대응하는 태스크를 수행하는 단계를 포함하는
    전자 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는
    상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보(additional item information) 를 표시하는 단계를 포함하는 전자 장치의 제어 방법.
  3. 제2항에 있어서,
    상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는
    상기 아이템 부가 정보에 대응하는 제2 음성을 인식하는 단계를 더 포함하는 전자 장치의 제어 방법.
  4. 제3항에 있어서,
    상기 제1 음성 아이템에 대응하는 태스크를 수행하는 단계는
    상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행하는 단계인 전자 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 음성 아이템 각각은
    발화가능한(utterable) 명령어인 전자 장치의 제어 방법.
  6. 제2항에 있어서,
    상기 아이템 부가 정보는
    상기 제1 음성 아이템과 관련된 부가 명령어, 가이드 문구 및 발화(utterance) 예시 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 모션 아이템 각각은
    상기 모션 태스크 모드에서 인식 가능한 모션을 나타내는 모션 이미지 및 상기 인식 가능한 모션에 대응하는 태스크를 나타내는 텍스트를 포함하는 전자 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 음성 가이드 정보 및 상기 모션 가이드 정보 중 적어도 하나는
    상기 음성 태스크 모드 및 상기 모션 태스크 모드 중 지정된 모드를 나타내는 이미지 및 텍스트 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  9. 제2항에 있어서,
    상기 아이템 부가 정보는
    상기 음성 태스크 모드 및 상기 모션 태스크 모드 중 하나의 지정된 모드를 나타내는 이미지 및 텍스트 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  10. 제1항에 있어서,
    상기 음성 태스크 모드는
    상기 모션 태스크 모드로 진입하기 위한 미리 설정된 모션을 나타내는 모션 개시 명령(trigger motion)이 인식되는 경우, 상기 모션 태스크 모드로 전환되고,
    상기 모션 태스크 모드는
    상기 음성 태스크 모드로 진입하기 위한 미리 설정된 음성을 나타내는 음성 개시 명령(trigger voice)이 인식되는 경우, 상기 음성 태스크 모드로 전환되는 전자 장치의 제어 방법.
  11. 제1항에 있어서,
    상기 제1 태스크들 및 상기 제2 태스크들은
    서로 상이하고,
    상기 제1 태스크들은
    채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자에 대응하는 제3 음성이 인식된 경우, 상기 식별자에 대응하는 채널을 재생하기 위한 채널 바로가기를 포함하고,
    상기 제2 태스크들은
    채널 업 및 다운 중 하나에 대응하는 제2 모션이 인식된 경우, 상기 채널 업 및 다운 중 하나에 대응하도록, 현재 채널에서 상기 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경하기 위한 채널 재핑을 포함하는 전자 장치의 제어 방법.
  12. 제2항에 있어서,
    상기 아이템 부가 정보는
    상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 제1 태스크들 중 채널 바로가기인 경우, 채널명, 프로그램 명 및 채널 번호 중 적어도 하나의 식별자의 발화에 대한 가이드 문구 및 발화 예시 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는
    상기 아이템 부가 정보에 대응하는 상기 식별자에 대한 제3 음성이 인식된 경우, 상기 식별자에 대응하는 채널을 재생하기 위한 상기 채널 바로가기를 수행하는 단계인 전자 장치의 제어 방법.
  14. 제1항에 있어서,
    상기 제1 모션 아이템에 대응하는 상기 태스크를 수행하는 단계는
    상기 제1 모션 아이템에 대응하는 상기 태스크가 상기 제2 태스크들 중 채널 재핑인 경우, 현재 채널에서 상기 현재 채널의 전과 후의 채널들 중 하나로 채널을 변경하는 단계인 전자 장치의 제어 방법.
  15. 제1항에 있어서,
    상기 제1 태스크들 및 상기 제2 태스크들은
    서로 상이하고,
    상기 제1 태스크들은
    미리 설정된 레벨들 중 하나의 레벨에 대응하는 제4 음성이 인식된 경우, 상기 인식된 제4 음성에 대응하는 상기 레벨로서 볼륨 레벨을 지정하기 위한 볼륨 레벨 지정을 포함하고,
    상기 제2 태스크들은
    볼륨 업 및 다운 중 하나에 대응하는 제3 모션이 인식된 경우, 상기 볼륨 업 및 다운 중 하나에 대응하도록, 현재 볼륨에서 현재 볼륨 레벨보다 미리 설정된 레벨만큼 증가시키는 것과 미리 설정된 레벨만큼 감소시키는 것 중 하나를 나타내는 볼륨 레벨 조절을 포함하는 전자 장치의 제어 방법.
  16. 제2항에 있어서,
    상기 아이템 부가 정보는
    상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 제1 태스크들 중 전원끄기인 경우, 상기 전원끄기의 수행 여부를 문의하는 가이드 문구 및 상기 문의의 답변에 대한 발화 예시 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  17. 제1항에 있어서,
    상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는
    상기 제1 음성 아이템에 대응하는 상기 태스크가 상기 제1 태스크들 중 소리끄기인 경우, 상기 소리끄기가 수행되도록 제어하고, 상기 제1 음성 아이템을 대신하여 상기 제1 태스크들 중 소리켜기에 대응하는 제2 음성 아이템을 포함하는 변경된 음성 가이드 정보를 표시하는 단계를 포함하는 전자 장치의 제어 방법.
  18. 제1항에 있어서,
    상기 음성 가이드 정보로서 표시된 상기 적어도 하나의 음성 아이템은
    상기 음성 가이드 정보와 함께 표시되는 어플리케이션, OSD(on screen display) 및 인식 후보(candidate) 중 적어도 하나에 따라, 상기 제1 태스크들에 대응하는 음성 아이템들 중에서 적어도 하나가 선택적으로 구성된 것이고,
    상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  19. 제1항에 있어서,
    상기 모션 가이드 정보로서 표시된 상기 적어도 하나의 모션 아이템은
    상기 모션 가이드 정보와 함께 표시되는 어플리케이션, OSD 및 인식 후보 중 적어도 하나에 따라, 상기 제2 태스크들에 대응하는 모션 아이템들 중에서 적어도 하나가 선택적으로 구성된 것이고,
    상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  20. 제1항에 있어서,
    상기 음성 태스크 모드에서 상기 음성 가이드 정보와 함께 인식 후보가 표시된 후, 상기 음성 태스크 모드에서 상기 모션 태스크 모드로 전환되는 경우, 상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 태스크 모드에 상응하는 상기 모션 가이드 정보로 변경하여 표시하는 단계를 더 포함하고,
    상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  21. 제20항에 있어서,
    상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 가이드 정보로 변경하여 표시하는 단계는
    상기 계속하여 표시되는 인식 후보 중 하나의 인식 후보에 포커스를 표시하는 단계를 포함하는 전자 장치의 제어 방법.
  22. 제1항에 있어서,
    상기 모션 태스크 모드에서 상기 모션 가이드 정보와 함께 인식 후보가 표시된 후, 상기 모션 태스크 모드에서 상기 음성 태스크 모드로 전환되는 경우, 상기 인식 후보를 계속하여 표시하고, 상기 모션 가이드 정보를 상기 음성 태스크 모드에 상응하는 상기 음성 가이드 정보로 변경하여 표시하는 단계를 더 포함하고,
    상기 인식 후보는 상기 인식된 음성과 유사한 숫자 및 문자 중 적어도 하나를 포함하는 명칭, 상기 인식된 음성과 유사한 명령어, 상기 유사한 명령어에 대응하는 태스크, 상기 인식된 모션과 유사한 모션, 상기 유사한 모션에 대응하는 태스크 중 적어도 하나를 포함하는 전자 장치의 제어 방법.
  23. 제22항에 있어서,
    상기 인식 후보를 계속하여 표시하고, 상기 음성 가이드 정보를 상기 모션 가이드 정보로 변경하여 표시하는 단계는
    상기 계속하여 표시되는 인식 후보에 대응하는 숫자 및 문자 중 적어도 하나로 구성된 인덱스를 표시하는 단계를 포함하는 전자 장치의 제어 방법.
  24. 제1항에 있어서,
    상기 제1 음성 아이템에 대응하는 상기 태스크를 수행하는 단계는
    상기 제1 음성 아이템이 상기 제1 태스크들에 대응하는 음성 아이템들 중에서 상기 적어도 하나의 음성 아이템과 다른 아이템을 표시 위한 아이템인 경우, 상기 다른 아이템을 표시하는 단계를 포함하는 전자 장치의 제어 방법.
  25. 제24항에 있어서,
    상기 다른 아이템을 표시하는 단계는
    표시된 음성 아이템 중 어느 하나가 미리 설정된 시간동안 인식되지 않는 경우, 상기 음성 태스크 모드를 중단하기 위한 타이머의 구동을 생략하는 것을 더 포함하는 전자 장치의 제어 방법.
  26. 제1항에 있어서,
    상기 제1 음성 아이템에 대응하는 상기 제1 음성을 인식하는 단계는
    상기 제1 음성 아이템 및 상기 제1 음성 아이템에 대응하는 상기 태스크 중 적어도 하나를 나타내는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함하는 전자 장치의 제어 방법.
  27. 제1항에 있어서,
    상기 제1 모션 아이템에 대응하는 상기 제1 모션을 인식하는 단계는
    상기 제1 모션 아이템 및 상기 제1 모션 아이템에 대응하는 상기 태스크 중 적어도 하나를 나타내는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함하는 전자 장치의 제어 방법.
  28. 제1항에 있어서,
    상기 제1 음성 아이템에 대응하는 상기 제1 음성을 인식하는 단계는
    상기 제1 음성의 인식 정확도에 따라, 상기 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함하는 전자 장치의 제어 방법.
  29. 제1항에 있어서,
    상기 제1 모션 아이템에 대응하는 상기 제1 모션을 인식하는 단계는
    상기 제1 모션의 인식 정확도에 따라, 상기 인식 정확도의 수준에 대응하는 시각적 피드백 및 청각적 피드백 중 적어도 하나를 제공하는 단계를 포함하는 전자 장치의 제어 방법.
  30. 전자 장치에 있어서,
    인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어하고, 인식된 모션에 따라 제2 태스크들 중 적어도 하나를 수행할 수 있는 모션 태스크 모드에서 상기 제2 태스크들을 수행하기 위한 모션 가이드 정보가 표시되도록 제어하는 제어부를 포함하고,
    상기 제어부는
    상기 음성 태스크 모드에서 상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하고, 상기 제1 태스크들 중 상기 제1 음성 아이템에 대응하는 태스크를 수행하고,
    상기 모션 태스크 모드에서 상기 모션 가이드 정보로서 표시된 적어도 하나의 모션 아이템 중 제1 모션 아이템에 대응하는 제1 모션을 인식하고, 상기 제2 태스크들 중 상기 제1 모션 아이템에 대응하는 태스크를 수행하는
    전자 장치.
  31. 전자 장치의 제어 방법에 있어서,
    인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보를 표시하는 단계;
    상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하는 단계;
    상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보를 표시하는 단계;
    상기 아이템 부가 정보에 대응하는 제2 음성을 인식하는 단계; 및
    상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행하는 단계를 포함하는
    전자 장치.
  32. 전자 장치에 있어서,
    인식된 음성에 따라 제1 태스크들 중 적어도 하나를 수행할 수 있는 음성 태스크 모드에서, 상기 제1 태스크들을 수행하기 위한 음성 가이드 정보가 표시되도록 제어하는 제어부를 포함하고,
    상기 제어부는
    상기 음성 가이드 정보로서 표시된 적어도 하나의 음성 아이템 중 제1 음성 아이템에 대응하는 제1 음성을 인식하고,
    상기 인식된 제1 음성에 대응하는 상기 제1 음성 아이템에 관련된 아이템 부가 정보가 표시되도록 제어하고,
    상기 아이템 부가 정보에 대응하는 제2 음성을 인식하고,
    상기 제1 태스크들 중 상기 제1 음성 아이템 및 상기 인식된 제2 음성에 대응하는 태스크를 수행하는
    전자 장치.
KR1020110104840A 2011-08-05 2011-10-13 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 Active KR101262700B1 (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
EP12175763A EP2555536A1 (en) 2011-08-05 2012-07-10 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP23181497.1A EP4235365A3 (en) 2011-08-05 2012-07-10 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
ES20189197T ES2958183T3 (es) 2011-08-05 2012-07-10 Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
EP20189197.5A EP3754997B1 (en) 2011-08-05 2012-07-10 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP18185555.2A EP3413575A1 (en) 2011-08-05 2012-07-10 Method for controlling electronic apparatus based on voice recognition and electronic apparatus applying the same
EP15188013.5A EP2986014A1 (en) 2011-08-05 2012-07-10 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
BR112013019984A BR112013019984A2 (pt) 2011-08-05 2012-08-02 método para controlar um aparelho eletrônico, e aparelho eletrônico.
RU2013139297/08A RU2013139297A (ru) 2011-08-05 2012-08-02 Способ для управления электронным устройством на основании распознавания речи и распознавания движений и электронное устройство, применяющее таковой
CA2825827A CA2825827C (en) 2011-08-05 2012-08-02 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
AU2012293065A AU2012293065B2 (en) 2011-08-05 2012-08-02 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
MX2013008889A MX2013008889A (es) 2011-08-05 2012-08-02 Metodo para controlar un aparato electronico basado en el reconocimiento de voz y reconocimiento de movimiento, y el aparto electronico aplicando el mismo.
PCT/KR2012/006170 WO2013022223A2 (en) 2011-08-05 2012-08-02 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP2012173304A JP5819269B2 (ja) 2011-08-05 2012-08-03 電子装置及びその制御方法
US13/567,354 US9002714B2 (en) 2011-08-05 2012-08-06 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
CN201210277229.0A CN103150010B (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备
US14/626,513 US9733895B2 (en) 2011-08-05 2015-02-19 Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161515459P 2011-08-05 2011-08-05
US61/515,459 2011-08-05

Publications (2)

Publication Number Publication Date
KR20130016016A KR20130016016A (ko) 2013-02-14
KR101262700B1 true KR101262700B1 (ko) 2013-05-08

Family

ID=47895696

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110104840A Active KR101262700B1 (ko) 2011-08-05 2011-10-13 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR1020110114198A Withdrawn KR20130016025A (ko) 2011-08-05 2011-11-03 음성 인식 및 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR1020110114197A Ceased KR20130016024A (ko) 2011-08-05 2011-11-03 전자 장치 및 전자 장치의 ｕｉ 제공방법
KR1020110115249A Withdrawn KR20130018464A (ko) 2011-08-05 2011-11-07 전자 장치 및 그의 제어 방법
KR1020110117849A Withdrawn KR20130016026A (ko) 2011-08-05 2011-11-11 모션 인식을 이용한 전자 장치 및 이의 제어 방법

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020110114198A Withdrawn KR20130016025A (ko) 2011-08-05 2011-11-03 음성 인식 및 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치
KR1020110114197A Ceased KR20130016024A (ko) 2011-08-05 2011-11-03 전자 장치 및 전자 장치의 ｕｉ 제공방법
KR1020110115249A Withdrawn KR20130018464A (ko) 2011-08-05 2011-11-07 전자 장치 및 그의 제어 방법
KR1020110117849A Withdrawn KR20130016026A (ko) 2011-08-05 2011-11-11 모션 인식을 이용한 전자 장치 및 이의 제어 방법

Country Status (10)

Country Link
US (2) US20130033422A1 (ko)
EP (2) EP2740018A4 (ko)
KR (5) KR101262700B1 (ko)
CN (6) CN103733163A (ko)
AU (5) AU2012293066A1 (ko)
BR (5) BR112013019981A2 (ko)
CA (5) CA2825827C (ko)
MX (5) MX2013008892A (ko)
RU (4) RU2013139295A (ko)
WO (1) WO2013022224A1 (ko)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
EP4235365A3 (en) 2011-08-05 2023-11-01 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR20140085055A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102057629B1 (ko) * 2013-02-19 2020-01-22 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
KR102129786B1 (ko) 2013-04-03 2020-07-03 엘지전자 주식회사 단말기 및 이의 제어방법
KR102112522B1 (ko) * 2013-05-06 2020-05-19 삼성전자주식회사 디지털 텔레비전을 이용한 소셜 네트워크 서비스 제공 장치 및 방법
KR102069322B1 (ko) * 2013-06-05 2020-02-11 삼성전자주식회사 프로그램 실행 방법 및 그 전자 장치
KR102114612B1 (ko) * 2013-07-02 2020-05-25 엘지전자 주식회사 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
KR102199558B1 (ko) * 2013-08-06 2021-01-07 엘지전자 주식회사 단말기 및 그 동작 방법
CN104346127B (zh) * 2013-08-02 2018-05-22 腾讯科技（深圳）有限公司 语音输入的实现方法、装置及终端
CN103442138A (zh) * 2013-08-26 2013-12-11 华为终端有限公司 语音控制方法、装置及终端
KR102158315B1 (ko) 2013-10-14 2020-09-21 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
KR20150092996A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 이를 이용한 전자 장치의 제어 방법
KR102171817B1 (ko) 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102216048B1 (ko) 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
CN105208056B (zh) * 2014-06-18 2020-07-07 腾讯科技（深圳）有限公司 信息交互的方法及终端
KR101594874B1 (ko) * 2014-07-16 2016-02-17 삼성전자주식회사 전자 장치, 외부 장치 및 전자 장치의 외부 장치 전원 제어방법
EP3187995A4 (en) * 2014-09-19 2017-08-23 Huawei Technologies Co., Ltd. Method and apparatus for running application program
KR101587625B1 (ko) * 2014-11-18 2016-01-21 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR102311331B1 (ko) * 2014-11-20 2021-10-13 에스케이플래닛 주식회사 데이터저장장치 및 그 동작 방법
KR102334860B1 (ko) * 2014-11-21 2021-12-03 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR102254894B1 (ko) * 2015-01-05 2021-05-24 엘지전자 주식회사 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR102310870B1 (ko) * 2015-01-12 2021-10-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102340231B1 (ko) * 2015-01-16 2021-12-16 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR20160090584A (ko) 2015-01-22 2016-08-01 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN104795065A (zh) * 2015-04-30 2015-07-22 北京车音网科技有限公司 一种提高语音识别率的方法和电子设备
US9880721B2 (en) 2015-05-12 2018-01-30 Konica Minolta, Inc. Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method
WO2016185586A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 情報処理装置及びインタロック制御方法
US10386941B2 (en) * 2015-06-16 2019-08-20 Intel Corporation Gyratory sensing system to enhance wearable device user experience via HMI extension
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101702760B1 (ko) * 2015-07-08 2017-02-03 박남태 가상 키보드 음성입력 장치 및 방법
KR102077228B1 (ko) * 2015-09-03 2020-04-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN105302298B (zh) * 2015-09-17 2017-05-31 深圳市国华识别科技开发有限公司 空中书写断笔系统和方法
EP3364269B1 (en) 2015-10-12 2023-07-19 Neofect Co. Ltd. Initial configuration method and initial configuration program for attachment location of measurement sensor device
KR102496617B1 (ko) * 2016-01-04 2023-02-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd System and method for audio communication
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
CN106293064A (zh) * 2016-07-25 2017-01-04 乐视控股（北京）有限公司 一种信息处理方法及设备
US10297254B2 (en) * 2016-10-03 2019-05-21 Google Llc Task initiation using long-tail voice commands by weighting strength of association of the tasks and their respective commands based on user feedback
US10952008B2 (en) 2017-01-05 2021-03-16 Noveto Systems Ltd. Audio communication system and method
CN113361999A (zh) * 2017-03-03 2021-09-07 北京星选科技有限公司 信息生成方法及装置
CN107146609B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 一种播放资源的切换方法、装置及智能设备
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
CN116072115A (zh) * 2017-05-12 2023-05-05 三星电子株式会社 显示设备及其控制方法
KR102524675B1 (ko) * 2017-05-12 2023-04-21 삼성전자주식회사 디스플레이 장치 및 이의 제어방법
EP3401797A1 (en) 2017-05-12 2018-11-14 Samsung Electronics Co., Ltd. Speech navigation for multilingual web pages
CN107452382A (zh) * 2017-07-19 2017-12-08 珠海市魅族科技有限公司 语音操作方法及装置、计算机装置和计算机可读存储介质
CN111108463A (zh) * 2017-10-30 2020-05-05 索尼公司 信息处理装置、信息处理方法和程序
KR102519635B1 (ko) 2018-01-05 2023-04-10 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
KR102482589B1 (ko) 2018-02-12 2022-12-30 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
DK201870353A1 (en) * 2018-05-07 2019-12-04 Apple Inc. USER INTERFACES FOR RECOMMENDING AND CONSUMING CONTENT ON AN ELECTRONIC DEVICE
CN108469772B (zh) * 2018-05-18 2021-07-20 创新先进技术有限公司 一种智能设备的控制方法和装置
KR102607666B1 (ko) 2018-08-08 2023-11-29 삼성전자 주식회사 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
CN109343754A (zh) * 2018-08-27 2019-02-15 维沃移动通信有限公司 一种图像显示方法及终端
KR102669100B1 (ko) * 2018-11-02 2024-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109788344A (zh) * 2019-01-30 2019-05-21 四川省有线广播电视网络股份有限公司 智能语音弹窗附加信息投放设计方法
KR102219943B1 (ko) 2019-03-13 2021-02-25 주식회사 아이스크림미디어 스마트 마이크 제어 서버 및 시스템
CN113454583A (zh) * 2019-06-11 2021-09-28 深圳迈瑞生物医疗电子股份有限公司 医疗设备控制系统及医疗设备
CN112530419B (zh) * 2019-09-19 2024-05-24 百度在线网络技术（北京）有限公司 语音识别控制方法、装置、电子设备和可读存储介质
CN112533041A (zh) 2019-09-19 2021-03-19 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和可读存储介质
WO2021096957A1 (en) 2019-11-11 2021-05-20 Apple Inc. User interfaces for time period-based curated playlists
CN111128163A (zh) * 2019-12-26 2020-05-08 珠海格力电器股份有限公司 一种语音电器的控制器及其控制方法、装置和存储介质
CN111208927B (zh) * 2019-12-30 2021-09-07 国电南瑞科技股份有限公司 一种适用于电力系统二次设备的人机接口及人机交互方法
KR102243477B1 (ko) * 2020-02-24 2021-04-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102318660B1 (ko) 2020-02-28 2021-10-28 (주)재플 방송 수신 장치와 그의 동영상 재핑 광고 제공 방법 및 동영상 재핑 광고 제공 시스템
CN113497958B (zh) * 2020-04-01 2023-08-11 青岛海信传媒网络技术有限公司 一种显示设备及图片的展示方法
CN111782098A (zh) * 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备
CN112397069A (zh) * 2021-01-19 2021-02-23 成都启英泰伦科技有限公司 一种语音遥控方法及装置
CN113573132B (zh) * 2021-07-23 2023-08-11 深圳康佳电子科技有限公司 一种基于语音实现的多应用拼屏方法、装置及存储介质
CN114020192B (zh) * 2021-09-18 2024-04-02 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统
CN114461063B (zh) * 2022-01-18 2022-09-20 深圳时空科技集团有限公司 一种基于车载屏幕的人机交互方法
KR102526790B1 (ko) * 2022-07-15 2023-04-27 헬로칠드런 주식회사 치매 환자를 위한 소통 케어 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052397A (ja) 2005-07-21 2007-03-01 Denso Corp 操作装置

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5704009A (en) * 1995-06-30 1997-12-30 International Business Machines Corporation Method and apparatus for transmitting a voice sample to a voice activated data processing system
US20040243529A1 (en) * 1996-03-25 2004-12-02 Stoneman Martin L. Machine computational-processing systems for simulated-humanoid autonomous decision systems
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US6508706B2 (en) * 2001-06-21 2003-01-21 David Howard Sitrick Electronic interactive gaming apparatus, system and methodology
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
FI20020847L (fi) * 2002-05-03 2003-11-04 Nokia Corp Menetelmä ja laite valikkotoimintojen käyttämiseksi
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
CN100454220C (zh) * 2003-05-08 2009-01-21 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的控制架构
JP2005208798A (ja) * 2004-01-21 2005-08-04 Nissan Motor Co Ltd 情報提供端末、および情報提供方法
JP2007034525A (ja) * 2005-07-25 2007-02-08 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
DE102005061144A1 (de) * 2005-12-21 2007-06-28 Robert Bosch Gmbh Bedienvorrichtung für ein elektronisches Gerät, insbesondere eine Fahrerinformationsvorrichtung
JP2007171809A (ja) * 2005-12-26 2007-07-05 Canon Inc 情報処理装置及び情報処理方法
EP1855472A3 (fr) * 2005-12-30 2007-11-28 Le Club Confort et Sécurité Téléviseur multifonction et autonome
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100913092B1 (ko) * 2006-12-01 2009-08-21 엘지전자 주식회사 믹스신호의 인터페이스 표시 방법 및 장치
DE202007014957U1 (de) * 2007-01-05 2007-12-27 Apple Inc., Cupertino Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert
CN101483683A (zh) * 2008-01-08 2009-07-15 宏达国际电子股份有限公司 手持装置及其语音识别方法
KR20090077480A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 조작 가이드를 표시하는 ｕｉ 제공방법 및 이를 적용한멀티미디어 기기
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
KR20100030737A (ko) * 2008-09-11 2010-03-19 이필규 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치
CN101714355A (zh) * 2008-10-06 2010-05-26 宏达国际电子股份有限公司 语音辨识功能启动系统及方法
US8344870B2 (en) * 2008-10-07 2013-01-01 Cisco Technology, Inc. Virtual dashboard
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
US20100171696A1 (en) * 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
KR20100101389A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 사용자 메뉴를 제공하는 디스플레이 장치 및 이에 적용되는ｕｉ제공 방법
US8136051B2 (en) * 2009-03-13 2012-03-13 Sony Corporation Method and apparatus for automatically updating a primary display area
KR101567785B1 (ko) * 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US9710097B2 (en) * 2009-07-10 2017-07-18 Adobe Systems Incorporated Methods and apparatus for natural media painting using touch-and-stylus combination gestures
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
KR101289081B1 (ko) * 2009-09-10 2013-07-22 한국전자통신연구원 음성 인터페이스를 이용한 ｉｐｔｖ 시스템 및 서비스 방법
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
RU2422878C1 (ru) * 2010-02-04 2011-06-27 Владимир Валентинович Девятков Способ управления телевизором с помощью мультимодального интерфейса
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
CN201708869U (zh) * 2010-03-31 2011-01-12 广东长虹电子有限公司 一种通过手势控制电视机的装置
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
CN101951474A (zh) * 2010-10-12 2011-01-19 冠捷显示科技（厦门）有限公司 基于手势控制的电视技术

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052397A (ja) 2005-07-21 2007-03-01 Denso Corp 操作装置

Also Published As

Publication number Publication date
AU2012293065A1 (en) 2013-05-02
RU2013139295A (ru) 2015-02-27
RU2625439C2 (ru) 2017-07-13
AU2012293063A1 (en) 2013-05-02
AU2012293064A1 (en) 2013-05-02
AU2012293066A1 (en) 2014-01-09
AU2012293063B2 (en) 2015-08-13
CA2825827A1 (en) 2013-02-14
CN103150010A (zh) 2013-06-12
KR20130016024A (ko) 2013-02-14
US20130033422A1 (en) 2013-02-07
MX2013008892A (es) 2014-03-12
BR112014002842A2 (pt) 2017-06-13
MX2014001469A (es) 2014-02-27
US20130033428A1 (en) 2013-02-07
KR20130016016A (ko) 2013-02-14
EP2740018A1 (en) 2014-06-11
AU2012293060B2 (en) 2015-06-04
BR112013019982A2 (pt) 2016-12-13
CN103034328A (zh) 2013-04-10
AU2012293060A1 (en) 2013-05-02
KR20130018464A (ko) 2013-02-25
AU2012293065B2 (en) 2015-04-16
EP2740018A4 (en) 2015-04-22
BR112013019984A2 (pt) 2017-07-11
BR112013019983A2 (pt) 2016-12-13
CA2825831A1 (en) 2013-02-14
KR20130016025A (ko) 2013-02-14
EP2986015A1 (en) 2016-02-17
CN107396154A (zh) 2017-11-24
CN103150011A (zh) 2013-06-12
CA2825827C (en) 2020-08-04
CA2825813A1 (en) 2013-02-14
CN103733163A (zh) 2014-04-16
RU2013139310A (ru) 2015-02-27
CN104486679A (zh) 2015-04-01
MX2013008891A (es) 2014-03-12
CA2825822A1 (en) 2013-02-14
KR20130016026A (ko) 2013-02-14
CN103150010B (zh) 2016-08-03
RU2013139297A (ru) 2015-02-27
WO2013022224A1 (en) 2013-02-14
MX2013008889A (es) 2014-03-12
RU2013139311A (ru) 2015-02-27
CA2842813A1 (en) 2013-02-14
MX2013008888A (es) 2014-03-12
AU2012293064B2 (en) 2015-12-17
BR112013019981A2 (pt) 2016-12-13

Similar Documents

Publication Publication Date Title
KR101262700B1 (ko) 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
JP5746111B2 (ja) 電子装置及びその制御方法
JP5819269B2 (ja) 電子装置及びその制御方法
JP6111030B2 (ja) 電子装置及びその制御方法
CN103187054B (zh) 电子装置和控制电子装置的方法
CN104620593B (zh) 显示装置及用于控制该显示装置的方法
EP2555538A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130033644A1 (en) Electronic apparatus and method for controlling thereof
KR101324232B1 (ko) 전자 장치 및 그의 제어 방법
KR20130078483A (ko) 전자 장치 및 그의 제어 방법
JP2015535971A (ja) ディスプレイ装置及びその制御方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111013

A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20121126

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20111013

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20121126

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20111013

Patent event code: PA03021R01I

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130131

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130430

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130502

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160330

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170330

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180329

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190328

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210330

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220330

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230330

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20240328

Start annual number: 12

End annual number: 12