[go: up one dir, main page]

KR101605862B1 - 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법 - Google Patents

디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법 Download PDF

Info

Publication number
KR101605862B1
KR101605862B1 KR1020120071361A KR20120071361A KR101605862B1 KR 101605862 B1 KR101605862 B1 KR 101605862B1 KR 1020120071361 A KR1020120071361 A KR 1020120071361A KR 20120071361 A KR20120071361 A KR 20120071361A KR 101605862 B1 KR101605862 B1 KR 101605862B1
Authority
KR
South Korea
Prior art keywords
voice
user
display device
server
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120071361A
Other languages
English (en)
Other versions
KR20140002417A (ko
Inventor
이의윤
조성길
김기석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120071361A priority Critical patent/KR101605862B1/ko
Priority to US13/919,358 priority patent/US8983299B2/en
Priority to EP17165886.7A priority patent/EP3214842B1/en
Priority to EP21150090.5A priority patent/EP3833036A1/en
Priority to DE202013012886.0U priority patent/DE202013012886U1/de
Priority to EP18179523.8A priority patent/EP3402210B1/en
Priority to EP13173433.7A priority patent/EP2680597B1/en
Priority to CN201710483525.9A priority patent/CN107197348B/zh
Priority to CN201310254630.7A priority patent/CN103517120B/zh
Priority to JP2013133954A priority patent/JP6440346B2/ja
Publication of KR20140002417A publication Critical patent/KR20140002417A/ko
Priority to US14/965,196 priority patent/USRE47168E1/en
Application granted granted Critical
Publication of KR101605862B1 publication Critical patent/KR101605862B1/ko
Priority to US16/179,398 priority patent/USRE48423E1/en
Priority to US17/143,364 priority patent/USRE49493E1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00—Electric signal transmission systems
    • G08C19/16—Electric signal transmission systems in which transmission is by pulses
    • G08C19/28—Electric signal transmission systems in which transmission is by pulses using pulse code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Details Of Television Systems (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘 신호와 사용자 음성에 대응되는 제어 신호가 매칭된 주변 기기 제어 정보를 저장하는 저장부, 사용자 음성을 수집하는 음성 수집부, 수집된 사용자 음성을 디스플레이 장치로 전송하고, 디스플레이 장치로부터 사용자 음성에 대응되는 제어 신호를 수신하는 통신부, 주변 기기를 제어하기 위한 리모콘 신호를 전송하는 IR 발신부 및 디스플레이 장치로부터 제어 신호를 수신하면, 저장부에 저장된 리모콘 신호 중 수신된 제어 신호에 대응되는 리모콘 신호를 주변 기기로 전송하도록 IR 발신부를 제어하는 제어부를 포함한다.

Description

디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법{DISPLAY APPARATUS, ELECTRONIC DEVICE, INTERACTIVE SYSTEM AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법에 관한 것으로 더욱 상세하게는 사용자의 음성에 따라 제어되는 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 디스플레이 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 디스플레이 장치들이 일반 가정에서 사용되고 있다. 이들 디스플레이 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 디스플레이 장치의 다양한 기능들을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 디스플레이 장치에 적용되고 있다.
하지만, 이러한 단순한 입력 방법만으로는, 디스플레이 장치의 다양한 기능을 효과적으로 사용하기에는 어려움이 있었다. 가령, 디스플레이 장치의 모든 기능들을 리모컨만으로 제어하도록 구현하게 되면, 리모컨의 버튼 수를 늘리는 것이 불가피하였다. 이 경우, 일반 사용자가 리모컨의 사용법을 익히는 것은 결코 용이하지 않은 일이었다. 또한, 다양한 메뉴들을 화면상에 표시하여 사용자가 해당 메뉴를 찾아서 선택하도록 하는 방법의 경우, 사용자가 복잡한 메뉴 트리를 일일이 확인하여, 자신이 원하는 메뉴를 선택하여야 한다는 번거로움이 있었다.
또한, 최근에는 셋탑 박스, DVD 플레이어, 홈 씨어터 등과 같은 다양한 주변 기기들이 디스플레이 장치와 연결되어 사용되는 경우가 많아졌다. 이러한 주변 기기를 제어하기 위해서는 각 기기와 연동되는 리모콘으로 개별적으로 제어해야 했다. 이에 따라, 다양한 주변 기기들을 하나의 리모콘으로 제어할 수 있는 통합 리모콘 등이 개발되었으나, 통합 리모콘을 사용하기 위해서는 사용자가 주변 기기의 제조사와 모델명을 직접 검색하고 리모콘에 등록해야 하는 번거로움이 있었다.
이에 따라, 디스플레이 장치 및 다양한 주변 기기들을 제어하기 위한 효율적인 입력 방법의 모색이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 외부의 서버와 연동하여 사용자의 음성에 대응되는 동작을 수행하는 디스플레이 장치, 사용자 음성으로 주변 기기들을 제어할 수 있는 전자 장치, 대화형 시스템 및 이들의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치와 통신을 수행하는 전자 장치는, 상기 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘 신호와 사용자 음성에 대응되는 제어 신호가 매칭된 주변 기기 제어 정보를 저장하는 저장부, 사용자 음성을 수집하는 음성 수집부, 상기 수집된 사용자 음성을 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하는 통신부, 상기 주변 기기를 제어하기 위한 리모콘 신호를 전송하는 IR 발신부 및 상기 디스플레이 장치로부터 상기 제어 신호를 수신하면, 상기 저장부에 저장된 리모콘 신호 중 상기 수신된 제어 신호에 대응되는 리모콘 신호를 상기 주변 기기로 전송하도록 상기 IR 발신부를 제어하는 제어부를 포함한다.
여기서, 상기 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신하는 IR 수신부를 더 포함하며, 상기 제어부는, 상기 리모콘 신호에 대응하여 수집된 사용자 음성을 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하여 상기 주변 기기 제어 정보를 생성할 수 있다.
그리고, 상기 주변 기기 제어 정보는 상기 수신된 외부 입력 모드에 대한 정보를 더 포함할 수 있으며, 상기 통신부는 상기 제어 신호 및 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하며, 상기 제어부는, 상기 디스플레이 장치로부터 제어 신호 및 상기 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하면, 상기 수신된 제어 신호 및 외부 입력 모드에 대응되는 리모콘 신호를 상기 주변 기기로 전송하도록 상기 IR 발신부를 제어할 수 있다.
또한, 상기 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신하는 IR 수신부를 더 포함하며, 상기 제어부는, 상기 리모콘 신호에 대응하여 수집된 사용자 음성을 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호 및 상기 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하여 상기 주변 기기 제어 정보를 생성할 수 있다.
여기서, 상기 전자 장치는, IR(Infrared Ray) 블라스터 또는 MBR(Multi Brand Remote controller)일 수 있다.
한편, 본 발명의 일 실시 예에 따른 주변 기기를 제어하기 위한 전자 장치와 통신을 수행하는 디스플레이 장치는, 전자 장치와 통신을 수행하는 제1 통신부, 음성 인식 기능을 수행하는 서버와 통신을 수행하는 제2 통신부 및 상기 전자 장치로부터 사용자 음성이 수신되면 상기 수신된 사용자 음성을 상기 서버로 전송하고, 상기 서버로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하여 상기 전자 장치로 전송하도록 제어하는 제어부를 포함한다. 상기 제어 신호는, 상기 전자 장치에서 상기 주변 기기를 제어하기 위한 리모콘 신호에 대응되는 신호일 수 있다.
여기서, 상기 제어부는, 상기 사용자 음성이 수신되면 외부 입력 모드를 판단하고 판단된 외부 입력 모드에 대한 정보를 상기 사용자 음성과 함께 상기 서버로 전송하고, 상기 서버로부터 상기 외부 입력 모드에 대한 정보 및 상기 사용자 음성에 대응되는 제어 신호를 수신하여 상기 전자 장치로 전송하도록 제어할 수 있다.
또는, 상기 제어부는, 상기 사용자 음성이 수신되면 외부 입력 모드를 판단하고 판단된 외부 입력 모드에 대한 정보를 상기 서버로부터 수신된 제어 신호와 함께 상기 전자 장치로 전송하도록 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은, 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘 신호와 사용자 음성에 대응되는 제어 신호가 매칭된 주변 기기 제어 정보를 저장하는 단계, 사용자 음성을 수집하는 단계, 상기 수집된 사용자 음성을 상기 디스플레이 장치로 전송하는 단계, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하는 단계 및 기 저장된 리모콘 신호 중 상기 수신된 제어 신호에 대응되는 리모콘 신호를 상기 주변 기기로 전송하는 단계를 포함한다.
여기서, 상기 저장하는 단계는, 상기 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신하는 단계, 상기 리모콘 신호에 대응하여 사용자 음성을 수집하는 단계, 상기 수집된 사용자 음성을 상기 디스플레이 장치로 전송하는 단계, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하는 단계 및 상기 수신된 리모콘 신호 및 제어 신호가 매칭된 주변 기기 제어 정보를 생성하여 저장하는 단계를 포함할 수 있다.
그리고, 상기 주변 기기 제어 정보는 상기 수신된 외부 입력 모드에 대한 정보를 더 포함할 수 있으며, 상기 제어 신호를 수신하는 단계는, 상기 제어 신호 및 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하며, 리모콘 신호를 상기 주변 기기로 전송하는 단계는, 상기 수신된 제어 신호 및 외부 입력 모드에 대한 정보에 대응되는 리모콘 신호를 상기 주변 기기로 전송할 수 있다.
또한, 상기 저장하는 단계는, 상기 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신하는 단계, 상기 리모콘 신호에 대응하여 사용자 음성을 수집하는 단계, 상기 수집된 사용자 음성을 상기 디스플레이 장치로 전송하는 단계, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호 및 상기 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하는 단계 및 상기 수신된 리모콘 신호, 제어 신호 및 외부 입력 모드에 대한 정보가 매칭된 주변 기기 제어 정보를 생성하여 저장하는 단계를 포함할 수 있다.
여기서, 상기 전자 장치는, IR(Infrared Ray) 블라스터 또는 MBR(Multi Brand Remote controller)일 수 있다.
한편, 주변 기기를 제어하기 위한 전자 장치와 통신을 수행하는 디스플레이 장치의 제어 방법은, 상기 전자 장치로부터 사용자 음성을 수신하는 단계, 상기 수신된 사용자 음성을 음성 인식 기능을 수행하는 서버로 전송하는 단계, 상기 서버로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하는 단계 및 상기 수신된 제어 신호를 전자 장치로 전송하는 단계를 포함한다. 상기 제어 신호는, 상기 전자 장치에서 상기 주변 기기를 제어하기 위한 리모콘 신호에 대응되는 신호일 수 있다.
여기서, 상기 사용자 음성이 수신되면 외부 입력 모드를 판단하는 단계, 상기 판단된 외부 입력 모드에 대한 정보를 상기 서버로 전송하는 단계를 더 포함할 수 있으며, 상기 제어 신호를 수신하는 단계는, 상기 서버로부터 상기 외부 입력 모드에 대한 정보 및 상기 사용자 음성에 대응되는 제어 신호를 수신할 수 있다.
또는 상기 사용자 음성이 수신되면 외부 입력 모드를 판단하는 단계 및 상기 판단된 외부 입력 모드에 대한 정보를 상기 전자 장치로 전송하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치 및 상기 디스플레이 장치의 주변 기기를 제어하기 위한 전자 장치를 포함하는 시스템은, 수집된 사용자 음성을 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하여 기 저장된 리모콘 신호 중 상기 수신된 제어 신호에 대응되는 리모콘 신호를 상기 주변 기기로 전송하는 전자 장치 및 상기 전자 장치로부터 사용자 음성이 수신되면 상기 수신된 사용자 음성을 상기 음성 인식 기능을 수행하는 서버로 전송하고, 상기 서버로부터 상기 사용자 음성에 대응되는 제어 신호를 수신하여 상기 전자 장치로 전송하는 디스플레이 장치를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 음성이 디스플레이 장치 및 디스플레이 장치의 주변 기기를 제어하기 위한 수단으로 사용될 수 있어 사용자의 편의성이 향상될 수 있다.
또한, 사용자는 전자 장치를 이용하여 주변 기기를 제어하기 위해 주변 기기의 제조사와 모델명을 직접 검색하고 리모콘에 등록할 필요 없이 사용자 음성으로 대응되는 리모콘 신호를 등록할 수 있어 사용자 편의가 향상될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 대화형 시스템을 설명하기 위한 도면이다.
도 2 및 도 3은 도 1에 도시된 대화형 시스템의 각 동작을 설명하기 위한 타이밍도이다.
도 4는 도 1에 도시된 디스플레이 장치의 구성을 설명하기 위한 블럭도이다.
도 5는 도 4에 도시된 디스플레이 장치의 세부 구성을 설명하기 위한 블럭도이다.
도 6은 도 1에 도시된 전자 장치의 구성을 설명하기 위한 블럭도이다.
도 7은 도 6에 도시된 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 8은 도 1에 도시된 제1 서버의 구성을 설명하기 위한 블록도이다.
도 9는 도 1에 도시된 제2 서버의 구성을 설명하기 위한 블록도이다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 대화형 시스템을 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 대화형 시스템은 디스플레이 장치(100), 전자 장치(200), 제1 서버(300) 및 제2 서버(400)를 포함한다. 디스플레이 장치(100)는 도 1에 도시된 바와 같이, 스마트 TV일 수 있으나, 이는 일 예에 불과할 뿐, 스마트폰과 같은 휴대폰, 데스크탑 PC, 노트북, 네비게이션 등과 같은 다양한 장치로 구현될 수 있으며, 전자 장치(200)는 IR(Infrared Ray) 블라스터, MBR(Multi Brand Remote controller) 등과 같은 장치로 구현될 수 있다.
본 발명에 따른 대화형 시스템은 음성 인식 모드에 있는 경우 동작할 수 있으며, 음성 인식 모드는 설정 모드와 동작 모드를 포함할 수 있다. 대화형 시스템은 각 모드에 따라 상이하게 동작할 수 있으므로 모드 별로 나누어서 설명하기로 한다. 한편, 설정 모드와 동작 모드는 대화형 시스템의 동작 중 디스플레이 장치(100)를 통해 사용자에 의해 변경될 수 있다.
<설정 모드 >
설정 모드란 디스플레이 장치의 주변 기기를 제어하기 위한 주변 기기 제어 정보를 설정하기 위한 모드를 말한다. 설정 모드의 동작을 실시예 별로 나누어서 설명하기로 한다. 대화형 시스템은 디스플레이 장치(100)의 외부 입력 모드에 대한 정보를 제2 서버(400)로 전송하는지 아니면 전자 장치(200)로 전송하는지 여부에 따라 상이하게 동작하게 된다.
<제1 실시예 >
제1 실시 예에 따르면, 설정 모드에서, 전자 장치(200)는 주변 기기를 제어하기 위한 리모콘(미도시)으로부터 제어 신호를 수신한다. 그리고, 전자 장치(200)는 리모콘 신호에 대응하는 사용자 음성을 수집하여 디스플레이 장치(100)로 전송한다. 디스플레이 장치(100)는 사용자 음성이 수신되면 디스플레이 장치(100)의 현재 외부 입력 모드를 판단하고 수신된 사용자의 음성을 제1 서버(300)로 전송한다. 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 제1 서버(300)는 수신된 사용자의 음성을 텍스트 정보로 변환하고, 텍스트 정보를 디스플레이 장치(100)로 전송한다.
그리고, 디스플레이 장치(100)는 제1 서버(300)로부터 수신된 텍스트 정보 및 판단된 외부 입력 모드에 대한 정보를 제2 서버(400)로 전송한다. 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 제2 서버(400)는 수신한 텍스트 정보 및 외부 입력 모드에 대한 정보에 대응되는 제어 신호를 생성하여 디스플레이 장치(100)로 전송한다.
디스플레이 장치(100)는 수신한 제어 신호를 전자 장치(200)로 전송하고, 전자 장치(200)는 리모콘(미도시)으로부터 수신한 리모콘 신호와 디스플레이 장치(100)로부터 수신한 제어 신호를 매칭시켜 주변 기기 제어 정보를 생성하고 저장한다.
<제2 실시예 >
제2 실시 예에 따르면, 설정 모드에서, 전자 장치(200)는 주변 기기를 제어하기 위한 리모콘(미도시)으로부터 제어 신호를 수신한다. 그리고, 전자 장치(200)는 리모콘 신호에 대응하는 사용자 음성을 수집하여 디스플레이 장치(100)로 전송한다. 디스플레이 장치(100)는 사용자 음성이 수신되면 디스플레이 장치(100)의 현재 외부 입력 모드를 판단하고 수신된 사용자의 음성을 제1 서버(300)로 전송한다. 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 제1 서버(300)는 수신된 사용자의 음성을 텍스트 정보로 변환하고, 텍스트 정보를 디스플레이 장치(100)로 전송한다.
그리고, 디스플레이 장치(100)는 제1 서버(300)로부터 수신된 텍스트 정보를 제2 서버(400)로 전송한다. 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 제2 서버(400)는 수신한 텍스트 정보에 대응되는 제어 신호를 생성하여 디스플레이 장치(100)로 전송한다.
디스플레이 장치(100)는 수신한 제어 신호 및 판단된 외부 입력 모드에 대한 정보를 전자 장치(200)로 전송하고, 전자 장치(200)는 리모콘(미도시)으로부터 수신한 리모콘 신호와 디스플레이 장치(100)로부터 수신한 제어 신호 및 외부 입력 모드에 대한 정보를 매칭시켜 주변 기기 제어 정보를 생성하고 저장한다.
<동작 모드 >
동작 모드란, 디스플레이 장치의 주변 기기를 제어하기 위해 사용자 음성에 대응되는 리모컨 신호를 주변 기기로 전송하기 위한 모드를 말한다. 동작 모드의 동작을 실시예 별로 나누어서 설명하기로 한다.
<제1 실시예 >
제1 실시 예에 따르면, 동작 모드에서, 전자 장치(200)는 주변 기기를 제어하기 위한 사용자 음성을 수집하여 디스플레이 장치(100)로 전송한다. 디스플레이 장치(100)는 사용자 음성이 수신되면 디스플레이 장치(100)의 현재 외부 입력 모드를 판단하고 수신된 사용자의 음성을 제1 서버(300)로 전송한다. 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 제1 서버(300)는 수신된 사용자의 음성을 텍스트 정보로 변환하고, 텍스트 정보를 디스플레이 장치(100)로 전송한다.
그리고, 디스플레이 장치(100)는 제1 서버(300)로부터 수신된 텍스트 정보 및 판단된 외부 입력 모드에 대한 정보를 제2 서버(400)로 전송한다. 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 제2 서버(400)는 수신한 텍스트 정보 및 외부 입력 모드에 대한 정보에 대응되는 제어 신호를 생성하여 디스플레이 장치(100)로 전송한다.
디스플레이 장치(100)는 수신한 제어 신호를 전자 장치(200)로 전송하고, 전자 장치(200)는 기 저장된 디스플레이 장치(100)로부터 수신한 제어 신호를 기 저장된 주변 기기 제어 정보의 제어 신호와 비교하여 대응되는 리모콘 신호를 주변 기기로 전송한다.
<제2 실시예 >
제2 실시 예에 따르면, 동작 모드에서, 전자 장치(200)는 주변 기기를 제어하기 위한 사용자 음성을 수집하여 디스플레이 장치(100)로 전송한다. 디스플레이 장치(100)는 사용자 음성이 수신되면 디스플레이 장치(100)의 현재 외부 입력 모드를 판단하고 수신된 사용자의 음성을 제1 서버(300)로 전송한다. 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 제1 서버(300)는 수신된 사용자의 음성을 텍스트 정보로 변환하고, 텍스트 정보를 디스플레이 장치(100)로 전송한다.
그리고, 디스플레이 장치(100)는 제1 서버(300)로부터 수신된 텍스트 정보를 제2 서버(400)로 전송한다. 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 제2 서버(400)는 수신한 텍스트 정보에 대응되는 제어 신호를 생성하여 디스플레이 장치(100)로 전송한다.
디스플레이 장치(100)는 수신한 제어 신호 및 판단된 외부 입력 모드에 대한 정보를 전자 장치(200)로 전송하고, 전자 장치(200)는 디스플레이 장치(100)로부터 수신한 제어 신호 및 외부 입력 모드에 대한 정보를 기 저장된 주변 기기 제어 정보의 제어 신호 및 외부 입력 모드에 대한 정보와 비교하여 대응되는 리모콘 신호를 주변 기기로 전송한다.
한편, 상술한 실시 예에서는 제1 서버(300) 및 제2 서버(400)가 각각 상이한 기능을 수행하는 별개의 서버인 것으로 설명하였으나, 실시 예에 따라 제1 서버(300) 및 제2 서버(400)는 하나의 서버로 구현될 수도 있다.
도 2 및 도 3은 도 1에 도시된 대화형 시스템의 각 동작을 설명하기 위한 타이밍도이다. 구체적으로, 도 2는 제1 실시예에 따른 대화형 시스템의 동작을 설명하기 위한 타이밍도이며, 도 3은 제2 실시예에 따른 대화형 시스템의 동작을 설명하기 위한 타이밍도이다.
<제1 실시예 >
도 2에 따르면, 설정 모드가 개시되면 전자 장치(200)는 디스플레이 장치(100)의 주변 기기를 제어하기 위한 리모콘(미도시)으로부터 리모콘 신호를 수신할 수 있다(S1). 즉, 설정 모드에서 사용자가 주변 기기를 제어하기 위한 리모콘의 특정 버튼을 입력하면, 리모콘은 입력된 버튼에 대응하는 리모콘 신호를 전자 장치(200)로 전송한다.
그리고, 사용자가 리모콘의 특정 버튼에 대응하는 음성을 발화하면, 전자 장치(200)는 사용자 음성을 수집하여(S2), 디스플레이 장치(100)로 전송한다(S3). 구체적으로, 전자 장치(200)는 기설정된 거리 이내에서 사용자가 발화한 음성을 수집하여 디스플레이 장치(100)로 전송할 수 있다.
이를 위해, 전자 장치(200)는 사용자가 발화한 음성을 입력받기 위한 마이크 등을 구비할 수 있다. 이 경우, 마이크는 전자 장치(200)에 내장되어 일체형을 이루거나, 전자 장치(200)와 분리된 형태로 구현될 수 있다. 분리된 형태로 구현되는 경우, 마이크는 사용자가 손으로 쥐는 형태, 또는 식탁이나 테이블에 놓일 수 있는 형태로 구현될 수 있으며, 전자 장치(200)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
디스플레이 장치(100)는 전자 장치(200)로부터 사용자 음성이 수신되면, 디스플레이 장치(100)의 외부 입력 모드를 판단한다(S4). 외부 입력 모드란, 디스플레이 장치(100)와 외부 기기간의 신호 입출력 모드를 의미하며, 외부 기기에서 지원하는 신호 전송 규격에 따라 달라질 수 있다. 이후, 디스플레이 장치(100)는 전자 장치(200)로부터 수신한 사용자 음성을 제1 서버(300)로 전송한다(S5).
제1 서버(300)는 디스플레이 장치(100)로부터 수신된 사용자 음성을 텍스트 정보로 변환하여(S6). 디스플레이 장치(100)로 텍스트 정보를 전송한다(S7). 구체적으로, 제1 서버(300)는 STT(Speech to Text)를 위한 알고리즘을 이용하여, 디스플레이 장치(100)로부터 수신된 음성 신호를 텍스트 정보로 변환할 수 있다.
디스플레이 장치(100)는 제1 서버(300)로부터 수신된 텍스트 정보 및 (S4) 에서 판단한 외부 입력 모드에 대한 정보를 제2 서버(400)로 전송한다(S8).
제2 서버(400)는 디스플레이 장치(100)로부터 텍스트 정보 및 외부 입력 모드에 대한 정보가 수신되면, 그에 대응되는 제어 신호를 생성하여(S9), 디스플레이 장치(100)로 전송한다(S10).
디스플레이 장치(100)는 제2 서버로부터 수신된 제어 신호를 전자 장치(200)로 전송하고(S11), 전자 장치(200)는 디스플레이 장치(100)로부터 수신된 제어 신호 및 리모콘(미도시)으로부터 수신된 리모콘 신호를 매칭시켜 주변 기기 제어 정보를 생성하여 저장한다(S12).
한편, 주변 기기를 제어하기 위한 리모콘의 복수의 버튼에 대하여 상술한 과정들을 반복함으로써, 전자 장치(200)는 리모콘의 각 버튼에 대한 주변 기기 제어 정보를 저장할 수 있다. 주변 기기를 제어하기 위한 리모콘이 복수인 경우, 복수의 리모콘에 대하여 주변 기기 제어 정보를 저장할 수 있다. 리모콘에 대한 주변기기 제어 정보 설정이 완료되면, 동작 모드에서 사용자 음성으로 디스플레이 장치의 주변기기를 제어할 수 있다.
즉, 사용자가 동작 모드에서 디스플레이 장치의 주변 기기를 제어하기 위해 음성을 발화하면, 전자 장치(200)는 사용자 음성을 수집하여(S13), 디스플레이 장치(100)로 전송한다(S14).
디스플레이 장치(100)는 전자 장치(200)로부터 사용자 음성이 수신되면, 디스플레이 장치(100)의 외부 입력 모드를 판단한다(S15). 그리고, 디스플레이 장치(100)는 전자 장치(200)로부터 수신한 사용자 음성을 제1 서버(300)로 전송한다(S16).
제1 서버(300)는 디스플레이 장치(100)로부터 수신된 사용자 음성을 텍스트 정보로 변환하여(S17). 디스플레이 장치(100)로 텍스트 정보를 전송한다(S18). 그리고, 제1 서버(300)로부터 수신된 텍스트 정보 및 (S15)에서 판단한 외부 입력 모드에 대한 정보를 제2 서버(400)로 전송한다(S19).
제2 서버(400)는 디스플레이 장치(100)로부터 텍스트 정보 및 외부 입력 모드에 대한 정보가 수신되면, 그에 대응되는 제어 신호를 생성하여(S20), 디스플레이 장치(100)로 전송한다(S21).
디스플레이 장치(100)는 제2 서버로부터 수신된 제어 신호를 전자 장치(200)로 전송하고(S22), 전자 장치(200)는 기 저장된 주변 기기 제어 정보의 리모콘 신호 중 디스플레이 장치(100)로부터 수신된 제어 신호에 대응하는 리모콘 신호를 주변 기기로 전송한다(S23). 한편, 복수의 주변 기기가 있는 경우, 전자 장치(200)는 리모콘 신호를 멀티캐스트 방식으로 주변 기기로 전송할 수 있으며, 전송된 리모콘 신호를 인식할 수 있는 주변 기기만이 리모콘 신호에 따라 제어된다.
<제2 실시예 >
도 3에 따르면, 설정 모드가 개시되면 전자 장치(200)는 디스플레이 장치(100)의 주변 기기를 제어하기 위한 리모콘(미도시)으로부터 리모콘 신호를 수신할 수 있다(S51). 즉, 설정 모드에서 사용자가 주변 기기를 제어하기 위한 리모콘의 특정 버튼을 입력하면, 리모콘은 입력된 버튼에 대응하는 리모콘 신호를 전자 장치(200)로 전송한다. 그리고, 사용자가 리모콘의 특정 버튼에 대응하는 음성을 발화하면, 전자 장치(200)는 사용자 음성을 수집하여(S52), 디스플레이 장치(100)로 전송한다(S53).
디스플레이 장치(100)는 전자 장치(200)로부터 사용자 음성이 수신되면, 디스플레이 장치(100)의 외부 입력 모드를 판단한다(S54). 그리고, 디스플레이 장치(100)는 전자 장치(200)로부터 수신한 사용자 음성을 제1 서버(300)로 전송한다(S55).
제1 서버(300)는 디스플레이 장치(100)로부터 수신된 사용자 음성을 텍스트 정보로 변환하여(S56). 디스플레이 장치(100)로 텍스트 정보를 전송한다(S57).
디스플레이 장치(100)는 제1 서버(300)로부터 수신된 텍스트 정보를 제2 서버(400)로 전송한다(S58).
제2 서버(400)는 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 그에 대응되는 제어 신호를 생성하여(S59), 디스플레이 장치(100)로 전송한다(S60).
디스플레이 장치(100)는 제2 서버로부터 수신된 제어 신호 및 (S54) 에서 판단한 외부 입력 모드에 대한 정보를 전자 장치(200)로 전송하고(S61), 전자 장치(200)는 디스플레이 장치(100)로부터 수신된 제어 신호 및 외부 입력 모드에 대한 정보를 리모콘(미도시)으로부터 수신된 리모콘 신호와 매칭시켜 주변 기기 제어 정보를 생성하여 저장한다(S62).
한편, 주변 기기를 제어하기 위한 리모콘의 복수의 버튼에 대하여 상술한 과정들을 반복함으로써, 전자 장치(200)는 리모콘의 각 버튼에 대한 주변 기기 제어 정보를 저장할 수 있다. 주변 기기를 제어하기 위한 리모콘이 복수인 경우, 복수의 리모콘에 대하여 주변 기기 제어 정보를 저장할 수 있다. 리모콘에 대한 주변기기 제어 정보 설정이 완료되면, 동작 모드에서 사용자 음성으로 디스플레이 장치의 주변기기를 제어할 수 있다.
즉, 사용자가 동작 모드에서 디스플레이 장치의 주변 기기를 제어하기 위해 음성을 발화하면, 전자 장치(200)는 사용자 음성을 수집하여(S63), 디스플레이 장치(100)로 전송한다(S64).
디스플레이 장치(100)는 전자 장치(200)로부터 사용자 음성이 수신되면, 디스플레이 장치(100)의 외부 입력 모드를 판단한다(S65). 그리고, 디스플레이 장치(100)는 전자 장치(200)로부터 수신한 사용자 음성을 제1 서버(300)로 전송한다(S66).
제1 서버(300)는 디스플레이 장치(100)로부터 수신된 사용자 음성을 텍스트 정보로 변환하여(S67). 디스플레이 장치(100)로 텍스트 정보를 전송한다(S68). 그리고, 제1 서버(300)로부터 수신된 텍스트 정보를 제2 서버(400)로 전송한다(S69).
제2 서버(400)는 디스플레이 장치(100)로부터 텍스트 정보가 수신되면, 그에 대응되는 제어 신호를 생성하여(S70), 디스플레이 장치(100)로 전송한다(S71).
디스플레이 장치(100)는 제2 서버로부터 수신된 제어 신호 및 (S65)에서 판단한 외부 입력 모드에 대한 정보를 전자 장치(200)로 전송하고(S72), 전자 장치(200)는 기 저장된 주변 기기 제어 정보의 리모콘 신호 중 디스플레이 장치(100)로부터 수신된 제어 신호 및 외부 입력 모드에 대한 정보에 대응하는 리모콘 신호를 주변 기기로 전송한다(S73). 복수의 주변 기기가 있는 경우, 전자 장치(200)는 리모콘 신호를 멀티캐스트 방식으로 주변 기기로 전송할 수 있으며, 전송된 리모콘 신호를 인식할 수 있는 주변 기기만이 리모콘 신호에 따라 제어된다.
한편, 도 2 및 도 3에서는 디스플레이 장치(100)가 사용자 음성을 수신하면 디스플레이 장치의 외부 입력 모드를 판단하는 것으로 설명하였으나, 디스플레이 장치의 외부 입력 모드를 판단하는 과정은 필요에 따라 생략할 수도 있다. 즉, 수집된 사용자 음성이 주변 기기를 제어하기 위한 명령이 아니거나, 외부 입력 모드를 판단하지 않더라도 리모콘 신호의 식별에 혼동이 없다고 판단되는 경우에는 디스플레이 장치의 외부 입력 모드를 판단하는 과정은 생략할 수 있다.
도 4는 도 1에 도시된 디스플레이 장치의 구성을 설명하기 위한 블럭도이다. 도 4에 따르면 디스플레이 장치(100)는 제1 통신부(110), 제2 통신부(120) 및 제어부(130)를 포함한다.
제1 통신부(110)는 전자 장치(200)와 통신을 수행한다. 구체적으로 제1 통신부(110)는 전자 장치(200)로부터 사용자 음성을 수신하고, 사용자 음성에 대응되는 제어 신호를 전자 장치(200)로 전송할 수 있다. 또한, 실시 예에 따라 제1 통신부(110)는 디스플레이 장치(100)의 외부 입력 모드에 대한 정보를 전자 장치(200)로 전송할 수 있다.
한편, 제1 통신부(100)는 전자 장치(200)와 와이파이(Wifi), 블루투스(bluetooth), IRDA(Infrared Data Association), RF(Radio Frequency), IEEE 802.11, WLAN, HR WPAN, UWB, LR WPAN, IEEE 1394 등과 같은 무선 통신 기술로 통신할 수 있다.
제2 통신부(120)는 서버와 통신을 수행한다. 구체적으로, 제2 통신부는 제1 통신부를 통해 수신된 사용자 음성을 제1 서버(300)로 전송할 수 있으며, 제1 서버(300)로부터 사용자 음성에 대응되는 텍스트 정보를 수신할 수 있다. 또한, 제1 서버(300)로부터 수신한 텍스트 정보를 제2 서버로 전송하고, 제2 서버(400)로부터 텍스트 정보에 대응되는 제어 신호를 수신할 수 있다. 제2 통신부는 제1 서버 및 제2 서버와 인터넷 등의 네트워크를 통해 연결될 수 있다.
한편, 제2 통신부는 제1 서버(300)로부터 수신한 텍스트 정보와 함께 디스플레이 장치(100)의 외부 입력 모드에 대한 정보를 제2 서버(400)로 전송할 수 있으며, 제2 서버(400)로부터 텍스트 정보 및 외부 입력 모드에 대한 정보에 대응되는 제어 신호를 수신할 수 있다.
한편, 제2 통신부(300)는 하나의 구성으로 제1 서버 및 제2 서버 모두와 통신을 수행하는 것으로 설명하였으나, 디스플레이 장치(100)는 제1 서버(300) 및 제2 서버(400)와 각각 통신을 수행할 수 있도록 두 개의 제2 통신부를 포함할 수도 있다.
제2 통신부가 제2 서버(400)로부터 수신하는 제어 신호는 전자 장치(200)에서 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘 신호와 매칭될 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 즉, 제어부(130)는 디스플레이 장치(100)의 구성 각각을 제어하여 대응되는 동작을 수행하도록 제어할 수 있다. 특히, 제어부(130)는 제1 통신부를 통해 사용자 음성이 수신되면, 수신된 사용자 음성을 제2 통신부를 통해 서버(300, 400)로 전송하고, 대응되는 제어 신호를 수신할 수 있다. 그리고, 수신된 제어신호를 전자 장치(200)로 전송할 수 있다.
또한, 제어부(130)는 전자 장치(200)로부터 사용자 음성이 수신되면, 디스플레이 장치(100)의 외부 입력 모드를 판단할 수 있으며, 실시 예에 따라 판단된 외부 입력 모드에 대한 정보를 전자 장치(200) 또는 제2 서버(400)로 전송하도록 제어할 수 있다.
한편, 동작 모드에서, 제2 서버(400)로부터 수신된 제어 신호가 디스플레이 장치(100)를 제어하기 위한 제어 신호인 경우, 즉, 외부 입력 모드가 사용되지 않는 경우, 제어부(130)는 제2 서버(400)로부터 수신된 제어 신호에 따라 디스플레이 장치(100)의 동작을 제어할 수 있다.
도 5는 도 4에 도시된 디스플레이 장치의 세부 구성을 설명하기 위한 블럭도이다. 도 4에 따르면, 디스플레이 장치(100)는 제1 통신부(110), 제2 통신부(120) 및 제어부(130) 외에 음성 수집부(140), 입력부(150), 출력부(160), 저장부(170) 수신부(180) 및 신호 처리부(190)를 더 포함할 수 있다. 한편, 도 4에 도시된 구성요소와 중복되는 구성에 대해 중복되는 설명은 생략하기로 한다.
제2 통신부(120)는 서버와 통신을 수행한다. 도 4에서는 제2 통신부가 제2 서버로부터 제어 신호만을 수신하는 것으로 설명하였으나, 제2 통신부(120)는 제2 서버로부터 사용자 음성에 대응되는 응답 메시지 정보를 수신할 수 있다. 즉, 제2 서버는 수신된 텍스트 정보에 대응되는 제어 신호뿐만 아니라 제어 신호에 따라 실행되는 특정 기능과 관련된 응답 메시지 정보를 포함할 수 있다.
예를 들어, 사용자가 셋탑 박스를 이용하여 케이블 방송을 시청하는 중 "채널을 25번으로 변경해줘"라는 사용자 음성을 발화한 경우, 전자 장치(200)는 사용자 음성을 수집하여 디스플레이 장치(100)로 전송하고, 사용자 음성은 제1 서버로 전송되어 텍스트 정보로 변환된 후, 제2 서버로 전송될 수 있다. 이때, 제2 서버는 채널 변경 명령에 대응되는 제어 신호뿐만 아니라 이에 대응되는 응답 메시지 정보를 디스플레이 장치(100)로 전송할 수 있으며, 디스플레이 장치(100)는 수신된 응답 메시지 정보를 이용하여 출력부(160)를 통해 "채널이 25번으로 변경되었습니다" 또는 "채널 변경이 완료되었습니다"와 같은 응답 메시지를 텍스트 또는 음성으로 출력할 수 있다.
음성 수집부(140)는 사용자의 음성을 수집한다. 예를 들어, 음성 수집부(140)는 사용자의 음성을 수집하기 위한 마이크로 구현되어, 디스플레이 장치(100)에 내장되어 일체형을 이루거나, 디스플레이 장치(100)와 분리된 형태로 구현될 수 있다.
음성 수집부(140)는 수집된 사용자의 음성을 처리하여, 음성 신호를 생성한다. 즉, 음성 수집부(140)는 수집된 사용자의 음성에서 노이즈(예를 들어, 에어컨 소리, 청소기 소리, 음악 소리 등)를 제거하여, 음성 신호를 생성할 수 있다. 구체적으로, 음성 수집부(120)는 아날로그 형태의 사용자 음성이 입력되면, 이를 샘플링하여 디지털 신호로 변환한다. 그리고, 음성 수집부(120)는 변환된 디지털 신호의 에너지를 계산하여, 디지털 신호의 에너지가 기설정된 값 이상인지 여부를 판단한다.
디지털 신호의 에너지가 기설정된 값 이상인 경우, 음성 수집부(120)는 디지털 신호에서 노이즈 성분을 제거하여 제1 통신부(130)로 전달한다. 이때, 노이즈 성분은 가정 환경에서 발생할 수 있는 돌발성 잡음으로써, 에어컨 소리, 청소기 소리, 음악 소리 등이 포함될 수 있다. 한편, 디지털 신호의 에너지가 기설정된 값 미만인 경우, 음성 수집부(120)는 디지털 신호에 별다른 처리 과정을 수행하지 않고, 다른 입력을 기다린다. 이에 의해, 사용자 발화 음성이 아닌 다른 소리에 의해 전체 오디오 처리 과정이 활성화되지 않아, 불필요한 전력 소모를 방지할 수 있다.
한편, 디스플레이 장치(100)의 음성 수집부(140)는 전자 장치(200)의 음성 수집부(도 6의 220)와 동일한 기능을 수행할 수 있으며, 디스플레이 장치(100)의 음성 수집부 및 전자 장치(200)의 음성 수집부에 동시에 사용자 음성이 입력된 경우에는 각 수집한 사용자 음성 중 보다 음량이 크고 노이즈가 적은 음성을 선택하도록 구현될 수도 있다. 또한, 구현 예에 따라 디스플레이장치(100)의 음성 수집부(140)는 생략될 수도 있다.
입력부(150)는 다양한 사용자 조작을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 입력 패널로 구현될 수 있다. 여기에서, 입력 패널은 터치패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식으로 이루어질 수 있다. 뿐만 아니라, 입력부(150)는 디스플레이 장치(100)를 제어하기 위한 리모콘에서 전송되는 리모콘 신호를 수신하기 위한 IR 수신부(미도시)로 구현될 수도 있다.
한편, 입력부(150)는 디스플레이 장치(100)의 기능을 제어하기 위한 각종 사용자 조작을 입력받을 수 있다. 예를 들어, 디스플레이 장치(100)가 스마트 TV로 구현되는 경우, 전원 온/오프, 채널 변경, 볼륨 변경 등 스마트 TV의 기능을 제어하기 위한 사용자 조작을 입력받을 수 있다. 이 경우, 제어부(130)는 입력부(150)를 통해 입력된 사용자 조작에 대응되는 각종 기능을 실행하도록 다른 구성요소를 제어할 수 있다. 예를 들어, 제어부(130)는 전원 오프 명령이 입력되면, 디스플레이 장치(100)의 각 구성요소에 공급되는 전원을 차단할 수 있으며, 채널 변경이 입력되면 사용자 조작에 따라 선택된 채널을 선국하도록 수신부(180)를 제어할 수 있다.
특히, 입력부(150)는 사용자의 음성을 수집하기 위한 음성 인식 모드를 개시하고 위한 사용자 조작을 입력받을 수 있다. 음성 인식 모드를 개시하고 위한 사용자 조작이 입력부(150)를 통해 입력되면, 제어부(150)는 음성 수집부(140)를 활성화하여 사용자 음성을 수집할 수 있다. 또한, 음성 인식 모드가 개시되면 제어부(150)는 음성 인식 모드 개시 신호를 전자 장치(200)로 전송하여 전자 장치(200)의 음성 수집부(220)가 활성화되도록 할 수 있다.
출력부(160)는 영상 및 음성 중 적어도 하나를 출력한다. 구체적으로, 출력부(100)는 사용자 음성에 대응되는 응답 메시지를 음성 또는 텍스트 형태로 출력할 수 있다.
이를 위해, 출력부(160)는 디스플레이부 및 오디오 출력부를 포함할 수 있다. 구체적으로 디스플레이부는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현되어, 디스플레이 장치(100)를 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다. 특히, 디스플레이부는 사용자의 음성에 대응되는 응답 메시지가 텍스트 또는 이미지 형태로 디스플레이할 수 있다.
한편, 오디오 출력부는 스피커 또는 출력 포트로 구현되어, 사용자 음성에 대응되는 응답 메시지를 음성 형태로 출력할 수 있다.
저장부(170)는 디스플레이 장치(100)를 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다. 예를 들어, 저장부(170)는 제어부(130)의 동작 수행을 위한 프로그램을 저장하기 위한 ROM, 제어부(130)의 동작 수행에 따른 데이터를 일시적으로 저장하기 위한 RAM 등을 구비할 수 있다. 또한 각종 참조 데이터를 저장하기 위한 EEROM(Electrically Erasable and Programmable ROM) 등을 더 구비할 수 있다.
특히, 저장부(170)는 사용자의 음성에 대응되는 각종 응답 메시지를 음성 또는 텍스트 데이터로 기저장하고 있을 수 있다. 이에 따라, 제어부(130)는 제2 서버(400)로부터 수신되는 음성 메시지 정보(특히, 제어 신호)에 대응되는 음성 또는 텍스트 데이터를 저장부(170)로부터 독출하여 오디오 출력부 또는 디스플레이부로 출력할 수 있다. 이 경우, 제어부(130)는 음성 데이터에 대해 디코딩 등의 신호 처리를 수행하고 디코딩된 음성 데이터를 증폭하여 오디오 출력부를 통해 출력할 수 있으며, 텍스트 데이터를 구성하는 텍스트가 포함되도록 UI 화면을 구성하여 디스플레이부를 통해 출력할 수 있다. 비록, 상술한 실시 예에서는, 제어부(130)가 저장부(170)로부터 독출된 음성 및 텍스트 데이터에 대한 신호 처리를 수행하는 것으로 설명하였으나, 제어부(130)는 음성 및 텍스트 데이터에 대한 신호 처리를 수행하도록 신호 처리부(190)를 제어할 수도 있다.
수신부(180)는 다양한 컨텐츠를 수신한다. 구체적으로, 수신부(180)는 방송 네트워크를 이용하여 방송 프로그램 컨텐츠를 전송하는 방송국 또는 인터넷을 이용하여 컨텐츠 파일을 전송하는 웹 서버로부터 컨텐츠를 수신한다. 또한, 디스플레이 장치(100) 내에 마련되거나 디스플레이 장치(100)에 연결된 각종 기록 매체 재생 장치로부터 컨텐츠를 수신할 수도 있다. 기록 매체 재생 장치란 CD, DVD, 하드디스크, 블루레이 디스크, 메모리 카드, USB 메모리 등과 같은 다양한 유형의 기록 매체에 저장된 컨텐츠를 재생하는 장치를 의미한다.
방송국으로부터 컨텐츠를 수신하는 실시 예의 경우에는, 수신부(180)는 튜너(미도시), 복조기(미도시), 등화기(미도시) 등과 같은 구성을 포함하는 형태로 구현될 수 있다. 반면, 웹 서버와 같은 소스로부터 컨텐츠를 수신하는 실시 예의 경우에는, 수신부(180)는 네트워크 인터페이스 카드(미도시)로 구현될 수 있다. 또는, 상술한 각종 기록 매체 재생 장치로부터 컨텐츠를 수신하는 실시 예의 경우에는, 수신부(180)는 기록 매체 재생 장치와 연결된 인터페이스부(미도시)로 구현될 수 있다. 이와 같이, 수신부(180)는 실시 예에 따라 다양한 형태로 구현될 수 있다.
신호 처리부(190)는 수신부(180)를 통해 수신된 컨텐츠가 출력부(160)를 통해 출력될 수 있도록 컨텐츠에 대한 신호처리를 수행한다.
구체적으로, 신호 처리부(190)는 컨텐츠에 포함된 비디오 신호에 대해 디코딩, 스케일링 및 프레임 레이트 변환 등의 동작을 수행하여, 디스플레이부에서 출력 가능한 형태로 비디오 신호를 변환할 수 있다. 또한, 신호 처리부(190)는 컨텐츠에 포함된 오디오 신호에 대해 디코딩 등의 신호 처리를 수행하여 오디오 출력부에서 출력 가능한 형태로 오디오 신호를 변환할 수 있다.
도 6은 도 1에 도시된 전자 장치의 구성을 설명하기 위한 블럭도이다. 도 6에 따르면 전자 장치(200)는 저장부(210), 음성 수집부(220), 통신부(230), IR 발신부(240) 및 제어부(250)를 포함한다.
저장부(210)는 주변 기기 제어 정보를 저장한다. 주변 기기 제어 정보란, 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘 신호와 사용자 음성에 대응되는 제어 신호가 매칭된 정보이다. 한편, 다른 실시 예에 따르면, 주변 기기 제어 정보는, 디스플레이 장치(100)의 외부 입력 모드에 대한 정보를 더 포함할 수 있다.
저장부(210)는 RAM(Random Access Memory)과 같이 리드/라이트(read/write)가 가능한 다양한 기억 장치로 구현될 수 있으며, 설정 모드에서는 라이트 동작을, 동작 모드에서는 리드 동작을 수행할 수 있다.
음성 수집부(220)는 사용자 음성을 수집한다. 상술한 바와 같이 전자 장치(200)의 음성 수집부(220)는 디스플레이 장치(100)의 음성 수집부(140)와 그 기능이 동일하므로 자세한 설명은 생략하기로 한다.
통신부(230)는 디스플레이 장치(100)와 통신을 수행한다. 구체적으로, 통신부(230)는 디스플레이 장치(100)의 제1 통신부(110)와 연결되어 통신을 수행할 수 있다.
특히, 통신부(230)는 음성 수집부(220)를 통해 수집된 사용자 음성을 디스플레이 장치(100)로 전송하고, 디스플레이 장치(100)로부터 사용자 음성에 대응되는 제어 신호를 수신할 수 있다. 한편, 다른 실시 예에 따르면 통신부(230)는 제어 신호와 함께 디스플레이 장치의 외부 입력 모드에 대한 정보를 더 수신할 수 있다.
IR 발신부(240)는 주변 기기를 제어하기 위한 리모콘 신호를 전송한다. 구체적으로, IR 발신부(240)는 제어부(250)의 제어에 따라 통신부(230)에서 수신한 제어 신호에 대응되는 리모콘 신호를 주변 기기로 전송할 수 있다.
제어부(250)는 전자 장치(200)의 전반적인 동작을 제어한다. 구체적으로, 제어부(250)는 전자 장치(250)의 구성요소 각각을 제어하여 대응되는 동작을 수행하도록 할 수 있다. 특히, 제어부(250)는 동작 모드에서, 통신부(230)를 통해 사용자 음성에 대응되는 제어 신호가 수신되면 수신한 제어 신호를 저장부(210)의 주변 기기 제어 정보에 포함된 제어 신호와 비교하여, 일치하는 제어 신호에 대응되는 리모콘 신호를 주변 기기로 전송하도록 IR 발신부(240)를 제어할 수 있다.
다른 실시 예에 따르면, 동작 모드에서, 통신부(230)가 제어 신호와 함께 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하면, 제어부(250)는 수신된 제어 신호 및 외부 입력 모드에 대응되는 정보를 저장부(210)의 주변 기기 제어 정보에 포함된 제어 신호 및 외부 입력 모드에 대한 정보와 비교하여, 대응되는 리모콘 신호를 주변 기기로 전송하도록 IR 발신부(240)를 제어할 수 있다.
한편, IR 발신부(240)는 브로드캐스트 형식으로 디스플레이 장치의 주변 기기들로 리모콘 신호를 전송할 수 있으며, 전송된 리모콘 신호를 인식하는 주변 기기만이 리모콘 신호에 대응되는 동작을 수행하게 된다.
도 7은 도 6에 도시된 전자 장치의 세부 구성을 설명하기 위한 블록도이다. 도 7에 따르면 전자 장치(200)는 도 6에 도시된 구성 외에 IR 수신부(260)를 더 포함할 수 있다. IR 수신부(260) 이외의 구성들은 도 6에 도시된 구성과 그 기능이 동일하므로 자세한 설명은 생략하도록 한다.
IR 수신부(260)는 리모콘으로부터 리모콘 신호를 수신한다. 구체적으로, IR 수신부(260)는 설정 모드에서 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신할 수 있다.
제어부(250)는 통신부(230)를 제어하여 수신된 리모콘 신호에 대응하여 수집된 사용자 음성을 디스플레이 장치(100)로 전송하고, 디스플레이 장치(100)로부터 사용자 음성에 대응되는 제어 신호를 수신할 수 있다. 그리고, 수신된 리모콘 신호 및 제어 신호를 매칭시켜 주변 기기 제어 정보를 생성할 수 있으며, 생성된 주변 기기 제어 신호는 저장부(210)에 저장될 수 있다.
한편, 다른 실시 예에 따라, 통신부(230)가 디스플레이 장치(100)로부터 제어 신호뿐만 아니라 디스플레이 장치의 외부 입력 모드에 대한 정보를 함께 수신한 경우, 제어부(250)는 리모콘 신호, 제어 신호 및 외부 입력 모드에 대한 정보를 매칭시켜 주변 기기 제어 정보를 생성할 수 있다.
도 8은 도 1에 도시된 제1 서버의 구성을 설명하기 위한 블록도이다. 도 8에 도시된 바와 같이, 제1 서버(300)는 통신부(310) 및 제어부(320)를 포함한다.
통신부(310)는 디스플레이 장치(100)와 통신을 수행한다. 구체적으로, 통신부(310)는 디스플레이 장치(100)로부터 사용자의 음성을 수신하고, 사용자 음성에 대응되는 텍스트 정보를 디스플레이 장치(100)로 전송할 수 있다. 이를 위해, 통신부(310)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시), 네트워크 인터페이스(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다.
제어부(320)는 제1 서버(300)의 전반적인 동작을 제어한다. 특히, 제어부(320)는 디스플레이 장치(100)로부터 사용자의 음성이 수신되면, 사용자의 음성을 텍스트 정보를 생성하고, 이를 디스플레이 장치(100)로 전송하도록 통신부(310)를 제어한다.
구체적으로, 제어부(320)는 STT(Speech to Text) 엔진을 이용하여, 사용자의 음성을 텍스트 정보를 생성할 수 있다. 여기에서, STT 엔진은 음성 신호를 텍스트로 변환하기 위한 모듈로서, 종래 개시되어 있는 다양한 STT 알고리즘을 이용하여 음성 신호를 텍스트로 변환할 수 있다.
예를 들어, 제어부(320)는 수신된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 구체적으로, 제어부(320)는 수신된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 그리고, 제어부(220)은 검출된 음성 구간 내에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성하고, 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성할 수 있다.
도 9는 도 1에 도시된 제2 서버의 구성을 설명하기 위한 블록도이다. 도 9에 도시된 바와 같이, 제2 서버(400)는 통신부(410), 저장부(420) 및 제어부(430)를 포함한다.
통신부(410)는 디스플레이 장치(100)와 통신을 수행한다. 구체적으로, 통신부(410)는 디스플레이 장치(100)로부터 텍스트 정보를 수신하고, 텍스트 정보에 대응되는 응답 정보를 디스플레이 장치(100)로 전송할 수 있다. 이를 위해, 통신부(410)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다.
저장부(420)는 디스플레이 장치(100)로부터 수신된 텍스트 정보에 대응되는 제어 신호 및 응답 메시지 정보를 생성하기 위한 다양한 정보를 저장한다.
구체적으로, 저장부(420)는 특정 서비스 도메인마다 기정의된 화행, 주행 및 핵심 요소를 저장하고 있을 수 있다. 예를 들어, 방송 도메인인 경우, 화행은 서술문(Statement), 요청문(Request), Why 의문문(WH-Question), Yes-No 의문문(YN-Question) 등을 포함하고, 주행은 TV 온/오프, 프로그램 찾기, 프로그램 시간 찾기, 프로그램 예약 등을 포함하고, 핵심 요소는 장르, 프로그램명, 시작시간, 채널명, 배우 이름 등을 포함할 수 있다.
또한, 저장부(420)는 각 도메인별로 사용자의 발화 의도에 대응되는 답변을 저장하는 말뭉치(corpus) 데이터베이스를 포함할 수 있다. 예를 들어, 방송 서비스 도메인에서 특정 프로그램의 장르를 문의하는 사용자의 발화 의도에 대응되는 답변으로 ".... 프로그램의 장르는 .... 입니다"를 저장할 수 있으며, 프로그램 시작시간을 문의하는 사용자의 발화 의도에 대응되는 답변으로 ".... 프로그램의 시작시간을 .... 입니다"를 저장할 수 있다.
그리고, 저장부(420)는 사용자의 발화 의도별로 매칭되는 제어 신호를 저장하고 있을 수 있다. 예를 들어, 사용자의 발화 의도가 채널 변경인 경우 채널을 변경하기 위한 제어 신호를 매칭시켜 저장하고, 사용자의 발화 의도가 예약 녹화인 경우 특정 프로그램에 대한 예약 녹화 기능을 실행시키기 위한 제어 명령을 매칭시켜 저장하고 있을 수 있다.
제어부(430)는 제2 서버(400)의 전반적인 동작을 제어한다. 특히, 통신부(410)를 통해 디스플레이 장치(100)로부터 사용자의 음성에 대응되는 텍스트 정보가 수신되면, 제어부(430)는 수신된 텍스트 정보에 대응하는 제어 신호 및 응답 메시지 정보중 적어도 하나를 생성하고, 생성된 제어 신호 및 응답 메시지 정보를 통신부(410)를 통해 디스플레이 장치(100)로 전송하도록 제어할 수 있다.
구체적으로, 제어부(430)는 저장부(420)에 화행, 주행 및 핵심 요소를 이용하여 디스플레이 장치(100)로부터 수신된 텍스트 정보에 대응되는 사용자의 발화 의도를 파악하고, 사용자의 발화 의도에 대응되는 제어 명령 및 답변을 응답 정보로서 생성할 수 있다.
예를 들어, "○○○(방송 프로그램명)를 예약 해줘"라는 텍스트가 디스플레이 장치(100)로부터 수신된 경우를 가정한다. 이 경우, 제어부(430)는 화행을 통해 수신된 텍스트가 "요청"과 관련된 문장 형태인 것으로 판단하고, 주행 및 핵심 요소를 통해 "○○○"에 대한 "프로그램 예약"을 원하는 것으로 판단한다. 결과적으로, 제어부(430)는 수신된 텍스트 정보에 대응되는 사용자의 발화 의도는 "○○○"에 대해 "프로그램 예약"을 "요청"하는 것으로 판단할 수 있다.
이에 따라, 제어부(430)는 "○○○"에 대해 "프로그램 예약"을 "요청"하는 사용자의 발화 의도에 대해 디스플레이 장치(100)에서 "○○○"의 예약 녹화 기능을 수행하기 위한 제어 신호를 생성할 수 있다. 이 경우, 제어부(430)는 말뭉치 DB를 이용하여, "○○○의 녹화가 예약되었습니다"라는 응답 메시지 정보를 텍스트 형태로 추가적으로 생성하여, 제어 신호와 함께 디스플레이 장치(100)로 전송할 수 있다.
한편, 통신부(410)가 디스플레이 장치(100)로부터 텍스트 정보뿐만 아니라 디스플레이 장치의 외부 입력 모드에 대한 정보를 함께 수신한 경우, 제어부(430)는 텍스트 정보뿐만 아니라 외부 입력 모드에 대한 정보를 고려하여 제어 신호를 생성할 수 있다. 구체적으로, 제어부(430)는 동일한 텍스트 정보에 대해서도 디스플레이 장치의 외부 입력 모드가 상이한 경우 상이한 제어 신호를 디스플레이 장치(100)로 전송하도록 제어할 수 있다.
이에 따라, 복수의 주변 기기가 존재하는 경우에도 전자 장치(200)는 디스플레이 장치의 현재 외부 입력 모드에 따라 사용자가 제어하고자 하는 특정 주변 기기에 대한 리모콘 신호를 전송할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
전자 장치는 주변 기기 제어 정보를 저장한다(S1010). 구체적으로, 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘 신호와 사용자 음성에 대응되는 제어 신호가 매칭된 주변 기기 제어 정보를 저장할 수 있다.
여기서, 저장하는 단계(S1010)는, 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신하는 단계, 수신된 리모콘 신호에 대응하여 사용자 음성을 수집하는 단계, 수집된 사용자 음성을 디스플레이 장치로 전송하는 단계, 디스플레이 장치로부터 사용자 음성에 대응되는 제어 신호를 수신하는 단계 및 수신된 리모콘 신호 및 제어 신호가 매칭된 주변 기기 제어 정보를 생성하여 저장하는 단계를 포함할 수 있다.
다른 실시 예에 따르면, 저장하는 단계(S1010)는, 디스플레이 장치의 주변 기기를 제어하기 위한 리모콘으로부터 리모콘 신호를 수신하는 단계, 수신된 리모콘 신호에 대응하여 사용자 음성을 수집하는 단계, 수집된 사용자 음성을 디스플레이 장치로 전송하는 단계, 디스플레이 장치로부터 사용자 음성에 대응되는 제어 신호 및 디스플레이 장치의 외부 입력 모드에 대한 정보를 수신하는 단계 및 수신된 리모콘 신호, 제어 신호 및 외부 입력 모드에 대한 정보가 매칭된 주변 기기 제어 정보를 생성하여 저장하는 단계를 포함할 수 있다.
그리고, 전자 장치는 사용자 음성을 수집하여(S1020), 수집된 사용자 음성을 디스플레이 장치로 전송한다(S1030).
이후, 디스플레이 장치로부터 사용자 음성에 대응되는 제어 신호를 수신하고(S1040), 수신된 제어 신호에 대응되는 리모콘 신호를 주변 기기로 전송한다(S1050). 구체적으로, 저장하는 단계(S1010)에서 저장된 주변 기기 제어 정보의 제어 신호와 수신된 제어 신호를 비교하여 대응되는 리모콘 신호를 주변 기기로 전송할 수 있다.
다른 실시 예에 따르면, 제어 신호를 수신하는 단계(S1040)는 디스플레이 장치로부터 제어 신호뿐만 아니라 디스플레이 장치의 외부 입력 모드에 대한 정보를 함께 수신하며, 리모콘 신호를 주변 기기로 전송하는 단계(S1050)는, 수신된 제어 신호 및 외부 입력 모드에 대한 정보에 대응되는 리모콘 신호를 주변 기기로 전송할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치로부터 사용자 음성을 수신한다(S1110). 그리고, 수신된 사용자 음성을 음성 인식 기능을 수행하는 서버로 전송한다(S1120). 서버로부터 사용자 음성에 대응되는 제어 신호를 수신하면(S1130), 수신한 제어 신호를 전자 장치로 전송한다(S1140).
한편, 사용자 음성이 수신되면 외부 입력 모드를 판단하는 단계 및 판단된 외부 입력 모드에 대한 정보를 서버로 전송하는 단계를 더 포함할 수 있으며, 이에 따라, 제어 신호를 수신하는 단계(S1130)는, 사용자 음성에 대응되는 제어 신호 및 외부 입력 모드에 대한 정보에 대응되는 제어 신호를 수신할 수 있다.
또는 사용자 음성이 수신되면 외부 입력 모드를 판단하는 단계 및 판단된 외부 입력 모드에 대한 정보를 전자 장치로 전송하는 단계를 더 포함할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 전자 장치의 제어 방법 및 디스플레이 장치의 제어 방법은 전자 장치 및 디스플레이 장치에서 실행 가능한 프로그램으로 구현될 수 있다. 그리고, 이러한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 다양한 유형의 비휘발성 기록 매체에 저장되어 있을 수 있다.
또한, 디스플레이 장치, 전자 장치 및 서버에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치, 전자 장치 및 서버에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 디스플레이 장치 110 : 제1 통신부
120 : 제2 통신부 130 : 제어부
140 : 음성 수집부 150 : 입력부
160 : 출력부 170 : 저장부
180 : 수신부 190 : 신호 처리부
200 : 전자 장치 210 : 저장부
220 : 음성 수집부 230 : 통신부
240 : IR 발신부 250 : 제어부
260 : IR 수신부 300 : 제1 서버
310 : 통신부 320 : 제어부
400 : 제2 서버 410 : 통신부
420 : 저장부 430 : 제어부

Claims (19)

  1. 주변 기기를 제어하기 위한 전자 장치와 통신을 수행하는 디스플레이 장치에 있어서,
    제1 통신 방법에 따라 상기 전자 장치와 통신을 수행하는 제1 통신부;
    상기 제1 통신 방법에 따라 음성 인식 기능을 수행하는 서버와 통신을 수행하는 제2 통신부; 및
    상기 전자 장치로부터 사용자 음성이 수신되면 상기 서버를 통해 상기 사용자 음성에 대한 음성 인식을 수행하고, 상기 제1 통신 방법에 따라 소정의 신호를 상기 전자 장치로 전송하도록 제어하는 제어부;를 포함하며,
    상기 소정의 신호는,
    상기 전자 장치에서 제2 통신 방법에 따라 상기 주변 기기로 전송되어 상기 주변 기기를 제어하기 위한 신호인 것을 특징으로 하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 전자 장치로부터 상기 사용자 음성이 수신되면, 상기 사용자 음성을 상기 서버로 전송하고, 상기 서버로부터 상기 사용자 음성에 대응되는 소정의 신호를 수신하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제1 통신 방법은,
    와이파이(Wifi), 블루투스(bluetooth), IRDA(Infrared Data Association), RF(Radio Frequency), IEEE 802.11, WLAN, HR WPAN, UWB, LR WPAN, IEEE 1394 중 적어도 하나에 의한 통신 방법인 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 제2 통신 방법은,
    IR(Infrared Ray)에 의한 통신 방법인 것을 특징으로 하는 디스플레이 장치.
  5. 제2항에 있어서,
    상기 제어부는,
    상기 사용자 음성을 제1 서버로 전송하고, 상기 제1 서버로부터 상기 사용자 음성이 변환된 텍스트 정보를 수신하며, 상기 텍스트 정보를 제2 서버로 전송하고, 상기 제2 서버로부터 상기 텍스트 정보에 대응되는 소정의 신호를 수신하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 소정의 신호는,
    상기 전자 장치에서 상기 주변 기기를 제어하기 위한 리모콘 신호에 매칭되는 제어 신호인 것을 특징으로 하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 전자 장치는,
    MBR(Multi Brand Remote controller)인 것을 특징으로 하는 디스플레이 장치.
  8. 제2항에 있어서,
    상기 제어부는,
    상기 사용자 음성이 수신되면 외부 입력 모드를 판단하고 판단된 외부 입력 모드에 대한 정보를 상기 사용자 음성과 함께 상기 서버로 전송하고, 상기 서버로부터 상기 외부 입력 모드에 대한 정보 및 상기 사용자 음성에 대응되는 소정의 신호를 수신하여 상기 전자 장치로 전송하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  9. 제2항에 있어서,
    상기 제어부는,
    상기 사용자 음성이 수신되면 상기 디스플레이 장치의 외부 입력 모드에 대한 정보를 상기 서버로부터 수신된 소정의 신호와 함께 상기 전자 장치로 전송하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  10. 주변 기기를 제어하기 위한 전자 장치와 통신을 수행하는 디스플레이 장치의 제어 방법에 있어서,
    제1 통신 방법에 따라 상기 전자 장치로부터 사용자 음성을 수신하는 단계;
    음성 인식 기능을 수행하는 서버를 통해 상기 사용자 음성에 대한 음성 인식을 수행하는 단계;
    상기 제1 통신 방법에 따라 소정의 신호를 상기 전자 장치로 전송하는 단계;를 포함하며,
    상기 소정의 신호는,
    상기 전자 장치에서 제2 통신 방법에 따라 상기 주변 기기로 전송되어 상기 주변 기기를 제어하기 위한 신호인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 음성 인식을 수행하는 단계는,
    상기 사용자 음성을 상기 서버로 전송하는 단계; 및
    상기 서버로부터 상기 사용자 음성에 대응되는 소정의 신호를 수신하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  12. 제10항에 있어서,
    상기 제1 통신 방법은,
    와이파이(Wifi), 블루투스(bluetooth), IRDA(Infrared Data Association), RF(Radio Frequency), IEEE 802.11, WLAN, HR WPAN, UWB, LR WPAN, IEEE 1394 중 적어도 하나에 의한 통신 방법인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  13. 제10항에 있어서,
    상기 제2 통신 방법은,
    IR(Infrared Ray)에 의한 통신 방법인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 음성 인식을 수행하는 단계는,
    상기 사용자 음성을 제1 서버로 전송하는 단계;
    상기 제1 서버로부터 상기 사용자 음성이 변환된 텍스트 정보를 수신하는 단계;
    상기 텍스트 정보를 제2 서버로 전송하는 단계; 및
    상기 제2 서버로부터 상기 텍스트 정보에 대응되는 소정의 신호를 수신하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  15. 제10항에 있어서,
    상기 소정의 신호는,
    상기 전자 장치에서 상기 주변 기기를 제어하기 위한 리모콘 신호에 매칭되는 제어 신호인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 제10항에 있어서,
    상기 전자 장치는,
    MBR(Multi Brand Remote controller)인 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  17. 제10항에 있어서,
    상기 사용자 음성이 수신되면 상기 디스플레이 장치의 외부 입력 모드에 대한 정보를 상기 서버로 전송하는 단계;를 더 포함하며,
    상기 소정의 신호를 수신하는 단계는,
    상기 서버로부터 상기 외부 입력 모드에 대한 정보 및 상기 사용자 음성에 대응되는 제어 신호를 수신하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  18. 제10항에 있어서,
    상기 사용자 음성이 수신되면 상기 디스플레이 장치의 외부 입력 모드에 대한 정보를 상기 전자 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  19. 디스플레이 장치 및 상기 디스플레이 장치의 주변 기기를 제어하기 위한 전자 장치를 포함하는 대화형 시스템에 있어서,
    제1 통신 방법에 따라, 수집된 사용자 음성을 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치로부터 상기 사용자 음성에 대응되는 소정의 신호를 수신하며, 제2 통신 방법에 따라, 상기 주변 기기를 제어하기 위한 상기 소정의 신호를 상기 주변 기기로 전송하는 전자 장치; 및
    상기 전자 장치로부터 사용자 음성이 수신되면 음성 인식 기능을 수행하는 서버를 통해 상기 사용자 음성에 대한 음성 인식을 수행하고, 상기 제1 통신 방법에 따라 상기 소정의 신호를 상기 전자 장치로 전송하는 디스플레이 장치;를 포함하는 대화형 시스템.
KR1020120071361A 2012-06-29 2012-06-29 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법 Active KR101605862B1 (ko)

Priority Applications (13)

Application Number Priority Date Filing Date Title
KR1020120071361A KR101605862B1 (ko) 2012-06-29 2012-06-29 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
US13/919,358 US8983299B2 (en) 2012-06-29 2013-06-17 Display apparatus, electronic device, interactive system, and controlling methods thereof
EP21150090.5A EP3833036A1 (en) 2012-06-29 2013-06-24 Display apparatus, electronic device, interactive system, and controlling methods thereof
DE202013012886.0U DE202013012886U1 (de) 2012-06-29 2013-06-24 Anzeigeeinrichtung, elektronische Einrichtung und interaktives System
EP18179523.8A EP3402210B1 (en) 2012-06-29 2013-06-24 Display apparatus, electronic device, interactive system, and controlling methods thereof
EP13173433.7A EP2680597B1 (en) 2012-06-29 2013-06-24 Display apparatus, electronic device, interactive system, and controlling methods thereof
EP17165886.7A EP3214842B1 (en) 2012-06-29 2013-06-24 Display apparatus, electronic device, interactive system, and controlling methods thereof
CN201310254630.7A CN103517120B (zh) 2012-06-29 2013-06-25 显示装置、电子设备、交互式系统及其控制方法
CN201710483525.9A CN107197348B (zh) 2012-06-29 2013-06-25 显示装置、电子设备、交互式系统及其控制方法
JP2013133954A JP6440346B2 (ja) 2012-06-29 2013-06-26 ディスプレイ装置、電子装置、対話型システム及びそれらの制御方法
US14/965,196 USRE47168E1 (en) 2012-06-29 2015-12-10 Display apparatus, electronic device, interactive system, and controlling methods thereof
US16/179,398 USRE48423E1 (en) 2012-06-29 2018-11-02 Display apparatus, electronic device, interactive system, and controlling methods thereof
US17/143,364 USRE49493E1 (en) 2012-06-29 2021-01-07 Display apparatus, electronic device, interactive system, and controlling methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071361A KR101605862B1 (ko) 2012-06-29 2012-06-29 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160032339A Division KR101859614B1 (ko) 2016-03-17 2016-03-17 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법

Publications (2)

Publication Number Publication Date
KR20140002417A KR20140002417A (ko) 2014-01-08
KR101605862B1 true KR101605862B1 (ko) 2016-03-24

Family

ID=48747917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071361A Active KR101605862B1 (ko) 2012-06-29 2012-06-29 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법

Country Status (6)

Country Link
US (4) US8983299B2 (ko)
EP (4) EP3402210B1 (ko)
JP (1) JP6440346B2 (ko)
KR (1) KR101605862B1 (ko)
CN (2) CN103517120B (ko)
DE (1) DE202013012886U1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101605862B1 (ko) 2012-06-29 2016-03-24 삼성전자주식회사 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
CN104854230A (zh) * 2012-12-12 2015-08-19 日立化成株式会社 癌细胞分离装置及癌细胞分离方法
US10585568B1 (en) 2013-02-22 2020-03-10 The Directv Group, Inc. Method and system of bookmarking content in a mobile device
JP2015177273A (ja) * 2014-03-14 2015-10-05 ソニー株式会社 電子機器、通信システム、電子機器の制御方法およびプログラム
WO2015168485A2 (en) 2014-04-30 2015-11-05 Michael Flynn Mobile computing system with user preferred interactive components
KR102147346B1 (ko) * 2014-06-23 2020-08-24 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US20160174272A1 (en) * 2014-12-16 2016-06-16 Qualcomm Incorporated Method and system for automating and assisting wi-fi direct connections using mobile-device ir-blaster
CN105842964A (zh) * 2015-01-14 2016-08-10 中强光电股份有限公司 投影系统、投影装置及投影装置的操作方法
CN104936020B (zh) * 2015-06-25 2019-04-02 四川迪佳通电子有限公司 基于机顶盒的远场拾音遥控方法及系统
KR102549407B1 (ko) 2015-10-14 2023-06-30 삼성전자주식회사 전자장치 및 그 제어방법
WO2018005334A1 (en) * 2016-06-27 2018-01-04 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
KR102628856B1 (ko) 2017-01-04 2024-01-25 삼성전자주식회사 전자 장치 간 콘텐츠 공유 시스템 및 전자 장치의 콘텐츠 공유 방법
RU2020110399A (ru) 2017-10-03 2021-11-09 Крититек, Инк. Местная доставка противоопухолевых частиц в комбинации с системной доставкой иммунотерапевтических агентов для лечения рака
CN111656445B (zh) * 2017-10-27 2023-10-27 弗劳恩霍夫应用研究促进协会 解码器处的噪声衰减
US10847176B2 (en) 2018-03-12 2020-11-24 Amazon Technologies, Inc. Detection of TV state using sub-audible signal
US10560737B2 (en) * 2018-03-12 2020-02-11 Amazon Technologies, Inc. Voice-controlled multimedia device
CN108600060A (zh) * 2018-04-28 2018-09-28 杭州任你说智能科技有限公司 一种智能语音红外控制家用电器的系统和方法
JP7314102B2 (ja) * 2020-07-09 2023-07-25 Ｔｖｓ Ｒｅｇｚａ株式会社 制御信号生成回路、受信装置、システム、生成方法、およびプログラム
KR20220057046A (ko) 2020-10-29 2022-05-09 삼성전자주식회사 전자 장치 및 전자 장치에서 태스크 수행을 위한 장치를 결정하는 방법
CN116508080B (zh) * 2020-11-27 2024-11-08 Abb瑞士股份有限公司 人机接口、控制器、机器人以及对应的系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337866A (ja) 2002-05-20 2003-11-28 Shimizu Corp 室内環境・情報管理統合化システム
JP2005072764A (ja) 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
US8032383B1 (en) 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930006419B1 (ko) * 1990-10-26 1993-07-14 삼성전자 주식회사 재편성원격제어송신기의 모드전환 및 표시방법
JP3045796B2 (ja) 1991-03-14 2000-05-29 富士通株式会社 画像伝送装置
IL119948A (en) 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
JP2001145180A (ja) * 1999-11-10 2001-05-25 Nec Corp 電化製品集中制御システム及び遠隔制御装置
JP2002101476A (ja) 2000-09-25 2002-04-05 Toshiba Corp 情報処理装置
JP3309389B2 (ja) 2000-09-26 2002-07-29 船井電機株式会社 マルチリモートコントロール送信装置、映像装置及び同装置のフォーマットプリセット支援方法
US6757039B2 (en) 2002-06-17 2004-06-29 Yao-Dong Ma Paper white cholesteric displays employing reflective elliptical polarizer
US20040203387A1 (en) * 2003-03-31 2004-10-14 Sbc Knowledge Ventures, L.P. System and method for controlling appliances with a wireless data enabled remote control
JP2005065156A (ja) * 2003-08-20 2005-03-10 Victor Co Of Japan Ltd 音声認識処理システム及びそれに用いる映像信号記録再生装置
KR20050066464A (ko) 2003-12-26 2005-06-30 엘지전자 주식회사 다기능 리모콘
CN1949756A (zh) * 2006-09-06 2007-04-18 华为技术有限公司 基于语音的人机通讯系统和方法
US9311394B2 (en) 2006-10-31 2016-04-12 Sony Corporation Speech recognition for internet video search and navigation
US20080208589A1 (en) 2007-02-27 2008-08-28 Cross Charles W Presenting Supplemental Content For Digital Media Using A Multimodal Application
US8175885B2 (en) * 2007-07-23 2012-05-08 Verizon Patent And Licensing Inc. Controlling a set-top box via remote speech recognition
JP2010109446A (ja) * 2008-10-28 2010-05-13 Sony Corp 制御装置、電子機器の制御システム、および電子機器の制御方法
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
ES2382747B1 (es) 2009-06-30 2013-05-08 Telefónica, S.A. Interaccion multimodal sobre aplicaciones de television digital
US20110067059A1 (en) * 2009-09-15 2011-03-17 At&T Intellectual Property I, L.P. Media control
CN101719998B (zh) * 2009-12-03 2012-01-25 四川长虹电器股份有限公司 家电设备集中控制系统及方法
EP4318463A3 (en) 2009-12-23 2024-02-28 Google LLC Multi-modal input on an electronic device
CN101938391A (zh) * 2010-08-31 2011-01-05 中山大学 一种处理语音的方法、系统、遥控器、机顶盒、云服务器
US20130229584A1 (en) * 2010-11-09 2013-09-05 Thomson Licensing Systems and methods for multi-band set top box control of a display device
CN102196207B (zh) * 2011-05-12 2014-06-18 深圳市车音网科技有限公司 语音控制电视机的方法、装置和系统
CN202190331U (zh) * 2011-05-12 2012-04-11 深圳市子栋科技有限公司 语音控制电视机的系统和装置
KR101605862B1 (ko) * 2012-06-29 2016-03-24 삼성전자주식회사 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003337866A (ja) 2002-05-20 2003-11-28 Shimizu Corp 室内環境・情報管理統合化システム
JP2005072764A (ja) 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
US8032383B1 (en) 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet

Also Published As

Publication number Publication date
EP3402210B1 (en) 2021-05-19
EP3833036A1 (en) 2021-06-09
CN103517120B (zh) 2018-06-08
CN107197348B (zh) 2019-06-18
JP2014011803A (ja) 2014-01-20
EP2680597A3 (en) 2014-09-03
EP3402210A1 (en) 2018-11-14
KR20140002417A (ko) 2014-01-08
DE202013012886U1 (de) 2021-02-24
CN103517120A (zh) 2014-01-15
JP6440346B2 (ja) 2018-12-19
US20140003820A1 (en) 2014-01-02
EP3214842B1 (en) 2018-08-08
USRE49493E1 (en) 2023-04-11
USRE48423E1 (en) 2021-02-02
EP3214842A1 (en) 2017-09-06
EP2680597A2 (en) 2014-01-01
CN107197348A (zh) 2017-09-22
US8983299B2 (en) 2015-03-17
EP2680597B1 (en) 2017-06-14
USRE47168E1 (en) 2018-12-18

Similar Documents

Publication Publication Date Title
KR101605862B1 (ko) 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
KR102056461B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
EP2674941B1 (en) Terminal apparatus and control method thereof
US9219949B2 (en) Display apparatus, interactive server, and method for providing response information
KR101309794B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
US20140195230A1 (en) Display apparatus and method for controlling the same
CN103916704A (zh) 对话型接口设备及其控制方法
CN103517094A (zh) 服务器和控制该服务器的方法
CN103546763A (zh) 用于提供内容信息的方法和广播接收设备
KR101859614B1 (ko) 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
KR102160756B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20140026220A (ko) 단말 장치 및 단말 장치의 제어 방법
KR102091006B1 (ko) 디스플레이 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120629

PG1501 Laying open of application
A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150730

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120629

Comment text: Patent Application

PA0302 Request for accelerated examination

Patent event date: 20150730

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20120629

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151120

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160304

A107 Divisional application of patent
GRNT Written decision to grant
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20160317

Patent event code: PA01071R01D

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160317

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160318

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190227

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20200227

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 9

End annual number: 9