[go: up one dir, main page]

KR20150022476A - 디스플레이장치 및 그 제어방법 - Google Patents

디스플레이장치 및 그 제어방법 Download PDF

Info

Publication number
KR20150022476A
KR20150022476A KR20130100404A KR20130100404A KR20150022476A KR 20150022476 A KR20150022476 A KR 20150022476A KR 20130100404 A KR20130100404 A KR 20130100404A KR 20130100404 A KR20130100404 A KR 20130100404A KR 20150022476 A KR20150022476 A KR 20150022476A
Authority
KR
South Korea
Prior art keywords
voice
receiving unit
audio
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR20130100404A
Other languages
English (en)
Inventor
최훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130100404A priority Critical patent/KR20150022476A/ko
Priority to US14/255,217 priority patent/US9402094B2/en
Priority to EP14170696.0A priority patent/EP2840571B1/en
Publication of KR20150022476A publication Critical patent/KR20150022476A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 디스플레이장치는, 영상신호에 기초하여 영상을 표시하는 디스플레이부와; 음성신호에 기초하여 제1음성을 출력하는 음성출력부와; 상기 제1음성과, 사용자의 제2음성의 제1합성음성을 수신하는 제1음성수신부와; 상기 제1음성수신부와 소정 거리 이격되어 마련되어, 상기 제1음성과, 상기 제2음성의 제2합성음성을 수신하는 제2음성수신부와; 상기 제1합성음성 및 상기 제2합성음성에 기초하여 얻어진 상기 사용자의 제2음성에 따라 제어를 수행하는 제어부를 포함한다.
이에 의하여, 사용자의 음성 인식에 있어서, 비용 상승이나, 공간적인 제약 없이, 높은 신뢰성으로 디스플레이장치에서 출력되는 음성을 제거할 수 있다.

Description

디스플레이장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는, 사용자의 음성 명령에 따라 동작하는 디스플레이장치 및 그 제어방법에 관한 것이다.
스마트 TV와 같은 디스플레이장치에서, 음성(voice) 인식이나, 모션 인식 기술이 보편화 되었고, 이를 위해 디스플레이장치에 마이크나, 카메라가 설치된다. 디스플레이장치는 마이크를 통해 들어온 사용자의 음성에 대하여 음성 인식을 수행하고, 카메라를 통한 영상에 대하여 모션 인식을 수행한다.
한편, 마이크를 이용한 음성 인식에 있어서, 사용자의 음성의 내용을 정확히 인식하기 위하여, 디스플레이장치에서 출력되는 음성(sound)을 노이즈로 보아 이를 제거(canceling)해야 한다. 하나의 예로서, 외장형 마이크의 경우, 음성 제거를 위하여, 별도의 신호선을 외장형 마이크에 연결하여 디스플레이장치에서 출력되는 음성의 정보를 전달하도록 구현된다. 그러나, 이러한 음성 정보의 전달을 위한 별도의 신호선의 연결은 디스플레이장치의 제조 비용의 상승이나, 설계에 있어서의 공간적인 제약을 야기할 수 있다.
나아가, 마이크를 내장하는 경우라도, 디스플레이장치의 설치 환경이나, 디스플레이장치의 음성을 출력하는 스피커의 성능 혹은 상태 등에 따라 디스플레이장치 내부의 음성의 정보가 실제 출력되는 음성과 맞지 않을 수도 있다. 따라서, 이러한 경우 음성 제거의 신뢰성이 저감하여 문제가 된다.
따라서 본 발명의 목적은, 사용자의 음성 인식에 있어서, 비용 상승이나, 공간적인 제약 없이, 높은 신뢰성으로 디스플레이장치에서 출력되는 음성을 제거할 수 있는 디스플레이장치 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 디스플레이장치에 있어서, 영상신호에 기초하여 영상을 표시하는 디스플레이부와; 음성신호에 기초하여 제1음성을 출력하는 음성출력부와; 상기 제1음성과, 사용자의 제2음성의 제1합성음성을 수신하는 제1음성수신부와; 상기 제1음성수신부와 소정 거리 이격되어 마련되어, 상기 제1음성과, 상기 제2음성의 제2합성음성을 수신하는 제2음성수신부와; 상기 제1합성음성 및 상기 제2합성음성에 기초하여 얻어진 상기 사용자의 제2음성에 따라 제어를 수행하는 제어부를 포함하는 디스플레이장치에 의해서 달성될 수 있다.
상기 제1음성수신부는 상기 음성출력부 측에 가깝게 마련되고, 상기 제2음성수신부는 상기 사용자 측에 가깝게 마련될 수 있다.
상기 사용자의 제2음성은, 상기 제1음성 및 상기 제2음성에 대한 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비에 기초하여 얻어질 수 있다.
상기 제어부는 테스트음성에 기초하여 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비를 결정할 수 있다.
상기 테스트음성은, 복수의 주파수영역 각각에 대응하는 복수의 테스트음성을 포함할 수 있다.
디스플레이장치는, 상기 테스트음성에 기초하여 결정된 상기 수신비에 관한 정보를 저장하는 저장부를 더 포함할 수 있다.
디스플레이장치는, 사용자의 조작명령을 수신하는 조작명령수신부를 더 포함하고, 상기 제어부는, 상기 사용자의 조작명령에 따라 상기 테스트음성에 기초하여 테스트를 수행하고, 상기 결정된 수신비에 관한 정보를 상기 저장부에 저장할 수 있다.
디스플레이장치는, 상기 제1음성수신부 및 상기 제2음성수신부가 마련된 외장음성수신부와 연결되어, 상기 외장음성수신부로부터 상기 얻어진 제2음성을 수신하는 연결부를 더 포함할 수 있다.
본 발명의 상기 목적은, 디스플레이장치의 제어방법에 있어서, 영상신호에 기초하여 영상을 표시하는 단계와; 음성신호에 기초하여 제1음성을 출력하는 하는 단계와; 제1음성수신부를 이용하여 상기 제1음성과, 사용자의 제2음성의 제1합성음성을 수신하고, 상기 제1음성수신부와 소정 거리 이격되어 마련되는 제2음성수신부를 이용하여, 상기 제1음성과, 상기 제2음성의 제2합성음성을 수신하는 단계와; 상기 제1합성음성 및 상기 제2합성음성에 기초하여 얻어진 상기 사용자의 제2음성에 따라 동작하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
상기 제1음성수신부는 상기 음성출력부 측에 가깝게 마련되고, 상기 제2음성수신부는 상기 사용자 측에 가깝게 마련될 수 있다.
상기 사용자의 제2음성은, 상기 제1음성 및 상기 제2음성에 대한 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비에 기초하여 얻어질 수 있다.
디스플레이장치의 제어방법은, 테스트음성에 기초하여 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비를 결정하는 단계를 포함할 수 있다.
상기 테스트음성은, 복수의 주파수영역 각각에 대응하는 복수의 테스트음성을 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 테스트음성에 기초하여 결정된 상기 수신비에 관한 정보를 저장부에 저장하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 사용자의 조작명령을 수신하는 단계를 더 포함하고, 상기 저장하는 단계는, 상기 사용자의 조작명령에 따라 상기 테스트음성에 기초하여 테스트를 수행하고, 상기 결정된 수신비에 관한 정보를 상기 저장부에 저장하는 단계를 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 제1음성수신부 및 상기 제2음성수신부가 마련된 외장음성수신부로부터 상기 얻어진 제2음성을 수신하는 단계를 더 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 사용자의 음성 인식에 있어서, 비용 상승이나, 공간적인 제약 없이, 높은 신뢰성으로 디스플레이장치에서 출력되는 음성을 제거할 수 있다.
도 1은 본 발명의 일실시예에 의한 디스플레이장치를 도시하며,
도 2는 본 발명의 일실시예에 의한 디스플레이장치의 구성을 도시한 블록도이며,
도 3은 본 발명의 일실시예에 의한 제1음성수신부 및 제2음성수신부를 도시하며,
도 4는 본 발명의 일실시예에 의한 음성처리부를 도시하며,
도 5는 본 발명의 일실시예에 의한 디스플레이장치의 동작을 도시하는 흐름도이며,
도 6은 본 발명의 다른 실시예에 의한 디스플레이장치의 구성을 도시한 블록도이며,
도 7은 본 발명의 다른 실시예에 의한 제1음성수신부 및 제2음성수신부를 도시한다.
이하, 본 발명의 일실시예에 관하여 상세히 설명한다. 도 1은 본 발명의 일실시예에 의한 디스플레이장치를 도시한다. 디스플레이장치(1)는 예컨대 TV로 구현될 수 있다. 디스플레이장치(1)는 영상(11)과, 음성(12; 이하, '제1음성'이라고도 함)을 출력한다. 사용자(2)는 디스플레이장치(1)에서 출력되는 영상(11)과, 음성(12)을 감상하면서, 자신의 음성(13; 이하, '제2음성'이라고도 함)으로 디스플레이장치(1)를 제어할 수 있다. 디스플레이장치(1)는 사용자(2)의 제2음성(13)을 수신하고, 이를 인식하여, 인식된 명령에 따라 동작을 수행한다. 예컨대, 디스플레이장치(1)는 볼륨을 증가 혹은 감소시키거나, 컨텐츠를 재생 혹은 일시정지시키거나, 전원을 온/오프할 수 있다.
디스플레이장치(1)는 사용자(2)의 제2음성(13)을 인식함에 있어서, 디스플레이장치(1)에서 출력되는 제1음성(12)을 노이즈로서 제거한다. 디스플레이장치(1)는 2개의 음성수신부(도 2 및 4의 부호 24 및 25 참조)를 구비하고, 2개의 음성수신부 각각을 통하여 수신되는 제1음성(12)과, 제2음성(13)의 합성음성에 기초하여 사용자(2)의 제2음성(13)을 얻어낸다. 따라서, 본 실시예에 의하면, 별도의 신호선 등이 불필요하므로, 제조 비용의 상승이나, 설계 상의 공간적인 제약이 발생하지 않는다. 또한, 본 실시예에 의하면, 실제 출력되는 디스플레이장치(1)의 제1음성(12)이 반영된 합성음성으로부터 사용자의 제2음성(13)을 얻어내므로, 보다 신뢰성 높은 음성 제거를 수행할 수 있다.
도 2는 본 발명의 일실시예에 의한 디스플레이장치(1)의 구성을 도시한 블록도이다. 디스플레이장치(1)는 신호수신부(21; signal receiver), 영상처리부(22; image processor), 디스플레이부(23; display), 제1음성수신부(24; first sound receiver), 제2음성수신부(25; second sound receiver), 제어부(26; controller), 음성처리부(27; sound processor) 및 음성출력부(28; sound output)를 포함할 수 있다. 다만, 도 2에 도시된 디스플레이장치(1)의 구성은 하나의 실시예에 불과하며, 경우에 따라서는 이와 다르게 구성될 수도 있다. 즉, 도시되지는 않았으나, 도 2에 도시된 디스플레이장치(1)의 구성 중 적어도 어느 하나가 배제되거나, 새로운 구성이 추가될 수도 있다.
신호수신부(21)는 영상신호(video signal) 및 음성신호(sound signal)를 수신한다. 신호수신부(21)는 튜너부를 구비하여 영상신호 및 음성신호를 수신할 수 있다. 튜너부는 제어부(26)의 제어에 따라 복수의 채널 중 선택된 어느 하나의 채널의 영상신호 및 음성신호를 튜닝하여 수신할 수 있다. 채널의 선택은 사용자에 의해 이루어질 수 있다. 예컨대, 디스플레이장치(1)는, 사용자의 조작명령을 수신하는 명령수신부(292)를 더 포함할 수 있다. 명령수신부(292)는 채널의 선택에 관한 사용자의 조작명령을 수신하여 제어부(26)로 전달한다. 명령수신부(292)는 조작패널을 구비하여 사용자의 조작명령을 수신하거나, 리모컨신호수신부를 포함하여, 리모컨으로부터 사용자의 조작명령이 포함된 리모컨신호를 수신할 수 있다.
신호수신부(21)는, 다른 실시예로서, 셋탑박스, DVD, PC 등과 같은 영상기기로부터 영상신호 및 음성신호를 수신하거나, 스마트폰 등과 같은 주변기기로부터 영상신호 및 음성신호를 수신하거나, 인터넷과 같은 네트워크를 통하여 서버로부터 영상신호 및 음성신호를 수신할 수도 있다.
영상처리부(22)는 수신되는 영상신호를 처리하여 디스플레이부(23)에 영상이 표시되도록 한다. 영상처리부(22)는 수신되는 영상신호에 대하여, 예컨대, 모듈레이션, 디모듈레이션, 멀티플렉싱, 디멀티플렉싱, 아날로그-디지털변환, 디지털-아날로그변환, 디코딩, 인코딩, 이미지인핸스먼트, 스케일링 등의 영상처리를 수행할 수 있다.
디스플레이부(23)는 영상처리부(22)에 의해 처리되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(23)는 LCD, PDP, OLED 등 다양한 방식으로 영상을 표시할 수 있다.
음성처리부(27)는 수신되는 음성신호를 처리하여 음성출력부(28)를 통하여 음성이 출력되도록 한다. 음성출력부(28)는 스피커로 구현될 수 있다.
제1음성수신부(24) 및 제2음성수신부(25)는 도 1에 도시된 바와 같이, 디스플레이장치(1)에 의해 출력되는 제1음성(12)과, 사용자(2)가 발화하는 제2음성(13)이 섞인 합성음성을 각각 수신한다. 제1음성수신부(24) 및 제2음성수신부(25)는 각각 마이크를 포함할 수 있다.
도 3은 본 발명의 일실시예에 의한 제1음성수신부(24) 및 제2음성수신부(25)를 도시한다. 제1음성수신부(24) 및 제2음성수신부(25)는, 도 3에 도시된 바와 같이, 상호 소정 거리 이격되어 마련된다. 하나의 실시예로서, 제1음성수신부(24)는 사용자(2) 측에 가깝도록 배치되고, 제2음성수신부(25)는 디스플레이장치(1)의 음성출력부(28) 측에 가깝도록 배치될 수 있다. 나아가, 이 경우, 제1음성수신부(24)가 사용자(2) 측에 가깝고, 제2음성수신부(25)가 디스플레이장치(1)의 음성출력부(28) 측에 가까울수록, 음성 제거의 분해능이 높아질 수 있다. 도 3에서, 부호 S는 디스플레이장치(1)의 음성출력부(28)에 의해 출력되는 제1음성을 나타내고, 부호 V는 사용자(2)가 발화하는 제2음성을 각각 나타낸다. 도 3에 도시된 바와 같이, 제1음성수신부(24)는 음성출력부(28)에 의해 출력되는 제1음성(S)에 기한 음성성분(S1)과, 사용자(2)가 발화하는 제2음성(V)에 기한 음성성분(V1)이 조합된 제1합성음성을 수신한다. 한편, 제2음성수신부(25)는 음성출력부(28)에 의해 출력되는 제1음성(S)에 기한 음성성분(S2)과, 사용자(2)가 발화하는 제2음성(V)에 기한 음성성분(V2)이 조합된 제2합성음성을 수신한다. 즉, 제1음성수신부(24) 및 제2음성수신부(25)는 서로 이격되어 배치되므로, 서로 다른 특성의 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)을 각각 수신한다.
제어부(26)는 제1음성수신부(24) 및 제2음성수신부(25)를 통하여 수신된 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)으로부터 얻어진 사용자(2)의 제2음성(V)을 인식하여, 인식된 명령에 따라 동작하도록 디스플레이장치(1)를 제어한다.
본 실시예에서는, 음성처리부(27)가 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)으로부터 사용자(2)의 제2음성(V)을 얻는다. 도 4는 본 발명의 일실시예에 의한 음성처리부(27)를 도시한다. 음성처리부(27)는 제1음성수신부(24) 및 제2음성수신부(25)를 통하여 수신된 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)을 전달받는다. 음성처리부(27)는 음성출력부(28)에 의해 출력되는 제1음성(S)과, 사용자(2)의 제2음성(V)에 대한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비에 기초하여, 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)으로부터 사용자(2)의 제2음성(V)을 얻는다. 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비는, 제1음성(S) 혹은 제2음성(V)이 어느 정도의 비로 제1음성수신부(24)와, 제2음성수신부(25)에 각각 수신되는지를 나타낸다. 구체적으로, 도 3을 참조하면, 음성출력부(28)를 기준으로 볼 때, 제1음성수신부(24)보다 제2음성수신부(25)가 음성출력부(28)에 더 가깝게 배치된다. 따라서, 음성출력부(28)의 제1음성(S)의 경우, 제1음성수신부(24)에 수신되는 음성성분(S1)보다 제2음성수신부(25)에 수신되는 음성성분(S2)이 상대적으로 더 크다. 마찬가지로, 사용자(2)의 제2음성(V)의 경우, 제2음성수신부(25)에 수신되는 음성성분(V2)보다 제1음성수신부(24)에 수신되는 음성성분(V1)이 상대적으로 더 크다. 이러한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비는, 기본적으로 제1음성수신부(24) 및 제2음성수신부(25)의 배치에 따라 결정된다. 또한, 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비는, 디스플레이장치(1)의 설치 환경에 따라 부수적으로 결정될 수 있다. 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비는, 하기 [수학식 1] 및 [수학식 2]와 같이, 계수의 형태로 나타낼 수 있다.
[수학식 1]
제1합성음성(S1 + V1) = c11 * S + c12 * V
[수학식 2]
제2합성음성(S2 + V2) = c21 * S + c22 * V
여기에서, 계수 c11 및 c21은 음성출력부(28)의 제1음성(S)에 대한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비를 나타내고, 계수 c12 및 c22은 사용자(2)의 제2음성(V)에 대한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비를 각각 나타낸다. 상기 [수학식 1] 및 [수학식 2]를 연립하면, 하기 [수학식 3]이 도출될 수 있다.
[수학식 3]
사용자의 제2음성(V) = (c22 * (S1 + V1) - c12 * (S2 + V2))/(c11 * c22 - c12 * c21)
따라서, 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c11 내지 c22)가 결정되면, [수학식 3]을 이용하여, 제1합성음성(S1 + V1) 및 제2합성음성(S2 + V2)으로부터 사용자의 제2음성(V)을 얻을 수 있다.
제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c11 내지 c22)는 테스트를 통한 실제 측정에 의해 결정될 수 있다. 예컨대, 제어부(26)는 테스트음성을 이용하여 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c11 내지 c22)를 구할 수 있다. 테스트음성은 미리 정해진 소정 형태의 패턴일 수 있다. 테스트는 음성출력부(28)의 제1음성(S) 및 사용자(2)의 제2음성(V) 각각에 대하여 수행되며, 테스트음성도 이들 각각에 대응하여 마련될 수 있다. 사용자(2)의 제2음성(V)에 대응하는 테스트음성은, 예컨대, 사용자의 조작명령이 입력되는 리모컨에 의해 출력될 수 있다. 이 경우, 리모컨에는 사용자(2)의 제2음성(V)에 대응하는 테스트음성이 저장되어 있으며, 사용자의 조작명령에 따라 출력되거나, 혹은 제어부(26)의 요청에 따라 출력될 수 있다. 다른 실시예로서, 사용자(2)의 제2음성(V)에 대응하는 테스트는 사용자(2)가 직접 테스트음성을 발화함으로써 수행될 수도 있다. 이 경우, 제어부(26)는 사용자(2)에게 테스트음성을 발화하라는 메시지를 디스플레이부(23)에 표시할 수 있다. 메시지는 테스트에 필요한 미리 정해진 음성 명령이나, 단어, 문장 등을 발화할 것을 안내하는 정보를 포함할 수도 있다. 테스트는 음성출력부(28)의 제1음성(S) 및 사용자(2)의 제2음성(V) 각각에 대하여 순차 수행되거나, 동시에 수행될 수도 있다. 테스트는 복수의 주파수영역 별로 수행되며, 테스트음성도 이에 대응하여 마련될 수 있다.
도 2를 참조하면, 디스플레이장치(1)는 테스트음성에 관한 정보가 저장된 저장부(291)를 더 포함할 수 있다. 테스트는 디스플레이장치(1)의 설치 시 수행될 수 있다. 또한, 테스트는 디스플레이장치(1)의 설치 후, 환경이 변경된 경우에 다시 수행될 수 있다. 제어부(26)는 명령수신부(292)를 통한 사용자의 조작명령이 입력되면, 테스트를 수행할 수 있다. 제어부(26)는 GUI메뉴를 제공하여 테스트 수행에 관한 사용자의 조작명령을 입력 받을 수 있다.
제어부(26)는 테스트가 완료되면, 테스트 결과 결정된 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c11 내지 c22)에 관한 정보를 저장부(291)에 저장할 수 있다. 테스트 결과, 예컨대, 음성출력부(28)의 제1음성(S)에 대한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c11 및 c12)는, 0.3 및 0.7로 결정되고, 사용자(2)의 제2음성(V)에 대한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c21 및 c22)는, 0.6 및 0.4와 같이 결정될 수 있다. 음성처리부(27)는 저장부(291)에 저장된 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비(c11 내지 c22)를 참조하여, [수학식 3]을 이용하여, 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)으로부터 사용자(2)의 제2음성(V)을 얻을 수 있다.
이와 같이, 본 발명의 일실시예에 의하면, 테스트를 통하여 실제 측정하여 얻은 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비에 기초하여 음성 제거를 수행하므로, 디스플레이장치(1)의 설치 환경에 맞는 신뢰성 높은 사용자의 음성 인식이 수행될 수 있다. 또한, 디스플레이장치(1)의 설치 환경이 변화하더라도, 언제든지 테스트를 다시 수행하여 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비를 조정할 수 있으므로, 신뢰성이 보다 향상될 수 있다.
도 5는 본 발명의 일실시예에 의한 디스플레이장치(1)의 동작을 도시하는 흐름도이다. 먼저, 동작 S51에서, 디스플레이장치(1)는 영상신호에 기초하여 영상을 표시한다. 한편, 동작 S52에서, 디스플레이장치(1)는 음성신호에 기초하여 제1음성을 출력한다. 다음으로, 동작 S53에서, 디스플레이장치(1)는 제1음성수신부(24)를 이용하여 디스플레이장치(1)에서 출력되는 제1음성과, 사용자가 발화하는 제2음성의 제1합성음성을 수신하고, 제2음성수신부(25)를 이용하여 제1음성과, 제2음성의 제2합성음성을 수신한다. 다음으로, 동작 S54에서, 디스플레이장치(1)는 수신된 제1합성음성과, 제2합성음성에 기초하여 얻어진 사용자의 제2음성에 따라 동작한다.
도 6은 본 발명의 다른 실시예에 의한 디스플레이장치(1a)의 구성을 도시하는 블록도이다. 도 6에 도시된 디스플레이장치(1a)에 있어서, 도 1 내지 도 5를 참조하여 설명한 디스플레이장치(1)와 동일하거나 유사한 구성에 대해서는 설명을 생략한다. 디스플레이장치(1a)는 신호수신부(21), 영상처리부(22), 디스플레이부(23), 제1음성수신부(24a), 제2음성수신부(25a), 제어부(26a), 음성처리부(27a) 및 음성출력부(28)를 포함할 수 있다. 본 실시예의 제1음성수신부(24a) 및 제2음성수신부(25a)는 별도의 구성으로 구현되는 외장음성수신부(61)에 마련될 수 있다. 디스플레이장치(1a)는 제1음성수신부(24a) 및 제2음성수신부(25a)가 마련된 외장음성수신부(61)가 연결되는 연결부(62)를 더 포함할 수 있다. 연결부(62)는, 예컨대, USB포트로 구현될 수 있다.
도 7은 본 발명의 일실시에에 의한 외장음성수신부(61)를 도시한다. 제1음성수신부(24a) 및 제2음성수신부(25a)는 외장음성수신부(61)에서 상호 소정 거리 이격되어 마련된다. 하나의 실시예로서, 제1음성수신부(24a)는 사용자(2) 측에 가깝도록 배치되고, 제2음성수신부(25a)는 디스플레이장치(1a)의 음성출력부(28) 측에 가깝도록 배치될 수 있다. 도 3에 도시된 바와 같이, 제1음성수신부(24a)는 음성출력부(28)에 의해 출력되는 제1음성(S)에 기한 음성성분(S1)과, 사용자(2)가 발화하는 제2음성(V)에 기한 음성성분(V1)이 조합된 제1합성음성(S1 + V1)을 수신한다. 한편, 제2음성수신부(25a)는 음성출력부(28)에 의해 출력되는 제1음성(S)에 기한 음성성분(S2)과, 사용자(2)가 발화하는 제2음성(V)에 기한 음성성분(V2)이 조합된 제2합성음성(S2 + V2)을 수신한다.
본 실시예에서는, 외장음성수신부(61)가 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)으로부터 사용자(2)의 제2음성(V)을 얻는다. 외장음성수신부(61)는 제2음성처리부(62)를 더 포함할 수 있다. 제2음성처리부(62)는 제1음성수신부(24a) 및 제2음성수신부(25a)를 통하여 수신된 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)을 전달받는다. 제2음성처리부(62)는 음성출력부(28)에 의해 출력되는 제1음성(S)과, 사용자(2)의 제2음성(V)에 대한 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비에 기초하여, 제1합성음성(S1 + V1)과, 제2합성음성(S2 + V2)으로부터 사용자(2)의 제2음성(V)을 얻는다. 외장음성수신부(61)는 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비에 관한 정보를 저장하는 저장부를 더 포함할 수 있다. 혹은, 제1음성수신부(24) 및 제2음성수신부(25) 간의 수신비에 관한 정보는 연결부(62)를 통하여 디스플레이장치(1a)로부터 수신될 수도 있다. 외장음성수신부(61)는 얻어진 사용자(2)의 제2음성(V)을 연결부(62)를 통하여 디스플레이장치(1a)로 전송한다. 제어부(26a)는 외장음성수신부(61)로부터 전송된 사용자(2)의 제2음성(V)에 대한 인식을 수행하고, 인식된 명령에 동작하는 제어한다. 이와 같이, 본 실시예에 의하면, 사용자의 음성을 수신하기 위하여 외장형의 마이크를 이용하더라도, 별도의 신호선 등이 불필요하므로, 비용의 상승이나, 설계 상의 공간적인 제약이 없어지게 된다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1: 디스플레이장치
21: 신호수신부
22: 영상처리부
23: 디스플레이부
24: 제1음성수신부
25: 제2음성수신부
26: 제어부
27: 음성처리부
28: 음성출력부
291: 저장부
292: 명령수신부

Claims (16)

  1. 디스플레이장치에 있어서,
    영상신호에 기초하여 영상을 표시하는 디스플레이부와;
    음성신호에 기초하여 제1음성을 출력하는 음성출력부와;
    상기 제1음성과, 사용자의 제2음성의 제1합성음성을 수신하는 제1음성수신부와;
    상기 제1음성수신부와 소정 거리 이격되어 마련되어, 상기 제1음성과, 상기 제2음성의 제2합성음성을 수신하는 제2음성수신부와;
    상기 제1합성음성 및 상기 제2합성음성에 기초하여 얻어진 상기 사용자의 제2음성에 따라 제어를 수행하는 제어부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제1음성수신부는 상기 음성출력부 측에 가깝게 마련되고, 상기 제2음성수신부는 상기 사용자 측에 가깝게 마련되는 디스플레이장치.
  3. 제1항에 있어서,
    상기 사용자의 제2음성은, 상기 제1음성 및 상기 제2음성에 대한 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비에 기초하여 얻어지는 디스플레이장치.
  4. 제3항에 있어서,
    상기 제어부는 테스트음성에 기초하여 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비를 결정하는 디스플레이장치.
  5. 제4항에 있어서,
    상기 테스트음성은, 복수의 주파수영역 각각에 대응하는 복수의 테스트음성을 포함하는 디스플레이장치.
  6. 제4항에 있어서,
    상기 테스트음성에 기초하여 결정된 상기 수신비에 관한 정보를 저장하는 저장부를 더 포함하는 디스플레이장치.
  7. 제6항에 있어서,
    사용자의 조작명령을 수신하는 조작명령수신부를 더 포함하고,
    상기 제어부는, 상기 사용자의 조작명령에 따라 상기 테스트음성에 기초하여 테스트를 수행하고, 상기 결정된 수신비에 관한 정보를 상기 저장부에 저장하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 제1음성수신부 및 상기 제2음성수신부가 마련된 외장음성수신부와 연결되어, 상기 외장음성수신부로부터 상기 얻어진 제2음성을 수신하는 연결부를 더 포함하는 디스플레이장치.
  9. 디스플레이장치의 제어방법에 있어서,
    영상신호에 기초하여 영상을 표시하는 단계와;
    음성신호에 기초하여 제1음성을 출력하는 하는 단계와;
    제1음성수신부를 이용하여 상기 제1음성과, 사용자의 제2음성의 제1합성음성을 수신하고, 상기 제1음성수신부와 소정 거리 이격되어 마련되는 제2음성수신부를 이용하여, 상기 제1음성과, 상기 제2음성의 제2합성음성을 수신하는 단계와;
    상기 제1합성음성 및 상기 제2합성음성에 기초하여 얻어진 상기 사용자의 제2음성에 따라 동작하는 단계를 포함하는 디스플레이장치의 제어방법.
  10. 제9항에 있어서,
    상기 제1음성수신부는 상기 음성출력부 측에 가깝게 마련되고, 상기 제2음성수신부는 상기 사용자 측에 가깝게 마련되는 디스플레이장치의 제어방법.
  11. 제9항에 있어서,
    상기 사용자의 제2음성은, 상기 제1음성 및 상기 제2음성에 대한 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비에 기초하여 얻어지는 디스플레이장치의 제어방법.
  12. 제11항에 있어서,
    테스트음성에 기초하여 상기 제1음성수신부 및 상기 제2음성수신부 간의 수신비를 결정하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제12항에 있어서,
    상기 테스트음성은, 복수의 주파수영역 각각에 대응하는 복수의 테스트음성을 포함하는 디스플레이장치의 제어방법.
  14. 제13항에 있어서,
    상기 테스트음성에 기초하여 결정된 상기 수신비에 관한 정보를 저장부에 저장하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  15. 제14항에 있어서,
    사용자의 조작명령을 수신하는 단계를 더 포함하고,
    상기 저장하는 단계는, 상기 사용자의 조작명령에 따라 상기 테스트음성에 기초하여 테스트를 수행하고, 상기 결정된 수신비에 관한 정보를 상기 저장부에 저장하는 단계를 포함하는 디스플레이장치의 제어방법.
  16. 제9항에 있어서,
    상기 제1음성수신부 및 상기 제2음성수신부가 마련된 외장음성수신부로부터 상기 얻어진 제2음성을 수신하는 단계를 더 포함하는 디스플레이장치의 제어방법.
KR20130100404A 2013-08-23 2013-08-23 디스플레이장치 및 그 제어방법 Ceased KR20150022476A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130100404A KR20150022476A (ko) 2013-08-23 2013-08-23 디스플레이장치 및 그 제어방법
US14/255,217 US9402094B2 (en) 2013-08-23 2014-04-17 Display apparatus and control method thereof, based on voice commands
EP14170696.0A EP2840571B1 (en) 2013-08-23 2014-05-30 Display apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130100404A KR20150022476A (ko) 2013-08-23 2013-08-23 디스플레이장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20150022476A true KR20150022476A (ko) 2015-03-04

Family

ID=51022225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130100404A Ceased KR20150022476A (ko) 2013-08-23 2013-08-23 디스플레이장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US9402094B2 (ko)
EP (1) EP2840571B1 (ko)
KR (1) KR20150022476A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102248071B1 (ko) * 2014-09-15 2021-05-04 엘지전자 주식회사 멀티미디어 장치 및 그의 오디오 신호 처리방법
USD793347S1 (en) * 2015-09-03 2017-08-01 Interactive Voice, Inc. Voice controlled automation assistant
KR102614577B1 (ko) * 2016-09-23 2023-12-18 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606280B1 (en) * 1999-02-22 2003-08-12 Hewlett-Packard Development Company Voice-operated remote control
US8270649B2 (en) 2007-10-25 2012-09-18 Able Planet Incorporated Technology delivery, positioning and sound management system and method for use in the ear canal
KR101233271B1 (ko) * 2008-12-12 2013-02-14 신호준 신호 분리 방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식시스템
WO2011075030A1 (en) 2009-12-18 2011-06-23 Maquet Critical Care Ab Gas meter for ultrasound measurements in a breathing apparatus
JP5079781B2 (ja) 2009-12-25 2012-11-21 楽天株式会社 携帯型端末装置及び携帯型端末装置用プログラム
JP5132723B2 (ja) 2010-02-15 2013-01-30 株式会社エヌ・ティ・ティ・ドコモ 参照信号送信方法、移動局装置及び基地局装置
JP2011166699A (ja) 2010-02-15 2011-08-25 Ntt Docomo Inc 無線基地局装置、移動端末装置及び無線通信方法
JP5525308B2 (ja) 2010-03-31 2014-06-18 富士フイルム株式会社 環境音速取得方法および装置
US8917687B2 (en) 2010-04-20 2014-12-23 China Mobile Communications Corporation Method, apparatus and system for sending and receiving sounding reference signal
EP2561677B1 (en) 2010-04-20 2017-02-08 Nokia Technologies Oy An apparatus and associated methods
US9242122B2 (en) 2010-05-14 2016-01-26 Liat Tsoref Reflectance-facilitated ultrasound treatment and monitoring
JP5560901B2 (ja) 2010-05-24 2014-07-30 日産自動車株式会社 車両の警報音発生装置
US8758152B2 (en) 2010-05-25 2014-06-24 Blair Christian Hall Swing feedback device
WO2011149969A2 (en) 2010-05-27 2011-12-01 Ikoa Corporation Separating voice from noise using a network of proximity filters
JP5610861B2 (ja) 2010-06-10 2014-10-22 シャープ株式会社 移動局装置、基地局装置、無線通信システム、無線通信方法および集積回路
WO2011161487A1 (en) 2010-06-21 2011-12-29 Nokia Corporation Apparatus, method and computer program for adjustable noise cancellation
JP4922439B2 (ja) 2010-07-01 2012-04-25 シャープ株式会社 Ｌｅｄ制御装置，液晶表示装置
KR101248971B1 (ko) 2011-05-26 2013-04-09 주식회사 마이티웍스 방향성 마이크 어레이를 이용한 신호 분리시스템 및 그 제공방법
JP6064159B2 (ja) 2011-07-11 2017-01-25 パナソニックＩｐマネジメント株式会社 エコーキャンセル装置、それを用いた会議システム、およびエコーキャンセル方法
US9288331B2 (en) 2011-08-16 2016-03-15 Cisco Technology, Inc. System and method for muting audio associated with a source
US8750528B2 (en) 2011-08-16 2014-06-10 Fortemedia, Inc. Audio apparatus and audio controller thereof
JP5760867B2 (ja) 2011-08-31 2015-08-12 ソニー株式会社 音響再生装置
US8913754B2 (en) 2011-11-30 2014-12-16 Sound Enhancement Technology, Llc System for dynamic spectral correction of audio signals to compensate for ambient noise

Also Published As

Publication number Publication date
EP2840571A3 (en) 2015-03-25
US9402094B2 (en) 2016-07-26
EP2840571B1 (en) 2018-03-21
US20150058885A1 (en) 2015-02-26
EP2840571A2 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
US10362433B2 (en) Electronic device and control method thereof
US10359991B2 (en) Apparatus, systems and methods for audio content diagnostics
EP2610863B1 (en) Electronic apparatus and method for controlling the same by voice input
US9552057B2 (en) Electronic apparatus and method for controlling the same
US9736614B2 (en) Augmenting existing acoustic profiles
US20160286313A1 (en) Acoustic device for streaming audio data
US9980071B2 (en) Audio processor for orientation-dependent processing
EP2797077A1 (en) Voice processing apparatus and voice processing method
US20240404523A1 (en) Electronic device and voice recognition method thereof
US10466795B2 (en) Mobile input device and command input method using the same
US20170086005A1 (en) System and method for processing audio signal
KR20160049347A (ko) 영상표시기기 및 그의 원거리 음성 인식율 향상 방법
KR102454761B1 (ko) 영상표시장치의 동작 방법
KR20150022476A (ko) 디스플레이장치 및 그 제어방법
KR20180033771A (ko) 영상표시장치
US20160057271A1 (en) Two-way mirroring system for sound data
US10992273B2 (en) Electronic device and operation method thereof
US20180332339A1 (en) Set-Top Box with Enhanced Functionality and System and Method for Use of Same
US11373659B2 (en) Display apparatus and method of controlling the same
KR102793305B1 (ko) 전자장치 및 그 제어방법
KR20150004051A (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
US11887588B2 (en) Display device
CN117133296A (zh) 显示设备及多路语音信号的混音处理方法
KR20210054246A (ko) 전자장치 및 그 제어방법
US12249341B2 (en) Electronic apparatus and method of controlling the same

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130823

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180813

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130823

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191029

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200526

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191029

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I