[go: up one dir, main page]

KR102476600B1 - 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR102476600B1
KR102476600B1 KR1020150146422A KR20150146422A KR102476600B1 KR 102476600 B1 KR102476600 B1 KR 102476600B1 KR 1020150146422 A KR1020150146422 A KR 1020150146422A KR 20150146422 A KR20150146422 A KR 20150146422A KR 102476600 B1 KR102476600 B1 KR 102476600B1
Authority
KR
South Korea
Prior art keywords
voice
trigger
detected
unit
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150146422A
Other languages
English (en)
Other versions
KR20170046294A (ko
Inventor
송명석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150146422A priority Critical patent/KR102476600B1/ko
Priority to US15/761,506 priority patent/US10796688B2/en
Priority to PCT/KR2016/011888 priority patent/WO2017069556A1/ko
Publication of KR20170046294A publication Critical patent/KR20170046294A/ko
Application granted granted Critical
Publication of KR102476600B1 publication Critical patent/KR102476600B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체가 제공된다. 본 발명의 일 실시 예에 따른 전자 장치는, 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성하는 오디오 입력부, 복수의 음성 신호에 대한 전처리를 수행하는 전처리부 및 전처리부에서 처리된 음성 신호를 이용하여 음성 인식을 수행하고, 음성 인식 결과 기설정된 트리거가 감지되면 트리거 정보를 생성하는 음성 인식부를 포함하고, 전처리부는, 음성 인식부에서 생성된 트리거 정보를 피드백 받아, 트리거 정보에 따라 전처리 방식을 변경하고, 변경된 전처리 방식으로 복수의 음성 신호를 처리하여 강화된 음성 신호를 생성할 수 있다.

Description

전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체{ELECTRONIC APPARATUS, SPEECH RECOGNIZING METHOD OF THEREOF AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM}
본 발명은 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것으로, 더욱 구체적으로는, 음성 인식 결과를 이용하여 전처리를 효율적으로 할 수 있는 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다.
사용자가 모바일 기기나 디스플레이 기기와 같은 다양한 전자 기기를 이용할 때 기존에는 키보드, 리모컨과 같은 도구를 이용하여 사용자 명령을 입력하였다. 하지만, 최근 사용자 명령의 입력 방식이 다변화됨에 따라 음성 인식에 대한 관심이 높아지고 있다.
사용자는 음성 인식을 수행하는 전자 장치로부터 다양한 각도 및 거리를 갖는 위치에 존재할 수 있다. 여러 위치에 존재하는 사용자에게 동일한 음성 인식 기반의 인간-기계 인터렉션을 제공하기 위해서 마이크 어레이 기술이 적용될 수 있다. 마이크 어레이 기술은 복수의 마이크를 사용하여 목적 방향의 음원(음성)을 강화하고, 나머지 방향에서 입사하는 음원(잡음)은 제거하는 기술이다.
마이크 어레이 기반 전처리에 의해 잡음이 제거되고 음성이 강화된 오디오 신호는 음성 인식기로 전달되어 트리거/단어/문장 인식기에 의해 음성 인식 기능을 수행하게 된다. 전처리가 필요한 이유는, 낮은 신호 대 잡음 비(signal to noise ration, SNR)의 잡음 환경에서 훈련(training)과 테스트(test) 데이터의 불일치(mismatch)가 커짐에 따라, 음성 인식기의 성능은 크게 저하되기 때문이다. 이에 따라, 음성 인식기의 잡음에 대한 저항력을 향상시키기 위한 다양한 신호처리(혹은 전처리) 기술이 사용되고 있다.
예를 들어, 종래의 전처리 기술에서는 잡음 경감 알고리즘을 사용하는 방식을 이용하여 음성 신호를 처리하였다. 하지만, 종래의 전처리 기술에는 전처리부에서 잘못된 판단을 할 경우, 연속적으로 오류를 발생/증폭시키는 문제점이 존재한다. 예를 들어, 신호 처리 기반 음성 검출기는 음성과 유사한 주파수 특성을 갖는 잡음(speech-like noise)을 음성과 구분하지 못하는 문제점을 갖는다. 이에 따라, 음성 인식을 위한 전자 장치는 전혀 다른 방향의 음성을 강화하여 음성 왜곡을 일으키게 된다.
종래의 전처리 기술은 전처리부와 음성 인식부가 독립적으로 운영되며, 전처리부에서 오디오 신호처리를 마친 이후에 음성 인식부가 동작을 시작하게 된다. 이와 같은 전처리 기술에서는 음성 인식부가 생성하는 결과 중 전처리부에 유용한 정보가 사용되지 못하게 된다. 이에 따라 종래의 전처리 기술은 상술한 오류 발생이 불가피하였으며, 이를 해결하기 위한 방법에 대한 요구가 증가하고 있다.
미국 공개특허공보 2004/0064315 A1 (2004.04.01)
본 발명은 상술한 문제점을 해결하기 위한 것으로, 음성 인식 결과를 피드백 받아서, 음성 인식 성능을 향상시킬 수 있는 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체를 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성하는 오디오 입력부, 상기 복수의 음성 신호에 대한 전처리를 수행하는 전처리부 및 상기 전처리부에서 처리된 음성 신호를 이용하여 음성 인식을 수행하고, 음성 인식 결과 기설정된 트리거가 감지되면 트리거 정보를 생성하는 음성 인식부를 포함하고, 상기 전처리부는, 상기 음성 인식부에서 생성된 상기 트리거 정보를 피드백 받아, 상기 트리거 정보에 따라 복수의 음성 신호를 처리하여 강화된 음성 신호를 생성할 수 있다.
그리고, 상기 복수의 음성 신호를 이용하여 발화 방향을 감지하는 감지부를 더 포함하고, 상기 감지부는, 상기 음성 인식부에서 생성된 상기 트리거 정보를 피드백 받아, 검색 범위를 변경하고, 상기 변경된 검색 범위에서 발화 방향을 감지할 수 있다.
또한, 상기 감지부는, 상기 트리거 정보가 피드백 되지 않으면 전 방향에 대해서 발화 방향을 감지하고, 상기 트리거 정보가 피드백 되면 기 감지된 발화 방향에 대응되는 검색 범위에 대해서만 발화 방향을 감지할 수 있다.
그리고, 상기 복수의 음성 신호를 이용하여 유성 구간과 무성 구간을 구분하는 음성 검출부를 더 포함하고, 상기 음성 검출부는, 상기 음성 인식부에서 생성된 상기 트리거 정보를 피드백 받아, 유성 검출 이후 유성 구간으로 판단하는 시간을 변경하고, 변경된 판단 시간을 이용하여 유성 구간과 무성 구간을 구분할 수 있다.
또한, 상기 음성 검출부는, 상기 트리거 정보가 피드백 되지 않으면 기설정된 판단 시간을 이용하여 유성 구간과 무성 구간을 구분하고, 상기 트리거 정보가 피드백 되면 상기 기설정된 판단 시간보다 긴 제2 판단 시간을 이용하여 유성 구간과 무성 구간을 구분할 수 있다.
그리고, 상기 전처리부는, 상기 트리거 정보, 유성 구간인지 여부에 따라 복수의 음성 신호의 전처리 방식을 변경하고, 변경된 전처리 방식으로 강화된 음성 신호를 생성할 수 있다.
또한, 상기 전처리부는, 복수의 음성 신호를 이용하여 음성이 제거된 무성 신호를 생성하는 제1 구성 및 상기 생성된 무성 신호를 이용하여 강화된 음성 신호를 생성하는 제2 구성을 포함하며, 상기 제1 구성은, 상기 음성 인식부에서 생성된 상기 트리거 정보를 피드백 받아, 필터링 정도를 변경하여 무성 신호를 생성할 수 있다.
그리고, 상기 제2 구성은, 상기 트리거 정보를 피드백 받아, 잡음 제거 정도를 변경하여 강화된 음성 신호를 생성할 수 있다.
또한, 영상을 표시하는 디스플레이부 및 상기 음성 인식 결과에 대응되는 영상이 표시되도록 상기 디스플레이부를 제어하는 제어부를 더 포함할 수 있다.
그리고, 상기 음성 인식 결과를 외부 장치로 전달하는 통신부를 더 포함할 수 있다.
또한, 상기 음성 인식 결과에 대응되는 음성 출력 이벤트를 출력하는 스피커부를 더 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 음성 인식 방법은, 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성하는 단계, 상기 복수의 음성 신호에 대한 전처리를 수행하는 단계, 상기 전처리된 음성 신호를 이용하여 음성 인식을 수행하는 단계, 음성 인식 결과 기설정된 트리거가 감지되면 트리거 정보를 생성하는 단계, 상기 생성된 트리거 정보를 피드백 하여, 상기 트리거 정보에 따라 상기 전처리를 수행하는 방식을 변경하는 단계 및 상기 변경된 전처리 수행 방식으로 상기 복수의 음성 신호를 처리하여 강화된 음성 신호를 생성하는 단계를 포함할 수 있다.
그리고, 상기 복수의 음성 신호를 이용하여 발화 방향을 감지하는 단계를 더 포함하고, 상기 변경하는 단계는, 상기 생성된 트리거를 피드백 하여, 검색 범위를 변경하는 단계 및 상기 변경된 검색 범위에서 발화 방향을 감지하는 단계를 포함할 수 있다.
또한, 상기 피드백 제어 단계는, 상기 트리거 정보가 피드백 되지 않으면 전 방향에 대해서 발화 방향을 감지하고, 상기 트리거 정보가 피드백 되면 기 감지된 발화 방향에 대응되는 검색 범위에 대해서만 발화 방향을 감지할 수 있다.
그리고, 상기 복수의 음성 신호를 이용하여 유성 구간과 무성 구간을 구분하는 단계를 더 포함하고, 상기 변경하는 단계는, 상기 생성된 트리거 정보를 피드백 하여, 유성 검출 이후 유성 구간으로 판단하는 시간을 변경하는 단계 및 상기 변경된 판단 시간을 이용하여 유성 구간과 무성 구간을 구분하는 단계를 포함할 수 있다.
한편, 상기 변경하는 단계는, 상기 트리거 정보가 피드백 되지 않으면 기설정된 판단 시간을 이용하여 유성 구간과 무성 구간을 구분하고, 상기 트리거 정보가 피드백 되면 상기 기설정된 판단 시간보다 긴 제2 판단 시간을 이용하여 유성 구간과 무성 구간을 구분할 수 있다.
그리고, 상기 변경하는 단계는, 상기 트리거 정보, 유성 구간인지 여부에 따라 복수의 음성 신호의 전처리 방식을 변경할 수 있다.
또한, 상기 강화된 음성 신호를 생성하는 단계는, 복수의 음성 신호를 이용하여 음성이 제거된 무성 신호를 생성하는 단계 및 상기 생성된 무성 신호를 이용하여 강화된 음성 신호를 생성하는 단계를 포함하며, 상기 무성 신호를 생성하는 단계는, 상기 생성된 트리거 정보를 피드백 받아 필터링 정도를 변경하여 무성 신호를 생성할 수 있다.
그리고, 상기 강화된 음성 신호를 생성하는 단계는, 상기 트리거 정보를 피드백 받아, 잡음 제거 정도를 변경하여 강화된 음성 신호를 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 음성 인식 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체는, 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성하는 단계, 상기 복수의 음성 신호에 대한 전처리를 수행하는 단계, 상기 전처리된 음성 신호를 이용하여 음성 인식을 수행하는 단계, 음성 인식 결과 기설정된 트리거가 감지되면 트리거 정보를 생성하는 단계, 상기 생성된 트리거 정보를 피드백 하여, 상기 트리거 정보에 따라 전처리를 수행하는 방식을 변경하는 단계 및 상기 변경된 전처리 수행 방식으로 상기 복수의 음성 신호를 처리하여 강화된 음성 신호를 생성하는 단계를 포함하는 음성 인식 방법을 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치의 음성 인식 성능이 향상될 수 있다.
도 1a는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 1b는 본 발명의 다른 실시 예에 따른 전자 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 전처리부를 설명하기 위한 블럭도,
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 빔포밍부를 설명하기 위한 블럭도,
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 음성 인식부를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 상세히 설명하기 위한 블럭도,
도 6a 및 도 6b는 본 발명의 다양한 실시 예에 따른 전자 장치의 오디오 입력부를 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른 전자 장치에서의 신호, 정보의 전달을 설명하기 위한 도면, 그리고,
도 8은 본 발명의 일 실시 예에 따른 전자 장치의 음성 인식 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 바람직한 실시 예가 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1a는 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성을 개략적으로 도시한 블럭도이다. 도 1a를 참조하면, 전자 장치(100)는 오디오 입력부(110), 전처리부(120), 음성 인식부(130)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 스마트 TV와 같은 디스플레이 장치, 스마트 폰, 타블렛 피씨, 오디오 장치, 대화형 음성 인식 장치, 네비게이션 등 음성 인식이 가능한 모든 전자 기기로 구현될 수 있다.
오디오 입력부(110)는 사용자의 음성을 수신할 수 있다. 예를 들어, 오디오 입력부(110)는 복수의 마이크로 구성되어, 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성할 수 있다. 오디오 입력부(110)를 구성하는 마이크의 개수에 따라 채널 수가 결정된다. 마이크는 그 개수에 따라 일정한 간격 또는 기 설정된 패턴으로 배치될 수 있다. 예를 들어, 4개의 마이크가 전자 장치(100)의 둘레에 90도 간격으로 배치된 경우, 오디오 입력부(110)는 4개의 마이크에 수신된 사용자의 음성을 이용하여 4채널 음성 신호를 생성할 수 있다.
전처리부(120)는 복수의 음성 신호에 대한 전처리(pre-processing)를 수행하여 전처리된 음성 신호를 생성할 수 있다. 전처리란 음성 인식 이전에 수행되는 일련의 처리를 의미한다. 전처리부(120)는 음성 인식부(130)에서 생성된 정보를 직접 또는 간접적으로 피드백 받아서, 이를 바탕으로 전처리 방식을 적응적으로 변경할 수 있다.
전처리부(120)는 음성 검출부(121), 감지부(123), 빔포밍부(125)를 포함할 수 있다. 음성 검출부(121)는 음성 신호로부터 사용자의 발화가 포함된 음성 구간(이하, 유성 구간) 및 사용자의 발화가 포함되지 않은 잡음 구간(이하, 무성 구간)을 검출할 수 있다. 감지부(123)는 채널 별 음성 입력 신호의 이득(gain) 및 지연 정보를 이용하여 음원의 입력 방향 및 거리를 추정할 수 있다. 빔포밍부(125)는 공간 필터링 방식을 이용하여 채널 별 음성 입력 신호에 이득 및 지연을 가하여 목적 방향에 대해 강화된 음성 신호를 생성할 수 있다.
전처리부(120)의 구체적인 동작에 대해서는 도 2 및 도 3을 참조하여 후술하기로 한다.
음성 인식부(130)는 강화된 음성 신호를 이용하여 음성 인식을 수행한다. 예를 들어, 음성 인식부(130)는 입력된 음성 신호로부터 트리거 단어를 검출 및 인식하고, 트리거 단어가 인식된 이후의 음성 신호로부터 단어/문장 음성 인식 결과를 생성할 수 있다. 그리고, 음성 인식부(130)는 음성 인식 결과 기설정된 트리거가 감지되면 트리거 정보를 생성하여 전처리부(120)로 전달할 수 있다.
음성 인식부(130)의 구체적인 동작에 대해서는 도 4를 참조하여 후술하기로 한다.
도 1b는 본 발명의 다른 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블럭도이다. 본 발명의 다른 실시 예에 따르면, 전자 장치(100)는 모드 판단부(140) 구성을 더 포함할 수 있다. 이는 전처리부(120) 또는 음성 인식부(130)에서 처리할 기능을 별도의 구성으로 구현한 실시 예에 해당한다.
모드 판단부(140)는 음성 인식부(130)에서 생성된 정보를 바탕으로 현재 전자 장치(100)의 상태를 판단할 수 있다. 예를 들어, 모드 판단부(140)는 전자 장치(100)의 상태가 트리거 단어를 인식하고자 기다리는 상태인지, 트리거 단어가 인식되어 단어/문장 인식을 위해 음성 신호를 기다리고 있는 상태인지 등의 정보를 전처리부(120)에 전달할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전처리부(120)의 구성을 설명하기 위한 도면이다. 도 2를 참조하면 전처리부(120)는 음성 검출부(121), 감지부(123) 및 빔포밍부(125)를 포함할 수 있다. 예를 들어, 전처리부(120)는 DSP(Disital Signal Processor) 또는 CPU(Central Processing Unit)와 같은 단일 칩으로 구현될 수 있다.
전처리부(120)는 음성 인식 결과를 피드백 받아 전처리 방식을 변경할 수 있다. 예를 들어, 전처리부(120)는 유성 구간 검출 여부, 트리거 단어 인식 여부와 같은 음성 인식 결과에 대한 정보를 피드백 받을 수 있다. 그리고, 전처리부(120)는 피드백 받은 정보를 이용하여, 행오버의 길이, 음성 검색 범위, 적응 필터의 적응 속도와 같은 전처리 방식을 변경할 수 있다.
음성 검출부(121)는 음성 신호로부터 사용자의 발화가 포함된 음성 구간(이하, 유성 구간) 및 사용자의 발화가 포함되지 않은 잡음 구간(이하, 무성 구간)을 검출할 수 있다. 예를 들어, 음성 검출부(121)는 프레임 단위로 유성 구간인지 무성 구간인지를 구분할 수 있다. 음성 검출부(121)는 생성한 음성 구간 정보를 감지부(123) 및 빔포밍부(125)로 전송할 수 있다.
음성 검출부(121)는 음성 인식 정보를 이용하여 유성 구간으로 판단할 가중치를 조정할 수 있다. 예를 들어, 음성 검출부(121)는 트리거 정보에 유성 검출 이후 유성 구간으로 판단하는 시간(또는 프레임 수)을 변경할 수 있다. 음성 검출부(121)는 변경된 기준을 기초로 입력된 음성 신호를 유성 구간과 무성 구간을 구분할 수 있다.
본 발명의 일 실시 예에 따르면, 음성 검출부(121)는 행오버(hang-over) 구간을 변경하여, 유성 구간으로 판단할 가중치를 조정할 수 있다. 행오버란 음성이 한번 검출된 이후 이어지는 프레밍에 대해서도 음성으로 판정하는 기간을 의미한다. 예를 들어, 행오버의 길이를 무한대로 설정하면, 음성 검출부(121)는 한번 유성 구간으로 판정된 프레임 이후의 모든 프레임은 모두 유성 구간으로 검출한다. 반대로, 행오버를 최소로 설정하면, 음성 검출부(121)는 매 프레임에 대해 독립적으로 유성 구간인지 무성 구간인지 여부를 결정하게 된다. 이와 같이, 행오버 길이의 설정은 음성 검출부(121)에서 생성한 음성 구간 정보의 신뢰도에 중요한 역할을 한다.
본 발명의 일 실시 예에 따르면, 음성 검출부(121)는 피드백 된 트리거 정보에 따라 유성 검출 이후 유성 구간으로 판단하는 시간을 변경할 수 있다. 그리고, 음성 검출부(121)는 변경된 판단 시간을 이용하여 유성 구간과 무성 구간을 구분할 수 있다. 음성 인식부(130)에서 트리거가 인식된 경우, 이후의 단어/문장 인식을 위한 사용자의 발화 음성이 존재할 확률이 높기 때문에, 음성 검출부(121)는 행오버 길이를 늘림으로써 음성 구간 검출의 잡음에 대한 강인성을 높일 수 있다. 예를 들어, 음성 검출부(121)는 수학식 1과 같이 행오버 길이를 조정할 수 있다.
Figure 112015101980324-pat00001
트리거 온(trigger ON)은 음성 인식부(130)에서 생성된 음성 인식 정보에 의해 현재 트리거 단어가 인식 되었거나, 트리거 단어의 인식 스코어가 기설정된 값보다 높은 경우를 의미한다. 이러한 경우에, 음성 검출부(121)는 유성 구간으로 판단하는 행오버 길이를 크게 설정할 수 있다.
반대로, 트리거 오프(trigger OFF)는 음성 인신 정보에 의해 현재 트리거 단어가 인식되지 않았거나, 트리거 단어의 인식 스코어가 기설정된 값보다 낮은 경우를 의미한다. 이러한 경우에, 음성 검출부(121)는 행오버 길이를 짧게 설정하여 유성 구간인지 여부를 판단할 수 있다.
스코어란 해당 프레임에서 목표 음성 성분이 존재할 가능성을 수치화한 값이다. 전자 장치(100)는 목표 음성 성분이 존재하는 것으로 판단할 수 있는 임계 스코어 값을 실험적으로 최적화하여 설정할 수 있다. 그리고, 음성 인식부(130)는 해당 프레임에서의 스코어와 기설정된 임계 스코어 값을 비교하여 목표 음성 성분이 존재하는 음성 구간인지 여부를 판단할 수 있다.
본 발명의 다른 실시 예에 따르면, 음성 검출부(121)는 모드 판단부(140)에서 판단한 전자 장치(100)의 상태에 따라 유성 구간으로 판단할 가중치를 변경할 수도 있다. 예를 들어, 전자 장치(100)가 트리거 단어를 인식하고자 기다리는 상태로 판단되면, 음성 검출부(121)는 무성 구간으로 판정될 가중치를 증가시킬 수 있다. 다른 예로, 전자 장치(100)가 트리거 단어 인식 후 단어/문장 인식을 위해 음성 신호 입력을 기다리고 있는 상태로 판단되면, 음성 검출부(121)는 유성 구간으로 판정될 가중치를 증가시킬 수 있다.
감지부(123)는 음성 신호, 음성 구간 정보, 음성 인식 정보를 입력받아 입력된 음성 신호의 입사 각도를 감지할 수 있다. 즉, 감지부(123)는 복수의 음성 신호를 이용하여 발화 방향을 감지할 수 있다. 예를 들어, 감지부(123)는 입력 신호로부터 목적 방향 각도 정보를 프레임 단위로 생성할 수 있다. 음성 신호에 유성 구간만이 존재하는 경우, 프레임별 목적 방향 각도 정보는 분산이 작고 실제 목적 방향에 가깝게 분포한다. 반대로, 음성 신호에 잡음이 많은 경우에는, 프레임별 각도 정보는 전방향에 고르게 분포하는 경항을 갖는다.
그리고, 감지부(123)는 프레임 단위의 목적 방향 각도 정보, 음성 구간 정보 및 음성 인식 정보를 이용하여 음성 신호가 입사할 가능성이 가장 높은 방향을 추정하여 정규화된 각도 정보를 생성할 수 있다. 감지부(123)는 생성한 각도 정보를 빔포밍부(125)로 전달할 수 있다.
본 발명의 일 실시 예에 따르면, 감지부(123)는 음성 인식 정보에 따라 검색 범위를 변경하여 발화 방향을 감지할 수 있다. 예를 들어, 감지부(123)는 음성 인식부(130)에서 생성한 음성 인식 정보를 이용하여, 음성 신호가 입사하는 각도에 가중치를 조정할 수 있다. 그리고, 감지부(123)는 조정된 가중치를 이용하여 음성 신호의 입사 각도를 추정할 수 있다.
본 발명의 일 실시 예에 따르면, 감지부(123)는 수학식 2와 같이 검색 구간을 설정할 수 있다.
Figure 112015101980324-pat00002
VAD(Voice Activity Detection) OFF는 음성 검출부(121)에서 생성한 음성 구간 정보가 무성 구간으로 판정된 경우일 때를 의미한다. 이러한 경우, 감지부(123)는 이전의 검색 구간을 그대로 유지한다.
VAD ON은 음성 검출부(121)에서 유성 구간으로 판정된 경우를 의미한다. 'VAD ON and trigger OFF'는 유성 구간으로 검출되었으나, 음성 인식 정보에 의할 때 트리거 단어가 인식되지 않았거나 트리거 단어의 인식 스코어가 기설정된 값보다 낮은 경우를 의미한다. 이 경우에, 감지부(123)는 트리거 단어 인식을 위하여 검색 범위를 넓힐 필요성이 있다. 감지부(123)는 이전에 생성된 검색 범위 각도보다 좌우로 넓은 범위를 검색 범위로 설정할 수 있다.
'VAD ON and trigger ON'은 유성 구간으로 검출되고, 트리거 단어가 인식되거나 트리거 단어의 인식 스코어가 기설정된 값보다 높은 경우를 의미한다. 즉, 이 경우는 트리거 단어 검출 방향에서, 사용자의 발화가 이어질 가능성이 높은 경우에 해당한다. 이러한 경우에, 감지부(123)는 이전에 생성된 검색 범위를 트리거 단어 검출 방향으로 좁힐 수 있다.
예를 들어, 트리거 정보가 피드백 되지 않으면, 감지부(123)는 전 방향에 대해서 발화 방향을 감지할 수 있다. 반대로, 트리거 정보가 피드백 되면, 감지부(123)는 기 감지된 발화 방향에 대응되는 검색 범위에 대해서만 발화 방향을 감지할 수 있다.
빔포밍부(125)는 공간 필터링 방식을 이용하여 채널 별 음성 입력 신호에 이득 및 지연을 가하여 목적 방향에 대해 강화된 음성 신호를 생성할 수 있다. 도 3은 본 발명의 일 실시 예에 따른 전자 장치(100)의 빔포밍부(125)의 구성을 설명하기 위한 도면이다. 도 3을 참조하면, 빔포밍부(125)는 고정 빔포밍부(Fixed Beamformer, 125-1), 블록 매트릭스부(Blocking matrix, 125-3), 다중 입력 상쇄부(Multiple-input canceller, 125-5) 및 후 필터부(Post-filter, 125-7)를 포함할 수 있다. 다른 예로, 후 필터부(125-7)는 별도의 모듈로 구현될 수도 있다.
본 발명의 일 실시 예에 따르면, 빔포밍부(125)는 감화된 음성 신호를 생성함에 있어서, 음성 인식 정보를 이용하여 내부 모듈의 파라미터를 조정할 수 있다.
고정 빔포밍부(125-1)는 음성 신호 및 각도 정보를 입력받을 수 있다. 그리고, 고정 빔포밍부(125-1)는 음성이 감지된 각도 방향에서 입력되는 신호를 증폭하여, 목적 방향에 대해 증폭된 음성 신호를 생성할 수 있다.
블록 매트릭스부(125-3)는 음성 신호, 각도 정보, 음성 구간 정보 및 트리거 인식 정보를 입력받을 수 있다. 그리고, 블록 매트릭스부(125-3)는 해당 각도 방향에서 입력되는 신호를 제거하여 목적 방향 신호를 제거한 음성 신호를 생성한다. 즉, 블록 매트릭스부(125-3)는 음성 신호에서 사용자의 음성 부분을 제거하여, 잡음에 대한 기준(reference) 데이터를 생성할 수 있다. 그리고, 블록 매트릭스부(125-3)는 생성된 잡음에 대한 기준 데이터를 다중 입력 상쇄부(125-5)에 전달할 수 있다.
다중 입력 상쇄부(125-5)는 블록 매트릭스부(125-3)에서 생성된 목적 방향 신호가 제거된 음성 신호, 음성 구간 정보, 트리거 인식 정보를 입력받을 수 있다. 그리고, 다중 입력 상쇄부(125-5)는 고정 빔포밍부(125-1)의 출력에 포함된 잡음 leakage를 제거하여 강화된 음성 신호를 생성할 수 있다.
이하에서는 블록 매트릭스부(125-3) 및 다중 입력 상쇄부(125-5)의 적응 필터 설정 방법을 설명하기로 한다.
본 발명의 일 실시 예에 따르면, 블록 매트릭스부(125-3)는 목적 방향의 신호를 제거한 음성 선호를 생성한다. 이를 위하여, 블록 매트릭스부(125-3)는 음성이 존재하는 방향으로 적응 필터가 적응하도록 설정한다.
예를 들어, 블록 매트릭스부(125-3)는 수학식 3과 같은 방식으로 적응 필터를 설정할 수 있다.
Figure 112015101980324-pat00003
VAD(Voice Activity Detection) OFF는 음성 검출부(121)에서 생성한 음성 구간 정보가 무성 구간으로 판정된 경우일 때를 의미한다. 이러한 경우, 블록 매트릭스부(125-3)는 적응 필터의 스텝 사이즈를 최소로 설정할 수 있다. 무성 구간에서는 빠른 적응 보다는 오버 피팅을 방지하는 것이 중요하기 때문이다.
VAD ON은 음성 검출부(121)에서 유성 구간으로 판정된 경우를 의미한다. 'VAD ON and trigger OFF'는 유성 구간으로 검출되었으나, 음성 인식 정보에 의할 때 트리거 단어가 인식되지 않았거나 트리거 단어의 인식 스코어가 기설정된 값보다 낮은 경우를 의미한다. 이 경우에, 블록 매트릭스부(125-3)는 적응 필터의 스텝 사이즈를 중간으로 설정할 수 있다.
'VAD ON and trigger ON'은 유성 구간으로 검출되고, 트리거 단어가 인식되거나 트리거 단어의 인식 스코어가 기설정된 값보다 높은 경우를 의미한다. 즉, 이 경우는 트리거 단어 검출 방향에서, 사용자의 발화가 이어질 가능성이 높은 경우에 해당한다. 이러한 경우에, 블록 매트릭스부(125-3)는 적응 필터의 스텝 사이즈를 최대로 설정하여, 빠르게 필터를 적응시킨다.
다중 입력 상쇄부(125-5)는 블록 매트릭스부(125-3)에서 생성된 목적 방향 신호가 제거된 음성 신호를 이용하여, 고정 빔포밍부(125-1)의 출력에 포함된 잡음 leakage를 제거하여 강화된 음성 신호를 생성할 수 있다. 이를 위해, 다중 입력 상쇄부(125-5)는 잡음만 존재하는 구간에서 적응 필터를 적응하여 잡음을 최대한 제거한 음성 신호를 출력할 수 있다.
예를 들어, 다중 입력 상쇄부(125-5)는 수학식 4와 같은 방식으로 적응 필터를 설정할 수 있다.
Figure 112015101980324-pat00004
VAD(Voice Activity Detection) OFF는 음성 검출부(121)에서 생성한 음성 구간 정보가 무성 구간으로 판정된 경우일 때를 의미한다. 이러한 경우, 다중 입력 상쇄부(125-5)는 적응 필터의 스텝 사이즈를 최대로 설정할 수 있다. 다중 입력 상쇄부(125-5)는 무성 구간에서 빠른 적응이 필요하기 때문이다.
VAD ON은 음성 검출부(121)에서 유성 구간으로 판정된 경우를 의미한다. 'VAD ON and trigger OFF'는 유성 구간으로 검출되었으나, 음성 인식 정보에 의할 때 트리거 단어가 인식되지 않았거나 트리거 단어의 인식 스코어가 기설정된 값보다 낮은 경우를 의미한다. 이 경우에, 다중 입력 상쇄부(125-5)는 적응 필터의 스텝 사이즈를 중간으로 설정할 수 있다.
'VAD ON and trigger ON'은 유성 구간으로 검출되고, 트리거 단어가 인식되거나 트리거 단어의 인식 스코어가 기설정된 값보다 높은 경우를 의미한다. 즉, 이 경우는 트리거 단어 검출 방향에서, 사용자의 발화가 이어질 가능성이 높은 경우에 해당한다. 이러한 경우에, 다중 입력 상쇄부(125-5)는 적응 필터의 스텝 사이즈를 최소로 설정할 수 있다.
후 필터부(125-7)는 공간 필터링 방식에 의해 제거되지 못한 잡음을 제거할 수 있다. 예를 들어, 후 필터부(125-7)는 고정 빔포밍부(125-1)에서 생성된 목적 방향에 대해 증폭된 음성 신호, 다중 입력 상쇄부(125-5)에서 생성된 강화된 음성 신호, 음성 구간 정보, 음성 인식 정보를 입력받을 수 있다. 이를 이용하여, 후 필터부(125-7)는 고정 빔포밍부(125-1)에서 공간 필터링 방식에 의해 미처 제거하지 못한 잡음을 제거할 수 있다.
후 필터부(125-7)는 상황에 따라 잡음 제거 정도를 조절할 필요성이 있다. 예를 들어, 후 필터부(125-7)는 수학식 5와 같은 방식으로 잡음 제거 강도를 설정할 수 있다.
Figure 112015101980324-pat00005
VAD(Voice Activity Detection) OFF는 음성 검출부(121)에서 생성한 음성 구간 정보가 무성 구간으로 판정된 경우일 때를 의미한다. 이러한 경우, 후 필터부(125-7)는 잡음 제거 강도를 가장 크게 설정할 수 있다. 음성 인식에 필요한 정보가 잡음 제거와 함께 제거될 가능성이 가장 낮기 때문이다.
VAD ON은 음성 검출부(121)에서 유성 구간으로 판정된 경우를 의미한다. 'VAD ON and trigger OFF'는 유성 구간으로 검출되었으나, 음성 인식 정보에 의할 때 트리거 단어가 인식되지 않았거나 트리거 단어의 인식 스코어가 기설정된 값보다 낮은 경우를 의미한다. 이 경우에, 후 필터부(125-7)는 제거 강도를 중간 수준으로 설정할 수 있다.
'VAD ON and trigger ON'은 유성 구간으로 검출되고, 트리거 단어가 인식되거나 트리거 단어의 인식 스코어가 기설정된 값보다 높은 경우를 의미한다. 즉, 이 경우는 트리거 단어 검출 방향에서, 사용자의 발화가 이어질 가능성이 높은 경우에 해당한다. 이러한 경우에, 후 필터부(125-7)는 잡음 제거 강도를 줄여 음성의 왜곡이 발생할 가능성을 줄일 수 있다.
본 발명의 다른 실시 예에 따르면, 빔포밍부(125)는 모드 판단부(140)에서 판단된 정보를 이용할 수 있다. 예를 들어, 모드 판단부(140)에 의해 전자 장치(100)의 상태가 트리거 단어를 기다리는 상태인 경우에, 빔포밍부(125)는 잡음 제거를 위한 파라미터 계수를 최대로 설정할 수 있다. 다른 예로, 모드 판단부(140)에 의해 전자 장치(100)의 상태가 트리거 단어를 인식하고 단어/문장 인식을 위한 음성 신호 입력을 기다리고 있는 상태인 경우에, 빔포밍부(125)는 음성 왜곡을 최소화하는 방향으로 파라미터 계수를 설정할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치(100)의 음성 인식부(130)의 구성을 설명하기 위한 도면이다. 도 4를 참조하면, 음성 인식부(130)는 트리거 인식부(131) 및 단어/문장 인식부(133)를 포함할 수 있다.
트리거 인식부(131)는 전처리부(120)에서 생성된 강화된 음성 신호로부터 트리거 신호를 검출할 수 있다. 그리고, 트리거 인식부(131)는 트리거 인식 스코어 및 인식 완료 여부를 포함하는 트리거 정보를 생성할 수 있다. 트리거 인식부(131)는 생성된 트리거 정보를 전처리부(120)로 전송할 수 있다.
단어/문장 인식부(133)는 전처리부(120)에서 생성된 강화된 음성 신호로부터 단어/문장을 인식할 수 있다. 예를 들어, 단어/문장 인식부(133)는 트리거 인식부(131)에서 트리거 인식이 완료된 경우에만 동작을 수행할 수 있다. 단어/문장 인식부(133)는 단어/문장 인식 스코어 및 인식 완료 여부를 포함하는 정보를 생성할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성을 상세히 설명하기 위한 도면이다. 본 발명의 일 실시 예에 따르면, 전자 장치(100)는 상술한 오디오 입력부(110), 전처리부(120) 및 음성 인식부(130) 외에 디스플레이부(150), 통신부(160), 스피커부(170) 및 제어부(180)를 더 포함할 수 있다. 전처리부(120) 및 음성 인식부(130)에 대한 설명은 상술한바 중복 설명은 생략하기로 한다.
디스플레이부(150)는 영상을 표시할 수 있다. 디스플레이부(150)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현되어, 전자 장치(100)를 통해 제공 가능한 다양한 디스플레이 화면을 제공할 수 있다. 디스플레이부(150)는 음성 인식부(130)의 음성 인식 결과에 대응되는 영상을 표시할 수 있다. 예를 들어, 디스플레이부(150)는 사용자의 음성에 대응되는 응답 메시지를 텍스트 또는 이미지로 디스플레이할 수 있다. 다른 예로, 전자 장치(100)가 채널 변경을 원하는 사용자 명령을 수신하면, 음성 인식부(130)는 채널 변경 명령을 인식하고, 제어부(180)는 디스플레이부(150)가 변경된 채널을 표시하도록 제어할 수 있다.
통신부(160)는 외부 장치와 통신을 수행한다. 예를 들어, 외부 장치는 클라우드 서버 등으로 구현될 수 있다. 통신부(160)는 외부 장치에 음성 인식 결과를 송신하고, 대응되는 정보를 외부 장치로부터 수신할 수 있다. 이를 위해, 통신부(160)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기에서, 근거리 무선 통신 모듈이란 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다. 또한, 무선 통신 모듈이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), LTE-A(LTE Advanced) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
스피커부(170)는 음성을 출력할 수 있다. 예를 들어, 스피커부(170)는 음성 인식 결과에 대응되는 음성 출력 이벤트를 출력할 수 있다. 스피커부(170)를 통해 사용자에게 전자 장치(100)와 대화하고 있다는 느낌을 줄 수도 있다.
제어부(180)는 전자 장치(100)의 전반적인 구성을 제어할 수 있다. 예를 들어, 오디오 입력부(110), 전처리부(120) 및 음성 인식부(130) 간의 정보 전달이 제어부(180)의 제어를 통해 이루어질 수도 있다.
이하에서는, 오디오 입력부(110)의 구성에 대하여 도 6a 및 도 6b를 참조하여 설명하기로 한다.
오디오 입력부(110)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수도 있고, 별도의 수단으로 마련되어 전자 장치(100)와 유선 또는 무선 인터페이스로 연결될 수도 있다.
도 6a는 오디오 입력부(110)가 복수의 마이크로 구성되어, 서로 다른 위치에서 음원을 입력받는 실시 예를 도시한 도면이다. 도 6a를 참조하면, 오디오 입력부(110)는 전자 장치(100)의 둘레에 60도 간격으로 배치된 6개의 마이크(110-1, 110-2, 110-3, 110-4, 110-5, 110-6)로 구성될 수 있다. 이러한 경우, 오디오 입력부(110)는 6개의 마이크(110-1, 110-2, 110-3, 110-4, 110-5, 110-6)에서 수신된 사용자 음성을 이용하여 6채널 음성 신호를 생성할 수 있다. 감지부(123)는 채널 별 음성 입력 신호의 이득(gain) 및 지연 정보를 이용하여 음원의 입력 방향 및 거리를 추정할 수 있다.
다만, 오디오 입력부(110)는 반드시 도 6a에 도시된 형태로 복수의 마이크를 구비하는 것으로 한정되는 것은 아니다. 오디오 입력부(110)는 전자 장치(100)의 외부 또는 내부에 배치될 수 있으며, 마이크의 수도 6개로 한정되는 것이 아니다.
상술한 부분에서는 도 6a에 도시된 오디오 입력부(110)가 전자 장치(100)와 별도로 마련된 장치인 것으로 설명하였으나, 도 6a의 오디오 입력부(110)가 전자 장치(100)의 일 측에 일체형으로 부착되어 사용될 수도 있다.
도 6b는 복수의 외부 오디오 입력부를 이용하는 실시 예에 따른 음원 입력 방법을 설명하기 위한 도면이다. 도 6b를 참조하면, 집안의 일 구역에 전자 장치(100)가 배치되어 있다. 설명의 편의를 위해서, 전자 장치(100)에 포함된 오디오 입력부(110)를 메인 오디오 입력부라 하고, 전자 장치(100)와 별도로 마련된 다른 오디오 입력부(111, 113, 115)를 서브 오디오 입력부라 한다.
예를 들어, 집안의 다른 구역에는 서브 오디오 입력부(111, 113, 115)가 배치될 수 있다. 전자 장치(100)와 복수의 서브 오디오 입력부(111, 113, 115)는 네트워크를 통해 서로 연결되어 IoT(Internet of Things) 환경을 형성할 수 있다. 구체적으로, 각 장치들은 홈네트워크, 블루투스(Bluetooth), 와이파이, 와이파이 다이렉트 등으로 서로 연결될 수 있다. 그리고, 각각의 서브 오디오 입력부(111, 113, 115) 또한 메인 오디오 입력부(110)와 마찬가지로 복수의 마이크로 구성되어 서로 다른 위치에서 음원을 입력받을 수 있다.
만일 메인 오디오 입력부(110) 및 복수의 서브 오디오 입력부(111, 113, 115) 중 하나에 음원이 입력되면, 전자 장치(100)는 나머지 오디오 입력부에서 음원을 입력받는 동작이 중단되도록 할 수 있다.
예를 들어, 사용자가 서브 오디오 입력부 중 하나(113)가 배치된 방에 위치한다고 가정할 수 있다. 사용자의 음성이 사용자 근방의 서브 오디오 입력부(113)로 입력되면, 전자 장치(100)는 나머지 오디오 입력부(110, 111, 115)에서 입력되는 음원을 처리하지 않을 수 있다. 왜냐하면, 나머지 오디오 입력부(110, 111, 115)에 입력되는 음원은 사용자에 의한 것이 아니라 노이즈에 의한 것일 확률이 높기 때문이다.
이어서, 사용자 근방의 서브 오디오 입력부(113)는 구비된 복수의 마이크를 이용하여, 사용자의 음성을 복수 채널의 음성 신호로 생성할 수 있다. 그리고, 서브 오디오 입력부(113)는 생성된 복수 채널의 음성 신호를 네트워크 연결된 전자 장치(100)로 전송할 수 있다. 전자 장치(100)의 감지부(123)는 채널 별 음성 입력 신호의 이득(gain) 및 지연 정보를 이용하여, 사용자가 위치하는 영역에서의 사용자의 방향 및 서브 오디오 입력부(113)와의 거리를 추정할 수 있다.
본 발명의 또 다른 실시 예에 따르면, IoT 환경에 포함된 내부 카메라, CCTV 등을 이용하여, 전자 장치(100)는 사용자가 위치하는 영역을 판단할 수 있다. 그리고, 전자 장치(100)는 사용자가 위치하는 영역에 배치된 오디오 입력부만을 활성화할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 전자 장치(100)에서의 신호, 정보의 전달을 설명하기 위한 도면이다. 도 7을 참조하여, 오디오 입력부(110), 전처리부(120) 및 음성 인식부(130) 간의 신호, 정보의 전달 경로를 설명하기로 한다.
오디오 입력부(110)는 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성한다. 오디오 입력부(110)에서 생성된 음성 신호는 음성 검출부(121), 감지부(123), 고정 빔포밍부(125-1) 및 블록 매트릭스부(125-3)에 입력된다.
음성 검출부(121)는 입력된 음성 신호를 이용하여 유성 구간과 무성 구간을 구분하여 음성 구간 정보를 생성할 수 있다. 생성된 음성 구간 정보는 감지부(123), 블록 매트릭스부(125-3), 다중 입력 상쇄부(125-5) 및 후 필터부(125-7)로 전달될 수 있다.
감지부(123)는 입력된 음성 신호를 이용하여 발화 방향을 감지할 수 있다. 감지부(123)는 각도 정보를 생성하여 고정 빔포밍부(125-1), 블록 매트릭스부(125-3)로 전달할 수 있다.
고정 빔포밍부(125-1)는 입력된 음성 신호 및 각도 정보를 이용하여 공간 필터링을 수행한다. 그리고, 고정 빔포밍부(125-1)는 공간 필터링으로 강화된 음성 신호를 후 필터부(125-7)로 전달할 수 있다.
블록 매트릭스부(125-3)는 입력된 음성 신호에서 목적 방향의 음성을 제거하여 다중 입력 상쇄부(125-5)로 전달할 수 있다. 음성 구간 정보 및 트리거 정보를 이용하여, 블록 매트릭스부(125-3)는 적응 필터의 적응 속도를 설정할 수 있다.
다중 음성 상쇄부(125-5)는 블록 매트릭스부(125-3)에서 목적 방향의 음성을 제거한 음성 신호를 입력받을 수 있다. 이를 이용하여, 다중 음성 상쇄부(125-5)는 목적 방향 이외의 잡음 leakage를 제거할 수 있다. 음성 구간 정보 및 트리거 정보를 이용하여, 다중 음성 상쇄부(125-5)는 적응 필터의 적응 속도를 설정할 수 있다.
후 필터부(125-7)는 공간 필터링 방식에 의해 제거되지 못한 잡음을 제거할 수 있다. 음성 구간 정보 및 트리거 정보를 이용하여, 후 필터부(125-7)는 따라 잡음 제거 정도를 조절할 수 있다. 그리고, 후 필터부(125-7)는 잡음 제거로 강화된 음성 신호를 음성 인식부(130)로 전달할 수 있다.
음성 인식부(130)는 음성 인식 결과로부터 전처리부(120)에서 이용할 수 있는 정보를 생성할 수 있다. 예를 들어, 트리거 인식부(131)는 트리거 단어가 입력되었는지 여부에 대한 트리거 정보를 생성할 수 있다. 그리고, 트리거 인식부(131)는 트리거 정보를 음성 검출부(121), 감지부(123), 블록 매트릭스부(125-3), 다중 입력 상쇄부(125-5) 및 후 필터부(125-7)에 피드백할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 따른 전자 장치(100)에 의하여, 음성 인식 결과로부터 전자 장치(100) 및 사용자의 상태 등을 추정할 수 있으며, 전처리부에서는 추정된 정보를 이용하여 음성 신호 전처리 방식을 가변하여 음성 인식 성공률을 높일 수 있다.
도 8 은 본 발명의 일 실시 예에 따른 전자 장치(100)의 음성 인식 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 전자 장치(100)는 우선 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 생성할 수 있다(S810). 예를 들어, 전자 장치(100)는 복수의 마이크로 구성된 마이크 어레이를 통하여 다채널 음성 신호를 생성할 수 있다. 복수의 마이크에 음원이 입력되는 시간의 차이 등을 통해, 전자 장치(100)는 음원이 발화된 방향 및 거리를 판단할 수 있다.
이어서, 전자 장치(100)는 입력된 복수의 음성 신호에 대한 전처리를 수행할 수 있다(S820). 그리고, 전자 장치(100)는 전처리된 음성 신호를 이용하여 음성 인식을 수행할 수 있다(S830).
전자 장치(100)는 음성 인식 결과에서 기설정된 트리거가 감지되었는지 판단할 수 있다(S840). 만일, 음성 인식 결과 기설정된 트리거가 감지되면(S840-Y), 전자 장치(100)는 트리거 정보를 생성할 수 있다(S850). 예를 들어, 트리거 정보는 트리거 인식 여부 또는 트리거 인식 스코어에 대한 정보일 수 있다.
그리고, 전자 장치(100)는 생성된 트리거 정보를 피드백 하여, 전처리를 수행하는 방식을 변경할 수 있다(S860). 예를 들어, 전자 장치(100)는 유성 검출 이후 유성 구간으로 판단하는 시간을 변경할 수 있다. 다른 예로, 전자 장치(100)는 발화 방향을 감지하는 검색 각도 범위를 변경할 수 있다. 또 다른 예로, 전자 장치(100)는 적응 필터의 적응 속도를 변경하거나, 잡음 제거 정도를 변경할 수 있다.
이어서, 전자 장치(100)는 변경된 전처리 수행 방식으로 복수의 음성 신호를 처리하여 강화된 음성 신호를 생성할 수 있다(S870). 전처리 수행 방식의 변경은 상술한 유성 구간 판단 시간에 대한 변경, 검색 각도 범위에 대한 변경, 적응 필터의 적응 속도에 대한 변경 및 잡음 제거 정도에 대한 변경 중 적어도 하나를 포함할 수 있다.
이상과 같은 다양한 실시 예들에 따르면, 음성 인식 정보로부터 전자 장치 및 사용자의 상태 등을 추정할 수 있다. 또한, 이를 기반으로 사용자가 음성을 발화할 확률, 사용자의 위치, 사용자 음성의 강도 등에 대한 가중치를 조절하여 음성 인식 성공률을 높일 수 있다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 전자 장치 110: 오디오 입력부
120: 전처리부 121: 음성 검출부
123: 감지부 125: 빔포밍부
125-1: 고정 빔포밍부 125-3: 블록 매트릭스부
125-5: 다중 입력 상쇄부 125-7: 후 필터부
130: 음성 인식부 131: 트리거 인식부
133: 단어/문장 인식부 140: 모드 판단부

Claims (20)

  1. 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 제공하는 오디오 입력부;
    상기 복수의 음성 신호에 대한 전처리를 수행하는 전처리부; 및
    상기 전처리부에서 처리된 음성 신호를 이용한 음성 인식에 대응하는 기능을 수행하여 기설정된 트리거가 감지되면 트리거 정보를 생성하는 음성 인식부;를 포함하고,
    상기 전처리부는,
    상기 음성 인식부에서 획득한 상기 트리거 정보를 피드백 받아, 상기 트리거 정보에 따라 전처리 방식을 변경하고, 상기 변경된 전처리 방식으로 상기 복수의 음성 신호를 처리하며,
    상기 전처리부는,
    상기 복수의 음성 신호에서 유성 구간 및 무성 구간을 식별하는 음성 검출부;
    상기 복수의 음성 신호를 이용하여 발화 방향을 감지하기 위한 감지부; 및
    상기 복수의 음성 신호를 이용하여 강화된 음성 신호를 획득하기 위한 빔포밍부;를 포함하고,
    상기 음성 검출부는,
    상기 트리거가 감지되지 않으면, 제1 길이의 행오버 길이에 기초하여 상기 복수의 음성 신호에서 유성 구간 및 무성 구간을 식별하고, 상기 트리거가 감지되면, 상기 제1 길이보다 긴 제2 길이의 상기 행오버 길이에 기초하여 상기 복수의 음성 신호에서 상기 유성 구간 및 상기 무성 구간을 식별하고,
    상기 감지부는,
    상기 유성 구간에서 상기 트리거가 감지되지 않으면, 이전 검색 범위 보다 검색 범위를 넓혀 상기 발화 방향을 감지하고, 상기 유성 구간에서 상기 트리거가 감지되면, 상기 트리거가 감지된 방향에 대응되는 검색 범위에 대해서만 상기 발화 방향을 감지하고,
    상기 빔포밍부는,
    상기 무성 구간이 식별되면, 상기 강화된 음성 신호를 획득하기 위한 적응 필터의 스텝 사이즈를 최소 사이즈로 설정하고, 상기 유성 구간에서 상기 트리거가 감지되지 않으면, 상기 적응 필터의 스텝 사이즈를 중간 사이즈로 설정하고, 상기 유성 구간에서 상기 트리거가 감지되면, 상기 적응 필터의 스텝 사이즈를 최대 사이즈로 설정하는 전자 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    영상을 표시하는 디스플레이부; 및
    상기 음성 인식에 대응하는 기능에 따라 영상이 표시되도록 상기 디스플레이부를 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 전자 장치.
  10. 제1항에 있어서,
    상기 음성 인식에 대응하는 기능의 결과를 외부 장치로 전달하는 통신부;를 더 포함하는 것을 특징으로 하는 전자 장치.
  11. 제1항에 있어서,
    상기 음성 인식에 대응하는 기능에 따라 음성 출력 이벤트를 출력하는 스피커부;를 더 포함하는 것을 특징으로 하는 전자 장치.
  12. 서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 제공하는 단계;
    상기 복수의 음성 신호에 대한 전처리를 수행하는 단계;
    상기 전처리된 음성 신호를 이용한 음성 인식에 대응하는 기능을 수행하여 기설정된 트리거가 감지되면 트리거 정보를 획득하는 단계;
    상기 트리거 정보를 피드백 하여, 상기 트리거 정보에 따라 전처리 방식을 변경하는 단계; 및
    상기 변경된 전처리 방식으로 상기 복수의 음성 신호를 처리하는 단계;를 포함하며,
    상기 복수의 음성 신호를 처리하는 단계는,
    상기 복수의 음성 신호에서 유성 구간 및 무성 구간을 식별하는 단계;
    상기 복수의 음성 신호를 이용하여 발화 방향을 감지하는 단계; 및
    상기 복수의 음성 신호를 이용하여 강화된 음성 신호를 획득하는 단계;를 포함하고,
    상기 식별하는 단계는,
    상기 트리거가 감지되지 않으면, 제1 길이의 행오버 길이에 기초하여 상기 복수의 음성 신호에서 유성 구간 및 무성 구간을 식별하고, 상기 트리거가 감지되면, 상기 제1 길이보다 긴 제2 길이의 상기 행오버 길이에 기초하여 상기 복수의 음성 신호에서 상기 유성 구간 및 상기 무성 구간을 식별하고,
    상기 발화 방향을 감지하는 단계는,
    상기 유성 구간에서 상기 트리거가 감지되지 않으면, 이전 검색 범위 보다 검색 범위를 넓혀 상기 발화 방향을 감지하고, 상기 유성 구간에서 상기 트리거가 감지되면, 상기 트리거가 감지된 방향에 대응되는 검색 범위에 대해서만 상기 발화 방향을 감지하고,
    상기 강화된 음성 신호를 획득하는 단계는,
    상기 무성 구간이 식별되면, 상기 강화된 음성 신호를 획득하기 위한 적응 필터의 스텝 사이즈를 최소 사이즈로 설정하고, 상기 유성 구간에서 상기 트리거가 감지되지 않으면, 상기 적응 필터의 스텝 사이즈를 중간 사이즈로 설정하고, 상기 유성 구간에서 상기 트리거가 감지되면, 상기 적응 필터의 스텝 사이즈를 최대 사이즈로 설정하는 전자 장치의 음성 인식 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 전자 장치의 음성 인식 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체에 있어서,
    상기 음성 인식 방법은,
    서로 다른 위치에서 음원을 입력받아 복수의 음성 신호를 제공하는 단계;
    상기 복수의 음성 신호에 대한 전처리를 수행하는 단계;
    상기 전처리된 음성 신호를 이용한 음성 인식에 대응하는 기능을 수행하여 기설정된 트리거가 감지되면 트리거 정보를 획득하는 단계;
    상기 트리거 정보를 피드백 하여, 상기 트리거 정보에 따라 전처리 방식을 변경하는 단계; 및
    상기 변경된 전처리 방식으로 상기 복수의 음성 신호를 처리하는 단계;를 포함하며,
    상기 복수의 음성 신호를 처리하는 단계는,
    상기 복수의 음성 신호에서 유성 구간 및 무성 구간을 식별하는 단계;
    상기 복수의 음성 신호를 이용하여 발화 방향을 감지하는 단계; 및
    상기 복수의 음성 신호를 이용하여 강화된 음성 신호를 획득하는 단계;를 포함하고,
    상기 식별하는 단계는,
    상기 트리거가 감지되지 않으면, 제1 길이의 행오버 길이에 기초하여 상기 복수의 음성 신호에서 유성 구간 및 무성 구간을 식별하고, 상기 트리거가 감지되면, 상기 제1 길이보다 긴 제2 길이의 상기 행오버 길이에 기초하여 상기 복수의 음성 신호에서 상기 유성 구간 및 상기 무성 구간을 식별하고,
    상기 발화 방향을 감지하는 단계는,
    상기 유성 구간에서 상기 트리거가 감지되지 않으면, 이전 검색 범위 보다 검색 범위를 넓혀 상기 발화 방향을 감지하고, 상기 유성 구간에서 상기 트리거가 감지되면, 상기 트리거가 감지된 방향에 대응되는 검색 범위에 대해서만 상기 발화 방향을 감지하고,
    상기 강화된 음성 신호를 획득하는 단계는,
    상기 무성 구간이 식별되면, 상기 강화된 음성 신호를 획득하기 위한 적응 필터의 스텝 사이즈를 최소 사이즈로 설정하고, 상기 유성 구간에서 상기 트리거가 감지되지 않으면, 상기 적응 필터의 스텝 사이즈를 중간 사이즈로 설정하고, 상기 유성 구간에서 상기 트리거가 감지되면, 상기 적응 필터의 스텝 사이즈를 최대 사이즈로 설정하는 비일시적 컴퓨터 판독가능 기록매체.
KR1020150146422A 2015-10-21 2015-10-21 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체 Active KR102476600B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150146422A KR102476600B1 (ko) 2015-10-21 2015-10-21 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
US15/761,506 US10796688B2 (en) 2015-10-21 2016-10-21 Electronic apparatus for performing pre-processing based on a speech recognition result, speech recognition method thereof, and non-transitory computer readable recording medium
PCT/KR2016/011888 WO2017069556A1 (ko) 2015-10-21 2016-10-21 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150146422A KR102476600B1 (ko) 2015-10-21 2015-10-21 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체

Publications (2)

Publication Number Publication Date
KR20170046294A KR20170046294A (ko) 2017-05-02
KR102476600B1 true KR102476600B1 (ko) 2022-12-12

Family

ID=58557428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150146422A Active KR102476600B1 (ko) 2015-10-21 2015-10-21 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체

Country Status (3)

Country Link
US (1) US10796688B2 (ko)
KR (1) KR102476600B1 (ko)
WO (1) WO2017069556A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106782585B (zh) * 2017-01-26 2020-03-20 芋头科技（杭州）有限公司 一种基于麦克风阵列的拾音方法及系统
US10789949B2 (en) * 2017-06-20 2020-09-29 Bose Corporation Audio device with wakeup word detection
JP6991041B2 (ja) * 2017-11-21 2022-01-12 ヤフー株式会社 生成装置、生成方法、および生成プログラム
KR102527278B1 (ko) * 2017-12-04 2023-04-28 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN111742362B (zh) * 2018-01-23 2024-04-09 谷歌有限责任公司 在调用短语检测中选择性地适配和利用噪声降低技术
KR102459920B1 (ko) * 2018-01-25 2022-10-27 삼성전자주식회사 저전력 에코 제거를 지원하는 애플리케이션 프로세서, 이를 포함하는 전자 장치 및 그 동작 방법
US11150869B2 (en) * 2018-02-14 2021-10-19 International Business Machines Corporation Voice command filtering
JP7186375B2 (ja) * 2018-03-29 2022-12-09 パナソニックＩｐマネジメント株式会社 音声処理装置、音声処理方法および音声処理システム
US10586538B2 (en) * 2018-04-25 2020-03-10 Comcast Cable Comminications, LLC Microphone array beamforming control
US11238856B2 (en) 2018-05-01 2022-02-01 International Business Machines Corporation Ignoring trigger words in streamed media content
US11200890B2 (en) 2018-05-01 2021-12-14 International Business Machines Corporation Distinguishing voice commands
JP7001029B2 (ja) * 2018-09-11 2022-01-19 日本電信電話株式会社 キーワード検出装置、キーワード検出方法、およびプログラム
TWI719385B (zh) * 2019-01-11 2021-02-21 緯創資通股份有限公司 電子裝置及其語音指令辨識方法
KR20200132613A (ko) * 2019-05-16 2020-11-25 삼성전자주식회사 웨이크 언 보이스(Wake on Voice, WoV) 기술을 이용한 음성 인식 수행 방법 및 장치
US11380312B1 (en) * 2019-06-20 2022-07-05 Amazon Technologies, Inc. Residual echo suppression for keyword detection
US11355108B2 (en) 2019-08-20 2022-06-07 International Business Machines Corporation Distinguishing voice commands
KR20210031265A (ko) * 2019-09-11 2021-03-19 삼성전자주식회사 전자 장치 및 그 동작방법
CN111312214B (zh) * 2020-03-31 2022-12-16 广东美的制冷设备有限公司 空调器的语音识别方法、装置、空调器和可读存储介质
CN113450767A (zh) * 2021-06-24 2021-09-28 平安国际智慧城市科技股份有限公司 语音识别测试方法、装置、测试设备及存储介质
CN114694638B (zh) * 2022-04-19 2024-11-26 深圳市未艾智能有限公司 一种语音唤醒方法、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040064315A1 (en) * 2002-09-30 2004-04-01 Deisher Michael E. Acoustic confidence driven front-end preprocessing for speech recognition in adverse environments
US20080147397A1 (en) * 2006-12-14 2008-06-19 Lars Konig Speech dialog control based on signal pre-processing
US20120065973A1 (en) * 2010-09-13 2012-03-15 Samsung Electronics Co., Ltd. Method and apparatus for performing microphone beamforming
US20120123772A1 (en) * 2010-11-12 2012-05-17 Broadcom Corporation System and Method for Multi-Channel Noise Suppression Based on Closed-Form Solutions and Estimation of Time-Varying Complex Statistics
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
WO2015092400A1 (en) * 2013-12-18 2015-06-25 Cirrus Logic International (Uk) Limited Voice command triggered speech enhancement

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762588B1 (ko) 2001-06-26 2007-10-01 엘지전자 주식회사 화자적응과 오입력 거절을 결합한 음성인식 방법
US6937980B2 (en) 2001-10-02 2005-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Speech recognition using microphone antenna array
EP1473964A3 (en) 2003-05-02 2006-08-09 Samsung Electronics Co., Ltd. Microphone array, method to process signals from this microphone array and speech recognition method and system using the same
DE10339973A1 (de) * 2003-08-29 2005-03-17 Daimlerchrysler Ag Intelligentes akustisches Mikrofon-Frontend mit Spracherkenner-Feedback
EP1640971B1 (en) 2004-09-23 2008-08-20 Harman Becker Automotive Systems GmbH Multi-channel adaptive speech signal processing with noise reduction
KR20110028095A (ko) * 2009-09-11 2011-03-17 삼성전자주식회사 실시간 화자 적응을 통한 음성 인식 시스템 및 방법
KR20140057018A (ko) * 2012-11-02 2014-05-12 현대모비스 주식회사 스마트 피드백 음성인식 시스템
KR20140147587A (ko) * 2013-06-20 2014-12-30 한국전자통신연구원 Ｗｆｓｔ를 이용한 음성 끝점 검출 장치 및 방법
KR102210433B1 (ko) * 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040064315A1 (en) * 2002-09-30 2004-04-01 Deisher Michael E. Acoustic confidence driven front-end preprocessing for speech recognition in adverse environments
US20080147397A1 (en) * 2006-12-14 2008-06-19 Lars Konig Speech dialog control based on signal pre-processing
US20120065973A1 (en) * 2010-09-13 2012-03-15 Samsung Electronics Co., Ltd. Method and apparatus for performing microphone beamforming
US20120123772A1 (en) * 2010-11-12 2012-05-17 Broadcom Corporation System and Method for Multi-Channel Noise Suppression Based on Closed-Form Solutions and Estimation of Time-Varying Complex Statistics
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
WO2015092400A1 (en) * 2013-12-18 2015-06-25 Cirrus Logic International (Uk) Limited Voice command triggered speech enhancement

Also Published As

Publication number Publication date
WO2017069556A1 (ko) 2017-04-27
US10796688B2 (en) 2020-10-06
US20180268808A1 (en) 2018-09-20
KR20170046294A (ko) 2017-05-02

Similar Documents

Publication Publication Date Title
KR102476600B1 (ko) 전자 장치, 그의 음성 인식 방법 및 비일시적 컴퓨터 판독가능 기록매체
US11158333B2 (en) Multi-stream target-speech detection and channel fusion
CN112074901B (zh) 语音识别登入
US11094323B2 (en) Electronic device and method for processing audio signal by electronic device
US11978478B2 (en) Direction based end-pointing for speech recognition
US9330673B2 (en) Method and apparatus for performing microphone beamforming
US9916832B2 (en) Using combined audio and vision-based cues for voice command-and-control
KR102515996B1 (ko) 음성 인식을 위한 전자 장치 및 그 제어 방법
US10109294B1 (en) Adaptive echo cancellation
US11227588B2 (en) System and method for feature based beam steering
US9437188B1 (en) Buffered reprocessing for multi-microphone automatic speech recognition assist
US10157611B1 (en) System and method for speech enhancement in multisource environments
US11443760B2 (en) Active sound control
US20240079004A1 (en) System and method for receiving a voice command
US11600275B2 (en) Electronic device and control method thereof
EP3539128A1 (en) Processing speech from distributed microphones
US10482878B2 (en) System and method for speech enhancement in multisource environments
KR102331234B1 (ko) 음성 인식 방법 및 이에 사용되는 장치
KR20210080788A (ko) 전자장치 및 그 제어방법
US20220084505A1 (en) Communication between devices in close proximity to improve voice control of the devices
KR20210001434A (ko) 음성 인식 서비스를 제공하는 단말, 방법 및 서버
JP2015192361A (ja) 移動通信端末及び移動通信端末の制御方法
JP2011081322A (ja) 音声認識システム及び音声認識方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151021

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200916

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20151021

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211222

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220622

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220913

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221208

End annual number: 3

Start annual number: 1

PG1601 Publication of registration