[go: up one dir, main page]

KR101615766B1 - 돌발 잡음 검출기, 돌발 잡음 검출 방법 및 돌발 잡음 제거 시스템 - Google Patents

돌발 잡음 검출기, 돌발 잡음 검출 방법 및 돌발 잡음 제거 시스템 Download PDF

Info

Publication number
KR101615766B1
KR101615766B1 KR1020090104337A KR20090104337A KR101615766B1 KR 101615766 B1 KR101615766 B1 KR 101615766B1 KR 1020090104337 A KR1020090104337 A KR 1020090104337A KR 20090104337 A KR20090104337 A KR 20090104337A KR 101615766 B1 KR101615766 B1 KR 101615766B1
Authority
KR
South Korea
Prior art keywords
noise
signal
energy
background
sudden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020090104337A
Other languages
English (en)
Other versions
KR20100071898A (ko
Inventor
김승일
강홍구
최민석
전혜정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20100071898A publication Critical patent/KR20100071898A/ko
Application granted granted Critical
Publication of KR101615766B1 publication Critical patent/KR101615766B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02085Periodic noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Noise Elimination (AREA)

Abstract

본 발명은 입력되는 디지털 신호들을 m 개의 블록으로 분할하고, 분할된 상기 블록단위로 디지털 신호들을 주파수 영역으로 변환하고, 주파수 영역으로 변환된 m 개의 주파수 영역 신호를 출력하기 위한 주파수 변환부와, 상기 주파수 변환부로부터 입력된 m 개의 상기 주파수 영역 신호의 각각에 대하여 고주파수 대역에 존재하는 에너지를 연산하여 m 개의 제1 에너지값들을 출력하기 위한 제1 에너지 연산부와, 상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정하기 위한 제1 배경신호 에너지 연산부 및 m 개의 상기 제1 에너지값들 및 m 개의 상기 제1 배경신호 에너지값들을 대응시키고, 상기 제1 에너지값들 및 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 제1 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력하기 위한 제1 비교기를 포함하는 돌발 잡음 검출기에 관한 것이다.

Description

돌발 잡음 검출기, 돌발 잡음 검출 방법 및 돌발 잡음 제거 시스템{IMPULSIVE NOISE DETECTOR, METHOD OF DETECTING IMPULSIVE NOISE AND IMPULSIVE NOISE REMOVER SYSTEM}
본 발명은 주위 환경에서 발생하는 여러 가지 잡음이 포함된 음성 신호를 수신하는 경우, 상기 잡음들의 위치를 정확하게 검출할 수 있는 돌발 잡음 검출기 및 방법에 관한 것이다.
음성 신호를 수신하는 환경은 음성 신호 이외에도 다양한 잡음이 존재할 수 있다. 예를 들면, 음성 신호를 수신하는 장소가 여러 사람이 몰려 있는 역이나 공항의 구내 또는 버스나 지하철 또는 거리 등인 경우, 수신하려는 음성 신호 이외에도 다양한 잡음이 존재한다. 따라서, 상기와 같은 장소에서 음성 신호를 수신한다면, 수신된 음성 신호에는 다양한 잡음이 포함되어 있다. 상기 잡음에는 책상서랍 닫는 소리, 문 닫는 소리, 손뼉 치는 소리 등이 있다. 상기 잡음들은 짧은 시간 동안 존재하며 그 진폭이 매우 크고 단순한 파형일 수도 있고, 비교적 긴 시간 동안 존재하며 음성과 비슷한 진폭과 신호 성분이 복합한 파형일 수도 있다.
상기와 같은 다양한 잡음 신호가 포함된 음성 신호들이 수신되는 경우가 많으므로, 상기 음성 신호로부터 잡음을 제거하기 위한 기술들에 관한 연구가 진행되고 있다. 구체적으로, 상기 음성 신호로부터 잡음을 검출하기 위한 방법, 검출된 상기 잡음을 제거하기 위한 잡음 제거 장치 등에 대한 연구가 활발히 진행되고 있다.
그러나, 잡음을 검출하는 과정에서 음성 신호의 피치를 이용하여 검출하는 경우 잡음과 음성 신호의 구별이 어려워 정확한 검출이 어렵다는 문제가 있다. 또한, 잡음이 큰 크기를 가지고 발생하였다가 잡음이 끝나는 부분에서 상대적으로 작은 크기를 갖게 되는 경우, 상대적으로 작은 크기를 갖는 잡음은 음성 신호와 거의 동일 하므로 잡음으로 검출되지 않는 문제가 있다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은 여러 가지 잡음이 포함된 음성신호에서 잡음을 정확하게 검출하기 위한 검출기 및 방법을 제공함에 있다.
본 발명에 따른 돌발 잡음 검출기는, 입력되는 디지털 신호들을 m 개의 블록으로 분할하고, 분할된 상기 블록단위로 디지털 신호들을 주파수 영역으로 변환하고, 주파수 영역으로 변환된 m 개의 주파수 영역 신호를 출력하기 위한 주파수 변환부와, 상기 주파수 변환부로부터 입력된 m 개의 상기 주파수 영역 신호의 각각에 대하여 고주파수 대역에 존재하는 에너지를 연산하여 m 개의 제1 에너지값들을 출력하기 위한 제1 에너지 연산부와, 상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정하기 위한 제1 배경신호 에너지 연산부 및 상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들 및 상기 제1 배경신호 에너지 연산부로부터 m 개의 상기 제1 배경신호 에너지값들을 대응시키고, 상기 제1 에너지값들 및 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 제1 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력하기 위한 제1 비교기를 포함한다.
이에 따라, 본 발명에 따른 돌발 잡음 검출기는 돌발 잡음의 피치와 음성 신 호의 피치가 비슷한 경우에도 돌발 잡음을 명확하게 검출할 수 있다.
또한, 상기 아날로그 디지털 변환기로부터 입력된 상기 디지털 신호들의 각각을 기준으로 하여 제2 에너지값을 계산하고, 상기 제2 에너지값을 출력하기 위한 제2 에너지 연산부와, 상기 제2 에너지 연산부로부터 입력된 상기 제2 에너지값들을 이용하여 제2 배경신호 에너지값들을 추정하고, 추정된 상기 제2 배경신호 에너지값들을 출력하기 위한 제2 배경신호 에너지 연산부와, 상기 제2 에너지 연산부로부터 입력된 상기 제2 에너지값들 및 상기 제2 배경신호 에너지 연산부로부터 입력된 상기 제2 배경신호 에너지값들을 대응시키고, 상기 제2 에너지값들 및 상기 제2 배경신호 에너지값들을 비교하여 제2 돌발 잡음들을 검출하고, 상기 제2 돌발 잡음들이 포함된 제2 돌발 잡음 신호를 출력하기 위한 제2 비교기 및 검출된 상기 제2 돌발 잡음 신호를 m 개의 블록으로 분할하고, 상기 각각의 블록 내에 존재하는 상기 제 2 돌발 잡음의 개수가 미리 설정된 개수 이상인 경우에만 돌발 잡음이 존재하는 것으로 연산하여, 상기 연산된 결과를 반영한 제3 돌발 잡음 신호를 출력하기 위한 돌발 잡음 검출부를 더 포함한다.
이에 따라, 본 발명에 따른 돌발 잡음 검출기는 고주파 성분이 강한 음성 신호가 입력되는 경우 및 돌발 잡음의 피크가 음성 신호의 피크와 비슷한 경우에도 정확하게 돌발 잡음을 검출할 수 있게 된다.
본 발명에 따른 돌발 잡음 검출 방법은 입력되는 디지털 신호들을 m 개의 블 록으로 분할하고, 분할된 상기 블록단위로 디지털 신호들을 주파수 영역으로 변환하고, 주파수 영역으로 변환된 m 개의 주파수 영역 신호를 출력하는 주파수 변환단계와, 상기 m 개의 주파수 영역 신호들의 고주파수 대역에 존재하는 에너지를 계산하여 m 개의 제1 에너지값들을 연산하는 제1 에너지값 연산 단계와, 상기 m 개의 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정하는 제1 배경신호 에너지값 연산 단계 및 상기 제1 에너지값 연산 단계에서 연산된 상기 m 개의 제1 에너지값들 및 상기 제1 배경신호 에너지값 연산 단계에서 연산된 m 개의 상기 제1 배경신호 에너지값들을 대응시키고, 상기 제1 에너지값들 및 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력하는 제1 돌발 잡음 검출 단계를 포함한다.
이에 따라, 본 발명에 따른 돌발 잡음 검출 방법은 돌발 잡음의 피치와 음성 신호의 피치가 비슷한 경우에도 돌발 잡음을 명확하게 검출할 수 있다.
본 발명에 따른 돌발 잡음 제거 시스템은, 상기 돌발 잡음 검출기; 및 입력되는 디지털 신호들에 대해 장기 기간 예측(LTP) 분석을 실행하기 위해 구성된 신호분석부, 상기 분석 결과에 기초하여 주기 신호를 생성하는 주기 신호 생성부 및 상기 입력되는 디지털 신호에서 상기 주기 신호를 빼기 위해 구성된 뺄셈기를 포함하는 LTP 분석부와, 상기 돌발 잡음 검출부로부터 출력된 돌발 잡음 신호에 기초하여 상기 LTP 분석부로부터 출력된 신호 중 돌발 잡음을 감쇄하기 위해 구성된 돌발 잡음 감쇄기 및 상기 돌발 잡음 감쇄기로부터 출력된 신호 및 상기 주기 신호 생성 부로부터 출력된 주기 신호를 합산하기 위해 구성된 합산기를 포함하는 돌발 잡음 제거기;를 포함하고, 상기 제 2 에너지 연산부는 상기 LTP 분석부로부터 출력된 신호에 기초하여 제 2 에너지값을 연산한다.
본 발명에 따르면, 돌발 잡음의 피크 값이 음성 신호의 피크 값과 비슷한 경우에도 돌발 잡음을 정확하게 검출할 수 있는 이점이 있다.
도 1a 내지 도 1c는 돌발 잡음을 검출하기 위한 검출기의 일 실시예에 관한 구성도 및 검출 방법을 도시한 도면이다.
도 1a를 참조하면, 상기 검출기는 수신부(100), 아날로그 디지털 변환기(ADC)(110), 돌발 잡음 증폭기(120), 제2 에너지 연산부(130), 제2 배경신호 에너지 연산부(140) 및 제2 비교기(150)를 포함할 수 있다.
상기 수신부(100)는 음성 신호를 수신할 수 있는 장치이며, 수신된 상기 음성 신호를 상기 아날로그 디지털 변환기(ADC)(110)로 전송한다.
상기 아날로그 디지털 변환기(ADC)(110)는 상기 수신부(100)로부터 입력된 상기 음성 신호를 n 개의 디지털 신호로 변환하고, 변환된 n 개의 상기 디지털 신호를 상기 돌발 잡음 증폭기(120)로 전송한다. 도 1b를 참조하면, 상기 아날로그 디지털 변환기(110)가 입력된 음성신호를 n개로 디지털 신호로 변환한 것을 도시한 도면이다.
상기 돌발 잡음 증폭기(120)는 상기 아날로그 디지털 변환기(110)로부터 입력된 n 개의 디지털 신호를 증폭한다. 상기 증폭은 이차 미분기를 사용할 있으며, 상기 돌발 잡음 증폭기(120)의 출력은 이차 미분 계수가 된다. 상기 돌발 잡음 증폭기(120)는 돌발 잡음을 증폭시킴으로써 돌발 잡음의 특성을 더욱 부각시킬 수 있다. 즉, 돌발 잡음의 크기가 기존에 돌발 잡음의 크기보다 더욱 커지게 된다.
예를 들면, z(n) = x(n-1) - 2*x(n) + x(n+1) 식을 이용할 수 있다. 상기 z(n)은 돌발 잡음 증폭기의 출력을 의미하고, x(n)은 아날로그 디지털 변환기(110)의 출력을 의미하고, n은 상기 디지털 신호의 순서(0, 1, 2, ... , n)를 의미한다.
상기 돌발 잡음 증폭기(120)는 출력 z(n)을 상기 제2 에너지 연산부(130)로 전송한다.
상기 제2 에너지 연산부(130)는 상기 돌발 잡음 증폭기(120)로부터 입력된 출력 z(n)을 이용하여 제2 에너지 w(n)을 연산한다. 상기 w(n)의 연산은 이하의 식을 이용하여 연산한다.
Figure 112009066938487-pat00001
w(n) : 상기 제2 에너지 연산부의 출력
M : 윈도우(window)에 사용되는 디지털 신호의 개수
z(n) : 상기 돌발 잡음 증폭기의 출력
예를 들면, M = 10인 경우, j는 -5 부터 5 까지 변화되고, n은 0 부터 n까지 변화하게 된다. 상기 변수들의 값을 순서대로 넣어 가면서 계산함으로써 w(n) 값(제2 에너지값)을 연산하게 된다. 상기 w(n)은 n 개가 출력된다. 상기 변수들의 값 및 수학식은 일 실시예에 불과한 것이고, 사용자가 필요에 따라 다양하게 변형해서 사용할 수 있다.
상기 제2 에너지 연산부(130)는 제2 에너지값들(w(n))을 상기 제2 배경신호 에너지 연산부(140) 및 상기 제2 비교기(150)로 전송한다.
상기 제2 배경신호 에너지 연산부(140)는 상기 제2 에너지 연산부(130)로부터 입력된 제2 에너지값들을 이용하여 제2 배경신호 에너지를 추정한다. 상기 배경신호란 음성신호 중에 돌발 잡음을 제외한 신호를 의미한다. 상기 배경신호 에너지란 음성 신호 중에 돌발 잡음을 제외한 신호인 배경신호들의 에너지를 연산한 값을 의미한다. 일반적으로, 상기 배경신호만을 얻어내는 것이 어렵기 때문에, 상기 배경 신호 에너지값은 추정한다. 상기 제2 배경 신호 에너지 연산부(140)는 재귀적 중간값 필터(recursive median filter), 중간값 필터, 평균값 필터 등을 사용하여 연산한다. 상기 중간값은 필터 내에 존재하는 값들 중에 크기의 순위가 중간 순위에 속하는 값들을 출력하는 것을 의미한다. 상기 평균값은 필터 내에 존재하는 값들의 평균값을 연산하여 평균값을 출력하는 것을 의미한다. 상기 평균값의 연산에 는 가중치를 부여하여 연산하는 방법도 사용할 수 있다. 상기 재귀적(recursive)란은 필터의 입력 중에 과거에 구해진 필터의 출력도 이용하여 연산하는 경우를 의미한다.
상기 제2 배경 신호 에너지 연산부(140)가 재귀적 중간값 필터를 사용하는 경우, 이하의 식을 이용하여 연산 된다.
Figure 112009066938487-pat00002
b(n) : 제2 배경신호 에너지값
w(n) : 제2 에너지값
k : 재귀적 중간값 필터의 크기
상기 med는 중간값을 의미하고, 상기 RMF는 재귀적 중간값 필터를 의미한다. b(n-k), ... , b(n-1)은 상기 제1 에너지 연산부(170)를 통해 과거에 구해진 제1 배경신호 에너지값들의 결과값을 의미한다. 예를 들면, 상기 k는 10이고, 상기 w(10)이 입력되면, 상기 제2 배경신호 에너지 연산부(140)는 b(0), b(1), b(2), ... , w(10), w(11), w(12), ... , w(20)의 값들 중에 중간 순위에 속하는 에너지값을 출력한다. 만약 w(11) 값이 중간값에 해당한다면, 상기 제2 배경신호 에너지 연산부(140)는 w(10)이 입력된 경우, w(11)을 제2 배경신호 에너지값으로 출력한다. 이와 같이, 상기 제2 배경신호 에너지 연산부(140)는 n 개의 제2 배경신호 에 너지값들을 출력한다.
상기 제2 비교기(150)는 상기 제2 에너지 연산부(130)로부터 입력된 n 개의 제2 에너지값들 및 상기 제2 에너지 배경신호 연산부(140)로부터 n 개의 입력된 제2 배경신호 에너지값들을 각각 대응시킨다. 상기 제2 비교기(150)는 대응된 상기 제2 에너지값들 및 제2 배경신호 에너지값들을 비교하여 돌발잡음의 위치를 검출한다.
예를 들면, 상기 제2 비교기(150)는 상기 제2 에너지값이 대응되는 제2 배경신호 에너지값보다 큰 경우를 돌발 잡음으로 검출할 수 있다. 3번째 디지털 신호의 제2 에너지값이 10이고, 제2 배경신호 에너지값이 8인 경우, 상기 제2 비교기(150)는 3번째 디지털 신호의 위치에 제2 돌발 잡음이 있다고 검출한다. 위와 같은 과정을 반복함으로써, 상기 제2 비교기(150)는 제2 돌발 잡음의 위치를 검출하고, 상기 제2 돌발 잡음들이 포함된 제2 돌발 잡음 신호를 출력한다. 상기 제2 돌발 잡음이란 상기 제2 비교기(150)에서 돌발 잡음이라고 검출된 잡음을 의미한다. 상기 제2 돌발 잡음 신호란 상기 제2 돌발 잡음을 포함되며, 제2 돌발 잡음의 위치를 알 수 있는 신호를 의미한다.
또한, 상기 제2 비교기(150)는 상기 제2 에너지값이 대응되는 상기 제2 배경신호 에너지값보다 미리 설정된 값 이상으로 큰 경우를 돌발 잡음으로 검출할 수 있다. 상기 미리 설정된 값은 사용자가 임의로 정하는 것이다. 예를 들면, 사용자가 상기 제2 에너지값과 상기 제2 배경신호 에너지값의 3 이상인 경우에만 돌발 잡음으로 검출한다고 설정하였다면, 3번째 디지털 신호의 제2 에너지값이 10이고, 제 2 배경신호 에너지값이 8인 경우, 3번째 상기 디지털 신호는 돌발 잡음으로 검출되지 않는다.
또한, 상기 제2 비교기(150)는 상기 제2 에너지값과 대응되는 상기 제2 배경신호 에너지값의 비율이 미리 설정된 값 이상으로 큰 경우를 돌발 잡음으로 검출할 수 있다. 예를 들면, 이하의 식을 이용하여 연산할 수 있다.
d(n) = (w(n) - b(n))/b(n),
g(n) = 1, d(n)> C
= 0, otherwise
w(n) : 제2 에너지값들
b(n) : 제2 배경신호 에너지값들
d(n) : 제2 에너지값 및 제2 배경신호 에너지값의 비율
g(n) : 제2 돌발 잡음 신호
C : 일정한 상수
n : 디지털 신호들의 순서(0, 1, 2, ... ,n)
사용자가 상기 비율(C)이 0.1이상인 경우를 돌발 잡음으로 검출하도록 설정하였다면, 3번째 디지털 신호의 제2 에너지값이 10이고, 제2 배경신호 에너지값이 8인 경우, (10 - 8) / 8 = 1/4 = 0.25이므로 돌발 잡음으로 검출한다.
상기에서 설명한 방법 이외에도 사용자는 다양한 방법에 의해서 상기 제2 비교기(150)에서 돌발 잡음인지 아닌지를 검출하는 기준을 설정할 수 있다.
도 1c를 참조하면, 상기 제2 비교기(150)에서 출력된 제2 돌발 잡음 신호(g(n))의 일예를 도시한 도면이다. 도 1c를 참조하면, n이 1, 4, 9, 11, 12, 13, .. 인 경우, 제2 돌발 잡음이 발생한 것을 알 수 있다.
이에 따라, 본 실시예에 따른 검출기는 돌발 잡음의 위치를 검출할 수 있다. 그러나, 상기 검출기는 음성의 피치를 이용하여 검출하는 것으로 음성의 피치와 돌발 잡음의 피치가 비슷한 경우 돌발 잡음으로 검출하지 못하는 문제가 있다. 또한, 돌발 잡음이 발생하였다가 돌발 잡음이 끝나는 부분에선 상대적으로 돌발 잡음의 피치가 작아지는 경우, 상기 검출기는 돌발 잡음으로 검출하지 못하는 문제가 있다.
도 2a 내지 도 2f는 본 발명에 따른 돌발 잡음을 검출하기 위한 검출기의 일 실시예에 관한 구성도 및 검출 방법을 도시한 도면이다.
도 2a를 참조하면, 돌발잡음만 존재하는 경우, 돌발 잡음 및 음성 신호가 모두 존재하는 경우 및 음성 신호만이 존재하는 경우의 주파수의 변화에 따른 에너지의 크기(dB)를 나타낸 도면이다.
도 2a를 참조하면, 돌발 잡음만 존재하는 경우, 돌발 잡음 및 음성 신호가 모두 존재하는 경우는 고주파수 대역에서의 에너지값이 60 dB ~ 90 dB 정도로 큰 것을 알 수 있다. 반면에, 음성 신호만이 존재하는 경우는 고주파수 대역에서의 에 너지값이 30 dB ~ 50 dB 정도로 작은 것을 알 수 있다. 따라서, 본 발명에서는 상기 특성을 이용하여 돌발 잡음이 포함된 음성 신호를 주파수 영역의 신호로 변환한 후에, 에너지값을 비교함으로써 돌발 잡음을 검출하게 된다. 이하에서, 본 발명에 따른 검출기의 자세한 검출 방법을 기술하겠다.
도 2b를 참조하면, 본 발명에 따른 검출기는 수신부(100), 아날로그 디지털 변환기(ADC)(110), 주파수 변환부(160), 제1 에너지 연산부(170), 제1 배경신호 에너지 연산부(180) 및 제1 비교기(190)를 포함할 수 있다.
상기 수신부(100)는 음성 신호를 수신할 수 있는 장치이며, 수신된 상기 음성 신호를 상기 아날로그 디지털 변환기(ADC)(110)로 전송한다.
상기 아날로그 디지털 변환기(ADC)(110)는 상기 수신부(100)로부터 입력된 상기 음성 신호를 n 개의 디지털 신호로 변환하고, 변환된 n 개의 상기 디지털 신호를 상기 주파수 변환부(160)로 전송한다. 도 2c를 참조하면, 상기 아날로그 디지털 변환기(110)가 입력된 음성신호를 n개로 디지털 신호로 변환한 것을 도시한 도면이다.
상기 주파수 변환부(160)는 상기 아날로그 디지털 변환기(110)로부터 입력된 n 개의 디지털 신호들을 m 개의 블록(block)으로 분할한다. 상기 주파수 변환부(160)는 푸리에 변환 등을 사용할 수 있다. 도 2c를 참조하면, n 개의 디지털 신호들을 m 개의 블록으로 분할한 것을 보여주고 있다. 상기 주파수 변환부(160)는 분할된 상기 블록단위(m개)로 디지털 신호들을 주파수 영역으로 변환한다. 즉, 상기 주파수 변환부(160)는 m 개의 블록 내에 존재하는 시간 영역의 디지털 신호들을 주파수 영역으로 변환하여, m 개의 주파수 영역 신호를 출력한다.
상기 주파수 변환부(160)는 m 개의 상기 주파수 영역 신호를 상기 제1 에너지 연산부(170)로 전송한다.
상기 제1 에너지 연산부(170)는 상기 주파수 변환부(160)로부터 입력된 m 개의 상기 주파수 영역 신호를 이용하여 m 개의 제1 에너지값을 연산한다. 상기 제1 에너지값의 연산은 주파수 응답의 고주파 영역에 존재하는 에너지값만을 연산하여 얻을 수 있다. 예를 들면, 주파수가 2.5kHz ~ 3.5 kHz 영역에 존재하는 에너지만을 연산함으로써, 제1 에너지값을 연산할 수 있다. 사용자는 주파수의 범위를 1500Hz ~ 6000Hz 내에서 자유롭게 정할 수 있다. 위와 같은 과정을 반복함으로써, 상기 제1 에너지 연산부(170)는 m 개의 제1 에너지값을 연산할 수 있다. 상기 제1 에너지 연산부(170)는 제1 에너지값들을 상기 제1 배경신호 에너지 연산부(180) 및 상기 제1 비교기(190)로 전송한다.
상기 제1 배경신호 에너지 연산부(180)는 상기 제1 에너지 연산부(170)로부터 입력된 제1 에너지값들을 이용하여 제1 배경신호 에너지를 추정한다. 상기 배경신호란 음성신호 중에 돌발 잡음을 제외한 신호를 의미한다. 상기 배경신호 에너지란 음성 신호 중에 돌발 잡음을 제외한 신호인 배경신호들의 에너지를 연산한 값을 의미한다. 일반적으로, 상기 배경신호만을 얻어내는 것이 어렵기 때문에, 상기 배경 신호 에너지값은 추정한다. 상기 제1 배경 신호 에너지 연산부(170)는 재귀적 중간값 필터(recursive median filter), 중간값 필터, 평균값 필터 등을 사용하여 연산한다. 상기 중간값은 필터 내에 존재하는 값들 중에 크기의 순위가 중간 순위 에 속하는 값들을 출력하는 것을 의미한다. 상기 평균값은 필터 내에 존재하는 값들의 평균값을 연산하여 평균값을 출력하는 것을 의미한다. 상기 평균값의 연산에는 가중치를 부여하여 연산하는 방법도 사용할 수 있다. 상기 재귀적(recursive)란은 필터의 입력 중에 과거에 구해진 필터의 출력도 이용하여 연산하는 경우를 의미한다.
상기 제1 배경 신호 에너지 연산부(170)가 재귀적 중간값 필터를 사용하는 경우, 이하의 식을 이용하여 연산 된다.
h(m) = median{h(m-u), ... , h(m-1), e(m), e(m+1), ... , e(m+u)
h(m) : 제1 배경신호 에너지값
e(m) : 제1 에너지값
u : 재귀적 중간값 필터의 크기
상기 med는 중간값을 의미하고, 상기 RMF는 재귀적 중간값 필터를 의미한다. h(n-u), ... , h(n-1)는 상기 제1 에너지 연산부(170)를 통해 과거에 구해진 제1 배경신호 에너지값들의 결과값을 의미한다. 예를 들면, 상기 u는 10이고, 상기 e(10)이 입력되면, 상기 제1 배경신호 에너지 연산부(170)는 h(0), h(1), h(2), ... , e(10), e(11), e(12), ... , e(20)의 값들 중에 중간 순위에 속하는 에너지값을 출력한다. 만약 e(11) 값이 중간값에 해당한다면, 상기 제1 배경신호 에너지 연산부(170)는 e(10)이 입력된 경우, e(11)을 제1 배경신호 에너지값으로 출력한 다. 이와 같이, 상기 제1 배경신호 에너지 연산부(170)는 m 개의 제2 배경신호 에너지값들을 출력한다.
상기 제1 비교기(190)는 상기 제1 에너지 연산부(170)로부터 입력된 m 개의 제1 에너지값들 및 상기 제1 에너지 배경신호 연산부(180)로부터 m 개의 입력된 제1 배경신호 에너지값들을 각각 대응시킨다. 상기 제1 비교기(190)는 대응된 상기 제1 에너지값들 및 제1 배경신호 에너지값들을 비교하여 돌발잡음의 위치를 검출한다.
예를 들면, 상기 제1 비교기(190)는 상기 제1 에너지값이 대응되는 제1 배경신호 에너지값보다 큰 경우를 돌발 잡음으로 검출할 수 있다. 3번째 디지털 신호의 제1 에너지값이 12이고, 제1 배경신호 에너지값이 8인 경우, 상기 제1 비교기(190)는 3번째 디지털 신호의 위치에 제1 돌발 잡음이 있다고 검출한다. 위와 같은 과정을 반복함으로써, 상기 제1 비교기(190)는 제1 돌발 잡음의 위치를 검출하고, 상기 제1 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력한다. 상기 제1 돌발 잡음이란 상기 제1 비교기(190)에서 돌발 잡음이라고 검출된 잡음을 의미한다. 상기 제1 돌발 잡음 신호란 상기 제1 돌발 잡음을 포함되며, 제1 돌발 잡음의 위치를 알 수 있는 신호를 의미한다.
또한, 상기 제1 비교기(190)는 상기 제1 에너지값이 대응되는 상기 제1 배경신호 에너지값보다 미리 설정된 값 이상으로 큰 경우를 돌발 잡음으로 검출할 수 있다. 상기 미리 설정된 값은 사용자가 임의로 정하는 것이다. 예를 들면, 사용자가 상기 제1 에너지값과 상기 제1 배경신호 에너지값의 3 이상인 경우에만 돌발 잡 음으로 검출한다고 설정하였다면, 3번째 디지털 신호의 제1 에너지값이 12이고, 제1 배경신호 에너지값이 8인 경우, 3번째 상기 디지털 신호는 제1 돌발 잡음으로 검출된다.
또한, 상기 제1 비교기(190)는 상기 제1 에너지값과 대응되는 상기 제1 배경신호 에너지값의 비율이 미리 설정된 값 이상으로 큰 경우를 제1 돌발 잡음으로 검출할 수 있다. 예를 들면, 이하의 식을 이용하여 연산할 수 있다.
p(m) = (e(m) - h(m))/h(m),
q(m) = 1, p(m)> C
= 0, otherwise
e(m) : 제1 에너지값들
h(m) : 제1 배경신호 에너지값들
p(m) : 제1 에너지값 및 제2 배경신호 에너지값의 비율
q(m) : 제1 돌발 잡음 신호
C : 일정한 상수
m : 블록들의 순서(0, 1, 2, ... ,m)
사용자가 상기 비율(C)이 0.3이상인 경우를 돌발 잡음으로 검출하도록 설정하였다면, 3번째 블록의 제1 에너지값이 10이고, 제1 배경신호 에너지값이 8인 경 우, (10 - 8) / 8 = 1/4 = 0.25이므로 돌발 잡음으로 검출하지 않는다.
상기에서 설명한 방법 이외에도 사용자는 다양한 방법에 의해서 상기 제2 비교기(150)에서 돌발 잡음인지 아닌지를 검출하는 기준을 설정할 수 있다.
도 2d를 참조하면, 상기 제1 비교기(190)에서 출력된 제1 돌발 잡음 신호(g(n))의 일예를 도시한 도면이다. 도 2d를 참조하면, m이 1, 2, 4, ... , m-1 인 경우, 제1 돌발 잡음이 발생한 것을 알 수 있다.
도 2e는 돌발 잡음이 존재하는 위치를 도시한 도면이고, 도 2f는 본 발명에 따른 검출기를 이용하여 돌발 잡음을 검출한 도면이다.
도 2e 및 도 2f를 참조하면, 본 발명에 따른 검출기를 이용하면 거의 모든 돌발 잡음을 검출해 낼 수 있음을 알 수 있다. 상기 도 2e의 세로축은 해당하는 블록의 돌발 잡음이 존재하는 여부를 이진화로 표현한 수치이고, 가로축은 블록의 순서를 의미한다. 즉, 가로축의 숫자가 200인 경우, 200번째 블록을 의미하는 것이다. 상기 도 2f의 세로축은 해당하는 블록의 에너지값을 의미하는 것이고, 가로축은 블록의 순서를 의미한다.
이에 따라, 본 실시예에 따른 검출기는 돌발 잡음의 피치와 음성 신호의 피치가 비슷한 경우에도 돌발 잡음을 명확하게 검출할 수 있다. 또한, 본 발명에 따른 검출기는 모음이 존재하는 구간에서는 거의 모든 돌발 잡음을 정확하게 검출할 수 있다.
도 3a 내지 도 3e는 본 발명에 따른 검출기의 일실시예에 따른 구성도를 도시한 도면이다.
도 3a를 참조하면, 본 발명에 따른 검출기는 수신부(100), 아날로그 디지털 변환기(ADC)(110), 돌발 잡음 증폭기(120), 제2 에너지 연산부(130), 제2 배경신호 에너지 연산부(140), 제2 비교기(150), 주파수 변환부(160), 제1 에너지 연산부(170), 제1 배경신호 에너지 연산부(180), 제1 비교기(190) 및 돌발 잡음 검출부(200)를 포함할 수 있다.
상기 돌발 잡음 검출부(200)을 제외하고는 도 1a 내지 도 2f에서 모두 설명되었는바 이에 대한 설명은 생략하겠다.
상기 돌발 잡음 검출부(200)는 상기 제2 비교기(150)에서 출력된 제2 돌발 잡음 신호(g(n))을 m 개의 블록으로 분할한다. 상기 m 개의 블록은 상기 주파수 변환부(160)에서 분할한 블록의 수와 동일한 것이다. 도 3b를 참조하면, 상기 돌발 잡음 검출부(200)가 m 개의 블록으로 제2 돌발 잡음 신호를 분할한 신호를 도시하고 있다. 상기 돌발 잡음 검출부(200)는 각각의 블록 내에 존재하는 제2 돌발 잡음의 개수가 미리 설정된 값 이상인 경우에만 돌발 잡음으로 검출한다. 예를 들면, 상기 제2 돌발 잡음의 개수가 3개 이상인 경우를 돌발 잡음으로 검출한다면, m=1인 경우, 상기 돌발 잡음 검출부(200)는 제2 돌발 잡음의 개수가 2개이므로 돌발 잡음으로 검출하지 않는다. 반면에, m=2인 경우, 상기 돌발 잡음 검출부(200)는 제2 돌발 잡음의 개수가 3개이므로 돌발 잡음으로 검출한다. 이와 같은 과정을 반복함으로써, 상기 돌발 잡음 검출부(200)는 상기 제2 돌발 잡음 신호를 m 개의 제3 돌발 잡음을 갖는 신호로 변환한다. 도 3c를 참조하면, 상기 제3 돌발 잡음 신호를 도시하고 있다. 상기 제2 돌발 잡음의 개수가 3개 이상인 것을 예로 들었지만, 사용자는 상기 제2 돌발 잡음의 개수를 10개, 30개, 100개, 200개, 500개 등으로 자유롭게 정할 수 있다.
상기 돌발 잡음 검출부(200)는 상기 제1 비교기(190)로부터 입력된 제1 돌발 잡음 신호 및 상기 제3 돌발 잡음 신호를 매칭시키고, 상기 제1 돌발 잡음 신호 및 상기 제3 돌발 잡음 신호에 모두 돌발 잡음이 존재하는 경우에만 돌발 잡음이 존재하는 것으로 연산한다. 예를 들면, 도 3c 및 도 3d를 참조하면, m=1인 경우, 상기 제3 돌발 잡음 신호는 돌발 잡음이 존재하지만, 상기 제1 돌발 잡음 신호는 돌발 잡음이 존재하지 않기 때문에, 상기 돌발 잡음 검출부(200)는 최종적인 돌발 잡음은 없는 것으로 연산한다. 또한, m=2인 경우, 상기 제3 돌발 잡음 신호 및 상기 제1 돌발 잡음 신호 모두에 돌발 잡음이 존재하므로, 상기 돌발 잡음 검출부(200)는 최종적인 돌발 잡음이 존재한다고 연산한다. 이와 같은 과정을 반복함으로써, 최종적인 돌발잡음을 검출한다. 도 3e를 참조하면, 도 3c 및 도 3d를 이용하여 상기 돌발 잡음 검출부(200)가 최종적인 돌발 잡음을 검출한 결과를 보여준다.
또한, 상기 돌발 잡음 검출부(200)는 상기 제1 돌발 잡음 신호의 해당하는 블록에 제1 돌발 잡음이 존재하는 경우에만, 상기 제3 돌발 잡음 신호의 해당하는 블록에 돌발 잡음이 존재하는 여부를 판단하여, 최종적인 돌발 잡음을 검출할 수 있다. 예를 들면, 도 3c 및 도 3d를 참조하면, 상기 돌발 잡음 검출부(200)는 m=1인 경우, 제1 돌발 잡음 신호에 제1 돌발 잡음이 존재하므로, 상기 제3 돌발 잡음 신호의 m=1에 해당하는 돌발 잡음이 존재하는 여부를 판단한다. 상기 돌발 잡음 검출부(200)는 상기 제3 돌발 잡음 신호 중 m=1에 해당하는 부분에 돌발 잡음이 존재하지 않으므로 m=1에 해당하는 블록에는 최종적인 돌발 잡음이 존재하지 않는다고 연산한다. 상기 돌발 잡음 검출부(200)는 m=3인 경우, 제1 돌발 잡음 신호에 제1 돌발 잡음이 존재하지 않으므로, 상기 제3 돌발 잡음 신호의 돌발 잡음이 존재하는 여부를 판단할 필요없이 m=3에 해당하는 블록에는 최종적인 돌발잡음이 존재하지 않는다고 연산한다. 이와 같이, 상기 돌발 잡음 검출부(200)는 제1 돌발 잡음 신호에 해당하는 블록의 돌발 잡음이 존재하는 경우에만 상기 제3 돌발 잡음 신호에 해당하는 블록에 돌발 잡음이 존재하는지 여부를 판단한다. 이와 같이 함으로써, 상기 돌발 잡음 검출부(200)는 연산할 수 있는 데이터의 양을 줄일 수 있다.
또한, 상기 돌발 잡음 검출부(200)는 연산된 제2 돌발 잡음 신호의 해당하는 블록에 돌발 잡음이 존재하는 경우에만, 상기 제1 돌발 잡음 신호의 해당하는 블록에 돌발잡음이 존재하는 여부를 판단할 수도 있다.
이에 따라, 고주파수 대역의 에너지를 이용하여 돌발 잡음을 검출하는 경우, 고주파 성분이 강한 음성 신호가 입력되면 돌발 잡음으로 잘못 인식하는 문제가 있다. 반면에, 신호의 피크 성분을 이용하여 돌발 잡음을 검출하는 경우, 돌발 잡음의 피크가 음성 신호의 피크와 비슷한 경우 돌발 잡음으로 인식하지 못하는 문제가 있다. 따라서, 본 발명에 따른 돌발 잡음 검출기를 이용하면 돌발 잡음을 검출하는 상기 2가지 방식의 결과에서 모두 돌발 잡음이 존재하는 경우에만 최종 돌발 잡음으로 검출함으로써 돌발 잡음 검출 오차를 현저하게 줄일 수 있다.
본 실시예에서 제2 에너지 연산부(130), 제2 배경신호 에너지 연산부(140), 제2 비교기(150), 주파수 변환부(160), 제1 에너지 연산부(170), 제1 배경신호 에너지 연산부(180), 제1 비교기(190) 및 돌발 잡음 검출부(200)는 하나의 칩으로 구성될 수도 있고, 기능에 따라 여러 개의 칩으로 구성될 수도 있다.
도 4a 및 도 4b를 참조하면, 본 발명에 따른 돌발 잡음을 검출하는 방법에 관한 흐름도이다.
수신부를 통해서 음성 신호를 수신한다(S400). 아날로그 디지털 변환기는 수신된 상기 음성 신호를 n 개의 디지털 신호들로 변환한다(S410). 푸리에 변환기는 상기 아날로그 디지털 변환기로부터 수신된 n 개의 상기 디지털 신호들을 m 개의 블록으로 분할하고, 상기 각각의 블록들을 푸리에 변환하여 m 개의 주파수 응답을 계산하는 푸리에 변환한다(S420). 제1 에너지 연산부는 상기 m 개의 상기 주파수 응답들의 고주파수 대역에 존재하는 에너지를 연산하여 m 개의 제1 에너지값들을 연산하고 출력한다(S430). 제1 배경신호 에너지값 연산부는 상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정한다(S440). 상기 제1 배경신호 에너지값 연산부는 재귀적 중간값 필터, 중간값 필터 또는 평균값 필터 등을 이용하여 추정한다. 제1 비교기는 m 개의 상기 제1 에너지값들 및 m 개의 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력한다(S450). 상기 제1 돌발 잡음의 검출은 상기 제1 에너지값이 대응되는 상기 제1 배경신호 에너지값보다 큰 경우를 돌발 잡음으로 검출하는 방법을 사용할 수 있다. 또한, 상기 제1 돌발 잡음의 검출은 상기 제1 에너지값이 대응되는 상기 제1 배경신호 에너지값보다 미리 설정된 값 이상으로 큰 경우를 돌발 잡음으로 검출하는 방법을 사용할 수 있다. 또한, 상기 제1 돌발 잡음의 검출은 상기 제1 에너지값 및 상기 제1 배경신호 에너지값의 비율이 미리 설정된 값 이상으로 큰 경우를 돌발 잡음으로 검출하는 방법을 사용할 수 있다.
제2 에너지 연산부는 상기 아날로그 디지털 변환기로부터 입력된 n 개의 상기 디지털 신호들의 각각을 기준으로 하여 미리 설정된 개수만큼 전후로 입력된 디지털 신호를 이용하여 n 개의 제2 에너지값을 계산한다(S460). 제2 배경신호 에너지 연산부는 n 개의 상기 제2 에너지값들을 이용하여 n 개의 제2 배경신호 에너지값들을 추정한다(S470). 제2 비교기는 n 개의 상기 제2 에너지값들 및 n 개의 상기 제2 배경신호 에너지값들을 비교하여 제2 돌발 잡음들을 검출하고, 상기 돌발 잡음들이 포함된 제2 돌발 잡음 신호를 출력한다(S480). 돌발 잡음 검출부는 검출된 상기 제2 돌발 잡음 신호를 m 개의 블록으로 분할한다(S490). 돌발 잡음 검출부는 상기 각각의 블록 내에 존재하는 상기 제 2 돌발 잡음의 개수가 미리 설정된 개수 이상인 경우에만 돌발 잡음이 존재한다고 연산하여 제3 돌발 잡음 신호를 출력한다(S500). 돌발 잡음 검출부는 상기 제3 돌발 잡음 신호와 상기 제1 비교기에서 검출된 상기 제1 돌발 잡음 신호를 매칭시킨 후, 상기 제1 돌발 잡음 및 상기 제3 돌발 잡음이 모두 존재하는 위치에서만 최종적인 돌발 잡음이 존재한다고 연산하여 최종적인 돌발 잡음 신호를 검출한다(S510). 최종 돌발 잡음의 검출은 상기 제1 돌 발 잡음 신호의 제1 돌발 잡음이 존재하는 경우에만, 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는지 여부를 판단하여, 최종적인 돌발 잡음이 존재하는지 여부를 연산하는 방법을 사용할 수 있다. 또한, 최종 돌발 잡음의 검출은 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는 경우에만, 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는지 여부를 판단하여, 최종적인 돌발 잡음이 존재하는지 여부를 연산하는 방법을 사용할 수 있다.
이에 따라, 본 발명에 따른 돌발 잡음 검출 방법은 돌발 잡음을 검출하는 상기 2가지 방식의 결과에서 모두 돌발 잡음이 존재하는 경우에만 최종 돌발 잡음으로 검출함으로써 돌발 잡음 검출 오차를 현저하게 줄일 수 있다.
도 5는 본 발명에 따른 돌발 잡음 제거 시스템에 관한 블록도이다.
도 5를 참조하면, 상기 돌발 잡음 제거 시스템은 돌발 잡음 검출기(500) 및 돌발 잡음 제거기(600)를 포함한다.
상기 돌발 잡음 검출기(500)는 도 3a 내지 도 3e에서 상술하였는바 이에 대한 설명은 생략하도록 하겠다.
상기 돌발 잡음 제거기(600)는 LTP(long term preditionc) 분석부(610), 돌발 잡음 감쇄기(620) 및 합산기(630)를 포함한다.
상기 LTP(long term preditionc) 분석부(610)는 아날로그 디지털 변환부(110)로부터 입력된 디지털 신호들에 기초하여 장기 기간 예측(LTP) 분석을 실행한다. 상기 분석을 통해 피치 이득(gain) 및 피치 지체(lag) 매개 변수 파악할 수 있다. 상기 매개 변수에 기초하여 입력되는 음성 신호의 주기성을 파악할 수 있다. 그 다음, 상기 LTP(long term preditionc) 분석부(610)는 상기 분석 결과에 기초하여 주기 신호를 생성하고, 아날로그 디지털 변환부(110)로부터 입력된 디지털 신호에서 상기 주기 신호를 뺀다. 상기 주기 신호는 대부분 유성음에 해당할 것이다. 또한, 상기 입력된 디지털 신호에서 상기 주기 신호를 뺀 신호는 무성음 및 돌발 잡음이 포함되어 있을 것이다. 상기 LTP 분석부(610)로부터 출력된 신호는 상기 돌발 잡음 증폭기(120), 돌발 잡음 감쇄기(620) 및 합산기(630)로 전송된다. 이에 대한 구체적인 설명은 이하의 도 6을 참조하여 설명하겠다.
상기 돌발 잡음 감쇄기(620)는 상기 돌발 잡음 검출부(200)로부터 출력된 돌발 잡음 신호에 기초하여 상기 LTP 분석부(610)로부터 출력된 신호 중 돌발 잡음을 감쇄한다. 구체적으로 살펴보면, 상기 돌발 잡음 감쇄기(620)는 상기 돌발 잡음 검출부(200)로부터 출력된 돌발 잡음 신호에 기초하여 돌발 잡음이 발생하였다고 판단된 위치에 대응되는 상기 LTP 분석부(610)로부터 출력된 신호의 위치를 검출한다. 그 다음, 상기 돌발 잡음 감쇄기(620)는 상기 검출된 신호에 포함된 돌발 잡음(impulsive noise)를 감쇄하여 출력한다. 이에 따라, 돌발 잡음이 제거될 수 있다.
상기 합산기(630)는 상기 돌발 잡음 감쇄기(620)로부터 출력된 신호 및 상기 주기 신호를 합산하여 출력한다. 구체적으로 살펴보면, 상기 돌발 잡음 감쇄기(620)로부터 출력된 신호는 무성음을 포함하고 있으며, 상기 주기 신호는 유성을 포함하고 있다. 따라서, 상기 합산기(630)로부터 출력되는 신호는 돌발 잡음이 제 어된 유성음 및 무성음에 해당할 것이다. 즉, 수신된 음성 신호 중 돌발 잡음이 제거된 신호에 해당된다.
제어부(미도시)는 상기 돌발 잡음 제거 시스템의 전체적인 동작을 제어한다.
이에 따라, 돌발 잡음 검출기를 통해 돌발 잡음을 검출하고, 상기 검출된 돌발 잡음 정보에 기초하여 돌발 잡음 제거기가 수신된 음성 신호 중 돌발 잡음을 제거함으로써, 통화 또는 음성 신호 저장시(recording) 돌발 잡음이 같이 수신 또는 송신되는 것을 방지할 수 있다.
도 6은 도 5의 LTP 분석부를 구체화한 블록도이다.
상기 LTP 분석부(610)는 신호분석부(611), 주기신호 생성부(612) 및 뺄셈기(613)를 포함한다.
상기 신호분석부(611)는 상기 아날로그 디지털 변환부(110)로부터 입력되는 디지털 신호들에 대해 장기 기간 예측(LTP) 분석을 실행한다.
상기 주기신호 생성부(612)는 상기 신호분석부(611)에서 분석된 결과에 기초하여 주기 신호를 생성하여 출력한다. 상기 주기신호는 상기 합산기(630) 및 상기 뺄셈기(613)로 전송된다. 상기 주기 신호 생성부(612)로부터 출력된 신호는 유성음이 포함되어 있다.
상기 뺄셈기(613)는 상기 아날로그 디지털 변환부(110)로부터 입력되는 디지털 신호들에서 상기 주기신호 생성부(612)에서 생성된 상기 주기 신호를 뺀다. 상기 뺄셈기(613)의 출력 신호는 상기 돌발잡음 감쇄기(620) 및 상기 돌잡 잡음 증폭 기(120)로 전송된다. 상기 뺄셈기(613)로부터 출력된 신호는 돌발 잡음 및 무성음이 포함되어 있다.
도 7은 본 발명에 따른 돌발 잡음 제거 시스템에서의 돌발 잡음 제거 방법을 설명하기 위한 흐름도이다.
도 5 및 도 7을 참조하면, 무선 통신부(미도시) 또는 마이크(미도시) 등을 통해 음성 신호가 수신 또는 송신된다(S700). 그 다음, 제어부는 돌발 잡음 생성신호가 입력되는지 여부를 판단한다(S710). 돌발 잡음 생성신호가 입력되지 않은 경우, 제어부는 돌발 잡음 검출기(500)로부터 입력되는 신호에 기초하여 돌발 잡음이 존재하는지 여부를 판단한다(S720). 반면에, 돌발 잡음 생성신호가 입력된 경우, 제어부는 이하의 S730 단계를 실행한다. S720 단계에서, 돌발 잡음이 존재하는 경우, 제어부는 돌발 잡음 제거기(600)를 구동시켜서 수신 또는 송신되는 음성 신호에서 돌발 잡음을 제거한다(S730). 상기 돌발 잡음을 제거하는 방법은 도 5 및 도 6에서 설명한 바와 같다. 그 다음, 제어부는 돌발 잡음이 제거된 음성 신호를 송신 또는 수신한다. 또는, 제어부는 기능에 따라 음성 신호를 저장(recording)한다.
이에 따라, 본 발명에 따르면 음성 신호로부터 돌발 잡음을 제거할 수 있다.
또한, 본 발명에 따르면 키패드 선택 신호 등과 같은 돌발 잡음 생성 신호가 입력되면, 돌발 잡음 검출기를 구동시키지 않고 곧바로 돌발 잡음 제거기를 구동시켜 돌발 잡음을 제거함으로써, 효율적으로 돌발 잡음을 제거할 수 있다.
본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
도 1a 내지 도 1 c는 돌발 잡음을 검출하기 위한 검출기의 일 실시예에 관한 구성도 및 검출 방법을 도시한 도면.
도 2a 내지 도 2f는 본 발명에 따른 돌발 잡음을 검출하기 위한 검출기의 일 실시예에 관한 구성도 및 검출 방법을 도시한 도면.
도 3a 내지 도 3e는 본 발명에 따른 돌발 잡음 검출기의 일실시예에 따른 구성도를 도시한 도면.
도 4는 본 발명에 따른 돌발 잡음을 검출하는 방법에 관한 흐름도.
도 5는 본 발명에 따른 돌발 잡음 제거 시스템에 관한 블록도.
도 6은 도 5의 LTP 분석부를 구체화한 블록도이다.
도 7은 본 발명에 따른 돌발 잡음 제거 시스템에서의 돌발 잡음 제거 방법을 설명하기 위한 흐름도.

Claims (18)

  1. 입력되는 디지털 신호들을 m 개의 블록으로 분할하고, 분할된 상기 블록단위로 디지털 신호들을 주파수 영역으로 변환하고, 주파수 영역으로 변환된 m 개의 주파수 영역 신호를 출력하기 위한 주파수 변환부;
    상기 주파수 변환부로부터 입력된 m 개의 상기 주파수 영역 신호의 각각에 대하여 고주파수 대역에 존재하는 에너지를 연산하여 m 개의 제1 에너지값들을 출력하기 위한 제1 에너지 연산부;
    상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정하기 위한 제1 배경신호 에너지 연산부;및
    상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들 및 상기 제1 배경신호 에너지 연산부로부터 m 개의 상기 제1 배경신호 에너지값들을 대응시키고, 상기 제1 에너지값들 및 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 제1 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력하기 위한 제1 비교기를 포함하는 돌발 잡음 검출기.
  2. 제 1 항에 있어서,
    상기 입력되는 디지털 신호들의 각각을 기준으로 하여 제2 에너지값을 계산 하고, 상기 제2 에너지값을 출력하기 위한 제2 에너지 연산부;
    상기 제2 에너지 연산부로부터 입력된 상기 제2 에너지값들을 이용하여 제2 배경신호 에너지값들을 추정하고, 추정된 상기 제2 배경신호 에너지값들을 출력하기 위한 제2 배경신호 에너지 연산부;
    상기 제2 에너지 연산부로부터 입력된 상기 제2 에너지값들 및 상기 제2 배경신호 에너지 연산부로부터 입력된 상기 제2 배경신호 에너지값들을 대응시키고, 상기 제2 에너지값들 및 상기 제2 배경신호 에너지값들을 비교하여 제2 돌발 잡음들을 검출하고, 상기 제2 돌발 잡음들이 포함된 제2 돌발 잡음 신호를 출력하기 위한 제2 비교기;및
    검출된 상기 제2 돌발 잡음 신호를 m 개의 블록으로 분할하고, 상기 각각의 블록 내에 존재하는 상기 제 2 돌발 잡음의 개수가 미리 설정된 개수 이상인 경우에만 돌발 잡음이 존재하는 것으로 연산하여, 상기 연산된 결과를 반영한 제3 돌발 잡음 신호를 출력하기 위한 돌발 잡음 검출부를 더 포함하는 것을 특징으로 하는 돌발 잡음 검출기.
  3. 제 2 항에 있어서,
    상기 돌발 잡음 검출부는,
    상기 제3 돌발 잡음 신호와 상기 제1 비교기로부터 입력된 상기 제1 돌발 잡음 신호를 매칭시킨 후, 상기 제1 돌발 잡음 신호 및 상기 제3 돌발 잡음 신호에 모두 돌발 잡음이 존재하는 위치에서만 최종적인 돌발 잡음이 존재한다고 연산하고, 상기 연산된 결과를 반영한 최종적인 돌발 잡음 신호를 출력하는, 돌발 잡음 검출기.
  4. 제 2 항에 있어서,
    상기 돌발 잡음 검출부는,
    상기 제1 돌발 잡음 신호의 제1 돌발 잡음이 존재하는 경우에만, 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는지 여부를 판단하여, 최종적인 돌발 잡음이 존재하는지 여부를 연산하는 것을 특징으로 하는 돌발 잡음 검출기.
  5. 제 2 항에 있어서,
    상기 돌발 잡음 검출부는,
    상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는 경우에만, 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는지 여부를 판단하여, 최종적인 돌발 잡음이 존재하는지 여부를 연산하는 것을 특징으로 하는 돌발 잡음 검출기.
  6. 제 1 항에 있어서,
    상기 제1 배경신호 에너지 연산부는,
    중간값 필터, 재귀적(recursive) 중간값 필터, 평균값 필터 중 적어도 어느 하나를 이용하여 배경신호 에너지값을 추정하는 것을 특징으로 하는 돌발 잡음 검출기.
  7. 제 1 항에 있어서,
    상기 제1 비교기는,
    상기 제1 에너지값이 대응되는 상기 제1 배경신호 에너지값보다 큰 경우, 상기 제1 에너지값이 대응되는 상기 제1 배경신호 에너지값보다 미리 설정된 값 이상으로 큰 경우 및 상기 제1 에너지값 및 상기 제1 배경신호 에너지값의 비율이 미리 설정된 값 이상으로 큰 경우 중 어느 하나를 기준으로 제1 돌발 잡음을 검출하는, 돌발 잡음 검출기.
  8. 제 1 항에 있어서,
    음성 신호를 수신하기 위한 수신기;및
    상기 음성 신호를 디지털 신호들로 변환하고, 변환된 상기 디지털 신호들을 상기 주파수 변환부로 출력하기 위한 아날로그 디지털 변환기를 더 포함하는 것을 특징으로 하는 돌발 잡음 검출기.
  9. 제 2 항에 있어서,
    상기 제2 배경신호 에너지 연산부는,
    중간값 필터, 재귀적(recursive) 중간값 필터, 평균값 필터 중 적어도 어느 하나를 이용하여 제2 배경신호 에너지값을 추정하는 것을 특징으로 하는 돌발 잡음 검출기.
  10. 제 2 항에 있어서,
    상기 제2 비교기는,
    상기 제2 에너지값이 대응되는 상기 제2 배경신호 에너지값보다 큰 경우를 돌발 잡음으로 검출하는 것을 특징으로 하는 돌발 잡음 검출기.
  11. 입력되는 디지털 신호들을 m 개의 블록으로 분할하고, 분할된 상기 블록단위로 디지털 신호들을 주파수 영역으로 변환하고, 주파수 영역으로 변환된 m 개의 주파수 영역 신호를 출력하는 주파수 변환단계;
    상기 m 개의 주파수 영역 신호들의 고주파수 대역에 존재하는 에너지를 계산하여 m 개의 제1 에너지값들을 연산하는 제1 에너지값 연산 단계;
    상기 m 개의 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정하는 제1 배경신호 에너지값 연산 단계;및
    상기 제1 에너지값 연산 단계에서 연산된 상기 m 개의 제1 에너지값들 및 상기 제1 배경신호 에너지값 연산 단계에서 연산된 m 개의 상기 제1 배경신호 에너지값들을 대응시키고, 상기 제1 에너지값들 및 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력하는 제1 돌발 잡음 검출 단계를 포함하는 돌발 잡음 검출 방법.
  12. 제 11 항에 있어서,
    상기 주파수 변환 단계에서 입력된 디지털 신호를 이용하여 제2 에너지값을 계산하는 제2 에너지값 연산단계;
    상기 제2 에너지값들을 이용하여 제2 배경신호 에너지값들을 추정하는 제2 배경신호 에너지 연산 단계;
    상기 제2 에너지값 연산단계에서 연산된 상기 제2 에너지값들 및 상기 제2 에너지값 연산단계에서 연산된 상기 제2 배경신호 에너지값들을 비교하여 제2 돌발 잡음들을 검출하고, 상기 돌발 잡음들이 포함된 제2 돌발 잡음 신호를 출력하는 제2 돌발 잡음 검출 단계;및
    검출된 상기 제2 돌발 잡음 신호를 m 개의 블록으로 분할하고, 상기 각각의 블록 내에 존재하는 상기 제2 돌발 잡음의 개수가 미리 설정된 개수 이상인 경우에 만 돌발 잡음이 존재하는 것으로 연산하여 제3 돌발 잡음 신호를 출력하는 제3 돌발 잡음 신호 출력단계를 더 포함하는 것을 특징으로 하는 돌발 잡음 검출 방법.
  13. 제 12 항에 있어서,
    상기 제3 돌발 잡음 신호와 제1 비교기에서 검출된 상기 제1 돌발 잡음 신호를 매칭시킨 후, 상기 제1 돌발 잡음 및 상기 제3 돌발 잡음이 모두 존재하는 위치에서만 최종적인 돌발 잡음이 존재한다고 연산하고, 상기 연산 결과를 반영한 최종적인 돌발 잡음 신호를 출력하는 최종 돌발 잡음 검출 단계를 더 포함하는 돌발 잡음 검출 방법.
  14. 제 13 항에 있어서,
    상기 최종 돌발 잡음 검출 단계는,
    상기 제1 돌발 잡음 신호의 제1 돌발 잡음이 존재하는 경우에만, 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는지 여부를 판단하여, 최종적인 돌발 잡음이 존재하는지 여부를 연산하는 것을 특징으로 하는 돌발 잡음 검출 방법.
  15. 제 13 항에 있어서,
    상기 최종 돌발 잡음 검출 단계는,
    상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는 경우에만, 상기 제2 돌발 잡음 신호의 제2 돌발 잡음이 존재하는지 여부를 판단하여, 최종적인 돌발 잡음이 존재하는지 여부를 연산하는 것을 특징으로 하는 돌발 잡음 검출 방법.
  16. 입력되는 디지털 신호들에 대해 장기 기간 예측(LTP) 분석을 실행하기 위해 구성된 신호분석부, 상기 분석 결과에 기초하여 주기 신호를 생성하여 출력하기 위해 구성된 주기 신호 생성부와, 상기 입력되는 디지털 신호에서 상기 주기 신호를 빼기 위해 구성된 뺄셈기를 포함하는 LTP 분석부와, 돌발 잡음 검출부로부터 출력된 돌발 잡음 신호에 기초하여 상기 LTP 분석부로부터 출력된 신호 중 돌발 잡음을 감쇄하기 위해 구성된 돌발 잡음 감쇄기 및 상기 돌발 잡음 감쇄기로부터 출력된 신호 및 상기 주기 신호 생성부로부터 출력된 주기 신호를 합산하기 위해 구성된 합산기를 포함하는 돌발 잡음 제거기; 및
    상기 입력되는 디지털 신호들을 m 개의 블록으로 분할하고, 분할된 상기 블록단위로 디지털 신호들을 주파수 영역으로 변환하고, 주파수 영역으로 변환된 m 개의 주파수 영역 신호를 출력하기 위한 주파수 변환부와, 상기 주파수 변환부로부터 입력된 m 개의 상기 주파수 영역 신호의 각각에 대하여 고주파수 대역에 존재하는 에너지를 연산하여 m 개의 제1 에너지값들을 출력하기 위한 제1 에너지 연산부와, 상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들을 이용하여 m 개의 제1 배경신호 에너지값들을 추정하기 위한 제1 배경신호 에너지 연산부;및 상기 제1 에너지 연산부로부터 입력된 m 개의 상기 제1 에너지값들과 상기 제1 배경신호 에너지 연산부로부터 m 개의 상기 제1 배경신호 에너지값들을 대응시키고, 상기 제1 에너지값들과 상기 제1 배경신호 에너지값들을 비교하여 제1 돌발 잡음들을 검출하고, 상기 제1 돌발 잡음들이 포함된 제1 돌발 잡음 신호를 출력하기 위한 제1 비교기와, 상기 LTP 분석부로부터 입력되는 상기 주기 신호를 기준으로 하여 제2 에너지값을 계산하고, 상기 제2 에너지값을 출력하기 위한 제2 에너지 연산부와, 상기 제2 에너지 연산부로부터 입력된 상기 제2 에너지값들을 이용하여 제2 배경신호 에너지값들을 추정하고, 추정된 상기 제2 배경신호 에너지값들을 출력하기 위한 제2 배경신호 에너지 연산부와, 상기 제2 에너지 연산부로부터 입력된 상기 제2 에너지값들 및 상기 제2 배경신호 에너지 연산부로부터 입력된 상기 제2 배경신호 에너지값들을 대응시키고, 상기 제2 에너지값들 및 상기 제2 배경신호 에너지값들을 비교하여 제2 돌발 잡음들을 검출하고, 상기 제2 돌발 잡음들이 포함된 제2 돌발 잡음 신호를 출력하기 위한 제2 비교기 및 검출된 상기 제2 돌발 잡음 신호를 m 개의 블록으로 분할하고, 상기 각각의 블록 내에 존재하는 상기 제 2 돌발 잡음의 개수가 미리 설정된 개수 이상인 경우에만 돌발 잡음이 존재하는 것으로 연산하여, 상기 연산된 결과를 반영한 제3 돌발 잡음 신호를 출력하기 위한 상기 돌발 잡음 검출부를 포함하는 돌발 잡음 검출기를 포함하는, 돌발 잡음 제거 시스템.
  17. 제 16 항에 있어서,
    상기 돌발 잡음 검출부는,
    상기 제3 돌발 잡음 신호와 상기 제1 비교기로부터 입력된 상기 제1 돌발 잡음 신호를 매칭시킨 후, 상기 제1 돌발 잡음 신호 및 상기 제3 돌발 잡음 신호에 모두 돌발 잡음이 존재하는 위치에서만 최종적인 돌발 잡음이 존재한다고 연산하고, 상기 연산된 결과를 반영한 최종적인 돌발 잡음 신호를 출력하는, 돌발 잡음 제거 시스템.
  18. 제 16 항에 있어서,
    돌발 잡음이 생성되는 돌발 잡음 생성 신호가 입력되면, 상기 돌발 잡음 검출기는 구동시키지 않고, 상기 돌발 잡음 제거기만을 구동시키는 제어부를 더 포함하는, 돌발 잡음 제거 시스템.
KR1020090104337A 2008-12-19 2009-10-30 돌발 잡음 검출기, 돌발 잡음 검출 방법 및 돌발 잡음 제거 시스템 Active KR101615766B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080130130 2008-12-19
KR20080130130 2008-12-19

Publications (2)

Publication Number Publication Date
KR20100071898A KR20100071898A (ko) 2010-06-29
KR101615766B1 true KR101615766B1 (ko) 2016-05-12

Family

ID=42369305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104337A Active KR101615766B1 (ko) 2008-12-19 2009-10-30 돌발 잡음 검출기, 돌발 잡음 검출 방법 및 돌발 잡음 제거 시스템

Country Status (1)

Country Link
KR (1) KR101615766B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102238429B1 (ko) * 2019-04-24 2021-04-09 주식회사 이엠텍 돌발성 잡음 검출 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414841B1 (ko) * 1995-02-17 2004-03-10 소니 가부시끼 가이샤 잡음저감방법및장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414841B1 (ko) * 1995-02-17 2004-03-10 소니 가부시끼 가이샤 잡음저감방법및장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Israel Cohen et al., ‘Speech enhancement for non-stationary noise environments’, Signal Processing 81, pp.2403~2418, 2001.*

Also Published As

Publication number Publication date
KR20100071898A (ko) 2010-06-29

Similar Documents

Publication Publication Date Title
KR101624652B1 (ko) 잡음 환경의 입력신호로부터 잡음을 제거하는 방법 및 그 장치, 잡음 환경에서 음성 신호를 강화하는 방법 및 그 장치
US8170879B2 (en) Periodic signal enhancement system
JP2004254322A5 (ko)
JP5293817B2 (ja) 音声信号処理装置及び音声信号処理方法
CA2458428A1 (en) System for suppressing wind noise
JP5870476B2 (ja) 雑音推定装置、雑音推定方法および雑音推定プログラム
KR101340520B1 (ko) 잡음을 제거하는 장치 및 방법
KR101444099B1 (ko) 음성 구간 검출 방법 및 장치
JPH09212196A (ja) 雑音抑圧装置
JP2009271359A (ja) 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム
JP2010021627A (ja) 音量調整装置、音量調整方法および音量調整プログラム
JP2014518404A (ja) 雑音の入った音声信号中のインパルス性干渉の単一チャネル抑制
KR101615766B1 (ko) 돌발 잡음 검출기, 돌발 잡음 검출 방법 및 돌발 잡음 제거 시스템
JP2014194437A (ja) 音声処理装置、音声処理方法および音声処理プログラム
JP3310225B2 (ja) 雑音レベル時間変動率計算方法及び装置と雑音低減方法及び装置
JP4682700B2 (ja) 音声認識装置
US20160372132A1 (en) Voice enhancement device and voice enhancement method
JPH06303689A (ja) ノイズ除去装置
JP5769670B2 (ja) エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム
JP4746498B2 (ja) 単一指向性マイクロホン
JP2932996B2 (ja) 高調波ピッチ検出装置
CN111226278B (zh) 低复杂度的浊音语音检测和基音估计
JP5887087B2 (ja) 雑音低減処理装置および雑音低減処理方法
KR100860830B1 (ko) 음성 신호의 스펙트럼 정보 추정 장치 및 방법
JP2005321539A (ja) 音声認識方法、その装置およびプログラム、その記録媒体

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20091030

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20141029

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20091030

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150918

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160219

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160420

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160420

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190314

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220308

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240308

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20250310

Start annual number: 10

End annual number: 10