[go: up one dir, main page]

KR102121642B1 - 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램 - Google Patents

부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램 Download PDF

Info

Publication number
KR102121642B1
KR102121642B1 KR1020167012900A KR20167012900A KR102121642B1 KR 102121642 B1 KR102121642 B1 KR 102121642B1 KR 1020167012900 A KR1020167012900 A KR 1020167012900A KR 20167012900 A KR20167012900 A KR 20167012900A KR 102121642 B1 KR102121642 B1 KR 102121642B1
Authority
KR
South Korea
Prior art keywords
signal
band
tonal
low
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020167012900A
Other languages
English (en)
Other versions
KR20160138373A (ko
Inventor
스리칸쓰 나기세티
종시안 리우
히로유키 에하라
Original Assignee
프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 filed Critical 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Publication of KR20160138373A publication Critical patent/KR20160138373A/ko
Application granted granted Critical
Publication of KR102121642B1 publication Critical patent/KR102121642B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/035—Scalar quantisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 개시의 부호화 장치는, 음성 또는 오디오의 입력 신호의 소정 주파수 이하의 저역 신호를 포함하는 신호를 부호화한 제1 부호화 신호와 저역 복호 신호를 생성하는 제1 부호화부와, 상기 저역 복호 신호에 의거하여, 상기 저역 신호보다 고역의 신호를 부호화하여 고역 부호화 신호를 생성하는 제2 부호화부와, 상기 제1 부호화 신호와 상기 고역 부호화 신호를 다중화하여 부호화 신호를 출력하는 제1 다중화부를 가진다. 상기 제2 부호화부는, 상기 고역 신호의 잡음 성분인 고역 잡음 성분과, 상기 저역 복호 신호로부터 생성된 고역 복호 신호 중 고역 비토널 신호의 에너지 비율을 산출하여, 고역 부호화 신호로서 출력한다.

Description

부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램{ENCODER, DECODER, ENCODING METHOD, DECODING METHOD, AND PROGRAM}
본 개시는, 음성 신호나 오디오 신호(이하, 음성 신호 등으로 한다.)를 부호화하는 장치, 복호화하는 장치에 관한 것이다.
음성 신호 등을 저(低)비트 레이트로 압축하는 음성 부호화 기술은, 이동 통신에 있어서의 전파 등의 유효 이용을 실현하는 중요한 기술이다. 또한, 최근 통화 음성의 품질 향상에 대한 기대가 높아지고 있어, 임장감이 높은 통화 서비스의 실현이 요망되고 있다. 이것을 실현하기 위해서는, 주파수대역이 넓은 음성 신호 등을 고비트 레이트로 부호화하면 된다. 그러나, 이 어프로치는 전파나 주파수대역의 유효 이용과 상반된다.
주파수대역이 넓은 신호를 저비트 레이트로 고품질로 부호화하는 방법으로서, 입력 신호의 스펙트럼을 저역부와 고역부의 2개의 스펙트럼으로 분할하고, 고역 스펙트럼은 저역 스펙트럼을 복제하여 이것과 치환하는, 즉 고역 스펙트럼을 저역 스펙트럼으로 대용함으로써, 전체의 비트 레이트를 저감시키는 기술이 있다(특허 문헌 1). 이 기술은, 저역 스펙트럼의 부호화에 많은 비트를 배분하여 고품질로 부호화하고, 한편 고역 스펙트럼은 부호화 후의 저역 스펙트럼을 복제하는 것을 기본의 처리로 하여, 적은 비트 배분으로 부호화가 행해진다.
특허 문헌 1의 기술을 그대로 이용한 경우, 저역 스펙트럼에 보여지는 피크성이 강한 신호가 고역으로 그대로 복제됨으로써, 방울이 울리듯이 들리는 노이즈가 발생하여, 주관적인 품질이 저하된다. 그래서, 저역 스펙트럼의 다이나믹 레인지를 적절히 조정한 것을 고역 스펙트럼으로 한다는 기술이 있다(특허 문헌 2).
일본국 특허공표 2001-521648호 공보 국제 공개 제2005/111568호
특허 문헌 2의 기술에 의하면, 다이나믹 레인지는 저역 스펙트럼을 구성하는 요소 전체를 고려하여 정하고 있다. 그러나, 음성 신호 등의 스펙트럼은, 피크성이 강한 성분, 즉 진폭이 큰 성분(토널 성분)과, 피크성이 약한 성분, 즉 진폭이 작은 성분(비토널 성분)으로 되어 있으며, 특허 문헌 2의 기술에 의하면 양자를 합친 전체에서의 평가가 되기 때문에, 반드시 최선의 결과를 얻을 수 것은 아니었다.
본 개시의 일 양태는, 전체의 비트 레이트를 저감시키면서도, 토널 성분과 비토널 성분을 분리하여, 독립적으로 부호화에 이용함으로써, 한층 더 고품질의 음성 신호 등을 부호화, 복호화할 수 있는 장치를 제공한다.
본 개시의 부호화 장치는, 음성 또는 오디오의 입력 신호의 소정의 주파수 이하의 저역 신호를 부호화하여 생성한 제1 부호화 신호와, 제1 부호화 신호를 복호한 저역 복호 신호를 생성하는 제1 부호화부와, 저역 복호 신호에 의거하여, 저역 신호보다 고역의 신호를 부호화하여 고역 부호화 신호를 생성하는 제2 부호화부와, 제1 부호화 신호와 상기 고역 부호화 신호를 다중화하여 부호화 신호를 출력하는 제1 다중화부를 구비하고, 제2 부호화부는, 고역 신호의 잡음 성분인 고역 잡음 성분과, 저역 복호 신호로부터 생성된 고역 복호 신호의 고역 비토널 성분의 에너지 비율을 산출하여, 고역 부호화 신호로서 출력하는, 구성을 채용한다.
또한, 이러한 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적회로, 컴퓨터 프로그램, 또는, 기록 매체로 실현되어도 되고, 시스템, 장치, 방법, 집적회로, 컴퓨터 프로그램 및 기록 매체의 임의의 조합으로 실현되어도 된다.
본 개시의 일 양태의 부호화 장치 및 복호 장치에 의하면, 한층 더 고품질의 음성 신호 등을 부호화, 복호화할 수 있다.
도 1은 본 개시의 부호화 장치의 전체 구성도
도 2는 본 개시의 실시 형태 1에 있어서의 부호화 장치의 제2 레이어 부호화부의 구성도
도 3은 본 개시의 실시 형태 2에 있어서의 부호화 장치의 제2 레이어 부호화부의 구성도
도 4는 본 개시의 실시 형태에 있어서의 다른 부호화 장치의 전체 구성도
도 5는 본 개시의 복호 장치의 전체 구성도
도 6은 본 개시의 실시 형태 3에 있어서의 복호 장치의 제2 레이어 복호부의 구성도
도 7은 본 개시의 실시 형태 4에 있어서의 복호 장치의 제2 레이어 복호부의 구성도
도 8은 본 개시의 실시 형태에 있어서의 다른 복호 장치의 전체 구성도
도 9는 본 개시의 실시 형태에 있어서의 다른 부호화 장치의 전체 구성도
도 10은 본 개시의 실시 형태에 있어서의 다른 복호 장치의 전체 구성도
이하, 본 개시의 실시 형태의 구성 및 동작에 대해서, 도면을 참조하여 설명한다. 또한, 본 개시의 부호화 장치로 입력되는 입력 신호, 및 복호 장치로부터의 출력되는 출력 신호는, 협의의 음성 신호 만인 경우 외에, 보다 대역이 넓은 오디오 신호인 경우, 또한, 이들이 혼재하는 경우도 포함하는 것으로 한다.
(실시 형태 1)
도 1은, 실시 형태 1에 관련된 음성 신호 등의 부호화 장치의 구성을 나타내는 블럭도이다. 여기에서는, 부호화 신호가 복수의 레이어로 이루어지는 계층 구조를 가지는 경우, 즉 계층 부호화(스케일러블 부호화)를 행하는 경우를 예로서 설명한다. 계층 부호화 이외를 포함하는 예로서는, 후술하는 도 4에서 설명한다. 도 1에 나타내는 부호화 장치(100)는, 다운 샘플링부(101), 제1 레이어 부호화부(102), 다중화부(103), 제1 레이어 복호부(104), 지연부(105), 제2 레이어 부호화부(106)로 구성된다. 또, 다중화부(103)에는 도시하지 않은 안테나가 접속되어 있다.
다운 샘플링부(101)는, 입력 신호로부터 샘플링 레이트가 낮은 신호를 생성하여, 소정의 주파수 이하의 저역 신호로서 제1 레이어 부호화부(102)에 출력한다.
제1 레이어 부호화부(102)는, 제1 부호화부를 구성하는 요소의 일 양태이며, 저역 신호를 부호화한다. 부호화의 예로서, CELP 부호화나 변환 부호화를 들 수 있다. 부호화된 저역 신호는, 제1 부호화 신호인 저역 부호화 신호로서 제1 레이어 복호부(104) 및 다중화부(103)에 출력한다.
제1 레이어 복호부(104)는, 마찬가지로 제1 부호화부를 구성하는 요소의 일 양태이며, 저역 부호화 신호를 복호하여, 저역 복호 신호를 생성한다. 그리고, 제1 레이어 복호부(104)는, 저역 복호 신호 S1을 제2 레이어 부호화부(106)에 출력한다.
한편, 지연부(105)는, 입력 신호에 대해 소정의 시간, 지연시킨다. 이 지연 시간은, 다운 샘플링부(101), 제1 레이어 부호화부(102), 및 제1 레이어 복호부(104)에서 발생하는 시간 지연을 보정하기 위한 것이다. 지연부(105)는, 지연시킨 입력 신호 S2를 제2 레이어 부호화부(106)에 출력한다.
제2 레이어 부호화부(106)는, 제2 부호화부의 일 양태이며, 제1 레이어 복호부(104)에서 생성된 저역 복호 신호 S1에 의거하여, 입력 신호 S2 중 소정의 주파수 이상의 고역 신호를 부호화하여 고역 부호화 신호를 생성한다. 제2 레이어 부호화부에 입력되는 저역 복호 신호 S1, 입력 신호 S2는, MDCT 등의 주파수 변환이 실시되어 입력된다. 그리고, 제2 레이어 부호화부(106)는, 고역 부호화 신호를 다중화부(103)에 출력한다. 제2 레이어 부호화부(106)의 상세한 것은 후술한다.
다중화부(103)는, 저역 부호화 신호 및 고역 부호화 신호를 다중화하여 부호화 신호를 생성하고, 이것을 도시하지 않은 안테나를 통해서 복호 장치에 송신한다.
도 2는, 본 실시 형태에 있어서의 제2 레이어 부호화부(106)의 구성을 나타내는 블럭도이다. 제2 레이어 부호화부(106)는, 잡음 가산부(201), 분리부(202), 대역 확장부(203), 잡음 성분 에너지 산출부(204)(제1 계산부), 게인 산출부(205)(제2 계산부), 에너지 계산부(206), 다중화부(207), 대역 확장부(208)로 구성된다.
잡음 가산부(201)는, 제1 레이어 복호부(104)로부터 입력된 저역 복호 신호 S1에 대해, 잡음 신호를 가산한다. 또한, 잡음 신호는, 랜덤인 성질을 가지는 신호를 말하며, 예를 들면 시간축 혹은 주파수 축에 대해 불규칙하게 신호 강도의 진폭이 넘내리는 신호이다. 잡음 신호의 생성은, 난수에 의거하여 때 마다 생성해도 되고, 미리 생성한 잡음 신호(예를 들면, 화이트 노이즈, 가우스 노이즈, 핑크 노이즈 등)를 메모리 등의 기억 장치에 보존해 두고, 이것을 호출하여 출력해도 된다. 또, 잡음 신호는 하나에 한정되지 않고, 소정의 조건에 따라 복수의 잡음 신호 중에서 1개를 선택하여 출력해도 된다.
입력 신호를 부호화할 때에 있어서, 할당 가능한 비트수가 적으면, 극히 일부의 주파수 성분 밖에 양자화되지 못하여, 주관 품질이 열화된다는 문제가 있지만, 잡음 가산부(201)에서 잡음을 가산함으로써, 양자화되지 않고 제로가 되어 버리는 성분을 잡음 신호로 메움으로써 열화를 완화한다는 효과를 기대할 수 있다.
또한, 잡음 가산부(201)는 임의의 구성이다. 그리고, 잡음 가산부(201)는, 잡음 신호가 가산된 저역 복호 신호를 분리부(202)에 출력한다.
분리부(202)는, 잡음 신호가 가산된 저역 복호 신호를, 비토널 성분인 저역 비토널 신호와, 토널 성분인 저역 토널 신호로 분리한다. 여기서, 토널 성분이란, 소정의 역치보다 진폭이 큰 성분, 혹은 펄스 양자화기로 양자화된 성분을 말한다. 또, 비토널 성분이란, 소정의 역치 이하의 진폭을 가지는 성분, 혹은 펄스 양자화기로 양자화되지 않고 제로가 되어 있는 성분을 말한다.
토널 성분과 비토널 성분을 소정의 역치를 이용하여 구별하는 경우는, 저역 복호 신호를 구성하는 성분에 대해서 소정의 역치보다 진폭이 큰지 어떤지로 분리한다. 토널 성분과 비토널 성분을 펄스 양자화기로 양자화되었는지 아닌지로 구별하는 경우는, 소정의 역치가 제로인 경우에 상당하므로, 잡음 가산부(201)에서 잡음이 가산된 저역 복호 신호로부터, 저역 복호 신호 S1을 감산함으로써, 저역 토널 신호를 생성할 수 있다.
그리고, 분리부(202)는, 저역 비토널 신호를 대역 확장부(203)에, 저역 토널 신호를 대역 확장부(208)에 출력한다.
대역 확장부(208)는, 입력 신호 S2의 고역 신호를 타겟으로 하여, 대역 확장용으로 생성된 저역 토널 신호 사이의 상관을 최대로 하는 저역 토널 신호의 특정의 대역을 탐색한다. 탐색은, 미리 준비한 특정의 후보 위치 중에서 상기 상관을 최대로 하는 후보를 선택함으로써 행해도 된다. 대역 확장용으로 생성된 저역 토널 신호는, 분리부(202)로 분리한(양자화된) 저역 토널 신호를 그대로 이용해도 되고, 평활화 내지 정규화된 토널 신호를 이용해도 된다.
그리고, 대역 확장부(208)는, 탐색한 특정의 대역의 위치를 나타내는 정보, 즉 확장 대역의 생성에 이용되는 저역 스펙트럼의 위치(주파수)를 특정하는 정보인 래그 정보를 다중화부(207), 및 대역 확장부(203)에 출력한다. 또한, 래그 정보는, 모든 확장 대역에 대응하는 것이 갖추어져 있을 필요는 없고, 일부의 확장 대역에 대응하는 것 만을 보내도록 해도 된다. 예를 들면, 대역 확장에 의해 생성되는 서브 밴드 중 일부에 대해서는 래그 정보가 부호화되고, 나머지는 부호화되지 않고, 복호 장치측에서 래그 정보를 이용하여 생성된 스펙트럼을 되풀이해서 생성하도록 해도 된다.
또, 대역 확장부(208)는, 입력 신호 S2의 고역 신호 중에서 진폭이 큰 것을 선택하고, 이 선택한 성분 만을 이용하여 상기 상관의 계산을 행함으로써, 상관 연산의 계산량을 삭감함과 함께, 선택한 성분의 주파수 위치 정보를 고역 토널 성분 주파수 위치 정보로서 잡음 성분 에너지 산출부(204)(제1 계산부)에 출력한다.
대역 확장부(203)는, 래그 정보로 특정되는 특정의 대역의 위치를 기준으로, 저역 비토널 신호를 잘라 내어 고역 비토널 신호로 하고, 이 고역 비토널 신호를 게인 산출부(205)에 출력한다.
잡음 성분 에너지 산출부(204)는, 고역 토널 성분 주파수 위치 정보를 이용하여, 입력 신호 S2의 고역 신호의 잡음 성분인 고역 잡음 성분의 에너지를 산출하여, 게인 산출부(205)에 출력한다. 구체적으로는, 입력 신호 S2의 고역부분 전체의 에너지로부터 고역부분 중 고역 토널 성분 주파수 위치의 성분의 에너지를 감산함으로써 고역 토널 성분이 아닌 성분의 에너지를 구하고, 이것을 고역 잡음 성분 에너지로서 게인 산출부(205)에 출력한다.
게인 산출부(205)는, 대역 확장부(203)로부터 출력된 고역 비토널 신호의 에너지를 산출하고, 이 에너지와, 잡음 성분 에너지 산출부(204)로부터 출력된 고역 잡음 성분의 에너지 사이의 비율을 산출하고, 이것을 스케일 팩터로서 다중화부(207)에 출력한다.
에너지 계산부(206)는, 입력 신호 S2의 서브 밴드 마다의 에너지를 계산한다. 예를 들면, 입력 신호 S2를 서브 밴드에 분할한 경우의, 서브 밴드 내의 스펙트럼의 2승 합으로 계산할 수 있다. 예를 들면, 다음식으로 정의할 수 있다.
Figure 112016046852028-pct00001
여기서, X는 MDCT 계수이며, b는 서브 밴드의 번호이며, Epsilon은 스칼라 양자화를 위한 상수이다.
그리고, 에너지 계산부(206)는, 구한 양자화 밴드 에너지의 크기를 나타내는 지표를 양자화 밴드 에너지로서 다중화부(207)에 출력한다.
다중화부(207)는, 래그 정보, 스케일 팩터, 및 양자화 밴드 에너지를 부호화하고, 이것을 다중화한다. 그리고, 다중화에 의해 얻어진 신호를 고역 부호화 신호로서 출력한다. 또한, 다중화부(207)와 다중화부(103)는 별도로 설치해도 되고, 일체로서 설치해도 된다.
이와 같이, 본 실시 형태에서는, 게인 산출부(205)(제2 계산부)로, 입력 신호의 고역 신호 중 고역 비토널(잡음) 성분의 에너지와, 저역 복호 신호로부터 생성된 고역 복호 신호 중 고역 비토널(잡음) 신호의 에너지의 비율을 구하고 있으므로, 복호 신호에 있어서의 비토널(잡음) 성분의 에너지를 보다 정확하게 재현할 수 있다는 효과를 가진다.
즉, 토널 성분에 비해 작고, 오차가 나오기 쉬운 비토널 성분의 에너지를 보다 정확하게 재현할 수 있어, 복호 신호에 있어서의 비토널 성분의 에너지가 안정된다. 또, 밴드 에너지와 비토널 성분의 에너지를 이용하여 계산되는 토널 성분의 에너지도 보다 정확하게 재현할 수 있다. 그리고, 고역 부호화 신호를 적은 비트수로 부호화할 수 있다.
(실시 형태 2)
다음에, 본 개시의 실시 형태 2에 있어서의 부호화 장치의 구성에 대해서, 도 3을 이용하여 설명한다. 또한, 본 실시 형태에 있어서의 부호화 장치(100) 전체의 구성은, 실시 형태 1과 마찬가지로, 도 1의 구성을 가지고 있다.
도 3은, 본 실시 형태에 있어서의 제2 레이어 부호화부(106)의 구성을 나타내는 블럭도이다. 실시 형태 1의 제2 레이어 부호화부(106)과의 차이는, 잡음 가산부와 분리부의 위치 관계가 역전되어, 분리부(302), 잡음 가산부(301)를 가지는 것이다.
분리부(302)는, 저역 복호 신호를, 비토널 성분인 저역 비토널 신호와, 토널 성분인 저역 토널 신호로 분리한다. 분리 방법은, 실시 형태 1에서 설명한 것과 마찬가지로, 소정의 역치를 기준으로 진폭의 대소로 분리한다. 역치를 제로로 설정해도 된다.
잡음 가산부(301)는, 분리부(302)로부터 출력된 저역 비토널 신호에 대해, 잡음 신호를 가산한다. 이미 진폭을 가지고 있는 성분에는 잡음 신호를 가산하지 않도록 하기 위해, 저역 복호 신호 S1을 참조해도 된다.
또한, 실시 형태 1, 2에 대해서 계층 부호화를 이용한 예를 설명했지만, 실시 형태 1, 2는 계층 부호화 이외를 이용한 것에도 적용할 수 있다. 도 4 및 도 9는, 그 외의 부호화 장치(110, 610)의 예이다. 우선 도 4의 부호화 장치(110)에 대해서 설명한다.
도 4에 나타내는 부호화 장치(110)는, 시간-주파수 변환부(111), 제1 부호화부(112), 다중화부(113), 밴드 에너지 정규화부(114), 제2 부호화부(115)로 구성된다.
시간-주파수 변환부(111)는, 입력 신호에 대해 MDCT 등을 이용하여 주파수 변환을 행한다.
밴드 에너지 정규화부(114)는, 주파수 변환이 실시된 입력 신호인 입력 스펙트럼에 대해, 소정의 밴드마다 밴드 에너지의 산출·양자화·부호화를 행하여, 밴드 에너지 부호화 신호를 다중화부(113)에 출력한다. 또, 밴드 에너지 정규화부(114)는, 양자화된 밴드 에너지를 이용하여, 제1 부호화부 및 제2 부호화부에 할당하는 비트 배분 정보 B1 및 B2를 계산하고, 제1 부호화부(112) 및 제2 부호화부(115)로 각각 출력한다. 또, 또한, 밴드 에너지 정규화부(114)는, 양자화된 밴드 에너지로 각 밴드의 입력 스펙트럼의 정규화를 행하여, 정규화 입력 스펙트럼 S2를 제1 부호화부(112) 및 제2 부호화부(115)로 출력한다.
제1 부호화부(112)는, 입력한 비트 배분 정보 B1에 의거하여, 소정의 주파수 이하의 저역 신호를 포함하는 정규화 입력 스펙트럼 S2에 대해, 제1 부호화를 행한다. 그리고, 제1 부호화부(112)는, 부호화의 결과 생성된 제1 부호화 신호를 다중화부(113)에 출력한다. 또, 제1 부호화부(112)는, 부호화의 과정에서 얻어지는 저역 복호 신호 S1을 제2 부호화부(115)로 출력한다.
제2 부호화부(115)는, 정규화 입력 스펙트럼 S2 중 제1 부호화부(112)로 부호화되어 있지 않은 부분에 대해서, 제2 부호화를 행한다. 제2 부호화부(115)는, 도 2, 3에서 설명한 제2 레이어 부호화부(106)의 구성을 이용하는 것이 가능하다.
다음에, 도 9의 부호화 장치(610)에 대해서 설명한다. 도 9에 나타내는 부호화 장치(610)는, 시간-주파수 변환부(611), 제1 부호화부(612), 다중화부(613), 제2 부호화부(614)로 구성된다.
시간-주파수 변환부(611)는, 입력 신호에 대해 MDCT 등을 이용하여 주파수 변환을 행한다.
제1 부호화부(612)는, 주파수 변화를 실시된 입력 신호인 입력 스펙트럼에 대해, 소정의 밴드마다 밴드 에너지의 산출과 양자화와 부호화를 행하여, 밴드 에너지 부호화 신호를 다중화부(613)에 출력한다. 또, 제1 부호화부(612)는, 양자화된 밴드 에너지를 이용하여, 제1 부호화 신호 및 제2 부호화 신호에 할당하는 비트 배분 정보를 계산하고, 비트 배분 정보에 의거하여, 소정의 주파수 이하의 저역 신호를 포함하는 정규화 입력 스펙트럼 S2에 대해, 제1 부호화를 행한다. 그리고, 제1 부호화부(612)는, 제1 부호화 신호를 다중화부(613)로 출력함과 함께, 제1 부호화 신호의 복호 신호 중, 저역 성분인 저역 복호 신호를 제2 부호화부(614)로 출력한다. 여기서, 제1 부호화는 입력 신호를 양자화 밴드 에너지로 정규화한 것에 대해 행해도 된다. 이 경우, 제1 부호화 신호의 복호화 신호는 양자화 밴드 에너지로 역정규화한 것이 된다. 또, 제1 부호화부(612)는, 제2 부호화 신호에 할당하는 비트 배분 정보, 및, 고역의 양자화 밴드 에너지 정보를 제2 부호화부(614)로 출력한다.
제2 부호화부(614)는, 입력 스펙트럼 S2 중 제1 부호화부(612)로 부호화되어 있지 않은 부분에 대해서, 제2 부호화를 행한다. 제2 부호화부(614)는, 도 2, 3에서 설명한 제2 레이어 부호화부(106)의 구성을 이용하는 것이 가능하다. 또한, 도 2, 3에서는 명기하고 있지 않지만, 비트 배분 정보는, 래그 정보를 부호화하는 대역 확장부(208), 및, 스케일 팩터를 부호화하는 게인 산출부에 입력된다. 또, 도 2, 3에서는, 입력 신호를 이용하여 밴드 에너지를 산출, 양자화하는 에너지 계산부(206)가 나타나 있지만, 도 9에서는, 제1 부호화부(612)에서 이 처리를 행하고 있으므로 필요없다.
(실시 형태 3)
도 5는, 실시 형태 3에 관련된 음성 신호 복호 장치의 구성을 나타내는 블럭도이다. 여기에서는, 부호화 신호가 복수의 레이어로 이루어지는 계층 구조를 가지는 부호화 장치로부터 송신된 신호이며, 이 부호화 신호를 복호하는 복호 장치를 예로서 설명한다. 또한, 계층 구조를 갖지 않는 예에 대해서는, 도 8에서 설명한다.
도 5에 나타내는 복호 장치(400)는, 분리부(401), 제1 레이어 복호부(402), 제2 레이어 복호부(403)로 구성된다. 또, 분리부(401)에는, 도시하지 않은 안테나가 접속되어 있다.
분리부(401)는, 도시하지 않은 안테나를 통하여 입력된 부호화 신호를, 제1 부호화 신호인 저역 부호화 신호, 및 고역 부호화 신호로 분리한다. 분리부(401)는, 저역 부호화 신호를 제1 레이어 복호부(402)에, 고역 부호화 신호를 제2 레이어 복호부(403)에 출력한다.
제1 레이어 복호부(402)는, 제1 복호부의 일 양태이며, 저역 부호화 신호를 복호하고, 저역 복호 신호 S1을 생성한다. 제1 레이어 복호부(402)의 복호의 예로서, CELP 복호를 들 수 있다. 제1 레이어 복호부(402)는, 저역 복호 신호를 제2 레이어 복호부(403)에 출력한다.
제2 레이어 복호부(403)는, 제2 복호부의 일 양태이며, 고역 부호화 신호를 복호하고, 저역 복호 신호를 이용하여 광대역 복호 신호를 생성, 출력한다. 제2 레이어 복호부(403)의 상세한 것은 후술한다.
그리고, 저역 복호 신호, 또는/및, 광대역 복호 신호는, 도시하지 않은 증폭기나 스피커를 통해서 재생된다.
도 6은, 본 실시 형태에 있어서의 제2 레이어 복호부(403)의 구성을 나타내는 블럭도이다. 제2 레이어 복호부(403)는, 복호·분리부(501), 잡음 가산부(502), 분리부(503), 대역 확장부(504), 스케일링부(505), 결합부(506), 가산부(507), 대역 확장부(508), 결합부(509), 토널 신호 에너지 추정부(510), 스케일링부(511)로 구성된다.
복호·분리부(501)는, 고역 부호화 신호를 복호하여, 양자화 밴드 에너지 A, 스케일 팩터 B, 및 래그 정보 C로 분리한다. 또한, 분리부(401)와 복호·분리부(501)는 별도로 설치해도 되고, 일체로서 설치해도 된다.
잡음 가산부(502)는, 제1 레이어 복호부(402)로부터 입력된 저역 복호 신호 S1에 대해, 잡음 신호를 가산한다. 잡음 신호는, 부호화 장치(100)의 잡음 가산부(201)에서 가산한 잡음 신호와 동일한 것을 이용한다. 그리고, 잡음 가산부(502)는, 잡음 신호가 가산된 저역 복호 신호를 분리부(503)에 출력한다.
분리부(503)는, 잡음 신호가 가산된 저역 복호 신호로부터, 비토널 성분과 토널 성분을 분리하여, 각각 저역 비토널 신호 및 저역 토널 신호로서 출력한다. 저역 비토널 신호와 저역 토널 신호로 분리하는 방법은, 부호화 장치(100)의 분리부(202)에서 설명한 것과 동일하다.
대역 확장부(504)는, 래그 정보 C를 이용하여 특정의 대역의 저역 비토널 신호를 고역으로 카피하여 고역 비토널 신호를 생성한다.
스케일링부(505)는, 대역 확장부(504)에서 생성한 고역 비토널 신호에 대해, 스케일 팩터 B를 곱함으로써 고역 비토널 신호의 진폭을 조정한다.
그리고, 결합부(506)에서, 저역 비토널 신호와, 스케일링부(505)에서 진폭이 조정된 고역 비토널 신호를 결합하여, 광대역 비토널 신호를 생성한다.
한편, 분리부(503)에서 분리된 저역 토널 신호는, 대역 확장부(508)에 입력된다. 그리고, 대역 확장부(508)는, 대역 확장부(504)와 마찬가지로, 래그 정보 C를 이용하여 특정의 대역의 저역 토널 신호를 고역으로 카피하여 고역 토널 신호를 생성한다.
토널 신호 에너지 추정부(510)는, 스케일링부(505)로부터 입력되는 진폭이 조정된 고역 비토널 신호의 에너지를 산출함과 함께, 양자화 밴드 에너지 A의 값으로부터 고역 비토널 신호의 에너지를 감산하여 고역 토널 신호의 에너지를 구한다. 그리고, 고역 비토널 신호의 에너지와 고역 토널 신호의 에너지의 비를 스케일링부(511)에 출력한다.
스케일링부(511)는, 고역 토널 신호에, 고역 비토널 신호의 에너지와 고역 토널 신호의 에너지의 비를 곱함으로써, 고역 토널 신호의 진폭을 조정한다.
그리고, 결합부(509)에서, 저역 토널 신호와, 진폭이 조정된 고역 토널 신호를 결합하여, 광대역 토널 신호를 생성한다.
마지막으로, 가산부(507)에서 광대역 비토널 신호와 광대역 토널 신호를 가산하여, 광대역 복호 신호를 생성, 출력한다.
이와 같이, 본 실시 형태에서는, 저역 양자화 스펙트럼을 이용하여 비토널 성분을 적은 비트로 생성하고, 스케일 팩터로 적절한 에너지를 가지도록 조정하며, 이 조정한 비토널 성분의 에너지를 이용하여 고역 토널 신호의 에너지를 조정하는 구성을 가지고 있으므로, 적은 정보량으로 음악 신호 등을 부호화, 전송, 복호화하여, 고역의 비토널 성분의 에너지를 적절히 재현할 수 있는 것이다. 또, 양자화 밴드 에너지 정보와 비토널 성분의 에너지 정보를 이용하여 토널 성분의 에너지를 결정함으로써, 적정한 토널 성분의 에너지도 재현할 수 있는 것이다.
(실시 형태 4)
다음에, 본 개시의 실시 형태 4에 있어서의 복호 장치의 구성을 도 7을 이용하여 설명한다. 또한, 본 실시 형태에 있어서의 복호 장치(400) 전체의 구성은, 실시 형태 1과 마찬가지로, 도 4의 구성을 가지고 있다.
도 7은, 본 실시 형태에 있어서의 제2 레이어 복호부(403)의 구성을 나타내는 블럭도이다. 실시 형태 3의 제2 레이어 복호부(403)와의 차이는, 실시 형태 1과 실시 형태 2의 관계와 마찬가지로, 잡음 가산부와 분리부의 위치 관계가 역전하여, 분리부(603), 잡음 가산부(602)를 가지는 것이다. 또한, 도 7에 있어서, 복호·분리부(501)는 기재를 생략하고 있다.
분리부(603)는, 저역 복호 신호를, 비토널 성분인 저역 비토널 신호와 토널 성분인 저역 토널 신호로 분리한다.
잡음 가산부(602)는, 분리부(603)로부터 출력된 저역 비토널 신호에 대해, 잡음 신호를 가산한다.
또한, 실시 형태 3, 4에 대해서 계층 부호화를 이용한 예를 설명했지만, 실시 형태 3, 4는 계층 부호화 이외를 이용한 것에도 적용할 수 있다. 도 8 및 도 10, 그 외의 복호 장치(410, 620)의 예이다. 우선, 도 8에 나타내는 복호 장치(410)에 대해서 설명한다.
도 8에 나타내는 복호 장치(410)는, 분리부(411), 제1 복호부(412), 제2 복호부(413), 주파수-시간 변환부(414), 밴드 에너지 역정규화부(415), 합성부(116)로 구성된다.
분리부(411)는, 도시하지 않은 안테나를 통하여 입력된 부호화 신호를, 제1 부호화 신호, 고역 부호화 신호 및 밴드 에너지 부호화 신호로 분리한다. 분리부(411)는, 제1 부호화 신호를 제1 복호부(412)에, 고역 부호화 신호를 제2 복호부(413)에, 밴드 에너지 부호화 신호를 밴드 에너지 역정규화부(415)에 출력한다.
밴드 에너지 역양자화부(415)는, 밴드 에너지 부호화 신호를 복호하고, 양자화 밴드 에너지를 생성한다. 밴드 에너지 역양자화부(415)는, 양자화 밴드 에너지에 의거하여, 제1 복호부 및 제2 복호부로의 비트 배분 정보 B1 및 B2를 계산하고, 각각 출력한다. 또, 밴드 에너지 역양자화부(415)는, 생성한 양자화 밴드 에너지를, 합성부(416)로부터 입력하는 정규화 광대역 복호 신호에 곱하여 역정규화를 행하고, 최종적인 광대역 복호 신호를 생성하여, 주파수-시간 변환부(414)로 출력한다.
제1 복호부(412)는, 비트 배분 정보 B1에 따라서 제1 부호화 신호를 복호하고, 저역 복호 신호 S1 및 고역 복호 신호를 생성한다. 제1 복호부(412)는, 저역 복호 신호를 제2 복호부(413)에, 고역 복호 신호를 합성부(416)에, 각각 출력한다.
제2 복호부(413)는, 비트 배분 정보 B2에 따라서 고역 부호화 신호를 복호하여, 저역 복호 신호를 이용하여 광대역 복호 신호를 생성, 출력한다. 제2 복호부(413)는, 도 6, 도 7에서 설명한 제2 레이어 복호부(403)와 동일한 구성을 이용하는 것이 가능하다.
합성부(416)는, 제1 복호부에서 복호된 고역 복호 신호를 제2 복호부로부터 입력한 광대역 복호 신호에 더하여, 정규화 광대역 복호 신호를 생성하고, 밴드 에너지 역정규화부(415)로 출력한다.
그리고, 밴드 에너지 역정규화부(415)로부터 출력된 광대역 복호 신호는, 주파수-시간 변환부(414)에서 시간 영역의 신호로 변환되고, 도시하지 않은 증폭기나 스피커를 통해서 재생된다.
다음에, 도 10에 나타내는 복호 장치(620)에 대해서 설명한다. 도 10은, 그 외의 복호 장치(620)의 예이다. 도 10에 나타내는 복호 장치(620)는, 제1 복호부(621), 제2 복호부(622), 합성부(623), 주파수-시간 변환부(624)로 구성된다.
제1 복호부(621)는, 도시하지 않은 안테나를 통하여 입력된 부호화 신호(제1 부호화 신호, 고역 부호화 신호 및 밴드 에너지 부호화 신호를 포함한다)를 입력하고, 우선 밴드 에너지를 분리, 복호한다. 복호한 밴드 에너지의 고역부를 고역 밴드 에너지(A)로서 제2 복호부(622)로 출력한다. 다음에, 제1 복호부(621)는 복호한 밴드 에너지에 의거하여 비트 배분 정보를 계산하고, 제1 부호화 신호를 분리, 복호한다. 이 복호 처리는, 상기 복호한 밴드 에너지를 이용한 역정규화 처리를 포함하고 있어도 된다. 복호한 제1 복호 신호의 저역부를 저역 복호 신호로서 제2 복호부(621)로 출력한다. 계속해서, 제1 복호부(621)는 상기 비트 배분 정보에 의거하여 고역 부호화 신호를 분리, 복호한다. 복호한 고역 복호 신호는, 스케일 팩터(B)와 래그 정보(C)를 포함하고, 이들을 제2 복호부(622)로 출력한다. 또, 제1 복호부(621)는, 상기 제1 복호 신호의 고역부를 고역 복호 신호로서 합성부(623)로 출력한다. 고역 복호 신호가 제로가 되는 경우도 있다.
제2 복호부(622)는, 제1 복호부(621)로부터 입력한, 저역 복호 신호, 복호한 양자화 밴드 에너지, 스케일 팩터, 래그 정보를 이용하여 광대역 복호 신호를 생성, 출력한다. 제2 복호부(622)는, 도 6, 도 7에서 설명한 제2 레이어 복호부(403)와 동일한 구성을 이용해도 된다.
합성부(623)는, 제1 복호부(621)에서 복호된 고역 복호 신호를 제2 복호부(622)로부터 입력한 광대역 복호 신호에 더하여, 광대역 복호 신호를 생성하고, 주파수-시간 변환부(624)에서 시간 영역의 신호로 변환되어, 도시하지 않은 증폭기나 스피커를 통해서 재생된다.
(총괄)
이상, 실시 형태 1 내지 4에서 본 개시의 부호화 장치 및 복호 장치를 설명했다. 본 개시의 부호화 장치 및 복호 장치는, 시스템 보드나 반도체 소자로 대표되는 반완성품이나 부품 레벨의 형태이어도 되고, 단말 장치나 기지국 장치와 같은 완성품 레벨의 형태도 포함하는 개념이다. 본 개시의 복호 장치 및 부호화 장치가 반완성품이나 부품 레벨의 형태인 경우는, 안테나, DA/AD 컨버터, 증폭기, 스피커, 및 마이크 등으로 조합함으로써 완성품 레벨의 형태가 된다.
또한, 도 1 내지 도 10의 블럭도는, 전용으로 설계된 하드웨어의 구성 및 동작(방법)을 나타냄과 함께, 범용의 하드웨어에 본 개시의 동작(방법)을 실행하는 프로그램을 인스톨하여 프로세서로 실행함으로써 실현되는 경우도 포함한다. 범용의 하드웨어인 전자계산기로서, 예를 들면 퍼스널 컴퓨터, 스마트 폰 등의 각종 휴대 정보 단말, 및 휴대 전화 등을 들 수 있다.
또, 전용으로 설계된 하드웨어는, 휴대 전화나 고정 전화 등의 완성품 레벨(컨슈머 일렉트로닉스)에 한정되지 않고, 시스템 보드나 반도체 소자 등, 반완성품이나 부품 레벨도 포함하는 것이다.
또한, 본 개시를 기지국에서 이용하는 경우인 예로서, 기지국에서 음성 부호화 방식을 변경하는 트랜스 코딩을 행하는 경우를 들 수 있다. 또한, 기지국이란, 통신회선의 도중에 존재하는 각종 노드를 포함하는 개념이다.
<산업상의 이용 가능성>
본 개시에 관련된 부호화 장치 및 복호 장치는, 음성 신호나 오디오 신호의 기록, 전송, 재생에 관계하는 기기에 응용이 가능하다.
100, 110, 610 부호화 장치 101 다운 샘플링부
102 제1 레이어 부호화부 103, 113, 613 다중화부
104 제1 레이어 복호부 105 지연부
106 제2 레이어 부호화부 201, 301 잡음 가산부
202, 302 분리부 203 대역 확장부
204 잡음 성분 에너지 산출부(제1 계산부)
205 게인 산출부(제2 계산부) 206 에너지 계산부
207 다중화부 208 대역 확장부
400, 410, 620 복호 장치 401, 411 분리부
402 제1 레이어 복호부 403 제2 레이어 복호부
501 복호·분리부 502, 602 잡음 가산부
503, 603 분리부 504 대역 확장부
505 스케일링부 506 결합부
507 가산부 508 대역 확장부
509 결합부 510 토널 신호 에너지 추정부
511 스케일링부 112, 612 제1 부호화부
115, 614 제2 부호화부 412, 621 제1 복호부
413, 622 제2 복호부

Claims (17)

  1. 음성 또는 오디오 입력 신호의 소정 주파수 이하의 저역 신호를 부호화하여 제1 부호화 신호를 생성하고, 상기 제1 부호화 신호를 복호하여 저역 복호 신호를 생성하는 제1 부호화부와,
    상기 저역 복호 신호에 의거하여, 상기 저역 신호보다 고역의 고역 신호를 부호화하여 고역 부호화 신호를 생성하는 제2 부호화부와,
    상기 제1 부호화 신호와 상기 고역 부호화 신호를 다중화하여 부호화 신호를 출력하는 제1 다중화부를 가지며,
    상기 제2 부호화부는,
    상기 저역 복호 신호를, 상기 저역 복호 신호의 비토널 성분인 저역 비토널 신호와, 상기 저역 복호 신호의 토널 성분인 저역 토널 신호로 분리하는 분리부와,
    상기 고역 신호와 상기 저역 토널 신호 사이의 상관을 최대로 하는 특정 대역의 위치 정보를 래그 정보로서 출력하는 제1 대역 확장부와,
    상기 래그 정보에 대응하는 상기 저역 비토널 신호를 고역 비토널 신호로서 출력하는 제2 대역 확장부와,
    상기 래그 정보에 대응하는 상기 고역 신호로부터, 잡음 성분인 고역 잡음 성분의 에너지를 계산하는 제1 계산부와,
    상기 고역 잡음 성분과 상기 고역 비토널 신호의 에너지 비율을 산출하여, 스케일 팩터로서 출력하는 제2 계산부와,
    상기 래그 정보 및 상기 스케일 팩터를 다중화하여 고역 부호화 신호로서 출력하는 제2 다중화부를 가지는, 부호화 장치.
  2. 청구항 1에 있어서,
    상기 음성 또는 오디오 입력 신호의 에너지를 계산하여 양자화 밴드 에너지로서 출력하는 에너지 계산부를 더 구비하고,
    상기 제1 다중화부는, 상기 양자화 밴드 에너지와 상기 제1 부호화 신호와 상기 고역 부호화 신호를 다중화하여 출력하는, 부호화 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 제2 부호화부는,
    상기 저역 복호 신호에 잡음 신호를 가산하는 잡음 가산부를 더 가지는, 부호화 장치.
  5. 청구항 1에 있어서,
    상기 제2 부호화부는,
    상기 분리부로부터 출력된 상기 저역 비토널 신호에 잡음 신호를 가산하는 잡음 가산부를 더 가지는, 부호화 장치.
  6. 삭제
  7. 부호화 장치에 있어서, 제1 부호화 신호, 고역 부호화 신호, 및 밴드 에너지 부호화 신호가 입력되는 복호 장치로서,
    상기 제1 부호화 신호를 복호하여 저역 복호 신호를 생성하는 제1 복호부와,
    상기 고역 부호화 신호를 복호하고, 상기 저역 복호 신호를 이용하여 광대역 복호 신호를 생성하는 제2 복호부와,
    상기 밴드 에너지 부호화 신호를 복호하여 양자화 밴드 에너지를 생성하는 제3 복호부를 가지고,
    상기 제2 복호부는,
    상기 저역 복호 신호를, 상기 저역 복호 신호의 비토널 성분인 저역 비토널 신호와, 상기 저역 복호 신호의 토널 성분인 저역 토널 신호로 분리하는 분리부와,
    상기 고역 부호화 신호를 복호하여 얻어지는 래그 정보를 이용하여 상기 저역 비토널 신호를 고역으로 카피하여 고역 비토널 신호를 생성하는 제1 대역 확장부와,
    상기 고역 부호화 신호를 복호하여 얻어지는 스케일 팩터를 이용하여 상기 고역 비토널 신호의 진폭을 조정하는 제1 스케일링부와,
    상기 고역 비토널 신호의 에너지와 상기 양자화 밴드 에너지로부터, 고역 토널 신호의 에너지를 추정하는 토널 신호 에너지 추정부와,
    상기 저역 비토널 신호와 상기 고역 비토널 신호를 결합하여 광대역 비토널 신호를 생성하는 제1 결합부와,
    상기 래그 정보를 이용하여 상기 저역 토널 신호를 고역으로 카피하여 고역 토널 신호를 생성하는 제2 대역 확장부와,
    상기 고역 토널 신호의 에너지에 의거하여, 상기 고역 토널 신호의 진폭을 조정하는 제2 스케일링부와,
    상기 저역 토널 신호와 진폭이 조정된 상기 고역 토널 신호를 결합하여 광대역 토널 신호를 생성하는 제2 결합부와,
    상기 광대역 비토널 신호와 상기 광대역 토널 신호를 가산하여 광대역 복호 신호를 생성하는 가산부를 가지는, 복호 장치.
  8. 청구항 7에 있어서,
    상기 제2 복호부는,
    상기 저역 복호 신호에 잡음 신호를 가산하는 잡음 가산부를 더 가지는, 복호 장치.
  9. 청구항 7에 있어서,
    상기 제2 복호부는,
    상기 분리부로부터 출력된 상기 저역 비토널 신호에 잡음 신호를 가산하는 잡음 가산부를 더 가지는, 복호 장치.
  10. 청구항 1에 기재된 부호화 장치를 가지는, 단말 장치.
  11. 청구항 7에 기재된 복호 장치를 가지는, 단말 장치.
  12. 음성 또는 오디오 입력 신호의 소정 주파수 이하의 저역 신호를 부호화하여 제1 부호화 신호를 생성하고,
    상기 제1 부호화 신호를 복호하여 저역 복호 신호를 생성하며,
    상기 저역 복호 신호에 의거하여, 상기 저역 신호보다 고역의 고역 신호를 부호화하여 고역 부호화 신호를 생성하고,
    상기 제1 부호화 신호와 고역 부호화 신호를 다중화하여 부호화 신호를 출력하고,
    상기 음성 또는 오디오 입력 신호의 에너지를 계산하여 양자화 밴드 에너지로서 출력하고,
    상기 저역 복호 신호를, 상기 저역 복호 신호의 비토널 성분인 저역 비토널 신호와, 상기 저역 복호 신호의 토널 성분인 저역 토널 신호로 분리하며,
    상기 고역 신호와 상기 저역 토널 신호 사이의 상관을 최대로 하는 특정 대역의 위치 정보를 래그 정보로서 출력하고,
    상기 래그 정보에 대응하는 상기 저역 비토널 신호를 고역 비토널 신호로서 출력하며,
    상기 래그 정보에 대응하는 상기 고역 신호로부터, 잡음 성분인 고역 잡음 성분의 에너지를 계산하고,
    상기 고역 잡음 성분과 상기 고역 비토널 신호의 에너지 비율을 산출하여 스케일 팩터로서 출력하며,
    상기 고역 부호화 신호는 상기 래그 정보 및 상기 스케일 팩터를 포함하는, 부호화 방법.
  13. 삭제
  14. 삭제
  15. 제1 부호화 신호, 고역 부호화 신호, 및 밴드 에너지 부호화 신호를 위한 복호 방법에 있어서,
    상기 제1 부호화 신호를 복호하여 저역 복호 신호를 생성하고,
    상기 고역 부호화 신호를 복호하고, 상기 저역 복호 신호를 이용하여 광대역 복호 신호를 생성하며,
    상기 밴드 에너지 부호화 신호를 복호하여 양자화 밴드 에너지를 생성하고,
    상기 저역 복호 신호를, 상기 저역 복호 신호의 비토널 성분인 저역 비토널 신호와, 상기 저역 복호 신호의 토널 성분인 저역 토널 신호로 분리하며,
    상기 고역 부호화 신호를 복호하여 얻어지는 래그 정보를 이용하여 상기 저역 비토널 신호를 고역으로 카피하여 고역 비토널 신호를 생성하고,
    상기 고역 부호화 신호를 복호하여 얻어지는 스케일 팩터를 이용하여 상기 고역 비토널 신호의 진폭을 조정하며,
    상기 고역 비토널 신호의 에너지와 상기 양자화 밴드 에너지로부터, 고역 토널 신호의 에너지를 추정하고,
    상기 저역 비토널 신호와 상기 고역 비토널 신호를 결합하여 광대역 비토널 신호를 생성하며,
    상기 래그 정보를 이용하여 상기 저역 토널 신호를 고역으로 카피하여 고역 토널 신호를 생성하고,
    상기 고역 토널 신호의 에너지에 의거하여, 상기 고역 토널 신호의 진폭을 조정하며,
    상기 저역 토널 신호와 진폭이 조정된 상기 고역 토널 신호를 결합하여 광대역 토널 신호를 생성하고,
    상기 광대역 비토널 신호와 상기 광대역 토널 신호를 가산하여 광대역 복호 신호를 생성하는, 복호 방법.
  16. 음성 또는 오디오의 입력 신호의 소정 주파수 이하의 저역 신호를 부호화하여 제1 부호화 신호를 생성하는 처리와,
    상기 제1 부호화 신호를 복호하여 저역 복호 신호를 생성하는 처리와,
    상기 저역 복호 신호에 의거하여, 상기 저역 신호보다 고역의 고역 신호를 부호화하여 고역 부호화 신호를 생성하는 처리와,
    상기 제1 부호화 신호와 상기 고역 부호화 신호를 다중화하여 부호화 신호를 출력하는 처리와,
    상기 음성 또는 오디오 입력 신호의 에너지를 계산하여 양자화 밴드 에너지로서 출력하는 처리와,
    상기 저역 복호 신호를, 상기 저역 복호 신호의 비토널 성분인 저역 비토널 신호와, 상기 저역 복호 신호의 토널 성분인 저역 토널 신호로 분리하는 처리와,
    상기 고역 신호와 상기 저역 토널 신호 사이의 상관을 최대로 하는 특정 대역의 위치 정보를 래그 정보로서 출력하는 처리와,
    상기 래그 정보에 대응하는 상기 저역 비토널 신호를 고역 비토널 신호로서 출력하는 처리와,
    상기 래그 정보에 대응하는 상기 고역 신호로부터, 잡음 성분인 고역 잡음 성분의 에너지를 계산하는 처리와,
    상기 고역 잡음 성분과 상기 고역 비토널 신호의 에너지 비율을 산출하여 스케일 팩터로서 출력― 상기 고역 부호화 신호는 상기 래그 정보 및 상기 스케일 팩터를 포함함 ― 하는 처리를 프로세서에 실행시키게 하는 프로그램이 저장된 저장 매체.
  17. 제1 부호화 신호, 고역 부호화 신호, 및 밴드 에너지 부호화 신호를 위하여,
    상기 제1 부호화 신호 및 상기 고역 부호화 신호로 분리하는 처리와,
    상기 제1 부호화 신호를 복호하여 저역 복호 신호를 생성하는 처리와,
    상기 고역 부호화 신호를 복호하고, 상기 저역 복호 신호를 이용하여 광대역 복호 신호를 생성하는 처리와,
    상기 밴드 에너지 부호화 신호를 복호하여 양자화 밴드 에너지를 생성하는 처리와,
    상기 저역 복호 신호를, 상기 저역 복호 신호의 비토널 성분인 저역 비토널 신호와, 상기 저역 복호 신호의 토널 성분인 저역 토널 신호로 역 다중화하는 처리와,
    상기 고역 부호화 신호를 복호하여 얻어지는 래그 정보를 이용하여 상기 저역 비토널 신호를 고역으로 카피하여 고역 비토널 신호를 생성하는 처리와,
    상기 고역 부호화 신호를 복호하여 얻어지는 스케일 팩터를 이용하여 상기 고역 비토널 신호의 진폭을 조정하는 처리와,
    상기 고역 비토널 신호의 에너지와 상기 양자화 밴드 에너지로부터, 고역 토널 신호의 에너지를 추정하는 처리와,
    상기 저역 비토널 신호와 상기 고역 비토널 신호를 결합하여 광대역 비토널 신호를 생성하는 처리와,
    상기 래그 정보를 이용하여 상기 저역 토널 신호를 고역으로 카피하여 고역 토널 신호를 생성하는 처리와,
    상기 고역 토널 신호의 에너지에 의거하여, 상기 고역 토널 신호의 진폭을 조정하는 처리와,
    상기 저역 토널 신호와 진폭이 조정된 상기 고역 토널 신호를 결합하여 광대역 토널 신호를 생성하는 처리와,
    상기 광대역 비토널 신호와 상기 광대역 토널 신호를 가산하여 광대역 복호 신호를 생성하는 처리를 프로세서에 실행시키게 하는 프로그램이 저장된 저장 매체.
KR1020167012900A 2014-03-31 2015-03-23 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램 Active KR102121642B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461972722P 2014-03-31 2014-03-31
US61/972,722 2014-03-31
JP2014153832 2014-07-29
JPJP-P-2014-153832 2014-07-29
PCT/JP2015/001601 WO2015151451A1 (ja) 2014-03-31 2015-03-23 符号化装置、復号装置、符号化方法、復号方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20160138373A KR20160138373A (ko) 2016-12-05
KR102121642B1 true KR102121642B1 (ko) 2020-06-10

Family

ID=54239798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167012900A Active KR102121642B1 (ko) 2014-03-31 2015-03-23 부호화 장치, 복호 장치, 부호화 방법, 복호 방법, 및 프로그램

Country Status (11)

Country Link
US (3) US10269361B2 (ko)
EP (3) EP3128513B1 (ko)
JP (1) JPWO2015151451A1 (ko)
KR (1) KR102121642B1 (ko)
CN (2) CN111710342B (ko)
BR (1) BR112016019838B1 (ko)
ES (1) ES2975073T3 (ko)
MX (1) MX367639B (ko)
PL (2) PL3128513T3 (ko)
RU (1) RU2689181C2 (ko)
WO (1) WO2015151451A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX367639B (es) * 2014-03-31 2019-08-29 Fraunhofer Ges Forschung Codificador, decodificador, método de codificación, método de decodificación y programa.
EP3413307B1 (en) 2014-07-25 2020-07-15 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio signal coding apparatus, audio signal decoding device, and methods thereof
ES2823250T3 (es) * 2014-07-25 2021-05-06 Fraunhofer Ges Forschung Aparato de codificación de señal de audio, dispositivo de decodificación de señal de audio y métodos del mismo
JP6691440B2 (ja) * 2016-06-21 2020-04-28 日本電信電話株式会社 音声符号化装置、音声復号装置、音声符号化方法、音声復号方法、プログラム、および記録媒体
CN113192523B (zh) * 2020-01-13 2024-07-16 华为技术有限公司 一种音频编解码方法和音频编解码设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090326931A1 (en) * 2005-07-13 2009-12-31 France Telecom Hierarchical encoding/decoding device
WO2013035257A1 (ja) * 2011-09-09 2013-03-14 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277699B2 (ja) * 1994-06-13 2002-04-22 ソニー株式会社 信号符号化方法及び装置並びに信号復号化方法及び装置
JP3557674B2 (ja) * 1994-12-15 2004-08-25 ソニー株式会社 高能率符号化方法及び装置
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
JP4173940B2 (ja) 1999-03-05 2008-10-29 松下電器産業株式会社 音声符号化装置及び音声符号化方法
EP1423847B1 (en) * 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US7333930B2 (en) * 2003-03-14 2008-02-19 Agere Systems Inc. Tonal analysis for perceptual audio coding using a compressed spectral representation
CN1677492A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN101656077B (zh) * 2004-05-14 2012-08-29 松下电器产业株式会社 音频编码装置、音频编码方法以及通信终端和基站装置
KR101143724B1 (ko) 2004-05-14 2012-05-11 파나소닉 주식회사 부호화 장치 및 부호화 방법, 및 부호화 장치를 구비한 통신 단말 장치 및 기지국 장치
EP1866915B1 (en) * 2005-04-01 2010-12-15 Qualcomm Incorporated Method and apparatus for anti-sparseness filtering of a bandwidth extended speech prediction excitation signal
US8396717B2 (en) * 2005-09-30 2013-03-12 Panasonic Corporation Speech encoding apparatus and speech encoding method
CN101371296B (zh) * 2006-01-18 2012-08-29 Lg电子株式会社 用于编码和解码信号的设备和方法
EP1979901B1 (de) * 2006-01-31 2015-10-14 Unify GmbH & Co. KG Verfahren und anordnungen zur audiosignalkodierung
JP2008058727A (ja) * 2006-08-31 2008-03-13 Toshiba Corp 音声符号化装置
WO2008032828A1 (fr) * 2006-09-15 2008-03-20 Panasonic Corporation Dispositif de codage audio et procédé de codage audio
US8015368B2 (en) * 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
US8990073B2 (en) 2007-06-22 2015-03-24 Voiceage Corporation Method and device for sound activity detection and sound signal classification
US9177569B2 (en) * 2007-10-30 2015-11-03 Samsung Electronics Co., Ltd. Apparatus, medium and method to encode and decode high frequency signal
WO2009084221A1 (ja) * 2007-12-27 2009-07-09 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
CA2715432C (en) * 2008-03-05 2016-08-16 Voiceage Corporation System and method for enhancing a decoded tonal sound signal
ES2955669T3 (es) * 2008-07-11 2023-12-05 Fraunhofer Ges Forschung Decodificador de audio, procedimiento para decodificar una señal de audio y programa de ordenador
JP5203077B2 (ja) * 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
US8352279B2 (en) * 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
EP4231290B1 (en) * 2008-12-15 2023-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension decoder, corresponding method and computer program
CN102334159B (zh) * 2009-02-26 2014-05-14 松下电器产业株式会社 编码装置、解码装置及其方法
EP2273493B1 (en) * 2009-06-29 2012-12-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bandwidth extension encoding and decoding
AU2014201331B2 (en) * 2009-06-29 2015-10-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bandwidth extension encoder, bandwidth extension decoder and phase vocoder
FR2947945A1 (fr) * 2009-07-07 2011-01-14 France Telecom Allocation de bits dans un codage/decodage d'amelioration d'un codage/decodage hierarchique de signaux audionumeriques
JP5493655B2 (ja) 2009-09-29 2014-05-14 沖電気工業株式会社 音声帯域拡張装置および音声帯域拡張プログラム
JP5652658B2 (ja) * 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US8306493B2 (en) * 2010-04-13 2012-11-06 Newport Media, Inc. Pilot based adaptation for FM radio receiver
BR112012026502B1 (pt) * 2010-04-16 2022-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Aparelho, método para gerar um sinal de banda larga usando extensão de largura de guiada e extensão de largura de banda cega
US20130101028A1 (en) 2010-07-05 2013-04-25 Nippon Telegraph And Telephone Corporation Encoding method, decoding method, device, program, and recording medium
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
CN102436820B (zh) * 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
RU2648595C2 (ru) * 2011-05-13 2018-03-26 Самсунг Электроникс Ко., Лтд. Распределение битов, кодирование и декодирование аудио
CN102800317B (zh) * 2011-05-25 2014-09-17 华为技术有限公司 信号分类方法及设备、编解码方法及设备
WO2013002623A2 (ko) * 2011-06-30 2013-01-03 삼성전자 주식회사 대역폭 확장신호 생성장치 및 방법
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
PT2791937T (pt) * 2011-11-02 2016-09-19 ERICSSON TELEFON AB L M (publ) Geração de uma extensão da banda alta de um sinal de áudio de largura de banda estendida
CN103187065B (zh) * 2011-12-30 2015-12-16 华为技术有限公司 音频数据的处理方法、装置和系统
EP2954516A1 (en) * 2013-02-05 2015-12-16 Telefonaktiebolaget LM Ericsson (PUBL) Enhanced audio frame loss concealment
JP2014153832A (ja) 2013-02-06 2014-08-25 Seiko Instruments Inc 携帯型電子機器用のカバー
US9489959B2 (en) * 2013-06-11 2016-11-08 Panasonic Intellectual Property Corporation Of America Device and method for bandwidth extension for audio signals
US9615185B2 (en) * 2014-03-25 2017-04-04 Bose Corporation Dynamic sound adjustment
MX367639B (es) * 2014-03-31 2019-08-29 Fraunhofer Ges Forschung Codificador, decodificador, método de codificación, método de decodificación y programa.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090326931A1 (en) * 2005-07-13 2009-12-31 France Telecom Hierarchical encoding/decoding device
WO2013035257A1 (ja) * 2011-09-09 2013-03-14 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法

Also Published As

Publication number Publication date
EP3550563A1 (en) 2019-10-09
MX367639B (es) 2019-08-29
US20220130402A1 (en) 2022-04-28
EP3550563C0 (en) 2024-03-06
CN105874534B (zh) 2020-06-19
EP4376304A3 (en) 2024-07-24
BR112016019838A2 (ko) 2017-08-15
ES2975073T3 (es) 2024-07-03
WO2015151451A1 (ja) 2015-10-08
RU2689181C2 (ru) 2019-05-24
US20190251979A1 (en) 2019-08-15
EP3128513B1 (en) 2019-05-15
RU2016138694A (ru) 2018-05-07
BR112016019838B1 (pt) 2023-02-23
CN105874534A (zh) 2016-08-17
KR20160138373A (ko) 2016-12-05
EP4376304A2 (en) 2024-05-29
US10269361B2 (en) 2019-04-23
MX2016010595A (es) 2016-11-29
RU2016138694A3 (ko) 2018-08-27
US20160336017A1 (en) 2016-11-17
PL3128513T3 (pl) 2019-11-29
US11232803B2 (en) 2022-01-25
JPWO2015151451A1 (ja) 2017-04-13
EP3550563B1 (en) 2024-03-06
CN111710342A (zh) 2020-09-25
CN111710342B (zh) 2024-04-16
PL3550563T3 (pl) 2024-07-08
EP3128513A1 (en) 2017-02-08
EP3128513A4 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
CN1954363B (zh) 编码装置和编码方法
US11521625B2 (en) Audio signal coding apparatus, audio signal decoding apparatus, audio signal coding method, and audio signal decoding method
RU2585990C2 (ru) Устройство и способ для выполнения кодирования методом хаффмана
US11232803B2 (en) Encoding device, decoding device, encoding method, decoding method, and non-transitory computer-readable recording medium
KR102055022B1 (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램
US8099275B2 (en) Sound encoder and sound encoding method for generating a second layer decoded signal based on a degree of variation in a first layer decoded signal
US9230551B2 (en) Audio encoder or decoder apparatus
US20200160873A1 (en) Decoding device, encoding device, decoding method, and encoding method
US20130346073A1 (en) Audio encoder/decoder apparatus
JP6957444B2 (ja) 音響信号符号化装置、音響信号復号装置、音響信号符号化方法および音響信号復号方法
Nagisetty et al. Super-wideband fine spectrum quantization for low-rate high-quality MDCT coding mode of the 3GPP EVS codec
WO2011058752A1 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20160517

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20171113

Comment text: Request for Examination of Application

PN2301 Change of applicant

Patent event date: 20180614

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190813

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200304

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200604

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200604

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250527

Start annual number: 6

End annual number: 6