JP4973397B2

JP4973397B2 - 符号化装置および符号化方法、ならびに復号化装置および復号化方法

Info

Publication number: JP4973397B2
Application number: JP2007228853A
Authority: JP
Inventors: 雅之上田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-09-04
Filing date: 2007-09-04
Publication date: 2012-07-11
Anticipated expiration: 2027-09-04
Also published as: JP2009063623A

Description

本発明は、符号化装置および符号化方法、ならびに復号化装置および復号化方法に関し、特には、帯域拡張技術を用いた符号化装置および符号化方法、ならびに復号化装置および復号化方法に関する。

デジタル音楽再生機の普及に伴い、原音からの音質劣化を聴感上抑えつつ、ファイルサイズを抑えることで、再生機内のメモリに保存できる曲数を増加させることが望まれる。

一般的に、オーディオ信号の符号化では、音源となるＰＣＭ（Pulse Code Modulation）信号を一定のサンプル数で区切って１フレームが規定され、フレーム単位で、周波数変換、量子化および符号化が行われ、ビットストリームが生成される。復号側では、反対に、入力されるビットストリームが１フレームごとに逆周波数変換され、ＰＣＭ信号が出力される。

特許文献１および２には、デジタルオーディオ信号を圧縮伸張する技術が記載されている。

特に、特許文献２に記載されたＳＢＲ（Spectral Band Replication）技術は、帯域拡張技術を用いて符号量を抑制する技術として注目されている。

以下、ＳＢＲ技術を簡単に説明する。

ＳＢＲ技術では、デコード時に、高周波数帯域の信号が、低周波数帯域の信号を用いて擬似的に復元される。

具体的には、ＳＢＲ技術では、エンコード時に、低周波数帯域の信号が、例えばマスキング特性に基づいて符号化され、低域情報が生成される。さらに、低周波数帯域の信号を用いて高周波数帯域の信号を擬似的に生成するために使用される擬似帯域情報が生成される。

この擬似帯域情報は、高周波数帯域の信号をマスキング特性に基づいて符号化することによって得られる情報より、符号量を小さくできる。

デコード時には、低域情報から低周波数帯域の信号が復号され、続いて、低周波数帯域の信号と擬似帯域情報から、擬似高周波数帯域の信号が、高周波数帯域の信号として復号される。
特開２００１‐９４４３２号公報特表２００１‐５２１６４８号公報

ＳＢＲ技術では、常に、低周波数帯域の信号から高周波数帯域の信号が擬似的に生成される。このため、高周波数帯域の信号の復元具合は、低周波数帯域の信号の復元具合に比べて、悪くなる可能性が高い。

よって、高周波数帯域にエネルギーが集中している場合などでは、エネルギーが集中している帯域の復元具合が悪化する。エネルギーが集中している帯域は、聴感上重要な要素である可能性が高い。よって、ＳＢＲ技術では、高周波数帯域にエネルギーが集中している場合、聴感上の音質劣化が大きくなると考えられる。

本発明の目的は、上述した課題である聴感上の音質劣化を解決することが可能な符号化装置および方法、ならびに復号化装置および方法を提供することにある。

本発明の符号化装置は、オーディオ信号を複数の周波数帯域に分割する分割手段と、前記周波数帯域ごとにエネルギーを算出し、前記複数の周波数帯域のうちエネルギーが最大の周波数帯域を、主帯域として選出する選出手段と、前記オーディオ信号のマスキング特性を検出する分析手段と、少なくとも前記主帯域に含まれる信号を、前記マスキング特性に基づいて符号化して、主符号情報を生成する符号手段と、前記主帯域に含まれる信号と、前記複数の周波数帯域のうち前記主符号情報の元となった帯域以外の副帯域に含まれる信号と、の相関関係を示す擬似帯域情報を生成する生成手段と、前記主符号情報と前記擬似帯域情報を多重化して符号化信号を出力する出力手段と、を含む。

また、本発明の符号化方法は、符号化装置での符号化方法であって、オーディオ信号を複数の周波数帯域に分割する分割ステップと、前記周波数帯域ごとにエネルギーを算出し、前記複数の周波数帯域のうちエネルギーが最大の周波数帯域を、主帯域として選出する選出ステップと、前記オーディオ信号のマスキング特性を検出する分析ステップと、少なくとも前記主帯域に含まれる信号を、前記マスキング特性に基づいて符号化して、主符号情報を生成する符号ステップと、前記主帯域に含まれる信号と、前記複数の周波数帯域のうち前記主符号情報の元となった帯域以外の副帯域に含まれる信号と、の相関関係を示す擬似帯域情報を生成する生成ステップと、前記主符号情報と前記擬似帯域情報を多重化して符号化信号を出力する出力ステップと、を含む。

また、本発明の復号化装置は、上記符号化装置が出力した、主符号情報と擬似帯域情報とを含む符号化信号を復号化する復号化装置であって、前記符号化信号を、前記主符号情報と前記擬似帯域情報に分離する分離手段と、前記主符号情報を復号して、前記主符号情報の元となった帯域の信号を生成する第１復号手段と、前記主符号情報の元となった帯域内の主帯域の信号と前記擬似帯域情報とに基づいて、前記副帯域の信号を生成する第２復号手段と、前記主符号情報の元となった帯域の信号と前記副帯域の信号を合成してオーディオ信号を出力する合成手段と、を含む。

また、本発明の復号化方法は、上記符号化装置が出力した、主符号情報と擬似帯域情報とを含む符号化信号を復号化する復号化装置での復号化方法であって、前記符号化信号を、前記主符号情報と前記擬似帯域情報に分離する分離ステップと、前記主符号情報を復号して、前記主符号情報の元となった帯域の信号を生成する第１復号ステップと、前記主符号情報の元となった帯域内の主帯域の信号と前記擬似帯域情報とに基づいて、前記副帯域の信号を生成する第２復号ステップと、前記主符号情報の元となった帯域の信号と前記副帯域の信号を合成してオーディオ信号を出力する合成ステップと、を含む。

本発明によれば、聴感上の音質劣化を抑えつつ、符号量を抑えることが可能になる。

以下、本発明の実施形態の符号化装置および復号化装置を、図面を参照して説明する。

図１は、本発明の一実施形態の符号化装置を示したブロック図である。

図１において、符号化装置は、入力メモリ１０１と、フィルタバンク１０２と、アタック検出部１０３と、主帯域選出部１０４と、分析部１０５と、符号部１０６と、擬似帯域情報生成部１０７と、ストリーム多重化部１０８と、出力メモリ１０９とを含む。分析部１０５は、周波数変換部１１０と、マスキング分析部１１１とを含む。符号部１０６は、量子化部１１２と、符号化部１１３とを含む。

入力メモリ１０１には、音源となるオーディオ信号が１フレームずつ記録される。本実施形態では、オーディオ信号として、ＰＣＭ信号が用いられる。なお、オーディオ信号は、時間的に連続する複数のフレームから構成される。

フィルタバンク１０２は、分割手段の一例である。

フィルタバンク１０２は、入力メモリ１０１に記録されているＰＣＭ信号を、フレームごとに、複数の周波数帯域に分割する。

例えば、フィルタバンク１０２は、入力メモリ１０１内のＰＣＭ信号を、フレームごとに、複数のサブバンド帯域に分割し、それらサブバンド帯域を、低域（低周波数帯域）、中域（中周波数帯域）および高域（高周波数帯域）にグループ化する。

フィルタバンク１０２は、低域、中域および高域にて構成された各フレームを、アタック検出部１０３、主帯域選出部１０４および擬似帯域情報生成部１０７に、フレーム順に提供していく。

アタック検出部１０３は、検出手段の一例である。

アタック検出部１０３は、フィルタバンク１０２から１フレームを構成する低域、中域および高域を受け付けた場合、帯域ごとに、直前のフレームよりエネルギーが増加しているフレームを、アタックとして検出する。

例えば、アタック検出部１０３は、帯域ごとに、直前のフレームからのエネルギー増加率が予め定められた閾値より大きくなくなるフレームをアタックとして検出する。

なお、アタックが検出された帯域は、音質が判断される上で重要な要素である可能性が高いと考えられる。

アタック検出部１０３は、アタックの有無を示すアタック有無情報を生成し、そのアタック有無情報を主帯域選出部１０４に提供する。

例えば、アタック検出部１０３は、アタックを検出しなかった場合、アタック無しを示すアタック有無情報を生成し、一方、アタックを検出した場合、アタックが検出された帯域（アタック検出帯域）を示すアタック有無情報を生成する。

主帯域選出部１０４は、選出手段の一例である。

主帯域選出部１０４は、フィルタバンク１０２から１フレームを構成する低域、中域および高域を受け付けた場合、帯域ごとにエネルギーを算出し、１フレームを構成する複数の帯域のうち、エネルギーが最大の帯域を、主帯域として選出する。

例えば、主帯域選出部１０４は、帯域ごとにエネルギー平均を算出し、複数の帯域のうち、エネルギー平均が最大の帯域を、主帯域として選出する。

なお、１フレームを構成する各帯域のうち、エネルギー（例えばエネルギー平均）が最大となる帯域は、音源を構成する帯域の中で、聴感上重要な要素である可能性が高いと考えられる。

主帯域選出部１０４は、主帯域を示す主帯域情報と、アタック検出部１０３からのアタック有無情報と、を含むベース帯域情報を生成する。主帯域選出部１０４は、ベース帯域情報を、擬似帯域情報生成部１０７および量子化部１１２に提供する。

分析部１０５は、分析手段の一例である。

分析部１０５は、入力メモリ１０１に記録されているＰＣＭ信号をフレーム単位で受け付け、そのフレーム内のオーディオ信号のマスキング特性を検出する。

周波数変換部１１０は、例えば、ＭＤＣＴ（Modified Discrete Cosine Transform）部であり、入力メモリ１０１に記録されているＰＣＭ信号をフレーム単位で受け付け、そのフレーム（時間軸上のオーディオ信号）を周波数軸上の周波数スペクトルに変換する。

周波数変換部１１０は、その変換結果をマスキング分析部１１１に提供する。

マスキング分析部１１１は、周波数変換部１１０の変換結果を受け付け、その変換結果を、例えば、聴覚心理モデルに基づいて分析して、オーディオ信号のマスキング特性を検出する。なお、「聴覚心理」とは、例えば、人間は大きな音の周辺の周波数を有する小さな音の有無を知覚できない、というような人間の耳が持ついくつかの特性のことである。

マスキング分析部１１１は、そのマスキング特性と、周波数変換部１１０の変換結果とを、符号部１０６、具体的には量子化部１１２に提供する。

符号部１０６は、符号手段の一例である。

符号部１０６は、マスキング分析部１１１からのマスキング特性に基づいて、少なくとも主帯域内の信号を符号化して主符号情報を生成する。

量子化部１１２は、マスキング分析部１１１からマスキング特性と周波数変換部１１０の変換結果とを受け付け、主帯域選出部１０４からベース帯域情報（主帯域情報とアタック有無情報）を受け付けた場合、以下のような処理を実行する。

アタック有無情報がアタック無しを示す場合、量子化部１１２は、周波数変換部１１０の変換結果のうち、主帯域情報が示す主帯域内の情報を、マスキング特性に基づいて量子化して主量子化情報を生成する。

一方、アタック有無情報がアタック検出帯域を示す場合、量子化部１１２は、周波数変換部１１０の変換結果のうち、主帯域内の情報とアタック検出帯域内の情報とを、マスキング特性に基づいて量子化して主量子化情報を生成する。

量子化部１１２は、主量子化情報を符号化部１１３に提供する。

符号化部１１３は、量子化部１１２から主量子化情報を受け付け、その主量子化情報を符号化して主符号情報を生成する。例えば、符号化部１１３は、主量子化情報をハフマン符号化して主符号情報を生成する。なお、符号化の手法は、ハフマン符号化に限らず適宜変更可能である。

符号化部１１３は、主符号情報をストリーム多重化部１０８に提供する。

擬似帯域情報生成部１０７は、生成手段の一例である。

擬似帯域情報生成部１０７は、フィルタバンク１０２から１フレームを構成する低域、中域および高域を受け付け、主帯域選出部１０４からベース帯域情報を受け付けた場合、以下のような処理を実行する。

擬似帯域情報生成部１０７は、主帯域内の信号と、１フレームを構成する複数の帯域のうち主符号情報の元となった帯域以外の帯域（以下「副帯域」と称する。）内の信号と、の相関関係を示す擬似帯域情報を生成する。

例えば、擬似帯域情報生成部１０７は、ベース帯域情報内のアタック有無情報がアタック無しを示す場合、主帯域内の信号と、１フレームを構成する複数の帯域のうちの主帯域と異なる各帯域内の信号と、の相関関係を示す擬似帯域情報を生成する。

この場合、主帯域と異なる帯域が、副帯域となる。

一例をあげると、高域が主帯域である場合、低域および中域が副帯域となる。この場合、擬似帯域情報生成部１０７は、高域の信号（オーディオ信号）と中域の信号（オーディオ信号）との相関関係を示す擬似帯域情報と、高域の信号（オーディオ信号）と低域の信号（オーディオ信号）との相関関係を示す擬似帯域情報と、を生成する。

また、擬似帯域情報生成部１０７は、ベース帯域情報内のアタック有無情報がアタック検出帯域を示す場合、１フレームを構成する複数の帯域のうちで主帯域およびアタック検出帯域と異なる帯域内の信号と主帯域内の信号との相関関係を示す擬似帯域情報を生成する。

この場合、主帯域およびアタック検出帯域と異なる帯域が、副帯域となる。

一例をあげると、高域が主帯域であり、中域がアタック検出帯域である場合、低域が副帯域となる。この場合、擬似帯域情報生成部１０７は、高域の信号（オーディオ信号）と低域の信号（オーディオ信号）との相関関係を示す擬似帯域情報と、を生成する。

なお、擬似帯域情報生成部１０７は、例えば、副帯域ごとに、擬似帯域情報として、主帯域のエネルギーに対する、副帯域のエネルギーの減衰率を生成する。

擬似帯域情報生成部１０７は、擬似帯域情報に、副帯域を示す副帯域情報および主帯域情報を付加し、その後、副帯域情報および主帯域情報が付加された擬似帯域情報を、ストリーム多重化部１０８に提供する。

ストリーム多重化部１０８は、出力手段の一例である。

ストリーム多重化部１０８は、符号化部１１３から主符号情報を受け付け、擬似帯域情報生成部１０７から副帯域情報および主帯域情報が付加された擬似帯域情報を受け付けた場合、以下のような処理を実行する。

ストリーム多重化部１０８は、副帯域情報および主帯域情報が付加された擬似帯域情報を主符号情報と多重化してビットストリーム（符号化信号）を生成し、そのビットストリームを出力メモリ１０９に出力して記録する。

図２は、本発明の一実施形態の復号化装置を示したブロック図である。

図２において、復号化装置は、入力メモリ２０１と、ストリーム分離部２０２と、主帯域情報復号化部２０３と、拡張帯域情報復号化部２０４と、周波数逆変換処理部２０５と、出力メモリ２０６とを含む。

入力メモリ２０１には、図１に示した出力メモリ１０９に記録されたビットストリームが１フレームずつ記録される。

ストリーム分離部２０２は、分離手段の一例である。

ストリーム分離部２０２は、入力メモリ２０１に記録されているビットストリームを、副帯域情報および主帯域情報が付加された擬似帯域情報と、主符号情報に分離する。

ストリーム分離部２０２は、主符号情報を主帯域情報復号化部２０３に提供し、副帯域情報および主帯域情報が付加された擬似帯域情報を拡張帯域情報復号化部２０４に提供する。

主帯域情報復号化部２０３は、第１復号手段の一例である。

主帯域情報復号化部２０３は、ストリーム分離部２０２からの主符号情報を復号して、主符号情報の元となった帯域の信号を生成する。

主帯域情報復号化部２０３は、その帯域の信号を、拡張帯域情報復号化部２０４に提供する。

拡張帯域情報復号化部２０４は、第２復号手段の一例である。

拡張帯域情報復号化部２０４は、主帯域情報復号化部２０３からの信号と、ストリーム分離部２０２からの、副帯域情報および主帯域情報が付加された擬似帯域情報と、に基づいて、副帯域の信号を生成する。

例えば、拡張帯域情報復号化部２０４は、主帯域情報復号化部２０３からの信号から、主帯域情報が示す主帯域に含まれる信号を選出し、その選出された信号（主帯域の信号）を擬似帯域情報が示すエネルギーの減衰率に基づいて調整し、それを副帯域情報が示す副帯域にコピーすることによって、副帯域の信号を生成する。

拡張帯域情報復号化部２０４は、主帯域情報復号化部２０３からの信号と、副帯域の信号とを、周波数逆変換処理部２０５に提供する。

周波数逆変換処理部２０５は、合成手段の一例である。

周波数逆変換処理部２０５は、主帯域情報復号化部２０３からの信号と副帯域の信号を合成し、その合成された信号に周波数逆変換を施し、ＰＣＭ信号を生成し、出力メモリ２０６に記録する。

次に、動作を説明する。

図３は、符号化装置の動作を説明するためのフローチャートである。

符号化が実行されると（ステップ３０１）、フィルタバンク１０２は、入力メモリ１０１に記録されている音源の各フレームを、いくつかのサブバンド帯域に分割する（ステップ３０２）。

続いて、フィルタバンク１０２は、サブバンド分割された帯域を、低域、中域、高域にグループ化する（ステップ３０３）。その後、フィルタバンク１０２は、低域、中域および高域にて構成された各フレームを、アタック検出部１０３、主帯域選出部１０４および擬似帯域情報生成部１０７に、フレーム順に提供していく。

アタック検出部１０３は、フィルタバンク１０２から１フレームを構成する低域、中域および高域を受け付けると、各帯域で、受け付けたフレームと前フレームとのエネルギー比率を算出し、この比率が予め定められた閾値より大きくなるフレームを、アタックとして検出する（ステップ３０４）。

続いて、アタック検出部１０３は、アタックの有無を示すアタック有無情報を、主帯域選出部１０４に提供する。

一方、主帯域選出部１０４は、フィルタバンク１０２から１フレームを構成する低域、中域および高域を受け付けた場合、それぞれの帯域でのエネルギー平均を算出し、それらの帯域の中でエネルギー平均が最大となる帯域を、主帯域として選出する（ステップ３０５）。

なお、１フレームを構成する各帯域のうち、エネルギー平均が最大となる帯域（主帯域）は、音源を構成する帯域の中で、聴感上重要な要素である可能性が高いと考えられる。

続いて、主帯域選出部１０４は、主帯域を示す主帯域情報と、アタック検出部１０３からのアタック有無情報と、を含むベース帯域情報を生成する。主帯域選出部１０４は、ベース帯域情報を、擬似帯域情報生成部１０７および量子化部１１２に提供する。

擬似帯域情報生成部１０７は、１フレームを構成する複数の帯域とベース帯域情報とを受け付けると、最大エネルギーではなく、かつアタック検出がされない帯域に対して、擬似帯域情報を生成する（ステップ３０６）。

具体的には、擬似帯域情報生成部１０７は、ベース帯域情報内のアタック有無情報がアタック無しを示す場合、主帯域内の信号と、１フレームを構成する複数の帯域のうちの主帯域以外の全ての帯域（副帯域）のそれぞれの信号と、の相関関係を示す擬似帯域情報を生成する。

また、擬似帯域情報生成部１０７は、ベース帯域情報内のアタック有無情報がアタック検出帯域を示す場合、１フレームを構成する複数の帯域のうちで主帯域およびアタック検出帯域と異なる帯域（副帯域）内の信号と主帯域内の信号との相関関係を示す擬似帯域情報を生成する。

なお、擬似帯域情報生成部１０７は、副帯域ごとに、擬似帯域情報として、主帯域のエネルギーに対する、副帯域のエネルギーの減衰率を生成する。

擬似帯域情報生成部１０７は、擬似帯域情報に副帯域を示す副帯域情報および主帯域情報を付加し、その後、副帯域情報および主帯域情報が付加された擬似帯域情報を、ストリーム多重化部１０８に提供する。

一方、周波数変換部１１０は、入力メモリ１０１に記録されているＰＣＭ信号をフレーム単位で受け付け、そのフレームを周波数軸上の周波数スペクトルに変換する（ステップ３０７）。周波数変換部１１０は、その変換結果をマスキング分析部１１１に提供する。

マスキング分析部１１１は、周波数変換部１１０の変換結果を受け付けると、その変換結果を分析して、オーディオ信号のマスキング特性を検出する（ステップ３０８）。

マスキング分析部１１１は、そのマスキング特性と、周波数変換部１１０の変換結果とを、符号部１０６に提供する。

符号部１０６は、マスキング分析部１１１からマスキング特性と周波数変換部１１０の変換結果を受け付け、主帯域選出部１０４からベース帯域情報（主帯域情報とアタック有無情報）を受け付けると、量子化および符号化処理を行う（ステップ３０９）。

具体的には、アタックが検出された帯域およびエネルギーが最大となる帯域は、音質が判断される上で重要な情報であるため、符号部１０６は、これらの帯域については、マスキング特性（マスキング分析）を利用して符号化を行い、これらの帯域を高精度な情報、すなわち主符号情報として表す。

符号部１０６は、主符号情報をストリーム多重化部１０８に提供する。

一方、最大エネルギーではなく、かつアタック検出がされない帯域に対しては、上述したように、擬似帯域情報生成部１０７が、最大エネルギーを持つ帯域との減衰率を擬似帯域情報として算出している。

なお、帯域の減衰率は、マスキング分析が利用された符号化情報と比べ、大幅に小さい情報なので、符号量削減につながる。

ストリーム多重化部１０８は、副帯域情報および主帯域情報が付加された擬似帯域情報と、主符号情報と、を受け付けると、擬似帯域情報と主符号情報を多重化してビットストリームを生成し、そのビットストリームを出力メモリ１０９に出力して記録する（ステップ３１０）。

図４は、復号化装置の動作を説明するためのフローチャートである。

復号化が実行されると（ステップ４０１）、ストリーム分離部２０２は、入力メモリ２０１に記録されているビットストリームを、副帯域情報および主帯域情報が付加された擬似帯域情報と、主符号情報に分離する（ステップ４０２）。

主帯域情報復号化部２０３は、ストリーム分離部２０２からの主符号情報を復号して、主符号情報の元となった帯域の信号を生成する（ステップ４０３）。

拡張帯域情報復号化部２０４は、主帯域情報復号化部２０３からの信号と、ストリーム分離部２０２からの、副帯域情報および主帯域情報が付加された擬似帯域情報と、に基づいて、副帯域（拡張帯域）の信号を生成する（ステップ４０４）。

具体的には、拡張帯域情報復号化部２０４は、主帯域情報復号化部２０３からの信号から、主帯域情報が示す主帯域に含まれる信号を選出し、その選出された信号（主帯域の信号）を、擬似帯域情報が示すエネルギーの減衰率に基づいて調整し、それを副帯域情報が示す副帯域にコピーすることによって、副帯域の信号を生成する。

拡張帯域情報復号化部２０４は、主帯域情報復号化部２０３からの信号と副帯域の信号とを周波数逆変換処理部２０５に提供する。

周波数逆変換処理部２０５は、主帯域情報復号化部２０３からの信号と副帯域の信号を合成し、その合成された信号に周波数逆変換を施し（ステップ４０５）、ＰＣＭ信号を生成し、出力メモリ２０６に記録する（ステップ４０６）。

本実施形態の符号化装置によれば、以下の作用効果を奏する。

エネルギーが最大の周波数帯域は、音源を構成する帯域の中で、聴感上重要な要素である可能性が高いと考えられる。本実施形態では、主帯域選出部１０４が、帯域ごとのエネルギーに応じて主帯域（聴感上重要な可能性が高い要素）を動的に選出する。そして、符号部１０６が、聴感上重要な可能性が高い要素に対しては、マスキング特性に基づいた符号化を行い、擬似帯域情報生成部１０７が、聴感上重要でない可能性が高い要素に対しては、主帯域から生成される擬似帯域情報を生成する。

このため、符号量を抑制しつつ、音質の劣化をより抑えることが可能になる。

例えば、ＳＢＲ技術では、低域から高域情報を擬似的に生成するのみであるのに対し、本実施形態では、高域から低域情報を擬似的に生成することも可能となる。つまり、本実施形態によれば、高域に、聴感上重要な可能性が高い要素が存在する場合、高域をマスキング特性に基づいて符号化し、他の領域について擬似帯域情報を生成することが可能になる。

なお、本実施形態では、擬似帯域情報生成部１０７は、擬似帯域情報として、主帯域のエネルギーに対する副帯域のエネルギーの減衰率を生成する。

こうして生成される擬似帯域情報は、通常マスキング特性を利用して符号化される情報に比べ、符号量を小さくすることができる。よって、擬似帯域情報を非常に小さくすることが可能になる。

また、本実施形態では、主帯域選出部１０４は、周波数帯域ごとにエネルギー平均を算出し、複数の周波数帯域のうち、エネルギー平均が最大の周波数帯域を、主帯域として選出する。

エネルギー平均が大きい帯域は、聴感上重要な可能性が非常に高い帯域であると考えられる。よって、この場合、聴感上重要な可能性が非常に高い帯域を、主帯域として選出することが可能になる。

また、本実施形態では、アタック検出部１０３は、周波数帯域ごとに、直前のフレームよりエネルギーが増加しているフレームを、アタックとして検出する。また、符号部１１３は、アタックが検出された周波数帯域内の信号と、主帯域内の信号とを、マスキング特性に基づいて符号化して、主符号情報を生成する。

アタックが検出された帯域も、音質が判断される上で重要な要素である可能性が高いと考えられる。このため、符号部１０６は、聴感上重要な可能性が高い帯域について、マスキング特性に基づいた符号化を行うことが可能になる。

また、本実施形態では、アタック検出部１０３は、周波数帯域ごとに、直前のフレームからのエネルギー増加率が予め定められた閾値より大きくなくなるフレームをアタックとして検出する。

この場合、エネルギー増加率に基づいて、アタックを検出することが可能になる。

また、本実施形態の復号化装置によれば、以下の作用効果を奏する。

ストリーム分離部２０２は、符号化信号を主符号情報と擬似帯域情報に分離する。主帯域情報復号化部２０３は、主符号情報を復号して、主符号情報の元となった帯域の信号を生成する。拡張帯域情報復号化部２０４は、主符号情報の元となった帯域内の主帯域の信号と擬似帯域情報とに基づいて副帯域の信号を生成する。周波数逆変換処理部２０５は、主符号情報の元となった帯域の信号と副帯域の信号を合成して、オーディオ信号を出力する。

このため、例えば、図１に示した符号化装置が出力した符号化信号を適切に復号することが可能になる。

また、本実施形態では、拡張帯域情報復号化部２０４は、主帯域の信号を擬似帯域情報に基づいて変更して副帯域の信号を生成する。

この場合、主帯域の信号から副帯域の信号を、擬似的に容易に生成することが可能になる。

次に、本発明の他の実施形態を説明する。

図５は、本発明の他の実施形態の符号化装置を示したブロック図である。なお、図５において、図１に示したものと同一のものには同一符号を付してある。

以下、図５に示した符号化装置５００と図１に示した符号化装置の相違点を中心に説明する。

符号化装置５００では、アタック検出部１０３が省略され、入力メモリ１０１と出力メモリ１０９が外部構成となっている。

主帯域選出部１０４ａは、選出手段の一例である。

主帯域選出部１０４ａは、ベース帯域情報の生成の仕方以外は、主帯域選出部１０４と同様に動作する。主帯域選出部１０４ａは、主帯域を示す主帯域情報からなるベース帯域情報を生成する。

量子化部１１２ａは、マスキング分析部１１１からマスキング特性と周波数変換部１１０の変換結果を受け付け、主帯域選出部１０４からベース帯域情報（主帯域情報）を受け付けると、以下のように動作する。

量子化部１１２ａは、周波数変換部１１０の変換結果のうち、主帯域情報が示す主帯域内の情報を、マスキング特性に基づいて量子化して主量子化情報を生成する。量子化部１１２ａは、主量子化情報を符号化部１１３に提供する。

擬似帯域情報生成部１０７ａは、生成手段の一例である。

擬似帯域情報生成部１０７ａは、主帯域内の信号と、１フレームを構成する複数の周波数帯域のうち主符号情報の元となった帯域以外の帯域（副帯域）内の信号と、の相関関係を示す擬似帯域情報を生成する。

例えば、擬似帯域情報生成部１０７ａは、主帯域内の信号と、１フレームを構成する複数の帯域のうちの主帯域と異なる各帯域内の信号と、の相関関係を示す擬似帯域情報を生成する。この場合、他の全ての帯域が、副帯域となる。

この実施形態でも、主帯域選出部１０４が、帯域ごとのエネルギーに応じて主帯域（聴感上重要な可能性が高い要素）を動的に選出する。そして、符号部１０６が、聴感上重要な可能性が高い要素に対しては、マスキング特性に基づいた符号化を行い、擬似帯域情報生成部１０７が、聴感上重要でない可能性が高い要素に対しては、主帯域から生成される擬似帯域情報を生成する。

図６は、本発明の他の実施形態の復号化装置を示したブロック図である。なお、図６において、図２に示したものと同一のものには同一符号を付してある。

以下、図６に示した復号化装置６００と図２に示した復号化装置の相違点を中心に説明する。

復号化装置６００では、入力メモリ２０１と出力メモリ２０９が外部構成となっている。

この実施形態でも、図２に示した復号化装置と同様の作用効果を奏する。

以上説明したように各実施形態によれば、聴感上の音質劣化を抑え、例えば１つのコンテンツ（楽曲）あたりの符号量を抑えることが可能になる。

以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。

例えば、上記各実施形態では、フィルタバンク１０２は、入力メモリ１０１内のＰＣＭ信号を、フレームごとに、３つの帯域に分割したが、分割数は３つに限らず適宜変更可能である。

本発明の一実施形態の符号化装置を示したブロック図である。本発明の一実施形態の復号化装置を示したブロック図である。図１に示した符号化装置の動作を説明するためのフローチャートである。図２に示した復号化装置の動作を説明するためのフローチャートである。本発明の他の実施形態の符号化装置を示したブロック図である。本発明の他の実施形態の復号化装置を示したブロック図である。

符号の説明

１０１入力メモリ
１０２フィルタバンク
１０３アタック検出部
１０４、１０４ａ主帯域選出部
１０５分析部
１０６符号部
１０７、１０７ａ擬似帯域情報生成部
１０８ストリーム多重化部
１０９出力メモリ
１１０周波数変換部
１１１マスキング分析部
１１２、１１２ａ量子化部
１１３符号化部
２０１入力メモリ
２０２ストリーム分離部
２０３主帯域情報復号化部
２０４拡張帯域情報復号化部
２０５周波数逆変換処理部
２０６出力メモリ

Claims

オーディオ信号を複数の周波数帯域に分割する分割手段と、
前記周波数帯域ごとにエネルギーを算出し、前記複数の周波数帯域のうちエネルギーが最大の周波数帯域を、主帯域として選出する選出手段と、
前記オーディオ信号のマスキング特性を検出する分析手段と、
少なくとも前記主帯域に含まれる信号を、前記マスキング特性に基づいて符号化して、主符号情報を生成する符号手段と、
前記主帯域に含まれる信号と、前記複数の周波数帯域のうち前記主符号情報の元となった帯域以外の副帯域に含まれる信号と、の相関関係を示す擬似帯域情報を生成する生成手段と、
前記主符号情報と前記擬似帯域情報を多重化して符号化信号を出力する出力手段と、を含む符号化装置。
請求項１に記載の符号化装置において、
前記生成手段は、前記擬似帯域情報として、前記主帯域のエネルギーに対する前記副帯域のエネルギーの減衰率を生成する、符号化装置。
請求項１または２に記載の符号化装置において、
前記選出手段は、前記周波数帯域ごとにエネルギー平均を算出し、前記複数の周波数帯域のうちエネルギー平均が最大の周波数帯域を前記主帯域として選出する、符号化装置。
請求項１から３のいずれか１項に記載の符号化装置において、
前記オーディオ信号は、時間的に連続する複数のフレームからなり、
前記周波数帯域ごとに、直前のフレームよりエネルギーが増加しているフレームを、アタックとして検出する検出手段をさらに含み、
前記符号手段は、前記アタックが検出された周波数帯域に含まれる信号と、前記主帯域に含まれる信号とを、前記マスキング特性に基づいて符号化して、前記主符号情報を生成する、符号化装置。
請求項４に記載の符号化装置において、
前記検出手段は、前記周波数帯域ごとに、直前のフレームからのエネルギー増加率が予め定められた閾値より大きくなくなるフレームを前記アタックとして検出する、符号化装置。
請求項１から５のいずれか１項に記載の符号化装置が出力した、主符号情報と擬似帯域情報とを含む符号化信号を復号化する復号化装置であって、
前記符号化信号を、前記主符号情報と前記擬似帯域情報に分離する分離手段と、
前記主符号情報を復号して、前記主符号情報の元となった帯域の信号を生成する第１復号手段と、
前記主符号情報の元となった帯域内の主帯域の信号と前記擬似帯域情報とに基づいて、前記副帯域の信号を生成する第２復号手段と、
前記主符号情報の元となった帯域の信号と前記副帯域の信号を合成してオーディオ信号を出力する合成手段と、を含む復号化装置。
請求項６に記載の復号化装置において、
前記第２復号手段は、前記主帯域の信号を前記擬似帯域情報に基づいて変更して前記副帯域の信号を生成する、復号化装置。
符号化装置での符号化方法であって、
オーディオ信号を複数の周波数帯域に分割する分割ステップと、
前記周波数帯域ごとにエネルギーを算出し、前記複数の周波数帯域のうちエネルギーが最大の周波数帯域を、主帯域として選出する選出ステップと、
前記オーディオ信号のマスキング特性を検出する分析ステップと、
少なくとも前記主帯域に含まれる信号を、前記マスキング特性に基づいて符号化して、主符号情報を生成する符号ステップと、
前記主帯域に含まれる信号と、前記複数の周波数帯域のうち前記主符号情報の元となった帯域以外の副帯域に含まれる信号と、の相関関係を示す擬似帯域情報を生成する生成ステップと、
前記主符号情報と前記擬似帯域情報を多重化して符号化信号を出力する出力ステップと、を含む符号化方法。
請求項８に記載の符号化方法において、
前記生成ステップでは、前記擬似帯域情報として、前記主帯域のエネルギーに対する前記副帯域のエネルギーの減衰率を生成する、符号化方法。
請求項８または９に記載の符号化方法において、
前記選出ステップでは、前記周波数帯域ごとにエネルギー平均を算出し、前記複数の周波数帯域のうちエネルギー平均が最大の周波数帯域を前記主帯域として選出する、符号化方法。
請求項８から１０のいずれか１項に記載の符号化方法において、
前記オーディオ信号は、時間的に連続する複数のフレームからなり、
前記周波数帯域ごとに、直前のフレームよりエネルギーが増加しているフレームを、アタックとして検出する検出ステップをさらに含み、
前記符号ステップでは、前記アタックが検出された周波数帯域に含まれる信号と、前記主帯域に含まれる信号とを、前記マスキング特性に基づいて符号化して、前記主符号情報を生成する、符号化方法。
請求項１１に記載の符号化方法において、
前記検出ステップでは、前記周波数帯域ごとに、直前のフレームからのエネルギー増加率が予め定められた閾値より大きくなくなるフレームを前記アタックとして検出する、符号化方法。
請求項１から５のいずれか１項に記載の符号化装置が出力した、主符号情報と擬似帯域情報とを含む符号化信号を復号化する復号化装置での復号化方法であって、
前記符号化信号を、前記主符号情報と前記擬似帯域情報に分離する分離ステップと、
前記主符号情報を復号して、前記主符号情報の元となった帯域の信号を生成する第１復号ステップと、
前記主符号情報の元となった帯域内の主帯域の信号と前記擬似帯域情報とに基づいて、前記副帯域の信号を生成する第２復号ステップと、
前記主符号情報の元となった帯域の信号と前記副帯域の信号を合成してオーディオ信号を出力する合成ステップと、を含む復号化方法。
請求項１３に記載の復号化方法において、
前記第２復号ステップでは、前記主帯域の信号を前記擬似帯域情報に基づいて変更して前記副帯域の信号を生成する、復号化方法。