JP5053849B2

JP5053849B2 - マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法

Info

Publication number: JP5053849B2
Application number: JP2007534273A
Authority: JP
Inventors: 良明高木; セン・チョンコク; 武志則松; 修二宮阪; 明久川村; 耕司郎小野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-09-01
Filing date: 2006-07-07
Publication date: 2012-10-24
Anticipated expiration: 2026-07-07
Also published as: EP1921605B1; CN101253555A; US20090262949A1; EP1921605A4; CN101253555B; EP1921605A1; KR101277041B1; WO2007029412A1; JPWO2007029412A1; KR20080039445A; US8184817B2

Description

本発明は、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置に関する。

従来より、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置が提供されている。

図１は、マルチチャンネル音響信号処理装置の構成を示すブロック図である。

マルチチャンネル音響信号処理装置１０００は、オーディオ信号の組に対する空間音響符号化を行って音響符号化信号を出力するマルチチャンネル音響符号化部１１００と、その音響符号化信号を復号化するマルチチャンネル音響復号化部１２００とを備えている。

マルチチャンネル音響符号化部１１００は、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位でオーディオ信号（例えば、２チャンネルのオーディオ信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１１０と、バイノーラルキュー算出部１１２０と、オーディオエンコーダ部１１５０と、多重化部１１９０とを備えている。

ダウンミックス部１１１０は、２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。

バイノーラルキュー算出部１１２０は、スペクトルバンドごとに、オーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍをオーディオ信号Ｌ，Ｒに戻すためのバイノーラルキュー情報を生成する。

バイノーラルキュー情報は、チャンネル間レベル差（inter-channel level/intensity difference）ＩＩＤ、チャンネル間相関（inter-channel coherence/correlation）ＩＣＣ、チャンネル間位相差（inter-channel phase/delay difference）ＩＰＤ、およびチャンネル予測係数（Channel Prediction Coefficients）ＣＰＣを示す。

一般に、チャンネル間レベル差ＩＩＤは、音のバランスや定位を制御するための情報であって、チャンネル間相関ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。

スペクトル表現されたオーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、バイノーラルキュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュー情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。

オーディオエンコーダ部１１５０は、例えば、ＭＰ３（MPEG Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding）などによって、ダウンミックス信号Ｍを圧縮符号化する。

多重化部１１９０は、ダウンミックス信号Ｍと、量子化されたバイノーラルキュー情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符号化信号として出力する。

マルチチャンネル音響復号化部１２００は、逆多重化部１２１０と、オーディオデコーダ部１２２０と、分析フィルタ部１２３０と、マルチチャンネル合成部１２４０と、合成フィルタ部１２９０とを備えている。

逆多重化部１２１０は、上述のビットストリームを取得し、そのビットストリームから量子化されたバイノーラルキュー情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部１２１０は、量子化されたバイノーラルキュー情報を逆量子化して出力する。

オーディオデコーダ部１２２０は、符号化されたダウンミックス信号Ｍを復号化して分析フィルタ部１２３０に出力する。

分析フィルタ部１２３０は、ダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換して出力する。

マルチチャンネル合成部１２４０は、分析フィルタ部１２３０から出力されたダウンミックス信号Ｍと、逆多重化部１２１０から出力されたバイノーラルキュー情報とを取得する。そして、マルチチャンネル合成部１２４０は、そのバイノーラルキュー情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを時間／周波数ハイブリッド表現で復元する。

合成フィルタ部１２９０は、復元されたオーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号Ｌ，Ｒを出力する。

なお、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げてマルチチャンネル音響信号処理装置１０００を説明したが、マルチチャンネル音響信号処理装置１０００は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。

図２は、マルチチャンネル合成部１２４０の機能構成を示す機能ブロック図である。

マルチチャンネル合成部１２４０は、例えば、ダウンミックス信号Ｍを６つのチャンネルのオーディオ信号に分離する場合、第１分離部１２４１と、第２分離部１２４２と、第３分離部１２４３と、第４分離部１２４４と、第５分離部１２４５とを備える。なお、ダウンミックス信号Ｍは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号Ｃと、視聴者の左前方に配置されるスピーカに対する左前オーディオ信号Ｌ_fと、視聴者の右前方に配置されるスピーカに対する右前オーディオ信号Ｒ_fと、視聴者の左横方に配置されるスピーカに対する左横オーディオ信号Ｌ_sと、視聴者の右横方に配置されるスピーカに対する右横オーディオ信号Ｒ_sと、低音出力用サブウーファースピーカに対する低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。

第１分離部１２４１は、ダウンミックス信号Ｍから第１ダウンミックス信号Ｍ₁と第４ダウンミックス信号Ｍ₄とを分離して出力する。第１ダウンミックス信号Ｍ₁は、正面オーディオ信号Ｃと左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。第４ダウンミックス信号Ｍ₄は、左横オーディオ信号Ｌ_sと右横オーディオ信号Ｒ_sとがダウンミックスされて構成されている。

第２分離部１２４２は、第１ダウンミックス信号Ｍ₁から第２ダウンミックス信号Ｍ₂と第３ダウンミックス信号Ｍ₃とを分離して出力する。第２ダウンミックス信号Ｍ₂は、左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fとがダウンミックスされて構成されている。第３ダウンミックス信号Ｍ₃は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。

第３分離部１２４３は、第２ダウンミックス信号Ｍ₂から左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fとを分離して出力する。

第４分離部１２４４は、第３ダウンミックス信号Ｍ₃から正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを分離して出力する。

第５分離部１２４５は、第４ダウンミックス信号Ｍ₄から左横オーディオ信号Ｌ_sと右横オーディオ信号Ｒ_sとを分離して出力する。

このように、マルチチャンネル合成部１２４０は、マルチステージの方法によって、各分離部で１つの信号を２つの信号に分離し、単一のオーディオ信号が分離されるまで再帰的に信号の分離を繰り返す。

図３は、バイノーラルキュー算出部１１２０の構成を示すブロック図である。

バイノーラルキュー算出部１１２０は、第１レベル差算出部１１２１、第１位相差算出部１１２２および第１相関算出部１１２３と、第２レベル差算出部１１２４、第２位相差算出部１１２５および第２相関算出部１１２６と、第３レベル差算出部１１２７、第３位相差算出部１１２８および第３相関算出部１１２９と、第４レベル差算出部１１３０、第４位相差算出部１１３１および第４相関算出部１１３２と、第５レベル差算出部１１３３、第５位相差算出部１１３４および第５相関算出部１１３５と、加算器１１３６，１１３７，１１３８，１１３９とを備えている。

第１レベル差算出部１１２１は、左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fとの間のレベル差を算出して、その算出結果であるチャンネル間レベル差ＩＩＤを示す信号を出力する。第１位相差算出部１１２２は、左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fとの間の位相差を算出して、その算出結果であるチャンネル間位相差ＩＰＤを示す信号を出力する。第１相関算出部１１２３は、左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fとの間の相関を算出して、その算出結果であるチャンネル間相関ＩＣＣを示す信号を出力する。加算器１１３６は、左前オーディオ信号Ｌ_fと右前オーディオ信号Ｒ_fとを加算して所定の係数を乗算することで、第２ダウンミックス信号Ｍ₂を生成して出力する。

第２レベル差算出部１１２４、第２位相差算出部１１２５および第２相関算出部１１２６は、上述と同様に、左横オーディオ信号Ｌ_sと右横オーディオ信号Ｒ_sとの間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３７は、左横オーディオ信号Ｌ_sと右横オーディオ信号Ｒ_sとを加算して所定の係数を乗算することで、第３ダウンミックス信号Ｍ₃を生成して出力する。

第３レベル差算出部１１２７、第３位相差算出部１１２８および第３相関算出部１１２９は、上述と同様に、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとの間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３８は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを加算して所定の係数を乗算することで、第４ダウンミックス信号Ｍ₄を生成して出力する。

第４レベル差算出部１１３０、第４位相差算出部１１３１および第４相関算出部１１３２は、上述と同様に、第２ダウンミックス信号Ｍ₂と第３ダウンミックス信号Ｍ₃との間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３９は、第２ダウンミックス信号Ｍ₂と第３ダウンミックス信号Ｍ₃とを加算して所定の係数を乗算することで、第１ダウンミックス信号Ｍ₁を生成して出力する。

第５レベル差算出部１１３３、第５位相差算出部１１３４および第５相関算出部１１３５は、上述と同様に、第１ダウンミックス信号Ｍ₁と第４ダウンミックス信号Ｍ₄との間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。

図４は、マルチチャンネル合成部１２４０の構成を示す構成図である。

マルチチャンネル合成部１２４０は、プレマトリックス処理部１２５１と、ポストマトリックス処理部１２５２と、第１演算部１２５３および第２演算部１２５５と、無相関信号生成部１２５４とを備えている。

プレマトリックス処理部１２５１は、信号強度レベルの各チャンネルへの配分を示す行列Ｒ₁を、バイノーラルキュー情報を用いて生成する。

例えば、プレマトリックス処理部１２５１は、ダウンミックス信号Ｍの信号強度レベルと、第１ダウンミックス信号Ｍ₁、第２ダウンミックス信号Ｍ₂、第３ダウンミックス信号Ｍ₃および第４ダウンミックス信号Ｍ₄の信号強度レベルとの比率を示すチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ₁［０］〜Ｒ₁［４］によって構成される行列Ｒ₁を生成する。

第１演算部１２５３は、分析フィルタ部１２３０から出力された時間／周波数ハイブリッド表現のダウンミックス信号Ｍを入力信号ｘとして取得し、例えば（数１）および（数２）に示すように、その入力信号ｘと行列Ｒ₁との積を算出する。そして、第１演算部１２５３は、その行列演算結果を示す中間信号ｖを出力する。つまり、第１演算部１２５３は、分析フィルタ部１２３０から出力された時間／周波数ハイブリッド表現のダウンミックス信号Ｍから、４つのダウンミックス信号Ｍ₁〜Ｍ₄を分離する。

無相関信号生成部１２５４は、中間信号ｖに対してオールパスフィルタ処理を施すことによって、（数３）に示すように、無相関信号ｗを出力する。なお、無相関信号ｗの構成要素Ｍ_revおよびＭ_i,revは、ダウンミックス信号Ｍ，Ｍ_iに対して無相関処理が施された信号である。また、信号Ｍ_revおよび信号Ｍ_i,revは、ダウンミックス信号Ｍ，Ｍ_iと同じエネルギーを有し、音が広がっているかのような印象を与える残響を含む。

図５は、無相関信号生成部１２５４の構成を示すブロック図である。

無相関信号生成部１２５４は、初期遅延部Ｄ１００と、オールパスフィルタＤ２００とを備えている。

初期遅延部Ｄ１００は、中間信号ｖを取得すると、その中間信号ｖを予め定められた時間だけ遅延させて、つまり位相を遅らせて、オールパスフィルタＤ２００に出力する。

オールパスフィルタＤ２００は、周波数―振幅特性には変化がなく、周波数−位相特性のみ変化させるオールパス特性を有し、ＩＩＲ（Infinite Impulse Response）フィルタとして構成されている。

このようなオールパスフィルタＤ２００は、乗算器Ｄ２０１〜Ｄ２０７と、遅延器Ｄ２２１〜Ｄ２２３と、加減算器Ｄ２１１〜Ｄ２２３とを備えている。

図６は、無相関信号生成部１２５４のインパルス応答を示す図である。

無相関信号生成部１２５４は、図６に示すように、時刻０にインパルス信号を取得しても、時刻ｔ１０まで信号を出力せずに遅延させ、時刻ｔ１０から次第に振幅が小さくなるような信号を残響として時刻ｔ１１まで出力する。つまり、このように無相関信号生成部１２５４から出力される信号Ｍ_rev，Ｍ_i,revは、ダウンミックス信号Ｍ，Ｍ_iの音に残響が付加された音を示す。

ポストマトリックス処理部１２５２は、残響の各チャンネルへの配分を示す行列Ｒ₂を、バイノーラルキュー情報を用いて生成する。

例えば、ポストマトリックス処理部１２５２は、音像の幅や拡散性を示すチャンネル間相関ＩＣＣからミキシング係数Ｈ_ijを導出し、そのミキシング係数Ｈ_ijから構成される行列Ｒ₂を生成する。

第２演算部１２５５は、無相関信号ｗと行列Ｒ₂との積を算出し、その行列演算結果を示す出力信号ｙを出力する。つまり、第２演算部１２５５は、無相関信号ｗから、６つのオーディオ信号Ｌ_f，Ｒ_f，Ｌ_s，Ｒ_s，Ｃ，ＬＦＥを分離する。

例えば、図２に示すように、左前オーディオ信号Ｌ_fは、第２ダウンミックス信号Ｍ₂から分離されるため、その左前オーディオ信号Ｌ_fの分離には、第２ダウンミックス信号Ｍ₂と、それに対応する無相関信号ｗの構成要素Ｍ_2,revとが用いられる。同様に、第２ダウンミックス信号Ｍ₂は、第１ダウンミックス信号Ｍ₁から分離されるため、その第２ダウンミックス信号Ｍ₂の算出には、第１ダウンミックス信号Ｍ₁と、それに対応する無相関信号ｗの構成要素Ｍ_1,revとが用いられる。

したがって、左前オーディオ信号Ｌ_fは、下記の（数４）により示される。

ここで、（数４）中のＨ_ij,Aは、第３分離部１２４３におけるミキシング係数であり、Ｈ_ij,Dは、第２分離部１２４２におけるミキシング係数であり、Ｈ_ij,Eは、第１分離部１２４１におけるミキシング係数である。（数４）に示す３つの数式は、以下の（数５）に示す一つのベクトル乗算式にまとめることができる。

左前オーディオ信号Ｌ_f以外の他のオーディオ信号Ｒ_f，Ｃ，ＬＦＥ，Ｌ_s，Ｒ_sも、上述のような行列と無相関信号ｗの行列との演算によって算出される。つまり、出力信号ｙは、下記の（数６）によって示される。

図７は、ダウンミックス信号を説明するための説明図である。

ダウンミックス信号は、通常、図７に示されるように時間／周波数ハイブリッド表現で表現される。つまり、ダウンミックス信号は、時間軸方向に沿って時間単位であるパラメータセットｐｓに分けられ、さらに、空間軸方向に沿ってサブバンド単位であるパラメータバンドｐｂに分けられて表現される。したがって、バイノーラルキュー情報は、バンド（ｐｓ，ｐｂ）ごとに算出される。また、プレマトリックス処理部１２５１およびポストマトリックス処理部１２５２はそれぞれ、バンド（ｐｓ，ｐｂ）ごとに行列Ｒ₁（ｐｓ，ｐｂ）と行列Ｒ₂（ｐｓ，ｐｂ）とを算出する。

図８は、プレマトリックス処理部１２５１およびポストマトリックス処理部１２５２の詳細な構成を示すブロック図である。

プレマトリックス処理部１２５１は、行列式生成部１２５１ａと内挿部１２５１ｂとを備えている。

行列式生成部１２５１ａは、バンド（ｐｓ，ｐｂ）ごとのバイノーラルキュー情報から、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₁（ｐｓ，ｐｂ）を生成する。

内挿部１２５１ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₁（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１２５１ｂは、（ｎ，ｓｂ）ごとの行列Ｒ₁（ｎ，ｓｂ）を生成する。このように内挿部１２５１ｂは、複数のバンドの境界に渡る行列Ｒ₁の遷移が滑らかであることを保証する。

ポストマトリックス処理部１２５２は、行列式生成部１２５２ａと内挿部１２５２ｂとを備えている。

行列式生成部１２５２ａは、バンド（ｐｓ，ｐｂ）ごとのバイノーラルキュー情報から、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₂（ｐｓ，ｐｂ）を生成する。

内挿部１２５２ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₂（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１２５２ｂは、（ｎ，ｓｂ）ごとの行列Ｒ₂（ｎ，ｓｂ）を生成する。このように内挿部１２５２ｂは、複数のバンドの境界に渡る行列Ｒ₂の遷移が滑らかであることを保証する。
Ｊ．Ｈｅｒｒｅ、ｅｔａｌ、 "ＴｈｅＲｅｆｅｒｅｎｃｅＭｏｄｅｌＡｒｃｈｉｔｅｃｔｕｒｅｆｏｒＭＰＥＧＳｐａｔｉａｌＡｕｄｉｏＣｏｄｉｎｇ"、１１８ｔｈＡＥＳＣｏｎｖｅｎｔｉｏｎ、Ｂａｒｃｅｌｏｎａ

しかしながら、従来のマルチチャンネル音響信号処理装置では演算負荷が多大であるという問題がある。

つまり、従来のマルチチャンネル合成部１２４０のプレマトリックス処理部１２５１、ポストマトリックス処理部１２５２、第１演算部１２５３、および第２演算部１２５５における演算負荷は多大なものとなる。

そこで、本発明は、かかる問題に鑑みてなされたものであって、演算負荷を軽減したマルチチャンネル音響信号処理装置を提供することを目的とする。

上記目的を達成するために、ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、前記入力信号に対して、遅延とオールパスフィルタ処理による残響処理を行うことにより、前記入力信号に残響成分が含まれる無相関信号を生成する無相関信号生成手段と、信号強度レベルの配分を示すレベル配分行列と、残響成分の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段と、前記位相調整手段によって位相が調整された前記入力信号および前記無相関信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、ｍチャンネルのオーディオ信号を生成する演算手段とを備えることを特徴とする。
また、上記目的を達成するために、本発明に係るマルチチャンネル音響信号処理装置は、ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成手段と、前記無相関信号生成手段により生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算手段とを備えることを特徴とする。

これにより、無相関信号が生成された後に、信号強度レベルの配分および残響の配分を示す行列を用いた演算が行われるため、従来のように、信号強度レベルの配分を示す行列の演算と残響の配分を示す行列の演算とを、無相関信号の生成の前後で分けて行うことなく、これらの行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる。つまり、信号強度レベルの配分を行う処理が無相関信号の生成の後に行われて分離されたオーディオ信号と、信号強度レベルの配分を行う処理が無相関信号の生成の前に行われて分離されたオーディオ信号とは類似している。したがって、本発明では、近似計算を適用することにより、行列演算をまとめることができるのである。その結果、演算に用いられるメモリの容量を減らすことができ、装置の小型化を図ることができる。

また、前記行列演算手段は、前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算手段とを備えることを特徴としてもよい。

これにより、統合行列を用いた行列演算を１回だけ行えば、入力信号からｍチャンネルのオーディオ信号が分離されるため、演算負荷を確実に軽減することができる。

また、前記マルチチャンネル音響信号処理装置は、さらに、前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段を備えることを特徴としてもよい。例えば、前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅延させる。

これにより、無相関信号の生成に遅延が生じても、入力信号の位相が調整されるため、無相関信号および入力信号に対して、適切な統合行列を用いた演算を行うことができ、ｍチャンネルのオーディオ信号を適切に出力することができる。

また、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させることを特徴としてもよい。または、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させることを特徴としてもよい。

これにより、統合行列または入力信号の遅延量が、無相関信号の遅延時間と略等しくなるため、無相関信号および入力信号に対して、より適切な統合行列を用いた演算を行うことができ、ｍチャンネルのオーディオ信号をより適切に出力することができる。

また、前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整することを特徴としてもよい。

これにより、プリエコーが検知されるのを確実に防ぐことができる。

なお、本発明は、このようなマルチチャンネル音響信号処理装置として実現することができるだけでなく、集積回路や、方法、プログラム、そのプログラムを格納する記憶媒体としても実現することができる。

本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができるという作用効果を奏する。つまり、本発明では、ビットストリームシンタクスの変形や、認識可能なほどの音質の低下を引き起こすことなく、マルチチャンネル音響デコーダの処理の複雑性を軽減することができる。

以下、本発明の実施の形態におけるマルチチャンネル音響信号処理装置について図面を参照しながら説明する。

図９は、本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成を示すブロック図である。

本実施の形態におけるマルチチャンネル音響信号処理装置１００は、演算負荷を軽減したものであって、オーディオ信号の組に対する空間音響符号化を行って音響符号化信号を出力するマルチチャンネル音響符号化部１００ａと、その音響符号化信号を復号化するマルチチャンネル音響復号化部１００ｂとを備えている。

マルチチャンネル音響符号化部１００ａは、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位で入力信号（例えば、入力信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１０と、バイノーラルキュー算出部１２０と、オーディオエンコーダ部１３０と、多重化部１４０とを備えている。

ダウンミックス部１１０は、２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。

バイノーラルキュー算出部１２０は、スペクトルバンドごとに、オーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍをオーディオ信号Ｌ，Ｒに戻すためのバイノーラルキュー情報を生成する。

オーディオエンコーダ部１３０は、例えば、ＭＰ３（MPEG Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding）などによって、ダウンミックス信号Ｍを圧縮符号化する。

多重化部１４０は、ダウンミックス信号Ｍと、量子化されたバイノーラルキュー情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符号化信号として出力する。

マルチチャンネル音響復号化部１００ｂは、逆多重化部１５０と、オーディオデコーダ部１６０と、分析フィルタ部１７０と、マルチチャンネル合成部１８０と、合成フィルタ部１９０とを備えている。

逆多重化部１５０は、上述のビットストリームを取得し、そのビットストリームから量子化されたバイノーラルキュー情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部１５０は、量子化されたバイノーラルキュー情報を逆量子化して出力する。

オーディオデコーダ部１６０は、符号化されたダウンミックス信号Ｍを復号化して分析フィルタ部１７０に出力する。

分析フィルタ部１７０は、ダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換して出力する。

マルチチャンネル合成部１８０は、分析フィルタ部１７０から出力されたダウンミックス信号Ｍと、逆多重化部１５０から出力されたバイノーラルキュー情報とを取得する。そして、マルチチャンネル合成部１８０は、そのバイノーラルキュー情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを時間／周波数ハイブリッド表現で復元する。

合成フィルタ部１９０は、復元されたオーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号Ｌ，Ｒを出力する。

なお、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げて本実施の形態のマルチチャンネル音響信号処理装置１００を説明したが、本実施の形態のマルチチャンネル音響信号処理装置１００は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。

ここで本実施の形態では、マルチチャンネル音響復号化部１００ｂのマルチチャンネル合成部１８０に特徴がある。

図１０は、本発明の実施の形態におけるマルチチャンネル合成部１８０の構成を示すブロック図である。

本実施の形態におけるマルチチャンネル合成部１８０は、演算負荷を軽減したものであって、無相関信号生成部１８１と、第１演算部１８２と、第２演算部１８３と、プレマトリックス処理部１８４と、ポストマトリックス処理部１８５とを備えている。

無相関信号生成部１８１は、上述の無相関信号生成部１２５４と同様に構成され、オールパスフィルタＤ２００などを備えている。このような無相関信号生成部１８１は、時間／周波数ハイブリッド表現のダウンミックス信号Ｍを入力信号ｘとして取得する。そして、無相関信号生成部１８１は、その入力信号ｘに対して残響処理を行なうことにより、その入力信号ｘの示す音に残響が含まれるような音を示す無相関信号ｗ’を生成して出力する。つまり、無相関信号生成部１８１は、入力信号ｘを示すベクトルをｘ＝（Ｍ，Ｍ，Ｍ，Ｍ，Ｍ）として、（数７）に示すように無相関信号ｗ’を生成する。なお、無相関信号ｗ’は、入力信号ｘに対して相互相関が低い信号である。

プレマトリックス処理部１８４は、行列式生成部１８４ａと内挿部１８４ｂとを備え、バイノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、信号強度レベルの各チャンネルへの配分を示す行列Ｒ₁を生成する。

行列式生成部１８４ａは、バイノーラルキュー情報のチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ₁［１］〜Ｒ₁［５］によって構成される上述の行列Ｒ₁をバンド（ｐｓ，ｐｂ）ごとに生成する。つまり、行列Ｒ₁は時間経過に伴って変化する。

内挿部１８４ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₁（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８４ｂは、（ｎ，ｓｂ）ごとの行列Ｒ₁（ｎ，ｓｂ）を生成する。このように内挿部１８４ｂは、複数のバンドの境界に渡る行列Ｒ₁の遷移が滑らかであることを保証する。

第１演算部１８２は、無相関信号ｗ’の行列と行列Ｒ₁との積を算出することにより、（数８）に示すように中間信号ｚを生成して出力する。

ポストマトリックス処理部１８５は、行列式生成部１８５ａと内挿部１８５ｂとを備え、バイノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、残響の各チャンネルへの配分を示す行列Ｒ₂を生成する。

行列式生成部１８５ａは、バイノーラルキュー情報のチャンネル間相関ＩＣＣからミキシング係数Ｈ_ijを導出し、そのミキシング係数Ｈ_ijから構成される上述の行列Ｒ₂をバンド（ｐｓ，ｐｂ）ごとに生成する。つまり、行列Ｒ₂は時間経過に伴って変化する。

内挿部１８５ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₂（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８５ｂは、（ｎ，ｓｂ）ごとの行列Ｒ₂（ｎ，ｓｂ）を生成する。このように内挿部１８５ｂは、複数のバンドの境界に渡る行列Ｒ₂の遷移が滑らかであることを保証する。

第２演算部１８３は、（数９）に示すように、中間信号ｚの行列と行列Ｒ₂との積を算出し、その演算結果を示す出力信号ｙを出力する。つまり、第２演算部１８３は、中間信号ｚから、６つのオーディオ信号Ｌ_f，Ｒ_f，Ｌ_s，Ｒ_s，Ｃ，ＬＦＥを分離する。

このように本実施の形態では、入力信号ｘに対して無相関信号ｗ’が生成されて、その無相関信号ｗ’に対して行列Ｒ₁を用いた行列演算が行われる。つまり、従来では、入力信号ｘに対して行列Ｒ₁を用いた行列演算が行われて、その演算結果である中間信号ｖに対して無相関信号ｗが生成されるが、本実施の形態では、その逆の順序で処理が行われる。

しかし、このように処理順序を逆にしても、（数８）に示すＲ₁ｄｅｃｏｒｒ（ｘ）が、（数３）に示すｄｅｃｏｒｒ（ｖ）つまりｄｅｃｏｒｒ（Ｒ₁ｘ）に略等しいことが経験上分かっている。即ち、本実施の形態における第２演算部１８３で行列Ｒ₂の行列演算の対象とされる中間信号ｚは、従来の第２演算部１２５５で行列Ｒ₂の行列演算の対象とされる無相関信号ｗと略等しい。

したがって、本実施の形態のように、処理順序を従来と逆にしても、マルチチャンネル合成部１８０は、従来と同様の出力信号ｙを出力することができる。

図１１は、本実施の形態におけるマルチチャンネル合成部１８０の動作を示すフローチャートである。

まず、マルチチャンネル合成部１８０は、入力信号ｘを取得して（ステップＳ１００）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１０２）。また、マルチチャンネル合成部１８０は、バイノーラルキュー情報に基づいて行列Ｒ₁および行列Ｒ₂を生成する（ステップＳ１０４）。

そして、マルチチャンネル合成部１８０は、ステップＳ１０４で生成された行列Ｒ₁と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ₁による行列演算を行うことにより、中間信号ｚを生成する（ステップＳ１０６）。

さらに、マルチチャンネル合成部１８０は、ステップＳ１０４で生成された行列Ｒ₂と、その中間信号ｚにより示される行列との積を算出することにより、つまり行列Ｒ₂による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１０６）。

このように本実施の形態では、無相関信号が生成された後に、信号強度レベルの配分および残響の配分を示す行列Ｒ₁および行列Ｒ₂を用いた演算が行われるため、従来のように、信号強度レベルの配分を示す行列Ｒ₁を用いた演算と残響の配分を示す行列Ｒ₂を用いた演算とを、無相関信号の生成の前後で分けて行うことなく、これらの行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる。

ここで、本実施の形態におけるマルチチャンネル合成部１８０では、上述のように処理順序が変更されているため、図１０に示すマルチチャンネル合成部１８０の構成をさらに簡略化することができる。

図１２は、簡略化されたマルチチャンネル合成部１８０の構成を示すブロック図である。

このマルチチャンネル合成部１８０は、第１演算部１８２および第２演算部１８３の代わりに第３演算部１８６を備えるとともに、プレマトリックス処理部１８４およびポストマトリックス処理部１８５の代わりにマトリックス処理部１８７を備える。

マトリックス処理部１８７は、プレマトリックス処理部１８４とポストマトリックス処理部１８５とを統合して構成されており、行列式生成部１８７ａと内挿部１８７ｂとを備えている。

行列式生成部１８７ａは、バイノーラルキュー情報のチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ₁［１］〜Ｒ₁［５］によって構成される上述の行列Ｒ₁をバンド（ｐｓ，ｐｂ）ごとに生成する。さらに、行列式生成部１８７ａは、バイノーラルキュー情報のチャンネル間相関ＩＣＣからミキシング係数Ｈ_ijを導出し、そのミキシング係数Ｈ_ijから構成される上述の行列Ｒ₂をバンド（ｐｓ，ｐｂ）ごとに生成する。

さらに、行列式生成部１８７ａは、上述のように生成された行列Ｒ₁と行列Ｒ₂との積を算出することで、その算出結果である行列Ｒ₃を統合行列としてバンド（ｐｓ，ｐｂ）ごとに生成する。

内挿部１８７ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ₃（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８７ｂは、（ｎ，ｓｂ）ごとの行列Ｒ₃（ｎ，ｓｂ）を生成する。このように内挿部１８７ｂは、複数のバンドの境界に渡る行列Ｒ₃の遷移が滑らかであることを保証する。

第３演算部１８６は、（数１０）に示すように、無相関信号ｗ’および入力信号ｘにより示される行列と、行列Ｒ₃との積を算出することにより、その算出結果を示す出力信号ｙを出力する。

このように本実施の形態では、内挿部１８７ｂにおける内挿回数（補間回数）は、従来の内挿部１２５１ｂおよび内挿部１２５２ｂにおける内挿回数（補間回数）と比較して略半分となり、第３演算部１８６における乗算回数（行列演算の回数）は、従来の第１演算部１２５３および第２演算部１２５５における乗算回数（行列演算の回数）と比較して略半分となる。つまり、本実施の形態では、行列Ｒ₃を用いた行列演算を１回だけ行えば、入力信号ｘから複数のチャンネルのオーディオ信号が分離される。一方、本実施の形態では、行列式生成部１８７ａの処理が若干増加する。ところが、行列式生成部１８７ａにおけるバイノーラルキュー情報のバンド分解能（ｐｓ，ｐｂ）は、内挿部１８７ｂや第３演算部１８６において扱われるバンド分解能（ｎ，ｓｂ）よりも粗い。したがって、行列式生成部１８７ａの演算負荷は、内挿部１８７ｂや第３演算部１８６に比べて小さく、全体の演算負荷に占める割合は小さい。よって、マルチチャンネル合成部１８０の全体およびマルチチャンネル音響信号処理装置１００の全体の演算負荷を大幅に削減することができる。

図１３は、簡略化されたマルチチャンネル合成部１８０の動作を示すフローチャートである。

まず、マルチチャンネル合成部１８０は、入力信号ｘを取得して（ステップＳ１２０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１２０）。また、マルチチャンネル合成部１８０は、バイノーラルキュー情報に基づいて、行列Ｒ₁および行列Ｒ₂の積を示す行列Ｒ₃を生成する（ステップＳ１２４）。

そして、マルチチャンネル合成部１８０は、ステップＳ１２４で生成された行列Ｒ₃と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ₃による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１２６）。

（変形例１）
ここで本実施の形態における第１の変形例について説明する。

上記実施の形態におけるマルチチャンネル合成部１８０では、無相関信号生成部１８１が無相関信号ｗ’を入力信号ｘに対して遅延させて出力するため、第３演算部１８６において、演算の対象となる入力信号ｘと無相関信号ｗ'と行列Ｒ₃を構成する行列Ｒ₁との間でずれが生じて同期が取れない。なお、無相関信号ｗ'の遅延は、その無相関信号ｗ’の生成のために必然的に発生する。一方、従来例では、第１演算部１２５３において、演算の対象となる入力信号ｘと行列Ｒ₁との間でずれは生じていない。

したがって、上記実施の形態におけるマルチチャンネル合成部１８０では、本来出力すべき理想的な出力信号ｙを出力することができない可能性がある。

図１４は、上記実施の形態におけるマルチチャンネル合成部１８０によって出力される信号を説明するための説明図である。

例えば、入力信号ｘは、図１４に示すように、時刻ｔ＝０から出力される。また、行列Ｒ₃を構成する行列Ｒ₁には、オーディオ信号Ｌに寄与する成分である行列Ｒ１_Lと、オーディオ信号Ｒに寄与する成分である行列Ｒ１_Rとが含まれている。例えば、行列Ｒ１_Lおよび行列Ｒ１_Rは、バイノーラルキュー情報に基づいて、図１４に示すように、時刻ｔ＝０以前ではオーディオ信号Ｒにレベルが大きく配分され、時刻ｔ＝０〜ｔ１の時間ではオーディオ信号Ｌにレベルが大きく配分され、時刻ｔ＝ｔ１以降ではオーディオ信号Ｒにレベルが大きく配分されるように設定されている。

ここで、従来のマルチチャンネル合成部１２４０では、入力信号ｘと上述の行列Ｒ₁との間で同期が取れているため、入力信号ｘから行列Ｒ１_Lと行列Ｒ１_Rに応じて中間信号ｖが生成されると、オーディオ信号Ｌにレベルが大きく偏るような中間信号ｖが生成される。そして、この中間信号ｖに対して無相関信号ｗが生成される。その結果、入力信号ｘから、無相関信号生成部１２５４による無相関信号ｗの遅延時間ｔｄだけ遅れて、残響を含む出力信号ｙ_Lがオーディオ信号Ｌとして出力され、オーディオ信号Ｒである出力信号ｙ_Rは出力されない。このような出力信号ｙ_L，ｙ_Rが理想的な出力の一例とされる。

一方、上記実施の形態におけるマルチチャンネル合成部１８０では、まず、入力信号ｘから遅延時間ｔｄだけ遅れて、残響を含む無相関信号ｗ’が出力される。ここで、第３演算部１８６によって扱われる行列Ｒ₃には、上述の行列Ｒ₁（行列Ｒ１_Lおよび行列Ｒ１_R）が含まれている。したがって、入力信号ｘと無相関信号ｗ’に行列Ｒ₃を用いた行列演算が行われると、入力信号ｘ、無相関信号ｗ’および行列Ｒ₁との間で同期が取れていないため、オーディオ信号Ｌである出力信号ｙ_Lは、時刻ｔ＝ｔｄ〜ｔ１の間だけ出力され、オーディオ信号Ｒである出力信号ｙ_Rは、時刻ｔ＝ｔ１以降に出力される。

このように、マルチチャンネル合成部１８０では、出力信号ｙ_Lのみを出力すべきところ、出力信号ｙ_Rも出力してしまう。即ち、チャンネルセパレーションの劣化が発生する。

そこで、本変形例にかかるマルチチャンネル合成部は、無相関信号ｗ’および行列Ｒ₃に対する入力信号ｘの位相を調整する位相調整手段を備え、この位相調整手段は行列式生成部１８７ｄから出力される行列Ｒ₃を遅延させる。

図１５は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である。

本変形例に係るマルチチャンネル合成部１８０ａは、無相関信号生成部１８１ａと、第３演算部１８６と、マトリックス処理部１８７ｃとを備えている。

無相関信号生成部１８１ａは、上述の無相関信号生成部１８１と同様の機能を有するとともに、無相関信号ｗ’のパラメータバンドｐｂにおける遅延量ＴＤ（ｐｂ）をマトリックス処理部１８７ｃに通知する。例えば、遅延量ＴＤ（ｐｂ）は、無相関信号ｗ’の入力信号ｘに対する遅延時間ｔｄと等しい。

マトリックス処理部１８７ｃは、行列式生成部１８７ｄと内挿部１８７ｂとを備えている。行列式生成部１８７ｄは、上述の行列式生成部１８７ａと同様の機能を有するとともに上述の位相調整手段を備え、無相関信号生成部１８１ａから通知された遅延量ＴＤ（ｐｂ）に応じた行列Ｒ₃を生成する。つまり、行列式生成部１８７ｄは、（数１１）に示すような行列Ｒ₃を生成する。

図１６は、本変形例に係るマルチチャンネル合成部１８０ａによって出力される信号を説明するための説明図である。

行列Ｒ₃に含まれる行列Ｒ₁（行列Ｒ１_Lおよび行列Ｒ１_R）は、入力信号ｘのパラメータバンドｐｂに対して遅延量ＴＤ（ｐｂ）だけ遅れて行列式生成部１８７ｄから生成される。

その結果、無相関信号ｗ’が入力信号ｘから遅延時間ｔｄだけ遅れて出力されても、行列Ｒ₃に含まれる行列Ｒ₁（行列Ｒ１_Lおよび行列Ｒ１_R）も遅延量ＴＤ（ｐｂ）だけ遅れている。したがって、このような行列Ｒ₁と入力信号ｘと無相関信号ｗ’との間のずれを解消して同期を取ることができる。その結果、マルチチャンネル合成部１８０ａの第３演算部１８６は、出力信号ｙ_Lのみを時刻ｔ＝ｔｄから出力して、出力信号ｙ_Rを出力しない。つまり、第３演算部１８６は、理想的な出力信号ｙ_L，ｙ_Rを出力することができる。したがって、本変形例では、チャンネルセパレーションの劣化を抑えることができる。

なお、本変形例では、遅延時間ｔｄ＝遅延量ＴＤ（ｐｂ）としたが、これらを異ならせてもよい。また、行列式生成部１８７ｄは、所定処理単位（例えば、バンド（ｐｓ，ｐｂ））ごとに行列Ｒ₃を生成しているので、遅延量ＴＤ（ｐｂ）を、遅延時間ｔｄに最も近い、その所定処理単位の整数倍の処理に要する時間にしてもよい。

図１７は、本変形例に係るマルチチャンネル合成部１８０ａの動作を示すフローチャートである。

まず、マルチチャンネル合成部１８０ａは、入力信号ｘを取得して（ステップＳ１４０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１４２）。また、マルチチャンネル合成部１８０ａは、バイノーラルキュー情報に基づいて、行列Ｒ₁および行列Ｒ₂の積を示す行列Ｒ₃を、遅延量ＴＤ（ｐｂ）だけ遅延させて生成する（ステップＳ１４４）。言い換えれば、マルチチャンネル合成部１８０ａは、行列Ｒ₃に含まれる行列Ｒ₁を位相調整手段によって遅延量ＴＤ（ｐｂ）だけ遅延させる。

そして、マルチチャンネル合成部１８０ａは、ステップＳ１４４で生成された行列Ｒ₃と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ₃による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１４６）。

このように、本変形例では、行列Ｒ₃に含まれる行列Ｒ₁を遅延させることで、入力信号ｘの位相を調整するため、無相関信号ｗ’および入力信号ｘに対して、適切な行列Ｒ₃を用いた演算を行うことができ、出力信号ｙを適切に出力することができる。

（変形例２）
ここで本実施の形態における第２の変形例について説明する。

本変形例に係るマルチチャンネル合成部は、上述の変形例１に係るマルチチャンネル合成部と同様に、無相関信号ｗ’および行列Ｒ₃に対する入力信号ｘの位相を調整する位相調整手段を備える。そして、本変形例に係る位相調整手段は、入力信号ｘの第３演算部１８６への入力を遅延させる。これにより本変形例においても、上述と同様に、チャンネルセパレーションの劣化を抑えることができる。

図１８は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である。

本変形例に係るマルチチャンネル合成部１８０ｂは、入力信号ｘの第３演算部１８６への入力を遅延させる位相調整手段たる信号遅延部１８９を備えている。信号遅延部１８９は、例えば無相関信号生成部１８１の遅延時間ｔｄだけ入力信号ｘを遅延させる。

これにより、本変形例では、無相関信号ｗ’が入力信号ｘから遅延時間ｔｄだけ遅れて出力されても、入力信号ｘの第３遅延部１８６への入力も遅延時間ｔｄだけ遅延されるため、行列Ｒ₃を構成する行列Ｒ₁と入力信号ｘと無相関信号ｗ’との間のずれを解消して同期を取ることができる。その結果、マルチチャンネル合成部１８０ａの第３演算部１８６は、図１６に示すように、出力信号ｙ_Lのみを時刻ｔ＝ｔｄから出力し、出力信号ｙ_Rを出力しない。つまり、第３演算部１８６は、理想的な出力信号ｙ_L，ｙ_Rを出力することができる。したがって、チャンネルセパレーションの劣化を抑えることができる。

なお、本変形例でも、遅延時間ｔｄ＝遅延量ＴＤ（ｐｂ）としたが、これらを異ならせてもよい。また、信号遅延部１８９が所定処理単位（例えば、バンド（ｐｓ，ｐｂ））ごとに遅延処理をしているような場合には、遅延量ＴＤ（ｐｂ）を、遅延時間ｔｄに最も近い、その所定処理単位の整数倍の処理に要する時間にしてもよい。

図１９は、本変形例に係るマルチチャンネル合成部１８０ｂの動作を示すフローチャートである。

まず、マルチチャンネル合成部１８０ｂは、入力信号ｘを取得して（ステップＳ１６０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１６２）。さらに、マルチチャンネル合成部１８０ｂは入力信号ｘを遅延させる（ステップＳ１６４）。

また、マルチチャンネル合成部１８０ｂは、バイノーラルキュー情報に基づいて、行列Ｒ₁および行列Ｒ₂の積を示す行列Ｒ₃を生成する（ステップＳ１６６）。

そして、マルチチャンネル合成部１８０ｂは、ステップＳ１６６で生成された行列Ｒ₃と、ステップＳ１６４で遅延された入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ₃による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１６８）。

このように、本変形例では、入力信号ｘを遅延させることで、入力信号ｘの位相を調整するため、無相関信号ｗ’および入力信号ｘに対して、適切な行列Ｒ₃を用いた演算を行うことができ、出力信号ｙを適切に出力することができる。

以上、本発明に係るマルチチャンネル音響信号処理装置について、実施の形態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。

例えば、変形例１および変形例２における位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に限って、位相を調整してもよい。

つまり、上述の変形例１では、行列式生成部１８７ｄに含まれる位相調整手段が行列Ｒ₃を遅延させ、上述の変形例２では、位相調整手段たる信号遅延部１８９が入力信号ｘを遅延させた。しかし、それらの位相遅延手段は、プリエコーが上記検知限度以上に発生する場合に限って遅延させてもよい。このプリエコーは、衝撃音の直前に発生するノイズであって、無相関信号ｗ’の遅延時間ｔｄに応じて発生しやすくなる。これにより、プリエコーが検知されるのを確実に防ぐことができる。

また、マルチチャンネル音響信号処理装置１００や、マルチチャンネル音響符号化部１００ａ、マルチチャンネル音響復号化部１００ｂ、マルチチャンネル合成部１８０，１８０ａ，１８０ｂ、さらにこれらに含まれる各構成要素を、ＬＳＩ（Large Scale Integration）などの集積回路によって構成してもよい。さらに、本発明は、これらの装置および各構成要素における動作をコンピュータに実行させるプログラムとしても実現することができる。

本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができるという効果を奏し、例えば、ホームシアターシステム、車載音響システムおよび電子ゲームシステムなどに適用可能であり、特に放送等の低ビットレートの応用において有用である。

図１は従来のマルチチャンネル音響信号処理装置の構成を示すブロック図である。図２は同上のマルチチャンネル合成部の機能構成を示す機能ブロック図である。図３は同上のバイノーラルキュー算出部の構成を示すブロック図である。図４は同上のマルチチャンネル合成部の構成を示す構成図である。図５は同上の無相関信号生成部の構成を示すブロック図である。図６は同上の無相関信号生成部のインパルス応答を示す図である。図７は同上のダウンミックス信号を説明するための説明図である。図８は同上のプレマトリックス処理部およびポストマトリックス処理部の詳細な構成を示すブロック図である。図９は本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成を示すブロック図である。図１０は同上のマルチチャンネル合成部の構成を示すブロック図である。図１１は同上のマルチチャンネル合成部の動作を示すフローチャートである。図１２は同上の簡略化されたマルチチャンネル合成部の構成を示すブロック図である。図１３は同上の簡略化されたマルチチャンネル合成部の動作を示すフローチャートである。図１４は同上のマルチチャンネル合成部によって出力される信号を説明するための説明図である。図１５は同上の変形例１に係るマルチチャンネル合成部の構成を示すブロック図である。図１６は同上の変形例１に係るマルチチャンネル合成部によって出力される信号を説明するための説明図である。図１７は同上の変形例１に係るマルチチャンネル合成部の動作を示すフローチャートである。図１８は同上の変形例２に係るマルチチャンネル合成部の構成を示すブロック図である。図１９は同上の変形例２に係るマルチチャンネル合成部の動作を示すフローチャートである。

符号の説明

１００マルチチャンネル音響信号処理装置
１００ａマルチチャンネル音響符号化部
１００ｂマルチチャンネル音響復号化部
１１０ダウンミックス部
１２０バイノーラルキュー算出部
１３０オーディオエンコーダ部
１４０多重化部
１５０逆多重化部
１６０オーディオデコーダ部
１７０分析フィルタ部
１８０マルチチャンネル合成部
１８１無相関信号生成部
１８２第１演算部
１８３第２演算部
１８４プレマトリックス処理部
１８５ポストマトリックス処理部
１８６第３演算部
１８７マトリックス処理部
１９０合成フィルタ部

Claims

ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、
前記入力信号に対して、遅延とオールパスフィルタ処理による残響処理を行うことにより、前記入力信号に残響成分が含まれる無相関信号を生成する無相関信号生成手段と、
信号強度レベルの配分を示すレベル配分行列と、残響成分の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段と、
前記位相調整手段によって位相が調整された前記入力信号および前記無相関信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、ｍチャンネルのオーディオ信号を生成する演算手段と
を備えることを特徴とするマルチチャンネル音響信号処理装置。
前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１記載のマルチチャンネル音響信号処理装置。
前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項２記載のマルチチャンネル音響信号処理装置。
前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項３記載のマルチチャンネル音響信号処理装置。
前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整する
ことを特徴とする請求項１記載のマルチチャンネル音響信号処理装置。
ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理方法であって、
前記入力信号に対して、遅延とオールパスフィルタ処理による残響処理を行うことにより、前記入力信号に残響成分が含まれる無相関信号を生成する無相関信号生成ステップと、
信号強度レベルの配分を示すレベル配分行列と、残響成分の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成ステップと、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整ステップと、
前記位相調整ステップで位相が調整された前記入力信号および前記無相関信号により示される行列と、前記マトリックス生成ステップで生成された統合行列との積を算出することにより、ｍチャンネルのオーディオ信号を生成する演算ステップと
を含むことを特徴とするマルチチャンネル音響信号処理方法。
前記位相調整ステップでは、経時的に変化する前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項６記載のマルチチャンネル音響信号処理方法。
前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項７記載のマルチチャンネル音響信号処理方法。
前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項７記載のマルチチャンネル音響信号処理方法。
前記位相調整ステップでは、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整する
ことを特徴とする請求項６記載のマルチチャンネル音響信号処理方法。