JP7396459B2 - 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体 - Google Patents

Description

本発明は、音信号をモノラルで符号化したり、モノラル符号化とステレオ符号化を併用して音信号を符号化したり、音信号をモノラルで信号処理したり、ステレオの音信号にモノラルの音信号を用いた信号処理をしたりするために、２チャネルの音信号からモノラルの音信号を得る技術に関する。

２チャネルの音信号からモノラルの音信号を得て、２チャネルの音信号とモノラルの音信号をエンベデッド符号化／復号する技術として、特許文献１の技術がある。特許文献１には、入力された左チャネルの音信号と入力された右チャネルの音信号を対応するサンプルごとに平均することでモノラル信号を得て、モノラル信号を符号化（モノラル符号化）してモノラル符号を得て、モノラル符号を復号（モノラル復号）してモノラル局部復号信号を得て、左チャネルと右チャネルのそれぞれについて、入力された音信号と、モノラル局部復号信号から得た予測信号と、の差分（予測残差信号）を符号化する技術が開示されている。特許文献１の技術では、それぞれのチャネルについて、モノラル局部復号信号に遅延を与えて振幅比を与えた信号を予測信号として、入力された音信号と予測信号の誤差が最小となる遅延と振幅比を有する予測信号を選択するか、または、入力された音信号とモノラル局部復号信号との間の相互相関を最大にする遅延差と振幅比を有する予測信号を用いて、入力された音信号から予測信号を減算して予測残差信号を得て、予測残差信号を符号化／復号の対象とすることで、各チャネルの復号音信号の音質劣化を抑えている。

WO2006-070751号公報

特許文献１の技術では、予測信号を得る際にモノラル局部復号信号に与える遅延と振幅比を最適化することで、各チャネルの符号化効率を高めることができる。しかし、特許文献１の技術では、モノラル局部復号信号は左チャネルの音信号と右チャネルの音信号を平均して得たモノラル信号を符号化・復号して得たものである。すなわち、特許文献１の技術には、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る工夫がされていないという課題がある。
本発明では、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得る技術を提供することを目的とする。

本発明の一態様は、左チャネル入力音信号と右チャネル入力音信号を混合した信号であるダウンミックス信号を得る音信号ダウンミックス方法であって、左チャネル入力音信号と右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、左チャネル入力音信号と右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報取得ステップと、先行チャネル情報と左右相関係数とに基づき、左チャネル入力音信号と右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数が大きいほど大きく含まれるように、左チャネル入力音信号と右チャネル入力音信号を重み付け平均してダウンミックス信号を得るダウンミックスステップと、を有することを特徴とする。

本発明の一態様は、前記の音信号ダウンミックス方法であって、サンプル番号をtとし、左チャネル入力音信号をx_L(t)とし、右チャネル入力音信号をx_R(t)とし、ダウンミックス信号をx_M(t)とし、左右相関係数をγとして、ダウンミックスステップは、先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1+γ)/2)×x_L(t)+((1-γ)/2)×x_R(t)によりダウンミックス信号を得て、先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1-γ)/2)×x_L(t)+((1+γ)/2)×x_R(t)によりダウンミックス信号を得て、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、x_M(t)=(x_L(t)+x_R(t))/2によりダウンミックス信号を得ることを特徴とする。

本発明の一態様は、前記の音信号ダウンミックス方法を音信号ダウンミックスステップとして有し、ダウンミックスステップが得たダウンミックス信号を符号化してモノラル符号を得るモノラル符号化ステップと、左チャネル入力音信号と右チャネル入力音信号を符号化してステレオ符号を得るステレオ符号化ステップと、を更に有することを特徴とする。

本発明によれば、２チャネルの音信号から符号化処理などの信号処理に有用なモノラル信号を得ることができる。

第１参考形態と第２実施形態の符号化装置の例を示すブロック図である。 第１参考形態の符号化装置の処理の例を示す流れ図である。 第１参考形態の復号装置の例を示すブロック図である。 第１参考形態の復号装置の処理の例を示す流れ図である。 第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。 第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。 第１参考形態の左チャネル減算利得復号部と右チャネル減算利得復号部の処理の例を示す流れ図である。 第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。 第１参考形態の左チャネル減算利得推定部と右チャネル減算利得推定部の処理の例を示す流れ図である。 第２参考形態と第１実施形態の符号化装置の例を示すブロック図である。 第２参考形態の符号化装置の処理の例を示す流れ図である。 第２参考形態の復号装置の例を示すブロック図である。 第２参考形態の復号装置の処理の例を示す流れ図である。 第１実施形態の符号化装置の処理の例を示す流れ図である。 第２実施形態の符号化装置の処理の例を示す流れ図である。 第３実施形態の符号化装置の例を示すブロック図である。 第３実施形態の符号化装置の処理の例を示す流れ図である。 第４実施形態の音信号符号化装置の例を示すブロック図である。 第４実施形態の音信号符号化装置の処理の例を示す流れ図である。 第４実施形態の音信号処理装置の例を示すブロック図である。 第４実施形態の音信号処理装置の処理の例を示す流れ図である。 第４実施形態の音信号ダウンミックス装置の例を示すブロック図である。 第４実施形態の音信号ダウンミックス装置の処理の例を示す流れ図である。 本発明の実施形態における各装置を実現するコンピュータの機能構成の一例を示す図である。

まず、明細書における表記方法について説明する。ある文字xに対する^xのような上付き添え字の”^”は、本来”x”の真上に記載されるべきである。しかし、明細書の記載表記の制約上、^xと記載することもある。
＜第１参考形態＞
発明の実施形態を説明する前に、第１参考形態と第２参考形態として、第２実施形態の発明と第１実施形態の発明を実施するための元となる形態の符号化装置と復号装置について説明する。なお、明細書及び特許請求の範囲において、符号化装置のことを音信号符号化装置、符号化方法のことを音信号符号化方法、復号装置のことを音信号復号装置、復号方法のことを音信号復号方法と呼ぶこともある。

≪符号化装置１００≫
第１参考形態の符号化装置１００は、図１に示す通り、ダウンミックス部１１０と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０を含む。符号化装置１００は、例えば20msの所定の時間長のフレーム単位で、入力された２チャネルステレオの時間領域の音信号を符号化して、後述するモノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳとを得て出力する。符号化装置に入力される２チャネルステレオの時間領域の音信号は、例えば、音声や音楽などの音を２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であり、左チャネルの入力音信号と右チャネルの入力音信号から成る。符号化装置が出力する符号、すなわち、モノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳ、は復号装置へ入力される。符号化装置１００は、各フレームについて、図２に例示するステップＳ１１０からステップＳ１７０の処理を行う。

［ダウンミックス部１１０］
ダウンミックス部１１０には、符号化装置１００に入力された左チャネルの入力音信号と、符号化装置１００に入力された右チャネルの入力音信号と、が入力される。ダウンミックス部１１０は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号を混合した信号であるダウンミックス信号を得て出力する（ステップＳ１１０）。

例えば、フレーム当たりのサンプル数をTとすると、ダウンミックス部１１０には、符号化装置１００にフレーム単位で入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)と右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)が入力される。ここで、Tは正の整数であり、例えば、フレーム長が20msであり、サンプリング周波数が32kHzであれば、Tは640である。ダウンミックス部１１０は、入力された左チャネルの入力音信号と右チャネルの入力音信号の対応するサンプルごとのサンプル値の平均値による系列をダウンミックス信号x_M(1), x_M(2), ..., x_M(T)として得て出力する。すなわち、各サンプル番号をtとすると、x_M(t)=(x_L(t)+x_R(t))/2である。

［左チャネル減算利得推定部１２０］
左チャネル減算利得推定部１２０には、符号化装置１００に入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)と、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、が入力される。左チャネル減算利得推定部１２０は、入力された左チャネルの入力音信号とダウンミックス信号から、左チャネル減算利得αと、左チャネル減算利得αを表す符号である左チャネル減算利得符号Ｃαと、を得て出力する（ステップＳ１２０）。左チャネル減算利得推定部１２０は、左チャネル減算利得αと左チャネル減算利得符号Ｃαを、特許文献１で振幅比gを求めている方法やその振幅比gを符号化する方法に例示されるような周知の方法、または、新たに発案した量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。

［左チャネル信号減算部１３０］
左チャネル信号減算部１３０には、符号化装置１００に入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)と、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、左チャネル減算利得推定部１２０が出力した左チャネル減算利得αと、が入力される。左チャネル信号減算部１３０は、対応するサンプルtごとに、ダウンミックス信号のサンプル値x_M(t)と左チャネル減算利得αとを乗算した値α×x_M(t)を左チャネルの入力音信号のサンプル値x_L(t)から減算した値x_L(t)-α×x_M(t)による系列を左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)として得て出力する（ステップＳ１３０）。すなわち、y_L(t)=x_L(t)-α×x_M(t)である。符号化装置１００においては、局部復号信号を得るための遅延や演算処理量を要さないようにするために、左チャネル信号減算部１３０では、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部１１０が得た量子化されていないダウンミックス信号x_M(t)を用いるとよい。ただし、左チャネル減算利得推定部１２０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で左チャネル減算利得αを得る場合には、符号化装置１００のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、左チャネル信号減算部１３０では、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に代えて、特許文献１などの従来の符号化装置と同様に、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)を用いて左チャネル差分信号を得てもよい。

［右チャネル減算利得推定部１４０］
右チャネル減算利得推定部１４０には、符号化装置１００に入力された右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)と、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、が入力される。右チャネル減算利得推定部１４０は、入力された右チャネルの入力音信号とダウンミックス信号から、右チャネル減算利得βと、右チャネル減算利得βを表す符号である右チャネル減算利得符号Ｃβと、を得て出力する（ステップＳ１４０）。右チャネル減算利得推定部１４０は、右チャネル減算利得βと右チャネル減算利得符号Ｃβを、特許文献１で振幅比gを求めている方法やその振幅比gを符号化する方法に例示されるような周知の方法、または、新たに発案した量子化誤差を最小化する原理に基づく方法で求める。量子化誤差を最小化する原理とこの原理に基づく方法については後述する。

［右チャネル信号減算部１５０］
右チャネル信号減算部１５０には、符号化装置１００に入力された右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)と、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、右チャネル減算利得推定部１４０が出力した右チャネル減算利得βと、が入力される。右チャネル信号減算部１５０は、対応するサンプルtごとに、ダウンミックス信号のサンプル値x_M(t)と右チャネル減算利得βとを乗算した値β×x_M(t)を右チャネルの入力音信号のサンプル値x_R(t)から減算した値x_R(t)-β×x_M(t)による系列を右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)として得て出力する（ステップＳ１５０）。すなわち、y_R(t)=x_R(t)-β×x_M(t)である。右チャネル信号減算部１５０では、左チャネル信号減算部１３０と同様に、符号化装置１００において局部復号信号を得るための遅延や演算処理量を要さないようにするために、モノラル符号化の局部復号信号である量子化済みのダウンミックス信号ではなく、ダウンミックス部１１０が得た量子化されていないダウンミックス信号x_M(t)を用いるとよい。ただし、右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で右チャネル減算利得βを得る場合には、符号化装置１００のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、左チャネル信号減算部１３０と同様に、右チャネル信号減算部１５０では、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に代えて、特許文献１などの従来の符号化装置と同様に、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)を用いて右チャネル差分信号を得てもよい。

［モノラル符号化部１６０］
モノラル符号化部１６０には、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が入力される。モノラル符号化部１６０は、入力されたダウンミックス信号を所定の符号化方式でb_Mビットで符号化してモノラル符号ＣＭを得て出力する（ステップＳ１６０）。すなわち、入力されたTサンプルのダウンミックス信号x_M(1), x_M(2), ..., x_M(T)からb_Mビットのモノラル符号ＣＭを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。

［ステレオ符号化部１７０］
ステレオ符号化部１７０には、左チャネル信号減算部１３０が出力した左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)と、右チャネル信号減算部１５０が出力した右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)と、が入力される。ステレオ符号化部１７０は、入力された左チャネル差分信号と右チャネル差分信号を所定の符号化方式で合計b_sビットで符号化してステレオ符号ＣＳを得て出力する（ステップＳ１７０）。すなわち、入力されたTサンプルの左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)と、入力されたTサンプルの右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)と、から合計b_Sビットのステレオ符号ＣＳを得て出力する。符号化方式としては、どのようなものを用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネル差分信号と右チャネル差分信号それぞれを独立して符号化するものを用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号ＣＳとすればよい。

入力された左チャネル差分信号と右チャネル差分信号それぞれを独立して符号化する場合には、ステレオ符号化部１７０は、左チャネル差分信号をb_Lビットで符号化し、右チャネル差分信号をb_Rビットで符号化する。すなわち、ステレオ符号化部１７０は、入力されたTサンプルの左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)からb_Lビットの左チャネル差分符号ＣＬを得て、入力されたTサンプルの右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)からb_Rビットの右チャネル差分符号ＣＲを得て、左チャネル差分符号ＣＬと右チャネル差分符号ＣＲを合わせたものをステレオ符号ＣＳとして出力する。ここで、b_Lビットとb_Rビットの合計がb_Sビットである。

入力された左チャネル差分信号と右チャネル差分信号を１つの符号化方式の中で合わせて符号化する場合には、ステレオ符号化部１７０は、左チャネル差分信号と右チャネル差分信号を合計b_Sビットで符号化する。すなわち、ステレオ符号化部１７０は、入力されたTサンプルの左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)と、入力されたTサンプルの右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)と、からb_Sビットのステレオ符号ＣＳを得て出力する。

≪復号装置２００≫
第１参考形態の復号装置２００は、図３に示す通り、モノラル復号部２１０とステレオ復号部２２０と左チャネル減算利得復号部２３０と左チャネル信号加算部２４０と右チャネル減算利得復号部２５０と右チャネル信号加算部２６０とを含む。復号装置２００は、対応する符号化装置１００と同じ時間長のフレーム単位で、入力されたモノラル符号ＣＭと左チャネル減算利得符号Ｃαと右チャネル減算利得符号Ｃβとステレオ符号ＣＳを復号して、フレーム単位の２チャネルステレオの時間領域の復号音信号（後述する左チャネル復号音信号と右チャネル復号音信号）を得て出力する。復号装置２００は、図３に破線で示すように、モノラルの時間領域の復号音信号（後述するモノラル復号音信号）も出力してもよい。復号装置２００が出力した復号音信号は、例えば、ＤＡ変換され、スピーカで再生されることで、受聴可能とされる。復号装置２００は、各フレームについて、図４に例示するステップＳ２１０からステップＳ２６０の処理を行う。

［モノラル復号部２１０］
モノラル復号部２１０には、復号装置２００に入力されたモノラル符号ＣＭが入力される。モノラル復号部２１０は、入力されたモノラル符号ＣＭを所定の復号方式で復号してモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)を得て出力する（ステップＳ２１０）。所定の復号方式としては、対応する符号化装置１００のモノラル符号化部１６０で用いた符号化方式に対応する復号方式を用いる。モノラル符号ＣＭのビット数はb_Mである。

［ステレオ復号部２２０］
ステレオ復号部２２０には、復号装置２００に入力されたステレオ符号ＣＳが入力される。ステレオ復号部２２０は、入力されたステレオ符号ＣＳを所定の復号方式で復号して、左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)と、右チャネル復号差分信号^y_R(1), ^y_R(2), ..., ^y_R(T)と、を得て出力する（ステップＳ２２０）。所定の復号方式としては、対応する符号化装置１００のステレオ符号化部１７０で用いた符号化方式に対応する復号方式を用いる。ステレオ符号ＣＳの合計ビット数はb_Sである。

［左チャネル減算利得復号部２３０］
左チャネル減算利得復号部２３０には、復号装置２００に入力された左チャネル減算利得符号Ｃαが入力される。左チャネル減算利得復号部２３０は、左チャネル減算利得符号Ｃαを復号して左チャネル減算利得αを得て出力する（ステップＳ２３０）。左チャネル減算利得復号部２３０は、対応する符号化装置１００の左チャネル減算利得推定部１２０で用いた方法に対応する復号方法で左チャネル減算利得符号Ｃαを復号して、左チャネル減算利得αを得る。対応する符号化装置１００の左チャネル減算利得推定部１２０が量子化誤差を最小化する原理に基づく方法で左チャネル減算利得αと左チャネル減算利得符号Ｃαを得た場合の、左チャネル減算利得復号部２３０が左チャネル減算利得符号Ｃαを復号して左チャネル減算利得αを得る方法については後述する。

［左チャネル信号加算部２４０］
左チャネル信号加算部２４０には、モノラル復号部２１０が出力したモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)と、ステレオ復号部２２０が出力した左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)と、左チャネル減算利得復号部２３０が出力した左チャネル減算利得αと、が入力される。左チャネル信号加算部２４０は、対応するサンプルtごとに、左チャネル復号差分信号のサンプル値^y_L(t)と、モノラル復号音信号のサンプル値^x_M(t)と左チャネル減算利得αとを乗算した値α×^x_M(t)と、を加算した値^y_L(t)+α×^x_M(t)による系列を左チャネル復号音信号^x_L(1), ^x_L(2), ..., ^x_L(T)として得て出力する（ステップＳ２４０）。すなわち、^x_L(t)=^y_L(t)+α×^x_M(t)である。

［右チャネル減算利得復号部２５０］
右チャネル減算利得復号部２５０には、復号装置２００に入力された右チャネル減算利得符号Ｃβが入力される。右チャネル減算利得復号部２５０は、右チャネル減算利得符号Ｃβを復号して右チャネル減算利得βを得て出力する（ステップＳ２５０）。右チャネル減算利得復号部２５０は、対応する符号化装置１００の右チャネル減算利得推定部１４０で用いた方法に対応する復号方法で右チャネル減算利得符号Ｃβを復号して、右チャネル減算利得βを得る。対応する符号化装置１００の右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法で右チャネル減算利得βと右チャネル減算利得符号Ｃβを得た場合の、右チャネル減算利得復号部２５０が右チャネル減算利得符号Ｃβを復号して右チャネル減算利得βを得る方法については後述する。

［右チャネル信号加算部２６０］
右チャネル信号加算部２６０には、モノラル復号部２１０が出力したモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)と、ステレオ復号部２２０が出力した右チャネル復号差分信号^y_R(1), ^y_R(2), ..., ^y_R(T)と、右チャネル減算利得復号部２５０が出力した右チャネル減算利得βと、が入力される。右チャネル信号加算部２６０は、対応するサンプルtごとに、右チャネル復号差分信号のサンプル値^y_R(t)と、モノラル復号音信号のサンプル値^x_M(t)と右チャネル減算利得βとを乗算した値β×^x_M(t)と、を加算した値^y_R(t)+β×^x_M(t)による系列を右チャネル復号音信号^x_R(1), ^x_R(2), ..., ^x_R(T)として得て出力する（ステップＳ２６０）。すなわち、^x_R(t)=^y_R(t)+β×^x_M(t)である。

〔量子化誤差を最小化する原理〕
以下、量子化誤差を最小化する原理について説明する。ステレオ符号化部１７０において入力された左チャネル差分信号と右チャネル差分信号を１つの符号化方式の中で合わせて符号化する場合には、左チャネル差分信号の符号化に用いるビット数b_Lと右チャネル差分信号の符号化に用いるビット数b_Rは陽に定まっていないこともあり得るが、以下では、左チャネル差分信号の符号化に用いるビット数がb_Lであり、右チャネル差分信号の符号化に用いるビット数がb_Rであるとして説明する。また、以下では主に左チャネルについて説明するが、右チャネルについても同様である。

上述した符号化装置１００は、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)の各サンプル値から、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の各サンプル値に左チャネル減算利得αを乗算して得た値を減算して得た値からなる左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)をb_Lビットで符号化して、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)をb_Mビットで符号化する。また、上述した復号装置２００は、b_Lビットの符号から左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)（以下では、「量子化済み左チャネル差分信号」ともいう）を復号し、b_Mビットの符号からモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)（以下では、「量子化済みダウンミックス信号」ともいう）を復号した後、復号により得た量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)の各サンプル値に左チャネル減算利得αを乗算して得た値を復号により得た量子化済み左チャネル差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)の各サンプル値に加算することで左チャネルの復号音信号である左チャネル復号音信号^x_L(1), ^x_L(2), ..., ^x_L(T)を得る。符号化装置１００及び復号装置２００は、上記の処理で得られる左チャネルの復号音信号が有する量子化誤差のエネルギーが小さくなるように設計されるべきである。

入力信号を符号化・復号して得られる復号信号が有する量子化誤差（以下、便宜的に「符号化により生じる量子化誤差」という）のエネルギーは、多くの場合、入力信号のエネルギーにおおよそ比例し、符号化に用いるサンプルごとのビット数の値に対して指数的に小さくなる傾向にある。したがって、左チャネル差分信号の符号化により生じる量子化誤差のサンプルあたりの平均エネルギーは正の数σ_L ²を用いて下記の式（１－０－１）のように推定でき、ダウンミックス信号の符号化により生じる量子化誤差のサンプルあたりの平均エネルギーは正の数σ_M ²を用いて下記の式（１－０－２）のように推定できる。

ここで仮に、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が同一の系列とみなせるほど各サンプル値が近い値となっているとする。例えば、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)と右チャネルの入力信号x_R(1), x_R(2), ..., x_R(T)が、背景雑音や反響が多くない環境下で、２個のマイクロホンから等距離にある音源が発した音を収音して得たものであるケースなどが、この条件に相当する。この条件の下では左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)の各サンプル値は、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の各サンプル値に(1-α)を乗算して得た値と等価となる。したがって、左チャネル差分信号のエネルギーはダウンミックス信号のエネルギーの(1-α)²倍で表せることから、上記のσ_L ²は上記のσ_M ²を用いて(1-α)²×σ_M ²と置き換えることができるため、左チャネル差分信号の符号化により生じる量子化誤差のサンプルあたりの平均エネルギーは下記の式（１－１）のように推定できる。

また、復号装置において量子化済み左チャネル差分信号に加算する信号が有する量子化誤差のサンプルあたりの平均エネルギー、すなわち、復号により得た量子化済みダウンミックス信号の各サンプル値と左チャネル減算利得αとを乗算して得た値の系列が有する量子化誤差のサンプルあたりの平均エネルギーは、下記の式（１－２）のように推定できる。

左チャネル差分信号の符号化により生じる量子化誤差と、復号により得た量子化済みダウンミックス信号の各サンプル値に左チャネル減算利得αで乗算して得た値の系列が有する量子化誤差と、が互いに相関を持たないと仮定すると、左チャネルの復号音信号が有する量子化誤差のサンプルあたりの平均エネルギーは、式（１－１）と式（１－２）の和で推定される。左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する左チャネル減算利得αは、下記の式（１－３）のように求められる。

つまり、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が同一の系列とみなせるほど各サンプル値が近い値となっている条件において左チャネルの復号音信号が有する量子化誤差を最小化するためには、左チャネル減算利得推定部１２０は左チャネル減算利得αを式（１－３）で求めればよい。式（１－３）で得られる左チャネル減算利得αは、0より大きく1未満の値であり、２つの符号化に用いるビット数であるb_Lとb_Mが等しいときには0.5であり、左チャネル差分信号を符号化するためのビット数b_Lがダウンミックス信号を符号化するためのビット数b_Mよりも多いほど0.5より0に近い値であり、ダウンミックス信号を符号化するためのビット数b_Mが左チャネル差分信号を符号化するためのビット数b_Lよりも多いほど0.5より1に近い値である。

右チャネルについても同様であり、右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が同一の系列とみなせるほど各サンプル値が近い値となっている条件において右チャネルの復号音信号が有する量子化誤差を最小化するためには、右チャネル減算利得推定部１４０は右チャネル減算利得βを下記の式（１－３－２）で求めればよい。

式（１－３－２）で得られる右チャネル減算利得βは、0より大きく1未満の値であり、２つの符号化に用いるビット数であるb_Rとb_Mが等しいときには0.5であり、右チャネル差分信号を符号化するためのビット数b_Rがダウンミックス信号を符号化するためのビット数b_Mよりも多いほど0.5より0に近い値であり、ダウンミックス信号を符号化するためのビット数b_Mが右チャネル差分信号を符号化するためのビット数b_Rよりも多いほど0.5より1に近い値である。

次に、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が同一の系列とみなせない場合も含む、左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理について説明する。

左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の正規化された内積値r_Lは、下記の式（１－４）で表される。

式（１－４）によって得られる正規化された内積値r_Lは、実数値であって、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の各サンプル値に実数値r_L'を乗算してサンプル値の系列r_L'×x_M(1), r_L'×x_M(2), ..., r_L'×x_M(T)を得たときに、得られたサンプル値の系列と左チャネルの入力音信号の各サンプル値との差分により得られる系列x_L(1)-r_L'×x_M(1), x_L(2)-r_L'×x_M(2), ..., x_L(T)-r_L'×x_M(T)のエネルギーが最小となる実数値r_L'と同じ値である。

左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)は、各サンプル番号tについて、x_L(t)=r_L×x_M(t)+(x_L(t)- r_L×x_M(t))と分解できる。ここで、x_L(t)- r_L×x_M(t)の各値によって構成される系列を直交信号x_L’(1), x_L’(2), ..., x_L’(T)とすると、当該分解によれば、左チャネル差分信号の各サンプル値y_L(t)=x_L(t)-αx_M(t)は、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の各サンプル値x_M(t)に、正規化された内積値r_L及び左チャネル減算利得αを用いた(r_L-α)を乗算して得た値(r_L-α)×x_M(t)と、直交信号の各サンプル値x_L’(t)との和(r_L-α)×x_M(t)+x_L’(t)と等価となる。直交信号x_L’(1), x_L’(2), ..., x_L’(T)はダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に対して直交性、つまり内積が0となる性質を示すため、左チャネル差分信号のエネルギーはダウンミックス信号のエネルギーを(r_L-α)²倍したものと、直交信号のエネルギーとの和で表される。したがって、左チャネル差分信号をb_Lビットで符号化することにより生じる量子化誤差のサンプルあたりの平均エネルギーは正の数σ²を用いて下記の式（１－５）のように推定できる。

左チャネル差分信号の符号化により生じる量子化誤差と、復号により得られた量子化済みダウンミックス信号の各サンプル値に左チャネル減算利得αを乗算して得た値の系列が有する量子化誤差と、が互いに相関を持たないと仮定すると、左チャネルの復号音信号が有する量子化誤差のサンプルあたりの平均エネルギーは、式（１－５）と式（１－２）の和で推定される。左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する左チャネル減算利得αは、下記の式（１－６）のように求められる。

つまり、左チャネルの復号音信号が有する量子化誤差を最小化するためには、左チャネル減算利得推定部１２０は左チャネル減算利得αを式（１－６）で求めればよい。すなわち、この量子化誤差のエネルギーを最小化する原理を考慮すると、左チャネル減算利得αには、正規化された内積値r_Lと、符号化に用いるビット数であるb_Lとb_Mによって決まる値である補正係数と、を乗算したものを使用するべきである。当該補正係数は、0より大きく1未満の値であり、左チャネル差分信号を符号化するためのビット数b_Lとダウンミックス信号を符号化するためのビット数b_Mが同じであるときには0.5であり、左チャネル差分信号を符号化するためのビット数b_Lがダウンミックス信号を符号化するためのビット数b_Mよりも多いほど0.5より0に近く、左チャネル差分信号を符号化するためのビット数b_Lがダウンミックス信号を符号化するためのビット数b_Mよりも少ないほど0.5より1に近い値である。

右チャネルについても同様であり、右チャネルの復号音信号が有する量子化誤差を最小化するためには、右チャネル減算利得推定部１４０は右チャネル減算利得βを下記の式（１－６－２）で求めればよい。

ここで、r_Rは、右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の正規化された内積値であり、下記の式（１－４－２）で表される。

すなわち、この量子化誤差のエネルギーを最小化する原理を考慮すると、右チャネル減算利得βには、正規化された内積値r_Rと、符号化に用いるビット数であるb_Rとb_Mによって決まる値である補正係数と、を乗算したものを使用するべきである。当該補正係数は、0より大きく1未満の値であり、右チャネル差分信号を符号化するためのビット数b_Rがダウンミックス信号を符号化するためのビット数b_Mよりも多いほど0.5よりも0に近く、右チャネル差分信号を符号化するためのビット数がダウンミックス信号を符号化するためのビット数よりも少ないほど0.5よりも1に近い値である。

〔量子化誤差を最小化する原理に基づく減算利得の推定と復号〕
上述した量子化誤差を最小化する原理に基づく減算利得の推定と復号の具体例を説明する。各例では、符号化装置１００において減算利得の推定を行う左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０、復号装置２００において減算利得の復号を行う左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０、について説明する。

〔〔例１〕〕
例１は、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が同一の系列とみなせない場合も含む、左チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)が同一の系列とみなせない場合も含む、右チャネルの復号音信号が有する量子化誤差のエネルギーを最小化する原理と、に基づくものである。

〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０には、左チャネル減算利得の候補α_cand(a)と当該候補に対応する符号Ｃα_cand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図５に示す以下のステップＳ１２０－１１からステップＳ１２０－１４を行う。

左チャネル減算利得推定部１２０は、まず、入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)から、式（１－４）によりダウンミックス信号の左チャネルの入力音信号に対する正規化された内積値r_Lを得る（ステップＳ１２０－１１）。また、左チャネル減算利得推定部１２０は、ステレオ符号化部１７０において左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)の符号化に用いるビット数b_Lと、モノラル符号化部１６０においてダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて下記の式（１－７）により左チャネル補正係数c_Lを得る（ステップＳ１２０－１２）。

左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１で得た正規化された内積値r_LとステップＳ１２０－１２で得た左チャネル補正係数c_Lとを乗算した値を得る（ステップＳ１２０－１３）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネル減算利得の候補α_cand(1), ..., α_cand(A)のうちのステップＳ１２０－１３で得た乗算値c_L×r_Lに最も近い候補（乗算値c_L×r_Lの量子化値）を左チャネル減算利得αとして得て、記憶されている符号Ｃα_cand(1), ..., Ｃα_cand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１４）。

なお、ステレオ符号化部１７０において左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)の符号化に用いるビット数b_Lが陽に定まっていない場合には、ステレオ符号化部１７０が出力するステレオ符号ＣＳのビット数b_sの２分の１（すなわち、b_s/2）をビット数b_Lとして用いればよい。また、左チャネル補正係数c_Lは、式（１－７）そのもので得られる値ではなく、0より大きく1未満の値であり、左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)の符号化に用いるビット数b_Lとダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mが同じであるときには0.5であり、ビット数b_Lがビット数b_Mよりも多いほど0.5より0に近く、ビット数b_Lがビット数b_Mよりも少ないほど0.5より1に近い値としてもよい。これらは、後述する各例でも同様である。

〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０には、右チャネル減算利得の候補β_cand(b)と当該候補に対応する符号Ｃβ_cand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図５に示す以下のステップＳ１４０－１１からステップＳ１４０－１４を行う。

右チャネル減算利得推定部１４０は、まず、入力された右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)から、式（１－４－２）によりダウンミックス信号の右チャネルの入力音信号に対する正規化された内積値r_Rを得る（ステップＳ１４０－１１）。また、右チャネル減算利得推定部１４０は、ステレオ符号化部１７０において右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)の符号化に用いるビット数b_Rと、モノラル符号化部１６０においてダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて下記の式（１－７－２）により右チャネル補正係数c_Rを得る（ステップＳ１４０－１２）。

右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１で得た正規化された内積値r_RとステップＳ１４０－１２で得た右チャネル補正係数c_Rとを乗算した値を得る（ステップＳ１４０－１３）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネル減算利得の候補β_cand(1), ..., β_cand(B)のうちのステップＳ１４０－１３で得た乗算値c_R×r_Rに最も近い候補（乗算値c_R×r_Rの量子化値）を右チャネル減算利得βとして得て、記憶されている符号Ｃβ_cand(1), ..., Ｃβ_cand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１４）。

なお、ステレオ符号化部１７０において右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)の符号化に用いるビット数b_Rが陽に定まっていない場合には、ステレオ符号化部１７０が出力するステレオ符号ＣＳのビット数b_sの２分の１（すなわち、b_s/2）をビット数b_Rとして用いればよい。また、右チャネル補正係数c_Rは、式（１－７－２）そのもので得られる値ではなく、0より大きく1未満の値であり、右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)の符号化に用いるビット数b_Rとダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mが同じであるときには0.5であり、ビット数b_Rがビット数b_Mよりも多いほど0.5より0に近く、ビット数b_Rがビット数b_Mよりも少ないほど0.5より1に近い値としてもよい。これらは、後述する各例でも同様である。

〔〔〔左チャネル減算利得復号部２３０〕〕〕
左チャネル減算利得復号部２３０には、対応する符号化装置１００の左チャネル減算利得推定部１２０に記憶されているものと同じ、左チャネル減算利得の候補α_cand(a)と当該候補に対応する符号Ｃα_cand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得復号部２３０は、記憶されている符号Ｃα_cand(1), ..., Ｃα_cand(A)のうちの入力された左チャネル減算利得符号Ｃαに対応する左チャネル減算利得の候補を左チャネル減算利得αとして得る（ステップＳ２３０－１１）。

〔〔〔右チャネル減算利得復号部２５０〕〕〕
右チャネル減算利得復号部２５０には、対応する符号化装置１００の右チャネル減算利得推定部１４０に記憶されているものと同じ、右チャネル減算利得の候補β_cand(b)と当該候補に対応する符号Ｃβ_cand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得復号部２５０は、記憶されている符号Ｃβ_cand(1), ..., Ｃβ_cand(B)のうちの入力された右チャネル減算利得符号Ｃβに対応する右チャネル減算利得の候補を右チャネル減算利得βとして得る（ステップＳ２５０－１１）。

なお、左チャネルと右チャネルでは同じ減算利得の候補や符号を用いればよく、上述したAとBを同じ値として、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０に記憶されている左チャネル減算利得の候補α_cand(a)と当該候補に対応する符号Ｃα_cand(a)との組と、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０に記憶されている右チャネル減算利得の候補β_cand(b)と当該候補に対応する符号Ｃβ_cand(b)との組と、を同じにしてもよい。

〔〔例１の変形例〕〕
符号化装置１００で左チャネル差分信号の符号化に用いるビット数b_Lは復号装置２００で左チャネル差分信号の復号に用いるビット数であり、符号化装置１００でダウンミックス信号の符号化に用いるビット数b_Mの値は復号装置２００でダウンミックス信号の復号に用いるビット数であるので、補正係数c_Lは符号化装置１００でも復号装置２００でも同じ値を計算することができる。したがって、正規化された内積値r_Lを符号化と復号の対象として、符号化装置１００と復号装置２００で正規化された内積値の量子化値^r_Lに補正係数c_Lを乗算して左チャネル減算利得αを得てもよい。右チャネルについても同様である。この形態を例１の変形例として説明する。

〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０には、左チャネルの正規化された内積値の候補r_Lcand(a)と当該候補に対応する符号Ｃα_cand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図６に示す通り、例１でも説明したステップＳ１２０－１１とステップＳ１２０－１２と、下記のステップＳ１２０－１５とステップＳ１２０－１６と、を行う。

左チャネル減算利得推定部１２０は、まず、例１の左チャネル減算利得推定部１２０のステップＳ１２０－１１と同様に、入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)から、式（１－４）によりダウンミックス信号の左チャネルの入力音信号に対する正規化された内積値r_Lを得る（ステップＳ１２０－１１）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネルの正規化された内積値の候補r_Lcand(1), ..., r_Lcand(A)のうちのステップＳ１２０－１１で得た正規化された内積値r_Lに最も近い候補（正規化された内積値r_Lの量子化値）^r_Lを得て、記憶されている符号Ｃα_cand(1), ..., Ｃα_cand(A)のうちの当該最も近い候補^r_Lに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１５）。また、左チャネル減算利得推定部１２０は、例１の左チャネル減算利得推定部１２０のステップＳ１２０－１２と同様に、ステレオ符号化部１７０において左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)の符号化に用いるビット数b_Lと、モノラル符号化部１６０においてダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて式（１－７）により左チャネル補正係数c_Lを得る（ステップＳ１２０－１２）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１５で得た正規化された内積値の量子化値^r_LとステップＳ１２０－１２で得た左チャネル補正係数c_Lとを乗算した値を左チャネル減算利得αとして得る（ステップＳ１２０－１６）。

〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０には、右チャネルの正規化された内積値の候補r_Rcand(b)と当該候補に対応する符号Ｃβ_cand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図６に示す通り、例１でも説明したステップＳ１４０－１１とステップＳ１４０－１２と、下記のステップＳ１４０－１５とステップＳ１４０－１６と、を行う。

右チャネル減算利得推定部１４０は、まず、例１の右チャネル減算利得推定部１４０のステップＳ１４０－１１と同様に、入力された右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)とダウンミックス信号x_M(1), x_M(2), ..., x_M(T)から、式（１－４－２）によりダウンミックス信号の右チャネルの入力音信号に対する正規化された内積値r_Rを得る（ステップＳ１４０－１１）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネルの正規化された内積値の候補r_Rcand(1), ..., r_Rcand(B)のうちのステップＳ１４０－１１で得た正規化された内積値r_Rに最も近い候補（正規化された内積値r_Rの量子化値）^r_Rを得て、記憶されている符号Ｃβ_cand(1), ..., Ｃβ_cand(B)のうちの当該最も近い候補^r_Rに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１５）。また、右チャネル減算利得推定部１４０は、例１の右チャネル減算利得推定部１４０のステップＳ１４０－１２と同様に、ステレオ符号化部１７０において右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)の符号化に用いるビット数b_Rと、モノラル符号化部１６０においてダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて式（１－７－２）により右チャネル補正係数c_Rを得る（ステップＳ１４０－１２）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１５で得た正規化された内積値の量子化値^r_RとステップＳ１４０－１２で得た右チャネル補正係数c_Rとを乗算した値を右チャネル減算利得βとして得る（ステップＳ１４０－１６）。

〔〔〔左チャネル減算利得復号部２３０〕〕〕
左チャネル減算利得復号部２３０には、対応する符号化装置１００の左チャネル減算利得推定部１２０に記憶されているものと同じ、左チャネルの正規化された内積値の候補r_Lcand(a)と当該候補に対応する符号Ｃα_cand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得復号部２３０は、図７に示す以下のステップＳ２３０－１２からステップＳ２３０－１４を行う。

左チャネル減算利得復号部２３０は、記憶されている符号Ｃα_cand(1), ..., Ｃα_cand(A)のうちの入力された左チャネル減算利得符号Ｃαに対応する左チャネルの正規化された内積値の候補を左チャネルの正規化された内積値の復号値^r_Lとして得る（ステップＳ２３０－１２）。また、左チャネル減算利得復号部２３０は、ステレオ復号部２２０において左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)の復号に用いるビット数b_Lと、モノラル復号部２１０においてモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)の復号に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて式（１－７）により左チャネル補正係数c_Lを得る（ステップＳ２３０－１３）。左チャネル減算利得復号部２３０は、次に、ステップＳ２３０－１２で得た正規化された内積値の復号値^r_LとステップＳ２３０－１３で得た左チャネル補正係数c_Lとを乗算した値を左チャネル減算利得αとして得る（ステップＳ２３０－１４）。

なお、ステレオ符号ＣＳが左チャネル差分符号ＣＬと右チャネル差分符号ＣＲを合わせたものである場合には、ステレオ復号部２２０において左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)の復号に用いるビット数b_Lとは左チャネル差分符号ＣＬのビット数である。ステレオ復号部２２０において左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)の復号に用いるビット数b_Lが陽に定まっていない場合には、ステレオ復号部２２０に入力されるステレオ符号ＣＳのビット数b_sの２分の１（すなわち、b_s/2）をビット数b_Lとして用いればよい。モノラル復号部２１０においてモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)の復号に用いるビット数b_Mとは、モノラル符号ＣＭのビット数である。左チャネル補正係数c_Lは、式（１－７）そのもので得られる値ではなく、0より大きく1未満の値であり、左チャネル復号差分信号^y_L(1), ^y_L(2), ..., ^y_L(T)の復号に用いるビット数b_Lとモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)の復号に用いるビット数b_Mが同じであるときには0.5であり、ビット数b_Lがビット数b_Mよりも多いほど0.5より0に近く、ビット数b_Lがビット数b_Mよりも少ないほど0.5より1に近い値としてもよい。

〔〔〔右チャネル減算利得復号部２５０〕〕〕
右チャネル減算利得復号部２５０には、対応する符号化装置１００の右チャネル減算利得推定部１４０に記憶されているものと同じ、右チャネルの正規化された内積値の候補r_Rcand(b)と当該候補に対応する符号Ｃβ_cand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得復号部２５０は、図７に示す以下のステップＳ２５０－１２からステップＳ２５０－１４を行う。

右チャネル減算利得復号部２５０は、記憶されている符号Ｃβ_cand(1), ..., Ｃβ_cand(B)のうちの入力された右チャネル減算利得符号Ｃβに対応する右チャネルの正規化された内積値の候補を右チャネルの正規化された内積値の復号値^r_Rとして得る（ステップＳ２５０－１２）。また、右チャネル減算利得復号部２５０は、ステレオ復号部２２０において右チャネル復号差分信号^y_R(1), ^y_R(2), ..., ^y_R(T)の復号に用いるビット数b_Rと、モノラル復号部２１０においてモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)の復号に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて式（１－７－２）により右チャネル補正係数c_Rを得る（ステップＳ２５０－１３）。右チャネル減算利得復号部２５０は、次に、ステップＳ２５０－１２で得た正規化された内積値の復号値^r_RとステップＳ２５０－１３で得た右チャネル補正係数c_Rとを乗算した値を右チャネル減算利得βとして得る（ステップＳ２５０－１４）。

なお、ステレオ符号ＣＳが左チャネル差分符号ＣＬと右チャネル差分符号ＣＲを合わせたものである場合には、ステレオ復号部２２０において右チャネル復号差分信号^y_R(1), ^y_R(2), ..., ^y_R(T)の復号に用いるビット数b_Rとは右チャネル差分符号ＣＲのビット数である。ステレオ復号部２２０において右チャネル復号差分信号^y_R(1), ^y_R(2), ..., ^y_R(T)の復号に用いるビット数b_Rが陽に定まっていない場合には、ステレオ復号部２２０に入力されるステレオ符号ＣＳのビット数b_sの２分の１（すなわち、b_s/2）をビット数b_Rとして用いればよい。モノラル復号部２１０においてモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)の復号に用いるビット数b_Mとは、モノラル符号ＣＭのビット数である。右チャネル補正係数c_Rは、式（１－７－２）そのもので得られる値ではなく、0より大きく1未満の値であり、右チャネル復号差分信号^y_R(1), ^y_R(2), ..., ^y_R(T)の復号に用いるビット数b_Rとモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)の復号に用いるビット数b_Mが同じであるときには0.5であり、ビット数b_Rがビット数b_Mよりも多いほど0.5より0に近く、ビット数b_Rがビット数b_Mよりも少ないほど0.5より1に近い値としてもよい。

なお、左チャネルと右チャネルでは同じ正規化された内積値の候補や符号を用いればよく、上述したAとBを同じ値として、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０に記憶されている左チャネルの正規化された内積値の候補r_Lcand(a)と当該候補に対応する符号Ｃα_cand(a)との組と、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０に記憶されている右チャネルの正規化された内積値の候補r_Rcand(b)と当該候補に対応する符号Ｃβ_cand(b)との組と、を同じにしてもよい。

なお、符号Ｃαは、実質的には左チャネル減算利得αに対応する符号であること、符号化装置１００と復号装置２００の説明中で文言を整合させる目的、などから左チャネル減算利得符号と呼んでいるが、正規化された内積値を表すものであることからすると左チャネル内積符号などと呼んでもよいものである。符号Ｃβについても同様であり、右チャネル内積符号などと呼んでもよい。

〔〔例２〕〕
正規化された内積値として過去のフレームの入力の値も考慮した値を用いる例を例２として説明する。例２は、フレーム内での最適性、すなわち、左チャネルの復号音信号が有する量子化誤差のエネルギーの最小化と右チャネルの復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないが、左チャネル減算利得αのフレーム間の急激な変動と右チャネル減算利得βのフレーム間の急激な変動を少なくして、当該変動に由来して復号音信号に生じるノイズを低減するものである。すなわち、例２は、復号音信号が有する量子化誤差のエネルギーを小さくすることに加えて復号音信号の聴覚品質も考慮したものである。

例２は、符号化側、すなわち、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０は例１と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１と同じである。以下、例２が例１と異なる点を中心に説明する。

〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０は、図８に示す通り、下記のステップＳ１２０－１１１からステップＳ１２０－１１３と、例１で説明したステップＳ１２０－１２からステップＳ１２０－１４と、を行う。

左チャネル減算利得推定部１２０は、まず、入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)と、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いた内積値E_L(-1)と、を用いて、下記の式（１－８）により、現在のフレームで用いる内積値E_L(0)を得る（ステップＳ１２０－１１１）。

ここで、ε_Lは、０より大きく１未満の予め定めた値であり、左チャネル減算利得推定部１２０に予め記憶されている。なお、左チャネル減算利得推定部１２０は、得た内積値E_L(0)を、「前のフレームで用いた内積値E_L(-1)」として次のフレームで用いるために、左チャネル減算利得推定部１２０内に記憶する。

左チャネル減算利得推定部１２０は、また、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いたダウンミックス信号のエネルギーE_M(-1)と、を用いて、下記の式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を得る（ステップＳ１２０－１１２）。

ここで、ε_Mは、０より大きく１未満で予め定めた値であり、左チャネル減算利得推定部１２０に予め記憶されている。なお、左チャネル減算利得推定部１２０は、得たダウンミックス信号のエネルギーE_M(0)を、「前のフレームで用いたダウンミックス信号のエネルギーE_M(-1)」として次のフレームで用いるために、左チャネル減算利得推定部１２０内に記憶する。

左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１１で得た現在のフレームで用いる内積値E_L(0)と、ステップＳ１２０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を用いて、正規化された内積値r_Lを下記の式（１－１０）で得る（ステップＳ１２０－１１３）。

左チャネル減算利得推定部１２０は、また、ステップＳ１２０－１２を行い、次に、ステップＳ１２０－１１で得た正規化された内積値r_Lに代えて上述したステップＳ１２０－１１３で得た正規化された内積値r_Lを用いてステップＳ１２０－１３を行い、さらに、ステップＳ１２０－１４を行う。

なお、上記のε_L及びε_Mは、１に近いほど正規化された内積値r_Lには過去のフレームの左チャネルの入力音信号とダウンミックス信号の影響が含まれやすくなり、正規化された内積値r_Lや、正規化された内積値r_Lにより得られる左チャネル減算利得αのフレーム間の変動は小さくなる。

〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０は、図８に示す通り、以下のステップＳ１４０－１１１からステップＳ１４０－１１３と、例１で説明したステップＳ１４０－１２からステップＳ１４０－１４と、を行う。

右チャネル減算利得推定部１４０は、まず、入力された右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)と、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いた内積値E_R(-1)と、を用いて、下記の式（１－８－２）により、現在のフレームで用いる内積値E_R(0)を得る（ステップＳ１４０－１１１）。

ここで、ε_Rは、０より大きく１未満の予め定めた値であり、右チャネル減算利得推定部１４０に予め記憶されている。なお、右チャネル減算利得推定部１４０は、得た内積値E_R(0)を、「前のフレームで用いた内積値E_R(-1)」として次のフレームで用いるために、右チャネル減算利得推定部１４０内に記憶する。

右チャネル減算利得推定部１４０は、また、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いたダウンミックス信号のエネルギーE_M(-1)と、を用いて、式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を得る（ステップＳ１４０－１１２）。右チャネル減算利得推定部１４０は、得たダウンミックス信号のエネルギーE_M(0)を、「前のフレームで用いたダウンミックス信号のエネルギーE_M(-1)」として次のフレームで用いるために、右チャネル減算利得推定部１４０内に記憶する。なお、左チャネル減算利得推定部１２０でも式（１－９）により現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を得るので、左チャネル減算利得推定部１２０が行うステップＳ１２０－１１２と右チャネル減算利得推定部１４０が行うステップＳ１４０－１１２は何れか一方のみを行うようにしてもよい。

右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１１で得た現在のフレームで用いる内積値E_R(0)と、ステップＳ１４０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を用いて、正規化された内積値r_Rを下記の式（１－１０－２）で得る（ステップＳ１４０－１１３）。

右チャネル減算利得推定部１４０は、また、ステップＳ１４０－１２を行い、次に、ステップＳ１４０－１１で得た正規化された内積値r_Rに代えて上述したステップＳ１４０－１１３で得た正規化された内積値r_Rを用いてステップＳ１４０－１３を行い、さらに、ステップＳ１４０－１４を行う。

なお、上記のε_R及びε_Mは、１に近いほど正規化された内積値r_Rには過去のフレームの右チャネルの入力音信号とダウンミックス信号の影響が含まれやすくなり、正規化された内積値r_Rや、正規化された内積値r_Rにより得られる右チャネル減算利得βのフレーム間の変動は小さくなる。

〔〔例２の変形例〕〕
例２についても、例１に対する例１の変形例と同様の変形ができる。この形態を例２の変形例として説明する。例２の変形例は、符号化側、すなわち、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０は例１の変形例と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１の変形例と同じである。例２の変形例の例１の変形例と異なる点は例２と同様であるので、以下では、例２の変形例について、例１の変形例と例２を適宜参照して説明する。

〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０には、例１の変形例の左チャネル減算利得推定部１２０と同様に、左チャネルの正規化された内積値の候補r_Lcand(a)と当該候補に対応する符号Ｃα_cand(a)との組が複数組（A組、a=1, ..., A）予め記憶されている。左チャネル減算利得推定部１２０は、図９に示す通り、例２と同じステップＳ１２０－１１１からステップＳ１２０－１１３と、例１の変形例と同じステップＳ１２０－１２とステップＳ１２０－１５とステップＳ１２０－１６と、を行う。具体的には以下の通りである。

左チャネル減算利得推定部１２０は、まず、入力された左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)と、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いた内積値E_L(-1)と、を用いて、式（１－８）により、現在のフレームで用いる内積値E_L(0)を得る（ステップＳ１２０－１１１）。左チャネル減算利得推定部１２０は、また、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いたダウンミックス信号のエネルギーE_M(-1)と、を用いて、式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を得る（ステップＳ１２０－１１２）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１１１で得た現在のフレームで用いる内積値E_L(0)と、ステップＳ１２０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を用いて、式（１－１０）により、正規化された内積値r_Lを得る（ステップＳ１２０－１１３）。左チャネル減算利得推定部１２０は、次に、記憶されている左チャネルの正規化された内積値の候補r_Lcand(1), ..., r_Lcand(A)のうちのステップＳ１２０－１１３で得た正規化された内積値r_Lに最も近い候補（正規化された内積値r_Lの量子化値）^r_Lを得て、記憶されている符号Ｃα_cand(1), ..., Ｃα_cand(A)のうちの当該最も近い候補^r_Lに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１５）。また、左チャネル減算利得推定部１２０は、ステレオ符号化部１７０において左チャネル差分信号y_L(1), y_L(2), ..., y_L(T)の符号化に用いるビット数b_Lと、モノラル符号化部１６０においてダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて、式（１－７）により、左チャネル補正係数c_Lを得る（ステップＳ１２０－１２）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１５で得た正規化された内積値の量子化値^r_LとステップＳ１２０－１２で得た左チャネル補正係数c_Lとを乗算した値を左チャネル減算利得αとして得る（ステップＳ１２０－１６）。

〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０には、例１の変形例の右チャネル減算利得推定部１４０と同様に、右チャネルの正規化された内積値の候補r_Rcand(b)と当該候補に対応する符号Ｃβ_cand(b)との組が複数組（B組、b=1, ..., B）予め記憶されている。右チャネル減算利得推定部１４０は、図９に示す通り、例２と同じステップＳ１４０－１１１からステップＳ１４０－１１３と、例１の変形例と同じステップＳ１４０－１２とステップＳ１４０－１５とステップＳ１４０－１６と、を行う。具体的には以下の通りである。

右チャネル減算利得推定部１４０は、まず、入力された右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)と、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いた内積値E_R(-1)と、を用いて、式（１－８－２）により、現在のフレームで用いる内積値E_R(0)を得る（ステップＳ１４０－１１１）。右チャネル減算利得推定部１４０は、また、入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、前のフレームで用いたダウンミックス信号のエネルギーE_M(-1)と、を用いて、式（１－９）により、現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を得る（ステップＳ１４０－１１２）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１１１で得た現在のフレームで用いる内積値E_R(0)と、ステップＳ１４０－１１２で得た現在のフレームで用いるダウンミックス信号のエネルギーE_M(0)を用いて、式（１－１０－２）により、正規化された内積値r_Rを得る（ステップＳ１４０－１１３）。右チャネル減算利得推定部１４０は、次に、記憶されている右チャネルの正規化された内積値の候補r_Rcand(1), ..., r_Rcand(B)のうちのステップＳ１４０－１１３で得た正規化された内積値r_Rに最も近い候補（正規化された内積値r_Rの量子化値）^r_Rを得て、記憶されている符号Ｃβ_cand(1), ..., Ｃβ_cand(B)のうちの当該最も近い候補^r_Rに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１５）。また、右チャネル減算利得推定部１４０は、ステレオ符号化部１７０において右チャネル差分信号y_R(1), y_R(2), ..., y_R(T)の符号化に用いるビット数b_Rと、モノラル符号化部１６０においてダウンミックス信号x_M(1), x_M(2), ..., x_M(T)の符号化に用いるビット数b_Mと、フレーム当たりのサンプル数Tと、を用いて、式（１－７－２）により右チャネル補正係数c_Rを得る（ステップＳ１４０－１２）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１５で得た正規化された内積値の量子化値^r_RとステップＳ１４０－１２で得た右チャネル補正係数c_Rとを乗算した値を右チャネル減算利得βとして得る（ステップＳ１４０－１６）。

〔〔例３〕〕
例えば、左チャネルの入力音信号に含まれている音声や音楽などの音と、右チャネルの入力音信号に含まれている音声や音楽などの音と、が異なる場合には、ダウンミックス信号には左チャネルの入力音信号の成分も右チャネルの入力音信号の成分も含まれ得るため、左チャネル減算利得αとして大きな値を用いるほど、左チャネル復号音信号の中に本来聴こえるはずのない右チャネルの入力音信号に由来する音が含まれているように聞こえてしまい、右チャネル減算利得βとして大きな値を用いるほど、右チャネル復号音信号の中に本来聴こえるはずのない左チャネルの入力音信号に由来する音が含まれているように聞こえてしまうという課題がある。そこで、復号音信号が有する量子化誤差のエネルギーの最小化は厳密には保証されないものの、聴覚品質を考慮して、左チャネル減算利得αと右チャネル減算利得βを例１により求まる値より小さい値としてもよい。また同様に、左チャネル減算利得αと右チャネル減算利得βを例２により求まる値より小さい値としてもよい。

具体的には、左チャネルについては、例１および例２において、正規化された内積値r_Lと左チャネル補正係数c_Lの乗算値c_L×r_Lの量子化値を左チャネル減算利得αとしていたのを、例３では、正規化された内積値r_Lと左チャネル補正係数c_Lと０より大きく１より小さい予め定めた値であるλ_Lの乗算値λ_L×c_L×r_Lの量子化値を左チャネル減算利得αとする。従って、例１や例２と同様に乗算値c_L×r_Lを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として左チャネル減算利得符号Ｃαが乗算値c_L×r_Lの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値c_L×r_Lの量子化値とλ_Lを乗算して左チャネル減算利得αを得るようにしてもよい。または、正規化された内積値r_Lと左チャネル補正係数c_Lと予め定めた値λ_Lの乗算値λ_L×c_L×r_Lを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値λ_L×c_L×r_Lの量子化値を表すようにしてもよい。

同様に、右チャネルについては、例１および例２において、正規化された内積値r_Rと右チャネル補正係数c_Rの乗算値c_R×r_Rの量子化値を右チャネル減算利得βとしていたのを、例３では、正規化された内積値r_Rと右チャネル補正係数c_Rと０より大きく１より小さい予め定めた値であるλ_Rの乗算値λ_R×c_R×r_Rの量子化値を右チャネル減算利得βとする。従って、例１や例２と同様に乗算値c_R×r_Rを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として右チャネル減算利得符号Ｃβが乗算値c_R×r_Rの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が乗算値c_R×r_Rの量子化値とλ_Rとを乗算して右チャネル減算利得βを得るようにしてもよい。または、正規化された内積値r_Rと左チャネル補正係数c_Rと予め定めた値λ_Rの乗算値λ_R×c_R×r_Rを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として、右チャネル減算利得符号Ｃβが乗算値λ_R×c_R×r_Rの量子化値を表すようにしてもよい。なお、λ_Rはλ_Lと同じ値とするとよい。

〔〔例３の変形例〕〕
上述したように補正係数c_Lは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、例１の変形例や例２の変形例と同様に正規化された内積値r_Lを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として左チャネル減算利得符号Ｃαが正規化された内積値r_Lの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が正規化された内積値r_Lの量子化値と左チャネル補正係数c_Lと０より大きく１より小さい予め定めた値であるλ_Lを乗算して左チャネル減算利得αを得るようにしてもよい。または、正規化された内積値r_Lと０より大きく１より小さい予め定めた値であるλ_Lの乗算値λ_L×r_Lを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値λ_L×r_Lの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値λ_L×r_Lの量子化値と左チャネル補正係数c_Lを乗算して左チャネル減算利得αを得るようにしてもよい。

右チャネルについても同様であり、補正係数c_Rは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、例１の変形例や例２の変形例と同様に正規化された内積値r_Rを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として右チャネル減算利得符号Ｃβが正規化された内積値r_Rの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が正規化された内積値r_Rの量子化値と右チャネル補正係数c_Rと０より大きく１より小さい予め定めた値であるλ_Rを乗算して右チャネル減算利得βを得るようにしてもよい。または、正規化された内積値r_Rと０より大きく１より小さい予め定めた値であるλ_Rの乗算値λ_R×r_Rを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として、右チャネル減算利得符号Ｃβが乗算値λ_R×r_Rの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が乗算値λ_R×r_Rの量子化値と右チャネル補正係数c_Rを乗算して右チャネル減算利得βを得るようにしてもよい。

〔〔例４〕〕
例３の冒頭で説明した聴覚品質の課題が生じるのは左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいときであって、この課題は左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいときにはあまり生じない。そこで、例４では、例３の予め定めた値に代えて、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γを用いることで、左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいほど、復号音信号が有する量子化誤差のエネルギーを小さくすることを優先し、左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいほど、聴覚品質の劣化を抑えることを優先する。

例４は、符号化側は例１および例２と異なるが、復号側、すなわち、左チャネル減算利得復号部２３０と右チャネル減算利得復号部２５０は例１および例２と同じである。以下、例４が例１および例２と異なる点について説明する。

〔〔〔左右関係情報推定部１８０〕〕〕
例４の符号化装置１００は、図１に破線で示すように左右関係情報推定部１８０も含む。左右関係情報推定部１８０には、符号化装置１００に入力された左チャネルの入力音信号と、符号化装置１００に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８０は、入力された左チャネルの入力音信号と右チャネルの入力音信号から左右相関係数γを得て出力する（ステップＳ１８０）。

左右相関係数γは、左チャネルの入力音信号と右チャネルの入力音信号の相関係数であり、左チャネルの入力音信号のサンプル列x_L(1), x_L(2), ..., x_L(T)と右チャネルの入力音信号のサンプル列x_Ｒ(1), x_R(2), ..., x_R(T)の相関係数γ₀であってもよいし、時間差を考慮した相関係数、例えば、左チャネルの入力音信号のサンプル列と、τサンプルだけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関係数γ_τであってもよい。

このτは、ある空間に配置した左チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が左チャネルの入力音信号であり、当該空間に配置した右チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が右チャネルの入力音信号である、と仮定したときの、当該空間で主に音を発している音源から左チャネル用のマイクロホンへの到達時間と、当該音源から右チャネル用のマイクロホンへの到達時間と、の差（いわゆる到来時間差）に相当する情報であり、以降では左右時間差と呼ぶ。左右時間差τは、周知の何れの方法で求めてもよく、第２参考形態の左右関係情報推定部１８１で説明する方法などで求めればよい。すなわち、上述した相関係数γ_τは、音源から左チャネル用のマイクロホンに到達して収音された音信号と、当該音源から右チャネル用のマイクロホンに到達して収音された音信号と、の相関係数に相当する情報である。

〔〔〔左チャネル減算利得推定部１２０〕〕〕
左チャネル減算利得推定部１２０は、ステップＳ１２０－１３に代えて、ステップＳ１２０－１１またはステップＳ１２０－１１３で得た正規化された内積値r_Lと、ステップＳ１２０－１２で得た左チャネル補正係数c_Lと、ステップＳ１８０で得た左右相関係数γと、を乗算した値を得る（ステップＳ１２０－１３”）。左チャネル減算利得推定部１２０は、次に、ステップＳ１２０－１４に代えて、記憶されている左チャネル減算利得の候補α_cand(1), ..., α_cand(A)のうちのステップＳ１２０－１３”で得た乗算値γ×c_L×r_Lに最も近い候補（乗算値γ×c_L×r_Lの量子化値）を左チャネル減算利得αとして得て、記憶されている符号Ｃα_cand(1), ..., Ｃα_cand(A)のうちの左チャネル減算利得αに対応する符号を左チャネル減算利得符号Ｃαとして得る（ステップＳ１２０－１４”）。

〔〔〔右チャネル減算利得推定部１４０〕〕〕
右チャネル減算利得推定部１４０は、ステップＳ１４０－１３に代えて、ステップＳ１４０－１１またはステップＳ１４０－１１３で得た正規化された内積値r_Rと、ステップＳ１４０－１２で得た右チャネル補正係数c_Rと、ステップＳ１８０で得た左右相関係数γと、を乗算した値を得る（ステップＳ１４０－１３”）。右チャネル減算利得推定部１４０は、次に、ステップＳ１４０－１４に代えて、記憶されている右チャネル減算利得の候補β_cand(1), ..., β_cand(B)のうちのステップＳ１４０－１３”で得た乗算値γ×c_R×r_Rに最も近い候補（乗算値γ×c_R×r_Rの量子化値）を右チャネル減算利得βとして得て、記憶されている符号Ｃβ_cand(1), ..., Ｃβ_cand(B)のうちの右チャネル減算利得βに対応する符号を右チャネル減算利得符号Ｃβとして得る（ステップＳ１４０－１４”）。

〔〔例４の変形例〕〕
上述したように補正係数c_Lは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、正規化された内積値r_Lと左右相関係数γの乗算値γ×r_Lを左チャネル減算利得推定部１２０での符号化と左チャネル減算利得復号部２３０での復号の対象として、左チャネル減算利得符号Ｃαが乗算値γ×r_Lの量子化値を表すようにして、左チャネル減算利得推定部１２０と左チャネル減算利得復号部２３０が乗算値γ×r_Lの量子化値と左チャネル補正係数c_Lを乗算して左チャネル減算利得αを得るようにしてもよい。

右チャネルについても同様であり、補正係数c_Rは符号化装置１００でも復号装置２００でも同じ値を計算することができる。従って、正規化された内積値r_Rと左右相関係数γの乗算値γ×r_Rを右チャネル減算利得推定部１４０での符号化と右チャネル減算利得復号部２５０での復号の対象として、右チャネル減算利得符号Ｃβが乗算値γ×r_Rの量子化値を表すようにして、右チャネル減算利得推定部１４０と右チャネル減算利得復号部２５０が乗算値γ×r_Rの量子化値と右チャネル補正係数c_Rを乗算して右チャネル減算利得βを得るようにしてもよい。

＜第２参考形態＞
第２参考形態の符号化装置と復号装置について説明する。

≪符号化装置１０１≫
第２参考形態の符号化装置１０１は、図１０に示す通り、ダウンミックス部１１０と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８１と時間シフト部１９１を含む。第２参考形態の符号化装置１０１が第１参考形態の符号化装置１００と異なるのは、左右関係情報推定部１８１と時間シフト部１９１を含むことと、ダウンミックス部１１０が出力した信号に代えて時間シフト部１９１が出力した信号を左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０が用いることと、上述した各符号に加えて後述する左右時間差符号Ｃτも出力すること、である。第２参考形態の符号化装置１０１のその他の構成及び動作は第１参考形態の符号化装置１００と同じである。第２参考形態の符号化装置１０１は、各フレームについて、図１１に例示するステップＳ１１０からステップＳ１９１の処理を行う。以下、第２参考形態の符号化装置１０１が第１参考形態の符号化装置１００と異なる点について説明する。

［左右関係情報推定部１８１］
左右関係情報推定部１８１には、符号化装置１０１に入力された左チャネルの入力音信号と、符号化装置１０１に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８１は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Ｃτと、を得て出力する（ステップＳ１８１）。

左右時間差τは、ある空間に配置した左チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が左チャネルの入力音信号であり、当該空間に配置した右チャネル用のマイクロホンで収音した音をＡＤ変換して得られた音信号が右チャネルの入力音信号である、と仮定したときの、当該空間で主に音を発している音源から左チャネル用のマイクロホンへの到達時間と、当該音源から右チャネル用のマイクロホンへの到達時間と、の差（いわゆる到来時間差）に相当する情報である。なお、到来時間差だけではなく、どちらのマイクロホンに早く到達しているかの情報も左右時間差τに含めるために、左右時間差τは、何れか一方の入力音信号を基準として正の値も負の値も取り得るものとする。すなわち、左右時間差τは、同じ音信号が左チャネルの入力音信号と右チャネルの入力音信号のどちらにどれくらい先に含まれているかを表す情報である。以下では、同じ音信号が右チャネルの入力音信号よりも左チャネルの入力音信号に先に含まれている場合には、左チャネルが先行しているともいい、同じ音信号が左チャネルの入力音信号よりも右チャネルの入力音信号に先に含まれている場合には、右チャネルが先行しているともいう。

左右時間差τは周知の何れの方法で求めてもよい。例えば、左右関係情報推定部１８１は、予め定めたτ_maxからτ_minまで（例えば、τ_maxは正の数、τ_minは負の数）の各候補サンプル数τ_candについて、左チャネルの入力音信号のサンプル列と、候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関の大きさを表す値（以下、相関値という）γ_candを計算して、相関値γ_candが最大となる候補サンプル数τ_candを左右時間差τとして得る。すなわち、この例では、左チャネルが先行している場合には左右時間差τは正の値であり、右チャネルが先行している場合には左右時間差τは負の値であり、左右時間差τの絶対値が、先行しているチャネルがもう一方のチャネルに対してどれくらい先行しているかを表す値（先行しているサンプル数）である。例えば、フレーム内のサンプルのみを用いて相関値γ_candを計算する場合には、τ_candが正の値の場合には、右チャネルの入力音信号の部分サンプル列x_R(1+τ_cand), x_R(2+τ_cand), ..., x_R(T)と、候補サンプル数τ_cand分だけ当該部分サンプル列より前にずれた位置にある左チャネルの入力音信号の部分サンプル列x_L(1), x_L(2), ..., x_L(T-τ_cand)と、の相関係数の絶対値を相関値γ_candとして計算し、τ_candが負の値の場合には、左チャネルの入力音信号の部分サンプル列x_L(1-τ_cand), x_L(2-τ_cand), ..., x_L(T)と、候補サンプル数-τ_cand分だけ当該部分サンプル列より前にずれた位置にある右チャネルの入力音信号の部分サンプル列x_R(1), x_R(2), ..., x_R(T+τ_cand)と、の相関係数の絶対値を相関値γ_candとして計算すればよい。もちろん、相関値γ_candを計算するために現在のフレームの入力音信号のサンプル列に連続する過去の入力音信号の１個以上のサンプルも用いてもよく、この場合には過去のフレームの入力音信号のサンプル列を予め定めたフレーム数分だけ左右関係情報推定部１８１内の図示しない記憶部に記憶しておくようにすればよい。

また例えば、相関係数の絶対値に代えて、以下のように信号の位相の情報を用いて相関値γ_candを計算してもよい。この例においては、左右関係情報推定部１８１は、まず左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)及び右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)のそれぞれを、下記の式（３－１）及び式（３－２）のようにフーリエ変換することにより、0からT-1の各周波数kにおける周波数スペクトルX_L(k)及びX_R(k)を得る。

左右関係情報推定部１８１は、得られた周波数スペクトルX_L(k)及びX_R(k)を用いて、下記の式（３－３）により、各周波数kにおける位相差のスペクトルφ(k)を得る。

得られた位相差のスペクトルを逆フーリエ変換することにより、下記の式（３－４）のようにτ_maxからτ_minまでの各候補サンプル数τ_candについて位相差信号ψ(τ_cand)を得る。

得られた位相差信号ψ(τ_cand)の絶対値は、左チャネルの入力音信号x_L(1), x_L(2), ..., x_L(T)及び右チャネルの入力音信号x_R(1), x_R(2), ..., x_R(T)の時間差の尤もらしさに対応したある種の相関を表すものであるので、各候補サンプル数τ_candに対するこの位相差信号ψ(τ_cand)の絶対値を相関値γ_candとして用いる。左右関係情報推定部１８１は、この位相差信号ψ(τ_cand)の絶対値である相関値γ_candが最大となる候補サンプル数τ_candを左右時間差τとして得る。なお、相関値γ_candとして位相差信号ψ(τ_cand)の絶対値をそのまま用いることに代えて、例えば各τ_candについて位相差信号ψ(τ_cand)の絶対値に対するτ_cand前後にある複数個の候補サンプル数それぞれについて得られた位相差信号の絶対値の平均との相対差のような、正規化された値を用いてもよい。つまり、各τ_candについて、予め定めた正の数τ_rangeを用いて、下記の式（３－５）により平均値を得て、得られた平均値ψ_c(τ_cand)と位相差信号ψ(τ_cand)を用いて下記の式（３－６）により得られる正規化された相関値をγ_candとして用いてもよい。

なお、式（３－６）により得られる正規化された相関値は、０以上１以下の値であり、τ_candが左右時間差として尤もらしいほど１に近く、τ_candが左右時間差として尤もらしくないほど０に近い性質を示す値である。

また、左右関係情報推定部１８１は、左右時間差τを所定の符号化方式で符号化して、左右時間差τを一意に特定可能な符号である左右時間差符号Ｃτを得るようにすればよい。所定の符号化方式としては、スカラ量子化などの周知の符号化方式を用いればよい。なお、予め定めた各候補サンプル数は、τ_maxからτ_minまでの各整数値であってもよいし、τ_maxからτ_minまでの間にある分数値や小数値を含んでいてもよいし、τ_maxからτ_minまでの間にある何れかの整数値を含まないでもよい。また、τ_max＝-τ_minであってもよいし、そうでなくてもよい。また、何れかのチャネルが必ず先行しているような特殊な入力音信号を対象とする場合には、τ_maxもτ_minも正の数としたり、τ_maxもτ_minも負の数としたりしてもよい。

なお、符号化装置１０１が第１参考形態で説明した例４または例４の変形例の量子化誤差を最小化する原理に基づく減算利得の推定を行う場合には、左右関係情報推定部１８１は、さらに、左チャネルの入力音信号のサンプル列と、左右時間差τ分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関値、すなわち、τ_maxからτ_minまでの各候補サンプル数τ_candについて計算した相関値γ_candのうちの最大値、を左右相関係数γとして出力する（ステップＳ１８０）。

［時間シフト部１９１］
時間シフト部１９１には、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)と、左右関係情報推定部１８１が出力した左右時間差τと、が入力される。時間シフト部１９１は、左右時間差τが正の値である場合（すなわち、左右時間差τが左チャネルが先行していることを表す場合）には、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)をそのまま左チャネル減算利得推定部１２０と左チャネル信号減算部１３０に出力し（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０で用いることを決定し）、ダウンミックス信号を|τ|サンプル（左右時間差τの絶対値分のサンプル数、左右時間差τが表す大きさ分のサンプル数）遅らせた信号x_M(1-|τ|), x_M(2-|τ|), ..., x_M(T-|τ|)である遅延ダウンミックス信号x_M'(1), x_M'(2), ..., x_M'(T)を右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力し（すなわち、右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定し）、左右時間差τが負の値である場合（すなわち、左右時間差τが右チャネルが先行していることを表す場合）には、ダウンミックス信号を|τ|サンプル遅らせた信号x_M(1-|τ|), x_M(2-|τ|), ..., x_M(T-|τ|)である遅延ダウンミックス信号x_M'(1), x_M'(2), ..., x_M'(T)を左チャネル減算利得推定部１２０と左チャネル信号減算部１３０に出力し（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０で用いることを決定し）、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)をそのまま右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力し（すなわち、右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定し）、左右時間差τが０である場合（すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合）には、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)をそのまま左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０に出力する（すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０で用いることを決定する）（ステップＳ１９１）。すなわち、左チャネルと右チャネルのうちの上述した到達時間が短いほうのチャネルについては、入力されたダウンミックス信号をそのまま当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力し、左チャネルと右チャネルのうちの上述した到達時間が長いほうのチャネルについては、入力されたダウンミックス信号を左右時間差τの絶対値|τ|だけ遅らせた信号を当該チャネルの減算利得推定部と当該チャネルの信号減算部に出力する。なお、時間シフト部１９１では遅延ダウンミックス信号を得るために過去のフレームのダウンミックス信号を用いることから、時間シフト部１９１内の図示しない記憶部には、過去のフレームで入力されたダウンミックス信号を予め定めたフレーム数分だけ記憶しておく。また、左チャネル減算利得推定部１２０と右チャネル減算利得推定部１４０が量子化誤差を最小化する原理に基づく方法ではなく特許文献１に例示されているような周知の方法で左チャネル減算利得αと右チャネル減算利得βを得る場合には、符号化装置１０１のモノラル符号化部１６０の後段またはモノラル符号化部１６０内にモノラル符号ＣＭに対応する局部復号信号を得る手段を備えて、時間シフト部１９１では、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に代えて、モノラル符号化の局部復号信号である量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)を用いて上述した処理を行ってもよい。この場合には、時間シフト部１９１は、ダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に代えて量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)を出力し、遅延ダウンミックス信号x_M'(1), x_M'(2), ..., x_M'(T)に代えて遅延量子化済みダウンミックス信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を出力する。

［左チャネル減算利得推定部１２０、左チャネル信号減算部１３０、右チャネル減算利得推定部１４０、右チャネル信号減算部１５０］
左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、第１参考形態で説明したのと同じ動作を、ダウンミックス部１１０が出力したダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に代えて、時間シフト部１９１から入力されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)または遅延ダウンミックス信号x_M'(1), x_M'(2), ..., x_M'(T)を用いて行う（ステップＳ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０）。すなわち、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、時間シフト部１９１で決定されたダウンミックス信号x_M(1), x_M(2), ..., x_M(T)または遅延ダウンミックス信号x_M'(1), x_M'(2), ..., x_M'(T)を用いて、第１参考形態で説明したのと同じ動作を行う。なお、時間シフト部１９１がダウンミックス信号x_M(1), x_M(2), ..., x_M(T)に代えて量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)を出力し、遅延ダウンミックス信号x_M'(1), x_M'(2), ..., x_M'(T)に代えて遅延量子化済みダウンミックス信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を出力した場合には、左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０は、時間シフト部１９１から入力された量子化済みダウンミックス信号^x_M(1), ^x_M(2), ..., ^x_M(T)または遅延量子化済みダウンミックス信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を用いて上述した処理を行う。

≪復号装置２０１≫
第２参考形態の復号装置２０１は、図１２に示す通り、モノラル復号部２１０とステレオ復号部２２０と左チャネル減算利得復号部２３０と左チャネル信号加算部２４０と右チャネル減算利得復号部２５０と右チャネル信号加算部２６０と左右時間差復号部２７１と時間シフト部２８１を含む。第２参考形態の復号装置２０１が第１参考形態の復号装置２００と異なるのは、上述した各符号に加えて後述する左右時間差符号Ｃτも入力されることと、左右時間差復号部２７１と時間シフト部２８１を含むことと、モノラル復号部２１０が出力した信号に代えて時間シフト部２８１が出力した信号を左チャネル信号加算部２４０と右チャネル信号加算部２６０が用いること、である。第２参考形態の復号装置２０１のその他の構成及び動作は第１参考形態の復号装置２００と同じである。第２参考形態の復号装置２０１は、各フレームについて、図１３に例示するステップＳ２１０からステップＳ２８１の処理を行う。以下、第２参考形態の復号装置２０１が第１参考形態の復号装置２００と異なる点について説明する。

［左右時間差復号部２７１］
左右時間差復号部２７１には、復号装置２０１に入力された左右時間差符号Ｃτが入力される。左右時間差復号部２７１は、左右時間差符号Ｃτを所定の復号方式で復号して左右時間差τを得て出力する（ステップＳ２７１）。所定の復号方式としては、対応する符号化装置１０１の左右関係情報推定部１８１で用いた符号化方式に対応する復号方式を用いる。左右時間差復号部２７１が得る左右時間差τは、対応する符号化装置１０１の左右関係情報推定部１８１が得た左右時間差τと同じ値であり、τ_maxからτ_minまでの範囲内の何れかの値である。

［時間シフト部２８１］
時間シフト部２８１には、モノラル復号部２１０が出力したモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)と、左右時間差復号部２７１が出力した左右時間差τと、が入力される。時間シフト部２８１は、左右時間差τが正の値である場合（すなわち、左右時間差τが左チャネルが先行していることを表す場合）には、モノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)をそのまま左チャネル信号加算部２４０に出力し（すなわち、左チャネル信号加算部２４０で用いることを決定し）、モノラル復号音信号を|τ|サンプル遅らせた信号^x_M(1-|τ|), ^x_M(2-|τ|), ..., ^x_M(T-|τ|)である遅延モノラル復号音信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を右チャネル信号加算部２６０に出力し（すなわち、右チャネル信号加算部２６０で用いることを決定し）、左右時間差τが負の値である場合（すなわち、左右時間差τが右チャネルが先行していることを表す場合）には、モノラル復号音信号を|τ|サンプル遅らせた信号^x_M(1-|τ|), ^x_M(2-|τ|), ..., ^x_M(T-|τ|)である遅延モノラル復号音信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を左チャネル信号加算部２４０に出力し（すなわち、左チャネル信号加算部２４０で用いることを決定し）、モノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)をそのまま右チャネル信号加算部２６０に出力し（すなわち、右チャネル信号加算部２６０で用いることを決定し）、左右時間差τが０である場合（すなわち、左右時間差τが何れのチャネルも先行していないことを表す場合）には、モノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)をそのまま左チャネル信号加算部２４０と右チャネル信号加算部２６０に出力する（すなわち、左チャネル信号加算部２４０と右チャネル信号加算部２６０で用いることを決定する）（ステップＳ２８１）。なお、時間シフト部２８１では遅延モノラル復号音信号を得るために過去のフレームのモノラル復号音信号を用いることから、時間シフト部２８１内の図示しない記憶部には、過去のフレームで入力されたモノラル復号音信号を予め定めたフレーム数分だけ記憶しておく。

［左チャネル信号加算部２４０、右チャネル信号加算部２６０］
左チャネル信号加算部２４０と右チャネル信号加算部２６０は、第１参考形態で説明したのと同じ動作を、モノラル復号部２１０が出力したモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)に代えて、時間シフト部２８１から入力されたモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)または遅延モノラル復号音信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を用いて行う（ステップＳ２４０、Ｓ２６０）。すなわち、左チャネル信号加算部２４０と右チャネル信号加算部２６０は、時間シフト部２８１で決定されたモノラル復号音信号^x_M(1), ^x_M(2), ..., ^x_M(T)または遅延モノラル復号音信号^x_M'(1), ^x_M'(2), ..., ^x_M'(T)を用いて、第１参考形態で説明したのと同じ動作を行う。

＜第１実施形態＞
第２参考形態の符号化装置１０１に対して、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしたのが、第１実施形態である。以下、第１実施形態の符号化装置について説明する。なお、第１実施形態の符号化装置が得た符号は、第２参考形態の復号装置２０１で復号することができるので、復号装置の説明は省略する。

≪符号化装置１０２≫
第１実施形態の符号化装置１０２は、図１０に示す通り、ダウンミックス部１１２と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８２と時間シフト部１９１を含む。第１実施形態の符号化装置１０２が第２参考形態の符号化装置１０１と異なるのは、左右関係情報推定部１８１に代えて左右関係情報推定部１８２を含み、ダウンミックス部１１０に代えてダウンミックス部１１２を含み、図１０に破線で示す通り、左右関係情報推定部１８２が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部１１２に入力されて用いられることである。第１実施形態の符号化装置１０２のその他の構成及び動作は第２参考形態の符号化装置１０１と同じである。第１実施形態の符号化装置１０２は、各フレームについて、図１４に例示するステップＳ１１２からステップＳ１９１の処理を行う。以下、第１実施形態の符号化装置１０２が第２参考形態の符号化装置１０１と異なる点について説明する。

［左右関係情報推定部１８２］
左右関係情報推定部１８２には、符号化装置１０２に入力された左チャネルの入力音信号と、符号化装置１０２に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８２は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右時間差τと、左右時間差τを表す符号である左右時間差符号Ｃτと、左右相関係数γと、先行チャネル情報と、を得て出力する（ステップＳ１８２）。左右関係情報推定部１８２が左右時間差τと左右時間差符号Ｃτを得る処理は、第２参考形態の左右関係情報推定部１８１と同様である。

左右相関係数γは、第２参考形態の左右関係情報推定部１８１の説明箇所で上述した仮定における、音源から左チャネル用のマイクロホンに到達して収音された音信号と、当該音源から右チャネル用のマイクロホンに到達して収音された音信号と、の相関係数に相当する情報である。先行チャネル情報は、音源が発した音がどちらのマイクロホンに早く到達しているかに相当する情報であり、同じ音信号が左チャネルの入力音信号と右チャネルの入力音信号のどちらに先に含まれているかを表す情報であり、左チャネルと右チャネルのどちらのチャネルが先行しているかを表す情報である。

第２参考形態の左右関係情報推定部１８１の説明箇所で上述した例であれば、左右関係情報推定部１８２は、左チャネルの入力音信号のサンプル列と、左右時間差τ分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関値、すなわち、τ_maxからτ_minまでの各候補サンプル数τ_candについて計算した相関値γ_candのうちの最大値、を左右相関係数γとして得て出力する。また、左右関係情報推定部１８２は、左右時間差τが正の値である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力し、左右時間差τが負の値である場合には、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力する。左右関係情報推定部１８２は、左右時間差τが０である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいし、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいが、何れのチャネルも先行していないことを表す情報を先行チャネル情報として得て出力するとよい。

［ダウンミックス部１１２］
ダウンミックス部１１２には、符号化装置１０２に入力された左チャネルの入力音信号と、符号化装置１０２に入力された右チャネルの入力音信号と、左右関係情報推定部１８２が出力した左右相関係数γと、左右関係情報推定部１８２が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。

例えば、第２参考形態の左右関係情報推定部１８１の説明箇所で上述した例のように相関値に相関係数の絶対値や正規化された値を用いているならば、得られる左右相関係数γは0以上1以下の値であるため、ダウンミックス部１１２は、対応する各サンプル番号tに対して、左右相関係数γで定まる重みを用いて左チャネルの入力音信号x_L(t)と右チャネルの入力音信号x_R(t)を重み付け加算したものをダウンミックス信号x_M(t)とすればよい。具体的には、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す情報である場合、すなわち、左チャネルが先行している場合には、x_M(t)= ((1+γ)/2)×x_L(t)＋((1-γ)/2)×x_R(t)、先行チャネル情報が右チャネルが先行していることを表す情報である場合、すなわち、右チャネルが先行している場合には、x_M(t)= ((1-γ)/2)×x_L(t)＋((1+γ)/2)×x_R(t)、としてダウンミックス信号x_M(t)を得ればよい。ダウンミックス部１１２がこのようにダウンミックス信号を得ることで、当該ダウンミックス信号は、左右相関係数γが小さいほど、つまり左チャネルの入力音信号と右チャネルの入力音信号の相関が小さいほど、左チャネルの入力音信号と右チャネルの入力音信号の平均により得られる信号に近く、左右相関係数γが大きいほど、つまり左チャネルの入力音信号と右チャネルの入力音信号の相関が大きいほど、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号に近い。

なお、ダウンミックス部１１２は、何れのチャネルも先行していない場合には、左チャネルの入力音信号と右チャネルの入力音信号が同じ重みでダウンミックス信号に含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を平均してダウンミックス信号を得て出力するのがよい。そこで、ダウンミックス部１１２は、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、左チャネルの入力音信号x_L(t)と右チャネルの入力音信号x_R(t)を平均したx_M(t)=(x_L(t)+x_R(t))/2をダウンミックス信号x_M(t)とする。

＜第２実施形態＞
第１参考形態の符号化装置１００に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を生成する変形をしてもよく、この形態を第２実施形態として説明する。なお、第２実施形態の符号化装置が得た符号は、第１参考形態の復号装置２００で復号することができるので、復号装置の説明は省略する。

≪符号化装置１０３≫
第２実施形態の符号化装置１０３は、図１に示す通り、ダウンミックス部１１２と左チャネル減算利得推定部１２０と左チャネル信号減算部１３０と右チャネル減算利得推定部１４０と右チャネル信号減算部１５０とモノラル符号化部１６０とステレオ符号化部１７０と左右関係情報推定部１８３を含む。第２実施形態の符号化装置１０３が第１参考形態の符号化装置１００と異なるのは、ダウンミックス部１１０に代えてダウンミックス部１１２を含み、図１に破線で示す通り、左右関係情報推定部１８３を含み、左右関係情報推定部１８３が左右相関係数γと先行チャネル情報を得て出力し、出力した左右相関係数γと先行チャネル情報がダウンミックス部１１２に入力されて用いられることである。第２実施形態の符号化装置１０３のその他の構成及び動作は第１参考形態の符号化装置１００と同じである。また、第２実施形態の符号化装置１０３のダウンミックス部１１２の動作は、第１実施形態の符号化装置１０２のダウンミックス部１１２の動作と同じである。第２実施形態の符号化装置１０３は、各フレームについて、図１５に例示するステップＳ１１２からステップＳ１８３の処理を行う。以下、第２実施形態の符号化装置１０３が第１参考形態の符号化装置１００とも第１実施形態の符号化装置１０２とも異なる点について説明する。

［左右関係情報推定部１８３］
左右関係情報推定部１８３には、符号化装置１０３に入力された左チャネルの入力音信号と、符号化装置１０３に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８３は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左右相関係数γと、先行チャネル情報と、を得て出力する（ステップＳ１８３）。

左右関係情報推定部１８３が得て出力する左右相関係数γと先行チャネル情報は、第１実施形態で説明したものと同じである。すなわち、左右関係情報推定部１８３は、左右時間差τと左右時間差符号Ｃτを得ずに出力しないでよいこと以外は左右関係情報推定部１８２と同じでよい。

例えば、左右関係情報推定部１８３は、τ_maxからτ_minまでの各候補サンプル数τ_candについて、左チャネルの入力音信号のサンプル列と、各候補サンプル数τ_cand分だけ当該サンプル列より後にずれた位置にある右チャネルの入力音信号のサンプル列と、の相関値γ_candのうちの最大値を左右相関係数γとして得て出力し、相関値が最大値のときのτ_candが正の値である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力し、相関値が最大値のときのτ_candが負の値である場合には、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力する。左右関係情報推定部１８３は、相関値が最大値のときのτ_candが０である場合には、左チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいし、右チャネルが先行していることを表す情報を先行チャネル情報として得て出力してもよいが、何れのチャネルも先行していないことを表す情報を先行チャネル情報として得て出力するとよい。

＜第３実施形態＞
各チャネルの差分信号ではなく各チャネルの入力音信号をステレオ符号化する符号化装置に対しても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよく、この形態を第３実施形態として説明する。

≪符号化装置１０４≫
第３実施形態の符号化装置１０４は、図１６に示す通り、左右関係情報推定部１８３とダウンミックス部１１２とモノラル符号化部１６０とステレオ符号化部１７４を含む。第３実施形態の符号化装置１０４は、各フレームについて、図１７に例示するステップＳ１８３とステップＳ１１２とステップＳ１６０とステップＳ１７４の処理を行う。以下、第３実施形態の符号化装置１０４について、第２実施形態の説明を適宜参照して説明する。

［左右関係情報推定部１８３］
左右関係情報推定部１８３は、第２実施形態の左右関係情報推定部１８３と同じである。左右関係情報推定部１８３には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、が入力される。左右関係情報推定部１８３は、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８３）。

［ダウンミックス部１１２］
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じである。ダウンミックス部１１２には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、左右関係情報推定部１８３が出力した左右相関係数γと、左右関係情報推定部１８３が出力した先行チャネル情報と、が入力される。ダウンミックス部１１２は、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。

例えば、サンプル番号をtとし、左チャネルの入力音信号をx_L(t)とし、右チャネルの入力音信号をx_R(t)とし、ダウンミックス信号をx_M(t)とすると、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1+γ)/2)×x_L(t)+((1-γ)/2)×x_R(t)によりダウンミックス信号を得て、先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1-γ)/2)×x_L(t)+((1+γ)/2)×x_R(t)によりダウンミックス信号を得て、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、x_M(t)=(x_L(t)+x_R(t))/2によりダウンミックス信号を得る。

［モノラル符号化部１６０］
モノラル符号化部１６０は、第２実施形態のモノラル符号化部１６０と同じである。モノラル符号化部１６０には、ダウンミックス部１１２が出力したダウンミックス信号が入力される。モノラル符号化部１６０は、入力されたダウンミックス信号を符号化してモノラル符号ＣＭを得て出力する（ステップＳ１６０）。モノラル符号化部１６０は、どのような符号化方式を用いてもよく、例えば3GPP EVS規格のような符号化方式を用いればよい。符号化方式は、後述するステレオ符号化部１７４と独立して符号化処理を行う符号化方式、すなわち、ステレオ符号化部１７４で得られるステレオ符号ＣＳ’やステレオ符号化部１７４が行う符号化処理において得られる情報を用いずに符号化処理を行う符号化方式であってもよいし、ステレオ符号化部１７４で得られるステレオ符号ＣＳ’やステレオ符号化部１７４が行う符号化処理において得られる情報を用いて符号化処理を行う符号化方式であってもよい。

［ステレオ符号化部１７４］
ステレオ符号化部１７４には、符号化装置１０４に入力された左チャネルの入力音信号と、符号化装置１０４に入力された右チャネルの入力音信号と、が入力される。ステレオ符号化部１７４は、入力された左チャネルの入力音信号と右チャネルの入力音信号を符号化してステレオ符号ＣＳ’を得て出力する（ステップＳ１７４）。ステレオ符号化部１７４は、どのような符号化方式を用いてもよく、例えばMPEG-4 AAC規格のステレオ復号方式に対応するステレオ符号化方式を用いてもよいし、入力された左チャネルの入力音信号と右チャネルの入力音信号それぞれを独立して符号化する符号化方式を用いてもよく、符号化により得られた符号全てを合わせたものをステレオ符号ＣＳ’とすればよい。符号化方式は、モノラル符号化部１６０と独立して符号化処理を行う符号化方式、すなわち、モノラル符号化部１６０で得られるモノラル符号ＣＭやモノラル符号化部１６０が行う符号化処理において得られる情報を用いずに符号化処理を行う符号化方式であってもよいし、モノラル符号化部１６０で得られるモノラル符号ＣＭやモノラル符号化部１６０が行う符号化処理において得られる情報を用いて符号化処理を行う符号化方式であってもよい。

＜第４実施形態＞
以上の実施形態での説明からも分かる通り、符号化装置が、左チャネルの入力音信号と右チャネルの入力音信号から得たダウンミックス信号を少なくとも符号化して符号を得るのであれば、それがどのような符号化装置であっても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。また、符号化装置に限らず、信号処理装置が、左チャネルの入力音信号と右チャネルの入力音信号から得たダウンミックス信号を少なくとも信号処理して信号処理結果を得るのであれば、それがどのような信号処理装置であっても、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。さらに、これらの符号化装置や信号処理装置の前段で用いるダウンミックス装置として、左チャネルの入力音信号と右チャネルの入力音信号の関係を考慮してダウンミックス信号を得る構成を採用してもよい。これらの形態を第４実施形態として説明する。

≪音信号符号化装置１０５≫
第４実施形態の音信号符号化装置１０５は、図１８に示す通り、左右関係情報推定部１８３とダウンミックス部１１２と符号化部１９５を含む。第４実施形態の音信号符号化装置１０５は、各フレームについて、図１９に例示するステップＳ１８３とステップＳ１１２とステップＳ１９５の処理を行う。以下、第４実施形態の音信号符号化装置１０５について、第２実施形態の説明を適宜参照して説明する。

［左右関係情報推定部１８３］
左右関係情報推定部１８３は、第２実施形態の左右関係情報推定部１８３と同じであり、入力された左チャネルの入力音信号と右チャネルの入力音信号から、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８３）。

［ダウンミックス部１１２］
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じであり、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。

［符号化部１９５］
符号化部１９５には、ダウンミックス部１１２が出力したダウンミックス信号が少なくとも入力される。符号化部１９５は、入力されたダウンミックス信号を少なくとも符号化して音信号符号を得て出力する（ステップＳ１９５）。符号化部１９５は、左チャネルの入力音信号と右チャネルの入力音信号も符号化してもよく、この符号化で得た符号も音信号符号に含めて出力してもよい。この場合には、図１８に破線で示すように、符号化部１９５には左チャネルの入力音信号と右チャネルの入力音信号も入力される。

≪音信号処理装置３０５≫
第４実施形態の音信号処理装置３０５は、図２０に示す通り、左右関係情報推定部１８３とダウンミックス部１１２と信号処理部３１５を含む。第４実施形態の音信号処理装置３０５は、各フレームについて、図２１に例示するステップＳ１８３とステップＳ１１２とステップＳ３１５の処理を行う。以下、第４実施形態の音信号処理装置３０５について、第４実施形態の音信号符号化装置１０５と異なる点を説明する。

［信号処理部３１５］
信号処理部３１５には、ダウンミックス部１１２が出力したダウンミックス信号が少なくとも入力される。信号処理部３１５は、入力されたダウンミックス信号を少なくとも信号処理して信号処理結果を得て出力する（ステップＳ３１５）。信号処理部３１５は、左チャネルの入力音信号と右チャネルの入力音信号も信号処理して信号処理結果を得てもよく、この場合には、図２０に破線で示すように、信号処理部３１５には左チャネルの入力音信号と右チャネルの入力音信号も入力される。信号処理部３１５は、例えば、各チャネルの入力音信号に対してダウンミックス信号を用いた信号処理を行って各チャネルの出力音信号を信号処理結果として得てもよいし、第３実施形態のステレオ符号化部１７４で得た符号ＣＳ’をステレオ符号化部１７４に対応する復号部を備える復号装置で復号して得た左チャネルの復号音信号と右チャネルの復号音信号に対してこの信号処理を行ってもよい。すなわち、音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号が２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であるのは必須ではなく、音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号は、符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号であってもよいし、ステレオの２チャネルの音信号であればどのようにして得られた音信号であってもよい。

音信号処理装置３０５に入力される左チャネルの入力音信号と右チャネルの入力音信号が別装置で符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号である場合などには、左右関係情報推定部１８３が得るのと同じ左右相関係数γと先行チャネル情報の何れか一方または両方が別装置で得られている場合がある。左右相関係数γと先行チャネル情報の何れか一方または両方が別装置で得られている場合は、図２０に一点鎖線で示す通り、音信号処理装置３０５には、別装置で得た左右相関係数γと先行チャネル情報の何れか一方または両方が入力されるようにすればよい。この場合には、左右関係情報推定部１８３は、音信号処理装置３０５に入力されなかった左右相関係数γまたは先行チャネル情報を得るようにすればよく、左右相関係数γと先行チャネル情報の両方が音信号処理装置３０５に入力される場合には、音信号処理装置３０５は、左右関係情報推定部１８３を備えずステップＳ１８３を行わないでよい。すなわち、音信号処理装置３０５は、図２０に二点鎖線で示す通り、左右関係情報取得部１８５を備えて、左右関係情報取得部１８５が、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力するようにすればよい（ステップＳ１８５）。なお、上述した各装置の左右関係情報推定部１８３とステップＳ１８３も、左右関係情報取得部１８５とステップＳ１８５の範疇であるといえる。

≪音信号ダウンミックス装置４０５≫
第４実施形態の音信号ダウンミックス装置４０５は、図２２に示す通り、左右関係情報取得部１８５とダウンミックス部１１２を含む。音信号ダウンミックス装置４０５は、各フレームについて、図２３に例示するステップＳ１８５とステップＳ１１２の処理を行う。以下、音信号ダウンミックス装置４０５について、第２実施形態の説明を適宜参照して説明する。なお、音信号処理装置３０５と同様に、音信号ダウンミックス装置４０５に入力される左チャネルの入力音信号と右チャネルの入力音信号は、２個のマイクロホンそれぞれで収音してＡＤ変換して得られたディジタルの音声信号又は音響信号であってもよいし、符号を復号して得た左チャネルの復号音信号と右チャネルの復号音信号であってもよいし、ステレオの２チャネルの音信号であればどのようにして得られた音信号であってもよい。

［左右関係情報取得部１８５］
左右関係情報取得部１８５は、左チャネルの入力音信号と右チャネルの入力音信号の相関係数である左右相関係数γと、左チャネルの入力音信号と右チャネルの入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、を得て出力する（ステップＳ１８５）。

左右相関係数γと先行チャネル情報の両方が別装置で得られている場合には、図２２に一点鎖線で示すように、左右関係情報取得部１８５は別装置から音信号ダウンミックス装置４０５に入力された左右相関係数γと先行チャネル情報を得てダウンミックス部１１２に対して出力する。

左右相関係数γと先行チャネル情報の両方が別装置で得られていない場合には、図２２に破線で示すように、左右関係情報取得部１８５は左右関係情報推定部１８３を備える。左右関係情報推定部１８３は、左右相関係数γと先行チャネル情報を、第２実施形態の左右関係情報推定部１８３と同様に左チャネルの入力音信号と右チャネルの入力音信号から得て、ダウンミックス部１１２に対して出力する。

左右相関係数γと先行チャネル情報の何れか一方が別装置で得られていない場合には、図２２に破線で示すように、左右関係情報取得部１８５は、左右関係情報推定部１８３を備える。左右関係情報取得部１８５の左右関係情報推定部１８３は、別装置で得られていない左右相関係数γまたは別装置で得られていない先行チャネル情報を、第２実施形態の左右関係情報推定部１８３と同様に左チャネルの入力音信号と右チャネルの入力音信号から得て、ダウンミックス部１１２に対して出力する。別装置で得られている左右相関係数γまたは別装置で得られている先行チャネル情報については、左右関係情報取得部１８５は、図２２に一点鎖線で示すように、別装置から音信号ダウンミックス装置４０５に入力された左右相関係数γまたは先行チャネル情報をダウンミックス部１１２に対して出力する。

［ダウンミックス部１１２］
ダウンミックス部１１２は、第２実施形態のダウンミックス部１１２と同じであり、左右関係情報取得部１８５が取得した先行チャネル情報と左右相関係数と基づいて、ダウンミックス信号に、左チャネルの入力音信号と右チャネルの入力音信号のうちの先行しているチャネルの入力音信号のほうが、左右相関係数γが大きいほど大きく含まれるように、左チャネルの入力音信号と右チャネルの入力音信号を重み付け平均してダウンミックス信号を得て出力する（ステップＳ１１２）。

例えば、サンプル番号をtとし、左チャネルの入力音信号をx_L(t)とし、右チャネルの入力音信号をx_R(t)とし、ダウンミックス信号をx_M(t)とすると、ダウンミックス部１１２は、先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1+γ)/2)×x_L(t)+((1-γ)/2)×x_R(t)によりダウンミックス信号を得て、先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1-γ)/2)×x_L(t)+((1+γ)/2)×x_R(t)によりダウンミックス信号を得て、先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、x_M(t)=(x_L(t)+x_R(t))/2によりダウンミックス信号を得る。

＜プログラム及び記録媒体＞
上述した各符号化装置と各復号装置と音信号符号化装置と音信号処理装置と音信号ダウンミックス装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図２４に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (10)

1. 左チャネル入力音信号と右チャネル入力音信号を混合した信号であるダウンミックス信号を得る音信号ダウンミックス方法であって、
   前記左チャネル入力音信号と前記右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報取得ステップと、
   前記先行チャネル情報と前記左右相関係数とに基づき、前記左チャネル入力音信号と前記右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、前記左右相関係数が大きいほど大きく含まれるように、前記左チャネル入力音信号と前記右チャネル入力音信号を重み付け平均して前記ダウンミックス信号を得るダウンミックスステップと、
   を含むことを特徴とする音信号ダウンミックス方法。
2. 請求項１に記載の音信号ダウンミックス方法であって、
   サンプル番号をtとし、前記左チャネル入力音信号をx_L(t)とし、前記右チャネル入力音信号をx_R(t)とし、前記ダウンミックス信号をx_M(t)とし、前記左右相関係数をγとして、
   前記ダウンミックスステップは、
   前記先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1+γ)/2)×x_L(t)+((1-γ)/2)×x_R(t)により前記ダウンミックス信号を得て、
   前記先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1-γ)/2)×x_L(t)+((1+γ)/2)×x_R(t)により前記ダウンミックス信号を得て、
   前記先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、x_M(t)=(x_L(t)+x_R(t))/2により前記ダウンミックス信号を得る
   ことを特徴とする音信号ダウンミックス方法。
3. 請求項１または２に記載の音信号ダウンミックス方法を音信号ダウンミックスステップとして含み、
   前記ダウンミックスステップが得た前記ダウンミックス信号を符号化してモノラル符号を得るモノラル符号化ステップと、
   前記左チャネル入力音信号と前記右チャネル入力音信号を符号化してステレオ符号を得るステレオ符号化ステップと、
   を更に含む
   ことを特徴とする音信号符号化方法。
4. 左チャネル入力音信号と右チャネル入力音信号を混合した信号であるダウンミックス信号を得る音信号ダウンミックス装置であって、
   前記左チャネル入力音信号と前記右チャネル入力音信号のどちらが先行しているかを表す情報である先行チャネル情報と、前記左チャネル入力音信号と前記右チャネル入力音信号の相関係数である左右相関係数と、を得る左右関係情報取得部と、
   前記先行チャネル情報と前記左右相関係数とに基づき、前記左チャネル入力音信号と前記右チャネル入力音信号のうちの先行しているチャネルの入力音信号のほうが、前記左右相関係数が大きいほど大きく含まれるように、前記左チャネル入力音信号と前記右チャネル入力音信号を重み付け平均して前記ダウンミックス信号を得るダウンミックス部と、
   を含むことを特徴とする音信号ダウンミックス装置。
5. 請求項４に記載の音信号ダウンミックス装置であって、
   サンプル番号をtとし、前記左チャネル入力音信号をx_L(t)とし、前記右チャネル入力音信号をx_R(t)とし、前記ダウンミックス信号をx_M(t)とし、前記左右相関係数をγとして、
   前記ダウンミックス部は、
   前記先行チャネル情報が左チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1+γ)/2)×x_L(t)+((1-γ)/2)×x_R(t)により前記ダウンミックス信号を得て、
   前記先行チャネル情報が右チャネルが先行していることを表す場合には、各サンプル番号tについて、x_M(t)=((1-γ)/2)×x_L(t)+((1+γ)/2)×x_R(t)により前記ダウンミックス信号を得て、
   前記先行チャネル情報が何れのチャネルも先行していないことを表す場合には、各サンプル番号tについて、x_M(t)=(x_L(t)+x_R(t))/2により前記ダウンミックス信号を得る
   ことを特徴とする音信号ダウンミックス装置。
6. 請求項４または５に記載の音信号ダウンミックス装置を音信号ダウンミックス部として含み、
   前記ダウンミックス部が得た前記ダウンミックス信号を符号化してモノラル符号を得るモノラル符号化部と、
   前記左チャネル入力音信号と前記右チャネル入力音信号を符号化してステレオ符号を得るステレオ符号化部と、
   を更に含む
   ことを特徴とする音信号符号化装置。
7. 請求項１又は２に記載の音信号ダウンミックス方法の各ステップの処理をコンピュータに実行させるためのプログラム。
8. 請求項３に記載の音信号符号化方法の各ステップの処理をコンピュータに実行させるためのプログラム。
9. 請求項１又は２に記載の音信号ダウンミックス方法の各ステップの処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 請求項３に記載の音信号符号化方法の各ステップの処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images