JP7362320B2 - オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム - Google Patents

Description

本発明は、オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムに関する。

人の声や楽曲等のオーディオ信号を音響伝達関数で畳み込み、オーディオ信号に音の到来方向（言い換えると音像の位置）の情報を付与することにより、音像を定位させる技術が知られている。この技術を適用したオーディオ信号処理装置の具体的構成が特許文献１に記載されている。

特許文献１に記載のオーディオ信号処理装置は、複数の到来方向の音響伝達関数を保持している。各音響伝達関数は、音像定位感を検知する手がかりとなる周波数特性の特徴的な部分であるスペクトラルキューの情報を含んでいる。スペクトラルキューは、周波数が高い領域に多く存在する。このオーディオ信号処理装置は、複数の到来方向の音響伝達関数を合成し、合成した音響伝達関数でオーディオ信号を畳み込むことにより、複数の仮想的なスピーカの音像定位感を再現しつつ、実在のスピーカから出力される音の音像定位感を相対的に弱めるように構成されている。

特開２０１０－１５７９５４号公報

特許文献１では、聴取者の頭部後方に一対のスピーカが設置されている。このような聴取環境において、音響伝達関数で畳み込まれて音の到来方向の情報を付与されたオーディオ信号を再生すると、周波数が高い領域ほど位相がずれやすいという性質上、スペクトラルキューの多くが正しく再現されずに音が聴取者に届く。

上記の位相ずれについて補足説明する。例えば、聴取者の頭部前方の左右夫々にスピーカが設置されたケース１及び聴取者の頭部後方の左右夫々にスピーカが設置されたケース２を考える。ケース２は、スピーカから出力された音の伝達経路上に耳朶が介在している。高域ほど波長が短いため、この耳朶による音の回折及び吸収の影響をより大きく受けてしまい、特に、クロストークの経路（すなわち、左スピーカ－右耳間の経路及び右スピーカ－左耳間の経路）においてケース１と比べて位相ずれが大きくなる。また、ケース２では、ケース１と比べて、位相のずれ量が周波数軸上で非線形的に変化する。ケース２に該当する特許文献１では、高域における大きな位相ずれと、周波数軸上での非線形的な位相ずれとが相俟って、スペクトラルキューを正しく再現することを難しくしており、所望の音像定位感を得難いという問題が指摘される。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、所望の音像定位感を得やすいオーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムを提供することである。

本発明の一実施形態に係るオーディオ信号処理装置は、入力されるオーディオ信号を処理する装置であり、収音部に対して所定の角度をなす方向から到来する到来音を収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、音響伝達関数を補正する補正部と、補正された音響伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与する処理部とを備える。

このように構成されたオーディオ信号処理装置によれば、例えば高域での位相ずれや周波数軸上での非線形的な位相ずれが生じた場合にも、音の到来方向の情報が失われにくいため、例えば聴取者の頭部後方に設置された一対のスピーカから音を聴くような聴取環境であっても、聴取者は、所望の音像定位感を得ることができる。

オーディオ信号処理装置は、補正部にて補正された音響伝達関数を、低域成分と、低域成分よりも高い周波数成分である高域成分に分割し、低域成分を高域成分よりも大きく減衰させた後、低域成分と高域成分とを合成する、関数制御部、を備える構成としてもよい。

このように構成されたオーディオ信号処理装置によれば、低域成分の減衰の程度によって、オーディオ信号に付与する音の距離感（音源との距離）を調整することができるようになる。

オーディオ信号処理装置は、到来音のインパルス応答を保持する保持部と、インパルス応答からスペクトラルキューを含む音響伝達関数を取得する取得部とを備える構成としてもよい。この場合、補正部は、取得部によって取得された音響伝達関数の振幅スペクトルに対して上記の処理を施すことにより、スペクトラルキューのピーク及びノッチを形成する振幅スペクトル上のレベル差を拡大する。

このように構成されたオーディオ信号処理装置によれば、スペクトラルキューのピーク及びノッチを形成する振幅スペクトル上のレベル差を拡大することにより、例えば高域での位相ずれや周波数軸上での非線形的な位相ずれが生じた場合にも、スペクトラルキューのノッチパターン及びピークパターンが完全には崩れない（言い換えると、ノッチパターン及びピークパターンの形状が保たれる）ため、例えば聴取者の頭部後方に設置された一対のスピーカから音を聴くような聴取環境であっても、聴取者は、所望の音像定位感を得ることができる。

保持部は、到来方向が夫々異なる複数の到来音のインパルス応答を保持する構成としてもよい。取得部は、到来方向が夫々異なる複数の到来音のインパルス応答のうち少なくとも２つのインパルス応答の各々から音響伝達関数を取得し、取得した少なくとも２つの音響伝達関数の各々に対して重み付けを行い、重み付けされた少なくとも２つの音響伝達関数を合成する構成としてもよい。

このように構成されたオーディオ信号処理装置によれば、保持部に保持されていない到来方向のインパルス応答を疑似的に再現することができる。

保持部は、到来音の音源から収音部までの距離が夫々異なる複数のインパルス応答を保持する構成としてもよい。取得部は、距離が夫々異なる複数の到来音のインパルス応答のうち少なくとも２つのインパルス応答の各々から音響伝達関数を取得し、取得した少なくとも２つの音響伝達関数の各々に対して重み付けを行い、重み付けされた少なくとも２つの音響伝達関数を合成する構成としてもよい。

このように構成されたオーディオ信号処理装置によれば、保持部に保持されていない距離（すなわち到来音の音源から収音部までの距離）のインパルス応答を疑似的に再現することができる。

オーディオ信号処理装置は、オーディオ信号をフーリエ変換する変換部を備える構成としてもよい。この場合、取得部は、到来音のインパルス応答をフーリエ変換することにより、音響伝達関数を取得する。処理部は、フーリエ変換後のオーディオ信号を、補正部によって補正された音響伝達関数で畳み込み、畳み込み後のオーディオ信号を逆フーリエ変換することにより、音の到来方向の情報を付与されたオーディオ信号を得る。

本発明の別の一実施形態に係るオーディオ信号処理装置は、入力されるオーディオ信号を処理する装置であり、収音部に対して所定の角度をなす方向から到来する到来音を収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに現れるスペクトラルキューのピーク及びノッチを強調する処理を施すことにより、音響伝達関数を補正する補正部と、補正された音響伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与する処理部とを備える。

このように構成されたオーディオ信号処理装置によれば、スペクトラルキューのピーク及びノッチを強調することにより、例えば高域での位相ずれや周波数軸上での非線形的な位相ずれが生じた場合にも、スペクトラルキューのノッチパターン及びピークパターンが完全には崩れないため、例えば聴取者の頭部後方に設置された一対のスピーカから音を聴くような聴取環境であっても、聴取者は、所望の音像定位感を得ることができる。

本発明の一実施形態に係るオーディオ信号処理方法は、入力されるオーディオ信号を処理するオーディオ信号処理装置が実行する方法であり、収音部に対して所定の角度をなす方向から到来する到来音を収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、音響伝達関数を補正する補正ステップと、補正ステップにて補正された音響伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与する処理ステップとを含む。

本発明の一実施形態に係るオーディオ信号処理プログラムは、上記のオーディオ信号処理方法をコンピュータに実行させるためのプログラムである。

本発明の一実施形態によれば、所望の音像定位感を得やすいオーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムが提供される。

本発明の一実施形態に係るオーディオ信号処理装置が設置された車両内を模式的に示す図である。 本発明の一実施形態に係るオーディオ信号処理装置の構成を示すブロック図である。 本発明の一実施形態に係るオーディオ信号処理装置に備えられる参照情報抽出部の動作を説明するための図である。 本発明の一実施形態に係るオーディオ信号処理装置に備えられるＦＦＴ（Fast Fourier Transform）部より出力される参照スペクトルを示す図である。 本発明の一実施形態に係るＦＦＴ部より出力される参照スペクトルを示す図である。 本発明の一実施形態に係るオーディオ信号処理装置に備えられる生成部より出力される参照スペクトルを示す図である。 模擬したい到来方向が「方位角４０°、仰俯角０°」である場合の具体例を示す図である。 模擬したい音源との距離が「０．５０ｍ」である場合の具体例を示す図である。 本発明の一実施形態に係るオーディオ信号処理装置に備えられる強調部が図６に示される参照スペクトルを補正することによって得る基準スペクトルを示す図である。 基準スペクトルの一例を示す図である。 本発明の一実施形態に係るオーディオ信号処理装置に備えられる音像領域制御部が図１０に示される基準スペクトルを処理することによって得る基準付与フィルタを示す図である。 本発明の一実施形態に係る音像領域制御部が図１０に示される基準スペクトルを処理することによって得る基準付与フィルタを示す図である。 本発明の一実施形態に係る音像領域制御部が図９に示される基準スペクトルを処理することによって得る基準付与フィルタを示す図である。 本発明の一実施形態においてオーディオ信号処理装置に備えられるシステムコントローラが実行する処理を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。以下においては、本発明の一実施形態として、車両に搭載されたオーディオ信号処理装置を例に取り説明する。なお、本発明に係るオーディオ信号処理装置は車載されたものに限らない。

図１は、本発明の一実施形態に係るオーディオ信号処理装置１が設置された車両ａ内を模式的に示す図である。図１では、便宜上、運転席に座る搭乗者ｂの頭部ｃを示す。

図１に示されるように、運転席に設置されたヘッドレストＨＲに一対のスピーカＳＰ_Ｌ及びＳＰ_Ｒが埋設されている。スピーカＳＰ_Ｌは、頭部ｃの左後方に位置し、スピーカＳＰ_Ｒは、頭部ｃの右後方に位置する。図１では、運転席に設置されたヘッドレストＨＲにのみスピーカＳＰ_Ｌ及びＳＰ_Ｒを示しているが、これらスピーカＳＰ_Ｌ及びＳＰ_Ｒは、他の座席のヘッドレストに設置されていてもよい。

オーディオ信号処理装置１は、音源より入力されるオーディオ信号を処理する装置であり、例えばダッシュボード内に設置されている。オーディオ信号をオーディオ信号処理装置１に出力する音源には、例えばナビゲーション装置や車載オーディオ装置が挙げられる。

オーディオ信号処理装置１は、模擬したい音の到来方向の音響伝達関数の振幅スペクトルに現れるスペクトラルキューのピーク及びノッチを強調する処理を施すことにより、この音響伝達関数を補正する。オーディオ信号処理装置１は、補正した音響伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与したうえで、クロストークキャンセル処理を施す。これにより、オーディオ信号に付与された音の到来方向の情報が例えば前方右斜め上方の場合、搭乗者ｂは、スピーカＳＰ_Ｌ及びＳＰ_Ｒから出力された音を前方右斜め上方からの音として知覚する。

図２は、オーディオ信号処理装置１の構成を示すブロック図である。図２に示されるように、オーディオ信号処理装置１は、ＦＦＴ部１２、乗算部１４、ＩＦＦＴ（Inverse Fast Fourier Transform）部１６、音場信号データベース１８、参照情報抽出部２０、基準生成部２２、音像領域制御部２４、システムコントローラ２６及び操作部２８を備える。

なお、オーディオ信号処理装置１は、ナビゲーション装置や車載オーディオ装置とは別個独立した装置であってもよく、ナビゲーション装置内や車載オーディオ装置内に実装されたＤＳＰ（Digital Signal Processor）であってもよい。後者の場合、システムコントローラ２６及び操作部２８は、ＤＳＰであるオーディオ信号処理装置１ではなく、ナビゲーション装置や車載オーディオ装置に備えられたものとなる。

ＦＦＴ部１２は、音源より入力されるオーディオ信号（便宜上「入力信号ｘ」と記す。）をフーリエ変換処理によって時間領域から周波数領域の信号である入力スペクトルＸに変換して、乗算部１４に出力する。

このように、ＦＦＴ部１２は、オーディオ信号をフーリエ変換する変換部として動作する。

乗算部１４は、ＦＦＴ部１２より入力される入力スペクトルＸを音像領域制御部２４より入力される基準付与フィルタＨで畳み込み、畳み込みによって得た基準付与スペクトルＹをＩＦＦＴ部１６に出力する。この畳み込み処理により、入力スペクトルＸに音の到来方向の情報が付与される。

ＩＦＦＴ部１６は、乗算部１４より入力される基準付与スペクトルＹを逆フーリエ変換処理によって周波数領域から時間領域の信号である出力信号ｙに変換して、後段の回路に出力する。なお、本実施形態では、ＦＦＴ部１２によるフーリエ変換処理及びＩＦＦＴ部１６による逆フーリエ変換処理は、８１９２サンプルのフーリエ変換長によって実行される。

ＩＦＦＴ部１６の後段の回路は、例えばナビゲーション装置や車載オーディオ装置が備える回路であり、ＩＦＦＴ部１６より入力される出力信号ｙに対してクロストークキャンセル処理をはじめとする周知の処理を施して、スピーカＳＰ_Ｌ及びＳＰ_Ｒに出力する。これにより、搭乗者ｂは、スピーカＳＰ_Ｌ及びＳＰ_Ｒから出力された音を、オーディオ信号処理装置１によって模擬された方向からの音として知覚する。

音像領域制御部２４より出力される基準付与フィルタＨは、オーディオ信号に音の到来方向の情報を付与する音響伝達関数である。この基準付与フィルタＨが生成されるまでの一連の処理を以下に詳細に説明する。

特許文献１に例示されるように、インパルス応答を測定するシステムが公然知られている。この種のシステムでは、人間の顔、耳、頭、胴体等を模したダミーヘッドにマイクロフォンを取り付けたもの（便宜上「ダミーヘッドマイク」と記す。）が測定室内に設置されており、このダミーヘッドマイクを上下左右３６０°取り囲むように（例えばダミーヘッドマイクを中心にした球面軌跡上の位置に）複数のスピーカが並べて設置されている。このスピーカアレイを構成する個々のスピーカは、ダミーヘッドマイクの位置を基準とした各方位角及び各仰俯角に例えば３０°間隔で設置されている。各スピーカは、ダミーヘッドマイクを中心にした球面の軌跡上を移動することができ、また、ダミーヘッドマイクに接近する方向及び離間する方向に移動することもできる。

音場信号データベース１８には、上記のシステムにおいて、スピーカアレイを構成する各スピーカより出力される音（言い換えると、収音部であるダミーヘッドマイクに対して所定の角度（詳細には方位角及び仰俯角）をなす方向から到来する到来音）をダミーヘッドマイクで順次収音することによって得たインパルス応答が予め保持されている。すなわち、音場信号データベース１８には、到来方向が夫々異なる複数の到来音のインパルス応答が予め保持されている。

上記のシステムでは、音源である各スピーカをダミーヘッドマイクに接近する方向及び離間する方向に移動させ、移動後の各スピーカの各位置（言い換えると、各スピーカとダミーヘッドマイク間の各距離）でのインパルス応答が測定される。音場信号データベース１８には、各到来方向について、スピーカとダミーヘッドマイク間の各距離（例えば０．２５ｍ、１．０ｍ・・・）でのインパルス応答が予め保持されている。すなわち、音場信号データベース１８には、各到来音の音源（すなわち各スピーカ）から収音部までの距離が夫々異なる複数のインパルス応答が保持されている。

このように、音場信号データベース１８は、到来音のインパルス応答を保持する保持部として動作する。

本実施形態では、音の到来方向及び音源との距離を示すメタ情報が入力信号ｘに含まれているものとする。音場信号データベース１８は、システムコントローラ２６の制御下で、入力信号ｘに含まれるメタ情報をもとに少なくとも１つのインパルス応答を出力する。

模擬したい到来方向の一例として「方位角４０°、仰俯角０°」を挙げる。音場信号データベース１８には、この到来方向のインパルス応答そのものは保持されていない。音場信号データベース１８は、この到来方向のインパルス応答（言い換えると、音響伝達関数）を疑似的に再現するため、この到来方向に位置するスピーカを挟む一対のスピーカに対応するインパルス応答、すなわち、「方位角３０°、仰俯角０°」のインパルス応答と「方位角６０°、仰俯角０°」のインパルス応答を出力する。ここで出力される２つのインパルス応答を便宜上「第一インパルス応答ｉ_１」、「第二インパルス応答ｉ_２」と記す。なお、模擬したい到来方向が例えば「方位角３０°、仰俯角０°」の場合、音場信号データベース１８は、「方位角３０°、仰俯角０°」のインパルス応答のみを出力する。

別の実施形態では、音場信号データベース１８は、「方位角４０°、仰俯角０°」のインパルス応答を疑似的に再現するため、到来方向が「方位角４０°、仰俯角０°」に近い３つ以上のインパルス応答を出力してもよい。

音場信号データベース１８より出力されるインパルス応答は、操作部２８に対する操作によって聴取者（例えば搭乗者ｂ）が任意に設定できるようにしてもよく、また、ナビゲーション装置や車載オーディオ装置で設定された音場に応じてシステムコントローラ２６が自動的に設定してもよい。

音響伝達関数に含まれる頭部伝達関数の高域に存在するスペクトラルキュー（高域に存在する周波数領域上のノッチやピーク）は、音像定位感を検知する手がかりとなる特徴的な部分として知られている。このノッチ及びピークのパターンは、主に耳介によって決定されるといわれている。この耳介の影響は、観測点（すなわち外耳道入口）との位置関係から、主に頭部インパルス応答の初期部分に含まれていると考えられている。例えば非特許文献１（K. Iida, Y. Ishii, and S. Nishioka: Personalization of head-related transfer functions in the median plane based on the anthropometry of the listener’s pinnae, J Acoust. Soc. Am., 136, pp. 317-333 (2014)）に、頭部インパルス応答の初期部分からスペクトラルキューであるノッチ及びピークを抽出する方法が開示されている。

参照情報抽出部２０は、非特許文献１に記載の方法により、音場信号データベース１８より入力されるインパルス応答から、スペクトラルキューであるノッチ及びピークを抽出するための参照情報を抽出する。

図３は、参照情報抽出部２０の動作を説明するための図である。図３の各グラフの縦軸は振幅を示し、横軸は時間を示す。なお、図３は、参照情報抽出部２０の動作を説明するための概略図であることから、単位を示していない。

参照情報抽出部２０は、頭部伝達関数を含む音響伝達関数である第一インパルス応答ｉ_１、第二インパルス応答ｉ_２の各振幅の最大値を検出する。より詳細には、参照情報抽出部２０は、第一インパルス応答ｉ_１のＬチャンネル及びＲチャンネルの振幅の最大値を検出するとともに、第二インパルス応答ｉ_２のＬチャンネル及びＲチャンネルの振幅の最大値を検出する。図３の上段グラフは、参照情報抽出部２０によって検出される、第一インパルス応答ｉ_１のＬチャンネルの振幅の最大値サンプルＡ_Ｌ及び第一インパルス応答ｉ_１のＲチャンネルの振幅の最大値サンプルＡ_Ｒを示す。

参照情報抽出部２０は、第一インパルス応答ｉ_１と第二インパルス応答ｉ_２に対して同じ処理を行う。以下においては、第一インパルス応答ｉ_１に対する処理の説明をもって、第二インパルス応答ｉ_２に対する処理の説明を省略する。

参照情報抽出部２０は、４次で９６ポイントのブラックマン－ハリス窓の中心を最大値サンプルＡ_Ｌ、Ａ_Ｒの夫々に合わせて、Ｌチャンネルの第一インパルス応答ｉ_１、Ｒチャンネルの第一インパルス応答ｉ_１の夫々をクリップする。参照情報抽出部２０は、値が全てゼロの５１２サンプルのアレイを２つ生成し、クリップしたＬチャンネルの第一インパルス応答ｉ_１を一方のアレイに重畳し、クリップしたＲチャンネルの第一インパルス応答ｉ_１を他方のアレイに重畳する。このとき、Ｌチャンネルの第一インパルス応答ｉ_１、Ｒチャンネルの第一インパルス応答ｉ_１は、夫々、最大値サンプルＡ_Ｌ、Ａ_Ｒがアレイの中心サンプル（２５７サンプル）に据えられるようにアレイに重畳される。図３の中段グラフは、ブラックマン－ハリス窓による窓かけの効果範囲及び効果量（山なり及び直線の破線参照）を示す。

上記の処理（窓かけ及び５１２サンプル数への整形処理）を行うことにより、第一インパルス応答ｉ_１が平滑化される。この第一インパルス応答ｉ_１（及び第二インパルス応答ｉ_２）の平滑化は、音質の向上に寄与する。

ＬチャンネルとＲチャンネルには時間差（言い換えるとオフセット）が存在する。この時間差（本実施形態では、最大値サンプルＡ_ＬとＡ_Ｒとのオフセット）の情報を保持すべく、８１９２サンプルの情報を持つようにインパルス応答に対してゼロパディングが施される。以下、便宜上、アレイに重畳されたＬチャンネルの第一インパルス応答ｉ１にゼロパディングを施したものを「第一参照信号ｒ_１」と記し、アレイに重畳されたＲチャンネルの第一インパルス応答ｉ_１にゼロパディングを施したものを「第二参照信号ｒ_２」と記す。図３の下段グラフは、第一参照信号ｒ_１及び第二参照信号ｒ_２を示す。

基準生成部２２は、ＦＦＴ部２２Ａ、生成部２２Ｂ及び強調部２２Ｃを備える。

ＦＦＴ部２２Ａは、参照情報抽出部２０より入力される第一参照信号ｒ_１、第二参照信号ｒ_２のそれぞれを、フーリエ変換処理によって時間領域から周波数領域の信号である第一参照スペクトルＲ_１、第二参照スペクトルＲ_２に変換して、生成部２２Ｂに出力する。

参照情報抽出部２０及びＦＦＴ部２２Ａは、インパルス応答からスペクトラルキューを含む音響伝達関数を取得する取得部として動作する。

生成部２２Ｂは、ＦＦＴ部２２Ａより入力される第一参照スペクトルＲ_１及び第二参照スペクトルＲ_２の各々に対して重み付けを行い、重み付けされた第一参照スペクトルＲ_１と第二参照スペクトルＲ_２とを合成することにより、参照スペクトルＲを取得する。具体的には、生成部２２Ｂは、次式（１）に示される処理を行うことにより、参照スペクトルＲを取得する。次式（１）中、符号αは、係数であり、符号Ｘは、第一参照スペクトルＲ_１と第二参照スペクトルＲ_２の共通成分である。

なお、上記式（１）では、周波数ポイントの表記を省略している。実際には、生成部２２Ｂは、上記式（１）を用いて周波数ポイント毎にＲの値を計算することにより、参照スペクトルＲを取得する。

上記式（１）によれば、第一参照スペクトルＲ_１（より詳細には、第一参照スペクトルＲ_１から第二参照スペクトルＲ_２との共通成分を減算した成分）が係数（１－α^２）で重み付けされ、第二参照スペクトルＲ_２（より詳細には、第二参照スペクトルＲ_２から第一参照スペクトルＲ_１との共通成分を減算した成分）が係数α^２で重み付けされる。各参照スペクトルにかけられる係数は、（１－α^２）とα^２に限らず、和が１となる別の係数に置き換えてもよい。この係数の一例として、（１－α）とαが挙げられる。

図４、図５、図６は、それぞれ、第一参照スペクトルＲ_１、第二参照スペクトルＲ_２、参照スペクトルＲの周波数特性を示すグラフである。各図の上段、下段は、それぞれ、振幅スペクトル、位相スペクトルを示す。各振幅スペクトル図の縦軸はパワー（単位：ｄＢＦＳ）を示し、横軸は周波数（単位：Ｈｚ）を示す。この縦軸のパワーは、フルスケールを０ｄＢとするパワーである。各位相スペクトル図の縦軸は位相（単位：ｒａｄ）を示し、横軸は周波数（単位：Ｈｚ）を示す。図４～図６の各図において、実線はＬチャンネルの特性を示し、破線はＲチャンネルの特性を示す。図４～図６の例では、係数αを０．２５としている。なお、以降のグラフにおいても、実線はＬチャンネルの特性を示し、破線はＲチャンネルの特性を示す。

係数α（及び後述の係数β、ゲインファクタγ、カットオフ周波数ｆｃ）は、操作部２８に対する操作によって聴取者が任意に設定できるようにしてもよく、また、模擬したい到来方向や音源との距離に応じてシステムコントローラ２６が自動的に設定してもよい。

本実施形態では、係数αを適宜設定することにより、参照スペクトルＲを調整することができる。

図７は、模擬したい到来方向が「方位角４０°、仰俯角０°」であり、第一参照スペクトルＲ_１、第二参照スペクトルＲ_２がそれぞれ「方位角３０°、仰俯角０°」、「方位角６０°、仰俯角０°」に対応するものである場合の具体例を示す。

図７のグラフＡ、グラフＢは、それぞれ、第一参照スペクトルＲ_１の振幅スペクトル、第二参照スペクトルＲ_２の振幅スペクトルを示す。図７のグラフＣは、上記式（１）により取得された「方位角４０°、仰俯角０°」を模擬した参照スペクトルＲの振幅スペクトルを示す。参照スペクトルＲの計算に用いた係数αは、０．５７７４である。図７のグラフＤは、「方位角４０°、仰俯角０°」のインパルス応答（実測値）から取得された参照スペクトルＲの振幅スペクトルを示す。なお、図７の各グラフに示される参照スペクトルは、音源との距離が同一のスペクトルである。

図７のグラフＥは、グラフＣ（すなわち参照スペクトルＲの振幅スペクトルの推定値）とグラフＤ（すなわち参照スペクトルＲの振幅スペクトルの実測値）との差分を示す。このグラフＥに示されるように、推定値（グラフＣ）は、高域において実測値（グラフＤ）に対する誤差が大きくなってはいるが、全体としては実測値（グラフＤ）に近いものとなっており、また、ピークやノッチのパターン形状自体は比較的忠実に再現できている。そのため、推定値（グラフＣ）は、模擬したい到来方向の振幅スペクトルを精度良く推定できているといえる。

図８は、模擬したい音源との距離が「０．５０ｍ」であり、第一参照スペクトルＲ_１、第二参照スペクトルＲ_２がそれぞれ「０．２５ｍ」、「１．００ｍ」に対応するものである場合の具体例を示す。

図８のグラフＡ、グラフＢは、それぞれ、第一参照スペクトルＲ_１の振幅スペクトル、第二参照スペクトルＲ_２の振幅スペクトルを示す。図８のグラフＣは、上記式（１）により取得された「０．５０ｍ」を模擬した参照スペクトルＲの振幅スペクトルを示す。参照スペクトルＲの計算に用いられた係数αは、０．８１８５である。図８のグラフＤは、「０．５０ｍ」のインパルス応答（実測値）から取得された参照スペクトルＲの振幅スペクトルを示す。なお、図８の各グラフに示される参照スペクトルは、到来方向が同一のスペクトルである。

図８のグラフＥは、グラフＣ（すなわち参照スペクトルＲの振幅スペクトルの推定値）とグラフＤ（すなわち参照スペクトルＲの振幅スペクトルの実測値）との差分を示す。このグラフＥに示されるように、推定値（グラフＣ）は、高域において実測値（グラフＤ）に対する誤差が大きくなってはいるが、全体としては実測値（グラフＤ）に近いものとなっており、また、ピークやノッチのパターン形状自体は比較的忠実に再現できている。そのため、推定値（グラフＣ）は、模擬したい音源との距離の振幅スペクトルを精度良く推定できているといえる。

なお、音場信号データベース１８より入力されるインパルス応答が１つの場合、生成部２２Ｂは、ＦＦＴ部２２Ａより入力される参照スペクトル（言い換えると、実測値の参照スペクトル）をスルー出力する。

強調部２２Ｃは、生成部２２Ｂより入力される参照スペクトルＲの振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、参照スペクトルＲを補正する。具体的には、強調部２２Ｃは、次式（２）に示される処理を行うことにより、生成部２２Ｂより入力される参照スペクトルＲを補正する。以下、説明の便宜上、参照スペクトルＲのＬチャンネル成分、Ｒチャンネル成分をそれぞれ「参照スペクトルＲ_Ｌ」、「参照スペクトルＲ_Ｒ」と記し、補正後の参照スペクトルＲを「基準スペクトルＶ」と記す。次式（２）中、expは指数関数を示し、argは偏角を示す。ｊは虚数単位である。sgnは符号関数を示す。符号βは、係数であり、符号Ｃ、Ｄは、それぞれ、参照スペクトルＲ_Ｌと参照スペクトルＲ_Ｒとの共通成分、独立成分を示す。

なお、上記式（２）では、周波数ポイントの表記を省略している。実際には、強調部２２Ｃは、上記式（２）を用いて周波数ポイント毎にＶの値を計算することにより、基準スペクトルＶを取得する。

上記式（２）によれば、参照スペクトルＲは、位相スペクトルを維持したまま、デシベル表示においてゼロより大きい（すなわち正の符号の）振幅成分ほど増強し且つデシベル表示においてゼロよりも小さい（すなわち負の符号の）振幅成分ほど減衰するように振幅スペクトルが変更される。これにより、スペクトラルキューのピーク及びノッチを形成する振幅スペクトル上のレベル差が拡大（言い換えると、スペクトラルキューのピーク及びノッチが強調）される。

本実施形態では、係数βを適宜設定することにより、スペクトラルキューのピーク及びノッチの強調度合いを調整することができる。

図９は、図４等と同様のグラフである。図９に、図６に示される参照スペクトルＲを補正することによって得られる基準スペクトルＶを示す。図９の例では、係数βを０．５としている。図６と図９とを比べると、強調部２２Ｃの処理により、主に高域に現れるピーク及びノッチを形成する振幅スペクトル上のレベル差が拡大したことが判る。

このように、強調部２２Ｃは、収音部に対して所定の角度をなす方向から到来する到来音を収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、音響伝達関数を補正する補正部として動作する。別の観点では、強調部２２Ｃは、収音部に対して所定の角度をなす方向から到来する到来音を収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに現れるスペクトラルキューのピーク及びノッチを強調する処理を施すことにより、音響伝達関数を補正する補正部として動作する。

音像領域制御部２４は、強調部２２Ｃより入力される基準スペクトルＶに対して帯域毎に異なるゲイン調整を行うことにより、基準付与フィルタＨを生成する。具体的には、音像領域制御部２４は、次式（３）に示される処理を行うことにより、基準付与フィルタＨを生成する。次式（３）中、LPFはローパスフィルタを示し、HPFはハイパスフィルタを示す。符号Ｚ、γ、ｆｃは、それぞれ、フルスケールのフラット特性、ゲインファクタ、カットオフ周波数を示す。本実施形態では、ゲインファクタγ、カットオフ周波数ｆｃをそれぞれ、－３０ｄＢ、５００Ｈｚとした。

上記式（３）に示されるように、音像領域制御部２４は、帯域分割フィルタから構成される。これらの帯域分割フィルタがクロスオーバネットワークとして機能するように、音像領域制御部２４は、ゲインファクタγが１でかつ基準スペクトルＶがフルスケールのフラット特性Ｚであるときに次式（４）を満たす構成となっている。なお、音像領域制御部２４を構成する帯域分割フィルタは、ローパスフィルタやハイパスフィルタに限らず、別のフィルタ（例えばバンドバスフィルタ）であってもよい。

上記式（３）に示される処理を行うことによって得られる基準付与フィルタＨは、低域において、基準スペクトルＶが持つ周波数領域上での凹凸形状が実質的に失われている。これに対し、音像領域制御部２４が、上記式（３）に代えて次式（５）に示される処理を行うと、低域においても、基準スペクトルＶが持つ周波数領域上での凹凸形状が実質的に失われない基準付与フィルタＨが得られる。

このように、音像領域制御部２４は、補正部にて補正された音響伝達関数（ここでは、強調部２２Ｃより入力される基準スペクトルＶ）を、低域成分と、低域成分よりも高い周波数成分である高域成分に分割し、低域成分を高域成分よりも大きく減衰させた後、低域成分と高域成分とを合成する、関数制御部、として動作する。

図１０は、音像領域制御部２４に入力される基準スペクトルＶを例示するグラフである。図１０に示される基準スペクトルＶは、８１９２サンプルの単位インパルスである。図１１及び図１２は、図１０に示される基準スペクトルＶが音像領域制御部２４に入力されたときに、音像領域制御部２４が出力する基準付与フィルタＨを示すグラフである。図１０～図１２中、上段グラフは時間領域の信号を示し、中段グラフは振幅スペクトルを示し、下段グラフは位相スペクトルを示す。上段グラフの縦軸は振幅（正規化したため単位無し）を示し、横軸は時間（サンプル）を示す。中段グラフの縦軸はゲイン（単位：ｄＢ）を示し、横軸は正規化周波数を示す。下段グラフの縦軸は位相（単位：ｒａｄ）を示し、横軸は正規化周波数を示す。

図１１の例では、ゲインファクタγ、カットオフ周波数ｆｃをそれぞれ、－３０ｄＢ、０．５とした。このように、ゲインファクタγ及びカットオフ周波数ｆｃを設定すると、音像領域制御部２４のフィルタ特性は、低域についてのみ減衰させる特性となる。

図１２の例では、ゲインファクタγ、カットオフ周波数ｆｃをそれぞれ、０ｄＢ、０．５とした。この例では、振幅スペクトルが入力信号（図１０の基準スペクトルＶ）と同等となっている。図１２の例では、音像領域制御部２４を構成する帯域分割フィルタがクロスオーバネットワークとして機能していることが判る。

図１３は、図４等と同様のグラフである。図１３に、図９に示される基準スペクトルＶをゲイン調整することにより得られる基準付与フィルタＨを示す。図１３の例では、図９の基準スペクトルＶに対して低域が減衰されている一方、高域については減衰されず、図９の基準スペクトルＶと図１３の基準付与フィルタＨとでほぼ変わらない。

図８の各距離（「０．２５ｍ」、「０．５０ｍ」、「１．００ｍ」）のグラフを比較すると判るように、音源との距離が遠いほど低域のレベルが減衰する。本実施形態では、ゲインファクタγ及びカットオフ周波数ｆｃによって低域をどの程度減衰させるかを適宜設定することにより、オーディオ信号に付与する音の距離感（音源との距離）を調整することができる。

このようにして生成された基準付与フィルタＨで入力スペクトルＸが畳み込まれることにより、音の到来方向（及び音源との距離）の情報が付与された基準付与スペクトルＹが得られる。すなわち、乗算部１４は、音響伝達関数である基準付与フィルタＨに基づいて入力スペクトルＸに音の到来方向（及び音源との距離）の情報を付与する処理部として動作する。

本実施形態では、スペクトラルキューを強調することにより、例えば高域での位相ずれや周波数軸上での非線形的な位相ずれが生じた場合にも、スペクトラルキューのノッチパターン及びピークパターンが完全には崩れない（言い換えると、ノッチパターン及びピークパターンの形状が保たれる）ため、例えば聴取者の頭部後方に設置された一対のスピーカから音を聴くような聴取環境であっても、聴取者は、所望の音像定位感を得ることができる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施例等又は自明な実施例等を適宜組み合わせた内容も本願の実施形態に含まれる。

例えば、ＦＦＴ部１２は、入力信号ｘに対してオーバラップ処理と窓関数による重み付けを行い、オーバラップ処理及び窓関数による重み付けが行われた入力信号ｘを、フーリエ変換処理によって時間領域から周波数領域に変換するものであってもよい。ＩＦＦＴ部１６は、基準付与スペクトルＹを逆フーリエ変換処理によって周波数領域から時間領域に変換して、オーバラップ処理と窓関数による重み付けを行うものであってもよい。

上記式（２）のβの値は、上記の実施形態に記載したものに限らない。上記式（２）のβの値は、例えば－１＜β≦１など、他の値であってもよい。

上記式（２）の応用例として、次のものが考えられる。例えば上記式（２）においてβの値をβ＝－１に置き換えた場合、フラットな特性の基準スペクトルＶを得ることができる。また、例えば上記式（２）においてβの値をβ＜－１に置き換えた場合、－１＜βの場合に得られる基準スペクトルＶに対してスペクトル形状が反転した基準スペクトルＶを得ることができる。

オーディオ信号処理装置１における各種処理は、オーディオ信号処理装置１に備えられるソフトウェアとハードウェアとが協働することにより実行される。オーディオ信号処理装置１に備えられるソフトウェアのうち少なくともＯＳ（Operating System）部分は、組み込み系システムとして提供されるが、それ以外の部分、例えば、スペクトラルキューのピーク及びノッチを強調する処理を実行するためのソフトウェアモジュールについては、ネットワーク上で配布可能な又はメモリカード等の記録媒体にて保持可能なアプリケーションとして提供されてもよい。

図１４に、このようなソフトウェアモジュールやアプリケーションを用いてシステムコントローラ２６が実行する処理をフローチャートで示す。

図１４に示されるように、音場信号データベース１８は、入力信号ｘに含まれるメタ情報をもとに少なくとも１つのインパルス応答を出力する（ステップＳ１１）。参照情報抽出部２０は、音場信号データベース１８より入力されるインパルス応答から、スペクトラルキューであるピーク及びノッチを抽出するための第一参照信号ｒ_１及び第二参照信号ｒ_２を抽出する（ステップＳ１２）。ＦＦＴ部２２Ａは、参照情報抽出部２０より入力される第一参照信号ｒ_１、第二参照信号ｒ_２のそれぞれを、フーリエ変換処理によって時間領域から周波数領域の信号である第一参照スペクトルＲ_１、第二参照スペクトルＲ_２に変換する（ステップＳ１３）。生成部２２Ｂは、ＦＦＴ部２２Ａより入力される第一参照スペクトルＲ_１及び第二参照スペクトルＲ_２の各々に対して重み付けを行い、重み付けされた第一参照スペクトルＲ_１と第二参照スペクトルＲ_２とを合成することにより、参照スペクトルＲを取得する（ステップＳ１４）。強調部２２Ｃは、生成部２２Ｂより入力される参照スペクトルＲの振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、参照スペクトルＲを補正して、基準スペクトルＶを得る（ステップＳ１５）。音像領域制御部２４は、強調部２２Ｃより入力される基準スペクトルＶに対して帯域毎に異なるゲイン調整を行うことにより、基準付与フィルタＨを生成する（ステップＳ１６）。乗算部１４において、基準付与フィルタＨで入力スペクトルＸが畳み込まれることにより、音の到来方向（及び音源との距離）の情報が付与された基準付与スペクトルＹが得られる。

１ オーディオ信号処理装置
１２ ＦＦＴ部
１４ 乗算部
１６ ＩＦＦＴ部
１８ 音場信号データベース
２０ 参照情報抽出部
２２ 基準生成部
２２Ａ ＦＦＴ部
２２Ｂ 生成部
２２Ｃ 強調部
２４ 音像領域制御部
２６ システムコントローラ
２８ 操作部

Claims (8)

1. 入力されるオーディオ信号を処理するオーディオ信号処理装置において、
   収音部に対して所定の角度をなす方向から到来する到来音を前記収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ前記基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、前記音響伝達関数を補正する補正部と、
   前記補正部にて補正された音響伝達関数を、低域成分と、前記低域成分よりも高い周波数成分である高域成分に分割し、前記低域成分を前記高域成分よりも大きく減衰させた後、前記低域成分と前記高域成分とを合成する、関数制御部と、
   前記関数制御部において前記低域成分と前記高域成分とを合成することで得られる音響伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与する処理部と、
   を備える、
   オーディオ信号処理装置。
2. 前記到来音のインパルス応答を保持する保持部と、
   前記インパルス応答からスペクトラルキューを含む音響伝達関数を取得する取得部と、
   を備え、
   前記補正部は、
   前記取得部によって取得された音響伝達関数の振幅スペクトルに対して前記処理を施すことにより、前記スペクトラルキューのピーク及びノッチを形成する振幅スペクトル上のレベル差を拡大する、
   請求項１に記載のオーディオ信号処理装置。
3. 前記保持部は、
   到来方向が夫々異なる複数の到来音のインパルス応答を保持し、
   前記取得部は、
   前記到来方向が夫々異なる複数の到来音のインパルス応答のうち少なくとも２つのインパルス応答の各々から前記音響伝達関数を取得し、
   前記取得した少なくとも２つの音響伝達関数の各々に対して重み付けを行い、
   前記重み付けされた少なくとも２つの音響伝達関数を合成する、
   請求項２に記載のオーディオ信号処理装置。
4. 前記保持部は、
   前記到来音の音源から前記収音部までの距離が夫々異なる複数のインパルス応答を保持し、
   前記取得部は、
   前記距離が夫々異なる複数の到来音のインパルス応答のうち少なくとも２つのインパルス応答の各々から前記音響伝達関数を取得し、
   前記取得した少なくとも２つの音響伝達関数の各々に対して重み付けを行い、
   前記重み付けされた少なくとも２つの音響伝達関数を合成する、
   請求項２に記載のオーディオ信号処理装置。
5. 前記オーディオ信号をフーリエ変換する変換部
   を備え、
   前記取得部は、
   前記到来音のインパルス応答をフーリエ変換することにより、前記音響伝達関数を取得し、
   前記処理部は、
   前記フーリエ変換後の前記オーディオ信号を、前記関数制御部において前記低域成分と前記高域成分とを合成することで得られる音響伝達関数で畳み込み、
   前記畳み込み後のオーディオ信号を逆フーリエ変換することにより、前記音の到来方向の情報を付与されたオーディオ信号を得る、
   請求項２から請求項４の何れか一項に記載のオーディオ信号処理装置。
6. 入力されるオーディオ信号を処理するオーディオ信号処理装置において、
   収音部に対して所定の角度をなす方向から到来する到来音を前記収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに現れるスペクトラルキューのピーク及びノッチを強調する処理を施すことにより、前記音響伝達関数を補正する補正部と、
   前記補正部にて補正された音響伝達関数を、低域成分と、前記低域成分よりも高い周波数成分である高域成分に分割し、前記低域成分を前記高域成分よりも大きく減衰させた後、前記低域成分と前記高域成分とを合成する、関数制御部と、
   前記関数制御部において前記低域成分と前記高域成分とを合成することで得られる音響伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与する処理部と、
   を備える、
   オーディオ信号処理装置。
7. 入力されるオーディオ信号を処理するオーディオ信号処理装置が実行するオーディオ信号処理方法において、
   収音部に対して所定の角度をなす方向から到来する到来音を前記収音部にて収音することによって得られる音響伝達関数の振幅スペクトルに対して、所定の基準レベルよりも大きい振幅成分ほど増強し且つ前記基準レベルよりも小さい振幅成分ほど減衰させる処理を施すことにより、前記音響伝達関数を補正し、
   前記補正された音響伝達関数を、低域成分と、前記低域成分よりも高い周波数成分である高域成分に分割し、前記低域成分を前記高域成分よりも大きく減衰させた後、前記低域成分と前記高域成分とを合成し、
   前記低域成分と前記高域成分とを合成することで得られる音響伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与する処理ステップと、
   を含む、
   オーディオ信号処理方法。
8. 請求項７に記載のオーディオ信号処理方法をコンピュータに実行させるためのオーディオ信号処理プログラム。

Images