JP4540290B2 - 入力信号を音像定位させて三次元空間を移動させる方法 - Google Patents
入力信号を音像定位させて三次元空間を移動させる方法 Download PDFInfo
- Publication number
- JP4540290B2 JP4540290B2 JP2002206664A JP2002206664A JP4540290B2 JP 4540290 B2 JP4540290 B2 JP 4540290B2 JP 2002206664 A JP2002206664 A JP 2002206664A JP 2002206664 A JP2002206664 A JP 2002206664A JP 4540290 B2 JP4540290 B2 JP 4540290B2
- Authority
- JP
- Japan
- Prior art keywords
- sound image
- difference
- sound
- localization
- frequency band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は入力する音響信号を、受聴者があたかも実音源がある三次元空間で、前記実音源の音を聴いているような聴感を覚えるように処理して定位させた音像を、当該三次元空間内で自由に移動させる定位音像の移動方法に関する。
【０００２】
【従来の技術】
本発明の発明者は、先に頭部伝達関数（Head Related Transfer Function；HRTF）の周波数特性に着目し、入力信号の周波数帯域を複数に分け、各帯域の信号に対して適切な処理を施せば演算量が比較的少なく、それ故に入力信号の音像定位のための処理をリアルタイムで実行できる手法を、特開平１０−２２８５２０号などとして提案している。
【０００３】
【発明が解決しようとする課題】
本発明は、先に本発明者が提案している音像定位の手法を更に拡張し、定位させた音像が自在に移動しているように受聴者に聴感させることができる方法を提供することを、その課題とするものである。
【０００４】
【課題を解決するための手段】
上記課題を解決することを目的としてなされた本発明方法の構成は、モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とするものである。
【０００５】
本発明は、音像を定位できる範囲において定位した音像が連続して移動しているように聴感させるため、一例として任意の音像定位点から次の定位可能点に前記音像を連続的に移動させるには、先に述べた音像定位手法に用いたすべてのパラメータを利用し、全音像定位パラメータについて上記２点間での補間をすることが考えられる。しかし、すべてのパラメータを補間すると、２点間の補間制御のための演算量が飛躍的に増大し、従ってまたメモリも大容量のものを不可欠とする。
【０００６】
そこで本発明では、上記の音像定位手法において、聴感上、音像の移動に重要な役割を担う各周波数帯域ごとの遅延制御と、各周波数帯域の信号を混合する際の処理された各周波数帯域の音の量の比率（ゲイン）とを補間することにより、定位された音像の三次元空間で移動する聴感を実現するものである。
【０００７】
【発明の実施の形態】
本発明方法の実施の形態例の説明に先立ち、本発明の発明者が先に提案しているオーデオ入力信号の音像定位の手法について述べる。
【０００８】
一般に、人が任意の実音源の音をその人の両耳で聴取するとき、その人の頭部、その頭部の左右側面に付いている両耳、両耳における音の伝達構造などの物理的要因が、前記実音源の音像定位に深く係わっていることが知られている。
【０００９】
本発明の発明者は、音像定位に影響を及ぼす上記の物理的要因の中で、人の頭部とその左右側に付いている耳介の音像に対する影響乃至は作用を鋭意検討し、実験を重ねた結果次のような知見を得た。
【００１０】
即ち、人の頭部は、個人差はあるが、概ね150〜200mmφ程度の振動伝達性の球体とみなすと、この直径を半波長とする周波数（以下、この周波数を「aHz」とする）以下の周波数では、その半波長が前記球体の直径よりも大きくなるので、前記aHz以下の周波数の音は、人の頭部による影響は少ないとする知見が、その第一である。これを換言すれば、aHz以下の音は、人の頭部による音の反射，回析を無視し、aHz以下の音源からの音がその人の両方の耳に入る時間差と音量差とがaHz以下の音の音像定位に深く係るという点である。
【００１１】
一方、人の両耳の耳介を、底面が大略直径35〜55mmφの円錐形とみなすと、半波長がこの耳介の直径を超える周波数（以下、この周波数を「bHz」とする）以上の周波数の音は、その周波数の音の音像定位の物理的要因としては、耳介の影響が少ないとする点が第二の知見である。因みに、発明者がダミーヘッドを使用してbHz以上の周波数帯域の音の影響特性を測定したところ、その特性はコムフィルタを通した音の音響特性に酷似していることを知得た。そして、bHz以上の周波数帯域の音は、この帯域の入力信号をコムフィルタを通して処理し、左右の音が耳に入る時間差と音量差とが、この帯域の音の音像定位に深く係ることも知得した。
【００１２】
このことから、bHz乃至はその近傍の周波数帯域の音については、上記のbHz以上の周波数帯域の音とは要素が異なる音響特性を考慮する必要があるとの知見を得るに至った。
【００１３】
上記で検討した周波数帯域、即ち、aHz以下の帯域とbHz以上の帯域以外の帯域、つまり、aHz〜bHzの間の狭い帯域については、従来から公知の、人の頭部や左右の耳介を物理的要因とする反射や回析による周波数特性のシミュレートを行って入力信号の処理，制御をすれば足りることを知得した。
【００１４】
上記知見に基づいて、本発明の発明者は周波数aHz以下、同bHz以上、同aHz〜bHzの間の各帯域について、左，右の耳に入る音の時間差や音量差などの制御要素をパラメータとして音像定位に関するテストを行い、次のテスト結果を得た。
【００１５】
aHz以下の周波数帯域のテスト結果
この帯域のオーディオ信号は、左，右の耳に入る音の時間差と音量差の２つのパラメータを制御するだけでも、ある程度の音像定位が可能であった。しかし、上下方向を含めた任意の空間についての定位はこの要素の制御だけでは不十分でった。そこで左，右の両耳で時間差を１／４×10-5〜１／５×10-5秒単位で、音量差をndB（nは0.1から２桁の自然数）単位で、それぞれ制御することにより水平面、垂直面、及び、距離における音像定位の位置を任意に実現できることが判った。なお、この帯域の音は左，右耳に入る時間差をより大きくすると音像定位の位置が受聴者の側方になる。
【００１６】
aHz〜bHzの間の周波数帯域のテスト結果
時間差の影響
この帯域の入力信号について、パラメトリックイコライザ（以下、ＰＥＱという）を無効状態にして左，右両耳に入る音に時間差を与える制御を試みた。この結果、上記のaHz以下の帯域における制御によるような音像定位は得られなかった。なお、時間差を与える制御によって、この帯域の音像は左右に直線的移動することが判った。
入力するオーディオ信号をＰＥＱを通して処理を行った場合には、左右両耳に入る時間差をパラメータとする制御が重要になる。ここで、ＰＥＱにより補正できる音響特性は、ｆｃ（中心周波数）、Ｑ（尖鋭度）、Gain（利得）の三種類である。
音量差の影響
左，右両耳に対する音量差をndB（nは１桁の自然数）前後で制御すると、受聴者から音像定位点までの距離が大きくなる。音量差は大きくするほど音像定位点までの距離は小さくなる。
ｆｃの影響
受聴者の前方45度の角度に音源を置き、その音源から入力するオーディオ信号を受聴者の頭部伝達関数に従ってＰＥＱ処理をするとき、aHz〜bHzの帯域でｆｃを高い側にシフトすると、音像定位位置までの距離が大きくなる傾向があることが判った。逆に、ｆｃを低い方にシフトすると、音像定位位置までの距離が小さくなる傾向があることも判った。
Ｑの影響
上記ｆｃの場合と同じ条件でaHz〜bHzの帯域のオーディオ信号のＰＥＱ処理を行うとき、右耳用のオーディオ信号の１kHz付近のＱを元の値から４倍程度に上げると、水平角度は小さくなるが、逆に距離が大きくなり、垂直角度は変らなかった。この結果、このaHz〜bHzの帯域では１m前後で音像を前方に定位させることが可能である。なお、ＰＥＱのGainがマイナスのとき、補正するＱを上げると、音像が広がり、距離も短くなる傾向になることも判った。
Ｇａｉｎの影響
上記ｆｃの影響，Ｑの影響の場合と同じ条件でＰＥＱ処理を行うとき、右耳用のオーディオ信号の１kHz付近のピーク部のGainを数dB下げると、水平角度が45度より小さくなり、距離は大きくなる。上記のＱを上げた場合とほぼ同等の音像定位位置が実現された。なお、ＰＥＱによりＱとGainの効果を同時に得るように処理しても音像定位の距離に変化は生じなかった。
【００１７】
bHz以上の周波数帯域のテスト結果
時間差の影響
左，右の耳に入る時間差だけの制御では、音像定位は殆んど実現できなかった。しかし、コムフィルタ処理を行った後、左，右の耳に時間差を与える制御は音像定位に有効であった。
音量差の影響
この帯域のオーディオ信号に左右の耳に対する音量差を与えると、その影響は他の帯域の場合に比較して、非常に効果的であることが判った。即ち、この帯域の音を音像定位させるには、相当レベル、例えば、10dB以上の音量差を左右の耳に与える制御が必要である。
コムフィルタの間隔の影響
コムフィルタの間隔を変えてテストしてみると音像定位の位置が顕著に変化した。また、左耳又は右耳の片チャンネルについてだけコムフィルタの間隔を可変にしてみたが、この場合には左右の音像が分離し、音像定位を聴感することは困難であった。従って、コムフィルタの間隔は、左，右両耳に対する両チャンネルとも同時に可変することが必要である。
コムフィルタの深さの影響
深さと垂直角度の関係は、左右が逆の特性であった。
深さと水平角度の関係も、左右が逆の特性であった。
深さは音像定位の距離に比例していることが判った。
【００１８】
クロスオーバー帯域のテスト結果
aHz以下の帯域とaHz〜bHzの中間帯域、およびこの中間帯域とbHz以上の帯域のクロスオーバー部分には不連続は認められず、逆位相感もなかった。そして、３つの帯域をミックスした周波数特性は、ほぼフラットであった。
【００１９】
以上のテスト結果から、音像定位は、入力するオーディオ信号を左右両耳用で複数の周波数帯域に分け、各帯域ごとに異なる要素により制御可能であることを知得した。即ち、例えば、左，右の耳に入る音の時間差が音像定位に及ぼす影響はaHz以下の帯域において顕著であるが、bHz以上の高域においては、時間差の影響は少ないということが、その一つである。また、bHz以上の高周波帯域においては、コムフィルタの使用と左，右の耳に対して音量差を付けることが音像定位に有意であることも明らかとなった。なお、aHz〜bHzの中間帯域においては、距離は短いが、前方定位する上記制御要素以外のパラメータも見出した。
【００２０】
次に、図１によりモノラルのオーディオ信号を上記で説明した手法に基づき３次元の任意の位置に音像定位させる例について説明する。１は任意の音源の音をマイクロフォンにより拾ったモノラルのオーディオ入力信号である。
【００２１】
２は前記のマイクロフォンから送られる入力信号１を左右の耳用の２つのチャンネルに分けると共に、両チャンネルの信号を複数の周波数帯域に分割する帯域分割フィルターである。この実施例では入力するオーディオ信号１を、一例として、約1000Hz以下の低周波数帯域、約1000〜約4000Hzの中間周波数帯域、約4000Hz以上の高周波数帯域の３つの帯域に分けて出力できるデジタルフィルターとして３個の33次ＦＩＲフィルタ2L，2M，2Hを使用した。本発明では、入力信号１の帯域分割は、上記の３帯域に限られるものではなく、例えば、低周波数帯域と中高周波数帯域の２分割、或は、入力信号１の全帯域を４〜５の帯域に分割することもある。なお、以下は処理も左右チャンネル用の各帯域の信号について行っているものとする。
【００２２】
3L，3M，3Hは、前記の各フィルタ2L，2M，2Hにおいて分割された各帯域ごとに、夫々の帯域のオーディオ信号を、先に述べた音像定位の手法により処理，制御するための信号処理部である。低周波数帯域では、左右の耳用の各チャンネルに対し、時間差と音量差を音像定位のためのパラメータとして処理するため、一次のＩＩＲフィルタ31を用いる。中間周波数帯域では、頭部伝達関数の周波数特性を精度良く再現するためパラメトリックイコライザ（ＰＥＱ）による処理のため、ここでは当該ＰＥＱを２次のＩＩＲフィルタ32を３段直列して構成している。高周波数帯域では、頭部伝達関数が櫛状特性を示すので、コムフィルタ33を用いる。
【００２３】
上記構成による各周波数帯域ごとの音像定位処理の後、各周波数帯域ごとに音の回析による遅延差や両耳に到達する音の伝達時間差を考慮した遅延制御を行うため、各周波数帯域ごとに遅延制御部4L，4M，4Hを設け、各遅延制御部4L，4M，4Hから出力される処理された各周波数帯域の音響信号を、ミキサー５においてそれぞれの帯域の音の量の比率（ゲイン）を調整して混合することにより、このミキサー５から三次元で音像定位される音響信号を得ることができる。
【００２４】
上記の三次元音像定位の手法によって、図２に例示するように、受聴者Ｍを中心とする同心円上の任意の位置に音像を定位させることができるので、本発明では、この音像定位手法による機能をより拡張し、ある点に定位させた音像を次の点に移動させることができるようにしたものである。
【００２５】
定位音像を図２に例示したＡ点からＢ点へ、或は、これとは逆に２点間で移動させるには、図１の音像定位手法に用いられているすべてのパラメータを、上記２点間で補間すればよいが、これでは演算量，メモリ量が膨大になるため実用的ではない。
【００２６】
そこで本発明では、先に述べた音像定位手法において、音像の移動効果を表現するために重要な役割を担う各周波数帯域ごとの音像定位処理における遅延制御と、ミキシング処理における各周波数帯域の比率（ゲイン）を上記の２点間で補間することとした。以下に、補間手順について述べる。
【００２７】
まず、音像定位のパラメータが定義されているＡ，Ｂ２点間の遅延差，ゲイン差を求める。次に、定位音像をＡ点からＢ点に移動させるに要する時間によって前記遅延差とゲイン差とを割り、遅延とゲインの最小単位の差分が変化する時間間隔を求める。図２の例では、Ａ点とＢ点が音像定位できる点であり、説明の便宜上、図２の「５」がＡ点での遅延差又はゲイン差のパラメータの係数、「15」がＢ点での当該パラメータの係数を表わすものとする。ここで、音像定位点Ａ点からＢ点に音像を移動させるとき、両点における前記係数の差「10」により音像の移動に要する時間を割ることによって、この音像の移動により前記係数の最小単位「１」が変化する時間間隔が得られるので、この時間間隔によって前記係数をＡ点の「５」から順次６，７，８・・・・・・14，「15」と変化させてやれば、Ａ，Ｂ２点間の遅延差とゲイン差の線形補間を行うことになる。このとき、図１に例示した音像定位手法に用いられている他のパラメータは、定位された音像がＢ点に移動したとき、Ｂ点での定位パラメータの係数に入替える。
【００２８】
つまり、定位音像をＡ点からＢ点に移動させるとき、遅延差とゲイン差については、線形補間した値を用いるが、それら以外のパラメータについては、移動中には点Ａの定位パラメータを用いておき、Ｂ点に到着したときＢ点のパラメータに入替える。これとは逆に、定位音像をＢ点からＡ点に移動させるには、Ａ点に到達するまでＢ点の定位パラメータを用いる。
【００２９】
上記の定位音像を移動させるために必要な処理は、各周波数帯域ごとに、左，右の耳に対する遅延差を求める処理、ゲインの差を求める処理、前記各処理で求められた遅延差とゲイン差の夫々の最小単位分が変化する時間間隔を求める処理、及び、遅延とゲインの値を得られた遅延とゲインの最小単位の値ずつ変化させる処理である。
【００３０】
従って、図１の音像定位手法のアルゴリズムに、上記の音像移動のための各処理を実行するアルゴリズムを加えることにより、図１と同じ処理フローによって受聴者Ｍが移動感を覚える音像定位された音を任意に生成することができる。
【００３１】
上記に説明した手法の例は、受聴者Ｍに同心円または球上で定位した音像が移動する聴感を覚えさせるものであるが、本発明は受聴者Ｍを中心に三次元の放射状の距離の変化においても音像を移動させることができる。
【００３２】
【発明の効果】
本発明は以上の通りであって、入力されるオーディオ信号について、それを左、右の両耳用のチャンネルに分け、各チャンネルのオーディオ信号を、一例として低，中，高の各周波数域の３つの帯域に分け、各周波数の帯域ごとに左右の耳における時間差，音量差などを音像定位要素とするパラメータとして制御する処理を施すことにより定位音像を得ると共に、前記の各周波数帯域ごとに、前記音像の移動効果を知覚させる要素である左右耳に対する遅延差と各帯域の音をミキシングするときの比率（ゲイン）差とを、単位時間ごとに変化させて、定位音像の移動感が知覚できる音を生成するようにしたので、適宜の音源から入力される左，右の耳用の入力オーディオ信号から音像定位に優れた再生音を得られることは勿論のこと、定位させた音像を三次元移動させることにより、定位音像の変化する奥行き感や変化する立体感を聴感できる再生音を得ることが可能になる。また、前記手法に加えて再生時にも音像定位並びにその音像を移動させる制御を重畳すれば、更に効果的、かつ、高精度の音像定位とその音像の移動を、容易に実現することができる。
【図面の簡単な説明】
【図１】本発明方法を実施するための一例の機能ブロック図。
【図２】本発明方法を説明するための模式図。
【符号の説明】
１ 入力信号
２ 帯域分割フィルター
3L，3M，3H 信号処理部
4L，4M，4H 遅延制御部
５ ミキサー
【発明の属する技術分野】
本発明は入力する音響信号を、受聴者があたかも実音源がある三次元空間で、前記実音源の音を聴いているような聴感を覚えるように処理して定位させた音像を、当該三次元空間内で自由に移動させる定位音像の移動方法に関する。
【０００２】
【従来の技術】
本発明の発明者は、先に頭部伝達関数（Head Related Transfer Function；HRTF）の周波数特性に着目し、入力信号の周波数帯域を複数に分け、各帯域の信号に対して適切な処理を施せば演算量が比較的少なく、それ故に入力信号の音像定位のための処理をリアルタイムで実行できる手法を、特開平１０−２２８５２０号などとして提案している。
【０００３】
【発明が解決しようとする課題】
本発明は、先に本発明者が提案している音像定位の手法を更に拡張し、定位させた音像が自在に移動しているように受聴者に聴感させることができる方法を提供することを、その課題とするものである。
【０００４】
【課題を解決するための手段】
上記課題を解決することを目的としてなされた本発明方法の構成は、モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とするものである。
【０００５】
本発明は、音像を定位できる範囲において定位した音像が連続して移動しているように聴感させるため、一例として任意の音像定位点から次の定位可能点に前記音像を連続的に移動させるには、先に述べた音像定位手法に用いたすべてのパラメータを利用し、全音像定位パラメータについて上記２点間での補間をすることが考えられる。しかし、すべてのパラメータを補間すると、２点間の補間制御のための演算量が飛躍的に増大し、従ってまたメモリも大容量のものを不可欠とする。
【０００６】
そこで本発明では、上記の音像定位手法において、聴感上、音像の移動に重要な役割を担う各周波数帯域ごとの遅延制御と、各周波数帯域の信号を混合する際の処理された各周波数帯域の音の量の比率（ゲイン）とを補間することにより、定位された音像の三次元空間で移動する聴感を実現するものである。
【０００７】
【発明の実施の形態】
本発明方法の実施の形態例の説明に先立ち、本発明の発明者が先に提案しているオーデオ入力信号の音像定位の手法について述べる。
【０００８】
一般に、人が任意の実音源の音をその人の両耳で聴取するとき、その人の頭部、その頭部の左右側面に付いている両耳、両耳における音の伝達構造などの物理的要因が、前記実音源の音像定位に深く係わっていることが知られている。
【０００９】
本発明の発明者は、音像定位に影響を及ぼす上記の物理的要因の中で、人の頭部とその左右側に付いている耳介の音像に対する影響乃至は作用を鋭意検討し、実験を重ねた結果次のような知見を得た。
【００１０】
即ち、人の頭部は、個人差はあるが、概ね150〜200mmφ程度の振動伝達性の球体とみなすと、この直径を半波長とする周波数（以下、この周波数を「aHz」とする）以下の周波数では、その半波長が前記球体の直径よりも大きくなるので、前記aHz以下の周波数の音は、人の頭部による影響は少ないとする知見が、その第一である。これを換言すれば、aHz以下の音は、人の頭部による音の反射，回析を無視し、aHz以下の音源からの音がその人の両方の耳に入る時間差と音量差とがaHz以下の音の音像定位に深く係るという点である。
【００１１】
一方、人の両耳の耳介を、底面が大略直径35〜55mmφの円錐形とみなすと、半波長がこの耳介の直径を超える周波数（以下、この周波数を「bHz」とする）以上の周波数の音は、その周波数の音の音像定位の物理的要因としては、耳介の影響が少ないとする点が第二の知見である。因みに、発明者がダミーヘッドを使用してbHz以上の周波数帯域の音の影響特性を測定したところ、その特性はコムフィルタを通した音の音響特性に酷似していることを知得た。そして、bHz以上の周波数帯域の音は、この帯域の入力信号をコムフィルタを通して処理し、左右の音が耳に入る時間差と音量差とが、この帯域の音の音像定位に深く係ることも知得した。
【００１２】
このことから、bHz乃至はその近傍の周波数帯域の音については、上記のbHz以上の周波数帯域の音とは要素が異なる音響特性を考慮する必要があるとの知見を得るに至った。
【００１３】
上記で検討した周波数帯域、即ち、aHz以下の帯域とbHz以上の帯域以外の帯域、つまり、aHz〜bHzの間の狭い帯域については、従来から公知の、人の頭部や左右の耳介を物理的要因とする反射や回析による周波数特性のシミュレートを行って入力信号の処理，制御をすれば足りることを知得した。
【００１４】
上記知見に基づいて、本発明の発明者は周波数aHz以下、同bHz以上、同aHz〜bHzの間の各帯域について、左，右の耳に入る音の時間差や音量差などの制御要素をパラメータとして音像定位に関するテストを行い、次のテスト結果を得た。
【００１５】
aHz以下の周波数帯域のテスト結果
この帯域のオーディオ信号は、左，右の耳に入る音の時間差と音量差の２つのパラメータを制御するだけでも、ある程度の音像定位が可能であった。しかし、上下方向を含めた任意の空間についての定位はこの要素の制御だけでは不十分でった。そこで左，右の両耳で時間差を１／４×10-5〜１／５×10-5秒単位で、音量差をndB（nは0.1から２桁の自然数）単位で、それぞれ制御することにより水平面、垂直面、及び、距離における音像定位の位置を任意に実現できることが判った。なお、この帯域の音は左，右耳に入る時間差をより大きくすると音像定位の位置が受聴者の側方になる。
【００１６】
aHz〜bHzの間の周波数帯域のテスト結果
時間差の影響
この帯域の入力信号について、パラメトリックイコライザ（以下、ＰＥＱという）を無効状態にして左，右両耳に入る音に時間差を与える制御を試みた。この結果、上記のaHz以下の帯域における制御によるような音像定位は得られなかった。なお、時間差を与える制御によって、この帯域の音像は左右に直線的移動することが判った。
入力するオーディオ信号をＰＥＱを通して処理を行った場合には、左右両耳に入る時間差をパラメータとする制御が重要になる。ここで、ＰＥＱにより補正できる音響特性は、ｆｃ（中心周波数）、Ｑ（尖鋭度）、Gain（利得）の三種類である。
音量差の影響
左，右両耳に対する音量差をndB（nは１桁の自然数）前後で制御すると、受聴者から音像定位点までの距離が大きくなる。音量差は大きくするほど音像定位点までの距離は小さくなる。
ｆｃの影響
受聴者の前方45度の角度に音源を置き、その音源から入力するオーディオ信号を受聴者の頭部伝達関数に従ってＰＥＱ処理をするとき、aHz〜bHzの帯域でｆｃを高い側にシフトすると、音像定位位置までの距離が大きくなる傾向があることが判った。逆に、ｆｃを低い方にシフトすると、音像定位位置までの距離が小さくなる傾向があることも判った。
Ｑの影響
上記ｆｃの場合と同じ条件でaHz〜bHzの帯域のオーディオ信号のＰＥＱ処理を行うとき、右耳用のオーディオ信号の１kHz付近のＱを元の値から４倍程度に上げると、水平角度は小さくなるが、逆に距離が大きくなり、垂直角度は変らなかった。この結果、このaHz〜bHzの帯域では１m前後で音像を前方に定位させることが可能である。なお、ＰＥＱのGainがマイナスのとき、補正するＱを上げると、音像が広がり、距離も短くなる傾向になることも判った。
Ｇａｉｎの影響
上記ｆｃの影響，Ｑの影響の場合と同じ条件でＰＥＱ処理を行うとき、右耳用のオーディオ信号の１kHz付近のピーク部のGainを数dB下げると、水平角度が45度より小さくなり、距離は大きくなる。上記のＱを上げた場合とほぼ同等の音像定位位置が実現された。なお、ＰＥＱによりＱとGainの効果を同時に得るように処理しても音像定位の距離に変化は生じなかった。
【００１７】
bHz以上の周波数帯域のテスト結果
時間差の影響
左，右の耳に入る時間差だけの制御では、音像定位は殆んど実現できなかった。しかし、コムフィルタ処理を行った後、左，右の耳に時間差を与える制御は音像定位に有効であった。
音量差の影響
この帯域のオーディオ信号に左右の耳に対する音量差を与えると、その影響は他の帯域の場合に比較して、非常に効果的であることが判った。即ち、この帯域の音を音像定位させるには、相当レベル、例えば、10dB以上の音量差を左右の耳に与える制御が必要である。
コムフィルタの間隔の影響
コムフィルタの間隔を変えてテストしてみると音像定位の位置が顕著に変化した。また、左耳又は右耳の片チャンネルについてだけコムフィルタの間隔を可変にしてみたが、この場合には左右の音像が分離し、音像定位を聴感することは困難であった。従って、コムフィルタの間隔は、左，右両耳に対する両チャンネルとも同時に可変することが必要である。
コムフィルタの深さの影響
深さと垂直角度の関係は、左右が逆の特性であった。
深さと水平角度の関係も、左右が逆の特性であった。
深さは音像定位の距離に比例していることが判った。
【００１８】
クロスオーバー帯域のテスト結果
aHz以下の帯域とaHz〜bHzの中間帯域、およびこの中間帯域とbHz以上の帯域のクロスオーバー部分には不連続は認められず、逆位相感もなかった。そして、３つの帯域をミックスした周波数特性は、ほぼフラットであった。
【００１９】
以上のテスト結果から、音像定位は、入力するオーディオ信号を左右両耳用で複数の周波数帯域に分け、各帯域ごとに異なる要素により制御可能であることを知得した。即ち、例えば、左，右の耳に入る音の時間差が音像定位に及ぼす影響はaHz以下の帯域において顕著であるが、bHz以上の高域においては、時間差の影響は少ないということが、その一つである。また、bHz以上の高周波帯域においては、コムフィルタの使用と左，右の耳に対して音量差を付けることが音像定位に有意であることも明らかとなった。なお、aHz〜bHzの中間帯域においては、距離は短いが、前方定位する上記制御要素以外のパラメータも見出した。
【００２０】
次に、図１によりモノラルのオーディオ信号を上記で説明した手法に基づき３次元の任意の位置に音像定位させる例について説明する。１は任意の音源の音をマイクロフォンにより拾ったモノラルのオーディオ入力信号である。
【００２１】
２は前記のマイクロフォンから送られる入力信号１を左右の耳用の２つのチャンネルに分けると共に、両チャンネルの信号を複数の周波数帯域に分割する帯域分割フィルターである。この実施例では入力するオーディオ信号１を、一例として、約1000Hz以下の低周波数帯域、約1000〜約4000Hzの中間周波数帯域、約4000Hz以上の高周波数帯域の３つの帯域に分けて出力できるデジタルフィルターとして３個の33次ＦＩＲフィルタ2L，2M，2Hを使用した。本発明では、入力信号１の帯域分割は、上記の３帯域に限られるものではなく、例えば、低周波数帯域と中高周波数帯域の２分割、或は、入力信号１の全帯域を４〜５の帯域に分割することもある。なお、以下は処理も左右チャンネル用の各帯域の信号について行っているものとする。
【００２２】
3L，3M，3Hは、前記の各フィルタ2L，2M，2Hにおいて分割された各帯域ごとに、夫々の帯域のオーディオ信号を、先に述べた音像定位の手法により処理，制御するための信号処理部である。低周波数帯域では、左右の耳用の各チャンネルに対し、時間差と音量差を音像定位のためのパラメータとして処理するため、一次のＩＩＲフィルタ31を用いる。中間周波数帯域では、頭部伝達関数の周波数特性を精度良く再現するためパラメトリックイコライザ（ＰＥＱ）による処理のため、ここでは当該ＰＥＱを２次のＩＩＲフィルタ32を３段直列して構成している。高周波数帯域では、頭部伝達関数が櫛状特性を示すので、コムフィルタ33を用いる。
【００２３】
上記構成による各周波数帯域ごとの音像定位処理の後、各周波数帯域ごとに音の回析による遅延差や両耳に到達する音の伝達時間差を考慮した遅延制御を行うため、各周波数帯域ごとに遅延制御部4L，4M，4Hを設け、各遅延制御部4L，4M，4Hから出力される処理された各周波数帯域の音響信号を、ミキサー５においてそれぞれの帯域の音の量の比率（ゲイン）を調整して混合することにより、このミキサー５から三次元で音像定位される音響信号を得ることができる。
【００２４】
上記の三次元音像定位の手法によって、図２に例示するように、受聴者Ｍを中心とする同心円上の任意の位置に音像を定位させることができるので、本発明では、この音像定位手法による機能をより拡張し、ある点に定位させた音像を次の点に移動させることができるようにしたものである。
【００２５】
定位音像を図２に例示したＡ点からＢ点へ、或は、これとは逆に２点間で移動させるには、図１の音像定位手法に用いられているすべてのパラメータを、上記２点間で補間すればよいが、これでは演算量，メモリ量が膨大になるため実用的ではない。
【００２６】
そこで本発明では、先に述べた音像定位手法において、音像の移動効果を表現するために重要な役割を担う各周波数帯域ごとの音像定位処理における遅延制御と、ミキシング処理における各周波数帯域の比率（ゲイン）を上記の２点間で補間することとした。以下に、補間手順について述べる。
【００２７】
まず、音像定位のパラメータが定義されているＡ，Ｂ２点間の遅延差，ゲイン差を求める。次に、定位音像をＡ点からＢ点に移動させるに要する時間によって前記遅延差とゲイン差とを割り、遅延とゲインの最小単位の差分が変化する時間間隔を求める。図２の例では、Ａ点とＢ点が音像定位できる点であり、説明の便宜上、図２の「５」がＡ点での遅延差又はゲイン差のパラメータの係数、「15」がＢ点での当該パラメータの係数を表わすものとする。ここで、音像定位点Ａ点からＢ点に音像を移動させるとき、両点における前記係数の差「10」により音像の移動に要する時間を割ることによって、この音像の移動により前記係数の最小単位「１」が変化する時間間隔が得られるので、この時間間隔によって前記係数をＡ点の「５」から順次６，７，８・・・・・・14，「15」と変化させてやれば、Ａ，Ｂ２点間の遅延差とゲイン差の線形補間を行うことになる。このとき、図１に例示した音像定位手法に用いられている他のパラメータは、定位された音像がＢ点に移動したとき、Ｂ点での定位パラメータの係数に入替える。
【００２８】
つまり、定位音像をＡ点からＢ点に移動させるとき、遅延差とゲイン差については、線形補間した値を用いるが、それら以外のパラメータについては、移動中には点Ａの定位パラメータを用いておき、Ｂ点に到着したときＢ点のパラメータに入替える。これとは逆に、定位音像をＢ点からＡ点に移動させるには、Ａ点に到達するまでＢ点の定位パラメータを用いる。
【００２９】
上記の定位音像を移動させるために必要な処理は、各周波数帯域ごとに、左，右の耳に対する遅延差を求める処理、ゲインの差を求める処理、前記各処理で求められた遅延差とゲイン差の夫々の最小単位分が変化する時間間隔を求める処理、及び、遅延とゲインの値を得られた遅延とゲインの最小単位の値ずつ変化させる処理である。
【００３０】
従って、図１の音像定位手法のアルゴリズムに、上記の音像移動のための各処理を実行するアルゴリズムを加えることにより、図１と同じ処理フローによって受聴者Ｍが移動感を覚える音像定位された音を任意に生成することができる。
【００３１】
上記に説明した手法の例は、受聴者Ｍに同心円または球上で定位した音像が移動する聴感を覚えさせるものであるが、本発明は受聴者Ｍを中心に三次元の放射状の距離の変化においても音像を移動させることができる。
【００３２】
【発明の効果】
本発明は以上の通りであって、入力されるオーディオ信号について、それを左、右の両耳用のチャンネルに分け、各チャンネルのオーディオ信号を、一例として低，中，高の各周波数域の３つの帯域に分け、各周波数の帯域ごとに左右の耳における時間差，音量差などを音像定位要素とするパラメータとして制御する処理を施すことにより定位音像を得ると共に、前記の各周波数帯域ごとに、前記音像の移動効果を知覚させる要素である左右耳に対する遅延差と各帯域の音をミキシングするときの比率（ゲイン）差とを、単位時間ごとに変化させて、定位音像の移動感が知覚できる音を生成するようにしたので、適宜の音源から入力される左，右の耳用の入力オーディオ信号から音像定位に優れた再生音を得られることは勿論のこと、定位させた音像を三次元移動させることにより、定位音像の変化する奥行き感や変化する立体感を聴感できる再生音を得ることが可能になる。また、前記手法に加えて再生時にも音像定位並びにその音像を移動させる制御を重畳すれば、更に効果的、かつ、高精度の音像定位とその音像の移動を、容易に実現することができる。
【図面の簡単な説明】
【図１】本発明方法を実施するための一例の機能ブロック図。
【図２】本発明方法を説明するための模式図。
【符号の説明】
１ 入力信号
２ 帯域分割フィルター
3L，3M，3H 信号処理部
4L，4M，4H 遅延制御部
５ ミキサー
Claims (1)
- モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、
分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、
前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、
この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、
定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、
この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とする入力信号を音像定位させて三次元空間を移動させる方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002206664A JP4540290B2 (ja) | 2002-07-16 | 2002-07-16 | 入力信号を音像定位させて三次元空間を移動させる方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002206664A JP4540290B2 (ja) | 2002-07-16 | 2002-07-16 | 入力信号を音像定位させて三次元空間を移動させる方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004056168A JP2004056168A (ja) | 2004-02-19 |
| JP4540290B2 true JP4540290B2 (ja) | 2010-09-08 |
Family
ID=31931332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002206664A Expired - Fee Related JP4540290B2 (ja) | 2002-07-16 | 2002-07-16 | 入力信号を音像定位させて三次元空間を移動させる方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4540290B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006070782A1 (ja) * | 2004-12-28 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | マルチチャンネルオーディオシステム、ならびに、マルチチャンネルオーディオ信号多重化装置、復元装置およびプログラム |
| KR100641421B1 (ko) | 2005-07-13 | 2006-11-01 | 엘지전자 주식회사 | 오디오 시스템의 음상 확장 장치 |
| DE102005033238A1 (de) * | 2005-07-15 | 2007-01-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP |
| KR100619082B1 (ko) | 2005-07-20 | 2006-09-05 | 삼성전자주식회사 | 와이드 모노 사운드 재생 방법 및 시스템 |
| JP4938015B2 (ja) * | 2005-09-13 | 2012-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ３次元音声を生成する方法及び装置 |
| JP4821250B2 (ja) * | 2005-10-11 | 2011-11-24 | ヤマハ株式会社 | 音像定位装置 |
| JP2010252220A (ja) * | 2009-04-20 | 2010-11-04 | Nippon Hoso Kyokai <Nhk> | ３次元音響パンニング装置およびそのプログラム |
| CN115942196A (zh) * | 2022-12-21 | 2023-04-07 | 瑞声声学科技(深圳)有限公司 | 车载虚拟多声道的音频信号处理方法及系统和电子设备 |
-
2002
- 2002-07-16 JP JP2002206664A patent/JP4540290B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004056168A (ja) | 2004-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3657120B2 (ja) | 左，右両耳用のオーディオ信号を音像定位させるための処理方法 | |
| JP4694590B2 (ja) | 音像定位装置 | |
| CN100586227C (zh) | 立体声扩展网络中的输出均衡 | |
| EP1194007B1 (en) | Method and signal processing device for converting stereo signals for headphone listening | |
| KR100608025B1 (ko) | 2채널 헤드폰용 입체 음향 생성 방법 및 장치 | |
| KR100608024B1 (ko) | 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체 | |
| JP3514639B2 (ja) | ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置 | |
| US6504933B1 (en) | Three-dimensional sound system and method using head related transfer function | |
| JPH10509565A (ja) | 録音及び再生システム | |
| CN1937854A (zh) | 用于再现双声道虚拟声音的装置和方法 | |
| JP6515720B2 (ja) | 頭外定位処理装置、頭外定位処理方法、及びプログラム | |
| JPH09505702A (ja) | バイノーラル信号処理装置 | |
| JP2001507879A (ja) | ステレオ音響エキスパンダ | |
| US20200059750A1 (en) | Sound spatialization method | |
| JP2006203850A (ja) | 音像定位装置 | |
| JP4540290B2 (ja) | 入力信号を音像定位させて三次元空間を移動させる方法 | |
| JP5038145B2 (ja) | 定位制御装置、定位制御方法、定位制御プログラムおよびコンピュータに読み取り可能な記録媒体 | |
| KR20080079502A (ko) | 입체음향 출력장치 및 그의 초기반사음 생성방법 | |
| JP4951985B2 (ja) | 音声信号処理装置、音声信号処理システム、プログラム | |
| JP2004023486A (ja) | ヘッドホンによる再生音聴取における音像頭外定位方法、及び、そのための装置 | |
| US20240056735A1 (en) | Stereo headphone psychoacoustic sound localization system and method for reconstructing stereo psychoacoustic sound signals using same | |
| JP2001359197A (ja) | 音像定位信号の生成方法、及び音像定位信号生成装置 | |
| DK180449B1 (en) | A method and system for real-time implementation of head-related transfer functions | |
| KR100275779B1 (ko) | 5채널 오디오 데이터를 2채널로 변환하여 헤드폰으로 재생하는 장치 및 방법 | |
| JPH06269097A (ja) | 音響装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040921 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040921 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040915 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071004 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080110 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100423 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100622 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |