JP7487060B2

JP7487060B2 - 音響装置および音響制御方法

Info

Publication number: JP7487060B2
Application number: JP2020162215A
Authority: JP
Inventors: 浩二阪本
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2024-05-20
Anticipated expiration: 2040-09-28
Also published as: JP2022054933A

Description

本発明は、音響装置および音響制御方法に関する。

従来、例えば、ステレオ音源から疑似的に残響音の信号を生成し、音源とともに残響音を出力することで、複数のチャンネルでサラウンド再生する技術がある（例えば、特許文献１参照）。

特許第５３７２１４２号公報

しかしながら、従来技術では、より高音質なサラウンド再生を行う点で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、高音質なサラウンド再生を行うことができる音響装置および音響制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る音響装置は、音源信号に基づいて、前記音源信号に含まれる音響成分の特徴である特徴情報を検出し、前記特徴情報に基づいて、前記音源信号から疑似的な残響音を生成するためのフィルタのゲインを決定し、前記フィルタのゲインとして、前記決定されたゲインを設定する。

本発明によれば、高音質なサラウンド再生を行うことができる。

図１Ａは、実施形態に係る音響制御方法の概要を示す図である。図１Ｂは、実施形態に係る音響制御方法の概要を示す図である。図２は、実施形態に係る音響装置の構成例を示すブロック図である。図３は、決定部の決定処理を示す図である。図４は、実施形態に係る音響装置によって実行される処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する音響装置および音響制御方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて、実施形態に係る音響制御方法の概要について説明する。図１Ａおよび図１Ｂは、実施形態に係る音響制御方法の概要を示す図である。実施形態に係る音響制御方法は、例えば、図１Ａに示す音響装置１によって実行される。

図１Ａでは、車内空間において、前方の左右に配置された２つのスピーカＦＲ，ＦＬから音源信号である直接音および実際の残響音を出力し、後方の左右に配置された２つのスピーカＲＬ，ＲＲから疑似的な残響音（以下、疑似残響音）を出力することでサラウンド再生する場合を示している。

ここで、音源信号は、２つのスピーカＦＲ，ＦＬそれぞれから異なる音を出力することで空間的な広がり（音像幅）をもった音源の信号である。つまり、音源信号は、２つのチャンネル（スピーカＦＲ，ＦＬ）でステレオ再生されるステレオ信号である。

また、音源信号は、クラシック音楽やオペラ等のような複数の楽器音や音声（ボーカル）が混在した音、すなわち、複数の音源が混在する音の信号であってもよく、ピアノのみやバイオリンのみといった単一の楽器（音源）の音の信号であってもよい。

実施形態に係る音響制御方法では、疑似残響音を生成するフィルタのゲインを音源（楽器や音声）毎に変えることで、１曲の音源信号においてより自然な疑似残響音を出力できるようになるため、時間とともに音源が変化するような信号が好適である。なお、フィルタは、例えば、ＦＩＲ（Finite Impulse Response）フィルタや、ＩＩＲ（Infinite Impulse Response）フィルタ等のインパルス応答性のフィルタである。

具体的には、実施形態に係る音響制御方法では、音響装置１が音源信号に含まれる音源毎の特徴に基づいて音源毎にゲインが最適化されたフィルタを用いて疑似残響音を生成することで、高音質なサラウンド再生を実現する。

ここで、図１Ａに示すように、空間において音源Ｓからの音響を受聴するリスナＬは、２種類の空間印象を知覚できることが知られている。一方の空間印象は、直接音と時間的にも空間的にも融合して知覚される「みかけの音源の幅」と定義される音像幅ＡＳＷであり、他方の空間印象は「みかけの音源以外の音源によって聴き手のまわりが満たされている感じ」と定義される包まれ感ＬＥＶである。つまり、音像幅ＡＳＷは、音源信号の初期成分である直接音および初期反射音成分に由来した音像であり、包まれ感ＬＥＶは、音源信号の後期成分である残響音成分に由来した音像である。

これら音像幅ＡＳＷと包まれ感ＬＥＶを設計および評価するにあたっては、いわゆる「第一波面の法則」を用いた指標を利用する場合がある。かかる指標では、図１Ｂに示すように、２つの閾値ＴＨ１，ＴＨ２によって区画された２つの領域Ｒ１，Ｒ２（閾値範囲）が定義される。

領域Ｒ１は、音源信号に含まれる成分のうち、主として直接音を含む成分（初期成分）が含まれる領域である。例えば、領域Ｒ１の初期成分が大きいと音像幅ＡＳＷが大きくなるため、聴感上、拡散されているとリスナＬが感じることで音源によっては音質が悪い（不明瞭である）と評価される。なお、直接音とは、例えば、音声（ボーカル）や楽器等から直接録音した音であり、壁等で反射した音を含まない音である。

また、領域Ｒ２は、音源信号に含まれる成分のうち、主として残響音を含む成分（後期成分）が含まれる領域である。例えば、領域Ｒ２の残響音の成分が大きいと包まれ感ＬＥＶが大きくなるため、聴感上、拡散されているとリスナＬが感じることで包まれ感が充実すると評価される。なお、残響音とは、例えば、音声や楽器等の音が壁等で反射した音を録音した音であり、直接音から時間的に遅れた音である。

つまり、第１波面の法則において、領域Ｒ１に含まれる初期成分と領域Ｒ２に含まれる後期成分とが明確に分離できた場合に、音像の明確化と包まれ感の充実化とを両立させることができる。

ここで、従来、音源のＬＲチャンネルの無相関成分を抽出することで、残響音を付加する信号処理が用いられる場合があり、その場合、ＬＲチャンネルの相関成分であるボーカル等のみ明瞭に、その他の楽器等は不明瞭に、という不自然な聴こえ方となる場合がある。このように、従来は、高音質なサラウンド再生を行う点で改善の余地があった。

実施形態に係る音響制御方法では、第１波面の法則における閾値範囲を音源の特徴に応じて変化させ、フィルタで生成される疑似残響音がかかる閾値範囲の領域Ｒ２に収まるようなフィルタのゲインを決定する。

具体的には、実施形態に係る音響制御方法では、まず、音源信号に基づいて、音源信号に含まれる音響成分（直接音成分および残響音成分）の特徴である特徴情報を検出する。なお、特徴情報の詳細については後述する。

つづいて、実施形態に係る音響制御方法では、特徴情報に基づいて、疑似残響音を生成するためのフィルタのゲインを決定する。そして、実施形態に係る音響制御方法では、決定したゲインが設定されたフィルタを用いて、疑似残響音を生成する。

これにより、例えば、音声や、打楽器、クラシック音楽等のように、音源の残響音の特徴が異なる場合であっても、音源毎に最適な疑似残響音を生成でき、音源の特徴に応じて最適なサラウンド再生が可能となる。すなわち、実施形態に係る音響制御方法によれば、高音質なサラウンド再生を行うことができる。

次に、図２を用いて、実施形態に係る音響装置１の構成例について説明する。図２は、実施形態に係る音響装置１の構成例を示すブロック図である。図２に示す音響装置１は、音源装置１００と、複数のスピーカＦＬ，ＦＲ，ＲＬ，ＲＲとに接続される。また、図２に示すように、音響装置１は、制御部２と、記憶部３とを備える。

音源装置１００は、音源信号を音響装置１へ出力する。音源信号は、例えば、ステレオ信号であり、２つのチャンネルである２つのスピーカＦＬ，ＦＲからそれぞれ異なる信号が出力されることで空間的な広がりをもった音源Ｓとなる。

複数のスピーカＦＬ，ＦＲ，ＲＬ，ＲＲは、音響装置１が出力される信号を音として出力する。具体的には、スピーカＦＬ，ＦＲは、音源信号である直接音を出力し、スピーカＲＬ，ＲＲは、音源信号から生成された疑似残響音を出力する。

ここで、音響装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、検出部２２、決定部２３、生成部２４および出力部２５として機能する。

また制御部２の取得部２１、検出部２２、決定部２３、生成部２４および出力部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、各種プログラムの情報等を記憶することができる。なお、音響装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

次に、制御部２の各機能（取得部２１、検出部２２、決定部２３、生成部２４および出力部２５）について詳細に説明する。

取得部２１は、各種情報や信号を取得する。例えば、取得部２１は、音源装置１００から音源信号を取得する。例えば、取得部２１は、ステレオ信号である音源信号を取得する。具体的には、取得部２１は、２つのチャンネルである２つのスピーカＦＬ，ＦＲそれぞれから出力される音源信号を取得する。

また、取得部２１は、音源信号に関する音源情報を取得する。音源情報は、例えば、音源信号の種別（ジャンル）や、録音環境に関する情報を取得する。音源信号の種別は、例えば、音声や、楽器（打楽器や管楽器等）、クラシック音楽等である。録音環境は、例えば、レコーディングスタジオや、コンサートホール等の録音した場所の情報である。

取得部２１は、例えば、リスナＬ等のユーザによる入力により音源情報を取得したり、インターネットを介してサーバ等から音源情報を取得する。また、取得部２１は、取得した音源信号を解析して音源情報を取得してもよい。

検出部２２は、音源信号に基づいて、音源信号に含まれる音響成分の特徴である特徴情報を検出する。

例えば、検出部２２は、音響成分の特徴に関する特徴情報として、２つのチャンネルそれぞれで再生される音源信号の関係性に関するチャンネル関係情報を検出する。具体的には、チャンネル関係情報は、ＬＲチャンネル差やＬＲチャンネル相関の情報を含む。

ＬＲチャンネル差とは、２つのチャンネルでステレオ再生される２つの音源信号の差に関する情報である。具体的には、ＬＲチャンネル差は、チャンネル間レベル差（ＩＣＬＤ：Inter-channel Level Difference）や、チャンネル間時間差（Inter-channel Time Difference）である。

ＬＲチャンネル相関とは、２つのチャンネルでステレオ再生される２つの音源信号の相関成分に関する情報である。具体的には、ＬＲチャンネル相関は、チャンネル間の相互相関（ＩＣＣ：Inter-channel Cross Correlation）である。

このように、検出部２２は、特徴情報として、チャンネル関係情報を検出することで、音響成分を高精度に検出することができるため、後段の生成部２４におけるフィルタ処理により最適な疑似残響音を生成することができる。

そして、検出部２２は、チャンネル関係情報を一定間隔で連続して検出して時系列に並べ、検出した時系列のチャンネル関係情報について移動平均を算出することで、かかる移動平均を特徴情報として検出する。これにより、チャンネル関係情報の急峻な変化を平滑化できるため、後段の決定部２３によって決定されるゲインの急峻な変化を平滑化できる。この結果、生成部２４によって生成される疑似残響音の変化を滑らかにすることができるため、より自然なサラウンド再生を実現できる。

なお、検出部２２は、時系列のチャンネル関係情報のうち、音源信号の音圧レベル（振幅）が所定値未満の区間についてはチャンネル関係情報を最大化した後移動平均する。つまり、検出部２２は、時系列のチャンネル関係情報のうち、音源信号の音圧レベルが所定値未満の区間はサラウンドを出さず所定値未満の区間周辺はサラウンドを出さない方向へ制御するよう移動平均を算出する。

これにより、打楽器のソロ演奏のように打点間に無音が存在するような場合に第一波面の法則が成立する上限が低くなるため、打楽器に対しフィルタゲインを下げて適したサラウンドレベルへ制御される。

また、検出部２２は、音響成分の継続時間や周波数に関する情報を特徴情報として検出する。

継続時間とは、音源信号が継続する時間である。具体的には、検出部２２は、音源信号の包絡線を算出し、算出した包絡線を微分後、再度包絡線を算出し、得られた包絡線の傾きから継続時間を検出する。

周波数とは、音源信号の周波数成分に関する情報である。具体的には、検出部２２は、時間で表現される音源信号をフーリエ変換することで、周波数で表現された音源信号の周波数の重心を検出する。

このように、検出部２２は、特徴情報として、継続時間や周波数の情報を検出することで、音響成分を高精度に検出することができるため、後段の生成部２４におけるフィルタ処理により最適な疑似残響音を生成することができる。

決定部２３は、後述する生成部２４が用いるフィルタのゲインを決定する。具体的には、決定部２３は、検出部２２が検出した特徴情報および取得部２１によって取得された音源情報の少なくとも一方に基づいて、フィルタのゲインを決定する。

具体的には、決定部２３は、特徴情報および音源情報の少なくとも一方に基づいて、第１波面の法則から求めた閾値範囲を補正し、補正後の閾値範囲に基づいてゲインを決定する。ここで、第１波面の法則を元にしたゲインの決定処理について図３を用いて説明する。

図３は、決定部２３によるゲインの決定処理を示す図である。図３に示すように、決定部２３は、まず、第１波面の法則から求めた閾値範囲を特徴情報（チャンネル関係情報、継続時間および周波数）および音源情報に基づいて補正する。

例えば、図３の中段のグラフに示す閾値範囲である領域Ｒ１および領域Ｒ２を基準範囲とする。かかる場合、決定部２３は、特徴情報および音源情報に基づいて、閾値ＴＨ１および閾値ＴＨ２を時間および振幅の２軸で補正することで、領域Ｒ１および領域Ｒ２を補正する。

例えば、決定部２３は、チャンネル関係情報が大きい程、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が大きくなる方向に補正する。つまり、決定部２３は、チャンネル関係情報が大きい程、領域Ｒ１および領域Ｒ２が大きくなるように補正する。

一方、決定部２３は、チャンネル関係情報が小さい程、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が小さくなる方向に補正する。つまり、決定部２３は、チャンネル関係情報が小さい程、領域Ｒ１および領域Ｒ２が小さくなるように補正する。

なお、チャンネル関係情報であるチャンネル間レベル差が大きい程、または、チャンネル間時間差が大きい程、相互相関が低い程（無相関成分が多い程）、チャンネル関係情報が大きくなる。

また、決定部２３は、音響成分の継続時間が長い程、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が大きくなる方向に補正する。つまり、決定部２３は、音響成分の継続時間が長い程、領域Ｒ１および領域Ｒ２が大きくなるように補正する。

一方、決定部２３は、音響成分の継続時間が短い程、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が小さくなる方向に補正する。つまり、決定部２３は、音響成分の継続時間が短い程、領域Ｒ１および領域Ｒ２が小さくなるように補正する。

また、決定部２３は、音響成分の周波数（重心）が低い程、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が大きくなる方向に補正する。つまり、決定部２３は、音響成分の周波数（重心）が低い程、領域Ｒ１および領域Ｒ２が大きくなるように補正する。

一方、決定部２３は、音響成分の周波数（重心）が高い程、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が小さくなる方向に補正する。つまり、決定部２３は、音響成分の周波数（重心）が高い程、領域Ｒ１および領域Ｒ２が小さくなるように補正する。

また、決定部２３は、音源情報から音源信号がクラシックである場合には、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が大きくなる方向に補正する。つまり、決定部２３は、音源信号がクラシックである場合には、領域Ｒ１および領域Ｒ２が大きくなるように補正する。

一方、決定部２３は、音源情報から音源信号が音声である場合には、閾値ＴＨ１および閾値ＴＨ２を時間および振幅が小さくなる方向に補正する。つまり、決定部２３は、音源信号が音声である場合には、領域Ｒ１および領域Ｒ２が小さくなるように補正する。

そして、決定部２３は、補正後の閾値範囲に基づいて、後段の生成部２４で用いられるフィルタのゲインを決定する。具体的には、決定部２３は、フィルタにより生成される疑似残響音が補正後の閾値範囲に収まるようにゲインを決定する。

つまり、決定部２３は、領域Ｒ１および領域Ｒ２が大きくなるように補正された場合には、疑似残響音の時間および振幅が大きくなるようにゲインを決定する。一方、決定部２３は、領域Ｒ１および領域Ｒ２が小さくなるように補正された場合には、疑似残響音の時間および振幅が小さくなるようにゲインを決定する。

このように、決定部２３は、特徴情報および音源情報に基づいて補正した第１波面の法則の閾値範囲からゲインを決定することで、最適な疑似残響音を生成するためのゲインを決定することができる。

生成部２４は、決定部２３によって決定されたゲインが設定されたフィルタを用いて、音源信号から疑似残響音を示す残響信号を生成する。フィルタは、例えば、ＦＩＲ（Finite Impulse Response）フィルタや、ＩＩＲ（Infinite Impulse Response）フィルタ等のインパルス応答性のフィルタを用いることができる。

出力部２５は、取得部２１から入力される音源信号および生成部２４から入力される残響信号に所定の処理を施してスピーカＦＬ，ＦＲ，ＲＬ，ＲＲから出力する。

具体的には、出力部２５は、音源信号をＤ／Ａ変換し、Ｄ／Ａ変換後の音源信号を増幅してスピーカＦＬ，ＦＲから出力する。また、出力部２５は、残響信号をＤ／Ａ変換し、Ｄ／Ａ変換後の残響信号を増幅してスピーカＲＬ，ＲＲから出力する。

次に、図４を用いて、実施形態に係る音響装置１において実行される処理の手順について説明する。図４は、実施形態に係る音響装置１によって実行される処理の処理手順を示すフローチャートである。

図４に示すように、まず、取得部２１は、音源装置１００から音源信号を取得する（ステップＳ１０１）。つづいて、取得部２１は、音源信号に関する音源情報を取得する（ステップＳ１０２）。

つづいて、検出部２２は、取得部２１によって取得された音源信号および音源情報に基づいて、音源信号に含まれる音響成分の特徴である特徴情報を検出する（ステップＳ１０３）。

つづいて、決定部２３は、検出部２２によって検出された特徴情報に基づいて、第１波面の法則における閾値範囲を決定する（ステップＳ１０４）。

つづいて、決定部２３は、決定した閾値範囲に基づいて、疑似残響音が閾値範囲に収まるようフィルタ（生成部２４）のゲインを決定する（ステップＳ１０５）。

つづいて、生成部２４は、決定したゲインが設定されたフィルタを用いて、疑似残響音を示す残響信号を生成する（ステップＳ１０６）。

つづいて、出力部２５は、生成部２４によって生成された残響信号および取得部２１によって取得された音源信号を複数のスピーカＦＬ，ＦＲ，ＲＬ，ＲＲを介して出力することでサラウンド再生し（ステップＳ１０７）、処理を終了する。

上述してきたように、実施形態に係る音響装置１は、検出部２２と、決定部２３と、生成部２４とを備える。検出部２２は、音源信号に基づいて、音源信号に含まれる音響成分の特徴である特徴情報を検出する。決定部２３は、特徴情報に基づいて、音源信号から疑似的な残響音を生成するためのフィルタのゲインを決定する。生成部２４は、決定部２３によって決定されたゲインが設定されたフィルタを用いて、音源信号から残響音を示す残響信号を生成する。これにより、高音質なサラウンド再生を行うことができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１音響装置
２制御部
３記憶部
２１取得部
２２検出部
２３決定部
２４生成部
２５出力部
１００音源装置
ＦＬ、ＦＲ、ＲＬ、ＲＲスピーカ
Ｌリスナ
Ｓ音源

Claims

音源信号に基づいて、前記音源信号に含まれる音響成分の特徴である特徴情報を検出し、
第１波面の法則から求めた閾値範囲を前記特徴情報に基づいて補正し、
補正後の前記閾値範囲に基づいて、前記音源信号から疑似的な残響音を生成するためのフィルタのゲインを決定し、
前記フィルタのゲインとして、前記決定されたゲインを設定する
音響装置。
前記音源信号は、
２つのチャンネルの再生信号からなるステレオ信号であって、
前記特徴情報として、前記２つのチャンネルそれぞれで再生される前記音源信号の関係性に関するチャンネル関係情報を検出する
請求項１に記載の音響装置。
前記チャンネル関係情報を一定間隔で連続して検出し、検出した時系列の前記チャンネル関係情報について算出した移動平均を前記特徴情報として検出する
請求項２に記載の音響装置。
前記時系列の前記チャンネル関係情報のうち、前記音源信号の音圧レベルが所定値未満の区間は前記チャンネル関係情報を最大化して前記移動平均を行う
請求項３に記載の音響装置。
前記音響成分の継続時間および周波数に関する情報を前記特徴情報として検出する
請求項１～４のいずれか１つに記載の音響装置。
前記音源信号に関する音源情報を取得し、
前記特徴情報および前記音源情報に基づいて、前記フィルタのゲインを決定する
請求項１～５のいずれか１つに記載の音響装置。
音源信号に基づいて、前記音源信号に含まれる音響成分の特徴である特徴情報を検出する検出工程と、
第１波面の法則から求めた閾値範囲を前記特徴情報に基づいて補正する補正工程と、
補正後の前記閾値範囲に基づいて、前記音源信号から疑似的な残響音を生成するためのフィルタのゲインを決定する決定工程と、
前記フィルタのゲインとして、前記決定工程によって決定されたゲインを設定する設定工程と、
前記設定工程によってゲインが設定された前記フィルタを用いて、前記音源信号から前記残響音を示す残響信号を生成する生成工程と
を含む音響制御方法。