JP4550652B2

JP4550652B2 - 音響信号処理装置、音響信号処理プログラム及び音響信号処理方法

Info

Publication number: JP4550652B2
Application number: JP2005117375A
Authority: JP
Inventors: 幸一山本; 聡典河村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-04-14
Filing date: 2005-04-14
Publication date: 2010-09-22
Anticipated expiration: 2025-04-14
Also published as: CN1848691A; US7870003B2; CN100555876C; US20060235680A1; JP2006293230A

Description

本発明は、マルチチャンネル音響信号を時間的に圧縮／伸張する音響信号処理装置、音響信号処理プログラム及び音響信号処理方法に関する。

従来、話速変換のように音響信号の時間的な長さを変化させる場合、入力信号から基本周波数などの特徴量を抽出し、得られた特徴量に基づいて決定される適応的な時間幅を有する信号の挿入・削除を行うことによって所望とする圧伸率を実現していた。代表的な時間軸圧伸方法として、例えば、非特許文献１に記載されているＰＩＣＯＬＡ（Pointer Interval Controlled OverLap and Add）がある。このＰＩＣＯＬＡでは、入力信号から基本周波数を抽出し、得られた基本周波数分の波形の挿入及び削除を行うことによって時間的な圧伸処理を行っている。また、特許文献１では、クロスフェード区間の波形が最も類似する位置で波形を切り出し、切り出された波形の両端を接続することによって時間的な圧伸処理を行っている。どちらの手法も原信号の時間軸方向に区切られた２つの区間の類似性を示す特徴量に基づいた圧伸処理を行っており、音程を変化させることなく自然な時間軸圧縮及び伸張処理が可能になる。

ところで、処理する音響信号がステレオや５．１チャンネル信号に代表されるようなマルチチャンネルの音響信号である場合、各チャンネルについて独立に時間軸圧伸処理を行うと、各チャンネルから抽出される基本周波数などの特徴量が必ずしも一致せず、波形の挿入・削除を行うタイミングが各チャンネルで異なってしまう。その結果、処理後の各チャンネルの信号間で原信号にはなかった位相差が生じてしまい、視聴時に違和感を与えてしまうという問題が生じる。

そこで、マルチチャンネル音響信号の話速変換では、音源定位を保つために、全てのチャンネルに共通の特徴量（共通ピッチ）を抽出し、得られた共通の特徴量（共通ピッチ）に基づいて波形の挿入・削除を行うことでチャンネル間の同期をとる必要がある。このように全チャンネル共通の特徴量（共通ピッチ）を抽出し、チャンネル間の同期を保つ従来技術としては、例えば特許文献２や特許文献３に記載されている技術がある。これらの技術によれば、マルチチャンネル音響信号の全部もしくは一部を合成（加算）した信号から特徴量（共通ピッチ）の抽出を行っている。例えば、入力信号がステレオ信号であった場合には、ＬチャンネルとＲチャンネルを合成（加算）したＬ＋Ｒの信号から全チャンネル共通の特徴量を抽出することになる。

森田直孝、板倉文忠著「自己相関関数を用いた音声の時間軸での伸縮」、日本音響学会講演論文集３−１−２、昭和６１年１０月、ｐ．１４９−１５０特許第３４３０９６８号公報特許第２９０５１９１号公報特許第３４３０９７４号公報

しかしながら、前述したようなマルチチャンネル音響信号を合成（加算）した信号から全チャンネル共通の特長量を抽出する方法によれば、複数のチャンネル信号を合成（加算）する際に信号間で逆位相の音が含まれていた場合、特徴量（共通ピッチ）を正確に抽出することができないという問題がある。より具体的には、ステレオ信号におけるＬチャンネルとＲチャンネルが逆位相を持つ信号であった場合、Ｌ＋Ｒのように両信号を合成（加算）してしまうと信号が打ち消されてしまい（同振幅の場合は０になる）、特徴量（共通ピッチ）を正確に抽出することが出来ないという問題がある。

本発明は、上記に鑑みてなされたものであって、全チャンネル共通の特徴量を正確に抽出し、得られた共通の特徴量に基づいて全チャンネルの同期を保った状態で時間圧伸処理を行うことができる音響信号処理装置、音響信号処理プログラム及び音響信号処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の音響信号処理装置は、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、を備え、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引く際に、各チャンネル信号における間引き位置を各チャンネルでずらす。
また、本発明の音響信号処理装置は、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、を備え、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を前記マルチチャンネル音響信号のチャンネル数によって決定する。
また、本発明の音響信号処理装置は、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、を備え、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を指定された圧伸率に応じて決定する。

また、本発明の音響信号処理プログラムは、コンピュータを、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、として機能させ、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引く際に、各チャンネル信号における間引き位置を各チャンネルでずらす。
また、本発明の音響信号処理プログラムは、コンピュータを、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、として機能させ、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を前記マルチチャンネル音響信号のチャンネル数によって決定する。
また、本発明の音響信号処理プログラムは、コンピュータを、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、として機能させ、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を指定された圧伸率に応じて決定する。

また、本発明の音響信号処理方法は、音響信号処理装置で実行される音響信号処理方法であって、前記音響信号処理装置は、制御部と記憶部を備え、前記制御部において実行される、特徴抽出手段が、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出するステップと、時間軸圧伸手段が、前記特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うステップと、を含み、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引く際に、各チャンネル信号における間引き位置を各チャンネルでずらす。
また、本発明の音響信号処理方法は、音響信号処理装置で実行される音響信号処理方法であって、前記音響信号処理装置は、制御部と記憶部を備え、前記制御部において実行される、特徴抽出手段が、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出するステップと、時間軸圧伸手段が、前記特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うステップと、を含み、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を前記マルチチャンネル音響信号のチャンネル数によって決定する。
また、本発明の音響信号処理方法は、音響信号処理装置で実行される音響信号処理方法であって、前記音響信号処理装置は、制御部と記憶部を備え、前記制御部において実行される、特徴抽出手段が、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出するステップと、時間軸圧伸手段が、前記特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うステップと、を含み、前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を指定された圧伸率に応じて決定する。

本発明によれば、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出し、抽出された特徴量に基づいてマルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うことにより、全チャンネル共通の特徴量を正確に抽出することができ、得られた共通の特徴量に基づいて全チャンネルの同期を保った状態で時間圧伸処理を行うことができるので、高品質な時間軸圧伸処理を実現することができる。

以下に添付図面を参照して、この発明にかかる音響信号処理装置、音響信号処理プログラム及び音響信号処理方法の最良な実施の形態を詳細に説明する。

［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図３に基づいて説明する。本実施の形態は、音響信号処理装置として、処理する音響信号がステレオであって音楽のテンポを変える場合や話速を変える場合に用いるマルチチャンネル音響信号処理装置を適用した例である。

図１は、本発明の第１の実施の形態にかかる音響信号処理装置１の構成を示すブロック図である。図１に示すように、音響信号処理装置１は、所定のサンプリング周波数で左入力信号及び右入力信号をＡ／Ｄ変換するＡ／Ｄ変換部２と、このＡ／Ｄ変換部２から出力される左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出手段である特徴抽出部３と、この特徴抽出部３で抽出された左右チャンネルに共通する特徴量に基づいて、入力された原ディジタル信号を指定された圧伸率に応じて時間軸圧伸処理を行う時間軸圧伸手段である時間軸圧伸部４と、この時間軸圧伸部４で処理された各チャンネルのディジタル信号をＤ／Ａ変換した左出力信号及び右出力信号を出力するＤ／Ａ変換部５とで構成されている。

特徴抽出部３は、左右の信号を用いて合成類似度計算を行う合成類似度計算手段である合成類似度計算部６と、この合成類似度計算部６で得られた合成類似度が最大となる探索位置を決定する最大値探索手段である最大値探索部７とから構成されている。

時間軸圧伸部４における時間軸圧伸処理には、ＰＩＣＯＬＡ（Pointer Interval Controlled OverLap and Add）が用いられる。ＰＩＣＯＬＡは、非特許文献１に記載されているように、入力信号から基本周波数を抽出し、得られた基本周波数分の波形の挿入・削除を繰り返すことによって、所望とする圧伸率を実現する。ここで、（処理後時間長／処理前時間長）で表される時間軸圧伸率をＲと定義すると、圧縮処理の場合は０＜Ｒ＜１、伸張処理の場合はＲ＞１の範囲を採ることになる。なお、本実施の形態の時間軸圧伸部４においては、時間軸圧伸方式としてＰＩＣＯＬＡを用いるようにしたが、時間軸圧伸方式はこれに限るものではなく、例えばクロスフェード区間の波形が最も類似する位置で波形を切り出し、切り出された波形の両端を接続することによって時間的な圧伸処理を行うようにしても良い。

次に、音響信号処理装置１における処理の手順について説明する。

まず、時間軸圧伸処理を行うステレオ信号の左入力信号及び右入力信号の各々がＡ／Ｄ変換部２によってアナログ信号からディジタル信号に変換される。

次に、特徴抽出部３においてＡ／Ｄ変換部２で変換された左ディジタル信号及び右ディジタル信号から左右チャンネル共通の基本周波数を抽出する。

特徴抽出部３における合成類似度計算部６では、Ａ／Ｄ変換部２からの左右ディジタル信号について時間軸方向に区切られた２つの区間の合成類似度を計算する。合成類似度は、下記に示す式（１）に基づいて算出することができる。

ここで、ｘ_l（ｎ），ｘ_r（ｎ）は時刻ｎにおける左信号及び右信号、Ｎは合成類似度を計算する波形窓幅、τは類似波形の探索位置、Δｎは合成類似度計算を行う際の間引き幅、Δｄは左右チャンネル間での間引き幅のずれを表している。

式（１）では、時間方向に区切られた２つの波形の合成類似度を自己相関関数で計算している。ｓ（τ）は、探索位置τにおける左信号及び右信号それぞれの自己相関関数値の和、つまり、各チャンネルの類似度を合成（加算）した合成類似度を表している。合成類似度ｓ（τ）が大きいほど、時刻ｎを始点とする長さＮの波形と、時刻ｎ＋τを始点とする長さＮの波形の左右チャンネルにおける平均的な類似度が高くなる。合成類似計算を行う波形窓幅Ｎは、少なくとも抽出対象とする基本周波数の最低周波数分を必要とする。例えば、Ａ／Ｄ変換のサンプリング周波数を48000Ｈｚ、抽出する基本周波数の下限値を50Ｈｚとした場合、波形窓幅Ｎは960サンプルになる。式（１）のように各チャンネルから得られる類似度を合成した合成類似度を用いることによって、左右チャンネル間で逆位相の音が含まれていた場合でも正確に類似度を表現することが可能になる。

また、式（１）では演算量を削減させることを目的として、各チャンネルの類似度をΔｎおきに計算している。Δｎは類似度計算の間引き幅を表しており、この値を大きく設定すれば演算量を削除することが可能になる。例えば、圧伸率が１以下（圧縮）である場合、変換処理に必要な短時間当たりの演算量は多くなる。そのため、圧伸率が１以下の場合は、Δｎを５〜１０サンプルと設定し、圧伸率が１に近づくにつれてΔｎを１サンプルに近づけるように変化させてもよい。合成類似度計算においては、振幅の大局的な違いを掴むことが出来ればよく、このようにサンプルを間引いて計算を行っても時間軸圧伸後の音質が大きく低下することはない。また、５．１チャンネルなどのようにチャンネル数が増えると特徴抽出に必要な演算量は増えるため、Δｎをチャンネル数に応じて決定してもよい。例えば、Δｎのサンプル数をチャンネル数と同値にすることによって、５．１チャンネル信号を処理する際にも演算量を削減することが可能になる。

式（１）におけるΔｄは、左右チャンネル間で間引き処理を行う位置のずれ幅を表している。これは、間引き処理を行う位置を左右チャンネルでずらすことによって、間引き処理による時間的な分解能の低下を低減させることを目的としたものである。例えば、ずらし幅ΔｄをΔｎ／２のように設定した場合、式（１）ではΔｎ／２を間引き幅として左右チャンネル交互で類似度を計算していることに相当する。このようにマルチチャンネル間で間引き位置をずらすことにより、全チャンネルでの時間的な分解能の低下を削減することが可能になる。チャンネル間のずらし幅もΔｎと同様にチャンネル数に応じて変化させてもよい。例えば、５．１チャンネル信号を処理する場合、各チャンネルのΔｄを０、Δｎ×1/6、Δｎ×2/6、Δｎ×3/6、Δｎ×4/6、Δｎ×5/6のように設定することによって、Δｎ/6を間引き幅として全６チャンネル交互に類似度を計算していることに相当し、全チャンネルでの時間的な分解能の低下を削減させることが可能になる。

特徴抽出部３における最大値探索部７では、類似波形探索範囲において合成類似度が最大となる探索位置τ_maxを探索する。合成類似度を式（１）で計算する場合、所定の探索開始位置Ｐ_stから終了位置Ｐ_edにおけるｓ（τ）の最大値を探索すればよい。例えば、Ａ／Ｄ変換のサンプリング周波数を48000Ｈｚ、抽出する基本周波数の上限値を200Ｈｚ、下限値を50Ｈｚとした場合、類似波形探索位置τは240〜960サンプルまでの間になり、その間でｓ（τ）を最大にするτ_maxを求める。このようにして得られたτ_maxが両チャンネル共通の基本周波数となる。この最大値探索においても間引き処理を適用することが出来る。つまり、時間軸方向の類似波形の探索位置τをΔτおきに探索開始位置Ｐ_stから探査終了位置Ｐ_edまで変化させるのである。Δτは類似波形探索の時間軸方向の間引き幅を表しており、この値を大きく設定すれば演算量を削除することが可能になる。Δτの値は、前述したΔｎと同様に圧伸率及びチャンネル数に応じて変化させることにより、効果的に演算量を削減することが出来る。例えば、圧伸率が１以下の場合は、Δτを5〜10サンプルと設定し、圧伸率が１に近づくにつれてΔτを１サンプルに近づけるように変化させてもよい。

なお、以上の説明では、演算量を削減することに着目していたが、演算量に余裕がある場合は、間引き幅Δｎ、Δτを１サンプルとして詳細な合成類似度計算及び最大値探索を行うことも当然可能である。

時間軸圧伸部４では、特徴抽出部３で得られた基本周波数τ_maxに基づいて左右信号の時間軸圧伸処理を行う。図２は、ＰＩＣＯＬＡ方式により時間軸圧縮（Ｒ＜１）が行われる際の音声信号波形を表している。図２に示すように、まず、時間軸圧縮の開始位置にポインタ（図２中、□で示す）を設定し、当該ポインタ以降の音声信号における基本周波数τ_maxを特徴抽出部３で抽出する。次に、前記ポインタ位置から基本周波数τ_max分の２つの波形Ａ、Ｂをクロスフェードする重み付けにより重複加算した信号Ｃを生成する。ここで、波形Ａに対しては、１から０へ、Ｂに対しては０から１へ直線的に向かう重みをつけて長さτ_maxの波形Ｃを生成している。このクロスフェード処理は波形Ｃの前後の接続点における連続性を保つために設けられている。次に、ポインタをＣ上で
Ｌ_c＝Ｒ・τ_max／（１−Ｒ）
だけ移動させ、次処理の開始ポインタ（図２中、▽で示す）とする。以上の処理では、長さＬ_c＋τ_max＝τ_max／（１−Ｒ）の入力信号から長さＬ_cの出力波形が作られており圧伸率Ｒを満たしていることが分かる。

一方、図３は、ＰＩＣＯＬＡ方式により時間軸伸張（Ｒ＞１）が行われる際の音声信号波形を表している。図３に示すように、伸張処理の場合も圧縮処理と同様に、まず、時間軸圧縮の開始位置にポインタ（図３中、□で示す）を設定し、当該ポインタ以降の音声信号における基本周波数を特徴抽出部３から得る。前記ポインタ位置から基本周波数τ_max分の２つの波形をＡ、Ｂとする。まず、波形Ａをそのまま出力する。次に、波形Ａに対しては、０から１へ、Ｂに対しては１から０へ直線的に向かう重み付けによる重畳加算を行うことにより、長さτ_maxの波形Ｃを生成する。次に、ポインタをＣ上で
Ｌ_S＝τ_max／（Ｒ−１）
だけ移動させ、次処理の開始ポインタ（図３中、▽で示す）とする。以上の処理では、長さＬ_Sの信号から長さＬ_S＋τ_max＝Ｒ・τ_max／（Ｒ−１）の出力信号が作られており圧伸率Ｒを満たしている。

以上が、時間軸圧伸部４におけるＰＩＣＯＬＡによる時間軸圧伸処理となる。

このような時間軸圧伸部４では、ＰＩＣＯＬＡによる時間軸圧伸処理を左右信号それぞれについて行う。このとき特徴抽出部３で抽出された共通の基本周波数τ_maxを左右チャンネルにおける時間軸圧伸処理に使用することにより、チャンネル間での同期が保たれ、変換後の音声に違和感のない時間軸圧伸処理を行うことが可能になる。

最後に、Ｄ／Ａ変換部５では、時間軸圧伸部４で処理された左右の信号をＤ／Ａ変換することによりディジタル信号からアナログ信号に変換する。

以上が、本実施の形態におけるステレオ音響信号の時間軸圧伸処理である。

このように本実施の形態によれば、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出し、抽出された特徴量に基づいてマルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うことにより、全チャンネル共通の特徴量を正確に抽出することができ、得られた共通の特徴量に基づいて全チャンネルの同期を保った状態で時間圧伸処理を行うことができるので、高品質な時間軸圧伸処理を実現することができる。

また、合成類似度計算及び最大類似度探索を行う際、サンプル数を間引いて計算を行うことによって特徴量抽出に必要な演算量を大幅に削減させることができる。

さらに、合成類似度計算において各チャンネルでの間引き位置をずらすことにより、全チャンネル時間的な分解能の低下を防ぐことができる。

なお、５．１チャンネル音響信号のようにチャンネル数が増えた場合も、全チャンネルもしくは一部のチャンネル信号から計算した合成類似度を用いて特徴抽出を行うことにより、チャンネル間の位相関係に左右されることなく正確に特徴量を抽出することが可能になる。

［第２の実施の形態］
次に、本発明の第２の実施の形態を図４および図５に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

第１の実施の形態として示した音響信号処理装置１では、左信号及び右信号から両チャンネルに共通の特徴量を抽出する処理が、ディジタル回路構成のハードウェア資源によって実行される例を示した。これに対して、本実施の形態では、そのような左信号及び右信号から両チャンネルに共通の特徴量を抽出する処理を、音響信号処理装置のハードウェア資源（例えば、ＨＤＤやＮＶＲＡＭなど）にインストールされたコンピュータプログラムによって実行する例を説明する。

図４は、本発明の第２の実施の形態にかかる音響信号処理装置１０のハードウェア資源を示すブロック図である。本実施の形態の音響信号処理装置１０は、特徴抽出部３に代えてシステムコントローラ１１が設けられている。システムコントローラ１１は、システムコントローラ１１全体の制御を行なうＣＰＵ（Central Processing Unit）１２、システムコントローラ１１の制御プログラムを記憶したＲＯＭ（Read Only Memory）１３、及びＣＰＵ１２の作業用メモリであるＲＡＭ（Random Access Memory）１４から構築されるマイクロコンピュータである。そして、システムコントローラ１１にバス接続されたＨＤＤ（Hard Disk Drive）１５に左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出処理のためのコンピュータプログラムをインストールしておき、そのようなコンピュータプログラムが音響信号処理装置１０の起動時にＲＡＭ１４に書き込まれて実行される構成になっている。すなわち、左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出処理は、コンピュータであるシステムコントローラ１１がコンピュータプログラムに従い実行することになる。この意味で、ＨＤＤ１５は、音響信号処理プログラムであるコンピュータプログラムを記憶する記憶媒体として機能する。

以下、コンピュータプログラムに従い実行される左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出処理を図５に示すフローチャートを参照して説明する。図５に示すように、ＣＰＵ１２は、まず、圧伸処理の開始位置をＴ₀とし、類似波形の探索位置を示すパラメータτをＴ_STにセットするとともに、最大合成類似度の初期値としてＳ_max＝−∞を与える（ステップＳ１）。

次いで、時刻ｎをＴ₀、探索位置τにおける合成類似度Ｓ（τ）を０として（ステップＳ２）、合成類似度Ｓ（τ）を計算する（ステップＳ３）。合成類似度Ｓ（τ）の計算は、時刻ｎをΔｎずつ増やし（ステップＳ４）、ｎがＴ₀＋Ｎよりも大きくなるまで（ステップＳ５のＹ）、繰り返される。

ｎがＴ₀＋Ｎよりも大きくなると（ステップＳ５のＹ）、ステップＳ６に進み、計算された合成類似度Ｓ（τ）とＳ_maxとを比較する。計算された合成類似度Ｓ（τ）がＳ_maxよりも大きい場合には（ステップＳ６のＹ）、Ｓ_maxを計算された合成類似度Ｓ（τ）に置き換えるとともに、この場合のτをτ_maxとし（ステップＳ７）、ステップＳ８に進む。一方、計算された合成類似度Ｓ（τ）がＳ_maxよりも小さい場合には（ステップＳ６のＮ）、そのままステップＳ８に進む。

以上のステップＳ２〜Ｓ７の処理は、τをΔτずつ増やしながら（ステップＳ８）、Ｔ_EDを越えるまで行い（ステップＳ９のＹ）、最終的に得られた最大の合成類似度Ｓ_maxにおけるτ_maxを左右信号に共通の基本周波数（特徴量）とする（ステップＳ１０）。

なお、ＨＤＤ１５にインストールされる音響信号処理プログラムであるコンピュータプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体に記録され、この記憶媒体に記録されたコンピュータプログラムがＨＤＤ１５にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、音響信号処理プログラムであるコンピュータプログラムを記憶する記憶媒体となり得る。さらには、音響信号処理プログラムであるコンピュータプログラムは、例えばネットワークを介して外部から取り込まれ、ＨＤＤ１５にインストールされても良い。

［第３の実施の形態］
次に、本発明の第３の実施の形態を図６に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。

第１の実施の形態として示した音響信号処理装置１では、各チャンネルの波形の自己相関関数値の和、つまり、各チャンネルの類似度を合成（加算）した合成類似度Ｓ（τ）を算出し、合成類似度ｓ（τ）の最大値における基本周波数τ_maxを左右信号に共通の基本周波数（特徴量）とし、共通の基本周波数τ_maxを左右チャンネルにおける時間軸圧伸処理に使用するようにした。本実施の形態においては、各チャンネルの波形の振幅差の絶対値和である各チャンネルの類似度を合成（加算）した合成類似度Ｓ（τ）を算出し、合成類似度ｓ（τ）の最小値における基本周波数τ_minを左右信号に共通の基本周波数（特徴量）とし、共通の基本周波数τ_minを左右チャンネルにおける時間軸圧伸処理に使用するようにした。

図６は、本発明の第３の実施の形態にかかる音響信号処理装置２０の構成を示すブロック図である。図６に示すように、音響信号処理装置２０は、所定のサンプリング周波数で左入力信号及び右入力信号をＡ／Ｄ変換するＡ／Ｄ変換部２と、このＡ／Ｄ変換部２から出力される左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出手段である特徴抽出部３と、この特徴抽出部３で抽出された左右チャンネルに共通する特徴量に基づいて、入力された原ディジタル信号を指定された圧伸率に応じて時間軸圧伸処理を行う時間軸圧伸手段である時間軸圧伸部４と、この時間軸圧伸部４で処理された各チャンネルのディジタル信号をＤ／Ａ変換した左出力信号及び右出力信号を出力するＤ／Ａ変換部５とで構成されている。

特徴抽出部３は、左右の信号を用いて合成類似度計算を行う合成類似度計算手段である合成類似度計算部２１と、この合成類似度計算部２１で得られた合成類似度が最小となる探索位置を決定する最小値探索手段である最小値探索部２２とから構成されている。

特徴抽出部３における合成類似度計算部２１では、Ａ／Ｄ変換部２からの左右ディジタル信号について時間軸方向に区切られた２つの区間の合成類似度を計算する。合成類似度は、下記に示す式（２）に基づいて算出することができる。

式（２）では、時間方向に区切られた２つの波形の類似度を振幅差の絶対値和で計算し、探索位置τにおける左信号及び右信号それぞれの振幅差の絶対値和を合成（加算）することにより合成類似度ｓ（τ）を算出している。合成類似度ｓ（τ）が小さいほど，時刻ｎを始点とする長さＮの波形と、時刻ｎ＋τを始点とする長さＮの波形の左右チャンネルにおける平均的な類似度が高くなる。

特徴抽出部３における最小値探索部２２では、類似波形探索範囲において合成類似度が最小となる探索位置τ_minを探索する。合成類似度を式（２）で計算する場合、所定の探索開始位置Ｐ_stから終了位置Ｐ_edにおけるｓ（τ）の最小値を探索すればよい。

［第４の実施の形態］
次に、本発明の第４の実施の形態を図７に基づいて説明する。なお、前述した第１の実施の形態ないし第３の実施の形態と同じ部分は同じ符号で示し説明も省略する。

第３の実施の形態として示した音響信号処理装置２０では、左信号及び右信号から両チャンネルに共通の特徴量を抽出する処理が、ディジタル回路構成のハードウェア資源によって実行される例を示した。これに対して、本実施の形態では、そのような左信号及び右信号から両チャンネルに共通の特徴量を抽出する処理を、情報処理装置のハードウェア資源（例えば、ＨＤＤ）にインストールされたコンピュータプログラムによって実行する例を説明する。

本実施の形態の音響信号処理装置のハードウェア構成は、第２の実施の形態で説明した音響信号処理装置１０のハードウェア構成と何ら変わるものではないため、その説明は省略する。本実施の形態の音響信号処理装置は、第２の実施の形態で説明した音響信号処理装置１０とは、ＨＤＤ１５にインストールされた左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出処理のためのコンピュータプログラムが異なるものである。

以下、コンピュータプログラムに従い実行される左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出処理を図７に示すフローチャートを参照して説明する。図７に示すように、ＣＰＵ１２は、まず、圧伸処理の開始位置をＴ₀とし、類似波形の探索位置を示すパラメータτをＴ_STにセットするとともに、最小合成類似度の初期値としてＳ_min＝∞を与える（ステップＳ１１）。

次いで、時刻ｎをＴ₀、探索位置τにおける合成類似度Ｓ（τ）を０として（ステップＳ１２）、合成類似度Ｓ（τ）を計算する（ステップＳ１３）。合成類似度Ｓ（τ）の計算は、時刻ｎをΔｎずつ増やし（ステップＳ１４）、ｎがＴ₀＋Ｎよりも大きくなるまで（ステップＳ１５のＹ）、繰り返される。

ｎがＴ₀＋Ｎよりも大きくなると（ステップＳ１５のＹ）、ステップＳ１６に進み、計算された合成類似度Ｓ（τ）とＳ_minとを比較する。計算された合成類似度Ｓ（τ）がＳ_minよりも小さい場合には（ステップＳ１６のＹ）、Ｓ_minを計算された合成類似度Ｓ（τ）に置き換えるとともに、この場合のτをτ_minとし（ステップＳ１７）、ステップＳ１８に進む。一方、計算された合成類似度Ｓ（τ）がＳ_minよりも大きい場合には（ステップＳ１６のＮ）、そのままステップＳ１８に進む。

以上のステップＳ１２〜Ｓ１７の処理は、τをΔτずつ増やしながら（ステップＳ１８）、Ｔ_EDを越えるまで行い（ステップＳ１９のＹ）、最終的に得られた最小の合成類似度Ｓ_minにおけるτ_minを左右信号に共通の基本周波数（特徴量）とする（ステップＳ２０）。

本発明の第１の実施の形態にかかる音響信号処理装置の構成を示すブロック図である。ＰＩＣＯＬＡ方式により時間軸圧縮が行われる際の音声信号波形を示す説明図である。ＰＩＣＯＬＡ方式により時間軸伸張が行われる際の音声信号波形を示す説明図である。本発明の第２の実施の形態にかかる音響信号処理装置のハードウェア資源を示すブロック図である。左信号及び右信号から両チャンネルに共通の特徴量を抽出する特徴抽出処理の流れを示すフローチャートである。本発明の第３の実施の形態にかかる音響信号処理装置の構成を示すブロック図である。本発明の第４の実施の形態にかかる音響信号処理装置における特徴抽出処理の流れを示すフローチャートである。

符号の説明

１，１０，２０音響信号処理装置
３特徴抽出手段
４時間軸圧伸手段
６合成類似度計算手段
７最大値探索手段
２１合成類似度計算手段
２２最小値探索手段

Claims

マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、
この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、
を備え、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引く際に、各チャンネル信号における間引き位置を各チャンネルでずらす、
ことを特徴とする音響信号処理装置。
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の波形の自己相関関数値の和である類似度を合成した合成類似度を算出する合成類似度計算手段と、この合成類似度計算手段で算出された合成類似度の最大値を探索して各チャンネル信号に共通の特徴量を抽出する最大値探索手段と、
を備えることを特徴とする請求項１記載の音響信号処理装置。
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の波形の振幅差の絶対値和である類似度を合成した合成類似度を算出する合成類似度計算手段と、この合成類似度計算手段で算出された合成類似度の最小値を探索して各チャンネル信号に共通の特徴量を抽出する最小値探索手段と、
を備えることを特徴とする請求項１記載の音響信号処理装置。
時間軸方向の類似波形の探索位置を間引いて所望の合成類似度を探索する、
ことを特徴とする請求項２または３記載の音響信号処理装置。
マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、
この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、
を備え、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を前記マルチチャンネル音響信号のチャンネル数によって決定する、
ことを特徴とする音響信号処理装置。
マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、
この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、
を備え、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を指定された圧伸率に応じて決定する、
ことを特徴とする音響信号処理装置。
コンピュータを、
マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、
この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、
として機能させ、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引く際に、各チャンネル信号における間引き位置を各チャンネルでずらす、
ことを特徴とする音響信号処理プログラム。
コンピュータを、
マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、
この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、
として機能させ、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を前記マルチチャンネル音響信号のチャンネル数によって決定する、
ことを特徴とする音響信号処理プログラム。
コンピュータを、
マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出する特徴抽出手段と、
この特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行う時間軸圧伸手段と、
として機能させ、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を指定された圧伸率に応じて決定する、
ことを特徴とする音響信号処理プログラム。
音響信号処理装置で実行される音響信号処理方法であって、
前記音響信号処理装置は、制御部と記憶部を備え、
前記制御部において実行される、
特徴抽出手段が、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出するステップと、
時間軸圧伸手段が、前記特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うステップと、
を含み、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引く際に、各チャンネル信号における間引き位置を各チャンネルでずらす、
ことを特徴とする音響信号処理方法。
音響信号処理装置で実行される音響信号処理方法であって、
前記音響信号処理装置は、制御部と記憶部を備え、
前記制御部において実行される、
特徴抽出手段が、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出するステップと、
時間軸圧伸手段が、前記特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うステップと、
を含み、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を前記マルチチャンネル音響信号のチャンネル数によって決定する、
ことを特徴とする音響信号処理方法。
音響信号処理装置で実行される音響信号処理方法であって、
前記音響信号処理装置は、制御部と記憶部を備え、
前記制御部において実行される、
特徴抽出手段が、マルチチャンネル音響信号を構成する各チャンネル信号から計算された類似度を合成した合成類似度に基づいて各チャンネル信号に共通の特徴量を抽出するステップと、
時間軸圧伸手段が、前記特徴抽出手段で抽出された前記特徴量に基づいて前記マルチチャンネル音響信号に対する時間的な圧縮／伸張処理を行うステップと、
を含み、
前記特徴抽出手段は、前記マルチチャンネル音響信号を構成する各チャンネル信号の類似度計算のサンプル数を間引いて合成類似度を算出するとともに、間引き幅を指定された圧伸率に応じて決定する、
ことを特徴とする音響信号処理方法。