JP6629834B2 - ハーモニックフィルタツールのハーモニック依存制御 - Google Patents

Description

本発明は、プレ／ポストフィルタまたはポストフィルタのみのアプローチのようにハーモニックフィルタツールの制御の決定に関する。このようなツールは、例えば、ＭＰＥＧ−Ｄ音声音響統合符号化方式（ＵＳＡＣ）および今後の３ＧＰＰ・ＥＶＳコーデックに適用可能である。

ハーモニック音声信号を特に低ビットレートで処理するとき、ＡＡＣ、ＭＰ３、またはＴＣＸのような変換ベースの音声コーデックは、一般的に、インターハーモニック量子化ノイズをもたらす。

変換ベースの音声コーデックが、低い周波数分解能および／またはより短い変換サイズおよび／またはより低い窓周波数応答による選択的な導入のために、低遅延で動作する場合、この効果は、さらに悪化する。

このインターハーモニックノイズは、一般的に非常に迷惑な「さえずる」アーチファクトとして知覚され、それは、いくつかの音楽や有声音声のような高い音調の音声素材を主観的に推定するとき、変換ベースの音声コーデックの性能を著しく低下させる。

この問題に対する一般的な解決策は、変換領域又は時間領域のいずれかで、過去の入力又は復号化サンプルの加算または減算に基づいて、自己回帰（ＡＲ）モデルを用いた予測ベースの技術、好ましくは、予測を使用することである。

しかしながら、再び時間的構造を変化させて信号中のこのような技術を使用することは、このような打楽器音楽事象や音声破裂音の一時的なにじみや単一インパルス状の過渡現象の繰返しに起因するインパルス列の生成などの望ましくない影響をもたらす。このように、特別な注意が、過渡現象とハーモニック成分の両方が含まれている信号のために、あるいは、過渡現象およびパルス列（後者は、非常に短い期間の個々のパルスで構成されるハーモニック信号に属する；この種の信号は、パルス列として知られている）との間に曖昧さがある信号のために、払われる。

いくつかの解決策は、ハーモニック音声信号に関する変換ベースの音声コーデックの主観的品質を改善するために存在する。それらのすべては、非常にハーモニックで定常な波形の長期周期（ピッチ）を利用し、変換領域又は時間領域のいずれかで、予測ベースの技術に基づいている。解決策のほとんどは、長期予測（ＬＴＰ）又はピッチ予測のいずれかとして知られていて、信号に適用されるフィルタの対によって特徴付けられる：エンコーダにおけるプレフィルタ（通常、時間または周波数領域における最初のステップとして）およびデコーダにおけるポストフィルタ（通常、時間または周波数領域における最後のステップとして）である。いくつかの他の解決策は、しかしながら、ハーモニックポストフィルタまたは低音ポストフィルタとして一般に知られているデコーダ側に関する単一のポストフィルタリング処理のみを適用する。これらの方法の全ては、プレおよびポストフィルタの対であるかポストフィルタのみであるかにかかわらず、以下においてハーモニックフィルタツールとして示されるであろう。

変換領域アプローチの例は、以下の非特許文献１，２，３に示される通りである。
プレおよびポストフィルタリングの両方を適用する時間領域アプローチの例は、以下の非特許文献４，５，６，７，８に示される通りである：
ポストフィルタリングのみが適用される時間領域アプローチの例は、以下の非特許文献９，１０，１１，１２に示される通りである。
過渡現象検出器の例は、以下の非特許文献１３に示される通りである。
音響心理学上の関連文献は、以下の非特許文献１４，１５である。

[1] H. Fuchs, "Improving MPEG Audio Coding by Backward Adaptive Linear Stereo Prediction", 99th AES Convention, New York, 1995, Preprint 4086. [2] L. Yin, M. Suonio, M. Vaeaenaenen, "A New Backward Predictor for MPEG Audio Coding", 103rd AES Convention, New York, 1997, Preprint 4521. [3] Juha Ojanperae, Mauri Vaeaenaenen, Lin Yin, "Long Term Predictor for Transform Domain Perceptual Audio Coding", 107th AES Convention, New York, 1999, Preprint 5036. [4] Philip J. Wilson, Harprit Chhatwal, "Adaptive transform coder having long term predictor", U.S. Patent 5,012,517, April 30, 1991. [5] Jeongook Song, Chang-Heon Lee, Hyen-O Oh, Hong-Goo Kang, "Harmonic Enhancement in Low Bitrate Audio Coding Using an Efficient Long-Term Predictor", EURASIP Journal on Advances in Signal Processing, August 2010. [6] Juin-Hwey Chen, "Pitch-based pre-filtering and post-filtering for compression of audio signals", U.S. Patent 8,738,385, May 27, 2014. [7] Jean-Marc Valin, Koen Vos, Timothy B. Terriberry, "Definition of the Opus Audio Codec", ISSN: 2070-1721, IETF RFC 6716, September 2012. [8] Rakesh Taori, Robert J. Sluijter, Eric Kathmann "Transmission System with Speech Encoder with Improved Pitch Detection", U.S. Patent 5,963,895, October 5, 1999. [9] Juin-Hwey Chen, Allen Gersho, "Adaptive Postfiltering for Quality Enhancement of Coded Speech", IEEE Trans. on Speech and Audio Proc., vol. 3, January 1995. [10] Int. Telecommunication Union, "Frame error robust variable bit-rate coding of speech and audio from 8-32 kbit/s", Recommendation ITU-T G.718, June 2008. www.itu.int/rec/T-REC-G.718/e, section 7.4.1. [11] Int. Telecommunication Union, "Coding of speech at 8 kbit/s using conjugate structure algebraic CELP (CS-ACELP)", Recommendation ITU-T G.729, June 2012. www.itu.int/rec/T-REC-G.729/e, section 4.2.1. [12] Bruno Bessette et al., "Method and device for frequency-selective pitch enhancement of synthesized speech", U.S. Patent 7,529,660, May 30, 2003. [13] Johannes Hilpert et al., "Method and Device for Detecting a Transient in a Discrete-Time Audio Signal", U.S. Patent 6,826,525, November 30, 2004. [14] Hugo Fastl, Eberhard Zwicker, "Psychoacoustics: Facts and Models", 3rd Edition, Springer, December 14, 2006. [15] Christoph Markus, "Background Noise Estimation", European Patent EP 2,226,794, March 6, 2009.

以前に記載されている全ての技術は、単一のしきい値判定（例えば、予測ゲイン[5]またはピッチゲイン[4]や基本的に正規化相関に比例しているハーモニシティ[6]）に基づいて、予測フィルタを有効にするとき決定を有している。さらに、OPUS [7]は、ピッチが変化している場合は閾値を増加させ、前のフレームのゲインが所定の固定された閾値を超えた場合、閾値を低下させるヒステリシスを使用する。OPUS[7]は、また、過渡現象が、いくつかの特定のフレーム構成で検出された場合、長期（ピッチ）予測器を無効にする。この設計のための理由は、ハーモニック及び過渡信号成分のミックスにおいて、過渡現象はミックスを支配し、その上にＬＴＰまたはピッチ予測を活性化することは、前述したように、主観的に改善よりも害を引き起こすという一般的な信念に由来するようである。しかしながら、以下で説明する波形のいくつかの混合物のために、過渡音声フレームに関する長期またはピッチ予測器を活性化することは、大幅に符号化品質や効率を向上させ、それ故、有益である。さらに、予測器を活性化するときに、予測ゲイン、現在の技術水準における唯一のアプローチよりも瞬間的な信号特性に基づいてその強度を変化させることは、有益であり得る。

従って、例えば、改善された符号化効率、例えば、改善された目的の符号化ゲインまたはより良い知覚品質など、がもたらす音声コーデックのハーモニックフィルタツールのハーモニシティ依存制御のための概念を提供することが、本発明の目的である。

この目的は、本願の独立請求項の主題で達成される。

制御可能な−切換え可能あるいは調整可能でさえある−ハーモニックフィルタツールを使用する音声コーデックの符号化効率が、ハーモニックフィルタツールを制御するためのハーモニシティの測定に加え時間的構造測定を使用するこのツールのハーモニシティ依存制御を実行することにより改善され得ることは、本発明の基本的な発見である。特に、音声信号の時間的構造は、ピッチに依存する態様において推定される。このことは、ハーモニシティの測定のみに基づいてなされた制御は、実行しないことに決定される状況において、あるいは、その状況においてハーモニックフィルタツールを使用するけれどもこのツールの使用を削減することは、符号化効率を増加する状況において、ハーモニックフィルタツールが適用されるように、一方、ハーモニックフィルタツールが非効率であり得るか破壊的でさえあり得るかという他の状況においては、制御はハーモニックフィルタツールの装置を適切に削減するように、ハーモニックフィルタツールの状況適応制御を達成することを可能にする。

従属請求項の主題及び本出願の好ましい実施形態に関する本発明の有利な実施は、図面に関して、以下に記載されている。

図１は、実施形態に係るフィルタゲインに関してハーモニックフィルタツールを制御するための装置のブロック図である。 図２は、ハーモニックフィルタツールを適用するために満たされるべき可能な所定の条件の例を示す図である。 図３は、図２の状態例を実現するように、とりわけ、パラメータ化し得る、決定ロジックの可能な実装を示すフロー図である。 図４は、ハーモニックフィルタツールの制御に依存したハーモニシティ（及び時間測定）依存性の制御を行うための装置のブロック図である。 図５は、実施形態に係る時間的構造測定を決定するための時間領域の時間的位置を説明するための模式図である。 図６は、実施形態による時間領域内の音声信号のエネルギーを時間的にサンプリングするエネルギーサンプルのグラフを示す図である。 図７は、ハーモニックプレ／ポストフィルタツールが使用される実施形態により、エンコーダが図４の装置を使用するとき、音声コーデックのエンコーダおよびデコーダをそれぞれ示すことにより、音声コーデックにおける図４の装置の使用を示すブロック図である。 図８は、ハーモニックポストフィルタツールが使用される実施形態により、エンコーダが図４の装置を使用するとき、音声コーデックのエンコーダ及びデコーダをそれぞれ示すことにより、音声コーデックにおける図４の装置の使用を示すブロック図である。 図９は、実施形態による図４のコントローラのブロックダイアグラムを示す図である。 図１０は、図４の装置が、過渡現象検出器と図６のエネルギーサンプルの使用を共有する可能性を示すシステムのブロックダイアグラムを示す図である。 図１１は、少なくとも１つの時間的構造測定を決定するための時間領域のピッチ依存位置を付加的に示すとともに、低ピッチ信号の一例として、音声信号のうち、時間領域部分（波形の部分）のグラフを示す図である。 図１２は、少なくとも１つの時間的構造測定を決定するための時間領域のピッチ依存位置を付加的に示すとともに、高ピッチ信号の一例として、音声信号のうち、時間領域の部分のグラフを示す図である。 図１３は、ハーモニック信号内のインパルスおよびステップ過渡現象の典型的なスペクトログラムを示す図である。 図１４は、インパルスおよびステップ過渡に関するＬＴＰの影響を説明するための例示的なスペクトログラムを示す図である。 図１５は、インパルスのためのおよびステップ過渡現象のための図２,３,１６および１７による制御を示すために、図１４に示された音声信号の時間領域部分およびそのロウパスフィルタリングおよびハイパスフィルタリングされたバージョンをそれぞれ順次示す図である。 図１６は、図２および図３による少なくとも１つの時間的構造測定を決定するためのインパルス類似の過渡現象および時間領域の配置のためのセグメントのエネルギーの時間シーケンス−エネルギーサンプルのシーケンス−のための例の棒グラフを示す図である。 図１７は、図２および図３による少なくとも１つの時間的構造測定を決定するためのステップ類似の過渡現象および時間領域の配置のためのセグメントのエネルギーの時間シーケンス−エネルギーサンプルのシーケンス−のための例の棒グラフを示す図である。 図１８は、パルス列（ショートＦＦＴスペクトログラムの使用を除く）の典型的なスペクトログラムを示す図である。 図１９は、パルス列の例示的な波形を示す図である。 図２０は、パルス列の元のショートＦＦＴスペクトログラムを示す図である。 図２１は、パルス列の元のロングＦＦＴスペクトログラムを示す図である。

以下の説明は、ハーモニックフィルタツール制御の最初の詳細な実施形態で始まる。この第１の実施の形態に導いた思考の簡単な概説が、提示されている。これらの思考は、しかしながら、また、後に説明する実施形態に適用される。以下に、本出願の実施形態に起因する効果をより具体的に概説するために、音声信号部分のための特定の具体例に続いて、一般化された実施形態が、提示されている。

例えば、予測ベースの技術であるハーモニックフィルタツールを有効化または制御するための決定メカニズムは、例えば、正規化された相関または予測ゲインおよび時間的構造測定、例えば時間的な平坦性測定、または、エネルギー変化等のハーモニシティ測定の組合せに基づく。

決定は、以下に概説するように、単に現在のフレームからのハーモニシティ測定に依存するのではなく、以前のフレームからのハーモニシティ測定および現在の、および任意には、以前のフレームからの時間的構造測定に依存する。

決定方式は、予測ベースの技術が過渡現象のためにも有効になっているように設計され得て、それを使用するときはいつでも、それぞれのモデルが締結したように、音響心理学的に有益であろう。

予測ベースの技術を可能にするために使用されるしきい値は、一実施形態では、ピッチ変化の代わりに、現在のピッチに依存し得る。

決定方式は、例えば、特定の過渡現象の繰り返しを避け得るが、過渡現象検出器が、通常、ショート変換ブロック（すなわち１つ以上の過渡現象の存在）を示す特定の時間的構造を有するいくつかの過渡現象および信号のための予測ベースの技術を可能にする。

以下に示す決定技術は、変換領域または時間領域のいずれかにおいて、プレフィルタに加えポストフィルタまたはポストフィルタのみのいずれかのアプローチを、上述の予測に基づく方法のいずれにも適用し得る。さらに、予測器の動作帯域制限（ロウパスを有する）またはサブ帯域（帯域通過特性を有する）に適用し得る。

ＬＰＴ、ピッチ予測、またはハーモニックポストフィルタリングの活性化についての全体的な目的は、次の両方の条件が達成されるということである。
−客観的または主観的な利点は、フィルタを活性化することによって得られ、
−有意なアーチファクトは、前記フィルタの活性化によって導入されない。

自己相関および／または予測ゲインにより通常実行されるフィルタを使用する客観的な利益が存在するかどうかを決定することは、ターゲットの信号上で測定し、かつ周知である。［１−７］

主観的な利益の測定は、リスニングテストを経て得られた知覚的改善データが、一般的に、対応する客観的測定、すなわち、上記の相関および／または予測ゲインに比例するので、少なくとも定常信号に対しても直接的である。

最先端の技術においてなされるように、フィルタリングによって生じるアーチファクトの存在を確認または予測することは、しかしながら、ある閾値にフレームタイプ（定常のためのロング変換対過渡フレームのためのショート変換）またはある閾値への予測ゲインのような客観的測定の単純な比較よりも、より洗練された技術を要求する。本質的に、アーチファクトを防止するために、フィルタリングが目標波形において引き起こす変化が時間または周波数におけるどこかにおいて時間可変スペクトル時間マスキング閾値を著しく越えないことを保証しなければならない。以下に示す実施形態のいくつかに応じた決定方式は、このように、符号化されるべきおよび／またはフィルタリングされるべき音声信号の各フレーム毎に連続して実行すべき３つのアルゴリズムのブロックからなる次のフィルタ決定及び制御方式を使用する。

例えば正規化相関やゲイン値（以下、「予測ゲイン」と呼ばれる）等の一般的に使用されるハーモニックフィルタデータを算出するハーモニック測定ブロック。後にもう一度述べるように、単語「ゲイン」は、一般的に、フィルタの強度、例えば明示的なゲイン係数または１つ以上のフィルタ係数のセットの絶対的なまたは相対的な大きさ、と共通に関連する任意のパラメータのための一般化を意味する。

事前に定義されたスペクトルおよび時間分解能（上記のように、これはまた、フレームタイプ決定のために使用されるフレーム過渡性の測定を含んでいてもよい）を有する時間周波数（Ｔ／Ｆ）振幅またはエネルギーまたは平坦性データを計算するＴ／Ｆエンベロープ測定ブロック。典型的には、過去の信号サンプルを用いて、現在のフレームのフィルタリングに使用される音声信号の領域は、ピッチに依存する（そして、それに応じて、計算されたＴ／Ｆエンベロープに依存する）ので、ハーモニック測定ブロックで得られたピッチは、Ｔ／Ｆエンベロープ測定ブロックに入力される。

フィルタリングのために使用するための（そして、したがって、ビットストリームで送信するための）どのフィルタゲインについての最終決定を行うフィルタゲイン演算ブロック。理想的には、このブロックは、予測ゲイン以下の各送信可能フィルタゲインのために、上記フィルタゲインのフィルタリング後の目標信号のスペクトル時間励起パターン状のエンベロープを計算し、元の信号の励起パターンエンベロープとこの「実際の」エンベロープとを比較する必要がある。その後、符号化／伝送のために、対応するスペクトル時間的な"実際の"エンベロープが一定量以上により"元の"エンベロープと異ならない最大フィルタゲインを使用可能し得る。このフィルタゲインを、我々は、心理音響的に最適と呼ぶ。

後述する他の実施形態では、三ブロック構造は、少し修正される。

換言すれば、ハーモニシティおよびＴ／Ｆエンベロープ測定は、対応するブロックにおいて得られ、それは、入力およびフィルタリングされた出力フレームの両者の心理音響学的励起パターンを導くために続いて使用され、最終的に、“現実の”および“元の”エンベロープ間の比率により与えられるマスキング閾値が大きく超過されないように、フィルタゲインが適合される。この点を評価するために、このコンテキストにおける励起パターンが、検査される信号のスペクトログラム状の表現に酷似しているが、人間の聴覚のある特性の後モデルにした時間的平滑化を示し、「ポストマスキング」として明示することに留意すべきである。

図１は、上で紹介した３ブロック間の接続を示す。残念ながら、２つの励起パターンのフレーム方向導出と最大フィルタゲインのため力まかせ探索は、多くの場合、計算が複雑である。従って、単純化は、以下の説明に示されている。

提案されたフィルタ活性化決定方式で励起パターンの高コスト計算を回避するために、低複雑性エンベロープ測定が、励起パターンの特性の推定値として使用される。これは、Ｔ／Ｆエンベロープ測定ブロックにおいて、セグメントエネルギー（ＳＥ）、時間平坦性測定（ＴＦＭ）、最大エネルギー変化（ＭＥＣ）等のデータまたはフレームタイプ（ロング／定常的またはショート／過渡的）等の伝統的なフレーム構成情報は、音響心理学的基準の推定値を導出するために十分であることが見出された。これらの推定値は、その後、フィルタゲイン演算部において、符号化または伝送のために使用される最適なフィルタゲインを高精度に決定するために利用され得る。全体的な最適ゲインのためにコンピュータ的に徹底的な探索を防止するために、すべての可能なフィルタゲイン（またはそのサブセット）上のレート歪みループは、一回の条件演算子で置換され得る。このような「安価な」演算子は、ハーモニシティおよびＴ／Ｆエンベロープ測定ブロックからのデータを使用して計算されたいくつかのフィルタゲインが、ゼロに設定されなければならないか（ハーモニックフィルタリングを使用しないという決定）またはそうでないか（ハーモニックフィルタリングを使用するという決定）を決定するのに役立つ。ハーモニシティ測定ブロックが変わらないことに注意されたい。この低複雑度の実施形態の段階的な実現は、以下に記載されている。

前述したように、一回の条件演算子にかけられた「最初の」フィルタゲインは、ハーモニシティおよびＴ／Ｆエンベロープ測定ブロックからのデータを使用して導出される。より具体的には、「最初の」フィルタゲインは、（ハーモニシティ測定ブロックからの）時間可変予測ゲインと（Ｔ／Ｆエンベロープ測定ブロックの音響心理学的エンベロープデータからの）時間可変スケール係数との積に等しくなり得る。さらに計算負荷を低減するために、例えば、０．６２５のように固定された一定のスケール係数は、代わりに、信号適応時間可変のものに代えて使用され得る。これは、典型的に十分な品質を保持し、また、以下の実現において考慮される。

フィルタツールを制御するための具体的な実施形態の段階的な説明が、今、提示される。

１．過渡現象検出および時間測定

蓄積されたエネルギーは、以下を使用して計算される。

各セグメントに対するエネルギー変化は、次のように計算される。

時間平坦性の測定は、次のように計算される。

最大エネルギー変化は、次のように計算される。

２．変換ブロック長の切換え

重畳長とＴＣＸの変換ブロック長は、過渡現象とその場所の存在に依存する。

表１：過渡現象位置に基づく、重畳と変換長の符号化

基本的には上述の過渡現象検出器は、複数の過渡現象が存在するならば、ＭＩＮＩＭＡＬ重畳がＦＵＬＬ重畳よりも好ましいＨＡＬＦ重畳よりも好ましいという制約との最後の攻撃のインデックスを返す。ポジション２または６での攻撃が充分強くない場合、ＨＡＬＦ重畳が、ＭＩＮＩＭＡＬ重畳に代えて選択される。

３．ピッチ推定

フレーム当たりの１ピッチ遅れ（整数部+小数部分）は、（フレームサイズ例えば２０ｍｓ）と推定される。これは、複雑さを軽減するために３つのステップで行われ、推定精度が向上する。

ａ．ピッチ遅れの整数部分の第１の推定

滑らかなピッチ展開の輪郭を生成するピッチ解析アルゴリズム（Rec.ITU-T G. 718,sec.6.6に記載された、例えば開ループピッチ解析）が、使用される。この解析は、一般に、サブフレーム単位（サブフレームサイズ、例えば１０ミリ秒）、で行われ、サブフレームごとに１ピッチ遅延推定値を生成する。これらのピッチ遅延推定値は、小数部を持っておらず、一般的にダウンサンプリングされた信号（サンプリングレート例えば６４００Ｈｚ）で推定されていることに注意されたい。使用される信号は、任意の音声信号、例えばRec.ITU-T G. 718,sec.6.5に記載されたように、ＬＰＣ加重音声信号とし得る。

ｂ．ピッチ遅延の整数部分の精密化

ピッチ遅延の最後の整数部は、（例えば12.8kHz、16kHzの、32kHz…）において使用されるダウンサンプリング信号のサンプリングレートよりも一般的に高いコアエンコーダサンプリングレートで動作する音声信号ｘ［ｎ］に関して推定される。信号ｘ［ｎ］は、音声信号、例えばＬＰＣ重み付き音声信号とし得る。

ｃ． ピッチ遅延の小数部分の推定

４． 決定ビット

前記入力音声信号がいかなるハーモニックコンテンツを含まない場合、あるいは、予測ベース技術が時間的構造（例えば、短期過渡現象の繰返し）における歪を導く場合、パラメータは、ビットストリームにおいてエンコードされない。フィルタパラメータをデコードすべきか否かをデコーダが知っているように、１ビットのみが送信される。決定は、いくつかのパラメータに基づいてなされる。

ステップ３．ｂ．において推定された整数ピッチ遅延での正規化相関

入力信号が整数ピッチ遅延により完全に予測可能である場合、正規化された相関は、「１」であり、全く予測可能でない場合、「０」である。（１に近い）高い値は、その時、ハーモニック信号を示す。より強固な決定のために、現在のフレーム（norm＿corr（curr））のために正規化された相関を除いて、過去のフレーム（norm＿corr（prev））の正規化された相関は、決定において使用され得る：例えば、

決定論理の原理は、図３のブロック図に示されている。図３は、しきい値は制限されないという意味で、図２よりもより一般的である点に留意すべきである。これらは、図２に応じてまたは異なって設定され得る。さらに、図３は、図２の例示的なビットレート依存性をなくし得ることを示している。当然のことながら、図３の決定ロジックは、図２のビットレート依存性を含むように変化させ得る。さらに、図３は、現在のみまたは過去のピッチに関しても利用に関するあいまいさを保っている。その限りにおいて、図３は、図２の実施例が、この点に関して変更可能なことを示している。

過渡現象の検出は、長期予測のどの決定メカニズムが使用され、長期予測に対するどの決定メカニズムが使用され、信号のどの部分が決定に使用される測定のために使用されるかに影響を与えることは、上記の例から明らかであり、長期予測の無効化を直接にトリガすることは、上記の例から明らかではない。
変換長決定に使用される時間測定は、ＬＴＰの決定に使用される時間測定とは完全に異なってもよく、または、それらは、重畳しまたは正確に同じであるが異なる領域に計算されてもよい。

ピッチ遅延に依存する正規化された相関のための閾値に到達した場合、低ピッチ信号のために、過渡現象の検出は、完全に無視される。

５．ゲイン推定および量子化

ゲインは、一般に、コア符号器のサンプリングレートで入力音声信号に関して推定されるが、それはまた、ＬＰＣ重み付き音声信号のようないかなる音声信号ともし得る。この信号は、ｙ［ｎ］を指摘し、ｘ［ｎ］と同じまたは異なり得る。

ｙ［ｎ］の予測ｙ_p［ｎ］は、以下のフィルタによりｙ［ｎ］をフィルタリングすることによって最初に検出された。

ピッチ遅延分解能が１／４のときのＢ（ｚ）の一例

ゲインｇは、以下のように算出される：

そして、０と１の間に制限されている。

最終的に、ゲインは、均一な量子化を使用して、例えば２ビットに量子化される。ゲインが０に量子化された場合、パラメータは、ビットストリームにおいて１決定ビット（ビット=０）のみ符号化されていない。

説明は、ハーモニックフィルタツールのハーモニシティ依存制御のための、また上述の漸進的な実施例への一般化された実施例を示す以下に概説されたもののためにも、本出願の実施例の利点を動機付けし、概説する限り提出された。しばしば、ハーモニシティ依存制御概念は、他の音声コーデックの枠組において有利に使用されてもよく、上記で概説された具体的な詳細に関連して変化されてもよいが、提出された限りの説明は、非常に具体的である。この理由のために、本願の実施形態は、より一般的な方法で、以下に再度記載されている。それにもかかわらず、時々、以下の説明は、以下で生じる一般的に記述された要素は更なる実施例に従って実現され得る方法について明らかにするために上記詳細を使用するために上記で提出された詳細な説明に戻って参照する。そうすることで、これらの具体的な実施の詳細のすべては、以下に説明された要素に向かって上記の説明から個々に移されてもよいことに留意すべきである。従って、以下に概略された説明において、参照が、上記提出された説明になされるときはいつでも、この参照は、さらなる参照から上記の説明まで独立していることを意味する。

従って、上記の詳細な説明から現れるより一般的な実施形態が、図４に示されている。特に、図４は、音声コーデックの、例えばハーモニックプレ／ポストフィルタやハーモニックポストフィルタツール等の、ハーモニックフィルタツールのハーモニシティ依存制御を実行するための装置を示す。装置は、一般に、参照符号１０を用いて示される。装置１０は、音声コーデックによって処理されるべき音声信号１２を受信し、かつ装置１０の制御タスクを満たすために制御信号１４を出力する。装置１０は、音声信号１２の現在のピッチ遅延１８を決定するように構成されたピッチ推定器１６、および現在のピッチ遅延１８を使用する音声信号１２のハーモニシティの測定２２を決定するように構成されたハーモニシティ測定器２０を含む。特に、ハーモニシティ測定は、予測ゲインであり得るか、１（単一）またはそれ以上（マルチタップ）のフィルタ係数または最大正規化相関であり得る。図１のハーモニシティ測定計算ブロックは、ピッチ推定器１６およびハーモニシティ測定器２０の両者のタスクを含む。

装置１０は、さらに、ピッチ遅延１８に依存した態様で少なくとも一つの時間的構造測定２６を決定するように構成された時間的構造解析器２４を含み、測定２６は、音声信号１２の時間的構造の特性を測定する。例えば、依存性は、上述され、後でより詳述されるように、測定２６は、音声信号１２の時間的構造の特性を測定する時間領域の位置に依存し得る。しかしながら、完全性のために、ピッチ遅延１８に関する測定２６の決定の依存性は、上述および後述された記載とは異なって具体化され得ることが、簡潔に記録される。例えば、時間的部分、すなわち、決定窓の位置に反して、ピッチ遅延に依存する態様において、依存性は、ピッチ遅延から相対的に現在のフレームまで独立に位置する窓内で音声信号のそれぞれの時間間隔が測定２６に寄与する重みを単に時間的に変化し得る。下記の記述に関し、これは、決定窓３６が現在および過去のフレームの連鎖に対応して固定的に配置され得ること、および、ピッチ依存性配置位置が、音声信号の時間的構造が測定２６に影響する増加する重みの窓として単に機能することを意味し得る。しかしながら、当分の間、時間窓がピッチ遅延に従って位置されるように配置されることが仮定される。時間的構造解析器２４は、図１のＴ／Ｆエンベロープ測定計算ブロックに対応する。

結局、図４の装置は、ハーモニックプレ／ポストフィルタまたはハーモニックポストフィルタを制御するために時間的構造測定２６およびハーモニシティの測定２２に依存する制御信号１４を出力するように構成されたコントローラ２８を含む。図４および図１を比較したとき、最適フィルタゲイン算出ブロックは、コントローラ２８の可能な実現に対応する、あるいは示す。

装置１０の動作モードは、次のようである。特に、装置１０のタスクは、音声コーデックのハーモニックフィルタツールを制御することであり、図１ないし３に関して、上記で概説したより詳細な説明をすることは、そのフィルタ強度あるいはフィルタゲインの代わりにこのツールの緩慢な制御または適合を示すが、例えば、コントローラ２８は、緩慢な制御のタイプに制限されていない。一般的に言えば、図１から３に関して上記特定の実施例の場合であるように、コントローラ２８による制御は、０と最大値との間のハーモニシティフィルタツールのフィルタ強度またはゲインと徐々に適合し得るが、例えば、２つの非ゼロフィルタゲイン値の間の緩慢な制御、階段状制御、または、異なる可能性が同様に利用可能であり、ハーモニックフィルタツールのオンまたはオフを切替えるための可能化（非ゼロ）または無効化（ゼロゲイン）の間で切替える等の２値制御が同様に利用可能である。

上記の説明から明らかになったように、破線３０により図４において示されたハーモニックフィルタツールは、変換ベース音声コーデック等の音声コーデックの主観的品質を、特に、音声信号のハーモニック位相に関して改善することを目的とする。特に、この種のツール３０は、低ビットレートシナリオにおいて特に有用であり、導入された量子化ノイズは、ツール３０なしに、その種のハーモニック位相において、可聴アーチファクトを導く。しかしながら、フィルタツール３０は、卓越してハーモニックでない音声信号の他の時間位相に否定的に影響しないことは重要である。さらに、上述したように、フィルタツール３０は、ポストフィルタアプローチまたはプレフィルタに加えポストフィルタアプローチであってもよい。プレおよび／またはポストフィルタは、変換領域または時間領域で動作し得る。例えば、ツール３０のポストフィルタは、例えば、ピッチ遅延１８に対応する、または依存設定された、スペクトル距離に配置された、局大値を有する伝達関数を有していてもよい。例えば、ＦＩＲおよびＩＩＲフィルタの形態におけるＬＴＰフィルタの形態におけるプレフィルタおよび／またはポストフィルタの実現は、それぞれ実現可能である。プレフィルタは、ポストフィルタの伝達関数の実質的に逆関数である伝達関数を有していてもよい。実際には、プレフィルタは、音声信号の現在のピッチのハーモニック内の量子化雑音を増加させることにより、音声信号のハーモニック成分内の量子化雑音を隠蔽しようとし、ポストフィルタは、それに応じて送信スペクトルを再整形する。音声信号のピッチのハーモニックの間に生じる量子化ノイズをフィルタリングするために、ポストフィルタのみのアプローチの場合、ポストフィルタは、送信された音声信号を実際に修正する。

図４は、いくつかの意味で、簡略化した方法で描かれたことに注意すべきである。例えば、図４は、ピッチ推定器１６、ハーモニシティ測定器２０、および時間的構造解析部２４が、直接音声信号１２に動作する、例えばそのタスクを実行する、または少なくともその同じバージョンで、これはその場合であることを必要としないことを、示唆している。実際は、ピッチ推定器１６、時間的構造解析器２４およびハーモニシティ測定器２０は、元の音声信号の異なるものおよびそのいくつかのプレ修正バージョンのような音声信号１２の異なるバージョンについて作用することができ、そこにおいて、これらバージョンは、内部的におよび音声コーデックに関しても同様に要素１６、２０および２４の間で変更し得る。そして、それは元の音声信号のいくつかの修正バージョンに関しても作用し得える。例えば、時間的構造解析器２４は、その入力サンプリングレート、すなわち音声信号１２の元のサンプリングレートで、音声信号１２に作用することができる、または、それは、その内部的に符号化／復号化されたバージョンに作用され得る。音声コーデックは、次に、入力サンプリングレートより通常低いいくつかの内部コアサンプリングレートで作動し得る。例えば、ピッチ−推定器１６は、次に、知覚できることに関して、他のスペクトル構成要素よりより重要であるスペクトル構成要素に関してピッチ推定を改善するために、音声信号１２のプレ修正バージョン、例えば音声信号１２の音響心理学的加重バージョン上の、に関するピッチ推定作業を実行し得る。例えば、上述のように、ピッチ−推定器１６は、第１のステージおよび第２のステージを含むステージにおけるピッチ遅延１８を決定するように構成され得る。そして、第１のステージが、それから第２のステージにおいて精製されるピッチ遅延の予備推定を生じる。例えば、それが上述されたように、ピッチ推定器１６は、第１のサンプルレートに対応するダウンサンプリングされた領域で、ピッチ遅延の予備推定を決定し得る、そして、そのとき、第１のサンプルレートより高い第２のサンプルレートでピッチ遅延の予備推定を精製する。

ハーモニシティ測定器２０に関する限り、それが、音声信号の正規化された相関またはピッチ遅延１８でのプレ修正バージョンを計算することによるハーモニシティ測定２２を決定し得ることは、図１ないし３に関して上記の議論から明らかになった。ハーモニシティ測定器２０が、例えばピッチ遅延１８を含んでいて、囲んでいる時間的遅延間隔においてピッチ遅延１８の他にいくつかの相関時間的距離でさえ正規化された相関を計算するように構成さえされ得る点に留意する必要がある。微小なピッチを有するマルチタップＬＴＰまたは可能なＬＴＰを使用しているフィルタツール３０の場合には、例えば、これは、有利であり得る。その場合、ハーモニシティ測定器２０は、実際のピッチ遅延１８、例えば図１ないし３に関して、上記で概説される実際の実施例における整数ピッチ遅延、に隣接している遅延インデックスでさえ、相関を解析し得るかまたは推定し得る。

ピッチ推定器１６に関するより詳細でかつ可能な実現例のために、参照が、上記で提出された部分「ピッチ推定」になされる。ハーモニシティ測定器２０の考えられる実施態様は、正規化相関の式に関して、上記で議論された。しかしながら、上述されたように、用語「ハーモニシティ測定」が、正規化された相関のみならず例えばハーモニックフィルタの予測ゲインのようなハーモニシティを測定するヒントを含み、ハーモニックフィルタは、プレ／ポストフィルタアプローチを使用する場合におけるおよびこのハーモニックフィルタを使用する音声コーデックに関わりなくあるいはこのハーモニックフィルタが単に測定２２を決定するためにハーモニック測定器２０により使用されるかどうかに関し、ハーモニックフィルタは、フィルタ２３０のプレフィルタと等しいまたは異なっていてもよい。

図１ないし３までに関して、上述されていたように、時間的構造解析器２４は、ピッチ遅延１８に応じて時間的に配置される時間領域の中で、少なくとも一つの時間的構造測定２６を決定するように構成され得る。これを更に示すために、図５を参照されたい。図５は、音声信号のスペクトログラム３２、すなわち、存在するとすれば音声コーデックの変換ブロックレートと一致し得るあるいは一致し得ないいくつかの変換ブロックレートで時間的にサンプリングされた、時間的構造解析器２４により内部的に使用された音声信号のバージョンのサンプリングレートに例えば依存するいくつかの最高周波数ｆ_H、までのそのスペクトル分解、を例示する。図示の目的のために、図５は、例えば、コントローラがフィルタツール３０の制御を実行し得るユニットにおけるフレームへの時間的に細分されたスペクトログラムを示し、フレーム細分は、フィルタツール３０からなるまたは使用する音声コーデックにより使用されたフレーム細分と例えば一致し得る。

しばらくの間、コントローラ２８の制御作業が実行される現行フレームが、フレーム３４ａであると、実例として仮定する。上述され、図５に示されたように、時間的構造決定器が少なくとも一つの時間的構造測定２６を決定する、時間領域３６は、現行フレーム３４ａと必ずしも一致するというわけではない。むしろ、時間領域３６の時間的に過去の先端３８および時間的に未来の先端４０の両方は、現行フレーム３４ａの時間的に過去のおよび未来の先端４２および４４から逸脱し得る。上述されたように、時間的構造解析器２４は、現行フレーム３４ａのための、各フレーム３４のためのピッチ遅延１８を決めるピッチ推定器１６で決定されるピッチ遅延１８に応じて時間領域３６の時間的に過去の先端３８を配置し得る。上記の議論から明白になったように、時間的に過去の先端３８が、例えば、ピッチ遅延１８の増加によって単調増加する時間量４６によって現行フレーム３４ａの過去の先端４２と関連して、過去の方向に移動するように、時間的構造解析器２４は、時間領域の時間的過去の先端３８を配置し得る。換言すれば、ピッチ遅延１８がより大きいほど、総計４６は、より大きい。図１から３に関する上記の議論から明らかになったように、合計は、式８に従ってセットされ得る。但し、Ｎ_pastは、時間的置換４６のための測定である。

時間領域３６の時間的に将来の先端４０は、次に、時間領域３６の時間的に過去の先端３８から現行フレーム４４の時間的に将来の先端まで伸びている時間的候補領域４８の中で、音声信号の時間的構造に応じて、時間的構造解析器２４によって設定され得る。特に、上述されたように、時間的構造解析器２４は、時間領域３６の時間的に将来の先端４０の位置を決定するために時間的候補領域４８の中で音声信号のエネルギーサンプルの相違測定を推定し得る。図１から３までに関して示された上記の具体的な詳細において、時間的候補領域４８の中の最大および最小のエネルギーサンプルの相違のための測定が、その間の振幅比率のような相違測定、として使用された。特に、上記の具体的な実施例において、変数Ｎ_newは、図５の５０で示された現行フレーム３４ａの時間的に過去の先端４２に関して、時間的未来３６の時間的に将来の先端４０の位置を測定した。

上記の説明から明らかになったように、ハーモニックフィルタツール３０が都合よく用いられることができる状況を正しく確認するための装置の１０の能力が増加するという点で、ピッチ遅延１８に依存している時間領域３６の配置は、有利である。特に、この種の状況の正しい検出は、より信頼できる。すなわち、そのような状況が、偽陽性検出を実質的に増加させることなく、より高い確率で検出される。

図１から３までに関して上述されたように、時間的構造解析器２４は、その時間領域３６の中で音声信号のエネルギーの時間的サンプリングに基いて時間領域３６の中で少なくとも一つの時間的構造測定を決定し得る。これは、図６において示され、ここで、エネルギーサンプルは、任意の時間およびエネルギー軸によってわたられる時間／エネルギー平面においてプロットされる点によって示される。前述したように、エネルギーサンプル５２は、フレーム３４のフレーム率より高いサンプルレートで音声信号のエネルギーをサンプリングすることによって得られ得る。少なくとも一つの時間的構造測定２６を決定する際に、解析器２４は、上述のように、時間領域３６内で直ちに連続的なエネルギーサンプル５２の対の間に、変化の間、例えば一組のエネルギー変化値を計算し得る。前記説明において、式５は、このために用いられた。この測定により、エネルギー変化値は、直ちに連続的なエネルギーサンプル５２の各対から得られ得る。解析器２４は、それから、少なくとも一つの構造的エネルギー測定２６を得るために、時間領域３６の中のエネルギーサンプル５２からスカラー機能まで得られたエネルギー変化値のセットを従属させ得る。上記の具体的な実施例において、時間平坦性測定は、例えば、加数以上の合計に基いて決定され、そして、それぞれは、エネルギー変化値のセットのうちの正確に１つに依存する。最大エネルギー変化は、次に、エネルギー変化値上に適用される最大演算子を使用している式７に従って決定された。

すでに上記した様に、エネルギーサンプル５２は、その元の、変更されていないバージョンの音声信号１２のエネルギーを必ずしも測定するというわけではない。むしろ、エネルギーサンプル５２は、若干修正された領域の音声信号のエネルギーを測定し得る。上記の具体的な実施例において、例えば、同じもののハイパスフィルタリングを行った後に得られるように、エネルギーサンプルは、音声信号のエネルギーを測定した。したがって、スペクトル的に低い側の領域での音声信号のエネルギーは、音声信号のスペクトル的により高い構成要素より少ないエネルギーサンプル５２に影響する。しかしながら、また、他の可能性が、同様に存在する。特に、時間的構造解析器２４が、存在する限りの実施例に従ってサンプル時間につき少なくとも１つの時間的構造測定２６の１つの値を単に使用する実施例は、単に１つの実施例であり、かつ、複数のスペクトル帯域のスペクトル帯域につき少なくとも１つの時間的構造測定の１つの値を得るために、代替物がどの時間的構造解析器がスペクトル的に識別可能な態様で時間的構造測定を決定するかに応じて存在することは、留意すべきである。従って、時間領域３６、すなわちこの種のスペクトル帯域につき１つ、の中で決定されるように、時間的構造解析器２４は、それから現行フレーム３４ａのための少なくとも一つの時間的構造測定２６の１値以上をコントローラ２８に与え、スペクトル帯域の分割は、例えば、スペクトログラム３２の全てのスペクトル間隔にわたっている。

図７は、装置１０およびハーモニックプレ／ポストフィルタアプローチに従ってハーモニックフィルタツール３０をサポートしている音声コーデックの使用を示す。図７は、変換ベースのエンコーダ７０とともに変換ベースのデコーダ７２を示し、エンコーダ７０は、音声信号１２をデータストリーム７４に符号化し、デコーダ７２は、７６で示すようにスペクトル領域の、または、任意には、７８で示される時間領域の音声信号を再構成するためにデータストリーム７４を受信する。エンコーダおよびデコーダ７０および７２が、別々の／分離した存在物であって、並行して単に説明の便宜上図７に示されることは、明らかでなければならない。

変換ベースのエンコーダ７０は、音声信号１２を変換する変換器８０を具備する。変換器８０は、重畳変換、その中の臨界的にサンプリングされた重畳変換、その例は、MDCTである、が使用され得る。図７の実施例において、変換ベース音声エンコーダ７０も、変換器８０による出力として音声信号のスペクトルをスペクトル的に形成するスペクトル形成器８２を含む。スペクトル形成器８２は、スペクトル知覚関数の実質的に逆である伝達関数に従って音声信号のスペクトルをスペクトル的に形成し得る。スペクトル知覚関数は、線形予測として導出され得て、このように、スペクトル知覚関数に関する情報は、線スペクトル周波数値の、例えば量子化された線スペクトル対の形で、例えば線形予測係数の形で、データストリーム７４内で、デコーダ７２に伝達され得る。あるいは、知覚モデルは、スケーリング係数、スケーリング係数帯域につき１つのスケーリング係数、の形でスペクトル知覚関数を決定するために使用され得る。そして、スケーリング係数帯域が、例えば、バーク帯域と一致し得る。エンコーダ７０も、例えば、すべてのスペクトル線に対し等しい量子化機能を有するスペクトル的に形成されたスペクトルを量子化する量子化器８４を含む。このようにして、スペクトル的に形成され量子化されたスペクトルは、デコーダ７２にデータストリーム７４内で伝送される。

完全性のみのために、変換器８０およびスペクトル形成器８２間の順序が、説明の便宜のみのために、図７において選択される点に留意する必要がある。理論的に、スペクトル形成器８２は、時間領域、すなわちアップストリーム変換器８０の中で実際にスペクトル形成の原因となり得る。更に、スペクトル知覚機能を決定するために、図７において特に示されないにもかかわらず、スペクトル形成器８２は、時間領域における音声信号１２にアクセスできた。デコーダの側で、デコーダ７２は、スペクトル形成器８２の変換関数の逆でデータストリーム７４から得られたように入力されスペクトル的に形成され量子化されたスペクトルを形成するように構成されたスペクトル形成器８６を含むものとして、すなわち、任意のの逆変換器８８により支援されたスペクトル知覚関数を実質的に有するように、図７において示される。逆変換器８８は、変換器８０と関連して逆変換を実行して、例えば、この目的を達成するために、時間領域エイリアシングキャンセリングを実行するために重畳付加プロセスにより支援される変換ブロックベース逆変換を実行し得て、それによって、時間領域の音声信号を再構成する。

図７に示したように、ハーモニックプレフィルタは、アップストリームまたはダウンストリーム変換器８０によりエンコーダ７０に含まれ得る。例えば、ハーモニックプレフィルタ９０、アップストリーム変換器８０は、伝達関数またはスペクトル形成器８２に加えてハーモニックで音声信号のスペクトルを効果的に減衰するために、フィルタリングに時間領域の中で音声信号１２を従属させ得る。あるいは、ハーモニックプレフィルタは、スペクトル領域内の同じ減衰を実行するか引起こしているこの種のプレフィルタ９２を有する配置されたダウンストリーム変換器８０でもよい。図７に示すように、対応するポストフィルタ９４および９６は、デコーダ７２の範囲内で配置される：プレフィルタ９２の場合には、スペクトル領域内でポストフィルタ９４が上流に範囲された逆変換器８８は、音声信号のスペクトルを逆に形成し、プレフィルタ９２の伝達関数を逆転し、プレフィルタ９０が使用される場合、ポストフィルタ９６は、逆変換器８８の下流で、プレフィルタ９０の伝達関数を逆転する伝達関数で、時間領域内で再構成された音声信号のフィルタリングを実行する。

図７の場合、装置１０は、それぞれのポストフィルタを制御するために、かつデコーダ側でポストフィルタの制御に従って、エンコーダ側でプレフィルタを制御するために、音声コーデックのデータストリーム７４を介してデコーダ側に明確に制御信号９８を伝送することにより、対９０および９６または９２および９４により実現された音声コーデックのハーモニックフィルタツールを制御する。

完全性のために、図８は、また、要素８０、８２、８４、８６および８８を含む変換ベース音声コーデックを使用する装置１０の使用を示し、しかしながら、音声コーデックがハーモニックポストフィルタのみのアプローチをサポートするケースを示している。ここで、ハーモニックフィルタツール３０は、スペクトル領域においてハーモニックポストフィルタリングを実行するために、デコーダ７２内で逆変換器８８の上流に位置するポストフィルタ１００により、あるいは、時間領域においてデコーダ７２内でハーモニックポストフィルタリングを実行するために逆変換器８８の下流に位置するポストフィルタ１０２を使用することにより、実現され得る。ポストフィルタ１００および１０２の動作モードは、ポストフィルタ９４および９６の一つと実質的に同様である：これらポストフィルタの目的は、ハーモニックの間の量子化ノイズを減らすことである。装置１０は、データストリーム７４の中で明確な信号伝達によりこれらポストフィルタを制御し、明確な信号伝達が、参照符号１０４を使用している図８に示される。

すでに上述されているように、制御信号９８または１０４は、例えば、フレーム３４につき、例えば、定期的に送られる。フレームに関して、同上が必ずしも等しい長さであるというわけではないことに注意されたい。フレーム３４の長さは、変化することもできる。

上述の説明、特に図２および３に関するもの、は、どのように、コントローラ２８がハーモニックフィルタツールを制御するかについて可能性を明らかにした。その議論から明らかになったように、少なくとも一つの時間的構造測定が時間領域３６の中で音声信号の平均または最大エネルギーバリエーションを測定するということでもよい。更に、コントローラ２８は、その制御オプションの範囲内で、ハーモニックフィルタツール３０の無効化を含んでもよい。これを図９に示す。図９は、チェック結果１２２を得るために、既定の条件が少なくとも一つの時間的構造測定およびハーモニシティ測定によって満たされるかどうかを調べるように構成されるロジック１２０を含むものとして、コントローラ２８を示す。それはバイナリ特性であって、既定の条件が満たされるか否かを示す。コントローラ２８は、チェック結果１２２に応じてハーモニックフィルタツールを有効化と無効化との間で切替わるように構成されるスイッチ１２４から成るものとして、示される。チェック結果１２２が、既定の状態がロジック１２０によって満たされるために承認されたことを示す場合、スイッチ１２４は、制御信号１４として直接状況を示すか、または、スイッチ１２４は、ハーモニックフィルタツール３０のためのある程度のフィルタゲインとともに状況を示す。すなわち、後者の場合において、スイッチ１２４は、完全にハーモニックフィルタツール３０のスイッチを切り、完全にハーモニックフィルタツール３０のスイッチを入れることの間で切替えるのみではなく、フィルタ強度またはフィルタゲインにおいて変化しているいくつかの中間状態に、ハーモニックフィルタツール３０をそれぞれ設定する。その場合、すなわち、スイッチ１２４も完全にスイッチを切り、完全にツール３０のスイッチを入れることとの間で適応し／ハーモニックフィルタツール３０をどこかで制御する場合、スイッチ１２４は、すなわちツール３０を適応させるために、制御信号１４の中間状態を決定するために少なくとも時間的構造測定２６およびハーモニシティ測定２２に依存し得る。換言すれば、スイッチ１２４は、測定２６および２２を基礎として、また、ハーモニックフィルタツール３０を制御するためのゲイン要素または適合要素を決定し得る。あるいは、スイッチ１２４は、ハーモニックフィルタツール３０、音声信号１２のオフ状態を直接に示していない制御信号１４のすべての状態を使用する。チェック結果１２２が既定の条件が満たされないことを示す場合、制御信号１４は、ハーモニックフィルタツール３０の無効化を示す。

図２および３の前記説明から明らかになったように、既定の条件は、両方の少なくとも一つの時間的構造測定が既定の第１の閾値より小さく、かつ、ハーモニシティの測定が、現行フレームおよび／または先行フレームのために、第２の閾値を越える場合、既定の条件は、満たされ得る。変形例が、存在することもできる：ハーモニシティの測定が、現行フレームのために、第３の閾値を越える場合、既定の条件は、さらに、満たされることができる、そして、ハーモニシティの測定は、現行フレームおよび／または先行フレームのために、ピッチ遅延の増加とともに減少する第４の閾値を越える。

特に、図２および３の実施例で、既定の条件が満たされる３つの変形例が実際に存在した。そして、変形例が少なくとも一つの時間的構造測定に依存している：

1. １つの時間的構造測定＜現行および先行フレームのための閾値および複合化されたハーモニシティ＞第２の閾値；
2.
１つの時間的構造測定＜第３の閾値および（現行または先行フレームのためのハーモニシティ）＞第４の閾値；
3.
（１つの時間的構造測定、＜第５の閾値またはすべての時間測定＜閾値）および現行フレームのためのハーモニシティ＞第６の閾値。

このように、図２および図３は、ロジック１２４のための可能な実施例を示す。

図１から３までに関して上述されたように、装置１０が音声コーデックのハーモニックフィルタツールを制御するために用いられるだけでないことは可能である。むしろ、装置１０は、過渡現象検出と並行して、過渡現象検出のみならずハーモニックフィルタツールの制御の両方を実行可能なシステムを形成し得る。図１０は、この可能性を示す。図１０は、装置１０および過渡現象検出器１５２から成るシステム１５０を示し、かつ、装置１０が上記で議論したように制御信号１４を出力すると共に、過渡現象検出器１５２は、音声信号１２における過渡現象を検出するように構成される。こうするために、しかしながら、過渡現象検出器１５２は、装置１０内で発生する中間的な結果を利用する：過渡現象検出器１５２は、その検出のために、エネルギーサンプル５２が一時的に、または、スペクトル時間的に音声信号のエネルギーをサンプルするその検出を使用する、または、あるいは、しかしながら、選択自由に、例えば、現在のフレーム３４ａ内の時間領域３６よりも時間領域内のエネルギーサンプルを推定する。これらのエネルギーサンプルに基いて、過渡現象検出器１５２は、過渡現象検出を実行し、検出信号１５４として検出される過渡現象を示す。上記の例の場合には、過渡検出信号は、実質的に、式４の条件が満たされる、すなわち、時間的に連続的なエネルギーサンプルのエネルギー変化が若干の閾値を上回る位置を示した。

上記の議論から明らかになりもしたので、図８において表されるもののような変換ベースのエンコーダ、または、変換コード化励起エンコーダは、変換ブロックおよび／または過渡検出信号１５４に依存する重畳長を切換えるために、図１０のシステムを含み、または使用し得る。更に、付加的に、または、代わりに、図１０のシステムを含んでいるまたは使用している音声エンコーダは、切換モードタイプでもよい。例えば、ＵＳＡＣおよびＥＶＳは、モード間の切換りを使用する。このように、この種のエンコーダは、変換コード化された励起モードと符号化励起線型予測モードとの間で切換わることをサポートするように構成され得る、そして、エンコーダは、図１０のシステムの過渡現象検出信号１５４に依存している切換えを実行するように構成され得る。変換符号化励起モードに関する限り、変換ブロックおよび／または重畳長を切替えることは、再び、過渡現象検出信号１５４に依存していることがあり得る。

前記実施例の効果のための実施例

実施例１：

ＬＴＰ決定のための時間測定が算出される領域のサイズは、ピッチ（式（８）参照）に依存している、そして、この領域は、変換長のための時間測定が算出される（通常現在のフレームおよび先読み）領域とは異なる。

図１１の実施例において、過渡現象は、時間測定が算出される領域の内側に存在して、このようにＬＴＰ決定に影響する。上記したように、動機付けは、現行フレームのためのＬＴＰが、「ピッチ遅延」を意味する部分から過去のサンプルを利用して、過渡現象の一部に到達するということである。

図１２の実施例において、過渡現象は、時間測定が算出される領域の外に存在して、このようにＬＴＰ決定に影響しない。以前の図と異なり、現行フレームのためのＬＴＰが過渡現象に達しなかったので、これは合理的である。

両方の実施例（図１１および図１２）において、変換長構成は、現行フレーム、すなわち「フレーム長」でマークされた領域の範囲内のみで時間測定に基づき決定される。これは、両方の実施例で、過渡現象が現行フレームで検出されるというわけではなく、そして、好ましくは、（多くの連続した短い変換の代わりに）単一の長い変換が使用されることを意味する。

実施例２：

ここで、我々は、ハーモニック信号の範囲内でインパルスおよびステップ過渡現象のためのＬＴＰの挙動について述べる。それについて、１つの実施例は、図１３の信号のスペクトログラムによって与えられる。符号化する際に、信号は、（ＬＴＰ決定が、ピッチゲインのみに基づくので）完全な信号のためのＬＴＰを含み、出力のスペクトログラムは、図１４に示されるように見える。

スペクトログラムが図１４に存在する、信号の波形は、図１５に示される。図１５も、ロウパス（ＬＰ）フィルタリングされかつハイパス（ＨＰ）フィルタリングされた同じ信号を含む。ＬＰフィルタリングされた信号において、ハーモニック構造は、より明確になり、ＨＰフィルタリングされた信号において、インパルス状の過渡現象の位置およびその軌跡は、より明白である。完全な信号、ＬＰ信号およびＨＰ信号のレベルは、プレゼンテーションのために図において修正される。

短いインパルス状の過渡現象（図１３における最初の過渡現象のような）のために、長期予測は、図１４および図１５に見られるように、過渡現象の反復を生じる。ステップ状の長い過渡現象（図１３における第２の過渡現象のように）の間長期予測を使用することは、過渡現象が長期のために充分強いので、いかなる付加的な歪も導かない。そしてこのことは、長期予測を使用して生成された信号の部分をマスクする（同時のおよびポストマスキング）。決定メカニズムは、（予測の利益を利用するために）ステップ状の過渡現象のためのＬＴＰを有効にし、（アーチファクトを防止するために）短いインパルス状の過渡現象のためのＬＴＰを無効にする。

実施例３：
しかしながら、場合によっては、時間測定の使用は、不利であり得る。図１８におけるスペクトログラムおよび図１９における波形は、Fatboy Slimによる「Ｋａｌｉｆｏｒｎｉａ」の始めから、約３５ミリ秒の抜粋を示す。それがエネルギーの大きな時間的変動を検出するにつれて、時間平坦性測定に、および、最大エネルギー変化に依存するＬＴＰ決定は、この種の信号のためのＬＴＰを無効にする。

このサンプルは、低ピッチ信号を形成する過渡現象およびパルス列の間のあいまいさの例である。

同じ信号から６００ミリ秒が抜粋する、図２０に見られるように、信号は、存在し、信号は、繰り返された非常に短いインパルス状の過渡現象（スペクトログラムが、短時間長ＦＦＴを使用して生成される）を含む。

このように、前記実施例は、とりわけ、例えば、音声符号化のためのより良好なハーモニックフィルタ決定のための概念を明らかにした。前記概念からのわずかな逸脱が可能であることは、ついでに再述されなければならない。特に、上記の如く、音声信号１２は、会話または音楽信号でもよく、ピッチ推定、ハーモニシティ測定または時間的構造解析または測定の目的で、信号１２の前処理バージョンにより置き換えられ得る。また、時間またはスペクトル領域において、ピッチ推定は、ピッチ遅延の測定値に限られ得ることができなくて、当業者に公知でなければならないので、基本周波数の測定値により実行されることもできる。そして、それは式、例えば「ピッチ遅延＝サンプリング周波数／ピッチ周波数」）を介して等価なピッチ遅延に容易に変換され得る。このように、一般的に言って、ピッチ推定器１６は、次に、ピッチ−遅延およびピッチ周波数における目録それ自体である音声信号のピッチを推定する。

若干の態様が装置の文脈で記載されていたにもかかわらず、これらの態様も対応する方法の説明を表すことは明らかである。ここで、１ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で記載されている態様は、対応する装置の対応するブロックまたは部材または特徴の説明をも表す。方法ステップのいくつかまたは全ては、ハードウェア装置（例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路等）によって（または使用によって）実行され得る。いくつかの実施形態では、最も重要な方法ステップのいくつかの一つ以上は、この種の装置によって実行され得る。

発明の符号化された音声信号は、デジタル記憶媒体上に保存され得るか、または、例えば無線伝送媒体または例えばインターネット等の有線伝送媒体等の伝送媒体上に送信され得る。

特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアにおいて実施され得る。実施は、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ―Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実行され得る。そして、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協同する（または協同し得る）。従って、デジタル記憶媒体は、計算機可読でもよい。

本発明による若干の実施例は、本願明細書において記載されている方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協同することができる、電子的に読み込み可能な制御信号を有するデータキャリアから成る。

通常、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実施され得る。そして、コンピュータプログラム製品がコンピュータで動くときに、プログラムコードが方法のうちの１つを実行するために作動している。プログラムコードは、機械読み取り可読担体に、例えば格納され得る。

他の実施例は、本願明細書において記載されていて、機械読み取り可読担体に格納される方法のうちの１つを実行するためのコンピュータプログラムを含む

換言すれば、発明の方法の実施例は、従って、コンピュータプログラムがコンピュータで動くとき、本願明細書において記載されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

発明の方法の更なる実施例は、従って、その上に記録されて、本願明細書において記載されている方法のうちの１つを実行するためのコンピュータプログラムを含むデータ担体（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形でおよび／または、非遷移である。

本発明の方法の更なる実施例は、従って、本願明細書において記載されている方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を経て、例えばインターネットを経て転送されるように例えば構成され得る。

更なる実施例は、本願明細書において記載されている方法の１つを実行するように構成され、あるいは適合する処理手段、例えばコンピュータまたはプログラム可能な論理装置を具備している。

更なる実施例は、本願明細書において記載されている方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを具備している。

本発明による更なる実施例には、レシーバに本願明細書において記載されている方法のうちの１つを実行するためのコンピュータプログラムを転送する（例えば、電子的に、または、光学的に）ように構成される装置またはシステムが具備されている。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイス等でもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含み得る。

いくつかの実施形態では、プログラム可能な論理装置（例えばフィールドプログラム可能なゲートアレイ）は、本願明細書において記載されている方法の機能のいくつかまたは全てを実行するために使用され得る。いくつかの実施形態では、フィールドプログラム可能なゲートアレイは、本願明細書において記載されている方法のうちの１つを実行するために、マイクロプロセッサと協同することができる。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。

上記した実施例は、本発明の原理のために、単に図示するだけである。
配置の修正および変更および本願明細書において記載されている詳細は、他の当業者にとって明らかであるものと理解される。従って、未決の特許請求の範囲だけによって、そして、本願明細書において実施例の説明および説明として示される具体的な詳細だけでないことによって制限されることが、意図される。

Claims (25)

1. 音声コーデックのハーモニックフィルタツールのハーモニシティに依存する制御を実行するための装置（１０）であって、
   前記音声コーデックによって処理されるべき音声信号（１２）のピッチ（１８）を決定するように構成されるピッチ推定器（１６）と；
   前記ピッチ（１８）を使用している前記音声信号（１２）のハーモニシティの指標（２２）を決定するように構成されるハーモニシティ測定器（２０）と；
   前記ピッチ（１８）に依存して、前記音声信号（１２）の時間的構造の特性を測定する少なくとも１つの時間的構造指標（２６）を決定するように構成される時間的構造解析器（２４）と；
   前記時間的構造指標（２６）および前記ハーモニシティの指標（２２）に依存して、前記ハーモニックフィルタツール（３０）を制御するように構成されたコントローラ（２８）とを備え、
   前記時間的構造解析器（２４）は、前記少なくとも１つの時間的構造指標（２６）を、前記ピッチ（１８）に依存して一時的に位置決めされた時間領域内で決定するように構成され、かつ、
   前記時間的構造解析器（２４）は、前記ピッチ（１８）に依存して、前記時間領域の時間的に過去の先端（３８）を位置づけるように構成される、装置。
2. 前記ハーモニシティ測定器（２０）は、前記音声信号（１２）の正規化された相関あるいはそのプレ修正バージョンを、前記ピッチ（１８）のピッチ−遅延において、または、その周辺で計算することによって前記ハーモニシティの指標（２２）を決定するように構成される、請求項１に記載の装置。
3. 前記ピッチ推定器（１６）は、第１のステージおよび第２のステージを含むステージにおいて前記ピッチ（１８）を決定するように構成されている、請求項１または２に記載の装置。
4. 前記ピッチ推定器（１６）は、前記第１のステージ内で、第１のサンプルレートのダウンサンプリングされた領域で前記ピッチの予備推定を決定するとともに、前記第２のステージ内で、前記第１のサンプリングレートより高い第２のサンプリングレートで、前記ピッチの予備推定を精製する、請求項３に記載の装置。
5. 前記ピッチ推定器（１６）は、自己相関を使用して前記ピッチ（１８）を決定するように構成される、請求項１ないし４のいずれかに記載の装置。
6. 前記時間的構造解析器（２４）は、前記時間領域の、または前記時間的構造指標の前記決定への影響がより高い領域の、時間的に過去の見出し端（３８）を位置決めして、前記時間領域の、または前記時間的構造指標の前記決定への影響がより高い領域の、時間的に過去の見出し端（３８）が、前記ピッチ（１８）の減少に伴って単調増加する時間量分だけ、過去の方向に移動されるように構成される、請求項１ないし５のいずれかに記載の装置。
7. 前記時間的構造解析器（２４）は、前記時間領域の、または前記時間的構造指標の前記決定への影響がより高い領域の時間的に過去の先端（３８）から現在のフレーム（３４ａ）の時間的に将来の先端（４４）まで延びる時間候補領域内の前記音声信号（１２）の時間的構造に依存して、前記時間領域（３６）の、または前記時間的構造指標（２６）の決定への影響がより高い領域の、時間的に将来の先端（４０）を位置決めするように構成される、請求項１ないし６のいずれかに記載の装置。
8. 前記時間的構造解析器（２４）は、前記時間領域（３６）の、あるいは前記時間的構造指標（２６）の前記決定への影響がより高い領域の、時間的に将来の先端を位置決めするために、前記時間候補領域内での振幅または最大エネルギーサンプルと最小のエネルギーサンプルとの比率を使用するように構成される、請求項７に記載の装置。
9. 前記コントローラ（２８）は、
   予め定められた条件が、前記少なくとも１つの時間的構造指標（２６）および前記ハーモニシティ指標（２２）が既定の条件を満たしているかをチェックして、チェック結果を得るように構成されるロジック（１２０）；と、
   前記チェック結果に依存して、前記ハーモニックフィルタツール（３０）をイネーブルおよびディセーブルの間で切り替えるように構成されるスイッチ（１２４）を含む、請求項１ないし８のいずれかに記載の装置。
10. 前記少なくとも１つの時間的構造指標（２６）は、前記時間領域内で前記音声信号の平均または最大エネルギー変化を測定し、前記ロジックは、
    前記少なくとも１つの時間的構造指標（２６）が、既定の第１の閾値より小さく、
    かつ、前記ハーモニシティの指標（２２）は、現在のフレームおよび／または前のフレームについて、第２の閾値を越える、の両方を満たす場合、前記既定の条件が満たされるように構成される、請求項９に記載の装置。
11. 前記ロジック（１２０）は、前記ハーモニシティの指標（２２）が、現在のフレームについて、第３の閾値を越え、かつ、前記ハーモニシティの指標は、現在のフレームおよび／または前のフレームについて、前記ピッチ（１８）のピッチ遅延の増加に伴って減少する第４の閾値を越える場合にも、前記既定の条件が満たされるように構成される、請求項１０に記載の装置。
12. 前記コントローラ（２８）が、
    デコード側に音声コーデックのデータストリームを介して明確に制御信号を送ること、または、
    前記デコード側でポストフィルタを制御するためにデコード側に音声コーデックのデータストリームを介して明確に制御信号の信号を送り、かつ前記デコード側での前記ポストフィルタの制御に沿って、エンコーダ側でプレフィルタを制御することによって、前記ハーモニックフィルタツール（３０）を制御するように構成される、請求項１ないし１１のいずれかに記載の装置。
13. 前記時間的構造解析器（２４）が、スペクトル的に識別できるように前記少なくとも１つの時間的構造指標（２６）を決定して、複数のスペクトル帯域のスペクトル帯域ごとに前記少なくとも１つの時間的構造指標（２６）の１つの値を得るように構成される、請求項１ないし１２のいずれかに記載の装置。
14. 前記コントローラ（２８）は、フレームの単位で前記ハーモニックフィルタツール（３０）を制御するように構成され、かつ前記時間的構造解析器（２４）は、前記フレームのフレームレートより高いサンプルレートで前記音声信号（１２）のエネルギーをサンプリングして前記音声信号のエネルギーサンプルを得て、前記エネルギーサンプルに基づいて前記少なくとも一つの時間的構造指標（２６）を決定するように構成される、請求項１ないし１３のいずれかに記載の装置。
15. 前記時間的構造解析器（２４）は、前記ピッチ（１８）に応じて時間的に位置決めされた時間領域内で前記少なくとも１つの時間的構造指標（２６）を決定するように構成され、かつ、前記時間的構造解析器（２４）は、前記時間領域内での前記エネルギーサンプルの直接連続するエネルギーサンプルの対の間での変化を測定するエネルギー変化値のセットを計算し、前記エネルギー変化値のセットを、各々が前記エネルギー変化値のセットの厳密に１つに依存する最大値演算子または加数の総和を含むスカラー関数に付すことにより、前記エネルギーサンプルに基づいて前記少なくとも１つの時間的構造指標（２６）を決定するように構成される、請求項１４に記載の装置。
16. 前記時間的構造解析器（２４）は、ハイパスフィルタリングされた領域内で前記音声信号（１２）の前記エネルギーの前記サンプリングを実行するように構成される、請求項１４または１５のいずれかに記載の装置。
17. 前記ピッチ推定器（１６）、前記ハーモニシティ測定器（２０）および前記時間的構造解析器（２４）は、元の音声信号およびその若干のプレ修正バージョンを含む前記音声信号（１２）の異なるバージョンに基づいて、決定を実行する、請求項１ないし１６のいずれかに記載の装置。
18. 前記コントローラ（２８）は、前記ハーモニックフィルタツール（３０）を制御する際に、前記時間的構造指標（２６）および前記ハーモニシティ指標（２２）に依存して、
    前記ハーモニックフィルタツール（３０）のプレフィルタおよび／またはポストフィルタのイネーブルおよびディセーブルを切り替える、または
    前記ハーモニックフィルタツール（３０）の前記プレフィルタおよび／または前記ポストフィルタのフィルタ強度を徐々に適応させるように構成され、
    前記ハーモニックフィルタツール（３０）は、プレフィルタおよびポストフィルタアプローチからなり、かつ、前記ハーモニックフィルタツール（３０）の前記プレフィルタは、前記音声信号の前記ピッチの高調波成分内で量子化ノイズを増加させるように構成され、前記ハーモニックフィルタツール（３０）の前記ポストフィルタは、送信されたスペクトルをそれに従って再成形するように構成される、または、前記ハーモニックフィルタツール（３０）は、ポストフィルタのみのアプローチからなり、かつ、前記ハーモニックフィルタツール（３０）の前記ポストフィルタは、前記音声信号の前記ピッチの前記高調波成分間に発生する量子化ノイズをフィルタリングするように構成される、請求項１ないし１７のいずれかに記載の装置。
19. ハーモニックフィルタツール（３０）および請求項１ないし１８のいずれかに記載の前記ハーモニックフィルタツールのハーモニシティ依存制御を実行するための装置を含む、音声エンコーダまたは音声デコーダ。
20. 請求項１４ないし１６のいずれかに記載のハーモニックフィルタツールのハーモニシティ依存制御を実行するための装置（１０）と、
    前記エネルギーサンプルに基づいて、前記音声コーデックによって処理されるべき音声信号における過渡現象を検出するように構成される過渡現象検出器とを含む、システム。
21. 請求項２０に記載のシステムを含み、検出された過渡現象に依存して変換ブロックおよび／または重畳長を切換えるように構成される、変換ベースエンコーダ。
22. 前記検出された過渡現象に依存して、変換符号化励起モードと符号励起線型予測モードとの切り替えをサポートするように構成される、請求項２０に記載の音声エンコーダ。
23. 前記検出された過渡現象に依存して、変換符号化励起モードにおいて変換ブロックおよび／または重畳長を切換えるように構成される、請求項２２に記載の音声エンコーダ。
24. 音声コーデックのハーモニックフィルタツールのハーモニシティ依存制御を実行するための方法（１０）であって、
    前記音声コーデックによって処理されるべき音声信号（１２）のピッチ（１８）を決定する工程と；
    前記ピッチ（１８）を使用して、前記音声信号（１２）のハーモニシティ指標（２２）を決定する工程と；
    前記ピッチ（１８）に依存して、前記音声信号の時間的構造の特性を測定する少なくとも１つの時間的構造指標（２６）を決定する工程と；
    前記時間的構造指標（２６）および前記ハーモニシティ指標（２２）に依存して、前記ハーモニックフィルタツール（３０）を制御する工程とを含み、
    前記時間領域内の少なくとも１つの時間的構造指標（２６）は、前記ピッチ（１８）に依存して一時的に位置決めされた時間領域内で決定され、かつ、
    前記時間領域の時間的に過去の先端（３８）は、前記ピッチ（１８）に依存して位置付けられる、方法。
25. コンピュータ上で動作するときに、請求項２４に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。