JP6773737B2 - 音響信号の帯域幅拡張を行う装置及び方法 - Google Patents

Description

本発明は、音響信号処理に関し、特に、音響信号の帯域幅拡張のための音響信号の符号化及び復号処理に関する。

通信において、ネットワークリソースをより効率的に使用するために、オーディオコーデックには、主観的品質の許容できる範囲で音響信号を低ビットレートに圧縮することが導入されている。よって、音響信号の符号化の際、ビットレートの制約を克服するために、圧縮効率を向上させる必要がある。

ＢＷＥ（bandwidth extension：帯域幅拡張）は、ＷＢ（wideband：広帯域）又はＳＷＢ（super-wideband：超広帯域）の音響信号を低ビットレートに効率的に圧縮するために、音響信号の符号化において広く使用されている技術である。符号化におけるＢＷＥは、復号された低周波帯域信号を用いてパラメトリックに高周波帯域信号を表現する。すなわち、ＢＷＥは、音響信号の低周波帯域信号の中で高周波帯域信号のサブバンドと類似する部分を探索して特定し、その類似する部分を特定するパラメータを符号化して送信し、受信側で低周波帯域信号を用いて高周波帯域信号を再合成できるようにする。高周波帯域信号を直接的に符号化せず、低周波帯域信号の類似する部分を利用することで伝送するパラメータの情報量を少なくでき、圧縮効率を向上できる。

ＢＷＥの機能を利用した音響信号のコーデックの１つとして、Ｇ．７１８−ＳＷＢがある。Ｇ．７１８−ＳＷＢの適用対象は、ＶｏＩＰ装置、テレビ会議設備、電話会議設備、及び、携帯電話である。

Ｇ．７１８−ＳＷＢの構成を図１及び図２に示す（例えば、非特許文献１を参照）。

図１に示す符号化装置側では、３２ｋＨｚでサンプリングされた音響信号（以下、入力信号という）は、まず、１６ｋＨｚにダウンサンプリングされる（１０１）。ダウンサンプリングされた信号は、Ｇ．７１８コア符号化部によって符号化される（１０２）。ＳＷＢ帯域幅拡張は、ＭＤＣＴ領域において行われる。３２ｋＨｚ入力信号は、ＭＤＣＴ領域に変換され（１０３）、トーン性推定部を介して処理される（１０４）。入力信号の推定されたトーン性に基づいて（１０５）、ジェネリック（generic）モード（１０６）又は正弦波（sinusoidal）モード（１０８）がＳＷＢの第１レイヤ符号化に用いられる。より上位のＳＷＢレイヤは、追加正弦波（additional sinusoid）を用いて符号化される（１０７及び１０９）。

ジェネリックモードは、入力フレームの信号が非トーンと見なされる場合に使用される。ジェネリックモードにおいて、Ｇ．７１８コア符号化部によって符号化されたＷＢ信号のＭＤＣＴ係数（スペクトル）は、ＳＷＢ ＭＤＣＴ係数（スペクトル）の符号化に利用される。ＳＷＢ周波数帯域（７−１４ｋＨｚ）はいくつかのサブバンドに分割され、全てのサブバンドに対して、符号化され正規化されたＷＢ ＭＤＣＴ係数から、最も相関の高い部分が探索される。そして、最も相関の高い部分のゲインは、ＳＷＢのサブバンドの振幅レベルを再現できるようスケール計算され、ＳＷＢ信号の高周波成分の媒介変数表示（パラメトリック表現）が得られる。

正弦波モード符号化は、トーンに分類されるフレームにおいて使用される。正弦波モードにおいて、ＳＷＢ信号は、正弦波成分の有限集合をＳＷＢスペクトルに加えることにより生成される。

図２に示す復号装置側では、Ｇ．７１８コアコーデックは、ＷＢ信号を１６ｋＨｚサンプリングレートで復号する（２０１）。ＷＢ信号は、後処理された後（２０２）、３２ｋＨｚサンプリングレートにアップサンプリングされる（２０３）。ＳＷＢ周波数成分は、ＳＷＢ帯域幅拡張によって再構成される。ＳＷＢ帯域幅拡張は主にＭＤＣＴ領域で行われる。ジェネリックモード（２０４）及び正弦波モード（２０５）は、ＳＷＢの第１レイヤの復号に用いられる。より上位のＳＷＢレイヤは、追加正弦波モードを用いて復号される（２０６及び２０７）。再構成されたＳＷＢ ＭＤＣＴ係数は、時間領域に変換され（２０８）、後処理（２０９）の後、Ｇ．７１８コア復号部によって復号されたＷＢ信号に加算され、時間領域のＳＷＢ出力信号が再構成される。

ITU-T Recommendation G.718 Amendment 2, New Annex B on superwideband scalable extension for ITU-T G.718 and corrections to main body fixed-point C-code and description text, March 2010.

Ｇ．７１８−ＳＷＢの構成に見られるように、入力信号のＳＷＢ帯域幅拡張は、正弦波モード又はジェネリックモードのいずれかによって行われる。

例えば、ジェネリック符号化のメカニズムに対して、高周波数成分は、ＷＢスペクトルから最も相関の高い部分を探索することにより生成される（得られる）。通常、このアプローチのタイプは、特に高調波を有する信号に対する性能に問題を抱える。このアプローチは、低周波帯域の高調波成分（トーン成分）と複製された高周波帯域のトーン成分との間のハーモニクス（高調波）関係を全く維持していない。このことは、聴感的品質を劣化させる不明瞭なスペクトルの原因となる。

したがって、不明瞭なスペクトル、又は、複製された高周波帯域信号のスペクトル（高周波数スペクトル）における乱れによって生成される聴感ノイズ（又はartifact）を抑圧するために、低周波帯域信号のスペクトル（低周波数スペクトル）と高周波数スペクトルとの間のハーモニクス関係を維持することが望ましい。

この問題を解決するために、Ｇ．７１８−ＳＷＢの構成は、正弦波モードを備えている。正弦波モードは、正弦波を用いて重要なトーン成分を符号化するので、良好なハーモニクス構造が維持される。しかしながら、人工的なトーン信号によってＳＷＢ成分を単純に符号化すると、結果として得られる音声品質は必ずしも十分に良好にはならないという課題がある。

本発明は、上記ジェネリックモードが抱える高調波（ハーモニクス）を有する信号に対する符号化性能を改善することを目的とし、スペクトルの微細（fine）構造を維持しつつ、低周波数スペクトルと複製された高周波数スペクトルとの間のトーン成分のハーモニクス構造を維持するための効率的な方法を提供するものである。まず、ＷＢスペクトルから高調波の周波数の値を推定することにより低周波数スペクトルのトーン成分と高周波数スペクトルのトーン成分との関係が得られる。次いで、符号化装置側で符号化された低周波数スペクトルが復号され、インデックス情報に従って高周波数スペクトルのサブバンドに最も相関の高い部分がエネルギレベル調整されたうえで高周波帯域にコピーされることで高周波数スペクトルが複製される。複製された高周波数スペクトルにおけるトーン成分の周波数は、推定された高調波の周波数の値に基づいて特定又は調整される。

低周波数スペクトルのトーン成分と複製された高周波数スペクトルのトーン成分との間のハーモニクス関係は、高調波の周波数の推定が正確である場合のみ維持される。このため、推定精度を向上させるために、高調波の周波数を推定する前にトーン成分を構成するスペクトルピークの補正を行う。

この発明により、特に、ハーモニクス構造を有する入力信号に対して、帯域幅拡張により再構成された高周波数スペクトルにおけるトーン成分を正確に複製し、良好な音声品質を低ビットレートで効率的に得ることができる。

Ｇ．７１８−ＳＷＢ符号化装置の構成を示す図 Ｇ．７１８−ＳＷＢ復号装置の構成を示す図 本発明の実施の形態１に係る符号化装置の構成を示すブロック図 本発明の実施の形態１に係る復号装置の構成を示すブロック図 スペクトルピーク検出の補正アプローチを示す図 高調波周波数調整方法の一例を示す図 高調波周波数調整方法の他の例を示す図 本発明の実施の形態２に係る符号化装置の構成を示すブロック図 本発明の実施の形態２に係る復号装置の構成を示すブロック図 本発明の実施の形態３に係る符号化装置の構成を示すブロック図 本発明の実施の形態３に係る復号装置の構成を示すブロック図 本発明の実施の形態４に係る復号装置の構成を示すブロック図 合成された低周波数スペクトルに対する高調波周波数調整方法の一例を示す図 合成された低周波数スペクトルに対して欠落した高調波を注入するアプローチの一例を示す図

本発明の主な原理は図３〜図１４を用いてこのセクションに記載されている。当業者であれば、本発明の主旨から逸脱することなく、この発明を変更又は適合させることが可能である。

（実施の形態１）
本発明に係るコーデックの構成を図３及び図４に示す。

図３に示す符号化装置側では、サンプリングされた入力信号は、まず、ダウンサンプリングされる（３０１）。ダウンサンプリングされた低周波帯域の信号（低周波数信号）は、コア符号化部により符号化される（３０２）。コア符号化パラメータは、ビットストリームを形成するために多重化部（３０７）へ送られる。また、入力信号は時間-周波数（Ｔ／Ｆ）変換部（３０３）で周波数領域の信号に変換され、その高周波帯域信号（高周波数信号）は複数のサブバンドに分割される。符号化部は、既存の狭帯域又は広帯域のオーディオ又は音声コーデックでもよく、一例としてＧ．７１８が挙げられる。コア符号化部（３０２）は、単に符号化するだけでなく、ローカルな復号部及び時間−周波数変換部も備えており、ローカルな復号を行い、復号された信号（合成信号）の時間−周波数変換を行い、合成低周波数信号をエネルギ正規化部（３０４）へ供給する。正規化された周波数領域の合成低周波数信号は、以下のようにして帯域幅拡張に利用される。まず、類似度探索部（３０５）が、この正規化された低周波数合成数信号中で入力信号の高周波数信号の各サブバンドと最も相関の高い部分を特定し、探索結果であるインデックス情報を多重化部（３０７）へ送る。次に、この最も相関の高い部分と入力信号の高周波数信号の各サブバンドとのスケールファクタ情報が推定され（３０６）、符号化されたスケールファクタ情報は多重化部（３０７）へ送られる。

最後に、多重化部（３０７）は、コア符号化パラメータ、インデックス情報及びスケールファクタ情報を、ビットストリームに統合する。

図４に示す復号装置では、逆多重化部（４０１）は、ビットストリームを解いて、コア符号化パラメータ、インデックス情報及びスケールファクタ情報を得る。

コア復号部は、コア符号化パラメータを用いて、合成低周波数信号を再構成する（４０２）。合成低周波数信号は、アップサンプリングされる（４０３）とともに帯域幅拡張にも用いられる（４１０）。

この帯域幅拡張は以下のように行われる。すなわち、合成低周波数信号をエネルギ正規化し（４０４）、符号化装置側で導出された入力信号の高周波数信号の各サブバンドとの相関が最も高い部分を特定するインデックス情報に従って特定された低周波数信号を高周波帯域にコピーし（４０５）、入力信号の高周波数信号のエネルギレベルと同じレベルにするために、スケールファクタ情報に従ってエネルギレベル調整を行う（４０６）。

また、高調波の周波数は、合成低周波数信号のスペクトルから推定される（４０７）。推定された高調波の周波数は、高周波数信号のスペクトルにおいてトーン成分の周波数を調整するために使用される（４０８）。

再構成された高周波数信号は、周波数領域から時間領域に変換され（４０９）、アップサンプリングされた合成低周波数信号に加算され、時間領域の出力信号を生成する。

高調波の周波数の推定方式の詳細な処理について以下に説明する。
１）合成低周波数信号（ＬＦ）のスペクトルから、高調波の周波数を推定するための部分を選択。選択された部分は、選択された部分から推定される高調波の周波数が信頼できるものであるために、鮮明なハーモニクス構造を有するべきである。通常、全ての高調波に対して、１−２ｋＨｚからカットオフ周波数の付近において鮮明なハーモニクス構造が観察される。
２）選択された部分を人間のピッチ周波数に近い幅（100Hz〜400Hz程度）の多数のブロックに分割。
３）各ブロック内において振幅が最大となるスペクトル（スペクトルピーク）、及びスペクトルピークの周波数（スペクトルピーク周波数）を探索。
４）エラー回避又は高調波の周波数の推定精度向上のために、特定したスペクトルピークに対して後処理を実施。

後処理の一例を、図５に示すスペクトルを用いて説明する。

合成低周波数信号のスペクトルに基づいて、スペクトルピーク、及び、スペクトルピーク周波数が算出される。ただし振幅が小さく、隣りあうスペクトルピークとのスペクトルピーク周波数の間隔が非常に短いスペクトルピークは削除される。これにより、高調波の周波数の値を算出する際の推定誤りを回避する。
１）特定されたスペクトルピーク周波数の間隔を算出。
２）特定されたスペクトルピーク周波数の間隔に基づいて高調波の周波数を推定。高調波の周波数を推定する方法の一つを以下に示す。

高調波の周波数の推定は、以下のような方法でも行うことができる。
１）合成低周波数信号（ＬＦ）のスペクトルにおいて、高調波の周波数を推定するため、推定される高調波の周波数の信頼性が担保できるよう鮮明なハーモニクス構造を有する部分を選ぶ。通常、全ての高調波に対して、１−２ｋＨｚからカットオフ周波数の付近において鮮明なハーモニクス構造が見られる。
２）上記の合成低周波数信号（スペクトル）の選択された部分の中で最大の振幅（絶対値）を有するスペクトルとその周波数を特定する。
３）この最大振幅のスペクトルのスペクトル周波数から、ほぼ等しい周波数間隔を有し、かつ振幅の絶対値が所定の閾値を越えるスペクトルピークのセットを特定する。所定の閾値としては例えば前述の選択された部分のスペクトル振幅の標準偏差の２倍の値が採用できる。
４）上記スペクトルピーク周波数の間隔を算出する。
５）上記スペクトルピーク周波数の間隔に基づいて高調波の周波数を推定する。なお、この場合にも高調波の周波数を推定するため、式（１）の方法を使用可能である。

ところで、極めて低いビットレートの場合には、合成低周波数信号のスペクトル内の高調波成分が十分に符号化されない場合がある。この場合、特定されるいくつかのスペクトルピークは、入力信号の高調波成分に全く対応していない可能性がある。このため、高調波の周波数の算出において、スペクトルピーク周波数の間隔が平均的な値と大きく異なる場合には、この算出対象から除外した方がよい。

また、スペクトルピークの振幅が比較的小さいとか、符号化のためのビットレートの制限などから、必ずしも全ての高調波成分が符号化できない（つまり合成低周波数信号のスペクトルのいくつかの高調波成分が欠落している）場合がある。このような場合には、欠落する高調波部分において抽出されるスペクトルピーク周波数の間隔は、良好なハーモニクス構造を有する部分で抽出されるスペクトルピーク周波数の間隔の２倍又は数倍となると考えられる。この場合には最大のスペクトルピーク周波数の間隔を含む所定の範囲に含まれるスペクトルピーク周波数の間隔の抽出値の平均値を高調波の周波数の推定値とする。これにより、高周波数スペクトルを適切に複製することができる。具体的には、以下のステップからなる。
１）スペクトルピーク周波数の間隔の最小値及び最大値を特定する。

２）次の範囲における全てのスペクトルピーク周波数の間隔を特定する。

３）上記範囲において特定されるスペクトルピーク周波数の間隔の平均値を高調波の周波数の推定値とする。

次に、高調波周波数調整方式の一例を以下に説明する。

１）合成低周波数信号（ＬＦ）のスペクトルにおける符号化された最後のスペクトルピーク、及び、そのスペクトルピーク周波数を特定する。
２）帯域幅拡張により複製された高周波数スペクトル内のスペクトルピーク及びスペクトルピーク周波数を特定する。
３）合成低周波数信号スペクトルのスペクトルピークのうち、最大のスペクトルピーク周波数を基準として、スペクトルピーク周波数の間隔が高調波の周波数間隔の推定値と等しくなるように、スペクトルピーク周波数を調整する。この処理を図６に示す。図６に示すように、まず、合成低周波数信号スペクトル中で最大のスペクトルピーク周波数、及び、複製された高周波数スペクトル内のスペクトルピークを特定する。そして、複製された高周波数スペクトル内の最小のスペクトルピーク周波数を持つものを、合成低周波数信号スペクトルの最大のスペクトルピーク周波数からEst_Harmonicの間隔を有する周波数にシフトする。複製された高周波数スペクトル内のスペクトルピーク周波数が２番目に小さなものは、上記のシフトされた最小のスペクトルピーク周波数からEst_Harmonicの間隔を有する周波数にシフトする。複製された高周波数スペクトル内の全てのスペクトルピークのスペクトルピーク周波数についてこのような調整が完了するまでこの処理を繰り返す。

また、以下のような高調波周波数調整方式も可能である。
１）合成低周波数信号（ＬＦ）のスペクトルの最大のスペクトルピーク周波数を持つものを特定する。
２）帯域幅拡張により帯域幅拡張される高周波数（ＨＦ）スペクトル内のスペクトルピーク及びスペクトルピーク周波数を特定する。
３）合成低周波数信号スペクトルの最大のスペクトルピーク周波数を基準として、ＨＦスペクトルにおいて採りうるスペクトルピーク周波数を算出する。帯域幅拡張により複製された高周波数スペクトル内の各スペクトルピークを算出されたスペクトルピーク周波数のうち各スペクトルピーク周波数に最も近い周波数へ移動する。この処理を図７に示す。図７に示すように、まず、合成低周波数スペクトルの最大のスペクトルピーク周波数を持つもの、及び、複製された高周波数スペクトル内のスペクトルピークが抽出される。そして、複製された高周波数スペクトル内で採りうるスペクトルピーク周波数が算出される。合成低周波数信号スペクトルの最大のスペクトルピーク周波数からEst_Harmonicの間隔を有する周波数を、複製された高周波数スペクトル内のスペクトルピークが１番目に採りうるスペクトルピークの周波数とする。次に上記１番目の採りうるスペクトルピーク周波数からEst_Harmonicの間隔を有する周波数を、２番目に採りうるスペクトルピークの周波数とする。高周波数スペクトル内で計算できる限りこの処理を繰り返す。

その後、複製された高周波数スペクトルにおいて抽出されたスペクトルピークを、上記で算出した採りうるスペクトルピーク周波数のうちスペクトルピーク周波数が最も近い周波数にシフトする。

推定高調波の値Est_Harmonicは、整数の周波数ビンに対応しない場合もある。この場合、スペクトルピーク周波数は、Est_Harmonicに基づいて導出される周波数に最も近い周波数ビンとなるように選択する。

なお、高調波の周波数の推定に前フレームのスペクトルが利用されるような高調波の周波数の推定方法、及び、トーン成分の調整の際にフレーム移行がスムーズになるように前フレームのスペクトルが考慮されるようなトーン成分の周波数の調整方法も考えられる。また、トーン成分の周波数をシフトしても元のスペクトルのエネルギレベルが維持されるように振幅を調整してもよい。これらの軽微な変更は全て、本発明の範囲に含まれる。

上記は全て例示であって、本発明の着想はこれらに限定されるものではない。当業者であれば、本発明の主旨から逸脱することなく本発明を変更又は修正することが可能である。

［効果］
本発明に係る帯域幅拡張方法は、高周波数スペクトルと最も相関の高い合成低周波数信号スペクトルを用いて高周波数スペクトルを複製するとともに、スペクトルピークを推定された高調波の周波数へシフトするものである。これにより、スペクトルの微細構造、及び、低周波帯域のスペクトルピークと複製された高周波帯域のスペクトルピークとの間のハーモニクス構造の双方を維持することができる。

（実施の形態２）
本発明の実施の形態２は、図８及び図９に示される。

実施の形態２に係る符号化装置は、高調波周波数推定部（７０８，７０９），高調波周波数比較部（７１０）を除いて、実施の形態１とほぼ同一である。

高調波の周波数は、合成低周波数スペクトル（７０８）と入力信号の高周波数スペクトル（７０９）とで別々に推定され、両者の推定値の比較結果（７１０）に基づいてフラグ情報が送信される。一例として、フラグ情報は以下の式のように導出することができる。

すなわち、合成低周波数信号のスペクトル（合成低周波数スペクトル）から推定される高調波の周波数Est_Harmonic＿_LFと、入力信号の高周波数スペクトルから推定される高調波の周波数Est_Harmonic＿_HFとが比較され、２つの値の差分が十分に小さい場合には、合成低周波数スペクトルからの推定が十分に正確であると考え、高調波周波数調整に使用しても良いことを意味するフラグ（Flag=1)がセットされる。一方、２つの値の差分が小さくない場合、合成低周波数スペクトルからの推定値が正確ではないと考え、高調波周波数調整に使用すべきでないことを意味するフラグ（Flag=0)がセットされる。

図９に示す復号装置側では、フラグ情報の値によって複製された高周波数スペクトルに対して高調波周波数調整（８１０）を適用するか否かを決定する。すなわち、復号装置は、Flag=1の場合、高調波周波数調整を行い、Flag=0の場合、高調波周波数調整を行わない。

［効果］
いくつかの信号に対して、合成低周波数スペクトルから推定した高調波の周波数は、入力信号の高周波数スペクトルの高調波の周波数と異なる場合がある。特に低ビットレートでは、低周波数スペクトルのハーモニクス構造は良好に維持されない。フラグ情報を送ることによって、誤った高調波の周波数の推定値を用いたトーン成分の調整を回避することができる。

（実施の形態３）
本発明の実施の形態３は、図１０及び図１１に示される。

実施の形態３に係る符号化装置は、差分器（９１０）を除いて、実施の形態２とほぼ同一である。

高調波の周波数は、合成低周波数スペクトル（９０８）と入力信号の高周波数スペクトル（９０９）とで別々に推定される。２つの推定高調波の周波数の差分（Diff）が算出され（９１０）、復号装置側へ送信される。

図１１に示す復号装置側では、差分値（Diff）は、合成低周波数スペクトルからの高調波の周波数の推定値に加算され（１０１０）、新に算出された高調波の周波数の値が複製された高周波数スペクトルにおける高調波周波数調整に使用される。

差分値の代わりに、入力信号の高周波数スペクトルから推定された高調波の周波数が復号部へ直接送信されてもよい。そして、入力信号の高周波数スペクトルの高調波の周波数の受信値を用いて高調波周波数調整が行われる。これによって復号装置側での合成低周波数スペクトルからの高調波の周波数の推定は不要となる。

［効果］
いくつかの信号に対して、合成低周波数スペクトルから推定した高調波の周波数は、入力信号の高周波数スペクトルの高調波の周波数と異なる場合があるため、差分値、又は、入力信号の高周波数スペクトルから導出された高調波の周波数の値を送ることによって、受信側である復号装置で帯域幅拡張して複製した高周波数スペクトルのトーン成分の調整をより精度良く行うことができる。

（実施の形態４）
本発明の実施の形態４は、図１２に示される。

実施の形態４に係る符号化装置は、他の従来の符号化装置、又は、実施の形態１、２又は３と同一である。

図１２に示す復号装置側では、合成低周波数スペクトルから高調波の周波数が推定される（１１０３）。この高調波の周波数の推定値は、低周波数スペクトルでの高調波注入（１１０４）に用いられる。

特に、利用可能なビットレートが低い場合、いくつかの低周波数スペクトルの高調波成分はほとんど符号化されないか、あるいは全く符号化されない場合がある。この場合、高調波の周波数の推定値は、欠落した高調波成分を注入するために使用することができる。

このことを図１３に示す。図１３では、合成低周波数（ＬＦ）スペクトル内に高調波成分の欠落があることが分かる。その周波数は、高調波の周波数の推定値を用いて導出可能である。また、その振幅は、例えば他の既存のスペクトルピークの振幅の平均値、又は、周波数軸上で欠落した高調波成分に近接する既存のスペクトルピークの振幅の平均値を用いればよい。この周波数及び振幅に従って生成された高調波成分が欠落した高調波成分を復元するものとして注入される。

欠落した高調波成分を注入する他のアプローチについて以下で説明する。
１．符号化されたＬＦスペクトルを用いて高調波の周波数を推定する（１１０３）。
１．１ 高調波の周波数を、符号化された低周波数スペクトル内で特定されたスペクトルピーク周波数の間隔を用いて推定する。
１．２ 欠落した高調波部分で導出されたスペクトルピーク周波数の間隔の値は良好なハーモニクス構造を維持している部分で導出されるスペクトルピーク周波数の間隔の値の２倍又は数倍となる。このようなスペクトルピーク周波数の間隔は、異なるカテゴリにグループ化され、それぞれに対して平均的なスペクトルピーク周波数の間隔が推定される。以下にその詳細を説明する。
ａ．スペクトルピーク周波数の間隔の値の最小値及び最大値を特定する。

ｂ．次の範囲における全ての間隔の値を特定する。

ｃ．上記範囲において特定される間隔の値の平均値を高調波の周波数の推定値として算出する。

２．高調波の周波数の推定値を用いて、欠落した高調波成分を注入する。
２．１ 選択されたＬＦスペクトルをいくつかの領域に分割する。
２．２ 領域情報及び推定された周波数を用いることにより欠落した高調波を特定する。
例えば、選択されたＬＦスペクトルが３つの領域ｒ₁，ｒ₂，ｒ₃に分割されたとする。
領域情報に基づいて、高調波が特定され、高調波が注入される。
高調波に対する信号特性により、高調波間のスペクトルギャップは、ｒ₁及びｒ₂の領域ではEst_HarmonicLF1となり、ｒ₃の領域ではEst_HarmonicLF2となる。この情報は、ＬＦスペクトルの拡張に使用することができる。このことを更に図１４に示す。図１４では、ＬＦスペクトルの領域ｒ２に欠落した高調波成分があることが分かる。この周波数は、高調波の周波数の推定値Est_HarmonicLF1を用いて導出可能である。
同様に、Est_HarmonicLF2は、領域ｒ₂での欠落した高調波のトラッキング及び注入に使用される。
また、その振幅は、欠落していない全高調波成分の振幅の平均値、または欠落した高調波成分の前後に連なる高調波成分の振幅の平均値を用いることができる。又は、振幅はＷＢスペクトルで最小振幅を有するスペクトルピークを用いてもよい。その周波数及び振幅を用いて生成された高調波成分が欠落した高調波成分を復元するものとしてＬＦスペクトルに注入される。

［効果］
いくつかの信号に対して、合成低周波数スペクトルは維持されない場合がある。特に低ビットレートでは、いくつかの高調波成分は欠落する可能性がある。ＬＦスペクトルで欠落した高調波成分を注入することにより、ＬＦの拡張のみでなく、再構成される高調波のハーモニクス特性を向上させることができる。これにより、高調波の欠落による聴感的な影響を抑圧して、音声品質を更に向上させることができる。

２０１３年６月１１日出願の特願２０１３−１２２９８５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明に係る符号化装置、復号装置及び符号化／復号方法は、ワイヤレス通信端末装置、移動通信システムにおける基地局装置、電話会議端末装置、テレビ会議端末装置、及び、ＶＯＩＰ端末装置に適用可能である。

Claims (17)

1. 符号化情報から符号化パラメータ、インデックス情報、およびスケールファクタ情報を取り出す逆多重化部と、
   複製された高周波数サブバンドスペクトルを得るために、前記インデックス情報に基づき、合成低周波数スペクトルを用いて高周波数サブバンドスペクトルを複製するスペクトル複製部であって、前記合成低周波数スペクトルは前記符号化パラメータを復号することによって得られる、スペクトル複製部と、
   前記スケールファクタ情報を用いて、前記複製された高周波数サブバンドスペクトルの振幅を調整するスペクトル包絡調整部と、
   前記複製された高周波数サブバンドスペクトルにおける高調波成分の周波数を推定する高調波周波数推定部と、
   前記合成低周波数スペクトルを用いて推定された高調波周波数を用いて前記複製された高周波数サブバンドスペクトルにおける高調波成分の周波数を調整する高調波周波数調整部と、
   前記合成低周波数スペクトルと前記高調波成分の周波数が調整された前記複製された高周波数サブバンドスペクトルとを用いて出力信号を生成する出力部と、
   を具備する、音響信号復号装置。
2. 前記高調波周波数推定部は、
   前記合成低周波数スペクトルの中で予め選択された部分を複数のブロックに分割する分割部と、
   前記複数のブロックのそれぞれにおいて、最大の振幅を有するスペクトルピークの周波数を特定するスペクトルピーク特定部と、
   前記特定された各スペクトルピークの周波数の間隔を算出する間隔算出部と、
   前記特定されたスペクトルピークの周波数の前記間隔を用いて、前記高調波周波数を算出する高調波周波数算出部と、を具備する、
   請求項１に記載の音響信号復号装置。
3. 前記高調波周波数推定部は、
   前記合成低周波数スペクトルの前記予め選択された部分で振幅の絶対値が最大となるスペクトルと当該スペクトルから周波数軸上でほぼ等間隔に位置し、かつ振幅の絶対値が所定の閾値以上のスペクトルを特定するスペクトルピーク特定部と、
   前記特定されたスペクトルピークの周波数の間隔を算出する間隔算出部と、
   前記特定されたスペクトルピークの周波数の間隔を用いて、前記高調波周波数を算出する高調波周波数算出部と、を具備する、
   請求項１に記載の音響信号復号装置。
4. 前記高調波周波数調整部は、
   前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数を特定する低周波数スペクトルピーク特定部と、
   前記複製された高周波数サブバンドスペクトルにおける複数のスペクトルピークの周波数を特定する高周波数スペクトルピーク特定部と、
   前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数を基準として、前記複数のスペクトルピークの周波数の間隔が前記推定された高調波の周波数と等しくなるように、前記複数のスペクトルピークの周波数を調整する調整部と、を具備する、
   請求項１に記載の音響信号復号装置。
5. 前記高調波周波数調整部は、
   前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数を特定する低周波数スペクトルピーク特定部と、
   前記複製された高周波数サブバンドスペクトルにおける複数のスペクトルピークの周波数を特定する高周波数スペクトルピーク特定部と、
   前記合成低周波数スペクトルにおけるスペクトルピークのうち最大周波数のものの周波数に前記推定された高調波の周波数の整数倍の周波数を加算した周波数を、採りうるスペクトルピーク周波数として算出するスペクトルピーク周波数算出部と、
   前記複製された高周波数サブバンドスペクトル内の前記複数のスペクトルピークの周波数を、前記算出された採りうるスペクトルピーク周波数のうち最も近い周波数へ調整する調整部と、を具備する、
   請求項１に記載の音響信号復号装置。
6. 符号化パラメータと、インデックス情報とスケールファクタ情報とフラグ情報を逆多重化する逆多重化部と、
   複製された高周波数サブバンドスペクトルを得るために、合成低周波数スペクトルから、前記インデックス情報に基づいて高周波数サブバンドスペクトルを再構成するスペクトル複製部であって、前記合成低周波数スペクトルは前記符号化パラメータを復号して得られる、スペクトル複製部と、
   前記スケールファクタ情報を用いて、前記複製された高周波数サブバンドスペクトルの振幅を調整するスペクトル包絡調整部と、
   前記合成低周波数スペクトルから高調波の周波数を推定する高調波周波数推定部と、
   前記推定された高調波の周波数に基づいて、前記合成低周波数スペクトルから前記複製された高周波数サブバンドスペクトルにおけるトーン成分の周波数を調整する高調波周波数調整部と、
   前記フラグ情報に基づいて、前記高調波周波数調整部を動作させるか否かを決定する決定部と、を具備し、
   前記合成低周波数スペクトルと、前記高調波成分の周波数が調整された前記複製された高周波数サブバンドスペクトルを用いて出力信号を生成する、
   音響信号復号装置。
7. 前記推定された高調波の周波数に基づいて、前記合成低周波数スペクトルで欠落した高調波成分を特定する欠落高調波成分特定部と、
   前記合成低周波数スペクトルに前記欠落した高調波成分を注入する高調波注入部と、を更に具備する、
   請求項１又は６に記載の音響信号復号装置。
8. 前記高調波注入部は、
   欠落していない全高調波成分の振幅の平均値または周波数軸上で欠落した高調波成分の前後に位置する高調波成分の振幅の平均値を振幅とする高調波成分を生成する、
   請求項７に記載の音響信号復号装置。
9. 入力信号を低サンプリングレートにダウンサンプリングするダウンサンプリング部と、
   前記ダウンサンプリングされた信号をコア符号化パラメータへ符号化し、前記コア符号化パラメータを出力するとともに、前記コア符号化パラメータをローカルに復号し、復号された信号を周波数領域に変換して合成低周波数スペクトルを得るコア符号化部と、
   前記合成低周波数スペクトルを正規化するエネルギ正規化部と、
   前記入力信号をスペクトルに変換するとともに、前記合成低周波数スペクトルより高い周波数のスペクトルを複数のサブバンドに分割する時間−周波数変換部と、
   前記各サブバンドに対して、前記正規化された合成低周波数スペクトルから最も相関の高い部分を特定し、特定結果をインデックス情報として出力する類似度探索部と、
   前記各サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い部分との間のエネルギのスケールファクタを推定し、前記スケールファクタを、スケールファクタ情報として出力するスケールファクタ推定部と、
   前記合成低周波数スペクトルの高調波の周波数と、前記変換された入力信号の高調波の周波数を推定する高調波周波数推定部と、
   前記２つの高調波の周波数を比較して、高調波周波数調整をすべきか否かを判断し、前記判断結果をフラグ情報として出力する高調波周波数比較部と、
   前記コア符号化パラメータ、前記フラグ情報、前記インデックス情報、および前記スケ ールファクタ情報をビットストリームに統合する多重化部と、
   を具備する音響信号符号化装置。
10. 入力信号を低サンプリングレートにダウンサンプリングするダウンサンプリング部と、
    前記ダウンサンプリングされた信号をコア符号化パラメータへ符号化し、前記コア符号 化パラメータを出力するとともに、前記コア符号化パラメータをローカルに復号し、復号された信号を周波数領域に変換して合成低周波数スペクトルを得るコア符号化部と、
    前記入力信号をスペクトルに変換するとともに、前記合成低周波数スペクトルより高い周波数のスペクトルを複数のサブバンドに分割する時間−周波数変換部と、
    前記各サブバンドに対して、前記合成低周波数スペクトルから最も相関の高い部分を特定し、特定結果をインデックス情報として出力する類似度探索部と、
    前記各サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い部分との間のエネルギのスケールファクタを推定し、前記スケールファクタをスケールファクタ情報として出力するスケールファクタ推定部と、
    前記コア符号化パラメータ、前記インデックス情報、および前記スケールファクタ情報 をビットストリームに統合する多重化部と、
    を具備する、音響信号符号化装置。
11. 前記合成低周波数スペクトルの高調波の周波数と、前記変換された入力信号の高調波の 周波数を推定し、出力する高調波周波数推定部をさらに具備し、
    前記多重化部は、前記合成低周波数スペクトルの前記高調波周波数と、前記変換された 入力信号の高調波周波数をさらに統合するように構成される、請求項１０に記載の音響信 号符号化装置。
12. 符号化パラメータ、インデックス情報、およびスケールファクタ情報を含む符号化情報を受信するステップと、
    複製された高周波数サブバンドスペクトルを得るために、前記インデックス情報に基づき、合成低周波数スペクトルを用いて高周波数サブバンドスペクトルを複製するステップであって、前記合成低周波数スペクトルは前記符号化パラメータを復号することによって得られる、スペクトルを複製するステップと、
    前記スケールファクタ情報を用いて、前記複製された高周波数サブバンドスペクトルの振幅を調整するステップと、
    前記複製された高周波数サブバンドスペクトルにおける高調波成分の周波数を推定するステップと、
    前記合成低周波数スペクトルを用いて推定される高調波周波数を用いて前記複製された高周波数サブバンドスペクトルにおける高調波成分の周波数を調整するステップと、
    前記合成低周波数スペクトルと前記高調波成分の周波数が調整された前記複製された高周波数サブバンドスペクトルとを用いて出力信号を生成するステップと、
    を具備する、音響信号復号方法。
13. 符号化パラメータと、インデックス情報と、スケールファクタ情報と、フラグ情報とを含む符号化情報を受信するステップと、
    複製された高周波数サブバンドスペクトルを得るために、合成低周波数スペクトルから、前記インデックス情報に基づいて高周波数サブバンドスペクトルを再構成するステップであって、前記合成低周波数スペクトルは前記符号化パラメータを復号して得られる、高周波数サブバンドスペクトルを再構成するステップと、
    前記スケールファクタ情報を用いて、前記複製された高周波数サブバンドスペクトルの振幅を調整するステップと、
    前記合成低周波数スペクトルから高調波の周波数を推定するステップと、
    前記推定された高調波の周波数に基づいて、前記合成低周波数スペクトルから前記複製された高周波数サブバンドスペクトルにおけるトーン成分の周波数を調整するステップと、
    前記フラグ情報に基づいて、トーン成分の周波数を調整するステップを動作させるか否かを決定するステップと、
    前記合成低周波数スペクトルと、前記高調波成分の周波数が調整された前記複製された高周波数サブバンドスペクトルを用いて出力信号を生成するステップと、
    を具備する、音響信号復号方法。
14. 入力信号を低サンプリングレートにダウンサンプリングするステップと、
    合成低周波数スペクトルを得るために、前記ダウンサンプリングされた信号をコア符号化パラメータへ符号化し、前記コア符号化パラメータを出力するとともに、前記コア符号化パラメータをローカルに復号し、復号された信号を周波数領域に変換するステップと、
    前記合成低周波数スペクトルを正規化するステップと、
    前記入力信号をスペクトルに変換するとともに、前記合成低周波数スペクトルより高い周波数のスペクトルを複数のサブバンドに分割するステップと、
    前記各サブバンドに対して、前記正規化された合成低周波数スペクトルから最も相関の高い部分を特定し、特定結果をインデックス情報として出力するステップと、
    前記各サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い部分との間のエネルギのスケールファクタを推定し、前記スケールファクタを、スケールファクタ情報として出力するステップと、
    前記合成低周波数スペクトルの高調波の周波数と、前記変換された入力信号の高調波の周波数を推定するステップと、
    前記２つの高調波の周波数を比較して、高調波周波数調整をすべきか否かを判断し、前記判断結果をフラグ情報として出力するステップと、
    を具備する、音響信号符号化方法。
15. 入力信号を低サンプリングレートにダウンサンプリングするステップと、
    合成低周波数スペクトルを得るために、前記ダウンサンプリングされた信号をコア符号化パラメータへ符号化し、前記コア符号化パラメータを出力するとともに、前記コア符号化パラメータを復号し、前記復号された信号を周波数領域に変換するステップと、
    前記入力信号をスペクトルに変換するとともに、前記合成低周波数スペクトルより高い周波数のスペクトルを複数のサブバンドに分割するステップと、
    前記各サブバンドに対して、前記合成低周波数スペクトルから最も相関の高い部分を特定し、特定結果をインデックス情報として出力するステップと、
    前記各サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い部分との間のエネルギのスケールファクタを推定し、前記スケールファクタをスケールファクタ情報として出力するステップと、
    前記合成低周波数スペクトルの高調波の周波数と、前記変換された入力信号の高調波の周波数を推定し、出力するステップと、
    を具備する、音響信号符号化方法。
16. 入力信号を低サンプリングレートにダウンサンプリングするステップと、
    合成低周波数スペクトルを得るために、前記ダウンサンプリングされた信号をコア符号 化パラメータへ符号化し、前記コア符号化パラメータを出力するとともに、前記コア符号 化パラメータを復号し、前記復号された信号を周波数領域に変換するステップと、
    前記入力信号をスペクトルに変換するともに、前記合成低周波数スペクトルより高い周 波数のスペクトルを複数のサブバンドに分割するステップと、
    前記各サブバンドに対して、前記合成低周波数スペクトルから最も相関の高い部分を特 定し、特定結果をインデックス情報として出力するステップと、
    前記各サブバンドと、前記合成低周波数スペクトルから特定された前記最も相関の高い 部分との間のエネルギのスケールファクタを推定し、前記スケールファクタをスケールフ ァクタ情報として出力するステップと、
    前記コア符号化パラメータ、前記インデックス情報、および前記スケールファクタ情報 をビットストリームに統合するステップと、
    を具備する、音響信号符号化方法。
17. コンピュータまたはプロセッサにおいて実行する場合に、請求項１２、請求項１３、請求項１４、請求項１５または請求項１６のいずれかの一つの方法を実行するためのコンピュータプログラムを格納する非一時的記憶媒体。

Images