JP5226777B2 - 音声信号中に埋め込まれた隠れデータの回復 - Google Patents

Description

本発明は、通信システムに関する。本発明は、特に、携帯電話のような電話装置が音響データチャネルを介したデータを備えた、通信システムに独占的に関連しているのではない。

特許文献１は、隠れデータがテレビやラジオ番組の音声の中に携帯電話に伝送され得る、携帯電話システムを記載している。この文脈において、データは、それがユーザに目立たず、音声によってある程度隠されるように音声中にデータを隠すのを試みるために符号化されているという意味で、隠されている。当業者が認識するように、データの可聴度の容認できるレベルは、応用と関連するユーザに依存して変化するだろう。種々の技術が、スペクトラム拡散符号化、エコー変調、臨界帯域符号化などを含む、音声内にデータを符号化するための初期の応用において記載されている。しかしながら、本発明者らは、この応用のソフトウェアは、隠れデータを回復することができるために、重要な処理を実行しなければならいことを見つけ出した。

国際公開公報第０２／４５２７３号

したがって、１つの実施形態の１つの目的は、ソフトウェア応用の処理要求を減じることにある。

１つの実施形態において、方法は、通信ネットワークへの伝送用の入力音声信号を圧縮するための音声コーダを持つ通信装置を使用して、入力音声信号から隠れデータを回復又は入力音声信号を識別するために備えられ、この方法は、入力音声信号を音声コーダを通過させて圧縮音声データを生成し、圧縮音声データを処理して、隠れデータを回復又は入力音声信号を識別することを特徴する。本発明者らは、入力音声を音声コーダを通過させることによって、隠れデータを回復し又は入力音声を識別するために必要な処理量が著しく減少され得ることを発見した。特に、この処理は、音声サンプルを再生することに実行され得、隠れデータを回復し又は音声信号を識別するための従来の技術で始動でき得る。

１つの実施形態において、音声コーダは、入力音声に対して線形予測（ＬＰ）分析を実行して、入力音声を表すＬＰデータを生成し、処理工程は、ＬＰデータを処理して、隠れデータを回復又は入力音声信号を識別する。好ましくは、音声コーダは、ＬＰデータを圧縮して、その圧縮ＬＰデータを生成し、処理工程は、圧縮音声データからＬＰデータを再生する構成を含む。

コーダによって生成されたＬＰデータは、ＬＰＣフィルタ係数、フィルタ極、又は線スペクトル周波数のような、ＬＰフィルタデータを含んでよく、処理工程は、ＬＰフィルタデータを使用して、隠れデータを回復又は音声信号を識別する。

処理工程は、ＬＰ合成フィルタのインパルス応答を生成する工程又はＬＰフィルタデータに対して逆レビンソーンダービン（Levinson-Durbin）アルゴリズムを実行する工程を含んでよい。インパルス応答を生成する場合、その自己相関が、エコーの有無がそのインパルス応答それ自身からよりもより容易に識別され得ることから、好ましく使用される。

音声コーダによって生成されたＬＰデータは、（コードブック指標、励起パルス位置、パルス符号等のような）ＬＰ励起データを含んでよく、処理工程は、ＬＰ励起データを使用して、隠れデータを回復するか又は音声信号を識別してよい。

たいていの場合、ＬＰデータは、ＬＰフィルタデータとＬＰ励起データの両方を含み、処理工程は、前記ＬＰフィルタデータおよび前記ＬＰ励起データの１つに対応する圧縮音声データのすべて又は部分集合を処理して、隠れデータを回復してよい。

データは、多数の技術を使用して、音声信号中に隠されて得る。しかしながら、好ましい実施の形態において、データは、音声信号の１つ以上のエコーとして音声中に隠される。それから、隠れデータは、エコーを検出することによって回復され得る。隠されるべきデータの各記号は、音声信号中に（同じ時間で）エコーの組み合わせによって、又は、エコーの系列として表されてよく、処理工程は、エコーの組み合わせを処理して隠れデータを回復する工程か又は音声中のエコーの系列を追跡して隠れデータを回復する工程を含んでよい。

１つの実施形態において、音声コーダは、予め規定された動作周波数帯域を持ち、エコーは、動作周波数帯域の予め定められた部分、好ましくは動作周波数帯域の上側部分の中の音声中に隠されており、処理工程は、この予め定められた部分の外側の周波数を濾波するフィルタリング工程を含む。例えば、音声コーダが３００Ｈｚ〜３．４ｋＨｚの動作周波数を持ち、エコーが、１ｋＨｚと３．４ｋＨｚとの間の帯域にのみ、より好ましくは、２ｋＨｚ〜３ｋＨｚとの間にのみ含まれる場合、これは、エネルギが典型的に動作帯域幅の下側の部分にのみある音声信号の効果を減少できる。他の実施形態において、エコーは動作帯域幅の致る所に含まれるが、処理工程がまだそのフィルタリングを実行して、音声の効果を減少する。これは、エコー信号の部分がなおフィルタリングにおいて失われるので、好ましくない。

音声コーダ出力におけるエコーの存在の識別を助けるために、処理工程は、エコーを強調するのを助ける、１つ以上の自己相関値を決定してよい。自己相関値のフレーム間フィルタリングは、また、音声成分がゆっくり変動する効果を減少するために実行されてよい。

使用される音声コーダは、ＣＥＬＰコーダ、ＡＭＲコーダ、広帯域ＡＭＲコーダなどのような多数の公知のコーダのいずれかであってよい。

１つの実施形態において、処理工程は、コーダからの圧縮音声データ出力からスペクトログラフを決定し、それからそのスペクトログラフ内の（指紋のような）特性特徴を識別してよい。これらの特性特徴は、音声出力を識別し、例えば、音声に関連するサブタイトルを出力するために、通信装置を音声信号に同期させるために使用され得る、ユーザへの出力のまえの音声用のトラック情報を決定するために使用され得る。

他の実施形態は、音響信号を受信して、この受信した音響信号を対応する電気音声信号に変換する手段と、電気音声信号をサンプリングして、デジタル音声サンプルを出力する手段と、デジタル音声サンプルを圧縮して、通信装置への伝送用の圧縮音声データを生成する音声コーディング手段と、前記音声コーディング手段に接続され、圧縮音声データを処理して、受信した音響信号の中で運ばれる隠れデータを復元又は受信した音響信号を識別する手段と、を備える通信装置を提供する。

本発明の１つの実施形態は、また、音声信号を表すデジタル音声サンプルを受信および圧縮して、圧縮音声データを生成する音声コーディング手段と、音声信号中に隠されるべきデータを受信し、その受信したデータに依存して圧縮音声データを変化させて、変更圧縮音声データを生成する手段と、変更圧縮音声データを使用して音声サンプルを生成する手段とを備え、音声サンプルは、原音声信号を表し、かつ隠れデータを運ぶ、データ隠蔽装置を提供する。

他の実施形態は、音声信号中にデータを隠す方法であって、その方法は、音声信号中に隠されるべきデータに依存して音声に１つ以上のエコーを加えるステップを含み、エコーを音声信号と合成する前にエコーの高域通過フィルタリングをする、方法を提供する。本発明者は、音声信号の高域周波数帯域にのみエコーを加えることによって、エコーがより容易に検出され得、音声帯域の至る所にエコーを加えると無駄なエネルギを減少することを発見した。

本発明のこれらおよび他の態様は、添付した図面を参照して説明される、次の実施例の説明から明らかになるだろう。

テレビ信号の音声部分を介して携帯電話機にデータを通信するための信号システムを概略的に示す図である。 受信音声信号中に隠れたデータを受信するためのソフトウェアアプリケーションを含む携帯電話機の主な構成要素を図示する概略ブロック図である。 図２に示された携帯電話機の音声コーデック形成部によって実行される処理を示すブロック概略図である。 音声信号のＬＰコーディングの基礎となるソースフィルタモデルを示す図である。 逆ＬＰＣフィルタが入力音声信号から励起又は残余信号を生成するために使用される方法を示す図である。 音声信号中に隠されたデータを回復するために、音声コーディックから出力に対して実行される処理を示す概略ブロック図である。 隠れデータが決定され得る、自己相関プロットである。 隠れデータを回復するために実行され得る、代わりの処理を示すブロック概略図である。 隠れデータが音声コーディックからの出力から回復される、更に他の方法を示すブロック概略図である。 隠れデータが音声コーディックによって出力された自己相間パラメータから回復される、方法を示すブロック概略図である。 隠れデータが識別され得る、図８に示された回路の自己相関部形成部によって出力される自己相関プロットである。 ＬＰＣ合成フィルタのインパルス応答が低域周波数音声成分の効果を減少するためのハイパスフィルタされた、図４に示された処理回路に対する改良を示すブロック概略図である。 ＬＰＣ係数が低域周波数音声成分に関連する低次係数を除くためにハイパスフィルタされた、図４に示された処理回路の更なる改良を示すブロック概略図である。 図５に示された自己相関プロットが遅く変化する自己相関を除くためにハイパスフィルタされた、図４に示された処理回路の更なる改良を示す図である。 隠れデータが、携帯電話機によって受信される前に、音声中で符号化され得る、１つの方法を示す一般的な概略ブロック図である。 携帯電話機が、図１３に示されたシステムを使用して符号化されたデータを回復する、方法を示す一般的なブロック図である。 ＬＰＣコーダによって生成されたパラーメタが、携帯電話機への伝送用の変更音声を形成するために、残余信号に変更されおよび再合成され得る、１つの方法を示すブロック図である。 ＬＰＣコーダから得られた励起パラメータが変更され、残余信号がＬＰＣコーダから得られたＬＰＣ係数と変更音声を合成に使用するために生成される、代わりに方法を示す図である。 入力音声信号を識別し又は特徴づけるために使用される、入力音声用のスペクトログラフを回復するために、音声コーディックの出力が処理され得る、方法を示すブロック図である。

［概要］
図１は本発明の第１の実施形態を示し、データ源１によって生成された、データ信号Ｆ（ｔ）が、エンコーダ５によって音声源３からの音声トラック内でエンコードされ、テレビ番組用の変更音声トラックを形成する。この実施形態において、データ信号Ｆ（ｔ）は、ユーザの移動電話機２１上でテレビ番組を流すソフトウェアアプリケーションの動作を同期させるトリガ信号を運ぶ。図１に示されるように、エンコーダ５から出力された変更音声トラックは、信号発生器９において、ビデオ源７からの対応するビデオトラックと合成され、テレビ番組を運ぶテレビ信号を形成する。この実施形態において、データ源１、音声源３、ビデオ源７およびエンコーダ５は、全てテレビスタジオに置かれ、テレビ信号は、配給網１１によって分配され、この実施形態において、無線周波数（ＦＲ）信号１３となる。ＲＦ信号１３は、テレビアンテナ１５によって受信され、そのテレビアンテナは、テレビ信号を従来のテレビ受像機１７へ提供する。テレビ受像機１７は、ビデオトラックを示す表示器（図示せず）と、変更音声トラックを音響信号１９として出力するための、図示しないスピーカとを持つ。

示されるように、この実施形態において、携帯電話機２１は、マイクロフォン２３を使用して、テレビ受像機１７から放出された音響信号１９を検出し、マイクロフォンは、検出した音響信号を対応する電気信号に変換する。携帯電話機２１は、スピーカ２５、携帯基地局３５と通信するためのアンテナ２７、表示器２９、数字や文字を入力するためのキーパッド３１、およびメニュー選択をアクセスするためのメニューキー３３のような、従来の構成要素を持つ。音声信号から復元されたデータは、国際公開第０２／４５２７３号において説明されているような、多くの異なった目的に使用され得る。１つの応用は、携帯電話機２１上で、テレビ受像機１７上に表示されたテレビ番組を流すソフトウェアアプリケーションの同期用である。例えば、テレビ受像機１７上で表示されたクイズショーがあり、携帯電話機２１は、クイズショーと同期して表示されたクイズと関連する質問を生成し、表示するように示し合わせてよい。質問は、例えば、携帯電話機２１上に予め格納され、適当な同期コードがデータ信号Ｆ（ｔ）から復元されたとき、出力してよい。クイズショーの終わりで、携帯電話機２１に（キーパッド３１を介して）ユーザによって入力された答えは、携帯電話基地局３５および通信網３９を介してリモートサーバ４１に伝送され得る。サーバ４１は、非常に多くのユーザから受信した答えを集め、それらを、与えられた正しい答えの数と答えを入力するのにかかった時間とに基いて、ランクする。このタイミング情報は、携帯電話機２１によって決定され、ユーザの答えと共にサーバ４１へ伝送されてもよい。当業者によって分かるように、サーバ４１は、異なったユーザからの受信した情報を処理し、種々のユーザプロフィール情報を収集することができ、それはデータベース４３に格納される。このユーザプロフィール情報は、例えば、標的にされた公告用に使用される。

サーバ４１が１つ以上の「勝利」ユーザを識別した後、情報又は賞金がこれらユーザに送れてよい。例えば、メッセージが、クーポン又は他の商品引換券と共に通信網３９上にそれらへ送られてよい。図１において破線４４によって示されるように、サーバ４１は、データ源１にデータを供給して、音声中に符号化されてもよい。

上述したように、本発明者らは、携帯電話機２１上を流れるソフトウェアによって実行されるために必要な処理が、専用の音声コーデックチップによって実行される符号化を使用することによって減少され得る、ことを理解した。特に、本発明者らは、音声コーデックにおいて固有の符号化処理を、隠れデータを復元するための復号処理の初期工程として使用すると、隠れデータを復元するためのソフトウェアにおいて必要とされる処理を減少する、ことを見出した。

［携帯電話機］
図２は、この実施形態において使用される携帯電話機２１の主要構成要素を示す。示されるように、携帯電話機２１は、音響信号を受信して、それを電気等価信号に変換するマクロフォン２３を含む。これらの電気信号は、それからフィルタ５１によって濾波され、（ＥＴＳＩによって公表されている、標準文献ＥＮ３００−９０３において規定されているような）典型的には３００Ｈｚ〜３．４ｋＨｚの周波数帯域の外側の不必要な周波数を取り除く。濾波された音声は、それからＡ／Ｄ変換器５３によってディジタル化され、ＡＤ変換器は、濾波された音声を８ｋＨｚのサンプリング周波数でサンプリングし、各サンプルを典型的には１３〜１６ビットのディジタル値によって表現する。ディジタル化された音声ストリーム（Ｄ（ｔ））は、それから音声コーデック５５に入力され、その音声コーデックは適応多重レート（ＡＤＲ）コーデックであり、その動作を以下に説明する。ＡＤＲコーデック５５によって出力された圧縮音声は、それからＲＦ処理装置５７へ渡され、ＲＦ処理装置は、圧縮音声で１つ以上のＲＦ搬送信号を変調し、アンテナ２７を介して基地局３５へ伝送される。同様に、アンテナ２７を介して受信した圧縮音声信号は、ＲＦ処理装置５７へ送られ、ＲＦ処理装置は、受信したＲＦ信号を復調して、ＲＦ搬送信号から圧縮音声データを復元し、それはＡＭＲコーデック５５へ渡される。ＡＭＲコーデック５５は、それから圧縮音声データを復号して、それによって表される音声サンプルを再生し、それは、Ｄ／Ａ変換器５９および増幅器６１を介してスピーカ２５へ出力される。

図２に示されるように、ＡＭＲコーデック５５（又はＲＦ処理装置５７）から出力された圧縮音声データは、またプロセッサ６３へ渡され、プロセッサは、メモリ６５に格納されているソフトウェアによって制御される。ソフトウェアは、（携帯電話機２１の一般的な動作を制御するための）オペレーティングシステムソフトウェア６７と、インターネットへアクセスするためのブラウザ６８と、携帯電話機２１へ付加的な機能を提供するアプリケーションソフトウェア６９とを含む。この実施形態において、アプリケーションソフトウェア６９は、携帯電話機２１に、上述したようなテレビ版組と対話させるように構成されている。これをするために、アプリケーションソフトウェア６９は、ＡＭＲコーデック５５から出力された圧縮音声データを受信し処理して、アプリケーションソフトウェア６９を制御する、隠れデータＦ（ｔ）を復元するように構成されている。以下でより詳細に説明するように、隠れデータＦ（ｔ）を復元するための圧縮音声データの処理は、ディジタル化された音声サンプルを再生することなしに実行され得、アプリケーションソフトウェア６９によって要求される処理を減少させて、ディジタル音声サンプルから直接隠れデータを復元する。

隠れデータの復元に応答して、アプリケーションソフトウェア６９は、表示器２９上にデータ（例えば、ユーザ用の質問）を生成して出力し、キーパッド３１を介してユーザによって入力された答えを受信するように構成されている。アプリケーションソフトウェア６９は、それからユーザの答えを、（（図示しない）内部タイマーを使用してアプリケーションソフトウェア６９によって計算された）各答えを入力するためにユーザによってかかった時間を表すタイミングデータと共に（予め格納されたＵＲＬ、Ｅ．１６４番号等によって識別される）リモートサーバ４１へ伝送する。アプリケーションソフトウェア６９は、また、クイズに加わっている他のユーザと関連してそのユーザがどの程度よかったかを示す、サーバ４１から戻って受信された結果情報を表示してもよい。

［ＡＭＲコーデック］
ＡＭＲコーデック５５は、良く知られ、（標準文献ＴＳ２６．０９０版３．１．０において）３ＧＰＰ標準本文によって規定されているが、それが実行する処理の一般的な説明を、読者がアプリケーションソフトウェア６９によって実行される処理のその後の説明を理解できるように、図３を参照して述べる。

ＡＭＲコーデック５５（Adaptive-Multi-Rate coder-decoder）は、３００Ｈｚから３．４ｋＨｚの帯域において、８ｋＨｚのサンプルされたデータ音声を、多数の異なったビットレートでビットストリームに変換する。したがって、コーデック５５は、伝送レートが変化するのが必要とされてもよいような、状況で非常にふさわしい。その出力ビットレートは、優勢な伝送条件と一致するように適合され得、この理由のために、それは３Ｇ標準で、現在、大部分の携帯電話機２１において使用されている。

ビットレートは可変であるけれども、同じ基本的な符号化処理が、コーデック５５によってすべてのレートで使用される。量子化処理、そのパラメータの選択は伝送されるべきであり、伝送のレートは、８つのビットレートすなわちモード：１２．２，１０．２，７．９５，６．７０，５．９０，５．１５および４．７５Ｋビット／秒、における動作を達成するために変化される。この実施形態において、最も高いビットレートのモードが使用される（１２．２Ｋビット／秒）。

以下に説明する、ＡＭＲコーデック５５における４つの主要な構成要素のサブシステムがある。それらは、
・ピッチ予測
・ＬＰＣ分析
・固定コードブック探索
・適応コードブック
である。

ＡＭＲコーデック５５は、それらをその順番に適用し、本目的のために、それは、ピッチ予測を最後におよび適応コードブック処理の一部として処理することは容易である。ＡＭＲコーデック５５は、ＣＥＬＰ（Codebook Exited Linear Prediction）コーティングシステムの回りに作られる。入力音声信号は、１６０のサンプルフレーム（ｆ）に分割され、それらフレームは、線形予測分析されて、フレーム毎に少ない数の係数を抽出して、符号化し送信する。これら係数は、フレーム内の信号の短期スペクトラムを特徴づける。これら係数に加えて、ＡＭＲコーデック５５は、また、ＬＰＣ残余（また励起とも呼ばれる）を計算し、それは、ピッチ予測器によって手助けされる適応および固定コードブックを使用してコーディングされる。これらのサブシステムを以下に説明する。

［ＬＰＣ分析］
ＬＰＣ分析は、図３ａに示されるＬＰＣ分析部７１によって実行される。ＬＰＣは、（図３ｂに図示される）音声生産の古典的な源フィルタモデルを仮定しており、そこでは、音声は、ゆっくりと時間と共に変化するフィルタ（ＬＰＣ合成フィルタ７２）の出力とみなされており、そのフィルタは、母音のような、有声音声に対して規則的な声門パルスによって励振され、例えば、／ｓｈ／の無声音声に対して雑音或いは（励起ブロック７４によって表される）／ｚ／のような混合音声音に対しては２つの混合とされる。音声生産のモデルに基いているけれども、それは、また、全ての音を符号化するための有効なモデルを提供する。合成フィルタ７２は、全極であると仮定され、例えば、それは共振のみ持つ。この仮定は、ＬＰＣ分析方法の基礎である。サンプルされたデータ（ｚ面）表記法において、伝達関数は、式（１）の伝達関数Ｈ（ｚ）の分母におけるｚ^−１の純粋に多項式である。

入力励起ｅ_ｎに対するこのフィルタの時系列応答ｓ_ｎはそのとき式（２）となる。

それは、システムの出力ｓ_ｎが、入力ｅ_ｎにｐ前の出力の重み線形和を加えたものであることを示す。これは、ＬＰＣの理論的な基礎である。範囲ｐは、ＬＰＣ「次数」であり、それは、通常固定され、ＡＭＲコーデック５５において、ｐは１０に等しい。ＡＭＲコーデック５５（および他のＬＰＣ基底システム）において、線形予測分析は、入力音声の各フレームに対してフィルタ重み、すなわち、係数ａ_ｉを推定するために用いられる。一度推定されると、それらは、それから、量子化および伝送に適した形式に変換される。

係数ａ_ｉを効率的に推定することは、近似およびなすべき仮定を必要とする。係数を解く全ての方法は、上記式（２）におけるｅ_ｎの寄与を最小化するのをめざす。ＡＭＲコーデック５５は、自己相関法を使用し、その自己相関法は、行列の形式で、式（３）のｐ連立線形方程式を解くことを意味する。

または、より省略した形式では、式（４）を解くことである。

行列Ｒの要素ｒ_ｉｊは、遅れ｜ｉ−ｊ｜での入力音声信号に対する自己相関値である。行列Ｒが対称行列で、かつ、各対角線の全ての要素が等しいなら、それは、その逆行列を見つけるための急速再帰法に対してオープンしている。レビンソーンダービン（Levinson-Durbin）アルゴリズムがＡＭＲコーデック５５において使用される。

［線スペクトル周波数］
係数ａ_ｉは、実際には、量子化するのが容易ではない。それらは、時間とともにかなり予測できなく変化し、定まらない範囲上で正および負の値を持つ。従って、ＡＭＲコーデック５５は、それらの不利益を取り除き、ＬＰＣ係数の効率的なコーディングを可能にする、量子化の前に、それらの係数を線スペクトル周波数に変換するＬＳＦ決定部７３を使用する。係数ａ_ｉは、全極合成フィルタ７２の重みであり、その根を見つけるために因数に分解され得る、ｚ^−１の第Ｐ次多項式の係数である。それらの根は、合成フィルタ７２における共振すなわち極である。それの極は、それらが適度に整えられたとき伝送のためにしばしば量子化され、平均意を持ち、フレームからフレームへより予想どおりに変化し、そのフレームは、ａ_ｉのコーディングがなされない、ビットを省くために機会を与える。線スペクトル周波数（ＬＳＦ）は、極よりこのためにさらによい。それは、全極モデルの極と同じでないが、それらが関連される、ＬＳＰを実現するために重要である。それらの導出は、複雑であるが、質的に、それは、合成フィルタの特別な表現における２組の境界条件の選択を必要とし、一方の境界条件は、声門が完全に開いているときに対応し、他方の境界条件は、声門が完全に閉じているときに対応する。これは結果として、２組の仮想の極における零帯域幅、すなわち、完全な共鳴器を生じる。

ＬＳＦの主要な利点は、次の通りである。

・ＬＳＦは周波数のみから成り、それらの帯域幅は常に零である（極と同数のＬＰＦの２倍であるけれども）。

・ＬＳＦは、理論的には極よりもより整えられている。

したがって、ＬＳＦは、非常に低いビットレートのコーディングに適している。特に、図３ａに示されるように、各ＬＳＦの（予め計算されて、データ記憶装置７５に格納されている）平均は、平均減算部７７によって減算され得る。さらに、結果として生じるデルタＬＳＦが時間とともに急速に変化しないなら、予測器７９は、そのとき、現在のデルタ値を予測するために使用され得、現在のデルタ値は、予測減算部８１によって実際のデルタから減算される。結果として生じるデータは、それから、ベクトル量子化（ＶＱ）部８３によって付加的に符号化され、そのＶＱ部は、単一の指標によって一度に２つの値を符号化し、結果として、ある場合には値当り１ビットより少ない。従って、ＡＭＲコーデック５５は、基地局３５への伝送用のコード化ＬＰＣデータとして現在のフレームに対して得られたＶＱ指標を出力する。

［ＬＰ励起］
上述したように、ＡＭＲコーデック５５は、また、図３ｂに図示されているモデルの励起部７４を有する。これをするために、ＡＭＲコーデック５５は、それがそれを符号化できるように、励起信号の表現を生成する。図３ｃに図示されるように、それは、入力音声信号を濾波することによって励起信号を生成し得る「逆」ＬＰＣフィルタ７６を生成することによってこれをする。逆ＬＰＣフィルタ７６から得られた励起信号は、また、時々、残余と呼ばれる。この逆ＬＰＣフィルタ７８は、実際には、上述したように決定れた、同じ係数ａ_ｉから規定れるが、それらを、式（５）の伝達関数を持つ全極モデルを規定するために使用する。

これは、時間領域で、式（６）のフィルタに対応する。

式（６）によって規定される逆ＬＰＣフィルタ７６は、式（２）によって規定される全極合成フィルタ７２における極を相殺する零から成る。理論上、もし入力音声信号が逆フィルタ７６を使用して濾波され、生成された励起信号が合成フィルタ７２によって濾波されると、入力音声信号にもとに戻る（従って、名前が「逆」ＬＰＣフィルタである）。これは、元音声信号が完全な復元を起こすための音声である必要がない、ことに注意することが重要である。もしＬＰＣ分析が入力音声信号を表す良好な仕事をしないなら、残余においてより情報があるだろう。

それは、励起信号を符号化するための、ＡＭＲコーデック５５の固定コードブック部８７と適応コートブック部８９の仕事である。比較的多くのビット数が、ＬＰＦをコーディングするために使用される数と比較して、ＡＭＲコーデック５５において励起を符号化するために使用される。１２．２Ｋビット／秒モードにおいてフレーム当り２０６〜２４４ビット（８４％）、４．７５Ｋビット／秒モードにおいて７２〜９５（７４％）である。このビットの使用は、ＡＭＲコーデック５５に、ある意味で非音声信号を符号化することを可能にさせる。

有声化された音声における励起は、音声ピッチ（通常の音声において成人男性では約１００Ｈｚから１３０Ｈｚ、女性および子供ではその二倍）で、クリック（パルス）の列によって特徴づけられる。無声音声において、それは（大体）白色雑音である。混合された音声おいて、それは混合物である。残余として励起について考える一つの方法は、ＬＰＣ分析が音声短期スペクトルにおけるバンプを取り除き、多くのフラッタースペクトルを持つ残余を残すことを、実現することである。これは、どんな入力信号でも適用する。

ＡＭＲコーデック５５において、励起信号は、固定コードブックおよび適応コードブックの出力の組み合わせとして符号化される。適応コードブックは、探索のために何も励起しないが、ピッチ予測器によって予測された機会で帰還された合成コードブック出力の以前の組み合わせのコピーである。

［固定コードブック］
固定コードブック部８７は、上記式（６）で規定される逆フィルタ７６の重みを設定するために、現在のフレームに対するＬＰＣ分析部７１から出力されるＬＰＣ係数ａ_ｉを使用し、かつ、このフィルタで入力音声の現在のフレームを濾波することによって、現在のフレームに対する励起信号（ｅ_ｆ）を生成する。それから、固定コードブック部は、励起信号において起こる新しいことを最良に満たす（固定コードブック８８に格納されている）固定コードブックパルス又はパターンを識別し、それは、適応コードブック部８９からの以前のフレームの励起の遅れた（遅延した）コピーを効率的に変更するだろう。

各フレームは、４つのサブフレームに細分され、サブフレームの各々は、独立に符号化された固定コードブック出力を持つ。１つのサブフレームに対する固定コードブック励起は、励起を、単一の振幅パルスの対の５インターリーブされた列の系列として符号化する。パルスの各対に対する可能な位置は、ＭＲ１２２（ＡＭＲの１２．２ｋｂ／ｓのモードの名前）に対して書きの表１に示される。上記に示されるように、このコーディングは有効な数のビットを使用する。

各トラックにおける第１のパルスの符号は、また符号化され、第２のパルスの符号は、それが正のときに、トラック内に早く落ちなければ、第１と同じである。サブフレームに対する利得は、また符号化される。

［適応コードブック］
適応コードブックは、合成された励起の以前の位置の時間遅延されたコピーであり、有声音声を符号化する上で重要である。有声音声は規則的であるので、現在のピッチ周期と固定コードブック出力を使用する以前のピッチ周期との間の差のみを符号化することができる。以前の音声周期の蓄えられたコピーに加えられたとき、このフレームの励起の概算を得る。適応コードブックは伝送されず、コーダとデコーダは、以前の合成した出力と現在のピッチ遅延とから適応コードブックを計算する。

［ピッチ予測器］
ピッチ予測器（それは適応コードブック部８９の一部を形成する）の目的は、適応コードブックの為に使用する最良の遅延を決定することにある。それは２段階の処理である。第１は、単一パス開ループピッチ予測であり、それは、もし音声が有声化されまたは誤差量を最小化する最良の繰り返しレートであるなら、有声期間の推定を見つけるために、音声を前のサンプルと関係づける。この後に、サンプルの（１／６）内の適応コードブックに対する最良の遅延を得るための繰り返し閉ループ予測が続く。この理由のために、ピッチ予測は、コーダにおける適応コードブック処理の一部である。この計算は、第２のより詳細なサーチのみが少ない数のサンプル上で起こったとき、２段階法によって制限される。ＡＭＲコーデック５５は、合成法による分析を使用し、出力と候補遅延の入力音声との間の平均自乗誤差を最小化することによって最良の遅延を選択する。

従って、現在のフレームのための励起信号を表すために、ＡＭＲコーデック５５は、現在のフレームに対して決定された固定コードブック指標（各サブフレームに１つ）、固定コードブック利得、適応コードブック遅延、および適応コードブック利得を出力する。それは、このデータとＬＰＣ符号化データであり、ＬＰＣ符号化データは、携帯電話機２１上を流れ、隠れデータが復元されるべきアプリケーションソフトウェア６９に使用可能となる。

［データ隠蔽および復元］
データＦ（ｔ）が音声信号中に隠され得る種々の方法があり、読者は、IBM Systems Journal, Vol 35, no 384, 1996の「データ隠蔽のための技術（Techniques For Data Hiding）」と題名のBenderによる論文を参照でき、そこでは、音声中にデータを隠蔽するための異なった技術の詳細に論じられている。本実施形態において、データは、エコーを音声に加えることによって音声中に隠され、エコーの時間遅延は、データを符号化するために変化される。この変化は、例えば、２進零に対応するエコーのないサンプルと、２進の１方式に対応するエコーとを使用することによって、実行され得る。代わりに、２進の１が、第１の遅延でエコーの付加によって表されてよく、２進の０が、第２の異なった遅延でエコーの付加によって表されてよい。また、エコーの符号は、隠されるべきデータで変化され得る。より複雑な符号化法において、２進の１が、第１のエコーの組み合わせ又は系列（同じ時間に２以上のエコー又は続けて印加される）によって表されてよく、２進の０が、第１の異なったエコーの組み合わせ又は系列によって表されてよい。

本実施形態において、エコーは０．７５ｍｓおよび１．００ｍｓの遅延で加えられ、２進の１は、音声の第１の部分に対して減衰した０．７５ｍｓのエコーを加え、引き続き、音声の第２の部分において減衰した１．００ｍｓのエコーを加えることによって表され、２進の０は、音声の第１の部分に対して減衰した１．００ｍｓのエコーを加え、引き続き、音声の第２の部分に対して減衰した０．７５ｍｓのエコーを加えることによって表される。従って、隠れデータを復元するために、アプリケーションソフトウェアは、ＡＭＲコーデック５５からの符号化されたデータを処理して、音声中に受信されたエコーの系列を識別し、従って、音声に隠されたデータを識別しなければならない。

典型的には、エコーは、音声サンプルの自己相関を実行し、任意のエコーに対応するピークを識別することによって、音声信号中に識別される。しかしながら、上述したように、隠れデータは、ＡＭＲコーデック５５の出力から復元されなければならない。

［データ復元１］
図４は、エコーが検出され、隠れデータＦ（ｔ）がＡＭＲコーデック５５の出力からアプリケーションソフトウェア６９によって復元される、１つの方法を示す。示されるように、この技術において、アプリケーションソフトウェアは、図３に示されるＶＱ部８３によって出力されたＬＰＣ符号化情報から単に隠れデータを復元する。図４に図示されるように、アプリケーションソフトウェア６９によって実行される第１の処理は、ＶＱ部９１によって実行され、ＶＱ部は、ＡＭＲコーデック５５によって実行されるベクトル量子化を逆にする。それから、ＶＱ部８１の出力は、予測付加部９３によって処理され、予測付加部は、（予測器９５によって決定された）ＬＳＦデルタ予測をＶＱ部９１からの出力に加える。それから、（データ記憶装置９７から得られる）ＬＳＰ平均は、平均付加部９９によってもとに付加され、現在のフレームに対するＬＳＦを復元する。それから、ＬＳＦは、ＬＳＦ変換部１０１によってＬＰＣ係数にもとに変換される。したがって、決定された係数ａ_ｉ＾は、他のＡＭＲ処理段階において実行される近似や量子化のために、図３におけるＬＰＣ分析部７１によって決定されたものと正確には同じでないだろう。

示されるように、本実施形態において、決定されたＬＰＣ係数ａ_ｉ＾は、上記式（２）に従ってＬＰＣ合成フィルタ１０３を構成するために使用される。それから、この合成フィルタ１０３のインパルス応答（ｈ（ｎ））は、（インパルス発生器１０５によって生成された）インパルスをこの構成されたフィルタ１０３に印加することによって得られる。本発明者らは、エコーが、このインパルス応答（ｈ（ｎ））内に存在し、エコーの遅延に対応する遅れのまわりのインパルス応答の自己相関から見つけられ得るということを、見出した。示されるように、自己相関部１０７は、データ記憶装置１０８において識別された遅れに対するこれらの自己相関計算を実行する。図５は、すべて正の遅れに対して得られた自己相関を図示する。プロットは、遅れを、零の遅れで主ピーク１０８からのサンプルとして識別する。８ｋＨｚのサンプリングレートなので、各サンプルは、０．１２５ｍｓの遅れに対応する。示されるように、零の遅れで初期ピーク１０８があり、それに続いて、（原点から９サンプルに対応する）約１．００ｍｓの遅れでピーク１１０があり、それは、現在のフレームが１．００ｍｓのエコーを持つことを示している。この当業者において分かるように、すべての遅れに対して自己相関を計算する必要はなく、エコーが見つけられるべきところ（例えば、約０．７５ｍｓと１．００ｍｓ）に対応する遅れのまわりでのみ計算すればよい。

図４に示されるように、自己相関部１０７によって決定された自己相関値は、エコー識別部１０９に渡され、エコー識別部は、もし現在のフレームにエコーがあること（例えば、自己相関値を、関連のある遅れでピークを識別するために適当な閾値でスレショルドすることによって）を決定する。それから、識別されたピークは、データ復元部１１１に渡され、データ復元部は、隣接フレーム上の識別されたエコーの列を追跡して、隠れデータＦ（ｔ）の２進の１又は２進の０の存在を検出する。この方法において、隠れデータは復元され、それから、上述した方法でアプリケーションソフトウェア６９の動作を制御するために使用され得る。

本発明者らは、この方法おいて隠れデータを復元する計算要求は、ディジタル化された音声サンプルから直接的に隠れデータを復元するために要求されるものより、著しく少ないことを見つけ出した。

［データ復元２］
上述した実施形態において、ＬＰＣ合成フィルタのインパルス応答の自己相関が決定され、エコーの存在が隠れデータを復元するために決定された。図６は、隠れデータを復元するための代わりの技術に従って実行され得る処理を図示する。図４と図６とを比較することによって分かるように、この実施形態と第１の実施形態との間の主な差違は、現在のフレームに対する再生されたＬＰＣ係数ａ_ｉ＾が、直接、ＬＰＣ係数の列の自己相関を計算する、自己相関部１０７へ渡されていることである。従って、この実施形態は、第１の実施形態の簡易化である。しかしながら、エコー遅れでの自己相関出力におけるピークは、第１の実施形態におけるようにははっきりとは分からず、この理由のために、この簡単な実施形態は、十分な処理電力が使用可能であるとことでは好ましくない。

［データ復元３］
図７は、エコーの存在を識別しその後の隠れデータの復元のための第３の技術において実行され得る処理を図示する。図６と図７とを比較することによって分かるように、この実施形態と第２の実施形態との間の主な差異は、現在のフレームに対して再生されたＬＰＣ係数ａ_ｉ＾が、ＬＰＣ係数から上記式（３）の自己相関行列Ｒ_ｉｊを再計算するために逆レビンソーンダービン（Levinson-Durbin）アルゴリズムを使用する、逆レビンソーンダービン部１１４に印加されていることである。決定された値は、それ自身、入力音声信号の自己相関値に対応し、したがって、エコー又は各エコーの遅延に対応する遅れでピークを含む。したがって、逆レビンソーンダービン部１１４からの出力は、隠れデータを復元する前に処理され得る。この実施形態の主な利点は、逆レビンソーンダービンアルゴリズムが、比較的計算的に強力であることであり、それ故、処理電力に制限がある場合には、この実施形態は好ましくない。

［データ復元４］
上記３つの実施形態において、隠れデータは、ＡＭＲコーデック５５から出力された符号化されたＬＰＣフィルタデータを処理することによって復元される。ＡＭＲコーデック５５は、提供されたＬＰＣフィルタデータにおいてエコーを符号化し、エコーの遅延は、ＬＰＣフィルタの長さより短い。上述したように、ＬＰＣフィルタは１０サンプルの次数ｐを持つ。８ｋＨｚのサンプリング周波数で、これは、１．２５ｍｓの最大遅延に対応する。もし長い遅延を持つエコーが加えられたなら、そのとき、それは、ＬＰＣ係数に符号化され得ない。しかしながら、それは、残余すなわち励起信号内で符号化されるだろう。これを図示するために、２進の１と０が、２ｍｓと１０ｍｓのエコーを使用して音声中に符号化された、実施形態について説明する。

図８は、隠れデータを復元するために、アプリケーションソフトウェア６９によってこの実施形態において実行される処理を図示する。示されるように、本実施形態において、アプリケーションソフトウェア６９は、ＡＭＲコーデック５５によって出力されたとき、各フレームに対して励起符号化データを受信する。受信したデータ内の固定コードブック指標は、固定コードブック部１２１によって、固定コードブック１２３から現在のフレームに対する励起パルスを識別するために使用される。それから、これら励起パルスは、ＡＭＲコーデック５５から受信された符号化データにおいて規定される対応する固定利得によって増幅される。それから、増幅した励起パルスは、加算器１２７に印加され、ここで、それらは、以前のフレームの励起パルスをゲイン１２９と適応コードブック遅延１３１と通過させることによって得られた、適当に増幅および遅延された以前の励起パルスのバージョンと加えられる。使用される適応コードブックの利得と遅延は、ＡＭＲコーデック５５から受信した符号化データにおいて規定されている。加算器１２７からの出力は、現在にフレームに対する残余すなわち励起信号のパルス表現である。図８に示されるように、励起信号のパルス表現（ｅ_ｉ）は、それから、自己相関部１０７へ渡され、自己相関部は、遅れデータ記憶装置１０８において規定された異なった遅れに対するその自己相関を計算する。図９は、受信した音声において２ｍｓのエコーがあるとき、すべて正遅れに対する自己相関部１０７から出力された自己相関を図示する。示されるように、零遅れで主ピーク１３２と、２ｍｓに対応する遅れで他のピーク１３４とがある。従って、自己相関部１０７の出力は、前と同様にエコー識別部１０９によって処理され得、データ復元部１１１で隠れデータＦ（ｔ）を復元する。

［改良］
上述した実施形態に対する多数の改良について、図１０、図１１および図１２を参照して説明する。これら改良は、隠れデータの成功した復元を増加するためになされ、エコーの存在をマスクできる音声又は部屋音響の効果を抑制するのをねらっている。これら実施形態は、上記第１の実施形態に適用されているが、それらは他の実施形態に同様に適用されるだろう。

図４と図１０とを比較することによって分かるように、第１の実施形態において、現在のフレームに対するＬＰＣ合成フィルタ１０３のインパルス応答（ｈ（ｎ））は、インパルス応答における低い周波数の効果を減少するためにハイパスフィルタ１５１によって濾波される。本発明者らは、エコー情報が典型的にインパルス応答の高い周波数帯域に符号化されることを見つけ出した。したがって、このハイパスフィルタリングは、エコーにおける自己相関ピークの鋭さを改良し、それらの存在を識別するのを容易にする。ハイパスフィルタ１５１は、好ましくは、（サンプリング周波数の４分の１の周波数に対応する）約２ｋＨｚ以下の周波数を濾波して取り除く。しかし、ある利得がまだ約１ｋＨｚ以下の周波数のみを濾波して取り除くことによって作られ得る。当業者において分かるように、このフィルタリングは、インパルス応答の低い周波数部分を濾波して取り除く、フレーム「内」フィルタリング（すなわち、フレーム内のみの濾波）であるが、しかし（例えば、フレーム間で起こるインパルス応答のゆっくり変化する特徴を濾波して取り除く）フレーム「間」フィルタリングが、また、実行されてもよい。

図１１は同じ結果を達成する代わりの方法を図示する。特に、本実施形態において、現在のフレームに対するＬＰＣ係数ａ_ｉ＾が、ＬＰＣ合成フィルタ１０３を構成するために使用される前に、ハイパスフィルタ１５３を通過される。この場合において、ハイパスフィルタ１５３は、合成フィルタ１０３の低い周波数極に対応する係数を取り除く。これは、極周波数および帯域幅を識別するためにＬＰＣ係数を因数に分解することによって達成される。低い限界以下の周波数の極は、捨てられ、残りの極は、高い周波数のみ合成フィルタ１０３を発生するために使用される。残りの処理は前と同様であり、更なる説明はしない。当業者において分かるように、このフィルタリングはまたフレーム内フィルタリングであるが、フレーム間フィルタリングがまた実行されてもよい。

図１２は、隠れデータを回復する成功率を増加するために適用され得るさらなる改良を図示する。示されるように、この実施形態と図４に図示された実施形態との間の主な差違は、音声それ自身およびユーザの携帯電話機２１が位置する部屋の音響によって典型的に起因する、自己損間出力におけるゆっくり変化する相関（例えば、フレームからフレームへとゆっくり変化する相関）を濾波して取り除くフレーム間フィルタリングを実行するハイパスフィルタ１５５の供給にある。そのようなフレーム間変化を濾波して取り除くことに加えてまたは代わりに、ハイパスフィルタ１５５は、各フレーム内の自己相関出力から低い周波数の相関を取り除くフレーム内フィルタリングを実行してもよい。これはエコーに起因する相関ピークを鋭くすることが分かり、識別をより容易にする。

［一般的な符号化法］
上記実施形態において、データは、異なった遅延を持つエコーを加えることによって音声信号中に隠されている。当業者において分かるように、データが音声内に隠され、さらにＡＭＲコーデック５５を通過される、種々の方法がある。一般的な用語において、上記データを隠し回復する処理は、それぞれ、図１３および図１４に示される一般的なブロック図によって表されてよい。図１３に示されるように、一般的はデータを隠す処理は、ＡＭＲパラメータ（それは、ＡＭＲ処理において生成される、最終的なＡＭＲ出力パラメータ又は中間パラメータであってよい）を生成する、ＡＭＲコーデックによって実行される類似コーデング動作１６１を必要とすると考えられ得る。それらパラメータの１つ以上は、それから、音声内に隠されるべきデータに依存して１６３で変化される。変更パラメータは、それから、１６５でデコードされて、変更音声信号を生成し、その変更音声信号は、音響信号として伝送され、携帯電話機のマイクロフォン２３によって受信される。フィルタリングとＡＤ変換の後、音声コーダ１６７は、それから、上述したようなディジタル化された音声サンプルを処理して、変更パラメータを生成する。変更パラメータは、それから、パラメータ処理部１６９によって処理され、パラメータに施された変更を検出し、そして隠れデータを復元する。

エコーを音声に加えて隠れデータを符号化する場合において、これは、テレビスタジオ（又は、データが音声中に隠されている所ならどこでも）における招待な符号化処理を実行することなしに、上述したように容易になされ得る。代わりに、エコーは、ＡＭＲコーディング処理の出力パラメータ又は中間パラメータを処理するこのよって加えられてもよい。例えば、エコーは、上記式（３）において規定された自己相関行列の１つ以上のエントリに定数を加えることによって、又は、ＬＰＣ分析から決定されるＬＰＣ係数の１つ以上の値を直接処理することによって、音声に加えられてもよい。

データは、また、音声コーディングパラメータを変調する他のより直接的な方法によって隠されても良い。例えば、音声に対して生成された線スペクトル周波数は、（例えば、ＬＰＦの最下位ビットを隠されるべきデータで変化することによって）変更されてよく、又は、ＬＰＦが決定される極の周波数又は帯域幅が、隠されるべきデータに従って変更されてもよい。代わりにまだ、励起パラメータが隠れデータを運ぶために変更されてよい。ＡＭＲコーデック５５は、可変のパルス位置および符号で、パルス列を規定する固定および適応コードブックを使用して、励起信号を符号化する。従って、データは、１つ以上のトラック又はサブフレーム内のパルス位置の最下位ビットを変化することによって、又は、選択されたトラック又はサブフレームの符号を変えることによって、隠されてよい。

音声中にデータを隠すためにエコーを適用する代わりに、音声信号の１つ以上の周波数成分の位相が、隠されるべきデータに依存して変化されてよい。音声からの位相情報は、固定および適応コードブックによって符号化されたパルスの位置におけるある程度保持される。従って、この位相符号化は、コードブックからの励起パルスを再生し、関連する周波数成分の位相変化を時間と共に検出することによって、ＡＭＲコーデック５５の出力から検出され得る。

当業者において分かるように、テレビスタジオにおける音声品質がＡＭＲコーデック５５において使用されているものより良好であるなら、スタジオシステムが、実際のＡＭＲエンコーダ及びデコーダモデルを使用するだろうことは、非常にありそうもないことである。従って、最高のスタジオシステムは、音声帯域を、（３００Ｈｚと３．４ｋＨｚの間の）ＡＭＲ帯域とこの範囲の外の非ＡＭＲ帯域とに分割するだろう。それから、それは、上記に示したＡＭＲ帯域を処理するだろうが、ＡＭＲデコーダを使用してＡＭＲ帯域信号を再現しないだろう。その代わりとして、それは、元音声信号と変更ＬＰＣデータから得られた実際のＬＰＣ残余からＡＭＲ帯域音声信号を合成し、より高い音声品質を生むだろう。代わりに、励起パラメータが隠れデータで変更されたところで、残余が、変更パラメータから構成され、それから、ＬＰＣ分析から得られるＬＰＣ係数を使用する合成フィルタによって濾波されるだろう。それから、変更ＡＭＲ帯域は、テレビ信号の一部として伝送するための非ＡＭＲ帯域に加えられるだろう。この処理は、図１５および図１６に図示されている。

特に、図１５は、元音声がＡＭＲ帯域と非ＡＭＲ帯域とに分割された後、テレビスタジオ内に実行されてよい処理を図示する。示されるように、音声ＡＭＲ帯域はＬＰＣコーダ１７１に入力され、ＬＰＣコーダは、上記ＬＰＣ分析を実行して、現在のフレームに対するＬＰＣ係数ａ_ｉを生成する。それから、これらの係数は、係数変化部１７３に渡され、係数変化部は、音声信号内に隠されるべきデータに依存してこれら係数の１つ以上を変化する。それから、変更ＬＰＣ係数ａ_ｉ＾は、上で与えられた式（２）に従ってＬＰＣ合成フィルタ１７５を構成するために出力される。図１５に示されるように、ＬＰＣコーダ１７１によって生成されたＬＰＣ係数ａ_ｉは、上記式（６）に従って逆ＬＰＣフィルタ１７７を構成するために使用される。ＬＰＣ係数の現在の組が生成される音声のフレームは、それから、ＬＰＣ残余（励起）を生成するために逆ＬＰＣフィルタを通過され、ＬＰＣ残余（励起）は、それから、ＬＰＣ合成フィルタ１７５に印加される。この結果、変更音声ＡＭＲ帯域信号が生成され、それは、それから、分配のためにビデオトラックと合成される前に、非ＡＭＲ帯域信号を合成される。

図１６は、励起パラメータが隠されるべきデータで変化される、代わりのシナリオを図示する。特に、図１６に示されるように、音声ＡＭＲ帯域は、最初は、ＬＰＣコーダ１７１によって処理され、本実施形態においてこのＬＰＣコーダは、残余すなわち励起信号を表す固定および適応コードブックデータを生成し出力する。このコードブックデータは、それから、変化部１８１を通過され、この変化部は、音声信号内に隠されるべきデータに従って固定データブックデータによって表される、１つ以上のパルスの位置及び／又は符号を変化させるために、コードブックデータを変化する。変更コードブックデータは、それから、残余発生器１８３へ出力され、この残余発生器は、ＡＭＲコーデック５５によって処理されるときに、変更固定及び適応コードブックデータを再生するだろう、対応する残余信号を再生する。これは、例えば、変化部１８１によって結果として生じる変更コードブックデータ出力のコーディングまで、開始残余を適合させるために繰り返しルーチンを実行することによって、達成されてよい。代わりに、変更コードブックデータは、残余信号として直接的に使用されるパルス列を生成するために使用されてよい。パルス間のギャップは、雑音または逆ＬＰＣフィルタと現在のフレームに対するＬＰＣ係数とを使用して生成され得る、残余信号の一部で満たされてよい。用いられた技術にかかわらず、そのように生成された残余信号は、それから、ＬＰＣ合成フィルタ１７５へ渡され、そのＬＰＣ合成フィルタは、ＬＰＣコーダ１７１によって生成されたＬＰＣ係数を使用して構成される。ＬＰＣ合成フィルタ１７５は、それから、印加された残余信号を濾波して変更音声ＡＭＲ帯域を生成し、その変更音声ＡＭＲ帯域は、それから、非ＡＭＲ帯域と合成されて、ビデオトラックと合成するための音声を再生する。

［音声識別］
上記実施形態において、データは、テレビ番組の音声内に隠され、このデータは、携帯電話機での適当な処理によって復元された。隠れデータを回復するために実行される処理は、携帯電話機の音声コーデックによって既に実行されている、処理の少なくとも一部を利用する。上述したように、本発明者らは、これが、隠れデータを復元するために必要な計算上のオーバヘッドを減少することを見つけ出した。同様の利点は、音声内に隠された実際のデータがない場合の他の応用において得られることができるが、例えば、音声は、音声それ自体の音響パターン（指紋）から識別される。これが達成され得る方法について、次に、音楽識別システムを参照して説明する。

現在、多くの音楽識別サービスがあるが、そのような１つがShazamによって提供されている。これらの音楽識別サービスは、携帯電話機２１にユーザに、番号をダイヤルし、送受話器に音楽を再生することによって、現在演奏している音楽トラックを識別するのを可能とする。サービスは、それから、トラックの名前を電話機にテキストバックする。典型的には、このシステムは、電話機に音楽を再生している間、携帯電話機からリモートサーバに電話呼出をセットアップすることによって動作する。リモートサーバは、予め定められた期間の後、呼出を落とし、音楽を識別するためにデータベースに格納されたパターンに対して受信した音とのあるマッチングを実行し、それから、テキストメッセージを電話機へ識別された音楽トラックの題名と一緒に送る。

Shazamシステムや他の発明者らから公開された資料か、トラックを識別するために使用される一般的なプロセスは、次の通りである。

１． 生の音声信号を、重複する高速フーリエ変換（ＦＥＴ）の系列を計算することによって通常達成される、スペクトログラフに変換し、
２． スペクトログラフを分析して、それらの時間と周波数によって特徴づけられる、通常、エネルギーのピーク位置である、特性特徴を決定し、
３． これら特徴のハッシュ関数を使用し、データベースを探索してハッシュ関数の結果を使用し、音声信号とマッチする一組のエントリを決定し、
４． これら潜在マッチに対してさらなるパターンマッチングを実行して、音声信号が実際にデータベースから識別されたものといずれとマッチしているかを決定する。

従来においては、音声用のスペクトログラフは、音声信号用のディジタル化された音声サンプルのブロックと重複する、高速フーリエ変換の系列から決定されている。携帯電話網上で動作するとき、入力音声は、携帯電話網３５に対する空気インタフェース３７上の伝送のための携帯電話機内のＡＭＲコーデックによって圧縮され、携帯電話網では、圧縮した音声が、ディジタル音声サンプルを再生するために復元される。サーバは、それから、ディジタル音声サンプルに対してフーリエ変換分析を実行し、音声信号に対するスペクトログラフを生成する。

本発明者らは、携帯電話システムによって実行されるこの符号化および復号化とそれからShazamによって実行される引き続く周波数分析とはむだであることと、同様のシステムが圧縮音声をデコードして音声サンプルに戻すことなしに実現され得ることを理解した。この方法において、トラック認識処理は、携帯電話機２１内にもっぱら実行されてよい。従って、ユーザは、再生されたトラックを認識することができるようにするためにリモートサーバへ呼出をする必要がない。これが達成される方法を、図１７を参照して次に説明する。

特に、図１７は、携帯電話機２１上を流れるトラック認識ソフトウェアアプリケーション（図示せず）によって実行される処理を図示するブロック図である。示されるように、本実施形態において、ソフトウェアアプリケーションは、ＡＭＲコーデック５５からＡＭＲ符号化ＬＰＣデータとＡＭＲ符号化励起データとを受信する。ＡＭＲ符号化ＬＰＣデータは、それから、前述したように、ＶＱ部９１、予測付加部９３、平均付加部９９およびＬＳＦ変換部１０１へ渡される。この処理の結果は、再生ＬＰＣ係数ａ_ｉ＾である。現在のフレームに対するＬＰＣ係数は、それから、ＦＦＴ部２０１に渡され、ＤＤＴ部は、これらの高速フーリエ変換を計算する。

同様に、ＡＭＲ符号化励起データは、固定コードブック部１２１、固定ゲイン１２５、加算器１２７、適応コードブック遅延１３１および適応ゲイン１２９によってデコードされ、入力フレームに対する残余を表す励起パルスを再生する。これらデコードされたデータは、それから、励起パルスのフーリエ変換を生成するためにＦＦＴ部２０３に入力される。図１７に示されるように、２つのＦＦＴ部２０１および２０３の出力は、乗算器２０５によって一緒に乗算され、現在のフレームに対する合成周波数表現を生成する。乗算器２０５から出力されたこの合成周波数表現は、現在のフレーム内のディジタル音声サンプルのＦＦＴに近似的に対応するはずである。その理由は、ＡＭＲコーデック５５によって実行されるＬＰＣ分析の基礎となる源フィルタモデルのためである。特に、上述したように、ＬＰＣ分析は、音声が、合成フィルタを通して適切な励起信号を濾波することによって生成される、ことを仮定している。換言すれば、音声は、合成フィルタのインパルス応答で励起信号を畳み込むことによって、又は周波数領域において、励起信号のスペクトルとＬＰＣ合成フィルタのスペクトルとを乗算することによって、生成される。

本実施形態において、ＬＰＣ係数のスペクトルは、コードブック励起パルスのスペクトルと乗算される。それぞれ、ＬＰＣ合成フィルタのスペクトルと励起信号のスペクトルとの近似値がある。従って、乗算器２０５から出力される合成スペクトルは、現在のフレーム内でのディジタル化された音声信号のスペクトルの近似値となるだろう。図１７に示されるように、このスペクトルは、それから、スペクトログラフ生成部２０７に入力され、そのスペクトログラフ生成部は、入力音声信号の隣接フレームに対して受信されたスペクトルからスペクトログラフを生成する。このように生成されたスペクトログラフは、それから、パターンマッチング部２０９へ渡され、ここで、スペクトログラフからの特性特徴が、携帯電話機のマイクロフォン２３によって抽出された音声トラックを識別するために、パターンデータベース２１１内に格納されたパターンを探索するために使用される。当業者において分かるように、このパターンマッチングは、Shazamシステムのサーバにおいて使用されているものと同様の処理技術を使用してよく、例えば、まず、パターンデータベース２１１の部分を識別するためにハッシュ関数を使用して、音声のスペクトログラフと付き合わせる。パターンマッチング部２０９によって出力された識別されたトラック情報は、それから、表示器２９上にユーザへ表示するために出力される。

本発明者らは、この処理が、圧縮音声データをディジタル化した音声サンプルにもとに変換し、それから、音声サンプルの高速フーリエ変換を取るよりも、著しく少ない計算ですむ、ことを見つけ出した。実際に、本発明者らは、この処理が、元音声サンプルの高速フーリエ変換をとるよりも少ない処理ですむ、ことを見つけ出した。この理由は、ＬＰＣ係数の高速フーリエ変換を取ることが、フレームごとに単に１０の係数であるように、比較的簡単であり、コードブックの励起パルスの高速フーリエ変換が、パルス位置係数がパルス位置の差を取ることによって、又は、（コードブックによって規定された制限された数のパルス位置があるような）ルックアップテーブルにおいてそれらを再計算することによって、周波数領域に簡単に変換され得るように、比較的簡単だからでる。

当業者によって分かるように、この方法において結果として得られるスペクトログラフは、成される近似の為に、音声サンプルのＦＦＴから得られるものと直接的に同等ではない。しかしながら、スペクトログラフは、従来のスペクトログラフと十分でかつ類似の情報を運ぶので、同じ又は同様のパターンマッチング技術が音声認識に対して使用され得る。最良の結果に対して、データベース２１１に格納されたパターン情報は、好ましくは、（例えば、音声サンプルから直接生成されたものを使用するよりも、ＡＭＲコーデック出力から）同様の方法で得られるスペクトログラフから生成される。

［変更および更なる代替］
多数の実施形態について、携帯電話機におけるコーデックが、隠れ情報を回復するため又は入力音声セグメントを識別するために、電話機の他の部品によって実行される引き続く処理を減少させるために使用される、方法を示して説明した。当業者は、種々の変更を認識するだろうし、改良が上記実施形態に対してなされ、それら変更の幾つかについて次に説明する。

上記音声認識の実施形態において、パターンデータベース２１１の全てが携帯電話機２１内に格納された。代わりの実施形態において、パターンマッチング部２０９は、音声に対して生成されたスペクトログラフの特性特徴からハッシュ関数を生成するために構成されてよく、このハッシュ関数の結果は、それから、音声のスペクトログラフと突合せられるべき適切なパターン情報をダウンロードする、リモートサーバへ伝送されてよい。この方法において、携帯電話機２１上のパターンデータベース２１１内に格納されるべきデータ量は、最小に維持され得、リモートデータベースから選択パターンを検索するための処理において比較的小さい遅延のみをもたらす。

上記音声認識の実施形態において、線スペクトル周波数がＬＰＣ係数に戻し変換され、そのＬＰＣ係数は、それから、ＦＦＴを使用して周波数領域に変換された。代わりの実施形態において、ＬＰＣデータ用のスペクトルは、線スペクトル周波数又はそれらから引出された極から直接決定されてよい。これは、音声認識を実行するために必要な処理を更に減少するだろう。

上述した初期の実施形態において、データは、音声内に隠され、ユーザによって見られるテレビ番組に対する電話機の操作と同期するために使用された。ほんの今記述した最後の実施形態において、音声内に隠れデータはなく、その代わりに、音声の特性特徴が、識別され、音声を認識するために使用される。当業者において分かるように、同様の音声認識技術が、同期の実施形態において使用され得る。例えば、電話機上で流れるソフトウェアアプリケーションは、音声サウンドトラック内の決定された位置を認識することによって、テレビ番組にそれ自体同期されてよい。この型の同期は、また、テレビ番組におけるサブタイトルの出力を制御するために使用され得る。

上述した初期の実施形態において、隠れデータは、ＬＰＣ係数の自己相関値又は合成フィルタのインパルス応答を決定するために回復された。この相関処理は、隠れデータが、係数又はインパルス応答を直接監視することによって見つけ出せるとき、必須ではない。しかしながら、自己相関処理は、それがエコーを識別するのを容易にするとき、好ましい。

上記改良において、種々のハイパルフィルタリング技術が、音声および部屋音響と関係づけられた低い周波数成分を濾波して取り除くために使用された。そのようなハイパスフィルタリングが携帯電話機において実行される、好ましい実施形態において、エコー信号は、好ましくは、ＡＭＲ帯域の高い周波数部分における音声にのみ（隠れ処理の間）加えられる。例えば、１ｋＨｚより上、好ましくは、２ｋＨｚより上のみに。これは、音声信号を濾波して低い周波数ＡＭＲ帯域成分を取り除き、濾波された出力を元音声に必要な時間遅延をもって加算することによって、達成され得る。これは、それが、携帯電話機において実行されるハイパスフィルタリングによって濾波して取り除かれる（したがって、失われる）だろう、エコー信号におけるエネルギーを減少するとき、好ましい。

上記実施形態において、携帯電話機によって使用される音声コーデックがＡＭＲコーデックであることを仮定した。しかしながら、当業者において分かるように、上述した原理と発想は、また、他の型の音声コーデックにも適用可能であり、特に、入力音声の線形予測分析を当てにするものに適用可能である。

上記実施形態において、音声コーデックから出力される圧縮音声データの種々の処理は、携帯電話機上を流れるソフトウェアによって実行された。当業者において分かるように、その処理の幾つか又は全ては、専用のハードウェア回路によって形成されてもよいが、ソフトウェアは、製造および更新されるべきその能力が一度ロードされた後、携帯電話機に加えられるべきその能力のために好ましい。携帯電話機を上述したように動作させるためのソフトウェアは、信号又はコンパクトディスクや他の担体媒体のような担体として提供されてよい。

上記実施形態において、処理は携帯電話機内で実行された。しかしながら、当業者において分かるように、その利益は、組込み音声コーデックを持つ任意の通信装置に適用されるだろう。

上述した初期の実施形態において、データは、音声中に隠され、ユーザによって見られるテレビショーを持つ携帯電話機の動作と同期させるために使用された。当業者において分かるように、及び国際公開第０２／４５２７３号において説明されているように、隠れデータに対する種々の他の用途がある。例えば、隠れデータは、リモート位置におけるＵＲＬを識別してよく、又は、解釈用に予め格納されたＵＲＬに送られるべきコードを識別してよい。そのような隠れデータは、ユーザに、例えば、テレビ番組についての付加情報を提供でき及び／又は特定のオファーやユーザ用の他の的を絞られた広告を提供できる。

上記実施形態において、テレビ番組は、ＲＦ通信リンク１３を介してユーザに伝送された。当業者において分かるように、テレビ番組は、ケーブルＴＶ、インターネット、衛星ＴＶなどの、任意の適当な提供技術を介してユーザに分配されてよい。それは、また、ＤＶＤのような記憶媒体から得られ、適当なＤＶＤプレーヤーによって読み出されて良い。

上記実施形態において、携帯電話機は、テレビ番組の音声を受信した。当業者において分かるように、上記技術は、また、音声がラジオや他のスピーカーシステムから得られるとことで使用され得る。

上記実施形態において、データがテレビシステムのテレビスタジオの末端で音声に隠されたことを仮定した。代わりの実施形態において、データは、テレビシステムのユーザの末端で、例えば、セットトップ・ボックスによって音声中に隠されてもよい。セットトップ・ボックスは、テレビ番組をユーザへ出力する前に、適当なデータを音声に隠すために改造されてよい。

上記実施形態において、ソフトウェアアプリケーションは、携帯電話機２１中のＡＭＲコーデックから受信した圧縮音声データを処理した。代わりの実施形態において、ソフトウェアアプリケーションは、電話網上で受信され、ＲＦ処理装置５７によってプロセッサ６３に提供された、圧縮音声データに同様の処理を実行してもよい。

上記実施形態において、音声コーデックの出力は、ＬＰＣ係数それ自体を含まないが、線スペクトル周波数やＬＰＣ合成フィルタのフィルタ極のような、それらから導き出された他のパラメータを含む、ことを仮定している。当業者において分かるように、もし携帯電話機２１において使用された音声コーデックが、それによって導き出されたＬＰＣ係数がプロセッサ６３に使用可能であるものでるなら、ＬＰＣ係数を回復するためにアプリケーションソフトウェアによって実行される初期の処理は必要でなく、ソフトウェアアプリケーションは、音声コーデックによって出力されたＬＰＣ係数に対して直接作動できる。これは、さらに必要な処理を減少するだろう。

当業者において分かるように、上記実施形態において述べられた、ビットレート、サンプリングレート等の正確な値は、本発明の必須の特徴ではなく、本発明から逸脱しないで変更され得る。

Claims (14)

1. 通信ネットワーク（３９）への伝送用の入力音声信号を圧縮するための音声コーダ（５５）を持つ通信装置（２１）を使用して、入力音声信号から隠れデータを回復する方法であって、前記方法は、前記通信装置（２１）によって実行されるものであり、前記入力音声信号を前記音声コーダ（５５）を通過させて、圧縮音声データを発生する工程と、前記圧縮音声データを処理して、前記隠れデータを回復する工程とを含むことを特徴とする方法。
2. 前記音声コーダ（５５）は、前記入力音声に対して線形予測（ＬＰ）を実行して前記入力音声を表すＬＰデータを生成し、前記処理工程は、前記ＬＰデータを処理して前記隠れデータを回復又は前記入力音声信号を識別する、請求項１に記載の方法。
3. 前記音声コーダ（５５）は、前記ＬＰデータを圧縮して該圧縮ＬＰデータを生成し、前記処理工程は、前記圧縮音声データから前記ＬＰデータを再生する工程を含む、請求項２に記載の方法。
4. 前記ＬＰデータはＬＰフィルタデータを有し、前記処理工程は、前記ＬＰフィルタデータを使用して、前記隠れデータを回復し、好ましくは、前記処理工程は、合成フィルタのインパルス応答を生成する工程又は前記ＬＰフィルタデータに対して逆レビンソーンダービン（Levinson-Durbin）アルゴリズムを実行する工程を含む、請求項２又は３に記載の方法。
5. 前記ＬＰデータは、ＬＰフィルタデータとＬＰ励起データとを有し、前記処理工程は、前記ＬＰフィルタデータおよび前記ＬＰ励起データの１つに対応する圧縮音声データの部分集合を処理して、前記隠れデータを回復する、請求項２又は３に記載の方法。
6. 前記音声信号は、該音声信号の１つ以上のエコーによって規定される隠れデータを含み、前記処理工程は、前記圧縮した音声を処理して前記音声信号の中のエコーの存在を識別して、前記隠れデータを回復し、又は、前記隠れデータの各データ記号は、前記音声信号の中のエコーの組み合わせ又はエコーの系列によって表され、前記処理工程は、前記エコーの組み合わせを識別して前記隠れデータを回復する工程又は前記音声内のエコーの系列をたどって前記隠れデータを回復する工程を含む、請求項１乃至５のいずれか１項に記載の方法。
7. 前記音声コーダ（５５）は、予め規定された動作周波数帯域を持ち、前記エコーは、前記動作周波数帯域の予め決められた部分、好ましくは、前記動作周波数帯域上側部分の中に隠れており、前記処理工程は、前記予め定められた部分の外側の周波数を濾波して取り除くフィルタ工程を含む、請求項６に記載の方法。
8. 前記処理工程は、前記音声信号の時間フレームの系列の各々に対して１つ以上の自己相関値を決定し、該決定された自己相関値を使用して前記隠れデータを回復する、請求項１乃至７のいずれか１項に記載の方法。
9. 前記処理工程は、前記決定された自己相関値のハイパスフィルタリングを実行して、遅く変化する相関を取り除く、請求項８に記載の方法。
10. 前記処理工程は、前記圧縮音声データからディジタル化された音声サンプルを生成することなしに、前記隠れデータを回復する、請求項１乃至９のいずれか１項に記載の方法。
11. 音響信号を受信し、該受信した音響信号を対応する電気音声信号に変換するマイクロフォン（２３）と、
    前記電気音声信号をサンプリングして、デジタル音声サンプルを出力するＡ／Ｄ変換器（５３）と、
    前記デジタル音声サンプルを圧縮して、通信ネットワーク（３９）への伝送用の圧縮音声データを生成する音声コータ（５５）と、
    前記音声コータ（５５）に接続され、前記圧縮音声データを処理して、前記受信した音響信号内で運ばれた隠れデータを回復するデータ処理装置（１１５）と、
    を有する通信装置（２１）。
12. 請求項１乃至１０のいずれか１項に記載の方法を実行するように適合された、請求項１１に記載の装置。
13. 音声信号を表すデジタル音声サンプルを受信及び圧縮して、圧縮音声データを生成する音声コーディング手段（１６１）と、
    前記音声信号中に隠されるべきデータを受信する手段（１６３）と、
    該受信したデータに依存して前記圧縮音声データを変化させることによって、圧縮音声データ中に前記受信したデータを隠して、変更圧縮音声データを生成する手段と、
    前記変更圧縮音声データを使用して、元音声信号を表しかつ１つ以上のエコーを介して前記隠れデータを回復した音声サンプルを生成する手段（１６５）と、
    を有するデータ隠蔽装置（５）。
14. プログラマブル処理装置に、請求項１乃至１０のいずれか１項に記載の処理工程を実行させるために適合したコンピュータ実現可能命令を有する、プログラム。

Images