JP3354880B2 - 情報多重化方法、情報抽出方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル音声
（主情報）に対して、別の情報（副情報）を情報多重化
する際に、人間の知覚に感知されないように情報多重化
を行なったり、または、音声に多重化された情報を情報
抽出する方法、装置に関するものである。

【０００２】

【従来の技術】今日、上記のような情報多重化装置、抽
出装置は、ディジタル著作物に対して著作権情報や利用
ユーザＩＤ等を、情報コンテンツに秘密裏に多重化する
ことによって、ディジタル情報コンテンツの著作権保護
や不正複製抑止システムに用いられている。また、多重
化された情報が人間の知覚に感知されにくいという特色
を利用して、著作権保護のみならず、様々な利用方法が
可能である。

【０００３】また、従来、エコーや位相、周波数成分を
操作し、音響情報に電子透かしを埋め込む方法が知ら
れ、たとえば、「Walter Bender, Daniel Gruhl, Noris
hige Morimoto, and Anthony Lu. Techniques for data
hiding. IBM Systems Journal, Vol.35, No.3&4, pp.
313-336, 1996.」に記載されている。電子透かし技術一
般に関する先行技術は、特開平９−１９１３９４に開示
されている。

【０００４】

【発明が解決しようとする課題】しかし、上記従来技術
では、多重化することによって、情報コンテンツ（主情
報）の品質が低下するという問題がある。

【０００５】また、上記従来例では、人間には知覚され
ずに、情報コンテンツに多重化する場合、その情報コン
テンツを圧縮処理したり、編集処理したりすると、埋め
込まれた副情報が変質したり、破壊されたりして、各種
処理に対する耐性を持つことができないという問題があ
る。特に、ディジタル音声のような時系列データでは、
部分的な切り取り、時間軸方向への圧縮／伸長等の操作
を施された後では、副情報を読み取るための同期を取る
ことが困難であるという問題がある。

【０００６】本発明は、人間には知覚されずに情報多重
化する場合、情報コンテンツ（主情報）の品質の低下が
少ない情報多重化方法、情報抽出方法、および装置を提
供することを目的とするものである。

【０００７】また、本発明は、人間には知覚されずに情
報コンテンツに情報多重化する場合、その情報コンテン
ツを圧縮処理したり、編集処理したりしても、埋め込ま
れた副情報が耐性を持つ情報多重化方法、情報抽出方
法、および装置を提供することを目的とするものであ
る。特に、ディジタル音声のような時系列データにおい
て、部分的な切り取り、時間軸方向への圧縮／伸長等の
操作を施しても、副情報を読み取るための同期を容易に
取ることができる情報多重化方法、情報抽出方法、およ
び装置を提供することを目的とするものである。

【０００８】

【課題を解決するための手段】本発明は、複数のチャネ
ルを持ち、主情報としてのディジタル音声信号に、上記
主情報とは異なる副情報を多重化する情報多重化方法に
おいて、上記複数のチャネルのうちの１つのチャネルに
おける主情報の周波数成分値と、上記複数のチャネルの
うちの他のチャネルにおける主情報の周波数成分値との
比を、上記副情報に応じて変更するものである。

【０００９】

【発明の実施の形態および実施例】図１は、本発明の一
実施例である情報多重化装置１００の入出力関係を示す
ブロック図である。

【００１０】情報多重化装置１００は、主情報である原
音声と、副情報が含まれている情報埋め込みパラメタと
を入力し、主情報に副情報を多重化し、情報多重化済み
音声を出力する装置である。

【００１１】図２は、上記実施例における情報埋め込み
パラメタの一例を示す図である。

【００１２】情報埋め込みパラメタは、副情報、乱数の
初期値、周波数変換フラグ、埋め込み方法パラメタによ
って構成されている。ただし、図２に示してある構成要
素の全てを必ず必要とする訳ではなく、最低限、副情報
を有していれば足り、乱数の初期値は、秘匿性を高める
場合に必要である。なお、周波数変換フラグは、埋め込
み時または抽出時に、周波数変換を実行するか否かを指
定するフラグである。埋め込み方法パラメタは、１つの
情報多重化装置または情報抽出装置内で複数の埋め込み
方法（情報多重化アルゴリズム）を実現することができ
る場合、埋め込み時または抽出時に、上記複数の埋め込
み方法のうちで、どの埋め込み方法で多重化または抽出
するかを指定するパラメタである。

【００１３】図３は、情報多重化装置１００を具体的に
示すブロック図である。

【００１４】情報多重化装置１００は、音声分解部１０
と、情報多重化部２０と、音声再構成部４０とを有す
る。

【００１５】音声分解部１０は、主情報である原音声
を、予め定めたサンプル数ごとに分割し、これを「処理
単位」とし、情報多重化部２０へ送るものである。ここ
で、「処理単位」は、たとえば１ビットの副情報を主情
報に埋め込む場合における主情報の処理対象であり、た
とえば６４×チャネル数個のサンプル値である。

【００１６】情報多重化部２０は、上記情報埋め込みパ
ラメタと上記処理単位とを入力し、処理単位毎に多重化
し、この結果である情報多重化済み処理単位を出力し、
音声再構成部４０へ送るものである。また、情報多重化
部２０は、入力パラメタ分解部２１と、周波数変換部２
２と、副情報バッファ２３と、乱数生成部２４と、値変
更部３０と、周波数逆変換部２５とを有する。

【００１７】入力パラメタ分解部２１は、図２に示す情
報埋め込みパラメタから、周波数変換フラグと、副情報
と、乱数の初期値とを分解するものである。

【００１８】周波数変換部２２は、周波数変換フラグを
読み込み、周波数変換フラグが周波数変換することを指
示している場合にのみ、読み込まれた処理単位に対して
周波数変換を行い、値変更部３０に送るものである。な
お、周波数変換を常に実行しない場合、周波数変換フラ
グと周波数変換部２２と周波数逆変換部２５とを使用す
る必要がない。また、周波数変換を常に実行する場合、
周波数変換フラグを使用する必要がない。

【００１９】乱数生成部２４は、情報埋め込みパラメタ
に埋め込まれている乱数の初期値を読み取り、この読み
取った乱数の初期値に基づいて、主情報を１ビット分多
重化する毎に順次、乱数を生成し、値変更部３０に送る
ものである。なお、乱数生成部２４は、音声のサンプル
数に比べて十分大きな周期で乱数を発生するものであ
る。

【００２０】図４は、上記実施例における副情報バッフ
ァ２３の構成を示す図である。

【００２１】副情報バッファ２３は、著作権情報等の副
情報を保持する内部バッファに蓄え、所定の読み出しヘ
ッダ（バッファ内の情報を１ビットづつ取り出すための
ヘッダ）に応じて、副情報を１ビットずつ読み出し、こ
の読み出された副情報の各１ビットを情報多重化する毎
に順次、１ビット副情報を、値変更部３０に送るもので
ある。

【００２２】副情報バッファ２３における情報書き出し
／読み出しヘッダの制御方法は、情報多重化装置１００
と、後述の情報抽出装置２００とにおいて、同じ方法を
採用する必要がある。

【００２３】図５は、上記実施例における値変更部３０
の構成を示すブロック図である。

【００２４】値変更部３０は、処理単位を格納する原音
声処理単位バッファ３１と、変調器３２と、処理単位変
更部３３と、情報多重化済み単位バッファ３４とを有す
るものである。

【００２５】図６は、上記実施例における主に処理単位
変更部３３の構成例を示すブロック図である。

【００２６】フィルタ生成部３３ａは、読み込んだ変調
済み１ビット副情報と、処理単位バッファの何番目の値
を処理しているかという情報とに基づいて、フィルタＦ
１_J〜Ｆｒ_J を生成するものである。

【００２７】変調器３２は、１ビット副情報、副情報終
端フラグ、乱数を入力とし、変調済み１ビット副情報を
出力するものである。乱数は、変調時において秘匿性を
高めるために用いられるものである。また、副情報終端
フラグは、副情報を繰り返し埋め込む際に、副情報の終
端にあたる部分に特別な形の変調をかけるために用いら
れるものである。変調方法の詳細に関しては、後述す
る。

【００２８】そして、１ビット副情報、副情報終端フラ
グ、乱数が変調器３２に送られ、変調器３２で１ビット
副情報が変調される。この変調された１ビット副情報に
基づいて、処理単位変更部３３で定位が変更される。

【００２９】変調器３２と処理単位変更部３３とによっ
て構成されている値変更部３０は、乱数と１ビット副情
報とに応じ、また、後述の「予め定めた規則」に基づい
て、原音声処理単位バッファ３１に格納されている主情
報の音源定位を変更するものである。

【００３０】情報多重化装置１００は、上記処理単位が
音圧である場合、複数のチャネルのうちの１つのチャネ
ルにおける主情報の音圧と、上記複数のチャネルのうち
の他のチャネルにおける主情報の音圧との比を、上記副
情報に応じて変更する例である。上記比を変更すること
によって、入力された１ビット副情報が主情報に情報多
重化され、情報多重化済み単位バッファ３４に順次格納
される。

【００３１】また、変調器３２は、副情報終端フラグが
副情報の終端に到達したことを示すと、「１」でも
「０」でもない形の変調をかける例であり、「１」でも
「０」でもない形の変調を同期取得に利用する。

【００３２】なお、上記処理単位が周波数成分である場
合、複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分値と、上記複数のチャネルのうちの他
のチャネルにおける主情報の周波数成分値との比を、上
記副情報に応じて変更する例である。

【００３３】第２の実施例は、処理単位変更部３３が、
上記副情報に応じてチャネル間の音の位相を操作するこ
とによって定位を変化させ、情報を埋め込む例である。

【００３４】このチャネル間の位相を変化させることに
よって、入力された１ビット副情報に情報多重化され、
情報多重化済み処理単位バッファ３４に順次格納され
る。

【００３５】「空間音響」（イェンスフラウエルト、森
本政之、後藤敏幸編著、鹿島出版会）の３９頁に図２．
２７にチャネル間の時間差（位相差）と音源の定位との
関係が開示され、同文献７４頁には複数チャネル間の音
圧（レベル）差およびレベルの大きさとチャネル間の時
間差（位相差）とが示されている。

【００３６】これらの関係を用いて、上記第２の実施例
において、主情報のチャネル間の音圧（レベル）差、位
相差またはその両方に基づいて、複数チャネル間の音源
定位を変化させることができ、また、情報多重化済み音
声のチャネル間の音圧（レベル）差、位相差、またはそ
の両方に基づいて、音源定位の変化を調べることがで
き、それを元に副情報を抽出することが可能である。

【００３７】ところで、上記「予め定めた規則」は、た
とえば次の規則である。

【００３８】 原音声処理単位バッファ３１における
所定の位置の値を、２つのチャネルから取り出し、この
値同士の比を変化させる。たとえば、第１チャネルの０
個目の処理単位Ｓ１₀ の値と、第２チャネルの０個目の
処理単位Ｓ２₀ の値との比を変化させる。たとえば、第
１チャネルが左のスピーカから音を出すチャネルであ
り、第２チャネルが右のスピーカから音を出すチャネル
である場合、図７に示すように、上記値の比を、右チャ
ネル側にずらせば（第１チャネルの０個目の処理単位Ｓ
１₀ の値を、第２チャネルの０個目の処理単位Ｓ２₀ の
値に対して小さくすれば）、副情報の内容が０であるこ
とを示し、逆に、上記値の比を、左チャネル側にずらせ
ば、副情報の内容が１であることを示す。

【００３９】図７に示すように、時間軸上の特定タイム
スロットにおいて、副情報に応じて音源定位を離散的に
変化させる場合、時間軸上の特定タイムスロットにおい
て、副情報に応じて音源定位を離散的に変化させる場
合、副情報の入力が「１」であるときは、音源定位を右
または左方向に変化させ、一方、「１」の場合とは逆の
場合である副情報の入力が「０」であるときは、音源定
位を左または右方向に変化させると、変調回路を簡易に
実現することができる。

【００４０】 原音声処理単位バッファ３１を、さら
にいくつかのブロックに分割し、各ブロックに対して、
埋め込みたい副情報に応じて、窓関数をかける（変調を
かける）。なお、原音声処理単位バッファ３１の全体を
１つのブロックとみなすこともできる（原音声処理単位
バッファ３１全体に１ビットを埋め込むこともでき
る）。上記窓関数として、図８、図９、図１０にそれぞ
れ示すものを考えることができる。

【００４１】この場合、副情報に応じて窓関数の形状を
変えるようにしてもよい（位相を反転させる等）。たと
えば、図８に示すように、窓関数としてサインカーブを
選び、埋め込む副情報のビット１と０とに応じて、窓関
数の位相を１８０度変えるようにしてもよい。

【００４２】図８に示すように、正弦波で変化する音源
定位の変化に対して副信号の入力によって１８０度位相
変調をかける（１８０度以外で位相変調をかけてもよ
い）と、圧縮／伸長処理されても副情報の読み取りが可
能である。つまり、音源定位が中央から左右のどちらか
に寄り、その後再び中央に戻ってくれば１ブロックであ
るから、圧縮／伸長がかけられても、副情報を読みとる
ことができる。

【００４３】または、値の比の変更量をブロック毎に変
えるようにしてもよい。たとえば、図９に示すように、
窓関数としてサインカーブを選び、埋め込む副情報のビ
ット１と０とに応じて、窓関数の振幅を変えるようにし
てもよい。図９に示すように、正弦波で変化する音源定
位の変化に対して、副信号の入力の有無によって振幅変
調すると、圧縮／伸長処理されても副情報の読み取りが
可能である。

【００４４】さらには、上記比を区別する周期を、ブロ
ック毎に変更するようにしてもよい。たとえば、図１０
に示すように、窓関数としてサインカーブを選択し、埋
め込む副情報のビット１と０とに応じて、窓関数の周波
数を変えるようにしてもよい。図１０に示すように、正
弦波で変化する音源定位の変化に対して副情報の入力の
有無によって周波数変調すると、圧縮／伸長処理されて
も副情報の読み取りが可能である。

【００４５】なお、図８〜図１０に示す変調方法（およ
び対応する復調方法）自体は、既存の技術であり、たと
えば「ディジタル無線通信」（室谷正芳、山本平一
著：産業図書）等に記載されている。

【００４６】また、主情報の特定周波数帯のみに、図７
〜図１０に示す方法のうちのいずれかの変調方法を適用
する方法を採用するようにしてもよく、さらに、その特
定周波数帯を時間の変化に応じて変更する方法（いわゆ
るfrequency hopping を行う方法）を採用するようにし
てもよい。このようにすれば、電子透かしの変造や削除
等の人為的な攻撃への耐性が向上される。

【００４７】なお、上記複数の変調方法のうちから、埋
め込み方法パラメータによって所望の変調方法を選択で
きるようにすると、変更に柔軟に対応可能なシステムを
実現することができる。

【００４８】また、上記各窓関数を組合せたものを１つ
の窓関数であると考えるようにしてもよい。

【００４９】なお、変調器３２と処理単位変更部３３と
（値変更部３０）において行われる変更の規則は、情報
多重化装置１００と、情報抽出装置２００とにおいて、
同じ規則が使用される必要がある。

【００５０】１ビット情報を多重化する度に、副情報バ
ッファ２３の副情報読み出しヘッダを、予め定められた
方法で制御する。１つの処理単位に対して、情報多重化
がＴ回（Ｔ≧１）行なわれ、その全てが終了した後、情
報多重化済み処理単位として出力する。

【００５１】周波数逆変換部２５は、周波数変換フラグ
を読み込み、周波数変換フラグが周波数逆変換すること
を示している場合にのみ、読み込んだ情報多重化済み処
理単位に対して、周波数逆変換を行う。

【００５２】音声再構成部４０は、入力された情報多重
化済み処理単位を順次つなぎ合わせ、情報多重化済み音
声を出力するものである。

【００５３】次に、情報多重化装置１００の動作につい
て説明する。

【００５４】図１１は、情報多重化装置１００の動作を
示すフローチャートである。

【００５５】まず、主情報と、副情報を含む情報埋め込
みパラメタを読み込み（Ｓ１）、副情報の誤り訂正符号
化が必要であれば（Ｓ２）、副情報の誤り訂正符号化を
行い（Ｓ３）、音声分解部１０によって主情報を処理単
位に分割し（Ｓ４）、分割された処理単位を読み込む
（Ｓ５）。そして、処理単位について周波数変換が必要
であれば（Ｓ６）、処理単位について周波数変換を行い
（Ｓ７）、値変換部３０の変調器３２によって、副情報
を変調し（Ｓ８）、フィルタ生成部３３ａが情報多重化
用フィルタ３３ｂを生成し（Ｓ９）、処理単位毎に情報
多重化し出力する（Ｓ１０）。

【００５６】そして、主情報の終端に達すれば（Ｓ１
１）、処理単位に基づいて、音声再構成部４０が情報多
重化済み音声を再構成する（Ｓ１２）。

【００５７】図１１に示すフローチャートに対応するプ
ログラムが所定の記録媒体（ＦＤ、ＣＤ、ＤＶＤ、半導
体メモリ、磁気テープ等の記録媒体）に記録され、上記
所定の記録媒体が所定のコンピュータにインストールさ
れると、そのコンピュータが情報多重化装置として機能
する。

【００５８】この場合、上記記録媒体は、主情報と副情
報とを読み込む手順と、主情報を処理単位に分割する手
順と、複数のチャネルのうちの１つのチャネルにおける
主情報の処理単位の値と上記複数のチャネルのうちの他
のチャネルにおける主情報の処理単位の値との比を、副
情報に応じて変更することによって、情報多重化する手
順と、情報多重化済み音声を再構成する手順とをコンピ
ュータに実行させるプログラムを記録したコンピュータ
で読み取り可能な記録媒体の例である。

【００５９】次に、上記実施例において、情報多重化さ
れた音声信号から副情報を抽出する場合について説明す
る。

【００６０】図１２は、本発明の情報抽出装置２００の
入出力関係を示す概略図である。

【００６１】情報抽出装置２００は、情報多重化済み音
声と原音声と情報抽出パラメタとを入力し、副情報を抽
出する装置である。ただし、情報抽出装置２００におい
て、同期信号を抽出する場合には、原音声を必要とする
ようでは意味がない。これは、以下の説明でも同様であ
る。

【００６２】図１３は、情報抽出装置２００を具体的に
示すブロック図である。

【００６３】情報抽出装置２００は、音声分解部６０
と、情報抽出部３００とを有するものである。

【００６４】音声分解部６０は、予め定めたサンプル数
毎に、情報多重化済み音声を分割し、情報多重化済み処
理単位として出力し、また、予め定めたサンプル数毎
に、原音声を分割し、原音声処理単位として出力するも
のである。なお、音声分解部６０は、原音声を分割する
に際して、情報多重化装置１００における音声分解部１
０と同じ処理を実現する必要がある。

【００６５】情報抽出部３００は、入力パラメタ分解部
７０と、周波数変換部７１と、乱数生成部７２と、ビッ
ト情報抽出部８０と、副情報再構成部９０とを有し、原
音声処理単位と情報多重化済み処理単位と情報抽出パラ
メタとを入力し、副情報を出力するものである。

【００６６】入力パラメタ分解部７０は、情報抽出パラ
メタを、周波数変換フラグと乱数の初期値とに分解する
ものである。

【００６７】周波数変換部７１は、周波数変換フラグを
読み込み、周波数変換することを周波数変換フラグが示
している場合にのみ、読み込んだ処理単位に周波数変換
を行い、ビット情報抽出部８０に送るものである。な
お、周波数変換を常に施さない場合、周波数変換フラグ
と周波数変換部７１とを必要としない。また、周波数変
換を常に行う場合、周波数変換フラグを必要としない。

【００６８】乱数生成部７２は、乱数の初期値を入力
し、この入力した乱数の初期値に基づいて、副情報を１
ビット抽出する毎に順次、乱数を生成し、ビット情報抽
出部８０に送るものである。

【００６９】情報多重化装置１００における乱数生成部
２４と、情報抽出装置２００における乱数生成部７２と
は、乱数の初期値として所定の同じ値を与えた場合、同
順序で同じ乱数列を生成するものである。

【００７０】情報抽出装置２００は、上記処理単位が音
圧である場合、複数のチャネルのうちの１つのチャネル
における主情報の音圧と、上記複数のチャネルのうちの
他のチャネルにおける主情報の音圧との比に応じて、上
記副情報を抽出する例である。

【００７１】また、情報抽出装置２００は、上記処理単
位が周波数成分である場合、複数のチャネルのうちの１
つのチャネルにおける主情報の周波数成分値と、上記複
数のチャネルのうちの他のチャネルにおける主情報の周
波数成分値との比に応じて、上記副情報を抽出する例で
ある。

【００７２】図１４、図１５は、情報抽出部３００にお
けるビット情報抽出部８０の具体例２を示すブロック図
である。

【００７３】ビット情報抽出部８０は、原音声処理単位
バッファ８１と、情報多重化済み処理単位バッファ８２
と、変調済み１ビット副情報抽出部８３と、復調器８４
とを有する。

【００７４】原音声処理単位バッファ８１は、原音声単
位を格納するバッファであり、情報多重化済み処理単位
バッファ８２は、情報多重化済み処理単位を格納するバ
ッファである。

【００７５】変調済み１ビット副情報抽出部８３と復調
器８４とは、乱数と、「予め定めた規則」とに基づい
て、原音声処理単位バッファ８１に格納されている原音
声処理単位の値と、情報多重化済み処理単位バッファ８
２に格納されている情報多重化済み処理単位の値との比
に応じて、１ビット副情報を得るものである。

【００７６】つまり、上記実施例は、複数のチャネルを
持ち、主情報としてのディジタル音声信号に、上記主情
報とは異なる副情報が多重化されている多重化情報から
上記副情報を抽出する情報抽出方法において、上記複数
のチャネルのうちの１つのチャネルにおける主情報の音
圧と、上記複数のチャネルのうちの他のチャネルにおけ
る主情報の音圧との比に応じて、上記副情報を抽出する
ものである。

【００７７】また、上記のようにして抽出された定位の
変化パターンが所定のパターンである場合、予め定めた
同期信号を読み取ったと判断し、この場合、この読み取
られた同期信号の次のビットが、情報多重化済み音声に
埋め込まれている副情報の先頭ビットである。

【００７８】ところで、上記「予め定めた規則」とし
て、次のものが考えられ、この「予め定めた規則」は、
情報多重化部２０における変調器３２と処理単位変更部
３３とに対応している必要がある。 原音声処理単位バッファ８１における所定の位置の
値と、情報多重化済み処理単位バッファ８２における上
記所定の位置の値との比を読む。 原音声処理単位バッファ８１を、さらにいくつかの
ブロックに分割し、各ブロックについて、読み取り規則
を適用する。当然、原音声処理単位バッファ８１全体を
１つのブロックとみなすようにしてもよい。

【００７９】また、「読み取り規則」として、次のもの
が考えられる。 ブロック毎の値の比の変化（音源定位の変化）のパ
ターンに基づいて、副情報を抽出する。 ブロック毎の値の比の変更量に基づいて、副情報を
抽出する。 ブロック毎の値の比の変化周期に基づいて、副情報
を抽出する。

【００８０】なお、上記〜の「読み取り規則」のう
ちのいずれか２つまたは３つを組合せて１つの「読み取
り規則」と考えるようにしてもよい。

【００８１】図１５において、変調済み１ビット情報抽
出部８３は、１ビット副情報、副情報終端フラグ、乱数
を入力し、フィルタ生成部８３ａに送る。フィルタ生成
部８３ａは、入力した１ビット副情報と、副情報終端フ
ラグと、乱数と、処理単位バッファ８１における何番目
の値を処理しているかという情報とに基づいて、フィル
タ８３ｂのＦ１_j 〜Ｆｒ_j を生成する。埋め込み方式選
択部から受けたＳ１_j〜Ｓｒ_j とＦ１_j 〜Ｆｒ_j とを掛
け合わせ、Ｓ’１_j 〜Ｓ’ｒ_j を出力する。

【００８２】次に、情報抽出装置２００の動作について
説明する。

【００８３】図１６は、情報抽出装置２００の動作を示
すフローチャートである。

【００８４】まず、情報抽出パラメタを読み込み（Ｓ２
１）、音声分解部６０が情報多重化済み音声を処理単位
に分割し（Ｓ２２）、その分割された処理単位を読み込
む（Ｓ２３）。周波数変換する必要があれば（Ｓ２
４）、処理単位を周波数変換し（Ｓ２５）、情報抽出用
フィルタ８３ｂを生成し（Ｓ２６）、復調器８４が副情
報を復調し（Ｓ２７）、１ビット副情報として出力する
（Ｓ２８）。つまり、情報多重化済み音声の音圧と原音
声の音圧との比とに応じて、副情報を抽出する。

【００８５】そして、情報多重化済み音声の終端でなけ
れば（Ｓ２９）、ステップＳ２３に戻り、情報多重化済
み音声の終端であれば、副情報再構成部９０が１ビット
副情報から副情報を再構成し（Ｓ３０）、副情報の誤り
訂正符号化が必要であれば（Ｓ３１）、誤り訂正処理を
行う（Ｓ３２）。

【００８６】図１６に示すフローチャートに対応するプ
ログラムが所定の記録媒体（ＦＤ、ＣＤ、ＤＶＤ、半導
体メモリ、磁気テープ等の記録媒体）に記録され、上記
所定の記録媒体が所定のコンピュータにインストールさ
れると、そのコンピュータが情報抽出装置として機能す
る。

【００８７】この場合、上記記録媒体は、情報抽出パラ
メタを読み込む手順と、情報多重化済み音声を処理単位
に分割する手順と、情報多重化済み音声の音圧と原音声
の音圧との比に応じて、副情報を抽出する手順とをコン
ピュータに実行させるプログラムを記録したコンピュー
タ読み取り可能な記録媒体の例である。

【００８８】図１７は、本発明の他の実施例である情報
多重化装置１００Ａを示すブロック図である。

【００８９】情報多重化装置１００Ａは、副情報の埋め
込み方式を鍵として利用する情報多−化部２０Ａと、音
声分解部１０とを有するものである。情報多重化部２０
Ａは、基本的には情報多重化部２０と同じであるが、情
報埋め込みパラメタに埋め込み方式パラメタが含まれ、
入力パラメタ分解部２１Ａによって分解された埋め込み
方式パラメタが１ビット副情報、乱数、副情報終端フラ
グとともに値変更部３０Ａに送られる点が、情報多重化
部２０とは異なる。

【００９０】図１８、図１９は、情報多重化装置１００
Ａにおける値変更部３０Ａを示すブロック図である。

【００９１】値変更部３０Ａは、副情報の埋め込み方式
を鍵として利用する情報多重化処理部における値変更部
３５と、処理単位を格納する原音声単位バッファ３１
と、情報多重化済み単位バッファ３４とを有するもので
ある。

【００９２】値変更部３５は、変調方式選択部３５ａ
と、変調器３５ｂ₁ 、３５ｂ₂ 、〜、３５ｂ_n と、処理
単位変更部３５ｃとを有する。

【００９３】チャネル数がｒである場合に着目すると、
原音声処理単位バッファ３１から送られてきた原音声処
理単位の値（サンプル値）Ｓ１_j 〜Ｓｒ_j は、変調方式
選択部３５ａに送られ、埋め込み方式パラメタによって
指定された変調器に送られる。また、１ビット副情報、
副情報終端フラグ、乱数も、変調器３５ｂ₁ 〜、５ｂ_n
のそれぞれに送られる。各変調器の動作は、変調器３２
に準ずるが、各変調器のフィルタ生成部はそれぞれ異な
った生成規則を持っている。

【００９４】図２０は、本発明の他の実施例である情報
抽出装置２００Ａを示すブロック図である。

【００９５】情報抽出装置２００Ａは、副情報の埋め込
み方式を鍵として利用する情報抽出部３００Ａと、音声
分解部６０とを有する装置である。情報抽出部３００Ａ
は、基本的には情報抽出部３００と同じであるが、情報
抽出パラメタに埋め込み方式パラメタが含まれ、入力パ
ラメタ分解部７０Ａによって分解された埋め込み方式パ
ラメタが乱数とともにビット情報抽出部８０Ａに送られ
る点が、情報抽出部３００とは異なる。

【００９６】図２１は、副情報の埋め込み方式を鍵とし
て利用する情報抽出部３００Ａにおけるビット情報抽出
部８０Ａを示すブロック図である。

【００９７】ビット情報抽出部８０Ａは、原音声処理単
位バッファ８１と、情報多重化済み処理単位バッファ８
２と、値比較部８５とを有する。値比較部８５には、埋
め込み方式パラメタとともに乱数を入力する。

【００９８】図２２は、情報抽出部３００Ａにおけるビ
ット情報抽出部８０Ａ内の値比較部８５を具体的に示す
ブロック図である。

【００９９】値比較部８５は、変調済み１ビット副情報
抽出部８５ａと、復調方式選択部８５ｂと、変調器８５
ｃ₁ 〜８５ｃ_n とを有する。原音声を必要としないで情
報抽出する場合、情報多重化済み処理単位８２からのみ
処理単位を読み込む。変調済み１ビット副情報抽出部８
５ａは、変調済み１ビット副情報抽出部８５ａの動作に
応じて、変調済み１ビット副情報を復調方式選択部８５
ｂに送る。復調方式選択部８５ｂは、埋め込み方式パラ
メタを読み込み、多重化に使用した変調器に該当する復
調器を選択する。そして、変調済み１ビット副情報抽出
部８５ａから送られた変調済み１ビット副情報を、選択
された復調器に送る。

【０１００】図２３は、本発明の他の実施例である情報
多重化装置１００Ｂを示すブロック図である。

【０１０１】情報多重化装置１００Ｂは、他の情報多重
化方法で多重化した情報を抽出する際に利用する同期情
報を多重化する場合、上記実施例の情報多重化方法を利
用する情報多重化部２０Ｂと、音声分解部１０と、音声
再構成部４０とを有するものである。

【０１０２】情報多重化部２０Ｂは、基本的には、情報
多重化部２０と同じであり、副情報の多重化を二度に渡
って行なっている点だけが、情報多重化部２０と異なる
点であり、各部の動作は情報多重化部２０に準ずる。

【０１０３】図２４は、本発明の別の実施例である情報
抽出装置２００Ｂを示すブロック図である。

【０１０４】情報抽出装置２００Ｂは、２つの情報抽出
装置２００、２０１を組み合わせることによって、情報
抽出時に同期取得する装置である。

【０１０５】情報抽出部３０１は、情報抽出部３００と
は別の方法によって情報抽出するものである。情報抽出
部３００で抽出された情報は、同期情報として、情報抽
出部３０１に送られ、別の情報多重化方法で多重化され
た副情報を抽出する場合における同期取得に利用され
る。

【０１０６】上記実施例において、１つの情報多重化済
み処理単位に対して、情報抽出処理がＴ回（たとえば６
４回）行なわれ、多重化されている１ビット副情報を、
順次、出力する。なお、Ｔは、情報多重化したときに、
各処理単位に多重化された副情報のビット数である。

【０１０７】副情報再構成部９０は、情報多重化済み処
理単位に埋め込まれている副情報を構成するビット群
を、１ビットずつ順次入力し、複数回入力される各ビッ
トを多数決処理し、誤り訂正等の処理を行うことによっ
て、副情報を構成する各ビットを決定し、副情報を再構
成するものである。

【０１０８】副情報を構成するビットを１ビット抽出す
る毎に、副情報再構成部９０内の副情報書き込みヘッダ
を、予め定めた方法で制御する。

【０１０９】上記処理を、全ての情報多重化済み処理単
位に対して行ない、副情報が再構成される毎に、また
は、情報多重化済み音声全体に対して処理が終了した後
に、副情報を出力する。

【０１１０】以上の動作が、上記実施例における情報抽
出処理である。

【０１１１】オーデイオコンテンツにおいて、各チャネ
ルの音圧バランスは、基本的には中央に定位するように
設定されている。これを微妙にずらすことによって副情
報を埋め込むことが、本発明の基本的なアイデアであ
る。具体的には、たとえばチャネル数が２の撮合、透か
し情報のビット列に応じて左右のチャネルの音圧バラン
スを、ある定められた規則に従って変更し、「１」か
「０」を埋め込む。もっとも単純な規則としては、
「１」を埋め込むときは、音源定位を右に、「０」を埋
め込むときは、音源定位を左に移動することが考えられ
る。この場合、より自然に定位位置の移動を行うので、
埋め込む透かし情報のビット毎に、音源定位を一旦中央
に寄せる。このことが、透かし情報を取り出すための同
期信号ともみなされる。

【０１１２】透かし情報の読み取りは、原音データの音
圧バランスと透かし情報埋め込み後のデータとの音圧バ
ランスを比較し、原音と比べて左右どちらに音源定位が
シフトしているかを判別し、埋め込み時の変更規則と照
らし合わせて、副情報を読み取る。

【０１１３】図２５は、上記実施例において、クラシッ
ク音楽のオーディオデータ（１６ｂｉｔ，４４．１Ｋｈ
ｚ，ｓｔｅｒｅｏ）にビットレート約６９０ｂｉｔ／ｓ
で８ｂｙｔｅの透かし情報を埋め込んだ場合におけるＳ
ＮＲを示す図である。

【０１１４】ここでいう「埋め込み強度」は図８におけ
る振幅を指す。具体的には、埋め込み強度をα、左右の
チャネルのサンプル値をＬ、Ｒ、変更後のサンプル値を
Ｌ’、Ｒ’としたときに、Ｌ／Ｒ Ｒ’／Ｌが１±αの
範囲を動くことを意味する。また、「定位曲線」は図８
における波形の形状に相当する。この実験では図８と同
様のｓｉｎ曲線、正規分布、矩形波の３通りを試した。

【０１１５】かなり高いビットレートにも関わらず、α
＝０．０００５程度ならば十分な音質を保っている。ま
た、α＝０．００５だと数字の上のＳＮＲはかなり悪い
が、注意深く聴き比べないと違いがわからない程度であ
る。

【０１１６】定位曲線の違いによる特色も興味深い。ｓ
ｉｎ曲線は埋め込み単位毎の音源定位の変化量が大きく
なるので、ＳＮＲはそれほど良くないが、同期のタイミ
ングを正確に取ることが可能である。正規分布曲線の場
合は、その逆で、ＳＮＲは良いが同期取得は雑になって
しまう。したがって、電子透かしの用途ごとに異なる要
求条件にうまく適合する定位曲線を選択する必要があ
る。

【０１１７】上記実施例を著作権保護システム等に利用
することによって、従来の方式よりもディジタル情報コ
ンテンツの品質を向上させることができ、また、著作権
保護対策を強化させることができ、つまり、被多重化情
報の品質保持と多重化情報の存続率の向上の両方を図る
ことができる。

【０１１８】著作権保護情報を副情報とした場合、主情
報と分離困難な形で著作権保護情報が埋め込まれるの
で、主情報が不正にコピーされた場合、源を追跡するこ
とができ、したがって、主情報の不正コピーを防止する
ことができる。

【０１１９】また、上記実施例において、サンプル値を
操作してもよく、また、周波数成分値を操作してもよ
く、速度重視、耐性重視という要求条件に応じて、柔軟
に利用することができる。つまり、一般的には、サンプ
ル値を操作した場合、その処理速度が速く、その耐性が
低くなり、一方、周波数成分値を操作した場合、その処
理速度が遅く、その耐性が高くなる傾向にあり、したが
って、耐性、速度のいずれを優先するかによって、サン
プル値を操作するか、周波数成分値を操作するかを決定
すればよい。

【０１２０】また、処理単位に対して周波数変換を行う
場合も、上記と同様の処理が可能である。この場合、所
定の処理単位バッファ３１におけるチャネル間の値の比
を変化させることは、特定周波数成分の定位を変化させ
ることに相当する。この場合の埋め込み規則として、周
波数変換を行わない場合と同様のものを使うことができ
るが、処理単位バッファ３１内の値の意味するところが
異なるので注意を要する。また、情報多重化済処理単位
に対して周波数変換を行う場合も同様の処理が可能であ
る。当然、抽出に用いる規則は、周波数変換に対応する
ものを用いる必要がある。

【０１２１】上記実施例によれば、マルチチャネル音声
データの各チャネル間におけるサンプル値または周波数
成分値の比を変更する（マルチチャネル音声データの定
位を操作する）ことによって、副情報を埋め込むので、
スピーカの設置位置等の再生環境による影響が大きく、
従来方法に比べ音質の劣化を知覚されにくく、この知覚
されにくいために、より高いビットレートで副情報を埋
め込むことができる。また、情報多重化時に用いた乱数
の初期値がなければ、副情報の取り出しができない。

【０１２２】つまり、上記実施例は、静止画や動画には
ない音声の特徴である「マルチチャネル性」を利用した
ものであり、複数のチャネルを持つ音声の場合、チャネ
ル間の音量バランスの変化によって、音が聞こえてくる
方向が変化するが、これは再生音声を聞いている人間の
位置、スピーカ等の音源の設置条件によっても大きく変
化するので、上記音量バランスの変化を知覚されにく
い。

【０１２３】また、上記実施例によれば、各チャネル間
におけるサンプル値または周波数成分値の比を変更する
場合、上記比における所定の変更パターンを同期信号と
して用いるので、音声（主情報）の圧縮／伸長や、部分
的な切り取りに対して、副情報の耐性が高められる。

【０１２４】さらに、副情報に誤り訂正符号を適用する
ことによって、音声の圧縮・編集に対して、耐性を持た
せることができる。

【０１２５】そして、人間の聴覚が音源定位の変化に対
して鈍感であるので、変調の余裕を確保することがで
き、たとえば振幅変調を利用する場合、多値変調が可能
であり、より多〈の副情報を主情報に埋め込むことがで
きる。

【０１２６】上記実施例において、主情報が２チャネル
ステレオ音声／音楽情報であれば、音源定位の変化は一
次元であり、主情報が４チャネルステレオ音声／音楽惰
報であれば、音源定位の変化は二次元であり、主情報が
６チャネルステレオ音声／音楽情報であれば、音源定位
の変化は三次元である。なお、主情報が奇数チャネルの
音声／音楽情報であってもよく、主情報が７チャンネル
以上の音声／音楽情報であってもよい。つまり、奇数チ
ャネルのうちの任意のチャネルを組み合わせて定位情報
を伝達することができる。すなわち、主情報は、複数チ
ャネルの音声／音楽情報であればよい。

【０１２７】「電子透かし」は、人間には知覚できな
い、または知覚しにくい副情報を主情報に埋め込むこと
である。したがって、副情報（埋め込まれる情報）とし
て、どのような情報をも使用することができる。たとえ
ば、主情報として楽曲を想定した場合、主情報を再生し
ながら、埋め込まれた歌詞（副情報）を表示するように
してもよい。

【０１２８】また、情報重化済みであることを示す識別
情報を、副情報に付加するようにしてもよい。このよう
にすることによって、同一方式の電子透かしが重複して
埋め込まれることを防止することができる。

【０１２９】なお、「空間音響」（イェンスブラウエル
ト、森本政之、後藤敏幸編著、鹿島出版会）の３９頁図
２．２７には、チャネル間の時間差（位相差）と音源の
定位（方位角）との関係が示されている。また、同文献
７４頁には複数チャネル間の音圧（レベル）差およびレ
ベルの大きさとチャネル間の時間差（位相差）とが示さ
れ、上記実施例において、これらの関係を用いて、主情
報のチャネル間の音圧（レベル）差、位相差、またはそ
の両方に基づいて、複数チャネル間の音源定位を変化さ
せることができ、また、受信した複数チャネル信号の主
情報のチャネル間の音圧（レベル）差、位相差、または
その両方に基づいて、音源定位情報を抽出することがで
きる。

【０１３０】つまり、複数のチャネルを持ち、主情報と
してのディジタル音声信号に、上記主情報とは異なる副
情報を多重化する情報多重化方法または装置において、
上記複数のチャネルのうちの１つのチャネルにおける主
情報と、上記複数のチャネルのうちの他のチャネルにお
ける主情報との間で、上記副情報に応じた位相差を与え
るようにしてもよい。上記のように、１つのチャネルに
おける主情報と、他のチャネルにおける主情報との間に
おける位相差を、副情報に応じて与える場合、処理単位
変更部３３において上記位相差を与えればよい。この具
体的な方法については、上記「空間音響」（イェンスブ
ラウエルト、森本政之、後藤敏幸編著、鹿島出版会）の
３９頁図２．２７に開示されているチャネル間の時間差
（位相差）と音源の定位（方位角）との関係に応じて実
行すればよい。

【０１３１】上記実施例は、 複数のチャネルのうちの１つのチャネルにおける主
情報の音圧と他のチャネルにおける主情報の音圧との比
を、副情報に応じて変更する実施例 複数のチャネルのうちの１つのチャネルにおける主
情報の周波数成分と、他のチャネルにおける主情報の周
波数成分との比を、副情報に応じて変更する実施例 複数のチャネルのうちの１つのチャネルにおける主
情報と、上記複数のチャネルのうちの他のチャネルにお
ける主情報との間で、副情報に応じた位相差を与える実
施例であるが、これら〜の実施例のそれぞれを、情
報多重化方法、情報多重化装置として把握することがで
き、また、情報抽出方法、情報抽出装置としても把握す
ることができ、〜の実施例について情報多重化装置
と情報抽出装置とによって構成される情報伝達システム
としても把握することができる。

【０１３２】

【発明の効果】本発明によれば、人間には知覚されずに
情報多重化する場合、主情報の品質の低下が少ないとい
う効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例である情報多重化装置１００
の入出力関係を示すブロック図である。

【図２】上記実施例における情報埋め込みパラメタの一
例を示す図である。

【図３】情報多重化装置１００を具体的に示すブロック
図である。

【図４】上記実施例における副情報バッファ２３の構成
を示す図である。

【図５】上記実施例における値変更部３０の構成を示す
ブロック図である。

【図６】上記実施例における主に処理単位変更部３３の
構成例を示す図である。

【図７】上記実施例において、副情報に応じて時間軸上
の特定タイムスロットにおいて、音源定位を離散的に変
化させる例を示す図である。

【図８】上記実施例において、正弦波で変化する音源定
位の変化に対して副信号の入力によって１８０度位相変
調をかける例を示す図である。

【図９】上記実施例において、窓関数としてサインカー
ブを選び、埋め込む副情報のビット１と０とに応じて、
窓関数の振幅を変える例を示す図である。

【図１０】上記実施例において、正弦波で変化する音源
定位の変化に対して、副信号の入力の有無によって振幅
変調する場合を示す図である。

【図１１】情報多重化装置１００の動作を示すフローチ
ャートである。

【図１２】本発明の他の実施例である情報抽出装置２０
０の入出力関係を示す概略図である。

【図１３】情報抽出装置２００を具体的に示すブロック
図である。

【図１４】情報抽出部３００におけるビット情報抽出部
８０の具体例２を示すブロック図である。

【図１５】情報抽出部３００におけるビット情報抽出部
８０の具体例２を示すブロック図である。

【図１６】情報抽出装置２００の動作を示すフローチャ
ートである。

【図１７】本発明の他の実施例である情報多重化装置１
００Ａを示す図である。

【図１８】情報多重化装置１００Ａにおける値変更部３
０Ａを示すブロック図である。

【図１９】情報多重化装置１００Ａにおける値変更部３
０Ａを示すブロック図である。

【図２０】本発明の他の実施例である情報抽出装置２０
０Ａを示すブロック図である。

【図２１】副情報の埋め込み方式を鍵として利用する情
報抽出部３００Ａにおけるビット情報抽出部８０Ａを示
すブロック図である。

【図２２】情報抽出部３００Ａにおけるビット情報抽出
部８０Ａ内の値比較部８５を具体的に示すブロック図で
ある。

【図２３】本発明の他の実施例である情報多重化装置１
００Ｂを示す図である。

【図２４】本発明の別の実施例である情報抽出装置２０
０Ｂを示すブロック図である。

【図２５】上記実施例において、クラシック音楽のオー
ディオデータ（１６ｂｉｔ，４４．１Ｋｈｚ，ｓｔｅｒ
ｅｏ）にビットレート約６９０ｂｉｔ／ｓで８ｂｙｔｅ
の透かし情報を埋め込んだ場合におけるＳＮＲを示す図
である。

【符号の説明】

１００、１００Ａ、１００Ｂ…情報多重化装置、 １０…音声分解部、 ２０、２０Ａ、２０Ｂ…情報多重化部、 ２１…入力パラメタ分解部、 ２３…副情報バッファ、 ２４…乱数生成部、 ３０、３０Ａ…値変更部、 ４０…音声再構成部、 ２００、２００Ａ…情報抽出装置、 ６０…音声分解部、 ３００、３００Ａ、３０１…情報抽出部、 ７０、７０Ａ…入力パラメタ分解部、 ８０…ビット情報抽出部、 ８５…値比較部、 ９０…副情報再構成部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高嶋 洋一 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平３−85995（ＪＰ，Ａ) 特開 平２−19049（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04J 7/00 - 7/02 H04J 9/00 H04J 15/00

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 複数のチャネルを持ち、主情報としての
   ディジタル音声信号に、上記主情報とは異なる副情報を
   多重化する情報多重化方法において、 上記複数のチャネルのうちの１つのチャネルにおける主
   情報の周波数成分値と、上記複数のチャネルのうちの他
   のチャネルにおける主情報の周波数成分値との比を、上
   記副情報に応じて変更することを特徴とする情報多重化
   方法。
2. 【請求項２】 複数のチャネルを持ち、主情報としての
   ディジタル音声信号に、上記主情報とは異なる副情報が
   多重化されている多重化情報から上記副情報を抽出する
   情報抽出方法において、 上記複数のチャネルのうちの１つのチャネルにおける主
   情報の周波数成分値と、上記複数のチャネルのうちの他
   のチャネルにおける主情報の周波数成分値との比に応じ
   て、上記副情報を抽出することを特徴とする情報抽出方
   法。
3. 【請求項３】 複数のチャネルを持ち、主情報としての
   ディジタル音声信号に、上記主情報とは異なる副情報を
   多重化する情報多重化装置において、 上記複数のチャネルのうちの１つのチャネルにおける主
   情報の周波数成分値と、上記複数のチャネルのうちの他
   のチャネルにおける主情報の周波数成分値との比を、上
   記副情報に応じて変更することを特徴とする情報多重化
   装置。
4. 【請求項４】 複数のチャネルを持ち、主情報としての
   ディジタル音声信号に、上記主情報とは異なる副情報を
   多重化し、上記副情報が多重化されている多重化情報か
   ら上記副情報を抽出する情報伝達システムにおいて、 上記複数のチャネルのうちの１つのチャネルにおける主
   情報の周波数成分値と、上記複数のチャネルのうちの他
   のチャネルにおける主情報の周波数成分値との比を、上
   記副情報に応じて変更する情報多重化装置と； 上記複数のチャネルのうちの１つのチャネルにおける主
   情報の周波数成分値と、上記複数のチャネルのうちの他
   のチャネルにおける主情報の周波数成分値との比に応じ
   て、上記副情報を抽出する情報抽出装置と； を有することを特徴とする情報伝達システム。