JP3601566B2

JP3601566B2 - Information multiplexing method and copyright protection system

Info

Publication number: JP3601566B2
Application number: JP33876996A
Authority: JP
Inventors: 宏小川; 高雄中村; 洋一高嶋
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Current assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Priority date: 1996-12-18
Filing date: 1996-12-18
Publication date: 2004-12-15
Anticipated expiration: 2016-12-18
Also published as: JPH10178642A

Description

【０００１】
【発明の属する技術分野】
本発明は情報多重化方法および著作権保護システムに関し、詳しくは、ＭＰＥＧ標準の符号化方式により作成したデジタル画像を、デジタル通信網すなわち有線または無線放送網などの公衆網ないし専用網および情報記録媒体を用いて情報発信・入手・利用を行う際に著作権を保護するのに最適な情報多重化方法およびそれを利用した著作権保護システムに関するものである。
【０００２】
【従来の技術】
近年、インターネットの急速な普及や、ＤＶＤ（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｋ）の登場、デジタル情報圧縮技術（ＭＰＥＧ：ＭｏｖｉｎｇＰｉｃｔｕｒｅＩｍａｇｅＥｘｐｅｒｔＧｒｏｕｐなど）の発達により、デジタル画像の情報発信・入手が盛んとなってきた。ＤＶＤなどといったデジタル記憶媒体中に記憶されているデジタル画像はＷｒｉｔｅ−Ｏｎｃｅ方式と呼ばれる、再生装置からのデジタル出力はマスターディスクからのみといった形式をとっているが、本質的な著作権保護にはなっていない。
【０００３】
一方、ＭＰＥＧなどのデジタル画像符号化方式のデータ自体に対する著作権保護については、従来は著作権情報を単にデジタル画像のユーザデータラベルに書き込むだけのもの、もしくは、ＭＰＥＧのビットストリーム中のデータを単純に他のデータに書き換えるだけといった方法がとられており、画質の大きな劣化を伴うものであった。また、画素値を表すビット列の低位ビットを多重化する著作権情報にしたがって変更するなど、画質を考慮した著作権情報多重化方式も提案されているが、画像データを再符号化することにより多重化した著作権情報が簡単に消えてしまうといった問題があった。
【０００４】
【発明が解決しようとする課題】
現在提案されているデジタル画像の著作権保護技術は、画像の劣化が大きく、誰にでも簡単に著作権情報の書換えもしくは著作権情報を消去することが容易である問題点があった。また、デジタル画像自体を暗号化する方法が考えられるが、正当な手続きの後、デジタル画像にかけられた暗号の復号を行った画像に対して同様の問題点があった。
【０００５】
本発明の目的は、高い画像の品質を保ったままデジタル画像に著作権情報などの情報を多重化し、情報多重化画像と同様の品質を保ったままの多重化情報への改竄に対しては計算量が困難な強度を持ち、デジタル画像および多重化情報への改竄の有無の事実の判定ができる、ＭＰＥＧ符号化されたデジタル画像に対して画像符号化のシンタックスに適合した情報多重化方法および著作権保護システムを提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、著作権管理センタ側に著作権保護対象であるデジタル画像の著作権情報をＭＰＥＧ符号化方式のシンタックスに適合し、かつデジタル画像の画質が劣化しないようにデジタル画像データの情報多重化可能領域に対して著作権情報を多重化する手段を備え、該著作権管理センタ側にある著作権データベースに情報コンテンツの著作権登録を行うことにより、著作権保護を実現することを特徴とする。
情報多重化は、ＭＰＥＧ符号化画像データの１ブロックを構成するＤＣＴ係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化ＤＣＴ係数を選択し、前記選択された量子化ＤＣＴ係数を逆量子化して元のＤＣＴ係数を得、前記元のＤＣＴ係数に対応する前記埋め込み強度の値を用いて、該元のＤＣＴ係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、前記元のＤＣＴ係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のＤＣＴ係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化する、ことにより行うことを基本とする。
【０００７】
本発明によれば、作成済みのＭＰＥＧ画像に対しても著作権情報の多重化が可能であり、高い画像の品質を保ったままデジタル画像に著作権情報を多重化し、デジタル画像および著作権情報への改竄の有無の判定が可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明が適用される著作権保護システムの全体的ブロック図である。情報コンテンツ提供者１は、作成した原デジタル画像２に著作権情報の書込および著作権登録を行うために、暗号化装置３であらかじめ配布されている著作権管理センタ６の公開鍵４を用いて暗号化し、該暗号化されたデジタル画像７を有線あるいは無線の伝送路または蓄積媒体による配送経路を用いて著作権管理センタ６へ送る。
【０００９】
著作権管理センタ６は、情報コンテンツ提供者１から暗号化されたデジタル画像７を受け取り、復号化装置８で該著作権管理センタ６の秘密鍵９を用いて復号化してデジタル画像１０を得る。そして、まず、この復号化されたデジタル画像１０が過去に著作権登録されていないかどうかを著作権情報二重登録防止装置１１で調べる。これは、デジタル画像１０に既に著作権情報二重登録防止フラグが多重化されているかどうかチエックすることで行う。ここで、受け取ったデジタル画像１０が著作権登録済みでない場合にのみ、著作権情報多重化装置１３により、誤り訂正符号化処理を施した著作権情報１２の情報多重化、さらに著作権情報二重登録防止フラグを情報多重化し、著作権情報データベース２３へ著作権登録を行う。その後、著作権管理センタ６は、暗号化装置１４で情報コンテンツ提供者の公開鍵１５を用いて暗号化処理を行い、該暗号化された著作権情報多重化済みのデジタル画像１６を、有線あるいは無線の伝送路または蓄積媒体による配送経路を用いて情報コンテンツ提供者１に送る。
【００１０】
情報コンテンツ提供者１は、暗号化された著作権情報多重化済みのデジタル画像１６を復号化装置１７で情報コンテンツ提供者の秘密鍵１８を用いて復号化し、画像フォーマットに適合した形式の著作権情報多重化済みのデジタル画像１９を得る。
【００１１】
この著作権情報多重化済みのデジタル画像１９が有線あるいは無線の伝送路、もしくは、ＤＶＤ，ＣＤ−ＲＯＭといったデジタル情報記憶媒体による流通および配送経路５を用いて、情報コンテンツ利用者２０に提供される。情報コンテンツ利用者２０は、著作権情報抽出処理装置２１を用いることにより、デジタル画像１９から著作権情報２２を簡単に得ることができる。
【００１２】
以下の実施例の説明では、ＭＰＥＧ標準で符号された動画像データを著作権情報多重化対象のデジタル画像とする。
【００１３】
ＭＰＥＧ標準の符号化方式による画像データは、図２のような構造を持っている。ここで、動画像の各フレームまたはフィールドの情報はピクチャスタートコード（ＰＳＣ）に続くピクチャ層以下に記述される。
各フレームまたはフィールド情報は、図３のように、Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ（動画像のあるフレーム、あるいはフィールド全体の情報を持つデータ、以下Ｉピクチャという）、ＰｒｅｄｉｃｔｉｖｅＰＰｉｃｔｕｒｅ（過去のフレーム、あるいはフィールドとの差分情報からなるデータ、以下Ｐピクチャという）、Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ（過去および未来のフレームあるいはフィールドとの差分情報からなるデータ、以下Ｂピクチャという）の３種類のピクチャ形式で符号化される。ＰピクチャおよびＢピクチャでは時間的に離れた他の画像を参照画像とし、その画像との差分値のみを画像情報として符号化している。また、ピクチャはブロックに細分され、ブロック単位でＤＣＴ（離散コサイン）変換を行い、適当な量子化係数で量子化され、ハフマン符号化される。
【００１４】
各フレームのフィールド情報は、スライススタートコード（ＳＳＣ）に続くスライス層以下にあるマクロブロック層（ＭＢ）内にあり、輝度情報Ｙを表すブロック層が４つ、色差情報Ｃｂ、Ｃｒを表すブロック層が２つ、計６つのブロック層により表される。
【００１５】
各マクロブロック層は、そのマクロブロックの種類に応じて、量子化特性値、動きベクトルのパラメタ値、ブロック層の個数値、ブロック層などから構成され、大別すると４種類ある。それぞれ一般的に、イントラマクロブロック、動き保証ありマクロブロック、動き保証なしマクロブロック、動き保証あり符号化不要マクロブロックと呼ばれる。イントラマクロブロックは、動きは保証を行わず、画像情報をそのまま符号化しており、常に６つのブロック層を持っている。動き保証ありマクロブロックは、動きベクトルが示す画像を参照画像として用い、その画像との差分値を符号化している。すなわち、動きベクトルのパラメタ値を持っている。動き保証なしマクロブロックは、このマクロブロックと同座標の画像を参照画像として用い、その画像との差分値を符号化している。すなわち、動きベクトルのパラメタ値を持っていない。動き保証あり符号化不要マクロブロックは、動きベクトルにより参照される画像との差分がないものである。動きベクトルは持っている。すなわち、動きベクトルのパラメタ値を持っている。
【００１６】
次に、ＭＰＥＧ標準で符号化された画像データを著作権情報多重化対象デジタル画像とする本発明の二、三の実施例について詳述する。
【００１７】
〈実施例１〉
図４は、本発明の第一の実施例の著作権管理センタの構成図である。この実施例は、ピクチャがブロックに細分化され、ＤＣＴ変換されたブロックの画像情報を表すＤＣＴ係数の値を変更することにより、著作権情報を符号化画像データに多重化して著作権保護を実現するものである。
【００１８】
著作権保護対象であるＭＰＥＧ標準の符号化方式で符号化された画像データ（符号化画像）３９は、まず、著作権情報二重登録防止装置４０に送られる。著作権情報二重登録防止装置４０は、あらかじめ定義された著作権情報二重登録防止フラグ位置情報３８を使って、著作権情報二重登録防止フラグ抽出処理部２４で符号化画像３９に秘密裏に多重化されている著作権情報二重登録防止フラグ２５を抽出し、著作権情報二重登録検証部２６で入力された符号化画像３９が過去に著作権登録されていないかを調べる。符号化画像３９が過去に著作権登録されていない場合のみ、符号化画像４６を著作権情報多重化装置４２内にあるＭＰＥＧ標準符号構文解析処理部２７に送る。一方、符号化画像３９が過去に著作権登録されている場合は、既に登録済みである出力４１を情報コンテンツ提供者に通知する。
【００１９】
著作権情報多重化装置４２のＭＰＥＧ標準符号構文解析処理部２７は、符号化画像４６を受け取ると、各ブロック毎の画像情報２８に該符号化画像を分離する。各ブロック単位に分割された画像は、著作権情報多重化ブロック選定処理部２９により、各フレームを構成するブロックのうち、イントラマクロブロックおよび動き保証ありマクロブロックと動き保証なしマクロブロックのブロックに対して、それぞれブロックの画素値のエントロピーを計算され、あらかじめ決められたしきい値３０よりブロックの画素値のエントロピーが大きい場合は、このブロックの画像情報を表すＤＣＴ係数が著作権情報多重化処理部３１に送られ、あらかじめ決められたしきい値３０よりブロックの画素値のエントロピーが小さい場合は、そのブロックの画像情報に対して処理は施されず、そのまま出力バッファ４４へ送られる。
【００２０】
著作権情報多重化処理部３１は、乱数生成器３２に乱数生成鍵３３を入力することにより乱数３４を生成し、これを利用して送られてきたブロックのＤＣＴ係数行列のうちひとつのＤＣＴ係数を選ぶ。乱数生成鍵３３は著作権者のみが知っている情報である。著作権情報多重化処理部３１では、選ばれたひとつのＤＣＴ係数に対して著作権情報１２を１ｂｉｔずつ多重化し、このプロセスを繰り返すことにより全著作情報１２を多重化する。
【００２１】
ここで、著作権情報多重化処理部３１は、選ばれたＤＣＴ係数ｄｃｔ_ｋ，ｌの値に対して、情報多重化ステップ幅３５であるｒａｎｇｅ、情報多重化量子化マトリックス３６である［ｑ′_ｉ，ｊ］、マクロブロックの量子化特性値ｑｕａｎｔ、ＭＰＥＧのストリーム内の量子化マトリックス［ｑ_ｉ，ｊ］を用いて、α、β、γをそれぞれ、
【００２２】
【数２】

【００２３】
としたとき、多重化したい情報がγｍｏｄ２と等しい場合、
【００２４】
【数３】

【００２５】
多重化したい情報がγｍｏｄ２と等しくない場合、
【００２６】
【数４】

【００２７】
の変換を行なうことにより、著作権情報５６を多重化する。図５は、この概要を示した図である。ここで、βが埋め込み強度を示す。
【００２８】
情報を多重化したブロックには、情報を多重化したＤＣＴ係数とは別のＤＣＴ係数に情報多重化済みフラグを多重化する。また、著作権情報１２を多重化していないブロックは、著作権情報１２を多重化したＤＣＴ係数に著作権情報多重化未済のフラグを多重化する。
【００２９】
同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。
【００３０】
ここで、著作権情報多重化を行うことにより、著作権情報多重化済み画像の画素値がデコーダの解釈不能値をとりうる場合がある。デコーダの解釈不能画素値をとる可能性があるのは、著作権情報多重化を行ったブロックであるため、これらのブロックのＤＣＴ係数に対して、次のようにして修正を行う。
【００３１】
ブロックの画像の画素値行列をｐ_ｉ，ｊ、情報多重化を行ったＤＣＴ係数をｄｃｔ_ｋｌ、［ｐ１_ｉ，ｊ］［ｐ２_ｉ，ｊ］［ｐ_ｉ，ｊ］をそれぞれ、（０、０）および（ｋ、ｌ）成分を０に変更、（０、０）および（ｋ、ｌ）成分以外の値をすべて０に変更したＤＣＴ行列を逆量子化・逆ＤＣＴ変換して得られる画素値行列としたとき、集合Ｌ_ｏｖｅｒ＝｛（ｍ、ｎ）｜ｐ_ｍ，ｎ＜０ｏｒｐ_ｍ，ｎ＞Ｍ｝において（Ｍの画素値の取り最大値で、８ビット構成では２５５である）、Ｌ_ｏｖｅｒが空集合でないときに限り、
【００３２】
【数５】

【００３３】
の変換を行うことにより、著作権多重化を行ったＤＣＴ係数行列［ｄｃｔ′_ｉ，ｊ］を得る。図６は、この概要を示した図で、白棒グラフが多重化直後のＤＣＴ係数の値、黒棒グラフが修正後のＤＣＴ係数の値である。
【００３４】
ＤＣＴ係数行列［ｄｃｔ′_ｉ，ｊ］をＤＣＴ変換・逆量子化・可変長符号割り当てを行い、ＭＰＥＧ標準の符号化方式に変換する。
【００３５】
以上の処理を行うことにより、入力画像データ３９に対して、著作権情報１２が多重化され且つあらゆるＭＰＥＧデコーダに解釈可能なＭＰＥＧ標準の符号化方式による画像データが得られる。著作権管理センタは、ＭＰＥＧデータに多重化した著作権情報を抽出するための秘密情報３７を著作権情報データベース４３に登録する。処理が終ったＭＰＥＧ標準の符号化方式による画像データは出力バッファ４４にためられ、著作権情報多重化済み画像データ４５として出力される。
【００３６】
著作権者は情報コンテンツ利用者に対して、この著作権情報多重化済みのＭＰＥＧ標準の符号化方式による画像データ４５を提供する。流通している情報コンテンツの不正な二次利用や複製に対して、不正使用された情報コンテンツが時間的に一部分残っていれば、情報コンテンツの画質が少々劣化していても、その被害となった対象の情報コンテンツがその著作権者のものであることを著作権者本人のみが知っている乱数生成鍵を用いることで著作権情報を抽出することで証明できる。
【００３７】
〈実施例２〉
図７は、本発明の第二の実施例の著作権管理センタの構成図である。この実施例は、予め著作権情報を割り当てたタイルを用意し、マクロブロックの動きベクトルが多重化したい著作権情報が割り当てられたタイルを指すように、マクロブロック層にある動きベクトルのパラメータ値を変更することにより、著作権情報を多重化したＭＰＥＧ標準の符号化方式による画像データを生成するものである。
【００３８】
著作権保護対象であるＭＰＥＧ標準の符号化方式の画像データ（符号化画像）４７は、まず、著作権情報二重登録防止装置４８に送られる。著作権情報二重登録防止装置４８は、著作権情報二重登録防止フラグ位置情報４９を使って、著作権情報二重登録防止フラグ抽出処理部５０で符号化画像４７に秘密裏に多重化されている著作権情報二重登録防止フラグ５１を抽出し、著作権情報二重登録検証部５２で入力された符号化画像４７が過去に著作権登録されているかを調べる。このようにして、著作権情報二重登録防止装置４８では、著作権情報が既に登録されている場合は著作権情報済み出力５３を行い、符号化画像が過去に著作権登録されていない場合にのみ、符号化画像５４を著作権情報多重化装置５５に送る。
【００３９】
著作権情報多重化装置５５内にあるＭＰＥＧ標準符号構文解析装置５６は、ＭＰＥＧ標準の符号化された画像データ５４を受け取ると、マクロブロック毎の情報５７に分割する。それらのマクロブロックのうち、マクロブロック選定処理部５８により動き保証ありマクロブロックの情報５９が、著作権情報多重化処理部６０に送られる。
【００４０】
動きベクトルのパラメータには、水平成分・垂直成分それぞれ、ｍｏｔｉｏｎ＿ｃｏｄｅとｍｏｔｉｏｎ＿ｒがあり、現在のマクロブロックの動きベクトルの値ｍｖは、参照画像とのフレーム間隔を表すｆ＿ｃｏｄｅ、前マクロブロックの動はベクトルｐ＿ｍｖを使って、
【００４１】
【数６】

【００４２】
と計算される。
【００４３】
著作権情報多重化処理部６０は、動き保証ありマクロブロックが持っている動きベクトルの値に対して１ｂｉｔずつ著作権情報を多重化する。具体的には、著作権情報を割り付けたタイルの幅をｓｔｒとしたとき、多重化したい著作権情報が
【００４４】
【外１】

【００４５】
と等しい場合は変化させず、多重化したい著作権情報が
【００４６】
【外２】

【００４７】
と等しくない場合は、動きベクトルの値の変更により、参照画像および差分値が変化し、差分画像の画素値を表すＤＣＴ係数の値を再符号化する必要があるため、多重化したい著作権情報が
【００４８】
【外３】

【００４９】
と等しくなるような動きベクトルのうち、再符号化した差分画像のＤＣＴ係数を表す可変長符号の符号長が最小となるような動きベクトルを検索し、動きベクトルをその値に変更する。
【００５０】
上記変更した動きベクトルり値を〔数６〕を使って逆算し、動きベクトルのパラメータｍｏｔｉｏｎ＿ｃｏｄｅ′とｍｏｔｉｏｎ＿ｒ′を得、本来の動きベクトルのパラメータ値ｍｏｔｉｏｎ＿ｃｏｄｅとｍｏｔｉｏｎ＿ｒをｍｏｔｉｏｎ＿ｃｏｄｅ′とｍｏｔｉｏｎ＿ｒ′に変更することで、ＭＰＥＧ標準で符号化された画像データを生成する。
【００５１】
画像再符号化処理部６１は、動きベクトルの著作権情報を多重化した動きベクトルが示す参照画像と画像バッファ６２の原画像との差分画像を求め、その差分画像の差分値をＤＣＴ係数および量子化を行い、本来のＤＣＴ係数を新たに符号化した符号に置き換えたのち、現在のフレーム画像を画像バッファ６２に蓄える。同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。すべてのフレームに処理を施すことにより、著作権情報の多重化を行ったＭＰＥＧ標準の符号化方式による画像データを得る。
【００５２】
著作権管理センタは、ＭＰＥＧデータに多重化した著作権情報を抽出するための秘密情報６８を著作権情報データベース６６に登録する。こうして、処理が終了した画像データは出力バッファ６４に送られ、著作権情報多重化済み画像データ６５が出力される。
【００５３】
情報コンテンツ利用者は、この著作権情報を多重化されたＭＰＥＧ標準の符号化方式による画像データを入手する。情報コンテンツ利用者は著作権情報抽出装置に該画像データを入力することによりその画像の著作権情報を得ることができる。すなわち、著作権情報抽出装置（図１の２１）は、ＭＰＥＧ標準の符号化方式による画像データを受け取り、各フレーム毎に画像を復号する。復号されたフレーム内の各マクロブロックの動きベクトルのパラメタから動きベクトルを計算し、著作権情報の抽出を行う。その後、著作権情報抽出装置は、この抽出した著作権情報を繋ぎ合わせて再構成し、著作権情報を情報コンテンツ利用者に提示する。
【００５４】
〈実施例３〉
図８は、本発明の第三の実施例の著作権管理センタの構成図である。この実施例は、マクロブロック層にある量子化特性値を変更することにより著作権情報を多重化したＭＰＥＧ標準の符号化方式による画像データを生成するものである。
【００５５】
著作権保護対象であるＭＰＥＧ標準の符号化方式の画像データ６９は、まず、著作権情報二重登録防止装置７０に送られる。著作権情報二重登録防止フラグ抽出処理部７２は、著作権情報二重登録防止フラグ位置情報７１を用いて符号化画像６９に秘密裏に多重されている著作権情報二重登録防止フラグ７３を抽出し、その情報を使って、著作権情報二重登録検証部７４は、入力された符号化画像６９が過去に著作権登録されていないか調べる。このようにして、既に登録されている画像データに対しては、著作権情報登録済みの出力７５を行い、入力された符号化画像が過去に著作権登録されていない場合のみ、符号化画像７６を著作権情報多重化装置７７に送る。
【００５６】
ＭＰＥＧ標準で符号化されたの画像データは、各フレーム内のマクロブロック毎に動的に量子化の粒度を変更するための量子化特性値が用意されている。著作権情報多重化装置７７内にあるＭＰＥＧ標準符号構文解析処理部７８は、符号化画像７６を受け取り、各マクロブロック毎の情報７９に画像データを分割し、量子化特性値ありマクロブロック抽出処理部８０により、各マクロブロックが振り分けられ、量子化特性値を持っているマクロブロック８１が著作権情報多重化処理部８４に送られ、、量子化特性値を持っていないマクロブロック８２はそのまま出力バッファ４６へ送られる。
【００５７】
著作権情報多重化処理部８４は、量子化特性値の値に対して、著作権情報８７を１ｂｉｔずつ多重化する。具体的には、量子化特性値quantを、多重化したい著作権情報が quant mod ２と等しい場合は変化させず、多重化したい著作権情報がquant mod ２と等しくない場合は、quantの値を絶対値の値が１減少するように±１することで、量子化特性値に著作権情報１２を多重化する。
【００５８】
同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。
【００５９】
処理が終了した画像データは出力バッファ８３に送られ、著作権情報多重化済み画像データ８５を出力する。また、著作権管理センタは、ＭＰＥＧデータに多重化した著作権情報８７を抽出するための秘密情報８８を著作権情報データベース８６に登録する。
【００６０】
情報コンテンツ利用者は、入手した著作権情報を多重化されたＭＰＥＧ標準の符号化方式による画像データ８５を著作権情報抽出装置に送ることで、その情報コンテンツの著作権者を知ることができる。すなわち、著作権情報抽出装置は、入手されたＭＰＥＧ標準の符号化方式による画像データを構文解析し、マクロブロック層の量子化特性値を得る。そして、各量子化特性値から著作権情報を抽出し、再構成することで、情報コンテンツの著作権情報を情報コンテンツ利用者に提示する。
【００６１】
〈実施例４〉
上記各実施例を種々組み合わせて、著作権保護システムを構築することも可能である。図９に、一例として上記の３つを組み合わせた第四の実施例を示す。すなわち、この実施例は、ブロックの画像情報を示すＤＣＴ係数の値およびマクロブロック層にある動きベクトル値のパラメタおよび量子化特性値にそれぞれ著作権情報の項目を割り振ることで、著作権情報を多重化したＭＰＥＧ標準の符号化方式による画像データを生成するものである。
【００６２】
多重化を行うにあたり、予め多重化する著作権情報を二つの項目に分割し、それぞれ著作権情報Ａ、著作権情報Ｂとする。
【００６３】
著作権保護対象であるＭＰＥＧ標準の符号化方式の画像データ８９は、まず、著作権情報二重登録防止装置９０に送られる。著作権情報二重登録防止フラグ抽出部９２では、秘密裏に多重化されている著作権情報二重登録防止フラグ９３を抽出する。著作権情報二重登録検証部９４では、入力された符号化画像８９が過去に著作権登録されているかを調べる。このようにして、著作権情報二重登録防止装置９０は、入力された符号化画像８９が過去に著作権登録されていない場合にのみ、符号化画像９６を著作権情報多重化装置９７に送り、符号化画像８９が過去に著作権登録されている場合は、著作権情報登録済み出力９５を行なう。
【００６４】
著作権情報多重化装置９７内にあるＭＰＥＧ標準符号構文解析装置９８は、符号化画像９６を受け取ると、各マクロブロック毎の情報９９に分割し、著作権情報多重化処理部１００に送る。
【００６５】
著作権情報多重化処理部１００は、受けとった各マクロブロック毎の情報９９が量子化特性値をもっている場合は、マクロブロック層にある量子化特性値を変換することにより、著作権情報１０１の情報Ａを情報多重化する。また同時に、受けとった各マクロブロック毎の情報９９が動き補償ありマクロブロックの場合にのみ、マクロブロック層にある動きベクトルのパラメタから動きベクトルを計算し、これを〔数６〕を用いて変換することにより、著作権情報１０１の情報Ｂを情報多重化し、画像バッファ１０２を用いて画像再符号化処理部１０３でＤＣＴ係数を再符号化する。処理が終ったマクロブロックの画像は画像バッファ１０２に蓄えられる。
【００６６】
これらの処理と同時に、著作権情報多重化処理部１００は、受けとった各マクロブロック毎の情報９９がイントラマクロブロックおよび動き保証ありマクロブロックと動き保証なしマクロブロックのブロックの場合は、それぞれブロックの画素値のエントロピーを計算し、あらかじめ決められたエントロピーの閾値１０４よりブロックの画素値のエントロピーが大きい場合、情報多重化を行う。
【００６７】
ＤＣＴ係数の値への著作権情報多重化については、著作権情報１０１の情報ＡとＢそれぞれのハッシュ値を計算し、この値を情報多重化する。具体的には、秘密情報である乱数発生鍵１０５を用いて乱数発生器１０６で乱数１０７を発生させ、これを用いてＤＣＴ係数行列内の著作権情報多重化を行うＤＣＴ係数を選定し、この値を〔数３〕、〔数４〕を用いて変更することにより、著作権情報１０１の情報Ａおよび情報Ｂのハッシュ値および動きベクトル・量子特性値に多重化された情報を抽出するための各個人別秘密情報１０８を情報多重化し、その後、〔数５〕を用いて画素値のレンジオーバの処理を施す。
【００６８】
同様の手法を用いて、ＤＣＴ係数領域には、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に、著作権情報二重登録防止フラグを情報多重化する。処理が終った画像は出力バッファ１０９に送られ、著作権情報多重化済み画像データ１１０を出力する。
【００６９】
情報コンテンツ利用者は、入手したＭＰＥＧ標準の符号化方式による画像データ１１０の著作権情報を知りたい場合、このデータを著作権情報抽出装置に入力する。著作権情報抽出装置は、画像データを受け取り復号を行う。そして、マクロブロック層にある動きベクトルのパラメータから動きベクトルを算出し、情報抽出を行い、これを再構成することにより著作権情報Ａを得る。また、マクロブロック層にある量子化特性値から情報抽出を行い、これを再構成することにより著作権情報Ｂを得る。さらに、秘密情報である乱数発生鍵を用いて、各フレームを構成するブロックの画像情報を表すＤＣＴ係数から情報抽出を行い、これを再構成することにより著作権情報Ａおよび著作権情報Ｂそれぞれのハッシュ値を得る。このハッシュ値と先に得た著作権情報Ａおよび著作権情報Ｂのハッシュ値を比較することで、情報コンテンツ利用者が入手したＭＰＥＧ標準の符号化方式による画像データの改竄事実の有無を判定することができる。著作権情報抽出装置は、情報コンテンツの著作権情報と共に、海賊版でない正規の情報コンテンツであることを情報コンテンツ利用者に提示する。
【００７０】
以上、各実施例では、著作権保護システムにおいて、ＭＰＥＧ符号化画像データに著作権情報を多重化するとしたが、本発明の情報多重化方法は、原理的に多重化情報を著作権情報に限る必要はない。
【００７１】
また、著作権保護システムを対象とする場合でも、多重化する情報を配布先の利用者ユーザに対応する個別の情報とすることにより、不正コピーを防止するシステムを提供できる。
【００７２】
【発明の効果】
以上説明したように、本発明によると、符号化されたデジタル画像に対して、著作権情報やその他の情報を情報コンテンツに多重化することで可能で、既存の符号化されたデジタル画像データに対して原画像が無くとも適用できる。著作権保護システムを対象とした場合、デジタル画像と著作権情報を分離不能にすることで、多重化している著作権情報への改竄を困難にしており、従来の方式よりも高い安全性を持った著作権保護方式システムが実現できる。
また、情報コンテンツ利用者が自分の手元で簡単に著作権情報を入手することができるため、情報コンテンツの販売促進や、海賊版流出の抑止、著作権に対する利用者のモラル向上につながる。また、コンテンツ利用者が簡単に手元で検証できる著作権情報と検証ができない配布先である情報コンテンツ利用者のユーザ情報とを同時に多重化することで、利用者の簡単な著作権情報検証と不正コピー防止といった、より高度な著作権保護も行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施例の著作権保護システムの全体構成図である。
【図２】ＭＰＥＧ標準の符号化方式による画像データの構造を示す図である。
【図３】各ピクチャの参照関係を示す図である。
【図４】著作権保護システムにおける著作権情報管理センタの第１の実施例の構成図である。
【図５】ＤＣＴ係数への情報多重化方法の概要を示す図である。
【図６】画素のレンジオーバに対する対処方法の概要を示す図である。
【図７】著作権保護システムにおける著作権情報管理センタの第２の実施例の構成図である。
【図８】著作権保護システムにおける著作権情報管理センタの第３の実施例の構成図である。
【図９】著作権保護システムにおける著作権情報管理センタの第４の実施例の構成図である。
【符号の説明】
１情報コンテンツ提供者
２原デジタル画像
３情報コンテンツ提供者側暗号化装置
４著作権管理センタの公開鍵
５無線および有線の伝送路または流通および配送経路
６著作権管理センタ
７暗号化されたデジタル画像
８著作権管理センタ側復号化装置
９著作権管理センタの秘密鍵
１０復号化されたデジタル画像
１１著作権情報二重登録防止装置
１２著作権情報
１３著作権情報多重化装置
１４著作権管理センタ側暗号化装置
１５情報コンテンツ提供者の公開鍵
１６暗号化された著作権情報多重化済みデジタル画像
１７情報コンテンツ側復号化装置
１８情報コンテンツ提供者の秘密鍵
１９著作権情報多重化済みデジタル画像
２０情報コンテンツ利用者
２１著作権情報抽出装置
２２抽出された著作権情報[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information multiplexing method and a copyright protection system.According to the MPEG standard encoding methodInformation multiplexing that is optimal for protecting the copyright when transmitting, obtaining, and using the created digital image using a digital communication network, that is, a public network or a dedicated network such as a wired or wireless broadcasting network, and an information recording medium. And a copyright protection system using the same.
[0002]
[Prior art]
2. Description of the Related Art In recent years, due to the rapid spread of the Internet, the appearance of a DVD (Digital Video Disk), and the development of digital information compression technology (MPEG: Moving Picture Image Expert Group), information transmission and acquisition of digital images has become active. Digital images stored in a digital storage medium such as a DVD have a format called a write-once system, and a digital output from a playback device has a format such as only from a master disk. Not.
[0003]
On the other hand, regarding copyright protection for digital image coding system data such as MPEG, conventionally, copyright information is simply written on a user data label of a digital image, or data in an MPEG bit stream is simply written. However, a method of simply rewriting the data with other data has been adopted, resulting in a significant deterioration in image quality. In addition, a copyright information multiplexing method that takes image quality into consideration, such as changing according to copyright information that multiplexes low-order bits of a bit string representing a pixel value, has been proposed, but multiplexing is performed by re-encoding image data. There is a problem that the copyright information that has been converted easily disappears.
[0004]
[Problems to be solved by the invention]
The digital image copyright protection technology that has been proposed at present has a problem that image degradation is large and anyone can easily rewrite copyright information or erase copyright information. Although a method of encrypting the digital image itself is conceivable, there is a similar problem with an image obtained by decrypting the encryption applied to the digital image after a valid procedure.
[0005]
An object of the present invention is to multiplex information such as copyright information on a digital image while maintaining high image quality, and to prevent tampering with multiplexed information while maintaining the same quality as an information multiplexed image. An information multiplexing method suitable for MPEG-encoded digital images that conforms to the syntax of image encoding, and has a strength that makes the amount of calculation difficult, and can determine whether the digital image and the multiplexed information have been tampered with. And a copyright protection system.
[0006]
[Means for Solving the Problems]
To achieve the above objectives,In the present inventionThe copyright management center sends the copyright information of the digital image subject to copyright protection to the syntax of the MPEG encoding method, and the information multiplexable area of the digital image data so that the image quality of the digital image does not deteriorate. And a means for multiplexing the copyright information, and copyright protection is realized by registering the copyright of the information content in a copyright database in the copyright management center.
In the information multiplexing, a value of an embedding strength used for information multiplexing is set in advance for each coefficient of a DCT coefficient matrix constituting one block of the MPEG encoded image data, and each of the coefficients in the MPEG encoded image data is set. Used for information multiplexing from within the blocks that make up the pictureQuantizationSelect the DCT coefficient,The selected quantized DCT coefficient is inversely quantized to obtain an original DCT coefficient, and the original DCT coefficient is obtained.Using the value of the embedding strength corresponding to the DCT coefficient,The original DCTThe range of possible values of the coefficient, The width of each subsection becomes the value of the embedding strengthDivided into small sections,The original DCT coefficient value is multiplexed on the basis of a predetermined multiplexable information allocation for each small section, based on the boundary value of the nearest small section of the original DCT coefficient value. Re-quantization after changing to a predetermined value in a small section adjacent to the boundary value representing power informationBasically, this is done.
[0007]
According to the present invention, it is possible to multiplex copyright information even on a created MPEG image, multiplex copyright information on a digital image while maintaining high image quality, and obtain digital image and copyright information. It is possible to determine whether or not there has been tampering.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is an overall block diagram of a copyright protection system to which the present invention is applied. The information content provider 1 uses the public key 4 of the copyright management center 6 distributed in advance by the encryption device 3 to write copyright information and register copyright in the created original digital image 2. Then, the encrypted digital image 7 is sent to the copyright management center 6 using a wired or wireless transmission path or a delivery path using a storage medium.
[0009]
The copyright management center 6 receives the encrypted digital image 7 from the information content provider 1, and decrypts the digital image 7 with the secret key 9 of the copyright management center 6 by the decryption device 8 to obtain the digital image 10. Then, first, the copyright information double registration preventing device 11 checks whether or not the decrypted digital image 10 has been registered in the past. This is performed by checking whether the copyright information double registration prevention flag has already been multiplexed on the digital image 10. Here, only when the received digital image 10 has not been copyright-registered, the copyright information multiplexing device 13 multiplexes the information of the copyright information 12 on which the error correction encoding process has been performed, and further duplicates the copyright information. The registration prevention flag is multiplexed with information, and the copyright is registered in the copyright information database 23. Thereafter, the copyright management center 6 performs an encryption process using the public key 15 of the information content provider in the encryption device 14, and converts the encrypted copyright information multiplexed digital image 16 into a wired or The information is sent to the information content provider 1 using a wireless transmission path or a delivery path using a storage medium.
[0010]
The information content provider 1 decrypts the encrypted digital image 16 with the copyright information multiplexed by the decryption device 17 using the secret key 18 of the information content provider. An information multiplexed digital image 19 is obtained.
[0011]
The digital image 19 whose copyright information has been multiplexed is provided to the information content user 20 using a wired or wireless transmission path or a distribution and distribution path 5 using a digital information storage medium such as a DVD or a CD-ROM. . The information content user 20 can easily obtain the copyright information 22 from the digital image 19 by using the copyright information extraction processing device 21.
[0012]
In the following description of the embodiments, it is assumed that moving image data encoded according to the MPEG standard is a digital image to be multiplexed with copyright information.
[0013]
The image data based on the MPEG standard encoding method has a structure as shown in FIG. Here, information of each frame or field of a moving image is described in a picture layer following a picture start code (PSC).
As shown in FIG. 3, each frame or field information includes an intra-picture (a frame having a moving image or data having information of the entire field, hereinafter referred to as an I picture), a PredictivePPicture (a difference information from a past frame or a field). , And P-pictures), and Bidirectionally-Predictive-Picture (data consisting of difference information from past and future frames or fields; hereinafter, referred to as B pictures). In a P picture and a B picture, another image temporally separated is used as a reference image, and only a difference value from the image is encoded as image information. Further, the picture is subdivided into blocks, DCT (discrete cosine) transform is performed in block units, quantized with an appropriate quantization coefficient, and Huffman coded.
[0014]
The field information of each frame is in the macroblock layer (MB) below the slice layer following the slice start code (SSC), and there are four block layers representing luminance information Y and block layers representing color difference information Cb and Cr. Are represented by a total of six block layers.
[0015]
Each macroblock layer includes a quantization characteristic value, a parameter value of a motion vector, a number of block layers, a block layer, and the like according to the type of the macroblock. These are generally referred to as an intra macroblock, a macroblock with motion assurance, a macroblock without motion assurance, and a macroblock with motion assurance and no coding. The intra macroblock does not guarantee the motion, encodes the image information as it is, and always has six block layers. The macro block with motion assurance uses an image indicated by a motion vector as a reference image, and encodes a difference value from the image. That is, it has the parameter value of the motion vector. The macro block without motion guarantee uses an image having the same coordinates as the macro block as a reference image, and encodes a difference value from the image. That is, it has no parameter value of the motion vector. A macroblock that does not need to be coded with motion assurance has no difference from the image referenced by the motion vector. I have a motion vector. That is, it has the parameter value of the motion vector.
[0016]
Next, a few embodiments of the present invention will be described in detail in which image data encoded according to the MPEG standard is used as a digital image for copyright information multiplexing.
[0017]
<Example 1>
FIG. 4 is a configuration diagram of the copyright management center according to the first embodiment of the present invention. In this embodiment, a picture is subdivided into blocks, and copyright protection is realized by multiplexing copyright information into encoded image data by changing the value of a DCT coefficient representing image information of a DCT-transformed block. Is what you do.
[0018]
An MPEG standard encoding method that is subject to copyright protectionEncoded image dataThe (encoded image) 39 is first sent to the copyright information double registration prevention device 40. The copyright information double registration prevention device 40 uses the copyright information double registration prevention flag position information 38 to secretly protect the encoded image 39 by the copyright information double registration prevention flag extraction processing unit 24. Then, the copyright information double registration prevention flag 25 multiplexed in the copyright information is extracted, and it is checked whether or not the encoded image 39 input by the copyright information double registration verification unit 26 has been registered as a copyright in the past. Only when the copyright of the encoded image 39 has not been registered in the past, the encoded image 46 is sent to the MPEG standard code syntax analysis unit 27 in the copyright information multiplexing device 42. On the other hand, if the copyright of the encoded image 39 has been registered in the past, it has already been registered.Output 41To the information content provider.
[0019]
The MPEG standard code syntax analysis processing unit 27 of the copyright information multiplexing device 42Encoded image 46Is received, the encoded image is separated into image information 28 for each block. The image divided into each block unit is processed by the copyright information multiplexing block selection processing unit 29 for the intra macroblock, the macroblock with motion assurance and the macroblock without motion assurance among the blocks constituting each frame. Then, the entropy of the pixel value of each block is calculated, and if the entropy of the pixel value of the block is greater than a predetermined threshold value 30, the DCT coefficient representing the image information of this block is converted to a copyright information multiplexing processing unit. When the entropy of the pixel value of the block is smaller than the predetermined threshold value 30, the image information of the block is not processed and is sent to the output buffer 44 as it is.
[0020]
The copyright information multiplexing processing unit 31 generates a random number 34 by inputting the random number generation key 33 to the random number generator 32, and uses this to generate one DCT coefficient of the DCT coefficient matrix of the block transmitted. Choose The random number generation key 33 is information known only to the copyright holder. The copyright information multiplexing processing section 31 multiplexes the copyright information 12 for each selected DCT coefficient one bit at a time, and repeats this process to multiplex all the copyright information 12.
[0021]
Here, the copyright information multiplexing processing section 31 selects the selected DCT coefficient dct_{k, l}, The information multiplexing step width 35 is range, and the information multiplexing quantization matrix 36 is [q '._{i, j}], The quantization characteristic value quant of the macroblock, and the quantization matrix [q_{i, j}And α, β, and γ are
[0022]
(Equation 2)

[0023]
When the information to be multiplexed is equal to γmod2,
[0024]
(Equation 3)

[0025]
If the information to be multiplexed is not equal to γmod2,
[0026]
(Equation 4)

[0027]
Is converted to multiplex the copyright information 56. FIG. 5 is a diagram showing the outline.Here, β indicates the embedding strength.
[0028]
The information multiplexed flag is multiplexed on a DCT coefficient different from the DCT coefficient on which the information is multiplexed on the block on which the information is multiplexed. In addition, a block in which the copyright information 12 has not been multiplexed multiplexes a flag indicating that the copyright information has not been multiplexed with the DCT coefficient obtained by multiplexing the copyright information 12.
[0029]
Using a similar technique, the copyright information double registration prevention flag is multiplexed at intervals obtained by using secret information known only to the copyright management center.
[0030]
Here, when the copyright information is multiplexed, the pixel value of the image on which the copyright information has been multiplexed may take a value that cannot be interpreted by the decoder. Since it is possible for the decoder to take pixel values that cannot be interpreted by the blocks in which the copyright information has been multiplexed, the DCT coefficients of these blocks are modified as follows.
[0031]
Let the pixel value matrix of the block image be p_{i, j}, The DCT coefficient subjected to information multiplexing is dct_kl, [P1_{i, j}] [P2_{i, j}] [P_{i, j}], The DCT matrix in which the (0, 0) and (k, l) components have been changed to 0, and all the values other than the (0, 0) and (k, l) components have been changed to 0 has been dequantized and inversed. When a pixel value matrix obtained by DCT transformation is used, a set L_over= ｛(M, n) | p_{m, n}<0orp_{m, n}> M} (the maximum value of the pixel value of M, which is 255 in an 8-bit configuration), L_overIf and only if is not the empty set
[0032]
(Equation 5)

[0033]
, The DCT coefficient matrix [dct '_{i, j}] Is obtained. FIG. 6 is a diagram showing the outline, in which the white bar graph shows the DCT coefficient value immediately after multiplexing, and the black bar graph shows the corrected DCT coefficient value.
[0034]
DCT coefficient matrix [dct '_{i, j}] Is subjected to DCT transformation, inverse quantization, and variable length code assignment, and is converted into an MPEG standard encoding method.
[0035]
By performing the processing described above, the copyright information 12 is multiplexed with the input image data 39, and image data according to the MPEG standard encoding method that can be interpreted by any MPEG decoder is obtained. The copyright management center registers in the copyright information database 43 secret information 37 for extracting the copyright information multiplexed into the MPEG data. The processed image data according to the MPEG standard encoding method is stored in the output buffer 44 and output as the copyright information multiplexed image data 45.
[0036]
The copyright holder provides the information content user with the image data 45 in the MPEG standard encoding system in which the copyright information has been multiplexed. If unauthorized use or duplication of distributed information content is partially left over time, even if the image quality of the information content is slightly degraded, the damage may be caused. It can be proved by extracting copyright information by using a random number generation key that only the copyright owner himself knows that the target information content belongs to the copyright owner.
[0037]
<Example 2>
FIG. 7 is a configuration diagram of the copyright management center according to the second embodiment of the present invention. In this embodiment, a tile to which copyright information is assigned in advance is prepared, and the parameter value of the motion vector in the macroblock layer is set so that the motion vector of the macroblock points to the tile to which the copyright information to be multiplexed is assigned. By changing, the image data is generated by the MPEG standard encoding method in which the copyright information is multiplexed.
[0038]
The image data (encoded image) 47 of the MPEG standard encoding method which is the object of copyright protection is first sent to the copyright information double registration prevention device 48. The copyright information double registration prevention device 48 secretly multiplexes the encoded image 47 with the copyright information double registration prevention flag extraction processing unit 50 using the copyright information double registration prevention flag position information 49. The copyright information double registration prevention flag 51 is extracted, and it is checked whether or not the encoded image 47 input by the copyright information double registration verification unit 52 has been registered as a copyright in the past. In this way, the copyright information double registration prevention device 48 outputs the copyright information-completed output 53 when the copyright information has already been registered, and performs the output when the encoded image has not been registered in the past. Only the coded image 54 is sent to the copyright information multiplexing device 55.
[0039]
Upon receiving the MPEG standard encoded image data 54, the MPEG standard code syntax analysis device 56 in the copyright information multiplexing device 55 divides it into information 57 for each macroblock. Among these macroblocks, the macroblock selection processing unit 58 sends the information 59 of the macroblock with guaranteed motion to the copyright information multiplexing processing unit 60.
[0040]
The parameters of the motion vector include motion_code and motion_r for the horizontal and vertical components, respectively. The value mv of the motion vector of the current macroblock is f_code representing the frame interval with the reference image, and the motion of the previous macroblock is the vector p_mv. Using
[0041]
(Equation 6)

[0042]
Is calculated.
[0043]
The copyright information multiplexing processing unit 60 multiplexes the copyright information one bit at a time with respect to the value of the motion vector of the macroblock with motion assurance. Specifically, when the width of the tile to which the copyright information is assigned is str, the copyright information to be multiplexed is
[0044]
[Outside 1]

[0045]
If the copyright information to be multiplexed is
[0046]
[Outside 2]

[0047]
Otherwise, the reference image and the difference value change due to the change of the motion vector value, and it is necessary to re-encode the DCT coefficient value representing the pixel value of the difference image. But
[0048]
[Outside 3]

[0049]
Among the motion vectors that are equal to, a motion vector that minimizes the code length of the variable-length code representing the DCT coefficient of the re-encoded difference image is searched, and the motion vector is changed to that value.
[0050]
The above-mentioned changed motion vector value is back-calculated using [Equation 6] to obtain motion vector parameters motion_code 'and motion_r', and the original motion vector parameter values motion_code and motion_r are changed to motion_code 'and motion_r'. Generates image data encoded according to the MPEG standard.
[0051]
The image re-encoding processing unit 61 obtains a difference image between the reference image indicated by the motion vector obtained by multiplexing the motion vector copyright information and the original image in the image buffer 62, and calculates the difference value of the difference image as the DCT coefficient and the quantum After that, the original DCT coefficients are replaced with newly encoded codes, and the current frame image is stored in the image buffer 62. Using a similar technique, the copyright information double registration prevention flag is multiplexed at intervals obtained by using secret information known only to the copyright management center. By processing all the frames, image data is obtained according to the MPEG standard encoding method in which copyright information is multiplexed.
[0052]
The copyright management center registers in the copyright information database 66 secret information 68 for extracting the copyright information multiplexed into the MPEG data. The processed image data is sent to the output buffer 64, and the copyright information multiplexed image data 65 is output.
[0053]
The information content user obtains image data according to the MPEG standard encoding method in which the copyright information is multiplexed. The information content user can obtain the copyright information of the image by inputting the image data into the copyright information extracting device. That is, the copyright information extraction device (21 in FIG. 1) receives image data according to the MPEG standard encoding method, and decodes the image for each frame. A motion vector is calculated from parameters of the motion vector of each macroblock in the decoded frame, and copyright information is extracted. Thereafter, the copyright information extraction device connects and reconstructs the extracted copyright information, and presents the copyright information to the information content user.
[0054]
<Example 3>
FIG. 8 is a configuration diagram of the copyright management center according to the third embodiment of the present invention. In this embodiment, image data is generated by changing the quantization characteristic value in the macro block layer and multiplexing the copyright information according to the MPEG standard encoding method.
[0055]
The image data 69 of the MPEG standard encoding method to be copyright protected is first sent to the copyright information double registration prevention device 70. The copyright information double registration prevention flag extraction processing unit 72 uses the copyright information double registration prevention flag position information 71 to copy the copyright information double registration prevention flag 73 secretly multiplexed to the encoded image 69. Using the extracted information, the copyright information double registration verification unit 74 checks whether or not the input encoded image 69 has been registered as a copyright in the past. In this way, the copyright information registered output 75 is performed on the already registered image data, and the encoded image 76 is output only when the input encoded image has not been registered in the past. To the copyright information multiplexing device 77.
[0056]
Image data encoded according to the MPEG standard is provided with quantization characteristic values for dynamically changing the granularity of quantization for each macroblock in each frame. The MPEG standard code syntax analysis processing unit 78 in the copyright information multiplexing device 77 receives the encoded image 76, divides the image data into information 79 for each macroblock, and performs a macroblock extraction process with a quantization characteristic value. The macro block is sorted by the unit 80, the macro block 81 having the quantization characteristic value is sent to the copyright information multiplex processing unit 84, and the macro block 82 having no quantization characteristic value is output as it is. The data is sent to the buffer 46.
[0057]
The copyright information multiplex processing unit 84 multiplexes the copyright information 87 on the quantization characteristic value one bit at a time. Specifically, the copyright information to be multiplexed with the quantization characteristic value quantBut quant mod 2If the copyright information to be multiplexed isquant mod 2If not equal to, the value of quant is ± 1 so that the value of the absolute value decreases by 1, thereby multiplexing the copyright information 12 with the quantization characteristic value.
[0058]
Using a similar technique, the copyright information double registration prevention flag is multiplexed at intervals obtained by using secret information known only to the copyright management center.
[0059]
The processed image data is sent to the output buffer 83, and the copyright information multiplexed image data 85 is output. Further, the copyright management center registers secret information 88 for extracting copyright information 87 multiplexed with the MPEG data in the copyright information database 86.
[0060]
The information content user can know the copyright holder of the information content by sending the obtained copyright information multiplexed image data 85 according to the MPEG standard encoding method to the copyright information extraction device. That is, the copyright information extracting device parses the obtained image data according to the MPEG standard encoding method, and obtains the quantization characteristic value of the macroblock layer. Then, copyright information of the information content is presented to the information content user by extracting and reconstructing the copyright information from each quantization characteristic value.
[0061]
<Example 4>
It is also possible to construct a copyright protection system by variously combining the above embodiments. FIG. 9 shows a fourth embodiment in which the above three are combined as an example. That is, in this embodiment, the copyright information is multiplexed by allocating the copyright information items to the DCT coefficient value indicating the image information of the block and the parameter and the quantization characteristic value of the motion vector value in the macroblock layer. This is to generate image data according to a standardized MPEG standard encoding method.
[0062]
In performing the multiplexing, the copyright information to be multiplexed is divided into two items in advance, which are referred to as copyright information A and copyright information B, respectively.
[0063]
The image data 89 of the MPEG standard encoding method to be protected is first sent to the copyright information double registration prevention device 90. The copyright information double registration prevention flag extraction unit 92 extracts a copyright information double registration prevention flag 93 multiplexed in secret. The copyright information double registration verification unit 94 checks whether or not the input coded image 89 has been registered as a copyright in the past. In this manner, the copyright information double registration prevention device 90 sends the coded image 96 to the copyright information multiplexing device 97 only when the input coded image 89 has not been registered in the past. If the encoded image 89 has been registered in the past, the copyright information registered output 95 is performed.
[0064]
Upon receiving the encoded image 96, the MPEG standard code syntax analysis device 98 in the copyright information multiplexing device 97 divides the coded image 96 into information 99 for each macroblock and sends it to the copyright information multiplexing processing unit 100.
[0065]
When the received information 99 for each macroblock has a quantization characteristic value, the copyright information multiplexing processing unit 100 converts the information of the copyright information 101 by converting the quantization characteristic value in the macroblock layer. A is information multiplexed. At the same time, only when the received information 99 for each macro block is a macro block with motion compensation, a motion vector is calculated from the parameters of the motion vector in the macro block layer, and the motion vector is converted using [Equation 6]. Thus, the information B of the copyright information 101 is multiplexed, and the DCT coefficient is re-encoded by the image re-encoding processing unit 103 using the image buffer 102. The processed macroblock image is stored in the image buffer 102.
[0066]
Simultaneously with these processes, the copyright information multiplexing processing unit 100 determines whether the received information 99 for each macroblock is an intra macroblock, a macroblock with motion assurance and a macroblock without motion assurance, respectively. The entropy of the pixel value is calculated, and if the entropy of the pixel value of the block is larger than a predetermined entropy threshold value 104, information multiplexing is performed.
[0067]
Regarding the multiplexing of the copyright information to the value of the DCT coefficient, the hash value of each of the information A and B of the copyright information 101 is calculated, and this value is multiplexed. Specifically, a random number 107 is generated by a random number generator 106 using a random number generating key 105 which is secret information, and a DCT coefficient for multiplexing copyright information in a DCT coefficient matrix is selected using the random number 107. By changing the value using [Equation 3] and [Equation 4], it is possible to extract information multiplexed with the hash value and the motion vector / quantum characteristic value of the information A and the information B of the copyright information 101. The individual confidential information 108 is multiplexed, and then the pixel value is overranged using [Equation 5].
[0068]
Using a similar method, the copyright information double registration prevention flag is multiplexed in the DCT coefficient area at intervals obtained using secret information known only to the copyright management center. The processed image is sent to the output buffer 109, and the copyright information multiplexed image data 110 is output.
[0069]
When the information content user wants to know the copyright information of the obtained image data 110 according to the MPEG standard encoding method, he or she inputs this data to the copyright information extraction device. The copyright information extracting device receives and decodes image data. Then, a motion vector is calculated from the parameters of the motion vector in the macroblock layer, information is extracted, and this is reconstructed to obtain copyright information A. Further, information is extracted from the quantization characteristic value in the macro block layer, and the extracted information is reconstructed to obtain the copyright information B. Further, using a random number generation key which is secret information, information is extracted from DCT coefficients representing image information of blocks constituting each frame, and the extracted information is reconstructed to obtain copyright information A and copyright information B respectively. Get a hash value. By comparing this hash value with the previously obtained hash values of the copyright information A and the copyright information B, it is determined whether or not the image data has been falsified by the MPEG standard encoding method obtained by the information content user. be able to. The copyright information extracting device presents to the information content user that the information content is legitimate and not pirated information content together with the copyright information of the information content.
[0070]
As described above, in each of the embodiments, the copyright protection system multiplexes the copyright information with the MPEG encoded image data. However, the information multiplexing method of the present invention restricts the multiplexed information to the copyright information in principle. No need.
[0071]
Further, even in the case of a copyright protection system, a system for preventing unauthorized copying can be provided by using information to be multiplexed as individual information corresponding to a user user of a distribution destination.
[0072]
【The invention's effect】
As described above, according to the present invention, it is possible to multiplex copyright information and other information with information content on an encoded digital image, and to convert the encoded digital image into existing encoded digital image data. On the other hand, it can be applied even if there is no original image. In the case of a copyright protection system, it is difficult to tamper with multiplexed copyright information by making digital images and copyright information inseparable, providing higher security than conventional methods. Copyright protection system can be realized.
Also, since the information content user can easily obtain the copyright information at his / her own hand, it leads to the promotion of the sales of the information content, the prevention of the piracy leak, and the improvement of the user's moral with respect to the copyright. Also, by simultaneously multiplexing the copyright information that can be easily verified by the content user and the user information of the information content user who is the distribution destination that cannot be verified, it is possible to verify the copyright information easily and easily More advanced copyright protection such as copy protection can also be performed.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a copyright protection system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a structure of image data according to an MPEG standard encoding method.
FIG. 3 is a diagram illustrating a reference relationship between pictures;
FIG. 4 is a configuration diagram of a first embodiment of a copyright information management center in the copyright protection system.
FIG. 5 is a diagram illustrating an outline of a method of multiplexing information into DCT coefficients.
FIG. 6 is a diagram showing an outline of a method of coping with pixel over-range.
FIG. 7 is a configuration diagram of a second embodiment of the copyright information management center in the copyright protection system.
FIG. 8 is a configuration diagram of a third embodiment of the copyright information management center in the copyright protection system.
FIG. 9 is a configuration diagram of a fourth embodiment of the copyright information management center in the copyright protection system.
[Explanation of symbols]
1 information content provider
2 Original digital image
3 Information content provider side encryption device
4 Public key of copyright management center
5 Wireless and wired transmission lines or distribution and delivery routes
6 Copyright Management Center
7 Encrypted digital image
8 Copyright management center side decryption device
9 Copyright management center secret key
10 Decoded digital image
11 Copyright information double registration prevention device
12. Copyright Information
13 Copyright Information Multiplexer
14 Copyright management center side encryption device
15 Information content provider's public key
16. Encrypted copyright information multiplexed digital image
17 Information content side decryption device
18 Information Content Provider's Private Key
19. Digital image with copyright information multiplexed
20 Information Content Users
21 Copyright information extraction device
22 Extracted copyright information

Claims

A method of multiplexing different information into image data according to an MPEG standard encoding method,
A value of an embedding strength used for information multiplexing is set in advance for each coefficient of a DCT coefficient matrix constituting one block,
Selecting a quantized DCT coefficient to be used for information multiplexing from within blocks constituting each picture in the MPEG encoded image data;
Dequantizing the selected quantized DCT coefficients to obtain original DCT coefficients;
Using the value of the embedding strength corresponding to the original DCT coefficient, the range of possible values of the original DCT coefficient is divided into small sections in which the width of each small section is the value of the embedding strength ,
The original DCT coefficient value is multiplexed on the basis of a predetermined multiplexable information allocation for each small section, based on the boundary value of the nearest small section of the original DCT coefficient value. An information multiplexing method characterized by changing to a predetermined value within a small section adjacent to the boundary value representing power information and re-quantizing the information.

2. The information multiplexing method according to claim 1, wherein a DCT coefficient representing luminance is selected as a DCT coefficient used for information multiplexing from blocks constituting each picture in the MPEG encoded image data. Method.

2. The information multiplexing method according to claim 1, wherein a DCT coefficient representing a color difference is selected as a DCT coefficient used for information multiplexing from blocks constituting each picture in the MPEG encoded image data. Method.

4. The information multiplexing method according to claim 1, wherein a block suitable for multiplexing information is selected by calculating entropy of a pixel value of a block constituting each picture. Information multiplexing method.

4. An information multiplexing method according to claim 2, further comprising multiplexing different information into a DCT coefficient representing luminance and a DCT coefficient representing chrominance.

6. The information multiplexing method according to claim 1, wherein the pixel value matrix of the block image is p _{i, j} , and the information-multiplexed DCT coefficients are dct _{k, l} , [p1 _{i, j} ] and [p2 _{i, j} ] change [p _{i, j} ] to (0,0) and k, l) components, respectively, to values other than (0,0) and (k, l) components. Is a pixel value matrix obtained by changing all the values to 0, in a set L _over = {(m, n)} | pm, n <0orpm, n> M} (where M is the maximum value of the pixel values) , L _over is not an empty set,

Is performed so that the multiplexed information is retained while the multiplexed information is changed. By changing the DCT coefficient, an image of a similar block is obtained so that all pixel values of blocks constituting each picture fall within a predetermined range. An information multiplexing method characterized by performing reconfiguration.

7. The information multiplexing method according to claim 1, wherein the information to be multiplexed is copyright information of image data or individual information corresponding to a user of a distribution destination. Multiplexing method.

In a copyright protection system including an information adding device that adds copyright information to an image encoded by the MPEG standard encoding method and an information separating device that separates copyright information from the MPEG encoded image,
The information adding device,
The value of the embedding strength used for information multiplexing is set in advance for each coefficient of the DCT coefficient matrix constituting one block, and the information multiplexing is performed from the block constituting each picture in the MPEG encoded image data. Selecting a quantized DCT coefficient to be used, dequantizing the quantized DCT coefficient to obtain a DCT coefficient, and using the value of the embedding strength corresponding to the original DCT coefficient, a possible value of the original DCT coefficient Is divided into small sections in which the width of each small section is the value of the embedding strength, and the value of the original DCT coefficient is determined based on allocation of information that can be multiplexed and predetermined for each small section. , After changing to a predetermined value in a small section adjacent to the boundary value representing information to be multiplexed, based on a boundary value of a small section nearest to the original DCT coefficient value, Become First means for multiplexing the information to the encoded image data,
A value of a quantization characteristic value representing a quantization step value of a block constituting each picture in the MPEG encoded image data is divided by a predetermined value to obtain a remainder value, and the value of the quantization characteristic value is multiplexed. If the value of the information to be quantized is not equal to the remainder value, the value is not changed, and if the value is not equal, the value is changed by a predetermined value, and second means for multiplexing the information with the quantization characteristic value ;
Wherein the copyright information is added to the MPEG image by a combination of the first means and the second means.

9. The copyright protection system according to claim 8, wherein the information separating device separates the multiplexed information by a combination of the first means and the second means of the information load device, and compares the multiplexed information with the image and copyright information. Copyright protection system comprising means for judging whether or not there has been tampering.