JP4414328B2 - 画像処理装置及び画像処理装置 - Google Patents

Description

本発明は、量子化された周波数画像データに大量の付加情報を埋め込み得る画像処理装置及びその関連技術に関するものである。

近年、電子化された音声や映像データであるデジタルコンテンツが増加している。デジタルコンテンツは、オリジナルとまったく同じものを簡単に複製できるため、コンテンツの著作権の保護が重要な課題である。不法に複製、配布されたコンテンツは、オリジナルと区別がつかないため、コンテンツの著作権を主張する証拠を示すことは困難であり、著作権保護の方法が検討されている。

デジタルコンテンツの著作権保護の方法として、「電子透かし」が利用されている。電子透かしとは、音声や映像データの中に、視聴者に知覚困難にデータを埋め込み、また、この埋め込まれたデータから、埋め込まれたデータを取り出す技術である。著作権の保護を行うために、著作権者名や日付等の著作権情報が音声や映像データに電子透かしとして埋め込まれる。不正な複製されたコンテンツから埋め込まれた著作権情報が検出され、そのコンテンツの著作権者を明らかし、不正な複製が防止される。また、情報がコンテンツ全体に埋め込めまれていれば、改ざんの有無だけでなく、具体的な改ざんの個所を特定することも可能である。

また、ＪＰＥＧ／ＭＰＥＧなどの国際標準規格で画像圧縮された画像符号化データに付加情報を埋め込み、復号時に前記付加情報を取り出す手法が幾つか提案されている。

例えば、特許文献１（特開２００２−３３０２７９号公報）は、画像へのデータ埋め込み方法及び当該データの抽出方法を開示する。

埋め込み時に、原画像が８×８画素のブロック単位に分割される。全画面を構成する全てのブロック単位がＤＣＴされ、周波数画像データ（ここでは、ＤＣＴ係数）が生成される。そして、各ブロックが量子化テーブルを用いて量子化され、量子化された周波数画像データのうち最高域に属する１つの係数が１ビットのデータに置き換えられる。この置き換えにより、埋め込むべきデータが量子化された周波数画像データに埋め込まれることになる。さらに、ランレングス符号化とハフマン符号化とが順に実施され、さらに、量子化テーブルの値のうち最高域に属する１つの係数に対応する値が、「１」に置き換えられる。

ＪＰＥＧ符号化を用いるデジタルカメラやカラーファクシミリなどの装置は、ハードウェアにより入力画像を圧縮符号化するので、圧縮符号化の前に電子透かしを埋め込む処理を追加すると、多大なコスト増を招く。これを避けるには、符号化されたデータまたは量子化された周波数画像データを入力し、入力データの符号化に用いられたテーブルまたは量子化に用いられたテーブルに基づき電子透かし情報を入力データに埋め込めばよい。

しかしながら、画像圧縮された画像符号化データに数百バイト以上の大量の付加情報を埋め込む場合、特許文献１によると、各ブロック単位の量子化された周波数画像データを、埋め込みたい所望の個数（一般に「１」ではない）だけ１ビットのデータに置き換える必要がある。

ところで、高域成分のＤＣＴ係数は、量子化によって「０」になることが多く、しばしば高域成分の末尾に至る「０」の塊があらわれる。この性質を利用し、符号化／復号プロセスでは、直流成分から始まり高域成分の末尾までに至るジグザグスキャンのパス上において、高域成分の末尾に至る「０」の塊を、ＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）という特有の符号に置き換えている。こうすれば、数個〜数十個の「０」の塊をたった１つの符号で置き換えることができるから、符号量を著しく削減できる。

ところが、従来の技術では、最高域に属する１つの係数が「１」に置き換えられると、高域成分の末尾が「１」になるから、高域成分の末尾に至る「０」の塊が存在しないことになる。したがって、ＥＯＢによる置き換えができなくなり、その結果、符号量が大幅に増加してしまう。

また、中低域成分のＤＣＴ係数を置き換えることは不可能ではない。しかしながら、上述の技術において最高域に属する１つの係数を置き換えているのは、この係数を置き換えても画質劣化が少ないと考えられるからである。中低域成分のＤＣＴ係数を置き換えると、これらの係数は、画質に深く関与し比較的大きな値を持つため、画質劣化が避けられない。

また、特許文献２（特開２０００−１５１９７３号公報）は、大量の付加情報を画像データに埋め込める技術を開示する。さて、情報の埋め込み前と情報の埋め込み後の間において、周波数画像データの差分の絶対値の総和は、極力小さいことが望ましい。なぜなら、この総和が大きいと言うことは、画像が大きく変化したこと、言い換えれば、情報が埋め込まれた画像の画質が、埋め込み前の画像に比べて大幅に劣化したことを意味するからである。

逆量子化処理は、基本的に、量子化テーブルの該当値と量子化された周波数画像データの該当値とを乗算する処理である。一般に、比較的圧縮率が高い場合、量子化テーブルの値は非常に大きい。したがって、特許文献２にしたがい、量子化された周波数画像データの値を、情報を埋め込むためにほんの僅か操作した（例えば「＋１」等）としても、比較的圧縮率が高い場合、量子化テーブルの値が非常に大きい（例えば「１００」）から、ほんの僅かの操作が何倍〜百倍以上にも増幅されてしまう（差分：＋１＊１００＝＋１００）結果となり、情報の埋め込みによって、復号画像の画質が著しく劣化するという問題点がある。
特開２００２−３３０２７９号公報 特開２０００−１５１９７３号公報

そこで本発明は、高い圧縮率で符号化される入力データについても、画質劣化を抑えつつ、大量の付加情報を埋め込める画像処理装置を提供することを目的とする。

第１の発明に係る画像処理装置は、第１の量子化テーブルと、第１の量子化テーブルとは異なる第２の量子化テーブルと、第１の量子化テーブルを用いて第１の量子化されたデータを逆量子化し周波数画像データを生成する逆量子化部と、周波数画像データを、第２の量子化テーブルを用いて量子化し、第２の量子化データを生成する量子化部と、第２の量子化データに付加情報を埋め込む情報埋め込み部とを備える。

第２の発明に係る画像処理装置は、第２の量子化テーブルの要素において、少なくとも付加情報が埋め込まれる部分に属する要素の値は、第１の量子化テーブルの要素において付加情報が埋め込まれる部分に属する要素の値よりも小さい。

上記の構成により、付加情報の埋め込みのための操作が、量子化テーブルの大きな値で増幅されることを回避できる。したがって、多種多様な圧縮率で符号化された入力データに対して、画質劣化を抑えつつ、大量な付加情報を埋め込むことができる。

本発明によれば、圧縮符号化された入力データの画質を維持しながら、大量な付加情報を埋め込むことができる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態における画像処理装置のブロック図である。図１に示すように、本形態の画像処理装置は、復号部１０１と逆量子化部１０２と量子化部１０３と情報埋め込み部１０４と符号化部１０５を備える。この画像処理装置は、さらに、第１の量子化テーブル１０６、第２の量子化テーブル１０７、テーブル制御部１０８、情報埋め込み部１０４に埋め込み情報を供給する埋め込み情報記憶部１０９を備える。

復号部１０１は、ビットストリームを入力しこれを復号し量子化された周波数画像データ（ＤＣＴ係数）を生成する。逆量子化部１０２は、図３に例示されているような第１の量子化テーブル１０６を用いて量子化されたＤＣＴ係数を逆量子化しＤＣＴ係数を生成する。例えば、量子化されたＤＣＴ係数が図７（ａ）に示すものであり、第１の量子化テーブル１０６の内容が、図７（ｂ）に示すものであるとき、図７（ｃ）に示すようなＤＣＴ係数が出力されることになる。

量子化部１０３は、図４または図５に例示されているような第２の量子化テーブル１０７を用いてＤＣＴ係数を量子化し量子化されたＤＣＴ係数を生成する。例えば、ＤＣＴ係数が図８（ａ）に示すものであり、第２の量子化テーブル１０７の内容が、図８（ｂ）に示すものであるとき、図８（ｃ）に示すような量子化されたＤＣＴ係数が出力されることになる。

後に詳述するように、本形態では、第１の量子化テーブル１０６と第２の量子化テーブル１０７との関係は、テーブル制御部１０８により制御される。但し、第１の量子化テーブル１０６と第２の量子化テーブル１０７の両方を予め固定的に決定できるときは、テーブル制御部１０８を省略しても良い。

情報埋め込み部１０４は、埋め込み情報記憶部１０９から埋め込み情報を入力し、後述する規則に従い、量子化部１０３から出力される、量子化されたＤＣＴ係数に情報を埋め込む。

符号化部１０５は、情報埋め込み部１０４により情報が埋め込まれた、量子化されたＤＣＴ係数を符号化し、ビットストリームを生成する。

次に、図１０（ａ）に示すように、埋め込み情報（１３，４６）を埋め込む場合を例にとって、さらに詳しく説明する。ここでは、第１の量子化テーブル１０６が図３に示す内容であるものとする。

図６に示すように、テーブル制御部１０８は、ステップ３００にて、埋め込み情報記憶部１０９から埋め込み情報（１３，４６）を取得しこれを二値化する。その結果、（０，０，０，０，１，１，０，１，０，０，１，０，０，１，１，０）という１６ビット長をもつビット列が得られる。ステップ３０１にて、テーブル制御部１０８は、この二値化により、情報埋め込みに関与する対象係数の位置を決定する。図１０（ａ）の矢印Ｎで示すように、この例では、直流成分から始めジグザグスキャンのパスに沿って、１６個の対象係数が定められるものとする。

ステップ３０２にて、テーブル制御部１０８は、図３に示される第１の量子化テーブル１０６の対象係数（１６，１１，１２，１４，・・・，２４，４０）を得る。そして、これらの二乗和Ｓを求める。また、ステップ３０３にて、テーブル制御部１０８は、第１の量子化テーブル１０６の内容をそのまま第２の量子化テーブル１０７へ複写する。

ステップ３０４にて、テーブル制御部１０８は、二乗和Ｓと予め設定されている閾値ＴＨとを大小比較する。Ｓ＞ＴＨならば、第２の量子化テーブル１０７の値が比較的大きく、圧縮率が高いということができる。このとき、ステップ３０５にて、テーブル制御部１０８は、乗算値Ｋ（０＜Ｋ＜１）を求める。乗算値Ｋは、予め定めた一定値（例えば、Ｋ＝０．５等）でもよいし、二乗和Ｓに基づいて定めても良い。そして、ステップ３０６にて、テーブル制御部１０８は、乗算値Ｋを第２の量子化テーブル１０７の各値に乗算する。０＜ｋ＜１であるから、当然乗算結果の絶対値は、乗算前のそれよりも小さくなる。

図３に示す第１の量子化テーブル１０６の全ての値に、乗算値Ｋ＝０．５が乗算されると、第２の量子化テーブル１０７は、図４に示すようになる。但し、情報の埋め込みに関与するのは、対象係数に対応する箇所だけであるから、図５に示すように、第１の量子化テーブル１０６の一部の値だけに乗算値Ｋを乗算しても良い。

さて、ステップ３０４にて、二乗和Ｓが閾値ＴＨ以下であるときは、第２の量子化テーブル１０７の値が比較的小さく、圧縮率が低いと言うことができる。このとき、本形態では、テーブル制御部１０８は、第２の量子化テーブル１０７の値を変えずにそのまま使用する。その結果、第１の量子化テーブル１０６と同じ量子化テーブルが使用されることになる。しかしながら、このときも、大きめの乗算値Ｋ（例えばＫ＝０．９等）を乗算するようにすることもできる。

次に、図９を参照しながら、情報埋め込み部１０４の処理を説明する。情報埋め込み部１０４は、量子化部１０３から量子化されたＤＣＴ係数を入力すると、ステップ４００にて、埋め込み情報記憶部１０９から埋め込み情報を取得し、これを二値化する。そして、ステップ４０１にて、情報埋め込み部１０４は、二値化された埋め込み情報のビット長Ｌを求め、カウンタｉを「１」に初期化し、情報埋め込み部１０４は、ステップ４０２以降においてビット長Ｌの全てのビットについて、次のようなビット操作を行い、その結果、埋め込み情報を量子化されたＤＣＴ係数に埋め込む。

即ち、ステップ４０３にて、情報埋め込み部１０４は、埋め込み情報のｉ番目のビット値を変数Ｖａｌにセットし、量子化されたＤＣＴ係数におけるジグザグスキャン（先頭は直流成分；図１０（ａ）矢印Ｎ参照）のｉ番目の係数を変数Ｃにセットする。

ステップ４０４にて、変数Ｖａｌにより処理が分岐する。変数Ｖａｌが「０」のときはステップ４０５へ処理が移行し、変数Ｖａｌが「１」のときはステップ４０９へ処理が移行する。

ステップ４０５では、情報埋め込み部１０４は、変数Ｃが奇数かどうかチェックし、偶数ならばステップ４１３へ処理を移行する。奇数ならば、ステップ４０６にて、変数Ｃが正かどうかチェックし、正ならばステップ４０８にて変数Ｃから「１」を引き、負ならばステップ４０７にて変数Ｃへ「１」を加える。これにより、変数Ｃは、「０」へ近づくことになる。

ステップ４０９では、情報埋め込み部１０４は、変数Ｃが偶数かどうかチェックし、奇数ならばステップ４１３へ処理を移行する。偶数ならば、ステップ４１０にて、変数Ｃが正かどうかチェックし、正ならばステップ４１１にて変数Ｃから「１」を引き、負ならばステップ４１２にて変数Ｃへ「１」を加える。これにより、変数Ｃは、「０」へ近づくことになる。

そして、ステップ４１３にて、情報埋め込み部１０４は、カウンタｉに「１」を加えて、ステップ４０２以降の処理を繰り返す。

上述したように、図１０（ａ）に示すように、例えば、埋め込み情報が（１３，４６）であるとき、これを二値化した結果、（０，０，０，０，１，１，０，１，０，０，１，０，０，１，１，０）という１６ビット長をもつビット列が得られる。この場合、ビット列の先頭３ビットは全て「０」であるから、これらのビットに対応するＤＣＴ係数（３２，９，−１４）において、ＤＣＴ係数（３２）は、偶数であり変更されない。次のＤＣＴ係数（９）は奇数であるから「０」に近い偶数「８」に変更される。さらに、次のＤＣＴ係数（−１４）は偶数であるから変更されない。以下同様に、情報埋め込み部１０４による処理が行われ、その結果は、図１０（ｂ）に示すようになる。なお、図１０（ｂ）において斜線が付された矩形は、対象係数である。

次に、図２を参照しながら、本形態の画像処理装置による全体的な処理を説明する。図２は、図１の画像処理装置で行う処理を示すフローチャートである。

まず、復号部１０１は、入力される圧縮符号化データをハフマン復号などのエントロピー復号を行い、第１の量子化データを生成する（ステップＳ２０１）。一般に、静止画の場合、入力される圧縮符号化データはＪＰＥＧデータである。

次に、逆量子化部１０２は、復号部１０１で出力された第１の量子化データを、量子化時に用いた第１の量子化テーブル１０６に基づき逆量子化して周波数画像データを生成する（ステップＳ２０２）。ここでは、周波数画像データは、ＪＰＥＧデータから生成されたものであるから、ＤＣＴ係数である。

次に、量子化部１０３は、逆量子化部１０２で用いた第１の量子化テーブルと異なる、図４の第２の量子化テーブル（第１の量子化テーブル１０６とは異なる）を用いて、周波数画像データ（ＤＣＴ係数）を量子化して、第２の量子化データを生成する（ステップＳ２０３）。なお、第２の量子化テーブル１０７の各要素は、第１の量子化テーブル１０６の各要素より、小さい値である。

次に、情報埋め込み部１０４は、量子化部１０３で出力された第２の量子化データに所定の規則で操作することにより、所定の付加情報を埋め込む（ステップＳ２０４）。なお、所定の規則で操作する埋め込み法は、上述のように、付加情報のビット値に応じて量子化データの値を偶数か奇数に変更するものでよい。

埋め込みデータ量に関し、例えば、入力画像サイズが３２０×２４０画素であり、８×８画素のＤＣＴブロック単位に１６ビット（２バイト）の付加情報を埋め込む場合、３２０×２４０画素からなる入力画像について、１２００個のＤＣＴブロックを利用でき、合計２４００バイトの情報を埋め込むことができる。

次に、符号化部１０５は、付加情報が埋め込まれた量子化データをハフマン符号などのエントロピー符号化して付加情報が埋め込まれたＪＰＥＧ圧縮データを生成する（ステップＳ２０５）。

次に、図１１を参照しながら、本形態の画像処理装置による、情報が埋め込まれた、量子化されたＤＣＴ係数と、値が比較的大きく圧縮率が高い第１の量子化テーブル１０６を第２の量子化テーブル１０７としてそのまま用いた場合を、具体的に比較する。まず、情報を埋め込む前の量子化されたＤＣＴ係数が図１１（ａ）に示すような内容であるものとする。

このとき、本形態によれば、図１１（ｂ）のような結果が得られる。このとき、埋め込み前後においてＤＣＴ係数の差分の絶対値の総和を求めると、「５４」である。

一方、同じ場合、第１の量子化テーブル１０６をそのまま第２の量子化テーブル１０７として処理すると、図１１（ｃ）のような結果が得られる。このとき、上記総和は、「１２４」である。

即ち、本形態によると、上記総和が１／２以下に縮小されている。言い換えると、同じ情報を埋め込んでいるにもかかわらず、本形態によれば、画質の劣化が大幅に抑制できることが理解されよう。

以上のように、本形態の画像処理装置によれば、既に大きな値の量子化テーブルで画像圧縮して符号化されたデータに対して、量子化テーブルの各要素を小さい値に変換して、量子化しているため、量子化データの値を微小に変更して付加情報を埋め込んだとしても、逆量子化により変換された値は、埋め込む前の値と大きな差とならない。この結果、圧縮符号化された入力データの画質を維持しながら、大量な付加情報を埋め込むことができる。

また、既に第１の量子化テーブルである大きな値の量子化テーブルで画像圧縮して符号化されたデータは、高域成分のＤＣＴ係数はほとんど零となっているため、再度、第２の量子化デーブルで量子化したとしてもそのまま零となり、中低域成分に対応する量子化データのみに付加情報を埋め込むことで符号化データの符号量増加を削減できる。

なお、入力される圧縮符号化データは、ＪＰＥＧデータ以外にも動画像符号化ＭＰＥＧデータやＪＰＥＧ２０００などの圧縮符号化データでもよい。つまり、量子化を伴う符号化データであればこれに限定されない。

さらに、図５に示すように、第２の量子化テーブル１０７は、全ての要素が第１の量子化テーブル１０６より小さい値である必要はなく、付加情報を埋め込む量子化データに対応する左上の位置の値のみが第１の量子化テーブル１０６より小さくなっていれば十分である。

また、第１の量子化テーブル１０６がはじめから小さい値である場合は、第２の量子化テーブル１０７に置き換える必要はなく、そのまま第１の量子化テーブル１０６を用いても同様な効果がある。

なお、典型的には、本形態の画像処理装置を構成する各機能は、所定のプログラムデータが格納されたＲＯＭ、ＲＡＭ、ハードディスク等の記憶装置と、当該プログラムデータを実行するＣＰＵ（セントラル・プロセッシング・ユニット）とによって実現される。この場合、各プログラムデータは、ＣＤ−ＲＯＭやフレキシブルディスク等の記憶媒体を介して導入されてもよい。

本発明に係る画像処理装置は、例えば、ＪＰＥＧ／ＭＰＥＧ等の規格に準拠したデータに情報を埋め込む分野等において好適に利用できる。

本発明の実施の形態１における画像処理装置のブロック図 本発明の実施の形態１における画像処理装置のフローチャート 本発明の実施の形態１における第１の量子化テーブルの例示図 本発明の実施の形態１における第２の量子化テーブルの例示図 本発明の実施の形態１における第２の量子化テーブルの例示図 本発明の実施の形態１におけるテーブル制御部のフローチャート （ａ）本発明の実施の形態１における量子化されたＤＣＴ係数の例示図 （ｂ）本発明の実施の形態１における第１の量子化テーブルの例示図 （ｃ）本発明の実施の形態１におけるＤＣＴ係数の例示図 （ａ）本発明の実施の形態１におけるＤＣＴ係数の例示図 （ｂ）本発明の実施の形態１における第２の量子化テーブルの例示図 （ｃ）本発明の実施の形態１における量子化されたＤＣＴ係数の例示図 本発明の実施の形態１における情報埋め込み部のフローチャート （ａ）本発明の実施の形態１における情報埋め込み処理の説明図 （ｂ）本発明の実施の形態１における情報埋め込み結果の例示図 （ａ）本発明の実施の形態１におけるＤＣＴ係数（埋め込み前）の例示図 （ｂ）本発明の実施の形態１におけるＤＣＴ係数（埋め込み後）の例示図 （ｃ）比較例におけるＤＣＴ係数（埋め込み後）の例示図

符号の説明

１０１ 復号部
１０２ 逆量子化部
１０３ 量子化部
１０４ 情報埋め込み部
１０５ 符号化部

Claims (7)

1. 第１の量子化テーブルと、
   前記第１の量子化テーブルとは異なり、かつ少なくとも付加情報が埋め込まれる部分に属する要素の値が、前記第１の量子化テーブルの要素において前記前記付加情報が埋め込まれる部分に属する要素の値よりも小さい第２の量子化テーブルと、
   前記第１の量子化テーブルを用いて量子化された第１の量子化データを逆量子化し周波数画像データを生成する逆量子化部と、
   前記周波数画像データを、前記第２の量子化テーブルを用いて量子化し、第２の量子化データを生成する量子化部と、
   前記第２の量子化データに前記付加情報を埋め込む情報埋め込み部とを備える画像処理装置。
2. 圧縮データを復号して前記第１の量子化データを生成する復号部と、
   前記情報埋め込み部により付加情報が埋め込まれた前記第２の量子化データを符号化して圧縮データを生成する符号化部とをさらに備える請求項１記載の画像処理装置。
3. 前記情報埋め込み部は、埋め込み後の値が埋め込み前の値よりも「０」に近づくように前記付加情報を埋め込む請求項１または２記載の画像処理装置。
4. 前記第１の量子化テーブルの値に基づいて、前記第２の量子化テーブルの値を制御するテーブル制御部をさらに備える請求項１から３のいずれかに記載の画像処理装置。
5. 前記付加情報が埋め込まれる部分に属する要素は、直流成分を基点としてジグザグスキャンの経路に沿って定められる請求項１から４のいずれかに記載の画像処理装置。
6. 第１の量子化テーブルを用いて量子化された第１の量子化データを逆量子化し周波数画像データを生成する逆量子化ステップと、
   前記周波数画像データを、前記第１の量子化テーブルとは異なる第２の量子化テーブルを用いて量子化し、第２の量子化データを生成する量子化ステップと、
   前記第２の量子化データに付加情報を埋め込む情報埋込ステップとを備え、
   前記第２の量子化テーブルの要素において、少なくとも前記付加情報が埋め込まれる部分に属する要素の値は、前記第１の量子化テーブルの要素において前記前記付加情報が埋め込まれる部分に属する要素の値よりも小さい画像処理方法。
7. 第１の量子化テーブルを用いて量子化された第１の量子化データを前記第１の量子化テーブルを用いて逆量子化し周波数画像データを生成する逆量子化ステップと、
   前記周波数画像データを、前記第１の量子化テーブルとは異なる第２の量子化テーブルを用いて量子化し、第２の量子化データを生成する量子化ステップと、
   前記第２の量子化データに付加情報を埋め込む情報埋込ステップとを備える画像処理プログラムであって、
   前記第２の量子化テーブルの要素において、少なくとも前記付加情報が埋め込まれる部分に属する要素の値は、前記第１の量子化テーブルの要素において前記前記付加情報が埋め込まれる部分に属する要素の値よりも小さい画像処理プログラムをコンピュータ読み取り可能に記録した記録媒体。

Images