JP5002524B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、付加情報を画像情報に多重する画像処理装置、画像処理方法、及び、プログラムに関する。

従来、データの不正コピーや改ざんの防止などを目的として、画像情報に特別な情報を多重化する研究が盛んに行われている。一般的に、そのような技術は、電子透かし（多重化）として広く知られている。例えば、電子化された写真や絵画等の画像情報中にその著作者名や使用許可に関する可否等の付加情報が多重化される。近年においては、付加情報を視覚的に判別しにくいように元の画像情報に多重化し、インターネット等のネットワークを介して画像情報を流通する技術が標準化されつつある。一方では、画像情報に多重化処理を行うと、画質が劣化する場合があることも知られており、そのような画質の劣化を改善するための様々な方法が提案されている。

特許文献１には、サイズ、埋め込み強度、パターン減衰率に応じて、多重化する際のパターンを生成する方法が記載されている。特に、パターン減衰率を設定することにより、パターン間でエッジを発生させることなく、パターンの認識処理を効率化することができ、入力画像に対する画質の劣化を抑えることができると記載されている。また、特許文献２には、画像の局所的複雑度に応じて透かしパターンの強度を変更する方法が記載されている。また、テクスチャ領域において、比較的大きな値を持ち、平坦領域又はエッジ部分では、比較的小さな値を持つような画像の局所的複雑度を作成することができると記載され、相対的に電子透かしの耐性が増すと記載されている。

近年、電子透かし技術の発展に従って、従前と同じ画像サイズにおいて、より多くの情報量を多重化できるようになってきている。そのような動きの中で、例えば、付加する情報量が少ない場合に、画像について部分的に多重化処理を行う技術（局所的多重化）が多くなってきている。しかしながら、一方で、局所的多重化を行った場合に、多重化処理を行った領域と行っていない領域との境界付近（多重化境界付近）において、画質劣化が生じてしまうことが新たな課題として挙げられてきた。

特許文献１に記載されている方法は、パターン間での干渉を抑えることを目的としており、多重化境界付近の画質劣化を効果的に軽減することができない。また、特許文献２に記載されている方法は、画像の特性に応じて多重化制御を行っているが、局所的多重化を行った場合の多重化境界付近を考慮した制御を行っていない。従って、多重化境界付近の画質劣化を効果的に軽減することができない。

また、前面に多重化処理を行って、多重化境界付近の画質劣化を回避することが考えられる。しかしながら、その場合には、多重化が必要な領域が少ない場合には不要な領域まで画質劣化が生じてしまう。更に、不要な領域まで多重化処理を行うと、処理時間が長くなってしまう。また、視覚的影響が少ない程度の強度で多重化処理を行って、多重化境界付近での画質劣化を回避しようとすると、画像内からデータを抽出する際に抽出できないおそれが生じてしまう。
特開２００４−１４０７６４号公報（段落００１４） 特開２００３−７８７５６号公報（段落０１４９）

そこで、上記の点に鑑み、本発明は、多重化境界付近において画質劣化を防ぐことができる画像処理装置、画像処理方法、及び、プログラムに関する。

本発明に係る画像処理装置は、付加情報を画像情報に多重化する画像処理装置であって、前記画像情報において、前記付加情報を多重化する多重化強度を一定とする第１領域と、前記付加情報を多重化する多重化強度を一定としない多重化強度変更領域とを設定し、かつ、前記第１領域と前記多重化強度変更領域との境界に、前記付加情報を多重化する多重化強度を一定とする第２領域を設定する領域設定手段と前記多重化強度変更領域において、着目する画素に応じて、多重化強度を設定する多重化強度設定手段と、前記第１領域と前記第２領域には、一定の多重化強度を用いて、前記付加情報を前記画像情報に多重化し、かつ、前記多重化強度変更領域には、前記多重化強度設定手段によって設定された多重化強度を用いて、前記付加情報を前記画像情報に多重化する多重化手段と、を備え、前記多重化手段において前記第２領域に前記付加情報を多重化する際に用いるパターンは、前記第１領域に前記付加情報を多重化する際に用いるパターンとは異なり、かつ、前記多重化強度変更領域に前記付加情報を多重化する際に用いるパターンとも異なるパターンである、ことを特徴とする。

本発明によれば、多重化境界付近において画質劣化を防ぐことができる。

以下に、本発明を実施するための最良の形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

尚、本実施形態における画像処理装置は、主として、コンピュータ内のアプリケーションソフトウェアとして内蔵することが効果的であるが、ハードウェア又は他のソフトウェアの形態として複写機等に内蔵するようにしても効果がある。
＜第１の実施形態の構成＞
図１は、本発明に係る第１の実施形態における画像処理装置の多重化部の構成を示すブロック図である。但し、図１には、本発明に係る構成に関わる部分、即ち、画像情報に付加情報を多重化する多重化部に関わる部分についてのみ示されている。

また、図１に示す各ブロックは、例えば、図１９に示すような画像処理装置のプリンタコントローラ１４内の多重化部１６に構成される。

図１９に示すＣＰＵ１１は、ＲＯＭ１３から初期化のデータを読み込んで起動し、システムの制御を行うとともに、外部Ｉ／Ｆ１２から受信したプリンタ言語データを画像データに変換する。外部Ｉ／Ｆ１２は、外部のネットワークとのインタフェースであって、外部のＰＣ等とデータの送受信を行う。図１９に示すプリンタコントローラ１４は、画像データを処理、一時保存し、プリンタエンジン１５の要求に従って、画像データを出力する。プリンタエンジン１５は、プリンタコントローラ１４から画像データを受け取り、紙等の印刷媒体に印刷動作を行う。また、図１９には、ＣＰＵ１１のワーキングメモリとしての役割を担うＲＡＭ等も接続されて良い。

再び、図１を参照する。図１に示すように、領域設定部１０３に、図１に示す入力端子１０１から付加情報を多重化する画像のサイズが入力され、入力端子１０２から画像内に多重化する付加情報の情報量が入力される。図１に示す領域設定部１０３は、画像領域内に付加情報を多重化する主領域と、多重化強度を変更する多重化強度変更領域と、付加情報を埋め込んだ領域とを判別するための不可視マーカ領域とを設定する。ここで、不可視マーカ領域とは、後述する抽出処理を行う際に用いられる領域であり、不可視マーカ領域を検出することによって、その枠内で多重化された画像データから付加情報を抽出することができる。以下、付加情報設定領域と不可視マーカ領域とを合わせた領域を主領域という。ここで、説明のために、画像領域内に付加情報を多重化する処理は、任意のサイズのブロック単位で行うとする。領域設定部１０３から、付加情報多重化領域と、多重化強度変更領域と、不可視マーカ設定領域とについての座標位置が、多重化位置情報１０４として多重化強度設定部１０５及び付加情報多重化部１０８に出力される。

多重化強度設定部１０５は、多重化処理を行う際の多重化強度を設定し、付加情報多重化部１０８に多重化強度１０６を出力する。

また、図１に示すように、付加情報多重化部１０８に、入力端子１０７から多重化する付加情報が入力され、入力端子１０９から画像情報が入力され、領域設定部１０３から多重化位置情報１０４が入力される。付加情報多重化部１０８は、多重化処理を行う領域において、領域設定部１０３で設定された付加情報多重化領域、不可視マーカ設定領域、多重化強度変更領域に多重化誤差拡散処理を行い、多重化処理を行わない領域においては、通常の誤差拡散処理を行う。付加情報多重化部１０８は、多重化画像１１０を出力する。

図２は、画像領域のブロック分割を説明する図である。画像領域２０１は、本画像処理装置における、例えば、紙面上に印刷される画像領域を示している。画像領域２０１は、画像幅Ｗ［pixel］、画像高Ｈ［pixel］の領域とし、最小ブロック単位でブロック分割される。付加情報を多重化する最小ブロック２０４は、幅ｗ［pixel］、高さｈ［pixel］とする。その１ブロックに所定の情報量が多重化される。ここでは、説明上、簡略化のために、ｗ＝ｈとする。

図３は、付加情報多重化領域において多重化する周期パターンの一例を示す図である。ここで、説明のために、符号に応じて、図３に示すような２種類の周期パターンを多重化することにより、１ブロック当り１［bit］の情報を多重化することができる。図３に示すように、周期パターンには、例えば、それぞれ符号「０」と「１」が割り当てられている。多重化する付加情報の情報量をＮ［bit］とすると、多重化するためにＮブロックが必要となる。本実施形態においては、１ブロックに埋め込められる情報量は、特に１［bit］でなくとも良い。

図４は、局所的に付加情報を多重化する領域を設定することを説明する図である。

付加情報多重化領域４０１は、付加情報を画像情報に多重化する領域であり、多重化するために必要なＮブロック分が確保されている。図４に示すように、付加情報多重化領域４０１は、座標（Ｘｍ１、Ｙｍ１）、（Ｘｍ２、Ｙｍ１）、（Ｘｍ１、Ｙｍ２）、（Ｘｍ２、Ｙｍ２）で囲まれた領域である。この領域の幅はＷｍ［pixel］、高さはＨｍ［pixel］とする。ここでは簡略化のためＷｍ＝Ｈｍの正方形とするが、他の形状であっても良い。付加情報多重化領域４０１は、画像の中心部に限らず、端部であっても良いし、多重化する領域を複数箇所設けても良い。

多重化強度変更領域４０２は、付加情報多重化領域４０１を囲うように設定される。この領域は、幅Ｗｄ［pixel］、高さＨｄ［pixel］とする。ただし、Ｗｄ、Ｈｄは画像領域４０３内に設定される。また、多重化強度変更領域４０２の形状が四角形以外の他の形状であっても良い。また、多重化強度変更領域４０２は、予め固定領域を設定しても良いし、使用者がコンピュータ上で設定しても良いし、多重化処理を行わない領域との割合などから自動的に算出して設定するようにしても良い。ここでは、多重化強度変更領域４０２の領域の一辺は、多重化を行う付加情報多重化領域４０１の一辺の奇数倍として設定する。多重化強度変更領域４０２の幅と高さを、Ｗｄ＝Ｗｍ×３、Ｈｄ＝Ｈｍ×３とし、座標（Ｘｄ１、Ｙｄ１）、（Ｘｄ２、Ｙｄ１）、（Ｘｄ１、Ｙｄ２）、（Ｘｄ２、Ｙｄ２）で設定された領域とする。

不可視マーカ設定領域４０４は、抽出処理において画像から付加情報を抽出する際に用いられる。不可視マーカ設定領域は、座標（Ｘｓ１、Ｙｓ１）、（Ｘｓ２、Ｙｓ１）、（Ｘｓ１、Ｙｓ２）、（Ｘｓ２、Ｙｓ２）で設定される。ここで、不可視マーカ設定領域４０４は、付加情報多重化領域４０１を囲む周囲１ブロックの領域が確保されたとする。
＜多重化強度を変更するパラメータ＞
以下、多重化処理の一例を示し、その際に設定される多重化強度（パラメータ）について説明する。画像領域内に付加情報を多重化する方法としては、画像情報に直接付加情報を多重化することができる離散コサイン変換等の周波数変換を利用した手法や、印刷紙面上に誤差拡散等を利用して付加情報を多重化する等、様々な手法が知られている。本実施形態においては、印刷物の画像領域内に付加情報を多重化する多重化処理において、上記以外の手法が利用されても良い。

本実施形態においては、多重化処理として、ブロック分割された画像に対して付加情報に応じてブロックごとの誤差拡散法の量子化閾値を周期的に変化させる手法を挙げる。この多重化方法については、特開２００１−１４８７７８において既に知られているので、ここでは、簡単に説明する。

図１８は、多重化誤差拡散を説明するための図であり、ブロック内の濃度が均一である場合の通常誤差拡散と、多重化誤差拡散との印刷結果を拡大した図を示している。図１８の（ａ）は、通常誤差拡散を示し、図１８の（ｂ）は、振り幅が大きい場合の多重化誤差拡散を示し、図１８の（ｃ）は、振り幅が小さい場合の多重化誤差拡散を示している。

図１８の（ａ）の通常誤差拡散においては、ブロック内に均一にドットが打たれている。図１８の（ｂ）及び（ｃ）の多重化誤差拡散においては、多重化する付加情報に応じて量子化閾値を周期的に変調させることにより、周期パターンが形成されている。この手法により画像領域内に情報を多重化することができる。また、図１８の（ｂ）及び（ｃ）には、多重化誤差拡散を行う際に、量子化閾値の振り幅を変更した結果が示されている。図１８の（ｂ）は、周期パターンを作成する際に、量子化閾値を変調させる幅が大きい場合を示しており、画像内にパターンが明確に形成される。一方、図１８の（ｃ）は、量子化閾値を変調させる幅が小さい場合を示しており、パターンが明確に形成されない。このように、量子化閾値の振り幅に応じて、形成されるパターンの強度が変化する。以上のように、本実施形態において、多重化強度を変更するパラメータとして、量子化閾値を周期的に変調させる際の閾値の振り幅を用いる。
＜多重化強度の設定＞
図５は、本実施形態における多重化強度設定を説明する図である。図５に示すように、画像領域５０３には、付加情報多重化領域５０１と、５０２は多重化強度変更領域５０２と、不可視マーカ設定領域５０４とが設定されている。画像領域５０３は図４に示す画像領域４０３に対応し、付加情報多重化領域５０１は、図４に示す付加情報多重化領域４０１に対応している。また、多重化強度変更領域５０２は、図４に示す多重化強度変更領域４０２に対応し、不可視マーカ設定領域５０４は、図４に示す不可視マーカ設定領域５０４に対応している。

ここで、処理画素５０５を誤差拡散する場合について説明する。処理画素とは、領域内において、着目した画素のことをいう。処理画素５０５の座標を（ｘ１，ｙ１）とする。本実施形態においては、まず、処理画素５０５が、以上のどの領域に含まれるかを各領域の設定座標を参照して判定する。

その判定の結果、処理画素５０５が付加情報多重化領域５０１及び不可視マーカ設定領域５０４に含まれる場合に、多重化強度である閾値の振り幅を「Ａ」と一定に設定する。ここで、振り幅「Ａ」は、画像情報から付加情報を抽出する際に高いロバスト性を発揮できる値とする。

次に、処理画素５０５が多重化強度変更領域５０２に含まれる場合には、多重化強度は、処理画素５０５と不可視マーカ設定領域５０４との距離ｄに応じて設定する。距離ｄは、以下の数式（１）に従って算出される。

ｄ＝√（（ｘ１−Ｘｓ１）＾２＋（ｙ１−Ｙｓ２）＾２） ・・・（１）
但し、ｘ１＜Ｘｓ１ かつ ｙ１＞Ｙｓ２ である。

数式（１）は、図５に示した領域内に処理画素５０５がある場合に、処理画素５０５と不可視マーカ設定領域５０４との距離を算出する式である。ここで、処理画素５０５が、他の位置に存在する場合には、不可視マーカ設定領域５０４からの最短距離を算出できるよう、Ｘｓ１及びＹｓ２を変更する。

例えば、処理画素５０５が、「ｘ１＜Ｘｓ１ かつ ｙ１＜Ｙｓ１」に存在する場合には、ｄ＝√（（ｘ１−Ｘｓ１）＾２＋（ｙ１−Ｙｓ１）＾２）から求められる。また、処理画素５０５が、「ｘ１＞Ｘｓ２ かつ ｙ１＜Ｙｓ１」に存在する場合には、ｄ＝√（（ｘ１−Ｘｓ２）＾２＋（ｙ１−Ｙｓ１）＾２）から求められる。また、処理画素５０５が、「ｘ１＞Ｘｓ２ かつ ｙ１＞Ｙｓ２」に存在する場合には、ｄ＝√（（ｘ１−Ｘｓ２）＾２＋（ｙ１−Ｙｓ２）＾２）から求められる。

多重化強度変更領域５０２の内、以上の領域以外に処理画素５０５が存在する場合には、不可視マーカ設定領域５０４の一辺との距離が求められる。例えば、図５に示す処理画素５０６の場合には、「ｘ２−Ｘｍ２」が距離ｄとなる。

数式（１）によって算出された距離ｄを用いて、処理画素５０５における量子化閾値の振り幅を「Ａ’」とすると、「Ａ’」は数式（２）に従って算出される。

Ａ’＝ｄ／（Ｙｄ２−Ｙｓ２）×Ａ ・・・（２）
但し、Ｙｄ２ ＞ Ｙｓ２ である。

数式（２）は、図５に示した領域内に処理画素がある場合の多重化強度を算出する式である。ここで、処理画素５０５が、他の位置に存在する場合には、その領域に応じて（Ｙｄ２−Ｙｓ２）を変更する。例えば、処理画素５０６の場合には、「Ａ’＝ｄ／（Ｘｄ２−Ｘｓ２）×Ａ」となる。

数式（２）に示すように、不可視マーカ設定領域５０４からの距離が長くなるほど、量子化閾値の振り幅「Ａ’」が小さくなり、多重化強度が弱くなることが示される。数式（２）においては、距離ｄの、不可視マーカ設定領域５０４と多重化強度変更領域５０２との間の距離に対する割合を用いて多重化強度の変更率を設定しているが、例えば、乱数を使って多重化強度を変更するなど他の方法で変更率を設定しても良い。また、複数のパラメータを制御するようにしても良い。

以上のように設定された多重化強度「Ａ’」が付加情報多重化部１０８に出力される。付加情報多重化部１０８は、付加情報多重化領域５０１において、前述した周期パターンを用いて付加情報を多重化する。また、不可視マーカ設定領域５０４及び多重化強度変更領域５０２において、付加情報多重化部１０８は、付加情報多重化領域５０１で用いるパターンとは異なる周期パターンを用いて多重化する。

図６は、不可視マーカ設定領域５０４と多重化強度変更領域５０２とにおいて用いられるパターンの一例を示す図である。パターン６０１は、不可視マーカ設定領域５０４において用いられるパターンであり、符号「２」が割当てられる。また、パターン６０２は、多重化強度変更領域５０２で用いられるパターンであり、符号「３」が割り当てられる。図６に示すパターンは、図示された以外のパターンであっても良い。また、不可視マーカ設定領域及び多重化強度変更領域において、付加情報と同じ符号が割当てられても良い。
＜多重化動作の概要＞
以下、本実施形態において、画像情報に付加情報を多重化する処理の概要について説明する。

まず、処理画素５０５の座標が、図５に示す領域の内、どの領域に含まれるかを判定し、各領域の設定に応じた処理を行う。ここで、処理画素５０５が、付加情報多重化領域５０１に含まれる場合には、入力された付加情報を多重化する。その際に使用する量子化閾値の振り幅は「Ａ」である。また、処理画素５０５が不可視マーカ設定領域５０４に含まれる場合には、符号「２」を多重化する。その際に使用する量子化閾値の振り幅はＡである。また、多重化強度変更領域５０２に処理画素が含まれる場合には、符号「３」を多重化する。その際に使用する量子化閾値の振り幅は「Ａ’」である。「Ａ’」は、不可視マーカ設定領域５０４からの距離に応じて設定された多重化強度である。処理画素５０５の座標が上記領域以外に含まれる場合には、多重化処理は行われず、通常の誤差拡散処理が行われる。

以上の処理を、処理対象である全画像データに対して実行することにより、局所的に多重化した画像が生成される。付加情報多重化部１０８によって多重化処理された多重化画像１１０が出力され、出力された多重化画像１１０は、例えば、プリントデータとして印刷処理に用いてメディア上に多重化画像を形成することができる。

以上、誤差拡散を利用した多重化方法を説明したが、離散コサイン変換などの周波数変換を利用した場合にも同様の処理を行うことができる。離散コサイン変換を利用した多重化処理においては、付加情報に応じて量子化テーブルの任意の値を変更することで付加情報を多重化する。その際に、量子化テーブルの変更量が少ない場合には、視覚的影響は少なく、変更量が多い場合には、視覚的影響は大きくなる。従って、量子化テーブルの変更量が多重化強度となって、誤差拡散を利用した多重化方法と同様の処理を行うことができる。
＜多重化動作フロー＞
次に、上述した構成を有する画像処理装置の処理の手順について説明する。図７は、図１に示される第１の実施形態における画像処理装置の処理の手順を示すフローチャートである。まず、ステップＳ１０１において、画像情報が読み込まれ、ステップＳ１０２において、多重化する付加情報が読み込まれる。

ステップＳ１０３において、読み込まれた画像情報及び付加情報から取得された画像サイズと付加情報の情報量が領域設定部１０３に入力される。領域設定部１０３において、付加情報多重化領域５０１と、不可視マーカ設定領域５０４と、多重化強度変更領域５０２とが設定される。

ここでは、多重化強度変更領域５０２は、付加情報多重化領域５０１の奇数倍の領域を設定するとする。また、不可視マーカ設定領域５０４は、付加情報多重化領域５０１を囲む周囲１ブロック分の領域が確保されるとする。

ステップＳ１０４において、処理画素５０５が設定され、ステップＳ１０５において、多重化強度設定部１０５によって設定された処理画素５０５が、多重化処理を行う領域に存在するか否かが判定される。処理画素５０５は、例えば、画像領域のデータ読み込みの始点から順に設定されても良い。

ステップＳ１０６において、多重化処理を行う領域と判定された場合には、更に多重化強度変更領域５０２に存在するか否かが判定される。ここで、処理画素５０５が多重化強度変更領域５０２に存在すると判定された場合に、ステップＳ１０７において、数式（１）及び（２）から多重化強度が算出され、量子化閾値の振り幅「Ａ’」が設定される。一方、多重化強度変更領域５０２に存在しないと判定された場合に、多重化強度の算出は行われず、量子化閾値の振り幅は「Ａ」と設定される。

ステップＳ１０８において、付加情報多重化部１０８は、付加情報多重化領域５０１においては、多重化強度「Ａ」と画像情報と付加情報によって多重化処理を行う。その場合に、付加情報多重化部１０８は、付加情報に応じて符号「０」と「１」を多重化する。また、不可視マーカ設定領域５０４においては、符号「２」を多重化する。また、多重化強度変更領域５０２においては、符号「３」を多重化する。また、ステップＳ１０５において、処理画素５０５が多重化処理を行う領域に存在しない場合には、ステップＳ１１０において通常の誤差拡散処理が実行される。

ステップＳ１０９において、全画素について誤差拡散処理が終了したか否かを判定する。ここで、全画素分処理が終了していないと判定された場合には、処理画素５０５の位置座標を更新し、ステップＳ１０４に戻る。一方、全画素分処理が終了したと判定された場合には、本処理を終了する。
＜多重化した付加情報を抽出する構成＞
次に、画像情報内に多重化した付加情報を抽出する抽出処理について説明する。

図８は、本実施形態において、画像情報から付加情報を抽出するブロック構成を示す図である。入力端子８０１から多重化画像が入力される。この入力された多重化画像は、光学的読み取り装置により読み取られた印刷物の画像情報であっても良いし、インターネットなどのネットワーク上から取得した多重化画像であっても良いし、ハードディスクやメモリ内に格納された多重化画像であっても良い。

不可視マーカ検出部８０２は、入力端子８０１から入力された多重化画像から不可視マーカを検出する。不可視マーカの検出は、多重化画像を全面周波数解析し、その周波数解析の結果、不可視マーカの反応が出る箇所を抽出することによって行う。ここで、不可視マーカの検出方法は、離散コサイン変換又は離散フーリエ変換などの周波数解析であっても良いし、他の公知な手法により検出しても良い。不可視マーカ検出部８０２によって不可視マーカが検出されると、不可視マーカ領域内の多重化画像が分離されて出力される。

付加情報抽出部８０４は、付加情報を画像領域内から抽出する。まず、不可視マーカ検出部８０２によって分離された不可視マーカ領域における画像データ８０３が、付加情報抽出部８０４に入力される。

分離され入力された多重化画像を、多重化ブロックサイズｗ×ｗ［pixel］に分割する。分割されたブロック毎にパターンの周期性を解析することにより、多重化された符号を解析することができ、画像から付加情報８０５を抽出し出力することができる。尚、この抽出手法に関しては、特開２００１−１４８７７８で提案されているため、ここでは説明は省略する。また、パターンの周期性の解析方法は、上記手法であってもよいし、公知の手法であっても良い。付加情報抽出部８０４は、ブロック内のパターンを解析し、多重化画像から付加情報を抽出する。
＜多重化した付加情報を抽出する動作＞
次に、上述した構成を有する画像処理装置において付加情報を抽出する処理の手順について説明する。図９は、図８で示す構成において付加情報を抽出する処理の手順を示すフローチャートである。

まず、ステップＳ２０１において、不可視マーカ検出部８０２に、付加情報が多重化された多重化画像が読み込まれる。次に、ステップＳ２０２において、読み込まれた多重化画像に対して、不可視マーカ検出部８０２は、多重化画像から不可視マーカを検出する。

ステップＳ２０３において、検出された不可視マーカ内の画像データが、付加情報抽出部８０４に入力される。付加情報抽出部８０４は、入力された画像データをブロック分割し、ブロック単位でパターン解析を行い、多重化された付加情報を抽出する。図９に示す一連の処理により、付加情報を画像内から抽出する。

上述した第１の実施形態によれば、多重化強度を変更する多重化強度変更領域を設定することにより、付加情報が多重化された領域と多重化されていない領域との境界付近の画質劣化を軽減することができる。また、付加情報を多重化する付加情報多重化領域においては多重化強度を変更しないので、ロバスト性の高い多重化処理を行うことができる。
＜第２の実施形態の構成＞
以下、本発明にかかる第２の実施形態の画像処理装置を説明する。なお、本実施形態において、第１の実施形態と同様の構成については、同一符号を付して、その詳細説明を省略する。

図１０は、第２の実施形態に関する画像処理装置の構成を示すブロック図である。第２の実施形態は、第１の実施形態に基づいて、多重化処理を行う設定条件に応じて領域設定部１０３を制御する。入力端子１００１から、領域設定部１０３に多重化する設定条件を入力する。入力された設定条件に応じて領域設定部１０３で処理される多重化強度変更領域の設定を制御する。
＜設定条件＞
ここで多重化処理する際の設定条件は、例えば、ユーザにより設定されることによる外部からの入力であって、画像サイズなどの画像の特徴、付加情報の重要度、多重化画像を印刷する際の印刷設定などが挙げられる。なお、その他の条件を設定条件として用いてもよいし、少なくとも１つ以上の条件を組み合わせても良い。

以下、印刷設定に応じて、領域設定部１０３を制御する場合について説明する。印刷設定は、印刷する機種、印刷する際の品位、メディアの種類などがある。また、それらの条件の組み合わせなども考えられる。しかし、ここでは説明の簡略化のために、印刷設定は印刷品位に関するものとし、例えば、外部のユーザによって設定された、多重化画像を印刷する際の高画質モード又は普通モードに応じて、多重化強度変更領域を変更する。そのような設定は、本実施形態における条件設定手段の一例である。

図１１は、高画質モード、普通モードでの多重化強度変更領域を示した図である。画像領域１１０５は図５に示す画像領域５０３に対応し、付加情報多重化領域１１０１は図５に示す付加情報多重化領域５０１に対応し、不可視マーカ設定領域１１０２は図５に示す不可視マーカ設定領域５０４に対応している。不可視マーカ設定領域１１０２は、付加情報多重化領域１１０１を囲う周囲１ブロック分の領域が設定される。

本実施形態においては、普通画質多重化強度変更領域１１０３と高画質多重化強度変更領域１１０４とが設定される。各領域の設定は、第１の実施形態と同様に、付加情報多重化領域の奇数倍の領域として設定される。ここでは説明のために、普通画質多重化強度変更領域１１０３の一辺は付加情報多重化領域１１０１の一辺の３倍に設定される。即ち、領域の幅Ｗｌは、Ｗｌ＝Ｗｍ×３とし、領域の高さは、Ｈｌ＝Ｈｍ×３と設定される。

また、高画質多重化強度変更領域１１０４の一辺は、付加情報多重化領域１１０１の５倍に設定される。即ち、領域の幅Ｗｈは、Ｗｈ＝Ｗｍ×５とし、領域の高さＨｈは、Ｈｈ＝Ｗｍ×５と設定される。図１１は、説明の簡略化のために、高画質多重化強度変更領域１１０４と普通画質多重化強度変更領域１１０３を同時に掲載してあるが、実際には印刷設定により、どちらかの多重化強度変更領域が設定される。
＜多重化強度の設定＞
第１の実施形態と同様に、多重化強度設定部１０５において不可視マーカ設定領域１１０２からの距離に応じて多重化強度を変更した場合に、処理画素１１０６での、高画質モードの多重化強度「Ａｈ’」は、次式のように算出できる。

Ａｈ’＝ｄ／（Ｙｈ２−Ｙｓ２）×Ａ ・・・（３）

また、普通モードでの多重化強度「Ａｌ’」は、次式のように算出できる。

Ａｌ’＝ｄ／（Ｙｌ２−Ｙｓ２）×Ａ ・・・（４）

数式（３）及び数式（４）に含まれるｄは、数式（１）から算出する。処理画素１１０６が、図で示した位置以外の場合には、第１の実施形態と同様、不可視マーカ設定領域１１０２との最短距離が算出できるように式を変形する。

高画質モードの数式（３）の分母（Ｙｈ２−Ｙｓ２）と、普通モードの数式（４）の分母（Ｙｌ２−Ｙｓ２）の大小関係において、高画質モード数式（３）の分母の方が、大きく普通モードに比べて強度変化率が小さいので、視覚的影響が少ない。このように印刷設定に応じて、多重化強度変更領域を変化させることにより、多重化強度を変更することができる。ここでは、説明のために高画質多重化強度変更領域１１０４が普通画質多重化強度変更領域１１０３よりも広い場合を用いて説明した。しかし、多重化する手法の特性に応じて、高画質多重化強度変更領域１１０４が普通画質多重化強度変更領域１１０３よりも狭く設定するようにしても良い。
＜多重化動作フロー＞
図１２は、第２の実施形態における多重化処理の動作手順を示すフローチャートであるが、ステップＳ１０４〜Ｓ１１０は、図７に示す第１の実施形態における処理と同じである。

まず、ステップＳ３０１において、画像情報が読み込まれ、ステップＳ３０２において、多重化する付加情報が読み込まれる。次に、ステップＳ３０３において、多重化処理する設定条件が領域設定部１０３に入力される。ここでは、多重化した画像を印刷する際の印刷設定が入力される。

入力された印刷設定に基づいて、ステップＳ３０４において、領域設定部１０３で、付加情報多重化領域１１０１と、不可視マーカ設定領域１１０２と、多重化強度変更領域とが設定される。このとき、入力された設定条件により、多重化強度変更領域が制御される。

ステップＳ３０４以降については、図７に示す処理と同じであるが、ステップＳ１０６で多重化強度変更領域内であると判定された場合に、多重化強度を算出する式は入力された設定条件（印刷品位に関する条件の場合）数式（３）又は（４）を使用する。付加情報を抽出する構成及びその動作手順については、第１の実施形態において説明した図８及び図９と同じなので、説明は省略する。

第２の実施形態によれば、多重化する設定条件に応じて、多重化強度変更領域を制御する。その結果、制御しない場合に比べて、付加情報が多重化された領域と多重化されていない領域との境界付近の画質劣化をより軽減することができ、境界付近での高画質化を実現することができる。また、付加情報を多重化する付加情報多重化領域においては多重化強度を変更しないので、高いロバスト性を実現することができる。
＜第３の実施形態の構成＞
以下、本発明にかかる第３の実施形態の画像処理装置を説明する。なお、本実施形態において、第１及び第２の実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。第３の実施形態は、第１の実施形態を基として、多重化処理を行う設定条件に応じて、多重化強度を制御する。

図１３は、本発明にかかる第３の実施形態に関する画像処理装置の構成を示すブロック図である。入力端子１３０１から、多重化処理する設定条件が多重化強度設定部１０５に入力される。第３の実施形態においては、多重化処理する設定条件に応じて、多重化強度を制御する。
＜設定条件＞
ここで多重化処理する際の設定条件は、画像サイズなどの画像の特徴、付加情報の重要度、多重化画像を印刷する際の印刷設定などが挙げられる。なお、その他の条件を設定条件として用いても良いし、少なくとも１つ以上の条件を組み合わせても良い。ここでは説明のために、第２の実施形態と同様に、多重化画像を印刷する際の印刷品位を設定条件とする。そのような設定は、第１の実施形態と同様に、本実施形態における条件設定手段の一例である。
＜多重化強度の設定＞
第３の実施形態においては、多重化強度設定部１０５内で、多重化強度を変更する際にテーブル（多重化強度設定テーブル）を参照する。高画質モード又は普通モードの印刷設定に応じて参照するテーブルを変更する。以下の説明において、多重化処理に関する領域設定は、第１の実施形態で示した図５と同様とし、処理画素５０５と不可視マーカ設定領域５０４との最短距離ｄは、数式（１）により算出する。

図１４は、多重化強度設定テーブルである。図１４の（ａ）が普通モードの際に参照するテーブル、図１４の（ｂ）が高画質モードの際に参照するテーブルを示している。各図の横軸は、不可視マーカ設定領域５０４からの距離ｄであり、縦軸は、多重化強度を示す。また、多重化強度「Ａ」は、付加情報多重化領域５０１及び不可視マーカ設定領域５０４内で、付加情報が多重化される多重化強度である。ここで、図１４に示すようなテーブルは、例えば、画像処理装置のメモリ等の記憶領域に格納されていても良い。

２つのテーブルを比較すると、高画質モードでは、終点座標Ｙｄ２付近での多重化強度変化率が微小であり、普通モードに比べて、多重化していない領域との差が小さいので、視覚的影響が少なくなる。その結果、高画質な局所的多重化が可能となる。

印刷設定が高画質モードであった場合に、多重化強度設定部１０５に設定条件が入力される。入力された条件に応じて、参照するテーブルとして高画質モードのテーブルが設定される。

処理画素５０５と不可視マーカ設定領域５０４との最短距離ｄを数式（１）により算出する。次に、設定されたテーブルから算出した距離ｄに対応する値を参照し、多重化強度が設定される。印刷設定が普通モードの場合においても同様にして多重化強度が設定される。
＜多重化動作フロー＞
次に、上述した構成を有する画像処理装置の動作手順について説明する。図１５は、図１３に示される実施形態による画像処理装置の処理の手順を示すフローチャートである。ステップＳ１０１〜Ｓ１０３は、図７に示す第１の実施形態と同じである。

ステップＳ１０６における判定処理の後に、ステップＳ４０１において、多重化処理を行う設定条件が多重化強度設定部１０５に入力され、入力された設定条件に応じて、多重化強度設定テーブルが設定される。ステップＳ１０７において、処理画素５０５の位置と不可視マーカ設定領域５０４との距離ｄが算出され、その距離ｄに応じたテーブルから多重化強度が設定される。付加情報を抽出する構成及びその動作手順については、第１の実施形態において説明した図８及び図９と同じなので、説明は省略する。

第３の実施形態によれば、多重化処理する設定条件に応じて、多重化強度を変更するテーブルを設定することにより、付加情報が多重化された領域と多重化されていない領域との境界付近の画質劣化を軽減することができる。また、付加情報を多重化する付加情報多重化領域においては多重化強度を変更しないので、高いロバスト性を実現することができる。
＜第４の実施形態：構成＞
以下、本発明にかかる第４の実施形態の画像処理装置を説明する。なお、本実施形態において、第１の実施形態と同様の構成については、同一符号を付して、その詳細説明を省略する。

図１６は、第４の実施形態に関する画像処理装置の構成を示すブロック図である。第４の実施形態は、第１の実施形態に基づいて、多重化処理を行う設定条件に応じて、領域設定部１０３と多重化強度設定部１０５を制御する。入力端子１５０１及び１５０２から、それぞれ領域設定部１０３と多重化強度設定部１０５とに多重化する設定条件が入力される。
＜設定条件＞
ここで多重化処理する際の設定条件は、画像サイズなどの画像の特徴、付加情報の重要度、多重化画像を印刷する際の印刷設定などが挙げられる。なお、その他の条件を設定条件として用いても良いし、少なくとも１つ以上の条件を組み合わせても良い。また、設定条件と設定条件１５０２とで同一の条件を設定しても良いし、異なる条件を設定しても良い。

ここでは、印刷設定に応じて領域設定部１０３及び多重化強度設定部１０５を制御する場合について説明する。印刷設定は、印刷する機種、印刷する際の品位、メディアの種類などがある。これら条件の組み合わせなどが考えられるが、ここでは説明の簡略化のために、印刷設定は印刷品位に関するものとし、多重化画像を印刷する際に、高画質モードと普通モードに応じて、多重化強度変更領域及び多重化強度を変更する。

領域設定部１０３では、第２の実施形態で説明したように、設定条件に応じて多重化強度変更領域が設定される。また、多重化強度設定部１０５では、第３の実施形態で説明したように、設定条件に応じて多重化強度を設定する際に参照するテーブルを設定する。
＜多重化強度の算出＞
本実施形態における多重化強度設定の概略を説明する。まず、図１１で示したように、付加情報多重化領域１１０１と不可視マーカ設定領域１１０２と普通画質多重化強度変更領域１１０３又は高画質多重化強度変更領域１１０４とが、設定条件に応じて領域設定部１０３で設定される。次に、それぞれの領域の位置情報は、多重化位置情報１０４として出力される。各領域の設定方法は、第２の実施形態における説明と同じである。

次に、多重化強度設定部１０５に、多重化位置情報１０４と設定条件１５０２とが入力される。処理画素１１０６が図１１で示した位置にある場合に、数式（３）又は（４）により、処理画素１１０６と不可視マーカ設定領域１１０２との最短の距離ｄが算出される。

また、多重化強度設定部１０５において、設定条件１５０２により、多重化強度を設定する際に使用する多重化強度設定テーブルが決定される。決定されたテーブルにおいて、算出された距離ｄに対応する多重化強度１０６が設定される。付加情報多重化部１０８において、多重化強度１０６を用いて多重化処理が行われる。
＜多重化動作フロー＞
図１７は、第４の実施形態での多重化処理の動作手順を示すフローチャートであるが、第２の実施形態及び第３の実施形態の組み合わせなので詳細な説明はここでは省略する。 ステップＳ１０１及びＳ１０２において、画像情報及び付加情報が入力された後、ステップＳ５０１において設定条件が読み込まれる。ここでは、設定条件は印刷環境に関する印刷品位が設定される。設定条件の印刷品位が、領域設定部１０３に入力される。ステップＳ１０３において、入力された設定条件から、領域設定部１０３において多重化処理を行う領域設定が行われる。

また、多重化強度変更に関する判定後（ステップＳ１０６）に、多重化する強度を変更する処理に入った場合、ステップＳ５０２において、設定条件１５０２が多重化強度設定部１０５に入力される。入力された設定条件に応じて、多重化強度設定テーブルが設定される。ステップＳ１０７において、処理画素１１０６の位置と不可視マーカ設定領域１１０２との距離ｄが算出され、距離ｄに対応した多重化強度がテーブルから設定される。以下の処理フローに関しては、第１の実施形態と同様であるので省略する。

第４の実施形態によれば、多重化処理する設定条件に応じて、多重化強度変更領域を制御し、更に多重化強度設定を制御することにより、多重化境界付近での高画質化を実現することが可能となる。また、付加情報を多重化する付加情報多重化領域においては多重化強度を変更しないので、高いロバスト性を実現することができる。

また、以下のシステムあるいは装置で本発明の目的は、達成されることは言うまでもない。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラム（画像処理プログラム）コードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明に係る第１の実施形態における画像処理装置の多重化部の構成を示すブロック図である。 画像領域のブロック分割を説明する図である。 付加情報多重化領域において多重化する周期パターンの一例を示す図である。 局所的に付加情報を多重化する領域を設定することを説明する図である。 本実施形態における多重化強度設定を説明する図である。 不可視マーカ設定領域と多重化強度変更領域とにおいて用いられるパターンの一例を示す図である。 図１に示される第１の実施形態における画像処理装置の処理の手順を示すフローチャートである。 本実施形態において、画像情報から付加情報を抽出するブロック構成を示す図である。 図８で示す構成において付加情報を抽出する処理の手順を示すフローチャートである。 第２の実施形態に関する画像処理システムの構成を示すブロック図である。 高画質モード、普通モードでの多重化強度変更領域を示した図である。 第２の実施形態における多重化処理の動作手順を示すフローチャートである。 第３の実施形態における画像処理装置の構成を示すブロック図である。 多重化強度設定テーブルである。 第３の実施形態における画像処理装置の処理の手順を示すフローチャートである。 第４の実施形態に関する画像処理装置の構成を示すブロック図である。 第４の実施形態における多重化処理の動作手順を示すフローチャートである。 多重化誤差拡散を説明するための図である。 画像処理装置の全体構成を示す図である。

符号の説明

１０１、１０２、１０７、１０９、８０１、１００１、１３０１ 入力端子
５０６ 処理画素

Claims (11)

1. 付加情報を画像情報に多重化する画像処理装置であって、
   前記画像情報において、前記付加情報を多重化する多重化強度を一定とする第１領域と、前記付加情報を多重化する多重化強度を一定としない多重化強度変更領域とを設定し、かつ、前記第１領域と前記多重化強度変更領域との境界に、前記付加情報を多重化する多重化強度を一定とする第２領域を設定する領域設定手段と
   前記多重化強度変更領域において、着目する画素に応じて、多重化強度を設定する多重化強度設定手段と、
   前記第１領域と前記第２領域には、一定の多重化強度を用いて、前記付加情報を前記画像情報に多重化し、かつ、前記多重化強度変更領域には、前記多重化強度設定手段によって設定された多重化強度を用いて、前記付加情報を前記画像情報に多重化する多重化手段と、を備え、
   前記多重化手段において前記第２領域に前記付加情報を多重化する際に用いるパターンは、前記第１領域に前記付加情報を多重化する際に用いるパターンとは異なり、かつ、前記多重化強度変更領域に前記付加情報を多重化する際に用いるパターンとも異なるパターンである、ことを特徴とする画像処理装置。
2. 多重化における条件を設定する条件設定手段、を更に備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域設定手段は、前記画像情報において、前記第１領域と、前記第２領域と、前記条件設定手段によって設定された条件に応じて前記多重化強度変更領域とを設定する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記多重化強度設定手段は、前記多重化強度変更領域において、着目する画素及び前記条件設定手段によって設定された条件に応じて多重化強度を設定する、ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記多重化強度設定手段は、前記着目する画素の前記第２領域からの距離が離れる程、多重化強度を小さく設定することを特徴とする請求項１又は２に記載の画像処理装置。
6. 誤差拡散法によって、前記付加情報を画像情報に多重化することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 周波数変換によって、前記付加情報を画像情報に多重化することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記多重化された画像情報から、前記第２領域に前記付加情報を多重化する際に用いるパターンを検出することによって、前記第１領域を特定し、当該特定された前記第１領域から、前記付加情報を抽出する抽出手段、を更に備えることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 付加情報を画像情報に多重化する画像処理装置において実行される画像処理方法であって、
   前記画像処理装置の領域設定手段が、前記画像情報において、前記付加情報を多重化する多重化強度を一定とする第１領域と、前記付加情報を多重化する多重化強度を一定としない多重化強度変更領域とを設定し、かつ、前記第１領域と前記多重化強度変更領域との境界に、前記付加情報を多重化する多重化強度を一定とする第２領域を設定する領域設定工程と、
   前記画像処理装置の多重化強度設定手段が、前記多重化強度変更領域において、着目する画素に応じて、多重化強度を設定する多重化強度設定工程と、
   前記画像処理装置の多重化手段が、前記第１領域と前記第２領域には、一定の多重化強度を用いて、前記付加情報を前記画像情報に多重化し、かつ、前記多重化強度変更領域には、前記多重化強度設定工程において設定された多重化強度を用いて、前記付加情報を前記画像情報に多重化する多重化工程と、を有し、
   前記多重化工程において前記第２領域に前記付加情報を多重化する際に用いるパターンは、前記第１領域に前記付加情報を多重化する際に用いるパターンとは異なり、かつ、前記多重化強度変更領域に前記付加情報を多重化する際に用いるパターンとも異なるパターンである、ことを特徴とする画像処理方法。
10. 前記多重化された画像情報から、前記第２領域に前記付加情報を多重化する際に用いるパターンを検出することによって、前記第１領域を特定し、前記第１領域から、前記付加情報を抽出する抽出工程、を更に有することを特徴とする請求項９に記載の画像処理方法。
11. 請求項１乃至８のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。

Images