JP5016542B2 - 画像処理装置、画像記憶装置、および、画像処理装置のプログラム - Google Patents

Description

本発明は、合成画像などに用いる部品画像を自動的に生成する画像処理装置およびそのプログラム、並びに、部品画像を記憶保管する画像記憶装置に関するものである。

従来より、写真を切り抜いて、コラージュ加工したり、文章やイラストなどと一緒に飾り付けをした作品を楽しんでいた。特に、近年ではデジタル画像を用いてパソコン上で同様の加工を行っている。具体的には、デジタル画像から素材となるオブジェクト部分を部品画像として切り出して合成することによってこのような加工を行っているが、このような素材となる部品画像の作成は、人間が目視で使用したいオブジェクト領域を画像の中から選び出して必要な部分を切り出している。しかし、多数の画像の中から、適切な領域を選択したり、最適なオブジェクト領域を抽出するためには大変時間がかかる。

そこで、人間の顔のように特定のオブジェクトを切り出す際には、そのオブジェクトに対応した検出技術（例えば、顔検出技術）を用いて画像から特定のオブジェクト（例えば、顔部分）を自動検出し、そのオブジェクトを独立した画像として切り出して、テンプレートなどと合成する手法を提案したものがある（例えば、特許文献１など）。
特開２００６−８６７３２号公報

しかしながら、コラージュのような作品を作成する際には、特定のオブジェクトの画像だけで作成するような場合は少なく、いろんな種類のオブジェクトを貼り合わせて作品を完成させる場合が多い。従来から提案されているような特定のオブジェクトを検出する検出器を用いて、多種のオブジェクトを使ったコラージュを作成するためには、必要とするオブジェクトに対応する検出器をそれぞれ用意しなければならなくなる。

また、特定のオブジェクトを検出する検出器のみを用いた場合には、画像中に特定のオブジェクト以外の注目を引くような画像部分が存在していたとしても、用意した検出器の検出対象となるオブジェクトしか抽出することができず、他の注目を引く画像部分を抽出することはできない。

そこで、本発明は、上記事情に鑑みてなされたものであり、画像中の注目する画像部分を自動的に抽出して合成画像に用いる部品画像を作成することができる画像処理装置、画像記憶装置および画像処理装置のプログラムを提供することを目的とするものである。

本願発明の画像処理装置は、オリジナル画像を記憶するオリジナル画像記憶手段と、
前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出して画像の合成に用いる部品画像を作成する部品画像作成手段と、
該部品画像作成手段により作成された部品画像を記憶する部品画像記憶手段とを備えることを特徴とするものである。

本願発明の画像記憶装置は、複数の画像を合成して合成画像を作成するために用いられる部品画像を記憶する画像記憶装置であって、
オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が周囲の画像の特徴と違う度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出して、該抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出した画像を合成に用いる部品画像として記憶した部品画像記憶手段を備えることを特徴とするものである。

本願発明のプログラムは、コンピュータを、
オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向に基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いに応じて注目領域を前記オリジナル画像の中から抽出する注目領域抽出手段と、
該注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出して画像の合成に用いる部品画像を作成する部品画像作成手段として機能させることを特徴とするものである。

「注目領域」とは、オリジナル画像上の視覚的に注目される領域をいうが、「注目領域」には、真に視覚的に注目されるか否かにかかわらず、視覚的に注目される可能性が高いと判定された領域を含むものである。視覚的に注目される領域は、周囲の画像と色、明度、および、オリジナル画像に現れた直線成分の方向などが異なるために注目されることが多いので、色、明度、および、オリジナル画像に現れた直線成分が周囲と異なる領域を「注目領域」として抽出する。

「注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出す」は、注目領域の全体ではなく少なくとも一部が含まれるように画像を切り出せばよい。また、切り出した１つの画像内に２箇所以上の注目領域が含まれるように切り出してもよい。

また、前記注目領域抽出手段が、抽出した各注目領域に対する注目度を算出するようにして、前記画像処理装置が、前記部品画像のうち該部品画像に含まれる注目領域の注目度が高い部品画像に対して特殊表示効果加工処理を施した画像を部品画像として前記部品画像記憶手段に追加記憶する部品画像加工処理手段をさらに備えるようにするのが好ましい。

「特殊表示効果加工処理」とは、静止画像に特殊な表示効果を与えるための加工処理をいい、例えば、モノクロ化（白黒、セピアなど）、エンボス加工、ソラリゼーション、モザイク化、絵画表現、ポスタリゼーション、クロスフィルタ、ソフトフォーカス、エッジ表現、ステンドグラス表現、色反転などがある。

さらに、前記部品画像加工処理手段が、前記注目度が低い注目領域を含む部品画像より前記注目度が高い注目領域を含む部品画像に対してより多くの種類の特殊表示効果加工処理を施した部品画像を作成して前記部品画像記憶手段に追加記憶させるものが望ましい。

本発明によれば、オリジナル画像より、画像中の各部分の特徴がその部分の周囲に位置する部分の特徴と異なる度合いを求めて注目領域を抽出して、抽出した注目領域を含む所定の範囲の画像を部品画像として記憶することにより、特定のオブジェクトに限られない種々の部品画像を用意することができる。

また、抽出した各注目領域の注目度を算出するようにして、注目度が高い注目領域を含む部品画像に対しては特殊表示効果加工処理を施した画像を部品画像として追加するようにすれば、利用価値の高い部品画像を用意することができる。

さらに、注目度が低い注目領域を含む部品画像より注目度が高い注目領域を含む部品画像に対して、より多くの種類の特殊表示効果加工処理を施した部品画像を作成するようにすれば、利用される可能性の高い部品については、さらに利用価値を高めることができる。

以下、図面を参照しつつ、本発明の第１の実施の形態について説明する。図１に、本発明の画像処理装置の概略構成図を示す。

画像処理装置１は、補助記憶装置に読み込まれたアプリケーションプログラムがコンピュータ（例えば、ワークステーション等）上で実行されることにより実現される。画像処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体として配布され、記録媒体からコンピュータにインストールされても良いし、インターネット等のネットワーク経由で接続されたサーバからダウンロードされた後にインストールされてもよい。

画像処理装置１は、オリジナル画像Ｐを記憶するオリジナル画像記憶手段１０と、オリジナル画像Ｐの色、明度、および、このオリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐの中から注目領域を抽出する注目領域抽出手段１１と、注目領域を含む所定の範囲内の画像をオリジナル画像Ｐから切り出して画像の合成に用いる部品画像Ｑを作成する部品画像作成手段１２と、部品画像Ｑを記憶する部品画像記憶手段１３と、部品画像Ｑに特殊表示効果加工処理を施す部品画像加工処理手段１４と、部品画像Ｑを使った合成画像を作成するための合成画像生成手段１５とを備える。

オリジナル画像記憶手段１０は、ハードディスクなどの大容量記憶装置や画像処理装置１に接続された記録媒体などである。オリジナル画像記憶手段１０には、デジタルスチールカメラやデジタルビデオカメラによって撮影された撮影画像、あるいは、イラストレーターなどの画像作成用ソフトなど用いて作成したイラスト画像などがオリジナル画像Ｐとして多数記憶されている。このオリジナル画像Ｐは、静止画像のことをいう。以下、オリジナル画像Ｐは静止画像として説明する。

部品画像記憶手段１３は、ハードディスクなどの大容量記憶装置である。部品画像記憶手段１３には、オリジナル画像Ｐから切り取られた部品画像Ｑが記憶される。

合成画像生成手段１５は、部品画像記憶手段１３に記憶されている部品画像Ｑを用いてコラージュ、電子アルバムなどの合成画像を作成する機能を備えている。

注目領域抽出手段１１は、オリジナル画像Ｐを目視で確認したときに注目される部分を注目領域として抽出する。例えば、オリジナル画像Ｐ上の一部の色が周囲の色と異なる部分、オリジナル画像Ｐ上の一部が周囲に比べて非常に明るい部分、平坦な画面上に現れた直線部分などが画像を見たとき注目される領域となる。そこで、オリジナル画像Ｐの色、明度、および、オリジナル画像Ｐに現れた直線成分の方向に基づいて、オリジナル画像Ｐ中の各部分の特徴がその部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの異なる度合いが大きいところを注目領域として抽出する。

このように視覚的に注目される注目領域は、色、明度、画像中に現れた直線成分などの画像を構成する要素が周囲と異なる特徴を持っている。そこで、オリジナル画像Ｐの色（Color）、オリジナル画像Ｐの明度（Intensity）、オリジナル画像Ｐに現れた直線成分の方向（Orientation）を用いて、画像中の各部分の特徴が、その部分の周囲に位置する部分の特徴と異なる度合いを求め、異なる度合いが大きい部分が視覚的に注目される注目領域であると考えられる。具体的には、IttiやKoch達によって提案された手法を用いて、視覚的に注目される注目領域を自動的に抽出することができる（例えば、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 20, NO. 11, NOVEMBER 1998 “A Model of Saliency-Based Visual Action for Rapid Scene Analysis”, Laurent Itti, Christof Koch and Emst Neiburを参照）。

図２に従って、この手法を用いて注目領域を抽出する処理の流れについて説明する。

まず、オリジナル画像Ｐにフィルタリング処理を施して明度をあらわす画像と複数の色成分に分けた色成分の画像とをそれぞれ生成する（Ｓｔｅｐ１）。

まず、オリジナル画像Ｐから明度の画像Ｉを生成して、さらに、明度の画像ＩのGaussian pyramidを生成する。このGaussian pyramidの各階層の画像をI（σ）（σは画素のスケールを表し、σ∈[0..8]とする）とする。

次に、オリジナル画像Ｐを４つの色成分の画像Ｒ（赤），Ｇ（緑），Ｂ（青），Ｙ（黄）に分ける。さらに、これらの画像Ｒ，Ｇ，Ｂ，Ｙから４種類のGaussian pyramidを生成して、各階層の画像をＲ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）とする。

そこで、これらの画像I（σ）、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）からオリジナル画像Ｐ上の各部分の特徴がその周囲の部分とどの程度異なるかを表す特徴量マップを生成する（Ｓｔｅｐ２）。

画面上のある部分の明度がその周囲の明度とは違うと感知される場所は、周囲が明るいところに暗い部分が存在する場所、あるいは、周囲が暗いところに明るい部分が存在する場所である。そこで、周囲の明度に比べて中心部分の明度がどの程度異なるかは、細かい画素で表された画像Ｉ（ｃ）と、荒い画素で表された画像Ｉ（ｓ）とを用いて求める。荒い画像Ｉ（ｓ）の画素１個の値は、細かい画像Ｉ（ｃ）の画素を複数個分まとめた値を表しているので、画像Ｉ（ｃ）の画素の値（中心部の明度）と、この画素に対応する位置にある画像Ｉ（ｓ）の画素の値（周囲の明度）の差を求める（center-surroundと呼ばれる）ことによって、画像上の各部分が周囲とどの程度異なるかを求めることができる。例えば、細かい画素で表された画像Ｉ（ｃ）のスケールをｃ∈｛２，３，４｝とし、荒い画素で表された画像Ｉ（ｓ）のスケールをｓ＝ｃ＋δ（δ∈｛３，４｝）として明度の特徴マップＭ_Ｉ（ｃ，ｓ）を求める。この明度の特徴マップＭ_Ｉ（ｃ，ｓ）は下式（１）のように表される。

各色成分についても同様に、Ｒ（σ）、Ｇ（σ）、Ｂ（σ）、Ｙ（σ）から特徴マップを生成する。画面上のある部分の色がその周囲の色と違うと感知される場所は、色相環で正反対に位置する色（反対色）の組み合わせから見つけることができる。例えば、赤/緑と緑/赤の組み合わせから特徴マップＭ_ＲＧ（ｃ，ｓ）を取得し、青/黄と黄/青の組み合わせから特徴マップＭ_ＢＹ（ｃ，ｓ）を取得する。この色の特徴マップは下式（２）（３）のように表される。

さらに、画像上に表れた直線成分の方向について、各部分に現れた直線成分の方向とその周囲の直線成分との違いが感知される部分は、明度の画像Ｉから直線成分の方向を検出するGaborフィルターなどを利用して見つけることができる。Ｉ（σ）の各階層の画像に対してGaborフィルターを用いて、θ∈｛0°,45°,90°,135°｝の各方向の直線成分を検知して特徴マップＭ_Ｏ（ｃ，ｓ,θ）を取得する。この方向の特徴マップは下式（４）のように表される。

ｃ∈｛２，３，４｝とし、ｓ＝ｃ＋δ（δ∈｛３，４｝）とした場合には、明度の特徴マップは６個、色の特徴マップは１２個、方向に関する特徴マップは２４個得られ、これらのマップを総合的にみて、視覚的に注目される注目領域を抽出する。

これらの４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏは、ダイナミックレンジの違いや抽出する情報の違いなどにより、各部分とその周囲の違いが大きく表れるものとあまり大きく表れないものがある。そのため、４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏの値をそのまま用いて判定を行ったのでは、違いが大きい特徴マップに影響されて、違いが少ない特徴マップの情報が反映されない場合がある。そこで、これらの４２個の特徴マップＭ_Ｉ，Ｍ_ＲＧ，Ｍ_ＢＹ，Ｍ_Ｏを規格化した後に組み合わせて、注目領域を抽出するようにするのが好ましい。

具体的には、例えば、明度の特徴マップＭ_Ｉ（ｃ，ｓ）の６個を規格化して組み合わせた明度の要素別注目度マップＭ^Ｃ _Ｉを取得し、色の特徴マップＭ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）の１２個を規格化して組み合わせた色の要素別注目度マップＭ^Ｃ _Ｃを取得し、方向に関する特徴マップＭ_Ｏ（ｃ，ｓ,θ）の２４個を規格化して組み合わせた方向の要素別注目度マップＭ^Ｃ _Ｏを取得する（Ｓｔｅｐ３）。さらに、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを線形結合して、オリジナル画像Ｐの各部分の注目度の分布を表した注目度マップＭ^Ｓを取得する（Ｓｔｅｐ４）。この注目度が所定の閾値を越えた領域を注目領域として抽出する（Ｓｔｅｐ５）。

また、注目領域を抽出する際に、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の傾きが周囲と異なる度合いの影響を変えるように、オリジナル画像Ｐの色、明度、オリジナル画像Ｐに現れた直線成分の傾きのそれぞれの度合いと、各度合いそれぞれに対して重み付けした重み付け度合いを変えることによって、抽出される注目領域を変えることができる。例えば、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを線形結合するときの重みを変えることによって抽出される注目領域を変えることができる。あるいは、要素別注目度マップＭ^Ｃ _Ｉ、Ｍ^Ｃ _Ｃ、Ｍ^Ｃ _Ｏを取得するときに、各明度の特徴マップＭ_Ｉ（ｃ，ｓ）、色の特徴マップＭ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）、方向に関する特徴マップＭ_Ｏ（ｃ，ｓ,θ）のそれぞれのマップの影響を変えるように、各特徴マップＭ_Ｉ（ｃ，ｓ）、Ｍ_ＲＧ（ｃ，ｓ）、Ｍ_ＢＹ（ｃ，ｓ）、Ｍ_Ｏ（ｃ，ｓ,θ）に対する重みを変えるようしてもよい。

部品画像作成手段１２は、注目領域を含む部分を部品画像Ｑとして切り出して、部品画像記憶手段１３に記憶する。切りだされる画像の範囲は、用意する部品画像Ｑの大きさや解像度に応じて決められる。例えば、部品画像Ｑを150×150画素で用意する場合には、オリジナル画像Ｐから注目領域を含むように150×150画素で切り取った画像を部品画像Ｑとする。注目領域を抽出する際に、オリジナル画像の色、明度、前記オリジナル画像に現れた直線成分の傾きが周囲と異なる度合いの影響を変えて様々な注目領域を抽出できるようにするのが好ましい。

部品画像加工処理手段１４は、注目領域抽出手段１１で抽出された部品画像Ｑのうち、算出された注目度が高い注目領域を含む部品画像Ｑに対して特殊表示効果加工処理を施して、その画像を部品画像Ｑとして部品画像記憶手段１３に追加記憶する。

特殊表示効果加工処理には、モノクロ化（白黒、セピアなど）、エンボス加工、ソラリゼーション、モザイク化、絵画表現、ポスタリゼーション、クロスフィルタ、ソフトフォーカス、エッジ表現、ステンドグラス表現、色反転などがある。

さらに、注目領域の注目度が高いものほど利用価値が高いと考えられるので、注目度が低い注目領域を含む部品画像Ｑより注目度の高い注目領域を含む部品画像Ｑに対して、より多くの種類の特殊表示効果加工処理を施した部品画像Ｑを生成して、部品画像記憶手段１３に追加記憶する。

次に、図３、図４のフローチャートを用いて、本発明の画像処理装置１で部品画像Ｑを生成する処理の流れと、その部品画像Ｑを使って合成画像を生成する処理の流れについて説明する。

まず、画像処理装置１では、撮影画像やイラスト画像などのオリジナル画像Ｐを読み込んでハードディスク（オリジナル画像記憶手段１０）に一旦記憶する（Ｓ１００）。

注目領域抽出手段１１では、ハードディスクに記憶されているオリジナル画像Ｐから、明度を表す画像Ｉと各色成分に分けた画像Ｒ，Ｇ，Ｂ，Ｙを生成し、さらに、これらからGaussian pyramid画像Ｉ（σ），Ｒ（σ），Ｇ（σ），Ｂ（σ），Ｙ（σ）を生成する。これらのGaussian pyramid画像を用いて、色、明度、オリジナル画像Ｐ上の直線成分の方向に基づいて、オリジナル画像Ｐの各部分の注目度を算出した注目度マップＭ^Ｓを生成する（Ｓ１０１）。注目度マップＭ^Ｓの注目度が所定の閾値以上の領域を注目領域として抽出する（Ｓ１０２）。

例えば、図５Ａに示すように、画像の中心付近に赤い道路標識が撮影されている画像では、周囲の山や道路は茶〜灰色の色が多く道路標識の色が周囲と大きく異なるため、注目度マップＭ^Ｓ上の注目度が高く表れる。そこで、図５Ｂに示すように、所定の閾値以上の部分を注目領域ＲＯＩとして抽出する。図あるいは、図６Ａに示すように、赤い矩形（細かい間隔の斜線部分）が１つと緑の矩形（広い間隔の斜線部分）が多数とが、様々な方向を向いて並んでいる場合には、図６Ｂに示すように、赤い矩形の部分や、緑の矩形のうち傾きが周囲の矩形と比べて大きく傾いている部分の注目度が高くなり、この注目度の高い領域を注目領域ＲＯＩとして抽出する。

そこで、部品画像作成手段１２で注目領域ＲＯＩを含むように矩形の領域を部品画像Ｑとして切り取り（Ｓ１０３）、部品画像Ｑを部品画像記憶手段１３に記憶する（Ｓ１０４）。例えば、図５Ａのような画像では、矩形で囲まれた範囲を部品画像Ｑとして切り取る。部品画像の大きさや部品画像中の注目領域ＲＯＩの位置は常に同じでなくてもよい。また、同じ注目領域ＲＯＩを含むいろいろな範囲の画像を部品画像として用意してもよい。このようにしてオリジナル画像Ｐから注目領域ＲＯＩを含む部分を部品画像Ｑとして記憶する。

さらに、注目度マップＭ^Ｓの注目度の高い注目領域ＲＯＩを含む部品画像Ｑに対しては部品画像加工処理手段１４で特殊表示効果加工処理を施した部品画像Ｑを部品画像記憶手段１３に追加記憶する。具体的には、注目度の閾値を設定して、部品画像Ｑを注目度に応じて複数のランクに分けて、注目度のランクが高い部品画像Ｑに対してランクが低い部品画像Ｑより多くの種類の特殊表示効果加工処理を施して部品画像記憶手段１３に追加記憶する。あるいは、注目度の上位から何番目の部品画像Ｑであるかに応じてランク分けして、注目度のランクが高い部品画像Ｑに対してランクが低い部品画像Ｑより多くの種類の特殊表示効果加工処理を施して部品画像記憶手段１３に追加記憶する。

合成画像を作成する際には、ユーザは部品画像記憶手段１３に記憶されている部品画像Ｑを表示装置上に表示して（Ｓ１１０）、合成画像生成手段１５を用いて部品画像Ｑを合成画像作成用のレイアウト画面上に配置し（Ｓ１１１）、部品画像Ｑの配置が完了すると合成画像として生成する（Ｓ１１２）。必要に応じて、同じ部品画像Ｑであっても特殊表示効果加工処理が施されている部品画像Ｑを選択することができるように、各部品画像Ｑごとに特殊表示効果加工処理が施された部品画像Ｑを切り替えて表示できるようにするのが好ましい。

次に、第２の実施の形態について説明する。本実施形態では、本願発明の画像記憶装置を備えた合成画像生成システム２について説明する。

合成画像生成システム２は、図７に示すように、画像処理装置１ａと、画像合成用端末３と、オリジナル画像サーバ４と、部品画像サーバ（本発明の画像記憶装置に対応する）５と、これらを接続するネットワーク６とを備える。

ネットワーク６は、インターネットや専用回線を用いて遠隔地に設置された上記装置を接続するものであってもよいし、あるいは、上記各装置を接続するローカルエリアネットワークでもよい。ネットワーク６は光ネットワークなど画像情報の高速転送を実現できるものとすることが望ましい。

画像処理装置１ａは、図８に示すように第１の実施の形態で説明したものと略同じ構成を備えるが、オリジナル画像記憶手段および部品画像記憶手段は本画像処理装置１ａ内には設けられず、それぞれオリジナル画像サーバ４および部品画像サーバ（画像記憶装置）５として、合成画像生成システム２上に設けられ、画像処理装置１ａとはネットワーク６で接続される。また、合成画像生成手段も本画像処理装置１ａ内には設けられず、画像合成端末３として合成画像生成システム２上に設けられる。また、画像処理装置１ａに設けられる注目領域抽出手段１１と部品画像作成手段１２と部品画像加工処理手段１４は、前述の第１の実施の形態と同じ機能を備えるので詳細な説明は省略する。

オリジナル画像サーバ４は、オリジナル画像記憶手段１０を備え、スチールカメラやビデオカメラによって撮影された撮影画像や、イラストレーターなどの画像作成用ソフトなど用いて作成したイラスト画像などの静止画像をオリジナル画像Ｐとして多数記憶している。

部品画像サーバ５は、部品画像記憶手段１３を備え、オリジナル画像Ｐから作成された部品画像Ｑを多数記憶する。この部品画像サーバ５は、上記オリジナル画像サーバ４と同じサーバであってもよい。

画像合成端末３は、部品画像サーバ５とネットワーク６で接続され、部品画像サーバ５に記憶されている部品画像Ｑにアクセスして、部品画像Ｑを用いてコラージュ、電子アルバムなどの合成画像を作成する機能を備えている。

上述の合成画像生成システム２の各機器で動作するソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体から各機器にインストールされても良いし、インターネット等のネットワーク経由で接続されたサーバからダウンロードされた後にインストールされてもよい。

本発明の合成画像生成システム２を利用した部品画像Ｑを生成する処理の流れ、および、合成画像を生成する処理の流れは、前述の第１の実施の形態と略同様の流れで行われるので、相違する点についてのみ説明する。

オリジナル画像Ｐは、オリジナル画像サーバ４に直接入力されて記憶されたり、ネットワーク６を介して入力されて記憶される。このオリジナル画像Ｐは画像処理装置１ａからネットワーク６を経由して画像処理装置１ａに送信され、画像処理装置１ａで部品画像Ｑが作成される。また、画像処理装置１ａで作成された部品画像Ｑは、画像処理装置１ａからネットワーク６を介して部品画像サーバ５に送信されて記憶される。

また、画像の合成は画像合成用端末３で行われ、ユーザは、画像合成端末３からネットワーク６経由で部品画像サーバ５に接続して部品画像Ｑを読み出して表示し、画像合成端末３で表示された部品画像Ｑを選択しながら合成画像を生成する。

以上、詳細に説明したように、オリジナル画像から色、明度および直線成分の方向に基づいて、視覚的に注目される注目領域を抽出して、その注目領域を含む領域を部品画像として切り出すことにより、活用度の高い様々なオブジェクトの部品画像を生成することができる。

画像処理装置の概略構成図 注目領域の抽出方法を説明するための図 オリジナル画像から注目領域を抽出する処理の流れを表すフローチャート 部品画像を用いて合成画像を生成するする処理の流れを表すフローチャート オリジナル画像の一例（その１） 注目度マップの一例（その１） オリジナル画像の一例（その２） 注目度マップの一例（その２） 合成画像生成システムの構成を表す図 画像処理装置の構成を表す図

符号の説明

１ 画像処理装置
１ａ 画像処理装置
２ 合成画像生成システム
３ 画像合成用端末
４ オリジナル画像サーバ
５ 部品画像サーバ
６ ネットワーク
１０ オリジナル画像記憶手段
１１ 注目領域抽出手段
１２ 部品画像作成手段
１３ 部品画像記憶手段
１４ 部品画像加工処理手段
１５ 合成画像生成手段
Ｐ オリジナル画像
Ｑ 部品画像
ＲＯＩ 注目領域

Claims (6)

1. オリジナル画像を記憶するオリジナル画像記憶手段と、
   前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向のそれぞれに基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いの組み合わせから得られる注目度が閾値を越える領域を注目領域として前記オリジナル画像の中から抽出する注目領域抽出手段と、
   該注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出して画像の合成に用いる部品画像を作成する部品画像作成手段と、
   該部品画像作成手段により作成された部品画像を記憶する部品画像記憶手段と、
   前記部品画像作成手段により作成された複数の部品画像のうち各部品画像に含まれる注目領域の注目度が所定の値より高い部品画像に対し特殊表示効果加工処理を施した画像を加工済み部品画像として前記部品画像記憶手段に追加記憶する部品画像加工処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記部品画像加工処理手段が、
   前記注目度が所定の値より高い注目領域を含む部品画像のうち前記注目度が低い注目領域を含む部品画像より前記注目度が高い注目領域を含む部品画像に対して、より多くの種類の特殊表示効果加工処理のそれぞれを施した加工済み部品画像を作成して前記部品画像記憶手段に追加記憶させるものであることを特徴とする請求項１記載の画像処理装置。
3. 前記特殊表示効果加工処理は、モノクロ化、エンボス加工、ソラリゼーション、モザイク化、絵画表現、ポスタリゼーション、クロスフィルタ、ソフトフォーカス、エッジ表現、ステンドグラス表現、および色反転の各処理のいずれかであることを特徴とする請求項１または２記載の画像処理装置。
4. 複数の画像を合成して合成画像を作成するために用いられる部品画像を記憶する画像記憶装置において、
   オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向のそれぞれに基づいて、該オリジナル画像中の各部分の特徴が周囲の画像の特徴と違う度合いを求めて、これらの度合いの組み合わせから得られる注目度が閾値を越える領域を注目領域として前記オリジナル画像の中から抽出して、該抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出した画像を合成に用いる部品画像として記憶するとともに、該部品画像のうち各部品画像に含まれる注目領域の注目度が所定の値より高い部品画像に対し特殊表示効果加工処理を施した画像を加工済み部品画像として前記部品画像記憶手段に追加記憶する部品画像記憶手段を備えることを特徴とする画像記憶装置。
5. コンピュータを、
   オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向のそれぞれに基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いの組み合わせから得られる注目度が閾値を越える領域を注目領域として前記オリジナル画像の中から抽出する注目領域抽出手段と、
   該注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出して画像の合成に用いる部品画像を作成する部品画像作成手段と、
   前記部品画像作成手段により作成された複数の部品画像のうち各部品画像に含まれる注目領域の注目度が所定の値より高い部品画像に対し特殊表示効果加工処理を施した画像を加工済み部品画像として前記部品画像記憶手段に追加記憶する部品画像加工処理手段として機能させるプログラム。
6. オリジナル画像を記憶するオリジナル画像記憶手段と、
   前記オリジナル画像中から注目領域を抽出する注目領域抽出手段と、
   前記オリジナル画像から部品画像を作成する部品画像作成手段と、
   前記部品画像を記憶する部品画像記憶手段と、
   前記部品画像に対し特殊表示効果加工処理を施す部品画像加工処理手段とを備えた画像処理装置の動作方法であって、
   前記注目領域抽出手段により、前記オリジナル画像の色、明度、および、該オリジナル画像に現れた直線成分の方向のそれぞれに基づいて、該オリジナル画像中の各部分の特徴が該部分の周囲に位置する部分の特徴と異なる度合いを求めて、これらの度合いの組み合わせから得られる注目度が閾値を越える領域を注目領域として前記オリジナル画像の中から抽出する注目領域抽出ステップと、
   前記部品画像作成手段により、前記注目領域抽出手段により抽出された注目領域を含む所定の範囲内の画像を前記オリジナル画像から切り出して画像の合成に用いる部品画像を作成して、前記部品画像記憶手段に記憶する部品画像作成ステップと、
   前記部品画像加工処理手段により、前記複数の部品画像のうち各部品画像に含まれる注目領域の注目度が所定の値より高い部品画像に対し特殊表示効果加工処理を施した画像を加工済み部品画像として前記部品画像記憶手段に追加記憶する部品画像加工処理ステップとを備えることを特徴とする画像処理装置の動作方法。

Images