JP4148114B2 - 画像処理装置および処理方法 - Google Patents

Description

この発明は、撮影画像や静止画像などのデジタル画像に、装飾用のフレーム枠になるフレーム画像を重ねあわせて合成する際、そのフレーム画像を選択して合成処理する画像処理技術に関する。

撮影された画像に、フレーム枠を選んで重ね合わせ、年賀状やアルバム用の写真を作る技術が従来から知られている（例えば、特許文献１、特許文献２）。

特開平９−２１４８６８号公報 特開２００１−２５６０２５号公報

これらの公報には、写真アルバム用として予め用意されたフレーム枠や、撮影した撮影画像の縦横の向きに合わせて予め用意されたフレーム枠を選び、それらのフレーム枠の決められた位置に撮影画像を重ね合わせて合成する方法や装置が開示されている。

このような画像合成方法の場合、合成される撮影画像はフレーム枠の決められた位置に配置されるため、ユーザーがフレーム枠を選択したにもかかわらず、枠に装飾がある場合などフレーム枠の形状によっては、人物の顔などユーザーが表示したいと望む画像部分が、フレーム枠で隠されてしまうことがある。このためユーザーは、複数のフレーム枠の中から一つ一つ合成した画像を調べて所望の画像部分が隠れないフレーム枠を探さなければならず、フレーム枠の数が多い場合は、フレーム枠の選択に多くの時間がかかるという問題があった。

本発明はこのような問題を解決するためになされたもので、撮影画像や静止画像などのデジタル画像の特定な画像部分とフレーム枠との重なりが所定量以下になる全てのフレーム画像を複数のフレーム画像から自動的に抽出し、抽出したフレーム画像との合成画像を表示することで、ユーザーがフレーム画像の選択を容易に行えるようにすること目的とする。

上記目的を達成する本発明の画像処理装置は、撮影画像や静止画像などのデジタル画像を装飾するフレーム枠になるフレーム画像を選択する画像処理装置であって、
前記デジタル画像の特定色の画像部分を、予め用意した「人物」「指定色」を含む選択肢から選択することで指定すると共に、「指定色」を選択した場合、前記表示されているデジタル画像の所望の色の部分をポインティングデバイスで指示することにより、該指示した色を前記「指定色」として指定する画像指定部と、
少なくとも大きさまたは形状の異なる複数種類の前記フレーム画像を記憶するフレーム記憶部と、
前記複数のフレーム画像の各々におけるフレーム枠部分と前記特定色の画像部分との重なり量を検出する重複量検出部と、
前記重なり量が所定量以下になる前記フレーム画像を選択して表示する画像選択部と、
を備えたことを要旨とする。

かかる画像処理装置によれば、デジタル画像のうちの特定色の画像部分と、合成するフレーム画像のフレーム枠部分との重なり量を調べて、デジタル画像の特定色の画像部分、例えば人物の顔などを隠さないフレーム枠になるフレーム画像を自動的に選び出すができる。そして、選び出したフレーム画像が複数の場合は一覧にして表示することもできる。

ここで、重なり量として、前記特定色の画像部分を構成する画素と前記フレーム枠部分を構成する画素とが重複する画素数を検出するものとしてもよい。こうすれば、デジタル画像の特定色の画像部分とフレーム枠部分との重なり具合を定量化できるため、重なりが所定量以下のフレーム画像を選び出すことができる。

本発明では、所定の画像データを有する不透明な画素を、前記フレーム画像のフレーム枠部分として重なり量を検出しても良い。こうすれば、デジタル画像の特定の画像部分とフレーム枠部分とが同色の場合でも、重なり量として検出できる。

また本発明では、ＨＳＶ表示系の色相データを有する特定色の画素を、デジタル画像の特定色の画像部分として指定するものとしても良い。こうすれば、デジタル画像の特定色の画像部分を数値として指定できる。

さらに、肌色に対応する範囲の色相データを、特定の色相データとして指定するものとしてもよい。かかる色の指定によって、例えば人物の顔など重要な部分がフレーム枠で隠れないフレーム画像を選び出すことができる。

本発明の画像処理装置は、前記デジタル画像を、前記フレーム画像の縦横の少なくとも一方の画素数と同一の画素数を有するデジタル画像として調節したのち、前記重なり量を検出するようにしてもよい。こうすれば、フレーム画像の画面サイズとデジタル画像の画面サイズとを、実際に合成するときと同じ大きさにして、特定色の画像部分とフレーム枠部分との重なり量を把握することができる。

あるいは本発明の画像処理装置は、前記フレーム画像全体が前記デジタル画像と重なる全ての領域、または前記デジタル画像全体が前記フレーム画像と重なる全ての領域で、前記重なり量を調べ、該重なり量のうち最も少ないものを前記重なり量として検出するようにしてもよい。こうすれば、デジタル画像の画面サイズとフレーム画像の画面サイズとが異なる状態で画像を合成する場合、両画像の位置調整によって実現できる最も少ない重なり量を把握することができる。

本発明の画像処理装置は、前記画像選択部が選択した前記フレーム画像と、前記デジタル画像とを合成出力する画像合成部を備えてもよい。こうすれば、選択したフレーム画像とデジタル画像を用いて実際の合成画像を出力することができる。

また本発明を、画像処理方法として捉えることもできる。すなわち、撮影画像や静止画像などのデジタル画像を装飾するフレーム枠になるフレーム画像を選択する画像選択方法であって、前記デジタル画像の特定色の画像部分を、予め用意した「人物」「指定色」を含む選択肢から選択することで指定すると共に、「指定色」を選択した場合、前記表示されているデジタル画像の所望の色の部分をポインティングデバイスで指示することにより、該指示した色を前記「指定色」として指定する工程と、少なくとも大きさまたは形状の異なる複数種類の前記フレーム画像を記憶する工程と、前記複数のフレーム画像の各々におけるフレーム枠部分と前記特定色の画像部分との重なり量を検出する工程と、前記重なり量が所定量以下になる前記フレーム画像を選択して表示する工程と、を備えたことを要旨とする。このような画像処理方法によれば、デジタル画像の特定色の画像部分、例えば人物の顔などがフレーム枠で隠れないフレーム画像を選択できる。

さらに本発明は、コンピュータプログラムまたはそのプログラムを記録した記録媒体として把握することもできる。記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を使用できる。

次に、本発明の実施の形態を実施例に基づいて説明する。図１は本発明の一実施例としての画像処理装置１００を示す説明図である。画像処理装置１００は、撮影画像や静止画像などのデジタル画像や、その画像を装飾するためのフレーム枠になるフレーム画像などを供給する画像データベース部４０と、デジタル画像の画像部分を特定するなど画像処理に際して必要な指定入力を行うためのユーザーインターフェイス部３０と、画像データベース部４０から取得したデジタル画像とフレーム画像とを加工したり重ね合わせたりして所定のフレーム画像を選択する画像処理装置１００としてのパーソナルコンピュータＰＣと、選択したフレーム画像とデジタル画像との合成画像などを必要に応じて出力する出力装置としてのカラープリンタ５０とを備えている。

パーソナルコンピュータＰＣは、画像処理のための演算処理を実行するＣＰＵ１１と、その処理プログラムなどを記憶するＲＯＭ１２と、画像データやアプリケーションソフトを一時的に保存するＲＡＭ１３と、画像処理のためのアプリケーションソフトや種々の画像を格納するハードディスク１４と、外部機器との間のインターフェイスを司るＩ／Ｆ回路１５とを備えている。Ｉ／Ｆ回路１５には、ユーザーインターフェイス部３０や画像データベース部４０、カラープリンタ５０といった外部機器が接続されている。

画像データベース部４０は、デジタルビデオカメラ４１、デジタルカメラ４２およびスキャナ４３などの機器が該当する。これらの機器は、デジタル画像およびフレーム画像などの供給源となる。ユーザーインターフェイス部３０は、供給されたデジタル画像やフレーム画像などを表示するディスプレイ３１と、画像処理装置１００として機能するパーソナルコンピュータＰＣを操作する操作者（以降、単に「操作者」と呼ぶ）からの入力を受け付けるキーボード３２やマウス３３を備えている。

本実施例の画像処理装置１００は、上述したように所定のオペレーティングシステムの下で、画像変換や画像の選択処理を行うためのアプリケーションプログラムを実行するコンピュータである。こうしたコンピュータとしては、汎用のパーソナルコンピュータはもとより、サーバや大型コンピュータなどアプリケーションプログラムが動作するコンピュータであれば、いずれのコンピュータでも用いることができる。

以上の構成からなる画像処理装置１００にて行われる本実施例の処理内容について、図２のフローチャートにより説明する。パーソナルコンピュータＰＣは、まず画像データベース部４０からデジタル画像とフレーム画像を、それぞれ識別番号を付随して取り込みハードディスク１４に保存する（ステップＳ１０）。ここで、パーソナルコンピュータＰＣが取り込んだデジタル画像とフレーム画像は、同じ解像度の画像であるとして扱う。したがって以降、各画像ソースより供給したデジタル画像およびフレーム画像について、それらの画面の大きさや縦横の長さを、画素数で表わすものとする。

次に、取り込んだ種々の画像の中から、合成画像に使用するデジタル画像と、そのデジタル画像に重ね合わせて合成する複数のフレーム画像を指定する処理を行う（ステップＳ２０）。画像の指定は、操作者がユーザーインターフェイス部３０を使用しコンピュータＰＣに識別番号を入力して行う。もとより、フレーム画像については、コンピュータＰＣ内に記憶している全ての画像が常に指定されるようにデフォルト設定しても差し支えない。

次に、指定したデジタル画像について、そのデジタル画像にフレーム画像を重ね合わせたとき、フレーム枠部分で隠れては困る画像部分を特定する特定色の指定処理を行う（ステップＳ３０）。特定色の指定方法を図３により説明する。図３は、処理ステップＳ２０の後に、ディスプレイ３１が表示する特定色指定の入力画面を示している。画面には、「人物」「色で指定」「指定なし」を各々指定する３つのラジオボタン６１〜６３と、「色で指定」のラジオボタン６２を選択したとき選択色を表示する表示窓６４、表示窓６４に表示する選択色を変更するための選択ボタン６５、特定色指定での入力内容を確定する「ＯＫ」ボタン６６が表示されている。

操作者は、フレーム画像によって隠れて欲しくない画像部分の特定色を、「人物」「色で指定」「指定なし」から一つを選択し、ラジオボタン６１ないし６３を用いて指定する。例えば、「人物」を選択する場合、カーソル（図示せず）をラジオボタン６１の表示にあわせ、マウス３３をクリックして選択表示マーク６１ａを反転させて行う。図３は「人物」を選択した状態を示している。

「人物」を選択した場合は、本実施例では、顔や手足などの肌色を特定色として指定する。人物の顔や手足などを指定する頻度が多い場合は、このように予め独立した「人物」の選択表示を設けておくと選択が容易になる。肌色を具体的な数値データとして指定する方法ついては後ほど詳しく説明する。

「色で指定」を選んだ場合は、次に表示窓６４にて色を選択する。選択方法は、選択ボタン６５にカーソルを合わせ、マウス３３をクリックすると、表示窓６４には、予め設定した選択色がドロップダウンなどの周知の方法でリスト表示され、操作者の選択を容易にしている。

選択色として設定する色については、ＨＳＶ表示系における色相環全体を所定数に分割し、分割した各々の区分範囲全体毎に一つの色名を付け、その色名を選択色として設定してもよい。こうすれば、全ての色について漏れなく特定色として設定できる。また、白色や黒色などの無彩色や、赤色や青色などの周知な色相環の色名を設定してもよい。

こうして設定した選択色を、表示窓６４に表示するドロップダウンリストとして予め用意しておく。なお、ドロップダウンリストには必要に応じ、色名に付随して、その色名に対応した「ＲＧＢ」の階調データによって表される実際の画像色を表示するものとしてもよい。実際に表示する画像色は、その色名に対応した色相環の指定範囲全ての色を表示してもよいし、指定範囲のうちの所定の範囲に相当する色のみを表示することとしてもよい。こうすれば、操作者が、表示窓６４に表示される色名だけでなく、その色名の実際に表示される画像色を確認して、選択色を指定できる。

もとより、選択色は予め設定したものでなく、操作者がキーボード３２やマウス３３を用いて直接指定するものとしてもよい。たとえば、図示しないが入力画面の一部にカラーマップを表示し、指定する色にカーソルを合わせてマウス３３をクリックして行ってもよい。あるいは、入力画面の少なくとも一部に指定したデジタル画像を表示し、隠れて欲しくない画像部分にカーソルを合わせてマウス３３をクリックして行ってもよい。この場合、色名はなくても差し支えない。

「指定なし」を選んだ場合は、特定色を指定しない。操作者は、デジタル画像について、フレーム枠部分で隠れて困る特定の画像部分が存在しない場合、換言すればデジタル画像の特定の画像部分ではなく画像全体について、隠れて困る場合かもしくは隠れてもよい場合「指定なし」を選択する。例えば、画像がもともと一部にしか存在しないようなデジタル画像で、画像全体を選択する場合などの指定方法として用いるとよい。もとより、この場合は特定色として全ての色を指定する。

デジタル画像についてフレーム枠部分で隠れては困る画像部分を特定する特定色を、以上のどれか一つを選択して指定したあと、操作者は、マウス３３の操作により、最後にＯＫボタン６６をクリックして特定色指定の内容を確定し、次の処理ステップに進む。

次に、デジタル画像の特定色で指定した画像部分とフレーム画像のフレーム枠部分との重なり量を指定する処理を行う（図２、ステップＳ４０）。重なり量の指定方法を図４により説明する。図４は、特定色の指定処理ステップＳ３０のあとでディスプレイ３１が表示する重なり量指定の入力画面を示している。画面は、「重なりなし」「重なり量で指定」「指定なし」を各々指定するラジオボタン７１〜７３と、「重なり量で指定」のラジオボタン７２を選択したとき重なり量を表示する表示窓７４、表示窓７４に表示する重なり量を変更するための選択ボタン７５、重なり量指定の入力内容を確定する「ＯＫ」ボタン７６を表示している。

操作者は、デジタル画像の特定色で指定した画像部分がフレーム画像のフレーム枠部分によってどの程度隠れてもよいかを、「重なりなし」「重なり量で指定」「指定なし」のうちの一つを選択し、ラジオボタン７１ないし７３を用いて指定する。例えば、「重なりなし」を選択する場合、カーソル（図示せず）をラジオボタン７１の表示にあわせ、マウス３３をクリックして選択表示マーク７１ａを反転させて行う。図４は「重なりなし」を選択した状態を示している。

「重なりなし」を選択した場合は、本実施例では、特定色の画像部分を全く隠さないフレーム枠になるフレーム画像を指定する。もとより後述する「重なり量で指定」において、重なり量をゼロにすることで「重なりなし」の選択に替えてもよいが、重なり量ゼロを選択する頻度が多い場合は、このように予め独立した選択表示を設けておくと選択が容易になる。

「重なり量で指定」を選んだ場合は、引き続いて表示窓７４に表示される重なり量を選択する。ここで選択する重なり量は、操作者が許容する重なりの上限値である。選択方法は、マウス３３の操作により、選択ボタン７５をクリックして行う。表示窓７４には、予め設定した重なり量がドロップダウンなど周知の方法によってリスト表示され、操作者の選択を容易にしている。もとより重なり量は予め設定したものでなく、操作者がキーボード３２から直接指定してもよい。

重なり量は、後ほど詳しく説明するが、フレーム画像の画面面積に対して、特定画像部分とフレーム枠部分とが重なる領域面積を百分率割合（％）で表したものである。したがって重なり量を細かく区分してフレーム画像を選択する場合は、１％以下のステップ間隔で設定しておくとよい。また重なり量を大まかに区分してフレーム画像を選択する場合は、１％以上の数値で１から５％のステップ間隔で設定してもよい。

「指定なし」を選んだ場合は、重なり量を指定しない。操作者は、特定色の画像とフレーム枠部分との重なりを制限なく許容する場合、これを選択する。

特定色で指定したデジタル画像の画像部分とフレーム画像のフレーム枠部分との重なり量を、以上のどれか一つを選択して指定したあと、操作者は、マウス３３の操作により最後にＯＫボタン７６をクリックして重なり量指定の内容を確定し、次の処理ステップＳ５０に進む。もとより、重なり量指定で、「指定なし」を選択した場合は、次の処理ステップＳ５０を行わない。この場合、処理ステップＳ２０（図２）で操作者が指定した全てのフレーム画像をリストしてディスプレイ３１に表示し、処理ステップＳ６０へ進む。

処理ステップＳ５０では、処理ステップＳ３０とＳ４０（図２）にてそれぞれ指定した特定色と重なり量から、これらの指定条件を満たすフレーム画像を、処理ステップＳ２０で操作者が指定した複数のフレーム画像から、抽出しリストする処理を行う。

ステップＳ５０にて行われる処理を、図５のフローチャートにて説明する。この処理が開始されると、まずデジタル画像について処理ステップＳ３０で指定した特定色の画像部分（以降、単に「特定画像部分」と呼ぶ）を判別し、デジタル画像の画素データを「１」と「０」に２値化する処理を行う（ステップＳ５０１）。図６はデジタル画像２０を例示したもので、胸から上の人物の画像を示している。デジタル画像の画素は、「Ｒ、Ｇ、Ｂ」各８ｂｉｔのデータにより表現されている。２値化の処理は、この画素データに基づき、特定画像部分を「１」とし、それ以外を「０」とするのである。

次に、２値化の処理方法について説明する。特定色の指定で「人物」を選択した場合、特定画像部分は「肌色」の指定になる。「肌色」は、ＨＳＶ表示系の色相データＨによって、色相環の６°から４２°の範囲として指定できる。この色相環の範囲であれば、たいていの人間の肌色をカバーできる。

「Ｒ、Ｇ、Ｂ」データから「Ｈ、Ｓ、Ｖ」データへの変換は次式で行う。ここで、Ｒ、Ｇ、Ｂはそれぞれ２５６階調（８ｂｉｔ）で表した階調値である。
Ｈ（色相）＝１．７３２（ＲＧ−Ｂ）／（２Ｒ−Ｇ−Ｂ）・・・（１）
Ｓ（彩度）＝｛（Ｂ−Ｒ）²＋（Ｒ−Ｇ）²＋（Ｇ−Ｂ）²｝／３・・・（２）
Ｖ（明度）＝（Ｒ＋Ｇ＋Ｂ） ・・・（３）

色相データＨが、式（１）の計算結果で、０．１＜Ｈ＜０．９、かつＧ＞Ｂであれば、色相環６°から４２°の範囲を表し、このデータを満たすデジタル画像２０の画素データを「１」、それ以外の画素データを「０」として、デジタル画像２０を２値化する。デジタル画像２０を２値化したあとの２値デジタル画像２０ｂについて、その一部を拡大した画像２２０の一例を、図６（右側）に例示する。

「色で指定」にて選択された選択色についても、肌色と同様、色相データＨの数値を指定することによって２値化する。例えば、赤色は色相環０°、青色は色相環２４°であるため、その前後に例えば±１０°など許容値を設定して色相環の範囲を指定し、色相データＨの範囲値を決めることで色を指定できる。このほか白色や黒色などのいわゆる無彩色については、彩度データＳがゼロのときの明度データＶによって指定できる。そして、各画素の「ＲＧＢ」データより式（１）ないし式（３）によって変換した「ＨＳＶ」データが、「色で指定」にて選択した選択色によって指定される「ＨＳＶ」データを満たすか否かによって、各画素データを「１」と「０」に２値化する。

もとより、カラーマップやデジタル画像から、操作者によって直接指定された選択色については、選択された画像部分の画素が有する「ＲＧＢ」の画素データに基づいて、所定の範囲のＲＧＢデータを定め、これを満たすか否かで画素データを２値化すればよい。

次に、このデジタル画像２０に重ねるフレーム画像の一つを選択する（図５、ステップＳ５０２）。デジタル画像２０に装飾用として重ねるフレーム画像は、処理ステップＳ２０（図２）で、操作者が指定した複数のフレーム画像であり、これらの画像から一つずつ選択する。

選択した一つのフレーム画像について、そのフレーム枠部分を判定して２値化する処理を行う（ステップＳ５０３）。図７は、画面左下に、装飾画像をフレーム枠として持つフレーム画像２５を例示している。フレーム枠の全ての部分、つまり不透明な画素をフレーム枠部分として２値化するのである。

デジタル画像２０の画素と同様、フレーム画像２５の画素も「Ｒ、Ｇ、Ｂ」で表され、２５６階調の階調データを、それぞれの画素のＲ、Ｇ、Ｂデータとして有している。したがって、このＲ、Ｇ、Ｂデータの少なくとも一つが、ゼロ以上の階調データを有する画素を不透明な画素として判定する。こうして判定した不透明な画素の画素データを「１」、それ以外の画素の画素データを「０」として２値化する。フレーム画像２５を２値化したあとの２値フレーム画像２５ｂについて、その一部を拡大した画像３２５を図７（右側）に例示する。なお、２値化のデータをフレーム画像に予め持たせておくことも、処理に要する時間短縮の点から望ましい。

次に、処理ステップＳ５０１で２値化した２値デジタル画像２０ｂを、２値フレーム画像全体が重なる大きさで、最も小さい画面サイズの２値デジタル画像に調節する処理を行う（図５、ステップＳ５１０）。本実施例では、２値フレーム画像２５ｂの縦もしくは横の画素数と同じになる２値デジタル画像に拡大もしくは縮小処理を行って、２値デジタル画像をフレーム画像より大きくしたのち、両画面の中心をあわせて重ね画像合成を行うものとして扱う。

２値デジタル画像の大きさを調節処理するのは以下の理由による。すなわち、フレーム画像を基準にして画像を合成する際、フレーム画像とフレーム画像より小さいデジタル画像とを重ね合わせると両画像が存在しない空白部ができる場合がある。この様な画像は合成画像として好ましくない。このため、確実に空白部ができないようデジタル画像をフレーム画像より大きくするのである。また、特定画像部分の領域は通常小さいと想定できるため、２値フレーム画像に比べて２値デジタル画像の方が画素データ「１」の領域は少なくなる。画素データ「１」の領域が少なければ画像の拡大・縮小処理の負荷が軽くなる。したがって、２値デジタル画像の大きさを調節するもう一つの理由は、「１」と「０」の画素データのみを有する２値デジタル画像を拡大・縮小することで負荷を軽減し、以降の処理を速くするためである。もとより、２値化前のデジタル画像２０を拡大・縮小後に２値デジタル画像にしても差し支えない。また、デジタル画像の画面サイズがフレーム画像の画面サイズと全く同じであれば、このような処理を実施しない。

２値デジタル画像の調節処理ステップＳ５１０について、図８のフローチャートにて説明する。この処理が開始されると、最初に、２値デジタル画像２０ｂと２値フレーム画像２５ｂについて、両画面のアスペクト値つまり横の画素数を縦の画素数で除した値を算出する（ステップＳ５１１）。

算出の結果、２値デジタル画像２０ｂのアスペクト値が大きい場合（ステップＳ５１５：ＹＥＳ）、２値デジタル画像２０ｂの縦の画素数が、２値フレーム画像２５ｂの縦の画素数と等しくなる倍率ＧＢを算出する（ステップＳ５１６）。この場合は、２値デジタル画像２０ｂは２値フレーム画像２５ｂより横長の画面であるため、縦の画素数を２値フレーム画像２５ｂと等しくすれば、２値フレーム画像２５ｂ全体が重なる最小の大きさの２値デジタル画像２０ｃになる。

一方、２値デジタル画像２０ｂのアスペクト値が大きくない場合（ステップＳ５１５：ＮＯ）、２値デジタル画像２０ｂの横の画素数が、２値フレーム画像２５ｂの縦の画素数と等しくなる倍率ＧＢを算出する（ステップＳ５１７）。この場合は、２値デジタル画像２０ｂは２値フレーム画像２５ｂより縦長の画面であるため、横の画素数が２値フレーム画像２５ｂと等しければ、２値フレーム画像２５ｂ全体が重なる最小の大きさの２値デジタル画像２０ｃになる。

次に、２値デジタル画像２０ｂを、この倍率ＧＢにて拡大または縮小する（ステップＳ５１８）。画像の拡大（ＧＢが１以上のとき）もしくは縮小（ＧＢが１より小さいとき）処理、すなわち画像を構成する画素数の増加もしくは減少は、画素の補間処理によって実現することができる。補間処理は、バイ・リニア法のほか、バイ・キュービック法、ニアレストネイバ法など、周知の方法を用いればよい。

こうして拡大もしくは縮小した２値デジタル画像２０ｃと、２値フレーム画像２５ｂとを重ね、特定画像部分とフレーム枠部分との重なり量を検出する（ステップＳ５２０）。２値デジタル画像２０ｃと２値フレーム画像２５ｂとを、画面中心を合わせて重ねる。図９は、特定画像部分「１」を含む２値デジタル画像２０ｃの部分画像２２０ｓと、フレーム枠部分「１」を含む２値フレーム画像２５ｂの部分画像３２５と、この２つの部分画像を重ね合わせ両者のデータの論理積をとった合成画像４２０を例示している。図９での２値デジタル画像２０ｃの部分画像２２０ｓは、図６に示した２値デジタル画像２０ｂの部分画像２２０を、２値フレーム画像２５ｂと縦の画素数が同一になるよう２値デジタル画像２０ｃの画面サイズを調節した後の状態を示したものである。この例では、縦方向に画像を圧縮しているので、利用画像２２０と２２０ｓは、僅かに異なっている。

合成画像４２０は、画素データ「１」の画素が重なった重複画素の部分だけ、画素データ「１」の画素になり、その他の画素はすべて画素データ「０」となる。したがって、合成画像４２０での画素データ「１」の画素数すなわち重複画素数を数えれば、特定画像部分とフレーム枠部分との重なり量を検出できる。

本実施例では重なり量ＫＧ（％）を次の式（４）にて定義する。
重なり量ＫＧ＝重複画素数／２値フレーム画像の総画素数×１００・・・（４）
重なり量ＫＧは式（４）から、２値フレーム画像２５ｂの総画素数に対する重複画素数の百分率（％）として求められる。重なり量ＫＧの値が大きければ、重なりが多いということになる。もとより、処理ステップＳ４０（図２）で指定した重なり量は、この重なり量ＫＧの許容上限値である。なお、式（４）の分母を２値フレーム画像の総画素数としたのは、フレーム画像を合成画像の基準画像としたためである。もとより、基準画像をデジタル画像とする場合は、２値デジタル画像２０ｃの総画素数を分母とすればよい。

こうして重なり量ＫＧの検出後、選択したフレーム画像が、指定した重なり量以下であるかの判定処理を行う（ステップＳ５３５）。指定した重なり量以下の場合（ステップＳ５３５：ＹＥＳ）、このフレーム画像の識別番号と重なり量ＫＧをリストする（ステップＳ５３６）。指定した重なり量以下でない場合（ステップＳ５３５：ＮＯ）、リストせず次の処理に進む。

次に、重なり量未検出のフレーム画像があるかを調べ（ステップＳ５４５）、ある場合は（ステップＳ５４５：ＹＥＳ）、重なり量未検出のフレーム画像一つを選択する処理ステップＳ５０２にもどり、以降同様な処理を繰り返す。そして、操作者が指定したフレーム画像全てについて重なり量ＫＧの検出を終えリストしたのち（ステップＳ５４５：ＮＯ）、処理ステップＳ６０（図２）に戻る。

以上のように、図２の処理ステップＳ５０が行われると、処理ステップＳ４０で「重なりなし」を指定した場合は、特定画像部分とフレーム枠部分との重なりがないフレーム画像を自動的に抽出してリストする。一方「重なり量で指定」を選び、重なり量を指定した場合は、その重なり量以下のフレーム画像を複数のフレーム画像から自動的に抽出してリストする。こうして抽出したフレーム画像のリストの一例を図１０に示した。図１０は、操作者が１００枚のフレーム画像と重なり量２０％以下を指定したとき、処理ステップＳ５３６（図５）によってリストされたフレーム画像の番号（識別番号）と重なり量（％）を示したものである。このリストはディスプレイ３１に表示される。

次に、ディスプレイ３１に表示されたリストに基づき、所定の方法でフレーム画像とデジタル画像との合成画像を表示する処理を行い（ステップＳ６０）全ての処理を終了する。合成画像として表示するフレーム画像は、操作者が、ディスプレイ３１に表示されたリストからフレーム画像の番号をキーボード３２やマウス３３を使って選択してもよいし、リストされたフレーム画像すべてが自動的に選択されるものとしてもよい。

また合成画像の表示も種々の方法で行えばよい。例えばサムネイル表示などによって一覧表示したり、一枚ずつフレーム画像の識別番号順に表示したり、または重なり量の順に表示したりする。操作者は、この表示画面を見て、リストの中から希望するフレーム画像を容易に探すことができる。もとより、リストが一つの場合は直ちに合成して表示するものとしてもよいし、リストの先頭のフレーム画像を自動的に選択して直ちに合成して表示するものとしてもよい。また、デジタル画像との合成画像の表示に先立って、リストされたフレーム画像のみを表示しても差し支えない。

以上説明したように、本実施例によれば、撮影画像や静止画像などのデジタル画像の特定な画像部分とフレーム枠との重なりが所定量以下になるフレーム画像を自動的に抽出して、合成画像として表示するため、操作者は希望するフレーム画像を容易に選択できる。

本発明の実施の形態について一実施例により説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。例えば、本実施例では、重なり量ＫＧを求める際、２値デジタル画像２０ｃと２値フレーム画像２５ｂとを画面中心を合わせて重ねたが、第１変形例として、２値フレーム画像２５ｂの重ね合わせの状態を変更しながらスキャンして最小になる重なり量ＫＧを検出するものとしてもよい。

第１変形例における処理を図１１のフローチャートにて説明する。これは、図５の重なり量を検出する処理ステップＳ５２０において行われる処理である。処理ステップＳ５１０（図５）で２値デジタル画像を調節したのち、最初に、２値デジタル画像２０ｃの画素数と２値フレーム画像２５ｂの画素数を比較し、スキャンできる領域を算出する（ステップＳ５２１）。具体的には、スキャン領域は横と縦の画素数の差として算出できる。

次に、スキャン方法を決定する（ステップＳ５２２）。本変形例では、図１２に示したように、画面の左から右に２値フレーム画像２５ｂを一画素ずつ移動してスキャンする方法とした。もとよりスキャン方法はこれに限らず、右から左など種々の方法で行えばよい。また２値フレーム画像２５ｂを上下にスキャンする場合も同様に、上から下でもよいし下から上でもよい。

スキャンが開始されると、図１２（ａ）に示すように、最初に、２値デジタル画像２０ｃの画面左上隅と２値フレーム画像２５ｂの画面左上隅とを合わせて配置する。このとき、２値デジタル画像２０ｃの画面左上隅をＸ，Ｙ座標系の原点（０，０）とし、スキャンする２値フレーム画像２５ｂの画面左上隅の位置（以降、「配置位置」と呼ぶ）を、Ｘｎ，Ｙｎ座標値として検出する。

２値フレーム画像２５ｂの位置がスキャン可能な範囲、すなわち処理ステップＳ５２１で算出した領域内かを調べ（ステップＳ５２５）、領域内（ステップＳ５２５：ＹＥＳ）であれば、特定画像部分とフレーム枠部分との重なり量を配置位置とともに検出する（ステップＳ５２６）。

こうして検出した重なり量の検出結果を前回のスキャン位置での重なり量との大小を調べる（ステップＳ５２７）。前回のスキャン位置での重なり量より小さい場合は（ステップＳ５２７：ＹＥＳ）、今回のスキャン位置での重なり量を、配置位置とともに新たに重なり量として置き換える（ステップＳ５２８）。前回のスキャン位置の重なり量より小さくない場合は（ステップＳ５２７：ＮＯ）、重なり量は置き換えず次の処理ステップへ進む。

次にスキャンの方法に従って、一画素移動し（ステップＳ５２９）、処理ステップＳ５２５へ戻る。以降、図１２（ｂ）に示すようにスキャン可能範囲であれば２値フレーム画像２０ｂをスキャンし、その位置での重なり量を検出する処理を繰り返して、最も小さい重なり量とそのときの配置位置を検出する。そして図１２（ｃ）に示すようにスキャン可能範囲がなくなると（ステップＳ５２５：ＮＯ）、この処理を終え、処理ステップＳ５３５（図５）へ進む。

以上説明したように、第１変形例では、２値デジタル画像２０ｃと２値フレーム画像２５ｂとの重なり量を、２値フレーム画像２５ｂが移動できる領域の全ての範囲について調べるため、操作者が許容する重なり量以下を満たすフレーム画像を漏れなくリストすることができる。なお、検出した配置位置は、フレーム画像の識別番号に付加情報としてハードディスク１４やＲＡＭ１３などに保存しておき、実際に合成画像をディスプレイ３１に表示する際、フレーム画像の識別番号とともに付加情報を読み出してフレーム画像をその配置位置で合成するようにすればよい。

さらに第２変形例として、２値デジタル画像２０ｃと２値フレーム画像２５ｂとを重ね合わせて重なり量ＫＧを調べる際、フレーム枠部分の存在位置に基づいて決定される関係で重ね合わせるものとしてもよい。例えば、図７に示したフレーム画像２５の場合、画面左側にのみフレーム枠部分が存在する。この場合、フレーム画像をデジタル画像の左端と合わせて重ねれば、重なり量ＫＧが最も少なくなることは明らかである。このように、フレーム枠部分がフレーム画像の画面内でどの位置にあるかを調べ、その方向へフレーム画像を移動して重ね合わせるようにすれば、重なり量の検出処理を早めることができる。

また、第３変形例として、本実施例での処理ステップＳ５１０（図５）では２値フレーム画像全体が２値デジタル画像に重なるようにしたが、逆に２値デジタル画像全体が２値フレーム画像に重なるよう２値デジタル画像を拡大・縮小するものとしてもよい。第３変形例は、例えば図１３に示すように、本実施例で例示した人物が中央に位置しているデジタル画像２０を、画面の周り全体にフレーム枠があるフレーム画像２５ｃと合成する場合などに有効である。つまり、デジタル画像２０をフレーム画像２５ｃに対して小さくしても、フレーム画像とデジタル画像の両画像が存在しない空白部分が生じない状態で、フレーム枠の装飾が無い部分つまり透明の開口部２５ｄに、人物の顔を合成することができる。したがって第３変形例は、このような画面の周り全体にフレーム枠を有するフレーム画像を選択する場合に好ましい。

また、第４変形例として、処理ステップＳ５１０（図５）で行う画像の拡大・縮小処理を、２値デジタル画像に換えて２値フレーム画像に行うこととしてもよい。こうすれば、２値デジタル画像の拡大・縮小を行わないので、デジタル画像の解像度低下は生じない。第４変形例は、実際の画像合成に際して、デジタル画像を基準画面としてフレーム画像を拡大・縮小して重ねる場合に好ましい処理である。

さらに、第５変形例として、デジタル画像または、フレーム画像の一方の画像全体が他方の画像と重なる場合、デジタル画像またはフレーム画像の拡大・縮小を行わず２値デジタル画像または２値フレーム画像をスキャンして重なり量ＫＧを求めるものとしてもよい。本変形例は、どちらか一方の画像が縦横とも大きい画面サイズを持ち、デジタル画像やフレーム画像の拡大・縮小を行わないで画像を合成する場合に、最も小さい重なり量ＫＧを検出する方法として考えられる。もとより、デジタル画像やフレーム画像の拡大・縮小を行わないで画像を合成すれば、デジタル画像やフレーム画像の解像度を落とさず画像を合成できる。

スキャン方法は、フレーム画像全体がデジタル画像と重なる場合は２値フレーム画像をスキャンし、デジタル画像全体がフレーム画像と重なる場合は２値デジタル画像をスキャンする。第２変形例で２値フレーム画像をスキャンする場合を説明したが、２値デジタル画像をスキャンする場合は、第２変形例で２値フレーム画像と２値デジタル画像を入れ替えて、２値デジタル画像をスキャンするものとすれば同様の処理となる。またスキャン領域も画面左右方向や画面上下方向だけでなく、その両方にスキャン領域が存在する場合は、例えばＴＶ画面の走査線のように左から右、次に上から下という具合にスキャンするなど、領域全体をスキャンできるものであればいずれの方法でもよい。

以上、本発明のいくつかの実施例および変形例について説明したが、本発明はこれらの実施例・変形例に何ら限定されるものではなく、本発明の要旨を変更しない範囲内において、種々なる態様で実施し得ることは勿論である。例えば、上記実施例では、デジタル画像やフレーム画像を、画像データベース部４０から取り込んだが、それらの画像を外部から取り込む構成としてもよい。外部としては、インターネットなどの手段を介して接続されるサイトなどを考えることができる。使用者は、画像データを供給するウェブサイトにアクセスし、ここから画像をダウンロードして取り込めば良い。あるいは、本実施例の処理を実行するアプリケーションプログラム自体にフレーム画像を格納し、プログラムの実行に際して、アプリケーションプログラム自身が重ね合わせるフレーム画像を供給するものとしてもよい。

本発明の一実施例としての概略構成を示す説明図。 実施例の画像処理を説明するフローチャート。 実施例において特定の画像部分の色指定を行なう方法を例示する説明図。 実施例において重なり量を指定する方法を例示する説明図。 実施例においてフレーム画像と重なり量のリストを生成する処理を説明するフローチャート。 実施例におけるデジタル画像と２値デジタル画像を例示する説明図。 実施例におけるフレーム画像と２値フレーム画像を例示する説明図。 ２値デジタル画像の画面サイズを調節する処理を説明するフローチャート。 合成画像の重なり量である重複画素数について説明する説明図。 実施例におけるフレーム画像と重なり量のリストの一例を示す説明図。 第１変形例として、２値フレーム画像のスキャン処理の一例を示すフローチャート。 第１変形例における２値フレーム画像のスキャン方法について説明する説明図。 第３変形例におけるデジタル画像とフレーム画像を例示する説明図。

符号の説明

１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…ハードディスク
１５…Ｉ／Ｆ回路
２０…デジタル画像
２０ｂ…２値化した２値デジタル画像
２０ｃ…拡大・圧縮した２値デジタル画像
２５…フレーム画像
２５ｂ…２値化した２値フレーム画像
２５ｃ…フレーム画像
２５ｄ…フレーム画像のフレーム枠開口部
３０…ユーザーインターフェイス部
３１…ディスプレイ
３２…キーボード
３３…マウス
４０…画像データベース部
４１…デジタルビデオカメラ
４２…デジタルカメラ
４３…スキャナ
５０…カラープリンタ
６１…選択表示「人物」のラジオボタン
６１ａ…「人物」の選択表示マーク
６２…選択表示「色で指定」のラジオボタン
６３…選択表示「指定なし」のラジオボタン
６４…表示窓
６５…選択ボタン
６６…ＯＫボタン
７１…選択表示「重なりなし」のラジオボタン
７１ａ…「重なりなし」の選択表示マーク
７２…選択表示「重なり量で指定」のラジオボタン
７３…選択表示「指定なし」のラジオボタン
７４…表示窓
７５…選択ボタン
７６…ＯＫボタン
１００…画像処理装置（コンピュータ）

Claims (11)

1. 撮影画像や静止画像などのデジタル画像を装飾するフレーム枠になるフレーム画像を選択する画像処理装置であって、
   前記デジタル画像の特定色の画像部分を、予め用意した「人物」「指定色」を含む選択肢から選択することで指定すると共に、「指定色」を選択した場合、前記表示されているデジタル画像の所望の色の部分をポインティングデバイスで指示することにより、該指示した色を前記「指定色」として指定する画像指定部と、
   少なくとも大きさまたは形状の異なる複数種類の前記フレーム画像を記憶するフレーム記憶部と、
   前記複数のフレーム画像の各々におけるフレーム枠部分と前記特定色の画像部分との重なり量を検出する重複量検出部と、
   前記重なり量が所定量以下になる前記フレーム画像を選択して表示する画像選択部と、
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記重複量検出部は、前記重なり量として、前記特定色の画像部分を構成する画素と前記フレーム枠部分を構成する画素とが重複する画素数を検出する画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記重複量検出部は、所定の画像データを有する不透明な画素を、前記フレーム枠部分として前記重なり量を検出する画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置であって、
   前記画像指定部は、ＨＳＶ表示系の特定の色相データを有する画素を、前記特定色の画像部分として指定する画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記画像指定部は、肌色に対応した範囲の色相データを、前記特定の色相データとして指定する画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置であって、
   前記重複量検出部は、前記デジタル画像を、前記フレーム画像の縦横の少なくとも一方の画素数と同一の画素数を有するデジタル画像として調節したのち、前記重なり量を検出する画像処理装置。
7. 請求項１ないし５のいずれかに記載の画像処理装置であって、
   前記重複量検出部は、前記フレーム画像全体が前記デジタル画像と重なる全ての領域、または前記デジタル画像全体が前記フレーム画像と重なる全ての領域で、前記重なり量を調べ、該重なり量のうち最も少ないものを前記重なり量として検出する画像処理装置。
8. 請求項１ないし７のいずれかに記載の画像処理装置であって、
   前記画像選択部が選択した前記フレーム画像と、前記デジタル画像とを合成出力する画像合成部を備えた画像処理装置。
9. 撮影画像や静止画像などのデジタル画像を装飾するフレーム枠になるフレーム画像を選択する画像処理方法であって、
   前記デジタル画像の特定色の画像部分を、予め用意した「人物」「指定色」を含む選択肢から選択することで指定すると共に、「指定色」を選択した場合、前記表示されているデジタル画像の所望の色の部分をポインティングデバイスで指示することにより、該指示した色を前記「指定色」として指定する工程と、
   少なくとも大きさまたは形状の異なる複数種類の前記フレーム画像を記憶する工程と、
   前記複数のフレーム画像の各々におけるフレーム枠部分と前記特定色の画像部分との重なり量を検出する工程と、
   前記重なり量が所定量以下になる前記フレーム画像を選択して表示する工程と、
   を備えた画像処理方法。
10. 撮影画像や静止画像などのデジタル画像を装飾するフレーム枠になるフレーム画像を選択する画像処理プログラムであって、
    前記デジタル画像の特定色の画像部分を、予め用意した「人物」「指定色」を含む選択肢から選択することで指定すると共に、「指定色」を選択した場合、前記表示されているデジタル画像の所望の色の部分をポインティングデバイスで指示することにより、該指示した色を前記「指定色」として指定する機能と、
    少なくとも大きさまたは形状の異なる複数種類の前記フレーム画像を記憶する機能と、
    前記複数のフレーム画像の各々におけるフレーム枠部分と前記特定色の画像部分との重なり量を検出する機能と、
    前記重なり量が所定量以下になる前記フレーム画像を選択して表示する機能と、
    をコンピュータに実現させるプログラム。
11. 請求項１０に記載の画像処理プログラムを、コンピュータによって読み取り可能に記録した記録媒体。

Images