JP4507082B2 - Catch light synthesis method - Google Patents
Catch light synthesis method Download PDFInfo
- Publication number
- JP4507082B2 JP4507082B2 JP2004239653A JP2004239653A JP4507082B2 JP 4507082 B2 JP4507082 B2 JP 4507082B2 JP 2004239653 A JP2004239653 A JP 2004239653A JP 2004239653 A JP2004239653 A JP 2004239653A JP 4507082 B2 JP4507082 B2 JP 4507082B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- catchlight
- catch light
- conversion table
- color conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像の瞳にキャッチライトを合成するキャッチライト合成技術に関する。 The present invention relates to a catchlight synthesis technique for synthesizing a catchlight with the pupil of an image.
一般に、同じ被写体を撮影する場合であっても撮影状況によって撮影画像の画質が異なる。例えば、被写体が太陽に向いている順光の場合には、瞳に自然にキャッチライトが入り撮影画像の人物の表情が生き生きとしたものになるが、逆光の場合若しくはキーライトの押えやライトの角度によっては、瞳にキャッチライトが入らず、撮影画像の人物の表情が冴えないものとなる場合がある。肖像画等の場合には、表情が冴えないものとなると画像の価値が低下するため、画質を高める技術が望まれている。
瞳を補正する技術には、形状や濃度、位置等に基づいて修正の必要のある赤目領域を選別し、選別した赤目領域にキャッチライトがある場合、赤目を補正する際に瞳にキャッチライトを合成する画像処理方法がある(例えば、特許文献1参照)。この画像処理方法では、選別した赤目領域にキャッチライトがある場合、即ち、瞳の最大明度画素のある位置にキャッチライトを合成する。
Generally, even when shooting the same subject, the image quality of the shot image varies depending on the shooting situation. For example, when the subject is in direct light facing the sun, the catchlight will naturally enter the pupil and the person's facial expression in the captured image will be vivid. Depending on the angle, the catchlight may not enter the pupil and the person's facial expression may not be visible. In the case of portraits and the like, since the value of the image decreases when the expression is not clear, a technique for improving the image quality is desired.
The technology to correct the pupil selects the red-eye area that needs to be corrected based on the shape, density, position, etc., and if there is a catch light in the selected red-eye area, the catch light is applied to the pupil when correcting the red eye. There is an image processing method to synthesize (for example, see Patent Document 1). In this image processing method, when there is a catch light in the selected red-eye region, that is, the catch light is synthesized at a position where the maximum brightness pixel of the pupil is located.
しかしながら、特許文献1の画像処理方法では、元の画像の瞳にキャッチライトが入っている場合に、このキャッチライトを補正後の画像に残すことはできるが、元の画像の瞳にキャッチライトが入っていない場合に、キャッチライトを入れることはできない。被写体が人物の場合、瞳にキャッチライトが入っていない撮影画像は人物の表情が冴えないものとなるが、瞳にキャッチライトが入っている撮影画像は、人物の表情が生き生きとして自然なものとなる。
However, in the image processing method of
本発明は上記の問題に鑑みてなされたものであり、その目的は、画像の瞳にキャッチライトを入れることで、被写体の表情を良好にし、画像の価値を高めることにある。 The present invention has been made in view of the above problems, and an object of the present invention is to improve the expression of the subject and increase the value of the image by putting a catch light in the pupil of the image.
この目的を達成するための本発明に係るキャッチライト合成方法の特徴構成は、画像の瞳にキャッチライトを合成するキャッチライト合成方法であって、瞳抽出部により、前記画像上に設定された補正領域から瞳を抽出する瞳抽出ステップと、領域設定部により、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定ステップと、キャッチライト設定部により、前記キャッチライトの形状を設定するキャッチライト設定ステップと、色変換テーブル選択部により、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択ステップと、補正部により、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正ステップとから構成される点にある。 In order to achieve this object, the feature configuration of the catchlight synthesis method according to the present invention is a catchlight synthesis method for synthesizing a catchlight on the pupil of an image, and a correction set on the image by a pupil extraction unit A pupil extracting step for extracting a pupil from the region and the region setting unit divides the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the pupil contour, and the divided ring-shaped regions an area setting step of setting a combining reference point of the catch light based on the area, the catch light setting unit, and the catch-light setting step of setting the shape of the catch light, by the color conversion table selection section, the ring-shaped region A color conversion table selection step of selecting a color conversion table that specifies a color after conversion for each ring-shaped region based on the number of divisions , The correction unit, the synthetic reference points and the shape of the catch light set, as well, is composed of a correction step of the pupil is corrected based on the selected color conversion table, and outputs the pupil with catchlight There is in point.
ここでの瞳は、特に、眼の白眼部分を除く黒目部分を指す。上記特徴構成によれば、瞳に合成基準点を設定してキャッチライトを入れるので、円形、矩形、ドーナツ形状、星型またはハート型等、任意の形状のキャッチライトを瞳に入れることができる。この合成基準点はリング状領域に基づいて設定するため、容易に設定できる。また、リング状領域の分割数に基づいて色変換テーブルを選択するので、補正後の瞳を自然なものとすることができる。更に、選択された色変換テーブルに基づいて瞳を補正するので、簡易な処理で瞳の補正を行うことができ、キャッチライトの設定に係る手間及び時間を短縮することができる。 Here, the pupil particularly refers to the black eye part excluding the white eye part of the eye. According to the above characteristic configuration, since a catch reference is set by setting a composite reference point in the pupil, a catch light having an arbitrary shape such as a circle, a rectangle, a donut shape, a star shape, or a heart shape can be set in the pupil. Since this synthesis reference point is set based on the ring-shaped region, it can be easily set. Moreover, since the color conversion table is selected based on the number of divisions of the ring-shaped region, the corrected pupil can be made natural. Further, since the pupil is corrected based on the selected color conversion table, the pupil can be corrected by a simple process, and the labor and time for setting the catchlight can be reduced.
この目的を達成するための本発明に係るキャッチライト合成方法の他の特徴構成は、前記領域設定ステップは、前記瞳抽出ステップにおいて前記補正領域から左右両目の瞳が抽出された場合に、前記両目の瞳の同じ位置に前記キャッチライトの合成基準点を設定する点にある。
即ち、上記特徴構成によれば、左右両目の対応する位置に合成基準点を設定するので、簡易な処理でキャッチライトを適切な位置に入れることができ、補正後の瞳を違和感なく自然なものとすることができる。
Another feature of the catchlight composition method according to the present invention for achieving this object is that the region setting step includes the steps of selecting both eyes when the left and right eyes are extracted from the correction region in the pupil extraction step. The catch light combination reference point is set at the same position of the pupil.
That is, according to the above-described feature configuration, the composite reference point is set at the corresponding position of both the left and right eyes, so that the catch light can be placed at an appropriate position with a simple process, and the corrected pupil is natural with no sense of incongruity. It can be.
更に、他の特徴構成は、前記キャッチライト設定ステップは、前記瞳抽出ステップにおいて前記補正領域から左右両目の瞳が抽出された場合に、前記両目で異なる形状を設定可能である点にある。
即ち、上記特徴構成によれば、左右両目で異なるキャッチライトを入れることが可能なため、ライトの角度等の撮影状況や、画像の人物の向き等に柔軟に対応してキャッチライトを設定することができ、補正後の瞳を自然なものとすることができる。
Furthermore, another characteristic configuration is that the catch light setting step can set different shapes for both eyes when the pupils of the left and right eyes are extracted from the correction area in the pupil extracting step.
In other words, according to the above-described feature configuration, it is possible to put different catchlights on the left and right eyes, so the catchlight can be set flexibly according to the shooting situation such as the angle of the light and the orientation of the person in the image. And the corrected pupil can be made natural.
更に、前記キャッチライト設定ステップは、前記キャッチライトの形状を、予め設定された複数の基本形状から選択する構成であってもよく、このように構成すれば、簡易な処理でキャッチライトを設定することができ、キャッチライトの設定に係る手間及び時間を短縮することができる。 Further, the catch light setting step may be configured to select the shape of the catch light from a plurality of preset basic shapes. With this configuration, the catch light is set with a simple process. It is possible to reduce labor and time for setting the catchlight.
また、前記キャッチライト設定ステップは、選択した前記キャッチライトの大きさを変更する構成であってもよく、このように構成すれば、予め記憶しておく基本形状を形状のバリエーションに限ることができると共に、瞳の大きさや形状、撮影状況等に精細に対応することができる。 In addition, the catch light setting step may be configured to change the size of the selected catch light. With this configuration, the basic shape stored in advance can be limited to variations in shape. At the same time, it is possible to precisely cope with the size and shape of the pupil, the shooting situation, and the like.
更に、他の特徴構成は、色変換テーブル作成部により、前記リング状領域の分割数に応じて使用する前記色変換テーブルを作成する色変換テーブル作成ステップを含む点にある。
即ち、上記特徴構成によれば、リング状領域に応じて色変換テーブルを作成するので、リング状領域の分割数を瞳の大きさ等に柔軟に対応して設定することができる。また、色変換テーブルを複数設定しておく必要がない。
Furthermore, another feature configuration includes a color conversion table creation step of creating the color conversion table to be used according to the number of divisions of the ring-shaped region by the color conversion table creation unit .
That is, according to the above-described feature configuration, the color conversion table is created according to the ring-shaped region, so that the number of divisions of the ring-shaped region can be set flexibly corresponding to the pupil size and the like. Further, it is not necessary to set a plurality of color conversion tables.
また、本発明は、上述したキャッチライト合成方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものであり、そのようなキャッチライト合成プログラムは、前記画像上に設定された補正領域から瞳を抽出する瞳抽出機能と、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定機能と、前記キャッチライトの形状を設定するキャッチライト設定機能と、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択機能と、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正機能とを備えている。当然ながら、このようなキャッチライト合成プログラムも上述したキャッチライト合成方法におけるすべての作用効果を得ることができる。また、キャッチライト合成方法において記載した従属項に係る機能をキャッチライト合成プログラムに追加するのも好適である。 The present invention also covers a program for causing a computer to execute the above-described catchlight composition method and a medium on which the program is recorded. Such a catchlight composition program is set on the image. A pupil extraction function for extracting a pupil from the correction region, and dividing the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the contour of the pupil, and based on the divided ring-shaped regions Based on the area setting function for setting the catch light combining reference point, the catch light setting function for setting the shape of the catch light, and the number of divisions of the ring area, a conversion result is obtained for each ring area. A color conversion table selection function for selecting a color conversion table designating a color, and the composite reference point and the shape of the set catchlight, Each time, the pupil is corrected based on the color conversion table selected, and a correction function of outputting the pupil with catch light. Naturally, such a catchlight synthesis program can also obtain all the effects of the catchlight synthesis method described above. It is also preferable to add the function according to the dependent claim described in the catchlight synthesis method to the catchlight synthesis program.
本発明では、更に、上述したキャッチライト合成方法を実施するキャッチライト合成装置も権利の対象としており、そのようなキャッチライト合成装置は、前記画像上に設定された補正領域から瞳を抽出する瞳抽出部と、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定部と、前記キャッチライトの形状を設定するキャッチライト設定部と、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択部と、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正部とを備えている。当然ながら、このようなキャッチライト合成装置も上述したキャッチライト合成方法におけるすべての作用効果を得ることができる。 In the present invention, a catchlight combining device that performs the above-described catchlight combining method is also subject to rights, and such a catchlight combining device extracts a pupil from a correction area set on the image. The extraction unit and the extracted pupil are divided into a predetermined number of ring-shaped regions according to the distance from the pupil contour, and the catch light combining reference point is determined based on the divided ring-shaped regions. Select a color conversion table that specifies the color after conversion for each ring-shaped area based on the area setting section to be set, the catchlight setting section that sets the shape of the catchlight, and the number of divisions of the ring-shaped area A color conversion table selection unit that performs the composition reference point and the shape of the catchlight that has been set, and the pupil based on the selected color conversion table Corrected, and a correction unit for outputting a pupil with catch light. Naturally, such a catchlight synthesizing apparatus can also obtain all the effects of the catchlight synthesizing method described above.
更に、本発明に係るキャッチライト合成装置の他の特徴構成は、前記画像を表示する画像表示枠と、前記補正領域を表示する補正領域表示枠と、予め設定されたキャッチライトの基本形状を表示するサンプル形状表示枠とを有する合成操作画面を出力する表示処理部を備える点にある。このように構成すれば、画像と補正領域とキャッチライトの基本形状とを同一画面上に表示でき、瞳の補正をより容易に実施することができる。また、キャッチライト合成方法において記載した従属項に係る構成をキャッチライト合成装置に追加するのも好適である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
Furthermore, another characteristic configuration of the catchlight composition device according to the present invention is configured to display an image display frame for displaying the image, a correction region display frame for displaying the correction region, and a preset basic shape of the catchlight. And a display processing unit that outputs a synthesis operation screen having a sample shape display frame. If comprised in this way, an image, a correction | amendment area | region, and the basic shape of a catchlight can be displayed on the same screen, and pupil correction | amendment can be implemented more easily. It is also preferable to add the configuration according to the dependent claim described in the catchlight composition method to the catchlight composition apparatus.
Other features and advantages of the present invention will become apparent from the following description of embodiments using the drawings.
本発明に係るキャッチライト合成技術の第一実施形態を図面に基づいて説明する。
図1は、本発明に係る写真プリント装置の外観図であり、この写真プリント装置は、印画紙Pに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション1Bと、現像済み写真フィルム2aやデジタルカメラ用メモリカード2b等の画像入力メディアから取り込んだ撮影画像を処理してプリントステーション1Bで使用されるプリントデータの生成・転送等を行う操作ステーション1Aとから構成されている。
A first embodiment of a catchlight synthesis technique according to the present invention will be described with reference to the drawings.
FIG. 1 is an external view of a photographic printing apparatus according to the present invention. This photographic printing apparatus includes a
この写真プリント装置はデジタルミニラボとも称せられるものであり、図2からよく理解できるように、プリントステーション1Bは2つの印画紙マガジン11に納めたロール状の印画紙Pを引き出してシートカッター12でプリントサイズに切断すると共に、このように切断された印画紙Pに対し、バックプリント部13で色補正情報やコマ番号などのプリント処理情報を印画紙Pの裏面に印字するとともに、プリント露光部14で印画紙Pの表面(感光面)に撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理槽を有した処理槽ユニット15に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア16からソータ17に送られた印画紙P、つまり写真プリントPは、このソータ17の複数のトレイにオーダ単位で仕分けられた状態で集積される(図1参照)。
This photo printing apparatus is also called a digital minilab. As can be understood from FIG. 2, the
上述した印画紙Pに対する各種処理に合わせた搬送速度で印画紙Pを搬送するために印画紙搬送機構18が敷設されている。印画紙搬送機構18は、印画紙搬送方向に関してプリント露光部14の前後に配置されたチャッカー式印画紙搬送ユニット18aを含む複数の挟持搬送ローラ対から構成されている。
A photographic
プリント露光部14には、副走査方向に搬送される印画紙Pに対して、主走査方向に沿って操作ステーション1Aからのプリントデータに基づいてR(赤)、G(緑)、B(青)の3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット15は、発色現像処理液を貯留する発色現像槽15aと、漂白定着処理液を貯留する漂白定着槽15bと、安定処理液を貯留する安定槽15cを備えている。
The
操作ステーション1Aのデスク状コンソールの上部位置には、写真フィルム2aの撮影画像コマから撮影画像を2000dpiを超える解像度でもって取得することができるフィルムスキャナ20が配置されており、デジタルカメラ等に装着される撮影画像記録媒体2bとして用いられている各種半導体メモリやCD−R等から撮影画像を取得するメディアリーダ21は、この写真プリント装置のコントローラ3として機能する汎用パソコンに組み込まれている。この汎用パソコンには、更に各種情報を表示するモニタ23、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード24やマウス25も接続されている。
At the upper position of the desk-like console of the
この写真プリント装置のコントローラ3は、CPUを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図3に示すように、本発明に特に関係する機能部としては、フィルムスキャナ20やメディアリーダ21によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部31と、各種ウインドウや各種操作ボタン等を含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力(キーボード24やマウス25などによる)から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部33と、GUI部33から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部31からメモリ30に転送された撮影画像に対する画像処理等を行うプリント管理部32と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはGUI部33から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部35と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション1Bに装備されているプリント露光部14に適したプリントデータを生成するプリントデータ生成部36と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像等をCD−Rに書き込むための形式にフォーマットするフォーマッタ部37等が挙げられる。
The
画像入力部31は、撮影画像記録媒体がフィルム2aの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ30に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード2bの場合取り込んだ撮影画像にサムネイル(低解像度データ)が含まれている場合はモニタ23での一覧表示などの目的で使用するため撮影画像の本データ(高解像度データ)とは別にメモリ30に送り込むが、もしサムネイルが含まれていない場合は本データから縮小画像を作り出してサムネイルとしてメモリ30に送り込む。
When the photographic image recording medium is the
プリント管理部32は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット60、メモリ30に展開された撮影画像に対して各種画像処理を施す画像処理ユニット70、画像の瞳にキャッチライトを合成するキャッチライト合成手段80、及び、濃度補正や解像度変換などのフォトレタッチ機能を実現する手段等が含まれている。キャッチライト合成手段80は、プログラムとしてプリント管理部32に実装されている。
The
キャッチライト合成手段80は、図4に示すように、瞳抽出部81、領域設定部82、キャッチライト設定部83、色変換テーブル選択部85、及び、補正部87を備えている。瞳抽出部81は、画像上に設定された補正領域41aから瞳を抽出する瞳抽出ステップを行う処理部であり、領域設定部82は、抽出された瞳を、瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割されたリング状領域に基づいてキャッチライトの合成基準点を設定する領域設定ステップを行う処理部であり、キャッチライト設定部83は、キャッチライトの形状を設定するキャッチライト設定ステップを行う処理部であり、色変換テーブル選択部85は、リング状領域の分割数に基づいて、リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択ステップを行う処理部であり、補正部87は、設定したキャッチライトの合成基準点及び形状、並びに、選択された色変換テーブルに基づいて瞳を補正し、キャッチライト付瞳を出力する補正ステップを行う処理部である。更に、本実施形態のキャッチライト合成手段80は、キャッチライトのサンプル形状を記憶したキャッチライト格納部84と、リング状領域の分割数に応じた色変換テーブルを記憶した色変換テーブル格納部86と、キャッチライトの合成処理のための合成操作画面40を作成し、モニタ23上に表示する表示処理部88とを備えている。
As shown in FIG. 4, the
次に、このように構成されたキャッチライト合成手段80のキャッチライト合成処理手順を図5乃至図8に基づいて説明する。先ず、フィルムスキャナ20やメディアリーダ21を通じて撮影画像、詳しくは撮影画像のデジタル画像データが取り込まれ、メモリ30に展開される。尚、ここでのデジタル画像データは、後の加工処理のためにビットマップ形式でメモリ30に記憶される。
Next, the catch light composition processing procedure of the catch light composition means 80 configured as described above will be described with reference to FIGS. First, a photographed image, specifically, digital image data of the photographed image is captured through the
キャッチライト合成手段80は、先ず、メモリ30に展開された画像を読み込み、キャッチライト合成処理を行う補正領域41aの設定を行う。ここで、図5は、キャッチライト合成処理を行う合成操作画面40の例を示している。この合成操作画面40には、キャッチライトの合成を行う画像を表示する画像表示枠41と、画像から切取った補正領域41aを拡大表示する補正領域表示枠42と、合成するキャッチライトの形状の候補を表示するサンプル形状表示枠43とが構築されている。
The catchlight composition means 80 first reads an image developed in the
詳細には、表示処理部88が、キーボード24やマウス25からの入力操作により、合成操作画面40が起動され合成処理を行う画像が指定されると、メモリ30から画像を読み込み、画像表示枠41に指定された画像を表示する(#100)。キーボード24やマウス25からの入力操作により、合成操作画面40の画像上で瞳を含む補正領域41aが設定されると、画像から補正領域41aを切出して補正領域表示枠42に表示する(#200)。尚、ここでの補正領域41aは、図5に示すように、円形の領域を設定する。例えば、画像上で所定の2点、中心及び周の一点を指定することによって、任意の領域を自在に指定可能である。表示処理部88は、補正領域41aが設定されると、図7に示すように、画像上に表示された円の外接矩形41bを切出し、補正領域表示枠42に表示する。更に、切出された外接矩形41bの左上頂点の画像上の座標Aと、右下頂点の画像上の座標Bとを記憶する。
Specifically, when the
瞳抽出部81は、設定された補正領域41aから瞳を抽出する(#300)。詳細には、補正領域41aの全画素について黒色画素の認定を行い、黒色画素と認定された画素について連続性を評価する。そして、同一領域と評価された黒色画素郡の夫々について形状の判定を行い、外形が略円形の黒色画素郡を検出する。外形が略円形の黒色画素郡が検出された場合には、これを瞳として抽出する。尚、既にキャッチライトが入っている瞳に対する補正が可能なように、黒色画素郡中に他の色の画素が入っている場合でも、その外形が円形であれば瞳として抽出する。更に、瞳の色として考えられる色、例えば、赤色、青色、金色等についても黒色の場合と同様に、画素の認定及び連続性の評価、並びに、検出された画素郡の形状の判定を行い、略円形の画素郡が検出された場合には、瞳として抽出する。そして、図8に示すように、瞳として抽出された画素に対してはフラグ1を、それ以外の画素に対してはフラグ0を設定する。尚、例えば、補正領域41aから左右両目の瞳が検出された場合には、いずれか一方の瞳にフラグ1を設定し他方の瞳にはフラグ0を設定して、抽出された瞳を一つずつ補正するように構成する。
The
領域設定部82は、瞳抽出部81によって抽出された瞳をリング状領域に分割する(#400)。詳細には、図9に示すように、外周部分の画素にフラグ1を設定する。そして、その内側の画素にフラグ2を設定する。同様にして、内側に向かう程値が大きくなるように順次フラグを設定することで、所定数のリング状領域50に分割する。ここでは、簡単のために、各リング状領域50の幅が1画素に設定されており、リング状領域50の中央の画素にはフラグ4が設定されている。尚、設定するフラグの最大値、即ち、リング状領域50の分割数を予め設定しておき、各リング状領域50の幅を調整する構成であっても良い。
The
更に、領域設定部82は、瞳をリング状領域50に分割した後、値が最大となるフラグが設定された中心領域の略中央に位置する画素を合成基準点Cとして設定する。本実施形態では、フラグ4が設定された画素をキャッチライトの合成基準点Cとして設定する。
Further, the
キャッチライト設定部83は、キャッチライトの形状及び大きさを設定する(#500)。本実施形態では、キャッチライト格納部84に複数のキャッチライトのサンプル形状が記憶されており、この中から選択するように構成されている。ここで、図5の合成操作画面40上のサンプル形状表示枠43には、キャッチライト格納部84に記憶されているサンプル形状が表示されており、キーボード24やマウス25から任意のサンプル形状を選択可能である。サンプル形状の一つが選択されると、合成処理を行う瞳の大きさにあわせてサンプル形状の大きさを設定する。尚、図5に示すサンプル形状の他に、例えば、矩形、ドーナツ形状、星型またはハート型等のサンプル形状を備えるようにしても良いし、キーボード24やマウス25から直接入力可能に構成しても良い。メモリ30等から取得可能にするのも好適である。
The
色変換テーブル選択部85は、リング状領域50の分割数に基づいて、色変換テーブル格納部86に格納された色変換テーブルを検索する(#600)。色変換テーブル格納部86には、リング状領域50の分割数、瞳の色等に応じて複数の色変換テーブルが記憶されており、各色変換テーブルには、R(赤)、G(緑)、B(青)の3原色夫々についてフラグの値毎に変換後の輝度値が設定されている。ここで、図10は、色変換テーブルの例を示しており、この色変換テーブルは、瞳の色が黒色の場合に用いられる色変換テーブルである。尚、瞳抽出部81において赤や金等、他の色の瞳が抽出された場合には、これらの色に応じたRGB輝度値が設定された色変換テーブルを選択する。
The color conversion
補正部87は、設定したキャッチライトの合成基準点C及び形状、並びに、選択された色変換テーブルに基づいて瞳を補正し、キャッチライト付瞳を出力する(#700)。詳細には、図11に示すように、補正部87は、先ず、補正領域41aのフラグ0が設定された画素、即ち、瞳以外の補正を行わない画素をマスク処理する(#701)。続いて、補正部87は、キャッチライトの設定を行う(#702)。具体的には、キャッチライト設定部83によって設定された形状及び大きさのキャッチライトを、合成基準点Cを中心として配置し、キャッチライトとなる画素に値が最大となるフラグを設定する。続いて、補正部87は、補正領域41aの各画素に設定されたフラグに基づいて色変換を行う(#703)。具体的には、色変換を行う画素のフラグの値をキーとして、色変換テーブルからフラグの値に規定されている色を検索し、瞳の各画素の色を検索された色に変換して、キャッチライト付瞳を生成する。次に、補正部87は、キャッチライト付瞳を画像に合成する(#704)。具体的には、補正領域41aからマスク処理した画素を除いてキャッチライト付瞳を切出し、表示処理部88において記憶した座標A及び座標Bに基づいてキャッチライト付瞳を画像上に配置し、合成処理する。最終的に、補正部87は、メモリ30に補正した画像を出力する(#705)。
The correcting
キャッチライト合成手段80は、合成処理を継続しない場合には、処理を終了し、合成操作画面40を終了させる(#800でNo分岐)。合成処理を実施していない瞳があり、合成処理を継続して行う場合には(#800でYes分岐)、左右の瞳で同じ形状のキャッチライトを入れるか否かを確認する(#801)。異なる形状のキャッチライトを設定する場合には、ステップ#200から上述した各ステップを再度実行する(#801でNo分岐)。同じ形状のキャッチライトを設定する場合には、ステップ#500を除く上記各ステップを再度実行する(#801でYes分岐)。また、本実施形態では左右両目の瞳の同じ位置にキャッチライトの合成基準点Cを設定することができる。この場合には、例えば、最初のステップ#400の実行時に、合成基準点Cの瞳に対する相対座標を記憶しておき、次のステップ#400の実行時に、記憶された合成基準点Cの相対座標に基づいて、次に補正する瞳に対する合成基準点Cを設定する。このように構成することで、左右両目の瞳の同じ位置にキャッチライトを入れることができ、補正後の瞳を自然なものとすることができる。
If the
ここで、図12は、合成処理前の画像aと、キャッチライト付瞳を合成した画像bとを示している。画像aと比較して、画像bは人物の表情が生き生きとしたものとなっており、本発明に係るキャッチライト合成技術を用いることで、画像の価値を高めることができるのである。 Here, FIG. 12 shows an image a before the synthesis process and an image b obtained by synthesizing the catch-lit pupil. Compared to the image a, the image b has a lively expression of a person, and the value of the image can be increased by using the catchlight combining technique according to the present invention.
次に、本発明に係るキャッチライト合成技術の第二実施形態を図13及び図14に基づいて説明する。第一実施形態では、使用する色変換テーブルは、色変換テーブル格納部86に記憶された色変換テーブルから選択して用いたが、本実施形態のキャッチライト合成手段80は、図13に示すように、色変換テーブル作成部89を備えており、この色変換テーブル作成部89が、リング状領域50の分割数に応じて使用する色変換テーブルを作成、または、基準色変換テーブルから編集する。ここでの色変換テーブル格納部86には、色変換テーブルの作成に用いる基準色変換テーブルが記憶されている。
Next, a second embodiment of the catchlight synthesis technique according to the present invention will be described with reference to FIGS. In the first embodiment, the color conversion table to be used is selected from the color conversion table stored in the color conversion
詳細には、色変換テーブル作成部89は、図14に示すように、ステップ#500のキャッチライトの設定後、色変換テーブルを作成する(#900)。色変換テーブル作成部89は、色変換テーブル格納部86に記憶された基準色変換テーブルを用い、この基準色変換テーブルのリング状領域50の設定数がステップ#400において設定されたリング状領域50の分割数より多い場合には、基準色変換テーブルのリング状領域50の設定数を減らした色変換テーブルを作成する。基準色変換テーブルのリング状領域50の設定数がステップ#400において設定されたリング状領域50の分割数より少ない場合には、色変換テーブルを追加する。基準色変換テーブルのリング状領域50の設定数とステップ#400において設定されたリング状領域50の分割数とが同じ場合には、基準色変換テーブルをそのまま利用できる。このように構成した場合には、予め複数の色変換テーブルを用意しておく必要がなく、リング状領域50の分割数を瞳の大きさ等に応じて設定することができる。
Specifically, as shown in FIG. 14, the color conversion
また、本発明に係るキャッチライト合成技術は、人物だけでなく、動物の瞳に対しても適用することが可能である。更に、第一及び第二実施形態では写真プリント装置に適用したが、これに限られず、PC(Personal Computer)等のアプリケーションプログラムとして利用することも有用である。この場合には、瞳抽出部81を、既知の手段、例えば、ASP(Application Service Provider)等をネットワークを介して利用する構成としても良い。
Further, the catchlight synthesis technique according to the present invention can be applied not only to a person but also to an animal pupil. Furthermore, in the first and second embodiments, the present invention is applied to a photographic printing apparatus. However, the present invention is not limited to this, and it is useful to use it as an application program such as a PC (Personal Computer). In this case, the
80 キャッチライト合成手段
81 瞳抽出部
82 領域設定部
83 キャッチライト設定部
85 色変換テーブル選択部
87 補正部
80 Catch
Claims (9)
瞳抽出部により、前記画像上に設定された補正領域から瞳を抽出する瞳抽出ステップと、
領域設定部により、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定ステップと、
キャッチライト設定部により、前記キャッチライトの形状を設定するキャッチライト設定ステップと、
色変換テーブル選択部により、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択ステップと、
補正部により、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正ステップとから構成されるキャッチライト合成方法。 A catch light synthesis method for synthesizing a catch light to the pupil of an image,
A pupil extracting step of extracting a pupil from a correction region set on the image by a pupil extracting unit ;
The area setting unit divides the extracted pupil into a predetermined number of ring-shaped areas according to the distance from the outline of the pupil, and based on the divided ring-shaped areas, the catch light combining reference point An area setting step for setting
A catch light setting step for setting the shape of the catch light by a catch light setting unit ;
A color conversion table selection step of selecting a color conversion table specifying a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region by a color conversion table selecting unit ;
The correction unit includes a correction step of correcting the pupil based on the set reference point and the shape of the catchlight, and the selected color conversion table, and outputting a catchlight-attached pupil. Catch light synthesis method.
前記画像上に設定された補正領域から瞳を抽出する瞳抽出機能と、
抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定機能と、
前記キャッチライトの形状を設定するキャッチライト設定機能と、
前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択機能と、
設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正機能とをコンピュータに実行させるキャッチライト合成プログラム。 A catchlight synthesis program that synthesizes a catchlight with the pupil of an image,
A pupil extraction function for extracting a pupil from a correction area set on the image;
A region setting that divides the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the outline of the pupil, and sets a reference point for the catchlight based on the divided ring-shaped regions Function and
A catch light setting function for setting the shape of the catch light;
A color conversion table selection function for selecting a color conversion table specifying a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region;
Catchlight synthesis for causing the computer to execute a correction function for correcting the pupil based on the set reference point and shape of the catchlight, and the selected color conversion table, and outputting a pupil with catchlight. program.
前記画像上に設定された補正領域から瞳を抽出する瞳抽出部と、
抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定部と、
前記キャッチライトの形状を設定するキャッチライト設定部と、
前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択部と、
設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正部とから構成されるキャッチライト合成装置。 A catch light synthesizer that synthesizes a catch light with the pupil of an image,
A pupil extraction unit that extracts a pupil from a correction region set on the image;
A region setting that divides the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the outline of the pupil, and sets a reference point for the catchlight based on the divided ring-shaped regions And
A catch light setting unit for setting the shape of the catch light;
A color conversion table selection unit that selects a color conversion table that specifies a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region;
A catch light combining device configured to correct the pupil based on the set synthesis reference point and the shape of the catch light and the selected color conversion table, and output a catch light-equipped pupil .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004239653A JP4507082B2 (en) | 2004-08-19 | 2004-08-19 | Catch light synthesis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004239653A JP4507082B2 (en) | 2004-08-19 | 2004-08-19 | Catch light synthesis method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006059092A JP2006059092A (en) | 2006-03-02 |
JP4507082B2 true JP4507082B2 (en) | 2010-07-21 |
Family
ID=36106518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004239653A Expired - Fee Related JP4507082B2 (en) | 2004-08-19 | 2004-08-19 | Catch light synthesis method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4507082B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274225A (en) * | 2006-03-30 | 2007-10-18 | Sony Corp | Printer |
JP2008048308A (en) * | 2006-08-21 | 2008-02-28 | Kyocera Mita Corp | Image processing apparatus and image processing program |
JP5009204B2 (en) * | 2008-03-14 | 2012-08-22 | オリンパスイメージング株式会社 | Image capturing apparatus and image composition method in image capturing apparatus |
WO2010149220A1 (en) * | 2009-06-26 | 2010-12-29 | Nokia Corporation | An apparatus |
JP6354118B2 (en) * | 2013-03-21 | 2018-07-11 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP6260094B2 (en) * | 2013-03-21 | 2018-01-17 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP2023040914A (en) * | 2021-09-10 | 2023-03-23 | フリュー株式会社 | Image processing apparatus, image processing program, and mask generation method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1091761A (en) * | 1996-09-17 | 1998-04-10 | Fuji Photo Film Co Ltd | Picture processor |
JP4050842B2 (en) * | 1998-06-15 | 2008-02-20 | 富士フイルム株式会社 | Image processing method |
JP2000134486A (en) * | 1998-10-22 | 2000-05-12 | Canon Inc | Image processing unit, image processing method and storage medium |
KR100374708B1 (en) * | 2001-03-06 | 2003-03-04 | 에버미디어 주식회사 | Non-contact type human iris recognition method by correction of rotated iris image |
JP2004021406A (en) * | 2002-06-13 | 2004-01-22 | Matsushita Electric Ind Co Ltd | Eye position identification method and authentication device |
JP4482307B2 (en) * | 2003-10-14 | 2010-06-16 | 富士フイルム株式会社 | Image processing device |
JP2005222152A (en) * | 2004-02-03 | 2005-08-18 | Omron Corp | Image correcting device |
-
2004
- 2004-08-19 JP JP2004239653A patent/JP4507082B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006059092A (en) | 2006-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6940526B2 (en) | Image synthesizing apparatus | |
US7010176B2 (en) | Imaging system for automatic resolution adjustment | |
US7072526B2 (en) | Image processing apparatus, image processing method and recording medium | |
JP4473299B2 (en) | Digital image processing method | |
JP4421761B2 (en) | Image processing method and apparatus, and recording medium | |
JP4368513B2 (en) | Image processing method and apparatus, and recording medium | |
US20090027732A1 (en) | Image processing apparatus, image processing method, and computer program | |
JP2005310068A (en) | White-eye correction method and apparatus for carrying out this method | |
JP2007226655A (en) | Image processing method, apparatus, and program | |
JP2001148780A (en) | Method for setting red-eye correction area and red-eye correction method | |
JP4496465B2 (en) | Red-eye correction method, program, and apparatus for implementing the method | |
US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
JP4507082B2 (en) | Catch light synthesis method | |
JP2001197296A (en) | Image processing method and image processor | |
JP2005148915A (en) | Appropriate face discrimination method and apparatus for carrying out this method | |
US7170638B2 (en) | Method, system and recording medium for image processing | |
US20050200923A1 (en) | Image generation for editing and generating images by processing graphic data forming images | |
JP2006072743A (en) | Catchlight synthesis method and apparatus | |
JP2005159387A (en) | Method for determining density characteristic curve and density correction management apparatus for implementing this method | |
JP2005148916A (en) | Face selection method for density correction and apparatus for carrying out this method | |
JP4441876B2 (en) | Photographed image processing method, photographed image processing program, and photographed image processing apparatus | |
KR20020084321A (en) | real-time character composition method using template | |
JP4793648B2 (en) | Image correction unit and image correction program | |
JP2006059162A (en) | Tooth image correction method and apparatus | |
JP2006072742A (en) | Catchlight synthesis method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100408 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100421 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |