[go: up one dir, main page]

JP4507082B2 - Catch light synthesis method - Google Patents

Catch light synthesis method Download PDF

Info

Publication number
JP4507082B2
JP4507082B2 JP2004239653A JP2004239653A JP4507082B2 JP 4507082 B2 JP4507082 B2 JP 4507082B2 JP 2004239653 A JP2004239653 A JP 2004239653A JP 2004239653 A JP2004239653 A JP 2004239653A JP 4507082 B2 JP4507082 B2 JP 4507082B2
Authority
JP
Japan
Prior art keywords
pupil
catchlight
catch light
conversion table
color conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004239653A
Other languages
Japanese (ja)
Other versions
JP2006059092A (en
Inventor
圭介 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2004239653A priority Critical patent/JP4507082B2/en
Publication of JP2006059092A publication Critical patent/JP2006059092A/en
Application granted granted Critical
Publication of JP4507082B2 publication Critical patent/JP4507082B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像の瞳にキャッチライトを合成するキャッチライト合成技術に関する。   The present invention relates to a catchlight synthesis technique for synthesizing a catchlight with the pupil of an image.

一般に、同じ被写体を撮影する場合であっても撮影状況によって撮影画像の画質が異なる。例えば、被写体が太陽に向いている順光の場合には、瞳に自然にキャッチライトが入り撮影画像の人物の表情が生き生きとしたものになるが、逆光の場合若しくはキーライトの押えやライトの角度によっては、瞳にキャッチライトが入らず、撮影画像の人物の表情が冴えないものとなる場合がある。肖像画等の場合には、表情が冴えないものとなると画像の価値が低下するため、画質を高める技術が望まれている。
瞳を補正する技術には、形状や濃度、位置等に基づいて修正の必要のある赤目領域を選別し、選別した赤目領域にキャッチライトがある場合、赤目を補正する際に瞳にキャッチライトを合成する画像処理方法がある(例えば、特許文献1参照)。この画像処理方法では、選別した赤目領域にキャッチライトがある場合、即ち、瞳の最大明度画素のある位置にキャッチライトを合成する。
Generally, even when shooting the same subject, the image quality of the shot image varies depending on the shooting situation. For example, when the subject is in direct light facing the sun, the catchlight will naturally enter the pupil and the person's facial expression in the captured image will be vivid. Depending on the angle, the catchlight may not enter the pupil and the person's facial expression may not be visible. In the case of portraits and the like, since the value of the image decreases when the expression is not clear, a technique for improving the image quality is desired.
The technology to correct the pupil selects the red-eye area that needs to be corrected based on the shape, density, position, etc., and if there is a catch light in the selected red-eye area, the catch light is applied to the pupil when correcting the red eye. There is an image processing method to synthesize (for example, see Patent Document 1). In this image processing method, when there is a catch light in the selected red-eye region, that is, the catch light is synthesized at a position where the maximum brightness pixel of the pupil is located.

特開2000−76427号公報JP 2000-76427 A

しかしながら、特許文献1の画像処理方法では、元の画像の瞳にキャッチライトが入っている場合に、このキャッチライトを補正後の画像に残すことはできるが、元の画像の瞳にキャッチライトが入っていない場合に、キャッチライトを入れることはできない。被写体が人物の場合、瞳にキャッチライトが入っていない撮影画像は人物の表情が冴えないものとなるが、瞳にキャッチライトが入っている撮影画像は、人物の表情が生き生きとして自然なものとなる。   However, in the image processing method of Patent Document 1, when a catchlight is included in the pupil of the original image, the catchlight can be left in the corrected image. If it is not, you cannot enter a catchlight. When the subject is a person, the shot image without the catchlight in the pupil will not look like a person's expression, but the shot image with the catchlight in the pupil will have a natural and lively expression. Become.

本発明は上記の問題に鑑みてなされたものであり、その目的は、画像の瞳にキャッチライトを入れることで、被写体の表情を良好にし、画像の価値を高めることにある。   The present invention has been made in view of the above problems, and an object of the present invention is to improve the expression of the subject and increase the value of the image by putting a catch light in the pupil of the image.

この目的を達成するための本発明に係るキャッチライト合成方法の特徴構成は、画像の瞳にキャッチライトを合成するキャッチライト合成方法であって、瞳抽出部により、前記画像上に設定された補正領域から瞳を抽出する瞳抽出ステップと、領域設定部により、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定ステップと、キャッチライト設定部により、前記キャッチライトの形状を設定するキャッチライト設定ステップと、色変換テーブル選択部により、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択ステップと、補正部により、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正ステップとから構成される点にある。 In order to achieve this object, the feature configuration of the catchlight synthesis method according to the present invention is a catchlight synthesis method for synthesizing a catchlight on the pupil of an image, and a correction set on the image by a pupil extraction unit A pupil extracting step for extracting a pupil from the region and the region setting unit divides the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the pupil contour, and the divided ring-shaped regions an area setting step of setting a combining reference point of the catch light based on the area, the catch light setting unit, and the catch-light setting step of setting the shape of the catch light, by the color conversion table selection section, the ring-shaped region A color conversion table selection step of selecting a color conversion table that specifies a color after conversion for each ring-shaped region based on the number of divisions , The correction unit, the synthetic reference points and the shape of the catch light set, as well, is composed of a correction step of the pupil is corrected based on the selected color conversion table, and outputs the pupil with catchlight There is in point.

ここでの瞳は、特に、眼の白眼部分を除く黒目部分を指す。上記特徴構成によれば、瞳に合成基準点を設定してキャッチライトを入れるので、円形、矩形、ドーナツ形状、星型またはハート型等、任意の形状のキャッチライトを瞳に入れることができる。この合成基準点はリング状領域に基づいて設定するため、容易に設定できる。また、リング状領域の分割数に基づいて色変換テーブルを選択するので、補正後の瞳を自然なものとすることができる。更に、選択された色変換テーブルに基づいて瞳を補正するので、簡易な処理で瞳の補正を行うことができ、キャッチライトの設定に係る手間及び時間を短縮することができる。   Here, the pupil particularly refers to the black eye part excluding the white eye part of the eye. According to the above characteristic configuration, since a catch reference is set by setting a composite reference point in the pupil, a catch light having an arbitrary shape such as a circle, a rectangle, a donut shape, a star shape, or a heart shape can be set in the pupil. Since this synthesis reference point is set based on the ring-shaped region, it can be easily set. Moreover, since the color conversion table is selected based on the number of divisions of the ring-shaped region, the corrected pupil can be made natural. Further, since the pupil is corrected based on the selected color conversion table, the pupil can be corrected by a simple process, and the labor and time for setting the catchlight can be reduced.

この目的を達成するための本発明に係るキャッチライト合成方法の他の特徴構成は、前記領域設定ステップは、前記瞳抽出ステップにおいて前記補正領域から左右両目の瞳が抽出された場合に、前記両目の瞳の同じ位置に前記キャッチライトの合成基準点を設定する点にある。
即ち、上記特徴構成によれば、左右両目の対応する位置に合成基準点を設定するので、簡易な処理でキャッチライトを適切な位置に入れることができ、補正後の瞳を違和感なく自然なものとすることができる。
Another feature of the catchlight composition method according to the present invention for achieving this object is that the region setting step includes the steps of selecting both eyes when the left and right eyes are extracted from the correction region in the pupil extraction step. The catch light combination reference point is set at the same position of the pupil.
That is, according to the above-described feature configuration, the composite reference point is set at the corresponding position of both the left and right eyes, so that the catch light can be placed at an appropriate position with a simple process, and the corrected pupil is natural with no sense of incongruity. It can be.

更に、他の特徴構成は、前記キャッチライト設定ステップは、前記瞳抽出ステップにおいて前記補正領域から左右両目の瞳が抽出された場合に、前記両目で異なる形状を設定可能である点にある。
即ち、上記特徴構成によれば、左右両目で異なるキャッチライトを入れることが可能なため、ライトの角度等の撮影状況や、画像の人物の向き等に柔軟に対応してキャッチライトを設定することができ、補正後の瞳を自然なものとすることができる。
Furthermore, another characteristic configuration is that the catch light setting step can set different shapes for both eyes when the pupils of the left and right eyes are extracted from the correction area in the pupil extracting step.
In other words, according to the above-described feature configuration, it is possible to put different catchlights on the left and right eyes, so the catchlight can be set flexibly according to the shooting situation such as the angle of the light and the orientation of the person in the image. And the corrected pupil can be made natural.

更に、前記キャッチライト設定ステップは、前記キャッチライトの形状を、予め設定された複数の基本形状から選択する構成であってもよく、このように構成すれば、簡易な処理でキャッチライトを設定することができ、キャッチライトの設定に係る手間及び時間を短縮することができる。   Further, the catch light setting step may be configured to select the shape of the catch light from a plurality of preset basic shapes. With this configuration, the catch light is set with a simple process. It is possible to reduce labor and time for setting the catchlight.

また、前記キャッチライト設定ステップは、選択した前記キャッチライトの大きさを変更する構成であってもよく、このように構成すれば、予め記憶しておく基本形状を形状のバリエーションに限ることができると共に、瞳の大きさや形状、撮影状況等に精細に対応することができる。   In addition, the catch light setting step may be configured to change the size of the selected catch light. With this configuration, the basic shape stored in advance can be limited to variations in shape. At the same time, it is possible to precisely cope with the size and shape of the pupil, the shooting situation, and the like.

更に、他の特徴構成は、色変換テーブル作成部により、前記リング状領域の分割数に応じて使用する前記色変換テーブルを作成する色変換テーブル作成ステップを含む点にある。
即ち、上記特徴構成によれば、リング状領域に応じて色変換テーブルを作成するので、リング状領域の分割数を瞳の大きさ等に柔軟に対応して設定することができる。また、色変換テーブルを複数設定しておく必要がない。
Furthermore, another feature configuration includes a color conversion table creation step of creating the color conversion table to be used according to the number of divisions of the ring-shaped region by the color conversion table creation unit .
That is, according to the above-described feature configuration, the color conversion table is created according to the ring-shaped region, so that the number of divisions of the ring-shaped region can be set flexibly corresponding to the pupil size and the like. Further, it is not necessary to set a plurality of color conversion tables.

また、本発明は、上述したキャッチライト合成方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものであり、そのようなキャッチライト合成プログラムは、前記画像上に設定された補正領域から瞳を抽出する瞳抽出機能と、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定機能と、前記キャッチライトの形状を設定するキャッチライト設定機能と、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択機能と、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正機能とを備えている。当然ながら、このようなキャッチライト合成プログラムも上述したキャッチライト合成方法におけるすべての作用効果を得ることができる。また、キャッチライト合成方法において記載した従属項に係る機能をキャッチライト合成プログラムに追加するのも好適である。   The present invention also covers a program for causing a computer to execute the above-described catchlight composition method and a medium on which the program is recorded. Such a catchlight composition program is set on the image. A pupil extraction function for extracting a pupil from the correction region, and dividing the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the contour of the pupil, and based on the divided ring-shaped regions Based on the area setting function for setting the catch light combining reference point, the catch light setting function for setting the shape of the catch light, and the number of divisions of the ring area, a conversion result is obtained for each ring area. A color conversion table selection function for selecting a color conversion table designating a color, and the composite reference point and the shape of the set catchlight, Each time, the pupil is corrected based on the color conversion table selected, and a correction function of outputting the pupil with catch light. Naturally, such a catchlight synthesis program can also obtain all the effects of the catchlight synthesis method described above. It is also preferable to add the function according to the dependent claim described in the catchlight synthesis method to the catchlight synthesis program.

本発明では、更に、上述したキャッチライト合成方法を実施するキャッチライト合成装置も権利の対象としており、そのようなキャッチライト合成装置は、前記画像上に設定された補正領域から瞳を抽出する瞳抽出部と、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定部と、前記キャッチライトの形状を設定するキャッチライト設定部と、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択部と、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正部とを備えている。当然ながら、このようなキャッチライト合成装置も上述したキャッチライト合成方法におけるすべての作用効果を得ることができる。   In the present invention, a catchlight combining device that performs the above-described catchlight combining method is also subject to rights, and such a catchlight combining device extracts a pupil from a correction area set on the image. The extraction unit and the extracted pupil are divided into a predetermined number of ring-shaped regions according to the distance from the pupil contour, and the catch light combining reference point is determined based on the divided ring-shaped regions. Select a color conversion table that specifies the color after conversion for each ring-shaped area based on the area setting section to be set, the catchlight setting section that sets the shape of the catchlight, and the number of divisions of the ring-shaped area A color conversion table selection unit that performs the composition reference point and the shape of the catchlight that has been set, and the pupil based on the selected color conversion table Corrected, and a correction unit for outputting a pupil with catch light. Naturally, such a catchlight synthesizing apparatus can also obtain all the effects of the catchlight synthesizing method described above.

更に、本発明に係るキャッチライト合成装置の他の特徴構成は、前記画像を表示する画像表示枠と、前記補正領域を表示する補正領域表示枠と、予め設定されたキャッチライトの基本形状を表示するサンプル形状表示枠とを有する合成操作画面を出力する表示処理部を備える点にある。このように構成すれば、画像と補正領域とキャッチライトの基本形状とを同一画面上に表示でき、瞳の補正をより容易に実施することができる。また、キャッチライト合成方法において記載した従属項に係る構成をキャッチライト合成装置に追加するのも好適である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。
Furthermore, another characteristic configuration of the catchlight composition device according to the present invention is configured to display an image display frame for displaying the image, a correction region display frame for displaying the correction region, and a preset basic shape of the catchlight. And a display processing unit that outputs a synthesis operation screen having a sample shape display frame. If comprised in this way, an image, a correction | amendment area | region, and the basic shape of a catchlight can be displayed on the same screen, and pupil correction | amendment can be implemented more easily. It is also preferable to add the configuration according to the dependent claim described in the catchlight composition method to the catchlight composition apparatus.
Other features and advantages of the present invention will become apparent from the following description of embodiments using the drawings.

本発明に係るキャッチライト合成技術の第一実施形態を図面に基づいて説明する。
図1は、本発明に係る写真プリント装置の外観図であり、この写真プリント装置は、印画紙Pに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション1Bと、現像済み写真フィルム2aやデジタルカメラ用メモリカード2b等の画像入力メディアから取り込んだ撮影画像を処理してプリントステーション1Bで使用されるプリントデータの生成・転送等を行う操作ステーション1Aとから構成されている。
A first embodiment of a catchlight synthesis technique according to the present invention will be described with reference to the drawings.
FIG. 1 is an external view of a photographic printing apparatus according to the present invention. This photographic printing apparatus includes a printing station 1B as a photographic printer that performs exposure processing and development processing on photographic paper P, and a developed photographic film. 2A, an operation station 1A that processes a captured image taken from an image input medium such as a digital camera memory card 2b and generates / transfers print data used in the print station 1B.

この写真プリント装置はデジタルミニラボとも称せられるものであり、図2からよく理解できるように、プリントステーション1Bは2つの印画紙マガジン11に納めたロール状の印画紙Pを引き出してシートカッター12でプリントサイズに切断すると共に、このように切断された印画紙Pに対し、バックプリント部13で色補正情報やコマ番号などのプリント処理情報を印画紙Pの裏面に印字するとともに、プリント露光部14で印画紙Pの表面(感光面)に撮影画像の露光を行い、この露光後の印画紙Pを複数の現像処理槽を有した処理槽ユニット15に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア16からソータ17に送られた印画紙P、つまり写真プリントPは、このソータ17の複数のトレイにオーダ単位で仕分けられた状態で集積される(図1参照)。   This photo printing apparatus is also called a digital minilab. As can be understood from FIG. 2, the printing station 1B pulls out the roll-shaped printing paper P stored in the two printing paper magazines 11 and prints it with the sheet cutter 12. The back print unit 13 prints print processing information such as color correction information and frame number on the back side of the photographic paper P, and the print exposure unit 14 cuts the print paper P into the size. The photographed image is exposed on the surface (photosensitive surface) of the photographic paper P, and the exposed photographic paper P is sent to a processing tank unit 15 having a plurality of development processing tanks for development processing. After drying, the photographic paper P, that is, the photographic prints P, sent to the sorter 17 from the transverse feed conveyor 16 at the upper part of the apparatus is collected in a plurality of trays of the sorter 17 in a state of being sorted in order units (see FIG. 1). ).

上述した印画紙Pに対する各種処理に合わせた搬送速度で印画紙Pを搬送するために印画紙搬送機構18が敷設されている。印画紙搬送機構18は、印画紙搬送方向に関してプリント露光部14の前後に配置されたチャッカー式印画紙搬送ユニット18aを含む複数の挟持搬送ローラ対から構成されている。   A photographic paper transport mechanism 18 is laid to transport the photographic paper P at a transport speed in accordance with various processes for the photographic paper P described above. The photographic paper transport mechanism 18 is composed of a plurality of nipping and transporting roller pairs including a chucker type photographic paper transport unit 18a disposed before and after the print exposure unit 14 in the photographic paper transport direction.

プリント露光部14には、副走査方向に搬送される印画紙Pに対して、主走査方向に沿って操作ステーション1Aからのプリントデータに基づいてR(赤)、G(緑)、B(青)の3原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット15は、発色現像処理液を貯留する発色現像槽15aと、漂白定着処理液を貯留する漂白定着槽15bと、安定処理液を貯留する安定槽15cを備えている。   The print exposure unit 14 applies R (red), G (green), and B (blue) to the printing paper P conveyed in the sub-scanning direction based on print data from the operation station 1A along the main scanning direction. A line exposure head for irradiating laser beams of the three primary colors (1) is provided. The processing tank unit 15 includes a color developing tank 15a for storing a color developing processing liquid, a bleach-fixing tank 15b for storing a bleach-fixing processing liquid, and a stabilizing tank 15c for storing a stable processing liquid.

操作ステーション1Aのデスク状コンソールの上部位置には、写真フィルム2aの撮影画像コマから撮影画像を2000dpiを超える解像度でもって取得することができるフィルムスキャナ20が配置されており、デジタルカメラ等に装着される撮影画像記録媒体2bとして用いられている各種半導体メモリやCD−R等から撮影画像を取得するメディアリーダ21は、この写真プリント装置のコントローラ3として機能する汎用パソコンに組み込まれている。この汎用パソコンには、更に各種情報を表示するモニタ23、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード24やマウス25も接続されている。   At the upper position of the desk-like console of the operation station 1A, there is disposed a film scanner 20 capable of acquiring a photographed image from a photographed image frame of the photographic film 2a with a resolution exceeding 2000 dpi, and is attached to a digital camera or the like. A media reader 21 that acquires captured images from various semiconductor memories, CD-Rs, and the like used as the captured image recording medium 2b is incorporated in a general-purpose personal computer that functions as the controller 3 of the photographic printing apparatus. The general-purpose personal computer is also connected with a monitor 23 for displaying various information, and a keyboard 24 and a mouse 25 as operation input devices used as operation input units used for various settings and adjustments.

この写真プリント装置のコントローラ3は、CPUを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図3に示すように、本発明に特に関係する機能部としては、フィルムスキャナ20やメディアリーダ21によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部31と、各種ウインドウや各種操作ボタン等を含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力(キーボード24やマウス25などによる)から制御コマンドを生成するグラフィックユーザインターフェース(以下GUIと略称する)を構築するGUI部33と、GUI部33から送られてきた制御コマンドや直接キーボード24等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部31からメモリ30に転送された撮影画像に対する画像処理等を行うプリント管理部32と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはGUI部33から送られてきたグラフィックデータをモニタ23に表示させるためのビデオ信号を生成するビデオ制御部35と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション1Bに装備されているプリント露光部14に適したプリントデータを生成するプリントデータ生成部36と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像等をCD−Rに書き込むための形式にフォーマットするフォーマッタ部37等が挙げられる。   The controller 3 of this photographic printing apparatus has a functional unit for performing various operations of the photographic printing apparatus using hardware and / or software, with the CPU as a core member, as shown in FIG. The function unit particularly related to the present invention includes an image input unit 31 that takes a photographed image read by the film scanner 20 or the media reader 21 and performs pre-processing necessary for the next processing, various windows, and various types. Creation of a graphic operation screen including operation buttons and the like and construction of a graphic user interface (hereinafter abbreviated as GUI) for generating a control command from a user operation input (via the keyboard 24, mouse 25, etc.) through such a graphic operation screen GUI unit 33 and control frames sent from GUI unit 33 A print management unit 32 that performs image processing on the captured image transferred from the image input unit 31 to the memory 30 in order to generate desired print data based on an operation command input directly from the keyboard 24 or the like; A video control unit 35 that generates a video signal for causing the monitor 23 to display graphic data sent from the GUI unit 33, or a simulated image as a print source image, an expected finished print image, or the like during pre-judge printing work such as correction. A print data generation unit 36 that generates print data suitable for the print exposure unit 14 installed in the print station 1B based on the processed captured image that has been subjected to image processing, and a raw capture according to the customer's request Write images and processed shots that have been processed to CD-R Etc. formatter 37 for formatting the like to form for.

画像入力部31は、撮影画像記録媒体がフィルム2aの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ30に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード2bの場合取り込んだ撮影画像にサムネイル(低解像度データ)が含まれている場合はモニタ23での一覧表示などの目的で使用するため撮影画像の本データ(高解像度データ)とは別にメモリ30に送り込むが、もしサムネイルが含まれていない場合は本データから縮小画像を作り出してサムネイルとしてメモリ30に送り込む。   When the photographic image recording medium is the film 2a, the image input unit 31 separately sends the scan data for the pre-scan mode and the main scan mode to the memory 30, and performs preprocessing according to each purpose. When the captured image recording medium is the memory card 2b, when the captured image includes thumbnails (low resolution data), the captured image main data (high data) is used for the purpose of displaying a list on the monitor 23. The thumbnail image is sent to the memory 30 separately from the resolution data. If a thumbnail is not included, a reduced image is created from this data and sent to the memory 30 as a thumbnail.

プリント管理部32は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット60、メモリ30に展開された撮影画像に対して各種画像処理を施す画像処理ユニット70、画像の瞳にキャッチライトを合成するキャッチライト合成手段80、及び、濃度補正や解像度変換などのフォトレタッチ機能を実現する手段等が含まれている。キャッチライト合成手段80は、プログラムとしてプリント管理部32に実装されている。   The print management unit 32, a print order processing unit 60 that manages the print size, the number of prints, and the like, an image processing unit 70 that performs various image processing on the photographed image developed in the memory 30, and a catch light in the pupil of the image Catch light combining means 80, and means for realizing a photo retouch function such as density correction and resolution conversion. The catchlight combining unit 80 is installed in the print management unit 32 as a program.

キャッチライト合成手段80は、図4に示すように、瞳抽出部81、領域設定部82、キャッチライト設定部83、色変換テーブル選択部85、及び、補正部87を備えている。瞳抽出部81は、画像上に設定された補正領域41aから瞳を抽出する瞳抽出ステップを行う処理部であり、領域設定部82は、抽出された瞳を、瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割されたリング状領域に基づいてキャッチライトの合成基準点を設定する領域設定ステップを行う処理部であり、キャッチライト設定部83は、キャッチライトの形状を設定するキャッチライト設定ステップを行う処理部であり、色変換テーブル選択部85は、リング状領域の分割数に基づいて、リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択ステップを行う処理部であり、補正部87は、設定したキャッチライトの合成基準点及び形状、並びに、選択された色変換テーブルに基づいて瞳を補正し、キャッチライト付瞳を出力する補正ステップを行う処理部である。更に、本実施形態のキャッチライト合成手段80は、キャッチライトのサンプル形状を記憶したキャッチライト格納部84と、リング状領域の分割数に応じた色変換テーブルを記憶した色変換テーブル格納部86と、キャッチライトの合成処理のための合成操作画面40を作成し、モニタ23上に表示する表示処理部88とを備えている。   As shown in FIG. 4, the catchlight synthesis unit 80 includes a pupil extraction unit 81, a region setting unit 82, a catchlight setting unit 83, a color conversion table selection unit 85, and a correction unit 87. The pupil extraction unit 81 is a processing unit that performs a pupil extraction step of extracting a pupil from the correction region 41a set on the image, and the region setting unit 82 determines the extracted pupil according to the distance from the outline of the pupil. Is a processing unit that performs an area setting step of setting a catchlight combining reference point based on the divided ring-shaped areas, and the catchlight setting unit 83 A processing unit that performs a catch light setting step for setting a shape, and a color conversion table selection unit 85 selects a color conversion table that specifies a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region. The correction unit 87 performs a color conversion table selection step to be performed. The correction unit 87 is based on the set catch light combination reference point and shape, and the selected color conversion table. Correcting the pupil Te is a processing unit that performs a correction step of outputting the pupil with catch light. Furthermore, the catchlight combining means 80 of the present embodiment includes a catchlight storage unit 84 that stores the sample shape of the catchlight, and a color conversion table storage unit 86 that stores a color conversion table corresponding to the number of divisions of the ring-shaped region. And a display processing unit 88 that creates a composition operation screen 40 for catchlight composition processing and displays the composition operation screen 40 on the monitor 23.

次に、このように構成されたキャッチライト合成手段80のキャッチライト合成処理手順を図5乃至図8に基づいて説明する。先ず、フィルムスキャナ20やメディアリーダ21を通じて撮影画像、詳しくは撮影画像のデジタル画像データが取り込まれ、メモリ30に展開される。尚、ここでのデジタル画像データは、後の加工処理のためにビットマップ形式でメモリ30に記憶される。   Next, the catch light composition processing procedure of the catch light composition means 80 configured as described above will be described with reference to FIGS. First, a photographed image, specifically, digital image data of the photographed image is captured through the film scanner 20 and the media reader 21 and developed in the memory 30. The digital image data here is stored in the memory 30 in a bitmap format for later processing.

キャッチライト合成手段80は、先ず、メモリ30に展開された画像を読み込み、キャッチライト合成処理を行う補正領域41aの設定を行う。ここで、図5は、キャッチライト合成処理を行う合成操作画面40の例を示している。この合成操作画面40には、キャッチライトの合成を行う画像を表示する画像表示枠41と、画像から切取った補正領域41aを拡大表示する補正領域表示枠42と、合成するキャッチライトの形状の候補を表示するサンプル形状表示枠43とが構築されている。   The catchlight composition means 80 first reads an image developed in the memory 30 and sets a correction area 41a for performing catchlight composition processing. Here, FIG. 5 shows an example of a composition operation screen 40 for performing catchlight composition processing. The composition operation screen 40 includes an image display frame 41 for displaying an image for performing catchlight composition, a correction area display frame 42 for enlarging a correction area 41a cut out from the image, and the shape of the catchlight to be composed. A sample shape display frame 43 for displaying candidates is constructed.

詳細には、表示処理部88が、キーボード24やマウス25からの入力操作により、合成操作画面40が起動され合成処理を行う画像が指定されると、メモリ30から画像を読み込み、画像表示枠41に指定された画像を表示する(#100)。キーボード24やマウス25からの入力操作により、合成操作画面40の画像上で瞳を含む補正領域41aが設定されると、画像から補正領域41aを切出して補正領域表示枠42に表示する(#200)。尚、ここでの補正領域41aは、図5に示すように、円形の領域を設定する。例えば、画像上で所定の2点、中心及び周の一点を指定することによって、任意の領域を自在に指定可能である。表示処理部88は、補正領域41aが設定されると、図7に示すように、画像上に表示された円の外接矩形41bを切出し、補正領域表示枠42に表示する。更に、切出された外接矩形41bの左上頂点の画像上の座標Aと、右下頂点の画像上の座標Bとを記憶する。   Specifically, when the display operation unit 88 is activated by the input operation from the keyboard 24 or the mouse 25 and an image to be combined is designated and an image to be combined is designated, the image is read from the memory 30 and the image display frame 41 is read. The designated image is displayed (# 100). When the correction area 41a including the pupil is set on the image of the composition operation screen 40 by an input operation from the keyboard 24 or the mouse 25, the correction area 41a is cut out from the image and displayed in the correction area display frame 42 (# 200). ). The correction area 41a here is a circular area as shown in FIG. For example, an arbitrary region can be freely specified by specifying two predetermined points on the image and one point on the center and the circumference. When the correction area 41a is set, the display processing unit 88 cuts out a circumscribed rectangle 41b of a circle displayed on the image and displays it on the correction area display frame 42 as shown in FIG. Further, the coordinates A on the image of the upper left vertex of the cut out circumscribed rectangle 41b and the coordinates B on the image of the lower right vertex are stored.

瞳抽出部81は、設定された補正領域41aから瞳を抽出する(#300)。詳細には、補正領域41aの全画素について黒色画素の認定を行い、黒色画素と認定された画素について連続性を評価する。そして、同一領域と評価された黒色画素郡の夫々について形状の判定を行い、外形が略円形の黒色画素郡を検出する。外形が略円形の黒色画素郡が検出された場合には、これを瞳として抽出する。尚、既にキャッチライトが入っている瞳に対する補正が可能なように、黒色画素郡中に他の色の画素が入っている場合でも、その外形が円形であれば瞳として抽出する。更に、瞳の色として考えられる色、例えば、赤色、青色、金色等についても黒色の場合と同様に、画素の認定及び連続性の評価、並びに、検出された画素郡の形状の判定を行い、略円形の画素郡が検出された場合には、瞳として抽出する。そして、図8に示すように、瞳として抽出された画素に対してはフラグ1を、それ以外の画素に対してはフラグ0を設定する。尚、例えば、補正領域41aから左右両目の瞳が検出された場合には、いずれか一方の瞳にフラグ1を設定し他方の瞳にはフラグ0を設定して、抽出された瞳を一つずつ補正するように構成する。   The pupil extraction unit 81 extracts a pupil from the set correction area 41a (# 300). Specifically, black pixels are certified for all the pixels in the correction area 41a, and continuity is evaluated for pixels certified as black pixels. Then, the shape of each black pixel group evaluated as the same region is determined, and a black pixel group having a substantially circular outer shape is detected. When a black pixel group having a substantially circular outer shape is detected, it is extracted as a pupil. In addition, even when pixels of other colors are included in the black pixel group so that correction can be made to the pupils already having the catchlight, extraction is performed as a pupil if the outer shape is circular. Furthermore, as with the case where black is considered as the color of the pupil, for example, red, blue, gold, etc., pixel recognition and continuity evaluation, and the shape of the detected pixel group are determined, When a substantially circular pixel group is detected, it is extracted as a pupil. Then, as shown in FIG. 8, flag 1 is set for pixels extracted as pupils, and flag 0 is set for other pixels. For example, when the left and right pupils are detected from the correction area 41a, flag 1 is set for one of the pupils, flag 0 is set for the other pupil, and one extracted pupil is set. It is configured to correct each one.

領域設定部82は、瞳抽出部81によって抽出された瞳をリング状領域に分割する(#400)。詳細には、図9に示すように、外周部分の画素にフラグ1を設定する。そして、その内側の画素にフラグ2を設定する。同様にして、内側に向かう程値が大きくなるように順次フラグを設定することで、所定数のリング状領域50に分割する。ここでは、簡単のために、各リング状領域50の幅が1画素に設定されており、リング状領域50の中央の画素にはフラグ4が設定されている。尚、設定するフラグの最大値、即ち、リング状領域50の分割数を予め設定しておき、各リング状領域50の幅を調整する構成であっても良い。   The region setting unit 82 divides the pupil extracted by the pupil extraction unit 81 into ring-shaped regions (# 400). Specifically, as shown in FIG. 9, a flag 1 is set for the pixels in the outer peripheral portion. Then, a flag 2 is set for the inner pixel. Similarly, the flag is sequentially set so that the value increases toward the inner side, thereby dividing into a predetermined number of ring-shaped regions 50. Here, for simplicity, the width of each ring-shaped region 50 is set to one pixel, and the flag 4 is set to the center pixel of the ring-shaped region 50. The maximum value of the flag to be set, that is, the number of divisions of the ring-shaped region 50 may be set in advance, and the width of each ring-shaped region 50 may be adjusted.

更に、領域設定部82は、瞳をリング状領域50に分割した後、値が最大となるフラグが設定された中心領域の略中央に位置する画素を合成基準点Cとして設定する。本実施形態では、フラグ4が設定された画素をキャッチライトの合成基準点Cとして設定する。   Further, the region setting unit 82 divides the pupil into the ring-shaped regions 50, and then sets, as the synthesis reference point C, a pixel located approximately at the center of the central region where the flag having the maximum value is set. In the present embodiment, the pixel for which the flag 4 is set is set as the catchlight combining reference point C.

キャッチライト設定部83は、キャッチライトの形状及び大きさを設定する(#500)。本実施形態では、キャッチライト格納部84に複数のキャッチライトのサンプル形状が記憶されており、この中から選択するように構成されている。ここで、図5の合成操作画面40上のサンプル形状表示枠43には、キャッチライト格納部84に記憶されているサンプル形状が表示されており、キーボード24やマウス25から任意のサンプル形状を選択可能である。サンプル形状の一つが選択されると、合成処理を行う瞳の大きさにあわせてサンプル形状の大きさを設定する。尚、図5に示すサンプル形状の他に、例えば、矩形、ドーナツ形状、星型またはハート型等のサンプル形状を備えるようにしても良いし、キーボード24やマウス25から直接入力可能に構成しても良い。メモリ30等から取得可能にするのも好適である。   The catchlight setting unit 83 sets the shape and size of the catchlight (# 500). In the present embodiment, sample shapes of a plurality of catchlights are stored in the catchlight storage portion 84, and are configured to be selected from these. Here, a sample shape stored in the catchlight storage unit 84 is displayed in the sample shape display frame 43 on the composition operation screen 40 in FIG. 5, and an arbitrary sample shape is selected from the keyboard 24 or the mouse 25. Is possible. When one of the sample shapes is selected, the size of the sample shape is set according to the size of the pupil to be combined. In addition to the sample shape shown in FIG. 5, for example, a sample shape such as a rectangle, a donut shape, a star shape, or a heart shape may be provided, or it may be configured to be directly input from the keyboard 24 or the mouse 25. Also good. It is also possible to obtain the data from the memory 30 or the like.

色変換テーブル選択部85は、リング状領域50の分割数に基づいて、色変換テーブル格納部86に格納された色変換テーブルを検索する(#600)。色変換テーブル格納部86には、リング状領域50の分割数、瞳の色等に応じて複数の色変換テーブルが記憶されており、各色変換テーブルには、R(赤)、G(緑)、B(青)の3原色夫々についてフラグの値毎に変換後の輝度値が設定されている。ここで、図10は、色変換テーブルの例を示しており、この色変換テーブルは、瞳の色が黒色の場合に用いられる色変換テーブルである。尚、瞳抽出部81において赤や金等、他の色の瞳が抽出された場合には、これらの色に応じたRGB輝度値が設定された色変換テーブルを選択する。   The color conversion table selection unit 85 searches the color conversion table stored in the color conversion table storage unit 86 based on the number of divisions of the ring-shaped region 50 (# 600). The color conversion table storage unit 86 stores a plurality of color conversion tables according to the number of divisions of the ring-shaped region 50, the pupil color, and the like, and each color conversion table includes R (red) and G (green). , B (blue), a converted luminance value is set for each flag value for each of the three primary colors. Here, FIG. 10 shows an example of a color conversion table, and this color conversion table is a color conversion table used when the pupil color is black. When pupils of other colors such as red and gold are extracted by the pupil extraction unit 81, a color conversion table in which RGB luminance values corresponding to these colors are set is selected.

補正部87は、設定したキャッチライトの合成基準点C及び形状、並びに、選択された色変換テーブルに基づいて瞳を補正し、キャッチライト付瞳を出力する(#700)。詳細には、図11に示すように、補正部87は、先ず、補正領域41aのフラグ0が設定された画素、即ち、瞳以外の補正を行わない画素をマスク処理する(#701)。続いて、補正部87は、キャッチライトの設定を行う(#702)。具体的には、キャッチライト設定部83によって設定された形状及び大きさのキャッチライトを、合成基準点Cを中心として配置し、キャッチライトとなる画素に値が最大となるフラグを設定する。続いて、補正部87は、補正領域41aの各画素に設定されたフラグに基づいて色変換を行う(#703)。具体的には、色変換を行う画素のフラグの値をキーとして、色変換テーブルからフラグの値に規定されている色を検索し、瞳の各画素の色を検索された色に変換して、キャッチライト付瞳を生成する。次に、補正部87は、キャッチライト付瞳を画像に合成する(#704)。具体的には、補正領域41aからマスク処理した画素を除いてキャッチライト付瞳を切出し、表示処理部88において記憶した座標A及び座標Bに基づいてキャッチライト付瞳を画像上に配置し、合成処理する。最終的に、補正部87は、メモリ30に補正した画像を出力する(#705)。   The correcting unit 87 corrects the pupil based on the set catch light combination reference point C and shape, and the selected color conversion table, and outputs a catch light-equipped pupil (# 700). Specifically, as shown in FIG. 11, the correction unit 87 first masks pixels for which the flag 0 of the correction area 41a is set, that is, pixels that are not subjected to correction other than the pupil (# 701). Subsequently, the correction unit 87 sets a catch light (# 702). Specifically, the catchlight having the shape and size set by the catchlight setting unit 83 is arranged with the synthesis reference point C as the center, and a flag having the maximum value is set for the pixel that becomes the catchlight. Subsequently, the correction unit 87 performs color conversion based on the flag set for each pixel in the correction area 41a (# 703). Specifically, using the flag value of the pixel to be color converted as a key, the color specified in the flag value is searched from the color conversion table, and the color of each pixel of the pupil is converted to the searched color. , Generate a catch-lit pupil. Next, the correcting unit 87 combines the catch-lit pupil with the image (# 704). Specifically, the catch-lit pupil is cut out from the correction area 41a except for the masked pixels, and the catch-lit pupil is placed on the image based on the coordinates A and B stored in the display processing unit 88, and the combined image is synthesized. To process. Finally, the correction unit 87 outputs the corrected image to the memory 30 (# 705).

キャッチライト合成手段80は、合成処理を継続しない場合には、処理を終了し、合成操作画面40を終了させる(#800でNo分岐)。合成処理を実施していない瞳があり、合成処理を継続して行う場合には(#800でYes分岐)、左右の瞳で同じ形状のキャッチライトを入れるか否かを確認する(#801)。異なる形状のキャッチライトを設定する場合には、ステップ#200から上述した各ステップを再度実行する(#801でNo分岐)。同じ形状のキャッチライトを設定する場合には、ステップ#500を除く上記各ステップを再度実行する(#801でYes分岐)。また、本実施形態では左右両目の瞳の同じ位置にキャッチライトの合成基準点Cを設定することができる。この場合には、例えば、最初のステップ#400の実行時に、合成基準点Cの瞳に対する相対座標を記憶しておき、次のステップ#400の実行時に、記憶された合成基準点Cの相対座標に基づいて、次に補正する瞳に対する合成基準点Cを設定する。このように構成することで、左右両目の瞳の同じ位置にキャッチライトを入れることができ、補正後の瞳を自然なものとすることができる。   If the catchlight combining unit 80 does not continue the combining process, the catchlight combining unit 80 ends the process and ends the combining operation screen 40 (No branch in # 800). If there is a pupil that has not been subjected to the combining process and the combining process is to be continued (Yes branch at # 800), it is confirmed whether or not the catchlight with the same shape is inserted in the left and right pupils (# 801). . When setting a catchlight having a different shape, the above steps are executed again from step # 200 (No branch at # 801). When setting catchlights having the same shape, the above steps except step # 500 are executed again (Yes branch at # 801). In the present embodiment, the catch reference combining point C can be set at the same position on the left and right eyes. In this case, for example, the relative coordinates of the composite reference point C with respect to the pupil are stored when the first step # 400 is executed, and the stored relative coordinates of the composite reference point C are stored when the next step # 400 is executed. Based on the above, the composite reference point C for the pupil to be corrected next is set. With this configuration, the catch light can be placed at the same position on the left and right eyes, and the corrected pupil can be made natural.

ここで、図12は、合成処理前の画像aと、キャッチライト付瞳を合成した画像bとを示している。画像aと比較して、画像bは人物の表情が生き生きとしたものとなっており、本発明に係るキャッチライト合成技術を用いることで、画像の価値を高めることができるのである。   Here, FIG. 12 shows an image a before the synthesis process and an image b obtained by synthesizing the catch-lit pupil. Compared to the image a, the image b has a lively expression of a person, and the value of the image can be increased by using the catchlight combining technique according to the present invention.

次に、本発明に係るキャッチライト合成技術の第二実施形態を図13及び図14に基づいて説明する。第一実施形態では、使用する色変換テーブルは、色変換テーブル格納部86に記憶された色変換テーブルから選択して用いたが、本実施形態のキャッチライト合成手段80は、図13に示すように、色変換テーブル作成部89を備えており、この色変換テーブル作成部89が、リング状領域50の分割数に応じて使用する色変換テーブルを作成、または、基準色変換テーブルから編集する。ここでの色変換テーブル格納部86には、色変換テーブルの作成に用いる基準色変換テーブルが記憶されている。   Next, a second embodiment of the catchlight synthesis technique according to the present invention will be described with reference to FIGS. In the first embodiment, the color conversion table to be used is selected from the color conversion table stored in the color conversion table storage unit 86, but the catch light combining means 80 of the present embodiment is as shown in FIG. In addition, a color conversion table creation unit 89 is provided, and this color conversion table creation unit 89 creates a color conversion table to be used according to the number of divisions of the ring-shaped region 50 or edits it from the reference color conversion table. The color conversion table storage unit 86 stores a reference color conversion table used for creating the color conversion table.

詳細には、色変換テーブル作成部89は、図14に示すように、ステップ#500のキャッチライトの設定後、色変換テーブルを作成する(#900)。色変換テーブル作成部89は、色変換テーブル格納部86に記憶された基準色変換テーブルを用い、この基準色変換テーブルのリング状領域50の設定数がステップ#400において設定されたリング状領域50の分割数より多い場合には、基準色変換テーブルのリング状領域50の設定数を減らした色変換テーブルを作成する。基準色変換テーブルのリング状領域50の設定数がステップ#400において設定されたリング状領域50の分割数より少ない場合には、色変換テーブルを追加する。基準色変換テーブルのリング状領域50の設定数とステップ#400において設定されたリング状領域50の分割数とが同じ場合には、基準色変換テーブルをそのまま利用できる。このように構成した場合には、予め複数の色変換テーブルを用意しておく必要がなく、リング状領域50の分割数を瞳の大きさ等に応じて設定することができる。   Specifically, as shown in FIG. 14, the color conversion table creation unit 89 creates a color conversion table after setting the catch light in step # 500 (# 900). The color conversion table creating unit 89 uses the reference color conversion table stored in the color conversion table storage unit 86, and the ring-shaped region 50 in which the set number of ring-shaped regions 50 of the reference color conversion table is set in step # 400. If the number of divisions is larger than the number of divisions, a color conversion table is created by reducing the number of settings in the ring-shaped region 50 of the reference color conversion table. When the set number of ring-shaped areas 50 in the reference color conversion table is smaller than the number of divisions of the ring-shaped area 50 set in step # 400, a color conversion table is added. When the set number of ring-shaped areas 50 in the reference color conversion table is the same as the number of divisions of the ring-shaped area 50 set in step # 400, the reference color conversion table can be used as it is. In such a configuration, it is not necessary to prepare a plurality of color conversion tables in advance, and the number of divisions of the ring-shaped region 50 can be set according to the size of the pupil and the like.

また、本発明に係るキャッチライト合成技術は、人物だけでなく、動物の瞳に対しても適用することが可能である。更に、第一及び第二実施形態では写真プリント装置に適用したが、これに限られず、PC(Personal Computer)等のアプリケーションプログラムとして利用することも有用である。この場合には、瞳抽出部81を、既知の手段、例えば、ASP(Application Service Provider)等をネットワークを介して利用する構成としても良い。   Further, the catchlight synthesis technique according to the present invention can be applied not only to a person but also to an animal pupil. Furthermore, in the first and second embodiments, the present invention is applied to a photographic printing apparatus. However, the present invention is not limited to this, and it is useful to use it as an application program such as a PC (Personal Computer). In this case, the pupil extraction unit 81 may be configured to use known means such as ASP (Application Service Provider) via a network.

本発明に係るキャッチライト合成技術を採用した写真プリント装置の外観図External view of photographic printing apparatus employing catchlight synthesis technology according to the present invention 写真プリント装置のプリントステーションの構成を示す模式図Schematic diagram showing the configuration of the print station of the photo printing device 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図Functional block diagram explaining the functional elements built in the controller of the photo printing device 本発明に係るキャッチライト合成手段の構成を示すブロック図The block diagram which shows the structure of the catchlight synthetic | combination means which concerns on this invention 本発明に係るキャッチライト合成技術の合成操作画面の一例を示す図The figure which shows an example of the synthetic | combination operation screen of the catchlight synthetic technique which concerns on this invention 本発明に係るキャッチライト合成技術の処理手順を示すフローチャートThe flowchart which shows the process sequence of the catchlight synthetic technique which concerns on this invention 本発明に係るキャッチライト合成技術の補正領域の設定手順を示す模式図The schematic diagram which shows the setting procedure of the correction | amendment area | region of the catchlight composition technique which concerns on this invention 本発明に係るキャッチライト合成技術の瞳の抽出手順を示す模式図Schematic diagram showing the pupil extraction procedure of the catchlight synthesis technique according to the present invention 本発明に係るキャッチライト合成技術の瞳の領域設定手順を示す模式図Schematic diagram showing the pupil region setting procedure of the catch light synthesis technique according to the present invention 色変換テーブルの一例を示す模式図Schematic diagram showing an example of a color conversion table 瞳補正サブルーチンの処理手順を示すフローチャートFlow chart showing the processing procedure of the pupil correction subroutine 本発明に係るキャッチライト合成技術による合成処理の実施前及び実施後の画像の例を示す図The figure which shows the example of the image before and after implementation of the synthetic | combination process by the catchlight synthetic | combination technique which concerns on this invention 本発明に係るキャッチライト合成手段の構成を示すブロック図The block diagram which shows the structure of the catchlight synthetic | combination means which concerns on this invention 本発明に係るキャッチライト合成技術の処理手順を示すフローチャートThe flowchart which shows the process sequence of the catchlight synthetic technique which concerns on this invention

符号の説明Explanation of symbols

80 キャッチライト合成手段
81 瞳抽出部
82 領域設定部
83 キャッチライト設定部
85 色変換テーブル選択部
87 補正部
80 Catch Light Combining Unit 81 Pupil Extraction Unit 82 Area Setting Unit 83 Catch Light Setting Unit 85 Color Conversion Table Selection Unit 87 Correction Unit

Claims (9)

画像の瞳にキャッチライトを合成するキャッチライト合成方法であって、
瞳抽出部により、前記画像上に設定された補正領域から瞳を抽出する瞳抽出ステップと、
領域設定部により、抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定ステップと、
キャッチライト設定部により、前記キャッチライトの形状を設定するキャッチライト設定ステップと、
色変換テーブル選択部により、前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択ステップと、
補正部により、設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正ステップとから構成されるキャッチライト合成方法。
A catch light synthesis method for synthesizing a catch light to the pupil of an image,
A pupil extracting step of extracting a pupil from a correction region set on the image by a pupil extracting unit ;
The area setting unit divides the extracted pupil into a predetermined number of ring-shaped areas according to the distance from the outline of the pupil, and based on the divided ring-shaped areas, the catch light combining reference point An area setting step for setting
A catch light setting step for setting the shape of the catch light by a catch light setting unit ;
A color conversion table selection step of selecting a color conversion table specifying a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region by a color conversion table selecting unit ;
The correction unit includes a correction step of correcting the pupil based on the set reference point and the shape of the catchlight, and the selected color conversion table, and outputting a catchlight-attached pupil. Catch light synthesis method.
前記領域設定ステップは、前記瞳抽出ステップにおいて前記補正領域から左右両目の瞳が抽出された場合に、前記両目の瞳の同じ位置に前記キャッチライトの合成基準点を設定する請求項1に記載のキャッチライト合成方法。   The said area | region setting step sets the synthetic | combination reference point of the said catchlight to the same position of the eyes of both eyes, when the pupils of both eyes on the left and right are extracted from the said correction | amendment area | region in the said pupil extraction step. Catch light synthesis method. 前記キャッチライト設定ステップは、前記瞳抽出ステップにおいて前記補正領域から左右両目の瞳が抽出された場合に、前記両目で異なる形状を設定可能である請求項1または2に記載のキャッチライト合成方法。   3. The catch light synthesis method according to claim 1, wherein the catch light setting step can set different shapes for both eyes when the pupils of the left and right eyes are extracted from the correction area in the pupil extraction step. 前記キャッチライト設定ステップは、前記キャッチライトの形状を、予め設定された複数の基本形状から選択する請求項1〜3のいずれか1項に記載のキャッチライト合成方法。   The catchlight synthesis method according to any one of claims 1 to 3, wherein the catchlight setting step selects a shape of the catchlight from a plurality of preset basic shapes. 前記キャッチライト設定ステップは、選択した前記キャッチライトの大きさを変更する請求項4に記載のキャッチライト合成方法。   The catchlight composition method according to claim 4, wherein the catchlight setting step changes a size of the selected catchlight. 色変換テーブル作成部により、前記リング状領域の分割数に応じて使用する前記色変換テーブルを作成する色変換テーブル作成ステップを含む請求項1〜5のいずれか1項に記載のキャッチライト合成方法。 The catchlight composition method according to any one of claims 1 to 5, further comprising a color conversion table creation step of creating the color conversion table to be used according to the number of divisions of the ring-shaped region by a color conversion table creation unit. . 画像の瞳にキャッチライトを合成するキャッチライト合成プログラムであって、
前記画像上に設定された補正領域から瞳を抽出する瞳抽出機能と、
抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定機能と、
前記キャッチライトの形状を設定するキャッチライト設定機能と、
前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択機能と、
設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正機能とをコンピュータに実行させるキャッチライト合成プログラム。
A catchlight synthesis program that synthesizes a catchlight with the pupil of an image,
A pupil extraction function for extracting a pupil from a correction area set on the image;
A region setting that divides the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the outline of the pupil, and sets a reference point for the catchlight based on the divided ring-shaped regions Function and
A catch light setting function for setting the shape of the catch light;
A color conversion table selection function for selecting a color conversion table specifying a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region;
Catchlight synthesis for causing the computer to execute a correction function for correcting the pupil based on the set reference point and shape of the catchlight, and the selected color conversion table, and outputting a pupil with catchlight. program.
画像の瞳にキャッチライトを合成するキャッチライト合成装置であって、
前記画像上に設定された補正領域から瞳を抽出する瞳抽出部と、
抽出された前記瞳を、前記瞳の輪郭からの距離に応じて所定数のリング状領域に分割すると共に、分割された前記リング状領域に基づいて前記キャッチライトの合成基準点を設定する領域設定部と、
前記キャッチライトの形状を設定するキャッチライト設定部と、
前記リング状領域の分割数に基づいて、前記リング状領域毎に変換後の色を指定した色変換テーブルを選択する色変換テーブル選択部と、
設定した前記キャッチライトの前記合成基準点及び前記形状、並びに、選択された前記色変換テーブルに基づいて前記瞳を補正し、キャッチライト付瞳を出力する補正部とから構成されるキャッチライト合成装置。
A catch light synthesizer that synthesizes a catch light with the pupil of an image,
A pupil extraction unit that extracts a pupil from a correction region set on the image;
A region setting that divides the extracted pupil into a predetermined number of ring-shaped regions according to the distance from the outline of the pupil, and sets a reference point for the catchlight based on the divided ring-shaped regions And
A catch light setting unit for setting the shape of the catch light;
A color conversion table selection unit that selects a color conversion table that specifies a color after conversion for each ring-shaped region based on the number of divisions of the ring-shaped region;
A catch light combining device configured to correct the pupil based on the set synthesis reference point and the shape of the catch light and the selected color conversion table, and output a catch light-equipped pupil .
前記画像を表示する画像表示枠と、前記補正領域を表示する補正領域表示枠と、予め設定されたキャッチライトの基本形状を表示するサンプル形状表示枠とを有する合成操作画面を出力する表示処理部を備える請求項8に記載のキャッチライト合成装置。   A display processing unit for outputting a composition operation screen having an image display frame for displaying the image, a correction region display frame for displaying the correction region, and a sample shape display frame for displaying a preset basic shape of the catchlight. A catchlight synthesizing device according to claim 8.
JP2004239653A 2004-08-19 2004-08-19 Catch light synthesis method Expired - Fee Related JP4507082B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004239653A JP4507082B2 (en) 2004-08-19 2004-08-19 Catch light synthesis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004239653A JP4507082B2 (en) 2004-08-19 2004-08-19 Catch light synthesis method

Publications (2)

Publication Number Publication Date
JP2006059092A JP2006059092A (en) 2006-03-02
JP4507082B2 true JP4507082B2 (en) 2010-07-21

Family

ID=36106518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004239653A Expired - Fee Related JP4507082B2 (en) 2004-08-19 2004-08-19 Catch light synthesis method

Country Status (1)

Country Link
JP (1) JP4507082B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274225A (en) * 2006-03-30 2007-10-18 Sony Corp Printer
JP2008048308A (en) * 2006-08-21 2008-02-28 Kyocera Mita Corp Image processing apparatus and image processing program
JP5009204B2 (en) * 2008-03-14 2012-08-22 オリンパスイメージング株式会社 Image capturing apparatus and image composition method in image capturing apparatus
WO2010149220A1 (en) * 2009-06-26 2010-12-29 Nokia Corporation An apparatus
JP6354118B2 (en) * 2013-03-21 2018-07-11 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP6260094B2 (en) * 2013-03-21 2018-01-17 カシオ計算機株式会社 Image processing apparatus, image processing method, and program
JP2023040914A (en) * 2021-09-10 2023-03-23 フリュー株式会社 Image processing apparatus, image processing program, and mask generation method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091761A (en) * 1996-09-17 1998-04-10 Fuji Photo Film Co Ltd Picture processor
JP4050842B2 (en) * 1998-06-15 2008-02-20 富士フイルム株式会社 Image processing method
JP2000134486A (en) * 1998-10-22 2000-05-12 Canon Inc Image processing unit, image processing method and storage medium
KR100374708B1 (en) * 2001-03-06 2003-03-04 에버미디어 주식회사 Non-contact type human iris recognition method by correction of rotated iris image
JP2004021406A (en) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd Eye position identification method and authentication device
JP4482307B2 (en) * 2003-10-14 2010-06-16 富士フイルム株式会社 Image processing device
JP2005222152A (en) * 2004-02-03 2005-08-18 Omron Corp Image correcting device

Also Published As

Publication number Publication date
JP2006059092A (en) 2006-03-02

Similar Documents

Publication Publication Date Title
US6940526B2 (en) Image synthesizing apparatus
US7010176B2 (en) Imaging system for automatic resolution adjustment
US7072526B2 (en) Image processing apparatus, image processing method and recording medium
JP4473299B2 (en) Digital image processing method
JP4421761B2 (en) Image processing method and apparatus, and recording medium
JP4368513B2 (en) Image processing method and apparatus, and recording medium
US20090027732A1 (en) Image processing apparatus, image processing method, and computer program
JP2005310068A (en) White-eye correction method and apparatus for carrying out this method
JP2007226655A (en) Image processing method, apparatus, and program
JP2001148780A (en) Method for setting red-eye correction area and red-eye correction method
JP4496465B2 (en) Red-eye correction method, program, and apparatus for implementing the method
US7212674B1 (en) Method, apparatus and recording medium for face extraction
JP4507082B2 (en) Catch light synthesis method
JP2001197296A (en) Image processing method and image processor
JP2005148915A (en) Appropriate face discrimination method and apparatus for carrying out this method
US7170638B2 (en) Method, system and recording medium for image processing
US20050200923A1 (en) Image generation for editing and generating images by processing graphic data forming images
JP2006072743A (en) Catchlight synthesis method and apparatus
JP2005159387A (en) Method for determining density characteristic curve and density correction management apparatus for implementing this method
JP2005148916A (en) Face selection method for density correction and apparatus for carrying out this method
JP4441876B2 (en) Photographed image processing method, photographed image processing program, and photographed image processing apparatus
KR20020084321A (en) real-time character composition method using template
JP4793648B2 (en) Image correction unit and image correction program
JP2006059162A (en) Tooth image correction method and apparatus
JP2006072742A (en) Catchlight synthesis method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees