JP2004253970A - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2004253970A JP2004253970A JP2003040888A JP2003040888A JP2004253970A JP 2004253970 A JP2004253970 A JP 2004253970A JP 2003040888 A JP2003040888 A JP 2003040888A JP 2003040888 A JP2003040888 A JP 2003040888A JP 2004253970 A JP2004253970 A JP 2004253970A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color tone
- red
- pupil
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000012937 correction Methods 0.000 claims abstract description 227
- 238000012545 processing Methods 0.000 claims abstract description 203
- 210000001747 pupil Anatomy 0.000 claims abstract description 179
- 230000007547 defect Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 241000593989 Scardinius erythrophthalmus Species 0.000 abstract description 207
- 201000005111 ocular hyperemia Diseases 0.000 description 198
- 240000007320 Pinus strobus Species 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 241000534672 Hiodon alosoides Species 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/622—Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】瞳領域の色調不良の補正を高速かつ自動的に行うことを可能とする。
【解決手段】赤目領域(人物の瞳に相当しかつ色調不良が生じている瞳領域)が存在している画像に対し、赤目領域の色調不良を補正する赤目補正処理を行うために、オペレータが関与して補正パラメータが決定される毎に、赤目領域の出現度合いや補正パラメータが、画像の撮影に用いられたカメラの機種毎に分けて赤目補正履歴情報として記憶部42に蓄積記憶される。赤目補正履歴情報の精度が一定レベル以上となった以降は、処理対象の画像の撮影に用いられたカメラの機種を認識し、認識した機種に対応する赤目補正履歴情報に基づいて赤目領域の発生確率を判断し、発生確率が高いと判断した画像に対して、赤目領域を探索し赤目領域に対する補正パラメータを決定することが、オペレータが関与することなくコンピュータ34によって自動的に行われる。
【選択図】 図1
【解決手段】赤目領域(人物の瞳に相当しかつ色調不良が生じている瞳領域)が存在している画像に対し、赤目領域の色調不良を補正する赤目補正処理を行うために、オペレータが関与して補正パラメータが決定される毎に、赤目領域の出現度合いや補正パラメータが、画像の撮影に用いられたカメラの機種毎に分けて赤目補正履歴情報として記憶部42に蓄積記憶される。赤目補正履歴情報の精度が一定レベル以上となった以降は、処理対象の画像の撮影に用いられたカメラの機種を認識し、認識した機種に対応する赤目補正履歴情報に基づいて赤目領域の発生確率を判断し、発生確率が高いと判断した画像に対して、赤目領域を探索し赤目領域に対する補正パラメータを決定することが、オペレータが関与することなくコンピュータ34によって自動的に行われる。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は画像処理装置、方法及びプログラムに係り、特に、画像中に存在している人物の瞳に相当する瞳領域の色調不良を補正するための画像処理方法、該画像処理方法を適用可能な画像処理装置、コンピュータを前記画像処理装置として機能させるためのプログラムに関する。
【0002】
【従来の技術】
カメラにより被写体を撮影した場合、撮影時の光の反射状態によっては、撮影記録される画像上での被写体の色調が実際の色調と大きく相違することがある。例えば、ストロボを発光させて被写体としての人物を正面から撮影すると、暗い場所で瞳孔が開いた状態となっている人物の眼部に対しストロボ光が正面から入射して正反射され、この状態が画像として撮影記録されることで、画像上で瞳に相当する領域(瞳領域)が赤色を帯びたり(所謂赤目)、金色を帯びる(所謂金目)ことがある。このような画像中の瞳領域の色調不良は非常に不自然で見栄えが悪いため、画像処理によって瞳領域の色調不良を補正し、瞳領域が自然に見えるようにするための様々な処理方法が従来より提案されている。
【0003】
例えば特許文献1には、人物の瞳に相当し赤目や金目等の色調不良が生じている色調不良の瞳領域が存在している処理対象の画像のデータを明度・彩度・色相のデータへ変換し、画像全体の平均明度・シャドウ部の明度、解析領域(色調不良の瞳領域の周囲領域)の平均明度・平均彩度・平均色相・シャドウ部の明度、色調不良の瞳領域の平均明度・平均彩度・平均色相を演算し、色調不良の瞳領域の目標明度を、画像全体の平均明度以下で解析領域のシャドウ部の明度以下で画像全体のシャドウ部の明度以上の値とし、目標彩度を解析領域の平均彩度と彩度0との中間値とし、目標色相を解析領域の平均色相とし、変換後の明度・彩度・色相が目標値に一致するように色調不良の瞳領域に対する変換条件を設定する技術が提案されている。
【0004】
【特許文献1】
特開2001−186325号公報
【0005】
【発明が解決しようとする課題】
しかしながら、色調不良が生じている瞳領域が画像中に存在しているか否かを探索し、該探索によって色調不良の瞳領域が抽出された場合に該瞳領域の色調不良を補正する、という一連の処理は、従来より提案されている各種処理方法の何れを適用するかによって多少の相違はあるものの非常に複雑な処理であり、処理に多大な時間がかかるため、顧客から写真処理が依頼された多数の画像の全てに対して上記の探索や補正を自動的に行ったとすると、写真処理の処理速度の大幅な低下を招くことになる。このため、瞳領域の色調不良の補正は、顧客から瞳領域の色調不良の補正が依頼された画像(色調不良が生じている瞳領域が存在していることが事前に判明している画像)のみを対象として行っているのが実情であった。
【0006】
また、瞳領域の色調不良の補正を自動化した場合、瞳領域の色調不良を補正するためのパラメータが適切に設定されないことがあるために、瞳領域の色調不良の補正に際し、瞳領域の色調不良を補正するためのパラメータの設定等をオペレータに依存していることも多く、この場合、オペレータに多大な負担を強いることになる、という問題もあった。
【0007】
本発明は上記事実を考慮して成されたもので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能な画像処理装置、画像処理方法及びプログラムを得ることが目的である。
【0008】
【課題を解決するための手段】
本願発明者は、撮影装置を用いて被写体が撮影されることで得られ、かつ色調不良が生じている瞳領域が存在している多数の画像について、その特徴を分析する作業を行った。その結果、色調不良が生じている瞳領域の出現度合いは、撮影に用いた撮影装置の機種によって大きく相違していることが明らかとなった。すなわち、瞳領域の色調不良は、被写体としての人物の開いた瞳孔で正反射されたストロボ光が、撮影装置のレンズに真っ直ぐ入射することで生ずるが、例えばレンズとストロボの配置間隔が小さくなるに従って、レンズの光軸により近い位置でストロボが発光することになり、瞳孔で正反射されたストロボ光がレンズに真っ直ぐ入射する確率が高くなる。
【0009】
このように、瞳領域の色調不良の出現度合いは、撮影装置の構成(レンズとストロボの位置関係やストロボの発光強度等)に大きく依存しており、色調不良が生じている瞳領域の出現度合いが撮影装置の機種によって大きく相違していることは、撮影装置の機種毎に構成が相違しているためであると推察される。そして、撮影装置の小型化に伴い瞳領域の色調不良の出現度合いが高くなり易い構成の撮影装置は増大してきている。
【0010】
上記に基づき請求項1記載の発明に係る画像処理装置は、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知する検知手段と、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、前記検知手段によって検知された撮影装置の機種に対応する情報を取得する取得手段と、前記取得手段によって取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段と、を含んで構成されている。
【0011】
請求項1記載の発明では、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報が撮影装置の機種毎に記憶手段に記憶されている。なお、例えば通信網を介して本発明に係る画像処理装置と通信可能なサーバに接続された大容量の記憶媒体を記憶手段として用いることも可能である。
【0012】
また、請求項1記載の発明では、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における撮影装置の機種が検知手段によって検知され、検知された撮影装置の機種に対応する情報が取得手段によって記憶手段から取得される。そして処理手段は、取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う。
【0013】
このように、請求項1記載の発明では、被写体の撮影に用いられた撮影装置の機種に基づいて(撮影時のストロボ使用の有無も併用することが望ましい)、色調不良が生じている瞳領域が存在している確率を正確に判断することができるので、色調不良が生じている瞳領域が存在している確率が所定値以上の画像(色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うべき画像)を高精度かつ自動的に絞り込むことができる。
【0014】
また、処理対象の画像が絞り込まれることで、処理対象の個々の画像に割り当て可能な処理時間が増大するので、処理対象の画像に対し、処理に時間はかかるものの比較的精度の高い手法を適用して、色調不良が生じている瞳領域の探索や該探索によって抽出された瞳領域の色調不良を補正することができ、瞳領域の色調不良を高精度に補正することができる。従って、請求項1記載の発明によれば、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる。
【0015】
請求項2記載の発明は、請求項1記載の発明において、記憶手段には、色調不良が生じている瞳領域が存在している画像に対し、前記瞳領域の色調不良を補正するために決定された補正パラメータを表す情報も撮影装置の機種毎に記憶されており、処理手段は、取得手段によって取得された前記補正パラメータを表す情報に基づいて、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを決定することを特徴としている。
【0016】
本願発明者による前述の分析によれば、瞳領域に生じる色調不良には撮影装置の機種毎に一定の傾向があり、これに伴い、瞳領域の色調不良を補正するための補正パラメータについても撮影装置の機種毎に一定の傾向があることが確認されている。上記に基づき請求項2記載の発明では、色調不良が生じている瞳領域が存在している画像に対し、前記瞳領域の色調不良を補正するために決定された補正パラメータを表す情報も撮影装置の機種毎に記憶手段に記憶されており、処理手段はこの情報を利用して補正パラメータを決定するので、処理対象の画像から抽出された瞳領域の色調不良を精度良く補正できる補正パラメータを得ることができ、瞳領域の色調不良の補正をより高精度に行うことができ、補正パラメータの決定をオペレータに依存する必要もなくなる。
【0017】
請求項3記載の発明に係る画像処理方法は、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知し、前記記憶手段に記憶されている情報のうち、前記検知した撮影装置の機種に対応する情報を取得し、前記記憶手段から取得した情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う。
【0018】
請求項3記載の発明では、色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、請求項1記載の発明と同様に、処理対象の画像における撮影装置の機種を検知し、記憶手段に記憶されている情報のうち検知した機種に対応する情報を取得し、取得した情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うので、請求項1記載の発明と同様に、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる。
【0019】
なお、請求項3記載の発明において、例えば請求項4に記載したように、前記多数の画像のうち、色調不良が生じている瞳領域が存在している画像に対する補正パラメータを決定し、決定した補正パラメータを用いて瞳領域の色調不良を補正すると共に、決定した補正パラメータを表す情報も撮影装置の機種毎に記憶手段に記憶しておき、記憶手段から取得した補正パラメータを表す情報に基づいて、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを決定することが好ましい。これにより、請求項2記載の発明と同様に、瞳領域の色調不良の補正をより高精度に行うことができ、補正パラメータの決定をオペレータに依存する必要もなくなる。
【0020】
ところで、本発明において、処理対象の画像に色調不良が生じている瞳領域が存在している確率の判断精度や、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータの決定精度は、記憶手段に記憶されている情報の精度に依存し、この情報の精度は、瞳領域の色調不良の補正に伴って得られる情報をより多数の画像に亘って記憶するか、又は瞳領域の色調不良の補正における精度(例えば色調不良が生じている瞳領域の有無の判断の精度や、瞳領域の色調不良を補正するための補正パラメータの決定精度)を高くすることで向上させることができる。
【0021】
これに対し、記憶手段に記憶されている情報が十分な精度に達する迄の間は、本発明を適用したとしても、処理対象の画像に色調不良が生じている瞳領域が存在している確率を自動的に判断したり、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを自動的に決定する際の精度が不十分であることを考慮すると、請求項3又は請求項4に記載の発明において、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち色調不良が生じている瞳領域が存在している画像に対する前記瞳領域の色調不良の補正において、例えば請求項5に記載したように、前記色調不良が生じている瞳領域の有無の判断及び前記瞳領域の色調不良を補正するための補正パラメータの決定の少なくとも一方が、オペレータが関与することで為されることが好ましい。
【0022】
上記のように、瞳領域の有無の判断及び瞳領域の色調不良を補正するための補正パラメータの決定の少なくとも一方にオペレータが関与することで、瞳領域の色調不良の補正における精度が向上するので、瞳領域の色調不良の補正に伴って得られる情報が膨大な数の画像に亘って記憶手段に記憶される以前に、記憶手段に記憶されている情報が十分な精度に達することになり、処理対象の画像に色調不良が生じている瞳領域が存在している確率を自動的に判断したり、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを自動的に決定するための記憶手段への情報の記憶を短期間で完了させることができる。
【0023】
また、請求項3又は請求項4に記載の発明において、例えば請求項6に記載したように、記憶手段は、通信回線を介して複数台の画像処理装置と接続されており、色調不良が生じている瞳領域が存在している画像に対する瞳領域の色調不良の補正が複数台の画像処理装置で各々行われることで得られた情報が各々記憶されることが好ましい。
【0024】
これにより、1台の画像処理装置によって瞳領域の色調不良の補正が行われることで得られた情報のみを記憶手段に記憶させる場合と比較して、単位期間当りに記憶手段に記憶される、瞳領域の色調不良の補正に伴って得られる情報量が増大するので、記憶手段に記憶されている情報が短期間で十分な精度に達することになり、処理対象の画像に色調不良が生じている瞳領域が存在している確率を自動的に判断したり、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを自動的に決定するための記憶手段への情報の記憶を短期間で完了させることができる。
【0025】
請求項7記載の発明に係るプログラムは、コンピュータを、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知する検知手段、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、前記検知手段によって検知された撮影装置の機種に対応する情報を取得する取得手段、及び、前記取得手段によって取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段として機能させる。
【0026】
請求項7記載の発明に係るプログラムは、コンピュータを、検知手段、取得手段、処理手段として機能させるためのプログラムであるので、コンピュータが請求項7記載の発明に係るプログラムを実行することにより、コンピュータが請求項1に記載の画像処理装置として機能することになり、請求項1記載の発明と同様に、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【0028】
〔第1実施形態〕
図1には本第1実施形態に係る写真処理システム10が示されている。本第1実施形態に係る写真処理システム10には、写真プリント作成等の顧客からの写真処理依頼を受け付ける各地のDPE受付店12と、DPE受付店12を介して顧客から依頼された写真処理を行う複数の現像所14が関わっている。DPE受付店12には、DPE受付店12の店員が操作するためのコンピュータ20と、DPE受付店12に来店した顧客が操作するためのハイパーターミナル24が各々設置されている。コンピュータ20にはメディアドライブ22が接続されている。
【0029】
本実施形態において、顧客からの写真処理依頼には3種類の依頼形態がある。第1の依頼形態は、顧客が撮影専用に設計されたデジタルスチルカメラ、デジタルビデオカメラ、携帯電話機やPDA等の携帯機器に付属するデジタルスチルカメラ(以下、これらをDSCと総称し、一例として本発明が適用されたDSCを符号「60」を付して図1に示す)を用いて被写体を撮影することで、記録メディア58(例えばスマートメディア(R)やコンパクトフラッシュ(R)、メモリスティック(R)等:図1では一例としてスマートメディア(R)の外観を示す)に画像データが記録され(例えばEXIF形式やその他の形式の画像ファイルとして記録される)、この記録メディア58が持込まれることで写真処理が依頼される形態である。
【0030】
メディアドライブ22は各種の記録メディア58に対して情報の読み出し及び書込みを行う機能を有している。また、メディアドライブ22が接続されたコンピュータ20は、通信網50を介して現像所14(のコンピュータ34:後述)と接続されている。第1の依頼形態で写真処理が依頼された場合、DPE受付店12では、顧客によって持込まれた記録メディア58を受け取ることで写真処理依頼を受け付け、受け取った記録メディア58からメディアドライブ22によって撮影画像の画像データ(画像ファイル)を読み出し、読み出した画像データをコンピュータ20によって現像所14へ送信することで、顧客からの依頼を受け付けた写真処理の実施を現像所14に依頼する。
【0031】
また、第2の依頼形態では、顧客がDSCを用いて被写体を撮影することで得られた画像データ(例えばEXIF形式やその他の形式の画像ファイル)が、インターネット等のコンピュータ・ネットワークを介してDPE受付店12へ送信されることで写真処理が依頼される。コンピュータ20はインターネット等を介して情報を送受する機能を有しており、第2の依頼形態で写真処理が依頼された場合、DPE受付店12では、インターネット等を介して顧客から送信された撮影画像の画像データをコンピュータ20によって受信することで写真処理依頼を受け付け、受信した画像データをコンピュータ20によって現像所14へ送信することで、顧客から依頼された写真処理の実施を現像所14に依頼する。
【0032】
更に、第3の依頼形態では、顧客がカメラを用いて被写体を撮影することで画像が露光記録された写真フィルムがDPE受付店12に持込まれることで写真処理が依頼される。第3の依頼形態で写真処理が依頼された場合、DPE受付店12では、顧客によって持込まれた写真フィルムを受け取ることで写真処理依頼を受け付け、受け取った写真フィルムを現像所14へ送付することで、顧客から依頼された写真処理の実施を現像所14に依頼する。
【0033】
また、DPE受付店12に設置されたハイパーターミナル24はパーソナルコンピュータ(PC)から成り、CPU,ROM,RAM,入出力ポートがバスを介して互いに接続されて構成されており(図示省略)、入出力ポートには、ハードディスクドライブ(HDD:図示省略)、画像等を表示するためのディスプレイ26、キーボード28、マウス30及びメディアドライブ32が各々接続されている。メディアドライブ32は、メディアドライブ22と同様に、各種の記録メディア58に対して情報の読み出し及び書込みを行う機能を有している。また、ハイパーターミナル24も通信網50に接続されている。
【0034】
現像所14には、コンピュータ34、スキャナ36、画像処理装置38及び写真プリンタ/プロセッサ40が設置されている。なお、コンピュータ34及び画像処理装置38は本発明に係る画像処理装置に対応している。図示は省略するが、コンピュータ34はCPU,ROM,RAM,入出力ポートがバスを介して互いに接続され、各種の周辺機器が入出力ポートに接続されて構成されている。なお、入出力ポートに接続されている周辺機器としては、キーボード、ディスプレイ、マウス、ハードディスクドライブ(HDD)が挙げられる。コンピュータ34は、第1の依頼形態又は第2の依頼形態で写真処理が依頼された場合にDPE受付店12から送信された撮影画像の画像データを受信し、画像処理装置38へ出力する。
【0035】
また、スキャナ36には、第3の依頼形態で写真処理が依頼された場合にDPE受付店12から送付され、現像等の処理を経て露光記録された画像が可視化された写真フィルムがセットされる。スキャナ36はセットされた写真フィルムに記録されている画像(現像等の処理を経て可視化された画像)を読み取り、この読み取りによって得られた画像データを画像処理装置38へ出力する。
【0036】
画像処理装置38はスキャナ36又はコンピュータ34から入力された画像データに対して所定の画像処理を行い、写真プリンタ/プロセッサ40は、画像処理装置38による画像処理を経た画像データを用いて写真プリントの作成(記録すべき画像に応じて変調したレーザ光を印画紙上で走査させることによる印画紙への画像の露光記録や、画像を露光記録した印画紙の現像等)を行う。なお、コンピュータ34にはオペレータに画像を提示するためのディスプレイ66、オペレータが任意の情報を入力するためのキーボード62及びマウス64が接続されており、画像処理装置38で画像処理が行われる画像データは一旦コンピュータ34へ転送され、画像データに対する画像処理の種類及び処理条件はコンピュータ34によって決定される。
【0037】
また、コンピュータ34は通信網50に接続されており、DPE受付店12のハイパーターミナル24及びデータセンタ16のコンピュータ44(後述)と通信網50を介して通信可能とされている。また、コンピュータ34にはHDD等から成り赤目補正履歴情報(詳細は後述)を記憶するための記憶部42が接続されている。なお、記憶部42には、後述する赤目手動補正処理をコンピュータ34で実行するための赤目手動補正プログラムと、後述する赤目自動補正処理をコンピュータ34で実行するための赤目自動補正プログラムが記憶されている。なお、赤目自動補正プログラムは請求項7に記載のプログラムに対応している。
【0038】
次に本第1実施形態の作用を説明する。本第1実施形態において、画像処理装置38で実行される画像処理の中には、被写体としての人物の瞳に相当しかつ赤目や金目等の色調不良が生じている瞳領域(以下、赤目領域と称する)が存在している画像の画像データに対し、赤目領域の色調不良を補正する赤目補正処理が含まれている。
【0039】
この赤目補正処理の実行に伴い、記憶部42には赤目補正履歴情報が徐々に蓄積記憶され(詳細は後述)、赤目補正履歴情報の精度が一定レベルに達した以降は、記憶部42に蓄積記憶された赤目補正履歴情報に基づいて赤目補正処理が自動的に行われる(後述する赤目自動補正処理)が、記憶部42に蓄積記憶された赤目補正履歴情報の精度が一定レベルに達する迄の間は、赤目補正処理の処理条件の決定にオペレータが関与する赤目手動補正処理によって赤目補正が為される。以下、この赤目手動補正処理について、図2のフローチャートを参照して説明する。
【0040】
この赤目手動補正処理は、例えば顧客から赤目補正の実施を依頼された画像等が処理対象の画像として事前に選択された状態(これに代えて、ストロボを用いて撮影された画像を処理対象の画像として選択してもよい)で、オペレータによる赤目手動補正の実行指示に従い、コンピュータ34のCPUで赤目手動補正プログラムが実行されることにより実現される。
【0041】
ステップ100では、処理対象として事前に選択された全ての画像に対して処理を行ったか否か、及び、オペレータから処理の終了が指示されたか否かを判断することで、赤目手動補正処理を終了するか否か判定する。ステップ100の判定が否定された場合にはステップ102へ移行し、処理対象の画像の中から処理未実行の単一の画像の画像データを取り込み、取り込んだ画像データが表す画像をディスプレイ66に表示させる。
【0042】
ステップ104ではディスプレイ66に表示している画像の切り替えが指示されたか否か判定する。ステップ104の判定が否定された場合にはステップ108へ移行し、ディスプレイ66に表示している画像が赤目補正対象の画像として選択されたか否か判定する。ステップ108の判定も否定された場合にはステップ104に戻り、何れかの判定が肯定される迄ステップ104,108を繰り返す。
【0043】
ディスプレイ66に画像が表示されると、オペレータは表示された画像を目視し、表示された画像に赤目領域が存在しているか否かを検定する。なお、この検定は、請求項5に記載の「色調不良が生じている瞳領域の有無の判断」にオペレータが関与することに相当している。赤目領域が存在していなかった場合、オペレータはキーボード62又はマウス64を操作することで、ディスプレイ66に表示されている画像の表示の切り替えを指示する。これにより、ステップ104の判定が肯定されてステップ106へ移行し、処理対象の画像の中から処理未実行の別の画像の画像データを取り込んでディスプレイ66に画像として表示させることで、ディスプレイ66に表示している画像を切り替え、ステップ104に戻る。
【0044】
また、ディスプレイ66に表示された画像に赤目領域が存在していた場合、オペレータはキーボード62又はマウス64を操作することで、ディスプレイ66に表示されている画像を赤目補正対象の画像として選択することを指示する。これにより、ステップ108の判定が肯定されてステップ110へ移行し、例として図3に示すような赤目手動補正画面80をディスプレイ66に表示させる。
【0045】
この赤目手動補正画面80には、赤目補正対象の画像を表示するための表示領域80A、赤目補正後の画像を表示するための表示領域80Bが設けられており、選択された赤目補正対象の画像は表示領域80Aに表示される。また、赤目手動補正画面80には赤目補正の処理モードを選択するための複数のボタン80C、赤目補正の補正レベルを調整するためのスライドバー80D、領域ズームを指示するためのボタン80E、ズームインを指示するためのボタン80F、テスト及び処理の確定を指示するためのボタン80G等が設けられている。
【0046】
なお、本実施形態では赤目手動補正処理における赤目補正の処理モードとして、被写体としての人物の両眼部に生じている色調不良を自動的に補正する「両眼半自動モード」、片方の眼部に生じている色調不良を自動的に補正する「単眼半自動モード」、オペレータが色調不良を手動で補正するための「手動モード」が各々用意されており、赤目手動補正画面80には各処理モードに対応するボタン80Cが各々設けられている。
【0047】
表示領域80A内に赤目補正対象の画像が表示されると、オペレータは、表示された赤目補正対象の画像を目視し、赤目補正対象の画像に適した処理モードを判断し、判断した処理モードに対応するボタン80Cをマウス64を操作してクリックすることで、赤目補正対象の画像の赤目補正に適した処理モードの選択を行う。また、処理モードとして「両眼半自動モード」又は「単眼半自動モード」を選択した場合、更にオペレータは、赤目補正対象の画像に適した補正レベルも判断し、判断した補正レベルに応じてマウス64を介してスライドバー80Dを操作する(なお、この操作は請求項5に記載の「瞳領域の色調不良を補正するための補正パラメータの決定」にオペレータが関与することに相当している)ことで、赤目補正対象の画像の赤目補正に適した補正レベルの調整も行う。
【0048】
次のステップ112〜122ではオペレータによる指示を判定する。すなわち、ステップ112ではオペレータからズームインが指示されたか否か判定する。判定が否定された場合にはステップ114へ移行し、オペレータから赤目領域が指示されたか否か判定する。判定が否定された場合にはステップ116へ移行し、オペレータから赤目領域のズームが指示されたか否か判定する。この判定も否定された場合にはステップ118へ移行し、オペレータからテストが指示されたか否か判定する。この判定も否定された場合にはステップ120へ移行し、オペレータによって手動補正が行われるか否か判定する。ステップ120の判定も否定された場合にはステップ122へ移行し、処理の確定が指示されたか否か判定する。ステップ122の判定も否定された場合にはステップ112に戻り、何れかの判定が肯定されるまでステップ112〜122を繰り返す。
【0049】
赤目を手動で補正するにあたり、まずオペレータはマウス64を操作してボタン80Fをクリックすることでズームイン(赤目補正対象の画像中の両眼部付近の拡大表示)を指示する。これにより、ステップ112の判定が肯定されてステップ124へ移行し、赤目補正対象の画像のうち両眼部に相当する領域を推定し、推定した領域及びその付近の領域を表示領域80Aの全面に拡大表示させた後にステップ112へ戻る。
【0050】
赤目補正対象の画像の両眼部付近が拡大表示されると、オペレータは、赤目補正対象の画像中の赤目領域をコンピュータ34に認識させるために、マウス64を操作して赤目領域を指示する。この赤目領域の指示方法は赤目補正の処理モードによって相違しており、「両眼半自動モード」においては、例として図4(A)に示すように、表示領域80Aに表示されている画像(両眼部付近の拡大画像)のうち両眼の瞳領域の中心部同士を結ぶ直線を、表示されている画像上に描画することによって赤目領域が指示される。また、「単眼半自動モード」及び「手動モード」においては、例として図4(B)に示すように、表示されている画像のうち赤目領域を含む片方の眼部領域を囲む矩形を表示されている画像上に描画させることによって赤目領域が指示される。オペレータによって上記の指示が為されると、ステップ114の判定が肯定されてステップ126へ移行し、表示領域80Aに表示している画像上にオペレータによる指示に応じて線又は矩形の図形を描画し、ステップ112に戻る。
【0051】
表示領域80Aに表示されている画像上に、指示通りに線又は図形が描画されたことを確認すると、オペレータは、マウス64を操作してボタン80Eをクリックすることで、指示した領域の領域ズームを指示する。これにより、ステップ116の判定が肯定されてステップ128へ移行し、オペレータによって指示された領域(赤目領域及びその付近の領域)を表示領域80A内に拡大表示させ、ステップ112に戻る。
【0052】
赤目領域及びその付近の領域が表示領域80A内に拡大表示されると、オペレータは、先に選択した赤目補正の処理モードが「両眼半自動モード」又は「単眼半自動モード」である場合には、赤目補正(テスト)の実行を指示するために、マウス64を操作してボタン80Gをクリックする。これにより、ステップ118の判定が肯定されてステップ130へ移行し、オペレータによる指示に応じて描画した線又は図形の位置等に基づいて認識した赤目領域に対し、事前に指定された補正レベルに応じて色調不良を自動的に補正する赤目補正を実行する。なお、この赤目補正には、公知の様々な処理方法の何れを適用してもよく、例えば特開2001−186325号公報に記載の処理手法を適用してもよい。赤目補正を完了するステップ132へ移行し、赤目補正後の画像を表示領域80Bに表示すると共に、赤目補正前の画像を表示領域80Aに表示した後にステップ112に戻る。
【0053】
一方、赤目補正の処理モードとして「手動モード」が選択されていた場合、赤目領域及びその付近の領域が表示領域80A内に拡大表示されると、オペレータはキーボード62やマウス64を介し、手動により赤目領域の色調不良を補正する操作を行う。この操作は、例えば複数の色見本が一覧表示されたパレットから所望の色を選択するか、又は赤目補正対象の画像内から所望の色を選択することで、赤目領域に上塗りすべき色を決定し、赤目領域のうち決定した色を上塗りすべき範囲を指定し、指定した範囲内におけるキャッチライト(外からの光を反射することで光って見える部分)の位置を設定した後に、赤目補正(テスト)の実行を指示するために、マウス64を操作してボタン80Gをクリックすることによって為される。
【0054】
上記の操作が行われると、ステップ120の判定が肯定されてステップ134へ移行し、オペレータからの指示に基づき、オペレータから指定された上塗り範囲に、オペレータから指定された色を上塗りし、オペレータによって設定された位置にキャッチライトに相当する輝度変化を生じさせる赤目補正を行い、赤目補正後の画像を表示領域80Bに表示すると共に、赤目補正前の画像を表示領域80Aに表示した後にステップ112に戻る。
【0055】
表示領域80Bに赤目補正後の画像が表示されると、オペレータは表示領域80Bに表示された画像を目視して赤目補正の結果を検定する。そして、赤目補正の結果が不適正と判断した場合には、処理条件を変更する操作(例えば「両眼半自動モード」又は「単眼半自動モード」であれば補正レベルの調整、「手動モード」であれば色・上塗り範囲・キャッチライトの位置の少なくとも1つの変更)を行って赤目補正を再実行させる。また、赤目が適正に補正されていると判断した場合、オペレータはマウス64を操作し、ボタン80Gをクリックすることで赤目補正対象の画像に対する赤目補正の条件の確定を指示する。
【0056】
これにより、ステップ122の判定が肯定されてステップ136へ移行し、処理条件が確定した赤目補正を画像処理装置38によって再度行わせるための処理条件情報を生成し、生成した処理条件情報を赤目補正対象の画像を識別するための情報と対応付けて画像処理装置38へ転送する。画像処理装置38では、コンピュータ24から転送された処理条件情報に基づき、処理対象の画像に対して赤目補正処理を実行する必要があることを認識し、処理対象の画像に対して画像処理を実行する際に、転送された処理条件情報が規定する処理条件で赤目補正処理を行う。これにより、赤目補正対象の画像の画像データから、赤目(瞳領域の色調不良)が補正された写真プリントが作成されることになる。
【0057】
また次のステップ138では、赤目補正対象の画像が撮影された際に用いられたカメラの機種及び撮影時のストロボ使用の有無を認識する。例えば顧客から第1の依頼形態又は第2の依頼形態で写真処理の依頼を受け付けた場合、撮影画像は画像ファイルとして顧客から引き渡されることになるが、この画像ファイルには、個々の撮影画像毎に、撮影に使用したDSCの機種等の属性情報が付加されているので、カメラの機種の認識はこの属性情報を参照することで実現できる。
【0058】
また、顧客から第3の依頼形態で写真処理の依頼を受け付けた場合にも、写真フィルムがAPSフィルムであればAPSフィルムの磁気層に各種情報が記録されるので、磁気層に記録された情報を読み取ることで、撮影に用いたカメラの機種を認識できる。また、銀塩フィルムカメラのうち、高機能の一眼レフタイプのカメラの中には、内蔵メモリに各種情報を記録する機能を搭載しているものも存在している。この種のカメラは、写真フィルムの撮影画像領域外に光学的に書き込んだIDにより、内蔵メモリに記録した撮影情報と撮影画像(写真フィルム)とを対応付ける構成を採用しており、この種のカメラを用いて撮影された画像についても、内蔵メモリに記録された情報を利用することで、撮影に用いたカメラの機種を認識可能である。
【0059】
ところで、本第1実施形態に係る記憶部42には、例として次の表1に示すように、赤目補正履歴情報として、赤目補正における各処理モード毎の選択回数及び両眼半自動モード及び単眼半自動モードでの補正レベルの各レベル毎の選択回数を、撮影に用いたカメラの機種毎に記憶するための領域が設けられている。このように、記憶部42は本発明に係る記憶手段に相当している。なお、表1では補正レベルを3段階に分け、各段階毎の選択回数を計数する例を示しているが、補正レベルの分割数は表1の例に限られるものではなく、例えばより細かく分割するようにしてもよい。
【0060】
【表1】
【0061】
次のステップ140では、処理条件が確定した赤目補正対象の画像に対する赤目補正の処理モード(及び、両眼半自動モード及び単眼半自動モードにおける補正レベル)に応じて、ステップ138で認識した機種に対応する赤目補正履歴情報を更新し、ステップ100に戻る。赤目手動補正処理はステップ100の判定が肯定される迄繰り返されるので、特定の画像が赤目補正の実行対象として選択される毎に、該画像に対してオペレータによって選択されて確定した処理モード及び補正レベルに応じて、前記画像の撮影に用いたカメラの機種に対応する「処理モード選択回数」(及び「補正レベル」)が適宜更新されることになる。
【0062】
なお、表1からも明らかなように、赤目補正履歴情報には、カメラの各機種毎に、画像処理装置38で処理される画像の総数である「全画像数」、画像処理装置38で処理される全画像のうちストロボを用いて撮影された画像の総数である「ストロボ使用数」、ストロボを用いて撮影された画像に占める赤目補正が行われる画像の割合に相当する「赤目発生率」を記憶するための領域も設けられている。
【0063】
このうち「全画像数」及び「ストロボ使用数」については、上述した赤目手動補正処理とは別に、画像処理装置38で処理される各画像に対する赤目補正以外の画像処理の処理条件を決定する処理において適宜更新される。なお撮影時のストロボ使用の有無についても、先に説明した画像ファイルに付加されている属性情報等を参照することで判断することができる。また、「赤目発生率」については、赤目手動補正処理(図2)において赤目補正履歴情報の「処理モード選択回数」(及び「補正レベル」)を更新する際(ステップ140を実行する際)に併せて更新するようにしてもよいし、赤目履歴情報の「全画像数」及び「ストロボ使用数」を更新する際に併せて更新するようにしてもよい。
【0064】
赤目補正履歴情報の各項目が上記のようにして適宜更新されることにより、画像処理装置38で多数の画像が処理されると共に、瞳領域に色調不良が生じている画像に対しては赤目補正の処理条件が決定されて赤目処理が行われることで、赤目補正履歴情報の「赤目発生率」が、カメラの機種毎に相違する瞳領域の色調不良の発生度合いを正確に反映した値になり、赤目補正履歴情報の「処理モード選択回数」及び「補正レベル」も、カメラの機種毎に相違する赤目補正における適正な処理パラメータを反映したデータとなる。
【0065】
なお、赤目補正の処理モードとして「手動モード」が選択された場合には、先に説明したステップ130の自動補正は行われずオペレータによる補正レベルの調整も行われないため、赤目補正履歴情報の「補正レベル」は更新されないが、「処理モード選択回数」の更新は行われ、この更新に伴って「赤目発生率」も更新されるので、「赤目発生率」の精度向上には寄与する。
【0066】
このため、本実施形態では、赤目補正履歴情報の精度が一定レベルに達した以降は、先に説明した赤目手動補正処理に代えて、図5に示す赤目自動補正処理が行われる。なお、赤目補正履歴情報の精度が一定レベルに達したか否かは、例えば赤目補正履歴情報の「全画像数」又は赤目補正を行った画像の総数(「処理モード選択回数」における各処理モード毎の画像数の合計)が所定値以上になったか否かに基づいて判断するようにしてもよいし、オペレータが判断するようにしてもよい。
【0067】
先に説明した赤目手動補正処理では、顧客から赤目補正の実施を依頼された画像を処理対象の画像としていたが、赤目自動補正処理では、画像処理装置38で画像処理が行われる全ての画像を処理対象としており、ステップ150では、処理対象の画像群の中から単一の画像を処理対象として選択する。ステップ152では、処理対象として選択した画像の画像ファイルの属性情報等を参照することにより、処理対象の画像がストロボを用いて撮影された画像か否か判定する。
【0068】
判定が否定された場合にはステップ150に戻り、他の画像を処理対象として選択するが、ステップ152の判定が肯定された場合にはステップ154へ移行し、処理対象の画像の画像ファイルの属性情報等を参照することで、処理対象の画像の撮影に用いられたカメラの機種を認識する。なお、ステップ154は本発明に係る検知手段に対応している。ステップ156では、記憶部42に記憶されている赤目補正履歴情報のうち、ステップ154で認識した機種に対応する赤目補正履歴情報の「赤目発生率」を参照し(この処理は本発明に係る取得手段に対応している)、当該機種のカメラによりストロボを用いて撮影された画像における赤目発生確率(「赤目発生率」)が所定値以上か否か判定する。判定が否定された場合には、処理対象の画像に瞳領域の色調不良が生じている可能性は低いと判断できるので、何ら処理を行うことなくステップ150に戻る。
【0069】
一方、例えば表1に示した赤目発生確率=90%のように、赤目発生確率が所定値以上であったためにステップ156の判定が肯定された場合には、処理対象の画像を赤目補正対象の画像とし、ステップ158以降の処理を行う。なお、ステップ158以降の処理は、実際に赤目補正処理を行う画像処理装置38と共に、本発明に係る処理手段に対応している。
【0070】
すなわち、ステップ158では、先のステップ154で認識した機種に対応する赤目補正履歴情報の「補正レベル」に基づき、赤目自動補正における補正レベルを決定する。赤目自動補正における補正レベルとしては、例えば赤目補正履歴情報の「補正レベル」における各レベル毎の選択回数を重みとして用いた各レベルの加重平均値を用いることができる。例として先の表1の例では「レベル15」が2回、「レベル20」が3回、「レベル45」が10回選択されているので、以下の演算式に従い、
(15×2+20×3+45×10)÷18=30
補正レベルの初期値を「30」とすることができる。上記のように、赤目補正履歴情報を利用して補正レベルを決定することで、撮影に用いられたカメラの機種に応じた適正な補正レベルを得ることができる。
【0071】
次のステップ160では、赤目補正対象の画像からの赤目領域の自動抽出を行う。なお、赤目領域を自動抽出するためのアルゴリズムとしては種々のアルゴリズムが存在しているが、本実施形態に係る赤目自動補正処理では、撮影に用いられたカメラの機種、及びストロボを用いて撮影されたか否かに基づいて、赤目補正対象の画像の数を絞り込んでいるので、上記のアルゴリズムとして、処理に比較的時間がかかる代わりに赤目領域の抽出精度の高いアルゴリズムを適用することができる。
【0072】
ステップ162では、ステップ160の処理によって抽出された赤目領域に対する、ステップ158で決定した補正レベルでの赤目補正を画像処理装置38によって行わせるための処理条件情報を生成し、生成した処理条件情報を赤目補正対象の画像を識別するための情報と対応付けて画像処理装置38へ転送する。これにより、画像処理装置38において、赤目補正対象の画像に対し、転送された処理条件情報が規定する処理条件で赤目補正処理が実行されることになる。
【0073】
ステップ164では、赤目補正対象の画像に対する処理条件に応じて、ステップ154で認識した機種に対応する赤目補正履歴情報を更新する。次のステップ166では、処理対象の全ての画像に対してステップ150の処理を行ったか否か判定する。判定が否定された場合にはステップ150に戻り、処理対象の全ての画像(画像処理装置38で画像処理が行われる全ての画像)に対してステップ150以降の処理を繰り返す。そして、ステップ166の判定が肯定されると赤目自動補正処理を終了する。
【0074】
上述した赤目自動補正処理により、顧客から赤目補正の実施を依頼された画像のみならず、画像処理装置38で画像処理が行われる画像のうち、瞳領域の色調不良が生じている可能性が高いと推定される画像(赤目発生確率が所定値以上の画像)に対して赤目補正処理を自動的に行うことを、写真処理システム10の処理能力の低下を招くことなく実現することができる。また、オペレータの負担も軽減することができる。
【0075】
〔第2実施形態〕
次に本発明の第2実施形態を説明する。なお、第1実施形態と同一の部分には同一の符号を付し、説明を省略する。図6に示すように、本第2実施形態に係る写真処理システム70では、写真処理に関連する各種の情報を集中的に管理するデータセンタ16及び顧客が撮影に使用するカメラを製造する複数のカメラメーカ18も通信網50を介して接続されている。
【0076】
データセンタ16には、コンピュータ44と、HDD等から成る大容量の記憶装置46が設置されている。コンピュータ44は通信網50に接続されており、複数の現像所14に設置されたコンピュータ34や複数のカメラメーカ18が各々所持しているコンピュータ52と通信網50を介して通信可能とされている。また、記憶装置46には写真処理に関連する各種の情報を記憶するための写真関連情報DB(データベース)48が設けられている。記憶装置46はコンピュータ44に接続されており、写真関連情報DB48に対する情報の書き込み及び読み出しはコンピュータ44によって行われる。
【0077】
以下、本第2実施形態の作用を説明する。先に説明した第1実施形態では、個々の現像所14のコンピュータ34により、赤目補正履歴情報が個々の現像所14の記憶部42に記憶されるようになっていたが、本第2実施形態に係る写真処理システム70では、赤目補正履歴情報はデータセンタ16によって管理され(写真関連情報DB48に記憶され)、通信網50に接続された個々の現像所14のコンピュータ34に利用されるようになっている。
【0078】
すなわち、個々の現像所14のコンピュータ34は、赤目補正履歴情報を更新すべき事象(例えば赤目手動補正処理又は赤目自動補正処理により赤目補正対象の画像に対する赤目補正の処理条件を決定した、或いは画像処理装置38で処理される画像のうちストロボを用いて撮影された画像の数(積算値)が所定値変化した等)が発生する毎に、赤目補正履歴情報のうち対応するデータ項目の更新を依頼する情報をデータセンタ16のコンピュータ44へ送信し、コンピュータ44はコンピュータ34から受信した依頼に応じて、写真関連情報DB48に記憶されている赤目補正履歴情報を更新する。
【0079】
このように、写真関連情報DB48に記憶されている赤目補正履歴情報は、コンピュータ34が通信網50に接続されている複数の現像所14における赤目補正の結果に応じて更新されることになるので、単位期間当りに赤目補正履歴情報として記憶される情報量が増大し、写真関連情報DB48に記憶されている赤目補正履歴情報が短期間で十分な精度に達することになる。なお、写真関連情報DB48(赤目補正履歴情報)を記憶する記憶装置46は、本発明に係る記憶手段(詳しくは請求項6に記載の記憶手段)に対応している。
【0080】
また、個々の現像所14のコンピュータ34は、赤目自動補正処理を行うに際して写真関連情報DB48に記憶されている赤目補正履歴情報を参照するが、前述のように、本第2実施形態では赤目補正履歴情報が短期間で十分な精度に達するので、個々の現像所14における赤目手動補正処理から赤目自動補正処理への移行を早期に行うことができる。従って、個々の現像所14におけるオペレータの負担を更に軽減することができる。
【0081】
また、赤目補正履歴情報を参照すれば赤目の発生し易いカメラを機種毎に判別可能であるが、本第2実施形態では、赤目補正履歴情報を管理するデータセンタ16のコンピュータ44が通信網50を介して各カメラメーカ18のコンピュータ52と接続されているので、例えばデータセンタ16のコンピュータ44が赤目補正履歴情報を参照し、赤目発生確率が所定値以上となっているカメラを製造しているカメラメーカ18のコンピュータ52に対し、例えば「貴社のカメラ□□□は赤目が出やすい傾向があります」等のアドバイス情報を送信することも可能となる。これにより、カメラメーカ18において、受信したアドバイス情報に基づき、赤目が出やすいとの指摘を受けた機種のカメラを改良したり、次機種のカメラの設計に役立てることも可能となる。
【0082】
なお、上記では赤目自動補正処理(図5)として、赤目補正を完全に自動的に行う処理(オペレータの関与が不要)を説明したが、これに限定されるものではなく、例えば補正パラメータの初期値を演算し、演算した補正パラメータにより赤目補正を行った場合の画像をオペレータに提示し、オペレータの指示が有れば補正パラメータ等の処理条件を修正する等のように、赤目補正の最終的な処理条件の適否をオペレータの判断に委ねるようにしてもよい。
【0083】
また、上記では本発明に係る画像処理装置として、現像所14に設置されたコンピュータ34及び画像処理装置38を例に説明したが、これに限定されるものではなく、例えば本発明に係る画像処理装置としての機能を撮影装置に搭載することで、該撮影装置を本発明に係る画像処理装置として機能させることも可能である。
【0084】
【発明の効果】
以上説明したように本発明に係る画像処理装置は、処理対象の画像の撮影に用いられた撮影装置の機種を検知し、撮影装置を用いて撮影された多数の画像のうち被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して瞳領域の色調不良が補正されることで得られた、前記瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、検知した機種に対応する情報を取得し、取得した情報に基づき処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる、という優れた効果を有する。
【0085】
本発明に係る画像処理方法は、撮影装置を用いて撮影された多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、処理対象の画像の撮影に用いられた撮影装置の機種を検知し、記憶手段に記憶されている情報のうち検知した機種に対応する情報を取得し、取得した情報に基づき処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる、という優れた効果を有する。
【0086】
本発明に係るプログラムは、コンピュータを、処理対象の画像の撮影に用いられた撮影装置の機種を検知する検知手段、撮影装置を用いて撮影された多数の画像のうち被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、検知された撮影装置の機種に対応する情報を取得する取得手段、及び、取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段として機能させるためのプログラムであるので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる、という優れた効果を有する。
【図面の簡単な説明】
【図1】第1実施形態に係る写真処理システムの概略構成を示すブロック図である。
【図2】赤目手動補正処理の内容を示すフローチャートである。
【図3】赤目手動補正画面の一例を示すイメージ図である。
【図4】赤目手動補正処理の各処理モードにおける眼部領域の指定方法を示すイメージ図である。
【図5】赤目自動補正処理の内容を示すフローチャートである。
【図6】第2実施形態に係る写真処理システムの概略構成を示すブロック図である。
【符号の説明】
10 写真処理システム
14 現像所
16 データセンタ
34 コンピュータ
36 スキャナ
38 画像処理装置
42 記憶部
46 記憶装置
48 写真関連情報DB
50 通信網
70 写真処理システム
80 赤目手動補正画面
【発明の属する技術分野】
本発明は画像処理装置、方法及びプログラムに係り、特に、画像中に存在している人物の瞳に相当する瞳領域の色調不良を補正するための画像処理方法、該画像処理方法を適用可能な画像処理装置、コンピュータを前記画像処理装置として機能させるためのプログラムに関する。
【0002】
【従来の技術】
カメラにより被写体を撮影した場合、撮影時の光の反射状態によっては、撮影記録される画像上での被写体の色調が実際の色調と大きく相違することがある。例えば、ストロボを発光させて被写体としての人物を正面から撮影すると、暗い場所で瞳孔が開いた状態となっている人物の眼部に対しストロボ光が正面から入射して正反射され、この状態が画像として撮影記録されることで、画像上で瞳に相当する領域(瞳領域)が赤色を帯びたり(所謂赤目)、金色を帯びる(所謂金目)ことがある。このような画像中の瞳領域の色調不良は非常に不自然で見栄えが悪いため、画像処理によって瞳領域の色調不良を補正し、瞳領域が自然に見えるようにするための様々な処理方法が従来より提案されている。
【0003】
例えば特許文献1には、人物の瞳に相当し赤目や金目等の色調不良が生じている色調不良の瞳領域が存在している処理対象の画像のデータを明度・彩度・色相のデータへ変換し、画像全体の平均明度・シャドウ部の明度、解析領域(色調不良の瞳領域の周囲領域)の平均明度・平均彩度・平均色相・シャドウ部の明度、色調不良の瞳領域の平均明度・平均彩度・平均色相を演算し、色調不良の瞳領域の目標明度を、画像全体の平均明度以下で解析領域のシャドウ部の明度以下で画像全体のシャドウ部の明度以上の値とし、目標彩度を解析領域の平均彩度と彩度0との中間値とし、目標色相を解析領域の平均色相とし、変換後の明度・彩度・色相が目標値に一致するように色調不良の瞳領域に対する変換条件を設定する技術が提案されている。
【0004】
【特許文献1】
特開2001−186325号公報
【0005】
【発明が解決しようとする課題】
しかしながら、色調不良が生じている瞳領域が画像中に存在しているか否かを探索し、該探索によって色調不良の瞳領域が抽出された場合に該瞳領域の色調不良を補正する、という一連の処理は、従来より提案されている各種処理方法の何れを適用するかによって多少の相違はあるものの非常に複雑な処理であり、処理に多大な時間がかかるため、顧客から写真処理が依頼された多数の画像の全てに対して上記の探索や補正を自動的に行ったとすると、写真処理の処理速度の大幅な低下を招くことになる。このため、瞳領域の色調不良の補正は、顧客から瞳領域の色調不良の補正が依頼された画像(色調不良が生じている瞳領域が存在していることが事前に判明している画像)のみを対象として行っているのが実情であった。
【0006】
また、瞳領域の色調不良の補正を自動化した場合、瞳領域の色調不良を補正するためのパラメータが適切に設定されないことがあるために、瞳領域の色調不良の補正に際し、瞳領域の色調不良を補正するためのパラメータの設定等をオペレータに依存していることも多く、この場合、オペレータに多大な負担を強いることになる、という問題もあった。
【0007】
本発明は上記事実を考慮して成されたもので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能な画像処理装置、画像処理方法及びプログラムを得ることが目的である。
【0008】
【課題を解決するための手段】
本願発明者は、撮影装置を用いて被写体が撮影されることで得られ、かつ色調不良が生じている瞳領域が存在している多数の画像について、その特徴を分析する作業を行った。その結果、色調不良が生じている瞳領域の出現度合いは、撮影に用いた撮影装置の機種によって大きく相違していることが明らかとなった。すなわち、瞳領域の色調不良は、被写体としての人物の開いた瞳孔で正反射されたストロボ光が、撮影装置のレンズに真っ直ぐ入射することで生ずるが、例えばレンズとストロボの配置間隔が小さくなるに従って、レンズの光軸により近い位置でストロボが発光することになり、瞳孔で正反射されたストロボ光がレンズに真っ直ぐ入射する確率が高くなる。
【0009】
このように、瞳領域の色調不良の出現度合いは、撮影装置の構成(レンズとストロボの位置関係やストロボの発光強度等)に大きく依存しており、色調不良が生じている瞳領域の出現度合いが撮影装置の機種によって大きく相違していることは、撮影装置の機種毎に構成が相違しているためであると推察される。そして、撮影装置の小型化に伴い瞳領域の色調不良の出現度合いが高くなり易い構成の撮影装置は増大してきている。
【0010】
上記に基づき請求項1記載の発明に係る画像処理装置は、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知する検知手段と、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、前記検知手段によって検知された撮影装置の機種に対応する情報を取得する取得手段と、前記取得手段によって取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段と、を含んで構成されている。
【0011】
請求項1記載の発明では、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報が撮影装置の機種毎に記憶手段に記憶されている。なお、例えば通信網を介して本発明に係る画像処理装置と通信可能なサーバに接続された大容量の記憶媒体を記憶手段として用いることも可能である。
【0012】
また、請求項1記載の発明では、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における撮影装置の機種が検知手段によって検知され、検知された撮影装置の機種に対応する情報が取得手段によって記憶手段から取得される。そして処理手段は、取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う。
【0013】
このように、請求項1記載の発明では、被写体の撮影に用いられた撮影装置の機種に基づいて(撮影時のストロボ使用の有無も併用することが望ましい)、色調不良が生じている瞳領域が存在している確率を正確に判断することができるので、色調不良が生じている瞳領域が存在している確率が所定値以上の画像(色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うべき画像)を高精度かつ自動的に絞り込むことができる。
【0014】
また、処理対象の画像が絞り込まれることで、処理対象の個々の画像に割り当て可能な処理時間が増大するので、処理対象の画像に対し、処理に時間はかかるものの比較的精度の高い手法を適用して、色調不良が生じている瞳領域の探索や該探索によって抽出された瞳領域の色調不良を補正することができ、瞳領域の色調不良を高精度に補正することができる。従って、請求項1記載の発明によれば、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる。
【0015】
請求項2記載の発明は、請求項1記載の発明において、記憶手段には、色調不良が生じている瞳領域が存在している画像に対し、前記瞳領域の色調不良を補正するために決定された補正パラメータを表す情報も撮影装置の機種毎に記憶されており、処理手段は、取得手段によって取得された前記補正パラメータを表す情報に基づいて、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを決定することを特徴としている。
【0016】
本願発明者による前述の分析によれば、瞳領域に生じる色調不良には撮影装置の機種毎に一定の傾向があり、これに伴い、瞳領域の色調不良を補正するための補正パラメータについても撮影装置の機種毎に一定の傾向があることが確認されている。上記に基づき請求項2記載の発明では、色調不良が生じている瞳領域が存在している画像に対し、前記瞳領域の色調不良を補正するために決定された補正パラメータを表す情報も撮影装置の機種毎に記憶手段に記憶されており、処理手段はこの情報を利用して補正パラメータを決定するので、処理対象の画像から抽出された瞳領域の色調不良を精度良く補正できる補正パラメータを得ることができ、瞳領域の色調不良の補正をより高精度に行うことができ、補正パラメータの決定をオペレータに依存する必要もなくなる。
【0017】
請求項3記載の発明に係る画像処理方法は、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知し、前記記憶手段に記憶されている情報のうち、前記検知した撮影装置の機種に対応する情報を取得し、前記記憶手段から取得した情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う。
【0018】
請求項3記載の発明では、色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、請求項1記載の発明と同様に、処理対象の画像における撮影装置の機種を検知し、記憶手段に記憶されている情報のうち検知した機種に対応する情報を取得し、取得した情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うので、請求項1記載の発明と同様に、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる。
【0019】
なお、請求項3記載の発明において、例えば請求項4に記載したように、前記多数の画像のうち、色調不良が生じている瞳領域が存在している画像に対する補正パラメータを決定し、決定した補正パラメータを用いて瞳領域の色調不良を補正すると共に、決定した補正パラメータを表す情報も撮影装置の機種毎に記憶手段に記憶しておき、記憶手段から取得した補正パラメータを表す情報に基づいて、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを決定することが好ましい。これにより、請求項2記載の発明と同様に、瞳領域の色調不良の補正をより高精度に行うことができ、補正パラメータの決定をオペレータに依存する必要もなくなる。
【0020】
ところで、本発明において、処理対象の画像に色調不良が生じている瞳領域が存在している確率の判断精度や、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータの決定精度は、記憶手段に記憶されている情報の精度に依存し、この情報の精度は、瞳領域の色調不良の補正に伴って得られる情報をより多数の画像に亘って記憶するか、又は瞳領域の色調不良の補正における精度(例えば色調不良が生じている瞳領域の有無の判断の精度や、瞳領域の色調不良を補正するための補正パラメータの決定精度)を高くすることで向上させることができる。
【0021】
これに対し、記憶手段に記憶されている情報が十分な精度に達する迄の間は、本発明を適用したとしても、処理対象の画像に色調不良が生じている瞳領域が存在している確率を自動的に判断したり、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを自動的に決定する際の精度が不十分であることを考慮すると、請求項3又は請求項4に記載の発明において、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち色調不良が生じている瞳領域が存在している画像に対する前記瞳領域の色調不良の補正において、例えば請求項5に記載したように、前記色調不良が生じている瞳領域の有無の判断及び前記瞳領域の色調不良を補正するための補正パラメータの決定の少なくとも一方が、オペレータが関与することで為されることが好ましい。
【0022】
上記のように、瞳領域の有無の判断及び瞳領域の色調不良を補正するための補正パラメータの決定の少なくとも一方にオペレータが関与することで、瞳領域の色調不良の補正における精度が向上するので、瞳領域の色調不良の補正に伴って得られる情報が膨大な数の画像に亘って記憶手段に記憶される以前に、記憶手段に記憶されている情報が十分な精度に達することになり、処理対象の画像に色調不良が生じている瞳領域が存在している確率を自動的に判断したり、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを自動的に決定するための記憶手段への情報の記憶を短期間で完了させることができる。
【0023】
また、請求項3又は請求項4に記載の発明において、例えば請求項6に記載したように、記憶手段は、通信回線を介して複数台の画像処理装置と接続されており、色調不良が生じている瞳領域が存在している画像に対する瞳領域の色調不良の補正が複数台の画像処理装置で各々行われることで得られた情報が各々記憶されることが好ましい。
【0024】
これにより、1台の画像処理装置によって瞳領域の色調不良の補正が行われることで得られた情報のみを記憶手段に記憶させる場合と比較して、単位期間当りに記憶手段に記憶される、瞳領域の色調不良の補正に伴って得られる情報量が増大するので、記憶手段に記憶されている情報が短期間で十分な精度に達することになり、処理対象の画像に色調不良が生じている瞳領域が存在している確率を自動的に判断したり、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを自動的に決定するための記憶手段への情報の記憶を短期間で完了させることができる。
【0025】
請求項7記載の発明に係るプログラムは、コンピュータを、撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知する検知手段、撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、前記検知手段によって検知された撮影装置の機種に対応する情報を取得する取得手段、及び、前記取得手段によって取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段として機能させる。
【0026】
請求項7記載の発明に係るプログラムは、コンピュータを、検知手段、取得手段、処理手段として機能させるためのプログラムであるので、コンピュータが請求項7記載の発明に係るプログラムを実行することにより、コンピュータが請求項1に記載の画像処理装置として機能することになり、請求項1記載の発明と同様に、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【0028】
〔第1実施形態〕
図1には本第1実施形態に係る写真処理システム10が示されている。本第1実施形態に係る写真処理システム10には、写真プリント作成等の顧客からの写真処理依頼を受け付ける各地のDPE受付店12と、DPE受付店12を介して顧客から依頼された写真処理を行う複数の現像所14が関わっている。DPE受付店12には、DPE受付店12の店員が操作するためのコンピュータ20と、DPE受付店12に来店した顧客が操作するためのハイパーターミナル24が各々設置されている。コンピュータ20にはメディアドライブ22が接続されている。
【0029】
本実施形態において、顧客からの写真処理依頼には3種類の依頼形態がある。第1の依頼形態は、顧客が撮影専用に設計されたデジタルスチルカメラ、デジタルビデオカメラ、携帯電話機やPDA等の携帯機器に付属するデジタルスチルカメラ(以下、これらをDSCと総称し、一例として本発明が適用されたDSCを符号「60」を付して図1に示す)を用いて被写体を撮影することで、記録メディア58(例えばスマートメディア(R)やコンパクトフラッシュ(R)、メモリスティック(R)等:図1では一例としてスマートメディア(R)の外観を示す)に画像データが記録され(例えばEXIF形式やその他の形式の画像ファイルとして記録される)、この記録メディア58が持込まれることで写真処理が依頼される形態である。
【0030】
メディアドライブ22は各種の記録メディア58に対して情報の読み出し及び書込みを行う機能を有している。また、メディアドライブ22が接続されたコンピュータ20は、通信網50を介して現像所14(のコンピュータ34:後述)と接続されている。第1の依頼形態で写真処理が依頼された場合、DPE受付店12では、顧客によって持込まれた記録メディア58を受け取ることで写真処理依頼を受け付け、受け取った記録メディア58からメディアドライブ22によって撮影画像の画像データ(画像ファイル)を読み出し、読み出した画像データをコンピュータ20によって現像所14へ送信することで、顧客からの依頼を受け付けた写真処理の実施を現像所14に依頼する。
【0031】
また、第2の依頼形態では、顧客がDSCを用いて被写体を撮影することで得られた画像データ(例えばEXIF形式やその他の形式の画像ファイル)が、インターネット等のコンピュータ・ネットワークを介してDPE受付店12へ送信されることで写真処理が依頼される。コンピュータ20はインターネット等を介して情報を送受する機能を有しており、第2の依頼形態で写真処理が依頼された場合、DPE受付店12では、インターネット等を介して顧客から送信された撮影画像の画像データをコンピュータ20によって受信することで写真処理依頼を受け付け、受信した画像データをコンピュータ20によって現像所14へ送信することで、顧客から依頼された写真処理の実施を現像所14に依頼する。
【0032】
更に、第3の依頼形態では、顧客がカメラを用いて被写体を撮影することで画像が露光記録された写真フィルムがDPE受付店12に持込まれることで写真処理が依頼される。第3の依頼形態で写真処理が依頼された場合、DPE受付店12では、顧客によって持込まれた写真フィルムを受け取ることで写真処理依頼を受け付け、受け取った写真フィルムを現像所14へ送付することで、顧客から依頼された写真処理の実施を現像所14に依頼する。
【0033】
また、DPE受付店12に設置されたハイパーターミナル24はパーソナルコンピュータ(PC)から成り、CPU,ROM,RAM,入出力ポートがバスを介して互いに接続されて構成されており(図示省略)、入出力ポートには、ハードディスクドライブ(HDD:図示省略)、画像等を表示するためのディスプレイ26、キーボード28、マウス30及びメディアドライブ32が各々接続されている。メディアドライブ32は、メディアドライブ22と同様に、各種の記録メディア58に対して情報の読み出し及び書込みを行う機能を有している。また、ハイパーターミナル24も通信網50に接続されている。
【0034】
現像所14には、コンピュータ34、スキャナ36、画像処理装置38及び写真プリンタ/プロセッサ40が設置されている。なお、コンピュータ34及び画像処理装置38は本発明に係る画像処理装置に対応している。図示は省略するが、コンピュータ34はCPU,ROM,RAM,入出力ポートがバスを介して互いに接続され、各種の周辺機器が入出力ポートに接続されて構成されている。なお、入出力ポートに接続されている周辺機器としては、キーボード、ディスプレイ、マウス、ハードディスクドライブ(HDD)が挙げられる。コンピュータ34は、第1の依頼形態又は第2の依頼形態で写真処理が依頼された場合にDPE受付店12から送信された撮影画像の画像データを受信し、画像処理装置38へ出力する。
【0035】
また、スキャナ36には、第3の依頼形態で写真処理が依頼された場合にDPE受付店12から送付され、現像等の処理を経て露光記録された画像が可視化された写真フィルムがセットされる。スキャナ36はセットされた写真フィルムに記録されている画像(現像等の処理を経て可視化された画像)を読み取り、この読み取りによって得られた画像データを画像処理装置38へ出力する。
【0036】
画像処理装置38はスキャナ36又はコンピュータ34から入力された画像データに対して所定の画像処理を行い、写真プリンタ/プロセッサ40は、画像処理装置38による画像処理を経た画像データを用いて写真プリントの作成(記録すべき画像に応じて変調したレーザ光を印画紙上で走査させることによる印画紙への画像の露光記録や、画像を露光記録した印画紙の現像等)を行う。なお、コンピュータ34にはオペレータに画像を提示するためのディスプレイ66、オペレータが任意の情報を入力するためのキーボード62及びマウス64が接続されており、画像処理装置38で画像処理が行われる画像データは一旦コンピュータ34へ転送され、画像データに対する画像処理の種類及び処理条件はコンピュータ34によって決定される。
【0037】
また、コンピュータ34は通信網50に接続されており、DPE受付店12のハイパーターミナル24及びデータセンタ16のコンピュータ44(後述)と通信網50を介して通信可能とされている。また、コンピュータ34にはHDD等から成り赤目補正履歴情報(詳細は後述)を記憶するための記憶部42が接続されている。なお、記憶部42には、後述する赤目手動補正処理をコンピュータ34で実行するための赤目手動補正プログラムと、後述する赤目自動補正処理をコンピュータ34で実行するための赤目自動補正プログラムが記憶されている。なお、赤目自動補正プログラムは請求項7に記載のプログラムに対応している。
【0038】
次に本第1実施形態の作用を説明する。本第1実施形態において、画像処理装置38で実行される画像処理の中には、被写体としての人物の瞳に相当しかつ赤目や金目等の色調不良が生じている瞳領域(以下、赤目領域と称する)が存在している画像の画像データに対し、赤目領域の色調不良を補正する赤目補正処理が含まれている。
【0039】
この赤目補正処理の実行に伴い、記憶部42には赤目補正履歴情報が徐々に蓄積記憶され(詳細は後述)、赤目補正履歴情報の精度が一定レベルに達した以降は、記憶部42に蓄積記憶された赤目補正履歴情報に基づいて赤目補正処理が自動的に行われる(後述する赤目自動補正処理)が、記憶部42に蓄積記憶された赤目補正履歴情報の精度が一定レベルに達する迄の間は、赤目補正処理の処理条件の決定にオペレータが関与する赤目手動補正処理によって赤目補正が為される。以下、この赤目手動補正処理について、図2のフローチャートを参照して説明する。
【0040】
この赤目手動補正処理は、例えば顧客から赤目補正の実施を依頼された画像等が処理対象の画像として事前に選択された状態(これに代えて、ストロボを用いて撮影された画像を処理対象の画像として選択してもよい)で、オペレータによる赤目手動補正の実行指示に従い、コンピュータ34のCPUで赤目手動補正プログラムが実行されることにより実現される。
【0041】
ステップ100では、処理対象として事前に選択された全ての画像に対して処理を行ったか否か、及び、オペレータから処理の終了が指示されたか否かを判断することで、赤目手動補正処理を終了するか否か判定する。ステップ100の判定が否定された場合にはステップ102へ移行し、処理対象の画像の中から処理未実行の単一の画像の画像データを取り込み、取り込んだ画像データが表す画像をディスプレイ66に表示させる。
【0042】
ステップ104ではディスプレイ66に表示している画像の切り替えが指示されたか否か判定する。ステップ104の判定が否定された場合にはステップ108へ移行し、ディスプレイ66に表示している画像が赤目補正対象の画像として選択されたか否か判定する。ステップ108の判定も否定された場合にはステップ104に戻り、何れかの判定が肯定される迄ステップ104,108を繰り返す。
【0043】
ディスプレイ66に画像が表示されると、オペレータは表示された画像を目視し、表示された画像に赤目領域が存在しているか否かを検定する。なお、この検定は、請求項5に記載の「色調不良が生じている瞳領域の有無の判断」にオペレータが関与することに相当している。赤目領域が存在していなかった場合、オペレータはキーボード62又はマウス64を操作することで、ディスプレイ66に表示されている画像の表示の切り替えを指示する。これにより、ステップ104の判定が肯定されてステップ106へ移行し、処理対象の画像の中から処理未実行の別の画像の画像データを取り込んでディスプレイ66に画像として表示させることで、ディスプレイ66に表示している画像を切り替え、ステップ104に戻る。
【0044】
また、ディスプレイ66に表示された画像に赤目領域が存在していた場合、オペレータはキーボード62又はマウス64を操作することで、ディスプレイ66に表示されている画像を赤目補正対象の画像として選択することを指示する。これにより、ステップ108の判定が肯定されてステップ110へ移行し、例として図3に示すような赤目手動補正画面80をディスプレイ66に表示させる。
【0045】
この赤目手動補正画面80には、赤目補正対象の画像を表示するための表示領域80A、赤目補正後の画像を表示するための表示領域80Bが設けられており、選択された赤目補正対象の画像は表示領域80Aに表示される。また、赤目手動補正画面80には赤目補正の処理モードを選択するための複数のボタン80C、赤目補正の補正レベルを調整するためのスライドバー80D、領域ズームを指示するためのボタン80E、ズームインを指示するためのボタン80F、テスト及び処理の確定を指示するためのボタン80G等が設けられている。
【0046】
なお、本実施形態では赤目手動補正処理における赤目補正の処理モードとして、被写体としての人物の両眼部に生じている色調不良を自動的に補正する「両眼半自動モード」、片方の眼部に生じている色調不良を自動的に補正する「単眼半自動モード」、オペレータが色調不良を手動で補正するための「手動モード」が各々用意されており、赤目手動補正画面80には各処理モードに対応するボタン80Cが各々設けられている。
【0047】
表示領域80A内に赤目補正対象の画像が表示されると、オペレータは、表示された赤目補正対象の画像を目視し、赤目補正対象の画像に適した処理モードを判断し、判断した処理モードに対応するボタン80Cをマウス64を操作してクリックすることで、赤目補正対象の画像の赤目補正に適した処理モードの選択を行う。また、処理モードとして「両眼半自動モード」又は「単眼半自動モード」を選択した場合、更にオペレータは、赤目補正対象の画像に適した補正レベルも判断し、判断した補正レベルに応じてマウス64を介してスライドバー80Dを操作する(なお、この操作は請求項5に記載の「瞳領域の色調不良を補正するための補正パラメータの決定」にオペレータが関与することに相当している)ことで、赤目補正対象の画像の赤目補正に適した補正レベルの調整も行う。
【0048】
次のステップ112〜122ではオペレータによる指示を判定する。すなわち、ステップ112ではオペレータからズームインが指示されたか否か判定する。判定が否定された場合にはステップ114へ移行し、オペレータから赤目領域が指示されたか否か判定する。判定が否定された場合にはステップ116へ移行し、オペレータから赤目領域のズームが指示されたか否か判定する。この判定も否定された場合にはステップ118へ移行し、オペレータからテストが指示されたか否か判定する。この判定も否定された場合にはステップ120へ移行し、オペレータによって手動補正が行われるか否か判定する。ステップ120の判定も否定された場合にはステップ122へ移行し、処理の確定が指示されたか否か判定する。ステップ122の判定も否定された場合にはステップ112に戻り、何れかの判定が肯定されるまでステップ112〜122を繰り返す。
【0049】
赤目を手動で補正するにあたり、まずオペレータはマウス64を操作してボタン80Fをクリックすることでズームイン(赤目補正対象の画像中の両眼部付近の拡大表示)を指示する。これにより、ステップ112の判定が肯定されてステップ124へ移行し、赤目補正対象の画像のうち両眼部に相当する領域を推定し、推定した領域及びその付近の領域を表示領域80Aの全面に拡大表示させた後にステップ112へ戻る。
【0050】
赤目補正対象の画像の両眼部付近が拡大表示されると、オペレータは、赤目補正対象の画像中の赤目領域をコンピュータ34に認識させるために、マウス64を操作して赤目領域を指示する。この赤目領域の指示方法は赤目補正の処理モードによって相違しており、「両眼半自動モード」においては、例として図4(A)に示すように、表示領域80Aに表示されている画像(両眼部付近の拡大画像)のうち両眼の瞳領域の中心部同士を結ぶ直線を、表示されている画像上に描画することによって赤目領域が指示される。また、「単眼半自動モード」及び「手動モード」においては、例として図4(B)に示すように、表示されている画像のうち赤目領域を含む片方の眼部領域を囲む矩形を表示されている画像上に描画させることによって赤目領域が指示される。オペレータによって上記の指示が為されると、ステップ114の判定が肯定されてステップ126へ移行し、表示領域80Aに表示している画像上にオペレータによる指示に応じて線又は矩形の図形を描画し、ステップ112に戻る。
【0051】
表示領域80Aに表示されている画像上に、指示通りに線又は図形が描画されたことを確認すると、オペレータは、マウス64を操作してボタン80Eをクリックすることで、指示した領域の領域ズームを指示する。これにより、ステップ116の判定が肯定されてステップ128へ移行し、オペレータによって指示された領域(赤目領域及びその付近の領域)を表示領域80A内に拡大表示させ、ステップ112に戻る。
【0052】
赤目領域及びその付近の領域が表示領域80A内に拡大表示されると、オペレータは、先に選択した赤目補正の処理モードが「両眼半自動モード」又は「単眼半自動モード」である場合には、赤目補正(テスト)の実行を指示するために、マウス64を操作してボタン80Gをクリックする。これにより、ステップ118の判定が肯定されてステップ130へ移行し、オペレータによる指示に応じて描画した線又は図形の位置等に基づいて認識した赤目領域に対し、事前に指定された補正レベルに応じて色調不良を自動的に補正する赤目補正を実行する。なお、この赤目補正には、公知の様々な処理方法の何れを適用してもよく、例えば特開2001−186325号公報に記載の処理手法を適用してもよい。赤目補正を完了するステップ132へ移行し、赤目補正後の画像を表示領域80Bに表示すると共に、赤目補正前の画像を表示領域80Aに表示した後にステップ112に戻る。
【0053】
一方、赤目補正の処理モードとして「手動モード」が選択されていた場合、赤目領域及びその付近の領域が表示領域80A内に拡大表示されると、オペレータはキーボード62やマウス64を介し、手動により赤目領域の色調不良を補正する操作を行う。この操作は、例えば複数の色見本が一覧表示されたパレットから所望の色を選択するか、又は赤目補正対象の画像内から所望の色を選択することで、赤目領域に上塗りすべき色を決定し、赤目領域のうち決定した色を上塗りすべき範囲を指定し、指定した範囲内におけるキャッチライト(外からの光を反射することで光って見える部分)の位置を設定した後に、赤目補正(テスト)の実行を指示するために、マウス64を操作してボタン80Gをクリックすることによって為される。
【0054】
上記の操作が行われると、ステップ120の判定が肯定されてステップ134へ移行し、オペレータからの指示に基づき、オペレータから指定された上塗り範囲に、オペレータから指定された色を上塗りし、オペレータによって設定された位置にキャッチライトに相当する輝度変化を生じさせる赤目補正を行い、赤目補正後の画像を表示領域80Bに表示すると共に、赤目補正前の画像を表示領域80Aに表示した後にステップ112に戻る。
【0055】
表示領域80Bに赤目補正後の画像が表示されると、オペレータは表示領域80Bに表示された画像を目視して赤目補正の結果を検定する。そして、赤目補正の結果が不適正と判断した場合には、処理条件を変更する操作(例えば「両眼半自動モード」又は「単眼半自動モード」であれば補正レベルの調整、「手動モード」であれば色・上塗り範囲・キャッチライトの位置の少なくとも1つの変更)を行って赤目補正を再実行させる。また、赤目が適正に補正されていると判断した場合、オペレータはマウス64を操作し、ボタン80Gをクリックすることで赤目補正対象の画像に対する赤目補正の条件の確定を指示する。
【0056】
これにより、ステップ122の判定が肯定されてステップ136へ移行し、処理条件が確定した赤目補正を画像処理装置38によって再度行わせるための処理条件情報を生成し、生成した処理条件情報を赤目補正対象の画像を識別するための情報と対応付けて画像処理装置38へ転送する。画像処理装置38では、コンピュータ24から転送された処理条件情報に基づき、処理対象の画像に対して赤目補正処理を実行する必要があることを認識し、処理対象の画像に対して画像処理を実行する際に、転送された処理条件情報が規定する処理条件で赤目補正処理を行う。これにより、赤目補正対象の画像の画像データから、赤目(瞳領域の色調不良)が補正された写真プリントが作成されることになる。
【0057】
また次のステップ138では、赤目補正対象の画像が撮影された際に用いられたカメラの機種及び撮影時のストロボ使用の有無を認識する。例えば顧客から第1の依頼形態又は第2の依頼形態で写真処理の依頼を受け付けた場合、撮影画像は画像ファイルとして顧客から引き渡されることになるが、この画像ファイルには、個々の撮影画像毎に、撮影に使用したDSCの機種等の属性情報が付加されているので、カメラの機種の認識はこの属性情報を参照することで実現できる。
【0058】
また、顧客から第3の依頼形態で写真処理の依頼を受け付けた場合にも、写真フィルムがAPSフィルムであればAPSフィルムの磁気層に各種情報が記録されるので、磁気層に記録された情報を読み取ることで、撮影に用いたカメラの機種を認識できる。また、銀塩フィルムカメラのうち、高機能の一眼レフタイプのカメラの中には、内蔵メモリに各種情報を記録する機能を搭載しているものも存在している。この種のカメラは、写真フィルムの撮影画像領域外に光学的に書き込んだIDにより、内蔵メモリに記録した撮影情報と撮影画像(写真フィルム)とを対応付ける構成を採用しており、この種のカメラを用いて撮影された画像についても、内蔵メモリに記録された情報を利用することで、撮影に用いたカメラの機種を認識可能である。
【0059】
ところで、本第1実施形態に係る記憶部42には、例として次の表1に示すように、赤目補正履歴情報として、赤目補正における各処理モード毎の選択回数及び両眼半自動モード及び単眼半自動モードでの補正レベルの各レベル毎の選択回数を、撮影に用いたカメラの機種毎に記憶するための領域が設けられている。このように、記憶部42は本発明に係る記憶手段に相当している。なお、表1では補正レベルを3段階に分け、各段階毎の選択回数を計数する例を示しているが、補正レベルの分割数は表1の例に限られるものではなく、例えばより細かく分割するようにしてもよい。
【0060】
【表1】
【0061】
次のステップ140では、処理条件が確定した赤目補正対象の画像に対する赤目補正の処理モード(及び、両眼半自動モード及び単眼半自動モードにおける補正レベル)に応じて、ステップ138で認識した機種に対応する赤目補正履歴情報を更新し、ステップ100に戻る。赤目手動補正処理はステップ100の判定が肯定される迄繰り返されるので、特定の画像が赤目補正の実行対象として選択される毎に、該画像に対してオペレータによって選択されて確定した処理モード及び補正レベルに応じて、前記画像の撮影に用いたカメラの機種に対応する「処理モード選択回数」(及び「補正レベル」)が適宜更新されることになる。
【0062】
なお、表1からも明らかなように、赤目補正履歴情報には、カメラの各機種毎に、画像処理装置38で処理される画像の総数である「全画像数」、画像処理装置38で処理される全画像のうちストロボを用いて撮影された画像の総数である「ストロボ使用数」、ストロボを用いて撮影された画像に占める赤目補正が行われる画像の割合に相当する「赤目発生率」を記憶するための領域も設けられている。
【0063】
このうち「全画像数」及び「ストロボ使用数」については、上述した赤目手動補正処理とは別に、画像処理装置38で処理される各画像に対する赤目補正以外の画像処理の処理条件を決定する処理において適宜更新される。なお撮影時のストロボ使用の有無についても、先に説明した画像ファイルに付加されている属性情報等を参照することで判断することができる。また、「赤目発生率」については、赤目手動補正処理(図2)において赤目補正履歴情報の「処理モード選択回数」(及び「補正レベル」)を更新する際(ステップ140を実行する際)に併せて更新するようにしてもよいし、赤目履歴情報の「全画像数」及び「ストロボ使用数」を更新する際に併せて更新するようにしてもよい。
【0064】
赤目補正履歴情報の各項目が上記のようにして適宜更新されることにより、画像処理装置38で多数の画像が処理されると共に、瞳領域に色調不良が生じている画像に対しては赤目補正の処理条件が決定されて赤目処理が行われることで、赤目補正履歴情報の「赤目発生率」が、カメラの機種毎に相違する瞳領域の色調不良の発生度合いを正確に反映した値になり、赤目補正履歴情報の「処理モード選択回数」及び「補正レベル」も、カメラの機種毎に相違する赤目補正における適正な処理パラメータを反映したデータとなる。
【0065】
なお、赤目補正の処理モードとして「手動モード」が選択された場合には、先に説明したステップ130の自動補正は行われずオペレータによる補正レベルの調整も行われないため、赤目補正履歴情報の「補正レベル」は更新されないが、「処理モード選択回数」の更新は行われ、この更新に伴って「赤目発生率」も更新されるので、「赤目発生率」の精度向上には寄与する。
【0066】
このため、本実施形態では、赤目補正履歴情報の精度が一定レベルに達した以降は、先に説明した赤目手動補正処理に代えて、図5に示す赤目自動補正処理が行われる。なお、赤目補正履歴情報の精度が一定レベルに達したか否かは、例えば赤目補正履歴情報の「全画像数」又は赤目補正を行った画像の総数(「処理モード選択回数」における各処理モード毎の画像数の合計)が所定値以上になったか否かに基づいて判断するようにしてもよいし、オペレータが判断するようにしてもよい。
【0067】
先に説明した赤目手動補正処理では、顧客から赤目補正の実施を依頼された画像を処理対象の画像としていたが、赤目自動補正処理では、画像処理装置38で画像処理が行われる全ての画像を処理対象としており、ステップ150では、処理対象の画像群の中から単一の画像を処理対象として選択する。ステップ152では、処理対象として選択した画像の画像ファイルの属性情報等を参照することにより、処理対象の画像がストロボを用いて撮影された画像か否か判定する。
【0068】
判定が否定された場合にはステップ150に戻り、他の画像を処理対象として選択するが、ステップ152の判定が肯定された場合にはステップ154へ移行し、処理対象の画像の画像ファイルの属性情報等を参照することで、処理対象の画像の撮影に用いられたカメラの機種を認識する。なお、ステップ154は本発明に係る検知手段に対応している。ステップ156では、記憶部42に記憶されている赤目補正履歴情報のうち、ステップ154で認識した機種に対応する赤目補正履歴情報の「赤目発生率」を参照し(この処理は本発明に係る取得手段に対応している)、当該機種のカメラによりストロボを用いて撮影された画像における赤目発生確率(「赤目発生率」)が所定値以上か否か判定する。判定が否定された場合には、処理対象の画像に瞳領域の色調不良が生じている可能性は低いと判断できるので、何ら処理を行うことなくステップ150に戻る。
【0069】
一方、例えば表1に示した赤目発生確率=90%のように、赤目発生確率が所定値以上であったためにステップ156の判定が肯定された場合には、処理対象の画像を赤目補正対象の画像とし、ステップ158以降の処理を行う。なお、ステップ158以降の処理は、実際に赤目補正処理を行う画像処理装置38と共に、本発明に係る処理手段に対応している。
【0070】
すなわち、ステップ158では、先のステップ154で認識した機種に対応する赤目補正履歴情報の「補正レベル」に基づき、赤目自動補正における補正レベルを決定する。赤目自動補正における補正レベルとしては、例えば赤目補正履歴情報の「補正レベル」における各レベル毎の選択回数を重みとして用いた各レベルの加重平均値を用いることができる。例として先の表1の例では「レベル15」が2回、「レベル20」が3回、「レベル45」が10回選択されているので、以下の演算式に従い、
(15×2+20×3+45×10)÷18=30
補正レベルの初期値を「30」とすることができる。上記のように、赤目補正履歴情報を利用して補正レベルを決定することで、撮影に用いられたカメラの機種に応じた適正な補正レベルを得ることができる。
【0071】
次のステップ160では、赤目補正対象の画像からの赤目領域の自動抽出を行う。なお、赤目領域を自動抽出するためのアルゴリズムとしては種々のアルゴリズムが存在しているが、本実施形態に係る赤目自動補正処理では、撮影に用いられたカメラの機種、及びストロボを用いて撮影されたか否かに基づいて、赤目補正対象の画像の数を絞り込んでいるので、上記のアルゴリズムとして、処理に比較的時間がかかる代わりに赤目領域の抽出精度の高いアルゴリズムを適用することができる。
【0072】
ステップ162では、ステップ160の処理によって抽出された赤目領域に対する、ステップ158で決定した補正レベルでの赤目補正を画像処理装置38によって行わせるための処理条件情報を生成し、生成した処理条件情報を赤目補正対象の画像を識別するための情報と対応付けて画像処理装置38へ転送する。これにより、画像処理装置38において、赤目補正対象の画像に対し、転送された処理条件情報が規定する処理条件で赤目補正処理が実行されることになる。
【0073】
ステップ164では、赤目補正対象の画像に対する処理条件に応じて、ステップ154で認識した機種に対応する赤目補正履歴情報を更新する。次のステップ166では、処理対象の全ての画像に対してステップ150の処理を行ったか否か判定する。判定が否定された場合にはステップ150に戻り、処理対象の全ての画像(画像処理装置38で画像処理が行われる全ての画像)に対してステップ150以降の処理を繰り返す。そして、ステップ166の判定が肯定されると赤目自動補正処理を終了する。
【0074】
上述した赤目自動補正処理により、顧客から赤目補正の実施を依頼された画像のみならず、画像処理装置38で画像処理が行われる画像のうち、瞳領域の色調不良が生じている可能性が高いと推定される画像(赤目発生確率が所定値以上の画像)に対して赤目補正処理を自動的に行うことを、写真処理システム10の処理能力の低下を招くことなく実現することができる。また、オペレータの負担も軽減することができる。
【0075】
〔第2実施形態〕
次に本発明の第2実施形態を説明する。なお、第1実施形態と同一の部分には同一の符号を付し、説明を省略する。図6に示すように、本第2実施形態に係る写真処理システム70では、写真処理に関連する各種の情報を集中的に管理するデータセンタ16及び顧客が撮影に使用するカメラを製造する複数のカメラメーカ18も通信網50を介して接続されている。
【0076】
データセンタ16には、コンピュータ44と、HDD等から成る大容量の記憶装置46が設置されている。コンピュータ44は通信網50に接続されており、複数の現像所14に設置されたコンピュータ34や複数のカメラメーカ18が各々所持しているコンピュータ52と通信網50を介して通信可能とされている。また、記憶装置46には写真処理に関連する各種の情報を記憶するための写真関連情報DB(データベース)48が設けられている。記憶装置46はコンピュータ44に接続されており、写真関連情報DB48に対する情報の書き込み及び読み出しはコンピュータ44によって行われる。
【0077】
以下、本第2実施形態の作用を説明する。先に説明した第1実施形態では、個々の現像所14のコンピュータ34により、赤目補正履歴情報が個々の現像所14の記憶部42に記憶されるようになっていたが、本第2実施形態に係る写真処理システム70では、赤目補正履歴情報はデータセンタ16によって管理され(写真関連情報DB48に記憶され)、通信網50に接続された個々の現像所14のコンピュータ34に利用されるようになっている。
【0078】
すなわち、個々の現像所14のコンピュータ34は、赤目補正履歴情報を更新すべき事象(例えば赤目手動補正処理又は赤目自動補正処理により赤目補正対象の画像に対する赤目補正の処理条件を決定した、或いは画像処理装置38で処理される画像のうちストロボを用いて撮影された画像の数(積算値)が所定値変化した等)が発生する毎に、赤目補正履歴情報のうち対応するデータ項目の更新を依頼する情報をデータセンタ16のコンピュータ44へ送信し、コンピュータ44はコンピュータ34から受信した依頼に応じて、写真関連情報DB48に記憶されている赤目補正履歴情報を更新する。
【0079】
このように、写真関連情報DB48に記憶されている赤目補正履歴情報は、コンピュータ34が通信網50に接続されている複数の現像所14における赤目補正の結果に応じて更新されることになるので、単位期間当りに赤目補正履歴情報として記憶される情報量が増大し、写真関連情報DB48に記憶されている赤目補正履歴情報が短期間で十分な精度に達することになる。なお、写真関連情報DB48(赤目補正履歴情報)を記憶する記憶装置46は、本発明に係る記憶手段(詳しくは請求項6に記載の記憶手段)に対応している。
【0080】
また、個々の現像所14のコンピュータ34は、赤目自動補正処理を行うに際して写真関連情報DB48に記憶されている赤目補正履歴情報を参照するが、前述のように、本第2実施形態では赤目補正履歴情報が短期間で十分な精度に達するので、個々の現像所14における赤目手動補正処理から赤目自動補正処理への移行を早期に行うことができる。従って、個々の現像所14におけるオペレータの負担を更に軽減することができる。
【0081】
また、赤目補正履歴情報を参照すれば赤目の発生し易いカメラを機種毎に判別可能であるが、本第2実施形態では、赤目補正履歴情報を管理するデータセンタ16のコンピュータ44が通信網50を介して各カメラメーカ18のコンピュータ52と接続されているので、例えばデータセンタ16のコンピュータ44が赤目補正履歴情報を参照し、赤目発生確率が所定値以上となっているカメラを製造しているカメラメーカ18のコンピュータ52に対し、例えば「貴社のカメラ□□□は赤目が出やすい傾向があります」等のアドバイス情報を送信することも可能となる。これにより、カメラメーカ18において、受信したアドバイス情報に基づき、赤目が出やすいとの指摘を受けた機種のカメラを改良したり、次機種のカメラの設計に役立てることも可能となる。
【0082】
なお、上記では赤目自動補正処理(図5)として、赤目補正を完全に自動的に行う処理(オペレータの関与が不要)を説明したが、これに限定されるものではなく、例えば補正パラメータの初期値を演算し、演算した補正パラメータにより赤目補正を行った場合の画像をオペレータに提示し、オペレータの指示が有れば補正パラメータ等の処理条件を修正する等のように、赤目補正の最終的な処理条件の適否をオペレータの判断に委ねるようにしてもよい。
【0083】
また、上記では本発明に係る画像処理装置として、現像所14に設置されたコンピュータ34及び画像処理装置38を例に説明したが、これに限定されるものではなく、例えば本発明に係る画像処理装置としての機能を撮影装置に搭載することで、該撮影装置を本発明に係る画像処理装置として機能させることも可能である。
【0084】
【発明の効果】
以上説明したように本発明に係る画像処理装置は、処理対象の画像の撮影に用いられた撮影装置の機種を検知し、撮影装置を用いて撮影された多数の画像のうち被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して瞳領域の色調不良が補正されることで得られた、前記瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、検知した機種に対応する情報を取得し、取得した情報に基づき処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる、という優れた効果を有する。
【0085】
本発明に係る画像処理方法は、撮影装置を用いて撮影された多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、処理対象の画像の撮影に用いられた撮影装置の機種を検知し、記憶手段に記憶されている情報のうち検知した機種に対応する情報を取得し、取得した情報に基づき処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行うので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる、という優れた効果を有する。
【0086】
本発明に係るプログラムは、コンピュータを、処理対象の画像の撮影に用いられた撮影装置の機種を検知する検知手段、撮影装置を用いて撮影された多数の画像のうち被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、検知された撮影装置の機種に対応する情報を取得する取得手段、及び、取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段として機能させるためのプログラムであるので、瞳領域の色調不良の補正を高速かつ自動的に行うことが可能となる、という優れた効果を有する。
【図面の簡単な説明】
【図1】第1実施形態に係る写真処理システムの概略構成を示すブロック図である。
【図2】赤目手動補正処理の内容を示すフローチャートである。
【図3】赤目手動補正画面の一例を示すイメージ図である。
【図4】赤目手動補正処理の各処理モードにおける眼部領域の指定方法を示すイメージ図である。
【図5】赤目自動補正処理の内容を示すフローチャートである。
【図6】第2実施形態に係る写真処理システムの概略構成を示すブロック図である。
【符号の説明】
10 写真処理システム
14 現像所
16 データセンタ
34 コンピュータ
36 スキャナ
38 画像処理装置
42 記憶部
46 記憶装置
48 写真関連情報DB
50 通信網
70 写真処理システム
80 赤目手動補正画面
Claims (7)
- 撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知する検知手段と、
撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、前記検知手段によって検知された撮影装置の機種に対応する情報を取得する取得手段と、
前記取得手段によって取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段と、
を含む画像処理装置。 - 前記記憶手段には、前記色調不良が生じている瞳領域が存在している画像に対し、前記瞳領域の色調不良を補正するために決定された補正パラメータを表す情報も撮影装置の機種毎に記憶されており、
前記処理手段は、前記取得手段によって取得された前記補正パラメータを表す情報に基づいて、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを決定する
ことを特徴とする請求項1記載の画像処理装置。 - 撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良を補正することで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶手段に記憶しておき、
撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知し、
前記記憶手段に記憶されている情報のうち、前記検知した撮影装置の機種に対応する情報を取得し、
前記記憶手段から取得した情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う
画像処理方法。 - 前記多数の画像のうち、前記色調不良が生じている瞳領域が存在している画像に対する補正パラメータを決定し、決定した補正パラメータを用いて瞳領域の色調不良を補正すると共に、決定した補正パラメータを表す情報も撮影装置の機種毎に記憶手段に記憶しておき、
前記記憶手段から取得した前記補正パラメータを表す情報に基づいて、処理対象の画像から抽出された瞳領域の色調不良の補正に適用する補正パラメータを決定する
ことを特徴とする請求項3記載の画像処理方法。 - 前記多数の画像のうち前記色調不良が生じている瞳領域が存在している画像に対する前記瞳領域の色調不良の補正において、前記色調不良が生じている瞳領域の有無の判断及び前記瞳領域の色調不良を補正するための補正パラメータの決定の少なくとも一方が、オペレータが関与することで為されることを特徴とする請求項3又は請求項4記載の画像処理方法。
- 前記記憶手段は、通信回線を介して複数台の画像処理装置と接続されており、色調不良が生じている瞳領域が存在している画像に対する前記瞳領域の色調不良の補正が前記複数台の画像処理装置で各々行われることで得られた情報が各々記憶されることを特徴とする請求項3又は請求項4記載の画像処理方法。
- コンピュータを、
撮影装置を用いて被写体が撮影されることで得られた処理対象の画像における前記撮影装置の機種を検知する検知手段、
撮影装置を用いて被写体が撮影されることで得られた多数の画像のうち、被写体としての人物の瞳に相当しかつ色調不良が生じている瞳領域が存在している画像に対して前記瞳領域の色調不良が補正されることで得られた、前記色調不良が生じている瞳領域の出現度合いを表す情報を撮影装置の機種毎に記憶する記憶手段から、前記検知手段によって検知された撮影装置の機種に対応する情報を取得する取得手段、
及び、前記取得手段によって取得された情報に基づき、処理対象の画像に色調不良が生じている瞳領域が存在している確率が所定値以上と判断した場合に、処理対象の画像に対し、色調不良が生じている瞳領域の探索及び該探索によって抽出された瞳領域の色調不良を補正する処理を行う処理手段
として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003040888A JP2004253970A (ja) | 2003-02-19 | 2003-02-19 | 画像処理装置、方法及びプログラム |
| US10/735,924 US20040160517A1 (en) | 2003-02-19 | 2003-12-16 | Image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003040888A JP2004253970A (ja) | 2003-02-19 | 2003-02-19 | 画像処理装置、方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004253970A true JP2004253970A (ja) | 2004-09-09 |
Family
ID=32844509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003040888A Pending JP2004253970A (ja) | 2003-02-19 | 2003-02-19 | 画像処理装置、方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040160517A1 (ja) |
| JP (1) | JP2004253970A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014136530A1 (en) * | 2013-03-05 | 2014-09-12 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, and image processing method |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
| US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
| US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
| US7689009B2 (en) | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
| US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
| US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
| US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
| US7536036B2 (en) | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7587085B2 (en) | 2004-10-28 | 2009-09-08 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
| US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
| EP1499111B1 (en) * | 2003-07-15 | 2015-01-07 | Canon Kabushiki Kaisha | Image sensiting apparatus, image processing apparatus, and control method thereof |
| US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
| US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
| JP2005310124A (ja) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | 赤目検出装置、プログラムおよびプログラムを記録した記録媒体 |
| US7483068B2 (en) * | 2004-12-10 | 2009-01-27 | Arcsoft, Inc. | Red eye removal user interface for a portable device |
| KR100727935B1 (ko) * | 2005-05-24 | 2007-06-14 | 삼성전자주식회사 | 이미지 보정 방법 및 장치 |
| US7620215B2 (en) * | 2005-09-15 | 2009-11-17 | Microsoft Corporation | Applying localized image effects of varying intensity |
| US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
| EP1987475A4 (en) | 2006-02-14 | 2009-04-22 | Fotonation Vision Ltd | AUTOMATIC DETECTION AND CORRECTION OF RED EYE FLASH DEFECTS |
| ATE497218T1 (de) | 2006-06-12 | 2011-02-15 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| WO2008109708A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Red eye false positive filtering using face location and orientation |
| US7970181B1 (en) * | 2007-08-10 | 2011-06-28 | Adobe Systems Incorporated | Methods and systems for example-based image correction |
| US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
| US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
| US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
| CN112581539B (zh) * | 2020-12-15 | 2023-07-18 | 合肥泰禾智能科技集团股份有限公司 | 一种灰度调节方法、装置、色选机及计算机可读存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6285410B1 (en) * | 1998-09-11 | 2001-09-04 | Mgi Software Corporation | Method and system for removal of flash artifacts from digital images |
| US6628899B1 (en) * | 1999-10-08 | 2003-09-30 | Fuji Photo Film Co., Ltd. | Image photographing system, image processing system, and image providing system connecting them, as well as photographing camera, image editing apparatus, image order sheet for each object and method of ordering images for each object |
| US7289664B2 (en) * | 2002-01-17 | 2007-10-30 | Fujifilm Corporation | Method of detecting and correcting the red eye |
-
2003
- 2003-02-19 JP JP2003040888A patent/JP2004253970A/ja active Pending
- 2003-12-16 US US10/735,924 patent/US20040160517A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014136530A1 (en) * | 2013-03-05 | 2014-09-12 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, and image processing method |
| JP2014171153A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040160517A1 (en) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004253970A (ja) | 画像処理装置、方法及びプログラム | |
| US7639877B2 (en) | Apparatus and program for selecting photographic images | |
| US8081227B1 (en) | Image quality visual indicator | |
| US20030161506A1 (en) | Face detection computer program product for redeye correction | |
| WO2020038109A1 (zh) | 拍照方法、装置、终端及计算机可读存储介质 | |
| US8737695B2 (en) | Photography auto-triage | |
| JP2003046844A (ja) | 強調表示方法、カメラおよび焦点強調表示システム | |
| US20040218055A1 (en) | Camera shake warning and feedback system that teaches the photographer | |
| US20040141657A1 (en) | Image processing to remove red-eye features | |
| JP2004350130A (ja) | デジタルカメラ | |
| WO2012176384A1 (ja) | 表示プログラムおよび表示装置 | |
| JP2005309409A (ja) | 赤目防止装置、プログラムおよびプログラムを記録した記録媒体 | |
| CN111896233B (zh) | 对比度测试方法、对比度测试设备及存储介质 | |
| JPH09200508A (ja) | 画像処理装置 | |
| US20210027451A1 (en) | Photography session assistant | |
| JP2003087442A (ja) | 画像評価方法および装置並びにプログラム | |
| JP2007184888A (ja) | 撮像装置、画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2004054201A (ja) | 撮影装置の制御装置、撮影装置及びプログラム | |
| KR20070114625A (ko) | 고급 인쇄를 위한 디지털이미지의 분류 방법 | |
| JP2008035246A (ja) | 構図評価装置、構図調整装置、画像撮影装置、構図評価プログラム、構図調整プログラム、画像撮影プログラム、構図評価方法、構図調整方法及び画像撮影方法 | |
| JP4370146B2 (ja) | 画像処理プログラム、画像処理方法及び記録媒体 | |
| JP2005286379A (ja) | 撮影補助システム及び撮影補助方法 | |
| WO2019065582A1 (ja) | 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム | |
| JP4263017B2 (ja) | アドバイス装置及びプログラム | |
| JP4357232B2 (ja) | アドバイス装置及びプログラム |
