[go: up one dir, main page]

JP3983469B2 - 画像処理装置、方法及び記録媒体 - Google Patents

画像処理装置、方法及び記録媒体 Download PDF

Info

Publication number
JP3983469B2
JP3983469B2 JP2000347177A JP2000347177A JP3983469B2 JP 3983469 B2 JP3983469 B2 JP 3983469B2 JP 2000347177 A JP2000347177 A JP 2000347177A JP 2000347177 A JP2000347177 A JP 2000347177A JP 3983469 B2 JP3983469 B2 JP 3983469B2
Authority
JP
Japan
Prior art keywords
area
trimming
image
face
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000347177A
Other languages
English (en)
Other versions
JP2002152492A (ja
Inventor
ゆかり 桜本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000347177A priority Critical patent/JP3983469B2/ja
Priority to DE60135428T priority patent/DE60135428D1/de
Priority to EP01126880A priority patent/EP1206118B1/en
Priority to US09/987,127 priority patent/US7072526B2/en
Publication of JP2002152492A publication Critical patent/JP2002152492A/ja
Application granted granted Critical
Publication of JP3983469B2 publication Critical patent/JP3983469B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Projection-Type Copiers In General (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理装置、方法及び記録媒体に係り、特に、原画像中の人物の顔に相当する顔領域が適切なサイズ比で適切な位置に位置するようにトリミング領域を設定する画像処理装置、該画像処理装置に適用可能な画像処理方法、及びコンピュータを前記画像処理装置として機能させるためのプログラムが記録された記録媒体に関する。
【0002】
【従来の技術】
現在、例えばパスポートや免許証等の交付申請、或いは履歴書の作成等のように、本人の顔等が写っている予め定められたサイズの写真(証明写真)の添付又は提出が求められる機会は多い。このため、利用者の撮影を行うための撮影室が設けられ、撮影室内の椅子に着座した利用者を撮影し、利用者の証明写真用の画像を単一のシートに複数記録した証明写真シートを作成することを自動的に行う証明写真の自動作成装置が従来より利用されている。
【0003】
また、証明写真のサイズは、例えばパスポート用であれば35mm×45mm、一般用であれば30mm×40mm等のように、証明写真の使用目的によって異なっているので、特開平9−27897号公報には、上記装置において、証明写真シートから目的のサイズの証明写真を切り出すことを容易に行えるようにするため、証明写真シートにカットマークを記録することが提案されている。しかし、証明写真の自動作成装置は、上記公報の図1からも明らかなように非常に大型で設置場所が限られるという欠点があり、利用者が証明写真を取得するためには、証明写真の自動作成装置が設置されている箇所を利用者が探し、探し出した設置箇所へ利用者が出向く必要があり、利用者の負担が大きいという問題がある。
【0004】
また近年、写真フィルムに記録されているフィルム画像を読み取ることによって得られた画像データや、デジタルカメラ等から入力された画像データに対し、各種の画像処理を行った後に、印画紙等の記録材料に画像を記録したり、その他の出力形態(例えばスマートメディア等の情報記録媒体に画像データを格納する等)で画像を出力可能な画像処理システムも一般的となってきている。
【0005】
この種の画像処理システムに適用可能な技術として、特開平11−341272号公報には、証明写真の作成に用いる画像(人の顔が写された画像)が表示装置に表示されている状態で、表示されている画像中の顔の2つの位置(頭の頂点位置と顎の先端位置)を指示すると、コンピュータが、指示された2つの位置に基づいて顔の拡大縮小率、顔の位置を求めて画像を拡大縮小し、拡大縮小した画像中の顔が証明写真の画面における所定位置に配置されるように拡大縮小した画像をトリミングし、証明写真の画像を形成する、という一連の処理を自動的に行うことが提案されている。
【0006】
上記技術によれば、利用者は、証明写真の自動作成装置よりも多数存在しているDPE店等に証明写真の作成を依頼することができると共に、手持ちの写真のうち、写りが良い等のように気に入った写真が記録されている写真フィルム又は情報記録媒体をDPE店等に持ち込むことで、気に入った写真から証明写真を作成させることも可能となる。
【0007】
【発明が解決しようとする課題】
しかしながら、上記公報に記載の技術では、表示装置に表示されている原画像中の頭の頂点位置と顎の先端位置を各々指示する、という煩雑な操作をオペレータが行う必要があるので、特に多数の利用者の証明写真を順次作成する等の場合にオペレータに多大な負担が加わるという問題がある。また、特に表示されている画像中の人の顔に相当する領域の面積が小さい場合や、画像の解像度が粗い等の場合には、頭の頂点位置及び顎の先端位置をオペレータが迅速かつ正確に指示することは困難であり、証明写真の迅速な作成の障害となっていた。
【0008】
本発明は上記事実を考慮して成されたもので、人物の顔に相当する顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するようにトリミング領域を設定する際のオペレータ等の負担を軽減することができる画像処理装置、画像処理方法及び記録媒体を得ることが目的である。
【0009】
【課題を解決するための手段】
本願発明者は、人物の顔に相当する顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するようにトリミング領域を設定する際のオペレータ等の負担を軽減するためには、トリミング領域の設定対象の原画像中に存在する顔領域を自動的に認識し、認識した顔領域の位置及びサイズに応じてトリミング領域を自動的に設定することが有効であることに想到した。
【0010】
また、画像中に存在する顔領域を検出する方法としては以前より様々な方法が提案されているため、本願発明者は、トリミング領域の自動設定に好適な検出方法の検討及び実験を行った。その結果、トリミング領域の自動設定を前提とすると、顔領域の位置及びサイズは比較的高精度に検出する必要があるものの、顔領域自体は必ずしも精密に検出しなくてもよい(例えば顔領域の境界位置を全周に亘って認識する必要はない)ことに想到し、顔領域を部分的に検出する種々の検出方法のうち、比較的抽出精度の高い頭頂部の検出と眼部の検出を組み合わせれば、これらの検出結果に基づいて顔領域の位置及びサイズを比較的精度良く検出できることを見出して、本発明を成すに至った。
【0011】
上記に基づき請求項1記載の発明に係る画像処理装置は、トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各々の、前記天地方向に沿ったサイズ比の適正値を記憶する記憶手段と、人物の顔に相当する顔領域を含む原画像の画像データに基づいて、前記原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出する検出手段と、前記検出手段によって検出された原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定する設定手段と、を含んで構成されている。
【0012】
請求項1記載の発明では、顔領域を含む原画像の画像データに基づいて、原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置が検出手段によって各々検出される。なお、検出手段による原画像中の人物の頭頂部に相当する位置の検出には、例えば被写体の天地方向に直交する横方向に沿った原画像上の複数箇所において、前記天地方向上方側から下方側へ向けて原画像をスキャンしながら濃度変化量を繰り返し演算し、濃度変化量が最初に所定値以上となった位置を候補として記憶し、前記天地方向に沿って候補の数が集中している部分のうちの最も上方に位置している候補を頭頂部に相当する位置として検出するアルゴリズムが好適であるが、他のアルゴリズムを用いてもよい。
【0013】
また、検出手段による原画像中の人物の眼部に相当する位置の検出には、例えば特開2000−242768号公報に記載されているように、眼部に相当する明暗のパターンを検出するフィルタによりフィルタリング処理を施し、一方の眼部に相当する領域が含まれる所定領域を設定し、設定した所定領域の中央部に黒目部分を含む特定領域を設定し、前記所定領域のうち前記特定領域を除いた領域を原画像中の被写体の天地方向に平行な軸を対称軸として反転し、特定領域と合成することによってテンプレートを作成し、他方の眼部に相当する領域が存在していると推定される探索エリア内でテンプレートを走査させながら相互相関係数を求めることにより、他方の眼部に相当する領域が含まれる所定領域を設定するアルゴリズムが好適であるが、他のアルゴリズムを用いてもよい。
【0014】
人物の頭頂部に相当する位置を検出するアルゴリズムや人物の眼部に相当する位置を検出するアルゴリズムは、顔領域の境界位置を全周に亘って検出する等のアルゴリズムと比較して、処理が簡単でかつ検出精度が高いので、検出手段による検出を短時間かつ高精度に行うことができる。
【0015】
また、請求項1記載の発明では、トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各々の、前記天地方向に沿ったサイズ比の適正値が記憶手段に記憶されており、請求項1記載の発明に係る設定手段は、検出手段によって検出された原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定する。
【0016】
本願発明者は、原画像中の人物の顎の先端に相当する位置については、既存の検出方法では検出精度が不充分であること、及び、原画像中の人物の顎の先端に相当する位置は、人物の頭頂部に相当する位置及び眼部に相当する位置から比較的精度良く推定可能であることを実験により確認している。上記に基づき請求項1記載の発明では、トリミング領域内のうち頭上領域、顔領域、及び顎下領域の各々の天地方向に沿ったサイズ比が、記憶手段に記憶されているサイズ比の適正値に一致するように、天地方向に沿ったトリミング領域の位置及びサイズを設定している。このように、請求項1記載の発明では、原画像中の人物の顎の先端に相当する位置を原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置から推定しているので、顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように、原画像に対するトリミング領域を適正に設定することができ、原画像中の人物の顎の先端に相当する位置が誤検出されることで、設定手段によって設定されるトリミング領域の位置やサイズが不適正となることを回避することができる。
【0017】
このように、請求項1記載の発明によれば、顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するトリミング領域を、オペレータの介在なしに自動的かつ適正に設定することができるので、顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するようにトリミング領域を設定する際のオペレータ等の負担を軽減することができる。
【0020】
また、被写体の天地方向に直交する横方向についてのトリミング領域の設定については、例えば請求項に記載したように、検出手段が原画像中の人物の両眼部に相当する位置を各々検出し、記憶手段にはトリミング領域のアスペクト比を表す情報(例えばアスペクト比そのものを表す情報であってもよいし、トリミング領域内に相当する画像領域を記録材料に記録する際の記録画像の縦横のサイズを表す情報であってもよい)が記憶されており、設定手段は、検出手段によって各々検出された両眼部に相当する位置の前記横方向に沿った略中央に相当する位置を、前記横方向に沿ったトリミング領域の中心位置とし、前記天地方向に沿ったトリミング領域のサイズに基づき、トリミング領域のアスペクト比が記憶手段に記憶されている情報が表すアスペクト比に一致するように、前記横方向に沿ったトリミング領域の位置及びサイズを設定することにより実現できる。
【0021】
請求項記載の発明では、検出された両眼部に相当する位置の天地方向に直交する横方向に沿った略中央に相当する位置を、横方向に沿ったトリミング領域の中心位置とし、天地方向に沿ったトリミング領域のサイズに基づき、トリミング領域のアスペクト比が記憶手段に記憶されている情報が表すアスペクト比に一致するように、横方向に沿ったトリミング領域の位置を設定するので、顔領域が被写体の横方向に沿って望ましい位置、すなわち横方向に沿ったトリミング領域内の略中央に位置するように、横方向に沿ったトリミング領域の位置及びサイズを設定することができる。
【0022】
なお本発明において、原画像のうち設定されたトリミング領域内に相当する画像領域を記録材料に記録する際の記録画像のサイズ(プリントサイズ)としては複数種のプリントサイズが用意されていることが望ましいが、プリントサイズによってトリミング領域内の顔領域の望ましい位置やサイズ比が相違していたり、アスペクト比が相違している可能性がある。これを考慮すると、請求項に記載したように、複数種のプリントサイズの中から所望のプリントサイズを選択するための選択手段を設けると共に、サイズ比の適正値及びトリミング領域のアスペクト比を表す情報を、複数種のプリントサイズと対応付けて記憶手段に各々記憶し、設定手段は、選択手段を介して選択されたプリントサイズと対応付けされて記憶手段に記憶されているサイズ比の適正値及びアスペクト比を表す情報を用いてトリミング領域の位置及びサイズを設定することが好ましい。
【0023】
これにより、選択手段を介して何れのプリントサイズが選択された場合にも、トリミング領域のアスペクト比を、選択されたプリントサイズに対応するアスペクト比に一致させることができると共に、被写体の天地方向についての顔領域のサイズ比を、プリントサイズに対応する適正なサイズ比とすることができ、トリミング領域内における被写体の天地方向についての顔領域の位置を、プリントサイズに対応する適正な位置とすることができる。
【0024】
なお、本発明を適用したとしても、例えば人物の髪型等によってはトリミング領域を適正に設定できない場合がある(例えば人物の頭髪部に相当する領域の天地方向に沿ったサイズが極端に大きい等の場合)。このため、請求項に記載したように、設定手段によって設定されたトリミング領域を原画像に重ねて表示手段に表示させる表示制御手段と、設定手段によって設定されたトリミング領域の位置及びサイズの少なくとも一方を修正するための修正手段と、を設け、設定手段は、修正手段を介してトリミング領域の位置及びサイズの少なくとも一方の修正が指示された場合に、該指示に応じてトリミング領域の位置及びサイズの少なくとも一方を修正することが好ましい。
【0025】
請求項記載の発明では、トリミング領域を原画像に重ねて表示手段に表示するので、設定手段によって設定されたトリミング領域が適正か否かをオペレータ等が目視により検定することができる。なお、トリミング領域は、例えばトリミング領域の外縁を表す線画として表示するようにしてもよいし、トリミング領域外に相当する部分の表示をトリミング内に相当する部分の表示と相違させる(例えばモノクロで表示する等)ことで表示させるようにしてもよい。
【0026】
そして、請求項記載の発明に係る設定手段は、修正手段を介してトリミング領域の位置及びサイズの少なくとも一方の修正が指示された場合に、該指示に応じてトリミング領域を修正するので、原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置から適正なトリミング領域を自動的に設定することが困難な原画像についても、トリミング領域の位置及びサイズが適正となるようにトリミング領域を修正することが可能となる。
【0027】
なお、トリミング領域の位置及びサイズの少なくとも一方の修正が指示された場合、表示制御手段についても、設定手段によって修正されたトリミング領域に基づいて、トリミング領域の表示を修正するか、又は原画像の表示を修正することが好ましい。これにより、トリミング領域の位置及びサイズの少なくとも一方の修正を指示した結果をオペレータが確認することができる。
【0028】
なお、本発明に係る画像処理装置は、原画像のうち設定手段によって設定されたトリミング領域内の画像領域を記録材料に画像として記録する記録手段を備えていてもよい。この場合、請求項に記載したように、記録材料に記録すべき文字情報を指定するための指定手段を設け、記録手段は、指定手段を介して指定された文字情報を同一の記録材料(画像を記録した記録材料)上に記録するよう構成することが好ましい。上記の文字情報としては、例えば請求項に記載したように、記録画像の種類及びプリントサイズの少なくとも一方を文字で表す情報を用いることができる。上記の文字情報を記録材料に記録することにより、記録手段によって記録材料に記録された画像の分類等の取扱いが容易になる。
【0029】
請求項記載の発明に係る画像処理方法は、トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各々の、前記天地方向に沿ったサイズ比の適正値を記憶手段に記憶しておき、人物の顔に相当する顔領域を含む原画像の画像データに基づいて、前記原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出し、検出した原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定するので、請求項1記載の発明と同様に、人物の顔に相当する顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するようにトリミング領域を設定する際のオペレータ等の負担を軽減することができる。
【0030】
請求項記載の発明に係る記録媒体は、トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各々の、前記天地方向に沿ったサイズ比の適正値を記憶する記憶手段を備えたコンピュータを、人物の顔に相当する顔領域を含む原画像の画像データに基づいて、前記原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出する検出手段、及び、前記検出手段によって検出された原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定する設定手段として機能させるためのプログラムが記録されている。
【0031】
請求項記載の発明に係る記録媒体には、上記の記憶手段を備えたコンピュータを上記の検出手段及び設定手段として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されたプログラムを読み出して実行することにより、請求項1記載の発明と同様に、顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するようにトリミング領域を設定する際のオペレータ等の負担を軽減することができる。
【0032】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図1には本実施形態に係る画像処理システム10の概略構成が示されている。画像処理システム10は、画像データを入力する入力装置として、フィルムスキャナ12、メディアドライバ14及び画像データ受信装置16を各々備え、入力装置から入力された画像データを処理する画像処理装置18が設けられていると共に、画像処理装置18による処理を経た画像データ(又は画像)を出力する出力装置として、画像を表示するためのCRT20、印画紙に画像を露光記録するレーザプリンタ22、CD−Rに画像データを書き込むCD−R書込装置24を各々備えている。
【0033】
メディアドライバ14は、例えばフロッピーディスク(FD)等の磁気ディスクやCD−R等の光ディスク、光磁気ディスク(MO)、デジタルスチルカメラ(DSC)に装填可能なPCカードやスマートメディア、ICカード(以下、これらを「デジタルカメラカード」と総称する)等の各種情報記憶媒体の何れかがセットされ、セットされた情報記憶媒体に記憶されている画像データを読み出して出力する。また、画像データ受信装置16は、インターネット等のコンピュータネットワークに接続されており、コンピュータネットワークを介して情報処理装置(例えばパーソナルコンピュータ(PC))からR,G,Bの画像データを受信し、受信した画像データを出力する。
【0034】
フィルムスキャナ12は、写真フィルム38(例えばネガフィルムやリバーサルフィルム)等の写真感光材料(以下単に写真フィルムと称する)に記録されているフィルム画像(被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像:本発明の原画像に相当)を読み取り、該読み取りによって得られた画像データを出力するものであり、LED光源30から射出され光拡散ボックス34によって光量むらが低減された光が、フィルムキャリア36にセットされている写真フィルム38に照射され、写真フィルム38を透過した光がレンズ40を介してエリアCCDセンサ42(ラインCCDセンサでもよい)の受光面上に結像されるように構成されている。
【0035】
フィルムキャリア36は、フィルム画像がLED光源30からの射出光の光軸上(読取位置)に順に位置するように写真フィルム38を間欠搬送する。またLED光源30は、R光を射出する多数個のLED、G光を射出する多数個のLED、B光を射出する多数個のLEDが、図示しない基板の全面に一定かつ高い密度で各々配列されて成り、単一の画像が読取位置に位置している状態でR,G,Bの光を順に射出するようにドライバ32によって駆動される。これにより、写真フィルム38に記録されているフィルム画像がCCDセンサ42によって順に読み取られ、CCDセンサ42からはフィルム画像に対応するR,G,Bの信号が出力される。CCDセンサ42から出力された信号はA/D変換器44によってデジタルの画像データに変換されて画像処理装置18に入力される。
【0036】
先に説明したフィルムスキャナ12、メディアドライバ14及び画像データ受信装置16は、図1に示すように、画像処理装置18の画像データ前処理部50に接続されており、これらの画像データ入力装置から出力された画像データは画像データ前処理部50に入力される。
【0037】
画像データ前処理部50は、入力された画像データに対し、画像データ入力元に応じて異なる所定の前処理を行う。フィルムスキャナ12から入力された画像データに対する前処理としては、例えば暗補正や濃度変換、シェーディング補正、欠陥画素補正等が挙げられる。また、メディアドライバ14から入力された画像データに対する前処理としては、例えば情報記憶媒体に圧縮されて記録されていた画像データの解凍や、鮮鋭度向上等の画像処理が挙げられる。また、画像データ受信装置16から入力された画像データに対する前処理としては、例えば画像データ受信装置16が受信した圧縮画像データ(例えばJPEG形式の画像データ)の解凍等が挙げられる。
【0038】
ところで、本実施形態に係るフィルムスキャナ12は、写真フィルムに記録されている個々のフィルム画像に対して異なる解像度で2回の読み取りを行う。1回目の比較的低解像度での読み取り(以下、プレスキャンという)では、フィルム画像の濃度が非常に低い場合(例えばネガフィルムにおける露光アンダのネガ画像)にも、CCDセンサ42で蓄積電荷の飽和等の不都合が生じないように決定した読取条件で読み取りが行われる。
【0039】
画像データ前処理部50にはプレスキャンメモリ52及びファインスキャンメモリ54が接続されており、プレスキャンメモリ52には第1の画像処理部56及び画像処理制御部58が接続され、ファインスキャンメモリ54には第2の画像処理部60が接続されている。画像データ前処理部50は、プレスキャンが行われることでフィルムスキャナ12から入力される低解像度の画像データに対し、所定の前処理を施した後にプレスキャンメモリ52へ出力する。
【0040】
また画像データ前処理部50は、メディアドライバ14から入力された画像データ及び画像データ受信装置16から入力された画像データについては、プレスキャンメモリ52及びファインスキャンメモリ54へ各々出力するが、このうちプレスキャンメモリ52に出力する画像データについては、プレスキャンによって得られた低解像度画像データと同等の低解像度の画像データに変換した後にプレスキャンメモリ52へ出力する。プレスキャンメモリ52に出力された低解像度画像データはプレスキャンメモリ52を介して画像処理制御部58へ入力される。
【0041】
画像処理制御部58及び第1の画像処理部56は、CPU、ROM、RAM及び入出力ポートがバスを介して互いに接続されていると共に、入出力ポートにハードディスク装置(HDD)等の記憶装置が接続された構成の単一の画像処理用PCによって実現することができ、この画像処理用PCに所定のプログラムを実行させることで、画像処理用PCを第1の画像処理部56及び画像処理制御部58として各々機能させることができる。
【0042】
画像処理制御部58は、プレスキャンメモリ52を介して入力された低解像度画像データが、フィルムスキャナ12でプレスキャンが行われることで得られた画像データである場合には、該低解像度画像データに基づいて濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルムに対し、フィルムスキャナ12が比較的高解像度での再度の読み取り(以下、ファインスキャンという)を行う際の読取条件を決定し、決定した読取条件をフィルムスキャナ12に出力する。
【0043】
また、画像処理制御部58は、入力された低解像度画像データに基づいて、画像データ前処理部50からファインスキャンメモリ54を介して第2の画像処理部60へ出力される同一の画像の高解像度画像データ(ファインスキャンを行うことでフィルムスキャナ12から入力された画像データ、又はメディアドライバ14から入力された画像データ、又は画像データ受信装置16から入力された画像データ)に対し、第2の画像処理部60によって行われる各種の画像処理の処理条件を演算により自動的に決定し(セットアップ演算)、決定した処理条件を第1の画像処理部56へ通知する。
【0044】
なお、第2の画像処理部60で実行される画像処理としては、例えば画像のグレーバランス調整、濃度調整、階調コントロール、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の出力画像の画質向上のための画像処理が挙げられる。また、画調を意図的に変更する画像処理(例えば出力画像をポートレート調に仕上げる画像処理等)や、画像を加工する画像処理(例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理等)等の画像処理も実行可能としてもよい。
【0045】
第1の画像処理部56はプレスキャンメモリ52に記憶されている低解像度画像データに対し、画像処理制御部58から通知された処理条件に基づき、高解像度画像データを対象として第2の画像処理部60で行われる画像処理と等価な画像処理を低解像度画像データに対して行ってシミュレーション画像データを生成する。第1の画像処理部56には色再現変換部62、CRT20が順に接続されている。またCRT20は、入力された画像データを保持するバッファを備え、バッファに保持した画像データに基づいてアナログの電気信号を生成し、前記画像データが表す画像をCRT20に表示する機能を有している。第1の画像処理部56で生成されたシミュレーション画像データは色再現変換部62へ出力され、色再現変換部62によって濃度変換等の色再現変換処理が行われた後にCRT20へ出力され、シミュレーション画像(出力画像)としてCRT20に表示される。CRT20に表示された出力画像は、オペレータによって画像の仕上がり等の検定に供せられる。
【0046】
また、画像処理制御部58にはキー入力部64が接続されている。このキー入力部64は、例えばキーボードやマウス(これらは前述の画像処理用PCの入出力ポートに接続される)で構成することができる。CRT20に表示された出力画像を検定したオペレータはキー入力部64を操作し、検定結果を入力する。そして画像処理制御部58は、オペレータによる検定を経て処理条件が確定すると、確定した処理条件を第2の画像処理部60へ通知する。
【0047】
第2の画像処理部60は、前述した各種の画像処理を行う複数種の画像処理回路を各々備えており、画像データ前処理部50からファインスキャンメモリ54を介して高解像度画像データが入力されると、入力された高解像度画像データに対し、画像処理制御部58から通知された処理条件に従って各種の画像処理を行う。第2の画像処理部60は色再現変換部62に接続されており、第2の画像処理部60から出力された画像データは、色再現変換部62における色再現変換処理を経て、レーザプリンタ22又はCD−R書込装置24へ出力され、レーザプリンタ22による印画紙への画像の記録に用いられるか、又はCD−R書込装置24によってCD−Rに書込まれる。
【0048】
なお、レーザプリンタ22は、R,G,Bのレーザ光源を備えており、前記レーザ光源から射出されるR,G,Bのレーザ光を、画像処理装置18から入力された画像データに基づいて変調すると共に、ポリゴンミラー等の偏向手段によって偏向させて印画紙上を走査させることで、印画紙に画像を露光記録する。画像が露光記録された印画紙は、ペーパプロセッサへ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙に露光記録された画像が可視化される。
【0049】
次に本実施形態の作用として証明写真の作成について説明する。証明写真の作成は、例えば証明写真作成対象の画像が記録された写真フィルムや、証明写真作成対象の画像の画像データが記録されたスマートメディア等の情報記録媒体がユーザによってDPE店等に持ち込まれ、ユーザから証明写真の作成が依頼されることによって行われる。証明写真の作成依頼時には、同時に作成すべき証明写真の種類や種別(カラー/モノクロ)毎の枚数等の条件が指定される。なお、証明写真の作成依頼を、証明写真作成対象の画像の画像データの受信を含めてオンランで受付可能としてもよい。
【0050】
証明写真の作成が依頼された場合、オペレータは、持ち込まれた写真フィルム38に記録されている証明写真作成対象の画像に対しフィルムスキャナ12によってファインスキャンが行われるか、或いは情報記録媒体から証明写真作成対象の画像の画像データが読み出されることにより、前記証明写真対象の画像の高解像度画像データがファインスキャンメモリ54に記憶された状態で、証明写真の作成を指示する。以下、この指示に応じて画像処理制御部58で実行される証明写真作成処理について、図2のフローチャートを参照して説明する。
【0051】
なお、この証明写真作成処理は本発明に係る画像処理方法が適用された処理であり、詳しくは、画像処理制御部58及び第1の画像処理部56を構成する画像処理用PCのCPUが証明写真作成プログラムを実行することによって実現される。証明写真作成プログラムは、当初は情報記憶媒体68(図1参照)に記憶されている。図1では情報記憶媒体68をフロッピーディスクとして示しているが、CD−ROMやメモリカード等で構成してもよい。
【0052】
画像処理用PCが内蔵している情報読出装置(図示省略)に情報記憶媒体68が装填され、情報記憶媒体68から画像処理装置18へのプログラムの移入(インストール)が指示されると、情報読出装置によって情報記憶媒体68から証明写真作成プログラムが読み出され、画像処理用PCのHDDに記憶される。そして、証明写真作成処理を実行すべきタイミングが到来すると、HDDから証明写真作成プログラムが読み出され、該プログラムがCPUによって実行される。これにより、画像処理装置18は本発明に係る画像処理装置として機能する。このように、証明写真作成プログラムを記憶している情報記憶媒体68は請求項に記載の記録媒体に対応している。
【0053】
証明写真作成処理では、まずステップ100において、証明写真作成対象として指定された画像の高解像度画像データを、第2の画像処理部60を経由してファインスキャンメモリ54から取り込み、次のステップ102では、ステップ100で取り込んだ画像データを用いて、例として図4に示すように、証明写真の作成条件を指定するための作成条件指定画面をCRTに表示させる。
【0054】
図4に示す作成条件指定画面は、証明写真作成対象の画像を表示するための表示領域70A、トリミング領域の設定を自動で行うか手動で行うかを選択するための選択欄70B、作成する証明写真の種類(サイズ)を選択するための選択欄70C、証明写真の種別(カラー/モノクロ)毎の作成枚数を入力するための入力欄70D、表示領域70Aに表示されている画像の拡縮を指示するための指示ボタン群70E、トリミング領域の位置の移動を指示するための指示ボタン群70F、及び、証明写真の作成条件を確定させるための決定ボタン70Gが各々設けられている。また、証明写真の画質を調整するための選択欄や入力欄も設けられている。
【0055】
なお、本実施形態では、互いにサイズが異なる複数種の証明写真を作成可能とされており、HDDには、次の表1に示すように、作成可能な各種の証明写真について、「種類(名称)」「プリントサイズ」「頭上/顔/顎下比率(詳細は後述)」が各々設定された証明写真情報が記憶されている。なお、証明写真情報のうち「頭上/顔/顎下比率」は請求項に記載の「サイズ比の適正値」に、「実プリントサイズ」は請求項に記載の「トリミング領域のアスペクト比を特定するための情報」に各々対応しており、HDDは請求項及び請求項に記載の記憶手段に対応している。
【0056】
【表1】
Figure 0003983469
【0057】
CRT20に作成条件指定画面が表示されている状態において、上記の証明写真情報は、選択欄70Cの右端に「▼」と表記されているボタンをクリックする等の操作をオペレータが行うことで参照され、作成可能な証明写真の種類(名称)が選択欄70Cに選択肢として一覧表示される。
【0058】
次のステップ104では、オペレータがキー入力部64(キーボードやマウス等)を介して何らかの情報を入力したか否か判定し、判定が肯定される迄待機する。何らかの情報が入力されると、ステップ104の判定が肯定されてステップ106へ移行し、入力された情報の内容を判定し判定結果に応じて処理を分岐する。
【0059】
オペレータが選択欄70Bの「自動トリミング」を選択したことを表す情報が入力された場合にはステップ110へ移行し、オペレータが決定ボタン70Gを選択したことを表す情報が入力された場合にはステップ112へ移行する(何れも詳細は後述)が、それ以外の操作が有ったことを表す情報が入力された場合には、ステップ106からステップ108へ移行し、入力された情報に応じた処理を行い(例えば作成すべき証明写真の種類が選択された場合は選択された証明写真の種類を記憶し、種別毎の証明写真の作成枚数が入力された場合は入力された種別毎の作成枚数を記憶する等)、その後ステップ104に戻る。
【0060】
また、オペレータによって選択欄70Bの「自動トリミング」が選択された場合には、ステップ110でトリミング領域自動設定処理を行う。以下、この処理について図3のフローチャートを参照して説明する。ステップ140では、証明写真作成対象の画像(本発明の原画像)の画像データに基づいて、前記画像中の人物の頭頂部に相当する点(以下、単に頭頂点という)の位置を検出する。頭頂点の位置は、例えば以下のようにして検出することができる。
【0061】
すなわち、証明写真作成対象の画像(一例を図5(A)に示す)を、画像中の被写体(人物)の天地方向を長手方向とする一定幅(例えば数画素分程度の幅)の多数本の長尺状領域に分割し(分割線の一部を図5(B)に破線で示す)、長尺状領域を被写体の天地方向上方側から下方側へスキャンしながら濃度変化量を繰り返し演算し、濃度変化量が最初に所定値以上となった位置を頭頂点候補として記憶することを、各長尺状領域について各々行う。なお、被写体の天地方向は、例えば画像の長辺方向及び短辺方向の何れか一方を固定的に天地方向としてもよいし、公知の技術を適用して天地方向を検出するようにしてもよいし、オペレータによって天地方向を指定させるようにしてもよい。以下では、天地方向をY方向、天地方向に直交する横方向をX方向と称する。
【0062】
これにより、図5(B)においては分割線が破線で示されている各長尺状領域毎に、頭髪部と背景との境界位置が頭頂点候補として各々記憶される。そして、Y方向に沿って頭頂点候補の数が集中している部分のうちの最も上方に位置している頭頂点候補を頭頂点とし、そのX座標値及びY座標値を検出する(図5(C)も参照)。これにより、画像中の頭頂点位置を短時間で精度良く検出することができる。
【0063】
次のステップ142では、証明写真作成対象画像の画像データに基づいて、前記画像中の人物の両眼部に相当する位置を検出する。すなわち、まず図6(A)に破線で示すように、Y方向に平行でステップ140で検出した頭頂点位置を通る軸Lを設定し、軸Lを境界として一方の側(ここでは図6(A)〜(D)における左側とする)に対し、例えば図6(E)又は(F)に示すような明暗のパターンを検出するフィルタを用いてフィルタリング処理を施すことにより、左目に相当する眼部領域を含む第1の所定領域A1を設定する(図6(B)参照)。
【0064】
次に、図6(G)に示すように、第1の所定領域A1の中央部に、黒目に相当する領域を含むと推定される特定領域N1を設定し、特定領域N1以外の領域N2の左右を反転(Y方向に平行な軸を線対称軸として反転)して特定領域N1と合成することにより、図6(H)に示すようなテンプレートTを作成する。続いて軸Lを境界として他方の側(図6(A)〜(D)における右側)に、テンプレートTよりも面積が充分大きい探索エリアEを設定し(図6(C)参照)、探索エリアE内でテンプレートTを走査させながら相互相関係数を繰り返し演算し、相関係数が最大となった領域を第2の所定領域A2として設定する。
【0065】
そして、所定領域A1の中心座標値(X1,Y1)を左眼部の位置とし、所定領域A2の中心座標値(X2,Y2)を右眼部の位置とする。これにより、画像中の両眼部の位置を短時間で精度良く検出することができる。
【0066】
なお、証明写真作成対象の画像中の人物の両眼部に相当する位置の検出は、上記のアルゴリズムに限定されるものではない。例えば軸Lは所定領域A1,A2の設定時に処理対象範囲を絞るためのものであるので、軸Lとして頭頂点を通らない軸(例えば横方向に沿った証明写真作成対象の画像の中央を通る軸)を用いてもよいし、軸Lを用いることなく証明写真作成対象の画像全面を処理対象範囲とするフィルタリング処理によって第1の所定領域A1を設定し、テンプレートTを作成し、第1の所定領域A1の近傍に設定した探索エリア内でテンプレートTを走査させることで、第2の所定領域A2の設定を行うようにしてもよい。
【0067】
次のステップ144では、ステップ140で検出した頭頂点位置(詳しくは頭頂点のY座標値)及びステップ142で検出した両眼部の位置(詳しくは何れか一方の眼部のY座標値、又は両眼部のY座標値の平均値)に基づいて、画像中の人物の顎の先端に相当する位置のY座標値を推定する。本願発明者は、眼部位置と顎の先端部の位置とのY方向に沿った距離が、頭頂点位置と眼部位置とのY方向に沿った距離に対して略一定の比率(例えば2.1倍程度)になることを経験的に見出した。
【0068】
HDDには経験的に見出された上記の比率が記憶されており、ステップ144では、頭頂点位置と眼部位置とのY方向に沿った距離と上記の比率に基づき、眼部位置と顎の先端部の位置とのY方向に沿った距離を演算し、眼部位置から前記演算した距離だけY方向に隔てた位置のY座標値を、顎の先端部の位置のY座標値として求めている。なお、上記の比率は、オペレータの指示やその他をトリガとして変更可能としてもよい。
【0069】
ステップ146では、証明写真作成対象の画像中の人物の顔に相当する顔領域は、ステップ140で検出した頭頂点位置とステップ144で推定した顎先端位置との間に分布しているものとみなし、顔領域のY方向長さとして、頭頂点位置と顎先端位置とのY方向に沿った距離(例えば証明写真作成対象の画像上での画素数に換算した距離)を演算する。
【0070】
次のステップ148では、証明写真を作成するために作成対象画像に対して設定するトリミング領域のY方向長さを演算する。先の表1に示した証明写真情報のうちの「頭上/顔/顎下比率」は、トリミング領域内のうち顔領域よりも上方に存在する頭上領域と、顔領域と、トリミング領域内のうち顔領域よりも下方に存在する顎下領域の各々のY方向長さの適正比率を表しており、証明写真の種類によって証明写真中の顔領域の望ましい大きさ(サイズ比)が相違している場合があることを考慮し、本実施形態では「頭上/顔/顎下比率」が証明写真の種類毎に各々記憶されている。このため、ステップ148では、作成条件指定画面上で選択された証明写真の種類に対応して記憶されている「頭上/顔/顎下比率」を取り込み、取り込んだ比率と、先のステップ146で演算した顔領域のY方向長さに基づいて頭上領域及び顎下領域のY方向長さを各々求め、トリミング領域のY方向長さとして、これらの領域のY方向長さの合計を演算する。
【0071】
そしてステップ150では、頭頂点位置のY座標値と頭上領域のY方向長さに基づき証明写真作成対象の画像上でのトリミング領域の上端位置を演算するか、又は顎先端位置のY座標値と顎下領域のY方向長さに基づき証明写真作成対象の画像上でのトリミング領域の下端位置を演算することで、トリミング領域のY方向位置を設定する。これにより、トリミング領域内の頭上領域、顔領域、及び顎下領域の各々のY方向に沿ったサイズ比が、証明写真の種類毎に定められた適正比率に一致するように、Y方向に沿ったトリミング領域の位置が設定されることになる。
【0072】
次のステップ156では、作成条件指定画面上で選択された証明写真の種類に対応するトリミング領域のアスペクト比を取得する。トリミング領域のアスペクト比は作成すべき証明写真のアスペクト比と同一であり、ステップ156では、HDDに記憶されている証明写真情報の中から選択された証明写真の種類に対応する「実プリントサイズ」を取り込み、取り込んだ「実プリントサイズ」が表す縦横の長さからアスペクト比を演算することでトリミング領域のアスペクト比を取得する。
【0073】
ステップ158では、ステップ152で演算したトリミング領域のY方向長さと、ステップ156で取得したトリミング領域のアスペクト比に基づき、トリミング領域のX方向長さを演算する。ステップ160では、ステップ142で演算した左眼部のX座標値(=X1)と右眼部のX座標値(=X2)の平均値、すなわちX方向に沿った両眼部の中央に相当する位置のX座標値を演算する。
【0074】
そしてステップ162では、ステップ160で演算したX方向に沿った両眼部の中央に相当する位置が、X方向に沿ったトリミング領域の中央に一致するように、X方向に沿ったトリミング領域の位置を設定する。これにより、顔領域がX方向に沿ったトリミング領域内の略中央に位置するように、トリミング領域のX方向位置が設定されることになる。
【0075】
上記のようにしてトリミング領域のY方向に沿った位置及び長さ、X方向に沿った位置及び長さが各々設定されると、次のステップ164において、作成条件指定画面の表示領域70A内に表示している証明写真作成対象の画像に重ねて、X方向及びY方向について各々位置及び長さを設定したトリミング領域の外縁を表す矩形状の図形(以下、トリミング枠という:図4に太線で示す枠も参照)を表示し、図2のステップ104に戻る。
【0076】
上記のように「自動トリミング」が選択された場合に、証明写真作成対象の画像の頭頂点位置及び眼部位置を自動的に検出し、検出した頭頂点位置及び眼部位置から自動的にトリミング領域を設定するので、証明写真を作成するためのオペレータの負担を軽減することができる。また、証明写真作成対象の画像にトリミング枠を重ねて表示することにより、オペレータは、表示されているトリミング枠(すなわちトリミング領域自動設定処理によって設定されたトリミング領域)の位置及びサイズが適正か否かを目視により容易に検定することができる。
【0077】
そして、例えば画像中に存在する人物の頭髪部に相当する領域のY方向長さが極端に大きい等の理由により、トリミング枠の位置が適正でないと判断した場合には、指示ボタン群70Fの何れかのボタンをクリックする等の操作をオペレータが行うことでトリミング枠(領域)の位置の移動を指示することができる。なお、トリミング枠(領域)のサイズの変更は、表示されているトリミング枠に対してドラッグ&ドロップ等の操作をオペレータが行うことで指示することができる。トリミング枠(領域)の位置又はサイズの変更が指示されると、ステップ104からステップ106を経由してステップ108へ移行し、入力された情報に応じた処理として、表示領域70A内に表示しているトリミング枠の位置又はサイズを変更する処理が行われる。
【0078】
一方、表示領域70A内に表示されているトリミング枠の位置及びサイズが適正であると判断されると、オペレータによって決定ボタン70Gが選択される。これにより、ステップ104からステップ106を経由してステップ112へ移行し、証明写真として記録すべき全ての画像の指定が完了したか否かをオペレータに問い合わせるメッセージをCRT20に表示し、このメッセージに応答してオペレータが入力した情報に基づいて、全ての画像の指定が完了したか否かを判定する。
【0079】
本実施形態では、単一の証明写真作成対象の画像から複数種の証明写真を各々作成することも可能とされており、複数種の証明写真を作成する場合には、個々の種類毎にトリミング領域の設定を含む作成条件の指定を行う必要がある。作成すべき複数種の証明写真のうち作成条件を未指定のものがあればステップ112の判定が否定されてステップ102に戻り、ステップ102以降の処理を繰り返す。また、作成すべき全種類の証明写真について、トリミング枠の設定を含む作成条件の指定が完了している場合には、ステップ112の判定が肯定されてステップ114へ移行する。
【0080】
ステップ114では、証明写真として記録する画像の数及び個々の画像の実プリントサイズに基づいて、記録フレーム(例えばLサイズの写真プリントと同一サイズのフレーム)内に記録する個々の画像の位置や向き等のレイアウトを決定する。そしてステップ116では、例として図8に示すように、先のステップ114で決定したレイアウトをオペレータが確認するためのレイアウト確認画面をCRT20に表示させる。
【0081】
図8に示すレイアウト確認画面は、作成が指示された証明写真に対応する画像が、印画紙上にどのように記録されるかを表すシミュレーション画像を表示するための表示領域72A、選択された証明写真の種類に対応する実プリントサイズに対し印画紙上に実際に記録する画像のサイズを微調整するための選択欄72B、証明写真(画像)の記録間隔を選択するための選択欄72C、画像の配置順序の変更を選択するための選択欄72D、画像と共に印字すべき文字情報の種類を選択するための選択欄72E、及び、画像のプリントを指示するためのプリントボタン72Fが各々設けられている。
【0082】
そしてステップ116では、証明写真作成対象の画像の高解像度画像データから、先に設定したトリミング領域内に相当する画像領域のデータを抽出し、抽出した画像データを実プリントサイズに応じて拡大又は縮小し、先のステップ114で決定したレイアウトに従い、指示された作成枚数と同数だけ台紙画像(例えば全面が白色の画像)上に貼り付ける(種別としてモノクロが指定された画像については、モノクロ化した後に貼り付ける)ことを、作成が指示された証明写真の種類数分繰り返すことで、印画紙への証明写真の記録に用いる記録用画像データを生成する。そして、生成した記録用画像データをCRT20に表示するために低解像度化し、レイアウト確認画面の表示領域72Aに画像として表示させる。これにより、表示領域72Aに表示された画像を目視することで、オペレータは、作成を指示した証明写真が印画紙上にどのようなレイアウトで記録されるのかを容易に把握することができる。
【0083】
次のステップ118ではオペレータが何らかの情報を入力したか否か判定し、判定が肯定される迄待機する。何らかの情報が入力されると、ステップ118の判定が肯定されてステップ120へ移行し、入力された情報の内容を判定し判定結果に応じて処理を分岐する。オペレータが選択欄72Eに表示されている複数の選択肢の何れかを選択したことを表す情報が入力された場合にはステップ124へ移行する。
【0084】
選択欄72Eに表示されている選択肢は、画像と共に印字可能な文字情報の種類を表しており、図8では一例として「日付」「サイズ」「コメント」の3種類が選択肢として表示されている。ステップ124では、オペレータによって選択された文字情報を表示領域72Aに表示されている画像上の所定位置に付加させ、ステップ118に戻る。なお、日付を表す文字情報は画像処理用PCのオペレーティングシステムから日付情報を入手することで生成することができ、サイズを表す文字情報は証明写真情報から取得することができる。また、コメント等のようにオプションで付加する文字情報は、画像処理用PCのレジストリ等に設定しておいてもよいし、HDDに保存しておいてもよい。これにより、例として図8に示すように、付加された文字情報をオペレータが目視で確認することが可能となる。なお、図9にも示すように、証明写真の種類や店名等の他の文字情報を印字可能としてもよいことは言うまでもない。
【0085】
また、画像の記録サイズや記録間隔、配置順序の変更等がオペレータから指示された場合は、ステップ118からステップ120を経由してステップ122へ移行し、オペレータの指示に応じて表示領域72Aに表示している画像を変更する処理が行われる。そして、オペレータによってプリントボタン72Fが選択された場合には、ステップ118からステップ120を経由してステップ126へ移行し、表示領域72A内に表示している画像と同一の画像を印画紙に記録するために、前述した記録用画像データの生成を再度行う。
【0086】
そしてステップ128では、ステップ126で生成した記録用画像データを、第2の画像処理部60及び色再現変換部62を経由してレーザプリンタ22へ出力する。これにより、レイアウト確認画面の表示領域72Aに最終的に表示された画像と同一の画像がレーザプリンタ22によって印画紙上に露光記録され、ペーパプロセッサによる現像等の処理を経て可視化されることになる。証明写真は画像が記録されている印画紙から所定のサイズで画像を切り出すことによって得られるが、オペレータによってサイズ等の印字が指示された場合には、図8にも示すように、個々の画像の近傍に規定のサイズを表す文字情報が印字されているので、画像切り出し時の切り出しサイズの誤認等が生ずることを防止することができる。
【0087】
なお、上記ではトリミング領域を矩形状としていたが、これに限定されるものではなく、任意の形状を採用可能である。
【0088】
また、上記では本発明を画像処理システム10に適用した場合を説明したが、これに限定されるものではなく、ユーザが自宅のPCに証明写真作成プログラムをインストールし、ユーザのデジタルスチルカメラで被写体を撮像するか、又は通常のカメラによって被写体を写真フィルムに露光記録し、該写真フィルムに対して撮像等の処理を行った後に可視化された画像をスキャナ等で読み取ることで得られた画像データを用いて、証明写真作成処理を実行することにより、前記PCに接続されたプリンタによって証明写真を作成するようにしてもよい。
【0089】
また、上記では証明写真の作成を例に説明したが、本発明はこれに限定されるものではなく、学校のアルバムに掲載する個々の生徒の写真の作成等にも適用可能である。
【0090】
【発明の効果】
以上説明したように本発明は、トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って顔領域よりも上方に存在する頭上領域、顔領域、トリミング領域内のうち天地方向に沿って顔領域よりも下方に存在する顎下領域の各々の、天地方向に沿ったサイズ比の適正値を記憶しておき、原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出し、原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、頭頂部に相当する位置と顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち頭上領域、顔領域、及び顎下領域の各々の天地方向に沿ったサイズ比が、記憶しているサイズ比の適正値に一致するように、天地方向に沿ったトリミング領域の位置及びサイズを設定することで、顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するよう原画像に対するトリミング領域を設定するので、人物の顔に相当する顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するようにトリミング領域を設定する際のオペレータ等の負担を軽減することができる、という優れた効果を有する。
【図面の簡単な説明】
【図1】 画像処理システムの概略構成を示すブロック図である。
【図2】 証明写真作成処理の内容を示すフローチャートである。
【図3】 トリミング領域自動設定処理の内容を示すフローチャートである。
【図4】 作成条件指定画面の一例を示すイメージ図である。
【図5】 頭頂点の検出を説明するための概念図である。
【図6】 両眼部の検出を説明するための概念図である。
【図7】 頭上/顔/顎下比率を説明するためのイメージ図である。
【図8】 レイアウト確認画面の一例を示すイメージ図である。
【図9】 証明写真の画像と共に印字可能な文字情報の他の例を示すイメージ図である。
【符号の説明】
10 画像処理システム
18 画像処理装置
22 レーザプリンタ
58 画像処理制御部
64 キー入力部
68 情報記憶媒体

Claims (8)

  1. トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各々の、前記天地方向に沿ったサイズ比の適正値を記憶する記憶手段と、
    人物の顔に相当する顔領域を含む原画像の画像データに基づいて、前記原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出する検出手段と、
    前記検出手段によって検出された原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定する設定手段と、
    を含む画像処理装置。
  2. 前記検出手段は、前記原画像中の人物の両眼部に相当する位置を各々検出し、
    前記記憶手段にはトリミング領域のアスペクト比を表す情報が記憶されており、
    前記設定手段は、前記検出手段によって各々検出された両眼部に相当する位置の前記天地方向に直交する横方向に沿った略中央に相当する位置を、前記横方向に沿ったトリミング領域の中心位置とし、前記天地方向に沿ったトリミング領域のサイズに基づき、トリミング領域のアスペクト比が前記記憶手段に記憶されている情報が表すアスペクト比に一致するように、前記横方向に沿ったトリミング領域の位置及びサイズを設定する
    ことを特徴とする請求項1記載の画像処理装置。
  3. 原画像のうち設定されたトリミング領域内に相当する画像領域を記録材料に記録する際の記録画像のサイズとして予め定められた複数種のプリントサイズの中から、所望のプリントサイズを選択するための選択手段を更に備え、
    前記記憶手段には、前記サイズ比の適正値及び前記トリミング領域のアスペクト比を表す情報が、前記複数種のプリントサイズと対応付けて各々記憶されており、
    前記設定手段は、前記選択手段を介して選択されたプリントサイズと対応付けされて前記記憶手段に記憶されているサイズ比の適正値及び前記アスペクト比を表す情報を用いてトリミング領域の位置及びサイズを設定する
    ことを特徴とする請求項2記載の画像処理装置。
  4. 前記設定手段によって設定されたトリミング領域を原画像に重ねて表示手段に表示させる表示制御手段と、前記設定手段によって設定されたトリミング領域の位置及びサイズの少なくとも一方を修正するための修正手段と、を更に備え、
    前記設定手段は、前記修正手段を介してトリミング領域の位置及びサイズの少なくとも一方の修正が指示された場合に、該指示に応じてトリミング領域の位置及びサイズの少なくとも一方を修正することを特徴とする請求項1記載の画像処理装置。
  5. 記録材料に記録すべき文字情報を指定するための指定手段と、
    原画像のうち前記設定手段によって設定されたトリミング領域内に相当する画像領域を記録材料に画像として記録すると共に、前記指定手段を介して指定された文字情報を同一の記録材料上に記録する記録手段と、
    を更に備えたことを特徴とする請求項1記載の画像処理装置。
  6. 前記文字情報は、記録画像の種類及びプリントサイズの少なくとも一方を文字で表す情報であることを特徴とする請求項5記載の画像処理装置。
  7. トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各 々の、前記天地方向に沿ったサイズ比の適正値を記憶手段に記憶しておき、
    人物の顔に相当する顔領域を含む原画像の画像データに基づいて、前記原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出し、
    検出した原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定する画像処理方法。
  8. トリミング領域内のうち人物の顔に相当する顔領域を含む原画像中の被写体の天地方向に沿って前記顔領域よりも上方に存在する頭上領域、前記顔領域、トリミング領域内のうち前記天地方向に沿って前記顔領域よりも下方に存在する顎下領域の各々の、前記天地方向に沿ったサイズ比の適正値を記憶する記憶手段を備えたコンピュータを、
    人物の顔に相当する顔領域を含む原画像の画像データに基づいて、前記原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置を各々検出する検出手段、
    及び、前記検出手段によって検出された原画像中の人物の頭頂部に相当する位置及び眼部に相当する位置に基づいて、原画像中の人物の顎の先端に相当する位置を推定し、前記頭頂部に相当する位置と前記顎の先端に相当する位置の原画像上での距離に基づき、トリミング領域内のうち前記頭上領域、前記顔領域、及び前記顎下領域の各々の前記天地方向に沿ったサイズ比が、前記記憶手段に記憶されているサイズ比の適正値に一致するように、前記天地方向に沿ったトリミング領域の位置及びサイズを設定することで、前記顔領域が所定のサイズ比でトリミング領域内の所定位置に位置するように前記原画像に対するトリミング領域を設定する設定手段
    として機能させるためのプログラムが記録された記録媒体。
JP2000347177A 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体 Expired - Fee Related JP3983469B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000347177A JP3983469B2 (ja) 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体
DE60135428T DE60135428D1 (de) 2000-11-14 2001-11-12 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Aufzeichnungsmedium
EP01126880A EP1206118B1 (en) 2000-11-14 2001-11-12 Image processing apparatus, image processing method and recording medium
US09/987,127 US7072526B2 (en) 2000-11-14 2001-11-13 Image processing apparatus, image processing method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000347177A JP3983469B2 (ja) 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2002152492A JP2002152492A (ja) 2002-05-24
JP3983469B2 true JP3983469B2 (ja) 2007-09-26

Family

ID=18820949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000347177A Expired - Fee Related JP3983469B2 (ja) 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体

Country Status (4)

Country Link
US (1) US7072526B2 (ja)
EP (1) EP1206118B1 (ja)
JP (1) JP3983469B2 (ja)
DE (1) DE60135428D1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
AU2002366244A1 (en) 2001-12-18 2003-06-30 Digimarc Id System, Llc Multiple image security features for identification documents and methods of making same
US7152786B2 (en) * 2002-02-12 2006-12-26 Digimarc Corporation Identification document including embedded data
JP2003264775A (ja) * 2002-03-08 2003-09-19 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
KR100980915B1 (ko) * 2002-08-30 2010-09-07 소니 주식회사 화상 처리 장치 및 처리 방법 및 촬영 장치
JP3809411B2 (ja) * 2002-09-27 2006-08-16 キヤノン株式会社 画像処理方法及び装置並びに印刷装置
US7454707B2 (en) * 2002-09-30 2008-11-18 Canon Kabushiki Kaisha Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
JP4322537B2 (ja) * 2003-04-07 2009-09-02 株式会社豊田中央研究所 マスク着用判定装置
DE602004002723T2 (de) * 2003-05-21 2007-02-08 Nec Corp. Mobiltelefon, Drucksystem und korrespondierendes Druckverfahren
US7920725B2 (en) * 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
CN1599406A (zh) * 2003-09-09 2005-03-23 富士胶片株式会社 图像处理方法和装置及其程序
CN102298778B (zh) * 2003-10-30 2015-06-17 日本电气株式会社 用于估计对象状态的估计系统、估计方法和估计程序
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
JP4344925B2 (ja) * 2003-12-15 2009-10-14 富士フイルム株式会社 画像処理装置、画像処理方法およびプリントシステム
JP2005242640A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 対象物検出方法および装置並びにプログラム
JP2005244572A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 不良トリミング画像検出方法および装置並びにプログラム
JP2005250556A (ja) * 2004-03-01 2005-09-15 Fuji Photo Film Co Ltd トリミング処理方法および装置並びにプログラム
JP2006072506A (ja) * 2004-08-31 2006-03-16 Noritsu Koki Co Ltd 写真処理装置
JP2006088388A (ja) * 2004-09-21 2006-04-06 Fuji Photo Film Co Ltd プリントシステム及びプリント制御プログラム
JP4534249B2 (ja) * 2005-02-01 2010-09-01 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2006215685A (ja) * 2005-02-02 2006-08-17 Funai Electric Co Ltd フォトプリンタ
JP2006254229A (ja) * 2005-03-11 2006-09-21 Fuji Photo Film Co Ltd 撮像装置、撮像方法及び撮像プログラム
JP4683339B2 (ja) * 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
JP2008165561A (ja) * 2006-12-28 2008-07-17 Fuji Xerox Co Ltd 画像処理装置、情報管理システム及び画像処理プログラム
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
JP4850818B2 (ja) * 2007-11-30 2012-01-11 キヤノン株式会社 画像処理装置およびその方法
NL2001073C2 (nl) * 2007-12-11 2009-06-15 Jan Arie Frederik Grootveld Werkwijze en systeem voor het bewerken van een fotografische gelaatsafbeelding.
JP4947018B2 (ja) * 2008-09-12 2012-06-06 大日本印刷株式会社 顔画像の自動トリミング装置
JP5404130B2 (ja) * 2009-03-30 2014-01-29 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
CN102339457B (zh) * 2010-07-16 2016-02-03 腾讯科技(深圳)有限公司 一种图片的裁剪方法及系统
KR101795601B1 (ko) * 2011-08-11 2017-11-08 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
JP6617418B2 (ja) * 2015-03-17 2019-12-11 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017191323A (ja) * 2017-05-22 2017-10-19 フリュー株式会社 写真シール作成装置、表示制御方法、およびプログラム
US11275819B2 (en) 2018-12-05 2022-03-15 Bank Of America Corporation Generative adversarial network training and feature extraction for biometric authentication

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3545875A1 (de) * 1985-12-23 1987-07-02 Anger Wilhelm Vorrichtung zum fotogrammetrischen erfassen des menschlichen kopfes
JP2983545B2 (ja) * 1988-03-16 1999-11-29 アイシン精機株式会社 映像信号の増幅処理装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US6049674A (en) * 1992-08-24 2000-04-11 Fuji Photo Film Co., Ltd. Self-photography apparatus for making identification photograph
US5835616A (en) * 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
JPH0927897A (ja) 1995-05-09 1997-01-28 Noritsu Koki Co Ltd カットマーク入り証明写真及びその製造装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP3436473B2 (ja) * 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
US5990901A (en) * 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JPH11341272A (ja) 1998-05-22 1999-12-10 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP3992867B2 (ja) 1999-02-19 2007-10-17 富士フイルム株式会社 位置検出方法および装置並びに記録媒体
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image

Also Published As

Publication number Publication date
EP1206118B1 (en) 2008-08-20
JP2002152492A (ja) 2002-05-24
EP1206118A2 (en) 2002-05-15
US7072526B2 (en) 2006-07-04
EP1206118A3 (en) 2005-08-17
US20020085771A1 (en) 2002-07-04
DE60135428D1 (de) 2008-10-02

Similar Documents

Publication Publication Date Title
JP3983469B2 (ja) 画像処理装置、方法及び記録媒体
US7751640B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
US7756343B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
JP4473299B2 (ja) デジタル画像の処理方法
JP4780374B2 (ja) 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール
US7397969B2 (en) Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer
JP3913604B2 (ja) 証明写真の作成方法
US20070071346A1 (en) Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor
JP2006011685A (ja) 写真画像処理方法及びその装置
JP2005141477A (ja) 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
JP2005260657A (ja) 撮影装置、画像処理方法及びプログラム
JP2003085556A (ja) 画像処理装置およびプログラム
JP2005148915A (ja) 適正顔判別方法及びこの方法を実施する装置
JP4507082B2 (ja) キャッチライト合成方法
JP2002027240A (ja) 画像処理装置及びこれを用いた画像形成装置
JP2003187257A (ja) 画像作成システム
JP3862198B2 (ja) 証明写真撮影装置と画像処理装置及び証明写真作成システム
US20060103887A1 (en) Printer and print
JP2007200068A (ja) 写真画像処理方法及びその装置
JP3740150B2 (ja) インデックスプリント作成方法
JP2002042116A (ja) 画像処理装置、画像処理方法、記録媒体およびプリントシステム
JP2006059162A (ja) 歯画像補正方法及び装置
JP4512955B2 (ja) 画像形成装置
JP2007074664A (ja) 画像処理方法と画像処理プログラムと画像処理装置
JPH09161043A (ja) 文書画像入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050908

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3983469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees