JPH11225270A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置Info
- Publication number
- JPH11225270A JPH11225270A JP10301870A JP30187098A JPH11225270A JP H11225270 A JPH11225270 A JP H11225270A JP 10301870 A JP10301870 A JP 10301870A JP 30187098 A JP30187098 A JP 30187098A JP H11225270 A JPH11225270 A JP H11225270A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- lens
- chromatic aberration
- magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 176
- 230000004075 alteration Effects 0.000 claims abstract description 110
- 238000012937 correction Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 16
- 239000000463 material Substances 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000010354 integration Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 150000001768 cations Chemical class 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Projection-Type Copiers In General (AREA)
Abstract
ても、画像処理によって、倍率色収差、歪曲収差、周辺
光量低下、ピントボケ等を補正して、色ずれや歪等のな
い高画質な画像を出力できる画像処理方法および装置を
提供する。 【解決手段】光学的に撮影された画像から画像データを
得、画像データを可視像として再現する際における、光
学的に撮影された画像の収差倍を補正するに際し、画像
を撮影したレンズの特性と、画像の位置情報とから、倍
率色収差、歪曲収差、周辺光量、および画像ボケの少な
くとも一つを補正することにより、前記課題を解決す
る。
Description
れた画像を光電的に読み取り、この画像が再現されたプ
リント(写真)を得るデジタルフォトプリンタ等におい
て、レンズ付きフィルム、安価なコンパクトカメラやデ
ジタルカメラ等で撮影された画像で発生する、倍率色収
差や歪曲収差等の収差を補正する画像処理方法、および
この画像処理方法を利用する画像処理装置の技術分野に
属する。
ム等の写真フィルム(以下、フィルムとする)に撮影さ
れた画像の感光材料(印画紙)への焼き付けは、フィル
ムの画像を感光材料に投影して感光材料を面露光する、
いわゆる直接露光(アナログ露光)によって行われてい
る。
用する焼付装置、すなわち、フィルムに記録された画像
を光電的に読み取って、読み取った画像をデジタル信号
とした後、種々の画像処理を施して記録用の画像データ
とし、この画像データに応じて変調した記録光によって
感光材料を走査露光して画像(潜像)を記録し、(仕上
り)プリントとするデジタルフォトプリンタが実用化さ
れた。
タルの画像データとして、画像データ処理によって焼付
時の露光条件を決定することができるので、逆光やスト
ロボ撮影等に起因する画像の飛びやツブレの補正、シャ
ープネス(鮮鋭化)処理、カラーフェリアや濃度フェリ
アの補正、アンダー露光やオーバー露光の補正、周辺光
量不足の補正等を好適に行って、従来の直接露光では得
られなかった高品位なプリントを得ることができる。し
かも、複数画像の合成や画像分割、さらには文字の合成
等も画像データ処理によって行うことができ、用途に応
じて自由に編集/処理したプリントも出力可能である。
しかも、デジタルフォトプリンタによれば、デジタルカ
メラ等で撮影された画像(画像データ)からプリントを
作成することもでき、さらに、画像をプリント(写真)
として出力するのみならず、画像データをコンピュータ
等に供給したり、フロッピーディスク等の記録媒体に保
存しておくこともできるので、画像データを、写真以外
の様々な用途に利用することができる。
本的に、フィルムに記録された画像を光電的に読み取る
スキャナ(画像読取装置)、読み取った画像を画像処理
して記録用の画像データ(露光条件)とする画像処理装
置、および、この画像データに応じて感光材料を走査露
光して現像処理を施してプリントとするプリンタ(画像
記録装置)より構成される。
をフィルムに入射して、フィルムに撮影された画像を担
持する投影光を得て、この投影光を結像レンズによって
CCDセンサ等のイメージセンサに結像して光電変換す
ることにより画像を読み取り、必要に応じて各種の画像
処理を施した後に、フィルムの画像データ(画像データ
信号)として画像処理装置に送る。画像処理装置は、ス
キャナによって読み取られた画像データから画像処理条
件を設定して、設定した条件に応じた画像処理を画像デ
ータに施し、画像記録のための出力画像データ(露光条
件)としてプリンタに送る。プリンタでは、例えば、光
ビーム走査露光を利用する装置であれば、画像処理装置
から送られた画像データに応じて光ビームを変調して、
感光材料を二次元的に走査露光(焼付け)して潜像を形
成し、次いで、所定の現像処理等を施して、フィルムに
撮影された画像が再生されたプリント(写真)とする。
再生された画像の画質劣化の原因として、画像を撮影し
たカメラに装着されるレンズの性能に起因する倍率色収
差、歪曲収差、周辺光量低下、画像ピントボケ等のレン
ズの収差が挙げられる。カラー画像は、赤(R)、緑
(G)および青(B)の3原色によって形成されるが、
レンズの屈折率(結像倍率)は波長によって微妙に異な
るため、R、GおよびBの光の結像倍率が異り、すなわ
ち倍率色収差が生じる。その結果、フィルムに撮影され
た画像を再生すると、得られた画像に色ずれが生じてし
まう。また、適正な撮影画像を得るためには、シーン中
の光軸に垂直な平面は、光軸に対して垂直な同一平面上
に結像される必要がある。ところが、通常のレンズで
は、結像面が光軸方向にずれる、いわゆる歪曲収差を生
じて結像画像が歪み(ディストーションを生じ)、フィ
ルムに撮影された画像を再生すると、得られた画像が歪
みを有するものとなってしまう。さらに、レンズの性能
に応じて生じる、中心部よりも周辺部の方が画像が暗く
なってしまう周辺光量の低下や、ピント位置がフィルム
の面方向で異なることに起因する画像ボケすなわちピン
トボケ等も、画質劣化の原因となっている。
掛けられるカメラであれば、精度の高いレンズを用い、
さらに複数枚のレンズを組み合わせることにより、倍率
色収差や歪曲収差を補正して、フィルムに適正画像を撮
影することができる。しかしながら、レンズ付きフィル
ムや安価なコンパクトカメラでは、レンズにコストを掛
けることができないため、フィルムに撮影された画像に
倍率色収差や歪曲収差が生じてしまう。その結果、プリ
ントとして再生された画像が、色ずれや歪を有するもの
となってしまう。
価なコンパクトカメラやデジタルカメラによって撮影さ
れた画像であっても、画像処理によって、倍率色収差、
歪曲収差、周辺光量低下、ピントボケ等の収差を補正し
て、色ずれや歪等のない高画質な画像を出力することを
可能にする画像処理方法、およびこの画像処理方法を利
用する画像処理装置を提供することにある。
に、本発明の画像処理方法は、光学的に撮影された画像
から画像データを得、前記画像データを可視像として再
現する際における、前記光学的に撮影された画像の倍率
色収差、歪曲収差、周辺光量、および画像ボケの少なく
とも一つを補正する画像処理方法であって、前記画像を
撮影したレンズの特性と、前記画像の位置情報とから、
前記倍率色収差、歪曲収差、周辺光量、および画像ボケ
の少なくとも一つを補正することを特徴とする画像処理
方法を提供する。
撮影された画像から得られた画像データに所定の画像処
理を施し、出力用の画像データとする画像処理装置であ
って、前記画像を撮影した撮影レンズの判別情報を取得
する取得手段、撮影レンズ種に応じたレンズ特性を記憶
する記憶手段、および前記取得手段が取得した判別情報
に応じて、前記記憶手段から対応する撮影レンズのレン
ズ特性を受け取り、画像の位置情報とレンズ特性とか
ら、画像の倍率色収差、歪曲収差、周辺光量、ならびに
画像ボケの少なくとも一つを補正する補正手段を有する
ことを特徴とする画像処理装置を提供する。
報は、撮影時のレンズの光軸を基準とするものであるの
が好ましく、また、複数の撮影レンズ種に対応する補正
式を有し、前記記憶手段は、前記レンズ特性として、こ
の補正式の補正係数を記憶するのが好ましく、また、前
記補正手段が、倍率色収差に起因する3原色の基準とな
る色に対する他の色の画像のずれ量から、各画像の倍率
色収差を補正した画像位置を算出して画像の倍率色収差
を補正する、あるいは、歪曲収差に起因する画像のずれ
量から、各画像の歪曲収差を補正した画像位置を算出し
て画像の歪曲収差を補正する、あるいは、倍率色収差に
起因する3原色の基準となる色に対する他の色の画像の
ずれ量と、歪曲収差に起因する前記基準となる色の画像
のずれ量とから、各画像の倍率色収差および歪曲収差を
補正した画像位置を算出して、倍率色収差および歪曲収
差を補正するのが好ましく、また、前記補正手段が、前
記各画像の倍率色収差を補正した画像位置、もしくは前
記各画像の歪曲収差を補正した画像位置、もしくは前記
各画像の倍率色収差および歪曲収差を補正した画像位置
を用いて、電子変倍処理を行うことにより、倍率色収差
補正と電子変倍処理、あるいは歪曲収差補正と電子変倍
処理、あるいは倍率色収差および歪曲収差と電子変倍処
理のための補間演算処理を一度に行うのが好ましく、ま
た、前記取得手段は、フィルムに光学的もしくは磁気的
に記録されているレンズに関する情報、および/また
は、フィルムカートリッジに電気的に記録されているレ
ンズに関する情報を、判別情報として取得するのが好ま
しく、さらに、画像処理を施した出力用の画像データを
可視像として再現したプリントを出力する装置に接続さ
れるのが好ましい。
び画像処理装置について、添付の図面に示される好適実
施例を基に詳細に説明する。
本発明の画像処理装置を利用するデジタルフォトプリン
タの一例のブロック図が示される。図1に示されるデジ
タルフォトプリンタ(以下、フォトプリンタ10とす
る)は、基本的に、フィルムFに撮影された画像を光電
的に読み取るスキャナ(画像読取装置)12と、読み取
られた画像データ(画像情報)の画像処理やフォトプリ
ンタ10全体の操作および制御等を行う画像処理装置1
4と、画像処理装置14から出力された画像データに応
じて変調した光ビームで感光材料(印画紙)を画像露光
し、現像処理して(仕上り)プリントとして出力するプ
リンタ16とを有して構成される。また、画像処理装置
14には、様々な条件の入力(設定)、処理の選択や指
示、色/濃度補正などの指示等を入力するためのキーボ
ード18aおよびマウス18bを有する操作系18と、
スキャナ12で読み取られた画像、各種の操作指示、様
々な条件の設定/登録画面等を表示するディスプレイ2
0が接続される。
た画像を1コマずつ光電的に読み取る装置で、光源22
と、可変絞り24と、画像をR(赤)、G(緑)および
B(青)の三原色に分解するためのR、GおよびBの3
枚の色フィルタを有し、回転して任意の色フィルタを光
路に作用する色フィルタ板26と、フィルムFに入射す
る読取光をフィルムFの面方向で均一にする拡散ボック
ス28と、結像レンズユニット32と、フィルムの1コ
マの画像を読み取るエリアセンサであるCCDセンサ3
4と、アンプ(増幅器)36とを有して構成される。
ては、新写真システム(Advanced Photo System)や13
5サイズのネガ(あるいはリバーサル)フィルム等のフ
ィルムの種類やサイズ、ストリップスやスライド等のフ
ィルムの形態、トリミング等の処理の種類等に応じて、
スキャナ12の本体に装着自在な専用のキャリアが用意
されており、キャリアを交換することにより、各種のフ
ィルムや処理に対応することができる。フィルムに撮影
され、プリント作成に供される画像(コマ)は、このキ
ャリアによって所定の読取位置に搬送、保持される。ま
た、周知のように、新写真システムのフィルムには、磁
気記録媒体が形成され、カートリッジIDやフィルム種
等が記録されており、また、撮影時や現像時等に、撮影
日時、撮影に使用したカメラ、現像機の種類等の各種の
データが記録可能である。新写真システムのフィルム
(カートリッジ)に対応するキャリアには、この磁気情
報の読取手段が配置されており、フィルムを読取位置に
搬送する際に磁気情報を読み取り、前記各種の情報が画
像処理装置14に送られる。
22から射出され、可変絞り24によって光量調整さ
れ、色フィルタ板26を通過して色調整され、拡散ボッ
クス28で拡散された読取光が、キャリアによって所定
の読取位置に保持されたフィルムFの1コマに入射し
て、透過することにより、フィルムFに撮影されたこの
コマの画像を担持する投影光を得る。フィルムFの投影
光は、結像レンズユニット32によってCCDセンサ3
4の受光面に結像され、CCDセンサ34によって光電
的に読み取られ、その出力信号がアンプ36で増幅され
て、画像処理装置14に送られる。CCDセンサ34
は、例えば、1380×920画素のエリアCCDセン
サである。
読取を、色フィルタ板26の各色フィルタを順次挿入し
て3回行うことにより、1コマの画像をR,GおよびB
の3原色に分解して読み取る。ここで、フォトプリンタ
10においては、プリントを出力するための画像読み取
り(本スキャン)に先立ち、画像処理条件等を決定する
ために、画像を低解像度で読み取るプレスキャンを行
う。従って、1コマで、合計6回の画像読み取りが行わ
れる。
い、色フィルタ板26によって投影光を3原色に分解し
て画像を読み取っているが、本発明に利用されるスキャ
ナとしては、3原色のそれぞれの読み取りに対応する3
種のラインCCDセンサを用い、フィルムFをキャリア
で走査搬送しつつ画像を読み取るスリット走査によって
画像読み取りを行うものであってもよい。
バーサル等のフィルムに撮影された画像を光電的に読み
取るスキャナ12を画像処理装置14の画像データ供給
源としているが、画像処理装置14に画像データを供給
する画像データ供給源としては、スキャナ12以外に
も、反射原稿の画像を読み取る画像読取装置、デジタル
カメラやデジタルビデオカメラ等の撮像デバイス、LA
N(Local Area Network)やコンピュータ通信ネットワー
ク等の通信手段、メモリカードやMO(光磁気記録媒
体)等のメディア(記録媒体)等の、各種の画像読取手
段や撮像手段、画像データの記憶手段等が各種使用可能
である。すなわち、本発明は、デジタルカメラ等の撮像
デバイスで光学的に撮影された画像(画像データ)にも
好適に利用可能である。
号(画像データ)は、画像処理装置14に出力される。
図2に画像処理装置(以下、処理装置14とする)のブ
ロック図を示す。処理装置14は、データ処理部38、
プレスキャン(フレーム)メモリ40、本スキャン(フ
レーム)メモリ42、プレスキャン画像処理部44、本
スキャン画像処理部46、および条件設定部48を有し
て構成される。なお、図2は、主に画像処理関連の部位
を示すものであり、処理装置14には、これ以外にも、
処理装置14を含むフォトプリンタ10全体の制御や管
理を行うCPU、フォトプリンタ10の作動等に必要な
情報を記憶するメモリ、本スキャンの際の可変絞り24
の絞り値やCCDセンサ34の蓄積時間を決定する手段
等が配置され、また、操作系18やディスプレイ20
は、このCPU等(CPUバス)を介して各部位に接続
される。
Bの各出力信号は、A/D(アナログ/デジタル)変
換、Log変換、DCオフセット補正、暗時補正、シェ
ーディング補正等を行うデータ処理部38で処理されて
デジタルの画像データとされ、プレスキャン(画像)デ
ータはプレスキャンメモリ40に、本スキャン(画像)
データは本スキャンメモリ42に、それぞれ記憶(格
納)される。なお、プレスキャンデータと本スキャンデ
ータは、解像度(画素密度)と信号レベルが異なる以外
は、基本的に同じデータである。
スキャンデータはプレスキャン画像処理部44におい
て、本スキャンメモリ40に記憶された本スキャンデー
タは本スキャン画像処理部46において、それぞれ処理
される。プレスキャン画像処理部44は、画像処理部5
0および画像データ変換部52を有して構成される。他
方、本スキャン画像処理部46は、画像処理部54およ
び画像データ変換部58を有して構成される。
50(以下、処理部50とする)と、本スキャン画像処
理部46の画像処理部54(以下、処理部54とする)
は、共に、後述する条件設定部48が設定した画像処理
条件に応じて、スキャナ12によって読み取られた画像
(画像データ)に所定の画像処理を施す部位である。両
者は、処理する画像データの画素密度が異なり、また、
プレスキャン画像処理部44の処理部50が収差補正部
を有さない以外は、基本的に、同様の処理を行う。処理
部50および処理部54における画像処理としては、色
バランス調整、コントラスト補正(階調処理)、明るさ
補正、覆い焼き処理(濃度ダイナミックレンジの圧縮/
伸長)、彩度補正、シャープネス(鮮鋭化)処理等が例
示される。これらは、演算、LUT(ルックアップテー
ブル)による処理、マトリクス(MTX)演算、フィル
タによる処理等を適宜組み合わせた、公知の方法で行わ
れるものであり、図示例においては、色バランス調整、
明るさ補正およびコントラスト補正がLUTで行われ、
彩度補正がMTXで行われる。また、これ以外のシャー
プネス処理や覆い焼き処理等は、オペレータによる指示
や画像データ等に応じて、ブロック50Aおよびブロッ
ク54Aで行われる。
部54のMTXとブロック54Aとの間には、倍率色収
差および歪曲収差の補正、ならびに電子変倍処理を行
う、収差補正部56が配置される。また、収差補正部5
6には、レンズ特性データ供給部60が接続される。本
発明にかかる処理装置14においては、必要に応じて、
この収差補正部56において、レンズ特性および画像の
位置情報を用いて、画像処理によってフィルムFに撮影
された画像の倍率色収差および歪曲収差を補正してお
り、これにより色ズレや歪のない、高画質な画像が再現
されたプリントを安定して出力することを実現してい
る。
理部44の処理部50にも収差補正部を配置し、ディス
プレイ20に表示する画像にも、倍率色収差や歪曲収差
等の補正を行ってもよいのはもちろんである。
データ供給部60とする)は、フィルムFを撮影したカ
メラを判別する判別情報を取得し、得られた判別情報に
対応する撮影カメラに応じたレンズ特性を収差補正部5
6に供給する部位である。
判別情報、およびその取得手段には特に限定はなく、各
種の方法が利用可能である。例えば、フィルムFが前述
の新写真システムのレンズ付きフィルムである場合に
は、フィルムFに記録された磁気情報をスキャナ12の
キャリアで読み取り、磁気記録されたカートリッジID
やフィルム種等を利用してレンズ付きフィルムの機種す
なわちカメラを判別してもよく、フィルムに光学的に記
録されている拡張DXコードの「SSU INDICA
TOR」をキャリアで光学的に読み取り、これを利用し
てもよい。また、新写真システムに対応するカメラに
は、フィルムFにカメラの機種を磁気記録する機能を有
する機種もあるので、これを利用してフィルムFを撮影
したカメラを判別してもよい。また、受け付け時に、レ
ンズ付きフィルムの機種や、あるいは撮影カメラの機種
を顧客から聞いて、メモ、パッケージ、パトローネ、カ
ートリッジ等に記録しておき、プリント作成時にオペレ
ータがこれを見てキーボード18aでカメラの機種を入
力してもよく、カメラの機種に代えてファンクションキ
ー等とカメラとの対応を決定しておき、これを用いて入
力してもよい。さらに、撮影時にフィルムにカメラの機
種を光学的に焼き付け、これを読み取ってカメラの機種
を判別してもよい。レンズ付きフィルムであれば、製造
時等にレンズ付きフィルムの機種をDXコード等のよう
に光学的に焼付けておき、あるいは磁気記録しておき、
これらを用いて機種を判別してもよい。また、ICメモ
リ付きのフィルムカートリッジであれば、このICメモ
リにカメラの機種等を電気的に記録しておき、これを用
いて機種を判別してもよい。
のメモリには、各種のカメラの機種に応じたレンズ特性
の情報、具体的には、各種のレンズの倍率色収差および
歪曲収差の特性の情報が記憶されている。特性データ供
給部60は、取得したカメラの判別情報から、それに応
じたレンズ特性の情報をメモリから読み出し、これを収
差補正部56に供給する。なお、レンズ特性は特性デー
タ供給部60が有するメモリに記憶されるのに限定はさ
れず、例えば、プリンタ10に接続されるデータベース
に記憶しておき、此所にアクセスして読み出してもよ
く、あるいは、フィルムFの読み取り時にフィルムに対
応するレンズの情報として外部から入力されてもよい。
倍率色収差や歪曲収差を行うための各レンズ種に対応す
る補正関数や補正係数であってもよい。あるいは、複数
のレンズ種、好ましくは、プリンタ10で処理する主た
るレンズ種に対応する、倍率色収差や歪曲収差補正を行
うための基本的な補正関数(補正式)を記憶しておき、
この補正式にかかる補正関数や補正係数を各レンズに対
応するレンズ特性として記憶してもよい。また、一般的
に、レンズの倍率色収差の特性や歪曲収差の特性は、レ
ンズの光軸すなわちフィルムFに撮影された画像の中心
からの距離(例えば、x−yで示される)をパラメータ
とする3次関数である程度まで近似することができるの
で、倍率色収差や歪曲収差の補正が必要な各種のカメラ
に対応して、それに応じた倍率色収差の特性を示す関数
および歪曲収差の特性を示す関数を、レンズ特性として
記憶してもよい。なお、この関数を、4次、5次…とよ
り高次にすることにより、それに従って、より高精度な
補正を行うことができるが、ハードウェアにかかる負担
が大きくなり、また、処理時間も増大するので、要求さ
れる補正精度やフォトプリンタに要求される処理能力等
に応じて決定すればよい。
から供給されたフィルムFの撮影レンズ特性と、画像デ
ータ(画素)の位置の情報、例えば、画像の中心(撮影
レンズの光軸の中心)からの座標位置(中心の画素から
何画素目か)とを用いて、倍率色収差および歪曲収差の
補正、ならびに電子変倍処理を行う。なお、この際にお
いて、マスク等によって切り出された画像の中心が、ほ
ぼ撮影時のレンズの光軸の中心と考えられる場合には、
切り出された画像の中心の画素をレンズの光軸の中心と
して、各種の収差(歪曲収差、倍率色収差、周辺光量低
下、画像ボケ)を補正してもよい。
でもよい。また、画像データの位置の情報は画像の中心
を基準とするのに限定はされず、各種のものが利用可能
であり、例えば、画像の角部(左上角等)や、ある画素
(例えば画素番号1番の画素)等を基準としてもよく、
さらに画像の外部、例えばフィルムFのパーフォレーシ
ョン等を基準としてもよい。すなわち、本発明では画像
(画素)の位置が相対的に検出できれば、各種の位置情
報が利用可能である。
下、画素位置とする)とを用いた倍率色収差および歪曲
収差の補正を別々に行うと、演算に時間がかかり、ま
た、補間演算も複数回行う必要が生じるため、画質が劣
化するという問題がある。そのため、本発明において
は、好ましくは、R、GおよびBの3原色の基準となる
色、通常はGを基準として、RおよびBの像倍率を変換
して、RおよびBの画像をG画像に合わせることで倍率
色収差を補正し、その後、G画像に対応して歪曲収差を
補正する。これにより、収差を補正した各画素の適正位
置を算出し、これを用いて、各画素の画像データを補間
演算することによって、フィルムに撮影された画像の倍
率色収差および歪曲収差を補正した画像データを得るこ
とができる。従って、歪曲収差についてはG画像に対す
る演算のみを行えばよいので、演算量や補間演算を減ら
して、より好適な倍率色収差および歪曲収差の補正を行
うことができる。
タ処理による画像の拡大もしくは縮小、すなわち、画像
の電子変倍を行って、画像(画像データ)を出力画像に
応じたサイズにして出力する。この電子変倍処理は、通
常、画像データを補間演算することにより行われる。と
ころが、前記倍率色収差および歪曲収差の補正でも補間
演算が行われているため、結果的に、2回の補間が行わ
れる結果となり、画質が劣化してしまう場合もある。
くは、前記レンズ特性と画像データの画素位置とを用い
て、倍率色収差に起因する基準色(G)に対するRおよ
びBの画素位置のずれ量と、歪曲収差に起因する基準色
の画素位置のずれ量とから、各画素毎の適正位置を算出
し、算出された各画素の適正位置の情報を用いて、画像
データを補間して画像の電子変倍処理を行う。言い換え
れば、倍率色収差および歪曲収差による画素位置のずれ
量を算出することにより、各画素が本来どの位置にある
べきであるかを知見し、この適正な位置に応じて画像デ
ータの補間演算を行って電子変倍処理を行う。これによ
り、1回の補間演算で、倍率色収差および歪曲収差の補
正と、電子変倍処理を行うことができる。
いて、倍率色収差および歪曲収差の補正と、電子変倍処
理とを行う部位であり、図3の概念図に示されるよう
に、座標変換処理部56Aと、拡大縮小処理部56Bと
を有して構成される。なお、図3において、ir,ig
およびibは、それぞれMTXから供給された画像デー
タ(入力画像データ)の画素位置(アドレス)を;I
r,IgおよびIbは、倍率色収差および歪曲収差を補
正された画像データの画素位置を;ΔrおよびΔbは、
それぞれ倍率色収差によるGの画素位置に対するRおよ
びBの画素位置のずれ量(すなわち補正量)を;Dは、
歪曲収差によるGの画素位置のずれ量を; それぞれ示
す。
像データが供給されると、座標変換処理部56Aにおい
て、特性データ供給部60から供給されたレンズ特性を
用いて、RおよびBの画像データの各画素位置irおよ
びibにおける、Gの画像データigに対する倍率色収
差によるずれ量ΔrおよびΔbを算出し、さらに、Gの
入力画像データigの歪曲収差によるずれ量Dを算出す
る。
画像データの各画素位置irに前記ΔrとDを加えて、
倍率色収差および歪曲収差を補正されたRの画像データ
の画素位置Irを算出し、Bの入力画像データの各画素
位置ibに前記ΔbとDを加えて、倍率色収差および歪
曲収差を補正されたBの画像データの画素位置Ibを算
出し、Gの入力画像データの各画素位置igに前記Dを
加えて、倍率色収差および歪曲収差を補正されたBの画
像データの画素位置Ibを算出する。すなわち、この計
算では、G画像を基準として、R画像およびB画像の倍
率色収差を補正して、全画像をG画像に位置合わせし
て、G画像の歪曲収差によるずれ量Dを用いて、全体の
歪曲収差を補正して、R,GおよびBの各画像の倍率色
収差および歪曲収差を補正された画素位置を算出してい
る。
この倍率色収差および歪曲収差を補正された画素位置I
r,IgおよびIbを用いて、拡大/縮小倍率に応じた
画像データの補間処理(N倍補間)を行うことにより画
像の変倍を行い、倍率色収差および歪曲収差を補正さ
れ、かつ電子変倍処理を行われた画像データとして、ブ
ロック54Aに出力する。電子変倍処理の方法には特に
限定はなく、公知の方法が各種利用可能であり、例え
ば、バイリニア補間を用いる方法、スプライン補間を用
いる方法等が例示される。
別情報を取得しなかった場合、および特性データ供給部
60が取得したカメラの判別情報に対応するレンズ特性
が無かった場合、さらに、倍率色収差および歪曲収差補
正のキャンセルが指示された場合には、収差補正部56
は、拡大縮小処理部56Bにおける電子変倍処理のみを
行って画像データをブロック54Aに供給する。
して、収差補正部56において歪曲収差および倍率色収
差の両者を補正しているが、本発明はこれに限定はされ
ず、レンズ特性として倍率色収差もしくは歪曲収差のい
ずれか一方の特性のみを記憶しておき、これと画素位置
とを用いて、いずれか一方の収差のみを補正してもよ
い。この場合は、例えば、倍率色収差もしくは歪曲収差
に起因するズレ量を補正した適正位置を算出し、これを
用いて対応する収差を補正した後に、公知の方法で電子
変倍処理を行ってもよいが、好ましくは、前述の方法と
同様に、倍率色収差もしくは歪曲収差に起因するズレ量
を補正した適正位置を算出し、この適正位置の情報を用
いて画像データの補間を行って電子変倍処理を行い、収
差の補正と電子変倍とを行うのが好ましい。これによ
り、同様に、補間演算を減らし、補間に起因する画質の
劣化を低減することができる。
び/または倍率色収差のみならず、レンズに起因するピ
ントボケ(PSF:Point Spread Function)や、周辺光
量低下等の収差を補正するためのレンズ特性も記憶して
おき、歪曲収差および/または倍率色収差に加え、ある
いは、これに変えて、ピントボケおよび/または周辺光
量低下を補正してもよい。
ータは、画像データ変換部52および58に送られる。
プレスキャン画像処理部44の画像データ変換部52
は、処理部50によって処理された画像データを、3D
(三次元)−LUT等を用いて変換して、ディスプレイ
20による表示に対応する画像データにする。他方、本
スキャン画像処理部46の画像データ変換部58は、同
様に、処理部54によって処理された画像データを3D
−LUTを用いて変換し、プリンタ16による画像記録
に対応する画像データとしてプリンタ16に供給する部
位である。
た画像データを、プリンタ16以外にも、フロッピーデ
ィスクやMO等の記録媒体、コンピュータ、通信ネット
ワーク等に出力することも可能である。また、プレスキ
ャン画像処理部44にも収差補正部を設け、収差補正を
施した画像をディスプレイ20に表示してもよいのは前
述のとおりであり、あるいは、本スキャン画像処理部4
6で処理した収差補正を施した画像データを、必要に応
じて間引いてディスプレイ20あるいは他の表示手段に
表示してもよい。
ャン画像処理部46による各種の処理条件は、条件設定
部48によって設定される。この条件設定部48は、画
像処理条件設定部72、キー補正部74およびパラメー
タ統合部76を有して構成される。
2とする)は、施す画像処理を選択すると共に、プレス
キャンデータを用いて、処理部50および60における
画像処理条件を設定し、パラメータ統合部76に供給す
る。具体的には、設定部72は、プレスキャンデータか
ら、濃度ヒストグラムの作成や、平均濃度、LATD
(大面積透過濃度)、ハイライト(最低濃度)、シャド
ー(最高濃度)等の画像特徴量の算出等を行い、加え
て、必要に応じて行われる操作系18を用いたオペレー
タによる指示に応じて、前述のグレイバランス調整、明
るさ補正、およびコントラスト補正のテーブル(LU
T)の作成、彩度補正を行うマトリクス演算の作成等の
画像処理条件を決定する。
定された明るさ、色、コントラスト、シャープネス、彩
度調等を調整するキーやマウス18bで入力された各種
の指示等に応じて、画像処理条件の調整量(例えば、L
UTの補正量等)を算出し、パラメータ統合部76に供
給するものである。パラメータ統合部76は、設定部7
2が設定した画像処理条件を受け取り、供給された画像
処理条件をプレスキャン画像処理部44の処理部50お
よび本スキャン画像処理部46の処理部54に設定し、
さらに、キー補正部74で算出された調整量に応じて、
各部位に設定した画像処理条件を補正(調整)し、ある
いは画像処理条件を再設定する。
述のように、プレスキャンメモリ40にプレスキャンデ
ータが記憶されると、設定部72がこれを読み出し、濃
度ヒストグラムの作成や画像特徴量の算出等を行い、こ
れを用いて、画像処理条件を設定(LUTやMTXの作
成)してパラメータ統合部76に送る。これと平行し
て、可変絞り24の絞り値決定等の本スキャンの読取条
件が設定されてスキャナ12が調整され、次いで、スキ
ャナ12では本スキャンが行われ、本スキャンデータ
が、順次、本スキャンメモリ40に転送・記憶される。
aやマウス18bによって入力された各種の指示や情
報、スキャナ12(キャリア)で読み取られたフィルム
Fの磁気情報が送られており、前述のようにしてカメラ
の判別情報が入力された場合には、これが特性データ供
給部60に送られる。
部76は、これを、プレスキャン画像処理部44の処理
部50、および本スキャン画像処理部46の処理部54
の所定部位(ハードウエア)に設定する。次いで、プレ
スキャンメモリ40からプレスキャンデータが読み出さ
れ、処理部50において設定された画像処理条件で処理
されて、画像データ変換部52で変換されて、所定の処
理を施されたプレスキャン画像が、ディスプレイ20に
表示される。この際、ディスプレイ20に表示する画像
にも、先と同様にして倍率色収差や歪曲収差の補正を行
ってもよい。
見て、画像すなわち処理結果の確認(検定)を行い、必
要に応じて、キーボード18aに設定された前記各キー
等を用いて色/濃度、階調等を調整する。この調整の入
力は、キー補正部74に送られ、キー補正部74は調整
入力に応じた画像処理条件の補正量を算出し、これをパ
ラメータ統合部76に送る。パラメータ統合部76は、
送られた補正量に応じて、前述のように、処理部50お
よび処理部54のLUTやMTXを補正し、この補正す
なわちオペレータによる調整入力に応じて、ディスプレ
イ20に表示される画像も変化する。
れる画像が適正である判定(検定OK)すると、キーボ
ード18a等を用いてプリント開始を指示する。これに
より、画像処理条件が確定し、本スキャンメモリ40か
ら本スキャンデータが読み出され、本スキャン画像処理
部46の処理部54送られる。
TおよびMTXで処理された後、収差補正部56に送ら
れる。一方、特性データ供給部60は、取得したカメラ
の判別情報から、対応するレンズ特性を読み出し、これ
を収差補正部56に送る。収差補正部56は、レンズ特
性と画像データの画素位置とから、前述のようにして、
座標変換処理部56Aにおいて、倍率色収差および歪曲
収差を補正した画素位置Ir,IgおよびIbを算出し
て、これを拡大縮小処理部56Bに送り、拡大縮小処理
部56Bでは、この画素位置Ir,IgおよびIbを用
いて、拡大/縮小率に応じた画像データのN倍補間を行
って画像の電子変倍を行い、倍率色収差および歪曲収差
の補正、ならびに電子変倍処理を施された画像データと
してブロック54Aに出力する。なお、座標変換処理部
56Aでの画素位置Ir,IgおよびIbの算出は、画
像データの供給に先立ち、特性データ供給部60からレ
ンズ特性の情報を受けた時点で行ってもよい。
おいてシャープネス処理や覆い焼き処理等の必要な画像
処理を施され、画像データ変換部58に送られ、画像デ
ータ変換部58においてプリンタ16による画像記録に
応じた画像データに変換され、プリンタ16に送られ
る。なお、検定を行わない場合には、パラメータ統合部
76による本スキャン画像処理部46の処理部54への
画像処理条件の設定を終了した時点で画像処理条件が確
定し、自動的に本スキャンデータの処理を行って、プリ
ンタ16に送る。これらは、作業モード等で選択できる
ようにするのが好ましい。
画像データは、プリンタ16に送られる。プリンタ16
は、感光材料(印画紙)を画像データに応じて露光して
潜像を記録し、感光材料に応じた現像処理を施して(仕
上り)プリントとして出力するものである。例えば、感
光材料をプリントに応じた所定長に切断した後に、バッ
クプリントの記録、感光材料(印画紙)の分光感度特性
に応じた、赤(R)露光、緑(G)露光および青(B)
露光Gの3種の光ビームを画像データ(記録画像)に応
じて変調すると共に、主走査方向に偏向し、主走査方向
と直交する副走査方向に感光材料を搬送することによる
潜像の記録等を行い、潜像を記録した感光材料に、発色
現像、漂白定着、水洗等の所定の湿式現像処理を行い、
乾燥してプリントとした後に、仕分けして集積する。
理装置について詳細に説明したが、本発明は上記実施例
に限定はされず、本発明の要旨を逸脱しない範囲におい
て、各種の改良および変更を行ってもよいのはもちろん
である。
よれば、レンズ付きフィルム、安価なコンパクトカメラ
やデジタルカメラ等で撮影された画像であっても、画像
処理によって撮影画像の倍率色収差や歪曲収差等を補正
することができるので、色ずれや歪等のない高画質な画
像を安定して出力することができる。
ォトプリンタの一例のブロック図である。
像処理装置の一例のブロック図である。
概念図である。
Claims (9)
- 【請求項1】光学的に撮影された画像から画像データを
得、前記画像データを可視像として再現する際におけ
る、前記光学的に撮影された画像の倍率色収差、歪曲収
差、周辺光量、および画像ボケの少なくとも一つを補正
する画像処理方法であって、 前記画像を撮影したレンズの特性と、前記画像の位置情
報とから、前記倍率色収差、歪曲収差、周辺光量、およ
び画像ボケの少なくとも一つを補正することを特徴とす
る画像処理方法。 - 【請求項2】前記画像の位置情報は、撮影時のレンズの
光軸を基準とするものである請求項1に記載の画像処理
方法。 - 【請求項3】光学的に撮影された画像から得られた画像
データに所定の画像処理を施し、出力用の画像データと
する画像処理装置であって、 前記画像を撮影した撮影レンズの判別情報を取得する取
得手段、撮影レンズ種に応じたレンズ特性を記憶する記
憶手段、および前記取得手段が取得した判別情報に応じ
て、前記記憶手段から対応する撮影レンズのレンズ特性
を受け取り、画像の位置情報とレンズ特性とから、画像
の倍率色収差、歪曲収差、周辺光量、ならびに画像ボケ
の少なくとも一つを補正する補正手段を有することを特
徴とする画像処理装置。 - 【請求項4】前記画像の位置情報は、撮影時のレンズの
光軸を基準とするものである請求項3に記載の画像処理
装置。 - 【請求項5】複数の撮影レンズ種に対応する補正式を有
し、前記記憶手段は、前記レンズ特性として、この補正
式の補正係数を記憶する請求項3または4に記載の画像
処理装置。 - 【請求項6】前記補正手段が、倍率色収差に起因する3
原色の基準となる色に対する他の色の画像のずれ量か
ら、各画像の倍率色収差を補正した画像位置を算出して
画像の倍率色収差を補正する、 あるいは、歪曲収差に起因する画像のずれ量から、各画
像の歪曲収差を補正した画像位置を算出して画像の歪曲
収差を補正する、 あるいは、倍率色収差に起因する3原色の基準となる色
に対する他の色の画像のずれ量と、歪曲収差に起因する
前記基準となる色の画像のずれ量とから、各画像の倍率
色収差および歪曲収差を補正した画像位置を算出して、
倍率色収差および歪曲収差を補正する、請求項3〜5の
いずれかに記載の画像処理装置。 - 【請求項7】前記補正手段が、前記各画像の倍率色収差
を補正した画像位置、もしくは前記各画像の歪曲収差を
補正した画像位置、もしくは前記各画像の倍率色収差お
よび歪曲収差を補正した画像位置を用いて、電子変倍処
理を行うことにより、倍率色収差補正と電子変倍処理、
あるいは歪曲収差補正と電子変倍処理、あるいは倍率色
収差および歪曲収差と電子変倍処理のための補間演算処
理を一度に行う請求項6に記載の画像処理装置。 - 【請求項8】前記取得手段は、フィルムに光学的もしく
は磁気的に記録されているレンズに関する情報、および
/または、フィルムカートリッジに電気的に記録されて
いるレンズに関する情報を、判別情報として取得する請
求項3〜7のいずれかに記載の画像処理装置。 - 【請求項9】画像処理を施した出力用の画像データを可
視像として再現したプリントを出力する装置に接続され
る請求項3〜8のいずれかに記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30187098A JP3549413B2 (ja) | 1997-12-04 | 1998-10-23 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33394397 | 1997-12-04 | ||
JP9-333943 | 1997-12-04 | ||
JP30187098A JP3549413B2 (ja) | 1997-12-04 | 1998-10-23 | 画像処理方法および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11225270A true JPH11225270A (ja) | 1999-08-17 |
JP3549413B2 JP3549413B2 (ja) | 2004-08-04 |
Family
ID=26562906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30187098A Expired - Fee Related JP3549413B2 (ja) | 1997-12-04 | 1998-10-23 | 画像処理方法および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3549413B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1306827C (zh) * | 2003-04-30 | 2007-03-21 | 索尼株式会社 | 图像处理设备、图像处理方法及图像捕获设备 |
JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
US7433089B2 (en) | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
JP2009020894A (ja) * | 2008-08-04 | 2009-01-29 | Olympus Corp | 画像処理装置 |
US8988581B2 (en) | 2010-11-30 | 2015-03-24 | Canon Kabushiki Kaisha | Image pickup apparatus and control method thereof |
JPWO2021171487A1 (ja) * | 2020-02-27 | 2021-09-02 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5055587B2 (ja) | 2007-02-07 | 2012-10-24 | 株式会社ニコン | 画像処理装置および画像処理方法 |
JP5078148B2 (ja) | 2008-03-10 | 2012-11-21 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
-
1998
- 1998-10-23 JP JP30187098A patent/JP3549413B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7433089B2 (en) | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
CN1306827C (zh) * | 2003-04-30 | 2007-03-21 | 索尼株式会社 | 图像处理设备、图像处理方法及图像捕获设备 |
JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
JP2009020894A (ja) * | 2008-08-04 | 2009-01-29 | Olympus Corp | 画像処理装置 |
US8988581B2 (en) | 2010-11-30 | 2015-03-24 | Canon Kabushiki Kaisha | Image pickup apparatus and control method thereof |
JPWO2021171487A1 (ja) * | 2020-02-27 | 2021-09-02 |
Also Published As
Publication number | Publication date |
---|---|
JP3549413B2 (ja) | 2004-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6853400B1 (en) | System and method for correcting aberration of lenses through which images are projected | |
JP3766308B2 (ja) | カメラおよび画像形成システム | |
US6646760B1 (en) | Image processing method and apparatus | |
US20020118964A1 (en) | Pseudo-zoom camera and image processing system using the pseudo-zoom camera | |
US6324345B1 (en) | Photographic film with recorded information, method of acquiring the information recorded on photographic film, image processing method using the acquired information, and print system using the same | |
JP3998369B2 (ja) | 画像処理方法および画像処理装置 | |
US6584287B2 (en) | Camera and image forming system using the camera | |
JP3451202B2 (ja) | 画像処理方法 | |
JP3549413B2 (ja) | 画像処理方法および画像処理装置 | |
US6639690B1 (en) | Print system | |
JPH11177802A (ja) | 画像処理装置 | |
JP3783817B2 (ja) | 画像処理方法および画像処理装置 | |
US7119923B1 (en) | Apparatus and method for image processing | |
JP3667929B2 (ja) | 画像読取装置 | |
JP2001086332A (ja) | 画像処理装置 | |
JP3631370B2 (ja) | 画像処理方法および画像処理装置 | |
JPH1169277A (ja) | 画像処理方法および装置 | |
JP3625370B2 (ja) | 画像処理方法および画像処理装置 | |
JP2000324339A (ja) | 画像処理方法および画像処理装置 | |
JP3434716B2 (ja) | 画像処理方法および画像処理装置 | |
JP4204673B2 (ja) | 画像処理方法および画像処理装置 | |
JP3653661B2 (ja) | 画像処理装置 | |
JP2000076428A (ja) | 収差補正方法 | |
JP2000092309A (ja) | 画像処理方法および画像処理装置 | |
JP2004120480A (ja) | 画像処理方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040204 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040420 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110430 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |