[go: up one dir, main page]

JP2010199650A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2010199650A
JP2010199650A JP2009038812A JP2009038812A JP2010199650A JP 2010199650 A JP2010199650 A JP 2010199650A JP 2009038812 A JP2009038812 A JP 2009038812A JP 2009038812 A JP2009038812 A JP 2009038812A JP 2010199650 A JP2010199650 A JP 2010199650A
Authority
JP
Japan
Prior art keywords
chromatic aberration
linear function
region
pixel
optical center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009038812A
Other languages
English (en)
Inventor
Yuji Watarai
祐司 渡会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2009038812A priority Critical patent/JP2010199650A/ja
Priority to US12/638,210 priority patent/US8610801B2/en
Publication of JP2010199650A publication Critical patent/JP2010199650A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】より少ないハードウェア量で、画像周辺部の倍率色収差の補正を適切に行い得る画像処理装置および画像処理方法画像処理装置および画像処理方法を提供する。
【解決手段】撮像光学系による光像を光電変換する撮像センサ11と、撮影光学系の色収差によるずれ量に応じて撮像画像データに対する色収差補正を行う色収差補正部22と、を備え、色収差補正部22において、撮像画像データの画像面内の、光学中心に相対的に近い第1領域と、光学中心から離れた周辺の第2領域とにおいて、該第1領域および第2領域内の注目画素についてそれぞれ光学中心からの距離をパラメータとする第1線型関数および第2線型関数を用いて色収差補正を行う。
【選択図】図1

Description

本発明は、撮影光学系の倍率色収差によるずれ量に応じて撮像画像データに対する色収差補正を行う画像処理装置および画像処理方法に関する。
デジタルであるか否かを問わず、レンズを利用したスティルカメラやビデオカメラには、収差と呼ばれる結像誤差が発生する。この収差には幾つかの種類が存在し、色収差はそれらのうちの一つであり、結像位置が色によって異なるために生じる収差である。レンズを構成しているガラスの屈折率が波長によって異なるのが原因であり、軸上色収差と倍率色収差とがある。倍率色収差は、結像位置で各画像の倍率が異なり、光学中心(光軸)から周辺部に近づくにつれて、青、緑、赤と波長が長くなるにつれて倍率が大きくなるというものである。
近年の装置の小型化、軽量化、低コスト化等の要請から、画像処理による倍率色収差の補正は必須となっており、種々の手法が提案されている。例えば特開平5−3568号公報に開示の「ビデオカメラ装置」では、ズーム、フォーカス等の撮影レンズの状態に応じて、各色毎に記憶された画素情報をメモリ上で2次元的にベクトル移動した後に再びR,G,Bの合成を行い、倍率色収差による色ずれを補正する手法が提案されている。
また、特開平6−113309号公報に開示の「ディジタルビデオカメラ」では、R,G,Bの信号に対して、光学系レンズ固有の色収差に応じた焦点距離補正値を用いてそれぞれ色収差補正を行う手法が提案されている。
ところで、レンズ光学系は光軸を中心として点対称であるから、倍率色収差によるずれ量も光学中心からの距離に依存する。この光学中心からの距離と収差量(倍率色収差によるずれ量)の関係、即ち収差量特性の一例を図12(a)に例示する。この収差量特性はレンズ構成によって変わるため種々の特性形状があるが、例示のように基本的に非線型であると考えられている。
したがって、光学中心からの距離をパラメータとする線型関数でこの収差量特性を近似してずれ量を求める場合には、図12(b)に示すように、光学中心から相対的に離れた距離の画素については実際の収差量から大きく乖離したものとなる。つまり、光学中心からの距離をパラメータとする線型関数で収差量特性を近似してずれ量を求める場合、光学中心から離れた画像の四隅周辺部について倍率色収差の補正が適切になされないという事情がある。
このような事情に対処する一手法として、光学中心からの距離をパラメータとする3次関数でこの収差量特性を近似してずれ量を求めるものがある。例えば、特開2000−69343号公報に開示の「デジタル撮像装置」では、R,G,Bの3原色の標準となるGを基準として、RおよびBの像倍率を変換して、RおよびBの画像をGの画像に合わせることで倍率色収差を補正する手法が提案されている。
また、特開2004−241991号公報に開示の「撮像装置、画像処理装置及び画像処理プログラム」では、光学中心からの距離を求め、これを3次関数に代入することで、RおよびB成分の補正移動量を算出して補正することで、色収差を補正する手法が提案されている。
特開平5−3568号公報 特開平6−113309号公報 特開2000−69343号公報 特開2004−241991号公報
本発明は、上記従来の事情に鑑みてなされたものであって、より少ないハードウェア量(計算量)で、光学中心から離れた画像周辺部においても倍率色収差の補正を適切に行い、装置コストの低減を可能とした画像処理装置および画像処理方法を提供することを目的としている。
撮像光学系による光像を光電変換する撮像手段と、前記撮影光学系の色収差によるずれ量を線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う色収差補正手段と、を備えた画像処理装置であって、前記色収差補正手段は、前記撮像画像データの画像面のうち、光学中心を含む第1領域における注目画素については光学中心からの距離をパラメータとする第1線型関数色収差補正するとともに、光学中心が含まれない、前記第1の領域とは異なる第2領域における注目画素については光学中心からの距離をパラメータとする、前記第1線型関数とは異なる第2線型関数を用いて色収差補正を行う。
より少ないハードウェア量(計算量)で、光学中心から離れた画像周辺部においても倍率色収差の補正を適切に行い、装置コストの低減を可能とした画像処理装置および画像処理方法を提供することができる。
本発明の一実施例に係るデジタルカメラの構成図である。 実施例における信号処理部13の構成図である。 実施例における色収差補正部22の構成図である。 色収差補正部22における色収差補正処理を説明するフローチャートである。 色収差補正処理を概念的に説明する説明図である。 4000×3000ベイヤデータの光学中心設定例の説明図である。 線型補正移動量の説明図である。 移動量クリップ部33におけるクリップ後移動量の説明図である。 コーナー補正部34におけるコーナー補正対象領域の説明図である。 コーナー補正処理における象限判定係数の説明図である。 コーナー補正処理を概念的に説明する説明図である。 図12(a)は収差量特性を例示する説明図であり、図12(b)は従来の線型補正特性を例示する説明図である。 図13(a)はクリップ処理を行わない場合の本発明における補正特性を例示する説明図であり、図13(b)はクリップ処理を行う場合の本発明における補正特性を例示する説明図である。 変形例における欠落箇所の画素値のバイリニア補間を説明する説明図(その1)である。 変形例における欠落箇所の画素値のバイリニア補間を説明する説明図(その2)である。 色収差特性測定チャートを例示する説明図である。 色収差特性測定チャートによる色収差を拡大して例示する説明図である。
以下、本発明の画像処理装置および画像処理方法の実施例について、〔実施例〕、〔変形例〕の順に図面を参照して詳細に説明する。なお、以下では、画像処理装置としてデジタルカメラに本発明を適用した場合について説明するが、撮像光学系による光像を光電変換する撮像手段を備え、デジタル画像データを扱うものであればどのような装置であっても良い。
図1は本発明の一実施例に係るデジタルカメラの構成図である。
同図において、本実施例のデジタルカメラ10は、撮像センサ(撮像手段)11、検波部12、信号処理部13、JPEG(Joint Photographic Experts Group)エンコード部14、外部メモリインターフェース15、SDRAM(Synchronous DRAM)16、コントローラ17、並びに、CFやSD等の携帯型メモリカードからなる外部記録媒体18を備えて構成されている。
撮像センサ11は、例えばCCDイメージセンサやCMOSイメージセンサからなり、水平方向および垂直方向に平面状に配置された複数の画素を有する。撮像センサ11は、光学レンズ等を通じて被写体から入射した光をこれらの画素において電気信号に変換すると共に、該電気信号をA/D変換部(図示せず)でデジタル信号に変換してなる撮像画像データを、検波部12を通じてSDRAM16に格納する。なお、カラー撮像方式には、撮像デバイス1個でRGB信号を得る単板式と、撮像デバイス3個でRGB信号を得る3板式とがあるが、本発明は単板式または3板式の何れであっても良い。
また、撮像センサ11は、水平方向のラインをなす一連の画素の電気信号を垂直方向に順次転送しつつ、垂直方向端部に転送された一連の画素の電気信号を水平方向に順次転送する態様で、画像全体の撮像画像データを形成・出力する。撮像センサ11を構成する複数の画素は、RGBのフィルタを介したいわゆるベイヤ配列となっており、撮像画像データは、ベイヤ配列のデータ(ベイヤデータ)として取得される。そして、撮像画像データを形成する各画素の特徴量である画素値は、RGBの何れかと関連付けられて取得される。なお、検波部12は、撮像画像データを通じて画像全体から評価値を取得する。
ここで、ベイヤ配列のデータ(ベイヤデータ)は、後の説明で使用する図5に示すように、輝度信号の寄与する割合の大きいGを市松状に配置し、残りの部分にR,Bをさらに市松状に配置したものである。なお、同図では、Rの横のG成分をGr、Bの横のG成分をGbとして表している。
また、信号処理部13は、SDRAM16に格納された撮像画像データを入力すると共に、ベイヤ配列である撮像画像データを補間してYCbCr信号に変換する。この際、信号処理部13は、設定された画像処理パラメータに従って、ノイズ抑制処理、輪郭強調、色変換などのフィルタ処理や、画像の解像度変換などの各種処理を行う。そして、信号処理部13は、変換されたYCbCr信号をSDRAM16に格納する。
また、JPEGエンコード部14は、SDRAM16に格納されたYCbCr信号を入力すると共に、該YCbCr信号をJPEGコードに変換してSDRAM16に格納する。また、外部メモリインターフェース15は外部記録媒体18に接続されており、SDRAM16に格納されたJPEGコードを入力すると共に、該JPEGコードを外部記録媒体18に出力する。
また、コントローラ17は、検波部12、信号処理部13、JPEGエンコード部14および外部メモリインターフェース15とコントローラバスを介して電気的に接続され、それらの動作等を制御する。撮影条件の変更(例えば、ズームレンズのズーム制御等)もここで制御を行う。
なお、色収差補正手段、即ち、撮影光学系の色収差によるずれ量を複数の線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う手段は、信号処理部13に含まれるものである。
次に、図2に信号処理部13の構成を例示し、信号処理部13における色収差補正部(色収差補正手段)22の位置付けを示す。図2に示す信号処理部13の構成図において、信号処理部13は、オフセット/ゲイン部21、色収差補正部22、補間部23、色変換部24、ガンマ変換部25、YC変換部26および輪郭強調部27を備えた構成である。
ここで、オフセット/ゲイン部21は、Rの横のG成分GrおよびBの横のG成分Gbの両者のオフセットレベルを調整してライン毎に現れる横縞成分を除去する。また補間部23は、デモザイキング処理(画素補間処理)を行う。また色変換部24は、RGB各信号のバランスを変えて色変換を行う。またガンマ変換部25は、いわゆるガンマ補正を行う。またYC変換部26は、RGB信号をYCbCr信号に変換する。さらに輪郭強調部27は、画像全体の鮮明感を向上させるために輪郭(エッジ)を強調する処理を行う。
また、信号処理部13に含まれる色収差補正部22は、撮像画像データの画像面内の、光学中心に相対的に近い第1領域と、光学中心から離れた周辺の第2領域とにおいて、各領域内の注目画素についてそれぞれ第1線型関数および第2線型関数を用いて補正を行う。ここで、第1線型関数および第2線型関数は、光学中心からの距離をパラメータとし、色収差を算出する関数であり、距離と色収差との関係であるゲイン(傾き)を有する一次関数である。
なお、図2に示す信号処理部13の構成は一例であって、本発明の色収差補正手段(色収差補正部22)は、同図の構成に限定されることはない。また、本実施例の図2は、色収差補正部22の入力データをベイヤデータとして、補間部23によるデモザイキング処理(画素補間処理)前のRAWデータに対して色収差補正処理を行う構成であるが、これに限定されることはない。例えば、補間部23の後段に色収差補正部22を配置した構成として、デモザイキング処理後のデータに対して色収差補正処理を行っても良い。但し、この構成では色収差補正処理前のデータに対してデモザイキング処理を施すことになるので、RAWデータが持つ色収差ずれ量が拡散した後に色収差補正処理を行うこととなり、厳密には適切な補正とならない可能性がある。したがって、より適切な補正を行うためには本実施例(図2)のような構成とするのが望ましい。
次に、図3〜図11を参照して、色収差補正部(色収差補正手段)22の構成およびその動作について詳細に説明する。ここで、図3は色収差補正部22の構成図、図4は色収差補正部22における色収差補正処理を説明するフローチャート、図5は色収差補正処理を概念的に説明する説明図である。また、図6は4000×3000ベイヤデータの光学中心設定例の説明図、図7は線型補正移動量の説明図、図8は移動量クリップ部33におけるクリップ後移動量の説明図である。また、図9はコーナー補正部34におけるコーナー補正対象領域の説明図、図10はコーナー補正処理における象限判定係数の説明図、図11はコーナー補正処理を概念的に説明する説明図である。
まず、図3に示す色収差補正部22の構成図において、色収差補正部22は、距離算出部31、線型補正移動量算出部32、移動量クリップ部33、コーナー補正部34、バイリニア補間部35およびライン遅延部36を備えた構成である。
また、図4に示す色収差補正部22における色収差補正処理のフローチャートに沿って、色収差補正処理における各構成要素の動作について詳細に説明する。
まず、ステップS101では、距離算出部31により光学中心から注目画素までの水平方向および垂直方向の距離を算出する。なお、本実施例では、色収差補正処理における演算を水平方向および垂直方向を持つ直交座標系で行うこととしている。
距離算出のために、まず光学中心の座標(ABOAH,ABOAV)を決定する。ここで、座標系は画像全体の左上を基点とするものである。画像全体のサイズが4000×3000のベイヤデータの光学中心設定を図6に例示する。図6では、左上画像を基点(座標(0,0))としており、画像中心が光学中心であると仮定すると、光学中心(ABOAH,ABOAV)は座標(1999.5,1499.5)となる。
距離算出は、注目画素の内部座標を(cpH,cpV)とすると、次式で行われる。
(数1)
光学中心から注目画素までの水平距離=cpH−ABOAH
光学中心から注目画素までの垂直距離=cpV−ABOAV (式1)
となる。
次に、ステップS102では、線型補正移動量算出部32において第1線型関数を用いて水平方向および垂直方向についての線型補正移動量を算出する。ここで、第1線型関数は光学中心からの距離をパラメータとする関数であり、ゲイン係数(傾き)によって規定される。したがって、線型補正移動量算出処理において用いる関連パラメータは、以下の通りである。
(数2)
色収差補正R画素ゲイン係数=ABGAR
色収差補正Gr/Gb画素ゲイン係数=ABGAG
色収差補正B画素ゲイン係数=ABGAB (関連パラメータ群1)
図7には、第1線型関数のゲイン係数(傾き)ABGAx:x=[R|G|B]を例示する。
線型補正移動量は、光学中心からの距離に対して、水平成分および垂直成分それぞれ独立にゲイン係数ABGAx:x=[R|G|B]を乗算して算出する。
(数3)
水平成分の線型補正移動量
=(cpH−ABOAH)×ABGAx x=[R|G|B]
垂直成分の線型補正移動量
=(cpV−ABOAV)×ABGAx x=[R|G|B] (式2)
次に、ステップS103では、移動量クリップ部33において、光学中心と第1領域および第2領域の境界との間の領域上で規定される境界線により第1領域を2つの領域に区分し、該2つの領域の内の第2領域側の領域にある注目画素について、補正移動量(ずれ量)を一定量とする。
具体的には、光学中心から注目画素までの水平方向および垂直方向の距離がそれぞれ水平上下限値(水平方向しきい値)および垂直上下限値(垂直方向しきい値)を超えるときに、該注目画素が第1領域の2つの領域の内の第2領域側の領域にあるとする。そして、該注目画素の水平方向および垂直方向の補正移動量(ずれ量)を、それぞれ第1線型関数に基づき水平方向および垂直方向について算出された水平上下限値(水平方向しきい値)および垂直上下限値(垂直方向しきい値)におけるずれ量とする。
したがって、移動量クリップ処理において用いる関連パラメータは、以下の通りである。
(数4)
色収差補正R画素水平上限値=ABLRHU
色収差補正R画素水平下限値=ABLRHL
色収差補正R画素垂直上限値=ABLRVU
色収差補正R画素垂直上限値=ABLRVL
色収差補正Gr/Gb画素水平上限値=ABLGHU
色収差補正Gr/Gb画素水平下限値=ABLGHL
色収差補正Gr/Gb画素垂直上限値=ABLGVU
色収差補正Gr/Gb画素垂直上限値=ABLGVL
色収差補正B画素水平上限値=ABLBHU
色収差補正B画素水平下限値=ABLBHL
色収差補正B画素垂直上限値=ABLBVU
色収差補正B画素垂直上限値=ABLBVL (関連パラメータ群2)
図8(a)には、水平補正移動量に対する水平上下限値(水平方向しきい値)ABLxHLおよびABLxHU(x=[R|G|B])を例示する。また図8(b)には、垂直補正移動量に対する垂直上下限値(垂直方向しきい値)ABLxVLおよびABLxVU(x=[R|G|B])を例示する。
移動量クリップ処理では、線型補正移動量を水平成分および垂直成分それぞれ独立に、対応する上限値および下限値でクリップ処理を行う。つまり、水平成分のクリップ後線型補正移動量については、線型補正移動量(水平成分)を[ABLxHL,ABLxHU](x=[R|G|B])の範囲でクリップする。また、垂直成分のクリップ後線型補正移動量については、線型補正移動量(垂直成分)を[ABLxVL,ABLxVU](x=[R|G|B])の範囲でクリップする。
次に、ステップS104では、コーナー補正部34により、光学中心から注目画素までの水平方向および垂直方向の距離の和がコーナーしきい値(所定しきい値)以上のとき、該注目画素が第2領域にあるとして第2線型関数を用いて水平方向および垂直方向についての線型補正移動量を算出する。ここで、第2線型関数はコーナーしきい値との差をパラメータとする関数であり、第1線型関数とは異なるゲイン係数(傾き)によって規定される。
したがって、線型補正移動量算出処理において用いる関連パラメータは、以下の通りである。
(数5)
色収差補正R画素コーナーしきい値=ABNLTHR
色収差補正R画素コーナーしきい値=ABNLTHG
色収差補正R画素コーナーしきい値=ABNLTHB
色収差補正R画素コーナーゲイン係数=ABNLGAR
色収差補正Gr/Gb画素コーナーゲイン係数=ABNLGAG
色収差補正B画素ゲインコーナー係数=ABNLGAB (関連パラメータ群3)
コーナー補正部34では、線型補正のみでは実際の収差量から大きく乖離してしまう画像四隅について、クリップ後の線型補正移動量に対して着色を緩和するコーナー補正処理を行う。このコーナー補正の処理対象領域は、図9に示すように、コーナー補正境界(コーナーしきい値)によって定義される画像四隅の領域(第2領域)である。つまり、図9における斜線部領域が第2領域であり、それ以外が第1領域となる。
注目画素がコーナー補正対象領域(第2領域)にあるか否かの判断は、コーナーしきい値ABNLTHx:x=[R|G|B]と、光学中心からの距離の絶対値和との差に基づき行われる。すなわち、絶対値演算を「abs()」で表記するとき、次の式3を計算して、「しきい値との差≧0」であれば対象領域内とし、「しきい値との差<0」であれば対象領域外と判断する。
(数6)
しきい値との差=abs(cpH−ABOAH)+abs(cpV−ABOAV)
−ABNLTHx (x=[R|G|B]) (式3)
対象領域内と判断されたときには、次の式4によりコーナー補正量を算出する。
(数7)
コーナー補正量=しきい値との差×ABNLGAx (x=[R|G|B]) (式4)
また、対象領域内と判断されたときには、コーナー補正量=0として、符号なしコーナー補正量を算出する。
次に、このコーナー補正量に注目画素の属する象限によって定まる象限判定係数を掛けたものを、水平成分および垂直成分それぞれのクリップ後線型補正移動量に加算して、コーナー補正後移動量を算出する。
(数8)
水平成分のコーナー補正後移動量
=水平成分のクリップ補正後線型補正移動量
+コーナー補正量×象限判定係数(水平成分)
垂直成分のコーナー補正後移動量
=垂直成分のクリップ補正後線型補正移動量
+コーナー補正量×象限判定係数(垂直成分) (式5)
ここで、象限判定係数は、図10に示すように、第1〜第4象限の水平成分および垂直成分について、コーナー補正量の符号(即ち、第2線型関数の傾き)を決める係数である。
次に、このコーナー補正部34によるコーナー補正について、図11を参照して概念的な説明を行う。なお、図11では、分かり易さのため、クリップ処理を行わない場合のコーナー補正を説明する図となっている。
画像四隅のコーナー補正対象領域にかかる水平線上(図11(a)参照)での光学中心からの距離に対する移動量(水平成分)の変化は、図11(b)に示す如くなる。つまり、光学中心からコーナー補正境界までの区間の移動量の変化は、第1線型関数のゲイン係数(傾き)ABGAx:x=[R|G|B]に基づくものである。他方、コーナー補正境界以降の光学中心から離れた区間の移動量の変化は、第2線型関数のゲイン係数ABNLGAx:x=[R|G|B]および象限判定係数に基づくものである。
次に、ステップS105では、以上のステップS101〜S104による、注目画素の座標にクリップ後の線型補正移動量およびコーナー補正移動量を加算して得られた座標について、バイリニア補間部35によりバイリニア補間を行う。つまり、得られた座標の近傍4個のベイヤ配列上同色画素が選択され、バイリニア補間(4個の画素値の得られた座標に対する距離に基づく重み付け平均)によって色収差補正による画素値が算出される。
ここで、ベイヤ配列上同色画素とはR,Gr,GbおよびBの各画素をいい、GrとGbは互いに異色として扱われる。即ち、GrはGr画素のみによる近傍4画素により、またGbはGb画素のみによる近傍4画素によりそれぞれバイリニア補間が行われる。また、図3に示すように、バイリニア補間部35の前段にはライン遅延部36を備えており、ライン遅延部36はRAM等の記憶手段を備え、複数ラインのベイヤ信号を一時的に記憶し、バイリニア補間を行うために必要となる複数ライン分のベイヤ信号を出力する。
さらに、ステップS106では、バイリニア補間部35において、注目画素の画素値をバイリニア補間で得られた画素値で置き換える。ベイヤ配列上の全ての画素について以上(ステップS101〜S106)の処理を行った後、色収差補正後のベイヤ信号として補間部23に出力する。
以上説明したように、本発明の画像処理装置および画像処理方法の実施例に係るデジタルカメラでは、撮像光学系による光像を光電変換する撮像センサ(撮像手段)11と、撮影光学系の色収差によるずれ量を線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う色収差補正部22と、を備え、色収差補正部22において、撮像画像データの画像面内の、光学中心に相対的に近い第1領域と、光学中心から離れた周辺の第2領域とにおいて、該第1領域および第2領域内の注目画素についてそれぞれ光学中心からの距離をパラメータとする第1線型関数および第2線型関数を用いて色収差補正を行う。
具体的には、色収差補正部22の線型補正移動量算出部32において、注目画素について第1線型関数を用いて水平方向および垂直方向についての線型補正移動量を算出する。また、コーナー補正部34において、注目画素について第2領域にあるか否かを判断し、注目画素が第2領域にあるときには第2線型関数を用いて水平方向および垂直方向についての移動量を補正する。
さらに具体的には、色収差補正部22のコーナー補正部34において、光学中心から注目画素までの水平方向および垂直方向の距離の和と、所定しきい値(コーナーしきい値ABNLTHx:x=[R|G|B])との比較により判断する。和が所定しきい値未満のとき、注目画素が第1領域にあるとして第1線型関数を使用した線型補正移動量のままとし、また、和が所定しきい値以上のとき、注目画素が第2領域にあるとして第2線型関数を使用する。
次に、図12および図13の補正特性の対比により、本発明による色収差補正手法について考察して効果を説明する。図12(a)は収差量特性を例示する説明図、図12(b)は従来(特許文献1、特許文献2など)の線型補正特性を例示する説明図であり、図13(a)は移動量クリップ部33によるクリップ処理を行わない場合の本発明における補正特性を例示する説明図である。
図12(b)に示すように、線型関数で非線形の収差量特性を近似する場合には、光学中心から相対的に離れた距離の画素について実際の収差量から大きく乖離したものとなり、画像の四隅周辺部について色収差補正が適切になされていない。これに対して、本発明による色収差補正では、図13(a)に示すように、コーナーしきい値に相当する光学中心からの距離d1より離れた距離の注目画素については、第2線型関数を用いて線型補正移動量を補正することとしている。つまり、光学中心から離れた画像周辺部において、より収差量特性に近い第2線型関数を用いて色収差補正を行うことにより、補正特性を収差量特性により近づけることができ、適切な補正が行われることとなる。
なお、補正特性を収差量特性にいかに近づけるかは、関連パラメータ群1の第1線型関数のゲイン係数(傾き)、並びに、関連パラメータ群3のコーナーしきい値および第2線型関数のゲイン係数(傾き)の設定によって決まる。これら関連パラメータ値は、予め装置に使用するレンズの収差量特性を測定して調整するのが望ましい。例えば、コーナーしきい値については、線型補正特性の収差量特性からの乖離が一旦ゼロとなってその後大きくなっていくところのゼロとなる光学中心からの距離d1とするのが望ましい。
また、本発明の画像処理装置および画像処理方法の実施例に係るデジタルカメラでは、色収差補正部22の移動量クリップ部33において、光学中心と第1領域および第2領域の境界との間の領域上で規定される境界線により第1領域を2つの領域に区分し、該2つの領域の内の第2領域側の領域にある注目画素について、補正移動量(ずれ量)を一定量とする。
具体的には、光学中心から注目画素までの水平方向および垂直方向の距離がそれぞれ水平上下限値(水平方向しきい値)および垂直上下限値(垂直方向しきい値)を超えるときに、該注目画素が第1領域の2つの領域の内の第2領域側の領域にあるとする。そして、該注目画素の水平方向および垂直方向の補正移動量(ずれ量)を、それぞれ第1線型関数に基づき水平方向および垂直方向について算出された水平上下限値(水平方向しきい値)および垂直上下限値(垂直方向しきい値)におけるずれ量とする。
図13(b)は移動量クリップ部33によるクリップ処理を行う場合の本発明における補正特性を例示する説明図である。同図に示す本発明による色収差補正では、クリップ処理のしきい値に相当する光学中心からの距離d2からコーナーしきい値に相当する光学中心からの距離d1までの注目画素については、一定の補正移動量となっている。換言すれば、距離d2から距離d1までの区間については、ゲイン係数(傾き)がゼロの第3線型関数を用いて補正特性を形成しており、3つの線形関数により補正特性をより収差量特性に近づけたものということができる。その結果として、光学中心からの距離全域に渡って補正特性を収差量特性により近づけることができ、より適切な補正を行うことができることとなる。
以上説明したような適切な補正を行い得るという効果の他に、本発明の画像処理装置および画像処理方法の大きな効果として、より少ないハードウェア量(計算量)による処理で装置コストの低減が可能な点がある。以上の説明の前提となっているように、本発明では、色収差補正における演算を直交座標系で行い、色収差によるずれ量を第1線型関数または第2線型関数に基づき水平方向および垂直方向について算出している。この直交座標系での演算と、上述した線形関数の使用とがハードウェア量(計算量)低減の主要因であるが、このことについて従来技術と対比して説明する。
従来技術では、色収差補正を実現するために収差量特性テーブルまたは3次関数の演算回路を用いていた。収差量特性テーブルを用いる手法では、テーブルを参照するだけで良く演算回路を不要として処理も比較的速いが、1画像面の全ての画素に対する補正移動量を記憶した収差量特性テーブルを用意する必要がある。また、収差量特性はレンズのみならず撮影条件にも依存することから、レンズおよび撮影条件に応じた収差量特性テーブルを大容量の記憶手段に用意するか、或いは、大容量の記憶手段を持てない場合には収差量特性テーブル内容の書き換えを行う必要がある。つまり、大容量の記憶手段を用意してハードウェア量の増大を招いてしまう、或いは、収差量特性テーブルの書き換えに時間を要してレンズおよび撮影条件の変更に即座に対応できないという事情である。
他方、3次関数の演算回路を用いる手法では、一般的に極座標系で演算を行っている。この極座標を用いた演算では、例えば座標計算だけ考えても、光学中心から注目画素までの距離を水平方向と垂直方向それぞれの二乗の和の平方根で求め、また三角関数を用いて方向を求める必要がある。このような演算のためには関数テーブルや複雑な演算回路が必要となってハードウェア量の増大を招き、結果として装置コストも増大するという事情がある。
これらに対して、本発明では、除算を除く四則演算のみで色収差補正処理を行うことができるので、非常にシンプルな構成の演算回路で実現することができる。またテーブルについても、上記関連パラメータ群1〜関連パラメータ群3の各パラメータを、レンズおよび撮影条件に応じて予め設定しておくだけで良く、その容量は上記従来技術に比べてはるかに小さい。このように、本発明の画像処理装置および画像処理方法では、より少ないハードウェア量(計算量)による処理で装置コストを低減することができる。
また、撮影条件、例えばズームレンズを採用する場合には、レンズと焦点距離が変動する関係で、図13(a),(b)に記載される補正特性も変動する。その場合は、図1のコントローラ17よりズーム制御の通知を受けた信号処理部13がズームレンズのズーム動作に応じて第1線型関数、第2線型関数もそれぞれ変動させることで、撮影条件が変動しても適切な色収差補正を行うことが可能となる。
〔変形例〕
次に、本発明の画像処理装置および画像処理方法の実施例に係るデジタルカメラの変形例について説明する。本変形例のデジタルカメラの概略構成は実施例(図1)と同等であるが、図2の信号処理部13の構成において色収差補正部(色収差補正手段)22が補間部23内に含まれる点が実施例とは異なる。つまり、補間部に実施例の色収差補正部22を備え、色収差補正部22によって色収差補正処理およびデモザイキング処理(画素補間処理)を行う構成である。
デモザイキング処理(画素補間処理)は、配列の画素1個についてR画素,G画素またはB画素の何れかの値しか持たないベイヤデータに基づき、R,G,Bそれぞれの単一色画素データを生成する処理である。ベイヤ配列ではG画素が市松状に、またR画素およびB画素がそれぞれ格子状に配列しており、単一色画素データを生成するには、R,G,Bそれぞれの画素について欠落箇所の画素値を周辺の画素値から補間して算出することとなる。
対比のためにまず実施例の補間部23について説明すると、実施例の補間部23では、色収差補正部22で生成された色収差補正後のベイヤ信号に対してデモザイキング処理を行っている。実施例の補間部23におけるデモザイキング処理の手法はどのようなものであっても良いが、基本的なリニア補間処理を行うものとして簡単に説明する。まず、G画素の場合には、市松状配列であるので、補間対象のRおよびBの欠落箇所に対して常にクロス方向にG画素が存在し、クロス方向に隣接する4個のG画素の画素値の平均値を該欠落箇所の画素値とする。
また、R画素またはB画素の場合には、格子状配列であるので、補間対象のRまたはBの欠落箇所に対して、クロス方向、水平方向または垂直方向にRまたはB画素が存在する。したがって、クロス方向のときは、クロス方向に隣接する4個の同色画素の画素値の平均値を該欠落箇所の画素値とする。また、水平方向のときは、水平方向に隣接する2個の同色画素の画素値の平均値を該欠落箇所の画素値とする。さらに垂直方向のときは、垂直方向に隣接する2個の同色画素の画素値の平均値を該欠落箇所の画素値とする。
変形例では、ベイヤ配列上のR画素,G画素(Gr/Gb画素)およびB画素については、実施例(バイリニア補間部35)と同様のバイリニア補間によって色収差補正後の画素値として算出する。一方、欠落箇所の画素値の補間については、ベイヤ配列上で当該画素とは異色の画素位置にある欠落画素を、色収差補正部22により求められた当該画素とは異色の画素についてずれ量を加味した位置の周辺同色画素に基づき補間する。つまり、実施例のステップS101〜S104により、注目画素の座標にクリップ後の線型補正移動量およびコーナー補正移動量を加算して得られた座標(移動後座標)に基づき行う。
以下、本変形例のデモザイキング処理について、図14および図15を参照して説明する。ここで、図14および図15は欠落箇所の画素値のバイリニア補間を説明する説明図である。まず、Rの単一色画素データを生成する際の、例えば色収差補正における注目画素がGr画素である場合について、図14(a)を参照して説明する。注目画素Pf(Gr画素)のR画素についての補間は、色収差補正における移動後座標PeのR画素のみによる近傍4画素Pr1〜Pr4のバイリニア補間(4個の画素値の得られた座標に対する距離に基づく重み付け平均)で得られた画素値とされる。
また、Bの単一色画素データを生成する際の、例えば色収差補正における注目画素がGr画素である場合について、図14(b)を参照して説明する。同図に示すように、注目画素Pf(Gr画素)のB画素についての補間は、色収差補正における移動後座標PeのB画素のみによる近傍4画素Pb1〜Pb4のバイリニア補間で得られた画素値とされる。
また、Gの単一色画素データを生成する際の、例えば色収差補正における注目画素がR画素である場合について、図15(a)を参照して説明する。同図に示すように、注目画素Pf(R画素)のG画素についての補間は、色収差補正における移動後座標PeのG画素(Gr/Gb画素)のみによる近傍4画素Pg1〜Pg4のバイリニア補間で得られた画素値とされる。
さらに、Gの単一色画素データを生成する際の、例えば色収差補正における注目画素がB画素である場合について、図15(b)を参照して説明する。同図に示すように、注目画素Pf(B画素)のG画素についての補間は、色収差補正における移動後座標PeのG画素(Gr/Gb画素)のみによる近傍4画素Pg11〜Pg14のバイリニア補間で得られた画素値とされる。
以上説明したように、変形例の画像処理装置および画像処理方法では、補間部に実施例の色収差補正部22と同等の回路を備え、該回路によって色収差補正処理およびデモザイキング処理(画素補間処理)を行う。つまり、実施例のステップS101〜S104により得られた座標に対するバイリニア補間部35と同様のバイリニア補間によって、ベイヤ配列上のR画素,G画素(Gr/Gb画素)およびB画素について色収差補正後の画素値を算出する。また、RGBそれぞれの単一色画素データを生成するにあたり、ベイヤ配列上で当該画素とは異色の画素位置にある欠落画素については、実施例のステップS101〜S104により得られた座標位置の周辺同色画素に基づき補間して画素値を算出する。
ここで、欠落箇所の画素値の補間についても上述のバイリニア補間で行うこととしており、色収差補正部22のバイリニア補間部35の回路によって処理することができる。したがって、実施例のように別途補間部23を備えることなく信号処理部を構成することができ、ハードウェア量のさらなる削減を図ることができる。
次に、実施例および変形例における関連パラメータの設定について図16および図17を参照して説明する。ここで、図16は色収差特性測定チャートを例示する説明図、図17は色収差特性測定チャートによる色収差を拡大して例示する説明図である。上述したように、関連パラメータ群1の第1線型関数のゲイン係数(傾き)、並びに、関連パラメータ群3のコーナーしきい値および第2線型関数のゲイン係数(傾き)の設定は、予め装置に使用するレンズの収差量特性を測定して調整する。
収差量特性の測定には、例えば、図16に示すようなチャートを使用する。図16の色収差特性測定チャートには、色背景に黒色の小円が格子状に配置されており、これを所定の撮影条件(ズーム倍率、照明およびしぼり量など)で撮影する。図17の拡大図に示すように、撮影データでR成分,G成分およびB成分のそれぞれについて、小円がどれだけずれているかを測定することにより、該撮影条件下での各小円の座標位置における色収差特性を得ることができる。
また、関連パラメータ値(第1線型関数のゲイン係数、コーナーしきい値および第2線型関数のゲイン係数)は、測定で得られた色収差特性が最大限に補正されるように設定される。例えば、色収差特性測定チャートの小円の座標における理想値と補正後のずれを補正誤差として、この補正誤差をすべての小円について総和をとったものが最小になるように設定する。ここで、設定値の算出は計算機を利用した数値解析によって探索して算出する。
以上した説明では、撮像センサ11を構成する複数の画素についてRGBのフィルタを介したベイヤ配列とし、撮像画像データをベイヤデータとして扱ったが、信号処理部13が処理する撮像画像データは画素補間前のRAWデータであれば良く、他の配列データであっても良い。例えば、ベイヤ配列の他にハニカム配列等がある。またベイヤ配列についても、以上の説明で用いた基本形方式の他にダブルベイヤ方式、改良ベイヤ方式等々、種々の方式が提案されており、これら各方式および他の配列にも本発明の適用は可能である。
〔付記〕
1 撮像光学系による光像を光電変換する撮像手段と、前記撮影光学系の色収差によるずれ量を線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う色収差補正手段と、を備えた画像処理装置であって、
前記色収差補正手段は、前記撮像画像データの画像面のうち、光学中心を含む第1領域における注目画素については光学中心からの距離をパラメータとする第1線型関数色収差補正するとともに、光学中心が含まれない、前記第1の領域とは異なる第2領域における注目画素については光学中心からの距離をパラメータとする、前記第1線型関数とは異なる第2線型関数を用いて色収差補正を行うことを特徴とする画像処理装置。
2 前記色収差補正手段は、前記色収差補正における演算を直交座標系で行い、色収差によるずれ量を前記第1線型関数または前記第2線型関数に基づき水平方向および垂直方向について算出することを特徴とする付記1に記載の画像処理装置。
3 前記色収差補正手段は、光学中心から注目画素までの水平方向および垂直方向の距離の和が所定しきい値未満のとき、該注目画素が前記第1領域にあるとして前記第1線型関数を使用し、前記和が所定しきい値以上のとき、該注目画素が前記第2領域にあるとして前記第2線型関数を使用することを特徴とする付記2に記載の画像処理装置。
4 前記色収差補正手段は、光学中心と前記第1領域および前記第2領域の境界との間の領域上で規定される境界線により前記第1領域を2つの領域に区分し、該2つの領域の内の前記第2領域側の領域にある注目画素について、前記ずれ量を一定量とすることを特徴とする付記1〜付記3の何れか1項に記載の画像処理装置。
5 前記色収差補正手段は、光学中心から注目画素までの水平方向および垂直方向の距離がそれぞれ水平方向しきい値および垂直方向しきい値を超えるときに、該注目画素が前記第1領域の2つの領域の内の前記第2領域側の領域にあるとして、該注目画素の水平方向および垂直方向のずれ量を、それぞれ前記第1線型関数に基づき水平方向および垂直方向について算出された前記水平方向しきい値および前記垂直方向しきい値におけるずれ量とすることを特徴とする付記4に記載の画像処理装置。
6 前記第1線型関数および前記第2線型関数、前記所定しきい値、前記第1領域を区分する境界線、或いは、水平方向しきい値および垂直方向しきい値は、前記撮影光学系のレンズおよび撮影条件に応じて設定されることを特徴とする付記1〜付記5の何れか1項に記載の画像処理装置。
7 前記撮像画像データは画素補間前のRAWデータであることを特徴とする付記1〜付記6の何れか1項に記載の画像処理装置。
8 撮影光学系の倍率色収差によるずれ量を線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う画像処理方法であって、
前記撮像画像データの画像面を、光学中心を含む第1領域における注目画素について光学中心からの距離をパラメータとする第1線型関数を用いて色収差補正を行うとともに、前記第1の領域とは異なり前記光学中心を含まない第2領域における注目画素について光学中心からの距離をパラメータとする第2線型関数を用いて色収差補正を行うことを特徴とする画像処理方法。
9 前記色収差補正における演算を直交座標系で行い、色収差によるずれ量を前記第1線型関数または前記第2線型関数に基づき水平方向および垂直方向について算出することを特徴とする付記8に記載の画像処理方法。
10 光学中心から注目画素までの水平方向および垂直方向の距離の和が所定しきい値未満のとき、該注目画素が前記第1領域にあるとして前記第1線型関数を使用し、前記和が所定しきい値以上のとき、該注目画素が前記第2領域にあるとして前記第2線型関数を使用することを特徴とする付記9に記載の画像処理方法。
11 光学中心と前記第1領域および前記第2領域の境界との間の領域上で規定される境界線により前記第1領域を2つの領域に区分し、該2つの領域の内の前記第2領域側の領域にある注目画素について、前記ずれ量を一定量とすることを特徴とする付記8〜付記10の何れか1項に記載の画像処理方法。
12 光学中心から注目画素までの水平方向および垂直方向の距離がそれぞれ水平方向しきい値および垂直方向しきい値を超えるときに、該注目画素が前記第1領域の2つの領域の内の前記第2領域側の領域にあるとして、該注目画素の水平方向および垂直方向のずれ量を、それぞれ前記第1線型関数に基づき水平方向および垂直方向について算出された前記水平方向しきい値および前記垂直方向しきい値におけるずれ量とすることを特徴とする付記11に記載の画像処理方法。
13 前記第1線型関数および前記第2線型関数、前記所定しきい値、前記第1領域を区分する境界線、或いは、水平方向しきい値および垂直方向しきい値は、前記撮影光学系のレンズおよび撮影条件に応じて設定されることを特徴とする付記8〜付記12の何れか1項に記載の画像処理方法。
14 撮像データを発生させる撮像センサと、前記撮像データの色収差補正を行う色収差補正手段と、前記色収差補正された撮像データを格納する格納手段と、前記色収差補正手段に対する制御及び撮影条件の変更を行う制御手段とを有し、
前記色収差補正手段は、前記撮像画像データの画像面のうち、光学中心を含む第1領域における注目画素については光学中心からの距離をパラメータとする第1線型関数色収差補正するとともに、光学中心が含まれない、前記第1の領域とは異なる第2領域における注目画素については光学中心からの距離をパラメータとする、前記第1線型関数とは異なる第2線型関数を用いて色収差補正を行うことを特徴とするカメラ。
15 前記制御手段の撮影条件の変更に伴い、前記色収差補正手段は前記第1線型関数、前記第2線型関数をそれぞれ変動させて色収差補正を行うことを特徴とする付記14に記載のカメラ。
10 デジタルカメラ
11 撮像センサ(撮像手段)
12 検波部
13 信号処理部
14 JPEGエンコード部
15 外部メモリインターフェース
16 SDRAM
17 コントローラ
18 外部記録媒体
21 オフセット/ゲイン部
22 色収差補正部(色収差補正手段)
23 補間部
24 色変換部
25 ガンマ変換部
26 YC変換部
27 輪郭強調部
31 距離算出部
32 線型補正移動量算出部
33 移動量クリップ部
34 コーナー補正部
35 バイリニア補間部
36 ライン遅延部

Claims (10)

  1. 撮像光学系による光像を光電変換する撮像手段と、前記撮影光学系の色収差によるずれ量を線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う色収差補正手段と、を備えた画像処理装置であって、
    前記色収差補正手段は、前記撮像画像データの画像面のうち、光学中心を含む第1領域における注目画素については光学中心からの距離をパラメータとする第1線型関数色収差補正するとともに、光学中心が含まれない、前記第1の領域とは異なる第2領域における注目画素については光学中心からの距離をパラメータとする、前記第1線型関数とは異なる第2線型関数を用いて色収差補正を行うことを特徴とする画像処理装置。
  2. 前記色収差補正手段は、前記色収差補正における演算を直交座標系で行い、色収差によるずれ量を前記第1線型関数または前記第2線型関数に基づき水平方向および垂直方向について算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記色収差補正手段は、光学中心から注目画素までの水平方向および垂直方向の距離の和が所定しきい値未満のとき、該注目画素が前記第1領域にあるとして前記第1線型関数を使用し、前記和が所定しきい値以上のとき、該注目画素が前記第2領域にあるとして前記第2線型関数を使用することを特徴とする請求項2に記載の画像処理装置。
  4. 前記色収差補正手段は、光学中心と前記第1領域および前記第2領域の境界との間の領域上で規定される境界線により前記第1領域を2つの領域に区分し、該2つの領域の内の前記第2領域側の領域にある注目画素について、前記ずれ量を一定量とすることを特徴とする請求項1〜請求項3の何れか1項に記載の画像処理装置。
  5. 前記色収差補正手段は、光学中心から注目画素までの水平方向および垂直方向の距離がそれぞれ水平方向しきい値および垂直方向しきい値を超えるときに、該注目画素が前記第1領域の2つの領域の内の前記第2領域側の領域にあるとして、該注目画素の水平方向および垂直方向のずれ量を、それぞれ前記第1線型関数に基づき水平方向および垂直方向について算出された前記水平方向しきい値および前記垂直方向しきい値におけるずれ量とすることを特徴とする請求項4に記載の画像処理装置。
  6. 撮影光学系の倍率色収差によるずれ量を線型関数に基づき算出し、該ずれ量に応じて撮像画像データに対する色収差補正を行う画像処理方法であって、
    前記撮像画像データの画像面を、光学中心を含む第1領域における注目画素について光学中心からの距離をパラメータとする第1線型関数を用いて色収差補正を行うとともに、前記第1の領域とは異なり前記光学中心を含まない第2領域における注目画素について光学中心からの距離をパラメータとする第2線型関数を用いて色収差補正を行うことを特徴とする画像処理方法。
  7. 前記色収差補正における演算を直交座標系で行い、色収差によるずれ量を前記第1線型関数または前記第2線型関数に基づき水平方向および垂直方向について算出することを特徴とする請求項6に記載の画像処理方法。
  8. 光学中心から注目画素までの水平方向および垂直方向の距離の和が所定しきい値未満のとき、該注目画素が前記第1領域にあるとして前記第1線型関数を使用し、前記和が所定しきい値以上のとき、該注目画素が前記第2領域にあるとして前記第2線型関数を使用することを特徴とする請求項7に記載の画像処理方法。
  9. 撮像データを発生させる撮像センサと、前記撮像データの色収差補正を行う色収差補正手段と、前記色収差補正された撮像データを格納する格納手段と、前記色収差補正手段に対する制御及び撮影条件の変更を行う制御手段とを有し、
    前記色収差補正手段は、前記撮像画像データの画像面のうち、光学中心を含む第1領域における注目画素については光学中心からの距離をパラメータとする第1線型関数色収差補正するとともに、光学中心が含まれない、前記第1の領域とは異なる第2領域における注目画素については光学中心からの距離をパラメータとする、前記第1線型関数とは異なる第2線型関数を用いて色収差補正を行うことを特徴とするカメラ。
  10. 前記制御手段の撮影条件の変更に伴い、前記色収差補正手段は前記第1線型関数、前記第2線型関数をそれぞれ変動させて色収差補正を行うことを特徴とする請求項9に記載のカメラ。
JP2009038812A 2009-02-23 2009-02-23 画像処理装置および画像処理方法 Pending JP2010199650A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009038812A JP2010199650A (ja) 2009-02-23 2009-02-23 画像処理装置および画像処理方法
US12/638,210 US8610801B2 (en) 2009-02-23 2009-12-15 Image processing apparatus including chromatic aberration correcting circuit and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009038812A JP2010199650A (ja) 2009-02-23 2009-02-23 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2010199650A true JP2010199650A (ja) 2010-09-09

Family

ID=42630648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009038812A Pending JP2010199650A (ja) 2009-02-23 2009-02-23 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US8610801B2 (ja)
JP (1) JP2010199650A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526964A (ja) * 2014-08-29 2017-09-14 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 画像を記録するための装置および方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011132279A1 (ja) * 2010-04-21 2013-07-18 キヤノン株式会社 画像処理装置、方法、及び記録媒体
JP5367053B2 (ja) * 2011-02-28 2013-12-11 キヤノン株式会社 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP2013017142A (ja) * 2011-07-06 2013-01-24 Sony Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
US20130321675A1 (en) 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9727947B2 (en) 2015-03-23 2017-08-08 Microsoft Technology Licensing, Llc Downscaling a digital raw image frame
CN114827599B (zh) * 2016-02-03 2025-01-24 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
US10424055B2 (en) * 2016-05-27 2019-09-24 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
GB2585050A (en) * 2019-06-26 2020-12-30 Light Blue Optics Ltd Image demosaicing
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法
US20250037239A1 (en) * 2023-07-24 2025-01-30 Varjo Technologies Oy Demosaicking and super-resolution using wobulation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299874A (ja) * 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP2002112046A (ja) * 2000-09-13 2002-04-12 Toshiba Tec Corp 画像形成装置およびそれに用いられるカラー画像読取装置
JP2003348367A (ja) * 2002-05-28 2003-12-05 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2004274133A (ja) * 2003-03-05 2004-09-30 Seiko Epson Corp 色収差補正装置および色収差補正方法、並びに色収差補正プログラム
JP2007202128A (ja) * 2005-12-26 2007-08-09 Matsushita Electric Ind Co Ltd 撮像装置および画像データ補正方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053568A (ja) 1991-06-25 1993-01-08 Canon Inc ビデオカメラ装置
JPH06113309A (ja) 1992-09-28 1994-04-22 Sony Corp ディジタルビデオカメラ
US7245319B1 (en) * 1998-06-11 2007-07-17 Fujifilm Corporation Digital image shooting device with lens characteristic correction unit
JP2000069343A (ja) 1998-06-11 2000-03-03 Fuji Photo Film Co Ltd デジタル撮像装置
WO2002003326A2 (en) * 2000-06-19 2002-01-10 Mental Images, G.M.B.H. & Co., Kg. Generating pixel values using strictly deterministic methodologies for generating sample points
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
WO2007105359A1 (ja) * 2006-03-01 2007-09-20 Nikon Corporation 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
US7865031B2 (en) * 2006-04-18 2011-01-04 Tandent Vision Science, Inc. Method and system for automatic correction of chromatic aberration
KR100816301B1 (ko) * 2006-05-24 2008-03-24 엠텍비젼 주식회사 색상 편차 보상 장치, 보상 방법 및 이를 이용한 이미지프로세서, 디지털 처리 장치, 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299874A (ja) * 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
JP2002112046A (ja) * 2000-09-13 2002-04-12 Toshiba Tec Corp 画像形成装置およびそれに用いられるカラー画像読取装置
JP2003348367A (ja) * 2002-05-28 2003-12-05 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2004274133A (ja) * 2003-03-05 2004-09-30 Seiko Epson Corp 色収差補正装置および色収差補正方法、並びに色収差補正プログラム
JP2007202128A (ja) * 2005-12-26 2007-08-09 Matsushita Electric Ind Co Ltd 撮像装置および画像データ補正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526964A (ja) * 2014-08-29 2017-09-14 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 画像を記録するための装置および方法
US10247933B2 (en) 2014-08-29 2019-04-02 Carl Zeiss Microscopy Gmbh Image capturing device and method for image capturing

Also Published As

Publication number Publication date
US20100214446A1 (en) 2010-08-26
US8610801B2 (en) 2013-12-17

Similar Documents

Publication Publication Date Title
JP2010199650A (ja) 画像処理装置および画像処理方法
US9516285B2 (en) Image processing device, image processing method, and image processing program
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
US8854483B2 (en) Image processing device, image processing method and image processing program
JP5840008B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8588521B2 (en) Image processing apparatus and control method therefor
JP5517803B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4803156B2 (ja) 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2005286482A (ja) 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2010252231A (ja) 画像処理装置、その制御方法、及びプログラム
JP5040519B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6282123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5665451B2 (ja) 画像処理装置及びその倍率色収差補正方法、撮像装置、倍率色収差補正プログラム、並びに記録媒体
JP2011160255A5 (ja)
US20120287299A1 (en) Image processing device, storage medium storing image processing program, and electronic camera
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP5631769B2 (ja) 画像処理装置
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
JP2009147762A (ja) 画像処理装置、画像処理方法、プログラム
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP6519276B2 (ja) 撮像装置及び欠陥画素補正方法
JP5278421B2 (ja) 撮像装置
JP4958672B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130627

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130705

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130906