[go: up one dir, main page]

JP2009044367A - 撮影方法及び撮影装置 - Google Patents

撮影方法及び撮影装置 Download PDF

Info

Publication number
JP2009044367A
JP2009044367A JP2007206166A JP2007206166A JP2009044367A JP 2009044367 A JP2009044367 A JP 2009044367A JP 2007206166 A JP2007206166 A JP 2007206166A JP 2007206166 A JP2007206166 A JP 2007206166A JP 2009044367 A JP2009044367 A JP 2009044367A
Authority
JP
Japan
Prior art keywords
smear
white balance
image data
hue range
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007206166A
Other languages
English (en)
Inventor
Kimihiro Irie
公祐 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007206166A priority Critical patent/JP2009044367A/ja
Priority to US12/187,890 priority patent/US7880783B2/en
Publication of JP2009044367A publication Critical patent/JP2009044367A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】ホワイトバランスの補正によって生じるスミアの色付きを、容易に軽減する撮影装置を提供する。
【解決手段】デジタルカメラ10は、被写体からの光を光電変換するCCD42、撮影によって得られる画像データのホワイトバランスを調節するAWB処理回路62、スミア検出部71、特定色補正処理部72などを備える。スミア検出部71は、CCD42に遮光して設けられたオプティカルブラック領域の画素から出力される信号に基づいて、画像データに生じたスミアを検出するとともに、スミアの特徴としてスミアレベルを定める。特定色補正処理部72は、スミアレベルに基づいて、所定色相範囲内の色の彩度を低下させる画像処理をホワイトバランスが調節された後の画像データに施す。
【選択図】図3

Description

本発明は、撮像素子によって被写体の画像を得る撮影方法及び撮影装置に関し、さらに詳しくは、撮影時にスミアが生じる恐れのある撮像素子を使用する撮影方法及び撮影装置に関する。
撮像素子としてCCD(Charge Coupled Device)を搭載するデジタルカメラが普及している。CCDを用いるデジタルカメラで撮影すると、被写体に周囲よりも極端に明るい部分が含まれていると、垂直(又は水平)に直線状の白飛び生じる現象、いわゆるスミアが生じることがある。
このスミアという現象は、本来遮光されている垂直転送路などのフォトダイオード以外の周辺部分に漏れ通った光から生じた電荷や半導体基板内部で発生した電荷が、フォトダイオードからの本来の信号電荷の転送経路に混入することによって生じる。したがって、スミアはCCDの構造自体に起因して生じる現象であり、CCDに特有のものである。
また、こうしたスミアの発生原因から、スミアの発生量はCCDの電子シャッタの速度には依存せず、照射された光の強さにのみ依存することが知られている。したがって、メカニカルシャッタによってCCDを遮光した後に、電荷転送路に混入した不要な電荷を掃き出すことで、スミアを大幅に軽減することができる。
しかし、動画を撮影する場合やスルー画像をモニタする場合などはメカニカルシャッタを使用することができないためにスミアの発生量が増大する。また、高速な電子シャッタを必要とする撮影においても、相対的にスミア由来の信号強度が増大してしまう。
スミアを軽減する技術は様々なものが知られているが、例えばスミアの発生自体を抑制するためにCCDの構造自体を改良する場合には、何れも複雑な機構が必要とされる。また、例えば、CCDの受光領域の下部に設けられたオプティカルブラック(以下、OB)領域の画素からの信号に基づいてスミアの発生を推定し、これをスミア由来の信号を含む撮像信号から減算することでスミアを軽減する方法が知られている。しかし、一般に、スミアによらず電荷が飽和した画素についてもこの減算が行われてしまうために、本来白色の部分が灰色になるなど、スミアが除去されても悪影響が残ってしまう。
一方、多くのデジタルカメラには、光源の色温度を推定し、自動的にホワイトバランスを調節する機能、いわゆるホワイトバランス補正機能が設けられている。光源の色温度は、例えば、CCDから出力される撮像信号に基づいて推定される。したがって、スミアが生じてしまった場合には光源の正しい色温度が得られず、ホワイトバランス補正機能によってかえってカラーバランスの思わしくない画像となってしまう。
このことから、スミアが生じた場合であっても適切に光源の色温度を推定し、ホワイトバラランスを補正する信号処理方法が提案されている(例えば、特許文献1〜3参照)。
特開平2002−84546公報 特開平2002−271802号公報 特開平2004−15653号公報
ホワイトバランス補正機能は、推定した光源の色温度に応じて定めた利得信号(以下、ホワイトバランスゲイン)をRGB各色の信号に加減することによって、画像のホワイトバランスを補正するものである。一方、スミアは、被写体からの光に基づいた本来の信号に対してオフセットとして付加されるものである。
したがって、たとえ適切な光源の色温度が得られ、ホワイトバランスが適切に調節されたとしても、画像の一部に生じたスミア自体を軽減することができないという問題がある。また、スミアが生じた場合にホワイトバランスを補正すると、スミアの部分に対してもホワイトバランスゲインが加減されるから、スミアに色付きが生じるという問題がある。すなわち、スミアが生じた画像のホワイトバランスを補正すると、スミアの部分はホワイトバランスの自動的な補正によって不自然な色に着色されてしまい、かえって画質が劣化してしまうという問題がある。
本発明はこれらの問題点に鑑みてなされたものであり、ホワイトバランスの補正によって生じるスミアの色付きを容易に軽減し、スミアが生じた画像の画質を向上させることを目的とする。
本発明の撮影装置は、撮像素子で被写体からの光を光電変換して前記被写体の画像データを得るときに、前記画像データのホワイトバランスを調節する撮影装置であり、前記撮像素子内の遮光された画素から出力される遮光画素データに基づいて前記画像に生じたスミアを検出するとともに、前記遮光画素データに応じてスミア量を定めるスミア検出手段と、前記スミア量に基づいて、前記画像データのホワイトバランスが調節された後の前記スミアの色を含む所定色相範囲内の色の彩度を低下させる特定色補正手段と、を備えることを特徴とする。
また、前記所定色相範囲の大きさは、前記スミア量に応じて定められることを特徴とする。
また、前記特定色補正手段は、調節されるホワイトバランスのゲイン信号に基づいて、ホワイトバランスの調節後に彩色される前記スミアの色に応じた前記所定色相範囲を定めることを特徴とする。
本発明の撮影方法は、撮像素子で被写体からの光を光電変換して前記被写体の画像データを得るとともに、前記撮像素子に遮光されて設けられた画素から出力される遮光画素データを得る撮影実行ステップと、前記画像データのホワイトバランスを調節するホワイトバランス調節ステップと、前記遮光画素データに基づいて前記画像データに生じたスミアを検出するとともに、前記遮光画像データに応じてスミア量を定めるスミア検出ステップと、前記スミアレベルに基づいて、前記ホワイトバランス調節ステップ後の前記スミアの色を含む所定色相範囲内の色の彩度を低下させる特定色補正ステップと、を備えることを特徴とする。
また、前記所定色相範囲の大きさは、前記スミア量に応じて定められることを特徴とする。
また、前記所定色相範囲は、調節されるホワイトバランスのゲイン信号に基づいて、ホワイトバランスの調節後に彩色される前記スミアの色に応じて定められることを特徴とする。
本発明によれば、ホワイトバランスの補正によって生じるスミアの色付きを容易に軽減し、スミアが生じた画像の画質を向上させることができる。
図1に示すように、デジタルカメラ10(撮影装置)の前面には、撮影レンズ16、ストロボ発光機17、レンズバリア18、ファインダ対物窓19などが設けられている。撮影レンズ16は、被写体からの光をCCD(後述)に結像させるレンズであり、デジタルカメラ10が使用されないときにはレンズバリア18によって前面を覆い隠され、遮光される。また、ストロボ発光機17は、例えば被写体が暗いときに発光され、露光量を補う。
レンズバリア18は、デジタルカメラ10の前面に平行にスライドして移動自在に設けられており、撮影レンズ16やストロボ発光機17の前面を覆い隠す閉位置とこれらの前面を開放する開位置とに移動される。また、レンズバリア18はデジタルカメラ10の電源スイッチとしても機能するように設けられており、レンズバリア18が閉位置にあるときにデジタルカメラ10の電源はオフとなり、レンズバリア18が開位置にあるときにデジタルカメラ10の電源はオンとなる。
デジタルカメラ10には光学ファインダが設けられており、この光学ファインダの最前面としてファインダ対物窓19がデジタルカメラ10の前面に露呈されるように設けられる。
図2に示すように、デジタルカメラ10の背面には、LCD21、ファインダ接眼窓22、操作部23などが設けられている。LCD21は、撮影した画像やデジタルカメラ10の各種設定メニューを表示するディスプレイである。また、LCD21は、CCDから出力されるスルー画像を表示し、電子ビューファインダとしても利用可能となっている。ファインダ接眼窓22は、前述の光学ファインダの最後面としてデジタルカメラ10の背面に露呈されて設けられる。
操作部23は、動作モード切替スイッチ24、方向キー26、メニューボタン27、決定ボタン28、キャンセルボタン29などから構成される。動作モード切替スイッチ24は、デジタルカメラ10の動作モードを切り替える。デジタルカメラ10の動作モードとしては、被写体の撮影を行う撮影モード、撮影した画像をLCD21に表示する再生モードなどが設けられている。
メニューボタン27は、デジタルカメラ10の設定を変更する際に押圧操作される。このメニューボタン27が押圧操作されると、LCD21上にデジタルカメラ10の各種設定を確認,変更するメニューが表示される。
方向キー26は、デジタルカメラ10の使用状態に応じて異なる機能を割り当てられた汎用キーである。例えば、デジタルカメラ10の動作モードが再生モードであるときには、LCD21に表示される画像を変更するコマ送りキーとして機能する。また、デジタルカメラ10の動作モードが撮影モードであるときには、撮影範囲を変更するズームキーとして機能する。さらに、方向キー26は、デジタルカメラ10の設定変更時に、LCD21に表示された各種メニューを選択するカーソルを移動させるカーソルキーとして機能する。
デジタルカメラ10の側面には、メモリカード31などの記録メディアを装填するメディアスロット32や、コンピュータなどの外部機器と接続するための接続端子類(図示しない)などが設けられている。
レリーズボタン33は、デジタルカメラ10の上面右端側面寄りに設けられており、撮影を実行する際に押圧操作される。このレリーズボタン33は、半押し操作と全押し操作の2段階に操作される。レリーズボタン33が半押し操作されると、デジタルカメラ10は露光量や撮影レンズ16の焦点距離などの各種撮影条件を自動的に調節する。また、レリーズボタン33が全押し操作されると、デジタルカメラ10は撮影を実行する。すなわち、デジタルカメラ10は被写体画像を取得し、これをメモリカード31などの記録メディアに記録する。
図3に示すように、デジタルカメラ10は、このデジタルカメラ10の各部を統括的に制御するCPU41や、撮影レンズ16、CCD42、DSP43などを備えている。
撮影レンズ16は、ズームレンズ46、絞り47、フォーカスレンズ48などから構成される。ズームレンズ46は、撮影光軸L1に沿って移動自在に設けられている。このズームレンズ46は、撮影モード時に方向キー26の操作に応じて移動され、撮影倍率を変化させる。絞り47は、レリーズボタン33の半押し操作などに応じて駆動され、絞り開口の面積を変化させ、露光量を調節する。フォーカスレンズ48は、ズームレンズ46と同様に、撮影光軸L1に沿って移動自在に設けられている。このフォーカスレンズ48は、ズームレンズ46の移動やレリーズボタン33の半押し操作に応じて移動され、撮影レンズ16の焦点距離を調節する。
このような撮影レンズ16の駆動、すなわち、ズームレンズ46及びフォーカスレンズ48の移動や、絞り47の絞り開口面積の調節は、レンズモータ51によって行われる。また、レンズモータ51は、撮影レンズ16の各部を駆動する際に必要な個数のステッピングモータやギアなどからなり、モータドライバ52などを介してCPU41によって制御される。
CCD42は、撮影レンズ16の背後に設けられており、撮影レンズ16によって受光面に結像された被写体像を光電変換し、アナログの撮像信号を出力する。このCCD42が出力する撮像信号には、レリーズボタン33が全押し操作されたときに出力される画素数の多い本画像信号と、スルー表示するための画素数の少ないスルー画像信号とがある。
本画像信号は、後述するようにデジタルな画像データに変換されるとともに、各種画像処理を施され、所定のファイル形式でメモリカード31へ記録される。一方、スルー画像信号は、例えば毎秒30フレームのフレームレートで出力されると、デジタルなスルー画像データに変換されるとともに、本画像信号と同様の各種画像処理を施される。このスルー画像データは、SDRAM78に設けられたVRAM領域にバッファリングされ、エンコーダ53によってアナログのコンポジット信号に変換されてLCD21に逐次スルー表示される。
また、CCD42は、いわゆる電子シャッタ機能を有しており、タイミングジェネレータ(図示しない)からのシャッタパルスが入力されると、それまでに蓄積された電荷を掃き出して消去し、本画像信号として出力される電荷の蓄積時間を調節する。デジタルカメラ10による撮影の露光量は、このCCD42の電子シャッタの速度と絞り47の絞り開口の大きさとによって定まる。また、こうしたCCD42の動作は、CCDドライバ56を介してCPU41によって制御される。
上述のようにCCD42から出力されるアナログの撮像信号は、相関二重サンプリング回路(以下、CDS)57に入力されてノイズが除去されるとともに、増幅器(以下、AMP)58によって増幅される。そして、A/D変換器59によってデジタルな画像データへと変換される。この画像データは、CCD42の受光面を構成する各セルに蓄積された電荷量を正確に反映したR,G,Bのデータであり、デジタルシグナルプロセッサ(以下、DSP)43へと入力される。
DSP43は、画像入力コントローラ61、AWB処理回路62、画質補正処理回路63、YC変換処理回路64、圧縮伸張処理回路66などから構成される。画像入力コントローラ61は、A/D変換器59から入力された画像データをバッファリングし、データバス67を介してSDRAM78に一時的に記憶させる。
AWB処理回路62は、SDRAM78から画像データを読み出して、ホワイトバランスが適切か否かを検出する。また、AWB処理回路62は、読み出した画像データのホワイトバランスが適切でない場合には、RGBの各色についてRゲイン、Gゲイン、Bゲインを算出し、これを元の画像データに加減することで、撮影した画像データを適切なホワイトバランスに調節する。
画質補正処理回路63は、SDRAM78から画像データを読み出して、階調変換処理、γ補正処理などの各種画質補正処理を施す。この画質補正処理回路63によって画質を補正された画像データは、再度SDRAM78に記憶される。
YC変換処理回路64は、画質補正処理回路63で各種画質補正処理を施された画像データをSDRAM78から読み出し、輝度信号Yと色差信号Cr,Cbとに変換する。
圧縮伸張処理回路66は、YC変換された画像データを、例えばJPEGやTIFFといった所定のファイル形式で出力する。この圧縮伸張処理回路66によって圧縮された画像データは、メディアコントローラ(図示しない)を介してメモリカード31に記録される。
また、デジタルカメラ10は、AE検出回路68、AF検出回路69などを備えている。AE検出回路68は、SDRAM78から画像データを読み出し、予め設定されたAE検出領域から被写体の輝度を検出し、露光量が適切か否かを検出する。このAE検出回路68によって検出された被写体の輝度に基づいて、CPU41は、CCD42の電子シャッタの速度と絞り47の絞り開口の大きさとを定め、露光量が撮影に適切な量となるように調節する。
AF検出回路69は、SDRAM78から画像データを読み出し、予め設定されたAF検出領域から高周波成分を抽出し、この高周波成分を積算したAF評価値を算出する。CPU41は、このAF評価値が最大となるように、AF検出領域内のコントラストが最大となる合焦位置に、フォーカスレンズ48を移動させ、撮影レンズ16の焦点距離を調節する。
さらに、デジタルカメラ10は、スミア検出部71(スミア検出手段)、特定色補性処理部72(特定色補正手段)を備える。スミア検出部71は、A/D変換器59から出力される画像データが入力されると、CCD42のOB領域に由来するOBデータを取得する。このOBデータは、光が照射されない画素の基準として使用されるデータであり、画像データにスミアが生じていなければ略起伏のないデータである。したがって、スミア検出部71は、このOBデータを取得し、その起伏に基づいて、画像データにスミアが生じているか否かを検出する。さらに、スミア検出部71は、画像データにスミアを検出された場合には、そのスミアの特徴量としてスミアレベルを定める。例えば、OBデータに生じたスミアを示すデータの信号強度、位置、幅、面積などのスミアを特徴付ける量をスミアレベル(スミア量)として定める。なお、このスミア検出部71は、OBデータに生じたスミアの信号強度をスミアレベルとして定める。
特定色補正処理部72は、スミアの生じている画像データに対して、特定の色相範囲の彩度を低下させる画像処理を施す。すなわち、この特定色補正処理部72は、スミア検出部71で定められたスミアレベル、例えば検出されたスミアの信号強度を所定の閾値75と比較する。
そして、検出されたスミアレベルが閾値75よりも大きく、スミアが画像データの画質に深刻な影響を与えてしまう場合には、所定の色相範囲の色に限って画像データの彩度を低下させる画像処理を施す。このとき、彩度を低下させる程度もまた、検出されたスミアレベルに応じて決定する。また、特定色補正処理部72による彩度を低下させる画像処理は、YC変換後の画像データに対して行われる。
一方、検出されたスミアレベルが閾値75以下の値であり、スミアが画像データの画質にそれ程深刻な影響を与えない場合には、上述のような所定の色相範囲の色の彩度を低下させる画像処理を施さない。したがって、スミア検出部71によって検出されたスミアが軽度の場合には、画像データに対してDSP43による各種画像処理のみが施される。
EEPROM77は、デジタルカメラ10の制御用プログラムや各種設定情報などが格納されているメモリである。このEEPROM77に格納されている設定情報としては、例えば、前述のようにスミアレベルと比較される閾値75や、彩度を低下させる所定の色相範囲などが記憶されている。
SDRAM78は作業用のメモリであり、画像データを一時的に記憶するとともに、CPU41によって実行されるデジタルカメラ10の制御用プログラムなどがロードされる。また、前述のSDRAM78内にはスルー画像データを格納するVRAM領域が確保されており、このVRAM領域にバッファリングされるスルー画像データはCCD42がスルー画像信号を出力するフレームレートに応じて随時更新される。さらに、スミア検出部71で検出されるスミアの特徴を示すデータなどもこのSDRAM78に記憶される。
上述のように構成されるデジタルカメラ10の作用について説明する。図4に示すように、デジタルカメラ10は、レリーズボタン33が押圧操作されると、画像データを取得するとともに、OBデータを取得する(撮影実行ステップ)。
取得された画像データは、自動的にホワイトバランスが調節される(ホワイトバランス調節ステップ)。すなわち、画像データのR,G,B各色に対してそれぞれRゲイン、Gゲイン、Bゲインが加減され、画像データが適切なホワイトバランスとなるように調節される。また、このホワイトバランスの調節は画像データの全ての画素に対して行われる。
例えばスミアによって蓄積電荷が飽和した画素に対してもこうしたホワイトバランスの調節が行われる。したがって、画像データにスミアが生じていると、このスミア部分は、ホワイトバランスが自動的に調節されることによって、かえって不自然な色に彩色されることとなる。そして、この画像データはγ補正など他の各種画像処理を施され、YC変換される。
こうした各種画像処理が取得された画像データに施されると同時に、OBデータに基づいて画像データに生じたスミアの特徴、例えばスミアレベルが検出される(スミア検出ステップ)。そして、このスミアレベルは、予め定められた閾値75と比較される。
検出したスミアレベルが閾値75以下の値であった場合には、上述のように各種画像処理を施された画像データは、JPEGなどの所定形式で圧縮され、メモリカード31に記憶される。
一方、検出したスミアレベルが閾値75よりも大きな値であった場合には、上述のように各種画像処理を施された画像データに対して、さらに所定色相範囲の彩度を低下させる画像処理が施される(特定色補正ステップ)。この場合、所定色相範囲は予め定められており、例えばマゼンタ色の彩度だけが下げられ、グレーに近づけられる。また、彩度を低下させる程度は、スミアレベルに応じて定められる。
こうして所定色相範囲の彩度が低下された画像データは、前述と同様にJPEGなどの所定形式で圧縮されてメモリカード31に記憶される。
具体的には、図5(A)に示すように、例えば撮影範囲内に太陽があるシーンで撮影を行うと、得られる画像81にはスミア82が生じる。この画像81のホワイトバランスを補正する場合、例えばGゲインを基準とすれば、Rゲイン,Bゲインともに1.5倍程度の大きさとなる。したがって、スミア82は本来白色であるが、ホワイトバランスの補正が行われることによって、いわゆるマゼンタ色に彩色されてしまう。
一方、図5(B)に示すように、画像81にスミア82が生じると、この画像81を撮影したときのOBデータ83には、スミア82の生じた部分に対応する位置に起伏が生じる。OBデータ83は、CCD42内の遮光されたOB領域の画素から得られるデータであり、光学的な黒色の基準として用いるデータであるから、信号強度は小さく、暗電流によるノイズなどを反映するものである。したがって、このOBデータ83に生じた大きな起伏は、本来の画像信号に対してオフセットとして付加されたスミア82の信号強度を反映したものである。デジタルカメラ10は、このOBデータ83に生じた起伏の信号強度をスミアレベルとして検出する。
一方、図5(C)に示すように、ホワイトバランスの補正によって彩色されたスミア82のマゼンタ色84は、Cr,Cbを軸とする座標上においては第1象限にある。デジタルカメラ10には、このマゼンタ色84を含む所定色相範囲86が予め定められており、画像81に対してこの所定色相範囲86内の色の彩度を低下させる画像処理を施す。すなわち、所定色相範囲86内に含まれる色を、Cr‐Cb座標の原点に向けて移す画像変換処理を行う。また、スミアレベルに応じて、所定色相範囲86内の色の彩度を低下させる量も予め定められている。
こうして、ホワイトバランス補正後のスミア82の色を含む所定色相範囲86の彩度を低下させると、図5(D)に示すように、画像81のスミア以外の部分は大きな影響を受けずに、スミア82に付いたマゼンタ色84は薄くグレーに近づけられる。
以上のように、デジタルカメラ10は、ホワイトバランスの補正によってスミア82に彩色される色の彩度を低下させることで、スミアの視認性を下げ、スミアによる画質の劣化を容易に軽減することができる。
なお、上述の実施形態では、ホワイトバランスの補正によってスミアに彩色される色を含む色相の範囲を所定色相範囲として予め定めているが、これに限らず、検出したスミアレベルに応じて彩度を低下させる色相の範囲を定めることが好ましい。
例えば、スミアレベルと比較する値として、第1閾値75aと第2閾値75bとを予め設ける。また、図6に示すように、所定色相範囲として、小色相範囲88と、この小色相範囲88よりも範囲の大きな大色相範囲89とを予め定めておく。そして、例えば図7に示すように、検出したスミアレベルが第1閾値75aよりも大きい場合には、所定色相範囲としてより小さい色相範囲である小色相範囲88を指定する。そして、この小色相範囲88内の色の彩度を低下させる。
一方、検出したスミアレベルが第1閾値75a以下の値であり、第2閾値よりも大きな値である場合には、所定色相範囲としてより大きな色相範囲である大色相範囲89を指定する。そして、この大色相範囲89内の色の彩度を低下させる。また、検出したスミアレベルが第2閾値75b以下の値である場合には、特定の色の彩度を低下させる画像処理は行わずに画像データを圧縮し、記憶する。
すなわち、画像データのうちスミアが生じた部分のデータは、本来の画像信号由来の成分とスミアによる信号由来の成分とからなる。スミア自体は、その発生原因からしてRGB各色に一律にオフセットとして付加される。したがって、スミアの色は、本来の画像信号由来の成分比率に応じて、色相の範囲にばらつきがある。
このことから、スミアレベルが比較的大きい場合、すなわち、本来の画像信号に対してスミア由来の信号強度が大きい場合には、スミア部分の色はRGBに略共通するスミア由来の信号の強度に依存し、色相の範囲にばらつきは少ない。このことは、ホワイトバランスの補正によって彩色された後のスミア部分の色も同様である。したがって、スミアレベルが第1閾値75aよりも大きい場合には、彩度を低下させる色相の範囲としてより小さな範囲を指定すればよく、小色相範囲88を指定する。
一方、スミアレベルが比較的小さい場合、すなわち、本来の画像信号に対してスミア由来の信号強度がそれ程大きくない場合には、スミア部分の色は本来の画像信号を反映したばらつきがある。これはホワイトバランスの補正によって彩色された後のスミア部分の色についても同様である。したがって、スミアレベルが第1閾値75a以下の値であり、第2閾値75bよりも大きな値であるときには、彩度を低下させる色相の範囲としてより大きな範囲を指定する必要があり、大色相範囲89を指定する。
このように、検出したスミアレベルに応じて、彩度を低下させる色相の範囲を、検出したスミアレベルに応じて変化させることで、スミアの生じた部分以外に与える影響はより小さくなり、スミアの色付きをより的確に目立たなくすることができる。
なお、このようにスミアレベルに応じて彩度を低下させる色相の範囲の大きさを定めるときに、上述の例では、いくつかの色相範囲を定めておき、選択するが、これに限らない。すなわち、スミアレベルに応じて指定する色相範囲を適宜変えることが好ましい。例えば、所定色相範囲を円形に定め、スミアレベルに応じた径の所定色相範囲を、彩度を低下させる色相の範囲とすればよい。
また、上述の実施形態では、ホワイトバランスの補正によってスミアの色がマゼンタ色になる例を説明するが、これに限らず、他の色に彩色されたスミアについても同様に彩度を低下させ、スミアの色付きを目立たなくすることが好ましい。
例えば、図8に示すように、デジタルカメラ90は、前述のデジタルカメラ10の特定色補正処理部72の機能を拡張した特定色補正処理部91を備える。また、デジタルカメラ90は、第3閾値75c、第4閾値75d、第5閾値75e、第1色相範囲92a、第2色相範囲92b、第3色相範囲92c、第4色相範囲92dを予め定めてある。
特定色補正処理部91は、AWB処理回路62からホワイトバランスゲイン、すなわち、Rゲイン、Gゲイン、Bゲインの値をそれぞれ取得する。また、取得したホワイトバランスゲインに基づいて、特定色補正処理部91は、Gゲインに対するRゲインの比率(以下、Rゲイン率)、及びGゲインに対するBゲインの比率(以下、Bゲイン率)を各々算出する。さらに、特定色補正処理部91は、Rゲイン率及びGゲイン率を第3閾値75c,第4閾値75d、第5閾値75eと各々比較して、ホワイトバランスが補正された後のスミアの色に応じた色相の範囲を定め、この色相の範囲の色の彩度を低下させる画像処理を画像データに施す。
第3閾値75c,第4閾値75d,第5閾値75eは、予め定められており、EEPROM77に記憶されている。これらの閾値は、上述のように、Rゲイン率,Bゲイン率と比較される。
また、図9に示すように、第1〜第4色相範囲92a〜dは、予め定められており、EEPROM77に記憶されている。第1色相範囲92aは、Cr‐Cb座標の第1象限内に定められた色相の範囲であり、主としてマゼンタ色を指定する。第2色相範囲92b、Cr‐Cb座標の第2象限内に定められた色相の範囲であり、青色〜シアン色を指定する。第3色相範囲92cは、Cr‐Cb座標の第3象限内に定められた色相の範囲であり、主として緑色を指定する。第4色相範囲92dは、Cr‐Cb座標の第4象限内に定められた色相の範囲であり、赤色〜黄色を指定する。
上述のように構成されるデジタルカメラ90は、図10に示すように、前述のように、検出したスミアレベルを第1、第2閾値75a,75bなど所定の閾値と比較して、特定の色相範囲の色の彩度を低下させる画像処理を行うか否かを決定する。
そして、特定の色相範囲内の色の彩度を低下させる画像処理を行うことが決定された場合には、Rゲイン率を第3閾値75cと比較する。また、Rゲイン率が第3閾値75cよりも大きい場合には、さらに、Bゲイン率を第4閾値75dと比較する。
Rゲイン率が第3閾値75cよりも大きく、かつ、Bゲイン率が第4閾値75dよりも大きい場合には、第1色相範囲92aが選択され、画像データに対してこの第1色相範囲92aに属する色の彩度が低下される画像処理が行われる。すなわち、ホワイトバランス補正前の画像データが全体として緑色に偏っていると、ホワイトバランスの補正は、Gゲインに対してRゲイン,Bゲインの比率が大きくなる。したがって、ホワイトバランスが補正されると、スミアはマゼンタ色に彩色されてしまう。このことから、マゼンタ色を指定する第1色相範囲92aに属する色の彩度を選択的に低下させる。
また、Rゲイン率が第3閾値75cよりも大きく、Bゲイン率が第4閾値75dよりも小さい場合には、第4色相範囲92dが選択され、画像データに対してこの第4色相範囲92dに属する色の彩度が低下する画像処理が施される。すなわち、ホワイトバランス補正前の画像データが全体として青色に偏っていると、ホワイトバランスの補正は、Gゲインに対してRゲインの比率は大きく、Bゲインの比率は小さくなる。したがって、ホワイトバランスが補正されると、スミアは赤〜黄色に彩色される。このことから、赤色〜黄色を指定する第4色相範囲92dに属する色が選択的に彩度を低下される。
一方、Rゲイン率が第3閾値75cよりも小さい場合には、さらに、Bゲイン率を第5閾値75eと比較する。Rゲイン率が第3閾値75cよりも小さく、Bゲイン率が第5閾値75eよりも大きい場合には、第2色相範囲92bが選択され、画像データに対してこの第2色相範囲92bに属する色の彩度が低下する画像処理が施される。すなわち、ホワイトバランス補正前の画像データが全体として黄色に偏っていると、ホワイトバランスの補正は、Gゲインに対してRゲインの比率は小さく、Bゲインの比率は大きくなる。したがって、ホワイトバランスが補正されると、スミアは青色〜シアン色に彩色される。このことから、青色〜シアン色を指定する第2色相範囲92bに属する色が選択的に彩度を低下される。
また、Rゲイン率が第3閾値75cよりも小さく、Bゲイン率が第5閾値75eよりも小さい場合には、第3色相範囲92cが選択され、画像データに対してこの第3色相範囲92cに属する色の彩度が低下する画像処理が施される。すなわち、ホワイトバランスの補正前の画像データが全体としてマゼンタ色に偏っていると、ホワイトバランスの補正は、Gゲインに対してRゲイン,Bゲインの比率は小さくなる。したがって、ホワイトバランスが補正されると、スミアは緑色に彩色される。このことから、緑色を指定する第3色相範囲92cに属する色の彩度を選択的に低下させる。
このように、ホワイトバランスゲインに応じて彩度を低下させる色相の範囲を変更すると、ホワイトバランス補正後のスミアの色を的確に補正することができる。
なお、ホワイトバランスゲインに応じて彩度を低下させる色相の範囲を変更する場合に、上述の例では、Cr‐Cb座標内での大きさが予め定められた第1〜第4色相範囲から適切なものを選択するが、これに限らず、検出したスミアレベルに応じて彩度を低下させる色相の範囲を変更することが好ましい。すなわち、前述のように、スミアレベルが大きいほど、彩度を低下させる範囲は狭く設定することが好ましい。
なお、ホワイトバランスゲインに応じて彩度を低下させる色相の範囲を変更する場合に、上述の例では、Cr‐Cb座標内の位置が予め定められた第1〜第4色相範囲から適切なものを選択するが、これに限らず、R、G,Bの各ゲインの比率に応じて色相の範囲を定めても良い。例えば、予め第1〜第4色相範囲を定めておくのではなく、R,G,Bの各ゲインの比率から、ホワイトバランス補正後のスミアの色を算出する。そして、この算出したスミアの色を含む範囲を、彩度を低下させる色相の範囲とすることが好ましい。
また、上述の例では、第1〜第4色相範囲から適切なものを指定するために、ホワイトバランスゲインと比較される閾値として、第3〜第5閾値を予め定めるが、これに限らず、第4閾値75dと第5閾値75eとを同一の値に定めても良い。
なお、上述の実施形態では、OBデータに現れるスミアの信号強度をスミアレベルとして用いたが、これに限らず、スミアの他の特徴をスミアレベルとして用いても良い。例えば、単に最大の信号強度をスミアレベルとするのではなく、信号強度とスミアの幅との積で求められる面積をスミアレベルとしても良い。このように、OBデータに生じたスミアを示す起伏の面積をスミアレベルとして用いると、生じたスミアの幅内で信号強度にばらつきがある場合に、彩度を低下させる色相の範囲や彩度の低下量などをさらに適切に定めることができる。
また、上述の実施形態では、スミア検出部71にA/D変換器59からデータが入力されるが、これに限らず、他の部材や他のタイミングでスミア検出部71に画像データを入力しても良い。例えば、CCD42から出力される撮像信号を直接スミア検出部71に入力しても良い。
なお、上述の実施形態では、Cr‐Cb座標上で所定色相範囲が円形に定められた例を示すが、これに限らず、所定色相範囲は楕円形や矩形など他の任意の形状に定めても良い。また、上述の実施形態のように、Cr‐Cb座標上での大きさや位置が異なる複数の所定色相範囲を定めるときには、それぞれの所定色相範囲ごとにCr‐Cb座標上での形状を定めて良い。さらに、Cr−Cb座標上で所定色相範囲を定めることに限らず、他の色相空間、例えばRGBで所定色相範囲を指定しても良い。
また、上述の実施形態では、特定の色相範囲に属する色の彩度を低下させるときに、画像データの全体に対してこの彩度を低下させる画像処理を施すが、これに限らない。すなわち、OBデータによればスミアの位置や幅も容易に特定されるから、画像データの全体に対して特定色相範囲の彩度を低下させるのではなく、スミアが生じた部分に対してこの画像処理を施しても良い。
デジタルカメラの前面の外観を示す斜視図である。 デジタルカメラの背面の外観を示す斜視図である。 デジタルカメラの電気的構成を示すブロック図である。 デジタルカメラの作用を示すフローチャートである。 デジタルカメラの作用を示す説明図である。 大小の所定色相範囲の例を示す説明図である。 スミアレベルの値に応じて所定色相範囲の大きさを変える例を示すフローチャートである。 彩度を低下させる色相範囲を変更するデジタルカメラの電気的構成を示すブロック図である。 第1〜第4色相範囲の例を示す説明図である。 ホワイトバランスゲインに応じて彩度を低下させる色相範囲を変更する例を示すフローチャートである。
符号の説明
10,90 デジタルカメラ(撮影装置)
16 撮影レンズ
42 CCD
62 AWB処理回路
71 スミア検出部(スミア検出手段)
72,91 特定色補正処理部(特定色補正手段)
75,75a〜d 閾値
81 画像
82 スミア
83 OBデータ
86 所定色相範囲
88 小色相範囲
89 大色相範囲
92a〜d 第1〜第4色相範囲

Claims (6)

  1. 撮像素子で被写体からの光を光電変換して前記被写体の画像データを得るときに、前記画像データのホワイトバランスを調節する撮影装置において、
    前記撮像素子内の遮光された画素から出力される遮光画素データに基づいて前記画像に生じたスミアを検出するとともに、前記遮光画素データに応じてスミア量を定めるスミア検出手段と、
    前記スミア量に基づいて、前記画像データのホワイトバランスが調節された後の前記スミアの色を含む所定色相範囲内の色の彩度を低下させる特定色補正手段と、
    を備えることを特徴とする撮影装置。
  2. 前記所定色相範囲の大きさは、前記スミア量に応じて定められることを特徴とする請求項1記載の撮影装置。
  3. 前記特定色補正手段は、調節されるホワイトバランスのゲイン信号に基づいて、ホワイトバランスの調節後に彩色される前記スミアの色に応じた前記所定色相範囲を定めることを特徴とする請求項1又は2に記載の撮影装置。
  4. 撮像素子で被写体からの光を光電変換して前記被写体の画像データを得るとともに、前記撮像素子に遮光されて設けられた画素から出力される遮光画素データを得る撮影実行ステップと、
    前記画像データのホワイトバランスを調節するホワイトバランス調節ステップと、
    前記遮光画素データに基づいて前記画像データに生じたスミアを検出するとともに、前記遮光画像データに応じてスミア量を定めるスミア検出ステップと、
    前記スミアレベルに基づいて、前記ホワイトバランス調節ステップ後の前記スミアの色を含む所定色相範囲内の色の彩度を低下させる特定色補正ステップと、
    を備えることを特徴とする撮影方法。
  5. 前記所定色相範囲の大きさは、前記スミアレベルに応じて定められることを特徴とする請求項4記載の撮影方法。
  6. 前記所定色相範囲は、調節されるホワイトバランスのゲイン信号に基づいて、ホワイトバランスの調節後に彩色される前記スミアの色に応じて定められることを特徴とする請求項4又は5に記載の撮影方法。
JP2007206166A 2007-08-08 2007-08-08 撮影方法及び撮影装置 Withdrawn JP2009044367A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007206166A JP2009044367A (ja) 2007-08-08 2007-08-08 撮影方法及び撮影装置
US12/187,890 US7880783B2 (en) 2007-08-08 2008-08-07 Image pickup apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007206166A JP2009044367A (ja) 2007-08-08 2007-08-08 撮影方法及び撮影装置

Publications (1)

Publication Number Publication Date
JP2009044367A true JP2009044367A (ja) 2009-02-26

Family

ID=40346096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007206166A Withdrawn JP2009044367A (ja) 2007-08-08 2007-08-08 撮影方法及び撮影装置

Country Status (2)

Country Link
US (1) US7880783B2 (ja)
JP (1) JP2009044367A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011073A (ja) * 2008-06-26 2010-01-14 Canon Inc 撮像装置、その画像処理方法及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4982286B2 (ja) * 2007-07-25 2012-07-25 株式会社リコー 撮像装置
TWI410737B (zh) * 2009-08-25 2013-10-01 Acer Inc 投影畫面的光反射補償方法及投影裝置
WO2011058660A1 (ja) * 2009-11-16 2011-05-19 キヤノン株式会社 撮像装置およびその制御方法
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8786735B2 (en) * 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8811683B2 (en) * 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
CN108200347A (zh) * 2018-01-30 2018-06-22 努比亚技术有限公司 一种图像处理方法、终端和计算机可读存储介质
JP7353783B2 (ja) * 2019-04-16 2023-10-02 キヤノン株式会社 撮像装置とその制御方法及び撮像素子とその制御方法
KR102739817B1 (ko) 2020-07-17 2024-12-09 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5032913A (en) * 1989-02-28 1991-07-16 Olympus Optical Co., Ltd. Electronic endoscope system equipped with color smear reducing means
JP2002084546A (ja) 2000-09-08 2002-03-22 Sony Corp 色信号補正方法
JP2002271802A (ja) 2001-03-14 2002-09-20 Sony Corp 画像処理方法及び撮像装置
JP3788393B2 (ja) 2002-06-10 2006-06-21 ソニー株式会社 デジタルスチルカメラ装置、ビデオカメラ装置及び情報端末装置
JP2004260699A (ja) * 2003-02-27 2004-09-16 Canon Inc 撮像装置、撮像方法、及びプログラム
JP4235903B2 (ja) * 2003-09-10 2009-03-11 ソニー株式会社 撮像装置
US7586527B2 (en) * 2005-01-07 2009-09-08 Mediatek Usa Inc Detecting smear leakage in an image sensor exposed to a bright light source

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011073A (ja) * 2008-06-26 2010-01-14 Canon Inc 撮像装置、その画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20090040336A1 (en) 2009-02-12
US7880783B2 (en) 2011-02-01

Similar Documents

Publication Publication Date Title
JP2009044367A (ja) 撮影方法及び撮影装置
JP5347707B2 (ja) 撮像装置および撮像方法
US20070009245A1 (en) Imaging apparatus and imaging method
JP5169318B2 (ja) 撮像装置、撮像方法
US20120268632A1 (en) Image sensing apparatus with exposure controller
JP4757927B2 (ja) ホワイトバランス調整装置及びホワイトバランス調整方法
WO2015190156A1 (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP2007264196A (ja) ストロボ制御装置及び方法
CN102883108B (zh) 摄像设备及其控制方法、图像处理设备和方法
JP2010213213A (ja) 撮像装置及び撮像方法
WO2007063731A1 (ja) カメラシステム
JP2001103366A (ja) カメラ
US20170318208A1 (en) Imaging device, imaging method, and image display device
US20070206938A1 (en) Distance measuring apparatus and method
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
JP5277863B2 (ja) 撮像装置および撮像方法
JP2008301371A (ja) 撮像装置および画像処理プログラム
JP2005269130A (ja) 手振れ補正機能を有する撮像装置
US20040212703A1 (en) Image sensing apparatus
JP4114707B2 (ja) 撮像装置
JP5948997B2 (ja) 撮像装置及び撮像方法
JPWO2006103880A1 (ja) 撮像装置
KR101612853B1 (ko) 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP2010068331A (ja) 撮像装置および撮像方法
KR101408359B1 (ko) 촬상장치 및 촬상방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100215

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110608