JP6092690B2

JP6092690B2 - 撮像装置およびその制御方法

Info

Publication number: JP6092690B2
Application number: JP2013078098A
Authority: JP
Inventors: 明光吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-11
Filing date: 2013-04-03
Publication date: 2017-03-08
Anticipated expiration: 2033-04-03
Also published as: WO2013153810A1; JP2013236364A; US8970732B2; US20130308009A1

Description

本発明は、撮像装置およびその制御方法に関する。

デジタルカメラやカメラ付き携帯電話などの撮像装置においては、撮像素子の入出力特性のうち線形性のある範囲を使い切れるよう、撮像素子の出力に対する増幅率を設定している（特許文献１）。そして、撮像素子の出力を線形な入出力特性である一定増幅率で変換する線形変換回路（ゲイン回路とも呼ばれる）が設けられている。また、階調特性を制御するため、画像信号のレベルを非線形な入出力特性で変換する非線形変換回路（ガンマ回路とも呼ばれる）が設けられている。例えば特許文献２には、非線形変換回路の入出力特性（ガンマ特性、ガンマカーブとも呼ばれる）を調整して、階調補正を行う技術が開示されている。

また、ダイナミックレンジを確保するために、設定されている撮影感度よりも低い感度で撮像素子を駆動する場合など、設定感度によらず、設定感度より低い一定の感度で撮像素子を駆動して撮影する場合がある。この場合、ガンマカーブを感度ごとに用意することで、撮影感度と実際の素子駆動感度との差を補償するとともに、ガンマカーブの入力レンジを最大限利用することができ、良好な階調性が得られる（特許文献２）。図３に、撮影感度に応じたガンマカーブの例を示す。

特開平１１−３３１６８９号公報特開２００６−１５７６５８号公報

しかしながら、図３に示すように撮影感度ごとにガンマカーブを用意すると、多くの記憶容量が必要となる。特に、設定されうる撮影感度が多いほどこの問題は大きくなる。デジタルカメラにおいて、撮影感度はユーザが明示的に設定するものだけでなく、自動露出制御機能によって設定される場合もある。通常、ユーザが設定可能な撮影感度はフィルムの感度と同様、２倍または１／２倍ずつ変化する値に限定されていることが多い。しかし、自動露出制御機能によって設定されうる撮影感度は、より細かい刻みの値となりうる。これは、デジタルカメラの撮影感度はフィルムの感度と異なり電気的な制御で可変なことによる。

つまり、撮影感度も決定する自動露出制御機能を有する撮像装置では、設定されうる撮影感度の種類が非常に多くなりうるので、撮影感度ごとにガンマカーブを用意することのデメリットがさらに大きくなる。

本発明は、非線形変換特性を撮影感度ごとに用意することなく、様々な撮影感度における良好な階調性を実現可能な撮像装置およびその制御方法の提供を目的とする。

上述の目的は、撮像素子が出力する信号レベルを、線形な入出力特性で変換して出力する線形変換手段と、線形変換手段により変換された信号レベルを非線形な入出力特性で変換して出力する非線形変換手段と、線形変換手段の動作を制御する制御手段と、を有する撮像装置であって、制御手段は、撮影感度が、予め定められたダイナミックレンジが確保できる最低の撮影感度である標準感度よりも低い場合は、標準感度に対応する撮像素子感度で撮影して得られる信号レベルのレンジを、撮影感度が低いほど最大値が小さくなるように変換するように線形な入出力特性を制御することを特徴とする撮像装置によって達成される。

本発明によれば、非線形変換特性を撮影感度ごとに用意することなく、様々な撮影感度における良好な階調性を実現可能な撮像装置およびその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図図１における撮像部および画像処理部の詳細を示すブロック図感度ごとに用意されたガンマカーブの例を示す図本発明の第１の実施形態に係るデジタルカメラで用いるガンマカーブの例を示す図本発明の第１の実施形態における、撮影感度とガンマ変換後の最大値の対応例を示す図本発明の第１の実施形態における撮影感度に応じたクリップレベルの設定処理を説明するための図本発明の第１の実施形態における撮影感度に応じた色抑圧ゲイン特性の設定処理を説明するための図本発明の第１の実施形態におけるコントローラの動作を説明するためのフローチャート本発明の第２の実施形態におけるコントローラの動作を説明するためのフローチャート

以下、添付図面を参照して本発明の例示的な実施形態について説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ１００（以下、単にデジタルカメラという）における、撮像、現像、出力に関わる構成例を示すブロック図である。コントローラ１３０はＣＰＵおよび、ＲＯＭやＲＡＭ等のメモリを有し、以下に説明する各部を制御したり、各部の機能の一部もしくは全てを実現したりする。なお、以下に説明する構成の少なくとも一部は、コントローラ１３０のＣＰＵがソフトウェア的に実現してもよいし、ハードウェアによって実現されてもよいし、ハードウェアとソフトウェアの協働により実現されてもよい。

なお、本実施形態は、いわゆるＬｏｇガンマを適用した動画撮影が可能な撮像装置に本発明を適用した場合について説明する。Ｌｏｇガンマとは、映画やテレビのように、編集を前提とした撮影で用いられる非線形の入出力特性であり、編集時の調整しろを確保するため、できるだけ白とびや黒つぶれが生じないよう、階調性を重視した特性を有する。Ｌｏｇガンマは、入力輝度値の増加に対して出力輝度値が対数的に(logarithmically)増加するような非線形な入出力特性である。

撮像部１０１は、撮影光学系および撮像素子を含み、撮像素子の撮像面に結像された光学像を電気信号に変換し、取得された電気信号をデジタル信号に変換して出力する。撮像部１０１の構成例を図２（ａ）に示す。図２（ａ）において、撮影光学系２０１の視野（撮像範囲）内の被写体像は、撮影光学系２０１により、撮像素子としてのＣＭＯＳ２０２の撮像面上に結像する。なお、撮像素子はＣＭＯＳイメージセンサに限られるものではなく、ＣＣＤイメージセンサ等の他の種類の光電変換素子であってもよい。

ＣＤＳ／ＡＧＣ回路２０３は、ＣＭＯＳ２０２から得られた電気信号を相関二重サンプリングするとともに、ゲイン調整を行なう。Ａ／Ｄ変換器２０４は、ＣＤＳ／ＡＧＣ回路２０３から出力される信号をデジタル変換し、画像信号として出力する。線形変換手段としての可変増幅回路（Ｇａｉｎ）２０７は、Ａ／Ｄ変換器２０４の出力に、後述するコントローラ１３０から設定された入出力特性（ゲイン）を適用し、出力信号のレベルを変換する。また、撮影光学系２０１は、絞りおよびフォーカスレンズの駆動機構２０６を有し、ＡＥ／ＡＦ部２０５はコントローラ１３０からの指示により駆動機構２０６を制御する。このようなＡＥ／ＡＦ部２０５、駆動機構２０６により、自動焦点検出（ＡＦ）機能や自動露出制御（ＡＥ）機能が実現される。

なお、本実施形態のデジタルカメラ１００は、自動露出制御機能として、絞り優先ＡＥモード、シャッタースピード優先ＡＥモード、プログラムＡＥモードを有するものとする。また、撮影感度を自動露出制御機能によって決定可能とするかどうかをユーザが設定可能であるものとする。このようなＡＥモードや、自動露出制御機能が撮影感度を決定する構成は公知であり、またその詳細は本発明と関連しないため、これ以上の説明は省略する。

図１に戻り、ホワイトバランス手段としてのＷＢ部１０２は、撮像部１０１（可変増幅回路２０７）から出力された画像信号に対してホワイトバランス調整を行なう。また、ＷＢ部１０２は、ホワイトバランス調整された信号の最大レベルをクリップレベルに制限するクリップ回路１０２１を有する。クリップレベルはコントローラ１３０から設定される。ＷＢ部１０２においてホワイトバランスが調整された画像信号は画像処理部１０６に供給される。画像処理部１０６の詳しい動作については後述する。

操作部１０３は、ユーザがデジタルカメラ１００に各種の設定や指示を入力するためのスイッチ、ボタン、キー、ダイヤル、タッチパネルなどの入力デバイス群である。なお、操作部１０３は、物理的な機構の操作によるものだけでなく、視線検知や音声認識などを利用するものであってもよい。
操作部１０３に含まれる代表的なものは、レリーズボタン、メニュー表示ボタン、矢印キー、決定／実行ボタン、撮影モード設定ダイヤルなどである。

操作部１０３の操作はコントローラ１３０によって検出され、コントローラ１３０は検出した操作内容に応じた動作を実現するように各部を制御する。なお、コントローラ１３０は表示部１１１にメニュー画面などのＧＵＩ画面を表示したり、画像処理部１０６が出力する表示用画像にデジタルカメラ１００の設定情報や撮影情報などを重畳して表示部１１１に表示したりする。

図２（ｂ）は、画像処理部１０６の詳細な機能構成例を示す図である。ノイズ除去部（ＮＲ）２１１は、ホワイトバランス調整がされた画像信号に対してノイズ除去処理を適用する。ノイズ除去部２１１から出力された画像信号は、色信号と輝度信号とで並行に処理される。ブロック２１２〜２１７からなる色処理部では、まず、第１マトリクス（ＭＴＸ１）２１２が、ノイズ除去部２１１から出力された画像信号（ＲＧＢ）をＹＵＶ信号に変換する。この際、第１マトリクス２１２は、撮像素子（ＣＭＯＳ）２０２の固有の分光特性に起因したばらつきを吸収するマトリクス変換を併せて行なう。色抑圧部２１３は、色（ＵＶ）信号に対して輝度に応じたゲインを適用することで、高輝度部分の色成分を抑圧し、飽和部分（白色部分）の色付きを抑制する。色抑圧部２１３は、高輝度部分では１より小さいゲインを適用して色成分の値を削減する。本実施形態において、輝度と適用すべきゲインとの関係は、コントローラ１３０から設定される。

第２マトリクス（ＭＴＸ２）２１４は、色抑圧部２１３により処理されたＵＶ信号を含むＹＵＶ信号を、γ処理のためにＲＧＢ信号に変換する。Ｃγ処理部２１５は、第２マトリクス２１４により得られた画像信号（ＲＧＢ信号）に対してγ処理を施す。そして、第３マトリクス２１６は、Ｃγ処理部２１５の出力（ＲＧＢ信号）を再びＹＵＶ信号に変換する。ニー補正部２１７は、第３マトリクス２１６から出力されたＹＵＶ信号のうちのＵＶ信号を入力し、高彩度における色空間の圧縮を行なって、画像信号を目標とする色空間に収める。

他方、ノイズ除去部２１１から出力された画像信号（ＲＧＢ）のうちのＧ成分はブロック２２１〜２２３からなる輝度処理部に入力される。輝度処理部では、まず、適応処理部２２１が帯域を維持するためにＧ信号に適応化処理を施してＹ信号を生成する。Ｙγ処理部２２２は、適応処理部２２１により生成されたＹ信号にγ処理を施す。また、適応処理部２２１の出力はシャープネス部２２３にも供給され、シャープネス部２２３は、入力されたＹ信号からシャープネス量を検出し、これをＹγ処理部２２２の出力に足し込む。

Ｌｏｇガンマを始め、非線形の入出力特性であるガンマカーブを適用して入力レベルを階調値に変換する場合、Ｃγ処理部２１５およびＹγ処理部２２２で使用するガンマ特性（入出力特性）をコントローラ１３０が設定する。なお、上述の通り、Ｌｏｇガンマとは、入力値の線形的な増加に対して出力値が対数的に増加する非線形な入出力特性を意味する。すなわち、
出力値＝Ａ×ｌｏｇ１０（入力値＋Ｂ）＋Ｃ
（Ａ，Ｂ，Ｃは定数）といった対数式で表される入出力特性である。

ニー補正部２１７から出力される色処理部の出力信号（Ｕ，Ｖ）と、Ｖγ処理部２２２とシャープネス部２２３の出力の合計である輝度処理部の出力信号（Ｙ）とは、第１ルックアップテーブル（ＬＵＴ１）２１８に供給される。そして、第１ルックアップテーブル（ＬＵＴ１）２１８で予め定められた色空間の変換などが適用されたのち、画像処理部１０６からの最終的なＹＵＶ信号として出力される。

図１に戻って、記録部１０９は、例えば入力されたＹＵＶ信号のフレーム間の相関性を利用するなどしてノイズ除去を行った後、付加情報とともに、予め設定された記録ファイルフォーマットに従った記録ファイルを生成する。そして、メモリカードやハードディスクなどの記録媒体に画像ファイルを記録する。

外部出力部１１０は、画像を外部に出力するための信号を生成する。ここでは、外部出力部１１０はＨＤＭＩ(High-Definition Multimedia Interface)を通じて外部出力するための信号を生成するものとするが、他の規格に準拠した信号を生成してもよい。外部出力部１１０は、必要に応じて解像度の変換を行ってもよい。例えばＨＤＭＩから出力する場合は、ＨＤＭＩ規格で定められている解像度の何れか（例えば１９２０×１０８０画素や１２８０×７２０画素）に変換する。

表示部１１１は、表示用画像を生成し、デジタルカメラ１００が有する表示装置（本例では、デジタルカメラ１００の背面に設けられたＬＣＤとする）に表示させる。表示部１１１は、画像の解像度を表示装置の解像度に対応するように変換し、必要に応じて階調補正を行うＬＵＴを適用して表示装置に供給する。ここで、ＬＵＴの適用が必要なのは、Ｌｏｇガンマを適用して動画撮影している場合のモニタ時、あるいはＬｏｇガンマを適用して撮影された動画像の再生時である。上述の通り、Ｌｏｇガンマを適用して撮影された動画像はそのままの状態で表示しても、撮影結果を正しく評価することができない。そのため、対数的な入出力特性を線形的な入出力特性に変換するＬＵＴを適用して表示するようにする。このようなＬＵＴはviewing LUTと呼ばれることもある。viewing LUTは、Ｌｏｇガンマ以外のガンマカーブが用いられている場合には適用されない。

本実施形態において、コントローラ１３０は、Ｃγ処理部２１５およびＹγ処理部２２２で使用するガンマ特性（入出力特性）は撮影感度によらず共通とし、Ｃγ処理部２１５およびＹγ処理部２２２への入力レンジを撮影感度に応じて変化させる。これにより、ガンマ特性を記憶するための容量を削減しつつ、様々な感度での撮影結果に対して良好な階調性を実現する。

具体的には、まず、予め定められたダイナミックレンジが確保できる最低の撮影感度を標準感度とする。そして、標準感度より低い撮影感度が設定された場合、標準感度時と同じ撮像素子感度で撮影し、その後、撮影感度に応じた線形変換を行って信号値のレンジを圧縮する（最大値が小さくなるように線形変換する）。

ここで、ダイナミックレンジとは、反射率１８％のグレーが適正露出となるように露出条件を設定した際に階調性が保持される最大入力輝度を、反射率[%]で示したものである。例えば、反射率７２０％まで階調性が維持できる場合、ダイナミックレンジ７２０％という。また、絞りを１段変えると光量が２倍になることから、ダイナミックレンジを絞りの段数で表現することもある。この例の場合、７２０／１８＝４０であるから、ｌｏｇ_２４０≒５．３［段またはステップ］分のダイナミックレンジとも表現できる。撮影感度が標準感度を下回ると、撮影感度の低下に従ってダイナミックレンジは低下していく。

図４に、Ｌｏｇガンマの例を示す。ここでは、Ａ／Ｄ変換器２０４が１２ビットのＡ／Ｄ変換器であり、標準感度がＩＳＯ４００であり、非線形変換（ガンマ変換）の出力が８ビットであるとする。つまり、図４のＬｏｇガンマは、０〜４０９５の入力レベル（画素信号値）を０〜２５５の出力レベル（階調）に割り当てることができる。なお、図４においては、いわゆるビデオレベルの階調（１６〜２５５）に変換することを想定しているため、出力値の最小値が０になっていないが、出力値の最小値が０となるガンマカーブであってもよい。

なお、本実施形態においては、Ｌｏｇガンマを使用する場合、飽和を抑制してダイナミックレンジを確保するため、撮影感度よりも２段低い撮像素子感度で撮影するものとするが、２段は単なる例示である。つまり、標準感度がＩＳＯ４００、撮像素子の最低感度（センサゲイン１に対応する感度）がＩＳＯ１００の場合、撮影感度ＩＳＯ８００〜１００での撮影時の撮像素子感度は以下のようになる。

撮影感度[ISO] 撮像素子感度[ISO]
８００２００
４００１００ ←標準感度
３２０１００
２５０１００
２００１００
１６０１００
１２５１００
１００１００

このように、標準感度であるＩＳＯ４００より低い撮影感度が設定された場合は、撮影感度が標準感度である場合の撮像素子感度で撮影する。そして、後述するように、可変増幅回路２０７における線形変換によって信号レベルのレンジを、撮影感度が低いほど最大値が小さくなるように変換する。

図３では、撮影感度によらず同じ撮像素子感度で撮影した場合のガンマ変換に撮影感度ごとに用意したガンマカーブを用いることで、ガンマ変換による変換後の値の範囲が撮影感度に応じた範囲になるようにしていた。つまり、入力レベルが同じであっても、撮影感度が低い場合には、低い値に変換されるように感度ごとのガンマカーブを用いていた。これに対し本実施形態では、標準感度以上での撮影時と、標準感度未満での撮影時とで用いるガンマカーブは同じであるが、ガンマカーブが適用される入力レベルの範囲（入力レンジ）を異ならせる。具体的には、標準感度より低い撮影感度が設定された場合、標準感度に対応する撮像素子感度で撮影を行い、撮影結果の信号レベルのレンジを圧縮するように、撮影感度に応じたゲインを適用して線形変換することで、ガンマ変換時の入力レンジを制御する。

図５は、本実施形態における、撮影感度とガンマ変換後の最大出力値との関係例を示す図である。撮影感度が標準感度（および標準感度以上）においては、ガンマ変換後の最大値が２５５、つまり図４のガンマカーブの全体が用いられるような入力レンジとなるように、Ａ／Ｄ変換器２０４の出力を可変増幅回路２０７でゲインを適用して線形変換する。

図４のガンマカーブの全体を用いる場合、Ａ／Ｄ変換器２０４の出力レンジである０〜４０９５をそのまま用いることができる。そのため、コントローラ１３０は、可変増幅回路２０７に実質的にＡ／Ｄ変換器２０４の出力に対して線形変換を行わないように（１．０のゲインを適用するように）設定する。

このように、撮影感度が標準感度以上の場合には、Ｃγ処理部２１５およびＹγ処理部２２２の入力レンジはＡ／Ｄ変換器２０４の出力レンジに等しい。従って、０〜４０９５の入力レベルがガンマ変換によって最大値２５５までの出力値に変換される。

次に、撮影感度が標準感度より低い場合として、例えばＩＳＯ２００の場合を考える。この場合、２段低い感度はＩＳＯ５０である。しかし、撮像素子の最低感度はＩＳＯ１００であるため、この場合も、標準感度ＩＳＯ４００に対応する撮像素子感度であるＩＳＯ１００で撮影を行う。

しかし、コントローラ１３０は、撮影感度がＩＳＯ２００であることから、Ａ／Ｄ変換器２０４の出力に可変増幅回路２０７で０．５のゲインを適用するように設定する。これにより、Ａ／Ｄ変換器２０４の出力レンジ０〜４０９５に対し、Ｃγ処理部２１５およびＹγ処理部２２２の入力レンジが０〜２０４７に圧縮される。これにより、図５に示すようにガンマ変換後の最大値を２０４とすることができる。これは、図４に示すガンマカーブのうち、実線の部分が用いられることを意味する。これにより、図３において、ガンマ変換後の最大値が標準感度時に用いるガンマカーブよりも低いガンマカーブを選択するのと同様の結果を得ることができる。

コントローラ１３０は、撮影感度と適用すべきゲインとの関係を、標準感度以上での撮影時に用いるガンマカーブ（図４）と、撮影感度と対応する最大階調値との関係（図５）とから、予め用意しておくことができる。そして、撮影感度がＩＳＯ２００であれば、可変増幅回路２０７にＡ／Ｄ変換器２０４の出力に対して０．５のゲインを適用するように設定する。

同様に、撮影感度がＩＳＯ１００の場合、コントローラ１３０は、Ａ／Ｄ変換器２０４の出力に０．２５のゲインを適用するよう、可変増幅回路２０７に設定する。これにより、Ｃγ処理部２１５およびＹγ処理部２２２の入力レンジが０〜１０２３に圧縮され、ガンマ変換後の最大値が１７０となる範囲でガンマ変換が行われる。

標準感度がＩＳＯ４００の場合のゲイン設定値の例を以下に示す。
撮影感度[ISO] 撮像素子感度[ISO] 増幅率（ゲイン）
８００２００１．０
４００（標準感度）１００１．０
３２０１０００．７９（＝２^(-1/3)）
２５０１０００．６３（＝２^(-2/3)）
２００１０００．５０（＝２^(-1)）
１６０１０００．４０（＝２^(-4/3)）
１２５１０００．３１（＝２^(-5/3)）
１００１０００．２５（＝２^(-2)）

このように、撮影感度が標準感度より低い場合でも、用いるガンマカーブは変更せずに、ガンマ変換に対する入力レンジを撮影感度に応じて圧縮することにより、撮影感度ごとにガンマカーブを用意しなくても、良好な階調性を実現することができる。

ただし、撮影感度が低くなるほどＡ／Ｄ変換器２０４の出力を圧縮することになるため、階調性の滑らかさも感度の低下とともに低下する。そのため、どの撮影感度においてもガンマカーブの全体を用いる、撮影感度ごとにガンマカーブを設ける構成と比較すると、低感度撮影時における階調性の滑らかさにおいて若干劣るが、記憶容量を大幅に削減することができる。

以上説明したように、本実施形態では、標準感度より低い撮影感度の場合には、Ｃγ処理部２１５およびＹγ処理部２２２に対する入力レンジを圧縮することにより、共通のガンマカーブを複数の撮影感度に適用することができる。しかし、入力レンジを圧縮することで、ホワイトバランス調整後に飽和（白とび）部分に色づきが生じるおそれがある。

従来、飽和（白とび）部分への色付きを抑制するため、ホワイトバランス調整された信号レベルの上限値を所定のクリップレベルに制限するクリップ処理と、色抑圧処理が行われている。図６は、ＷＢ部１０２のクリップ回路１０２１で行われるクリップ処理を説明するための模式図であり、図６（ａ）は従来（および本実施形態で撮影感度が標準感度以上の場合）のクリップ処理を模式的に示している。

ここで、３つのバーは、ある１画素のＲ，Ｇ，Ｂ成分の値を左から順に示している。ここで、中央のＧ成分の値がセンサ飽和レベル、すなわちＡ／Ｄ変換器２０４で４０９５に変換されるレベルの画素についてホワイトバランス調整した結果、ＲおよびＢ成分の値がＧ成分より大きくなることがある。このままだと、飽和部分（白とび部分）がマゼンタがかるため、予め定めたクリップレベルが最大値となるように制限する。

なお、図６（ａ）においては、クリップ処理後もＲおよびＢ成分がＧ成分より大きくなっているが、これは色抑圧部２１３で後に行う色抑圧処理において、高輝度の色成分に適用される１未満のゲインを考慮しているためである。つまり、ＷＢ処理後のクリップ処理と、色抑圧処理との組み合わせにより、飽和部分の色づきを抑制している。

上述の通り、本実施形態では、撮影感度が標準感度より低い場合、Ａ／Ｄ変換後に撮影感度に応じた１未満のゲインによる線形変換を行い、画像処理部１０６（Ｃγ処理部２１５およびＹγ処理部２２２）への入力信号レンジを圧縮している。ここで、図６（ａ）と同様、Ｇ成分の値がセンサ飽和レベルの画素のＲＧＢ成分がＡ／Ｄ変換されたとする。この場合、可変増幅回路２０７により各成分の値には１未満のゲインが適用され、Ｇ成分の値もセンサ飽和レベルより低くなる。この状態でホワイトバランス調整およびクリップ処理を行うと、Ｇ成分とＲ，Ｂ成分との差が非常に大きい状態となり、色抑圧処理後も色づきが残るおそれがある。

そのため、本実施形態においてコントローラ１３０は、撮影感度が標準感度よりも低い場合には、ＷＢ後にクリップ回路１０２１で行われるクリップ処理におけるクリップレベルについても、撮影感度が低いほど低く設定する。

同様に、コントローラ１３０は、色抑圧部２１３における色抑圧処理において色信号に適用するゲイン（色抑圧ゲイン）についても、撮影感度に応じて変更する。図７は、色抑圧処理で適用するゲインと輝度との関係（色抑圧ゲイン特性）の例を示す図である。撮影感度を低下させると、色抑圧処理を適用する色信号の最大輝度も低下する。そのため、コントローラ１３０は、同じゲインが適用される輝度が、撮影感度が低くなるに従って低くなるよう、色抑圧ゲイン特性の設定を変更する。

ただし、上述の通り、飽和部に対する色付きの抑制は、ＷＢ部１０２のクリップ回路１０２１におけるクリップ処理のクリップレベルと、色抑圧部２１３における色抑圧ゲインとの組み合わせによって実現される。そのため、撮影感度に応じたクリップレベルと色抑圧ゲインの設定は、相互の関係を考慮して設定する。

図８に示すフローチャートを参照して、上述した本実施形態のコントローラ１３０の動作を説明する。ここでは、Ｌｏｇガンマの使用が設定されているものとする。
Ｓ１０１においてコントローラ１３０は、設定されている撮影感度が標準感度より低いかどうか判定する。撮影感度が標準感度より低い場合、コントローラ１３０はＳ１０３で、撮像素子感度を、標準感度に対応した感度に設定する。そして、Ｓ１０５でコントローラ１３０は、撮影感度に応じたゲイン（＜１．０）を可変増幅回路２０７に設定する。また、Ｓ１０７でコントローラ１３０は、ＷＢ部１０２のクリップ回路１０２１に、撮影感度に応じたクリップレベルを設定する。さらに、Ｓ１０７でコントローラ１３０は、色抑圧部２１３に対して、撮影感度に応じた色抑圧ゲイン特性を設定する。

一方、Ｓ１０１で、撮影感度が標準感度以上であると判定された場合、コントローラ１３０はＳ１０９において、撮影感度より所定段数（本実施形態では２段）低い撮像素子感度を設定する。そして、Ｓ１１１でコントローラ１３０は、可変増幅回路２０７に、ガンマ変換に入力される信号レンジを圧縮しないゲイン（すなわち１．０）を設定する。さらにＳ１１３でコントローラ１３０は、ＷＢ部１０２のクリップ回路１０２１に、標準感度に応じたクリップレベルを、色抑圧部２１３には標準感度に応じた色抑圧ゲイン特性を、それぞれ設定する。

このように、本実施形態によれば、撮影感度が標準感度より低い場合、撮影感度に応じてガンマ変換処理に入力する信号レンジを圧縮することにより、標準感度より低い撮影感度を含む複数の撮影感度に対して共通するガンマ特性を用いることができる。そのため、撮影感度ごとにガンマ特性を記憶する必要がなく、特に自動露出機能によって撮影感度が決定されるような、多種の撮影感度が設定されうる場合にも少ない記憶容量で対応できる。

（第２の実施形態）
次に、図９に示すフローチャートを参照して、本発明の第２の実施形態について説明する。本実施形態においては、標準感度未満の撮影感度で撮影された場合、撮影結果の信号レベルを圧縮する処理が適用される。動画撮影時における高輝度側の信号の階調の時間的な連続性を保つためには、標準感度以上の撮影感度になるように制御することが望ましい。

図９は、本実施形態のコントローラ１３０が実施する、絞り優先ＡＥモードにおける自動露出制御動作について示したフローチャートである。Ｓ２０１において、コントローラ１３０は、撮像部１０１の出力信号を基に自動露出演算を行う。Ｓ２０２でコントローラ１３０は、Ｓ２０１において演算された撮影感度が標準感度より低いかどうかを判定する。撮影感度が標準感度以上であると判定された場合、コントローラ１３０は処理をＳ２０３に移行し、Ｓ２０３〜Ｓ２０５の処理を行う。Ｓ２０３〜Ｓ２０５の処理は、図８のＳ１０９，Ｓ１１１，およびＳ１１３の処理と同様であるため、説明を省略する。

一方、Ｓ２０２において、撮影感度が標準感度より低いと判定された場合、コントローラ１３０は、Ｓ２１０においてシャッタースピードが閾値未満であるかどうか判定する。ここで用いる閾値は、記録する動画のフレームレートや移動被写体の撮影画質などを考慮して予めることができる。例えば、動画が３０ｆｐｓのフレームレートで記録される場合、シャッタースピードは１／３０秒以下である必要があるため、閾値を１／３０秒とすることができる。また、移動被写体が滑らかに表現されることを重視し、より高速なシャッタースピード（例えば、１／１２５秒）を閾値としてもよい。

Ｓ２１０でシャッタースピードが閾値未満であると判定された場合、コントローラ１３０はＳ２１１においてシャッタースピードを１段低速にするとともに、撮影感度を１段低くする。その後コントローラ１３０は処理をＳ２０２に戻し、再度撮影感度とシャッタースピードの判定を行うことで、撮影感度ができるだけ標準感度以下にならないように制御することができる。

一方、Ｓ２１０でシャッタースピードが閾値以上であると判定された場合、コントローラ１３０はＳ２１２でシャッタースピードを１段高速にするとともに、撮影感度を１段高くした後、Ｓ２１３で再度、撮影感度が標準感度より低いか判定する。コントローラ１３０は、撮影感度が標準感度以上であると判定された場合には処理をＳ２０３に移行し、撮影感度が標準感度以下であると判定された場合には処理をＳ２１４に移行する。Ｓ２１４〜Ｓ２１６の処理は、図８のＳ１０３，Ｓ１０５，およびＳ１０７の処理と同様であるため、説明を省略する。

なお、Ｓ２１１、Ｓ２１２において、シャッタースピードと撮影感度の調整を１段ステップで行う場合を説明したが、他のステップ、特にはより細かいステップ（１／２段，１／３段など）で調整してもよい。また、図９においては、絞り優先ＡＥモードにおける自動露出制御を例にして説明したが、シャッタースピード優先ＡＥモードやプログラムＡＥモードなどの他の自動露出制御モードでも同様の処理が可能である。

例えば、シャッタースピード優先ＡＥモードでは、Ｓ２１１およびＳ２１２で撮影感度と絞り値を調整するようにすればよい。また、プログラムＡＥモードでは、撮影感度が異なるプログラム線図を選択するようにすればよい。

なお、上述の実施形態では、撮影感度によらず同じ撮像素子感度で撮影する場合の例として、Ｌｏｇガンマの使用が設定されている場合を例にして説明した。しかし、Ｌｏｇガンマでない通常のガンマを用いる場合であっても、ダイナミックレンジを確保するなどの目的により、撮影感度によらず同じ撮像素子感度で撮影する場合もある。そして、本発明はそのような場合に対しても適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像素子が出力する信号レベルを、線形な入出力特性で変換して出力する線形変換手段と、
前記線形変換手段により変換された信号レベルを非線形な入出力特性で変換して出力する非線形変換手段と、
前記線形変換手段の動作を制御する制御手段と、
を有する撮像装置であって、
前記制御手段は、撮影感度が、予め定められたダイナミックレンジが確保できる最低の撮影感度である標準感度よりも低い場合は、前記標準感度に対応する撮像素子感度で撮影して得られる信号レベルのレンジを、撮影感度が低いほど最大値が小さくなるように変換するように前記線形な入出力特性を制御することを特徴とする撮像装置。
前記非線形変換手段は、撮影感度が前記標準感度以上である場合と前記標準感度よりも低い場合とで、共通の入出力特性を用いることを特徴とする請求項１記載の撮像装置。
前記線形変換手段の出力にホワイトバランス調整を行うホワイトバランス手段と、
前記ホワイトバランス調整された前記線形変換手段の出力の最大レベルを所定のクリップレベルに制限して出力する制限手段とをさらに有し、
前記制御手段は、撮影感度が前記標準感度より低い場合には、撮影感度が低いほど小さくなるように前記クリップレベルを制御し、
前記非線形変換手段は、前記制限手段により最大レベルが制限された出力を変換することを特徴とする請求項１または請求項２に記載の撮像装置。
前記制限手段により最大レベルが制限された出力の色成分を、前記非線形変換手段に入力される前に抑圧する抑圧手段をさらに有し、
前記制御手段は、撮影感度が前記標準感度より低い場合には、同じゲインが適用される輝度が、撮影感度が低くなるに従って低くなるよう、色抑圧ゲイン特性の設定を変更することを特徴とする請求項３記載の撮像装置。
前記撮影感度が、自動露出制御により決定されることを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
前記非線形な入出力特性が、入力値の線形的な増加に対して出力値が対数的に増加する入出力特性であることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
撮像素子が出力する信号レベルを、線形な入出力特性で変換して出力する線形変換手段と、
前記線形変換手段により変換された信号レベルを非線形な入出力特性で変換して出力する非線形変換手段と、を有する撮像装置の制御方法であって、
前記撮像装置の制御手段が、撮影感度が、予め定められたダイナミックレンジが確保できる最低の撮影感度である標準感度よりも低い場合は、前記標準感度に対応する撮像素子感度で撮影して得られる信号レベルのレンジを、撮影感度が低いほど最大値が小さくなるように変換するように前記線形な入出力特性を制御する制御ステップを有することを特徴とする撮像装置の制御方法。