JP6420540B2 - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、記録画像と表示画像のラティチュードの違いによって表示部において階調を表現できない輝度レベルの部分を有する画像処理装置及びその制御方法に関するものである。

デジタルカメラのパラメータの中で、重要な項目の１つに、ラティチュード（ｌａｔｉｔｕｄｅ）がある。ラティチュードとは、被写体を再現できる露光の範囲、寛容度であり、ダイナミックレンジと同様に絞りを用いた露出値と、ガンマ特性の設定により決定される。通常なら白飛びや黒潰れするような露出値にしても画像を再現できるような特性を、「ラティチュードが広い」と表現する。このような特性の場合、暗い部分から明るい部分までなだらかな階調が再現できる。逆に、再現できる露光の範囲が狭い特性を、「ラティチュードが狭い」と表現する。この場合、露出オーバや露出アンダーに対して白飛びや黒潰れを起こしやすいが、コントラストが高い画像を得ることができる。

デジタルビデオカメラでは、ホームユースから、映画・ＣＭ撮影向けなどプロユースまで幅広く、ユーザ毎に記録される画像のラティチュードに対する考え方が異なる。

デジタルビデオカメラのホームユースでは、テレビモニタ等の表示部の性能に合わせ、画像を記録する際に、絞りを用いた露出値と現像処理時のガンマ特性により、ラティチュードを制限した画像データに変換し、保存する。これに対し、映画撮影向けのプロユースでは、デジタルビデオカメラのセンサ性能をできる限り活かした広いラティチュードで画像を記録し、編集の際に表示部の性能に落とし込んでいる。

図３は、記録画像と表示画像のラティチュードが一致している従来のホームユースのデジタルビデオカメラの構成を示している。図３において、イメージセンサ１０２で撮像された画像データは、現像処理部１０４で所望の現像ガンマ特性（第１のガンマ特性）に基づいて変換され、記録メディア１０７に記録される。一方、表示部１１１に表示される画像データは、現像処理部１０４の出力画像データに対し、表示部１１１の特性に合わせ、ガンマ補正部１０８で被写体輝度と表示輝度が線形となるような表示ガンマ特性（第２のガンマ特性）に基づいて変換される。ユーザは、表示部１１１に表示される画像やゼブラパターンなどにより、絞り１０１による露出値を調整する。ゼブラパターンとは、表示部１１１に表示される画像に対し、所定の輝度レベルに対応する領域に、斜め縞状のパターンを付加的に表示することで、イメージセンサの当該領域の出力が飽和状態にあることをユーザに通知するためのアシスト表示である。その他の構成は、実施形態（図１）として後述するため、説明を省略する。

特許文献１には、撮像素子のＲ、Ｇ、Ｂ画像信号から、最大レベルの信号を抽出し、いずれかの信号が飽和検出レベルを超えている場合に、表示画像に、Ｒ、Ｇ、Ｂ画像信号のいずれかが飽和している範囲でゼブラパターンを表示する技術が記載されている。

特開平０４−０５１３８１号公報

上述のように、映画撮影向けのプロユースでは、記録画像のラティチュードを広くとるが、表示画像は表示部の特性に見合ったガンマ特性に、ラティチュードを制限しているため、記録画像と表示画像のラティチュードが異なっている。このため、表示の際には、表示ガンマ特性により制限されたラティチュード以上の画像信号は白飛びしてしまい、撮影画像を確認する場合に、正確な露出の調整が困難となっている。よって、記録画像と表示画像のラティチュードの違いを確認できるようなアシスト表示を行うことが望ましい。

本発明は、上記課題に鑑みてなされ、その目的は、記録画像と表示画像のラティチュードの違いによって、表示部において階調を表現できない輝度レベルの部分を確認でき、露出の調整を正確に行うことができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理置は、画像入力部により入力された画像データから、第１のガンマ特性に基づいて、第１のラティチュードの記録画像データを生成する記録画像生成手段と、前記画像データから、表示部の特性に合わせて、第２のガンマ特性に基づいて、前記第１のラティチュードよりもラティチュードが狭い第２のラティチュードの表示画像データを生成する表示画像生成手段と、前記記録画像データにおいて、前記第１のラティチュードに含まれるが前記第２のラティチュードに含まれない範囲において所定の閾値以上の輝度レベルの部分があるかを判定する判定手段と、前記所定の閾値以上の輝度レベルの部分を示すための表示データを生成する表示データ生成手段と、前記表示画像データに前記表示データを重畳して表示する表示手段と、を有する。

本発明によれば、記録画像と表示画像のラティチュードの違いによって、表示部において階調を表現できない輝度レベルの部分を確認でき、露出の調整を正確に行うことができる。

本発明に係る実施形態の装置構成を示すブロック図。 現像ガンマ特性を例示する図。 従来の装置構成を示すブロック図。 現像ガンマ曲線とラティチュードを例示する図。 ゼブラパターンによるアシスト表示を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の画像処理装置を、例えば、静止画や動画を撮影するデジタルビデオカメラなどの撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１において、撮影レンズ群１００は、被写体の光像を集光し、画像入力部としてのイメージセンサ１０２の撮像面に結像させる。絞り１０１は、被写体の光像の入射光量を調整する。イメージセンサ１０２はＣＣＤやＣＭＯＳなどの撮像素子であり、撮影レンズ群１００により結像された被写体像を光電変換してアナログ信号を生成し、さらにアナログ信号をデジタル信号に変換して出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが、所定の配列、例えばベイヤー配列で配置されており、色毎にＲ、Ｇ、Ｂ画像信号を出力する。また、画像信号を高速に出力できるように、数個の画素を加算して１個の画素として出力画像を縮小する画素加算処理を行ってＲ、Ｇ、Ｂ画像信号を出力する場合もある。

センサ補正部１０３は、イメージセンサ１０２から出力された画像データに対し、撮影レンズ群１００により生じた収差を補正する処理や、センサの欠陥画素を補間する処理を行う。

現像処理部１０４（記録画像生成手段）は、センサ補正部１０３からＲ、Ｇ、Ｂ画像信号を入力し、各信号のオフセット調整、ゲイン調整、ベイヤー配列等の補間処理、現像ガンマ処理等を行う。上記現像ガンマ処理は、図２に例示する現像ガンマ曲線になるようにＲ、Ｇ、Ｂ画像信号を変換する。現像ガンマ曲線は、撮影レンズ群１００やイメージセンサ１０２の特性を考慮して、ユーザが所望する画像データを生成するために選択した特性である。ユーザは、複数のガンマ特性から任意に選択可能であり、所望の現像ガンマ曲線（第１のガンマ特性）に変更することで、表示画像の生成や、映画フィルムの質感や階調を再現した画像の生成が可能である。

色変換部１０５は、現像処理部１０４から出力されるＲ、Ｇ、Ｂ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。符号化部１０６はＹＣｂＣｒ信号を入力し、所定のファイルフォーマットに合わせて圧縮符号化して、記録用の画像データ（記録画像データ）を生成する。記録メディア１０７は符号化部１０６で圧縮符号化した画像データを保存する。

ガンマ補正部１０８（表示画像生成手段）は、現像処理部１０４から出力されるＲ、Ｇ、Ｂ画像信号をユーザが意図するガンマ特性（第２のガンマ特性）に基づいて変換して、表示用の画像データ（表示画像データ）を生成する。ユーザは、複数のガンマ特性から任意に選択可能であり、例えば、表示部１１１がγ＝２．２の特性を有する場合、現像処理部１０４から出力される画像信号をγ＝２．２の特性に合わせた画像信号に変換する。また、ガンマ補正部１０８は、表示部１１１の特性に合わせ、ラティチュードを制限する役割も持っている。例えば、表示部１１１で表示させるラティチュードを１００％とした場合、図４（ａ）に示すように、記録画像が１００％以上のラティチュードであっても、ラティチュード１００％で最大輝度となるような特性４０１になる。

ガンマ選択部１０９は、ＣＰＵ１２１の制御指令に応じて、表示部１１１へ出力する画像データを、現像処理部１０４の出力画像データとするか、ガンマ補正部１０８の出力画像データとするかを選択する。上述のように、ラティチュードを制限する場合、ＣＰＵ１２１は、ガンマ補正部１０８の出力画像データとなるようにガンマ選択部１０９を切り替える。反対に、ラティチュードを制限しない場合には、ガンマ補正部１０８を経由しない現像処理部１０４の出力画像データとなるようにガンマ選択部１０９を切り替える。

アシスト生成部１１２（表示データ生成手段）は、現像処理部１０４の出力画像データに、所定の閾値以上（閾値ｍ）の輝度レベルの部分があると判定した場合に、アシスト表示データを生成する。アシスト表示データは、ガンマ補正部１０８の出力画像データでは識別できない輝度レベルの部分で、現像処理部１０４の出力画像データでも階調を識別できない部分を明示するためのデータである。

ここで、図４を参照して、例えば、ガンマ補正部１０８を表示ガンマ特性４０１とし、現像処理部１０４の現像ガンマ特性４０２を映画撮影用途のシネマとした場合のラティチュードの違いについて説明する。

図４において、表示ガンマ特性４０１は、ラティチュード１００％で最大輝度となるような曲線になる。現像ガンマ特性４０２は、可能な限りラティチュードを広くするために、ラティチュード８００％としたものとする。記録メディア１０７に記録される画像は、現像ガンマ特性４０２に依存したラティチュード８００％の画像データである。表示部１１１へ表示される画像は、現像ガンマ特性４０２に基づいて変換した後、ガンマ補正部１０８にてラティチュードを１００％までに制限した画像データである。このため、ラティチュード１００％から８００％の間は、表示部１１１では、白飛びが発生しており、記録画像の階調を再現できない。

また、現像ガンマ特性４０２は、低輝度での特性を改善するため、上に凸の弧を描くような曲線である場合が多い。このとき、低輝度域に比べ、ほぼ横ばいの曲線である高輝度域では、記録画像でも白飛びしている可能性がある。このように記録画像でも白飛びしている可能性があるラティチュードを７００％から８００％とした場合、ラティチュード７００％に相当する輝度レベルを、アシスト生成部１１２の閾値ｍに設定する。そして、記録画像における閾値ｍ以上の輝度レベルの部分に、図５（ａ）のように斜め縞状のゼブラパターン５０１を表示する。なお、上記閾値ｍは、現像ガンマ特性４０２に応じて、操作部１２０によりユーザが任意に設定できる。また、画像内で記録画像の階調を表現できない部分について、ラティチュードを任意のｎ個に分割し、色分けして表示する方法（図４（ｂ））や、ゼブラパターン５０２のパターンの方向を変える方法（図５（ｂ））や、これらを適宜組み合わせた方法でもよい。

アシスト表示選択部１１３は、ＣＰＵ１２１の制御指令に応じて、アシスト生成部１１２への出力画像データとして、現像処理部１０４の出力画像データまたはガンマ補正部１０８の出力画像データを選択する。現像処理部１０４の出力画像データは、上述のように、広いラティチュードを持つ記録用の画像データである。一方、ガンマ補正部１０８の出力画像データは、現像処理部１０４の出力画像データに対して、表示部１１１の特性に合わせ、ラティチュードが制限された表示用の画像データである。

表示合成部１１０（第３の処理手段）は、ガンマ選択部１０９からの出力画像データにアシスト表示データを重畳した合成画像データを生成し、表示部１１１に出力する。

絞り制御部１２２は、ステッピングモータ等を駆動源として、操作部１２０を介してユーザにより設定された露出値に応じて、絞り１０１の口径を調節する。

ＣＰＵ１２１は、操作部１２０への操作入力に応じて、上述した各ブロックを制御する。

操作部１２０は、電源のオン／オフや撮影の開始／終了などのユーザが撮像装置を操作するための様々なスイッチ類からなる。本実施形態では、操作部１２０は、特に絞り１０１の口径、アシスト生成部１１２の閾値ｍの設定、現像ガンマ特性や表示ガンマ特性の選択、ガンマ選択部１０９やアシスト表示選択部１１３における出力画像データの切り替えのための操作を行う手段となる。

このように、本実施形態によれば、現像処理部１０４とガンマ補正部１０８の各出力画像データのラティチュードの違いによって、表示部１１１で白飛びしていて識別できない部分で、かつ記録画像でも階調を表現できない部分をアシスト表示により明示できる。

本実施形態は、さらに、表示用の画像データで白飛びして記録画像の階調を再現できない部分において、記録画像では階調を表現できる部分については、記録画像から階調を識別できない部分としてアシスト表示されたゼブラパターンと区別できる形式を用いてアシスト表示しても良い。すなわち、図４（ａ）を参照して、ラティチュードが１００％から７００％の範囲に対応する輝度レベルである部分についても、ラティチュードが７００％から８００％の範囲に対応する輝度レベルである部分と区別してユーザが識別できるようにゼブラパターンなどのアシスト表示を行っても良い。

上記機能を実現するため、本実施形態の撮像装置は、表示用の画像データについて領域ごとに輝度レベルを取得する取得手段と、取得した輝度レベルが１００％から７００％のラティチュードの範囲、または７００％から８００％のラティチュードの範囲の何れに含まれるかを判定する判定手段を備えていることが好ましい。この場合、アシスト生成部１１２は、判定手段によって判定されたラティチュードの範囲に応じて、アシスト表示データを領域ごとに生成する。

こうすることにより、表示用の画像データで白飛びして記録画像の階調が表現できない部分であっても、記録画像では階調を表現できる部分について、記録画像でも階調を表現できない部分と区別して明示することが可能となる。

なお、ラティチュードが１００％から７００％の範囲に対応する部分と、ラティチュードが７００％から８００％の範囲に対応する部分とを区別できるように、アシスト表示データの生成方法として、上述した色分けして表示する方法や、ゼブラパターンの方向を変える方法、これらを適宜組み合わせる方法を適用することができる。

さらにまた、記録ガンマ特性４０２のラティチュードの範囲の値は、表示ガンマ特性４０１の特性に応じて相対的に変わるので、表示ガンマ特性４０１の特性に関する情報を取得して、記録ガンマ特性４０２のラティチュードの範囲の値を算出する算定手段を有していても良い。

また、例えば表示部１１１に代えて、ラティチュードを１００％以外に設定可能な外部のディスプレイ装置を用いた場合、表示部１１１を用いた場合に対して、表示用の画像データ上で白飛びする領域が異なる。このような場合には、アシスト生成部１１２は、外部のディスプレイ装置のガンマ特性と現像ガンマ特性４０２を比較することで、表示用の画像データでは白飛びしているが、記録画像では階調を表現できる部分を特定することが可能となる。この際、階調を表現できないラティチュードの範囲を任意のｎ個に分割して、色分けして表示するのであれば、外部のディスプレイ装置のガンマ特性と現像ガンマ特性４０２の差分に応じて、分割数を変更するようにしてもよい。また、外部のディスプレイ装置から取得したガンマ特性に関する情報ではなく、外部のディスプレイ装置用の表示ガンマ特性を用いて変換された表示用の画像データの信号レベルから、白飛びする領域を特定しても構わない。
上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限られず、記録画像と表示画像のラティチュードの違いによって表示部において階調を表現できない輝度レベルの部分を有する装置であれば適用可能である。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims (7)

1. 画像入力部により入力された画像データから、第１のガンマ特性に基づいて、第１のラティチュードの記録画像データを生成する記録画像生成手段と、
   前記画像データから、表示部の特性に合わせて、第２のガンマ特性に基づいて、前記第１のラティチュードよりもラティチュードが狭い第２のラティチュードの表示画像データを生成する表示画像生成手段と、
   前記記録画像データにおいて、前記第１のラティチュードに含まれるが前記第２のラティチュードに含まれない範囲において所定の閾値以上の輝度レベルの部分があるかを判定する判定手段と、
   前記所定の閾値以上の輝度レベルの部分を示すための表示データを生成する表示データ生成手段と、
   前記表示画像データに前記表示データを重畳して表示する表示手段と、を有することを特徴とする画像処理装置。
2. ユーザからの操作入力を受け付ける操作手段をさらに有し、
   前記所定の閾値は、前記操作手段への操作入力に応じて任意に設定可能であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のガンマ特性として、複数の異なるガンマ特性を記憶する記憶手段をさらに有し、
   前記第１のガンマ特性は、前記操作手段への操作入力に応じて前記複数のガンマ特性から任意に選択可能であることを特徴とする請求項２に記載の画像処理装置。
4. 前記表示データ生成手段は、前記第１のラティチュードに含まれるが前記第２のラティチュードに含まれない範囲において前記所定の閾値以下の輝度レベルの部分を示すための表示データを、前記所定の閾値以上の輝度レベルの部分と区別可能とする形式で生成し、
   前記表示手段は、前記表示データを前記表示画像データに重畳して表示することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 記録画像生成手段が、画像入力部により入力された画像データから、第１のガンマ特性に基づいて、第１のラティチュードの記録画像データを生成する記録画像生成ステップと、
   表示画像生成手段が、前記画像データから、表示部の特性に合わせて、第２のガンマ特性に基づいて、前記第１のラティチュードよりもラティチュードが狭い第２のラティチュードの表示画像データを生成する表示画像生成ステップと、
   判定手段が、前記記録画像データにおいて、前記第１のラティチュードに含まれるが前記第２のラティチュードに含まれない範囲において所定の閾値以上の輝度レベルの部分があるかを判定する判定ステップと、
   表示データ生成手段が、前記所定の閾値以上の輝度レベルの部分を示すための表示データを生成する表示データ生成ステップと、
   表示手段が、前記表示画像データに前記表示データを重畳して表示する表示ステップと、を有することを特徴とする画像処理装置の制御方法。
6. コンピュータを、請求項１ないし４のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
7. コンピュータを、請求項１ないし４のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを記憶した記憶媒体。

Images