JP2011203438A

JP2011203438A - 画像表示装置およびプログラム

Info

Publication number: JP2011203438A
Application number: JP2010069930A
Authority: JP
Inventors: Erika Koishi; えりか小石
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2010-03-25
Filing date: 2010-03-25
Publication date: 2011-10-13

Abstract

【課題】ユーザにとって違和感の少ないオーバーレイ表示を実現する手段を提供する。
【解決手段】画像表示装置は、画像を表示する表示部と、取得部と、制御部と、を備える。取得部は、表示部に表示すべき第１の画像の情報を取得する。制御部は、第１の画像に第２の画像を重畳させて表示部に表示させるとともに、第１の画像の色情報を用いて、第２の画像の色が第１画像の色と乖離しないように表示特性を調整する。
【選択図】図１

Description

本発明は、画像表示装置およびプログラムに関する。

例えば、画像表示装置において、各種の情報表示を画像上にオーバーレイして表示するものが従来から広く知られている。

また、画像表示装置での色の見えは、周囲の視環境の条件に応じてそれぞれ異なることが従来から知られている。例えば、視覚の順応している輝度が高い視環境では、人間の目には輝度や彩度のコントラストが通常よりも高く知覚される。このことから、周囲の視環境に応じて、表示する画像のコントラストや明るさを補正する技術も提案されている（例えば特許文献１参照）。

特開平６−８３２８７号公報

ところで、画像表示装置でのオーバーレイ表示は、同じ色であっても合成する画像に応じて人間の視覚には見えが異なる。そのため、オーバーレイ表示によってユーザに違和感を与えてしまうことがあった。例えば、同じ赤色でも、白い画像の上に重畳させたときに比べ、黒い画像に重畳させた方が鮮やかに浮いて見える。

そこで、本発明は、ユーザにとって違和感の少ないオーバーレイ表示を実現する手段を提供することにある。

本発明の一態様に係る画像表示装置は、画像を表示する表示部と、取得部と、制御部と、を備える。取得部は、表示部に表示すべき第１の画像の情報を取得する。制御部は、第１の画像に第２の画像を重畳させて表示部に表示させるとともに、第１の画像の色情報を用いて、第２の画像の色が第１画像の色と乖離しないように表示特性を調整する。

上記の一態様の制御部は、重畳された画像のうちで第２の画像の表示位置を基準として設定された局所領域から取得した色情報を用いて、第２の画像の表示色を調整してもよい。

上記の一態様の制御部は、第１の画像に対して階調変換処理を施して、第１の画像に対する第２の画像の色再現を調整してもよい。

なお、上記の一態様の画像表示装置を含む撮像装置や、上記の一態様の画像表示装置で行われる処理をコンピュータに実行させるプログラムや、このプログラムを記憶したプログラム記憶媒体や、上記の一態様の画像表示装置で行われる処理方法は、いずれも本発明の具体的態様として有効である。

本発明では、主画像の色情報を用いてオーバーレイ表示の表示特性を調整し、ユーザにとって違和感の少ないオーバーレイ表示を実現できる。

第１実施形態での画像表示装置の構成例を示すブロック図（ａ）主画像の表示例を示す図、（ｂ）オーバーレイ表示を主画像に重畳させた表示例を示す図第１実施形態の電子カメラにおける画像の表示制御の例を示す流れ図図３のＳ１０６でのサブルーチンの例を示す流れ図第１実施形態での第３ＬＵＴのトーンカーブの例を示す図第１実施形態での第４ＬＵＴのトーンカーブの例を示す図第１実施形態での第５ＬＵＴのトーンカーブの例を示す図第２実施形態の電子カメラにおける画像の表示制御の例を示す流れ図第２実施形態での画像の輝度と基準描画画素値ｐとの対応関係の例を示す図

＜第１実施形態の画像表示装置の構成例＞
図１は、第１実施形態での画像表示装置の構成例を示すブロック図である。本実施形態では、画像表示装置が電子カメラに組み込まれている例を説明する。

電子カメラは、撮像部１１と、モニタ１２と、測光センサ１３と、ＣＰＵ１５と、メディアＩ／Ｆ１６と、メモリ１７と、ユーザの各種操作を受け付ける操作部１８とを有する。なお、撮像部１１、モニタ１２、測光センサ１３、メディアＩ／Ｆ１６、メモリ１７、操作部１８は、それぞれＣＰＵ１５と接続されている。

撮像部１１は、被写体の像を撮像して撮影画像のデータを生成する。この撮像部１１は、被写体の像を撮像する撮像素子と、撮像素子の出力にアナログおよびデジタルの信号処理を施す信号処理回路を含んでいる。なお、図１では、撮像部１１に含まれる各要素の図示は省略する。

モニタ１２は、ＣＰＵ１５の表示制御により、撮像部１１で撮像された画像や、メディアＩ／Ｆ１６またはメモリ１７から読み込んだ再生画像や、電子カメラの設定画面などを表示する。本実施形態のモニタ１２は、例えば、電子カメラの筐体背面に配置される液晶ディスプレイパネルで構成される。

測光センサ１３は、電子カメラ周囲の環境光の明るさを検出し、環境光による外部照明条件を取得する。例えば、屋外や窓際などで電子カメラが使用される場合、上記の環境光には、自然光源（太陽）から照射される自然光の成分が含まれる。なお、測光センサ１３の取付位置は、装置外部の光を取り込める位置であれば特に限定されるものではない。一例として、本実施形態での測光センサ１３は、電子カメラの筐体背面側においてモニタ１２の近傍に配置されるものとする。

ＣＰＵ１５は、電子カメラの動作を統括的に制御するプロセッサである。例えば、電子カメラが被写体の像を撮像する撮影モードにおいて、ＣＰＵ１５は記録用の静止画像や動画像を撮像部１１に撮像させる。また、撮影モードでの撮像部１１は、ＣＰＵ１５の制御により、静止画撮影の撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。

そして、ＣＰＵ１５は、モニタ１２に対して表示対象の画像のデータを出力するとともに、モニタ１２での画像の表示輝度を調整する表示制御を実行する。例えば、静止画撮影時または動画撮影時には、ＣＰＵ１５の表示制御によって、スルー画像または動画像がモニタ１２に表示される。また、電子カメラの再生モードでは、ＣＰＵ１５の表示制御によって、後述の記憶媒体１９などに記憶された静止画像や動画像がモニタ１２に再生表示される。

また、ＣＰＵ１５は、画像のデータに対して階調変換処理や色空間変換処理などの画像処理を施す。

さらに、ＣＰＵ１５は、表示対象の画像（主画像）上に各種のオブジェクト（オーバーレイ表示）を重畳させてモニタ１２に表示させることができる。ここで、オーバーレイ表示としては、一例として、電子カメラの撮影モードでフォーカス位置を示す枠表示、撮影可能枚数などの情報を示す文字表示、撮影時の構図決定を補助するための格子線表示、電池残量などを図形で示すアイコン表示、ユーザの入力に基づく描画線の表示などが挙げられる。なお、図２（ａ）に、主画像の表示例を示す。また、図２（ｂ）に、オーバーレイ表示のオブジェクトとしてフォーカス位置を示す枠を主画像に重畳させた表示例を示す。

メディアＩ／Ｆ１６は、不揮発性の記憶媒体１９を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１６は、コネクタに接続された記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。

メモリ１７は、上記の表示制御プログラムや、この表示制御プログラムで使用される各種のデータ（ルックアップテーブル（ＬＵＴ）のデータ、色変換マトリクスのデータ、モニタ１２の白色点のデータ、オーバーレイ表示のオブジェクトの描画パターン情報など）を記憶する不揮発性メモリである。なお、メモリ１７は、撮像部１１で撮影された画像のデータを記憶する記録領域を有していてもよい。

＜第１実施形態での画像表示装置の動作例＞
次に、図３の流れ図を参照しつつ、本実施形態の電子カメラにおける画像の表示制御の例を説明する。図３の流れ図の処理は、撮影モードまたは再生モードの起動操作を受け付けたときに、ＣＰＵ１５が表示制御プログラムを実行することで開始される。

（ステップＳ１０１）
ＣＰＵ１５は、モニタ１２に表示させる主画像としての入力画像を取得する。例えば、撮影モードであれば、ＣＰＵ１５は撮像部１１に被写体を撮像させるとともに、撮像部１１から入力画像としてスルー画像または動画像を順次取得する。また、再生モードであれば、ＣＰＵ１５は、メモリ１７または記憶媒体１９から再生表示する入力画像を取得する。

（ステップＳ１０２）
ＣＰＵ１５は、入力画像（Ｓ１０１）の色空間（例えばｓＲＧＢやＡｄｏｂｅＲＧＢなど）の情報を取得する。例えば、撮影モードの場合には、ＣＰＵ１５は撮像部１１の色空間の設定情報を取得すればよい。また、再生モードの場合には、ＣＰＵ１５は入力画像のデータに対応付けされているメタデータ（例えば画像ファイルのヘッダ領域のデータ）から色空間の情報を取得すればよい。

（ステップＳ１０３）
ＣＰＵ１５は、外部照明条件の情報を取得する。一例として、Ｓ１０３でのＣＰＵ１５は、測光センサ１３の出力から照度値Ｍ’を取得するとともに、下式（１）により外部照明条件として周囲輝度（Ｙｓ＿ａｂｓ’）を求める。
Ｙｓ＿ａｂｓ’＝Ｍ’／π …（１）
（ステップＳ１０４）
ＣＰＵ１５は、入力画像の色空間の情報（Ｓ１０２）を用いて、メモリ１７に記憶されているデータから第１ＬＵＴと第１マトリクスとを選択する。

ここで、第１ＬＵＴは、入力画像の階調特性を線形に変換するための階調変換ＬＵＴである。例えば、入力画像の色空間がｓＲＧＢである場合、ＣＰＵ１５は、ｓＲＧＢの階調変換ＬＵＴ（γ＝２．２）を第１ＬＵＴとして選択する。また、第１マトリクスは、入力画像の色空間をモニタ１２の出力色空間（Ｒ’Ｇ’Ｂ’と表記する）に変換するための色変換マトリクスである。例えば、入力画像の色空間がｓＲＧＢである場合、ＣＰＵ１５は、画像の色空間をｓＲＧＢからＲ’Ｇ’Ｂ’に変換する色変換マトリクスを第１マトリクスとして選択する。なお、本実施形態でのＬＵＴおよび色変換マトリクスは、例えば電子カメラの製造者が予め製造工程で生成したものをそれぞれ用いればよい。

（ステップＳ１０５）
ＣＰＵ１５は、モニタ１２の表示特性に応じて、メモリ１７に記憶されているＬＵＴから第２ＬＵＴを選択する。ここで、第２ＬＵＴは、モニタ１２の表示特性を考慮して出力画像の階調を最適化するための階調変換ＬＵＴである。例えば、モニタ１２の階調特性を示すγ’が１．８であるとき、ＣＰＵ１５は、１／γ’＝１／１．８の階調特性をもつＬＵＴを第２ＬＵＴとして選択する。

（ステップＳ１０６）
ＣＰＵ１５は、図４に示すサブルーチン（Ｓ２０１−Ｓ２０７）の処理により、モニタ１２の表示照明条件としての表示輝度（Ｙｗ＿ａｂｓ’）を設定する。

ステップＳ２０１：ＣＰＵ１５は、入力画像について予め想定されている想定視環境（モニタ１２の想定輝度Ｙｗ＿ａｂｓ、想定の周囲輝度Ｙｓ＿ａｂｓ）の情報と、モニタ１２の輝度調節範囲（Ｌｍｉｎ−Ｌｍａｘ）の情報とを取得する。ここで、撮影モードの場合、ＣＰＵ１５は、メモリ１７に予め記憶されている想定視環境の情報とモニタ１２の輝度調節範囲の情報とをそれぞれ取得すればよい。また、再生モードの場合、ＣＰＵ１５は、入力画像のデータに対応付けされているメタデータから想定視環境情報を取得し、モニタ１２の輝度調節範囲の情報をメモリ１７から取得すればよい。

ステップＳ２０２：ＣＰＵ１５は、モニタ１２の想定輝度Ｙｗ＿ａｂｓと想定の周囲輝度Ｙｓ＿ａｂｓとの比に、実測した周囲輝度Ｙｓ＿ａｂｓ’を乗じて、モニタ１２の輝度目標値Ｌｔｐを求める。具体的には、ＣＰＵ１５は、下式（２）により輝度目標値Ｌｔｐを求めればよい。
Ｌｔｐ＝Ｙｓ＿ａｂｓ’＊Ｙｗ＿ａｂｓ／Ｙｓ＿ａｂｓ …（２）
ステップＳ２０３：ＣＰＵ１５は、ＬｍｉｎがＬｔｐ以下か（Ｌｍｉｎ≦Ｌｔｐ）否かを判定する。上記要件を満たす場合（Ｙｅｓ側）、ＣＰＵ１５はＳ２０４に処理を移行させる。一方、上記要件を満たさない場合（Ｎｏ側）、ＣＰＵ１５はＳ２０７に処理を移行させる。

ステップＳ２０４：ＣＰＵ１５は、ＬｔｐがＬｍａｘ以下か（Ｌｔｐ≦Ｌｍａｘ）否かを判定する。上記要件を満たす場合（Ｙｅｓ側）、ＣＰＵ１５はＳ２０５に処理を移行させる。一方、上記要件を満たさない場合（Ｎｏ側）、ＣＰＵ１５はＳ２０６に処理を移行させる。

ステップＳ２０５：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲内にある。よって、ＣＰＵ１５は、輝度目標値Ｌｔｐをそのままモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｔｐ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。

ステップＳ２０６：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲の下限値Ｌｍｉｎを下回る。よって、ＣＰＵ１５は、輝度調節範囲の下限値Ｌｍｉｎをモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｍｉｎ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。

ステップＳ２０７：この場合は、輝度目標値Ｌｔｐがモニタ１２の輝度調節範囲の上限値Ｌｍａｘを上回る。よって、ＣＰＵ１５は、輝度調節範囲の上限値Ｌｍａｘをモニタ１２の表示輝度Ｙｗ＿ａｂｓ’に設定する（Ｙｗ＿ａｂｓ’＝Ｌｍａｘ）。そして、ＣＰＵ１５はＳ１０７の処理に復帰する。以上で図４のサブルーチンの説明を終了する。

（ステップＳ１０７）
ＣＰＵ１５は、入力画像で想定されている周囲輝度とモニタ１２の輝度との比（Ｒｓｗ＝Ｙｓ＿ａｂｓ／Ｙｗ＿ａｂｓ）と、実際の周囲輝度とモニタ１２の輝度との比（Ｒｓｗ’=Ｙｓ＿ａｂｓ’／Ｙｗ＿ａｂｓ’）とを用いて、メモリ１７に記憶されている階調変換ＬＵＴから第３ＬＵＴを選択する。なお、第３ＬＵＴとして選択される階調変換ＬＵＴは、モニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離（例えば、電子カメラ等の携帯機器の背面ディスプレイであれば約５０ｃｍ）から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。

ここで、第３ＬＵＴは、主にモニタ１２の輝度よりも周囲が暗い場合に画像のコントラスト感を改善するための階調変換ＬＵＴである。図４に、本実施形態での第３ＬＵＴのトーンカーブの例を示す。Ｒｓｗに対してＲｓｗ’が十分小さい場合、第３ＬＵＴのトーンカーブは中間部が押し下げられた形状となり、暗部コントラストを抑えるように階調が補正される。Ｒｓｗに対してＲｓｗ’が十分大きい場合、第３ＬＵＴのトーンカーブは中間部が押し上げられた形状となり、暗部コントラストを立てるように階調が補正される。ＲｓｗとＲｓｗ’とがほぼ同程度の場合、第３ＬＵＴのトーンカーブはほぼ線形となる。

なお、一例として、Ｓ１０７でのＣＰＵ１５は、以下の表１に示すＲｓｗおよびＲｓｗ’の条件に基づいて、図５のトーンカーブに対応するＬＵＴのうちから第３ＬＵＴを選択すればよい。

（ステップＳ１０８）
ＣＰＵ１５は、Ｒ’Ｇ’Ｂ’と輝度／彩度の分離した色空間との間で画像の色空間を変換する第２マトリクスを設定する。一例として、本実施形態でのＣＰＵ１５は、Ｒ’Ｇ’Ｂ’とＹＣＣとの間で画像の色空間を変換する色変換マトリクスを第２マトリクスとして設定する。なお、変換先の色空間はＹＣＣに限定されず、例えばＨＳＶやＬ^*Ａ^*Ｂ^*であってもよい。また、変換先の色空間がＨＳＶやＬ^*Ａ^*Ｂ^*の場合には、Ｓ１０８での色空間の変換手段として式を用いたり、あるいは３次元色変換テーブルを用いたりしてもよい。

（ステップＳ１０９）
ＣＰＵ１５は、実際の周囲輝度とモニタ１２の輝度との比（Ｒｓｗ’）を用いて、メモリ１７に記憶されているＬＵＴから、輝度成分Ｙに関する第４ＬＵＴと、彩度成分Ｃに関する第５ＬＵＴとをそれぞれ選択する。

なお、第４ＬＵＴ、第５ＬＵＴとして選択される階調変換ＬＵＴは、モニタ１２の表示領域のサイズおよびモニタ１２の標準観察距離から求めたユーザの視角を基準として、このユーザの視角内での環境光の影響に応じてトーンカーブが決定されている。例えば、電子カメラのモニタ１２（背面ディスプレイ）は、パーソナルコンピュータのディスプレイやテレビ等と比べて小型であるため、ユーザの視角も小さくなる。そのため、電子カメラのモニタ１２の場合には、周囲の照明の影響が大きくなることを考慮して上記のＬＵＴの特性が予め調整されている。

ここで、第４ＬＵＴおよび第５ＬＵＴは、主にモニタ１２の輝度よりも周囲が明るい場合に画像のコントラスト感を向上させるための階調変換ＬＵＴである。モニタ１２よりも周囲が明るい場合、人間の視覚は画像の輝度よりも周囲の高い輝度に順応するため、画像の輝度および彩度のコントラストが通常よりもユーザには低く知覚される。

図６に、本実施形態での第４ＬＵＴのトーンカーブの例を示す。Ｒｓｗ’が十分小さい場合、第４ＬＵＴのトーンカーブはほぼ線形となる。一方、Ｒｓｗ’が大きくなるにつれて、第４ＬＵＴのトーンカーブは、低輝度部分の階調をつぶして中間調のコントラストを高くするＳ字状に変化する。

一般に周囲の輝度が高い場合、ユーザには画像の暗部がフレアにより白浮きして知覚される。そのため、高輝度環境下で選択される第４ＬＵＴは、低輝度部分の階調をつぶすことでフレアの影響を抑制しつつ、中間部での階調差を大きくする。これにより、高輝度環境下での画像のコントラスト感が保たれる。

次に、図７に、本実施形態での第５ＬＵＴのトーンカーブの例を示す。第５ＬＵＴのトーンカーブはいずれも線形であるが、Ｒｓｗ’の大きさに比例してトーンカーブの傾きも大きくなる。これにより、高輝度環境下においてユーザに低く知覚される画像の彩度が調整される。

なお、一例として、Ｓ１０９でのＣＰＵ１５は、以下の表２に示すＲｓｗ’の条件に基づいて、図６のトーンカーブに対応するＬＵＴのうちから第４ＬＵＴを選択すればよい。同様に、Ｓ１０９でのＣＰＵ１５は、以下の表２に示すＲｓｗ’の条件に基づいて、図７のトーンカーブに対応するＬＵＴのうちから第５ＬＵＴを選択すればよい。

（ステップＳ１１０）
ＣＰＵ１５は、第３ＬＵＴ、第４ＬＵＴおよび第５ＬＵＴの組み合わせに応じて、オーバーレイ表示の基準描画画素値ｐを決定する。上記の基準描画画素値は、第３ＬＵＴから第５ＬＵＴによって明るさや彩度が変化した画像に合わせて、オーバーレイ表示のオブジェクトの明るさを調整するために用いられる。

一例として、オブジェクトの階調範囲が８ｂｉｔ（０−２５５）であるときに、ＣＰＵ１５は、以下の表３に示すＬＵＴの組み合わせから基準描画画素値ｐを求めればよい。

ここで、表３の同じ行（第４ＬＵＴおよび第５ＬＵＴが共通する場合）では、表１で選択される第３ＬＵＴの（１）から（６）の順（Ｒｓｗ’の値が大きくなる順）に、基準描画画素値ｐの値は大きくなる。同様に、表３の同じ列（第３ＬＵＴが共通する場合）では、表２で選択される第４ＬＵＴおよび第５ＬＵＴの（１）から（５）の順（Ｒｓｗ’の値が大きくなる順）に、基準描画画素値ｐの値は大きくなる。

そして、ＣＰＵ１５は、基準描画画素値ｐを用いて、オブジェクトのＲＧＢ階調値を設定する。例えば、オーバーレイ表示のオブジェクトを赤色で描画する場合、ＣＰＵ１５は、オブジェクトのＲＧＢ階調値を（Ｒ，Ｇ，Ｂ）＝（ｐ，０，０）に設定すればよい。また、オーバーレイ表示のオブジェクトを明るい無彩色で描画する場合、ＣＰＵ１５は、オブジェクトのＲＧＢ階調値を（Ｒ，Ｇ，Ｂ）＝（ｐ，ｐ，ｐ）に設定すればよい。また、オーバーレイ表示のオブジェクトをグレーで描画する場合、ＣＰＵ１５は、オブジェクトのＲＧＢ階調値を（Ｒ，Ｇ，Ｂ）＝（０．５ｐ，０．５ｐ，０．５ｐ）に設定すればよい。

（ステップＳ１１１）
ＣＰＵ１５は、環境光下での入力画像の見えを改善した補正画像を生成する。一例として、Ｓ１１１でのＣＰＵ１５は、以下の（イ）−（ヘ）の処理を順次実行する。

（イ）ＣＰＵ１５は、入力画像の各画素において、第１ＬＵＴによるＲＧＢの各画素値の階調変換処理を行う。

（ロ）ＣＰＵ１５は、上記（イ）の処理後の画像に対して、第１マトリクスによる色変換処理を施す。これにより、画像の色空間はＲ’Ｇ’Ｂ’に変換される。

（ハ）ＣＰＵ１５は、上記（ロ）の処理後の画像に対して、第２ＬＵＴおよび第３ＬＵＴによる階調変換処理をそれぞれ施す。なお、この階調変換処理は、画像の各画素において各色の画素値でそれぞれ行われる。

（ニ）ＣＰＵ１５は、上記（ハ）の処理後の画像に対して、第２マトリクスによる色変換処理を施す。これにより、画像の色空間はＹＣＣに変換される。

（ホ）ＣＰＵ１５は、ＹＣＣに変換された画像の輝度面（Ｙ）に対して、第４ＬＵＴによる階調変換処理を施す。また、ＣＰＵ１５は、ＹＣＣに変換された画像の彩度面（Ｃ）に対して、第５ＬＵＴによる階調変換処理を施す。

（へ）ＣＰＵ１５は、上記（ホ）の処理後の画像に対して、第２マトリクスによる逆色変換処理を施す。これにより、画像の色空間は再びＲ’Ｇ’Ｂ’に変換される。以上により、補正画像が生成される。

（ステップＳ１１２）
ＣＰＵ１５は、モニタ１２の表示輝度をＹｗ＿ａｂｓ’に調整する。一例として、本実施形態ではモニタ１２が液晶ディスプレイパネルであるので、ＣＰＵ１５は、予めメモリ１７に記憶された情報に基づいて、モニタ１２の輝度がＹｗ＿ａｂｓ’となるようにバックライトの印可電圧を制御すればよい。

（ステップＳ１１３）
ＣＰＵ１５は、補正画像にオブジェクトをオーバーレイ表示させる。これにより、Ｓ１１０で決定したＲＧＢ階調値でオブジェクトが描画された補正画像（Ｓ１１１）がモニタ１２に表示される（図２（ｂ）参照）。以上で、図３の流れ図の説明を終了する。

本実施形態の電子カメラは、測光センサ１３の出力による外部照明条件（Ｙｓ＿ａｂｓ’）と、モニタ１２の表示照明条件（Ｙｗ＿ａｂｓ’）とを用いて、環境光下での画像の見えを元の入力画像よりも改善した補正画像をモニタ１２に表示する。

例えば、モニタ１２の輝度よりも周囲が暗い場合を考える。このとき、人間の視覚では、周囲がモニタ１２の輝度と同程度の場合よりも、画像の暗部コントラストが高く知覚される。しかし、本実施形態の電子カメラは、かかる場合には、第３ＬＵＴによる階調変換処理で補正画像のコントラストを入力画像よりも低く補正する。

一方、モニタ１２の輝度よりも周囲が明るい場合を考える。このとき、人間の視覚は画像の輝度よりも周囲の高い輝度に順応するため、周囲がモニタ１２の輝度と同程度の場合よりも、画像の輝度および彩度のコントラストがユーザには低く知覚される。しかし、本実施形態の電子カメラは、かかる場合には第４ＬＵＴおよび第５ＬＵＴによる階調変換処理で補正画像の輝度および彩度のコントラストを高く補正する。

また、本実施形態での電子カメラは、補正画像の明るさに応じてオブジェクトの明るさを規定する基準描画画素値ｐを決定する。そして、電子カメラは、基準描画画素値ｐを用いて、オーバーレイ表示のオブジェクトの表示色を補正画像に合わせて調整する。

例えば、モニタ１２の輝度よりも周囲が非常に暗い場合（表１で（１）が選択される場合）、第３ＬＵＴのトーンカーブは中間部が押し下げられた形状となり、入力画像は暗く補正される。このとき、表３で選択される基準描画画素値ｐは、周囲が明るい場合に比べて相対的に小さな値となるので、オーバーレイ表示のオブジェクトも暗くなる。

例えば、モニタ１２の輝度よりも周囲が非常に明るい場合（表２で（５）が選択される場合）、第４ＬＵＴのトーンカーブは、低輝度部分の階調をつぶして中間部を押し上げるＳ字状となり、第５ＬＵＴのトーンカーブの傾きも大きくなる。このとき、表３で選択される基準描画画素値ｐは、周囲が暗い場合に比べて相対的に大きな値となるので、オーバーレイ表示のオブジェクトは明るくなって、画像とのコントラストが明瞭となる。

よって、本実施形態の電子カメラは、異なる視環境下でも補正画像およびオーバーレイ表示の見えが比較的よく一致する。したがって、本実施形態の電子カメラでは、ユーザにとって違和感の大きいオーバーレイ表示（補正画像に対してオーバーレイ表示が浮いて見える、補正画像に対してオーバーレイ表示が目立ちすぎる等）を抑制できる。

＜第２実施形態の説明＞
次に、図８の流れ図を参照しつつ、第２実施形態の画像表示装置（電子カメラ）の動作例を説明する。第２実施形態は、画像から取得した明るさの情報を用いて、オーバーレイ表示の表示色を調整する例である。図７の流れ図の処理は、撮影モードまたは再生モードの起動操作を受け付けたときに、ＣＰＵ１５が表示制御プログラムを実行することで開始される。

ここで、第２実施形態の画像表示装置としては、図１に示す電子カメラの構成をそのまま用いることができる。そのため、第２実施形態では、画像表示装置の構成の説明は省略する。なお、第２実施形態の場合には、図１の電子カメラの構成から測光センサ１３を省略してもよい。

ステップＳ３０１：ＣＰＵ１５は、モニタ１２に表示させる主画像としての入力画像を取得する。このＳ３０１の処理は上記のＳ１０１の処理に対応するので、重複説明は省略する。

ステップＳ３０２：ＣＰＵ１５は、入力画像（Ｓ３０１）の色空間の情報を取得する。このＳ３０２の処理は上記のＳ１０２の処理に対応するので、重複説明は省略する。

ステップＳ３０３：ＣＰＵ１５は、入力画像の色空間の情報（Ｓ３０２）を用いて、メモリ１７に記憶されているデータから第１ＬＵＴと第１マトリクスとを選択する。このＳ３０３の処理は上記のＳ１０４の処理に対応するので、重複説明は省略する。

ステップＳ３０４：ＣＰＵ１５は、モニタ１２の表示特性に応じて、メモリ１７に記憶されているＬＵＴから第２ＬＵＴを選択する。このＳ３０４の処理は上記のＳ１０５の処理に対応するので、重複説明は省略する。

ステップＳ３０５：ＣＰＵ１５は、入力画像の明るさを参照して、オーバーレイ表示のオブジェクトの表示色を調整する。

例えば、Ｓ３０５でのＣＰＵ１５は、画像全体の平均輝度に基づいてオブジェクトの表示色を調整してもよい。この場合、ＣＰＵ１５は、入力画像の色空間をＹＣｂＣｒに変換し、Ｙ面の画素値を用いて入力画像全体の平均輝度Ｙを求める。そして、ＣＰＵ１５は、画像の平均輝度から基準描画画素値ｐを求める変換テーブル（あるいは変換式）を用いて、基準描画画素値ｐを求める。そして、ＣＰＵ１５は、上記のＳ１１０と同様の処理により、基準描画画素値ｐを用いてオブジェクトのＲＧＢ階調値を設定すればよい。

ここで、図９に、画像の輝度と基準描画画素値ｐとの対応関係の一例を示す。図９の例では、オブジェクトの背景となる画像の輝度が高いほど、基準描画画素値ｐの値も高くなる。

また、Ｓ３０５でのＣＰＵ１５は、各々のオブジェクトについて、それぞれ個別に基準描画画素値ｐを求めるようにしてもよい。この場合、ＣＰＵ１５は、入力画像のうちでオブジェクトの表示位置を基準として局所領域を設定する。そして、ＣＰＵ１５は、局所領域内の平均輝度値を用いて、対象となるオブジェクトに適用する基準描画画素値ｐを求めればよい。なお、上記の局所領域は、対象となるオブジェクトが含まれるように、オブジェクトよりも大きなサイズに設定される。また、局所領域の形状は、オブジェクトの輪郭と相似形であってもよく、あるいは矩形や円形等であってもよい。

なお、Ｓ３０５の説明では、輝度値としてＹＣｂＣｒ色空間のＹの値を用いる例を説明したが、例えば三刺激値（ＸＹＺ）のＹの値を用いるようにしてもよい。

ステップＳ３０６：ＣＰＵ１５は、入力画像に対して第１ＬＵＴ、第１マトリクス、第２ＬＵＴを適用し、モニタ１２に出力する補正画像を生成する。

ステップＳ３０７：ＣＰＵ１５は、補正画像にオブジェクトをオーバーレイ表示させる。これにより、Ｓ３０５で決定したＲＧＢ階調値でオブジェクトが描画された補正画像がモニタ１２に表示される。以上で、図８の流れ図の説明を終了する。

上記の第２実施形態の電子カメラは、入力画像の明るさに応じてオーバーレイ表示のオブジェクトの表示色を調整するので、ユーザにとって違和感の大きいオーバーレイ表示（補正画像に対してオーバーレイ表示が浮いて見える、補正画像に対してオーバーレイ表示が目立ちすぎる等）を抑制できる。

上記実施形態では、ディスプレイ周囲の明るさに応じて入力画像を補正し、補正された入力画像の明るさに応じてオーバーレイ表示の表示輝度を補正した。しかし、周囲の明るさだけでなく、周囲の環境光の色に応じて入力画像の色を補正した場合は、補正された入力画像の色に応じてオーバーレイ表示の表示色を補正してもよい。この場合、周囲の環境光の色に応じて入力画像の色順応変換を行うが、オーバーレイ表示の表示色については同様の色変換によって変換した色を使用すればよい。

＜実施形態の補足事項＞
（変形例１）
上記の各実施形態では、電子カメラに実装された画像表示装置の例を説明した。しかし、本発明の画像表示装置は、テレビ、プロジェクタ、パーソナルコンピュータのディスプレイ、自動車に搭載されるナビゲーションシステムのモニタなどにも適用できる。また、本発明の画像表示装置は、電子カメラ以外の携帯可能なモニタ付きの電子機器（携帯電話、フォトビューア、携帯ゲーム機、電子書籍のビューアなど）に適用することができる。なお、これらの画像表示装置の基本構成は、撮像部１１がない点を除いて図１の構成と同様であるので図示は省略する。

（変形例２）
上記の各実施形態では、モニタ１２が液晶ディスプレイである例を説明した。しかし、本発明の画像表示装置のモニタは、有機ＥＬなどの他の表示デバイスであってもよい。

（変形例３）
上記の第１実施形態のＳ１１０の処理において、ＣＰＵ１５は、第２実施形態のＳ３０５の処理と同様に、画像の輝度値から基準描画画素値ｐを決定するようにしてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…撮像部、１２…モニタ、１３…測光センサ、１５…ＣＰＵ、１６…メディアＩ／Ｆ、１７…メモリ、１８…操作部、１９…記憶媒体

Claims

画像を表示する表示部と、
前記表示部に表示すべき第１の画像の情報を取得する取得部と、
前記第１の画像に第２の画像を重畳させて前記表示部に表示させるとともに、前記第１の画像の色情報を用いて、前記第２の画像の色が前記第１画像の色と乖離しないように表示特性を調整する制御部と、
を備える画像表示装置。
請求項１に記載の画像表示装置において、
前記制御部は、重畳された画像のうちで前記第２の画像の表示位置を基準として設定された局所領域から取得した前記色情報を用いて、前記第２の画像の表示色を調整する画像表示装置。
請求項１または請求項２に記載の画像表示装置において、
前記制御部は、前記第１の画像に対して階調変換処理を施して、前記第１の画像に対する前記第２の画像の色再現を調整する画像表示装置。
表示装置に表示すべき第１の画像の情報を取得する取得処理と、
前記第１の画像に第２の画像を重畳させて前記表示部に表示させるとともに、前記第１の画像の色情報を用いて、前記第２の画像の色が前記第１画像の色と乖離しないように表示特性を調整する表示制御処理と、
をコンピュータに実行させるプログラム。