JP2010276968A - 画像表示装置および画像表示方法 - Google Patents

Abstract

【課題】低コストで、多階調画像の階調特性を損なうことのない倍速表示を可能とする画像表示装置および画像表示方法を提供する。
【解決手段】入力画像Ａから、その低階調範囲に相当する出力画像Ｈ1と、多階調範囲に相当する出力画像Ｈ2とを切り出し、これらをサブフレームとして倍速表示することによって、入力画像Ａの階調を損なうことなく、実質的に高品位な表示が可能となる。
【選択図】図２

Description

本発明は、ＨＤＲ（ハイダイナミックレンジ）画像等の多階調画像を表示する画像表示装置およびその制御方法に関する。

近年、医療診断用途や美術館等での展示用途のみでなく、一般の家庭での写真観賞用などにおいても高品位画像が必要とされ、従来よりも階調の多い画像を提供する必要性が高まっている。このようなニーズに答えるためには、従来よりも多階調な画像を撮影可能とする撮像装置と、従来よりも多階調の画像データを扱える伝送装置もしくは記録再生装置、および、従来よりも多階調の表示を可能とする表示装置、が必要となる。

撮像系においては、カメラの撮像素子自体のダイナミックレンジ（ＤＲ）を向上させたものや、感度の異なる複数の撮像系によって同一シーンに対応する複数の輝度域の画像を取得するカメラ、等が発表されている（例えば、特許文献１参照）。

一方、表示系においては、以下のような手法によって、従来を上回る多階調輝度制御を可能とし、またＤＲの大きい表示を可能としている。例えば液晶ディスプレイでは、従来以上に高精度に液晶デバイスの開口率を制御する手法や、バックライトにＬＥＤ等の投影手段を用いて画面の領域ごとに光量を制御する手法、等がある（例えば、特許文献２参照）。

しかしながら、実際の生活空間や自然界における光のＤＲは非常に大きく、撮像系、表示系とも、さらなる多階調化、高ＤＲ化が求められている。特に表示系においては、撮像系の進歩に対応できるだけの表示性能が求められる。

一般的な電子画像は、フレーム周波数６０Hz、ないし５０Hｚで表示される。このような周波数の場合、そのフレーム内を複数のサブフレームに分けてそれぞれ異なった画像を表示すると、人間の目には個々のサブフレームの画像は認識されず、それらを加算した１フレームの画像として認識される。これは、人間の目が上記サブフレームの切り替わる周波数には応答できないからである。このような現象は、人間の目の積分効果と称されている。この人間の目の積分効果を利用すれば、本来表示したい画像を複数の画像に分けてそれぞれのサブフレームに表示することにより、人間の目に対しては実質的にその合成画像の表示がなされる。

ディスプレイの輝度制御という観点では、各フレームの光強度を制御する方法だけでなく、上述した人間の目の積分効果を利用して時間方向に輝度を加算するような制御を行う方法も広く用いられている。例えば、一部のマイクロディスプレイ型プロジェクタに見られるように、同一フレームのＲＧＢ成分を順番に表示して色を合成して見せる方法がある（例えば、特許文献３参照）。また、プラズマディスプレイに見られるように、１フィールド期間を複数のサブフィールドに分割し、そのサブフィールドの選択組み合わせによって階調を表現する方法などがある。

例えば、ディスプレイの動画視認性を改善するために、倍速表示装置において、一方のサブフレームで輝度の高い画像を表示し、他方のサブフレームで輝度の低い画像を表示する方法がある（例えば、特許文献４，５参照）。このような表示方法によれば、各サブフレームの表示画像が目で時間積分されることによって、実質的にオリジナル画像が再現されるだけでなく、低輝度時に黒挿入に近い効果が得られるため、動きボケが改善される。

US6909461B1 US6891672B2 特登録36600610 特開2006-343706号公報 特開2004-240317号公報

上述したように、ＨＤＲ画像の表示を行うためには、撮像系、表示系ともにさらなる多階調化が求められている。特に表示系においては、発光強度制御の高精度化や液晶の開口率制御の高精度化等、デバイスの輝度レベル方向制御によって、ＤＲの拡大と多階調化が実現される。しかしながらこの場合、デバイスの高精度化、構造の複雑化等により、表示系の高コスト化が避けられないという問題があった。

また、既存の伝送系や処理系においては、所定のビット数（例えば８ビット）によるデータを扱うことを前提としているものが多い。したがって、それ以外のビット数による処理を行おうとすると、一般に安価である既存の系を利用することができず、やはり高コスト化を招いてしまう。

また、上述したような目の積分効果を利用した倍速表示を行う際に、例えば８ビット階調のディスプレイで２倍速表示を行う場合には、理論上９ビットの画像表示能力が得られる。しかしながら、上記従来の倍速表示を行う技術（特許文献４，５）においては、表示対象となる画像のビット深度と、実際に表示される画像のビット深度は同じであり、表示階調を向上させるものではなかった。すなわち、表示系の構成上においては９ビット表示が可能であるにも関わらず、実際に表示される画像は９ビットの階調表現では無く、８ビットの画像として表現されていた。したがって上記従来の倍速表示系においては、例えば元の９ビット画像（512階調）において１階調分の変化があった場合に、これを表現することはできなかった。

本発明は上述した問題を解決するためになされたものであり、低コストで、多階調画像の階調特性を損なうことのない倍速表示を可能とする画像表示装置および画像表示方法を提供することを目的とする。

上記目的を達成するための一手段として本発明の画像表示装置は以下の構成を備える。すなわち、入力画像を取得する入力手段と、前記入力画像からＭ個の階調範囲をそれぞれ切り出してＭ個の出力画像を生成する切り出し手段と、前記Ｍ個の出力画像をＭ個のサブフレームとしてＭ倍速表示する表示手段と、を有することを特徴とする。

また、同一シーンが異なる露光レベルによって撮影されたＭ個の画像を取得する入力手段と、前記Ｍ個の画像をＭ個のサブフレームとしてＭ倍速表示する表示手段と、を有することを特徴とする。

上記構成からなる本発明によれば、低コストで、多階調画像の階調特性を損なうことのない倍速表示が可能となる。

第１実施形態におけるＨＤＲ画像表示システムの構成を示すブロック図、 第１実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を示す図、 第１実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を示す図、 第２実施形態におけるＨＤＲ画像表示システムの構成を示すブロック図、 第２実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を示す図、 第２実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を示す図、 第３実施形態における画像表示システムの構成を示すブロック図、 第３実施形態における入力画像Ａと出力画像Ｈ1〜Ｈ4の関係を示す図、 第３実施形態における入力画像Ａと出力画像Ｈ1〜Ｈ4、合成画像Ｈdispの関係を示す図、 第４実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を示す図、 第４実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を示す図、 第５実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を示す図、 第５実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を示す図、 第６実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を示す図、 第６実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を示す図、 第７実施形態におけるＨＤＲ画像表示システムの構成を示すブロック図、である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態の表示系においては、多階調の入力画像データを階調レベルごとに複数の画像データに分け、これらを１フレーム内で順次表示することによって、人間の目の積分効果によりこれらが加算された画像が見えるな制御を行う。

本実施形態では、多階調の入力画像データから、それぞれ所定の階調幅に対応するＭ個の画像データを切り出し、該Ｍ個の画像データのそれぞれを所定の階調数に変換し、Ｍ倍速の画像表示装置で順次表示する。以下、入力画像をＡ、切り出されたＭ個の画像をＢ1〜ＢM、階調変換後の出力画像をＨ1〜ＨMとして説明する。

以下では、Ｍ＝２であり、入力画像Ａが１２ビット深度、出力画像Ｈ1，Ｈ2が８ビット深度である場合を例として説明する。

図１に、本実施形態におけるＨＤＲ画像表示システムのブロック構成例を示す。同図におけるＨＤＲカメラ（ハイダイナミックレンジカメラ）１０１は、１２ビット画像Ａを出力する。画像データ切り出し部１０２は、ＨＤＲカメラ１０１から取得した１２ビットの入力画像Ａから、互いに同じ階調分解能である部分階調画像Ｂ1，Ｂ2を生成する。ここで、部分階調画像Ｂ1は入力画像Ａと同じ画素数の画像である。入力画像Ａにおいて、画素データが0〜1433に相当する画素については、部分階調画像Ｂ1の同一画素の画素データは対応するＡの値をそれぞれ規則に従って変換した値が設定される。また、入力画像Ａにおいて画素データが1433を超える画素については、部分階調画像Ｂ1の同一画素の画素データは最大値が設定される。部分階調画像Ｂ2も入力画像Ａと同じ画素数の画像である。入力画像Ａにおいて、画素データが1434〜4095に相当する画素については、部分階調画像Ｂ2の同一画素の画素データは対応する入力画像Ａの値をそれぞれ規則に従って変換した値が設定される。また、入力画像Ａにおいて画素データが1434未満の画素については、部分階調画像Ｂ2の同一画素の画素データは最小値が設定される。

階調変換部Ａ１０３，Ｂ１０４はそれぞれ、部分階調画像Ｂ1，Ｂ2が２５６階調（８ビット）に収まるように階調変換し、該変換後の８ビットの画像Ｈ1，Ｈ2を出力する。出力画像Ｈ1，Ｈ2は、８ビットに対応した伝送路（または処理系）１０５，１０６を経由してスイッチ１０７に送られる。

スイッチ１０７は１２０Hzで切り替わることにより、出力画像Ｈ1とＨ2を交互に、シーケンシャルなデータとして倍速表示装置１０８に送る。倍速表示装置１０８はフレーム周波数が６０Hzであり、１／１２０秒ごとに出力画像Ｈ1，Ｈ2を表示する。

ここで図２を用いて、入力画像Ａと出力画像Ｈ1，Ｈ2の関係を説明する。図２に示すように、入力画像Ａにおいて、thは階調分割の閾値であり、出力画像Ｈ1は入力画像Ａの階調0〜thに対応し、出力画像Ｈ2は入力画像Ａの階調th〜4095に対応する。なお、本実施形態においてはth＝1433である。

ここで図３を用いて、入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を説明する。合成画像Hdispは、倍速表示のサブフレームで表示される出力画像Ｈ1，Ｈ2の和であり、上述した人間の目の積分効果によって実質的に表示される画像である。

図３において、th＝1433は入力画像Ａの輝度レベルとして約35％に相当する。出力画像Ｈ1は入力画像Ａの0〜1433階調に対応しているため、図中のグラフ上ではＰ0−Ｐ1−Ｐ4のような折れ線を描く。また、出力画像Ｈ2は入力画像Ａの1434〜4095階調に対応しているため、図中のグラフ上ではＰ2−Ｐ4のような直線を描く。また合成画像Ｈdisp＝Ｈ1＋Ｈ2は、図中のグラフ上でＰ0−Ｐ1−Ｐ3のような折れ線を描く。

なお本実施形態では、入力画像Ａは１２ビット深度であり、出力画像Ｈ1，Ｈ2はいずれも８ビット深度であるが、入力画像Ａに対する閾値thはその階調を２等分するものではない。したがって、出力画像Ｈ1，Ｈ2のそれぞれの階調数と、入力画像Ａにおいて対応する階調数との比率は異なる。すなわち、出力画像Ｈ1，Ｈ2にそれぞれ対応する階調変換部Ａ１０３，Ｂ１０４においては、階調変換の比率が異なる。このことは、図３に示すように出力画像Ｈ1（Ｐ0−Ｐ1）と出力画像Ｈ2（Ｐ2−Ｐ4）の傾きが異なることからも分かる。

本実施形態では、閾値thを35％輝度相当としたことにより、出力画像Ｈ1に対応する階調範囲が少し狭く、出力画像Ｈ2に対応する階調範囲が少し広く設定され、合成画像ＨdispがＰ0−Ｐ1−Ｐ3のような上に凸の折れ線を描く。これにより、合成画像に対してコントラストを強調するような調整（具体的には階調特性の調整）が施されることとなり、このようにコントラストが少し強調された方が、実際の見えに近くなる。

本実施形態では以上のように、１２ビット深度の入力画像Ａから、それぞれ８ビットの出力画像Ｈ1，Ｈ2を作成し、これをこのまま８ビットずつ、倍速表示装置１０８において順次表示する。すると人間の目の積分効果によって、倍速表示装置１０８では実質的に９ビット相当の階調表示がなされる。また、本実施形態においては、階調特性の調整、すなわち所定階調幅での画像データの切り出しが、階調変換部Ａ１０３，Ｂ１０４におけるビット深度変換前に行われるため、階調調整に伴う階調情報の欠落は発生しない。

以上説明した本実施形態における画像処理は、以下のような式で表すことができる。

Ｂ2＝Ａ−1433 ・・・(1-1)
Ｂ1＝Ａ−Ｂ2 ・・・(1-2)
Ｈ2＝Ｆ256_1434(Ｂ2) ・・・(1-3)
Ｈ1＝Ｆ256_2662(Ｂ1) ・・・(1-4)
これら式(1-1),(1-2),(1-3),(1-4)は、全ての画素データ毎に定義される。

ここで、部分階調画像Ｂ1，Ｂ2は負の値を持たず、計算上、式(1-1)，(1-2)の右辺が負になる場合には、部分階調画像Ｂ1，Ｂ2として０が設定される。

また、関数Ｆｎ1_ｎ2(Ｘ)は、階調数ｎ2で定義される画像データＸを、階調数ｎ1の画像データに変換する（ｎ1階調に振り当てる）ことを定義する。

尚、本実施形態は、最低限度にＲＧＢの各成分で同様の処理を行うことによって効果が得られる。従って、いずれの実施形態もＲＧＢ各成分で同じ処理を行うことが前提である。しかしながら、結果的に人間の目の積分効果によって見える画像（合成画像Ｈdisp）に対して何らかの色補正をする場合には、本発明の範疇において、色ごとにパラメータの異なった処理を行っても良い。

以上説明したように本実施形態によれば、倍速表示装置において表現可能な最大限の階調数による表示を、階調特性を損なうことなく行うことができる。すなわち、Ｍ倍速表示装置の表示階調を効率良く生かすことができるため、ＨＤＲカメラ等で撮影された多階調画像を高品位のままユーザに提供することができる。

また、一般に安価である既存の伝送系や処理系（例えば８ビット処理限定等）を利用することができるため、コストを抑制することができる。

なお本実施形態は、上記従来例で示した倍速表示を行う表示系に対し、以下のような点においてより効果的である。例えば８ビットの２倍速表示を行う表示系（Ｍ＝２）において、上記従来例では元の画像が９ビットであれば、実際に倍速表示される画像においては階調情報の欠落が発生していた。しかしながら本実施形態によれば、元の９ビット画像に対し、階調情報が欠落しないように８ビット画像を２つ作成し、これを順次表示することができる。したがって本実施形態によれば、形式的にも実質的にも９ビット階調を有する画像表現がなされる。

本実施形態においてはさらに、Ｍ＝２で入力画像が９ビットを上回る場合であっても、元の多ビット画像のなかで、画像として意味のある階調範囲を選択し、該階調範囲を２つの256階調（８ビット階調）に振り当て、順次表示することができる。

このように本実施形態によれば、９ビットを上回る階調の入力画像に対して、階調情報の欠落を最小限に抑え、かつ実表現に貢献する階調特性の調整も既に行われている９ビット画像を最終的に表示することができる。

また本実施形態は、Ｍ個のサブフレームからなるＭ倍速表示に一般化することができる。従って本実施形態は、Ｍ個の８ビット画像に対して適用可能であり、Ｍが大きいほど、多ビットの入力画像に対応できる点においても、上記従来の倍速表示系とは異なる。

以上のような点において、本実施形態は上記従来例で示した倍速表示系と異なり、本実施形態がより有用であることが分かる。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態においても、入力画像ＡからＭ個の画像データを切り出し、Ｍ倍速の画像表示装置で順次表示するものであり、入力画像をＡ、切り出されたＭ個の出力画像をＨ1〜ＨMとして説明する。

第２実施形態においては、Ｍ＝２であり、入力画像Ａが９ビット深度であって、ビット深度変換を伴う階調変換を行わない例を示す。

図４に、第２実施形態におけるＨＤＲ画像表示システムのブロック構成例を示す。なお図４において、上述した第１実施形態の図１と同様の構成については同一番号を付してある。

図４におけるＨＤＲカメラ２０１は、９ビット画像Ａを出力する。画像データ切り出し部２０２は、９ビットの入力画像Ａから、８ビットの出力画像Ｈ1，Ｈ2を取り出す。出力画像Ｈ1，Ｈ2は、８ビットに対応した伝送路（または処理系）１０５，１０６を経由してスイッチ１０７に送られる。

スイッチ１０７は１２０Hzで切り替わることにより、出力画像Ｈ1とＨ2をシーケンシャルなデータとして倍速表示装置１０８に送る。倍速表示装置１０８はフレーム周波数６０Hzであり、１／１２０秒ごとに出力画像Ｈ1，Ｈ2を表示する。

ここで図５を用いて、第２実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を説明する。図５に示すように、第２実施形態における入力画像Ａの階調分割の閾値thは255であり、したがって出力画像Ｈ1は入力画像Ａの階調0〜255に対応し、出力画像Ｈ2は入力画像Ａの階調256〜511に対応する。第２実施形態においては、出力画像Ｈ1，Ｈ2のいずれについても、その階調数は入力画像Ａにおいて対応する階調数に対して１：１となるため、ビット深度変換を伴う階調変換は不要である。

ここで図６を用いて、第２実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を説明する。合成画像Hdispは、倍速表示のサブフレームで表示される出力画像Ｈ1，Ｈ2の和であり、上述した人間の目の積分効果によって実質的に表示される画像である。

図６において、th＝255は入力画像Ａの輝度レベルとして丁度５０％に相当する。出力画像Ｈ1は入力画像Ａの0〜255階調に対応しているため、図中のグラフ上ではＰ0−Ｐ1−Ｐ4のような折れ線を描く。また、出力画像Ｈ2は入力画像Ａの256〜511階調に対応しているため、図中のグラフ上ではＰ2−Ｐ4のような直線を描く。また合成画像Ｈdisp＝Ｈ1＋Ｈ2は、図中のグラフ上でＰ0−Ｐ1−Ｐ3のような直線を描く。

なお第２実施形態では、合成画像ＨdispがＰ0−Ｐ1−Ｐ3のように直線を描くことから、階調特性全体に対してなんら調整が行われていないことが分かる。

以上説明した第２実施形態における画像処理は、以下のような式で表すことができる。

Ｈ2＝Ａ−255 ・・・(2-1)
Ｈ1＝Ａ−Ｈ2 ・・・(2-2)
これら式(2-1),(2-2)は、全ての画素データ毎に定義される。

ここで、出力画像Ｈ1，Ｈ2は負の値を持たず、計算上、式(2-1)，(2-2)の右辺が負になる場合には、出力画像Ｈ1，Ｈ2として０が設定される。

以上説明したように第２実施形態によれば、入力画像Ａを９ビット階調とすることによって、上述した第１実施形態のように階調変化を行うことなく、該９ビット階調を維持したまま、倍速表示を行うことができる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。第３実施形態においても、入力画像ＡからＭ個の画像データを切り出し、Ｍ倍速の画像表示装置で順次表示するものであり、入力画像をＡ、切り出されたＭ個の出力画像をＨ1〜ＨMとして説明する。

第３実施形態においては、Ｍ＝４を例として、Ｍを一般化した概念、すなわち、多画像から切り出したＭ個の出力画像をＭ倍速表示装置で順次表示する処理について説明する。なお、説明を簡単にするために、第３実施形態ではビット深度変換を伴う階調変換を行わないとする。

図７に、第３実施形態におけるＨＤＲ画像表示システムのブロック構成例を示す。同図におけるＨＤＲカメラ３０１は、１０ビット画像Ａを出力する。画像データ切り出し部３０２は、１０ビットの入力画像Ａから、８ビットの出力画像Ｈ1，Ｈ2，Ｈ3，Ｈ4を取り出す。出力画像Ｈ1，Ｈ2，Ｈ3，Ｈ4は、８ビットに対応した伝送路（または処理系）３０３，３０４，３０５，３０６を経由して切り替えスイッチ３０７の端子１，２，３，４に送られる。

切り替えスイッチ３０７は１周期1/60秒で、端子１→端子２→端子３→端子４→端子１のように順次切り替わる。その結果、出力画像Ｈ1，Ｈ2，Ｈ3，Ｈ4がシーケンシャルに連続するデータが構成され、これが４倍速表示装置３０８に送られる。４倍速表示装置３０８はフレーム周波数６０Hzであるため、１／(４×６０)秒のサブフレームごとに、出力画像Ｈ1〜Ｈ4を順次表示する。

ここで図８を用いて、第３実施形態における入力画像Ａと出力画像Ｈ1〜Ｈ4の関係を説明する。第３実施形態において入力画像Ａは１０ビット深度（1024階調）であるから、出力画像Ｈ1〜Ｈ4はそれぞれ、入力画像Ａの階調を均等に４分割した階調範囲に対応するように切り出される。すなわち図８に示すように、第３実施形態においては入力画像Ａの階調分割の閾値としてth11，th12，th13，th14を有し、それぞれが255，511，767，1023である。したがって、出力画像Ｈ1は入力画像Ａの階調0〜255に対応し、出力画像Ｈ2は入力画像Ａの階調256〜511に対応し、出力画像Ｈ3は入力画像Ａの階調512〜767に対応し、出力画像Ｈ4は入力画像Ａの階調768〜1023に対応する。第３実施形態においては、出力画像Ｈ1〜Ｈ4のいずれについても、その階調数は入力画像Ａにおいて対応する階調数に対して１：１となるため、ビット深度変換を伴う階調変換は不要である。

ここで図９を用いて、第３実施形態における入力画像Ａと出力画像Ｈ1〜Ｈ4、合成画像Ｈdispの関係を説明する。合成画像Hdispは、４倍速表示のサブフレームで表示される出力画像Ｈ1〜Ｈ4の和であり、上述した人間の目の積分効果によって実質的に表示される画像である。

図９において、出力画像Ｈ1は入力画像Ａの0〜255階調に対応しているため、図中のグラフ上ではＰ0−Ｐ1−Ｐ7のような折れ線を描く。また、出力画像Ｈ2は入力画像Ａの256〜511階調に対応しているため、図中のグラフ上ではＰ0−Ｐ2−Ｐ3−Ｐ7のような折れ線を描く。また、出力画像Ｈ3は入力画像Ａの512〜764階調に対応しているため、図中のグラフ上ではＰ0−Ｐ4−Ｐ5−Ｐ7のような折れ線を描く。また、出力画像Ｈ4は入力画像Ａの765〜1023階調に対応しているため、図中のグラフ上ではＰ0−Ｐ6−Ｐ7のような折れ線を描く。なお第３実施形態においては、出力画像Ｈ1〜Ｈ4それぞれについてグラフ上に発生する勾配部分は、全て同じ傾きとなる。また合成画像Ｈdisp＝Ｈ1＋Ｈ2＋Ｈ3＋Ｈ4は、図中のグラフ上でＰ0−Ｐ1−Ｐ8のような直線を描く。

以上説明した第３実施形態における画像処理は、以下のような式で表すことができる。

Ｈ1＝Ａ−th13 ・・・(3-1)
Ｈ2＝Ａ−Ｈ1−th12 ・・・(3-2)
Ｈ3＝Ａ−Ｈ1−Ｈ2−th11 ・・・(3-3)
Ｈ4＝Ａ−Ｈ1−Ｈ2−Ｈ3 ・・・(3-4)
ただし、th13＝764，th12＝511，th11＝255、であって、これら式(3-1),(3-2),(3-3),(3-4)は、全ての画素データ毎に定義される。

ここで、出力画像Ｈ1〜Ｈ4は負の値を持たず、計算上、式(3-1)〜(3-4)の右辺が負になる場合には、出力画像Ｈ1〜Ｈ4として０が設定される。

以上説明したように第３実施形態によれば、Ｍ＝４とすることによって、表示能力をそれぞれのサブフレームの表示能力の４倍とすることができる。すなわち、それぞれのサブフレームの表示能力が８ビットであれば、人間の目の積分効果によって、トータル１０ビットの表示能力を示すことができる。すなわち、第３実施形態のように元の画像（入力画像Ａ）が１０ビットであれば、Ｍ＝４として該画像の階調範囲を均等に４分割することによって、階調情報を落とすことなく表示することができる。

なお第３実施形態において、Ｍの値をさらに大きくすれば、すなわちリフレッシュレートのより高い表示装置を用いれば、階調表示能力が向上することは明白である。また、Ｍを一般化した形式とすることによって、入力画像Ａとしてさらにビット深度の大きい多階調画像に対応することも可能である。

また、第２および第３実施形態ではビット深度変換を伴う階調変換を行わないようにするために、複数の出力画像のそれぞれの階調数が等しい例を説明したが、これら階調数の合計が入力画像Ａの階調数以下となるのであれば、本発明は適用可能である。

＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。第４実施形態においても、入力画像ＡからＭ個の画像データを切り出し、Ｍ倍速の画像表示装置で順次表示するものであり、入力画像をＡ、切り出されたＭ個の画像をＢ1〜ＢM、階調変換後の出力画像をＨ1〜ＨMとして説明する。

第４実施形態においては、入力画像Ａに対する出力画像Ｈ1，Ｈ2の輝度範囲を固定とせず、調整内容に応じてフレキシブルに設定可能とすることによって、階調特性を調整する例を示す。

第４実施形態におけるＨＤＲ画像表示システムの構成は、上述した第１実施形態で示した図１と同様であるが、画像切り出し部１０２および、それに伴う階調変換部Ａ１０３，階調変換部Ｂ１０４の動作が異なる。

ここで図１０を用いて、第４実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を説明する。第４実施形態において入力画像Ａは１２ビット深度（4095階調）であり、出力画像Ｈ1，Ｈ2は８ビット深度である。図１０に示すように、出力画像Ｈ1は入力画像Ａにおける第１階調th1〜第２階調th2に対応し、出力画像Ｈ2は入力画像Ａの第３階調th3〜第４階調th4に対応する。

th1〜th4の値は、入力画像Ａに対してどのような調整を行うかに応じて決定される。第４実施形態では、入力画像Ａにおける黒に近い部分に対しては調整を加えないようにし、高輝度部については処理対象外となるように制御することを特徴とする。

そのために、まずth1＝0とする。そして実際の画像にあわせて、限られた表示階調を最大限活用したいので、元の画像で実際にデータの無い部分の階調範囲を処理対象から除外する。そのために、th4を入力画像Ａの最大階調よりも小さい値、すなわち、4095ではなく3480（実際の輝度で約８５％）とする。また、コントラストを少し強調した方が実際の見えに近くなるため、出力画像Ｈ1に対応する階調範囲を少し狭くし、出力画像Ｈ2に対応する階調範囲を少し広く設定する。また、それぞれの階調範囲は隣接させる。これにより、th2＝1433（輝度レベルで約35％），th3＝th2+1＝1434とする。

ここで図１１を用いて、第４実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を説明する。合成画像Hdispは、倍速表示のサブフレームで表示される出力画像Ｈ1，Ｈ2の和であり、上述した人間の目の積分効果によって実質的に表示される画像である。

図１１において、出力画像Ｈ1は入力画像Ａの0（th1）〜th2に対応しているため、図中のグラフ上ではＰ0−Ｐ1−Ｐ4のような折れ線を描く。また、出力画像Ｈ2は入力画像Ａのth3〜th4に対応しているため、図中のグラフ上ではＰ2−Ｐ4のような直線を描く。また合成画像Ｈdisp＝Ｈ1＋Ｈ2は、図中のグラフ上でＰ0−Ｐ1−Ｐ3のような折れ線を描く。

第４実施形態においては、入力画像Ａの高輝度部を捨てているため、Ｈdispの折れ線は、入力レベルが4095に到達しないうちに最大値に到達する。なお、合成画像ＨdispがＰ0−Ｐ1−Ｐ3のような上に凸の折れ線を描いているが、これは第４実施形態において、入力画像Ａに対し、実際の目の感覚に近づけるべく、コントラストが少し強調されるように、th2（th3）が設定されているためである。

以上説明した第４実施形態における画像処理は、以下のような式で表すことができる。

Ｂtop＝Ａ−th3 ・・・(4-1)
Ｂ2＝Ａ−th2−Ｂtop ・・・(4-2)
Ｂ1＝Ａ−th1−Ｂtop−Ｂ2 ・・・(4-3)
Ｈ2＝Ｆ256_(th4-th3)(Ｂ2) ・・・(4-4)
Ｈ1＝Ｆ256_(th2-th1)(Ｂ1) ・・・(4-5)
ただし、th1＝0
th2＝1433（実際の輝度で約３５％)
th3＝th2＋1＝1434
th4＝3480（実際の輝度で約８５％)
これら式(4-1),(4-2),(4-3),(4-4),(4-5)は、全ての画素データ毎に定義される。

ここで、Ｂtopは入力画像Ａの最高輝度範囲を示す値であって、最高輝度範囲の下限境界輝度を示す。ここで最高輝度範囲とはすなわち、第４実施形態において除外する階調範囲である。

また、部分階調画像Ｂ1，Ｂ2は負の値を持たず、計算上、式(4-2)，(4-3)の右辺が負になる場合には、部分階調画像Ｂ1，Ｂ2として０が設定される。

また、関数Ｆｎ1_ｎ2(Ｘ)は、階調数ｎ2で定義される画像データＸを、階調数ｎ1の画像データに変換する（ｎ1階調に振り当てる）ことを定義する。

以上説明した様に第４実施形態によれば、入力画像Ａに対する出力画像Ｈ1，Ｈ2の輝度範囲を、入力画像Ａにおける黒に近い部分に対しては調整を加えないように、かつ高輝度部については処理対象外となるように、設定することが可能となる。

＜第５実施形態＞
以下、本発明に係る第５実施形態について説明する。第５実施形態においても、入力画像ＡからＭ個の画像データを切り出し、Ｍ倍速の画像表示装置で順次表示するものであり、入力画像をＡ、切り出されたＭ個の画像をＢ1〜ＢM、階調変換後の出力画像をＨ1〜ＨMとして説明する。

第５実施形態のＨＤＲ画像表示システムにおいても、上述した第４実施形態と同様に、入力画像Ａに対する出力画像Ｈ1，Ｈ2の輝度範囲をフレキシブルに設定可能とする。

ここで図１２を用いて、第５実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を説明する。第５実施形態において入力画像Ａは１２ビット深度（4095階調）であり、出力画像Ｈ1，Ｈ2は８ビット深度である。図１２に示すように、出力画像Ｈ1は入力画像Ａにおける第１の階調th1〜第２の階調th2に対応し、出力画像Ｈ2は入力画像Ａにおける第３の階調th3〜第４の階調th4に対応する。

第５実施形態においては、入力画像Ａが少し露光オーバーな状況で撮影されたために少し黒浮きし、かつ最大階調付近でセンサが飽和気味になっている場合を例として、これを補正するための調整を行う例を示す。

第５実施形態では以下のようにth1〜th4の値を決定する。まず、上述した黒浮きを解消するために、th1を入力画像Ａの最小階調よりも大きい値、すなわち０より大きい値とする。ここでは、th1＝204（実際の輝度で約５％）とする。

そして、多階調側を抑えて表示するために、th4を入力画像の最大階調（4095）よりも大きく設定する。ここでは、th4＝4709（実際の輝度で１１５％)とする。また、コントラストを少し強調した方が実際の見えに近くなるため、出力画像Ｈ1に対応する階調範囲を少し狭くし、出力画像Ｈ2に対応する階調範囲を少し広くする。また、それぞれの階調範囲は隣接させる。これにより、th2＝1842（輝度レベルで約４５％），th3＝th2+1＝1843とする。

ここで図１３を用いて、第５実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を説明する。合成画像Hdispは、倍速表示のサブフレームで表示される出力画像Ｈ1，Ｈ2の和であり、上述した人間の目の積分効果によって実質的に表示される画像である。

図１３において、出力画像Ｈ1は入力画像Ａのth1〜th2に対応しているため、図中のグラフ上ではＰ0−Ｐ1−Ｐ4のような折れ線を描く。また、出力画像Ｈ2は入力画像Ａのth3〜th4に対応しているため、図中のグラフ上ではＰ2−Ｐ5のような直線を描く。また合成画像Ｈdisp＝Ｈ1＋Ｈ2は、図中のグラフ上でＰ0−Ｐ1−Ｐ3のような折れ線を描く。

図１３によれば、入力画像Ａの輝度がth1以下の間はＨdispが発生しないため、黒浮きが補正される。また、入力画像Ａの輝度が最大値になっても出力画像Ｈ2が255階調に到達しないように設定されているため、Ｈdispの折れ線は、入力レベルが最大値である4095に到達しても、Ｈdispの最大値である511には到達しない。したがって、多階調部の飽和状態を緩和することができる。

第５実施形態における画像処理は、以下のような式で表すことができる。

Ｂ2＝Ａ−th3 ・・・(5-1)
Ｂ1＝Ａ−th1−Ｂ2 ・・・(5-2)
Ｈ2＝Ｆ256_(th4-th3)(Ｂ2) ・・・(5-3)
Ｈ1＝Ｆ256_(th2-th1)(Ｂ1) ・・・(5-4)
ただし、th1＝204（実際の輝度で約５％)
th2＝1842（実際の輝度で約４５％)
th3＝th2＋1＝1843
th4＝4709（実際の輝度で１１５％)
これら式(5-1),(5-2),(5-3),(5-4)は、全ての画素データ毎に定義される。

また、部分階調画像Ｂ1，Ｂ2は負の値を持たず、計算上、式(5-1)，(5-2)の右辺が負になる場合には、部分階調画像Ｂ1，Ｂ2として０が設定される。

また、関数Ｆｎ1_ｎ2(Ｘ)は、階調数ｎ2で定義される画像データＸを、階調数ｎ1の画像データに変換する（ｎ1階調に振り当てる）ことを定義する。

以上説明した様に第５実施形態によれば、入力画像Ａに対する出力画像Ｈ1，Ｈ2の輝度範囲を、黒浮きを解消し、さらに多階調部の飽和状態を緩和するように、設定することができる。

＜第６実施形態＞
以下、本発明に係る第６実施形態について説明する。第６実施形態においても、入力画像ＡからＭ個の画像データを切り出し、Ｍ倍速の画像表示装置で順次表示するものであり、入力画像をＡ、切り出されたＭ個の画像をＢ1〜ＢM、階調変換後の出力画像をＨ1〜ＨMとして説明する。

第６実施形態のＨＤＲ画像表示システムにおいても、上述した第４実施形態と同様に、入力画像Ａに対する出力画像Ｈ1，Ｈ2の輝度範囲をフレキシブルに設定可能とする。

ここで図１４を用いて、第６実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2の関係を説明する。第６実施形態において入力画像Ａは１２ビット深度（4095階調）であり、出力画像Ｈ1，Ｈ2は８ビット深度である。図１４に示すように、出力画像Ｈ1は入力画像Ａにおける第１の階調th1〜第２の階調th2に対応し、出力画像Ｈ2は入力画像Ａにおける第３の階調th3〜第４の階調th4に対応する。

第６実施形態においては、入力画像Ａに対して特にコントラストを強調するために、出力画像Ｈ1，Ｈ2に対応する階調領域が重複するように、th1〜th4の値を決定する。まず、対応階調を重複させるためにth3＜th2とする。そして、低階調部分については調整を行わないため、th1＝0とする。また、実際にはデータの無い階調領域を除外して限られた階調表示能力を最大限活用するために、th4を入力画像Ａの最大階調である4095ではなく、3480（実際の輝度で約８５％）とする。

ここで図１５を用いて、第６実施形態における入力画像Ａと出力画像Ｈ1，Ｈ2、合成画像Ｈdispの関係を説明する。合成画像Hdispは、倍速表示のサブフレームで表示される出力画像Ｈ1，Ｈ2の和であり、上述した人間の目の積分効果によって実質的に表示される画像である。

図１５において、出力画像Ｈ1は入力画像Ａの0(th1)〜th2に対応しているため、図中のグラフ上ではＰ0−Ｐ2−Ｐ5のような折れ線を描く。また、出力画像Ｈ2は入力画像Ａのth3〜th4に対応しているため、図中のグラフ上ではＰ3−Ｐ5のような直線を描く。また合成画像Ｈdisp＝Ｈ1＋Ｈ2は、図中のグラフ上でＰ0−Ｐ6−Ｐ1−Ｐ4のような折れ線を描く。

第６実施形態においては、入力画像Ａの高輝度部を捨てているため、Ｈdispの折れ線は、入力レベルが4095に到達しないうちに最大値に到達する。なお、合成画像ＨdispがＰ6−Ｐ1−Ｐ4において上に凸の折れ線を描いていることにより、この範囲においてコントラストが強調されていることが分かる。

第６実施形態における画像処理は、以下のような式で表すことができる。

Ｂ2＝Ａ−th3 ・・・(6-1)
Ｂtmp＝Ａ−th2 ・・・(6-2)
Ｂ1＝Ａ−th1−Ｂtmp ・・・(6-3)
Ｈ2＝Ｆ256_(th4-th3)(Ｂ2) ・・・(6-4)
Ｈ1＝Ｆ256_(th2-th1)(Ｂ1) ・・・(6-5)
ただし、th1＝0
th2＝1637（実際の輝度で約４０％）
th3＝613（実際の輝度で約１５％）
th4＝3480（実際の輝度で約８５％）
これら式(6-1),(6-2),(6-3),(6-4),(6-5)は、全ての画素データ毎に定義される。

また、Ｂtmpは部分階調画像Ｂ1を算出するために必要となる一時データである。

また、Ｂtmpおよび部分階調画像Ｂ1，Ｂ2は負の値を持たず、計算上、式(4-1)，(4-2)，(4-3)の右辺が負になる場合には、それぞれ０が設定される。

また、関数Ｆｎ1_ｎ2(Ｘ)は、階調数ｎ2で定義される画像データＸを、階調数ｎ1の画像データに変換する（ｎ1階調に振り当てる）ことを定義する。

以上説明した様に第６実施形態によれば、入力画像Ａに対する出力画像Ｈ1，Ｈ2の輝度範囲を、コントラストをより強調するように設定することができる。

＜第７実施形態＞
以下、本発明に係る第７実施形態について説明する。第７実施形態においては、Ｍ倍速表示としてＭ個のサブフレームを順次表示することを前提として、Ｍ倍速の画像データを出力するＨＤＲカメラを用いる例を示す。以下、Ｍ＝２である場合を例として説明する。

図１６に、第７実施形態におけるＨＤＲ画像表示システムのブロック構成例を示す。同図における倍速ＨＤＲカメラ５０１は、２つの光電変換部５０５，５０６を備える。これら２つの光電変換部５０５，５０６によって生成された画像Ｈ1，Ｈ2は、スイッチ５０４によって１２０Ｈｚで交互に切り替えられ、シーケンシャルなデータとして交互に８ビット伝送路（または処理系）５０２に出力される。そして該出力画像Ｈ1，Ｈ2は倍速表示装置５０３に送られ、倍速表示装置５０３は光電変換部５０５の出力画像Ｈ1と、光電変換部５０６の出力画像Ｈ2を、１２０Ｈｚで交互に表示する。このとき倍速表示装置５０３においては、人間の目の積分効果によって、出力画像Ｈ1とＨ2の和の画像が見えることとなる。

ここで第７実施形態においては、最終的に観察される出力画像に対する出力画像Ｈ1，Ｈ2の役割分担、すなわち個々の特性については特に問わない。しかしながら一般的な撮像カメラの物理特性を考慮すれば、一方は露光レベルを高くして撮影した画像であり、他方は露光レベルを下げて撮影した画像であることが望ましい。これにより、出力画像Ｈ1，Ｈ2として、同一シーンで互いに露光レベルが異なる画像が得られる。

また、光電変換部５０５，５０６の具体的な構成については限定しないが、一般には以下のような構成が考えられる。例えば、２系統のエリアセンサを備え、これらを光学的に合成するような構成がある。また、１系統の光電変換部を、露光条件を高速で切り替えて撮影するような構成がある。また、特定の画素配列によって、１つのエリアセンサから２種類の露光条件による画像を読み出すような構成がある。第７実施形態における倍速ＨＤＲカメラ５０１としては、これらいずれの構成であっても良い。

以上説明した様に第７実施形態によれば、撮像装置側において所定のＭ種類の露光条件に基づいて撮影されたＭ種類の画像を、Ｍ倍速表示装置においてＭ個のフレームで順次表示する。このとき、露光条件を制御することによって、上述した第１乃至第６実施形態と同様に、人間の目の積分効果を利用した、より効果的なＭ倍速表示を行うことが可能となる。

＜他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション、プリンタ等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は上記第１乃至第７実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読み取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

Claims (17)

1. 入力画像を取得する入力手段と、
   前記入力画像からＭ個の階調範囲をそれぞれ切り出してＭ個の出力画像を生成する切り出し手段と、
   前記Ｍ個の出力画像をＭ個のサブフレームとしてＭ倍速表示する表示手段と、
   を有することを特徴とする画像表示装置。
2. さらに、前記Ｍ個の出力画像のそれぞれを階調変換する階調変換手段を有し、
   前記表示手段は、前記階調変換手段で変換されたＭ個の出力画像をＭ個のサブフレームとしてＭ倍速表示することを特徴とする請求項１に記載の画像表示装置。
3. 前記階調変換手段は、前記Ｍ個の出力画像のそれぞれが同じ階調数になるように変換することを特徴とする請求項２に記載の画像表示装置。
4. 前記Ｍ個の階調範囲は、それぞれが隣接し、かつ同じ大きさであることを特徴とする請求項１に記載の画像表示装置。
5. 前記Ｍ＝２であり、
   前記Ｍ個の階調範囲は、第１の階調から該第１の階調よりも大きい第２の階調までの範囲と、第３の階調から該第３の階調よりも大きい第４の階調までの範囲、であり、
   前記第４の階調は前記第２の階調よりも大きいことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
6. 前記第４の階調は前記入力画像の最大階調よりも小さいことを特徴とする請求項５に記載の画像表示装置。
7. 前記第１の階調は前記入力画像の最小階調よりも大きいことを特徴とする請求項５に記載の画像表示装置。
8. 前記第４の階調は前記入力画像の最大階調よりも大きいことを特徴とする請求項５に記載の画像表示装置。
9. 前記第２の階調は前記第３の階調に隣接することを特徴とする請求項５に記載の画像表示装置。
10. 前記第２の階調は前記第３の階調よりも大きいことを特徴とする請求項５に記載の画像表示装置。
11. 前記第１の階調は前記第３の階調よりも小さいことを特徴とする請求項１０に記載の画像表示装置。
12. 同一シーンが異なる露光レベルによって撮影されたＭ個の画像を取得する入力手段と、
    前記Ｍ個の画像をＭ個のサブフレームとしてＭ倍速表示する表示手段と、
    を有することを特徴とする画像表示装置。
13. 前記入力手段は、ハイダイナミックレンジカメラで撮影した画像を入力することを特徴とする請求項１乃至１２のいずれか１項に記載の画像表示装置。
14. 入力画像を取得する入力ステップと、
    前記入力画像からＭ個の階調範囲をそれぞれ切り出してＭ個の出力画像を生成する切り出しステップと、
    前記Ｍ個の出力画像をＭ個のサブフレームとしてＭ倍速表示する表示ステップと、
    を有することを特徴とする画像表示方法。
15. 同一シーンが異なる露光レベルによって撮影されたＭ個の画像を取得する入力ステップと、
    前記Ｍ個の画像をＭ個のサブフレームとしてＭ倍速表示する表示ステップと、
    を有することを特徴とする画像表示方法。
16. コンピュータを請求項１乃至１３のいずれか１項に記載の画像表示装置における各手段として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記録したコンピュータ可読な記録媒体。

Images