JP2008219230A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】露出の異なる複数の画像を撮影によって得ることなく、また、１つの画像から生成した露出の異なる各画像のエントロピーが視認性の指標として使用できるようにする。
【解決手段】１つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像を生成する生成手段と、前記ゲインに応じて、前記複数の露出画像それぞれに対応するヒストグラムの各柱の度数を異ならせる差異手段と、前記ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーをそれぞれ算出する算出手段とを備える。
【選択図】図４

Description

本発明は、撮影画像各部の露出を適正化することが可能な撮像装置に関し、特に、この露出適正化処理においてエントロピーを用いる撮像装置及び画像処理方法に関するものである。

従来、画像の視認性を量る指標として、エントロピー（情報量）を用いてヒストグラムの広がりを求めることがある。このエントロピーをＥｃ（カラー画像のエントロピー）とすると、Ｅｃは以下の（１）式により与えられる。

但し、記号「ｉ」は画像の画素値（０≦ｉ＜階調数Ｎ）を、記号Ｐｉは画素値ｉの出現確率を示している。また、記号「ｒ」、「ｇ」及び「ｂ」はカラー画像における赤（Ｒ）、緑（Ｇ）及び青（Ｂ）を示している。

視認性の高い画像は、幅広い画素値を含むつまり画素値ｉがとる値の範囲が広いため、エントロピーが高くなる。一方、明るく飛んだ画像や暗くつぶれた画像は、ヒストグラムが偏るため相対的にエントロピーが低くなる。

＜エントロピーを用いたダイナミックレンジ圧縮技術＞
ところで、デジタルカメラ等の撮像装置による撮影に際して、撮影シーンの明るさが大きく変化するような場合、シャッタースピード等に拘わらず、画像に露出の偏り、すなわち画像中に露出オーバー或いは露出アンダーの部分が生じてしまうことがある。これに関し、画像のダイナミックレンジ（ＤＲ）圧縮として、露出の異なる複数枚の画像（多重露光画像）を合成する方法が提案されている。

この多重露光画像の合成の基準としてエントロピーを用いる方法が知られている。例えば非特許文献１には、異なる露出例えば異なるシャッタースピードで複数回撮影することで露出（露光量）の異なる複数枚の画像を取得し、この複数枚の画像から、画像各部の露出が補正された１枚の画像を生成する技術（Ｇｏｓｈｔａｓｂｙの手法）が開示されている。この技術では、多重露光画像それぞれを複数のブロック画像に分割し、各多重露光画像における同じ位置のブロック画像同士でエントロピーを比較して、最もエントロピー（情報量；平均情報量）が高いブロック画像を選択する。このように選択した各位置のブロック画像（それぞれエントロピーが最大）を合体して１枚の画像を作成する。ただし、単に合体するだけでは各ブロック画像の明るさ（輝度）が異なる、つまり各ブロック画像の繋ぎ目が不自然な所謂モザイク状の画像となるため、ＬＰＦ（Low Pass Filter）等を用いた所謂ぼかし処理を行うことにより、各ブロック画像の画素値をブレンド（ブレンド処理；エントロピー・ブレンド処理ともいう）して自然な１枚の画像にする。

また、例えば特許文献１には、撮影によって露出オーバーの画像及び露出アンダーの画像（多重露光画像）を取得し、上記と同様にこれら画像が分割された各ブロック画像のエントロピーに基づいて、各多重露光画像の合成比率を決定する技術が開示されている。

また、例えば特許文献２には、１枚の画像から擬似的に多重露光画像を生成し、これら画像が分割された各ブロック画像における平均輝度値等のブロック値に基づいて、上記非特許文献１の方法と同様に多重露光画像のブレンド処理を行う技術が開示されている。
Ａ．Ｇｏｓｈｔａｓｂｙ，"Ｆｕｓｉｏｎ ｏｆ Ｍｕｌｔｉ−Ｅｘｐｏｓｕｒｅ Ｉｍａｇｅｓ"，Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．２３，２００５，ｐｐ．６１１−６１８ 特開２００４−２２９２５９号公報 特願２００６−２６３０２６号公報

しかしながら、上記非特許文献１及び特許文献１の技術では、露出の異なる複数枚の画像（多重露光画像）をそれぞれ撮影する必要があり、この撮影に時間がかかってしまう。また、これら複数枚の画像間に被写体ブレが発生することもあり、これらから作成される画像の画質低下を招いてしまう。また、上記特許文献２の技術では、露出の異なる複数枚の画像を撮影する必要がないため当該撮影に時間がかかるという問題は発生しないものの、擬似的に生成した多重露光画像（擬似多重露光画像）のエントロピーを各多重露光画像に応じたエントロピーとして正しく求めることができず、エントロピーを視認性の指標として使用することができない。

具体的には、擬似多重露光画像を生成する場合、基本的に露出アンダーの画像（アンダー画像）にゲイン（デジタルゲイン）をかける、すなわち例えば図１２に示すように、元画像Ｉ０（アンダー画像）に各種値のゲイン例えば１．５倍や２倍のゲインをかけることで擬似多重露光画像Ｉ１、Ｉ２を生成する。

図１３は、元画像Ｉ０（左側図）と、これに２倍のゲインをかけてなる擬似多重露光画像Ｉ２（右側図）とのヒストグラムの一例であり、それぞれヒストグラムＨ１、Ｈ２とする。この場合、上記（１）式によりエントロピーＥｃを求めると、いずれの場合も結果（エントロピー値）は同じになる。これは、擬似多重露光画像Ｉ２ではヒストグラムＨ２がその各柱の間が空いた謂わば歯抜け状（櫛状）になっており、画素値（各柱の位置の画素値；横軸座標値）は元画像Ｉ０の場合と比べて２倍となっているが、その度数自体は変わらないため、発生確率は同じままであり、この発生確率の総和（＝エントロピー）も変化しないことによる。

本発明は、上記事情に鑑みてなされたもので、露出の異なる複数枚の画像（多重露光画像）それぞれを撮影する必要がなく、これら複数枚の画像間の被写体ブレの発生が防止されるとともに、１枚の画像から生成した露出の異なる各画像のエントロピーを各画像に応じたエントロピーとして求めることができ、エントロピーを視認性の指標として使用することが可能な撮像装置及び画像処理方法を提供することを目的とする。

本発明に係る撮像装置は、１つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像を生成する生成手段と、前記ゲインに応じて、前記複数の露出画像それぞれに対応するヒストグラムの各柱の度数を異ならせる差異手段と、前記ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーをそれぞれ算出する算出手段とを備えることを特徴とする。

上記構成によれば、生成手段によって、１つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像が生成され、差異手段によって、ゲインに応じて、複数の露出画像それぞれに対応するヒストグラムの各柱の度数が異ならせられ、算出手段によって、ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーがそれぞれ算出される。すなわち、各露出画像が１つの画像から作成されるので、露出の異なる複数枚の画像（多重露光画像）それぞれを撮影する必要がなく、これら複数枚の画像間の被写体ブレの発生が防止される。また、各露出画像のヒストグラムの各柱の度数がゲインに応じて異なるものとなるので、これらヒストグラムから求めたエントロピーも各露出画像で異なるものとなる（各露出画像のエントロピーに差異が生じる）。したがって、１つの画像から生成された各露出画像のエントロピーを各露出画像に応じたエントロピーとして求めることができ、エントロピーを視認性の指標として使用することができるため、ひいては、例えばこのエントロピーの情報を用いて、複数の露出画像から露出やコントラストが適正化された高画質な１つの画像を得るといったことが可能となる。

また、上記構成において、前記差異手段は、前記各露出画像に対応する、前記元画像の各画素値が前記ゲイン倍されることで各柱間に隙間が空いた状態の間欠状ヒストグラムを、該柱間の隙間がなくなるように補間することが好ましい（請求項２）。

これによれば、差異手段によって、各露出画像に対応する、元画像の各画素値がゲイン倍されることで各柱間に隙間が空いた状態の間欠状ヒストグラムが、該柱間の隙間がなくなるように補間されるので、当該補間という簡易な方法を用いて、ゲインに応じて度数が異なる各露出画像のヒストグラムを容易に得ることができる。

また、上記構成において、前記各露出画像を複数の部分画像に分割する分割手段と、前記各露出画像の同位置での部分画像それぞれに対応する、前記算出手段により算出された各エントロピーのうちから、最大のエントロピーを選択する選択手段と、前記最大のエントロピーを有する部分画像同士を合成する合成手段とをさらに備えることが好ましい（請求項３）。

これによれば、分割手段によって、各露出画像が複数の部分画像に分割され、選択手段によって、各露出画像の同位置での部分画像それぞれに対応する、算出手段により算出された各エントロピーのうちから、最大のエントロピーが選択される。そして、合成手段によって、最大のエントロピーを有する部分画像同士が合成されるので、エントロピーの情報を利用して、複数の露出画像から、画像各部（各部分画像）のエントロピーがいずれも最大となる１つの合成画像、すなわち露出やコントラストが適正化された高画質な画像を得ることができる。

また、上記構成において、前記ヒストグラムは、横軸座標が階調値に対応する画素値で且つ縦軸座標が度数であるヒストグラムであり、前記差異手段は、前記複数の露出画像それぞれに対応するヒストグラムを作成する作成手段であって、当該ヒストグラムの作成に際して前記横軸座標を前記ゲインに応じて縮小することが好ましい（請求項４）。

これによれば、ヒストグラムが、横軸座標が階調値に対応する画素値で且つ縦軸座標が度数であるヒストグラムとされる。そして、差異手段が、複数の露出画像それぞれに対応するヒストグラムを作成する作成手段とされ、この差異手段によって、当該ヒストグラムの作成に際して横軸座標がゲインに応じて縮小される。すなわち、単に、ゲインに応じて縮小された横軸座標を有するヒストグラムを作成するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、上記構成において、前記元画像の階調数をＮとし、前記ゲインをＧとすると、前記作成手段は、最大階調値がＮ／Ｇである前記横軸座標を有した前記ヒストグラムを作成することが好ましい（請求項５）。

これによれば、作成手段によって、最大階調値がＮ／Ｇである横軸座標を有したヒストグラムが作成されるので、ゲインに応じて縮小された横軸座標を有するヒストグラムを容易に作成することができる。

また、上記構成において、前記作成手段は、前記元画像の各画素値を前記Ｇの値で除算し、該除算により得られる整数値に対応する前記横軸座標における画素値の度数をカウントすることが好ましい（請求項６）。

これによれば、作成手段によって、元画像の各画素値がＧの値で除算され、該除算により得られる整数値に対応する横軸座標における画素値の度数がカウントされるので、このように簡易な度数のカウント方法を用いて、最大階調値がＮ／Ｇである横軸座標を有したヒストグラムを元画像から容易に作成することができる。

また、上記構成において、前記差異手段は、前記エントロピーの算出前に、前記各露出画像を空間的に平滑化する画像平滑化手段であることが好ましい（請求項７）。

これによれば、差異手段が、エントロピーの算出前に、各露出画像を空間的に平滑化する画像平滑化手段とされるので、すなわち画像平滑化手段によって各露出画像が空間的に平滑化されるので、この平滑化された各露出画像から作成したヒストグラムが、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像を空間的に平滑化するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、上記構成において、前記画像平滑化手段は、前記各露出画像に対してローパスフィルタ処理を行うことが好ましい（請求項８）。

これによれば、画像平滑化手段によって、各露出画像に対してローパスフィルタ処理が行われるので、ローパスフィルタ処理という簡易な方法で、容易に各露出画像を空間的に平滑化することができる。

また、上記構成において、前記複数の露出画像それぞれのヒストグラムを作成する作成手段をさらに備え、前記差異手段は、前記エントロピーの算出前に、前記作成手段により作成された各露出画像のヒストグラムを平滑化するヒストグラム平滑化手段であることが好ましい（請求項９）。

これによれば、差異手段が、エントロピーの算出前に、作成手段により作成された各露出画像のヒストグラムを平滑化するヒストグラム平滑化手段とされる、すなわちヒストグラム平滑化手段によって各露出画像のヒストグラムが平滑化されるので、この平滑化されたヒストグラムが、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像のヒストグラムを平滑化するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、上記構成において、前記ヒストグラム平滑化手段は、前記作成手段により作成されたヒストグラムに対する移動平均処理を行うことで該ヒストグラムを平滑化することが好ましい（請求項１０）。

これによれば、ヒストグラム平滑化手段によって、作成手段により作成されたヒストグラムに対する移動平均処理が行われることで該ヒストグラムが平滑化されるので、ヒストグラムに対する移動平均処理を行うという簡易な方法で、ヒストグラムを容易に平滑化することができる。

また、上記構成において、前記合成手段は、前記最大のエントロピーを有する部分画像の画素値と、前記部分画像の画素値の位置から該部分画像の所定の基準位置までの距離に応じた重みと、を加重平均することにより、当該部分画像同士の合成を行うことが好ましい（請求項１１）。

これによれば、合成手段によって、最大のエントロピーを有する部分画像の画素値と、部分画像の画素値の位置から該部分画像の所定の基準位置までの距離に応じた重みと、が加重平均されることにより、当該部分画像同士の合成が行われるので、これら部分画像間に継ぎ目が無い（モザイク状の画像でない）ように各部分画像の画素値がブレンドされて全体の露出やコントラストが適正化された高画質な１枚の合成画像を得ることができる。

また、上記構成において、前記元画像を撮影によって得る撮影手段をさらに備え、前記撮影手段は、線形特性及び対数特性からなる光電変換特性を有するリニアログセンサであり、前記生成手段は、前記リニアログセンサにより得られた元画像における光電変換特性を前記線形特性に統一した後、該線形特性に統一された元画像に対して異なるゲインをかけることで前記各露出画像を生成することが好ましい（請求項１２）。

これによれば、元画像を撮影によって得る撮影手段が、線形特性及び対数特性からなる光電変換特性を有するリニアログセンサとされ、生成手段によって、リニアログセンサにより得られた元画像における光電変換特性が線形特性に統一された後、該線形特性に統一された元画像に対して異なるゲインをかけることで各露出画像が生成されるので、撮影手段がこのようなリニアログセンサである場合でも、このリニアログセンサにより得られた元画像から容易に各露出画像を生成することができる。

また、本発明に係る画像処理方法によれば、１つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像を生成する第１の工程と、前記ゲインに応じて、前記複数の露出画像それぞれに対応するヒストグラムの各柱の度数を異ならせる第２の工程と、前記ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーをそれぞれ算出する第３の工程とを有することを特徴とする（請求項１３）。

これによれば、第１の工程において、１つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像が生成され、第２の工程において、ゲインに応じて、複数の露出画像それぞれに対応するヒストグラムの各柱の度数が異ならせられ、第３の工程において、ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーがそれぞれ算出される。すなわち、各露出画像が１つの画像から作成されるので、露出の異なる複数枚の画像（多重露光画像）それぞれを撮影する必要がなく、これら複数枚の画像間の被写体ブレの発生が防止される。また、各露出画像のヒストグラムの各柱の度数がゲインに応じて異なるものとなるので、これらヒストグラムから求めたエントロピーも各露出画像で異なるものとなる（各露出画像のエントロピーに差異が生じる）。したがって、１つの画像から生成された各露出画像のエントロピーを各露出画像に応じたエントロピーとして求めることができ、エントロピーを視認性の指標として使用することができるため、ひいては、例えばこのエントロピーの情報を用いて、複数の露出画像から露出やコントラストが適正化された高画質な１つの画像を得るといったことが可能となる。

また、上記構成において、前記第２の工程は、前記複数の露出画像それぞれに対応するヒストグラムの作成に際して、階調値に対応する画素値を座標とする該ヒストグラムの横軸座標を前記ゲインに応じて縮小する工程であることが好ましい（請求項１４）。

これによれば、第２の工程が、複数の露出画像それぞれに対応するヒストグラムの作成に際して、階調値に対応する画素値を座標とする該ヒストグラムの横軸座標がゲインに応じて縮小される工程とされるので、単に、ゲインに応じて縮小された横軸座標を有するヒストグラムを作成するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、上記構成において、前記第２の工程は、前記第３の工程を行う前に、前記各露出画像を空間的に平滑化する工程であることが好ましい（請求項１５）。

これによれば、第２の工程が、第３の工程を行う前に、各露出画像を空間的に平滑化する工程とされるので、この平滑化された各露出画像から作成したヒストグラムが、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像を空間的に平滑化するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

さらに、上記構成において、前記第２の工程は、前記第３の工程を行う前に、前記複数の露出画像それぞれに対応して作成された各露出画像のヒストグラムを平滑化する工程であることが好ましい（請求項１６）。

これによれば、第２の工程が、第３の工程を行う前に、複数の露出画像それぞれに対応して作成された各露出画像のヒストグラムを平滑化する工程とされるので、この工程により平滑化されたヒストグラムが、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像のヒストグラムを平滑化するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

各露出画像が１つの画像から作成されるので、露出の異なる複数枚の画像（多重露光画像）それぞれを撮影する必要がなく、これら複数枚の画像間の被写体ブレの発生が防止される。また、各露出画像のヒストグラムの度数がゲインに応じて異なるものとなるので、このヒストグラムから求めたエントロピーも各露出画像で異なるものとなる。したがって、１つの画像から生成した各露出画像のエントロピーを各露出画像に応じたエントロピーとして求めることができ、エントロピーを視認性の指標として使用することができるため、ひいては、例えばこのエントロピーの情報を用いて、複数の露出画像から露出やコントラストが適正化された高画質な１つの画像を得るといったことが可能となる。

（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラ１の主に撮像処理に関する概略的なブロック構成図を示す。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ）を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞りやシャッタ（いずれも図示省略）を備えており、制御部８によりこの絞りやシャッタの駆動制御がなされる構成となっている。

撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態では、この撮像センサ３は、後述のリニアログセンサに対して、一般的なデジタルカメラが備えるリニアセンサ、すなわち１種類の線形特性からなる光電変換特性を有する撮像センサとなっている。なお、デジタルカメラ１は動画撮影が可能に構成されていてもよく、この場合、動画における１フレームの画像（静止画像）を使用すればよい。なお、この一般的なリニアセンサにより得られる画像のことを、後述のリニアログセンサの場合の「線形／対数画像」に対して「線形画像」という。

アンプ４は、撮像センサ３から出力された画像（映像）信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号をデジタル値の画像信号に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換処理によって得られた画像信号に対する各種画像処理（デジタル信号処理）を行うものである。本実施形態では、画像処理部６におけるダイナミックレンジ圧縮（ＤＲ圧縮）処理或いは露出適正化処理に主たる特徴点がある。画像処理部６におけるこの特徴点に関する処理を含む各種画像処理については後に詳述する。画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、撮像センサ３による撮影によって得られた画像データや画像処理部６による画像処理後の画像データ等を保存するものである。

制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３や画像処理部６或いは操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする各種制御パラメータ等を算出し、これを送信することで各部の動作を制御する。具体的には、制御部８は、撮像センサ３で撮影された画像信号から、自動露出制御（ＡＥ制御）、自動焦点制御（ＡＦ制御）或いはホワイトバランス（ＷＢ）処理等を行うに際してのベースとなる評価値（制御パラメータ）、すなわちＡＥ評価値、ＡＦ評価値、ＷＢ評価値等を算出する。制御部８は、これら評価値を用いて、タイミング生成部（タイミングジェネレータ）や駆動部（いずれも図示省略）を介して、撮像センサ３やレンズ部２（絞りやシャッタ）に対する撮像動作制御やズーム・フォーカス駆動制御を行ったり、画像処理部６に対する画像処理制御を行う。なお、制御部８は、モニタ部９への表示制御や画像メモリ７に対する画像信号の入出力制御なども行う。

モニタ部９は、撮像センサ３で撮影された画像（画像メモリ７に保存されていた画像）等のモニタ表示を行うものである。モニタ部９は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）、或いは接眼部を構成する電子ビューファインダ（ＥＶＦ；Electronic View Finder）等からなる。

操作部１０は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、ニュー選択スイッチ等の各種の操作スイッチ（ボタン）群からなる。例えばレリーズスイッチが押下（オン）されることで、撮影動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所定の画像処理が施された後、画像メモリ７等に記録されるといった一連の動作が実行される。

ここで、画像処理部６の構成及び動作の詳細について説明する。図２は、上記画像処理部６の一回路構成例を示す機能ブロック図である。同図に示すように画像処理部６は、基本処理部６１、ＷＢ補正部６２、ＤＲ圧縮部６３、色補間部６４、色補正部６５、γ補正部６６、色空間変換部６７及びノイズ処理部６８を備えている。

基本処理部６１は、後段の画像処理に対して基本となる画像処理、ここでは黒基準補正処理及びＦＰＮ補正処理を行うものである。黒基準補正処理は、Ａ／Ｄ変換部５から入力されるデジタル画像信号の黒レベル（暗黒時の画像信号レベル）を基準の値に補正する処理である。すなわちＡ／Ｄ変換部５から入力される画像信号レベルをＳＤ１とし、暗黒時の画像信号レベルをＳＤ２とするときに、ＳＤ１−ＳＤ２の演算を行う。

ＦＰＮ補正処理は、黒基準補正処理により得られた信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去する処理である。固定パターンノイズは、撮像センサ３の各画素回路の閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。ＷＢ補正部６２は、入力画像に対するＷＢ補正、すなわち被写体光源の色温度変化によって生じる白色変化に伴う色バランス補正を行うものである。ＷＢ補正部６２は、制御部８から与えられるＷＢ評価値に基づいて、画像信号の色バランスが所定の色バランスになるよう各色成分Ｒ、Ｇ、Ｂの各画素データのレベルを変換する補正を行う。

ＤＲ圧縮部６３は、例えば入力画像が表示系（モニタ等）のダイナミックレンジに収まるようにするべく、入力画像のダイナミックレンジ（ＤＲ）を圧縮する処理（ＤＲ圧縮処理）を行うものである。本実施形態では、このＤＲ圧縮処理において画像各部の露出の適正化を行う。この画像各部の露出を適正化する処理のことを露出適正化処理という（本実施形態の露出適正化処理を行うことで実質的にＤＲ圧縮処理も行っていることになる）。ＤＲ圧縮部６３におけるこのＤＲ圧縮処理（露出適正化処理）については後に詳述する。なお、このＤＲ圧縮部６３は後述するγ補正部６６よりも前段に設けられているのであれば何れの位置でもよい。本実施形態では、メモリ容量が少なくて済むことから、色補間（ベイヤー補間）を行う前、すなわち色補間部６４の前段にＤＲ圧縮部６３を設けている。

色補間部（ベイヤー補間部）６４は、入力される画像信号の各色成分Ｒ、Ｇ、Ｂ毎に、フレーム画像の不足する画素位置のデータを補間する色補間処理を行うものである。すなわち、撮像センサ３のカラーフィルタ構造は、例えばＧが市松状でＲ、Ｂが線順次配列（以降、Ｇ市松ＲＢ線順次配列という）された所謂ベイヤー方式が採用されており、この関係上、色情報が不足していることから、色補間部６４は実在する複数の画素データを用いて実在しない画素位置の画素データを補間する。

色補正部６５は、色補間部６４から入力される色成分Ｒ、Ｇ、Ｂの画像信号の色合い（色バランス；彩度）を補正する色補正処理を行うものである。色補正部６５は、色成分ＲＧＢの各画像信号のレベル比を変換する３種類の変換係数を有し、撮影シーンに応じた変換係数で該レベル比を変換して画像データの色合いを補正する。

γ補正部６６は、入力画像に対し、所定のガンマ特性を用いて非線形変換するガンマ補正処理を行うものである。具体的には、γ補正部６６は、入力される色成分ＲＧＢの各画像信号が適切な出力レベルになるよう、画像信号のレベルを各色成分毎に、モニタ部９や外部出力されるモニターテレビ等の表示メディア（表示媒体）の表示特性（階調特性；非線形表示特性；γカーブ）に応じて、所定のガンマ補正テーブル（ガンマ補正用ＬＵＴ）を用いて非線形補正を行う。ガンマ補正テーブルは、表示メディアの表示特性に応じたものが例えばγ補正部６６内に予め記憶されている。

色空間変換部６７は、入力画像データにおけるＲＧＢ、すなわち赤、緑、青の３色の階調により表現するＲＧＢ表示系から、輝度（Ｙ）と青の色差（Ｃｂ）及び赤の色差（Ｃｒ）により表現するＹＣｂＣｒ表示系（ＹＣＣ表示系）へ色空間変換する色空間変換処理を行うものである。ノイズ処理部６８は、入力される画像信号のノイズ成分を除去するノイズ除去処理を行うものである。ノイズ処理部６８は、例えばコアリング係数を用いたコアリング処理を行うことで、適正なノイズ除去処理を行う。

ここで、ＤＲ圧縮部６３の構成及び動作の詳細について説明する。図３は、上記ＤＲ圧縮部６３の一回路構成例を示す機能ブロック図である。ＤＲ圧縮部６３は、画像生成部２０、エントロピー演算部３０及びブレンド部４０を備えている。画像生成部２０は、入力された１枚の画像Ｉ（元画像Ｉ）から露出の異なる複数の画像（多重露光画像という）を擬似的に生成する、すなわち、元画像Ｉに対して種々の所定倍率のゲイン（デジタルゲイン；Ｇ）をかけることで複数の擬似多重露光画像を生成するものである。ここでは元画像Ｉに対してそれぞれ例えば２、４、８倍のゲイン（ゲイン値２．０、４．０、８．０）をかけた画像を擬似多重露光画像Ｍ１、Ｍ２及びＭ３として生成する。ただし、生成する擬似多重露光画像はこれら画像Ｍ１、Ｍ２及びＭ３の３枚に限定されない、すなわち元画像Ｉにかけるゲインの個数（種類）やその値は任意なものが採用可能である。これに関し、画像生成部２０は、当該ゲインを、撮像センサ３の出力情報（例えばこの元画像Ｉ）から求めてもよいし、上記特許文献２の方法により、ＡＥ時における各ブロック画像の代表値例えば画素値平均（ブロック平均；Ａｊｋ）から求めてもよい。

エントロピー演算部３０は、上記生成した各擬似多重露光画像を合成（ブレンド）する際に用いる後述の最大エントロピー情報を求めるべく、エントロピーに関する所定の演算を行うものである。エントロピー演算部３０は、ブロック分割部３１、ヒストグラム作成部３２、エントロピー算出部３３及び選択部３４を備えている。ブロック分割部３１は、元画像Ｉを所定の分割数すなわちｊ×ｋ個の複数のブロック（ブロック画像）に分割するものである。なお、この元画像Ｉのｊ×ｋ個の各ブロック画像は、各擬似多重露光画像をｊ×ｋ個に分割した各ブロック画像と対応する。

ヒストグラム作成部３２は、ブロック分割部３１で分割されたブロック画像毎にヒストグラムを作成するものである。ヒストグラム作成部３２は、画像生成部２０から出力されたゲイン情報（ゲイン値２．０、４．０、８．０；これらゲイン値を「Ｇ」で表す）を用いて、横軸の階調数を（横軸の最大階調値）を階調数ＮからＮ／Ｇに縮小したヒストグラムを作成する（普通、ヒストグラムの横軸はＮであるが、本実施形態ではＮ／Ｇとする）。この記号「Ｎ」は画像の階調数を示し、記号「／」は除算を示す。ここでは８ビット画像を扱うものとし、この場合、Ｎ＝２５６（階調）となる。ただし、各多重露光画像を生成する際に使用したゲインが複数種類である場合には、これらの中で最大の値のゲインを用いる。例えば元画像から或る１枚の多重露光画像を生成する際に「２．１」、「２．４」、「２．５」といった複数種類のゲインをかけている場合、この多重露光画像に対応するゲイン値Ｇは、これらの中の最大値である「２．５」となる。この意味において、以降、各多重露光画像に対応するゲイン値を、上記Ｇの代わりにＧｍａｘとする。すなわちヒストグラム作成部３２はヒストグラムの横軸を階調数Ｎ／Ｇｍａｘとしたヒストグラムを作成する。

したがって、ゲイン値２．０、４．０及び８．０の多重露光画像に対応してそれぞれＮ／２．０、Ｎ／４．０及びＮ／８．０を横軸とするヒストグラムを作成する。実際の演算では、ヒストグラム作成部３２は、各多重露光画像それぞれに対応するＮ／Ｇｍａｘ個の配列（ヒストグラムの横軸における、各柱に対応する座標位置の画素値１、２、３・・・、Ｎ／Ｇｍａｘの並び。ただし、各座標位置の柱つまり度数の値は全て初期値ゼロとなっている）を準備して（この配列情報をヒストグラム作成部３２内に予め記憶していてもよい）、元画像Ｉにおける上記ｊ×ｋ個の各ブロック画像における各画素値（画素値ｉ）に対して、整数値であるｉ／Ｇｍａｘ番目の配列をカウントアップ（度数カウント；１を加算）する。

具体的には、例えばＧｍａｘが２．０の多重露光画像の場合、元画像Ｉの或るブロック画像における或る画素値ｉが６０であれば、ｉ／Ｇｍａｘ＝６０／２＝３０であり、この値３０に対応する３０番目の配列位置すなわち横軸座標の度数のカウント値が「１」大きくなる（Ｎ／Ｇｍａｘ＝２５６／２を横軸とするヒストグラムの画素値３０における度数がカウントアップされる）。画素値ｉが６１であれば、ｉ／Ｇｍａｘ＝６１／２＝３０．５（割り切れない値；非整数）であるが、この場合は、３０．５を、その端数（少数点以下の値）０．５を切り捨てた３０として扱い、画素値ｉが６０の場合と同じ３０番目の配列位置の度数がカウントアップされる。このように、各画素値ｉに対してｉ／Ｇｍａｘ番目（整数値）に対応する各配列位置の度数がカウントアップされる。なお、画素値ｉが６２の場合はｉ／Ｇｍａｘ＝３１であり、３１番目の配列位置の度数がカウントアップされる。これにより、例えば図４の右側に示すような（Ｎ／Ｇｍａｘ＝２５６／２の場合）、最大階調値が１２８（＝２５６／２）であるヒストグラムＨ４が作成される。

ここではＧｍａｘが２．０の場合について説明したが、Ｇｍａｘの値がこれ以外の例えば「４．０」の場合も同様に、例えば画素値ｉの値が「６０」、「６１」、「６２」、「６３」、「６４」であるとき、それぞれｉ／Ｇｍａｘ＝（６０／４＝１５：整数）、（６１／４＝１５．２５；非整数）、（６２／４＝１５．５；非整数）、（６３／４＝１５．７５；非整数）、（６４／４＝１６；整数）となり、当該画素値ｉ＝６０、６１、６２、６３の場合がいずれもヒストグラム（Ｎ／Ｇｍａｘ＝２５６／４の横軸を有する）における同じ１５番目の配列位置の度数がカウントアップされる、つまり４回カウントされる。一方、画素値ｉ＝６４の場合は、１５番目より１つ上の１６番目の配列位置の度数がカウントアップされる。なお、階調数Ｎ／Ｇｍａｘとされた横軸座標のｎ番目の配列位置にカウントされる画素値（ｉ／Ｇｍａｘ）は、所謂ガウス記号による［Ｘ］と考えてもよい（Ｘ＝ｉ／Ｇｍａｘ）。この［Ｘ］は、Ｘを越えない最大の整数（［Ｘ］＝ｎ、ｎ≦Ｘ＜ｎ＋１）である。例えばｎ＝３０のときは、３０≦Ｘ＜３１であり、上述した３０．５の場合は［３０．５］＝３０番目となり、また、１５．２５、１５．５、１５．７５の場合はそれぞれ［１５．２５］、［１５．５］、［１５．７５］＝１５番目となる。

このようにして、ヒストグラム作成部３２は、元画像Ｉ（元画像Ｉの各ブロック画像における画素値ｉ）から、ゲイン情報に基づくそれぞれ２５６／２、２５６／４、２５６／８の横軸を有した、ｊ×ｋ個のヒストグラムを作成する。なお、ヒストグラム作成部３２で用いる当該ゲイン情報は、画像生成部２０からエントロピー演算部３０に出力されたものでなく、この画像生成部２０での各多重露光画像生成時に用いるのと同じゲイン情報（ゲイン値）がヒストグラム作成部３２に記憶されたものであってもよい。

このように横軸の階調数をＮ／Ｇｍａｘ（２５６／２の場合で説明する）としたヒストグラムを求めることは、図１３に示すような通常の横軸階調数Ｎ（２５６）とした元画像ＩのヒストグラムＨ１の階調数を１２８（＝２５６／２）として考えた（仮定した）、つまり符号９０１、９０２・・・に示すようにヒストグラムＨ１の隣り合う２本（Ｇｍａｘ＝２に対応）の柱を１本の柱（例えばこの２つの柱の度数が点線で示すように平均されてなる１つの柱）として考えたときの図４に示すヒストグラムＨ３を、上記ヒストグラムＨ４に変化させることに相当する。これは、図１３に示すヒストグラムＨ１、Ｈ２がそれぞれ横軸方向に度数が足し合わされたようなヒストグラムになると言える。また、ヒストグラムＨ４は、ヒストグラムＨ２（歯抜け型ヒストグラムと表現する）における柱の存在しないところが補間された、つまり柱間の隙間が埋められて該隙間がないように補間処理されて上記“歯抜け”状態が解消されたヒストグラムであると言える。

ただし、上記ヒストグラムＨ３は、説明の便宜上、元画像ＩのヒストグラムＨ１から上述のように２本の柱を１本として仮定したヒストグラムであって、元画像Ｉのヒストグラムの全体度数自体は、ヒストグラムＨ１と同じ全体度数である（ヒストグラムＨ３における或る１本の柱例えば画素値ｉ＝１の柱の度数は、ヒストグラムＨ１と同じ２５６階調で換算した場合、ヒストグラムＨ１の画素値ｉ＝１、２の各柱の度数を平均した値×２と考えることができる）。また、ゲイン値が２．０以外の場合例えばＮ／Ｇｍａｘ＝２５６／４の場合も同様に、ヒストグラムＨ１の各柱を４本合わせて１本として考えたヒストグラムＨ３（階調数も上記１２８でなく６４となる）が、横軸の階調数６４とするヒストグラムＨ４に変化する。

このことは、すなわち、各多重露光画像に対応するヒストグラムの各柱の度数がゲインに応じて異なる度数となるようにすることになる。例えばゲイン値２．０、４．０、８．０それぞれの場合に上記横軸座標を縮小したヒストグラムを考えると、この各ヒストグラムの各柱の度数、例えば画素値ｉ＝１の柱の度数は互いに異なる値となっている。違う見方をすれば、この横軸座標を縮小したヒストグラムの画素値ｉ＝１の度数は、元画像ＩのヒストグラムＨ１の同じ柱位置である画素値ｉ＝１の柱の度数と比べて、それぞれゲインに応じて異なる（高い）値となっている。

なお、上記説明では、１枚の画像（元画像Ｉ）からゲインを変えて生成した多重露光画像毎にヒストグラムの各柱の幅が変わっている（横軸の各最大階調値２５６、１２８、６４・・・の座標位置が同じ位置になっている）が、すなわち、上記２５６／２、２５６／４、２５６／８となるにつれて各ヒストグラムの各柱の横軸方向の幅が大きく（太く）なっているが、全ての多重露光画像においてヒストグラムの各柱の幅が変わらない（共通の柱幅となる）ように、或いは横軸の最大階調値が上記同じ座標位置で且つ一定の値例えば２５６（１２８でもよい）で変わらないように上記“横軸座標の縮小”を行ってもよい。この場合、２５６／８（ゲイン最大）の場合でのヒストグラムにおける画素値１から最大画素値の座標位置までの全柱の合計幅（ヒストグラム全体の横軸方向の幅）が最も小さなものとなる（最大画素値での階調値は３２）。

このように、従来では画素値にゲインをかけても全体度数（総度数）が変化しなかったものが、ゲインに応じて全体度数が変化するようになる、すなわち上述のようにゲインに応じてヒストグラムの各柱の度数が異なるものとなる。このように度数が変化するということはエントロピーも変化するので、ゲイン値に応じたエントロピーによる画像の視認性の評価が可能となる。

エントロピー算出部３３は、ヒストグラム作成部３２により作成したブロック画像毎のヒストグラムに基づいて、当該各ブロック画像のエントロピーを算出するものである。エントロピー（Ｅ）の算出は以下の（２）式によって行う。

但し、記号「Ｐ’ｉ」は、各ブロック画像における画素値ｉ×Ｇｍａｘ〜（ｉ＋１）×Ｇｍａｘの範囲の出現確率を示す。この出現確率は、上記ヒストグラムにおける各配列（ｉ）の柱の度数値÷ブロック画像の画素数（ｉの度数／ブロック画素数）である。

上記出現確率Ｐ’ｉについて、例えば、図４に示すヒストグラムＨ４の画素値ｉが「３０」（３０〜３１）での斜線で示す柱の度数が５０であり、当該ヒストグラムを求めるブロック画像の画素数が１００×１００（１００００）個であるとすると、この画素値ｉ＝３０に対する出現確率Ｐ’_３０＝５０／１００００となる。また、出現確率Ｐ’ｉは、この画素数１００００個のブロック画像（元画像Ｉ）における画素値としてゲイン値２を掛け戻して換算してなる画素値６０〜６２（ｉ×Ｇｍａｘ〜（ｉ＋１）×Ｇｍａｘ）の階調範囲、すなわち元画像Ｉのヒストグラムで考えた場合の当該階調範囲に対応する柱の度数としてカウントする画素値６０及び画素値６１（画素値６２は含まない）の出現確率である。

選択部３４は、上記各ゲイン（各Ｎ／Ｇｍａｘ（＝２、４、８））それぞれに対応するｊ×ｋ個のブロック画像の各エントロピーを、同じ位置つまり同じブロック配列位置（ｊ、ｋ）のブロック画像同士で比較して、最もエントロピーが高いブロック画像、すなわち最大エントロピーの画像番号Ｉｊｋ（これを最大エントロピー情報という）を選択（決定）するものである。具体的には、例えば同じ（３、５）（ｊ＝３、ｋ＝５）のブロック配列位置における、ゲイン２、４、８に対応する３つのブロック画像の３つのエントロピー値のうちから、最大のエントロピー値を有するブロック画像（当該エントロピー値が最大であるのは３つのブロック画像のうちのいずれのブロック画像であるのかを表す情報；画像番号Ｉｊｋという）が選択される。このような選択動作が全ブロック（ｊ×ｋ個）に亘って行われる。

ブレンド部４０は、エントロピー演算部３０から出力された最大エントロピー情報に基づいて、画像生成部２０から出力された擬似多重露光画像Ｍ１、Ｍ２及びＭ３を合成（ブレンド処理）するものである。すなわち、各擬似多重露光画像Ｍ１、Ｍ２及びＭ３のブロック配列位置（ｊ、ｋ）における、それぞれ上記最大のエントロピーを有するブロック画像のみを合成する。つまり、ブロック配列位置（２、１）は画像Ｍ１（画像番号Ｉ_２１が“Ｍ１”或いはＭ１を示す所定の番号）のブロック画像を、ブロック配列位置（２、２）は画像Ｍ３（画像番号Ｉ_２２が“Ｍ３”或いはＭ３を示す所定の番号）のブロック画像を、・・・というようにエントロピー最大のブロック画像だけを謂わば寄せ集めて１枚の画像に合成して合成画像Ｏとして出力する。なお、ブレンド部４０は、当該合成処理を行う前に、各擬似多重露光画像Ｍ１、Ｍ２及びＭ３を、元画像Ｉの上記ｊ×ｋのブロック画像に対応させて同じくｊ×ｋ個に分割しておく。

実際には、ブレンド部４０は、以下の（３）〜（５）の各式を用いて上記合成を行う。すなわち、画像の或る注目画素（ｘ、ｙ）の出力値（Ｏ（ｘ、ｙ））が、最大エントロピー画像番号Ｉｊｋのブロック画像における座標（ｘ、ｙ）の画素値Ｉｊｋ（ｘ、ｙ）と、注目画素（ｘ、ｙ）から該ブロック画像（ｊ、ｋ）の中心（中心画素）までの距離から求めたウエイトＷｊｋ（ｘ、ｙ）との加重平均として与えられるような演算を行う。

但し、記号「ｎ_ｒ」、「ｎ_ｃ」はｊ×ｋ配列のブロック数（ｊが１〜ｎ_ｒ、ｋが１〜ｎ_ｃ）を示す。また、Ｗｊｋ（ｘ、ｙ）は以下の（４）式で与えられる。

但し、Ｇｊｋ（ｘ、ｙ）はガウシアンを示しており、以下の（５）式で与えられる。

但し、記号「ｘ_ｊｋ」、「ｙ_ｊｋ」は、各ブロック画像の中心画素の座標（ｘ_ｊｋ，ｙ_ｊｋ）を示す。また、記号「σ」は標準偏差であって所定のブレンド半径を示している。

上述の演算処理で行っていることは以下のように換言できる。すなわち、各ブロック画像は、最大エントロピーを有するブロック画像の画素値Ｉｊｋ（ｘ、ｙ）とされることによって、ゲイン（露出；明るさ）が調整された且つ情報量の多い（コントラストの高い高画質な）好適な画像となる。しかしながら、各ブロック画像をこのまま画素値Ｉｊｋ（ｘ、ｙ）としたのでは、各ブロック画像に境界が生じて全体が所謂モザイク画像のようになってしまう。そこで、このＩｊｋ（ｘ、ｙ）に対して、ブロック中心までの距離を考慮した重み（ウエイトＷｊｋ（ｘ、ｙ））を掛けるようにすることで、各ブロック画像間に継ぎ目（境目）が無い（モザイク状の画像でない）ように、各ブロック画像の画素値がブレンドされて全体の露出やコントラストが適正化された高画質な１枚の画像（合成画像Ｏ）を得ることができる。

上記ブロック中心までの距離を考慮した重みとは、或るブロック画像において或る注目画素（ｘ、ｙ）を考えた場合の、この注目画素からブロック画像の中心画素までの距離に応じた重みであって、中心画素までの距離が近い注目画素ほど重みが大きなものとなる、すなわちブロックの中心に近い位置にある画素ほど、このブロック画像の画素値Ｉｊｋ（ｘ、ｙ）の値を使用する割合（ウエイト）が大きくなり、一方、遠い位置にある画素つまりブロック境界に近い位置にある画素ほどこのブロック画像の画素値Ｉｊｋ（ｘ、ｙ）の値を使用する割合が小さくなる。

なお、或る注目画素（ｘ、ｙ）からの距離を求めるときの画素は、必ずしもブロック中心の画素（中心座標）でなくともよく、ブレンドするに際して各ブロックにおいて基準となる位置（基準位置、基準点）であれば何れの位置（基準位置、基準座標）又は画素（基準画素）であってもよい。また、上記では各ブロックを矩形の領域に分割したが、当該領域の形状は矩形でなくともよく、例えば曲線によって分割されてなる形状（曲線領域）でもよい。要は１枚の画像が任意な形状（自由形状）の部分領域に分割されればよい。ただし、上記基準となる位置は、例えば空間的に或いは輝度的に基準となる位置である。また、上記部分領域の中心に相当する位置として“重心”或いは“図心”を求めてもよい。これらのことは後述の各実施形態においても同様である。

図５は、第１の実施形態に係るデジタルカメラ１のＤＲ圧縮部６３におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。先ず撮像センサ３（リニアセンサ）による撮像によって撮影画像（線形画像）が取得される（ステップＳ１）。次に、画像生成部２０によって、元画像Ｉに各種ゲイン（例えばゲイン値２．０、４．０、８．０）がかけられて当該各ゲインに対応する複数の擬似多重露光画像が生成され（ステップＳ２）、ヒストグラム作成部３２によって、ブロック分割部３１で分割された元画像Ｉのブロック画像毎に上記横軸をＮ／Ｇｍａｘとしたヒストグラムが作成される（ステップＳ３）。そして、エントロピー算出部３３によって、各ブロック画像のエントロピーが算出され（ステップＳ４）、選択部３４によって、同じブロック配列位置（ｊ、ｋ）のブロック画像同士が比較されて、最もエントロピーが高いブロック画像（最大エントロピー画像番号Ｉｊｋ）が選択される（ステップＳ５）。そして、ブレンド部４０によって、当該選択されたエントロピー最大のブロック画像同士が合成（ブレンド）されて１枚の画像（合成画像Ｏ）が得られる、すなわち複数枚の擬似多重露光画像から、各ブロック部の露出が最適化された１枚の画像が合成される（ステップＳ６）。

（実施形態２）
上記第１の実施形態では、ヒストグラムを作成する際に横軸の階調数をＮ／Ｇｍａｘとしたが、この代わりに、第２の実施形態では、生成された擬似多重露光画像を空間的に平滑化する（ヒストグラムの作成は通常の階調数Ｎで行う）。これにより、第２の実施形態におけるデジタルカメラ１は、上記ＤＲ圧縮部６３の代わりにＤＲ圧縮部６３ａの構成を備える。

図６は、第２の実施形態に係るデジタルカメラ１におけるＤＲ圧縮部６３ａの一回路構成例を示す機能ブロック図である。ＤＲ圧縮部６３ａは、ＤＲ圧縮部６３と比べて画像平滑化処理部５０、エントロピー演算部３０ａ及びブレンド部４０ａが異なる。画像平滑化処理部５０は、画像生成部２０により上述の方法で生成された擬似多重露光画像Ｍ１、Ｍ２及びＭ３に対して空間的な平滑化処理（画像平滑化処理という）を行うものである。具体的には、擬似多重露光画像Ｍ１、Ｍ２及びＭ３に対して所定のＬＰＦ処理を施す。なお、この平滑化処理により擬似多重露光画像Ｍ１’、Ｍ２’及びＭ３’が得られる。

エントロピー演算部３０ａは、画像平滑化処理部５０により求められた擬似多重露光画像Ｍ１’、Ｍ２’及びＭ３’における各ブロック画像のエントロピーを算出する。すなわち、ブロック分割部３１ａは、各画像Ｍ１’、Ｍ２’及びＭ３’をそれぞれ所定の分割数例えば上記と同様にｊ×ｋ個のブロック画像に分割する。ヒストグラム作成部３２ａは、各画像Ｍ１’、Ｍ２’及びＭ３’におけるｊ×ｋ個の各ブロック画像のヒストグラムを作成する。これにより作成されたヒストグラムは例えば後述のヒストグラムＨ６のようになる。このとき、ヒストグラムの横軸は、通常どおり、画像の階調数Ｎ（上記と同様に８ビット画像での２５６）とする。

エントロピー算出部３３ａは、このヒストグラムに基づいて、以下の（６）式により各ブロック画像のエントロピーを算出する。

但し、記号「Ｐｉ」は、各ブロック画像における画素値ｉの出現確率（上記ヒストグラム作成部３２ａにより作成されたヒストグラムの各配列（ｉ）の柱の度数値÷ブロック画像の画素数）を示す。

選択部３４ａは、エントロピー算出部３３ａにより算出された、各画像Ｍ１’、Ｍ２’及びＭ３’におけるｊ×ｋ個のブロック画像の各エントロピーを、同じブロック配列位置（ｊ、ｋ）のブロック画像同士で比較して、最もエントロピーが高いブロック画像の画像番号Ｉｊｋ（最大エントロピー情報）を選択する。ここで求めた最大エントロピー情報はブレンド部４０ａに入力される。

ブレンド部４０ａは、入力された最大エントロピー情報に基づいて、擬似多重露光画像Ｍ１’、Ｍ２’及びＭ３’の合成（ブレンド処理）を行う。すなわち、ブレンド部４０と同様に、上記（３）〜（５）式を用いて、各画像Ｍ１’、Ｍ２’及びＭ３’におけるエントロピー最大のブロック画像だけを集めて１枚の画像に合成して合成画像Ｏとして出力する。

本実施形態では、このように、初めに擬似多重露光画像に対して平滑化処理を施しておき、この平滑化処理後の擬似多重露光画像からヒストグラムを作成するので、例えば擬似多重露光画像Ｍ’（ゲイン値が２の場合）で考えた場合、図７に示すように、元画像ＩのヒストグラムＨ５（図１３のヒストグラムＨ１に相当する）が、ヒストグラムＨ６のように変わることになる。この場合、ヒストグラムＨ６は、ヒストグラムＨ５に比べて横軸座標値（画素値）が２倍となっているが、図１３に示すヒストグラムＨ２と違い、ヒストグラムの「歯抜け」が解消つまりヒストグラムの補間が行われている。なお、ヒストグラムＨ６は、ヒストグラムＨ２と比べて、各柱の高さ（各画素値ｉにおける度数）が小さくなる（高さは約半分になる）ものの、ヒストグラム全体における各柱の度数の合計値（全体度数）はヒストグラムＨ２の全体度数よりも大きくなっている。これは、上記（６）式中における“−Ｐｉ・ｌｏｇ（Ｐｉ）”にも示されるとおり、出現確率Ｐｉ（柱の高さ）が小さいほど全体（−Ｐｉ・ｌｏｇ（Ｐｉ））での情報量（エントロピー）が多くなるという理論に基づくものである。

また、この場合も、各多重露光画像に対応するヒストグラムの各柱の度数がゲインに応じて異なる度数となっている。すなわち、上述と同様、例えばゲイン値２．０、４．０、８．０それぞれの場合の各多重露光画像のヒストグラムを考えると、この各ヒストグラムの各柱の度数、例えば画素値ｉ＝１の柱の度数は互いに異なる値となっており、また、このヒストグラムの画素値ｉ＝１の度数は、元画像ＩのヒストグラムＨ１の同じ柱位置である画素値ｉ＝１の柱の度数と比べて、それぞれゲインに応じて異なる値となっている。

このように、第２の実施形態の場合も、従来では画素値にゲインをかけても全体度数が変化しなかったものが、ゲインに応じて全体度数（エントロピー）が変化するようになる、すなわちゲインに応じてヒストグラムの各柱の度数が異なるものとなることから、ゲイン値に応じたエントロピーによる画像の視認性の評価が可能となる。

図８は、第２の実施形態に係るデジタルカメラ１のＤＲ圧縮部６３ａにおけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。先ず撮像センサ３（リニアセンサ）による撮像によって撮影画像（線形画像）が取得される（ステップＳ１１）。次に、画像生成部２０によって、元画像Ｉに各種ゲイン（例えばゲイン値２．０、４．０、８．０）がかけられて当該各ゲインに対応する複数の擬似多重露光画像が生成され（ステップＳ１２）、画像平滑化処理部５０によって、この生成された各擬似多重露光画像に対してＬＰＦ処理等による画像平滑化処理が行われる（ステップＳ１３）。次に、ヒストグラム作成部３２ａによって、上記平滑化処理後の各擬似多重露光画像（画像Ｍ１’、Ｍ２’及びＭ３’）がブロック分割部３１ａで分割されたブロック画像毎に、横軸が階調数Ｎのヒストグラムが作成される（ステップＳ１４）。そして、エントロピー算出部３３ａによって各ブロック画像のエントロピーが算出され（ステップＳ１５）、選択部３４ａによって、当該画像Ｍ１’、Ｍ２’及びＭ３’における同じブロック配列位置（ｊ、ｋ）のブロック画像同士が比較されて、最もエントロピーが高いブロック画像（最大エントロピー画像番号Ｉｊｋ）が選択される（ステップＳ１６）。そして、ブレンド部４０ａによって、当該選択されたエントロピー最大のブロック画像同士が合成（ブレンド）されて１枚の画像（合成画像Ｏ）が得られる、すなわち複数枚の擬似多重露光画像から、各ブロック部の露出が最適化された１枚の画像が合成される（ステップＳ１７）。

（実施形態３）
上記第１の実施形態では、ヒストグラムを作成する際に横軸の階調数をＮ／Ｇｍａｘとしたが、この代わりに、第３の実施形態では、ヒストグラムの作成は通常の階調数Ｎで行い、この作成したヒストグラムを平滑化する（歯抜け型ヒストグラムを補間する）。これにより、第３の実施形態におけるデジタルカメラ１は、上記ＤＲ圧縮部６３の代わりにＤＲ圧縮部６３ｃの構成を備える。

図９は、第３の実施形態に係るデジタルカメラ１におけるＤＲ圧縮部６３ｃの一回路構成例を示す機能ブロック図である。ＤＲ圧縮部６３ｃは、ＤＲ圧縮部６３と比べてエントロピー演算部３０ｃ及びブレンド部４０ｃが異なる（ＤＲ圧縮部６３ｂと比べて画像平滑化処理部５０が削除され、ヒストグラム平滑化処理部３５が追加されている）。

エントロピー演算部３０ｃは、画像生成部２０により求められた擬似多重露光画像Ｍ１、Ｍ２及びＭ３における各ブロック画像のエントロピーを算出する。ブロック分割部３１ｃは、各画像Ｍ１、Ｍ２及びＭ３をそれぞれ所定の分割数例えば上記と同様にｊ×ｋ個のブロック画像に分割する。ヒストグラム作成部３２ｃは、各画像Ｍ１、Ｍ２及びＭ３におけるｊ×ｋ個の各ブロック画像のヒストグラムを作成する。これにより作成されたヒストグラムは例えば上述のヒストグラムＨ６のようになる。このとき、ヒストグラムの横軸は、通常どおり、画像の階調数Ｎ（上記と同様に８ビット画像での２５６）とする。

ヒストグラム平滑化処理部３５は、ヒストグラム作成部３２ｃにより作成された各ブロック画像のヒストグラムに対する平滑化処理（ヒストグラム平滑化処理という）を行うものである。具体的には、ヒストグラムの作成における各配列位置のカウントアップ後のＮ個（２５６個）の配列（柱）に対する移動平均処理を行う（移動平均値を求める）ことで、直接、ヒストグラムを平滑化する。当該移動平均による平滑化によって、後述のヒストグラムＨ６に示すように、柱間の隙間がこの前後の柱の度数を平均した度数を有する柱等で補間される。なお、この移動平均による方法に限らず、要はヒストグラムが平滑化される方法であれば何れの方法でもよく、例えば柱間の隙間がこれの前又は後位置の柱と同じ度数を有する柱で補間されるような方法でもよい。

エントロピー算出部３３ｃは、この平滑化された各ブロック画像のヒストグラムから、上記と同様に（６）式を用いて各ブロック画像のエントロピーを算出する。選択部３４ｃは、エントロピー算出部３３ｃにより算出された、各画像Ｍ１、Ｍ２及びＭ３におけるｊ×ｋ個のブロック画像の各エントロピーを、同じブロック配列位置（ｊ、ｋ）のブロック画像同士で比較して、最もエントロピーが高いブロック画像の画像番号Ｉｊｋ（最大エントロピー情報）を選択する。ここで求めた最大エントロピー情報はブレンド部４０ｃに入力される。

ブレンド部４０ｃは、入力された最大エントロピー情報に基づいて、擬似多重露光画像Ｍ１、Ｍ２及びＭ３の合成（ブレンド処理）を行う。すなわち、ブレンド部４０と同様に、上記（３）〜（５）式を用いて、各画像Ｍ１、Ｍ２及びＭ３におけるエントロピー最大のブロック画像だけを集めて１枚の画像に合成して合成画像Ｏとして出力する。

本実施形態では、このように、求めたヒストグラム自身を平滑化するので、この場合も第２の実施形態と同様（ゲイン値が２の場合とする）、元画像ＩのヒストグラムＨ５がヒストグラムＨ６のように変わる（図７参照）ことになり、ヒストグラムＨ２のような“歯抜け”が解消（補間）される。したがってこの第３の実施形態の場合も、従来では画素値にゲインをかけても全体度数が変化しなかったものが、ゲインに応じて全体度数（エントロピー）が変化する、すなわち上記と同様にゲインに応じてヒストグラムの各柱の度数が異なるものとなることから、ゲイン値に応じたエントロピーによる画像の視認性の評価が可能となる。

図１０は、第３の実施形態に係るデジタルカメラ１のＤＲ圧縮部６３ｃにおけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。先ず撮像センサ３（リニアセンサ）による撮像によって撮影画像（線形画像）が取得される（ステップＳ２１）。次に、画像生成部２０によって、元画像Ｉに各種ゲイン（例えばゲイン値２．０、４．０、８．０）がかけられて当該各ゲインに対応する複数の擬似多重露光画像が生成される（ステップＳ２２）。生成された各擬似多重露光画像はエントロピー演算部３０ｃに入力されてブロック分割部３１ｃにより複数のブロック画像に分割され、ヒストグラム作成部３２ｃによって、当該ブロック画像毎に横軸が階調数Ｎのヒストグラムが作成される（ステップＳ２３）。そして、ヒストグラム平滑化処理部３５によって、このヒストグラムに対する移動平均処理等が行われて各ブロック画像のヒストグラムが平滑化される（ステップＳ２４）。次に、エントロピー算出部３３ｃによって当該各ブロック画像のエントロピーが算出され（ステップＳ２５）、選択部３４ｃによって、当該画像Ｍ１、Ｍ２及びＭ３における同じブロック配列位置（ｊ、ｋ）のブロック画像同士が比較されて、最もエントロピーが高いブロック画像（最大エントロピー画像番号Ｉｊｋ）が選択される（ステップＳ２６）。そして、ブレンド部４０ｃによって、当該選択されたエントロピー最大のブロック画像同士が合成（ブレンド）されて１枚の画像（合成画像Ｏ）が得られる、すなわち複数枚の擬似多重露光画像から、各ブロック部の露出が最適化された１枚の画像が合成される（ステップＳ２７）。

以上のように、上記各実施形態に係る撮像装置（デジタルカメラ１）によれば、生成手段（画像生成部２０）によって、１つの元画像Ｉから、該元画像Ｉに異なるゲイン（例えばゲイン値２．０、４．０、６．０）をかけることで露出の異なる複数の露出画像（多重露光画像；擬似多重露光画像）が生成され、差異手段（ヒストグラム作成部３２、画像平滑化処理部５０又はヒストグラム平滑化処理部３５）によって、ゲイン（ゲイン値）に応じて、複数の露出画像それぞれに対応するヒストグラム（例えばヒストグラムＨ４、Ｈ６）の各柱の度数が異ならせられ、算出手段（エントロピー算出部３３、３３ａ、３３ｃ）によって、このゲインに応じて各柱の度数が異なる各ヒストグラム（上記ヒストグラムＨ４、Ｈ６）に基づいて、各露出画像に対応するエントロピーがそれぞれ算出される。すなわち、各露出画像が１つの画像（元画像Ｉ）から作成されるので、露出の異なる複数枚の露出画像それぞれを撮影する必要がなく、これら複数枚の画像間の被写体ブレの発生が防止される。また、各露出画像のヒストグラムの各柱の度数がゲインに応じて異なるものとなるので、これらヒストグラム（各露出画像に対応する各ヒストグラム）から求めたエントロピーも各露出画像で異なるものとなる（各露出画像のエントロピーに差異が生じる）。したがって、１つの画像から生成された各露出画像のエントロピーを各露出画像に応じたエントロピーとして求めることができ、エントロピーを視認性の指標として使用することができるため、ひいては、例えばこのエントロピーの情報を用いて、複数の露出画像から露出やコントラストが適正化された高画質な１つの画像を得るといったことが可能となる。

また、差異手段によって、各露出画像に対応する、元画像の各画素値がゲイン倍されることで各柱間に隙間が空いた状態の間欠状ヒストグラム（例えばヒストグラムＨ２）が、該柱間の隙間がなくなるように補間されるので、当該補間という簡易な方法を用いて、ゲインに応じて度数が異なる各露出画像のヒストグラム（例えばヒストグラムＨ４、Ｈ６）を容易に得ることができる。

また、分割手段（ブロック分割部３１、３１ａ、３１ｃ）によって、各露出画像が複数の部分画像（ブロック画像）に分割され、選択手段（選択部３４、３４ａ、３４ｃ）によって、各露出画像の同位置での部分画像それぞれに対応する、算出手段により算出された各エントロピーのうちから、最大のエントロピー（最大エントロピーの画像番号Ｉｊｋ）が選択される。そして、合成手段（ブレンド部４０、４０ａ、４０ｃ）によって、最大のエントロピーを有する部分画像同士が合成されるので、エントロピーの情報を利用して、複数の露出画像から、画像各部（各部分画像）のエントロピーがいずれも最大となる１つの合成画像、すなわち露出やコントラストが適正化された高画質な画像を得ることができる。

また、ヒストグラムが、横軸座標が階調値に対応する画素値で且つ縦軸座標が度数であるヒストグラムとされる。そして、差異手段が、複数の露出画像それぞれに対応するヒストグラム（例えばヒストグラムＨ４）を作成する作成手段（ヒストグラム作成部３２）とされ、この差異手段によって、当該ヒストグラム（ヒストグラムＨ４）の作成に際して横軸座標がゲインに応じて縮小される。すなわち、単に、ゲインに応じて縮小された横軸座標を有するヒストグラムを作成するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、作成手段（ヒストグラム作成部３２）によって、最大階調値がＮ／Ｇ（Ｎ／Ｇｍａｘ）である横軸座標を有したヒストグラムが作成されるので、ゲインに応じて縮小された横軸座標を有するヒストグラム（ヒストグラムＨ４）を容易に作成することができる。

また、作成手段（ヒストグラム作成部３２）によって、元画像の各画素値ｉがＧの値で除算され、該除算により得られる整数値に対応する横軸座標における画素値の度数がカウント（カウントアップ）されるので、このように簡易な度数のカウント方法を用いて、最大階調値がＮ／Ｇである横軸座標を有したヒストグラム（ヒストグラムＨ４）を元画像Ｉから容易に作成することができる。

また、差異手段が、エントロピーの算出前に、各露出画像を空間的に平滑化する画像平滑化手段（画像平滑化処理部５０）とされるので、すなわち画像平滑化手段によって各露出画像が空間的に平滑化されるので、この平滑化された各露出画像から作成したヒストグラム（例えばヒストグラムＨ６）が、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像を空間的に平滑化するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、画像平滑化手段によって、各露出画像に対してＬＰＦ処理が行われるので、ＬＰＦ処理という簡易な方法で、容易に各露出画像を空間的に平滑化することができる。

また、差異手段が、エントロピーの算出前に、作成手段により作成された各露出画像のヒストグラム（例えばヒストグラムＨ２）を平滑化するヒストグラム平滑化手段（ヒストグラム平滑化処理部３５）とされる、すなわちヒストグラム平滑化手段によって各露出画像のヒストグラム（ヒストグラムＨ２）が平滑化されるので、この平滑化されたヒストグラム（例えばヒストグラムＨ６）が、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像のヒストグラムを平滑化するという簡易な方法で、各露出画像に対応するヒストグラムの度数をゲインに応じて異ならせることが可能となる。

また、ヒストグラム平滑化手段によって、作成手段により作成されたヒストグラムに対する移動平均処理が行われることで該ヒストグラムが平滑化されるので、ヒストグラムに対する移動平均処理を行うという簡易な方法で、ヒストグラムを容易に平滑化することができる。

また、合成手段によって、最大のエントロピーを有する部分画像の画素値（画素値Ｉｊｋ（ｘ、ｙ））と、部分画像（ブロック画像（ｊ、ｋ））の画素値（注目画素（ｘ、ｙ））の位置から該部分画像（ブロック画像（ｊ、ｋ））の所定の基準位置（中心画素）までの距離に応じた重み（ウエイトＷｊｋ（ｘ、ｙ））と、が加重平均されることにより、当該部分画像同士の合成が行われるので、これら部分画像間に継ぎ目が無い（モザイク状の画像でない）ように各部分画像の画素値がブレンド（エントロピー・ブレンド処理）されて、全体の露出やコントラストが適正化された高画質な１枚の合成画像を得ることができる。

また、本発明に係る画像処理方法によれば、第１の工程において、１つの元画像Ｉから、該元画像Ｉに異なるゲインをかけることで露出の異なる複数の露出画像（多重露光画像；擬似多重露光画像）が生成され、第２の工程において、ゲイン（ゲイン値）に応じて、複数の露出画像それぞれに対応するヒストグラム（例えばヒストグラムＨ４、Ｈ６）の各柱の度数が異ならせられ、第３の工程において、このゲインに応じて各柱の度数が異なる各ヒストグラム（上記ヒストグラムＨ４、Ｈ６）に基づいて、各露出画像に対応するエントロピーがそれぞれ算出される。すなわち、各露出画像が１つの画像（元画像Ｉ）から作成されるので、露出の異なる複数枚の画像（多重露光画像）それぞれを撮影する必要がなく、これら複数枚の画像間の被写体ブレの発生が防止される。また、各露出画像のヒストグラムの各柱の度数がゲインに応じて異なるものとなるので、これらヒストグラム（各露出画像に対応する各ヒストグラム）から求めたエントロピーも各露出画像で異なるものとなる（各露出画像のエントロピーに差異が生じる）。したがって、１つの画像から生成された各露出画像のエントロピーを各露出画像に応じたエントロピーとして求めることができ、エントロピーを視認性の指標として使用することができるため、ひいては、例えばこのエントロピーの情報を用いて、複数の露出画像から露出やコントラストが適正化された高画質な１つの画像を得るといったことが可能となる。

また、上記第２の工程が、複数の露出画像それぞれに対応するヒストグラムの作成に際して、階調値に対応する画素値を座標とする該ヒストグラム（例えばヒストグラムＨ４）の横軸座標がゲインに応じて縮小される工程とされるので、単に、ゲインに応じて縮小された横軸座標を有するヒストグラムを作成するという簡易な方法で、各露出画像に対応するヒストグラム（ヒストグラムＨ４）の度数をゲインに応じて異ならせることが可能となる。

また、上記第２の工程が、第３の工程を行う前に、各露出画像を空間的に平滑化する工程とされるので、この平滑化された各露出画像から作成したヒストグラム（例えばヒストグラムＨ６）が、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像を空間的に平滑化するという簡易な方法で、各露出画像に対応するヒストグラム（ヒストグラムＨ６）の度数をゲインに応じて異ならせることが可能となる。

さらに、上記第２の工程が、第３の工程を行う前に、複数の露出画像それぞれに対応して作成された各露出画像のヒストグラム（例えばヒストグラムＨ２）を平滑化する工程とされるので、この工程により平滑化されたヒストグラム（例えばヒストグラムＨ６）が、ゲインに応じて異なる度数を有するヒストグラムとなる。このように、各露出画像のヒストグラムを平滑化するという簡易な方法で、各露出画像に対応するヒストグラム（ヒストグラムＨ６）の度数をゲインに応じて異ならせることが可能となる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記各実施形態では、撮像センサ３として一般的なリニアセンサを用いたが、広いダイナミックレンジ（広ＤＲ）での撮影が可能な撮像センサとして、センサ入射輝度が低い場合（暗時）に出力画素信号が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性（線形／対数特性という；図１１の左側図参照）を有するセンサ（リニアログセンサという）を用いてもよい。このリニアログセンサにより得られる線形／対数特性を有する画像を線形／対数画像と表現する。

上記リニアログセンサを用いる場合は、多重露光画像の生成方法が異なる。すなわちこの場合、先ず線形／対数特性における対数特性を線形特性に変換して一時的に線形特性の画像に統一する。この統一された線形特性画像に所定倍率のゲイン（例えば１．０、０．５、０．２５倍）をかけることで、複数の多重露光画像（図１１の右側図参照）を生成する。ただし、このとき最大画素値ｍａｘ（例えば８ビット画像ではｍａｘ＝２５６）を超える場合はクリップする。これらの演算は画像生成部２０によって行う。このようにして、リニアログセンサにより得られる画像（元画像Ｉ；線形／対数画像）から複数の多重露光画像（擬似多重露光画像）を容易に生成することができる。なお、生成したこの多重露光画像に対する後の露出適正化処理は上記各実施形態と同様である。

（Ｂ）上記各実施形態においては、元画像Ｉの露出適正化処理をデジタルカメラ１内（ＤＲ圧縮部６３、６３ａ、６３ｃ）において実行する構成となっているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いたデジタルカメラ１との直接接続又は無線接続された（ネットワーク接続された）或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成された、ユーザーインターフェイスを備える所定のホスト例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant；個人向け携帯情報端末）において実行されてもよい。

第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。 上記デジタルカメラにおける画像処理部の一回路構成例を示す機能ブロック図である。 上記画像処理部におけるＤＲ圧縮部の一回路構成例を示す機能ブロック図である。 第１の実施形態におけるヒストグラム作成によって、元画像のヒストグラムがどのようなヒストグラムに変化するかを概念的に説明するためのグラフ図である。 第１の実施形態に係るデジタルカメラのＤＲ圧縮部におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。 第２の実施形態に係るデジタルカメラにおけるＤＲ圧縮部の一回路構成例を示す機能ブロック図である。 第２の実施形態における画像平滑化処理によって、元画像のヒストグラムがどのようなヒストグラムに変化するかを概念的に説明するためのグラフ図である。 第２の実施形態に係るデジタルカメラのＤＲ圧縮部におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。 第３の実施形態に係るデジタルカメラにおけるＤＲ圧縮部の一回路構成例を示す機能ブロック図である。 第３の実施形態に係るデジタルカメラのＤＲ圧縮部におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。 上記各実施形態の変形態様であって、撮像センサがリニアログセンサである場合の多重露光画像の生成方法について説明するためのグラフ図である。 擬似多重露光画像の生成（ゲイン）について説明するためのグラフ図である。 擬似多重露光画像の生成（ヒストグラム）について説明するためのグラフ図である。

符号の説明

１ デジタルカメラ（撮像装置）
３ 撮像センサ（撮影手段）
６ 画像処理部
６３、６３ａ、６３ｃ ＤＲ圧縮部
２０ 画像生成部（生成手段）
３０、３０ａ、３０ｃ エントロピー演算部
３１、３１ａ、３１ｃ ブロック分割部（分割手段）
３２ ヒストグラム作成部（差異手段）
３２ａ、３２ｃ ヒストグラム作成部
３３、３３ａ、３３ｃ エントロピー算出部（算出手段）
３４、３４ａ、３４ｃ 選択部（選択手段）
３５ ヒストグラム平滑化処理部（差異手段、ヒストグラム平滑化手段）
４０、４０ａ、４０ｃ ブレンド部（合成手段）
５０ 画像平滑化処理部（差異手段、画像平滑化手段）
Ｈ１、Ｈ３、Ｈ５ ヒストグラム
Ｈ２ ヒストグラム（間欠状ヒストグラム、請求項１０、１６に記載のヒストグラム）
Ｈ４ ヒストグラム（請求項１、４、５、１３、１４に記載のヒストグラム）
Ｈ６ ヒストグラム（請求項１、１３に記載のヒストグラム）

Claims (16)

1. １つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像を生成する生成手段と、
   前記ゲインに応じて、前記複数の露出画像それぞれに対応するヒストグラムの各柱の度数を異ならせる差異手段と、
   前記ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーをそれぞれ算出する算出手段とを備えることを特徴とする撮像装置。
2. 前記差異手段は、
   前記各露出画像に対応する、前記元画像の各画素値が前記ゲイン倍されることで各柱間に隙間が空いた状態の間欠状ヒストグラムを、該柱間の隙間がなくなるように補間することを特徴とする請求項１に記載の撮像装置。
3. 前記各露出画像を複数の部分画像に分割する分割手段と、
   前記各露出画像の同位置での部分画像それぞれに対応する、前記算出手段により算出された各エントロピーのうちから、最大のエントロピーを選択する選択手段と、
   前記最大のエントロピーを有する部分画像同士を合成する合成手段とをさらに備えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ヒストグラムは、横軸座標が階調値に対応する画素値で且つ縦軸座標が度数であるヒストグラムであり、
   前記差異手段は、
   前記複数の露出画像それぞれに対応するヒストグラムを作成する作成手段であって、
   当該ヒストグラムの作成に際して前記横軸座標を前記ゲインに応じて縮小することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 前記元画像の階調数をＮとし、前記ゲインをＧとすると、
   前記作成手段は、
   最大階調値がＮ／Ｇである前記横軸座標を有した前記ヒストグラムを作成することを特徴とする請求項４に記載の撮像装置。ただし、記号「／」は除算を示す。
6. 前記作成手段は、
   前記元画像の各画素値を前記Ｇの値で除算し、該除算により得られる整数値に対応する前記横軸座標における画素値の度数をカウントすることを特徴とする請求項５に記載の撮像装置。
7. 前記差異手段は、
   前記エントロピーの算出前に、前記各露出画像を空間的に平滑化する画像平滑化手段であることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
8. 前記画像平滑化手段は、
   前記各露出画像に対してローパスフィルタ処理を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記複数の露出画像それぞれのヒストグラムを作成する作成手段をさらに備え、
   前記差異手段は、
   前記エントロピーの算出前に、前記作成手段により作成された各露出画像のヒストグラムを平滑化するヒストグラム平滑化手段であることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
10. 前記ヒストグラム平滑化手段は、
    前記作成手段により作成されたヒストグラムに対する移動平均処理を行うことで該ヒストグラムを平滑化することを特徴とする請求項９に記載の撮像装置。
11. 前記合成手段は、
    前記最大のエントロピーを有する部分画像の画素値と、前記部分画像の画素値の位置から該部分画像の所定の基準位置までの距離に応じた重みと、を加重平均することにより、当該部分画像同士の合成を行うことを特徴とする請求項３に記載の撮像装置。
12. 前記元画像を撮影によって得る撮影手段をさらに備え、
    前記撮影手段は、線形特性及び対数特性からなる光電変換特性を有するリニアログセンサであり、
    前記生成手段は、前記リニアログセンサにより得られた元画像における光電変換特性を前記線形特性に統一した後、該線形特性に統一された元画像に対して異なるゲインをかけることで前記各露出画像を生成することを特徴とする請求項１〜１１に記載の撮像装置。
13. １つの元画像から、該元画像に異なるゲインをかけることで露出の異なる複数の露出画像を生成する第１の工程と、
    前記ゲインに応じて、前記複数の露出画像それぞれに対応するヒストグラムの各柱の度数を異ならせる第２の工程と、
    前記ゲインに応じて各柱の度数が異なる各ヒストグラムに基づいて、各露出画像に対応するエントロピーをそれぞれ算出する第３の工程とを有することを特徴とする画像処理方法。
14. 前記第２の工程は、
    前記複数の露出画像それぞれに対応するヒストグラムの作成に際して、階調値に対応する画素値を座標とする該ヒストグラムの横軸座標を前記ゲインに応じて縮小する工程であることを特徴とする請求項１３に記載の画像処理方法。
15. 前記第２の工程は、
    前記第３の工程を行う前に、前記各露出画像を空間的に平滑化する工程であることを特徴とする請求項１３に記載の画像処理方法。
16. 前記第２の工程は、
    前記第３の工程を行う前に、前記複数の露出画像それぞれに対応して作成された各露出画像のヒストグラムを平滑化する工程であることを特徴とする請求項１３に記載の画像処理方法。

Images