[go: up one dir, main page]

JP2007035028A - 高ダイナミックレンジ画像を生成する方法及び高ダイナミックレンジ出力画像を生成するシステム - Google Patents

高ダイナミックレンジ画像を生成する方法及び高ダイナミックレンジ出力画像を生成するシステム Download PDF

Info

Publication number
JP2007035028A
JP2007035028A JP2006198067A JP2006198067A JP2007035028A JP 2007035028 A JP2007035028 A JP 2007035028A JP 2006198067 A JP2006198067 A JP 2006198067A JP 2006198067 A JP2006198067 A JP 2006198067A JP 2007035028 A JP2007035028 A JP 2007035028A
Authority
JP
Japan
Prior art keywords
image
dynamic range
flash
high dynamic
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006198067A
Other languages
English (en)
Inventor
Ramesh Raskar
ラメッシュ・ラスカー
Amit Agrawal
アミット・アグラワル
Shree K Nayar
シュリー・ケイ・ネイヤー
Yuanzhen Li
ユアンゼン・リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2007035028A publication Critical patent/JP2007035028A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)

Abstract

【課題】カメラ設定を適応的に推定し、或るシーンについて取得されるフラッシュ画像及び周囲画像の画質を高め、高ダイナミックレンジのフラッシュ画像を生成する。
【解決手段】様々な照明条件により照明されたシーンの一組の画像を取得する。コヒーレンスモデルを用いて、望ましくない反射及びハイライトに起因する画像勾配の成分を低減させる。フラッシュ画像と周囲画像の輝度比を用いて、深度が深くなるにつれて露出過多効果及び露出不足効果を低減するようにフラッシュ画像を修正する。一組の画像を合成して高ダイナミックレンジ画像を生成する。
【選択図】図1

Description

本発明は、包括的にはコンピュータグラフィックスに関し、特に高ダイナミックレンジ画像を取得することに関する。
フラッシュ装置は、微光条件下のシーンの画像を取得するために用いられることが多い。しかし、フラッシュ装置は、様々な望ましくない効果及びアーチファクトを生じる。フラッシュ強度はカメラからの距離の二乗で低下するため、フラッシュ装置の近くにある物体は露出過多となりがちであり、その一方で、遠方にある物体は露出不足となりがちである。
さらに、フラッシュ装置はまた望ましくない反射を生じる。多くの場合、カメラの視野外にあるが、フラッシュ装置により強く照明された物体の反射、又は視野内の鏡面物体による反射が見られる。さらに多くの場合、シーン中の光沢のある物体による反射による強いハイライトが見られる。
深度の浅い屋内シーンについてフラッシュ装置を用いて取得された画像では、周囲照明のみを用いて取得された画像と比べて、細部の画質を大幅に高め、且つノイズを低減させることができる(Eisemann及びDurand著「Flash photography enhancement via intrinsic relighting」(ACM Transactions on Graphics 23, 3 (Aug.), 673-678, 2004)、並びにPetschnigg他著「Digital photography with flash and no-flash image pairs」(ACM Transactions on Graphics 23, 3 (Aug.), 664-672, 2004))。フラッシュによる影を除去し、赤目を低減し、ホワイトバランス調整を行う方法が既知である。ほとんどの従来技術の方法は、深度範囲の浅い屋内シーンについて取得された画像に対して作用する。そのような場合、フラッシュ装置は、シーン中のほとんどの物体を適切に照明する。
深度が大きく異なり、且つ周囲照明が著しく異なる屋内シーン及び屋外シーンの画像の画質を高めることが望ましい。
フラッシュ画像におけるノイズは実際に、遠方にある物体について、周囲画像におけるノイズよりも高くなる可能性がある。周囲画像の画質を高めるために、従来技術の方法は、複合バイラテラルフィルタの変形を用いてきた。
高ダイナミックレンジ(HDR)画像、画像勾配、及び他の技法を用いて画像の画質を高めるいくつかの方法が既知である。Mann及びPicard著「Being undigital with digital cameras: Extending dynamic range by combining differently exposed pictures」(Proceedings of IS and T 46th annual conference, 422-428, 1995)、Debevec及びMalik著「Recovering high dynamic range radiance maps from photographs」(Proceedings of the 24th annual conference on Computer graphics and interactive techniques, ACM Press/ Addison-Wesley Publishing Co., 369-378, 1997)、Fattal他著「Gradient Domain High Dynamic Range Compression」(Proceedings of SIGGRAPH 2002, ACM SIGGRAPH, pp. 249-256, 2002)、Perez他著「Poisson image editing」(Proceedings of SIGGRAPH 2003, pp. 313-318, 2003)、Raskar他著「Image Fusion for Context Enhancement and Video Surrealism」(Proceedings of NPAR, 2004)、Agarwala他著「Interactive digital photomontage」(ACM Transactions on Graphics 23, pp. 294-302, August 2004)、Sun他著「Poisson matting」(ACM Trans. Graph. 23, pp. 315-321, 2004))を参照のこと。従来技術では、HDR画像は通常、画像毎にシャッターの露出時間を変化させることによって取得されることに留意すべきである。
いくつかの従来技術の方法は、偏光フィルタを用いてフラッシュ画像を拡散成分と鏡面反射成分に分解すること、フォーカスを変化させること、又は視点を変化させることによって、フラッシュ画像から反射を除去する(Nayar他著「Separation of reflection components using color and polarization」(International Journal of Computer Vision 21, pp. 163-186, February 1997)、Schechner他著「Separation of transparent layers using focus」(International Journal of Computer Vision 39, pp. 25-39, August 2000)、Farid及びAdelson著「Separating reflections and lighting using independent components analysis」(1999 Conference on Computer Vision and Pattern Recognition (CVPR 1999), pp. 1262-1267, 1999)、並びにSzeliski他著「Layer extraction from multiple images containing reflections and transparency」(2000 Conference on Computer Vision and Pattern Recognition (CVPR 2000), pp. 2000))。確率伝搬に基づく方法が、1つの画像の無反射分解におけるエッジ数を最小化する(Levin他著「Separating reflections from a single image using local features」(2004 Conference on Computer Vision and Pattern Recognition (CVPR 2004), 2004))。
オンボード検知及び処理により、最新のカメラは、シーンの輝度及び距離の総測定値に基づいてフラッシュ出力及びシャッター露出時間設定を自動的に選択することが可能である。例えば、Canon A−TTLカメラは、フラッシュ装置においてプリフラッシュ及びフォトセンサを用いて、そのシーンに必要な照明を決める。Nikon−3Dカメラシステムは、カメラから被写体までの距離を用いてレンズを合焦させる。この情報は、フラッシュ出力及び露出を決めるためにも用いることができる。これら全ての場合に、特定の画像について選択されたフラッシュ設定及び露出設定により、シーン中の全ての物体が適切に照明されることが必ずしも保証される訳ではないことに留意することが重要である。さらに、これらの設定は完全に、画像が取得される前にシーン中の幾何学的配置及び周囲照明を検知することに基づき、フラッシュ照明の実際の効果を考慮しない。また、これらの設定は適応的でない。これらの方法は、HDRシーンの複数の画像を取り込む間に、取り込まれた以前の画像の効果を考慮しない。
本発明の目的は、或るシーンについて取得されるフラッシュ画像及び周囲画像の画質を高めることである。
本発明の目的は、高ダイナミックレンジのフラッシュ画像を作成することである。
本発明の目的は、カメラ設定を適応的に推定することである。
フラッシュ画像にはいくつかの問題があることが知られている。フラッシュ画像において近くにある物体は露出過多となりがちであり、その一方で、遠方にある物体は露出不足になる。近くにある物体は反射も生じ、強いハイライトを有し得る。
コヒーレンスモデルが、フラッシュ画像の強度勾配を周囲画像の勾配と関連付ける。このモデルは、フラッシュ画像及び周囲画像に存在する変化する照明条件下で不変である。
コヒーレンスモデルに基づいて、勾配射影が、フラッシュ装置を使用した結果としての望ましくない反射及びハイライトに起因する画像勾配の成分を低減させる。輝度比に基づくプロセスが、異なる深度における照明差を補償する。
多くの実際の用途では、フラッシュ画像及び周囲画像の画質は、カメラのダイナミックレンジに関して制限される可能性がある。このような用途では、様々なフラッシュ強度を用いて複数の画像が取得され、十分に照明された(HDR)フラッシュ画像が提供される。
十分に照明された画像は分析されることができ、或るシーンについて取得する必要のある画像数を最小化するために適応的にサンプリングされる。画像の画質を高める方法も提供される。
フラッシュ画像と周囲画像の輝度比は深度と表面の向きの複合効果を表す。この比を用いて、深度が深くなるにつれて露出過多効果及び露出不足効果を低減するようにフラッシュ画像を修正することができる。
フラッシュ照明及び周囲照明下で取得される画像の画質を高める方法及びシステムが提供される。3つの既知の問題、すなわち、所与のフラッシュ出力における照明過多及び照明不足、反射又はハイライト、並びに深度にわたる照明の減衰に対処する。フラッシュ画像中のアーチファクトは、周囲画像中の情報を使用することによって低減することができる。
フラッシュ画像及び周囲画像における制限されたダイナミックレンジを克服するために、フラッシュ−露出空間が適応的にサンプリングされる。フラッシュ−露出空間を理解することによって、十分に新規な画像合成効果としてより良いカメラを設計することができる。
図1は、本発明の1つの実施の形態による、画像の画質を高める方法及びシステムを示す。フラッシュ画像101が或るシーン100についてカメラにより取得される。この場合、シーンは、第1の照明条件、例えばフラッシュ装置により照明される。フラッシュ画像から勾配フラッシュ画像111が求められる110。周囲画像102がシーンについてカメラにより取得される。この場合、シーンは、第2の照明条件、例えば周囲光により照明される。周囲画像について勾配周囲画像121が求められる120。
フラッシュ画像を取得する間にシーンが周囲光によっても照明される場合、周囲光の相対量は比較的少ない。したがって、いくらかの周囲光がシーン中に存在する場合、周囲光による寄与は無視することができるか、又は、フラッシュ画像から周囲画像を減算することによって「純粋な」フラッシュ画像を得ることができる。
本発明の実施の形態の例示的な第1の照明条件及び第2の照明条件をフラッシュ照明及び周囲照明として説明する。他の照明条件、例えば、1つ又は複数の点光源からの明るい光、適度な周囲光、自然光、人工光、異なる照明方向、異なる波長(色)、日光、月光、拡散(ぼんやりした)光等を用いることもできることに留意すべきである。
本明細書中に定義するように、勾配画像は通常、画像中の各画素における強度についてx勾配及びy勾配を有する。画像勾配は当該技術分野においてよく知られている。画像勾配の求め方について多数の方法が既知である。参照により本明細書中に援用されるJ. D. Foley、A. van Dam、S. K. Feiner、及びJ. F. Hughes著「Computer Graphics: Principles and Practice」(second edition, Reading, Mass., Addison-Wesley, 1990)を参照のこと。
勾配フラッシュ画像111と勾配周囲画像121を比較125し、次に合成130して合成勾配画像103を生成することができる。1つの実施の形態において、比較125は、勾配画像中の勾配ベクトルの向きを考慮する。合成勾配画像103中の勾配を積分して、シーンのエンハンスド出力画像104を構成140する。図2を参照のこと。
本発明は以下の原理に基づく。
イメージングモデル
フラッシュ写真撮影を用いてシーン100から取得される放射輝度は、出力Pのフラッシュ照明による放射輝度Φと、周囲照明による放射輝度αとの一次結合である。フラッシュ画像Fは、1単位のシャッター露出に対するフラッシュ出力Pによってスケーリングされたフラッシュ放射輝度マップΦである。周囲画像Aは、露出時間Eによってスケーリングされた周囲放射輝度マップαである。スケールP及びEは全ての画素について一定である。
所与の波長に対する線形応答カメラの放射照度マップIは次式によって与えられる。
Figure 2007035028
本発明では、フラッシュの持続時間、例えば1ミリ秒は、露出時間E、例えば数十又は数百ミリ秒よりも大幅に短いものと仮定する。カメラ及びフラッシュ装置は位置が固定されているため、シーン中の拡散物体、鏡面物体又は透明物体によるシーンの反射率、幾何学的配置、すなわち近いか遠いか、或いは媒体、例えば、空気、霧、水中又はガラスに関係なく式(1)は有効である。
方向ωにおける双方向反射率分布関数Ψを用いた1点における画像放射照度は次式によって与えられる。
Figure 2007035028
入射放射照度項L(ω)は半球Ω内のフラッシュ項及び周囲項を含み、θは面法線と入射放射照度の間の角度である。
具体的には、反射率ρを有する拡散物体の場合、周囲照明による成分は次のように表される。
Figure 2007035028
ここで、Bは集合環境(aggregated ambience)である。したがって、周囲成分αはシーンの反射率及び周囲照明に依存する。フラッシュ画像の成分は次のように表される。
Figure 2007035028
フラッシュ成分はシーンの反射率、フラッシュ装置からの距離d、及びフラッシュ方向と表面の向きの角度θに依存する。
フラッシュ照明はフラッシュ装置からの距離とともに低下するため、遠方にある物体又は暗い物体は低い放射輝度値を有し、近くにある物体及び明るい物体は高い放射輝度値を有するものと予期する。
フラッシュ画像101と周囲画像102の対を用いて、画像全体について未知のスケールファクタまで成分Φ及びαを推定することができる。しかし実際には、カメラのダイナミックレンジが制限されているためにフラッシュ画像又は周囲画像の画質は非常に低くなる可能性がある。
フラッシュ画像のアーチファクト
本発明では、照明が変化しても変化しないシーンの特性を求め、これらの特性を用いて、反射、ハイライト及びホットスポット等のフラッシュアーチファクトを検出する。対応する画像パッチの類似度を求めるには、相関及び輝度比が一般に用いられる。
本発明は、フラッシュ画像及び周囲画像中の勾配ベクトルの向きに基づくコヒーレンスモデルを提供する。
勾配の向きのコヒーレンス
画像勾配が照明の局所的な変化によるものではなく、反射率及び幾何学的配置の局所的な変化によるものである場合、画像勾配の向きは可変照明下で比較的不変である。
2つの照明条件があるが、フラッシュ照明は、フラッシュ装置がカメラの中心付近にある特殊な場合であり得る。フラッシュで照明したシーンの影は、深度エッジにおける影を除けばごくわずかである。したがって、一般に、フラッシュ画像勾配の向きは、フラッシュアーチファクト及び周囲の影エッジを除けば周囲画像勾配の向きとコヒーレントであると予想される。したがって、勾配ベクトルの向きの比較によりフラッシュアーチファクトを示すことができる。
このコヒーレンスは、強度エッジのみでなく、画像中のほぼ全ての画素において存在する。ごく小さな大きさの勾配の方向は不安定であるため、本発明では、強度値を[0,1]の範囲に規格化した場合に勾配の大きさが0.005未満の画素を除外する。
Figure 2007035028
がフラッシュ放射輝度成分Φと周囲放射輝度成分αの間のコヒーレンシマップを示すものとする。したがって、コヒーレンスマップM(x,y)は画素(x,y)におけるフラッシュ画像と非フラッシュ画像の勾配ベクトルの角度の類似度を符号化する。
フラッシュ画像及び周囲画像における画素強度は大きく異なるが、勾配の向きのコヒーレンスは、フラッシュ画像及び周囲画像における勾配ベクトルは向きが同じであるが大きさが違うことを示す。したがって、勾配∇は未知のスカラー値kによって関連付けられる。したがって、勾配コヒーレンスモデルは次のように表される。
Figure 2007035028
スカラー値kは全ての画素について同じである訳ではない。しかし、スカラー値kは反射率に依存しない。したがって、スカラー値kは滑らかな表面上で比較的平坦である。スカラー値kは反射率勾配において正である。しかし、スカラー値は、深度エッジにおいて負になる可能性があり、勾配の極性が逆になると増加する。いずれにせよ、角度範囲[0,π]内における向きは不変である。後述のように、フラッシュ画像又は周囲画像は、反射、フラッシュの直接反射によるホットスポット、及び鏡面反射等のアーチファクトを示す。
図3A及び図3Bに示すように、これらのアーチファクトを未知のノイズとしてモデル化し、次のような新たな勾配∇α’及び∇Φ’を生成することができる。
Figure 2007035028
図3Aは、周囲画像とフラッシュ画像の勾配の関係を示す。勾配フラッシュ画像Φはノイズηによって損なわれている。図3Bは、本質的に射影である合成130によって∇αに直交するノイズηを除去することのできる方法を示す。
1つのフラッシュ画像Φ’を2つの画像Φ及びηに分解することは不良設定問題である。2つの式及び4つの未知数がある。勾配のコヒーレンスを分析し、スカラー値kを明示的に推定せずにベクトル射影をとることによって、この制約不足問題から歪みのない成分を復元することが可能である。
画像中の1画素における勾配は、反射率、表面の向き、深度又は照明の変化によって生じる。反射率勾配は向きを保存するが、照明勾配は向きを保存しない。幾何学的配置による勾配もまた、大きさの小さな勾配を除いて向きを保存する。
1画素における勾配∇Ix,y=(G,G)は向きtan−1(G/G)を有する。Φ及びαの値を代入することによって、フラッシュ画像101と周囲画像102の勾配比G/Gを比較することができる。
滑らかな表面における反射率勾配の場合、面法線及び観察方向は一定であるため、画素(x,y)、(x+1,y)及び(x,y+1)におけるcosφ、d及びBは同じである。以下の式から、両画像における比は等しい。
Figure 2007035028
したがって、勾配の向きは不変である。P及びEの項は勾配の向きに影響を与えないため、P及びEの項のスケーリングを簡略化のために無視することができる。周囲画像では周囲照明により生じるが、フラッシュ画像では生じない滑らかな表面における照明勾配の場合、比は異なる。一般性を失うことなく、照明エッジが画素(x,y)及び(x+1,y)を通るものとする。これにより、上記の式とは異なる比が生じ、次式により与えられる。
Figure 2007035028
したがって、照明勾配におけるコヒーレンスは低い。深度エッジでは、背景がフラッシュ画像よりも周囲画像において明るく照明されることがあるため、向きの極性が変化する可能性がある。しかし、高い勾配では、エッジの向きは変わらない。しかし、低い強度勾配では、深度エッジにおける勾配の向きは変化し得る。コヒーレンシマップMは、フラッシュ画像と非フラッシュ画像の勾配ベクトルの角度の類似度を符号化する。
勾配の合成
信号勾配ベクトルに直交するノイズ勾配ベクトルの成分を除去することによって、ノイズの視覚効果を大幅に低減することができる。先ず、画像の勾配を角度φだけ回転させる効果を分析する。G=[G,G]が画像Iの勾配場を示すものとする。各画素において、勾配は角度φだけ回転されて、次式によって与えられる新たな勾配場G’=[G’,G’]が生成される。
Figure 2007035028
I’は、ポワソン方程式∇I’=div(G’)を解くことによって得られる[G’,G’]から構成された画像を示すものとする。ここで、divは発散演算子を示す。2Dベクトル場G’の発散はdiv(G’)=(∂G/∂)+(∂G/∂)によって与えられる。G’及びG’の式を代入することによって、スカラー場の回転は常にゼロであるため、次式が得られる。
Figure 2007035028
したがって、画像勾配を角度φだけ回転させることによって、勾配場の発散はcos(φ)分の1に減少する。したがって、φ=π/2の角度において、あらゆる画像について発散はゼロになる。
これは、画像に直交する勾配成分を除去しても、画像からは何も除去されないことを証明する。したがって、合成130により、信号に直交するノイズ成分を排除することができる。
本明細書中では、合成130が射影である場合、記号→を用いる。したがって、図3Bに示すように、周囲画像勾配112へのフラッシュ画像勾配111の射影130は次式により与えられる。
Figure 2007035028
ベクトル
Figure 2007035028
はベクトル∇Φに沿い、未知のスケールファクタを含む。しかし、除去部分はベクトル∇Φに直交する。
したがって、合成130は、ノイズ∇ηが∇Φに直交する反射信号の成分を除去することを可能にする。
反射の除去
勾配の合成に基づくフラッシュアーチファクトの除去のいくつかの応用を説明する。
窓、保護用のニスコーティング又は絵画の前方にあるガラスのような透明レイヤを含むシーンの画像を取得する場合、フラッシュ画像は、意図しない反射又はホットスポットを含むことが多い。場合によっては、フラッシュ装置は、ガラスの背後にあるもの、例えば店内の商品を照明することが意図される。場合によっては、目標は、ガラスの前方にある物体を照明することである。場合によっては、周囲画像でさえ反射を含む。特定の条件下では、図4Aに示すように、フラッシュ画像101を使用することによって反射を低減することができる。
式(4)を再び参照して、フラッシュ画像と周囲画像の対のうち一方の画像のみが所与の領域において損なわれ、3つの未知数及び2つの式があるものと仮定する。
透明レイヤの背後のシーン
この応用では、フラッシュは、ガラスの背後にあるシーンを照明するよう意図される。しかし、ガラスの前方にある物体からの反射がアーチファクトとして現れる可能性がある。したがって、η=0であり、ηは非ゼロであり、∇Φ及び∇αは、フラッシュ反射ηが存在する場所を除くあらゆる場所においてコヒーレントである。目標は、無反射画像104を構成することである。
これを達成するために、次式に従ってフラッシュ勾配111を周囲勾配112に射影130することによって新たな勾配場∇Φを得る。
Figure 2007035028
合成勾配∇Φ103を積分することによって、アーチファクトのない画像104が構成140される。
反射レイヤの前方のシーン
この応用では、物体、例えば人物を、窓又はガラスで覆われた絵画のような反射レイヤの前方に配置する。反射レイヤの背後のシーン部分は、周囲照明によって十分に照明される。しかし、ぼんやりと照明された前景物体を照明するにはフラッシュが必要である。したがって、式(4)に関して、η=0であり、ηは非ゼロであり、∇Φ及び∇αは、フラッシュ反射ηが存在する場所を除くあらゆる場所においてコヒーレントである。目標は、無反射画像104を構成することである。
次式に従って、重みws並びに勾配コヒーレンシマップ及び飽和度マップを用いてフラッシュ画像勾配と周囲画像勾配を一次結合することによって新たな勾配フィールド∇Φを得る。
Figure 2007035028
図4Bは、飽和画素及び不飽和画素の規格化された画素強度の関数としての重みを示す。次に、合成勾配∇Φ103を積分することによってアーチファクトのない画像104を構成する。
自己反射
フラッシュ画像は、周囲画像における反射を除去するためにも用いることができる。例えば、十分に照明された絵画を撮影する際、周囲画像にしばしば反射が写る。反射を最小限に抑えるために、露出の少ないフラッシュ画像を撮影してもよい。しかし、フラッシュはホットスポットを生じる可能性がある。ここでの目標は、フラッシュ装置により生じるホットスポットのない、無反射画像を復元することである。
したがって、式(4)に関して、ηは非ゼロであり、ηはホットスポットにおいて非ゼロであり、∇Φ及び∇αは、ホットスポット及び周囲反射の場所を除くあらゆる場所においてコヒーレントである。
合成130を用いて、この場合、フラッシュ勾配への周囲勾配の射影をとる。フラッシュ勾配への周囲勾配の射影は、フラッシュ勾配が信頼できない場所、例えばホットスポットではとれないため、その場所には反射がないものと仮定し、それらの画素における元の周囲勾配を用いる。したがって、この場合の新たな勾配場103は次のようになる。
Figure 2007035028
本発明では、2D積分を勾配場に適用して、アーチファクトのない画像を構成140する。積分は、Elder著「Are Edges Incomplete?」(International Journal of Computer Vision 34, 2/3, pp. 97-122, 1999)、Fettal他著「Gradient Domain High Dynamic Range Compression」(Proceedings of Siggraph, ACM SIGGRAPH, 2002)、及びRasker他によって2003年3月19日付で出願された米国特許出願第10/392,429号「Enhancing Low Quality Images of Naturally Illuminated Scenes」(これらは全て参照により本明細書中に援用される)に記載されるような直接的な方法を用いることができる。ポアソン方程式∇I=divGを解くことによって、G=∇Iであるような勾配Gからの画像強度関数I’の推定値を得ることができ、ここで、∇はラプラス演算子であり、「div」は発散演算子である。ポワソン方程式は、フルマルチグリッド法を用いて解くことができる。参照により本明細書中に援用されるPress他著「Numerical Recipes in C: The Art of Scientific Computing」(Pearson Education, 1992)を参照のこと。
残差画像
興味深いことに、フラッシュ画像勾配111から合成勾配103を減算150することによって得られる残差勾配を積分することによって、ノイズ又は反射レイヤ、一般には残差画像105を復元することもできる。
自己反射の場合、反射レイヤηの勾配は次式により得ることができる。
Figure 2007035028
図5は、ガラスで覆われた絵画の前方に立つ撮影者が撮影した画像を示す。撮影者の腕501の反射が周囲画像102には写るが、フラッシュ画像101には写らない。しかし、フラッシュ画像はホットスポット502を含む。エンハンスド画像104にはどちらも写っていない。残差画像105には撮影者及びフラッシュ装置がともに写っている。
夜間における反射レイヤの前方のシーン
図6に示すように、一般的な応用は、ガラスに囲まれた部屋の中にいる人物の画像を夜間に取得することである。このような応用ではカメラの「夜間シーン」モードが一般に使用される。
人物は周囲画像102では露出不足になる。しかし、フラッシュ画像101は部屋の中の物体の反射601を含む。したがって、人物が十分に照明され、ガラスの背後にある背景が写り、フラッシュによる物体の反射がないエンハンスド画像104を構成することが望ましい。
明らかに、このようなシーンでは、フラッシュ装置は、窓の外の遠方にある建物を照明しない。したがって、フラッシュ画像と周囲画像を加算して、十分に照明された人物及び背景を得ることができる。
Hがフラッシュ画像と周囲画像の加算を示すものとし、加算画像における勾配を∇Hとする。しかし、加算Hには人物の反射が依然として残っている。反射を除去するために、周囲勾配∇αへの∇Hの射影130をとることができる。しかし、周囲画像が露出不足である場所、例えば窓の前方にいる人物における射影は信頼できない。
本発明では、露出不足マップを生成し、画素毎に、その強度に応じて、露出不足の画素の重みwueを求める。このような画素の全てにおいて、元のフラッシュ勾配を保持する。したがって、この場合、合成勾配場103は次のようになる。
Figure 2007035028
合成勾配∇Φ103を積分することによって、エンハンスド画像104を構成140する。
深度補償
フラッシュ輝度は、カメラからの距離の二乗で低下するため、フラッシュは、輝度が深度とともに急激に低下するトンネル効果を生じる。本発明では、符号化された深度−向き情報を用いて、フラッシュ画像中の遠方にある物体の強度をスケーリングする。
フラッシュ成分及び周囲成分のリニアスケール項(linear scale term)の比βは次のようになる。
Figure 2007035028
周囲照明B(x,y)が一定又は低周波数であると仮定すると、d/cosθ減衰を補償することによって、エンハンスド画像104を生成することができる。本発明では、コヒーレンシマップMを用いて、フラッシュ画像の勾配を、コヒーレンシが高い場所でのみ1/βによりスケーリングする。残りのフラッシュ勾配は次式に従って不変である。
Figure 2007035028
ガンマ補正、基底画像及び細部画像を用いたコントラストの低減、又は勾配のノンリニアスケーリング等の従来の強度規格化技法は、画像の全体的な外観を変化させる。対照的に、βマップを用いる本発明の方法は局所的なスケーリングのみを適用する。
図7はこの効果を示し、近くにいる人物が、フラッシュ画像101では露出過多になるが周囲画像102では露出不足になり、エンハンスド画像104では実質的に均等に照明される。
HDR出力画像
図9に示すように、本発明の1つの実施の形態は、カメラ904によりシーン903について、様々なフラッシュ出力901、又は一般に照明条件を用いた複数の画像、並びにオプションで、様々な露出時間902を用いた周囲画像を取得する。上述のように画像毎に勾配を求める。勾配画像901及び902を合成910して、エンハンスド出力画像914を構成する。出力画像では、できるだけ多くの画素が照明条件を変化させることによって「十分に照明される」。したがって、事実上、この十分に照明された画像は、露出時間を変化させることによって得られる従来技術の高ダイナミックレンジ画像(HDR)に知覚的に匹敵する。十分に照明されたという用語は、シーンを最適に照明するためにシーン中の照明量を変化させることから用いられる。
ダイナミックレンジは、シーン中の輝度レベル範囲を指す。ダイナミックレンジは通常、カメラのf値に関して測定され、各f値は隣接するf値の輝度を2倍又は半分にする。ほとんどのデジタルカメラシステムは、約6つのf値から成る範囲を有する。従来技術では、異なる露出時間で複数の画像を取得し、それらの画像をブレンドして1つの出力HDR画像にすることによってダイナミックレンジは大幅に拡張される。
したがって、従来技術のHDR画像は露出を変化させることによって得られる。これにより、シーン中の照明量は一定であるにも拘らず、カメラにより取り込まれる照明量は変化する。本発明によるHDR画像は照明条件を変化させる。したがって、この場合、露出時間は一定であるにも拘らず、カメラによって取り込まれる光量は変化する。
フラッシュ出力を変化させることは、本発明による、シーン中の照明条件を変化させてHDR画像を取得する1つの方法に過ぎないことに留意すべきである。上述した様々な照明条件はいずれも、同様に用いることができる。
図10は、異なるフラッシュ出力(P)及び露出時間(E)で取得した画像を示す。縦軸に沿ったフラッシュ出力の変化による照明の変化は、横軸に沿った露出時間の変化の場合と全く異なることに留意されたい。図11は、図10と同じシーンのHDR画像を示す。
本明細書において本発明の1つの実施の形態について説明するように、従来の露出時間HDRは、フラッシュ出力HDRと、またオプションでフラッシュ−露出HDRと異なる。所与の(P,E)設定に対して同じ強度値を有する2つの画素は、異なる(P,E)設定において異なる値を有し得る。
レンダリング
輝度放射マップΦ及びαをレンダリング920するために、本発明では、合成中の画像に二値トーンマッピングを適用する。一方のトーン値はフラッシュ露出を表し、他方の値は露出時間を表す。従来技術のトーンマッピングは、様々な露出時間で取得した画像に適用され、1つのトーン値のみを用いる。対照的に、本発明ではトーンマッピングを、様々なフラッシュ出力及び様々な露出時間で取得した画像に適用する。本発明では、フラッシュ画像のみを取得する場合、単一値トーンマッピングを用いることもできる。
トーンマッピングは、知覚上重要な特徴は全て保存したまま、高ダイナミックレンジを表示可能な範囲に圧縮する。具体的には、トーンマッピングは通常、他の方法ではカメラのダイナミックレンジにより制限される光学現象を模する。これらの例としては、ほとんどがレンズ及びCCDの特性であるフレア又はブルーミング、並びに微光条件によるブルーシフトがある。トーンマッピングは、画像の全体的な輝度を閲覧に許容し得るものにする。参照により本明細書中に援用されるReinhard他著「Dynamic Range Reduction Inspired by Photoreceptor Physiology」(IEEE Transactions on Visualization and Computer Graphics, vol. 11, no. 1, pp. 13-24, January/February 2005)を参照のこと。これは、露出不足又は露出過多の画像に特に重要である。トーンマッピングはトーン関数を用いることができる。Zhangに対して2005年5月17日付で発行された米国特許第6,894,720号「Method and apparatus for applying tone mapping functions to color images」(参照により本明細書中に援用される)を参照のこと。
合成された、十分に照明された(HDR)画像914は、フラッシュ放射輝度マップと露出放射輝度マップを「融合」することによって910構成することができる。本発明では、画素毎にフラッシュHDR画像勾配と露出HDR画像勾配の間で勾配の最大値を選択して最大コントラストを保存することによってマップを融合する。本発明では、フラッシュ放射輝度マップΦマップから周囲放射輝度マップαへの勾配の逆転も考慮する。さもなければ、近傍の画素の勾配が逆の向きとなる可能性があり、融合マップの品質に影響する。これを達成するために、本発明では、Φからαの間のコヒーレンシマップMを利用する。コヒーレンシが十分に高い、例えば、何らかの所定の閾値よりも高い場合にのみ、勾配の最大値をとる。そうでなく、コヒーレンスが閾値よりも低い場合、フラッシュ画像における勾配を保持する。
Tが、フラッシュ勾配∇Φの大きさが周囲∇αの大きさよりも大きい場合に「1」となり、そうでない場合に「0」となるようなマスクを示すものとする。したがって、新たな「融合」勾配場∇Rは次のように定義される。
Figure 2007035028
HDRフラッシュ画像は、上述のように、単に複数のフラッシュ画像901を融合することによって構成することができることに留意すべきである。
トーンマッピングの後、上述のような勾配の積分を用いて最終的な出力画像をレンダリングすることができる。
適応的なフラッシュ出力設定及び露出時間設定
多くの従来のカメラは、内部センサ及びプロセッサを用いて適切なカメラ設定を推定する。通常、センサは、シーン中の幾何学的配置及び照明条件を測定する。次に、これらを用いて、本明細書中において全体として「カメラ設定」と呼ばれるフォーカス、露出及びフラッシュ出力を設定することができる。しかし、従来技術の推定は、単一の適切なカメラ設定についてのみであり、これは、画像を取得する前のシーンの総測定値に基づく。これは多くの場合、露出過多又は露出不足につながり得る。
最適なカメラ設定、例えばフラッシュ出力及び露出時間を事前に決めることは困難である。最適な設定は、近くにある物体又は明るい物体を飽和させることなく、シーン中の遠方にある物体又は暗い物体を照明すべきである。これは、シーンの事前検知からは決めることができない。
本発明の1つの実施の形態は、デジタルカメラが事実上無数の画像を取得できるという事実を利用することができる。最適な画像のみを記憶又はダウンロードすればよい。したがって、カメラは先ず、1つ又は複数の「テスト」画像を取得して、最適なカメラ設定を決めることができる。
シーンを検知する代わりに、本発明では、検知素子において所望の特性を測定する。検知素子は、CCDタイプのカメラセンサの画素であってもよく、又はいくつかの画素及びマイクロレンズ及びフィルタを組み合わせてもよい、より高レベルの検知構造であってもよい。最適化される特性の組は、入射光の強度、波長、偏光、及び位相を含むことができる。
したがって、本発明では、シーン条件に頼る代わりに、カメラによって取得された実際の画像を測定して最適なカメラ設定を決める。本発明では、複雑で時間のかかる高レベルのシーン分析を行わないことにも留意すべきである。Bolle他に2001年10月9日付で発行された米国特許第6,301,440号「System and method for automatically setting image acquisition controls」を参照のこと。その代わりに、本発明では単純に、センサ素子の出力を調べて、素子毎に検知された特性を測定する。したがって、本発明のカメラは、多数の画像を非常に短時間で取得し、最後の画像のみを保持することができる。ユーザにとって、本発明のカメラの動作及び挙動は従来通りに見える。
設定は、偏光、観察方向、照明の波長、カラーバランス、フォーカス、ズーム、f値、露出、並びにフラッシュ出力、フラッシュ方向及び空間分布等を含み得る。
図8Aに示すように、本発明では、図10の例示的な画像について2次元のフラッシュ出力(P)及びシャッター露出時間(E)を分析することができる。本発明はまた、この2DのPE空間を適応的にサンプリングして、単一の高品質なフラッシュ画像と周囲画像の対(Φ,α)を推定する方法を提供する。次に、この画像対を用いて、エンハンスド画像を取得することができる。
図8Aにおいて、白丸801は、フラッシュ出力の変化による画像のダイナミックレンジを示し、黒丸802はシャッター露出の変化によるダイナミックレンジを示す。点模様の丸803はフラッシュ出力と露出時間の両方の変化によるダイナミックレンジを示す。
フラッシュ出力及び露出時間は相補的な情報を提供する。露出時間を増やすことにより、さもなければフラッシュ装置では照明されない深度のより深い物体の周囲画像を取得することができる。これを図8Bに示し、実線811は1画素における強度の可能な等高線を示し、破線812は別の画素の可能な強度等高線を示す。点模様の領域821及び822は概ね、露出不足及び露出過多をそれぞれ生じる出力(P)設定及び露出(E)設定を示す。
領域823は、以下で定義する「十分に露出された」強度値を有する画素を生じる出力設定及び露出設定を示す。
本発明では、上述のデータを得るために、例えば、N個の異なるフラッシュ出力及びN個の異なる露出時間を用いてN×N個の画像901及び902を取得する。カメラ応答を線形化した後、露出軸Eに沿ったN個の周囲サンプル、すなわち、様々な露出時間を有するサンプルのみを用いることにより従来のHDR方法を用いて周囲放射輝度フィールドαを推定することができる。フラッシュ放射輝度フィールドΦは、固定された露出Eにおいて様々なフラッシュ出力を有するP軸に平行なN個のサンプルを用いることによりフラッシュHDR方法を用いて推定することができる。
しかし、これらのサンプルにおける画素強度の多く821及び822は露出不足又は露出過多であり、「十分に露出された」画素の使用可能な強度範囲の外にある。
本明細書中で定義されるように、「十分に露出された」画素は、中間の約2/3の範囲、例えば範囲[0,255]における50〜220、又は規格化された範囲[0,1]における0.2〜0.85の強度を有する。これらの値は、異なるカメラでは変化し得ることに留意すべきである。しかし一般に、十分に露出された画素は露出不足でも露出過多でもない。十分に露出された画素は、SNR又は「良さ(goodness)」の測度に従って測定される。十分な露出は、1つの検知素子、例えば画素における望ましい特性の1つに過ぎない。
本発明では、図12に示すように、PE空間を分析し、十分に露出された強度を有する画素毎にフラッシュ−露出の合計値を保持することができる。
画像1202中の各画素kについて、フラッシュと露出の各対(P,E)のN×N個の式は次のように表すことができる。
Figure 2007035028
次に、画素毎に、N×N個の一次方程式から成る連立方程式を対応する画素の最小二乗系として解き、2つの未知数Φ及びαを推定1210する。また、各一次方程式を信頼度Γ(I i,j)により重み付けして重み付き最小二乗解を得ることができ、ここで、Γ(.)は特定のカメラISO設定における画素強度のSNR、又は「良さ」の測度である。
図8Cに示すように、ノイズの多い強度値832すなわちIは、各画素のPE格子の上に高さ場を形成する。上述の最小二乗法を用いて適切なΦ値及びα値を求めることは、この表面に平面834を当てはめることに対応する。この平面はPE格子の原点850を通る。
平面834の当てはめを図8Cに示し、軸は画素強度(I)、シャッター露出(E)、及びフラッシュ出力(P)である。黒丸831は、PE格子833内の様々なフラッシュ出力(P)設定及びシャッター露出(E)設定に対する画素強度(高さ)832である。平面834は画素強度832に当てはめられる。
PE空間は豊富な情報を有する。1つの画素における出力値μの等高線811はΦP+αE=μによって与えられる。等高線は当然ながら平行である。これらの線は、フラッシュ画像において照明されない遠くにある物体の場合は垂直、周囲画像において照明されない近くにある物体の場合は水平であり、一般に、両方の画像において照明されている物体の場合は負の傾きで傾斜している。拡散反射の場合、傾きは概してβ=cos(θ)/Bd)であり、テクスチャとは無関係である。
PE空間の適応的サンプリング
実際のシナリオにおいて、N×N個の画像を全て取り込むことは時間がかかり面倒である。高ダイナミックレンジのシーンを取得するために必要な画像数を最小化し、カメラがエンハンスド画像を取得するのに最適なフラッシュ設定及び露出設定を自動的に決めることが望ましい。目標は、以前に取得された画像においてSNRが高いと測定された画素を除き、十分に露出された強度値を有する画素数を最大化することである。
本明細書では、PE空間における「ウォーク」を用いて最小数のサンプルを選択する方法、及び選択したサンプルからカメラの最適なフラッシュ出力Φ及びシャッター露出時間αを推定する方法を説明する。
目的は、一組の所望の特性を有する画素数を最大化するために、次の画像に対する適切なフラッシュ出力設定及びシャッター露出時間設定、及び他のオプションの設定をカメラに自動的に選択させることである。すなわち、目的は、十分に露出された画素強度帯におけるフラッシュ成分Φ及び露出成分αをサンプリングすることである。
図12に示すように、カメラ1201は、所定の露出設定及びフラッシュ出力設定を用いてシーン1203の最初の画像1202を取得する。例えば、設定は手動であっても、カメラ1201内の従来のセンサによって決められていてもよい。放射輝度Φ及びα1211の推定値1210は画像対の画素毎に求められる。後述するように、これらの値は閾値Tと比較することができる。
P及びEの次の有益なサンプルについて、一般に、フラッシュ出力等高線に直交するサンプルが最も有用である。例えば、αがΦと比べて非常に小さい場合、フラッシュ出力を変化させるほうが露出時間を変化させるよりも有用である。しかし、シーンが飽和領域を除いて全体的に露出不足である場合、出力を上げてもホットスポットのサイズが大きくなるだけである。この場合、露出を増やすほうが良いであろう。
h個の画像を撮影した後、h+1番目の画像に対するフラッシュ出力及び露出時間の対(Ph+1,Eh+1)の探索は次のように行われる。
先ず、k番目の画素に対する候補(P,E)についての現在の推定値(Φ ,α )を用いて、次式を用いて画素の強度を予測する。
Figure 2007035028
次に、(P,E)1205、すなわち可能なカメラ設定の可能な別個の値の各々についてk番目の画素の強度1221を推定1220し、十分に露出された画素の総数を最大化する(P,E)1231を選択1230する。
Γ(.)がSNR又は「良さ」の測度関数を示すものとする。本発明の目標は、十分に露出された画素のフラッシュ照明成分と周囲照明成分の両方を検知することであるので、特定の画素の十分に露出された強度が成分強度の最小値であり、次のように表される。
Figure 2007035028
最小値をとることによって、3つの成分すべてを確実に十分に測定する。
以前の画像において十分に露出された強度を有する既にサンプリングした画素は除外する。そうしないと、フラッシュ出力露出パラメータ推定を現在の(P,E)値近くに保ったまま、「十分に露出された」画素が常にこの推定を支配する。
十分に露出された画素を除外するために、1画素におけるh+1個の強度サンプルにわたって十分に露出された強度の最大値をとる。
Figure 2007035028
最大値をとることによって、1画素が十分に露出されたものとして測定されると、その画素のSNR値を変化させないようにすることができる、すなわち、SNRはその最大値に「制限」され、よって最小化におけるその画素の効果を実質的に排除する。
全ての画素kにわたるSNRの合計を最大化する(P,E)設定1231を決める。
上記ステップを以下のように繰り返す1240ことが可能である。新たな測定値により、式(1)を用いてk番目の画素に対して新たな制約を加えることによって、推定値1211 Φ h+1,α h+1を更新する。Φ及びα1211の更新が所定の閾値T未満である場合、全ての有用なサンプルを処理したことになるため、終了する。そうでない場合、プロセスを継続して、次の最良の(Ph+2,Eh+2)パラメータを求める。
本発明を、好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るこのような変形形態及び修正形態をすべて網羅することである。
本発明の1つの実施の形態による、画像の画質を高める方法及びシステムのブロック図である。 本発明の1つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。 本発明の1つの実施の形態による勾配ベクトルを示す図である。 本発明の1つの実施の形態による合成勾配ベクトルを示す図である。 本発明の1つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。 規格化された強度の関数としての重みのグラフである。 本発明の1つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。 本発明の1つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。 本発明の1つの実施の形態による、フラッシュ画像と周囲画像を合成する方法のブロック図である。 本発明の1つの実施の形態による、出力−露出空間のグラフである。 本発明の1つの実施の形態による、強度等高線のグラフである。 本発明の1つの実施の形態による、出力−露出空間に当てはめられる平面のグラフである。 本発明の1つの実施の形態による、十分に照明された画像を取得する方法のブロック図である。 様々なフラッシュ出力設定及び露出時間設定で取得された画像の集まりである。 最適な出力設定及び露出設定で取得されたエンハンスド画像である。 本発明の1つの実施の形態による、カメラパラメータを適応的に設定するブロック図である。

Claims (11)

  1. 高ダイナミックレンジ画像を生成する方法であって、
    フラッシュ装置で照明されたシーンの一組の画像を取得するステップであって、前記フラッシュ装置は、前記一組の中の取得される画像毎に異なる出力設定を有する、ステップと、
    前記一組の画像を合成することによって、高ダイナミックレンジ画像を生成する、ステップと
    を含む、高ダイナミックレンジ画像を生成する方法。
  2. 前記高ダイナミックレンジ画像に単一値トーンマッピングを適用することによって、前記高ダイナミックレンジ画像をレンダリングすること
    をさらに含む、請求項1に記載の方法。
  3. 各画像は複数の画素を含み、前記合成することは、
    前記一組の画像中の対応する画素の強度値を用いて前記高ダイナミックレンジ画像中の各画素の強度を最小二乗推定すること
    をさらに含む、請求項1に記載の方法。
  4. 高ダイナミックレンジ画像を生成する方法であって、
    様々な出力設定を有するフラッシュ装置で照明されたシーンの一組の画像を、様々な露出時間を用いて取得するステップと、
    前記一組の画像を合成することによって、高ダイナミックレンジ画像を生成する、ステップと
    を含む、高ダイナミックレンジ画像を生成する方法。
  5. 前記一組の画像に二値トーンマッピングを適用することによって、前記高ダイナミックレンジ画像をレンダリングすること
    をさらに含む、請求項4に記載の方法。
  6. 各画像は複数の画素を含み、前記合成することは、
    前記一組の画像中の対応する画素の強度値を用いて前記高ダイナミックレンジ画像中の各画素の強度を最小二乗推定すること
    をさらに含む、請求項4に記載の方法。
  7. 高ダイナミックレンジ出力画像を生成するシステムであって、
    様々な出力設定を有するフラッシュ装置で照明されたシーンの一組の画像を取得するように構成されるカメラと、
    前記一組の画像を合成する手段であって、それによって、高ダイナミックレンジ画像を生成する、手段と
    を備える、高ダイナミックレンジ出力画像を生成するシステム。
  8. 高ダイナミックレンジ出力画像を生成するシステムであって、
    様々な出力設定を有するフラッシュ装置で照明されたシーンの一組の画像を、様々な露出時間も用いながら取得するように構成されるカメラと、
    前記一組の画像を合成する手段であって、それによって、高ダイナミックレンジ画像を生成する、合成する手段と
    を備える、高ダイナミックレンジ出力画像を生成するシステム。
  9. 高ダイナミックレンジ画像を生成する方法であって、
    様々な照明条件により照明されたシーンの一組の画像を取得するステップと、
    前記一組の画像を合成することによって、高ダイナミックレンジ画像を生成する、ステップと
    を含む、高ダイナミックレンジ画像を生成する方法。
  10. 前記合成することの前に前記一組の中の画像毎に勾配画像を生成すること
    をさらに含む、請求項9に記載の高ダイナミックレンジ画像を生成する方法。
  11. 前記一組の画像にトーンマッピングを適用することによって前記高ダイナミックレンジ画像画像をレンダリングすること
    をさらに含む、請求項9に記載の高ダイナミックレンジ画像を生成する方法。
JP2006198067A 2005-07-28 2006-07-20 高ダイナミックレンジ画像を生成する方法及び高ダイナミックレンジ出力画像を生成するシステム Pending JP2007035028A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/191,877 US7454136B2 (en) 2005-07-28 2005-07-28 Method and apparatus for acquiring HDR flash images

Publications (1)

Publication Number Publication Date
JP2007035028A true JP2007035028A (ja) 2007-02-08

Family

ID=37694410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006198067A Pending JP2007035028A (ja) 2005-07-28 2006-07-20 高ダイナミックレンジ画像を生成する方法及び高ダイナミックレンジ出力画像を生成するシステム

Country Status (2)

Country Link
US (1) US7454136B2 (ja)
JP (1) JP2007035028A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置
JP2012196606A (ja) * 2011-03-18 2012-10-18 Esubitsuku Kk コンクリートブロック及びコンクリートブロックの印刷方法
JP2018504071A (ja) * 2014-11-06 2018-02-08 デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法
US10652478B2 (en) 2012-09-04 2020-05-12 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10785401B2 (en) 2016-09-01 2020-09-22 Duelight Llc Systems and methods for adjusting focus based on focus target information
US10904505B2 (en) 2015-05-01 2021-01-26 Duelight Llc Systems and methods for generating a digital image
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US10931897B2 (en) 2013-03-15 2021-02-23 Duelight Llc Systems and methods for a digital image sensor
US11375085B2 (en) 2016-07-01 2022-06-28 Duelight Llc Systems and methods for capturing digital images
US11455829B2 (en) 2017-10-05 2022-09-27 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7916911B2 (en) * 2007-02-26 2011-03-29 Align Technology, Inc. System and method for digital tooth imaging
US8538536B2 (en) * 2007-04-20 2013-09-17 The Cleveland Clinic Foundation Methods of improving neuropsychological function in patients with neurocognitive disorders
US7679653B2 (en) * 2007-06-21 2010-03-16 Sony Ericsson Mobile Communications Ab Digital image acquisition arranged to acquire image data related to different light configurations
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
US8346002B2 (en) * 2007-07-20 2013-01-01 Microsoft Corporation High dynamic range image hallucination
US20090059039A1 (en) * 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
US7961398B2 (en) * 2008-03-05 2011-06-14 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
SE533375C2 (sv) 2008-03-12 2010-09-07 Mindy Ab Anordning och förfarande för digital fotografering
EP2265993B8 (en) * 2008-03-28 2021-07-07 Contrast, Inc. Whole beam image splitting system
WO2009121775A2 (de) 2008-04-01 2009-10-08 Bauhaus-Universität Weimar Verfahren und beleuchtungsvorrichtung zur optischen kontrastverstärkung
DE102008031243B4 (de) * 2008-07-02 2010-09-16 Eads Deutschland Gmbh Verfahren und Vorrichtung zur Erzeugung von High Dynamic Range(HDR)-Bildaufnahmen sowie Belichtungsvorrichtungen zur Verwendung darin
JP5138521B2 (ja) * 2008-09-19 2013-02-06 富士フイルム株式会社 撮像装置及び撮像方法
EP2180692A1 (en) * 2008-10-22 2010-04-28 STWireless SA Method of and a device for producing a digital picture
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash
US8515167B2 (en) * 2009-08-31 2013-08-20 Peking University High dynamic range image mapping with empirical mode decomposition
JP2013504940A (ja) * 2009-09-10 2013-02-07 コントラスト オプティカル デザイン アンド エンジニアリング,インク. 全ビーム画像スプリッタシステム
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
CN102985808B (zh) 2010-05-12 2016-08-24 利-考股份有限公司 宽动态范围成像
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US8675984B2 (en) 2011-03-03 2014-03-18 Dolby Laboratories Licensing Corporation Merging multiple exposed images in transform domain
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
WO2013123133A1 (en) 2012-02-14 2013-08-22 Gentex Corporation High dynamic range imager system
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US9036907B2 (en) * 2012-07-16 2015-05-19 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for extracting depth edges from images acquired of scenes by cameras with ring flashes forming hue circles
US12316978B2 (en) * 2012-09-04 2025-05-27 Duelight Llc Color balance in digital photography
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
US11013398B2 (en) 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
US9868449B1 (en) * 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US9769392B1 (en) 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
KR102158699B1 (ko) * 2014-09-25 2020-09-22 엘지전자 주식회사 이동 단말기 제어방법 및 이동 단말기
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
CN104301636B (zh) * 2014-10-30 2017-07-28 西安电子科技大学 低复杂度高效高动态数字图像的合成方法
US10419688B2 (en) * 2015-12-28 2019-09-17 Inuitive Ltd. Illuminating a scene whose image is about to be taken
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
AU2017308749A1 (en) 2016-08-09 2019-02-21 Contrast, Inc. Real-time HDR video for vehicle control
US10675955B2 (en) * 2016-11-14 2020-06-09 Google Llc Adaptive glare removal and/or color correction
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
EP3837635A4 (en) 2018-08-14 2022-04-27 Contrast, Inc. Image compression
US11039122B2 (en) * 2018-09-04 2021-06-15 Google Llc Dark flash photography with a stereo camera
US10554890B1 (en) * 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
US10742892B1 (en) * 2019-02-18 2020-08-11 Samsung Electronics Co., Ltd. Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
GB202011144D0 (en) * 2019-08-28 2020-09-02 ams Sensors Germany GmbH Systems for characterizing ambient illumination
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
EP4002833B1 (en) * 2020-11-17 2023-02-15 Axis AB Method and electronic device for increased dynamic range of an image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131718A (ja) * 1993-10-29 1995-05-19 Canon Inc 画像合成装置
JP2003198952A (ja) * 2001-12-27 2003-07-11 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及びプログラム
JP2005501356A (ja) * 2001-08-30 2005-01-13 ヒューレット・パッカード・カンパニー カラー画像にトーンマッピング関数を適用する装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528339A (en) * 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US6744471B1 (en) * 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
US6834125B2 (en) * 2001-06-25 2004-12-21 Science And Technology Corp. Method of improving a digital image as a function of its dynamic range
DE60135559D1 (de) * 2001-11-19 2008-10-09 St Microelectronics Srl Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich
WO2003047234A2 (en) * 2001-11-30 2003-06-05 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for providing multi-sensor super-resolution
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131718A (ja) * 1993-10-29 1995-05-19 Canon Inc 画像合成装置
JP2005501356A (ja) * 2001-08-30 2005-01-13 ヒューレット・パッカード・カンパニー カラー画像にトーンマッピング関数を適用する装置
JP2003198952A (ja) * 2001-12-27 2003-07-11 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及びプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916455A (zh) * 2010-07-01 2010-12-15 清华大学 一种高动态范围纹理三维模型的重构方法及装置
JP2012196606A (ja) * 2011-03-18 2012-10-18 Esubitsuku Kk コンクリートブロック及びコンクリートブロックの印刷方法
US12003864B2 (en) 2012-09-04 2024-06-04 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10652478B2 (en) 2012-09-04 2020-05-12 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US11025831B2 (en) 2012-09-04 2021-06-01 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10931897B2 (en) 2013-03-15 2021-02-23 Duelight Llc Systems and methods for a digital image sensor
US11394894B2 (en) 2014-11-06 2022-07-19 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
JP2021119701A (ja) * 2014-11-06 2021-08-12 デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法
JP2018504071A (ja) * 2014-11-06 2018-02-08 デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US10904505B2 (en) 2015-05-01 2021-01-26 Duelight Llc Systems and methods for generating a digital image
US11356647B2 (en) 2015-05-01 2022-06-07 Duelight Llc Systems and methods for generating a digital image
US11375085B2 (en) 2016-07-01 2022-06-28 Duelight Llc Systems and methods for capturing digital images
US10785401B2 (en) 2016-09-01 2020-09-22 Duelight Llc Systems and methods for adjusting focus based on focus target information
US12003853B2 (en) 2016-09-01 2024-06-04 Duelight Llc Systems and methods for adjusting focus based on focus target information
US11455829B2 (en) 2017-10-05 2022-09-27 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US11699219B2 (en) 2017-10-05 2023-07-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure

Also Published As

Publication number Publication date
US20070025717A1 (en) 2007-02-01
US7454136B2 (en) 2008-11-18

Similar Documents

Publication Publication Date Title
JP4675851B2 (ja) カメラ設定をシーンに従って適応的に決める方法及びカメラ設定をシーンに従って適応的に決めるように構成されるカメラ
JP4772612B2 (ja) エンハンスド出力画像を生成する方法及びシステム
US7454136B2 (en) Method and apparatus for acquiring HDR flash images
Liba et al. Handheld mobile photography in very low light.
Agrawal et al. Removing photography artifacts using gradient projection and flash-exposure sampling
CN109862282B (zh) 人物图像处理方法和装置
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
CN109644224B (zh) 用于捕获数字图像的系统和方法
CN110619593B (zh) 一种基于动态场景的双曝光视频成像系统
US7295720B2 (en) Non-photorealistic camera
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
US7103227B2 (en) Enhancing low quality images of naturally illuminated scenes
US7218792B2 (en) Stylized imaging using variable controlled illumination
US7206449B2 (en) Detecting silhouette edges in images
US7359562B2 (en) Enhancing low quality videos of illuminated scenes
Battiato et al. Exposure correction for imaging devices: an overview
US7102638B2 (en) Reducing texture details in images
US7724952B2 (en) Object matting using flash and no-flash images
JP4077869B2 (ja) 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法
CN110047060A (zh) 图像处理方法、装置、存储介质及电子设备
JP2017152866A (ja) 画像処理装置及び画像処理方法
Schöberl et al. Evaluation of a high dynamic range video camera with non-regular sensor
Li et al. Improving high dynamic range image based light measurement
Hristova et al. High-dynamic-range image recovery from flash and non-flash image pairs
Yao et al. Intensity mapping function based weighted frame averaging for high dynamic range imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120207