JP5214991B2 - 映像動的範囲向上の方法及び該装置 - Google Patents

Description

本発明は、映像動的範囲向上の装置及び方法に係り、さらに詳細には、センサを使用するデジタル映像撮影装置で、ライン別に集光時間を個別的に調節し、ライン間の相関関係を考慮して補間フィルタリングを行うことにより、映像の動的範囲を向上させる方法及び該装置に関する。

映像獲得装置の限界上、自然界の動的範囲（dynamic range）を全て表現できるわけではない。映像の動的範囲が不足した場合、映像のヒストグラムは暗い領域に偏っていたり、または明るい領域に偏っていて光が飽和（saturated）しうる。かような場合、実際の明るさが互いに異なる部分でも、獲得された映像では暗い領域が狭い動的範囲内に集まっていたり、または明るい領域で光が飽和され、映像内の客体の区別が困難である場合がある。はなはだしい場合には、実際に客体（object）があることにもかかわらず、不足した動的範囲によって、客体が見えないこともある。

デジタル映像撮影装置（digital image capture device）は、センサを介して集光された光を電気的信号に変えることによって映像を獲得する。自然界の実際の様子をそのまま獲得することが一般的である場合であっても、映像撮影装置は、光を集める集光時間によって、映像を実際よりさらに暗く、あるいはさらに明るく得ることがある。すなわち、映像獲得装置で光を長く集めるほど、さらに明るい映像を得ることになる。従って、暗い領域の集光時間は短く、明るすぎて飽和された領域の集光時間は長いと見ることができる。

図１は、撮影しようとする対象の実際の動的範囲及び映像獲得装置の動的範囲を比較した一例を図示する。

範囲１０２は、撮影しようとする対象の実際の動的範囲を示し、範囲１１２は、映像獲得装置の動的範囲を示す。自然界の動的範囲、すなわち実際の動的範囲に比べて、映像撮影装置により獲得できる映像の動的範囲は限定的である。特に、８ビットで表現するデジタル映像の場合、０〜２５５までの明るさしか示すことができないので、表現できる動的範囲は足りない。

従って、自然界の動的範囲である範囲１０２のうち、映像獲得装置の動的範囲である範囲１１２を外れる部分が発生する。図１Ａの範囲１０４は、自然界の実際の動的範囲のうち暗い範囲に該当し、範囲１０６は、自然界の実際の動的範囲のうち明るい範囲に該当する。

範囲１０４は、映像獲得装置の動的範囲のうち最も暗い値であるＸ値で表現されるので、自然界で互いに異なる明るいことを有した事物であるといっても、映像獲得装置によって獲得された映像では、事物が同じ明るさと認識され、互いに区分が困難である。

同様に、範囲１０６は、映像獲得装置の動的範囲のうち、最も明るい値であるＹ値で表現されるので、映像獲得装置を介して獲得された映像では、光が飽和されて事物間の区別が不可能である。

不足した動的範囲を改善しつつ映像を自然に表現するために、被写体（object）の明暗対比（brightness contrast）を適切にストレッチングすることが重要であるが、映像の明暗対比を向上させるための従来の代表的な技法としてヒストグラム・ストレッチング（histogram stretching）がある。

しかし、従来技術による映像ストレッチング方法は、入力ピクセルの最大値及び最小値を利用するために、非常に暗いか、または非常に明るいノイズが映像に存在すれば、映像の画素値の範囲が広くなり、実際の映像の画素値の範囲ではないノイズにより動的範囲が調節され、効果が顕著に落ちるという問題点があった（非特許文献１参照）。また、ピクセルに欠陥（artifact）がある場合、欠陥ピクセルの入力ピクセル値は０になり、これにより、入力ピクセルの最小値が０になることにより、ノイズの場合と同様に、実際の明るさではない欠陥ピクセルにより動的範囲が調節されるという問題点があった。上記二種の場合のようなノイズや、欠陥ピクセルがある場合ではないにしても、ストレッチングを介しては明るくなる程度及び暗くなる程度が小さく、動的範囲の調節効果が不十分であるという問題点があった。
"Handbook of Image and Video Processing",p.28,Editor Al Bovic,2000,Academic Press

本発明がなそうとする技術的課題は、異なる集光時間により獲得されたラインを利用した補間フィルタリングを介して、映像動的範囲を向上させる方法及びその装置において、映像の特性によって集光時間が個別的に設定されるライン間の相関関係を利用して補間フィルタリングを行うことによって動的範囲を調節し、映像の動的範囲を向上させる方法及び該装置を提案するところにある。

また、補間フィルタリングを介した映像処理によって動的範囲を向上させることによって、映像のディテール向上だけではなく、ノイズ減少、動きブラーリング減少のような映像を改善するための方法を提案する。

前記技術的課題を達成するために、本発明の一実施例によって、映像獲得装置のセンサ部を介して入力された映像の動的範囲を向上させる方法において、映像動的範囲向上の方法は、センサ部の集光時間がライン別に個別的に設定されて入力映像が生成される段階、及び入力映像に対し、個別的に設定された集光時間をもって、現在ラインに隣接した隣接ラインを利用した補間フィルタリングを行って、補間された映像が生成される段階を含む。

一実施例の入力映像生成段階は、センサ部の集光時間がライン別にあらかじめ個別的に設定される段階を含む。

他の実施例の入力映像生成段階は、センサ部を介して初期映像が獲得される段階、初期映像の特性を利用してセンサ部の集光時間がライン別に個別的に設定される段階、及びライン別に個別的に設定された集光時間を有するセンサ部を介して入力映像が生成される段階を含む。

望ましい実施例によれば、補間された映像生成段階は、現在ラインと隣接ラインとの相関関係が計算される段階、及び相関関係に基づいて補間フィルタリングのフィルタ係数が調節される段階をさらに含む。

本発明の一実施例の補間フィルタリングは、補間しようとする隣接ラインのピクセルのうち、少なくともいずれか１つのピクセル及び現在ラインのピクセルそれぞれに、所定の重み付けを乗じた後で加える加重和を計算する。

望ましくは、集光時間の設定段階は、初期映像の動的範囲に基づいて、少なくとも１つのラインに対する集光時間が個別的に調節される。

一実施例によれば、集光時間の設定段階は、初期映像のノイズレベルに基づいて、少なくとも１つのラインに対する集光時間が個別的に調節される。

他の実施例の集光時間の設定段階は、初期映像に動きがある場合、動きのブラーリング程度に基づいて、少なくとも１つのラインに対する集光時間が個別的に調節される。

望ましい実施例のフィルタ係数の調節段階は、フィルタ係数がライン別の集光時間に基づいて決定される。

一実施例のフィルタ係数の調節段階は、フィルタ係数が入力映像の動的範囲に基づいて決定される。

前記技術的課題を達成するために、本発明の一実施例による映像獲得装置の映像動的範囲向上の装置は、ライン別に個別的に設定された集光時間を介して入射された光を電気的信号に変え、入力映像を生成する入力映像生成部、及び入力映像に対し、個別的に設定された集光時間をもって、現在ラインに隣接した隣接ラインを利用した補間フィルタリングを行って、補間された映像を生成する映像処理部を備える。

一実施例の入力映像生成部は、ライン別にあらかじめ設定された集光時間を介して入射された光を電気的信号に変えるセンサ部を備える。

望ましい実施例の入力映像生成部は、入射された光を電気的信号に変えて映像を獲得するセンサ部、及びセンサ部を介して獲得された初期映像の特性を利用してセンサ部のライン別の集光時間を個別的に調節する集光時間制御部を備える。

本発明の他の実施例の入力映像生成部は、入射された光を前記電気的信号に変えて映像を獲得するセンサ部、及びセンサ部のライン別の集光時間を個別的に調節する集光時間制御部を備え、映像処理部は、入力映像生成部で生成された初期映像の特性を利用し、センサ部のライン別の集光時間を個別的に調節した集光時間を集光時間制御部に伝達する手段を含む。

また、本発明は、可能な実施例により具現される映像動的範囲向上の方法のうち、いずれか１つの方法を具現するためのプログラムを記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明によって、集光時間を互いに異ならせるライン間の補間フィルタリングを介した映像動的範囲向上の方法及び該装置は、互いに個別的に設定された集光時間を有するライン間の相関関係を利用したラインの補間フィルタリングを介して広い動的範囲を生成することが可能である。

センサは、ライン別に集光時間を異ならせるにあたり、複数個のラインの集光時間を異ならせることが可能であり、一例としては、奇数番目のラインと偶数番目のラインとの集光時間を個別的にすることができる。各ライン別に該当する集光時間は、映像の動的範囲特性及びノイズレベル、動きブラーリングなどを考慮して決定される。

ラインを利用した補間フィルタリングは、それぞれのラインの相関関係だけではなく、映像の動的範囲などの特性及びライン別に個別的に設定されたセンサ部の集光時間を考慮する。補間フィルタリングを介した映像処理を介して動的範囲を改善することによって、映像のディテール向上だけではなく、ノイズ減少、動きブラーリング減少などを行うことができる。

以下、本発明の説明において、映像の動的範囲とは、映像をディスプレイ装置に表現するにおいて、暗い部分から明るい部分までの輝度（luminance）を表現できる範囲を意味する。動的範囲を調節する過程は、映像の輝度など明るさを示すピクセル値を調整することによってなされる。動的範囲が広いならば、階調表現が豊富になる。

以下、図２Ａないし図８Ｂを参照し、本発明の望ましい実施例について詳細に説明する。

本発明は、自然界の動的範囲に比べて、映像獲得装置の不足した動的範囲によって発生する問題点を解決するところに目的がある。センサ部の集光時間を調節することによって、個別的に獲得された互いに異なる動的範囲を利用し、動的範囲の向上を図るものである。

以下、図２Ａ、図２Ｂ及び図２Ｃを介して、本発明の実施例による映像動的範囲向上の装置について説明する。

図２Ａは、本発明の一実施例による映像動的範囲向上の装置のブロック図を図示する。

映像動的範囲向上装置２００は、入力映像生成部２１０及び映像処理部２２０を有し、入力映像生成部２１０は、レンズ２１２、センサ部２１４を有する。

入力映像生成部２１０は、入射される光をライン別に集光時間が個別的に設定されたセンサを介して入力映像を生成し、映像処理部２２０に出力する。

レンズ２１２は、映像動的範囲向上装置２００で映像を獲得するために、レンズ２１２を通過した光を感知するセンサ部２１４の方向に光を集中させる。

センサ部２１４は、レンズ２１２により集中した光を感知して電気的信号に変え、入力映像を生成して映像処理部２２０に出力する。センサ部２１４は、所定大きさであるｎＸｍ個のピクセルからなるＣＣＤ（Charge-Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサを具備し、各ピクセル別に入力される光を集光して電気的信号に変える。センサ部２１４のピクセル単位で得られる情報は、映像のピクセルに対応する。本発明の実施例によって、映像のライン別に集光時間が調節されるために、センサ部２１４の画素のライン単位で集光時間を調節できる。

図２Ａの一実施例は、センサのライン別の集光時間があらかじめ個別的に設定されている。固定的な場所や環境に位置する映像獲得装置は、最適の集光時間が一定しているので、それに合わせて、ライン別にあらかじめ集光時間の設定されたセンサを使用する。

映像処理部２２０は、入力映像生成部２１０で生成された入力映像を利用して映像処理を行って、補間された映像を出力する。本発明の映像動的範囲向上装置２００では、異なる動的範囲を有する情報を利用し、不足した動的範囲を広い動的範囲に向上させることが目的であるから、集光時間が個別的に設定された隣接ライン間の相関関係に基づいて、補間フィルタリングを行う。

図２Ｂは、本発明の他の実施例による映像動的範囲向上の装置のブロック図を図示する。

映像動的範囲向上装置２００は、入力映像生成部２３０及び映像処理部２２０を備え、入力映像生成部２３０は、レンズ２１２、センサ部２３４及び集光時間制御部２３６を備える。以下、レンズ２１２及び映像処理部２２０の機能及び役割は、図２Ａと同一である。

入力映像生成部２３０は、入力映像の特性を利用して最適の集光時間を設定し、ライン別の集光時間を個別的に設定することによって入力映像を生成し、映像処理部２２０に出力する。

センサ部２３４は、レンズ２１２から入射される光を電気的信号に変え、集光時間制御部２３４と映像処理部２２０とに出力する。センサ部２３４は、センサ部２１４（図２Ａ）と機能がほぼ同一であるが、センサ部２３４のライン別の集光時間は、可変的に調節が可能である。センサ部２３４により初めて獲得された初期映像は、最適の集光時間を計算するために利用される。

集光時間制御部２３６は、入力映像生成部２１０で光を感知するセンサ部２３４の集光時間を計算し、センサ部２３４及び映像処理部２２０に出力する。集光時間は、ライン別に個別的に設定されるものであるので、集光時間制御部２３６は、ライン別に集光時間を決定しなければならない。

図２Ｂのような本発明の実施例は、センサ部２３４から獲得された初期映像の特性を分析し、集光時間を調節できる。このとき、初期映像の特性は、センサ部のライン別の集光時間が一定なときの動的範囲を基にして分析されねばならないなので、センサ部２３４のライン別の集光時間がまだ個別的に設定される前に獲得された初期映像が利用されねばならない。

図２Ｃは、本発明のさらに他の実施例による映像動的範囲向上の装置のブロック図を図示する。

映像動的範囲向上装置２００は、入力映像生成部２４０及び映像処理部２５０を備え、入力映像生成部２３０は、レンズ２１２、センサ部２３４及び集光時間制御部２４６を備える。以下、レンズ２１２及びセンサ部２３４の機能及び役割は、図２Ｂと同一である。

入力映像生成部２４０は、初期映像を生成して映像処理部２５０に出力し、映像処理部２５０から入力された集光時間を介してライン別に集光時間が個別的に設定された入力映像を生成し、映像処理部２５０に出力する。

集光時間制御部２４６は、映像処理部２５０からライン別に個別的に調節された集光時間を入力され、センサ部２３４のライン別の集光時間を制御する。

映像処理部２５０は、センサ部２３４により初めて獲得された初期映像を利用してライン別の最適の集光時間を求め、入力映像生成部２４０の集光時間制御部２４６に出力する。また、映像処理部２５０は、前述の映像処理部２２０と同様に、入力映像生成部２１０で生成された入力映像を利用して映像処理を行って、補間された映像を出力する。

図２Ｂの一実施例は、集光時間制御部２３６自体でセンサ部２３４のライン別の集光時間を決定し、センサ部２３４の集光時間を制御する。一方、図２Ｃの他の実施例は、映像処理部２５０でセンサ部２３４のライン別の集光時間を決定し、集光時間制御部２４６は、映像処理部２５０で決定した集光時間を基に、センサ部２３４の集光時間を制御する。

以下では、図３Ａないし図３Ｄを参照しつつ、集光時間が異なるように獲得された映像の特性を比較して説明する。

一般的に、集光時間によってセンサに入る光量が変わる。集光時間が十分に長ければ、センサに入る光量（light amount）を増やすことができるので、暗い部分の動的範囲表現を向上させることができる。反対に、集光時間が短いならば、センサに入る光量を減らすことができ、明るい部分での動的範囲が向上し、明るい部分での繊細なイメージを得ることができる。しかし、暗い部分では動的範囲が減り、暗い部分の繊細な階調表現を失うことになる。

従って、明るさが強くて光が飽和される場合には、集光時間が短く調節されることが必要であり、明るさが弱くて映像が暗すぎる場合には、集光時間が長く調節されて光をさらに集める必要がある。

図３Ａは、撮影しようとする対象の実際の動的範囲及び映像獲得装置の動的範囲を比較した他の例を図示する。

図１のように、撮影しようとする対象の自然界の実際の動的範囲１０２は、ＸからＹまで分布し、映像獲得装置の動的範囲１１２は、Ｘ’からＹ’まで分布する。図３Ａの撮影しようとする対象は、暗い部分と明るい部分とに情報が偏重している一方、中間明るさの部分は、重要な情報のないケースに該当する。撮影しようとする対象の暗い部分の一部と明るい部分の一部は、動的範囲１１２に含まれないので、動的範囲１１２を有する映像獲得装置によって映像が獲得される場合、動的範囲１１２を外れる部分は表現できず、結果的に階調表現が不足してしまう。

図３Ｂは、集光時間が長い場合、映像獲得装置で得ることができる動的範囲を図示する。

集光時間が長い場合、光がさらに多く入射されるので、相対的に暗い部分の表現が可能になる。映像獲得装置の動的範囲１１２の幅は一定であるが、集光時間を延長させることによって、Ｘにほぼ近接するＸ”まで情報を得ることができる。従って、図３Ａでは獲得できなかった明るい部分の領域３２２を全体的に獲得できる。代わりに、動的範囲１１２は固定的であるから、Ｘ’がＸ”に移動するほどＹ’がＹ”に移動する。すなわち、光が多く入射されるほど明るい部分は飽和され、相対的に明るい部分の情報は、さらに限定的に獲得される。

図３Ｃは、集光時間が短い場合、映像獲得装置で得ることができる動的範囲を図示する。

集光時間が短い場合、光が少なく入射されるので、相対的に明るい部分の表現が可能になる。集光時間を短くすることによって、Ｙにほぼ近接したＹ”まで情報を得ることができる。従って、図３Ａでは獲得できなかった暗い部分の領域３３２を全体的に獲得できる。一方、動的範囲１１２は固定的であるから、ＹがＹ”に移動するほどＸがＸ”に移動する。従って、光が少なく入射されるほど相対的に暗い部分の情報はさらに限定的に獲得される。

図３Ｄは、集光時間を、長いラインと短いラインとを利用して補間フィルタリングを行った結果の動的範囲を図示する。

集光時間が長い場合に獲得された映像の特性及び集光時間が短い場合に獲得された映像の特性を利用すれば、それぞれの場合で不足した動的範囲を補充できるので、暗い部分と明るい部分との精密な表現まで可能になる。映像獲得装置の動的範囲１１２は固定的であるが、長い集光時間によって部分領域３２２をいずれも獲得した場合の情報と、短い集光時間によって部分領域３３２をいずれも獲得した場合との情報を利用し、動的範囲１１２に明るい部分と暗い部分との情報をいずれ表現することが可能になる。

本発明の一実施例により、相対的に部分領域３２２と３３２との輝度が実際の撮影対象の輝度に比べては、中間輝度部分に相対的に追いやられることになるが、中間部分に情報が特別にない場合、さらに情報が多い明るさ部分領域のディテールを復元できて有用である。

よって、本発明の望ましい実施例により、映像獲得装置による既存映像の暗い部分で、表現されえない自然界の動的範囲のうち暗い部分が細密に表現され、既存映像の明るい部分で、光が飽和される現象を防止して事物間の区分が可能になる。

ある映像に暗すぎる部分と明るすぎる部分とが共存しうるので、暗い部分の動的範囲を向上させるために、映像全体の集光時間を延ばすならば、明るい部分が飽和されることになるであろう。同様に、明るい部分の階調表現を改善するために、映像全体の集光時間を短くするならば、映像が全体的に暗くなり、元々暗かった部分の階調表現が損傷されることである。従って、暗い部分と明るい部分との動的範囲をいずれも考慮することができる集光時間の設定が必要である。

従って、本発明の多様な実施例では、映像全体に対する集光時間が一定に設定されるのではなく、ライン別に個別的に適用させた集光時間とラインとの相関関係を利用して広い動的範囲を得る。

本発明の実施例は、集光時間制御部２３６または映像処理部２５０で初期映像の特性を利用し、前述のライン別の集光時間を決定する。利用されうる初期映像の特性は、撮影しようとする対象の階調分布、ノイズ程度及び動き程度などでありえる。分析された映像特性を利用し、ライン別の集光時間の長さ、いくつのラインの長さを異ならせるか否かを決定する。

図４Ａは、本発明の一実施例によって、前記図２Ａないし図２Ｃのセンサ部２１４，２３４の各ライン別に集光時間を調節する一例を説明するための図である。

図４Ａは、センサ部２１４，２３４の奇数番目のラインと偶数番目のラインとの集光時間が異なる場合である。奇数番目のラインは、偶数番目のラインより集光時間が短いので、集光時間が長いときより相対的に映像が暗く獲得され、偶数番目のラインは、奇数番目のラインより集光時間が長いために、相対的に映像が明るく獲得される。従って、奇数番目のラインは、明るすぎて光が飽和される場合に対して有利であり、偶数番目のラインは、暗すぎて事物が見えない場合に対して有利である。

本発明の一実施例で、集光時間が異なるラインが少なくとも一つである。従って、図４Ａのように、奇数番目のラインと偶数番目のラインとの集光時間が個別的に設定されることも可能であり、例えば、ある映像でただ１つのラインだけ異なるラインとは集光時間が個別的に設定されることもある。

図４Ｂは、本発明の一実施例によって、前記図２Ａないし図２Ｃのセンサ部２１４，２３４の各ライン別に集光時間を制御する他の例を説明するための図である。

図４Ｂの場合、４本のラインがそれぞれの集光時間が個別的に反復される場合を図示する。かかる方式で複数本のラインが集光時間が異なる場合にも、ライン間の互いに異なる動的範囲特性を利用して補間フィルタリングを行うことにより、映像処理を行うことができる。

以下、図２Ａないし図２Ｃの映像処理部２２０，２５０の補間フィルタリング機能について説明する。

映像処理部２２０，２５０では、集光時間が互いに異なるライン間の相関関係を利用し、ライン別の補間フィルタリングを行う。ライン間の相関関係は、入力映像の特性及び集光時間に基づいて把握する。本発明の一実施例で、ラインを利用した補間フィルタリング方法は、垂直方向の補間フィルタを利用する。補間フィルタの係数は、ライン間の相関関係を利用して決定される。

このとき、ライン間の相関関係及び補間フィルタの係数を決定することになる要因は、入力映像の特性、例えば入力映像の動的範囲特性、ノイズの有無及び動く事物の有無などを考慮して決定される。また本発明では、ライン別に集光時間が個別的に設定されるので、集光時間によって映像の明るさが影響を受ける。従って、補間フィルタリング後の結果、映像が平均的な映像の明るさを有するように、補間フィルタの係数が決定されねばならない。

本発明の集光時間は、映像の動的範囲などの映像特性を考慮して決定されるので、結果的に、補間フィルタの係数を決定する要因は、映像のさまざまな特性であると見ることができる。

集光時間の短いラインは、映像の明るい部分のディテール表現に有利であり、長い集光時間のラインは、暗い部分のディテール表現に有利である特性を有することになる。以下、奇数番目のラインは、偶数番目のラインより集光時間が短く設定され、偶数番目のラインは、奇数番目のラインより集光時間が長く設定される場合を例にとって説明する。

映像処理部２２０，２５０は、奇数番目のラインと偶数番目のラインとの相関関係を利用して補間フィルタリングを行うことにより、映像の暗い部分と明るい部分とのディテールをいずれも向上させることになる。

一例として、短い集光時間を有する奇数番目のラインの問題点である暗い部分の狭い動的範囲が補償されるために、暗い部分の広い動的範囲を有する偶数番目のラインを利用して補間フィルタリングが行われる。偶数番目のラインの暗い部分についての情報を利用し、奇数番目のラインの暗い部分の動的範囲が補償されうる。

同様に、長い集光時間を有する偶数番目のラインの明るい部分の狭い動的範囲が補償されるためには、明るい部分の広い動的範囲を有する奇数番目のラインを利用して補間フィルタリングが行われねばならない。奇数番目のラインの補間目的と同様に、奇数番目のラインの明るい部分についての情報を利用し、偶数番目のラインは、明るい部分の動的範囲を補充できる。

以下、現在ｎ番目のラインのピクセルの補間フィルタリングが行われる本発明の一実施例を説明する。補間フィルタリングは、補間しようとする現在ラインに隣接した異なる集光時間を有するラインのピクセルのうち、少なくともいずれか１つのピクセル及び現在ラインのピクセルそれぞれに所定の重み付けを乗じた後で加える加重和を計算する。

［ａ，ｂ，ｃ］の３タップ補間フィルタを利用する場合、現在ピクセル値をｘ；ｎ−１番目のラインに位置する現在ピクセルの隣接ピクセル値をｙ；ｎ＋１番目のラインに位置する現在ピクセルの隣接ピクセル値をｚとするとき、現在ピクセルの補間されたピクセル値は、式（１）による。

ｘ’＝ａ＊ｙ＋ｂ＊ｘ＋ｃ＊ｚ （１）
式（１）のように、隣接ライン別に集光時間及び映像の動的範囲に基づく係数を設定し、フィルタリングに使われるピクセル値に重み付けをすることにより、補間フィルタリングがなされる。

図５Ａは、暗い領域の動的範囲が狭いという映像を図示する。

前述のように、暗い映像の集光時間は、明るい映像に比べて相対的に短いので、明るい部分の動的範囲は十分であるが、暗い部分の階調表現が困難である。図５Ａの映像の表示された領域から分かるように、窓と蛍光灯周辺の明るい部分は階調表現が好ましくなっている一方、テーブル周囲は暗く、机及び机の上の事物は見えず、テーブルと机との境界線などのディテールが表現されていない。

図５Ｂは、明るい領域での動的範囲が狭いという映像を図示する。

明るい領域で動的範囲が狭い場合は、暗い領域で動的範囲が狭い場合とは相反するように、集光時間が長いので、暗い部分の階調表現には忠実でありえるが、明るい部分は光が飽和され、ディテールを失うことになる。図５Ａと比較し、図５Ｂの表示された部分を見れば、机の上の事物がいずれも区別され、机及びテーブル間の境界線などのディテールが生き生きしており、階調が豊富に表現されている。しかし、窓近くの領域は光が飽和され、窓ブラインド、窓枠などが識別し難くなる。すなわち、明るい部分での階調表現に失敗してディテールを失うことになる。

図６は、ライン別に集光時間が異なる映像の例を図示する。図６は、本発明の一実施例によって、奇数番目のラインでは集光時間が長く、偶数番目のラインでは集光時間が短く設定されたセンサの備えられた映像動的範囲向上装置で、イメージプロセッサ前段階の映像として見ることができる。ライン別にそれぞれ光時間を個別的にし、図５Ａと図５Ｂとでのように、同じ映像をライン別に個別的に獲得したもののようである。従って、奇数番目のラインは集光時間が短く、明るい部分のディテールを入れ込んでおり、偶数番目のラインは集光時間が長いので、暗い部分の階調表現に有利である。

図７は、本発明の一実施例によって、補間フィルタリングを行った結果の映像を図示する。

本発明の一実施例による補間フィルタリング作業を簡単に具現するために、図６の映像に、垂直方向の［０．２５、０．５、０．２５］の補間フィルタを利用する。ここで、補間フィルタの係数は、映像の平均明るさを維持するために設定されたものである。また、集光時間が奇数番目のライン及び偶数番目のラインが個別的に設定されているので、３タップ（TAP）のフィルタを利用する。奇数番目のライン相互間には集光時間が同一であり、偶数番目のライン相互間にも同じであるから、補間フィルタの最初の係数と３番目の係数とが同一に決定される。

図７は、図６の奇数番目のラインと偶数番目のラインとを利用した補間フィルタリングを介して得られた映像であり、映像全体的に階調表現が向上しているということを確認することができる。図５Ａで表示された暗い領域で動的範囲が不足し、机及び机上の事物の識別が不可能であったが、図７の同じ領域の机及び事物は、明確に識別が可能である。また図５Ｂで、窓、その近くのブラインド及び窓枠は光が飽和して見えなかったが、図７の同じ位置の窓近くのディテールは、明確に復元されていることを確認することができる。

従って、集光時間が異なるラインを利用した補間フィルタリングを介し、集光時間の短い映像の明るい部分は広い動的範囲を有し、集光時間の長い映像の暗い部分は広い動的範囲を有するという特徴を組み合わせることにより、結果的に全体的な映像の階調表現が向上するという効果を得ることができる。

以下、本発明の集光時間の異なるラインを利用した補間フィルタリングを介し、階調表現の改善効果だけではなく、適用できる分野について説明する。

集光時間の長短によって階調表現の向上する効果は、不足した階調表現を改善させる機能だけではなく、他の映像処理方法にも有用に利用されうる。集光時間は、映像の明るさと密接な関連があるので、明るさによって影響を受けるさまざまな場合に、本発明の適用が可能である。

一例として、集光時間が長ければ、光を長く集めるので、映像を明るくできるが、光を集める間に動きが生じることがあるので、動きブラーリング現象が発生しうる。動きブラーリングを防止するために、集光時間を短縮すれば、暗い部分で階調表現が貧弱になる副作用が発生する。従って、本発明の一実施例では、ライン別に集光時間を個別的に調節することによって、階調表現の改善効果と同様に、動きブラーリング現象を減少させることができる。

すなわち、集光時間の短いラインでは、動きブラーリングを防止する効果を得ることができ、集光時間の長いラインでは、暗い部分での豊富な階調表現の効果があるので、両ラインを利用した補間フィルタリングを介して、暗い部分の階調が豊富でありつつ、動きブラーリングの少ない映像を得ることができる。

映像が暗ければ、ノイズの影響を多く受けるので、集光時間の短い場合には、映像にノイズが多く存在しうる。これを防止するために、集光時間を延ばすならば、明るい部分での光の飽和を招くこともある。従って、ノイズの影響をより少なく受けつつ、明るい部分での光の飽和を防止する効果を狙うために、集光時間を調節できる。

よって、本発明の他の実施例では、ライン別に集光時間を調節し、集光時間の長いラインでは、ノイズ減少の効果を狙い、集光時間の短いラインでは、明るすぎて光が飽和される部分の改善効果を狙うことができる。

前述のように、本発明のイメージプロセッサで行われる実施可能な実施例は、暗すぎて階調表現の困難な部分、及び明るすぎて光が飽和されて階調表現の困難な部分のディテール向上だけではなく、動きブラーリング減少及びノイズ減少の映像改善効果を得ることができる。

以下、図８Ａ及び図５Ｂを介して、本発明による映像動的範囲向上の方法の実施例について説明する。

図８Ａは、本発明の一実施例による映像動的範囲向上の方法のフローチャートを図示する。

段階８０２で、センサ部の集光時間がライン別にあらかじめ個別的に設定される。このときの集光時間は、映像獲得装置の使われる一定の環境を考慮して決定される。

段階８０４で、段階８０２でライン別に集光時間が個別的に設定されたセンサ部を介して入力映像を生成する。

段階８２０で、段階８０４で生成された入力映像に対し、個別的に設定された集光時間をもって、現在ラインに隣接した隣接ラインを利用した補間フィルタリングを行って、補間された映像を生成する。補間フィルタの係数は、集光時間の異なる隣接ライン間の相関関係を考慮して決定される。隣接ライン間の相関関係は、集光時間、動的範囲などの映像特性に基づいて求められる。

図８Ｂは、本発明の他の実施例による映像動的範囲向上の方法のフローチャートを図示する。

段階８１２で、センサ部を介して初期映像が獲得される。

段階８１４で、段階８１２で獲得された初期映像の特性を利用し、センサ部の集光時間がライン別に個別的に設定される。

段階８１６で、段階８１４でライン別に個別的に設定された集光時間を有するセンサ部を介して入力映像が生成される。

段階８２０で、段階８１６で生成された入力映像に対し、個別的に設定された集光時間をもって、現在ラインに隣接した隣接ラインを利用した補間フィルタリングを行って、補間された映像が生成される。このとき、補間フィルタの係数は、段階８１４で決定された集光時間及び入力映像の動的範囲などを考慮して求められる。

一方、前述の本発明の実施例は、コンピュータで実行されうるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現できる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。

以上、本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現できるということを理解することができるであろう。従って、開示された実施例は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものと解釈されねばならない。

本発明の映像動的範囲向上の方法及び該装置は、例えば、映像関連の技術分野に効果的に適用可能である。

撮影しようとする対象の実際の動的範囲及び映像獲得装置の動的範囲を比較した一例を示す図である。 本発明の一実施例による映像動的範囲向上の装置のブロック図を示す図である。 本発明の他の実施例による映像動的範囲向上の装置のブロック図を示す図である。 本発明のさらに他の実施例による映像動的範囲向上の装置のブロック図を示す図である。 撮影しようとする対象の実際の動的範囲及び映像獲得装置の動的範囲を比較したさらに他の例を示す図である。 集光時間の長い場合、映像獲得装置で得ることができる動的範囲を示す図である。 集光時間の短い場合、映像獲得装置で得ることができる動的範囲を示す図である。 集光時間を、長いラインと短いラインとを利用して補間フィルタリングを行った結果の動的範囲を示す図である。 本発明の一実施例によって、センサ部の各ライン別に集光時間を制御する一例について説明するための図である。 本発明の一実施例によって、センサ部の各ライン別に集光時間を制御する他の例について説明するための図である。 暗い領域での動的範囲が狭いという映像を示す図である。 明るい領域での動的範囲が狭いという映像を示す図である。 ライン別に集光時間の異なる映像の例を示す図である。 本発明の一実施例によって、補間フィルタリングを行った結果の映像を示す図である。 本発明の一実施例による映像動的範囲向上の方法のフローチャートを示す図である。 本発明の他の実施例による映像動的範囲向上の方法のフローチャートを示す図である。

符号の説明

１０２ 撮影対象の実際の動的範囲
１０４ 自然界の実際の動的範囲のうち暗い部位
１０６ 自然界の実際の動的範囲のうち明るい部位
１１２ 映像獲得装置の動的範囲
２００ 映像動的範囲向上の装置
２１０，２３０，２４０ 入力映像生成部
２１２ レンズ
２１４，２３４ センサ部
２２０，２５０ 映像処理部
２３６，２４６ 集光時間制御部
３２２ 明るい部分の領域
３３２ 暗い部分の領域

Claims (23)

1. 映像獲得装置のセンサ部を介して獲得された映像の動的範囲を向上させる方法において、
   前記センサ部の集光時間がライン別に個別的に設定されて入力映像が生成される段階と、
   前記入力映像に対し、前記個別的に設定された集光時間をもって、現在ラインに隣接した２つの隣接ラインを利用した補間フィルタリングを行って、補間された映像が生成される段階とを含み、
   前記入力映像生成段階は、前記センサ部の集光時間が長いラインと集光時間が短いラインとが交互に起こるように、前記センサ部の集光時間が前記ライン別にあらかじめ個別的に設定される段階を含む、
   ことを特徴とする映像動的範囲向上の方法。
2. 前記入力映像生成段階は、
   前記センサ部を介して初期映像が獲得される段階と、
   前記初期映像の特性を利用し、前記センサ部の集光時間が長いラインと集光時間が短いラインとが交互に起こるように、前記センサ部の集光時間がライン別に個別的に設定される段階と、
   前記ライン別に個別的に設定された集光時間を有するセンサ部を介して入力映像が生成される段階とを含む、
   ことを特徴とする請求項１に記載の映像動的範囲向上の方法。
3. 前記補間された映像生成段階は、
   前記現在ラインと前記隣接ラインとの前記相関関係が計算される段階と、
   前記相関関係に基づいて、前記補間フィルタリングのフィルタ係数が調節される段階とをさらに含む、
   ことを特徴とする請求項１に記載の映像動的範囲向上の方法。
4. 前記補間フィルタリングは、補間しようとする前記隣接ラインのピクセルのうち少なくともいずれか１つのピクセル値及び前記現在ラインのピクセル値に、所定の重み付けを乗じた後で加える加重和を計算する、
   ことを特徴とする請求項３に記載の映像動的範囲向上の方法。
5. 前記集光時間の設定段階は、前記初期映像の動的範囲に基づいて、少なくとも１つのラインに対する前記集光時間が個別的に調節される、
   ことを特徴とする請求項２に記載の映像動的範囲向上の方法。
6. 前記集光時間の設定段階は、前記初期映像のノイズレベルに基づいて、少なくとも１つのラインに対する前記集光時間が個別的に調節される、
   ことを特徴とする請求項２に記載の映像動的範囲向上の方法。
7. 前記集光時間の設定段階は、前記初期映像に動きがある場合、前記動きのブラーリング程度に基づいて、少なくとも１つのラインに対する前記集光時間が個別的に調節される、
   ことを特徴とする請求項２に記載の映像動的範囲向上の方法。
8. 前記フィルタ係数の調節段階は、前記フィルタ係数が前記ライン別の集光時間に基づいて決定される、
   ことを特徴とする請求項３に記載の映像動的範囲向上の方法。
9. 前記フィルタ係数の調節段階は、前記フィルタ係数が前記入力映像の動的範囲に基づいて決定される、
   ことを特徴とする請求項３に記載の映像動的範囲向上の方法。
10. 映像獲得装置の映像動的範囲向上の装置において、
    ライン別に個別的に設定された集光時間を介して入射された光を電気的信号に変え、入力映像を生成する入力映像生成部と、
    前記入力映像に対し、前記個別的に設定された集光時間をもって、現在ラインに隣接した２つの隣接ラインを利用した補間フィルタリングを行って、補間された映像を生成する映像処理部と、
    前記入力映像生成部は、集光時間が長いラインと集光時間が短いラインとが交互に起こるように、前記ライン別にあらかじめ設定された集光時間を介して、前記入射された光を前記電気的信号に変えるセンサ部を備える、
    を備えることを特徴とする映像動的範囲向上の装置。
11. 前記入力映像生成部は、
    前記入射された光を前記電気的信号に変えて映像を獲得するセンサ部と、
    前記センサ部を介して獲得された初期映像の特性を利用し、前記センサ部の集光時間が長いラインと集光時間が短いラインとが交互に起こるように、前記センサ部のライン別の集光時間を個別的に調節する集光時間制御部とを備える、
    ことを特徴とする請求項１０に記載の映像動的範囲向上の装置。
12. 前記入力映像生成部は、
    前記入射された光を前記電気的信号に変えて映像を獲得するセンサ部と、
    前記センサ部のライン別の集光時間を個別的に調節する集光時間制御部とを備え、
    前記映像処理部は、前記入力映像生成部で生成された初期映像の特性を利用し、前記センサ部の集光時間が長いラインと集光時間が短いラインとが交互に起こるように、前記センサ部のライン別の集光時間を個別的に調節した集光時間を前記集光時間制御部に伝達する、
    ことを特徴とする請求項１０に記載の映像動的範囲向上の装置。
13. 前記映像処理部は、
    前記現在ラインと前記隣接ラインとの相関関係を求める相関関係算出部と、
    前記相関関係に基づいて、前記補間フィルタリングの補間フィルタ係数を調節する補間フィルタ生成部と、
    前記補間フィルタを利用して補間フィルタリングを行う補間フィルタリング部とを備える、
    ことを特徴とする請求項１０に記載の映像動的範囲向上の装置。
14. 前記補間フィルタリングは、補間しようとする前記隣接ラインのピクセルのうち少なくともいずれか１つのピクセル値及び前記現在ラインのピクセル値それぞれに、所定の重み付けを乗じた後で加える加重和を計算する、
    ことを特徴とする請求項１３に記載の映像動的範囲向上の装置。
15. 前記集光時間制御部は、前記初期映像の動的範囲に基づいて、前記少なくとも１つのラインに対する集光時間をそれぞれ個別的に調節して設定する、
    ことを特徴とする請求項１１に記載の映像動的範囲向上の装置。
16. 前記集光時間制御部は、前記初期映像のノイズレベルに基づいて、前記少なくとも１つのラインに対する集光時間をそれぞれ個別的に調節して設定する、
    ことを特徴とする請求項１１に記載の映像動的範囲向上の装置。
17. 前記集光時間制御部は、前記初期映像に動きがある場合、前記動きのブラーリング程度に基づいて、前記少なくとも１つのラインに対する集光時間をそれぞれ個別的に調節して設定する、
    ことを特徴とする請求項１１に記載の映像動的範囲向上の装置。
18. 前記映像処理部は、前記初期映像の動的範囲に基づいて、前記少なくとも１つのラインに対する集光時間をそれぞれ個別的に調節して設定する、
    ことを特徴とする請求項１２に記載の映像動的範囲向上の装置。
19. 前記映像処理部は、前記初期映像のノイズレベルに基づいて、前記少なくとも１つのラインに対する集光時間をそれぞれ個別的に調節して設定する、
    ことを特徴とする請求項１２に記載の映像動的範囲向上の装置。
20. 前記映像処理部は、前記初期映像に動きがある場合、前記動きのブラーリング程度に基づいて、前記少なくとも１つのラインに対する集光時間をそれぞれ個別的に調節して設定する、
    ことを特徴とする請求項１２に記載の映像動的範囲向上の装置。
21. 前記補間フィルタ生成部は、前記補間フィルタ係数を前記ライン別の集光時間に基づいて決定すること、
    を特徴とする請求項１３に記載の映像動的範囲向上の装置。
22. 前記補間フィルタ生成部は、前記補間フィルタ係数を前記入力映像の動的範囲に基づいて決定する、
    ことを特徴とする請求項１３に記載の映像動的範囲向上の装置。
23. コンピュータに、
    前記センサ部の集光時間がライン別に個別的に設定されて入力映像が生成される段階と、
    前記入力映像に対し、前記個別的に設定された集光時間をもって現在ラインに隣接した２つの隣接ラインを利用した補間フィルタリングを行って補間された映像が生成される段階とを含み、
    前記入力映像生成段階は、前記センサ部の集光時間が長いラインと集光時間が短いラインとが交互に起こるように、前記センサ部の集光時間が前記ライン別にあらかじめ個別的に設定される段階を含む、
    映像動的範囲向上の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。