JP4706466B2 - 撮像装置 - Google Patents

Description

本発明は，撮像装置に関する。

本技術分野の背景技術として、例えば、特開２００２−１３５６４９号公報（特許文献１）がある。該公報には、課題として「各露光信号の諧調を極力保持しつつ、長時間露光信号と短時間露光信号の合成を行うこと。」と記載されており、解決手段として「ガンマ処理回路の特性を、長時間露光信号と短時間露光信号で随時切替え、各々の露光に適した処理を行い、長時間露光信号と短時間露光信号の合成を行う。」と記載されている。

また、他の背景技術として、例えば、特開２００４−９６４８８号公報（特許文献２）がある。該公報には、課題として「所定の領域を監視する物体検知装置による物体の検知漏れを減らし、明暗の差が大きい物体でもその詳細を正確に認識できるようにすること。」と記載されており、解決手段として「露光量の異なるｎ台のカメラ２０１を用いて監視領域を撮影し、ｎ台のカメラ２０１が撮影した画像に対してステレオ画像処理をおこなって監視領域に入る物体を検出し、監視領域に入る物体を検出した場合には、露光量の異なるｎ個の画像から、それぞれ露光量の適正な画像部分を取り出してダイナミックレンジの広い画像を合成し、この合成画像を用いて物体の詳細を認識する。」と記載されている。

また、他の背景技術として、例えば、特開平１１−２７７２３１号公報（特許文献３）がある。該公報には、課題として「複数の撮像装置への光量調整と撮像装置の光軸調整が容易にでき、複数の映像を合成し溶接状況が見やすい溶接部映像を常時提供する溶接部モニタリング装置。」と記載され、解決手段として「第１撮像装置２に遮光性の高いフィルタ２４をセットして溶接トーチ部を撮影し、第２撮像装置３で比較的輝度の低い部分まで感光させて溶融池や開先部分を写し取って、第２撮像装置の画面中から溶接トーチ部を削除してそこに第１撮像装置で取得した溶接トーチ部をはめ込んで形成した合成画像を表示する溶接部モニタリング装置であって、撮像装置２、３に電気信号に基づいて受光量を変更することができる液晶フィルタ２３、３３や電子シャッタなどの光透過量調整部材を備えて透過光量を電気的に調整することを特徴とする。」と記載されている。

特開２００２−１３５６４９号公報 特開２００４−９６４８８号公報 特開平１１−２７７２３１号公報

ビデオカメラや電子スチルカメラにおいて、室内から撮影する窓辺の人物など、逆光時の撮影の場合、一般的な露光制御を行うと、目的の人物が黒くつぶれ、窓の外の風景に適切な露光が行われる。このようなダイナミックレンジの広いシーンを撮影する場合には、逆光補正処理を行い、目的の人物の映像信号が黒くつぶれないような補正を行っていた。しかしながら、このような補正を行うと、逆光補正前に最適な露光であった室外の風景は白く飛んでしまう。逆光補正処理とは、カメラの絞りを通常より開き気味にするか、露光時間を長めに設定し、本来黒くつぶれてしまう領域を明るく撮影する露光処理である。また、監視カメラなどにおいても、1台のカメラで室内と室外の両方を同時に監視する必要がある場合、室内外双方の露光の妥協点で撮影を行っていた。

上記のような広いダイナミックレンジを必要とするシーンを撮影する場合、逆光撮影時の輝度分布は低輝度部分/高機度部分に二極化（または多極化）する傾向が強く、中間的な輝度レベルを呈する部分の画面占有率は低いことが多い。

このように輝度レベルが大きく異なる撮像対象領域を含むシーンを撮影する場合、この輝度分布の多極化に着目して、低輝度の撮影対象領域を撮影して得られらる映像信号と、高輝度の撮影対象領域を撮影して得られる映像信号とに各々異なる露光制御を行い、このように制御された各々の信号を加算するようにして逆光補正をすることでダイナミックレンジの広い画像を得る技術がある。

特許文献１に記載の技術では１フィールド毎にカメラの露光時間を切り替えて、低輝度の撮影対象に適合させた長時間露光と、高輝度の撮影対象に適合させた短時間露光で撮影を行いし、短時間露光による撮影信号と長時間露光による撮影信号の各々に異なるガンマ特性でガンマ補正を行う。しかる後、これらの長時間露光信号と短時間露光信号とが、これらのタイミングで合わされて加算されるようにしている。

しかしながら、特許文献１に記載の技術の様に、一台のカメラでフィールド毎に露光制御を行い、これら各フィールド毎の撮像画像を加算する方法では、撮影信号加算後の画像のフレームレートは、上記制御を行わない状態のフレームレートの半分になってしまい、車戴カメラなど高いフレームレートを必要とする場合、動解像度が低いという問題がある。さらに１台のカメラで長時間露光、他方のカメラで短時間露光を行う複数のカメラで同一画角を撮像した場合、画角は１台のカメラと同じであるので広範囲の撮影をカバーできず撮影範囲あたりのコストが高くなってしまう。

そこで、かかる問題を解消し、車戴カメラの様に動解像度が必要とされダイナミックレンジの広いシーンを撮影する場合において、複数台のカメラを用いて、動解像度を保つことが可能で、かつダイナミックレンジの広い画像を得ることができ、さらにより広範囲の撮影を可能とすることが出来るという性能が求められる。

本発明の目的は、撮像装置の性能向上である。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、撮像装置の性能を向上できる。

以下、本発明の実施形態に関して図面を用いて説明する。
図１は本発明によるステレオ装置の第一の実施形態を示すブロック図である。
１０１〜１０４は一つ以上の撮像装置、１０５〜１０８はA/D変換手段、１０９は信号合成手段、１１０は輝度分布検出手段、１１１は画像エリア判定手段、１１２はメモリである。

図２は第１の実施形態において、夜間等、車のヘッドライトを照射している対向車があるという状況下を示した図である。
２０１は自車、２０２〜２０４は撮像装置、２０５の二点破線は自車の正面を撮像する撮像装置の画角、２０６の破線は自車の左正面を撮像する撮像装置の画角、２０７の破線は自車の右正面を撮像する撮像装置の画角、２０８は自車とヘッドライトの照射範囲を灰色の塗り潰してあり、２０９、２１０は歩行者の位置関係について、２１１は対向車、２１２は対向車のヘッドライトの照射範囲を灰色の塗り潰しで示した。

図３は図２で示した状況の車戴カメラによる撮像結果を用いた画像合成方法および、画像合成結果関して示した図である。
３０１は自車の正面を撮像している撮像装置の画像、３０２は自車の左正面を撮像している撮像装置の画像、３０３は自車の正面を撮像している撮像装置の画像、３０４は３０１〜３０３の画像を合成した合成語画像である。また、各画像の破線部分は各撮像装置による画像のオーバーラップ部分を示している。

図１において、撮像素子１０１〜１０４によって光電変換され得られた映像信号は、各々信号合成手段１０５と、輝度レベル分布検出手段１０６に入力される。信号合成手段１０５は、入力された各撮像装置からの映像信号の任意の領域毎に合成する事が可能である。また輝度レベル分布検出手段１０６は、信号合成手段同様、入力された各撮像装置からの映像信号を用いて、各撮像装置によって撮像された画面内の輝度分布を検出する事が可能である。

輝度レベル判定手段１０７は、輝度レベル分布検出手段１０６によって得られた輝度レベル分布を用いて、各撮像素子によって得られた映像信号のうち、より被写体の認識が行いやすい適切露光部分を判定、検出する事が可能である。

図２において、自動車２０１には３台の撮像装置２０２〜２０４が備わっており、各々の撮像装置は自動車２０１の前方、左前方、右前方を撮影している。撮像装置２０２は自動車の前方中心方向を撮像し、撮像範囲は図２の破線２０５で示す。撮像装置２０３は自動車２０１の正面左側を撮像し、撮像範囲は図２の破線２０６で示す。撮像装置２０４は自動車２０１の右側を撮像し、撮像範囲は図２の破線２０７で示す。自動車２０１のヘッドライトの照射範囲はは破線２０８で示す。

また、自動車２０１のヘッドライトの照射範囲２０８の外に存在している歩行者を歩行者２０９とし、同ヘッドライトの照射範囲に入っている歩行者を歩行者２１０とする。
さらに、自動車２０１の対向車自動車２１１にも同様に、自動車２１１のヘッドライトの照射範囲は破線２１２で示す。また歩行者２１０は自動車２０１と自動車２１１の両方のヘッドライトの照射範囲に存在しているとする。

図３に自動車１に設置されている図２中の撮像装置２０２〜２０４によって撮像された画像３０１〜３０３と合成画像３０４を示す。
まず、撮像装置２０２によって撮像された自車の正面の画像は、画像３０１のようになる。これは、撮像装置２０２による画角が自動車２０１の自らのライトによって照らされた部分と、ライトが照らされていない部分で構成され、平均輝度レベルは中程度になるため、この画角における露光制御の結果は、ライトが当っているところは露出オーバー気味の露光制御となり、ライトの当っていない周囲は露出アンダー気味の露光制御となっている。また歩行者２１０は露出オーバー気味になっていることで、自車のヘッドライトと対向車のヘッドライトによりホワイトアウト現象により見えずらくなってしまっている。
次に撮像装置２０３による自車の左正面の画像は、画像３０２のようになる。これは画像３０２の大部分がヘッドライトによって照らされていない部分で構成されて、平均の輝度レベルは低いため、この画像３０２における露光制御の結果は、画像３０１に比べてヘッドライト部分は露出オーバーとなり、その他の部分は適正露出となっている。また画像３０２の歩行者２０８は適正露出であることから、認識することが可能である。

さらに撮像装置２０４による自車の右正面の画像は、画像３０３のようになる。これは、画像３０３は対向車のヘッドライトの直射を受けている為、画像の平均輝度レベルが高いため、この画角における露光制御の結果は、画像３０１に比べ対向車のヘッドライト、自車のヘッドライトで照らされている部分が適正露出となり、その他の部分は露出アンダーとなっている。また歩行者２１０はヘッドライトに対して逆光となる位置にいるが、画像３０３における歩行者２１０は適正露出であることから、画像３０１の歩行者２１０と比較して画像３０３の歩行者２１０は認識することが可能となる。

これら複数の映像信号を用いて、１枚の合成映像信号を合成する際、撮像装置２０２による画像３０１と撮像装置２０３による画像３０２のオーバーラップしている部分については、画像３０１のヘッドライトが当たっていない部分を、これと同じエリアである画像３０２のヘッドライトが当たっていない部分の画像で合成し、また同様に撮像装置２０２による画像３０１と撮像装置２０４による画像３０３のオーバーラップしている部分については、画像３０１のヘッドライトの当たっている部分を、同様に同じエリアである画像３のヘッドライトが当たったいる部分の画像で合成することで図３の画像３０４のような合成画像を得ることができる。

このように合成画像を生成することで、従来、ヘッドライトが当たらず暗い為に見えなかった部分と、対向車のヘッドライトなどのホワイトアウトにより見えなくなっていた部分など、人間の目では認識し難い場合であっても、本実施例によって適正露出となり、歩行者２０９、歩行者２１０などを認識することが可能となる。

次に図４に、図３と同じく図２中の自動車２０１に設置されている撮像装置２０２〜２０４によって撮像され、各撮像装置の露光制御が同じレベルで制御した場合の画像４０１〜４０３と合成画像４０４を示す。
図４で示すように、各々の撮像装置でオーバーラップしている部分があっても、各撮像装置の露光制御を同じレベルで制御した場合の合成画像では、ダイナミックレンジの広い画像を得る事はできない。
そこで、露光制御に差が出るようにそれぞれの輝度レベルに応じて各撮像装置は制御を行うことで、図３の画像３０４のようなダイナミックレンジの広い画像を得ることができる。

また撮影範囲に対向車や、歩行者などが存在した場合や、露光制御に差が出るように制御された場合、各撮像装置はオーバーラップ部分が多くなるように各撮像装置の向きを変えるように各撮像装置の制御を行い、ダイナミックレンジを広く取れる領域を多くすることが可能である。

また、撮像装置からアナログ信号を信号合成手段、および輝度分布検出手段に入力する事も可能である。

本発明による映像信号処理装置の第１の実施例を示すブロック図である。 本発明による映像信号処理装置における適応事例を示す図である。 映像信号処理装置による撮影映像と合成後映像を示す図である。 映像信号処理装置による撮影映像と合成後映像を示す図である。

符号の説明

１０１ 撮像装置
１０２ 撮像装置
１０３ 撮像装置
１０４ 撮像装置
１０５ A/D変換手段
１０６ A/D変換手段
１０７ A/D変換手段
１０８ A/D変換手段
１０９ 映像信号合成処理手段
１１０ 像信号輝度レベル検出手段
１１１ 像信号輝度レベル判定手段
１１２ メモリ
２０１ 自動車
２０２ 中央撮像装置
２０３ 左側撮像装置
２０４ 右側撮像装置
２０５ 中央撮像装置の撮像範囲
２０６ 左側撮像装置の撮像範囲
２０７ 右側撮像装置の撮像範囲
２０８ ヘッドライト照射範囲
２０９ 歩行者
２１０ 歩行者
２１１ 自動車（対向車）
２１２ ヘッドライト照射範囲
３０１ 中央撮像装置による映像信号
３０２ 左側撮像装置による映像信号
３０３ 右側撮像装置による映像信号
３０４ 合成映像信号
４０１ 中央撮像装置による映像信号
４０２ 左側撮像装置による映像信号
４０３ 中央撮像装置に対して露光制御の差が少ない右側撮像装置による映像信号
４０４ 合成映像信号

Claims (5)

1. それぞれ撮像方向の異なる複数の撮像手段であって、少なくともそのうちの１つの撮像手段の撮影範囲の一部が他の撮像手段のうちの１つの撮像手段の撮影範囲の一部と互いに重なり合うようになっている、複数の撮像手段と、
   該複数の撮像手段により撮像された映像信号の輝度レベルを検出する輝度分布検出手段と、
   該複数の撮像手段により撮像された映像信号について、該互いに重なり合う撮影範囲のうち、該輝度分布検出手段により検出された映像信号の輝度レベルが適正なエリアを判定するエリア判定手段と、
   該互いに重なり合う撮影範囲については、該複数の撮像手段により撮像された映像信号のうち、該エリア判定手段により判定された輝度レベルが適正なエリアの映像信号を用いるようにして、該複数の撮像手段により撮像された映像信号を合成する合成手段と、を有し、
   前記複数の撮像手段はそれぞれ撮像範囲が異なるものであり、
   前記撮像手段は、各々の撮像している画面における輝度レベルが異なる場合、各撮像手段の露光量の差が通常の露光制御の際の値より大きくなるように、各撮像手段が露光制御を行うこと、
   を特徴とする撮像装置。
2. 請求項１において、
   前記エリア判定手段は、各撮像手段によって撮像された画像の中で、互いに重なり合う撮影範囲の輝度レベルを前記輝度分布検出手段によって検出し、検出した輝度レベルが所定の基準レベルよりも低いエリアにおいては、各撮像装置による画像信号の中で平均輝度レベルが高い撮像装置の画像を選択し、かつ、該基準レベルよりも高いエリアにおいては、各撮像装置による画像信号の中で平均輝度レベルが低い撮像装置の画像を選択すること、
   を特徴とする撮像装置。
3. 請求項１において、
   前記合成手段は、各撮像装置が撮像した映像信号を前記エリア判定手段によって選択したエリア毎に信号を合成すること、
   を特徴とする撮像装置。
4. 請求項１において、
   前記撮像手段は、各撮像手段の露光制御により露出の差が大きくなるように制御を行った場合、各撮像装置の互いに重なり合っている撮影範囲が多くなるように各撮像装置の向きを変えること、
   を特徴とする撮像装置。
5. 請求項１において、
   前記撮像手段は、撮像範囲に対向車や歩行者が存在した場合、各撮像装置の互いに重なり合っている撮影範囲が多くなるように各撮像装置の向きを変えること、
   を特徴とする撮像装置。

Images