JP3970903B2 - 撮像システム - Google Patents

Description

本発明は、ＣＣＤカメラ等を用いた撮像システムに関する。

従来の撮像システムとしては、例えば第２２図に示すようなものがある。この第２２図では、撮像手段としてＣＣＤ１０１を備え、画像処理部としてＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０３及びＣＰＵ１０５を備えている。
前記ＣＰＵ１０５とＤＳＰ１０３とはマルチプレクス回路１０７を介して接続され、ＣＰＵ１０５にはシャッタースピード設定スイッチ１０９からの信号が入力されるようになっている。シャッタースピード設定スイッチ１０９は、ＯＤＤ（奇数番目）フィールド用のシャッタースピードとＥＶＥＮ（偶数番目）フィールド用のシャッタースピードとをそれぞれ設定できるようになっている。
すなわちシャッタースピード設定スイッチ１０９の設定状態をＣＰＵ１０５で読み取り、各フィールドのシャッタースピード設定値をエンコード出力する。ＤＳＰ１０３からは第２３図で示すフィールドパルス信号が出力され、出力信号がハイの場合はＥＶＥＮ側のシャッタースピード設定値出力が、ローの場合はＯＤＤ側のシャッタースピード設定値出力が、マルチプレクス回路１０７によってＤＳＰ１０３のシャッタースピード設定入力端子に入力される。従って、第２２図のような撮像システムによってフィールド毎に異なるシャッタースピードを設定することができる。
一般に、ＣＣＤカメラで撮影する場合、ＯＤＤフィールド、ＥＶＥＮフィールド共にシャッタースピードが同じである自動シャッタースピードのとき、第２４図のように周囲が暗い状態の中に明るい光源が入るとその光源周辺がハレーションによって見えなくなる。
第２４図は、自動車の夜間走行中に赤外光照射手段であるＩＲランプで前方に赤外光を照射し、車載のＣＣＤカメラで走行前方を撮像した画像である。対向車のヘッドランプの照明等の明るい光源の周辺がハレーションによって見えなくなっている。これは、夜間等、周囲が暗いときに強い光が入っても、全面測光の一般的なＣＣＤカメラでは周囲の暗い条件が支配的となって露光条件が計算されるため、明るい部分に対しては相対的にシャッタースピードが遅くなるように制御されて露光時間が長くなるからである。
一方、シャッタースピードを高速にしてハレーションを抑えるようにすることもできるが、第２５図のように、周囲の暗い部分がより暗くなってしまい、背景が全く見えなくなってしまうという問題が残る。
同様に、第２６図のように標識等の反射物が撮像範囲内に入った場合もシャッタースピードが遅くなるように制御され、周辺の景色が見えなくなってしまうという問題が残る。
これに対し、各フィールド毎にシャッタースピードを変える制御は、いわゆる二重露光制御と言われているもので、フィールド毎に異なるシャッタースピードを設定する。これにより、明るい映像と暗い映像とを交互に出力し、明るい映像（この場合はＥＶＥＮフィールド）では暗くて見えなくなった部分を映し出し、暗い映像（この場合はＯＤＤフィールド）ではハレーションで見えなかった部分を映し出すことが可能となる。
そして、各フィールド画像を交互に出力し、鮮明な映像としてモニタに表示させることができる。
しかし、前記単純な二重露光制御では、各フィールドの一方は明るい映像、他方は暗い映像となり、これらを交互に表示することになり、モニタ上でちらつきを招くという問題がある。
また、特公平７−９７８４１号公報に記載された第２７図に示すような撮像装置がある。この撮像装置は、撮像素子１１１を備えたカメラ部１１３と、処理部１１５とを備えている。
第２８図は、前記第２７図の撮像装置による画像処理の概念図を示すもので、図中スルー画とは、前記カメラ部１１３の撮像素子１１１の直接出力をいい、メモリ画は画像メモリ１１７に一旦記憶された直前フィールドの信号を言う。
前記スルー画では、シャッタースピードの速く設定されたＯＤＤフィールド毎に発光時の主被写体が黒潰れになり、同遅く設定されたＥＶＥＮフィールド毎に背景が白飛びになっている。またメモリ画では、１フィールド期間遅延した信号からなるので、白飛び、黒潰れはスルー画とは異なるフィールドで生じている。従って、これらスルー画とメモリ画とを適切に組み合わせることによって第２８図最下段の出力画像を得ることができる。
しかしながら、このスルー画とメモリ画との合成は、スルー画及びメモリ画から部分的に選択した画像を重ね合わせて合成するものであるため、露光量の異なる画像を繋ぎ合わせる状態となる。従って、前記単純な二重露光制御のように画面全体のちらつきはなくなるが、スルー画及びメモリ画の両画像の境界が不自然なものになるという問題がある。

本発明は、より鮮明な画像出力を可能とする撮像システムの提供を目的とする。
本発明の目的は、赤外光を照射するための赤外光照射手段と、前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力可能な画像処理部とを備え、前記画像処理部は、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、前記中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御することにより達成される。
従って、赤外光照射手段によって赤外光を照射し、撮像手段は赤外光照射手段により照射された場所を撮像して、電気信号に変換することができる。画像処理部では撮像手段の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力可能である。
そして画像処理部は、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、前記中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御することができる。
このような制御により、撮像手段に対向車のヘッドランプなどの強い光が入っても該強い光による高輝度の固まりの回りのなだらかに低輝度へ遷移する領域を除去或いは抑制することができ、この部分に歩行者などの障害物があっても映像として明確に捉えることができる。
本発明の撮像システムは、前記画像処理部が、前記画像の一方を三値化処理して高輝度、中輝度、低輝度の属性に分け、前記高輝度の回りの中輝度の数に応じて前記他方の画像の信号蓄積時間を制御する。
従って、高輝度の回りの中輝度の数により中輝度の程度を確実に捉え、周期的に出力される画像の他方の信号蓄積時間の制御をより確実に行うことができる。
本発明の撮像システムは、前記画像処理部が、前記画像の一方を複数のブロックに分け、各ブロックの輝度平均値を二つの閾値により分けて前記三値化処理を行う。
従って、各画素に注目して三値化処理を行う場合に比べて迅速な処理を行うことができる。
本発明の撮像システムは、前記画像処理部が、前記画像の一方を複数のブロックに分け、各ブロック毎に二つの閾値により各画素を高輝度、中輝度、低輝度の属性に分け、各ブロック内で各属性の合計数が最も多いものをそのブロックの属性として前記三値化処理を行う。
従って、各画素に注目して三値化処理を行うことができ、より正確な処理を行うことができる。
本発明の撮像システムは、前記画像処理部が、前記高輝度の属性の回りの中輝度の属性の数の最大数に応じて前記他方の画像の信号蓄積時間を制御する。
従って、ハレーションを簡易に特定することができ、迅速な処理を行うことができる。
本発明の撮像システムは、前記画像処理部が、前記高輝度の属性の数と該高輝度の属性の回りに検出される中輝度の属性の数と高輝度の回りに理想的に形成される中輝度の属性の数とに応じて前記他方の画像の信号蓄積時間を制御する。
従って、ハレーションを的確に特定することができ、より正確な処理を行うことができる。
本発明の撮像システムは、前記画像処理部が、前記高輝度の属性を特定しその回りを順次探索して高輝度の回りの中輝度を特定すると共に隣接する高輝度の属性が特定されたときは該高輝度の属性を順次結合する。
従って、高輝度の固まりを的確且つ迅速に抽出して制御することができる。
本発明の撮像システムは、前記赤外光照射手段、撮像手段、及び画像処理部が、自動車に備えられ、前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、前記撮像手段は、前記自動車の外方を撮像する。
従って、対向車のヘッドランプの照明等によるハレーションがあっても、強い光による高輝度の固まりの回りのなだらかに低輝度へ遷移する領域が除去或いは抑制され、この部分に歩行者などの障害物があっても映像として明確に捉えることができる。

第１図は、本発明の一実施形態を適用した自動車の概念図である。
第２図は、一実施形態に係り、撮像手段及び画像処理部のブロック図である。
第３図は、一実施形態のフローチャートである。
第４図は、一実施形態に係り、光源を撮像した単純な制御による出力画像図である。
第５図は、一実施形態に係り、強い光源のほぼ中心を横切る点線上の濃度変化を示すグラフである。
第６図は、一実施形態に係り、反射物を撮像した単純な制御による出力画像図である。
第７図は、一実施形態に係り、大きな反射物を横切る点線上の濃度変化を示すグラフである。
第８図は、一実施形態に係り、ＥＶＥＮフィールドの輝度データをいくつかのブロックに分割した模式図である。
第９図は、一実施形態に係り、灰色の割合によるブロック色分けを示す図表である。
第１０図は、一実施形態に係り、ブロック色分けを示す概念図である。
第１１図は、一実施形態に係り、ブロック内検索順序を示す概念図である。
第１２図は、一実施形態に係り、強い光源の外周を検索する元となる出力画像図である。
第１３図は、一実施形態に係り、外周検索を３色表示で示す処理画像図である。
第１４図は、一実施形態に係り、標準ブロック数と白色ブロック数との関係を示し、（ａ）は白色ブロック数１個、（ｂ）は白色ブロック数２個、（ｃ）は白色ブロック数３個の概念図である。
第１５図は、一実施形態に係り、ハレーション検出ブロック数を示す概念図である。
第１６図は、一実施形態に係り、反射物とハレーションとの関係を示す出力画像図である。
第１７図は、一実施形態に係り、第１６図の処理画像図である。
第１８図は、一実施形態に係り、ＥＶＥＮフィールドに対するＯＤＤフィールドの露光差の算出を示す図表である。
第１９図は、一実施形態に係り、ハレーション強度の状態遷移図である。
第２０図は、一実施形態に係り、ハレーションの中で障害物が見える例の処理画像図である。
第２１図は、一実施形態に係り、反射物の明るさを無視して周辺が見える例を示す処理画像図である。
第２２図は、従来例に係るブロック図である。
第２３図は、従来例に係り、フィールドパルスの出力図である。
第２４図は、従来例に係り、ハレーションによって光源周辺が見えなくなる例を示す出力画像図である。
第２５図は、従来例に係り、ハレーションによって周辺が見えなくなる例を示す出力画像図である。
第２６図は、従来例に係り、反射物によって周囲が見えなくなる例を示す出力画像図である。
第２７図は、他の従来例に係るブロック図である。
第２８図は、他の従来例に係り、画像形成図である。

（第１実施形態）
第１図〜第２１図は本発明の第１実施形態を示している。第１図は本発明の第１実施形態を適用した自動車の概念図、第２図は第１実施形態に係る撮像システムのブロック図、第３図は第１実施形態に係るフローチャートである。
第１図のように、本発明の第１実施形態に係る撮像システムは、自動車１に適用されたもので、自動車１には赤外光照射手段としてＩＲランプ３と、撮像手段としてＣＣＤカメラ５と、画像処理部として画像処理ユニット７とが備えられる他、ヘッドアップディスプレイ９が備えられている。
前記ＩＲランプ３は、夜間等、暗所における撮像を可能にするため自動車１の走行方向の前方に赤外光を照射するためのものである。前記ＣＣＤカメラ５は、前記赤外光が照射された前記自動車１の走行方向の前方を撮像し、電気信号に変換するものである。この場合の電気信号は、前記ＣＣＤカメラ５における感光部のフォトダイオードによって変換されたものである。前記画像処理ユニット７は、前記ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力可能となっている。
前記信号蓄積時間は、各画素毎の信号蓄積時間であり、信号蓄積時間を所定の周期で変化させるとは、各画素に蓄積された不要電荷を吐き出すパルスの回数を変化させることにより結果的に蓄積される時間を変化させることであり、いわゆる電子シャッター動作を言う。また露光量の異なる画像を連続して周期的に出力するとは、電子シャッター動作によってＯＤＤフィールド、ＥＶＥＮフィールド毎にシャッタースピードを設定し、それぞれのシャッタースピードで読み出された各フィールドの画像を例えば１／６０秒毎に連続して交互に出力することを言う。
そして、シャッタースピードを速くした高速シャッターでは、暗い部分は映りにくいが明るい部分は鮮明に映り、シャッタースピードを遅くした低速シャッターでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映ることになる。
前記画像処理ユニット７は、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、該中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御する。
前記ＣＣＤカメラ５及び画像処理ユニット７は、第２図のように、ＣＣＤ５ａ、ＡＦＥ１１、ＤＳＰ１３、ＲＡＭ１５、ＣＰＵ１７などを備えている。
前記ＣＣＤカメラ５は、前記ＣＣＤ５ａ、ＡＦＥ１１、ＤＳＰ１３、及びＣＰＵ１７の一部を含んでいる。前記画像処理ユニット７は、ＤＳＰ１３の一部 ＲＡＭ１５、ＣＰＵ１７を含んでいる。
前記ＡＦＥ１１は、アナログフロントエンドであり、前記ＣＣＤ５ａの出力信号を増幅し、アナログ信号をデジタル信号に変換する。
前記ＤＳＰ１３は、デジタル信号処理部であり、前記ＣＣＤ５ａ，ＡＦＥ１１作動のためのタイミング信号生成、ＡＦＥ１１を経由して取り込んだＣＣＤ５ａの信号のγ変換、エンハンサ処理、デジタル信号増幅処理などの信号変換・映像信号生成処理を行う。
前記ＲＡＭ１５は、メモリであり、前記ＤＳＰ１３から出力されたＥＶＥＮフィールド画像の輝度（＝濃度）データを一時保管する。
前記ＣＰＵ１７は、各種演算を行うと共に、第２２図で説明したと同様な構成によってＯＤＤフィールド、ＥＶＥＮフィールド毎のシャッタースピードをコントロールできるようになっている。すなわちＥＶＥＮフィールドに対しては全体の平均濃度から最適な露光条件を算出して前記ＡＦＥ１１に対する増幅制御、ＤＳＰ１３を経由してＣＣＤ５ａに対する電子シャッターの制御を行う。
次に作用を説明する。
まず、前記ＣＰＵ１７でシャッタースピードの初期設定が行われ、ＯＤＤフィールド側のシャッタースピードコントロール信号及びＥＶＥＮフィールド側のシャッタースピードコントロール信号がＤＳＰ１３へ出力される。
前記ＤＳＰ１３では、ＣＣＤ５ａ、ＡＦＥ１１作動のためのタイミング信号が生成される。このタイミング信号の出力によってＣＣＤ５ａによる撮像が行われ、ＣＣＤ５ａの感光部のフォトダイオードの全画素で信号電荷が行われる。ＯＤＤフィールド側では感光部のフォトダイオード全画素のうち垂直方向に１つおき奇数番目の画素の信号電荷が設定されたシャッタースピードで読み出される。ＥＶＥＮフィールド側では偶数番目の画素の信号電荷が設定されたシャッタースピードで読み出される。
前記ＣＣＤ５ａで読み出された信号電荷はＡＦＥ１１で増幅されると共にデジタル信号に変換され、ＤＳＰ１３に取り込まれる。ＤＳＰ１３では、取り込まれた信号のγ変換、エンハンサ処理、デジタル信号増幅処理などの信号変換・映像信号生成処理を行う。
前記ＤＳＰ１３から出力されたＥＶＥＮフィールド画像の輝度データは、ＲＡＭ１５に一時保管される。
前記ＣＰＵ１７は、ＥＶＥＮフィールドに対して、全体の平均濃度から最適な露光条件を算出し、ＤＳＰ１３を経由してＣＣＤ５ａに対する電子シャッターの制御を行う。
前記ＣＰＵ１７は、ＯＤＤフィールドに対して、第３図のフローチャートの露光切替制御により露光条件を算出する。
露光切替制御の開始により、ステップＳ１では、「ＥＶＥＮフィールドブロック単位輝度データ取込」の処理が実行される。この処理により、ＲＡＭ１５に蓄積されたＥＶＥＮフィールド分の輝度データをいくつかのブロックに分割し、ブロック毎の平均輝度が算出され、ステップＳ２へ移行する。
ステップＳ２では、「ブロック単位三値化データ変換」の処理が実行される。この処理により、ステップＳ１で分割されたブロックの各平均輝度に対し、二つの閾値を用いて各ブロックが三値化データに変換され、ステップＳ３へ移行する。
ステップＳ３では、「高輝度ブロック検出」の処理が実行される。この処理では、前記各ブロックの三値化データから高輝度の固まりが検出され、ステップＳ４へ移行する。
ステップＳ４では、「高輝度ブロックグループ化」の処理が実行される。この処理では、隣接する高輝度部のブロックが結合（グループ化）されて高輝度部の大きさ（＝ブロック数）が検出され、ステップＳ５へ移行する。
ステップＳ５では、「中輝度ブロック検出」の処理が実行される。この処理では、前記結合された高輝度部の周りの中輝度の広がり（＝ブロック数）を持ったグループが抽出され、ステップＳ６へ移行する。
ステップＳ６では、「ハレーションレベル計算」の処理が実行される。この処理では、前記高輝度の大きさ及び中輝度の広がり度合い、あるいは中輝度の広がりのみからハレーションの大きさ（強度）が算出される。この算出により、ＥＶＥＮフィールド内で最大のハレーション強度が検出され、ステップＳ７へ移行する。
ステップＳ７では、「ＯＤＤフィールド露光目標切替」の処理が実行される。この処理では、前記ハレーション強度に応じてＯＤＤフィールドの露光をＥＶＥＮフィールドに対してどの程度絞るかが算出され、処理が終了される。この終了により、次のＥＶＥＮフィールドの処理へ移行する。
以上のようにして算出された露光条件によりＣＣＤ５ａの電子シャッター、ＡＦＥ１１のＡＧＣゲイン、ＤＳＰ１３のデジタルゲインなどが制御され、得られる映像の明るさを最適化する。
なお、前記ステップＳ２での三値化データ算出はブロック毎の平均輝度ではなく、ブロック内で最も多くを占める画素の属性に合わせることも有効である。
以上により、夜間、図１のＣＣＤカメラ５に対向車のヘッドランプの光など強い光が入った時に周辺の暗い部分の映像の明るさを落とすことなく強い光の影響を抑えることができる。
ここで、一般に、自動車用として使用される撮像システムのＣＣＤカメラは、映像方式としてインターレース方式を持つ。その映像信号は、前記のようにＥＶＥＮフィールドとＯＤＤフィールドの２つのフィールドから成り、２つのフィールドが時間的に交互に出力されることによって、見る人の目に一定の解像度を持った映像として映る。
前記通常のＣＣＤカメラは、ＥＶＥＮまたはＯＤＤいずれかのフィールドで受光する光の平均的な輝度により、露光条件を計算する。露光条件は、ＤＳＰを経由してＣＣＤの電荷吐き出し制御を行うための電子シャッター速度、ＡＦＥでの増幅率（ＡＧＣゲイン）、及びＤＳＰ内でのデジタル増幅率を算出することであり、それぞれの制御をすることによって、最適な明るさの映像を生成、ＴＶモニタへ出力することができる。
一般的なＣＣＤカメラは、ここで求められた露光条件がＥＶＥＮフィールド／ＯＤＤフィールドのいずれにも適用され、結果として両フィールドは同程度の明るさを持った映像が出力されることになる。このような制御方法を行うカメラにおいては、特に夜間での使用時、暗い環境の中に強い光（例えば、対向車のヘッドランプ）があると、露光条件は全体の輝度平均値で決まるため、強い光とその周辺が白く飽和した映像として出力されることが多い（いわゆるハレーション）。
前記ハレーションは、第４図に示すように強い光とその近傍は白く飽和した上で、さらにその周囲に光が散乱した状態のことを言う。これをある特定ライン（第４図中強い光の中央を横切る点線）上の画素の輝度値で見ると、第５図に示すようになる。即ち、強い光の中心とその近傍は、最高輝度で飽和し、周辺に向かってなだらかに暗くなるという傾向を示す。
この状態では、映像の飽和部分及びその近傍に、例えば歩行者が存在した場合にカメラの映像としてこれを捉え出力することはできない。理想的には、強い光の中心（ヘッドランプ自体）が白く飽和することは許容できても、その近傍を含む周辺（例えば左右のヘッドランプの間）は、飽和させることなく、その場所に歩行者がいた場合には、それを映像として捉え、出力することが望ましい。
これに対し、第６図のようにヘッドランプの光が看板に当たって反射するような反射光の場合、前記同様に特定ライン（第６図中強い光を横切る点線）上の画素の輝度値で見ると、第７図に示すようになる。即ち、反射体自体は白く飽和した映像となるが、その周辺にはほとんどハレーションが広がらず、輝度データで見ると、急峻なエッジを描くことができる。この部分に歩行者等の障害物があったとしても、歩行者を十分映像として捉えることができる。この場合、前記ハレーション対策のように、ＥＶＥＮフィールドに対しＯＤＤフィールドの露光量を抑える必要はなく、むしろ夜間で被写体の光量が小さいことを考えれば、ＯＤＤフィールドもＥＶＥＮフィールドと同様、十分露光量を確保した方が、目的である障害物認識がよりし易くなる。
本発明において、ＥＶＥＮフィールドは、前記第３図のフローチャートのようなハレーション検出と上記の新たな着眼点に基づいた露光条件算出を行い、特に夜間での使用においては、暗い環境をより明るい映像として出力することを目標とする。ＯＤＤフィールドについては、ＥＶＥＮフィールドで得られた輝度データを基に露光差を設け、強い光による影響を極力抑えた映像を以下のように作ることを目標とする。
こうした２つの異なる特徴をもった各フィールドの映像を合成することにより、夜間に強い光を受けても、ハレーションを起こすことなく、且つ周辺部を明るく保った映像を出力することができる。
ここで、ＥＶＥＮフィールドの輝度データからハレーション強度を検出し、その強度に応じて露光条件を算出し、その算出結果を出力するまでの一連の処理を画像データと共に説明する。
（ブロック分け）
ブロック分けは、前記第３図のステップＳ１で実行され、ＤＳＰ１３からＲＡＭ１５に取り込まれたＥＶＥＮフィールドの輝度データ（例えば、５１２ドット×２４０ラインで構成される。）を、第８図のように、いくつかのブロックに分割する（例えば、８ドット×４ラインを１ブロックとして、６４×６０ブロックに分割する。）。
（輝度データの平均値算出）
ブロック毎の輝度データの平均値算出も、前記のように第３図のステップＳ１で実行され、各ブロックを構成する全画素（例えば、８×４画素）の輝度平均値を算出する。
（輝度平均値の三値化）
輝度平均値の三値化は、前記第３図のステップＳ２で実行され、各ブロックの輝度平均値を二つの閾値により、三値に分ける。例えば、各輝度を８ビットとした場合、最低輝度が０、最高輝度が２５５ということになるが、白閾値を２２０（以上）、黒閾値を１５０（以下）とし、その中間を灰色として扱うことにより、各ブロックを白色・灰色・黒色のいずれかの属性に分けることができる。
例えば、以下のように属性を分ける。
・対象画素濃度値≧白閾値 の時、白色
・白閾値＞対象画素濃度値≧黒閾値 の時、灰色
・対象画素濃度値＜黒閾値 の時、黒色
この属性の分類は、前記のように各ブロックの輝度平均値から二つの閾値により、三値に分けるのではなく、同様の閾値により、各画素毎に三値に分け、１ブロックを構成する画素の中で高輝度、中輝度、低輝度の属性それぞれの合計数が最も多いものを、そのブロックの属性として分けることもできる。
例えば、各画素毎に三値に色分けした１ブロックの中に、灰色が含まれる割合により１ブロックを白色、灰色、黒色に３色分けをする。第９図のように灰色の割合が５０％以上の時のブロック色を灰色とし、灰色の割合が５０％未満の場合は、白色または黒色とする。第１０図では、示されている１ブロックに灰色が５０％以上含まれているため、該１ブロックの属性が灰色とされた。
あるいは、ブロック分けをすることなく、各画素に注目して、以下のハレーション検出、露光計算をすることも可能である。
（グルーピング処理）
グルーピング処理は、前記第３図のステップＳ２，Ｓ３，Ｓ４で実行され、三値化されたブロック属性を基に、次の手順で白の固まり（白属性を持ったブロックの集まり）を見つける。
前記第８図のブロック（０，０）から右方向（ｘ座標プラス方向）に向かって白色ブロックを探す。１ライン目の最終ブロック（６３，０）まで行って、白色ブロックがない場合は、２ライン目（０，１）に進む。こうして順に白色ブロックを探す。
白色ブロックが見つかった場合、当該ブロックの周囲８ブロックに対し、第１１図に示すように左隣のブロックから順に右回りで白色ブロックを探す。こうして隣接する白色ブロックを順次つなげていくことによって、白属性を持つブロックの固まりの外周を形成することができる（外周検索）。
例として、第１２図に強い光源の外周を検索する元となる出力画像図を、第１３図に外周検索を３色表示で示す処理画像図を示す。第１２図の強い光はヘッドランプの光であり、第１３図のように、外周が灰色ブロックでつながっている。このように灰色で囲まれた内部は全て白属性を持つものとし、これを１つのグループとする。
（ハレーション検出）
ハレーション検出は、前記第３図のステップＳ５で実行される。前述のように、ハレーションとは強い光を受けて飽和した中心部があり、その周囲はなだらかに暗くなっていく状態のことを言う。三値化されたブロック属性で言うと、白色ブロックのグループの周りに灰色属性を持ったブロックが囲むという状態になる。
そこで、白色ブロックグループの外周に隣接する灰色ブロックを見つけて行き、その数を数える。
理想的な（理屈に合った）ハレーションの場合、１つの白色ブロックグループの周辺に第１４図に示すような灰色ブロックが存在することになる。例えば、白色ブロックグループが１つの白色ブロックで構成される場合には、灰色ブロック数は８個、２つの白色ブロックの場合、灰色ブロックは１０個、同じく３つの場合は１２個となる。これらの灰色ブロック数は、後述するハレーション強度の計算方法２において、白色ブロック数から計算される標準ブロック数となる。
（ハレーション強度）
ハレーション強度は、前記第３図のステップＳ６で実行される。前記手順で、検出された白色ブロックグループとその周辺の灰色ブロックとから画面内のハレーションの強さ（ハレーション強度）を算出する。
その方法として、
１．白色ブロックグループに隣接する灰色の数の最大値をハレーション強度とする方法
２．白色ブロックの大きさとそのブロックのハレーションの確からしさからハレーション強度を求める方法
の２通りが考えられる。
「方法１」各白色ブロックグループ毎に隣接する灰色の数の最大値を求める方法
ハレーションの検出は、光源（白色）の周囲に見られるハレーション（灰色）の数を算出する。白色ブロックグループの周りに検出された灰色ブロックの数が一番多い所をハレーション強度に設定する。
ハレーション強度＝白に隣接する灰色の数
（但し、１画面上で一番多いものである。）
第１５図のように、１ブロックに白が検出された場合、それに隣接する全てのブロックをチェックし、１ブロックのハレーション強度を“７”とする。
第１６図に反射物とハレーションとを撮影した原画像を示す。この第１６図を画像処理して３色分けした処理画像を第１７図に示す。第１７図のように、画像内に白色ブロック或いはそのグループが多数ある場合、全ての白色ブロック、白色ブロックグループの周辺を検索し、上記のように灰色ブロックの数が一番多い所でハレーション強度を設定する。
（検索結果）
方法１による検索結果は、前記第１７図の画像処理例で計算すると、次のようになる。
・大きな看板周辺の灰色数（上段ほぼ中央） ０個
・左側の小さな看板周辺の灰色数（上段ほぼ左端） ０個
・
・
・中央の前方車テールランプ周辺の灰色数（下段大きな固まりの左隣）
２個
・右側の街灯周辺の灰色数（上段右端） ４個
・手前対向車ヘッドランプ周辺の灰色数（下段右端） ３２個
第１７図より、下段右端の白色ブロックの最大のグループを囲む灰色ブロックの数が最大となり、この灰色ブロックの数をハレーション強度と称し、ハレーションの大きさを表すものとする。
例として、上記の場合のハレーション強度は、手前対向車のヘッドランプ周辺の灰色数が３２個であるため“３２”となる。
「方法２」白色ブロックの大きさとハレーション強度の確からしさから算出する方法
白色ブロックグループの周囲で実際に計数された灰色ブロック数と、その白色ブロックグループを構成する白色ブロック数から計算される標準ブロック数（第１４図で示す灰色ブロック数）の関係から、そのブロックがハレーションである確率を算出する。ある白色ブロックグループが、ハレーションである確率は次式で計算される。
ハレーション確率（％）
＝白色ブロックグループ周囲の灰色ブロック数／標準ブロック数×１００
このハレーション確率に、白色ブロックグループの大きさ（＝構成する白色ブロックの数）を乗じた数値をそのグループのハレーション強度とし、ハレーションの大きさを表すものとする。
前記第１７図の画像処理例で計算すると、次のようになる。
・大きな看板周辺のハレーション強度（上段ほぼ中央）
０／２６×１００×２１＝０
・左側の小さな看板周辺のハレーション強度（上段ほぼ左端）
０／２６×１００×７＝０
・
・
・中央の前方車テールランプ周辺のハレーション強度（下段大きな固ま
りの左隣） ２／８×１００×１＝２５
・右側の街灯周辺のハレーション強度（上段右端）
４／１８×１００×８＝１７８
・手前対向車ヘッドランプ周辺のハレーション強度（下段右端）
３２／３７×１００×４３＝３７１８
こうして算出された各白色ブロックグループのハレーション強度のうち、最大のものをこのシーンにおけるハレーション強度とする。
すなわち、上記の場合のハレーション強度は、手前対向車のヘッドランプ周辺のハレーション強度が最大のため“３７１８”となる。
（露光条件の算出）
露光条件の算出は、前記第３図のステップＳ７で実行される。
以上のようにして、ＥＶＥＮフィールドのハレーション強度を求め、このハレーション強度に応じて、例えば第１８図に従って、ＥＶＥＮフィールドに対するＯＤＤフィールドの露光差を求め、ＯＤＤフィールドでの露光条件を決定し、このＯＤＤフィールドの露光条件によりハレーションを抑える。
すなわち、前記方法１によるとき、前記のようにして得られたハレーション強度が例えばＳＴＥＰ０の０〜５の範囲であるとき前記露光差は０ｄＢに設定され、同ＳＴＥＰ６の３１〜３５の範囲であるとき前記露光差は−１２ｄＢに設定される。前記方法２によるとき、前記のようにして得られたハレーション強度が例えばＳＴＥＰ０の０〜５００の範囲であるとき前記露光差は０ｄＢに設定され、同ＳＴＥＰ６の３００１〜３５００の範囲であるとき前記露光差は−１２ｄＢに設定される。
このような設定によりＳＴＥＰ０の範囲ではＥＶＥＮフィールドに対するＯＤＤフィールドの露光差は無いが、ＳＴＥＰ６の範囲ではＯＤＤフィールドの露光がＥＶＥＮフィールドよりも１２ｄＢ程小さく設定される。
同様に前記のようにして得られたハレーション強度がＳＴＥＰ０〜１０の何れかのハレーション強度の範囲であるとき対応する右欄の値でＥＶＥＮフィールドに対するＯＤＤフィールドの露光が小さく設定される。
以上により、ハレーションの程度に応じた二重露光制御が可能となり、夜間のような暗い環境下に自動車のヘッドランプのような強い光があっても、大きなハレーションを起こさず、暗い部分をより明るく、強い光の部分をより暗くした映像を得ることができる。
実際には、画面の明るさの切り替わりの違和感を軽減するため、第１９図のように、強い光を受けた時は、即座にそれに応じた二重露光制御を、光が弱まっていく時には、徐々にＯＤＤフィールド側の映像を明るくして行くという制御が行われる。
すなわち、自車が角を曲がり対向車のヘッドランプの強い光がいきなり入ったとき、前記ハレーション強度に応じた二重露光制御を直ちに行わせる。この場合、対向車がすれ違った後すぐにハレーション強度がＳＴＥＰ０となる制御をしてしまうと、画像の露光変化が急峻となり違和感を招く恐れがある。
そこで、対向車がすれ違った後、ＣＣＤカメラ５に入射する光が弱まっていく時には、上記のように徐々にＯＤＤフィールド側の映像を明るくして違和感を除去又は抑制するようにした。
具体的には、自車がコーナーを曲がったとき、対向車が存在していきなりハレーション強度が例えばＳＴＥＰ６の範囲となり、このＥＶＥＮフィールドの状態が第１９図のように連続２フレーム以上続いたとき、直ちにＳＴＥＰ６の制御によりＯＤＤフィールド側の露光を下げる。この制御状態から対向車がすれ違った後、光が弱まっていく時に、ＳＴＥＰ６を下回るハレーション強度の状態が連続３フレーム以上連続したときＳＴＥＰ５の制御に移行する。続いてＳＴＥＰ５を下回るハレーション強度の状態が連続３フレーム以上連続したときＳＴＥＰ４の制御に移行する。このように、ＳＴＥＰ０まで制御を徐々に変化させてＯＤＤフィールド側の映像を徐々に明るくする。従って、画像の露光変化が徐々に行われ違和感を除去又は抑制することができる。
以上のように、本発明の実施形態によれば、直接光と反射光とのそれぞれに対する露光制御を変えることができる。ヘッドランプ等の強い光を直接受けた場合でも、中心部の白飽和領域の周りのなだらかに暗くなっていくハレーションを第２０図のように除去又は抑制することができる。従って、この部分に歩行者等の障害物があった場合、それを映像として明確に捉えることができる。
また、自車のヘッドランプが看板に当たって反射するような反射光の場合、第２１図のように、反射体自体は白く飽和した映像となるが、その周辺にはほとんどハレーションが広がらず、輝度データで見ると、急峻なエッジを描くことができる。この部分に歩行者等の障害物があったとしても、これは十分映像として捉えることができる。この場合、前記ハレーション対策のように、ＥＶＥＮフィールドに対しＯＤＤフィールドの露光量を抑える必要はなく、むしろ夜間で被写体の光量が小さいことを考慮し、ＯＤＤフィールドもＥＶＥＮフィールドと同様、十分露光量を確保し、障害物認識がより容易となった。
以上、本発明実施形態の撮像システムによれば、対向車のヘッドランプなどの強い光を直接受けても、それによるハレーションを低減し、その周囲にある障害物、歩行者などを映し出すことができる。標識、白線などからの反射光を受けても、十分に露光を開放し、明るい映像を確保できる。
前記画像処理部７は、前記ＥＶＥＮフィールドの画像を三値化処理して高輝度の白色、中輝度の灰色、低輝度の黒色の属性に分け、該白色ブロックグループの回りの灰色ブロックの数に応じて前記ＯＤＤフィールドの画像の露光量を制御することができる。
従って、白色ブロックグループの回りの灰色ブロックの数により灰色ブロックの程度を確実に捉え、周期的に出力される画像のＯＤＤフィールドの露光量の制御をより確実に行うことができる。
前記画像処理部７は、前記画像のＥＶＥＮフィールドを複数のブロックに分け、各ブロックの輝度平均値を二つの閾値により分けて前記三値化処理を行うことができる。
従って、各画素に注目して三値化処理を行う場合に比べて迅速な処理を行うことができる。
前記画像処理部７は、前記画像のＥＶＥＮフィールドを複数のブロックに分け、各ブロック毎に二つの閾値により各画素を高輝度の白色、中輝度の灰色、低輝度の黒色の属性に分け、各ブロック内で各属性の合計数が最も多いものをそのブロックの属性として前記三値化処理を行うことができる。
従って、各画素に注目して三値化処理を行うことができ、より正確な処理を行うことができる。
前記画像処理部７は、前記白色ブロックグループの回りの灰色ブロックの数の最大数に応じて前記ＯＤＤフィールドの画像の信号蓄積時間を制御することができる。
従って、ハレーションを簡易に特定することができ、迅速な処理を行うことができる。
前記画像処理部７は、前記白色ブロックグループの数と該白色ブロックグループの回りに検出される灰色ブロックの数と白色ブロックグループの回りに理想的に形成される灰色ブロックの数とに応じて前記ＯＤＤフィールドの画像の信号蓄積時間を制御することができる。
従って、ハレーションを的確に特定することができ、より正確な処理を行うことができる。
前記画像処理部７は、前記白色ブロックを特定しその回りを順次探索して白色ブロックの回りの灰色ブロックを特定すると共に隣接する白色ブロックが特定されたときは該白色ブロックを順次結合することができる。
従って、白色ブロックの固まりを的確且つ迅速に抽出して制御することができる。
本発明の撮像システムは、前記ＩＲランプ３、ＣＣＤカメラ５、及び画像処理ユニット７が、自動車に備えられ、前記ＩＲランプ３は、前記自動車の前方に赤外光を照射し、前記ＣＣＤカメラ５は、前記自動車の前方を撮像することができる。
従って、対向車のヘッドランプの照明等によるハレーションがあっても、強い光による高輝度の固まりの回りのなだらかに低輝度へ遷移する領域を除去或いは抑制することができ、この部分に歩行者などの障害物があっても映像として明確に捉えることができる。
なお、前記ＥＶＥＮフィールドとＯＤＤフィールドとの関係を逆に設定し、ＯＤＤフィールドのハレーション強度を求め、そのハレーション強度に応じて、ＯＤＤフィールドに対するＥＶＥＮフィールドの露光差を求め、ＥＶＥＮフィールドでの露光を抑える構成にすることもできる。
前記ＯＤＤフィールド、ＥＶＥＮフィールドにおいて、各画素毎の電荷を処理するＤＳＰ１３によっては、電荷読み出しを単一画素の読み出しに限らず、いくつかの画素のかたまりとして読み出し扱うこともできる。
前記実施形態では、出力画像をヘッドアップディスプレイ９で表示するようにしたが、車室内等に備えられたディスプレイに表示するように構成することもできる。また、ＩＲランプ３で自動車の走行方向前方を照射するようにしたが、後方或いは側方等を照射し、ＣＣＤカメラ５で後方或いは側方等を撮像する構成にすることもできる。
前記撮像システムは、自動車に限らず二輪車、船舶等、他の乗り物、あるいは乗り物から独立した撮像システムとして構成することもできる。

以上説明した通り、本発明に係る撮像システムは、自動車の夜間走行中に、前方に赤外光を照射し車載のＣＣＤカメラ等で撮像した画像を確認することによって、車両前方の状況を把握するのに適している。

Claims (8)

1. 赤外光を照射するための赤外光照射手段と、
   前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、
   前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力可能な画像処理部とを備え、
   前記画像処理部は、前記周期的に出力される画像の一方において周辺に中輝度の広がりを持つ高輝度の固まりを抽出し、前記中輝度の程度に応じて前記周期的に出力される画像の他方の信号蓄積時間を制御することを特徴とする撮像システム。
2. 請求項１記載の撮像システムであって、
   前記画像処理部は、前記画像の一方を三値化処理して高輝度、中輝度、低輝度の属性に分け、前記高輝度の回りの中輝度の数に応じて前記他方の画像の信号蓄積時間を制御することを特徴とする撮像システム。
3. 請求項２記載の撮像システムであって、
   前記画像処理部は、前記画像の一方を複数のブロックに分け、各ブロックの輝度平均値を二つの閾値により分けて前記三値化処理を行うことを特徴とする撮像システム。
4. 請求項２記載の撮像システムであって、
   前記画像処理部は、前記画像の一方を複数のブロックに分け、各ブロック毎に二つの閾値により各画素を高輝度、中輝度、低輝度の属性に分け、各ブロック内で各属性の合計数が最も多いものをそのブロックの属性として前記三値化処理を行うことを特徴とする撮像システム。
5. 請求項２〜４の何れかに記載の撮像システムであって、
   前記画像処理部は、前記高輝度の属性の回りの中輝度の属性の数の最大数に応じて前記他方の画像の信号蓄積時間を制御することを特徴とする撮像システム。
6. 請求項２〜４の何れかに記載の撮像システムであって、
   前記画像処理部は、前記高輝度の属性の数と該高輝度の属性の回りに検出される中輝度の属性の数と高輝度の回りに理想的に形成される中輝度の属性の数とに応じて前記他方の画像の信号蓄積時間を制御することを特徴とする撮像システム。
7. 請求項５又は６記載の撮像システムであって、
   前記画像処理部は、前記高輝度の属性を特定しその回りを順次探索して高輝度の回りの中輝度を特定すると共に隣接する高輝度の属性が特定されたときは該高輝度の属性を順次結合することを特徴とする撮像システム。
8. 請求項１〜７の何れかに記載の撮像システムであって、
   前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、
   前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、
   前記撮像手段は、前記自動車の外方を撮像することを特徴とする撮像システム。

Images