JP2017144937A - 撮像システム - Google Patents

Abstract

【課題】ガラスの曇りを除く制御において加熱部によりガラスを過度に加熱することを抑える技術を提供する。【解決手段】車両に搭載される撮像システムであって、車両のガラス越しに車外を撮像する撮像部１３と、少なくとも撮像部１３の撮像範囲に含まれるフロントガラス１２の撮像領域１６を加熱するための加熱部１８と、撮像部１３が撮像した撮像画像の曇り度合いを検出する画像処理部２２と、検出した曇り度合いにもとづいて加熱部１８の出力を調整してフロントガラス１２の撮像領域１６を加熱させる制御部２６と、を備える。【選択図】図２

Description

本発明は、車両に搭載される撮像システムに関する。

従来より、車室内にカメラを設置し、ガラス越しに車両外部（車外）を撮像するシステムが知られている。車両に搭載される運転支援システムは、車載カメラがガラス越しに撮像した画像から車両周囲の歩行者や車両を検出し、運転者に対して警報を出力するなどの運転支援処理を実施する。車載カメラの撮像範囲に含まれるガラス領域が曇っていると、車載カメラが車外を良好に撮像できないため、運転支援システムは、撮像画像にもとづいた運転支援処理を中止しなければならない。そのためガラスの曇りを防止または除去して、車載カメラが車外を良好に撮像できるようにすることが好ましい。

特許文献１は、車両のガラス越しに車外を撮像する撮像システムを開示する。特許文献１に開示される撮像システムは、エンジン始動時に外気温が所定温度未満であることを検知した場合に、フロントガラスに埋め込まれた熱線ヒータを作動させて画像センサの撮像範囲に対応するガラス領域を所定時間が経過するまで加熱し、この熱線ヒータによる加熱処理を所定周期で繰り返し実行する。

また、特許文献１には、温度センサおよび湿度センサの出力にもとづいてガラスの曇りが発生したこと又はガラスの曇りが発生するおそれがあることを検知した場合に、空調装置の除湿機能を作動させてガラスの曇りを除去あるいは防止するガラス曇り防止システムが開示される。温度センサ、湿度センサおよび画像センサを収容するハウジングは、ガラスに接着される。

特開２０１４−１０１００４号公報

特許文献１に開示される技術では、熱線ヒータによる加熱処理を所定周期で繰り返し実行するため、ガラスを不要に加熱するおそれがある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、ガラスの曇りを除く制御において加熱部によりガラスを過度に加熱することを抑える技術を提供することにある。

上記課題を解決するために、本発明のある態様の撮像システムは、車両に搭載される撮像システムであって、車両のガラス越しに車外を撮像する撮像部と、少なくとも撮像部の撮像範囲に含まれるガラスの領域を加熱するための加熱部と、ガラスの領域の曇り度合いを検出する曇り度合い検出部と、検出した曇り度合いにもとづいて加熱部の出力を調整してガラスの領域を加熱させる制御部と、を備える。

この態様によると、検出した曇り度合いにもとづいて加熱部の出力を調整してガラスの領域を加熱させるため、曇り度合いが小さければ加熱部の出力を抑え、曇り度合いが大きければ加熱部の出力を大きく制御できる。このように、曇り度合いが小さければ加熱部の出力を小さくすることで、ガラス領域への過度な加熱を抑えることができる。

ガラスの領域の温度を検出する温度検出部をさらに備えてもよい。制御部は、曇り度合いと温度検出部により検出した温度とにもとづいて加熱部の出力を調整してもよい。これにより、温度を監視しながら加熱部の出力を調整でき、ガラス領域への過度な加熱を抑えることができる。

制御部は、曇り度合いが所定値以下で、温度検出部により検出した温度が一定に保たれるように加熱部の出力を調整してもよい。これにより、ガラス領域への曇りを除去した状態を維持しつつ、ガラス領域への加熱および冷却を繰り返すことを抑えることができる。

本発明によれば、ガラスの曇りを除く制御において加熱部によりガラスを過度に加熱することを抑える技術を提供する。

車両に搭載される撮像システムを示す図である。 処理装置を含む撮像システムの機能構成を示す図である。 撮像部による撮像画像の例を示す図である。 フロントガラスの温度について説明するための図である。 加熱制御の一例について説明するための図である。 加熱制御処理のフローチャートを示す図である。

図１は、車両に搭載される撮像システム１を示す。実施例の撮像システム１は、カメラ１０、加熱部１８および処理装置２０を備える。カメラ１０は車両内に取り付けられ、車両２のガラス越しに車外を撮像する。図１に示す例では、カメラ１０はフロントガラス１２越しに車両２の前方を撮像する。カメラ１０は撮像部１３を備え、単眼カメラ、ステレオカメラ、赤外カメラとして構成されてよい。またカメラ１０は、温度センサ１９および物体検出センサ（不図示）を同じ筐体に備える。カメラ１０の筐体は、撮像部１３の光軸１４が車両前方を向くように、フロントガラス１２、バックミラーまたは車室天井などに取り付けられる。

カメラ１０は車外を周期的に撮像して、撮像画像を処理装置２０に供給する。撮像範囲１５は、撮像部１３の左右方向の視野角を表現し、撮像領域１６は、カメラ１０の撮像範囲１５に含まれるフロントガラス１２の領域、つまり撮像部１３により撮像されるフロントガラス１２の領域を示す。

加熱部１８が、少なくとも撮像領域１６を加熱するために撮像領域１６の周囲に設けられる。たとえば加熱部１８は、電力の供給を受けて発熱する熱線であってよい。加熱部１８である熱線は、フロントガラス１２の内面に形成されてもよく、またフロントガラス１２の内部に形成されてもよい。また加熱部１８である熱線は、撮像領域１６の周囲ではなく、透明素材により撮像領域１６の内側に形成されてもよい。なお加熱部１８は、カメラ１０側に設けられてもよく、たとえばカメラ１０のフードに設けられる熱線であってもよく、また撮像領域１６に対して熱風を供給する構成であってもよい。

加熱部１８は、処理装置２０による制御によって出力を変化させる調整が可能である。加熱部１８の加熱により撮像領域１６に付いた水や氷を除去して、撮像領域１６を鮮明にできる。

温度センサ１９は、カメラ１０に設けられるため、カメラ１０の温度と、カメラ１０に近接するフロントガラス１２の撮像領域１６の温度を含むカメラ１０周辺の温度を検知する。温度センサ１９により、加熱部１８により加熱されたフロントガラス１２の撮像領域１６が過剰に高温になってないか検知でき、カメラ１０が過剰に高温になってないか検知できる。なお、温度センサ１９は、カメラ１０と同じ筐体に設けられる態様に限られず、カメラ１０と別体に設けられてよく、フロントガラス１２の撮像領域１６に設けられてよい。

図２は、処理装置２０を含む撮像システム１の機能構成を示す。処理装置２０は、画像処理部２２、温度取得部２４および制御部２６を備える。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理部２２は、撮像部１３で周期的に撮像された撮像画像を取得し、撮像画像の曇り度合いを検出する機能をもつ。曇り度合いは、フロントガラス１２の撮像領域１６が曇っている状態を不鮮明さを表す数値として示す。フロントガラス１２の撮像領域１６は、撮像部１３により撮像されるため、撮像領域１６が曇っていたり、また着氷していたりすると、撮像部１３は、良好に外部を撮像できず、撮像画像は不鮮明になる。

実施例において、カメラ１０により取得された撮像画像は、運転支援システムによる運転支援処理に利用される。画像処理部２２は、運転支援処理のために、撮像画像から、車両や人などの物体を検出する機能をもつ。具体的に画像処理部２２は、撮像画像に含まれるエッジや角などを特徴点として検出し、テンプレートマッチングを利用して撮像画像に含まれる物体を検出する。なお画像処理部２２は、時間的に連続する複数の撮像画像において特徴点をトラッキングして、物体と自車両との速度差などの情報を検出してもよい。このような情報をもとに、運転支援システムは、検出された物体と自車両との衝突可能性を判定し、運転者に対して警報を出力するなどの運転支援処理を実施する。なお構造物などの静止物の特徴点は複数の撮像画像における差分から抽出するため、画像処理部２２が特徴点を検出するためには、車両２が所定の速度（たとえば５ｋｍ／ｈ）以上で走行していることが好ましい。ここで新たな図面を参照して曇り度合いの検出処理を説明する。

図３（ａ）および図３（ｂ）は、撮像部１３による撮像画像の例を示す。図３（ａ）に示す撮像画像１０ａは良好に撮像されており、画像処理部２２は、撮像画像１０ａを画像解析して特徴点を検出し、撮像画像に含まれる物体を検出する。一方で図３（ｂ）に示す撮像画像１０ｂは良好に撮像されておらず、画像処理部２２は、撮像画像１０ｂから好適に特徴点を検出できない。

実施例の画像処理部２２は、図３（ａ）および図３（ｂ）に示すように撮像画像を複数の領域に分割し、特徴点を検出できた分割領域と、特徴点を検出できなかった分割領域を特定する。この例では撮像画像を２５（５×５）個の領域に分割している。図３（ａ）の撮像画像１０ａは良好に撮像されているため、画像処理部２２は、撮像画像１０ａの全ての分割領域で特徴点を検出する。一方、図３（ｂ）の撮像画像１０ｂは良好に撮像されておらず、画像処理部２２は、撮像画像１０ｂのいくつかの分割領域で特徴点を検出できない。

実施例の画像処理部２２は、特徴点を検出できた分割領域の数と、特徴点を検出できなかった分割領域の数とに応じて、曇り度合いを検出する。たとえば、画像処理部２２は、複数の分割領域の総数に対する、特徴点が検出できなかった分割領域の割合を曇り度合いとして検出する。たとえば、画像処理部２２は、２５個の分割領域のうち、５個の分割領域で特徴点が検出できなければ、曇り度合いを２０％として検出する。画像処理部２２は検出した曇り度合いを制御部２６に送出する。

温度取得部２４は、温度センサ１９が検知した温度に関する情報を取得し、取得した温度に関する情報を検出温度として制御部２６に送出する。

制御部２６は、加熱部１８が熱線である場合、熱線を通電して発熱させる制御を行う。制御部２６は、検出した曇り度合いと検出温度とにもとづいて加熱部１８の出力を調整してフロントガラス１２の撮像領域１６を加熱する。制御部２６は、加熱部１８に供給するパルス信号のデューティ比（平均電圧）を複数段階に保持し、デューティ比を変えることで加熱部１８の出力を調整する。制御部２６による加熱部１８の制御を、以下では「加熱制御」と呼ぶ。制御部２６による加熱制御は、加熱部１８の出力を大きくすることで加熱量を増し、加熱部１８の出力を小さくすることで加熱量を減らす。

制御部２６は、撮像画像の曇り度合いが所定の閾値以上である場合に、撮像画像が不鮮明であるとして加熱の実行開始を決定する。曇り度合いが所定の閾値以上であるかが、加熱の実行開始条件である。たとえば、制御部２６は、曇り度合いが５０％より大きい場合に、つまり特徴点を検出できない領域数が２５個のうち１３個以上である場合、加熱の実行開始が決定される。このように、制御部２６は、撮像画像の曇り度合いにもとづいて加熱の実行開始を決定する。なお制御部２６は、時間的に連続する複数枚の撮像画像において、曇り度合いが所定の閾値以上であることを連続して検出した場合に、撮像画像が不鮮明であると判定して、加熱の実行開始を決定してよい。

一方で、特徴点を検出できない領域数が総数の５０％以下である場合、つまり特徴点を検出できない領域数が１２個以下である場合、制御部２６は、撮像画像が鮮明であるとして、加熱の実行を開始しない。

制御部２６は、曇り度合いが大きければ加熱部１８の出力を大きくして早く曇りを除去し、曇り度合いが小さければ加熱部１８の出力を小さくして電力消費を抑える。制御部２６は、検出温度が所定温度以上であれば、加熱部１８の出力を小さくしてカメラ１０が過剰に加熱することを抑える。つまり、制御部２６は、曇り度合いが大きく検出温度が低いほど加熱部１８の出力を大きくして、曇りを早く除去する。また、制御部２６は、曇り度合いが小さく、または／および、検出温度が高くなれば加熱部１８の出力を小さくして、過度な加熱を抑える。制御部２６は、曇り度合いおよび検出温度の絶対値と、曇り度合いおよび検出温度の変化量とをそれぞれ用いて制御してよい。

制御部２６は、曇り度合いが所定の基準値以下で、検出温度が一定に保たれるように加熱部１８の出力を調整する。温度センサ１９による検出温度が保たれるように加熱するため、加熱部１８のオン／オフの回数を減らし、フロントガラス１２に対して急加熱および急冷却を繰り返すことを抑えることができる。ここで、新たな図面を参照して検出温度を一定に保った状態について説明する。

図４は、フロントガラス１２の温度について説明するための図である。一般にガラスの曇りは、車外の気温が低い場合に、ガラス近傍の空気温度が下がり、ガラス近傍の空気に含まれる水分がガラス面に放出されることにより生じる。そのためガラスの曇りが生じた場合には、制御部２６が加熱部１８を作動させて撮像領域１６を加熱させることで、撮像領域１６の曇りはすみやかに除去される。

フロントガラス１２は、加熱部１８の加熱と、室内側熱２１により加熱される。室内側熱２１は、エアコンで温められた車室内の空気熱や、カメラ１０の熱である。加熱されたフロントガラス１２は、外へ放熱する。このように、フロントガラス１２の温度は、加熱量と放熱量により決定される。

つまり、フロントガラス１２への加熱量とフロントガラス１２の放熱量が釣り合った状態となるように制御部２６が加熱部１８の出力を調整することで、温度センサ１９による検出温度を一定に保つことができる。

図２に戻る。制御部２６は、検出温度が所定の第１温度以上に高まると、加熱部１８への通電を一時的に停止してよい。カメラ１０の回路には駆動停止温度以上に高くなると自動的に駆動を停止する機能があるが、制御部２６が検出温度を所定の第１温度を超えないように制御することで、カメラ１０の回路の停止を回避することができる。第１温度は、カメラ１０の回路の駆動停止温度より低く設定される。加熱を一時停止にする場合は、加熱の実行開始条件を満たさなくても、温度が低くなれば再度加熱を行う。

制御部２６は、所定の終了条件を満たした場合、たとえばイグニッションスイッチがオフとなった場合に加熱制御を終了する。また、加熱の終了条件として検出温度が所定の第２温度以上であることを含んでよい。加熱の終了条件を満たした場合は、加熱の実行開始条件を満たすまで、加熱は実行されない。

図５は、加熱制御の一例について説明するための図である。図５（ａ）は加熱部１８の出力を示し、図５（ｂ）は温度センサ１９の検出温度を示し、図５（ｃ）は撮像領域１６の曇り度合いを示す。なお、図５には一点鎖線で、比較技術の加熱制御を示す。

図５（ｃ）に示すように、時刻ｔ０において、曇り度合いが所定の閾値以上であるため、制御部２６は、曇り度合いと検出温度にもとづいて加熱部１８出力Ｐ１を決定し、出力Ｐ１で加熱制御を開始する。

時刻ｔ０から時刻ｔ１では、曇り度合いが低下し、検出温度が高くなる。時刻ｔ１になると、曇り度合いが低下し、検出温度が上昇したことで、制御部２６は、加熱部１８の出力を出力Ｐ１から出力Ｐ２に小さくする。

時刻ｔ１から時刻ｔ２では、曇り度合いが低下し、検出温度が高くなるものの、時刻ｔ０から時刻ｔ１の変化量と比べて、曇り度合いおよび検出温度の変化量が小さい。時刻ｔ２になると、曇り度合いがほぼゼロ％となり、制御部２６は、加熱部１８の出力を出力Ｐ２から出力Ｐ３に小さくする。

時刻ｔ２以降は、検出温度が一定であり、曇り度合いがゼロ％に維持されているため、制御部２６は出力Ｐ３での加熱を維持する制御をする。このように、実施例の加熱制御では、曇りが除去された後も加熱を継続する。制御部２６は、イグニッションスイッチがオフとなった場合に加熱制御を終了する。

一点鎖線で示す比較技術の加熱制御では、加熱部１８の出力は固定値であり、加熱部１８のオン／オフ制御でフロントガラス１２の曇りを除去する。比較技術によれば、加熱部１８をオフした後、再びフロントガラス１２が冷却されて曇り、フロントガラス１２を加熱することになり、フロントガラス１２の冷却と加熱を繰り返す。

実施例の加熱制御により、検出温度が一定になるように加熱することで、加熱部１８のオン／オフの回数を減らし、フロントガラス１２に対して急加熱および急冷却を繰り返すことを抑えることができる。また、時刻ｔ０から時刻ｔ１では比較技術の加熱制御と比べて出力の大きな加熱で曇り度合いを早く下げることができ、時刻ｔ１以降では加熱部１８への出力を下げることで過度な加熱や電力消費を抑えることができる。また、検出温度を監視することで、カメラ１０が高温になることを抑えることができる。

図６は、加熱制御処理のフローチャートを示す。制御部２６は、所定の開始条件を満たすか判定する（Ｓ１０）。加熱制御処理は、実施条件が成立している場合に（Ｓ１０のＹ）実行される。この実施条件は、少なくとも車両２のスタートスイッチが操作されてＩＧ（イグニッション）オンとなっていることを含む。また上記したように画像処理部２２による特徴点の検出は、車両２が所定の速度（たとえば５ｋｍ／ｈ）以上で走行しているときに好適に実行されるため、撮像状態判定処理は、ＩＧオンであり且つ車両２の速度が所定速度（たとえば５ｋｍ／ｈ）以上となったときに実施されてもよい。開始条件を満たさない場合、制御部２６は本処理を終了する（Ｓ１０のＮ）。

制御部２６は、加熱制御を開始すると、画像処理部２２から曇り度合いを取得し（Ｓ１２）、温度取得部２４から検出温度を取得する（Ｓ１４）。制御部２６は、曇り度合いにもとづいて撮像領域１６の撮像画像が不鮮明であるか判定する（Ｓ１６）。不鮮明でなければ（Ｓ１６のＮ）、本処理を終了する。

不鮮明であれば（Ｓ１６のＹ）、すなわち曇り度合いが所定の閾値以上であれば、制御部２６は加熱を開始する。制御部２６は、曇り度合いおよび検出温度にもとづいて加熱部１８の出力を決定し、加熱部１８の出力を調整する（Ｓ１８）。

制御部２６は、所定の終了条件を満たした場合に（Ｓ２０のＹ）、たとえばＩＧオフされた場合に、本処理を終了する。制御部２６は、所定の終了条件を満たさない場合に（Ｓ２０のＮ）、不鮮明でなくとも加熱を継続する。

なお実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例でも説明したように、ガラスの曇りは、外気温が低い場合に、ガラス近傍の空気に含まれる水分がガラス面に放出されることにより生じる。そこで車両２は、外気温を測定する温度センサを有し、制御部２６は、温度センサにより測定された外気温が所定の温度以下の低温の場合に、ガラス曇りが生じやすい状況にあることを判断して、加熱部１８を加熱制御してもよい。

実施例では、カメラ１０が車両前方を撮像するように車両２に取り付けられた例を示したが、他の方向、たとえば車両後方、車両側方を撮像するようにカメラ１０が車両２に取り付けられてもよい。

実施例では、制御部２６は、曇り度合いおよび検出温度にもとづいて加熱部１８の出力を調整する態様を示したが、この態様に限られない。たとえば制御部２６は、検出温度を用いず、曇り度合いにもとづいて加熱部１８の出力を調整してもよい。

実施例では、加熱部１８はデューティ比を変えることで出力を調整される態様を示したが、この態様に限られない。たとえば加熱部１８は、電気系統が独立した複数の熱線で構成され、通電される熱線の本数により出力を調整されてよい。

実施例では、フロントガラス１２の撮像領域１６の曇り度合いを検出する曇り度合い検出部として、撮像部１３の撮像画像を処理する画像処理部２２を示したが、この態様に限られない。例えば、カメラ１０に物体検出センサとしてレーザなどを設けて、その検知結果により曇り度合いを検出してよい。

実施例では、曇り度合いが５０％より高い場合に、加熱の実行を開始する態様を示したが、この態様に限られない。例えば、ゼロ％より大きい曇り度合いが検出されれば、検出された曇り度合いに応じて加熱の実行を開始してもよい。

１ 撮像システム、 ２ 車両、 １０ カメラ、 １２ フロントガラス、 １３ 撮像部、 １４ 光軸、 １５ 撮像範囲、 １６ 撮像領域、 １８ 加熱部、 １９ 温度センサ、 ２０ 処理装置、 ２１ 室内側熱、 ２２ 画像処理部、 ２４ 温度取得部、 ２６ 制御部。

Claims (3)

1. 車両に搭載される撮像システムであって、
   車両のガラス越しに車外を撮像する撮像部と、
   少なくとも前記撮像部の撮像範囲に含まれるガラスの領域を加熱するための加熱部と、
   前記ガラスの領域の曇り度合いを検出する曇り度合い検出部と、
   検出した前記曇り度合いにもとづいて前記加熱部の出力を調整して前記ガラスの領域を加熱させる制御部と、を備えることを特徴とする撮像システム。
2. 前記ガラスの領域の温度を検出する温度検出部をさらに備え、
   前記制御部は、前記曇り度合いと前記温度検出部により検出した温度とにもとづいて前記加熱部の出力を調整することを特徴とする請求項１に記載の撮像システム。
3. 前記制御部は、前記曇り度合いが所定値以下で、前記温度検出部により検出した温度が一定に保たれるように前記加熱部の出力を調整することを特徴とする請求項２に記載の撮像システム。

Images