JP5867167B2 - 影検出装置 - Google Patents

Description

本発明は、自車の周囲に映し出される影を検出する影検出装置に関する。

自車の前方画像をカメラにて撮像し、撮像した画像から道路上の仕切線（以下、白線として説明する）を抽出し、自車が白線内の車線から逸脱しないように走行するように制御するシステムが提案されている。このようなシステムでは、道路上に存在する白線を精度良く検出する必要がある。ところが、道路上には太陽光による影が映し出されている場合があり、このような場合には影と白線を識別することが求められ、従来より、例えば特開２００３−３３７９９９号公報（特許文献１）に開示されたものが提案されている。該特許文献１では、画像中に自車の影が存在するか否かを判定し、この判定結果に基づいて、白線の認識精度を向上させることが開示されている。

特開２００３−３３７９９９号公報

しかしながら、上述した特許文献１に開示された従来例は、自車の影のみを考慮しており、建物等により道路上に映し出される影を考慮していないので、道路上に建物等による影が映し出されている場合には影を高精度に検出することができないという問題があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両前方を撮像した画像中に含まれる影を高精度に検出することが可能な影検出装置を提供することにある。

上記目的を達成するため、本発明は、自車が保有或いは取得する情報に基づいて、自車の走行路の幅方向端部に段差があることを認識する段差認識手段と、撮像手段で撮像される画像中で、段差認識手段が認識した段差と交差するエッジを検出するエッジ検出手段と、エッジ検出手段で検出されたエッジの連続性に基づいて、影エッジを判定することで影判定する影判定手段とを有する。

本発明に係る影検出装置では、エッジ検出手段で検出されるエッジの連続性と、段差認識手段で認識される段差に基づいて、影判定するので、エッジ検出手段で検出されているエッジに基づいて、影の存在を精度良く検出することが可能となる。

本発明の第１実施形態に係る影検出装置、及びその周辺機器の構成を示すブロック図である。 本発明の第１実施形態に係る影検出装置の処理手順を示すフローチャートである。 自車の方位と太陽光の照射方向を示す説明図である。 本発明の第１実施形態に係る影検出装置の、周囲環境撮像部で撮像された周囲画像、及びエッジ画像を示す図である。 本発明の第１実施形態に係る影検出装置の、エッジ画像から影方向を向くエッジを抽出した画像を示す図である。 本発明の第１実施形態に係る影検出装置の、影方向を向くエッジ画像から影エッジを抽出した画像を示す図である。 本発明の第１実施形態に係る影検出装置の、周囲環境撮像部で撮像された周囲画像、及びエッジ画像の第２の例を示す図である。 本発明の第２実施形態に係る影検出装置、及びその周辺機器の構成を示すブロック図である。 本発明の第２実施形態に係る影検出装置で抽出されるＮ−１ステップのエッジ画像とＮステップのエッジ画像を示す図である。 本発明の第２実施形態に係る影検出装置で抽出されるＮ−１ステップのエッジ画像とＮステップのエッジ画像のアンドを求めた画像を示す図である。 本発明の第２実施形態に係る影検出装置の処理手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［第１実施形態の説明］
図１は、本発明の第１実施形態に係る影検出装置、及びその周辺機器の構成を示すブロック図である。図１に示すように、本実施形態に係る影検出装置１００は、日時取得部１０と、影方向取得部２０と、周囲環境撮像部３０と、エッジ検出部４０と、地図データ記憶部７０と、段差認識部８０、及び影判定部５０を備えている。そして、地図データ記憶部７０のデータ、及び影判定部５０による判定結果が車両制御部６０に出力される。

日時取得部１０は、ＧＰＳのように外部から日時情報を取得し、或いは内蔵された時計から日時情報を取得して、取得した日時情報を影方向取得部２０に出力する。

影方向取得部２０は、日時取得部１０より取得した日時情報、及び車両制御部６０より出力される自車の方位角（基準方向に対する自車走行方向の角度）に基づいて、ある物体についての影ができる方向（以下、「影方向」という）を算出し、算出した影方向データを影判定部５０に出力する。

周囲環境撮像部３０は、カメラ等の撮像手段を有し、該カメラで自車両の周囲環境を撮像し、撮像した周囲環境の画像データをエッジ検出部４０に出力する。

地図データ記憶部７０は、自車が走行する地域の地図データを記憶すると共に、道路に存在する白線、縁石等の情報を合わせて記憶している。そして、記憶されている地図データを段差認識部８０、及び車両制御部６０に出力する。

段差認識部８０は、地図データに含まれる縁石等のデータに基づいて、自車の走行路に存在する段差を認識し、認識した段差データをエッジ検出部４０に出力する。

エッジ検出部４０は、周囲環境撮像部３０にて撮像した周囲環境画像中のエッジを検出し、更に、段差認識部８０で認識された段差と交差するエッジ抽出する。そして、この段差と交差するエッジデータを影判定部５０、及び車両制御部６０に出力する。

影判定部５０は、影方向取得部２０により取得した影方向データと、エッジ検出部４０にて検出されたエッジデータに基づいて、エッジ検出部４０で検出されたエッジから、物体の影のエッジである影エッジを抽出する。そして、抽出した影エッジを車両制御部６０に出力する。

なお、上述した影検出装置１００は、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

車両制御部６０は、自車位置推定部６０ａ、及び操舵制御部６０ｂを備えている。

自車位置推定部６０ａは、地図データ記憶部７０に記憶されている地図データと、影判定部５０より出力される影エッジのデータと、エッジ検出部４０にて検出されたエッジデータとに基づいて、自車位置及び自車方位角を推定し、操舵制御部６０ｂに出力する。

操舵制御部６０ｂは、自車位置推定部６０ａにより推定された自車位置及び自車方位角と、地図データ記憶部７０に記憶されている地図データとに基づいて、自車が車線内を維持して走行するように操舵制御を行う。

次に、上述のように構成された本実施形態に係る影検出装置１００、及び車両制御部６０による処理手順を、図２に示すフローチャートを参照して説明する。

初めに、ステップＳ１１０において、周囲環境撮像部３０は、自車の周囲環境をカメラで撮像し、自車の周囲画像Ｍを取得する。その結果、例えば、図４（ａ）に示す如くの周囲画像Ｍが取得される。

ステップＳ１２０において、エッジ検出部４０は、ステップＳ１１０の処理で取得した周囲画像Ｍのエッジを検出する。エッジ検出は、例えばキャニー法等の公知の手法を用いることができる。その結果、図４（ｂ）に示すように、自車前方に存在する物体、或いは路面に描かれた線、段差等の輝度が変化する部分が強調されたエッジ画像が得られる。

ステップＳ１３０において、日時取得部１０は、現在日時Ｄを取得する。この処理では、例えばＧＰＳ等より得られる日時情報を取得する。

ステップＳ１４０において、影方向取得部２０は、影が生成される方向を算出する。この処理では、自車の位置Ｐ、及び方位角φが算出されている場合には、図３に示すように、自車の位置Ｐと現在日時Ｄに基づいて自車に対する太陽光の角度αを算出することができ、更に、自車の方位角φと太陽光の角度αに基づいて、自車に対する相対的な影の方向θを、θ＝１８０°−α−φ（実空間）で算出することができる。一方、自車の位置Ｐ、及び方位角φが算出されていない場合には、影方向θをＮＵＬＬ（データ無し）とする。

ステップＳ１５０において、影判定部５０は、ステップＳ１４０の処理で算出した影方向θと、ステップＳ１２０の処理で検出したエッジ情報とに基づき、下記の第１〜第３の判定に基づいて影エッジを判定する。

第１の判定では、ステップＳ１２０の処理で検出されたエッジのうち、実空間上のエッジ方向がステップＳ１４０の処理で算出された影方向と同一方向であるエッジを抽出する。即ち、現在の日時に基づき、自車の左側後方から太陽光が照射されている場合には、太陽光による影は右側前方に向けて生成されると推定される。従って、図４（ｂ）に示すエッジ画像では、図５に示すｎ１〜ｎ６が影方向と同一方向のエッジとして抽出される。

第２の判定では、抽出したエッジの中から、互いに概延長線上にあるエッジの組み合わせを抽出する。概延長線上とは、例えば、互いに近い端点どうしを結んだ直線の傾きが、影方向θに対して所定の範囲（例えば、±２°）内であるものとする。その結果、図５に示したｎ１，ｎ２は同一の物体によるエッジであるものと判断される。

第３の判定では、抽出したエッジの組み合わせの互いに近い端点どうしの実空間上の距離が所定値（例えば１［ｍ］）以下のエッジの組み合わせを影エッジの候補とする。更に、地図データ記憶部７０に記憶されている地図データに含まれる縁石等の段差情報に基づき、段差認識部８０は、エッジ画像中に含まれる段差を抽出する。その結果、例えば、図５に示すエッジｍ１，ｍ２が段差であるものと認識される。そして、この段差となるエッジｍ１，ｍ２と交差し、更に、この段差部分で途切れているエッジを影エッジとして認識する。従って、図６に示すｎ１，ｎ２が影エッジとして認識されることになる。

即ち、図６に示すｎ１，ｎ２は、端点どうしが近接しており、この間に段差によるエッジｍ１が存在しているので、これらのエッジｎ１，ｎ２は影エッジであると判定する。また、影エッジとして判定されたエッジに接続するエッジで、接続点に接続するエッジが他にない（２本しかない）場合は、接続しているエッジも影エッジと判定する。

ステップＳ１６０において、自車位置推定部６０ａは、ステップＳ１２０の処理で検出したエッジ情報のうち、ステップＳ１５０の処理で影エッジと判定されなかったエッジデータ（即ち、白線であると推定されるエッジデータ）と、地図データ記憶部７０に記憶されている地図情報とに基づき、自車位置Ｐ、方位角φを算出する。具体的には、エッジ情報を実空間上に変換した上で、地図情報とマッチングするように自車位置Ｐ、方位角φを推定する。なお、地図情報を画像空間上に変換してマッチングを行っても良い。

ステップＳ１７０において、操舵制御部６０ｂは、ステップＳ１６０の処理で推定した自車位置Ｐ、方位角φと、地図データ記憶部７０に記憶されている地図データに基づいて、自車が車線内を安定に走行するように操舵制御を行う。

ステップＳ１８０において、操舵制御部６０ｂは、自車のイグニッションがオンであるか否かを判定する。そして、イグニッションがオフでなければ、ステップＳ１１０に処理を戻し、イグニッションがオフである場合には本処理を終了する。

こうして、太陽光の照射方向に基づいて影が映し出される方向を推定し、この方向を向くエッジと、段差によるエッジとの関係に基づいて影エッジを抽出する。そして、エッジ画像に含まれる全体のエッジから影エッジを除外する。即ち、影エッジが除外されたエッジは、白線によるエッジであると推定されるので、この影エッジ以外のエッジを用いて車両の走行を制御することにより、車線を逸脱しない安定した走行制御が可能となる。

また、上記した実施形態では、ステップＳ１５０の処理にて、道路上に存在する段差のエッジと、この段差のエッジと交差する不連続なエッジに基づいて影エッジであるか否かを判定する手法を採用したが、以下に示すように、段差が存在する領域にて折れ線状となるエッジが存在する場合に、この折れ線状のエッジを影エッジとして判定することも可能である。

図７（ａ）は、周囲環境撮像部３０で撮像された画像であり、自車の走行車線の前方に影が存在し、更に、段差ｍ１にて影が折れ線状となっている画像を示している。そして、この画像のエッジを検出すると、図７（ｂ）に示す如くのエッジ画像が得られる。また、太陽光の照射方向が右側後方である場合には、図７（ｂ）中の、エッジｎ１１，ｎ１２が抽出されることになる。この際、エッジｍ１は段差によるエッジであり、且つ、エッジｎ１１とｎ１２は、エッジｍ１の部位にて折れ線状に連結しているので、エッジｎ１１，ｎ１２は、影エッジであるものと判定する。

つまり、影判定部５０では、段差部で不連続性を有し、且つ折れ線状に連結しているエッジが存在する場合には、このエッジを影エッジであるものと判定する。

このような構成においても、前述した手法を用いた場合と同様に、高精度に影エッジを判定することができ、エッジ画像全体から影エッジを除外することができ、ひいては車線を逸脱しない安定した走行制御を行うことができる。

また、本実施形態において、画像中で検出したエッジを実空間上に座標変換したり、地図情報を画像空間上に座標変換する処理を行っている。これらの変換は、下記により行うことができる。

（ａ）実空間から画像空間への変換処理は下記（１）式により実行される。

Ｉ＝Ｃ2Ｃ1Ｒ …（１）
但し、Ｉは、画像空間上の座標、Ｒは実空間上の座標、Ｃ1は車両座標系からカメラ座標系への座標変換行列、Ｃ2はカメラ座標系から画像空間への座標変換行列、である。

（ｂ）画像空間から実空間への変換処理は下記（２）式により実行される。

Ｒ＝Ｃ4Ｃ3Ｉ …（２）
但し、Ｒは実空間上の座標、Ｉは画像空間上の座標、Ｃ3は画像空間からカメラ座標系への座標変換行列、Ｃ4はカメラ座標系から車両座標系への座標変換行列、である。

このようにして、本発明の第１実施形態に係る影検出装置では、自車前方の画像を撮像し、この画像からエッジ画像を生成し、更に、太陽光の照射方向から影ができる方向を算出する。更に、この方向を向くエッジで、且つ、地図データより取得される段差と交差する部位で途切れるエッジが存在する場合に、このエッジを影エッジとして判定する。従って、エッジ画像中に存在する影エッジを高い精度で検出することができる。その結果、エッジ画像に含まれる全体のエッジから影エッジを除去して、白線のエッジを求めることができ、白線に沿った走行制御を高精度に行うことに寄与することができる。

また、段差と交差する部位で不連続となる複数のエッジを組み合わせて、影であるか否かを判定するので、影エッジが縁石等の段差により途切れた場合でも、これを組み合わせて高精度な影判定が可能となる。

更に、不連続を有するエッジを抽出する際に、概延長線上のエッジを組み合わせて不連続を判定しているので、不連続を有する影エッジを確実に抽出することができ、影判定の精度を向上させることができる。

また、段差となる領域にて、複数のエッジが折れ線状に連結されている際に、これらのエッジの組み合わせを影エッジと判定するので、段差と交差する影エッジを高精度に検出することが可能となる。

更に、エッジ画像に含まれる複数のエッジのうち、影方向取得部２０で取得される影方向と略同一の方向を向くエッジを影エッジの候補として抽出するので、それ以外のエッジを影エッジの抽出演算から除外することができ、演算負荷を軽減でき、且つ、高精度な影エッジの抽出が可能となる。

また、影方向取得部２０は、現在の日時、及び自車の方位角に基づいて影方向を算出するので、影方向を高精度に求めることができ、ひいては影判定を精度を向上させることができる。

［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。図８は、第２実施形態に係る影検出装置の構成を示すブロック図である。

図８に示すように、第２実施形態に係る影検出装置１０１は、図１に示した第１実施形態と対比して、日時取得部１０を備えない点で相違している。また、図８に示す影方向取得部２０は、エッジ情報を記憶するメモリ２０ａを備えている。

次に、第２実施形態に係る影検出装置１０１の処理手順を、図１１に示すフローチャートを参照して説明する。

図１１に示すフローチャートは、第１実施形態で説明した図２のフローチャートから、ステップＳ１３０の「現在日時Ｄ取得」の処理を削除した点、及びステップＳ１４０に示した「影方向算出」の処理が相違する点で相違している。以下、図１１のステップＳ１４０ａに示す影方向算出の処理について説明する。

図１１に示すステップＳ１４０ａにおいて、影方向取得部２０は、メモリ２０ａにエッジ情報が記憶されている場合に、影方向θを算出し、エッジ情報が記憶されていない場合には、影方向θをＮＵＬＬとする。

そして、メモリ２０ａ内にエッジ情報が記憶されている場合の影方向の算出は、今回の処理ステップ（Ｎステップ）で取得したエッジ画像と、前回の処理ステップ（Ｎ−１ステップ）で取得したエッジ画像のアンド（論理和）を求める。その結果、２つの画像に共通して存在するエッジ画像が得られることになる。具体的には、Ｎ−１ステップで取得したエッジ画像が図９（ａ）に示す画像であり、Ｎステップで取得したエッジ画像が図９（ｂ）の示す画像である場合には、これらのアンドを求めることにより、図１０に示す如くのエッジ画像が得られる。

更に、アンドを求めることにより取得されたエッジから、自車に近い位置に存在するエッジを自車の影エッジとして抽出する。図１０に示す例ではエッジｎ２１，ｎ２２，ｎ２３が自車の影エッジであるものと考えられるので、このうち、影エッジｎ１の方向を影方向θであるものと推定する。

また、Ｎステップのエッジ情報をメモリ２０ａに記憶する。影方向θは、例えば、図１０に示す例では、車両先端中心の影の画像上の座標Ｉを「画像空間→実空間」の座標変換を行うことにより車両先端中心の影の実空間上の座標Ｒが得られるので、実際の車両先端中心と座標Ｒを結んだ直線がなす角が影方向θとなる。

なお、第２実施形態では、今回のステップのエッジ情報と、前回（１ステップ前）のエッジ情報とのアンドを求める例について説明したが、画像取得周期や、走行速度により、２ステップ以上前のエッジ情報とのアンドを求めるようにしても良い。

その後、この影方向θを用いて、図１１に示すステップＳ１５０以降の処理を実行する。これらの処理は、図２に示した処理と同様であるので、説明を省略する。

このようにして、第２実施形態に係る影検出装置１０１では、前述した第１実施形態と同様の効果を達成できると共に、影方向取得部２０が、自車の影を検出し、この影の方向から影方向を求めるので、自車の方位角を認識できない場合でも高精度に影方向を取得することができる。また、日時の取得が不要となり、構成を簡素化することができる。

以上、本発明の影検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

本発明は、自車前方の画像中に含まれる影を高精度に検出することに利用することができる。

１０ 日時取得部
２０ 影方向取得部
２０ａ メモリ
３０ 周囲環境撮像部
４０ エッジ検出部
５０ 影判定部
６０ 車両制御部
６０ａ 自車位置推定部
６０ｂ 操舵制御部
７０ 地図データ記憶部
８０ 段差認識部
１００，１０１ 影検出装置

Claims (7)

1. 自車の周囲環境を撮像する撮像手段と、
   自車が保有或いは取得する情報に基づいて、自車の走行路の幅方向端部に段差があることを認識する段差認識手段と、
   前記撮像手段で撮像した画像中の前記段差認識手段が認識した段差と交差するエッジを検出するエッジ検出手段と、
   前記エッジ検出手段で検出されたエッジの連続性に基づいて影エッジを抽出し、該影エッジに基づいて影判定する影判定手段と、
   を有することを特徴とする影検出装置。
2. 前記影判定手段は、前記エッジ検出手段により検出された複数のエッジの中から、不連続となる複数のエッジの組み合わせを判定することで影判定することを特徴とする請求項１に記載の影検出装置。
3. 前記影判定手段は、一のエッジの概延長線上に存在する他のエッジを組み合わせて影判定することを特徴とする請求項２に記載の影検出装置。
4. 前記影判定手段は、前記エッジ検出手段により検出された複数のエッジの中から、折れ線状に連結された複数のエッジの組み合わせを影エッジと判定することを特徴とする請求項１〜請求項３のいずれか１項に記載の影検出装置。
5. 影が生成される方向である影方向を取得する影方向取得手段を更に備え、
   前記影判定手段は、前記影方向取得手段により取得された影方向を向くエッジに対してのみ影判定を行うことを特徴とする請求項１〜請求項４のいずれか１項に記載の影検出装置。
6. 前記影方向取得手段は、現在の日時と自車の方位角を取得する手段を含み、現在の日時と自車の方位角に基づいて、影が生成される方向を算出することを特徴とする請求項５に記載の影検出装置。
7. 前記影方向取得手段は、前記撮像手段により撮像した画像中の自車の影の方向から影方向を取得することを特徴とする請求項５に記載の影検出装置。

Images