JP2007207274A - 発進報知装置 - Google Patents

Abstract

【課題】道路を走行する車両が、前車の後ろに停止した後、前車が発進して自車が発進可能となったことを運転者に報知して、発進遅れを防止するための発進報知装置がある。従来の発進報知装置は、前車と自車の間に他物体が侵入したとき誤報が発生する恐れがあった。
【解決手段】車両に搭載したテレビカメラ１から、前車の後部を撮影し、この画像上に監視ライン設定回路４が、監視ラインを設定する。移動変化度演算回路５がこの監視ライン上の注目画素の移動を演算し、この移動が所定の方向で、かつ、あらかじめ定めた所定のレベルを超えると前車発進検知回路７が前車発進と判定し発報装置８から発報する。発進抑制情報検知回路６０は前車発進検知回路７により前車発進が検知される場合でも、自車が発進してはならない状況であるという情報すなわち発進抑制情報６１を検知し、前車発進の報知を抑制する。
【選択図】図１０

Description

この発明は、道路の同じレーン上にある前車の発進を自動的に検知して、必要な情報を運転者に報知する発進報知装置に関する。

自動車などの車両を運転する際、自車両の前後左右に注意して、他車両と接触しないように、また、信号停止中や渋滞停止中には前車の発進に遅滞なく追従運転しなければならない。このような場合、常に前車の状況に注目し続けなければならないので運転者の疲労は大きくなる。前車の挙動に対して遅れなく反応することは、交通の流れをスムースにし、安全を確保する上で必要であるが、監視し続けることはかなり困難である。
そこで、例えばカメラで自車両周辺を撮影し、この画像を分析、処理して必要な注意情報を運転者に提供する装置が、例えば特許文献１に車両用周辺監視装置として提案されている。この公報に記載の装置は自車両の周囲全方向を監視できる装置であるが、本発明は、特に運転上極めて重要な前車の発進に関する情報に重点を置くことにより、より信頼性、実用性を高めることを目指している。上記公報にも、前車の発進を確認するための前方監視装置が開示されているので、これについて以下に説明する。
特開平７−２３９９９８号公報

図１７は上記公報に開示された従来の前方監視装置の構成を示す機能ブロック図、図１８は図１７内の前方動ベクトル演算手段２０３の具体的構成を示す機能ブロック図、図１９は図１７内の前車発進方向パターン抽出手段２０６の具体的構成を示す機能ブロック図である。
図１７において、２００は前方監視装置であり、以下の手段２０１〜２０９から構成されている。２０１は ＣＣＤカメラ等のイメージセンサからなり前方の現画像Ｇｆを生成する前方撮影手段、２０２は現画像Ｇｆを次の撮影タイミングまで記憶して前画像Ｇｆ′を生成するための前画像記憶手段である。２０３は時系列的に異なる前画像Ｇｆ′および現画像Ｇｆに基づいて前方動ベクトルＶｆを算出する前方動ベクトル演算手段であり、図１８に示す手段２０３ａ〜２０３ｃから構成されている。図１８の詳細は後述する。

２０４は前方動ベクトル Ｖｆに基づいて前方動ベクトル方向、Ｄｆを検出する前方動ベクトル方向検出手段であり、前方動ベクトルＶｆのうち、前方演算領域Ｒｆ′およびＲｆ内で所定値以上（接近等の挙動を示す大きさに相当する）の大きさを持つ前方動ベクトル Ｖｆの方向 Ｄｆを出力する。

２０５は前方動ベクトル方向Ｄｆに基づいて自車両の停止状態または走行状態を示す判定結果Ｐまたは Ｄを出力する自車両停止判定手段であり、たとえば、背景画像の発散方向パターンが存在しない場合に自車両停止状態の判定結果Ｐを出力する。

２０６は自車両の停止状態を示す判定結果Ｐに応答して前方発進方向パターン ＦＰを抽出する前車発進方向パターン抽出手段であり、図１８に示す手段２０６ａ〜２０６ｃから構成されている。図１９の説明は後述する。

２０７は図１９（前車発進方向パターン抽出手段２０６）と同様の機能構成からなる前方車両方向パターン抽出手段であり、走行状態を示す判定結果Ｄに応答して、自車両走行中の前方動ベクトルＶｆ等を参照し、前方接近車（前方割り込み車等を含む）の画像動きのパターンと同様の方向パターンを持つ前方ブロックの組み合わせを前方車両方向パターン ＦＤとして抽出する。このとき、走行速度に対応して高速に発散する背景パターン等は削除される。

２０８は自車両停止中の前車発進方向パターン ＦＰに基づいて前方発進車を検出する前車発進検出手段であり、前車発進方向パターンＦＰに含まれる前方ブロック内の前方動ベクトル Ｖｆから前車発進を検出する。２０９は自車両走行中の前方車両方向パターン ＦＤに基づいて前方接近車を検出する前方接近車検出手段である。

図１８において、２０３ａは各画像に対する前方演算領域 Ｒｆ′およびＲｆを設定する前方演算領域設定手段である。２０３ｂは各前方演算領域を前方ブロックＢｆ′およびＢｆに分割する前方ブロック分割手段である。

図１９において、２０６ａは前車発進動ベクトル監視領域設定手段である。
２０６ｂは前車発進動ベクトル方向監視手段である。２０６ｃは停止状態を示す判定結果Ｐに応答して前車発進方向パターン ＦＰを検出する前車発進方向パターン検出手段である。

次に、図２０のフローチャートを参照しながら、具体的な車両挙動の検出処理動作について説明する。
図２０において、各ステップ Ｓ１〜 Ｓ９は、図１７内の各手段２０１〜２０９の処理動作に対応している。
まず、前方撮影手段２０１により自車両の前方を撮影し（ステップ Ｓｌ）、前画像記憶手段２０２を介して時系列的に異なる前画像Ｇｆ′および現画像Ｇｆを取得する（ステップＳ２）。

次に、前方動ベクトル演算手段２０３は、各画像Ｇｆ′およびＧｆに基づいて前方動ベクトル Ｖｆ を演算する（ステップＳ３）。すなわち、前方演算領域設定手段２０３ａは、各画像Ｇｆ′およびＧｆ内の所定位置に前方演算領域Ｒｆ′およびＲｆを設定し、前方ブロック分割手段２０３ｂは、各前方演算領域をさらに複数の前方ブロックＢｆ′およびＢｆに分割し、前方動ベクトル検出手段２０３ｃは、各前方ブロック内の画像の前方動ベクトル Ｖｆを検出する（ステップ Ｓ３）。

続いて、前方動ベクトル方向検出手段２０４は、各前方ブロック内の前方動ベクトル Ｖｆのうち、各前方演算領域で所定値以上の大きさをもつ前方動ベクトルの方向Ｄｆを検出し（ステップ Ｓ４）、自車両停止判定手段２０５は、自車両が停止中であるか否かを判定する（ステップ Ｓ５）。
もし、ステップＳ５において自車両が停止中（すなわち、ＹＥＳ）と判定された場合、前車発進方向パターン抽出手段２０６は、停止状態を示す判定結果Ｐに応答して前車発進方向パターンＦＰを抽出する（ステップＳ６）。

すなわち、前車発進動ベクトル監視領域設定手段２０６ａは、各前方演算領域内の前方車およびその周辺位置に前車発進動ベクトル監視領域ＲＷｆ′およびＲＷｆを設定し、前車発進動ベクトル方向監視手段２０６ｂは、前車発進動ベクトル監視領域内で前方動ベクトル方向 Ｄｆを監視して、前車発進動ベクトル方向ＤＶｆを生成し、前車発進方向パターン検出手段２０６ｃは、前車発進動ベクトル方向 ＤＶｆに基づいて、前方発進車の画像動きと同様の方向パターンをもつ動ベクトルを含む前方ブロックを前車発進方向パターンＦＰとして検出する。

一方、ステップＳ５において自車両が走行中（すなわち、ＮＯ）と判定された場合、前方車両方向パターン抽出手段２０７は、走行状態を示す判定結果Ｄに応答して前方車両方向パターンＦＤを抽出する（ステップＳ７）。
すなわち、前方演算領域内の所定位置に１つ以上の前方動ベクトル監視領域を設定し、前方動ベクトル監視領域内で各前方動ベクトル方向Ｄｆを監視し、前方接近車または割り込み車が存在する場合に仮定される画像動きの方向パターンと同様の方向パターンをもつ前方動ベクトルを含む前方ブロックを前方車両方向パターンＦＤとして抽出する。

最後に、前車発進検出手段２０８は、前車発進方向パターン ＦＰ内の前方動ベクトルに基づいて前方発進車を検出し（ステップ Ｓ８）、前方接近車検出手段２０９は、前方車両方向パターンＦＤ内の前方動ベクトルに基づいて前方接近車を検出する（ステップ Ｓ９）。こうして、前方車両の挙動（発進または接近）を検出することができる。

次に、図２１の説明図を参照しながら、前方画像Ｇｆに対して設定される前方演算領域 Ｒｆおよび前方ブロック Ｂｆ等の具体的位置について説明する。図２１において、ＶおよびＨは画像Ｇｆの縦および横方向の各画素数、ＲＷｆ３は前方接近車（または、前方発進車）に対する前方動ベクトル監視領域（または、前方発進動ベクトル監視領域）である。

前方演算領域 Ｒｆは、画像縦方向Ｖの下から３／４までの領域を占め、割込車に対する前方動ベクトル監視領域ＲＷｆｌおよびＲＷｆ２は、画像縦方向Ｖの下から１／６の位置から上から１／４までの範囲内の領域を占め、接近車に対する前方動ベクトル監視領域ＲＷｆ３は、前方演算領域Ｒｆ内の画像横方向Ｈの中央１／２の領域を占めている。

前方動ベクトルを演算するために限定された前方ブロック Ｂｆは、１０×１０画素の大きさからなり、前方画像Ｃｆ内の前方演算領域Ｒｆを複数個に分割している。これらの前方ブロックＢｆ内で前方動ベクトルが算出される。また、上述した前方ブロック Ｂｆでの前方動ベクトル Ｖｆの検出（ステップ Ｓ３）においては、公知の全点マッチング法が使用されるものとする。

以上のように、従来の発進報知装置は前方を撮像する撮像手段を設け、その画像を連続的に取り込み、予め、この画像に２次元の処理領域（即ち、縦、横方向に広がりのある）を設定し、さらに、この処理領域を複数の２次元ブロック（同じく縦、横方向に広がりのある）に分割する。そして、各ブロックにおける動ベクトルを求め、まずブロック内の動ベクトルが自車停止状態を示すパターンが得られているブロックの組み合わせにより、自車の停止を検知し、さらにブロック内の前車の発進を示すベクトルと同じパターンが得られているブロックの組み合わせにより前車の発進を検知する。

従来の発進報知装置は、前車の発進を検知するためにある程度の大きさの２次元画像領域を処理する必要があり、処理すべきデータ量が多いため処理装置の規模が大きくなる。処理速度が遅い、コストが高くなるという課題があった。また、例えば前車がいないときなど、画面内に前車の画像がない場合には誤報が発生する可能性があった。
又、自車および前車がともに停止状態になった後、ドライバーが発進報知装置の報知に従い、前方を確認することなく不注意に発進してしまうと、人や自転車または自動二輪車などが自車と前車の間に侵入してきた場合、侵入物と衝突する可能性がある。

この発明の発進報知装置は、自車両の前方を撮影して複数の画像を生成する撮影手段、
前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
前記画面内に侵入検知領域を設定する侵入検知領域設定手段、前記侵入検知領域の画像から自車の前方に他物体が侵入したことを検知する侵入検知手段、前記侵入検知手段が他物体の侵入を検知したとき、前記報知手段による前車発進報知の動作を停止するものである。

また、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
車載ディスプレイ装置と、この車載ディスプレイ装置が作動中に前記発進報知装置を作動させ、前記車載ディスプレイ装置が停止中には前記発進報知装置の作動を停止させる発進検知動作制御回路とを備えたものである。

また、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
自車両の停止を検知する自車両停止検知手段、
前車の有無を検知する車両存在検知手段を備え、前記自車両停止検知手段にて自車両の停止を検知し、かつ、前記車両存在検知手段が前車が存在しないと判定したとき、前記報知手段の動作を停止するものである。

また、自車両の前方を撮影して複数の画像を生成する撮影手段、
前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
前記撮影手段が撮影した画像の品質を判定して画像処理が可能か否かを判定する画像処理可否判定手段を備え、前記画像処理可否判定手段により画像処理ができないと判定された場合に、前記前車発進検知手段の処理動作を停止させるとともに、前記報知手段にて、前記発進検知装置の動作の停止を通知するものである。

また、自車両が停止したとき、前記画像内から自車両走行車線に対する信号機の有無と、その前記画像上の位置とを検出する信号機位置検出手段、前記信号機の表示の意味を判定する信号判定手段、
前記信号機位置検出手段にて信号機が検出されたときは、前記信号判定手段の判定結果にもとづき前記報知装置のＯＮ・ＯＦＦを制御し、前記信号機位置検出手段にて信号機が検出されなかったときは、前記報知装置のＯＮ動作を継続するものである。

また、自車両の前方を撮影して複数の画像を生成する撮影手段、
前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
前記撮影手段の動作を入り切りするスイッチ手段を備え、前記自車両停止検知手段が前記自車両の停止を検知した場合に、前記スイッチ手段を投入するものである。

また、自車両の前方を撮影して複数の画像を生成するとともに、レンズを保護する開閉可能なシャッターを有する撮影手段、
前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段を備え、
前記撮影手段は、前記自車両停止検知手段が前記自車両の停止を検知している間前記シャッターを開き、停止を検知していないとき前記シャッターを閉じるように制御するものである。

また、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
自車の停止の前の所定時間内での前車の接近を検知することにより、前記発進検知信号の確からしさを算出する発進動作検知可能度算出手段を備え、
前記発進動作検知可能度算出手段が前記前車発進検知手段による発進検知の可能性が低いと判定したとき、前記前車発進検知信号の検知漏れの可能性を報知するものである。

この発明の発進報知装置は、自車両と前車との間に、侵入物が入ってきた場合に、発進報知の動作を停止させるようにしたことにより、誤報を減らすことができる。

また、車載ディスプレイに映像もしくは文字が表示されている場合に、発進報知を可能とするようににしたことにより、誤報を減らすことができる。

また、前車が存在しない場合には、発進報知の動作を停止させるようにしたことにより、誤報を減らすことができる。

また、画像処理が不可能な場合に、発進報知の動作を停止させるようにしたことにより、誤報を減らすことができる。

また、信号が発進可能状態であり、かつ前車の発進が検知された場合に発進報知を動作させるようにしたことにより、交差点停車時の信頼度が向上する。

また、自車両が停止状態である場合に限り、カメラを動作させるようにしたことにより、カメラの寿命をのばすとともに消費電力を削減することができる。

また、自車両が停止状態である場合に限り、カメラのシャッターを開放するようにしたことにより、カメラの撮像素子、レンズや光学フィルタなどの部品の寿命をのばすことができる。

また、発進検知の可能性を予め判定し、ドライバーに通知させることで、ユーザーに対する信頼度をあげる効果がある。

関連技術１．
図１は、本発明の関連技術１に係る発進報知装置の構成を示すブロック図である。図１において、１は車両に搭載され自車の前方を撮影するテレビカメラ（以下ＴＶカメラとも言う）、２はテレビカメラ１を制御するＴＶカメラ制御回路、３はテレビカメラ１が撮影した画面を記憶するフレームメモリ、４は記憶した画面内に監視ラインを設定する監視ライン設定回路（監視ライン設定手段ともいう）、５は監視ライン上の注目画素の位置の移動変化度を算出する移動変化度演算回路（移動変化度演算手段）、６は移動変化度演算回路５が出力した移動変化度を積算する移動変化度積算回路（移動変化度積算手段）、７は移動変化度積算結果を解析して前者の発進を検知する前車発進検知回路（前車発進検知手段）、８は前車の発進を音、光、振動、または画面の表示などで運転者に報知する発報装置（報知手段または報知装置とも言う）である。

次に動作について説明する。車両に搭載されたＴＶカメラ１はＴＶカメラ制御回路２に従って任意のフレーム間隔で、自車両の前方を撮像する。フレームメモリ３はＴＶカメラ１の撮像信号をデジタルに変換したデータを所定時間分（又は所定のフレーム数）だけ蓄積する。このデータは基本的には２次元の画像データであり、以後、水平方向をＸ方向、垂直方向をＹ方向として説明する。監視ライン設定回路４は、前車発進検知用の処理に用いる線状の画素群からなる監視ライン２１を前記２次元画像（画面）上に設定する。
なお、以後の説明は、上記のようにフレームメモリ３に一旦２次元画像を取り込むことを前提に進めるが、前記監視ラインの画素の値のみをフレームメモリに取り入れるように構成してもよい。

監視ライン設定回路４における監視ラインの設定例を図２〜図６に示す。図２〜図６は撮影した前車の画像を示す。図において、２０は画面内の前方車両の像（以下説明中には特に像とは断らない）、２１は前方車両の像２０に重ねて設定した監視ライン、２２は監視ライン２１の両側に設置した画像データ抽出領域である。監視ライン２１は、図のように、一定の長さをもつ線｛幅の狭い（例えば一画素の）直線または曲線｝であり、例えば図２のように、前方車両２０が停止時に、前方車両２０の車体にかかるであろうと予想される位置に予め設定しておく。図２はほぼ垂直方向になるように一本の監視ライン２１を設定した場合で、監視ライン２１上の注目画素の輝度値を使用して、後述の前車検知の判定を行う。監視ライン２１の設定は図３，図４のように複数本設定してもよい。複数本の監視ラインはなるべく図３のように互いに接しない位置に配置したほうがよく、この場合、後述の前車発進検知の判定方法の自由度を上げる効果がある。

移動変化度演算回路５の動作について、監視ライン２１を図２のように設定した場合について説明する。ある時刻tにおける監視ライン２１上の画素(x,y)（注目画素という）の輝度値をg(t,x,y)、tより過去の時刻p（ｐは時刻ｔよりも１ないし数フレーム（１フレーム＝1/30（秒））前の時刻）の同画素の輝度値をg(p,x,y)とすると、移動変化度Ovは次式で求められる。
Ov(x,y)=(g(t,x,y+1)-g(t,x,y-1))*(g(t,x,y)-g(p,x,y)) ・・（１）
Ovは、過去の時刻から所定時刻に至る過程において、画素の輝度値の変化が画面上で下から上に向かう方向で生じる場合には、負の値となり、逆に画素の輝度値の変化が画面上で上から下に向かう方向で生じる場合には正の値となる。移動変化度積算回路６は、監視ライン２１上の各画素ごとに求められた移動変化度演算回路５の出力値を積算する。(g(t,x,y)-g(p,x,y))は第１の差分値を求める手段という。(g(t,x,y+1)-g(t,x,y-1))は第２の差分値を求める手段という。

ここで、前車が発進した場合の輝度変化について図７を用いて説明する。図７において、３０は消失点、３１はオプティカルフロー(動ベクトル)である。カメラが自車両前方の道路を向いている場合、画面内の前方車両のオプティカルフロー３１は、１つの消失点３０に向かうように観測される。従って、前車が停止から前方へ発進した場合、消失点３０より下にある前車の部位の輝度の変化は、下方から上方へ向かい、逆に、消失点３０より上にある前車の部位の輝度の変化は、上方から下方へ向かう変化をする。一方、前車が後方へ発進（接近）する場合は、消失点より下にある前車の部位の輝度の変化は、上方から下方への向かい、逆に、消失点より上にある前車の部位の輝度の変化は、下方から上方へ向かう。

上記を踏まえて、前車発進検知回路７の発進判定方法について示す。前車発進検知回路７は、監視ライン２１の設置位置と消失点３０との関連によって、前車発進検知の判定方法を決定する。例えば、監視ライン２１が消失点３０に対して、下に設置されている場合、式（１）の演算結果の出力値の移動変化度積算回路６による積算値の絶対値が所定値以下である状態が所定時間以上（ノイズなどにより停止中は必ず０になるとは限らない）である状態（自車および前車がともに停止しいる可能性が高い）から、負の値でありかつその絶対値が所定しきい値をこえる状態になった場合に、前車が発進したと判定する。
また、同じく移動変化度積算回路６による積算値が正の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が後進した（接近）と判定する。

次に、監視ライン２１が消失点３０に対して、上に設置されている場合、式（１）の演算結果の積算値が正の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が発進したと判定する。また、同じく移動変化度積算回路６による積算値が負の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が後進した（接近）と判定する。
また、監視ライン２１の一部が消失点３０より下にあり、残りが消失点３０より上にある場合、消失点３０を境に、上記２つの判定方式をそれぞれ選択して行う。このように、消失点の位置と判定方式に関連があるため、予め、消失点３０の位置を手動にて設定する手段、もしくは、画像処理から自動的に検知する手段（両者ともに消失点設定手段という）を備え、その出力に基づいて、監視ライン２１の設定位置を決定したり、判定方式を決定するように構成することで、判定の信頼度を向上させることができる。

次に、監視ライン２１を図３のように２本設定した場合の判定方式について説明する。監視ライン２１を２本にしたことで、判定の自由度が拡がる。例えば、２つの監視ライン２１それぞれについて、上記判定条件を満たした場合に限り、前車発進検知ありとしてもよい。また、いずれか一方の監視ライン２１で判定条件を満たした場合に前車発進検知ありとしてもよい。前者は誤報知の発生を減らすことに効果があり、後者は検知漏れを減らす効果がある。また、２つの監視ラインを併せて１つのしきい値を設定して判定を行うようにしてもよい。なお、監視ラインが３つ以上の場合についても同様の組み合わせ方法をとることにより、それぞれ異なる効果が得られる。

監視ラインを図４のように複数本をクロスさせて設定した場合の判定方式について説明する。図４では、監視ライン２１は、垂直方向に対してある傾きを持って設置されている場合や、図５のように、たとえば消失点方向に向かう２本のラインを逆Ｖ字形に接続したような折れ線、広角レンズの収差による消失線のカーブに沿うようにするためなどの曲線の場合を含む。これは前車が発進した際に、オプティカルフローが斜めや横に発生する場合に対応するものである。このときの移動変化度演算回路５の動作は、ある時刻tにおける監視ライン上の画素に対応する１次元データ列の要素(n)の輝度値をg(t,n)、tより過去の時刻p（ｐは前述と同じ）の同要素の輝度値をg(p,n)とする。移動変化度Ov'を次式で求める。
Ov'(n)=(g(t,n+1)-g(t,n-1))*(g(t,n)-g(p,n)) ・・・・・（２）
以下の判定は図２、図３の場合と同じなので説明を省略する。
このように、複数方向の移動変化量を求めることが可能になる。さらに、監視ライン２１が図２、図３のように縦の場合には、前車の画像の縦方向に近いエッジ部分に監視ライン２１が掛かっていると移動変化度がうまく得られないが、斜めにすると縦横両方のエッジ部分のどちらからも移動変化度がうまく得られるという効果も得られる。縦方向の監視ラインを縦監視ライン、横方向の監視ラインを横監視ラインと呼び、縦監視ラインはその延長線の少なくとも一方が画面の上辺または下辺のいずれかに向かい、横監視ラインは左辺又は右辺のいずれかに向かっている。

次に、図６の判定方式について示す。図６は監視ライン２１の両隣に画像データ抽出領域２２（線状の領域）を設定する。これにより監視ライン２１の各画素に対して、図８に示すように監視ライン２１上の画素と画像データ抽出領域２２上の画素の輝度値を用いて、複数方向の移動変化度を求めることができ、移動変化度の大きい方向をその画素の移動変化方向と判定することが可能となる。
式（１）に示す監視ライン２１の方向以外の移動方向については、横方向の移動変化度をOｈ(x,y)、斜め方向の移動変化度をOc1(x,y)、Oc2(x,y)とすると
Oｈ(x,y)=(g(t,x+1,y)-g(t,x-1,y))*(g(t,x,y)-g(p,x,y)) ・・（３）
Oc1(x,y)=(g(t,x-1,y+1)-g(t,x+1,y-1))*(g(t,x,y)-g(p,x,y)) ・・（４）
Oc2(x,y)=(g(t,x+1,y+1)-g(t,x-1,y-1))*(g(t,x,y)-g(p,x,y)) ・・（５）
で示される。以上により、前車発進検知が可能となる。

発報装置８は、前車発進検知回路７にて前車の発進が検知された場合に、ドライバーに対して前車が発進したことを通知する。発報装置８は、例えば音や音声、振動で報知するものであってもよいし、また、ナビやＴＶ用のモニターが搭載されている場合は、モニター上に文字を表示させてもよい。この場合、画面に映像が表示されている場合には、映像の表示を消して文字だけを表示するようにしてもよいし、映像と文字を重畳表示させてもよい。
ＴＶカメラ１とＴＶカメラ制御装置２とフレームメモリ３はこの発明にいう撮影手段である。

関連技術２．
図９は、本発明の関連技術２の発進報知装置の構成を示すブロック図である。図９において、５０は自車が走行しているか、停車しているかを本前車発進検知回路７とは別の手段により検知し、検知した信号を前車発進検知回路７に送信して、走行中には前車発進検知回路７の動作を停止し、停車したら前車発進検知回路７の動作を開始させる停止検知回路（自車両停止検知手段）、その他は、図１と同様である。

次に動作について説明する。
関連技術１において、前車発進検知回路７は、自車両と前車がともに停止していることを移動変化度が所定時間以上０に近い値であることをもって判定していた。この場合、自車両と前車とが共に等速で運動している場合にも移動変化度が０になり、停止していると誤検知してしまうことがある。このような誤検知を回避するため、自車が停止中（または走行中）であることを検知する停止検知回路５０を備えるものである。
停止検知回路５０の動作方法には複数の方法があるので順次説明する。
第１の停止検知方法。
自車のスピードメータに利用されている車速パルスの信号を受信して、この信号から自車の車速が０になったことを検知する。この停止信号を前車発進検知回路７に送って検知動作を実行させる。

第２の停止検知方法。
停止検知回路５０は、サイドブレーキがＯＮになった信号を利用する。これによって自車の停止を検知する。以後は第１の方法の処理と同じである。

第３の停止検知方法。
停止検知回路５０は、車体に取付けた加速度センサまたは振動センサからの信号を受信して、進行方向の減速が一定時間連続した後、減速度又は加速度がほぼ０の時間が所定時間以上継続したことをもって自車両の停止を検知する。この場合、加速度センサの出力は、等速で運動している場合に０になるので、関連技術１の場合と同様に誤認識の可能性が生じるが、画像の影響を受けないということ、また、車両側から他の情報を得る必要がなく、独立した構成とすることができるので装置の構成が簡単になるという効果がある。振動センサを用いる場合には車両が停車中及び走行中にそれぞれ得られる特有の振動形態を予め記憶し、検出した振動形態から走行中か停止中かを判定する。
以後は第１、第２の方法の処理と同じである。

実施の形態１．
図１０は、本発明の実施の形態１に係る発進報知装置の構成を示すブロック図である。図１０において、６０は発進抑制情報検知回路、６１は発進抑制情報、６２は発進検知動作制御回路、その他は、図９と同様である。
次に動作について説明する。
発進抑制情報検知回路６０は、前車発進検知回路７により前車発進が検知された場合にでも、自車が発進してはならない状況であるという情報すなわち発進抑制情報６１を検知する。
ここで発進抑制情報６１の複数の実施形態について説明する。

第１の発進抑制情報。
自車および前車がともに停止状態になった後、ドライバーが発進報知装置の報知に従い、前方を確認することなく不注意に発進してしまうと、人や自転車または自動二輪車などが自車と前車の間に侵入してきた場合、侵入物と衝突する可能性がある。これを回避するために、侵入物ありという発進抑制情報６１が得られた場合には、前車発進検知の通報を抑制するか、通常の発進と異なることをドライバーに通知して不注意な発進を抑制する。

侵入物の検知は、前車発進検知用のカメラ１の画面上に侵入検知領域を設定し（侵入検知領域設定手段）、画像処理により検知する方法がある。画像処理手法としては、例えば、停止直後の画面を背景画面として保持し、以後に得られる画面との背景差分画像を求め抽出する。この変化分を表す領域が、予め想定している人などの大きさや形状に近く、なおかつ時間における領域の変位が、画面上で横への変化、即ち、画面の左から右へ、または、右から左へ変位している場合に侵入物ありと判定する（侵入検知手段という）。このようにして、発進抑制情報検知回路６０が所定の発進抑制情報６１を得た場合に、この信号を発進検知動作制御回路６２に出力する。
発進検知動作制御回路６２は、発進抑制情報が送信されてきた場合に、Ａ）前車発進検知回路７の動作を停止させるか、又は、Ｂ）発報装置８の発報動作を停止させるか、又は、Ｃ）発報の内容を通常の前車発進検知に関する発報とは異なる内容（音を変える、文字の表示内容を変える等）で発報する。侵入物の検知の別法としては、光送受信器を備え、光切断によって侵入物を検知することでもよい。

第２の発進抑制情報。
ドライバーが前方から目を離す可能性が高い場合として、車載ディスプレイを見る場合がある。すなわち、ナビ情報やインターネット情報を見ている場合である。発進報知装置は、ドライバーがこれらの情報に注意が向かい、前車が発進したことに気づくのが遅れることを回避することを目的とするものであるが、逆に、それ以外ではドライバーは前方を見ている場合が多く、発進報知は不要と考えられる。従って、発進抑制情報６１として、車載ディスプレイがオフであることを検知した場合には、発進検知動作制御回路６２に出力して、その動作を停止する。以後の動作は上記第１の発進抑制情報の説明と同じなので説明を省略する。言い換えると、車載ディスプレイがオンの時に限り発進報知を可能とするものである。また、予めドライバーが車載ディスプレイがオフであるときに、発進報知動作を抑制するかどうかを設定できる機能を用意し、選択可能としてもよい。

第３の発進抑制情報。
発進報知装置は、前車がいることが前提となる。しかし、交差点手前、先頭で停車している場合など、前車がいない場合がある。この場合、前車発進検知の出力は不要である（あっても誤報である）。従って、前方に車両が存在するかどうかを判定し（車両存在検知手段という）、車両が存在しない場合には、発進抑制情報６１として発進検知動作制御回路６２に出力し、発進報知装置の動作を停止する。以後の動作は上記に同じ。前車の有無を検知する方法は、カメラ１の画像を解析して車の後部が写っているのを検出してもよいが、その他にもレーザを用いる方法や超音波を用いる方法などいくつかの方法が公知であるので詳細な説明は省略する。

第４の発進抑制情報。
前車発進検知回路７は、関連技術１で述べたように画像処理を用いて前車の発進を判定している。この場合、撮影画像自体に何らかの不良がある場合には、画像処理結果の信頼度が低下するため、発進報知も抑制する必要がある。このため、カメラが正常に動作しているかを判定する手段、例えばカメラの画像にスミア、ハレーションを生じている、又は、全体的に暗すぎる場合や全体的に明るすぎる場合など対象画像の不具合を画像の輝度情報から求める手段（画像処理可否判定手段という）をもうけ、画像処理不能が検知された場合には、発進抑制情報６１として、発進検知動作制御回路６２に出力して発進報知装置の動作を停止する。以後の動作は上記に同じ。

第５の発進抑制情報。
自車が右左折するために停止している場合、基本的には、発進報知の機能は不要と考えられる。従って、発進抑制情報６１として、左右のどちらかのウィンカがオンであることを検知した場合には、発進検知動作制御回路６２に出力する。以後の動作は上記第1の発進抑制情報の説明と同じなので説明を省略する。

第６の発進抑制情報。
ドライバー自身が、前車発進報知の発報動作を不要と判断した場合、発報装置８に装備されたスイッチもしくはタッチパネルなどによる車載ディスプレイにより、動作の停止を入力する。動作の停止が入力された場合、発進抑制情報６１として、発進検知動作制御回路６２に出力する。以後の動作は第１の発進抑制情報の説明と同じであるので説明を省略する。
このスイッチにより動作を停止させた場合、以後の動作パターンは次のいずれかを選択できる。１つ、このスイッチを押した後、使用していた車載ディスプレイの動作を停止したときは、このスイッチはリセットされ発報動作が再開される。２つ、このスイッチを押した後の最初の自車の発進により、このスイッチがリセットされて発報動作が再開され、以後、再びスイッチを押すまでは、通常の発進報知動作が継続される。

第７の発進抑制情報。
ドライバーがギアをドライブモードや後進モードに設定している場合は、発進検知動作を不要とすることが考えられる。また、ニュートラルに設定している時は発進報知動作を実施してもよいと考えられる。従って、発進抑制情報６１として、ギアの動作モードを発進検知動作制御回路６２に出力する。以後の動作は第１の発進抑制情報の説明と同じであるので説明を省略する。

実施の形態２．
図１１は、実施の形態２に係る発進報知装置の構成を示すブロック図である。図において、７０は道路交通信号機の位置検出回路（以下、信号位置検出回路、または信号機位置検出手段という）、７１は道路交通信号表示状態判定回路（以下、信号判定回路という）、その他は、図９と同様である。
次に動作について説明する。信号位置検出回路７０は、画像上から信号位置を検出する。信号位置の検出方法について、以下に一例を示して説明する。画像に対して、ソーベルフィルタなどを用いてエッジを検出する。そして、エッジが所定の大きさの円状をなす部分を検出する。そして、３つの円が所定距離内に存在する場合もしくは、少なくとも１つの円が検出され、その後、その円の近辺に同様の円が検出された場合に信号ありと判定し、その位置を出力する。

なお、信号位置検出回路７０に関して、上記は画像より自動決定する方法を述べたが、ドライバーの指示で決定するものであってもよい。すなわち、車載ディスプレイが搭載されており、自車が停止したとき、前車検知用のカメラ１の画像が車内ディスプレイに表示されている状況において、ドライバーは、マウスもしくは指によるディスプレイタッチ（タッチパネル装着時）などのポインタ機能を用いて、信号の存在箇所を指定する。信号位置検出回路７０は、指定された位置を出力（すなわち記憶）する。

信号判定回路７１（信号判定手段）は、信号が赤から青、又は青矢印、黄色又は赤の点滅に変化（要は自車が走行可能の信号に変化）したことを判定する。ここで、信号判定回路７１の判定方法について一例を示す。信号は、左から（又は上から）、青、黄、赤の順に並んでいる。停止状態では、赤の輝度が他に比べて高いため、少なくとも赤の円が得られていると考えられる。従って、得られている円内の輝度の低下を検知することによって、信号が赤から青に変わったと判定できる。さらに、赤から左方向に一定距離離れているところに、円が存在する場合はその輝度が高くなったことを、もしくは、円が存在しなかった場合は、輝度が高くなって、円状の形状のあるエッジが発生したことをもって、信号が赤から青に変わったと判定するようにしてもよく、また、その両方をもって判定してもよい。矢印や点滅の場合もそれぞれに対処可能である。

上記のように、信号の変化が自車が走行可能な状態に変わったことを検知し、なおかつ、前車発進検知回路７にて、前車の発進が検知された場合に、発進報知装置８にて、ドライバーに発進を通知する。
なお、信号位置検出回路７０により、信号が検知されなかった場合には、関連技術１と同様に、前車発進検知回路７にて、前車に発進が検知された場合に、発進報知装置８にて、ドライバーに発進を通知する。

実施の形態３．
図１２は、実施の形態３に係る発進報知装置の構成を示すブロック図である。図において、８０は自車の前に前車が存在するかどうかを検知する車両存在検知回路、その他は、図１０、図１１と同様である。
次に動作について説明する。本実施の形態は、実施の形態２の構成に加えて、前車が存在するかどうかを検知する車両存在検知回路８０を追加し、実施の形態１の発報動作の抑制の機能を拡張するものである。

停止検知回路５０にて、車両存在検知回路８０にて前車の存在が検知されなかったにもかかわらず自車の停止が検知され、しかも、信号位置検出回路７０にて信号が検知されなかった場合は、信号検知もれなどの異常状態にあると想定される。従って、この場合には、発進抑制情報６１として、発進検知動作制御回路６２に出力して、実施の形態１の場合のように、報知手段８の発報を抑制する。
一方、信号位置検出回路７０にて信号が検知された場合は、交差点の先頭に停車している状態であるとして、信号判定回路７１により信号が青に変化したことが検知された時点で、発報手段８より自車が発進可能状態であるとして発報する。

実施の形態４．
図１３は、本願の実施の形態４に係る発進報知装置の構成を示すブロック図である。図において、９０はカメラオンオフ制御回路（スイッチ手段という）、その他は、図９と同様である。
次に動作について説明する。前車に対する発進報知は、自車が停止状態の時にのみ動作されればよい。従って、カメラ自体も、自車が停止状態の時に限り、動作可能状態であればよい。従って、停止検知回路５０によって、自車の停止が検知された場合は、カメラオンオフ制御回路９０にて、カメラを動作状態にし、逆に自車が動いている場合は、カメラの動作を停止させる。

実施の形態５．
図１４は、本願の実施の形態５に係る発進報知装置の構成を示すブロック図である。図において、１００は、遮光及び防塵機能を有するシャッター付きカメラ、１０１はカメラシャッター制御回路である。その他は、図９と同様である。
次に動作について説明する。前車に対する発進報知は、自車が停止状態の時にのみ動作されればよい。カメラは、常に前方に向けられており、太陽の直射日光による撮像素子やレンズの劣化、ほこりや排気ガスなどによるレンズの汚れなどが生じる。従って、停止検知回路５０によって、自車の停止が検知された場合は、カメラシャッター制御回路１０１にて、シャッターを開放し、逆に自車が動いている場合は、カメラシャッターを閉じる。なお、シャッターの代わりに、制御可能な絞りを用いてもよい。この場合、自車の停止が検知された場合は、絞りを適正な状態にし、逆に自車が動いている場合は、絞りを完全に閉じるように制御を行う。

関連技術３．
図１５は、本願の関連技術３に係る発進報知装置の構成を示すブロック図である。図において、１１０は移動変化度２値化回路、、１１２は前車発進検知回路である。その他は、図１と同様である。
次に動作について説明する。関連技術１と同様の手法にて、監視ライン上の各画素毎の移動変化度を算出する。移動変化度２値化回路１１０は、所定のしきい値により、監視ライン上の各画素ごとの移動変化度を２値化する。仮に、しきい値をこえるものを“１”、残りを“０”とすると、移動変化画素積算回路１１１は、“１”である画素の総数を求める。なお、しきい値が負の値である場合は、しきい値以下のものを“１”、残りを“０”とする。前車発進検知回路１１２は、前記移動変化画素積算回路１１１の画素の総数が所定のしきい値をこえる場合は、前車が発進したと判定する。このとき、関連技術１で示したように、監視ライン２１の設置位置と消失点３０との関連によって、前車発進検知の判定方法が異なる。

すなわち、監視ライン２１が消失点３０に対して、下に設置されている場合、移動変化度２値化回路１１０のしきい値が負であるときは、前車は前進したことを検知したことになり、逆に正であるときは、前車が後進（接近）したことを検知したことになる。一方、監視ライン２１が消失点３０に対して、上に設置されている場合、移動変化度２値化回路１１０のしきい値が正であるときは、前車は前進したことを検知したことになり、逆に負であるときは、前車が後進（接近）したことを検知したことになる。
本実施の形態は、基本的に、関連技術１において説明した、監視ラインの設定のバリエーション（図２〜図６）に対して、類似の考え方により判定が可能であり、従って同様の効果が得られる。

実施の形態６．
図１６は、本願の実施の形態６に係る発進報知装置の構成を示すブロック図である。図において、１２０は発進検知可能性判定回路（発進動作検知可能度判定手段）である。その他は、図９と同様である。
次に動作について説明する。関連技術１に基づく方法により、前車発進検知を判定する。ここで、前車発進検知回路７の検知の判定は、移動変化度により求めているが、基本的に前車の監視ライン上の輝度変化によって求めているため、もともと輝度変化が少ない車両に対しては、発進検知もれになる可能性が高くなる。従って、発進検知可能性判定回路１２０は、停止検知回路５０に自車の停車が検知された直後の監視ライン上のデータを取り込み、輝度パターンの内容によって、発進検知の可能性を判定する。判定方法は例えば、濃度の変化度が少ないものすなわちエッジが少ない場合は検知可能性が低いと判定することができる。また、別の判定方法として、自車の停止の直前におきる所定時間分の移動変化度を用いてもよい。すなわち、停止直前の場合は、発進の場合と比較して、接近と遠去と移動の向きは反対であるが、加減速度の度合いが似ている場合は、同じようなパターンになる。

従って、停止直前のパターンで接近が検知出来ている場合には、発進も検知できると考えられ、逆に、接近を検知出来なかった場合には、発進を検知できない可能性も高いと考えられる。以上から、発進検知可能性判定回路１２０は、自車の停止の直前における所定時間分の移動変化度を用い、発進検知と向きが異なるだけでその他は同様の方法により、前車の接近の検知処理を行い、検知可能性を判定する。そして、どちらかの方法により、発進検知の可能性が低いと判断される場合には、発進報知装置８よりドライバーに対して、検知もれの可能性があることを報知する。これにより、ドライバーは、予め検知もれに対する心づもりができるため、装置の信頼度を上げる効果が得られる。

この発明の関連技術１の発進報知装置の構成図である。 図１の動作を説明するための監視ラインの説明図である。 他の監視ラインの説明図である。 他の監視ラインの説明図である。 他の監視ラインの説明図である。 他の監視ラインの説明図である。 図１の動作を説明するための消失点の説明図である。 隣接する画素を含む移動方向検出の説明図である。 この発明の関連技術２の発進報知装置の構成図である。 この発明の実施の形態１の発進報知装置の構成図である。 この発明の実施の形態２の発進報知装置の構成図である。 この発明の実施の形態３の発進報知装置の構成図である。 この発明の実施の形態４の発進報知装置の構成図である。 この発明の実施の形態５の発進報知装置の構成図である。 この発明の関連技術３の発進報知装置の構成図である。 この発明の実施の形態６の発進報知装置の構成図である。 従来の発進報知装置の構成図である。 図１７の部分詳細説明図である。 図１７の部分詳細説明図である。 図１７の動作を説明するフローチャートである。 図１７の動作を説明するための画面の領域説明図である。

符号の説明

１ テレビカメラ、 ２ テレビカメラ制御回路、 ３ フレームメモリ、
４ 監視ライン設定回路、 ５ 移動変化度演算回路、 ６ 移動変化度積算回路、
７ 前車発進検知回路、 ８ 発報装置、 ２０ 画像、 ２１ 監視ライン、
２２ 画像データ抽出領域、 ５０ 停止検知回路、
６０ 発進抑制情報検知回路、 ６１ 発進抑制情報、
６２ 発進検知動作制御回路、 ７０ 信号位置検出回路、 ７１ 信号判定回路、
８０ 車両存在検知回路、 ９０ カメラＯＮ・ＯＦＦ制御回路、
１０１ カメラシャッター制御回路、 １１１ 移動変化度２値化回路、
１１２ 前車発進検知回路、 １２０ 発進検知可能性判定回路。

Claims (8)

1. 自車両の前方を撮影して複数の画像を生成する撮影手段、
   前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
   前記画面内に侵入検知領域を設定する侵入検知領域設定手段、前記侵入検知領域の画像から自車の前方に他物体が侵入したことを検知する侵入検知手段、前記侵入検知手段が他物体の侵入を検知したとき、前記報知手段による前車発進報知の動作を停止することを特徴とする発進報知装置。
2. 前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
   車載ディスプレイ装置と、この車載ディスプレイ装置が作動中に前記発進報知装置を作動させ、前記車載ディスプレイ装置が停止中には前記発進報知装置の作動を停止させる発進検知動作制御回路を備えたことを特徴とする発進報知装置。
3. 前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
   自車両の停止を検知する自車両停止検知手段、
   前車の有無を検知する車両存在検知手段を備え、前記自車両停止検知手段にて自車両の停止を検知し、かつ、前記車両存在検知手段が前車が存在しないと判定したとき、前記報知手段の動作を停止することを特徴とする発進報知装置。
4. 自車両の前方を撮影して複数の画像を生成する撮影手段、
   前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
   前記撮影手段が撮影した画像の品質を判定して画像処理が可能か否かを判定する画像処理可否判定手段を備え、前記画像処理可否判定手段により画像処理ができないと判定された場合に、前記前車発進検知手段の処理動作を停止させるとともに、前記報知手段にて、前記発進検知装置の動作の停止を通知することを特徴とする発進報知装置。
5. 自車両が停止したとき、前記画像内から自車両走行車線に対する信号機の有無と、その前記画像上の位置とを検出する信号機位置検出手段、前記信号機の表示の意味を判定する信号判定手段、
   前記信号機位置検出手段にて信号機が検出されたときは、前記信号判定手段の判定結果にもとづき前記報知装置のＯＮ・ＯＦＦを制御し、前記信号機位置検出手段にて信号機が検出されなかったときは、前記報知装置のＯＮ動作を継続することを特徴とする請求項４に記載の発進報知装置。
6. 自車両の前方を撮影して複数の画像を生成する撮影手段、
   前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
   前記撮影手段の動作を入り切りするスイッチ手段を備え、前記自車両停止検知手段が前記自車両の停止を検知した場合に、前記スイッチ手段を投入することを特徴とする発進報知装置。
7. 自車両の前方を撮影して複数の画像を生成するとともに、レンズを保護する開閉可能なシャッターを有する撮影手段、
   前記画像を含む画面上の変化に基づき、前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段を備え、
   前記撮影手段は、前記自車両停止検知手段が前記自車両の停止を検知している間前記シャッターを開き、停止を検知していないとき前記シャッターを閉じるように制御することを特徴とする発進報知装置。
8. 前車が発進したか否かを検知し、発進したことを検知したとき発進検知信号を出力する前車発進検知手段、
   前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段、
   自車の停止の前の所定時間内での前車の接近を検知することにより、前記発進検知信号の確からしさを算出する発進動作検知可能度算出手段を備え、
   前記発進動作検知可能度算出手段が前記前車発進検知手段による発進検知の可能性が低いと判定したとき、前記前車発進検知信号の検知漏れの可能性を報知することを特徴とする発進報知装置。

Images