JP2007069777A - 障害物検出システム - Google Patents

Abstract

【課題】 設置コストを抑制しつつ、夜間であっても死角領域に存在する歩行者等を検出することができる障害物検出システムを提供する。
【解決手段】 分岐点に赤外光を反射する反射部材４を設けてあり、赤外光撮像装置は、反射部材４で反射した赤外光により形成された反射画像を含む画像を取得し、取得した画像を画像処理装置へ送出する。画像処理装置は、取得した画像を認識し、反射画像内に認識対象物が存在するか否かを判断し、存在すると判断した場合、その旨を示す情報を出力装置へ送出する。出力装置は、認識対象物が存在する旨の情報を取得した場合、外部へ認識対象物が存在する旨を報知する。
【選択図】 図１

Description

本発明は、夜間に車両の外部を撮像する赤外光撮像装置が撮像した画像データに基づいて、交差点等の分岐点の死角に歩行者等の存在を認識した場合に、認識対象物である歩行者等の存在を運転中のドライバに報知することができる障害物検出システムに関する。

自動車等の車両に、ボロメータ又は焦電型撮像素子を備えた赤外光用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。

すなわち、赤外光用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、赤外光用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間が存在する領域を特定することが可能となっている（非特許文献１参照）。

一方、見通しの悪い交差点では、車両同士の衝突事故を防止すべく、死角領域を見通すことが可能なカーブミラー等を設置している。また、他の車両の死角領域に存在する自車両の存在を他の車両に認識させる、逆に自車両の死角領域に存在する他の車両の存在を認識するために、相互の車両から車速に応じた照射位置にレーザ光を照射し、照射されたレーザ光を例えば赤外線カメラで検知することにより、死角領域の車両の存在を検知することができる車両検出装置が開発されている(特許文献１参照)。

また、車両同士が自車の位置を無線で常時通信することにより、相互に近接する車両の位置及び走行状態を検出する接近車両検出装置も開示されている(特許文献２参照)。
「ホンダ アールアンドディー テクニカル レビュー (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月 特開２００４−１０２８８９号公報 特開２００４−２３７８３４号公報

しかし、従来の赤外光用の撮像装置を搭載した周囲監視システムは、進行方向に存在する歩行者等の存在を認識するものであり、死角領域に存在する歩行者等の存在を検出することはできなかった。一方、死角領域を確認するために設けてあるカーブミラーでは、夜間に死角領域に存在する車両以外を目視確認することができず、死角領域に存在する歩行者等を認識することができないという問題点があった。

また、特許文献１に開示した車両検出装置では、すべての車両にレーザ光の照射装置、及びレーザ光の検出装置を搭載する必要があり、設置コストが増大するという問題点があった。さらに特許文献２に開示した接近車両検出装置でも、すべての車両に他の車両との通信装置を搭載する必要があり、設置コストが増大するという問題点があった。

本発明は、斯かる事情に鑑みてなされたものであり、設置コストを抑制しつつ、夜間であっても死角領域に存在する歩行者等を検出することができる障害物検出システムを提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の外部を赤外光で撮像する赤外光撮像装置と、該赤外光撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを備える障害物検出システムにおいて、分岐点に赤外光を反射する反射部材を設けてあり、前記赤外光撮像装置は、前記反射部材で反射した赤外光により形成された反射画像を含む画像を取得する手段と、取得した画像を前記画像処理装置へ送出する手段とを備え、前記画像処理装置は、取得した画像を認識する画像認識手段と、前記反射画像内に認識対象物が存在するか否かを判断する判断手段と、該判断手段で認識対象物が存在すると判断した場合、その旨を示す情報を前記出力装置へ送出する送出手段とを備え、前記出力装置は、認識対象物が存在する旨の情報を取得した場合、外部へ認識対象物が存在する旨を報知する報知手段を備えることを特徴とする。

また、第２発明に係る障害物検出システムは、第１発明において、複数の分岐点の各位置に対応付けて、少なくとも形状、高さ、角度を含む前記反射部材に関する情報を記憶する記憶手段と、自車両の位置及び進行方向を取得する位置取得手段と、取得した位置及び進行方向に基づいて、進行方向の直近に存在する分岐点を決定する分岐点決定手段とを備え、前記画像認識手段は、決定した分岐点の位置に基づいて、前記反射部材に関する情報を取得し、取得した前記反射部材に関する情報に基づいて、取得した画像内の前記反射画像を示す反射領域を特定し、特定した反射領域内に認識対象物が存在するか否かを判断するようにしてあることを特徴とする。

また、第３発明に係る障害物検出システムは、第２発明において、前記反射領域内の反射画像を、矩形領域画像へ変換する手段を備えることを特徴とする。

また、第４発明に係る障害物検出システムは、第１乃至第３発明のいずれか１つにおいて、前記反射部材の材質は、鉄又はアルミニウムであることを特徴とする。

第１発明では、交差点等の各分岐点に赤外光を反射する反射部材を設けてあり、赤外光撮像装置は、分岐点に設けてある反射部材で反射した赤外光により形成された反射画像を含む画像を取得し、取得した画像を画像処理装置へ送出する。画像処理装置は、取得した画像を認識し、反射画像内に認識対象物が存在するか否かを判断し、認識対象物が存在すると判断した場合、その旨を示す情報を出力装置へ送出する。出力装置は、認識対象物が存在する旨の情報を取得した場合、外部へ認識対象物が存在する旨を報知する。これにより、目視確認が困難な夜間であっても、反射部材で反射した赤外光で形成した画像を取得することができ、反射画像を画像認識することにより死角領域に存在する歩行者等の障害物を検出することができ、見通しの悪い交差点等での交通事故を未然に防止することが可能となる。また、車両に大規模な装置を搭載することなく死角領域の画像を取得することができ、車両価格を抑制しつつ見通しの悪い交差点等での交通事故を防止することが可能となる。

第２発明では、交差点等の分岐点の位置に対応付けて、少なくとも形状、高さ、角度を含む前記反射部材に関する情報を記憶しておき、取得した自車両の位置及び進行方向に基づいて、進行方向の直近に存在する分岐点を決定する。決定した分岐点の位置に基づいて、反射部材に関する情報を取得し、取得した反射部材に関する情報に基づいて、取得した画像内の反射画像を示す反射領域を特定し、特定した反射領域内に認識対象物が存在するか否かを判断する。これにより、取得した画像の中で、死角領域の画像を撮像している反射領域を正確に特定することができ、歩行者等の存在を確認することができない死角領域についてのみ画像認識処理を行うことにより、死角領域に存在する歩行者等の障害物を検出することができ、目視で確認することができる領域に対して画像認識処理を行うことがないので、無駄な演算処理負荷を軽減することが可能となる。

第３発明では、反射領域内の反射画像を、矩形領域画像へ変換する手段を備える。これにより、自車両からの距離及び相対的な設置角度等に応じた反射画像の歪み、反射部材が球面である場合の画像歪み等を修正し、正面から撮像した矩形画像へと変換することができ、死角領域に歩行者等の障害物が存在するか否かをより正確に判断することが可能となる。

第４発明では、反射部材の材質は、鉄又はアルミニウムである。これにより、広告、看板、標識等を反射部材として用いることができ、別個に反射部材を設けることなく既存の広告、看板、標識等により死角領域の画像を反射画像として取得することが可能となる。

第１発明によれば、目視確認が困難な夜間であっても、反射部材で反射した赤外光で形成した画像を取得することができ、反射画像を画像認識することにより死角領域に存在する歩行者等の障害物を検出することができ、見通しの悪い交差点等での交通事故を未然に防止することが可能となる。また、車両に大規模な装置を搭載することなく死角領域の画像を取得することができ、車両価格を抑制しつつ見通しの悪い交差点等での交通事故を防止することが可能となる。

第２発明によれば、取得した画像の中で、死角領域の画像を撮像している反射領域を正確に特定することができ、歩行者等の存在を確認することができない死角領域についてのみ画像認識処理を行うことにより、死角領域に存在する歩行者等の障害物を検出することができ、目視で確認することができる領域に対して画像認識処理を行うことがないので、無駄な演算処理負荷を軽減することが可能となる。

第３発明によれば、自車両からの距離及び相対的な設置角度等に応じた反射画像の歪み、反射部材が球面である場合の画像歪み等を修正し、正面から撮像した矩形画像へと変換することができ、死角領域に歩行者等の障害物が存在するか否かをより正確に判断することが可能となる。

第４発明によれば、広告、看板、標識等を反射部材として用いることができ、別個に反射部材を設けることなく既存の広告、看板、標識等により死角領域の画像を反射画像として取得することが可能となる。

(実施の形態１)
図１は、本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本実施の形態１では、分岐点である見通しの悪い三叉路において車両１の死角領域に認識対象物、すなわち車両２、歩行者３等の障害物が存在するか否かを判断する場合を例として説明する。

本実施の形態１では、死角領域に車両２、歩行者３等の認識対象物が存在するか否かを判断すべく、車両１の前方に左右の死角領域へ赤外光を反射することが可能な反射部材４を設置する。反射部材４の形状は例えば三角柱状であり、道路側に面する２面の全部又は一部に赤外光を反射することが可能な部材を配している。赤外光を反射することが可能な部材の材質は、鉄、アルミニウム等であり、鏡面処理を施した酸化物もこれに含む。したがって、既存の広告、看板、標識等も反射部材４として用いることができる。

車両１は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある遠赤外用のビデオカメラにより、反射部材４により反射された遠赤外光を受光し、死角領域に存在する車両２、歩行者３等の画像を撮像する。なお、遠赤外光に限定されるものではなく、夜間でも撮像可能な赤外光であれば良い。

図２は、実施の形態１に係る車両１の構成を模式的に示す斜視図である。１１、１２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１１、１２は、車両１のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル１６を介して接続してある画像処理装置１３に送信される。

画像処理装置１３は、ビデオカメラ１１、１２の他、操作部を備えた表示装置１４、音声、効果音等により聴覚的な警告を発する警報装置１５等の出力装置とも、車載ＬＡＮケーブル１６を介して接続されている。

図３は、実施の形態１に係る障害物検出システムの遠赤外用ビデオカメラ１１（１２）の構成を示すブロック図である。画像撮像部１１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１１５を介して信号処理部１１２へ送信する。

信号処理部１１２は、ＬＳＩ基板であり、画像撮像部１１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１１３へ記憶する。

通信インタフェース部１１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル１６を介して画像処理装置１３とデータの送受信を行う。通信インタフェース部１１４は、画像処理装置１３から送出される指令に従って、画像メモリ１１３に記憶された画像データの画像処理装置１３への送出、ビデオカメラ１１、１２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図４は、本発明の実施の形態１に係る障害物検出システムの画像処理装置１３の構成を示すブロック図である。通信インタフェース部１３１は、ビデオカメラ１１、１２に対する指令の送信、ビデオカメラ１１、１２からの画像データの受信を行う。通信インタフェース部１３１は、ビデオカメラ１１、１２から受信した画像データを、１フレーム単位に同期させて画像メモリ１３２に記憶する。

また、通信インタフェース部１３１は、車載ＬＡＮケーブル１６を介して液晶ディスプレイ等の表示装置１４に対して画像データを送出し、ブザー、スピーカ等の警報装置１５に対して合成音等の出力信号を送信する。

画像メモリ１３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部１３１を介してビデオカメラ１１、１２から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ１３３は、画像メモリ１３２に記憶された画像データをフレーム単位で読み出し、読み出した画像データ中から反射部材４で反射された画像を示す領域である反射領域を特定する。ＬＳＩ３３は、特定した反射領域内の画像について画像認識処理を施し、車両、歩行者等と認識する部分が存在するか否かを判断する。ＬＳＩ１３３が、車両、歩行者等と認識する部分が存在すると判断した場合、ＬＳＩ１３３は、その旨を表示装置及び／又は警報装置へ送出する。また、ＬＳＩ１３３は、演算処理の途上で生成したデータを記憶するＲＡＭを同一基板上に内蔵している。

ＬＳＩ１３３での詳細な処理について以下に説明する。図５は、本発明の実施の形態１に係る障害物検出システムの画像処理装置１３のＬＳＩ１３３の歩行者等の認識処理の手順を示すフローチャートである。

ＬＳＩ１３３は、画像メモリ１３２に記憶してある画像データを読み出し（ステップＳ５０１）、読み出した画像データのエッジ部分を抽出する（ステップＳ５０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。

（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。

なお、反射部材４で反射された画像が表示されている反射領域をエッジ部分として抽出することができるように、例えば反射部材４の周縁部に、太陽電池等で発熱するヒータを備える。ヒータは、反射部材４の周縁部を略４０度程度にまで加熱する。

ＬＳＩ１３３は、ビデオカメラ１１、１２が撮像した画像から、温度が周囲より高い連続した領域を抽出する。すなわち、ヒータにより加熱された反射部材４の周縁部を抽出することにより、反射部材４で反射された画像が表示されている反射領域を特定する(ステップＳ５０３)。

なお、反射部材４の周縁部を抽出する方法は、上述した方法に限定されるものではなく、例えば赤外光を乱反射させる部材を反射部材４の周縁部に貼付する方法、赤外光を干渉させる部材を反射部材４の周縁部に貼付する方法等であっても良い。

ＬＳＩ１３３は、特定した反射領域内の画像データについて、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ５０４）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ５０５）。ＬＳＩ１３３が、相関値が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ５０５：ＮＯ）、ＬＳＩ１３３は、ステップＳ５０１へ戻り、次の画像データを読み出す。ＬＳＩ１３３が、相関値が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ５０５：ＹＥＳ）、ＬＳＩ１３３は、該領域が歩行者、車両等の存在を示す領域であると判断して、出力装置に対して、通信インタフェース部１３１を介して歩行者、車両等の障害物を検出した旨を報知する指示信号を送出する（ステップＳ５０６）。

なお、ＬＳＩ１３３が、例えば歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数２）に基づいて算出される。

（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

また、認識する対象が歩行者ではなく、車両の場合も、同様のエッジ処理、及び車両固有の特徴量に基づくパターン認識処理を行うことにより、反射領域内に存在するか否かを判断することが可能となる。

上述した処理により、画像処理装置３のＬＳＩ１３３が、歩行者、車両等の障害物を死角領域内に検出した場合、ＬＳＩ１３３は、通信インタフェース部１３１を介して障害物を検出した旨を報知する様々な信号を、車載ＬＡＮケーブル１６を介して送出する。例えば、表示装置１４へ警告メッセージを表示する表示信号を送出し、警報装置１５へ警報を鳴動させる警報信号を送出することにより、障害物の存在を確認した運転者が、死角領域の障害物との衝突を回避する動作を未然に行うことが可能となる。

以上のように本実施の形態１によれば、目視確認が困難な夜間であっても、反射部材で反射した赤外光で形成した画像を取得することができ、反射画像を画像認識することにより死角領域に存在する歩行者等の障害物を検出することができ、見通しの悪い交差点等の分岐点での交通事故を未然に防止することが可能となる。また、車両に大規模な装置を搭載することなく死角領域の画像を取得することができ、車両価格を抑制しつつ見通しの悪い交差点等での交通事故を防止することが可能となる。

また、反射領域の画像は、反射部材４の設置高さ、設置角度等の相違により、歪が生じている。画像認識の精度を高めるべく、例えば事前に行ったキャリブレーション等に基づいて生成した変換テーブルを用いて反射領域の画像を変換し、変換後の画像に基づいて画像認識処理を実行する。これにより、歩行者、車両等の障害物の存在をパターンマッチングにより認識する精度の向上が期待できる。

(実施の形態２)
以下、本発明の実施の形態２に係る障害物検出システムについて、図面を参照しながら説明する。本実施の形態２に係る障害物検出システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２では、反射領域を交差点の位置に基づいて特定することができる点に特徴を有する。

本実施の形態２では、画像処理装置１３のＲＡＭに、交差点の位置に関する情報、及びそれに対応付けて反射部材４の形状、設置高さ、設置角度等に関する情報を記憶しておく。交差点の位置に関する情報は、例えば経度情報及び緯度情報である。反射部材４の形状は、例えば実施の形態１と同様の三角柱状、後述する球面形状等である。反射部材４の設置高さは、例えば地上高０ｍ、０．５ｍ、１ｍ等である。反射部材４の設置角度は、例えば正面を０度として、０度、５度、１０度等の水平方向及び／又は鉛直方向の傾斜角度である。

図６は、本発明の実施の形態２に係る障害物検出システムの画像処理装置１３のＬＳＩ１３３の反射領域特定処理の手順を示すフローチャートである。画像処理装置１３のＬＳＩ１３３は、自車両の位置情報を取得する(ステップＳ６０１)。ＬＳＩ１３３は、取得した自車両の位置及び進行方向に基づいて、進行方向の直近に存在する交差点の位置を決定する(ステップＳ６０２)。ＬＳＩ１３３は、決定した交差点の位置に基づいてＲＡＭを照会し、決定した交差点に設置してある反射部材４の形状、設置高さ、設置角度等を抽出する(ステップＳ６０３)。

ＬＳＩ１３３は、抽出した反射部材４の形状、設置高さ、設置角度等、及び自車両の位置、速度等に基づいて、ビデオカメラ１１、１２で撮像した画像のどの部分に反射部材４で反射された画像を表示する反射領域が存在するか算出し、反射領域を特定する(ステップＳ６０４)。

これにより、反射部材４の周縁部に、赤外光の反射度合を変更する等の特殊な部材を設ける必要がなく、ヒータ等の温度を変更する機器を備える必要もないことから、低コストで死角領域に存在する歩行者、車両等の障害物を検出することが可能となる。

なお、自車両の位置は、初期位置を運転者が入力し、速度履歴、転回履歴等に応じて現在の位置を累積演算する方法で算出しても良いし、例えばＧＰＳ、地図情報を組み合わせた一般的なカーナビゲーションシステムを用いても良い。この場合、特別な演算処理を行う必要がなく、ＬＳＩ１３３の演算処理負荷を軽減することが可能となる。

以上のように本実施の形態２によれば、取得した画像の中で、死角領域の画像を撮像している反射領域を、特段の装置、装備等を必要とすることなく正確に特定することができる。したがって、目視では歩行者等の存在を確認することができない死角領域についてのみ画像認識処理を行うことにより、死角領域に存在する歩行者等の障害物を検出することができ、目視で確認することができる領域に対して画像認識処理を行うことがないので、無駄な演算処理負荷を軽減することが可能となる。

(実施の形態３)
以下、本発明の実施の形態３に係る障害物検出システムについて、図面を参照しながら説明する。本実施の形態３に係る障害物検出システムの構成は実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態３では、反射部材４を道路上に配設することにより三叉路に限定されない点に特徴を有する。

図７は、本発明の実施の形態３に係る障害物検出システムの構成を示す模式図であり、図８は、本実施の形態３に係る障害物検出システムの反射部材４１、４１、・・・の取り付け状態を示す側断面図である。図７及び図８に示すように、本実施の形態３では、死角領域へ赤外光を反射することが可能な反射部材４１、４１、・・・は、道路の路面に設置してあり、交差点内を４分割した領域各々の中心点近傍に配置している。反射部材４１、４１、・・・表面には赤外光を反射することが可能な部材を配している。赤外光を反射することが可能な部材の材質は、鉄、アルミニウム等であり、鏡面処理を施した酸化物もこれに含む。

図８に示すように反射部材４１、４１、・・・の道路の路面から突出している部分は球体の一部であり、反射画像には球面に固有の画像の歪が存在する。したがって、上述した方法と同様に、車両１が見通しの悪い交差点で、死角領域に存在する歩行者３、車両２等の障害物を検出する場合、反射画像を例えば矩形画像に変換してから画像認識処理を行う必要がある。

まず、板状の被撮像板に、相互の間隔が既知である複数の発熱体を配置する。被撮像板を、ビデオカメラ１１（１２）の光軸が反射部材４１により反射する方向と垂直になるよう配置し、特定の発熱体が画像中央に位置する状態でビデオカメラ１１（１２）により撮像する。

図９は、本発明の実施の形態３に係る画像処理装置１３のＬＳＩ１３１の画像変換の処理手順を示すフローチャートである。画像処理装置１３のＬＳＩ１３１は、被撮像板に配置してある発熱体の位置を、ビデオカメラ１１（１２）の光軸上に配置した特定の発熱体を原点とした二次元座標値としてＲＡＭに記憶しておく(ステップＳ９０１)。ＬＳＩ１３３は、ビデオカメラ１１（１２）で撮像した被撮像板の画像を取得する(ステップＳ９０２)。

ＬＳＩ１３３は、取得した画像中の、特定の発熱体の位置(座標原点)を特定し(ステップＳ９０３)、他の発熱体の画面上での二次元座標値を算出する(ステップＳ９０４)。ＬＳＩ１３３は、ＲＡＭに記憶してある複数の発熱体の二次元座標値に、算出した二次元座標値対応付けた変換テーブルを生成し、ＲＡＭに記憶する(ステップＳ９０５)。

撮像した画像は、変換テーブルにより変換した座標値に基づいて画像認識処理を実行する。発熱体の存在しない領域は、変換テーブルに記憶してある周囲を囲繞する４座標値に基づいて一時近似することで補間した値に基づいて、画像認識処理を実行する。これにより、球面上の歪を有する反射画像を矩形画像に変換した状態で画像認識を行うことができ、歩行者、車両等の障害物の存在をパターンマッチングにより認識する精度の向上が期待できる。

なお、変換テーブルを用いる方法に限定されるものではなく、被撮像体の画像における発熱体の二次元座標値に基づいて、２つの二次元座標系の変換近似式を求め、求めた変換近似式により画像変換する方法であっても良い。

以上のように本実施の形態３によれば、反射部材４１、４１、・・・を路面上に設置することにより、三叉路だけでなく、見通しの悪い任意の分岐点（交差点等）において、死角領域に歩行者等の障害物が存在するか否かをより正確に判断することが可能となる。また、自車両からの距離及び相対的な設置角度等に応じた反射画像の歪み、反射部材が球面である場合の画像歪み等を修正することができ、死角領域に歩行者等の障害物が存在するか否かをより正確に判断することが可能となる。

なお、上述した実施の形態１乃至３では、画像処理装置１３のＬＳＩ１３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。 実施の形態１に係る車両の構成を模式的に示す斜視図である。 実施の形態１に係る障害物検出システムの遠赤外用ビデオカメラの構成を示すブロック図である。 本発明の実施の形態１に係る障害物検出システムの画像処理装置の構成を示すブロック図である。 本発明の実施の形態１に係る障害物検出システムの画像処理装置のＬＳＩの歩行者等の認識処理の手順を示すフローチャートである。 本発明の実施の形態２に係る障害物検出システムの画像処理装置のＬＳＩの反射領域特定処理の手順を示すフローチャートである。 本発明の実施の形態３に係る障害物検出システムの構成を示す模式図である。 本実施の形態３に係る障害物検出システムの反射部材の取り付け状態を示す側断面図である。 本発明の実施の形態３に係る画像処理装置のＬＳＩの画像変換の処理手順を示すフローチャートである。

符号の説明

４、４１ 反射部材
１１、１２ ビデオカメラ
１３ 画像処理装置
１４ 表示装置
１５ 警報装置
１３１ 通信インタフェース部
１３２ 画像メモリ
１３３ ＬＳＩ
７１、７２、７３ ＥＣＵ
８１ ブレーキランプ
８２ ハザードランプ
８３ クラクション
９１ 速度センサ
９２ 操舵角度センサ
９３ 加速度センサ

Claims (4)

1. 車両の外部を赤外光で撮像する赤外光撮像装置と、該赤外光撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを備える障害物検出システムにおいて、
   分岐点に赤外光を反射する反射部材を設けてあり、
   前記赤外光撮像装置は、
   前記反射部材で反射した赤外光により形成された反射画像を含む画像を取得する手段と、
   取得した画像を前記画像処理装置へ送出する手段とを備え、
   前記画像処理装置は、
   取得した画像を認識する画像認識手段と、
   前記反射画像内に認識対象物が存在するか否かを判断する判断手段と、
   該判断手段で認識対象物が存在すると判断した場合、その旨を示す情報を前記出力装置へ送出する送出手段とを備え、
   前記出力装置は、
   認識対象物が存在する旨の情報を取得した場合、外部へ認識対象物が存在する旨を報知する報知手段を備えることを特徴とする障害物検出システム。
2. 複数の分岐点の各位置に対応付けて、少なくとも形状、高さ、角度を含む前記反射部材に関する情報を記憶する記憶手段と、
   自車両の位置及び進行方向を取得する位置取得手段と、
   取得した位置及び進行方向に基づいて、進行方向の直近に存在する分岐点を決定する分岐点決定手段とを備え、
   前記画像認識手段は、
   決定した分岐点の位置に基づいて、前記反射部材に関する情報を取得し、
   取得した前記反射部材に関する情報に基づいて、取得した画像内の前記反射画像を示す反射領域を特定し、
   特定した反射領域内に認識対象物が存在するか否かを判断するようにしてあることを特徴とする請求項１記載の障害物検出システム。
3. 前記反射領域内の反射画像を、矩形領域画像へ変換する手段を備えることを特徴とする請求項２記載の障害物検出システム。
4. 前記反射部材の材質は、鉄又はアルミニウムであることを特徴とする請求項１乃至３のいずれか一項に記載の障害物検出システム。

Images