JP7226565B2 - 物体認識方法、及び、物体認識装置 - Google Patents

Description

本発明は、物体認識方法、及び、物体認識装置に関する。

従来、レーザーを用いた送受信センサを使用して、自車両の周辺を走行する検知対象車両の位置を計測する物体追跡装置が知られている（ＪＰ２０１６－１４８５１４Ａ参照）。

ＪＰ２０１６－１４８５１４Ａに開示された上記装置によれば、送受信センサにより取得した点群において互いに近接する点をグルーピングし、矩形で近似することによって物体位置の基準点を算出する。しかしながら、互いに近接する点をグルーピングするだけでは、近接した複数の物体に属する点群を、同一物体に属する点群として誤認識してしまう場合がある。例えば、二つの物体の側面によってＬ字型の凹部が形成されている場合に、当該二つの物体の側面に属する点群を同一物体の点群として誤認識する場合がある。この時、当該点群に基づいて矩形近似すると、物体が存在しない凹部に矩形の物体（凸物体）が存在していると認識される場合があり問題となる。

本発明は、センサを用いて取得した点群が複数の物体（複数物体）に対応する点群か否かを判定することで、周辺に存在する物体の位置を正しく認識することできる技術を提供することを目的とする。

本発明の一態様における物体認識方法は、周囲に存在する物体の位置を上面視において複数の反射点から構成される点群として取得するセンサを用いた物体認識方法であって、近接度合いに応じて点群をグルーピングし、グルーピングされた点群を多角形近似した際に、グルーピングされた点群を構成する少なくとも一部の検出点が、センサに対して点群を多角形近似した際の近似多角形の死角に位置するか否かを判定する。検出点がセンサに対して死角に位置すると判定した場合には、グルーピングされた点群は複数物体に対応した点群であると認識し、検出点がセンサに対して死角に位置しないと判定した場合には、グルーピングされた点群は近似多角形の単体物体に対応した点群であると認識する。

本発明の実施形態については、添付された図面とともに以下に詳細に説明する。

図１は、第１実施形態の物体認識装置の構成例を示すブロック図である。 図２は、物体認識装置が取得する点群の一例を説明する図である。 図３は、第１実施形態の物体認識装置による物体認識方法を説明するフローチャートである。 図４は、近似多角形構成辺死角判定の手法を説明する図である。 図５は、近似多角形反射点所属判定方法の一例を説明する図である。 図６は、第２実施形態の物体認識装置の構成例を示すブロック図である。 図７は、第２実施形態の物体認識装置による物体認識方法を説明するフローチャートである。 図８は、第２実施形態の物体認識装置による物体認識方法を説明するフローチャートである。 図９は、第３実施形態の物体認識装置の構成例を示すブロック図である。 図１０は、センサおよびカメラを備える物体認識装置が取得する周囲に存在する物体の情報を説明する図である。 図１１は、第３実施形態の物体認識装置による物体認識方法を説明するフローチャートである。 図１２は、センサが取得した物体に関する情報と、カメラが取得した物体に関する情報とが整合するか否かを判定する方法を説明する図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る物体認識装置１００の構成例を示すブロック図である。本実施形態の物体認識装置１００は、例えば自動車に適用される。

本実施形態の物体認識装置１００は、センサ１と、センサ１が取得した情報を処理するコントローラ１０とを含んで構成される。また、コントローラ１０は、点群グルーピング部１１と、多角形近似部１２と、近似多角形点群所属判定部１３とを含む。

センサ１は、センサ１の周囲環境、すなわち、本実施形態であれば物体認識装置１００が搭載された車両の周囲に存在する物体の３次元点群データを取得する３次元点群取得手段として機能する。センサ１は、例えば、ライダ（ＬｉＤＡＲ）、レーダ、又はステレオカメラ等が想定されるが、本実施形態のセンサ１にはライダが採用されるものとする。取得した３次元点群データ（以下単に点群ともいう）は、コントローラ１０に入力される。取得される点群の一例は、図２を参照して後述する。

コントローラ１０は、例えば、中央演算装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および、入出力インタフェース（Ｉ／Ｏインタフェース）から構成される。また、コントローラ１０が備えるＲＯＭには、以下に説明する各機能部がそれぞれに有する各機能を実行するためのプログラムが格納されている。換言すれば、コントローラ１０は、ＲＯＭに格納された各種プログラムを実行することによって、以下に説明する点群グルーピング部１１、多角形近似部１２、および近似多角形点群所属判定部１３の機能を実現するように構成される。

点群グルーピング部１１は、センサ１が取得した点群を地面と平行な２次元平面に投影し、これら点群を近接度合に応じてグルーピングする。このようなグルーピングの手法として、本実施形態ではＥｕｃｌｉｄｅａｎ Ｃｌｕｓｔｅｒｉｎｇという手法を用いるが、当該手法に限らず、点群の近接度合いに応じてグルーピングする他の手法が用いられてもよい。

多角形近似部１２は、点群グルーピング部１１によってグルーピングされた点群を予め定めた多角形に近似するいわゆる多角形フィッティングを実行する。

近似多角形点群所属判定部１３は、センサ１と、多角形近似部１２により近似された近似多角形との位置関係から、近似多角形を構成する各辺のうち、グルーピングした点群が対応する辺がセンサ１から見て死角であるか否かを判定する。そして、近似多角形点群所属判定部１３は、グルーピングした点群が対応する辺がセンサ１から見て死角であると判定した場合には、当該辺に対応する点群は複数の物体（複数物体）に属すると判断して、当該点群は複数物体の位置を示していると認識する。一方、グルーピングした点群が対応する辺がセンサ１から見て死角ではないと判定した場合には、当該辺を構成する点群は単一の物体（単体物体）に属すると判断して、当該点群は多角形近似によって生成された近似多角形に相当する単体物体の位置を示していると認識する。

このような構成により、物体認識装置１００は、取得した点群が示す物体が単体物体か複数物体かを判定することができる。

続いて、取得した点群が単体物体か複数物体かを判定する方法の詳細について、図２および図３を参照して説明する。

図２は、物体認識装置１００が取得する点群の一例を説明する図である。図２が示す例では、センサ１が搭載された車両の前方において、道路脇（道路と歩道の境界付近）の植え込み３０に隣接して車両２０が駐車している状況が示されている。また、センサ１を起点に広がる扇型の線がセンサ１の視野角を示しており、センサ１から見て視野角が広がっていく方向が車両の前方である。

ここで、本実施形態における３次元点群取得手段として採用されるセンサ１は、レーザー光（出射波）を視野角内の複数の方向に向かって出力するとともに、視野角内に存在する物体表面上の複数の反射点に当たって跳ね返ってきた当該レーザー光（反射波）を検出することによって、物体のセンサ１側の側面の位置に対応する複数の反射点２（以下では単に、反射点２とも記載する）のセンサ１に対する相対位置を取得するライダ、あるいはセンサである。そして、物体認識装置１００は、センサ１を用いて取得した複数の反射点２を複数の検出点として構成される点群に基づいて、物体認識装置１００の周囲に存在する物体の位置を認識する。

なお、センサ１は視野角内の物体表面の位置を点群として取得できれば、どのようなセンサであってもよく、レーダやライダに限定されるものではない。センサ１は例えばステレオカメラであってもよい。すなわち、物体認識装置１００は、例えばステレオカメラで撮像した所定の視野角（画角）内に存在する物体に対応した画素毎に物体表面の位置を算出し、各画素に対応する位置を検出点とした点群に基づいて物体認識装置１００の周囲に存在する物体の位置を認識してもよい。

以下の記載においては、３次元点群取得手段として採用されるセンサ１は、ライダ、若しくはレーダであるものとする。

ここで、図２で示す場面では、センサ１が取得した点群を近接度合いに応じてグルーピングした結果、植え込み３０のセンサ１側の側面と駐車車両２０の後端の点群がひとまとまりにグルーピングされる場合がある。すなわち、実際には植え込み３０と駐車車両２０とからなる複数の物体に対応する点群が、一つの物体（単体物体）に対応する点群として一まとまりにグルーピングされる場合がある。そうすると、従来では、単体物体としてグルーピングされた点群に基づいて多角形近似としての矩形近似が行われる結果、図２で示す点線矩形状の近似多角形（近似矩形）が生成されてしまう。そして、このような近似矩形が生成されると、当該近似矩形が生成された位置に、近似矩形に相当する単体物体が存在すると認識されてしまう。しかしながら、近似矩形が生成された位置は、実際には、植え込み３０と駐車車両２０とによる複数物体がＬ字型に配置されることにより生じる凹部分であるため、多角形近似により得られた近似矩形により認識される物体の位置と、実際の物体の位置とが相違してしまうという問題がある。

本実施形態では、このような相違を生じさせないために、センサ１を用いて取得した点群が複数物体に対応する点群か否かを判定する。点群が複数物体に対応することが判定できれば、多角形近似により近似多角形が一旦生成されたとしても、当該近似多角形が生成された位置は複数物体により形成される凹部分であって、当該位置には物体が存在しないことを正しく認識することができる。以下、センサ１を用いて取得した点群が、複数物体に対応するか否かを判定する方法の詳細を説明する。

図３は、本実施形態の物体認識装置１００による物体認識方法を説明するフローチャートである。当該フローチャートで説明される処理は、物体認識装置１００が起動している間、一定の間隔で常時実行されるようにコントローラ１０にプログラムされている。

ステップＳ１０１では、コントローラ１０が、センサ１を用いて複数の反射点２からなる点群を取得する。点群が取得されると、続くステップＳ１０２の処理が実行される。

ステップＳ１０２では、コントローラ１０が、ステップＳ１０１で取得した点群を地面と平行な２次元平面に投影し、近接度合いに応じてグルーピングする。

ステップＳ１０３では、コントローラ１０が、ステップＳ１０２でグルーピングした点群に基づく多角形近似（多角形フィッティング）を実行する。本実施形態で近似した多角形は、矩形（長方形）とするが、三角形や他の多角形でもよい。近似多角形は、近似多角形を構成する辺の位置と点群の位置との誤差が最も小さくなるようにフィッティングされる。

ステップＳ１０４では、コントローラ１０が、近似多角形構成辺死角判定を実行する。近似多角形構成辺死角判定では、コントローラ１０は、ステップＳ１０３で近似した近似多角形を構成する辺のうち、センサ１から見た場合に近似多角形の死角となる辺（死角となる反射点２を含む辺であり、以下では死角辺とも記載する）を特定する。言い換えれば、近似多角形のうちでセンサ１に対応しない辺を特定する。死角となる辺を特定する方法の詳細について、図４を参照して説明する。

図４は、本実施形態の近似多角形構成辺死角判定の手法を説明する図である。図中の４角がＡ～Ｄで示された長方形は、ステップＳ１０１において取得された点群に基づいて近似した長方形（近似矩形）である。

図４（ａ）は、近似多角形構成辺死角判定方法の一例を説明する図である。本例では、多角形近似において生成された近似矩形を構成する辺とセンサ１との関係においてセンサ１が観測可能な辺（センサ１から見て死角ではない辺であり、センサ１に相対する辺）を先に特定することによって、その他の辺を死角辺と特定する。

具体的には、まず、近似矩形の４角の点Ａ～Ｄのうち、センサ１に最も近い点と、その両隣の点との計３点を特定する。そして、特定した３点のうちの２点を選び、選んだ２点のそれぞれとセンサ１とを結ぶ線が成す角度が最大となる２点の組み合わせを調べる。

図４（ａ）の左側の図を参照すると、センサ１に最も近い点は点Ｃであり、点Ｃの両隣の点は、点Ａ、Ｄである。この三つの点Ａ、Ｃ、Ｄのうちの２点とセンサ１とを結ぶ線が成す角度が最大となる２点の組み合わせは、図示するとおり、点Ａ、Ｄである。

図４（ａ）の右側の図を参照すると、センサ１に最も近い点は点Ｃであり、点Ｃの両隣の点は、点Ａ、Ｄである。この三つの点Ａ、Ｃ、Ｄのうちの２点とセンサ１とを結ぶ線が成す角度が最大となる２点の組み合わせは、図示するとおり、点Ｃ、Ｄである。なお、センサ１と点Ｃ、Ｄとの各距離が同じで且つ最も近い点であった場合は、点Ｃ、Ｄのいずれを選択してもよい。

そして、近似矩形を構成する辺のうち、角度が最大となる２点の組み合わせとして選ばれた２点と、センサ１に最も近い点とを結ぶ全ての線分は、センサ１が観測可能な辺として特定され、当該辺以外の辺が死角辺と特定される。図４（ａ）の左側の図を参照すると、観測可能な辺は、図中太実線で囲んだ辺である辺Ａ－Ｃ、辺Ｃ－Ｄと特定され、死角辺は、観測可能な辺以外の辺である辺Ａ－Ｂ及び辺Ｂ－Ｄと特定される。図４（ａ）の右側の図を参照すると、観測可能な辺は、図中太実線で囲んだ辺である辺Ｃ－Ｄと特定され、死角辺は、観測可能な辺以外の辺である辺Ａ－Ｂ、辺Ａ－Ｃ、及び辺Ｂ－Ｄと特定される。

図４（ｂ）は、近似多角形構成辺死角判定方法の他の例を説明する図である。本例では、観測可能な辺を特定せずに、直接死角辺を特定する。

具体的には、近似矩形の４角の点Ａ～Ｄのうちの１点を選び、選んだ１点とセンサ１とを結ぶ直線が、当該選んだ１点に接続する辺以外の辺と交差する場合に、当該選んだ点と接続する辺を死角辺と特定する。これを点Ａ～Ｄの全て調べることにより、近似矩形を構成する全ての辺から死角辺を特定することができる。

図４（ｂ）の左側の図を参照すると、点Ｂとセンサ１とを結ぶ直線は、点Ｂに接続する辺Ａ－Ｂ及び辺Ｂ－Ｄ以外の辺である辺Ｃ－Ｄと交差しているので、点Ｂと接続する図中太実線で囲んだ辺である辺Ａ－Ｂおよび辺Ｂ－Ｄは死角辺と特定される。

図４（ｂ）の右側の図を参照すると、点Ａとセンサ１とを結ぶ直線は、点Ａに接続する辺Ａ－Ｂ及び辺Ａ－Ｃ以外の辺である辺Ｃ－Ｄと交差しているので、点Ａと接続する図中太実線で囲んだ辺である辺Ａ－Ｃおよび辺Ａ－Ｂは死角辺と特定される。さらに、点Ｂとセンサ１とを結ぶ直線は、点Ｂに接続する辺Ａ－Ｂ及び辺Ｂ－Ｄ以外の辺である辺Ｃ－Ｄと交差しているので、点Ｂと接続する辺Ａ－Ｂおよび辺Ｂ－Ｄも死角辺と特定される。なお、図４（ｂ）を用いて説明した手法は、長方形状の近似矩形に限らず、その他全ての多角形状に対しても適用することができる。

このようにして、近似矩形を構成する辺のうちセンサ１から見て死角となる辺が特定されると、続くステップＳ１０５の処理が実行される（図３参照）。

ステップＳ１０５では、コントローラ１０が、近似多角形反射点所属判定を実行する。近似多角形反射点所属判定では、コントローラ１０は、多角形近似により生成された近似矩形の元となる点群を構成する複数の反射点２が、当該近似矩形を構成する辺のどの辺に対応（所属）するかを判定する。より具体的には、コントローラ１０は、ステップＳ１０１で取得した点群を構成する複数の反射点２が、ステップＳ１０４で特定された死角辺ではない辺（センサ１が観測可能な辺）に所属するか否かを判定する。反射点２が所属する辺を判定する方法について、図５を参照して説明する。

図５は、本実施形態の近似多角形反射点所属判定方法の一例を説明する図である。四角の点Ａ～Ｄで表される長方形は、ステップＳ１０３で近似した近似矩形を示す。また、反射点２ａ、２ｂ、２ｃは、ステップＳ１０１で取得された点群を構成する複数の反射点２の一部を示す。近似多角形反射点所属判定では、取得した点群を構成する複数の反射点２の一部に基づいて、当該反射点２が構成する点群が近似矩形を構成する辺のどの辺に所属するか判定される。

本例では、まず、反射点２から近似矩形を構成する辺に垂線を下ろす。この時、反射点２から近似矩形を構成する辺に垂線を下ろせない場合には、当該反射点２は所属する辺が存在しないと判定される。一方、反射点２から下ろした垂線と近似矩形の辺との交点が存在する場合には、当該反射点２は、交点が存在する辺のうち、反射点２から交点までの距離が最小となる辺に所属すると判定される。

図５を参照すると、例えば反射点２ａであれば、辺Ａ－Ｂと、辺Ｃ－Ｄとに垂線を下ろすことができる。そして、反射点２ａから下ろした二つの垂線のうち、その長さが最小となる垂線との交点が存在する辺は、辺Ａ－Ｂである。よって、反射点２ａは、辺Ａ－Ｂに所属すると判定される。

反射点２ｂは、どの辺にも垂線を下ろすことができないので、所属する辺は存在しないと判定される。

反射点２ｃは、全ての辺に垂線を下ろすことができるが、これらの垂線のうち長さが最小となる垂線との交点は辺Ａ－Ｃに存在する。よって、反射点２ｃは、辺Ａ－Ｃに所属すると判定される。

このようにして、ステップＳ１０１で取得した点群を構成する反射点２が近似矩形を構成する辺のどの辺に所属するかを判定することができる。反射点２が所属する辺が判定されると、続くステップＳ１０６の処理が実行される。

ステップＳ１０６では、コントローラ１０が、ステップＳ１０１で所得した点群を構成する反射点２が、近似矩形を構成する辺のうち、センサ１から見て死角ではない辺に所属するか否かを判定する。すなわち、コントローラ１０は、ステップＳ１０５において判定された反射点２が所属する辺が、死角辺以外の辺（観測可能な辺）か否かを判定する。ステップＳ１０１で取得された点群を構成する複数の反射点２のうち、死角辺以外の辺に所属する反射点２が存在すると判定された場合には、反射点２はセンサ１に対して近似矩形の死角に位置しないと判定してステップＳ１０７の処理が実行される。一方、死角辺以外の辺に所属する反射点２は存在しないと判定された場合、すなわち、反射点２は死角辺に所属すると判定された場合には、反射点２はセンサ１に対して近似矩形の死角に位置すると判定してステップＳ１０８の処理が実行される。

ステップＳ１０７では、取得した点群を構成する反射点２が死角ではない辺に所属していると判定されたので、コントローラ１０は反射点２がセンサ１に対して近似矩形の死角に位置しないと判定して、ステップＳ１０１で取得した点群が示す物体は単体物体であると判定する。この結果、物体認識装置１００は、ステップＳ１０１で取得した点群に基づいて多角形近似されることにより生成された近似矩形の位置に、上面視において当該近似矩形に相当する外形の物体が実際に存在していると認識する。

一方、ステップＳ１０８では、取得した点群を構成する反射点２が死角辺に所属していると判定されたので、コントローラ１０は反射点２がセンサ１に対して近似矩形の死角に位置すると判定して、ステップＳ１０１で取得した点群が示す物体は複数物体であると判定する。この結果、物体認識装置１００は、ステップＳ１０１で取得した点群に基づく多角形近似によって近似矩形が生成された位置に対応する実際の場所は、複数の物体（例えば図２に図示する例においては植え込み３０と駐車車両２０）により形成された凹部分であって、近似矩形に相当する物体は実在しないと認識する。

以上の処理によって点群が示す物体が単体物体の反射点２で構成されたものであるか複数物体の反射点２で構成されたものであるか判定されると、コントローラ１０は、物体認識に係る一連の処理を終了する。

なお、多角形近似をした後に、取得した点群を構成する反射点２が近似多角形のどの辺に所属するかを判定する処理（ステップＳ１０４以降の処理）を常に行う必要は必ずしもない。例えば、点群が示す物体が細長い物体である場合には、点群が所属する辺を判定することが難しい場合がある。また、例えば道路脇に存在する細長い物体は、車両の走行に大きな影響がなく無視できる場合もある。したがって、近似多角形を構成する辺のうち、最も短い辺の長さが所定値以上の場合にのみ、ステップＳ１０４以降の処理が実行されるように構成してもよい。これにより、反射点２の属する辺を判定しづらい細長い物体、あるいは、認識する必要がないほどの細長い物体以外の物体についてのみステップＳ１０４以降の処理が実行されるので、演算負荷を低減することができる。

また、取得した点群を時系列に追跡することによって、一まとまりの点群の移動態様から、当該点群が示す物体の属性を判別できる場合がある。より具体的には、例えばいわゆる時系列追跡技術を使用して周囲に存在する物体の位置を時系列的に計測することで、点群の大きさ及び移動態様から当該点群が示す物体に属性を付与できる場合がある。この場合には、点群が示す物体の属性から当該物体が明らかに単体物体と判別できる場合には、ステップＳ１０４以降の処理を省略してもよい。これにより、点群が示す物体があきらかに単体物体であると判別できない場合にのみステップＳ１０４以降の処理が実行されるので、演算負荷を低減することができる。

以上、図３を参照して説明した処理が実行されることにより、本実施形態の物体認識装置１００は、グルーピングした点群を多角形近似した際に生成される近似多角形が実際の物体の位置を正しく示しているのか、それとも、近似多角形は実際の物体を示すものではなく、実際には複数物体により形成された凹部分であって、当該近似多角形は実際の物体の位置を正しく示していないのかを適切に判定することができる。これにより、周囲に存在する物体の位置を認識する際に取得した点群に基づく多角形近似を行う場合に、生成された近似多角形が実際の物体の位置を正しく示す結果なのか否かを確実に判断することができる。

一方で、センサ１を用いて取得した点群が示す物体が単体物体であるか複数物体であるかを判定する際に、点群に基づく多角形近似を行う必要は必ずしもない。例えば、当該点群を構成する複数の反射点２のそれぞれとセンサ１との間の距離を精度高く検出できる場合には、物体認識装置１００は多角形近似しなくとも、多角形近似した際に点群を構成する複数の反射点２が近似多角形の死角に位置することを判定することができるため、点群が示す物体が複数物体か否かを判定することができる。より具体的には、物体認識装置１００は、取得した点群を構成する複数の反射点２のうち、センサ１から最も遠い反射点２の両側にセンサ１からより近い反射点２が存在する場合には多角形近似せずに、点群を多角形近似した際には反射点２が近似多角形の死角に位置することを判定して、当該点群が示す物体は複数物体であると判定する。また、センサ１から最も近い反射点２の両側にセンサ１からより遠い反射点２が存在する場合には多角形近似せずに、点群を多角形近似した際には反射点２が近似多角形の死角に位置しないことを判定して、当該点群が示す物体は単体物体であると判定するように構成されてもよい。ただし通常では、複数の反射点２のそれぞれとセンサ１との間の距離には計測誤差が発生するため、上述のように点群を多角形近似した結果から、反射点２が近似多角形の死角に位置するか否かに基づいて、当該点群が示す物体が単体物体であるか複数物体であるかを判定することが好ましい。

以上、第１実施形態の物体認識装置１００は、周囲に存在する物体の位置を上面視において複数の反射点２（検出点）から構成される点群として取得するセンサ１を用いた物体認識方法であって、近接度合いに応じて点群をグルーピングし、グルーピングされた点群を多角形近似した際に、グルーピングされた点群を構成する少なくとも一部の反射点２が、センサ１に対して点群を多角形近似した際の近似多角形の死角に位置するか否かを判定し、反射点２がセンサ１に対して近似多角形の死角に位置すると判定した場合には、グルーピングされた点群は複数物体に対応する点群であると認識し、反射点２がセンサ１に対して近似多角形の死角に位置しないと判定した場合には、グルーピングされた点群は近似多角形の単体物体に対応する点群と認識する。これにより、グルーピングされた点群を多角形近似して得られる近似多角形が示す物体が実際に存在するか否かを判定することができる。また、グルーピングされた点群が示す物体が複数物体であることを判定できることにより、グルーピングされた点群は複数物体により形成される凹部分に相当する点群であって、当該位置には物体が存在しないことを正しく認識することが可能となる。

また、第１実施形態の物体認識装置１００は、近似多角形を構成する辺のうち最も短い辺の長さが所定値より長い場合に、点群を構成する少なくとも一部の反射点２が近似多角形を構成する辺のうちセンサ１に対して死角となる辺に対応するか否かを判定する。これにより、点群の属する辺を判定しづらい細長い物体、あるいは、認識する必要がないほどの細長い物体以外の物体についてのみ反射点２（検出点）が死角に位置するか否かを判定することができるので、演算負荷を低減することができる。

また、第１実施形態の物体認識装置１００は、周囲に存在する物体の位置を時系列的に計測し、時系列的に計測された物体の属性を判別し、グルーピングされた点群が属性が判別されなかった物体に対応する場合に、当該点群を構成する少なくとも一部の反射点２がセンサ１に対して近似多角形の死角に位置するか否かを判定する。これにより、点群が示す物体があきらかに単体物体であると判別できない場合にのみ反射点２が近似多角形の死角に位置するか否かを判定することができるので、演算負荷を低減することができる。

＜第２実施形態＞
以下では、本発明の第２実施形態に係る物体認識装置２００について説明する。

図６は、本実施形態に係る物体認識装置２００の構成例を示すブロック図である。物体認識装置２００は、点群削減部２１と分割部２２とをさらに備える点が、第１実施形態の物体認識装置１００と相違する。以下、第１実施形態との相違点を中心に説明する。

点群削減部２１は、センサ１が取得した点群数（反射点２の数）を削減する。

分割部２２は、所得した点群が示す物体が複数物体であると判定された場合に、当該点群に基づいて近似した近似多角形を構成する複数の辺を、それぞれ複数の物体として認識する。点群削減部２１と分割部２２が行う処理について、図７を参照して説明する。

図７は、本実施形態の物体認識装置２００による物体認識方法を説明するフローチャートである。当該フローチャートで説明される処理は、物体認識装置２００が起動している間、一定の間隔で常時実行されるようにコントローラ１０にプログラムされている。なお、ステップＳ２０１とステップＳ２０２が追加されている点が、図３を参照して上述した第１実施形態の物体認識方法と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と同様のステップについての説明は割愛する。

ステップＳ２０１では、コントローラ１０は、ステップＳ１０１で取得した点群を削減する。削減の手法は特に限定されず、例えばボクセルフィルタが用いられてよい。本ステップにおいて点群が削減されることによって、点群に基づいてなされる後段処理の演算負荷を削減することができる。なお、演算負荷の低減が必要でない場合は本ステップＳ１０１の処理を行う必要はなく、必ずしも必要な処理ではない。

ステップＳ２０２は、取得した点群が示す物体が複数物体と判定された場合に行われる処理である。コントローラ１０は、近似矩形を構成する辺から、反射点２が所属すると判定された辺、すなわち死角辺を辺ごとに分割する。そして、コントローラ１０は、当該死角辺ごとに切り出して認識する（分割して認識する）処理を実行する。すなわち、コントローラ１０は、死角辺ごとに対応する反射点２が単体物体に対応する反射点２であると認識する。死角辺に基づいて物体を切り出して認識する方法（物体分割方法）の詳細について、図８を参照して説明する。なお、簡略化のために以下の記載では、死角辺ごとに反射点２が単体物体に対応する反射点２として認識することを「切り出す」あるいは「物体分割」と表現する。

図８は、本実施形態の物体認識装置２００が行う物体分割方法を説明する図である。図中の４角がＡ～Ｄで示された長方形は、ステップＳ１０１において取得された点群に基づいて矩形近似した長方形（近似矩形）である。

図８（ａ）は、点群が示す物体が複数物体と判定された場合に実行される物体分割方法を説明する図である。第１実施形態において図４を参照して説明したとおり、ステップＳ１０６において点群を構成する反射点２が死角辺に所属していることが特定されることにより、当該点群が示す物体は複数物体であることが判定される。

本実施形態の物体分割によれば、反射点２が所属する死角辺ごとに、死角辺に対応する反射点２が単体物体に対応する反射点２として認識される。例えば、図８（ａ）の左側の図では、物体分割によって、反射点２が所属する死角辺（辺Ａ－Ｂ、辺Ｂ－Ｄ）毎に、各死角辺に対応する反射点２が、点群の分布に応じた二つの矩形単体物体（図中、太線枠で示した形状の物体）として切出されている。他の例として、図８（ａ）の右側の図では、物体分割によって、反射点２が所属する死角辺（辺Ａ－Ｂ、辺Ａ－Ｃ、辺Ｂ－Ｄ）毎に、各死角辺に対応する反射点２が、点群の分布に応じた三つの矩形単体物体（図中、太線枠で示した形状の物体）として切出されている。切り出されたこれらの矩形単体物体（以下、単に矩形物体）は、周囲環境に存在する実際の物体の位置に対応するので、物体認識装置２００は、周囲環境に存在する物体の位置を当該矩形物体に基づいてより正しく認識することができる。なお、例えば、図８（ａ）の左側の図が図２で示す周囲環境を検出した結果とすれば、辺Ａ－Ｂにかかる矩形物体は植え込み３０に対応し、辺Ｂ－Ｄにかかる矩形物体は駐車車両２０の後端に対応する。

なお、図８（ａ）で示すように、反射点２が所属する死角辺のすべてを切り出す必要は必ずしもなく、少なくとも一辺以上の一部の死角辺を特定辺として切り出してもよい。この場合、例えば、死角辺に所属する反射点２の数が多い辺や、死角辺の長さに応じた反射点２の数の割合が多い辺を特定辺として優先して切出してもよい。

また、物体認識装置２００の周囲に存在する物体を検出する際には、センサ１を用いるだけではなく、センサ１とは異なる少なくとも一以上の他のセンサも用いて、周囲に存在する物体をこれら複数のセンサを用いて同時に検出する場合がある。この場合、センサ１が検出した物体と、センサ１とは異なる他のセンサが検出した物体との整合がとれた場合にのみ、整合がとれた当該物体を周囲環境に実際に存在する物体として認識するように構成してもよい。これにより、周囲環境に存在する物体の位置をセンサ１のみを用いて検出するのに比べてより精度よく検出することができる。

物体認識装置２００がこのように構成されている場合には、上述の物体分割を行うことによって、センサ１が検出した複数物体に相当する複数の矩形物体が生成されるので、センサ１が検出した物体と、センサ１とは異なる他のセンサが検出した物体との整合をより容易に判定することができる。なお、複数のセンサが検出した物体の整合を判定する方法の一例については第３実施形態の説明において後述する。

なお、図８（ｂ）は、点群が示す物体は複数物体ではないと判定された場合を説明する図である。図示するように、反射点２が死角辺ではない辺（観測可能な辺）に所属する場合には、点群が示す物体は単体物体であると判定されるので（ステップＳ１０７）、物体分割は行われない。

以上、第２実施形態の物体認識装置２００によれば、物体が複数物体と認識された場合には、近似多角形を構成する辺のうち反射点２が対応する辺毎に単体物体として認識する。これにより、周囲環境に存在する物体の位置を正しく認識することができる。

また、第２実施形態の物体認識装置２００によれば、単体物体として認識する辺は、対応する反射点２の数に応じて決定される。これにより、例えば、センサ１に近く、センサ１から出力されたレーザー光をより多く反射する物体を優先して単体物体として認識することができる。

＜第３実施形態＞
以下では、本発明の第３実施形態に係る物体認識装置３００について説明する。

図９は、本実施形態に係る物体認識装置３００の構成例を示すブロック図である。物体認識装置３００は、カメラ３と、属性判定部３２と、情報統合部３３とをさらに備える点が、第２実施形態の物体認識装置２００と相違する。以下、第２実施形態との相違点を中心に説明する。

カメラ３は、後述する属性判定部３２において周囲環境に存在する物体の属性を判別するために用いられる情報を取得する属性判別元情報取得部として機能する。ここでの属性とは、例えば、人（歩行者）、車、ガードレール、植え込み等、主に物体の形状から同定される当該物体の性質を表す情報である。カメラ３は、周囲環境を撮像して、撮像した映像データ（カメラ画像）を属性判別元情報として属性判定部３２に提供する。なお、属性判別元情報取得部として採用される構成は、カメラ３に限定されない。属性判別元情報取得部は、後段の処理によって属性を判別可能な情報を取得できる他のセンサであってもよい。

属性判定部３２は、カメラ３が取得したカメラ画像に基づいて周囲に存在する物体（周囲物体）の属性を物体毎に判別して、判別した属性を当該周囲物体に付与する。

情報統合部３３は、属性判定部３２によって属性が付与された周囲物体と、センサ１を用いて検出された物体に関する情報とを統合する。これら各機能部が実行する処理の詳細について、図１０、１１を参照して説明する。

まず、センサ１及びカメラ３がそれぞれ取得した物体に関する情報の統合が行われる場面について、図１０を参照して説明する。図１０は、第３実施形態にかかるセンサ１及びカメラ３が周囲に存在する物体に関する情報を取得する方法を説明する図である。

まず、センサ１が周囲に存在する物体に関する情報を取得する方法は、第１実施形態において図２を参照して説明した方法と同様である。すなわち、センサ１は、センサ１を起点に広がる扇型のセンサ視野角内に存在する物体のセンサ１側の側面の位置に対応する点群を取得する。そして、センサ１が取得した点群は、多角形近似を経て、単体物体、又は、物体分割によって切り出された複数の矩形物体として特定される。

カメラ３は、図示するように、センサ１と同一方向に係る周囲環境の映像を取得するように構成される。すなわち、図１０に示す場面によれば、カメラ３は、センサ１が取得した点群が示す物体と同様の物体、すなわち植え込み３０の側面と、駐車車両２０の後端とを含むカメラ画像を周囲に存在する物体に関する情報として取得する。

図１１は、本実施形態の物体認識装置３００による物体認識方法を説明するフローチャートである。当該フローチャートで説明する処理は、物体認識装置３００が起動している間、一定の間隔で常時実行されるようにコントローラ１０にプログラムされている。なお、ステップＳ３０１からステップＳ３０３が追加されている点が、図７を参照して上述した第２実施形態の物体認識方法と相違する。以下、第２実施形態との相違点を中心に説明し、第２実施形態と同様のステップについての説明は割愛する。

ステップＳ３０１では、コントローラ１０は、カメラ３が取得した画像に基づいて周囲物体の属性を判別する。

ステップＳ３０２では、コントローラ１０は、センサ１が取得した物体に関する情報と、カメラ３が取得した物体に関する情報とが整合するか否かを判定する。本実施形態では、物体に関する情報の一致度に基づいてこれら情報の整合を判定する。

一致度は、例えば、センサ１が検出した物体と、カメラ３が検出した物体との位置関係に基づいて算出されてよい。具体的には、例えば、センサ１から周囲に存在する物体までの距離を検出するとともに、カメラ３から周囲に存在する物体までの距離を検出して、各物体と、センサ１およびカメラ３までの距離の差分に基づいて一致度を算出してもよい。距離が近ければ近いほど、センサ１およびカメラ３がそれぞれ検出した物体の一致度が高いと判定することができる。そして、算出した一致度が予め定めた閾値を超える場合に、これら各物体に関する情報は整合すると判定される。このような算出方法に加えて、あるいは代えて、他の算出方法を採用してもよい。一致度の他の算出方法について、図１２を参照して説明する。

図１２は、センサ１が取得した物体に関する情報と、カメラ３が取得した物体に関する情報とが整合するか否かを判定する方法を説明する図である。

まず、カメラ３が取得したカメラ画像において、カメラ画像内の物体の占有枠（画像内の物体外形を囲う枠）を抽出する。例えば、カメラ３が取得した画像内に図１０で示す駐車車両２０が映っていた場合には、駐車車両２０を後方から撮像した際に映る駐車車両２０の占有枠として、駐車車両２０の後端面の外形に略一致する図形Ｂが抽出される。また、当該図形Ｂには、ステップＳ３０２で判別された属性「車」が付与される。

一方、センサ１が取得した点群に基づいて生成された物体に関する情報からは、水平方向から見た当該物体の外形を示す長方形状の投影枠として図形Ａが抽出される。具体的には、センサ１が取得した点群が示す物体が単体物体であれば、ステップＳ１０３において多角形近似された近似矩形をカメラ画像に投影して２次元化することにより投影枠としての図形Ａを生成する。また、センサ１が取得した点群が示す物体が複数物体であれば、物体分割によって切り出された矩形物体をカメラ画像に投影して２次元化することにより図形Ａを生成する。なお、図形Ａは、カメラ画像内において、センサ１が取得した点群の位置および大きさと略一致する位置および大きさに投影される。ただし、図形Ａの元となる近似多角形は２次元平面に投影して生成された情報なので、図形Ａの高さに関する情報は含まれていない。従って、図形Ａの高さ方向の大きさについては道路上に存在する物体として適当な一定値が設定される。このようにして、図形Ｂが抽出されたカメラ画像内に、センサ１が取得した点群に基づいて生成された図形Ａが投影される。

そして、カメラ画像内において、撮像された周囲物体の占有枠としての図形Ｂと、点群に基づいて生成された近似多角形又は切出された矩形物体の投影枠としての図形Ａとの共有範囲（一致範囲）を算出する。そして、算出された共有範囲が閾値以上である場合、すなわち、下記式（１）を満足する場合に、センサ１およびカメラ３がそれぞれ別個に取得した各物体は整合する（同一物体）と判定される。なお、閾値は、各物体の整合性を信頼できる値として、採用されるセンサ１及びカメラ３の性能等を考慮して適宜設定される。

ステップＳ３０１において、センサ１が取得した物体に関する情報と、カメラ３が取得した物体に関する情報とが整合すると判定され、これら物体が同一物体であると判断されると、続くステップＳ３０２の処理が実行される。上記式（１）を満足せず、センサ１が取得した物体に関する情報と、カメラ３が取得した物体に関する情報とが整合しない場合には、本フローの１サイクルを終了して、ステップＳ１０１からの処理が繰り返し実行される。

ステップＳ３０２では、コントローラ１０は、センサ１が取得した物体に関する情報と、当該物体と整合すると判定されたカメラ画像内の物体に関する情報とを統合する。これにより、センサ１が取得した物体に、カメラ３が取得した情報に基づいて判別された属性が付与される。この結果、センサ１が取得した物体に関する情報の情報量、正確性、および信頼性を向上させることができる。

以上、第３実施形態の物体認識装置３００によれば、センサ１とは異なる認識手段（カメラ３）を用いて、周囲に存在する物体を認識するとともに当該物体の属性を判別し、センサ１を用いて認識された複数物体又は単体物体と、カメラ３を用いて認識された物体とが整合するか否か判定し、複数物体又は単体物体と、認識手段を用いて認識された物体とが整合すると判定された場合に、複数物体又は前記単体物体に属性を付与する。これにより、センサ１が取得した物体に関する情報だけでは属性不明であった物体に属性を付与することができる。また、複数で同一の物体を認識し且つそれらの整合を判定した上で属性が付与されているので、センサ１が取得した物体に関する情報の信頼性を向上させることができる。

また、第３実施形態の物体認識装置３００によれば、センサ１から周囲に存在する物体までの距離を検出し、カメラ３から周囲に存在する物体までの距離を検出し、センサ１から物体までの距離と、カメラ３から物体までの距離とに基づいて、センサ１を用いて認識された複数物体又は単体物体と、カメラ３を用いて認識された物体とが整合するか否かを判定する。これにより、センサ１が検出した物体と、カメラ３が検出した物体との位置関係に基づいて、各物体が整合するか否かを判定することができる。

また、第３実施形態の物体認識装置３００によれば、カメラ３は、周囲に存在する物体を含む画像を取得し、センサ１を用いて認識された複数物体又は単体物体を画像に投影し、画像に含まれる物体と、当該画像に投影された複数物体又は単体物体との共有範囲を算出し、算出された共有範囲に基づいて、センサ１を用いて認識された複数物体又は単体物体と、カメラ３を用いて認識された物体とが整合するか否かを判定する。これにより、センサ１が検出した物体と、カメラ３が検出した物体の面あるいは空間における共有範囲に基づいて、各物体が整合するか否かを判定することができる。その結果、互いに同一物体である可能性が高い物体に対してのみ情報を統合することができる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

Claims (9)

1. 周囲に存在する物体の位置を上面視において複数の検出点から構成される点群として取得するセンサを用いた物体認識方法であって、
   近接度合いに応じて前記点群をグルーピングし、
   グルーピングされた前記点群を多角形近似した際に、
   前記グルーピングされた点群を構成する少なくとも一部の前記検出点が、前記センサに対して前記点群を多角形近似した際の近似多角形の死角に位置するか否かを判定し、
   前記検出点が前記センサに対して死角に位置すると判定した場合には、前記グルーピングされた点群は複数物体に対応した点群であると認識し、前記検出点が前記センサに対して死角に位置しないと判定した場合には、前記グルーピングされた点群は前記近似多角形の単体物体に対応した点群であると認識する、
   物体認識方法。
2. 請求項１に記載の物体認識方法であって、
   前記物体が前記複数物体と認識された場合には、前記近似多角形を構成する辺のうち少なくとも一つの辺である特定辺に対応する前記検出点を、前記単体物体に対応する検出点として認識する、
   物体認識方法。
3. 請求項２に記載の物体認識方法であって、
   前記特定辺は、対応する前記検出点の数に応じて決定される、
   物体認識方法。
4. 請求項１から３のいずれか一項に記載の物体認識方法であって、
   前記近似多角形を構成する辺のうち最も短い辺の長さが予め定めた所定の長さより長い場合に、前記点群を構成する少なくとも一部の前記検出点が前記センサに対して前記近似多角形の死角に位置するか否かを判定する、
   物体認識方法。
5. 請求項１から４のいずれか一項に記載の物体認識方法であって、
   周囲に存在する物体の位置を時系列的に計測し、
   時系列的に計測された前記物体の属性を判別し、
   グルーピングされた前記点群が、前記属性が判別されなかった前記物体に対応する場合に、当該点群を構成する少なくとも一部の前記検出点が前記センサに対して前記近似多角形の死角に位置するか否かを判定する、
   物体認識方法。
6. 請求項１から５のいずれか一項に記載の物体認識方法であって、
   前記センサとは異なる認識手段を用いて、周囲に存在する物体を認識するとともに当該物体の属性を判別し、
   前記センサを用いて認識された前記複数物体又は前記単体物体と、前記認識手段を用いて認識された前記物体とが整合するか否か判定し、
   前記複数物体又は前記単体物体と、前記認識手段を用いて認識された前記物体とが整合すると判定された場合に、前記センサを用いて認識された前記複数物体又は前記単体物体に前記属性を付与する、
   物体認識方法。
7. 請求項６に記載の物体認識方法であって、
   前記センサから周囲に存在する物体までの距離を検出し、
   前記認識手段から周囲に存在する物体までの距離を検出し、
   前記センサから前記物体までの距離と、前記認識手段から前記物体までの距離とに基づいて、前記センサを用いて認識された前記複数物体又は前記単体物体と、前記認識手段を用いて認識された前記物体とが同一物体であるか否かを判定する、
   物体認識方法。
8. 請求項６または７に記載の物体認識方法であって、
   前記認識手段は、周囲に存在する前記物体を含む画像を取得し、
   前記センサを用いて認識された前記複数物体又は前記単体物体を前記画像に投影し、
   前記画像上における前記物体が占める領域である占有領域と、当該画像上に投影された前記複数物体又は前記単体物体が占める領域である投影領域との一致範囲を算出し、
   算出された前記一致範囲に基づいて、前記センサを用いて認識された前記複数物体又は前記単体物体と、前記認識手段を用いて認識された前記物体と同一物体であるか否かを判定する、
   物体認識方法。
9. 周囲に存在する物体の位置を上面視において複数の検出点から構成される点群として取得するセンサと、当該センサが取得した前記点群を処理するコントローラとを備える物体認識装置であって、
   前記コントローラは、
   近接度合いに応じて前記点群をグルーピングし、
   グルーピングされた前記点群を多角形近似した際に、
   前記グルーピングされた点群を構成する少なくとも一部の前記検出点が、前記センサに対して前記点群を多角形近似した際の近似多角形の死角に位置するか否かを判定し、
   前記検出点が前記センサに対して死角に位置すると判定した場合には、前記グルーピングされた点群は複数物体に対応した点群であると認識し、前記検出点が前記センサに対して死角に位置しないと判定した場合には、前記グルーピングされた点群は前記近似多角形の単体物体に対応した点群であると認識する、
   物体認識装置。

Images