JP7132037B2 - 車載処理装置 - Google Patents

Description

本発明は、車載処理装置に関する。

近年、自動車の自動運転実現に向けた開発が盛んとなっている。自動運転とは、車両周囲をカメラや超音波レーダ、レーダなどの外界センサでセンシングし、センシング結果に基づいて判断を行い、ユーザの操作なしで車両が自律的に走行するものである。この自動運転には車両の位置推定が必要となる。
特許文献１には、物体の一部を表す点の第１座標系における座標が複数含まれる点群データが格納される記憶部と、車両の周囲の情報を取得するセンサの出力を取得するセンサ入力部と、前記車両の移動に関する情報を取得する移動情報取得部と、前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第２座標系における前記車両の位置および物体の一部を表す点の前記第２座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、前記点群データと前記局所周辺情報とに基づき前記第１座標系と前記第２座標系の関係を推定し、前記第１座標系における前記車両の位置を推定する位置推定部とを備える車載処理装置が開示されている。

特開２０１８－４３４３号公報

特許文献１では、センサの精度が環境条件により変化することが考慮されていない。

本発明の第１の実施の形態によると、車両の周囲の情報を取得するセンサの出力に基づき作成され、前記センサの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の第１座標系における座標が複数含まれる点群データが格納される記憶部と、前記センサの出力を取得するセンサ入力部と、前記環境条件を取得する現在環境取得部と、前記車両の移動に関する情報を取得する移動情報取得部と、前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第２座標系における前記車両の位置および物体の一部を表す点の前記第２座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、前記点群データ、前記局所周辺情報、前記点群データに含まれる前記環境条件、および前記現在環境取得部が取得する前記環境条件に基づき前記第１座標系と前記第２座標系の関係を推定し、前記第１座標系における前記車両の位置を推定する位置推定部とを備える。

本発明によれば、車載処理装置はセンサの精度が環境条件により変化することを考慮したうえで外乱に強い位置推定を行うことができる。

自動駐車システム１００の構成図 第１の実施の形態における駐車場点群１２４Ａの一例を示す図 第１の実施の形態における環境対応表１２４Ｂの一例を示す図 車載処理装置１２０の記録フェーズの動作を表すフローチャート 車載処理装置１２０の自動駐車フェーズの全体動作を表すフローチャート 自動駐車フェーズの自己位置推定処理を表すフローチャート 自動駐車フェーズのマッチング処理を表すフローチャート 自動駐車フェーズの自動駐車処理を表すフローチャート 図９（ａ）は駐車場９０１の一例を示す平面図、図９（ｂ）はＲＡＭ１２２に保存されるランドマークの点群を可視化した図 図１０（ａ）は駐車場点群１２４Ａの点群データを可視化した一例を示す図、図１０（ｂ）は新たに検出した点群データを可視化した一例を示す図 駐車場９０１における車両１の現在位置を示す図 車両１が図１１に示した位置において撮影した画像から抽出された点群を駐車場座標に変換したデータを示す図 車両１の駐車場座標系における位置の推定が誤差を含んでいた場合の、駐車場点群１２４Ａと図１２に示した局所周辺情報１２２Ｂとの対比を示す図 図１４（ａ）～（ｃ）は、図１３に示した局所周辺情報１２２Ｂを駐車枠の幅の整数倍移動させた場合の駐車場点群１２４Ａとの関係を示す図 第２の実施の形態における駐車場点群１２４Ａの一例を示す図 第２の実施の形態における環境対応表１２４Ｂの一例を示す図

（第１の実施の形態）
以下、図１～図１４を参照して、本発明にかかる車載処理装置の第１の実施の形態を説明する。

図１は、本発明にかかる車載処理装置を含む自動駐車システム１００の構成図である。自動駐車システム１００は、車両１に搭載される。自動駐車システム１００は、センサ群１０２～１０５、１０７～１０９と、入出力装置群１１０、１１１、１１４と、車両１を制御する制御装置群１３０～１３３と、車載処理装置１２０とから構成される。センサ群、入出力装置群、および制御装置群は車載処理装置１２０と信号線で接続され、車載処理装置１２０と各種データを授受する。

車載処理装置１２０は、演算部１２１と、ＲＡＭ１２２と、ＲＯＭ１２３と、記憶部１２４と、インタフェース１２５とを備える。演算部１２１はＣＰＵである。ＦＰＧＡなど他の演算処理装置で全部または一部の演算処理を実行するように構成してもよい。ＲＡＭ１２２は読み書き込み可能な記憶領域であり、車載処理装置１２０の主記憶装置として動作する。ＲＡＭ１２２には、後述するアウトライアリスト１２２Ａ、および後述する局所周辺情報１２２Ｂが格納される。ＲＯＭ１２３は読み取り専用の記憶領域であり、後述するプログラムが格納される。このプログラムはＲＡＭ１２２で展開されて演算部１２１により実行される。演算部１２１は、プログラムを読み込んで実行することにより、点群データ取得部１２１Ａ、局所周辺情報作成部１２１Ｂ、位置推定部１２１Ｃ、および現在環境取得部１２１Ｄとして動作する。

車載処理装置１２０の現在環境取得部１２１Ｄとしての動作は次のとおりである。現在環境取得部１２１Ｄは、車両１に搭載された不図示の温度計、または通信装置１１４を介して不図示のサーバから車両１の現在位置における気温を取得する。また現在環境取得部１２１Ｄは、通信装置１１４を介して不図示のサーバから車両１の現在位置における天気を取得する。さらに現在環境取得部１２１Ｄは、車載処理装置１２０が備える時計機能を用いて現在時刻を取得する。車載処理装置１２０の点群データ取得部１２１Ａ、局所周辺情報作成部１２１Ｂ、および位置推定部１２１Ｃとしての動作は後述する。

記憶部１２４は不揮発性の記憶装置であり、車載処理装置１２０の補助記憶装置として動作する。記憶部１２４には、駐車場点群１２４Ａと環境対応表１２４Ｂとが格納される。

駐車場点群１２４Ａとは、１または複数の駐車場データである。駐車場データとは、ある駐車場の位置情報、すなわち緯度・経度、駐車領域を示す座標、およびその駐車場に存在するランドマークを構成する点の座標の集合である。駐車場データは前述のセンサ群１０２～１０５、１０７～１０９の出力を用いて作成されたものである。駐車場データにはセンサ群１０２～１０５、１０７～１０９の出力が得られた際の周囲環境の条件である環境条件が含まれる。なお環境条件とはたとえば、天気、気温、時刻などである。そのため同一の駐車場であっても環境条件が異なる場合には、個別の駐車場データとして駐車場点群１２４Ａに含まれる。ランドマークについては後述する。環境対応表１２４Ｂとは、環境条件ごとの各センサの精度の低下を示す表である。詳しくは後述する。インタフェース１２５は、車載処理装置１２０と自動駐車システム１００を構成する他の機器との情報の授受を行う。

センサ群は、車両１の周囲を撮影するカメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５と、車両１の位置を測定するＧＰＳ受信機１０７と、車両１の速度を測定する車速センサ１０８と、車両１のステアリング角を測定する舵角センサ１０９とを含む。カメラ１０２はイメージセンサを備えるカメラである。ソナー１０３は超音波センサであり、超音波を発して反射の有無および反射波が測定されるまでの時間から障害物までの距離を測定する。レーダ１０４は電波を発して反射の有無および反射波が測定されるまでの時間から障害物までの距離を測定する。ソナー１０３とレーダ１０４の違いは、発する電磁波の波長であり、レーダ１０４の方が波長が短い。ＬｉＤＡＲ１０５は、光による検知と距離計測を行う装置（Light Detection and Ranging）である。

カメラ１０２は、雨や雪が降る環境や夕方や夜などの暗い環境ではノイズが増加する。ソナー１０３は、高温環境では実際よりも遠く、低温環境では実際よりも距離が短く測定される。すなわちカメラ１０２は雨や雪が降る環境や夕方や夜などの暗い環境では精度が低下し、ソナー１０３は高温や低温の環境では精度が低下する。

カメラ１０２は、撮影して得られた画像（以下、撮影画像）を車載処理装置１２０に出力する。ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５は、センシングして得られた情報を車載処理装置１２０に出力する。車載処理装置１２０は、カメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５が出力する情報を用いて後述するランドマークの測位を行う。カメラ１０２の焦点距離や撮像素子サイズなどの内部パラメータ、および車両１へのカメラ１０２の取り付け位置や取り付け姿勢である外部パラメータは既知であり、ＲＯＭ１２３にあらかじめ保存されている。車載処理装置１２０は、ＲＯＭ１２３に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ１０２との位置関係を算出することができる。ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５の車両１への取り付け位置や取り付け姿勢も既知であり、ＲＯＭ１２３にあらかじめ保存されている。車載処理装置１２０は、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５が検出した障害物の車両１との位置関係を算出することができる。

ＧＰＳ受信機１０７は、衛星航法システムを構成する複数の衛星から信号を受信し、受信した信号に基づく演算によりＧＰＳ受信機１０７の位置、すなわち緯度および経度を算出する。なおＧＰＳ受信機１０７により算出される緯度および経度の精度は高精度でなくてもよく、たとえば数ｍ～１０ｍ程度の誤差が含まれてもよい。ＧＰＳ受信機１０７は、算出した緯度および経度を車載処理装置１２０に出力する。

車速センサ１０８、および舵角センサ１０９はそれぞれ、車両１の車速と舵角を測定し車載処理装置１２０に出力する。車載処理装置１２０は、車速センサ１０８および舵角センサ１０９の出力を用いて公知のデッドレコニング技術によって、車両１の移動量および移動方向を算出する。

入力装置１１０には、ユーザによる車載処理装置１２０への動作指令が入力される。入力装置１１０は、記録開始ボタン１１０Ａと、記録完了ボタン１１０Ｂと、自動駐車ボタン１１０Ｃとを含む。表示装置１１１はたとえば液晶ディスプレイであり、車載処理装置１２０から出力される情報が表示される。なお、入力装置１１０と表示装置１１１とが一体として、たとえばタッチ操作に対応する液晶ディスプレイとして構成されてもよい。この場合は、液晶ディスプレイの所定の領域がタッチされることにより、記録開始ボタン１１０Ａ、記録完了ボタン１１０Ｂ、または自動駐車ボタン１１０Ｃが押されたと判断してもよい。

通信装置１１４は、車両１の外部の機器と車載処理装置１２０とが無線で情報を授受するために用いられる。例えば、ユーザが車両１の外にいるときに、ユーザが身に着けている携帯端末と通信を行い情報を授受する。通信装置１１４が通信を行う対象はユーザの携帯端末に限定されない。

車両制御装置１３０は、車載処理装置１２０の動作指令に基づき、操舵装置１３１、駆動装置１３２、および制動装置１３３を制御する。操舵装置１３１は、車両１のステアリングを操作する。駆動装置１３２は、車両１に駆動力を与える。駆動装置１３２はたとえば、車両１が備えるエンジンの目標回転数を増加させることにより車両１の駆動力を増加させる。制動装置１３３は、車両１に制動力を与える。

（ランドマーク測位）
ランドマークとはセンサにより識別可能な特徴を有する物体であり、たとえば路面ペイントの１種である駐車枠線や、車両の走行の妨げとなる障害物である建物の壁などである。本実施の形態では、移動体である車両や人間はランドマークに含めない。車載処理装置１２０は、カメラ１０２から入力される情報に基づき、車両１の周辺に存在するランドマーク、すなわちセンサにより識別可能な特徴を有する点を検出する。以下では、外界センサ、すなわちカメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５から入力される情報に基づくランドマークの検出を「ランドマーク測位」と呼ぶ。

車載処理装置１２０は、カメラ１０２の撮影画像を対象に、以下のように画像認識プログラムを動作させることで駐車枠などの路面ペイントなどを検出する。駐車枠の検出は、まず入力画像からソーベルフィルタなどでエッジを抽出する。次に、たとえば白から黒への変化であるエッジの立ち上がりと、黒から白への変化であるエッジの立ち下がりのペアを抽出する。そしてこのペアの間隔が、あらかじめ定めた第１の所定の距離、すなわち駐車枠を構成する白線の太さと略一致すると、このペアを駐車枠の候補とする。同様の処理により駐車枠の候補を複数検出し、駐車枠の候補同士の間隔があらかじめ定めた第２の所定の距離、すなわち駐車枠の白線の間隔と略一致すると、それらを駐車枠として検出する。駐車枠以外の路面ペイントは以下の処理を実行する画像認識プログラムで検出される。まず入力画像からソーベルフィルタなどでエッジを抽出する。エッジ強度があらかじめ定めた一定の値よりも大きく、エッジ同士の間隔が白線の幅に相当するあらかじめ定めた距離である画素を探索することにより検出できる。

車載処理装置１２０は、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５の出力を用いてランドマークを検出する。なおカメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５が情報を取得可能な領域が重複している場合には、同一のランドマークが複数のセンサにより検出される。ただしセンサの特性により一方のセンサしかランドマークの情報が得られないこともある。車載処理装置１２０は、検出したランドマークを記録する際に、どのセンサの出力を用いて検出されたかもあわせて記録する。

車載処理装置１２０はたとえば既知のテンプレートマッチングにより車両や人間を検出し、測定結果から除外する。また、以下のようにして検出した移動体を測定結果から除外してもよい。すなわち車載処理装置１２０は、内部パラメータおよび外部パラメータを用いて撮影画像における被写体とカメラ１０２との位置関係を算出する。次に車載処理装置１２０は、カメラ１０２が連続して取得した撮影画像において被写体を追跡することで車両１と被写体の相対的な速度を算出する。最後に車載処理装置１２０は、車速センサ１０８および舵角センサ１０９の出力を用いて車両１の速度を算出し、被写体との相対的な速度と一致しなければ被写体が移動体であると判断し、この移動体に関する情報を測定結果から除外する。

（駐車場点群１２４Ａ）
図２は、記憶部１２４に格納される駐車場点群１２４Ａの一例を示す図である。図２では、駐車場点群１２４Ａとして２つの駐車場データが格納されている例を示している。１つの駐車場データは、その駐車場の位置、すなわち緯度および経度（以下、緯度経度と呼ぶ）と、環境条件と、駐車領域の座標と、ランドマークを構成する点の二次元平面上の座標とから構成される。駐車場の位置とは、たとえば駐車場の入り口付近、駐車場の中央付近、または駐車位置の緯度経度である。ただし図２に示す例では、駐車場の位置と環境条件は同一の欄に記載している。

駐車領域の座標、およびランドマークを構成する点の座標は、その駐車場データに固有の座標系における座標である。以下では駐車場データにおける座標系を「駐車場座標系」と呼ぶ。ただし駐車場座標系を第１座標系と呼ぶこともある。駐車場座標系は、たとえば記録開始時の車両１の座標が原点とされ、記録開始時の車両１の進行方向がＹ軸、記録開始時の車両１の右方向がＸ軸とされる。駐車領域の座標は、たとえば駐車領域を矩形とした場合にその矩形領域の４つの頂点の座標として記録される。ただし、駐車領域は矩形に限定されず矩形以外の多角形や楕円形状でもよい。

さらにランドマークを構成するそれぞれの点には、ランドマークの情報を取得したセンサの種類が「取得センサ」として記録される。たとえば図２に示す例では、駐車場１の１つ目のランドマークは、カメラ１０２の撮影映像から算出されたものであることが示されている。また駐車場１の４つ目のランドマークは、ソナー１０３の出力とＬｉＤＡＲ１０５の出力のそれぞれから算出されたものであることが示されている。

図３は、記憶部１２４に格納される環境対応表１２４Ｂの一例を示す図である。図３では環境対応表１２４Ｂは、環境条件を縦に並べ、センサの種類を横に並べたマトリクスである。環境条件は、天気、時間帯、気温の３つとしている。天気は、晴、雨、および雪のいずれかである。時間帯は、朝、昼、夕、晩のいずれかである。気温は、低、中、高のいずれかである。時間帯、および気温の分類は、あらかじめ定められた閾値を用いる。たとえば午前１０時までは時間帯を「朝」とし、０度以下は気温を「低」とする。

センサは、図３の左から順番に、カメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５に対応する。＿１２４Ｂのバツの記号はセンサの測定精度が低下することを示し、丸の記号はセンサの測定精度が低下しないことを示している。ただし測定精度が低下する場合であっても軽度な場合は丸としている。たとえばカメラ１０２を用いる場合に環境条件が、天気は晴、時間帯は朝、気温が中の場合はすべての条件で丸なので精度の低下がないと判断できる。しかし前述の環境条件のうち天気が雨になった場合は、時間帯と気温による精度の低下はないが天気を理由とする精度の低下があるので、環境条件の全体としてはカメラ１０２の精度が低下すると判断される。

（アウトライアリスト１２２Ａ）
アウトライアリスト１２２Ａには、車載処理装置１２０が処理対象外とする局所周辺情報１２２Ｂの点の情報が格納される。アウトライアリスト１２２Ａは、後述するように車載処理装置１２０により適宜更新される。

（局所周辺情報１２２Ｂ）
局所周辺情報１２２Ｂには、車載処理装置１２０が後述する自動駐車フェーズにおいて検出したランドマークを構成する点の座標が格納される。この座標は局所周辺情報１２２Ｂの記録を開始した際の車両１の位置および姿勢を基準に、たとえばその位置を原点とし、車両１の進行方向をＹ軸とし、進行方向右をＸ軸とする座標系である。この座標系を以下では「局所座標系」と呼ぶ。局所座標系を第２座標系と呼ぶこともある。

（車載処理装置１２０の動作概要）
車載処理装置１２０は、主に２つの動作フェーズ、すなわち記録フェーズと自動駐車フェーズを有する。車載処理装置１２０はユーザからの特別の指示がなければ自動駐車フェーズで動作する。すなわち、記録フェーズはユーザの指示で開始される。

記録フェーズではユーザにより車両１が運転され、車載処理装置１２０は車両１が備えるセンサからの情報に基づき駐車場データ、すなわち駐車場に存在する白線や障害物の情報、および駐車位置の情報を収集する。車載処理装置１２０は、収集した情報を駐車場点群１２４Ａとして記憶部１２４に格納する。

自動駐車フェーズでは車載処理装置１２０により車両１が制御され、記憶部１２４に格納された駐車場点群１２４Ａ、および車両１が備えるセンサからの情報に基づき、あらかじめ定められた駐車位置に車両１が駐車される。車載処理装置１２０は、センサからの情報に基づき車両１の周囲に存在する白線や障害物を検出し、駐車場点群１２４Ａと照合することにより現在位置を推定する。すなわち車載処理装置１２０はＧＰＳ受信機１０７から得られる情報を用いることなく、駐車場座標系における車両１の現在位置を推定する。以下では記録フェーズと自動駐車フェーズを詳しく説明する。

（記録フェーズ）
ユーザは駐車場の入り口付近で記録開始ボタン１１０Ａを押し、車載処理装置１２０に記録フェーズの動作を開始させる。その後ユーザは自らの運転により車両１を駐車位置まで移動させ、停車後に記録完了ボタン１１０Ｂを押し、車載処理装置１２０に記録フェーズの動作を終了させる。

車載処理装置１２０は、ユーザにより記録開始ボタン１１０Ａが押されると記録フェーズの動作を開始し、ユーザにより記録完了ボタン１１０Ｂが押されると記録フェーズの動作を終了する。車載処理装置１２０による記録フェーズの動作は、環境条件の記録と、ランドマークを構成する点群の抽出と、抽出した点群の記録と、の３つに分けられる。

車載処理装置１２０による点群の抽出処理を説明する。車載処理装置１２０は、ユーザにより記録開始ボタン１１０Ａが押されると、ＲＡＭ１２２に一時的な記録領域を確保する。そして車載処理装置１２０は、記録完了ボタン１１０Ｂが押されるまで以下の処理を繰り返す。すなわち車載処理装置１２０は、カメラ１０２の撮影画像に基づきランドマークを構成する点群を抽出する。また車載処理装置１２０は、車速センサ１０８および舵角センサ１０９の出力に基づき、カメラ１０２が前回撮影してから今回撮影するまでに車両１が移動した移動量および移動方向を算出する。そして車載処理装置１２０は、車両１との位置関係、および車両１の移動量や移動方向に基づき抽出した点群をＲＡＭ１２２に記録する。車載処理装置１２０はこの処理を繰り返す。

車両１の位置、および点群の座標は、記録座標系の座標値として記録される。「記録座標系」は、たとえば記録を開始した際の車両１の位置を原点（０、０）とし、記録開始時の車両１の進行方向（姿勢）をＹ軸、記録開始時の車両１の右方向をＸ軸とした座標系の座標値として扱われる。そのため同一の駐車場において点群を記録しても、記録を開始した際の車両１の位置や姿勢により設定される記録座標系が異なるので、異なる座標にランドマークを構成する点群が記録される。なお記録座標系を第３座標系と呼ぶこともある。

ユーザは車両を目的の駐車位置に駐車させて記録完了ボタン１１０Ｂを操作する。車載処理装置１２０は、記録完了ボタン１１０Ｂが押されると現在位置を駐車位置としてＲＡＭ１２２に記録する。駐車位置はたとえば車両１を矩形に近似した際の四隅の座標として記録される。さらに車載処理装置１２０は、ＧＰＳ受信機１０７が出力する緯度経度を駐車場の座標としてあわせて記録する。次に車載処理装置１２０は以下のように点群の記録処理を行う。ただし記録開始ボタン１１０Ａが押された際にＧＰＳ受信機１０７が出力する緯度経度を駐車場の座標として記録してもよい。また車載処理装置１２０は、現在の環境条件を取得してＲＡＭ１２２に記録する。

車載処理装置１２０は、記録完了ボタン１１０Ｂの操作によりに記録した駐車場の座標、すなわち緯度経度が、すでに駐車場点群１２４Ａに記録されているいずれかの駐車場データと座標および環境条件が略一致するか否かを判断する。座標と環境条件の両者が略一致する駐車場データが存在しない場合は、車載処理装置１２０はＲＡＭ１２２に保存した点群の情報を、新たな駐車場データとして駐車場点群１２４Ａに記録する。両者が略一致する場合は、車載処理装置１２０は駐車場の座標が略一致する点群の情報を１つの駐車場の点群としてマージするか否かを判断する。この判断のために車載処理装置１２０はまず、駐車場データに含まれる駐車位置と、ＲＡＭに記録した駐車位置が一致するように座標変換を行い、次に駐車場点群１２４Ａの点群とＲＡＭ１２２に保存した点群との一致度である点群一致度を算出する。そして車載処理装置１２０は、算出された点群一致度が閾値よりも大きければ両者を統合すると判断し、閾値以下であれば統合しないと判断する。点群一致度の算出については後述する。

車載処理装置１２０は、統合しないと判断した場合はＲＡＭ１２２に保存した点群を新たな駐車場データとして駐車場点群１２４Ａに記録する。車載処理装置１２０は、統合すると判断した場合は、駐車場点群１２４Ａの既存の駐車場データにＲＡＭ１２２に保存した点群を追加する。

（記録フェーズのフローチャート）
図４は、車載処理装置１２０の記録フェーズの動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置１２０の演算部１２１である。演算部１２１は、図４に示す処理を行う場合に点群データ取得部１２１Ａとして機能する。

ステップＳ５０１では、記録開始ボタン１１０Ａが押されたか否かが判断される。記録開始ボタン１１０Ａが押されたと判断する場合はステップＳ５０１Ａに進み、押されていないと判断する場合はステップＳ５０１に留まる。ステップＳ５０１Ａでは、ＲＡＭ１２２に新たな記録領域を確保する。この記憶領域には、抽出した点群と車両１の現在位置が前述の記録座標系の座標で記録される。

ステップＳ５０２では、センサ群から情報を取得して前述のランドマーク測位、すなわちカメラ１０２の撮影画像を用いたランドマークを構成する点群の抽出を行う。続くステップＳ５０３では、カメラ１０２が前回撮影してから最新の撮影を行うまでの時間における車両１の移動量を推定し、ＲＡＭ１２２に記録した記録座標系における車両１の現在位置を更新する。車両１の移動量は複数の手段により推定可能であり、たとえば前述のようにカメラ１０２の撮影画像における路面に存在する被写体の位置の変化から車両１の移動量を推定できる。また、ＧＰＳ受信機１０７として誤差が小さい高精度なＧＰＳ受信機が搭載されている場合には、その出力を利用してもよい。次にステップＳ５０４に進む。

ステップＳ５０４では、ステップＳ５０２において抽出した点群を、ステップＳ５０３において更新した現在位置に基づき、記録座標系の座標としてＲＡＭ１２２に保存する。続くステップＳ５０５では、記録完了ボタン１１０Ｂが押されたか否かを判断し、記録完了ボタン１１０Ｂが押されたと判断する場合はステップＳ５０５Ａに進み、記録完了ボタン１１０Ｂが押されていないと判断する場合はステップＳ５０２に戻る。ステップＳ５０５Ａでは、ＧＰＳ受信機１０７から車両１の現在の緯度経度を取得するとともに、駐車位置、すなわち車両１の現在位置であって車両１の四隅の記録座標系における座標をＲＡＭ１２２に記録する。また現在環境取得部１２１Ｄが現在の環境条件を取得し、ＲＡＭ１２２に記録する。次にステップＳ５０６に進む。

ステップＳ５０６では、位置と環境条件が一致する駐車場データが駐車場点群１２４Ａに記録されているか否かを判断する。正確には、位置が一致するとは、ステップＳ５０５Ａにおいて取得した車両１の現在の緯度経度と、駐車場データの緯度経度とが略一致することである。緯度経度の略一致とは、たとえば１０メートルや１００メートル程度以内の差であり、駐車場の大きさに合わせて略一致とみなす範囲を変えてもよい。正確には、環境条件が一致するとは、ステップＳ５０５Ａにおいて取得した環境条件と、駐車場データに含まれる環境条件が略一致することである。環境条件の略一致とは、細かな数値の差異は許容するが同一に分類されることである。たとえば温度の閾値を０度と３０度とする場合に、５度の環境条件と１０度の環境条件は略一致と判断されるが、２度と－２度は略一致ではないと判断される。

Ｓ５０６を肯定判断する場合はＳ５０７に進み、Ｓ５０６を否定判断する場合はＳ５１０に進む。以下では、車両１の位置および環境条件が一致すると判断された駐車場点群１２４Ａの駐車場データをターゲット駐車場データと呼ぶ。

ステップＳ５０７では、駐車位置を基準として、ＲＡＭ１２２に保存した点群データの座標系である記録座標系をターゲット駐車場データの点群データの座標系に変換する。すなわち、ターゲット駐車場データに含まれる駐車位置と、ステップＳ５０５Ａにおいて記録した駐車位置が一致するように記録座標系と駐車場座標系の座標変換式を導出する。そしてこの座標変換式を用いて、ＲＡＭ１２２に記録座標系で保存されたランドマークを構成する点の座標をターゲット駐車場データの駐車場座標系に変換する。

続くステップＳ５０７Ａでは、ＲＡＭ１２２に保存された点群データとターゲット駐車場データの点群一致率ＩＢを算出する。点群一致率ＩＢは以下の式１により算出される。
ＩＢ＝ ２＊Ｄｉｎ／（Ｄ１＋Ｄ２） ・・・式１

ただし式１において「Ｄｉｎ」は、ステップＳ５０７において座標変換した点群データの各点と、ターゲット駐車場データの点群データの各点の距離が所定の距離以内の点の数である。また式１において「Ｄ１」はＲＡＭ１２２に保存された点群データにおける点の数、「Ｄ２」はターゲット駐車場データの点群データにおける点の数である。次にステップＳ５０８に進む。

ステップＳ５０８では、ステップＳ５０７Ａにおいて算出した点群一致率が所定の閾値よりも大きいか否かを判断する。閾値よりも大きいと判断する場合はステップＳ５０９に進み、閾値以下であると判断する場合はステップＳ５１０に進む。

ステップＳ５０９では、マージ処理、すなわち記憶部１２４に格納された駐車場点群１２４Ａのターゲット駐車場データに、ステップＳ５０７において座標変換した点群データを追加する。ステップＳ５０６またはステップＳ５０８において否定判断された場合に実行されるステップＳ５１０では、ＲＡＭ１２２に保存した点群データ、およびステップＳ５０５Ａにおいて記録した車両１の緯度経度、および駐車位置を新たな駐車場データとして駐車場点群１２４Ａに記録する。以上で図４のフローチャートを終了する。

（自動駐車フェーズ）
ユーザが車両１を運転して駐車場点群１２４Ａに記録されているいずれかの駐車場の付近まで移動させると、表示装置１１１に自動駐車可能な旨が表示される。この際にユーザが自動駐車ボタン１１０Ｃを押すと、車載処理装置１２０による自動駐車処理が開始される。車載処理装置１２０の動作をフローチャートを用いて以下説明する。

（自動駐車処理の全体フロー）
図５は、車載処理装置１２０の自動駐車フェーズの全体動作を表すフローチャートである。以下に説明する各ステップの実行主体は車載処理装置１２０の演算部１２１である。

車載処理装置１２０は、まずＧＰＳ受信機１０７を用いて現在の緯度経度を測位し（ステップＳ６０１）、その緯度経度が、駐車場点群１２４Ａのいずれかの駐車場データの緯度経度と略一致するか否かを判定する。換言すると車両１の位置から所定の距離以内に存在する駐車場の有無を判断する（ステップＳ６０２）。いずれかの駐車場データの緯度経度と車両１の緯度経度が略一致すると判断する場合はステップＳ６０３に進み、いずれの駐車場データの緯度経度とも略一致しないと判断する場合はステップＳ６０１に戻る。なおステップＳ６０１に戻る場合は、ユーザの運転により車両１が移動することによりステップＳ６０２において肯定判断される可能性がある。なおＳ６０２では環境条件は考慮しない。

そして車載処理装置１２０は、駐車場点群１２４Ａに含まれる複数の駐車場データのうち、車両１の現在位置と略一致する緯度経度を有する駐車場データを特定する（ステップＳ６０３）。なお同一の駐車場について異なる環境条件で駐車場データが記録されている場合には、Ｓ６０３では複数の駐車場データが特定される。

次に車載処理装置１２０はＳ６０３において、初期化処理としてＲＡＭ１２２に格納される局所周辺情報１２２Ｂの初期化、およびＲＡＭ１２２に保存される車両１の現在位置の初期化を行う。具体的には従前の情報が記録されていたら消去し、新たな座標系を設定する。本実施の形態では、この座標系を局所座標系と呼ぶ。この局所座標系はステップＳ６０３Ａが実行された際の車両１の位置および姿勢に基づき設定される。たとえばステップＳ６０３Ａが実行された際の車両１の位置が局所座標系の原点に設定され、ステップＳ６０３Ａが実行された際の向きによりＸ軸およびＹ軸が設定される。また車両１の現在位置の初期化は、車両１の現在位置が原点（０、０）に設定される。

次に、図６に示す手順により自己位置推定、すなわち車両１の駐車場座標系における位置を推定し（ステップＳ６０４）、ステップＳ６０５では自己位置が推定できたか否かを判断する。推定できたと判断する場合はステップＳ６０６に進み、推定できないと判断する場合はステップＳ６０４に戻る。

ステップＳ６０６では、車載処理装置１２０は表示装置１１１に自動駐車が可能な旨を表示し、続くステップＳ６０７ではユーザにより自動駐車ボタン１１０Ｃが押されたか否かを判断する。自動駐車ボタン１１０Ｃが押されたと判断する場合はステップＳ６０８に進んで図７に示す手順により自動駐車処理を実行し、自動駐車ボタン１１０Ｃが押されていないと判断する場合はステップＳ６０６に戻る。

図６を参照して図５のステップＳ６０４において実行される自己位置推定処理の詳細を説明する。演算部１２１は、図６のステップＳ６２１～Ｓ６２３に示す処理を行う場合に局所周辺情報作成部１２１Ｂとして機能する。

ステップＳ６２１のランドマーク測位、ステップＳ６２２の自車移動量推定、およびステップＳ６２３の局所周辺情報１２２Ｂの記録はそれぞれ、図４のステップＳ５０２～Ｓ５０４の処理と概ね同じである。相違点はＲＡＭ１２２に記憶されるデータが局所周辺情報１２２Ｂとして記録される点である。次に環境条件を取得し（Ｓ６２４）、その環境条件と一致する駐車場点群がターゲット駐車場として記録済であるか否かを判断し、記録済と判断する場合はＳ６２６に進み、記録されていないと判断する場合はＳ６３０に進む。換言すると、位置と環境条件の両方が略一致する駐車場点群が記録されている場合にはＳ６２６に進み、それ以外の場合はＳ６３０に進む。

Ｓ６２６では、環境条件が一致する駐車場点群の全ての特徴点を使用することに決定してＳ６２７に進む。Ｓ６２７では、車載処理装置１２０は図７に詳細を示すマッチング処理を行う。このマッチング処理では、駐車場座標系と局所座標系との対応関係、すなわち駐車場座標系と局所座標系との座標変換式が得られる。続くステップＳ６２８では車載処理装置１２０は、ステップＳ６２２において更新した局所座標系における車両１の座標と、ステップＳ６２７において得られた座標変換式を用いて、駐車場座標系における車両１の座標、すなわち自己位置を算出する。次にステップＳ６２９に進む。

ステップＳ６２９において車載処理装置１２０は、ステップＳ６２８において算出した位置の信頼性を判断する自己診断を実行する。自己診断は、たとえば以下の３つの指標を用いて判断される。第１の指標では、車速センサ１０８および舵角センサ１０９の出力を用いて公知のデッドレコニング技術によって推定した車両１の移動量と、自己位置推定によって推定された所定期間における移動量を比較し、あらかじめ定めた閾値よりも差が大きい場合は信頼度が低いと判断する。

第２の指標では、マッチング時に計算される対応点の誤差量で判断する。誤差量があらかじめ定めた閾値よりも大きい場合は信頼度が低いと判断する。第３の指標では、類似解があるか否かの判定を実施する。得られた解から駐車枠の幅分並進するなど、類似解を探索した場合に、対応点誤差が一定以内の点が同じくらいの数あった場合は、信頼度が低いと判断する。これら３つの指標のすべてで信頼度が低いと判断されなかった場合に自己位置が推定できたと判断する。

Ｓ６２５において否定判断されると実行されるＳ６３０では、不一致である環境条件を特定する。なお以下では不一致である環境条件を「不一致条件」と呼ぶこともある。たとえば駐車場点群１２４Ａに車両１の現在位置と略一致する駐車場データが１つだけ記録されていた場合に、その環境条件とＳ６２４で取得した環境条件と不一致である環境条件を特定する。続くＳ６３１では、環境対応表１２４Ｂを参照してセンサごとに不一致条件での使用可否を判断する。

たとえば記録されていた環境条件が天気が雨、時間帯が昼、気温が中であり、現在の環境条件が天気が晴、時間帯が昼、気温が中の場合には次のように使用可否が判断される。すなわち、不一致条件が天気と特定され、記録されている駐車場データの環境条件が雨なので、環境対応表１２４Ｂが図３に示す例の場合はカメラ１０２のみがバツ、すなわち精度が低下しているため使用不可となる。換言するとこの例では、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５は使用可能と判断される。

続くＳ６３２では、記録されている駐車場データからＳ６３１の使用可否判断に基づき使用可能な特徴点を抽出する。上述した例の場合には、取得センサの欄にソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５のいずれかが含まれている特徴点を使用可能として抽出する。なおこの例では、取得センサの欄にカメラ１０２が記載されていても、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５のいずれか少なくとも１つが併記されていれば、その特徴点は使用可能と判断される。

続くＳ６３３では、位置が略一致する駐車場データが複数存在した場合には、Ｓ６３２により抽出された使用可能な特徴点の数が最も多い駐車場データの特徴点を使用することに決定してＳ６２７に進む。なお位置が略一致する駐車場データが１つしか存在しない場合には、その駐車場データの特徴点のうちＳ６３２において抽出された特徴点を使用する。

図７を参照して図６のステップＳ６２７において実行されるマッチング処理の詳細を説明する。演算部１２１は、図７に示す処理を行う場合に位置推定部１２１Ｃとして機能する。

ステップＳ６４１ではＲＡＭ１２２に格納されたアウトライアリスト１２２Ａを局所周辺情報１２２Ｂに対して適用し、局所周辺情報１２２Ｂに含まれる点群のうちアウトライアリスト１２２Ａに記載された点を一時的に処理対象外とする。この適用範囲はステップＳ６４２～Ｓ６５３であり、ステップＳ６５４では従前にアウトライアリスト１２２Ａに含まれていた点も対象となる。ただし図７に示すフローチャートの初回実行時にはステップＳ６４１～Ｓ６４３が実行できないため、ステップＳ６５０から実行を開始する。次にステップＳ６４１Ａに進む。

ステップＳ６４１Ａでは、最新の撮影画像から検出した点群、すなわち図６のステップＳ６２１において検出したランドマークを構成する点群の座標を、駐車場座標系の座標に変換する。この変換は、ステップＳ６２２において更新された車両１の局所座標系における位置、および前回算出した局所座標系から駐車場座標系への座標変換式を用いることにより実現される。

続くステップＳ６４２では瞬間一致度ＩＣが算出される。瞬間一致度ＩＣは、以下の式２により算出される。
ＩＣ＝ ＤＩｉｎ／ＤＩａｌｌ ・・・式２
ただし式２において「ＤＩｉｎ」は、ステップＳ６４１Ａにおいて駐車場座標系に変換された最新のセンサ出力から検出された点群のうち、最も近い駐車場点群１２４Ａを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式２において「ＤＩａｌｌ」は、ステップＳ６２１において検出された点群の数である。次にステップＳ６４３に進む。

ステップＳ６４３では、ステップＳ６４２において算出した瞬間一致度ＩＣが閾値よりも大きいか否かを判断する。瞬間一致度ＩＣが閾値よりも大きいと判断する場合はステップＳ６５０に進み、瞬間一致度ＩＣが閾値以下であると判断する場合はステップＳ６４４に進む。

ステップＳ６４４では、駐車場点群１２４Ａの対象となる駐車場データ、すなわち点群データから周期的な特徴、たとえば複数並んだ駐車枠を検出する。前述のように、駐車場点群に含まれる点群は画像のエッジなどを抽出して得られるので、白線の太さに相当する間隔で並ぶ点から駐車枠線を検出できる。続くステップＳ６４５では、ステップＳ６４４において周期的特徴を検出したか否かを判断し、検出したと判断する場合はステップＳ６４６に進み、検出できなかったと判断する場合はステップＳ６５０に進む。ステップＳ６４６では周期的な特徴の周期、たとえば駐車枠の幅を算出する。ここでいう駐車枠の幅とは、駐車枠を構成する白線同士の間隔である。次にステップＳ６４７に進む。

ステップＳ６４７では、前回のステップＳ６５３において算出された座標変換式を基準として、この座標変換式を複数とおりに変化させて全体一致度ＩＷをそれぞれ算出する。座標変換式は、駐車場点群が検出した周期的特徴の整数倍ずれるように複数とおりに変化させる。全体一致度ＩＷは、以下の式３により算出される。
ＩＷ＝ ＤＷｉｎ／ＤＷａｌｌ ・・・式３

ただし式３において「ＤＷｉｎ」は、前述の座標変換式を用いて局所周辺情報１２２Ｂを構成する点を駐車場座標系に変換した点のうち、最も近い駐車場点群１２４Ａを構成する点までの距離があらかじめ定めた閾値以下の点の数である。また式３において「ＤＷａｌｌ」は、ステップＳ６２１において検出された点の数である。次にステップＳ６４８に進む。

ステップＳ６４８では、ステップＳ６４７において算出した複数の全体一致度ＩＷのうち、最大の全体一致度ＩＷを与える座標変換式をＲＡＭ１２２に記憶してステップＳ６５０に進む。

ステップＳ６５０における対応付け処理、ステップＳ６５１における誤差最小化処理、およびステップＳ６２５における収束判定処理は既知の点群マッチング技術であるＩＣＰ（Iterative Closest Point）アルゴリズムを利用することができる。ただしステップＳ６５０における初期値の設定は本実施の形態に特有なので詳しく説明し、他は概略のみ説明する。

ステップＳ６４３において肯定判定された場合、ステップＳ６４５において否定判定された場合、ステップＳ６４８の実行が終わった場合、またはステップＳ６５２において否定判定された場合に実行されるステップＳ６５０では、駐車場点群１２４Ａの駐車場データに含まれる点群と局所周辺情報１２２Ｂに含まれる点群との対応付けが算出される。ステップＳ６４３またはステップＳ６４８の次に実行される場合は、局所周辺情報１２２Ｂの点群データはＲＡＭ１２２に記録された座標変換式を用いて座標変換された値を用いる。すなわち、ステップＳ６４３において肯定判定されてステップＳ６５０が実行される場合には、前回実行されたステップＳ６５３において算出された座標変換式が使用される。一方、ステップＳ６４８の次にステップＳ６５０が実行される場合は、ステップＳ６４８において記憶された座標変換式が使用される。次にステップＳ６５１に進む。

ステップＳ６５１では、対応点の誤差が最小となるように座標変換式が変更される。たとえば、ステップＳ６５０において対応付けられた点同士の距離の指標の和が最小となるように座標変換式が変更される。対応付けられた点同士の距離の指標の和として距離の絶対値の和を採用することができる。続くステップＳ６５２では、誤差が収束したか否かを判断し、収束したと判断する場合はステップＳ６５３に進み、収束していないと判断する場合はステップＳ６５０に戻る。続くステップＳ６５３では、最後にステップＳ６５１において変更された座標変換式をＲＡＭ１２２に保存してステップＳ６５４に進む。

ステップＳ６５４では、次のようにアウトライアリスト１２２Ａを更新する。まずＲＡＭ１２２に格納されている既存のアウトライアリスト１２２Ａをクリアする。次に局所周辺情報１２２Ｂの点群をステップ６５３において記録した座標変換式を用いて駐車場座標系に変換し、局所周辺情報１２２Ｂを構成するそれぞれの点とその点が対応する駐車場点群１２４Ａを構成する点までの距離、すなわちユークリッド距離を算出する。そして、算出された距離があらかじめ定められた距離よりも長い場合は、その局所周辺情報１２２Ｂの点をアウトライアリスト１２２Ａに加える。ただしこのときに、空間的に端部に位置することをアウトライアリスト１２２Ａに加えるさらなる条件としてもよい。空間的な端部とは、記録を開始した際に取得された点など、他の点までの距離が遠い点である。以上の処理によりアウトライアリスト１２２Ａが更新される。以上で図７のフローチャートを終了する。

図８を参照して図５のステップＳ６０８において実行される自動駐車処理の詳細を説明する。以下に説明する各ステップの実行主体は車載処理装置１２０である。ステップＳ６６１では、駐車場座標系における車両１の位置を推定する。本ステップにおける処理は図５のステップＳ６０４と同様なので説明を省略する。続くステップＳ６６２では、ステップＳ６６１において推定した位置から、駐車場点群１２４Ａに格納されている駐車位置までの走行経路を既知の経路生成手法により生成する。次にステップＳ６６３に進む。

ステップＳ６６３では、車両制御装置１３０を介して操舵装置１３１、駆動装置１３２、および制動装置１３３を制御し、ステップＳ６６２において生成した経路に沿って車両１を駐車位置まで移動させる。ただし自動駐車ボタン１１０Ｃがユーザにより押され続けている場合だけ駆動装置１３２に動作指令を出力してもよい。また、カメラ１０２の撮影画像から人物や移動車両などが抽出されたら制動装置１３３を動作させて車両１を停止させる。続くステップＳ６６４ではステップＳ６６１と同様に車両１の位置を推定する。続くステップＳ６６５では駐車が完了したか否か、すなわち車両１が駐車位置に到達したか否かを判断し、駐車が完了していないと判断する場合はステップＳ６６３に戻り、駐車が完了したと判断する場合は図８のフローチャートを終了する。

（動作例）
図９～図１４を参照して、記録フェーズ、および自動駐車フェーズの具体的な動作を説明する。図９（ａ）は、駐車場９０１の一例を示す平面図である。駐車場９０１は建物９０２の周囲に設けられる。駐車場９０１の出入り口は図示左下が１か所だけある。図９（ａ）に示す四角は路面ペイントである駐車枠を表しており、ハッチングで示す駐車枠９０３が車両１の駐車領域（駐車が完了した際に駐車位置となる領域）である。本動作例では、ランドマークは駐車枠線のみとして説明する。本動作例では図９（ａ）に示すように車両１を三角形で示し、三角形の鋭角が車両１の進行方向を示す。

（動作例｜記録フェーズ その１）
ユーザが駐車場９０１の入り口付近で記録開始ボタン１１０Ａを押すと、車載処理装置１２０はランドマーク測位を開始し、駐車枠線を構成する点の座標を記録する（図４のステップＳ５０１：ＹＥＳ、Ｓ５０２～Ｓ５０４）。そして車両１記録完了ボタン１１０Ｂが押されるまで、図４のステップＳ５０２～Ｓ５０４の処理を繰り返す。

図９（ｂ）は、ＲＡＭ１２２に保存されるランドマークの点群を可視化した図である。図９（ｂ）において、実線はＲＡＭ１２２に保存されたランドマークの点群を表し、破線はＲＡＭ１２２に保存されていないランドマークを示す。車両１のカメラ１０２は撮影可能な範囲に限界があるため、図９（ｂ）に示すように車両１が駐車場９０１の入り口付近にいる際は駐車場９０１の入り口付近の駐車枠線だけが記録される。ユーザが車両１を駐車場９０１の奥まで移動させると、車載処理装置１２０は駐車場９０１の全体のランドマークの点群を記録することができる。

ユーザが車両１を駐車枠９０３の中に停車させて記録完了ボタン１１０Ｂを押すと、車載処理装置１２０はＧＰＳ受信機１０７から車両１の緯度経度を取得するとともに、車両１の四隅の座標を記録する（ステップＳ５０５：ＹＥＳ、Ｓ５０５Ａ）。また環境条件を取得して記録する。駐車場点群１２４Ａに車両１の現在の緯度経度、および現在の環境条件と略一致する駐車場データが記録されていない場合は（Ｓ５０６：ＮＯ）、ＲＡＭ１２２に保存した点群を駐車場点群１２４Ａを構成する新たなデータ、すなわち新たな駐車場データとして記録する。

（動作例｜記録フェーズ その２）
別な例として、図１０（ａ）に示す点群データが駐車場点群１２４Ａの駐車場データとして記録されており、新たに図１０（ｂ）に示す点群データが得られた場合を説明する。図１０（ａ）に示す点群データは、たとえば図９（ａ）に示した駐車場９０１の入り口から右寄りを走行して駐車位置まで到達した場合に得られた点群データである。図９（ａ）に比べて右寄りを走行したので、図１０（ａ）に点線で示した駐車枠の点群データが取得されていない。

図１０（ｂ）に示す点群データは、たとえば駐車場９０１の入り口から左寄りを走行して駐車位置まで到達した場合に得られた点群データである。図９（ａ）に比べて左寄りを走行したので、図１０（ｂ）に点線で示した駐車枠の点群データが取得されていない。また図１０（ｂ）に示す点群データは、ユーザが記録開始ボタン１１０Ａを押した際に車両１が駐車場９０１と正対していなかったので、図１０（ａ）に比べて駐車場９０１が傾いているように記録されている。

このような状態においてユーザが記録完了ボタン１１０Ｂを押したとき、駐車場点群１２４Ａに車両１の現在の緯度経度、および現在の環境条件と略一致する駐車場データが記録されていると判断されると（Ｓ５０６：ＹＥＳ）、図１０（ａ）と図１０（ｂ）の駐車位置、すなわち駐車枠９０３を基準に座標変換が行われる（ステップＳ５０７）。そして点群一致率ＩＢを算出し（ステップＳ５０７Ａ）、その点群一致率ＩＢが所定の閾値よりも大きいと判断されると（ステップＳ５０８：ＹＥＳ）、図１０（ａ）に示す点群データに図１０（ｂ）に示す点群データが統合される（ステップＳ５０９）。この統合により、図１０（ａ）では記録されていなかった図示左側の駐車枠線の点群が新たに記録されるとともに、すでに記録されていた図示右側や図示上部の駐車枠線を構成する点群は記録される点群の密度が濃くなる。

（動作例｜実行フェーズ その１）
実行フェーズにおける第１の動作例として、マッチング処理の動作例を説明する。この動作例では、あらかじめ駐車場点群１２４Ａには図９（ａ）に示した駐車場９０１の全体に相当する点群データが格納されている。また両者の環境条件は同一とする。

図１１は、図９（ａ）に示す駐車場９０１における車両１の現在位置を示す図である。車両１は図示上方を向いている。図１２～図１３では、車両１の前方領域である図１１において破線の丸で囲む部分の駐車枠線を示す。

図１２は、車両１が図１１に示した位置において撮影した画像から抽出された点群を、駐車場座標に変換したデータを示す図である。すなわち、図１２に示す点群は局所周辺情報１２２Ｂのうち、最新の撮影画像から検出された点群であり図７のステップＳ６４１Ａにおいて処理されたデータである。ただし図１２では点ではなく破線として表している。また図１２では図１１との対比のために車両１もあわせて表示している。図１２に示すように、車両１の左側には駐車枠線の点群データが切れ目なく存在しており、車両１の右側では駐車枠線の点群データが手前側にのみ存在する。

図１３は、車両１の駐車場座標系における位置の推定が誤差を含んでいた場合における、駐車場点群１２４Ａと図１２に示した局所周辺情報１２２Ｂとの対比を示す図である。図１３では、従前の位置推定がおおよそ駐車枠の幅の１つ分ずれていたため、車両１の右側に存在する局所周辺情報１２２Ｂは、駐車場点群１２４Ａとずれが生じている。このような状態で瞬間一致度ＩＣが算出されると（図７のステップＳ６４２）、車両１の右側の前述のずれにより瞬間一致度ＩＣは低い値となる。この値が閾値よりも低いと判断されると（ステップＳ６４３：ＮＯ）、駐車枠を周期的な特徴として検出し（ステップＳ６４４、Ｓ６４５：ＹＥＳ）、駐車場点群１２４Ａから駐車枠の幅が算出され（ステップＳ６４６）、駐車枠の幅の整数倍移動させて全体一致度ＩＷが算出される（ステップＳ６４７）。

図１４（ａ）～（ｃ）は、図１２に示した局所周辺情報１２２Ｂを駐車枠の幅の整数倍移動させた場合の駐車場点群１２４Ａとの関係を示す図である。図１４（ａ）～（ｃ）ではそれぞれ、図１２に示した局所周辺情報１２２Ｂは駐車枠の幅の、＋１倍、０倍、―１倍だけ図示上方に移動している。図１４（ａ）では局所周辺情報１２２Ｂが図示上側に駐車枠の幅の１つ分移動しており、局所周辺情報１２２Ｂと駐車場点群１２４Ａとのずれが拡大している。そのため図１４（ａ）における全体一致度ＩＷは、移動させない場合よりも小さくなる。図１４（ｂ）では局所周辺情報１２２Ｂは移動しておらず、図１３でみたように局所周辺情報１２２Ｂと駐車場点群１２４Ａは駐車枠の幅の１つ分ずれている。図１４（ｃ）では局所周辺情報１２２Ｂが図示下側に駐車枠の幅の１つ分移動しており、局所周辺情報１２２Ｂは駐車場点群１２４Ａと略一致している。そのため図１４（ｃ）における全体一致度ＩＷは、移動させない場合よりも大きくなる。

局所周辺情報１２２Ｂの移動量と全体一致度ＩＷの増減は上述する関係にあるので、図１４に示す例では図１４（ｃ）に対応する全体一致度ＩＷが最大と判断され、この移動に対応する座標変換式がＲＡＭ１２２に記憶される（ステップＳ６４８）。このようにして車載処理装置１２０は推定する位置精度を向上させる。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）車載処理装置１２０は、車両の周囲の情報を取得するカメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５の出力に基づき作成され、カメラ１０２などの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の駐車場座標系における座標が複数含まれる点群データ（駐車場点群１２４Ａ）が格納される記憶部１２４と、車両１の周囲の情報を取得するカメラ１０２、ソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５の出力を取得するセンサ入力部として機能するインタフェース１２５と、環境条件を取得する現在環境取得部１２１Ｄと、車両１の移動に関する情報を取得する移動情報取得部として機能するインタフェース１２５と、センサ入力部、および移動情報取得部が取得する情報に基づき、局所座標系における車両の位置および物体の一部を表す点の局所座標系における座標が複数含まれる局所周辺情報１２２Ｂを生成する局所周辺情報作成部１２１Ｂとを備える。車載処理装置１２０はさらに、駐車場データ、局所周辺情報１２２Ｂ、駐車場データに含まれる環境条件、および現在環境取得部１２１Ｄが取得する環境条件に基づき駐車場座標系と局所座標系の関係を推定し、駐車場座標系における車両１の位置を推定する位置推定部１２１Ｃとを備える。

車載処理装置１２０は、駐車場点群１２４Ａと局所周辺情報１２２Ｂとに基づき駐車場座標系と局所座標系の座標変換式を推定し、駐車場座標系における車両１の位置を推定する。駐車場点群１２４Ａはあらかじめ記憶部１２４に記憶された情報であり、局所周辺情報１２２Ｂはカメラ１０２、車速センサ１０８、および舵角センサ１０９の出力から生成される。すなわち車載処理装置１２０は、記録された点群の座標系とは異なる座標系の点群の情報を取得し、異なる座標系間の対応関係に基づいて、記録された座標系における車両１の位置を推定することができる。また車載処理装置１２０は、駐車場点群１２４Ａと局所周辺情報１２２Ｂとに基づき駐車場座標系と局所座標系の座標変換式を推定するので、局所周辺情報１２２Ｂの点群データの一部にノイズが含まれていても影響を受けにくい。すなわち、車載処理装置１２０による車両１の位置推定は外乱に強い。さらにセンサの精度に影響を及ぼす環境条件も考慮して駐車場座標系における車両１の位置を推定することができる。

（２）環境条件は、天気、時間帯、および気温の少なくとも１つを含む。雨や雪の天気では細かなノイズとなりカメラ１０２に悪影響を及ぼすので天気を考慮することが有用である。また雪の天気は気温が低いことを間接的に示すので、低温環境では精度が低下するソナー１０３を用いる場合には考慮することが有用である。また時間帯によって周囲の明るさが大きく変化するため、カメラ１０２を用いる場合には考慮することが有用である。

（３）点群データには、座標ごとに当該座標の作成に用いたセンサの種類が記録される。位置推定部１２１Ｃは、点群データに含まれる環境条件と現在環境取得部１２１Ｄが取得する環境条件とが一致すると判断すると、点群データに含まれる全ての座標を用いて駐車場座標系と局所座標系の関係を推定する。また位置推定部１２１Ｃは、点群データに含まれる環境条件と現在環境取得部が取得する環境条件とが一致しないと判断すると、点群データに含まれる環境条件とセンサの種類に基づき、駐車場座標系と局所座標系の関係を推定するために使用する駐車場座標系の座標を選択する。

前述のようにセンサの出力は環境条件の影響を受け、特定の条件では誤差を含み精度が低下する。すなわちセンサの精度が低下する環境条件で作成した点群は、駐車場の形状を忠実に表した点群とは一致しない可能性がある。しかしこれは本実施の形態では問題とならない。なぜならば、記録時と同様に誤差が生じることが見込まれるのであれば、両者を比較することで位置推定ができるからである。そのため、環境条件が一致する場合には記録されている全ての点群データを用いて位置推定を行う。その一方で環境条件が異なる場合には、センサの出力に含まれる誤差が異なるので両者が合致する可能性は低く、むしろ位置推定を妨げる恐れがある。そのため記録された駐車場データの特徴点から使用可能な特徴点を選択する。

（４）位置推定部１２１Ｃは、点群データに含まれる環境条件と現在環境取得部が取得する環境条件とが一致しないと判断すると、環境対応表１２４Ｂを参照して点群データに含まれる環境条件において精度が高い種類のセンサの出力に基づき作成された座標を選定する。そのため過去に記録された精度が低いセンサの出力を用いて誤った位置推定が行われることを防止できる。

上述した第１の実施の形態は、以下のように変形してもよい。
（１）自動駐車システム１００に含まれるセンサは、同一種類が複数存在してもよい。たとえばカメラ１０２が複数存在して異なる方向を撮影してもよい。また自動駐車システム１００に含まれるセンサは少なくとも２種類あればよい。

（２）車載処理装置１２０は、車速センサ１０８および舵角センサ１０９からセンシング結果を受信しなくてもよい。この場合は車載処理装置１２０は、カメラ１０２の撮影画像を用いて車両１の移動を推定する。車載処理装置１２０は、ＲＯＭ１２３に格納された内部パラメータおよび外部パラメータを用いて、被写体とカメラ１０２との位置関係を算出する。そして複数の撮影画像においてその被写体を追跡することにより、車両１の移動量および移動方向を推定する。

（３）駐車場点群１２４Ａや局所周辺情報１２２Ｂなどの点群情報は３次元情報として格納されてもよい。３次元の点群情報は、２次元平面上に投影することにより第１の実施の形態と同様に２次元で他の点群と比較してもよいし、３次元同士で比較してもよい。この場合は車載処理装置１２０は、以下のようにランドマークの三次元点群を得ることができる。すなわち、車速センサ１０８および舵角センサ１０９の出力に基づき算出した車両１の移動量と、カメラ１０２が出力する複数の撮影画像とを用いて、公知のモーションステレオ技術や、そのモーション推定部分を内界センサや測位センサで補正した情報を用いることで、静止立体物の３次元点群を得ることができる。

（４）車載処理装置１２０は、図７のステップＳ６４３において、１回だけの否定判定によりステップＳ６４４に進むのではなく、数回連続で否定判定された場合にステップＳ６４４に進んでもよい。

（５）車載処理装置１２０は、図７のステップＳ６４３の判断に代えて、局所周辺情報１２２Ｂにおけるアウトライアと判断されている点の割合があらかじめ定めた閾値よりも大きいか否かを判断してもよい。その割合が閾値よりも大きい場合はステップＳ６４４に進み、その割合が閾値以下の場合はステップＳ６５０に進む。さらに車載処理装置１２０は、図７のステップＳ６４３の判断に加えて前述の割合が大きい場合のみステップＳ６４４に進んでもよい。

（６）車載処理装置１２０は、図７のステップＳ６４４、Ｓ６４６の処理をあらかじめ行ってもよい。さらにその処理結果を記憶部１２４に記録してもよい。

（７）車載処理装置１２０は、ユーザからの動作指令を車両１の内部に設けられた入力装置１１０からだけでなく、通信装置１１４から受信してもよい。たとえばユーザの所持する携帯端末と通信装置１１４が通信を行い、ユーザが携帯端末を操作することにより、車載処理装置１２０は自動駐車ボタン１１０Ｃが押された場合と同様の動作を行ってもよい。この場合は、車載処理装置１２０はユーザが車両１の内部に居る場合だけでなく、ユーザが降車した後にも自動駐車を行うことができる。

（８）車載処理装置１２０は、駐車場点群１２４Ａに記録された駐車位置だけでなく、ユーザにより指定された位置に駐車を行ってもよい。ユーザによる駐車位置の指定は、たとえば車載処理装置１２０が表示装置１１１に駐車位置の候補を表示し、ユーザが入力装置１１０によりそのいずれかを選択することにより行われる。

（９）車載処理装置１２０は、通信装置１１４を経由して外部から駐車場点群１２４Ａを受信してもよいし、作成した駐車場点群１２４Ａを通信装置１１４を経由して外部に送信してもよい。また、車載処理装置１２０が駐車場点群１２４Ａを送受信する相手は他の車両に搭載された別の車載処理装置１２０でもよいし、駐車場を管理する組織が管理する装置でもよい。

（１０）自動駐車システム１００は、ＧＰＳ受信機１０７に代えて携帯端末を備え、携帯端末が通信を行う基地局の識別情報を緯度経度の代わりに記録してもよい。基地局の通信範囲は数百ｍ程度に限られるので、通信を行う基地局が同一であれば同一の駐車場の可能性が高いからである。

（１１）駐車場データに含まれる周期的な特徴は駐車枠に限定されない。たとえば路面ペイントの１つである横断歩道を構成する複数の直線なども周期的な特徴である。また、駐車場データがレーザレーダなどで取得した、壁などの障害物の情報から構成される場合は、規則的に並んだ柱も周期的な特徴である。

（１２）上述した実施の形態では移動体である車両や人間はランドマークに含めなかったが、移動体をランドマークに含めてもよい。その場合は移動体であるランドマークと移動体以外のランドマークを識別可能に記憶してもよい。

（１３）車載処理装置１２０は、記録フェーズにおいて、検出したランドマークを識別し、それぞれのランドマークの識別結果を駐車場点群１２４Ａに併せて記録してもよい。ランドマークの識別には、撮影画像から得られるランドマークの形状情報や色情報、さらに公知のモーションステレオ技術によるランドマークの立体形状情報が用いられる。ランドマークはたとえば、駐車枠、駐車枠以外の路面ペイント、縁石、ガードレール、壁、などのように識別される。さらに車載処理装置１２０は、移動体である車両や人間をランドマークに含め、他のランドマークと同様に識別結果を駐車場点群１２４Ａに併せて記録してもよい。この場合は車両と人間をあわせて「移動体」として識別および記録してもよいし、車両と人間を個別に識別および記録してもよい。

（第２の実施の形態）
図１５～図１６を参照して、本発明にかかる車載処理装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、センサの種類だけでなくセンサ出力の処理方法も環境対応表１２４Ｂに含める点で第１の実施の形態と異なる。

（構成）
本実施の形態ではカメラ１０２が複数搭載され、それらは異なる方向を撮影する。それらの出力を組み合わせることで、車両１の全周囲を撮影した画像を作成できる。本実施の形態では、便宜的にこれを「全周カメラ」による撮影画像と呼ぶ。また車両１の前方を撮影するカメラ１０２を「前方カメラ」と呼ぶ。演算部１２１は、全周カメラの撮影画像を用いて、既知の手法により枠検知、静止立体物検知、およびレーン検知を行う。また演算部１２１は前方カメラの撮影画像を用いて、看板検知、路面検知、およびレーン検知を行う。

枠検知とは、駐車枠など路面に描画された閉領域を検知する機能である。静止立体物検知とは、静止している立体物を検知する機能である。レーン検知とは、白線や鋲によって規定される走行レーンを検知する機能である。看板検知とは、交通標識を検知する機能である。路面検知とは、車両１の走行路面を検知する機能である。ただしここに挙げたセンサ出力の処理方法は一例であり、演算部１２１はセンサ出力を用いるどのような処理を行ってもよい。

図１５は、第２の実施の形態における駐車場点群１２４Ａの一例を示す図である。第２の実施の形態では、駐車場点群１２４Ａにはランドマークの特徴点を取得した処理方法があわせて記載される。図１５に示すように、第１の実施の形態に比べて右から２列目に「処理」の列が追加され、処理方法が記載される。

図１６は、第２の実施の形態における環境対応表１２４Ｂの一例を示す図である。環境対応表１２４Ｂには、センサ出力の処理方法ごとに環境条件との精度の関係が記載される。たとえば静止立体物検知は他の手法に比べて比較的ノイズに強いため、雨や雪の環境条件でも精度が確保でき、図１６に示す例では雨や雪でも丸が記載される。

（動作）
第２の実施の形態では、自己位置推定を行う際に、センサ出力の処理方法も考慮して使用する特徴点を決定する。具体的には、図６のＳ６３１においてセンサごと、およびセンサ出力の処理方法ごとに不一致条件での使用可否を判断する。その他の処理は第１の実施の形態と同様である。

上述した第２の実施の形態によれば、第１の実施の形態の作用効果に加えて次の効果が得られる。すなわち、センサの出力だけでなくその出力の処理方法も環境条件の影響を受け、特定の条件では誤差を含み精度が低下する。しかし記録時と同様に誤差が生じることが見込まれるのであれば、両者を比較することで位置推定ができる。そのため、環境条件が一致する場合には記録されている全ての点群データを用いて位置推定を行う。その一方で環境条件が異なる場合には、センサの出力の処理方法に起因する誤差が異なるので両者が合致する可能性は低く、むしろ位置推定を妨げる恐れがある。そのため記録された駐車場データの特徴点から精度が高い処理方法によって作成された座標を選定することで、誤った位置推定が行われることを防止できる。

（第２の実施の形態の変形例）
上述した第２の実施の形態では、環境対応表１２４Ｂにはカメラ１０２の出力の処理方法のみが含まれたが、他のセンサ、すなわちソナー１０３、レーダ１０４、およびＬｉＤＡＲ１０５の処理方法が含まれてもよい。また複数のセンサの出力を組み合わせた処理方法が環境対応表１２４Ｂに含まれてもよい。

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１ … 車両
１００ … 自動駐車システム
１０２ … カメラ
１０３ … ソナー
１０４ … レーダ
１０５ … ＬｉＤＡＲ
１０７ … ＧＰＳ受信機
１０８ … 車速センサ
１０９ … 舵角センサ
１２０ … 車載処理装置
１２１ … 演算部
１２１Ａ … 点群データ取得部
１２１Ｂ … 局所周辺情報作成部
１２１Ｃ … 位置推定部
１２１Ｄ … 現在環境取得部
１２２Ａ … アウトライアリスト
１２２Ｂ … 局所周辺情報
１２４ … 記憶部
１２４Ａ … 駐車場点群
１２４Ｂ … 環境対応表
１２５ … インタフェース
１３０ … 車両制御装置

Claims (5)

1. 車両の周囲の情報を取得するセンサの出力に基づき作成され、前記センサの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の第１座標系における座標が複数含まれる点群データが格納される記憶部と、
   前記センサの出力を取得するセンサ入力部と、
   前記環境条件を取得する現在環境取得部と、
   前記車両の移動に関する情報を取得する移動情報取得部と、
   前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第２座標系における前記車両の位置および物体の一部を表す点の前記第２座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、
   前記点群データ、前記局所周辺情報、前記点群データに含まれる前記環境条件、および前記現在環境取得部が取得する前記環境条件に基づき前記第１座標系と前記第２座標系の関係を推定し、前記第１座標系における前記車両の位置を推定する位置推定部とを備え、
   前記点群データには、座標ごとに当該座標の作成に用いた前記センサの種類が記録され、
   前記位置推定部は、
   前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致すると判断すると、前記点群データに含まれる全ての前記座標を用いて前記第１座標系と前記第２座標系の関係を推定し、
   前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件と前記センサの種類に基づき、前記第１座標系と前記第２座標系の関係を推定するために使用する前記第１座標系の前記座標を選択する車載処理装置。
2. 請求項１に記載の車載処理装置において、
   前記位置推定部は、前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件において精度が高い種類の前記センサの出力に基づき作成された前記座標を選定する車載処理装置。
3. 車両の周囲の情報を取得するセンサの出力に基づき作成され、前記センサの出力が得られた際の周囲環境の条件である環境条件を含み、物体の一部を表す点の第１座標系における座標が複数含まれる点群データが格納される記憶部と、
   前記センサの出力を取得するセンサ入力部と、
   前記環境条件を取得する現在環境取得部と、
   前記車両の移動に関する情報を取得する移動情報取得部と、
   前記センサ入力部、および前記移動情報取得部が取得する情報に基づき、第２座標系における前記車両の位置および物体の一部を表す点の前記第２座標系における座標が複数含まれる局所周辺情報を生成する局所周辺情報作成部と、
   前記点群データ、前記局所周辺情報、前記点群データに含まれる前記環境条件、および前記現在環境取得部が取得する前記環境条件に基づき前記第１座標系と前記第２座標系の関係を推定し、前記第１座標系における前記車両の位置を推定する位置推定部とを備え、
   前記点群データには、座標ごとに当該座標の作成に用いた前記センサの出力の処理方法が記録され、
   前記位置推定部は、
   前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致すると判断すると、前記点群データに含まれる全ての前記座標を用いて前記第１座標系と前記第２座標系の関係を推定し、
   前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件と前記センサの出力の処理方法に基づき、前記第１座標系と前記第２座標系の関係を推定するために使用する前記第１座標系の前記座標を選択する車載処理装置。
4. 請求項３に記載の車載処理装置において、
   前記位置推定部は、前記点群データに含まれる前記環境条件と前記現在環境取得部が取得する前記環境条件とが一致しないと判断すると、前記点群データに含まれる前記環境条件において精度が高い処理方法に基づき作成された前記座標を選定する車載処理装置。
5. 請求項１又は３に記載の車載処理装置において、
   前記環境条件は、天気、時間帯、および気温の少なくとも１つを含む車載処理装置。
   

Images