[go: up one dir, main page]

JP7342753B2 - 車両用位置特定装置及び車両用位置特定方法 - Google Patents

車両用位置特定装置及び車両用位置特定方法 Download PDF

Info

Publication number
JP7342753B2
JP7342753B2 JP2020048244A JP2020048244A JP7342753B2 JP 7342753 B2 JP7342753 B2 JP 7342753B2 JP 2020048244 A JP2020048244 A JP 2020048244A JP 2020048244 A JP2020048244 A JP 2020048244A JP 7342753 B2 JP7342753 B2 JP 7342753B2
Authority
JP
Japan
Prior art keywords
landmark
vehicle
position information
lmk
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020048244A
Other languages
English (en)
Other versions
JP2021148581A (ja
Inventor
宏祐 北浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2020048244A priority Critical patent/JP7342753B2/ja
Priority to US17/199,942 priority patent/US11802770B2/en
Publication of JP2021148581A publication Critical patent/JP2021148581A/ja
Application granted granted Critical
Publication of JP7342753B2 publication Critical patent/JP7342753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、車両用位置特定装置及び車両用位置特定方法に関するものである。
自動車等の車両において自動運転等の走行制御を行うために、より高精度に車両の位置を特定することが求められている。より高精度な車両の位置特定を行う技術として、車両の周辺を監視する自律センサである周辺監視センサでのセンシング結果を用いた走行環境の認識結果と高精度地図とを照合(つまり、マッチング)させることで車両の位置特定を行う技術が知られている。
しかしながら、詳細な高精度地図は整備コストが膨大であって、一般道等への適用が困難である。これに対して、地図に含むデータの種類を減らすことで、過度のデータ記憶又はデータ転送率を必要としないようにする技術が知られている。例えば、特許文献1には、道路と、道路に沿った存在する可能性のある陸標(つまり、ランドマーク)とに関連するデータを含む疎な地図を用いる技術が開示されている。特許文献1では、車両に搭載されたカメラの撮像画像から検出した陸標と疎な地図内に記憶された既知の陸標とを比較することで、車両の位置特定を行う技術が開示されている。
特表2018-510373号公報
カメラの撮像画像から自車に対する対象物の位置を特定する場合、角度方向の精度は高くなるが、距離精度は低くなる。よって、特許文献1に開示の技術では、カメラの撮像画像から検出する陸標の距離精度が低くなるおそれがある。カメラの撮像画像から検出する陸標の距離精度が低くなる場合、この陸標を用いた車両の位置特定の精度も低くなってしまう。車両の位置特定の精度が低くなると、車両の位置を用いた運転支援のアプリケーションの利用が限定されたりする問題が生じる。
この開示のひとつの目的は、自車の自律センサを用いて検出した自車に対するランドマークの位置に基づいて自車の位置を特定する場合に、自車の位置を特定する精度をより高くすることを可能とする車両用位置特定装置及び車両用位置特定方法を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の車両用位置特定装置は、車両で用いられ、車両に搭載される測距センサ(401)での検出結果から認識される、路面からの高さのあるランドマークの自車に対する位置の情報として、少なくともランドマークの自車に対する距離を含む第1ランドマーク位置情報を取得する第1ランドマーク位置情報取得部(101)と、車両に搭載されるカメラ(402)での撮像画像から認識される、ランドマークの自車に対する位置の情報として、少なくともランドマークの自車に対する仰角を含む第2ランドマーク位置情報を取得する第2ランドマーク位置情報取得部(102)と、第1ランドマーク位置情報取得部で取得する第1ランドマーク位置情報に含まれるランドマークの自車に対する距離に加え、第2ランドマーク位置情報取得部で取得する第2ランドマーク位置情報に含まれるランドマークの自車に対する仰角も用いて、自車に対するランドマークの位置を推定するランドマーク位置推定部(104)と、ランドマークの地図上の位置を含む地図データを取得する地図データ取得部(107)と、ランドマーク位置推定部で推定した自車に対するランドマークの位置と、地図データに含まれるランドマークの地図上の位置と、を照合することによって、地図上での車両の位置を特定する車両位置特定部(108)と、ランドマーク位置推定部での自車に対するランドマークの位置の推定状態を特定する推定状態特定部(106)と、推定状態特定部で特定する推定状態に応じた表示を車両に搭載される表示装置(60)に行わせる表示指示部(109)とを備え、推定状態特定部は、推定状態として、ランドマークの位置の推定に測距センサとカメラとのいずれが利用できているかの状態を少なくとも含むものであって、表示指示部は、ランドマークの位置の推定に測距センサとカメラとのいずれが利用できているかの状態の違いに応じて、表示装置に行わせる表示の態様を変更させる。
上記目的を達成するために、本開示の車両用位置特定方法は、車両で用いられ、コンピュータにより実施される車両用位置特定方法であって、車両に搭載される測距センサ(401)での検出結果から認識される、路面からの高さのあるランドマークの自車に対する位置の情報として、少なくともランドマークの自車に対する距離を含む第1ランドマーク位置情報を取得する第1ランドマーク位置情報取得工程と、車両に搭載されるカメラ(402)での撮像画像から認識される、ランドマークの自車に対する位置の情報として、少なくともランドマークの自車に対する仰角を含む第2ランドマーク位置情報を取得する第2ランドマーク位置情報取得工程と、第1ランドマーク位置情報取得工程で取得する第1ランドマーク位置情報に含まれるランドマークの自車に対する距離に加え、第2ランドマーク位置情報取得工程で取得する第2ランドマーク位置情報に含まれるランドマークの自車に対する仰角も用いて、自車に対するランドマークの位置を推定するランドマーク位置推定工程と、ランドマークの地図上の位置を含む地図データを取得する地図データ取得工程と、ランドマーク位置推定工程で推定した自車に対するランドマークの位置と、地図データに含まれるランドマークの地図上の位置と、を照合することによって、地図上での車両の位置を特定する車両位置特定工程と、ランドマーク位置推定工程での自車に対するランドマークの位置の推定状態を特定する推定状態特定工程と、推定状態特定工程で特定する推定状態に応じた表示を車両に搭載される表示装置(60)に行わせる表示指示工程とを含み、推定状態特定工程では、推定状態として、ランドマークの位置の推定に測距センサとカメラとのいずれが利用できているかの状態を少なくとも含むものであって、表示指示工程では、ランドマークの位置の推定に測距センサとカメラとのいずれが利用できているかの状態の違いに応じて、表示装置に行わせる表示の態様を変更させる
以上の構成によれば、路面からの高さのあるランドマークの自車に対する位置の推定に、測距センサでの検出結果から認識されるランドマークの自車に対する距離に加え、カメラでの撮像画像から認識されるランドマークの自車に対する仰角も用いることになる。測距センサは、距離を測定するためのセンサであるので、測距センサでの検出結果から認識されるランドマークの自車に対する距離は、より精度が高くなる。一方、測距センサは、路面からの高さのあるランドマークに対して、仰角方向の精度が低くなる傾向にある。これに対して、以上の構成によれば、角度方向の精度の高いカメラでの撮像画像から認識されるランドマークの自車に対する仰角を用いる。よって、ランドマークの自車に対する距離だけでなく、ランドマークの自車に対する仰角についても、より精度の高い値を用いて、自車に対するランドマークの位置を推定することが可能になる。従って、路面からの高さのあるランドマークであっても、自車に対する位置を精度良く推定することが可能になる。その結果、推定した自車に対するランドマークの位置と、地図データに含まれるランドマークの地図上の位置と、を照合することによって特定する地図上での車両の位置を、より精度良く特定することが可能になる。よって、自車の自律センサを用いて検出した自車に対するランドマークの位置に基づいて自車の位置を特定する場合に、自車の位置を特定する精度をより高くすることが可能になる。
車両用システム1及び車両用位置特定装置10の概略的な構成の一例を示す図である。 自車に対するランドマークの位置の表し方の一例を説明するための図である。 自車に対するランドマークの位置の表し方の一例を説明するための図である。 更新処理の一例を説明するための図である。 推定誤差の算出する式の一例を示す図である。 車両用位置特定装置10での詳細位置特定関連処理の流れの一例を示すフローチャートである。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<車両用システム1の概略構成>
以下、本開示の実施形態1について図面を用いて説明する。図1に示す車両用システム1は、運転者の運転操作を支援する運転支援機能を備える車両で用いられる。ここで言うところの運転支援機能には、運転者の運転操作を代行する自動運転の機能も含まれる構成としてもよい。運転支援の一例としては、車線維持のためのステアリング補正等が挙げられる。
車両用システム1は、図1に示すように、車両用位置特定装置10、GNSS受信機20、通信モジュール30、周辺監視センサ40、運転支援装置50、及び表示装置60を含んでいる。車両用位置特定装置10は、車内LAN70に接続されているものとすればよい。以下では、車両用システム1を用いる車両を自車と呼ぶ。車両用システム1を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。
GNSS受信機20は、複数の測位衛星からの測位信号を受信する。GNSS受信機20は、この測位信号をもとに、自車の現在位置を示す座標情報を逐次特定する。GNSS受信機20は、特定した座標情報を車両用位置特定装置10に出力する。座標情報としては、緯度,経度,高度を示す座標情報とすればよい。
通信モジュール30は、自車の外部のサーバとの間で公衆通信網を介して情報の送受信を行う。通信モジュール30は、地図データが格納されたサーバ(以下、地図サーバ)から地図データをダウンロードして取得する。地図サーバに格納される地図データには、ランドマークの位置についての情報含むものとする。ランドマークの位置についての情報は、例えば座標情報とすればよい。ランドマークの位置は、例えばランドマークの中心座標によって表現されている等の構成とすればよい。ランドマークは、地理上の目印となる、空間上の位置が固定された地物である。ランドマークには、少なくとも路面からの高さのある構造物を含むものとする。「路面からの高さのある」とは、区画線,道路標示等の路面に描かれた標示を含まないことを示す。路面からの高さのあるランドマークの一例としては、建物,道路標識,看板,信号機,ポール,路面の上方に設けられるビーコン局等が挙げられる。ポールには、街灯,電柱を含んでもよい。「路面からの高さのある」とは、例えば路面からの高さが車高以上の地物を対象とするものとしてもよい。
地図サーバに格納される地図データには、例えば道路の形状を三次スプライン曲線で表現した道路セグメントも含む構成とすればよい。例えば、この地図データは、複数台の車両の後述する周辺監視センサ40によって得られた情報を地図サーバが収集することで逐次更新されるものとすればよい。
通信モジュール30としては、例えばDCM(Data Communication Module)を用いる等すればよい。また、GNSS受信機20としては、DCM等に備えられるものを用いる構成としてもよい。
周辺監視センサ40は、自車の周辺を監視する自律センサと、その自律センサの制御ユニットとを含むセンサモジュールとして構成されている。周辺監視センサ40としては、センシング結果を用いて自車に対する自車周辺の地物の位置を特定可能な自律センサを用いればよい。本実施形態では、周辺監視センサ40は、自律センサとして、測距センサ401と、カメラ402とを含む。
測距センサ401は、距離を高精度に測定するためのセンサである。測距センサ401は、送信した探査波が物体で反射された場合に生じる反射波の検出結果から、自車からその物体までの距離を認識する。
測距センサ401は、反射波の受信強度をもとに、物体の有無を認識する。測距センサ401は、探査波を送信してから反射波を受信するまでの時間をもとに、自車から物体までの距離(図2のr参照)を認識する。測距センサ401の検出結果から認識される距離rを、以降ではrmと呼ぶ。測距センサ401の制御ユニットは、探査波を送信した方向をもとに、自車に対する物体の方位角(図3のψ参照)を認識する。例えば、自車に対する物体の方位角の基準は、自車前方とすればよい。測距センサ401の検出結果から認識される方位角ψを、以降ではψmと呼ぶ。図2,図3のLMKがランドマークを示している。図2,図3のHVが自車を示している。図2,図3のx,y,zが自車の基準点を原点とする三次元座標の座標軸を示している。xが前後方向の軸,yが左右方向の軸,zが高さ方向の軸にあたる。
測距センサ401の制御ユニットは、逐次認識する距離rm,方位角ψmを、車両用位置特定装置10に入力する。例えば、測距センサ401の制御ユニットは、存在することを認識した物体の距離rm,方位角ψmを、暫定的に自車に対するランドマークの距離rm,方位角ψmとして車両用位置特定装置10に入力すればよい。以下では、この自車に対するランドマークの距離rm,方位角ψmを、第1ランドマーク(以下、LMK)位置情報と呼ぶ。第1LMK位置情報には、送信した探査波と反射波とのドップラーシフトをもとに認識される自車に対するランドマークの相対速度も含む構成としてもよい。
測距センサ401は、探査波としては、超音波,光,電磁波,電場磁場等を用いることができる。測距センサ401としては、ミリ波レーダ,ソナー,LIDAR(Light Detection and Ranging/Laser Imaging Detect ion and Ranging)等が挙げられる。測距センサ401は、仰角方向の分解能が方位角方向の分解能よりも低く、方位角方向の精度に比べて仰角方向の精度が低いものとする。本実施形態では、測距センサ401としてミリ波レーダを用いる場合を例に挙げて以降の説明を行う。
カメラ402は、自車周辺の所定の撮像範囲内を撮像する。カメラ402の制御ユニットは、カメラ402で撮像された画像(以下、撮像画像)を解析する。カメラ402の制御ユニットは、カメラ402の検出結果としての撮像画像を解析することで、撮像画像中のランドマークを認識する。一例としては、パターン認識等によって、撮像画像中のランドマークを認識すればよい。カメラ402の制御ユニットは、撮像画像中のランドマークの位置と、カメラ402のカメラパラメータとから、自車に対するランドマークの位置を認識すればよい。カメラパラメータは、自車に対するカメラ402の搭載位置,カメラ402の光軸の方向等とすればよい。カメラ402の制御ユニットは、撮像画像から背景とランドマークとを分離して抽出すればよい。ランドマークは、大きさ,形状,設置位置等に基づいて抽出されてもよい。
カメラ402の制御ユニットは、自車に対するランドマークの位置として、自車からランドマークまでの距離(図2のr)を認識する。カメラ402の撮像画像から認識される距離rを、以降ではrcと呼ぶ。カメラ402の制御ユニットは、自車に対するランドマークの位置として、自車に対するランドマークの方位角(図3のψ)を認識する。カメラ402の撮像画像から認識される方位角ψを、以降ではψcと呼ぶ。カメラ402の制御ユニットは、自車に対するランドマークの位置として、自車に対するランドマークの仰角(図2のθ)を認識する。カメラ402の制御ユニットは、逐次認識する自車に対するランドマークの距離rc,方位角ψc,仰角θを、車両用位置特定装置10に入力する。この自車に対するランドマークの距離rc,方位角ψc,仰角θを、第2LMK位置情報と呼ぶ。
また、カメラ402の制御ユニットは、SfM(Structure from Motion)技術を用いて、撮像画像から、自車に作用しているヨーレート,前後方向加速度、横方向加速度等の自車の挙動を示す状態量(以下、挙動情報)を検出してもよい。
測距センサ401とカメラ402とは、略同一のタイミングで同じランドマークを検出可能なように、少なくともお互いの検出範囲の一部が重複しているものとする。周辺監視センサ40は、少なくとも自車前方の所定範囲を検出範囲とする構成とすればよい。周辺監視センサ40の制御ユニットは、複数の自律センサごとに設けられる構成としてもよいし、複数の自律センサに共通に設けられる構成としてもよい。
運転支援装置50は、前述の運転支援機能を実行する。運転支援装置50は、車両用位置特定装置10で特定する自車の詳細位置を用いて、運転支援機能を実行する。一例としては、自車を走行車線のレーン中心に沿って走行させたりすればよい。
表示装置60は、自車の乗員に向けた情報の表示を行う。表示装置60としては、例えばディスプレイ,インジケータ等を用いることができる。一例として、表示装置60として、運転席前方のインストルメントパネルに配置されるインジケータを用いる等すればよい。
車両用位置特定装置10は、例えばプロセッサ、メモリ、I/O、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することで自車の詳細位置の特定に関する処理(以下、詳細位置特定関連処理)を実行する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。以下で、車両用位置特定装置10について詳述する。
<車両用位置特定装置10の概略構成>
続いて、図1を用いて車両用位置特定装置10の概略構成の一例を説明する。車両用位置特定装置10は、図1に示すように、第1LMK位置情報取得部101、第2LMK位置情報取得部102、測位部103、LMK位置推定部104、履歴記憶部105、推定状態特定部106、地図データ取得部107、車両位置特定部108、及び表示指示部109を機能ブロックとして備えている。なお、車両用位置特定装置10が実行する機能の一部又は全部を、一つ或いは複数のIC等によりハードウェア的に構成してもよい。また、車両用位置特定装置10が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
第1LMK位置情報取得部101は、測距センサ401から第1LMK位置情報を取得する。つまり、第1LMK位置情報取得部101は、測距センサ401での検出結果から認識される、自車に対するランドマークの距離rm,方位角ψmを取得する。第1LMK位置情報取得部101が、第1ランドマーク位置情報取得部に相当する。この第1LMK位置情報取得部101での処理が第1ランドマーク位置情報取得工程に相当する。
第2LMK位置情報取得部102は、カメラ402から第2LMK位置情報を取得する。つまり、第2LMK位置情報取得部102は、カメラ402での撮像画像から認識される、自車に対するランドマークの距離rc,方位角ψc,仰角θを取得する。第2LMK位置情報取得部102が、第2ランドマーク位置情報取得部に相当する。この第2LMK位置情報取得部102での処理が第2ランドマーク位置情報取得工程に相当する。
測位部103は、グローバル座標系における自車の大まかな現在位置を推定する。一例として、GNSS受信機20から取得する座標情報と、自車の車速,ヨーレートといった挙動情報とから、グローバル座標系における自車の大まかな現在位置を推定する。挙動情報は、車内LAN70等を介して入力される、自車のセンサで検出された挙動情報を用いればよい。他にも、SfM技術を用いて撮像画像から検出した挙動情報を用いてもよい。
なお、測位部103が車両用位置特定装置10に含まれない構成であっても構わない。この場合、車両用位置特定装置10の外部に設けられた、測位部103の機能を有するユニットから、グローバル座標系における自車の大まかな現在位置を車両用位置特定装置10が取得する構成とすればよい。
LMK位置推定部104は、図1に示すように、予測処理部141、相関処理部142、及び更新処理部143をサブ機能ブロックとして備える。LMK位置推定部104がランドマーク位置推定部に相当する。LMK位置推定部104は、第1LMK位置情報取得部101で取得する、自車に対するランドマークの距離rmに加え、第2LMK位置情報取得部102で取得する自車に対するランドマークの方位角ψc,仰角θも用いて、自車に対するランドマークの詳細位置(以下、LMK詳細位置)を推定する。自車に対するランドマークの詳細位置の推定を、以下ではLMK位置推定と呼ぶ。このLMK位置推定部104での処理がランドマーク位置推定工程に相当する。
LMK位置推定部104は、第2LMK位置情報取得部102で取得する方位角ψcの代わりに、第1LMK位置情報取得部101で取得する方位角ψmを用いる構成としてもよい。しかしながら、カメラ402の角度方向の精度が高いため、測距センサ401で認識される方位角ψmよりも、カメラ402で認識される方位角ψcを用いることが好ましい。以下では、カメラ402で認識される方位角ψcを用いる場合を例に挙げて説明を行う。
予測処理部141は、自車の挙動情報と、LMK位置推定部104で推定した前時刻のLMK詳細位置とをもとに、現時刻の自車に対するランドマークの位置を予測する。この予測処理部141が予測部に相当する。予測処理部141での処理を以降では予測処理と呼ぶ。自車の挙動情報は、車内LAN70等を介して入力される、自車のセンサで検出された挙動情報を用いればよい。他にも、SfM技術を用いて撮像画像から検出した挙動情報を用いてもよい。
一例として、自車の現時刻における車速Vと、LMK位置推定部104で推定した前時刻のLMK詳細位置(xt-1,yt-1,zt-1)とから、以下の式によって算出される位置(x,y,z)を現時刻の自車に対するランドマークの位置と予測すればよい。以降についても、自車に対するランドマークの位置は、前述のx,y,z軸の三次元空間上の座標で表すものとする。xについては、x=xt-1・Δt・Vの式によって算出すればよい。Δtは、前時刻と現時刻との時間差である。y,zについては、y=yt-1,z=zt-1の式によって算出すればよい。
なお、予測処理部141は、LMK位置推定部104で推定した前時刻のLMK詳細位置が存在しない場合は、仮の値を用いる構成とすればよい。例えば、カメラ402で認識した距離rc,方位角ψc,仰角θから、以下の式によって算出した位置を用いればよい。xt-1については、xt-1=rc・cos(θt-1)・sin(ψct-1)の式によって算出すればよい。yt-1については、yt-1=rc・cos(θt-1)・cos(ψct-1)の式によって算出すればよい。zt-1については、zt-1=rc・sin(θt-1)の式によって算出すればよい。
相関処理部142は、LMK位置推定に用いる第1LMK位置情報と第2LMK位置情報との組み合わせを特定する。相関処理部142は、測距センサ401で得られる第1LMK位置情報とカメラ402で得られる第2LMK位置情報とのうち、同一のランドマークについての情報と推定されるものの組み合わせを特定する。つまり、相関処理部142は、予測処理部141で予測した同じランドマークの位置に位置が近似する第1LMK位置情報と第2LMK位置情報との組み合わせを特定する。相関処理部142での処理を相関処理と呼ぶ。
以下で、相関処理部142での相関処理の詳細の一例について説明する。相関処理では、第1LMK位置情報と第2LMK位置情報とのそれぞれについて処理を行う。相関処理部142は、第1LMK位置情報が得られた暫定的なランドマークと第2LMK位置情報が得られたランドマークとの対地速度を判定する。これにより、相関処理部142は、静止物についての第1LMK位置情報と第2LMK位置情報とを抽出する。
一例として、第1LMK位置情報については、第1LMK位置情報に含まれる相対速度と自車の車速とから対地速度を判定すればよい。そして、対地速度が略0のものを抽出すればよい。略0とは誤差範囲を含む実質的に0と言える値を示す。相対速度については、同じ対象物についての第1LMK位置情報の時間変化をもとに算出してもよい。第2LMK位置情報については、ランドマークの相対速度を、同じランドマークについての第2LMK位置情報の時間変化をもとに算出すればよい。そして、算出した相対速度と自車の車速とからランドマークの対地速度を判定し、対地速度が略0のものを抽出すればよい。
相関処理では、抽出した第1LMK位置情報及び第2LMK位置情報について、予測処理部141で予測した自車に対するランドマークの位置(以下、予測LMK位置)と比較する。第1LMK位置情報については、自車に対するランドマークの距離rm,方位角ψmを、予測LMK位置についての自車に対するランドマークの距離,方位角と比較する。そして、距離と方位角との誤差の全てが、対象とする予測LMK位置に対して閾値範囲内のものを抽出する。ここで言うところの閾値範囲とは、同じランドマークについての値と推定されるだけ近似した範囲とすればよい。
第2LMK位置情報については、自車に対するランドマークの距離rc,方位角ψc,仰角θを、予測LMK位置についての自車に対するランドマークの距離,方位角,仰角と比較する。そして、距離と方位角と仰角との誤差の全てが、対象とする予測LMK位置に対して閾値範囲内のものを抽出する。ここで言うところの閾値範囲は、第1LMK位置情報と同じとすればよい。なお、閾値範囲は、同じランドマークについての値と推定されるだけ近似した範囲であれば、第1LMK位置情報と異なる範囲であってもよい。
相関処理では、同じランドマークについての予測LMK位置に対して閾値範囲内となる第1LMK位置情報と第2LMK位置情報との組み合わせを特定する。同じランドマークについての予測LMK位置に対して閾値範囲内となる第1LMK位置情報と第2LMK位置情報とは、同じランドマークについての第1LMK位置情報と第2LMK位置情報とである可能性が高い。よって、後述する更新処理部143でのランドマークの詳細位置の推定精度低下の原因となる、異なるランドマークについての第1LMK位置情報と第2LMK位置情報との組み合わせが特定されるのを精度よく抑制することが可能になる。
相関処理部142は、組み合わせを特定した第1LMK位置情報と第2LMK位置情報とを、履歴記憶部105に記憶する。履歴記憶部105は、不揮発性メモリであってもよいが、例えば揮発性メモリとする。相関処理部142は、時刻ごとに、組み合わせを特定した第1LMK位置情報と第2LMK位置情報とを紐付けて履歴記憶部105に記憶する。相関処理部142は、同時刻についての自車の挙動情報も、第1LMK位置情報と第2LMK位置情報とに紐付けて履歴記憶部105に記憶することが好ましい。相関処理部142は、ランドマークが複数認識されている場合には、複数のランドマークごとに、組み合わせが特定された第1LMK位置情報と第2LMK位置情報とを紐付けて履歴記憶部105に記憶する。
なお、相関処理部142は、第1LMK位置情報と第2LMK位置情報とのうち、いずれかが予測LMK位置に対して閾値範囲内とならない場合にも、自律センサが利用できなかった(つまり、ロストした)ものとして、予測LMK位置に対して閾値範囲内とものを記憶すればよい。例えば、第1LMK位置情報が予測LMK位置に対して閾値範囲内とならなかった場合には、測距センサ401でのランドマークの認識がロストしたものとして、第2LMK位置情報を記憶すればよい。一方、第2LMK位置情報が予測LMK位置に対して閾値範囲内とならなかった場合には、カメラ402でのランドマークの認識がロストしたものとして、第1LMK位置情報を記憶すればよい。
更新処理部143は、現時刻についての相関処理部142で特定した第1LMK位置情報と第2LMK位置情報との組み合わせに加え、現時刻の挙動情報,履歴記憶部105に記憶した過去の挙動情報及び第1LMK位置情報と第2LMK位置情報との組み合わせを用いて、自車に対するランドマークの詳細位置(つまり、LMK詳細位置)を推定する。更新処理部143での処理を以降では更新処理と呼ぶ。履歴記憶部105に記憶した過去の挙動情報及び第1LMK位置情報と第2LMK位置情報との組み合わせは、挙動情報、第1LMK位置情報、及び第2LMK位置情報の履歴にあたる。更新処理部143は、この履歴を用いることで自律センサの観測ノイズを軽減したランドマークの位置の真値を詳細位置として推定する。
ここで、更新処理部143での更新処理の詳細の一例について、図4を用いて説明する。更新処理では、現時刻の自車に対するランドマークの位置(以下、LMK暫定位置)のx,y,z座標の値をそれぞれ算出する。現時刻のLMK暫定位置のx座標の値はx,y座標の値はy,z座標の値はzとする。xについては、現時刻における第1LMK位置情報のうちの距離rmと、現時刻における第2LMK位置情報のうちの方位角ψc及び仰角θとから算出する。一例として、x=rm・cos(θ)・sin(ψc)の式によって算出する。yについては、現時刻における第1LMK位置情報のうちの距離rmと、現時刻における第2LMK位置情報のうちの方位角ψc及び仰角θとから算出する。一例として、y=rm・cos(θ)・cos(ψc)の式によって算出する。zについては、現時刻における第1LMK位置情報のうちの距離rmと、現時刻における第2LMK位置情報のうちの仰角θとから算出する。一例として、z=rm・sin(θ)の式によって算出する。また、xについては、現時刻における自車の挙動情報のうちの車速Vと、前時刻においてLMK位置推定部104で推定されたLMK詳細位置のうちのx座標の値xt-1とから算出する。一例として、x=xt-1・Δt・Vの式によって算出すればよい。
更新処理では、上述したようにして算出した現時刻のLMK暫定位置のx,y,z座標の値(x,y,z)と、過去の更新処理で算出したこれらの値の履歴とから、最小二乗法を用いて、現時刻のLMK詳細位置(x,y,z)を推定する。x=rm・cos(θ)・sin(ψc)の履歴は、xt―n=rmt―n・cos(θt―n)・sin(ψct―n)となる。y=rm・cos(θ)・cos(ψc)の履歴は、yt―n=rmt―n・cos(θt―n)・cos(ψct―n)となる。z=rm・sin(θ)の履歴は、zt―n=rmt―n・sin(θt―n)となる。x=xt-1・Δt・Vの履歴は、xt―n=xt-n-1・Δt・Vt―nとなる。履歴は、過去に更新処理部143で算出した値を履歴記憶部105に記憶しておくことで、履歴記憶部105から読み出して用いる構成とすればよい。nは1以上の整数であって、精度と処理負荷とのトレードオフの関係を考慮して任意に設定すればよい。
なお、更新処理では、最小二乗法を用いる代わりに、RANSAC(RANdom SAmple Consensus)を用いる構成としてもよい。RANSACを用いる場合、RANSACは外れ値を排除することができるので、もし相関処理で誤りのあったデータが混じっていた場合であっても、より精度よくLMK詳細位置を推定することが可能になる。他にも、最小二乗法を用いる代わりに、カルマンフィルタを用いる構成としてもよい。カルマンフィルタを用いる場合、観測ノイズが正規分布を示す状況に置いて、より高い精度でLMK詳細位置を推定することが可能になる。以降では、最小二乗法を用いる場合を例に挙げて説明を行う。
LMK位置推定部104は、相関処理部142で第1LMK位置情報と第2LMK位置情報との組み合わせを特定できる場合には、相関処理部142で特定された組み合わせの第1LMK位置情報と第2LMK位置情報とを用いて、LMK詳細位置を推定する更新処理を行う。なお、相関処理で予測LMK位置に対して閾値範囲内とならなかった自律センサについては、この予測LMK位置を第1LMK位置情報,第2LMK位置情報の代わりに用いて更新処理を行えばよい。つまり、ロストした自律センサについては、前時刻のLMK詳細位置から予測した位置を用いて更新処理を行えばよい。
推定状態特定部106は、LMK位置推定部104でのLMK位置推定の状態(以下、LMK位置推定状態)を特定する。LMK位置推定状態としては、LMK位置推定の誤差(以下、LMK位置推定誤差),LMK位置推定にいずれの自律センサが利用できているかの状態(以下、利用センサ状態)等が挙げられる。つまり、LMK位置推定に測距センサ401とカメラ402とのいずれが利用できているかの状態が利用センサ状態にあたる。
推定状態特定部106は、例えば相関処理で予測LMK位置に対して閾値範囲内とならなかった自律センサについて、LMK位置推定に利用できていない状態と判断すればよい。また、推定誤差については、図5の式に示すように、更新処理で推定したLMK詳細位置の座標値(x,y,z)と、現時刻及び履歴における座標値(xt,yt,zt)・・・(xt-n,yt-n,zt-n)との各差分を二乗した値の総和の平方根として算出すればよい。推定誤差については、例えばx,y,zの総和であってもよいし、x、y,zのうちの最大値としてもよい。
推定状態特定部106は、特定したLMK位置推定状態を運転支援装置50に出力する。運転支援装置50は、LMK位置推定状態を、自車の詳細位置の利用可否の判別に用いればよい。例えば、運転支援装置50は、LMK位置推定誤差が閾値以下の場合に、自車の詳細位置を利用しないようにすればよい。他にも、運転支援装置50は、利用センサ状態が、測距センサ401とカメラ402とのいずれも利用できている状態(以下、両利用状態)でない場合に、自車の詳細位置を利用しないようにすればよい。また、運転支援装置50は、LMK位置推定状態を、運転支援の度合いを変更するのに用いてもよい。例えば、LMK位置推定誤差が閾値以下の場合,利用センサ状態が両利用状態でない場合に、自車の詳細位置を用いた運転支援における車両制御の制御トルクを弱めたりすればよい。
地図データ取得部107は、ランドマークの地図上の位置を含む地図データを取得する。
この地図データ取得部107での処理が地図データ取得工程に相当する。地図データ取得部107は、地図サーバから、自車周辺の地図データを取得すればよい。例えば、地図データ取得部107は、測位部103で測位した自車の現在位置から所定距離内の地図データを取得すればよい。また、地図データが区画単位で区分して管理されるものである場合には、自車の現在位置が含まれる区画についての地図データを取得してもよい。地図データ取得部107は、地図データのうちのランドマークについてのデータに絞って取得する構成としてもよい。
車両位置特定部108は、LMK位置推定部104で推定したLMK詳細位置と、地図データ取得部107で取得した地図データに含まれるランドマークの地図上の位置(以下、地図LMK位置)とを照合することによって、地図上での自車の位置(つまり、詳細位置)を特定するローカライズを行う。この車両位置特定部108での処理が車両位置特定工程に相当する。例えば、車両位置特定部108は、LMK詳細位置と地図LMK位置とをマッチングさせる。そして、車両位置特定部108は、LMK詳細位置に対する自車の位置のオフセット分だけ、地図上で地図LMK位置からずらした位置を、地図上の自車の詳細位置と特定すればよい。
車両位置特定部108は、SLAM(Simultaneous Localization and Mapping)で用いられるICP(Iterative Closest Point)アルゴリズム等のスキャンマッチング手法を用いてLMK詳細位置と地図LMK位置とのマッチングを行えばよい。なお、車両位置特定部108は、推定状態特定部106で測距センサ401とカメラ402とのいずれも利用できている利用センサ状態であったLMK詳細位置を優先的に使用する構成としてもよい。これによれば、より精度が高いと考えられるLMK詳細位置を用いてマッチングを行うので、自車の位置の特定精度を向上させることが可能になる。
表示指示部109は、推定状態特定部106で特定するLMK位置推定状態に応じた表示を表示装置60に行わせる。例えば、表示指示部109は、利用センサ状態に応じた表示を表示装置60に行わせればよい。つまり、LMK位置推定に測距センサ401とカメラ402とのいずれが利用できているかの状態の違いに応じて、表示装置60に行わせる表示の態様を変更させればよい。表示の態様の変更の一例としては、表示色の変更,表示するアイコンの変更等が挙げられる。
例えば、表示指示部109は、LMK位置推定に測距センサ401とカメラ402との両方が利用できている両利用状態と、いずれかが利用できている片利用状態と、いずれも利用できていない両ロスト状態とを区別できるように表示の態様を変更させればよい。なお、表示指示部109は、片利用状態と両ロスト状態とで表示の態様を変更せず、両利用状態か否かで表示の態様を変更する構成としてもよい。また、表示指示部109は、LMK位置推定誤差の大きさに応じて、表示装置60に行わせる表示の態様を変更させてもよい。以上の構成によれば、自車の乗員が、自車の位置の特定精度が高い状態か否かを確認することが可能になる。
<車両用位置特定装置10での詳細位置特定関連処理>
ここで、図6のフローチャートを用いて、車両用位置特定装置10での詳細位置特定関連処理の流れの一例について説明を行う。コンピュータによって詳細位置特定関連処理に含まれるステップが実行されることが、車両用位置特定方法が実行されることに相当する。図6のフローチャートは、例えば自車の内燃機関又はモータジェネレータを始動させるためのスイッチ(以下、パワースイッチ)がオンになった場合に開始される構成とすればよい。
まず、ステップS1では、自車の車両位置を特定するタイミング(以下、特定タイミング)である場合(S1でYES)には、ステップS2に移る。一方、特定タイミングでない場合(S1でNO)には、ステップS8に移る。特定タイミングは、例えば周辺監視センサ40での検出結果が更新されたタイミングとすればよい。測距センサ401とカメラ402との検出周期が異なる場合には、いずれかの周期に合わせればよい。カメラ402に合わせる場合には、フレームレートに相当する周期が特定タイミングとなる。周辺監視センサ40での検出結果が更新されているか否かは、例えば車両用位置特定装置10が周辺監視センサ40をモニタすることで判定すればよい。
ステップS2では、第1LMK位置情報取得部101が、測距センサ401から入力される第1LMK位置情報を取得する。また、第2LMK位置情報取得部102が、カメラ402から第2LMK位置情報を取得する。
ステップS3では、LMK位置推定部104のうちの予測処理部141が、予測処理を行う。予測処理では、LMK位置推定部104で推定した前時刻のLMK詳細位置が存在する場合には、自車の挙動情報と、その前時刻のLMK詳細位置とをもとに、現時刻の自車に対するランドマークの位置(つまり、予測LMK位置)を予測する。予測処理では、LMK位置推定部104で推定した前時刻のLMK詳細位置が存在しない場合には、前述したように仮の値を予測LMK位置として用いる。
ステップS4では、LMK位置推定部104のうちの相関処理部142が、相関処理を行う。相関処理では、S2で取得した第1LMK位置情報及び第2LMK位置情報について、S3で予測した予測LMK位置に位置が近似する第1LMK位置情報と第2LMK位置情報との組み合わせを特定する。
ステップS5では、LMK位置推定部104のうちの更新処理部143が、更新処理を行う。更新処理では、S4で特定した現時刻についての第1LMK位置情報と第2LMK位置情報との組み合わせに加え、現時刻の挙動情報,履歴記憶部105に記憶した過去の挙動情報及び第1LMK位置情報と第2LMK位置情報との組み合わせを用いて、LMK詳細位置を推定する。
ステップS6では、地図データ取得部107は、ランドマークの地図上の位置を含む地図データを取得する。S6の処理は、S5の処理以前に行う構成としてもよい。また、S6の処理は、図6のフローチャートを繰り返すごとに行う構成に限らず、例えば自車の走行距離等に応じて新たに取得する構成としてもよい。
ステップS7では、車両位置特定部108が、S5で推定したLMK詳細位置と、S6で取得した地図データに含まれる地図LMK位置とを照合することによって、地図上での自車の詳細位置を特定する。
ステップS8では、詳細位置特定関連処理の終了タイミングであった場合(S8でYES)には、詳細位置特定関連処理を終了する。一方、詳細位置特定関連処理の終了タイミングでなかった場合(S8でNO)には、S1に戻って処理を繰り返す。詳細位置特定関連処理の終了タイミングの一例としては、パワースイッチがオフになったこと等が挙げられる。
<実施形態1のまとめ>
実施形態1の構成によれば、路面からの高さのあるランドマークの自車に対する位置の推定に、測距センサ401での検出結果から認識されるランドマークの自車に対する距離rmに加え、カメラ402での撮像画像から認識されるランドマークの自車に対する仰角θも用いることになる。測距センサ401は、距離を測定するためのセンサであるので、距離rmは、カメラ402での撮像画像から認識されるランドマークの自車に対する距離rmよりも精度が高くなる。
一方、測距センサ401は、路面からの高さのあるランドマークに対して、仰角方向の精度が低くなる傾向にある。これに対して、実施形態1の構成によれば、角度方向の精度の高いカメラ402での撮像画像から認識されるランドマークの自車に対する仰角θを用いる。よって、ランドマークの自車に対する距離だけでなく、ランドマークの自車に対する仰角についても、より精度の高い値を用いて、自車に対するランドマークの位置を推定することが可能になる。
従って、路面からの高さのあるランドマークであっても、自車に対する位置を精度良く推定することが可能になる。その結果、推定した自車に対するランドマークの位置と、地図データに含まれるランドマークの地図上の位置と、を照合することによって特定する地図上での自車の位置を、より精度良く特定することが可能になる。よって、自車の自律センサを用いて検出した自車に対するランドマークの位置に基づいて自車の位置を特定する場合に、自車の位置を特定する精度をより高くすることが可能になる。
また、実施形態1の構成によれば、自車に対するランドマークの位置を推定するのに、自車の挙動情報も用いる。よって、自車の挙動によって生じる、自車に対するランドマークの位置の推定誤差を、軽減することが可能になる。さらに、実施形態1の構成によれば、測距センサ401で認識される距離rm、カメラ402で認識される仰角θ、及び自車の挙動情報の履歴も用いる。よって、この履歴を用いることで、自律センサの観測ノイズによって生じる、自車に対するランドマークの位置の推定誤差を、軽減することが可能になる。
以上のように、実施形態1の構成によれば、距離精度に優れる測距センサ401で認識する距離rmだけでなく、角度方向の精度に優れるカメラ402で認識する仰角θ、自車の挙動情報、及びこれらの履歴を統合的に扱うことで、自車に対するランドマークの位置を非常に高精度に推定することが可能になる。その結果、自車の位置を特定する精度を非常に高くすることが可能になる。
なお、障害物の近接回避を目的とする物標認識でも複数の自律センサを利用することがあるが、本実施形態とは思想が異なっている。障害物の近接回避を目的とする物標認識では、複数の自律センサで同じ位置に認識できているかによって誤認識を減らしたり、一部の自律センサのロストを補ったりするものである。これに対して、本実施形態の構成は、距離精度に優れる測距センサ401で認識する距離rmと、角度方向の精度に優れるカメラ402で認識する仰角θとを用いて、ランドマークの位置推定での距離精度と仰角方向の精度との両方の精度自体を高め、自車の位置を特定する精度を高めるものである。障害物の近接回避を目的とする物標認識では、自車の高さ程度の物標を想定とするため、仰角方向の精度を高める思想はない。
(実施形態2)
実施形態1では、LMK位置推定部104でのLMK詳細位置の推定に用いる自車の挙動情報が車速である場合を例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、LMK位置推定部104でのLMK詳細位置の推定に用いる自車の挙動情報にヨーレートも用いる構成としてもよい。この場合、予測処理及び更新処理でのx,yを算出する式を自車のヨーレートに応じて修正すればよい。
以上の構成によれば、自車の旋回によって生じる、自車に対するランドマークの位置の推定誤差を、軽減することが可能になる。よって、LMK詳細位置の推定の精度をさらに向上させることが可能になる。
(実施形態3)
実施形態1では、自車前方の所定範囲を検出範囲とする測距センサ401とカメラ402とを用いる構成を示したが、必ずしもこれに限らない。例えば、この測距センサ401とカメラ402とに加え、この自車前方の所定範囲と一部重複する検出範囲を有する別の測距センサ401,カメラ402も用いる構成としてもよい。例えば、自車前方の所定範囲を検出範囲とする測距センサ401とカメラ402とに加え、自車の前側方の所定範囲を検出範囲とする測距センサ401とカメラ402とを用いる構成としてもよい。これによれば、検出範囲が重複する領域で検出したランドマークについての第1LMK位置情報,第2LMK位置情報のサンプル数を増やすことで、更新処理の項数を増やしてLMK詳細位置の推定精度をより高めることが可能になる。
また、自車前方の所定範囲を検出範囲とする測距センサ401とカメラ402とに加え、自車前方の所定範囲と一部重複する検出範囲を有しない別の測距センサ401,カメラ402を用いる構成としてもよい。この場合であっても、時間軸をずらすことで検出範囲が重複する領域で検出したランドマークについての第1LMK位置情報,第2LMK位置情報のサンプル数を増やすことで、更新処理の項数を増やしてLMK詳細位置の推定精度をより高めることが可能になる。
(実施形態4)
実施形態1では、LMK詳細位置の推定に、自車の挙動情報と履歴とを用いる構成を示したが、必ずしもこれに限らない。例えば、LMK詳細位置の推定に、自車の挙動情報と履歴とを用いない構成としてもよい。以上の構成であっても、ランドマークの自車に対する距離だけでなく、ランドマークの自車に対する仰角についても、より精度の高い値を用いて、自車に対するランドマークの位置を推定することは可能になる。従って、自車の自律センサを用いて検出した自車に対するランドマークの位置に基づいて自車の位置を特定する場合に、自車の位置を特定する精度をより高くすることが可能になる。
(実施形態5)
実施形態1では、車両用位置特定装置10が、通信モジュール30を介して自車の外部から地図データを取得する構成を示したが、必ずしもこれに限らない。例えば、自車に搭載された不揮発性メモリから車両用位置特定装置10が地図データを取得する構成としてもよい。この不揮発性メモリは、車両用位置特定装置10の外部に設けられる構成であってもよいし、車両用位置特定装置10の内部に設けられる構成であってもよい。
(実施形態6)
実施形態1では、GNSS受信機20と車両用位置特定装置10とが別体である場合の例を示したが、必ずしもこれに限らない。例えば、GNSS受信機20と車両用位置特定装置10とが一体となっている構成であってもよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された1つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウェア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
1 車両用システム、10 車両用位置特定装置、40 周辺監視センサ、60 表示装置、101 第1LMK位置情報取得部(第1ランドマーク位置情報取得部)、102 第2LMK位置情報取得部(第2ランドマーク位置情報取得部)、104 LMK位置推定部(ランドマーク位置推定部)、106 推定状態特定部、107 地図データ取得部、108 車両位置特定部、109 表示指示部、141 予測処理部(予測部)、142 相関処理部、143 更新処理部、401 測距センサ、402 カメラ

Claims (7)

  1. 車両で用いられ、
    前記車両に搭載される測距センサ(401)での検出結果から認識される、路面からの高さのあるランドマークの自車に対する位置の情報として、少なくとも前記ランドマークの自車に対する距離を含む第1ランドマーク位置情報を取得する第1ランドマーク位置情報取得部(101)と、
    前記車両に搭載されるカメラ(402)での撮像画像から認識される、前記ランドマークの自車に対する位置の情報として、少なくとも前記ランドマークの自車に対する仰角を含む第2ランドマーク位置情報を取得する第2ランドマーク位置情報取得部(102)と、
    前記第1ランドマーク位置情報取得部で取得する前記第1ランドマーク位置情報に含まれる前記ランドマークの自車に対する距離に加え、前記第2ランドマーク位置情報取得部で取得する前記第2ランドマーク位置情報に含まれる前記ランドマークの自車に対する仰角も用いて、自車に対する前記ランドマークの位置を推定するランドマーク位置推定部(104)と、
    前記ランドマークの地図上の位置を含む地図データを取得する地図データ取得部(107)と、
    前記ランドマーク位置推定部で推定した自車に対する前記ランドマークの位置と、前記地図データに含まれる前記ランドマークの地図上の位置と、を照合することによって、地図上での前記車両の位置を特定する車両位置特定部(108)と
    前記ランドマーク位置推定部での自車に対する前記ランドマークの位置の推定状態を特定する推定状態特定部(106)と、
    前記推定状態特定部で特定する前記推定状態に応じた表示を前記車両に搭載される表示装置(60)に行わせる表示指示部(109)とを備え
    前記推定状態特定部は、前記推定状態として、前記ランドマークの位置の推定に前記測距センサと前記カメラとのいずれが利用できているかの状態を少なくとも含むものであって、
    前記表示指示部は、前記ランドマークの位置の推定に前記測距センサと前記カメラとのいずれが利用できているかの状態の違いに応じて、前記表示装置に行わせる表示の態様を変更させる車両用位置特定装置。
  2. 自車の挙動の情報と、前記ランドマーク位置推定部で推定した前時刻の自車に対する前記ランドマークの位置とをもとに、自車に対する前記ランドマークの位置を予測する予測部(141)と、
    前記予測部で予測した同じ前記ランドマークの位置に位置が近似する前記第1ランドマーク位置情報と前記第2ランドマーク位置情報との組み合わせを特定する相関処理部(142)とを備え、
    前記ランドマーク位置推定部は、前記相関処理部で特定された組み合わせの前記第1ランドマーク位置情報と前記第2ランドマーク位置情報とを用いて、自車に対する前記ランドマークの位置を推定する請求項1に記載の車両用位置特定装置。
  3. 自車の挙動の情報と、前記ランドマーク位置推定部で推定した前時刻の自車に対する前記ランドマークの位置とをもとに、自車に対する前記ランドマークの位置を予測する予測部(141)を備えるものであって、
    前記ランドマーク位置推定部は、前記第1ランドマーク位置情報取得部で取得する前記第1ランドマーク位置情報に含まれる前記ランドマークの自車に対する距離と、前記第2ランドマーク位置情報取得部で取得する前記第2ランドマーク位置情報に含まれる前記ランドマークの自車に対する仰角と、前記予測部で予測する自車に対する前記ランドマークの位置のうちの少なくとも自車に対する前記ランドマークの距離と、それらの過去の履歴とを統合して用いて、自車に対する前記ランドマークの位置を推定する請求項1又は2に記載の車両用位置特定装置。
  4. 前記ランドマーク位置推定部は、前記第1ランドマーク位置情報取得部で取得する前記第1ランドマーク位置情報に含まれる前記ランドマークの自車に対する距離と、前記第2ランドマーク位置情報取得部で取得する前記第2ランドマーク位置情報に含まれる前記ランドマークの自車に対する仰角と、前記予測部で予測する自車に対する前記ランドマークの位置のうちの少なくとも自車に対する前記ランドマークの距離と、それらの過去の履歴とから、最小二乗法を用いて、自車に対する前記ランドマークの位置を推定する請求項3に記載の車両用位置特定装置。
  5. 前記ランドマーク位置推定部は、前記第1ランドマーク位置情報取得部で取得する前記第1ランドマーク位置情報に含まれる前記ランドマークの自車に対する距離と、前記第2ランドマーク位置情報取得部で取得する前記第2ランドマーク位置情報に含まれる前記ランドマークの自車に対する仰角と、前記予測部で予測する自車に対する前記ランドマークの位置のうちの少なくとも自車に対する前記ランドマークの距離と、それらの過去の履歴とから、RANSACを用いて外れ値を排除しつつ、自車に対する前記ランドマークの位置を推定する請求項3に記載の車両用位置特定装置。
  6. 前記ランドマーク位置推定部は、前記第1ランドマーク位置情報取得部で取得する前記第1ランドマーク位置情報に含まれる前記ランドマークの自車に対する距離と、前記第2ランドマーク位置情報取得部で取得する前記第2ランドマーク位置情報に含まれる前記ランドマークの自車に対する仰角と、前記予測部で予測する自車に対する前記ランドマークの位置のうちの少なくとも自車に対する前記ランドマークの距離と、それらの過去の履歴とから、カルマンフィルタを用いて、自車に対する前記ランドマークの位置を推定する請求項3に記載の車両用位置特定装置。
  7. 車両で用いられ、コンピュータにより実施される車両用位置特定方法であって、
    前記車両に搭載される測距センサ(401)での検出結果から認識される、路面からの高さのあるランドマークの自車に対する位置の情報として、少なくとも前記ランドマークの自車に対する距離を含む第1ランドマーク位置情報を取得する第1ランドマーク位置情報取得工程と、
    前記車両に搭載されるカメラ(402)での撮像画像から認識される、前記ランドマークの自車に対する位置の情報として、少なくとも前記ランドマークの自車に対する仰角を含む第2ランドマーク位置情報を取得する第2ランドマーク位置情報取得工程と、
    前記第1ランドマーク位置情報取得工程で取得する前記第1ランドマーク位置情報に含まれる前記ランドマークの自車に対する距離に加え、前記第2ランドマーク位置情報取得工程で取得する前記第2ランドマーク位置情報に含まれる前記ランドマークの自車に対する仰角も用いて、自車に対する前記ランドマークの位置を推定するランドマーク位置推定工程と、
    前記ランドマークの地図上の位置を含む地図データを取得する地図データ取得工程と、
    前記ランドマーク位置推定工程で推定した自車に対する前記ランドマークの位置と、前記地図データに含まれる前記ランドマークの地図上の位置と、を照合することによって、地図上での前記車両の位置を特定する車両位置特定工程と
    前記ランドマーク位置推定工程での自車に対する前記ランドマークの位置の推定状態を特定する推定状態特定工程と、
    前記推定状態特定工程で特定する前記推定状態に応じた表示を前記車両に搭載される表示装置(60)に行わせる表示指示工程とを含み、
    前記推定状態特定工程では、前記推定状態として、前記ランドマークの位置の推定に前記測距センサと前記カメラとのいずれが利用できているかの状態を少なくとも含むものであって、
    前記表示指示工程では、前記ランドマークの位置の推定に前記測距センサと前記カメラとのいずれが利用できているかの状態の違いに応じて、前記表示装置に行わせる表示の態様を変更させる車両用位置特定方法。
JP2020048244A 2020-03-18 2020-03-18 車両用位置特定装置及び車両用位置特定方法 Active JP7342753B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020048244A JP7342753B2 (ja) 2020-03-18 2020-03-18 車両用位置特定装置及び車両用位置特定方法
US17/199,942 US11802770B2 (en) 2020-03-18 2021-03-12 Vehicle position identification device and vehicle position identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048244A JP7342753B2 (ja) 2020-03-18 2020-03-18 車両用位置特定装置及び車両用位置特定方法

Publications (2)

Publication Number Publication Date
JP2021148581A JP2021148581A (ja) 2021-09-27
JP7342753B2 true JP7342753B2 (ja) 2023-09-12

Family

ID=77747820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048244A Active JP7342753B2 (ja) 2020-03-18 2020-03-18 車両用位置特定装置及び車両用位置特定方法

Country Status (2)

Country Link
US (1) US11802770B2 (ja)
JP (1) JP7342753B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12124510B2 (en) 2022-05-10 2024-10-22 T-Mobile Innovations Llc Methods and systems for efficient data importation for data visualization
US11789986B1 (en) 2022-06-14 2023-10-17 T-Mobile Innovations Llc Methods and systems for querying data within a geographical boundary using a query tool
US12203773B1 (en) * 2022-06-29 2025-01-21 Amazon Technologies, Inc. Visual localization for autonomous ground vehicles
US11934430B2 (en) * 2022-07-14 2024-03-19 T-Mobile Innovations Llc Visualization of elevation between geographic locations using segmented vectors based on ground and clutter elevation data

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000337887A (ja) 1999-05-25 2000-12-08 Mitsubishi Electric Corp 移動体の自己位置標定装置
JP2007232690A (ja) 2006-03-03 2007-09-13 Denso Corp 現在地検出装置、地図表示装置、および現在地検出方法
JP2007257303A (ja) 2006-03-23 2007-10-04 Honda Motor Co Ltd 信号機認識装置
JP2007303842A (ja) 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置及び地図情報作成装置
JP2008242544A (ja) 2007-03-26 2008-10-09 Hitachi Ltd 衝突回避装置および方法
JP2009264983A (ja) 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
JP2011164069A (ja) 2010-02-15 2011-08-25 Mitsubishi Electric Corp 位置補正システム
JP2014203115A (ja) 2013-04-01 2014-10-27 パイオニア株式会社 検出装置、制御方法、プログラム及び記憶媒体
JP2015011666A (ja) 2013-07-02 2015-01-19 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP2016050840A (ja) 2014-08-29 2016-04-11 株式会社ゼンリン 位置特定装置およびデータ構造
JP2017199369A (ja) 2016-04-22 2017-11-02 カビウム・インコーポレーテッド 動的仮想システム・オン・チップのための方法および装置
JP2018510373A (ja) 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
WO2019082669A1 (ja) 2017-10-24 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019159494A1 (ja) 2018-02-13 2019-08-22 住友電気工業株式会社 情報生成装置、情報生成方法、コンピュータプログラムおよび車載装置
JP2019174191A (ja) 2018-03-27 2019-10-10 パイオニア株式会社 データ構造、情報送信装置、制御方法、プログラム及び記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381312B2 (ja) * 1993-07-23 2003-02-24 株式会社デンソー ナビゲーション装置
JP2009186353A (ja) 2008-02-07 2009-08-20 Fujitsu Ten Ltd 物体検出装置および物体検出方法
US9628958B1 (en) * 2013-03-15 2017-04-18 Paul McBurney User-controlled, smart device-based location and transit data gathering and sharing
JP6281459B2 (ja) 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
JPWO2017199369A1 (ja) * 2016-05-18 2019-03-07 パイオニア株式会社 地物認識装置、地物認識方法およびプログラム
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10558872B2 (en) * 2018-03-23 2020-02-11 Veoneer Us Inc. Localization by vision

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000337887A (ja) 1999-05-25 2000-12-08 Mitsubishi Electric Corp 移動体の自己位置標定装置
JP2007232690A (ja) 2006-03-03 2007-09-13 Denso Corp 現在地検出装置、地図表示装置、および現在地検出方法
JP2007257303A (ja) 2006-03-23 2007-10-04 Honda Motor Co Ltd 信号機認識装置
JP2007303842A (ja) 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置及び地図情報作成装置
JP2008242544A (ja) 2007-03-26 2008-10-09 Hitachi Ltd 衝突回避装置および方法
JP2009264983A (ja) 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
JP2011164069A (ja) 2010-02-15 2011-08-25 Mitsubishi Electric Corp 位置補正システム
JP2014203115A (ja) 2013-04-01 2014-10-27 パイオニア株式会社 検出装置、制御方法、プログラム及び記憶媒体
JP2015011666A (ja) 2013-07-02 2015-01-19 株式会社デンソー ヘッドアップディスプレイ及びプログラム
JP2016050840A (ja) 2014-08-29 2016-04-11 株式会社ゼンリン 位置特定装置およびデータ構造
JP2018510373A (ja) 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP2017199369A (ja) 2016-04-22 2017-11-02 カビウム・インコーポレーテッド 動的仮想システム・オン・チップのための方法および装置
WO2019082669A1 (ja) 2017-10-24 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019159494A1 (ja) 2018-02-13 2019-08-22 住友電気工業株式会社 情報生成装置、情報生成方法、コンピュータプログラムおよび車載装置
JP2019174191A (ja) 2018-03-27 2019-10-10 パイオニア株式会社 データ構造、情報送信装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
US20210293547A1 (en) 2021-09-23
JP2021148581A (ja) 2021-09-27
US11802770B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
JP7342753B2 (ja) 車両用位置特定装置及び車両用位置特定方法
JP7506829B2 (ja) 自律車両用途のための速度推定および物体追跡
CN106289275B (zh) 用于改进定位精度的单元和方法
CN109215083B (zh) 车载传感器的外部参数标定的方法和设备
US10698100B2 (en) Method and device for determining the position of a vehicle
RU2720140C1 (ru) Способ оценки собственной позиции и устройство оценки собственной позиции
Tao et al. Mapping and localization using GPS, lane markings and proprioceptive sensors
US11525682B2 (en) Host vehicle position estimation device
CN111176270B (zh) 使用动态地标的定位
US20220270358A1 (en) Vehicular sensor system calibration
JP7588138B2 (ja) 車両の軌道を決定する方法および装置
US20210213962A1 (en) Method for Determining Position Data and/or Motion Data of a Vehicle
EP2052208B1 (en) Determining the location of a vehicle on a map
JP2009294214A (ja) 地形構造を用いたナビゲーション方法及びシステム
CN108369277B (zh) 用于机动车的定位系统、机动车及方法
US11977159B2 (en) Method for determining a position of a vehicle
JP2016080460A (ja) 移動体
CN112415502A (zh) 雷达装置
US11959752B2 (en) Vehicular position specification apparatus and vehicular position specification method
JP6820762B2 (ja) 位置推定装置
US20150294465A1 (en) Vehicle position estimation system
Li et al. Environment mapping and vehicle localization with a high-resolution radar prototype
JP2017218115A (ja) 車両回転角推定装置
JP7610414B2 (ja) 自己位置推定装置
JP2024025040A (ja) 自車位置推定装置及び自車位置推定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R151 Written notification of patent or utility model registration

Ref document number: 7342753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151