[go: up one dir, main page]

JP7432447B2 - センサ認識統合装置 - Google Patents

センサ認識統合装置 Download PDF

Info

Publication number
JP7432447B2
JP7432447B2 JP2020103101A JP2020103101A JP7432447B2 JP 7432447 B2 JP7432447 B2 JP 7432447B2 JP 2020103101 A JP2020103101 A JP 2020103101A JP 2020103101 A JP2020103101 A JP 2020103101A JP 7432447 B2 JP7432447 B2 JP 7432447B2
Authority
JP
Japan
Prior art keywords
sensor
information
object information
integrated
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020103101A
Other languages
English (en)
Other versions
JP2021195018A (ja
Inventor
裕也 田中
克朗 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2020103101A priority Critical patent/JP7432447B2/ja
Priority to DE112021002118.4T priority patent/DE112021002118T5/de
Priority to US18/008,848 priority patent/US20230221432A1/en
Priority to PCT/JP2021/011102 priority patent/WO2021256032A1/ja
Publication of JP2021195018A publication Critical patent/JP2021195018A/ja
Application granted granted Critical
Publication of JP7432447B2 publication Critical patent/JP7432447B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、例えば異なる種類の複数センサからの複数物体データ（物体情報）の統合を低負荷で処理するためのセンサ認識統合装置に関する。
自動車の自動運転では、自車周辺の物体を認識し、それに従って運転の計画・判断を行う。物体を検知するためのセンサは、レーダ、カメラ、ソナー、レーザレーダなど多岐にわたる。これらのセンサは、検知範囲、検知可能な物体、検知精度、コストなどの条件が様々であるため、目的に応じて複数のセンサを組み合わせ、各センサで検知ないし取得した物体情報を統合する必要がある。しかし、取り扱う物体数が増加すると統合の処理コストに依存してECUの処理性能の向上が必要となるため、統合処理の負荷低減が必要である。なお、「処理コスト」とは統合のための処理時間を指す。
複数センサからの情報の処理負荷を低減する先行技術文献として特許文献1がある。特許文献1の図1に開示された技術は、第１検出範囲を有する長演算時間の第１レーダと、第１検出範囲に重複する第２検出範囲を有する短演算時間の第２レーダと、第１レーダの演算結果に基づき物標の存在判定を行う第１判定手段と、第２レーダの演算結果に基づき物標の存在判定を行う第２判定手段と、第１判定手段の存在判定結果から物標の存在を確定する存在確定手段と、存在確定手段によって前回の存在が確定した物標が、第１及び第２レーダの重複範囲において存在する場合には、第２レーダの演算結果を第２判定手段に入力して、当該第２判定手段で前回の物標の確定後の今回の存在判定を行わせる指定手段とを備えることを特徴とする。この物標検出装置では、第１及び第２レーダの重複範囲において物標の存在が確定した場合には、次の物標の存在の有無は、低い確度であっても確定できるため、指定手段は、存在確定手段によって存在が確定した物標が重複範囲に存在する場合、短演算時間の第２レーダの演算結果を第２判定手段に入力し、前回の物標の確定後の今回の存在を、第２判定手段で判定させる。これにより、物標を高速に検知できる。物標が第２レーダの非重複検出範囲から第１レーダとの重複領域に入ってきた場合には、重複範囲と非重複範囲との境界付近に重点的検出範囲を設定して検出範囲を狭めることで、演算量を低減できる。
特開２００６－０４６９６２号公報
しかしながら、特許文献1では、センサがレーダという同種類のセンサであることが前提であり、かつ、物標が第２レーダの非重複検出範囲から第１レーダとの重複領域に入ってきた場合に、重複範囲と非重複範囲との境界付近に検出範囲を狭めるだけであり、例えば複数種類のセンサを扱うシステム構成において、複数種類のセンサの特徴を活かして精度を保ちながら、統合処理の負荷低減が図れないといった課題がある。
本発明は、上記事情に鑑みてなされたもので、その目的とするところは、車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減を図ることができ、ECUの処理性能向上、コストアップを抑止することのできるセンサ認識統合装置を提供することにある。
上記課題を解決するため、本発明によるセンサ認識統合装置は、複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報を統合するセンサ認識統合装置であって、前記自車の挙動から推定した前記自車の行動と前記外界認識センサで検知した物体情報に基づき、前記物体の行動を予測した予測物体情報を生成する予測更新部と、前記予測物体情報と前記複数の物体情報との関連を算出するアソシエーション部と、前記複数の外界認識センサの検知領域の重複領域における特定領域と前記予測物体情報の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モードを切り替える統合処理モード判定部と、前記統合処理モードに基づいて、前記予測物体情報に関連づいた前記複数の物体情報を統合する統合対象情報生成部と、を備えることを特徴とする。
本発明によれば、検知状況に応じて、車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減が可能となり、ECUの処理性能向上、コストアップを抑止する効果が得られる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。 本発明の第１実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010が対象とするセンサ構成例である。 本発明の第１実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、アソシエーション部101のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合処理モード判定部102のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合対象情報生成部104のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、予測更新部100のフローチャートである。 本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合更新部105のフローチャートである。 図6の統合対象情報生成部104の統合処理として各センサの誤差が少ない成分を組み合わせる統合例（高処理負荷統合処理モード）の図である。 図6の統合対象情報生成部104の統合処理として各センサの物体を平均処理で求める統合例（低処理負荷統合処理モード）の図である。 図5の統合処理モード判定部102の条件として検知範囲の重複領域と境界部を用いる例を表す図である。 図11の検知範囲の重複領域の境界部と物標との距離を算出する模式図である。 本発明の第２実施形態の、進行路推定部B012を有するセンサ認識統合装置B006を含む自動運転システムの構成図である。 図5の統合処理モード判定部102の条件として進行路を用いる例を表す図である。 図5の統合処理モード判定部102の条件として信頼度を用いる例を表す図である。 統合処理モード判定部102の複数条件の組み合わせを表す図である。 本発明の第５実施形態の、自動運転計画判断装置B007からの計画軌道を入力とするセンサ認識統合装置B006を含む自動運転システムの構成図である。 本発明の第７実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。
以下、本発明を実施するための形態を図面に基づいて詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
≪第１実施形態≫
＜自動運転システムの全体構成＞
図1は、本発明の第１実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。本実施形態の自動運転システムは、自動車等の車両において、自車周辺（外界）の物体を認識し、それに従って運転の計画・判断を行い、車両走行制御を自動で行う、あるいは、運転者の運転操作（操縦）の支援を行うシステムである。
[構成説明]
本実施形態の自動運転システムは、情報取得装置B000、入力通信網B005、センサ認識統合装置B006、自動運転計画判断装置B007、アクチュエータ群B008から成り立つ。情報取得装置B000は、自車挙動認識センサB001、外界認識センサ群B002、測位システムB003、地図ユニットB004から成り立つ。センサ認識統合装置B006は、情報記憶部B009、センサ物体情報統合部B010、自車周辺情報統合部B011から成り立つ。
[入出力説明]
自車挙動認識センサB001は、認識した情報D001を入力通信網B005に出力する。
外界認識センサ群B002は、認識した情報D002を入力通信網B005に出力する。
測位システムB003は、測位した情報D003を入力通信網B005に出力する。
地図ユニットB004は、取得した情報D004を入力通信網B005に出力する。
入力通信網B005は、D001、D002、D003、D004を入力とし、通信網に流れる情報D005aをセンサ認識統合装置B006に出力する。また、入力通信網B005は、D001を入力とし、通信網に流れる情報D005bを自動運転計画判断装置B007に出力する。
センサ認識統合装置B006は、入力通信網B005からの情報D005aを入力とし、自車周辺情報である統合結果D011を出力情報として自動運転計画判断装置B007に出力する。
自動運転計画判断装置B007は、入力通信網B005からの情報D005bとセンサ認識統合装置B006からの統合結果D011を入力とし、命令情報である計画判断結果D007を出力情報としてアクチュエータ群B008に出力する。
情報記憶部B009は、入力通信網B005からの情報D005aを入力とし、記憶した情報D009aをセンサ物体情報統合部B010に出力する。また、情報記憶部B009は、記憶した情報D009bを自車周辺情報統合部B011に出力する。
センサ物体情報統合部B010は、情報記憶部B009からの情報D009aを入力とし、統合物体情報である統合結果D010を出力情報として自車周辺情報統合部B011に出力する。
自車周辺情報統合部B011は、情報記憶部B009からの情報D009bを入力とし、自車周辺情報である統合結果D011を出力情報として自動運転計画判断装置B007に出力する。
[データ説明]
自車挙動認識センサB001は、車両に搭載されるジャイロセンサ、車輪速度センサ、舵角センサ、加速度センサ等を含み、認識した情報D001には、それぞれ、自車の挙動を表すヨーレート、車輪速度、舵角、加速度等を含む。
外界認識センサ群B002からの認識した情報D002は、自車両の外（周辺）にある物体や、道路の白線、標識などを検知した情報（位置情報、速度情報等を含む）を含む。外界認識センサ群B002には、レーダ、カメラ、ソナーなどの複数の外界認識センサ（以下、単にセンサと呼ぶ）の組み合わせが用いられる。また、V2XやC2Xを含めてもよく、センサの構成には、特に制限はない。
測位システムB003からの測位した情報D003は、自車両の位置を推定した結果を含む。測位システムB003として用いられるものの一例として、衛星測位システムが挙げられる。
地図ユニットB004からの取得した情報D004は、自車周辺の地図情報を含む。また、取得した情報D004は、ナビゲーションと連携して経路情報を含んでもよい。
入力通信網B005からの情報D005aは、情報D001、D002、D003、D004の全て又は一部を含む。また、情報D005bは、少なくとも情報D001を含む。入力通信網B005は、車載システムで一般的に使用されているネットワークであるCAN（Controller Area Network）や、Ethernet（登録商標）、無線通信などが利用される。
センサ認識統合装置B006からの出力情報D011は、入力通信網B005から自車挙動情報、センサ物体情報、センサ道路情報、測位情報、地図情報のデータを自車周辺情報として統合したものを含む。
自動運転計画判断装置B007からの命令情報D007は、入力通信網B005からの情報と、センサ認識統合装置B006からの自車周辺情報に基づき、自車両をどのように移動するかを計画・判断した情報を含む。
アクチュエータ群B008は、自動運転計画判断装置B007からの命令情報D007に従い車両を動作させる。アクチュエータ群B008は、車両に搭載されるアクセル装置、ブレーキ装置、ステアリング装置等の各種アクチュエータを含む。
[サブ構成説明]
本実施形態のセンサ認識統合装置B006は、情報記憶部B009、センサ物体情報統合部B010、自車周辺情報統合部B011から成り立つ。
[サブデータ説明]
情報記憶部B009は、入力通信網B005からの情報を記憶し、センサ物体情報統合部B010と自車周辺情報統合部B011からの要求に応じて情報D009aを出力する。センサ物体情報統合部B010と自車周辺情報統合部B011からの要求とは、外界認識センサ群B002を構成する複数センサからの情報D002のデータの時刻同期や、座標系の共通化等を含む。センサ物体情報統合部B010は、情報記憶部B009から情報（センサ物体情報）D009aを取得し、外界認識センサ群B002を構成する複数のセンサで検知した同一物体の情報を同じものとして統合し（後で詳しく説明）、統合物体情報D010として自車周辺情報統合部B011に出力する。従って、センサ物体情報統合部B010については、測位システムB003及び地図ユニットB004を搭載しない場合においても、統合物体情報D010は出力可能であり、自車周辺情報統合部B011の出力情報D011の代わりに統合物体情報D010を出力することでシステムとして成立する。そのため、測位システムB003及び地図ユニットB004が必ずしも搭載されていなくても、本実施形態の動作が妨げられることはない。自車周辺情報統合部B011は、センサ物体情報統合部B010からの統合物体情報D010と、情報記憶部B009からの情報D009b（自車挙動情報、センサ道路情報、測位情報、地図情報を含む）を取得し、それらを自車周辺情報D011として統合して自動運転計画判断装置B007に出力する。自車周辺情報D011には、センサ物体情報統合部B010からの統合物体情報D010が道路上の白線や地図上の車線のいずれに属するかを付与した情報を含む。
＜外界認識センサ群B002の取り付け構成＞
図2は、本発明の第１実施形態の外界認識センサ群B002の一取り付け例である。自車F01の周辺にセンサ検知範囲F02を持つカメラセンサ、センサ検知範囲F03を持つ左前方レーダセンサ、センサ検知範囲F04を持つ右前方レーダセンサ、センサ検知範囲F05を持つ左後方レーダセンサ、センサ検知範囲F06を持つ右後方レーダセンサを配置し、それぞれのセンサ間で検知範囲が重複する（換言すれば、検知領域の重複領域を有する）構成を想定する。なお、取り付けの構成やセンサの種別は限定しない。冗長性や精度向上の観点より、種類の異なるセンサ構成が望ましい。
＜センサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック構成＞
図3は、本発明の第１実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。
[構成説明]
センサ物体情報統合部B010は、予測更新部100、アソシエーション部101、統合処理モード判定部102、統合対象情報生成部104、統合更新部105、統合物体情報記憶部106から成り立つ。センサ物体情報統合部B010の処理は、連続的に何回も繰り返し実行される。それぞれの実行で、どの時刻における情報を推定することを目的とするかが定められている。説明のため、時刻t1における情報を推定する実行がなされた後、時間Δt後の時刻である時刻t2における情報を推定する実行がされたものとする。
[データ説明]
センサ物体情報207A、207Bは、外界認識センサ群B002を構成するセンサ内の追跡処理により付与されたセンサ物体ID、自車両との相対位置、自車両との相対速度、誤差共分散を持つ。物体種別、検知時刻、情報の信頼度などの情報を追加で持っていてもよい。
統合処理モード209は、統合対象情報生成部104での統合方法を決定するモードを持つ。
予測物体情報200、統合物体情報205A、205B（図1の統合物体情報D010と同義）は、推定対象の時刻、物体ID、物体の相対位置、物体の相対速度の情報、誤差共分散、あるいはそれらに相当するものを持つ。他に、物体種別、情報の信頼度などの情報を追加で持つ場合もある。
統合対象情報204については、予測物体情報200の各物体の物体IDに対して、関連付け対象である統合後のセンサ物体についての情報が含まれる。統合対象情報204に含まれるセンサ物体情報の位置・速度は、元のセンサ物体情報207Aとは必ずしも一致せず、統合処理モード判定部102の統合処理モード209に基づき、外界認識センサ群B002を構成する複数センサの特徴を活かした統合値が算出される。
アソシエーション情報201A、201Bは、予測物体情報200と複数のセンサ物体情報207A、207Bの対応を表す情報を持つ。
センサ検知範囲（検知領域とも呼ぶ）208は、図2に示すように外界認識センサ群B002を構成する各センサの水平FOV（Field of view）、取り付け角度や最大検知距離等を持つ。
[流れ説明]
（予測更新部100）
予測更新部100は、統合物体情報記憶部106からの時刻t1における統合物体情報205Bを入力とし、時刻t2における予測物体情報200を生成して出力する。
（アソシエーション部101）
アソシエーション部101は、外界認識センサ群B002からの複数のセンサ物体情報207A、予測更新部100からの時刻t2における予測物体情報200を入力とし、時刻t2において、どの予測物体情報が複数のどのセンサ物体情報と対応づいているかを表すアソシエーション情報201Aを出力する。また、センサ物体情報207Aを変更せずに、センサ物体情報207Bとして出力する。なお、センサ物体情報207A及び207Bは、時刻t2における予測物体情報200と同じ時刻帯である必要があり、センサ物体情報207A及び207Bは、図1の情報記憶部B009で、時刻t2に時刻同期する。
（統合処理モード判定部102）
統合処理モード判定部102は、アソシエーション部101からのセンサ物体情報207B及びアソシエーション情報201A、予め図1の情報記憶部B009等に記憶されたセンサ検知範囲208に基づき、統合処理モード209を算出して（切り替えて）出力する（後で詳しく説明）。また、アソシエーション情報201Aを変更せずに、アソシエーション情報201Bとして出力する。
（統合対象情報生成部104）
統合対象情報生成部104は、統合処理モード判定部102からの時刻t2におけるアソシエーション情報201B、アソシエーション部101からのセンサ物体情報207B、統合処理モード判定部102からの統合処理モード209を入力とし、時刻t2における各予測物体について、対応づいている物体情報の座標・速度から統合値を算出し、統合対象情報204として出力する。この際、統合処理モード判定部102からの統合処理モード209に基づき、統合方法を切り替える機能を持つ（後で詳しく説明）。
（統合更新部105）
統合更新部105は、統合対象情報生成部104からの統合対象情報204と、予測更新部100からの時刻t2における予測物体情報200を入力とし、時刻t2において各物体がどのような状態（座標・速度等）であるかを推定し、統合物体情報205Aとして出力する。統合更新部105内部で、統合対象情報生成部104で統合方法が切り替わった場合でも物体の位置情報や速度情報が急に変化しないように統合物体情報205Aを作成するとよい。なお、統合対象情報生成部104で統合方法（すなわち、統合処理モード209）が切り替わった時に統合後の物体情報である統合物体情報205Aを滑らかに（連続的に）変化させるために、位置情報や速度情報が急変した場合は、変化前の値から変化後の値に線形補間で変化させる方法が考えられる。また、変化の方法は、線形補間だけでなく、スプラインによる補間としてもよい。
（統合物体情報記憶部106）
統合物体情報記憶部106は、統合更新部105からの統合物体情報205Aを記憶し、統合物体情報205Bとして予測更新部100へ出力する。
[フローチャート説明]
（アソシエーション部101）
図4は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、アソシエーション部101のフローチャートである。処理を開始（S500）する。予測更新部100からの予測物体情報200から未処理の予測物体を抽出（S502）する。S504において、未処理の予測物体が存在した場合（S504:Yes）、S508に進む。そして、時刻t2においてアソシエーション対象候補となるセンサ物体情報207Aのうちの全てのセンサ物体を抽出（S508）する。あるいはインデックス化などの手法により、少なくともアソシエーション対象となるもの全てが含まれる集合を抜き出すことも可である。次にS510において、アソシエーション対象候補のセンサ物体のうち、未処理のセンサ物体が存在する場合（S510:Yes）、S512において、未処理のセンサ物体に対して、アソシエーション判定（S512）を行い、S508に戻る。S510において未処理のセンサ物体が存在しなかった場合は（S510:No）、S502に戻る。S504において、未処理の予測物体が存在しない場合（S504:No）、処理を終了（S538）する。
アソシエーション判定（S512）では、予測更新部100からの予測物体情報200と外界認識センサ群B002からの複数のセンサ物体情報207Aに含まれるセンサ物体の位置情報や速度情報等の距離が近いかを判定し、アソシエーションするか否かを判定する。また、その結果をアソシエーション情報201Aとして出力する。この際に求める距離は、各センサにおける座標・速度のユークリッド空間上の距離や各センサにおける座標・速度、誤差共分散に基づきマハラノビス距離を用いてもよい。なお、マハラノビス距離は一般的に定義されている距離であり、本実施形態では説明を割愛する。
（統合処理モード判定部102）
図5は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合処理モード判定部102のフローチャートである。処理を開始（S550）し、S551に進む。S551では、予測更新部100からの予測物体情報200から未処理の予測物体を抽出する。そして、S554において、未処理の予測物体が存在する場合（S554:Yes）、S557に進む。S557において、アソシエーション部101で算出した予測物体情報200に紐づくアソシエーション情報201Aに複数のセンサ物体が存在する場合（S557:Yes）、S560に進む。S560では、予測物体情報200の位置情報と予め図1の情報記憶部B009等に記憶されたセンサ検知範囲208における境界までの距離561を算出し、S565に進む。S565において、算出された距離561が閾値以下の場合（S565:Yes）、高処理負荷統合処理モード（以下、高処理負荷モードとも呼ぶ）を設定（S571）する。S565において、算出された距離561が閾値以下ではない場合（S565:No）、低処理負荷統合処理モード（以下、低処理負荷モードとも呼ぶ）を設定（S572）する。なお、例えば、高処理負荷モードは、相対的に詳細に物体の位置及び速度に関する演算結果を求めるモードを指す。また、低処理負荷モードは、相対的に簡易的に物体の位置及び速度に関する演算結果を求めるモードを指す。S557において、アソシエーション情報201Aに単一のセンサ物体しか存在しない場合は（S557:No）、セレクト処理モードを設定（S573）する。また、S571、S572、S573の設定の結果を統合処理モード209として出力する。
S571、S572、S573の設定をすると、S551に戻る。そして、S554において未処理の予測物体が存在しなくなるまで繰り返し、未処理の予測物体が存在しない場合は（S554:No）、S588で、統合処理モード判定部102の処理を終了する。
なお、セレクト処理モード（S573）とは、単独のセンサの物体情報を採用することを意味する。低処理負荷統合処理モード（S572）でセレクト処理モード（S573）を実施してもよい。
ここで、予測物体情報200の位置情報とセンサ検知範囲208の重複領域における境界までの距離561を判定基準として、統合処理モード209（高処理負荷統合処理モード、低処理負荷統合処理モード）の設定（切り替え）を行うのは、センサ検知範囲208の重複領域における境界と境界以外の領域とでセンサの検知誤差が異なる、詳しくは、センサ検知範囲208の重複領域における境界のセンサの検知誤差が相対的に大きくなる傾向があるためである。
（統合対象情報生成部104）
図6は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合対象情報生成部104のフローチャートである。S600で統合対象情報生成部104の処理を開始し、S603に進む。S603で、統合処理モード判定部102からのアソシエーション情報201Bから未処理の予測物体を抽出し、S606に進む。S606で、未処理の予測物体が存在する場合（S606:Yes）、S609に進む。S609で、抽出した予測物体に関連づいたセンサ物体を抽出し、S618において、統合処理モード判定部102で算出した統合処理モード209に基づき、抽出したセンサ物体の情報を統合する（後で説明）。また、統合した結果を統合対象情報204として出力する。そして、S603に戻る。S606において、未処理の予測物体が存在しない場合（S606:No）、S624において統合対象情報生成を終了する。
どの予測物体とも紐づかないセンサからの物体については、各センサの物体間で図4の通りアソシエーションの判断を実施し、図5の統合処理モードを判定し、図6で同様に統合するとよい。
（予測更新部100）
図7は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、予測更新部100のフローチャートである。S650において、予測更新部100の処理を開始し、S653に進む。S653で、統合物体情報記憶部106からの統合物体情報205Bを基に、未処理の統合物体を抽出し、S656に進む。S656において、未処理の統合物体が存在する場合（S656:Yes）、S659に進み、未処理の統合物体が存在しない場合（S656:No）、S662に進む。S659において、外界認識センサ群B002からのセンサ物体情報は利用せずに、時刻t2での物体の状態を予測し、予測した結果を予測物体情報200として出力し、S653に戻る。S662において予測更新部100の処理を終了する。S659の予測の際は、自車の行動と物体の行動に基づき予測することを想定する。自車の行動は、自車の速度やヨーレート等により推定する。また、物体の行動は、物体の速度やヨーレート等により推定する。
（統合更新部105）
図8は、本発明の第１実施形態のセンサ物体情報統合部B010が実行する、統合更新部105のフローチャートである。S700で統合更新部105の処理を開始し、S703に進む。S703で、統合対象情報生成部104からの統合対象情報204から未処理の予測物体を抽出し、S706に進む。S706で、未処理の予測物体が存在する場合（S706:Yes）、S712に進み、未処理の予測物体が存在しない場合（S706:No）、S718に進む。S712で予測物体のアソシエーション対象である複数のセンサ物体を抽出し、S715に進む。S715で、予測更新部100からの予測物体と複数のセンサ物体から物体位置を推定し、推定した結果を統合物体情報205Aとして出力し、S703に戻る。S715のセンサ物体とは、統合後の物体を指す。S718において統合更新部105の処理を終了する。
[統合処理モードの追加説明]
統合処理モード判定部102における高処理負荷統合処理モードの一例、換言すれば、統合対象情報生成部104の統合処理で用いる高処理負荷統合処理モードの一例として、図9に示す統合方法があげられる。図9は自車の進行方向が上に向かう例である。
図9のF41はレーダによる物体の検知位置を表し、F44は誤差共分散を表す。外界認識センサとしてのレーダの誤差は角度分解能に依存するため、センサの取り付け方向に対して横方向に誤差が広がる。また、図9のF42はカメラによる物体の検知位置を表し、F45は誤差共分散を表す。外界認識センサとしてのカメラによる物体の誤差共分散は、画素ピッチのサイズ等によりセンサの取り付け方向に対して縦方向に誤差が広がる。このように原理の異なるセンサを扱う場合は、誤差の広がり（誤差分布）が異なることが考えられる。高処理負荷統合処理モードでは、各センサの誤差が少ない成分を取り、統合対象情報生成部104にて、その高処理負荷統合処理モードに基づき、統合結果F43を算出することで、物体の位置精度を高めることが可能である。本処理は、誤差共分散行列の逆行列演算が必要となり、高処理負荷な（詳細な）統合処理である。
また、統合処理モード判定部102における低処理負荷統合処理モードの一例、換言すれば、統合対象情報生成部104の統合処理で用いる低処理負荷統合処理モードの一例として、図10に示す統合方法があげられる。
図9と同様に、図10のF41はレーダによる物体の検知位置を表し、F44は誤差共分散を表す。また、図10のF42はカメラによる物体の検知位置を表し、F45は誤差共分散を表す。図10のF46が低処理負荷統合処理モードに基づく統合結果を表し、ここでの低処理負荷統合処理モードは、各センサの物体の位置の平均をとる方法である。本処理は、演算が単純であり、低処理負荷な（簡易な）統合処理である。なお、平均は重みづけ平均としてもよく、重みパラメータを誤差共分散から算出してもよい。低処理負荷でもセンサの特徴を考慮できるよう、重みをセンサ特有の情報から設定するのが望ましい。他にも低処理負荷な統合処理として、複数センサで検知した物体が存在する場合、どちらかのセンサの情報を採用する方法と使い分けるとよい。なお、どちらかのセンサの情報を採用する方法と図5のセレクト処理モード（S573）は同義である。
[境界までの距離算出の追加説明]
図5のS560における予測物体情報200の位置情報とセンサ検知範囲208における境界までの距離561の算出方法について補足する。図11において、予測物体情報F15がセンサ検知範囲に属している。F11、F14は単独のセンサ（例えばカメラ、又は、レーダ）の検知範囲、F12、F13は複数センサ（例えばカメラとレーダ）の検知範囲が重複する領域を表す。F13の点線は重複領域の境界部を表し、F12は重複領域の非境界部を表す。
統合対象情報生成部104では、センサ検知範囲が重複する領域が対象となり、F12、F13に位置する予測物体情報F15が統合の対象となる。なお、予測物体情報F15に対し、センサからの複数の物体をアソシエーション部101にてアソシエーションし、アソシエーションの対象となるセンサからの複数の物体が得られる。センサからの複数の物体同士が統合の対象となる。まず、予測物体情報F15がF12に属するかF13に属するかを決定するために、F13の境界部と予測物体情報F15の位置との距離を算出する。単純な方法として、図12に示す通り、F13の境界部に対し、予測更新情報F15の位置から垂線を引き、最も近い辺との距離d=min(d1,d2,d3)を境界部までの距離561（図12に示す例ではd1）とする。境界部の形状が複雑な場合は、多角形ポリゴンを定義し、各辺に対して距離を算出してもよい。図5におけるS565の距離が閾値以下かの判定では、境界部からのマージンを見て閾値を設定するとよい。また、センサ毎に閾値を変えてもよいし、閾値を可変としてもよい。
別途、図5の条件に加え、自車から物体（物標とも呼ぶ）までの距離が閾値以上の場合は、高処理負荷統合処理モードとし、自車から物体（物標）までの距離が閾値未満の場合は低処理負荷モードとしてもよい。これは、自車から物体までの距離が遠いほど、センサの検知誤差が拡大する傾向にあるため、センサの誤差が少ない成分を取り、統合結果の精度を高める高処理負荷モードとするとよい。
[効果の説明]
以上で説明したように、本実施形態は、複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報（センサ物体情報）を統合するセンサ認識統合装置B006であって、前記自車の挙動から推定した前記自車の行動と前記外界認識センサで検知した物体情報に基づき、前記物体の行動を予測した予測物体情報を生成する予測更新部100と、前記予測物体情報と前記複数の物体情報との関連（アソシエーション情報）を算出するアソシエーション部101と、前記複数の外界認識センサの検知領域の重複領域における特定領域（例えば境界部）と前記予測物体情報の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モード（前記複数の物体情報の統合処理を相対的に詳細な処理とする高処理負荷統合処理モード、前記複数の物体情報の統合処理を相対的に簡易な処理とする低処理負荷統合処理モード）を切り替える統合処理モード判定部102と、前記統合処理モードに基づいて、前記予測物体情報に関連づいた（対応づいた）前記複数の物体情報を統合する統合対象情報生成部104と、を備える。
本実施形態により、例えば、センサの重複領域における境界部に高処理負荷な統合処理を割り当て、それ以外は低処理負荷の統合処理とすることで、全体の高処理負荷な統合処理の割合を最小化し、処理負荷の低減効果が見込める。また、高処理負荷統合処理や低処理負荷統合処理に関わらず、物体の誤差共分散（誤差分布）を考慮した統合対象情報生成部104により、複数センサの誤差が少ない成分を取り合い、システムとしての精度向上が可能となる。
本実施形態によれば、検知状況に応じて、車両走行制御が必要とする必要最小限の精度を満たすよう統合処理の負荷低減が可能となり、ECUの処理性能向上、コストアップを抑止する効果が得られる。
≪第２実施形態≫
本第２実施形態では、第１実施形態と同じく、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図1の自動運転システム構成、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。図13は、本発明の第２実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。
図13では、図1の自動運転システム構成にサブ構成を追加している。追加箇所は、センサ認識統合装置B006に進行路推定部B012を追加するとともに、情報記憶部B009から情報（データ）D009cを進行路推定部B012に出力する。また、進行路推定部B012は、進行路推定結果D012をセンサ物体情報統合部B010に出力する。
進行路推定部B012は、情報記憶部B009からのデータD009cに基づき、自車F20の進行路F22（図14参照）を推定する。なお、自車の進行路とは、自車の走行軌跡を表し、付加的な情報として、軌跡上の自車の速度やヨーレートを持ってもよい。データD009cは、自車速度やヨーレート、舵角などの情報（例えば、自車挙動認識センサB001で取得されて情報記憶部B009に記憶）を表し、これらの情報に基づき、進行路推定部B012で今後自車がどのような走行軌跡をとるかを算出（推定）する。具体的には、舵角やヨーレートの状態に基づき自車の旋回半径を推定する。旋回半径に基づき自車がいつどの位置にいるかを予測し、進行路推定結果D012として、センサ物体情報統合部B010に出力する。
図14に示すシーンは、歩行者F21が道路を横断している状況で、自車F20が交差点を左折するシーンである。図14では、自車速度とヨーレートから推定した進行路F22（進行路推定部B012により算出）の予測位置がセンサ検知範囲F23、F24上に位置する。この場合、自車F20が走行する進行路F22に関連性の高い物体を優先とし、自車F20の進行路F22上に位置するF23、F24のセンサ検知範囲の重複部分においてのみ高処理負荷モードとし、それ以外のセンサ検知範囲F25、F26、F27に関しては、低処理負荷モードに切り替える。なお、第１実施形態に記載の図5のセンサ検知範囲（の重複領域）の境界部に基づく条件と組み合わせてもよい。
本第２実施形態の進行路F22を採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。なお、自車が走行する進行路を重視するため、警報やブレーキが必要となる可能性が高い歩行者F21は優先的に処理される。また、自車の左隣を通過する自転車やバイクが存在する場合は、図14のF26のセンサ検知範囲も優先度が高いため、シーンによって高処理負荷モードとする条件を切り替える必要がある。例えば、進行路F22の向きが左側だとすると、自車F20の左側に搭載のセンサの優先度を上げる方法が考えられる。また、別の考え方として、物体の予測位置を推定し、進行路F22に対し、横切る可能性があり、物体の相対速度が速いものに対し（つまり、進行路F22に対する物体の影響度が高いものに対し）、高処理負荷モードを適用し、それ以外の横切る可能性が低い物体に対しては（つまり、進行路F22に対する物体の影響度が低いものに対しては）低処理負荷モードとしてもよい。
≪第３実施形態≫
本第３実施形態では、第１実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。
図15に示すF31、F32は、センサ検知範囲に存在する信頼度が低下する領域の例である。F31は、カメラの検知範囲F02における信頼度が低下する領域を表し、信頼度が低下すると物体の位置や速度の精度低下や誤検知が起こりえる。また、F32は、レーダの検知範囲F03における信頼度が低下する領域を表し、信頼度が低下すると物体の位置や速度の精度低下や誤検知が起こりえる。従って、信頼度が他の領域よりも低下する領域については、検知範囲F02、F03の重複領域の境界部であっても、低処理負荷モードを適用する。信頼度が他の領域よりも高い領域に対し、検知範囲F02、F03の重複領域の境界部では、高処理負荷モードを適用する。この際、低処理負荷モードでは、信頼度が高いセンサの物体情報をセレクトする。
本第３実施形態のセンサ（外界認識センサ）の信頼度の考え方を採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。また、信頼度が低いセンサからの情報を除外することで、統合結果の誤検知や精度の低下を防止する効果がある。
また、上記第１、第２、第３実施形態を組み合わせ、図16に示すように各条件の組み合わせで高処理負荷モードか低処理負荷モードかセレクト処理モードかを切り替えてもよい。自車からの距離条件が非近傍の場合は、遠い位置にある物体を指し、近傍の場合は、近い位置にある物体を指す（第１実施形態の条件を参照）。また、重複条件が境界領域とは、検知範囲の重複領域の境界部を指し、非境界領域とは、検知範囲の重複領域の境界部以外を指す。重複条件が非重複領域とは、検知範囲が重複しない領域を指す（第１実施形態の条件を参照）。進行路条件が「○」のものは、進行路上に存在する検知範囲を指す。「×」の場合は、進行路上に存在しない検知範囲を指す（第２実施形態の条件を参照）。信頼度条件が「○」のものは、センサの信頼度が高い領域を指し、「×」の場合は、センサの信頼度が低い領域を指す（第３実施形態の条件を参照）。図16に示すように各条件の組み合わせで、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。
≪第４実施形態≫
本第４実施形態では、第１実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。
本第４実施形態では、統合処理モード209を予測物体の追跡状態に基づき切り替える（設定する）。ここでの追跡状態とは、予測物体を途切れることなく連続して追跡できた追跡時間を指す。連続して追跡できた場合は、追跡物体は同じ追跡IDが付与される。予測物体の追跡時間が短い初期検知である場合は、高処理負荷モードとし、ある程度、追跡時間が長くなった場合は、低処理負荷モードに切り替える。また、条件を追跡時間が長いかつ自車からの物体の距離が遠い場合としてもよい。また、予測物体の存在確率（例えば、予測物体の追跡時間等から算出）が低いと判断した場合は、低処理負荷モードとし、予測物体の存在確率が高いと判断した場合は、高処理負荷モードとする。他にも予測物体ではなく、センサで検知したセンサ物体の存在確率に応じて、高処理負荷モード、低処理負荷モード、セレクト処理モードを切り替えてもよい。
本第４実施形態の予測物体あるいはセンサ物体等からなる物体の追跡状態の考え方を採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。
≪第５実施形態≫
本第５実施形態では、第１実施形態と同じく、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図1の自動運転システム構成、図5の統合処理モード判定部102の判定条件が第１実施形態と異なる。図17は、本発明の第５実施形態のセンサ認識統合装置B006を含む自動運転システムの構成図である。
図17では、図13の自動運転システム構成に信号接続を追加している。追加箇所は、自動運転計画判断装置B007から計画軌道D007bをセンサ認識統合装置B006の情報記憶部B009に出力する。また、情報記憶部B009は、計画軌道D009dをセンサ物体情報統合部B010に出力する。
計画軌道とは、自動運転の際に統合結果D011を基に自動運転計画判断装置B007が計画した自車の走行軌道の目標値を指す。計画軌道は、地図ユニットB004からのナビゲーション情報に基づき、自動運転計画判断装置B007で車線レベルの計画軌道に変換したものである。
計画軌道D009dを、上記第２実施形態における図13の進行路推定結果D012、つまり図14の進行路F22に置き換えて、図5の統合処理モード判定部102で統合処理モードを切り替える。
本第５実施形態の車両（自車）を制御するための計画軌道D009dを採用することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。また、第２実施形態より精度の高い軌道を用いて、統合処理モード209を切り替え可能となり、誤ったモード切り替えが少なくなり、精度が高まる。
≪第６実施形態≫
本第６実施形態では、第１実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図6の統合対象情報生成部104の統合条件が第１実施形態と異なる。
本第６実施形態では、予測物体の追跡状態に基づき、追跡状態が安定している場合は、高負荷処理モードの実行頻度（処理周期）を間引き、代わりに間引いた処理周期では、低処理負荷モードを実行する。すなわち、高負荷処理モードの処理周期を予測物体の追跡状態に基づき可変とし、追跡状態が安定している場合は、高負荷処理モードの実行頻度（処理周期）を長く設定する。追跡状態が安定しているとは、物体が一定走行している場合やこれまでの追跡時間が長い場合、統合するセンサからの物体が頻繁に検知・非検知を繰り返していない状況が継続している場合などがあげられる。他にも予測物体ではなく、センサで検知したセンサ物体の追跡状態に応じて、高処理負荷モード等の統合処理モードの処理周期を可変としてもよい。
本第６実施形態の高負荷処理モードの実行周期を長く設定することにより、第１実施形態の効果に加え、より高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。また、予測物体等の物体の追跡状態が安定している場合に限られるため、予測更新との統合更新により、急な物体の位置の変化は抑えられる。
≪第７実施形態≫
本第７実施形態では、第１～第６実施形態と同じく、図1の自動運転システム構成、図3の機能ブロック図、図4～図8のフローチャートを採用する。ただし、図5の統合処理モード判定部102の統合処理モードを参照する処理が図4のアソシエーション部101となる。図18は、本発明の第７実施形態のセンサ認識統合装置B006のセンサ物体情報統合部B010の機能ブロック図である。
図18に示すように、アソシエーション部101の前段処理にアソシエーション処理モード判定部107を配置する。アソシエーション処理モード判定部107は、センサ検知範囲208と予測更新部100の予測物体情報200の情報に基づき、アソシエーション部101で参照するアソシエーション処理モード210を算出して（切り替えて）、アソシエーション部101に出力する。なお、アソシエーション処理モード判定部107の基本的な考え方は統合処理モード判定部102と同様である。第１実施形態と同様に、センサ検知範囲208で境界領域に予測物体情報200が位置する場合、アソシエーション処理モードを高処理負荷アソシエーションモードに設定する。それ以外の場合は、アソシエーション処理モードを低処理負荷アソシエーションモードに設定する。その他、上記第２～第６実施形態の考え方に準ずる。
また、図4のアソシエーション部101の処理では、アソシエーション処理モード210に基づき、アソシエーションの判定内容を高処理負荷の演算（相対的に詳細な処理）と低処理負荷の演算（相対的に簡易な処理）に切り替える。高処理負荷とは、例えば、予測物体とセンサからの物体の関連性を算出するために誤差共分散に基づきマハラノビス距離を算出する処理があげられる。低処理負荷では、ユークリッド距離から関連性を判定してもよい。但し、アソシエーションの精度を保つために、低処理負荷とする場合は、別途自車から物体が遠い場合など車両走行制御への影響が小さいシーンに限るとよい。
本第７実施形態により、第１実施形態と同様に、高処理負荷な統合処理の割合を最小化でき、処理負荷の低減効果が高まる。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
B000：情報取得装置
B001：自車挙動認識センサ
B002：外界認識センサ群
B003：測位システム
B004：地図ユニット
B005：入力通信網
B006：センサ認識統合装置
B007：自動運転計画判断装置（計画判断部）
B008：アクチュエータ群
B009：情報記憶部
B010：センサ物体情報統合部
B011：自車周辺情報統合部
B012：進行路推定部（第２実施形態）
100：予測更新部
101：アソシエーション部
102：統合処理モード判定部
104：統合対象情報生成部
105：統合更新部
106：統合物体情報記憶部
107：アソシエーション処理モード判定部（第７実施形態）

Claims (10)

  1. 種類が異なる複数の外界認識センサで検知した自車周辺の物体に関する複数の物体情報を統合するセンサ認識統合装置であって、
    前記自車の挙動から推定した前記自車の行動と前記外界認識センサで検知した物体情報に基づき、前記物体の行動を予測した予測物体情報を生成する予測更新部と、
    前記複数の外界認識センサの検知領域の重複領域における特定領域と前記予測物体情報における前記物体の位置の位置関係に基づいて、前記複数の物体情報の統合方法を決定する統合処理モードを切り替える統合処理モード判定部と、
    切り替え後の前記統合処理モードに基づいて、前記予測物体情報に関連づいた前記複数の物体情報を統合する統合対象情報生成部と、を備え、
    前記特定領域は、前記複数の外界認識センサの検知領域の重複領域における境界部、前記自車の挙動から推定した前記自車の進行路上に位置する前記複数の外界認識センサの検知領域の重複領域、前記複数の外界認識センサの検知領域の重複領域において前記外界認識センサの信頼度が低下する領域のうちの少なくとも１つを含む領域であり、
    前記統合処理モードは、前記複数の物体情報が前記特定領域に属する場合に前記複数の物体情報の統合処理を相対的に詳細な処理とする第一のモードと、前記複数の物体情報の少なくとも一つが前記特定領域に属さない場合に前記複数の物体情報の統合処理を相対的に簡易な処理とする第二のモードとを有することを特徴とするセンサ認識統合装置。
  2. 請求項１に記載のセンサ認識統合装置において、
    前記統合対象情報生成部は、各外界認識センサの誤差分布に基づく前記統合処理モードに基づいて、前記複数の物体情報を統合することを特徴とするセンサ認識統合装置。
  3. 請求項１に記載のセンサ認識統合装置において、
    前記統合処理モード判定部は、前記統合処理モードの切り替えを前記物体の追跡状態に基づいて行うことを特徴とするセンサ認識統合装置。
  4. 請求項３に記載のセンサ認識統合装置において、
    前記物体の追跡状態は、前記物体の追跡時間であることを特徴とするセンサ認識統合装置。
  5. 請求項３に記載のセンサ認識統合装置において、
    前記物体の追跡状態は、前記物体の存在確率であることを特徴とするセンサ認識統合装置。
  6. 請求項１に記載のセンサ認識統合装置において、
    前記統合処理モードの切り替え時に前記統合後の物体情報を連続的に変化させることを特徴とするセンサ認識統合装置。
  7. 請求項１に記載のセンサ認識統合装置において、
    統合された物体情報により前記自車を制御するための計画軌道を計画する計画判断部を備え、
    前記統合処理モード判定部は、前記計画軌道に基づき、前記統合処理モードを切り替えることを特徴とするセンサ認識統合装置。
  8. 請求項１に記載のセンサ認識統合装置において、
    前記詳細な処理の処理周期を前記物体の追跡状態に基づき可変とすることを特徴とするセンサ認識統合装置。
  9. 請求項１に記載のセンサ認識統合装置において、
    前記自車の挙動から推定した前記自車の進行路に対する前記物体の影響度により、前記統合処理モードを切り替えることを特徴とするセンサ認識統合装置。
  10. 請求項１に記載のセンサ認識統合装置において、
    前記統合処理モード判定部は、前記自車から前記物体までの距離に基づいて、前記統合処理モードを切り替えることを特徴とするセンサ認識統合装置。
JP2020103101A 2020-06-15 2020-06-15 センサ認識統合装置 Active JP7432447B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020103101A JP7432447B2 (ja) 2020-06-15 2020-06-15 センサ認識統合装置
DE112021002118.4T DE112021002118T5 (de) 2020-06-15 2021-03-18 Sensorerkennungsintegrationsvorrichtung
US18/008,848 US20230221432A1 (en) 2020-06-15 2021-03-18 Sensor recognition integration device
PCT/JP2021/011102 WO2021256032A1 (ja) 2020-06-15 2021-03-18 センサ認識統合装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020103101A JP7432447B2 (ja) 2020-06-15 2020-06-15 センサ認識統合装置

Publications (2)

Publication Number Publication Date
JP2021195018A JP2021195018A (ja) 2021-12-27
JP7432447B2 true JP7432447B2 (ja) 2024-02-16

Family

ID=79196915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020103101A Active JP7432447B2 (ja) 2020-06-15 2020-06-15 センサ認識統合装置

Country Status (4)

Country Link
US (1) US20230221432A1 (ja)
JP (1) JP7432447B2 (ja)
DE (1) DE112021002118T5 (ja)
WO (1) WO2021256032A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186412B1 (ja) * 2022-04-04 2022-12-09 和博 山内 車両群

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006046962A (ja) 2004-07-30 2006-02-16 Toyota Motor Corp 物標検出装置
JP2017132285A (ja) 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
JP2017223607A (ja) 2016-06-17 2017-12-21 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP2018092483A (ja) 2016-12-06 2018-06-14 トヨタ自動車株式会社 物体認識装置
JP2019158390A (ja) 2018-03-08 2019-09-19 日立オートモティブシステムズ株式会社 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4523095B2 (ja) * 1999-10-21 2010-08-11 富士通テン株式会社 情報処理装置、情報統合装置および情報処理方法
JP2014145731A (ja) * 2013-01-30 2014-08-14 Toyota Motor Corp 物標検出装置及び物標検出方法
JP6432482B2 (ja) * 2015-10-14 2018-12-05 株式会社デンソー 車両制御装置、車両制御方法
JP2017117344A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置
JP7147648B2 (ja) * 2019-03-20 2022-10-05 トヨタ自動車株式会社 運転支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006046962A (ja) 2004-07-30 2006-02-16 Toyota Motor Corp 物標検出装置
JP2017132285A (ja) 2016-01-25 2017-08-03 日立オートモティブシステムズ株式会社 車両走行制御システム、及び車両走行制御方法
JP2017223607A (ja) 2016-06-17 2017-12-21 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP2018092483A (ja) 2016-12-06 2018-06-14 トヨタ自動車株式会社 物体認識装置
JP2019158390A (ja) 2018-03-08 2019-09-19 日立オートモティブシステムズ株式会社 信号処理システム、及びその評価システム、並びにその信号処理システムに用いられる信号処理装置

Also Published As

Publication number Publication date
US20230221432A1 (en) 2023-07-13
JP2021195018A (ja) 2021-12-27
WO2021256032A1 (ja) 2021-12-23
DE112021002118T5 (de) 2023-03-09

Similar Documents

Publication Publication Date Title
JP6935813B2 (ja) 運転支援方法及び運転支援装置
EP3048023B1 (en) Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system
CN113498519B (zh) 用于识别拐入车辆或拐出车辆的方法及控制单元
JP7156394B2 (ja) 他車動作予測方法及び他車動作予測装置
US11794728B2 (en) Electronic control device
CN116209611B (zh) 在自动驾驶中使用其他道路使用者对自我交通工具行为的反应的方法和系统
CN112292717A (zh) 预测控制装置
KR20230167301A (ko) 동적 및 정적 물체 회피를 위한 정밀 도로지도 기반 지역 경로 계획 방법 및 장치
JP6943005B2 (ja) 車線変更判定方法及び車線変更判定装置
JP7432447B2 (ja) センサ認識統合装置
US20220392276A1 (en) Vehicle behavior evaluation device, vehicle behavior evaluation method, and vehicle behavior evaluation program product
US11618460B1 (en) Predictive planning
US11634133B1 (en) Adaptive automatic preventative braking (APB) distance
JP7630087B2 (ja) 制御システム及び制御方法
JP6838769B2 (ja) 周辺環境認識装置、表示制御装置
JP7356892B2 (ja) 車両の走行環境推定方法、及び、走行環境推定システム
EP4247687A1 (en) Method and system for forecasting reactions of other road users in autonomous driving
KR102155054B1 (ko) 인공지능을 활용한 주변차량 컷인 의도 예측 방법
KR102179835B1 (ko) 무선통신을 포함한 차량센서 기반의 객체선정 알고리즘 및 주변차량 주행 의도를 고려한 경로 예측 방법 및 시스템
JP6689337B2 (ja) 自動運転制御装置および自動運転制御方法
KR20230014008A (ko) 인공신경망을 이용한 주행 차량의 충돌 가능성 판단 방법 및 장치
KR20220075601A (ko) 자율주행차량에서의 회피주행경로 공유 방법 및 장치
US20250108804A1 (en) Surrounding traffic speed management system
US20240317220A1 (en) Vehicle control system
JP7559713B2 (ja) 自動運転システム、パスプラン生成方法、プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R150 Certificate of patent or registration of utility model

Ref document number: 7432447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150