JP6169146B2

JP6169146B2 - 物体認識統合装置および物体認識統合方法

Info

Publication number: JP6169146B2
Application number: JP2015204232A
Authority: JP
Inventors: 森　正憲; 正憲森
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-10-16
Filing date: 2015-10-16
Publication date: 2017-07-26
Anticipated expiration: 2035-10-16
Also published as: JP2017075881A

Description

本発明は、複数のセンサからそれぞれ受信した物体の検出データを統合して物体の状態値を推定する物体認識統合装置および物体認識統合方法に関するものである。

従来の物体認識統合装置（例えば、特許文献１参照）では、自車に搭載した第１のセンサおよび第２のセンサの出力を受信し、受信された第１のセンサおよび第２のセンサの出力からそれぞれ第１の観測値および第２の観測値を同期的に検出する。

続いて、検出された第１の観測値および第２の観測値をグラフ・ネットワーク上に投影し、第１の観測値および第２の観測値を、グラフ・ネットワーク上において軌跡を有する目標物に対して関連付ける。そして、センサ特性に基づいて第１の観測値および第２の観測値のいずれかを選択することで、目標物の現在位置を推定する。

特開２０１４−２５９２５号公報

特許文献１に記載の従来技術では、自車に搭載した第１のセンサおよび第２のセンサの出力から、観測値を同期的に検出することを前提とする。なお、特許文献１でいう観測値とは、本願でいう検出データに相当する。

上記の前提を満たすためには、第１のセンサおよび第２のセンサが同種であるか、または第１のセンサおよび第２のセンサの出力を受信する受信タイミングを制御する必要がある。なお、第１のセンサおよび第２のセンサがアクティブセンサの場合には、第１のセンサおよび第２のセンサの出力の受信タイミングだけでなく、第１のセンサおよび第２のセンサが物体に送信する検出波の送信タイミングも併せて制御する必要がある。

しかしながら、第１のセンサおよび第２のセンサの一方のセンサで検出することができない物体を他方のセンサで検出可能とするためには、第１のセンサおよび第２のセンサが異種である必要がある。また、第１のセンサおよび第２のセンサが異種である場合、第１のセンサおよび第２のセンサの出力の受信タイミングが同期的になるよう制御するために、専用の装置が必要となり、その結果、装置規模およびコストが増大する。

このように、特許文献１に記載の従来技術では、第１のセンサおよび第２のセンサが異種である場合、第１のセンサおよび第２のセンサの出力の受信タイミングを考慮しなければ、目標物の現在位置を推定することができないという問題がある。

本発明は、上記のような課題を解決するためになされたものであり、複数のセンサの出力の受信タイミングに関わらず、物体の現在の状態を推定することができる物体認識統合装置および物体認識統合方法を得ることを目的とする。

本発明における物体認識統合装置は、複数のセンサのそれぞれから受信した物体データから物体の状態値を推定する物体認識統合装置であって、時刻を計測する時刻計測部と、物体データを受信し、受信した物体データごとに、時刻計測部によって計測された時刻を関連時刻として関連付けるデータ受信部と、データ受信部によって関連付けられた関連時刻に対応する物体の状態値を、１つ前の関連時刻の航跡データから予測し、予測結果を予測データとして生成する予測処理部と、予測処理部によって生成された予測データと、関連時刻に対応する物体データとから、状態値を更新し、更新結果を航跡データとして生成する更新処理部と、処理時刻ごとに状態値を予測し、予測結果を出力データとして生成する外挿処理部と、を備え、今回の処理時刻において、１つ前の前回の処理時刻から今回の処理時刻までの期間に受信された物体データごとに関連付けられた関連時刻ごとに、予測処理部による動作と更新処理部による動作とが行われ、外挿処理部は、今回の処理時刻で最後に行われた、予測処理部による動作と更新処理部による動作とによって生成された航跡データから、今回の処理時刻での状態値を予測するものである。

また、本発明における物体認識統合方法は、複数のセンサのそれぞれから受信した物体データから物体の状態値を推定する物体認識統合方法であって、時刻を計測する時刻計測ステップと、物体データを受信し、受信した物体データごとに、時刻計測ステップで計測された時刻を関連時刻として関連付けるデータ受信ステップと、データ受信ステップで関連付けられた関連時刻に対応する物体の状態値を、１つ前の関連時刻の航跡データから予測し、予測結果を予測データとして生成する予測処理ステップと、予測処理ステップで生成された予測データと、関連時刻に対応する物体データとから、状態値を更新し、更新結果を航跡データとして生成する更新処理ステップと、処理時刻ごとに状態値を予測し、予測結果を出力データとして生成する外挿処理ステップと、を備え、今回の処理時刻において、１つ前の前回の処理時刻から今回の処理時刻までの期間に受信された物体データごとに関連付けられた関連時刻ごとに、予測処理ステップと更新処理ステップとが行われ、外挿処理ステップでは、今回の処理時刻で最後に行われた、予測処理ステップと更新処理ステップとよって生成された航跡データから、今回の処理時刻での状態値を予測するものである。

本発明によれば、複数のセンサのそれぞれから受信した物体データごとに関連付けられた関連時刻の予測データを、１つ前の関連時刻の航跡データから生成する処理と、関連時刻の予測データと関連時刻に対応する物体データとから関連時刻の航跡データを生成する処理とを、関連時刻ごとに行うことで最後に生成された航跡データから、処理時刻での物体の状態値を出力データとして生成するよう構成されている。これにより、複数のセンサの出力の受信タイミングに関わらず、物体の現在の状態を推定することができる物体認識統合装置および物体認識統合方法を得ることができる。

本発明の実施の形態１における物体認識統合装置を含む物体認識統合システムの構成を示すブロック図である。本発明の実施の形態１における物体認識統合装置の動作を示すフローチャートである。本発明の実施の形態１における物体認識統合装置の動作の一例を説明するためのタイムチャートである。本発明の実施の形態２における物体認識統合装置の動作を示すフローチャートである。本発明の実施の形態２における物体認識統合装置の動作の一例を説明するためのタイムチャートである。

以下、本発明による物体認識統合装置および物体認識統合方法を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。

実施の形態１．
図１は、本発明の実施の形態１における物体認識統合装置４を含む物体認識統合システムの構成を示すブロック図である。図１における物体認識統合システムは、第１のセンサ１、第２のセンサ２、車両情報センサ３、物体認識統合装置４および表示部５を備える。

第１のセンサ１および第２のセンサ２の各センサは、検出可能な検出範囲に存在する物体に関する情報を、１つ以上の検出データを含む物体データとして検出し、その物体データを物体認識統合装置４に送信する。

ここで、検出データには、例えば、物体までの距離、物体の方位角または物体の相対速度等の情報が含まれる。また、一般的に、各センサにおいて、検出範囲に１つの物体が存在する場合、物体データには１つの検出データが含まれ、検出範囲に複数の物体が存在する場合、物体データには複数の検出データが含まれる。

以下では、第１のセンサ１によって検出された物体データを第１の物体データと表記し、第２のセンサ２によって検出された物体データを第２の物体データと表記する。

第１のセンサ１および第２のセンサ２として、例えば、物体から放射された光または電磁波等の検出波を受信し、受信した検出波に対して信号処理または画像処理等の処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いればよい。第１のセンサ１および第２のセンサ２として、物体に検出波を照射し、その物体から反射した検出波を受信し、受信した検出波に対して処理が行われることで、その物体に関する情報を検出するタイプのセンサを用いてもよい。具体的には、第１のセンサ１および第２のセンサ２として、例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサまたは光学カメラ等を用いることができる。

第１のセンサ１および第２のセンサ２の自車への搭載位置、および第１のセンサ１および第２のセンサ２の各センサの検出範囲は、既知であるものとする。また、第１のセンサ１および第２のセンサ２の自車への搭載位置等は任意に設定することができる。

ここで、本発明では、第１のセンサ１によって検出された第１の物体データと、第２のセンサ２によって検出された第２の物体データとを統合するので、第１のセンサ１の検出範囲と、第２のセンサ２の検出範囲において、共通する部分、すなわち、重複する部分が存在することが望ましい。また、第１のセンサ１および第２のセンサ２の一方のセンサによって検出することができない物体を、他方のセンサによって検出可能とするため、第１のセンサ１および第２のセンサ２は、互いに相異なるセンサ方式とすることが望ましい。

具体的には、例えば、第１のセンサ１としてミリ波レーダを用い、第２のセンサ２として光学カメラを用い、第１のセンサ１を自車の前方バンパー部中央に搭載し、第２のセンサ２を自車のルームミラー裏側に搭載し、自車の前方を両センサの共通の検出範囲とすることが考えられる。

車両情報センサ３は、自車に関する情報を自車データとして検出し、検出された自車データを物体認識統合装置４に送信する。なお、自車データには、例えば、自車の速度、車輪速、ステアリング角またはヨーレート等の情報が含まれる。

なお、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）を用いて、自車の緯度、経度または進行方向を、自車データとして検出するように、車両情報センサ３を構成してもよい。

物体認識統合装置４は、第１のセンサ１および第２のセンサ２のそれぞれから受信した物体データから物体の状態値を推定する。物体認識統合装置４は、時刻計測部４１、データ受信部４２、更新処理部４３、外挿処理部４４および予測処理部４５を有する。なお、物体認識統合装置４は、例えば、メモリに記憶されたプログラムを実行するＣＰＵと、システムＬＳＩ等の処理回路によって実現される。

時刻計測部４１は、物体認識統合装置４の時刻を計測する。なお、時刻計測部４１によって計測された時刻を共通時刻と呼ぶ。

データ受信部４２は、第１のセンサ１から第１の物体データを受信し、第２のセンサ２から第２の物体データを受信し、車両情報センサ３から自車データを受信する。また、データ受信部４２は、受信したデータごとに、時刻計測部４１によって計測された共通時刻を関連時刻として関連付けたものを、観測データとして加工する。データ受信部４２は、その観測データを更新処理部４３に出力する。

なお、各データと関連付けられる関連時刻について、各データを受信した順に各データの関連時刻が並んでいれば、各データに関連する時刻としてどのような時刻を採用してもよい。例えば、データ受信部４２による各データの受信時刻を各データに対応する関連時刻とすればよい。

具体的には、データ受信部４２は、受信したデータごとに、時刻計測部４１によって計測された共通時刻から受信時刻を確定する。データ受信部４２は、受信した第１の物体データ、第２の物体データおよび自車データのそれぞれを、受信時刻と関連付けたものを、観測データとして加工し、その観測データを更新処理部４３に出力する。

更新処理部４３は、後述する予測処理部４５から入力された予測データと、データ受信部４２から入力された観測データとから、物体の状態値を更新することで、その更新結果を航跡データとして生成する。また、更新処理部４３は、生成された航跡データを外挿処理部４４および予測処理部４５に出力する。

ここで、物体の状態値とは、第１のセンサ１または第２のセンサ２によって検出された物体の位置、速度、加速度または種別等の情報である。また、更新処理部４３は、例えば、最小二乗法、カルマンフィルタまたは粒子フィルタ等を用いて、物体の状態値を更新する。

外挿処理部４４は、更新処理部４３から入力された航跡データを用いて、物体認識統合装置４の処理時刻での物体の状態値を予測し、その予測結果を出力データとして生成する。また、外挿処理部４４は、生成された出力データを、例えば、表示部５に出力する。この場合、表示部５は、外挿処理部４４から入力された出力データを表示する。

予測処理部４５は、更新処理部４３から入力された航跡データを用いて、観測データに含まれている受信時刻での物体の状態値を予測し、その予測結果を予測データとして生成する。また、予測処理部４５は、生成された予測データを更新処理部４３に出力する。

次に、本実施の形態１における物体認識統合装置４の動作について、図２を参照しながら説明する。図２は、本発明の実施の形態１における物体認識統合装置４の動作を示すフローチャートである。なお、図２のフローチャートの各ステップの処理内容を説明するにあたって、重複する内容は適宜省略する。

なお、物体認識統合装置４は、例えば、あらかじめ設定された設定周期で図２のフローチャートの処理を繰り返し実行する。また、図２のフローチャートの処理は、ある処理時刻ｔｋ、すなわち、今回の処理時刻ｔｋでの物体認識統合装置４の動作を示している。以下では、今回の処理時刻ｔｋの１つ前の前回の処理時刻をｔｋ−１と表記する。

まず、ステップＳ１０１において、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に第１のセンサ１から第１の物体データを受信したか否かを判定する。

ここで、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間において、第１のセンサ１から第１の物体データを受信していれば、時刻計測部４１によって計測された共通時刻から、その第１の物体データを受信した時刻を受信時刻として確定する。以下では、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間における第１の物体データの受信時刻を受信時刻Ｔ１と表記する。また、データ受信部４２は、その第１の物体データと、その受信時刻Ｔ１とを関連付けたものを、観測データとして生成していることとなる。

ステップＳ１０１において、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に第１のセンサ１から第１の物体データを受信した場合には、ステップＳ１０２へと進み、第１の物体データを受信していない場合には、ステップＳ１１４へと進む。なお、データ受信部４２は、第１のセンサ１から第１の物体データを受信したものの、その第１の物体データの中身が空、すなわち、すべて無効な検出データであった場合、ステップＳ１１４へ進むように構成してもよい。

ステップＳ１０２において、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に第２のセンサ２から第２の物体データを受信したか否かを判定する。

ここで、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間において、第２のセンサ２から第２の物体データを受信していれば、時刻計測部４１によって計測された共通時刻から、その第２の物体データを受信した時刻を受信時刻として確定する。以下では、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間における第２の物体データの受信時刻を受信時刻Ｔ２と表記する。また、データ受信部４２は、その第２の物体データと、その受信時刻Ｔ２とを関連付けたものを、観測データとして生成していることとなる。

ステップＳ１０２において、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に第２のセンサ２から第２の物体データを受信した場合には、ステップＳ１０３へと進み、第２の物体データを受信していない場合には、ステップＳ１１２へと進む。なお、データ受信部４２は、第２のセンサ２から第２の物体データを受信したものの、その第２の物体データの中身が空、すなわち、すべて無効な検出データであった場合、ステップＳ１１２へ進むように構成してもよい。

なお、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間において、第１のセンサ１および第２のセンサ２の両方のセンサから物体データを受信するわけでなく、どちらか一方のセンサのみから物体データを受信する場合もあるし、両方のセンサから物体データを受信しない場合もある。また、受信時刻Ｔ１およびＴ２は、処理時刻ｔｋ−１よりも後であって、かつ処理時刻ｔｋよりも前の時刻である。

また、例えば、第１のセンサ１および第２のセンサ２の間で内部時刻を同期させておき、各センサにおいて、物体データに加えて、その物体データが検出された検出時刻も併せてデータ受信部４２に出力するように構成してもよい。この場合、データ受信部４２は、時刻計測部４１によって計測された共通時刻を用いずに、各センサから入力された検出時刻を各受信時刻として確定するように構成される。

ただし、第１のセンサ１および第２のセンサ２の間で常に内部時刻を同期させることができるとは限らない。そこで、データ受信部４２は、時刻計測部４１によって計測された共通時刻を用いて、各センサによって検出された物体データを受信した時刻を各受信時刻として確定するように構成されることが望ましい。また、データ受信部４２による物体データの受信に時間がかかる場合には、データ受信部４２は、その物体データの受信が完了した時刻を各受信時刻として確定するように構成されることが望ましい。

また、データ受信部４２は、必要に応じて、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間において、車両情報センサ３から受信した自車データに基づいて、第１のセンサ１および第２のセンサ２の各センサから受信した物体データを補正する。

ステップＳ１０３において、データ受信部４２は、受信時刻Ｔ１と受信時刻Ｔ２とを比較し、受信時刻Ｔ１が受信時刻Ｔ２の前の場合には、ステップＳ１０４へと進み、受信時刻Ｔ１が受信時刻Ｔ２の前でない場合には、ステップＳ１０８へと進む。

ステップＳ１０４において、予測処理部４５は、受信時刻Ｔ１よりも１つ前の受信時刻の航跡データを用いて、受信時刻Ｔ１での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１の予測データとして生成し、ステップＳ１０５へと進む。

このように、予測処理部４５は、データ受信部４２によって確定された受信時刻Ｔ１に対応する物体の状態値を、１つ前の受信時刻の航跡データから予測し、その予測結果を受信時刻Ｔ１の予測データとして生成する。

ステップＳ１０５において、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ１の予測データと、データ受信部４２によって受信された受信時刻Ｔ１の第１の物体データとから、受信時刻Ｔ１での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１の航跡データとして生成し、ステップＳ１０６へと進む。

このように、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ１の予測データと、その受信時刻Ｔ１の物体データとから、物体の状態値を更新し、その更新結果を受信時刻Ｔ１の航跡データとして生成する。

なお、受信時刻Ｔ１における予測データおよび第１の物体データから、受信時刻Ｔ１での物体の状態値を更新する手法としては、任意に規定することができ、どのような手法を採用してもかまわない。

また、更新処理部４３は、第１の物体データに１つ以上の検出データが含まれる場合、例えば、以下のような手法によって、各物体の状態値を更新する。すなわち、更新処理部４３は、各物体において、受信時刻Ｔ１の予測データを基準とする一定範囲内に、第１の物体データの検出データが１つ以上含まれる場合、その予測データに最も近い検出データを、その予測データに対して割り当てる。更新処理部４３は、各物体において、予測データと、その予測データに対して割り当てられた検出データとから、状態値を更新する。

また、更新処理部４３は、第１の物体データに含まれる検出データにおいて、どの物体についても、受信時刻Ｔ１の予測データを基準とする一定範囲内に含まれない検出データが存在する場合、その検出データを新たな物体のものと捉え、その検出データから新たな物体の状態値を生成する。

さらに、更新処理部４３は、各物体において、受信時刻Ｔ１の予測データを基準とする一定範囲内に、第１の物体データの検出データが含まれない場合、その予測データに対して検出データを割り当てることができないので、その予測データを航跡データとする。

なお、上記の場合、更新処理部４３は、予測データに対して検出データが割り当てられなかった回数を計測するカウンタをインクリメントしてもよい。この場合、更新処理部４３は、予測データに対して検出データが割り当てられた場合、カウンタを０にリセットする。また、例えば、カウンタが設定値を超えたとすると、予測処理部４５は、予測データを削除する。

ステップＳ１０６において、予測処理部４５は、更新処理部４３によって生成された受信時刻Ｔ１の航跡データを用いて、受信時刻Ｔ２での物体の状態値を予測することで、その予測結果を受信時刻Ｔ２の予測データとして生成し、ステップＳ１０７へと進む。

このように、予測処理部４５は、データ受信部４２によって確定された受信時刻Ｔ２に対応する物体の状態値を、１つ前の受信時刻Ｔ１の航跡データから予測し、その予測結果を受信時刻Ｔ２の予測データとして生成する。

ステップＳ１０７において、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ２の予測データと、データ受信部４２によって受信された受信時刻Ｔ２の第２の物体データとを用いて、受信時刻Ｔ２での物体の状態値を更新することで、その更新結果を受信時刻Ｔ２の航跡データとして生成し、ステップＳ１１７へと進む。

このように、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ２の予測データと、その受信時刻Ｔ２の物体データとから、物体の状態値を更新し、その更新結果を受信時刻Ｔ２の航跡データとして生成する。

なお、上記と同様に、受信時刻Ｔ２における予測データおよび第２の物体データを用いて、受信時刻Ｔ２での物体の状態値を更新する手法としては、任意に規定することができ、どのような手法を採用してもかまわない。

以上から分かるように、ステップＳ１０４〜Ｓ１０７では、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した物体データごとに関連付けられた受信時刻Ｔ１、Ｔ２ごとに、時系列順、すなわち、受信時刻Ｔ１、Ｔ２の順で予測処理部４５による動作と更新処理部４３による動作とが行われている。

ステップＳ１０３の判定処理によってステップＳ１０８へと進んだ場合、ステップＳ１０８において、予測処理部４５は、受信時刻Ｔ２よりも１つ前の受信時刻の航跡データを用いて、受信時刻Ｔ２での物体の状態値を予測することで、その予測結果を受信時刻Ｔ２の予測データとして生成し、ステップＳ１０９へと進む。

このように、予測処理部４５は、データ受信部４２によって確定された受信時刻Ｔ２に対応する物体の状態値を、１つ前の受信時刻の航跡データから予測し、その予測結果を受信時刻Ｔ２の予測データとして生成する。

ステップＳ１０９において、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ２の予測データと、データ受信部４２によって受信された受信時刻Ｔ２の第２の物体データとを用いて、受信時刻Ｔ２での物体の状態値を更新することで、その更新結果を受信時刻Ｔ２の航跡データとして生成し、ステップＳ１１０へと進む。

ステップＳ１１０において、予測処理部４５は、更新処理部４３によって生成された受信時刻Ｔ２の航跡データを用いて、受信時刻Ｔ１での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１の予測データとして生成し、ステップＳ１１１へと進む。

このように、予測処理部４５は、データ受信部４２によって確定された受信時刻Ｔ１に対応する物体の状態値を、１つ前の受信時刻Ｔ２の航跡データから予測し、その予測結果を受信時刻Ｔ１の予測データとして生成する。

ステップＳ１１１において、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ１の予測データと、データ受信部４２によって受信された受信時刻Ｔ１の第１の物体データとを用いて、受信時刻Ｔ１での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１の航跡データとして生成し、ステップＳ１１７へと進む。

以上から分かるように、ステップＳ１０８〜Ｓ１１１では、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した物体データごとに関連付けられた受信時刻Ｔ１、Ｔ２ごとに、時系列順、すなわち、受信時刻Ｔ２、Ｔ１の順で予測処理部４５による動作と更新処理部４３による動作とが行われている。

ステップＳ１０２の判定処理によってステップＳ１１２へと進んだ場合、ステップＳ１１２において、予測処理部４５は、受信時刻Ｔ１よりも１つ前の受信時刻の航跡データを用いて、受信時刻Ｔ１での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１の予測データとして生成し、ステップＳ１１３へと進む。

ステップＳ１１３において、予測処理部４５は、予測処理部４５によって生成された受信時刻Ｔ１の予測データと、データ受信部４２によって受信された受信時刻Ｔ１の第１の物体データとを用いて、受信時刻Ｔ１での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１の航跡データとして生成し、ステップＳ１１７へと進む。

ステップＳ１０１の判定処理によってステップＳ１１４へと進んだ場合、ステップＳ１１４において、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に第２のセンサ２から第２の物体データを受信したか否かを判定する。

ステップＳ１１４において、データ受信部４２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に第２のセンサ２から第２の物体データを受信した場合には、ステップＳ１１５へと進み、第２の物体データを受信していない場合には、ステップＳ１１７へと進む。

ステップＳ１１５において、予測処理部４５は、受信時刻Ｔ２よりも１つ前の受信時刻の航跡データを用いて、受信時刻Ｔ２での物体の状態値を予測することで、その予測結果を受信時刻Ｔ２の予測データとして生成し、ステップＳ１１６へと進む。

ステップＳ１１６において、更新処理部４３は、予測処理部４５によって生成された受信時刻Ｔ２の予測データと、データ受信部４２によって受信された受信時刻Ｔ２の第２の物体データとを用いて、受信時刻Ｔ２での物体の状態値を更新することで、その更新結果を受信時刻Ｔ２の航跡データとして生成し、ステップＳ１１７へと進む。

以上から分かるように、ステップＳ１１７が実行される前の処理として、処理時刻ｔｋにおいて、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した物体データごとに関連付けられた受信時刻ごとに、時系列順で予測処理部４５による動作と更新処理部４３による動作とが行われている。

前段ステップ、すなわち、ステップＳ１０７、Ｓ１１１、Ｓ１１３およびＳ１１６のいずれかが実行された後、ステップＳ１１７において、外挿処理部４４は、前段ステップの処理で生成された航跡データを用いて、処理時刻ｔｋでの物体の状態値を予測することで、その予測結果を処理時刻ｔｋの出力データとして生成し、一連の処理を終了する。

このように、外挿処理部４４は、処理時刻ｔｋで最後に行われた、予測処理部４５による動作と更新処理部４３による動作とによって生成された航跡データから、処理時刻ｔｋでの物体の状態値を予測し、その予測結果を処理時刻ｔｋの出力データとして生成する。

なお、ステップＳ１１４が実行された後、ステップＳ１１７が実行される場合、ステップＳ１１７において、外挿処理部４４は、以下の処理を行う。すなわち、ステップＳ１１７において、外挿処理部４４は、処理時刻ｔｋ−１に最も近い受信時刻の航跡データを用いて、処理時刻ｔｋでの物体の状態値を予測することで、その予測結果を処理時刻ｔｋの出力データとして生成し、一連の処理を終了する。

このように、外挿処理部４４は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間にデータ受信部４２によって物体データが受信されなかったとき、処理時刻ｔｋ−１よりも早い受信時刻の航跡データから、処理時刻ｔｋでの物体の状態値を予測し、その予測結果を処理時刻ｔｋの出力データとして生成する。

次に、本実施の形態１における物体認識統合装置４の動作について、図３を参照しながらさらに説明する。図３は、本発明の実施の形態１における物体認識統合装置４の動作の一例を説明するためのタイムチャートである。

なお、図３において、点線矢印は、第１のセンサ１から受信した第１の物体データを示し、破線矢印は、第２のセンサ２から受信した第２の物体データを示す。また、各矢印で示される物体データの中身は、空でないものとする。

また、図３から分かるように、第１のセンサ１の出力である第１の物体データの受信タイミングと、第２のセンサ２の出力である第２の物体データの受信タイミングとは、非同期である。

第１に、処理時刻ｔ１から処理時刻ｔ２までの期間において、データ受信部４２は、受信時刻Ｔ１（１）に第１のセンサ１から第１の物体データを受信し、受信時刻Ｔ１（１）よりも後の受信時刻Ｔ２（１）に第２のセンサ２から第２の物体データを受信したと想定する。

この場合、処理時刻ｔ２において、予測処理部４５は、受信時刻Ｔ１（１）よりも１つ前の受信時刻の航跡データを用いて、受信時刻Ｔ１（１）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１（１）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ１（１）の予測データと、受信時刻Ｔ１（１）の第１の物体データとを用いて、受信時刻Ｔ１（１）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１（１）の航跡データとして生成する。

続いて、予測処理部４５は、受信時刻Ｔ１（１）の航跡データを用いて、受信時刻Ｔ２（１）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ２（１）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ２（１）の予測データと、受信時刻Ｔ２（１）の第２の物体データとを用いて、受信時刻Ｔ２（１）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ２（１）の航跡データとして生成する。

続いて、外挿処理部４４は、受信時刻Ｔ２（１）の航跡データを用いて、処理時刻ｔ２での物体の状態値を予測することで、その予測結果を処理時刻ｔ２の出力データとして生成する。

上記から分かるように、処理時刻ｔ２では、先の図２のフローチャートにおいて、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０４→Ｓ１０５→Ｓ１０６→Ｓ１０７→Ｓ１１７の順に処理が実行されることとなる。

第２に、処理時刻ｔ２から処理時刻ｔ３までの期間において、データ受信部４２は、受信時刻Ｔ１（２）に第１のセンサ１から第１の物体データを受信したと想定する。

この場合、処理時刻ｔ３において、予測処理部４５は、受信時刻Ｔ１（２）よりも１つ前の受信時刻Ｔ２（１）の航跡データを用いて、受信時刻Ｔ１（２）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１（２）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ１（２）の予測データと、受信時刻Ｔ１（２）の第１の物体データとを用いて、受信時刻Ｔ１（２）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１（２）の航跡データとして生成する。

続いて、外挿処理部４４は、受信時刻Ｔ１（２）の航跡データを用いて、処理時刻ｔ３での物体の状態値を予測することで、その予測結果を処理時刻ｔ３の出力データとして生成する。

上記から分かるように、処理時刻ｔ３では、先の図２のフローチャートにおいて、ステップＳ１０１→Ｓ１０２→Ｓ１１２→Ｓ１１３→Ｓ１１７の順に処理が実行されることとなる。

第３に、処理時刻ｔ３から処理時刻ｔ４までの期間において、データ受信部４２は、受信時刻Ｔ２（２）に第２のセンサ２から第２の物体データを受信し、受信時刻Ｔ２（２）よりも後の受信時刻Ｔ１（３）に第１のセンサ１から第１の物体データを受信したと想定する。

この場合、処理時刻ｔ４において、予測処理部４５は、受信時刻Ｔ２（２）よりも１つ前の受信時刻Ｔ１（２）の航跡データを用いて、受信時刻Ｔ２（２）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ２（２）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ２（２）の予測データと、受信時刻Ｔ２（２）の第２の物体データとを用いて、受信時刻Ｔ２（２）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ２（２）の航跡データとして生成する。

続いて、予測処理部４５は、受信時刻Ｔ２（２）の航跡データを用いて、受信時刻Ｔ１（３）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１（３）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ１（３）の予測データと、受信時刻Ｔ１（３）の第１の物体データとを用いて、受信時刻Ｔ１（３）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１（３）の航跡データとして生成する。

続いて、外挿処理部４４は、受信時刻Ｔ１（３）の航跡データを用いて、処理時刻ｔ４での物体の状態値を予測することで、その予測結果を処理時刻ｔ４の出力データとして生成する。

上記から分かるように、処理時刻ｔ４では、先の図２のフローチャートにおいて、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０８→Ｓ１０９→Ｓ１１０→Ｓ１１１→Ｓ１１７の順に処理が実行されることとなる。

第４に、処理時刻ｔ４から処理時刻ｔ５までの期間において、データ受信部４２は、第１のセンサ１および第２のセンサ２のいずれからも物体データを受信していないと想定する。

この場合、処理時刻ｔ５において、外挿処理部４４は、処理時刻ｔ４に最も近い受信時刻Ｔ１（３）の航跡データを用いて、処理時刻ｔ５での物体の状態値を予測することで、その予測結果を処理時刻ｔ５の出力データとして生成する。

上記から分かるように、処理時刻ｔ５では、先の図２のフローチャートにおいて、ステップＳ１０１→Ｓ１１４→Ｓ１１７の順に処理が実行されることとなる。

第５に、処理時刻ｔ５から処理時刻ｔ６までの期間において、データ受信部４２は、受信時刻Ｔ２（３）に第２のセンサ２から第２の物体データを受信し、受信時刻Ｔ２（３）よりも後の受信時刻Ｔ１（４）に第１のセンサ１から第１の物体データを受信したと想定する。

この場合、処理時刻ｔ６において、予測処理部４５は、受信時刻Ｔ２（３）よりも１つ前の受信時刻Ｔ１（３）の航跡データを用いて、受信時刻Ｔ２（３）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ２（３）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ２（３）の予測データと、受信時刻Ｔ２（３）の第２の物体データとを用いて、受信時刻Ｔ２（３）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ２（３）の航跡データとして生成する。

続いて、予測処理部４５は、受信時刻Ｔ２（３）の航跡データを用いて、受信時刻Ｔ１（４）での物体の状態値を予測することで、その予測結果を受信時刻Ｔ１（４）の予測データとして生成する。

続いて、更新処理部４３は、受信時刻Ｔ１（４）の予測データと、受信時刻Ｔ１（４）の第１の物体データとを用いて、受信時刻Ｔ１（４）での物体の状態値を更新することで、その更新結果を受信時刻Ｔ１（４）の航跡データとして生成する。

続いて、外挿処理部４４は、受信時刻Ｔ１（４）の航跡データを用いて、処理時刻ｔ６での物体の状態値を予測することで、その予測結果を処理時刻ｔ６の出力データとして生成する。

上記から分かるように、処理時刻ｔ６では、先の図２のフローチャートにおいて、ステップＳ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０８→Ｓ１０９→Ｓ１１０→Ｓ１１１→Ｓ１１７の順に処理が実行されることとなる。

なお、本実施の形態１では、処理時刻ｔｋにおいて、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した物体データごとに関連付けられた受信時刻ごとに、時系列順で予測処理部４５による動作と更新処理部４３による動作とが行われる場合を例示したが、これに限定されない。

すなわち、処理時刻ｔｋにおいて、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した物体データごとに関連付けられた受信時刻ごとに、予測処理部４５による動作と更新処理部４３による動作とが行われるのであれば、これらの動作が行われる順序は、時系列順でなく、どのような順序であってもよい。具体的には、例えば、あらかじめ定められた順序として、各物体データの受信時刻の時系列によらず、常に、第１の物体データの受信時刻、次いで第２の物体データの受信時刻の順序で、予測処理部４５による動作と更新処理部４３による動作とが行われるように構成してもよい。

また、本実施の形態１では、物体データを検出するセンサの個数が２個の場合を例示したが、３個以上の場合であっても、本願発明を適用可能である。

以上、本実施の形態１によれば、複数のセンサのそれぞれから物体データを受信し、受信した物体データごとに、時刻計測部によって計測された時刻を関連時刻として関連付けるデータ受信部と、データ受信部によって関連付けられた関連時刻に対応する物体の状態値を、１つ前の関連時刻の航跡データから予測し、予測結果を予測データとして生成する予測処理部と、予測処理部によって生成された予測データと、関連時刻に対応する物体データとから、状態値を更新し、更新結果を航跡データとして生成する更新処理部と、処理時刻ごとに状態値を予測し、予測結果を出力データとして生成する外挿処理部とを備えて構成されている。

また、今回の処理時刻において、１つ前の前回の処理時刻から今回の処理時刻までの期間に受信された物体データごとに関連付けられた関連時刻ごとに、予測処理部による動作と更新処理部による動作とが行われ、外挿処理部は、今回の処理時刻で最後に行われた、予測処理部による動作と更新処理部による動作とによって生成された航跡データから、今回の処理時刻での状態値を予測するよう構成されている。

これにより、複数のセンサの出力の受信タイミングに関わらず、物体の現在の状態を推定することができる。

なお、本実施の形態１では、今回の処理時刻において、前回の処理時刻から今回の処理時刻までの期間に受信された物体データごとに関連付けられた関連時刻ごとに、時系列順で予測処理部による動作と更新処理部による動作とが行われる場合を例示している。

また、本実施の形態１では、データ受信部は、物体データを受信し、受信した物体データごとに、時刻計測部によって計測された時刻から受信時刻を確定し、確定された受信時刻を関連時刻として関連付けるよう構成されている場合を例示している。

実施の形態２．
本発明の実施の形態２では、先の実施の形態１に対して、第１のセンサ１および第２のセンサの各センサによって物体データが検出された検出時刻と、その物体データがデータ受信部４２によって受信された受信時刻との間の遅れ時間を考慮する場合を説明する。なお、本実施の形態２では、先の実施の形態１と同様である点の説明を省略し、先の実施の形態１と異なる点を中心に説明する。

ここで、検出時刻と受信時刻との間には、例えば、各センサの信号処理時間および画像処理時間と、各センサとデータ受信部４２との間のデータ送受信時間等による遅れ時間が存在する。そこで、本実施の形態２における物体認識統合装置４は、受信時刻に対して遅れ時間を減算することで検出時刻を算出し、その受信時刻の代わりに、その算出された検出時刻を踏まえて、各処理時刻の出力データを生成する。なお、遅れ時間は、センサ方式等によって値が異なり、ここでは、第１のセンサ１と第２のセンサ２とで遅れ時間が異なるものとする。

次に、本実施の形態２における物体認識統合装置４の動作について、図４のフローチャートを参照しながら説明する。図４は、本発明の実施の形態２における物体認識統合装置４の動作を示すフローチャートである。なお、図４のフローチャートは、先の図２のフローチャートに対して、受信時刻Ｔ１およびＴ２が検出時刻Ｔ’１およびＴ’２に置き換わるとともに、さらにステップＳ１１８を備えている。

まず、ステップＳ１１８において、データ受信部４２は、すでに確定されている処理時刻ｔｋ−１から処理時刻ｔｋまでの期間における受信時刻から遅れ時間を減算した検出時刻を確定し、ステップＳ１０１へと進む。受信時刻Ｔ１から遅れ時間が減算された検出時刻を検出時刻Ｔ’１と表記し、受信時刻Ｔ２から遅れ時間が減算された検出時刻を検出時刻Ｔ’２と表記する。なお、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間における受信時刻が存在しなければ、ステップＳ１１８において、データ受信部４２は、検出時刻を確定しない。

ここで、上記のとおり、受信時刻Ｔ１およびＴ２のそれぞれから減算する遅れ時間は、センサ方式等によって異なる。したがって、検出時刻Ｔ’１およびＴ’２は、処理時刻ｔｋよりも早いが、１つ前の処理時刻ｔｋ−１よりも遅いとは限らない。また、検出時刻Ｔ’１およびＴ’２の前後関係は、受信時刻Ｔ１およびＴ２の前後関係を保存するとは限らない。さらに、遅れ時間によっては、例えば、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した第１の物体データの検出時刻Ｔ’１よりも、処理時刻ｔｋから１つ後の処理時刻ｔｋ＋１までの期間に受信した第２の物体データの検出時刻Ｔ’２の方が早くなることがある。

また、本実施の形態２における物体認識統合装置４は、ステップＳ１１８を実行した後、先の図２のフローチャートの各ステップと同様の処理を行い、一連の処理を終了する。

次に、本実施の形態２における物体認識統合装置４の動作について、図５を参照しながらさらに説明する。図５は、本発明の実施の形態２における物体認識統合装置４の動作の一例を説明するためのタイムチャートである。なお、図５に示す各受信時刻は、先の図３に示す各受信時刻と同様である。

この場合、処理時刻ｔ２において、データ受信部４２は、受信時刻Ｔ１（１）から第１のセンサ１に対応する第１の遅れ時間を減算することで、検出時刻Ｔ’１（１）を確定するとともに、受信時刻Ｔ２（１）から第２のセンサ２に対応する第２の遅れ時間を減算することで、検出時刻Ｔ’２（１）を確定する。なお、ここでは、各検出時刻の前後関係は、各受信時刻の前後関係とは異なり、検出時刻Ｔ’１（１）は、検出時刻Ｔ’２（１）の後であるものとする。

続いて、予測処理部４５は、検出時刻Ｔ’２（１）よりも１つ前の検出時刻の航跡データを用いて、検出時刻Ｔ’２（１）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’２（１）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’２（１）の予測データと、検出時刻Ｔ’２（１）の第２の物体データとを用いて、検出時刻Ｔ’２（１）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’２（１）の航跡データとして生成する。

続いて、予測処理部４５は、検出時刻Ｔ’２（１）の航跡データを用いて、検出時刻Ｔ’１（１）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’１（１）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’１（１）の予測データと、検出時刻Ｔ’１（１）の第１の物体データとを用いて、検出時刻Ｔ’１（１）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’１（１）の航跡データとして生成する。

続いて、外挿処理部４４は、検出時刻Ｔ’１（１）の航跡データを用いて、処理時刻ｔ２での物体の状態値を予測することで、その予測結果を処理時刻ｔ２の出力データとして生成する。

上記から分かるように、処理時刻ｔ２では、先の図４のフローチャートにおいて、ステップＳ１１８→Ｓ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０８→Ｓ１０９→Ｓ１１０→Ｓ１１１→Ｓ１１７の順に処理が実行されることとなる。

この場合、処理時刻ｔ３において、データ受信部４２は、受信時刻Ｔ１（２）から第１の遅れ時間を減算することで、検出時刻Ｔ’１（２）を確定する。

続いて、予測処理部４５は、検出時刻Ｔ’１（２）よりも１つ前の検出時刻Ｔ’１（１）の航跡データを用いて、検出時刻Ｔ’１（２）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’１（２）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’１（２）の予測データと、検出時刻Ｔ’１（２）の第１の物体データとを用いて、検出時刻Ｔ’１（２）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’１（２）の航跡データとして生成する。

続いて、外挿処理部４４は、検出時刻Ｔ’１（２）の航跡データを用いて、処理時刻ｔ３での物体の状態値を予測することで、その予測結果を処理時刻ｔ３の出力データとして生成する。

上記から分かるように、処理時刻ｔ３では、先の図４のフローチャートにおいて、ステップＳ１１８→Ｓ１０１→Ｓ１０２→Ｓ１１２→Ｓ１１３→Ｓ１１７の順に処理が実行されることとなる。

この場合、処理時刻ｔ４において、データ受信部４２は、受信時刻Ｔ２（２）から第２の遅れ時間を減算することで、検出時刻Ｔ’２（２）を確定するとともに、受信時刻Ｔ１（３）から第１の遅れ時間を減算することで、検出時刻Ｔ’１（３）を確定する。

続いて、予測処理部４５は、検出時刻Ｔ’２（２）よりも１つ前の検出時刻Ｔ’１（２）の航跡データを用いて、検出時刻Ｔ’２（２）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’２（２）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’２（２）の予測データと、検出時刻Ｔ’２（２）の第２の物体データとを用いて、検出時刻Ｔ’２（２）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’２（２）の航跡データとして生成する。

続いて、予測処理部４５は、検出時刻Ｔ’２（２）の航跡データを用いて、検出時刻Ｔ’１（３）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’１（３）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’１（３）の予測データと、検出時刻Ｔ’１（３）の第１の物体データとを用いて、検出時刻Ｔ’１（３）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’１（３）の航跡データとして生成する。

続いて、外挿処理部４４は、検出時刻Ｔ’１（３）の航跡データを用いて、処理時刻ｔ４での物体の状態値を予測することで、その予測結果を処理時刻ｔ４の出力データとして生成する。

上記から分かるように、処理時刻ｔ４では、先の図４のフローチャートにおいて、ステップＳ１１８→Ｓ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０８→Ｓ１０９→Ｓ１１０→Ｓ１１１→Ｓ１１７の順に処理が実行されることとなる。

この場合、処理時刻ｔ５において、外挿処理部４４は、処理時刻ｔ４に最も近い検出時刻Ｔ’１（３）の航跡データを用いて、処理時刻ｔ５での物体の状態値を予測することで、その予測結果を処理時刻ｔ５の出力データとして生成する。

上記から分かるように、処理時刻ｔ５では、先の図４のフローチャートにおいて、ステップＳ１１８→Ｓ１０１→Ｓ１１４→Ｓ１１７の順に処理が実行されることとなる。

この場合、処理時刻ｔ６において、データ受信部４２は、受信時刻Ｔ２（３）から第２の遅れ時間を減算することで、検出時刻Ｔ’２（３）を確定するとともに、受信時刻Ｔ１（４）から第１の遅れ時間を減算することで、検出時刻Ｔ’１（４）を確定する。

続いて、予測処理部４５は、検出時刻Ｔ’２（３）よりも１つ前の検出時刻Ｔ’１（３）の航跡データを用いて、検出時刻Ｔ’２（３）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’２（３）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’２（３）の予測データと、検出時刻Ｔ’２（３）の第２の物体データとを用いて、検出時刻Ｔ’２（３）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’２（３）の航跡データとして生成する。

続いて、予測処理部４５は、検出時刻Ｔ’２（３）の航跡データを用いて、検出時刻Ｔ’１（４）での物体の状態値を予測することで、その予測結果を検出時刻Ｔ’１（４）の予測データとして生成する。

続いて、更新処理部４３は、検出時刻Ｔ’１（４）の予測データと、検出時刻Ｔ’１（４）の第１の物体データとを用いて、検出時刻Ｔ’１（４）での物体の状態値を更新することで、その更新結果を検出時刻Ｔ’１（４）の航跡データとして生成する。

続いて、外挿処理部４４は、検出時刻Ｔ’１（４）の航跡データを用いて、処理時刻ｔ６での物体の状態値を予測することで、その予測結果を処理時刻ｔ６の出力データとして生成する。

上記から分かるように、処理時刻ｔ６では、先の図４のフローチャートにおいて、ステップＳ１１８→Ｓ１０１→Ｓ１０２→Ｓ１０３→Ｓ１０８→Ｓ１０９→Ｓ１１０→Ｓ１１１→Ｓ１１７の順に処理が実行されることとなる。

なお、本実施の形態２では、データ受信部４２によって算出された検出時刻の時系列順に、更新処理部４３によって各検出時刻での物体の航跡データが生成されるよう構成する場合を説明したが、単純に、遅れ時間は考慮しながら、受信時刻の時系列順に、更新処理部４３によって各検出時刻での物体の航跡データが生成されるよう構成する場合も考えられる。

しかしながら、受信時刻の時系列順に、各検出時刻での物体の航跡データが生成されるよう構成される場合、遅れ時間の値によっては、最も古い検出時刻での物体の航跡データが最後に生成される可能性がある。この場合、外挿処理部４４は、処理時刻での状態値を予測する際において、その最も古い検出時刻からその処理時刻まで遷移する外挿時間が、他の検出時刻での航跡データが最後に生成されるときと比較して、長くなる。その結果、外挿時間が長くなることで物体の状態の推定精度が劣化する。したがって、本実施の形態２で説明したように、検出時刻の時系列順に、更新処理部４３によって各検出時刻での物体の航跡データが生成されるよう構成することが望ましい。

以上、本実施の形態２によれば、先の実施の形態１の構成に対して、データ受信部は、物体データを受信し、受信した物体データごとに、時刻計測部によって計測された時刻から受信時刻を確定し、確定された受信時刻から遅れ時間を減算した検出時刻をさらに確定し、確定された検出時刻を関連時刻として関連付けるよう構成される。

これにより、複数のセンサの出力の受信タイミングに関わらず、さらには、遅れ時間が存在する場合であっても、物体の現在の状態を推定することができる。

１第１のセンサ、２第２のセンサ、３車両情報センサ、４物体認識統合装置、４１時刻計測部、４２データ受信部、４３更新処理部、４４外挿処理部、４５予測処理部、５表示部。

Claims

複数のセンサのそれぞれから受信した物体データから物体の状態値を推定する物体認識統合装置であって、
時刻を計測する時刻計測部と、
前記物体データを受信し、受信した物体データごとに、前記時刻計測部によって計測された時刻を関連時刻として関連付けるデータ受信部と、
前記データ受信部によって関連付けられた関連時刻に対応する物体の状態値を、１つ前の関連時刻の航跡データから予測し、予測結果を予測データとして生成する予測処理部と、
前記予測処理部によって生成された前記予測データと、前記関連時刻に対応する物体データとから、前記状態値を更新し、更新結果を前記航跡データとして生成する更新処理部と、
処理時刻ごとに前記状態値を予測し、予測結果を出力データとして生成する外挿処理部と、
を備え、
今回の処理時刻において、１つ前の前回の処理時刻から前記今回の処理時刻までの期間に受信された物体データごとに関連付けられた関連時刻ごとに、前記予測処理部による動作と前記更新処理部による動作とが行われ、
前記外挿処理部は、
前記今回の処理時刻で最後に行われた、前記予測処理部による動作と前記更新処理部による動作とによって生成された前記航跡データから、前記今回の処理時刻での前記状態値を予測する
物体認識統合装置。
前記期間に受信された物体データごとに関連付けられた関連時刻ごとに、時系列順で前記予測処理部による動作と前記更新処理部による動作とが行われる
請求項１に記載の物体認識統合装置。
前記外挿処理部は、
前記期間に前記データ受信部によって前記物体データが受信されなかったとき、前記前回の処理時刻よりも早い関連時刻の前記航跡データから、前記今回の処理時刻での前記状態値を予測する
請求項１または２に記載の物体認識統合装置。
前記データ受信部は、
前記物体データを受信し、受信した物体データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定し、確定された前記受信時刻を前記関連時刻として関連付ける
請求項１から３のいずれか１項に記載の物体認識統合装置。
前記データ受信部は、
前記物体データを受信し、受信した物体データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定し、確定された前記受信時刻から遅れ時間を減算した検出時刻をさらに確定し、確定された前記検出時刻を前記関連時刻として関連付ける
請求項１から３のいずれか１項に記載の物体認識統合装置。
複数のセンサのそれぞれから受信した物体データから物体の状態値を推定する物体認識統合方法であって、
時刻を計測する時刻計測ステップと、
前記物体データを受信し、受信した物体データごとに、前記時刻計測ステップで計測された時刻を関連時刻として関連付けるデータ受信ステップと、
前記データ受信ステップで関連付けられた関連時刻に対応する物体の状態値を、１つ前の関連時刻の航跡データから予測し、予測結果を予測データとして生成する予測処理ステップと、
前記予測処理ステップで生成された前記予測データと、前記関連時刻に対応する物体データとから、前記状態値を更新し、更新結果を前記航跡データとして生成する更新処理ステップと、
処理時刻ごとに前記状態値を予測し、予測結果を出力データとして生成する外挿処理ステップと、
を備え、
今回の処理時刻において、１つ前の前回の処理時刻から前記今回の処理時刻までの期間に受信された物体データごとに関連付けられた関連時刻ごとに、前記予測処理ステップと前記更新処理ステップとが行われ、
前記外挿処理ステップでは、
前記今回の処理時刻で最後に行われた、前記予測処理ステップと前記更新処理ステップとよって生成された前記航跡データから、前記今回の処理時刻での前記状態値を予測する
物体認識統合方法。