JP7140713B2 - 車両用物体識別装置、システムおよび方法 - Google Patents

Description

本発明は、車両用物体識別装置、システムおよび方法に係り、特に、車車間通信により他車両による物体識別結果を取得して自車両の車両制御に適用する車両用物体識別装置、システムおよび方法に関する。

近年、車両の走行方向に存在する物体を各種のセンサで識別し、物体識別の結果が障害物であれば、これを回避するようにハンドルを自動的に操舵し、あるいは運転者や遠隔地のオペレータに識別結果を通知する技術が提案されている。一方、IoT (Internet of Things)の典型として、インターネットへの常時接続機能を具備したコネクテッドカーが注目されている。

特許文献１には、自車両のヘッドライトの配光状態に基づき、物体認識に用いる物体認識辞書としての認識辞書の認識条件を変更し、変更した認識辞書に基づき、自車両の前方を撮影した映像から物体認識を行う技術が開示されている。

特許文献２には、複数の物体検出手段を併用する技術が開示されている。

特許文献３には、撮像された画像と画像モデルを用いて、撮像された物体を認証し、認証できなかった物体の画像をネットワーク上で検索して取得し、取得した画像から画像データを生成して物体の名称を認識する技術が開示されている。

特開2017-165345号公報 特許第6471528号公報 特開2018-169746号公報

物体識別の方法として、車両に搭載されたカメラにより得られる撮像画像を利用する画像ベースの物体識別方法や、車両に搭載されたミリ波センサ（レーダ）の検出結果を利用するセンサベースの識別方法が知られている。

画像ベースの物体識別装置は、構成が比較的簡単で物体の形やサイズなどの識別性能に優れる半面、夜間、降雨、濃霧時には識別精度が低下するという課題がある。センサベースの物体識別装置は、耐環境性に優れ、悪天候下でも遠くまで検出することができるので画像ベース物体識別装置の弱点を補えるが、形やサイズなどの識別には適さない。また、一般的に画像ベースの物体識別装置に比べて高価である。

一方、物体識別の精度は物体識別の方式のみならず環境にも依存し、画像ベース物体識別装置およびセンサベース物体識別装置をいずれも搭載した車両による悪天候下の識別スコアは、画像ベース物体識別装置のみを搭載した車両による好天候下の識別スコアに劣ることがある。

このように、車載の物体識別装置による物体識別の精度は様々な要因に左右されるので、車両間で物体識別結果を交換し、より識別スコアの高い識別結果を用いて車両走向を制御することが望ましい。

本発明の目的は、上記の技術課題を解決し、コネクテッドカーによるネットワーク経由の車車間通信により物体識別結果を交換して各車両の制御に適用できる車両用物体識別装置、システムおよび方法を提供することにある。

上記の目的を達成するために、本発明は、車両走行の障害となる物体を識別する車両用物体識別装置において、以下の構成を具備した点に特徴がある。

(1) 物体識別を実行する手段と、自車両での物体識別結果をサーバへアップロードする手段と、物体識別結果のダウンロードをサーバへ要求する手段と、ダウンロード要求に応答してサーバが配信した物体識別結果を取得する手段と、自車両での物体識別結果または取得した物体識別結果に基づいて自車両を制御する手段とを具備した。

(2) アップロードする手段は、物体識別結果をその位置情報と共にアップロードし、ダウンロードを要求する手段は、位置情報を含むダウンロード要求を送信するようにした。

(3) 物体識別を実行する手段は、物体識別結果をその識別スコアと共に出力し、アップロードする手段は、識別スコアが所定のアップロード閾値を超えた物体識別結果をアップロードするようにした。

(4) ダウンロードを要求する手段は、識別スコアが所定のダウンロード閾値を下回るとダウンロードを要求するようにした。

本発明によれば、以下のような効果が達成される。

(1) コネクテッドカー間で各自車両が検知した物体識別結果を交換できるので、同一位置を通過する先行車両の物体識別機能に比べて後行車両の物体識別機能が低いために先行車両の識別スコアに比べて後行車両の識別スコアが低い場合、あるいは先行車両の通過時に比べて後行車両の通過時に天候が悪化したために先行車両の識別スコアに比べて後行車両の識別スコアが低い場合に、先行車両が予めアップロードした物体識別結果を後行車両がダウンロードできるので、後行車両も識別精度の高い物体識別結果に基づく車両制御を実現できるようになる。

(2) 物体識別結果がその位置情報と対応付けられるので、物体識別結果を位置ごとにアップロードまたはダウンロードすることができる。

(3) 各コネクテッドカーは、識別スコアがアップロード閾値を超えた物体識別結果のみをサーバへアップロードするので、識別スコアの高い物体識別結果のみを交換できるようになる。

(4) 各コネクテッドカーは、識別スコアがダウンロード閾値を下回った場合のみ物体識別結果をサーバからダウンロードするので、不必要なダウンロードが頻発することによるトラヒックやサーバ負荷の増加を防止できるようになる。

本発明の一実施形態に係る車両用物体識別システムの構成を示した機能ブロック図である。 車両用物体識別装置による物体識別およびその交換手順を示したフローチャートである。 各車両用物体識別装置と識別結果交換支援サーバとの間での物体識別結果の交換手順を示したシーケンスフローである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る車両用物体識別システムの構成を示した機能ブロック図であり、コネクテッドカー同士のネットワーク経由での車車間通信により障害物等の識別結果を交換することで、自車両の物体識別結果を他車両の物体識別結果で補完できるように構成されている。

車両用物体識別システムは、各コネクテッドカーに実装される車両用物体識別装置１と、ネットワーク上に配置されてコネクテッドカー間での物体識別結果の交換を支援する識別結果交換支援サーバ２と、交換対象の物体識別結果を蓄積する物体識別結果データベース（DB）３とを主要な構成としている。物体識別結果DB３には、物体識別結果が、その識別スコアE、位置情報およびタイムスタンプと共にレコード単位で登録されている。

各車両用物体識別装置１（１ａ，１ｂ）において、画像ベース識別部１０１は、車載カメラ１００が撮影した映像上で物体識別を画像ベースで実行し、識別結果およびその識別スコアEを出力する。位置情報取得部１０３は、GPS等により自車両の位置情報を取得する。

UL/DL決定部１０２は、識別スコアEをアップロード閾値E_ULおよびダウンロード閾値E_DLと比較し、E＞E_ULであれば、アップロード部１０４に対して今回の物体識別結果のアップロードを要求する。これに対して、E＜E_DLであれば、ダウンロード部１０５に対して、他車両がアップロードしている物体識別結果のダウンロードを要求する。

アップロード部１０４は、前記アップロード要求に応答して、今回の物体識別結果およびその識別スコアEを識別位置の位置情報と共に、アップロード要求としてインタフェース１０７から識別結果交換支援サーバ２へ送信する。

ダウンロード部１０５は、前記ダウンロード要求に応答して、前記識別スコアEがダウンロード閾値E_DLを下回った識別結果の識別位置の位置情報を含むダウンロード要求をインタフェース１０７から識別結果交換支援サーバ２へ送信する。さらに、当該ダウンロード要求に応答して識別結果交換支援サーバ２が配信する物体識別結果をインタフェース１０７経由で取得する。

識別結果ベース制御部１０６は、前記画像ベース識別部１０１による画像ベース識別結果、あるいは識別結果交換支援サーバ２から他車両の物体識別結果がダウンロードされていれば当該他車両の物体識別結果に基づいて、自車両のハンドル操舵や加減速などの車両制御あるいは運転者に対するメッセージ出力等を実行する。

車両用物体識別装置１ｂにおいて、センサベース識別部１０８は、各種のセンサ１００の出力信号に基づいて物体識別をセンサベースで実行する。識別結果統合部１０９は、画像ベース識別結果およびセンサベース識別結果を統合し、その識別スコアEを再計算する。前記UL/DL決定部１０２は、再計算された識別スコアEに基づいて、前記統合された物体識別結果のアップロード／ダウンロードを決定する。

識別結果交換支援サーバ２において、UL/DL受付部２０１は、各車両用物体識別装置１（１ａ，１ｂ）が送信した物体識別結果のアップロード要求およびダウンロード要求を受け付ける。識別結果登録部２０２は、各車両用物体識別装置１（１ａ，１ｂ）からのアップロード要求に記述されている位置情報に基づいて、同一位置又は実質的に同一位置の物体識別結果が物体識別結果データDB３に登録されているか否かを判断する。

未登録であれば、前記アップロード要求に共に記述されている位置情報、物体識別結果およびその識別スコアEを、アップロード時刻のタイムスタンプと対応付けて物体識別結果DB３の同一レコードに登録する。登録済みであれば識別スコアEを比較し、アップロード要求に記述されている識別スコアEの方が高ければ、物体識別結果、識別スコアEおよびタイムスタンプを更新する。

検索部２０３は、ダウンロード要求に記述された位置情報に基づいて物体識別結果DB３を検索し、当該位置情報と対応付けられている物体識別結果を取得する。識別結果配信部２０４は、前記検索結果をダウンロード要求元の車両用物体識別装置１へ配信する。なお、ダウンロード要求に記述された位置情報に対応した物体識別結果が物体識別結果DB３に未登録であると、その旨をダウンロード要求元の車両用物体識別装置１へ配信する。

更新部２０５は、物体識別結果DB３において各物体識別結果と対応付けられているタイムスタンプを定期的に参照し、アップロード時刻からの経過時間が所定の許容時間を経過したレコードを削除する。

なお、各車両用物体識別装置１（１ａ，１ｂ）および識別結果交換支援サーバ２の構成は上記に限定されるものではなく、車両用物体識別装置１および識別結果交換支援サーバ２の各構成が一方から他方へ移行または相互に交換され、全体として同一または同等の機能を発揮できる構成であっても良い。

図２は、前記車両用物体識別装置１（１ａ）による物体識別およびその交換手順を示したフローチャートであり、ステップＳ１では、画像ベース識別部１０１による画像ベースの物体識別が実行される。ステップＳ２では、識別結果およびその識別スコアEが取得される。ステップＳ３では、GPS等により取得されている自車両の位置情報が取得される。

ステップＳ４では、識別スコアEがアップロード閾値E_ULを上回っているか否かが判断される。E＞E_ULであり、今回の物体識別結果の精度が十分に高ければステップＳ５へ進む。ステップＳ５では、物体識別結果、位置情報およびその識別スコアEが識別結果交換支援サーバ２へアップロードされる。

ステップＳ６では、前記物体識別結果が自車両の車両制御に反映され、例えばハンドル操舵や加減速などの車両制御あるいは運転者に対するメッセージ出力等が前記識別結果ベース制御部１０６により実行される。

一方、前記ステップＳ４において、E＞E_ULではないと判断されるとステップＳ７へ進む。ステップＳ７では、識別スコアEがダウンロード閾値E_DLを下回っているか否かが判断される。E＜E_ULであれば、今回の物体識別結果の精度が不十分と判断してステップＳ８へ進む。

ステップＳ８では、当該識別結果の識別位置の位置情報を含むダウンロード要求が識別結果交換支援サーバ２へ送信される。ステップＳ９では、物体識別結果が識別結果交換支援サーバ２からダウンロードされたか否かが判断される。物体識別結果がダウンロードされるとステップＳ６へ進み、前記自車両で取得した物体識別結果の代わりに前記ダウンロードした物体識別結果に基づいて車両制御が実行される。

図３は、各車両用物体識別装置１（１ａ，１ｂ）と識別結果交換支援サーバ２との間での物体識別結果の交換手順を示したシーケンスフローであり、ここでは車両用物体識別装置１ｂのみが、前記画像ベース識別部１０１に加えてセンサベース識別部１０８を具備し、車両用物体識別装置１ａに比べて識別スコアEのより高い物体識別結果を取得できる場合を例にして説明する。

車両用物体識別装置１ｂは、時刻t1において、画像ベース識別部１０１による画像ベース物体識別およびセンサベース識別部１０８によるセンサベース物体識別を実行し、識別結果およびその識別スコアEを取得する。時刻t2では、GPS等により自車両の位置情報が取得される。

時刻t3では、識別スコアEがアップロード閾値E_ULを上回っているか否かが判断される。E＞E_ULと判断されると、時刻t4において、物体識別結果、位置情報およびその識別スコアEが識別結果交換支援サーバ２へアップロードされる。時刻t5では、前記物体識別結果に基づいて車両制御あるいは運転者に対するメッセージ出力等が実行される。

識別結果交換支援サーバ２は、前記アップロード要求を取得すると、時刻t6において、当該位置情報に対応した物体識別結果が物体識別結果DB３に登録済みであるか否かを判断し、未登録あるいは登録済みであるが識別スコアEが低いと判断すると、アップロッドされた位置情報、物体識別結果およびその識別スコアEを、アップロード時刻のタイムスタンプと対応付けて物体識別結果DB３の同一レコードに蓄積する。

その後、車両用物体識別装置１ａは、時刻t7において、画像ベース識別部１０１による画像ベース物体識別のみを実行し、識別結果およびその識別スコアEを取得する。時刻t8では、GPS等により自車両の位置情報が取得される。

時刻t9において、識別スコアEがダウンロード閾値E_DLを下回っていると判断されると、時刻t10において、位置情報を含むダウンロード要求が識別結果交換支援サーバ２へ送信される。

識別結果交換支援サーバ２は前記ダウンロード要求に応答して、時刻t11において、位置情報を検索キーとして物体識別結果DB３を検索し、時刻t12において、対応する物体識別結果を取得する。時刻t13では、前記物体識別結果をその位置情報と共に車両用物体識別装置１ａへ配信する。

車両用物体識別装置１ａは、ダウンロードされた物体識別結果を取得すると、時刻t14において、当該物体識別結果に基づく車両制御を前記識別結果ベース制御部１０６により実行する。識別結果交換支援サーバ２は、時刻t15において物体識別結果DB３の更新周期を迎えると各レコードのタイムスタンプを参照し、アップロード時刻からの経過時間が所定の許容時間を経過したレコードを削除する。

１...車両用物体識別装置，２...識別結果交換支援サーバ，３...物体識別結果DB，１０１...画像ベース識別部，１００...車載カメラ，１０２...UL/DL決定部，１０３...位置情報取得部，１０４...アップロード部，１０５...ダウンロード部，１０７...インタフェース，１０６...識別結果ベース制御部，１０８...センサベース識別部，２０１...UL/DL受付部，２０２...識別結果登録部，２０３...検索部，２０４...識別結果配信部，２０５...更新部

Claims (14)

1. 車両走行の障害となる物体を識別する車両用物体識別装置において、
   物体識別を実行する手段と、
   自車両での物体識別結果をサーバへアップロードする手段と、
   物体識別結果のダウンロードをサーバへ要求する手段と、
   ダウンロード要求に応答してサーバが配信した物体識別結果を取得する手段と、
   自車両での物体識別結果または取得した物体識別結果に基づいて自車両を制御する手段とを具備し、
   前記物体識別を実行する手段は、物体識別結果をその識別スコアと共に出力し、
   前記アップロードする手段は、前記識別スコアが所定のアップロード閾値を超えた物体識別結果をアップロードすることを特徴とする車両用物体識別装置。
2. 前記アップロードする手段は、物体識別結果をその位置情報と共にアップロードし、
   前記ダウンロードを要求する手段は、位置情報を含むダウンロード要求を送信することを特徴とする請求項１に記載の車両用物体識別装置。
3. 前記ダウンロードを要求する手段は、前記識別スコアが所定のダウンロード閾値を下回るとダウンロードを要求することを特徴とする請求項１または２に記載の車両用物体識別装置。
4. 前記物体識別を実行する手段は、画像ベースで物体を識別する手段およびセンサベースで物体を識別する手段の少なくとも一方を含むことを特徴とする請求項１ないし３のいずれかに記載の車両用物体識別装置。
5. 車両走行の障害となる物体の識別結果を各車両がサーバ経由で交換する車両用物体識別システムにおいて、
   各車両が、
   物体識別を実行する手段と、
   自車両での物体識別結果をサーバへアップロードする手段と、
   物体識別結果のダウンロードをサーバへ要求する手段と、
   ダウンロード要求に応答してサーバが配信した物体識別結果を取得する手段と、
   自車両での物体識別結果または取得した物体識別結果に基づいて自車両を制御する手段とを具備し、
   サーバが
   各車両がアップロードする物体識別結果を登録する識別結果DBと、
   物体識別結果のダウンロード要求に応答して、対応する物体識別結果を識別結果DBから検索する手段と、
   検索した物体識別結果をダウンロード要求の送信元へ配信する手段とを具備し、
   前記物体識別を実行する手段は、物体識別結果をその識別スコアと共に出力し、
   前記アップロードする手段は、前記識別スコアが所定のアップロード閾値を超えた物体識別結果をアップロードすることを特徴とする車両用物体識別システム。
6. 各車両において、
   前記アップロードする手段は、物体識別結果をその位置情報と共にアップロードし、
   前記ダウンロードを要求する手段は、位置情報を含むダウンロード要求を送信し、
   前記サーバは、
   アップロードされた物体識別結果をその位置情報と対応付けて登録することを特徴とする請求項５に記載の車両用物体識別システム。
7. 前記サーバは、物体識別結果をアップロード時刻のタイムスタンプと対応付けて登録し、
   経過時間が所定の許容時間を経過した物体識別結果を削除することを特徴とする請求項５または６に記載の車両用物体識別システム。
8. 前記ダウンロードを要求する手段は、前記識別スコアが所定のダウンロード閾値を下回るとダウンロードを要求することを特徴とする請求項５ないし７のいずれかに記載の車両用物体識別システム。
9. 前記物体識別を実行する手段は、画像ベースで物体を識別する手段およびセンサベースで物体を識別する手段の少なくとも一方を含むことを特徴とする請求項５ないし８のいずれかに記載の車両用物体識別システム。
10. 各車両の車載コンピュータが車両走行の障害となる物体の識別結果をサーバ経由で交換する車両用物体識別方法において、
    各車両が、
    物体識別を実行する手順と、
    自車両での物体識別結果をサーバへアップロードする手順と、
    物体識別結果のダウンロードをサーバへ要求する手順と、
    ダウンロード要求に応答してサーバが配信した物体識別結果を取得する手順と、
    自車両での物体識別結果または取得した物体識別結果に基づいて自車両を制御する手順とを含み、
    サーバが
    各車両がアップロードする物体識別結果を識別結果DBに登録する手順と、
    物体識別結果のダウンロード要求に応答して、対応する物体識別結果を識別結果DBから検索する手順と、
    検索した物体識別結果をダウンロード要求の送信元へ配信する手順とを含み、
    前記物体識別を実行する手順では、物体識別結果をその識別スコアと共に出力し、
    前記アップロードする手順では、前記識別スコアが所定のアップロード閾値を超えた物体識別結果をアップロードすることを特徴とする車両用物体識別方法。
11. 各車両において、
    前記アップロードする手順では、物体識別結果をその位置情報と共にアップロードし、
    前記ダウンロードを要求する手順では、位置情報を含むダウンロード要求を送信し、
    前記サーバは、
    各車両がアップロードする物体識別結果をその位置情報と対応付けて登録することを特徴とする請求項１０に記載の車両用物体識別方法。
12. 前記サーバは、物体識別結果をアップロード時刻のタイムスタンプと対応付けて登録し、
    経過時間が所定の許容時間を経過した物体識別結果を削除することを特徴とする請求項１０または１１に記載の車両用物体識別方法。
13. 前記ダウンロードを要求する手順では、前記識別スコアが所定のダウンロード閾値を下回るとダウンロードを要求することを特徴とする請求項１０ないし１２のいずれかに記載の車両用物体識別方法。
14. 前記物体識別を実行する手順は、画像ベースで物体を識別する手順およびセンサベースで物体を識別する手順の少なくとも一方を含むことを特徴とする請求項１０ないし１３のいずれかに記載の車両用物体識別方法。

Images