JP6365035B2 - 交通オブジェクト検出装置 - Google Patents
交通オブジェクト検出装置 Download PDFInfo
- Publication number
- JP6365035B2 JP6365035B2 JP2014142133A JP2014142133A JP6365035B2 JP 6365035 B2 JP6365035 B2 JP 6365035B2 JP 2014142133 A JP2014142133 A JP 2014142133A JP 2014142133 A JP2014142133 A JP 2014142133A JP 6365035 B2 JP6365035 B2 JP 6365035B2
- Authority
- JP
- Japan
- Prior art keywords
- driving
- distribution
- feature
- data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
<全体構成>
交通オブジェクト検出装置1は、図1に示すように、運転挙動データ収集部2と、環境データ収集部3と、正規化部4と、運転シーン離散化部5と、運転シーンデータベース6と、特徴量分布生成部7と、トピック割合演算部8と、運転トピックデータベース9と、交通オブジェクト検出部10とを備える。
運転挙動データ収集部2は、運転者による運転操作に関する運転操作データや、その運転操作の結果として現れる車両の挙動に関する車両挙動データを、車両に搭載された各種センサを介して繰り返し収集すると共に、運転操作データや車両挙動データをそれぞれ微分した微分データを生成し、これら、運転操作データ,車両挙動データ,微分データからなる多次元データを運転挙動データとして出力する。
環境データ収集部3は、車両周辺を撮影するように設置されたカメラ、レーダ波(超音波やミリ波など)を利用して車両周辺の物標の位置や相対速度を検出するレーダセンサ、全地球測位システム(GPS:Global Positioning System )衛星からの信号を受信して3次元の位置情報等を生成するGPS受信機、ジャイロや加速度計を用いて3次元の角速度および加速度を求める慣性計測装置(IMU:Inertial Measurement Unit )、時間帯,天候,周囲に存在するインフラの状態などを検出するセンサあるいはこれらの状態を外部から取得する通信機等、各種車載機器から出力されるデータを繰り返し取得し、これらを個別の環境データとして出力する。なお、必ずしも上述した全てのデータを取得するものである必要はなく、これらデータの一部を取得するものであってもよい。
正規化部4は、運転挙動データ収集部2から供給されるデータを、車種毎もしくは車両タイプ毎に予め用意された正規化パラメータμv、σv、χmax,v、χmin,vを利用し、(1)または(2)式を用いて正規化する。なお、μvはデータの平均、σvはデータの分散であり、χmax,vはデータの最大値、χmin,vはデータの最小値を表す。
運転シーン離散化部5は、ドライバの環境認知から操作に至るモデルを利用して、運転挙動データ収集部2から得られる運転挙動データを統計解析し、ドライバ個人(もしくは一般のドライバ)が感じる運転シーンの切り替わり点を抽出することにより、運転挙動データの時系列を、それぞれが何等かの運転シーンを表す複数の部分系列(以下単に「運転シーン」という)に分節化(離散化)する。
DAAは、まず、運転挙動データの値域を表す多次元の空間で運転挙動データから把握される各種の車両の状態を表すクラスタと、各クラスタ間の遷移確率とを予め定義しておき、これらの情報を用いて、運転挙動データ収集部2から取得した運転挙動データがいずれのクラスタに属するかを統計的に処理することにより、運転挙動データの時系列を、区分単位となる車両の状態毎(つまり、クラスタ毎)に区分けする。但し、各クラスタには予め識別用の記号を対応づけておくことにより、運転挙動データの時系列は、どのクラスタに属しているかを表す記号列に変換される。この記号列の生成には、例えば、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル(HDP−HMM:Hierarchical Dirichlet Process Hidden Markov Model)を利用することができる。但し、HDP−HMMにおいてはクラスタ、および各クラスタ間の遷移確率は、学習によって予め生成されたものを使用する。
運転シーンデータベース6は、運転シーン離散化部5が実行する処理で使用する各種データを記憶する。具体的には、運転挙動データの時系列が、どのクラスタに属しているかを表す記号列を生成する際に使用するクラスタおよび各クラスタ間の遷移確率、その記号列を運転シーンに分割する際に使用する運転シーン間の遷移確率および運転シーンの生成確率等を記憶する。これら運転シーンデータベース6に記憶するデータは、様々な車種および車両タイプについて運転挙動データを収集し、その運転挙動データを正規化部4での手法を用いて正規化した正規化運転挙動データに基づいて学習されたものを用いる。
特徴量分布生成部7は、運転挙動データ収集部2から出力される時系列の運転挙動データ、および環境データ収集部3から出力される時系列の環境データを、運転シーン離散化部5で分節化された運転シーン毎に、その運転シーン中に現れる特徴量の分布を生成する(図2参照)。
運転トピックデータベース9には、特徴量分布生成部7で生成される特徴量分布群を、複数の分布の混合によって表現する場合に基底として使用される複数(例えば25個)の運転トピックが予め格納されている。また、各運転トピックは、特徴量のそれぞれに対応する特徴量と同数(n個)の基底分布(基底特徴分布、基底トピック分布)によって構成されている(図2参照)。
運転トピックの生成には、それぞれが運転シーンを表す各部分系列を「一つの文書」、観測された特徴量を「一つの単語」と見なすことで、自然言語処理分野で利用されている潜在トピック推定手法を利用する。
トピック割合演算部8では、特徴量分布生成部7から出力される特徴量分布が、運転トピックデータベース9に格納された基底特徴分布を混合することで表現されるものとして、その混合比であるトピック割合(各基底特徴分布の含有割合)を算出する(図2参照)。トピック割合は、具体的には、マルチモーダルLDAの推定を実現するEステップおよびMステップの処理のうち、Eステップだけを実行することで求めることができる。
交通オブジェクト検出部10は、図6に示すように、トピック割合演算部8で求められたトピック割合に従って、基底オブジェクト分布を重みづけ加算することによって、検出用のオブジェクト分布を生成する。但し、推定用分布の設定方法は、これに限るものではなく、例えば、トピック割合が最も大きい運転トピックに対応づけられた基底オブジェクト分布を検出用のオブジェクト分布として使用してもよい。
以上説明したように、交通オブジェクト検出装置1では、収集された運転挙動データや環境データから直接的に交通オブジェクトを抽出するのではなく、これらのデータからまず運転シーンを特定し、その特定された運転シーンに強く関連づけられた交通オブジェクトを、予め用意された運転トピック(基底特徴分布、基底オブジェクト分布)を用いて抽出する。つまり、運転シーンを抽象化された運転トピックで表現することにより、運転シーンが特定されさえすれば、この抽象化された運転トピックを通して(言い換えるとセンサの特性等に大きな影響を受けずに)交通オブジェクトは検出される。このため、車両に搭載されているセンサの種別、特性、取付位置や角度等に対してロバストな検出を実現することができる。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
Claims (6)
- 車両の状態に関するデータを繰り返し収集する運転挙動データ収集手段(2)と、
車両周辺の環境に関するデータを繰り返し収集する環境データ収集手段(3)と、
前記運転挙動データ収集手段から出力される時系列の運転挙動データを、車種毎あるいは車両タイプ毎に用意された正規化パラメータを用いて正規化する正規化手段(4)と、
前記正規化手段にて正規化された時系列の運転挙動データを、各々が何等かの運転シーンを表す複数の部分系列に分割するシーン分割手段(5)と、
前記正規化手段にて正規化された時系列の運転挙動データ、及び前記環境データ収集手段から出力される時系列の環境データのそれぞれから得られる特徴量について、該特徴量の値域を複数に分割したインデックス毎の出現頻度を表す特徴量分布を、前記部分系列毎に生成する特徴量分布生成手段(7)と、
前記特徴量分布を表現するための基底分布として使用される複数の基底特徴分布、および前記運転シーン中に現れる予め用意された複数の交通オブジェクトの各々についての出現確率を表す基底オブジェクト分布からなる運転トピックを記憶するトピック記憶手段(9)と、
前記特徴量分布生成手段で生成された前記特徴量分布を、前記基底特徴分布を用いて表現した場合の混合比であるトピック割合を算出する割合演算手段(8)と、
前記部分系列毎に、前記トピック割合および前記基底オブジェクト分布に基づいて、オブジェクト分布を生成し、該オブジェクト分布を用いて前記部分系列が表す運転シーン中に存在する交通オブジェクトを検出するオブジェクト検出手段(10)と、
を備えることを特徴とする交通オブジェクト検出装置。 - 前記特徴量分布は、前記特徴量の最大値から最小値までを均等に分割した各値域をインデックスとしたヒストグラムによって表現されることを特徴とする請求項1に記載の交通オブジェクト検出装置。
- 前記特徴量分布は、前記特徴量をクラスタリングすることで分割された値域をインデックスとしたヒストグラムによって表現されることを特徴とする請求項1に記載の交通オブジェクト検出装置。
- 前記シーン分割手段は、二重分節構造を利用した教師なし運転シーン分割法によって分節化を行う二重分節解析器(DAA:Double Articulation Analyzer)からなることを特徴とする請求項1ないし請求項3のいずれか1項に記載の交通オブジェクト検出装置。
- 前記割合演算手段は、潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )またはマルチモーダルLDAによって、前記トピック割合を求めることを特徴とする請求項1ないし請求項4のいずれか1項に記載の交通オブジェクト検出装置。
- 前記特徴量分布の生成対象には、ドライバの運転操作に関する運転データから得られる特徴量、車両の挙動に関する挙動データから得られる特徴量、車載カメラで撮影した画像データから得られる特徴量、自車両の位置に関する位置データから得られる特徴量のうち、少なくとも一つが含まれていることを特徴とする請求項1ないし請求項5のいずれか1項に記載の交通オブジェクト検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014142133A JP6365035B2 (ja) | 2014-07-10 | 2014-07-10 | 交通オブジェクト検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014142133A JP6365035B2 (ja) | 2014-07-10 | 2014-07-10 | 交通オブジェクト検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016019212A JP2016019212A (ja) | 2016-02-01 |
JP6365035B2 true JP6365035B2 (ja) | 2018-08-01 |
Family
ID=55234113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014142133A Expired - Fee Related JP6365035B2 (ja) | 2014-07-10 | 2014-07-10 | 交通オブジェクト検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6365035B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3620978A1 (de) * | 2018-09-07 | 2020-03-11 | Ibeo Automotive Systems GmbH | Verfahren und vorrichtung zur klassifizierung von objekten |
GB2581191B (en) * | 2019-02-08 | 2022-02-16 | Jaguar Land Rover Ltd | Image system for a vehicle |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4595759B2 (ja) * | 2005-09-09 | 2010-12-08 | 株式会社デンソー | 環境認識装置 |
US7519201B2 (en) * | 2005-10-28 | 2009-04-14 | Honda Motor Co., Ltd. | Detecting humans via their pose |
JP4894795B2 (ja) * | 2008-03-19 | 2012-03-14 | 株式会社デンソー | 運転行動推定装置 |
JP5867296B2 (ja) * | 2012-05-30 | 2016-02-24 | 株式会社デンソー | 運転シーン認識装置 |
-
2014
- 2014-07-10 JP JP2014142133A patent/JP6365035B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016019212A (ja) | 2016-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6330651B2 (ja) | 異常検出装置 | |
JP6307356B2 (ja) | 運転コンテキスト情報生成装置 | |
US11798281B2 (en) | Systems and methods for utilizing machine learning models to reconstruct a vehicle accident scene from video | |
US10417816B2 (en) | System and method for digital environment reconstruction | |
CN107492251B (zh) | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 | |
JP6026959B2 (ja) | 運転シーンラベル推定装置 | |
CN111016921B (zh) | 用于确定车辆数据集熟悉度的系统和方法 | |
CN110047275A (zh) | 多个连接的车辆的观察结果之间的关联和相似度学习 | |
US20180307916A1 (en) | System and method for image analysis | |
JP6206022B2 (ja) | 運転支援装置 | |
US11710082B2 (en) | Systems and methods for utilizing machine learning and feature selection to classify driving behavior | |
JP6511982B2 (ja) | 運転操作判別装置 | |
CN110088762B (zh) | 用傅立叶风扇进行的对象检测和分类 | |
JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
CN114655227B (zh) | 驾驶风格识别方法、辅助驾驶方法及装置 | |
JP6464992B2 (ja) | 運転データ収集システム | |
JP2017073021A (ja) | 運転支援装置 | |
US12046048B2 (en) | Systems and methods for utilizing models to detect dangerous tracks for vehicles | |
JP5360143B2 (ja) | 走行場面認識モデル生成装置、運転支援装置、及びプログラム | |
JP6365035B2 (ja) | 交通オブジェクト検出装置 | |
US12243302B2 (en) | Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time | |
Menegazzo et al. | Speed Bump Detection Through Inertial Sensors and Deep Learning in a Multi-contextual Analysis | |
JP7024577B2 (ja) | 走行場面学習装置、走行場面推定装置、および走行場面推定システム | |
Panigrahi et al. | Real time car speed detection using CNN algorithm | |
Ward | Development of detection and tracking systems for autonomous vehicles using machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180618 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6365035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |