JP7472832B2 - 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム - Google Patents

Description

本発明は、車両制御装置、車両制御方法及び車両制御用コンピュータプログラムに関する。

車両を自動運転制御し、あるいは、ドライバによる車両の運転を支援するために、車両の周囲を走行する他の車両の挙動を正確に予測できることが望まれる。そこで、他の車両の挙動を予測するために、いわゆるディープニューラルネットワーク（以下、単にDNNと呼ぶ）といった機械学習手法を用いる技術が提案されている（例えば、特許文献１を参照）。

特許文献１に開示された自動車画像の処理方法は、自動運転機器に設置された自動車画像の収集点が収集した処理すべき画像を取得し、ディープラーニングモデルを利用して処理すべき画像を処理し、処理すべき画像における自動車の状態パラメータを出力する。そしてこの処理方法は、状態パラメータに基づいて処理すべき画像における自動車挙動を確定する。また、処理すべき画像における自動車の状態パラメータは、ブレーキランプ状態、方向指示ランプ状態、カードア状態、トランクドア状態、車輪向き状態のうちの一つまたは複数を示すために用いられる。

特開２０２０－４２７８６号公報

車両の周囲の走行環境によっては、車両の周囲を走行する他の車両のウィンカーまたはブレーキランプの状態を精度良く検出することが困難なことがある。そして車両の制御装置がウィンカーまたはブレーキランプの状態の検出に失敗すると、車両が他の車両と衝突するリスクが生じるほど接近し、あるいは、不要な減速または制動が行われるといった、適切でない車両の制御が行われるおそれがある。

そこで、本発明は、車両の周囲の他の車両の信号灯の状態の識別が困難でも車両を適切に制御することが可能な車両制御装置を提供することを目的とする。

一つの実施形態によれば、車両制御装置が提供される。この車両制御装置は、車両に設けられた、車両の周囲を撮影する撮像部により得られた画像から、車両の周囲を走行する周辺車両が表された物体領域を検出する物体検出部と、その画像上の物体領域から抽出される特徴を周辺車両の信号灯の状態を識別するように予め学習された信号灯状態識別器に入力することで、周辺車両の信号灯の状態を識別する状態識別部と、周辺車両の信号灯の状態の識別結果と、車両と周辺車両との相対的な位置関係とに基づいて、車両と周辺車両との衝突を回避するように車両を制御するための所定の規則に従って第１の制御値を決定する第１の制御指示決定部と、周辺車両の信号灯の状態の識別結果を、車両と周辺車両との衝突を回避するように車両を制御するための第２の制御値を出力するように予め学習された制御指示識別器に入力することで第２の制御値を決定する第２の制御指示決定部と、第１の制御値と第２の制御値との差、あるいは、第２の制御値の絶対値に基づいて、車両と周辺車両との衝突を回避するための統合制御値を決定する制御指示統合部と、統合制御値に従って車両の走行を制御する制御部とを有する。

この車両制御装置において、第１の制御指示決定部は所定の周期ごとに第１の制御値を出力するとともに第２の制御指示決定部は所定の周期ごとに第２の制御値を出力し、制御指示統合部は、第１の制御値と第２の制御値の差の絶対値が一定値以下である期間が所定の時間閾値以上継続した場合、その期間内に出力された何れかの第１の制御値とその期間内に出力された何れかの第２の制御値との平均値を統合制御値とすることが好ましい。

あるいは、第１の制御指示決定部は所定の周期ごとに第１の制御値を出力するとともに第２の制御指示決定部は所定の周期ごとに第２の制御値を出力し、制御指示統合部は、第１の制御値と第２の制御値の差の絶対値が一定値以上となる期間が所定の時間閾値以上継続した場合、その期間内に出力された第１の制御値の平均値及びその期間内に出力された第２の制御値の平均値のうち、絶対値が大きい方を統合制御値とすることが好ましい。

さらに、この車両制御装置において、制御指示統合部は、第２の制御値の絶対値が所定の上限値以上である場合、その上限値、あるいは、第１の制御値を統合制御値とすることが好ましい。

さらに、この車両制御装置において、第２の制御指示決定部は、周辺車両の信号灯の状態の識別結果とともに、車両と周辺車両間の相対的な位置関係、相対車速、相対加減速度、物体領域のサイズ及び物体領域の位置のうちの少なくとも一つを制御指示識別器に入力することで第２の制御値を決定することが好ましい。

さらにまた、この車両制御装置において、信号灯状態識別器は、物体領域から抽出される特徴が入力される入力層と、周辺車両の信号灯の状態を出力する出力層と、入力層と出力層との間において入力層から出力層へ向けて順に設けられる少なくとも一つの中間層とを有し、少なくとも一つの中間層のそれぞれは、その中間層よりも入力層側の層からの出力に対して所定の演算を実行し、第２の制御指示決定部は、周辺車両の信号灯の状態の識別結果とともに、信号灯状態識別器の少なくとも一つの中間層の何れかについての所定の演算の結果を制御指示識別器に入力することで第２の制御値を決定することが好ましい。

さらにまた、この車両制御装置において、信号灯状態識別器は再帰構造を有し、状態識別部は、撮像部により画像よりも過去に得られた１以上の過去画像のそれぞれにおける物体領域から抽出される特徴及び画像上の物体領域から抽出される特徴を時系列順に信号灯状態識別器に入力することで周辺車両の信号灯の状態を識別することが好ましい。

あるいは、この車両制御装置において、信号灯状態識別器は時間軸方向における畳み込み演算を実行する畳み込み層を有するコンボリューショナルニューラルネットワークであり、状態識別部は、撮像部により画像よりも過去に得られた１以上の過去画像のそれぞれにおける物体領域から抽出される特徴及び画像上の物体領域から抽出される特徴を信号灯状態識別器に入力することで、周辺車両の信号灯の状態を識別することが好ましい。

他の実施形態によれば、車両制御方法が提供される。この車両制御方法は、車両に設けられた、車両の周囲を撮影する撮像部により得られた画像から、車両の周囲を走行する周辺車両が表された物体領域を検出し、その画像における物体領域から抽出される特徴を周辺車両の信号灯の状態を識別するように予め学習された信号灯状態識別器に入力することで周辺車両の信号灯の状態を識別し、周辺車両の信号灯の状態の識別結果と、車両と周辺車両との相対的な位置関係とに基づいて、車両と周辺車両との衝突を回避するように車両を制御するための所定の規則に従って第１の制御値を決定し、周辺車両の信号灯の状態の識別結果を、車両と周辺車両との衝突を回避するように車両を制御するための第２の制御値を出力するように予め学習された制御指示識別器に入力することで第２の制御値を決定し、第１の制御値と第２の制御値との差、あるいは、第２の制御値の絶対値に基づいて、車両と周辺車両との衝突を回避するための統合制御値を決定し、統合制御値に従って車両の走行を制御する、ことを含む。

さらに他の実施形態によれば、車両制御用コンピュータプログラムが提供される。この車両制御用コンピュータプログラムは、車両に設けられた、車両の周囲を撮影する撮像部により得られた画像から、車両の周囲を走行する周辺車両が表された物体領域を検出し、その画像における物体領域から抽出される特徴を周辺車両の信号灯の状態を識別するように予め学習された信号灯状態識別器に入力することで周辺車両の信号灯の状態を識別し、周辺車両の信号灯の状態の識別結果と、車両と周辺車両との相対的な位置関係とに基づいて、車両と周辺車両との衝突を回避するように車両を制御するための所定の規則に従って第１の制御値を決定し、周辺車両の信号灯の状態の識別結果を、車両と周辺車両との衝突を回避するように車両を制御するための第２の制御値を出力するように予め学習された制御指示識別器に入力することで第２の制御値を決定し、第１の制御値と第２の制御値との差、あるいは、第２の制御値の絶対値に基づいて、車両と周辺車両との衝突を回避するための統合制御値を決定し、統合制御値に従って車両の走行を制御する、ことを車両に搭載されたプロセッサに実行させるための命令を含む。

本発明に係る車両制御装置は、車両の周囲の他の車両の信号灯の状態の識別が困難でも車両を適切に制御することができるという効果を奏する。

車両制御装置が実装される車両制御システムの概略構成図である。 車両制御装置の一実施形態である電子制御装置のハードウェア構成図である。 車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 第１の制御指示決定の一例の概要を説明する図である。 車両制御処理の動作フローチャートである。

以下、図を参照しつつ、車両制御装置、及び、車両制御装置上で実行される車両制御方法ならびに車両制御用コンピュータプログラムについて説明する。この車両制御装置は、車両に搭載されたカメラにより生成される、時系列に得られる一連の画像に表された、車両の周囲を走行する他の車両（以下、説明の便宜上、周辺車両と呼ぶ）の信号灯の状態を識別し、その識別結果を利用して車両を制御する。そのために、この車両制御装置は、周辺車両を検出するように予め学習された物体検出用の識別器にその一連の画像を入力することで、画像ごとに、その画像上で周辺車両を含む領域（以下、物体領域と呼ぶことがある）を検出する。そして、この車両制御装置は、各画像から検出された周辺車両を追跡することで、各画像において同じ周辺車両が表された物体領域同士を対応付ける。また、この車両制御装置は、一連の画像における、同じ周辺車両が表された物体領域内の画素値から求められる特徴を、時系列順に、信号灯状態識別用の識別器に入力することで、周辺車両の信号灯の状態（以下、単に信号灯状態と呼ぶことがある）を識別する。そしてこの車両制御装置は、周辺車両の信号灯状態の識別結果と、車両と周辺車両の相対的な位置関係とに基づいて、車両と周辺車両との衝突を回避するように車両を制御するための所定の規則に従って第１の制御値を含む第１の制御指示を求める。さらに、この車両制御装置は、周辺車両の信号灯状態の識別結果を、車両と周辺車両との衝突を回避するように車両を制御するための制御値を出力するように予め学習された制御指示決定用の識別器に入力することで、第２の制御値を含む第２の制御指示を求める。そしてこの車両制御装置は、第１の制御値及び第２の制御値に基づいて最終的な制御値（以下、統合制御値と呼ぶ）を含む統合制御指示を決定し、統合制御指示に従って車両の走行を制御する。

例えば、周辺車両が車線変更する場合、ターンシグナルを点滅させる。また、周辺車両は、減速する際にブレーキランプを点灯させる。これらのシグナルまたはランプといった信号灯の点灯または点滅は、周辺車両がその時点あるいは直後に実施する挙動を示している可能性が高い。そこで、この車両制御装置は、周辺車両の信号灯状態を識別し、その識別結果を入力とする制御指示決定用の識別器により得られる制御指示と、信号灯状態の識別結果等から所定の規則に基づいて決定した制御指示とから統合制御指示を決定する。このように、この車両制御装置は、信号灯状態の識別結果を利用する二通りの手法に従って得られた制御指示を評価して、車両と周辺車両との衝突を回避できる可能性が高い統合制御指示を決定する。そのため、この車両制御装置は、周辺車両の信号灯状態の識別が困難な走行環境でも適切な制御指示を決定できるようにする。なお、以下の例では、各制御指示に含まれる制御値として、車両の加速度または減速度（以下、まとめて加減速度と呼ぶ）が求められる。しかし、各制御値は加減速度に限られず、操舵角であってもよい。

図１は、車両制御装置が実装される車両制御システムの概略構成図である。また図２は、車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、車両制御装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置をさらに有していてもよい。さらに、車両制御システム１は、LiDARあるいはレーダといった測距センサ、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機、他の機器と無線通信するための無線端末を有していてもよい。さらにまた、車両制御システム１は、車両１０の走行予定ルートを探索するためのナビゲーション装置を有していてもよい。

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であることが好ましい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。

カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ３へ出力する。

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された周辺車両の信号灯状態に基づいて、車両１０と周辺車両との衝突を回避するよう、車両１０を自動運転制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。なお、メモリ２２は、後述するようにプロセッサ２３が複数の演算ユニットを有する場合に、演算ユニットごとに専用のメモリ回路を有していてもよい。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される車両制御処理において使用される各種のデータ及びパラメータ、例えば、カメラ２から受信した画像、車両制御処理で利用される各識別器を特定するための各種パラメータなどを記憶する。さらに、メモリ２２は、検出された周辺車両に関する情報を表す検出物体リストといった、車両制御処理の途中で生成される各種のデータを一定期間記憶する。さらにまた、メモリ２２は、地図情報といった車両１０の走行制御に利用される情報を記憶してもよい。

プロセッサ２３は、制御部の一例であり、１個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニット(Graphics Processing Unit, GPU)といった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に基づいて周辺車両を検出し、車両１０と周辺車両とが衝突しないように車両１０を自動運転制御する。

図３は、車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、追跡部３２と、状態識別部３３と、第１の制御指示決定部３４と、第２の制御指示決定部３５と、制御指示統合部３６と、車両制御部３７とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。なお、車両１０に複数のカメラが設けられる場合には、プロセッサ２３は、カメラごとに、そのカメラにより得られた画像に基づいて車両制御処理を実行してもよい。

物体検出部３１は、カメラ２から画像を受信する度に、受信した最新の画像を物体検出用の識別器に入力することで、その画像に表されている周辺車両を含み、かつ、所定の形状を有する領域（すなわち、物体領域）を検出するとともに、周辺車両の種類を特定する。

本実施形態では、物体検出部３１は、物体検出用の識別器として、画像に表された周辺車両を含む物体領域を検出し、かつ、周辺車両の種類を識別するように予め学習されたDNNを利用する。物体検出部３１が利用するDNNは、例えば、Single Shot MultiBox Detector（SSD）、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型のアーキテクチャを持つDNNとすることができる。

例えば、物体検出用の識別器がDNNとして構成される場合、その識別器は、画像が入力される入力側に設けられる主幹部と、主幹部よりも出力側に設けられる位置検出部及び種類推定部とを有する。位置検出部は、主幹部からの出力に基づいて、画像上に表された、周辺車両などの検出対象物体の外接矩形を物体領域として出力する。なお、物体領域の形状は、矩形形状に限られず、例えば、円形、楕円形あるいは、５角形以上の多角形形状であってもよい。種類推定部は、主幹部からの出力に基づいて、位置検出部で検出された物体領域に表された周辺車両の種類（例えば、普通乗用車、バス、トラック、二輪車など）ごとの確信度を算出する。なお、位置検出部及び種類推定部は一体的に形成されてもよい。

主幹部は、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するCNNとすることができる。その複数の層には２以上の畳み込み層が含まれる。さらに、主幹部が有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。

主幹部は、画像が入力されると、その画像に対して各層での演算を実行することで、その画像から算出したfeature mapを出力する。なお、主幹部は、解像度の異なる複数のfeature mapを出力してもよい。例えば、主幹部は、入力された画像の解像度と同じ解像度を持つfeature mapと、入力された画像の解像度よりも低い解像度の１以上のfeature mapを出力してもよい。

位置検出部及び種類推定部には、それぞれ、主幹部から出力されたfeature mapが入力される。そして位置検出部及び種類推定部は、それぞれ、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するCNNとすることができる。位置検出部及び種類推定部のそれぞれについて、CNNが有する複数の層には２以上の畳み込み層が含まれる。また、位置検出部及び種類推定部のそれぞれについて、CNNが有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。なお、CNNが有する畳み込み層及びプーリング層は、位置検出部及び種類推定部について共通化されてもよい。さらに、位置検出部及び種類推定部のそれぞれについて、複数の層には、１以上の全結合層が含まれてもよい。この場合、全結合層は、各畳み込み層よりも出力側に設けられることが好ましい。また全結合層には、各畳み込み層からの出力が直接入力されてもよい。また、種類推定部の出力層は、ソフトマックス関数に従って周辺車両の種類のそれぞれの確信度を算出するソフトマックス層としてもよいし、シグモイド関数に従って周辺車両の種類のそれぞれの確信度を算出するシグモイド層としてもよい。

位置検出部及び種類推定部は、例えば、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、周辺車両の種類のそれぞれの確信度を出力するように学習される。したがって、識別器は、画像が入力されることで、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、周辺車両の種類のそれぞれの確信度を出力する。そして位置検出部及び種類推定部は、何れかの種類の周辺車両についての確信度が所定の確信度閾値以上となる領域を、その種類の周辺車両が表された物体領域として検出する。

識別器の学習に利用される教師データに含まれる画像（教師画像）には、例えば、検出対象となる周辺車両の種類と、周辺車両が表された物体領域である、その周辺車両の外接矩形とがタグ付けされる。

識別器は、上記のような多数の教師画像を用いて、例えば、誤差逆伝搬法といった学習手法に従って学習される。プロセッサ２３は、このように学習された識別器を利用することで、画像から検出対象となる周辺車両を精度良く検出できる。

変形例によれば、物体検出部３１は、DNN以外の識別器を利用して、画像から周辺車両を検出してもよい。例えば、物体検出部３１は、物体検出用の識別器として、画像上に設定されるウィンドウから算出される特徴量を入力として、そのウィンドウに周辺車両が表される確信度を出力するように予め学習されたサポートベクトルマシン（SVM）を用いてもよい。物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量（例えば、HOG）を算出し、算出した特徴量をSVMへ入力することで、そのウィンドウについて確信度を求める。そして物体検出部３１は、確信度が所定の確信度閾値以上となるウィンドウに、周辺車両が表されていると判定し、かつ、そのウィンドウを物体領域とすればよい。

なお、物体検出部３１は、周辺車両以外の、車両１０の走行制御に影響する物体を検出してもよい。そのような物体には、例えば、人、道路標識、信号機、車線区画線などの道路標示、及び、道路上のその他の物体などが含まれる。この場合、物体検出用の識別器は、これらの物体も検出するように予め学習されればよい。そして物体検出部３１は、画像をその物体検出用の識別器に入力することで、これらの物体も検出することができる。

物体検出部３１は、さらに、Non-maximum suppression(NMS)処理を実行することで、少なくとも部分的に重複する２以上の物体領域のうち、同一の物体が表されていると推定される物体領域から一つを選択してもよい。

物体検出部３１は、各物体領域の画像上での位置及び範囲と、その物体領域に含まれる物体の種類とを、検出物体リストに登録する。そして物体検出部３１は、検出物体リストをメモリ２２に記憶する。さらに、物体検出部３１は、各物体領域について、その物体領域に含まれる各画素から物体検出用の識別器の主幹部により算出され、かつ、状態識別部３３へ出力されるfeature mapをメモリ２２に記憶する。なお、状態識別部３３へ出力されるfeature mapは、物体検出用の識別器に入力された画像の解像度と同じ解像度を有するものとすることができる。また、物体検出用の識別器の主幹部が有するプーリング層などにより、入力された画像の解像度よりも低い解像度を持つfeature mapが算出される場合には、その低い解像度を持つfeature mapが状態識別部３３へ出力されてもよい。さらに、物体検出用の識別器の主幹部により算出される、互いに異なる解像度を持つ複数のfeature mapが状態識別部３３へ出力されてもよい。

追跡部３２は、最新の画像から検出された物体領域のそれぞれについて、その物体領域に表された周辺車両を、検出物体リストを参照して過去の画像から検出された周辺車両と対応付けることで、その物体領域に表された周辺車両を追跡する。

追跡部３２は、例えば、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された周辺車両を追跡する。そのため、追跡部３２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして追跡部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、追跡部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された周辺車両を追跡してもよい。

追跡部３２は、最新の画像から検出された周辺車両のうち、過去の画像に表された周辺車両と対応付けられなかった周辺車両に対して、新たな追跡対象として、他の追跡中の周辺車両と異なる識別番号を割り当て、その割り当てた識別番号を検出物体リストに登録する。一方、追跡部３２は、最新の画像から検出された周辺車両のうち、過去の画像に表された周辺車両と対応付けられたもの、すなわち、追跡中の周辺車両について、その追跡中の周辺車両に割り当てられた識別番号と同じ識別番号を対応付ける。

追跡部３２は、状態識別の対象となる追跡中の周辺車両の識別番号を状態識別部３３へ通知する。また、追跡部３２は、状態識別の対象となる追跡中の周辺車両と車両１０との相対的な位置関係、相対速度及びその周辺車両の減速度を推定し、その推定結果を検出リストに登録する。

追跡部３２は、画像上での周辺車両を含む物体領域の位置及びカメラ２の光軸方向に基づいて、車両１０から周辺車両へ向かう方向を特定することができる。また、物体領域の下端の位置は、その物体領域に表される周辺車両の路面に接する位置を表すと想定される。そこで追跡部３２は、物体領域の下端に対応する、カメラ２からの方位と、カメラ２の設置高さとに基づいて、その物体領域に表された周辺車両までの距離を推定できる。そして追跡部３２は、車両１０の進行方向と直交する方向（以下、横方向と呼ぶ）における車両１０と周辺車両間の距離が、車線１本の幅に相当する距離よりも短い場合、車両１０と周辺車両とは同じ車線を走行していると推定する。一方、追跡部３２は、横方向における車両１０と周辺車両間の距離が車線１本の幅に相当する距離である場合、周辺車両は、車両１０が走行する車線に隣接する車線を走行していると推定する。さらに、車両１０から周辺車両への距離及び方位の変化と、各画像生成時の車両１０の車速及び加減速度に基づいて、追跡部３２は、車両１０と周辺車両間の相対速度及びその周辺車両の減速度を推定すればよい。なお、車両１０から周辺車両への距離及び方位の変化は、周辺車両の追跡中に生成された各画像における物体領域の位置の変化から推定される。

状態識別部３３は、追跡中の周辺車両のそれぞれについて、カメラ２から画像が得られる度に、その周辺車両が含まれる物体領域内の画素値から求められる特徴を、再帰的な構造を持つ信号灯状態識別用の識別器（以下、単に信号灯状態識別器と呼ぶ）に入力する。すなわち、信号灯状態識別器には、カメラ２により得られた最新の画像における周辺車両の物体領域からの特徴、及び、カメラ２により最新の画像よりも前に得られた１以上の過去画像のそれぞれにおけるその周辺車両の物体領域からの特徴が時系列順に入力される。そして状態識別部３３は、その識別器の出力結果として、時系列の外観変化を伴う、その周辺車両の信号灯状態を識別する。

状態識別部３３は、周辺車両が表された物体領域内の画素値から求められる特徴として、例えば、物体検出用の識別器の主幹部により算出されたfeature mapのうち、その物体領域に含まれるfeatureを利用することができる。これにより、周辺車両そのものの特徴だけでなく、周辺車両周囲の環境の特徴も状態識別に利用することが可能となる。本実施形態では、周辺車両と周辺車両の前後を走行する他の車両との相対的な位置関係による影響、例えば、周辺車両のターンシグナル等の一部が他の車両に隠れているような状況も考慮して、信号灯状態識別器は、周辺車両の信号灯の状態を識別することができる。例えば、feature mapの解像度が物体検出用の識別器に入力された画像の解像度と同一である場合、その画像上での物体領域と対応する、feature map上の領域内に含まれる各featureが、物体領域内の画素値から求められる特徴となる。また、feature mapの解像度が物体検出用の識別器に入力された画像の解像度よりも低い場合、入力された画像の解像度に対するfeature mapの解像度の比に応じて、物体領域の座標を補正した位置及び範囲が、物体領域に対応する、feature map上の領域となる。例えば、入力された画像上での物体領域の左上端位置及び右上端位置がそれぞれ(tlX, tlY)及び(brX, brY)であり、入力された画像に対して1/N(Nは2以上の整数)のダウンサイジングが行われてfeature mapが算出されているとする。この場合、画像上の物体領域に対応するfeature map上の領域の左上端位置及び右下端位置は、それぞれ、(tlX/N, tlY/N)及び(brX/N, brY/N)となる。

変形例によれば、状態識別部３３は、物体検出用の識別器に入力された画像上の周辺車両が表された物体領域内の各画素の値そのものを、信号灯状態識別器に入力する、周辺車両が表された物体領域内の画素値から求められる特徴としてもよい。あるいは、状態識別部３３は、その物体領域内の各画素に対して、畳み込み演算といった所定のフィルタ処理を行って得られた値を、信号灯状態識別器に入力する、周辺車両が表された物体領域内の画素値から求められる特徴としてもよい。

状態識別部３３は、各物体領域について、抽出した特徴をダウンサンプリングまたはアップサンプリングすることで所定のサイズ（例えば、32×32）にリサイズする。これにより、周辺車両の追跡の途中で車両１０と周辺車両間の相対距離が変化して、画像上での周辺車両のサイズが変化しても、信号灯状態識別器は、入力される特徴を一定のサイズとして扱えるので、信号灯状態識別器の構成が簡単化される。

状態識別部３３は、再帰的な構造を持つ信号灯状態識別器として、例えば、Recurrent Neural Network(RNN)、Long Short Term Memory(LSTM)またはGated Recurrent Unit(GRU)といった、再帰的な構造を持つニューラルネットワークを用いることができる。そのようなニューラルネットワークは、物体領域内の画素値から求められる特徴が入力される入力層と、信号灯状態の識別結果を出力する出力層と、入力層と出力層との間において入力層から出力層へ向けて順に設けられる少なくとも一つの中間層とを有する。そして何れかの中間層が、上記の再帰的な構造を有するものとして構成される。さらに、中間層には、上流側の層からの出力に対して畳み込み演算といった所定の演算を実行する層が含まれてもよい。信号灯状態識別器は、物体領域に含まれる特徴を処理すればよいため、物体検出用の識別器と比較して、入力層及び中間層のサイズが小さくて済み、かつ、重み係数といった信号灯状態識別器を規定するためのパラメータ数が少なくて済む。そのため、信号灯状態識別器は、物体検出用の識別器と比較して演算量が少なく、プロセッサ２３に対する演算負荷を小さくすることができる。さらに、信号灯状態識別器の学習に要する演算量も削減される。

信号灯状態識別器は、再帰的な構造を有しているため、時系列に順次特徴が入力される度に、内部状態を更新する。これにより、信号灯状態識別器は、追跡中の周辺車両の信号灯の時系列の変化に基づいて、その信号灯の点灯状態を識別することができる。本実施形態では、状態識別部３３は、周辺車両の信号灯状態として、左右何れかのターンシグナルまたはハザードランプの点滅状態か否か、ブレーキランプが点灯している状態あるいは消灯している状態かを識別する。そのために、信号灯状態識別器の出力層の活性化関数として、例えば、sigmoid関数が用いられる。これにより、信号灯状態識別器は、各状態の確信度を出力することができる。そして状態識別部３３は、各状態の確信度を対応する閾値と比較し、周辺車両の信号灯状態は、確信度が対応する閾値以上となる状態であると判定する。例えば、着目する周辺車両の左のターンシグナルが点滅している状態についての確信度が0.8であり、一方、左のターンシグナルが点滅していない状態についての確信度が0.2であるとする。そして閾値が0.5であるとすると、状態識別部３３は、着目する周辺車両の信号灯状態は、左のターンシグナルが点滅している状態であると判定する。

あるいは、信号灯状態識別器の出力層の活性化関数として、softmax関数が用いられてもよい。この場合には、信号灯状態識別器は、周辺車両の信号灯状態として、左のターンシグナルが点滅、右のターンシグナルが点滅、ハザードランプが点滅、ブレーキランプが点灯、あるいはその何れでもないとの判定結果を出力する。したがって、状態識別部３３は、信号灯状態識別器から出力された判定結果で表される状態を、周辺車両の信号灯状態とすればよい。

変形例によれば、状態識別部３３は、信号灯状態識別器として、時間軸方向の畳み込み演算を実行する、CNN型のアーキテクチャを有するニューラルネットワークを用いてもよい。この場合、信号灯状態識別器は、例えば、直前の層から出力されたfeature mapに対して、時間軸方向に沿って畳み込み演算を実行する畳み込み層（以下、時間特徴畳み込み層と呼ぶ）を一つ以上有する。個々の時間特徴畳み込み層の時間軸方向のカーネルサイズは、例えば、全ての時間特徴畳み込み層を経由することで、一度に入力される複数の特徴が含まれる期間全体にわたって畳み込み演算が行われるように設定される。時間特徴畳み込み層は、例えば、時間軸方向及び空間方向の何れについても畳み込み演算（以下、３次元畳み込み演算と呼ぶ）を実行してもよく、あるいは、時間軸方向についてのみの畳み込み演算（以下、時間次元畳み込み演算と呼ぶ）を実行してもよい。さらに、時間特徴畳み込み層は、チャネル方向に関しても畳み込み演算または全結合演算を実行してもよい。また、信号灯状態識別器が複数の時間特徴畳み込み層を有する場合には、その複数の時間特徴畳み込み層の何れかの層が３次元畳み込み演算を実行し、その複数の時間特徴畳み込み層の他の層が時間次元畳み込み演算を実行してもよい。さらに、信号灯状態識別器は、時間軸方向には畳み込み演算を実行せず、空間方向について畳み込み演算を実行する畳み込み層（以下、空間特徴畳み込み層と呼ぶ）を一つ以上有してもよい。この空間特徴畳み込み層も、チャネル方向に関して畳み込み演算または全結合演算を実行してもよい。信号灯状態識別器が１以上の空間特徴畳み込み層を有する場合、空間特徴畳み込み層と時間特徴畳み込み層の順序はどのような順序でもよい。例えば、入力側から出力側へ順に、空間特徴畳み込み層、時間特徴畳み込み層の順に各畳み込み層が設けられてもよく、あるいはその逆の順序であってもよい。さらに、空間特徴畳み込み層と時間特徴畳み込み層とが交互に設けられてもよい。さらに、信号灯状態識別器は、１以上のプーリング層を有してもよい。さらにまた、信号灯状態識別器は、１以上の活性化層及び１以上の全結合層を有してもよい。信号灯状態識別器の出力層は、例えば、活性化関数としてシグモイド関数またはソフトマックス関数を使用する。

状態識別部３３は、状態識別の対象となる個々の周辺車両についての信号灯状態の識別結果または信号灯状態の確信度を検出物体リストへ登録するとともに、第１の制御指示決定部３４及び第２の制御指示決定部３５へ通知する。

第１の制御指示決定部３４は、周辺車両の信号灯状態の識別結果及び車両１０と周辺車両間の相対的な位置関係に基づいて、車両と周辺車両との衝突を回避するように車両１０を制御するための所定の規則に従って第１の制御値を含む第１の制御指示を決定する。すなわち、第１の制御指示決定部３４は、いわゆるルールベースに従って第１の制御値を決定する。本実施形態では、第１の制御値は、車両１０と周辺車両との衝突を回避するために車両１０について目標となる加減速度である。

例えば、所定の規則は、周辺車両の信号灯状態の識別結果がブレーキランプの点灯状態であることを表す期間Pが時間閾値T1以上であり、かつ、その周辺車両と車両１０とが同じ車線を走行していることとすることができる。また、他の所定の規則として、周辺車両について信号灯状態が右のターンシグナルの点滅状態である期間Pが時間閾値T1以上であり、その周辺車両が車両１０の走行車線（以下、自車線と呼ぶ）の左側に隣接する車線を走行していることが設定されてもよい。さらに他の所定の規則として、周辺車両についての信号灯状態が左のターンシグナルの点滅状態である期間Pが時間閾値T1以上であり、その周辺車両が自車線の右側に隣接する車線を走行していることが設定されてもよい。何れかの周辺車両がこれらの制御条件の何れかを満たす場合、第１の制御指示決定部３４は、車両１０を減速させる必要があると判定する。一方、何れの周辺車両もこれらの制御条件を満たさない場合、第１の制御指示決定部３４は、車両１０を減速させる必要はないと判定する。

車両１０を減速させる必要があると判定されたとき、第１の制御指示決定部３４は、第１の制御値として、車両１０を減速させる減速度を決定する。そのために、第１の制御指示決定部３４は、車両１０と、その判定の原因となった周辺車両との間の距離、車両１０に対するその周辺車両の相対速度、及び、その周辺車両の減速度の少なくとも何れかに応じて、車両１０の減速度を決定する。例えば、車両１０とその周辺車両との間の距離が短いほど、車両１０の速度からその周辺車両の速度を減じた速度差が大きいほど、あるいは、その周辺車両の減速度が大きいほど、第１の制御指示決定部３４は、車両１０の減速度を大きくする。そして第１の制御指示決定部３４は、決定した減速度を第１の制御値として含む第１の制御指示を制御指示統合部３６へ出力する。

一方、車両を減速させる必要がないと判定されたとき、第１の制御指示決定部３４は、車両１０が現在の車速を維持すること（すなわち、加減速度0）を指示する第１の制御指示を制御指示統合部３６へ出力する。

図４は、第１の制御指示決定の一例の概要を説明する図である。画像４００に表されている周辺車両のうち、自車線において車両１０の前方を走行する周辺車両４０１の信号灯状態がブレーキランプの点灯状態であることを表す期間Pが時間閾値T1以上であるとする。この場合、第１の制御指示として、車両１０を減速させる制御指示が出力される。同様に、自車線の右側の隣接車線を走行する周辺車両４０２の信号灯状態が左のターンシグナルの点滅状態であることを表す期間Pが時間閾値T1以上である場合も、第１の制御指示として、車両１０を減速させる制御指示が出力される。一方、自車線を走行する周辺車両の信号灯状態がブレーキランプの点灯状態でなく、隣接車線を走行する周辺車両の信号灯状態が自車線側のターンシグナルの点滅状態でなければ、車両１０に現在の車速を維持させる第１の制御指示が出力される。

なお、所定の規則は、上記の例に限定されない。例えば、所定の規則には、車両１０を加速させるための規則が含まれてもよい。例えば、車両１０の後方を撮影するカメラが上記のカメラ２と別個に車両１０に設けられているとする。後方を撮影するカメラにより生成された一連の画像から検出された周辺車両が車両１０の後方において自車線に対する隣接車線を走行しており、かつ、その周辺車両の信号灯状態が、自車線側のターンシグナルの点滅状態であるとする。この場合、その周辺車両は、車両１０の後方において自車線へ車線変更しようとしていると推定される。そこで第１の制御指示決定部３４は、車両１０と周辺車両間の距離を拡げるよう、第１の制御指示に含まれる第１の制御値を、車両１０を加速させる値としてもよい。

さらにまた、所定の規則には、信号灯状態識別器の何れかの中間層からの出力（例えば、feature map）を利用する規則が含まれてもよい。例えば、自車線において車両１０の前方を走行する周辺車両について、信号灯状態識別器の何れかの中間層から出力された最新のfeature mapに含まれる個々の値の２乗和が所定の閾値よりも小さいとする。この場合、物体領域内のコントラストが低く、信号灯状態識別器による信号灯状態の識別結果の信頼性が低いと想定される。そこで、第１の制御指示決定部３４は、信号灯状態によらずに第１の制御値を決定してもよい。例えば、自車線を走行する周辺車両についてのfeature mapに含まれる個々の値の２乗和が所定の閾値よりも小さい場合、第１の制御指示決定部３４は、その周辺車両と車両１０との車間距離が短いほど大きな減速度を含む第１の制御指示を生成してもよい。

上記のように、周辺車両の何れか一つ以上が何れかの規則を満たした場合に、第１の制御指示決定部３４は、その充足された規則に相当する車両１０の挙動を指示するための第１の制御値を含む第１の制御指示を出力すればよい。さらに、第１の制御指示決定部３４は、自車線を走行する周辺車両と車両１０との車間距離が、所定距離以下となった場合、周辺車両の信号灯状態によらず、車両１０を減速させる第１の制御指示を出力してもよい。なお、所定距離は、車両１０の車速が大きいほど、長く設定される。

第２の制御指示決定部３５は、制御指示決定用の識別器に、各周辺車両の信号灯状態の識別結果を入力することで、第２の制御値を含む第２の制御指示を求める。以下では、制御指示決定用の識別器を制御指示識別器と呼ぶ。制御指示識別器は、車両１０と周辺車両との衝突を回避するように車両１０を制御するための制御値を出力するように予め学習される。また、本実施形態では、第２の制御値は、第１の制御値と同様に、車両１０と周辺車両との衝突を回避するために車両１０について目標となる加減速度である。また、制御指示識別器の入力パラメータとして、信号灯状態の識別結果とともに、車両１０と周辺車両間の相対的な位置関係、相対車速、相対加減速度、周辺車両を含む物体領域のサイズ及び画像上でのその物体領域の位置のうちの少なくとも一つが用いられてもよい。さらに、信号灯状態識別器の何れかの中間層からの出力（例えば、feature map）が、制御指示識別器への入力パラメータの一つとして用いられてもよい。さらにまた、第２の制御指示決定部３５は、上記の入力パラメータのうちの一つまたは複数について、最新のものだけでなく、直近の所定期間に得られた複数のパラメータを制御指示識別器に入力してもよい。信号灯状態の識別結果とともにこのようなパラメータが入力されることで、制御指示識別器は、周辺車両の信号灯状態の識別が困難となる走行環境においても、より適切な第２の制御値を出力することができる。

第２の制御指示決定部３５は、制御指示識別器として、RNN、LSTMまたはGRUといった、再帰的な構造を持つニューラルネットワークを用いることができる。あるいは、第２の制御指示決定部３５は、制御指示識別器として、再帰的な構造を持たない他の構造のニューラルネットワークを用いてもよい。例えば、第２の制御指示決定部３５は、入力層と、全結合層である１以上の中間層と、sigmoid関数またはsoftmax関数を活性化関数として利用し、何れかの制御出力を出力する出力層とを有するニューラルネットワークを、制御指示識別器として用いることができる。あるいはまた、第２の制御指示決定部３５は、ニューラルネットワーク以外の機械学習モデルに従った識別器を、制御指示識別器として用いてもよい。第２の制御指示決定部３５は、そのような識別器として、例えば、SVM、ロジスティック回帰モデルあるいは単純ベイズ分類器を用いることができる。

制御指示識別器は、各入力パラメータとそれら入力パラメータに対する、衝突回避のための適切な制御出力の組み合わせを含む多数の教師データを用いて、その制御指示識別器に応じた学習手法に従って予め学習される。なお、衝突回避のための適切な制御出力には、衝突のおそれがない場合に車両１０の車速及び進路を維持することで、不要な減速及び不要な進路変更を避けるような制御出力も含まれる。そのため、第２の制御指示決定部３５は、このような制御指示識別器を利用することで、周辺車両の信号灯状態に応じた適切な制御指示を求めることができる。

なお、信号灯状態識別器及び制御指示識別器がそれぞれニューラルネットワークとして構成されている場合、共通の教師データを用いて、誤差逆伝搬法によりそれらニューラルネットワークが一体的に学習されてもよい。このように各識別器が一体的に学習されることで、これらの識別器は、車両１０の周囲の環境が、周辺車両の信号灯状態の識別が困難となるよう環境であっても、適切な制御指示を決定することが可能となる。物体検出用の識別器もニューラルネットワークとして構成されている場合、物体検出用の識別器も、信号灯状態識別器及び制御指示識別器とともに一体的に学習されてもよい。

第２の制御指示決定部３５は、決定した第２の制御指示を制御指示統合部３６へ出力する。

制御指示統合部３６は、第１の制御指示に含まれる第１の制御値と第２の制御指示に含まれる第２の制御値との差、あるいは、第２の制御値の絶対値に基づいて、車両１０と周辺車両との衝突を回避するための統合制御値を含む統合制御指示を決定する。

例えば、第１の制御指示で指定された加減速度と第２の制御指示で指定された加減速度との差の絶対値（以下、加減速度差と呼ぶ）が一定値以下である場合、それらの制御指示の信頼性は高いと考えられる。そこで制御指示統合部３６は、第１の制御指示と第２の制御指示間の加減速度差が一定値以下である期間Pが第２の時間閾値T2以上継続した場合、最新の第１の制御指示及び第２の制御指示のそれぞれに含まれる加減速度の平均値を統合制御値として決定する。あるいは、制御指示統合部３６は、その期間Pに受信した複数の第１の制御指示及び複数の第２の制御指示のそれぞれに含まれる加減速度の平均値を統合制御値として決定してもよい。これにより、車両１０の加減速度が急激に変化することが抑制される。

一方、第１の制御指示と第２の制御指示間の加減速度差が一定値よりも大きい期間Pが第３の時間閾値T3以上継続した場合、それらの制御指示の信頼性は相対的に低いと考えられる。そこで制御指示統合部３６は、その期間Pに受信した第１の制御指示における加減速度の平均値とその期間Pに受信した第２の制御指示における加減速度の平均値のうち、絶対値が大きい方を、統合制御指示に含まれる統合制御値として決定する。これにより、例えば、第１の制御指示決定部３４により減速制御は不要と判定されたものの、実際には減速制御が必要であった場合でも、制御指示統合部３６は、第２の制御指示決定部３５からの出力に従って減速制御を指示する統合制御指示を生成することができる。なお、第３の時間閾値T3は、例えば、第２の時間閾値T2よりも長い時間に設定されることが好ましい。

また、第１の制御指示と第２の制御指示間の加減速度差が一定値よりも大きい期間Pが第２の時間閾値T2未満となる場合、第１の制御指示と第２の制御指示の少なくとも一方の信頼度が安定していないと想定される。そこで制御指示統合部３６は、第２の制御指示に含まれる加減速度に対してフィードバック制御を適用することで得られた加減速度を統合制御値として統合制御指示に含めてもよい。なお、フィードバック制御として、例えば、PD制御またはPID制御が用いられる。これにより、制御指示統合部３６は、車両１０の加減速度が急激に変化することが抑制され、車両１０を滑らかに加速または減速させることができる。

さらに、一定期間内における第１の制御指示と第２の制御指示のうちいずれかの加減速度の分散値が一定値よりも大きい場合、第１の制御指示と第２の制御指示の少なくとも一方の信頼度が安定していないと想定される。そこで制御指示統合部３６は、信頼度が安定していないと想定される方の制御指示を所定時間の間無視し、その期間はもう一方の制御指示の加減速度値をそのまま統合制御値とすることで、車両１０を滑らかに加速または減速させることができる。

あるいは、制御指示統合部３６は、第２の制御指示に含まれる加減速度の絶対値が所定の上限閾値以上である場合、その上限閾値に相当する加減速度を、統合制御指示に含まれる統合制御値としてもよい。あるいはまた、第２の制御指示に含まれる加減速度の絶対値が所定の上限閾値以上である場合、車両１０の周囲の環境が想定外の環境であるために制御指示識別器が異常な値を出力した可能性がある。そこでこの場合、制御指示統合部３６は、第１の制御指示に含まれる加減速度を統合制御値とする。あるいは、制御指示統合部３６は、直前に出力した統合制御指示に含まれる統合制御値と同じ制御値を、今回の統合制御値として、同じ制御が継続されるようにしてもよい。

制御指示統合部３６は、統合制御指示を車両制御部３７へ通知する。

車両制御部３７は、制御指示統合部３６から受信した統合制御指示に含まれる統合制御値に従って車両１０が走行するように車両１０の各部を制御する。例えば、車両制御部３７は、加速度センサ（図示せず）により測定された車両１０の現在の加速度と、受信した統合制御指示に含まれる統合制御値である加減速度との差をなくすようにアクセル開度またはブレーキ量を設定する。その際、車両制御部３７は、PD制御またはPID制御といったフィードバック制御により、アクセル開度またはブレーキ量を設定してもよい。そして車両制御部３７は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３７は、設定されたアクセル開度に従って車両１０のモータへ供給される電力を求め、その電力がモータへ供給されるようにモータの駆動装置を制御する。あるいはまた、車両制御部３７は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

図５は、プロセッサ２３により実行される、車両制御処理の動作フローチャートである。プロセッサ２３は、所定の周期ごとに、図５に示される動作フローチャートに従って車両制御処理を実行する。

プロセッサ２３の物体検出部３１は、カメラ２から得られた最新の画像を物体検出用の識別器に入力して、その画像に表された周辺車両を検出する。すなわち、物体検出部３１は、画像上で周辺車両を含む物体領域を検出する（ステップＳ１０１）。そして物体検出部３１は、検出された周辺車両を検出物体リストに登録する。

プロセッサ２３の追跡部３２は、最新の画像における、周辺車両を含む物体領域のそれぞれについて、その物体領域と、過去の画像における物体領域とに基づいて、最新の画像における、その物体領域に表されている周辺車両を追跡する（ステップＳ１０２）。

プロセッサ２３の状態識別部３３は、追跡中の周辺車両のそれぞれについて、その周辺車両が表された物体領域内の画素値から求められる特徴を、信号灯状態識別器に入力することで、その周辺車両の信号灯状態を識別する（ステップＳ１０３）。

さらに、プロセッサ２３の第１の制御指示決定部３４は、追跡中の各周辺車両の信号灯状態及び各周辺車両と車両１０との相対的な位置関係に基づいて、所定の規則に従って第１の制御指示を決定する（ステップＳ１０４）。

また、プロセッサ２３の第２の制御指示決定部３５は、追跡中の各周辺車両の信号灯状態の識別結果を制御指示識別器に入力することで、第２の制御指示を決定する（ステップＳ１０５）。

プロセッサ２３の制御指示統合部３６は、第１の制御指示と第２の制御指示とに基づいて、統合制御指示を決定する（ステップＳ１０６）。そしてプロセッサ２３の車両制御部３７は、統合制御指示に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０７）。そしてプロセッサ２３は、車両制御処理を終了する。

以上に説明してきたように、この車両制御装置は、車両に搭載されたカメラにより生成される、時系列に得られる一連の画像から周辺車両を検出するとともに追跡する。そしてこの車両制御装置は、各画像における周辺車両が表された物体領域から得られる特徴を信号灯状態識別器に入力することで、周辺車両の信号灯状態を識別する。さらに、この車両制御装置は、周辺車両の信号灯状態の識別結果と、車両と周辺車両の相対的な位置関係とに基づいて、所定の規則に従って車両の走行に関する第１の制御指示を求める。さらに、この車両制御装置は、周辺車両の信号灯状態の識別結果を制御指示識別器に入力することで車両の走行に関する第２の制御指示を求める。そしてこの車両制御装置は、第１の制御指示及び第２の制御指示に基づいて統合制御指示を決定し、決定した制御指示に従って車両の走行を制御する。このように、この車両制御装置は、周辺車両の信号灯状態の識別結果だけでなく、車両と周辺車両間の相対的な位置関係も参照するので、信号灯状態を正確に識別することが困難な場合でも、比較的適切に第１の制御指示を決定できる。さらに、この車両制御装置は、信号灯状態の識別結果を入力パラメータの一つとし、機械学習システムに従って構築される制御指示識別器を利用する。制御指示識別器は、十分な識別精度が得られない走行環境における信号灯状態の識別結果となすべき車両制御の組み合わせを表すデータも教師データとして用いて学習される。そのため、この制御指示識別器は、信号灯状態を正確に識別することが困難な場合でも、比較的適切な第２の制御指示を決定できる。そしてこの車両制御装置は、第１の制御指示と第２の制御指示の両方を参照することで、車両と周辺車両との衝突回避のためにより適切と考えられる制御指示を決定できる。そのため、この車両制御装置は、車両の周囲の他の車両の信号灯の状態の識別が困難でも車両を適切に制御することができる。例えば、この車両制御装置は、車両の前方へ周辺車両が割り込んでいないにもかかわらず、減速制御を行い、逆に、周辺車両の割込みに伴うウィンカーの点滅または周辺車両の減速に伴うブレーキランプの点灯を見落として制動されないといったことを抑制できる。

また、上記の実施形態または変形例による、車両制御装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
２ カメラ
３ 電子制御装置（車両制御装置）
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 追跡部
３３ 状態識別部
３４ 第１の制御指示決定部
３５ 第２の制御指示決定部
３６ 制御指示統合部
３７ 車両制御部

Claims (10)

1. 車両に設けられた、前記車両の周囲を撮影する撮像部により得られた画像から、前記車両の周囲を走行する周辺車両が表された物体領域を検出する物体検出部と、
   前記画像上の前記物体領域から抽出される特徴を前記周辺車両の信号灯の状態を識別するように予め学習された信号灯状態識別器に入力することで、前記周辺車両の信号灯の状態を識別する状態識別部と、
   前記周辺車両の信号灯の状態の識別結果と、前記車両と前記周辺車両との相対的な位置関係とに基づいて、前記車両と前記周辺車両との衝突を回避するように前記車両を制御するための所定の規則に従って第１の制御値を決定する第１の制御指示決定部と、
   前記周辺車両の信号灯の状態の識別結果を、前記車両と前記周辺車両との衝突を回避するように前記車両を制御するための第２の制御値を出力するように予め学習された制御指示識別器に入力することで前記第２の制御値を決定する第２の制御指示決定部と、
   前記第１の制御値と前記第２の制御値との差、あるいは、前記第２の制御値の絶対値に基づいて、前記車両と前記周辺車両との衝突を回避するための統合制御値を決定する制御指示統合部と、
   前記統合制御値に従って前記車両の走行を制御する制御部と、
   を有する車両制御装置。
2. 前記第１の制御指示決定部は所定の周期ごとに前記第１の制御値を出力するとともに前記第２の制御指示決定部は前記所定の周期ごとに前記第２の制御値を出力し、
   前記制御指示統合部は、前記第１の制御値と前記第２の制御値との差の絶対値が一定値以下である期間が所定の時間閾値以上継続した場合、前記期間内に出力された何れかの前記第１の制御値と前記期間内に出力された何れかの前記第２の制御値との平均値を前記統合制御値とする、請求項１に記載の車両制御装置。
3. 前記第１の制御指示決定部は所定の周期ごとに前記第１の制御値を出力するとともに前記第２の制御指示決定部は前記所定の周期ごとに前記第２の制御値を出力し、
   前記制御指示統合部は、前記第１の制御値と前記第２の制御値の差の絶対値が一定値以上となる期間が所定の時間閾値以上継続した場合、前記期間内に出力された前記第１の制御値の平均値及び前記期間内に出力された前記第２の制御値の平均値のうち、絶対値が大きい方を前記統合制御値とする、請求項１に記載の車両制御装置。
4. 前記制御指示統合部は、前記第２の制御値の絶対値が所定の上限値以上である場合、前記所定の上限値、あるいは、前記第１の制御値を前記統合制御値とする、請求項１に記載の車両制御装置。
5. 前記第２の制御指示決定部は、前記周辺車両の信号灯の状態の識別結果とともに、前記車両と前記周辺車両間の相対的な位置関係、相対車速、相対加減速度、前記物体領域のサイズ及び前記物体領域の位置のうちの少なくとも一つを前記制御指示識別器に入力することで前記第２の制御値を決定する、請求項１～４の何れか一項に記載の車両制御装置。
6. 前記信号灯状態識別器は、前記物体領域から抽出される特徴が入力される入力層と、前記周辺車両の信号灯の状態を出力する出力層と、前記入力層と前記出力層との間において前記入力層から前記出力層へ向けて順に設けられる少なくとも一つの中間層とを有し、前記少なくとも一つの中間層のそれぞれは、当該中間層よりも前記入力層側の層からの出力に対して所定の演算を実行し、
   前記第２の制御指示決定部は、前記周辺車両の信号灯の状態の識別結果とともに、前記信号灯状態識別器の前記少なくとも一つの中間層の何れかについての前記所定の演算の結果を前記制御指示識別器に入力することで前記第２の制御値を決定する、請求項１～４の何れか一項に記載の車両制御装置。
7. 前記信号灯状態識別器は再帰構造を有し、
   前記状態識別部は、前記撮像部により前記画像よりも過去に得られた１以上の過去画像のそれぞれにおける前記物体領域から抽出される特徴及び前記画像上の前記物体領域から抽出される特徴を時系列順に前記信号灯状態識別器に入力することで、前記周辺車両の信号灯の状態を識別する、請求項１～６の何れか一項に記載の車両制御装置。
8. 前記信号灯状態識別器は時間軸方向における畳み込み演算を実行する畳み込み層を有するコンボリューショナルニューラルネットワークであり、
   前記状態識別部は、前記撮像部により前記画像よりも過去に得られた１以上の過去画像のそれぞれにおける前記物体領域から抽出される特徴及び前記画像上の前記物体領域から抽出される特徴を前記信号灯状態識別器に入力することで、前記周辺車両の信号灯の状態を識別する、請求項１～６の何れか一項に記載の車両制御装置。
9. 車両制御装置が、車両に設けられた、前記車両の周囲を撮影する撮像部により得られた画像から、前記車両の周囲を走行する周辺車両が表された物体領域を検出し、
   前記車両制御装置が、前記画像上の前記物体領域から抽出される特徴を前記周辺車両の信号灯の状態を識別するように予め学習された信号灯状態識別器に入力することで、前記周辺車両の信号灯の状態を識別し、
   前記車両制御装置が、前記周辺車両の信号灯の状態の識別結果と、前記車両と前記周辺車両との相対的な位置関係とに基づいて、前記車両と前記周辺車両との衝突を回避するように前記車両を制御するための所定の規則に従って第１の制御値を決定し、
   前記車両制御装置が、前記周辺車両の信号灯の状態の識別結果を、前記車両と前記周辺車両との衝突を回避するように前記車両を制御するための第２の制御値を出力するように予め学習された制御指示識別器に入力することで前記第２の制御値を決定し、
   前記車両制御装置が、前記第１の制御値と前記第２の制御値との差、あるいは、前記第２の制御値の絶対値に基づいて、前記車両と前記周辺車両との衝突を回避するための統合制御値を決定し、
   前記車両制御装置が、前記統合制御値に従って前記車両の走行を制御する、
   ことを含む車両制御方法。
10. 車両に設けられた、前記車両の周囲を撮影する撮像部により得られた画像から、前記車両の周囲を走行する周辺車両が表された物体領域を検出し、
    前記画像上の前記物体領域から抽出される特徴を前記周辺車両の信号灯の状態を識別するように予め学習された信号灯状態識別器に入力することで、前記周辺車両の信号灯の状態を識別し、
    前記周辺車両の信号灯の状態の識別結果と、前記車両と前記周辺車両との相対的な位置関係とに基づいて、前記車両と前記周辺車両との衝突を回避するように前記車両を制御するための所定の規則に従って第１の制御値を決定し、
    前記周辺車両の信号灯の状態の識別結果を、前記車両と前記周辺車両との衝突を回避するように前記車両を制御するための第２の制御値を出力するように予め学習された制御指示識別器に入力することで前記第２の制御値を決定し、
    前記第１の制御値と前記第２の制御値との差、あるいは、前記第２の制御値の絶対値に基づいて、前記車両と前記周辺車両との衝突を回避するための統合制御値を決定し、
    前記統合制御値に従って前記車両の走行を制御する、
    ことを前記車両に搭載されたプロセッサに実行させるための車両制御用コンピュータプログラム。

Images