JP2025010941A - 自動運転システム - Google Patents

Abstract

【課題】車両の自動運転制御に関連するログデータを保存するに当たって、データ容量を削減しつつ、自動運転制御の説明性を担保することを可能とする技術を提供すること。
【解決手段】自動運転システムは、車両に搭載され、機械学習モデルを利用して車両の自動運転を行う。自動運転システムは、自動運転を実行したときに、自動運転に関連するログデータを取得する処理と、車両のオペレータの現在状態を取得する処理と、自動運転システムが求めるオペレータの状態である理想状態を取得する処理と、ログデータを１又は複数の記憶装置に保存するログデータ保存処理と、を実行するように構成される。ログデータ保存処理は、オペレータの現在状態が理想状態に合致する場合、ログデータの一部の対象データを圧縮又は削除することを含む。
【選択図】図３

Description

本開示は、機械学習モデルを利用して車両の自動運転を行う自動運転システムに関する。

特許文献１は、車両周辺の監視画像データを記録する車両走行記録装置を開示している。車両走行記録装置によれば、車両に搭載されるカメラが車両の周辺を撮影して得られる画像データが保存される。ただし、保存されるのは画像データの全てではなく、運転者の視線方向、さらに車両の周辺で動きのある物体を捉えている範囲が周辺状況監視画像データとして記録される。

なお、本開示に関連する技術分野の技術水準を示す文献としては、上述の特許文献１の他にも下記の特許文献２及び特許文献３を例示することができる。

特開２０２０－１０６９２１号公報 特開２０２１－０５１６０４号公報 特開２００９－０１５７８９号公報

特許文献１に開示されるように、ドライブレコーダをはじめとした、車両の走行中の情報を記録する装置が知られており、これらは事故発生時の原因分析などに活用することができる。後に検証が必要になった場合に備えて情報を保存しておくことが求められる点については、機械学習モデルを利用して自動運転を行うシステムについても同様のことが言える。すなわち、機械学習モデルを利用した自動運転がどのように行われたのかを後に検証することができるように、自動運転に関連するデータを保存しておくことは重要である。

ただし、自動運転に関連するデータの全てを保存しようとすると、記憶装置の容量が逼迫する可能性がある。そのため、いかにして記憶装置の容量を温存しつつ自動運転制御の説明性を担保するかが課題となる。

本開示の１つの目的は、車両の自動運転制御に関連するログデータを保存するに当たって、データ容量を削減しつつ、自動運転制御の説明性を担保することを可能とする技術を提供することにある。

本開示は、車両に搭載され、機械学習モデルを利用して車両の自動運転を行う自動運転システムを提供する。
自動運転システムは、１又は複数のプロセッサと、１又は複数の記憶装置とを備える。
１又は複数のプロセッサは、自動運転を実行したときに、
自動運転に関連するログデータを取得する処理と、
車両のオペレータの現在状態を取得する処理と、
自動運転システムが求めるオペレータの状態である理想状態を取得する処理と、
ログデータを１又は複数の記憶装置に保存するログデータ保存処理と、
を実行するように構成される。
ログデータ保存処理は、オペレータの現在状態が理想状態に合致する場合、ログデータの一部の対象データを圧縮又は削除することを含む。

本開示の技術によれば、自動運転システムは、条件に応じて、ログデータの一部を圧縮又は削除したデータを記憶装置に保存する。具体的には、オペレータの現在状態と理想状態が合致するときに、一部のデータの圧縮又は削除が行われる。オペレータの現在状態と理想状態が合致することは、自動運転に対するオペレータによる監視が十分に行われていることを意味すると考えられる。すなわち、オペレータによる監視が十分に行われていることが確認できた場合にデータの圧縮や削除が行われることで、自動運転制御の説明性を確保しつつも、保存するデータの容量を削減することが可能となる。

本実施の形態に係る車両の自動運転制御に関連する構成例を示す図である。 本実施の形態に係る自動運転システムの構成の一例を示す図である。 本実施の形態に係る自動運転システムが行う処理の例を示すフローチャートである。 本実施の形態に係る自動運転システムが行う処理の変形例を示すフローチャートである。 本実施の形態に係るログ保存優先度の設定の一例を示す概念図である。

１．車両の自動運転
本実施の形態に係る自動運転システムは、車両に搭載され、車両の自動運転制御を行う。図１は、車両１の自動運転制御に関連する構成例を示すブロック図である。自動運転とは、車両１の操舵、加速、及び減速のうち少なくとも１つを人為的な操作に頼らず自動的に行うことである。自動運転制御は、完全自動運転制御だけでなく、リスク回避制御、レーンキープアシスト制御、等も含む概念である。

車両１は、センサ群１０、認識部２０、計画部３０、制御量算出部４０、及び走行装置５０を含んでいる。

センサ群１０は、車両１の周囲の状況を認識するために用いられる認識センサ１１を含んでいる。認識センサ１１としては、カメラ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。カメラは、車両１の前方を撮像する前方カメラ、車両１の右側を撮像する右サイドカメラ、左側を撮像する左サイドカメラ、後方を撮像する後方カメラ、等の複数のカメラを含んでもよい。センサ群１０は、更に、車両１の状態を検出する状態センサ１２、車両１の位置を検出する位置センサ１３、等を含んでいてもよい。状態センサ１２としては、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等が例示される。位置センサ１３としては、ＧＮＳＳ（Global Navigation Satellite System）センサが例示される。

センサ検出情報ＳＥＮは、センサ群１０によって得られる情報である。例えば、センサ検出情報ＳＥＮは、カメラによって撮影される画像を含んでいる。他の例として、センサ検出情報ＳＥＮは、ＬＩＤＡＲによって得られる点群情報を含んでいてもよい。センサ検出情報ＳＥＮは、車両１の状態を示す車両状態情報を含んでいてもよい。センサ検出情報ＳＥＮは、車両１の位置を示す位置情報を含んでいてもよい。

認識部２０は、センサ検出情報ＳＥＮを受け取る。認識部２０は、認識センサ１１により得られる情報に基づいて、車両１の周囲の状況を認識する。例えば、認識部２０は、車両１の周囲の物体を認識する。物体としては、歩行者、他車両（先行車両、駐車車両、等）、白線、道路構造物（例：ガードレール、縁石）、落下物、信号機、交差点、標識、等が例示される。認識結果情報ＲＥＳは、認識部２０による認識結果を示す。例えば、認識結果情報ＲＥＳは、車両１に対する物体の相対位置及び相対速度を示す物体情報を含む。

計画部（planner）３０は、認識部２０から認識結果情報ＲＥＳを受け取る。また、計画部３０は、車両状態情報、位置情報、予め生成された地図情報を受け取ってもよい。地図情報は、高精度３次元地図情報であってもよい。計画部３０は、受け取った情報に基づいて、車両１の走行計画を生成する。走行計画は、予め設定された目的地に到達するためのものであってもよいし、リスクを回避するためのものであってもよい。走行計画としては、現在の走行車線を維持する、車線変更を行う、追い越しを行う、右左折を行う、操舵する、加速する、減速する、停止する、等が例示される。更に、計画部３０は、車両１が走行計画に従って走行するために必要な目標トラジェクトリＴＲＪを生成する。目標トラジェクトリＴＲＪは、目標位置及び目標速度を含んでいる。

制御量算出部４０は、計画部３０から目標トラジェクトリＴＲＪを受け取る。制御量算出部４０は、車両１が目標トラジェクトリＴＲＪに追従するために必要な制御量ＣＯＮを算出する。制御量ＣＯＮは、車両１と目標トラジェクトリＴＲＪとの間の偏差を減少させるために要求される制御量であるということもできる。制御量ＣＯＮは、操舵制御量、駆動制御量、及び制動制御量のうち少なくとも一つを含む。操舵制御量としては、目標舵角、目標トルク、目標モータ角、目標モータ駆動電流、等が例示される。駆動制御量としては、目標速度、目標加速度、等が例示される。制動制御量としては、目標速度、目標減速度、等が例示される。

走行装置５０は、操舵装置５１、駆動装置５２、及び制動装置５３を含んでいる。操舵装置５１は、車輪を転舵する。例えば、操舵装置５１は、電動パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置５２は、駆動力を発生させる動力源である。駆動装置５２としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置５３は、制動力を発生させる。走行装置５０は、制御量算出部４０から制御量ＣＯＮを受け取る。走行装置５０は、操舵制御量、駆動制御量、及び制動制御量のそれぞれに従って、操舵装置５１、駆動装置５２、及び制動装置５３を動作させる。これにより、車両１が目標トラジェクトリＴＲＪに追従するように走行する。

認識部２０は、ルールベースモデル及び機械学習モデルのうち少なくとも一方を含んでいる。ルールベースモデルは、予め決められたルール群に基づいて認識処理を行う。機械学習モデルとしては、ＮＮ（Neural Network）、ＳＶＭ（Support Vector Machine）、回帰モデル、決定木モデル、等が例示される。ＮＮは、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、あるいはそれらの組み合わせであってもよい。ＮＮにおける各層の種類、層の数、ノード数は任意である。機械学習モデルは、機械学習を通して予め生成される。認識部２０は、モデルにセンサ検出情報ＳＥＮを入力することによって認識処理を行う。認識結果情報ＲＥＳは、モデルから出力される、あるいは、モデルからの出力に基づいて生成される。

計画部３０も同様に、ルールベースモデル及び機械学習モデルのうち少なくとも一方を含んでいる。計画部３０は、モデルに認識結果情報ＲＥＳを入力することによって計画処理を行う。目標トラジェクトリＴＲＪは、モデルから出力される、あるいは、モデルからの出力に基づいて生成される。

制御量算出部４０も同様に、ルールベースモデル及び機械学習モデルのうち少なくとも一方を含んでいる。制御量算出部４０は、モデルに目標トラジェクトリＴＲＪを入力することによって制御量算出処理を行う。制御量ＣＯＮは、モデルから出力される、あるいは、モデルからの出力に基づいて生成される。

認識部２０、計画部３０、及び制御量算出部４０のうち２以上は、一体的に構成されていてもよい。認識部２０、計画部３０、及び制御量算出部４０の全てが一体的に構成されていてもよい（End-to-End構成）。例えば、認識部２０と計画部３０は、センサ検出情報ＳＥＮから目標トラジェクトリＴＲＪを出力するＮＮにより一体的に構成されていてもよい。一体的構成の場合であっても、認識結果情報ＲＥＳや目標トラジェクトリＴＲＪといった中間生成物が出力されてもよい。例えば、認識部２０と計画部３０がＮＮにより一体的に構成される場合、認識結果情報ＲＥＳは、ＮＮの中間層の出力であってよい。

認識部２０、計画部３０、及び制御量算出部４０は、車両１の自動運転を制御する「自動運転制御部」を構成している。本実施の形態では、自動運転制御部の少なくとも一部に機械学習モデルが利用される。すなわち、認識部２０、計画部３０、及び制御量算出部４０のうち少なくとも１つは機械学習モデルを含んでいる。自動運転制御部は、機械学習モデルを利用して、車両１の自動運転制御の少なくとも一部を行う。

以上に説明したように、自動運転システムの自動運転制御部によって、車両１の自動運転が行われる。ただし、自動運転制御の実行中も、自動運転システムは完全に人の手を離れて車両１の制御を行うわけではない。車両１の自動運転制御が行われている間も、車両１の操作や監視を行うことができるように、車両１にはオペレータが待機している。

オペレータは、例えば、車両１に搭乗する乗員やドライバである。オペレータは、状況に応じて車両１の制御に関連する操作を行う。例えば、オペレータは、自動運転の状況や車両１の周囲の状況を監視し、必要と判断した場合には、車両１の操舵、加速、及び減速のうちの少なくとも１つについて自動運転制御に介入する操作を行う。或いは、オペレータは、自動運転システムからの要求に応じて必要な操作を行ってもよい。例えば、車両１の前方に低速で走行する車両が存在する場合などに、自動運転システムが前方の車両を追い越すか否かについてオペレータの判断を求めることがある。この場合、オペレータは自動運転システムからの求めに応じて、追い越しを行うこと、或いは追い越しを行わないことについての指示を自動運転システムに入力する。

なお、自動運転システムからオペレータへの要求としては、強制的な操作要求と、任意的な操作要求とが想定される。強制的な操作要求の例としてはハンズオン要求が挙げられる。例えば、認識部２０が区画線を正しく認識できない場合に、自動運転システムがドライバに運転を交代するように要求する場合が強制的な操作要求に当たる。このような強制的な要求に対してオペレータが応答しない場合には、車両１の走行が続けられなくなり、自動運転システムが車両１を停止させる可能性がある。それに対して、任意的な操作要求について言えば、オペレータからの応答がなくても車両１の走行を続けること自体は可能である。任意的な操作要求の例としては、追い越しやレーンチェンジを行うか、或いは行わないかについてのオペレータの判断の要求が挙げられる。例えば、自動運転システムが前方の車両を追い越すか否かについてオペレータの判断を求めたとする。この場合、オペレータからの応答がなかったとしても、自動運転システムは前方の車両に追従して走行を続けるように車両１の制御を行うのみであり、車両１の走行自体が継続できなくなるわけではない。

なお、別の例として、オペレータは車両１の外部の遠隔端末で待機するオペレータであってもよく、遠隔で車両１の操作や監視を行ってもよい。

図２は、本実施の形態に係る自動運転システム１００の構成例を示す概念図である。自動運転システム１００は、車両１に搭載されており、車両１の自動運転制御を行う。自動運転システム１００は、上述の自動運転制御部の機能を少なくとも有する。自動運転システム１００は、更に、センサ群１０や走行装置５０を含んでもよい。

自動運転システム１００は、オペレータセンサ６０及び入力装置７０と有線ネットワーク又は無線ネットワークを介して通信可能に構成される。オペレータセンサ６０は、オペレータの状態を取得するセンサである。オペレータセンサ６０の例として、ドライバモニタ（カメラ）、車内を撮像するカメラが挙げられる。入力装置７０は、オペレータが操作を入力する装置である。入力装置７０は、アクセルペダル、ブレーキペダル、ハンドル、タッチパネル、ボタン、等を含む。オペレータは、例えば、自動運転システム１００からの求めに応じて、追い越しを行うか否かについての指示を入力装置７０に入力する。

自動運転システム１００は、１又は複数のプロセッサ１１０（以下、単にプロセッサ１１０と呼ぶ）と１又は複数の記憶装置１２０（以下、単に記憶装置１２０と呼ぶ）を含んでいる。

プロセッサ１１０は、各種処理を実行する。プロセッサ１１０として、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、等が例示される。

記憶装置１２０は、プログラム１３０及び各種の情報を格納している。記憶装置１２０としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、揮発性メモリ、不揮発性メモリ、等が例示される。記憶装置１２０に格納される各種の情報には、自動運転制御に関連するログデータＬＯＧが含まれる。

プログラム１３０は、車両１を制御するためのコンピュータプログラムであり、プロセッサ１１０によって実行される。プログラム１３０を実行するプロセッサ１１０と記憶装置１２０との協働により、自動運転システム１００による各種処理が実現されてもよい。プログラム１３０は、コンピュータ読み取り可能な記録媒体に記録されてもよい。

機械学習モデルを利用した車両１の自動運転の実行中、プロセッサ１１０は、その自動運転に関連するログデータＬＯＧを取得し、記憶装置１２０に保存する。

ログデータＬＯＧは、少なくとも自動運転システム１００の挙動に関連するシステムデータを含む。システムデータは、自動運転制御部に入力されたデータ及び自動運転制御部から出力されたデータを含む。システムデータは、自動運転制御部の中間層の出力を含んでもよい。例えば、システムデータは、センサ検出情報ＳＥＮ、認識結果情報ＲＥＳ、目標トラジェクトリＴＲＪ、及び制御量ＣＯＮの少なくとも一部を含む。システムデータは、その他に、認識部２０による認識処理における判断の理由、計画部３０による計画処理における判断の理由、等を示すデータを含んでいてもよい。保存されたシステムデータは、機械学習モデルを利用した自動運転制御の検証等に利用される。

ログデータＬＯＧは、システムデータに加えて、オペレータの状態に関連するオペレータデータを含んでもよい。例えば、オペレータデータは、オペレータセンサ６０に含まれるカメラによって撮影されるオペレータの顔画像を含む。他の例として、オペレータデータは、顔画像を解析することによって得られるオペレータの視線方向を含んでいてもよい。更に他の例として、オペレータデータは、オペレータによる入力装置７０の操作状態を含んでいてもよい。

２．ログデータの保存に関連する処理
プロセッサ１１０によるログデータＬＯＧの保存に関連する処理について説明する。図３は、自動運転システム１００、より詳しくはプロセッサ１１０が実行する処理の例を示すフローチャートである。図３に示すフローチャートに係る処理は、例えば、自動運転制御の実行中、所定の処理周期で繰り返し実行される。

ステップＳ１１０において、プロセッサ１１０は、自動運転に関連するログデータＬＯＧを取得する。

ステップＳ１２０において、プロセッサ１１０は、オペレータの現在状態を取得する。オペレータの現在状態は、ログデータＬＯＧ取得時点におけるオペレータの状態であり、オペレータセンサ６０及び入力装置７０の少なくとも何れかによって取得される。

例えば、オペレータの現在状態を示すデータは、オペレータセンサ６０のカメラがオペレータを撮像して得られる画像のデータである。更に、プロセッサ１１０は、オペレータを撮像した画像の画像解析によってオペレータの顔がどちらの方向を向いているかを判断し、オペレータが向いている方向を現在状態として取得してもよい。或いは、オペレータが入力装置７０にどのような操作を入力したかを示すデータが、現在状態を示すデータとして取得されてもよい。入力装置７０から得られるデータの他の例として、オペレータによる自動運転制御に対する介入の有無が、現在状態として取得されてもよい。或いは、自動運転システム１００からの操作要求に対するオペレータの応答の有無が、現在状態として取得されてもよい。

ステップＳ１３０において、プロセッサ１１０は、理想状態を設定する。理想状態は、自動運転システム１００がオペレータに対して求める状態である。例えば、自動運転システム１００がオペレータに対して何らかの操作を要求している場合には、オペレータが操作要求に応答することが理想状態として設定される。或いは、車両１が前方に向けて定常走行している場合は、オペレータが前方を監視することが理想状態として設定されてもよい。或いは、自動運転システム１００が車線変更を行う場合は、オペレータが隣接車線を確認すること、つまり隣接車線に目線を向けていることが理想状態として設定されてもよい。

ステップＳ１４０において、プロセッサ１１０は、オペレータの現在状態が理想状態に合致するか否かを判定する。オペレータの現在状態が理想状態に合致する場合（ステップＳ１４０；Ｙｅｓ）処理はステップＳ１５０に進む。一方、オペレータの現在状態が理想状態に合致しない場合（ステップＳ１４０；Ｎｏ）処理はステップＳ１６０に進む。

オペレータの現在状態が理想状態に合致するか否かは、ステップＳ１２０で取得された現在状態とステップＳ１３０で取得された理想状態とを比較することにより判断される。例えば、オペレータが操作要求に応答することが理想状態として設定され、入力装置７０に自動運転システム１００の要求に応答した操作が入力されている場合、現在状態が理想状態と合致していると判定される。或いは、例えば、オペレータが前方を監視することが理想状態として設定され、オペレータセンサ６０のカメラがオペレータを撮像して得られる画像の画像解析により、オペレータが前方を向いていると判断される場合、現在状態と理想状態が合致していると判定される。

ステップＳ１５０において、プロセッサ１１０は、ログデータＬＯＧの一部のデータの圧縮又は削除を行う。以下、本明細書において、圧縮又は削除の対象となるログデータＬＯＧの一部のデータを対象データと呼ぶ。対象データの圧縮は、対象データを粗いデータにすることを意味する。対象データの削除は、対象となるデータを完全に削除することである。なお、ステップＳ１５０においては、対象データの全てが圧縮又は削除されてもよいし、対象データの一部のデータが削除され、一部のデータが圧縮されてもよい。

例えば、対象データは、オペレータデータを含む。例えば、オペレータが前方を監視していることが理想状態であり、且つ、オペレータが前方を向いている場合、オペレータの顔画像そのものを保存する必要は必ずしもない。オペレータの顔画像そのものの代わりに、オペレータの現在状態が理想状態に合致しているという情報を保存することによって、保存データ量を削減することができる。

ステップＳ１６０において、プロセッサ１１０は、ログデータＬＯＧを記憶装置１２０に保存する。ステップＳ１４０においてオペレータの現在状態が理想状態と合致していると判定されていた場合には、対象データが圧縮又は削除されたログデータＬＯＧが保存される。ステップＳ１４０においてオペレータの現在状態が理想状態と合致していないと判定されていた場合には、ステップＳ１１０で取得されたログデータＬＯＧがそのまま保存される。ログデータＬＯＧの保存が行われると、一連の処理は終了する。

一連の処理による効果について説明する。上述のように、記憶装置１２０へのログデータＬＯＧの保存は、自動運転制御がどのように行われたかを後に検証することが必要になった場合等に備えて行われる。つまり、自動運転についての説明責任を果たすために、ログデータＬＯＧとして取得されたデータは、できる限り全て保存されることが望ましい。しかし、記憶装置１２０の容量には限界があるため、全てのログデータＬＯＧを保存しようとすると容量が逼迫する可能性がある。そのため、自動運転についての説明性は担保しつつ、保存されるデータ容量を削減することが求められる。

ここで、本実施の形態に係る自動運転システム１００によれば、条件に応じて、対象データが圧縮又は削除されたログデータＬＯＧが保存される。対象データの圧縮又は削除を行うことで、取得したログデータＬＯＧ全てを保存する場合と比較して、保存するデータの容量を削減することができ、記憶装置１２０の容量を節約することができる。

また、対象データの圧縮又は削除は無条件に行われるわけではなく、オペレータの現在状態が理想状態と合致している場合に圧縮又は削除が行われる。オペレータの現在状態が理想状態と合致することは、オペレータが、自動運転システム１００によって求められる状態にあること、言い換えれば、自動運転システム１００に対するオペレータの監視が十分に行われていることを意味する。このような場合には、自動運転システム１００による自動運転がどのように行われていたかはオペレータによって把握されており、ログデータＬＯＧを用いた検証が必要となる可能性は低いと考えられる。そのような場合において対象データの圧縮又は削除が行われることで、データの容量を削減しつつも、ログデータＬＯＧに対して求められる説明性を担保することができる。

なお、ステップＳ１４０からステップＳ１６０の処理が行われるのは、ログデータＬＯＧの取得と同時でなくてもよい。例えば、自動運転が行われている間はステップＳ１１０からステップＳ１３０の処理が所定の制御周期で繰り返し実行され、ログデータＬＯＧの全部が一時的に記憶装置１２０に保存される。そして、その後の任意のタイミングで、ログデータＬＯＧ取得時点においてオペレータの現在状態が理想状態と合致していたか否かについての判定が行われ、合致していた場合には一時的に保存されていたログデータＬＯＧから対象データが削除され、又は圧縮されてもよい。

３．ログ保存優先度を考慮した対象データの決定
プロセッサ１１０は、ログデータＬＯＧに含まれるそれぞれのデータに対してログ保存優先度を付けてもよい。ここで、ログ保存優先度は保存の優先度であり、ログ保存優先度が高いほど優先して保存すべきデータであることを示す。

ログデータＬＯＧに含まれるデータにログ保存優先度が付けられる場合の処理の例を図４のフローチャートに示す。ステップＳ１１０からステップＳ１４０の処理については図３のフローチャートと同様のため省略されている。ただし、ステップＳ１４０において、オペレータの現在状態が理想状態に合致すると判定された場合（ステップＳ１４０；Ｙｅｓ）、処理はステップＳ１５１に進む。

ステップＳ１５１において、プロセッサ１１０は、記憶装置１２０の残容量を取得する。より詳細には、プロセッサ１１０は、記憶装置１２０のうちの、ログデータＬＯＧの保存のために確保された領域の残容量を取得する。

ステップＳ１５２において、プロセッサ１１０は、ログデータＬＯＧに含まれるそれぞれのデータに対してログ保存優先度を付ける。ログ保存優先度は、後に検証等に用いるために必要となる可能性が高いデータについては高く、必要となる可能性が低いデータについては低くなるように付けられる。後に必要とされる可能性が高いデータとは、オペレータによって十分に監視されていない部分の状況を示すデータである。プロセッサ１１０は、ステップＳ１２０で取得したオペレータの現在状態に基づいて、オペレータがどの範囲を監視し、どの範囲を監視していないかを判断することができる。

図５は、ログ保存優先度の一例を説明するための概念図である。ここでは、認識センサ１１が複数のカメラを含む場合において、ログデータＬＯＧに含まれるデータのうち、認識センサ１１のカメラが撮像した画像のログ保存優先度について考える。オペレータが前方を向いている場合、前方カメラが撮像する範囲については、オペレータによる監視が十分に行われている可能性が高い。それに対して、サイドカメラや後方カメラが撮像する範囲については、オペレータによる監視が十分に行われていない可能性が高い。このような場合には、プロセッサ１１０は、前方カメラが撮像する画像のログ保存優先度を低くし、それ以外のカメラが撮像する画像のログ保存優先度を高くする。

別の具体例として、認識部２０による認識結果情報ＲＥＳが車両１の右側方についての認識結果と左側方についての認識結果とを含むとする。そして、オペレータセンサ６０のカメラが撮像する画像の画像解析により、オペレータが右側を見ている状態がステップＳ１２０で取得されていたとする。この場合、オペレータは車両１の右側方の状況を監視し、左側方の状況を監視していない可能性が高い。そこで、左側方についての認識結果を示すデータは、右側方についての認識結果を示すデータよりもログ保存優先度が高くされる。

ログデータＬＯＧがオペレータデータを含む場合、オペレータデータに含まれるそれぞれのデータに対してログ保存優先度が付けられてもよい。この場合も同様に、後の検証等の場面において必要となる可能性が高いデータについてはログ保存優先度が高く、必要となる可能性が低いデータについてはログ保存優先度が低くなるように、ログ保存優先度が付けられる。

オペレータデータに含まれるデータへのログ保存優先度の付け方の例について説明する。例として、ログ保存優先度の高いものから順に、自動運転システム１００からの強制的な操作要求に対するオペレータの応答の有無を示すデータ、自動運転システム１００からの任意的な操作要求に対するオペレータの応答の有無を示すデータ、オペレータの視線の方向を示すデータ、となるようにログ保存優先度が付けられてもよい。

強制的な操作要求に対するオペレータの応答は、任意的な操作要求に対するオペレータの応答よりも、車両１の自動運転に対する影響が大きい。上述のように、任意的な操作要求に対しては、オペレータの応答の有無に関わらず車両１の走行を続けることが可能であるのに対して、強制的な操作要求に対する応答がない場合には車両１の走行を続けられなくなる可能性もあるためである。そのため、強制的な操作要求に対するオペレータの応答の有無は、後の検証等の場面においても重要となる可能性が高い。そこで、このようなデータについてはログ保存優先度が高くされる。

また、オペレータの視線の方向を示すデータは、事後的な検証が必要となった場合においても必ずしも必要とはされないデータである。このようなデータは、対象データの圧縮又は削除を行ってよいと判断する根拠となるデータとしては有用であるが、自動運転制御に対して直接影響することはないためである。そのため、このようなログ保存優先度とすることが考えられる。

さらに、オペレータの視線の方向を示すデータの中でログ保存優先度が付けられてもよい。オペレータの視線の方向を示すデータの例としては、オペレータセンサ６０のカメラがオペレータの顔を撮像して得られる画像そのもの、オペレータの顔の角度を示すデータ、オペレータが自動運転システム１００によって求められる方向を向いているか否かのみを示すデータ、が挙げられる。これら３つは同じ内容を示すデータであるが、後者になるほど抽象化されたデータと言うことができる。これらのデータについては、抽象化されたデータほどログ保存優先度が高くなるようにログ保存優先度が付けられる。抽象化されたデータほどデータ容量が少なくなるため、保存されたときに記憶装置１２０の容量を圧迫する可能性が低いためである。

ステップＳ１５３において、プロセッサ１１０は、ステップＳ１５２で決定したログ保存優先度及びステップＳ１５１で取得した記憶装置１２０の残容量に基づいて、対象データを決定する。より詳細には、プロセッサ１１０は、ログ保存優先度が低いデータをログ保存優先度が高いデータよりも優先的に対象データとする。また、プロセッサ１１０は、記憶装置１２０の残容量が多いときには対象データの総量が少なく、記憶装置１２０の残容量が少ないときには対象データの総量が多くなるように、対象データを選択する。

対象データが決定されると、処理は図３のフローチャートのステップＳ１５０に進み、対象データの圧縮又は削除が行われる。

このように、ログデータＬＯＧに含まれるそれぞれのデータにログ保存優先度が付けられると、ログデータＬＯＧの説明性を担保する上でより効果的である。オペレータによる監視が十分に行われている部分の状況をデータについては、後の検証等に必要とされる可能性が低い。そのため、対象データとなるデータをログ保存優先度の低いものから選択することで、ログデータＬＯＧのうち、保存されるデータを、後に必要とされる可能性の高いデータとすることができる。こうして、対象データを圧縮又は削除しつつも、重要な情報が先に削られてしまうことを防ぎ、より効果的にログデータＬＯＧによる説明性や検証容易性を担保することができる。

１…車両、１０…センサ群、２０…認識部、３０…計画部、４０…制御量算出部、５０…走行装置、６０…オペレータセンサ、７０…入力装置、１００…自動運転システム、１１０…プロセッサ、１２０…記憶装置、ＣＯＮ…制御量、ＲＥＳ…認識結果情報、ＳＥＮ…センサ検出情報、ＴＲＪ…目標トラジェクトリ

Claims (5)

1. 車両に搭載され、機械学習モデルを利用して前記車両の自動運転を行う自動運転システムであって、
   １又は複数のプロセッサと、
   １又は複数の記憶装置と
   を備え、
   前記１又は複数のプロセッサは、前記自動運転を実行したときに、
   前記自動運転に関連するログデータを取得する処理と、
   前記車両のオペレータの現在状態を取得する処理と、
   前記自動運転システムが求める前記オペレータの状態である理想状態を取得する処理と、
   前記ログデータを前記１又は複数の記憶装置に保存するログデータ保存処理と、
   を実行するように構成され、
   前記ログデータ保存処理は、前記オペレータの前記現在状態が前記理想状態に合致する場合、前記ログデータの一部の対象データを圧縮又は削除することを含む
   ことを特徴とする自動運転システム。
2. 請求項１に記載の自動運転システムであって、
   前記ログデータは、前記自動運転システムの挙動に関連するシステムデータ及び前記オペレータの状態に関連するオペレータデータを含む
   ことを特徴とする自動運転システム。
3. 請求項２に記載の自動運転システムであって、
   前記対象データは、前記オペレータデータを含む
   ことを特徴とする自動運転システム。
4. 請求項１乃至３のいずれか一項に記載の自動運転システムであって、
   前記１又は複数のプロセッサは、更に、前記ログデータに含まれるそれぞれのデータにログ保存優先度を付ける優先度決定処理を実行するように構成され、
   前記オペレータの現在状態が前記理想状態に合致する場合、前記ログデータ保存処理は、前記ログ保存優先度が低いデータを前記ログ保存優先度が高いデータよりも優先的に前記対象データとする
   ことを特徴とする自動運転システム。
5. 請求項４に記載の自動運転システムであって、
   前記ログデータは、前記車両の周囲を認識して得られる認識データを含み、
   前記優先度決定処理は、前記オペレータが監視している範囲についての前記認識データの前記ログ保存優先度を、前記オペレータが監視していない範囲についての前記認識データの前記ログ保存優先度よりも低くすることを含む
   ことを特徴とする自動運転システム。

Images