JP6817166B2 - 自動運転のポリシー生成装置及び車両 - Google Patents

Description

本発明は、自動運転のポリシー生成装置及び車両に関する。

自動運転において車両を制御するためのパラメータを人間がルールベースで生成するのではなく、機械学習によって生成する方法が検討されている。特許文献１には、車両の状態を変更させるための操作量を強化学習によって生成する方法が記載されている。

特開平１０−２５４５０５号公報

特許文献１では、強化学習によって車両の適切な操作量を生成することが可能になる。しかし、操作量が適切であったとしても、車両の軌道自体が適切でないと走行中に車両の搭乗者に違和感を与えてしまう。本発明は、車両の搭乗者に与える違和感が少ない軌道を生成するための技術を提供することを目的とする。

上記課題に鑑みて、車両の自動運転における軌道を決定するためのポリシーを生成する装置であって、ポリシーに従って所定時間後の前記車両の目標位置を決定するパスプランナと、前記車両が前記目標位置へ移動することの妥当性を判定する妥当性判定部と、前記妥当性に基づいて前記目標位置への移動に対する報酬を算出する報酬算出部と、を備え、前記パスプランナは、前記報酬に基づいて前記ポリシーを更新し、前記妥当性の判定は、前記車両の搭乗者の乗り心地に関する基準を用いた判定を含むことを特徴とする装置が提供される。

上記手段により、車両の搭乗者に与える違和感が少ない軌道が生成可能になる。

実施形態に係る車両の構成例を説明する図。 実施形態に係るポリシーを生成する装置のハードウェア構成を説明する図。 実施形態に係るポリシーを生成する装置の機能構成を説明する図。 実施形態に係るポリシーを生成する方法を説明するフローチャート。

添付の図面を参照しつつ本発明の実施形態について以下に説明する。様々な実施形態を通じて同様の要素には同一の参照符号を付し、重複する説明を省略する。また、各実施形態は適宜変更、組み合わせが可能である。

図１は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。

図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０〜２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。

以下、各ＥＣＵ２０〜２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速を自動制御する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１〜４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部に２つ設けられている。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２は、ライダ（レーザレーダ）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４２と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪即等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

続いて、図２を参照して、車両１の自動運転における軌道を決定するためのポリシーを生成する装置２００のハードウェア構成について説明する。ポリシーとは、車両１の所与の状態及び所与の周囲状況に対して車両１がとるべき軌道を算出するためのモデル（関数）のことである。

車両１がとるべき軌道とは、例えば、目的地へ向けて車両１が走行するために所定時間（例えば０．１秒間等の短期間）で車両１が走行すべき軌道のことである。ここでの「所定時間」は、車両１が走行する全行程と比較して大幅に短い期間である。また、「所定時間」は、周囲の環境の変化に車両１が適応することができるような短さに設定される。ＥＣＵ２０は、このようにして特定した軌道に従って、ＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、駆動及び制動を制御する。

装置２００は、プロセッサ２０１と、メモリ２０２と、ユーザインタフェース２０３と、記憶装置２０４とを備える。プロセッサ２０１は、例えばＣＰＵ等の汎用回路であり、装置２００全体の処理を司る。メモリ２０２は、ＲＯＭやＲＡＭの組み合わせによって構成され、装置２００の動作に必要なプログラムやデータが記憶装置２０４から読み出されて実行される。

ユーザインタフェース２０３は、装置２００のユーザと情報のやりとりを行うためのデバイスである。ユーザインタフェース２０３は、キーボードやマウスなどの入力装置とディスプレイなどの出力装置とによって構成される。記憶装置２０４は、装置２００の処理に用いられるデータを格納し、例えばＨＤＤやＳＤＤで構成される。記憶装置２０４は装置２００に含まれてもよいし、装置２００とは別個の装置として構成されてもよい。例えば、記憶装置２０４は、ネットワークを通じて装置２００に接続されたデータベースサーバなどであってもよい。

続いて、図３を参照して、装置２００の機能構成について説明する。装置２００は、走行目標設定部３０１と、パスプランナ３０２と、車両制御部３０４と、妥当性判定部３０５と、車両・環境シミュレータ３０６と、報酬算出部３０７と、リスク算出部３０８とを備える。装置２００は、これらの機能を用いて強化学習を行うことによってポリシーを生成する。装置２００の各機能は、図２で説明したハードウェア構成によって実現される。例えば、パスプランナ３０２は、メモリ２０２に格納されたプログラムが含む命令をプロセッサ２０ａ１実行することによって実現される。装置２００の各機能は、ＡＳＩＣ等の専用の集積回路によって実現されてもよい。

走行目標設定部３０１は、走行目標を設定し、走行目標をパスプランナ３０２及び報酬算出部３０７に供給する。走行目標とは、強化学習を行う際の車両の走行の指針であり、例えば平均時速（高速道路を走行するシナリオでは例えば平均時速１００ｋｍ）、目的地までの経路などを含む。

パスプランナ３０２は、走行目標及びセンサ情報をポリシー３０３に適用することによって、所定時間後（例えば、０．１秒後）の車両の目標位置を決定し、この目標位置を車両制御部３０４及び妥当性判定部３０５へ供給する。目標位置は例えば地図上の座標として与えられる。センサ情報は、自車両の状態に関するセンサ情報（例えば、自車両の速度及び加速度）と、周囲環境に関するセンサ情報（例えば、周囲の物標（他車両や歩行者、障害物など）との相対位置、道路形状、車両の車線内の位置（横位置））とを含んでもよい。パスプランナ３０２は、乱数を考慮して目標位置を決定してもよい。例えば、パスプランナ３０２は、ポリシー３０３を適用することによって決定された目標位置を、乱数によって決定して方向へ、乱数によって決定した距離だけ移動した位置を最終的な目標位置としてもよい。

車両制御部３０４は、目標位置に車両を移動させるための各アクチュエータの操作量を生成する。操作量は、例えばステアリング操舵角、アクセル開度、ブレーキ踏圧力、ギア段数を含む。車両制御部３０４は、自動運転用のＥＣＵ２０と同様の操作量を出力するように構成される。したがって、装置２００によって生成されたポリシーをＥＣＵ２０に搭載することによって、ＥＣＵ２０がこのポリシーに従って車両１を自動運転させることが可能となる。

妥当性判定部３０５は、車両が目標位置へ移動することの妥当性を判定し、判定結果を妥当性として報酬算出部３０７へ供給する。妥当性の判定は、車両の搭乗者の乗り心地に関する基準を用いた判定を含んでもよい。乗り心地に関する基準として、車両が目標位置へ移動した場合の加速度・加加速度を含んでもよい。妥当性判定部３０５は、加速度・加加速度の絶対値が小さいほど高い妥当性を生成する。妥当性の判定はさらに、車両が目標位置へ移動可能の判定を含んでもよい。例えば、妥当性判定部３０５は、目標位置へ移動するために時速１５０ｋｍ以上での移動が必要な場合に、そのような移動が不能であると判定してもよい。妥当性判定部３０５は、移動可能な範囲であれば高く、移動不能な範囲であれば低い妥当性を生成する。妥当性判定部３０５は、車両の状態及び車両の周囲環境に基づいて妥当性の基準を変更してもよい。例えば、車両の付近に物標が存在する場合に、この物標から回避するための急加速を行ったとしても、妥当性に低い値を与えなくてもよい。

車両・環境シミュレータ３０６は、車両が操作量に従って移動した場合に車両が検知するセンサ情報をシミュレーションによって生成する。車両・環境シミュレータ３０６は、生成したセンサ情報を、妥当性判定部３０５、リスク算出部３０８、報酬算出部３０７及びパスプランナ３０２へ供給する。上述したように、生成されるセンサ情報は、自車両の状態に関するセンサ情報と、周囲環境に関するセンサ情報とを含んでもよい。

リスク算出部３０８は、センサ情報に基づいて、車両が目標位置へ移動したことによるリスクを算出し、算出したリスクを報酬算出部３０７へ供給する。リスク算出部３０８が利用するセンサ情報は、例えば周囲の物標との相対的位置を含む。例えば、リスク算出部３０８は、周囲の物標との距離が近い場合に高いリスクを算出する。

報酬算出部３０７は、妥当性と、リスクと、センサ情報と、走行目標とのうちの少なくとも１つに基づいて、目標位置への移動に対する報酬を算出する。例えば、報酬算出部３０７は、妥当性と報酬とが正の相関を有するように（すなわち、妥当性が高いほど報酬が高い）報酬を算出してもよい。報酬算出部３０７は、リスクと報酬とが負の相関を有するように（すなわち、リスクが高いほど報酬が低い）報酬を算出してもよい。報酬算出部３０７は、センサ情報に含まれる車両の速度が走行目標の速度に近いほど高い報酬を算出してもよい。報酬算出部３０７は、センサ情報に含まれる車両の加速度が０に近いほど高い報酬を算出してもよい。報酬算出部３０７は、センサ情報に含まれる車両の車線内の位置が基準範囲の収まる場合に高い報酬を算出してもよい。報酬算出部３０７は、走行目標の経路を車両が走行している場合に高い報酬を算出してもよい。報酬算出部３０７は、複数の基準に従って報酬を算出する場合に、それらの合計値をパスプランナ３０２へ供給してもよい。

続いて、図４を参照して、自動運転における経路を算出するためのポリシーを生成するための方法について説明する。以下の方法では、強化学習によってポリシーが生成される。強化学習のアルゴリズムは既存のものであってもよいので、以下ではその概要を説明する。

ステップＳ４０１で、報酬算出部３０７は各事象に対する報酬の初期設定を行い、走行目標設定部３０１は、走行目標の初期設定を行う。これらの初期設定は、例えば装置２００のユーザ（例えば自動車メーカの設計者）からの入力に応じて行われてもよいし、ネットワークを通じて他のサーバから読み込まれてもよい。

ステップＳ４０２で、パスプランナ３０２は、暫定ポリシーの初期設定を行う。暫定ポリシーとは、後続の処理によって必要に応じて更新される暫定的なポリシー３０３のことである。例えば、暫定ポリシーの初期設定は、モデルのパラメータをランダムに設定することによって行われてもよい。

ステップＳ４０３で、パスプランナ３０２は、暫定ポリシーに従って所定時間後（例えば、０．１秒後）の目標位置を決定する。具体的に、パスプランナ３０２は、走行目標設定部３０１から供給される走行目標と、車両・環境シミュレータ３０６から供給されるセンサ情報とに対して暫定ポリシーを適用することによって目標位置を決定する。車両・環境シミュレータ３０６には、初期値として、あるシナリオにおける車両の初期状態及び初期の周囲環境が設定されている。

ステップＳ４０４で、車両制御部３０４は、目標位置へ車両を移動させるための操作量を算出し、車両・環境シミュレータ３０６は、その操作量に従ってシミュレーションにおける車両の現在位置を変更する。その後、報酬算出部３０７は、上述したように、車両を移動したことによる報酬を算出する。

ステップＳ４０５で、パスプランナ３０２は、反復終了条件を満たすかどうかを判定する。パスプランナ３０２は、反復終了条件を満たす場合（ステップＳ４０５で「ＹＥＳ」）に処理をステップＳ４０６へ進め、満たさない場合（ステップＳ４０５で「ＮＯ」）に処理をステップＳ４０３に戻す。例えば、今までに決定された目標位置の個数が閾値（例えば、１０万個）に到達した場合に、反復終了条件を満たすと判定されてもよい。このようにステップＳ４０３〜Ｓ４０５が反復されることによって、車両の現在位置が変化しつつ、各位置への移動に対する報酬が算出される。

ステップＳ４０６で、パスプランナ３０２は、各位置への移動に対する報酬の合計値を算出する。ステップＳ４０７で、パスプランナ３０２は、学習終了条件を満たすかどうかを判定する。パスプランナ３０２は、学習終了条件を満たす場合（ステップＳ４０７で「ＹＥＳ」）に処理をステップＳ４０９へ進め、満たさない場合（ステップＳ４０７で「ＮＯ」）に処理をステップＳ４０８に進める。学習終了条件とは、強化学習を終了するための条件であり、例えば報酬の合計値やその変化に応じて判定される。

ステップＳ４０８で、パスプランナ３０２は、報酬の合計値に基づいて暫定ポリシーを更新し、処理をステップＳ４０３に戻す。暫定ポリシーの更新は既存の強化学習のアルゴリズムを用いて行われてもよい。

ステップＳ４１０で、パスプランナ３０２は、ステップＳ４０１〜Ｓ４０８を通じて得られた暫定ポリシーを最終ポリシーとする。最終ポリシーとは、車両１のＥＣＵ２０へ格納され、自動運転に使用されるポリシーである。

ＥＣＵ２０のメモリ２０ｂにこの最終ポリシーが格納される。ＥＣＵ２０のプロセッサ２０ａは、車両１の周囲の状況に対して最終ポリシーを適用することによって軌道を決定し、この軌道に従って車両１の走行を制御する。

＜実施形態のまとめ＞
＜構成１＞
車両（１）の自動運転における軌道を決定するためのポリシー（３０３）を生成する装置（２００）であって、
ポリシーに従って所定時間後の前記車両の目標位置を決定するパスプランナ（３０２）と、
前記車両が前記目標位置へ移動することの妥当性を判定する妥当性判定部（３０５）と、
前記妥当性に基づいて前記目標位置への移動に対する報酬を算出する報酬算出部（３０７）と、
を備え、
前記パスプランナは、前記報酬に基づいて前記ポリシーを更新し、
前記妥当性の判定は、前記車両の搭乗者の乗り心地に関する基準を用いた判定を含む
ことを特徴とする装置。
この構成によれば、車両の搭乗者に与える違和感が少ない軌道を生成可能となる。

＜構成２＞
前記パスプランナは、乱数を考慮して前記目標位置を決定することを特徴とする構成１に記載の装置。
この構成によれば、強化学習の学習速度とポリシーの性能が向上する。

＜構成３＞
前記報酬算出部は、前記車両が前記目標位置へ移動したことによる前記車両の状態及び前記車両の周囲環境に更に基づいて前記報酬を算出することを特徴とする構成１又は２に記載の装置。
この構成によれば、報酬を更に適切に算出可能になる。

＜構成４＞
前記報酬算出部は、前記車両が前記目標位置へ移動したことによるリスクに更に基づいて前記報酬を算出することを特徴とする構成１乃至３の何れか１項に記載の装置。
この構成によれば、報酬を更に適切に算出可能になる。

＜構成５＞
前記報酬算出部は、前記車両の速度及び加速度と、前記車両の車線内の位置とに更に基づいて前記報酬を算出することを特徴とする構成１乃至４の何れか１項に記載の装置。
この構成によれば、報酬を更に適切に算出可能になる。

＜構成６＞
前記妥当性判定部は、前記車両の状態及び前記車両の周囲環境に基づいて前記妥当性の基準を変更することを特徴とする構成１乃至５の何れか１項に記載の装置。
この構成によれば、妥当性の基準を適切に変更可能になる。

＜構成７＞
自動運転を行う車両であって、
構成１乃至６の何れか１項に記載の装置によって生成されたポリシーを格納する記憶部と、
前記車両の周囲の状況に対して前記ポリシーを適用することによって軌道を決定し、前記軌道に従って前記車両の走行を制御する制御部（２０）とを備えることを特徴とする車両。
この構成によれば、車両の搭乗者に与える違和感が少ない軌道で車両が走行可能となる。

１ 車両、２００ 装置、３０２ パスプランナ、３０３ ポリシー、３０５ 妥当性判定部、３０７ 報酬算出部

Claims (7)

1. 車両の自動運転における軌道を決定するためのポリシーを生成する装置であって、
   ポリシーに従って所定時間後の前記車両の目標位置を決定するパスプランナと、
   前記車両が前記目標位置へ移動することの妥当性を判定する妥当性判定部と、
   前記妥当性に基づいて前記目標位置への移動に対する報酬を算出する報酬算出部とを備え、
   前記パスプランナは、前記報酬に基づいて前記ポリシーを更新し、
   前記妥当性の判定は、前記車両の搭乗者の乗り心地に関する基準を用いた判定を含む
   ことを特徴とする装置。
2. 前記パスプランナは、乱数を考慮して前記目標位置を決定することを特徴とする請求項１に記載の装置。
3. 前記報酬算出部は、前記車両が前記目標位置へ移動したことによる前記車両の状態及び前記車両の周囲環境に更に基づいて前記報酬を算出することを特徴とする請求項１又は２に記載の装置。
4. 前記報酬算出部は、前記車両が前記目標位置へ移動したことによるリスクに更に基づいて前記報酬を算出することを特徴とする請求項１乃至３の何れか１項に記載の装置。
5. 前記報酬算出部は、前記車両の速度及び加速度と、前記車両の車線内の位置とに更に基づいて前記報酬を算出することを特徴とする請求項１乃至４の何れか１項に記載の装置。
6. 前記妥当性判定部は、前記車両の状態及び前記車両の周囲環境に基づいて前記妥当性の基準を変更することを特徴とする請求項１乃至５の何れか１項に記載の装置。
7. 自動運転を行う車両であって、
   請求項１乃至６の何れか１項に記載の装置によって生成されたポリシーを格納する記憶部と、
   前記車両の周囲の状況に対して前記ポリシーを適用することによって軌道を決定し、前記軌道に従って前記車両の走行を制御する制御部とを備えることを特徴とする車両。