JP2021116783A - 車両用制御装置および車両用制御システム - Google Patents

Abstract

【課題】記憶されていた前回学習パラメータの情報が消失した場合、学習パラメータとして初期値が設定されると、初期値から更新を繰り返して適切な点火時期の学習パラメータになるまでに時間を要する。【解決手段】車両のＣＰＵは、記憶装置が記憶している関係規定データＤＲが消失していると判定する場合（Ｓ５２：ＹＥＳ）、通信機を操作することによって、関係規定データＤＲとして適切な学習済関係規定データＤＲｔを要求する要求信号を送信する（Ｓ５４）。これに対し、データ解析センターのＣＰＵは、学習済関係規定データＤＲｔの要求があると判定する場合（Ｓ６４：ＹＥＳ）、要求を出した車両に学習済関係規定データＤＲｔを送信する（Ｓ６６）。これに対し、車両のＣＰＵは、送信された学習済関係規定データＤＲｔを受信する（Ｓ５６）。そして、車両のＣＰＵは、関係規定データＤＲを、学習済関係規定データＤＲｔに切り替える（Ｓ５８）。【選択図】図５

Description

本発明は、車両用制御装置および車両用制御システムに関する。

特許文献１に記載されている内燃機関の点火時期制御装置は、ノッキングを発生しない範囲でより進角側で点火できるように、点火時期を算出している。点火時期は、ベースとなる基本点火時期に対して、ノッキングセンサの出力値に基づくフィードバック項により補正を加えるとともに、フィードバック項に基づき更新される学習パラメータにより補正を加えている。学習パラメータが、前回学習パラメータから更新されることで、内燃機関の点火時期は、更新された学習パラメータに補正されて算出されている。そして、学習パラメータの更新が繰り返されることで、算出される点火時期は適切な点火時期に近づいていく。

特開２０１０−２７０６８６号公報

特許文献１に記載されている内燃機関の点火時期制御装置において、バッテリクリア等の異常が発生すると、記憶されていた前回学習パラメータの情報が消失することがある。この場合、学習パラメータとして初期値が設定される。しかし、学習パラメータとして初期値を設定した場合には、初期値から更新を繰り返して適切な点火時期の学習パラメータになるまでに時間を要する。この点、点火時期の学習パラメータに限らず、車両に搭載された電子機器の制御に関する学習パラメータについても同様の課題がある。

１．上記課題を解決するため、本発明は、内部記憶装置および内部実行装置を備えている車載制御装置であって、前記内部記憶装置は、車両に搭載された電子機器の制御に用いられる学習データを記憶し、前記内部実行装置は、前記車両の状態を検出するセンサの検出値を取得する取得処理と、前記学習データを前記車両の走行に伴う学習によって更新して、前記内部記憶装置に記憶させる更新処理と、前記取得処理によって取得された前記検出値および前記学習データによって定まる前記車両内の電子機器の操作に関する変数の値に基づき前記電子機器を操作する操作処理と、前記車両の異常発生により前記内部記憶装置が記憶している前記学習データがリセットされたことを検知する検知処理と、前記検知処理によって前記学習データがリセットされたことが検知された場合、前記学習データの初期状態から学習がなされた学習済学習データを要求するための要求信号を車両外に送信する送信処理と、前記要求信号に応じた前記学習済学習データを車外から受信する受信処理と、前記受信処理で受信した前記学習済学習データを、リセットされた前記学習データに替えて前記内部記憶装置に記憶させる切替処理と、を実行する車両用制御装置である。

上記構成によれば、車両の異常発生により学習データがリセットされたことが検知されると、リセットされた学習データが学習済学習データに切り替えられる。そのため、初期状態の学習データよりも適切な状態に近い学習済学習データから学習を再開することで、更新処理によってより適切な状態とするまでの時間を短縮できる。

２．上記課題を解決するため、本発明は、車両に搭載されている車載制御装置と、前記車両の外部に設けられている車外制御装置と、を備えている車両用制御システムであって、前記車載制御装置は、内部記憶装置および内部実行装置を有しており、前記車外制御装置は、外部記憶装置および外部実行装置を有しており、前記内部記憶装置は、車両に搭載された電子機器の制御に用いられる学習データを記憶しており、前記外部記憶装置は、前記学習データの初期状態から学習がなされた学習済学習データを記憶しており、前記内部実行装置は、前記車両の状態を検出するセンサの検出値を取得する取得処理と、前記学習データを前記車両の走行に伴う学習によって更新して、前記内部記憶装置に記憶させる更新処理と、前記取得処理によって取得された前記検出値および前記学習データによって定まる前記車両内の電子機器の操作に関する変数の値に基づき前記電子機器を操作する操作処理と、前記車両の異常発生により前記内部記憶装置が記憶している前記学習データがリセットされたことを検知する検知処理と、前記検知処理によって前記学習データがリセットされたことが検知された場合、前記学習済学習データを要求するための要求信号を前記車外制御装置に送信する第１送信処理と、を実行し、前記外部実行装置は、前記第１送信処理によって送信された前記要求信号を前記内部実行装置から受信する第１受信処理と、前記第１受信処理によって受信した前記要求信号に応じて、前記外部記憶装置に記憶している前記学習済学習データを示す信号を車載制御装置に送信する第２送信処理と、を実行し、前記内部実行装置は、前記第２送信処理によって送信された前記学習済学習データを示す信号を受信する第２受信処理と、前記第２受信処理で受信した前記学習済学習データを、リセットされた前記学習データに替えて前記内部記憶装置に記憶させる切替処理と、を実行する。

上記構成によれば、車両の異常発生により内部記憶装置が記憶している学習データがリセットされても、外部記憶装置には学習済学習データが記憶されている。そのため、車載制御装置は、学習済学習データを得ることができる。そして、初期状態の学習データよりも適切な状態に近い学習済学習データから学習を再開することで、更新処理によってより適切な状態とするまでの時間を短縮できる。

３．上記車両用制御システムにおいて、前記内部実行装置は、前記更新処理によって更新した前記学習データを示す信号を、所定期間ごとに、前記車外制御装置に送信する定期送信処理を実行し、前記外部実行装置は、前記定期送信処理によって送信された前記学習データを示す信号を受信する定期受信処理と、前記定期受信処理によって受信された前記学習データを、前記外部記憶装置に前記学習済学習データとして保存する保存処理と、を実行し、前記第２送信処理において送信する前記学習済学習データは、前記保存処理によって保存された最新のデータであってもよい。

上記構成によれば、車載制御装置が、所定期間ごとに更新された学習データを送信することで、外部記憶装置には、所定期間ごとに更新された学習データが保存される。そして、切替処理によって学習済学習データに切り替える際には、学習済学習データとして、保存された学習データのうち、最新の学習データを得ることができる。

４．上記車両用制御システムにおいて、前記内部実行装置は、当該内部実行装置が搭載されている車両の走行履歴を示す信号を、前記車外制御装置に送信する走行履歴送信処理を実行し、前記外部実行装置は、複数の車両によって送信された走行履歴を示す信号を受信する走行履歴受信処理と、前記走行履歴受信処理によって受信された前記走行履歴を、前記外部記憶装置に前記車両ごとに保存する走行履歴保存処理と、を実行し、前記第２送信処理で送信される前記学習済学習データは、前記走行履歴保存処理によって保存された複数の車両の前記走行履歴のうち、前記要求信号を送信した車両の前記走行履歴に最も近い走行履歴に関連付けられた学習済学習データであってもよい。

上記構成によれば、複数の車両の走行履歴と学習済学習データとが対応付けられている。そして、学習データがリセットされたときの走行履歴に近い走行履歴に関連付けられた学習済学習データであれば、自身が送信した学習済みデータに限らず、他車両が送信した学習済みデータであっても受信できる。したがって、学習データがリセットされたときの走行履歴に対応したより適切な学習済み学習データを得られる蓋然性が高まる。

５．上記車両用制御システムにおいて、前記外部記憶装置には、複数の走行履歴とその走行履歴に対応した前記学習済学習データとが関連付けられて予め設定されており、前記第１送信処理では、前記車両の前記学習データがリセットされたときの当該車両の走行履歴を示す信号を送信し、前記第１受信処理では、前記走行履歴を受信し、前記第２送信処理で送信される前記学習済学習データは、前記外部記憶装置に記憶されている複数の走行履歴のうち、前記要求信号を送信した車両の前記走行履歴に最も近い走行履歴に関連付けられた学習済学習データであってもよい。

上記構成によれば、予め設定されている学習済学習データの中から、学習データがリセットされたときの走行履歴に最も近い学習済みデータを受信できる。したがって、内部実行装置が、学習済学習データを送信するという処理を行わなくとも、学習データがリセットされたときの走行履歴に対応したより適切な学習済み学習データを得られる蓋然性が高まる。

６．上記車両用制御システムにおいて、前記学習データは、前記車両の状態と前記車両内の前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データであり、前記内部実行装置は、前記取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理を実行し、前記更新処理では、前記取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新し、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであってもよい。

上記構成によれば、学習データを関係規定データとしているため、比較的に多くの情報を扱うことができる。また、電子機器の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な関係に設定することができる。

第１の実施形態にかかる制御装置およびその駆動系を示す図。 同実施形態にかかる車両用制御システムを示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる制御装置が実行する処理の一部の詳細な手順を示す流れ図。 （ａ）および（ｂ）は、同実施形態にかかる車両用制御システムが実行する処理の手順を示す流れ図。 （ａ）および（ｂ）は、第２の実施形態にかかる車両用制御システムが実行する処理の手順を示す流れ図。 第３の実施形態にかかる車両用制御システムを示す図。 （ａ）および（ｂ）は、同実施形態にかかる車両用制御システムが実行する処理の手順を示す流れ図。

＜第１の実施形態＞
以下、車両用制御システムの第１の実施形態について、図面を参照しつつ説明する。
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。

図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８には、ロックアップクラッチ４２を備えたトルクコンバータ４０を介して、変速装置５０の入力軸５２が機械的に連結可能とされている。変速装置５０は、入力軸５２の回転速度と出力軸５４の回転速度との比である変速比を可変とする装置である。出力軸５４には、駆動輪６０が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６および点火装置２６等の内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ４０を制御対象とし、ロックアップクラッチ４２の係合状態を制御すべくロックアップクラッチ４２を操作する。また、制御装置７０は、変速装置５０を制御対象とし、その制御量としての変速比を制御すべく変速装置５０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、ロックアップクラッチ４２、および変速装置５０のそれぞれの操作信号ＭＳ１〜ＭＳ５を記載している。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａや、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度（スロットル開口度ＴＡ）、クランク角センサ８４の出力信号Ｓｃｒを参照する。また、制御装置７０は、アクセルセンサ８８によって検出されるアクセルペダル８６の踏み込み量（アクセル操作量ＰＡ）や、加速度センサ９０によって検出される車両ＶＣ１の前後方向の加速度Ｇｘを参照する。また、制御装置７０は、全地球測位システム（ＧＰＳ９２）による位置データＰｇｐｓを参照する。

図２に、本実施形態において、車両ＶＣ１を制御する車両用制御システムの構成を示す。
図２に示すように、車両ＶＣ１に搭載されている制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａおよび学習用メインプログラム７４ｂが記憶されている。一方、記憶装置７６には、アクセル操作量ＰＡと、スロットル開口度ＴＡの指令値（スロットル開口度指令値ＴＡ＊）および点火装置２６の遅角量ａｏｐとの関係を規定する関係規定データＤＲと、が記憶されている。ここで、遅角量ａｏｐは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、ＭＢＴ点火時期とノック限界点とのうちの遅角側の時期である。ＭＢＴ点火時期は、最大トルクの得られる点火時期（最大トルク点火時期）である。またノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。また、記憶装置７６には、トルク出力写像データＤＴが記憶されている。トルク出力写像データＤＴによって規定されるトルク出力写像は、クランク軸２８の回転速度ＮＥ、充填効率η、および点火時期を入力とし、トルクＴｒｑを出力する写像である。

また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１００を介してデータ解析センター１１０と通信するための機器である。
データ解析センター１１０は、車両ＶＣ１から送信されるデータを解析する。また、データ解析センター１１０には、他の車両ＶＣ２，…からもデータが送信される。なお、図２においては図示を簡略化しているが、車両ＶＣ２にも、車両ＶＣ１と同様の制御装置７０が設けられている。

データ解析センター１１０は、ＣＰＵ１１２、ＲＯＭ１１４、および電気的に書き換え可能な不揮発性の記憶装置１１６、周辺回路１１８および通信機１１７を備えており、それらがローカルネットワーク１１９によって通信可能とされるものである。ＲＯＭ１１４には、学習用サブプログラム１１４ａが記憶されている。記憶装置１１６には、車両を識別するための識別情報ＩＤと、後述する学習済関係規定データＤＲｔとが、関連付けられて記憶されている。このように、本実施形態では、車両用制御システムは、車両ＶＣ１，ＶＣ２に搭載されている制御装置７０と、車両ＶＣ１の外部に設けられているデータ解析センター１１０と、で構成されている。

図３に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図３に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習用メインプログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。

図３に示す一連の処理において、ＣＰＵ７２は、まず、状態ｓとして、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データを取得する（Ｓ１０）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。

次にＣＰＵ７２は、関係規定データＤＲが定める方策πに従い、Ｓ１０の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐからなる行動ａを設定する（Ｓ１２）。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの８次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率εで、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓおよび行動ａのとりうる値の全組み合わせのうちの一部が、人の知見等によって削減されたものである。すなわち、たとえばアクセル操作量ＰＡの時系列データのうち隣接する２つのサンプリング値の１つがアクセル操作量ＰＡの最小値となりもう１つが最大値となるようなことは、人によるアクセルペダル８６の操作からは生じえないとして、行動価値関数Ｑが定義されていない。本実施形態では、人の知見等に基づく次元削減によって、行動価値関数Ｑを定義する状態ｓの取りうる値を、１０の４乗個以下、より望ましくは１０の３乗個以下に制限する。

次にＣＰＵ７２は、設定されたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐに基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、点火装置２６に操作信号ＭＳ３を出力して点火時期を操作する（Ｓ１４）。ここで、本実施形態では、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御することを例示することから、スロットル開口度指令値ＴＡ＊が同一の値であっても、操作信号ＭＳ１が互いに異なる信号となりうるものである。また、たとえば周知のノッキングコントロール（ＫＣＳ）等がなされる場合、点火時期は、基準点火時期を遅角量ａｏｐにて遅角させた値がＫＣＳにてフィードバック補正された値とされる。ここで、基準点火時期は、ＣＰＵ７２により、クランク軸２８の回転速度ＮＥおよび充填効率ηに応じて可変設定される。なお、回転速度ＮＥは、クランク角センサ８４の出力信号Ｓｃｒに基づきＣＰＵ７２によって算出される。また、充填効率ηは、回転速度ＮＥおよび吸入空気量Ｇａに基づきＣＰＵ７２によって算出される。

次にＣＰＵ７２は、内燃機関１０のトルクＴｒｑ、内燃機関１０に対するトルク指令値Ｔｒｑ＊、および加速度Ｇｘを取得する（Ｓ１６）。ここで、ＣＰＵ１１２は、トルクＴｒｑを、回転速度ＮＥ、充填効率ηおよび点火時期をトルク出力写像に入力することによって算出する。また、ＣＰＵ７２は、トルク指令値Ｔｒｑ＊を、アクセル操作量ＰＡに応じて設定する。

次にＣＰＵ７２は、過渡フラグＦが「１」であるか否かを判定する（Ｓ１８）。過渡フラグＦは、「１」である場合に過渡運転時であることを示し、「０」である場合に過渡運転時ではないことを示す。ＣＰＵ７２は、過渡フラグＦが「０」であると判定する場合（Ｓ１８：ＮＯ）、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈ以上であるか否かを判定する（Ｓ２０）。ここで、変化量ΔＰＡは、たとえば、Ｓ２０の処理の実行タイミングにおける最新のアクセル操作量ＰＡと、同タイミングに対して単位時間だけ前におけるアクセル操作量ＰＡとの差とすればよい。

ＣＰＵ７２は、所定量ΔＰＡｔｈ以上であると判定する場合（Ｓ２０：ＹＥＳ）、過渡フラグＦに「１」を代入する（Ｓ２２）。
これに対し、ＣＰＵ７２は、過渡フラグＦが「１」であると判定する場合（Ｓ１８：ＹＥＳ）、Ｓ２２の処理の実行タイミングから所定期間が経過したか否かを判定する（Ｓ２４）。ここで、所定期間は、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。ＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ２４：ＹＥＳ）、過渡フラグＦに「０」を代入する（Ｓ２６）。

ＣＰＵ７２は、Ｓ２２，Ｓ２６の処理が完了する場合、１つのエピソードが終了したとして、強化学習によって行動価値関数Ｑを更新する（Ｓ２８）。
図４に、Ｓ２８の処理の詳細を示す。

図４に示す一連の処理において、ＣＰＵ７２は、直近に終了されたエピソード中のトルク指令値Ｔｒｑ＊、トルクＴｒｑおよび加速度Ｇｘの３つのサンプリング値の組からなる時系列データと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ３０）。ここで、直近のエピソードは、Ｓ２２の処理に続いてＳ３０の処理がなされる場合には、過渡フラグＦが継続して「０」となっていた期間であり、Ｓ２６の処理に続いてＳ３０の処理がなされる場合には、過渡フラグＦが継続して「１」となっていた期間である。

図４には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、トルク指令値Ｔｒｑ＊（１）とトルク指令値Ｔｒｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、直近のエピソードに属する行動ａの時系列データを、行動集合Ａｊとし、同エピソードに属する状態ｓの時系列データを、状態集合Ｓｊと定義する。

次にＣＰＵ７２は、直近のエピソードに属する任意のトルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件（ア）と、加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件（イ）との論理積が真であるか否かを判定する（Ｓ３２）。

ここで、ＣＰＵ７２は、規定量ΔＴｒｑを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、変化量ΔＰＡの絶対値が大きい場合には過渡時に関するエピソードであるとして、定常時である場合と比較して、規定量ΔＴｒｑを大きい値に設定する。

また、ＣＰＵ７２は、下限値ＧｘＬを、エピソードの開始時におけるアクセル操作量ＰＡの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを小さい値に設定する。

また、ＣＰＵ７２は、上限値ＧｘＨを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを小さい値に設定する。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ３２：ＹＥＳ）、報酬ｒに「１０」を代入する一方（Ｓ３４）、偽であると判定する場合（Ｓ３２：ＮＯ）、報酬ｒに「−１０」を代入する（Ｓ３６）。ＣＰＵ７２は、Ｓ３４，Ｓ３６の処理が完了する場合、図２に示した記憶装置７６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ３８）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ４０）。ここで、平均化は、Ｓ３８の処理がなされた回数に所定数を加えた数によって、Ｓ３８の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、対応する行動価値関数Ｑの初期値とすればよい。

次にＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときのスロットル開口度指令値ＴＡ＊および遅角量ａｏｐの組である行動を、行動Ａｊ＊に代入する（Ｓ４２）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ３０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ４４）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ４２によって選択された行動Ａｊ＊の選択確率を、「１−ε＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜−１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ４４の処理は、Ｓ４０の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ７２は、Ｓ４４の処理が完了する場合、図４に示す一連の処理を一旦終了する。
図３に戻り、ＣＰＵ７２は、Ｓ２８の処理が完了する場合や、Ｓ２０，Ｓ２４の処理において否定判定する場合には、図３に示す一連の処理を一旦終了する。なお、Ｓ１０〜Ｓ２６の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２８の処理は、ＣＰＵ７２が学習用メインプログラム７４ｂを実行することにより実現される。

図５に、本実施形態にかかる関係規定データＤＲのリセットに対処する処理手順を示す。図５（ａ）に示す処理は、図２に示すＲＯＭ７４に記憶された学習用メインプログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。また、図５（ｂ）に示す処理は、ＲＯＭ１１４に記憶されている学習用サブプログラム１１４ａをＣＰＵ１１２が実行することにより実現される。以下では、時系列に沿って、図５に示す処理を説明する。

図５（ａ）に示す一連の処理において、ＣＰＵ７２は、まず、通信機７７を操作して、車両ＶＣ１の識別情報ＩＤと、関係規定データＤＲとを送信する（Ｓ５０）。
これに対し、図５（ｂ）に示すように、ＣＰＵ１１２は、車両ＶＣ１の識別情報ＩＤおよび関係規定データＤＲを受信する（Ｓ６０）。そして、ＣＰＵ１１２は、記憶装置１１６に記憶された識別情報ＩＤに関連付けられた学習済関係規定データＤＲｔを、Ｓ６０の処理によって受信した関係規定データＤＲの値に更新する（Ｓ６２）。

一方、図５（ａ）に示すように、ＣＰＵ７２は、バッテリクリアしたことによって、記憶装置７６が記憶している関係規定データＤＲが消失しているか否かを判定する（Ｓ５２）。バッテリクリアとは、例えば、制御装置７０に対する電源電圧であるバッテリが制御装置７０から外されたりして、関係規定データＤＲを記憶している記憶装置７６に対するバックアップ電圧が消失して、記憶されていた関係規定データＤＲの情報が消失することをいう。本実施形態では、Ｓ１２の処理を実行できる場合には、関係規定データＤＲは消失していないと判定し、一方で、バッテリクリアに起因してＳ１２の処理を実行できない場合には、関係規定データＤＲが消失していると判定する。

ＣＰＵ７２は、関係規定データＤＲが消失していると判定する場合（Ｓ５２：ＹＥＳ）、通信機７７を操作することによって、Ｓ１２の処理に用いる関係規定データＤＲとして適切な学習済関係規定データＤＲｔを要求する要求信号を送信する（Ｓ５４）。

これに対し、図５（ｂ）に示すように、ＣＰＵ１１２は、学習済関係規定データＤＲｔの要求があるか否かを判定する（Ｓ６４）。そしてＣＰＵ１１２は、学習済関係規定データＤＲｔの要求があると判定する場合（Ｓ６４：ＹＥＳ）、通信機１１７を操作して、要求を出した車両ＶＣ１に学習済関係規定データＤＲｔを送信する（Ｓ６６）。なお、ＣＰＵ１１２は、Ｓ６６の処理が完了する場合や、Ｓ６４の処理において否定判定する場合には、図５（ｂ）に示す一連の処理を一旦終了する。

これに対し図５（ａ）に示すように、ＣＰＵ７２は、送信された学習済関係規定データＤＲｔを受信する（Ｓ５６）。そして、ＣＰＵ７２は、Ｓ１２の処理に利用する関係規定データＤＲを、学習済関係規定データＤＲｔに切り替える（Ｓ５８）。

なお、ＣＰＵ７２は、Ｓ５８の処理が完了する場合や、Ｓ５２の処理において否定判定する場合には、図５（ａ）に示す一連の処理を一旦終了する。
次に、上記実施形態の作用および効果について説明する。

（１）ＣＰＵ７２は、ユーザによるアクセルペダル８６の操作に伴って、アクセル操作量ＰＡの時系列データを取得し、方策πに従って、スロットル開口度指令値ＴＡ＊および遅角量ａｏｐからなる行動ａを設定する。ここでＣＰＵ７２は、基本的には、関係規定データＤＲに規定されている行動価値関数Ｑに基づき期待収益を最大とする行動ａを選択する。ただし、ＣＰＵ７２は、所定の確率εで、期待収益を最大化する行動ａ以外の行動を選択することによって、期待収益を最大化する行動ａの探索を行う。これにより、ユーザによる車両ＶＣ１の運転に伴って、関係規定データＤＲを強化学習によって最適なものに更新できる。

このようにして、車両ＶＣ１の出荷時に相応の安全率を考慮して設定された初期データとされていた関係規定データＤＲは、車両ＶＣ１の走行に伴って更新されていく。そのため、バッテリクリアなどの異常発生によって関係規定データＤＲがリセットされた場合に、関係規定データＤＲを初期データに設定して再学習を行うとすると、関係規定データＤＲを最適な状態まで更新するうえで、相応の時間が必要となる。

そこで、上記第１の実施形態によれば、ＣＰＵ７２が、関係規定データＤＲがリセットされたことを検知すると、車両ＶＣ１の外部から学習済関係規定データＤＲｔを受信し、関係規定データＤＲを学習済関係規定データＤＲｔに切り替える。そのため、関係規定データＤＲがリセットされたときに、仮に学習していない初期データから学習を再開する場合に比べて、適切な関係規定データＤＲとする時間を短縮することができる。

（２）上記第１の実施形態によれば、車両ＶＣ１の走行に伴って更新される関係規定データＤＲが、車両ＶＣ１の外部のネットワーク１００を介してデータ解析センター１１０に対して、所定周期ごとに繰り返し送信される。これに対して、データ解析センター１１０は、最新の関係規定データＤＲを学習済関係規定データＤＲｔとして記憶する。そして、データ解析センター１１０は、車両ＶＣ１の制御装置７０からデータ要求があった場合には、学習済関係規定データＤＲｔとして記憶した最新の関係規定データＤＲを車両ＶＣ１の制御装置７０に送信する。そのため、関係規定データＤＲがリセットされたときに切り替えられる学習済関係規定データＤＲｔは、更新がなされていた最新の関係規定データＤＲとなっている。よって、関係規定データＤＲがリセットされたとしても、リセットされるまでの学習を反映させた最新の関係規定データＤＲに基づいて、行動ａの探索を行うことができる。

（３）上記第１の実施形態によれば、関係規定データＤＲは強化学習によって更新される。そのため、車両ＶＣ１に備わっている多くの操作部の操作に関する情報を扱うことができる。また、操作部の操作によってどのような報酬ｒが得られるかを把握することができる。そして、強化学習に従って関係規定データＤＲを更新することにより、車両ＶＣ１の状態ｓと、スロットル開口度指令値ＴＡ＊および遅角量ａｏｐとの関係を、車両ＶＣ１の走行において適切な関係に設定することができる。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図６に、本実施形態にかかる関係規定データＤＲのリセットに対処する処理手順を示す。図６（ａ）に示す処理は、図２に示すＲＯＭ７４に記憶されている学習用メインプログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。また、図６（ｂ）に示す処理は、ＲＯＭ１１４に記憶されている学習用サブプログラム１１４ａをＣＰＵ１１２が実行することにより実現される。なお、図６において図５に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、時系列に沿って、図６に示す処理を説明する。

図６（ａ）に示す一連の処理において、ＣＰＵ７２は、まず通信機７７を操作して、車両ＶＣ１の識別情報ＩＤと、走行距離ＲＬと、ＧＰＳ９２による位置データＰｇｐｓとを送信する（Ｓ７０）。本実施形態において、走行距離ＲＬは、車両が生産されてから現在に至るまでに車両が走行した距離の総量を示す総走行距離である。

これに対して、図６（ｂ）に示すように、ＣＰＵ１１２は、識別情報ＩＤ、走行距離ＲＬおよび位置データＰｇｐｓを受信する（Ｓ８０）。そして、ＣＰＵ１１２は、記憶装置１１６に記憶された識別情報ＩＤに関連付けられた走行距離ＲＬおよび位置データＰｇｐｓを、Ｓ８０の処理によって受信した値に更新する（Ｓ８２）。

一方、図６（ａ）に示すように、ＣＰＵ７２は、Ｓ５２の処理を実行し、肯定判定する場合、Ｓ５４の処理によってＳ１２の処理に用いる関係規定データＤＲとして適切な学習済関係規定データＤＲｔを要求する信号を送信する（Ｓ５４）。

これに対し、図６（ｂ）に示すように、ＣＰＵ１１２は、Ｓ６４の処理を実行する。そして、ＣＰＵ１１２は、学習済関係規定データＤＲｔの要求があると判定する場合（Ｓ６４：ＹＥＳ）、要求する信号を送信した車両ＶＣ１と走行履歴が近い車両を選択する（Ｓ８４）。具体的には、ＣＰＵ１１２は、Ｓ８２によって受信した走行距離ＲＬを中央値とした予め定められた一定量の範囲に収まっている車両を検索する。そして、ＣＰＵ１１２は、走行距離ＲＬが近い車両が複数あった場合、これらの車両の中から、位置データＰｇｐｓが最も近い車両を選択する。すなわち、本実施形態では、走行履歴が近い車両とは、走行距離ＲＬが同程度の車両であって、位置データＰｇｐｓが近い車両である。

ここで、車両ＶＣ１との位置データＰｇｐｓが最も近い車両を選択するのは、車両ＶＣ１と距離が相応に近いところに位置する車両の場合の関係規定データＤＲは、環境の相違が相応に小さいことから、車両ＶＣ１にとって期待収益を大きくする上で適切なデータとなりやすいためである。また、走行距離ＲＬが一定量の範囲に収まっている車両としたのは、車両ＶＣ１の部品劣化が近似した車両を特定するための設定である。

次に、ＣＰＵ１１２は、通信機１１７を操作して、Ｓ８４で選択した車両に対して関係規定データＤＲの送信を促し、これを選択関係規定データＤＲｓとして受信する（Ｓ８６）。次に、ＣＰＵ１１２は、学習済関係規定データＤＲｔに選択関係規定データＤＲｓを代入する（Ｓ８８）。次に、ＣＰＵ１１２は、Ｓ６６の処理を実行する。なお、ＣＰＵ１１２は、Ｓ６６の処理が完了する場合や、Ｓ６４の処理において否定判定する場合には、図６（ｂ）に示す一連の処理を一旦終了する。

これに対し、図６（ａ）に示すように、ＣＰＵ７２は、Ｓ５６およびＳ５８の処理を実行する。なお、ＣＰＵ７２は、Ｓ５８の処理が完了する場合や、Ｓ５２の処理において否定判定する場合には、図６（ａ）に示す一連の処理を一旦終了する。

次に、上記第２の実施形態の作用および効果について説明する。
（４）上記第２の実施形態によれば、複数の車両ＶＣ１および車両ＶＣ２の走行履歴と学習済関係規定データＤＲｔとが対応付けられている。そして、車両ＶＣ１の関係規定データＤＲがリセットされたときに、車両ＶＣ１の走行距離ＲＬに近い走行距離ＲＬに関連付けられた学習済関係規定データＤＲｔであれば、車両ＶＣ１が送信した関係規定データＤＲに限らず、他車両が送信した関係規定データＤＲに基づく学習済関係規定データＤＲｔであっても受信できる。したがって、関係規定データＤＲがリセットされたときの走行履歴に対応したより適切な学習済関係規定データＤＲｔを得られる蓋然性が高まる。

＜第３の実施形態＞
以下、第３の実施形態について、第２の実施形態との相違点を中心に図面を参照しつつ説明する。

図７に、本実施形態にかかる車両用制御システムの概要を示す。なお、図７において図２に示した部材に対応する部材については、便宜上、同一の符号を付している。
図７に示すように、データ解析センター１１０内の記憶装置１１６には、予め試験等によって、走行履歴と関連付けられた学習済関係規定データＤＲｔが、複数記憶されている。本実施形態においては、走行距離ＲＬごとに学習済関係規定データＤＲｔが複数記憶されている。具体的には、本実施形態では、走行距離ＲＬが５０００ｋｍ毎に、５０００ｋｍ、１００００ｋｍ、１５０００ｋｍ、…の各走行距離ＲＬごとに、学習済関係規定データＤＲｔが設定されている。

図８に、本実施形態にかかる関係規定データＤＲのリセットに対処する処理手順を示す。図８（ａ）に示す処理は、図７に示すＲＯＭ７４に記憶されている学習用メインプログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。また、図８（ｂ）に示す処理は、ＲＯＭ１１４に記憶されている学習用サブプログラム１１４ａをＣＰＵ１１２が実行することにより実現される。なお、図８において図６に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、時系列に沿って、図８に示す処理を説明する。

図８（ａ）に示す一連の処理において、ＣＰＵ７２は、まず通信機７７を操作して、車両ＶＣ１の識別情報ＩＤと、走行距離ＲＬとを送信する（Ｓ９０）。
これに対して、図８（ｂ）に示すように、ＣＰＵ１１２は、識別情報ＩＤおよび走行距離ＲＬを受信する（Ｓ１００）。そして、ＣＰＵ１１２は、記憶装置１１６に記憶された識別情報ＩＤに関連付けられた走行距離ＲＬを、Ｓ１００の処理によって受信した値に更新する（Ｓ１０２）。

一方、図８（ａ）に示すように、ＣＰＵ７２は、Ｓ５２の処理を実行し、肯定判定する場合、Ｓ５４の処理によってＳ１２の処理に用いる関係規定データＤＲとして適切な学習済関係規定データＤＲｔを要求する信号を送信する（Ｓ５４）。

これに対し、図６（ｂ）に示すように、ＣＰＵ１１２は、Ｓ６４の処理を実行する。そして、ＣＰＵ１１２は、学習済関係規定データＤＲｔの要求があると判定する場合（Ｓ６４：ＹＥＳ）、記憶装置１１６に記憶されている走行距離の中から、要求する信号を送信した車両ＶＣ１の走行距離ＲＬに最も近いデータを選択する（Ｓ１０４）。

次に、ＣＰＵ１１２は、通信機１１７を操作して、Ｓ１０４で選択した走行距離に紐づけられている学習済関係規定データＤＲｔを車両ＶＣ１に送信する（Ｓ１０６）。なお、ＣＰＵ１１２は、Ｓ１０６の処理が完了する場合や、Ｓ１０４の処理において否定判定する場合には、図８（ｂ）に示す一連の処理を一旦終了する。

これに対し、図８（ａ）に示すように、ＣＰＵ７２は、Ｓ５６およびＳ５８の処理を実行する。なお、ＣＰＵ７２は、Ｓ５８の処理が完了する場合や、Ｓ５２の処理において否定判定する場合には、図８（ａ）に示す一連の処理を一旦終了する。

次に、上記第３の実施形態の作用および効果について説明する。
（５）上記第３の実施形態によれば、車両ＶＣ１の関係規定データＤＲがリセットされたときに、車両ＶＣ１の走行距離ＲＬに応じて、予め記憶されている学習済関係規定データＤＲｔを受信できる。そのため、車両ＶＣ１の走行距離ＲＬに最も近い学習済関係規定データＤＲｔを関係規定データＤＲとして利用できる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］車載制御装置は、制御装置７０に対応し、内部記憶装置は、記憶装置７６に対応し、内部実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応する。取得処理は、Ｓ１０、Ｓ１６の処理に対応し、更新処理は、Ｓ３８〜Ｓ４４の処理に対応し、操作処理は、Ｓ１４の処理に対応する。検知処理は、Ｓ５２の処理に対応し、送信処理は、Ｓ５４の処理に対応し、受信処理は、Ｓ５６の処理に対応し、切替処理は、Ｓ５８の処理に対応する。電子機器は、内燃機関の操作部に対応し、学習データは、関係規定データに対応し、学習済学習データは、学習済関係規定データに対応する。［２］車外制御装置は、データ解析センター１１０に対応し、外部記憶装置は、記憶装置１１６に対応し、外部実行装置は、ＣＰＵ１１２およびＲＯＭ１１４に対応する。更新処理は、Ｓ３８〜Ｓ４４の処理に対応し、操作処理は、Ｓ１４の処理に対応する。検知処理は、Ｓ５２の処理に対応する。第１送信処理は、Ｓ５４の処理に対応し、第１受信処理は、Ｓ６４の処理に対応し、第２送信処理は、Ｓ６６の処理に対応し、第２受信処理は、Ｓ５６の処理に対応し、切替処理は、Ｓ５８の処理に対応する。［３］定期送信処理は、Ｓ５０の処理に対応し、保存処理は、Ｓ６２の処理に対応する。［４］走行履歴送信処理は、Ｓ７０の処理に対応し、走行履歴受信処理は、Ｓ８０の処理に対応し、走行履歴保存処理は、Ｓ８２に対応する。走行履歴は、走行距離ＲＬおよび位置データＰｇｐｓに対応する。［５］走行履歴は、走行距離ＲＬに対応する。［６］関係規定データは、関係規定データＤＲに対応する。更新写像は、学習用メインプログラム７４ｂのうちＳ３８〜Ｓ４４の処理を実行する指令によって規定された写像に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

・「検知処理について」
上記実施形態では、Ｓ１２の処理が適切にできない場合に関係規定データＤＲがリセットされることを検知したが、検知処理としては、これに限らない。たとえば、制御装置７０はバッテリからの電力の供給を受けて駆動する。記憶装置７６には、内燃機関１０の運転を停止された状態でも、車両ＶＣ１に備わるバッテリから電力供給が維持されて、関係規定データＤＲの記憶が維持されている。この場合に、バッテリから電力供給がされているか否かを、センサ等によって検知してもよい。バッテリからの電力供給がされていない状態を検知すれば、バッテリからの電力供給が遮断され、記憶装置７６は記憶している関係規定データＤＲが消失することを検知できる。

また、修理工場等でバッテリクリアがなされた場合、その旨をネットワーク１００を介してデータ解析センター１１０に通知してもよい。その場合であっても、データ解析センター１１０において、図５（ｂ）のＳ６０，６２，Ｓ６６の処理に準じた処理を実行することによって、制御装置７０に学習済関係規定データＤＲｔを送信できる。

もっとも、検知処理としては、制御装置７０とデータ解析センター１１０とのいずれかが実行するものにも限らない。たとえば、「車両用制御システムについて」の欄に記載したように、携帯端末を備えて車両用制御システムを構成する場合、携帯端末が検知処理を実行してもよい。ここで、制御装置７０、携帯端末およびデータ解析センター１１０によって車両用制御システムを構成する場合、携帯端末が検知処理を実行した後、学習済関係規定データＤＲｔを要求する信号をデータ解析センター１１０に送信すればよい。

さらに、検知処理としては、修理工場等による信号を直接検知する処理に限らない。たとえば、異常発生して関係規定データＤＲが消失した旨の信号を携帯端末に送信し、携帯端末から制御装置７０にその旨の信号がさらに送信される場合、制御装置７０が携帯端末からの信号を受信する処理を、検知処理としてもよい。

・「行動変数について」
上記実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。たとえば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間および２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

上記実施形態では、行動変数としての点火時期に関する変数として、遅角量ａｏｐを例示したが、これに限らない。たとえば、ＫＣＳによる補正対象とされる点火時期自体であってもよい。

上記実施形態では、行動変数として、スロットルバルブの開口度に関する変数および点火時期に関する変数を例示したが、これに限らない。たとえば、スロットルバルブの開口度に関する変数および点火時期に関する変数に加えて、燃料噴射量を用いてもよい。また、それら３つに関しては、行動変数としてスロットルバルブの開口度に関する変数および燃料噴射量のみを採用したり、点火時期に関する変数および燃料噴射量のみを採用したりしてもよい。さらに、それら３つに関しては、行動変数としてそれらのうちの１つのみを採用してもよい。

また、「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用い、点火時期に関する変数に代えて噴射時期に関する変数を用いればよい。なお、噴射時期に関する変数に加えて、１燃焼サイクルにおける噴射回数に関する変数や、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を加えることが望ましい。

また、たとえば変速装置５０が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値等を行動変数としてもよい。
また、たとえば、下記「車両について」の欄に記載したように車両としてハイブリッド車や、電気自動車、燃料電池車を採用する場合、回転電機のトルクや出力を行動変数としてもよい。またたとえば、内燃機関のクランク軸の回転動力によって回転するコンプレッサを備えた車載空調装置を備える場合、コンプレッサの負荷トルクを行動変数に含めてもよい。また、電動式の車載空調装置を備える場合、空調装置の消費電力を行動変数に含めてもよい。

・「状態について」
上記実施形態では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、たとえば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量等であってもよい。

また、たとえば「行動変数について」の欄に記載したように、ソレノイドバルブの電流値を行動変数とする場合、状態に、変速装置の入力軸５２の回転速度や出力軸５４の回転速度、ソレノイドバルブによって調整される油圧を含めればよい。またたとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、状態に、バッテリの充電率や温度を含めればよい。またたとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動に含める場合、状態に、車室内の温度を含めればよい。

・「テーブル形式のデータの次元削減について」
テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量ＰＡが最大値となることはまれであることから、アクセル操作量ＰＡが規定量以上となる状態については行動価値関数Ｑを定義せず、アクセル操作量ＰＡが規定量以上となる場合のスロットル開口度指令値ＴＡ＊等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値ＴＡ＊が規定値以上となるものを除くなどして、次元削減をしてもよい。

・「学習データについて」
上記実施形態では、学習データは、強化学習によって更新される関係規定データＤＲとしたが、これに限らない。たとえば、内燃機関の点火時期学習によって更新される点火時期の学習値であってもよい。

・「学習について」
車両ＶＣ１の走行に伴って学習値を更新するものであれば、学習の仕方は問わない。たとえば、上述した内燃機関の点火時期学習であってもよい。また、学習による更新のされ方も問わず、たとえば、フィードバック制御であってもよい。

・「関係規定データについて」
上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

たとえば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。

・「操作処理について」
たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを選択すればよい。

また、たとえば「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

・「更新写像について」
Ｓ３８〜Ｓ４４の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

また、たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。

また、行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

なお、方策πを定める「ε」については、固定値に限らず、学習の進行度合いに応じてあらかじめ定められた規則に応じて変更してもよい。
・「報酬算出処理について」
図３の処理では、条件（ア）および条件（イ）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理との２つの処理に関しては、それらのうちのいずれか１つの処理のみを実行してもよい。

また、たとえば条件（ア）を満たす場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が小さい場合に大きい場合よりもより大きい報酬を与える処理としてもよい。またたとえば、条件（ア）を満たさない場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が大きい場合に小さい場合よりもより小さい報酬を与える処理としてもよい。

また、たとえば条件（イ）を満たす場合に一律同じ報酬を与える代わりに、加速度Ｇｘの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（イ）を満たさない場合に一律同じ報酬を与える代わりに、加速度Ｇｘの大きさに応じて報酬の大きさを可変とする処理としてもよい。

上記実施形態では、報酬ｒを、ドライバビリティに関する基準を満たすか否かに応じて与えたが、ドライバビリティに関する基準としては、上述したものに限らず、たとえば騒音や振動強度が基準を満たすか否かに応じて設定してもよい。もっともこれに限らず、上記加速度が基準を満たすか否かと、トルクＴｒｑの追従性が基準を満たすか否かと、騒音が基準を満たすか否かと、振動強度が基準を満たすか否かとの４つのうちの任意の１つ以上であってよい。

報酬算出処理としては、報酬ｒを、ドライバビリティに関する基準を満たすか否かに応じて与えるものにも限らない。たとえば、燃料消費率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理であってもよい。またたとえば、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理であってもよい。なお、ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、燃料消費率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理との３つの処理のうちの２つまたは３つを含んでもよい。

また、たとえば「行動変数について」の欄に記載したように、変速装置５０のソレノイドバルブの電流値を行動変数とする場合、たとえば報酬算出処理に以下の（ａ）〜（ｃ）の３つの処理のうちの少なくとも１つの処理を含めればよい。

（ａ）変速装置による変速比の切り替えに要する時間が所定時間以内である場合に所定時間を超える場合よりも大きい報酬を与える処理である。
（ｂ）変速装置の入力軸５２の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。

（ｃ）変速装置の出力軸５４の回転速度の変化速度の絶対値が出力側所定値以下である場合に出力側所定値を超える場合よりも大きい報酬を与える処理である。
また、たとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、バッテリの充電率が所定範囲内にある場合にない場合よりも大きい報酬を与える処理や、バッテリの温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を含めてもよい。また、たとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動変数に含める場合、車室内の温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を加えてもよい。

・「車両用制御システムについて」
車両用制御システムとしては、制御装置７０およびデータ解析センター１１０によって構成されるものに限らない。たとえば、データ解析センター１１０に代えて、ユーザが所持する携帯端末を用い、制御装置７０および携帯端末によって車両用制御システムを構成してもよい。また、たとえば、制御装置７０、携帯端末、およびデータ解析センター１１０によって構成してもよい。少なくとも、制御装置７０は、車両ＶＣ１の外部から学習済関係規定データＤＲｔを受信できればよい。

・「通信機について」
上記実施形態において、Ｓ５４やＳ５６での送受信は、通信機７７が操作されることによって行っているが、通信機７７は、車両ＶＣ１に搭載されているものに限られず、例えば、車両ＶＣ１のユーザのスマートフォンであってもよい。この場合、制御装置７０とスマートフォンが近距離通信や有線通信によって電気的に接続されており、通信機７７として機能するスマートフォンが、車外との通信を行ってもよい。

・「車外制御装置について」
上記実施形態において、車外制御装置としては、データ解析センター１１０を例示したが、車外制御装置としては、上記実施形態の例に限られず、車両ＶＣ１の車外制御装置として機能する制御装置７０に対しては、車両ＶＣ１の外部に設けられている装置であればよい。例えば、車両ＶＣ１とは別の車両に搭載されている制御装置であってもよい。この場合、車両用制御システムとしては、例えば、車両ＶＣ１の制御装置７０と、当該車両とＶＣ１は別の車両の制御装置と、によって構成してもよい。この場合であっても、車両ＶＣ１に対しては、別の車両の制御装置は車外制御装置として機能できる。

・「実行装置について」
実行装置としては、ＣＰＵ７２（１１２）とＲＯＭ７４（１１４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）〜（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

・「記憶装置について」
上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習用メインプログラム７４ｂや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４）とを別の記憶装置としたが、これに限らない。

・「内燃機関について」
内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。

内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
・「車両について」
車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車あってもよい。

・「走行履歴について」
上記第２の実施形態において、走行履歴は、走行距離ＲＬと位置データＰｇｐｓとに限られない。例えば、走行履歴は、走行中の複数の位置データＰｇｐｓを基に、走行距離や走行位置を算出したものであってもよい。この点、第３の実施形態においても同様である。

・「走行履歴の送受信について」
上記第２の実施形態において、走行履歴を示すデータは、Ｓ５４の処理と同時に送信されてもよく、この場合、走行履歴を示すデータは、Ｓ６４の処理と同時に受信され、Ｓ８２の処理は、Ｓ６４の後になされればよい。

また、Ｓ７０における走行履歴を示すデータの送信と同時に、車両ＶＣ１の関係規定データＤＲを送信してもよい。この場合、Ｓ８０において、車両ＶＣ１の関係規定データＤＲを受信するとともに、Ｓ８２において、車両ＶＣ１の関係規定データＤＲを記憶すると、Ｓ８６の処理を省略して、Ｓ８４の処理において、記憶装置１１６に記憶されているデータから選択できる。

１０…内燃機関
２６…点火装置
７０…制御装置
７２…ＣＰＵ
７４…ＲＯＭ
７６…記憶装置
１００…ネットワーク
１１０…データ解析センター
１１２…ＣＰＵ
１１４…ＲＯＭ
１１６…記憶装置
ＤＲ…関係規定データ
ＤＲｔ…学習済関係規定データ

Claims (6)

1. 内部記憶装置および内部実行装置を備えている車載制御装置であって、
   前記内部記憶装置は、車両に搭載された電子機器の制御に用いられる学習データを記憶し、
   前記内部実行装置は、
   前記車両の状態を検出するセンサの検出値を取得する取得処理と、
   前記学習データを前記車両の走行に伴う学習によって更新して、前記内部記憶装置に記憶させる更新処理と、
   前記取得処理によって取得された前記検出値および前記学習データによって定まる前記車両内の電子機器の操作に関する変数の値に基づき前記電子機器を操作する操作処理と、
   前記車両の異常発生により前記内部記憶装置が記憶している前記学習データがリセットされたことを検知する検知処理と、
   前記検知処理によって前記学習データがリセットされたことが検知された場合、前記学習データの初期状態から学習がなされた学習済学習データを要求するための要求信号を車両外に送信する送信処理と、
   前記要求信号に応じた前記学習済学習データを車外から受信する受信処理と、
   前記受信処理で受信した前記学習済学習データを、リセットされた前記学習データに替えて前記内部記憶装置に記憶させる切替処理と、を実行する
   車両用制御装置。
2. 車両に搭載されている車載制御装置と、前記車両の外部に設けられている車外制御装置と、を備えている車両用制御システムであって、
   前記車載制御装置は、内部記憶装置および内部実行装置を有しており、
   前記車外制御装置は、外部記憶装置および外部実行装置を有しており、
   前記内部記憶装置は、車両に搭載された電子機器の制御に用いられる学習データを記憶しており、
   前記外部記憶装置は、前記学習データの初期状態から学習がなされた学習済学習データを記憶しており、
   前記内部実行装置は、
   前記車両の状態を検出するセンサの検出値を取得する取得処理と、
   前記学習データを前記車両の走行に伴う学習によって更新して、前記内部記憶装置に記憶させる更新処理と、
   前記取得処理によって取得された前記検出値および前記学習データによって定まる前記車両内の電子機器の操作に関する変数の値に基づき前記電子機器を操作する操作処理と、
   前記車両の異常発生により前記内部記憶装置が記憶している前記学習データがリセットされたことを検知する検知処理と、
   前記検知処理によって前記学習データがリセットされたことが検知された場合、前記学習済学習データを要求するための要求信号を前記車外制御装置に送信する第１送信処理と、を実行し、
   前記外部実行装置は、
   前記第１送信処理によって送信された前記要求信号を前記内部実行装置から受信する第１受信処理と、
   前記第１受信処理によって受信した前記要求信号に応じて、前記外部記憶装置に記憶している前記学習済学習データを示す信号を車載制御装置に送信する第２送信処理と、を実行し、
   前記内部実行装置は、
   前記第２送信処理によって送信された前記学習済学習データを示す信号を受信する第２受信処理と、
   前記第２受信処理で受信した前記学習済学習データを、リセットされた前記学習データに替えて前記内部記憶装置に記憶させる切替処理と、を実行する
   車両用制御システム。
3. 前記内部実行装置は、前記更新処理によって更新した前記学習データを示す信号を、所定期間ごとに、前記車外制御装置に送信する定期送信処理を実行し、
   前記外部実行装置は、
   前記定期送信処理によって送信された前記学習データを示す信号を受信する定期受信処理と、
   前記定期受信処理によって受信された前記学習データを、前記外部記憶装置に前記学習済学習データとして保存する保存処理と、を実行し、
   前記第２送信処理において送信する前記学習済学習データは、前記保存処理によって保存された最新のデータである
   請求項２に記載の車両用制御システム。
4. 前記内部実行装置は、当該内部実行装置が搭載されている車両の走行履歴を示す信号を、前記車外制御装置に送信する走行履歴送信処理を実行し、
   前記外部実行装置は、
   複数の車両によって送信された走行履歴を示す信号を受信する走行履歴受信処理と、
   前記走行履歴受信処理によって受信された前記走行履歴を、前記外部記憶装置に前記車両ごとに保存する走行履歴保存処理と、を実行し、
   前記第２送信処理で送信される前記学習済学習データは、前記走行履歴保存処理によって保存された複数の車両の前記走行履歴のうち、前記要求信号を送信した車両の前記走行履歴に最も近い走行履歴に関連付けられた学習済学習データである
   請求項２または請求項３に記載の車両用制御システム。
5. 前記外部記憶装置には、複数の走行履歴とその走行履歴に対応した前記学習済学習データとが関連付けられて予め設定されており、
   前記第１送信処理では、前記車両の前記学習データがリセットされたときの当該車両の走行履歴を示す信号を送信し、
   前記第１受信処理では、前記走行履歴を受信し、
   前記第２送信処理で送信される前記学習済学習データは、前記外部記憶装置に記憶されている複数の走行履歴のうち、前記要求信号を送信した車両の前記走行履歴に最も近い走行履歴に関連付けられた学習済学習データである
   請求項２に記載の車両用制御システム。
6. 前記学習データは、前記車両の状態と前記車両内の前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データであり、
   前記内部実行装置は、
   前記取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理を実行し、
   前記更新処理では、前記取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新し、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである
   請求項２〜請求項５のいずれか１項に記載の車両用制御システム。

Images