[go: up one dir, main page]

JP7617817B2 - 運転支援装置、監視装置、運転支援方法、およびプログラム - Google Patents

運転支援装置、監視装置、運転支援方法、およびプログラム Download PDF

Info

Publication number
JP7617817B2
JP7617817B2 JP2021107578A JP2021107578A JP7617817B2 JP 7617817 B2 JP7617817 B2 JP 7617817B2 JP 2021107578 A JP2021107578 A JP 2021107578A JP 2021107578 A JP2021107578 A JP 2021107578A JP 7617817 B2 JP7617817 B2 JP 7617817B2
Authority
JP
Japan
Prior art keywords
value
control
moving body
output
yaw rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021107578A
Other languages
English (en)
Other versions
JP2023005576A (ja
Inventor
裕司 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021107578A priority Critical patent/JP7617817B2/ja
Priority to CN202210694258.0A priority patent/CN115534936A/zh
Priority to US17/848,427 priority patent/US12128883B2/en
Publication of JP2023005576A publication Critical patent/JP2023005576A/ja
Application granted granted Critical
Publication of JP7617817B2 publication Critical patent/JP7617817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02Control of vehicle driving stability
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114Yaw movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、運転支援装置、監視装置、運転支援方法、およびプログラムに関する。
従来、目標ヨーレートと実ヨーレート(ヨーレートセンサによって測定されたもの)との差分が大きい場合に、車両挙動が乱れていると判定する装置が知られている(特許文献1)。
国際公開第2018/230376号
上記従来の技術では、実ヨーレート自体が適正なものであるか否かを判定していない。このため、操舵回避の妥当性を適切に判定することができない場合があった。
本発明は、このような事情を考慮してなされたものであり、操舵回避の妥当性を適切に判定することが可能な運転支援装置、運転支援方法、およびプログラムを提供することを目的の一つとする。
この発明に係る運転支援装置、監視装置、運転支援方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る運転支援装置は、移動体の周辺に存在する物体を認識する認識部と、前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行う第1運転支援部と、前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行う第2運転支援部と、前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出し、前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制する管理部と、を備えるものである。
(2):上記(1)の態様において、前記管理部は、前記参照情報を入力すると前記ヨーレートの推定値を出力するように学習された学習済モデルに、前記移動体において収集された前記参照情報を入力することで、前記推定値を導出するものである。
(3):上記(2)の態様において、前記管理部は、条件を互いに異ならせて学習された複数の学習済モデルのうち、前記測定値に近い値を出力する一以上の学習済モデルを選択し、前記選択した一以上の学習済モデルの出力に基づいて前記推定値を導出するものである。
(4):上記(3)の態様において、前記条件は、前記移動体の状態を表す状態条件と、前記移動体が置かれた環境を表す環境条件とのうち少なくとも一方を含むものである。
(5):上記(1)から(4)のいずれかの態様において、前記参照情報は、前記移動体に搭載された操舵角センサの出力情報、前記移動体に搭載された速度センサの出力情報、および前記移動体の移動制御装置により出力される制御情報のうち少なくとも一部を含むものである。
(6):上記(1)から(5)のいずれかの態様において、前記参照情報は、複数時点の制御サイクルに跨る時系列情報を含むものである。
(7):本発明の他の態様に係る監視装置は、移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出する導出部と、前記測定値と前記推定値との乖離が基準よりも大きい場合に、所定の情報を出力する比較部と、を備えるものである。
(8):本発明の他の態様に係る運転支援方法は、コンピュータが、移動体の周辺に存在する物体を認識し、前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行い、前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行い、前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出し、前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制するものである。
(9):本発明の他の態様に係るプログラムは、コンピュータに、移動体の周辺に存在する物体を認識させ、前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行わせ、前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行わせ、前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出させ、前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制させるものである。
上記(1)~(9)の態様によれば、操舵回避の妥当性を適切に判定することができる。
運転支援装置100を中心とした構成図である。 第1制御と第2制御が選択的に行われる場面の一例を示す図である。 導出部152の処理の内容の一例を示す図である。 管理部150により実行される処理の流れの一例を示すフローチャートである。 管理部150により実行される処理の流れの他の一例を示すフローチャートである。 学習済モデル172(i、j、k)と学習時の環境との関係の一例を示す図である。
以下、図面を参照し、本発明の運転支援装置、監視装置、運転支援方法、およびプログラムの実施形態について説明する。運転支援装置や監視装置は、移動体に搭載される。移動体とは、例えば、四輪車両や二輪車両、マイクロモビリティ、ロボット等の自ら移動するもの、或いは、自ら移動する移動体に載置され、または人によって運ばれることで移動するスマートフォンなどの可搬型装置である。以下の説明において移動体は四輪車両であるものとし、移動体のことを「車両M」と称して説明を行う。監視装置は、単体で動作するものであってもよいし、運転支援装置に包含されるものであってもよい。以下の説明では、監視装置は、運転支援装置に包含されるものとする。
運転支援装置は、移動体と物体との接触を操舵により回避するための第1制御と、移動体と物体との接触を制動により回避するための第2制御とを選択的に、或いは状況に応じて一方または双方を同時に行う。
「操舵により回避する」とは、例えば、(1)操舵方向を音声や画像等で運転者に伝えて、間接的に物体との接触を回避させること、(2)LKAS(Lane Keeping Assist System)などの名称で知られる車線維持制御で行われているように、ステアリングホイール(操舵操作子)に、物体に向かう方向の操舵に対する操作反力や振動等を与えることで物体との接触を回避させること、(3)運転支援装置が操舵装置に対して自律的な操舵制御を行って物体との接触を回避すること(いわゆる自動運転)のいずれであってもよい。以下の説明では、(1)の手法で第1制御が行われるものとする。
「制動により回避する」とは、例えば、(A)通常時は手動運転を基本とし、物体との接触の可能性がある場合のみ介入制御を行って、制動力をブレーキ装置等に出力させること、(B)運転支援装置がブレーキ装置等に対して自律的な制動制御を行って物体との接触を回避すること(いわゆる自動運転)のいずれであってもよい。以下の説明では、(A)の手法で第2制御が行われるものとする。
<第1実施形態>
以下、第1実施形態について説明する。図1は、運転支援装置100を中心とした構成図である。車両Mには、運転支援装置100の他、カメラ10、レーダ装置12、LIDAR(Light Detection and Ranging)14、物体認識装置16、車両センサ40、制御装置50、HMI(Human Machine Interface)60、ブレーキ装置70等が搭載される。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。例えば、車両Mには、アクセルペダルやブレーキペダル等の運転操作子、エンジンやモータ等の駆動力出力装置、ステアリング装置等の手動運転に必要な構成も搭載されてよいが、これらについては図示および詳細な説明を省略する。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
LIDAR14は、車両Mの周辺に光(或いは光に近い波長の電磁波)を照射し、散乱光を測定する。LIDAR14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。LIDAR14は、車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびLIDAR14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を運転支援装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびLIDAR14の検出結果をそのまま運転支援装置100に出力してよい。また、車両Mに物体認識装置16が搭載されなくてもよい。
車両センサ40は、少なくとも車両Mの鉛直軸回りの角速度を検出するヨーレートセンサ42を含む。なお、「鉛直軸」とは、ピッチやロールが発生していない場合に鉛直軸となるであろう、車両Mの車体に対する相対軸である。ヨーレートセンサ42は、車両Mの上空から見た重心付近に設けられる。
車両センサ40は、更に、車両Mの操舵角(操舵輪の角度でもよいし、ステアリングホイールの操作角度でもよい)を検出する操舵角センサ、車両Mの速度を検出する速度センサ、車両Mのステアリングホイールに加えられたトルクを検出するステアリングトルクセンサなどを含んでよい。
制御装置50は、例えば、エンジンやモータ等のエンジンやモータ等の駆動力出力装置を制御する制御装置である。制御装置50は、駆動力出力装置に与える制御情報(例えば、目標駆動力を示す制御情報)を、運転支援装置100にも出力する。制御装置50は、特許請求の範囲における「移動制御装置」の一例である。
HMI60は、車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI60は、スピーカ、表示装置(HUD(Head Up Display)を含む)、ブザー、タッチパネル、スイッチ、キーなどを含む。
ブレーキ装置70は、ブレーキ制御装置、ブレーキアクチュエータ等を含む。ブレーキアクチュエータは、例えば、電子制御式のブレーキアクチュエータであり、ブレーキペダルの操作量に関わらず制動力を出力できるものであればよい。ブレーキ装置70は、ブレーキペダルに対してなされた操作量に基づいて車両Mの車輪に制動力を出力したり、運転支援装置100からの指示に応じて自律的に車両Mの車輪に制動力を出力したりする。また、ブレーキ装置70のブレーキ制御装置は、ブレーキアクチュエータに与える制御情報(例えば、目標制動力を示す制御情報)を、運転支援装置100にも出力する。ブレーキ装置70は、特許請求の範囲における「移動制御装置」の他の一例であってよい。
運転支援装置100は、例えば、認識部110と、第1運転支援部120と、第2運転支援部130と、管理部150とを備える。管理部150は、導出部152と、比較部154とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。管理部150は、特許請求の範囲における「監視装置」の一例である。図示する構成はあくまで一例であり、管理部150が第1運転支援部に包含されてもよい。運転支援装置100は、更に、記憶部170を備える。記憶部170は、上記プログラムを格納する記憶媒体であってもよいし、別の記憶媒体であってもよい。記憶部170には、学習済モデル172が格納される。記憶部170は、例えば、HDDやフラッシュメモリ、RAM(Random Access Memory)等である。
認識部110は、カメラ10、レーダ装置12、およびLIDAR14から物体認識装置16を介して入力された情報に基づいて、車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、車両Mの代表点(重心や駆動軸中心など)を原点とする、上空から見た仮想平面上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部110は、例えば、車両Mが走行している車線(走行車線)を認識する。例えば、認識部110は、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線の位置に基づいて、走行車線を認識する。なお、認識部110は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。認識部110は、走行車線を認識する際に、走行車線に対する車両Mの位置や姿勢を認識する。認識部110は、例えば、車両Mの基準点の車線中央からの乖離、および車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部110は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する車両Mの基準点の位置などを、走行車線に対する車両Mの相対位置として認識してもよい。
第1運転支援部120は、車両Mと、認識部110により認識された物体との接触を操舵により回避するための第1制御を行う。第1運転支援部120は、第1制御として、物体との接触を回避可能な目標軌道を生成し、目標軌道に沿った操舵角となるまで「ハンドルを右に(左に)切って下さい」といった内容の音声をスピーカに出力させて運転者の運転操作を誘導する。また、第1運転支援部120は、同様の誘導を、例えばHUDに方向を示す画像を表示させることで行ってもよい。第1運転支援部120は、誘導を開始した後、所定時間経過または所定距離走行するまでに目標軌道に沿った操舵角とならない場合、第1制御を停止することを決定し、その旨を示す情報を第2運転支援部130に伝える。なお、物体との接触を回避可能な目標軌道は、自車線(現在、車両Mが存在する車線)内で収まる場合もあるし、他車線への車線変更を伴う場合もある。後者の場合、第1制御を継続する条件は、前者に比べて厳しく設定されてよい。
第2運転支援部130は、車両Mと、認識部110により認識された物体との接触を制動により回避するための第2制御を行う。第2運転支援部130は、第2制御として、車両Mが操舵により接触を回避することが困難である物体に対してある程度の余裕距離をもって停止するための目標停止位置を決定し、例えば、減速度一定を前提に計算した減速度と車両Mの速度とに基づいて制動力(ブレーキトルク)を決定し、決定した制動力をブレーキ装置70に出力させる。なお、第2運転支援部130は、エンジンブレーキやモータの回生ブレーキも合わせて利用してよい。第2運転支援部130は、第1制御を停止する旨の情報が得られた場合に第2制御を開始してもよいし、第1運転支援部120の動作状態とは無関係に第2制御を実行してもよい。後者の場合、第2運転支援部130は、車両Mの予想進路と物体との重なり量(ラップ量)、TTC(Time To Collision)等の指標に基づいて、「車両Mが操舵により接触を回避することが困難である物体」であるか否かを判断する。また、第1制御によって物体の横を通過可能な場合であっても、念のため自律減速制御が併せて行われてもよい。
図2は、第1制御と第2制御が選択的に行われる場面の一例を示す図である。図中、OBは物体(ここでは駐車車両)、Kは「物体との接触を回避可能な目標軌道」である。図示するように、車両Mの運転者が誘導に従わず右方向への操舵を行わなかった場合、第2運転支援部130は車両Mを自動停止させる。
管理部150は、ヨーレートセンサ42などの計測手段に異常が生じているか否かを判定し、異常が生じていると判定した場合に、第1制御を抑制する。「第1制御を抑制する」とは、第1制御を停止させることを意味してもよいし、異常が生じていると判定されたことが複数回連続して生じた場合に第1制御を停止させる、或いは他車線への車線変更を伴う第1制御のみ停止するなどを意味してもよい。以下の説明では、「第1制御を抑制する」とは、第1制御を停止させることを意味するものとする。
管理部150の導出部152は、ヨーレートセンサ42により出力されるヨーレートの測定値Yrとは異なる複数種類の情報を少なくとも含む参照情報に基づいて、車両Mに生じたヨーレートの推定値Yr*を導出する。参照情報は、例えば、操舵角センサの出力情報θ、速度センサの出力情報V、および制御装置50またはブレーキ装置70により出力される制御情報のうち少なくとも一部を含む。また、参照情報は、搭乗人数(推定値でもよいし、車室内カメラ等で検知された値でもよい)やエネルギー残量などの車両Mが運搬する重量に関する情報を含んでもよい。更に、参照情報は、複数時点の制御サイクルに跨る時系列情報を含んでもよい。制御サイクルとは、管理部150が繰り返し処理を行う際の基準となる時間的単位である。
図3は、導出部152の処理の内容の一例を示す図である。例えば、導出部152は、操舵角センサの出力情報θ(k),θ(k-1),…θ(k-n)と、速度センサの出力情報V(k),V(k-1),…,V(k-m)と、制御情報とを含む参照情報を学習済モデル172に入力することで、ヨーレートの推定値Yr*を導出する。θは操舵角であり、Vは速度である。(k)は今回の制御サイクルで収集した値であることを示し、(k-1)は一つ前の制御サイクルで収集した値であることを示し、(k-n)はn回前の制御サイクルで収集した値であることを示し、(k-m)はm回前の制御サイクルで収集した値であることを示す。制御情報についても同様に、複数時点の制御サイクルに跨る時系列情報であってもよい。なお時系列情報を学習済モデル172に入力しない場合、学習済モデル172はRNN(Recurrent Neural Network)などの再帰的なモデルであることが好ましい。
学習済モデル172は、例えば、DNN(Deep Neural Network)、RBFN(Radial Basis Function Network)、その他のネットワーク型のモデルである。学習済モデル172は、参照情報を入力するとヨーレートの推定値Yr*を出力するように学習されたものである。この学習の過程においては、例えば、車両Mと同じ車種の実験車両において収集された参照情報が学習データ、実験車両に搭載され、正常状態にあることが確認されているヨーレートセンサによる測定値が教師データとして使用される。
比較部154は、ヨーレートセンサ42の測定値Yrと、導出部152が導出したヨーレートの推定値Yr*との乖離が基準よりも大きい場合に第1制御を抑制する。「乖離が基準よりも大きい」とは、例えば、差分の絶対値が閾値よりも大きいことを意味する。
図4は、管理部150により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、制御サイクルごとに繰り返し実行される。
まず、管理部150は、参照情報とヨーレートセンサ42の測定値Yrとを取得する(ステップS200)。参照情報は時系列情報として記憶部170に格納され、以降の処理に利用される。次に、導出部152が、今回あるいは前回以前の制御サイクルで取得された参照情報を学習済モデル172に入力することで、ヨーレートの推定値Yr*を導出する(ステップS202)。次に、比較部154は、ヨーレートセンサ42の測定値Yrと、導出部152が導出したヨーレートの推定値Yr*との乖離が基準よりも大きいか否かを判定する(ステップS204)。ヨーレートセンサ42の測定値Yrとヨーレートの推定値Yr*との乖離が基準よりも大きい場合、比較部154は、第1制御を抑制するように少なくとも第1運転支援部120に通知する(ステップS206)。
管理部150は、図4に示すフローチャートの処理を、単に制御サイクルごとに繰り返してもよいが、ヨーレートセンサ42の測定値Yrとヨーレートの推定値Yr*との乖離が基準よりも大きいと判定された履歴に基づいて、判定処理の頻度等を調整してもよい。
図5は、管理部150により実行される処理の流れの他の一例を示すフローチャートである。本フローチャートの処理は、図4のフローチャートの処理と並行して繰り返し実行される。
まず、管理部150は、図4のステップS204の処理において、ヨーレートセンサ42の測定値Yrと、導出部152が導出したヨーレートの推定値Yr*との乖離が基準よりも大きいと判定されたか否かを判定する(ステップS300)。
ヨーレートセンサ42の測定値Yrと、導出部152が導出したヨーレートの推定値Yr*との乖離が基準よりも大きいと判定された場合、管理部150は、判定結果が前回と同じであるか否かを判定する(ステップS302)。判定結果が前回と同じであると判定した場合、管理部150は、第1カウンタをカウントアップする(例えば1インクリメントする)(ステップS304)。次に、管理部150は、第1カウンタの値が第1基準値C1以上であるか否かを判定する(ステップS306)。第1基準値C1は、例えば、数回~数十回程度の値である。第1カウンタの値が第1基準値C1以上であると判定した場合、管理部150は、第1制御を停止させ、図4のステップS200~S204の判定処理の頻度(判定頻度)を低下させ、第2カウンタの値をリセットする(ゼロにする)(ステップS308)。例えば、管理部150は、通常時には数[ms]ごとに判定処理が行われるのに対して、数[sec]~数[min]ごとまで判定頻度を低下させる。この状態において、ヨーレートセンサ42の測定値Yrと、導出部152が導出したヨーレートの推定値Yr*との乖離について判定処理は行われるものの、判定結果に関わらず第1制御は行われない。これは、複数回連続して乖離が大きかったため、ヨーレートセンサ42あるいは関連する機器に故障等が発生している確率が高いと推定されるからである。
更に、管理部150は、第1カウンタの値が第1基準値C1よりも大きい第2基準値C2以上であるか否かを判定する(ステップS310)。第1カウンタの値が第2基準値C2以上であると判定した場合、管理部150は、ヨーレートセンサ42あるいは関連する機器の修理を促す情報を、HMI60に出力させる(ステップS312)。
ヨーレートセンサ42の測定値Yrと、導出部152が導出したヨーレートの推定値Yr*との乖離が基準以下であると判定された場合、管理部150は、判定結果が前回と同じであるか否かを判定する(ステップS314)。判定結果が前回と同じであると判定した場合、管理部150は、第2カウンタをカウントアップする(例えば1インクリメントする)(ステップS316)。次に、管理部150は、第2カウンタの値が第3基準値C3以上であるか否かを判定する(ステップS318)。第2カウンタの値が第3基準値C3以上であると判定した場合、管理部150は、ステップS308の処理によって第1制御が停止中、且つ判定頻度が低下中であるか否かを判定する(ステップS320)。ステップS320の処理において肯定的な判定結果が得られた場合、管理部150は、第1制御を復帰させ、判定頻度を元に戻す(ステップS322)。そして、管理部150は、第1カウンタおよび第2カウンタの値をリセットする(ステップS324)。係る処理によって、ある程度の時間、路面の状態が悪い道路を車両Mが走行する間は一時的に第1制御を休止状態とし、その後、道路の状態が通常状態になったことが十分に確認されてから第1制御を復帰させることができる。
ステップS302またはS314で前回と同じ判定結果でないと判定された場合、ステップS324の処理が行われる。また、ステップS320で否定的な判定結果が得られた場合、管理部150は、本フローチャートの1サイクルの処理を終了する。
以上説明した第1実施形態によれば、車両Mに搭載されたヨーレートセンサ42により出力されるヨーレートの測定値Yrとは異なる複数種類の情報を少なくとも含む参照情報に基づいて、車両Mに生じたヨーレートの推定値Yr*を導出し、測定値と推定値との乖離が基準よりも大きい場合に第1制御を抑制するため、操舵回避の妥当性を適切に判定して車両制御を行うことができる。
<第2実施形態>
以下、第2実施形態について説明する。第1実施形態では、学習済モデル172として一つのモデルを使用するものとしたが、第2実施形態では、条件を互いに異ならせて学習された複数の学習済モデルを使用する。
第2実施形態において使用される学習済モデルを、学習済モデル172(i、j、k)と表記する。パラメータi、j、kのそれぞれは、学習済モデルが学習された際の条件のそれぞれを示すものであり、上限数が設けられた自然数である。以下の説明では、条件が3つであるものとするが、条件の数は如何なる数であってもよい。
条件は、車両Mの状態を表す状態条件と、車両Mが置かれた環境を表す環境条件とのうち少なくとも一方を含む。状態条件は、例えば、タイヤの空気圧、累積走行距離などを含む。タイヤの空気圧は操舵操作に対する旋回感度に直接影響し、累積走行距離はサスペンションの疲労を招くことで間接的に旋回度合いに影響するからである。環境条件は、例えば、路面状態を含む。降雨、非舗装路、凍結などによって路面状態が悪化する(路面μが低下する)と、操舵角に対する旋回度合いが変化するからである。
図6は、学習済モデル172(i、j、k)と学習時の環境との関係の一例を示す図である。図示するように、学習済モデル172(1、1、1)は、条件を(タイヤの空気圧:高、累積走行距離:短、路面μ:高)として学習されたものであり、学習済モデル172(2、1、1)は、条件を(タイヤの空気圧:中、累積走行距離:短、路面μ:高)として学習されたものであり、以下同様に全てのパラメータの組み合わせについての学習済モデル172(i、j、k)が用意されている。
第2実施形態の管理部150では、ヨーレートセンサ42の測定値Yrに近い値を出力する一以上の学習済モデル172(i、j、k)を選択し、選択した一以上の学習済モデル172(i、j、k)の出力に基づいて推定値を導出する。具体的に、第2実施形態の管理部150では、前回以前の処理結果に基づいてヨーレートセンサ42の測定値Yrに近い値を出力することが判っている少数の学習済モデル172(i、j、k)を選択して推定値を導出し、判定に用いてもよいし、学習済モデル172(i、j、k)のうち一部または全部を用いてそれぞれヨーレートの推定値Yr*を導出し、それらの中からヨーレートセンサ42の測定値Yrに近い値を選択し、判定に用いてもよい。
一例として、管理部150は、複数の条件で構成される空間を定義し、例えば、隣接する条件までの切り替えを許容し、それ以上の条件の切り替えが必要な場合は異常と判定する。例えば、前回の処理において学習済モデル172(2、2、2)が選択されている場合、管理部150は、学習済モデル172(1、2、2)、(3、2、2)、(2、1、2)、(2、3、2)、(2、2、1)、(2、2、3)への切り替えは許容し、許容した学習済モデル172(i、j、k)のいずれかを用いて導出部152が導出したヨーレートの推定値Yr*と、ヨーレートセンサ42の測定値Yrとの乖離が基準以下である場合、「乖離が基準以下である」と判定し、そうでない場合、「乖離が基準よりも大きい」と判定してもよい。
上記の説明では、いずれか一つの学習済モデル172(i、j、k)を選択し、選択した学習済モデル172(i、j、k)が導出したヨーレートの推定値Yr*と、ヨーレートセンサ42の測定値Yrとの乖離について判定を行うものとしたが、管理部150は、いずれか複数の学習済モデル172(i、j、k)が導出したヨーレートの推定値Yr*(1)、Yr*(2)、Yr*(3)、…の加重和をヨーレートの推定値Yr*としてもよい。この場合、切替が許容される学習済モデル172(i、j、k)の範囲は、例えば、加重和の重みによって示される重心位置からの距離に基づいて決定されてよい。
以上説明した第2実施形態によれば、第1実施形態と同様の効果を奏するのに加えて、車両Mの経年変化に応じた適切な学習済モデル172(i、j、k)を使用して操舵回避の妥当性を適切に判定し、それに応じて車両制御を行うことができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体の周辺に存在する物体を認識し、
前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行い、
前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行い、
前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出し、前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制する、
ように構成されている、運転支援装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
100 運転支援装置
110 認識部
120 第1運転支援部
130 第2運転支援部
150 管理部(監視装置)
152 導出部
154 比較部
170 記憶部
172 学習済モデル

Claims (7)

  1. 移動体の周辺に存在する物体を認識する認識部と、
    前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行う第1運転支援部と、
    前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行う第2運転支援部と、
    前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出し、前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制する管理部と、を備え
    前記管理部は、前記参照情報を入力すると前記推定値を出力するように学習された学習済モデルとして、条件を互いに異ならせて学習された複数の学習済モデルのうち、前記測定値に近い値を出力する一以上の学習済モデルを選択し、前記選択した一以上の学習済モデルに、前記移動体において収集された前記参照情報を入力したときの前記選択した一以上の学習済モデルの出力に基づいて前記推定値を導出する、
    運転支援装置。
  2. 前記条件は、前記移動体の状態を表す状態条件と、前記移動体が置かれた環境を表す環境条件とのうち少なくとも一方を含む、
    請求項記載の運転支援装置。
  3. 前記参照情報は、前記移動体に搭載された操舵角センサの出力情報、前記移動体に搭載された速度センサの出力情報、および前記移動体の移動制御装置により出力される制御情報のうち少なくとも一部を含む、
    請求項1または2に記載の運転支援装置。
  4. 前記参照情報は、複数時点の制御サイクルに跨る時系列情報を含む、
    請求項1からのうちいずれか1項記載の運転支援装置。
  5. 記測定値と前記推定値との乖離が基準よりも大きい場合に、所定の情報を出力する比較部をさらに備える、
    求項1から4のうちいずれか1項記載の運転支援装置
  6. コンピュータが、
    移動体の周辺に存在する物体を認識し、
    前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行い、
    前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行い、
    前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出し、
    前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制し、
    前記コンピュータが、
    前記参照情報を入力すると推定値を出力するように学習された学習済モデルとして、条件を互いに異ならせて学習された複数の学習済モデルのうち、前記測定値に近い値を出力する一以上の学習済モデルを選択し、前記選択した一以上の学習済モデルに、前記移動体において収集された前記参照情報を入力したときの前記選択した一以上の学習済モデルの出力に基づいて前記推定値を導出する、
    運転支援方法。
  7. コンピュータに、
    移動体の周辺に存在する物体を認識させ、
    前記移動体と前記認識された物体との接触を操舵により回避するための第1制御を行わせ、
    前記移動体と前記認識された物体との接触を制動により回避するための第2制御を行わせ、
    前記移動体に搭載されたヨーレートセンサにより出力されるヨーレートの測定値とは異なる複数種類の情報を少なくとも含む参照情報に基づいて、前記移動体に生じたヨーレートの推定値を導出させ、
    前記測定値と前記推定値との乖離が基準よりも大きい場合に前記第1制御を抑制させ
    前記コンピュータに、
    前記参照情報を入力すると推定値を出力するように学習された学習済モデルとして、条件を互いに異ならせて学習された複数の学習済モデルのうち、前記測定値に近い値を出力する一以上の学習済モデルを選択し、前記選択した一以上の学習済モデルに、前記移動体において収集された前記参照情報を入力したときの前記選択した一以上の学習済モデルの出力に基づいて前記推定値を導出させる、
    プログラム。
JP2021107578A 2021-06-29 2021-06-29 運転支援装置、監視装置、運転支援方法、およびプログラム Active JP7617817B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021107578A JP7617817B2 (ja) 2021-06-29 2021-06-29 運転支援装置、監視装置、運転支援方法、およびプログラム
CN202210694258.0A CN115534936A (zh) 2021-06-29 2022-06-16 驾驶支援装置、监视装置、驾驶支援方法及存储介质
US17/848,427 US12128883B2 (en) 2021-06-29 2022-06-24 Driving assistance device, monitoring device, driving assistance method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021107578A JP7617817B2 (ja) 2021-06-29 2021-06-29 運転支援装置、監視装置、運転支援方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2023005576A JP2023005576A (ja) 2023-01-18
JP7617817B2 true JP7617817B2 (ja) 2025-01-20

Family

ID=84543697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021107578A Active JP7617817B2 (ja) 2021-06-29 2021-06-29 運転支援装置、監視装置、運転支援方法、およびプログラム

Country Status (3)

Country Link
US (1) US12128883B2 (ja)
JP (1) JP7617817B2 (ja)
CN (1) CN115534936A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024005355A (ja) * 2022-06-30 2024-01-17 株式会社Subaru 肩甲骨位置推定装置及びシート

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192865A (ja) 2017-05-16 2018-12-06 株式会社デンソー 自動運転支援装置および自動運転支援方法
JP7333242B2 (ja) 2019-10-11 2023-08-24 Kddi株式会社 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333242A (ja) 1994-06-13 1995-12-22 Mazda Motor Corp 車両のヨーレート推定方法及びその装置
JP4483551B2 (ja) * 2004-11-30 2010-06-16 株式会社アドヴィックス 車両の運動制御装置
US8090503B2 (en) * 2008-05-14 2012-01-03 Ford Global Technologies Method for determining absolute steering wheel angle from a single-turn steering wheel angle sensor
JP5509554B2 (ja) * 2008-08-08 2014-06-04 日産自動車株式会社 車両用走行支援装置および車両用走行支援方法
JP2012066777A (ja) 2010-09-27 2012-04-05 Mazda Motor Corp ヨーレートのずれ検出装置
KR102313025B1 (ko) * 2017-04-03 2021-10-15 현대자동차주식회사 차량 및 그 제어방법
US20200117192A1 (en) 2017-06-15 2020-04-16 Hitachi Automotive Systems, Ltd. Travel Control Device
JP6521496B1 (ja) * 2017-12-27 2019-05-29 マツダ株式会社 車両の挙動制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192865A (ja) 2017-05-16 2018-12-06 株式会社デンソー 自動運転支援装置および自動運転支援方法
JP7333242B2 (ja) 2019-10-11 2023-08-24 Kddi株式会社 作業安全管理システム、安全判定装置、作業安全管理方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
US12128883B2 (en) 2024-10-29
JP2023005576A (ja) 2023-01-18
US20220410880A1 (en) 2022-12-29
CN115534936A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
US11267474B2 (en) Vehicle control device, vehicle control method, and storage medium
US10457294B1 (en) Neural network based safety monitoring system for autonomous vehicles
JP6559194B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US11370420B2 (en) Vehicle control device, vehicle control method, and storage medium
US20190023208A1 (en) Brake prediction and engagement
US11498574B2 (en) Learning device, learning method, and storage medium
WO2019163010A1 (ja) 車両制御システム、車両制御方法、およびプログラム
US11914386B2 (en) Mobile object control device, mobile object control method, and storage medium
US11814072B2 (en) Method and system for conditional operation of an autonomous agent
US10940860B2 (en) Vehicle control device, vehicle control method, and storage medium
JP2019209917A (ja) 車両制御装置、車両制御方法、及びプログラム
CN105684039B (zh) 用于驾驶员辅助系统的状况分析
WO2018220829A1 (ja) ポリシー生成装置及び車両
JP2019156008A (ja) 車両制御装置、車両制御方法、およびプログラム
JP7617817B2 (ja) 運転支援装置、監視装置、運転支援方法、およびプログラム
US20230026400A1 (en) Directional vehicle steering cues
CN110356410A (zh) 动作调节后的车辆控制
US20240320505A1 (en) Model-based reinforcement learning
JP7607478B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
JP2023051164A (ja) 運転支援装置、運転支援方法、およびプログラム
JP2022152402A (ja) 認識装置、車両システム、認識方法、およびプログラム
EP4484244A1 (en) Control apparatus, control method, and control program
JP7461989B2 (ja) 運転支援装置、運転支援方法、およびプログラム
EP4491483A1 (en) Automated driving system
US20250022325A1 (en) Autonomous driving system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250107

R150 Certificate of patent or registration of utility model

Ref document number: 7617817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150