[go: up one dir, main page]

JP6916647B2 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

車両制御システム、車両制御方法、および車両制御プログラム Download PDF

Info

Publication number
JP6916647B2
JP6916647B2 JP2017071333A JP2017071333A JP6916647B2 JP 6916647 B2 JP6916647 B2 JP 6916647B2 JP 2017071333 A JP2017071333 A JP 2017071333A JP 2017071333 A JP2017071333 A JP 2017071333A JP 6916647 B2 JP6916647 B2 JP 6916647B2
Authority
JP
Japan
Prior art keywords
vehicle
occupant
unit
operator
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017071333A
Other languages
English (en)
Other versions
JP2018172028A (ja
Inventor
博 赤羽
博 赤羽
伊藤 修
修 伊藤
正邦 村上
正邦 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017071333A priority Critical patent/JP6916647B2/ja
Priority to US15/916,462 priority patent/US10683014B2/en
Priority to CN201810263441.9A priority patent/CN108688681B/zh
Publication of JP2018172028A publication Critical patent/JP2018172028A/ja
Application granted granted Critical
Publication of JP6916647B2 publication Critical patent/JP6916647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。
従来、乗員からの音声入力、操作入力、および道路情報に基づいて、乗員が意図した指令を推定し、推定した結果に基づいて車両制御を行う技術が開示されている(例えば、特許文献1参照)。
特開2003−186492号公報
しかしながら、従来の技術では、自動運転中の車両の状態に応じた操作の受付方法について考慮されていない。
本発明は、このような事情を考慮してなされたものであり、自動運転中における車両の状況に応じた操作の受付方法を実現することができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。
発明(1)は、車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部(120,140)と、前記車両の加減速および操舵に対する乗員の操作を受け付ける運転操作子(80)と、前記自動運転制御部による自動運転が実行されている場合に、前記運転操作子を操作不能にする操作子状態変更部(160)と、前記操作子状態変更部により前記運転操作子が操作不能である場合に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付ける代替操作受付部(31、32、170)と、を備え、前記自動運転制御部は、前記代替操作受付部による操作に基づいて、前記車両の加減速または操舵のうち少なくとも一方を制御する、を備える車両制御システムである。
発明(2)は、発明(1)の車両制御システムであって、前記代替操作受付部は、前記乗員の動作をジェスチャとして認識するジェスチャ認識部(171)を備え、前記ジェスチャ認識部によって認識される前記乗員の動作による操作を受け付けるものである。
発明(3)は、発明(2)の車両制御システムであって、前記自動運転制御部は、前記代替操作受付部により認識された前記乗員の身体の所定の部位の動作に基づいて、前記車両の進路を変更するものである。
発明(4)は、発明(1)から(3)のうち、何れか1項に記載の車両制御システムであって、前記代替操作受付部は、前記乗員からの音声を認識する音声認識部(172)を更に備え、前記音声認識部よって認識される音声の内容による操作を受け付けるものである。
発明(5)は、発明(4)に記載の車両制御システムであって、前記代替操作受付部は、前記音声認識部により取得された音声の音量が閾値以上である場合に、前記音声の内容による操作を受け付けるものである。
発明(6)は、発明(1)から(5)のうち、何れか1項に記載の車両制御システムであって、前記代替操作受付部は、スイッチ部33を更に備え、前記スイッチ部に対して操作がなされている間、または前記スイッチ部に対して操作がなされてから所定時間が経過するまでの間に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付けるものである。
発明(7)は、発明(1)から(6)のうち、何れか1項に記載の車両制御システムであって、前記代替操作受付部は、前記車両の床面に対する圧力を検知する踏込検知センサ(34)を更に備え、前記自動運転制御部は、前記操作子状態変更部により前記運転操作子が操作不能である場合であって、且つ、前記踏込検知センサにより圧力を検出した場合に、前記車両の加減速に対する制御を行うものである。
発明(8)は、発明(1)から(7)のうち、何れか1項に記載の車両制御システムであって、前記車両の周辺状況を認識し、前記車両の外界の物体に対する衝突の危険判定を行う周辺状況認識部(121)を更に備え、前記自動運転制御部は、前記操作子状態変更部により前記運転操作子が操作不能である場合の前記周辺状況認識部による前記危険判定の度合を、前記運転操作子が操作可能である場合の危険判定の度合に比して高くするものである。
発明(9)は、車載コンピュータが、車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行し、前記自動運転が実行されている場合に、前記車両の加減速および操舵に対する乗員の操作を受け付ける運転操作子を操作不能にし、前記運転操作子が操作不能である場合に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付け、受け付けた前記運転操作子に対する操作とは異なる操作に基づいて、前記車両の加減速または操舵のうち少なくとも一方を制御する、車両制御方法である。
発明(10)は、車載コンピュータに、車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行させ、前記自動運転が実行されている場合に、前記車両の加減速および操舵に対する乗員の操作を受け付ける運転操作子を操作不能にさせ、前記運転操作子が操作不能である場合に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付けさせ、受け付けた前記運転操作子に対する操作とは異なる操作に基づいて、前記車両の加減速または操舵のうち少なくとも一方を制御させる、車両制御プログラムである。
発明(1)、(9)および(10)に記載された発明によれば、自動運転中における車両の状況に応じた操作の受付方法を実現することができる。
発明(2)および(3)に記載された発明によれば、運転操作子が操作不能である場合であっても、撮像画像の解析によって乗員の動作を認識することで、乗員の操作を受け付けることができる。
発明(4)および(5)に記載された発明によれば、運転操作子が操作不能である場合であっても、音声の解析によって乗員の音声内容を認識することで、乗員の操作を受け付けることができる。
発明(6)に記載された発明によれば、スイッチ部に対する操作があった場合に乗員による運転操作子に対する操作とは異なる操作を受け付けることで、乗員の指示の誤判定を抑制することができる。
発明(7)に記載された発明によれば、運転操作子が操作不能である場合であっても、踏込検知センサの検知結果に基づいて、乗員の操作を受け付けることができる。
発明(8)に記載された発明によれば、運転操作子が操作不能である場合に、衝突の危険判定の度合を高くすることで、より安全な車両制御を行うことができる。
1の実施形態の車両制御システム1の構成図である。 自車位置認識部122により走行車線L1に対する車両Mの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 操作子状態変更部160により運転操作子80が収納エリアに収納される様子を説明するための図である。 指示判定テーブル181の内容について説明するための図である。 乗員Pの動作を検出することについて説明するための図である。 車両Mが走行する目標軌道が変更される様子を説明するための図である。 第1の実施形態における自動運転制御処理の流れを説明するためのフローチャートである。 第2の実施形態の車両制御システム2の構成図である。 乗員Pがスイッチ部33の操作した状態で、音声により自動運転への指示を行うことについて説明するための図である。 第2の実施形態における自動運転制御処理の流れを説明するためのフローチャートである。 第3の実施形態の車両制御システム3の構成図である。 踏込検知センサ34の設置例を示す図である。 第3の実施形態における自動運転制御処理の流れを説明するためのフローチャートである。
以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。実施形態では、車両制御システムが自動運転車両に適用されたものとする。
[第1の実施形態]
[全体構成]
図1は、第1の実施形態の車両制御システム1の構成図である。車両制御システム1が搭載される車両(以下、車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両制御システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、車室内カメラ31と、マイク32と、情報出力部40と、ナビゲーション装置50と、MPU(Micro-Processing Unit)60と、車両センサ70と、運転操作子80と、自動運転制御ユニット100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。また、車室内カメラ31、マイク32、後述するスイッチ部33、および後述する踏込検知センサ34のうちの一部と、乗員指示判定部170とを組み合わせたものが、「代替操作受付部」の一例である。また、車室内カメラ31は、「撮像部」の一例であり、マイク32は、「音声取得部」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両制御システム1が搭載される車両Mの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ10は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ10は、ドアミラー等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、車両Mの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ装置12は、FMCW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、照射光に対する散乱光を測定し、対象までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、車両Mの任意の箇所に一つまたは複数が取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を自動運転制御ユニット100に出力する。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。また、通信装置20は、車外の人物が所持する端末装置と通信する。
車室内カメラ31は、例えば、車室内の運転席に着座している乗員の上半身が撮影可能な位置に設置される。車室内カメラ31は、例えば、運転席に着座している乗員を周期的に繰り返し撮像する。車室内カメラ31の撮像画像は、自動運転制御ユニット100に出力される。
マイク32は、車室内の乗員の音声情報を取得する。マイク32から取得した音声情報は、自動運転制御ユニット100に出力される。
情報出力部40は、例えば、各種表示装置、スピーカ、ブザー等である。情報出力部40は、インターフェース制御部150の制御により、車内の乗員に対して各種情報を出力する。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI(Human Machine Interface)52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。車両Mの位置は、車両センサ70の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(例えば、目的地まで走行するときの経由地に関する情報を含む)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。経路決定部53により決定された経路は、MPU60に出力される。また、ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。なお、ナビゲーション装置50は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61として機能し、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、経路において分岐箇所や合流箇所等が存在する場合、車両Mが、分岐先に進行するための合理的な走行経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報或いは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、非常駐車帯の領域、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第2地図情報62は、通信装置20を用いて他装置にアクセスすることにより、随時、アップデートされてよい。
車両センサ70は、現時点の車両Mの速度を検出する車速センサ、車両Mの進行方向に関する加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等を含む。加速度は、例えば、車両Mの進行方向に関する縦加速度または車両Mの横方向に関する横加速度の少なくとも一方を含む。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、その他の操作子を含む。運転操作子80には、操作量或いは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一方または双方に出力される。
[自動運転制御ユニット]
自動運転制御ユニット100は、例えば、第1制御部120と、第2制御部140と、インターフェース制御部150と、操作子状態変更部160と、乗員指示判定部170と、記憶部180とを備える。第1制御部120と、第2制御部140と、インターフェース制御部150と、操作子状態変更部160と、乗員指示判定部170とは、それぞれ、CPU(Central Processing Unit)等のプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、以下に説明する第1制御部120、第2制御部140、インターフェース制御部150、操作子状態変更部160、および乗員指示判定部170の各機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、第1制御部120と、第2制御部140とを合わせたものが、「自動運転制御部」の一例である。また、外界認識部121は、「周辺状況認識部」の一例である。
第1制御部120は、例えば、外界認識部121と、自車位置認識部122と、行動計画生成部123とを備える。
外界認識部121は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、或いは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、外界認識部121は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者等の人物、その他の物体の位置を認識してもよい。
自車位置認識部122は、例えば、車両Mが走行している車線(走行車線)、並びに走行車線に対する車両Mの相対位置および姿勢を認識する。自車位置認識部122は、例えば、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置50から取得される車両Mの位置やINSによる処理結果が加味されてもよい。
そして、自車位置認識部122は、例えば、走行車線に対する車両Mの位置や姿勢を認識する。図2は、自車位置認識部122により走行車線L1に対する車両Mの相対位置および姿勢が認識される様子を示す図である。自車位置認識部122は、例えば、車両Mの基準点(例えば重心)の走行車線中央CLからの乖離OS、および車両Mの進行方向の走行車線中央CLを連ねた線に対してなす角度θを、走行車線L1に対する車両Mの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部122は、走行車線L1の何れかの側端部に対する車両Mの基準点の位置等を、走行車線に対する車両Mの相対位置として認識してもよい。自車位置認識部122により認識される車両Mの相対位置は、推奨車線決定部61および行動計画生成部123に提供される。
行動計画生成部123は、車両Mが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部123は、推奨車線決定部61により決定された推奨車線を走行するように、且つ、車両Mの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。第1実施形態の自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、車両Mの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、前走車両に追従して走行する追従走行イベント、合流地点で車両を合流させる合流イベント、道路の分岐地点で車両Mを目的の方向に走行させる分岐イベント、車両Mを緊急停車させる緊急停車イベント、自動運転を終了して手動運転に切り替えるための切替イベント等がある。また、これらのイベントの実行中に、車両Mの周辺状況(周辺車両や歩行者の存在、道路工事による車線狭窄等)に基づいて、回避のための行動が計画される場合もある。
行動計画生成部123は、車両Mが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとに将来の基準時刻を複数設定し、それらの基準時刻に到達すべき目標地点(軌道点)の集合として生成される。このため、軌道点の間隔が広い場合、その軌道点の間の区間を高速に走行することを示している。
図3は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部123は、推奨車線の切り替わり地点の所定距離手前(イベントの種類に応じて決定されてよい)に差し掛かると、車線変更イベント、分岐イベント、合流イベント等を起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。
行動計画生成部123は、例えば、複数の目標軌道の候補を生成し、安全性と効率性の観点に基づいて、その時点で目的地までの経路に適合する最適な目標軌道を選択する。また、行動計画生成部123は、例えば、車両Mが自動運転中であって、且つ、運転操作子80が操作不能である場合に、代替操作受付部により受け付けた乗員からの指示内容に基づいて、目標軌道を変更する。
第2制御部140は、例えば、走行制御部141と、切替制御部142とを備える。走行制御部141は、行動計画生成部123によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
切替制御部142は、行動計画生成部123により生成される行動計画に基づいて、車両Mの運転モードを切り替える。例えば、切替制御部142は、自動運転の開始予定地点で、運転モードを手動運転から自動運転に切り替える。また、切替制御部142は、自動運転の終了予定地点で、運転モードを自動運転から手動運転に切り替える。
手動運転時には、運転操作子80からの入力情報が、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220に出力される。また、運転操作子80からの入力情報は、自動運転制御ユニット100を介して走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220に出力されてもよい。走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220の各ECU(Electronic Control Unit)は、運転操作子80等からの入力情報に基づいて、それぞれの動作を行う。
インターフェース制御部150は、車両Mの自動運転時または手動運転時の走行状態、自動運転と手動運転とが相互に切り替わるタイミング、乗員に手動運転を行わせるための要求等に関する通知等を、情報出力部40に出力させる。また、インターフェース制御部150は、乗員指示判定部170の判定結果を、情報出力部40に出力させてもよい。
操作子状態変更部160は、車両Mが、複雑な合流制御等の全ての車両制御を自動的に行うような、自動運転の度合が高い運転モードで自動運転を実行している場合に、運転操作子80を操作不能な状態にする。操作不能な状態とは、例えば、運転操作子80を収納エリアに収納させた状態である。また、操作子状態変更部160は、車両Mが自動運転から手動運転に切り替わる場合、或いは一部の車両制御を手動で行うような自動運転の度合が低い運転モードで自動運転を実行する場合に、収納エリアに収納された運転操作子80を元の位置に戻して、乗員が操作可能な状態にする。操作子状態変更部160の機能の詳細については後述する。
乗員指示判定部170は、操作子状態変更部160により運転操作子80が操作不能である場合に、運転操作子80に対する操作とは異なる操作を受け付ける。この場合、乗員指示判定部170は、異なる操作として、例えば乗員による非接触での操作を受け付ける。乗員指示判定部170は、例えば、ジェスチャ認識部171と、音声認識部172とを備える。ジェスチャ認識部171は、乗員の動作をジェスチャとして認識し、認識したジェスチャに対応する操作を受け付ける。例えば、ジェスチャ認識部171は、車室内カメラ31により撮像された画像情報から乗員の動作を解析し、解析によって認識された結果から乗員からの指示内容を判定する。音声認識部172は、例えば、マイク32により取得した音声情報を解析し、解析によって認識された結果から乗員の指示内容を判定する。乗員指示判定部170の機能の詳細については後述する。
記憶部180は、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)等の記憶装置である。記憶部180には、実施形態の自動運転制御に関する情報が格納される。また、記憶部180には、指示判定テーブル181が格納される。指示判定テーブル181の詳細については後述する。
走行駆動力出力装置200は、車両Mが走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECUとを備える。ECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。また、ブレーキ装置210は、安全面を考慮して複数系統のブレーキ装置を備えていてもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[運転操作子80が操作不能である場合の自動運転制御]
次に、運転操作子80が操作不能である場合の自動運転制御について具体的に説明する。図4は、操作子状態変更部160により運転操作子80が収納エリアに収納される様子を説明するための図である。図4では、運転操作子80の一例として、ステアリングホイール80A、アクセルペダル80B、およびブレーキペダル80Cが収納される様子を示している。
操作子状態変更部160は、全ての車両制御を自動的に行うような自動運転の度合が高い運転モードで自動運転を実行している場合に、ステアリングホイール80Aを矢印a方向に移動させ、ガーニッシュ310内部の収納エリア312に収納する。なお、ガーニッシュ310には、ステアリングホイール80Aが矢印a方向に移動可能な開口部が形成されていてもよく、開閉式の扉機構を設けていてもよい。
また、操作子状態変更部160は、アクセルペダル80Bおよびブレーキペダル80Cを矢印b方向に移動させ、ガーニッシュ310内部の収納エリア314に収納する。なお、ガーニッシュ310には、アクセルペダル80Bおよびブレーキペダル80Cが矢印b方向に移動可能な開口部が形成されていてもよく、開閉式の扉機構を設けていてもよい。また、操作子状態変更部160は、ステアリングホイール80A、アクセルペダル80B、およびブレーキペダル80Cに加えて、シフトレバーや他の操作子を収納してもよい。
ジェスチャ認識部171は、操作子状態変更部160によりステアリングホイール80A、アクセルペダル80B、およびブレーキペダル80Cが収納された場合に、車室内カメラ31により撮像された乗員Pの画像から乗員Pの動作を検出する。また、ジェスチャ認識部171は、記憶部180に記憶された指示判定テーブル181を参照し、乗員Pの動作に合致する指示内容を取得する。
図5は、指示判定テーブル181の内容について説明するための図である。指示判定テーブル181は、乗員の動作および音声と、車両Mへの指示内容とが互いに対応付けられている。乗員の動作とは、手、足、首等の乗員の身体の所定の部位の動作である。また、乗員の動作には、対象の部位の移動速度および移動距離の情報が含まれてもよい。乗員の音声とは、例えば、マイク32により取得した音声である。乗員の音声には、音量に関する情報が含まれてもよい。指示内容には、例えば、車両Mの加減速または操舵のうち少なくとも一方を制御して、行動計画生成部123に既に生成されている目標軌道を変更するための情報が含まれる。
図6は、乗員Pの動作を検出することについて説明するための図である。図6は、車室内カメラ31により撮像された画像である。ジェスチャ認識部171は、車室内カメラ31により撮像された画像から運転席300に着座する乗員Pの手の位置を取得する。例えば、ジェスチャ認識部171は、車室内カメラ31により撮像された画像から、予め定義された手の形状や大きさ、色情報(例えば、肌色)に類似する物体の有無を解析し、画像中に類似する物体が含まれる場合に、その物体が手であると認識し、その物体の位置を特定する。また、ジェスチャ認識部171は、時系列の画像から手の移動速度および移動距離を取得し、取得した移動速度および移動距離に基づいて車両Mへの指示内容を判定する。
なお、車両制御システム1は、車室内カメラ31に代えて、図示しない動作判別用のモーションセンサを備えていてもよい。モーションセンサは、例えば、RGBカメラと、赤外線や超音波等を用いた深度センサとを備える。モーションセンサは、RGBカメラにより得られる車室内の各物体の色情報と、深度センサにより得られる各物体との距離情報とに基づいて、乗員Pの身体の各部位の位置を認識する。ジェスチャ認識部171は、動作判別用センサから得られる乗員Pの各部位の位置から乗員の手の位置を特定する。また、ジェスチャ認識部171は、単位時間における位置の変化量に基づいて、手の移動速度を取得する。また、ジェスチャ認識部171は、手が閾値以上の移動速度で移動した距離を取得する。また、ジェスチャ認識部171は、取得した移動速度および移動距離に基づいて車両Mへの指示内容を判定する。なお、モーションセンサは、複数の赤外線センサのみを備えた簡易的なものであってもよい。
例えば、図6において、運転席300に着座する乗員Pが、右手Hrおよび左手Hlのうち、右手Hrを速度V(V>Vth)で、乗員Pに対して右方向に距離d(D1<d<D2)だけ移動させたとする。この場合、ジェスチャ認識部171は、車室内カメラ31により撮像されたカメラを解析し、解析によって認識された乗員Pの動作に基づいて指示判定テーブル181を参照し、車両Mを走行車線の右側に寄せて走行するという進路変更の指示を取得する。
また、乗員指示判定部170は、ジェスチャ認識部171による乗員Pの身体の所定の部位の動作の解析の代わりに(または、加えて)、音声認識部172によりマイク32から得られる音声を解析し、音声内容と音量とを取得してもよい。この場合、音声認識部172は、音声内容と音量とに基づいて、指示判定テーブル181を参照し、音声内容および音量の条件に合致する指示内容を取得する。
なお、乗員指示判定部170は、乗員Pの動作および音声の両方の条件に基づいて指示判定を行うことで、指示の誤判定を抑制することができる。この場合、乗員指示判定部170は、動作に対する移動速度の閾値や音声に対する音量の閾値の条件を除いて指示内容を判定してもよい。
第1制御部120は、乗員指示判定部170により判定された指示内容に基づいて、走行車線の右側に寄せて走行する自動運転を行うための目標軌道を生成し、新たに生成した目標軌道に変更して走行する自動運転を実行する。
図7は、車両Mが走行する目標軌道が変更される様子を説明するための図である。目標軌道320は、乗員指示判定部170により判定された指示内容を受け付ける前に行動計画生成部123が生成した目標軌道である。行動計画生成部123は、乗員指示判定部170により判定された指示内容を受け付けた場合に、指示内容に基づいて目標軌道320を変更する。例えば、行動計画生成部123は、図6に示す乗員Pの動作から得られる指示内容に基づいて、走行車線L1の右側に寄って走行する目標軌道322を生成する。
なお、図6の例において、乗員Pの右手Hrの移動距離Dが閾値D2以上である場合に、乗員指示判定部170は、車両Mの走行車線L1の右側の車線L2へ車線変更を行う指示を受け付けたと判定する。この場合、行動計画生成部123は、車両Mを車線L2に車線変更させるための目標軌道324を生成する。このように、乗員Pは、所定の動作を行うことで、目標軌道を変更させた自動運転を実行させることができる。また、乗員Pは、指示判定テーブル181に定義された車両Mの加減速に対する動作を行ったり、音声を発したりすることで、車両Mの加減速制御に対する指示を行うことができる。
図8は、第1の実施形態における自動運転制御処理の流れを説明するためのフローチャートである。図8の例では、乗員の動作に基づく、自動運転制御の内容を変更する例を示している。図8の処理は、所定のタイミングまたは周期で繰り返し実行される。第1制御部120は、自動運転を実行中か否かを判定する(ステップS100)。自動運転を実行中である場合、乗員指示判定部170は、運転操作子80が操作不能であるか否かを判定する(ステップS102)。運転操作子80が操作不能である場合、乗員指示判定部170は、車室内カメラ31により乗員Pを含む撮像画像を取得し(ステップS104)、取得した撮像画像を解析し、解析によって認識された乗員Pの動作を取得する(ステップS106)。
次に、乗員指示判定部170は、マイク32から車室内の音声を取得し(ステップS108)、取得した音声を解析し、解析によって認識された乗員Pの音声内容を取得する(ステップS110)。次に、乗員指示判定部170は、指示判定テーブル181を参照し、乗員Pの動作または音声内容の少なくとも一方から、車両Mに対する指示内容を判定する(ステップS112)。第1制御部120は、乗員指示判定部170による判定結果に基づいて自動運転の制御内容を変更し(ステップS114)、本フローチャートの処理が終了する。また、自動運転を実行中でない場合、または、運転操作子80が操作不能でない場合、本フローチャートの処理が終了する。
上述した第1の実施形態によれば、車両制御システム1は、運転操作子80が操作不能である場合に、乗員Pによる運転操作子80に対する操作とは異なる操作を受け付けることで、自動運転中における車両制御を行うことができる。したがって、乗員Pは、例えば、障害物に対する緊急回避を行う場合に、運転操作子80を操作不能な状態から操作可能な状態にするまでの時間を待たずに、車両Mに進路変更や停止等の指示を行うことができる。
[第2の実施形態]
次に、第2の実施形態の車両制御システムについて説明する。第2の実施形態は、車両Mに設けられたスイッチ部が操作された場合に、乗員Pによる運転操作子80に対する操作とは異なる操作を受け付けるものである。以下において、第1の実施形態の車両制御システム1と同様の機能を備える構成については、同一の名称および符号を用いることとし、具体的な説明は省略する。
図9は、第2の実施形態の車両制御システム2の構成図である。車両制御システム2は、第1の実施形態の車両制御システム1と比較すると、スイッチ部33を備え、乗員指示判定部170の代わりに乗員指示判定部170Aを備える点で相違する。したがって、以下の説明では、主にスイッチ部33および乗員指示判定部170Aの構成を中心として説明する。
スイッチ部33は、例えば、運転者等による操作を受け付ける。スイッチ部33は、例えば、ガーニッシュ(ダッシュボード)に設置される機械式のスイッチである。また、スイッチ部33は、ナビゲーション装置50のタッチパネルに設けられるGUI(Graphical User Interface)スイッチであってもよく、座席に設けられる機械式スイッチでもよい。
乗員指示判定部170Aは、車両Mが自動運転中であって、且つ、運転操作子80が操作不能である場合において、スイッチ部33に対して乗員Pによる操作がなされている間に、乗員Pの動作または音声のうち、少なくとも一方に基づく指示判定を行い、操作がなされていない間は指示判定を行わない。
また、乗員指示判定部170Aは、車両Mが自動運転中であって、且つ、運転操作子80が操作不能である場合において、スイッチ部33に対して乗員Pによる操作がなされてから所定時間が経過するまでの間に、乗員Pの動作または乗員Pの音声のうち、少なくとも一方に基づく指示判定を行い、操作がなされてから所定時間が経過した後は指示判定を行わないようにしてもよい。
図10は、乗員Pがスイッチ部33の操作した状態で、音声により自動運転への指示を行うことについて説明するための図である。図10では、スイッチ部33は、ガーニッシュ310に設けられている。スイッチ部33は、例えば、オンまたはオフの何れかの状態に切り替えが可能なスイッチである。スイッチ部33は、乗員によりスイッチがオン状態に切り替えられたことを受け付ける。乗員指示判定部170Aは、スイッチ部33がオン状態に切り替わっている間、ジェスチャ認識部171により車室内カメラ31で撮像された撮像画像に基づいて乗員の動作を解析し、音声認識部172によりマイク32から取得された音声情報に基づいて音声内容および音量を解析する。ここで、乗員Pが「右寄せ!」の音声を発した場合、乗員指示判定部170Aは、音声および音量を解析するとともに指示判定テーブル181を参照し、音声の内容および音量に合致する指示内容を取得する。
第1制御部120は、乗員指示判定部170Aにより判定された指示内容に基づいて、車両の加減速を行う目標軌道を生成し、生成した目標軌道に基づいて、自動運転を実行する。
図11は、第2の実施形態における自動運転制御処理の流れを説明するためのフローチャートである。なお、図11に示すフローチャートは、図8に示すフローチャートと比較すると、ステップS102と、ステップS104との間に、ステップS103が追加されている点で相違する。したがって、以下では、主にステップS103の処理を中心として説明する。
ステップS102の処理において、運転操作子80が操作不能である場合、乗員指示判定部170Aは、スイッチ部33に対して操作がなされているか否かを判定する(ステップS103)。スイッチ部33に対して操作がなされている場合、乗員指示判定部170Aは、ステップS104以降の処理を実行する。また、スイッチ部33に対して操作がなされていない場合、本フローチャートの処理が終了する。
以上説明したように、第2の実施形態の車両制御システム2によれば、第1の実施形態と同様の効果を奏する他、スイッチ部33に対して操作がなされている場合に乗員Pからの指示内容を判定するため、乗員Pからの指示の誤判定を抑制することができる。また、スイッチ部33に対して操作がなされていない状態において、乗員の動作や音声の解析を行う必要がないため、第1の実施形態に比して、指示判定に関する処理を軽減することができる。
[第3の実施形態]
次に、第3の実施形態の車両制御システムについて説明する。第3の実施形態は、車両Mに設けられた踏込検知センサの検知内容に基づいて、車両Mの加減速または操舵のうち少なくとも一方を制御するものである。以下において、第2の実施形態の車両制御システム2と同様の機能を備える構成については、同一の名称および符号を用いることとし、具体的な説明は省略する。
図12は、第3の実施形態の車両制御システム3の構成図である。車両制御システム3は、第2の実施形態の車両制御システム2と比較すると、踏込検知センサ34を備え、乗員指示判定部170Aの代わりに乗員指示判定部170Bを備える点で相違する。したがって、以下の説明では、主に踏込検知センサ34および乗員指示判定部170Bの構成を中心として説明する。
図13は、踏込検知センサ34の設置例を示す図である。踏込検知センサ34は、例えば、車室内に設けられた運転席300の前方の床下に設置される。踏込検知センサ34は、床面の前方から後方にかけて配列された複数の踏込検知センサ34a〜34cを備えてもよい。踏込検知センサ34は、運転席300に着座した乗員Pが見えるように発光部が設けられていてもよい。また、踏込検知センサ34が見えるように、床面に開口部が設けられていてもよい。
踏込検知センサ34は、床面からの圧力の大きさを検知する。また、踏込検知センサ34は、検知した圧力が閾値以上になった場合に、圧力が検知されたことを乗員指示判定部170Bに出力する。
乗員指示判定部170Bは、車両Mが自動運転中であって、且つ、運転操作子80が操作不能である場合に、踏込検知センサ34a〜34cのうち、少なくとも一つから踏み込みが検知されたか否かを判定する。乗員指示判定部170Bは、踏込検知センサ34a〜34cのうち、少なくとも一つから踏み込みが検知された場合に、自動運転により車両Mの加減速を制御するための指示がなされたか否かを判定する。
例えば、乗員指示判定部170Bは、踏込検知センサ34bが踏み込まれたことを検知した場合に、車両Mの減速する減速制御の指示がなされたと判定する。また、乗員指示判定部170Bは、踏込検知センサ34aが踏み込まれたことを検知した場合に、踏込検知センサ34bが踏み込まれたことを検知した場合の減速に比して、減速の度合いを大きくした減速制御を行う指示がなされたと判定する。減速の度合いが大きいとは、例えば、急ブレーキまたは急停止等の減速制御である。また、乗員指示判定部170Bは、踏込検知センサ34cが踏み込まれた場合に、自動運転により車両Mを加速制御する指示がなされたと判定する。また、乗員指示判定部170Bは、踏込検知センサ34a〜34cのうち、二以上の踏込検知センサが踏み込まれたことを検知した場合に、検知した圧力の最も大きい踏込検知センサを優先する。
第1制御部120は、乗員指示判定部170Bにより判定された指示内容に基づいて、車両の加減速を行う目標軌道を生成し、生成した目標軌道に基づいて、自動運転を実行する。
図14は、第3の実施形態における自動運転制御処理の流れを説明するためのフローチャートである。なお、図14に示すフローチャートは、図11に示すフローチャートと比較すると、ステップS103〜S112の代わりに、ステップS120およびS122が追加されている。したがって、以下では、主にステップS120およびS122の処理を中心として説明する。
ステップS102の処理において、運転操作子80が操作不能である場合、乗員指示判定部170Bは、踏込検知センサ34による検知があったか否かを判定する(ステップS120)。踏込検知センサ34によるによる検知があった場合に、検知内容に基づいて、車両Mの加減速に対する指示内容を判定する(ステップS122)。次に、第1制御部120は、判定結果に基づいて、自動運転の制御内容を変更し(ステップS114)、本フローチャートの処理が終了する。また、踏込検知センサ34による検知がなかった場合、本フローチャートの処理が終了する。
なお、乗員指示判定部170Bは、踏込検知センサ34による検知結果に基づいて、車両Mの加減速の制御だけでなく、操舵に関する制御を行ってもよい。この場合、乗員指示判定部170Bは、踏込検知センサ34aが圧力を検知した場合には、走行車線の右側に進路変更を行い、踏込検知センサ34cが圧力を検知した場合には、走行車線の左側に進路変更を行う。
以上説明したように、第3の実施形態の車両制御システム3によれば、踏込検知センサ34を用いることで、運転操作子80と非接触の状態で、車両Mの加減速または操舵のうち少なくとも一方に対する指示を行うことができる。また、踏込検知センサ34と同様の構成を、乗員が着座するシート装置の一部(例えば、アームレストや着座部の側面)に設け、乗員が指により操作を行ってもよい。センサを操作することで、車両Mの加減速または操舵のうち少なくとも一方に対する指示を行ってもよい。上述した第1〜第3の実施形態のそれぞれは、他の実施形態の一部または全部と組み合わせてもよい。
[変形例]
次に、第1〜第3の実施形態の車両制御システムの変形例について説明する。例えば、第1制御部120に含まれる外界認識部121は、認識した周辺車両、ガードレール、電柱、駐車車両、歩行者等の人物、その他の物体等に対する車両Mと衝突する危険があるか否かの危険判定を行ってもよい。この場合、外界認識部121は、運転操作子80が操作不能である場合に、運転操作子80が操作可能である場合の危険判定に比して度合を高くする。
例えば、外界認識部121は、運転操作子80が操作不能である場合に、車両Mの周辺にある物体を認識する範囲を、運転操作子80が操作可能である場合の範囲に比して広くする。また、外界認識部121は、運転操作子80が操作不能である場合に、物体認識装置16による物体認識の確度を、運転操作子80が操作可能である場合の物体認識の確度よりも低くして、より多くの物体を認識するようにしてもよい。このように、運転操作子80が操作不能である場合に、衝突の危険判定の度合を高くすることで、より安全な車両制御を行うことができる。
また、外界認識部121は、衝突の危険判定の度合を高くした状態で、車両Mの周囲の物体が車両Mと衝突する危険があると判定された場合に、その旨を情報出力部40に出力する。これにより、乗員Pは、運転操作子80が操作不能である場合に、代替操作受付部を用いて早期に目標軌道を変更するための指示を行うことができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1、2、3…車両制御システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、31…車室内カメラ、32…マイク、33…スイッチ部、34…踏込検知センサ、40…情報出力部、50…ナビゲーション装置、60…MPU、70…車両センサ、80…運転操作子、100…自動運転制御ユニット、120…第1制御部、121…外界認識部、122…自車位置認識部、123…行動計画生成部、140…第2制御部、141…走行制御部、142…切替制御部、150…インターフェース制御部、160…操作子状態変更部、170…乗員指示判定部、171…ジェスチャ認識部、172…音声認識部、180…記憶部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、300…運転席、310…ガーニッシュ、312,314…収納エリア、M…車両

Claims (10)

  1. 車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行する自動運転制御部と、
    前記車両の加減速および操舵に対する乗員の操作を受け付ける運転操作子と、
    前記自動運転制御部による自動運転が実行されている場合に、前記運転操作子を操作不能にする操作子状態変更部と、
    前記操作子状態変更部により前記運転操作子が操作不能である場合に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付ける代替操作受付部と、を備え、
    前記代替操作受付部は、前記乗員のジェスチャまたは前記乗員からの音声のうち一方または双方を用いて前記操作を受け付け、
    前記ジェスチャまたは前記音声の一方によって前記操作を受け付ける場合には、前記ジェスチャの速度または前記音声の音量に、前記操作を受け付けるための条件を設け、
    前記ジェスチャおよび前記音声の双方によって前記操作を受け付ける場合には、前記条件を設けず、
    前記自動運転制御部は、前記代替操作受付部により受け付けられた前記操作に基づいて、前記車両の加減速または操舵のうち少なくとも一方を制御する、
    両制御システム。
  2. 前記代替操作受付部は、前記乗員の動作を前記ジェスチャとして認識するジェスチャ認識部を備え、前記ジェスチャ認識部によ認識される前記乗員の動作によって前記運転操作子に対する操作とは異なる操作を受け付ける、
    請求項1に記載の車両制御システム。
  3. 前記自動運転制御部は、前記代替操作受付部により認識された前記乗員の身体の所定の部位の動作に基づいて、前記車両の進路を変更する、
    請求項2に記載の車両制御システム。
  4. 前記代替操作受付部は、前記乗員からの音声を認識する音声認識部を更に備え、前記音声認識部によって認識される音声の内容に基づいて前記運転操作子に対する操作とは異なる操作を受け付ける、
    請求項1から3のうち、何れか1項に記載の車両制御システム。
  5. 前記代替操作受付部は、前記音声認識部により取得された音声の音量が閾値以上である場合に、前記音声の内容に基づいて前記運転操作子に対する操作とは異なる操作を受け付ける、
    請求項4に記載の車両制御システム。
  6. 前記代替操作受付部は、スイッチ部を更に備え、前記スイッチ部に対して操作がなされている間、または前記スイッチ部に対して操作がなされてから所定時間が経過するまでの間に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付ける、
    請求項1から5のうち、何れか1項に記載の車両制御システム。
  7. 前記代替操作受付部は、前記車両の床面に対する圧力を検知する踏込検知センサを更に備え、
    前記自動運転制御部は、前記操作子状態変更部により前記運転操作子が操作不能である場合であって、且つ、前記踏込検知センサにより圧力を検出した場合に、前記車両の加減速に対する制御を行う、
    請求項1から6のうち、何れか1項に記載の車両制御システム。
  8. 前記車両の周辺状況を認識し、前記車両の外界の物体に対する衝突の危険判定を行う周辺状況認識部を更に備え、
    前記自動運転制御部は、前記操作子状態変更部により前記運転操作子が操作不能である場合の前記周辺状況認識部による前記危険判定の度合を、前記運転操作子が操作可能である場合の危険判定の度合に比して高くする、
    請求項1から7のうち、何れか1項に記載の車両制御システム。
  9. 車載コンピュータが、
    車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行し、
    前記自動運転が実行されている場合に、前記車両の加減速および操舵に対する乗員の操作を受け付ける運転操作子を操作不能にし、
    前記運転操作子が操作不能である場合に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付け、
    前記乗員のジェスチャまたは前記乗員からの音声のうち一方または双方を用いて前記操作を受け付け、
    前記ジェスチャまたは前記音声の一方によって前記操作を受け付ける場合には、前記ジェスチャの速度または前記音声の音量に、前記操作を受け付けるための条件を設け、
    前記ジェスチャおよび前記音声の双方によって前記操作を受け付ける場合には、前記条件を設けず、
    前記操作が受け付けられた場合に、前記操作に基づいて、前記車両の加減速または操舵のうち少なくとも一方を制御する、
    車両制御方法。
  10. 車載コンピュータに、
    車両の加減速または操舵のうち少なくとも一方を自動的に制御する自動運転を実行させ、
    前記自動運転が実行されている場合に、前記車両の加減速および操舵に対する乗員の操作を受け付ける運転操作子を操作不能にさせ、
    前記運転操作子が操作不能である場合に、前記乗員による前記運転操作子に対する操作とは異なる操作を受け付けさせ、
    前記乗員のジェスチャまたは前記乗員からの音声のうち一方または双方を用いて前記操作を受け付け、
    前記ジェスチャまたは前記音声の一方によって前記操作を受け付ける場合には、前記ジェスチャの速度または前記音声の音量に、前記操作を受け付けるための条件を設け、
    前記ジェスチャおよび前記音声の双方によって前記操作を受け付ける場合には、前記条件を設けず、
    前記操作が受け付けられた場合に、前記操作に基づいて、前記車両の加減速または操舵のうち少なくとも一方を制御させる、
    車両制御プログラム。
JP2017071333A 2017-03-31 2017-03-31 車両制御システム、車両制御方法、および車両制御プログラム Expired - Fee Related JP6916647B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017071333A JP6916647B2 (ja) 2017-03-31 2017-03-31 車両制御システム、車両制御方法、および車両制御プログラム
US15/916,462 US10683014B2 (en) 2017-03-31 2018-03-09 Vehicle control system, vehicle control method, and vehicle control program
CN201810263441.9A CN108688681B (zh) 2017-03-31 2018-03-28 车辆控制系统、车辆控制方法及存储车辆控制程序的介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017071333A JP6916647B2 (ja) 2017-03-31 2017-03-31 車両制御システム、車両制御方法、および車両制御プログラム

Publications (2)

Publication Number Publication Date
JP2018172028A JP2018172028A (ja) 2018-11-08
JP6916647B2 true JP6916647B2 (ja) 2021-08-11

Family

ID=63672917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017071333A Expired - Fee Related JP6916647B2 (ja) 2017-03-31 2017-03-31 車両制御システム、車両制御方法、および車両制御プログラム

Country Status (3)

Country Link
US (1) US10683014B2 (ja)
JP (1) JP6916647B2 (ja)
CN (1) CN108688681B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230356728A1 (en) * 2018-03-26 2023-11-09 Nvidia Corporation Using gestures to control machines for autonomous systems and applications
WO2020110186A1 (ja) * 2018-11-27 2020-06-04 三菱電機株式会社 運転計画変更指示装置および運転計画変更指示方法
JP6821644B2 (ja) * 2018-12-28 2021-01-27 本田技研工業株式会社 車両制御装置及び車両制御方法
JP6931370B2 (ja) 2019-03-25 2021-09-01 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7145805B2 (ja) * 2019-03-27 2022-10-03 本田技研工業株式会社 車両制御システム
JP6941636B2 (ja) * 2019-03-28 2021-09-29 本田技研工業株式会社 車両の制御システム及び車両
JP7198142B2 (ja) * 2019-03-29 2022-12-28 本田技研工業株式会社 車両制御システム
JP7381230B2 (ja) 2019-06-28 2023-11-15 トヨタ自動車株式会社 自動運転車両の操作装置
JP7143822B2 (ja) * 2019-06-28 2022-09-29 トヨタ自動車株式会社 車両制御装置
JP7534076B2 (ja) * 2019-09-10 2024-08-14 株式会社Subaru 車両用制御装置
CN112542164B (zh) * 2019-09-19 2024-01-26 中车时代电动汽车股份有限公司 一种车辆方向盘的语音控制方法、装置、设备及存储介质
JP7247901B2 (ja) * 2020-01-07 2023-03-29 トヨタ自動車株式会社 移動体制御装置、移動体制御方法、およびプログラム
US12162516B2 (en) * 2020-02-18 2024-12-10 Toyota Motor North America, Inc. Determining transport operation level for gesture control
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
JP7414612B2 (ja) 2020-03-26 2024-01-16 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN111439271A (zh) * 2020-04-21 2020-07-24 上汽大众汽车有限公司 基于语音控制的辅助驾驶方法及辅助驾驶设备
US11858532B2 (en) 2020-06-04 2024-01-02 Qualcomm Incorporated Gesture-based control for semi-autonomous vehicle
CN116034410A (zh) * 2020-08-06 2023-04-28 株式会社电装 车辆管理装置、车辆管理方法、车辆管理程序
US11654933B2 (en) * 2020-11-10 2023-05-23 GM Global Technology Operations LLC Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
CN112829755B (zh) * 2021-02-08 2022-02-22 浙江大学 通过乘员脚部位置压力分布识别乘员状态的系统与方法
EP4538134A1 (en) * 2022-06-29 2025-04-16 Honda Motor Co., Ltd. Mobile body, control method, and program
EP4538135A1 (en) * 2022-06-29 2025-04-16 Honda Motor Co., Ltd. Mobile body, control method, and program
US12179727B2 (en) * 2022-10-17 2024-12-31 Ford Global Technologies, Llc Vehicle brake control

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3979080B2 (ja) 2001-12-18 2007-09-19 日産自動車株式会社 音声認識装置
JP2007107699A (ja) * 2005-10-17 2007-04-26 Denso Corp シフトレンジ選択装置
JP4274225B2 (ja) * 2006-10-13 2009-06-03 トヨタ自動車株式会社 車載警告装置
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
JP2013216141A (ja) * 2012-04-05 2013-10-24 Mitsubishi Motors Corp 車両のクルーズコントロール装置
WO2014016911A1 (ja) * 2012-07-24 2014-01-30 トヨタ自動車株式会社 運転支援装置
KR101736306B1 (ko) * 2013-02-27 2017-05-29 한국전자통신연구원 차량과 운전자간 협력형 자율 주행 장치 및 방법
DE102014200782A1 (de) * 2014-01-17 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Betreiben eines Fahrzeugs gemäß dem Wunsch eines Fahrzeuginsassen
US9725098B2 (en) * 2014-08-11 2017-08-08 Ford Global Technologies, Llc Vehicle driver identification
JP6459330B2 (ja) * 2014-09-17 2019-01-30 株式会社デンソー 音声認識装置、音声認識方法、及び音声認識プログラム
JP6260544B2 (ja) * 2015-01-19 2018-01-17 トヨタ自動車株式会社 自動運転装置
US9845103B2 (en) * 2015-06-29 2017-12-19 Steering Solutions Ip Holding Corporation Steering arrangement
JP5910904B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
EP3415394B1 (en) * 2016-02-12 2023-03-01 LG Electronics Inc. User interface apparatus for vehicle, and vehicle
JP6090727B2 (ja) * 2016-03-16 2017-03-08 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US11009870B2 (en) * 2017-06-06 2021-05-18 Zoll Medical Corporation Vehicle compatible ambulatory defibrillator
US20190064805A1 (en) * 2017-08-28 2019-02-28 nuTonomy Inc. Mixed-mode driving of a vehicle having autonomous driving capabilities

Also Published As

Publication number Publication date
CN108688681B (zh) 2021-04-09
US10683014B2 (en) 2020-06-16
JP2018172028A (ja) 2018-11-08
CN108688681A (zh) 2018-10-23
US20180281819A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6916647B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US10960879B2 (en) Vehicle control system, vehicle control method, and vehicle control program
CN110281941B (zh) 车辆控制装置、车辆控制方法及存储介质
JP6755390B2 (ja) 車両制御システムおよび車両制御方法
JP6646168B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6817334B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6972294B2 (ja) 車両制御システム、車両制御方法、およびプログラム
US10479229B2 (en) Vehicle seat apparatus
JP6715959B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6738437B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US11235782B2 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2019111882A (ja) 車両制御装置、車両制御方法、およびプログラム
US10793163B2 (en) Vehicle system, vehicle control method, and vehicle control program
US11230290B2 (en) Vehicle control device, vehicle control method, and program
JP7112374B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2017165197A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JPWO2019069347A1 (ja) 車両制御装置、車両制御方法、およびプログラム
CN112319474A (zh) 车辆控制装置、车辆控制方法及存储介质
JP2021015428A (ja) 車両制御装置、車両制御方法、およびプログラム
US20220176956A1 (en) Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program
JP6838139B2 (ja) 車両制御システム、車両制御方法、車両制御装置、および車両制御プログラム
US20200311621A1 (en) Management device, management method, and storage medium
JP2020138552A (ja) 車両制御装置、車両制御方法、およびプログラム
WO2024247191A1 (ja) 制御装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210716

R150 Certificate of patent or registration of utility model

Ref document number: 6916647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees