JP7491208B2

JP7491208B2 - 降車動作判定装置、車両、降車動作判定法及びプログラム

Info

Publication number: JP7491208B2
Application number: JP2020212505A
Authority: JP
Inventors: 新佐藤
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2024-05-28
Anticipated expiration: 2040-12-22
Also published as: JP2022098864A; US20220194386A1; CN114655083B; CN114655083A; US11673559B2

Description

本発明は、降車動作判定装置、車両、降車動作判定法及びプログラムに関する。

特許文献１には、搭乗者の降車時に、車内又は車外へ報知する降車時注意喚起装置が開示されている。具体的には、特許文献１の降車時注意喚起装置では、車両が駐車状態になった場合に、搭乗者へ音声メッセージを出力することで注意喚起を行う。

特開２０１８－１６０１３５号公報

しかしながら、上記特許文献１の装置では、乗員が降車動作に移行したことは検知できない。このため、降車しない場合にも注意喚起が行われることとなり、煩わしい。

本発明は、乗員の快適性を確保しつつ、降車時の注意を促すことができる降車動作判定装置、車両、降車動作判定法及びプログラムを得ることを目的とする。

請求項１に係る降車動作判定装置は、車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する上体移動検知部と、前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する手位置検知部と、前記上体移動検知部により前記第１状態が検知され、かつ、前記手位置検知部により前記第２状態が検知された場合に、乗員が降車動作に移行したと判定する降車動作判定部と、を有し、乗員の視線方向を取得する視線方向取得部をさらに備え、前記降車動作判定部は、前記第１状態及び前記第２状態が検知され、さらに前記視線方向取得部によって乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する。

請求項１に係る降車動作判定装置では、上体移動検知部は、車室内に設けられた第１センサからの信号に基づいて乗員が上体を起こした第１状態を検知する。また、手位置検知部は、第１センサ又は第２センサからの信号に基づいて、乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。さらに、降車動作判定部は、第１状態及び第２状態が検知された場合に、乗員が降車動作に移行したと判定する。これにより、乗員がドアを開く前に乗員の降車動作を検知することができる。

また、第１状態及び第２状態が検知されるまでは降車動作と判定しないため、停車時などの不必要なタイミングで注意喚起が行われるのを抑制することができる。さらに、乗員の視線方向がドアインサイドハンドルへ向けられている場合にのみ降車動作に移行したと判定することで、視線方向を検知しない構成と比較して、誤判定を低減することができる。なお、ここでいう「降車動作」とは、サイドドアを開く動作に限定されず、サイドドアを開く前の動作を広く含む概念である。すなわち、「降車動作」は、車両走行中の乗車姿勢からサイドドアを開く姿勢へ移行する移行中の動作を含む。

請求項２に係る降車動作判定装置は、請求項１において、前記上体移動検知部は、前記第１センサとして前記車両用シートに搭載されたシート荷重センサによる荷重分布に基づいて前記第１状態を検知する。

請求項２に係る降車動作判定装置では、シート荷重センサによる荷重分布に基づいて上体が起こされたことを検知する。これにより、例えば、安楽姿勢に対応する荷重分布から上体を起こした姿勢に対応する荷重分布へ変化した場合に、第１状態を検知することができる。

請求項３に係る降車動作判定装置は、請求項１又は２において、前記上体移動検知部及び前記手位置検知部は、前記第１センサとして室内カメラが撮像した乗員の画像に基づいて、前記第１状態及び前記第２状態を検知する。

請求項３に係る降車動作判定装置では、室内カメラが撮像した乗員の画像に基づいて第１状態及び第２状態を検知することにより、他のセンサ類を用いることなく乗員の降車動作を判定することができる。

請求項４に係る車両は、請求項１～３の何れか１項に記載の降車動作判定装置を有する。

請求項５に係る降車動作判定方法は、車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する。

請求項６に係るプログラムは、車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する、処理をコンピュータに実行させる。

以上説明したように、本発明に係る降車動作判定装置、車両、降車動作判定法及びプログラムによれば、乗員の快適性を確保しつつ、降車時の注意を促すことができる。

第１実施形態に係る車両のハードウェア構成を示すブロック図である。第１実施形態に係る降車動作判定装置の機能構成を示すブロック図である。第１実施形態における降車動作判定処理の流れの一例を示すフローチャートである。第２実施形態に係る車両のハードウェア構成を示すブロック図である。第２実施形態に係る降車動作判定装置の機能構成を示すブロック図である。第２実施形態における降車動作判定処理の流れの一例を示すフローチャートである。

＜第１実施形態＞
第１実施形態に係る降車動作判定装置１０について、図面を参照して説明する。

（車両１２のハードウェア構成）
図１に示されるように、本実施形態の車両１２は、降車動作判定装置１０を備えている。降車動作判定装置１０は、車両１２の車室内の状態が降車動作に移行したか否かについて判定するための装置であり、例えば、車両１２に搭載されたＥＣＵ（Electronic Control Unit）である。

降車動作判定装置１０は、ＣＰＵ（Central Processing Unit：プロセッサ）１４、ＲＯＭ（Read Only Memory）１６、ＲＡＭ（Random Access Memory）１８、ストレージ２０及び入出力インターフェース２２を含んで構成されている。各構成は、内部バス２３を介して相互に通信可能に接続されている。

ＣＰＵ１４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０からプログラムを読み出し、ＲＡＭ１８を作業領域としてプログラムを実行する。また、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。

ＲＯＭ１６は、各種プログラムおよび各種データを格納する。ＲＡＭ１８は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。本実施形態では、ＲＯＭ１６又はストレージ２０には、降車動作判定処理を行うためのプログラム等が格納されている。

ここで、入出力インターフェース２２は、運転支援ＥＣＵ４０と電気的に接続されている。運転支援ＥＣＵ４０は、降車動作判定装置１０と同様に、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、ストレージ及び入出力インターフェースなどを含んで構成されている。また、運転支援ＥＣＵ４０は、障害物検知部としての前側カメラ４２、後側カメラ４４、右側カメラ４６、左側カメラ４８、前側ミリ波レーダ５０及び後側ミリ波レーダ５２を備えている。

前側カメラ４２は、例えば車両１２の前部に設けられて車両前方へ向けられており、車両前方を撮像する。後側カメラ４４は、例えば車両１２の後部に設けられて車両後方へ向けられており、車両後方を撮像する。

右側カメラ４６は、例えば右側のドアミラーに設けられて車両後方へ向けられており、車両右後方を撮像する。左側カメラ４８は、例えば左側のドアミラーに設けられて車両後方へ向けられており、車両左後方を撮像する。

前側ミリ波レーダ５０は、例えば車両１２の前部に設けられており、車両前方側の障害物を検知する。後側ミリ波レーダ５２は、例えば車両１２の後部に設けられており、車両後方側の障害物を検知する。

降車動作判定装置１０は、運転支援ＥＣＵ４０を構成する上記のセンサ類で検知された車両周辺の情報を取得する。

また、降車動作判定装置１０の入出力インターフェース２２は、シート荷重センサ２４、近接センサ２６、室内カメラ２８及び報知装置としてのスピーカ３０と電気的に接続されている。

シート荷重センサ２４は、車両用シートを構成するシートクッションの内部に設けられており、乗員が車両用シートに着座した際に、シートクッションの荷重分布を出力するように構成されている。

近接センサ２６は、ドアインサイドハンドルの周辺に設けられている。ドアインサイドハンドルは、サイドドアの車室内側に設けられており、乗員が把持して内側へ引くなどの操作することで、サイドドアを開くことができるように構成されている。ここで、本実施形態の近接センサ２６は一例として、静電容量の変化により物体の有無を検知する静電容量型の近接センサが用いられている。

室内カメラ２８は、車室内を撮像するカメラであり、本実施形態では一例として、車両の前席及び後席に着座した乗員を検知可能に構成されている。

スピーカ３０は、車室内に設けられており、車両用シートに着座した乗員へ向けて所定の音声を出力することで、乗員に種々の通知を行う。

（降車動作判定装置１０の機能構成）
降車動作判定装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。降車動作判定装置１０が実現する機能構成について図２を参照して説明する。

図２に示されるように、降車動作判定装置１０は、機能構成として、上体移動検知部６０、手位置検知部６２、降車動作判定部６４、周辺情報検知部６６及び報知部６８を含んで構成されている。各機能構成は、ＣＰＵ１４がプログラムを読み出して実行することにより実現される。

上体移動検知部６０は、車室内に設けられたシート荷重センサ２４からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する。具体的には、上体移動検知部６０は、シート荷重センサ２４から取得した荷重分布が通常の車両走行時の安楽姿勢に対応する荷重分布から、上体を起こした姿勢（第１状態）に対応する荷重分布へ変化したことを検知する。

一例として、安楽姿勢では、シートバックに乗員の身体が支持された状態となっているため、シート荷重センサ２４によって取得された荷重分布は、全体的に小さい荷重となっている。これに対して、乗員が上体を起こした第１状態では、乗員の身体がシートバックから離間することで、シートクッションに作用する荷重が増加するため、シート荷重センサ２４によって取得された荷重分布は、全体的に安楽姿勢時よりも荷重が大きくなる。また、第１状態では、座骨の位置で特に荷重が大きくなるため、荷重分布に基づいて安楽姿勢であるか第１状態であるかを検知することができる。なお、荷重分布のデータと姿勢のデータを教師データとして学習を行った学習モデルを利用して第１状態を検知してもよい。

手位置検知部６２は、近接センサ２６からの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。具体的には、手位置検知部６２は、乗員の手がドアインサイドハンドルに近接又は接触した際の近接センサ２６の出力に応じて、乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。

降車動作判定部６４は、上体移動検知部６０により第１状態が検知され、かつ、手位置検知部６２により第２状態が検知された場合に、乗員が降車動作に移行したと判定する。特に、本実施形態の降車動作判定部６４は一例として、上体移動検知部６０により第１状態が検知された後、所定時間経過後に、手位置検知部６２により第２状態が検知された場合に、乗員が降車動作に移行したと判定する。

このため、例えば、乗員が安楽姿勢でドアインサイドハンドルの周辺に設けられたドアロックスイッチ及びサイドウインドウの開閉スイッチなどを操作した後、上体を起こして第１状態へ移行した場合、降車動作判定部６４は、降車動作に移行したとは判定しない。

報知部６８は、降車動作判定部６４によって乗員が降車動作に移行したと判定された場合で、かつ、運転支援ＥＣＵ４０からの信号によって車両周辺に障害物が検知された場合に、スピーカ３０により乗員に注意喚起を行う。なお、報知部６８は、スピーカ３０から音声によって乗員へ通知を行う構成に代えて又は加えて、車室内に設けられたモニタに表示を行うことで注意喚起してもよい。

（作用）
次に、本実施形態の作用を説明する。

（降車動作判定処理の一例）
図３は、降車動作判定装置１０のＣＰＵ１４による降車動作判定処理の流れの一例を示すフローチャートである。この降車動作判定処理は、ＣＰＵ１４がプログラムを読み出して、ＲＡＭ１８などに展開して実行することによって実行される。また、本実施形態では一例として、車両１２の車速がゼロになった場合に、降車動作判定処理が実行され、この降車動作判定処理は、所定の周期で繰り返し実行される。すなわち、車両１２の走行中は、降車動作判定処理が行われない。

図３に示されるように、ＣＰＵ１４は、ステップＳ１０２でシート荷重分布を取得する。具体的には、ＣＰＵ１４は、シート荷重センサ２４が検知した車両用シートのシート荷重分布のデータを取得する。

ＣＰＵ１４は、ステップＳ１０４で乗員が上体を起こした第１状態であるか否かについて判定する。具体的には、ＣＰＵ１４は、上体移動検知部６０の機能により、荷重分布が第１状態に対応する荷重分布へ変化したことが検知された場合に、ステップＳ１０４が肯定されてステップＳ１０６の処理へ移行する。

一方、ＣＰＵ１４は、ステップＳ１０４で第１状態が検知されなかった場合には、ステップＳ１０４が否定されて降車動作判定処理を終了する。

ＣＰＵ１４は、ステップＳ１０６で所定時間が経過したか否かについて判定する。具体的には、ＣＰＵ１４は、第１状態が検知された時点でタイマをスタートさせ、このタイマに基づいて所定時間が経過したか否かについて判定する。ここでいう所定時間は、乗員が上体を起こした第１状態からドアインサイドハンドルに手が近接する第２状態までに要する時間に設定される。換言すれば、第１状態と第２状態とが同時でなければよいため、例えば、数ミリ秒から数秒程度の時間に設定される。

ＣＰＵ１４は、ステップＳ１０６で所定時間が経過したと判定した場合、ステップＳ１０６が肯定されてステップＳ１０８の処理へ移行する。一方、ＣＰＵ１４は、ステップＳ１０６で所定時間が経過していないと判定した場合、ステップＳ１０６が否定されてステップＳ１０２の処理に戻る。

ＣＰＵ１４は、ステップＳ１０８で乗員の手位置を取得する。具体的には、ＣＰＵ１４は、手位置検知部６２の機能により、近接センサ２６の信号を取得する。

続いて、ＣＰＵ１４は、ステップＳ１１０で乗員の手がドアインサイドハンドルに近接しているか否かについて判定する。なお、ＣＰＵ１４は、乗員の手がドアインサイドハンドルに接触している場合も近接していると判定する。

ＣＰＵ１４は、ステップＳ１１０で近接センサ２６からの信号に基づいて乗員の手がドアインサイドハンドルに近接していると判定した場合、ステップＳ１１０が肯定されてステップＳ１１２の処理へ移行する。一方、ＣＰＵ１４は、ステップＳ１１０で乗員の手がドアインサイドハンドルに近接していると判定されなかった場合、ステップＳ１１０が否定されて降車動作判定処理を終了する。

ＣＰＵ１４は、ステップＳ１１２で降車動作への移行と判定する。そして、ＣＰＵ１４は、降車動作判定処理を終了する。

以上のように、本実施形態の降車動作判定装置１０では、降車動作判定部６４は、第１状態及び第２状態が検知された場合に、乗員が降車動作に移行したと判定する。これにより、乗員がドアを開く前に乗員の降車動作を検知することができる。

また、降車動作判定部６４は、第１状態及び第２状態が検知されるまでは降車動作と判定しないため、停車時などの不必要なタイミングで注意喚起が行われるのを抑制することができる。

さらに、本実施形態では、第１状態と第２状態とが同時に検知された場合には降車動作として判定されない。ここで、降車時には、上体を起こした後に、ドアインサイドハンドルに手を触れる乗員が多いことが分かっている。このため、図３に示すフローチャートによって降車動作への移行を判定することで、誤判定を低減することができる。

さらにまた、本実施形態では、車速がゼロになった場合に、降車動作判定処理を行う。このように車速を考慮することで、より精度よく降車動作への移行を判定することができる。また、降車動作の判定を常時行う構成と比較して、ＣＰＵ１４の処理負担を低減することができる。

また、本実施形態では、シート荷重センサ２４による荷重分布に基づいて上体が起こされたことを検知する。これにより、例えば、安楽姿勢に対応する荷重分布から上体を起こした姿勢に対応する荷重分布へ変化した場合に、第１状態を検知することができる。

さらに、本実施形態では、ドアインサイドハンドルの周辺に設けた近接センサ２６からの信号に基づいて第２状態を検知することで、ドアインサイドハンドルから離れた位置でセンシングする構成と比較して、精度良く第２状態を検知することができる。

さらにまた、本実施形態では、乗員が降車動作に移行したと判定された場合、かつ、車両周辺に障害物が検知された場合に、スピーカ３０により乗員に所定の通知を行うことで、ドアを開ける前の乗員に対して注意喚起を行うことができる。

＜第２実施形態＞
次に、第２実施形態に係る降車動作判定装置７０について、図面を参照して説明する。なお、第１実施形態と同様の構成については、同じ符号を付し、適宜説明を省略する。

図４に示されるように、本実施形態の車両７２は、降車動作判定装置７０を備えている。また、降車動作判定装置７０を構成する入出力インターフェース２２は、視線検知センサ７４、室内カメラ２８及びスピーカ３０と電気的に接続されている。ここで、本実施形態では、シート荷重センサ２４及び近接センサ２６に代えて視線検知センサ７４が設けられている点で第１実施形態と異なる。

視線検知センサ７４は、乗員の視線方向を検知するセンサであり、例えば、運転席に着座した乗員の視線方向を検知する視線検知センサ７４は、運転席の正面にインストルメントパネルなどに設けられる。そして、運転席に着座した乗員の瞳孔の位置などを検出することにより、視線方向を算出する。その他のハードウェア構成については、第１実施形態と同様である。

（降車動作判定装置７０の機能構成）
降車動作判定装置７０は、図４のハードウェア資源を用いて、各種の機能を実現する。降車動作判定装置７０が実現する機能構成について図５を参照して説明する。

図５に示されるように、降車動作判定装置７０は、機能構成として、上体移動検知部６０、手位置検知部６２、降車動作判定部６４、周辺情報検知部６６、報知部６８及び視線方向取得部７６を含んで構成されている。各機能構成は、ＣＰＵ１４がプログラムを読み出して実行することにより実現される。

ここで、本実施形態における上体移動検知部６０及び手位置検知部６２は、第１実施形態と異なる機能とされている。また、本実施形態では、視線方向取得部７６を備えている。

上体移動検知部６０は、車室内に設けられた室内カメラ２８からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する。具体的には、上体移動検知部６０は、室内カメラ２８で撮像された乗員の画像から上体の位置を算出し、上体の位置が車両前方へ所定の位置まで移動した場合に第１状態であると検知する。このため、本実施形態における室内カメラ２８は、ＴＯＦ（Time Of Flight）カメラなどの距離を容易に計測できるカメラを用いてもよい。

手位置検知部６２は、室内カメラ２８からの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。具体的には、手位置検知部６２は、室内カメラ２８で撮像された乗員の画像から手の部分を抽出し、手の位置とドアインサイドハンドルとの距離を算出する。そして、算出された乗員の手の位置とドアインサイドハンドルとが所定の距離以下であった場合に、第２状態であることが検知される。このように、本実施形態では、上体移動検知部６０及び手位置検知部６２の両方に対して、室内カメラ２８で撮像された乗員の画像が用いられる。

視線方向取得部７６は、視線検知センサ７４からの信号に基づいて乗員の視線方向を取得する。具体的には、視線方向取得部７６は、乗員の視線を取得することで、視線の先にある部位、すなわち、乗員が見ている部位を特定する。

また、本実施形態の降車動作判定部６４は、上体移動検知部６０及び手位置検知部６２からの信号に加えて、視線方向取得部７６で取得された乗員の視線方向を考慮して降車動作を判定する。

（作用）
次に、本実施形態の作用を説明する。

（降車動作判定処理の一例）
図６は、降車動作判定装置７０のＣＰＵ１４による降車動作判定処理の流れの一例を示すフローチャートである。この降車動作判定処理は、ＣＰＵ１４がプログラムを読み出して、ＲＡＭ１８などに展開して実行することによって実行される。また、本実施形態では一例として、車両１２の車速がゼロになった場合に、降車動作判定処理が実行され、この降車動作判定処理は、所定の周期で繰り返し実行される。すなわち、車両１２の走行中は、降車動作判定処理が行われない。

図６に示されるように、ＣＰＵ１４は、ステップＳ２０２で乗員の上体の位置を取得する。具体的には、ＣＰＵ１４は、上体移動検知部６０の機能により、室内カメラ２８からの信号に基づいて乗員の上体位置を算出する。

ＣＰＵ１４は、ステップＳ２０４で乗員が上体を起こしているか否かについて判定する。具体的には、ＣＰＵ１４は、上体移動検知部６０の機能により、車室内に設けられた室内カメラ２８からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知した場合、ステップＳ２０４が肯定されてステップＳ２０６の処理へ移行する。

一方、ＣＰＵ１４は、ステップＳ２０４で第１状態が検知されなかった場合には、ステップＳ２０４が否定されて降車動作判定処理を終了する。

ＣＰＵ１４は、ステップＳ２０６で所定時間が経過したか否かについて判定する。具体的には、ＣＰＵ１４は、第１状態が検知された時点でタイマをスタートさせ、このタイマに基づいて所定時間が経過したか否かについて判定する。

ＣＰＵ１４は、ステップＳ２０６で所定時間が経過したと判定した場合、ステップＳ２０６が肯定されてステップＳ２０８の処理へ移行する。一方、ＣＰＵ１４は、ステップＳ２０６で所定時間が経過していないと判定した場合、ステップＳ２０６が否定されてステップＳ２０２の処理に戻る。

ＣＰＵ１４は、ステップＳ２０８で乗員の手位置及び視線方向を取得する。具体的には、ＣＰＵ１４は、室内カメラ２８が撮像した画像から乗員の手の部分を抽出する。また、ＣＰＵ１４は、視線方向取得部７６の機能により、視線検知センサ７４からの信号に基づいて乗員の視線方向を取得する。

続いてＣＰＵ１４は、ステップＳ２１０で乗員の視線方向がドアインサイドハンドルに向けられているか否かについて判定する。具体的には、ＣＰＵ１４は、視線方向取得部７６によって取得された乗員の視線方向がドアインサイドハンドル又はドアインサイドハンドルの近傍へ向けられている場合、ステップＳ２１０が肯定されてステップＳ２１２の処理へ移行する。

一方、ＣＰＵ１４は、ステップＳ２１０で乗員の視線方向がドアインサイドハンドルへ向いていないと判定した場合、ステップＳ２１０が否定されて降車動作判定処理を終了する。

次に、ＣＰＵ１４は、ステップＳ２１２で乗員の手がドアインサイドハンドルに近接しているか否かについて判定する。具体的には、ＣＰＵ１４は、手位置検知部６２に機能により、室内カメラ２８で撮像された乗員の手の位置とドアインサイドハンドルとの距離が所定の距離以下であった場合、ステップＳ２１２が肯定されてステップＳ２１４の処理へ移行する。

一方、ＣＰＵ１４は、ステップＳ２１２で乗員の手の位置とドアインサイドハンドルとの距離が所定の距離よりも離れていると判定した場合、ステップＳ２１２が否定されて降車動作判定処理を終了する。

ＣＰＵ１４は、ステップＳ２１４で降車動作への移行と判定する。そして、ＣＰＵ１４は、降車動作判定処理を終了する。

以上のように、本実施形態に係る降車動作判定装置７０では、カメラが撮像した乗員の画像に基づいて第１状態及び第２状態を検知することにより、他のセンサ類を用いることなく乗員の降車動作を判定することができる。

また、本実施形態では、乗員の視線方向がドアインサイドハンドルへ向けられている場合にのみ降車動作に移行したと判定することで、視線方向を検知しない構成と比較して、誤判定を低減することができる。その他の作用については第１実施形態と同様である。

以上、第１実施形態及び第２状態形態に係る降車動作判定装置１０、７０について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、車両１２の車速がゼロになった場合に、降車動作判定処理を実行する構成としたが、これに限定されず、車両１２が始動された直後から周期的に降車動作判定処理を実行してもよい。

また、上記実施形態では、第１状態が検知された後、所定時間の経過後に第２状態を検知する構成としたが、これに限定されない。例えば、第１状態及び第２状態が同時に検知された場合であっても降車動作への移行と判定してもよい。また、第２状態が検知された後に第１状態が検知された場合であっても降車動作への移行と判定してもよい。以上の判定方法によれば、イレギュラーな降車動作時を判定することができる。ただし、誤判定を抑制する観点で、第１状態が検知された後、所定時間の経過後に第２状態を検知するのが好ましい。

さらに、上記第１実施形態では、上体移動検知部６０は、車室内に設けられたシート荷重センサ２４からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知したが、これに限定されない。例えば、シートバックに赤外線センサなどの近接センサを設け、この近接センサの信号に基づいて第１状態を検知してもよい。この場合、上体移動検知部６０は、近接センサによって乗員の身体（背中）とシートバックとの距離を検出し、乗員の身体がシートバックから所定距離以上離間した場合に、第１状態であると検知してもよい。また、シートバックに設けた近接センサとシート荷重センサ２４の両方を用いて第１状態を検知してもよい。

さらにまた、上記第２実施形態では、上体移動検知部６０及び手位置検知部６２の両方に対して、室内カメラ２８で撮像された乗員の画像を用いたが、これに限定されない。すなわち、第１実施形態と同様にシート荷重センサ２４及び近接センサ２６を用いてもよい。

また、上記第２実施形態では、降車動作判定部６４は、乗員の視線方向がドアインサイドハンドルへ向いている場合に降車動作への移行と判定したが、これに限定されない。例えば、図６のステップＳ２１０において、視線方向取得部７６によって乗員の視線方向が乗員の正面（車両前方）よりも車両幅方向外側へ向いている場合に、ＣＰＵ１４がステップＳ２１０を肯定判定してもよい。降車時には、乗員の視線方向は無意識に車両幅方向外側、すなわち、サイドドアの外側の景色へ向けられるため、乗員の視線方向が車両前方よりも車両幅方向外側へ向けられている場合に降車動作へ移行していると判定すれば、イレギュラーな降車動作を検知できる可能性が高くなる。

さらに、上記実施形態では、降車動作判定部６４によって乗員が降車動作に移行したと判定された場合で、かつ、運転支援ＥＣＵ４０からの信号によって車両周辺に障害物が検知された場合に、スピーカ３０により乗員に注意喚起を行う構成としたが、これに加えて他の処理を実施してもよい。例えば、乗員がドアインサイドハンドルを操作した場合でもサイドドアと車体との係合状態が維持される構成としてもよい。すなわち、車両周辺に障害物が検知された場合に、自動的にドアロックを行う構成では、ドアがロックされている理由を乗員が理解しにくい。これに対して、上記実施形態では、乗員がドアを開く動作を行う前に注意喚起が行われるため、サイドドアが開かなかった場合でも乗員が理由を把握することができる。

さらにまた、上記実施形態でＣＰＵ１４及びＣＰＵコア１４がソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが例示される。また、降車動作判定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。

さらに、上記実施形態では、ＲＯＭ１６及びストレージ２０を非一時的記録媒体であるメモリとしたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリなどを非一時的記録媒体としてもよい。この場合、これらの記録媒体に各種プログラムを格納してもよい。

１０、７０降車動作判定装置
１２車両
２４シート荷重センサ（第１センサ）
２６近接センサ（第２センサ）
２８室内カメラ（第１センサ、第２センサ）
３０スピーカ（報知装置）
４２前側カメラ（障害物検知部）
４４後側カメラ（障害物検知部）
４６右側カメラ（障害物検知部）
４８左側カメラ（障害物検知部）
５０前側ミリ波レーダ（障害物検知部）
５２後側ミリ波レーダ（障害物検知部）
６０上体移動検知部
６２手位置検知部
６４降車動作判定部
７６視線方向取得部

Claims

車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する上体移動検知部と、
前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する手位置検知部と、
前記上体移動検知部により前記第１状態が検知され、かつ、前記手位置検知部により前記第２状態が検知された場合に、乗員が降車動作に移行したと判定する降車動作判定部と、
を有し、
乗員の視線方向を取得する視線方向取得部をさらに備え、
前記降車動作判定部は、前記第１状態及び前記第２状態が検知され、さらに前記視線方向取得部によって乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する降車動作判定装置。
前記上体移動検知部は、前記第１センサとして前記車両用シートに搭載されたシート荷重センサによる荷重分布に基づいて前記第１状態を検知する請求項１に記載の降車動作判定装置。
前記上体移動検知部及び前記手位置検知部は、前記第１センサとして室内カメラが撮像した乗員の画像に基づいて、前記第１状態及び前記第２状態を検知する請求項１又は２に記載の降車動作判定装置。
請求項１～３の何れか１項に記載の降車動作判定装置を有する車両。
車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、
前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、
前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する、
降車動作判定方法。
車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、
前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、
前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する、
処理をコンピュータに実行させるプログラム。