JP7452402B2 - 車両ドア寄り掛かり検出システム - Google Patents

Description

本明細書では、車両ドアへの乗客又は荷物の寄り掛かりの有無を検出する検出装置が開示される。

車両の円滑な運行を図るために、車両には種々のセンサや機器が設けられる。例えば特許文献１では、バス等の乗り合い車両に、車外の様子を撮像するカメラが設けられる。このカメラの撮像画像に基づいて、車両の駐車スペース及びスロープ設置スペースの有無が判定される。

特開２０１８－１６２０４２号公報

ところで、乗客や荷物が車両のドアに寄り掛かっている場合に、ドア開放時にその乗客や荷物が車外に飛び出すおそれがある。そこで本明細書では、ドア開放時における乗客又は荷物の安全を確保可能な、車両ドア寄り掛かり検出システムが開示される。

本明細書で開示される車両ドア寄り掛かり検出システムは、撮像器及び判定器を備える。撮像器は、車両のドア及び車室内のドア周辺を撮像範囲に含む。判定器は、撮像器による撮像画像から、乗客または荷物のドア寄り掛かりの有無を判定する。

上記構成によれば、ドア周辺の撮像画像に基づいて、判定器が乗客または荷物のドア寄り掛かりの有無を判定するため、ドア開放時における乗客又は荷物の安全が確保可能となる。

また上記構成において、判定器は、顔認識部、頭部姿勢推定部、及び乗客寄り掛かり判定部を備えてもよい。顔認識部は、撮像画像からドア周辺の乗客の顔を認識する。頭部姿勢推定部は、認識された顔の向きを推定する。乗客寄り掛かり判定部は、推定された顔の向きに基づいて、乗客のドア寄り掛かりの有無を判定する。

ドア近傍に乗客がいる際に、ドアに対する乗客の顔の向きを推定することで、乗客の寄り掛かりの有無を精度よく判定可能となる。

また上記構成において、判定器は、荷物認識部と荷物寄り掛かり判定部を備えてもよい。この場合、荷物認識部は、撮像画像からドア周辺の荷物を認識する。荷物寄り掛かり判定部は、認識された荷物とドアとの近接距離に基づいて、荷物のドア寄り掛かりの有無を判定する。

上記構成によれば、荷物とドアとの近接距離に基づいて、荷物のドア寄り掛かりの有無が判定可能となる。

また上記構成において、車両ドア寄り掛かり検出システムは、警告器を備えてもよい。警告器は、判定器により、乗客または荷物のドア寄り掛かり有りと判定されたときに、ドアの開放前に警告を発報する。

上記構成によれば、ドアの開放前に、当該ドアに寄り掛かる乗客や荷物に対してドアから離れることを促すことができる。

また上記構成において、車両ドア寄り掛かり検出システムは、ドア制御部を備えてもよい。ドア制御部は、判定器により、乗客または荷物のドア寄り掛かり有りと判定されたときに、予め定められた通常開放速度よりも遅い注意喚起速度でドアを開放させる。

上記構成によれば、注意喚起速度でのドア開放により、そのドアに寄り掛かっている乗客や、ドアに荷物を寄せ掛けている乗客が、ドアの開放に気づき、寄り掛かりの解消に繋がる。

また上記構成において、判定器により、乗客または荷物のドア寄り掛かりが解消されたと判定されたときに、ドア制御部は、ドアを通常開放速度にて開放させてよい。

上記構成によれば、乗客または荷物のドアへの寄り掛かりが解消されると速やかにドアが開放され、車両の運行スケジュールへの影響を抑制できる。

本明細書で開示される車両ドア寄り掛かり検出システムによれば、ドア開放時における乗客又は荷物の安全が確保可能となる。

本実施形態に係る車両ドア寄り掛かり検出システムを備える車両を例示する斜視図である。 車両のドアが開放されたときの様子を例示する斜視図である。 車室内を例示する図である。 本実施形態に係る車両ドア寄り掛かり検出システムのハードウェア構成を例示する図である。 本実施形態に係る車両ドア寄り掛かり検出システムの機能ブロックを例示する図である。 乗客のドア寄り掛かりの例を示す図である。 ドア付近の乗客であって、ドアに寄り掛かってはいない場合を例示する図である。 本実施形態に係る車両ドア寄り掛かり検出システムによる、乗客寄り掛かり判定フローを例示する図である。 本実施形態に係る車両ドア寄り掛かり検出システムによる、乗客寄り掛かり判定フローの別例を示す図である。 荷物のドア寄り掛かりの例を示す図である。 本実施形態に係る車両ドア寄り掛かり検出システムによる、荷物寄り掛かり判定フローを例示する図である。 本実施形態に係る車両ドア寄り掛かり検出システムによる、荷物寄り掛かり判定フローの別例を示す図である。

＜車両構成＞
図１には、本実施形態に係る車両ドア寄り掛かり検出システムを備える車両１０が開示される。なお、図１、図２、図３、図６、図７、図１０において、車両前後方向が記号ＦＲで表される軸で示され、車両幅方向が記号ＲＷで表される軸で示され、鉛直方向が記号ＵＰで表される軸で示される。前後方向軸ＦＲは車両前方を正方向とする。幅方向軸ＲＷは右方向を正方向とする。また高さ軸ＵＰは上方向を正方向とする。これら３軸は互いに直交する。

図１に例示される車両１０は、例えば、ミニバス程度の大きさであり、乗合車両として利用される。例えば車両１０は、定められた路線を走行し、当該路線沿いに設けられた停留所に停車する。

車両１０は、例えば図示しない回転電機を駆動源とする電気自動車であってよい。または、車両１０は、内燃機関を駆動源としてもよい。また、車両１０は手動運転及び自動運転が切替可能となっている。

車両１０の側面、つまりＲＷ軸に垂直な面（ＵＰ－ＦＲ面）には、両開き式のドア１２，１２が設けられる。ドア１２，１２は例えば上吊り型のアウトスライドドアであって、ドア１２，１２の上方には、図示しないレール機構が設けられる。ドア１２，１２を上吊り型とすることで、ドア１２，１２の下方に設けられたスロープ板３２（図２参照）との干渉が避けられる。

図２に例示されるように、開放時にドア１２，１２は車幅方向外側に張り出され、さらに車両前後方向に移動される。このようにしてドア１２，１２が閉止位置から開放位置に移動することで乗降口１６が開放される。

このように、車両１０のドア１２，１２は、開放時に車両外側に出されるアウトスライドドアであることから、例えばドアが車室１４側に折れて開く折り戸式のドアとは異なり、ドアの近傍を立ち入り禁止領域とする必要がない。つまり、車両１０では、車室１４のドア１２，１２近傍まで乗客の立位スペースとして利用可能となっており、当該スペースを立ち入り禁止とする場合と比較して、ドア１２，１２に寄り掛かる乗客が高頻度で生じ得る。

後述されるように、本実施形態に係る車両ドア寄り掛かり検出システム４０（図５参照）では、このようなドア１２，１２に寄り掛かる乗客や荷物が検出され、ドア１２，１２開閉時における寄り掛かりの解消が図られる。なお、寄り掛かりを抑制するために、車室１４のドア１２，１２近傍領域を、立入禁止領域として、例えば車室床２０の色をその周辺とは異なる色としてもよい。

乗降時の動作として、例えば車両１０が停留所に到着して停車すると、まずスロープ蓋３０が開放されスロープ板３２が引き出される。スロープ蓋３０の開放及びスロープ板３２の引き出しは例えば図示しないモータ等を含むスロープ装置により自動にて行われる。スロープ板３２の引き出しが完了すると、ドア１２，１２が開放され、乗客の乗降が可能となる。乗客の乗降が済むと、ドア１２，１２が閉止される。その後、スロープ板３２が上述のスロープ装置により車幅方向内側に収納され、スロープ蓋３０が閉止される。

図３には、車室１４内のレイアウトが例示される。車室１４は、運転席エリア（図示せず）と乗客エリアとに大別される。図３には、乗客エリアが図示されている。乗客エリアには、複数の座席２１が設けられる。座席２１は、ドア１２，１２から離隔された場所に設けられる。例えばドア１２，１２が設けられた側面とは対向する側面と、車室１４の後端に座席２１が設けられる。

乗客エリアのうち、座席２１が設けられていない領域は立ち乗り領域になる。当該立ち乗り領域において、車室１４の側壁には手摺２２が設けられ、また車室１４の天井壁には吊り手２３が設けられる。例えば手摺２２は、ドア１２，１２の両脇に設けられた側柱２６Ｂ，２６Ｄと、側柱２６Ｂ，２６Ｄに車幅方向に対向する側柱２６Ａ，２６Ｃに設けられる。側柱２６Ａ～２６Ｄは車室床２０から天井まで高さ方向に延設される。

さらに車室１４には複数の撮像器２４が設けられる。図３の例では、車室１４の天井面に５台の撮像器２４Ａ～２４Ｅが設けられる。またこれに代えて、天井面の車幅方向及び車両前後方向の中央部に撮像器２４Ｃを設け、側柱２６Ａ～２６Ｄの天井面付近に、それぞれ撮像器２４Ａ，２４Ｂ，２４Ｄ，２４Ｅが設けられてもよい。

撮像器２４Ａ～２４Ｅは、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含み、車室１４内の静止画及び動画の少なくとも一方を撮像可能となっている。例えば撮像器２４Ａ～２４Ｅはいずれもドーム型の３６０度カメラ（全方位カメラ）であってよい。

撮像器２４Ａ～２４Ｅは、車両１０のドア１２，１２及び車室１４内のドア１２，１２周辺を撮像範囲に含む。つまり撮像器２４Ａ～２４Ｅは、ドア１２，１２及びその周辺では撮像領域が重複する。後述されるように、複数の撮像器２４Ａ～２４Ｅによりドア１２，１２及びその周辺領域の撮像領域が重複することで、いわゆるステレオカメラの原理に基づいて、ドア１２，１２周辺の乗客や荷物の３次元位置を求めることが可能となる。

図４に、本実施形態に係る車両ドア寄り掛かり検出システム４０のハードウェア構成が例示される。当該システム４０は、撮像器２４Ａ～２４Ｅ、判定器５０、警告器４８、及びドア開閉モータ４９を含んで構成される。

＜判定器の構成＞
判定器５０は、撮像器２４Ａ～２４Ｅによる撮像画像から、乗客または荷物のドア寄り掛かりの有無を判定する。判定器５０は、例えばコンピュータから構成される。判定器５０は、演算装置のＣＰＵ４１と、記憶手段としてのシステムメモリ４２及びストレージデバイス４３を備える。ストレージデバイス４３は例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の非一過性の記憶装置であってよい。また判定器５０は、撮像器２４Ａ～２４Ｅ、警告器４８、ドア開閉モータ４９等の外部機器との情報の入出力を管理する入出力コントローラ４４を備える。

さらに判定器５０は、撮像器２４Ａ～２４Ｅが撮像した撮像画像を処理する手段として、ＧＰＵ４５（Graphics Processing Unit）及びフレームメモリ４６を備える。さらに、判定器５０は、ＧＰＵ４５により処理済みの画像を表示する表示部を備えてもよい。

ＧＰＵ４５は、画像処理用の演算装置であって、後述する乗客寄り掛かり判定や荷物寄り掛かり判定を行う際に主に稼働される。フレームメモリ４６は、撮像器２４Ａ～２４Ｅにより撮像されＧＰＵ４５により演算処理された画像を記憶する記憶装置である。

図５には、判定器５０の機能ブロックが例示された、車両ドア寄り掛かり検出システム４０が示される。この機能ブロック図は、例えば判定器５０のストレージデバイス４３に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ４１が実行することで構成される。

判定器５０は、処理機能部として、画像抽出部５１、顔認識部５２、頭部姿勢推定部５３、乗客寄り掛かり判定部５４、荷物認識部５５、荷物寄り掛かり判定部５６、及びドア制御部５７を備える。さらに判定器５０は、顔認識部５２及び荷物認識部５５の教師データを記憶する学習済みモデル記憶部５８を備える。

画像抽出部５１は、撮像器２４Ａ～２４Ｅが撮像した車室１４内の撮像画像から、ドア１２，１２及び車室１４内のドア１２，１２周辺の画像領域を抽出する（切り取る）。ドア１２，１２の周辺とは、例えば図３に例示されるドア周辺領域２８であってよい。ドア周辺領域２８は、例えば、車幅方向の寸法をドア１２，１２から車室１４の車幅方向中央までとし、車両前後方向の寸法を側柱２６Ｂから側柱２６Ｄまでとし、車両高さ方向の寸法を車室床２０から天井面までとする空間領域を含む。

例えば撮像器２４Ａ～２４Ｅの撮像範囲はその倍率に応じて既知である。そこで画像抽出部５１は、それぞれの撮像器２４Ａ～２４Ｅの撮像画像に含まれるドア周辺領域２８を、撮像時の倍率に応じて抽出する。

顔認識部５２は、画像抽出部５１により抽出されたドア周辺領域２８の画像（ドア周辺画像）から、乗客の顔画像領域が含まれるか否かを認識する。顔認識部５２は、例えば畳み込みニューラルネットワーク（ＣＮＮ）を備える。

顔認識部５２の畳み込みニューラルネットワークは、顔画像を入力データとし、識別された物体を示すクラス名として乗客の顔を出力データ（正解データ）とする教師データにより予め学習される。この教師データは学習済みモデル記憶部５８に記憶される。顔認識部５２は、撮像器２４Ａ～２４Ｅによるすべてのドア周辺領域２８の画像から、乗客の顔画像領域が含まれるか否かを認識する。

なお、顔認識部５２により顔認識された乗客の、車室１４内の３次元座標が求められてもよい。これは例えば撮像器２４Ａ～２４Ｅのうち２台を用いたステレオカメラシステムにより求めることができる。ステレオカメラについては既知の技術であるためここでは説明が省略される。例えば顔認識部５２は、撮像器２４Ａ～２４Ｅのうち任意の２台の組み合わせを選択し、それぞれの撮像画像から認識された顔画像領域の３次元座標を求める。

また顔認識部５２は、撮像器２４Ａ～２４Ｅの任意の２台の組み合わせを選択したのち、その２台のうちの少なくとも一方の撮像画像から認識された顔画像領域の３次元画像を求めてもよい。例えば、２台の撮像器のうち一方では、乗客の後頭部のみが写されるなど、顔認識が困難となるアングルが生じる場合がある。このような場合であっても、他方の撮像器に写された乗客の顔に基づいて、その顔画像領域の３次元座標を求めることができる。

さらに顔認識部５２は、３次元座標がドア１２，１２に近い顔画像領域のみ、頭部姿勢推定部５３に送信するといった、距離フィルタリングを掛けてもよい。例えば顔画像領域の代表点（例えば鼻の先端）とドア１２，１２の代表点（例えば、ドア１２，１２の一方の、車両前後方向及び車両高さ方向の中心点）との距離が所定の距離以内（例えば５０ｃｍ）の顔画像領域のみが抽出される。さらに抽出された顔画像領域を示すドア周辺画像のデータが頭部姿勢推定部５３に送信される。このような距離フィルタリングを掛けることで、判定器５０の演算負荷が軽減可能となる。

頭部姿勢推定部５３は、顔認識部５２により認識された顔画像領域に基づいて、乗客の顔の向きを推定する。頭部姿勢推定は既知の技術であるため、ここでは簡単な説明に留められるが、頭部姿勢推定部５３は、顔画像領域の特徴点（目、鼻、口の端点など）を検出するとともに、その位置関係から頭部姿勢、つまり顔の向き及び角度を推定する。

乗客寄り掛かり判定部５４は、頭部姿勢推定部５３により推定された乗客の顔の向き（頭部姿勢）に基づいて、当該乗客がドア１２，１２に寄り掛かっているか否かを判定する。例えば図６には、車室１４内に立位の乗客６０Ａ，６０Ｂが居る例が示される。乗客６０Ａ，６０Ｂのうち、ドア１２，１２により近い乗客６０Ｂはドア１２，１２に背を向けて立っており、ドア１２，１２に寄り掛かっている可能性が高い。

一方図７では、車室１４内に立位の乗客６０Ｃが居る例が示される。この例では、乗客６０Ｃはドア１２，１２の近傍で立っているものの、その視線はドア１２，１２を向いており、ドア１２，１２に対して正対している。つまり乗客６０Ｃはドア１２，１２に寄り掛かってはいないと推定される。

乗客寄り掛かり判定部５４は、ドア１２，１２に対する乗客の顔の向きに基づいて、当該乗客のドア１２，１２への寄り掛かりの有無を判定する。例えば乗客寄り掛かり判定部５４は、ドア１２，１２の車室側の面に対する乗客の視線の角度θ（以下適宜、視線角度θと記載する）を求める。例えば視線角度θ＝９０°であれば乗客はドア１２，１２に正対する。また例えば視線角度θ＝０°または１８０°であれば、乗客の視線は車両前方または後方に向けられている。

乗客寄り掛かり判定部５４は、頭部姿勢推定部５３から送られた顔領域画像データに基づいて、視線角度θが所定の角度範囲以内、例えば４５°以上１３５°以下の範囲に収まっていれば、当該視線の乗客はドア１２，１２に寄り掛かっていないと判定する。一方、視線角度θが０°以上４５°未満、及び、１３５°以上３６０°未満である乗客について、乗客寄り掛かり判定部５４は、ドア１２，１２に寄り掛かっていると判定する。この乗客の寄り掛かり有無判定の結果は、ドア制御部５７に送られる。

ドア制御部５７は、ドア１２，１２を開閉するドア開閉モータ４９の駆動制御を行う。ドア制御部５７は、乗客寄り掛かり判定部５４から乗客の寄り掛かり有無の判定結果を受信し、また、後述される荷物寄り掛かり判定部５６から荷物の寄り掛かり有無の判定結果を受信する。乗客寄り掛かり判定部５４から乗客の寄り掛かりが無いとの判定結果を受け、かつ、荷物寄り掛かり判定部５６から荷物の寄り掛かりが無いとの判定結果を受けると、ドア制御部５７は、予め定められた通常開放速度でドア１２，１２を開放するように、ドア開閉モータ４９を制御する。

一方、ドア制御部５７は、乗客寄り掛かり判定部５４から乗客の寄り掛かり有りとの判定結果を受けるか、または、荷物寄り掛かり判定部５６から荷物の寄り掛かり有りとの判定結果を受けると、通常開放速度よりも遅い注意喚起速度でドア１２，１２を開放するように、ドア開閉モータ４９を制御する。例えば注意喚起速度は通常開放速度の半分の速度に設定される。

後述されるように、ドア１２，１２への寄り掛かりを解消するために、警告器４８により警告が出力される。これに対してドア１２，１２に寄り掛かっている乗客（寄り掛かり客）が、例えば携帯端末のディスプレイを見ながらイヤフォンで音楽を聴いているような場合に、警告器４８による警告に気づかないおそれがある。

このような場合であっても、ドア１２，１２が動くことで、ドア１２，１２に寄り掛かっている乗客がこれに気付いてドア１２，１２から離れる可能性がある。そこでドア制御部５７は、ドア１２，１２の動作に寄り掛かり客が気づき、かつ、すぐには車外に転落しないような速度で、ドア１２，１２を開放させる。

ドア制御部５７がドア１２，１２の開放速度を注意喚起速度に設定すると、ドア制御部５７は警告器４８に警告発報指令を送信する。警告器４８は、ドア１２，１２の開放に先駆けて車室１４内に警告を発報する。警告は音声アナウンスでもよいし、車室内のディスプレイ等の表示部に表示される警告メッセージであってもよい。

図５を参照して、荷物認識部５５及び荷物寄り掛かり判定部５６により、ドア１２，１２周辺における荷物の寄り掛かりの有無が判定される。荷物認識部５５は、画像抽出部５１により抽出されたドア周辺領域２８（図３参照）の画像から、荷物画像領域が含まれるか否かを認識する。荷物認識部５５は、例えば畳み込みニューラルネットワーク（ＣＮＮ）を備える。

荷物認識部５５の畳み込みニューラルネットワークは、荷物画像を入力データとし、クラス名として荷物を出力データ（正解データ）とする教師データにより予め学習される。この教師データは学習済みモデル記憶部５８に記憶される。荷物認識部５５は、撮像器２４Ａ～２４Ｅによるすべてのドア周辺領域２８の画像（ドア周辺画像）から、荷物画像領域が含まれるか否かを認識する。

また、認識された荷物の車室１４内の３次元座標が、荷物認識部５５により求められる。これは例えば顔認識部５２と同様に、撮像器２４Ａ～２４Ｅのうち２台を用いたステレオカメラシステムにより求めることができる。例えば荷物認識部５５は、撮像器２４Ａ～２４Ｅのうち任意の２台の組み合わせを選択し、それぞれの撮像画像から認識された荷物画像領域の３次元座標を求める。荷物認識部５５は、荷物画像領域とその３次元座標のデータを荷物寄り掛かり判定部５６に送信する。

また、荷物寄り掛かりの有無判定では、荷物の向きは考慮されない。例えば図１０には、乗客６０Ｄが荷物６２Ａを椅子代わりにして座るとともに荷物６２Ｂをドア１２，１２に寄せ掛けている、車室１４内の図が例示される。

荷物６２Ｂはドア１２，１２に寄り掛かっており、乗客６０Ｄがドア１２，１２から荷物６２Ｂを移動させなければ、ドア１２，１２の開放時に荷物６２Ｂは車外に放り出されるおそれがある。そこで後述されるように、警告の発報及び注意喚起速度でのドア１２，１２の開放により、乗客６０Ｄに対して荷物６２Ｂの移動が促される。

図５を参照して、荷物寄り掛かり判定部５６は、荷物の向きによらず、ドア１２，１２の近傍に置かれた荷物は、ドア１２，１２に寄り掛かっているものと判定する。つまり荷物寄り掛かり判定部５６は、荷物認識部５５により認識された荷物とドア１２，１２との近接距離に基づいて、荷物のドア１２，１２への寄り掛かりの有無を判定する。

例えば荷物寄り掛かり判定部５６は、荷物画像領域の代表点とドア１２，１２の代表点との距離が所定の距離以内（例えば５０ｃｍ）の荷物画像領域が有るか否かを判定する。荷物画像領域の代表点とは、例えば荷物画像領域の最上点であってよい。また、ドア１２，１２の代表点とは、例えば、ドア１２，１２の一方の、車両前後方向及び車両高さ方向の中心点であってよい。荷物の寄り掛かり判定の結果はドア制御部５７に送られる。

＜乗客寄り掛かり判定フロー＞
図８には、本実施形態に係る車両ドア寄り掛かり検出システム４０による、乗客寄り掛かり判定フローが例示される。走行中の車両１０の、停留所までの残り距離が所定のＡｍ（例えば１０ｍ）となったときに、画像抽出部５１は、撮像器２４Ａ～２４Ｅの撮像画像を取得する（Ｓ１０）。さらに画像抽出部５１は、取得した撮像画像から、ドア周辺領域２８（図３参照）を含む画像領域（ドア周辺画像）を抽出する（Ｓ１２）。

抽出されたドア周辺画像は顔認識部５２に送られる。顔認識部５２は、上述したような畳み込みニューラルネットワークを用いて、ドア周辺画像内における顔認識を行う（Ｓ１４）。ドア周辺画像内に乗客の顔画像が認識されなかった場合（Ｓ１６）、その認識処理結果は乗客寄り掛かり判定部５４に送られる。乗客寄り掛かり判定部５４は、寄り掛かり無しとの判定結果をドア制御部５７に送る。これを受けてドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ３２）。

一方、ステップＳ１６にて、乗客の顔画像が認識されると、顔認識部５２は認識された顔画像領域を示すデータを含んだドア周辺画像のデータを頭部姿勢推定部５３に送る。頭部姿勢推定部５３は、上述したような顔画像領域の特徴点（目、鼻、口の端点など）の位置関係から頭部姿勢、つまり顔の向き及び角度を推定する（Ｓ１８）。

さらに顔画像領域を示すデータに加えて、その顔の頭部姿勢情報が含まれたドア周辺画像データは、乗客寄り掛かり判定部５４に送られる。乗客寄り掛かり判定部５４は、上述したような視線角度θを求め、これに基づいて、乗客がドア１２，１２に寄り掛かっているか否かを判定する（Ｓ２０）。この寄り掛かり判定は、撮像器２４Ａ～２４Ｅによる撮像画像のうち顔画像領域が認識されたすべての画像の、すべての顔画像領域に対して実行される。

乗客寄り掛かり判定部５４により、いずれの顔画像領域に対しても、ドア１２，１２への寄り掛かり無しと判定された場合には、寄り掛かり無しとの判定結果がドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ３２）。

一方、いずれかの顔画像領域に対して、ドア１２，１２への寄り掛かり有りと判定されると、乗客寄り掛かり判定部５４は、寄り掛かり有りとの判定結果をドア制御部５７に送信する。これを受けてドア制御部５７は、警告発報指令を警告器４８に送信する。これを受けて警告器４８は、ドア１２，１２の開放より前に、車室１４内にて警告（警告音または警告メッセージ）を出力（発報）する（Ｓ２２）。

警告発報後、撮像器２４Ａ～２４Ｅは車室１４内を撮像する。この撮像画像に基づいて、画像抽出部５１、顔認識部５２、頭部姿勢推定部５３、及び乗客寄り掛かり判定部５４による寄り掛かり判定が実行される（Ｓ２４）。この判定により、乗客の寄り掛かり無しと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ３２）。

一方、ステップＳ２４にて、乗客寄り掛かり判定部５４により、依然として乗客のドア寄り掛かり有りと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、注意喚起速度を設定する（Ｓ２６）。

ドア制御部５７によりドア開閉モータが制御され、注意喚起速度にてドア１２，１２が開放される。この開放期間中に、撮像器２４Ａ～２４Ｅは車室１４内を撮像する。この撮像画像に基づいて、画像抽出部５１、顔認識部５２、頭部姿勢推定部５３、及び乗客寄り掛かり判定部５４による寄り掛かり判定が実行される（Ｓ２８）。この判定により、乗客の寄り掛かり無し、つまり乗客の寄り掛かりが解消されたと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ３２）。

一方、ステップＳ２８にて、乗客寄り掛かり判定部５４により、依然として乗客のドア寄り掛かり有りと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２を緊急停止させるとともに、車両１０の運行管理者に、乗客の寄り掛かりによりドア１２，１２の開放を中止した旨のメッセージを送信する（Ｓ３０）。

上述した実施形態によれば、ドア１２，１２への乗客の寄り掛かりを検出したときに、ドア１２，１２の開放前に警報を発報することで、寄り掛かりの解消が図られる。さらに警報発報によって寄り掛かりの解消が図られない場合は、注意喚起速度にてドア１２，１２を開放させることで、乗客のドア１２，１２からの離隔が積極的に促される。さらにこれらの手段によっても寄り掛かりが解消されない場合には、乗客保護のため、ドア１２，１２の開放が中止される。

＜乗客寄り掛かり判定フローの別例＞
図９には、本実施形態に係る車両ドア寄り掛かり検出システムによる、乗客寄り掛かり判定フローの別例が示される。図９のフローでは、要するに図８のフローと比較して条件分岐が省略されている。例えばこのフローは、乗客寄り掛かり判定フローの動作確認を行うときに実行される。また車室１４には、意図的にドア１２，１２に寄り掛かった乗客役の、例えば、保守点検の作業員が乗車し、撮像器２４Ａ～２４Ｅにその様子が撮像される。

図９では顔画像の認識有無の判定（Ｓ１６）が省略される。また乗客の寄り掛かり有無を判定するステップＳ２０，Ｓ２４，Ｓ２８に代えて、乗客がドア１２，１２に寄り掛かっていると判定するステップＳ３２，Ｓ３４，Ｓ３６が設けられる。

＜荷物寄り掛かり判定フロー＞
図１１には、本実施形態に係る車両ドア寄り掛かり検出システム４０による、荷物寄り掛かり判定フローが例示される。このフローは、図８の乗客寄り掛かりフローと並行して実行される。

走行中の車両１０の、停留所までの残り距離が所定のＡｍ（例えば１０ｍ）となったときに、画像抽出部５１は、撮像器２４Ａ～２４Ｅの撮像画像を取得する（Ｓ４０）。さらに画像抽出部５１は、取得した撮像画像から、ドア周辺領域２８（図３参照）を含む画像領域（ドア周辺画像）を抽出する（Ｓ４２）。

抽出されたドア周辺画像は荷物認識部５５に送られる。荷物認識部５５は、上述したような畳み込みニューラルネットワークを用いて、ドア周辺画像内における荷物認識を行う（Ｓ４４）。ドア周辺画像内に荷物画像が認識されかなった場合、その認識処理結果は荷物寄り掛かり判定部５６に送られる。荷物寄り掛かり判定部５６は、寄り掛かり無しとの判定結果をドア制御部５７に送る。これを受けてドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ５８）。

一方、ステップＳ４４にて荷物画像が認識されると、荷物認識部５５は認識された荷物画像領域を示すデータを含んだドア周辺画像のデータを荷物寄り掛かり判定部５６に送る。荷物寄り掛かり判定部５６は、認識された荷物がドア１２，１２に寄り掛かっているか（接しているか）否かを判定する（Ｓ４６）。

例えば荷物寄り掛かり判定部５６は、上述した荷物画像領域の代表点とドア１２，１２の代表点との距離が所定の距離以内の荷物画像領域が有るか否かを判定する。この寄り掛かり判定は、撮像器２４Ａ～２４Ｅによる撮像画像のうち顔画像領域が認識されたすべての画像の、すべての荷物画像領域に対して実行される。

荷物寄り掛かり判定部５６により、いずれの荷物画像領域に対しても、ドア１２，１２への寄り掛かり無しと判定された場合には、寄り掛かり無しとの判定結果がドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ５８）。

一方、いずれかの荷物画像領域に対して、ドア１２，１２への寄り掛かり有りと判定されると、荷物寄り掛かり判定部５６は、寄り掛かり有りとの判定結果をドア制御部５７に送信する。これを受けてドア制御部５７は、警告発報指令を警告器４８に送信する。これを受けて警告器４８は、ドア１２，１２の開放より前に、車室１４に向けて警告（警告音または警告メッセージ）を出力（発報）する（Ｓ４８）。

警告発報後、撮像器２４Ａ～２４Ｅは車室１４内を撮像する。この撮像画像に基づいて、画像抽出部５１、荷物認識部５５、及び荷物寄り掛かり判定部５６による寄り掛かり判定が実行される（Ｓ５０）。この判定により、荷物の寄り掛かり無しと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ５８）。

一方、ステップＳ５０にて、荷物寄り掛かり判定部５６により、依然として荷物のドア寄り掛かり有りと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、注意喚起速度を設定する（Ｓ５２）。

ドア制御部５７によりドア開閉モータ４９が制御され、注意喚起速度にてドア１２，１２が開放される。この開放期間中に、撮像器２４Ａ～２４Ｅは車室１４内を撮像する。この撮像画像に基づいて、画像抽出部５１、荷物認識部５５、及び荷物寄り掛かり判定部５６による寄り掛かり判定が実行される（Ｓ５４）。この判定により、荷物の寄り掛かり無し、つまり荷物の寄り掛かりが解消されたと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２の開放速度として、通常開放速度を設定する（Ｓ５８）。

一方、ステップＳ５４にて、荷物寄り掛かり判定部５６により、依然として荷物のドア寄り掛かり有りと判定されると、その判定結果はドア制御部５７に送られる。ドア制御部５７は、ドア１２，１２を緊急停止させるとともに、車両１０の運行管理者に、荷物の寄り掛かりによりドア１２，１２の開放を中止した旨のメッセージを送信する（Ｓ５６）。

上述した実施形態によれば、ドア１２，１２への荷物の寄り掛かりを検出したときに、ドア１２，１２の開放前に警報を発報することで、寄り掛かりの解消が図られる。さらに警報発報によって寄り掛かりの解消が図られない場合は、注意喚起速度にてドア１２，１２を開放させることで、荷物のドア１２，１２からの離隔が積極的に促される。さらにこれらの手段によっても寄り掛かりが解消されない場合には、荷物保護のため、ドア１２，１２の開放が中止される。

なお、図8に例示された乗客寄り掛かり判定フローと、図１１に例示された荷物寄り掛かり判定フローとで、ドア制御部５７における設定速度が異なる場合がある。例えば一方のフローにて注意喚起速度が設定され、他方のフローでは通常開放速度が設定される場合がある。このように設定速度が競合する場合には、注意喚起速度が優先的に選択されるように、ドア制御部５７内の処理が定められる。

また、図８に例示された乗客寄り掛かり判定フローと、図１１に例示された荷物寄り掛かり判定フローとを並行に実行させた場合に、一方が他方に対して遅延して、設定速度の出力にタイムラグが生じる場合がある。この場合、例えばドア制御部５７は、図８のステップＳ２４と図１１のステップＳ５０の、両者の出力を待って、ドア１２，１２の開放速度を設定してもよい。

＜荷物寄り掛かり判定フローの別例＞
図１２には、本実施形態に係る車両ドア寄り掛かり検出システムによる、荷物寄り掛かり判定フローの別例が示される。この例では、要するに図１１のフローと比較して条件分岐が省略されている。例えばこのフローは、荷物寄り掛かり判定フローの動作確認を行うときに実行される。また車室１４には、意図的にドア１２，１２に荷物を寄せ掛け、撮像器２４Ａ～２４Ｅにその様子が撮像される。

また、図１１では荷物画像の認識有無の判定（Ｓ４４）と、荷物の寄り掛かり有無を判定するステップＳ４６，Ｓ５０，Ｓ５４に代えて、荷物がドア１２，１２に寄り掛かっていると判定するステップＳ６０，Ｓ６２，Ｓ６４，Ｓ６６が設けられる。

なお、上述の実施形態では、乗客及び荷物の少なくとも一方の寄り掛かり有りと判定されたときに、まず警告器４８による警告が発報され、それでも寄り掛かりが解消されなかった場合に、注意喚起速度でドア１２，１２が開放されていたが、本実施形態に係る車両ドア寄り掛かり検出システム４０は、この形態に限られない。例えば、警告の発報が省略され、注意喚起速度でのドア１２，１２の開放のみが実行されてもよい。また、警告の発報と同時に、注意喚起速度にてドア１２，１２が開放されてもよい。

１０ 車両、１２ ドア、１４ 車室、１６ 乗降口、２０ 車室床、２１ 座席、２４Ａ～２４Ｅ 撮像器、２８ ドア周辺領域、４０ 寄り掛かり検出システム、４８ 警告器、４９ ドア開閉モータ、５０ 判定器、５１ 画像抽出部、５２ 顔認識部、５３ 頭部姿勢推定部、５４ 乗客寄り掛かり判定部、５５ 荷物認識部、５６ 荷物寄り掛かり判定部、５７ ドア制御部、６０Ａ～６０Ｄ 乗客、６２Ａ，６２Ｂ 荷物。

Claims (6)

1. 車両のドア及び車室内の前記ドア周辺が撮像範囲に含まれる撮像器と、
   前記撮像器による撮像画像から、乗客または荷物のドア寄り掛かりの有無を判定する判定器と、
   を備え、
   前記判定器は、
   前記撮像画像から前記ドア周辺の乗客の顔を認識する顔認識部と、
   認識された顔の向きを推定する頭部姿勢推定部と、
   推定された顔の向きに基づいて、乗客のドア寄り掛かりの有無を判定する、乗客寄り掛かり判定部と、
   を備え、
   前記頭部姿勢推定部により推定された前記推定された顔の向きが、前記ドアを向く向きである場合に、前記乗客寄り掛かり判定部は、当該顔の向きの乗客に対して、前記ドアへの寄り掛かり無しと判定する、
   車両ドア寄り掛かり検出システム。
2. 請求項１に記載の、車両ドア寄り掛かり検出システムであって、
   前記顔認識部は、認識された前記乗客の顔画像領域の代表点と、前記ドアの代表点との距離を求め、当該距離が所定の距離以内である前記顔画像領域のデータを、前記頭部姿勢推定部に送る、
   車両ドア寄り掛かり検出システム。
3. 請求項１または２に記載の、車両ドア寄り掛かり検出システムであって、
   前記判定器は、
   前記撮像画像から前記ドア周辺の荷物を認識する荷物認識部と、
   認識された荷物と前記ドアとの近接距離に基づいて、荷物のドア寄り掛かりの有無を判定する、荷物寄り掛かり判定部と、
   を備える、車両ドア寄り掛かり検出システム。
4. 請求項１から３のいずれか一つに記載の、車両ドア寄り掛かり検出システムであって、
   前記判定器により、乗客または荷物のドア寄り掛かり有りと判定されたときに、前記ドアの開放前に警告を発報する警告器を備える、
   車両ドア寄り掛かり検出システム。
5. 請求項１から３のいずれか一つに記載の、車両ドア寄り掛かり検出システムであって、
   前記判定器により、乗客または荷物のドア寄り掛かり有りと判定されたときに、予め定められた通常開放速度よりも遅い注意喚起速度で前記ドアを開放させるドア制御部を備える、
   車両ドア寄り掛かり検出システム。
6. 請求項５に記載の、車両ドア寄り掛かり検出システムであって、
   前記判定器により、乗客または荷物のドア寄り掛かりが解消されたと判定されたときに、前記ドア制御部は、前記ドアを前記通常開放速度にて開放させる、
   車両ドア寄り掛かり検出システム。

Images