JP2016203910A - 乗員検知装置および乗員検知方法 - Google Patents

Abstract

【課題】車両に搭乗している乗員の位置を精度良く検知する。
【解決手段】自動車の車内において移動した乗員の移動経路を判定する乗員検知装置であって、車内を撮像した画像を取得する撮像手段と、前記撮像手段が撮像した複数の画像に基づいて、車内の乗員が、前記車内に仮想的に設けられた複数の仮想ゲートのうちのいずれかを通過したことを検出する検出手段と、前記仮想ゲートを通過した順番に基づいて、車内における乗員の移動経路を判定する経路判定手段と、を有する。
【選択図】図１

Description

本発明は、車両に搭乗している乗員を検知する技術に関する。

車両内において、搭乗している乗員の着座位置を検出する技術が知られている。車内のどの席に乗員が座っているかを検出することで、例えば、エアコンを調整して車内環境を向上させたり、エアバッグを制御して安全性を向上させたりすることができる。

これに関連する技術として、例えば、特許文献１には、車内を撮像した画像を用いて、どの座席に乗員が着座しているかを判定する乗員検知装置が記載されている。当該装置によると、個々のシートにセンサなどを設置した場合と比較して、低コストで乗員を検知することができる。

特開２０１２−１２７８１０号公報 特開２０１２−１２７８１１号公報

特許文献１に記載の装置では、撮像した画像を用いて、着座している乗員の頭部および肩部を検出している。しかし、車内に座席が複数列存在し、かつ、乗員の身長が低いような場合、前の座席に頭や肩が隠れてしまう場合がある。このような場合、乗員の検出が困難になり、着座位置を正しく判定できなくなる。

本発明は上記の問題点を考慮してなされたものであり、車両に搭乗している乗員の位置を精度良く検知する技術を提供することを目的とする。

本発明に係る乗員検知装置は、自動車の車内において移動した乗員の移動経路を判定する乗員検知装置であって、車内を撮像した画像を取得する撮像手段と、前記撮像手段が撮像した複数の画像に基づいて、車内の乗員が、前記車内に仮想的に設けられた複数の仮想ゲートのうちのいずれかを通過したことを検出する検出手段と、前記仮想ゲートを通過した順番に基づいて、車内における乗員の移動経路を判定する経路判定手段と、を有することを特徴とする。

本発明に係る乗員検知装置は、車内を撮像した単一の画像に基づいて乗員の着座位置を判定するのではなく、複数枚の画像に基づいて、車内にて乗員が移動した経路を判定する。
具体的には、車内に複数の仮想的なゲートを設け、乗員が当該ゲートを通過した順番によって、当該乗員がどのような経路で車内を移動したかを判定する。乗員の移動経路を判定することで、車内における乗員の位置を推定できるようになる。
なお、仮想ゲートは、車内で乗員が移動できる経路上であれば、どこに設けられていてもよい。例えば、座席と座席との境界に設けられていてもよいし、座席と通路との境界に設けられていてもよい。また、座席が複数列ある場合、列と列との境界に設けられていてもよい。また、画像は、距離画像であってもよいし、可視光による画像（輝度画像）であってもよい。

また、前記複数の仮想ゲートは、前記自動車が有しているドアに対応する面、前記自動車が有している座席と通路との境界に対応する面、前記自動車が有している、隣り合う座席同士の境界に対応する面、前記自動車が有している、複数列の座席の列同士の境界に対応する面、の少なくともいずれかに対応する位置に配置されることを特徴としてもよい。

仮想ゲートは、乗員が、座席間、もしくは、座席と車外とを行き来する際に通過する箇所に設けられている面であることが好ましい。このような場所として、隣り合う座席同士の境界や、列同士の境界、座席と通路の境界などがある。

また、前記撮像手段は、判定対象の乗員が車内を移動していない状態で撮像された第一の画像と、当該乗員が車内を移動中の状態で連続して撮像された複数の第二の画像とを取得し、前記検出手段は、前記第一の画像と、前記複数の第二の画像とを比較した結果に基づいて、車内における前記乗員の位置の変化を取得し、前記位置の変化に基づいて、通過した仮想ゲートを特定することを特徴としてもよい。

乗員が通過した仮想ゲートを特定するためには、当該乗員の車内における位置を取得する必要がある。そこで、判定対象の乗員が移動していない状態と、移動中である状態とでそれぞれ画像を取得し、当該画像同士を比較することで、当該乗員の位置を取得することができる。例えば、撮像手段が距離画像を取得する場合、当該距離画像の差分を取得することで、乗員の体の位置を三次元空間内で推定することができる。
また、複数の第二の画像を用いて処理を行うことで、乗員の位置の変化を取得することができる。

また、前記検出手段は、取得した画像ごとに、判定対象の乗員を代表する点である代表点を決定し、前記代表点の位置に基づいて前記乗員の位置を判定することを特徴としてもよい。

乗員が車内で着席している場合であっても、体の一部のみが仮想ゲートを横切った状態となってしまう場合がある。これに起因する誤検出を防止するため、乗員の位置を代表点で表すようにしてもよい。代表点は、検出された体の重心や、体の中心部分に配置することが望ましいが、これ以外であってもよい。このようにすることで、検出精度を向上させることができる。

また、前記検出手段は、判定対象の乗員に対応する代表点を決定する際に、複数のオブジェクトが検出された場合に、当該複数のオブジェクトが同一人物に対応するものであるか否かを判定し、当該判定結果を考慮して代表点を決定することを特徴としてもよい。
また、前記検出手段は、前記複数のオブジェクトの動きを追跡した結果に基づいて、当該複数のオブジェクトが同一人物に対応するものであるか否かを判定することを特徴としてもよい。

乗員を検出する際に、一人の人間に対して複数のオブジェクトが検出される場合がある。例えば、前列のシートに胴体が隠れ、頭と足だけが見えている場合などである。このような場合、二つ以上のオブジェクトが検出されるため、乗員の位置を正しく判定できなくなるおそれがある。そこで、複数のオブジェクトが同一人物に対応するものであるか判定する処理を行うようにしてもよい。判定は、例えば、オブジェクトの動きに基づいて行ってもよいし、オブジェクトの色やテクスチャ等に基づいて行ってもよい。これにより、体の一部が隠れているような場合であっても、精度良く代表点を設定することができる。

また、本発明に係る乗員検知装置は、判定対象の乗員が、所定の時間以上静止したと判定した場合に、当該乗員が着座したものと判定する着座位置決定手段をさらに有すること
を特徴としてもよい。

所定の時間以上静止した場合とは、例えば、単位時間あたりの代表点の移動量が所定値以下であった場合や、代表点が所定の時間以上仮想ゲートを通過しなかった場合など、移動が完了したと判断できる場合である。このような場合、対応する乗員が着座したものと判定することができる。

また、前記撮像手段は、距離画像を取得するセンサであり、前記検出手段は、取得した距離画像に基づいて、判定対象の乗員の、車内における位置を検出することを特徴としてもよい。

距離画像を取得するセンサを用いることで、三次元空間内における乗員の体の位置を精度よく取得することができる。

また、前記撮像手段は、輝度画像を取得するカメラであり、前記検出手段は、取得した輝度画像に基づいて、判定対象の乗員の、カメラから見た方向を検出し、かつ、奥行き方向の情報を、座席と当該乗員との前後関係を判定することで取得することを特徴としてもよい。

撮像手段に、輝度画像（すなわち距離情報を含まない画像）を撮像するカメラを用いてもよい。ただしこの場合、距離画像と異なり、奥行き方向の情報を得ることができない。そこで、座席と乗員との前後関係を判定することで、乗員が何列目の座席にいるのかを推定する。前後関係は、例えば、画像上にある、座席に対応する領域と、乗員に対応する領域とが重なっているかを確認することで判定することができる。

また、本発明の別形態に係る乗員検知装置は、
自動車の車内において移動した乗員の移動経路を判定する乗員検知装置であって、車内を撮像した輝度画像を取得する撮像手段と、前記撮像手段が撮像した画像に基づいて、判定対象の乗員の、前記撮像手段から見た方向を検出する第一の検出手段と、前記撮像手段が撮像した画像に基づいて、車内にある座席と前記乗員との前後関係を判定することで、前記乗員の、奥行き方向の情報を検出する第二の検出手段と、前記第一および第二の検出手段の検出結果に基づいて、車内における乗員の位置を検出し、当該位置の変化に基づいて、車内における乗員の移動経路を判定する経路判定手段と、を有することを特徴としてもよい。

また、前記撮像手段は、判定対象の乗員が車内を移動していない状態で撮像された第一の画像と、当該乗員が車内を移動中の状態で連続して撮像された複数の第二の画像とを取得し、前記経路判定手段は、前記第一の画像と、前記複数の第二の画像とを比較した結果に基づいて、前記乗員に対応する領域である乗員領域の、画像上における位置の変化を取得し、かつ、前記乗員領域が、画像上において所定の位置を通過した場合に、前記第一および第二の検出手段によって、前記乗員の車内における位置を検出することを特徴としてもよい。

また、前記第二の検出手段は、前記乗員領域と、車内にある座席に対応する領域であるシート領域とが重なっているか否かを判定することで、前後関係を判定することを特徴としてもよい。

なお、本発明は、上記手段の少なくとも一部を含む乗員検知装置として特定することができる。また、本発明は、上記処理の少なくとも一部を含む乗員検知方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合
わせて実施することができる。

本発明によれば、車両に搭乗している乗員の位置を精度良く検知することができる。

実施形態に係る車両の座席配置を説明する図である。 第一の実施形態に係る乗員検知装置のシステム構成図である。 撮像部から見た車内を表す図である。 第一の実施形態における仮想ゲートの配置を説明する図である。 乗員の体の一部が座席に隠れた場合を例示する図である。 第一の実施形態に係る乗員検知装置の処理フローチャート図である。 第二の実施形態における基準線を説明する図である。 第二の実施形態において、深さ情報の判定を行う例である。

（第一の実施形態）
まず、本発明の前提となる、車両の座席配置について説明する。
本発明に係る乗員検知装置は、複数列の座席を有する車両に適用することができる。本実施形態では、図１に示したような、複数列のシートを有する乗用車（車両１０）を例に説明を行う。車両１０は、最前列に２席、中央列に２席、後部に３席の座席を有しており、最大７人が乗車することができる乗用車である。
また、車両１０は、ドア１１Ａ〜Ｄの４つのドアを有している。ドア１１Ａおよび１１Ｂがヒンジ式のドアであり、ドア１１Ｃおよび１１Ｄがスライド式のドアである。また、車両１０の室内はウォークスルー構造となっており、いずれかのドアから乗車した乗員が、通路を移動することで、任意の座席に着座することができる。

<システム構成>
第一の実施形態に係る乗員検知装置について、システム構成図である図２を参照しながら説明する。第一の実施形態に係る乗員検知装置は、自動車の車内における人の移動を検知し、どの座席に乗員が着座しているかを決定する装置である。第一の実施形態に係る乗員検知装置１００は、撮像部１０１、制御部１０２、出力部１０３からなる。

撮像部１０１は、車内を撮像する距離画像センサである。撮像部１０１は、図１で示したように、車両前方の中央部に配置される。なお、撮像部１０１は、例えばバックミラーの近傍など、車内を見渡せるような位置に配置されることが好ましい。図３は、距離画像センサから見た視野を表した図である。

制御部１０２は、本実施形態に係る乗員検知装置の制御を行う手段である。具体的には、撮像部１０１が連続して撮像した距離画像に基づいて、車内における乗員の移動経路を特定し、当該乗員の着座位置を決定する。
例えば、車両に人が乗車した場合、制御部１０２は、当該人物がどの座席に着席したかを判定する。また、車両から人が下車した場合、当該人物が、どの座席に座っていたかを判定する。これにより、乗員の着座状況（すなわち、どの座席に乗員が着座しているか）を検出することができる。

出力部１０３は、装置が行った検出の結果を、他のＥＣＵ（例えばエアバッグＥＣＵ等）に出力する手段である。なお、出力部１０３は、ディスプレイ等の表示装置とその制御手段を含んでいてもよい。

乗員検知装置１００は、ＣＰＵ（中央演算処理装置）、ＲＡＭ（Random Access Memory）、補助記憶装置（例えば、フラッシュメモリ、ハードディスク）、入力装置（例えば、マウス、タッチパネル）、表示装置などを有するコンピュータにより構成することができる。上述した各機能は、補助記憶装置に格納されたプログラムがＲＡＭにロードされ、ＣＰＵにより実行されることで実現されてもよい。また、上述した機能の一部又は全部は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などで実現してもよいし、他のコンピュータ（例えばクラウドサーバ）で処理してもよい。また、専用のハードウェア等を用いて実現してもよい。

<仮想ゲートの配置>
次に、仮想ゲートについて説明する。仮想ゲートとは、車内に配置された仮想的な二次元平面である。制御部１０２は、距離画像に基づいて、乗員が通過した仮想ゲートを特定し、その通過順に基づいて、移動経路を決定する。
図４は、仮想ゲートの配置を説明する図である。図に示したように、仮想ゲートは、車両のドアと平行する位置（Ｇ１，Ｇ３，Ｇ４，Ｇ７）、座席と通路との境界（Ｇ５，Ｇ６）、隣り合う座席同士の境界（Ｇ９，Ｇ１０）、複数列の座席の列同士の境界（Ｇ２，Ｇ８）に配置される。なお、仮想ゲートの高さは、乗員の体に対応する代表点が通過する位置よりも高くすることが好ましい。体の代表点については後ほど説明する。

本実施形態に係る乗員検知装置は、仮想ゲートを通過した順番によって、車内における乗員の移動を検出する。
例えば、距離画像によって検出された乗員が、Ｇ７，Ｇ６，Ｇ５という順で仮想ゲートを通過した場合、乗車してきた乗員がシート３に着座したことが推定できる。また、Ｇ７，Ｇ６，Ｇ８，Ｇ９という順で仮想ゲートを通過した場合、シート５に着座したことが推定できる。同様に、Ｇ８，Ｇ５，Ｇ４という順で仮想ゲートを通過した場合、シート６に着座していた乗員が下車したことが推定できる。

<乗員の位置推定>
乗員が仮想ゲートを通過したことを検出するためには、車内における当該乗員の位置を取得する必要がある。そこで、本実施形態に係る乗員検知装置は、以下のステップを実行することにより、乗員を代表する点（代表点）を算出したうえで、当該代表点が、二次元平面である仮想ゲートを通過したか否かを判定する。

（１）第一の画像を取得
まず、乗員の移動を検出するための比較元となる距離画像を取得する。ここで得られた画像を第一の画像と称する。第一の画像は、例えば、車内が無人の状態で撮像したものであるが、これに限られない。例えば、乗車を検出する場合、検出対象ではない乗員が着座している状態であってもよいし、降車を検出する場合、検出対象の乗員が着座している状態であってもよい。いずれの場合も、検出対象の乗員が移動を開始する前の画像であればよい。

（２）第二の画像を取得
次に、検出対象の乗員が移動中の状態において、距離画像を取得する。ここで得られた画像を第二の画像と称する。

（３）距離画像間の差分を取得
次に、第一の画像と、第二の画像との差分を取得する。この結果、三次元空間内において、検出対象の乗員の体が存在する領域（以下、乗員領域）を抽出することができる。
なお、距離画像は、距離センサから物体の表面までの距離を表す画像であるため、センサと正対していない部分（乗員の背面など）の形状を取得することはできない。また、乗
員の体の一部が座席に隠れていた場合、隠れた部分については、形状を取得することができない。例えば、図５に示したように、体の一部が欠けた状態となる場合がある。そこで、これらの情報を補完するための処理を行ってもよい。

例えば、頭、腕、肩など、基準となる体の一部を検出し、検出した部位を基準として体全体の位置を推定するようにしてもよい。また、一般的な体の形状を表す三次元モデルを予め記憶させておき、マッチングを行うことで体全体の位置を推定するようにしてもよい。
本ステップにより、車内において乗員の体が存在する領域を三次元情報として取得することができる。なお、乗員領域は、必ずしも三次元の情報である必要はなく、例えば、二次元平面で表されてもよいし、二次元平面に所定の厚みを加えたものであってもよい。また、乗員領域は、必ずしも乗員の体全体に対応する領域でなくてもよい。例えば、顔や胴体、上半身のみに対応する領域であってもよい。

（４）代表点の算出
次に、乗員領域に対応する代表点を算出する。代表点は、体の中心に位置する点であることが好ましく、例えば、乗員領域の重心点に配置することができるが、これに限られない。ただし、代表点が体の中心から離れると、座席を移動していないのに仮想ゲートを通過したと判定されてしまうことがあるため、できるだけ体の中心に近い位置にあることが好ましい。

このような代表点の算出を、複数の画像を取得しながら連続して行い、車内における代表点の座標を、予め定めた仮想ゲートの座標と比較することで、乗員がどの仮想ゲートを通過したかを判定することができる。また、通過した順番に基づいて、車内における乗員の位置を追跡することができる。

<処理フローチャート>
次に、第一の実施形態に係る乗員検知装置が行う具体的な処理について、処理フローチャートである図６を参照しながら説明する。図６に示した処理は、車両のドアが開錠されたタイミングで開始され、制御部１０２によって繰り返し実行される。

まず、ステップＳ１１で、撮像部１０１を介して第一の画像を撮像する。第一の画像は、乗員が移動していない状態であれば、どのタイミングで撮像されてもよい。例えば、車内が無人の状態で撮像されてもよいし、全ての乗員が着座している状態で撮像されてもよい。

次に、ステップＳ１２で、乗員が車内における移動を開始したか否かを決定する。乗員が移動を開始したか否かは、第一の画像に基づいて判定することができる。例えば、第一の画像を周期的に撮像し、画素値に所定量以上の変化があった場合に、乗員が移動を開始したと判定するようにしてもよい。また、画像上変化が無くても、いずれかのドアが開いたことを検出した場合、乗員が乗り込んできたと推定し、移動開始と判定してもよい。乗員が移動を開始したと判定した場合、処理はステップＳ１３へ遷移し、それ以外の場合は、処理はステップＳ１１へ遷移する。

次に、ステップＳ１３で、撮像部１０１を介して第二の画像を撮像する。
そして、ステップＳ１４で、第一の画像および第二の画像の差分を取得し、前述した方法によって乗員領域を決定する。
次に、ステップＳ１５で、前述した方法によって代表点の座標を算出する。算出した代表点の座標は、一時的に記憶される。なお、代表点の算出ができなかった場合、算出不能を表す値を生成し、記憶してもよい。

次に、ステップＳ１６で、一時的に記憶した代表点の座標と、仮想ゲートの座標とを照合して、通過した仮想ゲートがあるか否かを判定する。通過した仮想ゲートが無い場合、処理はステップＳ１８へ遷移し、通過した仮想ゲートがある場合、処理はステップＳ１７へ遷移する。

ステップＳ１７では、通過した仮想ゲートの番号と、通過方向を一時的に記憶する。
次に、ステップＳ１８で、乗員の移動が終了したか否かを判定する。例えば、算出した代表点の位置が、所定の期間にわたって静止した場合、移動終了と判定することができる。また、代表点の算出が所定の期間にわたってできなかった場合、移動終了と判定してもよい。例えば、乗員の体が前列の背もたれに隠れてしまったような場合、このようなケースに該当する。
乗員の移動が終了したと判定された場合、処理はステップＳ１９へ遷移する。それ以外の場合、処理はステップＳ１３へ遷移して、代表点の算出を繰り返す。

ステップＳ１９では、ステップＳ１７で一時的に記憶された情報（すなわち、仮想ゲートの番号と通過方向）に基づいて、乗員の移動軌跡を特定する。そして、どの座席に乗員が着座しているかを表す情報を更新する。
例えば、Ｇ７（左方向），Ｇ６（左方向），Ｇ８（上方向）という情報が記憶されていた場合、右側のスライドドアから乗車した乗員がシート６に着座したものと判定し、シート６に「在席」を表す値を割り当てる。また、Ｇ５（右方向），Ｇ６（右方向），Ｇ７（右方向）という情報が記憶されていた場合、シート３に着座していた乗員が右側のスライドドアから降車したものと判定し、シート３に「空席」を表す値を割り当てる。
着座位置を更新すると、処理は、所定のインターバルをおいて、再度ステップＳ１１から開始される。

以上説明したように、第一の実施形態に係る乗員検知装置は、距離画像センサを用いて、車内における乗員の位置を判定し、乗員が、仮想ゲートを通過した順番を判定することで、車内における移動を検出する。仮想ゲートは、距離画像センサから見える位置に配置されるため、乗員が、前列のシートに隠れるような位置に着座していたとしても、その位置を確実に判定することができる。

なお、本実施形態では、乗員が乗車するケースと降車するケースについて述べたが、車内での座席の移動も同様の方法で検出することができる。

（第二の実施形態）
第一の実施形態では、距離画像センサを用いて距離画像を取得し、乗員の位置を判定した。これに対し、第二の実施形態は、通常のカメラを用いて輝度画像を取得し、乗員の位置を判定する実施形態である。
第二の実施形態に係る乗員検知装置の構成は、撮像部１０１が、通常の可視光による輝度画像を撮像するカメラであるという点と、制御部１０２が行う処理が一部異なるという点を除き、第一の実施形態と同様である。

輝度画像を利用した場合、距離情報を得ることができないため、そのままでは乗員の奥行き方向の位置を特定することができない。そこで、第二の実施形態では、画像上で検出された乗員と、座席との前後関係を判定することで、乗員の奥行き方向の位置を判定する。
以下、図６のフローチャートにおける、第一の実施形態との相違点について説明する。

図７は、第二の実施形態において、撮像部１０１が撮像した画像の例である。第二の実
施形態では、ステップＳ１１およびＳ１３において、距離情報を有さない画像が取得される。
また、ステップＳ１４では、第一の画像および第二の画像の差分を取得する。これにより、カメラから見た乗員の方向が特定される。
また、ステップＳ１５では、当該乗員領域に対応する代表点を算出する。

ステップＳ１６では、Ｚ方向の座標を決定するため、画像中に複数の基準線を設定し、当該基準線を用いて、乗員が何列目の座席にいるかを判定する。

ここで、具体的な例を挙げて説明する。
第一の実施形態では、代表点が仮想ゲートを通過したか否かを判定したが、第二の実施形態では、まず、画像上で代表点が基準線を左右方向に横切ったか否かを判定する。
ここでは、乗員に対応する代表点が、基準線２を右から左に横切ったものとする。

代表点が基準線２を右から左に横切るのは、乗員がドア１０１Ｂまたは１０１Ｄから乗り込んだ場合である。しかし、奥行き方向の距離情報が無い場合、乗員がシート２にいるのか、シート４にいるのかが判定できない。そこで、制御部１０２は、取得した乗員領域と、予め設定された、画像中にシートが存在する領域（以下、シート領域）との関係を判定する。

例えば、図８（Ａ）のように、シート２に対応するシート領域に、乗員領域がオーバーラップしていない場合、乗員はシート２の後方に存在する、すなわち、シート４にいることがわかる。反対に、図８（Ｂ）のように、シート２に対応するシート領域に、乗員領域がオーバーラップしている場合、乗員はシート２にいることがわかる。

別の例として、乗員に対応する代表点が、基準線４を右から左に横切った場合を考える。代表点が基準線４を右から左に横切るのは、乗員がシート２から通路に出た場合と、乗員がシート４から通路に出た場合の二通りである。なお、三列目の座席については、別の基準線によって検出可能であるため、ここでは考慮しない。
制御部１０２は、まず、シート２に対応するシート領域と、乗員領域とがオーバーラップしているかを判定する。これにより、乗員が、シート２から移動したか、それ以外であるかが判定できる。後者の場合、続いて、シート４に対応するシート領域と、乗員領域とがオーバーラップしているかを判定する。これにより、乗員が、シート４から移動したか、それ以外であるかが判定できる。

図８（Ｃ）は、乗員領域が、シート４に対応するシート領域とオーバーラップしており、シート２に対応するシート領域とオーバーラップしていない場合の例である。この場合、乗員が、シート４から移動したことがわかる。
また、図８（Ｄ）は、乗員領域が、シート２に対応するシート領域とオーバーラップしている場合の例である。この場合、乗員が、シート２から移動したことがわかる。

別の例として、乗員に対応する代表点が、基準線６を右から左に横切った場合を考える。代表点が基準線６を右から左に横切るのは、乗員がシート７からシート６に移った場合と、乗員がシート４から通路に出た場合と、乗員がシート２から通路に出た場合の三通りである。このうち、後者二つについては、基準線４によって検出可能であるため、ここでは、乗員がシート７からシート６に移動したか否かのみを判定する。
制御部１０２は、シート４に対応するシート領域と、乗員領域とがオーバーラップしているかを判定する。これにより、乗員が、シート７から移動したか、それ以外であるかが判定できる。

図８（Ｅ）は、乗員領域が、シート４に対応するシート領域とオーバーラップしている場合の例である。この場合、乗員が、シート７以外から移動したことがわかる。
また、図８（Ｆ）は、乗員領域が、シート４に対応するシート領域とオーバーラップしていない場合の例である。この場合、乗員が、シート７から移動したことがわかる。

なお、奥行き方向の位置を特定した後の処理については、第一の実施形態と同様である。すなわち、仮想ゲートを通過した順番を特定し、移動経路を特定する。
このように、第二の実施形態では、画像中に複数の基準線を設定し、代表点が基準線を横切った場合に、対応する座席のシート領域と乗員領域とを比較して前後関係を判定し、奥行き方向の位置を特定する。これにより、距離画像センサを用いずとも、乗員の位置を取得することができる。

なお、本実施形態では、図７のように基準線を設定したが、カメラの画角や座席の配置によって、異なる基準線を設定してもよい。この場合、何列目に乗員がいるかを特定することができれば、乗員領域との比較を行うシート領域はどのように設定してもよい。
また、以上の説明では、基準線２，４，６について述べたが、基準線１，３，５についても同様の方法で判定を行うことができる。また、基準線を横切る方向が逆であった場合も、同様の方法で判定を行うことができる。
また、本実施形態では、車内における乗員の位置を取得するためのトリガとして、「代表点が基準線を横切った場合」を例示したが、これ以外を利用してもよい。例えば、乗員領域とシート領域との位置関係を周期的に監視してもよいし、基準線以外を用いてもよい。また、乗員領域が、画像上において所定の位置を通過した場合に、乗員の車内における位置を取得するようにしてもよい。

また、本実施形態では、可視光による輝度画像を撮像するカメラを例に挙げたが、距離情報を取得できないものであれば、撮像部１０１は、可視光像以外を撮像するカメラであってもよい。

（第三の実施形態）
第一および第二の実施形態では、第一の画像と第二の画像との差分を用いて乗員領域を決定し、乗員領域に対応する代表点を設定した。しかし、乗員領域は、必ずしも一つの閉じた領域とならない場合がある。
例えば、撮像部１０１が、赤外線方式を用いた距離画像センサであって、乗員が赤外線を吸収しやすい素材でできた衣服を着用している場合や、撮像部１０１が可視光像カメラであって、乗員が座席の背面と類似した色の衣服を着用している場合などである。このような場合、顔に対応する領域と、腕に対応する領域が分かれて検出されてしまうなど、乗員領域を正しく検出することができないケースが発生する。
第三の実施形態は、これに対応するものであり、乗員領域が複数検出された場合に、当該複数の領域が一人の人間に対応するものであるか否かを判定し、判定結果を考慮して代表点を設定する実施形態である。

第三の実施形態では、ステップＳ１４で、乗員領域が複数検出された場合に、当該複数の領域が、一人の人間に対応するものであるか否かを判定する。当該判定には、例えば、以下のような方法を用いることができる。
（１）領域に対応する色の類似度で判断する
複数の領域が有する色が互いに類似していた場合、同一人物に対応するものであると推定することができる。なお、第一の実施形態にこの方法を適用する場合、輝度画像を取得するカメラをさらに追加してもよい。
（２）領域に対応するテクスチャの類似度で判断する
複数の領域が有するテクスチャが互いに類似していた場合、同一人物に対応するもので
あると推定することができる。なお、第一の実施形態にこの方法を適用する場合、輝度画像を取得するカメラをさらに追加してもよい。
（３）領域の動きの類似度で判断する
複数の領域に対して、仮の代表点をそれぞれ設定して、当該複数の代表点の動きが類似しているかを判定する。この結果、類似していた場合、同一人物に対応するものであると推定することができる。このため、図６のフローチャートとは別に、更に複数の第二の画像を撮像するようにしてもよい。
（４）領域間の距離で判断する
複数の領域が近接している場合、同一人物に対応するものであると推定することができる。例えば、縦方向と横方向に閾値を設け、閾値以内であった場合に、同一人物に対応すると判定してもよい。閾値は、固定値であってもよいし、車内における位置に応じて重みを付けた値であってもよい。
この他にも、検出した乗員領域に対して人体のモデルを適用して、不自然な位置関係に無ければ、同一人物に対応するものであると推定してもよい。

第三の実施形態では、ステップＳ１４で、複数の領域が同一人物に対応するものであると判定した場合に、ステップＳ１５で、当該複数の領域に対して代表点を設定する。例えば、複数の領域の重心等を算出し、その中間点を代表点としてもよい。また、当該複数の領域が繋がっているものと仮定して、乗員領域を再生成したうえで重心等を算出してもよい。

以上説明したように、第三の実施形態では、代表点の設定における精度を向上させることができる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、第二の実施形態では、乗員の奥行き方向の位置を特定した後の処理については、第一の実施形態と同様であるとしたが、仮想ゲートの通過順を判定するステップは必須ではない。例えば、基準線の通過順と、当該基準線を通過した際の座席との前後関係についての情報を予め記憶させておき、当該情報に基づいて、車内における乗員の位置を直接判定するようにしてもよい。

１０ 車両
１１Ａ〜Ｄ ドア
１００ 乗員検知装置
１０１ 撮像部
１０２ 制御部
１０３ 出力部

Claims (13)

1. 自動車の車内において移動した乗員の移動経路を判定する乗員検知装置であって、
   車内を撮像した画像を取得する撮像手段と、
   前記撮像手段が撮像した複数の画像に基づいて、車内の乗員が、前記車内に仮想的に設けられた複数の仮想ゲートのうちのいずれかを通過したことを検出する検出手段と、
   前記仮想ゲートを通過した順番に基づいて、車内における乗員の移動経路を判定する経路判定手段と、
   を有する、乗員検知装置。
2. 前記複数の仮想ゲートは、
   前記自動車が有しているドアに対応する面、
   前記自動車が有している座席と通路との境界に対応する面、
   前記自動車が有している、隣り合う座席同士の境界に対応する面、
   前記自動車が有している、複数列の座席の列同士の境界に対応する面、
   の少なくともいずれかに対応する位置に配置される、
   請求項１に記載の乗員検知装置。
3. 前記撮像手段は、判定対象の乗員が車内を移動していない状態で撮像された第一の画像と、当該乗員が車内を移動中の状態で連続して撮像された複数の第二の画像とを取得し、
   前記検出手段は、前記第一の画像と、前記複数の第二の画像とを比較した結果に基づいて、車内における前記乗員の位置の変化を取得し、前記位置の変化に基づいて、通過した仮想ゲートを特定する、
   請求項１または２に記載の乗員検知装置。
4. 前記検出手段は、取得した画像ごとに、判定対象の乗員を代表する点である代表点を決定し、前記代表点の位置に基づいて前記乗員の位置を判定する
   請求項３に記載の乗員検知装置。
5. 前記検出手段は、判定対象の乗員に対応する代表点を決定する際に、複数のオブジェクトが検出された場合に、当該複数のオブジェクトが同一人物に対応するものであるか否かを判定し、当該判定結果を考慮して代表点を決定する、
   請求項４に記載の乗員検知装置。
6. 前記検出手段は、前記複数のオブジェクトの動きを追跡した結果に基づいて、当該複数のオブジェクトが同一人物に対応するものであるか否かを判定する、
   請求項５に記載の乗員検知装置。
7. 判定対象の乗員が、所定の時間以上静止したと判定した場合に、当該乗員が着座したものと判定する着座位置決定手段をさらに有する、
   請求項３から６のいずれかに記載の乗員検知装置。
8. 前記撮像手段は、距離画像を取得するセンサであり、
   前記検出手段は、取得した距離画像に基づいて、判定対象の乗員の、車内における位置を検出する、
   請求項３から７のいずれかに記載の乗員検知装置。
9. 前記撮像手段は、輝度画像を取得するカメラであり、
   前記検出手段は、取得した輝度画像に基づいて、判定対象の乗員の、カメラから見た方向を検出し、かつ、奥行き方向の情報を、座席と当該乗員との前後関係を判定することで
   取得する
   請求項３から７のいずれかに記載の乗員検知装置。
10. 自動車の車内において移動した乗員の移動経路を判定する乗員検知装置が行う乗員検知方法であって、
    車内を撮像した画像を取得する撮像ステップと、
    前記撮像ステップで撮像された複数の画像に基づいて、車内の乗員が、前記車内に仮想的に設けられた複数の仮想ゲートのうちのいずれかを通過したことを検出する検出ステップと、
    前記仮想ゲートを通過した順番に基づいて、車内における乗員の移動経路を判定する経路判定ステップと、
    を含む、乗員検知方法。
11. 自動車の車内において移動した乗員の移動経路を判定する乗員検知装置であって、
    車内を撮像した輝度画像を取得する撮像手段と、
    前記撮像手段が撮像した画像に基づいて、判定対象の乗員の、前記撮像手段から見た方向を検出する第一の検出手段と、
    前記撮像手段が撮像した画像に基づいて、車内にある座席と前記乗員との前後関係を判定することで、前記乗員の、奥行き方向の情報を検出する第二の検出手段と、
    前記第一および第二の検出手段の検出結果に基づいて、車内における乗員の位置を検出し、当該位置の変化に基づいて、車内における乗員の移動経路を判定する経路判定手段と、
    を有する、乗員検知装置。
12. 前記撮像手段は、判定対象の乗員が車内を移動していない状態で撮像された第一の画像と、当該乗員が車内を移動中の状態で連続して撮像された複数の第二の画像とを取得し、
    前記経路判定手段は、前記第一の画像と、前記複数の第二の画像とを比較した結果に基づいて、前記乗員に対応する領域である乗員領域の、画像上における位置の変化を取得し、かつ、前記乗員領域が、画像上において所定の位置を通過した場合に、前記第一および第二の検出手段によって、前記乗員の車内における位置を検出する、
    請求項１１に記載の乗員検知装置。
13. 前記第二の検出手段は、前記乗員領域と、車内にある座席に対応する領域であるシート領域とが重なっているか否かを判定することで、前後関係を判定する、
    請求項１２に記載の乗員検知装置。

Images