JPWO2019207625A1 - 乗員検知装置、乗員検知方法及び乗員検知システム - Google Patents

Abstract

乗員検知装置（１００）は、車室内撮像用のカメラ（２）による撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するキャリブレーション処理部（１３）と、キャリブレーション処理が終了したか否かを判定する終了判定部（１４）と、キャリブレーション処理の終了後に、画像データ及びキャリブレーション処理の結果を用いて第１乗員検知処理を実行する第１乗員検知処理部（１５）と、キャリブレーション処理の終了前に、画像データを用いてキャリブレーション処理が不要な第２乗員検知処理を実行する第２乗員検知処理部（１６）とを備える。

Description

本発明は、乗員検知装置、乗員検知方法及び乗員検知システムに関する。

従来、車室内撮像用のカメラによる撮像画像に対する画像認識処理を実行することにより、いわゆる「乗員検知」を実現するシステムが開発されている（例えば、特許文献１参照。）。乗員検知は、例えば、車両内の乗員の有無の検知、車両内に１人以上の乗員がいる場合における各乗員の乗車位置の検知、車両内に１人以上の乗員がいる場合における各乗員の体格の推定、及び車両内の各座席におけるチャイルドシートの設置有無の判定を含むものである。乗員検知の結果は、例えば、エアバッグの動作制御に用いられる。

特開２００９−１０７５２７号公報

エアバッグの動作制御等を適切に実行する観点から、例えばイグニッションスイッチがオンされたときの乗員検知は、車両が発進するよりも先に実行されるのが好適である。

ここで、例えば運転者が急いでいることにより、イグニッションスイッチがオンされてから車両が発進するまでの時間Ｔ１が短いことがある。これに対して、乗員検知が事前のキャリブレーションを要する方法によるものである場合、キャリブレーションにかかる時間Ｔ２が時間Ｔ１よりも長いことがある。これにより、乗員検知の実行タイミングが車両の発進タイミングに対して遅れて、エアバッグの動作制御等を適切に実行することができなくなるという問題があった。

本発明は、上記のような課題を解決するためになされたものであり、車両の発進等のイベントの発生タイミングに対する乗員検知の実行タイミングの遅れを抑制することができる乗員検知装置、乗員検知方法及び乗員検知システムを提供することを目的とする。

本発明の乗員検知装置は、車室内撮像用のカメラによる撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するキャリブレーション処理部と、キャリブレーション処理が終了したか否かを判定する終了判定部と、キャリブレーション処理の終了後に、画像データ及びキャリブレーション処理の結果を用いて第１乗員検知処理を実行する第１乗員検知処理部と、キャリブレーション処理の終了前に、画像データを用いてキャリブレーション処理が不要な第２乗員検知処理を実行する第２乗員検知処理部とを備えるものである。

本発明によれば、上記のように構成したので、車両の発進等のイベントの発生タイミングに対する乗員検知の実行タイミングの遅れを抑制することができる。

実施の形態１に係る乗員検知システムが車両に設けられている状態を示すブロック図である。 図２Ａは、車両におけるカメラの配置位置の一例及びカメラによる撮像可能範囲の一例を示す説明図であって、車両の上方から見た状態を示す説明図である。図２Ｂは、車両におけるカメラの配置位置の一例及びカメラによる撮像可能範囲の一例を示す説明図であって、車両の側方から見た状態を示す説明図である。 図３Ａは、実施の形態１に係る制御装置のハードウェア構成を示すブロック図である。図３Ｂは、実施の形態１に係る制御装置の他のハードウェア構成を示すブロック図である。 図４Ａは、実施の形態１に係る乗員検知装置の動作を示すフローチャートである。図４Ｂは、実施の形態１に係る乗員検知装置の他の動作を示すフローチャートである。 実施の形態２に係る乗員検知システムが車両に設けられている状態を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る乗員検知システムが車両に設けられている状態を示すブロック図である。図２は、車両におけるカメラの配置位置の一例及びカメラによる撮像可能範囲の一例を示す説明図である。図１及び図２を参照して、実施の形態１の乗員検知システム３００について説明する。

車両１は車室内撮像用のカメラ２を有している。カメラ２は、例えば、赤外線カメラ、可視光カメラ又は距離画像センサにより構成されている。カメラ２は、例えば、車両１のダッシュボード（より具体的にはセンタークラスター）に設けられている。

図２は、車両１におけるカメラ２の配置位置の一例及びカメラ２による撮像可能範囲Ａの一例を示している。図２に示す例においては、車両１内の全座席（より具体的には運転席、助手席及び後部座席）が撮像可能範囲Ａに含まれている。このため、車両１内の全座席がカメラ２による撮像対象となる。

車両１はセンサ類３を有している。センサ類３は、例えば、車両１におけるイグニッションスイッチのオンオフを検出するセンサ、車両１における各ドアの開閉を検出するセンサ、車両１の走行速度を検出するセンサ、車両１における各座席の座面部に設けられている荷重センサ（いわゆる「着座センサ」）、又は車両１における変速機のレンジ位置を検出するセンサのうちの少なくとも一つにより構成されている。

画像データ取得部１１は、カメラ２による撮像画像を示す画像データを所定の時間間隔にてカメラ２から取得するものである。この時間間隔は、例えば、カメラ２による撮像フレームレート等に応じて異なる値に設定されている。画像データ取得部１１は、当該取得された画像データをキャリブレーション処理部１３、第１乗員検知処理部１５及び第２乗員検知処理部１６に出力するものである。

開始判定部１２は、センサ類３による出力信号を用いて、車両１における所定のイベント（以下「開始イベント」という。）が発生したか否かを判定するものである。

具体的には、例えば、車両１におけるイグニッションスイッチがオンされたとき、開始判定部１２は開始イベントが発生したと判定する。

または、例えば、車両１における複数個のドアのうちのいずれか１個以上のドアの開閉が検出されたとき（より具体的には、まず、当該１個以上のドアが開き、次いで、当該１個以上のドアが閉じたとき）、開始判定部１２は開始イベントが発生したと判定する。

または、例えば、車両１の走行速度が所定速度（以下「基準速度」という。）を超えたとき、開始判定部１２は開始イベントが発生したと判定する。

または、例えば、車両１内の複数個の座席のうちのいずれか１個以上の座席に対する乗員の着座が検出されたとき、開始判定部１２は開始イベントが発生したと判定する。

または、例えば、車両１における変速機が他のレンジからドライブレンジに切り替えられたとき、開始判定部１２は開始イベントが発生したと判定する。

キャリブレーション処理部１３は、画像データ取得部１１により出力された画像データを用いて、第１乗員検知処理部１５による乗員検知処理（以下「第１乗員検知処理」という。）用のキャリブレーション処理を実行するものである。キャリブレーション処理部１３によるキャリブレーション処理は、開始判定部１２により開始イベントが発生したと判定されたときに開始される。

終了判定部１４は、キャリブレーション処理部１３がキャリブレーション処理を開始した後、キャリブレーション処理部１３によるキャリブレーション処理が終了したか否かを判定するものである。

第１乗員検知処理部１５は、終了判定部１４によりキャリブレーション処理が終了したと判定された場合、画像データ取得部１１により出力された画像データ及びキャリブレーション処理の結果を用いて第１乗員検知処理を実行するものである。すなわち、第１乗員検知処理は事前のキャリブレーション処理を要する方法によるものであり、キャリブレーション処理の終了後に実行されるものである。

第２乗員検知処理部１６は、終了判定部１４によりキャリブレーション処理が終了していないと判定された場合（すなわちキャリブレーション処理が実行中であると判定された場合）、画像データ取得部１１により出力された画像データを用いて乗員検知処理（以下「第２乗員検知処理」という。）を実行するものである。すなわち、第２乗員検知処理は事前のキャリブレーション処理が不要な方法によるものであり、キャリブレーション処理の終了前に実行されるものである。

第１乗員検知処理及び第２乗員検知処理の各々は、例えば、車両１内の乗員の有無の検知（以下「乗員検知」という。）、車両１内に１人以上の乗員がいる場合における各乗員の乗車位置の検知（以下「乗車位置検知」という。）、車両１内に１人以上の乗員がいる場合における各乗員の体格の推定（以下「体格検知」という。）、及び車両１内の各座席におけるチャイルドシートの設置有無の判定（以下「チャイルドシート検知」という。）を含むものである。

ここで、キャリブレーション処理、第１乗員検知処理及び第２乗員検知処理の具体例について説明する。

〈キャリブレーション処理の具体例〉
キャリブレーション処理部１３は、カメラ２による撮像画像に対する画像認識処理を実行することにより、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知に用いられる複数個の基準値Ｒを設定する。基準値Ｒは、例えば、各座席の位置に対応する値Ｒ_１、奥行き方向に対する個々の検知対象（乗員又はチャイルドシートなど）の位置に対応する値Ｒ_２、及び各座席の座面部の位置に対応する値Ｒ_３を含むものである。

〈第１乗員検知処理の具体例〉
第１乗員検知処理部１５は、カメラ２による撮像画像に対する画像認識処理を実行することにより、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知に用いられる複数個の要素に対応する複数個の値（以下「要素値」という。）Ｅを算出する。要素値Ｅは、例えば、各乗員の肩幅に対応する値Ｅ_１、各乗員の顔幅に対応する値Ｅ_２、各乗員の座高に対応する値Ｅ_３、及び各座席における凹凸形状などの特徴に対応する値Ｅ_４を含むものである。

次いで、第１乗員検知処理部１５は、キャリブレーション処理部１３により設定された基準値Ｒを用いて、個々の要素値Ｅをピクセル単位の値（すなわち撮像画像における値）Ｅからメートル単位の値（すなわち実空間における値）Ｅ’に変換するための係数αを算出する。第１乗員検知処理部１５は、係数αを用いて、個々の要素値Ｅを撮像画像における値Ｅから実空間における値Ｅ’に変換する。

次いで、第１乗員検知処理部１５は、変換後の要素値Ｅ’を用いて、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知を実行する。ただし、乗車位置検知及び体格検知は、乗員検知により１人以上の乗員が検知された場合（すなわち車両１内に１人以上の乗員がいる場合）にのみ実行される。

体格検知には、例えば、各乗員の肩幅に対応する要素値Ｅ_１’、各乗員の顔幅に対応する要素値Ｅ_２’及び各乗員の座高に対応する要素値Ｅ_３’が用いられる。例えば、乗員の体格が大人（例えば１４歳以上の者）の体格、子供（例えば６歳以上１３歳未満の者）の体格及び乳幼児（例えば１２歳未満の者）の体格の３種類に分類されるものとする。第１乗員検知処理部１５には、大人の体格に対応する要素値Ｅ_１’，Ｅ_２’，Ｅ_３’の各々の範囲と、子供の体格に対応する要素値Ｅ_１’，Ｅ_２’，Ｅ_３’の各々の範囲と、乳幼児の体格に対応する要素値Ｅ_１’，Ｅ_２’，Ｅ_３’の各々の範囲とを示すデータベースが予め記憶されている。このデータベースは、例えば、統計的手法により生成されたものである。第１乗員検知処理部１５は、個々の要素値Ｅ_１’がデータベースにおけるいずれの範囲内の値であるかを判定し、かつ、個々の要素値Ｅ_２’がデータベースにおけるいずれの範囲内の値であるかを判定し、かつ、個々の要素値Ｅ_３’がデータベースにおけるいずれの範囲内の値であるかを判定することにより、各乗員の体格が大人の体格、子供の体格又は乳幼児の体格のうちのいずれであるかを推定する。

チャイルドシート検知には、例えば、各乗員の顔幅に対応する要素値Ｅ_２’及び各座席における凹凸形状などの特徴に対応する要素値Ｅ_４が用いられる。すなわち、第１乗員検知処理部１５は、個々の要素値Ｅ_２’を所定の閾値と比較することにより、個々の要素値Ｅ_２’に対応する顔が乳幼児の顔であるか否かを判定する。また、第１乗員検知処理部１５は、個々の要素値Ｅ_４に対応する凹凸形状が包み込むようなエッジ形状（すなわち一般的なチャイルドシートが有するエッジ形状）であるか否かを判定する。第１乗員検知処理部１５は、これらの判定結果に基づき、各座席におけるチャイルドシートの設置有無を判定する。

〈第２乗員検知処理の具体例〉
辞書データ記憶部１７には、複数個の辞書データが予め記憶されている。複数個の辞書データは、例えば、機械学習により生成されたものである。複数個の辞書データの各々は、カメラ２による撮像画像を示す画像データに対する比較対象となるものである。複数個の辞書データは、互いに異なる車両１内の状態に対応するものである。より具体的には、複数個の辞書データは、車両１内の乗員の人数、車両１内の各乗員の乗車位置、車両１内の各乗員の体格及び車両１内の各座席におけるチャイルドシートの設置有無などが互いに異なる種々の状態に対応するものである。

第２乗員検知処理部１６は、辞書データ記憶部１７に記憶されている複数個の辞書データを辞書データ記憶部１７から取得する。第２乗員検知処理部１６は、画像データ取得部１１により出力された画像データを、当該取得された複数個の辞書データの各々と比較する。第２乗員検知処理部１６は、複数個の辞書データのうち、画像データに対する類似度が最も高い１個の辞書データを選択する。これにより、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知が実現される。

すなわち、第２乗員検知処理は、いわゆる「パターン認識」によるものである。このため、第２乗員検知処理は、第１乗員検知処理に比して各乗員の姿勢変化に対する堅牢性が低く、検知精度も低いものである。換言すれば、第１乗員検知処理は、第２乗員検知処理に比して各乗員の姿勢変化に対する堅牢性が高く、検知精度も高いものでる。

結果情報記憶部１８は、第１乗員検知処理部１５が第１乗員検知処理を実行したとき、この第１乗員検知処理の結果を示す情報を記憶するものである。また、結果情報記憶部１８は、第２乗員検知処理部１６が第２乗員検知処理を実行したとき、この第２乗員検知処理の結果を示す情報を記憶するものである。以下、結果情報記憶部１８に記憶される情報を「結果情報」と総称する。

エアバッグ制御装置４は、結果情報記憶部１８に記憶されている結果情報を結果情報記憶部１８から取得するものである。エアバッグ制御装置４は、当該取得された結果情報を用いて、車両１におけるエアバッグの動作を制御するものである。

具体的には、例えば、エアバッグ制御装置４は、体格検知の結果に基づき、乳幼児が着座している座席に対応するエアバッグの動作を無効化する。また、例えば、エアバッグ制御装置４は、チャイルドシート検知の結果に基づき、チャイルドシートが設置されている座席に対応するエアバッグの動作を無効化する。

キャリブレーション処理部１３、終了判定部１４、第１乗員検知処理部１５及び第２乗員検知処理部１６により、乗員検知装置１００の要部が構成されている。画像データ取得部１１、開始判定部１２、辞書データ記憶部１７、結果情報記憶部１８及び乗員検知装置１００により、制御装置２００の要部が構成されている。カメラ２及び制御装置２００により、乗員検知システム３００の要部が構成されている。

次に、図３を参照して、制御装置２００の要部のハードウェア構成について説明する。

図３Ａに示す如く、制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ３１及びメモリ３２，３３を有している。メモリ３２には、当該コンピュータを画像データ取得部１１、開始判定部１２、キャリブレーション処理部１３、終了判定部１４、第１乗員検知処理部１５及び第２乗員検知処理部１６として機能させるためのプログラムが記憶されている。メモリ３２に記憶されているプログラムをプロセッサ３１が読み出して実行することにより、画像データ取得部１１、開始判定部１２、キャリブレーション処理部１３、終了判定部１４、第１乗員検知処理部１５及び第２乗員検知処理部１６の機能が実現される。また、辞書データ記憶部１７及び結果情報記憶部１８の機能はメモリ３３により実現される。

または、図３Ｂに示す如く、制御装置２００はメモリ３３及び処理回路３４を有するものであっても良い。この場合、画像データ取得部１１、開始判定部１２、キャリブレーション処理部１３、終了判定部１４、第１乗員検知処理部１５及び第２乗員検知処理部１６の機能が処理回路３４により実現されるものであっても良い。

または、制御装置２００はプロセッサ３１、メモリ３２，３３及び処理回路３４を有するものであっても良い（不図示）。この場合、画像データ取得部１１、開始判定部１２、キャリブレーション処理部１３、終了判定部１４、第１乗員検知処理部１５及び第２乗員検知処理部１６の機能のうちの一部の機能がプロセッサ３１及びメモリ３２により実現されて、残余の機能が処理回路３４により実現されるものであっても良い。

プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いたものである。

メモリ３２，３３は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ３２，３３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などを用いたものである。

処理回路３４は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。

次に、図４のフローチャートを参照して、乗員検知装置１００の動作について説明する。

開始判定部１２により開始イベントが発生したと判定されたとき、キャリブレーション処理部１３はキャリブレーション処理を開始する。その後、キャリブレーション処理部１３は、キャリブレーション処理が終了するまで継続してキャリブレーション処理を実行する（ステップＳＴ１）。キャリブレーション処理の具体例については既に説明したとおりであるため、再度の説明は省略する。

キャリブレーション処理部１３がキャリブレーション処理を開始した後、終了判定部１４は、キャリブレーション処理部１３によるキャリブレーション処理が終了したか否かを判定する（ステップＳＴ２）。

終了判定部１４によりキャリブレーション処理が終了したと判定された場合（ステップＳＴ２“ＹＥＳ”）、第１乗員検知処理部１５は第１乗員検知処理を実行する（ステップＳＴ３）。第１乗員検知処理の具体例は既に説明したとおりであるため、再度の説明は省略する。

他方、終了判定部１４によりキャリブレーション処理が終了していないと判定された場合（ステップＳＴ２“ＮＯ”）、第２乗員検知処理部１６は第２乗員検知処理を実行する（ステップＳＴ４）。第２乗員検知処理の具体例は既に説明したとおりであるため、再度の説明は省略する。

なお、ステップＳＴ２の判定結果が“ＮＯ”である場合、ステップＳＴ２，ＳＴ４の処理のバックグラウンドにてキャリブレーション処理が継続して実行される。そこで、終了判定部１４は、ステップＳＴ４の処理が実行された後、ステップＳＴ２“ＹＥＳ”と判定されるまでステップＳＴ２の処理を繰り返し実行するものであっても良い。そして、ステップＳＴ２“ＹＥＳ”と判定されたとき、第１乗員検知処理部１５がステップＳＴ３の処理を実行するものであっても良い。すなわち、キャリブレーション処理の終了前に第２乗員検知処理部１６が第２乗員検知処理を実行して、その後、キャリブレーション処理の終了後に第１乗員検知処理部１５が第１乗員検知処理を実行するものであっても良い。

このように、実施の形態１の乗員検知装置１００は、キャリブレーション処理の終了後に第１乗員検知処理を実行する第１乗員検知処理部１５に加えて、キャリブレーション処理の終了前に第２乗員検知処理を実行する第２乗員検知処理部１６を備える。これにより、第２乗員検知処理部１６に相当する機能部を有しない従来の乗員検知装置に比して、開始イベントが発生してから初回の乗員検知処理が実行されるまでの時間を短くすることができる。この結果、車両１の発進等のイベントの発生タイミングに対して乗員検知処理の実行タイミングが遅れるのを抑制することができる。

なお、車両１におけるカメラ２の配置位置は図２に示す例に限定されるものではなく、カメラ２による撮像可能範囲Ａは図２に示す例に限定されるものではない。例えば、車両１内の複数個の座席のうちの一部の座席（例えば運転席及び助手席）のみが撮像可能範囲Ａに含まれているものであっても良い。すなわち、車両１内の複数個の座席のうちの一部の座席のみがカメラ２による撮像対象となるものであっても良い。

また、センサ類３は上記の具体例に限定されるものではなく、開始イベントは上記の具体例に限定されるものではない。センサ類３は、車両１に設けられているセンサであれば、如何なるセンサを含むものであっても良い。また、センサ類３による出力信号を用いてその発生を判定可能なイベントであれば、如何なるイベントが開始イベントに設定されているものであっても良い。

また、第１乗員検知処理の内容は、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知に限定されるものではない。第１乗員検知処理は、これらの検知のうちのいずれか１個以上の検知を含むものであっても良い。また、第１乗員検知処理は、これらの検知と異なる他の検知を含むものであっても良い。

また、第２乗員検知処理の内容は、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知に限定されるものではない。第２乗員検知処理は、これらの検知のうちのいずれか１個以上の検知を含むものであっても良い。また、第２乗員検知処理は、これらの検知と異なる他の検知を含むものであっても良い。

また、第１乗員検知処理は事前のキャリブレーション処理を要する方法によるものであれば良く、第１乗員検知処理の方法は上記の具体例に限定されるものではない。また、第２乗員検知処理は事前のキャリブレーション処理が不要な方法によるものであれば良く、第２乗員検知処理の方法は上記の具体例に限定されるものではない。

また、キャリブレーション処理の内容及び方法は、第１乗員検知処理の内容及び方法に応じたものであれば良く、上記の具体例に限定されるものではない。

また、第１乗員検知処理及び第２乗員検知処理の結果の用途（すなわち結果情報の用途）は、エアバッグの動作制御に限定されるものではない。結果情報は、車両１における如何なる制御に用いられるものであっても良い。

以上のように、実施の形態１の乗員検知装置１００は、車室内撮像用のカメラ２による撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するキャリブレーション処理部１３と、キャリブレーション処理が終了したか否かを判定する終了判定部１４と、キャリブレーション処理の終了後に、画像データ及びキャリブレーション処理の結果を用いて第１乗員検知処理を実行する第１乗員検知処理部１５と、キャリブレーション処理の終了前に、画像データを用いてキャリブレーション処理が不要な第２乗員検知処理を実行する第２乗員検知処理部１６とを備える。これにより、車両１の発進等のイベントの発生タイミングに対して乗員検知処理の実行タイミングが遅れるのを抑制することができる。

また、第１乗員検知処理は、撮像画像に対する画像認識処理を実行することにより複数個の要素に対応する複数個の値（要素値）Ｅ’を算出するものであり、複数個の値（要素値）Ｅ’の算出は、複数個の基準値Ｒに基づくものであり、キャリブレーション処理は、撮像画像に対する画像認識処理を実行することにより複数個の基準値Ｒを設定するものである。これにより、各乗員の姿勢変化に対する堅牢性が高く、かつ、高精度な第１乗員検知処理を実現することができる。

また、第２乗員検知処理は、画像データと複数個の辞書データの各々との比較によるパターン認識に基づくものであり、複数個の辞書データは、機械学習により生成されたものである。これにより、第１条件検知処理に比して低精度であるものの、事前のキャリブレーション処理が不要な第２乗員検知処理を実現することができる。

また、実施の形態１の乗員検知方法は、キャリブレーション処理部１３が、車室内撮像用のカメラ２による撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するステップＳＴ１と、終了判定部１４が、キャリブレーション処理が終了したか否かを判定するステップＳＴ２と、第１乗員検知処理部１５が、キャリブレーション処理の終了後に、画像データ及びキャリブレーション処理の結果を用いて第１乗員検知処理を実行するステップＳＴ３と、第２乗員検知処理部１６が、キャリブレーション処理の終了前に、画像データを用いてキャリブレーション処理が不要な第２乗員検知処理を実行するステップＳＴ４とを備える。これにより、乗員検知装置１００による上記効果と同様の効果を得ることができる。

また、実施の形態１の乗員検知システム３００は、車室内撮像用のカメラ２と、カメラ２による撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するキャリブレーション処理部１３と、キャリブレーション処理が終了したか否かを判定する終了判定部１４と、キャリブレーション処理の終了後に、画像データ及びキャリブレーション処理の結果を用いて第１乗員検知処理を実行する第１乗員検知処理部１５と、キャリブレーション処理の終了前に、画像データを用いてキャリブレーション処理が不要な第２乗員検知処理を実行する第２乗員検知処理部１６とを有する乗員検知装置１００とを備える。これにより、乗員検知装置１００による上記効果と同様の効果を得ることができる。

実施の形態２．
図５は、実施の形態２に係る乗員検知システムが車両に設けられている状態を示すブロック図である。図５を参照して、実施の形態２の乗員検知システム３００ａについて説明する。なお、図５において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

乗員検知装置１００ａは、例えば開始判定部１２により開始イベントが発生したと判定されたとき、画像データ取得部１１により出力された画像データを用いて、車両１内の各乗員に対する個人認証処理を実行する機能を有している。

結果情報記憶部１８ａは、乗員検知装置１００ａが個人認証処理を実行したとき、この個人認証処理の結果を示す情報（すなわち結果情報）を記憶するものである。また、結果情報記憶部１８ａは、第１乗員検知処理部１５が第１乗員検知処理を実行したとき、この第１乗員検知処理の結果を示す情報（すなわち結果情報）を記憶するものでる。

ここで、第１乗員検知処理は、例えば、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知を含むものである。第１乗員検知処理における体格検知の結果を示す情報は、個人認証処理の結果を示す情報と関連付けて結果情報記憶部１８ａに記憶されるようになっている。すなわち、第１乗員検知処理における体格検知の結果を示す情報は、個人毎に結果情報記憶部１８ａに記憶されるようになっている。

第２乗員検知処理部１６ａは第２乗員検知処理を実行するものである。第２乗員検知処理は、例えば、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知を含むものである。第２乗員検知処理部１６ａによる乗員検知、乗車位置検知及びチャイルドシート検知の方法は、図１に示す第２乗員検知処理部１６による乗員検知、乗車位置検知及びチャイルドシート検知の方法と同様であるため（すなわちパターン認識によるものであるため）、再度の説明は省略する。

ここで、第２乗員検知処理部１６ａによる体格検知の方法は、図１に示す第２乗員検知処理部１６による体格検知の方法と異なるものである。すなわち、第２乗員検知処理部１６ａは、結果情報記憶部１８ａに記憶されている結果情報のうち、過去に実行された第１乗員検知処理における体格検知の結果を示す情報を結果情報記憶部１８ａから取得する。第２乗員検知処理部１６ａは、当該取得された情報を用いて、過去に実行された第１乗員検知処理における体格検知の結果であって、現在の車両１内の各乗員と同一の人物に対する体格検知の結果を第２乗員検知処理における体格検知の結果に用いる。これは、過去の第１乗員検知処理が実行されてから今回の第２乗員検知処理が実行されるまでの間に同一人物の体格が大きく変化する蓋然性は低いためである。

結果情報記憶部１８ａは、第２乗員検知処理部１６ａが第２乗員検知処理を実行したとき、この第２乗員検知処理の結果を示す情報（すなわち結果情報）を記憶するものである。ただし、第２乗員検知処理における体格検知の結果を示す情報は記憶対象から除外される。

キャリブレーション処理部１３、終了判定部１４、第１乗員検知処理部１５及び第２乗員検知処理部１６ａにより、乗員検知装置１００ａの要部が構成されている。画像データ取得部１１、開始判定部１２、辞書データ記憶部１７、結果情報記憶部１８ａ及び乗員検知装置１００ａにより、制御装置２００ａの要部が構成されている。カメラ２及び制御装置２００ａにより、乗員検知システム３００ａの要部が構成されている。

制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第２乗員検知処理部１６ａの機能はプロセッサ３１及びメモリ３２により実現されるものであっても良く、又は処理回路３４により実現されるものであっても良い。また、結果情報記憶部１８ａの機能はメモリ３３により実現される。

乗員検知装置１００ａの動作は、実施の形態１にて図４のフローチャートを参照して説明したものと同様であるため、図示及び説明を省略する。ただし、ステップＳＴ４において、第２乗員検知処理部１６ａは、過去に実行された第１乗員検知処理における体格検知の結果を第２乗員検知処理における体格検知の結果に用いるようになっている。

なお、現在の車両１内の各乗員と同一の人物に対する体格検知の結果を示す情報が結果情報記憶部１８ａに記憶されていない場合、第２乗員検知処理部１６ａは、図１に示す第２乗員検知処理部１６と同様のパターン認識による体格検知を実行するものであっても良い。この場合、第２乗員検知処理における体格検知の結果を示す情報が記憶対象に含まれるものであっても良い。

また、第１乗員検知処理の内容は、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知に限定されるものではない。第２乗員検知処理の内容は、乗員検知、乗車位置検知、体格検知及びチャイルドシート検知に限定されるものではない。第２乗員検知処理部１６ａは、体格検知と異なる他の検知について、過去に実行された第１乗員検知処理の結果を第２乗員検知処理の結果に用いるものであっても良い。

そのほか、乗員検知装置１００ａ、制御装置２００ａ及び乗員検知システム３００ａは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。

以上のように、実施の形態２の乗員検知装置１００ａにおいて、第２乗員検知処理は、過去に実行された第１乗員検知処理の結果を当該第２乗員検知処理の結果に用いるものである。これにより、例えば体格検知について、事前のキャリブレーション処理が不要であり、かつ、第１乗員検知処理と同等の精度を有する第２乗員検知処理を実現することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本発明の乗員検知装置、乗員検知方法及び乗員検知システムは、例えば、車両におけるエアバッグの動作制御に応用することができる。

１ 車両、２ カメラ、３ センサ類、４ エアバッグ制御装置、１１ 画像データ取得部、１２ 開始判定部、１３ キャリブレーション処理部、１４ 終了判定部、１５ 第１乗員検知処理部、１６，１６ａ 第２乗員検知処理部、１７ 辞書データ記憶部、１８，１８ａ 結果情報記憶部、３１ プロセッサ、３２ メモリ、３３ メモリ、３４ 処理回路、１００，１００ａ 乗員検知装置、２００，２００ａ 制御装置、３００，３００ａ 乗員検知システム。

Claims (15)

1. 車室内撮像用のカメラによる撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するキャリブレーション処理部と、
   前記キャリブレーション処理が終了したか否かを判定する終了判定部と、
   前記キャリブレーション処理の終了後に、前記画像データ及び前記キャリブレーション処理の結果を用いて前記第１乗員検知処理を実行する第１乗員検知処理部と、
   前記キャリブレーション処理の終了前に、前記画像データを用いて前記キャリブレーション処理が不要な第２乗員検知処理を実行する第２乗員検知処理部と、
   を備える乗員検知装置。
2. 前記キャリブレーション処理部は、車両におけるイグニッションスイッチがオンされたとき、前記キャリブレーション処理を開始することを特徴とする請求項１記載の乗員検知装置。
3. 前記キャリブレーション処理部は、車両におけるドアの開閉が検出されたとき、前記キャリブレーション処理を開始することを特徴とする請求項１記載の乗員検知装置。
4. 前記キャリブレーション処理部は、車両の走行速度が基準速度を超えたとき、前記キャリブレーション処理を開始することを特徴とする請求項１記載の乗員検知装置。
5. 前記キャリブレーション処理部は、車両内の座席に対する乗員の着座が検出されたとき、前記キャリブレーション処理を開始することを特徴とする請求項１記載の乗員検知装置。
6. 前記キャリブレーション処理部は、車両における変速機が他のレンジからドライブレンジに切り替えられたとき、前記キャリブレーション処理を開始することを特徴とする請求項１記載の乗員検知装置。
7. 前記第１乗員検知処理は、前記撮像画像に対する画像認識処理を実行することにより複数個の要素に対応する複数個の値を算出するものであり、
   前記複数個の値の算出は、複数個の基準値に基づくものであり、
   前記キャリブレーション処理は、前記撮像画像に対する画像認識処理を実行することにより前記複数個の基準値を設定するものである
   ことを特徴とする請求項１記載の乗員検知装置。
8. 前記第２乗員検知処理は、前記画像データと複数個の辞書データの各々との比較によるパターン認識に基づくものであり、
   前記複数個の辞書データは、機械学習により生成されたものである
   ことを特徴とする請求項１記載の乗員検知装置。
9. 前記第２乗員検知処理は、過去に実行された前記第１乗員検知処理の結果を当該第２乗員検知処理の結果に用いるものであることを特徴とする請求項１記載の乗員検知装置。
10. 前記第１乗員検知処理及び前記第２乗員検知処理の各々は、車両内の乗員の有無の検知を含むものであることを特徴とする請求項１記載の乗員検知装置。
11. 前記第１乗員検知処理及び前記第２乗員検知処理の各々は、車両内に１人以上の乗員がいる場合における各乗員の乗車位置の検知を含むものであることを特徴とする請求項１記載の乗員検知装置。
12. 前記第１乗員検知処理及び前記第２乗員検知処理の各々は、車両内に１人以上の乗員がいる場合における各乗員の体格の推定を含むものであることを特徴とする請求項１記載の乗員検知装置。
13. 前記第１乗員検知処理及び前記第２乗員検知処理の各々は、車両内の各座席におけるチャイルドシートの設置有無の判定を含むものであることを特徴とする請求項１記載の乗員検知装置。
14. キャリブレーション処理部が、車室内撮像用のカメラによる撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するステップと、
    終了判定部が、前記キャリブレーション処理が終了したか否かを判定するステップと、
    第１乗員検知処理部が、前記キャリブレーション処理の終了後に、前記画像データ及び前記キャリブレーション処理の結果を用いて前記第１乗員検知処理を実行するステップと、
    第２乗員検知処理部が、前記キャリブレーション処理の終了前に、前記画像データを用いて前記キャリブレーション処理が不要な第２乗員検知処理を実行するステップと、
    を備える乗員検知方法。
15. 車室内撮像用のカメラと、
    前記カメラによる撮像画像を示す画像データを用いて、第１乗員検知処理用のキャリブレーション処理を実行するキャリブレーション処理部と、前記キャリブレーション処理が終了したか否かを判定する終了判定部と、前記キャリブレーション処理の終了後に、前記画像データ及び前記キャリブレーション処理の結果を用いて前記第１乗員検知処理を実行する第１乗員検知処理部と、前記キャリブレーション処理の終了前に、前記画像データを用いて前記キャリブレーション処理が不要な第２乗員検知処理を実行する第２乗員検知処理部と、を有する乗員検知装置と、
    を備える乗員検知システム。

Images