JP7315006B2 - モニタリング装置 - Google Patents

Description

本開示は、モニタリング装置、特に、所定の器官を検出するためのモニタリング装置に関する。

従来、車両内のドライバの顔を撮影し、ドライバの目等の顔器官の位置をその撮影画像中で特定するモニタリング装置の技術が知られている。また、顔器官の位置に基づいて、ドライバの居眠り運転や脇見運転等を検出するためにドライバの目の開閉、視線等の目に関する動作状態をリアルタイムで検出して、ドライバへの注意喚起に繋げる技術が知られている（例えば、特許文献１参照）。

特開２００５－１８６５６号公報

モニタリング装置により顔及び顔器官の検出から視線の検出までを行うには、撮影手段として高画素のイメージセンサが必要である。しかしながら、高画素のイメージセンサを用いるがゆえに、従来の手法ではＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：電子制御ユニット）で構成される認識部における処理負荷がどうしても重くなってしまう。

また、モニタリングの対象ドライバが、眼鏡やサングラスを掛けている場合を想定する。この場合に、イメージセンサが撮影する顔の全体に対して適正露出となるような画像では、目周辺に関しては眼鏡やサングラスなどの影響によりアンダー露出となることが多い。そうすると、目周辺の画像のＳ／Ｎ比が悪くなり、結局、目開閉認識及び視線検出のためのアルゴリズムにおける、認識精度及び検出精度が低下してしまう。

以上の問題点を踏まえて、本開示は、認識部（ＥＣＵ）における目開閉認識及び視線検出のための処理負荷が軽いモニタリング装置を提供する。

更に、本開示は、露出条件を適宜制御することにより、目開閉認識精度及び視線検出精度を向上させるモニタリング装置を提供する。

本開示に係るモニタリング装置は、カメラと、及び、電子制御ユニットで構成される認識部とを備える。カメラは、イメージセンサと、イメージセンサが撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部に出力する画像圧縮部と、及び、イメージセンサが撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部に出力する画像切り出し部とを含む。認識部は、画像圧縮部が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部と、顔検出部が出力する顔枠データから顔の器官を検出する顔器官検出部と、及び、顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部とを含む。画像切り出し範囲決定部が切り出す所定の切り出し範囲は、目画像切り出し範囲決定部が決定する目を含む画像として切り出す範囲である。

本開示に係るモニタリング装置を利用することにより、認識部（ＥＣＵ）における目開閉認識及び視線検出のための処理負荷を軽くすることができる。

更に、本開示に係るモニタリング装置を利用することにより、例えば、対象ドライバが眼鏡やサングラスを掛けている場合であっても、目開閉認識精度及び視線検出精度が低下することがない。

実施の形態１に係るモニタリング装置の構成を示すブロック図である。 実施の形態１に係るモニタリング装置に含まれる、カメラと認識部とにおける処理シーケンスを示す図である。 実施の形態１に係るモニタリング装置に含まれる認識部における、顔検出部により検出される顔枠と、及び、目画像切り出し範囲決定部により決定される目画像切り出し範囲とを、説明するための図である。 実施の形態１に係るモニタリング装置に含まれるカメラが、認識部に対して出力する画像である、圧縮画像と切り出し画像を説明するための図である。 実施の形態２に係るモニタリング装置の構成を示すブロック図である。 図６（ａ）は、実施の形態１に係るモニタリング装置に含まれる認識部における、顔検出部により決定される顔枠と、及び、目画像切り出し範囲決定部により決定される目画像切り出し範囲とを、説明するための図である。図６（ｂ）は、図６（ａ）における顔枠内の輝度値ヒストグラムである。図６（ｃ）は、図６（ａ）における目画像切り出し範囲内の輝度値ヒストグラムである。 実施の形態２に係るモニタリング装置における、カメラでの露光と、カメラから認識部への画像データ転送と、認識部による画像データの認識と、並びに、認識部での露出条件及び切り出し範囲の決定並びにカメラへの設定と、からなるサイクルを、複数示す図である。 カメラと認識部（ＥＣＵ）とを含むモニタリング装置の車両（自動車）への搭載形態を示す図である。

以下、適宜図面を参照しながら、本発明に係る実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（適用例）
本開示に係るモニタリング装置が適用可能な例について、図８を用いて説明する。図８は、本開示に係るモニタリング装置１の適用例を示す図である。図８に示すように、本開示に係るモニタリング装置１は、例えば車両（自動車）に搭載され、カメラ２と、認識部４とを含む。

カメラ２は、高画素のイメージセンサや所定の電子回路を含む。図８に示すモニタリング装置１のカメラ２は、自動車内のステアリングホイールの近辺に設けられて、ドライバの表情を常時撮影している。カメラ２は、メータパネルの近辺やセンターコンソールの近辺に設けられてもよい。

認識部４は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：電子制御ユニット）で構成され、例えば、高画素のイメージセンサが撮影する画像からドライバの顔枠や顔器官を検出し、後で説明する、画像のための露出条件や画像における切り出し範囲を決定し、ドライバの目開閉の認識や視線の検出をリアルタイムで行い、検出結果及び認識結果を出力する。

本開示に係るモニタリング装置は、認識部における目開閉認識及び視線検出のための処理負荷を軽くすることができる。更に、本開示に係るモニタリング装置は、ドライバが眼鏡やサングラスを掛けている場合も、精度よく目開閉認識及び視線検出を行うことができる。

（構成例）
以下、モニタリング装置１の構成例としての実施の形態を説明する。

（実施の形態１）
（１．１．構成）
実施の形態１に係るモニタリング装置１の構成について、図１を用いて説明する。図１は、本実施の形態に係るモニタリング装置１の構成を示すブロック図である。

図１に示すように、本実施の形態に係るモニタリング装置１は、カメラ２と、認識部（ＥＣＵ）４とを含む。

カメラ２は、高画素のイメージセンサ３と、イメージセンサ３が撮影した画像を所定の圧縮比で圧縮する画像圧縮部６と、及び、イメージセンサ３が撮影した画像を、認識部４に含まれる（後で説明する）目画像切り出し範囲決定部１４により決定される切り出し範囲で切り出す、画像切り出し部８とを含む。イメージセンサ３は、例えば赤外線センサであってもよい。

画像圧縮部６における所定の圧縮比は、例えば、１／４であることが望ましく、このとき、２×２画素が１画素に圧縮されるビニング処理が行われる。つまり、画像圧縮部６は、縦９６０画素×横１２８０画素の元画像を、縦４８０画素×横６４０画素の画像に、圧縮する。勿論、所定の圧縮比は他の数値でもよく、例えば、１／９や１／１６等でもよい。画像圧縮部６は、例えば、２×２画素において４画素の平均値を算出して、１画素として出力する。圧縮の方法は、他のものであってもよい。

例えば、図４に示すように、画像圧縮部６は、イメージセンサ３が撮影した（ａ）元画像（縦９６０画素×横１２８０画素）を、（ｂ）縦４８０画素×横６４０画素の画像に、圧縮する。

画像切り出し部８における切り出し範囲は、後でも示すように、例えば、イメージセンサ３が撮影する画像における全画素の１／４の範囲であることが望ましい。つまり、画像切り出し部８は、縦９６０画素×横１２８０画素の元画像から、縦４８０画素×横６４０画素の範囲の画像を切り出すことが望ましい。勿論、切り出し範囲は、より狭い範囲でもよく、例えば、元画像の１／９の範囲でもよい。切り出し範囲が比較的大きければ、切り出し画像に目及び目の周辺の画像が確実に含まれることになる。切り出し範囲が比較的小さければ、認識部４における処理負荷が軽減されることになる。

例えば、図４に示すように、画像切り出し部８は、イメージセンサ３が撮影した（ａ）元画像（縦９６０画素×横１２８０画素）から、（ｃ）縦４８０画素×横６４０画素の範囲の画像を切り出す。

認識部４は、顔検出部１０と、顔器官検出部１２と、目画像切り出し範囲決定部１４と、目開閉認識及び視線検出部１６と、及び、認識結果出力部１８とを含む。顔検出部１０は、画像圧縮部６が出力する圧縮画像から顔の器官を含む顔枠を検出する。顔器官検出部１２は、顔検出部１０が出力する顔枠データから顔の器官を検出する。顔検出部１０と顔器官検出部１２とを設けることにより、後で説明する目画像切り出し範囲決定部１４が決定する切り出し範囲に、確実に目そのものの画像が含まれることになる。また、顔の器官の検出結果は、認識結果出力部１８にも転送される。なお、顔検出部１０と顔器官検出部１２とは、一つの部位として纏められてもよい。

図３の顔画像における長破線による矩形の枠は、顔検出部１０により検出される顔枠Ｆの例を示している。

目画像切り出し範囲決定部１４は、顔器官検出部１２が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する。切り出し範囲は、目そのものとその周囲の画像であり、イメージセンサ３が撮影する画像における全画素の、例えば、１／４の範囲である。前述のように、切り出し範囲はより狭い範囲でもよく、元画像の１／９の範囲でもよい。

図３の顔画像における点線による矩形の枠は、目画像切り出し範囲決定部１４により決定される切り出し範囲Ｅの例を示している。

目開閉認識及び視線検出部１６は、画像切り出し部８が出力する切り出し画像を入力して、切り出し画像内の目の開閉具合を認識し、目が開いていると認識すればその視線方向を検出する。目開閉の認識結果及び視線の検出結果は、認識結果出力部１８に転送される。

認識結果出力部１８は、顔器官検出部１２が出力する顔の器官の検出結果と、それと併せて、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果とを、例えば、外部の機器に出力する。或いは、認識結果出力部１８は、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果のみを、例えば、外部の機器に出力する。外部の機器は、例えば、ドライバへの警告装置であり、ここでの警告装置は、例えば、ドライバが目を閉じ続けているか否か（即ち、例えば、居眠りしているか否か）等を判断して、必要に応じてドライバに警告音を通告する。

（１．２．動作）
以上のように構成される本実施の形態に係るモニタリング装置１の動作について図２を用いて説明する。図２は、実施の形態１に係るモニタリング装置に含まれる、カメラと認識部とにおける処理シーケンスを示す図である。図２では、ステップＳ０２からステップＳ２２が示されているが、実際の動作ではこのステップＳ０２からステップＳ２２までが繰り返される。例えば、カメラが６０ｆｐｓ（フレーム／秒）で撮像を行うものである場合、１秒間あたりステップＳ０２からステップＳ２２までが３０回繰り返される。

先ず、カメラ２のイメージセンサ３が、ドライバの顔画像を撮影する（ステップＳ０２）。カメラ２の画像圧縮部６が、イメージセンサ３により撮影された顔画像を所定の圧縮比（例えば、１／４）で圧縮する（ステップＳ０４）（図４（ａ）及び（ｂ）参照。）。圧縮画像はカメラ２から認識部４に転送される。

顔検出部１０が、圧縮画像から顔の主要な器官を含む顔枠を検出し（ステップＳ０７）、顔器官検出部１２が、顔枠のデータから顔の器官を検出する（ステップＳ０８）（図３参照。）。目画像切り出し範囲決定部１４が、顔の器官に関するデータから、目を含む画像として切り出すべき、切り出し範囲を決定する（ステップＳ１０）。

切り出し範囲は認識部４からカメラ２に転送される（ステップＳ１４）。このとき、カメラ２のイメージセンサ３による、ドライバの顔画像の次の撮影（ステップＳ１２）が終わっていてもよい。

カメラ２の画像切り出し部８が、イメージセンサ３により撮影された次の顔画像を、切り出し範囲で切り出す（ステップＳ１６）（図４（ａ）及び（ｃ）参照。）。切り出し画像はカメラ２から認識部４に転送される（ステップＳ１８）。

目開閉認識及び視線検出部１６が、切り出し画像内の目の開閉具合を認識し、目が開いていると認識すればその視線方向を検出する（ステップＳ２０）。認識結果出力部１８が、顔器官検出部１２が出力する顔の器官の検出結果と、それと併せて、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果とを、外部に出力する。認識結果出力部１８は、目開閉認識及び視線検出部１６が出力する、切り出し画像内の目開閉の認識結果及び視線の検出結果のみを、外部に出力することもある（ステップＳ２２）。

前述のように、認識部４とカメラ２は、ステップＳ０２～ステップＳ２２を繰り返す。撮像（ステップＳ０２及びステップＳ１２）は夫々が、例えば、６０ｆｐｓで実行されるので、ステップＳ０２～ステップＳ２２は、例えば、毎秒３０回繰り返される。繰り返しの周期は、より長いものでもより短いものでもよい。

（１．３．まとめ）
以上のように、本実施の形態に係るモニタリング装置１は、カメラ２と、及び、電子制御ユニットで構成される認識部４とを備える。カメラ２は、イメージセンサ３と、イメージセンサ３が撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部４に出力する画像圧縮部６と、及び、イメージセンサ３が撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部に出力する画像切り出し部８とを含む。認識部４は、画像圧縮部６が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部１０と、顔検出部１０が出力する顔枠データから顔の器官を検出する顔器官検出部１２と、及び、顔器官検出部１２が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部１４とを含む。画像切り出し部８が切り出す所定の切り出し範囲は、目画像切り出し範囲決定部１４が決定する目を含む画像として切り出す範囲である。

以上のモニタリング装置１によると、カメラ２から認識部４に送られる画像のデータ量が、カメラ２で撮影される元画像の、例えば１／４以下になる。カメラ２からの圧縮画像と切り出し画像との二つの画像により、認識部４は一度、目開閉の認識と視線の検出を行うため、目開閉の認識と視線の検出の、一度あたりに要するデータ量は、例えば従来技術によるものの半分で済むことになる。つまり、認識部４がカメラ２のデータを一時的に保持するためのＲＡＭの容量は、例えば従来の１／４以下で済むことになり、更に、目開閉の認識と視線の検出のために必要なデータ量も、例えば１／４以下で済むことになる。よって、認識部４における目開閉認識及び視線検出のための処理負荷が大きく軽減される。

（実施の形態２）
次に、実施の形態２に係るモニタリング装置を説明する。実施の形態２に係るモニタリング装置は、上述の実施の形態１に係るモニタリング装置と略同様のものであり、両者の差異を中心に説明する。

（２．１．構成）
実施の形態２に係るモニタリング装置１の構成について、図５を用いて説明する。図５は、本実施の形態に係るモニタリング装置１の構成を示すブロック図である。

図５に示すように、実施の形態１と同様に、実施の形態２に係るモニタリング装置１は、カメラ２と、認識部（ＥＣＵ）４とを含む。実施の形態１と同様に、カメラ２は、イメージセンサ３と、画像圧縮部６と、及び、画像切り出し部８とを含む。実施の形態１と同様に、認識部４は、顔検出部１０と、顔器官検出部１２と、目開閉認識及び視線検出部１６と、及び、認識結果出力部１８とを含む。

更に加えて、本実施の形態に係るモニタリング装置１の認識部４は、顔画像露出条件決定部１１と、及び、目画像切り出し範囲及び露出条件決定部１５とを含む。目画像切り出し範囲及び露出条件決定部１５は、実施の形態１に係るモニタリング装置１の認識部４における目画像切り出し範囲決定部１４と置き換えて、設けられるものである。

顔画像露出条件決定部１１は、顔検出部１０が出力する顔枠の画像データにおける輝度分布に基づいて、次回以降の回（フレーム）の圧縮画像の元画像のための、イメージセンサ３による撮影の露出条件を決定する。顔画像露出条件決定部１１が、「次回以降の回の」圧縮画像の元画像のための撮影の露出条件を決定する理由は、圧縮画像のための「露光→画像転送→画像認識→露出条件決定→設定更新」の少なくとも１サイクルを経て、更新した露出条件が反映され得るからであり、その少なくとも１サイクルに、例えば、６０ｆｐｓにおける複数フレーム分の時間が必要になることがあるからである。圧縮画像のための「露光→画像転送→画像認識→露出条件決定→設定更新」のサイクルの動作については、図７を用いて後で詳細に説明する。

また、顔画像露出条件決定部１１が、顔枠の画像データにおける輝度分布から圧縮画像の元画像のための撮影の露出条件を、どのように決定するかについては、図６を用いて後で説明する。

目画像切り出し範囲及び露出条件決定部１５は、顔器官検出部１２が出力する顔の器官に関するデータから目を含む画像として切り出すべき範囲を決定する。更に、目画像切り出し範囲及び露出条件決定部１５は、目を含む画像としての切り出し範囲の画像データにおける輝度分布に基づいて、次回以降の回（フレーム）の、目を含む画像としての切り出し画像の元画像のための、イメージセンサ３による撮影の露出条件を決定する。目画像切り出し範囲及び露出条件決定部１５が、「次回以降の回の」切り出し画像の元画像のための撮影の露出条件を決定する理由は、上述の、顔画像露出条件決定部１１が「次回以降の回の」圧縮画像の元画像のための撮影の露出条件を決定する理由と同様である。切り出し画像のための「露光→画像転送→画像認識→露出条件決定→設定更新」のサイクルの動作についても、図７を用いて後で詳細に説明する。

また、目画像切り出し範囲及び露出条件決定部１５が、目を含む画像としての切り出し範囲の画像データにおける輝度分布から切り出し画像の元画像のための撮影の露出条件を、どのように決定するかについては、図６を用いて後で説明する。

イメージセンサ３は、顔画像露出条件決定部１１が決定する露出条件による撮影と、目画像切り出し範囲及び露出条件決定部１５が決定する露出条件による撮影と
を、交互に行う。顔画像露出条件決定部１１が決定する露出条件により撮影される画像は、画像圧縮部６を経て圧縮画像とされ、認識部４に転送される。目画像切り出し範囲及び露出条件決定部１５が決定する露出条件により撮影される画像は、画像切り出し部８を経て切り出し画像とされ、認識部４に転送される。

（２．１．１．顔画像露出条件決定部）
図６（ａ）の顔画像における長破線による矩形の枠は、顔検出部１０により検出される顔枠Ｆの例を示し、同じく図６（ａ）の顔画像における点線による矩形の枠は、目画像切り出し範囲及び露出条件決定部１５により決定される切り出し範囲Ｅの例を示している。図６（ｂ）は、顔枠Ｆ内における輝度値ヒストグラムであって、横軸は輝度値（０－２５５）を示し、縦軸は各輝度値の画素数を示している。

顔画像露出条件決定部１１は、顔枠の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように、露出条件を制御して決定する。顔画像の露出条件の決定について、以下、例を挙げて説明する。

ドライバが眼鏡やサングラスを着用している場合、カメラ２による撮影の際に、顔画像の眼鏡やサングラスの表面において、輝点が生じることが多い。眼鏡やサングラスの画像、及び、輝点の画像を含めた上で、顔画像や目を含む画像のための露出条件が決定されると、特に目周辺の画像においてアンダー露出となる（即ち、眼鏡やサングラスの画像が暗くなる）。そうすると目周辺の画像のＳ／Ｎ比が悪くなり、結局、目開閉認識及び視線検出のためのアルゴリズムにおける、認識精度及び検出精度が低下してしまう。

そこで、特に輝点の影響を排除すべく、顔画像露出条件決定部１１は、輝度値の高い方から所定の割合の画素を除去する。例えば、図６（ｂ）の輝度値ヒストグラムでは、顔画像露出条件決定部１１は、特に、少なくともαの部分の画素を除去する。顔画像露出条件決定部１１は、残余の輝度値ヒストグラムの中央値が、高い方に設定された閾値１より大きければ暗くなるように露出条件を制御し、低い方に設定された閾値２より小さければ明るくなるように露出条件を制御する。ここで、顔画像露出条件決定部１１は、残余の輝度値ヒストグラムの中央値の代わりに、特徴量として、残余のヒストグラムの平均値や最頻値を用いて、露出条件を制御してもよい。

顔画像露出条件決定部１１は、決定した露出条件をカメラ２に転送する。カメラ２では、転送された露出条件を、顔画像を含む圧縮画像の元画像を撮影するための露出条件として、設定更新する。

（２．１．２．目画像切り出し範囲及び露出条件決定部の、目画像露出条件決定について）
図６（ｃ）は、目画像切り出し範囲Ｅ内における輝度値ヒストグラムであって、横軸は輝度値（０－２５５）を示し、縦軸は各輝度値の画素数を示している。

目画像切り出し範囲及び露出条件決定部も、目の画像を含む目画像切り出し範囲の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように、露出条件を制御して決定する。目画像の露出条件の決定についても、以下、例を挙げて説明する。

目画像切り出し範囲及び露出条件決定部１５は、特に輝点の影響を排除すべく、輝度値の高い方から所定の割合の画素を除去する。例えば、図６（ｃ）の輝度値ヒストグラムでは、目画像切り出し範囲及び露出条件決定部１５は、特に、少なくともβの部分の画素を除去する。目画像切り出し範囲及び露出条件決定部１５は、残余の輝度値ヒストグラムの中央値が、高い方に設定された閾値３より大きければ暗くなるように露出条件を制御し、低い方に設定された閾値４より小さければ明るくなるように露出条件を制御する。ここで、目画像切り出し範囲及び露出条件決定部１５は、残余の輝度値ヒストグラムの中央値の代わりに、特徴量として、残余のヒストグラムの平均値や最頻値を用いて、露出条件を制御してもよい。

目画像切り出し範囲及び露出条件決定部１５は、決定した露出条件をカメラ２に転送する。カメラ２では、転送された露出条件を、目画像切り出し範囲の元画像を撮影するための露出条件として、設定更新する。

（２．２．動作）
以上のように構成される本実施の形態に係るモニタリング装置１の動作について、図７を用いて説明する。図７は、本実施の形態に係るモニタリング装置における、カメラ２での露光と、カメラ２から認識部４への画像データ転送と、認識部４による画像データの認識と、並びに、認識部４での露出条件及び切り出し範囲の決定並びにカメラ２への設定と、からなるサイクルを、複数示す図である。

図７において、１列目は、６０ｆｐｓ（周期１６．７ｍｓ）で、露光（露出）によりフレームが連続して撮影されていることを示す。（ｂ０）、（ｂ１）、（ｂ２）、（ｂ３）、（ｂ４）・・・は、圧縮画像に繋がる画像を示す。例えば、（ｂ１）「露出」は、カメラ２における画像（ｂ１）のための露出の発生を示す。（ｃ０）、（ｃ１）、（ｃ２）、（ｃ３）、（ｃ４）・・・は、切り出し画像に繋がる画像を示す。例えば、（ｃ１）「露出」は、カメラ２における画像（ｃ１）のための露出の発生を示す。１列目に示すように、圧縮画像に繋がる画像（（ｂ０）、（ｂ１）、（ｂ２）、（ｂ３）、（ｂ４）・・・）と、切り出し画像に繋がる画像（（ｃ０）、（ｃ１）、（ｃ２）、（ｃ３）、（ｃ４））とは、交互に撮影される（図４（ｂ）（ｃ）参照）。
図７において、２列目は、撮影された画像のデータが、カメラ２から認識部４へ転送されることを示す。

続く列にて、画像（ｂ１）に関して言うと、（ｂ１）「認識開始」は、認識部４において、画像（ｂ１）の圧縮画像の認識が開始することを示す。画像（ｂ１）の圧縮画像に対して、顔検出部１０が顔枠データの検出を行い、その顔枠の顔画像に基づいて顔画像露出条件決定部１１が、圧縮画像に繋がる画像のための、露出条件を決定する。決定された露出条件（ｂ１）は、次の圧縮画像に繋がる画像（ｂ２）のための露光に対する設定には、間に合わない。つまり、決定された露出条件（ｂ１）は、（ｂ２）「露出」に対する設定には、間に合わない。従って、決定された露出条件（ｂ１）は、次回以降の回の、圧縮画像に繋がる画像（ｂ３）のための露光に対して設定される。（ｂ１）「露出設定」から（ｂ３）への長破線は、その設定を示している。

また、画像（ｂ１）の圧縮画像に対して、顔器官検出部１２が顔器官データの検出を行い、その顔の器官に関するデータからに基づいて目画像切り出し範囲及び露出条件決定部１５が、切り出し画像に繋がる画像のための露出条件と、切り出し画像の切り出し範囲とを、決定する。決定された露出条件及び切り出し範囲（ｂ１）は、次の切り出し画像に繋がる画像（ｃ１）のための露光に対する設定、及び次の切り出し画像のための切り出し範囲の設定には、間に合わない。つまり、決定された露出条件及び切り出し範囲（ｂ１）は、（ｃ１）「露出」及び（ｃ１）「データ転送」に対する設定には、間に合わない。従って、決定された露出条件及び切り出し範囲（ｂ１）は、次回以降の回の、切り出し画像に繋がる画像（ｃ２）のための露光に対して設定され、次回以降の回の、切り出し画像（ｃ２）のための切り出し範囲に対して設定される。（ｂ１）「範囲指定」「露出設定」から（ｃ２）への点線は、それらの設定を示している。

以上と同様にして、画像（ｂ０）の圧縮画像に基づいて、決定された露出条件（ｂ０）は、次回以降の回の、圧縮画像に繋がる画像（ｂ２）のための露光に対して設定される。画像（ｂ０）の圧縮画像に基づいて、決定された露出条件及び切り出し範囲（ｂ０）は、次回以降の回の、切り出し画像に繋がる画像（ｃ１）のための露光に対して設定され、次回以降の回の、切り出し画像（ｃ１）のための切り出し範囲に対して設定される。
画像（ｂ２）の圧縮画像に基づいて、決定された露出条件（ｂ２）は、次回以降の回の、圧縮画像に繋がる画像（ｂ４）のための露光に対して設定される。画像（ｂ２）の圧縮画像に基づいて、決定された露出条件及び切り出し範囲（ｂ２）は、次回以降の回の、切り出し画像に繋がる画像（ｃ３）のための露光に対して設定され、次回以降の回の、切り出し画像（ｃ３）のための切り出し範囲に対して設定される。

なお、夫々の切り出し画像（ｃ０、ｃ１、ｃ２、ｃ３）に対しては、目開閉認識及び視線検出部１６により、切り出し画像内の目の開閉具合が認識され、且つ視線方向が検出され、認識結果出力部１８により、顔の器官の検出結果と、目開閉の認識結果及び視線の検出結果とが外部に出力される。

図７は、８フレーム程度の撮影期間における、モニタリング装置１の動作のサイクルを示す図であるので、実際には図７に示す動作のサイクルが多数回繰り返される。

（２．３．まとめ）
以上のように、本実施の形態に係るモニタリング装置１は、カメラ２と、及び、電子制御ユニットで構成される認識部４とを備える。カメラ２は、イメージセンサ３と、イメージセンサ３が撮影した画像を所定の圧縮比で圧縮し圧縮画像を認識部４に出力する画像圧縮部６と、及び、イメージセンサ３が撮影した画像を所定の切り出し範囲で切り出した切り出し画像を認識部４に出力する画像切り出し部とを含む。認識部４は、画像圧縮部６が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部１０と、顔検出部１０が出力する顔枠の画像データにおける輝度分布に基づいて、圧縮画像の元画像のための、イメージセンサ３による撮影の第１の露出条件を決定する顔画像露出条件決定部１１と、顔検出部１０が出力する顔枠データから顔の器官を検出する顔器官検出部１２と、及び、顔器官検出部１２が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定し、更に、目を含む画像としての切り出し範囲の画像データにおける輝度分布に基づいて、目を含む画像としての切り出し画像の元画像のための、イメージセンサ３による撮影の第２の露出条件を決定する目画像切り出し範囲及び露出条件決定部１５とを含む。画像切り出し部８が切り出す所定の切り出し範囲は、目画像切り出し範囲及び露出条件決定部１５が決定する目を含む画像として切り出す範囲である。イメージセンサ３は、顔画像露出条件決定部１１が決定する第１の露出条件による撮影と、目画像切り出し範囲及び露出条件決定部１５が決定する第２の露出条件による撮影とを、交互に行う。

以上のモニタリング装置１によると、カメラ２から認識部４に送られる画像のデータ量が、カメラ２で撮影される元画像の、例えば１／４以下になる。カメラ２からの圧縮画像と切り出し画像との二つの画像により、認識部４は一度、目開閉の認識と視線の検出を行うため、目開閉の認識と視線の検出の、一度あたりに要するデータ量は、例えば従来技術によるものの半分で済むことになる。つまり、認識部４がカメラ２のデータを一時的に保持するためのＲＡＭの容量は、例えば従来の１／４以下で済むことになり、更に、目開閉の認識と視線の検出のために必要なデータ量も、例えば１／４以下で済むことになる。よって、認識部４における目開閉認識及び視線検出のための処理負荷が大きく軽減される。

更に、以上のモニタリング装置１によると、顔枠の画像データにおける輝度値ヒストグラムや目周辺の画像データにおける輝度値ヒストグラム等に基づいて、露出条件が適宜制御されるので、例えば、対象ドライバが眼鏡やサングラスを掛けている場合であっても、目開閉認識精度及び視線検出精度が低下することがない。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１及び２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

また、上記の各実施の形態では、モニタリング装置１が自動車のドライバをモニタする例を示した。モニタリング装置１は他の用途に適用することもできる。例えば、工場作業者が集中して効率よく作業しているかどうかを監視する装置に適用され得る。また、カメラを駅や広場等に設置した上で、特定の人物を検出して、その人物の詳細な動作を検出する装置に適用され得る。

また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

1・・・モニタリング装置、２・・・カメラ、３・・・イメージセンサ、４・・・認識部、６・・・画像圧縮部、８・・・画像切り出し部、１０・・・顔検出部、１１・・・顔画像露出条件決定部、１２・・・顔器官検出部、１４・・・目画像切り出し範囲決定部、１５・・・目画像切り出し範囲及び露出条件決定部、１６・・・目開閉及び視線検出部、１８・・・認識結果出力部。

Claims (3)

1. カメラと、及び、電子制御ユニットで構成される認識部とを備え、
   前記カメラは、
   イメージセンサと、
   前記イメージセンサが撮影した画像を所定の圧縮比で圧縮し圧縮画像を前記認識部に出力する画像圧縮部と、及び、
   前記イメージセンサが撮影した画像を所定の切り出し範囲で切り出した切り出し画像を前記認識部に出力する画像切り出し部とを含み、
   前記認識部は、
   前記画像圧縮部が出力する圧縮画像から顔の器官を含む顔枠を検出する顔検出部と、
   前記顔検出部が出力する顔枠データから顔の器官を検出する顔器官検出部と、及び、
   前記顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定する目画像切り出し範囲決定部とを含み、
   前記画像切り出し部が切り出す所定の切り出し範囲は、前記目画像切り出し範囲決定部が決定する目を含む画像として切り出す範囲であり、
   前記認識部は、更に、
   前記顔検出部が出力する顔枠の画像データにおける輝度分布に基づいて、圧縮画像の元画像のための、前記イメージセンサによる撮影の第１の露出条件を決定する顔画像露出条件決定部を含み、並びに、
   前記目画像切り出し範囲決定部に代えて、目画像切り出し範囲及び露出条件決定部を含み、
   前記目画像切り出し範囲及び露出条件決定部は、
   前記顔器官検出部が出力する顔の器官に関するデータから、目を含む画像として切り出すべき範囲を決定し、更に、目を含む画像としての切り出し範囲の画像データにおける輝度分布に基づいて、目を含む画像としての切り出し画像の元画像のための、前記イメージセンサによる撮影の第２の露出条件を決定するものであり、
   前記画像切り出し部が切り出す所定の切り出し範囲は、前記目画像切り出し範囲及び露出条件決定部が決定する目を含む画像として切り出す範囲であり、
   前記イメージセンサは、前記顔画像露出条件決定部が決定する第１の露出条件による撮影と、前記目画像切り出し範囲及び露出条件決定部が決定する第２の露出条件による撮影とを、交互に行う、
   モニタリング装置。
2. 前記顔画像露出条件決定部は、
   顔枠の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように露出条件を制御して、第１の露出条件を決定し、
   前記目画像切り出し範囲及び露出条件決定部は、
   目の画像を含む切り出し範囲の画像データの輝度値ヒストグラムの全部若しくは一部における特徴量が、一つ若しくは複数の所定の閾値との、所定の大小関係を満たすように露出条件を制御して、第２の露出条件を決定する、
   請求項１に記載のモニタリング装置。
3. 更に、前記認識部は、
   前記画像切り出し部が出力する切り出し画像を入力して、切り出し画像内の目の開閉具合を認識し、視線方向を検出する目開閉認識及び視線検出部と、及び、
   前記目開閉認識及び視線検出部が出力する切り出し画像内の目開閉の認識結果及び視線の検出結果を、外部に出力する認識結果出力部とを含む、
   請求項１に記載のモニタリング装置。

Images