JP2019156256A - 検出装置および検出システム - Google Patents

Abstract

【課題】頭部の位置に応じた運転者の顔の向きや視線の向きを正確に検出することが可能な検出装置および検出システムを提供する。【解決手段】検出装置は、車両運転中の運転者を写した画像から運転者の顔の向きおよび視線の向きの少なくとも一方を検出する検出部と、画像に写った前記運転者の頭部の位置を判定する判定部と、を備え、検出部は、画像から検出すべき顔の向きおよび視線の向きの少なくとも一方を、判定された頭部の位置に応じて調整する。【選択図】図１

Description

本開示は、検出装置および検出システムに関する。

従来、車両に設けられる撮像部により撮像された運転者の画像に基づいて、運転者の顔の向きや視線の向きを検出する装置が知られている（例えば、特許文献１参照）。この技術では、当該顔の向きに応じて、運転者が運転不能状態であるか否かを検出する。

特開２０１６−９２５６号公報

ところで、運転者の頭部の位置は、例えば、前寄りの位置になったり、後寄りの位置になったりする等、特定の位置に止まらず、運転時の状況やシートの種類等に応じて変動する。それに対し、撮像部は車両に固定されているので、運転者の頭部の位置が変動した場合、撮像部からの顔の見え方が各頭部の位置に応じて変動する。

従来技術では、頭部の位置の変動に伴って顔の見え方が変動することについて考慮されていないので、特定の位置に運転者の顔があるものとして、顔の向きや視線の向きが検出されてしまう。その結果、運転者の顔が特定の方向を向いていても、頭部の位置によっては特定の方向と異なる顔の向きや視線の向きが検出されるおそれがあった。

本開示の目的は、頭部の位置に応じた運転者の顔の向きや視線の向きを正確に検出することが可能な検出装置および検出システムを提供することである。

本開示に係る検出装置は、
車両運転中の運転者を写した画像から前記運転者の顔の向きおよび視線の向きの少なくとも一方を検出する検出部と、
前記画像に写った前記運転者の頭部の位置を判定する判定部と、
を備え、
前記検出部は、前記画像から検出すべき前記顔の向きおよび視線の向きの少なくとも一方を、判定された前記頭部の位置に応じて調整する。

本開示に係る検出システムは、
前記運転者の画像を撮像する撮像部と、
上記した検出装置と、
を備える。

本開示によれば、頭部の位置に応じた運転者の顔の向きや視線の向きを正確に検出することができる。

本開示の実施の形態に係る検出システムを示すブロック図である。 撮像部からの顔の見え方が頭部位置に応じて変動する様子を説明するための図である。

以下、本開示の実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係る検出システム１を示すブロック図である。なお、以下の説明では、車両の進行方向を単に「進行方向」という。

図１に示すように、検出システム１は、車両に搭載されるシステムであり、運転席に着座する運転者の顔の向き（以下、「顔向き」という）および視線の向きの少なくとも一方を検出する。検出システム１は、運転者の顔向きや視線の向きを検出して、運転者の現在の運転状態を外部に通知する。なお、以下の説明では、顔向きの検出のみについて説明することとし、視線の向きの検出については、顔向きの検出と同内容となるため、その説明を省略する。

検出システム１により検出される顔向きは、例えば、進行方向と、運転者が向く方向とがなす角度である。検出システム１は、撮像部１０と、通知部２０と、検出装置１００とを有する。

撮像部１０は、例えば赤外線カメラであり、車両の運転者側のＡピラーに設けられる。撮像部１０は、運転者の斜め前方から当該運転者の画像を撮像する。つまり、撮像部１０の光軸は、進行方向と一致していない。撮像部１０は、撮像した画像を検出装置１００に出力する。

また、撮像部１０は、赤外光を出射する光源と、受光部とを有しており、当該撮像部１０と運転者との距離情報を検出する。距離情報は、例えば、タイムオブフライト法により、撮像部１０が出射した赤外光が運転者から反射して撮像部１０まで戻ってくるまでの時間情報や画像処理等から算出される距離の情報を含む。撮像部１０は、検出した距離情報を検出装置１００に出力する。

通知部２０は、例えば表示部等であり、検出装置１００からの検出情報を運転者等に通知する。具体的に、通知部２０は、当該検出情報から、運転者が車両前方の所定範囲を見ずによそ見をしている場合、運転者に注意喚起を行うような通知を表示する。なお、通知部２０は、アラームや音声等によって、運転者に注意喚起を行うようにしても良い。

検出装置１００は、図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）および入出力回路を備えており、予め設定されたプログラムに基づいて、運転者の顔向きを検出するように構成されている。検出装置１００は、撮像取得部１１０と、判定部１２０と、検出部１３０と、記憶部１４０と、出力部１５０とを有する。

撮像取得部１１０は、撮像部１０により撮像された運転者の撮像情報を取得し、当該撮像情報を判定部１２０および検出部１３０に出力する。撮像情報は、撮像部１０が撮像した画像や、例えば、撮像部１０と運転者との距離情報等が含まれる。

判定部１２０は、撮像取得部１１０から取得した撮像情報に基づいて、車両内における、進行方向の運転者の頭部位置を判定する。具体的には、判定部１２０は、撮像部１０と運転者との距離情報に基づいて、車両内における、進行方向の運転者の頭部位置を推定する。判定部１２０は、推定した頭部位置を検出部１３０に出力する。

進行方向は、例えば、車両のフロントガラスに沿う方向（図２における破線Ａ）および上下方向に直交する方向であるが、当該方向から１、２度程度ずれていても良い。頭部位置の推定は、撮像部１０と運転者との距離情報と、撮像部１０と進行方向との距離Ｂ（図２参照）との関係に基づいて行われる。

検出部１３０は、撮像取得部１１０から取得した画像から運転者の顔向きを検出する。具体的には、検出部１３０は、画像から検出すべき顔向きを、判定部１２０により判定された頭部位置に応じて調整する。

進行方向における運転者の頭部位置は、前寄りの位置になったり、後寄りの位置になったりする等、特定の位置に止まらず、運転時の状況等に応じて変動する。例えば、運転者が前方を注視しながら慎重に運転する際、運転者は、顔をフロントガラスにより近づけて車両を運転すると考えられる。また、運転者がリラックスした状態で運転する際、運転者は、シートバックに深く寄りかかる等して、顔をフロントガラスから離して車両を運転すると考えられる。また、運転者の好みや体格等によって運転しやすい位置が異なるので、運転者が他の者に変わることによっても頭部位置は変動する。

それに対し、運転者を撮像する撮像部１０は、車両に固定されているので、車両の進行方向における頭部位置が変動すると、撮像部１０からの顔の見え方が各頭部位置に応じて変動する。以下、図２を参照しながら、位置Ｐ１と、位置Ｐ１より後方の位置Ｐ２とで、顔の見え方が変動する例について説明する。図２では、位置Ｐ１と、位置Ｐ２とにおける進行方向と、運転者の顔が向く方向（以下、「顔方向」という）とがなす角度はともにαである。

図２に示すように、位置Ｐ１においては、撮像部１０と運転者Ｄとを結ぶ直線Ｌ１と、進行方向とがなす角度はβである。それに対し、位置Ｐ２においては、撮像部１０と運転者Ｄとを結ぶ直線Ｌ２と、進行方向とがなす角度はγである。位置Ｐ２は、位置Ｐ１よりも撮像部１０から離れていることから、γはβよりも小さい角度となる。

これらの角度は、例えば、撮像部１０と運転者Ｄとの距離情報と、撮像部１０から図２における進行方向までの距離Ｂとの関係を用いて算出され得る。

そして、位置Ｐ１においては、直線Ｌ１と、運転者Ｄの顔方向とがなす角度は、α＋βであり、位置Ｐ２においては、直線Ｌ２と、運転者Ｄの顔方向とがなす角度は、α＋γである。これらの角度が異なることから、位置Ｐ１と位置Ｐ２とで撮像部１０からの運転者Ｄの顔の見え方が変動することがわかる。

ここで、例えば、撮像取得部１１０により取得した画像のみで顔向きが検出されると、位置Ｐ１と位置Ｐ２とで、撮像部１０における顔の見え方が変動するため、検出装置１００が実際とは異なる顔向きを検出する可能性がある。

しかし、本実施の形態では、撮像取得部１１０から取得した画像、および、判定部１２０から取得した頭部位置に応じて、運転者Ｄの顔向きを検出する。つまり、撮像部１０により検出される角度は、α＋β（位置Ｐ１）やα＋γ（位置Ｐ２）であるが、当該角度は、撮像部１０の位置と運転者Ｄの頭部位置との関係を考慮した角度に補正される。具体的には、位置Ｐ１では、直線Ｌ１と進行方向とがなす角度βを差し引いた角度αが検出され、位置Ｐ２では、直線Ｌ２と進行方向とがなす角度γを差し引いた角度αが検出される。このようにすることで、運転者Ｄの頭部位置に応じた顔向きを正確に検出することができる。

また、記憶部１４０には、画像と、頭部位置と、顔向きとの対応関係に関する情報が記憶されている。当該情報における顔向きは、画像における、顔の特徴部分（例えば、鼻等）の見え方と、進行方向における各頭部位置とに関連付けられている。なお、これらの関連付けは、公知の技術により行うことができる。

検出部１３０は、画像と、頭部位置とを取得したら、記憶部１４０からこれらに対応した顔向きを読み出すことで、顔向きを検出する。

出力部１５０は、検出部１３０により検出された顔向きを取得し、検出システム１の通知部２０に出力する。これにより、検出部１３０により検出された顔向きを外部に通知することで、当該顔向きの情報に基づいて、運転者に注意喚起を迅速に行うことができる。このような注意喚起は、例えば、運転者の顔向きが進行方向とは異なる方向を向いている場合や、進行方向とは異なる方向であっても車両のミラーを向いていない場合等になされる。

以上のように構成された本実施の形態によれば、画像および頭部位置に応じて、運転者の顔向きを検出するので、頭部位置に応じた顔向きを正確に検出することができる。

また、撮像部１０が車両のＡピラーに配置されるので、運転者の前方視界に悪影響を及ぼすことなく、正確な画像を取得することができる。例えば、運転者の正面に撮像部１０を配置した場合、フロントガラスやドアガラス等から入射する太陽光と重なる等の影響を受けやすくなり、正確な画像を取得できない可能性がある。特に、商用車等、フロントガラスが大きい車両の場合、太陽光が入射し易いため、太陽光の影響を過剰に受けやすい。しかし、撮像部１０をＡピラーに配置することで、フロントガラスやドアガラス等から入射する太陽光を避けやすくすることができ、ひいては正確な画像を取得することができる。

また、運転者が眼鏡を装着している場合、運転者の正面に撮像部１０を配置すると、運転者の正面から撮像部１０の赤外光が出射されるので、当該眼鏡に当たりやすくなり、ひいては反射されてしまう。その結果、例えば運転者の目の位置を正確に検出できず、ひいては正確な画像を検出できない可能性がある。しかし、撮像部１０をＡピラーに配置することで、撮像部１０の赤外光が運転者の斜め前方から出射されるので、眼鏡に赤外光が当たることを避けることができ、ひいては正確な画像を取得することができる。

ところで、運転者の正面に撮像部１０を配置した場合、撮像部１０を配置するスペースの都合上、運転者のハンドル操作等の運転操作に干渉する位置に配置される可能性があり、当該運転操作を妨害することになりかねない。しかし、本実施の形態では、撮像部１０がＡピラーに配置されることで、車両のデッドスペースを有効に活用しつつ、運転者の運転操作を妨害することを抑制することができる。

なお、上記実施の形態では、記憶部１４０から、画像と、頭部位置と、顔向きとの対応関係に関する情報を読み出すことで顔向きを検出していたが、本開示はこれに限定されず、取得した画像および頭部位置に基づいて、顔向きを算出することで検出しても良い。また、基準となる基準位置における顔向きの基準値を、当該基準位置からの頭部位置のずれ量に基づいて補正していくようにして顔向きを検出しても良い。

また、上記実施の形態では、判定部１２０が進行方向における運転者の頭部位置を判定していたが、本開示はこれに限定されず、上下方向における運転者の頭部位置を判定しても良い。

また、上記実施の形態では、運転者の顔が左右方向に向く場合の顔向きについて例示したが、本開示はこれに限定されず、上下方向に向く場合顔向きであっても良い。このようにすることで、運転者のよそ見だけでなく、運転者の居眠りや運転不能状態についても注意喚起を行うことができる。

また、上記実施の形態では、顔向きが進行方向と顔方向とがなす角度であったが、本開示はこれに限定されず、運転者が車両前方の範囲を見ているかを確認可能なパラメータである限り、どのようなパラメータであっても良い。

また、上記実施の形態では、検出システム１が、通知部２０により、検出装置１００により検出された検出情報を、運転者に対する注意喚起を行っていたが、本開示はこれに限定されない。例えば、検出システム１が、検出装置１００により検出された検出情報に基づいて、安全な走行制御を行うなど、運転者に対する運転支援を行っても良い。

また、上記実施の形態では、進行方向における顔向きを検出していたが、本開示はこれに限定されない。例えば、バス等の車両の場合、乗客が乗り降りする際に、路肩側を向く方向における顔向きにすることで、車両に乗り降りする乗客の安全確認に対する注意喚起を行うことができる。

また、上記実施の形態では、車両のＡピラーに撮像部１０が設けられていたが、本開示はこれに限定されず、車両のセンターコンソールに撮像部１０が設けられていても良い。

その他、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本開示の検出装置は、頭部の位置に応じた運転者の顔の向きを正確に検出することが可能な検出装置および検出システムとして有用である。

１ 検出システム
１０ 撮像部
２０ 通知部
１００ 検出装置
１１０ 撮像取得部
１２０ 判定部
１３０ 検出部
１４０ 記憶部
１５０ 出力部

Claims (8)

1. 車両運転中の運転者を写した画像から前記運転者の顔の向きおよび視線の向きの少なくとも一方を検出する検出部と、
   前記画像に写った前記運転者の頭部の位置を判定する判定部と、
   を備え、
   前記検出部は、前記画像から検出すべき前記顔の向きおよび視線の向きの少なくとも一方を、判定された前記頭部の位置に応じて調整する、
   検出装置。
2. 前記判定部は、前記画像を撮像する撮像部と前記運転者との距離に基づいて、前記車両内の前記頭部の位置を推定する、
   請求項１に記載の検出装置。
3. 前記運転者の顔の向きまたは視線の向きは、前記車両の進行方向に対する向きである、
   請求項１または請求項２に記載の検出装置。
4. 前記判定部は、前記進行方向における前記運転者の前記頭部の位置を判定する、
   請求項１〜３の何れか１項に記載の検出装置。
5. 前記画像は、前記運転者の斜め前方から撮像された前記運転者の画像である、
   請求項１〜４の何れか１項に記載の検出装置。
6. 前記検出部により検出された前記顔の向きおよび視線の向きの少なくとも一方に関する情報を出力する出力部を備える、
   請求項１〜５の何れか１項に記載の検出装置。
7. 前記運転者の画像を撮像する撮像部と、
   請求項１〜６の何れか１項に記載の検出装置と、
   を備える検出システム。
8. 前記撮像部は、車両のＡピラーまたは車両のセンターコンソールに配置される、
   請求項７に記載の検出システム。
   

Images