JP2022042248A

JP2022042248A - 眠気判定プログラム、眠気判定装置、及び、眠気判定方法

Info

Publication number: JP2022042248A
Application number: JP2020147584A
Authority: JP
Inventors: 珊珊于; Shanshan Yu; 幸宏陽奥; Yukihiro Yooku; 亮介川村; Ryosuke Kawamura; 暁宇 ▲必▼; Xiaoyu Bi; 健太郎村瀬; Kentaro Murase
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2020-09-02
Filing date: 2020-09-02
Publication date: 2022-03-14
Anticipated expiration: 2040-09-02
Also published as: JP7552159B2

Abstract

【課題】ユーザの眠気の判定精度を向上させる。【解決手段】ユーザの顔を含む複数の撮像画像３１を取得し、前記複数の撮像画像３１に基づいて、前記顔に含まれる目の開閉に関する特徴量３２ａの変化を検出し、検出された前記目の開閉に関する特徴量３２ａの変化に応じて、前記目の開閉に関する特徴量３２ａの第１の重みと前記顔の筋肉の緊張に関する特徴量３２ｂの第２の重みとを決定し、決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量３２ａと前記顔の筋肉の緊張に関する特徴量３２ｂとのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する。【選択図】図９

Description

本発明は、眠気判定プログラム、眠気判定装置、及び、眠気判定方法に関する。

ユーザの目の開閉に関する情報は、ユーザの眠気と関係が深い情報である。例えば、ユーザの顔画像から検出される目の開閉に関する特徴量に基づき、ユーザの眠気を判定する技術が知られている。

特開２０１９－１１１０９２号公報国際公開第２０１１／１２５１６６号パンフレット

目の開閉に関する特徴量が同じであっても、眠気の度合いは異なる場合がある。従って、異なる顔画像から検出される特徴量が同程度である場合、それぞれの特徴量について同じパラメータを用いて眠気を判定しようとすると、誤判定が発生する可能性がある。

１つの側面では、本発明は、ユーザの眠気の判定精度を向上させることを目的の１つとする。

１つの側面では、眠気判定プログラムは、コンピュータに、以下の処理を実行させてよい。前記処理は、ユーザの顔を含む複数の撮像画像を取得することを含んでよい。また、前記処理は、前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出することを含んでよい。さらに、前記処理は、検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定することを含んでよい。また、前記処理は、決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定することを含んでよい。

１つの側面では、本発明は、ユーザの眠気の判定精度を向上させることができる。

ＮＥＤＯ（New Energy and Industrial Technology Development Organization）評価値の一例を示す図である。目の開閉状態及び瞬きに関する特徴量とＮＥＤＯ評価値との関係の一例を示す図である。第１の例外となる状況における目の開閉状態及び瞬目回数の一例を示す図である。第１の例外となる状況における眠気の度合いの判定結果の一例を示す図である。第２の例外となる状況における目の開閉状態及び瞬目回数の一例を示す図である。第２の例外となる状況における眠気の度合いの判定結果の一例を示す図である。顔の筋肉の緊張状態に関する特徴量の変化の一例を示す図である。顔の筋肉の緊張状態に関する特徴量の変化の一例を示す図である。一実施形態に係る眠気判定装置の機能構成例を示すブロック図である。一実施形態に係る眠気判定装置の動作の一例を説明するための図である。一実施形態に係る手法による眠気度合いの判定例を示す図である。一実施形態に係る手法による眠気度合いの判定例を示す図である。一実施形態に係る眠気判定装置による眠気判定処理の動作例を説明するフローチャートである。眠気判定装置の機能を実現するコンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。第１適用例に係る安全運転支援システムの構成例を示すブロック図である。第１適用例に係る撮像装置の設置例を示す図である。第１適用例に係る安全運転支援システムの動作例を説明するフローチャートである。第２適用例に係る遠隔学習支援システムの構成例を示すブロック図である。第２適用例に係る撮像装置の設置例を示す図である。第２適用例に係る遠隔学習支援システムの動作例を説明するフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形又は技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

〔１〕一実施形態
〔１－１〕眠気判定について
まず、眠気判定について説明する。ユーザの眠気の予兆は、例えば、ユーザの顔を撮像した撮像画像から得られるユーザの目の開閉に関する特徴量に基づき判定される。ユーザの目の開閉に関する特徴量としては、例えば開瞼度が挙げられる。開瞼度は、上瞼から下瞼までの距離を虹彩の直径で割った値として得られてよい。開瞼度は開眼度の一例である。

ユーザ、例えば自動車等の車両の運転者の疲労度を測定する指標の１つとして、ＰＥＲＣＬＯＳ（PERcent of eye lid CLOSure）がある。ＰＥＲＣＬＯＳは、アメリカ道路交通安全局に認可された指標であり、直近１分間の目瞑りの時間の割合である。例えば、ＰＥＲＣＬＯＳでは、開瞼度が２０％以下であり、持続時間が５００ミリ秒以上の瞼の運動は、運転者が「目瞑り」の状態であると判定される。このような判定により、例えば、眠気判定が車両の安全運転支援システムに用いられる場合、運転者の眠気の予兆を検知することで、タイムリーに安全運転を支援することができる。

また、眠気の度合いを評価するための指標の１つとして、ＮＥＤＯ（New Energy and Industrial Technology Development Organization）による表情からの眠気評価尺度（以下、「ＮＥＤＯ評価値」と表記する場合がある）がある。図１は、ＮＥＤＯ評価値の一例を示す図である。図１に例示する眠気評価尺度により、目の開閉や眠気から眠気の度合いを評価することができる。

さらに、目の開閉に関する特徴量、例えば、目の開閉状態及び瞬きに関する特徴量に基づき、ＮＥＤＯ評価値における眠気評価尺度のレベル（眠気値、眠気の度合い）を推定する手法がある。目の開閉状態及び瞬きに関する特徴量としては、例えば、開眼時の開眼度、平均瞬目時間、継続閉眼時間の分布、閉眼割合、及び、瞬目回数等のパラメータうちの１以上のパラメータが挙げられる。開眼度は、例えば、上瞼から下瞼までの距離を上瞼から下瞼までの最大距離で割った値であってもよいし、上述した開瞼度であってもよい。上記手法には、例えば、『「画像センサによる眠気状態推定とドライバーステータスモニターの開発」，“DENSO TECHNICAL REVIEW Vol.21 2016”，デンソー（登録商標）』等に記載の手法が用いられてもよい。

上記手法において、目の開閉状態及び瞬きに関する特徴量の情報を用いた場合、眠気の度合い検出の信頼性が不十分となる場合がある。例えば、眠気の度合いの一例である、覚醒状態、及び、眠気が強い状態のそれぞれにおいて、例外となる状況、例えば目の開閉状態及び瞬きに関する特徴量が逆転する状況が発生し、ユーザの眠気の度合いが誤分類される可能性がある。

図２は、目の開閉状態及び瞬きに関する特徴量とＮＥＤＯ評価値との関係の一例を示す図である。図３は、第１の例外となる状況における目の開閉状態及び瞬目回数の一例を示す図であり、図４は、第１の例外となる状況における眠気の度合いの判定結果の一例を示す図である。図５は、第２の例外となる状況における目の開閉状態及び瞬目回数の一例を示す図であり、図６は、第２の例外となる状況における眠気の度合いの判定結果の一例を示す図である。

（第１の例外）
図２の符号Ａで示す領域、並びに、図３及び図４は、覚醒状態が眠気状態と誤判定される場合を示す。

図２に例示するように、ＮＥＤＯ評価値が“１”（図１参照）となるユーザの覚醒状態において、開眼度が“大”、瞬目回数が“多”の特徴量となるのが覚醒状態の定義上一般的である。

しかし、例外として、ユーザが覚醒状態において集中すると、開眼度が“小”、瞬目回数が“少”の特徴量となる場合がある（符号Ａで示す領域、及び、図３参照）。

例えば、図４に示すように、ユーザが集中する際の目の開閉状態が低下することで、実際には（正解は）覚醒状態であるにもかかわらず、眠気状態（眠気の度合いが中～高の状態）であると誤分類、誤検出される可能性がある。

（第２の例外）
図２の符号Ｂで示す領域、並びに、図５及び図６は、眠気状態が覚醒状態と誤判定される場合を示す。

図２に例示するように、ＮＥＤＯ評価値が“４，５”（図１参照）となるユーザの眠気状態（眠気の度合いが中～高の状態）において、以下の特徴量となるのが眠気状態の定義上一般的である。当該特徴量とは、開眼度が“小”、平均瞬目時間が“長”、継続閉眼時間の分布が“平均大，分散小”、閉眼割合が“中～大”、瞬目回数が“中～少”である。

しかし、例外として、ユーザが眠気状態において眠気と戦うために意識的に（わざと）瞬きをすると、以下の特徴量となる場合がある（符号Ｂで示す領域、及び、図５参照）。この場合、特徴量は、開眼度が“大”、平均瞬目時間が“短”、継続閉眼時間の分布が“平均小，分散小”、閉眼割合が“小”、瞬目回数が“多”となる。

例えば、図６に示すように、ユーザが眠気と戦う際の目の開閉状態が、覚醒状態の一般的なパターンと一致することで、実際には（正解は）眠気状態（眠気の度合いが中～高の状態）であるにもかかわらず、覚醒状態であると誤分類、誤検出される可能性がある。

なお、図２に示す“小”、“少”、“短”、“中”、“大”、“多”、“長”等の程度を表す表現は、特徴量間の相対的な比較により設定されてもよいし、それぞれの程度に対応する閾値又は範囲との比較により設定されてもよい。

このように、目の開閉に関する特徴量が同じであっても、眠気の度合いは異なる場合がある。従って、異なる顔画像から検出される特徴量が同程度である場合、それぞれの特徴量について同じパラメータを用いて眠気を判定しようとすると、誤判定が発生する可能性がある。

そこで、一実施形態では、ユーザの眠気の判定精度を向上させる手法、例えば、第１及び第２の例外が発生した場合においてもユーザの眠気の度合いを正確に判定する手法について説明する。

〔１－２〕一実施形態について
例えば、一実施形態に係る眠気判定装置は、以下の（ａ）～（ｄ）の処理を実行する。
（ａ）ユーザの顔を含む複数の撮像画像を取得する。
（ｂ）複数の撮像画像に基づいて、顔に含まれる目の開閉に関する特徴量の変化を検出する。
（ｃ）検出された目の開閉に関する特徴量の変化に応じて、目の開閉に関する特徴量の第１の重みと顔の筋肉の緊張に関する特徴量の第２の重みとを決定する。
（ｄ）決定された第１の重みと第２の重みとに従って、目の開閉に関する特徴量と顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、ユーザの眠気を判定する。

例えば、眠気判定装置は、第１及び第２の例外を含む状態において、顔の筋肉の緊張に関する特徴量を用いて眠気の度合いを判定することにより、ユーザの眠気の度合いを正確に判定する、換言すれば眠気検出の精度を向上させることができる。

顔の筋肉としては、例えば、浅頭筋（表情筋）のうちの、瞬きを含む目の開閉による緊張状態の変化が小さい筋肉、換言すれば目の開閉に影響を与えない筋肉が挙げられる。このような筋肉の一例として、口輪筋（Orbicularis Oris）、オトガイ筋（Mentalis）、上唇鼻翼挙筋等の、口筋又は鼻筋群が挙げられる。

顔の筋肉の緊張（緊張状態）に関する特徴量は、例えば、ＦＡＣＳ（Facial Action Coding System）により分類されるＡＵ（Action Unit）の値に基づいてよい。ＡＵの値は、例えば撮像画像に対する画像解析処理により得られてよい。

顔の筋肉の緊張状態に関する特徴量は、例えば、顔の表情筋の変化に関する情報、一例として、複数の撮像画像（例えば時系列の撮像画像間）におけるＡＵの値の変化量に基づき算出されてよい。

図７及び図８は、顔の筋肉の緊張状態に関する特徴量の変化の一例を示す図である。図７では、顔の筋肉の緊張状態に関する特徴量として、ＡＵ２３で定義される口輪筋の値の変化範囲が用いられる場合を例に挙げる。また、図８では、顔の筋肉の緊張状態に関する特徴量の変化量として、ＡＵ１７で定義されるオトガイ筋の値の変化範囲、口輪筋の値の変化範囲、オトガイ筋の値の変化のピークの数、並びに、ＡＵ９で定義される上唇鼻翼挙筋の値の変化範囲、のそれぞれが用いられる場合を例に挙げる。

図７の上段の表及び図８に示すように、口輪筋の変化範囲に着目すると、一般的及び例外（集中）の双方の状態を含む覚醒状態と、一般的及び例外（意識的瞬き）の双方の状態を含む眠気が強い状態との間で、特徴量が大きく異なることがわかる。

例えば、覚醒状態において一般的には“不定”となる口輪筋の変化範囲は、例に集中状態では“大”となる。一方、眠気が強い状態においては、一般的な状態、及び、意識的な瞬きを行なった状態の双方において、口輪筋の変化範囲は“小”となる。

このように、集中状態と一般的な眠気の強い状態との間では特徴量が大きく変化し、眠気の強い状態における一般的な状態と意識的な瞬きを行なった状態との間では特徴量がほぼ変化しない。このような顔の筋肉の緊張状態に関する特徴量の変化の特性は、口筋又は鼻筋群、換言すれば、浅頭筋（表情筋）のうちの、瞬きを含む目の開閉による緊張状態の変化が小さい筋肉において共通して得られる場合が多い。例えば、図８に示すように、特徴量の変化量が、オトガイ筋の変化範囲、口輪筋の変化のピークの数、及び、上唇鼻翼挙筋の変化範囲等である場合にも、口輪筋の変化範囲と同様の傾向が得られる。

なお、図７及び図８に示す“小”、“少”、“中”、“大”、“多”等の程度を表す表現は、特徴量の間の相対的な比較により設定されてもよいし、それぞれの程度に対応する閾値（範囲）との比較により設定されてもよい。

ここで、図８の符号Ａに示すように、覚醒状態において一般的に“不定”になる理由としては、口輪筋は、例えば、目の開閉及び瞬きとは異なる他の動作、並びに、感情（例えば「嫌い」等）の影響を受けて変化（動作）し易い筋肉であるためである。このため、顔の筋肉の緊張状態に関する特徴量を、目の開閉状態及び瞬きに関する特徴量とともに利用して眠気の度合いを推定する場合、眠気が一定であっても顔の筋肉の緊張状態に関する特徴量が変動する可能性があり、判定結果の精度が低下する可能性がある。

そこで、図７の下段のグラフ及び図８の符号Ｂに示すように、例えば、ユーザが運転等の所定のタスクを行なう場合において、顔の筋肉の緊張状態の特徴量の利用機会を、覚醒状態における集中状態と、眠気状態とに限定することで、眠気の度合いを推定できる。例えば、目の開閉状態及び瞬きに関する特徴量から推定した眠気の度合いの変化のタイミングに応じて、集中状態と眠気状態とに限定して顔の筋肉の緊張状態の特徴量を利用すれば、上述した第１及び第２の例外の場合を含む誤検出を回避することができる。

なお、一実施形態では、眠気判定装置が顔の筋肉の緊張状態に関する特徴量を用いるものとしたが、これに限定されるものではなく、顔以外のユーザの他の部位の筋肉の緊張状態に関する特徴量が用いられてもよい。

〔１－３〕機能構成例
図９は、一実施形態に係る眠気判定装置１の機能構成例を示すブロック図であり、図１０は、一実施形態に係る眠気判定装置１の動作の一例を説明するための図である。

眠気判定装置１は、複数の撮像画像に基づきユーザの眠気を判定する眠気判定処理を実行する。図９に示すように、眠気判定装置１は、例示的に、撮像部２、メモリ部３、及び、推定部４を備えてよい。

撮像部２は、ユーザの顔を撮像した複数の撮像画像を取得する。例えば、撮像部２は、カメラ等の撮像装置の制御を通じてユーザの顔を含む複数の撮像画像、例えば動画像を撮像し、メモリ部３に複数の撮像画像３１を記録する。撮像装置は、眠気判定装置１の外部、例えばユーザの周辺に設けられてもよく、この場合、撮像部２は、図示しないネットワークを介して撮像装置の制御、撮像画像の取得等を行なってよい。

メモリ部３は、記憶領域の一例であり、眠気判定装置１が利用する種々のデータを記憶する。図９に示すように、メモリ部３は、例示的に、複数の撮像画像３１、複数の特徴量３２、及び、出力結果３３を記憶可能であってよい。

推定部４は、制御部の一例であり、ユーザの眠気の判定、例えば眠気の度合いの推定（印象推定）を行なう。例えば、推定部４は、メモリ部３が記憶する複数の撮像画像３１（例えば動画像のフレーム）のそれぞれに対して画像解析処理を行ない、複数の撮像画像３１のそれぞれからユーザの顔（顔部分の領域）及びＡＵを検出してよい（図１０の処理Ｐ１参照）。

推定部４は、既知の種々の手法を用いて撮像画像３１からＡＵを検出してよい。例えば、推定部４は、『Facial Non-Linear Kernel Approximation, Proceedings of the IEEE international Conference on Computer Vision Workshops, 2015』に記載の手法を用いてＡＵを検出してもよい。

推定部４は、図９に例示するように、開閉状態瞬き推定部４１、眠気度合変化推定部４２、緊張状態推定部４３、特徴量判定部４４、及び、眠気推定部４５を備えてよい。

開閉状態瞬き推定部４１は、複数の撮像画像３１のそれぞれから検出されたユーザの顔部分の領域に基づき、ユーザの顔に含まれる目の開閉に関する特徴量、例えば目の開閉状態及び瞬きに関する特徴量を推定する（図１０の処理Ｐ２参照）。また、開閉状態瞬き推定部４１は、取得した特徴量を特徴量３２としてメモリ部３に格納してよい。なお、以下の説明において、開閉状態瞬き推定部４１が推定する「目の開閉に関する特徴量」（特徴量３２）を、「第１の特徴量」（第１の特徴量３２ａ）と表記する場合がある。

例えば、開閉状態瞬き推定部４１は、複数の撮像画像３１のそれぞれから検出されたユーザの顔部分の領域から、目の特徴点を検出する。目の特徴点は、例えば、眼球（角膜又は虹彩等）、上瞼、下瞼等のうちの少なくとも１つの特徴点を含んでよい。

そして、開閉状態瞬き推定部４１は、当該特徴点に基づく画像解析処理により、第１の特徴量３２ａを算出する。画像解析処理としては、既知の種々の手法が用いられてよい。例えば、画像解析処理には、機械学習、例えば深層学習における学習済みモデルを用いた画像認識が含まれてもよい。

一実施形態では、第１の特徴量３２ａは、開瞼度、開眼時の開眼度、平均瞬目時間、継続閉眼時間の分布、閉眼割合、及び、瞬目回数等のうちのいずれか１つ、又は、２以上の組み合わせであってよい。開閉状態瞬き推定部４１は、これらの特徴量を、既知の種々の手法、例えば『「画像センサによる眠気状態推定とドライバーステータスモニターの開発」，“DENSO TECHNICAL REVIEW Vol.21 2016”，デンソー（登録商標）』に基づき取得してもよい。

眠気度合変化推定部４２は、開閉状態瞬き推定部４１が取得した第１の特徴量３２ａに基づき、ユーザの眠気の度合いの変化を推定する。例えば、眠気度合変化推定部４２は、時系列に並んだ撮像画像３１間における第１の特徴量３２ａの変化量を算出する（図１０の処理Ｐ３参照）。一例として、眠気度合変化推定部４２は、対象とする撮像画像３１と、直近に撮像された（時系列的に１つ前の）撮像画像３１との間における第１の特徴量３２ａの変化量を算出してよい。

眠気度合変化推定部４２は、算出した変化量と第１閾値Ｔｈ１とを比較することで、ユーザの眠気の度合いの変化の有無を判定（検出）する（図１０の処理Ｐ４参照）。例えば、眠気度合変化推定部４２は、算出した変化量が第１閾値Ｔｈ１よりも大きいか否かを判定する。

第１閾値Ｔｈ１は、例えば、図２に示す表において、第１の特徴量３２ａが“小（少、短）”から“大（多、長）”、又は、“大（多、長）”から“小（少、短）”に変化した（換言すれば、眠気の度合いが変化した）ことを検知可能な閾値であってよい。一例として、第１閾値Ｔｈ１は、第１の特徴量３２ａが“大（多、長）”と判定される「閾値」又は「範囲の中央値」と、第１の特徴量３２ａが“小（少、短）”と判定される「閾値」又は「範囲の中央値」との差分であってもよく、その他、種々の手法により求められる値であってよい。

図２に示すように、覚醒状態及び眠気状態（眠気度合い（中～高））において、眠気の度合いが一般的な状態と例外の状態との間で変化する場合、第１の特徴量３２ａの変化量は、一部の場合を除いて、第１閾値Ｔｈ１よりも大きくなる（図２の符号Ａ及びＢで示す領域参照）。換言すれば、第１の特徴量３２ａの変化量が第１閾値Ｔｈ１よりも大きい場合、眠気の度合いが「一般的」と「例外」との間で変化した可能性が高い。

一方、第１の特徴量３２ａの変化量が第１閾値Ｔｈ１以下である場合には、図２に示すように、覚醒状態及び眠気状態（眠気度合い（中～高））において、眠気の度合いが「一般的」と「例外」との間で変化した可能性が低い。

そこで、眠気度合変化推定部４２は、第１の特徴量３２ａの変化量が第１閾値Ｔｈ１よりも大きい場合、ユーザの眠気の度合いの変化が有ると判定し、第１の特徴量３２ａの変化量が第１閾値Ｔｈ１以下の場合、ユーザの眠気の度合いの変化が無いと判定してよい。

緊張状態推定部４３は、複数の撮像画像３１のそれぞれから検出された顔のＡＵの値に基づき、顔の筋肉の緊張状態に関する特徴量を算出する（図１０の処理Ｐ５参照）。緊張状態推定部４３は、取得した特徴量を特徴量３２としてメモリ部３に格納してよい。なお、以下の説明において、緊張状態推定部４３が推定する「顔の筋肉の緊張状態に関する特徴量」（特徴量３２）を、「第２の特徴量」（第２の特徴量３２ｂ）と表記する場合がある。

例えば、緊張状態推定部４３は、第２の特徴量３２ｂとして、オトガイ筋（ＡＵ１７）の変化範囲及びピーク数、口輪筋（ＡＵ２３）の変化範囲及びピーク数、並びに、上唇鼻翼挙筋（ＡＵ９）の変化範囲、のうちのいずれか１つ、又は、２つ以上の組み合わせを算出してよい。

第２の特徴量３２ｂとしてＡＵの変化範囲を算出する場合、緊張状態推定部４３は、例えば、所定の算出期間に取得された複数の撮像画像３１におけるＡＵの値の最大値及び最小値を記録し、最大値及び最小値の差分を変化範囲として取得してよい。

第２の特徴量３２ｂとしてＡＵのピーク数を算出する場合、緊張状態推定部４３は、例えば、所定の算出期間に取得された複数の撮像画像３１においてＡＵの値がピーク（例えば極大）となった回数を記録し、当該回数をピーク数として取得してよい。

所定の算出期間は、例えば数秒～数十秒、一例として、１０秒程度であってよい。緊張状態推定部４３は、例えば、１０秒ごとに、直近の１０秒間において取得されたＡＵの値に基づき第２の特徴量３２ｂを算出してよい。なお、眠気判定装置１による眠気の推定処理は、上述した所定の算出期間ごとに実行されてもよい。

なお、緊張状態推定部４３は、例えば、第１の特徴量３２ａに基づき推定される眠気の度合いに応じて、算出する第２の特徴量３２ｂを以下の（Ａ）又は（Ｂ）のグループ内の１以上の特徴量に制限してもよい。
（Ａ）眠気状態において眠気度合いが低～中の場合。
・オトガイ筋（ＡＵ１７）の変化範囲、ピーク数
・口輪筋（ＡＵ２３）の変化範囲、ピーク数
・上唇鼻翼挙筋（ＡＵ９）の変化範囲
（Ｂ）眠気状態において眠気度合いが中～高の場合。
・口輪筋（ＡＵ２３）のピーク数
・上唇鼻翼挙筋（ＡＵ９）の変化範囲

特徴量判定部４４は、ユーザの眠気の推定に用いる特徴量３２を選択する（図１０の処理Ｐ６参照）。例えば、特徴量判定部４４は、眠気度合変化推定部４２が推定した眠気の度合いの変化の有無に応じて、第１の特徴量３２ａの第１の重みと、第２の特徴量３２ｂの第２の重みとを決定してよい。例えば、特徴量判定部４４は、以下の（ｉ）及び（ii）に従って第１及び第２の重みを決定してよい。

（ｉ）眠気の度合いの変化が無い場合（第１の特徴量３２ａの変化量が第１閾値Ｔｈ１以下の場合）。
特徴量判定部４４は、眠気度合変化推定部４２により眠気の度合いの変化が無いと判定された場合、上述した第１及び第２の例外に相当する状態である可能性が低い（相当する状態でない）と判断し、第１の重み＞第２の重みとなるように重み付けを行なってよい。

第１及び第２の例外に相当する状態である可能性が低い場合、ユーザの眠気は、図２を参照して説明したように、第１の特徴量３２ａに基づき判定することが可能である。そこで、特徴量判定部４４は、第２の重みよりも第１の重みが大きくなるように、例えば、第１及び第２の重みの割合（比率）を第１の重み：第２の重み＝“0.5～1.0”：“0.5～0.0”等の範囲内で（一例として、“1.0”：“0.0”に）決定してよい。

（ii）眠気の度合いの変化が有る場合（第１の特徴量３２ａの変化量が第１閾値Ｔｈ１よりも大きい場合）。
特徴量判定部４４は、眠気度合変化推定部４２により眠気の度合いの変化が有ると判定された場合、上述した第１及び第２の例外に相当する状態である可能性が高い（相当する状態である）と判断し、第１の重み＜第２の重みとなるように重み付けを行なってよい。

第１及び第２の例外に相当する状態である場合、ユーザの眠気は、図７及び図８を参照して説明したように、第２の特徴量３２ｂに基づき判定することが可能である。そこで、特徴量判定部４４は、第１の重みよりも第２の重みが大きくなるように、例えば、第１及び第２の重みの割合（比率）を第１の重み：第２の重み＝“0.5～0.0”：“0.5～1.0”等の範囲内で（一例として、“0.0”：“1.0”に）決定してよい。

眠気推定部４５は、特徴量判定部４４により決定された第１及び第２の重みに従って、第１の特徴量３２ａと第２の特徴量３２ｂとのうちの少なくとも一方に基づいて、ユーザの眠気を判定する（図１０の処理Ｐ７参照）。

なお、眠気推定部４５は、眠気の判定結果を出力してよい。判定結果の出力としては、例えば、モニタ等の出力装置への表示、メモリ部３又は記憶装置等への格納、通信インタフェース（ＩＦ）を介した外部への送信、等が挙げられる。例えば、眠気推定部４５は、判定結果を出力結果３３としてメモリ部３に格納してよい。

眠気推定部４５による眠気判定の一例として、第１及び第２の重みが“1.0”：“0.0”又は“0.0”：“1.0”である場合、換言すれば、眠気の判定に、第１の特徴量３２ａ及び第２の特徴量３２ｂのうちの第１の特徴量３２ａのみ（上記（ｉ）参照）、又は、第２の特徴量３２ｂのみ（上記（ii）参照）を用いる場合を想定する。

（Ｉ）第１及び第２の重みが“1.0”：“0.0”である場合（眠気の判定に第１の特徴量３２ａのみを用いる場合）。
この場合、重みが“0.0”である第２の特徴量３２ｂは眠気の判定に用いられない。例えば、眠気推定部４５は、第１の特徴量３２ａと第２閾値Ｔｈ２とを比較することで、ユーザの眠気の度合いを判定（推定）してよい。

第２閾値Ｔｈ２は、例えば、図２に示す表において、第１の特徴量３２ａの“小（少、短）”と“大（多、長）”との間の値であってよい。一例として、第２閾値Ｔｈ２は、第１の特徴量３２ａが“中”と判定される「閾値」又は「範囲の中央値」であってもよく、その他、種々の手法により求められる値であってよい。

以下、第１の特徴量３２ａが開眼度である場合を想定する。眠気推定部４５は、第１の特徴量３２ａが第２閾値Ｔｈ２よりも大きい場合、ユーザの眠気の度合いが覚醒状態であると判定してよい（図２の「開眼度」が“大”である「覚醒状態：一般的」を参照）。一方、眠気推定部４５は、第１の特徴量３２ａが第２閾値Ｔｈ２以下である場合、ユーザの眠気の度合いが眠気状態（眠気度合い：中～高）であると判定してよい（図２の「開眼度」が“小”である「眠気度合（中～高）：一般的」を参照）。

なお、第１の特徴量３２ａとして用いられる特徴量の種別に応じて、第２閾値Ｔｈ２の値、及び、第１の特徴量３２ａと第２閾値Ｔｈ２との比較の際の不等号の向きは異なってよい（図２参照）。

また、眠気推定部４５は、第１の特徴量３２ａと互いに値の異なる複数の第２閾値Ｔｈ２とを比較することで、眠気の度合いを３つ以上の度合い（例えば、「覚醒状態」、「眠気度合：低」、「眠気度合：中～高」等）の中から判定してもよい。

（II）第１及び第２の重みが“0.0”：“1.0”である場合（眠気の判定に第２の特徴量３２ｂのみを用いる場合）。
この場合、重みが“0.0”である第１の特徴量３２ａは眠気の判定に用いられない。例えば、眠気推定部４５は、第２の特徴量３２ｂと第３閾値Ｔｈ３とを比較することで、ユーザの眠気の度合いを判定（推定）してよい。

第３閾値Ｔｈ３は、例えば、図８に示す表において、第２の特徴量３２ｂの“小（少）”と“大（多）”との間の値であってよい。一例として、第３閾値Ｔｈ３は、第２の特徴量３２ｂが“中”と判定される「閾値」又は「範囲の中央値」であってもよく、その他、種々の手法により求められる値であってよい。

以下、第２の特徴量３２ｂが口輪筋（ＡＵ２３）の変化範囲である場合を想定する。眠気推定部４５は、第２の特徴量３２ｂが第３閾値Ｔｈ３よりも大きい場合、ユーザの眠気の度合いが覚醒状態であると判定してよい（図８の「口輪筋の変化範囲」が“大”である「覚醒状態：例外（集中）」を参照）。

これにより、眠気判定装置１は、図１１の上段に示すように、覚醒状態において「一般的」から「例外（集中）」に変化する場合、眠気の度合いの変化のタイミングで、適切な特徴量３２を用いて眠気の判定を行なうことができる。例えば、図１１の下段に示すように、眠気判定装置１は、「一般的」から「例外（集中）」に変化したタイミングで、目の開閉に関する第１の特徴量３２ａに代えて顔の筋肉の緊張状態に関する第２の特徴量３２ｂに基づき眠気を判定する。このように、眠気判定装置１によれば、図４に示す第１の例外において、覚醒状態における集中状態が眠気状態として誤検出されることを回避することができる。

一方、眠気推定部４５は、第２の特徴量３２ｂが第３閾値Ｔｈ３以下である場合、ユーザの眠気の度合いが眠気状態（眠気度合い：中～高）であると判定してよい（図２の「口輪筋の変化範囲」が“小”である「眠気度合（中～高）：例外（意識的瞬き）」を参照）。

これにより、眠気判定装置１は、図１２の上段に示すように、眠気状態（眠気度合：中～高）において「一般的」から「例外（意識的瞬き）」に変化する場合、眠気の度合いの変化のタイミングで、適切な特徴量３２を用いて眠気の判定を行なうことができる。例えば、図１２の下段に示すように、眠気判定装置１は、「一般的」から「例外（意識的瞬き）」に変化したタイミングで、目の開閉に関する第１の特徴量３２ａに代えて顔の筋肉の緊張状態に関する第２の特徴量３２ｂに基づき眠気を判定する。このように、眠気判定装置１によれば、図６に示す第２の例外において、眠気状態（眠気度合：中～高）における意識的瞬きが覚醒状態として誤検出されることを回避することができる。

なお、第２の特徴量３２ｂが口輪筋（ＡＵ２３）の変化範囲である場合を例に挙げて説明したが、これに限定されるものではない。眠気推定部４５は、第２の特徴量３２ｂとして用いられる特徴量の種別に応じて、以下のように判定してよい。

・種別：オトガイ筋（ＡＵ１７）の変化範囲である場合。
この場合、眠気推定部４５は、眠気の度合いを、第２の特徴量３２ｂが第３閾値Ｔｈ３よりも大きい場合に覚醒状態と判定し、第２の特徴量３２ｂが第３閾値Ｔｈ３以下の場合に眠気状態と判定してよい。

・種別：口輪筋（ＡＵ２３）のピーク数である場合。
この場合、眠気推定部４５は、眠気の度合いを、第２の特徴量３２ｂが第３閾値Ｔｈ３よりも多い（値が大きい）場合に覚醒状態と判定し、第２の特徴量３２ｂが第３閾値Ｔｈ３以下の場合に眠気状態と判定してよい。

・種別：上唇鼻翼挙筋（ＡＵ９）の変化範囲である場合。
この場合、眠気推定部４５は、眠気の度合いを、第２の特徴量３２ｂが第３閾値Ｔｈ３よりも大きい場合に覚醒状態と判定し、第２の特徴量３２ｂが第３閾値Ｔｈ３以下の場合に眠気状態と判定してよい。

なお、第２の特徴量３２ｂとして用いられる特徴量の種別に応じて、第３閾値Ｔｈ３の値、及び、第２の特徴量３２ｂと第３閾値Ｔｈ３との比較の際の不等号の向きは異なってもよい（図８参照）。

次に、第１及び第２の重みが“0.0”よりも大きく“1.0”よりも小さい場合、換言すれば、眠気の判定に、第１の特徴量３２ａ及び第２の特徴量３２ｂの双方を用いる場合を説明する。

眠気推定部４５は、第１の重みを目の開閉に関する第１の特徴量３２ａに適用し、第２の重みを顔の筋肉の緊張に関する第２の特徴量３２ｂに適用することで、眠気を推定してよい。

一例として、眠気推定部４５は、第１の特徴量３２ａに基づく眠気の度合いの判定、及び、第２の特徴量３２ｂに基づく眠気の度合いの判定、の双方を実行してよい。そして、眠気推定部４５は、それぞれの特徴量３２に基づき判定した度合いに対して、第１の重み、第２の重みをそれぞれ適用した結果を出力結果３３として出力してよい。

例えば、眠気推定部４５は、第１の特徴量３２ａに基づく眠気の度合いの判定結果に対して、第１の重みに基づく当該判定結果の信頼度を付加し、第２の特徴量３２ｂに基づく眠気の度合いの判定結果に対して、第２の重みに基づく当該判定結果の信頼度を付加してよい。これにより、判定結果（出力結果３３）を利用するシステムにおいて、第１の特徴量３２ａ及び第２の特徴量３２ｂの判定結果のそれぞれと各信頼度とに基づき、眠気を総合的に判定することが可能となる。なお、眠気推定部４５は、信頼度を用いた総合的な判定を行ない、その判定結果を出力してもよい。

以上のように、一実施形態に係る眠気判定装置１によれば、目の開閉に関する特徴量から検知された眠気の度合いの変化に応じて、目の開閉に関する特徴量及び顔の筋肉の緊張状態に関する特徴量の一方又は双方の基づき、ユーザの眠気の度合いを推定する。

これにより、目の開閉に関する特徴量を用いて眠気の度合いを正しく検出できない状態、例えば、ユーザが集中する状態（第１の例外）、又は、意識的に眠気と戦うときの目の開閉状態（第２の例外）であっても、適切に眠気の度合いを検出することができる。

〔１－４〕動作例
以下、眠気判定装置１による眠気判定処理の動作例を説明する。図１３は、一実施形態に係る眠気判定装置１による眠気判定処理の動作例を説明するフローチャートである。

なお、推定部４は、メモリ部３が記憶する複数の撮像画像３１のそれぞれからユーザの顔（顔部分の領域）及びＡＵを検出するものとする。例えば、推定部４は、図１３に示すように、複数の撮像画像３１のそれぞれからＡＵの値を算出する（ステップＳ１）。

図１３に例示するように、眠気判定装置１において、緊張状態推定部４３は、第２の特徴量３２ｂ、例えば口輪筋（ＡＵ２３）の変化範囲を算出する（ステップＳ２）。

ステップＳ１及びＳ２と並行して、開閉状態瞬き推定部４１は、推定部４により検出されたユーザの顔部分の領域から、目の特徴点を検出する（ステップＳ３）。

開閉状態瞬き推定部４１は、目の特徴点に基づき、第１の特徴量３２ａ、例えば開眼度を算出する（ステップＳ４）。

眠気度合変化推定部４２は、時系列に並んだ撮像画像３１間における第１の特徴量３２ａ（例えば開眼度）の変化量を算出する（ステップＳ５）。

眠気度合変化推定部４２は、算出した変化量と第１閾値Ｔｈ１とを比較し、算出した変化量が第１閾値Ｔｈ１よりも大きいか否かを判定する（ステップＳ６）。

第１の特徴量３２ａの変化量が第１閾値Ｔｈ１以下の場合（ステップＳ６でＮＯ）、眠気度合変化推定部４２は、ユーザの眠気の度合いの変化が無いと判定する。この場合、上述した第１及び第２の例外に相当する状態である可能性が低いため、特徴量判定部４４は、第１の重み＞第２の重みとなるように重み付けを行なってよい。以下、簡単のために、特徴量判定部４４は、第１の重み：第２の重み＝“1.0”：“0.0”と決定するものとする。

眠気推定部４５は、特徴量判定部４４により設定された重み付け（第１の重み：第２の重み＝“1.0”：“0.0”）に基づき、第１の特徴量３２ａに基づきユーザの眠気を判定する。例えば、眠気推定部４５は、第１の特徴量３２ａ（例えば開眼度）と第２閾値Ｔｈ２とを比較し、第１の特徴量３２ａが第２閾値Ｔｈ２よりも大きいか否かを判定する（ステップＳ７）。

第１の特徴量３２ａが第２閾値Ｔｈ２よりも大きい場合（ステップＳ７でＹＥＳ）、眠気推定部４５は、ユーザの眠気の度合いが覚醒状態であると判定し（ステップＳ８）、判定結果を出力し、処理が終了する。

第１の特徴量３２ａが第２閾値Ｔｈ２以下である場合（ステップＳ７でＮＯ）、眠気推定部４５は、ユーザの眠気の度合いが眠気状態であると判定し（ステップＳ９）、判定結果を出力し、処理が終了する。

一方、第１の特徴量３２ａの変化量が第１閾値Ｔｈ１よりも大きい場合（ステップＳ６でＹＥＳ）、眠気度合変化推定部４２は、ユーザの眠気の度合いの変化が有ると判定する。この場合、上述した第１及び第２の例外に相当する状態である可能性が高いため、特徴量判定部４４は、第１の重み＜第２の重みとなるように重み付けを行なってよい。以下、簡単のために、特徴量判定部４４は、第１の重み：第２の重み＝“0.0”：“1.0”と決定するものとする。

眠気推定部４５は、特徴量判定部４４により設定された重み付け（第１の重み：第２の重み＝“0.0”：“1.0”）に基づき、ステップＳ２で算出した第２の特徴量３２ｂに基づきユーザの眠気を判定する。例えば、眠気推定部４５は、第２の特徴量３２ａ（例えば口輪筋の変化範囲）と第３閾値Ｔｈ３とを比較し、第２の特徴量３２ｂが第３閾値Ｔｈ３よりも大きいか否かを判定する（ステップＳ１０）。

第２の特徴量３２ｂが第３閾値Ｔｈ３よりも大きい場合（ステップＳ１０でＹＥＳ）、眠気推定部４５は、ユーザの眠気の度合いが覚醒状態であると判定し（ステップＳ１１）、判定結果を出力し、処理が終了する。

第２の特徴量３２ｂが第３閾値Ｔｈ３以下である場合（ステップＳ１０でＮＯ）、眠気推定部４５は、ユーザの眠気の度合いが眠気状態であると判定し（ステップＳ１２）、判定結果を出力し、処理が終了する。

なお、眠気推定部４５は、ステップＳ８、Ｓ９、Ｓ１１、Ｓ１２の処理結果を出力結果３３としてメモリ部３に格納してよい。

〔１－５〕ハードウェア構成例
一実施形態に係る眠気判定装置１は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、眠気判定装置１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、眠気判定装置１の機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷ（Hardware）リソース及びＮＷ（Network）リソースを用いて実現されてもよい。

図１４は、眠気判定装置１の機能を実現するコンピュータ１０のハードウェア（ＨＷ）構成例を示すブロック図である。眠気判定装置１の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１４に例示するＨＷ構成を備えてよい。

図１４に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、ＩＯ（Input / Output）部１０ｅ、及び読取部１０ｆを備えてよい。

プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。

メモリ１０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｂとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。

記憶部１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

図９に示すメモリ部３は、メモリ１０ｂ及び記憶部１０ｃの少なくとも一方の記憶領域により実現されてよい。換言すれば、撮像画像３１、特徴量３２及び出力結果３３は、メモリ１０ｂ及び記憶部１０ｃの少なくとも一方の記憶領域に格納されてよい。

また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇ（眠気判定プログラム）を格納してよい。

例えば、眠気判定装置１のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図９に例示する眠気判定装置１（例えば撮像部２及び推定部４）としての機能を実現できる。

ＩＦ部１０ｄは、ネットワークとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、眠気判定装置１は、ＩＦ部１０ｄを介して、図示しない情報処理装置及び撮像装置等と相互に通信可能に接続されてよい。例えば、図９に示す撮像部２は、ネットワーク経由で撮像装置から撮像画像３１を取得してもよい。また、プログラム１０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。

ＩＯ部１０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。例えば、図９に示す推定部４は、ＩＯ部１０ｅの出力装置に判定結果を出力し表示させてもよい。

読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。

記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、眠気判定装置１において、ＩＯ部１０ｅ及び読取部１０ｆの少なくとも一方は、省略されてもよい。

〔１－６〕適用例
次に、一実施形態に係る眠気判定装置１の適用例を説明する。

〔１－６－１〕第１適用例
図１５は、第１適用例に係る安全運転支援システム１１の構成例を示すブロック図である。安全運転支援システム１１は、ユーザの一例である車両の運転者の目の開閉に関する第１の特徴量３２ａと、顔の筋肉の緊張状態に関する第２の特徴量３２ｂとに基づき運転者の眠気を判定し、判定結果を安全運転支援のために活用する。

図１５に示すように、安全運転支援システム１１は、例示的に、判定装置１２、安全運転支援部１７、及び、データ蓄積部１８を備えてよい。

判定装置１２は、車両を運転するユーザの顔を含む撮像画像３１に基づきユーザの眠気を判定する装置であり、図９に示す眠気判定装置１の一例である。図１５に示すように、判定装置１２は、例示的に、撮像装置１３、通信部１４、メモリ部１５、及び、制御部１６を備えてよい。

図１６は、撮像装置１３の設置例を示す図である。撮像装置１３は、画像、例えば動画像（映像）等の複数の撮像画像３１を撮影する種々のカメラであってよい。カメラとしては、図１６に例示するように、ユーザの顔を含む領域を撮像する車載カメラ、スマートフォン又はタブレットが用いられてもよい。撮像装置１３は、判定装置１２の外部に設けられてもよく、この場合、判定装置１２に対して撮像画像３１を送信する通信ＩＦを備えてよい。

通信部１４は、安全運転支援部１７、及び、データ蓄積部１８のそれぞれと相互に通信を行なうものであり、図１４に示すＩＦ部１０ｄにより実現されてもよい。また、撮像装置１３が判定装置１２の外部に設けられる場合、通信部１４は、撮像装置１３との通信、例えば、撮像装置１３への撮像に関する制御コマンドの送信、及び、撮像装置１３から送信される撮像画像３１の受信を行なってよい。

メモリ部１５は、判定装置１２の動作に関する種々の情報を記憶する。メモリ部１５は、図９に示すメモリ部３の一例であり、メモリ部３と同様の情報を記憶してよい。

制御部１６は、判定装置１２の動作に関する種々の制御を行なう。例えば、制御部１６は、送受信部１６ａ、眠気判定部１６ｂ、及び、情報制御部１６ｃを備えてよい。

送受信部１６ａは、撮像装置１３との間のデータの送受信、及び、通信部１４を介した撮像装置１３、安全運転支援部１７及びデータ蓄積部１８との間のデータの送受信等を制御する。

眠気判定部１６ｂは、図９に示す推定部４の一例であり、推定部４と同様の眠気判定処理を実行してよい。

情報制御部１６ｃは、安全運転支援部１７及びデータ蓄積部１８との間でやり取りをするデータに関する種々の制御を行なう。

安全運転支援部１７は、判定装置１２において判定された判定結果を通信部１４から受信し、判定結果に基づき安全運転支援を行なう。例えば、安全運転支援部１７は、判定結果が眠気状態であることを示す場合、運転者にアラーム等の警告を出力してよい。アラームとしては、例えば、音、振動、匂いのいずれか１つ、又は、これらの２以上の組み合わせであってよい。アラームの出力は、例えば、車両、又は、運転者が有するスマートフォン等に備えられたスピーカ、バイブレータ等の機能を利用して運転者に通知されてよい。

データ蓄積部１８は、判定装置１２において判定された判定結果を通信部１４から受信し、受信した判定結果を蓄積するＤＢ（データベース）等であってよい。データ蓄積部１８に蓄積された情報は、例えば、自動車保険評価及び事故予防等の種々の目的で活用されてよい。

なお、撮像装置１３、通信部１４、メモリ部１５、制御部１６、安全運転支援部１７、及び、データ蓄積部１８は、任意の組み合わせで併合してもよく、それぞれの機能を分割してもよい。

図１７は、第１適用例に係る安全運転支援システム１１の動作例を説明するフローチャートである。

図１７に例示するように、判定装置１２は、撮像装置１３により撮像された複数の撮像画像３１を取得する（ステップＳ２１）。

判定装置１２は、取得した撮像画像３１に基づき、眠気判定処理を実行し（ステップＳ２２）、通信部１４を介して、眠気の度合いの判定結果を安全運転支援部１７及びデータ蓄積部１８にそれぞれ送信する。眠気判定処理では、眠気判定部１６ｂにより、図１３に示すステップＳ１～Ｓ１２と同様の処理が実行されてよい。

安全運転支援部１７は、受信した判定結果に基づき安全運転支援を実施し、データ蓄積部１８は、受信した判定結果を蓄積し（ステップＳ２３）、処理が終了する。

このように、第１適用例によれば、安全運転支援の実施において、一実施形態に係る眠気判定装置１により正確に判定されたユーザ（運転者）の眠気の度合い（状態）を活用することができる。

〔１－６－２〕第２適用例
図１８は、第２適用例に係る遠隔学習支援システム２１の構成例を示すブロック図である。遠隔学習支援システム２１は、ユーザの一例である受講者の目の開閉に関する第１の特徴量３２ａと、顔の筋肉の緊張状態に関する第２の特徴量３２ｂとに基づき受講者の眠気を判定し、判定結果を遠隔学習支援のために活用する。遠隔学習は、例えば、受講者のＰＣ（Personal Computer）又はスマートフォン等のコンピュータに対して、インターネットを介して教材を配信するオンライン授業、ｅラーニング等の遠隔教育であってよい。

図１８に示すように、遠隔学習支援システム２１は、例示的に、判定装置２２、教師フィードバック部２７、管理者フィードバック部２８、及び、教材調整部２９を備えてよい。

判定装置２２は、遠隔学習を行なうユーザの顔を含む撮像画像３１に基づきユーザの眠気を判定する装置であり、図９に示す眠気判定装置１の一例である。図１８に示すように、判定装置２２は、例示的に、撮像装置２３、通信部２４、メモリ部２５、及び、制御部２６を備えてよい。以下、特に言及しない場合、撮像装置２３、通信部２４、メモリ部２５、及び、制御部２６は、図１５に示す第１適用例の撮像装置１３、通信部１４、メモリ部１５、及び、制御部１６と同様である。

図１９は、撮像装置２３の設置例を示す図である。撮像装置２３としてのカメラは、図１９に例示するように、ユーザの顔を含む領域を撮像するｗｅｂカメラ、ビデオカメラ、スマートフォン又はタブレットであってもよく、受講者のコンピュータに備えられてもよい。撮像装置２３は、判定装置２２の外部に設けられてもよく、この場合、判定装置２２に対して撮像画像３１を送信する通信ＩＦを備えてよい。

通信部２４は、教師フィードバック部２７、管理者フィードバック部２８、及び、教材調整部２９のそれぞれと相互に通信を行なうものであり、図１４に示すＩＦ部１０ｄにより実現されてもよい。また、撮像装置２３が判定装置２２の外部に設けられる場合、通信部２４は、撮像装置２３との通信を行なってよい。

メモリ部２５は、判定装置２２の動作に関する種々の情報を記憶する。メモリ部２５は、図９に示すメモリ部３の一例であり、メモリ部３と同様の情報を記憶してよい。

制御部２６は、判定装置２２の動作に関する種々の制御を行なう。例えば、制御部２６は、送受信部２６ａ、眠気判定部２６ｂ、及び、情報制御部２６ｃを備えてよい。

送受信部２６ａは、撮像装置２３との間のデータの送受信、及び、通信部２４を介した撮像装置２３、教師フィードバック部２７、管理者フィードバック部２８、及び、教材調整部２９との間のデータの送受信等を制御する。

眠気判定部２６ｂは、図９に示す推定部４の一例であり、推定部４と同様の眠気判定処理を実行してよい。なお、眠気判定部２６ｂは、判定結果として覚醒状態を出力する場合、覚醒状態の「一般的」又は「例外（集中）」の別を判定結果に含めてもよい。

情報制御部２６ｃは、教師フィードバック部２７、管理者フィードバック部２８、及び、教材調整部２９との間でやり取りをするデータに関する種々の制御を行なう。

教師フィードバック部２７は、判定装置２２において判定された判定結果を通信部２４から受信し、判定結果に基づき、遠隔学習の講師、例えば教師への判定結果のフィードバックを行なう。例えば、教師フィードバック部２７は、判定結果を蓄積及び集計することで、受講者の集中及び眠気情報の統計データを生成し、教師が有するコンピュータに対して統計データを出力してよい。これにより、教師は、統計データに基づき遠隔学習の内容をリアルタイムに調整することができる。

管理者フィードバック部２８は、判定装置２２において判定された判定結果を通信部２４から受信し、判定結果に基づき、遠隔学習の管理者への判定結果のフィードバックを行なう。例えば、管理者フィードバック部２８は、上述した統計データを生成又は取得し、管理者が有するコンピュータに出力してよい。これにより、管理者は、統計データに基づき遠隔学習（授業）の評価及び改良を行なうことができる。

教材調整部２９は、判定装置２２において判定された判定結果を通信部２４から受信して蓄積し、判定結果、又は、判定結果から取得した統計データに基づき、教材内容の調整を実行する。教材内容の調整には、配信する教材内容の変更、再生速度又は音量の変更等が含まれてよい。実行された調整は、受講者が有するコンピュータに配信される教材に反映されてよい。

なお、撮像装置２３、通信部２４、メモリ部２５、制御部２６、教師フィードバック部２７、管理者フィードバック部２８、及び、教材調整部２９は、任意の組み合わせで併合してもよく、それぞれの機能を分割してもよい。

図２０は、第２適用例に係る遠隔学習支援システム２１の動作例を説明するフローチャートである。

図２０に例示するように、判定装置２２は、撮像装置２３により撮像された複数の撮像画像３１を取得する（ステップＳ３１）。

判定装置２２は、取得した撮像画像３１に基づき、眠気判定処理を実行し（ステップＳ３２）、通信部２４を介して、眠気の度合いの判定結果を教師フィードバック部２７、管理者フィードバック部２８、及び、教材調整部２９にそれぞれ送信する。眠気判定処理では、眠気判定部２６ｂにより、図１３に示すステップＳ１～Ｓ１２と同様の処理が実行されてよい。

教師フィードバック部２７及び管理者フィードバック部２８は、受信した判定結果に基づく統計データを教師及び管理者のコンピュータにそれぞれ送信し、教材調整部２９は、受信した判定結果に基づき教材内容を調整し（ステップＳ３３）、処理が終了する。

このように、第２適用例によれば、遠隔学習支援の実施において、一実施形態に係る眠気判定装置１により正確に判定されたユーザ（受講者）の眠気の度合い（状態）を活用することができる。

〔２〕その他
上述した一実施形態、並びに、第１及び第２適用例に係る技術は、以下のように変形、変更して実施することができる。

例えば、図９に示す眠気判定装置１の推定部４が備える開閉状態瞬き推定部４１、眠気度合変化推定部４２、緊張状態推定部４３、特徴量判定部４４、及び、眠気推定部４５は、任意の組み合わせで併合してもよく、それぞれ分割してもよい。

また、図９に示す眠気判定装置１は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、撮像部２はユーザの周辺に位置するコンピュータ、推定部４はアプリケーションサーバ、メモリ部３はＤＢサーバ、等であってもよい。この場合、コンピュータ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、眠気判定装置１としての各処理機能を実現してもよい。

さらに、図９に示す眠気判定装置１の推定部４（眠気推定部４５）は、第２の特徴量３２ｂを用いて眠気の判定を行なう場合、複数種別の第２の特徴量３２ｂを用いて、眠気を総合的に判定してもよい。すなわち、第２の特徴量３２ｂとして、２以上の特徴量、一例として、口輪筋（ＡＵ２３）の変化範囲及びオトガイ筋（ＡＵ１７）のピーク数、の各特徴量が用いられてもよい。この場合、眠気推定部４５は、口輪筋（ＡＵ２３）の変化範囲に基づく判定結果と、オトガイ筋（ＡＵ１７）のピーク数に基づく判定結果とに基づき、眠気の判定を行なってもよい。

〔３〕付記
以上の実施形態、並びに、第１及び第２適用例に関し、さらに以下の付記を開示する。

（付記１）
ユーザの顔を含む複数の撮像画像を取得し、
前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出し、
検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定し、
決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する、
処理をコンピュータに実行させる、眠気判定プログラム。

（付記２）
前記第１の重み及び前記第２の重みを決定する処理は、検出された前記目の開閉に関する特徴量の変化量が第１閾値以下である場合、前記第１の重みが前記第２の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定し、前記変化量が前記第１閾値よりも大きい場合、前記第２の重みが前記第１の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定する処理を含む、
付記１に記載の眠気判定プログラム。

（付記３）
前記ユーザの眠気を判定する処理は、前記変化量が前記第１閾値以下である場合において、前記目の開閉に関する特徴量が第２閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記目の開閉に関する特徴量が前記第２閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する処理を含む、
付記２に記載の眠気判定プログラム。

（付記４）
前記ユーザの眠気を判定する処理は、前記変化量が前記第１閾値よりも大きい場合において、前記顔の筋肉の緊張に関する特徴量が第３閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記顔の筋肉の緊張に関する特徴量が前記第３閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する処理を含む、
付記２又は付記３に記載の眠気判定プログラム。

（付記５）
前記顔の筋肉の緊張に関する特徴量を、前記顔の表情筋の変化に関する情報に基づき算出する、
処理を前記コンピュータに実行させる、付記１～付記４のいずれか１項に記載の眠気判定プログラム。

（付記６）
前記顔の表情筋の変化に関する情報は、前記複数の撮像画像におけるＡＵ（Action Unit）の値の変化量を含む、
付記５に記載の眠気判定プログラム。

（付記７）
ユーザの顔を含む複数の撮像画像を取得し、
前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出し、
検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定し、
決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する、
制御部を備える、眠気判定装置。

（付記８）
前記制御部は、前記第１の重み及び前記第２の重みの決定において、検出された前記目の開閉に関する特徴量の変化量が第１閾値以下である場合、前記第１の重みが前記第２の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定し、前記変化量が前記第１閾値よりも大きい場合、前記第２の重みが前記第１の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定する、
付記７に記載の眠気判定装置。

（付記９）
前記制御部は、前記ユーザの眠気の判定において、前記変化量が前記第１閾値以下である場合において、前記目の開閉に関する特徴量が第２閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記目の開閉に関する特徴量が前記第２閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する、
付記８に記載の眠気判定装置。

（付記１０）
前記制御部は、前記ユーザの眠気の判定において、前記変化量が前記第１閾値よりも大きい場合において、前記顔の筋肉の緊張に関する特徴量が第３閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記顔の筋肉の緊張に関する特徴量が前記第３閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する、
付記８又は付記９に記載の眠気判定装置。

（付記１１）
前記制御部は、前記顔の筋肉の緊張に関する特徴量を、前記顔の表情筋の変化に関する情報に基づき算出する、
付記７～付記１０のいずれか１項に記載の眠気判定装置。

（付記１２）
前記顔の表情筋の変化に関する情報は、前記複数の撮像画像におけるＡＵ（Action Unit）の値の変化量を含む、
付記１１に記載の眠気判定装置。

（付記１３）
ユーザの顔を含む複数の撮像画像を取得し、
前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出し、
検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定し、
決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する、
処理をコンピュータが実行する、眠気判定方法。

（付記１４）
前記第１の重み及び前記第２の重みを決定する処理は、検出された前記目の開閉に関する特徴量の変化量が第１閾値以下である場合、前記第１の重みが前記第２の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定し、前記変化量が前記第１閾値よりも大きい場合、前記第２の重みが前記第１の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定する処理を含む、
付記１３に記載の眠気判定方法。

（付記１５）
前記ユーザの眠気を判定する処理は、前記変化量が前記第１閾値以下である場合において、前記目の開閉に関する特徴量が第２閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記目の開閉に関する特徴量が前記第２閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する処理を含む、
付記１４に記載の眠気判定方法。

（付記１６）
前記ユーザの眠気を判定する処理は、前記変化量が前記第１閾値よりも大きい場合において、前記顔の筋肉の緊張に関する特徴量が第３閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記顔の筋肉の緊張に関する特徴量が前記第３閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する処理を含む、
付記１４又は付記１５に記載の眠気判定方法。

（付記１７）
前記顔の筋肉の緊張に関する特徴量を、前記顔の表情筋の変化に関する情報に基づき算出する、
処理を前記コンピュータが実行する、付記１３～付記１６のいずれか１項に記載の眠気判定方法。

（付記１８）
前記顔の表情筋の変化に関する情報は、前記複数の撮像画像におけるＡＵ（Action Unit）の値の変化量を含む、
付記１７に記載の眠気判定方法。

１眠気判定装置
１１安全運転支援システム
１２、２２判定装置
１３、２３撮像装置
１４、２４通信部
１５、２５、３メモリ部
１６、２６制御部
１６ａ、２６ａ送受信部
１６ｂ、２６ｂ眠気判定部
１６ｃ、２６ｃ情報制御部
１７安全運転支援部
１８データ蓄積部
２撮像部
２１遠隔学習支援システム
２７教師フィードバック部
２８管理者フィードバック部
２９教材調整部
３１撮像画像
３２、３２ａ、３２ｂ特徴量
３３出力結果
４推定部
４１開閉状態瞬き推定部
４２眠気度合変化推定部
４３緊張状態推定部
４４特徴量判定部
４５眠気推定部

Claims

ユーザの顔を含む複数の撮像画像を取得し、
前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出し、
検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定し、
決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する、
処理をコンピュータに実行させる、眠気判定プログラム。
前記第１の重み及び前記第２の重みを決定する処理は、検出された前記目の開閉に関する特徴量の変化量が第１閾値以下である場合、前記第１の重みが前記第２の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定し、前記変化量が前記第１閾値よりも大きい場合、前記第２の重みが前記第１の重みよりも大きくなるように前記第１の重み及び前記第２の重みを決定する処理を含む、
請求項１に記載の眠気判定プログラム。
前記ユーザの眠気を判定する処理は、前記変化量が前記第１閾値以下である場合において、前記目の開閉に関する特徴量が第２閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記目の開閉に関する特徴量が前記第２閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する処理を含む、
請求項２に記載の眠気判定プログラム。
前記ユーザの眠気を判定する処理は、前記変化量が前記第１閾値よりも大きい場合において、前記顔の筋肉の緊張に関する特徴量が第３閾値よりも大きい場合に、前記ユーザの眠気が覚醒状態であると判定し、前記顔の筋肉の緊張に関する特徴量が前記第３閾値以下である場合に、前記ユーザの眠気が眠気状態であると判定する処理を含む、
請求項２又は請求項３に記載の眠気判定プログラム。
前記顔の筋肉の緊張に関する特徴量を、前記顔の表情筋の変化に関する情報に基づき算出する、
処理を前記コンピュータに実行させる、請求項１～請求項４のいずれか１項に記載の眠気判定プログラム。
前記顔の表情筋の変化に関する情報は、前記複数の撮像画像におけるＡＵ（Action Unit）の値の変化量を含む、
請求項５に記載の眠気判定プログラム。
ユーザの顔を含む複数の撮像画像を取得し、
前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出し、
検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定し、
決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する、
制御部を備える、眠気判定装置。
ユーザの顔を含む複数の撮像画像を取得し、
前記複数の撮像画像に基づいて、前記顔に含まれる目の開閉に関する特徴量の変化を検出し、
検出された前記目の開閉に関する特徴量の変化に応じて、前記目の開閉に関する特徴量の第１の重みと前記顔の筋肉の緊張に関する特徴量の第２の重みとを決定し、
決定された前記第１の重みと前記第２の重みとに従って、前記目の開閉に関する特徴量と前記顔の筋肉の緊張に関する特徴量とのうちの少なくとも一方に基づいて、前記ユーザの眠気を判定する、
処理をコンピュータが実行する、眠気判定方法。