JP2015095161A - 視線方向検知装置 - Google Patents

Abstract

【課題】被検者に映像を提示するヘッドアップディスプレイと連動して検査対象範囲を絞り込んだうえで、被験者の視線方向を検出する。
【解決手段】視線検知部１２は、ヘッドアップディスプレイ２０の位置調節部２４から、被検者に対して表示する映像の投影位置を調節した結果を表す調節位置情報を取得する。視線検知部１２は、取得された調節位置情報に基づいて、被検者の瞳の位置を推定する。視線検知部１２は、推定した被検者の瞳の位置に合わせて、カメラ３０の撮像範囲の位置を移動する。そして、視線検知部１２は、撮像範囲を調節したカメラ３０によって撮像された画像に写る瞳の状態に基づいて、被検者の視線方向を算出する。
【選択図】図１

Description

本発明は、ヘッドアップディスプレイ装置と連動して被検者の視線方向を検知する技術に関する。

近年、携帯端末や車載機器等、機械と人とのインターフェイス（ＨＭＩ）として、画面上に配置されたタッチパネルを触る入力方法が広く普及している。このようなタッチパネルによる入力方法は、旧来のスイッチ等を操作する入力方法と比較して操作感が改善されている。しかしながら、タッチパネルによる入力方法は、手を動かして操作する点で旧来のスイッチと変わりなく、操作にかかる身体的な負担を低減するには至っていない。また、車両の運転等で使用者の手がふさがっている状況では、操作が困難になるという短所がある。このような問題を解決するものとして、使用者の視線方向を検知し、検知した視線方向に基づいて選択対象物を特定することで、情報の入力を行う視線入力の技術が提案されている（例えば、特許文献１参照）。また、この種の視線入力の技術を、車両の運転者の前方へ情報提示を行うヘッドアップディスプレイの映像と連動するポインティングデバイスに適用する技術が提案されている（例えば、特許文献２参照）。

特開２０００−８９９０５号公報 特開２００５−７５０８１号公報

視線方向を検知する方法としては、被検者の瞳に赤外光を照射した状態で被検者の瞳をカメラで撮像し、撮像画像に写る瞳による赤外光の反射像の状態に基づき、視線方向を推定する方法が知られている。この方法では、画像処理によって被検者の瞳の状態を解析することで視線方向を検知するため、高解像度の撮像画像が必要となる。

ところが、例えば車両の運転者を対象に視線方向を検知する場合、運転者の体格や姿勢によって瞳の位置が不特定であるから、運転者の瞳をカメラで確実に捉えるために広範囲を撮像する必要がある。そのため、高解像度で広範囲を撮像できる高性能なカメラが必要となる。また、高解像度で撮像された広範囲の画像を高速に画像処理するためには、相応の高い演算処理能力が要求される。

本発明は上記問題を改善するためになされたものであり、被検者に映像を提示するヘッドアップディスプレイと連動して検査対象範囲を絞り込んで、被験者の視線方向を検出する技術を提供することを目的とする。

請求項１に記載の視線方向検知装置は、ヘッドアップディスプレイ装置と通信可能に接続されるものであって、撮像手段、取得手段、推定手段、設定手段、及び、算出手段を備える。撮像手段は、被検者を前方から撮像した被検者画像を取得する。取得手段は、ヘッドアップディスプレイ装置に備えられた、映像の投影位置を被検者に合わせて調節する調節手段について、投影位置の調節結果を表す調節位置情報を取得する。このヘッドアップディスプレイは、被検者の前方に配置されたスクリーンに映像を投影し、被検者に対して映像を表示する表示装置である。推定手段は、取得手段により取得された調節位置情報に基づいて、被検者の瞳の位置を推定する。設定手段は、推定手段により推定された瞳の位置を基準に、撮像手段により撮像される被検者画像の検査対象範囲を設定する。算出手段は、設定手段により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、被検者の視線方向を算出する。

本発明によれば、ヘッドアップディスプレイ装置における映像の投影位置の調節結果と連動することによって、検査対象範囲を絞り込んで視線方向の検出を行うことができる。つまり、ヘッドアップディスプレイ装置において、被検者から見やすいように映像の投影位置が好適に調節されることで、映像の投影位置と被検者の瞳の位置とが、特定の位置関係になっていると推定される。そこで、本発明では、ヘッドアップディスプレイ装置における映像の投影位置の調節結果を利用して、被検者の瞳の位置を推定することができる。そして、推定された瞳の位置を基準に検査対象範囲を絞り込んだうえで、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、カメラの撮像範囲を縮減したり、被検者画像を画像処理する負担を軽減したりできる。

一方、請求項４に記載の視線方向検知装置は、ヘッドアップディスプレイ装置と通信可能に接続されるものであって、撮像手段及び算出手段を備える。撮像手段は、ヘッドアップディスプレイ装置に備えられた映像生成手段と一体に取付けられる。これにより、撮像手段は、映像生成手段により生成された映像がスクリーンに投影される経路を介して、被検者を前方から撮像した被検者画像を取得する。さらに、この撮像手段は、映像生成手段を動かして映像の投影位置を被検者に合わせて調節する調節手段によって、映像生成手段と共に動かされることで撮像範囲の位置が変わるようになっている。算出手段は、調節手段によって映像の投影位置が調節されたことに伴い、撮像手段の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する。

本発明では、ヘッドアップディスプレイ装置において、被検者から見やすいように映像の投影位置が好適に調節されることで、それと連動して撮像手段の撮像範囲の位置が被検者の瞳の位置に的確に合わせられる。そして、撮像範囲の位置が被検者の瞳の位置に合った状態で取得された被験者画像に基づいて、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、カメラの撮像範囲を縮減したり、被検者画像を画像処理する負担を軽減したりできる。

車載表示システム（第１実施形態）の構成を表すブロック図。 視線検知処理（第１実施形態）の手順を表すフローチャート。 検査対象画像を切り出す事例を表す説明図。 車載表示システム（第２実施形態）の構成を表すブロック図。 カメラの配置例を表す説明図。 視線検知処理（第２実施形態）の手順を表すフローチャート。

以下、本発明の一実施形態を図面に基づいて説明する。なお、本発明は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
〈第１実施形態〉
《車載表示システムの構成の説明》
本発明が適用された車載表示システムは、ヘッドアップディスプレイによって車両の運転者の前方に映像を投影すると共に、ヘッドアップディスプレイの映像と連動する視線入力インタフェースによって情報を入力可能な車載機器である。図１に例示されるとおり、第１実施形態の車載表示システムは、視線映像演算装置１０と、視線映像演算装置１０に接続されたヘッドアップディスプレイ（ＨＵＤ）２０、カメラ３０、及びカメラ駆動部３２等を備える。

ヘッドアップディスプレイ２０は、例えば、車両の運転席前方のダッシュボードに設置され、運転者前方に設けられたウインドシールド又はコンバイナからなるスクリーンＳに映像を投影する。投影された映像は、スクリーンＳで反射されて運転者Ｄに視認される。運転者Ｄに視認された映像は、スクリーンＳよりも前方の運転視界内に存在する虚像Ｖとして認識される。ヘッドアップディスプレイ２０は、表示部２２と位置調節部２４とを主に備える。

表示部２２は、視線映像演算装置１０から出力された映像信号に基づいて映像を出力する液晶パネルや、出力された映像をスクリーンＳに投影する反射鏡等からなる光学系で構成される。位置調節部２４は、表示部２２の映像表示面や光学系の位置や角度を動かして映像の投影方向を変えることで、スクリーンＳに投影される映像の位置を調節するアクチュエータである。

運転者Ｄの体格や姿勢に応じて瞳の位置が異なると、ヘッドアップディスプレイ２０によって投影された映像が見える位置も変わって見える。そのため、運転者Ｄの瞳の位置に対して虚像Ｖが適切な位置で見えるように、位置調節部２４によって映像の投影位置を補正できるようになっている。位置調節部２４は、例えば、車両の電動シートと連動して、運転者Ｄのために予め登録されている設定値に合わせて自動的に映像の表示位置を調節するものが考えられる。あるいは、運転者Ｄによる操作に基づいて映像の表示位置を調節するものであってもよい。

視線映像演算装置１０は、主にマイクロコンピュータからなり、視線検知部１２、演算部１４、及び映像信号出力部１６を備える。視線検知部１２は、カメラ３０により撮像された画像を画像処理することにより、被検者である運転者Ｄの視線方向を特定する。その際、視線検知部１２は、位置調節部２４から取得した調節位置情報に基づいて運転者Ｄの瞳の位置を推定する。そして、推定した瞳の位置に応じてカメラ３０の撮像範囲を調節した上で、視線方向を特定するための画像処理を行う。この一連の処理の詳細な説明については後述する。

演算部１４は、視線映像演算装置１０に接続された車載機器（図示なし）から入力された画像を映像信号出力部１６に出力し、映像信号として出力させる。この車載機器は、ヘッドアップディスプレイ２０に表示させるための画像を描画するアプリケーションを実行するものである。また、演算部１４は、視線検知部１２から出力される運転者Ｄの視線方向に基づき、運転者Ｄが注視している画像の位置を特定する。そして、特定した画像の位置に対応した情報を前述の車載機器に出力する。映像信号出力部１６は、演算部１４から入力された画像を映像信号としてヘッドアップディスプレイ２０に出力する。

カメラ３０は、例えば、車両の運転席前方のダッシュボードに配置され、運転席に着座する運転者Ｄの顔面の辺りを撮像する。このカメラ３０は、被検者である運転者Ｄの体格や姿勢に応じて瞳の位置が異なることを想定して、撮像範囲の位置を変更できるように位置や向きが可動となっている。カメラ駆動部３２は、視線検知部１２からの制御に応じてカメラ３０の位置や向きを動かすことで、カメラ３０の撮像範囲の位置を変更するアクチュエータである。これにより、運転者Ｄの瞳の位置に合わせてカメラ３０の撮像範囲の位置を変えることで、運転者Ｄの瞳を確実に撮像範囲に捉えることができるようになっている。

《視線検知処理（第１実施形態）の説明》
視線検知部１２が実行する視線検知処理（第１実施形態）の手順について、図２のフローチャートを参照しながら説明する。

Ｓ１００では、ヘッドアップディスプレイ２０の位置調節部２４によって表示部２２の映像の投影位置が調節される。Ｓ１０２では、視線検知部１２は、位置調節部２４による映像の投影位置の調節結果を表す調節位置情報を取得する。この調節位置情報には、例えば、映像を投影する位置や角度の補正値を表す情報等が含まれる。そして、Ｓ１０４では、視線検知部１２は、Ｓ１０２で取得した位置調節情報に基づいて被検者（運転者Ｄ）の瞳の位置を算出する。

次のＳ１０６では、視線検知部１２は、Ｓ１０４で算出した被検者の瞳の位置に基づいてカメラ３０を移動させ、カメラ３０の撮像範囲を被検者の瞳の位置に合わせる。具体的には、被検者の瞳の位置とカメラ３０の向きや位置との関係が予め定義されたパラメータに基づいてカメラ駆動部３２を作動させ、被検者の瞳がカメラ３０の撮像範囲に入るようにカメラ３０の向きや位置を調節する。そして、Ｓ１０８では、視線検知部１２は、撮像範囲が調節されたカメラ３０によって撮像された被検者の画像に基づいて、被検者の視線方向を算出する。ここでは、被検者の画像を所定のアルゴリズムを用いて画像処理することにより、この画像に写る瞳の状態を解析して視線方向を算出する。

《第１実施形態の変形例》
第１実施形態の視線検知処理では、算出した被験者の瞳の位置に応じてカメラ３０を動かすことで、カメラ３０の撮像範囲の位置を調節する事例について説明した。これとは別に、算出した被験者の瞳の位置に基づいて、カメラ３０によって撮像された被験者の画像の中から、被検者の瞳の位置に該当する一部領域を切り出し、切り出した領域の画像から被検者の視線方向を算出する構成であってもよい。この場合、カメラ３０は一定方向に固定されたままで撮像を行う。また、カメラ駆動部３２は車載表示システムの構成から省かれる。

具体的には、視線検知部１２は、上述の視線検知処理（図２参照）のＳ１０６に代えて、Ｓ１０７の処理を実行する。このＳ１０７では、視線検知部１２は、カメラ３０によって撮像された被験者の画像から、Ｓ１０４で特定した被験者の瞳の位置に該当する所定のサイズの領域を切り出す。

例えば、算出された被検者の瞳の位置と、カメラ３０の撮像画像に写る瞳の位置との対応関係が予め定義されたパラメータに基づいて、切り出し領域の位置を特定する。切り出し領域の大きさは、例えば、カメラ３０の位置と車両の運転席に着座した状態の被検者の顔面との推定距離に基づき、被検者の両目とその周辺領域が含まれる程度の大きさとする。そして、図３に例示されるように、カメラ３０による撮像画像全体から、切り出し領域に該当する一部画像を検査対象画像として切り出す。

そして、Ｓ１０８では、視線検知部１２は、Ｓ１０７で切り出した検査対象画像を所定のアルゴリズムによって画像処理することで、この画像に写る瞳の状態に基づいて視線方向を算出する。

《効果》
第１実施形態の車載表示システムによれば、次の効果を奏する。
ヘッドアップディスプレイ２０の位置調節部２４による映像の投影位置の調節結果と連動して検査対象範囲を絞り込んだうえで、視線方向の検出を行うことができる。第１実施形態では、ヘッドアップディスプレイ２０において、被検者から見やすいように映像の投影位置が好適に調節されることで、その調節結果を利用して被検者の瞳の位置を推定することができる。そして、推定された瞳の位置に合わせて、カメラ３０を動かして撮像範囲を移動したり、撮像画像の一部領域を切り抜いたりして、検査対象範囲を絞り込むことができる。このようにすることで、被検者を撮像するカメラの撮像範囲を縮減したり、被検者の画像を画像処理する負担を軽減できる。

〈第２実施形態〉
《車載表示システムの構成の説明》
図４に例示されるとおり、第２実施形態の車載表示システムは、視線映像演算装置１０と、視線映像演算装置１０に接続されるヘッドアップディスプレイ装置（ＨＵＤ）２０及びカメラ３１等を備える。第２実施形態では、被検者である運転者Ｄを撮像するカメラ３１が、ヘッドアップディスプレイ２０の構成である表示部２２と一体に取付けられている点で、上述の第１実施形態と相違する。なお、図４において、第１実施形態と共通する構成には同じ符号を付け、ここでは重複する説明を省略する。

カメラ３１は、ヘッドアップディスプレイ２０の表示部２２により出力された映像がスクリーンＳに投影される経路を介して、被検者である運転者Ｄの瞳付近の画像を撮像するように取付けられている。これにより、表示部２２から投影された映像は、車両のスクリーンＳで反射して運転者Ｄに視認される一方、運転者Ｄの瞳付近の像がスクリーンＳで反射してカメラ３１によって撮像されるようになっている。

また、カメラ３１は、位置調節部２４によって表示部２２の映像の投影方向が調節されるときに可動する部位に取付けられるものとする。これにより、表示部２２の映像の投影位置とカメラ３１の撮像範囲の位置とが、位置調節部２４によって一緒に移動するようになっている。つまり、表示部２２から投影される映像が運転者Ｄから見て適切な位置に表示されるように映像の投影位置が調節されたときに、運転者Ｄの瞳がカメラ３１の撮像範囲に入る方向にカメラ３１が向けられる。

カメラ３１を表示部２２に配置した構造の複数の具体例について、図５（ａ），（ｂ），（ｃ）に基づいて説明する。なお、表示部２２には、光の透過率を変化させて画像パターンを形成する液晶パネル２６（例えば、ＴＦＴ−ＬＣＤ）と、液晶パネル２６の背面側から光を照射して画像パターンを映像として表示するための光源であるバックライト２８とが備えられているものとする。

図５（ａ）の事例では、カメラ３１が、液晶パネル２６の表示面側に配置されている。この場合、カメラ３１の撮像範囲の中心方向と、液晶パネル２６及びバックライト２８による映像の投影方向とが平行になっている。ただし、カメラ３１は、液晶パネル２６による表示を妨げないように、液晶パネル２６の縁端部分に配置される。

図５（ｂ）の事例では、カメラ３１が、液晶パネル２６の背面側に配置されている。この場合、カメラ３１の撮像範囲の中心方向と、液晶パネル２６及びバックライト２８による映像の投影方向とが平行になっている。また、液晶パネル２６の背面側にカメラ３１が配置されることで、液晶パネル２６の表示が妨げられないため、液晶パネル２６の中央に合わせてカメラ３１を配置できる。カメラ３１は、液晶パネル２６が稼働して光を透過する状態のときに、液晶パネル２６を透過して被検者を撮像できるようになっている。

図５（ｃ）の事例では、液晶パネル２６及びバックライト２８により映像が投影される経路上に、ハーフミラー２９が配置されている。カメラ３１は、映像の投影方向から到来する光がハーフミラー２９によって反射される位置に配置されている。この場合、液晶パネル２６及びバックライト２８において表示された映像は、ハーフミラー２９を透過してスクリーンＳに投影される。一方、被検者の像は、スクリーンＳにおいて反射されて表示部２２に入射し、更にハーフミラー２９において反射されて、カメラ３１に撮像される。

《視線検知処理（第２実施形態）の説明》
視線検知部１２が実行する視線検知処理（第２実施形態）の手順について、図６のフローチャートを参照しながら説明する。

Ｓ２００では、ヘッドアップディスプレイ２０の位置調節部２４によって表示部２２の映像の投影位置が調節される。このとき、表示部２２による映像の投影位置が調節されると共に、カメラ３１の撮像範囲の位置も一緒に調節される。そして、Ｓ２０２では、視線検知部１２は、撮像範囲が調節された状態のカメラ３１によって撮像された被検者の画像に基づいて、被検者の視線方向を算出する。ここでは、被検者の画像を所定のアルゴリズムを用いて画像処理することにより、この画像に写る瞳の状態を解析して視線方向を算出する。

《効果》
第２実施形態の車載表示システムによれば、次の効果を奏する。
ヘッドアップディスプレイ２０において、被検者から見やすいように映像の投影位置が好適に調節されることで、それと連動して表示部２２と一体に配置されたカメラ３１の撮像範囲の位置が、被検者の瞳の位置に的確に合わせられる。そして、撮像範囲の位置が被検者の瞳の位置に合った状態で取得された画像に基づいて、被検者の視線方向を検知することができる。このようにすることで、被検者を広範囲に撮像しなくても被験者の瞳を確実に捉えることができるため、被検者の撮像に用いるカメラの撮像範囲を縮減したり、被検者の画像を画像処理する負担を軽減できる。

１０…視線映像演算装置、１２…視線検知部、１４…演算部、１６…映像信号出力部、２０…ヘッドアップディスプレイ（ＨＵＤ）、２２…表示部、２４…位置調節部、２６…液晶パネル、２８…バックライト、２９…ハーフミラー、３０，３１…カメラ、３２…カメラ駆動部、Ｄ…運転者（被検者）、Ｓ…スクリーン、Ｖ…虚像。

Claims (7)

1. 被検者の前方に配置されたスクリーン（Ｓ）に映像を投影し、前記映像を前記被検者に対して表示するヘッドアップディスプレイ装置（２０）と通信可能に接続された視線方向検知装置において、
   前記被検者を前方から撮像した被検者画像を取得する撮像手段（３０）と、
   前記ヘッドアップディスプレイ装置に備えられた、映像の投影位置を前記被検者に合わせて調節する調節手段（２４）について、投影位置の調節結果を表す調節位置情報を取得する取得手段（１２，Ｓ１０２）と、
   前記取得手段により取得された調節位置情報に基づいて、前記被検者の瞳の位置を推定する推定手段（１２，Ｓ１０４）と、
   前記推定手段により推定された瞳の位置を基準に、前記撮像手段により撮像される被検者画像の検査対象範囲を設定する設定手段（１２）と、
   前記設定手段により設定された検査対象範囲に対応する被検者画像に写る瞳の状態に基づいて、前記被検者の視線方向を算出する算出手段（１２，Ｓ１０８）と、
   を備えることを特徴とする視線方向検知装置。
2. 請求項１に記載の視線方向検知装置において、
   前記撮像手段の向きを動かして撮像範囲の位置を変える駆動手段（３２）を備え、
   前記設定手段は（Ｓ１０６）、前記検査対象範囲として、前記推定手段により推定された瞳の位置が前記撮像手段の撮像範囲に入るように、前記駆動手段を用いて撮像範囲の位置を調節し、
   前記算出手段は、前記設定手段により前記撮像手段の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出すること、
   を特徴とする視線方向検知装置。
3. 請求項１に記載の視線方向検知装置において、
   前記設定手段は（Ｓ１０７）、前記検査対象範囲として、被検者画像の中から前記推定手段により推定された瞳の位置に対応する一部領域の画像を切り出し、
   前記算出手段は、前記設定手段により切り出された画像に写る瞳の状態に基づいて、視線方向を算出すること、
   を特徴とする視線方向検知装置。
4. 被検者の前方に配置されたスクリーン（Ｓ）に映像を投影し、前記映像を前記被検者に対して表示するヘッドアップディスプレイ装置（２０）と通信可能に接続された視線方向検知装置において、
   前記被検者を前方から撮像した被検者画像を取得する撮像手段（３１）であって、前記ヘッドアップディスプレイ装置に備えられた映像生成手段（２２）と一体に取付けられ、前記映像生成手段により生成された映像が前記スクリーンに投影される経路を介して、前記被検者を撮像する位置に配置され、かつ、前記映像生成手段を動かして映像の投影位置を前記被検者に合わせて調節する調節手段（２４）によって、前記映像生成手段と共に動かされることで撮像範囲の位置が変更される撮像手段と、
   前記調節手段によって映像の投影位置が調節されたことに伴い、前記撮像手段の撮像範囲の位置が調節された状態で撮像された被検者画像に写る瞳の状態に基づいて、視線方向を算出する算出手段（１２，Ｓ２０２）と、
   を備えることを特徴とする視線方向検知装置。
5. 請求項４に記載の視線方向検知装置において、
   前記撮像手段は、前記映像生成手段において画像パターンが形成される画像形成部（２６）における表示面側に配置されていること、
   を特徴とする視線方向検知装置。
6. 請求項４に記載の視線方向検知装置において、
   前記撮像手段は、前記映像生成手段において画像パターンが形成される画像形成部（２６）における表示面の反対側に配置されていること、
   を特徴とする視線方向検知装置。
7. 請求項４に記載の視線方向検知装置において、
   前記撮像手段は、前記映像生成手段から前記スクリーンに映像が投影される経路に介在するハーフミラー（２９）によって反射される被検者の像を撮像する位置に取付けられていること、
   を特徴とする視線方向検知装置。

Images