JP7009882B2 - 表示プログラム、表示方法、及び表示装置 - Google Patents

Description

開示の技術は、表示プログラム、表示方法、及び表示装置に関する。

車両のドライバの注視対象領域に対する注視状況の推定結果がどれだけ信頼できるものであるかを把握する運転支援装置が知られている。この運転支援装置は、ドライバの視線方向を示す視線データの種類を判定する。そして、運転支援装置は、運転シーンに応じて設定した注視対象領域と、運転シーンに応じて予め定められた判定時間に取得された複数の視線データが示す視線方向とに基づいて、注視対象領域に対するドライバの注視状況を推定する。そして、運転支援装置は、注視対象領域の設定精度、及び判定時間に取得された複数の視線データの各々の種類に関する視線データの構成状況の少なくとも一方に基づいて、注視状況の推定結果の信頼度を算出する。

また、トップダウン型注意とボトムアップ型注意の相関関係を示す情報を生成することができる顕著性分析装置が知られている。この顕著性分析装置は、消費者の関心領域として視線の停留点を視線追跡情報から算出し、停留点と顕著性値の相関関係が視覚的にわかるように、停留点を顕著性マップにプロットした画像を顕著性評価情報として生成することを特徴とする。

また、情報漏えいの可能性を確認できる管理サーバが知られている。この管理サーバは、ユーザ端末のスクリーン画像を取得し、スクリーン画像内での表示領域毎に、機密レベルが高い領域を特定した機密レベル情報を取得し、スクリーン画像でユーザが注視した視線情報を取得する。そして、管理サーバは、取得した機密レベル情報および視線情報に基づいて、スクリーン画像の機密レベルが高い領域をユーザが注視したかを可視化する情報を管理者端末に表示させる。

また、表示される複数の領域の中のどの領域がどのような順序で注視されたかを知るための注視領域データ生成装置が知られている。この注視領域データ生成装置は、視点の動きが停止したことを検出したなら、視点の位置を示す停留点座標を含む停留点データを生成する。そして、注視領域データ生成装置は、停留点データ内の停留点座標を内包する画面内領域座標を含む領域データを検索し、当該領域データから領域ＩＤを読み出す。そして、注視領域データ生成装置は、当該読み出した領域ＩＤを含む注視領域データを生成し、当該注視領域データの生成順序に応じた注視順序情報を対応づける。

特開２０１５‐１２７９３７号公報 特開２０１４‐１６７６７３号公報 特開２０１７‐１６６４７号公報 特開２０１３‐０８０３６５号公報

このように、人の視線を解析することが行われている。しかし、例えば、人の各時刻の視線データからヒートマップ及びスキャンパスを時系列に生成し表示する際には、ヒートマップ及びスキャンパスを含む表示画像がわかりにくくなる場合がある。

一つの側面では、開示の技術は、特定の動作を示す視線データの視認性を向上させることが目的である。

開示の技術は、一つの実施態様では、ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、前記視線データから前記ユーザの視線に関する動作を判定する。そして、前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から前記特定の動作が終了した時刻までの各時刻の前記視線データから生成された前記表示用画像を表示するように制御する。また、前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、所定の時間区間の各時刻の前記視線データから生成された前記表示用画像を表示するように制御する。

一つの側面として、特定の動作を示す視線データの視認性を向上させることができる、という効果を有する。

実施形態に係る表示装置の概略ブロック図である。 データ記憶部に格納されるテーブルの一例を示す図である。 ヒートマップ及びスキャンパスを含む表示用画像の一例を示す図である。 ヒートマップ及びスキャンパスを含む表示用画像を説明するための説明図である。 ヒートマップ及びスキャンパスを含む表示用画像を説明するための説明図である。 ヒートマップ及びスキャンパスを含む表示用画像を説明するための説明図である。 ヒートマップ及びスキャンパスを含む表示用画像を説明するための説明図である。 ヒートマップ及びスキャンパスを含む表示用画像を説明するための説明図である。 ヒートマップ及びスキャンパスを含む表示用画像を説明するための説明図である。 視線の停留動作を説明するための説明図である。 視線の往復動作を説明するための説明図である。 本実施形態の表示用画像の表示制御を説明するための説明図である。 本実施形態の表示用画像の表示制御を説明するための説明図である。 本実施形態の表示用画像の表示制御を説明するための説明図である。 実施形態に係る表示装置として機能するコンピュータの概略構成を示すブロック図である。 第１の実施形態の表示処理ルーチンの一例を示すフローチャートである。 第１の実施形態の停留動作判定処理ルーチンの一例を示すフローチャートである。 第１の実施形態の往復動作判定処理ルーチンの一例を示すフローチャートである。 第２の実施形態の表示処理ルーチンの一例を示すフローチャートである。 第２の実施形態の読み動作判定処理ルーチンの一例を示すフローチャートである。 第２の実施形態の改行判定処理ルーチンの一例を示すフローチャートである。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

＜第１の実施形態＞

図１に示すように、第１の実施形態に係る表示装置１０は、表示制御装置１２と、出力装置２０とを備えている。

表示制御装置１２は、ユーザの視線の位置の時系列を含む視線データを表す表示用画像を、出力装置２０へ表示させる。表示制御装置１２は、データ記憶部１４と、判定部１６と、制御部１８とを備えている。

データ記憶部１４には、ユーザの視線の位置の時系列を含む視線データが格納されている。視線データは、例えば、図２に示されるように、テーブルの形式で格納される。図２に示すテーブルには、識別情報を表す番号と、時刻と、時刻に対応するフレーム画像と、視線データを表す視線の座標とが対応付けられて格納される。図２に示されるテーブルでは、例えば、番号１に対応するデータとして、時刻ｔ１に取得されたフレーム画像ＩＭ１中に、視線の座標（ｘ１，ｙ１）が格納される。フレーム画像ＩＭ１は、時刻ｔ１にユーザが見ている画像である。

図３、図４Ａ、図４Ｂ、図４Ｃ、図５Ａ、図５Ｂ、及び図５Ｃに、視線データから生成される表示用画像を説明するための説明図を示す。図３に示されるように、本実施形態の表示用画像は、視線のヒートマップ及び視線のスキャンパスを含む。なお、図中の濃淡の領域が視線のヒートマップを表し、線が視線のスキャンパスを表す。

図３に示されるように、ヒートマップ及びスキャンパスを表示する際、各時刻の視線データから得られるヒートマップ及びスキャンパスを一度に表示用画像に表示させる場合には、ユーザの視線に関する動作がわかりにくい。

具体的には、各時刻の視線の停留を表すヒートマップを一度に表示させる場合には、時間の要素がなくなるため、ユーザの視線の位置の時系列の順番がわからなくなる。また、各時刻の視線の移動を表すスキャンパスを一度に表示させる場合には、ユーザが対象物のどこを注視していたかがわからなくなり、表示させる対象のデータ数が増加すると、スキャンパスを表す線が錯綜してわかりにくくなる。

このため、例えば、図４Ａ、図４Ｂ、及び図４Ｃに示されるように、所定の時間区間の各時刻の視線データから生成された表示用画像の各々を、時系列順に表示する場合が考えられる。具体的には、図４Ａの左側の表示用画像が表示された後に、図４Ａの右側の表示用画像が表示される。次に、図４Ｂの左側の表示用画像が表示された後に、図４Ｂの右側の表示用画像が表示される。そして、図４Ｃの左側の表示用画像が表示された後に、図４Ｃの右側の表示用画像が表示される。この場合には、表示する対象のデータ数が一定となる。

しかし、表示する対象のデータ数を一定とする場合には、ユーザの特定の動作が分かりにくい場合がある。例えば、図５Ａ、図５Ｂ、及び図５Ｃに示されるように、ユーザの特定の動作が往復動作である場合、表示する対象のデータ数を一定とすると、視線データが所定のデータ数で区切られてしまい、ユーザの視線の往復動作の様子が分かりにくい。

具体的には、図５Ａの左側の表示用画像が表示された後に、図５Ａの右側の表示用画像が表示される。そして、図５Ｂの左側の表示用画像が表示されるときには、図５Ａの右側の表示用画像に映っていた停留点が消えてしまう。また、図５Ｂの右側の表示用画像が表示されるときには、図５Ｂの左側の表示用画像に映っていた停留点が消えてしまう。同様に、図５Ｃの左側の表示用画像が表示されるときには、図５Ｂの左側の表示用画像に映っていた停留点が消えてしまう。

そこで、本実施形態では、ユーザの視線に関する動作が特定の動作であるか否かを判定し、特定の動作の判定結果に応じて、視線データの表示区間を動的に変更させて表示用画像を生成し、表示用画像の各々を時系列順に表示するように制御する。本実施形態では、特定の動作が視線の停留動作及び視線の往復動作である場合を例に説明する。以下、具体的に説明する。

判定部１６は、データ記憶部１４に格納された視線データから、ユーザの視線に関する動作を判定する。判定部１６は、ユーザの視線に関する動作が、視線の停留動作及び視線の往復動作であるか否かを判定する。

具体的には、判定部１６は、データ記憶部１４に格納された視線データに基づいて、所定データ数におけるユーザの視線の位置の移動距離が、予め設定された停留動作に関する閾値以下である場合に、ユーザの視線に関する動作が停留動作であることを判定する。

例えば、判定部１６は、データ記憶部１４に格納された各時刻のフレーム画像の各々について、特定の時刻のフレーム画像における視線の位置と、特定の時刻の次時刻以降のフレーム画像における視線の位置との間の距離の各々を算出する。そして、判定部１６は、視線の位置の距離の各々に基づき、特定の時刻のフレーム画像における視線の位置を中心とする半径Ｒ内に、ｍフレーム以上連続して、次時刻以降の視線が存在する場合に、視線に関する動作が停留動作であると判定する。

例えば、図６に示されるように、判定部１６は、時刻ｔ１の視線の位置Ｐ１を中心とする半径Ｒ内に、時刻ｔ２の視線の位置Ｐ２と時刻ｔ３の視線の位置Ｐ３とが存在する場合等ｍ＝３以上であれば、停留動作と判定する。一方、時刻ｔ１の視線の位置Ｐ１を中心とする半径Ｒの外に視線が移動し、時刻ｔ４の視線の位置Ｐ４となった場合には、視線が移動したと判定する。

また、判定部１６は、データ記憶部１４に格納された視線データに基づいて、複数のフレーム画像における、ユーザの視線の停留動作に対応する停留点を検出する。例えば、図６に示される例では、ユーザの視線の停留動作の開始点に対応する視線の位置Ｐ１が、停留点として検出される。そして、判定部１６は、停留点の検出結果に基づいて、ｎ番目の停留点の位置とｎ＋２番目の停留点の位置との間の距離が、予め設定された往復動作に関する閾値以下である場合に、ユーザの視線に関する動作が視線の往復動作であると判定する。

図７に、視線の往復動作を説明するための説明図を示す。図７に示される例では、視線の位置Ｐ１，Ｐ２，Ｐ３によって１番目の停留動作が検出され、視線の位置Ｐ４，Ｐ５，Ｐ６によって２番目の停留動作が検出され、視線の位置Ｐ７，Ｐ８，Ｐ９によって３番目の停留動作が検出される。この場合、１番目の停留動作に対応する停留点として視線の位置Ｐ１が検出され、２番目の停留動作に対応する停留点として視線の位置Ｐ４が検出され、３番目の停留動作に対応する停留点として視線の位置Ｐ７が検出される。このとき、判定部１６は、１番目の停留点Ｐ１と３番目の停留点Ｐ７との間の距離が、往復動作に関する閾値Ｒ以下である場合に、ユーザの視線に関する動作が視線の往復動作であると判定する。

制御部１８は、判定部１６によって視線に関する動作が特定の動作であると判定された場合、特定の動作が開始された時刻から現時刻までの各時刻について、特定の動作が開始された時刻から当該時刻までの視線データから表示用画像を生成する。そして、制御部１８は、各時刻について、生成された表示用画像を表示するように制御する。

また、制御部１８は、判定部１６によって視線に関する動作が特定の動作とは異なる通常の動作であると判定された場合には、各時刻について、所定の時間区間分だけ前の時刻から当該時刻までの視線データから表示用画像を生成する。そして、制御部１８は、各時刻について、生成された表示用画像を表示するように制御する。

図８Ａ、図８Ｂ、及び図８Ｃに、表示用画像についての表示制御を説明するための説明図を示す。図８Ａに示されるように、場面Ｆ１においては、ユーザの視線に関する動作は通常の動作と判定される。そのため、場面Ｆ１において、制御部１８は、所定の時間区間の各時刻の視線データから生成された表示用画像を表示する。

次に、図８Ａの場面Ｆ２において特定の動作である停留動作が判定されると、制御部１８は、停留動作が開始された時刻から現時刻までの各時刻の視線データから生成された表示用画像を表示するように制御する。

また、図８Ｂの場面Ｆ３において特定の動作である往復動作が判定されると、制御部１８は、往復動作が開始された時刻から現時刻までの各時刻の視線データから生成された表示用画像を表示するように制御する。これにより、図８Ｂの場面Ｆ４においても視線の往復動作が継続されているため、各時刻の視線データから生成された表示用画像の各々が表示される。そして、図８Ｃの場面Ｆにおいて、視線の往復動作が終了し、表示用画像に用いる視線データの数が所定数に戻る。

出力装置２０には、制御部１８による制御に応じた表示用画像が表示される。出力装置２０は、例えば、ディスプレイ等によって実現される。

表示制御装置１２は、例えば、図９に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、出力装置２０等の入出力装置が接続される 入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を表示装置１０として機能させるための表示プログラム６０が記憶されている。表示プログラム６０は、判定プロセス６１と、制御プロセス６２とを有する。データ記憶領域６３には、データ記憶部１４を構成する情報が記憶される。

ＣＰＵ５１は、表示プログラム６０を記憶部５３から読み出してメモリ５２に展開し、表示プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、判定プロセス６１を実行することで、図１に示す判定部１６として動作する。また、ＣＰＵ５１は、制御プロセス６２を実行することで、図１に示す制御部１８として動作する。また、ＣＰＵ５１は、データ記憶領域６３から情報を読み出して、データ記憶部１４をメモリ５２に展開する。これにより、表示プログラム６０を実行したコンピュータ５０が、表示装置１０として機能することになる。ソフトウェアである表示プログラム６０を実行するＣＰＵ５１はハードウェアである。

なお、表示プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

次に、第１の実施形態に係る表示装置１０の作用について説明する。表示装置１０は、表示用画像の表示に関する指示信号を受け付けると、図１０に示す表示処理ルーチンを実行する。表示処理ルーチンでは、各時刻のフレーム画像及び各時刻の視線データを用いて表示用画像を生成し、生成された表示用画像を順次表示するように出力装置２０を制御する。なお、以下では、データ記憶部１４に格納された各時刻のフレーム画像及び各時刻の視線データを、単にデータと称する。

ステップＳ１００において、判定部１６は、データ記憶部１４に格納された各時刻のデータの各々から、１つのデータを設定する。

ステップＳ１０２において、判定部１６は、上記ステップＳ１００で設定されたデータの時刻よりも前の時刻のデータであって、かつ上記ステップＳ１００で設定されたデータの時刻から予め定められた時間区間の各時刻のデータを、データ記憶部１４から取得する。なお、予め定められた時間区間は、例えば、通常の動作に対応する表示用画像を生成する際に設定される所定の時間区間よりも長い時間区間が設定される。

ステップＳ１０４において、上記ステップＳ１００で設定されたデータと、上記ステップＳ１０２で取得された予め定められた時間区間のデータとに基づいて、視線の停留動作が行われているか否かを判定する。ステップＳ１０４は、後述する停留動作判定処理によって実現される。

ステップＳ１０６において、判定部１６は、上記ステップＳ１０４の判定結果に基づいて、視線の停留動作が行われたか否かを判定する。視線の停留動作が行われた場合には、ステップＳ１０８へ進む。一方、視線の停留動作が行われていない場合には、ステップＳ１１０へ進む。

ステップＳ１０８において、判定部１６は、視線の動作モードを特定動作モードに設定する。

ステップＳ１１０において、判定部１６は、視線の往復動作が行われているか否かを判定する。ステップＳ１１０は、後述する往復動作判定処理によって実現される。

ステップＳ１１２において、判定部１６は、特定の動作が開始された時刻から上記ステップＳ１００で設定されたデータの時刻までを表示区間として設定する。特定の動作が開始された時刻とは、後述するステップＳ１０４の停留動作判定処理において記憶された停留動作の開始時刻、又は後述するステップＳ１１０の往復動作判定処理において記憶された往復動作の開始時刻である。

ステップＳ１１４において、判定部１６は、上記ステップＳ１１０の判定結果に基づいて、視線の往復動作が検出されたか否かを判定する。視線の往復動作が検出された場合には、ステップＳ１０８へ進む。一方、視線の往復動作が検出されていない場合には、ステップＳ１１６へ進む。

ステップＳ１１６において、判定部１６は、視線の動作モードを通常動作モードに設定する。

ステップＳ１１８において、判定部１６は、通常動作モード用の所定の時間区間を表示区間として設定する。

ステップＳ１２０において、制御部１８は、上記ステップＳ１０８又は上記ステップＳ１１６で設定された動作モードに応じて、表示用画像を生成する。具体的には、制御部１８は、動作モードが特定動作モードである場合には、上記ステップＳ１１２で設定された表示区間のデータから表示用画像を生成する。また、制御部１８は、動作モードが通常動作モードである場合には、上記ステップＳ１１８で設定された表示区間のデータから表示用画像を生成する。

ステップＳ１２２において、制御部１８は、上記ステップＳ１２０で生成された表示用画像を表示するように制御する。

ステップＳ１２４において、制御部１８は、データ記憶部１４に格納された全てのデータについて、上記ステップＳ１００から上記ステップＳ１２２までの処理を実行したか否かを判定する。全てのデータについて、上記ステップＳ１００から上記ステップＳ１２２の処理を実行した場合には、表示処理を終了する。上記ステップＳ１００から上記ステップＳ１２２の処理を実行していないデータがデータ記憶部１４に存在する場合には、ステップＳ１００へ戻る。

表示処理ルーチンのステップＳ１０４において、図１１に示す停留動作判定処理ルーチンが実行される。

ステップＳ２００において、判定部１６は、上記ステップＳ１０２で取得された、予め定められた時間区間のデータに基づいて、視線の移動距離を計算する。具体的には、所定時間区間のうちの最後の時刻の視線の位置と、最後の時刻より前の視線の位置の各々との間の距離を計算する。そして、視線の移動距離がＲ以内であるフレーム画像がｍフレーム以上連続している箇所を特定し、その連続したフレーム画像の開始点を停留動作の開始点として特定する。

ステップＳ２０２において、判定部１６は、上記ステップＳ２００で得られた結果に基づいて、停留動作が存在するか否かを判定する。ｍフレーム以上連続して移動距離がＲ以下である場合には、停留動作が存在するとして、ステップＳ２０４へ進む。一方、ｍフレーム以上連続して移動距離の各々がＲ以下でない場合には、停留動作が存在しないとして、ステップＳ２０６へ進む。

ステップＳ２０４において、判定部１６は、予め定められた時間区間のうちの最初の時刻を、特定動作である停留動作の開始時刻として、記憶部（図示省略）に記憶させる。

ステップＳ２０６において、判定部１６は、ユーザの視線に関する動作は、停留動作でないと判定する。

ステップＳ２０８において、判定部１６は、ユーザの視線に関する動作は、特定の動作としての停留動作であると判定する。

表示処理ルーチンのステップＳ１１０において、図１２に示す往復動作判定処理ルーチンが実行される。

ステップＳ３００において、前回の特定動作の開始時刻から上記ステップＳ１００で設定されたデータに対応する時刻までの停留動作に対応する停留点を取得する。

ステップＳ３０２において、判定部１６は、上記ステップＳ３００で得られた停留点数の取得結果に基づいて、停留点数が２点以下であるのか又は停留点数が３点以上であるのかを判定する。停留点数が２点以下である場合には、処理を終了する。停留点数が３点以上である場合には、ステップＳ３０６へ進む。

ステップＳ３０６において、判定部１６は、上記ステップＳ３００で取得された停留点に基づいて、最新の停留点とその停留点よりも２回前の停留点との間の距離を計算する。

ステップＳ３０８において、判定部１６は、上記ステップＳ３０６で計算された距離が、Ｒ以下であるか否かを判定する。上記ステップＳ３０６で計算された距離が、Ｒ以下である場合には、ステップＳ３１０へ進む。一方、上記ステップＳ３０６で計算された距離が、Ｒより大きい場合には、ステップＳ３１２へ進む。

ステップＳ３１０において、判定部１６は、予め定められた時間区間のうちの最初の時刻を、特定動作である往復動作の開始時刻として、記憶部（図示省略）に記憶させる。

ステップＳ３１２において、判定部１６は、ユーザの視線に関する動作は、往復動作ではないと判定する。

ステップＳ３１４において、判定部１６は、ユーザの視線に関する動作は、特定の動作としての往復動作であると判定する。

以上説明したように、本実施形態に係る表示装置は、ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、視線データからユーザの視線に関する動作を判定する。そして、表示装置は、視線に関する動作が特定の動作である場合には、特定の動作が開始された時刻から現時刻までの各時刻の視線データから生成された表示用画像を表示するように制御する。また、表示装置は、通常の動作である場合には、所定の時間区間の各時刻の視線データから生成された表示用画像を表示するように制御する。これにより、特定の動作を示す視線データの視認性を向上させることができる。このため、視線データをわかりやすく可視化することができる。

＜第２の実施形態＞

次に、第２の実施形態について説明する。第２の実施形態では、対象物に記載されたテキストを読むユーザの視線の動作を特定の動作として判定する点が第１の実施形態と異なる。なお、第２の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。

第２の実施形態の判定部１６は、ユーザの視線に関する動作を判定する際に、データ記憶部１４に格納された視線データに基づいて、ユーザの視線の停留動作に対応する停留点を検出する。そして、判定部１６は、データ記憶部１４に格納された複数のフレーム画像における停留点の検出結果から得られる、停留点の移動方向及び移動距離に基づいて、ユーザの視線に関する動作が、テキストを読むユーザの視線の動作であるか否かを判定する。

第２の実施形態に係る表示装置１０の作用について説明する。第２の実施形態に係る表示装置１０は、表示用画像の表示に関する指示信号を受け付けると、図１３に示す表示処理ルーチンを実行する。表示処理ルーチンでは、各時刻のフレーム画像及び各時刻の視線データを用いて表示用画像を生成し、生成された表示用画像を表示するように出力装置２０を制御する。

ステップＳ１００～ステップＳ１０８、及びステップＳ１１２～ステップＳ１２４までは、上記第１の実施形態と同様に実行される。

ステップＳ５１０において、判定部１６は、ユーザの視線に関する動作が、テキストを読むユーザの視線の動作であるか否かを判定する。ステップＳ５１０は、図１４に示す読み動作判定処理ルーチンによって実現される。

ステップＳ５１４において、判定部１６は、上記ステップＳ５１０での判定結果に基づいて、読み動作が行われたか否かを判定する。読み動作が行われた場合には、ステップＳ１０８へ進む。一方、読み動作が行われていない場合には、ステップＳ１１４へ進む。

図１４に示す読み動作判定処理ルーチンのステップＳ３００、及びステップＳ３１０の各処理は、第１の実施形態の往復動作判定処理ルーチンと同様に実行される。

ステップＳ６０２において、判定部１６は、ステップＳ３００で得られた停留点数の取得結果に基づいて、最新の停留点とその最新の停留点の直前の停留点との間の移動距離と移動方向とを計算する。具体的には、判定部１６は、停留点のＸ方向の移動距離と停留点のＹ方向の移動距離とを計算する。

ステップＳ６０３において、判定部１６は、上記ステップＳ６０２で得られた停留点のＸ方向の移動距離が所定範囲内であって、かつＹ方向の移動距離が所定の範囲内であるとの条件を満たすか否かを判定する。条件を満たす場合には、ステップＳ３１０へ進む。一方、条件を満たさない場合には、ステップＳ６０４へ進む。例えば、判定部１６は、Ｘ方向の移動距離が、停留点を判定するための閾値Ｒ～２Ｒ以内であり、かつＹ方向の移動距離が予め設定された０に近い値以内であるか否かを条件として判定する。

ステップＳ６０４において、判定部１６は、テキストの改行が存在するか否かを判定する。ステップＳ６０４は、後述する図１５に示す読み改行判定処理ルーチンによって実現される。

ステップＳ６０５において、判定部１６は、ユーザの視線に関する動作が、読み動作であると判定する。

ステップＳ６０６において、判定部１６は、上記ステップＳ６０４での判定結果に基づいて、改行が存在する場合には、ステップＳ３１０へ進む。一方、改行が存在しない場合には、ステップＳ６０８へ進む。

ステップＳ６０８において、判定部１６は、ユーザの視線に関する動作が、読み動作でないと判定する。

図１５に示す読み改行判定処理ルーチンのステップＳ７００において、判定部１６は、上記ステップＳ６０２において得られた、停留点のＸ方向の移動距離と停留点のＹ方向の移動距離とを取得する。

ステップＳ７０２において、判定部１６は、上記ステップＳ７００で取得された停留点のＸ方向の移動距離が所定範囲内であって、かつＹ方向の移動距離が所定の範囲内であるとの条件を満たすか否かを判定する。条件を満たす場合には、ステップＳ７０４へ進む。一方、条件を満たさない場合には、ステップＳ７１０へ進む。例えば条件としては、テキストが横書きである場合、Ｘ方向の移動距離が１行の幅よりも小さく、かつＹ方向の移動距離がテキストの行間よりも小さいか否かを条件とすることができる。

ステップＳ７０４において、判定部１６は、読み動作判定処理ルーチンのステップＳ３００の計算結果に基づいて、最新の停留点から過去ｍ個の停留点の位置を取得する。

ステップＳ７０６において、判定部１６は、上記ステップＳ７０４で取得された過去ｍ個の停留点の位置の各々に基づいて、最新の停留点と過去ｍ個の停留点との間の距離の各々を計算する。

ステップＳ７０８において、判定部１６は、上記ステップＳ７０４で取得されたｍ個の停留点うち、のＸ方向の移動距離が所定範囲内であって、かつＹ方向の移動距離が所定の範囲内であるとの条件を満たすか否かを判定する。条件を満たす場合には、ステップＳ７１０へ進む。一方、条件を満たさない場合には、ステップＳ７１２へ進む。例えば条件としては、テキストが横書きである場合、Ｘ方向の移動距離が予め設定された０に近い値以内であり、かつＹ方向の移動距離がテキストの行間よりも小さいか否かを条件とすることができる。

ステップＳ７１０において、判定部１６は、ユーザの視線に関する動作は、改行の動作ではないと判定する。

ステップＳ７１２において、判定部１６は、ユーザの視線に関する動作は、改行の動作であると判定する。

以上説明したように、第２の実施形態に係る表示装置は、ユーザの視線に関する動作を判定する際に、ユーザの視線の停留動作に対応する停留点を検出する。そして、表示装置は、複数のフレーム画像におけるユーザの視線の停留点の検出結果から得られる、ユーザの視線の停留点の移動方向及び移動距離に基づいて、ユーザの視線に関する動作が、テキストを読むユーザの視線の動作であるか否かを判定する。これにより、特定の動作がテキストを読む動作である場合に、テキストを読む動作を示す視線データの視認性を向上させることができる。

なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

次に、各実施形態の変形例を説明する。

上記第１の実施形態では、視線の停留動作及び視線の往復動作を特定の動作として判定する場合を例に説明したが、これに限定されるものではない。例えば、視線の停留動作及び視線の往復動作の何れか一方を特定の動作として判定するようにしてもよい。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
前記視線データから前記ユーザの視線に関する動作を判定し、
前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データから生成された前記表示用画像を表示するように制御し、
前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、所定の時間区間の各時刻の前記視線データから生成された前記表示用画像を表示するように制御する、
処理をコンピュータに実行させるための表示プログラム。

（付記２）
前記特定の動作は、前記ユーザの視線の停留動作である、
付記１に記載の表示プログラム。

（付記３）
前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、所定データ数における前記ユーザの視線の位置の移動距離が停留動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の停留動作であることを判定する、
付記２に記載の表示プログラム。

（付記４）
前記特定の動作は、前記ユーザの視線の往復動作である、
付記１に記載の表示プログラム。

（付記５）
前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、前記ユーザの視線の停留動作に対応する停留点を検出し、
複数の前記ユーザの視線の停留点の検出結果に基づいて、ｎ番目の前記停留点の位置と、ｎ＋２番目の前記停留点の位置との間の距離が、往復動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の往復動作であることを判定する、
付記４に記載の表示プログラム。

（付記６）
前記特定の動作は、対象物に記載されたテキストを読む前記ユーザの視線の動作である、
付記１に記載の表示プログラム。

（付記７）
前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、前記ユーザの視線の停留動作に対応する停留点を検出し、
複数の前記ユーザの視線の停留点の検出結果から得られる前記ユーザの視線の停留点の移動方向及び移動距離に基づいて、前記ユーザの視線に関する動作が、前記特定の動作としての、前記テキストを読む前記ユーザの視線の動作であるか否かを判定する、
付記６に記載の表示プログラム。

（付記８）
前記表示用画像は、前記視線のヒートマップ及び前記視線のスキャンパスを含む、
付記１～付記７の何れか１項に記載の表示プログラム。

（付記９）
前記表示用画像の表示を制御する際に、
前記ユーザの視線に関する動作のモードを表す動作モードを判定し、
前記動作モードが特定の動作モードである場合には、前記特定の動作が開始された時刻から前記特定の動作が終了した時刻までの各時刻の前記視線データから生成された前記表示用画像を表示するように制御し、
前記動作モードが特定の動作モードとは異なる通常の動作モードである場合には、所定の時間区間の各時刻の前記視線データから生成された前記表示用画像を表示するように制御する、
付記１～付記８の何れか１項に記載の表示プログラム。

（付記１０）
ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
前記視線データから前記ユーザの視線に関する動作を判定し、
前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データから生成された前記表示用画像を表示するように制御し、
前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、所定の時間区間の各時刻の前記視線データから生成された前記表示用画像を表示するように制御する、
処理をコンピュータに実行させる表示方法。

（付記１１）
前記特定の動作は、前記ユーザの視線の停留動作である、
付記１０に記載の表示プログラム。

（付記１２）
前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、所定データ数における前記ユーザの視線の位置の移動距離が停留動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の停留動作であることを判定する、
付記１１に記載の表示方法。

（付記１３）
前記特定の動作は、前記ユーザの視線の往復動作である、
付記１０に記載の表示方法。

（付記１４）
前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、前記ユーザの視線の停留動作に対応する停留点を検出し、
複数の前記ユーザの視線の停留点の検出結果に基づいて、ｎ番目の前記停留点の位置と、ｎ＋２番目の前記停留点の位置との間の距離が、往復動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の往復動作であることを判定する、
付記１３に記載の表示方法。

（付記１５）
前記特定の動作は、対象物に記載されたテキストを読む前記ユーザの視線の動作である、
付記１０に記載の表示方法。

（付記１６）
ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
前記視線データから前記ユーザの視線に関する動作を判定する判定部と、
前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データから生成された前記表示用画像を表示するように制御し、
前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、所定の時間区間の各時刻の前記視線データから生成された前記表示用画像を表示するように制御する制御部と、
を含む表示装置。

（付記１７）
前記特定の動作は、前記ユーザの視線の停留動作である、
請求項１６に記載の表示装置。

（付記１８）
前記判定部は、前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、所定データ数における前記ユーザの視線の位置の移動距離が停留動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の停留動作であることを判定する、
付記１７に記載の表示装置。

（付記１９）
前記特定の動作は、前記ユーザの視線の往復動作である、
付記１６に記載の表示装置。

（付記２０）
ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
前記視線データから前記ユーザの視線に関する動作を判定し、
前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データから生成された前記表示用画像を表示するように制御し、
前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、所定の時間区間の各時刻の前記視線データから生成された前記表示用画像を表示するように制御する、
処理をコンピュータに実行させるための表示プログラムを記憶した記憶媒体。

１０ 表示装置
１２ 表示制御装置
１４ データ記憶部
１６ 判定部
１８ 制御部
２０ 出力装置
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記録媒体
６０ 表示プログラム
６１ 判定プロセス
６２ 制御プロセス

Claims (10)

1. 予め収集された、ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
   前記視線データから前記ユーザの視線に関する動作を判定し、
   前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データを表す前記表示用画像を表示するように制御し、
   前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、現時刻から所定の時間区間分だけ前の時刻から現時刻までの各時刻の前記視線データを表す前記表示用画像を表示するように制御する、
   処理をコンピュータに実行させるための表示プログラム。
2. 前記特定の動作は、前記ユーザの視線の停留動作である、
   請求項１に記載の表示プログラム。
3. 前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、所定データ数における前記ユーザの視線の位置の移動距離が停留動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の停留動作であることを判定する、
   請求項２に記載の表示プログラム。
4. 前記特定の動作は、前記ユーザの視線の往復動作である、
   請求項１に記載の表示プログラム。
5. 前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、前記ユーザの視線の停留動作に対応する停留点を検出し、
   複数の前記ユーザの視線の停留点の検出結果に基づいて、ｎ番目の前記停留点の位置と、ｎ＋２番目の前記停留点の位置との間の距離が、往復動作に関する閾値以下である場合に、前記ユーザの視線に関する動作が、前記視線の往復動作であることを判定する、
   請求項４に記載の表示プログラム。
6. 前記特定の動作は、対象物に記載されたテキストを読む前記ユーザの視線の動作である、
   請求項１に記載の表示プログラム。
7. 前記ユーザの視線に関する動作を判定する際に、前記視線データに基づいて、前記ユーザの視線の停留動作に対応する停留点を検出し、
   複数の前記ユーザの視線の停留点の検出結果から得られる前記ユーザの視線の停留点の移動方向及び移動距離に基づいて、前記ユーザの視線に関する動作が、前記特定の動作としての、前記テキストを読む前記ユーザの視線の動作であるか否かを判定する、
   請求項６に記載の表示プログラム。
8. 前記表示用画像は、前記視線のヒートマップ及び前記視線のスキャンパスを含む、
   請求項１～請求項７の何れか１項に記載の表示プログラム。
9. 予め収集された、ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
   前記視線データから前記ユーザの視線に関する動作を判定し、
   前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データを表す前記表示用画像を表示するように制御し、
   前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、現時刻から所定の時間区間分だけ前の時刻から現時刻までの各時刻の前記視線データを表す前記表示用画像を表示するように制御する、
   処理をコンピュータに実行させる表示方法。
10. 予め収集された、ユーザの各時刻の視線の位置を示す視線データを表す表示用画像を表示させる際に、
    前記視線データから前記ユーザの視線に関する動作を判定する判定部と、
    前記視線に関する動作が特定の動作である場合には、前記特定の動作が開始された時刻から現時刻までの各時刻の前記視線データを表す前記表示用画像を表示するように制御し、
    前記視線に関する動作が特定の動作とは異なる通常の動作である場合には、現時刻から所定の時間区間分だけ前の時刻から現時刻までの各時刻の前記視線データを表す前記表示用画像を表示するように制御する制御部と、
    を含む表示装置。

Images