JP7424156B2 - コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム - Google Patents

Description

本発明は、コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラムに関する。

音声出力可能な電子書籍やゲームなど、表示画面にコンテンツ内容を表示することに加えて、音声を出力する技術が知られている（例えば、特許文献１参照）。

特開２０１６－１９２２１１号公報

ところが、このような装置を、例えば公共交通機関などの乗車時に利用している場合、車内放送などの周辺音が聞き取りにくい場合などがある。

本発明は、上記に鑑みてなされたものであって、適切に周辺音の確認を可能にすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るコンテンツ出力制御装置は、ユーザの視線方向を検出する視線検出部と、前記視線検出部の検出結果に基づき、前記ユーザがコンテンツを表示した表示画面を注視しているか否かを判断する注視判断部と、周辺音を取得する周辺音取得部と、前記コンテンツに関する音声を取得する音声取得部と、前記注視判断部が、前記ユーザがコンテンツを表示した表示画面を注視していると判断した場合は、前記音声取得部が取得した前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した表示画面を注視していないと判断した場合は、前記周辺音取得部が取得した周辺音を出力する音声出力制御部と、を備える。

本発明に係るコンテンツ出力システムは、上記のコンテンツ出力制御装置と、周辺音を収音する収音部と、音声を出力する音声出力部と、を備える。

本発明に係るコンテンツ出力制御方法は、音声出力装置を利用しているユーザの視線方向を検出するステップと、視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した表示画面を注視しているか否かを判断するステップと、周辺音を取得するステップと、前記コンテンツに関する音声を取得するステップと、前記ユーザがコンテンツを表示した表示画面を注視していると判断した場合は、前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した表示画面を注視していないと判断した場合は、周辺音を出力するステップと、を含む。

本発明に係るプログラムは、音声出力装置を利用しているユーザの視線方向を検出するステップと、視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した表示画面を注視しているか否かを判断するステップと、周辺音を取得するステップと、前記コンテンツに関する音声を取得するステップと、前記ユーザがコンテンツを表示した表示画面を注視していると判断した場合は、前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した表示画面を注視していないと判断した場合は、周辺音を出力するステップと、をコンピュータに実行させる。

本発明によれば、適切に周辺音の確認できるという効果を奏する。

図１は、第一実施形態に係るコンテンツ出力システムを示す概略図である。 図２は、第一実施形態に係るコンテンツ出力システムを示すブロック図である。 図３は、第一実施形態に係るコンテンツ出力システムにおける処理の流れの一例を示すフローチャートである。 図４は、第一実施形態に係るコンテンツ出力システムにおける処理の流れの他の例を示すフローチャートである。 図５は、第二実施形態に係るコンテンツ出力システムのブロック図である。 図６は、第二実施形態に係るコンテンツ出力システムにおける処理の流れの一例を示すフローチャートである。 図７は、第三実施形態に係るコンテンツ出力システムのブロック図である。 図８は、第三実施形態に係るコンテンツ出力システムにおける処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、本発明に係るコンテンツ出力システム１の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
＜コンテンツ出力システム＞
図１は、第一実施形態に係るコンテンツ出力システム１を示す概略図である。図２は、第一実施形態に係るコンテンツ出力システム１を示すブロック図である。コンテンツ出力システム１は、音声出力装置としてのヘッドホン１０と、例えば、電子書籍端末、スマートフォン、タブレット端末、携帯用音楽再生装置、および、携帯用ゲーム機など、映像および音声で構成されるコンテンツのコンテンツ再生や表示等を行う電子機器３０とを含む。言い換えると、コンテンツ出力システム１は、音声出力装置としてのヘッドホン１０と電子機器３０との組み合わせである。コンテンツ出力システム１は、ユーザが表示画面３６を注視しているか否かに応じて、ヘッドホン１０から表示画面３６に表示したコンテンツに関する音声を出力したり、周辺の音声を出力したりする。

＜ヘッドホン＞
ヘッドホン１０は、例えばオーバーヘッド式で、ユーザの頭に装着する。ヘッドホン１０は、電子機器３０のコンテンツ出力制御装置４０から出力される音声データに基づいて、表示画面３６に表示したコンテンツに関する音声を出力する。ヘッドホン１０は、コンテンツ出力制御装置４０から出力される音声信号に基づいて、周辺音を出力可能である。ヘッドホン１０は、電子機器３０と有線または無線でデータを送受信可能に接続されている。ヘッドホン１０は、左音声出力部１１と右音声出力部１２とコンテンツ入力部３１と左マイクロフォン１４と右マイクロフォン１５とコンテンツ出力制御装置４０とを有する。

左音声出力部１１は、左耳用の音声出力部である。左音声出力部１１は、左耳を覆う筐体を有する。左音声出力部１１は、左耳において聞かせる音声を出力する。左音声出力部１１は、コンテンツ出力制御装置４０から音声データを取得する。左音声出力部１１は、音声データの左チャンネルデータを出力する。左音声出力部１１は、音声データの左チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。

右音声出力部１２は、右耳用の音声出力部である。右音声出力部１２は、右耳において聞かせる音声を出力する。右音声出力部１２は、コンテンツ出力制御装置４０から音声データを取得する。右音声出力部１２は、音声データの右チャンネルデータを出力する。右音声出力部１２は、音声データの右チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。

左マイクロフォン１４は、左音声出力部１１の筐体に配置されている。左マイクロフォン１４は、周辺音を取得する。周辺音は、例えば第三者の話し声および乗物の騒音などを含む環境音である。左マイクロフォン１４は、取得した音声を電子機器３０の周辺音取得部５２に出力する。

右マイクロフォン１５は、右音声出力部１２の筐体に配置されている。右マイクロフォン１５は、周辺音を取得する。右マイクロフォン１５は、取得した音声を電子機器３０の周辺音取得部５２に出力する。

＜電子機器＞
電子機器３０は、コンテンツ入力部３１と、表示部３２と、視線センサ３３と、コンテンツ出力制御装置４０とを有する。

コンテンツ入力部３１は、例えば音楽、映像またはゲームなどのコンテンツのコンテンツデータが入力される。コンテンツ入力部３１は、例えば図示しない記憶部に記憶されたコンテンツデータが入力されてもよい。コンテンツ入力部３１は、外部の記憶装置から、有線または無線でコンテンツデータが入力されてもよい。コンテンツ入力部３１に入力されるコンテンツデータは、例えば、音声出力を伴うコンテンツデータであり、動画コンテンツ、ゲームコンテンツ、ＷＥＢコンテンツなどである。

コンテンツデータには、コンテンツに関する映像データと音声データとを含む。コンテンツに関する映像データとは、表示画面３６に表示するコンテンツの映像データである。コンテンツに関する音声データとは、表示画面３６に表示されたコンテンツの映像データに対応して出力する音声の音声データである。コンテンツに関する音声データとは、例えば、電子書籍のテキスト読み上げの音声、ＷＥＢページのテキスト読み上げ音声および解説音声などでもよい。

視線センサ３３は、電子機器３０の表示画面３６と同じ方向を向いて配置されている。視線センサ３３は、電子機器３０の表示画面３６と対面している人物の視線を検出するセンサである。視線センサ３３は、ユーザが表示画面３６を視認している状態では、ユーザの顔と向かい合う位置に配置されている。視線センサ３３は、例えば、電子機器３０の表示画面３６の上部に配置されている。視線センサ３３は、撮影した撮影データをコンテンツ出力制御装置４０の視線検出部４３へ出力する。

視線センサ３３は、例えば、赤外ＬＥＤ群で構成された赤外光発光部と、一対の赤外線カメラとを含む。本実施形態では、視線センサ３３は、一対の赤外光発光部でユーザの顔方向に赤外光を照射し、赤外線カメラで撮影する。このようにして赤外線カメラで撮影した撮影映像から、後述する視線検出部４３が、ユーザの瞳孔と角膜反射の位置とに基づいて、ユーザの視線が表示画面３６を向いているか否かを判断する。さらに、ユーザの瞳孔と角膜反射の位置とに基づいて、表示画面３６におけるユーザの視線の位置が判断される。視線センサ３３は、可視光カメラなど、同様の機能を有する他の構成であってもよい。

表示部３２は、コンテンツ入力部３１に入力されたコンテンツの映像を表示する。表示部３２は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部３２は、表示制御部４２から出力された表示データに基づいて、コンテンツの映像を表示する。表示部３２は、映像が表示される表示画面３６を備える。

ヘッドホン１０には、ヘッドホン１０がユーザの頭に装着されているか否かを検出するセンサが備えられていてもよい。具体的には、ヘッドホン１０には３軸の加速度センサが備えられ、重力加速度が検出されている方向に基づいて、ヘッドホン１０がユーザの頭に装着されていると判断する。さらに、例えばヘッドバンドの開き具合またはイヤーパッドへの圧力などを検出する他のセンサを使用してもよい。

＜コンテンツ出力制御装置＞
コンテンツ出力制御装置４０は、ユーザが表示画面３６を注視しているか否かに応じて、ヘッドホン１０からコンテンツに関する音声を出力したり、周辺音を出力したりする。コンテンツ出力制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または映像処理用プロセッサなどで構成された演算処理装置（制御部）である。コンテンツ出力制御装置４０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。コンテンツ出力制御装置４０は、映像取得部４１と表示制御部４２と視線検出部４３と注視判断部４４と音声処理部５０と内部メモリである記憶部とが含まれる。音声処理部５０は、音声取得部５１と周辺音取得部５２と音声出力制御部５３とを有する。コンテンツ出力制御装置４０は、一または複数の装置で構成されていてもよい。

映像取得部４１は、表示部３２の表示画面３６に出力するためのコンテンツの映像データをコンテンツ入力部３１から取得する。

表示制御部４２は、映像取得部４１が取得したコンテンツの映像データを表示部３２の表示画面３６に表示させる。

視線検出部４３は、視線センサ３３が撮影した撮影データに基づいて、ユーザの視線方向を検出する。視線を検出する方法は限定されないが、本実施形態では、角膜反射によって視線を検出する。

注視判断部４４は、視線検出部４３の検出結果に基づき、ユーザがコンテンツを表示した電子機器３０の表示画面３６を注視しているか否かを判断する。表示画面３６を注視しているとは、ユーザの視線方向に表示画面３６が位置した状態、言い換えると、ユーザの視線方向と表示画面３６とが交差する状態が、第一所定期間以上継続することをいう。第一所定期間とは、例えば５秒程度である。表示画面３６を注視していないとは、ユーザの視線方向が表示画面３６と異なる方向に向いている状態、言い換えると、ユーザの視線方向と表示画面３６とが交差しない状態が、第二所定期間以上継続することをいう。第二所定期間とは、例えば５秒程度である。

音声取得部５１は、左音声出力部１１と右音声出力部１２とから出力するためのコンテンツに関する音声データをコンテンツ入力部３１から取得する。

周辺音取得部５２は、左マイクロフォン１４と右マイクロフォン１５とから、周辺音を取得する。

音声出力制御部５３は、ヘッドホン１０から音声データを音として出力する制御を行う。より詳しくは、音声出力制御部５３は、音声データの左チャンネルデータをＤ／Ａ変換して増幅した信号を左音声出力部１１から出力させる。音声出力制御部５３は、音声データの右チャンネルデータをＤ／Ａ変換して増幅した信号を右音声出力部１２から出力させる。

音声出力制御部５３は、注視判断部４４が、ユーザがコンテンツを表示した表示画面３６を注視していると判断した場合は、音声取得部５１が取得したコンテンツに関する音声を出力し、ユーザがコンテンツを表示した表示画面３６を注視していないと判断した場合は、周辺音取得部５２が取得した周辺音を出力する。

音声出力制御部５３は、注視判断部４４が、ユーザがコンテンツを表示した表示画面３６を注視していないと判断した場合は、音声取得部５１が取得したコンテンツに関する音声に加えて、周辺音取得部５２が取得した周辺音を出力してもよい。この場合は、コンテンツに関する音声とともに周辺音がヘッドホン１０から出力される。

次に、図３、図４を用いて、ヘッドホン１０における情報処理について説明する。図３は、第一実施形態に係るコンテンツ出力システム１における処理の流れの一例を示すフローチャートである。図４は、第一実施形態に係るコンテンツ出力システム１における処理の流れの他の例を示すフローチャートである。例えば、ヘッドホン１０の電源がＯＮになった場合、ヘッドホン１０がユーザの頭に装着された場合、ヘッドホン１０から音声の出力が開始された場合、または、コンテンツ出力制御処理の開始操作がされた場合などに、図３、図４に示すフローチャートの処理が実行される。

まず、図３に示す処理について説明する。コンテンツ出力制御装置４０は、音声出力を伴うコンテンツが表示部３２に表示されているか否かを判断する（ステップＳ１０１）。より詳しくは、コンテンツ入力部３１に入力された、音声および映像からなるコンテンツが再生され、コンテンツの映像が表示部３２に表示され、コンテンツの音声がヘッドホン１０に出力されているか否かを判断する。言い換えると、音声および映像からなるコンテンツが再生されているか否かを判断する。音声出力を伴うコンテンツが表示部３２に表示されている状態とは、表示部３２にコンテンツの映像が表示され、コンテンツの音声がヘッドホン１０に出力されている状態であり、これらの出力は、コンテンツの再生が終了するまで継続される。

音声出力を伴うコンテンツが表示部３２に表示されていると判断する場合（ステップＳ１０１でＹｅｓ）、ステップＳ１０２へ進む。音声出力を伴うコンテンツが表示部３２に表示されていると判断しない場合（ステップＳ１０１でＮｏ）、本処理を終了する。音声出力を伴うコンテンツが表示部３２に表示されていると判断する場合（ステップＳ１０１でＹｅｓ）、ユーザが表示画面３６を注視しているか否かを判断する（ステップＳ１０１）。より詳しくは、注視判断部４４によって、視線検出部４３の検出結果から、ユーザがコンテンツを表示した電子機器３０の表示画面３６を注視しているか否かを判断する。注視判断部４４によって、ユーザの視線方向に表示画面３６が位置した状態が、第一所定期間以上継続いるか否かを判断する。注視判断部４４によって、ユーザが表示画面３６を注視していると判断する場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３へ進む。注視判断部４４によって、ユーザが表示画面３６を注視していると判断しない場合（ステップＳ１０２でＮｏ）、ステップＳ１０４へ進む。

ユーザが表示画面３６を注視していると判断する場合（ステップＳ１０２でＹｅｓ）、コンテンツ出力制御装置４０は、コンテンツの音声を出力する（ステップＳ１０３）。より詳しくは、音声出力制御部５３は、音声取得部５１が取得した、コンテンツに関する音声をヘッドホン１０から出力する。これにより、ヘッドホン１０の左音声出力部１１と右音声出力部１２とからコンテンツの音声が出力される。コンテンツ出力制御装置４０は、ステップＳ１０５へ進む。

ステップＳ１０３の処理は、ステップＳ１０１でＹｅｓのときに周辺音が出力されていない状態の場合は周辺音が出力されていない状態でコンテンツ音の出力を継続し、ステップＳ１０１でＹｅｓのときに周辺音が出力されている状態の場合はコンテンツ音の出力を継続し周辺音の出力を停止する。

ユーザが表示画面３６を注視していると判断しない場合（ステップＳ１０２でＮｏ）、コンテンツ出力制御装置４０は、周辺音を出力する（ステップＳ１０４）。より詳しくは、音声出力制御部５３は、周辺音取得部５２が取得した周辺音を出力する。これにより、ヘッドホン１０の左音声出力部１１と右音声出力部１２とから周辺音が出力される。コンテンツ出力制御装置４０は、ステップＳ１０５へ進む。

ステップＳ１０４の処理は、ステップＳ１０１でＹｅｓのときに周辺音が出力されていない状態の場合は周辺音の出力を開始し、ステップＳ１０１でＹｅｓのときに周辺音が出力されている状態の場合は周辺音の出力を維持する。

コンテンツ出力制御装置４０は、ヘッドホン１０や電子機器３０などのコンテンツ出力システム１の利用を終了するか否かを判断する（ステップＳ１０５）。例えば、ヘッドホン１０や電子機器３０の電源がＯＦＦになった場合、ヘッドホン１０がユーザの頭から取り外された場合、ヘッドホン１０への音声の出力が停止された場合、または、コンテンツ出力制御処理の終了操作がされた場合などに、利用を終了すると判断して（ステップＳ１０５でＹｅｓ）、処理を終了する。コンテンツ出力制御装置４０は、上記に該当しない場合、利用を終了すると判断せずに（ステップＳ１０５でＮｏ）、ステップＳ１０１の処理を再度実行する。

つづいて、図４に示す処理について説明する。図４に示すフローチャートのステップＳ１１１、ステップＳ１１２、ステップＳ１１３、ステップＳ１１５は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０３、ステップＳ１０５と同様の処理を行う。

ユーザが表示画面３６を注視していると判断しない場合（ステップＳ１１２でＮｏ）、コンテンツ出力制御装置４０は、コンテンツに関する音声とともに、周辺音を出力する（ステップＳ１１４）。より詳しくは、音声取得部５１が取得したコンテンツに関する音声とともに、周辺音取得部５２が取得した周辺音をヘッドホン１０の左音声出力部１１と右音声出力部１２とから出力する。コンテンツ出力制御装置４０は、ステップＳ１１５へ進む。

ステップＳ１１３の処理は、ステップＳ１１１でＹｅｓのときに周辺音が出力されていない状態の場合は周辺音が出力されていない状態でコンテンツ音の出力を継続し、ステップＳ１１１でＹｅｓのときにコンテンツ音と周辺音が出力されている状態の場合はコンテンツ音の出力を継続し周辺音の出力を停止する。

ステップＳ１１４の処理は、ステップＳ１１１でＹｅｓのときにコンテンツ音が出力され周辺音が出力されていない状態の場合はコンテンツ音の出力を維持した状態で周辺音の出力を開始し、ステップＳ１１１でＹｅｓのときにコンテンツ音と周辺音が出力されている状態の場合はコンテンツ音と周辺音の出力を維持する。

ステップＳ１１４で、コンテンツ音とともに周辺音を出力する場合は、コンテンツ音の音量はユーザが設定した音量の状態であってもよく、周辺音を出力している期間のコンテンツ音の音量をユーザが設定した音量より低くしてもよい。

このようにして、ヘッドホン１０を装着しているユーザが表示画面３６を注視している場合、コンテンツに関する音声を出力し、ユーザが表示画面３６を注視していない場合、周辺音を出力する。

＜効果＞
上述したように、本実施形態は、ヘッドホン１０を装着しているユーザが表示画面３６を注視している場合、コンテンツの音声を出力し、ユーザが表示画面３６を注視していない場合、周辺音を出力できる。本実施形態によれば、ユーザが表示画面３６を注視することを中断して、ユーザが周辺に注意を向けたと推定される状態となった場合に、適切に周辺音を確認できる。このようにして、本実施形態によれば、ユーザが周辺音を聞きたいときに、ユーザが操作をしなくても、適切に周辺音を確認できる。

本実施形態では、ユーザが表示画面３６を注視していない場合、コンテンツの音声とともに周辺音を出力できる。本実施形態によれば、コンテンツの視聴を継続しながら、周辺音を確認できる。

［第二実施形態］
図５、図６を参照しながら、本実施形態に係るコンテンツ出力システム１Ａについて説明する。図５は、第二実施形態に係るコンテンツ出力システム１Ａのブロック図である。図６は、第二実施形態に係るコンテンツ出力システム１Ａにおける処理の流れの一例を示すフローチャートである。コンテンツ出力システム１Ａは、基本的な構成は第一実施形態のコンテンツ出力システム１と同様である。以下の説明においては、コンテンツ出力システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、電子機器３０Ａは、ＧＮＳＳ（Global Navigation Satellite System）受信部３４Ａとコンテンツ出力制御装置４０Ａの位置情報算出部４５Ａと判断部４６Ａとを有する点と、音声出力制御部５３Ａにおける処理とが、第一実施形態と異なる。

ＧＮＳＳ受信部３４Ａは、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ受信部３４Ａは、受信したＧＮＳＳ信号を位置情報算出部４５Ａに出力する。

位置情報算出部４５Ａは、ＧＮＳＳ受信部３４ＡからＧＮＳＳ信号を受け付ける。位置情報算出部４５Ａは、ＧＮＳＳ信号に基づいて、現在位置情報を算出する。位置情報算出部４５ＡおよびＧＮＳＳ受信部３４Ａは、ＧＮＳＳ信号に限らず、他の方式の測位衛星システムに対応していてもよい。

判断部４６Ａは、ユーザが交通機関を利用しているか否かを判断する。例えば、判断部４６Ａは、位置情報算出部４５Ａが算出した位置情報に基づいて、ヘッドホン１０を装着したユーザの現在位置が、図示しない地図情報の交通機関の位置情報に該当する場合や、移動履歴や移動速度に基づいて、交通機関を利用していると判断してもよい。判断部４６Ａは、交通機関を利用しているかを判断する方法は限定されず、例えば、ヘッドホン１０の周辺のノイズまたは振動を利用するような他の方法によって判断されてもよい。

音声出力制御部５３Ａは、ユーザが交通機関を利用している場合に、ユーザがコンテンツを表示した表示画面３６を注視していると判断した場合は、音声取得部５１が取得したコンテンツに関する音声を出力し、ユーザがコンテンツを表示した表示画面３６を注視していないと判断した場合は、周辺音取得部５２が取得した周辺音を出力する。

次に、図６を用いて、コンテンツ出力システム１Ａにおける情報処理について説明する。図６に示すフローチャートのステップＳ１２２ないしステップＳ１２６、は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０５と同様の処理を行う。

コンテンツ出力制御装置４０Ａは、交通機関を利用しているか否かを判断する（ステップＳ１２１）。より詳しくは、判断部４６Ａによって、位置情報算出部４５Ａが算出した位置情報に基づいて、ユーザの現在位置が、地図情報の交通機関の位置情報に該当する場合などの判断結果に基づき、交通機関を利用していると判断する。判断部４６Ａによって、交通機関を利用していると判断する場合（ステップＳ１２１でＹｅｓ）、ステップＳ１２２へ進む。判断部４６Ａによって、交通機関を利用していると判断しない場合（ステップＳ１２１でＮｏ）、処理を終了する。

ステップＳ１２６における利用終了の判断は、ヘッドホン１０または電子機器３０Ａの利用終了の判断に加えて、コンテンツ出力制御装置４０Ａは、交通機関の利用を終了するか否かも判断する（ステップＳ１２６）。より詳しくは、判断部４６Ａによって、位置情報算出部４５Ａが算出した位置情報に基づいて、ユーザの現在位置が、地図情報の交通機関の位置情報から外れる場合など、交通機関の利用が終了していることの検出によって、交通機関の利用を終了すると判断する。判断部４６Ａによって、交通機関の利用を終了すると判断する場合（ステップＳ１２６でＹｅｓ）、処理を終了する。判断部４６Ａによって、交通機関の利用を終了すると判断しない場合（ステップＳ１２６でＮｏ）、ステップＳ１２２へ進む。

＜効果＞
上述したように、本実施形態は、ヘッドホン１０を装着したユーザが交通機関を利用している場合であって、ユーザが表示画面３６を注視していない場合には、周辺音を出力する。本実施形態によれば、ヘッドホン１０を装着したユーザが交通機関の利用中に、アナウンスなどを聞くために、コンテンツの表示画面３６を注視しなくなった場合などに、アナウンスなどの周辺音をヘッドホン１０で聞くことができる。本実施形態によれば、不用意に周辺音が出力されることを抑制できる。

［第三実施形態］
図７、図８を参照しながら、本実施形態に係るコンテンツ出力システム１Ｂについて説明する。図７は、第三実施形態に係るコンテンツ出力システム１Ｂのブロック図である。図８は、第三実施形態に係るコンテンツ出力システム１Ｂにおける処理の流れの一例を示すフローチャートである。コンテンツ出力システム１Ｂは、基本的な構成は第一実施形態のコンテンツ出力システム１と同様である。本実施形態では、電子機器３０Ｂは、撮影部３５Ｂと、コンテンツ出力制御装置４０Ｂの顔検出部４７Ｂとを有する点と、音声出力制御部５３Ｂにおける処理とが、第一実施形態と異なる。

撮影部３５Ｂは、電子機器３０Ｂの表示画面３６と対面している人物を撮影する可視光カメラである。撮影部３５Ｂは、ユーザの顔を撮影する。撮影部３５Ｂは、ユーザが表示画面を視認している状態では、ユーザの顔を撮影可能な位置に配置されている。撮影部３５Ｂは、例えば、電子機器３０Ｂの表示画面３６の上部に配置されている。撮影部３５Ｂは、撮影した撮影データをコンテンツ出力制御装置４０Ｂの顔検出部４７Ｂへ出力する。撮影部３３Ａと視線センサ３３とは、同一の可視光カメラであってもよい。

顔検出部４７Ｂは、撮影部３５Ｂが撮影した撮影データからユーザの顔を認識し、認識した顔の向きを検出する。より詳しくは、顔検出部４７Ｂは、顔検出部４７Ｂが検出した顔の向きが、表示画面３６に対して対向する向きであるか否かを検出する。例えばユーザがコンテンツが表示された表示画面３６を注視している場合には、ユーザの顔の向きは表示画面３６に対して対向する向きである。例えばユーザが周辺に注意を向けて周りを見回すような場合には、ユーザの顔の向きは表示画面３６に対して対向する向きではない。

表示画面３６に対して対向する向きとは、ユーザが表示画面３６に表示されたコンテンツの画像などを視認可能な向きのことである。表示画面３６に対して対向する向きとは、例えば、上下方向視および左右方向視において、ユーザの両眼の中心を通り、ユーザの前方に延びる直線と、表示画面３６とが交差する角度が例えば９０°±３０°程度の範囲など、明らかにユーザが表示画面３６を見ているとされる向きが定義されればよい。

音声出力制御部５３Ｂは、注視判断部４４によってユーザがコンテンツを表示した表示画面３６を注視していると判断したことに加えて、顔検出部４７Ｂが検出した顔の向きが、表示画面３６に対して対向する向きである場合に、音声取得部５１が取得したコンテンツに関する音声を出力する。音声出力制御部５３Ｂは、注視判断部４４によってユーザがコンテンツを表示した表示画面３６を注視していないと判断したことに加えて、顔検出部４７Ｂが検出した顔の向きが、表示画面３６に対して対向する向きではない場合に、周辺音取得部５２が取得した周辺音を出力する。ユーザがコンテンツを表示した表示画面３６を注視していない場合でも、ユーザの顔の向きが表示画面３６に対して対向する場合、ユーザがコンテンツの視聴を継続する意思があると推定される。この場合、コンテンツの視聴を継続させることが好ましい。これに対して、ユーザがコンテンツを表示した表示画面３６を注視しておらず、かつ、ユーザの顔の向きが表示画面３６に対して対向していない場合、ユーザは周辺に高い注意を払っていると推定される。この場合、周辺音を確認可能にすることが好ましい。

次に、図８を用いて、コンテンツ出力システム１Ｂにおける情報処理について説明する。図８に示すフローチャートのステップＳ１３１、ステップＳ１３２、ステップＳ１３４ないしステップＳ１３６は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０３ないしステップＳ１０５と同様の処理を行う。

コンテンツ出力制御装置４０Ｂは、ユーザの顔は対向しているか否かを判断する（ステップＳ１３３）。より詳しくは、顔検出部４７Ｂが検出した顔の向きが、表示画面３６に対して対向する向きである場合（ステップＳ１３３でＹｅｓ）、ステップＳ１３４へ進む。顔検出部４７Ｂが検出した顔の向きが、表示画面３６に対して対向する向きではない場合（ステップＳ１３３でＮｏ）、ステップＳ１３５へ進む。

＜効果＞
上述したように、本実施形態は、ユーザが表示画面３６を注視して、かつ、ユーザの顔の向きが表示画面３６に対して対向する場合、コンテンツの音声を出力し、ユーザが表示画面３６を注視していないで、かつ、ユーザの顔の向きが表示画面３６に対して対向する向きではない場合、周辺音取得部５２が取得した周辺音を出力できる。本実施形態によれば、ユーザが顔の向きを表示画面３６に対向しない向きにして、ユーザが周辺に注意を向けたと状態されるときに、適切に周辺音を確認できる。

図示したコンテンツ出力システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

コンテンツ出力システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

上記では、音声出力装置の一例としてヘッドホン１０について説明したが、これに限定されない。音声出力装置は、例えば、イヤホンおよび首掛け式のスピーカなどであってもよい。

１ コンテンツ出力システム
１０ ヘッドホン（音声出力装置）
１１ 左音声出力部
１２ 右音声出力部
１４ 左マイクロフォン
１５ 右マイクロフォン
３０ 電子機器
３１ コンテンツ入力部
３２ 表示部
３３ 視線センサ
４０ コンテンツ出力制御装置
４１ 映像取得部
４２ 表示制御部
４３ 視線検出部
４４ 注視判断部
５０ 音声処理部
５１ 音声取得部
５２ 周辺音取得部
５３ 音声出力制御部

Claims (6)

1. 表示画面と同じ方向を向いて配置されている視線センサによってユーザの視線方向を検出する視線検出部と、
   前記視線検出部の検出結果に基づき、前記ユーザがコンテンツを表示した前記表示画面を注視しているか否かを判断する注視判断部と、
   前記ユーザが装着しているヘッドホンに備えられたマイクロフォンから前記ユーザの周辺音を取得する周辺音取得部と、
   前記ユーザが交通機関を利用していることを判断する判断部と、
   前記コンテンツに関する音声を取得する音声取得部と、
   前記ユーザが交通機関を利用している場合に、前記注視判断部が、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断した場合は、前記音声取得部が取得した前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、前記周辺音取得部が取得した周辺音を出力する音声出力制御部と、
   を備える、コンテンツ出力制御装置。
2. 前記音声出力制御部は、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、前記音声取得部が取得した前記コンテンツに関する音声に加えて、前記周辺音取得部が取得した周辺音を出力する、
   請求項１に記載のコンテンツ出力制御装置。
3. 前記ユーザの顔を認識し、認識した顔の向きを検出する顔検出部、をさらに備え、
   前記音声出力制御部は、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断したことに加えて、前記顔検出部が検出した顔の向きが、前記表示画面に対して対向する向きである場合に、前記音声取得部が取得した前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断したことに加えて、前記顔検出部が検出した顔の向きが、前記表示画面に対して対向する向きではない場合に、前記周辺音取得部が取得した周辺音を出力する、
   請求項１または２に記載のコンテンツ出力制御装置。
4. 請求項１から３のいずれか一項に記載のコンテンツ出力制御装置と、
   周辺音を収音する収音部と、
   音声を出力する音声出力部と、
   を備える、コンテンツ出力システム。
5. 表示画面と同じ方向を向いて配置されている視線センサによって音声出力装置を利用しているユーザの視線方向を検出するステップと、
   視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した前記表示画面を注視しているか否かを判断するステップと、
   前記ユーザが装着しているヘッドホンに備えられたマイクロフォンから前記ユーザの周辺音を取得するステップと、
   前記ユーザが交通機関を利用していることを判断するステップと、
   前記コンテンツに関する音声を取得するステップと、
   前記ユーザが交通機関を利用している場合に、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断した場合は、前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、周辺音を出力するステップと、
   を含む、コンテンツ出力制御装置が実行するコンテンツ出力制御方法。
6. 表示画面と同じ方向を向いて配置されている視線センサによって音声出力装置を利用しているユーザの視線方向を検出するステップと、
   視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した前記表示画面を注視しているか否かを判断するステップと、
   前記ユーザが装着しているヘッドホンに備えられたマイクロフォンから前記ユーザの周辺音を取得するステップと、
   前記ユーザが交通機関を利用していることを判断するステップと、
   前記コンテンツに関する音声を取得するステップと、
   前記ユーザが交通機関を利用している場合に、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断した場合は、前記コンテンツに関する音声を出力し、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、周辺音を出力するステップと、
   を含む、コンピュータが実行するプログラム。
   
   

Images