JP6525496B2 - ディスプレイ装置、ディスプレイ装置を制御する遠隔制御装置、ディスプレイ装置の制御方法、サーバーの制御方法、及び遠隔制御装置の制御方法 - Google Patents

Description

以下の記述は、ディスプレイ装置、該ディスプレイ装置を制御する遠隔制御装置、該ディスプレイ装置の制御方法、該遠隔制御装置の制御方法、及びサーバーの制御方法に関する。

ディスプレイ装置（ｄｉｓｐｌａｙ ｄｅｖｉｃｅ）は、電気的情報を視覚的情報としてユーザーに表示する出力装置の一種であり、その例には、テレビ（ｔｅｌｅｖｉｓｉｏｎ；以下、「ＴＶ」という）、コンピュータモニターの他にも、スマートフォン、タブレットＰＣのような各種の携帯用端末機器がある。

遠隔制御装置は、ディスプレイ装置を遠距離で制御するための端末装置である。ユーザーはディスプレイ装置の操作が容易な近距離でディスプレイ装置を用いて映像コンテンツを視聴することもあれば、ディスプレイ装置を操作するために移動しなければならない距離に位置することもある。遠隔制御装置は、ユーザーが物理的に遠い距離に位置する場合に、ディスプレイ装置を遠隔で操作することができる。

このような遠隔制御装置の一例にリモートコントローラ（ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ；以下、「リモコン」という）などがある。リモコンは、所定の周波数の赤外線をディスプレイ装置２００に照射する。ディスプレイ装置は、受信した赤外線をその周波数に相応する電気的信号に変換し、それをプロセッサに伝達することによって、ディスプレイ装置のチャンネル切替、音量調節などの様々な動作を行う。

最近では、遠隔制御装置として、無線通信機能を有するスマートフォンのような各種の端末装置も用いられることになった。そのため、遠隔制御装置及びディスプレイ装置は、ブルートゥース^ＴＭ、Ｗｉ−Ｆｉ、３ＧＰＰ、３ＧＰＰ２又はＷｉＭＡＸ系列などの各種の移動通信標準を用いる無線通信網を介して電気的信号を相互に送受信できるような無線通信モジュールを備えている。この場合、スマートフォンのような遠隔制御装置は、ユーザーのタッチ操作などによって所定の信号を生成し、該信号をディスプレイ装置に伝送し、ディスプレイ装置は、所定の信号に基づいて制御命令を生成した後、該制御命令に応じてチャンネル切替、音量調節などの動作を行う。

本開示の一態様が達成しようとする技術的課題は、映像を表示するＴＶのようなディスプレイ装置を使用するユーザーの気分や行動又は周辺環境のような、人又は環境に関する現在の状況に基づいてディスプレイ装置を制御できる手段を提供することである。

なお、本開示の一態様は、ユーザーの現在の状況に基づいてディスプレイ装置を制御することによって、ユーザーに感性ベースの様々なサービスを提供することを目的とする。

本開示の一態様は、遠隔制御装置又はディスプレイ装置が外部環境からユーザーの生体状態や感情状態を判断するための状況情報を獲得し、ユーザーの生体状態や感情状態を適切に把握できるようにすることを目的とする。

本開示の一態様は、ユーザーの気分や行動ベースのディスプレイ装置を用いて様々なサービスを提供することによって、ユーザーの感性を誘発し、さらにはユーザーが情緒的な経験拡大のためのユーザー経験（ｕｓｅｒ’ｓ ｅｘｐｅｒｉｅｎｃｅ、ＵＸ）を体験できるようにする。

具体的に、ユーザーの状態などを判断し、それに基づいて周辺環境に関する情報をさらに確保したり、又はユーザーの状態に基づいて、所定のサービス又はさらに確保された情報を用いるサービスをユーザーに提供することを目的とする。

これにより、ディスプレイ装置を使用するユーザーの興味、好奇心を誘発し、ユーザーが肯定的な情緒、楽しみや感動を感じるようにする。

なお、ユーザーがディスプレイ装置を視聴したり、ディスプレイ装置の近くに位置している時のユーザーの行動習慣、パターン、好みに基づいて、ユーザーに適したコンテンツやサービスを提供できる手段を提供する。

しかも、ユーザーの反応や好みに基づいてユーザーの感性を呼び起こすコンテンツやサービスをアップデートすることによって自家学習機能を提供することができるディスプレイ装置を提供する。

本開示は、前記のような課題を解決するために案出されたもので、ディスプレイ装置、ディスプレイ装置を制御する遠隔制御装置、ディスプレイ装置の制御方法、サーバーの制御方法、及び遠隔制御装置の制御方法を提供する。

ここで、ディスプレイ装置は、遠隔制御装置から受信したり情報収集部で収集された少なくとも一つの状況情報に基づいてユーザーの現在状態を判断する状況判断部、及び前記ユーザーの現在状態に基づいて前記遠隔制御装置が報知信号を出力するように指示し、前記ユーザーの現在状態に基づいてユーザーに感性ベースの映像サービスを提供するように制御する制御情報を生成する制御部を備える。ここで、遠隔制御装置は報知部を介して報知信号を出力する。

ディスプレイ装置は、状況情報に基づいてユーザーの現在状態を判断するための判断情報を保存している判断情報データベースをさらに備えてもよく、この場合、前記状況判断部は、前記判断情報データベースを閲覧して、前記状況情報に相応する判断情報を検索し、前記状況情報に相応する判断情報が存在すると、前記状況情報に相応する判断情報に基づいてユーザーの現在状態を判断する。

また、ディスプレイ装置は、ユーザーの現在状態に相応する遠隔制御装置又はディスプレイ装置に対する制御情報を含む制御情報データベースをさらに備えてもよく、この場合、前記制御部は、前記制御情報データベースを参照して、前記ユーザーの現在状態に相応するディスプレイ装置に対する制御情報を検出し、前記検出された制御情報に基づいて前記ディスプレイ装置を制御してもよい。

一方、ディスプレイ装置の前記制御部は、前記報知信号に応じて前記遠隔制御装置を介してユーザーにユーザー命令を入力してもらい、前記ユーザー命令に応じて、前記生成された制御情報を修正して新しい制御情報を生成してもよい。

この場合、ディスプレイ装置は、前記制御部により生成される新しい制御情報を保存する保存部、及び前記保存された制御情報に基づいてユーザーの操作に対するパターンを分析し、この分析結果に基づいて前記制御情報データベースを更新するアップデート部をさらに備えてもよい。

一方、情報収集部は、光を感知する光センサー、音を感知する音響センサー、動作を感知する動作センサー、温度を感知する温度センサー、及び人間の体温、脈拍、分当たり呼吸数又は心拍数を感知する生体信号センサーのうち少なくとも一つを備えてもよく、さらに、映像から顔形態を検出し、該検出された顔形態から顔の特徴地点を検出した後、前記顔の特徴地点の位置を分析して顔情報及び表情情報を生成して状況情報を収集する顔認識部を備えてもよい。

そして、報知部は、光を発光する発光モジュール、振動を発生させる振動発生モジュール及びサウンドを出力する音響出力モジュールのうち少なくとも一つのモジュールを備えてもよい。

一方、前記ディスプレイ装置を制御する制御情報は、前記ディスプレイ装置のカメラが映像を撮影するように制御したり、前記ディスプレイ装置のカメラにより撮影された映像を前記ディスプレイ装置にピクチャーインピクチャー方式で表示するように制御したり、前記ディスプレイ装置のカメラにより撮影された少なくとも一つの映像に対するサムネールイメージをディスプレイ装置の画面上に表示するように制御したり、又はディスプレイ装置の画面上に表示される映像に関する映像関連情報を前記ディスプレイ装置の画面上に表示するように制御するための制御情報でよい。

一方、ディスプレイ装置は、外部の投射面に映像を投射するビームプロジェクトモジュールをさらに備えてもよい。

また、ディスプレイ装置の状況判断部は、状況情報及び前記ディスプレイ装置で再生される映像に関する映像情報を統合してユーザーの現在状態を判断してもよい。

遠隔制御装置は、ディスプレイ装置を遠隔で制御するもので、具体的に、少なくとも一つの状況情報を収集する情報収集部、前記情報収集部で収集される少なくとも一つの状況情報に基づいてユーザーの現在状態を判断する状況判断部、前記判断されたユーザーの現在状態に相応する報知信号を出力する報知部、及び前記報知信号が出力された後、前記ユーザーの現在状態に基づいてディスプレイ装置がユーザーに感性ベースの映像サービスを提供するための制御情報を生成し、前記制御情報を前記ディスプレイ装置に伝送する制御部を備えてもよい。

ここで、遠隔制御装置は、外部環境の特殊な状況に対する特徴を数値化した情報である状況情報に基づいてユーザーの現在状態を判断するための判断情報に対する判断情報データベースをさらに備えてもよく、この場合、状況判断部は、判断情報データベースを閲覧して、前記収集された状況情報に相応する判断情報を検索し、前記状況情報に相応する判断情報が存在する場合、前記状況情報に相応する判断情報に基づいてユーザーの現在状態を判断すればよい。

また、遠隔制御装置は、ユーザーの現在状態に対するディスプレイ制御情報を含む制御情報データベース、及び前記制御情報データベースを参照して前記ユーザーの現在状態に相応するディスプレイ装置に対する制御情報を検出する制御部をさらに備えてもよい。

遠隔制御装置は、前記報知信号が出力された後に、ユーザーにディスプレイ操作命令を入力してもらう命令入力部をさらに備えてもよい。

この場合、遠隔制御装置の制御部は、前記制御情報データベースを参照して、前記ユーザーの現在状態に相応するディスプレイ装置に対する制御情報を検出し、前記命令入力部を介して入力されたユーザー命令に応じて、前記生成された制御情報を修正し、遠隔制御装置は、制御部により生成された制御情報を保存する保存部、及び前記保存された制御情報に基づいてユーザーの操作に対するパターンを分析し、この分析結果に基づいて前記制御情報データベースを更新するアップデート部をさらに備えてもよい。

一方、遠隔制御装置の情報収集部は、光を感知する光センサー、音を感知する音響センサー、動作を感知する動作センサー、温度を感知する温度センサー、人間の体温、脈拍、分当たり呼吸数又は心拍数を感知する生体信号センサー、及び前記遠隔制御装置の動きを感知する動作認識センサーのうち少なくとも一つを備えてもよく、さらに、映像から顔形態を検出し、該検出された顔形態から顔の特徴地点を検出した後、前記顔の特徴地点の位置を分析して顔情報及び表情情報を生成することによって状況情報を収集する顔認識部を備えてもよい。

遠隔制御装置の報知部は、光を発光する発光モジュール、振動を発生させる振動発生モジュール、及びサウンドを出力する音響出力モジュールのうち少なくとも一つを備えてもよい。

遠隔制御装置の状況判断部は、前記少なくとも一つの状況情報及び前記ディスプレイ装置で再生される映像に関する映像情報に基づいてユーザーの現在状態を判断してもよい。

一方、遠隔制御装置は、少なくとも一つの状況情報を収集する情報収集部、及び報知信号を出力する報知部を備えてもよく、この場合、情報収集部により収集された状況情報をディスプレイ装置又はサーバーに伝送し、前記ディスプレイ装置又は前記サーバーから、前記収集された状況情報に基づいて判断されたユーザーの現在状態に関する情報を受信し、報知部により報知信号が出力された後に、前記収集された状況情報又は前記判断されたユーザーの現在状態に相応する制御情報をディスプレイ装置に伝達し、前記ディスプレイ装置が制御されるようにしてもよい。

ここで、遠隔制御装置は、前記報知信号が出力された後にユーザーにディスプレイ操作命令を入力してもらい、該操作命令をディスプレイ装置に伝送する命令入力部をさらに備えてもよい。

このとき、遠隔制御装置の情報収集部も同様、光を感知する光センサー、音を感知する音響センサー、動作を感知する動作センサー、温度を感知する温度センサー及び人間の体温、脈拍、分当たり呼吸数又は心拍数を感知する生体信号センサーのうち少なくとも一つを備えてもよく、映像から顔形態を検出し、該検出された顔形態から顔の特徴地点を検出した後、この顔の特徴地点の位置を分析して顔情報及び表情情報を生成することによって状況情報を収集する顔認識部を備えてもよい。

なお、報知部も同様、光を発光する発光モジュール、振動を発生させる振動発生モジュール、及びサウンドを出力する音響出力モジュールのうち少なくとも一つを備えてもよい。

また、状況判断部も、上述した通り、状況情報及び前記ディスプレイ装置で再生される映像に関する映像情報に基づいてユーザーの現在状態を判断してもよい。

また、遠隔制御装置は、ディスプレイ装置で収集された状況情報に基づいて判断されたユーザーの現在状態を受信する受信部、該受信したユーザーの現在状態に基づいて報知信号を出力する報知部、前記報知信号が出力された後にユーザーの操作によって命令を入力してもらう入力部、及び前記報知信号が出力された後に、前記収集された状況情報又は前記判断されたユーザーの現在状態に相応する制御情報を生成し、該制御情報を前記ディスプレイ装置に伝達する制御部を備えてもよい。

一方、ディスプレイ装置の制御方法は、少なくとも一つの状況情報を収集したり遠隔制御装置から少なくとも一つの状況情報を受信するステップ、前記収集されたり前記受信した少なくとも一つの状況情報に基づいてユーザーの現在状態を判断するステップ、遠隔制御装置が前記ユーザーの現在状態に相応する報知信号を出力するように遠隔制御装置に指示するステップ、及び前記ユーザーの現在状態に基づいて制御命令を生成し、該制御命令に応じてユーザーに感性ベースの映像サービスを提供するステップを含むことを特徴とする。

ここで、状況情報は、光を感知して光量を測定したり、音の大きさを測定したり、動作を感知したり、温度を測定したり、人間の脈拍又は体温を測定したり、又は衛星から放射されたり制御部から出力される時間情報を測定することによって収集されたものでよい。

また、状況情報を収集するステップは、具体的に、映像から顔形態を検出するステップ、該検出された顔形態から顔の特徴地点を検出するステップ、及び前記顔の特徴地点の位置を分析し、前記映像に表示された顔情報及び表情情報を含む状況情報を収集するステップを含んでもよく、これにより、ディスプレイ装置はユーザーの顔情報及び表情情報を得ることができる。

一方、ユーザーの現在状態を判断するステップは、具体的に、状況情報に基づいてユーザーの現在状態を判断するための判断情報を含むデータベースを閲覧するステップ、及び前記収集された状況情報と前記判断情報データベースの判断情報とを比較し、前記収集された状況情報に相応する判断情報が存在する場合、前記判断情報からユーザーの現在状態を判断するステップを含んでもよい。

また、上述したような感性ベースの映像サービスは、例えば、ディスプレイ装置のカメラが映像を撮影したり、ディスプレイ装置のカメラにより撮影された映像を前記ディスプレイ装置にピクチャーインピクチャー方式で表示したり、ディスプレイ装置のカメラにより撮影された少なくとも一つの映像に対するサムネールイメージをディスプレイ装置の画面上に表示したり、ディスプレイ装置の画面上に表示される映像に関する映像関連情報を前記ディスプレイ装置の画面上に表示したりするように制御すること、又はディスプレイ装置に設けられたビームプロジェクタが投射面に映像を投射するようにすること、のいずれか一方、又はそれらの組み合わせでよい。

一方、前記ユーザーの現在状態に基づいて制御命令を生成するステップは、ユーザーの現在状態に対するディスプレイ制御情報を含む制御情報データベースを閲覧するステップ、前記ユーザーの現在状態に相応するディスプレイ装置に対する制御情報を検出するステップ、及び前記制御情報に基づいて制御命令を生成するステップを含んでもよい。

なお、ユーザーの現在状態を判断するステップは、状況情報及び前記ディスプレイ装置で再生される映像に関する映像情報に基づいてユーザーの現在状態を判断してもよい。

ディスプレイ装置の制御方法は、少なくとも一つの状況情報を収集したり、遠隔制御装置から少なくとも一つの状況情報を受信するステップ、前記収集したり前記受信した状況情報に基づいてユーザーの現在状態を判断するステップ、遠隔制御装置が前記ユーザーの現在状態に相応する報知信号を出力するように前記遠隔制御装置に指示するステップ、及び前記遠隔制御装置により出力された報知信号に応じてユーザーが入力したユーザー命令を受信し、前記収集したり前記受信した状況情報及び前記ユーザー命令に基づいて、前記ユーザーの現在状態に基づいてユーザーに感性ベースの映像サービスを提供するステップを含むことを特徴とする。

一方、サーバーの制御方法は、サーバーがディスプレイ装置又は遠隔制御装置から少なくとも一つの状況情報を受信するステップ、前記受信した状況情報に基づいてユーザーの現在状態を判断するステップ、遠隔制御装置が前記ユーザーの現在状態に相応する報知信号を出力するように前記遠隔制御装置に指示するステップ、及び前記ユーザーの現在状態に基づいてユーザーに感性ベースの映像サービスを提供するための制御命令を前記ディスプレイ装置に伝送し、該ディスプレイ装置が前記制御命令に応じてユーザーに感性ベースの映像サービスを提供するようにするステップを含むことを特徴とする。

一方、遠隔制御装置の制御方法は、少なくとも一つの状況情報を収集するステップ、前記収集された状況情報に基づいてユーザーの現在状態を判断するステップ、ユーザーの現在状態に相応する報知信号を出力するステップ、該出力された報知信号に応じてユーザーにユーザー命令を入力してもらうステップ、及び前記収集された状況情報及び前記ユーザー命令に基づいてディスプレイ装置に対する制御命令を生成し、該制御命令をディスプレイ装置に伝送してディスプレイ装置が前記制御命令に応じてユーザーに感性ベースの映像サービスを提供するようにするステップを含むことを特徴とする。

また、遠隔制御装置の制御方法は、少なくとも一つの状況情報を収集するステップ、前記収集された状況情報に基づいてユーザーの現在状態を判断するステップ、ユーザーの現在状態に相応する報知信号を出力するステップ、及び前記収集された状況情報に基づいてディスプレイ装置に対する制御命令を生成し、前記制御命令をディスプレイ装置に伝送してディスプレイ装置が前記制御命令に応じてユーザーに感性ベースの映像サービスを提供するようにするステップを含んでもよい。

本開示は、上述したように、ディスプレイ装置、該ディスプレイ装置を制御する遠隔制御装置、及び状況ベースのディスプレイ装置の制御方法を提供することによって、ディスプレイ装置を使用するユーザーの気分や行動、又は周辺環境のような現在の状況に基づいてディスプレイ装置を制御することが可能になる。

これにより、ユーザーの現在の状況に基づいて、ユーザーがユーザーの感情状態、周辺雰囲気などに相応する感性ベースの様々なサービスを受けることが可能になる。

本開示によれば、ユーザーの気分や行動、又は周辺環境からユーザーの生体状態や感情状態を判断するための状況情報を様々な手段やルートを介して獲得し、様々な状況情報を確保できるため、ユーザーの状態や感情などをより正確に判断でき、ユーザーの状況に基づいてディスプレイ装置を制御することが可能になる。

また、ユーザーの状況に基づいてディスプレイ装置を制御することによってユーザーの感性を効果的に刺激し、ユーザーにとっては自身の状態、行動又は感性ベースのユーザー経験ができる。これにより、ユーザーは、ディスプレイ装置などを介して肯定的な情緒的効果を得ることができる。

なお、ユーザーの気分や行動に基づいて様々な感情を誘発できる様々なコンテンツ及びサービスの開発及び提供が可能になる。

しかも、ディスプレイ装置がユーザーの反応や好みに基づいてユーザーに感性を誘発するコンテンツやサービスを自ら学習し改善できるため、ユーザーは、ユーザーに最適のコンテンツやサービスを受けることが可能になる。

本開示の実施例に係るディスプレイ装置と該ディスプレイ装置を制御する遠隔制御装置とを備えたディスプレイ装置の制御システムの全体構成図である。 本開示の実施例に係るディスプレイ装置及び遠隔制御装置のブロック図である。 本開示の実施例に係るディスプレイ装置の情報収集部を説明するためのブロック図である。 本開示の実施例に係る遠隔制御装置のブロック図である。 本開示の実施例に係る遠隔制御装置の正面図である。 本開示の実施例に係るディスプレイ装置、遠隔制御装置及びサーバーを備えたシステムの構成図である。 本開示の実施例に係るディスプレイ装置、遠隔制御装置及びサーバーのブロック図である。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御される方法を説明するための図である。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御される方法を説明するための図である。 本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御される方法を説明するための図である。 本開示の実施例によってユーザーの顔を認識してディスプレイ装置を制御する方法を示すフローチャートである。

添付の図面に開示される実施の形態を詳しく参照する。図面中、同一の構成要素には同一の参照符号を付する。以下、図面を参照しつつ、本開示の実施の形態について説明する。

以下、図１乃至図６を参照して、本開示の実施例によってディスプレイ装置及び該ディスプレイ装置を制御する遠隔制御装置について説明する。

図１は、本開示の実施例に係るディスプレイ装置と該ディスプレイ装置を制御する遠隔制御装置とを備えているディスプレイ装置の制御システムの構成図である。

本開示の実施例に係るディスプレイ装置の制御システムは、遠隔制御装置１００と、遠隔制御装置１００によって制御されてもよいディスプレイ装置２００と、を備えており、ここで、遠隔制御装置１００とディスプレイ装置２００は互いに、無線通信網、例えば、ブルートゥース^ＴＭ、Ｗｉ−Ｆｉ、３ＧＰＰ、３ＧＰＰ２又はＷｉＭＡＸ系列などの各種の移動通信標準を用いる無線通信網などを介して命令やデータを送受信できるようになっている。

遠隔制御装置１００は、ディスプレイ装置２００、例えばＴＶを遠隔で制御できる装置である。

本開示の実施例において、遠隔制御装置１００は、所定のボタンが一面又は複数の面に設けられており、ユーザーによるボタン操作に応じて、例えば所定の周波数の赤外線をディスプレイ装置２００に照射してディスプレイ装置２００を制御できるリモコン（ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ）であってよい。

本開示の実施例によれば、遠隔制御装置１００は、タッチスクリーン又は外面に形成された所定の物理的ボタンを備えており、ユーザーによるタッチスクリーン又は物理的ボタンの操作に応じて所定の制御信号を生成した後、生成された制御信号を、様々な無線通信網を介してディスプレイ装置２００に伝達してディスプレイ装置２００を制御する、無線通信モジュールを備えた各種の端末装置、例えば、無線通信モジュールを備えたリモコンやスマートフォンであってもよい。

これに限定されず、本開示の遠隔制御装置１００は、ディスプレイ装置２００を一定範囲の距離で制御できるいかなる種類の遠隔制御手段であってもよい。

本開示の実施例において、ディスプレイ装置２００は、外部に映像を出力したり、又は映像及びサウンドを同時に出力して、ユーザーに各種の視覚又は視聴覚コンテンツを提供できる装置である。

ディスプレイ装置２００は、本開示の実施例によって、上述した遠隔制御装置１００から一定の制御を受けるために、遠隔制御装置１００から照射される赤外線を受信するための赤外線受信手段、又は遠隔制御装置１００から所定の制御命令を受信するための受信手段、例えば無線通信チップを備えていればよい。

その他にも、ディスプレイ装置２００は、外部の遠隔制御装置１００により制御されうる様々な種類のものが用いられてもよい。例えば、ディスプレイ装置２００はＴＶであってもよく、各種電子映像機器、例えば冷蔵庫などに装着された冷蔵庫ディスプレイであってもよい。また、スクリーンなどから映像を表示できる家電機器、例えば、コンピュータ、ゲーム機、スマートフォンなどをディスプレイ装置としてもよい。さらには、投射面にレーザーのような光を投射して映像を表示するビームプロジェクトモジュールやスクリーンをディスプレイ装置としてもよい。

本開示の実施例によれば、このような遠隔制御装置１００とディスプレイ装置２００を用いて外部の状況に関する状況情報を収集し、収集された状況情報に基づいてユーザーや周辺環境の現在状態を把握し、把握された現在状態に基づいてディスプレイ装置２００に対する制御命令を生成してディスプレイ装置２００を制御することができる。これに加えて、本開示の実施例によれば、遠隔制御装置に対する制御命令も共に制御することができる。

以下、図２を参照して、遠隔制御装置１００及びディスプレイ装置２００を備えているシステムの実施例について説明する。

図２は、本開示の実施例に係る遠隔制御装置を備えたディスプレイ装置の制御システムのブロック図である。

図２を参照すると、本開示の実施例において、遠隔制御装置１００は、例えば各種のセンサーを用いて外部環境から状況情報を収集する情報収集部１１０と、光、音などを出力してユーザーに状況情報を知らせる報知部１４０と、を備えている。以下では、後述するディスプレイ装置２００の情報収集部２１０と区別するために、遠隔制御装置１００の情報収集部１１０を第１情報収集部１１０と称する。

ディスプレイ装置２００は、本開示の実施例によれば、遠隔制御装置１００の第１情報収集部１１０から収集された、外部状況に関する状況情報に基づいてユーザーの現在状態を判断する状況判断部２２０（以下、後述する遠隔制御装置１００の状況判断部２１０と区別するために、ディスプレイ装置２００の状況判断部を第２状況判断部と称する）と、第２状況判断部２２０の判断結果が遠隔制御装置１００に伝送されるようにしたり、判断結果に基づいて制御命令を生成してディスプレイ装置２００を制御する制御部２３０（以下、遠隔制御装置１００の制御部１３０と区別するために、ディスプレイ装置２００の制御部を第２制御部と称する）と、を備えている。

本開示の実施例によれば、ディスプレイ装置２００は、外部環境から状況情報を収集する情報収集部２１０（以下、遠隔制御装置１００の第１情報収集部と区別するために、第２情報収集部と称する）をさらに備えてもよい。この場合、第２状況判断部２２０は、ディスプレイ装置２００の第２情報収集部２１０で収集された状況情報を用いて状況を判断するように構成されてもよく、遠隔制御装置１００及びディスプレイ装置２００の情報収集部１１０，２２０の両方で収集された状況情報を用いて現在の状況を判断するように構成されてもよい。

本開示の実施例において、ディスプレイ装置２００は、図２に示すように、第２状況判断部２２０による外部状況の判断に必要な情報が保存された判断情報データベース２２１を備えてもよく、第２制御部２３０によるディスプレイ装置２２０の制御命令の生成に必要な情報が保存された制御情報データベース２３１を備えてもよい。実施例によって、ディスプレイ装置２００は、有無線通信網を介して外部の判断情報データベース２２１又は制御情報データベース２３１に接続してもよい。

また、ディスプレイ装置２００は、実施例によって、各種の視聴覚コンテンツをユーザーに表示するディスプレイ部２４０、第２情報収集部２１０で収集された情報、第２制御部２３０の制御命令、又はディスプレイ装置２００の正面、側面又は背面に取り付けられたカメラ２７０により撮影された映像データなどを保存する保存部２５０、保存された情報に基づいてユーザーの操作パターンを分析し、該分析結果に基づいて学習が行われるようにするアップデート部２６０をさらに備えてもよい。

また、図２に示すように、実施例によって、ディスプレイ装置２００は、ディスプレイ装置２００に取り付けられ、映像を撮影するカメラ２７０、又は外部の投射面にビームを照射して投射面上に映像を表示するビームプロジェクトモジュール２８０をさらに備えてもよい。

したがって、本開示の実施例に係るディスプレイ装置と遠隔制御装置を備えたディスプレイ装置の制御システムによれば、遠隔制御装置１００又はディスプレイ装置２００の情報収集部１１０，２１０で収集された状況情報がディスプレイ装置２００に伝送され、この状況情報に基づいてディスプレイ装置２００で状況を判断し、それに相応する制御命令を生成し、該制御命令に応じてディスプレイ装置２００が制御される。

実施例によれば、図４Ａに示すように、状況情報を判断する状況判断部１２０、及び制御命令を生成する制御部１３０が遠隔制御装置１００に設けられ、遠隔制御装置１００で状況を判断し、制御命令を生成するようにしてもよい。

以下、図２に示すように、状況判断部２２０と制御部２３０がディスプレイ装置２００に設けられた実施例を中心にしてそれぞれの構成要素を説明する。

まず、本開示の実施例において状況情報を収集する情報収集部１１０，２１０について、図３及び図４Ａを参照して説明する。

本開示の実施例において、情報収集部１１０，２１０、すなわち第１情報収集部１１０及び／又は第２情報収集部２１０は、外部の状況に関する状況情報、例えば身体状態に関する状況情報ａ１や周辺環境に関する状況情報ａ２を収集する。

具体的に、外部環境の様々な現象、例えば光、音、温度、動きを感知してそれをデジタルデータに変換したり、又は外部の別個の装置から与えられる情報、例えば人工衛星との通信によるＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）値などを受信したり、又は再生されるプログラム情報に関する情報を有無線通信網を介して受信したりするなどの様々な方法によって様々な状況情報を獲得する。

身体状態に関する状況情報ａ１は、身体の状態を表す様々な情報、例えば、脈拍、分当たり呼吸数、体温などの情報を意味する。

周辺環境に関する状況情報ａ２は、光量、周辺の音、周辺にいる人数、人の動作、ディスプレイ装置２００で再生されるプログラムに関する情報、時刻（ｔｉｍｅ）情報など、様々な周辺環境や再生されるプログラムの情報のいずれをも含む。

本開示の情報収集部１１０，２１０は、実施例によって、遠隔制御装置１００又はディスプレイ装置２００のいずれかにのみ備えられることもあり、遠隔制御装置１００及びディスプレイ装置２００の両方に備えられることもある。

また、情報収集部１１０，２１０は、遠隔制御装置１００やディスプレイ装置２００の任意の位置にランダム（ｒａｎｄｏｍ）に配置されてもよく、感知して状況情報を獲得しようとする周辺環境、例えば、光、音、振動や各種生体信号を感知するのに最適の位置に配置されてもよい。

一方、本開示の実施例によって、情報収集部１１０，２１０は、ユーザーがセンサーの有無を認識できないように設計されてもよい。

本開示の実施例によれば、遠隔制御装置の第１情報収集部１１０又はディスプレイ装置２００の第２情報収集部２１０は、図３及び図４Ａに示すように、生体信号センサー１１１，２１１、光センサー１１２，２１２、音響センサー１１３，２１３、動作センサー１１４，２１４、温度センサー１１５，２１５及び顔認識部１１７，２１６のうち少なくとも一つを備えており、必要によっては、図示又は言及していない他のセンサーのような情報収集手段をさらに備えてもよい。

生体信号センサー１１１，２１１は、ユーザーの身体状態を感知してユーザーの身体状態に関する状況情報ａ１を収集するセンサーである。

ここで、身体状態に関する状況情報ａ１は、人間、例えばディスプレイ装置を視聴する視聴者の身体状態に関する情報を意味する。つまり、例えば、ユーザーが睡眠状態であるか、疲れた状態であるか、興奮状態であるかのような、ユーザーの身体状態を把握するための各種情報を意味する。

具体的に、身体状態に関する状況情報ａ１は、例えば、体温、脈拍、分当たり呼吸数、脳波又は心拍数のような生体情報を含む。

生体信号センサー１１１，２１１は、上記のような身体状態に関する状況情報ａ１を収集するためのセンサーであり、ユーザーから生体信号を容易で正確に測定できるように、主にユーザーの近くに置かれる遠隔制御装置１００に設けられるのが一般的である。

この場合、生体信号センサー１１１は、遠隔制御装置１００内の任意の位置に装着されてもよく、又は生体信号の感知を行うのに最適の位置に装着されてもよい。

本開示の実施例によれば、生体信号センサー１１１，２１１は、遠隔制御装置１００の特定位置、例えば遠隔制御装置１００の握り部（ｇｒｉｐ）の内部に取り付けられて人の体温を測定する熱感知センサーであってもよく、人体の一部、例えば指先などが載せられるように構成されて脈拍などを測定する脈拍センサーであってもよい。

勿論、生体信号センサー１１１，２１１は、図２に示すように、獲得しようとする身体状態に関する状況情報ａ１によって、ディスプレイ装置２００に設けられてもよい。

光センサー１１２，２１２は、光を感知し、周辺環境に関する状況情報ａ２を収集するセンサーである。

周辺環境に関する状況情報ａ２とは、遠隔制御装置１００又はディスプレイ装置２００の周辺の各種環境要素、例えば光の存在、光量、音響の存在及びその大きさ、外部事物の存在、動作などを含む各種の環境的な要素に関する情報を意味する。

光センサー１１２，２１２は、周辺環境のうち光を感知することによって、光の量（光量）を測定したり、外部事物の存在、事物の動作や形態などを感知したりし、感知した結果を電気的信号に変換して周辺環境に関する状況情報ａ２を獲得する。このような光センサー１１２，２１２としては、例えば、光を電気信号に変換するフォトダイオードやフォトトランジスタを使用してもよく、赤外線を電気信号に変換する赤外発光ダイオードを使用してもよい。

本開示の実施例によっては、光センサー１１２，２１２は、対象体に反射された光を受光して対象体を検出できるように、対象体に向かって赤外線や可視光線のような光を照射する別個の発光モジュールをさらに備えてもよい。

音響センサー１１３，２１３は、ディスプレイ装置２００の周辺から音声や音響を感知及び計測して、周辺環境に関する状況情報ａ２を獲得する機能を果たす。

音響センサー１１３，２１３は、例えばトランスデューサー（ｔｒａｎｓｄｕｃｅｒ）などを用いて、空気を通して伝達される所定の周波数の波動、例えば可聴音を感知し、それを電気的信号に変換することによって、周辺状況における各種音声や音響、例えば人々の騒ぐ声に関する状況情報ａ２を得る。

音響センサー１１３，２１３の一例にマイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）がある。

動作センサー１１４，２１４は、装置の動きを感知するセンサーである。例えば、動作センサー１１４，２１４は、動作センサー１１４，２１４が装着されている遠隔制御装置１００やディスプレイ装置２００の動きを感知し、感知結果を電気的信号に変換する。

動作センサー１１４，２１４の例には、加速センサー（ａｃｃｅｌｅｒｏｍｅｔｅｒ）、チルトセンサー（ｔｉｌｔ ｓｅｎｓｏｒ）、回転センサー（ｒｏｔａｔｉｏｎ ｓｅｎｓｏｒ）、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）などがある。

動作センサー１１４，２１４は、例えば、ユーザーが遠隔制御装置、例えばリモコンを振ったり動かしたりしているか否か、さらにリモコンをどの方向にどのように動かしいるかなどを感知する。

ディスプレイ装置２００は主に一定の位置に固定しているから、動作センサー１１４，２１４は、ユーザーによって操作される遠隔制御装置１００に装着されているのが一般的である。

温度センサー１１５，２１５は、周辺の空気や接触した物体の熱を測量して温度を計測するセンサーである。この温度センサー１１５，２１５としては、白金抵抗温度計、サーミスター（ｔｈｅｒｍｉｓｔｅｒ）、サーモカップル（ｔｈｅｒｍｏｃｏｕｐｌｅ）など、外部の温度を測定できる様々なセンサーが挙げられる。

温度センサー１１５，２１５を用いて遠隔制御装置１００やディスプレイ装置２００は、ディスプレイ装置２００の周辺、例えば、ディスプレイ装置２００が位置している部屋の内部が暖かいか寒いかなどを把握する。

また、本開示の実施例において、遠隔制御装置１００やディスプレイ装置２００の情報収集部１１０，２１０は、顔認識部１１７，２１６を備えていてもよい。

顔認識部１１７，２１６は、遠隔制御装置１００又はディスプレイ装置２００に装着されたカメラ２７０から入力される映像から顔を認識し、ユーザーに関する状況情報を収集する。

本開示の実施例において、ディスプレイ装置２００の顔認識部２１６は、まずカメラ２７０から入力される映像から顔を検出し、検出した顔から顔の特徴地点、例えば瞳や口尻のように顔の特徴となる特徴地点をさらに検出する。特徴地点が検出された後、特徴地点のそれぞれの位置と、あらかじめ定義された特徴地点の位置に基づく顔の形態や表情に関する情報とを比較して特徴地点を分析し、映像内の顔に関する顔情報及び表情情報を含む状況情報を生成する。

また、本開示の実施例において、情報収集部１１０，２１０は、感圧センサー１１６を備えていてもよい。

感圧センサー１１６は、センサーに加えられる圧力を測定するセンサーで、その例に、導電性ゴムに加えられる圧力による導電性ゴムの変形力から圧力を測定する導電性ゴムセンサーなどがある。

感圧センサー１１６は、感圧素材によって、導電性ゴム、感圧高分子、圧電高分子を用いた感圧センサーが用いられてもよく、検出方式によって、集中型感圧センサーや分布型感圧センサーが用いられてもよい。

感圧センサー１１６は、一般的に、ユーザーが頻繁に接触する遠隔制御装置１００に装着されるが、必要によって、ディスプレイ装置２００に装着されてもよい。

本開示の実施例において、第２情報収集部２１０はカメラ２７０をさらに備えていてもよい。

カメラ２７０は、外部の対象体を撮影するもので、具体的に、外部から入射する可視光線などの光を感知し、それを電気的信号に変換することによって最終的に静止画又は動画を得る。

カメラ２７０から入力される映像は、ディスプレイ装置２５０などの保存部２５０に保存され、上述した顔認識部２１７で顔を認識できるようにしたり、又はディスプレイ装置２００のディスプレイ部２４０で表示されたりする。

図示してはいないが、本開示の実施例において、遠隔制御装置１００又はディスプレイ装置２００の情報収集部１１０，２１０は、上述したようなセンサー１１１乃至２７０の他にも、各種状況情報を収集できる様々なセンサーのような手段をさらに備えていてもよい。

例えば、情報収集部１１０，２１０は、超音波を感知できる超音波センサーを備えていてもよい。

超音波センサーは、不可聴の超音波を外部の対象体に照射し、対象体から反射してくるエコー超音波を感知することによって、対象体の存在有無、対象体の形態や動作などに関する情報を収集可能にする。

また、情報収集部１１０，２１０は、遠隔制御装置１００やディスプレイ装置２００のプロセッサから出力されたり、又は外部の人工衛星などから受信される時間情報を収集することによって、状況情報が収集された時刻によって異なる制御命令を、後述する制御部１３０，２３０が生成するようにしてもよい。

さらに、情報収集部１１０，２１０は、ディスプレイ装置２００の画面、すなわちディスプレイ部２４０で再生されるコンテンツに関する情報、例えば、プログラムガイド情報（ＥＰＧ、ｅｌｅｃｔｒｏｎｉｃ ｐｒｏｇｒａｍ ｇｕｉｄｅ）を収集してもよい。これは、有無線通信網を介して受信したり、又はユーザーの使用ログ情報を遠隔制御装置１００やディスプレイ装置２００の保存部から読み込むことによって収集すればよい。

ここで、ログ情報とは、一つのコンテンツの再生有無などの作動に関する記録や関連データのようなメタ情報で、例えば、一つのコンテンツに関するユーザーの視聴回数、視聴中断回数、最終視聴時刻などのようなヒストリー情報を含む。

このような情報収集部１１０，２１０により、身体状態に関する状況情報ａ１、例えば、ユーザーの存在有無やユーザーの行為に関する情報や、周辺環境に関する状況情報ａ２、例えば、光量、温度、時刻、ディスプレイ装置２００周辺の人数、ユーザーとディスプレイ装置２００間の他の物体が存在するか否かに関する情報、再生されるプログラム情報などの状況判断、さらにはユーザーの気分などを把握できる様々な情報を収集することができる。

以上説明した通り、情報収集部１１０，２１０によって収集された身体状態又は周辺環境に関する状況情報ａ１，ａ２は、図２に示すようにディスプレイ装置２００の第２状況判断部２２０や、図４Ａに示すように遠隔制御装置１００の第１状況判断部１２０に伝達され、以降、各装置１００，２００で利用される。

以下、図３を参照して、状況判断部及び制御部がシステムのディスプレイ装置２００に備えられた実施例において各構成要素について説明する。

ディスプレイ装置２００の構成要素のうち、図２及び図３に示した情報収集部１１０，２１０については上述した。以下、図３を参照して、本開示の実施例においてディスプレイ装置２００の第２状況判断部２２０について説明する。

本開示の実施例において、第２状況判断部２２０は、収集された外部環境に関する状況情報ａ１，ａ２に基づいてユーザーの現在状態を判断し、現在の状況を決定する。すなわち、第２状況判断部２２０は、第２情報収集部２１０から収集した複数の状況情報、例えば、ユーザーの体温、脈拍のような身体状態に関する状況情報ａ１と、光量、音量、動作、ユーザーの顔表情、再生されるプログラムの情報、現在時刻などを用いてユーザーの現在状態、さらにはユーザーの感情状態を把握する。

このとき、第２状況判断部２２０は、外部環境から収集された状況情報、例えば光量、温度、音響の大きさ、ユーザーの生体状態などを入力値とし、あらかじめ定められた所定の状況判断アルゴリズムに該入力値を代入して結果値を演算した後、結果値に基づいてユーザーや周辺環境の現在状態を判断することができる。

言い換えると、第２状況判断部２２０は、ユーザーがどのような環境でどのような状態にあるかを判断することが可能である。

例えば、第２状況判断部２２０は、光センサー１１２，２１２により感知される光量と、音響センサー１１３，２１３により感知される音量、ユーザーの生体信号２１１に基づいて、ユーザーが睡眠中であるか否か、どのような環境で睡眠中であるか、例えば、照明を点灯したままで又は消灯したままで寝ているかなどを判断することができる。

第２状況判断部２２０が状況を判断するために、収集された状況情報とこれを用いて判断しようとする内容によって複数の状況判断アルゴリズムが用いられることがある。また、一つのアルゴリズムに複数の状況情報が入力値として利用されることもあり、一つの状況情報が複数の状況判断アルゴリズムの入力値として用いられることもある。また、複数のアルゴリズムを複合的に用いて個別状況を判断した後、判断された個別状況を再び統合して遠隔制御装置１００とディスプレイ装置２００の制御のための全体的な状況を判断することもある。

上述した例のように、ユーザーの生体信号から一定のアルゴリズムを用いてユーザーが目覚めているか寝ているかを判断し、光量に関する情報から照明の点灯又は消灯を判断し、プロセッサから出力される時間情報に基づいて現在時刻、又は照明が点灯してから経過した時間を判断した後、判断結果に基づいてユーザーが夜に不眠状態にあるか否かを判断することができる。

本開示の実施例において、図２に示すように、上述した第２状況判断部２２０の判断のための判断情報データベース２２１が用いられてもよい。

判断情報データベース２２１は、状況情報に基づいてユーザーの現在状態を判断するための判断情報のデータベースである。

判断情報は、収集される状況情報が一定の範囲に該当したり、又は一定の値を有する場合にどのように判断すればよいかに関する情報を意味する。例えば、感知された光の量が一定範囲以内なら消灯状態と判断したり、顔認識の結果、笑う顔という判断結果が得られるとユーザーが気分の良い状態と判断するなど、それぞれの収集された状況情報に相応する判断方法に関する情報を意味する。

この場合、第２状況判断部２２０は、収集された状況情報ａ１，ａ２について、まず判断情報データベース２２１を閲覧し、該状況情報に相応する判断情報を検索する。そして、状況情報に相応する判断情報が存在する場合には、状況情報に相応する判断情報に基づいてユーザーの現在状態を判断する。もし、状況情報に対応する判断情報が存在しないと判断を終了し、他の状況情報が収集されるまで待てばよい。

第２状況判断部２２０の判断によって、ユーザーの探知及び認識、ディスプレイ装置の前方にいる人数、喜び、幸福、憂欝、悲しみ、退屈、怒り、怖さなどの様々なユーザーの感情、ユーザーの睡眠状態、周辺空間の照度、ユーザーのストレスなど、様々なユーザーの状態及び周辺環境に対する状況判断結果を得ることができる。

上述したような第２状況判断部２２０が判断した判断結果は、図２及び図３に示すように第２制御部２３０に伝達され、ディスプレイ装置２００の第２制御部２３０は、当該判断結果に相応する制御命令を生成して制御対象に伝達する。

以下、本開示の実施例において、ディスプレイ装置２００の第２制御部２３０について説明する。

本開示の実施例において、ディスプレイ装置２００の第２制御部２３０は、収集された状況情報に基づいて判断された現在状態の判断結果に基づいて、遠隔制御装置１００及び／又はディスプレイ装置２００、例えばディスプレイ装置２００のディスプレイ部２４０や映像プロジェクトモジュール、例えばビームプロジェクトモジュール２８０を制御する制御命令を生成する。なお、第２制御部２３０は、ディスプレイ装置２００を構成する各種構成要素の動作を制御する制御命令を生成することもある。

当該制御命令に基づいてディスプレイ装置２００を制御することによって、ディスプレイ装置２００が、ユーザーの状態や感情、周辺環境に基づいてユーザーの感性を誘発するサービスをユーザーに提供することが可能になる。

本開示の実施例によれば、第２制御部２３０は、判断結果に基づいて遠隔制御装置１００が所定の報知信号を出力するように制御する制御情報を生成し、それを図２に示すように遠隔制御装置１００に伝送する。ここで、伝達される制御情報は、遠隔制御装置１００の報知部１４０の動作に関する情報、例えば、報知部１４０の発光モジュール（図４Ａの１５１）がどのようなパターンで発光すべきか、報知部１４０の音響出力モジュール１５３がどのようなサウンドを出力すべきかのような報知信号に関する情報を併せて含むこともあり、該情報に基づいて遠隔制御装置１００の報知部１４０は動作する。

本開示の実施例によれば、第２制御部２３０は、判断結果のみを遠隔制御装置１００に伝送することもあり、この場合、遠隔制御装置１００は、受信した判断結果に基づいて出力されるべき報知信号を決定し、それに応じて報知部１４０を制御し、所定の光又はサウンドのような報知信号を外部に出力してもよい。

本開示の実施例において、第２制御部２３０は、図２に示すように、制御情報データベース２３１を参照して第２状況判断部２２０の判断結果に基づく制御命令を生成してもよい。

制御情報データベース２３１は、状況情報に基づいて判断されたユーザーの現在状態に相応する、遠隔制御装置１００及び／又はディスプレイ装置２００に関する制御情報を保存している。

制御情報は、例えば、収集された状況情報が所定の条件に該当する場合には、ディスプレイ装置のカメラが映像を撮影するように制御する制御情報であってもよく、ディスプレイ装置のカメラにより撮影された映像を、ディスプレイ装置にピクチャーインピクチャー（ＰＩＰ、ｐｉｃｔｕｒｅ ｉｎ ｐｉｃｔｕｒｅ）方式で表示するように制御する制御情報であってもよい。また、ディスプレイ装置のカメラにより撮影された少なくとも一つの映像に対するサムネールイメージをディスプレイ装置の画面上に一定に配置して表示するように制御するための制御情報であってもよく、ディスプレイ装置の画面上に表示される映像に関する映像関連情報をディスプレイ装置の画面上に表示するように制御する制御情報であってもよい。

その他にも、ディスプレイ装置２００を介してユーザーの感性を刺激する様々な種類のサービスに相応する様々な制御情報があってもよい。

第２制御部２３０は、本開示の実施例において、第２状況判断部２２０が判断したユーザーの現在状態に基づいて制御情報データベース２３１を閲覧し、制御情報データベース２３１に現在の状況に相応する遠隔制御装置１００及び／又はディスプレイ装置２００に関する制御情報が存在すると、該情報を読み出し、それに相応する制御命令を生成する。もし、現在の状況に相応する遠隔制御装置１００及び／又はディスプレイ装置２００に関する制御情報が存在しないと、制御命令の生成を終了し、第２状況判断部２２０から他の判断結果が伝達されるのを待つように待機状態に切り替えてもよい。

一方、第２制御部２３０は、本開示の実施例において、遠隔制御装置１００の入力部、例えばリモコンの外部に配設された各種ボタン（図４Ａの１５０、図４Ｂの１５０ａを参照）を介して入力されたユーザー命令に応じて新しい制御情報を生成したり、又は既に生成した制御情報を修正して新しい制御情報を生成したりしてもよい。

特に、この場合、遠隔制御装置１００の入力部は、報知部１４０がユーザーに報知信号を出力してはじめてユーザーにユーザー命令を入力してもらえる。

すなわち、報知部１４０が出力した報知信号に応じてユーザーが所定の操作を遠隔制御装置１００に加えると、その情報がディスプレイ装置２００の第２制御部２３０に伝送され、それに応じて第２制御部２３０は新しい制御情報を生成する。

例えば、第２制御部２３０が、収集した状況情報から、ユーザーが夜に長時間寝入れないことが判断されたとしよう。この判断結果に基づいて、第２制御部２３０はディスプレイ装置２００のビームプロジェクトモジュール２８０を動作させてビームを投射することで、ユーザーの部屋の天井に星座を表示することができる。このとき、ユーザーが遠隔制御装置１００を操作してビームプロジェクトモジュール２８０の動作を停止させる命令を入力すると、第２制御部２３０は、入力されたユーザー命令に応じてビームプロジェクトモジュール２８０の動作を停止させる新しい制御命令を生成してもよい。

また、本開示の実施例において、第２制御部２３０は、第２状況判断部２２０の判断結果に相応する制御命令を必ず生成してもよいが、実施例によって、第２制御部２３０は、判断結果に相応する制御命令をランダムに生成してもよい。言い換えると、制御部２３０は、状況判断部２２０の同一の判断結果について、任意に、遠隔制御装置１００やディスプレイ装置２００などを制御する制御命令を生成してもよく、生成しなくてもよい。

そのため、ユーザーは、期待しない状況でディスプレイ装置２００を介してサービスを受けることがあり、結果としてユーザーの感性がより刺激されることとなる。

本開示の実施例において、ディスプレイ装置２００は、第２制御部２３０の制御命令に応じて、外部から受信されたり又は内部の保存空間に保存された各種映像を再生するディスプレイ部２４０を備えている。

本開示の実施例において、ディスプレイ装置２００は、上述したような制御命令を保存したり、又は上述した制御命令に応じてカメラ２７０なとで撮影された映像又はインターネットを介して外部から収集した各種情報、例えばディスプレイ装置２００で再生される映像に関する各種メタ情報を保存する保存部２５０をさらに備えている。保存部２５０に保存されたデータは、必要によって、第２制御部２３０により呼び出され、ディスプレイ制御においてディスプレイ装置２００が学習するのに用いられることもあり、ディスプレイ部２４０を介して外部に表示されることもある。

本開示の実施例によれば、ディスプレイ装置２００は、保存部２５０に保存された制御情報に基づいてユーザーの操作に関するパターンを分析し、該分析結果に基づいて制御情報データベース２３１をアップデートするアップデート部２６０をさらに備えている。

制御情報データベース２３１は、遠隔制御装置を含むディスプレイ装置の制御システムを用いてサービスを提供するサービスプロバイダーにより構築されたもので、各ユーザーの個別特性をそのまま反映しているものではない。

そのため、ユーザーの操作、例えば、上述したような遠隔制御装置１００の入力部１５０を介したユーザーの操作を統計的に分析し、個別状況に対してユーザーの反応や好みに基づいてディスプレイ装置２００を制御する制御命令をアップデートできることが要求されるが、このような制御情報データベース２３１のアップデートはアップデート部２６０で行われる。

言い換えると、アップデート部２６０を用いて、ディスプレイ装置２００は、ユーザーの好みに適合するようにどのようにディスプレイ装置２００を制御してサービスを提供すればよいかを学習できるようになる。

一方、本開示の実施例において、ディスプレイ装置２００は、外部の映像を撮影するカメラ２７０をさらに備えている。ここで、カメラ２７０は静止画も動画も撮影できるものでよい。

また、本開示の実施例において、ディスプレイ装置２００は、外部の投射面に映像を投射するビームプロジェクトモジュール２８０をさらに備えている。

ビームプロジェクトモジュール２８０は、外部の投射面、例えば、スクリーン、壁、天井などに一定の光、例えば可視光やレーザー光を投射し、投射面に所定の映像を結ばせる。

以下、図４Ａを参照して、遠隔制御装置１００が状況を判断し、制御命令を生成する一例について説明する。

図４Ａは、本開示の実施例に係る遠隔制御装置のブロック図である。

図４Ａを参照すると、本開示の実施例に係る遠隔制御装置は、第１情報収集部１１０、第１状況判断部１２０、第１制御部１３０及び報知部１４０を備えている。ここで、第１情報収集部１１０は、上述した通りである。

遠隔制御装置１００の第１状況判断部１２０は、上述したディスプレイ装置２００の第２状況判断部２２０と同様に、第１情報収集部１１０から収集された状況情報に基づいてユーザーの現在状態を判断する。

本開示の実施例によって第１状況判断部１２０は遠隔制御装置の第１情報収集部１１０のみを用いてユーザーの現在状態を判断してもよく、ディスプレイ装置２００の第２情報収集部２１０で収集された状況情報を受信してユーザーの現在状態を判断してもよい。

遠隔制御装置の第１状況判断部１２０により獲得された判断結果は、本開示の実施例によって、ディスプレイ装置２００に伝送され、ディスプレイ装置２００の第２制御部２３０が判断結果を用いて制御命令を生成するようにしてもよい。

一方、本開示の実施例によって、遠隔制御装置の第１状況判断部１２０により獲得された判断結果は遠隔制御装置１００の第１制御部１３０に伝達されてもよい。

本開示の実施例において、遠隔制御装置１００は、第１状況判断部１２０の判断結果に基づいて所定の制御命令を生成する第１制御部１３０をさらに備えている。

遠隔制御装置１００の第１制御部１３０は、当該判断結果に基づいて遠隔制御装置１００の報知部１４０の動作を制御する制御命令を生成し、それを報知部１４０に伝達する。また、遠隔制御装置１００の第１制御部１３０は、ディスプレイ装置２００を制御する制御命令、例えば、カメラ２７０又はビームプロジェクトモジュール２８０を駆動させる制御命令などを生成してそれをディスプレイ装置２００に伝達してもよい。

ただし、上述したように、ディスプレイ装置２００が第２制御部２３０を備えており、第２制御部２３０が判断結果に基づいて遠隔制御装置１００の報知部１４０の動作を制御する制御命令を生成してそれを遠隔制御装置１００に伝達するとすれば、遠隔制御装置１００の第１制御部１３０が報知部１４０を制御する制御命令を生成する必要はないだろう。

また、上述した通り、ディスプレイ装置２００の第２制御部２３０がディスプレイ装置２００の制御命令を生成する場合にも同様、遠隔制御装置１００の第１制御部１３０はディスプレイ装置２００の制御命令を生成しなくてもよい。

例えば、本開示の実施例によれば、遠隔制御装置１００の第１制御部１３０は、状況情報を用いて判断されたユーザーの現在状態に関する判断結果に基づいて遠隔制御装置１００の報知部１４０のみを制御する制御命令を生成する一方で、上記判断結果をディスプレイ装置２００に伝達してディスプレイ装置２００の第２制御部２３０が判断結果に基づいてディスプレイ装置２００を制御する制御命令を生成するようにしてもよい。

図２で上述した通り、制御部１３０は、実施例によって、制御命令を生成する際に、遠隔制御装置１００内のメモリー装置に保存されたり、又は遠隔制御装置１００が無線通信網を介してアクセスできる制御情報データベースを参照してもよい。

本開示の実施例において、遠隔制御装置１００は報知部１４０をさらに備えている。

報知部は、遠隔制御装置１００の第１状況判断部１２０又はディスプレイ装置２００の第２状況判断部２２０で判断されたユーザーの現在状態に相応する所定の報知信号を出力する機能を果たす。

言い換えると、状況判断部１２０，２２０によってユーザーの状況が判断された後、その判断結果に基づいてディスプレイ装置２００が制御される時、それをユーザーにあらかじめ知らせることで、ユーザーにディスプレイ装置２００を介して新しいサービスが提供されることを知らせる。

これにより、ユーザーが遠隔制御装置１００の入力部１５０を操作してディスプレイ装置２００の制御に必要なユーザー命令を入力するように要請することができる。

報知部１４０は、本開示の実施例において、外部に光を出力する発光モジュール１４１、遠隔制御装置１００を振動させる振動発生モジュール１４２及びサウンドを出力する音響出力モジュール１４３のうち少なくとも一つを備えてもよい。

発光モジュール１４１は、制御部１３０，２３０から伝達される発光制御命令に応じて発光体を発光させ、所定の光を外部に出力する。

発光モジュール１４１は、遠隔制御装置１００の外面に取り付けられたフィラメントを使用する電球、又は電界発光効果を利用する発光ダイオード（ＬＥＤ、ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）のような発光体と、発光体を制御する回路と、を備えている。

本開示の実施例によれば、発光モジュール１４１はまた、状況情報に基づく判断結果に従って別々の色やエネルギーの光を出力したり、別々のパターンで光を出力してもよい。例えば、判断結果に従って、出力される光の光源色や出力される光の点滅周期を別々にしてもよい。また、それぞれの判断結果に従って、光が表示されるパターンを別々にしてもよい。例えば、初期には赤色光を点滅させ、一定時間が経過すると黄色光を点滅させるなどのパターンを別々にしたり、又は時間の経過に従って光が表示されるパターンを変えたりしてもよい。

したがって、ユーザーは、発光モジュール１４１から光が出力される形態やパターンから、遠隔制御装置１００やディスプレイ装置２００がどのような判断結果を生成したか、ディスプレイ装置２００がどのように制御されるかが直観的にわかる。

本開示の実施例において、遠隔制御装置１００は、発光部１４１の動作によって遠隔制御装置１００の全体又は一部の色そのものが変更されてもよい。

本開示の実施例によれば、遠隔制御装置１００のハウジングはその全部又は一部が透明又は半透明な素材で作られて光を透過させるようになっており、ハウジングの全部又は一部の下部には発光モジュール１４１が配置されていてもよい。この場合、発光モジュール１４１から出力される光量や光源色が変更すると、それに応じて遠隔制御装置１００の全部又は一部の色も変更されることとなる。

本開示の実施例によって、発光モジュール１４１は遠隔制御装置１００の状態に従って別々の色を表示してもよい。

遠隔制御装置１００が駆動していないか、遠隔制御装置１００やディスプレイ装置２００などから所定の制御命令が伝達されていないデフォルト（ｄｅｆａｕｌｔ）状態では、発光モジュール１４１は灰色又は黒色の光を出力したり又はいかなる光も出力せず、遠隔制御装置１００が灰色又は黒色に見えるようにしてもよい。

もし、遠隔制御装置１００やディスプレイ装置２００などから所定の制御命令が伝達されると、発光モジュール１４１は、例えば彩度、明度が高くない淡い色を出力し、遠隔制御装置１００が一般の場合とは異なる色に変更されるようにしてもよい。このような色の変更は、一回に限らず、一定のパターンにしたがって変更されてもよい。また、変更される色はランダムに選択されてもよい。

そして、このように遠隔制御装置１００が別の色に変更されてから所定時間の後、例えば３〜４秒の後にディスプレイ装置２００の制御が始まってもよい。

なお、ディスプレイ装置２００の制御が始まった後に、遠隔制御装置１００の発光モジュール１４１は、本開示の実施例によれば、ディスプレイ装置２００の制御が終了するまで同じ色の光を続けて出力すればよい。したがって、ディスプレイ装置２００が持続して制御される以上、遠隔制御装置１００はそれに相応する色を維持することとなる。

本開示の実施例によれば、ディスプレイ装置２００の制御が始まると同時に、又は制御が始まって所定の時間が経過した後に、遠隔制御装置１００の発光モジュール１４１は再び灰色又は黒色の光を出力したり光の出力を中断したりしてもよい。すると、上述したようなデフォルト状態に切り替わり、遠隔制御装置１００は灰色又は黒色になる。

これにより、ユーザーは、遠隔制御装置１００の色の変化から、遠隔制御装置１００やディスプレイ装置２００がどのような判断結果を生成したか、ディスプレイ装置２００がどのように制御されるかが直観的にわかる。

振動発生モジュール１４２は、状況情報に基づく判断結果によって遠隔制御装置１００に振動を発生させる。

このような振動発生モジュール１４２は、例えば、遠隔制御装置１００内に設置された振動モーターを用いて遠隔制御装置１００を振動させることがある。

本開示の実施例によって、判断結果に従って、振動の強度を別々にしたり、又は遠隔制御装置１００を振動させるパターンを別々にすることで、どのような判断結果が生成されたか、ディスプレイ装置２００がどのように制御されるかをユーザーに知らせる。

一方、音響出力モジュール１４３は、状況情報に基づく判断結果に従って所定のサウンド、音楽又は録音された音声などを出力してユーザーに知らせる。

本開示の実施例において、音響出力モジュール１４３は、音響出力制御命令を第１制御部１３０などから受信し、制御命令に応じて、遠隔制御装置１００のメモリー装置などに保存された各種の音響データ、例えば、音声データ、音楽データ、各種サウンドデータのうち少なくとも一つを選択し、それを出力手段、例えばスピーカーなどから出力させる。

上述したように、ユーザーは、出力される音声、音楽又はサウンドなどから、どのような判断結果が生成されたか、ディスプレイ装置２００がどのように制御されるかをあらかじめわかる。

本開示の実施例において、遠隔制御装置１００は、ユーザーの操作によりユーザー命令を入力してもらい、それに相応する制御命令を生成して伝達する入力部１５０を備えている。

入力部１５０は、例えば、図４Ｂに示すように、遠隔制御装置１００の外面に配置された複数のボタン１５０ａ、又は仮想のボタンが表示されるタッチスクリーンを有しており、これを介してユーザーから命令を入力してもらう。

本開示の実施例によれば、報知部１４０が所定の報知信号を出力した後、入力部１５０は報知信号に対応するユーザー命令をユーザーに入力してもらう。言い換えると、報知信号の出力後、入力部１５０は、報知信号に対応するユーザーからの命令を入力してもらうための待機状態に切り替わり、ユーザーが入力部１５０の複数のボタン１５０ａやタッチスクリーンを定められた方式で操作すると、入力部１５０はそれに相応する入力命令を生成する。そして、生成された入力命令を制御部１４０又はディスプレイ装置２００に伝達し、制御部１４０又はディスプレイ装置２００が次の動作を行うようにする。

勿論、本開示の実施例によれば、入力部１４０がユーザーに命令を入力してもらわなくとも、ディスプレイ装置２００があらかじめ定められた動作を行うように制御されてもよい。

上述したような遠隔制御装置１００の一例が図４Ｂに示されている。

図４Ｂは、本開示の実施例に係る遠隔制御装置の正面図である。

図４Ｂを参照すると、本開示の実施例において、遠隔制御装置１００は、ディスプレイ装置２００を制御できるリモコン１００ａであってよい。

ここで、リモコン１００は、本開示の実施例において、上述した通り、第１情報収集部１１０、例えば光を感知する光センサー１１２ａと、報知部１４０、例えば外部に所定の光を出力してユーザーに表示するＬＥＤモジュール１４１ａと、を備えている。なお、リモコン１００ａは、ディスプレイ装置２００に制御命令を伝送するために、伝送部、例えば赤外線照射部１３１を備えている。また、ユーザーに所定の命令を入力してもらうための複数のボタン１５０ａが外面に配置されている。

上述した通り、本開示の実施例において、リモコン１００ａは、光センサー１１２ａを用いて周辺の照度を測定して状況情報を得、これを遠隔制御装置１００やディスプレイ装置２００の状況判断部１１０，２１０に伝達する。すると、遠隔制御装置１００やディスプレイ装置２００は、収集された状況情報に基づいて判断結果を生成し、判断結果に基づいてリモコン１００ａのＬＥＤモジュール１４１ａが所定のパターンで所定の色の光を出力してユーザーに知らせる。

その後、リモコン１００ａの複数のボタン１５０ａのいずれかをユーザーが押すと、リモコン１００ａの入力部により所定の制御命令が生成され、この命令は赤外線照射部１３１を介してディスプレイ装置２００に伝送される。そして、ディスプレイ装置２００は、伝送されてきた制御命令に相応する動作を行う。

以下、本開示の実施例において、ディスプレイ装置、遠隔制御装置及びサーバーを含むシステムについて説明する。

図５は、本開示の実施例に係るディスプレイ装置、遠隔制御装置及びサーバーを含むシステムの構成図であり、図６は、本開示の実施例に係るディスプレイ装置、遠隔制御装置及びサーバーのブロック図である。

図５及び図６に示すように、本開示の実施例においてサーバー３００がさらに備えられてもよい。

サーバー３００は、遠隔制御装置１００やディスプレイ装置２００から収集された状況情報を受信し、状況情報から現在の状況を判断し、それに相応する制御命令を生成する。

本開示の実施例によれば、サーバー３００は、図６に示すように、状況判断部３１０（以下、区別のために「第３状況判断部」という）、制御部３２０（以下、区別のために「第３制御部」という）、保存部３３０及びアップデート部３４０を備えている。

この場合、図６を参照すると、遠隔制御装置１００及びディスプレイ装置２００の少なくとも一方が情報収集部１１０，２１０で外部の状況に関する状況情報ａ１，ａ２を収集すると、収集された情報はサーバー３００に有無線通信網を介して伝送される。

すると、第３状況判断部３１０は、収集された状況情報を用いて状況を判断し、判断結果を第３制御部３２０に伝達する。第３制御部３２０は、判断結果に基づいて相応の制御命令を生成して遠隔制御装置１００及びディスプレイ装置２００の少なくとも一方に制御命令を伝送する。

本開示の実施例によれば、遠隔制御装置１００には報知部１４０を制御するための制御命令ｍを、ディスプレイ装置２００にはディスプレイ部２２０やプロジェクトモジュール２３０を制御するための制御命令ｎを伝送してもよい。言い換えると、サーバー３００から遠隔制御装置１００やディスプレイ装置２００に伝送される制御命令が互いに異なってもよい。

その他、遠隔制御装置１００、ディスプレイ装置２００又はサーバー３００の他の構成要素は、上に詳述したのと実質的に同一である。ただし、それぞれの構成要素を備える装置の特性によって一部変形された機能を行うことはある。

以下、図７乃至図１１を参照して、本開示の実施例において状況ベースのディスプレイ装置の制御方法について説明する。

図７は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。

図７に示すように、本開示の実施例によれば、状況ベースのディスプレイ装置の制御方法は、状況情報を収集する段階（Ｓ４００）、収集された状況情報に基づいてユーザーの現在状態を判断する段階（Ｓ４１０）、遠隔制御装置１００が判断結果に基づいて報知信号を出力する段階（Ｓ４２０）、及びディスプレイ装置２００をユーザーの現在状態に基づいて制御する段階（Ｓ４３０）と、を有する。

本開示の実施例によれば、状況情報を収集する段階（Ｓ４００）では、遠隔制御装置１００やディスプレイ装置２００が情報収集部１１０，２１０を用いてユーザーなどの身体状態や周辺環境に関する状況情報を収集する。

例えば、遠隔制御装置１００又はディスプレイ装置２００の各種センサーなどを用いて、ディスプレイ装置２００から一定距離以上離れて位置している遠距離ユーザーの表情、視線又はユーザーの音声などを認識することで、遠距離のユーザーの生体や音色を認識したり、又はユーザーの動きや遠隔制御装置１００などにユーザーにより加えられる圧力などを感知したりするなどの様々な方法により状況情報を確保する。

遠隔制御装置１００及びディスプレイ装置２００の情報収集部１１０，２１０は、状況情報を、ユーザーがディスプレイ装置２００を使用する間に収集してもよく、使用しない間に収集してもよい。このようなユーザー及び周辺環境に関する状況情報の収集は、持続的に、一定の周期で、又は任意に行われる。

そして、収集された状況情報に基づいてユーザーの現在状態を判断する（Ｓ４１０）。

この場合、あらかじめ保存された判断情報データベース２２１を閲覧し、収集された状況情報にマッチングする情報を検索することで現在状態を判断してもよく、又はあらかじめ保存された状況判断アルゴリズムに状況情報を代入することでユーザーの現在状態を判断してもよい。

これで、最終的にユーザーの感情、生体状態が判断される。

本開示の実施例においてユーザーの感情状態や周辺環境を判断する過程について説明する。

ユーザーの感情状態を判断するために、まず、遠隔制御装置１００やディスプレイ装置２００のカメラ及び顔認識部１１７，２１６を用いてユーザーの表情を認識し、さらに音響センサー１１３，２１３、例えばマイクロフォンを用いてユーザーの声を収集した後、収集された状況情報に基づいてユーザーの感情状態を判断して判断結果を生成する。ここで、判断結果は、ユーザーの様々な感情を意味し、例えば、喜び、憂鬱、怒り、その他のように一定の範ちゅうに分類して生成されてもよい。

また、睡眠／非睡眠を探知するために、まず、遠隔制御装置１００やディスプレイ装置２００の生体信号センサー１１１，２１１、温度センサー１１５，２１５、カメラ２７０などを用いてユーザーの状態及び周辺環境に関する状況情報を得て、該情報からユーザーの睡眠／非睡眠状態を判断することもある。この場合、睡眠／非睡眠状態の判断の正確度を上げるために、光センサー２１２を用いて判断された周辺の照度データ、又は制御部１３０，２３０などから出力される時刻（ｔｉｍｅ）情報をさらに用いてもよい。

このようにして状況が判断されると、遠隔制御装置１００が判断結果に基づいて報知信号を出力する（Ｓ４２０）。

報知信号は、遠隔制御装置１００の発光モジュール１４１から出力される光、振動モジュール１４１による遠隔制御装置１００の振動、又は音響出力モジュール１４３から出力される各種の音声、サウンド又は音楽などでよい。

また、このような報知信号は、上述した通り、遠隔制御装置１００自体の色が変更することからユーザーに表示されてもよい。すなわち、その全部又は一部が透明又は半透明な素材で作られて光を透過させるハウジングを備えた遠隔制御装置１００において、ハウジングの全部又は一部の下部では発光モジュール１４１が所定の光を出力し、遠隔制御装置１００の全部又は一部の色を変更させてもよい。これで、ユーザーは遠隔制御装置１００の全部又は一部の色の変更を感知する。

報知信号が出力された後、ディスプレイ装置２００がユーザーの現在状態に基づいて制御される（Ｓ４３０）。

例えば、ディスプレイ装置２００からスポーツなどを視聴しながらユーザーが興奮したり又は喜んでいる場合、それに関する状況情報が収集され、ユーザーの状態が、例えば喜びと判断され、ディスプレイ装置２００のカメラ２７０が、喜んでいるユーザーの映像を撮影し、この撮影データを保存部２５０に保存するように制御されることがある。この場合、当時のディスプレイ装置２００から表示されていた映像とユーザーの映像とを結合してピクチャーインピクチャー（ＰＩＰ、ｐｉｃｔｕｒｅ ｉｎ ｐｉｃｔｕｒｅ）方式で表示されるようにしてもよい。

仮にユーザーが退屈していると、当該ディスプレイ装置のカメラにより撮影された映像やピクチャーインピクチャー方式で編集された映像を表示するように制御してもよい。このとき、撮影されたユーザーの映像が多い場合は、それぞれのユーザー映像からサムネール（ｔｈｕｍｂｎａｉｌ）イメージを抽出し、それらを一定に配列してディスプレイ装置の画面上に表示するようにしてもよい。

仮に、ユーザーがディスプレイ装置２００から映画やドラマのような映像コンテンツを視聴しながら退屈していると、ディスプレイ装置２００の画面２４０上に表示される映像に関する各種の映像関連情報、例えば主人公情報、視聴率、関連検索語、背景情報などがディスプレイ装置の一定の位置に表示されるように制御してもよい。この場合、各種の映像関連情報の表示に先駆けて、ユーザーから選択命令を入力してもらえるように、例えば選択ボタンをユーザーの画面に表示させてもよい。また、ログ情報によってユーザーが最初に再生されるコンテンツを視聴したり、又は複数回視聴する場合にも、同様の動作が行われるように制御してもよい。

また、ユーザーがディスプレイ装置２００から同一の映像コンテンツを複数回、例えば３回以上視聴した場合には、ディスプレイ装置２００が表示する映像を自動で保存するように制御してもよい。

以下、上述したような状況ベースのディスプレイ装置の制御方法の様々な例について説明する。

図８は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。

図８に示す本開示の実施例に係る状況ベースのディスプレイ装置の制御方法は、下記の通りである。

遠隔制御装置１００又はディスプレイ装置２００が、状況ベースのディスプレイ装置の制御方法のための待機モードで作動する（Ｓ５００）。勿論、この時、ディスプレイ装置２００は所定の映像コンテンツを表示してもよく、遠隔制御装置１００はユーザーの操作によりディスプレイ装置２００を制御してディスプレイ装置２００のチャンネルを変更させたり、音量を調節したりしてもよい。

例えば、ユーザーの脈拍や分当たり呼吸数が変化したり、部屋内の照度が高くなったり低くなったりするなどのようにユーザーの行動又は周辺環境が変化したり、所定の映像コンテンツが再生し始まったり、又はユーザーが、遠隔制御装置１００又はディスプレイ装置２００が状況情報を収集するように、遠隔制御装置１００又はディスプレイ装置２００の入力ボタンを操作したりする（Ｓ５１０）。

すると、遠隔制御装置１００又はディスプレイ装置２００が状況情報を収集し始める（Ｓ５２０）。すなわち、ユーザーの脈拍や呼吸数が変化したり、所定の映像コンテンツが再生されたり、又はユーザーが状況情報収集命令を入力したりすると、遠隔制御装置１００又はディスプレイ装置２００の情報収集部１１０，２１０が動作を始め、状況情報を収集する。

本開示の実施例によっては、遠隔制御装置１００又はディスプレイ装置２００がユーザーの行動や操作、周辺の環境の変化などによらず、状況情報を持続して収集することもある。この場合には、状況ベースのディスプレイ装置の制御方法のための待機モードが省かれてもよい。

状況情報が収集されると、遠隔制御装置１００の第１制御部１３０は、遠隔制御装置１００又はディスプレイ装置２００が収集した状況情報を、判断情報データベースのそれぞれの判断情報と比較し（Ｓ５３０）、収集された状況情報に相応する判断情報が存在するか否か確認する。

もし収集された状況情報に相応する判断情報が存在しないと、遠隔制御装置１００は、再び待機モード（Ｓ５００）に切り替わってもよく、又は持続してユーザーの行動や周辺環境に関する状況情報を収集してもよい（Ｓ５２０）。

もし収集された状況情報に相応する判断情報が存在すると、それに基づいてユーザーの現在状態、例えば喜び、幸福、憂欝、悲しみ、退屈さ、怒り、恐ろしさのような状態を判断する（Ｓ５３２）。

この判断結果に基づいて遠隔制御装置１００の第１制御部１３０は所定の制御命令を生成する。ここで、所定の制御命令は報知部１４０を制御するための制御命令である。

遠隔制御装置は、報知部１４０を制御するための制御命令に応じて報知信号を出力する。例えば、発光モジュール１４１から光を出力したり、又はスピーカーのような音響モジュール１４３から音声、サウンドを出力したりする。また、上述した通り、遠隔制御装置１００の全部又は一部の色が変更するようにしてもよい。

そして、ディスプレイ装置２００に判断結果を伝送するか否かを決定する。仮にディスプレイ装置２００内の第２制御部２３０が判断結果に基づいてディスプレイ装置２００を制御する制御命令を生成する場合では、制御命令の生成のために判断結果をディスプレイ装置２００に伝送する必要がある。この時、ブルートゥースやＷｉ−Ｆｉのような各種の無線通信網を介して伝送すればよい。

以降、遠隔制御装置１００は、判断結果に相応する制御命令を生成する。

本開示の実施例によって、遠隔制御装置１００は、報知部１４０により報知信号が出力された後に、入力部１５０を介してユーザーにユーザー命令を入力してもらうことがある。

ユーザーは、報知信号から、ディスプレイ装置２００が別の制御命令に応じて制御されてもよいことがわかる。言い換えると、ディスプレイ装置２００を用いて提供されるサービスが存在するということを認識するようになる。

その後、ユーザーは、サービスを受けるか否か、すなわち、ディスプレイ装置２００が制御情報データベース２３１に基づいて定められた動作によって駆動することを希望するか否か、どのようにディスプレイ装置２００が動作すればよいか、又は複数の予定された動作のうちどのような動作が選択されて行われるかなどを決定する。

そのため、ユーザーが遠隔制御装置１００を操作、例えば所定のボタン１５０ａを押すと、当該ユーザーの操作に応じて遠隔制御装置１００の第１制御部１３０が制御命令を生成する。

本開示の実施例によっては、ユーザーにいかなる命令も入力してもらわないで報知信号が出力されるとともに、報知信号が出力される前に又は報知信号が出力されて若干の時間が経過した後に、自動で制御命令が生成されてもよい。

仮に制御命令を生成しない場合、例えば、ディスプレイ装置２００やサーバー３００の制御部２３０，３２０によってすべての制御命令が生成される場合には、遠隔制御装置１００による動作は終了する（Ｓ５６０）。

もし制御命令を生成する場合（Ｓ５６０）には、判断結果に基づくユーザーの現在状態に相応する制御命令を生成する。これは、上述した通り、ディスプレイ装置２００の動作を制御するための制御命令である。この制御命令は、例えば、ユーザーなどの映像を撮影するようにディスプレイ装置２００のカメラ２７０を操作する制御命令であってもよく、投射面にビームを投射して所定の映像を生成するためにビームプロジェクトモジュール２８０を操作する制御命令であってもよい（Ｓ５６１）。

このように隔制御装置１００によって生成された制御命令はディスプレイ装置２００に伝送され（Ｓ５７０）、該制御命令に応じてディスプレイ装置２００が動作する（Ｓ５８０）。

図９は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。

図９に示す状況ベースのディスプレイ装置の制御方法の実施例は、次の通りである。

遠隔制御装置１００及びディスプレイ装置２００が待機モード（Ｓ６００）にある時、ユーザーの行動又は周辺環境が変化すると（Ｓ６１０）、遠隔制御装置１００及び／又はディスプレイ装置２００がユーザーの行動や周辺状況を感知して状況情報を収集する（Ｓ６２０）。

その後、遠隔制御装置１００は、収集した状況情報をディスプレイ装置２００に、ブルートゥース^ＴＭ、Ｗｉ−Ｆｉ又は３ＧＰＰ、３ＧＰＰ２又はＷｉＭＡＸ系列などの各種の移動通信標準を用いる無線通信網などを介して伝送する（Ｓ６３０）。

ディスプレイ装置２００は、遠隔制御装置１００で収集した状況情報を用いてユーザーの現在の状況を判断する。

本開示の実施例によれば、ディスプレイ装置２００は、遠隔制御装置１００で収集した状況情報の他、ディスプレイ装置２００の第２情報収集部２１０で収集した状況情報を用いてもよい。言い換えると、遠隔制御装置１００が収集した状況情報とディスプレイ装置２００が収集した状況情報とを併せて利用してもよく、遠隔制御装置１００又はディスプレイ装置２００のいずれか一方で収集した状況情報のみを選択的に利用してもよい。

本開示の実施例において、ディスプレイ装置２００は、判断情報データベース２２１を参照し、判断情報データベースの判断情報と収集された状況情報とを比較して現在の状況を判断してもよい（Ｓ６４０）。

この場合、仮に、収集した状況情報に相応する判断情報が判断情報データベース２２１に存在すると、それに基づいてユーザーの現在状態を判断する（Ｓ６４１、Ｓ６４２）。収集した状況情報に相応する判断情報が検出されないと、遠隔制御装置１００やディスプレイ装置２００は、状況情報に基づく制御命令の生成のための待機モードに切り替わればよい。

ユーザーの現在状態が判断された後、ディスプレイ装置２００の第２制御部２３０は、判断結果に基づいて報知信号を出力する制御命令を遠隔制御装置１００に伝達する。この時、制御命令は、ブルートゥース^ＴＭ、Ｗｉ−Ｆｉ、３ＧＰＰ、３ＧＰＰ２又はＷｉＭＡＸ系列などの各種の移動通信標準を用いる無線通信網などを介して伝送されてもよい。すると、遠隔制御装置１００は、報知信号を出力する制御命令に応じて報知信号を出力する（Ｓ６５０）。

そして、ディスプレイ装置２００の第２制御部２３０は、ユーザーの現在状態に相応する、ディスプレイ装置２００を制御する制御命令を生成する（Ｓ６６０）。

本開示の実施例によれば、このような制御命令は、遠隔制御装置１００がＬＥＤモジュールのような発光モジュール１４１などの報知部１４０から報知信号を出力する前又は後に、外部から入力されるいかなる命令もなしに順次生成されてもよい。

本開示の実施例によれば、遠隔制御装置１００は、報知部１４０から報知信号を出力し、ユーザーに遠隔制御装置１００の入力部１５０を介してユーザー命令を入力してもらった後、該ユーザー命令に基づいて制御命令を生成してもよい。

例えば、遠隔制御装置１００のＬＥＤモジュールが所定のパターンで発光しながら、同時に又は順次にユーザーに出力される音声又はディスプレイ装置２００の画面に表示される文字などを用いて、ディスプレイ装置２００が制御情報データベース２３１により定められた動作によって駆動することを希望するか、すなわち、サービスを提供してもらいたいか否かを尋ねることがある。このとき、ユーザーは遠隔制御装置１００のボタン１５０ａを操作し、ディスプレイ装置２００からサービスを提供してもらいたいか否か、又はサービス提供中にディスプレイ装置２００の一部がどのように駆動すればよいかを決定してもよい。

そして、ディスプレイ装置２００は、ディスプレイ装置２００により自動で、又はユーザーの遠隔制御装置１００の操作によって生成された制御命令に基づいて制御される。例えば、ディスプレイ装置２００がユーザーなどを撮影して映像を生成したり、画面上にピクチャーインピクチャー方式で従来撮影された映像と再生されていた映像とを共に表示するように制御されることがある。または、ディスプレイ装置２００のビームプロジェクトモジュールが駆動されるように制御されることもある（Ｓ６７０）。

図１０は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。

図１０に示す状況ベースのディスプレイ装置の制御方法の実施例は、下記の通りである。

まず、上述したように、遠隔制御装置１００又はディスプレイ装置２００がユーザーの行動、状況を感知して状況情報を収集する（Ｓ７００）。

そして、遠隔制御装置１００又はディスプレイ装置２００により収集された状況情報が有無線通信網を介して、図５に示したサーバー３００に伝送される（Ｓ７１０）。

すると、サーバー３００が遠隔制御装置１００又はディスプレイ装置２００により収集された状況情報を用いて現在の状況を判断する。この場合、本開示の実施例によれば、サーバー３００内に構築されたり、又はサーバー３００と有無線通信網を介して接続された外部の判断情報データベース２２１を閲覧し、状況情報と判断情報とを比較し、収集された状況情報に相応する判断情報を読み出す（Ｓ７２０、Ｓ７２１）。

そして、読み出された判断情報に基づいてユーザーの現在状態を判断し、判断結果情報を生成する（Ｓ７２２）。

サーバー３００は、判断結果を遠隔制御装置１００に伝送し（Ｓ７３０）、遠隔制御装置１００は、 判断結果を受信し、受信した判断結果に相応する報知信号を出力する（Ｓ７３１）。

本開示の実施例によって、サーバー３００は、判断結果を遠隔制御装置１００に伝送すると同時に、又は判断結果を遠隔制御装置１００に伝送した後に、順次にディスプレイ装置２００に判断結果を伝送してもよい（Ｓ７４０、Ｓ７４１）。

もし判断結果がディスプレイ装置２００に伝送される場合（Ｓ７４０で「はい」の場合）には、ディスプレイ装置２００で判断結果に基づいて制御命令を生成する。この場合にはサーバー３００が制御命令を生成しなくて済む（Ｓ７５０の「いいえ」の場合）。このとき、ディスプレイ装置２００の第２制御部２３０は、図９の動作Ｓ６６０のように、ユーザーの現在状態に相応する制御命令を生成してディスプレイ装置２００を制御する。

もし判断結果がディスプレイ装置２００に伝送されない場合（Ｓ７４０で「いいえ」の場合、Ｓ７５０で「はい」の場合）には、サーバー３００は、判断結果に基づいて制御命令を生成する（Ｓ７５１）。本開示の実施例によって、サーバー３００内に構築されたり、又はサーバー３００と有無線通信網で接続された外部の制御情報データベース２３１が、制御命令の生成のために参照されてもよい。

その後、生成された制御命令をディスプレイ装置２００に伝送し（Ｓ７５２）、ディスプレイ装置２００は、サーバー３００で生成された制御命令に基づいてユーザーにサービスを提供するように制御される（Ｓ７６０）。

図１１は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法を示すフローチャートである。

図１１に示す状況ベースのディスプレイ装置の制御方法の実施例は、下記の通りである。

図１１を参照すると、本開示の実施例において、ディスプレイ装置２００の第２情報収集部２１０のみが状況情報を収集する（Ｓ８００）。例えば、ディスプレイ装置２００における第２情報収集部２１０のうち顔認識部２１６が、ディスプレイ装置２００の前にいるユーザーの顔から顔情報や表情情報を獲得する。

すると、ディスプレイ装置２００は、例えば判断情報データベース２２１の判断情報と収集された状況情報、例えば顔情報や表情情報とを比較する（Ｓ８１０）。

もし、収集された状況情報に相応する判断情報が判断情報データベース２２１に存在すると（Ｓ８２０）、該判断情報に基づいてユーザーの現在状態を判断する（Ｓ８３０）。

続いて、ディスプレイ装置は、現在状態に相応する遠隔制御装置１００への制御命令とディスプレイ装置２００への制御命令を生成する（Ｓ８４０）。

遠隔制御装置１００への制御命令は、遠隔制御装置１００の報知部１４０を制御するための制御命令であって、遠隔制御装置１００に伝送され、遠隔制御装置は、当該制御命令に応じてユーザーの現在状態に相応する報知信号を出力する（Ｓ８５０）。

そして、ディスプレイ装置２００への制御命令に基づいてディスプレイ装置２００が制御される。例えば、ユーザーの表情情報による判断の結果、ユーザーの表情が笑う表情と判断されると、ディスプレイ装置２００が、カメラから入力されるユーザーの顔映像のうち、いずれか一瞬間の映像又は一定の時間の間に入力される映像を保存し、それを映像処理してユーザーの顔に対する映像ファイルを生成することで、ユーザーの顔を撮影することがある。

以下、図１２乃至図１５を参照して、状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御されることからユーザーに提供されるサービスの様々な実施例について説明する。

図１２は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御される方法を説明するための図である。

ユーザーがディスプレイ画面Ｐ１からスポーツやドラマのような映像を視聴している（図１２（ａ））。この場合、遠隔制御装置１００及びディスプレイ装置２００は情報収集部１１０，２１０を用いて状況を収集していてもよい。

もし、図１２（ｂ）に示すようにユーザーが興奮すると、生体信号センサー１１１，２１１を介してユーザーの脈拍や呼吸のような生体情報を収集し、音響センサー１１３などを介してユーザーの叫ぶ声を感知して音響情報を収集し、光センサー１１２を介してユーザーの行動を感知することによって、ユーザーの行動情報を収集する。

そして、状況判断部１２０，２２０又は３１０が、収集された情報に基づいて、ユーザーが興奮していると判断すると、まず、遠隔制御装置１００が報知信号を出力し、ユーザーによる遠隔制御装置１００の操作後に又は遠隔制御装置１００の操作なしにディスプレイ装置のカメラ２７０を駆動させてユーザーの姿に対する動画を撮影する。撮影された動画は保存部２５０に保存される。

その後、一定の状況下で、再生される映像Ｐ１の下端に選択ボタンが表示される（図１２（ｃ））。

ここで、一定の状況は、動画が撮影されてから一定の時間が経過した後であるか、又は、同一の映像コンテンツ又は同一のジャンルの映像コンテンツを視聴する場合のように、あらかじめ保存された設定に従えばよい。

なお、一定の状況は、上述したように、第１状況判断部１２０が収集された状況に基づいて判断した結果、録画された映像をユーザーが再び視聴したいかもしれない状況、例えば、ユーザーが落ち込んでいたり元気がないと判断された状況であってもよい。このような状況の判断のために、上述したような状況ベースのディスプレイ装置の制御方法が行われてもよい。この場合に生成されるディスプレイ装置２００への制御命令は、再生される映像Ｐ１の下端に選択ボタンを表示させるものでよい。

その後、ユーザーによる遠隔制御装置１００の操作により、保存された動画Ｐ２をピクチャーインピクチャー方式で、現在再生される映像コンテンツＰ１と共に表示する。この場合、当時に再生されていた映像に関する情報、例えばプログラムガイド情報が同時に字幕として表示されてもよい（図１２（ｄ））。

このように、本開示は、ディスプレイ装置２００を制御してユーザーの感性を誘発できるサービスを提供できるため、ユーザーは、一定時間が経過した後、又は、気分によって、スポーツやドラマを視聴した昔の自身の姿を見ることができ、スポーツやドラマを視聴していた当時の記憶を思い出しながら肯定的な情緒を感じ、感傷に浸れることとなる。

図１３は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御される方法を説明するための図である。

図１３を参照すると、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によれば、ユーザーがＴＶから動画コンテンツＰ１を視聴する途中（図１３（ａ））、状況判断部１２０，２２０，３１０がユーザーの視聴している動画コンテンツＰ１を、既にユーザーが反復して視聴した動画コンテンツと判断すると、再生される動画コンテンツのプログラムガイド情報と視聴時間を共に保存してもよい。

以降、ユーザーの選択などにより、保存されたコンテンツのタイトルがディスプレイ装置２００の画面に表示されることがある（Ｐ３）。この場合、コンテンツのタイトルは、ユーザーが視聴した回数や視聴頻度などによってその大きさが異なるように表示されてもよい。例えば、視聴回数や視聴頻度が大きい場合はタイトルの大きさを大きくし、視聴回数や視聴頻度が低い場合はタイトルの大きさを小さくしてもよい（図１３（ｂ））。

この時、ユーザーは遠隔制御装置１００を操作していずれか一つのタイトルを選択し、ディスプレイ装置２００は、選択されたタイトルに相応する動画をディスプレイ画面に再生することによって、ユーザーの視聴頻度が高い動画を速かにユーザーに提供することができる。

図１４は、本開示の実施例に係る状況ベースのディスプレイ装置の制御方法によってディスプレイ装置が制御される方法を説明するための図である。

図１４に示すように、夜、ユーザーが寝ようとしてもよく眠れない場合がある。

このとき、本開示の実施例によって遠隔制御装置１００又はディスプレイ装置２００は、身体状態に関する状況情報ａ１及び周辺環境に関する状況情報ａ２を収集する。この時、身体状態に関する状況情報ａ１としては、ユーザーが目覚めているものの、動きはほとんどないという情報が収集され、周辺環境に関する状況情報ａ２としては、照度が一定レベル以下であり、時間帯は深夜、例えば零時であり、且つ一定レベル以下の照度で所定の時間、例えば３０分が経過したという情報などが収集されることがある。

この場合、遠隔制御装置１００又はディスプレイ装置２００は、状況情報に基づいて、ユーザーが長時間なかなか寝入れない状態にあると判断し、それに相応する遠隔制御装置１００及びディスプレイ装置２００を制御する制御命令を生成する。この場合、特に、ディスプレイ装置２００を制御する制御命令にはビームプロジェクトモジュール２８０の駆動を制御する制御命令がある。

生成された制御命令に応じて、遠隔制御装置１００は、一定時間報知信号を出力する。この時、発光モジュールを用いて遠隔制御装置１００の一部又は全部を淡い色で発光させてもよい。この場合において、遠隔制御装置１００はユーザーから別の追加命令を入力してもらわなくてもよい。換言すれば、図１１で説明した通り、ユーザーによる遠隔制御装置１００の別の操作無しに自動でディスプレイ装置２００が制御されてもよい。

続いて、ディスプレイ装置２００のビームプロジェクトモジュール２８０が制御命令に応じて投射面、例えば天井にビームを照射して、所定の映像、例えば、図１４に示したような星座や夜空の映像、映画やドラマのような映像コンテンツ、ユーザーに関する過去の映像などを表示する。

すると、ユーザーは、遠隔制御装置１００を左右などに一定の形態で動かしたり、遠隔制御装置１００の入力部１５０を操作したりして、天井などの投射面に投射された映像を動かすことがある。この場合、ユーザーが遠隔制御装置１００をどのように動かしているかを、遠隔制御装置１００の動作センサー１１４を用いて判断すればよい。例えば、ユーザーが遠隔制御装置１００を投射された映像に対して左右や上下に動かしたり回転させたりすると、動作センサー１１４がそれを感知して電気的信号に変換し、この信号に基づいて、遠隔制御装置１００の第１制御部１３０やディスプレイ装置２００の第２制御部２３０は、投射面に投射された映像が遠隔制御装置１３０の動きに相応して変わるようにビームプロジェクトモジュール２８０を制御する。

以降、遠隔制御装置１００又はディスプレイ装置２００の状況収集部１１０，２１０は、ユーザーに関する状況情報を持続的に又は一定の周期で収集し、収集された状況に基づく判断の結果、ユーザーが睡眠状態に入ったと判断されると、再びビームプロジェクトモジュール２８０への制御命令を生成し、ビームプロジェクトモジュール２８０の作動を中止させる。

これにより、夜、ユーザーが夜に寝入れない場合に、ビームプロジェクトモジュール２８０を用いて投射面に星座や過去の映像などを表示し、ユーザーが気持ちよく眠れるようにし、且つ無意味にディスプレイ装置２００、特にビームプロジェクトモジュール２８０が動作することを防止することもできる。

本開示の実施例において、近づいたユーザーの表情を認識してディスプレイ装置２００が映像を撮影するようにしてもよい。これを、図１５を参照して詳しく説明する。

図１５は、本開示の実施例に係る、ユーザーの顔を認識してディスプレイ装置を制御する方法において、顔情報及び表情情報のような状況情報を収集する過程を説明するための図である。

図１５を参照すると、顔情報及び表情情報を獲得する過程は、次の通りである。

本開示の実施例によれば、まず、カメラ２７０にユーザー、特にユーザーの顔が接近する。このとき、ユーザーは複数であってもよい（Ｓ９００）。すると、ディスプレイ装置２００の光センサー２１２が人の接近を認識し、カメラ２７０と顔認識部２１６を駆動させる（Ｓ９１０）。

本開示の実施例によれば、ユーザーの接近を感知することなく、ユーザーの操作によってカメラ２７０及び顔認識部２１６が動作を開始してもよい。

少なくとも一つのユーザーの顔の接近によって、カメラ２７０がユーザーの顔を撮影し、少なくとも一つのユーザーの顔を含む臨時的な映像データを得る（Ｓ９２０）。

続いて、撮影された映像、すなわち生成された映像データから顔を検出する（Ｓ９３０）。本開示の実施例によって、明暗又は皮膚色を識別し、それに対する画素を抽出することで顔の位置している部分を検出してもよく、抽出された画素を組み合わせ、これを複数の人の顔の形態に関するデータと比較し、撮影された映像の中から顔を検出してもよい。

検出された顔から顔の特徴地点、例えば瞳孔、口尻などのような顔の特徴地点を検出する（Ｓ９４０）。この場合、特徴地点の形態に基づいて、顔から特徴地点を検出してもよい。

そして、顔の特徴地点の位置を、あらかじめ保存されたユーザー又は一般人の顔に関するデータと比較し、誰の顔か、又はどんな表情をしているかを判断及び分析し（Ｓ９５０）、その判断結果に基づいて顔情報及び表情情報を生成する（Ｓ９６０）。

このように生成された顔情報及び表情情報に基づいて、例えば、第２状況判断部２１０が、ユーザーが笑っていると判断すると、その判断結果に基づいて第２制御部２２０はカメラ２７０を制御してユーザーを撮影し、撮影から得られたデータを映像ファイルに変換して別の保存空間に保存することができる。

図示してはいないが、本開示の実施例によっては、状況判断の結果に基づいて遠隔制御装置１００が所定の報知信号を出力し、同時にディスプレイ装置２００の画面下端に、プログラムに関する情報を表示するようにディスプレイ装置を制御してもよい。この場合、画面下端に表示される情報はウェブを介して収集された関連情報であってもよく、映像と共に伝送されるプログラムガイド情報であってもよい。

これにより、ユーザーは、状況に基づいてディスプレイ装置２００を制御することによって提供される様々なサービスを介して様々なユーザー経験ができる。なお、このようなサービスは、一つのディスプレイ装置２００で一種のみ提供されるのではなく、複数の種類が提供されてもよい。なお、ユーザーがディスプレイ装置２００を使用した期間や頻度に従って別々のサービスが提供されてもよい。

例えば、初期にはユーザーの行動を録画して動画を生成したり、ユーザーが映像コンテンツを視聴する頻度や時間などを記録するようにディスプレイ装置２００が制御される。また、この時期において深夜にユーザーがよく眠れないとき、上述したように、星座などが天井に表示されるように制御されてもよい。

初期が過ぎると、録画されたユーザーの行動が再生されたり、又は再視聴するプログラムに関する各種情報、例えばプログラムガイド情報や視聴率情報などが提供されるようにしてもよい。

本開示の実施例において、上記のようにディスプレイ装置２００が制御された内容や状況判断結果は別途に記録されてもよく、一定期間、例えば９９日が経過するとユーザーがそれを任意に閲覧できるようにしてもよい。このとき、記録された内容はダイアリー形態のユーザーインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）の形態でディスプレイ画面に表示されてもよく、これにより、ユーザーは、日記帳のような感じで自身の感情とそれに基づいてディスプレイ装置２００がどのように制御されたかがわかる。

以上説明した通り、本開示によれば、ディスプレイ装置を制御してサービスを提供するにあって、ユーザーの状態に応じてユーザーが予期せぬ状況で、必要によっては任意に、すなわちランダムにユーザーにサービスを提供することができる。すると、ユーザーは思わぬ瞬間にサービスを受けるから、感情的に一層刺激されることとなり、よって、ユーザーはディスプレイ装置などを介して肯定的な情緒的効果を得ることが可能になる。

以上説明された実施例は、プログラム命令を含むコンピュータ読取可能媒体に記録され、コンピュータにより実施される様々な動作を具現するよい。該媒体は、データファイル又はデータ構造などを単独で又はプログラム命令との組み合せで含んでもよい。該媒体上に記録されたプログラム命令は、実施態様のために特別にデザインされて構成されたものであってもよく、コンピュータソフトウェア分野における通常の知識を有する者にとって活用可能でかつ公知のものであってもよい。コンピュータ読取可能媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体と、ＣＤ−ＲＯＭディスク及びＤＶＤのような光学媒体と、光学ディスクのような磁気光学媒体と、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリーなどのような、プログラム命令を記憶して実行するように特別に構成されたハードウェア装置と、を含む。コンピュータ読取可能媒体は、プログラム命令が分散方式で記憶されて実行されるよう、分散型ネットワークにしてもよい。プログラム命令は、一つ以上のプロセッサにより実行されとよい。コンピュータ読取可能媒体は、プログラム命令を実行(プロセッサのように処理)する、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ)又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ)の中に具現されてもよい。プログラム命令の例には、コンパイラにより生成されたようなマシンコードと、インタプリタを用いてコンピュータが実行できるより高いレベルコードを含むファイルと、がある。上記のハードウェア装置は、上述した実施例の動作やその逆の動作を行うために、一つ以上のソフトウェアモジュールの役割を果たすように構成されてもよい。

以上、いくつかの実施例が開示及び説明されたが、発明の原理及び精神から逸脱することなく、様々な変形実施が可能であるということは、当該技術の分野における通常の知識を有する者には明らかであり、よって、発明の範囲は、添付の特許請求の範囲及びその均等物により定められるべきであろう。

１００ 遠隔制御装置
１１０ 第１情報収集部
１２０ 第１状況判断部
１３０ 第１制御部
１４０ 報知部
２００ ディスプレイ装置
２１０ 第２情報収集部
２２０ 第２状況判断部
２２１ 判断情報データベース
２３０ 第２制御部
２３１ 制御情報データベース
２４０ ディスプレイ部
２５０ 保存部
２６０ アップデート部
２７０ カメラ
２８０ ビームプロジェクトモジュール
３００ サーバー
３１０ 第３状況判断部

Claims (13)

1. 遠隔制御装置により制御可能なディスプレイ装置であって、
   少なくとも一つの状況情報に基づいてユーザーの現在状態を判断する状況判断部と、
   前記ユーザーの現在状態に基づいて前記遠隔制御装置が報知信号を出力するように指示し、前記ユーザーの現在状態に基づいて前記ユーザーに感性ベースの映像サービスを提供するように制御する制御情報を生成する制御部と、
   を備え、
   前記制御部は、前記報知信号が出力された後、前記遠隔制御装置から前記感性ベースの映像サービスに関するユーザー命令を受信し、
   前記ユーザー命令に応じて前記生成された制御情報を修正して新しい制御情報を生成し、
   前記制御部により生成される新しい制御情報を保存する保存部と、
   前記保存された制御情報に基づいて前記ユーザーの操作に対するパターンを分析し、該分析結果に基づいて制御情報データベースを更新するアップデート部と、
   をさらに備える、ディスプレイ装置。
2. 前記制御部は、前記遠隔制御装置が報知信号を出力した後、前記ユーザーの現在状態に基づいて前記ユーザーに感性ベースの映像サービスを提供するように制御する、請求項１に記載のディスプレイ装置。
3. 状況情報に基づいて前記ユーザーの現在状態を判断するための判断情報を保存している判断情報データベース、をさらに備え、
   前記状況判断部は、
   前記判断情報データベースを閲覧して、前記状況情報に相応する判断情報を検索し、前記状況情報に相応する判断情報が存在すると、前記状況情報に相応する判断情報に基づいて前記ユーザーの現在状態を判断する、請求項１に記載のディスプレイ装置。
4. 前記ユーザーの現在状態に相応する前記遠隔制御装置又は前記ディスプレイ装置に対する制御情報を有している前記制御情報データベースをさらに備え、
   前記制御部は、前記制御情報データベースを参照して前記ユーザーの現在状態に相応するディスプレイ装置に対する制御情報を検出し、前記検出された制御情報に基づいて前記ディスプレイ装置を制御する、請求項１に記載のディスプレイ装置。
5. 前記少なくとも一つの状況情報を収集する情報収集部は、光を感知する光センサー、音を感知する音響センサー、動作を感知する動作センサー、温度を感知する温度センサー、及び人間の体温、脈拍、分当たりの呼吸数又は心拍数を感知する生体信号センサーのうち少なくとも一つを備える、請求項１に記載のディスプレイ装置。
6. 前記少なくとも一つの状況情報は、前記遠隔制御装置又は前記ディスプレイ装置に設けられた情報収集部により収集される、請求項１に記載のディスプレイ装置。
7. 前記情報収集部は、映像から顔形態を検出し、該検出された顔形態から顔の特徴地点を検出した後、該顔の特徴地点の位置を分析して顔情報及び表情情報を生成することによって状況情報を収集する顔認識部を備える、請求項６に記載のディスプレイ装置。
8. 少なくとも一つの状況情報を収集するステップと、
   前記収集された少なくとも一つの状況情報に基づいてユーザーの現在状態を判断するステップと、
   前記ユーザーの現在状態に相応する報知信号を前記ユーザーに出力するステップと、
   前記報知信号を出力した後に、遠隔制御装置がユーザー命令を送信することを可能にするステップと、
   前記遠隔制御装置から前記ユーザー命令を受信した後に、前記ユーザーの現在状態に基づいて制御命令を生成し、該制御命令に応じて前記ユーザーに感性ベースの映像サービスを提供するステップと、
   前記ユーザー命令に応じて前記生成された制御命令を修正して新しい制御命令を生成するステップと、
   制御部により生成される新しい制御命令を保存するステップと、
   前記保存された制御命令に基づいて前記ユーザーの操作に対するパターンを分析し、該分析結果に基づいて制御情報データベースを更新するステップと、
   を含む、ディスプレイ装置の制御方法。
9. 前記少なくとも一つの状況情報は、遠隔制御装置により収集される、請求項８に記載のディスプレイ装置の制御方法。
10. 前記ユーザーの現在状態に相応する報知信号は、遠隔制御装置により出力される、請求項８に記載のディスプレイ装置の制御方法。
11. 前記ユーザーの現在状態に基づいて制御命令を生成し、該制御命令に応じて前記ユーザーに感性ベースの映像サービスを提供するステップは、
    遠隔制御装置により出力された報知信号に応じて前記ユーザーから入力されたユーザー命令を受信し、前記収集されたり受信した状況情報及び前記ユーザー命令に応じて、前記ユーザーの現在状態に基づいて前記ユーザーに感性ベースの映像サービスを提供するステップである、請求項８に記載のディスプレイ装置の制御方法。
12. 遠隔制御装置により出力された報知信号に応じて前記ユーザーにユーザー命令を入力してもらうステップをさらに含み、
    前記ユーザーの現在状態に基づいて制御命令を生成し、該制御命令に応じて前記ユーザーに感性ベースの映像サービスを提供するステップは、
    前記収集された状況情報及び前記ユーザー命令に基づいて制御命令を生成し、前記制御命令に応じて前記ユーザーに感性ベースの映像サービスを提供するステップである、請求項８に記載のディスプレイ装置の制御方法。
13. 前記感性ベースの映像サービスは、
    前記ディスプレイ装置のカメラが映像を撮影するように、
    前記ディスプレイ装置の前記カメラにより撮影された映像を前記ディスプレイ装置にピクチャーインピクチャー方式で表示するように、
    前記ディスプレイ装置の前記カメラにより撮影された少なくとも一つの映像に対するサムネールイメージを前記ディスプレイ装置の画面上に表示するように、
    前記ディスプレイ装置の画面上に表示される映像に関する映像関連情報を前記ディスプレイ装置の画面上に表示するように制御すること、又は
    前記ディスプレイ装置に設けられたビームプロジェクトモジュールが投射面に映像を投射するようにすることである、請求項８に記載のディスプレイ装置の制御方法。