JP4745316B2 - 表示システムおよび指示位置の検出方法 - Google Patents

Description

本発明は、ポインタ等の操作装置によって指し示された表示画面上の指示位置を検出することのできる表示システムおよび上記指示位置の検出方法に関するものである。

近年、液晶ディスプレイやプラズマディスプレイなどディスプレイの薄型化が進むとともに、画面サイズも大型のものが普及するようになってきている。

これらの薄型かつ大型のディスプレイは、例えば、会議や製品紹介等のプレゼンテーション、あるいはテレビゲームのディスプレイなどに用いられる場合がる。そして、このような使用シーンにおいては、ディスプレイに表示された画像上の所望の点（位置や場所）をポインタ等の操作装置で指定して操作することが行われている。

例えば、特許文献１には、ポインタの前後に配置した発光素子をそれぞれ異なる点滅パターンで駆動し、ディスプレイの左右に設けたカメラでポインタの前後に配置された発光点を含む画像を撮影し、発光点の方向（角度）・距離を三角法により解析演算してディスプレイ上の指定点の座標を検出する技術が開示されている。

また、特許文献２には、ディスプレイの上側または下側など画面の近傍に赤外光を発するＬＥＤのモジュールを設置し、コントローラに備えられる赤外光のみを透過するフィルタとＣＭＯＳセンサやＣＣＤなどの撮像素子で前記のＬＥＤを撮像し、撮像した画像データ内におけるＬＥＤの位置の変化から画面内の座標位置を検出するシステムが開示されている。
特開２００７−８３０２４号公報（公開日：２００７年４月５日） 特開２００７−６６０８０号公報（公開日：２００７年３月１５日） 東 忠利著、「液晶プロジェクター用直流点灯型メタルハライドランプ」、光技術情報誌「ライトエッジ」Ｎｏ１１、１９９７年１０月、ｐｐ．６−ｐｐ．９ 内田 龍男 監修、「図解 電子ディスプレイのすべて」、株式会社工業調査会発行、２００６年１０月３０日、ｐｐ．９２−ｐｐ．９５

しかしながら、上記従来の技術では、操作装置の位置がディスプレイに対して近い場合に、操作装置の指し示す位置を適切に検出できないという問題がある。

つまり、特許文献１の技術では、ポインタ（操作装置）の前後に備えられた発光点を含む画像を撮影するためのカメラがディスプレイにおける表示画面の左右に設けられている。このため、ポインタの位置が表示画面に近い場合には発光点の位置がカメラの撮像可能範囲から外れてしまう場合がある。

また、特許文献２の技術では、ディスプレイの表示画面の上側または下側に設けられたＬＥＤモジュールの発する赤外線をコントローラ（操作装置）に設けられた撮像素子によって撮像するようになっている。このため、特許文献１の場合と同様、コントローラの位置が表示画面に対して近い場合には、ＬＥＤモジュールが撮像素子の撮像可能範囲から外れてしまう場合がある。

図２５（ａ）、図２５（ｂ）、図２６（ａ）、および図２６（ｂ）は、特許文献２に開示された構成と同様の構成における、操作装置１０１と表示装置１０２との距離と操作装置１０１による指示位置を検出可能な範囲との関係を示す説明図である。

図２５（ａ）および図２５（ｂ）に示すように、表示装置１０２と操作装置１０１との距離が十分に離れている場合、操作装置１０１によって表示画面上のどの位置を指し示していても、ＬＥＤモジュール１０３が操作装置１０１に備えられた撮像素子の撮像可能範囲内に含まれ、操作装置１０１による指示位置を検出することができる。

一方、図２６（ａ）および図２６（ｂ）に示すように、表示装置１０２と操作装置１０１との距離が短い場合、操作装置１０１による指示位置によってはＬＥＤモジュール１０３が撮像素子の撮像可能範囲内に収まらなくなる。そして、ＬＥＤモジュール１０３が撮像可能範囲内に収まらない場合、操作装置１０１による指示位置を検出できなくなる。

また、上記従来の技術では、操作装置と表示画面とを結ぶ直線の軸まわりに操作装置が回転した状態（例えば操作装置の上下が反転した状態）で表示画面上の位置を指示したときに、指示位置を適切に検出できない場合がある。つまり、表示画面の座標系におけるｘ軸方向およびｙ軸方向と撮像画像の座標系におけるｘ軸方向およびｙ軸方向とが一致する位置を基準位置としたときに、この基準位置に対して操作装置の姿勢がこの操作装置の撮像方向を軸として回転している場合に、指示位置を誤検出してしまう場合がある。

例えば、図２７（ａ）および図２８（ａ）に示すように発光点Ｌ１，Ｌ２が表示画面の左右に設けられている場合を考える。図２７（ａ）に示すように表示画面の左下部分を操作装置の上下が反転していない状態（操作装置の姿勢が基準位置にある状態）で指示した場合、撮像画像は図２７（ｂ）のようになる。一方、図２８（ａ）に示すように表示画面における左上部分を操作装置の上下が反転した状態（操作装置の姿勢が基準位置に対して撮像方向を軸として回転した状態）で指示した場合、撮像画像は図２８（ｂ）のようになる。このように、表示画面上の異なる位置を指示しているにもかかわらず、操作装置の上下が反転している場合と反転していない場合とで同様の撮像画像が得られることになり、その結果、指示位置が誤認されてしまう。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、操作装置と表示装置との距離、および操作装置の撮像方向を軸とする回転角度にかかわらず操作装置によって指示された表示画面上の位置を適切に検出することにある。

本発明の表示システムは、上記の課題を解決するために、画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示装置に設けられた赤外波長域の光を出射する２つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、上記撮像画像における上記各赤外発光輝点同士を識別する輝点識別部を備え、上記赤外発光輝点のうちの少なくとも１つは、上記表示装置の表示画面内に設けられており、上記各赤外発光輝点は、上記輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光することを特徴している。

上記の構成によれば、表示画面内に赤外波長域の光を出射する赤外発光輝点が少なくとも１つ設けられている。これにより、従来のように赤外発光輝点が表示画面の外部にのみ設けられている構成に比べて、２つ以上の赤外発光輝点を撮像範囲内に含めるために必要な表示装置と操作装置との距離を短くすることができる。したがって、操作装置による表示画面上の指示位置を適切に算出するために必要な表示画面と操作装置との距離を短くすることができ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。

また、上記の構成によれば、各赤外発光輝点は、輝点識別部が撮像画像に基づいて各赤外発光輝点同士を識別できる方法で発光する。これにより、撮像時に操作装置が基準位置（表示画面の座標系におけるｘ軸方向およびｙ軸方向と撮像画像の座標系におけるｘ軸方向およびｙ軸方向とが一致する位置）に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。

また、上記各赤外発光輝点は、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つが互いに異なる構成としてもよい。

上記の構成によれば、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つが赤外発光輝点毎に異なるので、撮像画像における各赤外発光輝点を識別することができる。

また、表示画面に表示した上記各赤外発光輝点の位置と上記撮像画像における上記各赤外発光輝点の位置とに基づいて、上記撮像画像を撮像したときの上記操作装置における撮像方向を軸とする回転角度を算出する回転算出部を備え、上記指示位置検出手段は、上記撮像画像に含まれる上記各赤外発光輝点の位置と、上記撮像画像における上記指示位置と、表示画面における上記各赤外発光輝点の位置と、上記回転算出部の算出した回転角度とに基づいて表示画面上における上記指示位置を検出する構成としてもよい。

上記の構成によれば、回転算出部が表示画面に表示した各赤外発光輝点の位置と撮像画像における各赤外発光輝点の位置とに基づいて、撮像画像を撮像したときの操作装置の撮像方向を軸とする回転角度を算出する。そして、指示位置検出手段が、撮像画像に含まれる各赤外発光輝点の位置と、撮像画像における指示位置と、表示画面における各赤外発光輝点の位置と、回転算出部の算出した回転角度とに基づいて表示画面上における指示位置を検出する。これにより、撮像時に操作装置が基準位置に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。

また、上記表示画面はマトリクス状に配置された多数の画素を有する表示パネルからなり、上記各画素は互いに異なる波長域の光を出射する複数の副画素を備え、上記多数の画素のうちの少なくとも一部の画素は、上記副画素として赤外波長域の光を出射する赤外副画素を有しており、上記赤外副画素のうちの少なくとも一部の赤外副画素を上記赤外発光輝点として機能させる表示制御手段を備えている構成としてもよい。

上記の構成によれば、表示パネルに備えられる赤外副画素を赤外発光輝点として機能させることができる。これにより、表示パネルと赤外発光輝点となる光源とを別々に備える必要がないので、これら各部材を別々に備える場合に比べて、表示装置のサイズが増大することを防止するとともに、部品点数を低減することができる。また、上記各画素における赤外副画素以外の画素では、画像データに応じた画像を表示させることができるので、赤外発光輝点を設けたことによる解像度の低下を最小限に抑えることができる。

また、上記表示パネルは透過型の液晶表示パネルであり、上記液晶表示パネルにおける画像表示面とは反対側に配置された、赤外波長域に分光分布を有する光を出射するバックライトと、上記液晶表示パネルに備えられ、上記各副画素に対応する領域において当該各副画素に応じた波長域の光を透過するカラーフィルタ層とを備えている構成としてもよい。

上記の構成によれば、赤外副画素を介してバックライトから出射された赤外波長域の光を透過させることができる。これにより、赤外副画素を赤外発光輝点として機能させることができる。

また、上記表示画面はマトリクス状に配置された多数の画素を有する透過型の液晶表示パネルからなり、上記液晶表示パネルにおける画像表示面とは反対側に赤，緑，青，赤外の各色の光源が画素毎あるいは複数の画素からなる画素群毎に設けられており、上記各画素あるいは上記各画素群における上記各色の光源を時分割で順次駆動することによって上記画像データに応じた画像および上記赤外発光輝点の表示を行う構成としてもよい。

上記の構成によれば、液晶表示パネルに赤外色（赤外波長域）の画像を表示させることにより、この赤外色の画像を上記赤外発光輝点として機能させることができる。また、共通の画素を用いて画像データに応じた画像の表示と赤外発光輝点の表示とを行えるので、赤外発光輝点を表示させることによって液晶表示パネルの解像度が低下することを防止できる。

また、上記表示制御手段は上記赤外発光輝点の表示位置を前回の表示位置よりも上記指示位置検出手段が検出した上記指示位置に近づけるように変更する構成としてもよい。

上記の構成によれば、赤外発光輝点を指示位置の近傍に表示させることができるので、操作装置と表示画面との距離が近い場合であっても撮像画像に赤外発光輝点をより確実に含めることができ、表示画面上の指示位置をより適切に算出できる。

また、上記表示制御手段は、上記表示画面における上記指示位置に対応する位置に所定の画像を表示させる構成としてもよい。

上記の構成によれば、表示画面における上記指示位置に対応する位置に所定の画像を表示させることで、表示画面を観察するユーザに対して操作装置による指示位置を認識させることができる。

本発明の指示位置の検出方法は、上記の課題を解決するために、画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示装置に設けられた赤外波長域の光を出射する２つ以上の赤外発光輝点とを備え、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、上記赤外発光輝点のうちの少なくとも１つ以上を上記表示装置の表示画面内に設け、上記各赤外発光輝点を、上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光させることを特徴としている。

上記の方法によれば、表示画面内に赤外波長域の光を出射する赤外発光輝点を少なくとも１つ設ける。これにより、従来のように赤外発光輝点を表示画面の外部にのみ設ける場合に比べて、２つ以上の赤外発光輝点を撮像範囲内に含めるために必要な表示装置と操作装置との距離を短くすることができる。したがって、操作装置による表示画面上の指示位置を適切に算出するために必要な表示画面と操作装置との距離を短くすることができ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。

また、上記の方法によれば、各赤外発光輝点を、表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光させる。これにより、撮像時に操作装置が基準位置に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。

なお、上記表示システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより、上記表示システムをコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

以上のように、本発明の表示システムおよび指示位置の検出方法では、上記赤外発光輝点のうちの少なくとも１つ以上を表示装置の表示画面内に設け、上記各赤外発光輝点を撮像画像に基づいて互いに識別可能な方法で発光させる。

それゆえ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。また、撮像時に操作装置が基準位置に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。

〔実施形態１〕
本発明の一実施形態について説明する。

図２は、本実施形態にかかる表示システム１の概略構成を示すブロック図である。この図に示すように、表示システム１は、液晶表示装置１０と操作装置２０とを備えている。

液晶表示装置１０は、表示部１１、制御部１２、および通信モジュール１３を備えている。

図３は、液晶表示装置１０の概略構成を示すブロック図であり、図４は、図３に示す液晶表示装置１０における各副画素の概略構成を示す模式図である。

図３に示すように、液晶表示装置１０は、Ｒ（赤），Ｇ（緑），Ｂ（青），Ｉｒ（赤外色）の４色の副画素（サブピクセル）ＳＰＲ，ＳＰＧ，ＳＰＢ，ＳＰＩｒからなる画素Ｐがマトリクス状に多数配置された表示部（表示パネル）１１と、ソースドライバ３２、ゲートドライバ３３、表示制御部３１、および指示位置算出部３８を有する制御部１２と、操作装置２０との間でデータの送受信を行う通信モジュール１３と、これら各部に電力を供給する電源回路３４とを備えている。なお、液晶表示装置１０はアクティブマトリクス方式により駆動される。また、液晶表示装置１０では、駆動電圧が印加されていない画素は黒画像が表示されるようになっている。

また、表示部１１には、複数のデータ信号線ＳＬ１_Ｒ，ＳＬ１_Ｇ，ＳＬ１_Ｂ，ＳＬ１_Ｉｒ，〜ＳＬｎ_Ｒ，ＳＬｎ_Ｇ，ＳＬｎ_Ｂ，ＳＬｎ_Ｉｒ（ｎは２以上の任意の整数を示す）と、これら各データ信号線にそれぞれ交差する複数の走査信号線ＧＬ１〜ＧＬｍ（ｍは２以上の任意の整数を示す）とが設けられ、これらのデータ信号線および走査信号線の組み合わせ毎に上記副画素が設けられている。

指示位置算出部３８は、通信モジュール１３を介して操作装置２０から受信した情報に基づいて操作装置２０による表示画面上の指示位置を算出する。指示位置の算出方法の詳細については後述する。

表示制御部３１は、ソースドライバ３２およびゲートドライバ３３の動作を制御してＲ，Ｇ，Ｂの各副画素を透過する光の強度を制御し、表示部１１に表示画像データに応じた画像を表示させる。なお、上記の表示画像データは、例えば、液晶表示装置１０に通信可能に接続される外部装置（図示せず）から入力されるものであってもよく、液晶表示装置１０に備えられる記憶部（図示せず）から読み出されるものであってもよく、アンテナ，チューナ等の受信手段（図示せず）を介して受信される放送データであってもよい。

また、表示制御部３１は、ソースドライバ３２およびゲートドライバ３３の動作を制御してＩｒの副画素と透過する光の強度を制御し、表示画面上の任意の位置に複数の輝点（赤外発光輝点）を表示させる。この際、表示制御部３１は、各輝点を、これら各輝点を撮像した撮像画像に基づいて互いに識別可能な方法で表示する。また、表示制御部３１は、指示位置算出部３８の指示位置算出結果に基づいてソースドライバ３２およびゲートドライバ３３の動作を制御し、操作装置２０による表示画面上の指示位置に所定の画像（指示位置を示すマーク等の画像）を表示させるようになっている。なお、輝点の表示方法および指示位置の算出方法の詳細については後述する。

ソースドライバ３２は、表示画像データに基づいてそれぞれの副画素を駆動するための駆動電圧（画像信号）を生成し、各副画素に応じたデータ信号線に印加する。ゲートドライバ３３は、ソースドライバ３２から出力される駆動電圧を、データ信号線に沿って配置された各副画素に対して所定のタイミングで順次供給するように各走査信号線への印加電圧を制御する。

各副画素には、図４に示すように、スイッチング素子４１が設けられている。スイッチング素子４１としては、例えばＦＥＴ（電界効果型トランジスタ）あるいはＴＦＴ（薄膜トランジスタ）等が用いられ、上記スイッチング素子４１のゲート電極４２が走査信号線ＧＬｉ（ｉは１以上の任意の整数を示す）に、ソース電極４３がデータ信号線に、さらに、ドレイン電極４４が副画素電極４５に接続されている。また、副画素電極４５に対向配置される対向電極４６は、全副画素に共通の図示しない共通電極線に接続されている。

図５は、表示部１１の断面図である。この図に示すように、表示部１１は、スペーサー（図示せず）を介して所定の間隔で対向配置されたガラス基板５１，５２と、これらガラス基板５１，５２間に封入された液晶性材料からなる液晶層５７とを備えている。なお、液晶性材料としては、ネマティック液晶、スメクティック液晶、強誘電性液晶など一般によく用いられている液晶材料が用いられる。

また、ガラス基板５１におけるガラス基板５２との対向面には、データ信号線ＳＬ１_Ｒ，ＳＬ１_Ｇ，ＳＬ１_Ｂ，ＳＬ１_Ｉｒ・・・、走査信号線ＧＬ１，・・・、スイッチング素子４１、副画素電極４５等を備えた配線層５３と、配線層５３を覆うように形成された配向膜５５ａとが設けられている。さらに、ガラス基板５１におけるガラス基板５２との対向面とは反対側の面には、偏向板５８ａが設けられている。また、偏向板５８ａに対向するようにバックライトユニット６０が配置されている。

また、ガラス基板５２におけるガラス基板５１との対向面には、カラーフィルタ層５６、透明導電膜からなる対向電極４６、および対向電極４６を覆うように形成された配向膜５５ｂがこの順で積層されている。さらに、ガラス基板５２におけるガラス基板５１との対向面とは反対側の面には、偏向板５８ｂが設けられている。

なお、配向膜５５ａ，５５ｂに施す配向処理方向、および偏向板５８ａ，５８ｂの吸収軸方向については、液晶層５７に封入する液晶性物質の種類等に応じて、従来から公知の液晶表示装置と同様に設定すればよい。また、本実施形態では、副画素電極４５および対向電極４６を互いに異なる基板に配置したが、これに限らず、これら両電極を同一の基板上に配置した所謂ＩＰＳ方式としてもよい。

また、カラーフィルタ層５６には、Ｒ，Ｇ，Ｂ，Ｉｒのいずれかに対応する波長域の光を透過し、他の波長域の光を遮光するフィルタが副画素毎に設けられている。なお、Ｉｒの光（赤外波長域の光）を透過するフィルタとしては、例えば、ＨＯＹＡ色ガラスフィルタの赤外透過可視吸収フィルタを用いることができる。

バックライトユニット６０は、図５に示すように光源６１と反射部６２とを備えており、光源６１から照射された光を反射部６２によって反射することで、表示部１１に対して光を照射するようになっている。なお、バックライトユニット６０と表示部１１との間に、光源６１が発する光を拡散して表示部１１の表示面全体に均一に照射するための拡散フィルムを配置してもよい。

光源６１としては、可視域および赤外域に発光スペクトルを有する光源が用いられる。このような光源としては、例えば、メタルハライドランプなどを用いることができる（非特許文献１参照）。

液晶表示装置１０では、走査信号線ＧＬｉが選択されると、当該走査信号線に接続された各副画素のスイッチング素子４１が導通し、表示制御部３１に入力される表示画像データに基づいて決定される信号電圧がソースドライバ３２によりデータ信号線を介して副画素電極４５と対向電極４６との間に印加される。副画素電極４５と対向電極４６との間では、走査信号線ＧＬｉの選択期間が終了してスイッチング素子４１が遮断されている間、理想的には、遮断時の電圧を保持し続ける。これにより、各副画素に対応する副画素電極４５と対向電極４６との間にそれぞれ独立して駆動電圧を印加することで、これら両電極間に配された液晶層の各副画素領域に、表示する画像に応じた電界を印加し、各副画素領域の液晶分子の配向状態を変化させて表示を行うようになっている。

このような構成により、液晶表示装置１０では、各副画素の副画素電極４５と対向電極４６との間に印加する電圧を制御して液晶層５７の各副画素領域を透過する光量を制御し、カラー表示を行うとともに、任意の副画素において赤外光を透過させて任意の表示箇所に人間の目には捉えられない赤外域の光を発光する輝点を表示させる。

操作装置２０は、図２に示すように、赤外透過フィルタ２１、レンズ２２、撮像素子２３、画像処理モジュール２４、操作スイッチ２５、制御部２６、通信モジュール２７を備えている。また、操作装置２０は、この操作装置２０の先端を液晶表示装置１０の表示画面上における任意の位置に向けることで表示画面上の任意の位置を指示することができるようになっている。

赤外透過フィルタ２１は、赤外域の波長の光を透過するフィルタであり、例えばＨＯＹＡ色ガラスフィルタの赤外透過可視吸収フィルタを用いることができる。

レンズ２２は、赤外透過フィルタ２１を透過した赤外光を撮像素子２３の撮像部に集光する。撮像素子２３は、例えばＣＭＯＳあるいはＣＣＤ等からなり、レンズ２２で集光された赤外光を受光して撮像し、撮像した画像の画像信号を画像処理モジュール２４に出力する。なお、撮像素子２３の撮像方向の中心（すなわちレンズ２２の光軸方向）は、操作装置２０による指示方向（すなわち表示画面上の指示位置と操作装置２０の先端とを結ぶ直線の方向）と平行になっている。したがって、撮像画像の中心が表示画面上の指示位置に対応するようになっている。

画像処理モジュール２４は、図６に示すように、Ａ／Ｄ変換部７１、識別情報抽出部７２、輝点位置算出部７３、輝点間距離算出部７４を備えている。Ａ／Ｄ変換部７１は、撮像素子２３から入力された画像データをＡ／Ｄ変換してデジタル画像信号を生成する。識別情報抽出部７２は撮像画像に基づいて各輝点の識別情報（例えば所定期間内における各輝点の平均輝度）を抽出する。輝点位置算出部７３は、Ａ／Ｄ変換部７１から出力されるデジタル画像信号に基づいて、撮像画像の中心位置と輝点との相対位置（撮像画像の座標系における撮像画像の中心位置（指示位置）と輝点との相対位置）を算出する。輝点間距離算出部７４は、撮像画像における輝点間の距離（撮像画像の座標系における輝点間の距離）を算出する。これらの処理の詳細については後述する。

操作スイッチ２５は、ユーザからの指示入力を受け付けるものであり、多数のボタンキーなどによって構成されている。

制御部２６は、操作装置２０に備えられる各部の動作を制御する。また、画像処理モジュール２４から入力された、識別情報の抽出結果、相対位置の算出結果、輝点間距離の算出結果、操作スイッチ２５を介してユーザから入力された情報などに基づいて、液晶表示装置１０に送信する情報を生成する。

通信モジュール２７は、液晶表示装置１０の通信モジュール１３との間でデータの送受信を行うものであり、例えば制御部２６から入力される情報を液晶表示装置１０に送信する。なお、通信モジュール２７が用いる通信媒体は特に限定されるものではなく、無線媒体であっても有線媒体であってもよい。

次に、輝点の表示方法、および指示位置の算出方法について説明する。図１は、輝点表示処理および指示位置算出処理の流れを示すフロー図である。

まず、液晶表示装置１０の表示制御部３１は、ソースドライバ３２およびゲートドライバ３３の動作を制御し、表示画面における所定の位置に互いに異なる明るさ（輝度）で輝点を複数（本実施形態では２つ）表示させる（Ｓ１）。なお、この処理は、ユーザによって操作装置２０による指示位置の算出を行うモード（指示位置算出モード）の選択が行われた場合に実行するようにしてもよく、常時行うようにしてもよい。また、表示制御部３１は、輝点の表示と並行して、画像データに応じてソースドライバ３２およびゲートドライバ３３の動作を制御してＲ，Ｇ，Ｂの各副画素を駆動し、画像データに応じた画像を表示させる。

本実施形態では、図７に示すように、表示画面を各ブロックが３×３画素からなる多数のブロックに分割し、これら多数のブロックの中から選択した２つのブロックを輝点として機能させる。また、この際、各輝点となるブロックにおけるＩｒのサブピクセルＳＰＩｒに印加する駆動電圧を両ブロックについて互いに異ならせる。これにより、各輝点の明るさ（輝度）を異ならせ、各輝点を互いに識別可能に表示させることができる。なお、本実施形態では、説明を簡単にするために、各輝点を３×３画素からなるブロックによって表示しているが、各輝点の大きさ（輝点となるブロックの大きさ）はこれに限定されるものではなく、操作装置２０による撮像画像によって各輝点を認識できる画素数であればよい。

図８（ａ）は図７における輝点Ｉｒ１に相当するブロック内のＩｒのサブピクセルＳＰＩｒに供給される駆動電圧（データ信号）の波形を示しており、図８（ｂ）は図７における輝点Ｉｒ２に相当するブロック内のＩｒのサブピクセルＳＰＩｒに供給される駆動電圧の波形を示している。つまり、１フレーム内において、ゲート電極が順次走査されていき、輝点Ｉｒ１に対応するサブピクセルＳＰＩｒに接続された走査信号線がそれぞれ選択されているときに、図８（ａ）に示した駆動電圧がこれらサブピクセルＳＰＩｒに接続されたデータ信号線に供給される。同様に、１フレーム内において、ゲート電極が順次走査されていき、輝点Ｉｒ２に対応するサブピクセルＳＰＩｒに接続された走査信号線がそれぞれ選択されているときに、図８（ｂ）に示した駆動電圧がこれらサブピクセルＳＰＩｒに接続されたデータ信号線に供給される。

なお、本実施形態では、図８（ａ）および図８（ｂ）に示すように、各サブピクセルに対する駆動電圧の極性を毎回反転させている。これにより、同極性の駆動電圧を印加し続けることによって液晶が劣化することを防止することができる。

また、図８（ａ）および図８（ｂ）に示すように、輝点Ｉｒ１に対応するサブピクセルＳＰＩｒに供給する駆動電圧の大きさを、輝点Ｉｒ２に対応するサブピクセルＳＰＩｒに供給する駆動電圧の大きさよりも大きくする（図８（ａ）および図８（ｂ）の例では輝点Ｉｒ２のサブピクセルＳＰＩｒに対する駆動電圧の大きさを輝点Ｉｒ１のサブピクセルＳＰＩｒに対する駆動電圧の大きさの１／２に設定している）。これにより、各輝点の明るさ（輝度）を異ならせることができるので、例えば、撮像画像における各輝点の所定期間内（例えば所定フレーム期間内）における明るさの平均値（平均輝度）を算出して比較することで各輝点を識別することができる。

次に、操作装置２０の制御部２６は、撮像素子２３に表示画面を撮像させる（Ｓ１１）。これにより、操作装置２０の先端が向けられている方向の画像が撮像される。なお、この処理は、所定時間毎に行うようにしてもよく、連続して行うようにしてもよく、操作スイッチ２５を介してユーザからの指示入力があったときに行うようにしてもよく、ユーザによって所定のボタンが押下げられている期間中に連続してあるいは所定時間毎に行うようにしてもよい。

次に、操作装置２０の制御部２６は、画像処理モジュール２４の識別情報抽出部７２に、撮像画像における各輝点の識別情報を抽出させる（Ｓ１２）。具体的には、識別情報抽出部７２は、所定期間（所定フレーム期間）における各輝点の明るさ（輝度）の平均値を識別情報として検出する。なお、抽出する識別情報はこれに限るものではなく、液晶表示装置１０における各輝点の表示方法に応じて予め設定しておけばよい。

次に、操作装置２０の制御部２６は、画像処理モジュール２４の輝点位置算出部７３に、撮像画像の座標系における指示位置（本実施形態では撮像画像の中心）に対する各輝点の相対位置を算出させる（Ｓ１３）。具体的には、撮像画像の座標系における各輝点の中点の座標を算出させる。あるいは、撮像画像の座標系における各輝点の座標を算出させてもよい。

次に、操作装置２０の制御部２６は、画像処理モジュール２４の輝点間距離算出部７４に、撮像画像の座標系における輝点間の距離を算出させる（Ｓ１４）。

次に、操作装置２０の制御部２６は、Ｓ１２で抽出した各輝点の識別情報、Ｓ１３で算出した相対位置を示す情報、およびＳ１４で算出した輝点間の距離示す情報を通信モジュール２７から液晶表示装置１０に送信させる（Ｓ１５）。

その後、液晶表示装置１０の指示位置算出部３８は、通信モジュール１３を介して操作装置２０から送信された上記情報を受信すると（Ｓ２）、撮像時における操作装置２０の基準位置に対する回転角度を算出する（Ｓ３）。具体的には、指示位置算出部３８は、撮像時に表示画面に表示させていた各輝点の輝度（識別情報）と、撮像画像から抽出した各輝点の輝度（識別情報）とに基づいて、操作装置２０の基準位置に対する回転角度を算出する。

ここで、撮像時における操作装置２０の回転角度を算出方法について説明する。図９（ａ）は液晶表示装置１０の表示部１１に表示される２つの輝点Ｉｒ１，Ｉｒ２の一例を示す説明図であり、図９（ｂ）は図９（ａ）に示した表示部１１を操作装置２０の上下が反転している状態で撮像した場合の撮像画像の一例を示す説明図である。

液晶表示装置１０の指示位置算出部３８は、表示画面の座標系における撮像時の各輝点の座標と、撮像画像の座標系における各輝点の座標とを比較することにより、撮像画像の座標系の表示画面の座標系に対する回転角度を算出する。例えば、表示画面の座標系における各輝点を結ぶ直線の傾きと撮像画像の座標系における各輝点を結ぶ直線の傾きとの関係、表示画面の座標系における各輝点のｘ座標と撮像画像の座標系における各輝点のｘ座標との大小関係、および表示画面の座標系における各輝点のｙ座標と撮像画像の座標系における各輝点のｙ座標との大小関係に基づいて表示画面の座標系に対する撮像画像の座標系の回転角度を算出する。

これにより、撮像時における操作装置２０の基準位置に対する回転角度を算出することができる。例えば、図９（ｂ）の場合には、各輝点の位置関係から撮像画像の座標系は表示画面の座標系に対して１８０°回転していることがわかる。

次に、液晶表示装置１０の指示位置算出部３８は、Ｓ３で算出した回転角度と、Ｓ２で受信した相対位置を示す情報と輝点間距離を示す情報とに基づいて操作装置２０による表示画面上の指示位置（表示画面の座標系における操作装置２０による指示位置）を算出する（Ｓ４）。つまり、操作装置２０から受信した情報は撮像画像の座標系に基づく輝点の位置情報なので、これを表示画面の座標系に変換して操作装置２０による表示画面上の指示位置を算出する。

ここで、表示画面の座標系における指示位置の算出方法についてより詳細に説明する。

まず、指示位置算出部３８は、Ｓ３で算出した撮像時における操作装置２０の回転角度に基づいてＳ２で受信した相対位置を示す情報の座標系を回転させて基準位置に対応する座標系に変換する。すなわち、表示画像の座標系と撮像画像の座標系のｘ軸方向およびｙ軸方向を一致させる。例えば、図９（ｂ）の場合、撮像画像の座標系を撮像画像の中心回りに−１８０°回転させる。これにより、図９（ｃ）に示すように、表示画面の座標系と撮像画像の座標系のｘ軸方向およびｙ軸方向を一致させることができる。

図９（ｃ）に示すように、撮像画像の座標系において、撮像画像の中心の座標を（０，０）、輝点Ｉｒ１と輝点Ｉｒ２との中点Ｃの座標を（ｘ１，ｙ１）、輝点Ｉｒ１と輝点Ｉｒ２との距離をＬ１とする。また、図９（ａ）に示すように、表示画面の座標系における輝点Ｉｒ１と輝点Ｉｒ２との距離をＬｄ、輝点Ｉｒ１と輝点Ｉｒ２との中点ｃの座標を（ｘｃ，ｙｃ）、操作装置２０による表示画面上の指示位置の座標を（ｘｐ，ｙｐ）とする。そして、操作装置２０による表示画面上の指示位置と、輝点Ｉｒ１と輝点Ｉｒ２との中点とのｘ方向の距離をｘｄ、ｙ方向の距離をｙｄとする。

この場合、撮像画像の座標系を表示画面の座標系に変換するための係数ｃは、ｃ＝Ｌｄ／Ｌ１で算出される。したがって、ｘｄ＝ｃ×ｘ１、ｙｄ＝ｃ×ｙ１と表せるので、ｘｐ＝ｘｃ−ｘｄ＝ｘｃ−ｃ×ｘ１、ｙｐ＝ｙｃ−ｙｄ＝ｙｃ−ｃ×ｙ１より表示画面上の指示位置の座標（表示画面の座標系における操作装置２０による指示位置の座標）を特定することができる。

以上のように、本実施形態にかかる表示システム１では、液晶表示装置１０の表示画面内に複数の輝点を互いに識別可能な方法で表示する。そして、操作装置２０によって表示画面を撮像し、撮像画像に含まれる各輝点の識別情報（例えば各輝点の所定期間における平均輝度）、撮像画像における指示位置と各輝点との相対位置、および輝点間の距離を検出し、検出結果を液晶表示装置１０に送信する。そして、液晶表示装置１０が、操作装置２０から受信した上記の各情報と表示画面に表示させた各輝点の位置および識別情報に基づいて、表示画面の座標系における操作装置２０による指示位置を算出する。

このように、輝点を表示画面内に表示することにより、従来のように表示画面の外部に輝点を設ける場合に比べて、表示画面と操作装置との距離が短い場合であっても操作装置による撮像範囲内に輝点が含まれやすくなるので、表示画面上の指示位置を適切に算出することのできる範囲を広げることができる。また、表示画面の座標系における各輝点の位置と、撮像画像の座標系における指示位置と各輝点との相対位置とに基づいて、表示画面の座標系における指示位置の座標を容易に算出できる。

また、撮像画像における各輝点を識別することができるので、撮像時における操作装置２０の撮像方向を軸とする回転角度を算出することができ、表示画面の座標系における指示位置の座標を適切に検出することができる。

なお、本実施形態では、各輝点に対応するＩｒのサブピクセルＳＰＩｒへ供給する駆動電圧の大きさを互いに異ならせることによって各輝点の明るさ（輝度）を異ならせて各輝点を識別可能に表示しているが、各輝点の表示方法はこれに限るものではなく、撮像画像に基づいて各輝点同士を識別可能な方法であればよい。

例えば、図１０に示すように、輝点Ｉｒ１の発光時間（図１０では４フレーム期間）と輝点Ｉｒ２の発光時間（図１０では２フレーム期間）とを異ならせてもよい。すなわち、輝点Ｉｒ１に対応するＩｒのサブピクセルをＯＮにする期間（フレーム数）と、輝点Ｉｒ２に対応するＩｒのサブピクセルをＯＮにする期間（フレーム数）とを異ならせてもよい。これにより、撮像画像に基づいて各輝点の所定期間（所定フレーム期間）における明るさ（輝度）の平均値を算出することで、この算出結果に基づいて各輝点を識別することができる。

また、図１１に示すように、各輝点を表示するための駆動電圧をパルス波とし、パルスの数を輝点毎に異ならせるようにしてもよい。すなわち、輝点Ｉｒ１に対応するＩｒのサブピクセルのＯＮ／ＯＦＦを切り替える回数と、輝点Ｉｒ２に対応するＩｒのサブピクセルのＯＮ／ＯＦＦを切り替える回数とを異ならせてもよい。これにより、撮像画像に基づいて所定期間（所定フレーム期間）における各輝点のパルス数（ＯＮ／ＯＦＦの切り替え回数）を検出すること、あるいは所定期間における明るさ（輝度）の平均値を算出することにより各輝点を識別することができる。

また、図１２に示すように、各輝点を表示するための駆動電圧をパルス波とし、各輝点に対する駆動電圧おけるパルスの周期あるいは波形パターン（発光パターン、点滅パターン）を異ならせるようにしてもよい。この場合にも、撮像画像に基づいて各輝点のパルス周期あるいは波形パターンを検出することで各輝点を識別することができる。

また、本実施形態では、光源６１としてメタルハライドランプを用いる構成について説明したが、光源６１の構成はこれに限るものではなく、画像データに応じた画像の表示を行うための可視域に発光波長を有する光と輝点を表示するための赤外域に発光波長を有する光とを出射する構成であればよい。例えば、可視域に発光波長を有する光源と、赤外域に発光波長を有する光源とを組み合わせて用いてもよい。この場合、例えば、ＲＧＢの各ＬＥＤと赤外ＬＥＤとを組み合わせて用いてもよく、白色ＬＥＤと赤外ＬＥＤとを組み合わせて用いてもよい。また、この場合、各ＬＥＤからの出射光をマイクロレンズアレイを介して表示部１１に入射させる構成としてもよい（非特許文献２参照）。また、バックライトユニット６０はサイドライト方式であってもよく、直下型であってもよく、両者を組み合わせた構成であってもよい。

また、表示画面を複数のブロックに分割してブロック毎に光源６１を設けてもよい。図１３はＲ，Ｇ，Ｂ，Ｉｒの各色のＬＥＤからなる光源６１Ｒ，６１Ｇ，６１Ｂ，６１Ｉｒを３×３画素からなる各ブロックにそれぞれ２つずつ設けた場合の構成例を示す斜視図である。図１３においても、説明を簡単にするために、ブロックを３×３画素からなる構成を表示しているが、ブロックの大きさはこれに限定されるものではない。また、この図に示す例ではＲ，Ｇ，Ｂ，ＩｒのＬＥＤから出射された光を拡散させ、色の偏りがなく均一な輝度になるようにブロック内の各画素に導くための導光板６３が備えられている。なお、バックライトユニットの構成以外は図５に示した構成と同様にすることができる。また、図１３の構成において、Ｒ，Ｇ，ＢのＬＥＤの代わりに白色ＬＥＤを用いてもよい。

また、画素毎に光源６１を設けてもよい。また、この場合、Ｒ，Ｇ，Ｂ，Ｉｒの各色のＬＥＤを画素毎に配置し、フィールド・シーケンシャル方式で画像表示を行うようにしてもよい。図１４はフィールド・シーケンシャル方式を採用する場合の、各画素の構成例を示す断面図である。

図１４に示す例では、バックライト側から順に、Ｒ，Ｇ，Ｂ，Ｉｒの各色の光源６１Ｒ，６１Ｇ，６１Ｂ，６１Ｉｒ、偏向板５８ａ、配線層５３、配向膜５５ａ、ガラス基板５１、液晶層５７、配向膜５５ｂ、対向電極４６、ガラス基板５２、光学補償板５９、偏向板５８ｂがこの順で積層されている。なお、フィールド・シーケンシャル方式を採用する場合には各色の光源を順次点灯させて表示を行うので、サブピクセルを設ける必要はなく、カラーフィルタを省略できる。

光学補償板５９は、一軸性の位相差フィルムを互いの光軸を直交させて３枚重ねることにより３次元の光学補償を行うものである。この光学補償板５９を備えることにより、図１４の構成ではＯＣＢ（Optically Compensated Bend）方式で動作するようになっている。

この場合、各画素において、１フレーム期間（１／６０秒）を４分割した１／２４０秒以下でＲ，Ｇ，Ｂ，Ｉｒの各ＬＥＤを順次駆動（時分割駆動）する。すなわち、Ｒのフィールドの駆動電圧を書き込んだ後にＲのバックライトを点灯させ、以下、同様に、Ｇのフィールドの駆動電圧を書き込んだ後にＧのバックライトを、Ｂのフィールドの駆動電圧を書き込んだ後にＢのバックライトを点灯させて画像の表示を行う。また、輝点を表示させる画素については、Ｉｒを透過させるように薄膜トランジスタに駆動電圧を入力した後にＩｒのバックライトを点灯させる。なお、表示画面を複数のブロックに分割し、ブロック毎に順次点灯させてもよい。

また、本実施形態では、画像処理モジュール２４と制御部２６とを別々の機能ブロックとして設けているが、これらは共通の演算手段によって構成されていてもよい。

また、本実施形態では、撮像画像の座標系における指示位置に対する各輝点の相対位置（撮像画像の中心と各輝点との相対位置、あるいは撮像画像の中心と各輝点の位置に応じて一意に定まる点（例えば各輝点の中点）との相対位置）および輝点間の距離の演算を操作装置２０で行っているが、これに限るものではない。例えば、撮像素子２３によって撮像された撮像画像の画像データ、あるいは撮像画像の座標系における指示位置および各輝点の座標のデータを液晶表示装置１０に送信し、液晶表示装置１０において算出するようにしてもよい。

また、本実施形態では、操作装置２０が撮像画像から検出した各輝点の識別情報、撮像画像の座標系における指示位置に対する各輝点の相対位置および輝点間の距離に基づいて、液晶表示装置１０が表示画面の座標系における指示位置を算出するようになっているが、これに限るものではない。例えば、液晶表示装置１０の通信モジュール１３から操作装置２０に、各輝点の識別情報（例えば各輝点の実際の輝度）と、輝点間の距離Ｌｄあるいは表示画面の座標系における各輝点の位置（座標）とを予め送信しておき、操作装置２０の画像処理モジュール２４が、液晶表示装置１０から受信した上記各情報と、撮像画像から抽出した各輝点の識別情報、撮像画像の座標系における指示位置に対する輝点の相対位置および輝点間の距離に基づいて、表示画面の座標系における指示位置を算出するようにしてもよい。この場合、表示画面の座標系における指示位置の算出結果を、操作装置２０から液晶表示装置１０に送信するようにすればよい。

また、本実施形態では、表示画面に輝点を２つ表示させる構成について説明したが、これに限らず、３つ以上の輝点を表示させてもよい。輝点を３つ以上表示させる場合にも、２つ表示させる場合と同様、各輝点を互いに識別可能な方法で表示し、表示画面の座標系における各輝点の位置関係と撮像画像の座標系における各輝点の位置関係とに基づいて撮像時における操作装置２０の回転角度を算出すればよい。

ここで、輝点を３つ表示させる場合の、表示画面上における指示位置の算出方法の例について説明する。図１５（ａ）は液晶表示装置１０の表示部１１に表示される３つの輝点Ｉｒ１，Ｉｒ２，Ｉｒ３の一例を示す説明図であり、図１５（ｃ）は図１５（ａ）に示した表示部１１を操作装置２０に備えられる撮像素子２３で図１５（ｂ）に示したように斜め視角方向から撮像した場合の撮像画像の一例を示す説明図である。

図１５（ｃ）に示すように、撮像画像の座標系における指示位置（ここでは撮像画像の中心）の座標を（ｘ_ｃ，ｙ_ｃ）、撮像画像の座標系における輝点Ｉｒ１，Ｉｒ２，Ｉｒ３の座標をそれぞれ（ｘ_Ｉａ，ｙ_Ｉａ），（ｘ_Ｉｂ，ｙ_Ｉｂ），（ｘ_Ｉｃ，ｙ_Ｉｃ）とする。また、図１５（ａ）に示すように、表示画面の座標系における輝点Ｉｒ１，Ｉｒ２，Ｉｒ３の座標をそれぞれ（ｘＤａ，ｙＤａ），（ｘＤｂ，ｙＤｂ），（ｘＤｃ，ｙＤｃ）、表示画面の座標系における指示位置の座標を（ｘｐ，ｙｐ）とする。

まず、撮像画像の座標系における各輝点と表示画面の座標系における各輝点との対応関係を決定する。本実施形態では、図１６（ａ）に示したように、表示画面の座標系において、３つの輝点の重心を原点（０，０）としたときに、輝点Ｉｒ１を第二象限、輝点Ｉｒ２を第一象限、輝点Ｉｒ３を第三象限と第四象限との境界線上（ｙ軸上）に配置している。

そして、図１６（ｂ）に示したように、撮像画像の座標系において、各輝点の重心を原点（０，０）としたときに、第二象限に位置する輝点をＩｒ１，第一象限に位置する輝点をＩｒ２，第三象限と第四象限との境界部に位置する輝点をＩｒ３とする。

そして、行列Ｄおよび行列Ｉを下記のように定義する。

この場合、Ｄ＝ＭＩを満たす行列式ＭはＭ＝ＤＩ^−１となるので、表示画面の座標系における指示位置（ｘｐ，ｙｐ）は下記の行列式を演算することによって算出される。

なお、これらの演算は、操作装置２０の画像処理モジュール２４あるいは制御部２６で行ってもよく、液晶表示装置１０の表示制御部３１で行ってもよい。

このように、３点以上の輝点に基づいて操作装置２０による表示画面上の指示位置を算出することにより、操作装置２０によって表示画面の正面から指し示した場合に限らず、例えば図１５（ｂ）に示すように操作装置２０によって表示画面の斜め視角方向から指し示した場合であっても、操作装置２０による表示画面上の指示位置を適切に算出することができる。

〔実施形態２〕
本発明の他の実施形態について説明する。なお、説明の便宜上、実施形態１と同様の機能を有する部材については同じ符号を付し、その説明を省略する。

図１７および図１９は、実施形態１に示した表示システム１において、液晶表示装置１０の表示画面に表示される輝点の例を示す説明図である。また、図１８は、図１７に示した位置に輝点を表示させた場合に、表示画面に近接する位置から操作装置２０で指示することのできる範囲の例を示す説明図である。また、図２０（ａ）および図２０（ｂ）は、図１９に示した位置に輝点を表示させた場合に、表示画面に近接する位置から操作装置２０で指示することのできる範囲の例を示す説明図である。

図１７に示した位置に輝点を表示させた場合、図１８に示すように表示画面の下部に操作装置２０によって指示できない領域が生じる。また、図１９に示した位置に輝点を表示させ、表示画面の斜め上方に位置する操作装置２０から表示画面上の位置を指示する場合、図２０（ａ）に示すように表示画面の下部の領域については全て操作装置２０によって指示可能であるが、図２０（ｂ）に示すように表示画面の上部に操作装置２０によって指示できない領域が生じる。

このように、実施形態１のように表示画面に輝点を表示させることにより、操作装置２０と表示画面との距離が短い場合であっても操作装置２０による撮像範囲に輝点が収まりやすくなるので操作装置２０によって指示可能な範囲を広げることができるものの、操作装置２０と表示画面との距離がさらに短い場合には表示画面上に操作装置２０によって指示できない領域が生じてしまう。

そこで、本実施形態では、操作装置２０による撮像結果に基づいて表示画面の座標系における指示位置、および表示画面と操作装置２０との距離を算出し、算出結果に基づいて輝点の表示位置を制御することにより、操作装置２０と表示画面との距離が非常に短い場合であっても、操作装置２０によって指示できる表示画面上の領域をさらに広げる。

図２１は、本実施形態にかかる表示システム１ｂの概略構成を示すブロック図である。この図に示すように、本実施形態にかかる表示システム１ｂは、実施形態１の表示システム１に加えて、液晶表示装置１０が距離算出部３５、表示位置算出部３６、および記憶部３７を備えている。なお、距離算出部３５はおよび表示位置算出部３６は制御部１２に備えられている。

距離算出部３５は、表示画面に現在表示されている輝点間の間隔を算出する。

表示位置算出部３６は、表示制御部３１が算出した表示画面の座標系における操作装置２０による指示位置と、距離算出部３５が算出した表示画面に現在表示されている輝点間の間隔と、操作装置２０から受信した撮像画像における輝点間の間隔とに基づいて、変更後の輝点の表示位置を算出する。

記憶部３７には、図２２に示すように、表示画面の座標系における現在の各輝点間の間隔と、撮像画像の座標系における各輝点間の間隔と、変更（設定）後の各輝点の間隔とを対応付けたルックアップテーブルが予め保存されている。なお、このルックアップテーブルに保存される変更後の各輝点の間隔は、表示画面と操作装置２０との距離が短くなるほど短い間隔になるように設定されている。

表示位置算出部３６は、このルックアップテーブルを参照し、表示画面に現在表示されている輝点間の間隔と、撮像画像における輝点間の間隔とに対応する変更後の輝点間の間隔を抽出する。そして、表示制御部３１が現在表示されている輝点に基づいて算出した表示画面の座標系における操作装置２０による指示位置の近傍に、上記のように抽出した変更後の輝点間間隔で各輝点を表示させるように、各輝点の表示位置を算出する。より具体的には、表示位置を変更した後の各輝点の中点（あるいは重心）を、変更前の表示位置に表示された輝点に基づいて算出された操作装置２０による指示位置と一致させるように表示位置を算出する。そして、表示画面に表示させる各輝点の位置を、この算出した表示位置に変更する。

以上のように、本実施形態にかかる表示システム１ｂでは、表示画面に現在表示されている輝点に基づいて操作装置２０による指示位置を算出し、算出した指示位置の近傍に輝点の表示位置を変更する。これにより、図２３（ａ）および図２３（ｂ）に示すように、輝点が常に操作装置２０による指示位置の近傍に表示されるので、操作装置２０による指示位置を移動させた場合に表示画面上の輝点が操作装置２０の撮像範囲から外れて指示位置を検出できなることを防止できる。

また、本実施形態では、表示画面と操作装置２０との距離が近くなるほど輝点間の間隔を短くするように各輝点の表示位置を制御する。これにより、図２４（ａ）および図２４（ｂ）に示すように、各輝点を操作装置２０による撮像範囲内に表示させることができるので、表示画面と操作装置２０との距離に関わらず操作装置２０による指示位置を適切に算出することができる。なお、図２４（ａ）は表示画面と操作装置２０との距離が長い場合における変更後の各輝点の表示位置の例を示す説明図であり、図２４（ｂ）は表示画面と操作装置２０との距離が短い場合における変更後の各輝点の表示位置の例を示す説明図である。

なお、本実施形態では、記憶部３７に備えられるルックアップテーブルを参照して変更後の輝点間の間隔を算出する構成について説明したが、これに限らず、表示画面の座標系における現在の各輝点間の間隔と、撮像画像の座標系における各輝点間の間隔と、変更（設定）後の各輝点の間隔とを関連付けた関数を記憶部３７に記憶させておき、この関数を用いて変更後の各輝点の間隔を演算するようにしてもよい。

また、上記各実施形態において、液晶表示装置１０に備えられる表示制御部３１、操作装置２０に備えられる画像処理モジュール２４および制御部２６は、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現される。すなわち、表示制御部３１、画像処理モジュール２４、および制御部２６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである液晶表示装置１０、あるいは操作装置２０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、液晶表示装置１０、あるいは操作装置２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、液晶表示装置１０および／または操作装置２０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、液晶表示装置１０および操作装置２０の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

また、上記各実施形態では、本発明を液晶表示装置に適用する場合について説明したが、これに限るものではなく、表示画面内における所定の画素を輝点とすることのできる表示装置であれば適用できる。本発明は、例えば、プラズマディスプレイ、有機ＥＬディスプレイなどに適用することもできる。

また、上記各実施形態では、表示画面内における所定の画素（あるいは画素群）から赤外波長域の光を出射させ、当該画素（あるいは画素群）を輝点として機能させる構成について説明したが、これに限るものではない。例えば、画像データに応じた画像を表示する表示パネルとこの表示パネルの表示画面内において輝点となるＬＥＤ等の赤外発光手段とを別々に備えてもよい。この場合、例えば、表示パネルの表面に赤外発光手段を配置してもよく、表示パネルに切欠部を設け、この切欠部を介して赤外波長域の光が出射されるように赤外発光手段を配置してもよい。

また、上記各実施形態では、全ての輝点が表示画面内に配置されているが、これに限るものではなく、表示画面内に少なくとも１つ以上の輝点が設けられていればよい。表示画面の外部に輝点を設けるとともに、表示画面内に少なくとも１つ以上の輝点を表示し、これら各輝点に基づいて表示画面上の指示位置を算出するようにしてもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、表示装置と、この表示装置における表示画面上の任意の位置を上記表示画面に非接触な状態で指し示す操作装置とを含む表示システムに適用できる。例えば、会議、プレゼンテーション、ゲーム等の画像を表示装置の表示画面に表示し、この表示画面上の位置を操作装置によって任意に指し示すポインティングデバイスに適用できる。

本発明の一実施形態にかかる表示システムにおける赤外発光輝点の表示処理および指示位置の算出処理の流れを示すフロー図である。 本発明の一実施形態にかかる表示システムの概略構成を示すブロック図である。 図２の表示システムに備えられる表示装置の概略構成を示すブロック図である。 図３の表示装置の表示部に備えられる各副画素の概略構成を示す模式図である。 図３の表示装置に備えられる表示部の断面図である。 図２の表示システムに備えられる操作装置における画像処理モジュールの構成を示すブロック図である。 図３の表示装置において、表示画面を複数のブロックに分割し、複数のブロックの中から選択した任意のブロックを赤外発光輝点として機能させる構成を示す説明図である。 （ａ）は図７における輝点Ｉｒ１に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の一例を示す波形図であり、（ｂ）は図７における輝点Ｉｒ２に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の一例を示す波形図である。 （ａ）は図３に示した表示装置の表示部に表示される赤外発光輝点の一例を示す説明図であり、（ｂ）は（ａ）に示した表示部を操作装置の上下が反転している状態で撮像した撮像画像を示す説明図である。（ｃ）は（ｂ）の撮像画像を表示装置の座標系におけるｘ軸方向およびｙ軸方向と撮像画像の座標系におけるｘ軸方向およびｙ軸方向とを一致させるように回転させた画像を示す説明図である。 （ａ）は図７における輝点Ｉｒ１に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の他の例を示す波形図であり、（ｂ）は図７における輝点Ｉｒ２に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の他の例を示す波形図である。 （ａ）は図７における輝点Ｉｒ１に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形のさらに他の例を示す波形図であり、（ｂ）は図７における輝点Ｉｒ２に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形のさらに他の例を示す波形図である。 （ａ）は図７における輝点Ｉｒ１に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形のさらに他の例を示す波形図であり、（ｂ）は図７における輝点Ｉｒ２に相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形のさらに他の例を示す波形図である。 図３の表示装置に備えられるバックライトユニットの変形例を示す斜視図である。 図３の表示装置に備えられるバックライトユニットの変形例を示す斜視図である。 （ａ）は図３に示した表示装置の表示部に表示される赤外発光輝点の他の例を示す説明図であり、（ｂ）は上記表示装置の表示面に対する操作装置の撮像方向を示す説明図であり、（ｃ）は（ａ）に示した表示部を操作装置に備えられる撮像素子で（ｂ）に示す撮像方向から撮像した場合の撮像画像を示す説明図である。 （ａ）は図３に示した表示装置の表示部に表示される各赤外発光輝点と各赤外発光輝点の重心との関係を示す説明図であり、（ｂ）は（ａ）に示した表示部を操作装置に備えられる撮像素子で撮像した撮像画像における各赤外発光輝点と各赤外発光輝点の重心との関係を示す説明図である。 本発明の他の実施形態にかかる表示システムにおいて表示装置の表示画面に表示される赤外発光輝点の一例を示す説明図である。 図１７に示した位置に赤外発光輝点を表示させた場合に、表示画面に近接する位置から操作装置で指示することのできる範囲の例を示す説明図である。 本発明の他の実施形態にかかる表示システムにおいて表示装置の表示画面に表示される赤外発光輝点の他の例を示す説明図である。 （ａ）および（ｂ）は、図１９に示した位置に赤外発光輝点を表示させた場合に、表示画面に近接する位置から操作装置で指示することのできる範囲の例を示す説明図である。 本発明の他の実施形態にかかる表示システムの概略構成を示すブロック図である。 本発明の他の実施形態にかかる表示システムの表示装置に備えられる記憶部に保存される、ルックアップテーブルの一例を示す説明図である。 （ａ）および（ｂ）は、本発明の他の実施形態にかかる表示システムにおける、操作装置による指示位置と表示画面における輝点の表示位置との関係を示す説明図である。 （ａ）は、本発明の他の実施形態にかかる表示システムにおいて、表示装置の表示画面と操作装置との距離が長い場合における変更後の各輝点の表示位置の例を示す説明図である。（ｂ）は、本発明の他の実施形態にかかる表示システムにおいて、表示装置の表示画面と操作装置との距離が短い場合における変更後の各輝点の表示位置の例を示す説明図である。 （ａ）および（ｂ）は、従来技術にかかる表示システムにおける、操作装置と表示装置との距離と操作装置による指示位置を検出可能な範囲との関係を示す説明図である。 （ａ）および（ｂ）は、従来技術にかかる表示システムにおける、操作装置と表示装置との距離と操作装置による指示位置を検出可能な範囲との関係を示す説明図である。 （ａ）は従来の表示システムにおける赤外発光輝点の位置および指示位置の一例を示す説明図である。（ｂ）は（ａ）の赤外発光輝点および指示位置を、上下反転していない状態の操作装置で撮像した場合の撮像画像を示す説明図である。 （ａ）は従来の表示システムにおける赤外発光輝点の位置および指示位置の一例を示す説明図である。（ｂ）は（ａ）の赤外発光輝点および指示位置を、上下反転している状態の操作装置で撮像した場合の撮像画像を示す説明図である。

符号の説明

１，１ｂ 表示システム
１０ 液晶表示装置
１１ 表示部（表示パネル）
１２ 制御部
１３ 通信モジュール
２０ 操作装置
２１ 赤外透過フィルタ
２２ レンズ
２３ 撮像素子
２４ 画像処理モジュール
２５ 操作スイッチ
２６ 制御部
２７ 通信モジュール
３１ 表示制御部
３２ ソースドライバ
３３ ゲートドライバ
３５ 距離算出部
３６ 表示位置算出部
３７ 記憶部
３８ 指示位置算出部
５６ カラーフィルタ層
６０ バックライトユニット
６１ 光源
７１ Ａ／Ｄ変換部
７２ 識別情報抽出部
７３ 輝点位置算出部
７４ 輝点間距離算出部
Ｉｒ１，Ｉｒ２，Ｉｒ３ 輝点（赤外発光輝点）

Claims (11)

1. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示装置に設けられた赤外波長域の光を出射する２つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、
   上記撮像画像における上記各赤外発光輝点同士を識別する輝点識別部を備え、
   上記赤外発光輝点のうちの少なくとも１つは、上記表示装置の表示画面内に設けられており、
   上記各赤外発光輝点は、上記輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光するようになっており、
   上記表示画面はマトリクス状に配置された多数の画素を有する表示パネルからなり、
   上記各画素は互いに異なる波長域の光を出射する複数の副画素を備え、
   上記多数の画素のうちの少なくとも一部の画素は、上記副画素として赤外波長域の光を出射する赤外副画素を有しており、
   上記各副画素から出射される光の光量を制御し、上記赤外副画素のうちの少なくとも一部の赤外副画素を上記赤外発光輝点として機能させる表示制御手段を備えていることを特徴とする表示システム。
2. 上記表示パネルは透過型の液晶表示パネルであり、
   上記液晶表示パネルにおける画像表示面とは反対側に配置された、赤外波長域に分光分布を有する光を出射するバックライトと、
   上記液晶表示パネルに備えられ、上記各副画素に対応する領域において当該各副画素に応じた波長域の光を透過するカラーフィルタ層とを備えていることを特徴とする請求項１に記載の表示システム。
3. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示装置に設けられた赤外波長域の光を出射する２つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、
   上記撮像画像における上記各赤外発光輝点同士を識別する輝点識別部を備え、
   上記赤外発光輝点のうちの少なくとも１つは、上記表示装置の表示画面内に設けられており、
   上記各赤外発光輝点は、上記輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光するようになっており、
   上記表示画面はマトリクス状に配置された多数の画素を有する透過型の液晶表示パネルからなり、
   上記液晶表示パネルにおける画像表示面とは反対側に赤，緑，青，赤外の各色の光源が画素毎あるいは複数の画素からなる画素群毎に設けられており、
   上記各画素あるいは上記各画素群における上記各色の光源を時分割で順次駆動することによって上記画像データに応じた画像および上記赤外発光輝点の表示を行う表示制御手段を備えていることを特徴とする表示システム。
4. 上記表示制御手段は、上記赤外発光輝点の表示位置を前回の表示位置よりも上記指示位置検出手段が検出した上記指示位置に近づけるように変更することを特徴とする請求項１から３のいずれか１項に記載の表示システム。
5. 上記表示制御手段は、上記表示画面における上記指示位置に対応する位置に所定の画像を表示させることを特徴とする請求項１から４のいずれか１項に記載の表示システム。
6. 上記各赤外発光輝点は、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つが互いに異なることを特徴とする請求項１から５のいずれか１項に記載の表示システム。
7. 表示画面に表示した上記各赤外発光輝点の位置と上記撮像画像における上記各赤外発光輝点の位置とに基づいて、上記撮像画像を撮像したときの上記操作装置における撮像方向を軸とする回転角度を算出する回転算出部を備え、
   上記指示位置検出手段は、上記撮像画像に含まれる上記各赤外発光輝点の位置と、上記撮像画像における上記指示位置と、表示画面における上記各赤外発光輝点の位置と、上記回転算出部の算出した回転角度とに基づいて表示画面上における上記指示位置を検出することを特徴とする請求項１から６のいずれか１項に記載の表示システム。
8. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示装置に設けられた赤外波長域の光を出射する２つ以上の赤外発光輝点とを備え、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、
   上記表示画面はマトリクス状に配置された多数の画素を有する表示パネルからなり、
   上記各画素は互いに異なる波長域の光を出射する複数の副画素を備え、
   上記多数の画素のうちの少なくとも一部の画素は、上記副画素として赤外波長域の光を出射する赤外副画素を有しており、
   上記各副画素から出射される光の光量を制御し、上記赤外副画素のうちの少なくとも一部の赤外副画素を上記赤外発光輝点として機能させることにより上記赤外発光輝点のうちの少なくとも１つを上記表示装置の表示画面内に設け、
   上記各赤外発光輝点を、上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光させることを特徴とする指示位置の検出方法。
9. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示装置に設けられた赤外波長域の光を出射する２つ以上の赤外発光輝点とを備え、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、
   上記表示画面はマトリクス状に配置された多数の画素を有する透過型の液晶表示パネルからなり、
   上記液晶表示パネルにおける画像表示面とは反対側に赤，緑，青，赤外の各色の光源が画素毎あるいは複数の画素からなる画素群毎に設けられており、
   上記各画素あるいは上記各画素群における上記各色の光源を時分割で順次駆動することによって上記画像データに応じた画像および上記赤外発光輝点の表示を行うことにより上記赤外発光輝点のうちの少なくとも１つを上記表示装置の表示画面内に設け、
   上記各赤外発光輝点を、上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光させることを特徴とする指示位置の検出方法。
10. コンピュータを請求項１から７のいずれか１項に記載の表示システムにおける上記各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
    
    

Images