JP4616559B2 - 表示装置及び表示システム - Google Patents

Description

本発明は、画像データに基づいて画像の表示を行う表示装置及び表示システムに関するものである。

近年、表示画像を見る者（視者）が高い臨場感を得ることができる高臨場感ディスプレイが登場してきている。高臨場感ディスプレイには、大画面での広視野映像表現と同時に表示画像の高精度化、高密度化が要求されている。大画面、広視野映像によって、画像の広がりや奥行き感が得られ、存在感を増す、表示空間と観視者空間とが融合し人間の間隔が画像内容に誘導され、引き込まれる誘導効果を生じるなどの効果を得られる。
このような高臨場感ディスプレイとして、大画面の液晶表示装置、３次元（立体）画像を表示する表示装置がある。現状において、実際に被写体を撮影し、３次元画像を生成するための視差画像列を生成する場合には、古くから、スライドカメラ、ローテイティングカメラ、多点配置カメラなどが用いられていた。通常、カメラを多数置くよりも１つのカメラを上下左右に動かす、又は、被写体を動かし、５００〜１０００枚程度の画像を撮影し、視差画像列を得て、計算により表示媒体に見合った３次元画像を生成する（例えば、特許文献１参照）。
しかし、このようにカメラを動かすことは、時間軸があり、カメラとしてスペースをとるなどの問題があり、特に、一般家庭に普及するには大きな問題となっていた。
また、多点配置カメラでは、カメラ間に大きな隙間ができる、システムが安価に作製できないという問題があった。
更に、表示装置は、家庭におけるＡＶシステムの中心的な存在であるとともに、近年の表示画面の拡大に伴い、より広い場所が占有されるようになり、より多機能で利便性の高い表示装置が要請されている。

一方、デジタル放送によって、視者がクイズ番組に参加するなどの双方向での情報のやりとりができる表示装置、インターネット（ブロードバンド）への接続機能を備えるテレビジョン用の表示装置などが登場してきている。これらの表示装置において、視者がクイズ番組の解答を選択する、アクセスするホームページを選択するなど、視者の選択情報を入力するため、画面上の任意の位置を視者が指定でき、選択の幅の広いマウスを利用することが考えられる。しかし、視者は、離れた場所において、ソファーなどに座りながらリモコン片手に表示画面を見ているのが通常であって、マウスを操作する場所を確保し、使用するとすれば、利便性に欠けるという問題があった。一方、視者がリモコンに設けられているキーボードを押すことによって、視者の選択情報を入力する方法もあるが、選択肢が限定され、操作性が低いという問題があった。

これらの問題に対応し、簡単な構成の遠隔ポインティングデバイスで、ディスプレイ上の任意の位置を指し、その位置を機械に取り込めるような情報入力システムがある（例えば、特許文献２参照。）。
しかし、この情報入力システムは、ディスプレイに対するポインティングデバイス上の少なくとも２点の座標を、超音波などの弾性波の到達時間に基づいて３次元的に測定し、ディスプレイ上の指している位置を演算して入力する、つまり、間接的にディスプレイ上の指している位置を入力するため、精度に欠けるおそれがあった。
また、テレビ電話に使用されるディスプレイには、表示画面の周囲にカメラ及びマイクが配置され、ここで取り込まれた映像や音声が通話相手に送信されているが、通話者が通話相手の表示されている表示画面を見ながら会話を行った場合、通話相手の表示画面には相手を正視していない映像が映し出されるという問題があった。更に、カメラの方向を向いて通話した場合には、表示画面で通話相手の表情を見ることができないという問題があった。
特開２０００−６６５６８号 特開平９−２１２２８８号

本発明の課題は、立体画像の生成及び表示を容易化するなど、多機能で利便性の高い表示装置及び表示システムを提供することである。

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施例に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、画像データに基づいて画像を表示画面（１１）に表示する表示装置において、前記表示画面を構成する画素のうちいずれか複数又は全ての画素の各画素（１１ａ）毎に、前記画素を形成する表示素子（１３）と共に集積され、光を受光する受光部と、前記表示素子及び前記受光部と共に集積され、前記受光部により受光された光について光電変換を行う光電変換素子（１４、１４−２）と、前記表示画面に入射する光に基づく被写体像を複数の受光部に結像する撮像光学部（２１）と、前記光電変換素子毎に出力される被写体像についての画像信号を合成して、立体画像の画像データを生成し、生成した画像データに基づく画像を前記表示画面に表示する画像データ生成部（３５）と、前記撮像光学部は、前記表示画面の異なる複数の領域のいずれかに対応する複数の光学ブロックを有する複眼撮像系であって、前記各光学ブロックは、対応する前記表示画面上の領域に外部から伝播する光から、対応する複数の前記光電変換素子の受光部に被写体像を結像し、前記光学ブロックに対応する複数の光電変換素子は、前記表示画面のいずれか複数又は全ての画素の各画素毎に前記画素を形成する表示素子とともに集積され、前記複眼撮像系は、複数のレンズが平面上に、規則的に、又は、対応する複数の前記光電変換素子の受光部の中央に前記表示画面に対向する被写体の像を結像するように、配置されたレンズアレイを含み、前記複数のレンズは、対応する複数の前記光電変換素子の受光部の中央に、前記表示画面に対向する被写体の像を結像するように、配置位置に応じて前記平面から傾斜していること、を特徴とする表示装置（１０、１０−２）である。

請求項２の発明は、請求項１に記載の表示装置において、前記光学ブロックに入射する光量を制限する絞り手段を備えること、を特徴とする表示装置である。

請求項３の発明は、請求項１又は請求項２に記載の表示装置において、前記各光学ブロックに対応する複数の前記光電変換素子ごとに出力される被写体像についての画像信号に基づいて、前記表示画面に対向する被写体までの距離を測定する距離測定手段（３５）を備えること、を特徴とする表示装置（１０、１０−２）である。

請求項４の発明は、請求項３に記載の表示装置において、前記画像データ生成部は、前記距離測定手段によって測定された距離に応じて、前記各光学ブロックに対応する複数の前記光電変換素子ごとに出力される被写体像についての画像信号を合成し、画像データを生成すること、を特徴とする表示装置（１０、１０−２）である。

請求項５の発明は、請求項１に記載の表示装置において、前記各受光部の検出結果、又は、この検出結果及び前記受光部の対応する領域の表示画面上における位置に基づいて、前記表示画面に表示される画像を見る視者がこの表示画面上において指示している位置を測定する指示位置測定手段を備えること、を特徴とする表示装置である。

請求項６の発明は、請求項５に記載の表示装置において、前記指示位置検出手段によって検出された位置を示す指示位置情報を表示すること、を特徴とする表示装置である。

請求項７の発明は、請求項１に記載の表示装置において、前記各受光部の検出結果、又は、この検出結果及び前記受光部の対応する領域の表示画面上における位置に基づいて、前記表示画面に伝播する光の送出元の位置を測定する位置測定手段と、を備える表示装置である。

請求項８の発明は、請求項７に記載の表示装置において、前記位置測定手段は、前記表示画面に表示される画像を見る視者の位置を測定すること、を特徴とする表示装置である。

請求項９の発明は、請求項１から請求項８までのいずれか１項に記載の表示装置と、前記表示装置の表示を見る視者の操作に応じて、この視者の位置から前記表示装置の表示画面へ光を送出する波動送出手段を有する視者操作装置（４０）と、を備える表示システムである。

本発明による表示装置又は表示システムによれば、以下の効果を得ることが可能となる。
（１）複数の画像信号を合成することによってより解像度の高い画像データを生成するなど、所望の画像データを容易に得る。また、立体画像の画像データを生成することによって、立体画像の生成及び表示を容易化し、例えば、一般家庭での使用の実現性を向上する。
（２）複数の光学ブロックを有する複眼光学部を備えることによって、撮像光学部の光進行方向の厚さを薄くし、撮像光学部を備えることによる表示装置自体の厚みの増加を抑制する。また、複数の視差画像を容易に得る。
（３）光学ブロックに対応する複数の光電変換素子を各画素毎に集積することによって、より多くの視差画像を得ることが可能となる。
（４）レンズアレイを複眼光学部として用いることによって、構造を単純化し、製造コストの低減を図る。また、レンズが対応する複数の前記光電変換素子の受光部の中央に前記表示画面に対向する被写体の像を結像するように、配置されたレンズアレイを用いることによって、レンズによって結像される被写体像が光電変換の受光部から外れることを防止する。
（５）配置位置に応じてレンズが傾斜することによって、レンズによって結像される被写体像が光電変換の受光部から外れることを防止する。
（６）絞り手段を備えることによって光電変換素子に結像する被写体像の範囲を限定する。
（７）被写体までの距離を測定することによって、撮像などの機能を向上する。
（８）測定された距離に応じて、画像データを生成することによって、画像データの生成におけるパラメータを増やし、生成される画像データの精度を向上する。
（９）検出結果などに基づいて視者の指示している位置を測定することによって、視者による表示画面上の位置の指示を容易化する。
（１０）指示位置情報を表示することによって、視者に指示している位置を通知し、視者の利便性を向上する。
（１１）光の送出元の位置を測定することによって、例えば、この位置に応じて画像データを生成し、画像データの精度を向上する。
（１２）視者の位置を測定することによって、視者の位置に適した画像の表示、視者に焦点を合わせた画像データの生成など、機能を向上する。
（１３）視者の操作に応じて、光を送出することによって、視者が表示装置を遠隔操作することができ、より利便性を向上する。

本発明は、立体画像の生成及び表示を容易化するなど、多機能で利便性の高い表示装置及び表示システムを提供するという目的を、画像を表示する表示画面と、表示画面の画素を形成する複数の表示素子と、この表示素子と対で接続され表示画面の画素に対して入射する光を検出する光電変換素子と、対応する複数の光電変換素子の受光部に被写体像を結像する光学ブロックを複数含む複眼光学系と、各光学ブロックに対応する複数の光電変換素子毎に出力される被写体像についての画像信号を合成し、画像データを生成する画像データ生成部とを備えることによって実現する。

図１は、本発明による表示装置の実施例１を示す図であって、図１（ａ）は、表面図、図１（ｂ）は、図１（ａ）の部分的な透視図である。
表示装置１０は、カラーの表示機能に加えてカラーの撮像機能を備えている。
図１に示すように、表示装置１０は、縦１０８０画素、横１９２０画素（１．２ｍ×２．２ｍ）の１００インチの大画面の表示画面１１を有し、液晶を封入する２枚のプラスチック基板（又はガラス基板。表示装置１０の表示画面１１のサイズが大きい場合には、プラスチック基板を用いることが望ましい。）にストライプ状の電極を違いにクロスするように配置したアクティブマトリクス駆動方式のディスプレイであって、画素がマトリクス状に形成されている。表示装置１０は、サブ画素１１ａ毎に、表示撮像モジュール１２が形成されている。表示撮像モジュール１２は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）１３１、コンデンサ１３２などの表示素子１３と、光センサ１４などの光電変換素子とを備え、ＴＦＴ１３１及び光センサ１４は、アモルファスシリコン、ポリシリコン、シリコン単結晶などで形成されている。なお、駆動方法、表示素子、光センサの種類は、これらに限定されるものではない。また、サブ画素１１ａとは、画素（１０８０×１９２０）をさらに三つに区切って、三原色（ＲＧＢ）のカラーフィルタで表示する色をそれぞれ割り当てたものである。従って、表示装置１０は、画素数×３の表示撮像モジュール１２を備えている。サブ画素１１ａへの三原色の割り当て方法は、ベイヤー配列など、様々な方法があるが、いずれであってもよい。

図２は、表示素子１３及び光センサ１４の接続を示す回路図である。図２は、２×２のサブ画素１１ａを示し、マトリクス状になっている縦線が各ＴＦＴ１３１のソース電極に接続されているソース電極線１５、横線がゲート電極に接続されているゲート電極線１６をそれぞれ示している。
図２に示すように、各サブ画素１１ａには、ＴＦＴ１３１、光センサ１４、コンデンサ１３２などが集積されている。ＴＦＴ１３１のドレイン電極は、２枚のガラス基板（プラスチック基板でもよい。以下、同様。なお、表示画面１１のサイズが大きい場合には、プラスチック基板が望ましい。）に封入されている液晶及び光導電膜に電圧を付加するための表示電極を介してコンデンサ１３２及び光センサ１４に接続され、コンデンサ１３２及び光センサ１４は、液晶などの媒介を介して表示電極と対向するガラス基板上の共通電極に接続されている。光が光センサ１４に入射することによって、その光量に比例した光電流によってコンデンサ１３２に蓄積されている電荷が放電するため、この放電速度によって、対象画素の階調を検出することができる。

図３は、本発明による入力装置の複眼撮像系の構造を示す分解斜視図である。
図３に示すように、表示装置１０は、表示画面１１と平行に積層されている、レンズアレイ２１などの複眼光学系と、遮光壁２２と、光センサ１４が規則的に配置されている光センサアレイ２３とを備え、複数の撮像ブロックを含む複眼撮像系２０を備えている。
レンズアレイ２１は、表示画面１１に対して略平行な平面上において縦横に配置された複数の撮像レンズ２１１である。各撮像レンズ２１１などの光学ブロックは、外部から表示画面１１へ伝播する光から、光センサアレイ２３のうちの対応する複数の光センサ１４の受光部に、遮光壁２２を介してそれぞれ被写体像を結像する。各撮像レンズ２１１が光センサの受光部に結像する被写体像は、この撮像レンズ２１１が配置されている位置に応じた視差、つまり、最小で各撮像レンズ２１１の中心間距離、最大で略表示画面１１の対角線距離の分だけの視差を有している。

遮光壁２２は、レンズアレイ２１及び対応する複数の光センサ１４間に設けられている格子状の隔壁であって、各撮像レンズ２１１によって取り込まれる光の漏れなどの光信号の混信を防止する。
各撮像レンズ２１１に対応する複数の光センサ１４は、この被写体像の光学信号を画像信号に変換して画像データ出力回路３４（後述する図４参照。）へ出力する。一の撮像レンズ２１１に対して、複数の光センサ１４及び遮光壁２２の一格子部分が対応し、これらが一組となって、一の撮像ブロックを構成し、各撮像ブロックが視差を有する被写体像についての画像信号を生成する。なお、説明の便宜上、遮光壁２２で区切られた１６（４×４）の撮像ブロックからなる複眼光学系を示しているが、撮像ブロックの数は、これに限定されず、対応する複数の光センサ１４毎に複数、設けられていればよい。

図４は、本発明による表示装置の回路の構成を示すブロック図である。
表示装置１０は、液晶パネルのガラス基板上の額縁に設けられている、ソースドライバＩＣ３１、ゲートドライバＩＣ３２、センサ制御用ＩＣ３３、画像データ出力回路３４などと、これらの回路にバスを介して接続されている信号処理回路３５、制御用ＣＰＵ３６、記憶部３７などとを備えている。
記憶部３７は、画像データ出力回路３４から出力される画像データ、信号処理回路３５によって生成される画像データなどを記憶するハードディスクなどの記憶装置である。制御用ＣＰＵ３６は、表示装置１０全体を統括制御する。

ソースドライバＩＣ３１及びゲートドライバＩＣ３２は、ソース電極線１５及びゲート電極線１６にそれぞれ接続され、制御用ＣＰＵ３６からの指示に応じて、各電極線に所定のタイミングで電圧を付加することによって、各表示素子１３を駆動させ、表示画面１１に画像を表示する。センサ制御用ＩＣ３３は、コンデンサ１３２に電荷を蓄積させる、光センサ１４から光電変換した画像信号を送出させるなど、制御用ＣＰＵ３６からの指示に応じて光センサ１４の動作を制御し、画像信号を入力する。画像データ出力回路３４は、光センサ１４から出力されたアナログの画像信号をデジタルデータに変換する、データをシリアル化するなど、処理に適するように画像信号を変換し、記憶部３７へ書き込む。

信号処理回路３５は、記憶部３７に書き込まれた、複数の視差画像についての画像データに基づいて所定の処理を行う。例えば、これらの画像データについて、相関演算を行い、合成し、解像度の高い正視画像データなどの一の画像データを生成する。また、各画像データのオーバーラップ部分の画像の対応点を検出し、各画像データを補正し、複数の補正データについて相関演算を行い、画像データを合成する。更に、パノラマ画像など、アスペクト比の異なる画像についての画像データを生成する。つまり、一の被写体がオーバーラップして撮像された複数の画像データが得られるため、所定の演算を行い、比較、合成、トリミングなどを行うことによって所望の画像データを得ることができる。生成された画像データは、制御用ＣＰＵ３６の指示に応じて表示画面１１に表示される。

また、信号処理回路３５は、複数の画像データから３次元（立体）画像を生成してもよい。複数の視差画像から３次元表示画像を生成する場合の方法として、イメージベースドレンダリングという手法が主に用いられている。
この手法は、図５に示すように、先ず、多数の撮像ブロックによって多数の視差画像データを得る（Ｓ１１０）。次にこの画像データ群からエピポーラ平面画像を生成する（Ｓ１２０）。補間処理を行い（Ｓ１３０）、表示装置１０に合わせた視点の画像を生成する（Ｓ１４０）。この生成した画像を表示画面１１に表示する（Ｓ１５０）。なお、イメージベースドレンダリングについての詳細は、文献；吉川浩志、高木康博著（ともに東京農工大学）“３Ｄ Ｉｍａｇｅ Ｃｏｍｆｅｒｅｎｃｅ ２００３指向性画像の高密度表示に用いる三次元カメラの開発”に記載されている。

一方、信号処理回路３５が、複数の視差画像と、三角測量の原理に基づいて、被写体への距離を算出するなど、表示装置１０は、受動的原理に基づく距離画像センサの機能を備えていてもよい。被写体が表示装置１０の視者である場合には、視者のいる位置に応じて画像データを生成し、表示するなど、算出した距離に基づいて種々の処理を行うことが可能である。

このように、表示装置１０は、複眼撮像系２０を備えるため、正面を正視している視者の画像データを容易に得るなど、表示画面１１に対向する被写体について容易に撮像することができ、テレビ電話において違和感のない通話が可能となった。また、表示画面１１方向に視差を有する複数の画像データを容易に得ることが可能となった。
更に、光センサ１４は、サブ画素１１ａ毎に集積され、表示素子１３と対で接続され、また、複数のレンズが略同一平面上に配置されたレンズアレイ２１を備え、複眼光学系によって撮像を行うため、撮像光学系の光進行方向の厚さを薄くし、撮像光学系を備えることによる表示装置１０自体の厚みの増加を抑制することが可能となった。更にまた、容易に複数の視差画像を得ることが可能となった。

また、レンズアレイ２１を複眼光学系２０として用いることによって、構造を単純化し、製造コストの低減を図ることが可能となった。
更に、光センサ１４が表示素子１３と対で接続し、サブ画素１１ａ毎に集積されることによって、コンデンサ１３２、ゲート電極線１６、ソース電極線１５などの表示機能を実現する構成要素を検出機能の実現に兼用することが可能となった。
更にまた、表示装置１０は、この複数の画像データを元に所定の処理を行うことによって、解像度の高い正視画像の生成、視者などの被写体までの距離の測定、３次元画像データの生成などを容易に行うとともに、利便性を向上することが可能となった。
また、測定された距離に応じて、画像データを生成することによって、画像データの生成におけるパラメータを増やし、生成される画像データの精度を向上することが可能となった。

図６は、本発明による表示装置の実施例２を示す図であって、図６（ａ）は、表面図、図６（ｂ）は、図６（ａ）の部分的な透視図、図６（ｃ）は、図６（ｂ）のＰ−Ｐ’断面図である。なお、前述した実施例１と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図６に示すように、表示装置１０−２は、実施例１における表示装置１０と同様のサイズ、略同様の構成を有し、撮像素子部１４−２を含む表示撮像モジュール１２−２を備えている。また、表示装置１０−２は、撮像素子部１４−２の受光部に被写体像を結像するための撮像レンズ２１１−２、撮像レンズ２１１−２で入力した光信号の混信を防止する遮光壁２２−２などを備えている。
撮像素子部１４−２は、撮像レンズ２１１−２に対応する複数の微小な光センサが同一平面上に規則的に配置されたものであって、これらの複数の微小な光センサは、全ての画素の各画素内に一の表示素子１３とともに集積されている。撮像素子部１４−２は、受光部に結像された被写体像を光電変換し、画像信号出力回路３４へ出力する。従って、表示装置１０−２は、サブ画素１１ａ毎に視差画像データを取得する。

このように、表示装置１０−２は、実施例１と同様の効果に加え、サブ画素１１ａ毎に視差画像データを取得する、つまり、多数の視差画像を得ることが可能となった。また、これらを合成することによって、より解像度の高い正視画像の生成、視者などの被写体までの距離のより正確な測定、より効果的な３次元画像データの生成などを行うとともに、利便性を向上することが可能となった。

（変形例）
以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。例えば、各実施例において、表示装置１０，１０−２は、撮像レンズ２１１，２１１−２の外側に、入射する光量を制限する開口絞りを備えていてもよい。開口絞りは、板状の遮光部材に撮像レンズ２１１，２１１−２などの光学ブロックの数だけ、それぞれの光学ブロックの視野領域に対応する大きさの開口をあけて形成される。開口絞りによって、各光学ブロックによって光センサ１４又は撮像素子部１４−２の受光部に結像する被写体像の範囲を限定することが可能となる。

各実施例において、撮像レンズ２１１，２１１−２は、対応する複数の光センサ１４又は撮像素子部１４−２の受光部の中央に表示画面１１に対向する被写体の像を結像するように、レンズアレイ２１における配置位置に応じて、この配置平面から傾斜していてもよい。表示画面１１に対向する被写体までの距離が短い場合（表示画面１１に対する光の入射角が小さい場合）であっても、撮像レンズ２１１，２１１−２が受光部に被写体像を結像することが可能となる。
また、撮像レンズ２１１，２１１−２は、光センサ１４又は撮像素子部１４−２の受光部に対向するように、直上に配置されているが、表示画面１１の外寄りの領域に対応する光センサ１４又は撮像素子部１４−２に被写体像を結像する撮像レンズ２１１，２１１−２を直上からやや内側よりに配置するなど、受光部の中央に被写体の像を結像するように配置してもよい。

各実施例において、表示装置１０，１０−２は、１００インチの表示画面１１を備えているが、これに限定されるものではなく、入力条件の異なる複数の画像データを得ることができれば、画面サイズは限定されない。なお、サイズが大きければ大きいほど、臨場感が大きく、また、視差の大きい複数の画像データを得ることができる。表示画面１１の解像度（画素数）についても同様である。
従って、デジタルカメラが表示装置１０，１０−２を備えていてもよい。容易に撮影者を被写体とすることが可能である。

各実施例において、信号処理回路３５は、記憶部３７に予め記憶されている画像データに、撮像して生成した視者などの被写体の画像データを合成してもよい。例えば、プリクラ（登録商標）のように、背景画像を記憶部３７に予め記憶しておいて、視者の画像データを合成し、表示画面１１に表示してもよい。視者の視線が表示画面１１に向き、正視画像を容易に得ることができ、鏡の役割をさせることが可能となる。これによって、自分の姿をかがみに写すように撮影し、予め記憶部に記憶した好みの衣服を自分の姿に着せ替えのように表示することができる。
同様に、過去の自分好みのヘアースタイルやインターネットなどから取り込んだヘアーカタログを記憶部３７に記憶させておき、取り込んだ自分の画像を基にシミュレーションし、イメージ作りを行った上でＩＣメモリーメディア、リムーバルディスクなどの携帯型の情報記憶媒体に記録させる。カットの際は、入店した美容室や理髪店にある同様の表示装置１０，１０−２へＩＣメモリーメディアよりデータを転送し、この表示装置１０，１０−２に理想のイメージを表示し、それに従ったカットをすることができる。また、自宅における化粧のときにも、日頃関心のあるテクニックなどをインターネットで取り込み、記憶部３７に記憶させておいてシミュレーションすることも可能である。

また、視者が操作するレーザポインタによって送出される所定の周波数のレーザ光を検出することによって、表示画面上において視者が指示している位置を直接的に測定することができ、ＰＣにおけるマウスのように視者の選択情報を容易に入力することが可能となる。更に、可視光を送出しないポインタであっても、検出した指示位置を示すアイコンなどの指示位置情報を表示することによって視者に指示位置を通知することが可能である。
種々の電磁波又は弾性波をその性質に応じて利用し、視者から表示画面１１に向けて送出し、表示装置１０，１０−２側で検出することによって、より利便性の向上を図ることが可能となる。
一方、表示装置１０をディジタル放送の表示装置として使用した場合には、図７に示すような、チューナやＳＴＢ（セットトップボックス）のリモコン４０の指示信号を検出するセンサを表示画面１１全体にわたり配置してもよい。表示画面１１全体が受信部となり、視者の利便性を向上することが可能となる。

各実施例において、表示装置１０，１０−２は、サブ画素１１ａ毎に光センサ１４又は撮像素子部１４−２を備えているが、一部のサブ画素１１ａに備えていてもよい。例えば、市松模様の黒色部分の画素に備えていてもよく、表示画面１１の中心を原点とした水平軸及び／又は垂直軸状などに備えていてもよい。複数の光センサ１４又は撮像素子部１４−２が表示画面１１の異なる領域に対応していればよい。

本発明による表示装置を示す表面図及び透視図である。（実施例１） 表示素子１３及び光センサ１４の接続を示す回路図である。（実施例１） 本発明による入力装置の複眼撮像系の構造を示す分解斜視図である。（実施例１） 本発明による表示装置の回路の構成を示すブロック図である。（実施例１） イメージベースドレンダリングによる３次元画像の生成手順を示すフローチャートである（実施例１）。 本発明による表示装置を示す表面図、透視図及び断面図である。（実施例２） 本発明による表示システムの視者操作装置を示す図である。

符号の説明

１０，１０−２ 表示装置
１１ 表示画面
１１ａ サブ画素
１２ 表示撮像モジュール
１３ 表示素子
１４ 光センサ
１４−２ 撮像素子部
２０ 複眼撮像系
２１ レンズアレイ
２２ 遮光壁
２３ 光センサアレイ
３５ 信号処理回路
３６ 制御用ＣＰＵ
３７ 記憶部
４０ リモコン

Claims (9)

1. 画像データに基づいて画像を表示画面に表示する表示装置において、
   前記表示画面を構成する画素のうちいずれか複数又は全ての画素の各画素毎に、前記画素を形成する表示素子と共に集積され、光を受光する受光部と、
   前記表示素子及び前記受光部と共に集積され、前記受光部により受光された光について光電変換を行う光電変換素子と、
   前記表示画面に入射する光に基づく被写体像を複数の受光部に結像する撮像光学部と、
   前記光電変換素子毎に出力される被写体像についての画像信号を合成して、立体画像の画像データを生成し、生成した画像データに基づく画像を前記表示画面に表示する画像データ生成部と、を備え、
   前記撮像光学部は、前記表示画面の異なる複数の領域のいずれかに対応する複数の光学ブロックを有する複眼撮像系であって、
   前記各光学ブロックは、対応する前記表示画面上の領域に外部から伝播する光から、対応する複数の前記光電変換素子の受光部に被写体像を結像し、
   前記光学ブロックに対応する複数の光電変換素子は、前記表示画面のいずれか複数又は全ての画素の各画素毎に前記画素を形成する表示素子とともに集積され、
   前記複眼撮像系は、複数のレンズが平面上に、規則的に、又は、対応する複数の前記光電変換素子の受光部の中央に前記表示画面に対向する被写体の像を結像するように、配置されたレンズアレイを含み、
   前記複数のレンズは、対応する複数の前記光電変換素子の受光部の中央に、前記表示画面に対向する被写体の像を結像するように、配置位置に応じて前記平面から傾斜していること、
   を特徴とする表示装置。
2. 請求項１に記載の表示装置において、
   前記光学ブロックに入射する光量を制限する絞り手段を備えること、
   を特徴とする表示装置。
3. 請求項１又は請求項２に記載の表示装置において、
   前記各光学ブロックに対応する複数の前記光電変換素子ごとに出力される被写体像についての画像信号に基づいて、前記表示画面に対向する被写体までの距離を測定する距離測定手段を備えること、
   を特徴とする表示装置。
4. 請求項３に記載の表示装置において、
   前記画像データ生成部は、前記距離測定手段によって測定された距離に応じて、前記各光学ブロックに対応する複数の前記光電変換素子ごとに出力される被写体像についての画像信号を合成し、画像データを生成すること、
   を特徴とする表示装置。
5. 請求項１に記載の表示装置において、
   前記各受光部の検出結果、又は、この検出結果及び前記受光部の対応する領域の表示画面上における位置に基づいて、前記表示画面に表示される画像を見る視者がこの表示画面上において指示している位置を測定する指示位置測定手段を備えること、
   を特徴とする表示装置。
6. 請求項５に記載の表示装置において、
   前記指示位置検出手段によって検出された位置を示す指示位置情報を表示すること、
   を特徴とする表示装置。
7. 請求項１に記載の表示装置において、
   前記各受光部の検出結果、又は、この検出結果及び前記受光部の対応する領域の表示画面上における位置に基づいて、前記表示画面に伝播する光の送出元の位置を測定する位置測定手段と、
   を備える表示装置。
8. 請求項７記載の表示装置において、
   前記位置測定手段は、前記表示画面に表示される画像を見る視者の位置を測定すること、
   を特徴とする表示装置。
9. 請求項１から請求項８までのいずれか１項に記載の表示装置と、
   前記表示装置の表示を見る視者の操作に応じて、この視者の位置から前記表示装置の表示画面へ光を送出する波動送出手段を有する視者操作装置と、
   を備える表示システム。

Images