JP6569449B2 - 表示システム、プロジェクター及び表示システムの制御方法 - Google Patents

Description

本発明は、表示システム、プロジェクター及び表示システムの制御方法に関する。

一つの画面を分割して複数のプロジェクターで表示する発明として、例えば特許文献１に開示されたシステムがある。このシステムにおいては、複数のプロジェクターの各々に画像出力装置が接続されており、各画像出力装置には、画像描画装置が生成した描画像に係る描画像データが送られる。各画像出力装置は、描画像データの画像から、接続されているプロジェクターが表示する部分を切り出し、切り出した画像に係る部分画像データを出力する。各プロジェクターが画像出力装置から供給される部分画像データの画像を投写すると、各プロジェクターが投写した画像が並び、一つの画面として表示される。
また、特許文献２においては、検知した指示体の指示位置に画像を描画する描画モードと、ＰＣ（Personal Computer）のポインティングデバイスとして指示体を使用するためのＰＣ操作モードを備えたプロジェクションシステムが開示されている。このシステムによれば、投写された画面上において指示体で描画を行うことや、指示体でＰＣの操作を行うこともできる。

特開２００８−１１６８７４号公報 特開２０１３−２４７４８６号公報

指示体をポインティングデバイスとして使用する技術に対し、一つの画面を分割して複数のプロジェクターで表示する技術を組み合わせた場合、複数のプロジェクターのそれぞれをＰＣへ接続し、指示体の位置の情報を各プロジェクターからＰＣへ送る構成とすると、ＰＣとプロジェクターとの接続が煩雑となる。

本発明は、複数のプロジェクターと情報処理装置との接続を煩雑にせずに指示体で情報処理装置を操作できる技術を提供する。

本発明は、情報処理装置と、第１プロジェクターと、第２プロジェクターを備え、前記情報処理装置が出力する画像の第１部分を前記第１プロジェクターが投写面に対して投写し、前記画像の第２部分を前記第２プロジェクターが前記投写面に対して投写する表示システムであって、前記第２プロジェクターは、前記第２部分を前記投写面へ投写する第２投写部と、前記投写面に投写された前記第２部分に対する指示体の位置を検知し、前記第２部分の座標系における前記指示体の位置を表す第２位置情報を生成する検知部と、前記検知部が生成した第２位置情報を前記第１プロジェクターへ送信する第２送信部とを有し、前記第１プロジェクターは、前記第１部分を前記投写面へ投写する第１投写部と、前記第２送信部が送信した前記第２位置情報を受信する受信部と、前記受信部が受信した前記第２位置情報を前記画像の座標系に応じて変換して得られた位置情報又は前記受信部が受信した前記第２位置情報を、第１位置情報として前記情報処理装置へ送信する第１送信部とを有し、前記情報処理装置は、前記第１送信部が送信した前記第１位置情報を受信し、受信した前記第１位置情報に応じた処理を行う表示システムを提供する。
本発明によれば、複数のプロジェクターと情報処理装置との接続を煩雑にせずに指示体で情報処理装置を操作することができる。

本発明においては、前記第１プロジェクターは、前記受信部が受信した前記第２位置情報を前記画像の座標系に応じて前記第１位置情報に変換する座標変換部を有する構成としてもよい。
この構成によれば、第１プロジェクターが第２位置情報の変換を行うため、情報処理装置において位置情報の変換を行わず、位置情報を利用できる。

また、本発明においては、前記第１送信部は、前記第２位置情報を前記第１位置情報として送信する場合、前記第２部分を表す情報を前記第１位置情報と共に前記情報処理装置へ送信し、前記情報処理装置は、前記第１送信部が送信した前記第２部分を表す情報と前記第１位置情報を受信し、受信した前記第２部分を表す情報と当該第１位置情報に応じた処理を行う構成としてもよい。
この構成によれば、情報処理装置において、第１プロジェクターから送信される第１位置情報を変換し、変換後の第１位置情報に応じて処理を行うことができる。

また、本発明においては、前記第１プロジェクターは、前記投写面に投写された前記第１部分の画像に対する指示体の位置を検知し、前記第１部分の座標系における前記指示体の位置を表す位置情報を生成する第２検知部を有し、前記指示体が前記第１部分と前記第２部分の境界を跨いで移動した場合、前記第２検知部が生成した位置情報と前記第２位置情報を同一の指示体の位置情報とする構成としてもよい。
この構成によれば、指示体が第１部分と第２部分との境界を跨いで移動しても、同一の指示体の位置情報として処理することができる。

また、本発明においては、前記指示体はユーザーの指であり、前記指が前記第１部分と前記第２部分の境界を跨いで移動した場合、前記第２検知部が生成した位置情報と前記第２位置情報を同一の指の位置情報とする構成としてもよい。
この構成によれば、指示体である指が第１部分と第２部分との境界を跨いで移動しても、同一の指の位置情報として処理することができる。

また、本発明は、情報処理装置が出力する画像の第１部分を投写面へ投写する投写部と、情報処理装置が出力する画像の第２部分を前記投写面へ投写し、前記投写面に投写された前記第２部分に対する指示体の位置を検知し、前記第２部分の座標系における前記指示体の位置を表す第２位置情報を送信する第２プロジェクターから前記第２位置情報を受信する受信部と、前記受信部が受信した前記第２位置情報を前記画像の座標系に応じて変換して得られた位置情報又は前記受信部が受信した前記第２位置情報を、第１位置情報として前記情報処理装置へ送信する第１送信部とを備えるプロジェクターを提供する。
本発明によれば、複数のプロジェクターと情報処理装置との接続を煩雑にせずに指示体で情報処理装置を操作することができる。

また、本発明は、情報処理装置と、第１プロジェクターと、第２プロジェクターを備え、前記情報処理装置が出力する画像の第１部分を前記第１プロジェクターが投写面に対して投写し、当該画像の第２部分を前記第２プロジェクターが前記投写面に対して投写する表示システムの制御方法であって、前記第２プロジェクターが、前記投写面に投写された前記第２部分に対する指示体の位置を検知し、前記第２部分の座標系における前記指示体の位置を表す第２位置情報を生成するステップと、前記第２プロジェクターが、前記第２位置情報を前記第１プロジェクターへ送信するステップと、前記第１プロジェクターが、前記第２位置情報を受信するステップと、前記第１プロジェクターが、前記第２位置情報を前記画像の座標系に応じて変換して得られた位置情報又は前記第２位置情報を、第１位置情報として前記情報処理装置へ送信するステップと、前記情報処理装置が、前記第１位置情報を受信し、受信した前記第１位置情報に応じた処理を行うステップとを備える表示システムの制御方法を提供する。
本発明によれば、複数のプロジェクターと情報処理装置との接続を煩雑にせずに指示体で情報処理装置を操作することができる。

表示システム１を構成する装置を示した図。 プロジェクター１０と指示体２０のハードウェア構成を示した図。 制御部１１０Ｂにおいて実現する機能の機能ブロック図。 制御部１１０Ａにおいて実現する機能の機能ブロック図。 動作例を説明するためのシーケンス図。 スクリーンＳＣに表示される画面の一例を示した図。 動作例を説明するための図。 動作例を説明するための図。 動作例を説明するための図。

図１は、本発明の一実施形態に係る表示システム１を構成する装置を示した図である。表示システム１は、表示面となるスクリーンＳＣに画像を投写するプロジェクター１０Ａ（第１プロジェクター）、プロジェクター１０Ｂ（第２プロジェクター）、指示体２０、情報処理装置３０及び分配装置４０で構成されている。

表示装置の一例であるプロジェクター１０Ａ、１０Ｂは、情報処理装置３０に有線又は無線により接続され、他の装置から供給された映像信号が表す画像をスクリーンＳＣへ投写する。この映像信号は、画像を表す画像情報の一例である。また、プロジェクター１０Ａ、１０Ｂは、指示体２０を情報処理装置３０のポインティングデバイス（デジタイザー）として使用するためのＰＣ操作機能を備えている。プロジェクター１０Ａ、１０Ｂは、スクリーンＳＣの斜め上方に設置され、スクリーンＳＣに向けて映像を投写する。なお、本実施形態においては、プロジェクター１０Ａ、１０Ｂは、スクリーンＳＣへ映像を投写するが、スクリーンＳＣの替わりに壁面（表示面）に映像を投写してもよい。また、本実施形態においては、プロジェクター１０Ａ、１０Ｂは、金具によって壁面に設置される構成となっているが、天井に設置してもよい。また、机上に設置し、スクリーンＳＣの替わりに机上に映像を投写してもよい。

ペン型の指示体２０は、プロジェクター１０又は情報処理装置３０を操作するためのポインティングデバイスとして機能する。
情報処理装置３０は、本実施形態においては、パーソナルコンピューターである。

分配装置４０は、情報処理装置３０から供給される映像信号をプロジェクター１０Ａ、１０Ｂへ分配する装置である。分配装置４０は、情報処理装置３０から供給される映像信号からプロジェクター１０Ａに供給する映像信号及びプロジェクター１０Ｂへ供給する映像信号を生成し、生成した各映像信号を、プロジェクター１０Ａ、１０Ｂへ供給する。本実施形態においては、分配装置４０は、情報処理装置３０から供給される映像信号が表す画像を左右２つの画像に分割し、左側の画像（第１部分）の映像信号をプロジェクター１０Ａへ供給し、右側の画像（第２部分）の映像信号をプロジェクター１０Ｂへ供給する。

プロジェクター１０Ａは、分配装置４０から供給される映像信号が表す左側の画像を投写し、プロジェクター１０Ｂは、分配装置４０から供給される映像信号が表す右側の画像を投写する。プロジェクター１０Ａが投写する左側の画像とプロジェクター１０Ｂが投写する右側の画像を左右に並べて表示（所謂タイリング表示）することにより、情報処理装置３０が供給する映像信号の画像を、一台のプロジェクターで投写する場合より大きく表示できる。

図２は、プロジェクター１０Ａ、１０Ｂ及び指示体２０のハードウェア構成を示した図である。指示体２０は、制御部２１０、発光部２３０、操作部２４０、電源２５０を有する。電源２５０は、例えば乾電池又は二次電池であり、制御部２１０、発光部２３０及び操作部２４０へ電力を供給する。操作部２４０は、電源２５０から各部への電力供給を制御するスイッチ（図示略）を備えている。操作部２４０のスイッチがオンとなると、電源２５０から各部へ電力が供給され、操作部２４０のスイッチがオフとなると、電源２５０から各部へ電力の供給が停止される。発光部２３０は、赤外光を発する発光ダイオードを有しており、指示体２０の先端に設けられている。発光部２３０の点灯及び消灯は、制御部２１０により制御される。発光部２３０は、点光源であり、発光部２３０が発する光は、指示体２０の先端から球面上に広がる。制御部２１０は、発光部２３０及び操作部２４０に接続されている。制御部２１０は、操作部２４０で行われた操作に応じて発光部２３０の制御を開始し、発光部２３０の発光ダイオードの点灯及び消灯を制御する。

プロジェクター１０Ａ、１０Ｂは、制御部１１０、記憶部１２０、操作部１３０、投写部１４０を備える。また、プロジェクター１０Ａ、１０Ｂは、映像処理部１５０、インターフェース１６０、撮像部１７１及び撮像部１７２を備える。本実施形態においては、プロジェクター１０Ａ、１０Ｂのハードウェア構成は同じである。以下、プロジェクター１０Ａ、１０Ｂの各部を区別する必要がある場合、説明の便宜上、プロジェクター１０Ａの各部の符号の末尾には「Ａ」を付し、プロジェクター１０Ｂの各部の符号の末尾には「Ｂ」を付し、各部を区別する必要がない場合、符号の末尾への「Ａ」、「Ｂ」の付加を省略して説明を行う。

インターフェース１６０は、ＲＣＡ、Ｄ−Ｓｕｂ、ＨＤＭＩ（登録商標）など、映像信号が供給されるコネクターを複数有し、他の装置からコネクターに供給された映像信号を映像処理部１５０へ供給する。また、インターフェース１６０は、無線ＬＡＮ（Local Area Network）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信のインターフェースや、ＵＳＢ（Universal Serial Bus）や有線のＬＡＮなどの有線通信のインターフェースを有する。インターフェース１６０は、情報の送信や受信を行う。

記憶部１２０は、投写する映像の画質に係る設定値や、各種機能の設定に係る情報を記憶する。操作部１３０は、プロジェクター１０を操作するための複数のボタンを備えている。操作されたボタンに応じて制御部１１０が各部を制御することにより、スクリーンＳＣに投写される映像の調整や、プロジェクター１０が有する各種機能の設定などが行われる。

映像処理部１５０は、インターフェース１６０から供給される映像信号を取得する。また、映像処理部１５０は、プロジェクター１０を操作するためのＧＵＩなどのオンスクリーン画像の信号を制御部１１０から取得する。映像処理部１５０は、各種の画像処理機能を備えており、インターフェース１６０から供給された映像信号に画像処理を施し、投写する映像の画質を調整する。映像処理部１５０は、制御部１１０からオンスクリーン画像の信号が供給された場合には、オンスクリーン画像の信号を重畳した映像信号を投写部１４０へ供給する。

映像を投写する投写部１４０は、光源１４１、ライトバルブ１４２、駆動回路１４４及び投写光学系１４３を有している。光源１４１は、光を発するランプであり、光源１４１が発した光は、図示省略した複数のダイクロイックミラーやミラーによって赤、緑、青の光に分光され、分光された赤、緑、青のそれぞれの光はライトバルブ１４２に導かれる。なお、光源１４１は、ランプではなく、発光ダイオード又はレーザー光を発する半導体レーザー装置であってもよい。

駆動回路１４４は、映像処理部１５０から供給される映像信号を取得する。駆動回路１４４に供給される映像信号は、投写する画像における赤の成分の階調を表す階調データ、投写する画像における緑の成分の階調を表す階調データ及び投写する画像における青の成分の階調を表す階調データを有する。駆動回路１４４は、赤、緑、青の各色の階調データを抽出し、抽出した各色の階調データに基づいてライトバルブ１４２を駆動する。

ライトバルブ１４２は、前述の赤の光が入射する液晶ライトバルブ、前述の緑の光が入射する液晶ライトバルブ、及び前述の青の光が入射する液晶ライトバルブを有している。液晶ライトバルブは、透過型の液晶パネルであり、複数行複数列でマトリクス状に配置された画素を備えている。赤の光が入射する液晶ライトバルブは赤の階調データに基づいて駆動され、緑の光が入射する液晶ライトバルブは緑の階調データに基づいて駆動され、青の光が入射する液晶ライトバルブは青の階調データに基づいて駆動される。各液晶ライトバルブは、駆動回路１４４によって各画素が制御されて画素の透過率が変化する。画素の透過率が制御されることにより、液晶ライトバルブを透過した各色の光は、各階調データに対応した画像となる。液晶ライトバルブを透過した赤、緑、青の光の画像は、図示省略したダイクロイックプリズムにより合成されて投写光学系１４３に入射する。投写光学系１４３は、入射した画像を拡大する光学系であり、入射した画像をレンズやミラーによって拡大してスクリーンＳＣに投写する。スクリーンＳＣに画像が投写されると、表示面であるスクリーンＳＣに画像が表示される。なお、透過型の液晶パネルの替わりに反射型の液晶パネルを採用してもよいし、デジタルミラーデバイスなどを用いてもよい。

プロジェクター１０は、指示体２０の位置及び指示体２０からスクリーンＳＣまでの距離をステレオ方式で特定するために、２つの撮像部１７１及び撮像部１７２を有している。撮像部１７１及び撮像部１７２は、発光部２３０が発する赤外光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１７１及び撮像部１７２は、投写部１４０の投写範囲を撮像範囲とし、撮像した範囲の画像を生成し、生成した画像を表す画像信号を出力する。なお、本実施形態においては、プロジェクター１０Ａ、１０ＢがスクリーンＳＣの斜め上方に設置されるため、撮像部１７１及び撮像部１７２は、投写範囲を斜め上方から撮像することになる。

制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピューターである。ＲＯＭに記憶されているプログラムをＣＰＵが実行すると、プロジェクター１０Ａ、１０Ｂにおいては、制御部１１０が各部を制御し、映像をスクリーンＳＣに投写する機能や上述のＰＣ操作機能、タイリング表示を行うタイリング表示機能などが実現する。

タイリング表示機能を使用する際には、プロジェクター１０Ａ、１０Ｂにおいてタイリング表示に係る設定を行うことにより、一方のプロジェクターが親プロジェクターとなり、他方のプロジェクターが子プロジェクターとなる。本実施形態においては、プロジェクター１０Ａを親プロジェクターとし、プロジェクター１０Ｂを子プロジェクターとしている。なお、タイリング表示に係る設定を行うことにより、プロジェクター１０Ａ、１０Ｂは、タイリング表示において、自身が表示している画像が左から何番目の画像かを表すタイリング番号を記憶する。例えば、分割された左側の画像を表示するプロジェクター１０Ａは、タイリング番号として「１」を記憶部１２０Ａに記憶し、分割された右側の画像を表示するプロジェクター１０Ｂは、タイリング番号として「２」を記憶部１２０Ｂに記憶する。

また、子プロジェクターであるプロジェクター１０Ｂにおいては、タイリング表示に係る設定を行うことにより、タイリング表示に係る情報の送信先となるプロジェクター１０ＡのＩＰアドレスを記憶する。

図３は、ＲＯＭのプログラムを実行することにより制御部１１０Ｂにおいて実現する機能の機能ブロック図である。検知部２００１は、撮像部１７１Ｂ及び撮像部１７２Ｂが生成する画像を取得し、撮像部１７１Ｂ及び撮像部１７２Ｂが生成した画像から、プロジェクター１０Ｂが投写する画像の表示領域における指示体２０の位置の座標（即ち、指示体２０の先端の座標）と、指示体２０から画像の表示面であるスクリーンＳＣまでの距離（即ち、指示体２０の先端からスクリーンＳＣまでの距離）を特定する。送信部２００２（第２送信部）は、記憶部１２０Ｂが記憶しているタイリング番号、検知部２００１が特定した座標（Ｘ２，Ｙ２）及び距離を、インターフェース１６０ＢからＬＡＮを介してプロジェクター１０Ａへ送信する。

図４は、ＲＯＭのプログラムを実行することにより制御部１１０Ａにおいて実現する機能の機能ブロック図である。検知部１００１は、撮像部１７１Ａ及び撮像部１７２Ａが生成する画像を取得し、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像から、プロジェクター１０Ａが投写する画像の表示領域における指示体２０の位置の座標（即ち、指示体２０の先端の座標）と、指示体２０から画像の表示面であるスクリーンＳＣまでの距離（即ち、指示体２０の先端からスクリーンＳＣまでの距離）を特定する。受信部１００４は、プロジェクター１０Ｂから送信されインターフェース１６０Ａが受信した座標を受信する。座標変換部１００３は、検知部１００１が特定した座標又は受信部１００４が受信した座標を、情報処理装置３０が出力する画像の座標系に応じた位置情報に変換する。送信部１００２（第１送信部）は、座標変換部１００３が変換処理を行って得られた座標を、インターフェース１６０ＡからＬＡＮを介して情報処理装置３０へ送信する。

（実施形態の動作例）
図５は、プロジェクター１０Ａの制御部１１０Ａが行う処理の流れを示したシーケンス図である。本実施形態の動作例について、図５を用いて説明する。

本実施形態においては、情報処理装置３０は、プロジェクター１０ＡとＵＳＢケーブルにより接続され、分配装置４０と映像ケーブルで接続される。また、分配装置４０とプロジェクター１０Ａ、１０Ｂは、映像ケーブルにより接続され、プロジェクター１０Ａとプロジェクター１０Ｂは、ＬＡＮにより接続される。

情報処理装置３０は、自身のディスプレイ装置に表示している画面の映像信号を分配装置４０へ出力する。分配装置４０は、情報処理装置３０から出力された映像信号が表す画像を左右２つの画像に分割し、左側の画像の映像信号をプロジェクター１０Ａへ供給し、右側の画像の映像信号をプロジェクター１０Ｂへ供給する。分配装置４０からインターフェース１６０Ａに供給された映像信号は、映像処理部１５０Ａで画像処理が施され、投写部１４０Ａ（第１投写部）に供給される。投写部１４０Ａは、供給される映像信号が表す画像をスクリーンＳＣに投写する。また、分配装置４０からインターフェース１６０Ｂに供給された映像信号は、映像処理部１５０Ｂで画像処理が施され、投写部１４０Ｂ（第２投写部）に供給される。投写部１４０Ｂは、供給される映像信号が表す画像をスクリーンＳＣに投写する。

図６は、分配装置４０から映像信号が供給されたプロジェクター１０Ａ、１０Ｂが投写した画像の一例である。例えば、情報処理装置３０が自身のディスプレイ装置でデスクトップの画像を表示している場合、デスクトップの画像の映像信号が情報処理装置３０から出力され、デスクトップの画像の左半分をプロジェクター１０Ａが投写し、デスクトップの画像の右半分をプロジェクター１０Ｂが投写する。

図６において矩形で示した表示領域Ａ１は、プロジェクター１０Ａが投写する画像の表示領域である。撮像部１７１Ａ及び撮像部１７２Ａは、表示領域Ａ１を含む領域を撮影する。制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像において、表示領域Ａ１の左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としてｘｙ座標を設定する。また、図６において矩形で示した表示領域Ａ２は、プロジェクター１０Ｂが投写する画像の表示領域である。撮像部１７１Ｂ及び撮像部１７２Ｂは、表示領域Ａ２を含む領域を撮影する。制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂが生成した画像において、表示領域Ａ２の左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としてｘｙ座標を設定する。

赤外光を発している指示体２０が撮像部１７１Ａ及び撮像部１７２Ａの撮影範囲内に入ると、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像においては、発光部２３０が発した赤外光が写る。制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成する画像を取得する。制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像から、表示領域Ａ１のｘｙ座標における赤外光の位置の座標（即ち、指示体２０の先端の座標）と、赤外光から画像の表示面であるスクリーンＳＣまでの距離（即ち、指示体２０の先端からスクリーンＳＣまでの距離）を特定する。例えばユーザーが、図７に示したＰ１の位置に指示体２０の先端を接触させた場合、制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像から、Ｐ１の位置の座標を特定する。制御部１１０Ａは、特定した座標（Ｘ１，Ｙ１）及び距離をＲＡＭに記録する。また、制御部１１０Ａは、赤外光からスクリーンＳＣまでの距離が０である場合、指示体２０の状態について、指示体２０がスクリーンＳＣに接しているペンオンの状態であるとする（ステップＳＡ１）。なお、本実施形態においては、指示体２０の位置の検知の解像度は、プロジェクター１０Ａ、１０Ｂにおいては、情報処理装置３０におけるポインティングデバイスの解像度と同じとなっている。

次に制御部１１０Ａは、検知した座標をタイリング表示における画面の分割数に応じて加工して情報処理装置３０へ送信する。具体的には、情報処理装置３０におけるポインティングデバイスの座標は、表示領域Ａ１及び表示領域Ａ２で表示されている画像の左上の頂点を原点とし、原点から右方向をｘ軸の正方向とし、原点から下方向をｙ軸の正方向としている。一方、各プロジェクターにおいては、指示体２０の先端の位置の座標の検出は、表示領域毎に行っているため、各プロジェクターで検知した位置の座標をそのまま情報処理装置３０へ送信してしまうと、情報処理装置３０は、スクリーンＳＣにおいて指示体２０が指し示した位置とは異なる位置を認識してしまう。

そこで、本実施形態においては、制御部１１０Ａは、指示体２０の先端の位置の座標を特定すると、情報処理装置３０へ送信する座標のｘ座標を（１）の式により加工する（ステップＳＡ２）。
ｘ＝（Ｘ１／画面分割数）・・・（１）
例えば、Ｐ１のｘ座標が「１００」である場合、タイリング表示における画面分割数は２であるため、加工後のｘ座標は「５０」となる。なお、指示体２０の先端の位置のｙ座標については加工後のｙ座標をｙ＝Ｙ１とする。

制御部１１０Ａは、指示体２０の状態（ペンオン）を示す情報と、加工後の座標（ｘ，ｙ）と検知した距離を、インターフェース１６０ＡからＵＳＢケーブルを介して情報処理装置３０へ送信する（ステップＳＡ３）。情報処理装置３０へ送信する座標は、本発明に係る第１位置情報の一例である。情報処理装置３０は、プロジェクター１０Ａから送信された情報を取得すると、取得した情報に応じた処理を行う（ステップＳＡ４）。例えば、取得した座標がアイコン上のＰ１の位置であり、指示体２０の状態を表す情報が、指示体２０がスクリーンＳＣから離れているペンオフの状態からペンオンの状態に変化した場合、Ｐ１の位置にあるアイコンをドラッグする。

次に、ユーザーが指示体２０をＰ１の位置から図７に示した矢印の方向へ移動させると、制御部１１０Ａは、指示体２０の状態、指示体２０の先端の位置の座標、指示体２０からスクリーンＳＣまでの距離を特定する（ステップＳＡ５）。制御部１１０Ａは、特定した位置の座標を、タイリング表示における画面の分割数に応じて加工し（ステップＳＡ６）、指示体２０の状態を示す情報、加工後の座標、検知した距離を情報処理装置３０へ送信する（ステップＳＡ７）。情報処理装置３０が、プロジェクター１０Ａから送信された情報に応じた処理を行うと（ステップＳＡ８）、Ｐ１の位置にあったアイコンが指示体２０の移動に応じて移動する。

次に指示体２０の先端の位置が、図８に示したように表示領域Ａ１の右端の位置となった場合、制御部１１０Ａは、指示体２０の状態を表す情報、特定した座標を加工した後の座標、特定した距離を情報処理装置３０へ送信し（ステップＳＡ９〜ステップＳＡ１１）、特定した座標（Ｘ１，Ｙ１）をＲＡＭに記憶させる（ステップＳＡ１２）。

次に指示体２０の先端の位置が、表示領域Ａ１から表示領域Ａ２に移動し、図９に示したように表示領域Ａ２の左端の位置となった場合、撮像部１７１Ａ及び撮像部１７２Ａにおいては、指示体２０の赤外光が写らず、撮像部１７１Ｂ及び撮像部１７２Ｂにおいては、指示体２０の赤外光が写る。

制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像において赤外光が写っていない場合、指示体２０の状態について、指示体２０がスクリーンＳＣから離れたペンオフの状態とする（ステップＳＡ１３）。

制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂが生成する画像を取得し、撮像部１７１Ｂ及び撮像部１７２Ｂが生成した画像から、表示領域Ａ２のｘｙ座標における赤外光の位置の座標（即ち、指示体２０の先端の座標）と、赤外光から画像の表示面であるスクリーンＳＣまでの距離（即ち、指示体２０の先端からスクリーンＳＣまでの距離）を特定する。制御部１１０Ｂは、赤外光からスクリーンＳＣまでの距離が０である場合、指示体２０の状態について、ペンオンの状態であるとする（ステップＳＡ１４）。次に制御部１１０Ｂは、ペンオンであることを示す情報、記憶部１２０Ｂが記憶しているタイリング番号、特定した座標（Ｘ２，Ｙ２）及び距離を、インターフェース１６０ＢからＬＡＮを介してプロジェクター１０Ａへ送信する（ステップＳＡ１５）。プロジェクター１０Ｂからプロジェクター１０Ａへ送信する座標は、本発明に係る第２位置情報の一例である。

制御部１１０Ａは、プロジェクター１０Ｂから送信されたペンオンであることを示す情報、タイリング番号、座標及び距離をインターフェース１６０Ａが取得すると、ＲＡＭに記憶されている座標の中で最新の座標を取得し、ＲＡＭから取得した座標のｙ座標と、プロジェクター１０Ｂから送信された座標のｙ座標との差が閾値未満であるか判断する。制御部１１０Ａは、ＲＡＭから取得した最新の座標のｙ座標と、プロジェクター１０Ｂから送信された座標のｙ座標との差が閾値未満である場合、指示体２０の状態をペンオンの状態に戻す（ステップＳＡ１６）。

次に制御部１１０Ａは、情報処理装置３０へ送信する座標のｘ座標を（２）の式により加工する（ステップＳＡ１７）。
ｘ＝（Ｘ２／画面分割数）＋（（情報処理装置３０のポインティングデバイスの解像度／画面分割数）×（プロジェクター１０Ｂのタイリング番号−１））・・・（２）
なお、本実施形態においては、情報処理装置３０のポインティングデバイスの解像度は「３２７６７」としている。

制御部１１０Ａは、指示体２０の状態（ペンオン）を示す情報と、加工後の座標（ｘ，ｙ）と、プロジェクター１０Ｂから取得した距離を情報処理装置３０へ送信する（ステップＳＡ１８）。情報処理装置３０は、プロジェクター１０Ａから送信された座標を取得すると、取得した情報に応じた処理を実行し、ドラッグしているアイコンを取得した座標の位置へ移動させる（ステップＳＡ１９）。

次に、ユーザーが指示体２０を表示領域Ａ２内で移動させると、制御部１１０Ｂは、指示体２０の状態、指示体２０の位置の座標、指示体２０からスクリーンＳＣまでの距離を特定し（ステップＳＡ２０）、記憶部１２０Ｂに記憶されているタイリング番号、ペンオンであることを示す情報、検知した位置の座標及び距離を、プロジェクター１０Ａへ送信する（ステップＳＡ２１）。

プロジェクター１０Ｂから送信された情報をインターフェース１６０Ａが取得すると、制御部１１０Ａは、指示体２０の状態をペンオンの状態としている場合、取得した座標をタイリング表示における画面の分割数に応じて加工し（ステップＳＡ２２）、指示体２０の状態を表す情報、加工後の座標、プロジェクター１０Ｂから取得した距離を情報処理装置３０へ送信する（ステップＳＡ２３）。情報処理装置３０が、プロジェクター１０Ａから送信された情報に応じた処理を行うと（ステップＳＡ２４）、ドラッグされているアイコンが移動する。

次に、ユーザーが指示体２０を撮像部１７１Ａ、撮像部１７２Ａ、撮像部１７１Ｂ及び撮像部１７２Ｂの撮影範囲外へ移動させると、撮像部１７１Ａ、撮像部１７２Ａ、撮像部１７１Ｂ及び撮像部１７２Ｂにおいては指示体２０が発する赤外光が写らなくなる。制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂが生成した画像において赤外光が写らなくなった場合、指示体２０がスクリーンＳＣから離れたペンオフの状態であるとする（ステップＳＡ２５）。制御部１１０Ｂは、指示体２０の状態をペンオフの状態とすると、ペンオフの状態であることを示す情報をプロジェクター１０Ａへ送信する（ステップＳＡ２６）。

ペンオフの状態であることを示す情報をインターフェース１６０Ａが取得すると、制御部１１０Ａは、指示体２０の状態をペンオフとし（ステップＳＡ２７）、指示体２０の状態（ペンオフ）を示す情報を情報処理装置３０へ送信する（ステップＳＡ２８）。情報処理装置３０は、プロジェクター１０Ａから送信された情報を取得すると、取得した情報に応じてドラッグの処理を終了する（ステップＳＡ２９）。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した各実施形態及び以下の変形例は、一つ又は複数を適宜組み合わせて実施してもよい。

上述した実施形態においては、各プロジェクターが検知した指示体２０の位置の座標を、プロジェクター１０Ａが加工して情報処理装置３０へ送信しているが、この構成に限定されるものではない。例えば、タイリング番号とプロジェクターが検知した座標とを情報処理装置３０へ送信し、情報処理装置３０において座標を加工してもよい。
具体的には、プロジェクター１０Ａは、指示体２０の先端の位置を検知した場合、記憶部１２０Ａに記憶されているタイリング番号と、検知した指示体２０の位置の座標を情報処理装置３０へ送信する。情報処理装置３０は、座標と共に取得したタイリング番号が「１」の場合、上述した（１）の式により座標を加工し、加工後の座標を用いて処理を行う。
また、プロジェクター１０Ｂは、指示体２０の先端の位置を検知した場合、記憶部１２０Ｂに記憶されているタイリング番号と、検知した指示体２０の位置の座標をプロジェクター１０Ａへ送信し、プロジェクター１０Ａは、プロジェクター１０Ｂから送信されたタイリング番号と座標を情報処理装置３０へ転送する。情報処理装置３０は、座標と共に取得したタイリング番号が「２」の場合、上述した（２）の式により座標を加工し、加工後の座標を用いて処理を行う。

また、タイリング番号を情報処理装置３０へ送信する構成の場合、分配装置４０を使用せず、情報処理装置３０において拡張デスクトップ機能を使用し、プロジェクター１０Ａとプロジェクター１０Ｂの一方をプライマリデバイスとし、他方をセカンダリデバイスとしてもよい。

上述した動作例の説明においては、情報処理装置３０が出力する映像信号が表す画面がデスクトップの画像となっているが、情報処理装置３０は、アプリケーションプログラムを実行し、他の画面の映像信号を出力するようにしてもよい。例えば、情報処理装置３０は、ポインティングデバイスで画像を描く描画プログラムを実行してもよい。情報処理装置３０が描画プログラムを実行している場合、情報処理装置３０は、プロジェクター１０Ａから送られる座標や各種情報に応じて描画を行う。
例えば、情報処理装置３０が描画プログラムを実行している場合、情報処理装置３０は、プロジェクター１０Ａから送られる座標に応じて指示体２０の移動軌跡に対応した線を描画する。ユーザーが、指示体２０をスクリーンＳＣに接触させたまま表示領域Ａ１から表示領域Ａ２へ移動させた場合又は表示領域Ａ２から表示領域Ａ１へ移動させた場合、スクリーンＳＣには表示領域Ａ１から表示領域Ａ２にまたがる線が表示される。

本発明においては、プロジェクター１０Ａ、１０Ｂは、スクリーンＳＣに沿う光の層を形成する発光装置を備える構成としてもよい。発光装置は、指を照射する光（本変形例では赤外光）を発する発光部を有する。発光装置はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を拡散させて出射する。発光装置から出射された光は、スクリーンＳＣに沿う光の層を形成する。本変形例では、角度θは、ほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と、発光装置により形成される光の層とは近接していることが好ましい。スクリーンＳＣの表面から離れた位置にある指も照射できるように光の層は厚みを持っている。または、発光部を積層することによりスクリーンＳＣから離れた位置にある指へ赤外光を照射してもよい。発光装置からの光の出射は、対応するプロジェクターにより制御される。ユーザーが光の層の位置に指を移動させると、指で反射した赤外光が撮像部１７１及び撮像部１７２で撮影される。プロジェクター１０Ａ、１０Ｂは、撮影した赤外光の位置の座標を特定する。
プロジェクター１０Ｂは、特定した座標をプロジェクター１０Ａへ送信する。プロジェクター１０Ａは、プロジェクター１０Ｂから送信された座標を加工して情報処理装置３０へ送信する。また、プロジェクター１０Ａは、自装置が指の位置の座標を特定した場合、特定した座標を加工して情報処理装置３０へ送信する。

プロジェクター１０Ａ、１０Ｂが上述の発光装置を備え、指の位置の座標を検知する構成においては、ユーザーが複数の指をスクリーンＳＣに接触させた場合、撮像部１７１及び撮像部１７２が生成した画像においては、複数の赤外光が写る。この場合、撮影した赤外光を指として認識し、認識した指毎に識別子を付し、複数の指の位置を区別する構成としてもよい。
例えば、ユーザーの人差し指が表示領域Ａ１内で撮像部１７１Ａ及び撮像部１７２Ａの撮影範囲内に入ると、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像においては、人差し指で反射した赤外光が写る。制御部１１０Ａは、指示体２０を用いたときと同様に、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像から赤外光の位置の座標を特定する。また、制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが撮影した画像に映る赤外光を指として認識し、認識した指に識別子（例えば「１」）を付与する。制御部１１０Ａは、検知した指の位置の座標を上述の実施形態と同様に（１）の式で加工する。制御部１１０Ａは、加工後の座標と、当該座標に対応する指の識別子を情報処理装置３０へ送信する。

ユーザーが、スクリーンＳＣに指を接触させながら移動させ、人差し指の位置が、表示領域Ａ１の右端の位置となった場合、制御部１１０Ａは、特定した座標を加工した後の座標を情報処理装置３０へ送信し、検知した座標（Ｘ１，Ｙ１）をＲＡＭに記憶させる。次に人差し指の位置が、表示領域Ａ１から表示領域Ａ２に移動し、表示領域Ａ２の左端の位置となった場合、撮像部１７１Ａ及び撮像部１７２Ａにおいては、人差し指で反射した赤外光が写らず、撮像部１７１Ｂ及び撮像部１７２Ｂにおいては、人差し指で反射した赤外光が写る。

制御部１１０Ａは、撮像部１７１Ａ及び撮像部１７２Ａが生成した画像において赤外光が写っていない場合、識別子が「１」である指の状態について、指がスクリーンＳＣから離れたペンオフの状態とする。

制御部１１０Ｂは、指示体２０を用いたときと同様に、撮像部１７１Ｂ及び撮像部１７２Ｂが生成した画像から、人差し指の位置の座標を特定する。また、制御部１１０Ｂは、撮像部１７１Ｂ及び撮像部１７２Ｂが撮影した画像に映る赤外光を指として認識し、認識した指に識別子（例えば「６」）を付与する。ここで、プロジェクター１０Ａとプロジェクター１０Ｂは、別々に指を認識するため、プロジェクター１０Ｂが人差し指に付与する識別子は、プロジェクター１０Ａが付与する識別子とは異なるものとなる。制御部１１０Ｂは、指の状態を示す情報、記憶しているタイリング番号、検知した指の位置の座標、当該座標に対応する指の識別子をプロジェクター１０Ａへ送信する。

制御部１１０Ａは、プロジェクター１０Ｂから送信されたペンオンであることを示す情報、タイリング番号、識別子、座標をインターフェース１６０Ａが取得すると、識別子が「１」である指の座標の中で最新の座標を取得し、ＲＡＭから取得した座標のｙ座標と、プロジェクター１０Ｂから送信された座標のｙ座標との差が閾値未満であるか判断する。制御部１１０Ａは、ＲＡＭから取得した最新の座標のｙ座標と、プロジェクター１０Ｂから送信された座標のｙ座標との差が閾値未満である場合、識別子が「６」の指と識別子が「１」である指は同じ指であると認識し、識別子が「１」である指の状態をペンオンの状態に戻す。次に制御部１１０Ａは、情報処理装置３０へ送信する座標のｘ座標を（２）の式により加工する。制御部１１０Ａは、指の状態（ペンオン）を示す情報と、加工後の座標（ｘ，ｙ）を情報処理装置３０へ送信する。情報処理装置３０は、プロジェクター１０Ａから送信された座標を取得すると、取得した情報に応じた処理を実行する。

上述した実施形態においては、２つのプロジェクターで画像を投写し、一つの画面を表示する構成となっているが、３つ以上のプロジェクターで画像を投写して一つの画面を表示する構成としてもよい。

１…表示システム、１０Ａ、１０Ｂ…プロジェクター、２０…指示体、３０…情報処理装置、４０…分配装置、１１０、１１０Ａ、１１０Ｂ…制御部、１２０、１２０Ａ、１２０Ｂ…記憶部、１３０…操作部、１４０、１４０Ａ，１４０Ｂ…投写部、１４１…光源、１４２…ライトバルブ、１４３…投写光学系、１４４…駆動回路、１５０、１５０Ａ、１５０Ｂ…映像処理部、１６０、１６０Ａ、１６０Ｂ…インターフェース、１７１、１７２、１７１Ａ、１７２Ａ、１７１Ｂ、１７２Ｂ…撮像部、２１０…制御部、２３０…発光部、２４０…操作部、２５０…電源、１００１…検知部、１００２…送信部、１００３…座標変換部、１００４…受信部、２００１…検知部、２００２…送信部。

Claims (7)

1. 情報処理装置と、第１プロジェクターと、第２プロジェクターを備え、前記情報処理装置が出力する画像の第１部分を前記第１プロジェクターが投写面に対して投写し、前記画像の第２部分を前記第２プロジェクターが前記投写面に対して投写する表示システムであって、
   前記第２プロジェクターは、
   前記第２部分を前記投写面へ投写する第２投写部と、
   前記投写面に投写された前記第２部分に対する指示体の位置を検知し、前記第２部分の座標系における前記指示体の位置を表す第２位置情報を生成する検知部と、
   前記検知部が生成した第２位置情報を前記第１プロジェクターへ送信する第２送信部と
   を有し、
   前記第１プロジェクターは、
   前記第１部分を前記投写面へ投写する第１投写部と、
   前記第２送信部が送信した前記第２位置情報を受信する受信部と、
   前記受信部が受信した前記第２位置情報を前記画像の座標系に応じて変換して得られた位置情報又は前記受信部が受信した前記第２位置情報を、第１位置情報として前記情報処理装置へ送信する第１送信部と
   を有し、
   前記情報処理装置は、
   前記第１送信部が送信した前記第１位置情報を受信し、受信した前記第１位置情報に応じた処理を行う
   表示システム。
2. 前記第１プロジェクターは、前記受信部が受信した前記第２位置情報を前記画像の座標系に応じて前記第１位置情報に変換する座標変換部を有する請求項１に記載の表示システム。
3. 前記第１送信部は、前記第２位置情報を前記第１位置情報として送信する場合、前記第２部分を表す情報を前記第１位置情報と共に前記情報処理装置へ送信し、
   前記情報処理装置は、前記第１送信部が送信した前記第２部分を表す情報と前記第１位置情報を受信し、受信した前記第２部分を表す情報と当該第１位置情報に応じた処理を行う
   請求項１に記載の表示システム。
4. 前記第１プロジェクターは、
   前記投写面に投写された前記第１部分の画像に対する指示体の位置を検知し、前記第１部分の座標系における前記指示体の位置を表す位置情報を生成する第２検知部を有し、
   前記指示体が前記第１部分と前記第２部分の境界を跨いで移動した場合、前記第２検知部が生成した位置情報と前記第２位置情報を同一の指示体の位置情報とする
   請求項２に記載の表示システム。
5. 前記指示体はユーザーの指であり、前記指が前記第１部分と前記第２部分の境界を跨いで移動した場合、前記第２検知部が生成した位置情報と前記第２位置情報を同一の指の位置情報とする
   請求項４に記載の表示システム。
6. 情報処理装置が出力する画像の第１部分を投写面へ投写する投写部と、
   情報処理装置が出力する画像の第２部分を前記投写面へ投写し、前記投写面に投写された前記第２部分に対する指示体の位置を検知し、前記第２部分の座標系における前記指示体の位置を表す第２位置情報を送信する第２プロジェクターから前記第２位置情報を受信する受信部と、
   前記受信部が受信した前記第２位置情報を前記画像の座標系に応じて変換して得られた位置情報又は前記受信部が受信した前記第２位置情報を、第１位置情報として前記情報処理装置へ送信する第１送信部と
   を備えるプロジェクター。
7. 情報処理装置と、第１プロジェクターと、第２プロジェクターを備え、前記情報処理装置が出力する画像の第１部分を前記第１プロジェクターが投写面に対して投写し、当該画像の第２部分を前記第２プロジェクターが前記投写面に対して投写する表示システムの制御方法であって、
   前記第２プロジェクターが、前記投写面に投写された前記第２部分に対する指示体の位置を検知し、前記第２部分の座標系における前記指示体の位置を表す第２位置情報を生成するステップと、
   前記第２プロジェクターが、前記第２位置情報を前記第１プロジェクターへ送信するステップと、
   前記第１プロジェクターが、前記第２位置情報を受信するステップと、
   前記第１プロジェクターが、前記第２位置情報を前記画像の座標系に応じて変換して得られた位置情報又は前記第２位置情報を、第１位置情報として前記情報処理装置へ送信するステップと、
   前記情報処理装置が、前記第１位置情報を受信し、受信した前記第１位置情報に応じた処理を行うステップと
   を備える表示システムの制御方法。

Images