JP5740826B2 - 画像表示装置、画像情報処理装置及び画像情報処理方法 - Google Patents

Description

本発明は、複数の画像の合成画像を表示する画像表示装置とこれに画像情報を出力する画像情報処理装置および両装置を備える画像表示システムに関する。

画像表示装置と画像情報処理装置の両装置を備える画像表示システムは、マルチモニターシステムと称され、多用されつつある。こうしたマルチモニターシステムでは、画像情報処理装置の一例であるパーソナルコンピューター（以下、パソコン）の画像を複数台のモニターで表示することが一般的であり、その際のカーソルの操作性を高める手法が種々提案されている（例えば、特許文献１等）。

特開２００８−２３４５０１号公報 特開２００６−５９２５１号公報

これら特許文献では、複数のモニターでのそれぞれの画像表示を前提としたカーソル操作性の向上をもたらすことができるものの、複数の画像を合成して表示することを想定しておらず、その改善が求められるに至った。

例えば、プレゼンテーションでは、プレゼンターがパソコンを操作しつつ、そのパソコンで表示する画像を大型モニター或いはプロジェクター等の画像表示装置で表示して、観衆にパソコン画像を示す。この際、パソコンからの複数の画像を画像表示装置にて合成し、その合成画像を観衆に示すことが有り得る。ところが、上記の特許文献で提案されたカーソル表示手法では、こうした状況下でのカーソル操作性の向上は望めないのが現状である。

本発明は、上述の課題を解決するためになされたものであり、複数の画像を合成して表示する画像表示装置をパソコン等の画像方法処理装置と併用した場合のカーソル操作性の向上を図ることを目的とする。

上記した目的の少なくとも一部を達成するために、本発明では、以下の構成を採用した。

[適用１：画像表示装置]
複数の画像の合成画像を表示する画像表示装置であって、画像表示のための画像情報を出力する画像情報処理装置から、複数の前記画像情報の入力と、該画像情報処理装置から、カーソルの表示に必要なカーソル位置情報の入力とを受ける入力部と、該入力を受けた複数の画像情報に基づくそれぞれの画像を、該画像が並ぶように合成して合成画像を生成し、該合成画像を表示する画像合成表示部と、前記入力を受けたカーソル位置情報に基づいたカーソルの表示を行うに当たり、前記カーソル位置情報を出力した前記画像情報処理装置から入力された前記画像情報に基づく画像の、前記合成画像における表示範囲内に前記カーソルを重ねて表示する第１カーソル表示モードと、前記合成画像の全体の表示範囲内に前記カーソルを重ねて表示する第２カーソル表示モードのいずれかを選択し、該選択した表示モードでのカーソル表示を行うカーソル表示部とを備えることを要旨とする。

上記構成を備える画像表示装置は、入力を受けた複数の画像情報に基づくそれぞれ画像を表示するに当たり、画像情報ごとのそれぞれの画像が並ぶように合成して合成画像を生成し、該合成画像を表示する。また、上記構成を備える画像表示装置は、表示された合成画像にカーソル位置情報に基づいてカーソルを表示するに当たり、第１カーソル表示モードと第２カーソル表示モードのいずれかを選択し、該選択した表示モードでカーソルを合成画像に重ねて表示する。

第１カーソル表示モードでは、カーソルは、前記カーソル位置情報を出力した前記画像情報処理装置についての前記画像情報に基づく画像の表示範囲（以下、カーソル出力処理装置画像表示範囲）において、合成画像に重ねて表示される。つまり、合成画像におけるカーソル出力処理装置画像表示範囲にカーソルが表示される。カーソル出力処理装置画像表示範囲の画像は、カーソル位置情報を出力した画像情報処理装置での表示画像であり、画像情報処理装置では、この表示画像の範囲内でカーソル表示がなされる。よって、第１カーソル表示モードでは、カーソル位置情報を出力した画像情報処理装置でのユーザー操作に基づくカーソル表示と、画像表示装置での合成画像におけるカーソル出力処理装置画像表示範囲でのカーソル表示とは、そのカーソル表示位置とカーソル移動の様子において一致することになる。第２カーソル表示モードでは、画像表示装置が合成した合成画像全体の表示範囲においてカーソルを合成画像に重ねて表示する。これらの結果、上記構成の画像表示装置によれば、第１、第２の表示モードの選択および使い分けにより、画像表示装置の合成画像にカーソルを重ねて表示するカーソル表示を多様化でき、カーソル操作性の向上をもたらすことが可能となる。

この場合、複数の画像情報処理装置からそれぞれ前記画像情報の入力を受けるようにすれば、複数の画像情報処理装置での画像を画像表示装置にて合成して表示した上で、上記したようなカーソル表示モードの使い分けができる。そして、複数の画像情報処理装置の内から選ばれた前記画像情報処理装置から前記カーソル位置情報の入力を受けるようにすることができる。こうすれば、選ばれた画像情報処理装置での表示画像におけるカーソル表示を、合成画像におけるカーソル出力処理装置画像表示範囲でのカーソル表示と一致させることができる。この他、前記カーソル位置情報を出力した前記画像情報処理装置の指示に基づいて表示モードの選択を行うようにすれば、合成画像におけるカーソル表示選択を画像情報処理装置のユーザーの意図に沿ったものとできる。

この他、上記した画像表示装置は、次のような態様とすることができる。例えば、前記合成画像を表示するための合成画像情報を、前記カーソル位置情報を出力した前記画像情報処理装置に出力するようにできる。合成画像情報を受けた画像情報処理装置は、当該画像情報処理装置自体が画像表示装置に出力している画像の表示と、出力を受けた合成画像情報に基づいた合成画像の表示とが可能となる。このため、画像表示装置が合成表示した合成画像におけるカーソル表示を、合成画像情報の出力を受けた画像情報処理装置のユーザーの意図に沿ったものとでき、より一層カーソル操作性が向上する。例えば、カーソル位置情報を出力した画像情報処理装置のユーザーが、当該画像情報処理装置の表示画像が画像表示装置に出力している画像においてカーソル操作をしていれば、画像表示装置にはそのカーソル操作についてのカーソル位置情報が出力されて、カーソルは合成画像におけるカーソル出力処理装置画像表示範囲で表示される（第１カーソル表示モード）。その一方、カーソル位置情報を出力した画像情報処理装置のユーザーが、当該画像情報処理装置の表示画像が出力を受けた合成画像情報に基づいて表示した合成画像においてカーソル操作をしていれば、画像表示装置にはそのカーソル操作についてのカーソル位置情報が出力されて、カーソルは合成画像全体の表示範囲で表示される（第２カーソル表示モード）。つまり、ユーザーが画像情報処理装置においてカーソル操作を行う際に、画像情報処理装置に表示された画像とカーソル表示との対応関係を、画像表示装置が表示する合成画像において再現でき、カーソル操作性の向上と、ユーザーの意図に沿った多様なカーソル表示とを図ることができる。

[適用２：画像情報処理装置]
複数の画像の合成画像を表示する画像表示装置に、画像表示のための画像情報を出力する画像情報処理装置であって、前記画像情報と共に、前記画像表示装置でのカーソルの表示に必要なカーソル位置情報を、前記画像表示装置に出力する出力部と、前記画像表示装置が前記画像情報処理装置からの複数の画像情報を入力し、該入力を受けた複数の画像情報に基づいたそれぞれの画像を、該画像が並ぶように前記画像表示装置が合成した合成画像についての合成画像情報の入力を、前記画像表示装置から受ける入力部と、前記カーソル位置情報の前記画像表示装置への出力に際して、前記画像表示装置に出力する画像情報に基づく画像に対して前記カーソル位置情報を対応付ける第１カーソル対応処理と、前記入力した前記合成画像情報に基づく前記合成画像に対して前記カーソル位置情報を対応付ける第２カーソル対応処理のいずれかを選択し、該選択した対応処理を実行するカーソル位置情報処理部とを備え、該カーソル位置情報処理部は、前記第１カーソル対応処理での前記カーソル位置情報を、前記画像表示装置に出力する画像情報に基づく画像と、前記合成画像との対比に対応した座標変換に処して、前記第２カーソル対応処理を実行することを要旨とする。

上記した画像情報処理装置によっても、画像表示装置の合成画像にカーソルを重ねて表示するカーソル表示を多様化でき、カーソル操作性の向上をもたらすことが可能となる。

この場合、ユーザーによる前記画像情報処理装置の操作に基づいて、前記第１カーソル対応処理と前記第２カーソル対応処理の選択を行うようにできる。こうすれば、合成画像におけるカーソル表示選択を、画像情報処理装置のユーザーの操作に基づいたカーソル対応処理の選択・実行を経て、画像情報処理装置のユーザーの意図に沿ったものとできる。

また、前記第１カーソル対応処理での前記カーソル位置情報を、前記画像表示装置に出力する画像情報に基づく画像と、前記合成画像との対比に対応した座標変換に処して、前記第２カーソル対応処理を実行するようにできる。こうすれば、第２カーソル対応処理が簡便となる。

[適用３：画像表示システム]
複数の画像の合成画像を表示する画像表示装置と、該画像表示装置に画像表示のための画像情報を出力する複数の画像情報処理装置とを備えた画像表示システムであって、前記画像表示装置は、画像表示のための画像情報を出力する前記画像情報処理装置から、複数の前記画像情報の入力と、カーソルの表示に必要なカーソル位置情報の入力とを受ける表示側入力部と、該入力を受けた複数の画像情報に基づくそれぞれの画像を、該画像が並ぶように合成して合成画像を生成し、該合成画像を表示する画像合成表示部と、前記入力を受けたカーソル位置情報に基づいたカーソルの表示を行うカーソル表示部とを備え、前記画像情報処理装置は、前記画像情報と共に、前記画像表示装置でのカーソルの表示に必要なカーソル位置情報を、前記画像表装置の前記表示側入力部に出力する出力部と、前記画像表示装置が前記画像合成表示部により生成した前記合成画像についての合成画像情報の入力を受ける処理側入力部と、前記カーソル位置情報の前記画像表示装置への出力に際して、前記画像表示装置に出力する画像情報に基づく画像に対して前記カーソル位置情報を対応付ける第１カーソル対応処理と、前記入力した前記合成画像情報に基づく前記合成画像に対して前記カーソル位置情報を対応付ける第２カーソル対応処理のいずれかを選択し、該選択した対応処理を実行するカーソル位置情報処理部とを備え、前記画像表示装置の前記カーソル表示部は、前記第１カーソル対応処理による前記カーソル位置情報を入力すると、前記カーソル位置情報を出力した前記画像情報処理装置から入力された前記画像情報に基づく画像の、前記合成画像における表示範囲内に前記カーソルを重ねて表示し、前記第２カーソル対応処理による前記カーソル位置情報を入力すると、前記合成画像の全体の表示範内に前記カーソルを重ねて表示することを要旨とする。

上記した画像表示システムによっても、画像表示装置の合成画像にカーソルを重ねて表示するカーソル表示を多様化でき、カーソル操作性の向上をもたらすことが可能となる。

本発明は、画像表示装置において複数の画像の合成画像を表示するに当たり、その合成画像にカーソルを重ねて表示する画像表示方法に適用することができる。また、本発明は、複数の画像の合成画像を表示する画像表示装置にその合成画像の表示に必要な画像情報を出力しつつ、画像表示装置に合成画像にカーソルを重ねて表示させる画像情報処理方法に適用することができる。

この他、本発明は、複数の画像を合成して表示する画像表示装置の合成画像におけるカーソル表示を、この画像表示装置に画像表示のための画像情報を出力する複数の画像情報処理装置と対応付けたカーソル表示とするカーソル表示方法に適用することができる。

画像表示システム１０の全体構成を概略的に示す説明図である。 画像表示システム１０を構成する装置を機能ブロック図で示す説明図である。 プロジェクター１００とパソコンとで協働して実行される画像合成表示処理の手順を示すフローチャートである。 画像合成表示処理における第１カーソル表示モードでのカーソル表示の様子を説明するための説明図である。 画像合成表示処理における第２カーソル表示モードでのカーソル表示の様子を説明するための説明図である。 変形例の画像表示システム１０Ａの全体構成を概略的に示す説明図である。

以下、本発明の実施の形態をプロジェクター（ＰＪ）とパソコン（ＰＣ）を併用した画像表示システムに適用した場合の実施例について説明する。図１は画像表示システム１０の全体構成を概略的に示す説明図、図２は画像表示システム１０を構成する装置を機能ブロック図で示す説明図である。

図１に示すように、画像表示システム１０は、画像表示装置としてのプロジェクター１００と、画像情報処理装置としての２台のパソコン２００Ａ、２００Ｂとを備える。プロジェクター１００は、２台のパソコン２００Ａ、２００Ｂとデータの相互送信が可能にそれぞれ接続され、両パソコンから、それぞれの画像情報の入力を受ける。このため、プロジェクター１００は、図示するようにパソコンから入力を受けたそれぞれの画像情報に基づく画像を、その両画像が並ぶように合成した合成画像ＺＰをスクリーンＳに投写して表示する。合成画像ＺＰは、パソコン２００Ａに付属の表示画面に表示するパソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰと、パソコン２００Ｂに付属の表示画面に表示するパソコン画像ＢＺＰ＿ＰＣが反映した反映画像ＢＺＰとを並べて含むが、これら画像の関係については後述する。プロジェクター１００は、パソコン２００Ａ、２００ＢからカーソルＫＰＪの表示に必要なカーソル位置情報の入力も受けるが、これについても後述する。

パソコン２００Ａとパソコン２００Ｂの両パソコンは、ユーザーの操作に基づいてアプリケーションソフトを起動させ、当該ソフトにて表示制御される画像データに基づいた画像を、付属の表示画面にパソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣとして表示する。こうした画像表示と共に、両パソコンは、ユーザーによるマウス操作或いはキーボード操作に追従して表示画面におけるカーソル座標を演算し、演算したカーソル座標をカーソル位置情報として生成するので、パソコン２００Ａは、表示画面にパソコン画像ＡＺＰ＿ＰＣに重ねてカーソルＫＰＣを表示する。パソコン２００Ｂについても同様である。本実施例では、プロジェクター１００へのカーソル位置情報の出力に優先順序を設け、パソコン２００Ａをパソコン２００Ｂより優先させている。このため、パソコン２００Ａからは、後述するようにカーソル位置情報もプロジェクター１００に出力されるので、プロジェクター１００は、このカーソル位置情報に基づいてカーソルＫＰＪをスクリーンＳの合成画像ＺＰに重ねて表示する。

図２に示すように、プロジェクター１００は、映像入力処理部１１０と、映像出力合成部１２０と、カーソル処理部１３０と、合成画像情報出力部１４０とを備える。映像入力処理部１１０は、パソコン２００Ａとパソコン２００Ｂの両パソコンから既述したパソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣを表示するためのそれぞれの画像情報の入力を受ける。

映像出力合成部１２０は、映像入力処理部１１０の入力したパソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣとについての画像情報を受け取り、両画像情報に所定の合成表示処理を施した上で、パソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰとパソコン画像ＢＺＰ＿ＰＣが反映した反映画像ＢＺＰとを、両パソコン画像が並ぶように合成した合成画像を生成し、その生成した合成画像をスクリーンＳに表示する。映像出力合成部１２０が行う合成表示処理は、スクリーンＳの縦横サイズと上記の両パソコンの画像の縦横比と、パソコン画像を並べて表示する際のサイズ比等を考慮して定めるようにできる。例えば、パソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣのそれぞれの縦横サイズ比を維持したまま、両パソコン画像がスクリーンＳの表示領域に横方向に並んだ上で、両パソコン画像がスクリーンＳの横方向に収まるように拡大等して合成画像ＺＰを合成する。こうした合成表示処理を経ることで、合成画像ＺＰは、パソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰとパソコン画像ＢＺＰ＿ＰＣが反映した反映画像ＢＺＰとを含んで表示されることになる。パソコン画像の並びは横方向に限らず、縦方向や斜めに並ぶようにすることもでき、プロジェクター１００は、こうした画像の並びに応じて、映像出力合成部１２０によって合成された合成画像を表示する。

カーソル処理部１３０は、パソコン２００Ａから、合成画像ＺＰにカーソルＫＰＪを重ねて表示するためのカーソル位置情報の入力を受ける。映像出力合成部１２０は、カーソル処理部１３０の入力したカーソル位置情報を後述の画像合成表示処理に処して、合成画像ＺＰにカーソルＫＰＪを重ねて表示する。既述したように本実施例では、パソコン２００Ａを優先することから、カーソル位置情報はパソコン２００Ａからカーソル処理部１３０に出力されるが、パソコン２００Ｂからカーソル位置情報を入力するようにすることもできる。このように両パソコンからカーソル位置情報の入力を受けた場合には、その入力に優先順位を付けるほか、パソコンごとにカーソルＫＰＪを用意して、両パソコンからのカーソル位置情報によりカーソルＫＰＪを個別に表示制御することもできる。

合成画像情報出力部１４０は、映像出力合成部１２０が合成した合成画像ＺＰを表示するための合成画像情報をパソコン２００Ａとパソコン２００Ｂに出力する。後述するように、この合成画像情報は、パソコン２００Ａの表示画面への合成画像ＺＰの表示に用いられるが、パソコンでは、プロジェクター１００と同じ合成画像を表示する必要性が低い。よって、合成画像情報出力部１４０にあっては、合成画像ＺＰの表示用の合成画像情報を、画像の詳細を省略して合成画像ＺＰとこれに含まれる反映画像ＡＺＰと反映画像ＢＺＰとをレイアウト表示するに足りる画像情報（レイアウト画像情報）とすることもできる。以上説明した映像入力処理部１１０等は、プロジェクター１００が有する図示しない制御装置のＣＰＵやＲＯＭ、ＲＡＭの他、ＲＯＭに記憶された制御プログラムの実行により、上記した機能を実行するよう構成され、それぞれが単独で或いは協働して本発明における画像合成表示部や入力部等を構成する。

パソコン２００Ａは、映像出力作成部２１０Ａと、映像出力合成部２２０Ａと、ＰＣ用映像出力部２３０Ａと、カーソル座標算出部２４０Ａと、ＰＣ用カーソル座標出力部２５０Ａと、ＰＪ用カーソル座標出力部２６０Ａと、ＰＪ用映像出力部２７０Ａと、合成画像情報入力部２８０Ａとをバスにて相互にデータ送信可能に有する。映像出力作成部２１０Ａは、ユーザーが起動したアプリケーションソフトに応じた画像をパソコン２００Ａに付属の表示画面に表示すべく当該画像表示に必要な出力画像情報を作成する。映像出力合成部２２０Ａは、映像出力作成部２１０Ａが作成した画像情報をＰＣ用映像出力部２３０Ａに出力し、ＰＣ用映像出力部２３０Ａは、画像情報をパソコン２００Ａに付属の表示画面に出力する。これにより、パソコン２００Ａは、付属の表示画面にアプリケーションソフトに応じた画像（パソコン画像ＡＺＰ＿ＰＣ）を表示する（図１参照）。カーソル座標算出部２４０Ａは、ユーザーのマウス操作に基づいたカーソル表示位置の座標を算出し、ＰＣ用カーソル座標出力部２５０Ａは、算出されたカーソル座標を映像出力合成部２２０Ａを経てパソコン２００Ａに付属の表示画面に出力する。これにより、パソコン２００Ａは、付属の表示画面に表示したパソコン画像ＡＺＰ＿ＰＣに重ねてカーソルＫＰＣを表示する（図１参照）。

ＰＪ用カーソル座標出力部２６０Ａは、カーソル座標算出部２４０Ａがユーザーのマウス操作に基づいて算出したカーソル表示位置の座標を、プロジェクター１００における合成画像ＺＰにカーソルＫＰＪを表示するためのカーソル位置情報に含ませてカーソル処理部１３０に出力する。また、このＰＪ用カーソル座標出力部２６０Ａは、カーソル表示位置の座標を後述するように座標変換した上で、座標変換後のカーソル位置情報をカーソル処理部１３０に出力する。

ＰＪ用映像出力部２７０Ａは、ＰＣ用映像出力部２３０Ａによりパソコン２００Ａがその付属の表示画面に表示したパソコン画像ＡＺＰ＿ＰＣの画像情報を、パソコン画像ＡＺＰ＿ＰＣをプロジェクター１００における合成画像ＺＰに含ませて表示するための画像情報として映像入力処理部１１０に出力する。以上説明した映像出力作成部２１０Ａ等は、パソコン２００Ａが有する図示しない制御装置のＣＰＵやＲＯＭ、ＲＡＭの他、ＲＯＭに記憶された制御プログラムの実行により、上記した機能を実行するよう構成され、それぞれが単独で或いは協働して本発明におけるカーソル位置情報処理部や入力部等を構成する。パソコン２００Ｂについても同様である。

プロジェクター１００の映像入力処理部１１０とカーソル処理部１３０は、こうした出力を受けて既述したように映像入力処理とカーソル処理を実行する。映像出力合成部１２０は、パソコン２００Ａのパソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰとパソコン２００Ａのパソコン画像ＢＺＰ＿ＰＣが反映した反映画像ＢＺＰとを既述したように並べて合成画像ＺＰとして合成表示する。

次に、上記した画像表示システム１０における合成画像ＺＰでのカーソル表示を含む画像合成表示処理について説明する。図３はプロジェクター１００とパソコンとで協働して実行される画像合成表示処理の手順を示すフローチャート、図４は画像合成表示処理における第１カーソル表示モードでのカーソル表示の様子を説明するための説明図、図５は画像合成表示処理における第２カーソル表示モードでのカーソル表示の様子を説明するための説明図である。

図示する画像合成表示処理では、まず、カーソル表示に優先度が与えられたパソコン２００Ａでのユーザーによるカーソル切替操作の有無が判定される（ステップＳ１００）。この判定がなされる以前では、プロジェクター１００は、パソコン２００Ａとパソコン２００Ｂとから、それぞれのパソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣの入力を受けてこれら画像を合成し、両画像が反映した反映画像ＡＺＰと反映画像ＢＺＰとを横方向に並べた合成画像ＺＰをスクリーンＳに表示している。こうした合成画像ＺＰの表示中においてカーソル切替操作が無い場合には（ステップＳ１００：Ｎ）、カーソル表示に優先度が与えられたパソコン２００Ａは、ＰＣ表示画像（パソコン画像ＡＺＰ＿ＰＣ）の画像情報と共に、パソコン付属の表示画面におけるカーソル座標をカーソル位置情報としてプロジェクター１００に出力する（ステップＳ１１０）。

この入力を受けたプロジェクター１００は、両パソコンからのＰＣ表示画像（パソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣ）が反映した反映画像ＡＺＰと反映画像ＢＺＰとを横方向に並べて表示した合成画像ＺＰで反映画像ＡＺＰが占める表示範囲において、カーソルＫＰＪを表示する。プロジェクター１００は、パソコン２００Ａからパソコン画像ＡＺＰ＿ＰＣとこの画像と対となったカーソル座標を含むカーソル位置情報の入力を受けるので、合成画像ＺＰにおける反映画像ＡＺＰが占める表示範囲でのカーソルＫＰＪの表示が支障なく実行される。この場合、合成画像ＺＰの生成のための既述した合成表示処理に際して、パソコン画像ＡＺＰ＿ＰＣを拡大等して反映画像ＡＺＰを得たのであれば、その合成表示処理に応じたカーソル座標変換がプロジェクター１００、詳しくは映像出力合成部１２０やカーソル処理部１３０で行われる。

このように、パソコン２００Ａでのユーザーによるカーソル切替操作がない状況下では、ユーザーがパソコン２００Ａに付属の表示画面においてカーソル操作をすると（図４のカーソル軌跡ｘ→ｙ→ｚ参照）、そのカーソル操作に追従して、カーソルは、パソコン２００Ａに付属の表示画面においても、合成画像ＺＰで反映画像ＢＺＰが占める表示範囲においても同じように移動しつつ表示される。このカーソル表示モードは、カーソル位置情報を出力したパソコン２００Ａについてのパソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰの表示範囲においてカーソルＫＰＪを合成画像ＺＰに重ねて表示する第１カーソル表示モードに相当する。第１カーソル表示モードでのプロジェクター１００におけるカーソル表示は、画像表示の終了出力があるまで継続される（ステップＳ１２０）。なお、パソコン２００Ａにて、パソコン画像ＡＺＰ＿ＰＣが変更されると、その変更後のパソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰ（変更後画像）合成画像ＺＰにおいて表示され、変更後の反映画像ＡＺＰの表示範囲において、カーソルＫＰＪが表示されることになる。

その一方、ステップＳ１００にてパソコン２００Ａでのユーザーによるカーソル切替操作があったと判定すると、以下のステップＳ１３０以降の処理を行う。本実施例では、ユーザーによるカーソル切替操作を次のように定めた。図４に示すように、パソコン２００Ａにおいてそのパソコン画像ＡＺＰ＿ＰＣに重ねて表示されているカーソルＫＰＣを、ユーザーがそのマウス操作により画面領域内から領域外への方向性を持って移動させようとすることが検知されると、パソコン２００Ａはユーザーによるカーソル切替操作があったと判定する。この判定は、パソコン２００Ａのカーソル座標算出部２４０Ａによる演算座標の推移から下すことができる。この他、パソコン２００Ａのキーボードにおける所定のキー、或いは所定の組み合わせの複数のキー操作の有無により、ユーザーによるカーソル切替操作有無を判定することもできる。

上記したユーザーによるカーソル切替操作の肯定判定に続くステップＳ１３０では、パソコン２００Ａとプロジェクター１００とで次の処理がなされる。ユーザーによるカーソル切替操作を判定したパソコン２００Ａにおいては、カーソル切替操作があった旨の信号（以下、カーソル切替信号）を、ＰＪ用カーソル座標出力部２６０Ａを介して、ステップＳ１３０にてプロジェクター１００に出力する。プロジェクター１００は、このカーソル切替信号を既述した第１カーソル表示モードから後述の第２カーソル表示モードへの切り替えるための選択指令（モード選択指令）と判断し、当該指令を受けて、まず、合成画像情報出力部１４０を介してこのステップＳ１３０にてパソコン２００Ａに既述した合成画像ＺＰの表示のための合成画像情報（本実施例では、既述したレイアウト画像情報）をパソコン２００Ａに出力し、パソコン２００Ａにあっては、このレイアウト画像情報を合成画像情報入力部２８０Ａにて入力する。

続くステップＳ１４０では、パソコン２００Ａは、入力したレイアウト画像情報に基づいたレイアウト画像ＺＰＬを、図５に示すように、パソコン画像ＡＺＰ＿ＰＣに重畳して付属の表示画面に表示する。これ以降、パソコン２００Ａは、パソコン画像ＡＺＰ＿ＰＣの画像情報と共にプロジェクター１００に出力するカーソル位置情報を、カーソル位置を座標変換したカーソル位置情報としてプロジェクター１００に出力する（ステップＳ１５０）。この座標変換は、パソコン２００ＡのＰＪ用カーソル座標出力部２６０Ａにて行われ、パソコン付属の表示画面に表示されたパソコン画像ＡＺＰ＿ＰＣにおけるカーソルＫＰＣのカーソル座標を、レイアウト画像ＺＰＬにおけるカーソル座標に変換することに相当する。この際、パソコン画像ＡＺＰ＿ＰＣの縦横比やレイアウト画像ＺＰＬの縦横比が考慮されて、座標変換がなされることになり、こうした座標変換は簡便であるので、レイアウト画像ＺＰＬへのカーソル位置情報の対応付けも簡便となる。

この座標変換後のカーソル位置情報の入力を受けたプロジェクター１００は、両パソコンからのＰＣ表示画像（パソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣ）が反映した反映画像ＡＺＰと反映画像ＢＺＰとを横方向に並べた合成画像ＺＰを表示したまま、カーソル表示については、入力した座標変換後のカーソル位置情報に基づいたカーソル表示を行う。このため、合成画像ＺＰに重ねて表示されたカーソルＫＰＪの表示位置は、パソコン２００Ａにおけるレイアウト画像ＺＰＬでのカーソルＫＰＣの表示位置と同じとなる。そして、パソコン２００Ａのレイアウト画像ＺＰＬの表示範囲においてユーザーがマウス操作によりカーソルＫＰＣを移動させれば、そのカーソル移動に追従したカーソル位置情報が上記座標変換を受けてプロジェクター１００に出力される。よって、プロジェクター１００では、パソコン２００Ａでのユーザーによるマウス操作に追従して、合成画像ＺＰの表示範囲においてカーソルＫＰＪを移動させつつ表示する。つまり、パソコン２００Ａでのユーザーによるカーソル切替操作がなされた以降では、ユーザーがパソコン２００Ａに付属の表示画面でのレイアウト画像ＺＰＬの表示範囲においてカーソル操作をすると、そのカーソル操作に追従して、カーソルは、パソコン２００Ａに付属の表示画面においても、合成画像ＺＰにおいても同じように移動しつつ表示される。このカーソル表示モードは、プロジェクター１００が合成表示した合成画像ＺＰの全体の表示範囲においてカーソルＫＰＪを合成画像ＺＰに重ねて表示する第２カーソル表示モードに相当する。

第２カーソル表示モードでのプロジェクター１００におけるカーソル表示は、ユーザーによるカーソル切替復帰の操作があるまで継続される（ステップＳ１６０）。例えば、パソコン２００Ａにおけるユーザーによる所定キー操作により、或いはユーザーがマウス操作によりカーソルＫＰＣをレイアウト画像ＺＰＬの表示領域外に表示させたことを契機に、カーソル切替復帰がなされると（ステップ１６０：Ｙ）、パソコン２００Ａは、それまで表示していたレイアウト画像ＺＰＬを消去してパソコン画像ＡＺＰ＿ＰＣだけの表示に復帰し（ステップＳ１７０）、ステップＳ１１０に移行する。これにより、既述したプロジェクター１００でのカーソル表示は、第１カーソル表示モードの選択がなされて当該モードでの表示となる。ステップＳ１６０でカーソル切替復帰が無ければ（ステップ１６０：Ｎ）、ステップＳ１５０に移行して第２カーソル表示モードが継続される。

以上説明した本実施例の画像表示システム１０では、その有するプロジェクター１００に、パソコン２００Ａとパソコン２００Ｂの両パソコンから、それぞれのパソコン画像ＡＺＰ＿ＰＣとパソコン画像ＢＺＰ＿ＰＣを表示するための画像情報を出力する（図２：ＰＪ用映像出力部２７０Ａ）。プロジェクター１００では、この両画像情報を映像入力処理部１１０で入力して、両画像情報に所定の合成表示処理を施した上で、パソコン画像ＡＺＰ＿ＰＣが反映した反映画像ＡＺＰとパソコン画像ＢＺＰ＿ＰＣが反映した反映画像ＢＺＰとを、両反映画像が並ぶように合成した合成画像ＺＰを生成し、その生成した合成画像ＺＰをスクリーンＳに表示する。そして、プロジェクター１００によるこうした合成画像ＺＰに重ねたカーソル表示を行うに当たり、パソコン２００Ａからカーソル表示に必要なカーソル位置情報を受け取り、その上で、ユーザーがパソコン２００Ａでマウス操作することで発するカーソル切替信号によるモード選択指令に基づいて、第１カーソル表示モードでのカーソル表示と第２カーソル表示モードでのカーソル表示のいずれかを選択し（ステップＳ１００）、その選択した表示モードでカーソルを合成画像ＺＰも重ねて表示する。

そして、第１カーソル表示モードを選択した場合は、ステップＳ１１０の処理により、プロジェクター１００は、そのカーソルＫＰＪを、パソコン２００Ａについてのパソコン画像ＡＺＰ＿ＰＣ、詳しくは、当該画像が反映した反映画像ＡＺＰの表示範囲において、合成画像ＺＰに重ねて表示する。パソコン２００ＡにおけるカーソルＫＰＣの表示にあっては、そのカーソルＫＰＣは、パソコン画像ＡＺＰ＿ＰＣの表示範囲において当該画像に重ねてカーソルＫＰＣを表示する。このため、第１カーソル表示モード（ステップＳ１１０）では、パソコン２００Ａでのユーザーのマウス操作に基づくカーソル表示と、プロジェクター１００での合成画像ＺＰにおけるカーソル表示とを、そのカーソル表示位置とカーソル移動の様子において一致させることができる。よって、パソコン２００Ａのユーザーがプレゼンターとなってパソコン２００Ａを操作しつつ、そのパソコンで表示するパソコン画像ＡＺＰ＿ＰＣと他のパソコン２００Ｂのパソコン画像ＢＺＰ＿ＰＣの合成画像ＺＰをプロジェクター１００で投写表示して、合成画像ＺＰを観衆に示す場合、パソコン２００Ａに付属の表示画面でのカーソル移動を、合成画像ＺＰにおける反映画像ＡＺＰの表示範囲において再現できるので、プレゼンテーションの効果を高めることができる。

その一方、第２カーソル表示モードを選択した場合は、プロジェクター１００が合成した合成画像ＺＰの全体の表示範囲においてカーソルＫＰＪを合成画像ＺＰに重ねて表示する。よって、パソコン２００Ａのユーザーがプレゼンターとなってパソコン２００Ａを操作しつつプロジェクター１００の合成画像ＺＰを観衆に示す場合、ユーザーは、合成画像ＺＰにおいて他のパソコン２００Ｂのパソコン画像ＢＺＰ＿ＰＣが反映した反映画像ＡＺＰの表示範囲においても、ユーザー自身が操作するパソコン２００Ａに付属の表示画面でのカーソル移動再現できるので、プレゼンテーションの効果を高めることができる。しかも、こうした第１、第２のカーソル表示をその選択を経て使い分けることができるので、本実施例の画像表示システム１０によれば、プロジェクター１００の合成画像ＺＰにカーソルＫＰＪを重ねて表示するカーソル表示の多様化とカーソル操作性の向上とに加え、ユーザーの意図に沿ったカーソル表示と表示モード選択をもたらすことができる。

また、本実施例の画像表示システム１０では、カーソル表示モードの選択を図４に示すようなユーザーによるマウス操作により可能とするので、簡便である。加えて、ユーザーは、マウス操作によりカーソルＫＰＣが画面領域内から領域外への方向性を持って移動させれば済むことから、より簡便であると共に、カーソル移動挙動を表示モード切替の意図に沿う動作とできるので、高い実効性でカーソル操作性を高めることができる。

また、本実施例の画像表示システム１０では、第２カーソル表示モードでのカーソル表示に際して、プロジェクター１００の側からその合成画像ＺＰに対応するレイアウト画像ＺＰＬの表示のための画像情報をパソコン２００Ａに出力し、パソコン２００Ａにあっては、このレイアウト画像ＺＰＬを自身のパソコン画像ＡＺＰ＿ＰＣに重畳して表示する（ステップＳ１４０）。このため、ユーザーは、レイアウト画像ＺＰＬの合成画像情報の出力を受けたパソコン２００Ａのレイアウト画像ＺＰＬを見ながらカーソル操作することで、そのカーソル操作によるカーソル表示を合成画像ＺＰにて既述したように再現でき、カーソル操作をユーザーの意図に沿ったものとして、より一層操作性を高めることができる。

以上、本発明の実施例について説明したが、本発明は、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。例えば、上記した実施例では、２台のパソコンをプロジェクター１００に接続した構成の画像表示システム１０について説明したが、これに限らない。図６は変形例の画像表示システム１０Ａの全体構成を概略的に示す説明図である。この図６に示すように、４台のパソコン２００Ａ〜２００Ｄをプロジェクター１００に接続して、プロジェクター１００では、各パソコンのパソコン画像ＡＺＰ＿ＰＣ〜ＤＺＰ＿ＰＣを縦横２列に合成した合成画像ＺＰを合成表示するようにすることもできる。この変形例であっても、上記した効果を奏することができる。

この他、複数台の液晶モニターを配列し、液晶モニターごとにパソコン２００Ａ等からのパソコン画像ＡＺＰ＿ＰＣを表示する制御装置を備えたマルチモニターシステムについても適用できる。また、上記実施例では、プロジェクター１００とパソコン２００Ａ等を直接接続したが、データの双方向送信が可能なネットワークを介して接続することもできる。この場合には、画像情報等の送信先を指定すればよい。また、画像とカーソルの表示ができ、画像表示のための画像情報とカーソル表示のためのカーソル位置情報の生成および出力ができれば、パソコン２００Ａ等に限らず、他の画像情報処理装置を用いることもできる。

また、本実施例では、パソコン２００Ａをカーソル位置情報出力に用いたが、他のパソコン２００Ｂからもプロジェクター１００に自身のカーソル位置情報を出力するようにすることもできる。この場合には、カーソル位置情報の入力の順に、当該位置情報を有効なものとして取り扱うようにできる。また、いずれのパソコンからのカーソル位置情報に優劣を付けず、全てのパソコンについてのカーソル位置情報に基づいて合成画像ＺＰに複数のカーソルを表示し、それぞれのカーソルを、第１、第２のカーソル表示モードで表示するようにすることもできる。

１０〜１０Ａ…画像表示システム
１００…プロジェクター
１１０…映像入力処理部
１２０…映像出力合成部
１３０…カーソル処理部
１４０…合成画像情報出力部
２００Ａ〜２００Ｄ…パソコン
２１０Ａ…映像出力作成部
２２０Ａ…映像出力合成部
２３０Ａ…ＰＣ用映像出力部
２４０Ａ…カーソル座標算出部
２５０Ａ…ＰＣ用カーソル座標出力部
２６０Ａ…ＰＪ用カーソル座標出力部
２７０Ａ…ＰＪ用映像出力部
２８０Ａ…合成画像情報入力部
Ｓ…スクリーン
ＡＺＰ＿ＰＣ〜ＤＺＰ＿ＰＣ…パソコン画像
ＺＰ…合成画像
ＫＰＣ…カーソル
ＫＰＪ…カーソル
ＺＰＬ…レイアウト画像
ＡＺＰ…反映画像
ＢＺＰ…反映画像

Claims (7)

1. 複数の画像の合成画像を表示する画像表示装置であって、
   画像表示のための画像情報を出力する画像情報処理装置から、複数の前記画像情報の入力と、該画像情報処理装置から、カーソルの表示に必要なカーソル位置情報の入力とを受ける入力部と、
   該入力を受けた複数の画像情報に基づくそれぞれの画像を、該画像が並ぶように合成して合成画像を生成し、該合成画像を表示する画像合成表示部と、
   前記入力を受けたカーソル位置情報に基づいたカーソルの表示を行うに当たり、
   前記カーソル位置情報を出力した前記画像情報処理装置から入力された前記画像情報に基づく画像の、前記合成画像における表示範囲内に前記カーソルを重ねて表示する第１カーソル表示モードと、
   前記合成画像の全体の表示範囲内に前記カーソルを重ねて表示する第２カーソル表示モード
   のいずれかを選択し、該選択した表示モードでのカーソル表示を行うカーソル表示部とを備え、
   前記画像合成表示部は、前記合成画像を表示するための合成画像情報を、前記カーソル位置情報を出力した前記画像情報処理装置に出力する
   画像表示装置。
2. 前記入力部は、複数の前記画像情報処理装置からそれぞれ前記画像情報の入力を受ける請求項１に記載の画像表示装置。
3. 前記入力部は、前記複数の画像情報処理装置の内から選ばれた前記画像情報処理装置から、前記カーソル位置情報の入力を受ける、請求項２に記載の画像表示装置。
4. 前記カーソル表示部は、前記カーソル位置情報を出力した前記画像情報処理装置の指示に基づいて、表示モードの選択を行う請求項１ないし請求項３いずれかに記載の画像表示装置。
5. 複数の画像の合成画像を表示する画像表示装置に、画像表示のための画像情報を出力する画像情報処理装置であって、
   前記画像情報と共に、前記画像表示装置でのカーソルの表示に必要なカーソル位置情報を、前記画像表示装置に出力する出力部と、
   前記画像表示装置が前記画像情報処理装置からの複数の画像情報を入力し、該入力を受けた複数の画像情報に基づいたそれぞれの画像を、該画像が並ぶように前記画像表示装置が合成した合成画像についての合成画像情報の入力を、前記画像表示装置から受ける入力部と、
   前記カーソル位置情報の前記画像表示装置への出力に際して、
   前記画像表示装置に出力する画像情報に基づく画像に対して前記カーソル位置情報を対応付ける第１カーソル対応処理と、
   前記入力した前記合成画像情報に基づく前記合成画像に対して前記カーソル位置情報を対応付ける第２カーソル対応処理
   のいずれかを選択し、該選択した対応処理を実行するカーソル位置情報処理部とを備え、
   該カーソル位置情報処理部は、前記第１カーソル対応処理での前記カーソル位置情報を、前記画像表示装置に出力する画像情報に基づく画像と、前記合成画像との対比に対応した座標変換に処して、前記第２カーソル対応処理を実行する
   画像情報処理装置。
6. 前記カーソル位置情報処理部は、ユーザーによる前記画像情報処理装置の操作に基づいて、前記第１カーソル対応処理と前記第２カーソル対応処理の選択を行う請求項５に記載の画像情報処理装置。
7. 複数の画像の合成画像を表示する画像表示装置に、画像表示のための画像情報を出力する画像情報処理方法であって、
   前記画像情報と共に、前記画像表示装置でのカーソルの表示に必要なカーソル位置情報を、前記画像表示装置に出力し、
   画像表示のための画像情報を出力する画像情報処理装置から前記画像表示装置が入力を受けた複数の画像情報に基づいたそれぞれの画像を、該画像が並ぶように前記画像表示装置が合成した合成画像についての合成画像情報の入力を、前記画像表示装置から受け、
   前記カーソル位置情報の前記画像表示装置への出力に際して、
   前記画像表示装置に出力する画像情報に基づく画像に対して前記カーソル位置情報を対応付ける第１カーソル対応処理と、
   前記入力した前記合成画像情報に基づく前記合成画像に対して前記カーソル位置情報を対応付ける第２カーソル対応処理
   のいずれかを選択し、該選択した対応処理を実行し、
   前記第２カーソル対応処理を実行する際には、前記第１カーソル対応処理での前記カーソル位置情報を、前記画像表示装置に出力する画像情報に基づく画像と、前記合成画像との対比に対応した座標変換に処する
   画像情報処理方法。

Images