JP2014153856A - 情報処理装置、および、情報処理方法 - Google Patents

Abstract

【課題】ユーザが表示部に表示された表示画像を容易に選択できるＰＣを提供すること。
【解決手段】ＰＣ５は、複数の画像が表示される表示手段４と、表示手段４に表示された複数の表示画像の特徴をそれぞれ抽出する第１特徴抽出部６２と、表示手段４に表示された表示画像を撮影して得られる撮影データを携帯端末２から取得する送受信部５１と、撮影データに含まれる撮影画像の特徴を抽出する第２特徴抽出部６３と、第１特徴抽出部６２での抽出結果および第２特徴抽出部６３での抽出結果に基づいて、複数の表示画像から１つの表示画像を選択する選択部６４とを備える。
【選択図】図１

Description

本発明は、情報処理装置、および、情報処理方法に関する。

近年、会議におけるプレゼンテーションや広告のために、大型の画像が用いられることが多くなっている。このような大型の画像を表示させるための構成の１つとして、複数の表示装置を用いて、単一の画像を表示させる構成が検討されている（例えば、特許文献１，２参照）。

引用文献１に記載の構成では、複数のプロジェクタは、それぞれ自分の識別情報を含む識別画像を１つのスクリーンに投射する。
次に、ＰＣは、スクリーンに投射された全ての識別画像を含む領域を撮像し、撮像画像における識別画像の位置を判定する。その後、ＰＣは、識別画像の位置に応じて、画像表示領域を各プロジェクタに割り当て、画像表示領域ごとの画像を表示するための情報を含む画像情報を各プロジェクタへ送信する。
そして、画像情報を受信した複数のプロジェクタがそれぞれ画像を表示させることによって、単一の画像が表示される。

引用文献２に記載の構成では、表示端末は、表示端末ごとの識別情報を含むコード画像を表示させる。
次に、作業者が制御用カメラを用いて複数の表示端末の表示画面を撮影すると、制御用カメラは、この撮影画像に含まれるコード画像に基づいて、各表示端末の認識と、配置の特定と、表示画面同士の距離の計算とを行う。この後、制御用カメラは、単一の画像のうち表示端末ごとに表示すべき部分画像を表示させるための表示情報を、読み取った識別情報に対応する表示端末に配信サーバを経て送信する。
そして、表示情報を受信した複数の表示端末がそれぞれ部分画像を表示させることによって、単一の画像が表示される。

特開２００９−８６４８５号公報 特開２０１２−１３３０６９号公報

ところで、例えばプレゼンテーションのための大型の画像には、複数のウインドウやアイコンあるいはグラフィカルオブジェクトが含まれる場合がある。このようなプレゼンテーションの場面において、表示装置から離れたユーザが、携帯端末を用いて１つのグラフィカルオブジェクトを編集できると、利便性が向上すると考えられる。このような利便性の向上を図るためには、特許文献１，２に記載された構成を用いて、ユーザがグラフィカルオブジェクトを選択することが考えられる。

具体的に、まず、表示装置が複数のグラフィカルオブジェクトごとの識別情報を含む識別画像を表示させる。この後、ユーザが携帯端末によって所定のグラフィカルオブジェクトの識別画像を撮影して、撮影画像を制御装置へ送信する。そして、制御装置が撮影画像の識別情報に基づいて、ユーザが選択したグラフィカルオブジェクトを特定することが考えられる。

しかしながら、特許文献１，２に記載された構成を用いた場合、グラフィカルオブジェクトの代わりに識別画像を表示させたり、グラフィカルオブジェクトともに識別画像を表示させたりする必要がある。このため、選択対象のグラフィカルオブジェクトが全く見えなくなったり、識別画像に隠れてグラフィックオブジェクトの一部が見えなくなったりしてしまい、グラフィックオブジェクトを容易に選択できないという問題が一例として挙げられる。

本発明は、ユーザが表示部に表示された画像を容易に選択できる情報処理装置、および、情報処理方法を提供することを１つの目的とする。

請求項１に記載の発明は、複数の画像が表示される表示部と、前記表示部に表示された複数の画像の特徴をそれぞれ抽出する第１特徴抽出部と、前記表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得部と、前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出部と、前記第１特徴抽出部での抽出結果および前記第２特徴抽出部での抽出結果に基づいて、前記複数の画像から１または複数の画像を選択する選択部とを備えることを特徴とする情報処理装置である。

請求項７に記載の発明は、情報処理装置を用いた情報処理方法であって、表示部に表示された複数の画像の特徴をそれぞれ抽出する第１特徴抽出工程と、前記表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得工程と、前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出工程と、前記第１特徴抽出工程での抽出結果および前記第２特徴抽出工程での抽出結果に基づいて、前記複数の画像から１または複数の画像を選択する選択工程とを備えることを特徴とする情報処理方法である。

請求項８に記載の発明は、１または複数の画像が表示される複数の表示部と、前記複数の表示部に表示された画像の特徴を抽出する第１特徴抽出部と、前記複数の表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得部と、前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出部と、前記第１特徴抽出部での抽出結果および前記第２特徴抽出部での抽出結果に基づいて、前記複数の表示部に表示されている１または複数の画像を選択する選択部とを備えることを特徴とする情報処理装置である。

請求項１５に記載の発明は、情報処理装置を用いた情報処理方法であって、複数の表示部に表示された画像の特徴を抽出する第１特徴抽出工程と、前記複数の表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得工程と、前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出工程と、前記第１特徴抽出工程での抽出結果および前記第２特徴抽出工程での抽出結果に基づいて、前記複数の表示部に表示されている１または複数の画像を選択する選択工程とを備えることを特徴とする情報処理方法である。

本発明の一実施形態に係る情報処理システムの概略構成を示すブロック図。 前記一実施形態における情報処理システムの作用を示すフローチャート。 前記一実施形態における情報処理システムで用いる撮影画像の模式図。 前記一実施形態における情報処理システムの作用を示すフローチャート。 前記一実施形態における情報処理システムの作用を示すフローチャート。 本発明の変形例に係る情報処理システムの概略構成を示すブロック図。 前記変形例における情報処理システムで用いる撮影画像の模式図。 本発明の他の変形例に係る情報処理システムで用いる撮影画像の模式図。

［実施形態］
以下、本発明に係る情報処理システムの一実施形態について、説明する。
｛情報処理システムの構成｝
図１に示すように、情報処理システム１は、端末としての携帯端末２と、表示手段４と、情報処理装置としてのＰＣ（パーソナルコンピュータ）５と、ネットワーク７とを備える。
ネットワーク７は、ローカルエリアネットワークやグローバルネットワーク等のネットワークを形成するための情報通信網であり、無線通信や有線通信により、携帯端末２およびＰＣ５を通信可能に接続する。

携帯端末２は、送受信部２１と、端末表示部２２と、端末表示部２２と、撮影部２４と、記憶部２５と、制御部３０とを備える。
なお、携帯端末２としては、例えば、タッチパネルを備える高機能携帯端末いわゆるスマートフォン（Smartphone）や、タブレットＰＣ（Tablet PC）といった、携帯型情報通信端末が例示できる。

送受信部２１は、ネットワーク７に接続された他の情報通信端末やＰＣ５との間で通信を行う。
端末表示部２２は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等の各種フラットパネルディスプレイである。
操作検出部２３は、人間の指等の指示物が端末表示部２２の表示面に接触した場合、接触位置を検出し、検出結果を制御部３０に送信する。操作検出部２３は、指示物が表示面に接触したことを検出可能な静電容量方式や電磁誘導方式等の各種方式のタッチパネルである。なお、操作検出部２３としては、携帯端末２に予め設けられている操作ボタン等の各種入力手段を用いてもよい。
撮影部２４は、ユーザからの指示に応じて画像を撮影し、この画像の画像データを生成する。そして、撮影部２４は、生成した画像データを記憶部２５に記憶する。ここで、以下において、撮影部２４で撮影されて得られた画像を「撮影画像」といい、撮像画像の画像データを「撮影データ」という。
記憶部２５は、携帯端末２を制御するための各種プログラムやデータを記憶する。

制御部３０は、記憶部２５に記憶されたプログラムおよびデータをＣＰＵが処理することにより構成される、表示制御部３１と、端末処理部３２と、通信制御部３３とを備える。
表示制御部３１は、端末表示部２２に静止画や動画といったコンテンツを表示させる。また、表示制御部３１は、操作検出部２３からの入力に基づいて、端末表示部２２の表示内容を変更する。
端末処理部３２は、操作検出部２３からの入力に基づいた処理を行う。
通信制御部３３は、送受信部２１を制御して、ネットワーク７を介したＰＣ５との情報通信を制御する。

表示手段４は、第１表示部４１と、第２表示部４２と、第３表示部４３とを備える。第１〜第３表示部４１〜４３は、液晶ディスプレイ、有機ＥＬディスプレイ等の各種フラットパネルディスプレイである。第１〜第３表示部４１〜４３は、ＰＣ５に電気的に接続され、ＰＣ５の制御によって各種画像を表示する。ここで、以下において、第１〜第３表示部４１〜４３に表示させる画像を「表示画像」といい、表示画像の画像データを「表示画像データ」という。
なお、表示手段４を構成する表示部の数としては、２個以下であってもよいし、４個以上であってもよい。また、第１〜第３表示部４１〜４３は、壁面等に設置されて表示面が水平方向を向く壁掛け型のものであってもよいし、表示面が上方を向くテーブル型のものであってもよい。
また、第１〜第３表示部４１〜４３は、それぞれが独立した筐体をもつ形態の表示装置であってもよく、また独立した筐体をもつ第１〜第３表示部４１〜４３が連結された形態の表示装置であってもよい。あるいは１つの筐体に第１〜第３表示部４１〜４３が収容された形態の表示装置であってもよい。

ＰＣ５は、送受信部５１と、入力部５２と、記憶部５３と、制御部６０とを備える。
送受信部５１は、本発明の撮影データ取得部、送信部、処理情報取得部であり、ネットワーク７に接続された携帯端末２との間で通信を行う。
入力部５２は、キーボード、マウス等を含み、ユーザによる適宜の操作が可能に構成された入力デバイスである。
記憶部５３は、ＰＣ５を制御するための各種プログラムや、表示画像データを記憶する。

制御部６０は、記憶部５３に記憶されたプログラムおよびデータをＣＰＵが処理することにより構成される、表示制御部６１と、第１特徴抽出部６２と、第２特徴抽出部６３と、選択部６４と、処理反映部としてのイベント反映部６５と、通信制御部６６とを備える。なお、各手段６１〜６６は、１つＰＣに設けられてもよいし複数のＰＣに設けられてもよい。各手段６１〜６６が複数のＰＣに設けられている場合には、各ＰＣはそれぞれ異なる場所に配置されてもよい。

表示制御部６１は、第１〜第３表示部４１〜４３に、動画や表示画像である静止画といったコンテンツを表示させる。また、表示制御部６１は、送受信部５１からの入力に基づいて、第１〜第３表示部４１〜４３の表示内容を変更する。
第１特徴抽出部６２は、第１〜第３表示部４１〜４３に表示させた表示画像の特徴を抽出し、記憶部５３に記憶させる。
第２特徴抽出部６３は、携帯端末２から送信される撮影データを取得し、撮影画像の特徴を抽出する。
選択部６４は、第１特徴抽出部６２で抽出した表示画像の特徴と、第２特徴抽出部６３で抽出した撮影画像の特徴とのマッチングを行い、携帯端末２で撮影された表示画像を選択する。
イベント反映部６５は、携帯端末２から後述するイベント情報を取得し、選択部６４で選択された表示画像に対して行われたイベントを特定する。そして、イベント反映部６５は、この表示画像に対してイベントを反映させる。
通信制御部６６は、送受信部５１を制御して、ネットワーク７を介した携帯端末２との情報通信を制御する。

｛情報処理システムの作用｝
次に、情報処理システム１の作用を説明する。
まず、図２に示すように、ＰＣ５の表示制御部６１は、記憶部５３に記憶された表示画像データに基づいて、表示手段４の第１〜第３表示部４１〜４３に表示画像を表示させる（ステップＳ１）。この表示画像は、第１〜第３表示部４１〜４３をマルチディスプレイシステムとして利用した単一の画像であってもよいし、第１〜第３表示部４１〜４３をそれぞれ独立したディスプレイとして利用した互いに異なる画像であってもよい。また、表示画像は、マルチウインドウシステムにおけるウインドウ、アイコン、グラフィカルオブジェクトのうち少なくとも１つであってもよい。

次に、ＰＣ５の第１特徴抽出部６２は、表示画像の特徴を抽出する（ステップＳ２）。例えば、第１特徴抽出部６２は、一般的な画像認識技術を用いて、各表示画像の特徴を抽出する。一般的な画像認識技術としては、画像の不連続部分をエッジ、輪郭、線成分として抽出する技術、画像を特徴の一様な互いに関係ない連結領域に分割して領域として抽出する技術、画像に含まれるテクスチャの固有の特徴を抽出する技術が挙げられる。
そして、第１特徴抽出部６２は、上記抽出したエッジ、輪郭、線成分等の特徴を記憶部５３に記憶させる（ステップＳ３）。例えば、第１特徴抽出部６２は、表示画像の表示画像データと、表示画像の特徴とを関連付けて表示画像特徴データとして記憶させる。なお、表示画像特徴データには、表示画像がどの表示部に表示されているかを示す表示位置が関連付けられていてもよい。

一方、携帯端末２のユーザは、第１〜第３表示部４１〜４３に表示された表示画像のうち、イベントを実施したい表示画像の撮影操作を行う。携帯端末２の操作検出部２３がユーザの撮影操作を検出すると、撮影部２４は、撮影を行い（ステップＳ４）、撮影データを記憶部２５に記憶させる。この後、携帯端末２の表示制御部３１は、撮影画像を端末表示部２２に表示させる。そして、携帯端末２の端末処理部３２は、ユーザの操作に基づいて、撮影画像を補正し（ステップＳ５）、補正後の撮影画像の撮影データを記憶部２５に記憶させる。
この撮影画像の補正は、ＰＣ５において撮影画像の特徴を適切に抽出し、表示画像とのマッチングを適切にできるように行われるものである。例えば、端末処理部３２は、撮影画像のコントラスト、色調、歪み等の一般的な画像の補正を行う。なお、このステップＳ５の処理は行われなくてもよい。

この後、携帯端末２の送受信部２１は、通信制御部３３の制御により撮影データをＰＣ５へ送信する（ステップＳ６）。この送信の際、ＰＣ５において撮影画像から１つの表示画像を特定できるように、携帯端末２の制御部３０は、撮影画像に含まれる表示画像の数によって異なる処理を行ってもよい。
具体的に、制御部３０は、撮影画像に複数の表示画像が含まれる場合、端末表示部２２に撮影画像を表示させ、ユーザに１つの表示画像を選択させる。そして、制御部３０は、選択された表示画像を特定する選択情報とともに、複数の表示画像を含む撮影画像の撮影データをＰＣ５へ送信してもよい。また、制御部３０は、選択された表示画像のみを含む撮影画像を新たに生成し、この生成した撮影画像の撮影データのみをＰＣ５へ送信してもよい。
一方、制御部３０は、撮影画像に１つの表示画像のみが含まれる場合、この撮影画像の撮影データのみをＰＣ５へ送信してもよい。
例えば、図３に示すように、第１，第２，第３表示部４１，４２，４３にそれぞれ表示された表示画像Ｐ１１，Ｐ１２，Ｐ１３が撮影画像Ｐ１に含まれる場合であって、ユーザが表示画像Ｐ１２を選択した場合、制御部３０は、表示画像Ｐ１２の選択情報とともに撮影画像Ｐ１の撮影データを送信してもよいし、表示画像Ｐ１２のみを含む撮影画像の撮影データを送信してもよい。

ＰＣ５の送受信部５１は、図２に示すように、携帯端末２から撮影データを受信する（ステップＳ７）。そして、ＰＣ５の第２特徴抽出部６３は、撮影データを記憶部５３に記憶させ、撮影画像の特徴を抽出する（ステップＳ８）。
この際、第２特徴抽出部６３は、携帯端末２から複数の表示画像を含む撮影データとともに選択情報を受信した場合、複数の表示画像のうち選択情報で特定される表示画像の特徴を抽出する。一方、第２特徴抽出部６３は、１つの表示画像のみを含む撮影データのみを受信した場合、この表示画像の特徴を抽出する。
そして、ＰＣ５の選択部６４は、記憶部５３に記憶された表示画像特徴データから、第２特徴抽出部６３で抽出した撮影画像の特徴と一致する特徴を有する表示画像を検索する（マッチングする）（ステップＳ９）。この後、選択部６４は、表示画像を検索できたか否かを判断する（ステップＳ１０）。
ここで、特徴が一致するとは、完全に一致する場合に加えて、特徴がほぼ一致する場合を含んでもよい。例えば、携帯端末２の撮影角度により特徴が完全に一致しない場合、照明が表示手段４の表示面に反射して撮影画像に含まれてしまうことにより特徴が完全に一致しない場合であっても、これらの不一致点を無視すれば特徴が一致すると判断できる場合には、特徴が一致すると見なしてもよい。

このステップＳ１０において、選択部６４は、検索できなかったと判断した場合、携帯端末２のユーザに再撮影を要求し（ステップＳ１１）、ステップＳ４に戻る。
ここで、再撮影を要求する処理としては、第１〜第３表示部４１〜４３のいずれかに再要求の表示をさせたり、ＰＣ５や第１〜第３表示部４１〜４３のいずれかが有する図示しない音声出力部で音声により要求してもよい。あるいは、携帯端末２に再撮影を要求する信号を送信して、端末表示部２２に再要求の表示をさせてもよい。すなわち、再撮影の要求（選択部６４が１つも表示画像を選択できない旨）は、携帯端末２およびＰＣ５の少なくとも一方からユーザに知らされてもよい。
一方、ステップＳ１０において、選択部６４は、検索できたと判断した場合、検索数が１個か否かを判断する（ステップＳ１２）。そして、選択部６４は、ステップＳ１２において、検索数が１個であると判断した場合、この検索した表示画像の表示画像データを選択する（ステップＳ１３）。一方、選択部６４は、ステップＳ１２において、検索数が複数であると判断した場合、携帯端末２のユーザに対し、撮影した表示画像の選択を要求する（ステップＳ１４）。ここで、選択を要求する処理としては、第１〜第３表示部４１〜４３のいずれかに選択要求の表示をさせたり、ＰＣ５や第１〜第３表示部４１〜４３のいずれかが有する図示しない音声出力部で音声により要求してもよい。あるいは、携帯端末２に選択を要求する信号を送信して、端末表示部２２に選択要求の表示をさせてもよい。すなわち、選択の要求は、携帯端末２およびＰＣ５の少なくとも一方からユーザに知らされてもよい。
なお、検索数が複数となる場合としては、表示画像が似ている場合や、表示画像が似ていない場合であっても撮影画像の補正が適切に行われていない場合が例示できる。

この後、携帯端末２のユーザは、選択要求に基づき表示画像を選択する操作を行う。そして、携帯端末２の操作検出部２３が選択操作を検出すると（ステップＳ１５）、通信制御部３３は、送受信部２１を制御して選択結果をＰＣ５へ送信する（ステップＳ１６）。
ＰＣ５の選択部６４は、携帯端末２からの選択結果を受信すると、この選択結果に基づく表示画像データを選択する（ステップＳ１３）。なお、ステップＳ１５の選択操作は、ＰＣ５の入力部５２により行われてもよい。
そして、ＰＣ５の通信制御部６６は、送受信部５１を制御して、選択部６４が選択した表示画像データを携帯端末２へ送信する（ステップＳ１７）。
なお、ステップＳ１７で携帯端末２へ送信される表示画像データは、ＲＡＷデータ（表示画像と同じ解像度の画像を表示させるためのデータであって、加工していないもの）であってもよいし、圧縮データ（表示画像よりも低い解像度の画像を表示させるために、ＲＡＷデータを加工したもの）であってもよい。
例えば、イベントの内容が、表示画像の拡大表示や縮小表示あるいは回転処理等、表示画像の表示状態を変更するものである場合、あるいは、表示画像に線や図形を描画する処理、表示画像の一部を消去する処理等、表示画像自体を加工するものである場合、ＲＡＷデータを送信してもよい。
また、イベントの内容が表示画像を次のページの画像に送ったり前のページの画像に戻したりする処理、表示画像に対応する動画の再生や停止、表示画像に対応するウェブサービスへの接続やアプリケーションソフトの立上げ、表示画像に対応する商品の値段や品質あるいはクーポンの表示等、表示画像の表示とは直接関係ないものの場合、圧縮データを送信してもよい。

携帯端末２の表示制御部３１は、送受信部２１が表示画像データを受信すると（ステップＳ１８）、この表示画像データに基づく表示画像を端末表示部２２に表示させる（ステップＳ１９）。そして、携帯端末２の通信制御部３３は、図４に示すように、ＰＣ５に対し、適合コマンド通信の許諾要求信号を送信する（ステップＳ２０）。
この後、ＰＣ５の通信制御部６６は、適合コマンド通信を許諾するか否かを判断し（ステップＳ２１）、許諾しない場合、携帯端末２のユーザに許諾しない旨の通知を行い（ステップＳ２２）、処理を終了する。ここで、適合コマンド通信を許諾しない場合としては、携帯端末２があらかじめ情報処理システム１を利用できる携帯端末として登録されていない場合が例示できる。また、許諾しない旨の通知としては、ステップＳ１４における選択要求と同様の処理が例示できる。
一方、ＰＣ５の通信制御部６６は、ステップＳ２１において、許諾すると判断した場合、携帯端末２のユーザに許諾する旨の通知を行う（ステップＳ２３）。この許諾する旨の通知は、許諾しない旨の通知と同様の処理で行ってもよい。

この後、携帯端末２のユーザは、端末表示部２２に表示された表示画像に対し、イベントを実施する操作を行う。そして、携帯端末２の操作検出部２３が操作を検出すると、端末処理部３２は、表示画像に対するイベントを実施する（ステップＳ２４）。このイベントとしては、上述のものが例示できる。
その後、携帯端末２の操作検出部２３がユーザによるイベントを確定する旨の操作を検出すると、通信制御部３３は、送受信部２１を制御して、この確定したイベントの内容をＰＣ５へ送信する（ステップＳ２５）。

ＰＣ５の通信制御部６６が携帯端末２からイベントの内容を受信すると、イベント反映部６５は、選択部６４が選択した表示画像のみに対し、イベントの内容を反映させる（ステップＳ２６）。
例えば、選択部６４が表示画像Ｐ１２を選択した場合であり、かつ、イベントが表示画像の拡大表示の場合、表示画像Ｐ１２を拡大表示し、表示画像Ｐ１１，Ｐ１３の大きさを変更しない。また、イベントが表示画像Ｐ１２に対応するウェブサービスへの接続やアプリケーションソフトの立上げの場合、表示画像Ｐ１２の代わりに、または、表示画像Ｐ１２とともに、当該ウェブサービスやアプリケーションソフトの立上げ後の画像を第２表示部４２に表示させ、第１，第３表示部４１，４３の表示を変更しなくてもよい。

この後、イベント反映部６５は、イベントを反映させた表示画像が他の表示画像に変更されたか否かを判断する（ステップＳ２７）。表示画像が変更される場合としては、ＰＣ５のユーザによる入力部５２の操作に基づく変更や、設定時間が経過することによる変更が例示できる。
イベント反映部６５は、ステップＳ２７において、表示画像が変更されていないと判断した場合、イベント再実施の確認要求をする（ステップＳ２８）。ここで、イベント再実施の確認要求としては、ステップＳ１４における選択要求と同様の処理が例示できる。

この後、携帯端末２の端末処理部３２は、ユーザによる操作検出部２３の操作によってイベントの再実施が要求されたか否かを判断する（ステップＳ２９）。そして、ステップＳ２９において、端末処理部３２は、再実施が要求されたと判断すると、この要求に基づいてステップＳ２４の処理を行う。一方、ステップＳ２９において、端末処理部３２は、再実施が要求されていないと判断した場合、ユーザがイベントの実施対象の表示画像を他の表示画像に変更するために、他の表示画像を撮影する操作がされたか否かを判断する（ステップＳ３０）。
端末処理部３２は、ステップＳ３０において、他の表示画像を撮影すると判断した場合、図２に示すステップＳ４の処理を行う。また、端末処理部３２は、ステップＳ３０において、他の表示画像を撮影しないと判断した場合、処理を終了する。

一方、ＰＣ５の制御部６０は、ステップＳ２７において、イベント反映部６５により表示画像が変更されたと判断された場合、通信制御部６６によってセッションの継続確認通知を行う（ステップＳ３１）。ここで、セッションの継続確認通知としては、ステップＳ１４における選択要求と同様の処理が例示できる。
この後、携帯端末２の通信制御部３３は、図５に示すように、ユーザによる操作検出部２３の操作によってセッションの継続が要求されたか否かを判断する（ステップＳ３２）。そして、ステップＳ３２において、通信制御部３３は、セッションの継続が要求されたと判断すると、ＰＣ５に対しセッションを継続する旨の要求信号を送信する（ステップＳ３３）。
ＰＣ５は、通信制御部６６によってセッションの継続要求信号を受信すると、第１特徴抽出部６２によって変更後の表示画像の特徴を抽出し（ステップＳ３４）、この抽出した特徴を記憶部５３に記憶させる（ステップＳ３５）。そして、通信制御部６６は、変更後の表示画像の表示画像データを携帯端末２へ送信する（ステップＳ３６）。この後、図２に示すステップＳ１８の処理が行われる。

一方、携帯端末２の通信制御部３３は、ステップＳ３２において、セッションの切断が要求されたと判断すると、セッションを切断する（ステップＳ３７）。ＰＣ５の通信制御部６６は、携帯端末２によってセッションが切断されたことを検出すると、セッションを切断し（ステップＳ３８）、処理を終了する。

｛実施形態の作用効果｝
上述したような実施形態では、以下のような作用効果を奏することができる。
ＰＣ５の第１特徴抽出部６２は、第１〜第３表示部４１〜４３に表示された複数の表示画像Ｐ１１〜Ｐ１３の特徴をそれぞれ抽出する。この後、第２特徴抽出部６３は、第１〜第３表示部４１〜４３に表示された複数の表示画像Ｐ１１〜Ｐ１３のうちいずれかを撮影して得られる撮影データを携帯端末２から取得し、当該撮影データに含まれる撮影画像の特徴を抽出する。そして、選択部６４は、第１特徴抽出部６２および第２特徴抽出部６３での抽出結果に基づいて、複数の表示画像Ｐ１１〜Ｐ１３から１つの表示画像を選択する。
このため、ＰＣ５は、表示画像Ｐ１１〜Ｐ１３以外の画像を表示させる必要がなく、ユーザに表示画像そのものを携帯端末２で撮影させるだけの簡単な方法で、選択対象の表示画像を選択させることができる。

選択部６４は、複数の表示画像Ｐ１１〜Ｐ１３から２つ以上の表示画像を選択できる場合、当該２つ以上の表示画像から１つの表示画像を選択する旨を携帯端末２のユーザに要求する。そして、選択部６４は、１つの表示画像が選択された旨の選択結果を携帯端末２から取得すると、この選択された表示画像を選択する。
このため、複数の表示画像Ｐ１１〜Ｐ１３のうち、少なくとも２つが似ている場合であっても、ＰＣ５は、携帯端末２のユーザが選択したい表示画像を確実に選択することができる。

選択部６４は、複数の表示画像Ｐ１１〜Ｐ１３から１つも表示画像を選択できない場合、当該選択できない旨を携帯端末２のユーザに知らせる。
このため、携帯端末２のユーザは、手ぶれ等によって表示画像の撮影に失敗した場合でも、再撮影を行うことで表示画像を確実に選択できる。

ＰＣ５の送受信部５１は、選択部６４で選択された表示画像の表示画像データを携帯端末２へ送信する。
このため、携帯端末２のユーザに表示画像に対するイベントを実施させることができる。

ＰＣ５のイベント反映部６５は、選択部６４で選択された表示画像に対して、携帯端末２で行われたイベントを反映させる。
このため、ユーザは、携帯端末２を介して第１〜第３表示部４１〜４３の表示画像に対するイベントを実施することができる。

｛変形例｝
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、図６に示すように、前記実施形態の情報処理システム１の表示手段４およびＰＣ５の代わりに、表示手段４Ａおよび情報処理装置としてのＰＣ５Ａを設けた情報処理システム１Ａとしてもよい。
表示手段４Ａは、１つの表示部４１Ａを備える。
ＰＣ５ＡとＰＣ５との相違点は、制御部６０の代わりに制御部６０Ａを設けた点である。制御部６０Ａと制御部６０との相違点は、表示制御部６１の代わりに表示制御部６１Ａを設けた点である。

そして、情報処理システム１ＡのＰＣ５Ａは、まず、図２に示すステップＳ１において、表示制御部６１Ａが１つの表示部４１Ａに複数の表示画像を表示させる。次に、第１特徴抽出部６２は、ステップＳ２〜Ｓ３において、表示部４１Ａに表示された複数の表示画像の特徴を抽出する。この後、携帯端末２は、ステップＳ４において、図７に示すように、携帯端末２が複数の表示画像Ｐ１１〜Ｐ１３を含む撮影画像Ｐ２を撮影する。
その後、携帯端末２およびＰＣ５ＡがステップＳ５〜Ｓ３１の処理を行うことで、選択部６４が撮影画像Ｐ２に基づいて、表示画像Ｐ１１〜Ｐ１３のうちいずれか１つの表示画像を選択し、この選択した表示画像に対して、イベント反映部６５が携帯端末２の操作に基づくイベントを実施する。

また、図１において、第１〜第３表示部４１〜４３のそれぞれに表示させる表示画像の数は、２以上であってもよい。さらに、第１〜第３表示部４１〜４３に、互いに異なる数の表示画像を表示させてもよい。例えば、表示手段４を第１，第２表示部４１，４２のみで構成した場合、第１表示部４１に表示画像Ｐ１１，Ｐ１２を表示させ、第２表示部４２に表示画像Ｐ１３を表示させてもよい。この場合、携帯端末２によって図８に示すような撮影画像Ｐ３が撮影され、ステップＳ５〜Ｓ３１の処理が行われる。
さらに、選択部６４が複数の表示画像から２つ以上の表示画像を選択できる場合、当該２つ以上の表示画像から２つ以上（上記実施形態では２つまたは３つ）の表示画像を選択する旨を携帯端末２のユーザに要求してもよい。このような構成にすれば、複数の表示画像のうち、少なくとも２つが似ている場合、ＰＣ５は、携帯端末２のユーザが選択したい２つ以上の表示画像を選択することとなる。したがって、ユーザは、１つの撮影画像を撮影するだけで、２つ以上の表示画像を選択して、ＰＣ５に当該２つ以上の表示画像に対するイベントを実施させることができる。
また、図６に示す表示手段４Ａは、ＰＣ５Ａと一体であってもよい。

さらに、本発明の情報処理装置としては、家電機器、業務用インフォメーション、車内インフォメーションの表示部に表示画像を表示させるものであってもよい。
また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは一つのＩＣなどの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、上述したように取扱が容易で、利用の拡大が容易に図れる。

その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。

２…携帯端末（端末）
５，５Ａ…ＰＣ（情報処理装置）
４１，４２，４３，４１Ａ…表示部
５１…送受信部（撮影データ取得部、送信部、処理情報取得部）
６２…第１特徴抽出部
６３…第２特徴抽出部
６４…選択部
６５…イベント反映部（処理反映部）

Claims (15)

1. 複数の画像が表示される表示部と、
   前記表示部に表示された複数の画像の特徴をそれぞれ抽出する第１特徴抽出部と、
   前記表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得部と、
   前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出部と、
   前記第１特徴抽出部での抽出結果および前記第２特徴抽出部での抽出結果に基づいて、前記複数の画像から１または複数の画像を選択する選択部とを備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記選択部は、前記複数の画像から２以上の画像を選択できる場合、当該２以上の画像から１または複数の画像を選択する旨をユーザに要求する処理を行い、前記１または複数の画像が選択された旨の選択結果を取得すると、前記選択された画像を選択することを特徴とする情報処理装置。
3. 請求項１または請求項２に記載の情報処理装置において、
   前記選択部は、前記複数の画像から１つも画像を選択できない場合、当該選択できない旨をユーザに知らせる処理をすることを特徴とする情報処理装置。
4. 請求項１から請求項３のいずれかに記載の情報処理装置において、
   前記選択部で選択された画像の画像データを端末へ送信する送信部を備えることを特徴とする情報処理装置。
5. 請求項４に記載の情報処理装置において、
   前記画像データの画像に対する処理が行われた旨の処理情報を前記端末から取得する処理情報取得部と、
   前記選択部で選択された画像に対して、前記処理情報に基づく処理を反映させる処理反映部とを備えることを特徴とする情報処理装置。
6. 請求項１から請求項５のいずれかに記載の情報処理装置において、
   前記表示部に表示される画像は、マルチウインドウシステムにおけるウインドウ、アイコン、グラフィカルオブジェクトのうち少なくとも１つであることを特徴とする情報処理装置。
7. 情報処理装置を用いた情報処理方法であって、
   表示部に表示された複数の画像の特徴をそれぞれ抽出する第１特徴抽出工程と、
   前記表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得工程と、
   前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出工程と、
   前記第１特徴抽出工程での抽出結果および前記第２特徴抽出工程での抽出結果に基づいて、前記複数の画像から１または複数の画像を選択する選択工程とを備えることを特徴とする情報処理方法。
8. １または複数の画像が表示される複数の表示部と、
   前記複数の表示部に表示された画像の特徴を抽出する第１特徴抽出部と、
   前記複数の表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得部と、
   前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出部と、
   前記第１特徴抽出部での抽出結果および前記第２特徴抽出部での抽出結果に基づいて、前記複数の表示部に表示されている１または複数の画像を選択する選択部とを備えることを特徴とする情報処理装置。
9. 請求項８に記載の情報処理装置において、
   前記選択部は、前記複数の表示部に表示された画像から２以上の画像を選択できる場合、当該２以上の画像から１または複数の画像を選択する旨をユーザに要求する処理を行い、前記１または複数の画像が選択された旨の選択結果を取得すると、前記選択された画像を選択することを特徴とする情報処理装置。
10. 請求項８または請求項９に記載の情報処理装置において、
    前記選択部は、前記複数の表示部に表示された画像から１つも画像を選択できない場合、当該選択できない旨をユーザに知らせる処理をすることを特徴とする情報処理装置。
11. 請求項８から請求項１０のいずれかに記載の情報処理装置において、
    前記選択部で選択された画像の画像データを端末へ送信する送信部を備えることを特徴とする情報処理装置。
12. 請求項１１に記載の情報処理装置において、
    前記画像データの画像に対する処理が行われた旨の処理情報を前記端末から取得する処理情報取得部と、
    前記選択部で選択された画像に対して、前記処理情報に基づく処理を反映させる処理反映部とを備えることを特徴とする情報処理装置。
13. 請求項８から請求項１２のいずれかに記載の情報処理装置において、
    前記複数の表示部に表示される画像はそれぞれ１つずつであることを特徴とする情報処理装置。
14. 請求項８から請求項１３のいずれかに記載の情報処理装置において、
    前記表示部に表示される画像は、マルチウインドウシステムにおけるウインドウ、アイコン、グラフィカルオブジェクトのうち少なくとも１つであることを特徴とする情報処理装置。
15. 情報処理装置を用いた情報処理方法であって、
    複数の表示部に表示された画像の特徴を抽出する第１特徴抽出工程と、
    前記複数の表示部に表示された画像を撮影して得られる撮影データを取得する撮影データ取得工程と、
    前記撮影データに含まれる画像の特徴を抽出する第２特徴抽出工程と、
    前記第１特徴抽出工程での抽出結果および前記第２特徴抽出工程での抽出結果に基づいて、前記複数の表示部に表示されている１または複数の画像を選択する選択工程とを備えることを特徴とする情報処理方法。

Images