JP5398728B2 - 情報処理装置、情報処理方法、記録媒体、及び集積回路 - Google Patents

Description

本発明は、情報処理装置に関し、特に、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する情報処理装置に関するものである。

近年、切符券売機などの公共設備の他に、個人が使用するパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、テレビ等の家電リモコン、スマートフォンと呼ばれる高機能モバイル端末など様々な情報機器にも、タッチパネル搭載型のディスプレイ画面が導入されてきている。これらの情報機器の多くは、画面上又は画面近傍にセンサを装備する。ユーザは、情報機器の画面に表示された文字若しくは画像で構成されたリンク又はボタンを直接的に指で触れることにより、操作を行う。情報機器がセンサによってユーザの操作要求を検出するので、ユーザは、所望の処理を直感的な操作によって情報機器に実行させることができる。

ユーザが情報機器を用いて行う処理には、第１の例として、モバイル端末から個人のブログサイトへの記事の投稿がある。この投稿処理には、モバイル端末のカメラ機能で撮影した画像に対する、サイズ変更、セピア調などの色彩変更、キーワードとなるタグの付与といった編集処理、編集した画像を添付してメールを送信する処理などが含まれる。

ここで、一般的なタッチパネルを搭載したモバイル端末には、ユーザによる操作を受け付けるためのタッチパネル用メニュー画面が階層的に用意されている。そして、ユーザは、メニュー画面の起動に割り当てられた、タッチパネル上のメニューアイコンに触れたり、又は、メニュー画面の起動に割り当てられた、モバイル端末の本体に設けられたボタンを押下したりする。これにより、モバイル端末は、メニュー画面を表示し、さらに、そのメニュー画面に表示されたカメラ機能の起動アイコンに、ユーザが触れた時点で、カメラ機能が起動する。

次に、タッチパネル上のシャッターアイコン、又は、モバイル端末の本体に設けられたシャッターボタンによって撮影が開始され、撮影画像が記録される。次に、操作対象オブジェクトである、撮影した画像に対して、次の処理が順次行われる。すなわち、ユーザは、「サブメニュー」から「画像編集」を選択し、再び表示される「サブメニュー」から「サイズ変更」を選択した後に「所望のサイズ」を選択する。これにより、モバイル端末は、画像のサイズ調整を行う。次に、ユーザは、「サブメニュー」から「フォトレタッチ」といった色彩変更メニューを選択した後に「セピア調」を選択する。

これにより、モバイル端末により、画像の色彩変更が行われる。次に、ユーザが、「サブメニュー」から「キーワード付与」を選択した後に、付与したいキーワードを入力するか又は候補から選択する。次に、ユーザが、「サブメニュー」から「メールに添付して送信」を選択した後に、「宛先アドレスの選択」及び「タイトル・本文入力」などの処理をタッチ操作（又は、ボタンキーによる操作）によって、入力する。このように、ブログサイトへの記事を投稿するという１つの目的を達成するために、複数のタッチ操作が繰り返し行われている。

このような操作は、モバイル端末の操作を熟知したユーザによって日常的に行われている。しかしながら、メニュー画面が階層的に構成されているので、タッチパネルを導入しても表示すべき画面数は多い。ユーザによるタッチパネルへのタッチ回数（又は、操作キーへの操作回数）は、階層数に比例して増加する傾向にある。すなわち、階層数が増加するに従って、ユーザの利便性が返って損なわれる可能性がある。

また、非連続的な複数の機能に基づく処理を連続的に実行したい場合、ユーザは、メニューアイコンを選択した後、次にどのようなサブメニューを選択できるか予め把握している必要がある。従って、機器の操作が苦手なユーザや端末機能についての知識が余り無いユーザにとって、メニュー画面の階層的な構成は、返って不便になる可能性がある。また、メニュー画面の階層的な構成は、熟練者であっても、日常的に同じ操作を繰り返さなければならない。

上記した第１の例における課題を解決する第１の方法が、特許文献１に開示されている。具体的には、画面表示部に予め決められた処理コマンド実行領域アイコンが表示される。そして、ユーザが操作対象となる画像等のデータを示す操作対象オブジェクト（アイコン）をタッチパネル又はマウスを用いたカーソル操作によってドラッグして、処理コマンド実行領域を通過させる。これにより、モバイル端末は、この処理コマンド実行領域に対応する処理を操作対象オブジェクトに対応するデータに対して実行することができる。

また、各処理コマンド実行領域に対してパラメータ候補値（例えば、画像の拡大倍率等）を予め設定しておけば、操作対象オブジェクト（アイコン）が通過する領域の近傍に、対応するパラメータ候補値を表示することもできる。そして、ユーザが、表示された複数のパラメータ候補値の中から、所望の値を選択することもできる。

また、スクリプト又はバッチファイルによる処理実行方法が広く知られている。この方法によれば、例えば、コンピュータに連続的に実行させたい複数の処理を、ユーザが予め１つの記述ファイルに記述ルールに従って順番に記述することにより、複数の処理が順次実行される。

特開２００５−１４９２７９号公報

しかしながら、上記説明した特許文献１に開示された方法においては、操作対象オブジェクトが画像又は音声といったコンテンツに限定されており、また、そのコンテンツに対する処理も一度に１つを前提としている。

ここに上記説明した複数処理の実行方法を適用することも可能であるが、この複数処理の実行方法においては、ユーザ自らが予めコンピュータ上で実行すべき処理を記述ルールに従ってコンピュータが解釈可能な言語で記載する必要がある。このため、機器の操作が苦手なユーザ、端末機能に対する知識が余り無いユーザにとって、利便性の高い方法とは言えない。

本発明は、かかる点に鑑みてなされたものであり、直感的な操作性よって複数の処理を実行可能な情報処理装置を提供することを目的とする。

本発明の一形態に係る情報処理装置は、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する。具体的には、オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部と、前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付部と、前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御部と、前記命令受付部で受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成部とを備える。前記表示制御部は、さらに、前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させる。そして、前記命令生成部は、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成し、前記表示制御部は、前記表示画面の第１表示領域に表示されるオブジェクトアイコンを、ユーザの操作に応じて選択してドラッグし、前記命令受付部は、選択されてドラッグされた前記オブジェクトアイコンが、前記第２表示領域に表示された前記コマンドアイコンに重なった場合には、当該コマンドアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記コマンドアイコンを選択する操作を受け付け、選択されてドラッグされたオブジェクトアイコンが、選択された前記コマンドアイコンから移動して、前記第３表示領域に表示された前記パラメータアイコンに重なった場合には、当該パラメータアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記パラメータアイコンを選択する操作を受け付ける。

上記構成によれば、オブジェクトアイコンと、コマンドアイコンと、パラメータアイコンとが一画面に同時に表示されるので、ユーザは、操作対象オブジェクトに対する命令を、直感的な操作で実行することができる。

また、操作対象オブジェクトを選択すると、当該操作対象オブジェクトに対して実行可能なコマンドのコマンドアイコンのみが表示される。また、コマンドを選択すると、当該コマンドに関連付けられたパラメータのパラメータアイコンのみが表示される。さらに、操作対象オブジェクトに対して実行されるコマンドを一度に複数選択することができる。その結果、ユーザの利便性がさらに向上する。

さらに、該情報処理装置は、前記命令生成部で生成された前記命令を、前記操作対象オブジェクトに対して実行する命令実行部を備えてもよい。これにより、情報処理装置が保持しているコンテンツ（実体データ）に対して生成した命令を実行することができる。

また、前記表示制御部は、２以上の前記操作対象オブジェクトが選択された場合に、前記２以上の操作対象オブジェクトに対して共通して実行可能な前記コマンドを、前記コマンド管理部から抽出してもよい。

また、前記表示制御部は、前記表示画面上で未だ前記アイコンの表示に利用されていない残留領域の大きさに応じて、前記表示画面上に既に表示されている複数の前記アイコンの表示間隔を補正してもよい。これにより、新たに表示され、ユーザによって選択されるべきアイコンの表示領域を確保することができるので、操作性がさらに向上する。

前記命令生成部は、生成した前記命令を処理パターンとして、前記記憶部のパターン管理部に登録してもよい。そして、前記表示制御部は、選択された前記オブジェクトアイコンで識別される前記オブジェクトに対して実行可能な前記処理パターンを前記パターン管理部から抽出し、抽出された前記処理パターンを識別するための処理パターンアイコンを、前記表示画面の前記第１、第２及び第３表示領域と異なるパターン表示領域に表示させてもよい。これにより、同じ処理を繰り返し実行する場合などに、ユーザの利便性が向上する。

さらに、該情報処理装置は、前記表示画面と、前記表示画面の向きを検出する検出部を備えてもよい。そして、前記表示制御部は、前記検出部によって検出された前記表示画面の向きに応じて、前記表示画面上に表示させる前記アイコンの表示位置を変更してもよい。これにより、表示画面の向きに応じて、適切なレイアウトでアイコンを表示させることができる。

また、前記オブジェクトは、該情報処理装置と接続される外部装置であってもよい。さらに、該情報処理装置は、前記命令生成部で生成された前記命令を、前記操作対象オブジェクトに対応する外部装置に送信する通信部を備えてもよい。これにより、手元の情報処理装置で命令を生成し、外部装置に実行させることができる。

さらに、前記通信部は、前記操作対象オブジェクトの現在の動作状態を示す状態情報を、当該操作対象オブジェクトから受信してもよい。そして、前記表示制御部は、前記状態情報に示される動作状態において、前記操作対象オブジェクトに対して実行可能な前記コマンドを、前記コマンド管理部から抽出してもよい。これにより、操作対象機器の動作状態に応じて、実行し得るコマンドアイコンのみを表示できるので、ユーザの操作効率を向上することができる。

また、前記操作対象オブジェクトが表示画面を有する場合において、前記通信部は、前記操作対象オブジェクトの表示画面に表示されている表示内容を示す表示レイアウト情報を、当該操作対象オブジェクトから受信してもよい。さらに、前記表示制御部は、前記表示レイアウト情報に示される表示内容を、前記表示画面の前記第１、第２及び第３表示領域と異なる仮想画面表示領域に表示させてもよい。これにより、操作対象オブジェクトの表示画面と仮想画面表示領域とを連動させて操作を行うことができるので、操作性がさらに向上する。

本発明の一形態に係る情報処理方法は、オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部を備える情報処理装置が、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する方法である。具体的には、前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付ステップと、前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御ステップと、前記命令受付ステップで受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成ステップとを含む。さらに、前記表示制御ステップでは、前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させる。そして、前記命令生成ステップは、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成する。

本発明の一形態に係るコンピュータ読取可能な記録媒体は、オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部を備える情報処理装置に、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成させるプログラムを記録している。当該プログラムは、前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付ステップと、前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御ステップと、前記命令受付ステップで受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成ステップと前記情報処理装置に実行させる。さらに、前記表示制御ステップでは、前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させる。そして、前記命令生成ステップは、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成する。

本発明の一形態に係る集積回路は、オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部を備え、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する情報処理装置に搭載される。具体的には、前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付部と、前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御部と、前記命令受付部で受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成部とを備える。さらに、前記表示制御部は、前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させる。そして、前記命令生成部は、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成する。

本発明によれば、直感的な操作性よって複数の処理を実行可能な情報処理装置を提供することができる。

図１は、本発明の実施の形態１に係る情報処理装置のブロック図である。 図２Ａは、縦向きの表示部に表示される操作画面の構成例である。 図２Ｂは、横向きの表示部に表示される操作画面の構成例である。 図３Ａは、操作対象オブジェクトが選択される様子を示す図である。 図３Ｂは、操作対象オブジェクトに対して実行可能なコマンドが表示される様子を示す図である。 図３Ｃは、コマンドが選択されたことにより、コマンドに関連付けられたパラメータが表示される様子を示す図である。 図３Ｄは、パラメータが選択される様子を示す図である。 図３Ｅは、２つ目のコマンドが選択されたことにより、当該コマンドに関連付けられたパラメータが表示される様子を示す図である。 図３Ｆは、生成された命令を実行する様子を示す図である。 図４Ａは、図３Ａの状態における操作履歴テーブルの内容を示す図である。 図４Ｂは、図３Ｂの状態における操作履歴テーブルの内容を示す図である。 図４Ｃは、図３Ｃの状態における操作履歴テーブルの内容を示す図である。 図４Ｄは、図３Ｄの状態における操作履歴テーブルの内容を示す図である。 図４Ｅは、図３Ｅの状態における操作履歴テーブルの内容を示す図である。 図４Ｆは、図３Ｆの状態における操作履歴テーブルの内容を示す図である。 図５Ａは、処理パターンを登録する様子を示す図である。 図５Ｂは、処理パターンのプロパティを入力する様子を示す図である。 図５Ｃは、操作対象オブジェクトが選択される様子を示す図である。 図５Ｄは、処理パターンを選択する様子を示す図である。 図５Ｅは、操作対象オブジェクトに対して処理パターンを実行する様子を示す図である。 図５Ｆは、プログレス表示画面を示す図である。 図６Ａは、図５Ａの状態における操作履歴テーブルの内容を示す図である。 図６Ｂは、パターン管理テーブルのデータフォーマットの一例を示す図である。 図６Ｃは、パターン管理テーブルに複数の処理パターンが登録されている例を示す図である。 図７は、実施の形態１に係る情報処理装置の動作を示すフロー図である。 図８は、属性検証処理を示すフロー図である。 図９は、実施の形態１におけるコマンド管理テーブルの一例を示す図である。 図１０Ａは、コマンド参照テーブルの一例である「Ａｄｄｒｅｓｓ Ｂｏｏｋ」を示す図である。 図１０Ｂは、コマンド参照テーブルの一例である「Ｒｅｔｏｕｃｈ Ｆｉｌｔｅｒ」を示す図である。 図１０Ｃは、コマンド参照テーブルの一例である「Ｍａｒｋ Ｔａｂｌｅ」を示す図である。 図１０Ｄは、コマンド参照テーブルの一例である「Ｆｒａｍｅ Ｔａｂｌｅ」を示す図である。 図１０Ｅは、コマンド参照テーブルの一例である「Ｔａｇ ＤＢ」を示す図である。 図１０Ｆは、コマンド参照テーブルの一例である「Ｓｉｚｅ Ｔａｂｌｅ」を示す図である。 図１０Ｇは、コマンド参照テーブルの一例である「Ｒｏｔａｔｅ Ｔａｂｌｅ」を示す図である。 図１１は、実施の形態１におけるコマンド候補テーブルの一例を示す図である。 図１２は、実施の形態１におけるコンテンツリストテーブルの一例を示す図である。 図１３は、本発明の実施の形態２に係るシステムの構成を示す図である。 図１４は、本発明の実施の形態２に係る情報処理装置のブロック図である。 図１５Ａは、操作対象オブジェクトを選択する様子を示す図である。 図１５Ｂは、外部装置から取得する情報の一例を示す図である。 図１５Ｃは、図１５Ｂに示される情報に基づく表示例である。 図１６Ａは、外部装置から取得する情報の他の例を示す図である。 図１６Ｂは、図１６Ａに示される情報に基づく表示例である。 図１６Ｃは、情報表示装置の操作例を示す図である。 図１７は、実施の形態２における属性検証処理を示すフロー図である。 図１８は、実施の形態２におけるコマンド管理テーブルの一例を示す図である。 図１９Ａは、複数の操作対象オブジェクトが選択される様子を示す図である。 図１９Ｂは、複数の操作対象オブジェクトに対して、共通して実行可能なコマンドが表示される様子を示す図である。 図１９Ｃは、複数の操作対象オブジェクトに対する命令が生成される様子の一例を示す図である。 図１９Ｄは、複数の操作対象オブジェクトに対する命令が生成される様子の他の例を示す図である。 図１９Ｅは、プログレス表示画面の一例を示す図である。 図１９Ｆは、命令の実行結果画面の一例を示す図である。 図２０は、コマンド候補テーブルの一例を示す図である。 図２１Ａは、コマンド参照テーブルの一例である「Ａｄｄｒｅｓｓ Ｂｏｏｋ」を示す図である。 図２１Ｂは、コマンド参照テーブルの一例である「Ｒｅｔｏｕｃｈ Ｆｉｌｔｅｒ」を示す図である。 図２１Ｃは、コマンド参照テーブルの一例である「Ｍａｒｋ Ｔａｂｌｅ」を示す図である。 図２１Ｄは、コマンド参照テーブルの一例である「Ｆｒａｍｅ Ｔａｂｌｅ」を示す図である。 図２１Ｅは、コマンド参照テーブルの一例である「Ｔａｇ ＤＢ」を示す図である。 図２１Ｆは、コマンド参照テーブルの一例である「Ｓｉｚｅ Ｔａｂｌｅ」を示す図である。 図２１Ｇは、コマンド参照テーブルの一例である「Ｒｏｔａｔｅ Ｔａｂｌｅ」を示す図である。 図２１Ｈは、コマンド参照テーブルの一例である「Ｐｏｗｅｒ Ｔａｂｌｅ」を示す図である。 図２１Ｉは、コマンド参照テーブルの一例である「Ｍｕｔｅ Ｔａｂｌｅ」を示す図である。 図２１Ｊは、コマンド参照テーブルの一例である「Ｔｉｍｅｒ ＳｅｔＴａｂｌｅ」を示す図である。 図２１Ｋは、コマンド参照テーブルの一例である「ＲｅｃｕｒｒｉｎｇＳｅｔｔｉｎｇ Ｔａｂｌｅ」を示す図である。 図２２Ａは、登録された処理パターンの定期実行を指示する様子を示す図である。 図２２Ｂは、定期実行が指示される前の処理パターンの登録例を示す図である。 図２２Ｃは、定期実行が指示される後の処理パターンの登録例を示す図である。 図２３は、本発明の実施の形態３に係る情報処理装置のブロック図である。 図２４Ａは、表示補正レベルが「０」の場合の表示例を示す図である。 図２４Ｂは、表示補正レベルが「１」の場合の表示例を示す図である。 図２４Ｃは、図２４Ｂに新たな表示項目が追加された表示例を示す図である。 図２４Ｄは、表示補正レベルが「２」の場合の表示例を示す図である。 図２５は、表示内容補正処理を示すフロー図である。 図２６は、本発明の実施の形態４に係る情報処理装置のブロック図である。 図２７Ａは、外部装置の表示画面と、情報処理装置の仮想画面表示領域との関係を示す図である。 図２７Ｂは、仮想画面表示領域を含む表示例を示す図である。 図２７Ｃは、仮想画面を用いた操作例を示す図である。 図２７Ｄは、操作命令メッセージの一例を示す図である。 図２８は、本発明の実施の形態５に係る情報処理装置のブロック図である。 図２９Ａは、外部装置の表示画面と、情報処理装置の仮想画面表示領域との関係を示す図である。 図２９Ｂは、縦向きの表示部に表示される仮想画面の表示例である。 図２９Ｃは、横向きの表示部に表示される仮想画面の表示例である。 図２９Ｄは、外部装置の表示画面の表示例である。 図２９Ｅは、仮想画面を用いた操作例を示す図である。 図３０Ａは、縦向きの表示部に表示される操作画面の構成例である。 図３０Ｂは、横向きの表示部に表示される操作画面の構成例である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

（実施の形態１）
図１は、本発明の実施の形態１に係る情報処理装置１００の構成を示すブロック図である。図１において、情報処理装置１００は、表示制御部１０と、記憶部２０と、表示部１０３と、命令受付部１０４と、命令実行部１０６と、タイマー１０７と、命令生成部１１５とを備える。この情報処理装置１００は、表示部１０３に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する。

記憶部２０は、コマンド管理部１０１と、データ保持部１０２と、パターン管理部１１０とを備え、情報処理装置１００の動作に必要な各種データを記憶するＤＢ（Ｄａｔａ Ｂａｓｅ）である。

コマンド管理部１０１は、コマンド情報を少なくとも１つ保持する。このコマンド情報は、情報処理装置１００に備わる各種機能の処理を実行する切掛けとなるコマンド（「処理コマンド」ともいう。以下同じ。）と、当該コマンドの処理内容を規定する１以上のパラメータとを関連付けて保持している。また、コマンド情報は、コマンドを識別するためのコマンドアイコンと、パラメータを識別するためのパラメータアイコンとを保持している。

データ保持部１０２は、操作対象となるオブジェクトと、当該オブジェクトを識別するためのオブジェクトアイコンとを対応付けて保持する。なお、実施の形態１に係るオブジェクトとは、情報処理装置１００に保持されている実体データであり、典型的にはファイルの形式で保持されている。実体データの具体例は特に限定されないが、例えば、画像ファイル、動画ファイル、テキストファイル等あらゆる形式のデータを挙げることができる。

パターン管理部１１０は、操作命令により指定されたコマンド及びパラメータの集合を、処理パターンとして登録するパターン管理テーブルを少なくとも１つ保持する。すなわち、パターン管理テーブルには、処理順序データ（処理パターン）が含まれている。

表示部１０３は、オブジェクト、コマンド、及びパラメータに対応するアイコンを含む操作画面（グラフィカルユーザインターフェース）を表示する。ユーザは、表示部１０３に表示されたオブジェクトアイコンから操作対象オブジェクトを選択すると共に、選択した操作対象オブジェクトに対して実行したい処理に対応するコマンドアイコン及びパラメータアイコンを選択する。これにより、操作対象オブジェクトに対して所望の処理を実行することができる。

なお、表示部１０３の具体例は特に限定されないが、例えば、液晶ディスプレイ、プラズマディスプレイ、又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を採用することができる。または、情報処理装置１００は、表示部１０３を構成要素として含まず、外部の表示画面の表示制御を行うものであってもよい。

命令受付部１０４は、表示部１０３に表示された各種アイコンに対するユーザの操作を受付ける。より具体的には、ユーザが表示部１０３に表示されたアイコンを選択すると、当該選択されたアイコンの位置情報を座標情報として操作判定部１０５へ出力する。この座標情報と共に、選択されアイコンの識別情報が、操作判定部１０５へ出力される。なお、入力デバイスは、表示部１０３と表裏一体となって情報処理装置１００に実装されるタッチパネル型入力装置、又は、マウス、トラックボールといったカーソル操作が可能な入力装置である。

表示制御部１０は、命令受付部１０４で受付けられたユーザの操作に応じて、表示部１０３の表示態様を制御する。具体的には、まず、１以上のオブジェクトアイコンを表示部１０３の第１表示領域に表示させる。

次に、表示制御部１０は、第１表示領域に表示された１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が命令受付部１０４で受付けられた場合に、第１表示領域と異なる第２表示領域に１以上のコマンドアイコンを表示させる。なお、表示制御部１０は、選択されたオブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能なコマンドのみをコマンド管理部１０１から抽出し、抽出されたコマンドを識別するためのコマンドアイコンを表示させる。また、表示部１０３の第１表示領域の表示内容はそのまま維持される。

次に、表示制御部１０は、第２表示領域に表示された１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が命令受付部１０４で受付けられた場合に、第１及び第２表示領域と異なる第３表示領域に１以上のパラメータアイコンを表示させる。なお、表示制御部１０は、選択されたコマンドアイコンで識別されるコマンドに関連付けられたパラメータのみをコマンド管理部１０１から抽出し、抽出されたパラメータを識別するためのパラメータアイコンを表示させる。また、表示画面の第１及び第２表示領域の表示内容はそのまま維持される。

さらに、表示制御部１０は、操作対象オブジェクトに対して実行可能な処理パターンをパターン管理部１１０から抽出し、抽出された処理パターンを識別するための処理パターンアイコンを、表示部１０３の第１、第２及び第３表示領域と異なるパターン表示領域に表示させる。

そして、上記の処理を実行するために、表示制御部１０は、操作判定部１０５と、属性検証部１０８と、操作領域管理部１０９とを備える。

操作判定部１０５は、例えば、命令受付部１０４から受け取る座標情報の示す座標が、各種コマンドに割り当てられたコマンドアイコンに重畳しているか否かを判定する。すなわち、操作判定部１０５は、命令受付部１０４から受け取る座標情報の示す座標がコマンドアイコンと重なっているか否かを判定する。

この判定は、所定の時間間隔で繰り返し行われる。そして、操作判定部１０５は、命令受付部１０４から受け取る座標情報の示す座標に対応する位置のコマンドアイコンの識別情報をコマンド管理部１０１へ出力する。オブジェクトアイコンやパラメータアイコンを選択する場合も同様である。

属性検証部１０８は、コマンド管理部１０１から受け取る操作対象オブジェクトの識別情報及び処理コマンドの識別情報に関連付けられた属性を検証し、表示部１０３に次に表示すべき内容を決定する。例えば、操作対象オブジェクトの属性に応じて、当該操作対象オブジェクトに対して実行可能な処理コマンドをコマンド管理部１０１から抽出する。また、選択された処理コマンドの属性に応じて、当該処理コマンドに関連付けられたパラメータをコマンド管理部１０１から抽出する。

操作領域管理部１０９は、共通な属性を有する少なくとも１つのコマンドを含むコマンドアイコン群をグループとして定義する。また、操作領域管理部１０９は、表示部１０３におけるアイコンの表示領域を管理する。

タイマー１０７は、操作判定部１０５にて、命令受付部１０４から受け取る座標情報の示す座標がアイコン内に重なっていると判定されたタイミングから、そのアイコンから外れたと判定されるタイミングまでの経過時間をカウントする。この経過時間は、アイコンごとに管理される。

また、操作判定部１０５は、タイマー１０７にてカウントされる滞在時間が所定の閾値以上となると、その滞在時間に対応するアイコンが選択されたと判定する。そして、選択されたアイコンの識別情報を属性検証部１０８及び命令生成部１１５に送出する。操作判定部１０５は、ユーザから実行命令（つまり、実行、パターン保存、キャンセルなど）を受付けるまで、滞在時間が閾値以上となる順番で、選択されたアイコンの識別情報を順次送出する。命令生成部１１５に記憶されるアイコンの識別情報からなる処理順列データは、ユーザから実行命令を受付けた（命令実行を示すアイコンが選択された）時点で、命令実行部１０６へ出力される。

このように操作判定部１０５及びタイマー１０７は、例えば、ドラッグされたオブジェクトアイコンが、コマンドアイコン又はパラメータアイコンに重なってから外れるまでの滞在時間を管理する滞在時間管理手段として機能する。

なお、以下には、コマンドアイコン及びパラメータアイコンを選択する操作の具体例として、オブジェクトアイコンを、コマンドアイコンやパラメータアイコンに重ね合わせる操作（ドラッグ操作）を説明するが、本発明はこれに限定されない。例えば、各アイコンを押下する（クリック操作、タッチ操作）ことによって選択する方法であってもよい。

命令生成部１１５は、命令受付部１０４で受付けられたユーザの操作に応じて、コマンド管理部１０１に記憶されているコマンド及びパラメータの集合である命令を生成する。より具体的には、命令生成部１１５は、操作判定部１０５から取得した各アイコンの識別情報を、選択された順に並べて処理順列データを生成する。そして、ユーザから実行命令を受付けた時点で、当該処理順序データを命令実行部１０６に送出する。

命令実行部１０６は、命令生成部１１５から、操作対象オブジェクトの識別情報と、処理順列データとを取得する。そして、受け取った操作対象オブジェクトに対して、上記処理順列データに含まれるコマンド識別情報に対応するコマンドを、上記記憶された順番で順次実行する。このとき、命令実行部１０６は、コマンド識別情報と対応するコマンドをコマンド管理部１０１から受け取り、このコマンドを用いて、操作対象オブジェクトに対して処理を実行する。

次に、以上の構成を有する情報処理装置１００の動作について説明する。

図２Ａ及び図２Ｂは、表示部１０３に表示される操作画面の構成例を示す図である。図２Ａにおいて、情報処理装置１００が有する操作画面領域２００の内、領域２０１（エリア１）は、選択可能な操作対象オブジェクトに対応するオブジェクトアイコンを少なくとも１つ表示するコンテンツリストである。入力デバイスがタッチパネルである場合、ユーザは、エリア１に表示されたオブジェクトアイコン（ここでは、Ｃ１〜Ｃ３の３個）を、直接画面に触れることにより選択することができる。

なお、表示されていないオブジェクトアイコンは、例えば、連続的な鎖で繋がれたデータとして管理されている。また、図２Ａに示される左右の矢印ボタン領域に触れることにより、又は、矢印方向に端末を物理的に傾けることにより、表示されていない他のオブジェクトアイコンを表示することができる。ここには、スクロール表示等の表示方法が用いられる。

領域２０２（エリア２）は、領域２０１において選択された操作対象オブジェクトに対して、実行可能なコマンド（機能）に対応するコマンドアイコンを表示するファンクションリストである。領域２０２には、操作領域管理部１０９が管理する表示レイアウト情報に基づいて、最大数（ここでは、Ｆ１〜Ｆ６までの６個）まで、コマンドアイコンが表示される。

領域２０３（エリア３）は、領域２０２において選択されたコマンドアイコンに対応する処理に関連するパラメータに対応するパラメータアイコンを表示するプロパティリストである。領域２０３には、操作領域管理部１０９が管理する表示レイアウト情報に基づいて、最大数（ここでは、Ｄ１〜Ｄ４の４個）まで、パラメータアイコンが表示される。

領域２０４（エリア４）は、領域２０１〜２０３の既に表示された領域と、領域２０５（エリア５）に図示される処理実行操作（つまり、Ｅｘｅｃｕｔｅで示されるアイコン）及び取り消し操作（つまり、Ｃａｎｃｅｌで示されるアイコン）などを指示するために用意された予約領域とを除く未表示領域（ブランクエリア）２０４とである。

また、領域２０１〜２０５の表示状態又は表示に必要な面積占有率を含む操作領域情報は、操作領域管理部１０９によって管理されている。また、操作領域管理部１０９は、ユーザが目視可能な表現として図２ＡのＬ１〜Ｌ４のような、各操作領域をグループとして認識させることができる、点線又は枠等のガイドをさらに管理しても良い。

また、図２Ｂには、図２Ａの状態から、情報処理装置１００を左右いずれかの方向に９０度回転させたときの操作画面領域２１０が示されている。この場合、情報処理装置１００が有する操作画面領域２１０が横長になり、各アイコンが横長画面に応じて、再配置される。領域２１１〜２１５は、領域２０１〜２０５の操作領域にそれぞれ対応付けられている。図２Ｂでは、点線枠のガイドが用いられている。

図３Ａ〜図３Ｆは、表示部１０３に表示された操作画面において、操作対象オブジェクトの選択、コマンドの選択、及び処理実行が行われる様子を示す図である。図３Ａ〜図３Ｆには、具体的には、次の流れが示されている。ユーザが、加工対象とする画像コンテンツ（Ｃ２）を選択し（図３Ａ）、ドラッグ操作により画像をＣＩＦサイズ（３５２×２８８ピクセル）にリサイズし（図３Ｂ〜図３Ｄ）、さらに、同じ画像コンテンツ（Ｃ２）をセピア調に色彩変更する（図３Ｅ〜図３Ｆ）。

図４Ａ〜図４Ｆは、図３Ａ〜図３Ｆに示された操作手順において、命令生成部１１５が保持する操作履歴テーブルが書き換えられる様子を示す図である。また、図５Ａ〜図５Ｆは、処理パターンの登録、操作対象オブジェクトの選択、登録された処理パターンを用いた処理実行が行われる様子を示す図である。また、図６Ａ〜図６Ｃは、命令生成部１１５が保持する操作履歴テーブルを、処理パターンとしてパターン管理部１１０のパターン管理テーブルに登録する様子を示す図である。図６Ａ〜図６Ｃに示される処理パターンは、図５Ａ〜図５Ｆでの処理パターン登録の手順に対応している。

図７は、複数の処理を選択し、さらに実行する処理を示すフロー図である。図８は、操作対象オブジェクトの属性検証処理を示すフロー図である。図９は、実施の形態１において、コマンド管理部１０１が保持するコマンド管理テーブルの一例を示す図である。図１０Ａ〜図１０Ｇは、実施の形態１において、コマンド管理部１０１が保持するコマンド参照テーブルの一例を示す図である。

図１１は、実施の形態１において、コマンド管理部１０１が保持するコマンド候補テーブルの一例を示す図である。図１２は、実施の形態１において、データ保持部１０２が保持する操作対象コンテンツ（データ）に関する情報を格納するコンテンツリストテーブルの一例を示す図である。

以下では、図３Ａ〜図１２を用いて、情報処理装置１００の動作について詳細に説明する。基本的には、図７及び図８のフロー図に沿って説明される。

まず、図３Ａに示すように、ユーザは、表示部１０３に表示されているオブジェクトアイコンをタッチ操作することで、操作対象とするデータを操作対象オブジェクトとして選択できる。このとき、命令受付部１０４は、ユーザのタッチ操作イベントを検出する。また、操作判定部１０５は、現在、操作対象オブジェクトを選択するモードであるかを確認する（Ｓ１０１）。そして、選択モードであれば（Ｓ１０１のＹ）、以降の処理を続ける。

一方、現在が操作対象オブジェクト選択モードではない場合（Ｓ１０１のＮ）、命令受付部１０４は、次のタッチ操作イベントを検出するまで待機する（Ｓ１０２）。なお、操作対象オブジェクト選択モードでない状態とは、例えば、操作画面に対してユーザが一定時間以上操作をしなかった等の理由で、操作ロックがかかってしまった状態である。

次に、操作判定部１０５は、命令受付部１０４から通知された操作命令がドラッグ操作による入力であったかを確認する（Ｓ１０３）。そして、ドラッグ操作であれば（Ｓ１０３のＹ）、以降の処理を継続する。一方、操作命令がドラッグ操作ではない場合（Ｓ１０３のＮ）には、シングルタッチ若しくはダブルクリックなど操作対象オブジェクトを単純に選択すること、又は操作対象オブジェクトに紐付けられた機能処理を直接実行すること等の他処理が実行される（Ｓ１０２）。

次に、操作判定部１０５は、操作対象オブジェクトが既に決定済であるかを確認する（Ｓ１０４）。そして、既に決定済みである場合（Ｓ１０４のＹ）には、以降の処理を続ける。一方、操作対象オブジェクトが決定していない場合（Ｓ１０４のＮ）には、Ｓ１０３で検出されたドラッグ操作が操作対象オブジェクトに対応するオブジェクトアイコン（つまり、図２Ａの領域２０１に描画されるＣ１〜Ｃ３のいずれかのオブジェクトアイコン）のドラッグ操作であるかを確認する（Ｓ１０５）。また、操作判定部１０５は、オブジェクトアイコンのドラッグ操作である場合（Ｓ１０５のＹ）には、以降の処理を続ける。

一方、オブジェクトアイコンのドラッグ操作開始ではない場合（Ｓ１０５のＮ）には、操作対象オブジェクトの選択は無効となる。このときも、命令受付部１０４は、次のタッチ操作イベントを検出するまで、待機する（Ｓ１０２）。

次に、操作判定部１０５は、オブジェクトアイコンのドラッグ操作であると判定された場合（Ｓ１０５のＹ）に、選択された少なくとも１つのオブジェクトアイコン（ここでは、Ｃ２）を、命令生成部１１５が保持する操作履歴テーブルに登録する（Ｓ１０６）。すなわち、図３Ａに示されるように、ユーザが操作対象オブジェクトに触れただけでは、操作履歴テーブルには操作対象オブジェクトの識別情報は登録されていない。

しかし、図３Ｂに示されるように、ユーザによってオブジェクトアイコンのドラッグ操作が実行される時点で、操作対象オブジェクトの識別情報（Ｃ２）が操作履歴テーブルに登録される。図３Ａ及び図３Ｂに対応する時点の操作履歴テーブルが、図４Ａ及び図４Ｂにそれぞれ示されている。なお、図３Ａ〜図３Ｆにおける●の部分は、ユーザが触れている部分を模式的に示したものである。また、選択されたオブジェクトアイコンに示された×の部分は、その領域の中心点を示したものである。

さらに、操作判定部１０５は、ユーザによるドラッグ操作が終了したかを確認する（Ｓ１０７）。そして、ドラッグ操作が終了していない場合（Ｓ１０７のＮ）には、以降の処理を続ける。操作判定部１０５は、選択されたオブジェクトアイコンの中心点が表示領域（図２Ａの領域２０１）の外部にドラッグされたかを判定する（Ｓ１０８）。

そして、図３Ｂに示すように、表示領域の境界線を示すガイドをオブジェクトアイコンの中心点が越えた場合（Ｓ１０８のＹ）、操作判定部１０５は、オブジェクト属性検証処理（Ｓ１０９）を、属性検証部１０８に依頼する。このオブジェクト属性検証処理については、後ほど詳細を説明する。一方、表示領域（図２Ａの領域２０１）の外部にドラッグされない場合（Ｓ１０８のＮ）には、操作判定部１０５は、Ｓ１０７に戻って、ドラッグ操作の終了判定を行う。

次に、属性検証部１０８は、オブジェクト属性検証処理の結果に基づいて、現在選択されているオブジェクトアイコンに対応する操作対象オブジェクトに関し、実行可能なコマンド又は登録された処理パターンが存在するかを確認する（Ｓ１１０）。実行可能なコマンド又は登録された処理パターンが存在する場合（Ｓ１１０のＹ）には、表示制御部１０は、そのコマンドに割り当てられたコマンドアイコンＦｎ又は処理パターンに割り当てられた処理パターンアイコンＲｎを、表示部１０３に表示する（図３Ｂ参照）。

また、ユーザによるドラッグ操作が比較的長く、ドラッグ中に操作対象オブジェクトの属性が変化する場合、又は、オブジェクトアイコンがマルチタッチにより追加される場合には、表示制御部１０は、既に表示されているコマンドアイコンＦｎ又は処理パターンアイコンＲｎを更新する。

図９は、コマンド管理部１０１が保持するコマンド管理テーブルの一例を示す図である。例えば、操作対象オブジェクト（ここではＣ２）が画像であった場合、画像を示すプロファイル（Ｉｍａｇｅ）に対応付けられたコマンドが、操作対象オブジェクトに対して実行可能なコマンドに該当する。コマンド管理テーブルには、プロファイルごとに、コマンド識別子（ＩＤ）を伴うコマンド名（Ｃｏｍｍａｎｄ）、参照テーブル（ＲｅｆｅｒｅｎｃｅＤａｔａ）、コマンド使用回数（Ｒａｔｅ）の各種情報が対応付けられて保持されている。また、図１０Ａ〜図１０Ｇは、図９のコマンド管理テーブルから参照される各種参照テーブル、つまり、各コマンドに関連付けられたパラメータの例を示している。また、図１１は、オブジェクト属性検証処理により生成されたコマンド候補テーブルの一例を示している。

ここで、選択された操作対象オブジェクト（Ｃ２）に関し、図１１に示されるコマンドに対応するコマンドアイコンの内、操作領域管理部１０９が保持するレイアウト情報の表示最大数以下のコマンドアイコンが表示部１０３に表示される。図３Ｂに示される例では、表示最大数は６である。従って、図３Ｂでは、上位６つのコマンドアイコンが、表示部１０３に表示されている。なお、コマンドアイコンは、オブジェクトアイコンと異なる表示領域に表示されるので、図３Ｂに示されるように、オブジェクトアイコンとコマンドアイコンとが一画面に同時に表示される。

以上のようにして、図３Ｃに示す通り、ユーザは操作対象オブジェクトに割り当てられたオブジェクトアイコンを、コマンドに割り当てられたコマンドアイコンに重ねるようにドラッグ操作することで、視覚的にコマンド処理を指定できる。

次に、Ｓ１１２及びＳ１１３を説明する前に、Ｓ１１４以降の処理について説明する。操作判定部１０５は、図３Ｃに示すように、操作対象オブジェクトを示すオブジェクトアイコンに対してユーザによるドラッグ操作が継続的になされ、オブジェクトアイコンがコマンドアイコンＦｎ又は処理パターンアイコンＲｎ上に、規定時間（例えば２秒）以上滞在する場合（Ｓ１１４のＹ）には、図４Ｃに示されるように、コマンドアイコンＦｎに割り当てられたコマンド（ここではＲｅｓｉｚｅ処理）、又は処理パターンアイコンＲｎに割り当てられた処理パターンを操作履歴テーブルに登録する（Ｓ１１５）。

さらに、表示制御部１０は、選択されたコマンドアイコンＦｎに対応するパラメータが存在する場合には、図３Ｃに示されるように、図９に示すコマンド管理テーブルから参照される参照テーブルの内、操作領域管理部１０９が保持するレイアウト情報の表示最大数以下のパラメータアイコンＤｎを表示する（Ｓ１１６）。ここでは、Ｒｅｓｉｚｅコマンドに対応するＳｉｚｅテーブル（図１０Ｆ）が、パラメータに該当する。なお、パラメータアイコンは、オブジェクトアイコン及びコマンドアイコンと異なる表示領域に表示されるので、図３Ｃに示されるように、オブジェクトアイコンとコマンドアイコンとパラメータアイコンとが一画面に同時に表示される。

さらに、操作判定部１０５は、図３Ｄに示すように、操作対象オブジェクトを示すオブジェクトアイコンに対してユーザによるドラッグ操作が継続的になされ、オブジェクトアイコンがパラメータアイコンＤｎ上に規定時間（例えば２秒）以上滞在する場合（Ｓ１１７のＹ）には、図４Ｄに示されるように、パラメータアイコンＤｎに割り当てられたパラメータ（ここではＣＩＦ）を操作履歴テーブルに登録する（Ｓ１１８）。そして、処理は、Ｓ１０７のドラッグ操作の終了判定に戻る。

次に、図３Ｅに示すように、ユーザが継続的なドラッグ操作により、次のコマンドアイコン（ここではＣｏｌｏｒＥｄｉｔ）が選択された場合（Ｓ１０７のＮ）には、選択されたコマンドアイコンに応じてＳ１０８〜Ｓ１１８のステップが繰り返され、パラメータアイコンの表示が更新される。さらに、図３Ｆに示すように、操作対象オブジェクトを示すオブジェクトアイコンのドラッグ操作が行われ、オブジェクトアイコンがパラメータアイコン（ここではＳｅｐｉａ）上に規定時間以上存在した場合には、図４Ｆに示されるように、操作履歴テーブルが更新される。

そして、図３Ｆに示すように、ユーザによる一連のドラッグ操作が終了した場合（Ｓ１０７のＹ）には、実行指示アイコン（Ｅｘｅｃｕｔｅ）及び保存実行指示アイコン（Ｓａｖｅ）を含む予約領域（図２Ａの領域２０５：エリア５）が表示されているか否かが確認される（Ｓ１１９）。予約領域表示中（Ｓ１１９のＹ）には、以降の処理が行われる。一方、予約領域が表示されていない場合（Ｓ１１９のＮ）には、例えば、現在選択中の操作対象オブジェクトに対する処理コマンドの実行に必要な情報が不足している状態であると判断される。そして、操作対象オブジェクトの選択モードが解除され、情報処理装置１００は待機状態（Ｓ１０２）となる。

予約領域表示中と判定された場合（Ｓ１１９のＹ）には、ドラッグ終了時点でのオブジェクトアイコンの中心点の、操作画面における位置が確認される（Ｓ１２０）。すなわち、その位置が予約領域における実行指示アイコン上に有る場合（Ｓ１２０のＹ）には、以降の処理が行われる。一方、その位置が実行指示アイコン上に無く（Ｓ１２０のＮ）、且つ保存実行指示アイコン上に有る場合（Ｓ１２１のＹ）には、Ｓ１２２の処理が行われる。

さらに、その位置が実行指示アイコン及び保存実行指示アイコンのいずれの領域上にも無い場合（Ｓ１２１でＮ）には、例えば、現在選択中の操作対象オブジェクトに対する処理コマンドの実行に必要な情報が不足している状態であると判断される。そして、操作対象オブジェクトの選択モードが解除され、情報処理装置１００は待機状態（Ｓ１０２）となる。

操作対象オブジェクトを示すオブジェクトアイコンのドラッグが保存実行指示アイコン上で終了したと判定される場合（Ｓ１２１のＹ）、命令生成部１１５は、操作管理テーブルに保持されたコマンド及びパラメータを、処理パターンＲｎとして登録する（Ｓ１２２）。

さらに、ドラッグ終了時点でのオブジェクトアイコンの中心点の位置が、予約領域における実行指示アイコン上に有ると判断された場合（Ｓ１２０のＹ）、又は、Ｓ１２２の処理実行後には、命令実行部１０６は、操作履歴テーブルに登録されたコマンドに対応する処理を、パラメータによる指定に従って実行する（Ｓ１２３）。

その際、情報処理装置１００の設定画面等により、処理の進捗状況を目視確認できる「プログレス表示モード」が予め設定されていた場合（Ｓ１２４のＹ）には、処理の実行状況が表示部１０３に表示される（Ｓ１２５）。なお、このＳ１２５については、後ほど具体的な事例を用いて説明する。

一方、「プログレス表示モード」が設定されていない場合（Ｓ１２４のＮ）には、表示部１０３の画面は変化しない。

さらに、情報処理装置１００の筐体の一部に処理の中断又はキャンセルを指示するクリアボタンが設けられている場合には、そのクリアボタンが押下されることにより、現在実行中の処理が取り消される。すなわち、ユーザが筐体のクリアボタンを押した場合（Ｓ１２６のＹ）には、情報処理装置１００内でキャンセル命令を意味するイベント通知が発生する。さらに、命令実行部１０６は、発生したキャンセル命令通知を受け付け、実行中の処理を中断し、途中まで実行していた処理を元に戻す処理（リカバリ処理）を実行する（Ｓ１２７）。

一方、キャンセル命令が発生せず、操作履歴テーブルに登録された一連の処理の実行が終了した場合（Ｓ１２６のＮ）には、命令実行部１０６は、命令実行部１０６による処理実行が正常に完了したと判断し、終了処理を実行する（Ｓ１２８）。そして、ユーザによる次の操作を受け付けるため、情報処理装置１００は待機状態（Ｓ１０２）になる。なお、終了処理は、例えば、操作履歴テーブルの登録内容を削除する処理である。

以上のようにして、図３Ａ〜図３Ｆに示された、ユーザにより選択された操作対象オブジェクトとしての画像コンテンツ（Ｃ２）に対して、ドラッグ操作により画像コンテンツをＣＩＦサイズ（３５２×２８８ピクセル）にリサイズし、さらに同じ画像コンテンツ（Ｃ２）をセピア調に色彩変更する処理が、実行される。

次に、オブジェクト属性検証処理（Ｓ１０９）について、図８〜図１０Ｇを用いて詳しく説明する。

上述の通り、図３Ｂに示すように、表示領域の境界線を示すガイドをオブジェクトアイコンの中心点が越えた場合（Ｓ１０８のＹ）、操作判定部１０５は、オブジェクト属性検証処理（Ｓ１０９）を、属性検証部１０８に依頼する。

属性検証部１０８は、操作判定部１０５からの依頼に基づき、現在操作対象となっているオブジェクトの数を計上するためのオブジェクトカウンタ、オブジェクトに関連付けられているプロファイルの数を計上するためのプロファイルカウンタを初期化（カウント数＝０）する（Ｓ２０１）。さらに、属性検証部１０８は、コマンド候補テーブルの初期化処理として内容の全てをクリアする。なお、操作対象オブジェクトは、操作命令により処理対象として指定されたデータおよびコマンドである。

次に、属性検証部１０８は、図４Ｂに示す操作履歴テーブルに登録された操作対象オブジェクトＯｎを参照し、操作対象とするオブジェクトの識別情報（Ｃ２）を取得する。さらに、属性検証部１０８は、取得したオブジェクトの識別情報（Ｃ２）に対し、図１２に示すコンテンツリストから、操作対象とするオブジェクトのプロファイル名（Ｉｍａｇｅ）を取得する。

ここでは選択された操作対象オブジェクトが識別情報（Ｃ２）のみであるため、操作対象とするオブジェクトのプロファイルは、Ｃ２で参照される「Ｉｍａｇｅ」プロファイルのみとなる。これに対して、例えばマルチタッチを用いて複数のオブジェクトアイコンが選択された場合には、複数の操作対象オブジェクトを示す識別情報から、複数のプロファイルが選択される場合がある。従って、属性検証部１０８は、全てのプロファイルを取得する（Ｓ２０２）。

次に、属性検証部１０８は、取得したプロファイル名に対して実行可能な処理コマンドが存在するか否かをコマンド管理部１０１に問い合わせる。コマンド管理部１０１は、属性検証部１０８からの要求に対し、図９に示すコマンド管理テーブルを参照し、実行可能なコマンド群を返答する（Ｓ２０３）。ここでは、コマンド管理部１０１は、プロファイル名「Ｉｍａｇｅ」に対応するＩＤ１（Ｓｅｎｄ Ｍａｉｌ）〜ＩＤ１０（Ｄｅｌｅｔｅ）の処理コマンドを返答する。

次に、属性検証部１０８は、プロファイル名に対応する処理コマンドが存在した場合（Ｓ２０４のＹ）、プロファイルに対応する処理コマンドを抽出し、コマンド候補テーブルへの格納を試みる（Ｓ２０５）。その際、コマンド候補テーブルに抽出した処理コマンドが既に登録されており、且つ、情報処理装置１００の設定画面により、共通する機能（処理コマンド）のみを目視確認できる「フィルタ表示モード」が予め設定されていた場合（Ｓ２０６のＹ）には、共通する処理コマンドのみをコマンド候補テーブルに登録する（Ｓ２０７）。これにより、複数の操作対象オブジェクトが選択された場合においても、共通する処理コマンドを示すコマンドアイコンのみがメニューとして表示されるため、煩雑且つ冗長なメニュー表示を避けることができる。

さらに、属性検証部１０８は、プロファイルに対応する処理コマンドがコマンド候補テーブルの最大格納数（ここでは１０個）に満たない場合（Ｓ２０８のＮ）には、抽出した処理コマンドを処理候補として、そのままコマンド候補テーブルに登録する（Ｓ２０９）。一方、プロファイルに対応する処理コマンドが、コマンド候補テーブルの最大格納数以上になった場合（Ｓ２０８のＹ）には、属性検証部１０８は、図９の「Ｒａｔｅ」で示されるコマンド使用回数に応じて、使用頻度が高いものから最大格納数分だけ登録する（Ｓ２１０）。

なお、図１１の「Ｃｏｍ．」で示される欄は、各プロファイルの検証において抽出された処理コマンドの抽出回数（登場回数）を意味しており、同じ処理コマンドが抽出される度にインクリメントされて保持される値である。

なお、属性検証部１０８は、取得したプロファイルに対応する処理コマンドがコマンド管理テーブルに存在しないと判定した場合（Ｓ２０４のＮ）、Ｓ２０９又はＳ２１０より後の処理を継続する。

次に、属性検証部１０８は、現在検証中の操作対象オブジェクトに対応する全てのプロファイルについて、処理コマンドを抽出したか否かを確認する（Ｓ２１１）。そして、全てを検証していない場合（Ｓ２１１のＮ）には、プロファイルカウンタをインクリメントして（Ｓ２１２）、Ｓ２０３以降の処理に戻る。

一方、属性検証部１０８は、選択された操作対象オブジェクトに対し、全てのプロファイルを検証したと判定した場合（Ｓ２１１のＹ）には、プロファイルカウンタを０に初期化する（Ｓ２１３）。

さらに、属性検証部１０８は、現在検証中の操作対象オブジェクト以外の全ての操作対象オブジェクトに対して検証を行ったか否かを確認する（Ｓ２１４）。ここで、属性検証部１０８は、全てを検証していない場合（Ｓ２１４のＮ）には、オブジェクトカウンタをインクリメントして（Ｓ２１５）、Ｓ２０２以降の処理に戻る。

一方、属性検証部１０８は、全ての操作対象オブジェクトに対する検証を終えたと判定した場合（Ｓ２１４のＹ）には、オブジェクト属性検証処理を終了し、図７のＳ１１０以降の処理に戻る。

以上のオブジェクト属性検証処理により、操作対象オブジェクトのプロファイルに応じて動的に処理コマンドを抽出できるので、処理コマンド領域（メニュー）を動的に変更することができる。

次に、処理パターンの登録、及び、登録された処理パターンを用いた処理実行について、図５Ａ〜図１０Ｇを用いて説明する。

図５Ａには、ユーザが操作対象オブジェクト（Ｃ２）を選択し、処理コマンドとパラメータとを選択した上で、処理パターンを保存する様子が示されている。また、図中の矢印は、ユーザによるドラッグ操作の軌跡を意味する。つまり、最終的に、保存指示アイコン上でドラッグ操作を終了したことが示されている。

ここで、操作判定部１０５は、保存指示アイコン上でドラッグが終了したと判定された場合（Ｓ１２１でＹ）に、操作履歴テーブルに登録されている処理順序データを「処理パターンＲｎ」として登録するようパターン管理部１１０に依頼する（Ｓ１２２）。パターン管理部１１０は、指定された操作履歴テーブルを参照し、処理パターンを新規作成し、パターン管理テーブルに保存する。ここでは、図４Ｆに示す操作履歴テーブルを、図６Ａに示す処理パターンとして解釈し、図６Ｂに示す処理パターンフォーマットに整形して、パターン管理テーブルに保存する。

ここで、情報処理装置１００は、操作対象オブジェクトの識別情報（Ｃ２）を抽象化し、操作対象オブジェクトの種別情報（Ｉｍａｇｅ）に置き換える。これにより、以降に処理パターンとして実行する場合には、種別情報の判定により、当該処理パターンが実行可能か否かを判定することができる。

また、パターン管理部１１０は、図６Ｂに示すように、処理パターンを識別するための処理パターンＩＤ（ＰａｔｔｅｒｎＩＤ）、処理パターン名（ＰａｔｔｅｒｎＮａｍｅ）、処理パターン作成日付（Ｄａｔｅ）、処理パターンの実行指定日時（ＥｘｅｃｕｔｅＴｉｍｅ）、及び繰り返し設定（Ｒｅｃｕｒｒｉｎｇ）といった処理パターンを補足する補足情報をプロパティとして保存する。これらの情報は、情報処理装置１００が可能な限り自動で補完しても良いし、図５Ｂに示すように、明示的に処理パターンの登録画面を提示して、ユーザにキーボード等の入力装置を介して入力又は修正させても良い。

また、図６Ｃには、パターン管理部１１０が保持する処理パターンの例が示されている。例えば、図５Ａ及び図５Ｂ又は図６Ａ及び図６Ｂのように作成した処理パターンの他に、図６Ｃに示すようなパターンＩＤ「Ｒ２」で示される処理パターンが登録されている場合には、図５Ｃに示すように、表示部１０３の画面上では、「Ｓａｖｅｄ Ｐａｔｔｅｒｎ」で示される領域（図２Ａの領域２０３：エリア３）に、「Ｓｍａｌｌ Ｉｍａｇｅ ｗｉｔｈ Ｓｅｐｉａ」及び「Ｓｅｎｄ Ｍｏｂｉｌｅ Ｂｌｏｇ」といった処理パターン名が処理パターンアイコンとして表示される。

こうすることで、次回以降の処理コマンド選択において、ユーザが操作対象オブジェクトを示すオブジェクトアイコンを、登録済処理パターンの処理パターンアイコン上にドラッグ操作することにより、登録した処理パターンを実行することができる（Ｓ１２０以降の処理に相当）。

なお、図６Ｃに示されるパターンＩＤ「Ｒ２」で示す処理パターンには、種別情報が「Ｉｍａｇｅ」で指定された操作対象オブジェクトに対し、画像サイズを固定サイズの「ＱＣＩＦ」に変換し、文字列処理が可能なタグとして「Ｆｏｏｄ」という文字列を付与する処理が含まれている。さらに、パターンＩＤ「Ｒ２」で示す処理パターンには、処理パターンが指示された場所を示すジオ情報（緯度、経度などの場所を示す情報）を付与する処理が含まれる。また、パターンＩＤ「Ｒ２」で示す処理パターンには、個人が管理・所有するブログ等への投稿用の特定メールアドレス「Ａｄｄｒｅｓｓ１」に対し、画像を添付してメールを送信するという一連の処理が含まれている。

図５Ｄには、操作対象オブジェクトを示すオブジェクトアイコンをドラッグして、ファンクションリストの領域を比較的短時間で通過させたときの様子が示されている。この時、操作判定部１０５は、コマンドアイコンＦｎを含む操作領域を規定時間（例えば２秒）内で通過したか否かを判定する（Ｓ１１２）。そして、もし規定時間内で通過したと判断した場合（Ｓ１１２のＹ）には、通過した操作領域に含まれる処理候補のコマンドアイコンを非アクティブ化する（Ｓ１１３）。例えば、操作判定部１０５は、表示を無くしたり、グレーアウトして選択不可能な表示形態にする。

一方、操作判定部１０５は、規定時間内ではなかったと判断した場合（Ｓ１１２のＮ）、Ｓ１１４以降の処理を続ける。これにより、ドラッグ操作により短時間で通過した操作領域に含まれるコマンドアイコンは、ユーザが実質的に選択する意志がなく、選択候補に選ばれていないことを、ユーザに対して明示できる。また、ドラッグ操作中に誤って触れることにより、意図しない処理コマンドを選択することを未然に防止することができる。

なお、ここでは、通過の判定を固定の規定時間で判定する場合について説明したが、操作領域は必ずしも面積が一定ではないため、ドラッグ操作の通過に要する時間を変化させる必要がある。そこで、表示部１０３の画面全体の面積、操作領域管理部１０９が管理する操作領域に格納可能な処理コマンドの表示最大数、又は、レイアウト情報に含まれる操作領域の面積に応じて、規定時間を動的に変更しても良い。

また、図５Ｄに示すように、処理パターンアイコンが選択された場合には、「Ｓａｖｅ」のアイコンも非アクティブになる。これは、登録された処理パターンが選択される場合には、保存という選択肢が存在し得ないのである。

また、図５Ｅに示すように、ユーザが処理パターンアイコンを選択し、実行指示アイコン上でドラッグ操作を終えた場合（Ｓ１２０）には、選択された処理パターンで定義される一連の処理が実行される（Ｓ１２３）。そして、「プログレス表示モード」が設定されているならば（Ｓ１２４のＹ）、図５Ｆに示すようなプログレス表示画面が表示される。ここでは、処理の進捗具合を意味するプログレス通知バーの他、操作対象オブジェクトに対して画像加工を行う場合には、プレビュー画面として画像加工前の画像（Ｂｅｆｏｒｅ）と画像加工後の画像（Ａｆｔｅｒ）とを同時に表示しても良い。

以上のように本実施の形態１によれば、情報処理装置１００において、操作判定部１０５は、操作画面においてカーソル操作によって選択された操作対象オブジェクトと、選択された操作対象オブジェクトに対して実行される処理コマンドとを検出する。命令生成部１１５は、操作対象オブジェクトと、各操作対象オブジェクトに対応する処理コマンドと、処理コマンドに対応するパラメータとを対応付けた操作履歴テーブルを生成する。また、少なくとも１以上のオブジェクトアイコン、選択された操作対象オブジェクトに対して実行可能な処理コマンドを識別するコマンドアイコン、及び処理コマンドに対応するパラメータを識別するパラメータアイコンを同一の操作画面に表示する。

そして、命令生成部１１５は、操作対象オブジェクトの選択時から当該操作対象オブジェクトに対して実行する処理コマンド群の確定時まで、選択状態から開放されることなく一挙動のドラッグ処理中に操作判定部１０５にて検出された処理コマンドの識別情報を検出順序に従って並べる。これにより、処理順序データが形成される。そして、命令実行部１０６が、その処理順序データの構成識別情報に基づいて、選択された操作対象オブジェクトに対して、処理コマンドを実行する。

こうすることで、情報処理装置１００は、選択した操作対象オブジェクトに対して処理可能なメニュー、及び、当該処理可能なメニューの中から選択したメニューに対応する処理の後に処理可能な下位メニューのみを表示できる。さらに、情報処理装置１００は、表示されたメニューの上をドラッグ操作によりなぞるだけで所望の処理を複数指定して実行できる。すなわち、直感的な操作性よって複数の処理を実行可能な情報処理装置１００を実現することができる。

また、滞在期間管理手段としての操作判定部１０５及びタイマー１０７は、選択された操作対象オブジェクトを示すオブジェクトアイコンがコマンドアイコンと一部重なるタイミングから重ならなくなるタイミングまでの滞在期間を管理する。そして、操作判定部１０５は、滞在期間が所定の閾値を超えたコマンドアイコンに対応するコマンドのみを、選択されたコマンドとして検出する。

こうすることで、ドラッグ操作におけるユーザの意図しない手振れ又は操作ミスによってユーザが望まないメニューに一瞬触れてしまっても、そのメニューが選択されたと見なされないので、ユーザの望まない処理が実行されることを未然に防ぐことができる。

また、パターン管理部１１０は、過去に形成された処理順序データを処理パターンとして管理する。こうすることで、同じ処理を実行する場合に再度コマンドを選択する必要がないので、ユーザの利便性を向上することができる。

なお、処理の指定と実行とのタイミングに間が無い場合でも、表示制御部１０が処理順序データを画面に表示させ、表示させた処理順序データで間違いが無いか否かをユーザに確認させ、ユーザの実行指示を受け付けてから処理を実行するようにしても良い。こうすることで、ユーザの望まない処理が実行されることを未然に防ぐことができる。また、即時実行によるバッググラウンド処理により端末の負荷が増大し、一連のドラッグ操作に対する動作パフォーマンス（レスポンス）が低下することを未然に防止できる。

また、表示制御部１０は、同時に２つの操作対象オブジェクトが選択された場合には、両操作対象オブジェクトに共通するコマンドのみを表示させる。なお、同時に選択される操作対象オブジェクトが、２以上の複数個であっても、同様である。

また、２つの操作対象オブジェクトに対して同時に処理することが不可能なメニューを排除することで、ユーザの操作ミス等を未然に防止することができる。これにより、ユーザの操作性が向上する。

また、操作領域管理部１０９は、操作対象オブジェクト、コマンド、及びパラメータまでの各段階を、それぞれ１つのグループとして配置するグループ領域を管理し、隣接領域間の境界をガイドとして表示する。こうすることで、ユーザが共通的な属性を持つメニューであるかどうかを直感的に判断できるので、ユーザの操作性を向上することができる。

なお、操作判定部１０５は、グループ領域の面積又はグループ領域の幅に応じて、上記した所定の閾値を決定しても良い。こうすることで、様々な画面サイズを有する個々の情報処理装置１００において、画面サイズに応じて変化するメニュー群の表示領域のサイズに対し、必要となるドラッグ操作の移動量に応じてフレキシブルな閾値をとることができ、操作ミスの軽減及び操作性の向上を図ることができる。

（実施の形態２）
実施の形態２は、情報処理装置とネットワークを介して接続された外部装置との連携により、処理を実行するシステムに関する。

図１３は、本発明の実施の形態２に係るシステムの構成を示す図である。図１３に示されるシステムは、情報処理装置１００Ａと、エアコン３００と、第１及び第２のテレビ４００、４０１と、電気ポット５００とがネットワーク２５０を介して、相互に通信可能に接続されている。エアコン３００、第１及び第２のテレビ４００、４０１、及び電気ポット５００が、上記した外部装置に相当する。

図１４は、本発明の実施の形態２に係る情報処理装置１００Ａの構成を示すブロック図である。図１４に示される情報処理装置１００Ａは、図１に示される情報処理装置１００の命令実行部１０６に代えて、通信部１１１を備える。実施の形態２における「オブジェクト」は、情報処理装置１００Ａに接続されている外部装置である。そして、情報処理装置１００Ａは、生成した命令を自ら実行するのではなく、外部装置に実行させるリモコンとして機能する。

属性検証部１０８は、コマンド管理部１０１に保持されているコマンド管理テーブルに、操作対象オブジェクトとしての外部装置に関してのプロファイルが存在しない場合には、当該プロファイルを外部装置から取得する。このプロファイルの取得は、通信部１１１を介して行われる。なお、表示制御部１０は、プロファイルレベルの取得を試みるのではなく、プロファイルを含むコマンド管理テーブル又はファンクションリストを外部装置から取得しても良い。

命令生成部１１５は、生成した処理順序データを、処理実行要求と共に操作対象オブジェクトとしての外部装置に送信する。また、命令生成部１１５は、パターン管理部１１０に保持されている処理パターンを、処理実行要求と共に外部装置に送信する。

処理実行要求は、通信部１１１を介して送信される。なお、外部装置は、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）若しくはＥＣＨＯＮＥＴ（Ｅｎｅｒｇｙ Ｃｏｎｓｅｒｖａｔｉｏｎ ａｎｄ Ｈｏｍｅｃａｓｅ Ｎｅｔｗｏｒｋ）等の標準的な機器連携プロトコル、又は、独自に決められたプロトコルを用いて、ネットワーク２５０を介した通信により、情報処理装置１００Ａとの間で情報を交換できる。

次に、以上の構成を有するシステムの動作について説明する。ここでは、以下の事項を前提として説明する。すなわち、ユーザが情報処理装置１００Ａを用いて、地上波デジタル放送（Ｄ）及び衛星放送（ＢＳ）を受信可能な第１のテレビ４００、並びに、ケーブルテレビ放送（ＣＡＴＶ）を受信可能な第２のテレビ４０１（セットトップボックス）を操作する。

特に、以降に示す図及びその説明においては、第１のテレビ４００のチューナーにおいて地上波デジタル放送の８チャンネルが選択され、第２のテレビ４０１のチューナーにおいてＣＡＴＶの１０２チャンネルが選択され、この２つの入力映像が第１のテレビ４００において３：１の比率で分割二画面表示される場合が示されている。

図１５Ａ〜図１５Ｃ及び図１６Ａ〜図１６Ｃは、二画面表示を指示するまでの操作画面の例と外部装置から取得する情報の例とを示す図である。また、図１７は、実施の形態２における属性検証処理を示すフロー図である。

図１５Ａにおいて、図２Ａの領域２０１（エリア１）に相当する部分には、コンテンツリストとして、第１のテレビ４００を示す「ＴＶ１」アイコンと、第２のテレビ４０１を示す「ＴＶ２」アイコンと、電気ポット５００を示す「Ｐｏｔ」アイコンとが表示されている。すなわち、ここでは、情報処理装置１００Ａが、ネットワーク２５０を介して接続した際に、ＵＰｎＰなどの標準プロトコルにも実装される機器発見機能により、周囲にある外部装置の基本情報（一般的に機器名、シリアル番号、ＩＰアドレス、機器種別（プロファイル）など）を、通信部１１１を介して予め取得している状態が前提とされている。

エリア１に表示される各オブジェクトアイコン（外部装置を示す場合、「機器アイコン」とも言う。）は、外部装置を示している。ここで、実施の形態１では操作対象オブジェクトがコンテンツであるのに対して、実施の形態２では外部装置であり、操作対象オブジェクトとする対象が異なっている。しかしながら、対象がいずれの場合も、操作対象オブジェクトとして同等に扱うことができる。

すなわち、ユーザが操作画面の機器アイコン（ここでは、ＴＶ１とＴＶ２）にタッチし、ドラッグ操作を行うことにより、図７に示したフロー図に基づいて、操作対象オブジェクトに対する処理コマンドの選択及び実行を行うことができる。なお、図１５Ａでは、タッチした機器アイコン「ＴＶ１」「ＴＶ２」以外の機器アイコン「Ｐｏｔ」は、現在は無効なアイコンとしてグレーアウトされている。

図１７は、操作対象オブジェクトの属性検証処理を示すフロー図である。図１７のフロー図は、図８のフロー図に一部修正を加えたものである。具体的には、Ｓ２１６及びＳ２１７が加えられている。

コマンド管理部１０１は、属性検証部１０８からの要求に対し、図９に示すコマンド管理テーブルを参照し、実行可能なコマンド群を返答する（Ｓ２０３）。しかしながら、図９に示したコマンド管理テーブルには、「ＴＶ」アイコンに相当するプロファイルが記載されていない。

従って、コマンド管理部１０１に「ＴＶ」プロファイルが存在しないと判断される（Ｓ２０４のＮ）。

そして、属性検証部１０８は、外部装置に対して、通信部１１１を介して「ＴＶ」プロファイルに対応するコマンド情報の有無（つまり、所持しているか否か）を問い合わせる（Ｓ２１６）。そして、属性検証部１０８は、通信部１１１を介して問い合わせの結果を受信し、受信したコマンド情報をコマンド管理部１０１に登録する。

属性検証部１０８は、所望のプロファイルに対応するコマンド情報が取得できたか否かを判定する（Ｓ２１７）。そして、取得できた場合（Ｓ２１７のＹ）には、Ｓ２０５以降の処理を続ける。一方、所望のプロファイルに対応するコマンド情報が取得できなかった場合（Ｓ２１７のＮ）には、Ｓ２０９又はＳ２１０より後の処理を続ける。

図１５Ｂは、第１のテレビ４００（「ＴＶ１」）から取得した「ＴＶ」プロファイルのデータ例である。図１５Ｂの情報１５０１には、装置のプロファイル名（ＴＶ）、機器名（ＴＶ１）、モデル（ＩＰＴＶ）、モデル名（ＧＩＧＡ ＶＩＳＩＯＮ）、シリアル番号（ＳＮ０１２３４５６７８９）、機器固有番号（ｕｕｉｄ：ｇｉｇａ００１＿０１２３４５６７８９）、及び電源状態（ＯＮ）など機器に関する機器情報と状態情報とが記述されている。状態情報とは、外部機器の現在の動作状態を示す情報であって、例えば、電源ＯＮの状態、電源ＯＦＦの状態等である。

情報１５０２〜１５０４には、機器が提供する機能又はサービスに関する情報が記述されている。情報１５０２〜１５０４の最初と最後には、デバイスサービスタグ（Ｄｅｖｉｃｅ Ｓｅｒｖｉｃｅｓ）が記載される。すなわち、デバイスサービスタグに挟まれた部分には、機器が提供する機能又はサービスに関する情報が記述されていることが分かる。ここでは、機器が提供する機能及びサービスが３要素である。

情報１５０２には、ＴＶ１がチューナーを有し、地上波デジタル放送を受信可能であり、機能を特定するＩＤが「ＴＶ１−Ｔ１」であり、現在チューナーが受信設定されているチャンネルが「Ｄ−０８１」であることが記述されている。情報１５０３には、ＴＶ１がＢＳ放送を受信可能なチューナーを有し、機能を特定するＩＤが「ＴＶ１−Ｔ２」であり、現在のチャンネルが「ＢＳ−０５」であることが記述されている。情報１５０４には、ＴＶ１がＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）機能を有し、機能を特定するＩＤが「ＴＶ１−ＥＰＧ」であり、現在の状態が「Ｒｅａｄｙ（待機状態）」であることが記述されている。

情報１５０５〜１５０７には、機器が提供する機能又はサービスに対するコマンドに関する情報が記述されている。情報１５０５〜１５０７の最初と最後には、コントロールリストタグ（Ｃｏｎｔｒｏｌ Ｌｉｓｔ）が記載される。すなわち、コントロールリストタグに挟まれた部分には、機器が提供する機能又はサービスに対する処理コマンドに関する情報が記述されていることが分かる。ここでは、機器が提供する機能又はサービスに対する処理コマンドが３要素ある。

情報１５０５には、ターゲットとするチューナー機能に対し実行可能なコマンド（アクション）として、チャンネルの昇順変更（Ｃｈａｎｎｅｌ Ｕｐ）を提供することが記述されている。より具体的には、その表示に関するフォームは「上ボタン（Ｂｕｔｔｏｎ：Ｕｐ）」が推奨されることと、実際の処理コマンドの実行に必要なパスが対象外部装置に対するＵＲＬ（ＵｎｉｆｏｒｍＲｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とが記述されている。

情報１５０６には、チャンネルの降順変更（Ｃｈａｎｎｅｌ Ｄｏｗｎ）を提供することが記述されている。より具体的には、フォームは「下ボタン（Ｂｕｔｔｏｎ：Ｄｏｗｎ）」が推奨されることと、コマンドの実行に必要なパスとが記述されている。なお、ターゲットとする「チューナー」は、ＴＶ１が保持する機能の種別（Ｔｙｐｅタグ）が示す「Ｔｕｎｅｒ」である。また、チャンネル変更は、地上波デジタル放送用のチューナー及びＢＳ放送用のチューナーのそれぞれに対して適用可能である。

また、情報１５０７には、ターゲットの指定がなく、ＴＶ１の基本機能に対応するコマンドとして画面の分割表示（二画面表示）があることが記述されている。より具体的には、フォームとしては「（一般的な）ボタン」が推奨され、そのボタン上において表示すべきプロパティが分割比率リスト（ＲａｔｅＬｉｓｔ）であることと、その分割比率リストのＸＭＬを取得するＵＲＬとが記載されている。

さらに、実際のコマンドの実行に必要なパスが対象外部装置のＵＲＬとして記述されている。また、二画面表示において必要な２つの画面の入力ソースの指定方法及び分割比率の指定方法が記述されている。

図１５Ｃには、図１５Ｂに示されるデータを受信した後に、表示部１０３に表示される操作画面の一例が示されている。通信部１１１を介して取得した返信データを属性検証部１０８が解析した後、表示部１０３に操作画面を表示させる。

図１５Ｃにおいて、図２Ａの領域２０２（エリア２）に相当する部分には、取得した情報に記載された３つの機能要素と最新の状態（Ｄ−０８１、ＢＳ−０５を受信する設定）とが表示されている。さらに、２つのチューナーに対するチャンネル変更の処理が可能であることが、チューナーアイコンの上下に表示されたボタンにより表現されている。

ユーザは、この上下ボタンを押下（タッチ）することにより、チューナーのチャンネルを変更することができる。さらに、図１５Ｃにおいて、図２Ａの領域２０３（エリア３）に相当する部分には、指定可能な分割比率が表示されている。さらに、図１５Ｃにおいて、図２Ａの２０５（エリア５）に相当する部分には、最終的な出力先（Ｏｕｔｐｕｔ）として選択可能な機器を示す機器アイコン（ここでは、ＴＶ１のみ）が表示されている。図２Ａの２０５（エリア５）に相当する部分は、予約領域である。

図１６Ａは、外部装置である第２のテレビ４０１（「ＴＶ２」）から取得した「ＴＶ」プロファイルのデータの例である。図１６Ａの情報１５０８は、図１５Ｂの情報１５０１と同様に、「ＴＶ２」に関する機器情報が記述されている。情報１５０９〜１５１１を見て分かるように、「ＴＶ２」が提供する機能又はサービスは３要素ある。また、情報１５１２〜１５１４を見て分かるように、「ＴＶ２」が提供する機能又はサービスに対する処理コマンドも３要素である。

図１６Ｂには、図１６Ａに示されるデータを受信した後に、表示部１０３に表示される操作画面の一例が示されている。

図１６Ｂにおいて、図２Ａの領域２０２（エリア２）に相当する部分には、図１５Ｃで表示された３つの機能要素に加え、ＴＶ２が提供するＣＡＴＶ受信用チューナーの最新の状態（ＣＡＴＶ１０２を受信する設定）が追記されている。さらに、ＴＶ１が提供する「ＥＰＧ画面表示用ボタン（ＥＰＧ）」に加え、ＴＶ２が提供する「インターネット閲覧ブラウザ表示用ボタン（ＮＥＴ）」及び「ビデオオンデマンド表示用ボタン（ＶＯＤ）」が追記されている。

また、図１６Ｂにおいて、図２Ａの領域２０３（エリア３）に相当する部分には、ＴＶ１及びＴＶ２が処理可能な分割比率が表示されている。また、図１６Ｂにおいて、図２Ａの領域２０５（エリア５）に相当する部分である予約領域には、最終的な出力先として選択可能な機器アイコンとして「ＴＶ２」が追記されている。

図１６Ｃは、操作画面において、操作対象オブジェクトの選択、コマンドの選択、及び処理実行が行われる様子を示す図である。図１６Ｃには、具体的には、ユーザが操作画面において、画面分割して表示したい２つの入力ソース「Ｄ−０８１（チューナー１）」及び「ＣＡＴＶ１０２（チューナー２）」をマルチタッチにより選択し、ドラッグ操作により分割比率（３：１）を選択して、出力先としてＴＶ１を指定する流れが示されている。このように外部機器を操作対象オブジェクトとして扱い、操作対象オブジェクトとしての外部機器が有する機能又はサービスを処理コマンドとして扱うことにより、実施の形態１と同等の操作で外部装置に処理を実行させることができる。

図１８は、実施の形態２において、コマンド管理部１０１が保持するコマンド管理テーブルの一例を示す図である。コマンド管理部１０１は、図１７のＳ２１７で外部装置からプロファイルに対応する処理コマンド情報を取得した際、この処理コマンド情報をコマンド管理テーブルに追記することにより、コマンド管理テーブルを拡張させることができる。図１８には、図９で示したコマンド管理テーブルに対して、プロファイル「ＡＶ」、「ＴＶ」、「ＰＶＲ」、「Ａｐｐｌｉａｎｃｅ」が追記されたコマンド管理テーブルが示されている。

図１９Ａ〜図１９Ｆは、操作画面において、操作対象オブジェクトの選択、コマンドの選択、及び処理実行が行われる様子を示す図である。図１９Ａ〜図１９Ｆには、操作対象オブジェクトとして、基本機能の異なる複数の機器が選択される場合の流れが示されている。

図１９Ａには、機器リスト（Ｄｅｖｉｃｅ Ｌｉｓｔ）として複数のオブジェクトアイコンが示されている。図１９Ａでは、エアコンとテレビとが選択されている。このような選択は、例えば、ユーザが外出前にエアコン及びテレビの電源をオフするときに行われる。

図１９Ｂには、ユーザがマルチタッチにより、機器アイコン「ＡｉｒＣｏｎ．」と「ＴＶ」とを選択し、これらの機器アイコンを図２Ａの領域２０１と領域２０２との間の境界線（Ｌ１）を超える位置までドラッグ操作する様子が示されている。実施の形態１で説明した通り、選択された操作対象オブジェクトであるエアコン（プロファイル：Ａｐｐｌｉａｎｃｅ）及びテレビ（プロファイル：ＡＶ、ＴＶ）を示す機器アイコンがドラッグされて境界線を超えると、それらの機能を示すコマンドアイコンが表示される。

ここでは、エアコン（プロファイル：Ａｐｐｌｉａｎｃｅ）及びテレビ（プロファイル：ＡＶ、ＴＶ）の機能の内、両操作対象オブジェクトの間で共通しない処理コマンドである、「Ｖｏｌｕｍｅ」、「Ｍｕｔｅ」、「Ｃｈａｎｎｅｌ Ｕｐ」、「Ｃｈａｎｎｅｌ Ｄｏｗｎ」は、非アクティブ化（グレーアウト）されている。

図２０は、コマンド管理部１０１が保持するコマンド候補テーブルの一例を示す図である。このコマンド候補テーブルは、次のように作成される。すなわち、属性検証部１０８が、上記したＳ２０６及びＳ２０７に対応する処理により、各プロファイル（ＡＶ、ＴＶ、Ａｐｐｌｉａｎｃｅ）に対応する処理コマンドを、コマンド管理テーブル（図１８参照）を参照しながら抽出し、抽出した処理コマンドをコマンド管理部１０１に保持されているコマンド候補テーブル（図２０参照）に記述していく。

図２０における「Ｃｏｍ．」で示される欄には、属性検証処理におけるコマンドの抽出回数（登場回数）が記述される。この抽出回数は、コマンドが抽出される度にインクリメントされて保持される値であり、コマンド毎に管理される。ここで、「Ｐｏｗｅｒ」及び「Ｔｉｍｅｒ」は、操作対象オブジェクトであるエアコン及びテレビの両方に共通するコマンドであるので、図２０に示すように、コマンド抽出回数が「２」となっている。

すなわち、「Ｐｏｗｅｒ」及び「Ｔｉｍｅｒ」は、選択された２つの機器に共通して実行可能な処理であるので、マルチタッチ等により複数の機器が選択された場合には、共通機能と判断される。そして、属性検証部１０８は、選択された複数の操作対象オブジェクトに対して共通して実行可能な機能と判断した「Ｐｏｗｅｒ」及び「Ｔｉｍｅｒ」アイコンをアクティブ表示する。

ここで、図１９Ｂでは、アクティブ化されたコマンドアイコンは、「Ｐｏｗｅｒ」ではなく「Ｐｏｗｅｒ ＯＦＦ」と表示されている。これは、以下で説明するテーブルを用いた処理により実現されている。

すなわち、図１８に示されるコマンド管理テーブルのプロファイル「ＡＶ」及び「Ａｐｐｌｉａｎｃｅ」のそれぞれに、処理コマンド「Ｐｏｗｅｒ」が記載されており、さらに処理コマンド「Ｐｏｗｅｒ」に対応する参照テーブル（図２０参照）として「Ｐｏｗｅｒ Ｔａｂｌｅ」が指定されている。図２１Ａ〜図２１Ｋは、実施の形態２において、コマンド管理部１０１が保持するコマンド参照テーブルの一例を示す図である。

図２１Ａ〜図２１Ｇに示されるコマンド参照テーブルは、図１０Ａ〜図１０Ｇに示されるコマンド参照テーブルに対応する。一方、図２１Ｈ〜図２１Ｋに示されるコマンド参照テーブルは、外部装置から取得したコマンド参照テーブルである。

図２１Ｈには、図１９Ｂに示した「Ｐｏｗｅｒ」と対応付けられた参照テーブルである「Ｐｏｗｅｒ Ｔａｂｌｅ」が示されている。図２１Ｈ中の「Ｓｔａｔｅ」欄には、操作対象となる機器の状態が記述されている。「Ｅｘｅｃ」欄には、「Ｓｔａｔｅ」に応じて実行すべき処理コマンドが記述されている。「Ｐａｔｈ」欄には、実行すべき処理コマンドを要求する際に必要なＵＲＬ又は表示に用いる画像へのＵＲＬ等が記述される。

ここで、操作対象のエアコン及びテレビの状態情報は、図１５Ｂの情報１５０１に示される電源状態タグ（Ｐｏｗｅｒ Ｓｔａｔｅ）等を用いることにより、参照テーブルに記述される。図１５Ｂでは、状態情報が「ＯＮ」状態であることを示している。

そして、属性検証部１０８は、操作対象オブジェクトの動作状態とコマンド参照テーブルの記述とに従って、処理コマンド「Ｐｏｗｅｒ」のコマンドアイコンの表示を「Ｐｏｗｅｒ ＯＦＦ」としている。こうすることで、操作対象機器の状態に応じて実行し得ない処理コマンドのコマンドアイコンを表示せずに、実行し得る処理コマンドのコマンドアイコンのみを表示できるので、ユーザの操作効率を向上することができる。

また、無駄なコマンドアイコンが表示されることを防止できるので、階層構造化させることなくコマンドアイコンを表示することが可能となる。これにより、例えば、図１９Ｃに示すように、ユーザが複数の機器アイコンをマルチタッチ等により選択し、複数の機器の電源を一回のドラッグ操作でオフ状態にする操作命令を容易に実現することができる。

図１９Ｄには、図１９Ｂの状態から複数の機器アイコンのドラッグ操作を継続し、共通処理コマンドである「Ｔｉｍｅｒ」アイコン上を通過させた後に、「３０分後」を意味するパラメータを示す「３０ ｍｉｎ」アイコン上を通過させ、最後に「Ｅｘｅｃｕｔｅ」の実行指示アイコン上でドラッグ操作を終了するという処理の流れが示されている。

なお、図１９Ｄのパラメータアイコンには、図２１Ｊの「Ｔｉｍｅｒ Ｓｅｔ Ｔａｂｌｅ」のプロパティが、「Ｔｉｍｅｒ」アイコンが選択されたタイミングで、操作領域管理部１０９が管理するレイアウト情報に基づいて表示される。

そして、図１９Ｄに示された手順に従ってユーザが操作を行った場合、命令生成部１１５は、操作履歴テーブルに登録された共通処理コマンドの実行を、操作対象オブジェクトとなる機器に要求する（図７のＳ１２０）。ここで、命令生成部１１５は、操作対象機器が自装置（つまり、情報処理装置１００Ａ）の場合には、命令実行部（図１４では図示省略）に対してコマンドの実行を要求する。一方、操作対象機器が外部装置の場合には、通信部１１１を介して外部装置の命令実行部に対してコマンドの実行を要求する。

そして、プログレス表示モードが設定されている場合（図７のＳ１２４でＹ）、図１９Ｅに示すようなプログレス表示画面が表示される（図７のＳ１２５）。図１９Ｅでは、全体の進捗が把握できるプログレス通知バー以外に、処理の詳細情報として、外部装置に対する処理コマンドの実行要求「Ｔｉｍｅｒ Ｓｅｔ」の返答結果「Ａｉｒ Ｃｏｎ．：ＯＫ」、及び、問い合わせ中の状態「（Ｗａｉｔｉｎｇ ｒｅｓｐｏｎｓｅ）」等が表示されている。そして、図１９Ｆに示すように、外部装置を含めた共通処理コマンドの実行結果が、操作画面上に表示される。

次に、登録された処理パターンを用いた処理実行について説明する。ここでは、特に、コマンドの実行時刻及び実行に関する詳細プロパティを設定する場合を例にとって説明する。

図２２Ａ〜図２２Ｃは、登録された処理パターンを用いた処理実行を説明するための図である。図２２Ａには、登録済処理パターンをそのプロパティを指定して実行する操作手順が示されている。

具体的には、ユーザが図２Ａの領域２０１（エリア１）に相当する部分に表示された登録済処理パターンリストから所望の処理パターン（Ｍｏｒｎｉｎｇ Ｂｅｌｌ）を、操作対象オブジェクトとして選択し、ドラッグ操作を開始している。

そして、選択されたオブジェクトアイコンが、ドラッグ操作によって、図２Ａの領域２０２（エリア２）に相当する部分に表示された繰り返し設定（Ｒｅｃｕｒｒｉｎｇ Ｓｅｔｔｉｎｇ）において、毎日（Ｄａｉｌｙ）を意味するコマンドアイコン上を通過し、さらに、図２Ａの領域２０３（エリア３）に相当する部分に表示された音量設定（Ｖｏｌｕｍｅ）において所望の音量（ここでは、ボリュームレベル：８０）を示す線分上を横切る形で通過し、実行指示アイコン「Ｅｘｅｃｕｔｅ」で放されている。

図２２Ｂは、実行指示前のパターン管理テーブルを示す図である。また、図２２Ｃは、実行指示後のパターン管理テーブルを示す図である。図２２Ａの操作により、繰り返し設定に関しては、図２２Ｂの「ＯＦＦ」から図２２Ｃの「ＯＮ：Ｄａｉｌｙ」に変化する。また、操作対象オブジェクト「ＴＶ」に対するコマンド「Ｖｏｌｕｍｅ」のパラメータに関しては、図２２Ｂの「５０」から図２２Ｃの「８０」に変化している。

このように、処理パターンに対応するコマンドとして設定変更コマンドを含めておくことにより、一度登録した複数のコマンドを含む処理パターンの変更又は修正を行うことができる。この処理パターンの変更又は修正も、ユーザによるドラッグ操作により、実行できる。

なお、図２２Ｂ及び図２２ＣのＩＤ（５）の操作対象オブジェクトは「−」の記載により抽象化されている。これは、全てのＩＤ（１〜４）に対して共通に設定された処理コマンドであることを意味する。すなわち、図２２Ｂ及び図２２ＣのＩＤ（５）の処理コマンドは、テレビ、エアコン、ポットの３つの機器に対し、午前７時半に一斉に電源をオンする要求である。

以上のように本実施の形態２によれば、情報処理装置１００Ａにおいて、複数の操作対象オブジェクトのうち少なくとも１つは、外部装置である。また、情報処理装置１００Ａは、外部装置との間で通信する通信部１１１を具備している。そして、属性検証部１０８が、外部装置が操作対象オブジェクトとして選択された場合に、選択された外部装置に対して対応処理コマンドの送信を要求する要求メッセージを、通信部１１１を介して送信する。

こうすることで、外部装置を、情報処理装置１００Ａが保持する操作オブジェクト（コンテンツ）と同様に扱うことができる。

また、命令生成部１１５は、処理順序データに外部装置にて実行される処理コマンドの識別情報が含まれる場合に、当該識別情報を外部装置へ通信部１１１を介して送信する。

（実施の形態３）
図２３は、本発明の実施の形態３に係る情報処理装置１００Ｂの構成を示すブロック図である。図２３において、情報処理装置１００Ｂは、図１４に示される情報処理装置１００Ａの構成に加えて、表示補正部１１２をさらに有する。なお、ここでは、実施の形態２において説明した外部機器を操作対象オブジェクトとして扱う場合を前提とする構成としているが、これに限らず、実施の形態１において説明した通信部１１１を有さない構成を前提としても良い。

表示補正部１１２は、表示画面内で操作対象オブジェクト、処理コマンド等の表示に未だ利用されていない領域（つまり、空き領域）に応じて、表示内容を補正する。より具体的には、表示補正部１１２は、表示部１０３上で未だアイコンの表示に利用されていない残留領域の大きさに応じて、表示部１０３に既に表示されている複数のアイコンの表示間隔を補正する。

図２４Ａ〜図２４Ｄは、表示画面内の空き領域に応じて表示内容を補正する処理を説明するための図である。図２５は、表示内容補正処理を示すフロー図である。これは、図７のＳ１１１の表示処理を改良するものである。

ここでは、以下の処理が行われることを前提として説明を進める。すなわち、情報処理装置１００Ｂは、ネットワーク２５０を介して接続される外部装置であるハードディスクレコーダ（ＰＶＲ）、テレビ（ＴＶ）、電気ポット（Ｐｏｔ）の機器アイコンを表示できる。

そして、ユーザが現在テレビに映っている料理番組のレシピ（テレビは二画面モードで、二画面のうち左側画面（Ｔｕｎｅｒ１）にレシピが表示されていることを想定）をスナップショットとしてキャプチャし、そのキャプチャした画像をメール送信する際、画像をＱＣＩＦサイズに変更し、宛先として「ユーザＣ」を選んで送信することを前提としている。

表示制御部１０は、図２４Ａの上段に示すような操作画面を表示部１０３に表示させる。図２４Ａの領域２３０１ａには、操作対象機器を示す機器アイコンのリスト（Ｄｅｖｉｃｅ Ｌｉｓｔ）が表示される。領域２３０２ａには、処理コマンド及びパラメータを示すアイコンのリスト（Ｆｕｎｃｔｉｏｎｓ）が表示される。領域２３０３ａは、未表示領域（Ｂｌａｎｋ）である。そして、領域２３０４ａは予約領域（Ｒｅｓｅｒｖｅｄ）である。

また、図２４Ａの下段に示される表には、各表示領域の占有率（Ｏｃｃｕｐａｔｉｏｎ）及び圧縮可否フラグ（Ｃｏｍｐｒｅｓｓｉｂｌｅ）が示されている。ここで、占有率は、画面全体に対する各領域の占有度合いを意味する。圧縮可否フラグは、表示の補正が可能か否かを意味している（ｔｒｕｅ：可能／ｆａｌｓｅ：不可能）。また、圧縮可否フラグに添えられる数字は、表示補正部１１２が管理する表示補正レベル（ここでは、数値０〜２）を意味する。

以降では、表示内容の補正処理について図２４Ａ〜図２４Ｄ及び図２５を参照して説明する。

表示補正部１１２は、ユーザからの操作命令を命令受付部１０４で受け付けている最中に、表示部１０３に表示中の各表示領域のサイズを、ユーザにとって操作し易くなるように補正する。表示補正部１１２は、前述した各表示領域の占有率を監視し、未表示領域サイズの状況を検証する（Ｓ３０１）。この検証タイミングとしては、例えば、ユーザによるコマンド領域選択操作があったタイミングが利用される。

例えば、図２４Ａに示すように、ユーザが画像のサイズ変更（Ｒｅｓｉｚｅ）の詳細プロパティ（ＱＣＩＦ）を選択した場合、未表示領域（つまり、上記した空き領域）の占有率は、全体の８％となっている。

ここで、表示補正部１１２は、現在の未表示領域が規定の閾値（ここでは固定値：２０％）以下であるか否かを確認する（Ｓ３０２）。そして、占有率が閾値を上回る場合（Ｓ３０２のＮ）には、表示内容補正処理を終了する。

一方、占有率が閾値以下となった場合（Ｓ３０２のＹ）には、表示補正部１１２は、操作履歴テーブルに選択済の項目（処理コマンド領域又はサブコマンド領域で表現されるユーザが目視可能な表示部分）が存在するか否かを確認する（Ｓ３０３）。そして、存在しない場合（Ｓ３０３のＮ）には、表示内容補正処理を終了する。一方、存在する場合（Ｓ３０３のＹ）には、選択済の項目に対応する領域２３０２ａ（Ｆｕｎｃｔｉｏｎｓ）に該当する部分の境界領域（図２４Ａの点線で示されるガイド表示）の表示をクリアする（Ｓ３０４）。

さらに、領域２３０２ａ（Ｆｕｎｃｔｉｏｎｓ）に該当する部分の表示補正レベルが「０」の場合（Ｓ３０５のＹ）、表示補正部１１２は、コマンドアイコン又はパラメータアイコンの上下の表示マージンを「０（ｐｘ：ピクセル）」とする（Ｓ３０６）。

そして、表示補正部１１２は、表示補正を行った領域２３０２ａの表示補正レベルを「１」に変更し（Ｓ３０７）、未表示領域のサイズ及び占有率を修正し（Ｓ３１３）、変更後の設定に従って操作画面を再描画する（Ｓ３１４）。これにより、領域２３０２ｂに示す通り、既に選択した項目の部分が圧縮表示される。

すなわち、図２４Ｂの上段に示すように、処理コマンド同士の離間距離が上下に詰められた表示画面に変更される。これにより、図２４Ｂの下段に示すように、領域２３０３ｂの未表示領域の占有率が３０％となり、次のコマンドアイコンを表示する領域が確保される。その結果、新たな領域２３０３ｃにコマンドアイコン又はパラメータアイコンを、ユーザにとって見やすい表示形式で表示することができる。

一方、表示補正レベルが「０」でない場合（Ｓ３０５のＮ）には、表示補正部１１２は、表示補正レベルが「１」であるかを確認する（Ｓ３０８）。そして、「１」でない場合（Ｓ３０８のＮ）には、表示補正は不可能と判断し、表示内容補正処理を終了する。

図２４Ｃの上段は、新たな領域２３０３ｃに、メールの送信先を選択させるパラメータアイコンが表示された状態の画面が示されている。図２４Ｃの上段に示される画面において、ユーザはドラッグ途中の機器アイコンをパラメータアイコンの「ＵｓｅｒＣ」にドラッグすることで、項目の選択を継続できる。

ここで、図２４Ｃにおける未表示領域２３０４ｃの占有率は、検証されるべき閾値（ここでは固定値：２０％）を下回る値（ここでは、１８％）となっている（Ｓ３０２でＮ）。そこで、再び表示内容補正処理が行われる。しかしながら、現在の領域２３０２ｃ（Ｆｕｎｃｔｉｏｎｓ）の表示補正レベルは「１」であるため、表示補正レベル「１」（Ｓ３０５のＮかつＳ３０８のＹ）として、以降の処理を続ける。

例えば、表示補正部１１２は、コマンドアイコン又はパラメータアイコンの上下の表示マージンを「−１０（ｐｘ：ピクセル）」とする（Ｓ３０９）。これにより、図２４Ｄの上段に示すように、さらにアイコン同士の離間距離が上下に詰められ、一部重なった状態の表示画面に変更される。さらに、表示補正部１１２は、選択済の各項目で表示する文字列のフォントを縮小（ここでは、８ｐｘ：ピクセル）し（Ｓ３１０）、文字列の表示位置自体を「中心位置」から「上方位置」に設定する（Ｓ３１１）。

そして、表示補正部１１２は、表示補正を行った領域２３０２ｃの表示補正レベルを「２」に変更し（Ｓ３１２）、前述したＳ３１３以降の処理を続ける。これにより、図２４Ｄの領域２３０２ｄに示すように、既に選択した項目の部分が領域２３０２ｃで示したものよりもさらに圧縮表示される。従って、次に選択対象となるアイコンが表示される領域（つまり、領域２３０３ｄ及び領域２３０４ｄで示される部分）の占有率を上げることができ、この領域のアイコンを、ユーザにとって見やすい表示形式で表示することができる。

以上のように本実施の形態３によれば、情報処理装置１００Ｂの表示補正部１１２は、新たなアイコンが表示された時に、表示画面上で未だ表示に利用されていない残留領域の量に応じて、既に表示されているアイコンの表示形式を圧縮形式に補正する。

こうすることで、狭小画面におけるドラッグ操作においても、次のドラッグ操作で選択すべきメニューを表示するができるので、継続的なドラッグ操作が可能となり、操作性を向上できる。

圧縮形式は、例えば、既に表示されているアイコンを縮小する縮小表示形式、又は、一部を重ねる表示形式である。

（実施の形態４）
図２６は、本発明の実施の形態４に係る情報処理装置１００Ｃの構成を示すブロック図である。図２６において、情報処理装置１００Ｃは、図１４に示される情報処理装置１００Ａの構成に加えて、仮想位置判定部１１３をさらに有する。

仮想位置判定部１１３は、操作画面において外部装置の画面を模して外部装置の操作を可能とする。より具体的には、仮想位置判定部１１３は、外部装置の表示画面に表示されている表示内容を示す表示レイアウト情報を、通信部１１１を介して当該操作対象オブジェクトから受信し、受信した表示レイアウト情報に示される表示内容を仮想画面として、表示部１０３の第１、第２及び第３表示領域と異なる仮想画面表示領域に表示させる。

そして、仮想位置判定部１１３は、例えば、選択されたオブジェクトアイコンが仮想画面内で開放された場合に、仮想画面における開放位置を検出すると共に、仮想画面における開放位置情報を外部装置の表示画面における位置情報に変換する。なお、上記の説明は、オブジェクトアイコンがドラッグされたことを前提としているが、これに限ることなく、仮想画面上の特定の位置がクリック等によって選択された場合にも、仮想画面における選択位置を検出すると共に、仮想画面における選択位置情報を外部装置の表示画面における位置情報に変換してもよい。後述の実施の形態５についても同様である。

図２７Ａ〜図２７Ｄは、仮想画面表示領域を用いた処理を説明するための図である。ここでは、以下の処理が行われることを前提として説明を進める。すなわち、モバイル端末である情報処理装置１００Ｃが、ネットワーク２５０を介して接続される外部装置であるテレビ（ＴＶ）を操作対象機器として指定する。

そして、ユーザが手元のモバイル端末に保存されている画像（例えば、家族の写真）を選択し、テレビの画面上の任意の位置に選択した画像を表示させる場合、その選択した画像に他のユーザが目視可能な文字列で構成されるメッセージ（例えば、Ｅｎｊｏｙ！）を付与し、さらに、その画像及び付与したメッセージの表示を取り消す表示期限（例えば、１ヶ月）を指定することを前提としている。

図２７Ａには、仮想画面の構成情報が示されている。また、図２７Ｂには、操作画面の構成例が示されている。例えば、情報処理装置１００Ｃ（Ｓｏｕｒｃｅ Ｄｅｖｉｃｅ）が備える画面の描画領域（Ｆｕｌｌ Ｓｃｒｅｅｎ）のサイズは、幅（Ｗｉｄｔｈ）が３２０ｐｘ（ピクセル）、高さ（Ｈｅｉｇｈｔ）が４８０ｐｘ（ピクセル）であり、画面上の座標軸におけるＸ軸（０）／Ｙ軸（０）を描画領域の開始点とする。

すなわち、図２７Ｂの領域２６００が描画領域に相当する。一方、情報処理装置１００Ｃが管理する操作対象機器の仮想画面（Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ）は、幅が３２０ｐｘ、高さが１８０ｐｘであり、画面上の座標軸におけるＸ軸（０）／Ｙ軸（３００）が仮想画面表示領域の開始点となる。すなわち、図２７Ｂの領域２６０４（エリア４）が仮想画面表示領域に相当する。

一方、操作対象機器（Ｔａｒｇｅｔ Ｄｅｖｉｃｅ）そのものが備える画面の描画領域（Ｆｕｌｌ Ｓｃｒｅｅｎ）のサイズは、幅が９６０ｐｘ、高さが５４０ｐｘであり、画面上の座標軸におけるＸ軸（０）／Ｙ軸（０）を描画領域の開始点とする。

さらに、図２７Ａに示される仮想画面の構成情報（表示レイアウト情報）には、操作対象機器の描画領域に対する仮想画面表示領域の拡大縮小比率（Ｒａｔｅ：ここでは、３３％）が記載されている。なお、操作対象となる外部装置（テレビ）の画面サイズ等は、標準的なプロトコル又は独自のプロトコルにより、通信部１１１を介して取得できるものとする。

図２７Ｃは、操作画面の一例を示す図である。ユーザは、領域２６０１（エリア１）に表示されたコンテンツリストから、操作対象オブジェクトとして所望のコンテンツ（ここでは、画像）を選択する。

そして、選択されたオブジェクトアイコンが、ドラッグ操作により、領域２６０２（エリア２）に表示されたメッセージリストのうちのユーザが望むメッセージアイコン（ここでは、Ｅｎｊｏｙ！）を通過し、さらに、領域２６０３（エリア３）に表示された表示期限プロパティのうちのユーザが望む期限を示すアイコン（ここでは、１ｍｏｎｔｈ）を通過し、最後に実行指示アイコンとして扱われる操作対象機器の仮想画面表示領域（Ｐｏｓｉｔｉｏｎ ｏｆ ｍｅｓｓａｇｅ ｂｏａｒｄと題した領域）上の任意の位置で開放される。

ここで、情報処理装置１００Ｃの命令受付部１０４は、ドラッグ操作が終わった時点での仮想画面表示領域上でのドラッグ操作完了座標（１０４，３６８）を取得し、ドラッグ操作完了座標に関する情報を、ドラッグ操作の操作命令と共に操作判定部１０５に渡す。操作判定部１０５は、実行指示アイコンでのドラッグ操作完了と判断する（図７のＳ１２０）。

操作判定部１０５に接続される仮想位置判定部１１３は、仮想画面表示領域上でのドラッグ操作完了時点での座標情報を、仮想画面の表示位置又は拡大縮小比率に応じて調整し、調整後の座標情報を操作判定部１０５に渡す。ここでの座標調整処理は、仮想画面表示領域の開始点がＹ軸の３００ｐｘであるので、ドラッグ操作完了座標のＹ軸方向から３００ｐｘを減算し、さらに、拡大縮小比率に応じて座標を換算する処理である。

そして、処理後の座標情報として、最終的な操作対象機器の画面上で扱われるべき座標（３１２，２０４）が得られる。操作判定部１０５は、調整前の座標情報及び調整後の座標情報を命令生成部１１５へ向けて送出する。そして、命令生成部１１５は、調整後の座標情報を操作命令メッセージに含めて、操作対象機器へ通信部１１１を介して送信する。

図２７Ｄは、操作命令メッセージの構成例を示す図である。図２７Ｄには、操作対象機器である外部装置（テレビ）に対して送信する操作命令メッセージが一例として示されている。情報２６０５には、情報処理装置１００Ｃに保持されている画像をサーバ機能によって外部に公開するために、その画像を操作対象機器に追加させる命令が記述されている。

また、情報２６０６及び情報２６０７には、その追加画像に対する付加的な情報が記述されている。具体的には、情報２６０６には、操作画面において選択されたメッセージ「Ｅｎｊｏｙ！」が本文タグ（Ｄｅｓｃｒｉｐｔｉｏｎ）により指定されていると共に、同じく操作画面において選択された表示期限「１ｍｏｎｔｈ」を示す情報が表示期限タグ（Ｅｘｐｉｒｅ）で指定されている。

また、情報２６０７には、仮想位置判定部１１３で算出された操作対象機器における座標（３１２，２０４）が表示位置タグ（Ｐｏｓｉｔｉｏｎ）で指定されている。この操作命令メッセージを受信すると、操作対象機器は、操作命令に従って画像を取得し、指定されたメッセージと併せて画像を表示する。さらに、表示期限指定に従って、表示をクリアする。

なお、図２７Ｃにおいて、領域２６０４の仮想画面表示領域に、操作対象機器の画面上で現在表示設定されている他のコンテンツ（画像、メモ、ネット動画へのリンクなど）を表示させる例を示した。これらの表示位置は、操作対象機器と情報処理装置１００Ｃとの間で決められた任意のプロトコルにより、表示位置などを取得できるものとする。

この表示により、現在表示されているコンテンツの位置が分かるため、新たなコンテンツを元々表示されていたコンテンツの上に重ねてしまい当該コンテンツを隠してしまう等の操作ミスを回避できる。

以上のように本実施の形態４によれば、情報処理装置１００Ｃの仮想位置判定部１１３は、操作画面内に、外部装置の表示画面に対応する仮想画面を表示する。また、仮想位置判定部１１３は、選択されたオブジェクトアイコンが仮想画面表示領域内で開放された場合に、仮想画面における開放位置を検出すると共に、仮想画面における開放位置情報を外部装置の表示画面における位置情報に変換する。さらに、仮想位置判定部１１３は、外部装置にて実行される処理コマンドの識別情報と共に、位置情報を送信する。

こうすることで、ネットワークを介して接続された外部装置の表示画面へのメモ情報の貼り付けなど、外部装置において実行する処理を、手元の情報処理装置１００Ｃの表示部１０３上で指定できると共に、外部装置の表示画面においてその指定処理が実行される位置も指定することができる。

（実施の形態５）
図２８は、本発明の実施の形態５に係る情報処理装置１００Ｄの構成を示すブロック図である。図２８において、情報処理装置１００Ｄは、図２６に示される情報処理装置１００Ｃの構成に加えて、センサ１１４をさらに有する。

センサ１１４は、情報処理装置１００Ｄが現在保持されている状態（典型的には、表示部１０３の向き）を示す保持状態情報を検出する。センサ１１４は、検出した保持状態情報を表示制御部１０に送出する。センサ１１４は、表示制御部１０からの要求に応じて保持状態情報を送出しても良いし、又は、センサ１１４が装置方向の変化を検出する毎に自動で送出しても良い。そして、保持状態情報を取得した表示制御部１０は、表示部１０３の向きに応じて、表示部１０３上に表示させるアイコンの表示位置（レイアウト）を変更する。

図２９Ａ〜図２９Ｅは、保持状態情報に応じて操作画面を変更する処理を説明するための図である。ここでは、以下の処理が行われることを前提として説明を進める。すなわち、モバイル端末である情報処理装置１００Ｄが、ネットワーク２５０を介して接続される外部装置であるテレビ（ＴＶ）を操作対象機器として指定する。

そして、ユーザが、外部装置であるテレビに表示された複数の画像から所望の画像を選択し、さらに、ユーザの手元にある情報処理装置１００Ｄにおいて、選択画像に対しメッセージ（Ｇｒｅａｔ！）を追記し、表示期限（１ヶ月）を設定した後、テレビの表示画面上の任意の位置に再び画像を貼り付けることを前提としている。

図２９Ａには、仮想画面の構成情報及び表示要素（コンテンツリスト、機能リスト、など）のレイアウト情報が示されている。また、図２９Ｂには、表示モードが「縦モード（Ｖｅｒｔｉｃａｌ）」時の操作画面の構成例が示され、図２９Ｃには、表示モードが「横モード（Ｈｏｒｉｚｏｎｔａｌ）」時の操作画面の構成例が示されている。

例えば、情報処理装置１００Ｄ（Ｓｏｕｒｃｅ Ｄｅｖｉｃｅ）が備える画面の描画領域（Ｆｕｌｌ Ｓｃｒｅｅｎ）のサイズは、幅（Ｗｉｄｔｈ）が３２０ｐｘ（ピクセル）、高さ（Ｈｅｉｇｈｔ）が４８０ｐｘ（ピクセル）であり、画面上の座標軸におけるＸ軸（０）／Ｙ軸（０）を描画領域の開始点とする。

すなわち、図２９Ｂの領域２８００が描画領域に相当する。一方、情報処理装置１００Ｄが管理する操作対象機器の仮想画面表示領域（Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ）は、「縦モード」の場合、幅が３２０ｐｘ、高さが１８０ｐｘであり、図２９Ｂの画面上の座標軸におけるＸ軸（０）／Ｙ軸（３００）が仮想画面表示領域の開始点となる。また、仮想画面（Ｖｉｒｔｕａｌ Ｓｃｒｅｅｎ）は、「横モード」の場合、幅が４２０ｐｘ、高さが２３６ｐｘであり、図２９Ｃの画面上の座標軸におけるＸ軸（３０）／Ｙ軸（４２）が仮想画面表示領域の開始点となる。

すなわち、図２９Ｂの領域２８０４（エリア４）及び図２９Ｃの領域２８０５（エリア４）が仮想画面表示領域に相当する。

一方、操作対象機器（Ｔａｒｇｅｔ Ｄｅｖｉｃｅ）そのものが備える画面の描画領域（Ｆｕｌｌ Ｓｃｒｅｅｎ）のサイズは、幅が９６０ｐｘ、高さが５４０ｐｘであり、画面上の座標軸におけるＸ軸（０）／Ｙ軸（０）を描画領域の開始点とする。

さらに、図２９Ａに示される仮想画面の構成情報には、操作対象機器の描画領域に対する仮想画面表示領域の拡大縮小比率（Ｒａｔｅ）が、表示モード毎に記載されている（ここでは、縦モード時３３％、横モード時４３％）。なお、操作対象となる外部装置（テレビ）の画面サイズ等は、標準的なプロトコル又は独自のプロトコルにより、通信部１１１を介して取得できるものとする。

ここで、センサ１１４は、表示制御部１０が表示部１０３に操作画面を描画させる前に、表示制御部１０からの要求に応じて、情報処理装置１００Ｄの保持状態情報（例えば、装置方向と呼ばれる重力に対する方向・方角・傾きを含む）を検出する。

そして、センサ１１４は、検出した現在の保持状態情報（ここでは、装置方向）を表示制御部１０に出力する。表示制御部１０は、センサ１１４から受け取る保持状態情報に基づいて、表示モードを切り替える。すなわち、表示制御部１０は、センサ１１４から受け取る保持状態情報に基づいて、情報処理装置１００Ｄの保持状態を判断する。

そして、表示制御部１０は、保持状態を判断した結果、現時点での端末方向が「縦」であると判定する場合、操作画面を「縦モード」に切り替える。具体的には、図２９Ｂに示すような「縦モード」の操作画面が表示される。一方、表示制御部１０は、現時点での端末方向が「横」であると判定する場合、操作画面を「横モード」に切り替える。具体的には、図２９Ｃに示すような「横モード」の操作画面が表示される。

図２９Ｄ及び図２９Ｅは、それぞれ「横モード」及び「縦モード」の操作画面の一例を示す図である。ここで、モバイル端末の初期状態は、連携する機器の操作画面を提供する「横モード」である。

「横モード」の操作画面では、例えば、ユーザは、図２９Ｄに示すように、領域２８０５（エリア４）に表示されたテレビのメッセージボード（画像やテキストを掲示板として貼り付けることが可能なテレビ側に実装されるアプリケーション）と同じ画面を目視することができる。さらに、ユーザは、操作画面に表示された画像のうち、コメント又はメッセージを付け加えたい画像（ここでは、Ｍ６）をタッチ操作等により選択することができる。

ここで画像を選択した後、ユーザが操作中のモバイル端末を縦に向けた（つまり、画面の縦横比が異なる方向へ端末を回転させる）場合、センサ１１４がモバイル端末の装置方向の変化を検出する。そして、表示制御部１０は、図２９Ｅに示すように、選択されたコンテンツの編集・加工を行う、「縦モード」の操作画面を表示させる。

そして、ユーザは、所望のコンテンツ（ここでは、画像：Ｍ６）をドラッグすることにより、領域２８０２（エリア２）に表示されたメッセージリストのうちのユーザが望む所望のメッセージアイコン（ここでは、Ｇｒｅａｔ！）を通過させ、さらに、領域２８０３（エリア３）に表示された表示期限プロパティのうちのユーザが望む所望の期限を示すアイコン（ここでは、１ｍｏｎｔｈ）を通過させて、最後に実行指示アイコンとして扱われる仮想画面表示領域（つまり、図２９ＥにおいてＰｏｓｉｔｉｏｎ ｏｆ ｍｅｓｓａｇｅ ｂｏａｒｄと題した領域）上の任意の位置でドラッグ操作を完了する。以降の座標変換処理等は、実施の形態４で説明した通りである。

なお、ここでは、保持状態情報に基づいて表示モードを切り替える場合について説明した。しかしながら、これに限定されるものではなく、例えば、外気温、体温、位置情報、バッテリー残量等の状態情報を表示モードの切り替え基準として用いることができる。状態情報には、保持状態情報も含まれる。例えば、外気温又は体温に応じてヘルスケアを促すメニュー（例えば、エアコンの加湿設定又は温度設定など）を優先的に表示させたり、位置情報に応じてドラッグ操作中に表示させる地図の場所を近隣の地図に設定したり、バッテリー残量に応じて近隣のバッテリー充電サービスショップを地図上に表示したりすることができる。保持状態情報以外の状態情報も、センサ１１４により検出される。

また、ここでは、表示モードの切り替えにより、操作画面のレイアウトが変更される場合について説明した。しかしながら、これに限定されるものではなく、例えば、「縦モードの場合は手元機器の操作」、「横モードの場合は連携先機器の操作」など、端末が向いている方向に応じて操作メニュー全体の役割又は各種機能の表示内容・表現方法を変更するようにしても良い。

このように本実施の形態５によれば、情報処理装置１００Ｄにおいて、センサ１１４が情報処理装置１００Ｄの状態を検出する。そして、表示制御部１０が、センサ１１４にて検出された状態情報に応じて、操作画面の表示モードを切り替える。

こうすることで、情報処理装置１００Ｄの状態に応じた操作画面に切り替えることができるので、ユーザの操作性を向上できる。

（他の実施の形態）
（１）実施の形態１〜５の情報処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄで表示される操作画面では、表示しきれずに非表示状態となっているオブジェクトアイコン、コマンドアイコン、及びパラメータアイコンを、矢印ボタン領域に触れることにより、表示状態とすることができる。

情報処理装置１００Ａ、１００Ｂ、１００Ｃ、１００Ｄが外部装置と接続されている態様である実施の形態２〜５では、表示状態となっている各アイコンを、外部装置に備えられた大画面に表示しても良い。

図３０Ａ及び図３０Ｂは、情報処理装置１００Ｃ、１００Ｄの操作画面及び外部装置の操作画面を示す図である。図３０Ａの枠２９００は、現在ユーザが操作する操作対象の情報処理装置１００Ｃ、１００Ｄの操作画面である。図３０Ａの領域２９０１〜２９０３においては、画面レイアウト上表示されていないメニュー項目（つまり、矢印ボタン領域上へのドラッグ操作又は矢印方向に端末を物理的に傾ける操作によって出現する選択肢）の存在が矢印マークにより表現されている。これらの非表示メニュー項目は、ユーザによる操作画面への操作命令により逐次出現させることが可能であるが、どのような項目が非表示となっているかはユーザが操作を行わない限り知ることができない。

図３０Ｂの枠２９１０は、情報処理装置１００Ｃ、１００Ｄが連携可能な外部装置（例えば、テレビ）が表示する画面の例を示している。枠２９１１は、連携元となる情報処理装置１００Ｃ、１００Ｄ（Ｍｏｂｉｌｅ Ａ）が描画可能な表示領域である。また、枠２９１２は、連携元となる情報処理装置１００Ｃ、１００Ｄが現在表示している画面を外部装置の画面上で再現して描画したものである。さらに、領域２９１３〜２９１６は、領域２９０１〜２９０４にそれぞれ対応している。

枠２９１１の領域内には、外部装置に比べて画面が小さい情報処理装置１００Ｃ、１００Ｄでは非表示となっているメニュー項目が表示されている。これにより、ユーザは手元の情報処理装置１００Ｃ、１００Ｄを操作しながら、外部装置であるテレビの画面で非表示メニュー項目を目視できる。従って、所望のメニューが情報処理装置１００Ｃ、１００Ｄの操作画面上に表示されていない場合、外部装置の画面上で確認した所望のメニュー項目（例えば、領域２９１４の「Ｍｅｍｏ」）を表示させるための操作を最短手順（「Ｍｅｍｏ」を表示させる場合、左方向にスクロールする方が、右方向にスクロールするよりも、少ない再描画回数で実現できる）にて実行することができる。

なお、ここでは、選択するメニュー項目をテキスト及び顔文字（特定の文字列パターンの見た目により顔の表情を表現する文字列）としているが、静止画像、動画、記号などとしても良い。また、スクロール方向を左右としたが、上下、３Ｄ表現を駆使した表示などとしても良い。また、領域２９１６に示すように、メニュー項目に限らず、非表示となっている描画オブジェクト（例えば、ウィジェットと呼ばれる天気予報・時計・カレンダーのような常駐貼付型アプリケーション、又は、掲示板として貼り付けられたメモ若しくはビデオレターなど）を補足的に表示しても良い。

また、非表示メニュー項目を外部装置に表示するタイミングとしては、次のタイミングを用いることができる。例えば、第１に、ユーザがドラッグ操作を続ける過程においてドラッグ操作を開始するまで表示しても良い。第２に、ドラッグ操作の進行の都度（例えば、選択したオブジェクトアイコンが隣接領域間の境界線を越える都度など）順次表示しても良い。第３に、ユーザが意図的に情報処理装置１００Ｄを傾ける等の動作をセンサが検知したタイミングで表示しても良い。

（２）実施の形態１〜５では、表示部１０３に表示される操作画面上に、オブジェクトアイコンに対するドラッグ操作の軌跡を実線の矢印で表示したが、軌跡の表示方法はこれに限定されるものではなく、操作を補助する操作ガイドを表示しても良い。

（３）実施の形態１〜５では、オブジェクトアイコンとコマンドアイコンとが重畳しているか否かの判定において、オブジェクトアイコンの中心点がコマンドアイコンに重畳しているか否かを判定基準としたが、判定基準はこれに限定されるものではなく、オブジェクトアイコンの辺（つまり、縁取り部分）とコマンドアイコンとが接触しているか否かを判定基準としても良い。

（４）実施の形態２〜５では、外部装置との間で送受信する情報を抽象化したＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式を用いて表現したが、各要素を増減しても構わない。また、記述形式をバイナリ形式にするなど他の表現を用いても構わない。

（５）実施の形態１〜５では、二つの指で二つのアイコンをドラッグし、実行指示領域上までドラッグを続けることを前提に説明したが、二つのアイコンがドラッグにより移動し始めた段階で、片指を離しても二つのアイコンが統合されてドラッグを続行することが可能な方式としても良い。

（６）実施の形態１〜５の情報処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄは、各種機能（対象画像若しくは対象映像の編集・加工、放送・映像再生に関わる画質・音質・音量調整、スケジュールの管理・入力・参照・表示期限指定、視聴・録画予約の設定、記録モードの変更、メール本文の作成・宛先指定など）の操作候補を表示する画面を有し、本体に備わる入力デバイスを介した操作指示により選択された処理を装置単体で実行するモバイル端末、パーソナルコンピュータ、カーナビゲーションシステム等の装置、又は、装置外にあるリモートコントローラー（以下、リモコン）を介した操作指示により選択された処理を装置内で実行するテレビ受像機、ハードディスクレコーダ、エアコン等の、リモコンに適用され得る。

また、実施の形態１〜５の情報処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄは、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、コンピュータシステムが備える各要素の機能が達成される。コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（７）実施の形態１〜５の情報処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄを構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサがコンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

（８）実施の形態１〜５の情報処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄを構成する構成要素の一部又は全部は、情報処理装置１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄの本体に脱着可能なＩＣカード又は単体のモジュールから構成されても良い。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含んでも良い。マイクロプロセッサがコンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。ＩＣカード又はモジュールは、耐タンパ性を有していても良い。

（９）実施の形態１〜５では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

本発明の情報処理装置は、直感的な操作性よって複数の処理を実行可能であり、モバイル端末、パーソナルコンピュータ、カーナビゲーションシステム、デジタルテレビ受像機、デジタルビデオディスクレコーダ、セットトップボックス、プロジェクタ、及び外付モニターなどの機器を操作するために用いられるリモートコントローラーに適用して有用である。

１０ 表示制御部
２０ 記憶部
１００，１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ 情報処理装置
１０１ コマンド管理部
１０２ データ保持部
１０３ 表示部
１０４ 命令受付部
１０５ 操作判定部
１０６ 命令実行部
１０７ タイマ
１０８ 属性検証部
１０９ 操作領域管理部
１１０ パターン管理部
１１１ 通信部
１１２ 表示補正部
１１３ 仮想位置判定部
１１４ センサ
１１５ 命令生成部
２００，２１０ 操作画面領域
２０１，２０２，２０３，２０４，２０５ 領域
２５０ ネットワーク
３００ エアコン
４００，４０１ テレビ
５００ 電気ポット
２３０４ｃ 未表示領域
２９００，２９１０，２９１１，２９１２ 枠

Claims (12)

1. 表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する情報処理装置であって、
   オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部と、
   前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付部と、
   前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御部と、
   前記命令受付部で受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成部とを備え、
   前記表示制御部は、さらに、
   前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、
   前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させ、
   前記命令生成部は、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成し、
   前記表示制御部は、
   前記表示画面の第１表示領域に表示されるオブジェクトアイコンを、ユーザの操作に応じて選択してドラッグし、
   前記命令受付部は、
   選択されてドラッグされた前記オブジェクトアイコンが、前記第２表示領域に表示された前記コマンドアイコンに重なった場合には、当該コマンドアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記コマンドアイコンを選択する操作を受け付け、
   選択されてドラッグされたオブジェクトアイコンが、選択された前記コマンドアイコンから移動して、前記第３表示領域に表示された前記パラメータアイコンに重なった場合には、当該パラメータアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記パラメータアイコンを選択する操作を受け付ける
   情報処理装置。
2. 該情報処理装置は、さらに、前記命令生成部で生成された前記命令を、前記操作対象オブジェクトに対して実行する命令実行部を備える
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、２以上の前記操作対象オブジェクトが選択された場合に、前記２以上の操作対象オブジェクトに対して共通して実行可能な前記コマンドを、前記コマンド管理部から抽出する
   請求項１又は２に記載の情報処理装置。
4. 前記表示制御部は、前記表示画面上で未だ前記アイコンの表示に利用されていない残留領域の大きさに応じて、前記表示画面上に既に表示されている複数の前記アイコンの表示間隔を補正する
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記命令生成部は、さらに、生成した前記命令を処理パターンとして、前記記憶部のパターン管理部に登録し、
   前記表示制御部は、さらに、選択された前記オブジェクトアイコンで識別される前記オブジェクトに対して実行可能な前記処理パターンを前記パターン管理部から抽出し、抽出された前記処理パターンを識別するための処理パターンアイコンを、前記表示画面の前記第１、第２及び第３表示領域と異なるパターン表示領域に表示させる
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 該情報処理装置は、さらに、前記表示画面と、前記表示画面の向きを検出する検出部を備え、
   前記表示制御部は、前記検出部によって検出された前記表示画面の向きに応じて、前記表示画面上に表示させる前記アイコンの表示位置を変更する
   請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記オブジェクトは、該情報処理装置と接続される外部装置であり、
   該情報処理装置は、さらに、前記命令生成部で生成された前記命令を、前記操作対象オブジェクトに対応する外部装置に送信する通信部を備える
   請求項１に記載の情報処理装置。
8. 前記通信部は、さらに、前記操作対象オブジェクトの現在の動作状態を示す状態情報を、当該操作対象オブジェクトから受信し、
   前記表示制御部は、前記状態情報に示される動作状態において、前記操作対象オブジェクトに対して実行可能な前記コマンドを、前記コマンド管理部から抽出する
   請求項７に記載の情報処理装置。
9. 前記操作対象オブジェクトが表示画面を有する場合において、
   前記通信部は、前記操作対象オブジェクトの表示画面に表示されている表示内容を示す表示レイアウト情報を、当該操作対象オブジェクトから受信し、
   前記表示制御部は、さらに、前記表示レイアウト情報に示される表示内容を、前記表示画面の前記第１、第２及び第３表示領域と異なる仮想画面表示領域に表示させる
   請求項７又は８に記載の情報処理装置。
10. オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部を備える情報処理装置が、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する情報処理方法であって、
    前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付ステップと、
    前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御ステップと、
    前記命令受付ステップで受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成ステップとを含み、
    前記表示制御ステップでは、さらに、
    前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、
    前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させ、
    前記命令生成ステップは、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成し、
    前記表示制御ステップでは、
    前記表示画面の第１表示領域に表示されるオブジェクトアイコンを、ユーザの操作に応じて選択してドラッグし、
    前記命令受付ステップでは、
    選択されてドラッグされた前記オブジェクトアイコンが、前記第２表示領域に表示された前記コマンドアイコンに重なった場合には、当該コマンドアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記コマンドアイコンを選択する操作を受け付け、
    選択されてドラッグされたオブジェクトアイコンが、選択された前記コマンドアイコンから移動して、前記第３表示領域に表示された前記パラメータアイコンに重なった場合には、当該パラメータアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記パラメータアイコンを選択する操作を受け付ける
    情報処理方法。
11. オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部を備える情報処理装置に、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成させるプログラムを記録したコンピュータ読取可能な記録媒体であって、
    前記プログラムは、
    前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付ステップと、
    前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御ステップと、
    前記命令受付ステップで受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成ステップとを前記情報処理装置に実行させ、
    前記表示制御ステップでは、さらに、
    前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、
    前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付ステップで受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させ、
    前記命令生成ステップは、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成し、
    前記表示制御ステップでは、
    前記表示画面の第１表示領域に表示されるオブジェクトアイコンを、ユーザの操作に応じて選択してドラッグし、
    前記命令受付ステップでは、
    選択されてドラッグされた前記オブジェクトアイコンが、前記第２表示領域に表示された前記コマンドアイコンに重なった場合には、当該コマンドアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記コマンドアイコンを選択する操作を受け付け、
    選択されてドラッグされたオブジェクトアイコンが、選択された前記コマンドアイコンから移動して、前記第３表示領域に表示された前記パラメータアイコンに重なった場合には、当該パラメータアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記パラメータアイコンを選択する操作を受け付ける
    コンピュータ読取可能な記録媒体。
12. オブジェクトに対して実行される処理である１以上のコマンドと、前記コマンドの処理内容を規定する１以上のパラメータとを関連付けて記憶するコマンド管理部を含む記憶部を備え、表示画面に表示させたアイコンをユーザに操作させることによって、機器の動作を規定する命令を生成する情報処理装置に搭載される集積回路であって、
    前記表示画面に表示された前記アイコンに対するユーザの操作を受付ける命令受付部と、
    前記オブジェクトを識別するための１以上のオブジェクトアイコンを、前記表示画面の第１表示領域に表示させる表示制御部と、
    前記命令受付部で受付けられたユーザの操作に応じて、前記コマンド管理部に記憶されている前記コマンド及び前記パラメータの集合である命令を生成する命令生成部とを備え、
    前記表示制御部は、さらに、
    前記第１表示領域に表示された前記１以上のオブジェクトアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記オブジェクトアイコンで識別される操作対象オブジェクトに対して実行可能な前記コマンドを前記コマンド管理部から抽出し、抽出された前記コマンドを識別するための１以上のコマンドアイコンを、前記表示画面の前記第１表示領域の表示内容を維持したまま、前記第１表示領域と異なる第２表示領域に表示させ、
    前記第２表示領域に表示された前記１以上のコマンドアイコンのうちの少なくとも１つを選択する操作が前記命令受付部で受付けられた場合に、選択された前記コマンドアイコンで識別される前記コマンドに関連付けられた前記パラメータを前記コマンド管理部から抽出し、抽出された前記パラメータを識別するための１以上のパラメータアイコンを、前記表示画面の前記第１及び第２表示領域の表示内容を維持したまま、前記第１及び第２表示領域と異なる第３表示領域に表示させ、
    前記命令生成部は、２以上の前記コマンドアイコンが選択された場合に、当該２以上のコマンドアイコン各々で識別される２以上の前記コマンドを、選択された順に実行するための命令を生成し、
    前記表示制御部は、
    前記表示画面の第１表示領域に表示されるオブジェクトアイコンを、ユーザの操作に応じて選択してドラッグし、
    前記命令受付部は、
    選択されてドラッグされた前記オブジェクトアイコンが、前記第２表示領域に表示された前記コマンドアイコンに重なった場合には、当該コマンドアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記コマンドアイコンを選択する操作を受け付け、
    選択されてドラッグされたオブジェクトアイコンが、選択された前記コマンドアイコンから移動して、前記第３表示領域に表示された前記パラメータアイコンに重なった場合には、当該パラメータアイコンに重なっている経過時間を計測し、前記経過時間が所定の閾値以上になることを検出すると、前記パラメータアイコンを選択する操作を受け付ける
    集積回路。

Images