JP5164675B2 - ユーザインターフェースの制御方法及び情報処理装置及びプログラム - Google Patents

Description

本発明は、複数の任意の位置に対する同時指示を識別可能なタッチパネルにより画面上に表示されているオブジェクトを操作するための操作処理方法に関する。

従来から、タッチ入力が可能なタッチパネルと、各種オブジェクトを表示する画面（スクリーン）とにより構成されたタッチスクリーンが知られている。タッチスクリーン上のオブジェクトをコピーや移動操作するため一般的な処理方法として、オブジェクトを選択した指を移動し、移動先でコピー或は移動などのコマンドを選択することが行われていた（特許文献１参照）。

また、タッチスクリーン上のオブジェクトに対する操作だけで行う方法として、オブジェクトを選択した指を上下方向に移動すると削除またはカット操作、左右方向に移動するとコピー操作として処理する方法が提案されている（特許文献２参照）。
特開２００２−３０４２５６号公報 特開２００１−２９０５８５号公報

しかしながら、特許文献１に記載されたような、コマンドにより移動やコピーを選択する方法では、操作対象のオブジェクトに対するタッチ操作以外に、コマンドを選択するためのタッチ操作が発生する。このため、タッチスクリーン上における直感的な操作性が損なわれるという課題があった。

また、特許文献２に記載されたような、移動する方向によってコピー操作として処理する方法では、オブジェクトが必ずしも一定方向で配置されるとは限らないため、上下や左右などの方向を操作者から識別することが困難な場合があった。加えて、複数の操作者がオブジェクトの前後左右から操作する場合には、各操作者がオブジェクトに対し適切な方向を指示するのは困難となってしまう。さらに、オブジェクトをコピー後に配置する場所の方向と、コピー操作を指示する方向は同一方向とは限らないため、コピーに際し、ドラッグしながら角度を変更する操作が強いられてしまう。

本発明は上述した課題を解決し、画面に対するより直感的な操作で、画面上のオブジェクトに対する種々の操作を行えるようにすることを目的とする。

上記の目的を達成するための本発明の一態様によるユーザインターフェースの制御方法は、
画面上の複数の指示位置を同時に検出することが可能なユーザインターフェースの制御方法であって、
検出手段が、前記ユーザインターフェースを用いて、前記画面上の１つのオブジェクトの表示範囲に複数の指示位置が同時に存在することを検出する検出工程と、
判定手段が、前記検出工程で前記複数の指示位置が存在することが検出された後、該複数の指示位置のうちの少なくとも１つの指示位置を維持しながら、残りの指示位置を移動する操作がなされたか否かを判定する判定工程と、
実行手段が、前記判定工程で前記操作がなされたと判定された場合であって、維持された指示位置の数が複数である場合には前記オブジェクトのコピー処理を実行し、前記維持された指示位置の数が単数の場合には前記維持された指示位置を始点とした前記オブジェクトの拡大、縮小、回転のいずれかの処理を前記移動する操作に基づいて実行する実行工程と、
表示手段が、前記実行工程で実行された処理を反映したオブジェクトの表示を行ない、前記コピー処理が実行された場合には、前記移動する操作により移動する指示位置に追従して前記オブジェクトのコピーを表示する表示工程と、を有する。

また、上記の目的を達成するための本発明の他の態様による情報処理装置は、
画面上の複数の指示位置を同時に検出することが可能なユーザインターフェースを有する情報処理装置であって、
画面上の複数の指示位置を同時に検出することが可能なユーザインターフェースを有する情報処理装置であって、
前記ユーザインターフェースを用いて、前記画面上の１つのオブジェクトの表示範囲に複数の指示位置が同時に存在することを検出する検出手段と、
前記検出手段で前記複数の指示位置が存在することが検出された後、該複数の指示位置のうちの少なくとも１つの指示位置を維持しながら、残りの指示位置を移動する操作がなされたか否かを判定する判定手段と、
前記判定手段で前記操作がなされたと判定された場合であって、維持された指示位置の数が複数である場合には前記オブジェクトのコピー処理を実行し、前記維持された指示位置の数が単数の場合には前記維持された指示位置を始点とした前記オブジェクトの拡大、縮小、回転のいずれかの処理を前記移動する操作に基づいて実行する実行手段と、
前記実行手段により実行された処理を反映したオブジェクトの表示を行ない、前記コピー処理が実行された場合には、前記移動する操作により移動する指示位置に追従して前記オブジェクトのコピーを表示する表示手段と、を備える。

本発明は上述した課題を解決し、画面に対するより直感的な操作で、画面上のオブジェクトに対する種々の操作を行えるようになる。

以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
＜第１実施形態＞
まず、本実施形態の装置を構成するコンピュータ装置の構成について、図１の構成図を参照して説明する。装置はそれぞれ単一の情報処理装置で実現してもよいし、必要に応じた複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の装置で構成される場合は、互いに通信可能なようにLocal Area Network（ＬＡＮ）などで接続されてもよい。

本実施形態においては、コピー対象となるオブジェクトに対し、２本の指で押下し、別の１本の指で同オブジェクトをドラッグし、ドロップすることでオブジェクトのコピーを行う例について説明する。なお、ここでドラッグとは、オブジェクトに対し指で押下操作をしたままその指をタッチスクリーンから離すことなく移動することである。また、ドロップとは、ドラッグしている状態においてタッチスクリーンから指を離すことである。なお、タッチスクリーンは、ユーザのタッチ位置を検出するタッチパネルとオブジェクト等を表示する画面（表示スクリーン）から構成される。

図１は、第１実施形態による情報処理装置１００の論理的構成を示すブロック図である。

図１の情報処理装置１００において、入出力制御部１１０は、ユーザからのタッチスクリーンへの入力の受付けを制御すると共に、オブジェクトのタッチスクリーンへの表示を制御する。入力操作識別部１２０は、入出力制御部１１０からの入力情報を元に表示処理部１４０で表示を行ったオブジェクトへの操作内容の識別を行う。オブジェクト処理部１３０は、入力操作識別部１２０で識別されたオブジェクトへの操作内容を元にオブジェクトの拡大・縮小・移動・コピーなどの処理を実行する。

表示処理部１４０は、オブジェクト処理部１３０で処理されたオブジェクトへの操作内容をタッチスクリーンへ表示するための表示指示を入出力制御部１１０に対し行う。また、表示処理部１４０は現在表示しているオブジェクトの位置情報を把握しており、必要に応じて入力操作識別部１２０に対しオブジェクトの位置情報の提供を行う。

図２は本実施形態に係る情報処理装置１００の概略構成を示すブロック図である。

図２において、２０１はCentral Processing Unit（ＣＰＵ）であり、ＲＯＭ２０２、記憶装置２０３に格納された制御プログラムに基づいて各デバイスを制御する。２０２はReadOnly Memory（ＲＯＭ）であり、ＣＰＵ２０１が実行する各種の制御プログラムやデータを保持する。２０４はRandom Access Memory（ＲＡＭ）でありＣＰＵ２０１のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。２０３は記憶装置であり、各種制御プログラムや各種データを保存する。

２０５は入出力インターフェイスであり、ユーザの操作を受けつけてデータを入力するデバイス（本実施形態では、マルチタッチスクリーン２０６）とのインターフェイスである。入出力インターフェイス２０５は、また、情報処理装置１００の保持するデータや供給されたデータをマルチタッチスクリーン２０６へ表示出力するためのインターフェイスでもある。入出力インターフェイス２０５はマルチタッチスクリーン２０６と接続されている。マルチタッチスクリーン２０６は、画面上の任意の位置に対する複数の同時指示の識別が可能なユーザインターフェースを提供する。２０７は２０１〜２０５の各ユニットを通信可能に接続するシステムバスである。本実施形態では、本発明内容を含む情報処理プログラムコードが記憶装置２０３に格納されており、ＣＰＵ２０１によって実行される。ユーザはマルチタッチスクリーン２０６を用いて操作し、マルチタッチスクリーン２０６でその操作の結果を見ることができる。なお、図１に示される論理構成の各部は、ＣＰＵ２０１が記憶装置２０３に格納され、ＲＡＭ２０４にロードされたプログラムを実行することにより、ソフトウエアとハードウエアの協働によって実現される。

図３は情報処理装置１００の入力操作識別部１２０における入力の操作内容を識別するためのフローチャートである。

マルチタッチスクリーン２０６でオブジェクトを表示している状態において、当該マルチタッチスクリーン２０６に指を接触することで入力が行われる。その入力は、入出力インターフェイス２０５を介して、入出力制御部１１０（図１）に入力情報として伝えられる。入力情報とは、指の接触した位置を面（指先部分がマルチタッチスクリーンに接触する領域範囲）として保持している情報である。なお、ここでは指で入力したと判定する基準は、接触点は直径が２ｃｍの円よりも小さいこととするが、もちろんこの値はこれに限られるものではなく、ユーザによる変更が可能に構成されてもよい。

入力操作識別部１２０は、入出力制御部１１０からの入力情報を元に、図３のフローチャートに従ってどのような指示がなされているかを判定し、操作の完了をもって操作内容の把握を行う。
以下、図３を用いて入力操作識別部１２０による操作内容の把握方法を詳細に説明する。

図３のフローチャートは、入力操作識別部１２０が入出力制御部１１０からの入力情報及び表示処理部１４０からのオブジェクト表示情報を受け取ることで開始される。オブジェクト表示情報とは、入出力制御部１１０を介しマルチタッチスクリーン２０６に表示したオブジェクトの位置を面として保持している情報である。なお、「面として」と記載したのは、オブジェクトの表示情報はある領域範囲つまり面積をもっていることを意味している。ここで面積とはスクリーン上の複数点の座標を結んだある領域範囲の意味である。本実施形態では、指の接触面積部分つまり指示された領域範囲（面）と表示オブジェクトの面積部分つまりオブジェクトの表示領域範囲（面）とが交差していることでその指はそのオブジェクトを選択していると判断される。

ステップＳ３０１において入力操作識別部１２０は、入力情報とオブジェクト表示情報が交差している位置上にあるかを判定する。交差している位置上にあると判定された場合は、オブジェクトを選択しているものと認定され、処理はステップＳ３０２へ進む。なお、交差している位置上にあるとは、すなわち面として保持している入力情報と同じく面として保持しているオブジェクト表示情報の面同士が重なっている部分があることを指す。換言すれば、入力操作識別部１２０は、画面上に表示されている１つ又は複数のオブジェクトのうちの１つのオブジェクトの表示範囲に同時に存在する１つまたは複数の指示位置を検出する。ここでは、画面上に表示されている１つ又は複数のオブジェクトのうちの特定の１つのオブジェクトの表示範囲に複数の指示位置が存在することを検出するようにしてもよい。

一方、交差している位置上にない場合は、オブジェクトの選択はなされていないと認定され、次の入力待ち状態（ステップＳ３１０）となる。次の入力待ち状態（ステップＳ３１０）とは、マルチタッチスクリーン２０６に指を接触することで発生する次の入力が入出力制御部１１０を通して入力操作識別部１２０に入力情報として通知されるまで待っている状態である。

ステップＳ３０２において、入力操作識別部１２０は、ステップＳ３０１で選択したオブジェクトに対してドラッグを行っているか否かの判定を行う。ドラッグについてはすでに述べている。ドラッグを行っていると判定された場合は、処理はステップＳ３０４へ進む。また、ドラッグを行っていないと判定された場合は、処理はステップＳ３０３へ進む。ステップＳ３０３は、ステップＳ３０１でオブジェクトが選択されていると判定されたが、ドラッグ操作は行われていない状態であり、入力操作識別部１２０は、当該操作状態をオブジェクトの選択指示中であると識別する。本実施形態では、図３のフローチャートに示されるように、オブジェクトの選択指示だけの場合は入力待ち状態（ステップＳ３１０）となる。

ステップＳ３１０における次の入力待ち状態中に、マルチタッチスクリーン２０６に指を接触することで入力が行われると、その入力は、入出力インターフェイス２０５を介して入出力制御部１１０に入力情報として伝えられる。入出力制御部１１０が伝えられた入力情報を入力操作識別部１２０に通知すると、図３のステップＳ３０１からの処理が再び開始する。

なお、オブジェクトへの指示は、選択、ドラッグ以外にもタップやダブルタップなど多くの指示が可能である。本実施形態ではそれらの指示について特に説明しないが、それらの指示と本実施形態の指示は共存可能であることは言うまでもない。

一方、選択したオブジェクトに対してドラッグを行っていると判定された場合、ステップＳ３０４において、入力操作識別部１２０は、選択されているオブジェクトがドラッグされている指とは別に選択されつづけているのかの判定を行う。すなわち、ある１つのオブジェクトに対して複数の指示位置が存在することが検出された後、複数の指示位置のうちの少なくとも１つの指示位置を維持しながら、残りの指示位置を移動する操作がなされたか否かが判定される。ドラッグとは別に選択されている場合は、処理はステップＳ３０６へ進む。また、ドラッグだけで、ドラッグとは別に選択されていない場合は、処理はステップＳ３０５へ進み、入力操作識別部１２０は、当該操作をオブジェクトの移動指示として識別する。

ステップＳ３０６において、入力操作識別部１２０は、ドラッグされている指とは別に選択されつづけている選択が２本以上の指によって行われているか否かの判定を行う。２本以上の指で選択されつづけている場合は、ステップＳ３０８へ進み、そうでない場合は、ステップＳ３０７へ進む。ステップＳ３０７において、入力操作識別部１２０は、当該操作をオブジェクトの拡大・縮小・回転指示などの指示として識別する。

一方、ステップＳ３０８に処理が進んだ場合、入力操作識別部１２０は、当該操作をオブジェクトのコピー指示として識別する。以上のような処理により、入力操作識別部１２０は、マルチタッチスクリーン２０６でどのような指示が行われているかを識別する。以上のように、ステップＳ３０６において、入力操作識別部１２０は、維持された指示位置の数と移動した指示位置の数とに基づいて、実行すべき処理を決定する。そして、ステップＳ３０７，Ｓ３０８において、それぞれ決定された処理が実行されることになる。

次に、入力操作識別部１２０が、その指示の操作を完了させることにより操作内容として識別する方法を説明する。識別した操作内容は、オブジェクト処理部１３０に伝えられる。

図３のステップＳ３０３におけるオブジェクトの選択指示が行われている状態では、オブジェクトへの選択を行っている指がマルチタッチスクリーン２０６から離れたことを検出することでオブジェクトの選択指示が完了する。

図３のステップＳ３０５におけるオブジェクトの移動指示の完了は、移動している指がマルチタッチスクリーン２０６から離れたことを検出することで判断される。入力操作識別部１２０は、指が離れた位置への該オブジェクトの移動を操作内容として識別する。

図３のステップＳ３０７のオブジェクトの拡大・縮小・回転指示の完了は、移動している指が止まるか、マルチタッチスクリーン２０６から離れたことを検出することで判断される。入力操作識別部１２０は、拡大・縮小・回転指示の完了に応じて、該オブジェクトの拡大・縮小・回転の操作内容を識別する。

図３のステップＳ３０８のオブジェクトのコピー指示は、移動している指がマルチタッチスクリーン２０６から離れたことを検出することにより、該オブジェクトの離した位置へのコピーが操作内容として識別される。このとき、移動している指の指示位置が、選択されたオブジェクトの外部まで移動してから、当該指が離れたことを検出することで、オブジェクトのコピー指示として識別するようにしてもよい。

すでに述べている通り、入力操作識別部１２０にて識別した操作内容によりオブジェクト処理部１３０は対象オブジェクトの拡大・縮小・移動・コピーなどの処理を実行し、表示指示を表示処理部１４０へ行う。表示処理部１４０は、タッチスクリーンへ表示するための表示指示を入出力制御部１１０に対し行うことで、タッチスクリーン上に操作内容を反映したオブジェクトの表示を行う。

なお、コピー指示中に移動している指をマルチタッチスクリーン２０６から離す以前に元オブジェクトへの選択を解除した場合でも本実施形態ではコピー操作を続行する。しかしながら、コピー指示中で移動している指をマルチタッチスクリーン２０６から離す以前に元オブジェクトへの選択を解除した場合はコピー操作を中断とするようにしてもよい。

以上のオブジェクトのコピー操作について図４を用いて具体的に説明する。

図４の（ａ）〜（ｃ）において、マルチタッチスクリーン２０６にはオブジェクト４０４が表示されている。また、４０２は、オブジェクト４０４を選択している２本の指である。更に、４０３は、オブジェクト４０４を選択している２本の指４０２とは別の１本の指である。４０４は、マルチタッチスクリーン２０６上に表示されているオブジェクトであり、ここでは一例として山の写真のサムネイル画像であるとする。

図４の（ａ）において、オブジェクト４０４が、２本の指４０２と別の１本の指４０３により選択されている。

図４の（ｂ）では、図４の（ａ）の状態から別の１本の指４０３をドラッグ（移動）している状態が示されている。図４の（ｂ）において、４０５は、オブジェクト４０４のコピー（山の写真のサムネイル画像のコピー）である。図４の（ｂ）において、オブジェクト４０４のコピー４０５は、ドラッグ中であるので半透明で表示されている。

図４の（ｃ）は、図４の（ｂ）の状態から、１本の指４０３をマルチタッチスクリーン２０６から離した状態を示している。図４の（ｃ）において、山の写真のサムネイル画像のコピー４０５は、コピー処理が完了しているので半透明でなく通常の表示となっている。

次に、図４により示されているコピー操作について説明する。
まず、ユーザは、図４の（ａ）に示されるように、コピーしたいオブジェクト４０４（山の写真のサムネイル画像）を、２本の指４０２と別の１本の指４０３で選択する。そして、図４の（ｂ）に示されるように、ユーザは２本の指４０２によってオブジェクト４０４を選択した状態を保持したまま、別の１本の指４０３でドラッグを行う。ついで、図４の（ｃ）に示されるように、図４の（ｂ）でドラッグしていた別の１本の指４０３をマルチタッチスクリーン２０６から離す。この操作により、オブジェクト４０４をドロップしたことになり、１本の指４０３が離された位置にオブジェクト４０４（山の写真のサムネイル画像）のコピー４０５が配置される。以上で山の写真のサムネイル画像（オブジェクト４０４）のコピーを行い、任意の場所に配置することができた。

なお、画面上でのサムネイル画像のコピーは、アイコンなどのシンボルのコピーであるが、実際は当該サムネイル画像の元となる山の写真のファイルもコピーされていることは言うまでもない。なお、ファイルは記憶装置２０３やＲＡＭ２０４に領域を確保して書き込まれ、保持される。ドライブやフォルダの下に格納されている場合は、該当ドライブ下の該当フォルダ下に格納される。ドライブやフォルダは、論理的な管理体系でも物理的に存在するものでもかまわない。

なお、上記実施形態では、２本の指でコピー元画像の選択を行っているが２本以上であれば何本でも構わないことは言うまでもない。すなわち、２本の指で元画像を選択し続けながら別の１本の指をドラッグするだけでなく、３本以上の指で元画像を選択し続けながら別の１本指でドラッグするようにしてもよい。また、２本以上の指で選択を続けながら、２本以上の指でドラッグするようにしてもよい。

また、本実施形態においては、オブジェクトとして写真を一例に出したが、音楽や文書などのファイルなどのデータやフォルダあるいはショートカットなどのデータをまとめたり、代替したりするものであってもかまわないことは言うまでもない。

以上のように、本実施形態によれば、タッチスクリーンへのタッチ操作のみでオブジェクトの移動や拡大・縮小・回転などと明確に区別可能で、かつ直感的な操作でコピー操作をすることが可能になる。すなわち、上記実施形態によれば、オブジェクトに対する方向ではなく、オブジェクトを押える指とオブジェクトから移動する指の本数によって、オブジェクトの移動や拡大・縮小・回転操作とコピー操作とが識別される。このため、オブジェクトの移動操作や２本指の間隔を狭めたり、広げたりして行う縮小・拡大操作を、コピー操作と誤認識してしまうことが防止され、コピー操作が容易かつ確実に行える。

なお、上記の第１実施形態では、まず３本の指で１つのオブジェクトを指示し、そのうちの２本の指による指示位置を維持しながら、もう１本の指でドラッグ操作を行った場合に、コピー操作と判定し、対応する処理を実行した。しかしながら、本発明はこのような操作形態に限られるものでない。この点について、第２、第３実施形態により説明する。

＜第２実施形態＞
次に第２実施形態を説明する。第２実施形態の基本的な構成は第１実施形態（図１〜図３）に準じる。

図５は、第２実施形態によるオブジェクトのコピー操作の一例を示す図である。第１実施形態では、オブジェクトからドラッグする指が１本の例を示した。第２実施形態では、オブジェクトからドラッグする指が２本の例を示す。

図５において、５０２は、オブジェクト５０４を選択している２本の指である。５０３は、オブジェクト５０４を選択している、指５０２とは別の１本の指である。５０４は、マルチタッチスクリーン２０６上にあるオブジェクトであり、一例として山の写真のサムネイル画像である。５０５は、図５中５０４上を選択している２本の指５０２、１本の指５０３とはさらに別の１本の指である。

図５の（ａ）では、山の写真のサムネイル画像であるオブジェクト５０４が、２本の指５０２と別の１本の指５０３とさらに別の１本の指５０５とで選択されている。図５の（ｂ）では、図５の（ａ）から別の１本の指５０３とさらに別の１本の指５０５をドラッグ（移動）している状態が示されている。図５の（ｂ）の５０６と５０７は、山の写真のサムネイル画像であるオブジェクト５０４のコピーである。図５の（ｂ）の状態では、コピー５０６ともう一つのコピー５０７は、ドラッグ中であるので半透明で表示されている。

図５の（ｃ）は、図５の（ｂ）から指５０３をマルチタッチスクリーン２０６から離した状態を示している。図５の（ｃ）において、山の写真のサムネイル画像のコピー５０６は、コピー処理が完了しているので半透明でなく通常の表示となっている。写真のサムネイル画像のもう一つのコピー５０７は、未だドラッグ中であるので半透明で表示してある。図５（ｄ）では、指５０５がマルチタッチスクリーン２０６から離れたことにより、もう一つのコピー５０７も、コピー処理が完了して半透明でなく通常の表示となっている。

次に、図５のコピー操作について説明を行う。
図５の（ａ）において、ユーザは、選択すべきオブジェクト５０４（山の写真のサムネイル画像）を、２本の指５０２と別の１本の指５０３とさらに別の１本の指５０５で選択する。そして、図５（ｂ）に示されるように、ユーザは、２本の指５０２でオブジェクト５０４を選択した状態を保持したまま、別の１本の指５０３とさらに別の１本の指５０５でドラッグを行う。ついで、図５の（ｃ）に示すように、図５の（ｂ）においてドラッグしていた１本の指５０３をマルチタッチスクリーン２０６から離すとコピー５０６がドロップされたと認識される。従って、指５０３を離した位置に山の写真のサムネイル画像のコピー５０６が配置される。ついで、図５の（ｄ）に示されるように、図５の（ｃ）でドラッグ中であった指５０５をマルチタッチスクリーン２０６から離すと、コピー５０７がドロップされたと認識される。この結果、図５の（ｄ）に示されるように、指５０５を離した位置に山の写真のサムネイル画像のもう一つのコピー５０７が配置される。

なお、第２実施形態による上記処理は、第１実施形態で示した図３フローチャートのステップＳ３０８において、コピー操作指示を行う際に、ドラッグしている指の本数分のドラッグとコピー操作指示を行うようにすればよい。

なお、本実施形態においては、ドラッグしている指を２本で説明したが、これに限るものではない。２本以上の指でドラッグした場合もその本数分のコピーを行えることは言うまでもない。
以上のように第２実施形態では、１つのオブジェクトへの、上記所定数以上の複数の指示位置のうち、移動した指示位置の数に応じて、当該オブジェクトのコピーが繰り返えされ、移動した指示位置の数だけのコピーが作成される。

また、本実施形態では、同時に２本の指をドラッグして場合を説明したがこれに限るものではない。１本の指でドラッグ中に更にもう１本の指によるドラッグを開始させることでも、同様に複数のコピーが行えるように構成してもよい。すなわち、移動した指示位置に追従して表示されるオブジェクトのコピーの表示領域内への指示位置の追加に応じて、当該オブジェクトのコピー回数が追加される。

以上のように、第２実施形態によれば、直感的な操作で複数のコピー操作を同時に実行させることが可能になる。

＜第３実施形態＞
次に第３実施形態を説明する。第３実施形態の基本的な構成は第１実施形態及び第２実施形態に準じる。

第１実施形態においては、コピー対象のオブジェクトを選択しつづける指は、２本あるいは２本以上であり、コピー対象のオブジェクトからドラッグする指は、１本であった。また、第２実施形態においては、コピー対象のオブジェクトを選択しつづける指は、２本あるいは２本以上であり、コピー対象のオブジェクトからドラッグする指は、２本あるいは２本以上であった。第３実施形態においては、コピー対象のオブジェクトを選択しつづける指は、１本であるが、コピー対象のオブジェクトからドラッグする指は、２本あるいは２本以上とする。以下に第３実施形態を説明する。

対象オブジェクトの拡大・縮小・回転の操作は２本の指で行われるとすれば、コピー対象のオブジェクトを選択する指が３本以上ある場合は、対象オブジェクトの拡大・縮小・回転との識別は可能である。したがって、対象オブジェクトを３本指で選択後、１本指で選択しつづけ、２本の指を移動することでコピー操作を行うことは可能である。また、その場合、コピーは２つ作成されてもよいし、１つだけ作成されてもよい。すなわち、第２実施形態では、移動した指の本数に応じた数のコピーを生成する場合を説明したが、第３実施形態では、移動した指の本数に関係なく１つだけコピーを生成するとしてもよい。

なお、第１実施形態で説明した図３フローチャートにおいて、ステップＳ３０６では２本以上の指で選択オブジェクトが選択されつづけているか否かを判定していた。これに対して、第３実施形態では、ステップＳ３０２において「２本以上の指で選択オブジェクトのドラッグをしているか」を判定し、ステップＳ３０６において「１本以上の指で選択されてつづけているか」を判定することになる。

以上、第１実施形態〜第３実施形態で説明した入力操作識別処理によれば、オブジェクトを指示する複数の指示位置のうち、維持された指示位置の数または移動した指示位置の数の少なくともいずれかが複数である場合に、コピー処理と判断する。

例えば、オブジェクトの移動・拡大・縮小・回転の操作を１本または２本といったような所定数未満の本数の指で行うものとすれば、指示位置の個数が当該所定数以上か否かで、それらの操作とは別の操作が指示されたか否かを区別できる。ここで、別の操作としては、第１〜第３実施形態で説明したようなコピー操作が挙げられる。但し、これに限られるものではなく、例えば第５実施形態で後述するように、削除処理を上記別の操作として適用することもできる。

＜第４実施形態＞
第４実施形態の基本的な構成は第１実施形態及び第２実施形態に準じる。

第１実施形態及び第２実施形態においては、マルチタッチスクリーン２０６を個人が操作することを前提としたが、これに限るものではない。例えば、テーブル上にあるマルチタッチスクリーンを複数ユーザが同時に操作するような場合においても本発明は適用可能である。すなわち、オブジェクトの選択やドラッグは同一ユーザである必要性はなく指の１本１本が別々の操作者であっても何ら問題なくコピーを行うことは可能である。

＜第５実施形態＞
次に第５実施形態について説明する。第５実施形態の基本的な構成は第１実施形態に準じる。第１実施形態においては、コピー操作を行う例を説明したがこれに限るものではない。例えば、オブジェクトを選択しつづける指が３本で、１本以上の指でドラッグする場合は、該選択したオブジェクトの削除処理を行うように構成することも可能である。この場合、ドラッグする指の指示位置が当該オブジェクトの表示範囲から外れた後に指が話された場合（指示位置が消滅した場合）に削除指示がなされたと判断すればよい。オブジェクトの表示範囲から外れた位置で指示位置が消滅することを確認するので、誤操作を防止できる。

＜第６実施形態＞
次に第６実施形態を説明する。第６実施形態の基本的な構成も第１実施形態に準じる。第１実施形態では、画面上の任意の位置に対する複数の同時指示の識別が可能なユーザインターフェースとして、マルチタッチスクリーン２０６を用いたが、本発明は、これに限られるものではない。第６実施形態では、マルチタッチスクリーンではなく、表示を行うスクリーンと、同スクリーン上の任意の位置を同時に複数指示可能で、かつ指示された位置を把握可能なポインティングデバイスを備える。すなわち、第６実施形態では、マルチタッチスクリーン２０６によるタッチパネルへの指示位置の検出、取得に代えて、ポインティングデバイスによる指示位置の検出、取得が用いられる。

この場合、図２のマルチタッチスクリーン２０６は、出力（表示）を行うスクリーンと、入力を行うポインティングデバイスに分かれる。したがって、入出力インターフェイス２０５及び入出力制御部１１０は、ポインティングデバイスから入力情報を受け、スクリーンに対して出力することになる。また、入出力インターフェイス２０５は、入力インターフェイスと出力インターフェイスに分かれても構わない。同様に、入出力制御部１１０は、入力制御部と出力制御部に分かれても構わない。

なお、ポインティングデバイスによる入力指示は、有線、無線、可視光線、不可視光線などを用いることができ、またこれらに限定されないことは言うまでもない。
また、ポインティングデバイスを用いず、指先でスクリーンに対し非接触で指示可能な構成を用いてもよい。
以上のような構成において、スクリーン上に表示されたオブジェクトに対し、ポインティングデバイス等による指示で、第１〜第５実施形態で説明したオブジェクトの操作が可能であることは明らかである。

＜第７実施形態＞
本発明は、ソフトウエアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態における情報処理装置の論理的構成を示すブロック図である。 第１実施形態における情報処理装置のハードウエア構成例を示すブロック図である。 第１実施形態の情報処理装置における入力操作識別処理を示すフローチャートである。 第１実施形態による操作例を説明する図である。 第２実施形態による操作例を説明する図である。

Claims (11)

1. 画面上の複数の指示位置を同時に検出することが可能なユーザインターフェースの制御方法であって、
   検出手段が、前記ユーザインターフェースを用いて、前記画面上の１つのオブジェクトの表示範囲に複数の指示位置が同時に存在することを検出する検出工程と、
   判定手段が、前記検出工程で前記複数の指示位置が存在することが検出された後、該複数の指示位置のうちの少なくとも１つの指示位置を維持しながら、残りの指示位置を移動する操作がなされたか否かを判定する判定工程と、
   実行手段が、前記判定工程で前記操作がなされたと判定された場合であって、維持された指示位置の数が複数である場合には前記オブジェクトのコピー処理を実行し、前記維持された指示位置の数が単数の場合には前記維持された指示位置を始点とした前記オブジェクトの拡大、縮小、回転のいずれかの処理を前記移動する操作に基づいて実行する実行工程と、
   表示手段が、前記実行工程で実行された処理を反映したオブジェクトの表示を行ない、前記コピー処理が実行された場合には、前記移動する操作により移動する指示位置に追従して前記オブジェクトのコピーを表示する表示工程と、を有することを特徴とするユーザインターフェースの制御方法。
2. 前記ユーザインターフェースは、ユーザのタッチパネルへの指示位置、または、ポインティングデバイスによる指示位置、を検出することを特徴とする請求項１に記載のユーザインターフェースの制御方法。
3. 前記表示工程では、前記コピー処理において複数の指示位置が移動する場合、前記複数の指示位置の数が１つ減少するたびに該減少が生じた位置に前記オブジェクトのコピーを固定して表示し、残りの指示位置の移動に追従した前記オブジェクトのコピーの表示を継続することを特徴とする請求項１または２に記載のユーザインターフェースの制御方法。
4. 前記実行工程では、前記オブジェクトのコピーの表示領域内への指示位置の追加に応じて当該オブジェクトのコピー回数を追加することを特徴とする請求項３に記載のユーザインターフェースの制御方法。
5. 前記表示工程では、前記オブジェクトのコピーの表示を、前記指示位置に追従して移動している間は半透明の表示とし、固定した表示になると通常の表示とすることを特徴とする請求項３または４に記載のユーザインターフェースの制御方法。
6. 画面上の複数の指示位置を同時に検出することが可能なユーザインターフェースを有する情報処理装置であって、
   前記ユーザインターフェースを用いて、前記画面上の１つのオブジェクトの表示範囲に複数の指示位置が同時に存在することを検出する検出手段と、
   前記検出手段で前記複数の指示位置が存在することが検出された後、該複数の指示位置のうちの少なくとも１つの指示位置を維持しながら、残りの指示位置を移動する操作がなされたか否かを判定する判定手段と、
   前記判定手段で前記操作がなされたと判定された場合であって、維持された指示位置の数が複数である場合には前記オブジェクトのコピー処理を実行し、前記維持された指示位置の数が単数の場合には前記維持された指示位置を始点とした前記オブジェクトの拡大、縮小、回転のいずれかの処理を前記移動する操作に基づいて実行する実行手段と、
   前記実行手段により実行された処理を反映したオブジェクトの表示を行ない、前記コピー処理が実行された場合には、前記移動する操作により移動する指示位置に追従して前記オブジェクトのコピーを表示する表示手段と、を備えることを特徴とする情報処理装置。
7. 前記ユーザインターフェースは、ユーザのタッチパネルへの指示位置、または、ポインティングデバイスによる指示位置、を検出することを特徴とする請求項６に記載の情報処理装置。
8. 前記表示手段は、前記コピー処理において複数の指示位置が移動する場合、前記複数の指示位置の数が１つ減少するたびに該減少が生じた位置に前記オブジェクトのコピーを固定して表示し、残りの指示位置の移動に追従した前記オブジェクトのコピーの表示を継続することを特徴とする請求項６または７に記載の情報処理装置。
9. 前記実行手段では、前記オブジェクトのコピーの表示領域内への指示位置の追加に応じて当該オブジェクトのコピー回数を追加することを特徴とする請求項８に記載の情報処理装置。
10. 前記表示手段は、前記オブジェクトのコピーの表示を、前記指示位置に追従して移動している間は半透明の表示とし、固定した表示になると通常の表示とすることを特徴とする請求項８または９に記載の情報処理装置。
11. 請求項１乃至５のいずれか１項に記載のユーザインターフェースの制御方法の各工程をコンピュータに実行させるためのプログラム。

Images