JP5830997B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、例えばスマートフォンなどの通信装置のように、表示画面の表示と当該表示画面に対するユーザ操作とが可能なタッチパネルを備える装置の普及が進んでいる。上記のような装置の中には、表示画面に対する１または２以上のユーザ操作（以下、「マルチタッチ操作」と示す場合がある。）を検出可能な装置もある。ここで、マルチタッチ操作を可能とするマルチタッチ・ユーザインタフェースは、ユーザに対してより直感的な操作を提供する上で、重要な技術となっている。

また、タッチパネルへの入力に基づくオブジェクトの選択に係る技術も開発されている。タッチパネルへの入力に基づくオブジェクトの選択に係る技術としては、例えば、特許文献１に記載の技術が挙げられる。

特開２０１１−３４１５１号公報

しかしながら、マルチタッチ・ユーザインタフェースが採用された装置をユーザが用いたとしても、ユーザが複数の動作を平行して行うことは困難である。例えば、ユーザが、選択されたアイコン（または、アイコングループ。以下、同様とする。）を移動させることと、非選択のアイコンをコピーすることとを行う場合には、ユーザは、選択されたアイコンを移動させた後に、別のアイコン（上記非選択のアイコンに相当する。）を選択してコピーを行う必要がある。よって、マルチタッチ・ユーザインタフェースを用いたとしても、ユーザの操作性を十分に向上させることができるとは、限らない。

本開示では、ユーザの操作性の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出する第１検出部と、上記ユーザインタフェースに対するユーザ操作を検出する第２検出部と、上記第１検出部の検出結果、上記第２検出部の検出結果に基づく処理を行う処理部と、を備え、上記処理部は、上記第１検出部または上記第２検出部のいずれか一方の検出部の検出結果に基づく処理中に、他方の検出部の検出結果が検出された場合には、上記他方の検出部の検出結果に基づいて、行われている上記一方の検出部の検出結果に基づく処理の内容を選択的に変更する、情報処理装置が提供される。

また、本開示によれば、ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出するステップと、上記ユーザインタフェースに対するユーザ操作を検出するステップと、上記操作デバイスの動きの検出結果、上記ユーザ操作の検出結果に基づく処理を行うステップと、を有し、上記処理を行うステップでは、上記操作デバイスの動きの検出結果または上記ユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、上記他方の検出結果に基づいて、行われている上記一方の検出結果に基づく処理の内容を選択的に変更する、情報処理方法が提供される。

また、本開示によれば、ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出するステップ、上記ユーザインタフェースに対するユーザ操作を検出するステップ、上記操作デバイスの動きの検出結果、上記ユーザ操作の検出結果に基づく処理を行うステップ、をコンピュータに実行させ、上記処理を行うステップでは、上記操作デバイスの動きの検出結果または上記ユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、上記他方の検出結果に基づいて、行われている上記一方の検出結果に基づく処理の内容を選択的に変更する、プログラムが提供される。

本開示によれば、ユーザの操作性の向上を図ることができる。

本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理を説明するための説明図である。 本実施形態に係る情報処理装置における選択されたオブジェクトの決定方法の一例を説明するための説明図である。 本実施形態に係る情報処理装置における処理の一例を示す流れ図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理装置
３．本実施形態に係るプログラム

（本実施形態に係る情報処理方法）
本実施形態に係る情報処理装置の構成について説明する前に、本実施形態に係る情報処理方法について説明する。また、以下では、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理を行うものとして説明する。

［本実施形態に係る情報処理方法の概要］
上述したように、例えば、ユーザがマルチタッチ・ユーザインタフェースを用いて操作を行ったとしても、ユーザが、装置が実行する各処理に対応する複数の動作を並行して行うことは困難である。

そこで、本実施形態に係る情報処理装置は、ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きと、ユーザインタフェースに対するユーザ操作とをそれぞれ検出する（検出処理）。そして、本実施形態に係る情報処理装置は、操作デバイスの動きの検出結果と、ユーザ操作の検出結果とに基づいて、それぞれの検出結果に対応する処理を行う（実行処理）。

ここで、本実施形態に係る操作デバイスとしては、例えば、本実施形態に係る情報処理装置そのもの（すなわち、自装置）が挙げられる。操作デバイスが本実施形態に係る情報処理装置そのものである場合には、本実施形態に係る情報処理装置は、自装置の動きと、ユーザ操作とをそれぞれ検出することとなる。

操作デバイスが本実施形態に係る情報処理装置そのものである場合、本実施形態に係る情報処理装置は、例えば、加速度センサや、ジャイロセンサ、近接センサ、ＧＰＳ（Global Positioning System）デバイスなどの各種センサを備え、当該各種センサの検出値に基づいて、操作デバイス（すなわち、情報処理装置）の動きを検出する。上記のように操作デバイスの動きを検出することによって、本実施形態に係る情報処理装置は、例えば“操作デバイスを傾ける”、“操作デバイスを振る”などの操作デバイスに対する物理的な操作を検出することができる。また、本実施形態に係る情報処理装置は、操作デバイスに対する物理的な操作における操作量をさらに検出してもよい。また、本実施形態に係る情報処理装置は、上記のように操作デバイスの動きを検出することによって、例えば、操作デバイスが存在する位置（場所）の変化に基づく処理や、操作デバイスが存在する位置に対応する情報（例えば、当該位置における気候の情報など）に基づく処理を行うことも可能となる。

また、操作デバイスが本実施形態に係る情報処理装置そのものである場合、本実施形態に係る情報処理装置は、例えば、各ユーザインタフェースに対するユーザ操作に応じて生成されるユーザ操作に応じた信号に基づいて、ユーザインタフェースに対するユーザ操作を検出する。ここで、本実施形態に係るユーザインタフェースとしては、例えば、表示画面の表示と当該表示画面に対するユーザ操作とが可能なタッチパネルを用いたユーザインタフェースや、ボタンなどの物理操作デバイスを用いたユーザインタフェースなどが挙げられる。上記のようにユーザインタフェースに対するユーザ操作を検出することによって、本実施形態に係る情報処理装置は、例えば、“タッチパネルへのタッチ操作”や“ボタンの押下操作”などのユーザ操作を検出することができる。また、本実施形態に係る情報処理装置は、ユーザインタフェースに対するユーザ操作における操作量をさらに検出してもよい。

なお、本実施形態に係る操作デバイスは、上記に限られない。例えば、本実施形態に係る操作デバイスは、本実施形態に係る情報処理装置の外部装置（すなわち、外部操作デバイス）であってもよい。操作デバイスが外部操作デバイスである場合には、本実施形態に係る情報処理装置は、当該外部操作デバイスと無線／有線で通信を行うことによって、上記検出処理、および上記実行処理を行う。

例えば、操作デバイスが外部操作デバイスである場合には、本実施形態に係る情報処理装置は、外部操作デバイスが備える加速度センサなどの各種センサの検出値と、外部操作デバイスのユーザインタフェースに対するユーザ操作に応じた信号とを、外部操作デバイスから受信する。また、本実施形態に係る情報処理装置は、受信された検出値や信号に基づいて、操作デバイス（すなわち、外部装置）の動きと、ユーザ操作とをそれぞれ検出する（検出処理）。そして、本実施形態に係る情報処理装置は、操作デバイス（すなわち、外部装置）の動きの検出結果と、ユーザ操作の検出結果とに基づいて、それぞれの検出結果に対応する処理を行う（実行処理）。

上記のように、本実施形態に係る情報処理装置は、操作デバイスに対する物理的な操作と、ユーザインタフェースに対するユーザ操作という異なる種類の操作を検出して、検出された操作に対応する処理を行う。ここで、操作デバイスに対する物理的な操作と、ユーザインタフェースに対するユーザ操作とは、同時期に並行して行うことが可能であるので、排他的な操作ではない。よって、本実施形態に係る情報処理装置は、同時期に複数の処理を本実施形態に係る情報処理装置に実行させるために、ユーザが複数の動作を平行して行うことを可能とするので、ユーザの操作性をより向上させることができる。

また、本実施形態に情報処理装置は、操作デバイスの動きの検出結果またはユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、他方の検出結果に基づいて、行われている一方の検出結果に基づく処理の内容を選択的に変更する（実行処理）。

ここで、本実施形態に係る情報処理装置における、一方の検出結果に基づく処理の内容の変更としては、例えば、一方の検出結果に基づいて実行されている処理を中断、または停止させる処理が挙げられる。また、本実施形態に係る情報処理装置における選択的な処理の内容の変更としては、例えば、一方の検出結果に基づく処理の処理対象のオブジェクトに、他方の検出結果が関連するか否かを判定し、関連すると判定した場合に、行われている一方の検出結果に基づく処理の内容を変更することが挙げられる。本実施形態に係る情報処理装置における選択的な処理の内容の変更の具体例については、後述する。

本実施形態に係る情報処理装置は、検出された異なる種類の操作それぞれに対応する処理を行うだけでなく、一方の検出結果に基づく処理の処理中に他方の検出結果が検出された場合には、行っている一方の検出結果に基づく処理の内容を選択的に変更する。つまり、本実施形態に係る情報処理装置を用いることによって、ユーザは、異なる種類の操作を相互に組み合わせて情報処理装置における処理の実行を制御することができる。よって、本実施形態に係る情報処理装置は、ユーザの操作性をさらに向上させることができる。

したがって、本実施形態に係る情報処理装置は、例えば上記に示すような（Ｉ）検出処理と、（ＩＩ）実行処理とを行うことによって、ユーザの操作性をより向上させることができる。

［本実施形態に係る情報処理方法に係る処理の具体例］
次に、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。以下では、本実施形態に係る情報処理装置（以下、「情報処理装置１００」と示す場合がある。）が、本実施形態に係る情報処理方法に係る処理を行うものとして説明する。また、以下では、情報処理装置１００が操作デバイスそのものである場合を主に例に挙げて説明する。

また、以下では、情報処理装置１００が、操作デバイスに対する物理的な操作と、ユーザインタフェースに対するユーザ操作とに基づいて、選択されたオブジェクト（または、オブジェクトグループ。以下、同様とする。）に対する処理と、選択されていない非選択のオブジェクトに対する処理とを行う場合を例に挙げて説明する。なお、本実施形態に係る情報処理装置１００において検出結果に応じて実行する処理は、選択されたオブジェクト、非選択のオブジェクトに対する処理に限られない。例えば、情報処理装置１００は、検索処理や、コンテンツデータの再生処理など、様々な処理を検出結果に応じて実行することが可能である。

図１〜図５は、本実施形態に係る情報処理方法に係る処理を説明するための説明図である。ここで、図１〜図４は、Ａ〜Ｉの９種類のオブジェクトが表示される表示画面の一例を示している。また、図１は、ユーザ操作が行われていない状態（初期状態）を示しており、図２〜図４は、ユーザ操作が開始された後の状態の一例を示している。

また、図５は、選択されたオブジェクト（図５に示す選択グループが該当）、非選択のオブジェクト（図５に示す非選択グループが該当）それぞれと、操作デバイスに対する物理的な操作（図５に示す物理操作が該当）、ユーザインタフェースに対するユーザ操作（図５に示すＵＩ操作が該当）それぞれとの関係の一例を示している。例えば図５に示すように、情報処理装置１００は、選択されたオブジェクトと可能な操作との組合せと、非選択のオブジェクトと可能な操作との組合せとが異なるように処理を行う。以下では、選択されたオブジェクトに対してはユーザインタフェースに対するユーザ操作が可能であり、非選択のオブジェクトに対しては操作デバイスに対する物理的な操作が可能である場合を例に挙げて説明する。なお、選択されたオブジェクトに対しては操作デバイスに対する物理的な操作を可能とし、非選択のオブジェクトに対してはユーザインタフェースに対するユーザ操作を可能としてもよいことは、言うまでもない。

例えばユーザがＡ、Ｂ、Ｃ、Ｅ、Ｇ、Ｉのオブジェクトを選択したことを示すユーザ操作を検出した場合、情報処理装置１００は、非選択のオブジェクトであるＤ、Ｆ、Ｇのオブジェクトを視覚的に振動させる（図２）。

なお、情報処理装置１００における選択されたオブジェクトの決定方法は、特定のオブジェクトが選択されたことを示すユーザ操作を検出することに限られない。例えば、オブジェクトに選択の指標となる付加情報（例えばメタ情報）が付加されている場合には、情報処理装置１００は、選択を行うことを示すユーザ操作を検出したときに、各オブジェクトの付加情報に基づいて、選択されたオブジェクトを決定してもよい。

図６は、本実施形態に係る情報処理装置１００における選択されたオブジェクトの決定方法の一例を説明するための説明図である。ここで、図６は、オブジェクトが静止画像である場合を示しており、また図６では、付加情報の内容Ａ〜Ｃが視覚的に示された例を示している。図６に示すようなオブジェクトの付加情報の内容は、例えば、情報処理装置１００のユーザや、ネットワークなどによって情報処理装置１００と接続された外部装置のユーザによって更新される。

情報処理装置１００は、選択を行うことを示すユーザ操作を検出した場合には、オブジェクトに設定された付加情報を参照する。そして、情報処理装置１００は、例えば付加情報が示す“重要”（図６に示すＡ）および／または“あとで使う”（図６に示すＢ）に対応するユーザ数が所定の数以上のとき（または、ユーザ数が所定の数より大きいとき）に、当該付加情報に対応するオブジェクトを、選択されたオブジェクトであると決定する。

情報処理装置１００は、例えば、特定のオブジェクトが選択されたことを示すユーザ操作や、各オブジェクトの付加情報に基づいて、選択されたオブジェクトを決定し、図２に示すような非選択のオブジェクトを視覚的に振動させる。

図２に示す状態のときに操作デバイスの動きが検出された場合には、情報処理装置１００は、操作デバイスの動きの検出結果に基づいて非選択のオブジェクトを移動させる（実行処理の一例）。例えば、操作デバイスが左に傾いたことを検出した場合には、情報処理装置１００は、例えば、図３Ａに示すように、非選択のオブジェクトであるＤ、Ｆ、Ｇのオブジェクトを画面の左側に移動させる。また、例えば、操作デバイスが振られたことを検出した場合には、情報処理装置１００は、例えば、図３Ｂに示すように、非選択のオブジェクトであるＤ、Ｆ、Ｇのオブジェクトそれぞれが分散するように移動させる。ここで、例えば図４に示すように、情報処理装置１００は、表示画面の特定の方向（図４の例では、表示画面の向かって左側）と行われる処理とを対応付けることも可能である。図４に示す例では、移動されたオブジェクトが表示画面の左側に移動されることによって、当該オブジェクトは特定のフォルダに移動することとなる。

なお、本実施形態に係る操作デバイスの動きの検出結果に基づく非選択のオブジェクトの移動方法は、図３Ａ〜図４に示す例に限られない。例えば、情報処理装置１００は、図２に示す非選択のオブジェクトであるＤ、Ｆ、Ｇのオブジェクトを拡大することや、縮小することによって、非選択のオブジェクトの移動を実現してもよい。オブジェクトを拡大する場合には、情報処理装置１００は、例えば当該オブジェクトの表示サイズが所定のサイズ以上となった場合（または所定のサイズより大きくなった場合）に、表示画面上における当該オブジェクトの表示をやめる。また、オブジェクトを縮小する場合には、情報処理装置１００は、例えば当該オブジェクトの表示サイズが所定のサイズ以下となった場合（または所定のサイズより小さくなった場合）に、表示画面上における当該オブジェクトの表示をやめる。

また、図２に示す状態のときにユーザインタフェースに対するユーザ操作が検出された場合には、ユーザ操作の検出結果に基づいて選択されたオブジェクトを移動させる（実行処理の一例）。例えば、ユーザによるスワイプ操作が検出された場合には、検出されたスワイプ操作の操作方向に対応する方向に、選択されたオブジェクトを移動させる。

情報処理装置１００は、例えば上記のように、操作デバイスの動きの検出結果、およびユーザインタフェースに対するユーザ操作の検出結果それぞれに基づいて、選択されたオブジェクト、非選択のオブジェクトそれぞれの移動を実現する。ここで、ユーザは、操作デバイスに対する物理的な操作と、ユーザインタフェースに対するユーザ操作とを、同時期に平行して行うことが可能である。また、操作デバイスに対する物理的な操作とユーザ操作とが平行して行われた場合には、情報処理装置１００は、操作デバイスの動きの検出結果とユーザ操作の検出結果とに基づいて、選択されたオブジェクトの移動と非選択のオブジェクトの移動とを平行して行う。

したがって、情報処理装置１００は、同時期に複数の処理を情報処理装置１００に実行させるためにユーザが複数の動作を平行して行うことを可能とするので、ユーザの操作性をより向上させることができる。

また、情報処理装置１００は、上述したように、操作デバイスの動きの検出結果またはユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、他方の検出結果に基づいて、行われている一方の検出結果に基づく処理の内容を選択的に変更する。

例えば、操作デバイスの動きの検出結果に基づく非選択のオブジェクトの移動中に、ユーザインタフェースに対するユーザ操作が検出された場合には、情報処理装置１００は、検出されたユーザ操作が、非選択のオブジェクトの移動処理（操作デバイスの動きの検出結果に基づく処理の一例）に関連する操作であるか否かを判定する。そして、情報処理装置１００は、非選択のオブジェクトの移動処理に関連する操作であると判定した場合には、非選択のオブジェクトの移動を中断または停止させる。また、情報処理装置１００は、非選択のオブジェクトの移動処理に関連する操作であると判定しない場合には、検出されたユーザ操作に対応する処理を行う。

ここで、本実施形態に係る情報処理装置１００における、非選択のオブジェクトの移動処理（操作デバイスの動きの検出結果に基づく処理の一例）に関連する操作であるか否かの判定方法としては、例えば、検出されたユーザ操作が移動中の非選択のオブジェクトに対して行われたものであるか否かによって判定する方法が挙げられる。例えば、情報装置１００は、移動中の非選択のオブジェクトに対応する表示画面の領域内の座標に対するタッチ操作が検出された場合に、検出されたユーザ操作が非選択のオブジェクトに関連する操作であると判定する。なお、本実施形態に係る操作デバイスの動きの検出結果に基づく処理に関連する操作であるか否かの判定方法が、上記に限られないことは、言うまでもない。

情報処理装置１００は、例えば上記のように、操作デバイスの動きの検出結果に基づく処理中にユーザ操作が検出された場合には、ユーザ操作の検出結果に基づいて、行われている操作デバイスの動きの検出結果に基づく処理の内容を選択的に変更する。

また、例えば、ユーザインタフェースに対するユーザ操作の検出結果に基づく選択されたオブジェクトの移動中に、操作デバイスの動きが検出された場合には、情報処理装置１００は、検出された操作デバイスの動きが、非選択されたオブジェクトの移動処理（ユーザ操作の検出結果に基づく処理の一例）に関連する操作であるか否かを判定する。そして、情報処理装置１００は、選択されたオブジェクトの移動処理に関連する操作であると判定した場合には、選択されたオブジェクトの移動を中断または停止させる。また、情報処理装置１００は、選択されたオブジェクトの移動処理に関連する操作であると判定しない場合には、検出された操作デバイスの動きに対応する処理を行う。

ここで、本実施形態に係る情報処理装置１００における、選択されたオブジェクトの移動処理（ユーザインタフェースに対するユーザ操作の検出結果に基づく処理の一例）に関連する操作であるか否かの判定方法としては、例えば、検出された操作デバイスの動きが移動中の選択されたオブジェクトに対して行われたものであるか否かによって、判定する方法が挙げられる。例えば、情報装置１００は、移動中の選択されたオブジェクトの移動方向と反対方向に対応する操作デバイスの動きが検出された場合に、検出された操作デバイスの動きが選択されたオブジェクトに関連する操作であると判定する。なお、本実施形態に係るユーザ操作の検出結果に基づく処理に関連する操作であるか否かの判定方法が、上記に限られないことは、言うまでもない。

情報処理装置１００は、例えば上記のように、ユーザ操作の検出結果に基づく処理中に操作デバイスの動きが検出された場合には、操作デバイスの動きの検出結果に基づいて、行われているユーザ操作の検出結果に基づく処理の内容を選択的に変更する。

情報処理装置１００は、例えば上記のように、操作デバイスの動きの検出結果またはユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、他方の検出結果に基づいて、行われている一方の検出結果に基づく処理の内容を選択的に変更する。よって、情報処理装置１００を用いることにより、ユーザは、異なる種類の操作を相互に組み合わせて情報処理装置１００における処理の実行を制御することができる。

したがって、情報処理装置１００は、ユーザの操作性をより向上させることができる。

次に、図１〜図６を参照して示した、選択されたオブジェクトの移動、非選択のオブジェクトの移動の例に係る情報処理装置１００における処理について、より具体的に説明する。図７は、本実施形態に係る情報処理装置１００における処理の一例を示す流れ図である。図７では、操作デバイスの動きが検出されることにより検出される操作デバイスに対する物理的な操作を、単に「物理的な操作」と示し、また、ユーザインタフェースに対するユーザ操作を「ＵＩ操作」と示している。

なお、図７では、便宜上、操作デバイスに対する物理的な操作に係る処理が行われた後に、ユーザインタフェースに対するユーザ操作に係る処理を行う例を示しているが、本実施形態に係る情報処理装置１００における処理は、上記に限られない。上述したように、本実施形態に係る情報処理装置１００を用いるユーザは、操作デバイスに対する物理的な操作と、ユーザインタフェースに対するユーザ操作とを、同時期に平行して行うことが可能である。よって、情報処理装置１００は、ユーザインタフェースに対するユーザ操作に係る処理が行われた後に、操作デバイスに対する物理的な操作に係る処理を行ってもよく、また、操作デバイスに対する物理的な操作に係る処理とユーザ操作に係る処理とを平行して行ってもよい。

情報処理装置１００は、オブジェクトが選択されたか否かを判定する（Ｓ１００）。ステップＳ１００においてオブジェクトが選択されたと判定されない場合には、情報処理装置１００は、オブジェクトが選択されたと判定されるまで処理を進めない。

ステップＳ１００においてオブジェクトが選択されたと判定された場合には、情報処理装置１００は、非選択のオブジェクトを明示する（Ｓ１０２）。ここで、情報処理装置１００は、例えば図２に示すように、非選択のオブジェクトを視覚的に振動させることによって非選択のオブジェクトを明示する。なお、本実施形態に係る非選択のオブジェクトの明示方法が、図２に示すように視覚的に振動させることに限られないことは、言うまでもない。

ステップＳ１０２の処理が行われると、情報処理装置１００は、物理的な操作が検出されたか否かを判定する（Ｓ１０４）。ここで、情報処理装置１００は、例えば、操作デバイスの動きが検出された場合に物理的な操作が検出されたと判定する。ステップＳ１０４において物理的な操作が検出されたと判定されない場合には、情報処理装置１００は、後述するステップＳ１１２の処理を行う。

また、ステップＳ１０４において物理的な操作が検出されたと判定された場合には、情報処理装置１００は、検出された物理的な操作が選択されたオブジェクトに関連する操作であるか否かを判定する（Ｓ１０６）。ここで、情報装置１００は、例えば、移動中の選択されたオブジェクトが存在し、かつ、当該選択されたオブジェクトの移動方向と反対方向に対応する操作デバイスの動きが検出された場合に、選択されたオブジェクトに関連する操作であると判定する。

ステップＳ１０６において選択されたオブジェクトに関連する操作であると判定された場合には、情報処理装置１００は、選択されたオブジェクトの移動を中断または停止させる（Ｓ１０８）。

また、ステップＳ１０６において選択されたオブジェクトに関連する操作であると判定されない場合には、情報処理装置１００は、非選択のオブジェクトを移動させる（Ｓ１１０）。ここで、情報処理装置１００は、検出された操作デバイスの動きの量に基づいて移動のさせ方を変えてもよい。例えば、情報処理装置１００が操作デバイスの動きとして操作デバイスの傾きを検出する場合には、情報処理装置１００は、水平方向に対する角度（操作デバイスの動きの量の一例）に応じて、移動速度や移動量、移動の加速度などを変える。

上記のように検出された操作デバイスの動きの量に基づいて移動のさせ方を変えることによって、情報処理装置１００は、例えば、ユーザによる操作デバイスの傾かせ方に応じたオブジェクトの移動を実現することが可能となる。また、例えば上記のように検出された操作デバイスの動きの量に基づいて移動のさせ方を変えることによって、オブジェクトの慣性動作が実現されるので、情報処理装置１００は、ユーザに対してより快適な操作を提供することができる。

ステップＳ１０８の処理またはステップＳ１１０の処理が行われると、情報処理装置１００は、ＵＩ操作が検出されたか否かを判定する（Ｓ１１２）。ここで、情報処理装置１００は、例えば、ユーザインタフェースに対するユーザ操作が検出された場合にＵＩ操作が検出されたと判定する。ステップＳ１１２においてＵＩ操作が検出されたと判定されない場合には、情報処理装置１００は、後述するステップＳ１２０の処理を行う。

また、ステップＳ１１２においてＵＩ操作が検出されたと判定された場合には、情報処理装置１００は、検出されたＵＩ操作が非選択のオブジェクトに関連する操作であるか否かを判定する（Ｓ１１４）。ここで、情報装置１００は、例えば、移動中の非選択のオブジェクトが存在し、かつ、当該非選択のオブジェクトに対応する表示画面の領域内の座標に対する操作が検出された場合に、検出されたＵＩ操作が非選択のオブジェクトに関連する操作であると判定する。

ステップＳ１１４において検出されたＵＩ操作が非選択のオブジェクトに関連する操作であると判定された場合には、情報処理装置１００は、非選択のオブジェクトの移動を中断または停止させる（Ｓ１１６）。

また、ステップＳ１１４において検出されたＵＩ操作が非選択のオブジェクトに関連する操作であると判定されない場合には、情報処理装置１００は、選択されたオブジェクトを移動させる（Ｓ１１８）。

ステップＳ１１２においてＵＩ操作が検出されたと判定されない場合、または、ステップＳ１１６の処理またはステップＳ１１８の処理が行われると、情報処理装置１００は、処理を終了するか否かを判定する（Ｓ１２０）。ここで、情報処理装置１００は、例えば、実行されている処理（図７に示す例では、例えば、選択されているオブジェクトの移動、および／または、非選択のオブジェクトの移動が該当する。）が全て完了した場合や、処理を強制的に終了させるための特定のユーザ操作が検出された場合に、処理を終了すると判定する。

ステップＳ１２０において処理を終了すると判定されない場合には、情報処理装置１００は、ステップＳ１０４からの処理を繰り返す。また、ステップＳ１２０において処理を終了すると判定された場合には、情報処理装置１００は、図７に示す処理を終了する。

情報処理装置１００は、例えば図７に示す処理を行うことによって、操作デバイスの動きの検出結果、ユーザ操作の検出結果に基づいて、選択されたオブジェクトおよび／または非選択のオブジェクトを移動させる。なお、本実施形態に係る情報処理装置１００における、選択されたオブジェクトの移動、非選択のオブジェクトの移動の例に係る処理が、図７に示す処理に限られないことは、言うまでもない。

（本実施形態に係る情報処理装置）
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置１００の構成の一例について、説明する。

図８は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。
情報処理装置１００は、例えば、第１検出部１０２と、第２検出部１０４と、処理部１０６とを備える。

また、情報処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され、情報処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、第１検出部１０２（または第１検出部１０２の一部）、第２検出部１０４（または第２検出部１０４の一部）、処理部１０６の役目を果たしてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えばアプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、情報処理装置１００は、例えば、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。

表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、情報処理装置１００は、表示部（図示せず）の有無に関わらず、情報処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。

通信部（図示せず）は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

［情報処理装置１００のハードウェア構成例］
図９は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。ここで、図９は、情報処理装置１００が、操作デバイスとして機能する場合におけるハードウェア構成の一例を示している。

情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、タッチパネル１６４と、加速度センサ１６６と、ジャイロセンサ１６８と、近接センサ１７０とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１７２で各構成要素間を接続する。

ＭＰＵ１５０は、ＭＰＵや制御機能を実現するための各種回路が集積された集積回路などで構成され、情報処理装置１００全体を制御する制御部（図示せず）として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、後述する処理部１０６としての役目を果たすこともできる。

ＲＯＭ１５２は、例えばＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データを記憶し、また、ＲＡＭ１５４は、例えばＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、情報処理装置１００における記憶手段であり、記憶部（図示せず）として機能する。記録媒体１５６には、例えばアプリケーションなどが記憶される。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。なお、入出力インタフェース１５８は、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイス（例えば、外部ディスプレイなど）と接続することが可能であることは、言うまでもない。

操作入力デバイス１６０は、操作部（図示せず）として機能する。また、操作入力デバイス１６０は、第２検出部１０４として機能してもよい。操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

表示デバイス１６２は、タッチパネル１６４と共に第２検出部１０４として機能する。表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイや有機ＥＬディスプレイなどが挙げられる。

また、表示デバイス１６２上には、１または２以上の操作位置を検出可能なタッチパネル１６４が設けられる。表示デバイス１６２、およびタッチパネル１６４は、例えば第２検出部１０４として機能し、表示とユーザ操作とが可能なユーザインタフェースに対するユーザ操作を検出する。ここで、タッチパネル１６４としては、例えば静電式タッチパネルが挙げられるが、本実施形態に係るタッチパネル１６４は、上記に限られない。例えば、情報処理装置１００は、１または２以上の操作位置を検出可能な任意の方式のタッチパネルを備えることが可能である。

加速度センサ１６６、ジャイロセンサ１６８、および近接センサ１７０は、第１検出部１０６として機能し、情報処理装置１００（すなわち、操作デバイス）の動きを検出する。

情報処理装置１００は、例えば図９に示す構成によって、上述した本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。例えば、情報処理装置１００は、１または２以上のＧＰＳデバイスを第１検出部１０２として備えていてもよい。ＧＰＳデバイスを備えることによって、情報処理装置１００は、情報処理装置１００の位置を特定することができ、また、複数のＧＰＳデバイスの検出結果を組み合わせることによって方位を特定することも可能である。

また、例えば情報処理装置１００が操作デバイスとして機能しない場合、すなわち、情報処理装置１００が、外部操作デバイスから送信される各種センサの検出値や信号に基づいて、操作デバイス（すなわち、外部装置）の動きと、ユーザ操作とをそれぞれ検出する場合には、情報処理装置１００は、さらに通信インタフェース（図示せず）を備える。また、上記の場合には、情報処理装置１００は、図９に示すタッチパネル１６２や、加速度センサ１６６、ジャイロセンサ１６８、近接センサ１７０を備えていなくてもよい。

ここで、通信インタフェース（図示せず）は、ネットワークを介して（あるいは、直接的に）外部装置と無線／有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース（図示せず）としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＬＡＮ端子および送受信回路（有線通信）などが挙げられる。なお、本実施形態に係る通信インタフェース（図示せず）は、上記に限られず、例えば、ネットワークに対応する構成をとることができる。

再度図８を参照して、情報処理装置１００の構成の一例について説明する。第１検出部１０２は、上記（Ｉ）の処理（検出処理）の一部を主導的に行う役目を果たし、操作デバイスの動きを検出する。

ここで、検出対象の操作デバイスが情報処理装置１００そのものである場合には、第１検出部１０２は、例えば加速度センサ１６６や、ジャイロセンサ１６８、近接センサ１７０などの各種センサを備えることによって、操作デバイス（すなわち、情報処理装置１００）の動きを検出する。また、検出対象の操作デバイスが外部装置である場合には、第１検出部１０２は、例えば通信部（図示せず）を介して受信した、外部装置が備える各種センサの検出値に基づいて、操作デバイス（すなわち、外部装置）の動きを検出する。

第２検出部１０４は、上記（Ｉ）の処理（検出処理）の一部を主導的に行う役目を果たし、ユーザインタフェースに対するユーザ操作を検出する。

ここで、検出対象の操作デバイスが情報処理装置１００そのものである場合には、第２検出部１０４は、ボタンなどの操作デバイスに対するユーザ操作や、タッチパネル１６４に対するユーザ操作（タッチ操作）を検出する。また、検出対象の操作デバイスが外部装置である場合には、第２検出部１０４は、例えば通信部（図示せず）を介して受信した、外部操作デバイスのユーザインタフェースに対するユーザ操作に応じた信号に基づいて、外部装置におけるユーザ操作を検出する。

処理部１０６は、上記（ＩＩ）の処理（実行処理）を主導的に行う役目を果たし、第１検出部１０２の検出結果、第２検出部１０４の検出結果に基づく処理を行う。また、処理部１０６は、第１検出部１０２または第２検出部１０４のいずれか一方の検出部の検出結果に基づく処理中に、他方の検出部の検出結果が検出された場合には、他方の検出部の検出結果に基づいて、行われている一方の検出部の検出結果に基づく処理の内容を選択的に変更する。

情報処理装置１００は、例えば図９に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、（Ｉ）の処理（検出処理）、および（ＩＩ）の処理（実行処理））を行う。したがって、情報処理装置１００は、例えば図９に示す構成によって、ユーザの操作性の向上を図ることができる。

以上のように、本実施形態に係る情報処理装置１００は、本実施形態に係る情報処理方法に係る処理として、例えば、（Ｉ）の処理（検出処理）、および（ＩＩ）の処理（実行処理）を行う。情報処理装置１００は、操作デバイスに対する物理的な操作と、ユーザインタフェースに対するユーザ操作という異なる種類の操作を検出して（（Ｉ）の処理）、検出された操作に対応する処理を行う（（ＩＩ）の処理）。よって、情報処理装置１００は、ユーザが同時期に複数の処理を実行させるために複数の動作を平行して行うことを可能とするので、ユーザの操作性をより向上させることができる。

また、情報処理装置１００は、検出された異なる種類の操作それぞれに対応する処理を行うだけでなく、一方の検出結果に基づく処理の処理中に他方の検出結果が検出された場合には、行っている一方の検出結果に基づく処理の内容を選択的に変更する（（ＩＩ）の処理）。つまり、情報処理装置１００を用いることによって、ユーザは、異なる種類の操作を相互に組み合わせて情報処理装置１００における処理の実行を制御することが可能となる。したがって、情報処理装置１００は、ユーザの操作性をさらに向上させることができる。

したがって、情報処理装置１００は、ユーザの操作性をより向上させることができる。

また、情報処理装置１００は、上記のように、操作デバイスに対する物理的な操作、ユーザインタフェースに対するユーザ操作それぞれに対応する処理を行うことが可能であるので、ユーザに対して例えば下記の（Ａ）、（Ｂ）に示す効果を提供することができる。

（Ａ）操作スピードの向上
例えばスマートフォンなどのような、ユーザが片手で操作することが可能な機器では、操作デバイスに対する物理的な操作、または、ユーザインタフェースに対するユーザ操作のいずれか一方を行うケースがある。情報処理装置１００が、例えばスマートフォンなどのようなユーザが片手で操作することが可能な機器に適用される場合には、操作デバイスに対する物理的な操作、およびユーザインタフェースに対するユーザ操作の双方を平行して行うことが可能となる。したがって、情報処理装置１００が、例えばスマートフォンなどのようなユーザが片手で操作することが可能な機器に適用される場合には、操作スピードの向上を図ることができる。

（Ｂ）より直感的な操作体系の提供
例えば選択したオブジェクト以外はそれほど重要でない場合があり、選択したオブジェクト以外は大雑把に扱いたいという要求が存在する。例えば、大事な写真（オブジェクトの一例）だけを集めて、残りの写真を捨てる、あるいはあとで見る、というケースには、上記要求は強い。情報処理装置１００を用いることによって、操作デバイスに対する物理的な操作、およびユーザインタフェースに対するユーザ操作の双方を平行して行うことが可能となる。よって、情報処理装置１００は、大切な操作を行う画面上の操作（ユーザインタフェースに対するユーザ操作の一例）と、粗雑に扱うような操作デバイスに対する物理的な操作とを組み合わせた直感的な操作体系を、ユーザに提供することができる。

以上、本実施形態として情報処理装置１００を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）などのコンピュータなど、様々な機器に適用することができる。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、（Ｉ）の処理（検出処理）、（ＩＩ）の処理（実行処理）など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）によって、ユーザの操作性の向上を図ることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出する第１検出部と、
前記ユーザインタフェースに対するユーザ操作を検出する第２検出部と、
前記第１検出部の検出結果、前記第２検出部の検出結果に基づく処理を行う処理部と、
を備え、
前記処理部は、前記第１検出部または前記第２検出部のいずれか一方の検出部の検出結果に基づく処理中に、他方の検出部の検出結果が検出された場合には、前記他方の検出部の検出結果に基づいて、行われている前記一方の検出部の検出結果に基づく処理の内容を選択的に変更する、情報処理装置。
（２）
前記処理部は、
前記他方の検出部の検出結果が、前記一方の検出部の検出結果に基づく処理の処理対象のオブジェクトに関連するかを判定し、
関連すると判定した場合に、行われている前記一方の検出部の検出結果に基づく処理の内容を変更する、（１）に記載の情報処理装置。
（３）
前記処理部は、前記第１検出部または前記第２検出部のいずれか一方の検出部の検出結果に基づく処理中に、他方の検出部の検出結果が伝達された場合には、前記一方の検出部の検出結果に基づく処理を、選択的に中断または停止させる、（１）または（２）に記載の情報処理装置。
（４）
前記操作デバイスは、自装置である、（１）〜（３）のいずれか１つに記載の情報処理装置。
（５）
前記操作デバイスは、外部装置である、（１）〜（３）のいずれか１つに記載の情報処理装置。
（６）
ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出するステップと、
前記ユーザインタフェースに対するユーザ操作を検出するステップと、
前記操作デバイスの動きの検出結果、前記ユーザ操作の検出結果に基づく処理を行うステップと、
を有し、
前記処理を行うステップでは、前記操作デバイスの動きの検出結果または前記ユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、前記他方の検出結果に基づいて、行われている前記一方の検出結果に基づく処理の内容を選択的に変更する、情報処理方法。
（７）
ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出するステップ、
前記ユーザインタフェースに対するユーザ操作を検出するステップ、
前記操作デバイスの動きの検出結果、前記ユーザ操作の検出結果に基づく処理を行うステップ、
をコンピュータに実行させ、
前記処理を行うステップでは、前記操作デバイスの動きの検出結果または前記ユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、前記他方の検出結果に基づいて、行われている前記一方の検出結果に基づく処理の内容を選択的に変更する、プログラム。

１００ 情報処理装置
１０２ 第１検出部
１０４ 第２検出部
１０６ 処理部

Claims (6)

1. ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出する第１検出部と、
   前記ユーザインタフェースに対するユーザ操作を検出する第２検出部と、
   前記第１検出部の検出結果、前記第２検出部の検出結果に基づく処理を行う処理部と、
   を備え、
   前記処理部は、前記第１検出部または前記第２検出部のいずれか一方の検出部の検出結果に基づく処理中に、他方の検出部の検出結果が検出された場合には、前記他方の検出部の検出結果に基づいて、行われている前記一方の検出部の検出結果に基づく処理の内容を選択的に変更し、
   前記処理部は、
   前記他方の検出部の検出結果が、前記一方の検出部の検出結果に基づく処理の処理対象のオブジェクトに関連するかを判定し、
   関連すると判定した場合に、行われている前記一方の検出部の検出結果に基づく処理の内容を変更し、
   関連すると判定しない場合には、行われている前記一方の検出部の検出結果に基づく処理と平行して、前記他方の検出部の検出結果に対応する処理を行う、情報処理装置。
2. 前記処理部は、前記第１検出部または前記第２検出部のいずれか一方の検出部の検出結果に基づく処理中に他方の検出部の検出結果が伝達されたときに、関連すると判定した場合には、前記一方の検出部の検出結果に基づく処理を、中断または停止させる、請求項１に記載の情報処理装置。
3. 前記操作デバイスは、自装置である、請求項１、または２に記載の情報処理装置。
4. 前記操作デバイスは、外部装置である、請求項１、または２に記載の情報処理装置。
5. ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出するステップと、
   前記ユーザインタフェースに対するユーザ操作を検出するステップと、
   前記操作デバイスの動きの検出結果、前記ユーザ操作の検出結果に基づく処理を行うステップと、
   を有し、
   前記処理を行うステップでは、前記操作デバイスの動きの検出結果または前記ユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、前記他方の検出結果に基づいて、行われている前記一方の検出結果に基づく処理の内容が選択的に変更され、
   前記処理を行うステップでは、
   前記他方の検出結果が、前記一方の検出結果に基づく処理の処理対象のオブジェクトに関連するかが判定され、
   関連すると判定された場合に、行われている前記一方の検出結果に基づく処理の内容が変更され、
   関連すると判定されない場合には、行われている前記一方の検出結果に基づく処理と平行して、前記他方の検出結果に対応する処理が行われる、情報処理方法。
6. ユーザが操作を行うことが可能なユーザインタフェースを有する操作デバイスの動きを検出するステップ、
   前記ユーザインタフェースに対するユーザ操作を検出するステップ、
   前記操作デバイスの動きの検出結果、前記ユーザ操作の検出結果に基づく処理を行うステップ、
   をコンピュータに実行させ、
   前記処理を行うステップでは、前記操作デバイスの動きの検出結果または前記ユーザ操作の検出結果のいずれか一方の検出結果に基づく処理中に、他方の検出結果が検出された場合には、前記他方の検出結果に基づいて、行われている前記一方の検出結果に基づく処理の内容が選択的に変更され、
   前記処理を行うステップでは、
   前記他方の検出結果が、前記一方の検出結果に基づく処理の処理対象のオブジェクトに関連するかが判定され、
   関連すると判定された場合に、行われている前記一方の検出結果に基づく処理の内容が変更され、
   関連すると判定されない場合には、行われている前記一方の検出結果に基づく処理と平行して、前記他方の検出結果に対応する処理が行われる、プログラム。
   

Images