【０００１】
【発明の属する技術分野】
本発明は、情報端末等における情報処理装置に関し、特に携帯情報端末における表示画面上の操作や所定の機器に対する遠隔操作に関するものである。
【０００２】
【従来の技術】
従来の携帯情報端末においては、携帯性の向上により小型化が進むに連れて表示画面についても小型化され、表示量も限られたものになっている。一方で、文字や画像、音声等様々な情報が取り扱われ、情報量は増大化する傾向にある。このように、限られたデバイスで多くの情報を取り扱うことの必要性から、表示制御に関しては、キーやタッチパネルからの入力により行う方法の他、特開平９−３４６２０号公報で開示されているダイヤル式の入力装置ジョグダイヤル技術等が採用されている。
【０００３】
上記以外の入力を用いた表示制御の一例として、表示画面の傾斜情報を用いるものがあり、傾斜情報に基づいて表示画面のスクロールを行うことができる従来技術の例が特開平７−６４７５４号公報、特開平７−２７１５０５号公報、特開２００１−１３６２５９号公報として開示されており、同様に傾斜情報に基づいてページめくりを行う従来技術の例が特開平１０−１６１６１９号公報、特開２０００−３１１１７４号公報、特開２０００−１８１４２８号公報として開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来例では以下のような問題があった。
【０００５】
・キー入力で表示制御を行う場合、キーの配置によっては装置を保持していない手で操作を行う必要があり、操作性に問題がある。
【０００６】
・タッチパネルで表示制御の操作を行う場合、画面上で細かい操作が必要になる。又、この場合、装置を保持していない手で操作を行う必要があり、操作性に問題がある。
【０００７】
・ジョグダイヤル技術ではダイヤルの回転方向と人間の感覚とが異なる場合があり、操作は回転方向に限定される傾向がある。
【０００８】
・傾斜情報に基づいて表示画面のスクロール操作やページめくり操作を行う従来技術の関しては、特定のアプリケーションに特化した技術の例である。
【０００９】
従って、本発明の第１の目的は、従来のようにタッチパネルでの操作やキーでの操作ができるとともに、利用者が片手で容易に操作ができる情報処理装置を提供することにある。
【００１０】
又、本発明の第２の目的は、利用者が自然な動作で端末の操作を行うことにより直感的に状況を把握でき、より分かり易いインタフェースを実現することができる情報処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明によれば、表示手段を有する情報処理装置において、該表示手段の所定面の傾斜の有無と所定面の傾斜の方向を検出する傾斜検出手段と、利用者の意思を判別する判別手段と、該傾斜検出手段で検出した所定面の傾斜情報と該判別手段で判別した利用者の意思に基づいてアイコンの選択制御を行う選択制御手段とを有することを特徴とする。
【００１２】
同じ課題を解決するために、本発明によれば、情報処理装置において、該情報処理装置の所定面の傾斜の有無と所定面の傾斜の方向を検出する傾斜検出手段と、利用者の意思を判別する判別手段と、該傾斜検出手段で検出した所定面の傾斜情報と該判別手段で判別した利用者の意思に基づいて指定情報を発生させる情報発生手段と、前記情報発生手段によって発生された情報を所定機器に対する入力情報として送信する送信手段とを有することを特徴とする。
【００１３】
同じ課題を解決するために、本発明によれば、表示手段を有する情報処理装置において、該情報機器の所定面の傾斜の有無と所定面の傾斜の方向を検出する傾斜検出手段と、利用者の意思を判別する判別手段と、該傾斜検出手段で検出した所定面の傾斜情報と該判別手段で判別した利用者の意思に基づいて指定情報を発生させる情報発生手段と、前記情報発生手段によって発生された情報を所定機器に対する入力情報として送信する送信手段とを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１５】
＜実施の形態１＞
図１は本発明の実施の形態１に係る情報処理装置の構成をブロック図で示したものである。
【００１６】
図１に示す実施の形態は情報処理装置の表示制御に適用されるものであり、同図において、１０１はボタンやキー、タッチパネル、マイク等の入力部であり、利用者の意思を割り付けることができる押しボタンスイッチ等の判別部１０１Ａを含む。
【００１７】
又、１０２は各種設定値を記憶する記憶装置、１０３は表示面の傾斜角を検出する傾斜検出部、１０４はアプリケーションの実行等を行う処理部、１０５は入力部１０１から入力された信号及び傾斜検出部１０３によって検出された傾斜検出信号により記憶装置１０２に記憶された設定値に基づいて制御を行う制御部、１０６はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成され、後述の表示記憶部１０７に記憶されたデータや交信中の通信情報等を表示する表示部、１０７は選択中のアイコン等現在表示しているデータを記憶する表示記憶部、１０８はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の信号線、或は赤外線やＢｌｕｅｔｏｏｔｈ 等の無線で通信を行う通信部である。
【００１８】
ここで、上記傾斜検出部１０３は表示面の傾斜角度を測定する周知の各種センサである。特開２０００−２０１９９号公報で開示されているように、例えば、加速度センサを用いて加速度から傾斜を検出する方法、傾斜角センサを用いて傾斜角を測定する方法、端末筐体内部で自由に運動可能な金属球等の小さな物体が与える衝撃の大きさで傾斜角を検出する方法等がある。左右の傾斜を検出するセンサと上下の傾斜を検出するセンサとを設ける等、センサは複数個又は複数の種類のセンサを用いても構わない。方向については、縦横方向だけでなく、斜め方向に関しても可能である。又、上記の記憶装置１０２は半導体素子を利用して電気的に記録を行う主記憶装置（メインメモリ）に限らず、 ハードディスクやフロッピーディスク、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ ）、コンパクトフラッシュカード等の外部記憶装置（補助記憶装置）であっても良い。
【００１９】
図２は本発明に係る情報処理装置の構成図である。
【００２０】
装置には傾斜検出部として傾斜センサ（２０２）を設け、入力部にはタッチパネルや通常の操作ボタンの他、１つ又は複数の判別ボタン（２０１，２０３）を設ける。
【００２１】
図３のように全体領域を３０５、実際の表示領域を３０４としたとき、これらの領域に対して図４に示すデータテーブル４０４を作成し、それぞれの領域が保持しているエリア数とアイコン数、Ｘ方向に領域が存在するか、Ｙ方向に領域が存在するか、左上の頂点座標（Ｄｘ ，Ｄｙ ）、幅の最大値Ｄｗ 、高さの最大値Ｄｈ 、形状等のデータを保持する。ここで、Ｘ方向に領域が存在するかどうかについては４０１の条件を満たすかどうかで判断することができ、Ｙ方向については４０３の条件を満たすかどうかで判断することができる。
【００２２】
同様にアイコン１（３０１）、アイコン２（３０２）、アイコン３（３０３）について図５に示すデータテーブル５０３を作成し、表示領域内の端であるか、選択しているか、左上の頂点座標（Ｉｘ ，Ｉｙ ）、幅の最大値Ｉｗ 、高さの最大値Ｉｈ 、形状、色、対応するアプリケーション、そのアイコンが存在するエリア等のデータを保持する。ここで、表示領域内の端であるかどうかについては５０１に示す条件を全て満たすかどうかで判断することができる。
【００２３】
又、エリア１１〜エリア２３についても同様に図６に示すデータテーブル６０３を作成し、表示領域内であるか、選択しているか、エリア内にアイコンがあるかどうか、左上の頂点座標（Ａｘ ， Ａｙ ）、幅の最大値Ａｗ 、高さの最大値Ａｈ 、形状、色等のデータを保持する。ここで、表示領域内かどうかについては６０１に示す条件をすべて満たすかどうかで判断することができ、エリア内にアイコンがあるかどうかについては６０２に示す条件をすべて満たすかどうかで判断することができる。
【００２４】
図２の傾斜センサ２０２の傾斜検出結果については、例えばセンサ１でＸ方向の傾斜を検出、センサ２でＹ方向の傾斜を検出するように構成した場合、それぞれのセンサの傾斜検出結果（図７）を、図８のようにＸ，Ｙそれぞれの方向のデータとして保持する。
【００２５】
又、上記判別ボタンに関しては、利用者が意思を割り付けることができる。例えば、図９のように、それぞれの判別ボタンに関して用いる傾斜角（ｇｘ ，ｇｙ ）を設定する。判別ボタン１を押している間は左右の傾斜のみ検知、判別ボタン２を押している間は上下の傾斜のみ検知、両ボタンを押している間は全方向検知とする割り付け（図９ａ）の他、判別ボタン１（２０１）も判別ボタン２（２０３）も同一の機能（例えば全方向検知）に割り付け（図９ｃ）、右手で機器を保持している場合、左手で保持している場合、それぞれ押し易い方のボタンを押す等の例が挙げられる。角度の変化は利用者が判別ボタンを押した時点の状態を起点とし、逐次相対的な角度の変化量を用いる。選択中のアイコンは色を変える、輝度を変える、大きさを変える、枠を付ける等の方法で表示を変えることで利用者は選択しているアイコンを容易に把握することができる。
【００２６】
図１０に示すように、傾斜角度とその持続時間に応じたアイコン、アイコンエリア、表示領域等の座標の移動量（ｄｘ ，ｄｙ ）は利用者が自由に設定することができる。例えば、図３においてアイコン１（３０１）からアイコン２（３０２）に選択を移す場合、Ｘ方向に５度の傾斜を１秒以上持続すれば移動又は５度の傾斜を２秒以上持続すれば移動等を設定する。
【００２７】
又、判別ボタンを離した時点で選択しているアイコンに対する処理を図１１のように設定することができる。例えば、判別ボタンの速２度押しによりアプリケーションを実行する（図１１Ａ）、又は判別ボタンを離した時点でアプリケーションを実行する（図１１Ｂ）、又は処理は何もしない（この場合選択だけとなる（図１１Ｃ）といった設定を行い、何れかを選択する。上記の例として、サムネイル画像表示において、サムネイルアイコンを選択してボタンの速２度押しにより拡大表示する、又はサムネイルアイコンを選択してボタンを離した時点で拡大表示する、又はサムネイルアイコンを選択する等の設定を行う。
【００２８】
図１２は傾斜情報を用いたアイコンの選択制御処理の手順を示すフローチャートであり、同図において、傾斜情報を用いた表示制御処理はステップ１２０２で判別ボタンの押下の入力待ちをする。判別ボタンが押されると図９によりその判別ボタンに割り付けられた傾斜方向を判断し、ボタンが押された時点での傾斜を起点とするようにリセットを行う（ステップ１２０３）。傾斜角（図９）が一定角度（設定値：図１０）以上の傾斜となった場合（ステップ１２０４）、その傾斜が一定時間（設定値：図１０）以上続いたかを判断し（ステップ１２０５）、続いていれば傾斜ありと検知する。傾斜ありと判断した場合は続いて、表示領域の移動に関する処理及びアイコンの選択に関する処理に移る。
【００２９】
ここで、上記ステップ１２０５において傾斜角（図９）が一定時間（設定値：図１０）以上続いたかを判断する手順についてのフローチャートを図１３に示す。先ず、カウンタを０にリセットし（ステップ１３０１）、傾斜角（図９）が設定値（図１０）以上であればカウンタに１を足し（ステップ１３０３）、傾斜角（図９）が設定値（図１０）よりも小さければステップ１２０２へ戻る（ステップ１３０２）。カウンタの値が設定時間（図１０）以上であれば傾斜が一定時間（設定値：図１０）以上続いたと判断し表示領域の移動に関する処理（ステップ１２０６）とアイコンの選択に関する処理（ステップ１２０９）に移り、カウンタの値が設定時間より小さければステップ１３０２へ戻る（ステップ１３０４）。
【００３０】
表示領域の移動に関する処理では、現在選択中のアイコンが実際の表示領域の端かどうかをデータテーブル５０３から判断し（ステップ１２０６）、傾斜方向に表示領域が存在する場合は（データテーブル４０４より判断、ステップ１２０７）表示領域を移動量（図１０）に従って傾斜の方向へと移動する（ステップ１２０８）。アイコンの選択に関する処理では、先ずデータテーブル６０３より現在選択中のアイコンを基準として傾斜方向にアイコンが存在するかを判断する（ステップ１２０９）。このとき、傾斜方向に存在するか否かが問題であり、傾斜方向のすぐ隣りである必要はない。アイコンが存在すれば選択を移動量（図１０）に従って移動する（ステップ１２１０）。その時点で判別ボタンが離されていれば（ステップ１２１１）、現在選択されているアイコンの選択を決定し（ステップ１２１２）、利用者が前もって設定した処理の設定（図１１）を参照し、実行する（ステップ１２１３）。
【００３１】
上記ステップ１２１３を実行する手順についてのフローチャートを図１４に示す。
【００３２】
処理の設定（図１１）を参照し（ステップ１４０１）、処理Ａ（ボタンが速２度押しされればアプリケーションを実行する）が選択されている場合、ボタンが速２度押しされるのを待ち（ステップ１４０２）、速２度押しされれば対応するアプリケーション（図５：データテーブル５０３）を実行し（ステップ１４０３）、ステップ１２０２へ戻る。処ＢＢ （選択後すぐにアプリケーションを実行する）が選択されている場合は対応するアプリケーション（図５：データテーブル５０３）を実行し（ステップ１４０３）、ステップ１２０２へ戻る。処理Ｃ（選択のみで処理はしない）が選択されている場合は、ステップ１２０２へ戻る。
【００３３】
上記のように処理を行うことで、例えば図１５において利用者が判別ボタンを押しながら端末を右に傾けることにより選択をアイコン１（１５０１）からアイコン２（１５０４）に移す。アイコンの選択を移すのは、傾斜方向にアイコンが存在する場合のみである。又、表示したい領域が実際の表示領域を超えた場合、利用者が判別ボタンを押したまま端末を傾けることにより、表示領域を切り替え、その傾斜方向の画面上には表示していなかった部分を見えるようにする（表示領域の移動）。例えば、図１６において利用者が現在表示されている画面よりもっと下部が見たい場合（１６０１）、ボタンを押したまま端末下部を下方へ傾けることにより下部を表示する（１６０３）。表示領域を切り替えるのは傾斜方向に表示画面が存在する場合のみである。
【００３４】
表示しようとする画面が表示領域より大きい場合、その旨と、どの方向に画面或はアイコンが存在するのかを利用者が容易に判別できるように、ウィンドウにはスクロールバーを表示する。或は、表示画面が小さいのでスクロールバーの表示は適さないスクロールバーでは縦又は横しか表現することができないということを考慮して、画面やアイコンが存在する方向にはウィンドウの背景色にグラデーションを付けてアイコンが存在する方向に向かって背景色を濃く表示する、又は画面やアイコンが表示する方向に矢印を表示する等の手段も考えられる。又、矢印等を付加して表示する際には表示の妨げにならないように、透明度をつけて表示部も見えるように表示する等の手段が考えられる。
【００３５】
更に、上記表示は普段は行わず、判別ボタンが押され傾斜情報を用いている間に限り一時的に表示することで表示画面を有効に使うことができる。又、上記の表示は音の出力でも良い。
【００３６】
以上のように、表示面の傾斜情報に基づいてアイコンの選択制御を行うことで、利用者は片手で端末を保持しながら容易に操作を行うことができる。又、傾けるという自然な動作で端末の操作を行うことにより、利用者にとって分かり易いインタフェースを実現する。
【００３７】
＜実施の形態２＞
続いて、本発明に係る情報処理装置の実施の形態２について説明する。
【００３８】
前記実施の形態１では、アイコンを１つずつ選択したが、複数の選択エリアを表示し、複数のアイコンを同時に選択することも可能である。即ち、上記傾斜情報に応じて複数の選択エリアを移動させる。具体的には、データテーブル６０３において選択するエリアを複数にする。但し、選択エリア内であっても表示領域にないアイコンは選択しない。又、選択エリアを移動するのは、傾斜方向に移動した場合の選択エリアに少なくとも１つアイコンが存在する場合だけである。動作例としては、図１７において利用者が判別ボタンを押しながら端末下部を下方へ傾けることにより選択エリア（１７０１）を下（１７０４）に移動させる。選択エリア１７０１ではアイコン１（１７０２）だけを選択していたが、選択エリア１７０４に選択を移すことによりアイコン１（１７０２）とアイコン２（１７０３）の両方を選択する。
【００３９】
上記選択エリアの表示面における形状と大きさはデータテーブル６０３において選択するエリアとその数によって決まるのでアプリケーション毎に設定することができ、利用者が設定しても良い。例えば、音楽プレーヤーにおいて、曲を示す曲アイコンが表示されているとすると、選択エリアで複数の曲アイコンを選択することによりそのエリア内の曲を順に再生する。但し、再生順に関してはデータテーブル５０３に順序に関するデータを追加することで任意の順序が可能であり、又、選択エリア内の曲を同時に再生することも可能である。
【００４０】
＜実施の形態３＞
続いて、本発明に係る情報処理装置の実施の形態３について説明する。
【００４１】
前記実施の形態１及び２では、アイコンの位置は固定のまま傾斜情報に応じて選択エリアの位置を変化させる。それに対し、本実施の形態では、選択エリアは固定のまま上記傾斜情報に応じてアイコンの位置を移動させ、そのアイコンが選択エリアに入っている場合に選択を行う。選択エリアに入れることができるアイコンは１つだけでなく複数でも可能である。
【００４２】
図１８はその処理手順を示すフローチャートであり、同図において、傾斜情報を用いた表示制御処理はステップ１８０２で判別ボタンの押下の入力待ちをする。判別ボタンが押されると図９によりその判別ボタンに割り付けられた傾斜方向を判断し、ボタンが押された時点での傾斜を起点とするようにリセットを行う（ステップ１８０３）。傾斜角（図９）が一定角度（設定値：図１０）以上の傾斜となった場合（ステップ１８０４）、その傾斜が一定時間（設定値：図１０）以上続いたかを判断し（ステップ１８０５）、続いていれば傾斜ありと検知する。
【００４３】
ここで、上記ステップ１８０５において傾斜（図９）が一定時間（設定値：図１０）以上続いたかを判断する手順についてはステップ１２０５と同様に図１３に示す通りである。傾斜ありと判断した場合は続いて、アイコンの移動を行う（ステップ１８０６）。具体的には、傾斜情報に従ってデータテーブル５０３のＩｘ 、Ｉｙ の値を移動量（図１０）に従って変える。選択エリア内にアイコンが存在し（データテーブル６０３より判断し（ステップ１８０７）、その時点で判別ボタンが離されていれば（ステップ１８０８）、現在選択されているアイコンの選択を決定し（データテーブル５０３，６０３より判断、ステップ１８０９）、利用者が前もって設定した処理（図１１）を行う（ステップ１８１０）。上記の処理に関しては、ステップ１２１３と同様に図１４に示す通りである。
【００４４】
以上のように処理を行うことで、例えば図１９においてアイコン１９０１は選択エリアに入っていないが、利用者が判別ボタンを押しながら端末下部を下へ傾けることによりアイコン１９０１をアイコン１９０４のように選択エリア１９０３内に移動させ、その時点で判別ボタンが離されていれば、利用者が前もって設定した処理を行う。
【００４５】
上記選択エリアの表示面における位置と形状と大きさはアプリケーション毎に設定することができ、利用者が設定しても良い。例えば、音楽プレーヤーで曲を示す曲アイコンが表示されているとすると、複数の曲アイコンをその選択エリアに入れることにより、そのエリア内の曲を順に再生する。但し、再生順に関してはデータテーブル５０３に順序に関するデータを追加することで任意の順序が可能であり、又、選択エリア内の曲を同時に再生することも可能である。又、その他に、表示画面上に画像のサムネイルアイコンを表示し、右半分の領域が選択エリアに設定されている場合、利用者が判別ボタンを押しながら端末を右に傾けて全てのアイコンを選択エリアである右半分の領域に入れた状態で、判別ボタンが離されれば全ての画像をスライドショーのように実行する等の動作例が挙げられる。
【００４６】
＜実施の形態４＞
続いて、本発明に係る情報処理装置の実施の形態４について説明する。
【００４７】
前記実施の形態１では、判別手段（図１：１０１Ａ）の例として判別ボタンを挙げたが、上記判別手段１０１Ａに特開平５−１４１６４号公報で開示されているような公知のタッチセンサを用いることも可能である。利用者の行為を、ボタンを「押す」という行為ではなくタッチセンサに「触れる」という行為にすることで、利用者の疲労を軽減することができる。
【００４８】
＜実施の形態５＞
続いて、本発明に係る情報処理装置の実施の形態５について説明する。
【００４９】
図１における判別手段１０１Ａの例として実施の形態１では判別ボタンを、実施の形態４ではタッチセンサを挙げたが、上記判別手段１０１Ａに音声認識技術を用いることも可能である。例えば、図２０に示すように、入力部１０１にマイク等の音声入力部２００１と、判別手段１０１Ａに入力された音声のアナログ信号をデジタル信号に変換する公知のＡ／Ｄ変換器２００２と入力された音声を認識する音声認識部２００３、音声を解析する音声処理部２００４を設ける。
【００５０】
音声認識部２００３と音声処理部２００４については、特開平７−２１９５９１号公報で開示されているような音声処理装置等、公知の方法を用いる。マイクより入力される音声が「Ｏｎ」と「Ｏｆｆ」の何れかの場合、その処理結果２００５を、ＵＳＢ等の信号線、或は赤外線やＢｌｕｅｔｏｏｔｈ 等の無線により入力動作状態を入力装置本体へ送信する。例えば、音声で「Ｏｎ」と入力し、「Ｏｆｆ」というまでの間傾斜情報を用いる。ここで、「Ｏｎ」「Ｏｆｆ」はそれを表す他の言葉でも、意思を表す言葉そのものでも構わない。
【００５１】
＜実施の形態６＞
続いて、本発明に係る情報処理装置の実施の形態６について説明する。
【００５２】
画面への表示を２次元ではなく３次元グラフィックス（立体表現を含む）で行う場合、傾斜検出手段（図１：１０３）にて検出した傾斜角を３次元グラフィックスの回転角に用いても良い。例えば、図２１のように表示対象となる立体に存在する全てのアイコンに関して、アイコンが存在するポリゴン、選択しているか、色、各アイコンに対する角度をデータとして保持する。又、各アイコンに対する角度に関しては、既知の立体の形状データ（図２２）より算出し、これを設定角とする。
【００５３】
傾斜検出手段（図１：１０３）にて検出した傾斜角（図９）が設定角（図２１）以上になり、その傾斜が一定時間（図１０）以上続いた場合にアイコンの選択の移動及び（図２１）視点位置座標（図２３）の移動を行う。立体の回転角（視点位置）一定で選択ポリゴンを移動する実装（図２４）の処理手順については、アイコンの座標一定で選択エリアの座標を移動する実施の形態１と同様であり、選択ポリゴン一定で立体を回転させる（視点位置を移動する）実装（図２５）の処理手順については、選択エリア一定でアイコンの座標を移動する実施の形態３と同様である。
【００５４】
このように画面への表示を３次元グラフィックスで行うと、小さく限られた表示領域においてもより多くの情報を表現することができ、更に、その情報の選択制御に傾斜情報を用いることで操作性が大きく向上する。又、上記３次元グラフィックスが複雑な形状をしている場合でも、傾斜情報を用いることで利用者にとって自然なインタフェースを実現する。
【００５５】
＜実施の形態７＞
続いて、本発明に係る情報処理装置の実施の形態７について説明する。
【００５６】
図２６は１つ又は複数の機器とＵＳＢ等の信号線或は赤外線やＢｌｕｅｔｏｏｔｈ 等の無線の通信手段を有し、上記所定の機器に対して遠隔操作を行うリモコンである。上記所定の機器は、携帯性を持つ必要はなく、映像や音等の各種メディアを扱う機器、或は装置や家電等、何らかの情報を扱う機器を指す。
【００５７】
上記リモコンに１つ又は複数の判別ボタン（２６０１，２６０３）と傾斜センサ２６０２とを設け、傾斜情報に基づいて情報の選択制御を行う。尚、上記リモコンが図２７のように表示面２７０４を有する場合は情報に合わせて表示を行い、上記機器が表示手段を有する場合も同様に表示を行う。上記表示については音であっても構わない。
【００５８】
実施の形態１では、領域上のアイコンに対して選択操作を行うが、ここでは図３のように領域上に情報があると想定してその領域上の情報に対して選択操作を行うと考える。このようにすると実施の形態１と同様に考えることができ、それぞれのデータテーブルについては図４〜図６を考えれば良い。
【００５９】
図２８はその処理手順を示すフローチャートであり、同図において、傾斜情報を用いた表示制御処理はステップ２８０２で判別ボタンの押下の入力待ちをする。判別ボタンが押されると図９によりその判別ボタンに割り付けられた傾斜方向を判断し、ボタンが押された時点での傾斜を起点とするようにリセットを行う（ステップ２８０３）。傾斜角（図９）が一定角度（設定値：図１０）以上の傾斜となった場合（ステップ２８０４）、その傾斜（図９）が一定時間（設定値：図１０）以上続いたかを判断し（ステップ２８０５）、続いていれば傾斜ありと検知する。
【００６０】
ここで、上記ステップ２８０５において傾斜が一定時間（設定値：図１０）以上続いたかを判断する手順についてはステップ１２０５と同様に図１３に示す通りである。傾斜ありと判断した場合は、データテーブル６０３により傾斜方向に情報が存在するかを判断し（ステップ２８０６）、存在すれば移動量（図１０）に従って情報の選択を行い（ステップ２８０７）、その情報を所定の機器へ送信する（ステップ２８０８）。その時点で判別ボタンが離されていれば（ステップ２８０９）、現在選択されている情報の選択を決定し（ステップ２８１０）、選択決定を所定の機器へ送信する（ステップ２８１１）。判別ボタンが押されている場合は（ステップ２８０９）、選択未定を所定の機器へ送信する（ステップ２８１２）。
【００６１】
続いて図２９は、本実施の形態において、所定の機器がリモコンから受信する信号を処理する手順を示すフローチャートであり、同図において、所定の機器はステップ２９０２にてリモコンから選択された情報を受信するのを待つ。情報が受信された際には、所定の機器が表示手段を有する場合には選択されている情報を表示しても良い。次に、その情報の選択が決定かどうかを受信するまで待ち（ステップ２９０３）、選択決定ならば（ステップ２９０４）その情報に基づいて実行する（ステップ２９０５）。
【００６２】
動作例としては、上記リモコンが音楽プレーヤーに対して遠隔操作を行う場合、図３０のデータ領域３００２のように左右方向に曲を示す情報アイコンを想定し、左右の傾斜に応じて音楽プレーヤーが再生する曲を選択制御する。現在曲２を再生している場合（３００１）、利用者が判別ボタンを押しながらリモコンを右へ傾けることにより選択を曲２ から曲３ へと移し、曲３ を再生する命令をプレーヤーに送信する。
【００６３】
その他の動作例としては、上記リモコンが冷暖房装置に対して遠隔操作を行う場合、図３１のデータ領域３１０２のように上下方向に温度を示す情報アイコンを想定し、上下の傾斜に応じて冷暖房装置の設定温度を選択制御する。現在の設定温度が１７℃の場合（３１０１）、利用者が判別ボタンを押しながらリモコン下部を下へ傾けることにより選択を１６℃に移し、設定温度を１６℃にする命令を冷暖房装置に送信する。その命令をを受信した冷暖房装置は、設定温度を１６℃に設定し、表示手段を有する場合は表示画面３１０３にその情報を表示する。上記の情報表示は音であっても良い。
【００６４】
【発明の効果】
以上説明したように、本発明の情報処理装置では、人間が日常で行う自然な動作で端末を操作することができるため、より直感的に状況を把握し、片手で端末を保持しながら容易に操作を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る情報処理装置の構成を示す構成図である。
【図３】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図４】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図５】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図６】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図７】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図８】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図９】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図１０】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図１１】本発明の実施の形態１に係る情報処理装置の動作を示す図である。
【図１２】本発明の実施の形態１に係る情報処理装置の動作を示すフローチャートである。
【図１３】本発明の実施の形態１に係る情報処理装置の動作を示すフローチャートである。
【図１４】本発明の実施の形態１に係る情報処理装置の動作を示すフローチャートである。
【図１５】本発明の実施の形態１に係る情報処理装置の動作の一例を示す図である。
【図１６】本発明の実施の形態１に係る情報処理装置の動作の一例を示す図である。
【図１７】本発明の実施の形態２に係る情報処理装置の動作の一例を示す図である。
【図１８】本発明の実施の形態３に係る情報処理装置の動作を示すフローチャートである。
【図１９】本発明の実施の形態３に係る情報処理装置の動作の一例を示す図である。
【図２０】本発明の実施の形態５に係る情報処理装置の動作を示すブロック図である。
【図２１】本発明の実施の形態６に係る情報処理装置の動作を示す図である。
【図２２】本発明の実施の形態６に係る情報処理装置の動作を示す図である。
【図２３】本発明の実施の形態６に係る情報処理装置の動作を示す図である。
【図２４】本発明の実施の形態６に係る情報処理装置の動作の一例を示す図である。
【図２５】本発明の実施の形態６に係る情報処理装置の動作の一例を示す図である。
【図２６】本発明の実施の形態７に係る情報処理装置の構成を示す構成図である
【図２７】本発明の実施の形態７に係る情報処理装置の構成を示す構成図である。
【図２８】本発明の実施の形態７に係る情報処理装置の動作を示すフローチャートである。
【図２９】本発明の実施の形態７にあける所定機器の動作を示すフローチャートである。
【図３０】本発明の実施の形態７に係る情報処理装置の動作の一例を示す図である。
【図３１】本発明の実施の形態７に係る情報処理装置の動作の一例を示す図である。
【符号の説明】
１０１ 入力部
１０１Ａ 判別部
１０２ 記憶装置
１０３ 傾斜検出部
１０４ 処理部
１０５ 制御部
１０６ 表示部
１０７ 表示記憶部
１０８ 通信部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information processing device in an information terminal or the like, and particularly to an operation on a display screen in a portable information terminal and a remote operation for a predetermined device.
[0002]
[Prior art]
In a conventional portable information terminal, as the miniaturization advances due to the improvement of portability, the display screen is also reduced in size, and the display amount is also limited. On the other hand, various information such as characters, images, and sounds are handled, and the amount of information tends to increase. As described above, in view of the necessity of handling a large amount of information with a limited device, display control is performed by a key or an input from a touch panel and a dial disclosed in Japanese Patent Application Laid-Open No. 9-34620. The input type jog dial technology or the like is employed.
[0003]
As an example of display control using an input other than the above, there is a display control using tilt information of a display screen. Japanese Patent Application Laid-Open No. 7-64754 discloses a prior art in which the display screen can be scrolled based on the tilt information. Japanese Patent Application Laid-Open Nos. Hei 7-271505 and 2001-136259, and examples of conventional techniques for turning pages based on tilt information are also disclosed in Japanese Patent Application Laid-Open Nos. No. 3,111,174 and Japanese Patent Application Laid-Open No. 2000-181428.
[0004]
[Problems to be solved by the invention]
However, the above conventional example has the following problems.
[0005]
When performing display control by key input, it is necessary to perform operation with a hand that does not hold the device depending on the arrangement of keys, and there is a problem in operability.
[0006]
-When performing display control operations using the touch panel, detailed operations are required on the screen. In this case, it is necessary to perform the operation with a hand that does not hold the device, and there is a problem in operability.
[0007]
-With the jog dial technology, the direction of rotation of the dial may be different from the human sense, and the operation tends to be limited to the direction of rotation.
[0008]
The related art of performing a scroll operation and a page turning operation on a display screen based on tilt information is an example of a technique specialized for a specific application.
[0009]
Accordingly, a first object of the present invention is to provide an information processing apparatus which can be operated with a touch panel and keys as in the related art, and can be easily operated with one hand by a user.
[0010]
Further, a second object of the present invention is to provide an information processing apparatus which allows a user to intuitively grasp a situation by operating a terminal by a natural operation and realize a more intuitive interface. It is in.
[0011]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, according to the present invention, in an information processing apparatus having a display unit, a tilt detection unit that detects whether or not a predetermined surface of the display unit is tilted and a direction of the tilt of the predetermined surface, Determining means for determining the intention of the user, and selecting control means for performing selection control of the icon based on the inclination information of the predetermined surface detected by the inclination detecting means and the user's intention determined by the determining means. And
[0012]
In order to solve the same problem, according to the present invention, in an information processing device, a tilt detection unit that detects whether or not a predetermined surface of the information processing device is tilted and a direction of the tilt of the predetermined surface is provided. Discriminating means for discriminating; information generating means for generating designation information based on the inclination information of the predetermined surface detected by the tilt detecting means and the intention of the user determined by the discriminating means; Transmitting means for transmitting information as input information to a predetermined device.
[0013]
In order to solve the same problem, according to the present invention, in an information processing apparatus having a display means, a tilt detecting means for detecting whether or not a predetermined surface of the information device is tilted and a direction of the tilt of the predetermined surface, Discriminating means for discriminating the intention of the user, information generating means for generating designation information based on the inclination information of the predetermined surface detected by the tilt detecting means and the user's intention discriminated by the discriminating means, and the information generating means Transmitting means for transmitting the generated information as input information to a predetermined device.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0015]
<Embodiment 1>
FIG. 1 is a block diagram showing a configuration of an information processing apparatus according to Embodiment 1 of the present invention.
[0016]
The embodiment shown in FIG. 1 is applied to display control of an information processing apparatus. In FIG. 1, reference numeral 101 denotes an input unit such as a button, a key, a touch panel, and a microphone. It includes a discriminating unit 101A such as a push button switch.
[0017]
Reference numeral 102 denotes a storage device for storing various setting values; 103, a tilt detection unit for detecting a tilt angle of the display surface; 104, a processing unit for executing an application; and 105, a signal and a tilt input from the input unit 101. A control unit 106 that performs control based on the set value stored in the storage device 102 based on the tilt detection signal detected by the detection unit 103 is configured by an LCD (Liquid Crystal Display) or the like, and is stored in a display storage unit 107 described later. A display unit for displaying the currently displayed data such as the selected data and communication information being exchanged; a display storage unit 107 for storing the currently displayed data such as a selected icon; a signal line 108 such as a USB (Universal Serial Bus); Is a communication unit for performing wireless communication such as infrared rays or Bluetooth.
[0018]
Here, the tilt detection unit 103 is a known various sensor that measures the tilt angle of the display surface. As disclosed in Japanese Patent Application Laid-Open No. 2000-20199, for example, a method of detecting inclination from acceleration using an acceleration sensor, a method of measuring an inclination angle by using an inclination angle sensor, and freely inside a terminal housing There is a method of detecting an inclination angle based on the magnitude of an impact given by a small object such as a movable metal ball. For example, a plurality of sensors or a plurality of types of sensors may be used, such as providing a sensor for detecting left and right inclination and a sensor for detecting vertical inclination. Regarding the direction, not only the vertical and horizontal directions but also the oblique direction is possible. The storage device 102 is not limited to a main storage device (main memory) that electrically records data using a semiconductor element, but includes a hard disk, a floppy disk, an MO (Magneto Optical disk), and a CD-R (Compact Disk Recordable). ) Or an external storage device (auxiliary storage device) such as a compact flash card.
[0019]
FIG. 2 is a configuration diagram of the information processing apparatus according to the present invention.
[0020]
The apparatus is provided with a tilt sensor (202) as a tilt detection unit, and the input unit is provided with one or more determination buttons (201, 203) in addition to a touch panel and normal operation buttons.
[0021]
Assuming that the entire area is 305 and the actual display area is 304 as shown in FIG. 3, a data table 404 shown in FIG. 4 is created for these areas, and the number of areas and the number of icons held in each area. , X, and Y, and data such as upper left vertex coordinates (Dx, Dy), maximum width value Dw, maximum height value Dh, and shape are stored. Here, whether or not an area exists in the X direction can be determined by whether or not the condition of 401 is satisfied, and it can be determined whether or not the condition of 403 is satisfied in the Y direction.
[0022]
Similarly, for the icon 1 (301), the icon 2 (302), and the icon 3 (303), a data table 503 shown in FIG. 5 is created. Ix, Iy), the maximum width value Iw, the maximum height value Ih, the shape, the color, the corresponding application, the area where the icon exists, and the like. Here, whether or not the edge is within the display area can be determined based on whether or not all the conditions indicated by 501 are satisfied.
[0023]
Similarly, a data table 603 shown in FIG. 6 is created for the areas 11 to 23 to determine whether the area is in the display area, the area is selected, whether an icon is present in the area, and the upper left vertex coordinates (Ax, Ay), data such as the maximum value Aw of the width, the maximum value Ah of the height, the shape, and the color are stored. Here, it can be determined whether or not the area is within the display area by satisfying all of the conditions indicated by 601, and whether or not there is an icon in the area can be determined by whether or not all of the conditions indicated by 602 are satisfied. it can.
[0024]
As for the inclination detection result of the inclination sensor 202 in FIG. 2, for example, when the sensor 1 detects the inclination in the X direction and the sensor 2 detects the inclination in the Y direction, the inclination detection results of the respective sensors (FIG. 7) ) Are held as data in the X and Y directions as shown in FIG.
[0025]
Further, the user can assign his / her intention with respect to the determination button. For example, as shown in FIG. 9, an inclination angle (gx, gy) used for each determination button is set. While the determination button 1 is pressed, only the left and right inclinations are detected, while the determination button 2 is pressed, only the vertical inclination is detected, and while both buttons are pressed, the omnidirectional detection is performed (FIG. 9A). 1 (201) and the discrimination button 2 (203) are assigned to the same function (for example, omni-directional detection) (FIG. 9c). Button is pressed. The change in the angle starts from the state at the time when the user presses the determination button, and the relative change in the angle is sequentially used. By changing the display of the selected icon by changing the color, changing the brightness, changing the size, or adding a frame, the user can easily grasp the selected icon.
[0026]
As shown in FIG. 10, the user can freely set the amount of movement (dx, dy) of the coordinates of the icons, the icon area, the display area, etc. according to the inclination angle and the duration thereof. For example, when the selection is shifted from the icon 1 (301) to the icon 2 (302) in FIG. 3, if the inclination of 5 degrees is maintained for 1 second or more in the X direction, the movement is performed, or if the inclination of 5 degrees is maintained for 2 seconds or more, the movement is performed. And so on.
[0027]
Further, the processing for the icon selected at the time when the determination button is released can be set as shown in FIG. For example, the application is executed by pressing the discrimination button twice (FIG. 11A), or the application is executed when the discrimination button is released (FIG. 11B), or nothing is performed (in this case, only the selection is made ( 11C), and select one of the above.As an example of the above, in the thumbnail image display, a thumbnail icon is selected and enlarged by pressing the button twice, or a thumbnail icon is selected and the button is pressed. Settings such as enlarged display at the time of release or selection of a thumbnail icon are performed.
[0028]
FIG. 12 is a flowchart showing the procedure of the icon selection control process using the tilt information. In FIG. 12, the display control process using the tilt information waits for an input of pressing a determination button in step 1202. When the discrimination button is pressed, the inclination direction assigned to the discrimination button is determined according to FIG. 9, and reset is performed so that the inclination at the time when the button is pressed is set as a starting point (step 1203). When the inclination angle (FIG. 9) is equal to or greater than a predetermined angle (set value: FIG. 10) (step 1204), it is determined whether the inclination has continued for a predetermined time (set value: FIG. 10) or more (step 1205). If it continues, it is detected that there is an inclination. If it is determined that there is an inclination, the process proceeds to a process relating to the movement of the display area and a process relating to the selection of the icon.
[0029]
Here, FIG. 13 shows a flowchart of a procedure for determining whether or not the inclination angle (FIG. 9) has continued for a certain period of time (set value: FIG. 10) in step 1205. First, the counter is reset to 0 (step 1301). If the inclination angle (FIG. 9) is equal to or larger than the set value (FIG. 10), 1 is added to the counter (step 1303), and the inclination angle (FIG. 9) is set to the set value (FIG. 9). If it is smaller than FIG. 10), the process returns to step 1202 (step 1302). If the value of the counter is equal to or longer than the set time (FIG. 10), it is determined that the inclination has continued for a certain time (set value: FIG. 10) or longer, and processing relating to movement of the display area (step 1206) and processing relating to icon selection (step 1209). When the value of the counter is smaller than the set time, the process returns to step 1302 (step 1304).
[0030]
In the processing relating to the movement of the display area, it is determined from the data table 503 whether or not the currently selected icon is the end of the actual display area (step 1206), and if the display area exists in the tilt direction (determined from the data table 404). , Step 1207) The display area is moved in the direction of inclination according to the movement amount (FIG. 10) (Step 1208). In the process related to icon selection, first, it is determined from the data table 603 whether or not an icon exists in the tilt direction based on the currently selected icon (step 1209). At this time, it is a problem whether or not it exists in the inclination direction, and it is not necessary to be immediately adjacent to the inclination direction. If an icon exists, the selection is moved according to the movement amount (FIG. 10) (step 1210). If the discrimination button is released at that time (step 1211), the selection of the currently selected icon is determined (step 1212), and the process is executed by referring to the setting of the process previously set by the user (FIG. 11). (Step 1213).
[0031]
FIG. 14 is a flowchart showing the procedure for executing the step 1213.
[0032]
Referring to the processing settings (FIG. 11) (step 1401), if processing A (execute the application if the button is pressed twice) is selected, wait for the button to be pressed twice. (Step 1402) If pressed twice, the corresponding application (FIG. 5: data table 503) is executed (Step 1403), and the process returns to Step 1202. If the process BB (execute the application immediately after selection) is selected, the corresponding application (FIG. 5: data table 503) is executed (step 1403), and the process returns to step 1202. If the processing C (selection only, not processing) is selected, the process returns to step 1202.
[0033]
By performing the processing as described above, for example, in FIG. 15, the user shifts the selection from the icon 1 (1501) to the icon 2 (1504) by pressing the determination button and tilting the terminal to the right. The selection of the icon is shifted only when the icon exists in the tilt direction. When the area to be displayed exceeds the actual display area, the user switches the display area by tilting the terminal while pressing the determination button, and the part not displayed on the screen in the tilt direction is displayed. Make it visible (moving the display area). For example, in FIG. 16, when the user wants to see a lower portion than the currently displayed screen (1601), the lower portion is displayed by tilting the lower portion of the terminal downward while pressing the button (1603). The display area is switched only when the display screen exists in the tilt direction.
[0034]
If the screen to be displayed is larger than the display area, a scroll bar is displayed in the window so that the user can easily determine to that effect and in which direction the screen or icon is present. Or, considering that the scroll bar is not suitable for display because the display screen is small, it can only be displayed vertically or horizontally with a scroll bar, gradation is applied to the background color of the window in the direction where the screen or icon exists. Means for displaying the background color deeper in the direction in which the icon is present, or displaying an arrow in the direction in which the screen or the icon is displayed are also conceivable. In addition, when an arrow or the like is added and displayed, a means of giving transparency and displaying the display portion so as not to disturb the display may be considered.
[0035]
Further, the above display is not normally performed, and the display screen can be used effectively by temporarily displaying only while the determination button is pressed and the tilt information is used. The above display may be a sound output.
[0036]
As described above, by performing the selection control of the icons based on the inclination information of the display surface, the user can easily perform the operation while holding the terminal with one hand. In addition, by operating the terminal with a natural operation of tilting, an interface that is easy for the user to understand is realized.
[0037]
<Embodiment 2>
Next, an information processing apparatus according to a second embodiment of the present invention will be described.
[0038]
In the first embodiment, the icons are selected one by one. However, it is also possible to display a plurality of selection areas and select a plurality of icons at the same time. That is, a plurality of selection areas are moved according to the tilt information. Specifically, a plurality of areas are selected in the data table 603. However, icons that are not in the display area even in the selection area are not selected. Also, the selection area is moved only when at least one icon exists in the selection area when moving in the tilt direction. As an operation example, in FIG. 17, the user moves the selection area (1701) downward (1704) by tilting the lower part of the terminal downward while pressing the determination button. In the selection area 1701, only the icon 1 (1702) is selected, but by moving the selection to the selection area 1704, both the icon 1 (1702) and the icon 2 (1703) are selected.
[0039]
Since the shape and size of the selected area on the display surface are determined by the area to be selected in the data table 603 and the number thereof, it can be set for each application, and may be set by the user. For example, assuming that a music icon indicating a music is displayed on the music player, a plurality of music icons are selected in the selection area to sequentially reproduce the music in that area. However, the order of reproduction can be arbitrarily determined by adding data relating to the order to the data table 503, and the songs in the selected area can be simultaneously reproduced.
[0040]
<Embodiment 3>
Next, an information processing apparatus according to a third embodiment of the present invention will be described.
[0041]
In the first and second embodiments, the position of the selection area is changed according to the inclination information while the position of the icon is fixed. On the other hand, in the present embodiment, the position of the icon is moved according to the tilt information while the selection area is fixed, and selection is performed when the icon is in the selection area. Not only one icon but also a plurality of icons can be put in the selection area.
[0042]
FIG. 18 is a flowchart showing the processing procedure. In FIG. 18, in the display control processing using the inclination information, in step 1802, an input of pressing a determination button is awaited. When the discrimination button is pressed, the inclination direction assigned to the discrimination button is determined according to FIG. 9, and the reset is performed so that the inclination at the time when the button is pressed is set as a starting point (step 1803). When the inclination angle (FIG. 9) is equal to or greater than a predetermined angle (set value: FIG. 10) (step 1804), it is determined whether the inclination has continued for a predetermined time (set value: FIG. 10) or more (step 1805). If it continues, it is detected that there is an inclination.
[0043]
Here, the procedure for determining whether or not the inclination (FIG. 9) has continued for a predetermined time (set value: FIG. 10) in step 1805 is as shown in FIG. If it is determined that there is an inclination, the icon is moved (step 1806). Specifically, the values of Ix and Iy in the data table 503 are changed according to the movement amount (FIG. 10) according to the inclination information. If an icon exists in the selection area (determined from the data table 603 (step 1807), and if the determination button is released at that time (step 1808), the selection of the currently selected icon is determined (data table 603). Judgment from steps 503 and 603, step 1809), the processing set by the user in advance (FIG. 11) is performed (step 1810), and the above processing is as shown in FIG.
[0044]
By performing the processing as described above, for example, in FIG. 19, the icon 1901 is not in the selection area, but the user selects the icon 1901 as the icon 1904 by tilting the lower part of the terminal downward while pressing the determination button. The user is moved into the area 1903, and if the determination button is released at that time, the processing set by the user in advance is performed.
[0045]
The position, shape, and size of the selection area on the display surface can be set for each application, and may be set by the user. For example, if a music icon indicating a song is displayed on the music player, a plurality of song icons are put in the selected area, and the songs in that area are reproduced in order. However, the order of reproduction can be arbitrarily determined by adding data relating to the order to the data table 503, and the songs in the selected area can be simultaneously reproduced. In addition, when the thumbnail icon of the image is displayed on the display screen and the right half area is set as the selection area, the user tilts the terminal to the right while pressing the determination button to select all the icons. An example of the operation is that all images are executed like a slide show when the determination button is released in a state where the image is put in the right half area which is the area.
[0046]
<Embodiment 4>
Next, an information processing apparatus according to a fourth embodiment of the present invention will be described.
[0047]
In the first embodiment, the discrimination button is given as an example of the discrimination means (FIG. 1: 101A). It is also possible. By making the action of the user an action of "touching" the touch sensor instead of an action of "pressing" the button, fatigue of the user can be reduced.
[0048]
<Embodiment 5>
Next, a fifth embodiment of the information processing apparatus according to the present invention will be described.
[0049]
Although the discrimination button is described in Embodiment 1 as an example of the discrimination means 101A in FIG. 1, and a touch sensor is described in Embodiment 4, it is also possible to use a voice recognition technique for the discrimination means 101A. For example, as shown in FIG. 20, a voice input unit 2001 such as a microphone is input to an input unit 101, and a well-known A / D converter 2002 that converts an analog audio signal input to a discriminating unit 101A into a digital signal. A voice recognition unit 2003 for recognizing the generated voice and a voice processing unit 2004 for analyzing the voice are provided.
[0050]
For the voice recognition unit 2003 and the voice processing unit 2004, a known method such as a voice processing device disclosed in Japanese Patent Application Laid-Open No. 7-219591 is used. When the voice input from the microphone is either “On” or “Off”, the processing result 2005 is transmitted to the input device body via a signal line such as a USB or a wireless communication such as an infrared ray or Bluetooth. I do. For example, "On" is input by voice, and the inclination information is used until "Off". Here, “On” and “Off” may be other words representing the words or words expressing intentions.
[0051]
<Embodiment 6>
Next, an information processing apparatus according to a sixth embodiment of the present invention will be described.
[0052]
When the display on the screen is performed by three-dimensional graphics (including three-dimensional representation) instead of two-dimensional, the tilt angle detected by the tilt detection means (FIG. 1: 103) may be used as the rotation angle of the three-dimensional graphics. good. For example, as to all the icons existing in the three-dimensional object to be displayed as shown in FIG. 21, the polygon in which the icon exists, the selection, the color, and the angle with respect to each icon are held as data. Further, the angle for each icon is calculated from the known three-dimensional shape data (FIG. 22), and is set as a set angle.
[0053]
When the inclination angle (FIG. 9) detected by the inclination detection means (FIG. 1: 103) is equal to or larger than the set angle (FIG. 21) and the inclination continues for a certain period of time (FIG. 10), the icon selection is moved and (FIG. 21) Move the viewpoint position coordinates (FIG. 23). The processing procedure (FIG. 24) for moving the selected polygon at a constant rotation angle (viewpoint position) of the solid is the same as that of the first embodiment in which the coordinates of the selected area are moved at the constant coordinates of the icon. The procedure of the implementation (FIG. 25) of rotating the solid (moving the viewpoint position) by using is the same as in the third embodiment in which the coordinates of the icon are moved in a fixed selection area.
[0054]
When the display on the screen is performed in three-dimensional graphics in this way, more information can be expressed even in a small and limited display area, and furthermore, the operation is performed by using the inclination information for the selection control of the information. The performance is greatly improved. Further, even when the three-dimensional graphics have a complicated shape, a natural interface for the user is realized by using the inclination information.
[0055]
<Embodiment 7>
Next, an information processing apparatus according to a seventh embodiment of the present invention will be described.
[0056]
FIG. 26 shows a remote controller having one or more devices and a signal line such as a USB or a wireless communication means such as infrared rays or Bluetooth, and performing remote control on the predetermined devices. The above-mentioned predetermined device does not need to have portability, and refers to a device that handles various media such as video and sound, or a device that handles some information such as a device or a home appliance.
[0057]
The remote control is provided with one or more determination buttons (2601, 603) and an inclination sensor 2602, and performs information selection control based on the inclination information. When the remote control has a display surface 2704 as shown in FIG. 27, the display is performed in accordance with the information, and when the device has a display means, the display is performed similarly. The display may be a sound.
[0058]
In the first embodiment, a selection operation is performed on an icon on an area. Here, it is assumed that information is present on an area as shown in FIG. 3 and a selection operation is performed on information on the area. . In this way, it can be considered in the same manner as in the first embodiment, and the respective data tables may be considered from FIGS.
[0059]
FIG. 28 is a flowchart showing the processing procedure. In FIG. 28, the display control processing using the inclination information waits for an input of pressing a determination button in step 2802. When the discrimination button is pressed, the inclination direction assigned to the discrimination button is determined according to FIG. 9, and reset is performed so that the inclination at the time when the button is pressed is set as a starting point (step 2803). If the inclination angle (FIG. 9) is equal to or greater than a predetermined angle (set value: FIG. 10) (step 2804), it is determined whether the inclination (FIG. 9) has continued for a predetermined time (set value: FIG. 10) or more. (Step 2805) If continued, it is detected that there is an inclination.
[0060]
Here, the procedure for determining whether or not the inclination has continued for a predetermined time (set value: FIG. 10) in step 2805 is as shown in FIG. If it is determined that there is a tilt, it is determined whether information exists in the tilt direction from the data table 603 (step 2806). If there is, information is selected according to the movement amount (FIG. 10) (step 2807), and the information is obtained. Is transmitted to a predetermined device (step 2808). If the determination button is released at that time (step 2809), the selection of the currently selected information is determined (step 2810), and the selection determination is transmitted to a predetermined device (step 2811). If the determination button has been pressed (step 2809), the device sends an undetermined selection to a predetermined device (step 2812).
[0061]
Next, FIG. 29 is a flowchart showing a procedure in which a predetermined device processes a signal received from the remote controller in the present embodiment. In FIG. 29, the predetermined device transmits information selected from the remote controller in step 2902. Wait to receive. When the information is received, the selected information may be displayed if the predetermined device has a display unit. Next, it waits until it is received whether or not the selection of the information is determined (step 2903). If the selection is determined (step 2904), the process is executed based on the information (step 2905).
[0062]
As an operation example, when the remote control remotely controls the music player, an information icon indicating a song in the left-right direction is assumed as shown in a data area 3002 in FIG. Select and control the song to be played. Current song 2 Is playing (3001), the user can select a song by tilting the remote control to the right while pressing the determination button. 2 Songs from 3 Move to the song 3 To the player.
[0063]
As another operation example, when the remote controller remotely controls the air conditioner, an information icon indicating the temperature in the vertical direction is assumed as in a data area 3102 in FIG. Selective control of the set temperature. When the current set temperature is 17 ° C. (3101), the user shifts the selection to 16 ° C. by pressing the discrimination button and tilting the lower part of the remote controller downward, and sends a command to set the set temperature to 16 ° C. to the air conditioner. . The cooling / heating device that has received the instruction sets the set temperature to 16 ° C., and displays the information on the display screen 3103 when having a display unit. The information display may be sound.
[0064]
【The invention's effect】
As described above, in the information processing apparatus of the present invention, since the terminal can be operated by a natural operation performed by a human on a daily basis, the situation can be grasped more intuitively, and the terminal can be easily held while holding the terminal with one hand. Operations can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an information processing apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a configuration diagram showing a configuration of an information processing apparatus according to Embodiment 1 of the present invention.
FIG. 3 is a diagram showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 4 is a diagram showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 5 is a diagram showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 6 is a diagram showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 8 is a diagram illustrating an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 9 is a diagram showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 10 is a diagram showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 11 is a diagram illustrating an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 12 is a flowchart illustrating an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 13 is a flowchart showing an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 14 is a flowchart illustrating an operation of the information processing apparatus according to the first embodiment of the present invention.
FIG. 15 is a diagram illustrating an example of an operation of the information processing device according to the first embodiment of the present invention.
FIG. 16 is a diagram illustrating an example of an operation of the information processing device according to the first embodiment of the present invention.
FIG. 17 is a diagram illustrating an example of an operation of the information processing device according to the second embodiment of the present invention.
FIG. 18 is a flowchart showing an operation of the information processing apparatus according to Embodiment 3 of the present invention.
FIG. 19 is a diagram illustrating an example of an operation of the information processing device according to the third embodiment of the present invention.
FIG. 20 is a block diagram showing an operation of the information processing apparatus according to Embodiment 5 of the present invention.
FIG. 21 is a diagram showing an operation of the information processing apparatus according to Embodiment 6 of the present invention.
FIG. 22 is a diagram illustrating an operation of the information processing device according to the sixth embodiment of the present invention.
FIG. 23 is a diagram illustrating an operation of the information processing device according to the sixth embodiment of the present invention.
FIG. 24 is a diagram illustrating an example of an operation of the information processing device according to the sixth embodiment of the present invention.
FIG. 25 is a diagram illustrating an example of an operation of the information processing device according to the sixth embodiment of the present invention.
FIG. 26 is a configuration diagram showing a configuration of an information processing apparatus according to Embodiment 7 of the present invention.
FIG. 27 is a configuration diagram showing a configuration of an information processing apparatus according to Embodiment 7 of the present invention.
FIG. 28 is a flowchart showing an operation of the information processing apparatus according to Embodiment 7 of the present invention.
FIG. 29 is a flowchart illustrating an operation of a predetermined device according to the seventh embodiment of the present invention.
FIG. 30 is a diagram illustrating an example of an operation of the information processing device according to the seventh embodiment of the present invention.
FIG. 31 is a diagram illustrating an example of an operation of the information processing device according to the seventh embodiment of the present invention.
[Explanation of symbols]
101 Input unit
101A discriminator
102 storage device
103 Tilt detector
104 processing unit
105 control unit
106 Display
107 display storage unit
108 Communication unit
