JP2004021528A

JP2004021528A - 携帯情報機器

Info

Publication number: JP2004021528A
Application number: JP2002174493A
Authority: JP
Inventors: Poupyrev Iwan; イワン　プピレフ; Eijiro Mori; 森　栄二郎; Carsten Schwesig; カーステン　シュヴェージグ; Jiyunichi Rekimoto; 暦本　純一
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-06-14
Filing date: 2002-06-14
Publication date: 2004-01-22
Anticipated expiration: 2022-06-14
Also published as: JP4447823B2

Abstract

【課題】機器に対する物理的なインタラクションを機器への汎用的なインターフェースとして用いる。
【解決手段】機器本体の正面側に視覚的ディスプレイを配設するとともに、その背面側にタッチ・センサを配設する。ユーザは、機器正面の表示スクリーン上の表示内容を確認しながら、その背面で指を走査して座標指示を行なう。また、機器本体の左右両端縁に操作部がヒンジ結合されており、回転センサにより操作部の回転操作をジェスチャ入力として取得する。ユーザは、ジェスチャ入力と座標指示入力を透過的に行なうことができる。
【選択図】　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザからの入力動作に応答して所定の情報処理サービスを提供する携帯情報機器に係り、特に、機器に標準で装備されている入力装置を介したユーザ入力に応答して動作する携帯情報機器に関する。
【０００２】
さらに詳しくは、本発明は、複雑な入力オペレーションを比較的簡単なユーザ動作で実現する携帯情報機器に係り、特に、ユーザの物理的なジェスチャを受容する物理的なユーザ・インターフェースを備えて入力操作を簡単にした携帯情報機器に関する。
【０００３】
【従来の技術】
人の手は、極めて優秀なツールである。すなわち、手や指が持つ多数の自由度を効果的にコントロールすることによってさまざまの複雑な操作を成し遂げることができる。例えば、バイオリニストなどの音楽家は、弓で弦を同時に２つの方向（例えば弦と同じ方向並びにこれを横切る方向）に弾いたり、同時に弦に異なる張力を印加することができる。
【０００４】
これと同様に、最近のコンピュータにおいては、マウスやペンなどの入力装置を用いて、コンピュータ・スクリーン上で位置と力を同時に入力することができる。例えば、マウスでスクリーン上の特定の場所を指示しながらボタンを押下したり、タブレット上でペンを押下操作する。
【０００５】
また、Ｓ．　Ｚｈａｉ、Ｐ．　Ｍｉｌｇｒａｍ共著の論文”Ｈｕｍａｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｅｖａｌｕａｔｉｏｎ　ｏｆ　ｍａｎｉｐｕｌａｔｉｏｎ　ｓｃｈｅｍｅｓ　ｉｎ　ｖｉｒｔｕａｌ　ｅｎｖｉｒｏｎｍｅｎｔｓ”（Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＶＲＡＩＳ’９３．　１９９３．　ＩＥＥＥ．　ｐｐ．　１５５−６１）では、位置制御（アイソトニック・コントロール）と力制御（アイソメトリック・コントロール）は、マニュアル・コントロールの生理学的及び心理学的メカニズムが相違し、人間にとって基本的には制御方向が直交関係にある、ということが示唆されている。
【０００６】
携帯型若しくはハンドヘルド型の機器においては、データ入力が難作業であり、効果的なインタラクションを行なえない、ということが長らく重要な課題であった。通常、携帯型機器における入力機能は、例えばタッチ・スクリーンを介したペン入力や、ボタン、ジョグダイヤル式のコントローラなどに限定される。また、タッチ・スクリーンを用いた場合、スクリーンの表示内容を遮ったり、ペンの使用がしばしば必要になったり、タッチ・センサが持つ解像度の限界のためにペン入力が困難になることがある。
【０００７】
タッチ・スクリーンを介したインタラクションは、ＧＵＩインターフェース・オブジェクトに対する連続的な操作を直接行なうといったような、ある特定のインタラクションにおいては推奨される。例えば、地図をズームするために、スクロールやズーム機能を連続的に適用しなければならない場合などである。このような入力オペレーションを単一のジェスチャで実現することができれば、作業は著しく簡素化され、ユーザの負担を軽減することができる。
【０００８】
ユーザが携帯型コンピュータに対して物理的なジェスチャを印加することによってすべてのコンピュータ操作を行なったり、さまざまなタスクを実現するという物理的なユーザ・インターフェースに関する提案も幾つかなされている。
【０００９】
例えば、米国特許第６，２４３，０７４号明細書には、処理されたデータ構造に関する情報を表示するフィードバック・モジュールと、ユーザの手操作を検出するディテクタを備え、手操作に応答してデータ構造の表示形態を変更する携帯型機器について開示されている。また、米国特許第５，６０２，５６６号明細書には、片手で持つことができ、機器本体の傾きに応じて画面をスクロールさせる小型情報処理装置について開示されている。これらの場合、ユーザが機器に印加したアクションを機器本体に内蔵されたセンサが検出することによって、インターフェースをコントロールするようになっている。
【００１０】
また、Ｊ．　Ｒｅｋｉｍｏｔｏ著の論文”Ｔｉｌｔｉｎｇ　ｏｐｅｒａｔｉｏｎｓ　ｆｏｒ　ｓｍａｌｌ　ｓｃｒｅｅｎ　ｉｎｔｅｒｆａｃｅｓ”（　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ＵＩＳＴ’９６．　１９９６．　ＡＣＭ．　ｐｐ．　１６７−１６８）には、傾斜センサを用いて機器の傾きを検出して、これを情報表示におけるスクロールに使用するという小型表示インターフェースについて開示されている。
【００１１】
しかしながら、これらのインターフェースは、ある特定の機能を実現することに着目したものである。言い換えれば、コンピュータに対する物理的なインタラクションは非同期的なものと考えられており、例えば、他のアクションを形成した後にユーザ・アクションが続く。複数のジェスチャを透過的に組み合わせて取り扱える機器というものは、これまで開発されてこなかった。
【００１２】
例えば、Ｒ．　Ｂａｌａｋｒｉｓｈｎａｎ、Ｇ．　Ｆｉｔｚｍａｕｒｉｃｅ、Ｇ．　Ｋｕｒｔｅｎｂａｃｈ、Ｋ．　Ｓｉｎｇｈ共著の論文”Ｅｘｐｌｏｒｉｎｇ　ｉｎｔｅｒａｃｔｉｖｅ　ｃｕｒｖｅ　ａｎｄ　ｓｕｒｆａｃｅ　ｍａｎｉｐｕｌａｔｉｏｎ　ｕｓｉｎｇ　ａ　ｂｅｎｄ　ａｎｄ　ｔｗｉｓｔ　ｓｅｎｓｉｔｉｖｅ　ｉｎｐｕｔ　ｓｔｒｉｐ”（Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｉｎｔｅｒａｃｔｉｖｅ　３Ｄ　ｇｒａｐｈｉｃｓ．　１９９９．　ＡＣＭ．　ｐｐ．　１１１−１１８）や米国特許第５，３９６，２６５号明細書には、回転センサを用いて互いに機械的に接続されている感知部品を撓ませるという、可撓性のインターフェースについて開示されている。しかしながら、このようなインターフェースは、単に形を生成するという作業に着目したに過ぎず、携帯型機器やさらには一般的な機器インターフェースに適用するという汎用インターフェースを提案するものではない。
【００１３】
例えば、スペース・ボールなどの力検出装置を用いて、デスクトップ・コンピュータのための物理的インタラクションが実現されている。しかしながら、この種の装置の用途は、一般に、３次元空間におけるナビゲーションなどに限定されたものである。
【００１４】
【発明が解決しようとする課題】
本発明の目的は、複雑な入力オペレーションを比較的簡単なユーザ動作で実現することができる、優れた携帯情報機器を提供することにある。
【００１５】
本発明のさらなる目的は、ユーザの物理的なジェスチャを受容する物理的なユーザ・インターフェースを備えて入力操作を簡単にすることができる、優れた携帯情報機器を提供することにある。
【００１６】
本発明のさらなる目的は、ユーザが行なう複数のジェスチャを透過的に組み合わせて機器に対する入力として取り扱うことができる、優れた携帯情報機器を提供することにある。
【００１７】
本発明のさらなる目的は、機器に対する物理的なインタラクションを機器への汎用的なインターフェースとして用いることができる、優れた携帯情報機器を提供することにある。
【００１８】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、ユーザ入力に応答して動作する携帯情報機器であって、
機器本体と、
前記機器本体に対してユーザが印加した物理的インタラクションを取得するジェスチャ入力手段と、
ユーザ入力に応じた処理を実行する処理手段と、
を具備することを特徴とする携帯型情報機器である。
【００１９】
例えば機器本体を曲げる、撓ませるといったジェスチャをユーザ入力として採取することによって、ユーザは自分の感情や衝動に従って直感的に機器操作を行なうことができるので、効率的な物理的インタラクションを実現することができる。
【００２０】
本発明に係る携帯型情報機器は、前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する視覚的ディスプレイと、前記機器本体背面に配設されて、ユーザの指先による操作に応じてディスプレイ・スクリーン上で方向入力又は座標指示入力を行なう方向入力手段とをさらに備えていてもよい。
【００２１】
また、本発明に係る携帯型情報機器は、前記処理手段による処理結果を力覚的にユーザにフィードバックする力覚提示部をさらに備えていてもよい。このような場合、前記ジェスチャ入力手段を介して機器本体に有効に印加された物理的インタラクションの程度や回数などを、ユーザに力覚的にフィードバックすることができる。
【００２２】
前記ジェスチャ入力手段は、例えば、前記機器本体の左右両端に回動自在に結合された操作部と、前記操作部の前記機器本体に対する回転操作量を検出する回転センサと、前記回転センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することができる。
【００２３】
このような場合、ユーザはそれぞれの手で左右の操作部をつかんで、機器本体に対して操作部を撓ませることができる。このとき、回転センサによって検出された回転操作量はジェスチャ入力として取得される。
【００２４】
機器本体に対して操作部を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。
【００２５】
このようなジェスチャ入力は、視覚的ディスプレイの表示内容を確認しながら行なうことができる。また、ユーザは機器本体の左右側縁をつかんでジェスチャ入力を行なうことから、表示スクリーンが遮られるというオクルージョンの問題はない。
【００２６】
また、ユーザは、機器正面の表示スクリーン上の表示内容を確認しながら、その背面で指を走査することによって２次元的な座標指示を行なうことができる。このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。また、正面側の視覚的ディスプレイ上にＧＵＩ操作画面を用意するとともに、背面側のタッチ・センサ上での座標指示位置に応じてこのＧＵＩ操作画面上にカーソルを表示して、タッチ・センサ上での２次元的な座標指示入力と視覚的ディスプレイ上でのＧＵＩ操作を連動させてもよい。
【００２７】
あるいは、前記機器本体を可撓性の構造体にすることによって、前記ジェスチャ入力手段は、ユーザによる物理的インタラクションによる前記機器本体の撓み量を検出する撓みセンサと、前記撓みセンサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することができる。そして、前記撓みセンサは前記機器本体の撓み量と撓み方向を検出して、撓み量と撓み方向の組み合わせに対してコンピュータ上のデータやコマンドをマッピングすることができる。
【００２８】
このような場合、機器本体が変形することから、視覚的ディスプレイには有機ＥＬ素子のような可撓性の表示装置を利用するとともに、可撓性の静電容量型メッシュ・センサをタッチ・センサに利用するようにすればよい。
【００２９】
あるいは、前記ジェスチャ入力手段は、前記機器本体の左右両端に取り付けられた操作部と、前記機器本体に対して前記操作部を変形させる外力を検出する力センサと、前記回転センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することができる。この場合、ユーザが機器本体を撓ませるような外力を操作部に印加すると、力センサがこれをジェスチャ入力として検出することができる。
【００３０】
あるいは、前記ジェスチャ入力手段は、前記機器本体を変形させようと印加された外力を検出する圧力センサと、前記圧力センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部とで構成することもできる。
【００３１】
例えば、ユーザが機器本体の端部を親指と人差し指等で挟み込むように摘んで、撓ませるような外力を印加すると、圧力センサが親指から印加される圧力をジェスチャ入力として検出する。
【００３２】
また、機器本体の上下の各面に力センサを配設することによって、単に力の強度を検出するだけでなく、ユーザが印加する物理的インタラクションの方向、すなわち前記機器本体を上下いずれの方向に撓ませようとしているかを判別することができる。
【００３３】
また、前記処理手段は、前記ジェスチャ入力手段を介したジェスチャ入力と前記方向入力手段を介した方向入力を同時で透過的に処理するようにしてもよい。
【００３４】
このような場合、前記処理手段は、前記方向入力手段を介して指定された前記ディスプレイ・スクリーン上のオブジェクトに対して、前記ジェスチャ入力手段を介した物理的インタラクションに応じた処理を適用するようことができる。
【００３５】
例えば、前記方向入力手段を介した指示座標を基に地図の表示場所をスクロールしながら、入力されたジェスチャに応じて縮尺を切り替えていく（物理的な操作量の増大とともにズームさせていく）といったインタラクションを行なうことができる。
【００３６】
また、前記ジェスチャ入力手段は、ユーザが前記機器本体に印加した物理的インタラクションの強度を検出する力センサで構成され、前記処理手段は、前記力センサによる連続的なセンサ出力をインターフェース・コントロールのためのアナログ値として取り扱うようにしてもよい。そして、前記ジェスチャ手段を介してどれだけのアナログ値が入力されたかを、力感的提示部によってユーザに力覚的にフィードバックするようにしてもよい。
【００３７】
あるいは、前記処理手段は、前記力センサによるセンサ出力が所定の閾値を越えたことに応答して、システムに対するコマンドを発行したり、インターフェースの状態や動作モードを切り替えたり、その他のＧＵＩオペレーションを実行するなど、システム・オペレーションを制御するようにしてもよい。また、前記ジェスチャ手段を介した物理的インタラクションが有効に作用したことをユーザに力覚的に通知するようにしてよい。
【００３８】
例えば、ユーザは、方向入力手段を介してメニュー上の所望の要素が選択し、さらに機器本体を撓ませるような物理的インタラクションを行なえばよい。そして、このとき印加された外力が所定の閾値に到達したことに応答して、該当するメニュー・コマンドが実行される。
【００３９】
あるいは、前記処理手段は、前記力センサにより検出された力のパターンを認識して特定のコマンドとして取り扱うようにしてもよい。
【００４０】
例えば、機器本体を同じ方向又は逆方向に撓ませたり、異なる時刻に撓ませたり、所定の間隔を置いて撓ませたりすることによって、さまざまなジェスチャを作ることができる。そして、これら個々のジェスチャのパターンに対して、システム・オペレーション上のコマンドを割り当てることができる。
【００４１】
また、前記ジェスチャ手段を介した物理的インタラクションの認識並びに該当するコマンドの実行が成功したことをユーザに力覚的に通知するようにしてもよい。
【００４２】
要するに、本発明は、コンピュータ・インターフェースが方向入力若しくは座標指示と力の伝達を同時に行なうことができるコンピュータ・インターフェースを提供するものである。多元的なユーザ入力を同時に行なうことができるので、操作性が高まるとともにインタラクションの表現力が増す。
【００４３】
このようなユーザ入力の組み合わせを用いることは、とりわけハンドヘルド若しくは携帯型、携行型のコンピュータにおいて効果的であり、ユーザに豊かなインタラクションをもたらすことができる。
【００４４】
このようなインターフェースによれば、ユーザは、相違する直交性の情報に関するインタラクションを単一のジェスチャだけで実現することができる。例えば、市街地の地図をスクロールしながら同時に縮尺を変えていくといったインタラクションを単一のジェスチャにより行なうことができる。
【００４５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４７】
図１には、本発明の一実施形態に係る携帯型機器１００のハードウェア構成を模式的に示している。
【００４８】
同図に示すように、携帯型機器１００は、メイン・コントローラとしてのプロセッサ・ユニット１０８と、ユーザ入力を行なうインターフェースとして力センサ１０１、撓みセンサ１０２、圧力センサ１０３、回転センサ１０４、並びにユーザが２次元位置を入力するためのタッチ・センサ１０５と、ユーザ出力を行なうインターフェースとしての視覚的ディスプレイ１０６並びに力覚的（Ｔａｃｔｉｌｅ）ディスプレイ１０９を備えている。
【００４９】
プロセッサ・ユニット１０８は、例えば、処理エンジンとしてのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、実行プログラムをロードしたり作業データを一時保存するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、プログラム・コードやその他のデータを恒久的に格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの組み合わせで構成され、オペレーティング・システム（ＯＳ）が提供する実行環境下で、ユーザのジェスチャなどの物理的なインタラクションを利用したアプリケーションを実行する。
【００５０】
視覚的ディスプレイ１０６は、例えば液晶表示ディスプレイ（ＬＣＤ）などで構成され、プロセッサ・ユニット１０８における処理結果を視覚表示する。
【００５１】
また、タッチ・センサ１０５は、例えば、視覚的ディスプレイ１０６に重畳されていてもよい。あるいは、機器１００本体の視覚的ディスプレイ１０６とは反対側（すなわち、機器１００の背面側）に配設されている。後者の場合、ユーザは、機器１００正面の表示スクリーン上の表示内容を確認しながら、その背面を指先で走査することによって２次元的な座標指示を行なうことができる。したがって、座標指示を行なう指先が視覚的ディスプレイ１０６の表示スクリーンを遮ることはない。
【００５２】
力覚的ディスプレイ１０９は、プロセッサ・ユニット１０８における処理結果を力覚的にフィードバックするためのデバイスである。力覚的ディスプレイ１０９に任意の制御信号を印加することにより、力覚パターンを自由に変更することができる。プロセッサ・ユニット１０８は処理結果データに従って電圧の時間関数である制御信号を生成すればよい。例えば、多層ピエゾ可撓性アクチュエータで力覚的ディスプレイ１０９を構成することができる。多層ピエゾ・アクチュエータは、上層ピエゾ・アクチュエータと、下層ピエゾ・アクチュエータからなり、上層及び下層の各ピエゾ・アクチュエータに対して逆方向の電圧を印加することによって、上層を収縮させると同時に下層を拡張させて、多層ピエゾ可撓性アクチュエータ全体としては、上方あるいは下方に撓ませることができる。なお、力覚的ディスプレイに関しては、本出願人に既に譲渡されている特願２００２−１８２２８号明細書に記述されている。
【００５３】
力センサ１０１、撓みセンサ１０２、圧力センサ１０３、回転センサ１０４は、ユーザのジェスチャなどの物理的なインタラクションを検出して、コンピュータ・データとして取り込むためのデバイスである。物理的なインタラクションを取得するために、携帯型機器１００がこれらすべてのセンサ１０１〜１０４を装備する必要はなく、これらのうち少なくとも１つを備えていればよい。
【００５４】
データ取得部１０７は、これらのセンサ出力をデジタライズしてプロセッサ・ユニット１０８に供給する。そして、プロセッサ・ユニット１０８においては、タッチ・センサ１０５からの２次元位置の入力と、データ取得部１０７を介したジェスチャ入力とを同時で透過的に処理することにより、相違する直交性の情報に関するインタラクションを単一のジェスチャだけで実現することができる。プロセッサ・ユニット１０８は、例えば、市街地の地図をスクロールしながら同時に縮尺を変えていくといったインタラクションを提供する。ジェスチャを基調とするインタラクションは、直感的で効率的であり、また楽しい。
【００５５】
図２には、携帯型機器１００の外観構成の一例を示している。同図に示す例では、携帯型機器１００本体の左右両端縁にそれぞれ操作部１１１が回動可能にヒンジ結合されている。また、ヒンジ部分には回転センサ１０４が装備されており、機器１００本体に対する操作部１１１の回転操作量を検出することができる。
【００５６】
例えば、ユーザは図示のようにそれぞれの手で左右の操作部１１１をつかんで、機器１００本体に対して操作部１１１を撓ませることができる。このとき、回転センサ１０４によって検出された回転操作量はジェスチャ入力としてデータ取得部１０７を介してプロセッサ・ユニット１０８に与えられる。このようなジェスチャ入力は、視覚的ディスプレイ１０６の表示内容を確認しながら行なうことができる。ユーザは機器１００本体の左右側縁をつかんでジェスチャ入力を行なうことから、表示スクリーンが遮られるというオクルージョンの問題はない。
【００５７】
機器１００本体に対して操作部１１１を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。
【００５８】
また、図３には、図２に示した携帯型機器１００の変形例を示している。
【００５９】
図示の通り、機器１００本体の正面側に視覚的ディスプレイ１０６が配設されるとともに、その反対側すなわち機器１００の背面側にはタッチ・センサ１０５が配設されている。したがって、ユーザは、機器１００正面の表示スクリーン上の表示内容を確認しながら、その背面を指先で走査することによって２次元的な座標指示を行なうことができる。このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。また、正面側の視覚的ディスプレイ１０６上にＧＵＩ操作画面を用意するとともに、背面側のタッチ・センサ１０５上での座標指示位置に応じてこのＧＵＩ操作画面上にカーソルを表示して、タッチ・センサ１０５上での２次元的な座標指示入力と視覚的ディスプレイ１０６上でのＧＵＩ操作を連動させてもよい。
【００６０】
プロセッサ・ユニット１０８では、左右の操作部１１１を用いたジェスチャ入力と、タッチ・センサ１０５を介した２次元的な座標指示入力を同時で透過的に処理することができる。例えば、市街地の地図表示アプリケーションにおいて、タッチ・センサ１０５による指示座標を基に地図の表示場所をスクロールしながら、ジェスチャすなわち操作部１１１の回転操作量に応じて縮尺を切り替えていく（回転操作量の増大とともにズームさせていく）といったインタラクションを行なうことができる。
【００６１】
図４には、携帯型機器１００のさらに他の変形例を示している。
【００６２】
図示の通り、機器１００本体の正面側に視覚的ディスプレイ１０６が配設されるとともに、その反対側すなわち機器１００の背面側にはタッチ・センサ１０５が配設されている。ユーザは、機器１００正面の表示スクリーン上の表示内容を確認しながら、その背面のタッチ・センサ１０５上を指先で走査することによって２次元的な座標指示を行なうことができる。このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。
【００６３】
勿論、正面側の視覚的ディスプレイ１０６上にＧＵＩ操作画面を用意するとともに、背面側のタッチ・センサ１０５上での座標指示位置に応じてこのＧＵＩ操作画面上にカーソルを表示して、タッチ・センサ１０５上での２次元的な座標指示入力と視覚的ディスプレイ１０６上でのＧＵＩ操作を連動させてもよい。
【００６４】
また、この変形例では、ジェスチャ入力の手段として、機器１００本体に対する操作部の回転量ではなく、機器１００本体に印加される撓みを利用する。この場合、機器１００本体に内蔵されている撓みセンサ１０２からのセンサ出力を基にユーザの物理的なインタラクションを計測する。そして、プロセッサ・ユニット１０８は、データ取得部１０７を介してジェスチャ入力を取得する。
【００６５】
この実施形態では、ジェスチャ入力に応じて機器１００本体が変形する。このため、視覚的ディスプレイ１０６には有機ＥＬ素子のような可撓性の表示装置を利用するとともに、可撓性の静電容量型メッシュ・センサをタッチ・センサ１０５に利用するようにすればよい。
【００６６】
図５には、携帯型機器１００のさらに他の変形例を示している。
【００６７】
図示の通り、機器１００本体の正面側に視覚的ディスプレイ１０６が配設されるとともに、その反対側すなわち機器１００の背面側にはタッチ・センサ１０５が配設されている。ユーザは、機器１００正面の表示スクリーン上の表示内容を確認しながら、その背面のタッチ・センサ１０５上を指先で走査することによって２次元的な座標指示を行なうことができるので、座標指示を行なう指先が表示スクリーンを遮ることはない。
【００６８】
勿論、正面側の視覚的ディスプレイ１０６上にＧＵＩ操作画面を用意するとともに、背面側のタッチ・センサ１０５上での座標指示位置に応じてこのＧＵＩ操作画面上にカーソルを表示して、タッチ・センサ１０５上での２次元的な座標指示入力と視覚的ディスプレイ１０６上でのＧＵＩ操作を連動させてもよい。
【００６９】
また、同図に示す例では、携帯型機器１００本体の左右両端縁にそれぞれ操作部１１１が力センサ１０１を介して連結されている。したがって、ユーザが機器１００本体を撓ませるような外力を操作部１１１に印加すると、力センサ１０１がこれをジェスチャ入力として検出する。
【００７０】
したがって、ユーザは、機器１００本体の左右を両手で把持して、視覚的ディスプレイ１０６を眺めながら親指を押し付けることによって、座標指示入力と同時に透過的なジェスチャ入力を行なうことができる。機器１００本体を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。
【００７１】
この実施形態では、ジェスチャ入力に応じて機器１００本体が変形することはないので、視覚的ディスプレイ１０６として可撓性のデバイスを使用する必要は必ずしもない。
【００７２】
図６には、携帯型機器１００のさらに他の変形例を示している。
【００７３】
図示の通り、機器１００本体の正面側に視覚的ディスプレイ１０６が配設されるとともに、その反対側すなわち機器１００の背面側にはタッチ・センサ１０５が配設されている。ユーザは、機器１００正面の表示スクリーン上の表示内容を確認しながら、その背面のタッチ・センサ１０５上を指先で走査することによって２次元的な座標指示を行なうことができる。このような場合、座標指示を行なう指先が表示スクリーンを遮ることはない。
【００７４】
勿論、正面側の視覚的ディスプレイ１０６上にＧＵＩ操作画面を用意するとともに、背面側のタッチ・センサ１０５上での座標指示位置に応じてこのＧＵＩ操作画面上にカーソルを表示して、タッチ・センサ１０５上での２次元的な座標指示入力と視覚的ディスプレイ１０６上でのＧＵＩ操作を連動させてもよい。
【００７５】
また、この変形例では、ジェスチャ入力の手段として、機器１００本体の左右の両端には、表裏双方に圧力センサ１０３が配設されている。したがって、ユーザが機器１００本体の端部を親指と人差し指等で挟み込むように摘んで、撓ませるような外力を印加すると、圧力センサ１０３が親指から印加される圧力をジェスチャ入力として検出する。
【００７６】
したがって、ユーザは、機器１００本体の左右を両手で把持して視覚的ディスプレイ１０６を眺めながら、親指と人差し指等で挟み込んだ姿勢で機器１００本体の表面をせり出すように上方向に撓ませる力を印加したり、あるいは表面を凹ませるように下方向に力を印加することによって、座標指示入力と同時に透過的なジェスチャ入力を行なうことができる。機器１００本体を撓ませるというジェスチャは、ユーザの感情や衝動に従って直感的に行なうことができるものであり、効率的な物理的インタラクションである。
【００７７】
この実施形態では、ジェスチャ入力に応じて機器１００本体が変形することはないので、視覚的ディスプレイ１０６として可撓性のデバイスを使用する必要は必ずしもない。
【００７８】
圧力センサ１０３を用いてジェスチャ入力を実現するためのメカニズムを、図７〜図８を参照しながら説明する。
【００７９】
図７に示すように、２つの圧力センサ１０３が機器１００本体の正面及び背面にそれぞれ貼設されている。そして、一方の手の親指並びに人差し指等を用いて各々の面で圧力センサ１０３に触れている。
【００８０】
ユーザは、このように親指並びに人差し指等で挟み込むように摘んで、機器１００本体の表面をせり出すように上方向に撓ませる力を印加したり、あるいは表面を凹ませるような下方向に力を印加することができる。ユーザが機器１００本体に対していずれの方向に力を印加しているかは、正面及び背面それぞれに配設した圧力センサ１０３間のセンサ出力の差分によって検出することができる。すなわち、正面側の圧力センサ１０３の出力の方が背面側よりも大きければ下方向の力が印加され、下方向へのジェスチャ入力が行なわれていると判断される（図８を参照のこと）。
【００８１】
勿論、圧力センサ１０３を正面又は背面のいずれか一方にのみ配設して、構造を簡素化してもよい。このような場合、力の印加はいずれか一方においてのみ可能で、また圧力の大小のみでジェスチャ入力が行なわれる。
【００８２】
本発明は、コンピュータ・インターフェースが座標指示と力の伝達を同時に行なうことができるコンピュータ・インターフェースを提供するものである。図３〜図６に示したように、本発明に係る携帯型機器１００における必須の構成として、タッチ・パネル１０５を機器１００本体の背面に配設することが挙げられる。このような構成により、ユーザは、機器本体の左右両端を両手で把持することにより、ごく自然に機器１００を持つことができる。そして、ユーザは、手で機器１００本体に力を伝達してジェスチャ入力を行なうと同時に、タッチ・パネル１０５上に置いた指先を自由に移動することによって、座標指示入力を透過的に行なうことができる。
【００８３】
このようなコンピュータ・インターフェースによれば、キーボードやマウス、ペンなどを使用しなくても、ハンドヘルド型のコンピュータに対して複雑なインタラクションを実現することができる。また、機器の視覚的ディスプレイ１０６を遮るという問題もない。したがって、このコンピュータ・インターフェースを、小型の表示ディスプレイしか持たない機器と組み合わせることにより、快適な操作環境を提供することができる。
【００８４】
携帯型機器１００は、タッチ・パネル１０５上に指先を置いて座標指示のためのインタラクションを行ないながら、ユーザが機器本体に力を印加してジェスチャ入力インタラクションを行ない易いようなフォームファクタを備えていることが好ましい。
【００８５】
本実施形態に係る携帯型機器１００によれば、視覚的ディスプレイ１０６によって提供された表示情報又はＧＵＩオブジェクトに対して座標指示入力を行なうと同時に、ジェスチャ入力に応答して指示された特定の位置に対してさらなる処理を適用することができる。以下では、本実施形態に係る携帯型機器１００におけるこのようなデータの同時入力の方法について説明する。
【００８６】
（１）座標指示入力と連続的な力制御の組み合わせ：
この場合、ユーザが機器１００本体に印加する力は、インターフェース・コントロールにおけるアナログ値にマッピングされる。
【００８７】
例えば、視覚的ディスプレイ１０６上に地図を表示して、機器１００本体背面のタッチ・パネル１０５を利用して地図上の場所を指示すると同時に、ユーザの物理的インタラクションを力センサ１０１で検出して、このセンサ出力に従って地図の縮尺をコントロールする。そして、機器１００本体に印加された撓み量が小さければ視覚的ディスプレイ１０６上の地図表示を拡大又は縮小する。また、機器１００が剛体で力を加えても実際には変形しない場合には、どれだけのアナログ値が機器１００本体に入力されたかを力覚的ディスプレイ１０９を用いてユーザにフィードバックするようにしてもよい。
【００８８】
（２）座標指示入力と閾値を越えた力制御の組み合わせ：
ユーザが機器１００本体に印加した力が所定の閾値を越えたときに、システムに対するコマンドを発行したり、インターフェースの状態や動作モードを切り替えたり、その他のＧＵＩオペレーションを実行する。
【００８９】
例えば、ユーザは、タッチ・パネル１０５を介してメニュー上のセレクタを移動してメニューを閲覧することができる。所望の要素が選択されたときに、さらに機器１００本体を撓ませるような物理的インタラクションを行なえばよい。そして、このとき印加された外力が所定の閾値に到達したことに応答して、該当するメニュー・コマンドが実行される。ユーザが行なったジェスチャの力が所定レベルに到達して、物理的インタラクションが有効に作用したことを、例えば力覚的ディスプレイ１０９を用いてユーザに通知するようにしてもよい。
【００９０】
（３）座標指示入力とジェスチャ・ベースの力制御：
機器１００本体に印加された力のパターンを認識して、特定のコマンドとして取り扱う。
【００９１】
例えば、ユーザは視覚的ディスプレイ１０６上で表示されている地図上で所望の位置をタッチ・パネル１０５を介して走査して、さらに、機器１００本体を垂直方向に２回だけ瞬時に撓ませることによって、画面表示を切り替える。
【００９２】
このような場合、例えば機器１００本体を同じ方向又は逆方向に撓ませたり、異なる時刻に撓ませたり、所定の間隔を置いて撓ませたりすることによって、さまざまなジェスチャを作ることができる。そして、機器１００本体に印加した物理的インタラクションの認識並びに該当するコマンドの実行が成功したことを、例えば力覚的ディスプレイ１０９を用いてユーザに通知するようにしてもよい。
【００９３】
図９には、ジェスチャ入力を利用したシステム・オペレーションをフローチャートの形式で示している。このような処理は、実際には、所定のプログラム・コードを起動するプロセッサ・ユニット１０８が、ジェスチャ入力並びにタッチ・パネル１０５を介した座標指示入力を同時且つ透過的に取り扱うことによって実現される。
【００９４】
まず、タッチ・パネル１０５を介した指示座標値（Ｘ，Ｙ）、並びに力センサ１０１で検出された力Ｆ、若しくは撓みセンサ１０２、圧力センサ１０３、回転センサ１０４を介したジェスチャを入力する（ステップＳ１）。
【００９５】
ここで、ユーザがジェスチャを形成した場合（例えば、機器１００本体を２回だけ変形させる）には（ステップＳ２）、力覚的ディスプレイ１０９を介してユーザに力覚的フィードバックを返した後（ステップＳ３）、メニューを表示するなど所定のアクションを実行する（ステップＳ４）。また、ユーザがジェスチャを行なわなかった場合には、入力データの読み込みを継続する（ステップＳ５）。
【００９６】
また、タッチ・パネル１０５を介した座標指示入力が行なわれた場合には、支持座標に対応するＧＵＩオブジェクトを探索する（ステップＳ６）。
【００９７】
次いで、指定されたＧＵＩオブジェクトがメニュー項目やハイパーリンクなどの選択可能なオブジェクトかどうかを判別する（ステップＳ７）。
【００９８】
そして、指定されたＧＵＩオブジェクトが選択可能である場合には、さらに、ジェスチャ入力により機器１００本体に印加された力Ｆが所定の閾値を越える（あるいは、ジェスチャ入力の程度が所定レベルを越える）かどうかを判別する（ステップＳ８）。
【００９９】
力Ｆが所定の閾値を越える場合には、入力されたジェスチャを有効化して、力覚的ディスプレイ１０９を介してユーザに力覚的フィードバックを返した後（ステップＳ９）、選択されたメニューの実行やハイパーリンクの探索など、指示座標に基づくコマンドを発行する（ステップＳ１０）。また、力Ｆが所定の閾値に達しないなどジェスチャ入力が有効化されなかった場合には、入力データの読み込みを継続する（ステップＳ１１）。
【０１００】
また、ステップＳ７において、選択可能なＧＵＩオブジェクトが指示されていないと判断された場合には、さらに、このＧＵＩオブジェクトが縮尺や色合い、サイズといった連続的な値をコントロールするものかどうかを判別する（ステップＳ１２）。
【０１０１】
ＧＵＩオブジェクトが連続的な値をコントロールするものである場合には、機器１００本体に印加された力Ｆ（あるいは、その他の入力されたジェスチャ）を、地図表示のズームなど制御値の変更にマッピングする（ステップＳ１３）。そして、力覚的ディスプレイ１０９を介してユーザに力覚的フィードバックを返した後（ステップＳ１４）、入力データの読み込みを継続する（ステップＳ１５）。
【０１０２】
また、ステップＳ１２における判断結果が否定的である場合には、指示されたＧＵＩオブジェクトがヘルプやプレビュー、他のビューなどの付加的な情報レイヤを持つかどうかをさらに判別する（ステップＳ１６）。
【０１０３】
付加的な情報レイヤを持つ場合には、ジェスチャ入力による連続的なコントロールが可能かどうかを判別する（ステップＳ１７）。そして、ジェスチャ入力による連続的なコントロールが可能である場合には、機器１００本体に印加された力Ｆ（あるいは、その他の入力されたジェスチャ）を、ズーム・イン／アウトやブレンドなど付加的な情報レイヤにマッピングする（ステップＳ１８）。そして、力覚的ディスプレイ１０９を介してユーザに力覚的フィードバックを返した後（ステップＳ１９）、入力データの読み込みを継続する（ステップＳ２０）。
【０１０４】
一方、ジェスチャ入力による連続的なコントロールが可能でない場合には、さらに、機器１００本体に印加された力Ｆが所定の閾値を越える（あるいは、ジェスチャ入力の程度が所定レベルを越える）かどうかを判別する（ステップＳ２１）。力Ｆが所定の閾値を越える場合には、力覚的ディスプレイ１０９を介してユーザに力覚的フィードバックを返した後（ステップＳ２２）、ポップ・アップ・ヘルプなどの付加的な情報を表示する（ステップＳ２３）。また、力Ｆが所定の閾値に達しないなどジェスチャ入力が有効化されなかった場合には、入力データの読み込みを継続する（ステップＳ２４）。
【０１０５】
また、ステップＳ１６において、指示されたＧＵＩオブジェクトが付加的な情報を持たないと判別された場合には、入力データの読み込みを継続する（ステップＳ２５）。
【０１０６】
以上説明してきたように、本実施形態に係るジェスチャ入力は、マウスやタッチ・スクリーン、キーボードなどを使用しないハンドヘルド型の機器におけるインタラクションに利用することができる。例えば以下のような用途を挙げることができる。
【０１０７】
▲１▼ディスプレイ・スクリーンのための先進的なリモート・コントロール
▲２▼ＴＶ受像機のための先進的なリモート・コントロール（図１０を参照のこと）
▲３▼ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）やその他の個人情報の閲覧や管理
▲４▼携帯電話機
▲５▼電子ブック
▲６▼ハンドヘルド型のゲーム・コントローラ
【０１０８】
図１０には、本実施形態に係るジェスチャ入力をＴＶ受像機などのオーディオ機器用リモート・コントローラに適用した様子を示している。同図に示すような実施形態においては、ユーザはリモート・コントローラ本体を上下各方向に曲げるという物理的インタラクションを印加する。このとき、曲げ量又は本体に印加する力の強弱のパターンを変える。そして、リモート・コントローラ内ではこのようなジェスチャを機器コントロール用のデータやコマンドにデコードして、機器本体に転送する。
【０１０９】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１１０】
【発明の効果】
以上詳記したように、本発明によれば、複雑な入力オペレーションを比較的簡単なユーザ動作で実現することができる、優れた携帯情報機器を提供することができる。
【０１１１】
また、本発明によれば、ユーザの物理的なジェスチャを受容する物理的なユーザ・インターフェースを備えて入力操作を簡単にすることができる、優れた携帯情報機器を提供することができる。
【０１１２】
また、本発明によれば、ユーザが行なう複数のジェスチャを透過的に組み合わせて機器に対する入力として取り扱うことができる、優れた携帯情報機器を提供することができる。
【０１１３】
また、本発明によれば、機器に対する物理的なインタラクションを機器への汎用的なインターフェースとして用いることができる、優れた携帯情報機器を提供することができる。
【０１１４】
本発明によれば、コンピュータ・インターフェースが座標指示と力の伝達を同時に行なうことができるコンピュータ・インターフェースを提供することができる。すなわち、多元的なユーザ入力を同時に行なうことができるので、操作性が高まるとともにインタラクションの表現力が増す。
【０１１５】
このようなユーザ入力の組み合わせを用いることは、とりわけハンドヘルド若しくは携帯型、携行型のコンピュータにおいて効果的であり、マウスやタッチ・パネル、キーボードなどを用いなくても、ユーザに豊かなインタラクションをもたらすことができる。また、本発明に係るインターフェースは、表示スクリーンとは干渉しないので、ジェスチャによるインタラクションにおいてスクリーンの表示内容が遮られることはない。
【０１１６】
本発明に係るインターフェースによれば、ユーザは、相違する直交性の情報に関するインタラクションを単一のジェスチャだけで実現することができる。ジェスチャを基調とするインタラクションは、直感的で効率的であり、また楽しい。
【０１１７】
本発明に係るインターフェースによれば、小型のハンドヘルド・コンピュータ上で、２次元的な座標指示と力入力を同時で透過的に行なうことができる。例えば、市街地の地図をスクロールしながら同時に縮尺を変えていくといったインタラクションを単一のジェスチャにより行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る携帯型機器１００のハードウェア構成を模式的に示した図である。
【図２】携帯型機器１００の外観構成の一例を示した図である。
【図３】図２に示した携帯型機器１００の変形例を示した図である。
【図４】図２に示した携帯型機器１００の変形例を示した図である。
【図５】図２に示した携帯型機器１００の変形例を示した図である。
【図６】図２に示した携帯型機器１００の変形例を示した図である。
【図７】圧力センサ１０３を用いてジェスチャ入力を実現するためのメカニズムを説明するための図である。
【図８】圧力センサ１０３を用いてジェスチャ入力を実現するためのメカニズムを説明するための図である。
【図９】ジェスチャ入力を利用したシステム・オペレーションを示したフローチャートである。
【図１０】ジェスチャ入力の応用例を示した図である。
【符号の説明】
１００…携帯型情報機器
１０１…力センサ，１０２…撓みセンサ
１０３…圧力センサ，１０４…回転センサ
１０５…タッチ・パネル
１０６…視覚的ディスプレイ
１０７…データ取得部
１０８…プロセッサ・ユニット
１０９…力覚的ディスプレイ
１１１…操作部

Claims

ユーザ入力に応答して動作する携帯情報機器であって、
機器本体と、
前記機器本体に対してユーザが印加した物理的インタラクションを取得するジェスチャ入力手段と、
ユーザ入力に応じた処理を実行する処理手段と、
を具備することを特徴とする携帯型情報機器。
前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する視覚的ディスプレイと、
前記機器本体背面に配設されて、ユーザの指先による操作に応じてディスプレイ・スクリーン上で方向入力を行なう方向入力手段と、
をさらに備えることを特徴とする請求項１に記載の携帯型情報機器。
前記処理手段による処理結果を力覚的にユーザにフィードバックする力覚提示部をさらに備える、
ことを特徴とする請求項１に記載の携帯型情報機器。
前記ジェスチャ入力手段は、
前記機器本体の左右両端に回動自在に結合された操作部と、
前記操作部の前記機器本体に対する回転操作量を検出する回転センサと、
前記回転センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部と、
を備えることを特徴とする請求項１に記載の携帯型情報機器。
前記機器本体は可撓性であり
前記ジェスチャ入力手段は、
ユーザによる物理的インタラクションによる前記機器本体の撓み量を検出する撓みセンサと、
前記撓みセンサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部と、
を備えることを特徴とする請求項１に記載の携帯型情報機器。
前記撓みセンサは前記機器本体の撓み量と撓み方向を検出する、
ことを特徴とする請求項５に記載の携帯型情報機器。
前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する可撓性の視覚的ディスプレイと、
前記機器本体背面に配設されて、ユーザの指先による操作に応じて方向入力を行なう可撓性の方向入力手段と、
をさらに備えることを特徴とする請求項５に記載の携帯型情報機器。
前記ジェスチャ入力手段は、
前記機器本体の左右両端に取り付けられた操作部と、
前記機器本体に対して前記操作部を変形させる外力を検出する力センサと、
前記回転センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部と、
を備えることを特徴とする請求項１に記載の携帯型情報機器。
前記ジェスチャ入力手段は、
前記機器本体を変形させようと印加された外力を検出する圧力センサと、
前記圧力センサのセンサ出力をジェスチャ入力として前記処理手段に供給するデータ取得部と、
を備えることを特徴とする請求項１に記載の携帯型情報機器。
前記圧力センサは前記機器本体の上下の各面に配設されて、ユーザが該左右両端をつかんで前記機器本体を上方向及び／又は下方向に撓ませようとする圧力を検出する、
ことを特徴とする請求項９に記載の携帯型情報機器。
前記力センサは前記機器本体に対して印加された力の大きさと力の方向を検出する、
ことを特徴とする請求項９に記載の携帯型情報機器。
前記機器本体正面に配設されて、前記処理手段による処理結果を視覚的に表示する視覚的ディスプレイと、
ディスプレイ・スクリーン上での方向入力を行なう方向入力手段をさらに備え、
前記処理手段は、前記ジェスチャ入力手段を介したジェスチャ入力と前記方向入力手段を介した方向入力を同時で透過的に処理する、
ことを特徴とする請求項１に記載の携帯型情報機器。
前記処理手段は、前記方向入力手段を介して指定された前記ディスプレイ・スクリーン上のオブジェクトに対して、前記ジェスチャ入力手段を介した物理的インタラクションに応じた処理を適用する、
ことを特徴とする請求項１２に記載の携帯型情報機器。
前記ジェスチャ入力手段は、ユーザが前記機器本体に印加した物理的インタラクションの強度を検出する力センサで構成され、
前記処理手段は、前記力センサによる連続的なセンサ出力をインターフェース・コントロールのためのアナログ値として取り扱う、
ことを特徴とする請求項１に記載の携帯型情報機器。
前記ジェスチャ手段を介してどれだけのアナログ値が入力されたかをユーザに力覚的にフィードバックする力覚的提示部をさらに備える、
ことを特徴とする請求項１４に記載の携帯型情報機器。
前記ジェスチャ入力手段は、ユーザが前記機器本体に印加した物理的インタラクションの強度を検出する力センサで構成され、
前記処理手段は、前記力センサによるセンサ出力が所定の閾値を越えたことに応答してシステム・オペレーションを制御する、
ことを特徴とする請求項１に記載の携帯型情報機器。
前記ジェスチャ手段を介した物理的インタラクションが有効に作用したことをユーザに力覚的に通知する力覚的提示部をさらに備える、
ことを特徴とする請求項１６に記載の携帯型情報機器。
前記ジェスチャ入力手段は、ユーザが前記機器本体に印加した物理的インタラクションの強度を検出する力センサで構成され、
前記処理手段は、前記力センサにより検出された力のパターンを認識して特定のコマンドとして取り扱う、
ことを特徴とする請求項１に記載の携帯型情報機器。
前記ジェスチャ手段を介した物理的インタラクションの認識並びに該当するコマンドの実行が成功したことをユーザに力覚的に通知する力覚的提示部をさらに備える、
ことを特徴とする請求項１８に記載の携帯型情報機器。