JP6170973B2 - 携帯情報端末、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、携帯情報端末、情報処理方法、及び、プログラムに関する。

近年、手首に装着して使用するウェアラブル端末として、いわゆるスマートウォッチと呼ばれている腕時計型携帯端末が次々に上市されてきている。スマートウォッチは、腕時計の如く手首に装着して使用できるため、スマートフォンや携帯電話等のように手で持たなくても使用できたり、紛失したりすることもなく、その手軽さがユーザに受け入れられている。

Engadget JP Staff"Wearable Tech Expo：指輪型ウェアラブルデバイス「Ring」は本当に動いた″、[online]、平成26年3月26日、ウェアラブルガジェット展示会 Wearable Tech Expo in Tokyo 2014、［平成27年7月28日検索］、インターネット〈 URL:http://japanese.engadget.com/2014/03/26/wearable-tech-expo-ring/ 〉 David Kim 他6名 Digits: Freehand 3D Interactions Anywhere Using a Wrist-Worn Gloveless Sensor. [online]. Microsoft Research 他2社, pages 167-176, [平成27年7月28日検索]、インターネット〈 URL:http://people.inf.ethz.ch/otmarh/download/Papers/p167-kim(Digits).pdf 〉

ところで、上述のスマートウォッチにはタッチパネル機能を備えたディスプレイが備えられている。ユーザはディスプレイに対してタッチ操作を行う際に、例えば左腕にスマートウォッチを装着している場合は、右手の人差し指等を使用することが一般的である。

ところが、従来、例えばスマートフォンのような携帯情報端末のディスプレイに対するタッチ操作においては、例えば左手にスマートフォンを携帯する場合、その左手の親指を使用する。そうすると、スマートフォンでは片手で操作が可能であるところ、スマートウォッチでは両手での使用を余儀なくされる。これでは、手軽さを売りにしているスマートウォッチに使用し辛い一面があるということになり、好ましくない。

他方、片手で使用できるように開発されたデバイスも登場してきている。例えば非特許文献１に開示された「RING」は、指にリング状のデバイスを装着し、絵や文字等を描くと、ジェスチャーとして認識可能なリモコンデバイスである。

また、例えば非特許文献２に開示された「Digits」は、手首に装着したＩＲカメラ等のセンサにより手指で表現されたジェスチャーを認識するデバイスである。

しかし、非特許文献１に開示された「RING」のようなデバイスは、指ごとに当該デバイスが必要であるとともに、指による操作に対するユーザへのフィードバックをデバイス単体で得ることができない。

また、非特許文献２に開示された「Digits」のようなデバイスは、そもそも手首に大がかりな装置を装着しなければならず、日常生活において使用するに際し、使い勝手が良くない上、手軽さに欠ける。

本発明は、このような実情に鑑みてなされたものであって、手軽かつ簡単な仕組みで手指のジェスチャーを認識することを目的とする。

上記の課題を解決するため、本発明の携帯情報端末は、腕に装着する携帯情報端末であって、腕の動きに応じた周波数を検出する検出手段と、検出手段により検出された周波数のうち、所定の特徴量を有する周波数を抽出する周波数抽出手段と、周波数抽出手段により抽出された周波数が有する所定の特徴量が予め記憶された特徴量に近似するとき、該予め記憶された特徴量に対応づけられた所定の手指の動作が行われたことを判定する動作判定手段とを備え、周波数抽出手段は、腕のみの動作に基づいて検出された周波数と、少なくとも１本以上の手指の動作に基づいて検出された周波数と、を区分けし、手指の動作に基づいて検出された周波数を、所定の特徴量を有する周波数と判断して抽出する、ことを特徴とする。

本発明によれば、手軽かつ簡単な仕組みで手指のジェスチャーを認識することができる。

本発明の実施形態における携帯情報端末の装着例である。 指の動作に連動して動作する腕表面の動きの例を示す模式図である。 本発明の実施形態における携帯情報端末のハードウェア構成図である。 本発明の実施形態における携帯情報端末の機能ブロック図である。 本発明の実施形態における特定の指の動きを抽出する際における周波数分析の一例を示す図である。 本発明の実施形態における特定の指の動きに対応して処理させる処理内容を示すテーブルである。

本発明の実施形態の携帯情報端末について図面を用いて以下説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。また、以下に記載する実施形態は本発明の最良の形態であって、本発明に係る特許請求の範囲を限定するものではない。

本実施形態における携帯情報端末に関し、例えば手首に装着するスマートウォッチを例として説明する。図１は、人の手１へのスマートウォッチ１０の装着例を示した概略図である。なお図１では、スマートウォッチ１０の装着位置は手首であるが、手首に限定されず、より肘に近い位置であってもよい。また、スマートウォッチ１０の形状は正方形状に限定されず、円形等の他の形態であってもよい。

また、スマートウォッチ１０の上面には各種情報を表示する液晶ディスプレイ等の表示部が備えられ、また、表示部に重畳するように、ユーザのタッチ操作を受け付けるタッチパネルを備えていてもよい。さらに、スマートウォッチ１０は、スマートフォン等が備える機能を有していてもよく、また、スマートフォン等が備える機能を全て有していなくとも、スマートフォンと連携させて、スマートフォンの操作支援を行うような機能を備えるものであってもよい。

［本発明の作用効果を奏させる上での本願発明者等の発見について］
次に、本発明による作用効果を奏させる上で、本願発明者等が本願発明に係る携帯情報端末を鋭意開発する過程で得た発見について図２を参照して以下に説明する。概略として、本願の発明者等は、人が手指を動かした際に、その手指の動きに連動して、その手指が延びる腕の手首表面が動くことを発見した。

具体的には、本願の発明者等は、例えば図２（ａ）に示すように、親指１ａを矢印Ａ方向に突き出すように動作させた際、破線で示す手首表面が矢印Ｂ方向に上下動することを発見した。

また、本願の発明者等は、例えば図２（ｂ）に示すように、人差し指１ｂを矢印Ｃ方向に動作させた際、破線で示す手首表面が矢印Ｄ方向に反時計回りに動作することを発見した。

つまり、本願の発明者等は、指を動かした際に、手首を含む腕に指の動作に対応した固有の動きがあること、すなわち指の動きと手首を含む腕の動きに強い相関性があることを見い出した。

本願発明は、これらの手首表面の動作を周波数として、加速度センサ、ジャイロセンサ等で検出し、検出した周波数に基づいて指の動作を判別することを特徴とするものである。つまり、本願発明は指の動作を直接的に測定するものではなく、上記のような指の動きと手首の動きとの相関性を利用して、一旦、手首を含む腕の動きから特徴的な周波数を検出し、その検出周波数から間接的に特定の指の動きを判別することを特徴とするものである。

しかも、本願発明は、従来技術のような大がかりで、かつ指ごとにセンサを要するような煩わしさがない。つまり、本願発明は、既存の加速度センサやジャイロセンサを内蔵した簡易な携帯情報端末単体で、指による直観的な操作が片手で可能になるという格別な効果を奏する。

［本実施形態における携帯情報端末のハードウェア構成について］
次に、本実施形態における携帯情報端末のハードウェア構成について、図３を参照して説明する。なお、ここで説明する構成は一例であって、本発明における携帯情報端末のハードウェア構成が本構成に限定されるものではない。

本実施形態における携帯情報端末は、ハードウェア構成として、加速度センサ１１と、ジャイロセンサ１２と、RAM１３と、ROM１４と、CPU１５と、表示部１６と、NW I／F１７と、入出力部１８を備える。

加速度センサ１１は、加速度を測定し、適切な信号処理を行うことによって、傾きや動き、振動や衝撃等の情報を得るためのセンサである。例えばMEMS (Micro Electro Mechanical Systems) 型の加速度センサが一般的である。MEMS型の加速度センサは、検出素子部と、信号処理回路で構成される。検出素子部の検出方式としては、静電容量検出方式、ピエゾ抵抗方式、熱検知方式があるが、本実施形態における加速度センサ１１ではいずれであっても構わない。本実施形態では、加速度センサ１１により、腕自体の縦方向、横方向、若しくは奥行き方向動作、又は腕表面の動きを周波数として検出する。

ジャイロセンサ１２は、回転角速度を測定するセンサであり、加速度センサでは測定できない物体の回転動作を測定する。例えばMEMS技術を採用した振動式ジャイロセンサが一般的である。本実施形態では、ジャイロセンサ１２によって、携帯情報端末が装着された腕、若しくは腕表面における回転動作を検出する。なお、加速度センサ１１とジャイロセンサ１２を組み合わせて腕自体の動きや腕表面の動きを検出するものであってもよい。

RAM１３は、本実施形態における携帯情報端末により実行される処理プログラムのワークメモリ等として機能する。

ROM１４は、上記処理プログラム、上記各センサにより測定された周波数、測定周波数との一致度に基づいて携帯情報端末に実行させる処理内容を判定するために予め記憶される周波数、該周波数に対応する処理内容を規定したテーブルデータ等を記憶する記憶部として機能する。

CPU１５は、加速度センサ１１やジャイロセンサ１２からの測定結果を受け、上記処理プログラムを実行し、表示部１６等の各機能部を制御する。なお、処理プログラムを組み込んだマイクロコンピュータであってもよい。

表示部１６は、文字、数字、記号、図形等の各種情報を表示する、例えば液晶ディスプレイ等の表示手段である。なお、表示部１６に重畳して、ユーザによるタッチ操作を受け付けるタッチパネルを備えていてもよい。

NW I/F１７は、外部機器との間で通信ネットワークを介して通信接続するためのインタフェースである。本実施形態においては、携帯情報端末であるため、無線通信であることが好ましいが、本発明としては、有線通信であってもよい。

入出力部１８は、例えば音声入力を受け付けるマイクや、上述したタッチ入力を受け付けるタッチパネルや、音声を出力するスピーカ等である。

［本実施形態における携帯情報端末の機能ブロックについて］
次に、本実施形態における携帯情報端末の機能ブロックについて図４を参照して説明する。本実施形態における携帯情報端末は、機能ブロックとして、検出手段１０１と、周波数抽出手段１０２と、動作判定手段１０３と、記憶手段１０４と、処理手段１０５とを備える。

検出手段１０１は、人の腕の動きに応じた周波数を検出する。検出手段１０１は、腕自体の動きに応じた周波数、又は、腕表面の動きに応じた周波数を検出する。検出手段１０１は、例えば図３に示した加速度センサ１１、ジャイロセンサ１２、又はこれらの組合せからなるセンサによってその機能が実現される。なお「腕の動きに応じた周波数」とは、例えば加速度センサ１１やジャイロセンサ１２により、腕の縦横奥行き等の３軸方向の動きや、各軸を元にした３つの回転動作として測定された６軸のデータから導出される周波数といった程度の意味である。

周波数抽出手段１０２は、検出手段１０１により検出された周波数のうち、所定の特徴量を有する周波数を抽出する。周波数抽出手段１０２の機能は、例えばROM１４に記憶された当該機能を定義した動作プログラムがRAM１３に読み込まれ、これをCPU１５が実行することにより実現される。周波数抽出手段１０２は、上述の加速度センサ、ジャイロセンサ、又はこれらの組合せからなるセンサに基づいて測定された６軸のセンスそれぞれを分析した結果得られる所定の特徴量を有する周波数を抽出する。「所定の特徴量」とは、例えば、腕や手を単に無造作に動かしたときに得られる周波数が有する通常の波形等とは異なる、特徴的な波形等を言う。

動作判定手段１０３は、周波数抽出手段１０２により抽出された周波数が有する所定の特徴量が予め記憶された特徴量に近似するとき、該予め記憶された特徴量に対応づけられた所定の手指の動作が行われたことを判定する。「近似」には、抽出された周波数の特徴量と記憶された特徴量と一致すること、抽出された周波数の特徴量が記憶された所定範囲の特徴量に含まれる等の概念が含まれる。「所定の手指の動作」とは、例えばＰＣのキーボードを叩く等のような通常行われる動作と異なる特殊又は微細な動作を言う。例えば従来からタッチパネルに対して行われているようなタッチ操作等のような直観的な操作を特殊又は微細な動作として設定しておくことで、ユーザは特殊又は微細な動作であっても、従来から認識している操作感覚で携帯情報端末を簡単に操作することができる。本処理の詳細については後述する。

記憶手段１０４は、所定の手指の動作として通常行われる動作と異なる特殊又は微細な動作を予め記憶された特徴量に対応させたテーブルを記憶する。記憶手段１０４は、例えばROM１４等により、その機能が実現される。なお、記憶手段１０４は、携帯情報端末そのものが備えていなくてもよい。例えば、近年のクラウドコンピューティングシステムで見られるように、ネットワークを介して接続された外部記憶装置に記憶手段１０４の機能を担わせて、必要時にその外部記憶装置から周波数等のデータをネットワークを介して取得するようにしてもよい。テーブルの詳細については後述する。そして、動作判定手段１０３は、記憶手段１０４に記憶されたテーブルに基づいて前記特殊又は微細な動作が行われたことを判定する。

周波数抽出手段１０２は、検出手段１０１により検出された周波数のうち、所定の特徴量を有する周波数を抽出する。例えば、該周波数の所定の測定値が所定の閾値以上である周波数を抽出する。これにより、判別対象としたい指ないし腕の動きを重点的に判別し、それ以外の日常的に行う動作に基づく周波数を判別対象外として、日常的な動作による誤作動を防止することが可能となる。例えば、歩きながら腕全体を前後に振っている状態で図２（ａ）に示すような親指１ａを矢印Ａ方向に突き出すように動作をした場合でも、判別対象としたい親指１ａを矢印Ａ方向に突き出す動作だけを判別しやすくすることができる。あるいは、周波数抽出手段１０２は、検出手段１０１により所定数が検出された周波数を抽出することとしてもよい。

処理手段１０５は、動作判定手段１０３により判定された手指の動作に対応付けられた処理を実行する。処理手段１０５による上記機能は、CPU１５により実現される。

［各センサにより検出された周波数に基づく指の動き抽出について］
次に、加速度センサ１１やジャイロセンサ１２により検出された周波数から所定の特徴量を有する周波数を抽出して、抽出された周波数に基づいて所定の手指の動きを判定する処理の具体例について図５を参照して説明する。なお、ここでは、腕を振りながら行われた親指の動作を判定する例を用いて説明するが、一例に過ぎないことは言うまでもない。

図５（ａ）は、各センサにより検出された周波数として、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの方向に腕が動かされた場合の周波数を示すものである。

図５（ｂ）は、図５（ａ）に示した測定周波数を分析し、特徴的な部分をフィルタリング等の処理により抽出した結果を示すものである。ここでは、図の左側に「腕の動作のみ」である場合の非特徴的な波形が示され、図の右側に腕と指を同時に動かした場合に現れる特徴的な波形が示されている。

図５（ｃ）は、図５（ｂ）に示した特徴的な波形を元にパターンマッチング処理により親指の動きを示す波形データを抽出したものである。このように、本実施形態によれば、腕乃至手首に装着した携帯情報端末に内蔵された各センサ等で測定した周波数を分析することで、指の動きを判定することが可能となる。

［判定された指の動きに対応した処理について］
次に、図５に示したような親指の動きが判定された場合に、その親指の動きに対応して携帯情報端末に動作させる処理内容の具体例としてのテーブルデータについて図６を参照して説明する。なお、図６は一例を示すものであり、特徴的な周波数の検出数に応じて処理内容を対応させることが可能である。処理手段１０５は、動作判定手段１０３により、記憶手段１０４に予め記憶された特徴量に対応づけられた所定の手指の動作が行われたことが判定されたとき、記憶手段１０４に記憶されたここでのテーブルデータを元にして特定の指動作に対応する処理を実行する。

図６は、指の動き、検出周波数、処理内容を対応させたテーブルデータとしている。ここでは、［１］として「親指を動かす」、「Ｘ１〜Ｘ２［Ｈｚ］」、「上スクロール」が対応付けられ、［２］として「人差し指を動かす」、「Ｙ１〜Ｙ２［Ｈｚ］」、「下スクロール」が対応付けられ、［３］として「中指を動かす」、「Ｚ１〜Ｚ２［Ｈｚ］」、「決定」が対応付けられている。なお、図６では、指の動きのみを例示しているが、これに腕自体の動きを組み合わせてもよい。もちろん、指のみであっても、例えば親指と人差し指等の２本以上の指を組み合わせた動きに対応する周波数を設定してもよい。これらにより、携帯情報端末に処理させる処理内容の種類を増やすことが可能となる。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の携帯情報端末における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また、本実施形態は、指の動きを、指から離れた手首から検出した手首の動きに対応する周波数に基づいて間接的に判定することについて説明したものであるが、本発明はこれに限定されず、動きを検出したい部位から離れた部位をセンシングして得られる周波数等のデータに基づいて、所望する対象部位の動きを間接的に判定することが有用である様々な利用シーンに適用することが可能である。例えば、足の動きを判定するために大腿部等をセンシングする利用シーンや、顔の動きを判定するために首回りをセンシングする利用シーンや、腕や脚の動きを判定するために胴体部をセンシングする利用シーン等に本発明を適用することが可能である。

１０ 携帯情報端末
１１ 加速度センサ
１２ ジャイロセンサ
１３ ＲＡＭ
１４ ＲＯＭ
１５ ＣＰＵ
１６ 表示部
１７ ＮＷ Ｉ／Ｆ
１８ 入出力部
１０１ 検出手段
１０２ 周波数抽出手段
１０３ 動作判定手段
１０４ 記憶手段
１０５ 処理手段

Claims (9)

1. 腕に装着する携帯情報端末であって、
   腕の動きに応じた周波数を検出する検出手段と、
   前記検出手段により検出された周波数のうち、所定の特徴量を有する周波数を抽出する周波数抽出手段と、
   前記周波数抽出手段により抽出された周波数が有する所定の特徴量が予め記憶された特徴量に近似するとき、該予め記憶された特徴量に対応づけられた所定の手指の動作が行われたことを判定する動作判定手段と
   を備え、
   前記周波数抽出手段は、腕のみの動作に基づいて検出された周波数と、少なくとも１本以上の手指の動作に基づいて検出された周波数と、を区分けし、前記手指の動作に基づいて検出された周波数を、前記所定の特徴量を有する周波数と判断して抽出する、ことを特徴とする携帯情報端末。
2. 前記動作判定手段により判定された手指の動作に対応付けられた処理を実行する処理手段を備えることを特徴とする請求項１記載の携帯情報端末。
3. 前記周波数抽出手段は、前記検出手段により検出された周波数のうち、該周波数の所定の測定値が所定の閾値以上である周波数を抽出することを特徴とする請求項１又は２記載の携帯情報端末。
4. 前記検出手段は、腕自体の動きに応じた周波数、又は腕表面の動きに応じた周波数を少なくとも検出することを特徴とする請求項１から３の何れか１項に記載の携帯情報端末。
5. 前記検出手段は、加速度センサ、ジャイロセンサ、又はこれらの組合せからなるセンサであることを特徴とする請求項１から４の何れか１項に記載の携帯情報端末。
6. 前記周波数抽出手段は、前記加速度センサ、前記ジャイロセンサ、又はこれらの組合せからなるセンサに基づいて測定された６軸のセンスそれぞれを分析した結果得られる前記所定の特徴量を有する周波数を抽出することを特徴とする請求項５記載の携帯情報端末。
7. 前記所定の手指の動作として通常行われる動作と異なる特殊又は微細な動作を前記予め記憶された特徴量に対応させたテーブルを記憶する記憶手段を備え、
   前記動作判定手段は、前記記憶手段に記憶されたテーブルに基づいて前記特殊又は微細な動作が行われたことを判定することを特徴とする請求項１から６の何れか１項に記載の携帯情報端末。
8. 腕に装着する携帯情報端末の情報処理方法であって、
   前記携帯情報端末が、腕の動きに応じた周波数を検出して記憶部に記憶するステップと、
   前記携帯情報端末が、前記記憶部に記憶された周波数のうち、所定の特徴量を有する周波数を抽出するステップと、
   前記携帯情報端末が、抽出した周波数が有する所定の特徴量が前記記憶部に予め記憶された特徴量に近似するとき、該予め記憶された特徴量に対応づけられた所定の手指の動作が行われたことを判定するステップと
   を含み、
   前記周波数を抽出するステップは、腕のみの動作に基づいて検出された周波数と、少なくとも１本以上の手指の動作に基づいて検出された周波数と、を区分けし、前記手指の動作に基づいて検出された周波数を、前記所定の特徴量を有する周波数と判断して抽出する、ことを特徴とする情報処理方法。
9. 腕に装着する携帯情報端末のプログラムであって、
   腕の動きに応じた周波数を検出して記憶部に記憶する手順と、
   前記記憶部に記憶された周波数のうち、所定の特徴量を有する周波数を抽出する手順と、
   抽出した周波数が有する所定の特徴量が前記記憶部に予め記憶された特徴量に近似するとき、該予め記憶された特徴量に対応づけられた所定の手指の動作が行われたことを判定する手順と
   をコンピュータに実行させ、
   前記周波数を抽出する手順は、腕のみの動作に基づいて検出された周波数と、少なくとも１本以上の手指の動作に基づいて検出された周波数と、を区分けし、前記手指の動作に基づいて検出された周波数を、前記所定の特徴量を有する周波数と判断して抽出する、ことを特徴とするプログラム。

Images