JP2013097610A

JP2013097610A - Information processor and control method thereof

Info

Publication number: JP2013097610A
Application number: JP2011240462A
Authority: JP
Inventors: Masashi Yoshida; 雅史吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-01
Filing date: 2011-11-01
Publication date: 2013-05-20

Abstract

【課題】情報処理装置に登録された多数のジェスチャから、ユーザが行ったジェスチャを検索するのにかかる処理負荷を低減する。
【解決手段】上記課題を解決するために、本発明は、複数のジェスチャを、開始位置から終了位置へのベクトルが類似するジェスチャ毎にグループとして記憶部２００に記憶し、検知部２０１が入力領域に対して行われるジェスチャを検知し、検知部２０１によりジェスチャの開始位置が検知された際、前記ジェスチャが終了したか否かに関わらず、決定部２０５が、前記開始位置に応じて、前記登録されたグループのうち少なくとも１つのグループを処理の対象に決定し、検知部２０１により前記ジェスチャの終了位置が検知された際、特定部２０７が、検知部２０１が検知したジェスチャの軌跡に応じて、前記決定手段によって決定されたグループに属するジェスチャの中から前記入力領域に対して行われたジェスチャを特定することを特徴とする。
【選択図】図２PROBLEM TO BE SOLVED: To reduce processing load required to search for a gesture made by a user from a large number of gestures registered in an information processing apparatus.
To solve the above problem, the present invention stores a plurality of gestures in a storage unit 200 as a group for each gesture having a similar vector from the start position to the end position, and the detection unit 201 inputs the input area. When the gesture is detected for the gesture, and when the detection unit 201 detects the start position of the gesture, the determination unit 205 determines whether the gesture has ended or not according to the start position. When at least one group is determined as a processing target and the end position of the gesture is detected by the detection unit 201, the specifying unit 207 determines whether the detection unit 201 detects the gesture trajectory. Identifying a gesture performed on the input area from gestures belonging to the group determined by the determining means. Features.
[Selection] Figure 2

Description

本発明は、ユーザが行うジェスチャによって操作可能な情報処理装置に関する。 The present invention relates to an information processing apparatus that can be operated by a gesture performed by a user.

ポインティングデバイスを用いてパターンや文字を入力領域上に描くことによって操作可能な情報処理装置が普及している。このようなポインティングデバイスによる操作のことを、ジェスチャ入力による操作、ジェスチャ認識による操作と呼ぶこともある。従来は、ジェスチャ入力を検知すると、機器内の辞書に登録された全てのジェスチャ入力の候補群から、実行されたジェスチャ入力を検索して特定していた。そのため、辞書に登録されているジェスチャの数が多くなった場合、検索対象の数も多くなり、実行されたジェスチャを特定するための処理に時間がかかる。従って、パフォーマンスを向上させるためには、登録されるジェスチャの数を増やすことが出来なかった。
そこで、特許文献１では、情報処理装置が認識可能な複数のジェスチャを、複数のセットに分類して辞書に登録する。そして、ユーザによって入力されたジェスチャの入力開始の位置、及び終了の位置がいずれの領域に含まれるかを判定した結果によって、入力領域に対して行われたジェスチャを優先して検索するセットを決定している。 An information processing apparatus that can be operated by drawing a pattern or a character on an input area using a pointing device has become widespread. Such an operation using a pointing device may be referred to as an operation based on gesture input or an operation based on gesture recognition. Conventionally, when a gesture input is detected, an executed gesture input is searched and specified from a group of all gesture input candidates registered in a dictionary in the device. Therefore, when the number of gestures registered in the dictionary increases, the number of search targets also increases, and it takes time to perform the process for specifying the executed gesture. Therefore, in order to improve performance, the number of registered gestures cannot be increased.
Therefore, in Patent Document 1, a plurality of gestures that can be recognized by the information processing apparatus are classified into a plurality of sets and registered in a dictionary. Based on the result of determining in which area the input start position and the end position of the gesture input by the user are included, a set for preferentially searching for the gesture performed on the input area is determined. doing.

特開２００２−１０９４７２号公報JP 2002-109472 A

しかしながら、特許文献１では、ユーザは、必ず所定の領域内でジェスチャ入力を始め、所定の領域内で終了することが必要であった。従って、入力領域が大きくなるなどして、ユーザが手書き入力を行う位置や文字の大きさの自由度が増すと、必ずしも想定された位置や大きさで手書き入力がなされるとは限らないため、優先すべき文字セットを正しく選択できなくなるという課題があった。
本発明は、上記の課題を考慮してなされたものであり、情報処理装置に登録された多数のジェスチャから、ユーザが任意の位置で開始したジェスチャを認識するのにかかる処理負荷を低減することを目的とする。 However, in Patent Document 1, it is necessary for the user to always start a gesture input within a predetermined area and end within the predetermined area. Therefore, as the input area becomes larger and the degree of freedom of the position and character size for the user to perform handwriting input increases, handwriting input is not always performed at the assumed position and size. There was a problem that the character set to be prioritized could not be selected correctly.
The present invention has been made in consideration of the above-described problem, and reduces the processing load required for the user to recognize a gesture started at an arbitrary position from a large number of gestures registered in the information processing apparatus. With the goal.

上記の課題を解決するために、本発明の情報処理装置は、複数のジェスチャを、開始位置から終了位置へのベクトルが類似するジェスチャ毎にグループとして登録する登録手段と、入力領域に対して行われるジェスチャを検知する検知手段と、前記検知手段によりジェスチャの開始位置が検知された際、前記ジェスチャが終了したか否かに関わらず、前記開始位置に応じて、前記登録されたグループのうち、少なくとも１つのグループを処理の対象に決定する決定手段と、前記検知手段により前記ジェスチャの終了位置が検知された際、該検知手段が検知したジェスチャの軌跡に応じて、前記決定手段によって決定されたグループに属するジェスチャの中から前記入力領域に対して行われたジェスチャを特定する特定手段と、備えることを特徴とする。 In order to solve the above problems, an information processing apparatus according to the present invention includes a registration unit that registers a plurality of gestures as a group for each gesture having a similar vector from a start position to an end position, and an input region. Detection means for detecting a gesture to be performed, and when the start position of the gesture is detected by the detection means, regardless of whether or not the gesture has ended, according to the start position, among the registered groups, A determination unit that determines at least one group as a processing target; and when the end position of the gesture is detected by the detection unit, the determination unit determines the gesture according to a gesture trajectory detected by the detection unit. Specifying means for specifying a gesture performed on the input area from gestures belonging to a group; To.

本発明によれば、情報処理装置に登録された多数のジェスチャから、ユーザが任意の位置で開始したジェスチャを認識するのにかかる処理負荷を低減する。 According to the present invention, the processing load required for the user to recognize a gesture started at an arbitrary position from many gestures registered in the information processing apparatus is reduced.

情報処理装置のハードウェア構成を示すブロック図Block diagram showing hardware configuration of information processing apparatus 情報処理装置の機能構成を示すブロック図Block diagram showing functional configuration of information processing apparatus 登録ジェスチャのグループと開始許可領域の対応関係を示すリストの一例を示す概要図Outline diagram showing an example of a list showing a correspondence relationship between a group of registered gestures and a start permission area 開始許可領域の一例を示す概要図Outline diagram showing an example of the start permission area メインの処理内容を示すフローチャートFlow chart showing main processing contents 領域設定処理の内容を示すフローチャートFlow chart showing contents of area setting process ジェスチャ開始処理の内容を示すフローチャートFlow chart showing the contents of the gesture start process ジェスチャ認識処理の内容を示すフローチャートFlow chart showing the contents of gesture recognition processing 履歴されたジェスチャ開始位置の分布の一例を示す概要図Overview diagram showing an example of the distribution of the history of gesture start positions ジェスチャ認識処理の内容を示すフローチャートFlow chart showing the contents of gesture recognition processing 開始許可領域更新処理の内容を示すフローチャートFlow chart showing contents of start permission area update processing

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited to the following embodiment, It shows only the specific example advantageous for implementation of this invention.

［第１の実施形態］
本実施形態による情報処理装置では、認識可能な複数のジェスチャを、それぞれのジェスチャが描くパターンの開始位置から終了位置へのベクトルが類似するジェスチャ毎に分類したグループ化して管理する。そしてグループ毎に、入力領域上でそのグループに属するジェスチャの開始が許可された入力許可領域を設定する。入力許可領域は、入力領域のサイズと、グループに属するジェスチャのパターンを描くのに最低限必要な範囲のサイズを基に決定されるもので、入力許可領域内でジェスチャを開始した場合には、必ず入力領域上で終了位置までジェスチャを行うことができる。このように、実施形態では、ユーザがジェスチャを開始した開始座標が、いずれのグループの入力開始領域に含まれるかによって、入力領域に対して行われたジェスチャを特定するために検索を行う対象を限定し、ジェスチャ認識処理にかかる負荷を低減する。 [First Embodiment]
In the information processing apparatus according to the present embodiment, a plurality of recognizable gestures are grouped and managed by classifying each of the gestures having similar vectors from the start position to the end position of the pattern drawn by each gesture. For each group, an input permission area in which the start of a gesture belonging to the group is permitted on the input area is set. The input permission area is determined based on the size of the input area and the minimum size required to draw a pattern of gestures belonging to the group. When a gesture is started in the input permission area, It is always possible to make a gesture up to the end position on the input area. As described above, in the embodiment, the target to be searched for specifying the gesture performed on the input region is determined depending on which group of the input start region the start coordinate at which the user started the gesture is included. Limit the load on the gesture recognition process.

図１を参照して、本発明に係る情報処理装置１００のハードウェア構成の一例について説明する。情報処理装置１００は、バス１０１、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、外部記憶装置１０６から構成される。 With reference to FIG. 1, an example of the hardware configuration of the information processing apparatus 100 according to the present invention will be described. The information processing apparatus 100 includes a bus 101, a CPU 102, a ROM 103, a RAM 104, and an external storage device 106.

バス１０１は、各構成要素を接続し、アドレスバス、データバス及びコントロールバス等を含む。ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０２は、各種処理のための演算や論理判断などを行い、バス１０１に接続された各構成要素を制御する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０４は、ＣＰＵ１０２のワークエリア（メインメモリ）として機能する。本実施形態では、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０３が、図５〜図８、図１０、図１１のフローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納し、プログラムメモリとして機能する。ただし、記憶装置１０５や外部記憶装置１０６などから各プログラムがロードされ、ＲＡＭ１０４をプログラムメモリとして使用することも可能である。あるいは、これらの組み合わせを用いても構わない。 The bus 101 connects each component and includes an address bus, a data bus, a control bus, and the like. A CPU (Central Processing Unit) 102 performs calculations and logic determinations for various processes and controls each component connected to the bus 101. A RAM (Random Access Memory) 104 functions as a work area (main memory) of the CPU 102. In this embodiment, a ROM (Read Only Memory) 103 stores a program for control by the CPU including various processing procedures described later with reference to the flowcharts of FIGS. 5 to 8, 10, and 11, and functions as a program memory To do. However, each program is loaded from the storage device 105 or the external storage device 106, and the RAM 104 can be used as a program memory. Alternatively, a combination of these may be used.

記憶装置１０５は、本実施形態に係るデータや各種の制御プログラムを記憶しておくためのハードディスクなどの記憶装置である。本実施形態においては、情報処理装置１００を操作可能なジェスチャのパターンや、ジェスチャ操作によって指示される処理の内容を示すデータは、記憶装置１０５に保存されている。ただし、記憶装置１０５と同様の役割を果たすものとして、外部記憶装置１０６を用いることも可能である。ここで、外部記憶装置１０６とは、例えば、メディア（記憶媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。このように、本実施形態において必要な情報は、ＲＡＭ１０４や記憶装置１０５、外部記憶装置１０６に保持されている。 The storage device 105 is a storage device such as a hard disk for storing data and various control programs according to the present embodiment. In the present embodiment, a gesture pattern that can operate the information processing apparatus 100 and data indicating the content of processing instructed by the gesture operation are stored in the storage device 105. However, it is possible to use the external storage device 106 as the same role as the storage device 105. Here, the external storage device 106 can be realized by, for example, a medium (storage medium) and an external storage drive for realizing access to the medium. As such media, for example, a flexible disk (FD), a CD-ROM, a DVD, a USB memory, an MO, a flash memory, and the like are known. As described above, information necessary in the present embodiment is held in the RAM 104, the storage device 105, and the external storage device 106.

入力装置１０７は外部装置からの情報を入力するための入力装置である。また、出力装置１０８は、情報処理装置１００にて処理された結果や保持している情報を外部装置に出力するための出力装置である。本実施形態では、入力装置１０７と出力装置１０８が一体化されたタッチパネルディスプレイ１０９が、情報処理装置１００に搭載されているものとする。ただし、これに限らず、入力装置１０７としては、例えば、マウス、トラックボール、タッチパネル等のポインティングデバイスや、キーボードや物理ボタン、各種センサなどを使用可能である。また、出力装置１０８としては、例えば、液晶ディスプレイ、ＣＲＴディスプレイやプロジェクタ等の表示出力装置や、情報処理装置１００が認識したジェスチャによって操作される他の情報処理装置１００を用いることもできる。尚、以下特に断らない限り、既に説明した図を用いて説明されたものには同一の符号を付し、その説明を省略する。 The input device 107 is an input device for inputting information from an external device. The output device 108 is an output device for outputting a result processed by the information processing device 100 and information held therein to an external device. In the present embodiment, it is assumed that a touch panel display 109 in which an input device 107 and an output device 108 are integrated is mounted on the information processing apparatus 100. However, the present invention is not limited thereto, and as the input device 107, for example, a pointing device such as a mouse, a trackball, or a touch panel, a keyboard, a physical button, various sensors, and the like can be used. Further, as the output device 108, for example, a display output device such as a liquid crystal display, a CRT display, or a projector, or another information processing device 100 operated by a gesture recognized by the information processing device 100 can be used. Unless otherwise specified, the same reference numerals are given to those described with reference to the already described drawings, and the description thereof is omitted.

次に、図２（ａ）を参照して本発明に係る情報処理装置１００のソフトウェア構成の一例を説明する。情報処理装置１００は、記憶部２００、検知部２０１、取得部２０２、設定部２０３、判定部２０４、決定部２０５、特定部２０６、修正部２０７から構成される。 Next, an example of the software configuration of the information processing apparatus 100 according to the present invention will be described with reference to FIG. The information processing apparatus 100 includes a storage unit 200, a detection unit 201, an acquisition unit 202, a setting unit 203, a determination unit 204, a determination unit 205, a specification unit 206, and a correction unit 207.

記憶部２００は、記憶装置１０５、及び外部記憶装置１０６によって構成され、本実施形態の情報処理装置１００を操作するために登録されている認識可能なジェスチャ（以下、登録ジェスチャ）を保持する。登録ジェスチャの一例を図３（ａ）に示す。本実施形態の例では、１６種類のジェスチャが登録されている。本実施形態では、１６種類のジェスチャを、それぞれのジェスチャが描くパターンの開始位置から終了位置へのベクトルの方向が同じジェスチャ毎に４つのグループに分け、それぞれのグループにはグループＩＤが割り振って管理している。例えば、グループＩＤが１のグループ（以下、グループ１）は、画面に向かって左上から開始し、右下で終了するパターンをもつジェスチャが属するグループである。同様に、グループ２には、画面に向かって右上で開始し、左下の終了位置に向かうベクトルを有するジェスチャが属する。グループ３には、画面に向かって左下で開始し、右上の終了位置に向かうベクトルを有するジェスチャが属する。そして、グループ４には、画面に向かって右下で開始し、左上の終了位置に向かうベクトルを有するジェスチャが属している。記憶部２００は、このように、複数の登録ジェスチャをグループとして記憶している。これらの登録ジェスチャは、それぞれが情報処理装置１００で実行される機能プログラムと関連付けられており、記憶部２００には、その関連を示す情報を保持している。さらに、後述する取得部２０２が取得するタッチパネルディスプレイ１０９の画面サイズや、設定部２０３によって以前に設定された開始許可領域を示す情報など、本実施形態において必要な情報が記憶部２００に保持されている。 The storage unit 200 includes a storage device 105 and an external storage device 106, and holds recognizable gestures (hereinafter, registered gestures) registered for operating the information processing apparatus 100 of the present embodiment. An example of the registered gesture is shown in FIG. In the example of the present embodiment, 16 types of gestures are registered. In this embodiment, 16 types of gestures are divided into four groups for each gesture having the same vector direction from the start position to the end position of the pattern drawn by each gesture, and each group is assigned a group ID for management. doing. For example, a group having a group ID of 1 (hereinafter referred to as group 1) is a group to which a gesture having a pattern starting from the upper left toward the screen and ending at the lower right belongs. Similarly, group 2 includes a gesture having a vector that starts from the upper right toward the screen and goes to the lower left end position. Group 3 includes a gesture having a vector that starts at the lower left toward the screen and goes to the end position at the upper right. The group 4 includes a gesture having a vector starting at the lower right toward the screen and moving toward the upper left end position. In this way, the storage unit 200 stores a plurality of registered gestures as a group. Each of these registered gestures is associated with a function program executed by the information processing apparatus 100, and the storage unit 200 holds information indicating the relationship. Further, information necessary in the present embodiment, such as the screen size of the touch panel display 109 acquired by the acquisition unit 202 described later and information indicating the start permission area previously set by the setting unit 203, is held in the storage unit 200. Yes.

検知部２０１は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４によって構成され、タッチパネルディスプレイ１０９の入力領域上を座標平面として、入力装置１０７によって入力された座標を取得する。本実施形態では、ユーザが入力領域に対して行うジェスチャの開始位置、終了位置、及びその間の軌跡の座標情報を取得し、ＲＡＭ１０４に保持する。取得部２０２は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４によって構成され、記憶部から、登録ジェスチャの情報および画面サイズを取得し、ＲＡＭ１０４に記憶する。 The detection unit 201 includes a CPU 102, a ROM 103, and a RAM 104, and acquires coordinates input by the input device 107 using the input area of the touch panel display 109 as a coordinate plane. In the present embodiment, the coordinate information of the start position and end position of the gesture performed by the user with respect to the input area and the trajectory therebetween is acquired and stored in the RAM 104. The acquisition unit 202 includes a CPU 102, a ROM 103, and a RAM 104, acquires registration gesture information and a screen size from the storage unit, and stores them in the RAM 104.

設定部２０３は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４によって構成され、取得部２０２が取得した登録ジェスチャの情報および画面サイズを利用して、登録ジェスチャの各グループに対する開始許可領域を設定する。その際、タッチパネルディスプレイ１０９上において登録ジェスチャが入力される場合に想定されるサイズを考慮し、画面サイズに対して、各グループのジェスチャを行うことが不可能な範囲を除いた領域を、開始許可領域として設定する。ここで各グループのジェスチャを行うことが不可能であるとは、各ジェスチャを最後まで行うのに十分な範囲を確保できないという意味である。開始許可領域の一例を図４に示す。図４では、タッチパネルディスプレイ１０９の入力領域４１に対する、登録ジェスチャの各グループに対応する開始許可領域を表している。図４（ａ）は、グループ１に属するジェスチャに対応する開始許可領域（領域Ｌ１）を示す。図３（ａ）で示したように、グループ１に属するジェスチャは画面に向かって左上から開始され、右下に進んで終了するパターンを有する。従って、画面の右及び下の端の領域は、その領域においてジェスチャの入力を開始したとしても、パターンを描くために十分に右下に進むことが不可能であるため、開始許可領域に含まれない。従って、グループ１のジェスチャに対しては、画面に向かって右及び下の端から、ジェスチャの開始を禁止する範囲（以下、開始禁止範囲）を設定し、開始禁止範囲を除く左上の領域Ｌ１を、開始許可領域として設定する。図４における開始許可領域４２は、その境界上において、登録ジェスチャの入力を開始した場合に、画面内に収まるように終了するのに必要十分な領域であり、開始禁止範囲は、開始許可領域の境界を含まない残りの範囲である。図４（ｂ）〜（ｄ）は、同様に、グループ２〜４のジェスチャに対して設定された開始許可領域である。すなわち、図４（ｂ）は、グループ２に対応する開始許可領域４４（領域Ｒ１）、図４（ｃ）はグループ３に対応する開始許可領域４６（領域Ｌ２）、図４（ｄ）はグループ４に対応する開始許可領域４８（領域Ｒ２）をあらわしている。また、図４（ｅ）は、入力領域上に設定された全ての開始許可領域と、その重複を表している。ここで、本実施形態のタッチパネルディスプレイ１０９においては、入力領域の画面サイズが４８０×６４０ｐｉｘｅｌであり、ジェスチャ開始禁止範囲の幅が９９ｐｉｘｅｌであるものとする。図４（ｅ）において、領域Ａは領域Ｌ１、領域Ｃは領域Ｒ１、領域Ｇは領域Ｌ２、領域Ｉは領域Ｒ２のみに含まれる領域（以下、独立領域）であるため、これらの領域において入力が開始された場合には、一意に対応する登録ジェスチャのグループを決定できる。一方、例えば、領域Ｂは領域Ｌ１と領域Ｒ１に重複して含まれる領域（以下、重複領域）である。同様に、領域Ｄ、領域Ｆ、領域Ｈは２つの開始許可領域に含まれ、領域Ｅは４つ全ての開始許可領域に含まれている。これらの重複領域において、ジェスチャが開始された場合には、対応する登録ジェスチャのグループが複数存在するため、優先順を決定して検索を行う必要がある。優先順を決定する処理については後述する。さらに設定部２０３は、設定した開始許可領域と各グループとの対応関係を示すリストを生成し、ＲＡＭ１０４上に保持する。図３（ｂ）は、生成されたリストの一例を示す。 The setting unit 203 includes a CPU 102, a ROM 103, and a RAM 104, and sets a start permission area for each group of registered gestures using the information and the screen size of the registered gesture acquired by the acquisition unit 202. At that time, in consideration of the size assumed when a registered gesture is input on the touch panel display 109, an area excluding the range in which each group gesture cannot be performed with respect to the screen size is permitted to start. Set as area. Here, being unable to perform a gesture for each group means that it is not possible to secure a sufficient range to perform each gesture to the end. An example of the start permission area is shown in FIG. In FIG. 4, a start permission area corresponding to each group of registered gestures with respect to the input area 41 of the touch panel display 109 is shown. FIG. 4A shows a start permission area (area L1) corresponding to a gesture belonging to group 1. As shown in FIG. 3A, gestures belonging to group 1 have a pattern that starts from the upper left toward the screen, and proceeds to the lower right and ends. Therefore, the area at the right and bottom edges of the screen is included in the start permission area because even if the gesture input is started in that area, it is not possible to proceed to the lower right enough to draw a pattern. Absent. Therefore, for the gesture of group 1, from the right and bottom edges toward the screen, a range for prohibiting the start of the gesture (hereinafter referred to as a start prohibition range) is set, and an upper left region L1 excluding the start prohibition range is set. Set as the start permission area. The start permission area 42 in FIG. 4 is an area necessary and sufficient to end within the screen when the input of the registered gesture is started on the boundary. The start prohibition area is a start permission area of the start permission area. The remaining range does not include the boundary. 4B to 4D are similarly start permission areas set for the gestures of groups 2 to 4. 4B shows the start permission area 44 (area R1) corresponding to the group 2, FIG. 4C shows the start permission area 46 (area L2) corresponding to the group 3, and FIG. 4D shows the group. The start permission area 48 (area R2) corresponding to 4 is shown. FIG. 4E shows all start permission areas set on the input area and their overlap. Here, in the touch panel display 109 of the present embodiment, it is assumed that the screen size of the input area is 480 × 640 pixels, and the width of the gesture start prohibited range is 99 pixels. In FIG. 4E, the region A is a region L1, the region C is a region R1, the region G is a region L2, and the region I is a region included only in the region R2 (hereinafter referred to as an independent region). When is started, a group of registered gestures uniquely corresponding can be determined. On the other hand, for example, the region B is a region that overlaps with the region L1 and the region R1 (hereinafter, an overlapping region). Similarly, the region D, the region F, and the region H are included in two start permission regions, and the region E is included in all four start permission regions. In these overlapping areas, when a gesture is started, there are a plurality of corresponding groups of registered gestures, so it is necessary to determine the priority order and perform a search. The process for determining the priority order will be described later. Furthermore, the setting unit 203 generates a list indicating the correspondence relationship between the set start permission area and each group, and stores the list on the RAM 104. FIG. 3B shows an example of the generated list.

判定部２０４は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４によって構成され、図３（ｂ）に示したリストを参照し、検知部２０１が取得したジェスチャの開始位置の座標が含まれる領域が、独立領域か重複領域かを判定する。 The determination unit 204 includes the CPU 102, the ROM 103, and the RAM 104, and refers to the list shown in FIG. 3B, and an area including the coordinates of the start position of the gesture acquired by the detection unit 201 is an independent area or an overlapping area. Determine whether.

決定部２０５は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４によって構成され、判定部２０４から判定結果を取得し、その結果に基づいて、入力領域に対して行われたジェスチャを特定するために、検索を行う対象となる登録ジェスチャのグループを決定する。判定の結果、ジェスチャが独立領域で開始されていた場合には、その領域に対応グループを検索対象に決定する。ジェスチャが、重複領域において開始されていた場合には、その領域に対応するグループを検索対象として決定した上で、開始座標の開始許可領域それぞれの代表座標との関係に基づいて、決定した複数のグループに優先順を設定する。優先順の設定方法は後述する。決定部２０５は、検索対象として決定した登録ジェスチャのグループのＩＤを、優先順を維持してＲＡＭ１０４上に保持する。 The determination unit 205 includes a CPU 102, a ROM 103, and a RAM 104. The determination unit 205 acquires a determination result from the determination unit 204, and performs a search to specify a gesture performed on the input area based on the result. Determine the group of registration gestures that will be. If the result of determination is that the gesture has started in an independent area, the corresponding group is determined as a search target in that area. When the gesture is started in the overlapping area, the group corresponding to the area is determined as a search target, and the plurality of determined coordinates are determined based on the relationship between the start coordinates and the representative coordinates of the start permission areas. Set priority for groups. A method for setting the priority order will be described later. The determination unit 205 retains the IDs of the registered gesture groups determined as search targets on the RAM 104 while maintaining the priority order.

特定部２０６は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４によって構成され、登録ジェスチャの中から、入力領域に対して行われたジェスチャを特定し、ジェスチャを認識した結果として出力する。具体的には、登録ジェスチャのパターンと、入力領域に対して行われたジェスチャのパターンのマッチング度を求め、マッチング度が閾値以上であるものを検索結果として認識し、ＲＡＭ１０４上に保持する。そして、記憶部２００から取得した関連付け情報を参照し、入力領域に対して行われたジェスチャが指示する処理内容を、出力装置１０８に渡す。本実施形態の場合は、表示出力装置であるタッチパネルディスプレイ１０９は、情報処理装置１００と一体に構成されているので、特定部２０６は出力装置の表示制御部に結果を渡し、ジェスチャ操作の結果が画面に表示される。 The specifying unit 206 includes the CPU 102, the ROM 103, and the RAM 104, specifies a gesture performed on the input area from the registered gestures, and outputs the gesture as a result of recognizing the gesture. More specifically, the degree of matching between the pattern of the registered gesture and the pattern of the gesture performed on the input area is obtained, and a matching degree that is equal to or higher than a threshold value is recognized as a search result and stored on the RAM 104. Then, with reference to the association information acquired from the storage unit 200, the processing content indicated by the gesture performed on the input area is passed to the output device 108. In the case of the present embodiment, the touch panel display 109 that is a display output device is configured integrally with the information processing device 100, so the specifying unit 206 passes the result to the display control unit of the output device, and the result of the gesture operation is Displayed on the screen.

なお、本発明は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。 Note that the present invention can be similarly realized by an information processing apparatus that implements these functional units by hardware.

次に図５〜図７を参照して、開始許可領域の設定から認識処理までのフローを説明する。図５は、本実施形態の情報処理装置１００が実行するメイン処理を示すフローチャートである。まず、アプリケーションの起動に伴い、本実施形態におけるメイン処理が開始され、ステップＳ５０１において、既に設定された開始許可領域があるか判定する。具体的には、取得部２０２が記憶部２００に、以前に設定された開始許可領域の情報が格納されているかを判定する。アプリケーションの初回起動時、またはアプリケーションの更新後など既存の開始許可領域が使用できない場合（ステップＳ５０１でＮｏ）、ステップＳ５０２に進む。ステップＳ５０２では、後述する領域設定処理が実行され、終了するとメイン処理にリターンされてステップＳ５０３に進む。既に開始許可領域が設定されている場合（ステップＳ５０１でＹｅｓ）、ステップＳ５０２を省略してステップＳ５０３に進む。ステップＳ５０３では、検知部２０１が、入力装置１０７から、タッチパネルディアスプレイ１０９に対するジェスチャを開始するタッチ入力があったかを判定する。入力があった場合には、検知部２０１はその入力の開始位置の座標（開始座標）を取得して、ＲＡＭ１０４に保持してステップＳ５０４に進む。入力がない場合には、ジェスチャが入力されるまで待機する。ステップＳ５０４では、後述するジェスチャ開始処理が実行される。ジェスチャ開始処理が終了すると、再びメイン処理にリターンされて、ステップＳ５０５に進む。続くステップＳ５０５では、後述するジェスチャ認識処理が実行される。ジェスチャ認識処理が終了すると、メイン処理にリターンされて、ステップＳ５０６に進む。ステップＳ５０６では、これまでの処理によって認識された結果によって、情報処理装置１００に対して指示された機能プログラムを呼び出し、実行する。ジェスチャ認識処理（ステップＳ５０５）においてジェスチャが認識されていれば、その結果を受け、そのジェスチャ操作による指示を出力装置１０８に出力する。ステップＳ５０７では、操作が終了されるかどうかを判定する。アプリケーションにおいて所定の終了操作がなされた場合には、操作は終了と判定し（ステップＳ５０７でＹｅｓ）、処理を終了する。操作が終了されない場合（ステップＳ５０７でＮｏ）には、ステップＳ５０３に戻ってさらなるジェスチャにおる操作を待つ。以上が、本実施形態のために情報処理装置１００で実行されるメイン処理である。 Next, with reference to FIGS. 5 to 7, the flow from the setting of the start permission area to the recognition process will be described. FIG. 5 is a flowchart illustrating main processing executed by the information processing apparatus 100 according to the present embodiment. First, the main process in the present embodiment is started with the activation of the application. In step S501, it is determined whether there is a start permission area already set. Specifically, the acquisition unit 202 determines whether the storage unit 200 stores information on the start permission area set previously. When the existing start permission area cannot be used at the first activation of the application or after the application is updated (No in step S501), the process proceeds to step S502. In step S502, an area setting process to be described later is executed. When the process is completed, the process returns to the main process and proceeds to step S503. If the start permission area has already been set (Yes in step S501), the process skips step S502 and proceeds to step S503. In step S 503, the detection unit 201 determines whether a touch input for starting a gesture on the touch panel display 109 is received from the input device 107. If there is an input, the detection unit 201 acquires the coordinates (start coordinates) of the start position of the input, holds them in the RAM 104, and proceeds to step S504. If there is no input, it waits until a gesture is input. In step S504, a gesture start process to be described later is executed. When the gesture start process ends, the process returns to the main process again and proceeds to step S505. In subsequent step S505, a gesture recognition process described later is executed. When the gesture recognition process ends, the process returns to the main process and proceeds to step S506. In step S506, the function program instructed to the information processing apparatus 100 is called and executed based on the result recognized by the processing so far. If a gesture is recognized in the gesture recognition process (step S505), the result is received, and an instruction by the gesture operation is output to the output device 108. In step S507, it is determined whether or not the operation is terminated. When a predetermined end operation is performed in the application, it is determined that the operation is ended (Yes in step S507), and the process ends. If the operation is not completed (No in step S507), the process returns to step S503 to wait for an operation for a further gesture. The above is the main process executed by the information processing apparatus 100 for the present embodiment.

次に、図６を参照して、ステップＳ５０２において実行される領域設定処理を説明する。 Next, the area setting process executed in step S502 will be described with reference to FIG.

まず、ステップＳ６０１において、取得部２０２は、記憶部２００からタッチパネルディスプレイ１０９の入力領域のサイズと、登録ジェスチャのグループ情報を取得する。取得した情報は、ＲＡＭ１０４上に保持される。本実施形態では、上述したようにタッチパネルディスプレイ１０９の画面サイズは、４８０×６４０ｐｉｘｅｌである。また、記憶部２００には、図３（ａ）に示したようにグループＩＤが１〜４の４つのグループのジェスチャが記憶されている。続いて、ステップＳ６０２において、設定部２０３は、ＲＡＭ１０４上の登録ジェスチャの情報を参照し、領域を設定する処理の対象となるグループのＩＤを選択する。本実施形態では、グループＩＤの場号の昇順にグループを選択していくものとするので、初回の処理ではグループ１を選択し、ステップＳ６０３に進む。 First, in step S601, the acquiring unit 202 acquires the size of the input area of the touch panel display 109 and the group information of the registered gesture from the storage unit 200. The acquired information is held on the RAM 104. In the present embodiment, as described above, the screen size of the touch panel display 109 is 480 × 640 pixels. In addition, as shown in FIG. 3A, the storage unit 200 stores gestures of four groups with group IDs 1 to 4. Subsequently, in step S602, the setting unit 203 refers to the registered gesture information on the RAM 104, and selects the ID of the group that is the target of the region setting process. In the present embodiment, since the groups are selected in ascending order of the group ID field names, group 1 is selected in the first process, and the process proceeds to step S603.

次に、ステップＳ６０３において、設定部２０３は、取得部２０２から選択されたグループに属する登録ジェスチャが描くパターンの情報を取得する。例えば、グループ１に属しているジェスチャは、左上の開始位置から右下の終了位置に向かうパターンであるため、右方向と下方向の方向線分を持ち、また、全て垂直方向と水平方向が１：１の矩形範囲内で描くことができるパターンである。さらに、本実施形態のタッチパネルディスプレイの画面サイズ及び性能から、本実施形態における情報処理装置１００に対してこのようなジェスチャを行うためには、最低１００×１００ｐｉｘｅｌの領域が必要であるとする。ステップＳ６０３においては、このように、登録ジェスチャが描くパターンの方向と大きさに関する情報を取得する。 Next, in step S 603, the setting unit 203 acquires pattern information drawn by a registered gesture belonging to the group selected from the acquisition unit 202. For example, since the gesture belonging to group 1 is a pattern from the start position at the upper left to the end position at the lower right, it has right and lower direction line segments, and all the vertical and horizontal directions are 1 : A pattern that can be drawn within a rectangular range of 1. Furthermore, from the screen size and performance of the touch panel display according to the present embodiment, it is assumed that an area of at least 100 × 100 pixels is necessary to perform such a gesture for the information processing apparatus 100 according to the present embodiment. In step S603, information on the direction and size of the pattern drawn by the registered gesture is acquired in this way.

続くステップＳ６０４において、ステップＳ６０４は、処理対象となっているグループのジェスチャの開始禁止範囲を決定する。開始禁止範囲とは、入力装置１０７の入力領域において、その範囲内でジェスチャを開始すると、ジェスチャのパターンを終了位置まで描くことができなくなる範囲のことである。例えば、処理対象がグループ１のジェスチャの場合、画面の右端および下端においてジェスチャを開始しても、それ以上右下方向にタッチ位置を移動させることができないため、ジェスチャを完了できない。従って、画面の右端および下端では、グループ１に属するジェスチャの入力を禁止し、該当範囲において開始されたジェスチャについては、グループ１に属する登録ジェスチャの中に該当するものがあるかどうかの検索を行わないこととする。設定部２０３は、ステップＳ６０３で取得した登録ジェスチャ情報から、このような開始禁止範囲を決定する。グループ１の場合には、右方向及び下方向に１００ｐｉｘｅｌ以上の余裕がなければジェスチャを完了できないため、画面の右端及び下端から９９ｐｉｘｅｌの幅を持った帯状の範囲を、開始禁止範囲として決定する。 In subsequent step S604, step S604 determines the start prohibition range of the group to be processed. The start forbidden range is a range in the input area of the input device 107 that, when a gesture is started within that range, the gesture pattern cannot be drawn to the end position. For example, when the processing target is a gesture of group 1, even if the gesture is started at the right edge and the lower edge of the screen, the gesture cannot be completed because the touch position cannot be moved further to the lower right. Therefore, at the right and bottom edges of the screen, input of gestures belonging to group 1 is prohibited, and for gestures started in the corresponding range, a search is performed as to whether there are any corresponding gestures belonging to group 1. Suppose that there is no. The setting unit 203 determines such a start prohibition range from the registered gesture information acquired in step S603. In the case of group 1, since the gesture cannot be completed unless there is a margin of 100 pixels or more in the right direction and the downward direction, a band-like range having a width of 99 pixels from the right end and the lower end of the screen is determined as the start prohibition range.

ステップＳ６０５において、設定部２０３は、タッチパネルディスプレイ１０９の入力領域全体から開始禁止範囲を除いた領域を、処理対象としているグループのジェスチャの開始許可領域として設定する。このように設定された開始許可領域の情報は、画面上を座標平面とした場合の範囲を示す情報として、記憶部２００に記憶される。例えば、グループ１の登録ジェスチャに対して設定される開始許可領域が、図４（ａ）に示す領域Ｌ１である。本実施形態では、タッチパネルディスプレイ１０９の入力領域を、向かって左下の端（画素）を原点（０，０）とし、１画素を１単位とした座標平面として管理する。従って、領域Ｌ１はＬ１（０：５４０，９９：４７９）という座標情報としてＲＡＭ１０４上に保持される。同様に、グループ２のジェスチャの開始許可領域は、図４（ｂ）に示す領域Ｒ１（９９：６３９，９９：４７９）と決定される。そして、グループ３に対応する開始許可領域は図４（ｃ）に示す領域Ｌ２（０：５４０，０：３８０）、グループ４に対応する開始許可領域は図４（４）に示す領域Ｒ２（９９：６３９，０：３８０）となる。 In step S 605, the setting unit 203 sets an area obtained by removing the start prohibition range from the entire input area of the touch panel display 109 as a start permission area of the group to be processed. The information of the start permission area set in this way is stored in the storage unit 200 as information indicating a range when the screen is a coordinate plane. For example, the start permission area set for the group 1 registered gesture is the area L1 shown in FIG. In the present embodiment, the input area of the touch panel display 109 is managed as a coordinate plane with the lower left end (pixel) as the origin (0, 0) and one pixel as one unit. Therefore, the region L1 is held on the RAM 104 as coordinate information L1 (0: 540, 99: 479). Similarly, the start permission area for the gesture of group 2 is determined as an area R1 (99: 639, 99: 479) shown in FIG. The start permission area corresponding to group 3 is the area L2 (0: 540, 0: 380) shown in FIG. 4C, and the start permission area corresponding to group 4 is the area R2 (99) shown in FIG. 4 (4). : 639, 0: 380).

次に、ステップＳ６０６において、設定部２０３は、全てのグループに対して開始許可領域を設定し、その情報がＲＡＭ１０４上に保持されているかを判定する。全てのグループに対して処理が終わっていなければ（ステップＳ６０６でＮｏ）、ステップＳ６０８に進み、次に処理するグループのＩＤを選択して、ステップＳ６０３に戻る。全てのグループに対して、開始許可領域を設定していれば（ステップＳ６０６でＹｅｓ）、ステップＳ６０７に進む。最後にステップＳ６０７では、設定部２０３が、ＲＡＭ１０４上に保持されている全てのグループに対応する開始許可領域の範囲を整理し、複数のグループに重複して含まれる重複領域と、単一のグループにしか含まれない独立領域とを識別し、リストを生成する。例えば、図４（ｅ）において、領域Ａ（０：９８，３８１：４７９）は、領域Ｌ１にのみ含まれる範囲であり、それに対して領域Ｂ（９９：５４０，３８１：４７９）は領域Ｌ１及び領域Ｒ１に重複して含まれる。このようにして、画面上を９つの領域として識別する記号を割り当てて整理し、生成したリストを示したものが上述した図３（ｂ）である。図３（ｂ）のリストでは、各エリアの座標情報は省略したが、全てのエリアが同様に、ディスプレイの左上を原点とする座標平面での座標で管理されている。リストを生成したら、領域設定処理を終了し、呼び出し元のメイン処理にリターンする。以上が、本実施形態のために情報処理装置１００で実行されるジェスチャ開始処理である。 In step S 606, the setting unit 203 sets start permission areas for all groups and determines whether the information is stored in the RAM 104. If the processing has not been completed for all groups (No in step S606), the process proceeds to step S608, the ID of the group to be processed next is selected, and the process returns to step S603. If start permission areas have been set for all groups (Yes in step S606), the process proceeds to step S607. Finally, in step S607, the setting unit 203 arranges the ranges of the start permitted areas corresponding to all the groups held on the RAM 104, and includes an overlapping area included in a plurality of groups and a single group. And a list is generated. For example, in FIG. 4E, a region A (0:98, 381: 479) is a range included only in the region L1, while a region B (99: 540, 381: 479) is a region L1 and The region R1 is included in duplicate. FIG. 3B described above shows a list generated by assigning and organizing symbols for identifying nine areas on the screen in this way. In the list of FIG. 3B, coordinate information of each area is omitted, but all areas are similarly managed by coordinates on a coordinate plane with the upper left corner of the display as the origin. When the list is generated, the area setting process is terminated, and the process returns to the caller main process. The above is the gesture start process executed by the information processing apparatus 100 for the present embodiment.

次に、図７を参照して、ステップＳ５０４における、ユーザがジェスチャを行うためのタッチを開始した時点での処理（ジェスチャ開始処理）を説明する。 Next, with reference to FIG. 7, the process (gesture start process) at the time when the user starts a touch for performing a gesture in step S504 will be described.

まず、ステップＳ７０１において、検知部２０１はユーザがジェスチャを開始したタッチ位置の座標（開始座標）を検知する。そして、ステップＳ７０２において、判定部２０４が、領域設定処理において設定された９つの領域のうち、検知部２０１が検知した開始座標を含む領域の識別記号を取得する。９つの領域は、座標情報で管理されているので、例えば開始座標が（ｘ，ｙ）である場合、１≦ｘ≦９９であってかつ１≦ｙ≦９９であるなら、開始座標は領域Ａに含まれる。また、１００≦ｘ≦５４１であってかつ１≦ｙ≦９９であるなら、開始座標は領域Ｂに含まれる、という情報が得られるので、開始座標を含む領域の識別記号が取得される。次に、ステップＳ７０３において、判定部２０４が、ＲＡＭ１０４上に保持されているリスト（図３（ｂ））を参照し、開始座標が含まれる領域は重複領域であるか、すなわち複数の登録ジェスチャのグループに対応した開始許可領域内に含まれているのかを判定する。開始座標が重複領域に含まれていない、すなわち独立領域に含まれている場合（ステップＳ７０３でＮｏ）には、ステップＳ７０４に進む。ステップＳ７０４では、参照した上述のリストから、開始座標が含まれる独立領域が唯一対応する登録ジェスチャのグループＩＤを取得し、検索対象とするためにＲＡＭ１０４上に保持して、ジェスチャ開始処理を終了する。一方で、開始座標が重複領域に含まれていた場合（ステップＳ７０３でＹｅｓ）は、ステップＳ７０５に進む。 First, in step S701, the detection unit 201 detects the coordinates (start coordinates) of the touch position at which the user started the gesture. In step S 702, the determination unit 204 acquires an identification symbol of a region including the start coordinates detected by the detection unit 201 among the nine regions set in the region setting process. Since the nine areas are managed by the coordinate information, for example, when the start coordinates are (x, y), if 1 ≦ x ≦ 99 and 1 ≦ y ≦ 99, the start coordinates are the area A. include. If 100 ≦ x ≦ 541 and 1 ≦ y ≦ 99, the information that the start coordinate is included in the region B is obtained, and thus the identification symbol of the region including the start coordinate is acquired. Next, in step S703, the determination unit 204 refers to the list (FIG. 3B) held on the RAM 104, and determines whether the area including the start coordinates is an overlapping area, that is, a plurality of registered gestures. It is determined whether it is included in the start permission area corresponding to the group. If the start coordinates are not included in the overlapping area, that is, included in the independent area (No in step S703), the process proceeds to step S704. In step S704, the group ID of the registered gesture that the only independent area including the start coordinate corresponds to from the above-mentioned list that has been referred to is stored in the RAM 104 to be a search target, and the gesture start process is terminated. . On the other hand, if the start coordinates are included in the overlap area (Yes in step S703), the process proceeds to step S705.

ステップＳ７０５では、決定部２０５が、開始座標を含む開始許可領域に対応する複数のグループのうち、１つのＩＤを選択する。本実施形態では、取得したＩＤの昇順に選択するため、初回の処理では一番若い番号のグループを選択するものとする。次に、ステップＳ７０６において、決定部２０５が、取得部２０２によって取得された画面サイズ情報と各グループの開始許可領域の情報をＲＡＭ１０４で参照し、選択したグループに対応する開始許可領域の代表座標を取得する。本実施形態において、代表座標とは、タッチパネルディスプレイ１０９の入力領域の四隅の点のうち、処理対象としている登録ジェスチャのグループの開始許可領域に含まれる座標である。例えば、図４（ａ）の場合、グループ１の開始許可領域である領域Ｌ１に含まれる四隅の点４３が、領域Ｌ１の代表座標となるので、点４３の座標（０，４７９）を取得する。同様に、領域Ｒ１の代表座標は点４５の座標（６３９，４７９）、領域Ｌ２の代表座標は点４７の座標（０，０）、領域Ｒ２の代表座標は点４９の座標（６３９，０）となる。ここで、四隅の座標を用いるのは、四隅の座標が、各開始許可領域における独立領域に含まれるので、独立領域に近い位置で開始されるジェスチャは、その独立領域に対応するグループの登録ジェスチャである可能性が高いと考えられることを利用するためである。また、本実施形態における登録ジェスチャ（図３（ａ））がいずれも矩形領域の四隅から始まり対角方向に進むため、ユーザがジェスチャを開始する位置が四隅に近い程、その方向から開始されるパターンを描こうとする意思が表れていると考えられるためである。続いて、ステップＳ７０７において、決定部２０５は、取得した代表座標と開始座標（ｘ，ｙ）との間の距離Ｄを求める。求められた距離Ｄは、ＲＡＭ１０４に保持される。続いて、ステップＳ７０８において、決定部２０５が、開始座標を含む領域に対応している登録ジェスチャのグループ全てに対して距離Ｄを求める処理が終了し、ＲＡＭ１０４に距離Ｄの情報が保持されているかどうかを判定する。距離Ｄを求める処理が終了していない場合は（ステップＳ７０８でＮｏ）、ステップＳ７１０に進み、次に処理対象とするグループのＩＤを選択し、ステップＳ７０６に戻る。距離Ｄを求める処理が終了している場合には（ステップＳ７０８でＹｅｓ）、処理はステップＳ７０９に進む。ステップＳ７０９においては、ＲＡＭ１０４に保持された距離Ｄが小さい順に優先順を決定し、登録ジェスチャのグループのＩＤを優先順に並び替えて、ＲＡＭ１０４上に保持する。以上で本実施形態におけるジェスチャ開始処理は終了し、呼び出し元のメイン処理にリターンされる。後のジェスチャ認識処理において、ここで保持されたグループＩＤ順に、登録ジェスチャの中から入力領域に対して行われたジェスチャを検索していく。 In step S705, the determination unit 205 selects one ID from among a plurality of groups corresponding to the start permission area including the start coordinates. In the present embodiment, since the acquired IDs are selected in ascending order, the group with the smallest number is selected in the first process. Next, in step S706, the determination unit 205 refers to the screen size information acquired by the acquisition unit 202 and the information of the start permission area of each group in the RAM 104, and sets the representative coordinates of the start permission area corresponding to the selected group. get. In the present embodiment, the representative coordinates are coordinates included in the start permission area of the registered gesture group to be processed among the four corner points of the input area of the touch panel display 109. For example, in the case of FIG. 4A, since the four corner points 43 included in the region L1 which is the start permitted region of the group 1 are the representative coordinates of the region L1, the coordinates (0, 479) of the point 43 are acquired. . Similarly, the representative coordinates of the region R1 are the coordinates of the point 45 (639, 479), the representative coordinates of the region L2 are the coordinates of the point 47 (0, 0), and the representative coordinates of the region R2 are the coordinates of the point 49 (639, 0). It becomes. Here, the coordinates of the four corners are used because the coordinates of the four corners are included in the independent area in each start permission area, so that a gesture that starts at a position close to the independent area is a registered gesture of the group corresponding to the independent area. This is to use what is considered to be highly likely. In addition, since all of the registered gestures in this embodiment (FIG. 3A) start from the four corners of the rectangular area and proceed in the diagonal direction, the closer the position at which the user starts the gesture to the four corners, the more it starts from that direction. This is because the intent to draw the pattern appears. Subsequently, in step S707, the determination unit 205 obtains the distance D between the acquired representative coordinates and the start coordinates (x, y). The obtained distance D is held in the RAM 104. Subsequently, in step S708, whether the determining unit 205 finishes the process of obtaining the distance D for all the groups of registered gestures corresponding to the area including the start coordinates, and whether the information on the distance D is stored in the RAM 104. Determine if. If the process for obtaining the distance D has not been completed (No in step S708), the process proceeds to step S710, the ID of the group to be processed next is selected, and the process returns to step S706. If the process for obtaining the distance D has been completed (Yes in step S708), the process proceeds to step S709. In step S709, the priority order is determined in ascending order of the distance D held in the RAM 104, and the IDs of the groups of registered gestures are rearranged in the priority order and are stored in the RAM 104. Thus, the gesture start process in the present embodiment is completed, and the process returns to the caller main process. In the subsequent gesture recognition process, the gestures performed on the input area are searched from the registered gestures in the order of the group IDs held here.

次に、図８を参照して、ステップＳ５０５における、入力領域に対して行われたジェスチャを、登録ジェスチャの中から特定する処理（ジェスチャ認識処理）を説明する。 Next, with reference to FIG. 8, a process (gesture recognition process) for specifying a gesture performed on the input area from the registered gestures in step S505 will be described.

まず、ステップＳ８０１において、特定部２０６が、ユーザのジェスチャが終了したかどうかを判定する。具体的には、検知部２０１から、タッチパネルディスプレイ１０９の入力領域に対するタッチが解放され、タッチ位置が検知されなくなったことを示す情報を受信したかどうかによって判定する。タッチが解放されない場合（ステップＳ８０１でＮｏ）は、ジェスチャの入力が継続中であるので、解放されるまで待機する。タッチが解放された場合（ステップＳ８０１でＹｅｓ）は、ステップＳ８０２に進む。ステップＳ８０２においては、特定部２０６が、ジェスチャが開始されてから終了されるまでに辿った軌跡を検知部２０１が検知しＲＡＭ１０４に保持している、その軌跡の座標情報を取得する。続くステップＳ８０３では、特定部２０６が、入力ジェスチャを検索するためにＲＡＭ１０４に保持していた登録ジェスチャのグループＩＤの中で、優先順が先頭のものを選択する。保持されているグループが１つであった場合には、該当する１つのグループのＩＤを選択する。そして、ステップＳ８０４に進み、選択したＩＤのグループに登録された複数の登録ジェスチャの中に、入力領域に対して行われたジェスチャに該当するジェスチャがあるか検索を行う。本実施形態では、特定部２０６が、複数の登録ジェスチャのパターンと入力領域に対して行われたジェスチャの軌跡座標が描くパターンをそれぞれ比較して行き、結果を一致度としてスコア化する。そして、例えば一致度９０％といった閾値以上のスコアを示す登録ジェスチャが存在した場合に、そのジェスチャを特定し、ＲＡＭ１０４上に登録ジェスチャ情報を保持する。なお、閾値を越える登録ジェスチャが複数該当してしまった場合には、それらのうち最もスコアが高いものを特定するものとする。続くステップＳ８０５では、検索の結果、特定部２０６が条件に該当するジェスチャを特定したかどうかを判定する。ジェスチャを特定した場合（ステップＳ８０５でＹｅｓ）には、ステップＳ８０６に進み、ステップＳ８０４でＲＡＭ１０４に保持した登録ジェスチャの情報を、ジェスチャを認識した結果としてメイン処理に返し、ジェスチャ認識処理を終了する。ジェスチャを特定していない場合（ステップＳ８０５でＮｏ）には、ステップＳ８０７に進む。ステップＳ８０７では、特定部２０６が、検索対象として保持されている全てのグループで検索処理が終了したかを判定する。全てのグループで検索が行われていなければ（ステップＳ８０７でＮｏ）、ステップＳ８０８に進み、優先順が次のグループのＩＤを選択して、ステップＳ８０４の処理に戻る。全てのグループの検索が終了した場合（ステップＳ８０７でＹｅｓ）、開始座標が含まれる領域で認識可能な登録ジェスチャが入力されていないとしてエラーを出力し、メイン処理にリターンする。 First, in step S801, the specifying unit 206 determines whether or not the user's gesture has ended. Specifically, the determination is made based on whether or not the detection unit 201 has received information indicating that the touch on the input area of the touch panel display 109 has been released and the touch position is no longer detected. If the touch is not released (No in step S801), since the gesture input is ongoing, the process waits until the touch is released. If the touch is released (Yes in step S801), the process proceeds to step S802. In step S 802, the specifying unit 206 detects the trajectory traced from the start to the end of the gesture and the detection unit 201 detects the coordinate information of the trajectory held in the RAM 104. In subsequent step S803, the specifying unit 206 selects the group ID of the registered gesture held in the RAM 104 in order to search for the input gesture, the one having the first priority order. If the number of held groups is one, the ID of one corresponding group is selected. The process advances to step S804 to search for a gesture corresponding to the gesture performed on the input area among the plurality of registered gestures registered in the selected ID group. In the present embodiment, the specifying unit 206 compares a plurality of registered gesture patterns with patterns drawn by trajectory coordinates of gestures performed on the input area, and scores the result as a degree of coincidence. For example, when there is a registered gesture indicating a score equal to or higher than a threshold value such as a matching degree of 90%, the gesture is specified, and the registered gesture information is stored in the RAM 104. In addition, when a plurality of registered gestures exceeding the threshold value correspond, the one with the highest score is specified. In subsequent step S805, as a result of the search, it is determined whether or not the specifying unit 206 has specified a gesture corresponding to the condition. If a gesture has been specified (Yes in step S805), the process proceeds to step S806, where the registered gesture information held in the RAM 104 in step S804 is returned to the main process as a result of recognizing the gesture, and the gesture recognition process is terminated. If no gesture has been specified (No in step S805), the process proceeds to step S807. In step S807, the specifying unit 206 determines whether the search processing has been completed for all groups held as search targets. If all the groups have not been searched (No in step S807), the process proceeds to step S808, the ID of the next group in the priority order is selected, and the process returns to step S804. If all the groups have been searched (Yes in step S807), an error is output assuming that no registered gesture that can be recognized in the area including the start coordinates has been input, and the process returns to the main process.

以上が、本実施形態のために情報処理装置１００で実行される一連の処理である。 The above is a series of processes executed by the information processing apparatus 100 for the present embodiment.

なお、本実施形態の領域設定処理では、取得部２０２が取得する画面サイズは、タッチパネルディスプレイ１０９の画面解像度であった。ただし、これは一例である。例えば、アプリケーションのウインドウのサイズを取得しても良い。また、ウインドウ内のユーザが手書き認識可能な入力領域のサイズを取得しても良い。この場合、取得部２０２はウインドウ及び入力領域のサイズが変わる度に、新たに領域設定処理を行う。さらには、表示部とは別に用意されたタッチ入力専用の領域のサイズであっても良い。 In the area setting process of the present embodiment, the screen size acquired by the acquisition unit 202 is the screen resolution of the touch panel display 109. However, this is an example. For example, the size of the application window may be acquired. Moreover, you may acquire the size of the input area which the user in a window can recognize by handwriting. In this case, the acquisition unit 202 newly performs a region setting process every time the size of the window and the input region changes. Furthermore, it may be the size of an area dedicated for touch input prepared separately from the display unit.

また、本実施形態のジェスチャ開始処理では、開始座標と開始許可領域に含まれる画面の四隅の座標との距離を計算したがこれに限らない。例えば、開始座標と開始許可領域の重心の座標までの距離を計算しても良い。また、開始座標から四隅又は重心の座標までの距離を計算する際に、タッチパネルディスプレイ１０９の画面の縦横比率を考慮しても良い。例えば、画面の縦横比率が２：３の場合、横の長さを２／３倍してから計算を行う。 In the gesture start process of the present embodiment, the distance between the start coordinates and the coordinates of the four corners of the screen included in the start permission area is calculated, but the present invention is not limited to this. For example, the distance between the start coordinates and the coordinates of the center of gravity of the start permission area may be calculated. Further, when calculating the distance from the start coordinates to the coordinates of the four corners or the center of gravity, the aspect ratio of the screen of the touch panel display 109 may be taken into consideration. For example, when the aspect ratio of the screen is 2: 3, the calculation is performed after the horizontal length is multiplied by 2/3.

また、本実施形態のジェスチャ認識処理では、ユーザがタッチパネルディスプレイ１０９の入力領域からタッチ入力を解放した時点で、ジェスチャの認識処理を行ったがこれは一例である。例えば、ユーザのタッチ位置の移動を検知部２０１が検知する度にその座標を特定部２０６が取得し、登録ジェスチャとの比較を行っても構わない。また、ユーザが開始許可領域をタッチした時点で、操作可能なジェスチャを画面に一覧表示することもできる。各グループの登録ジェスチャの数が少ない場合には、このようにジェスチャのパターンを入力するより前に一覧表示を提示することで、ユーザが誤った位置で操作を行いエラーになる恐れを低減できるので効果的と言える。 In the gesture recognition process according to the present embodiment, the gesture recognition process is performed when the user releases the touch input from the input area of the touch panel display 109. This is an example. For example, each time the detection unit 201 detects the movement of the user's touch position, the specifying unit 206 may acquire the coordinates and perform comparison with the registered gesture. Further, when the user touches the start permission area, a list of gestures that can be operated can be displayed on the screen. When the number of registered gestures in each group is small, the risk of errors caused by the user operating at the wrong position can be reduced by presenting the list display before inputting the gesture pattern in this way. It can be said that it is effective.

以上のように、本実施形態によれば、情報処理装置１００に登録されたジェスチャを、開始位置から終了位置へのベクトルの方向が同じことに基づいてグループ分けする。そして、入力装置１０７の画面サイズ及びグループ化された登録ジェスチャを基に、グループ毎の開始許可領域を設定するので、ジェスチャが開始された時点で、入力領域に対して行われたジェスチャを検索するグループを絞り込むことができる。従って、ユーザが任意の位置で開始して、入力領域内で可能な限り自由な大きさで行ったジェスチャであっても、情報処理装置に登録された多数のジェスチャから検索するのにかかる処理負荷を低減することが可能になる。また、絞り込んだグループが複数であった場合には、入力座標と開始許可領域の代表座標との距離が小さい順に、検索を行うグループの優先順を決定する為、該当する可能性の高いジェスチャから検索をかけられるので、認識時間を削減することができる。 As described above, according to the present embodiment, gestures registered in the information processing apparatus 100 are grouped based on the same vector direction from the start position to the end position. Then, since the start permission area for each group is set based on the screen size of the input device 107 and the grouped registered gestures, the gesture performed on the input area is searched when the gesture is started. You can narrow down the group. Therefore, the processing load required to search from a large number of gestures registered in the information processing apparatus, even if the user starts at an arbitrary position and performs the gesture as freely as possible within the input area. Can be reduced. In addition, when there are a plurality of narrowed down groups, the priority order of the groups to be searched is determined in ascending order of the distance between the input coordinates and the representative coordinates of the start permitted area. Since the search can be applied, the recognition time can be reduced.

［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。なお、第１の実施形態に準ずる箇所については、説明を省略する。 [Second Embodiment]
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. Note that a description of the parts according to the first embodiment is omitted.

第１の実施形態では、入力領域の四隅に均等に設定された開始許可領域に対して、グループ化した登録ジェスチャを対応させ、ジェスチャの開始座標がいずれの領域に含まれるかを基に、入力ジェスチャとの比較による検索を行うグループを絞り込んだ。しかし、開始許可領域がこのように固定されていると、ユーザの利用状況に応じては、情報処理装置１００の操作性を低減させる場合があった。例えば、情報処理装置１００がタブレット型端末のようなデバイスであって、右利きのユーザが左手でデバイスを支え、右手でジェスチャ操作を行う頻度が高い場合には、ジェスチャは入力領域の画面に向かって右側に偏った位置で行われる可能性が高くなる。このような場合において、第１の実施形態のように均等に設定された開始許可領域（図４（ｅ）など）を設定していると、登録ジェスチャの各グループに対して適正な優先順が設定されないなど、ジェスチャ認識が必ずしも効率的に行われないことがある。このような課題を解決するため、第２の実施形態では、ユーザが各ジェスチャを入力した開始位置の履歴を基に、開始許可領域を修正する例を示す。 In the first embodiment, grouped registered gestures are made to correspond to start permission areas set evenly at the four corners of the input area, and input is based on which area the start coordinates of the gesture are included in. Narrow down the groups to search by comparing with gestures. However, if the start permission area is fixed in this manner, the operability of the information processing apparatus 100 may be reduced depending on the usage status of the user. For example, when the information processing apparatus 100 is a device such as a tablet-type terminal and a right-handed user supports the device with the left hand and frequently performs gesture operations with the right hand, the gesture is directed toward the screen of the input area. This increases the possibility of being performed at a position biased to the right. In such a case, if a start permission area (such as FIG. 4 (e)) set equally is set as in the first embodiment, an appropriate priority order is set for each group of registered gestures. Gesture recognition may not always be performed efficiently, such as not being set. In order to solve such a problem, the second embodiment shows an example in which the start permission area is corrected based on the history of the start position at which the user inputs each gesture.

ハードウェア構成図は第１の実施形態と同様である。また、本実施形態においても、第１の実施形態同様、図３（ａ）に示した１２のパターンのジェスチャが登録されているものとする。 The hardware configuration diagram is the same as in the first embodiment. Also in this embodiment, as in the first embodiment, it is assumed that the gestures of the 12 patterns shown in FIG. 3A are registered.

図２（ｂ）は、本実施形態における機能構成図である。第１の実施形態との違いは修正部２０７が追加されたことである。修正部２０７は、特定部２０６から、ジェスチャの認識の結果と、ユーザがジェスチャを開始した開始座標の情報を取得し、履歴情報を生成して記憶部２００に保存する。更に、生成した履歴情報を基に、設定部２０３が設定した開始許可領域の修正を行う。 FIG. 2B is a functional configuration diagram in the present embodiment. The difference from the first embodiment is that a correction unit 207 is added. The correction unit 207 acquires the result of the gesture recognition and the information of the start coordinates at which the user started the gesture from the specifying unit 206, generates history information, and stores the history information in the storage unit 200. Further, the start permission area set by the setting unit 203 is corrected based on the generated history information.

開始許可領域修正の一例を概念図として図９に示す。図９（ａ）は、図４（ｃ）に相当するもので、入力領域４１において、開始許可領域４６（領域Ｌ２）が設定されている。領域Ｌ２においてジェスチャの開始が許可された登録ジェスチャは、第１の実施形態同様に、図３（ａ）に示したグループ３のジェスチャである。今、矢印９２は、グループ３の登録ジェスチャのうち、タッチを開始した指を画面に向かって上、右の順に動かすパターンを示しており、点９３は、矢印９２と同じグループ３のジェスチャがなされた直近の１０回の操作における開始座標を示すものとする。このように、グループ３の登録ジェスチャの入力が、領域Ｌ２の右下付近に偏って開始されるという傾向があるという場合、図９（ａ）のように設定された領域Ｌ２のうちの上側の部分は、矢印９２の登録ジェスチャの開始許可領域としての役割を果たしていない。このような場合に、第２の実施形態では、図９（ｂ）に示すように、領域Ｌ２を修正し、不必要な範囲を省いた開始許可領域９４を設定する。全てのグループのジェスチャに関して、同様の処理を行うと、当初図４（ｅ）のように設定されていた独立領域及び重複領域が、図９（ｃ）のように修正される。ここで、独立領域である領域Ａ及び領域Ｇは、図４（ｅ）よりも広くなっていることがわかる。つまり、当初は複数のグループの優先順を決定して順に入力ジェスチャと登録ジェスチャの比較を行っていた領域において、修正処理以降は、その優先順決定処理を省略して一意に１つのグループを選択するので、その分の処理負荷を低減することができる。 An example of the start permission area correction is shown in FIG. 9 as a conceptual diagram. FIG. 9A corresponds to FIG. 4C, and in the input area 41, a start permission area 46 (area L2) is set. The registered gestures permitted to start gestures in the region L2 are the gestures of the group 3 shown in FIG. 3A as in the first embodiment. Now, the arrow 92 shows a pattern in which the finger that started touching moves up and to the right among the registered gestures of the group 3 in the order of right and upward, and the point 93 is made the same group 3 gesture as the arrow 92. The starting coordinates in the last 10 operations shall be indicated. As described above, when there is a tendency that the input of the registration gesture of the group 3 tends to start near the lower right of the region L2, the upper side of the region L2 set as shown in FIG. The part does not play a role as a start permission area of the registration gesture indicated by the arrow 92. In such a case, in the second embodiment, as shown in FIG. 9B, the area L2 is corrected, and a start permission area 94 is set by omitting unnecessary ranges. When the same processing is performed for all groups of gestures, the independent area and the overlapping area originally set as shown in FIG. 4E are corrected as shown in FIG. 9C. Here, it can be seen that the regions A and G, which are independent regions, are wider than those in FIG. In other words, in the area where the priority order of a plurality of groups was initially determined and the input gesture and the registered gesture were compared in order, after the correction process, the priority order determination process is omitted and a single group is uniquely selected. Therefore, the processing load corresponding to that can be reduced.

次に、図９及び図１０を参照して、第２の実施形態における情報処理装置１００の処理内容を説明する。尚、メイン処理、領域設定処理、ジェスチャ開始処理の流れは第１の実施形態に準ずるため、説明は省略する。 Next, processing contents of the information processing apparatus 100 according to the second embodiment will be described with reference to FIGS. 9 and 10. Note that the flow of the main process, the area setting process, and the gesture start process is the same as that of the first embodiment, and a description thereof will be omitted.

図９は、本実施形態におけるジェスチャ認識処理を示すフローチャートである。第１の実施形態との違いは、ステップＳ９００が追加されたことである。その他のステップＳ８０１からステップＳ８０９は第１の実施形態と同じである。本実施形態における処理では、ステップＳ８０６でジェスチャを認識した結果をメイン処理に返した後、ステップＳ９００に移行する。 FIG. 9 is a flowchart showing gesture recognition processing in the present embodiment. The difference from the first embodiment is that step S900 is added. Other steps S801 to S809 are the same as those in the first embodiment. In the process according to the present embodiment, the result of recognizing the gesture in step S806 is returned to the main process, and then the process proceeds to step S900.

次に、図１１を参照して領域修正処理（ステップＳ９００）を説明する。 Next, the area correction process (step S900) will be described with reference to FIG.

まず、ステップＳ９０１において、修正部２０７が、今回のジェスチャ認識処理で認識した登録ジェスチャのグループの開始座標の履歴情報を記憶部２００から取得する。本実施形態では、登録ジェスチャのグループ毎に、直近１０回分の操作の開始座標が、参照可能な履歴情報として記憶部２００に記憶されているものとする。取得部２０２は、今回の処理における開始座標によって取得した履歴情報を更新し、ＲＡＭ１０４上に保持する。次に、ステップＳ９０２において、修正部２０７は、ＲＡＭ１０４上に保持した履歴情報から、開始座標の分布を解析する。本実施形態では、１０回分の開始座標のうち、開始許可領域の最も外側に相当する座標を特定し、その座標を保持する。ここでいう、外とは、図９の概要図で説明したように、開始許可領域を修正する際に可変となる２辺に近づく方向をいう。本実施形態では、入力領域の左下を原点として座標平面を設定しているので、例えば、図９（ａ）で示したグループ３（領域Ｌ２）の例では、１０回分の操作の開始座標のうち、ｘ軸方向で最も外側とは、ｘ，ｙ座標がそれぞれ最大である座標である。従って、２方向それぞれで最も外側と判断される２点の開始座標が特定される場合もある。この場合には、ｘ軸方向で最も外側の座標ｘ＿ｍａｘ、ｙ軸方向において最も外側の座標ｙ＿ｍａｘをそれぞれ保持する。最も外側の座標を特定したら、処理はステップＳ９０３に進む。ステップＳ９０３では、解析した履歴情報を基に、開始許可領域を必要十分な範囲に修正し、保持する。本実施形態では、ステップＳ９０２で保持した垂直方向または水平方向で最も外側にある座標（ｘ＿ｍａｘ，ｙ＿ｍａｘ）に対し、それぞれ１０ｐｉｘｅｌの余裕を持った領域を必要十分な範囲と判断する。すなわち、図９の例では、図９（ｂ）で修正された開始許可領域９４（領域Ｌ２）は、（０：ｘ＿ｍａｘ＋１０，０：ｙ＿ｍａｘ＋１０）という座標で示される領域になる。これによって、次回の操作でジェスチャ開始処理（ステップＳ５０４）では、修正された開始許可領域に基づいて、検索対象となるグループの選択が行われる。そして、ステップＳ９０４において、修正部２０７は、修正した開始許可領域の情報及び、ＲＡＭ１０４に保持していた開始座標の履歴情報を記憶部２００に保存する。従って、アプリケーションを終了した後、でも次回起動時のステップＳ５０１において、今回の処理で修正した開始許可領域の設定を記憶部２００から読み出し、領域設定処理（ステップＳ５０２）を省略することもできる。以上が、第２の実施形態において情報処理装置１００で実行される領域修正処理である。 First, in step S 901, the correction unit 207 acquires from the storage unit 200 history information of the start coordinates of a registered gesture group recognized in the current gesture recognition process. In the present embodiment, it is assumed that the start coordinates of the last 10 operations are stored in the storage unit 200 as referenceable history information for each group of registered gestures. The acquisition unit 202 updates the history information acquired by the start coordinates in the current process and stores the updated history information on the RAM 104. Next, in step S 902, the correction unit 207 analyzes the start coordinate distribution from the history information held on the RAM 104. In the present embodiment, the coordinates corresponding to the outermost side of the start permission area among the start coordinates for 10 times are specified, and the coordinates are held. The term “outside” as used herein refers to a direction approaching two sides that are variable when the start permission area is corrected, as described in the schematic diagram of FIG. In this embodiment, since the coordinate plane is set with the lower left of the input area as the origin, for example, in the example of group 3 (area L2) shown in FIG. The outermost side in the x-axis direction is a coordinate where the x and y coordinates are maximum. Accordingly, there are cases where the starting coordinates of the two points determined to be the outermost in each of the two directions are specified. In this case, the outermost coordinate x_max in the x-axis direction and the outermost coordinate y_max in the y-axis direction are held. If the outermost coordinate is specified, the process proceeds to step S903. In step S903, the start permission area is corrected to a necessary and sufficient range based on the analyzed history information and held. In the present embodiment, an area having a margin of 10 pixels with respect to the coordinates (x_max, y_max) that are outermost in the vertical direction or horizontal direction held in step S902 is determined as a necessary and sufficient range. That is, in the example of FIG. 9, the start permission area 94 (area L2) corrected in FIG. 9B is an area indicated by coordinates (0: x_max + 10, 0: y_max + 10). As a result, in the gesture start process (step S504) in the next operation, a group to be searched is selected based on the corrected start permission area. In step S 904, the correction unit 207 stores the corrected start permission area information and the start coordinate history information held in the RAM 104 in the storage unit 200. Therefore, even after the application is terminated, the setting of the start permission area corrected in the current process can be read from the storage unit 200 in step S501 at the next activation, and the area setting process (step S502) can be omitted. The above is the area correction process executed by the information processing apparatus 100 in the second embodiment.

なお、本実施形態では、ステップＳ９０１において取得する履歴情報は、今回のジェスチャ認識処理で認識した登録ジェスチャが属するグループのジェスチャの直近１０回分の操作の開始座標とした。ただし、これは一例であり、例えば直近１００回の履歴を取得しても良く、履歴を取得する回数はユーザが任意に設定可能としても良い。また、本実施形態では、ステップＳ９０２において開始座標の分布を解析する際には、最も外側の座標を特定していたが、これに限らない。例えばヒストグラムを生成し、フィッティングした分布関数を解析して、ステップＳ９０３において、その分布関数から導かれる妥当な範囲に開始許可領域を修正してもよい。このようにすることで、統計的なデータから妥当な開始許可領域を設定できるので、ユーザの個々の使い方により適切に対応した範囲を設定できる。あるいは、今回の処理１回分の履歴を、次回の操作で用いる開始許可領域に反映させる構成としてもよい。この場合には、各開始許可領域内に基準領域を定め、今回行われたジェスチャの開始座標が基準領域内であったか、基準領域外であったかに基づき、例えば１％ずつ開始許可領域を狭め、あるは広げる。このように、毎回少しずつ範囲を修正していくことで、極端なサイズ変更が行われるのを避けるとともに、ユーザの使用方法に合わせた開始許可領域を設定していくことができる。 In the present embodiment, the history information acquired in step S901 is the start coordinates of the last 10 operations of the gesture of the group to which the registered gesture recognized by the current gesture recognition process belongs. However, this is only an example, and for example, the most recent 100 history may be acquired, and the number of times of acquiring the history may be arbitrarily set by the user. Further, in the present embodiment, when analyzing the distribution of the start coordinates in step S902, the outermost coordinates are specified, but the present invention is not limited to this. For example, a histogram may be generated and the fitted distribution function may be analyzed, and in step S903, the start permitted area may be corrected to an appropriate range derived from the distribution function. By doing in this way, since a reasonable start permission area can be set from statistical data, it is possible to set a range corresponding appropriately depending on individual usage of the user. Or it is good also as a structure which reflects the log | history for this process 1 time in the start permission area | region used by the next operation. In this case, a reference area is defined in each start permission area, and the start permission area is narrowed by, for example, 1% based on whether the start coordinates of the gesture performed this time are within the reference area or outside the reference area, for example, Spread. In this way, by correcting the range little by little each time, it is possible to avoid an extreme size change and to set a start permission area in accordance with the usage method of the user.

ここまで説明した第２の実施形態では、ジェスチャ認識が行われる度に領域修正処理を行ったが、この場合、サンプルにする履歴の操作回数が多くなると、操作を行う度に領域修正処理にかかる処理負荷が大きくなり、その後の処理に遅延が生じる可能性がある。そこで、例えば、ジェスチャを認識する度に操作回数をカウントして履歴を保持し、１００回の操作毎に、１００回分の操作の履歴に基づいて領域修正処理を行うといった変形例を用いることもできる。こうすることで、取得する履歴の操作回数を増やして詳細な解析を行った場合でも、領域修正処理を行う回数を限定することができるので、必要以上の負荷をかけて操作性を低減させずにすむという利点がある。 In the second embodiment described so far, the area correction process is performed each time gesture recognition is performed. In this case, if the number of operations of the history to be sampled increases, the area correction process is performed each time an operation is performed. There is a possibility that the processing load becomes large and a delay occurs in the subsequent processing. Therefore, for example, it is possible to use a modification in which the number of operations is counted each time a gesture is recognized and the history is held, and the region correction processing is performed based on the history of operations for 100 operations every 100 operations. . In this way, even if detailed analysis is performed by increasing the number of operations of the history to be acquired, the number of times area correction processing can be performed can be limited, so that operability is not reduced by applying more load than necessary. There is an advantage that it is necessary.

以上のように、第２の実施形態では、ユーザが過去に行ったジェスチャから開始許可領域の範囲を修正するため、ジェスチャを繰り返し行うのに従って、ユーザの個々の操作方法に順応した適切な操作環境を整えていくことができる。また、開始許可領域を最適化していくため、重複領域が最小限となり、複数のグループに対して入力ジェスチャの検索を行う処理に係る負荷を削減することが可能となる。 As described above, in the second embodiment, in order to correct the range of the start permitted area from the gesture performed by the user in the past, an appropriate operation environment adapted to the individual operation method of the user as the gesture is repeatedly performed. Can be arranged. Further, since the start permission area is optimized, the overlapping area is minimized, and it is possible to reduce the load related to the process of searching for an input gesture for a plurality of groups.

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 [Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims

Storage means for storing a plurality of gestures as a group for each gesture having a similar vector from the start position to the end position;
Detecting means for detecting a gesture performed on the input area;
When the start position of the gesture is detected by the detection unit, at least one group among the registered groups is processed according to the start position regardless of whether or not the gesture has ended. A decision means to decide;
When the end position of the gesture is detected by the detection unit, the gesture is performed on the input area from the gestures belonging to the group determined by the determination unit according to the gesture trajectory detected by the detection unit. A specific means of identifying the gesture,
An information processing apparatus comprising:

In the input area, further comprising a setting means for setting an area where the start of the gesture registered for each group is permitted,
The determination means sets a group to which a gesture permitted to start belongs to at least one area including the start position of the gesture detected by the detection means among the areas set by the setting means. The information processing apparatus according to claim 1, wherein the information processing apparatus is determined.

The setting unit determines a size of a minimum range assumed when each of the registered gestures is performed on the input area, and when the gesture becomes a start position of the gesture in the input area 3. An area in which the start of a gesture registered for each group is permitted is set based on whether or not the range of the determined size can be secured in the vector direction. The information processing apparatus described.

The determination unit represents the start position and each of the plurality of regions including the start position when there are a plurality of groups to which a gesture permitted to start input belongs at the start position detected by the detection unit. Determining the priority order of the plurality of groups based on the distance between
When the specifying unit specifies a gesture performed on the input area from gestures belonging to a group selected one by one according to the priority order, a search for a group after that in the priority order is performed. The information processing apparatus according to any one of claims 2 to 3, wherein the information processing apparatus is not performed.

The correction unit for correcting the range of the region set by the setting unit based on information on a start position when each of the plurality of gestures is input in the past. The information processing apparatus according to any one of claims.

A program that causes a computer to function as the information processing apparatus according to any one of claims 1 to 5 by being read and executed by a computer.

A storage step of storing a plurality of gestures as a group for each gesture having a similar vector from the start position to the end position by the storage means;
A detection step of detecting a gesture performed on the input area by the detection means;
When the start position of the gesture is detected by the detecting means by the determining means, at least one group of the registered groups is selected according to the start position regardless of whether or not the gesture has ended. A decision process to determine the object of processing;
When the ending position of the gesture is detected by the detection unit by the specifying unit, the gesture is assigned to the input area from the gestures belonging to the group determined by the determination unit according to the locus of the gesture detected by the detection unit. A specific process of identifying gestures made to the
An information processing apparatus control method comprising: