JP7328044B2 - Detection device and detection method - Google Patents
Detection device and detection method Download PDFInfo
- Publication number
- JP7328044B2 JP7328044B2 JP2019134848A JP2019134848A JP7328044B2 JP 7328044 B2 JP7328044 B2 JP 7328044B2 JP 2019134848 A JP2019134848 A JP 2019134848A JP 2019134848 A JP2019134848 A JP 2019134848A JP 7328044 B2 JP7328044 B2 JP 7328044B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- data
- partial
- periodic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 149
- 230000002159 abnormal effect Effects 0.000 claims description 104
- 230000000737 periodic effect Effects 0.000 claims description 104
- 230000005856 abnormality Effects 0.000 claims description 67
- 238000004364 calculation method Methods 0.000 claims description 26
- 210000003811 finger Anatomy 0.000 description 99
- 230000033001 locomotion Effects 0.000 description 75
- 238000005259 measurement Methods 0.000 description 71
- 230000001133 acceleration Effects 0.000 description 33
- 238000011157 data evaluation Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 238000011156 evaluation Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 24
- 238000000034 method Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 210000004247 hand Anatomy 0.000 description 16
- 238000010079 rubber tapping Methods 0.000 description 13
- 239000003550 marker Substances 0.000 description 12
- 238000012706 support-vector machine Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000005057 finger movement Effects 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 208000018737 Parkinson disease Diseases 0.000 description 3
- 230000005978 brain dysfunction Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 206010012289 Dementia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003920 cognitive function Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007659 motor function Effects 0.000 description 2
- 238000000491 multivariate analysis Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006999 cognitive decline Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000009184 walking Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、情報処理サービス技術に関する。また、本発明は、周期的時系列データの異常部分を検出する検出装置および検出方法を実現するための技術に関する。 The present invention relates to information processing service technology. The present invention also relates to a technique for realizing a detection device and a detection method for detecting an abnormal portion of periodic time-series data.
ヘルスケア分野・医療分野・介護分野等の分野において、人を対象としたデータ計測を行うシステムが増えている。これらのシステムでは、得られたデータから解析結果を算出してユーザにフィードバックしたりすることで、ユーザに価値のある情報を提供する。上記のデータとしては、周期的な時系列データであることが多い。 In the fields of health care, medical care, nursing care, and the like, the number of systems for measuring human data is increasing. These systems provide users with valuable information by calculating analysis results from the obtained data and feeding them back to the users. The above data is often periodic time-series data.
このようなシステムの一例として、ユーザの指タップ運動の計測・解析によって認知機能や運動機能を簡易的に評価するシステム(指タップ計測解析システム)が挙げられる(例えば特許文献1)。 As an example of such a system, there is a system (finger tap measurement analysis system) that simply evaluates cognitive function and motor function by measuring and analyzing a user's finger tap motion (for example, Patent Document 1).
ここで、指タップ運動とは、親指と人差し指を繰り返し開閉する運動である。指タップ運動を計測することで、周期的時系列データが得られる。指タップ運動は、認知症やパーキンソン病等の脳機能障害の有無や重症度によって、その出来が異なることが知られている。上記システムで計測された周期的時系列データの解析結果から、ユーザが有する脳機能障害の早期発見や重症度推定等の評価を行える可能性が指摘されている。 Here, the finger tap exercise is an exercise of repeatedly opening and closing the thumb and forefinger. Periodic time-series data can be obtained by measuring the finger tap motion. It is known that the performance of finger-tapping movement varies depending on the presence or severity of brain dysfunction such as dementia and Parkinson's disease. From the analysis results of the periodic time-series data measured by the above system, it has been pointed out that it is possible to evaluate the early detection and severity estimation of the brain dysfunction that the user has.
指タップ運動の周期的時系列データを解析して得られた評価結果が悪かった場合、その評価結果について、より詳細な結果が得られることが望ましい。 If the evaluation result obtained by analyzing the periodic time-series data of finger tap motion is poor, it is desirable to obtain more detailed results for the evaluation result.
本発明の目的は、周期的時系列データについて、より詳細な評価結果を提供することを目的とする。 An object of the present invention is to provide more detailed evaluation results for periodic time-series data.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will become apparent from the description of the specification and the accompanying drawings.
前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。 As means for solving the above problems, the technology described in the claims is used.
一例を挙げるならば、生体の状態を示す周期的情報を用いて異常を検出する検出装置であって、周期的情報を取得する周期的情報取得部と、周期的情報取得部により取得された周期的情報から、周期に基づいた部分情報を生成する部分情報生成部と、部分情報生成部により生成された部分情報の特徴量を算出する部分情報特徴量算出部と、部分情報特徴量算出部により算出された特徴量に基づいて、部分情報生成部により生成された部分情報の異常を検出する部分情報異常検出部と、部分情報異常検出部による検出結果に基づいた情報を出力する出力部と、を備える。 For example, a detection device for detecting an abnormality using periodic information indicating the state of a living body, comprising: a periodic information acquisition unit that acquires the periodic information; A partial information generation unit that generates partial information based on a period from the target information, a partial information feature amount calculation unit that calculates the feature amount of the partial information generated by the partial information generation unit, and a partial information feature amount calculation unit. a partial information anomaly detection unit for detecting an anomaly in the partial information generated by the partial information generation unit based on the calculated feature amount; an output unit for outputting information based on the detection result of the partial information anomaly detection unit; Prepare.
本発明の技術を用いることにより、周期的時系列データについて、より詳細な評価結果を提供することができる。 By using the technique of the present invention, more detailed evaluation results can be provided for periodic time-series data.
以下、本発明の実施形態の例を、図面を用いて説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings. In principle, the same parts are denoted by the same reference numerals in all the drawings for describing the embodiments, and repeated description thereof will be omitted.
実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。 Embodiments will be described in detail with reference to the drawings. However, the present invention should not be construed as being limited to the description of the embodiments shown below. Those skilled in the art will easily understand that the specific configuration can be changed without departing from the idea or gist of the present invention.
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。 When there are a plurality of elements having the same or similar functions, they may be described with the same reference numerals and different suffixes. However, if there is no need to distinguish between multiple elements, the subscripts may be omitted.
本明細書等における「第1」、「第2」、「第3」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。 Notations such as “first”, “second”, “third” in this specification etc. are attached to identify the constituent elements, and do not necessarily limit the number, order, or content thereof isn't it. Also, numbers for identifying components are used for each context, and numbers used in one context do not necessarily indicate the same configuration in other contexts. Also, it does not preclude a component identified by a certain number from having the function of a component identified by another number.
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。 The position, size, shape, range, etc. of each component shown in the drawings, etc. may not represent the actual position, size, shape, range, etc., in order to facilitate understanding of the invention. Therefore, the present invention is not necessarily limited to the positions, sizes, shapes, ranges, etc. disclosed in the drawings and the like.
(第1実施形態)
図1~図18を用いて、第1実施形態の周期的時系列データ異常部分検出システム(検出装置)について説明する。第1実施形態の周期的時系列データ異常部分検出システムは、被験者を計測して得られた周期的時系列データ(生体の状態を示す周期的情報)の中の異常部分を検出する機能を有する。この機能により、高精度に異常部分を検出できる。
(First embodiment)
A periodic time-series data abnormal portion detection system (detection device) according to the first embodiment will be described with reference to FIGS. 1 to 18. FIG. The periodic time-series data abnormal part detection system of the first embodiment has a function of detecting an abnormal part in the periodic time-series data (periodic information indicating the state of the living body) obtained by measuring the subject. . With this function, an abnormal portion can be detected with high accuracy.
[人データ計測システム]
図1は、第1実施形態の周期的時系列データ異常部分検出システムを含む、人データ計測システムの構成図である。第1実施形態では、病院や高齢者施設などの施設やユーザ自宅等に、人データ計測システムを有する。人データ計測システムは、周期的時系列データ異常部分検出システム1と、磁気センサ型指タップ運動システムである計測システム2とを有し、それらが通信線を通じて接続されている。計測システムは、計測装置3と端末装置4とを有し、それらが通信線を通じて接続されている。施設内に複数の計測システム2が設けられてもよい。
[People data measurement system]
FIG. 1 is a configuration diagram of a human data measurement system including a periodic time-series data abnormal portion detection system according to the first embodiment. In the first embodiment, facilities such as hospitals and facilities for the elderly, user's homes, and the like have human data measurement systems. The human data measurement system has a periodic time-series data abnormal
計測システム2は、磁気センサ型の運動センサを用いて手指運動を計測するシステムである。計測装置3には運動センサが接続されている。ユーザの手指にはその運動センサが装着される。計測装置3は、運動センサを通じて手指運動を計測し、時系列の波形信号を含む計測データを得る。端末装置4は、部分データ異常検出結果を含んだ各種の情報を表示画面に表示し、ユーザによる操作入力を受け付ける。第1実施形態では、端末装置4はPCである。
The
周期的時系列データ異常部分検出システム1は、情報処理によるサービスとして、異常部分検出サービスを提供する機能を有する。周期的時系列データ異常部分検出システム1は、その機能として、部分データ異常検出機能を有する。部分データ異常検出機能は、計測システム2で計測された周期的時系列データの中の異常な部位を検出する機能である。
The periodic time-series data
周期的時系列データ異常部分検出システム1は、計測システム2からの入力データとして、例えば、周期的時系列データ等を入力する。周期的時系列データ異常部分検出システム1は、計測システム2への出力データとして、例えば、部分データ異常検出結果等を出力する。部分データ異常検出結果には、部分データ異常判定結果の他に、部分データ異常度や部分データ異常特徴量が含まれる。
The periodic time-series data abnormal
第1実施形態の人データ計測システムは、病院や高齢者施設等の施設及びその被験者等に限らずに、広く一般的な施設や人に適用可能である。計測装置3と端末装置4が一体型の計測システムとして構成されてもよい。計測システム2と周期的時系列データ異常部分検出システム1が一体型の装置として構成されてもよい。端末装置4と周期的時系列データ異常部分検出システム1が一体型の装置として構成されてもよい。計測装置3と周期的時系列データ異常部分検出システム1が一体型の装置として構成されてもよい。
The human data measurement system of the first embodiment can be applied not only to facilities such as hospitals and facilities for the elderly and subjects thereof, but also to general facilities and people. The measuring
[周期的時系列データ異常部分検出システム]
図2は、第1実施形態の周期的時系列データ異常部分検出システム1の構成図である。周期的時系列データ異常部分検出システム1は、制御部101、記憶部102、入力部103、出力部104、通信部105等を有し、それらがバスを介して接続されている。入力部103は、周期的時系列データ異常部分検出システム1の管理者等による操作入力を行う部分である。出力部104は、周期的時系列データ異常部分検出システム1の管理者等に対する画面表示等を行う部分である。通信部105は、通信インタフェースを有し、計測装置3及び端末装置4との通信処理を行う部分である。
[Periodical time-series data anomaly detection system]
FIG. 2 is a configuration diagram of the periodic time-series data abnormal
制御部101は、周期的時系列データ異常部分検出システム1の全体を制御し、Central Processing Unit(CPU)、Read Only Memory(ROM)、Random Access Memory(RAM)等により構成され、ソフトウェアプログラム処理に基づいて、部分データ異常検出等を行うデータ処理部を実現する。制御部101のデータ処理部は、ユーザ情報管理部11、タスク処理部12、全体データ評価部13、部分データ異常評価部14、練習メニュー決定部15、結果出力部16を有する。制御部101は、計測装置3から計測データを入力する機能、計測データを処理して解析する機能、計測装置3や端末装置4へ制御指示を出力する機能、端末装置4へ表示用のデータを出力する機能等を実現する。
The
ユーザ情報管理部11は、ユーザにより入力されたユーザ情報をDB40のユーザ情報41に登録して管理する処理や、ユーザのサービス利用の際に、DB40のユーザ情報41を確認する処理等を行う。ユーザ情報41は、ユーザ個人毎の属性値、利用履歴情報、ユーザ設定情報、等を含む。属性値は、性別、年齢等がある。利用履歴情報は、本システムが提供するサービスをユーザが利用した履歴を管理する情報である。ユーザ設定情報は、本サービスの機能に関してユーザにより設定された設定情報である。
The user
タスク処理部12は、運動機能等の解析評価のためのタスクに関する処理を行う部分である。タスクは言い換えると所定の手指運動である。タスク処理部12は、DB40のタスクデータ42に基づいて、端末装置4の画面にタスクを出力する。また、タスク処理部12は、計測装置3で計測されたタスクの計測データ(生体の状態を示す周期的情報)を取得して、全体データ44AとしてDB40に格納する。ここで、全体データとは、所定の時間計測された周期的時系列データの全体を意味している。このように、タスク処理部12(周期的情報取得部)は、生体の状態を示す周期的情報を取得する。
The
全体データ評価部13は、全体データ特徴量算出部13A(周期的情報特徴量算出部)と全体データ評価部13B(周期的情報異常検出部)とを有する。全体データ特徴量算出部13Aは、ユーザの全体データ44Aに基づいて、全体データ44A(周期的時系列データ)の性質を表す特徴量を算出し、全体データ特徴量44BとしてDB40に格納する。全体データ評価部13Bは、全体データDB43を参照しながら全体データ特徴量44Bに基づいて全体データを評価し、全体データ評価結果44CとしてDB40に格納する。
The overall
部分データ異常評価部14は、部分データ生成部14A(部分情報生成部)、部分データ特徴量算出部14B(部分情報特徴量算出部)、部分データ異常検出部14C(部分情報異常検出部)を含む。部分データ生成部14Aは、全体データ44Aを分割して部分データ45Aを生成し、当該部分データ45AをDB40に格納する。部分データ特徴量算出部14Bは、個々の部分データ45Aに対して特徴量を算出し、部分データ特徴量45BとしてDB40に格納する。部分データ異常検出部14Cは、全体データDB43から得られた部分データを参照しながら部分データ特徴量45Bに基づいて部分データの異常を判定し、部分データ異常検出結果45CとしてDB40に格納する。部分データ異常検出結果45Cには、部分データ異常度45Ca、部分データ異常有無45Cb、部分データ異常特徴量45Ccが含まれる。
The partial data
このように、部分データ異常検出部14Cは、部分データ生成部14Aにより生成された部分情報の異常の度合いと、部分データ生成部14Aにより生成された部分情報が異常であるか否かを示す情報と、及び部分データ生成部14Aにより生成された部分情報が異常であることを検出する元となった特徴量である異常特徴量を示す情報とを生成する。この場合、周期的時系列データ異常部分検出システム1は、部分情報の異常に関する詳細な情報を生成するので、異常が発生した部分を特定できる情報より、さらに詳細な情報を提供することができる。
In this way, the partial data
練習メニュー決定部15は、部分データ異常特徴量45Ccから、練習メニューリスト50Cと練習メニュー対応表50Dに基づいて練習メニュー46を決定し、DB40に格納する。このように、練習メニュー決定部15は、部分データ異常検出部14Cにより算出された異常特徴量を改善するための練習メニューを決定する。
The practice
結果出力部16は、全体データ評価結果44C、部分データ異常検出結果45C、練習メニュー46を、端末装置4の画面に出力する処理を行う。全体データ評価部13および部分データ異常評価部14は、練習メニュー決定部15および結果出力部16と連携して画面出力処理を行う。このように、結果出力部16は、練習メニュー決定部15により決定されたメニューをさらに出力する。この場合、周期的時系列データ異常部分検出システム1は、部分データの異常部分に関する練習メニューを提示するので、当該異常部分を解消するのに役立つ情報を提示することができる。
The
また、結果出力部16は、全体データ評価結果44Cを出力するので、全体としての結果も出力するので、周期的時系列データに基づいて、複数の観点の情報を提供することができる。
In addition, since the
記憶部102のDB40に格納されるデータや情報として、ユーザ情報41、タスクデータ42、全体データDB43、全体データ44A、全体データ特徴量44B、全体データ評価結果44C、部分データ45A、部分データ特徴量45B、部分データ異常検出結果45C、等を有する。制御部101は、記憶部102に管理表50を保持し管理する。
Data and information stored in the
管理者は、管理表50の内容を設定可能である。管理表50は、全体データの特徴量を設定する全体データ特徴量リスト50A、部分データの特徴量を設定する部分データ特徴量リスト50B、練習メニューの候補を設定する練習メニューリスト50C、部分データ異常特徴量45Ccと練習メニューの対応を設定する練習メニュー対応表50D等が格納されている。
The administrator can set the contents of the management table 50 . The management table 50 includes a total data feature
[計測装置]
図3は、第1実施形態の計測装置3の構成図である。計測装置3は、運動センサ20、収容部301、計測部302、通信部303等を有する。収容部301は、運動センサ20が接続されている運動センサインタフェース部311、運動センサ20を制御する運動センサ制御部312を有する。計測部302は、運動センサ20及び収容部301を通じて、波形信号を計測し、計測データとして出力する。計測部302は、計測データを得るタスク計測部321を含む。通信部303は、通信インタフェースを有し、周囲的時系列データ異常部分検出システム1と通信して計測データを周囲的時系列データ異常部分検出システム1へ送信する。運動センサインタフェース部311は、アナログデジタル変換回路を含み、運動センサ20により検出されたアナログ波形信号を、サンプリングによりデジタル波形信号に変換する。そのデジタル波形信号は、運動センサ制御部312に入力される。
[Measuring device]
FIG. 3 is a configuration diagram of the measuring
なお、計測装置3で各計測データを記憶手段に保持する形態としてもよいし、計測装置3では各計測データを保持せずに周期的時系列データ異常部分検出システム1のみで保持する形態としてもよい。
Note that the
[端末装置]
図4は、第1実施形態の端末装置4の構成図である。端末装置4は、制御部401、記憶部402、通信部403、入力機器404、表示機器405を有する。制御部401は、ソフトウェアプログラム処理に基づいた制御処理として、全体データ評価結果表示、部分データ異常検出結果表示等を行う。記憶部402は、周期的時系列データ異常部分検出システム1から得た、ユーザ情報、タスクデータ、全体データ(周期的時系列データ)、全体データ評価結果、部分データ異常検出結果等を格納する。通信部403は、通信インタフェースを有し、周期的時系列データ異常部分検出システム1と通信して周期的時系列データ異常部分検出システム1から各種データを受信し、周期的時系列データ異常部分検出システム1へユーザ指示入力情報等を送信する。入力機器404は、キーボードやマウス等がある。表示機器405は、表示画面406に各種情報を表示する。なお、表示機器405をタッチパネルとしてもよい。
[Terminal device]
FIG. 4 is a configuration diagram of the
[手指、運動センサ、指タップ計測]
図5は、ユーザの手指に運動センサ20である磁気センサが装着された状態を示す図である。運動センサ20は、計測装置3に接続されている信号線23を通じて、対になるコイル部である、発信コイル部21と受信コイル部22とを有する。発信コイル部21は、磁場を発生し、受信コイル部22は、その磁場を検知する。図5の例では、ユーザの右手において、親指の爪付近に発信コイル部21が装着されており、人差し指の爪付近に受信コイル部22が装着されている。装着する指は他の指に変更可能である。装着する箇所は爪付近に限らず可能である。
[Finger, motion sensor, finger tap measurement]
FIG. 5 is a diagram showing a state in which a magnetic sensor, which is the
図5のように、ユーザの対象手指、例えば左手の親指と人差し指との二指に、運動センサ20を装着した状態とする。ユーザは、その状態で、二指の開閉の繰り返しの運動である指タップを行う。指タップでは、二指を閉じた状態、即ち二指の指先が接触した状態と、二指を開いた状態、即ち二指の指先を開いた状態との間で遷移する運動が行われる。その運動に伴い、二指の指先間の距離に対応する、発信コイル部21と受信コイル部22とのコイル部間の距離が変化する。計測装置3は、運動センサ20の発信コイル部21と受信コイル部22との間の磁場変化に応じた波形信号を計測する。
As shown in FIG. 5, it is assumed that the
なお、運動センサ20としては、二指の間の距離が計測できれば、磁気センサ以外の他のセンサでもよい。例えば、タブレット端末やタッチパネル式PCに二指を付けて繰り返し開閉させることで二指の距離波形を得てもよい。また、赤外線センサによって手の形状や指先の位置を検出して、二指の距離波形を得てもよい。
As the
指タップは、詳しくは以下の各種類のタスクが含まれる。その運動は、例えば、片手フリーラン、片手メトロノーム、両手同時フリーラン、両手交互フリーラン、両手同時メトロノーム、両手交互メトロノーム等が挙げられる。片手フリーランは、片手の二指でできる限り素早く何回も指タップを行うことを指す。片手メトロノームは、片手の二指で一定のペースの刺激に合わせて指タップを行うことを指す。両手同時フリーランは、左手の二指と右手の二指とで同じタイミングで指タップを行うことを指す。両手交互フリーランは、左手の二指と右手の二指とで交互のタイミングで指タップを行うことを指す。他にも、マーカーに追従して行わせる指タップもある。 Finger tapping includes the following types of tasks in detail. The exercise includes, for example, one-handed free run, one-handed metronome, two-handed free run, alternating two-handed free run, two-handed simultaneous metronome, two-handed alternate metronome, and the like. One-handed free run refers to performing finger taps as quickly and as many times as possible with two fingers of one hand. One-handed metronome refers to performing finger taps with two fingers of one hand in accordance with stimuli at a constant pace. Simultaneous free run with both hands refers to performing finger taps with two fingers of the left hand and two fingers of the right hand at the same timing. Alternating free run with both hands refers to performing finger tapping with two fingers of the left hand and two fingers of the right hand at alternate timings. In addition, there is also a finger tap that follows the marker.
[運動センサ制御部及び指タップ計測]
図6は、計測装置3の運動センサ制御部312等の詳細構成例を示す図である。運動センサ20において、発信コイル部21と受信コイル部22との間の距離Dを示す。運動センサ制御部312は、交流発生回路312a、電流発生用アンプ回路312b、プリアンプ回路312c、検波回路312d、LPF回路312e、位相調整回路312f、アンプ回路312g、出力信号端子312hを有する。
[Motion sensor control unit and finger tap measurement]
FIG. 6 is a diagram showing a detailed configuration example of the motion
交流発生回路312aには、電流発生用アンプ回路312b及び位相調整回路312fが接続されている。電流発生用アンプ回路312bには、信号線23を通じて、発信コイル部21が接続されている。プリアンプ回路312cには、信号線23を通じて、受信コイル部22が接続されている。プリアンプ回路312cの後段には、順に、検波回路312d、LPF回路312e、アンプ回路312g、出力信号端子312hが接続されている。位相調整回路312fには検波回路312dが接続されている。
A current
交流発生回路312aは、所定の周波数の交流電圧信号を生成する。電流発生用アンプ回路312bは、交流電圧信号を所定の周波数の交流電流に変換して発信コイル部21へ出力する。発信コイル部21は、交流電流によって磁場を発生する。その磁場は、受信コイル部22に誘起起電力を発生させる。受信コイル部22は、誘起起電力によって発生した交流電流を出力する。その交流電流は、交流発生回路312aで発生した交流電圧信号の所定の周波数と同じ周波数を持つ。
The
プリアンプ回路312cは、検出した交流電流を増幅する。検波回路312dは、増幅後の信号を、位相調整回路312fからの参照信号312iに基づいて検波する。位相調整回路312fは、交流発生回路312aからの所定の周波数または2倍周波数の交流電圧信号の位相を調整し、参照信号312iとして出力する。LPF回路312eは、検波後の信号を帯域制限して出力し、アンプ回路312gは、その信号を所定の電圧に増幅する。そして、出力信号端子312hからは、計測された波形信号に相当する出力信号が出力される。
The
出力信号である波形信号は、二指の距離Dを表す電圧値を持つ信号となっている。距離Dと電圧値は所定の計算式に基づいて変換可能である。その計算式は、キャリブレーションにより得ることもできる。キャリブレーションでは、例えばユーザが所定長のブロックを対象手の二指で持った状態で計測される。その計測値における電圧値と距離値とのデータセットから、誤差を最小にする近似曲線として、所定の計算式が得られる。また、キャリブレーションによってユーザの手の大きさを把握し、特徴量の正規化等に用いてもよい。第1実施形態では、運動センサ20として上記磁気センサを用い、その磁気センサに対応した計測手段を用いた。これに限らず、加速度センサ、ストレインゲージ、高速度カメラ等の他の検出手段及び計測手段を適用してもよい。
A waveform signal, which is an output signal, is a signal having a voltage value representing the distance D between two fingers. The distance D and voltage value can be converted based on a predetermined formula. The calculation formula can also be obtained by calibration. In calibration, for example, measurement is performed while the user holds a block of a predetermined length with two fingers of the target hand. A predetermined calculation formula is obtained as an approximation curve that minimizes the error from a data set of voltage values and distance values in the measured values. Also, the size of the user's hand may be determined by calibration, and used for normalizing the feature amount. In the first embodiment, the magnetic sensor described above is used as the
[処理フロー]
図7は、第1実施形態の人データ計測システムにおける主に周期的時系列データ異常部分検出システム1により行われる処理全体の手順を示すフローチャートである。図7は、ステップS1~S10を有する。以下、ステップの順に説明する。
[Processing flow]
FIG. 7 is a flow chart showing the procedure of the entire process mainly performed by the periodic time-series data abnormal
(ステップS1)まず、ユーザは、計測システム2を操作する。具体的に、端末装置4は、当該ユーザの操作に応じて、表示画面に初期画面を表示する。ユーザは、初期画面で所望の操作項目を選択する。例えば、異常データ検出・処理を行うための操作項目が選択される。端末装置4は、その選択に対応する指示入力情報を周期的時系列データ異常部分検出システム1へ送信する。また、ユーザは、初期画面に対する操作により、性別や年齢等のユーザ情報を入力して登録することもできる。その場合、端末装置4は、入力されたユーザ情報を周期的時系列データ異常部分検出システム1へ送信する。周期的時系列データ異常部分検出システム1のユーザ情報管理部11は、そのユーザ情報をユーザ情報41に登録する。
(Step S<b>1 ) First, the user operates the
(ステップS2)周期的時系列データ異常部分検出システム1のタスク処理部12は、S1の指示入力情報及び指タップのタスクデータ42に基づいて、ユーザに対するタスクデータを端末装置4へ送信する。そのタスクデータは、片手フリーラン、両手同時フリーラン、両手交互フリーランなど、手指運動に関する1種類以上のタスクの情報を含む。端末装置4は、受信したタスクデータに基づいて、表示画面に、手指運動のタスク情報を表示する。ユーザは、表示画面のタスク情報に従って手指運動のタスクを行う。計測装置3は、そのタスクを計測し、計測データとして、周期的時系列データ異常部分検出システム1へ送信する。周期的時系列データ異常部分検出システム1は、その計測データを計測データ42Bに格納する。
(Step S2) The
(ステップS3)周期的時系列データ異常部分検出システム1の全体データ特徴量算出部13Aは、全体データ特徴量リスト50Aに基づいて、全体データ44Aから全体データ特徴量44Bを算出する。そして、全体データ評価部13Bでは、全体データ特徴量44Bに多変量解析や機械学習などの統計的な手法を適用して、全体データ評価結果44Cを得る。このように、全体データ評価部13Bは、全体データ特徴量算出部13Aにより算出された特徴量に基づいて、周期的情報の異常を検出する。
(Step S3) The overall data
(ステップS4)周期的時系列データ異常部分検出システム1の結果出力部16は、全体データ評価結果44Cを端末装置4に送り、画面に表示する。このように、結果出力部16は、全体データ評価部13Bによる検出結果に基づいた情報を出力する。ユーザは、画面で自身の周期的時系列データの評価結果を確認できる。
(Step S4) The
(ステップS5)周期的時系列データ異常部分検出システム1の部分データ生成部14Aは、全体データ44Aから部分データ45Aを生成する。部分データ生成部14Aは、上記全体データ44Aから、周期に基づいた部分情報(例えば、1周期分の情報)を生成する。そして、部分データ特徴量算出部14Bは、部分データ特徴量リスト50Bに基づいて、部分データ45Aから部分データ特徴量45Bを算出する。そして、部分データ異常検出部14Cは、部分データ特徴量45Bに多変量解析や機械学習などの統計的な手法を適用して、部分データ異常検出結果45Cを得る。上述のように、部分データ異常検出部14Cは、部分データ特徴量算出部14Bにより算出された特徴量に基づいて、部分データ45Aの異常を検出する。
(Step S5) The
(ステップS6)周期的時系列データ異常部分検出システム1の結果出力部16は、部分データ異常検出結果45Cを端末装置4に送り、画面に表示する。ユーザは、画面で自身の周期的時系列データの異常部分を確認できる。
(Step S6) The
(ステップS7)周期的時系列データ異常部分検出システム1の練習メニュー決定部15は、練習メニューリスト50Cと練習メニュー対応表50Dを参照しながら、部分データ異常特徴量45Ccに基づいて練習メニュー46を生成する。
(Step S7) The practice
(ステップS8)周期的時系列データ異常部分検出システム1の結果出力部16は、練習メニュー46を端末装置4に送り、画面に表示する。このように、結果出力部16は、検出結果に基づいた情報を出力する。この結果、ユーザは、画面で自身の行うべき練習メニューを確認できる。
(Step S8) The
[全体データ特徴量算出]
図8は、特徴量の波形信号の例を示す。図8(a)は、二指の距離Dの波形信号を示し、図8(b)は、二指の速度の波形信号を示し、図8(c)は、二指の加速度の波形信号を示す。図8(b)の速度は、図8(a)の距離の波形信号の時間微分により得られる。図8(c)の加速度は、図8(b)の速度の波形信号の時間微分により得られる。全体データ特徴量算出部13Aは、全体データ44Aの波形信号から、微分や積分等の演算に基づいて、本例のような所定の特徴量の波形信号を得る。また、全体データ特徴量算出部13Aは、特徴量から所定の計算による値を得る。
[Overall data feature value calculation]
FIG. 8 shows an example of a waveform signal of feature quantity. 8(a) shows the waveform signal of the distance D between the two fingers, FIG. 8(b) shows the waveform signal of the velocity of the two fingers, and FIG. 8(c) shows the waveform signal of the acceleration of the two fingers. show. The velocity in FIG. 8(b) is obtained by time differentiation of the distance waveform signal in FIG. 8(a). The acceleration in FIG. 8(c) is obtained by time differentiation of the velocity waveform signal in FIG. 8(b). The overall data
図8(d)は、図8(a)の拡大で、特徴量の例を示す。指タップの距離Dの最大値Dmaxや、タップインターバルTI等を示す。横破線は、全計測時間における距離Dの平均値Davを示す。最大値Dmaxは、全計測時間における距離Dの最大値を示す。タップインターバルTIは、1回の指タップの周期TCに対応する時間であり、特に極小点Pminから次の極小点Pminまでの時間を示す。その他、距離Dの1周期内の極大点Pmaxや極小点Pmin、後述のオープニング動作の時間T1やクロージング動作の時間T2を示す。 FIG. 8(d) is an enlarged view of FIG. 8(a) and shows an example of the feature amount. It shows the maximum value Dmax of the finger tap distance D, the tap interval TI, and the like. A horizontal dashed line indicates the average value Dav of the distance D over the entire measurement time. The maximum value Dmax indicates the maximum value of the distance D during the entire measurement time. The tap interval TI is the time corresponding to the period TC of one finger tap, and particularly indicates the time from one minimum point Pmin to the next minimum point Pmin. In addition, a maximum point Pmax and a minimum point Pmin within one period of the distance D, time T1 for an opening operation and time T2 for a closing operation, which will be described later, are also shown.
以下では、更に、特徴量の詳細例について示す。第1実施形態では、上記距離、速度、加速度の波形から得られる複数の特徴量を用いる。なお、他の実施の形態では、それらの複数の特徴量のうちのいくつかの特徴量のみを用いてもよいし、他の特徴量を用いてもよいし、特徴量の定義の詳細についても限定しない。 In the following, further detailed examples of the feature amount will be shown. In the first embodiment, a plurality of feature quantities obtained from the waveforms of distance, velocity, and acceleration are used. Note that in other embodiments, only some of the plurality of feature amounts may be used, or other feature amounts may be used. Not limited.
図9は、全体データ特徴量リスト50Aを示す図である。この関連付けの設定は一例であり、変更可能である。図9の全体データ特徴量リスト50Aにおいて、列として、特徴量分類、識別番号、特徴量パラメータを有する。特徴量分類は、[距離]、[速度]、[加速度]、[タップインターバル]、[位相差]、[マーカー追従]を有する。
FIG. 9 is a diagram showing an overall data
例えば、特徴量[距離]において、識別番号(A1)~(A11)で識別される複数の特徴量パラメータを有する。特徴量パラメータの括弧[]内は単位を示す。(A1)「距離の最大振幅」[mm]は、距離の波形(図8の(a))における、振幅の最大値と最小値との差分である。(A2)「総移動距離」[mm]は、1回の計測の全計測時間における、距離変化量の絶対値の総和である。 For example, the feature [distance] has a plurality of feature parameters identified by identification numbers (A1) to (A11). Units are shown in parentheses [] of the feature parameter. (A1) "Maximum amplitude of distance" [mm] is the difference between the maximum value and the minimum value of amplitude in the distance waveform ((a) in FIG. 8). (A2) “Total movement distance” [mm] is the sum of absolute values of distance change amounts in the entire measurement time of one measurement.
(A3)「距離の極大値の平均」[mm]は、各周期の振幅の極大値の平均である。(A4)「距離の極大値の標準偏差」[mm]は、上記値に関する標準偏差である。(A5)「距離の極大点の近似曲線の傾き(減衰率)」[mm/秒]は、振幅の極大点を近似した曲線の傾きである。このパラメータは、主に計測時間中の疲労による振幅変化を表している。(A6)「距離の極大値の変動係数」は、振幅の極大値の変動係数であり、単位は無次元量([-]で示す)である。このパラメータは、標準偏差を平均で正規化した値であり、そのため、指の長さの個人差を排除できる。(A7)「距離の局所的な極大値の標準偏差」[mm]は、隣り合う三箇所の振幅の極大値についての標準偏差である。 (A3) “Average of maximal values of distance” [mm] is the average of maximal values of amplitude in each period. (A4) “Standard deviation of maximum value of distance” [mm] is the standard deviation of the above values. (A5) “Slope of approximation curve of maximum point of distance (attenuation rate)” [mm/sec] is the slope of the curve approximating the maximum point of amplitude. This parameter mainly represents the amplitude change due to fatigue during the measurement time. (A6) "Variation coefficient of maximum value of distance" is the coefficient of variation of maximum value of amplitude, and the unit is a dimensionless quantity (indicated by [-]). This parameter is the normalized value of the standard deviation by the mean, thus eliminating individual differences in finger length. (A7) “Standard deviation of local maxima of distance” [mm] is the standard deviation of the maxima of amplitude at three adjacent locations.
このパラメータは、局所的な短時間における振幅のばらつきの度合いを評価するためのパラメータである。(A8)「距離の極小値の平均」[mm]は、各周期の振幅の極小値の平均である。(A9)「距離の極小値の標準偏差」[mm]は、上記値に関する標準偏差である。(A10)「距離の極小値の変動係数」は、振幅の極小値の変動係数であり、単位は無次元量([-]で示す)である。このパラメータは、標準偏差を平均で正規化した値であり、そのため、指の長さの個人差を排除できる。(A11)「距離の局所的な極小値の標準偏差」[mm]は、隣り合う三箇所の振幅の極小値についての標準偏差である。このパラメータは、局所的な短時間における振幅のばらつきの度合いを評価するためのパラメータである。 This parameter is for evaluating the degree of local short-term amplitude variation. (A8) “Average of minimum values of distance” [mm] is the average of minimum values of amplitude in each period. (A9) “Standard deviation of minimum value of distance” [mm] is the standard deviation of the above values. (A10) "Variation coefficient of minimum value of distance" is the coefficient of variation of minimum value of amplitude, and the unit is a dimensionless quantity (indicated by [-]). This parameter is the normalized value of the standard deviation by the mean, thus eliminating individual differences in finger length. (A11) “Standard deviation of local minimum values of distance” [mm] is the standard deviation of three neighboring minimum values of amplitude. This parameter is for evaluating the degree of local short-term amplitude variation.
特徴量[速度]について、以下の識別番号(A12)~(A26)で示す特徴量パラメータを有する。(A12)「速度の最大振幅」[m/秒]は、速度の波形(図8の(b))における、速度の最大値と最小値との差分である。(A13)「オープニング速度の極大値の平均」[m/秒]は、各指タップ波形のオープニング動作時の速度の最大値の平均である。オープニング動作とは、二指を閉状態から最大の開状態にする動作である(図8の(d))。(A14)「クロージング速度の極小値の平均」[m/秒]は、クロージング動作時の速度の最小値の平均である。クロージング動作とは、二指を最大の開状態から閉状態にする動作である。(A15)「オープニング速度の極大値の標準偏差」[m/秒]は、上記オープニング動作時の速度の最大値の標準偏差である。 The feature amount [speed] has feature amount parameters indicated by the following identification numbers (A12) to (A26). (A12) “Maximum amplitude of velocity” [m/sec] is the difference between the maximum value and the minimum value of velocity in the velocity waveform ((b) of FIG. 8). (A13) “Average of maximum values of opening speed” [m/sec] is the average of the maximum values of speed during the opening operation of each finger tap waveform. The opening motion is a motion to open the two fingers from the closed state to the maximum open state ((d) in FIG. 8). (A14) “Average of minimum values of closing speed” [m/sec] is an average of minimum values of speed during the closing operation. The closing motion is a motion to close the two fingers from the maximum open state. (A15) “Standard deviation of maximum value of opening speed” [m/sec] is the standard deviation of the maximum value of speed during the opening operation.
(A16)「クロージング速度の極小点の平均」[m/秒]は、上記クロージング動作時の速度の最小値の標準偏差である。(A17)「エネルギーバランス」[-]は、オープニング動作中の速度の二乗和と、クロージング動作中の速度の二乗和との比率である。(A18)「総エネルギー」[m2/秒2]は、全計測時間中の速度の二乗和である。(A19)「オープニング速度の極大値の変動係数」[-]は、オープニング動作時の速度の最大値の変動係数であり、標準偏差を平均で正規化した値である。(A20)「クロージング速度の極小値の平均」[m/秒]は、クロージング動作時の速度の最小値の変動係数である。 (A21)「ふるえ回数」[-]は、速度の波形の正負が変わる往復回数から、大きな開閉の指タップの回数を減算した数である。(A22)「オープニング速度ピーク時の距離比率の平均」[-]は、オープニング動作中の速度の最大値の時の距離に関する、指タップの振幅を1。0とした場合の比率に関する平均値である。(A23)「クロージング速度ピーク時の距離比率の平均」[-]は、クロージング動作中の速度の最小値の時の距離に関する、同様の比率に関する平均である。(A24)「速度ピーク時の距離比率の比」[-]は、(A22)の値と(A23)の値との比である。(A25)「オープニング速度ピーク時の距離比率の標準偏差」[-]は、オープニング動作中の速度の最大値の時の距離に関する、指タップの振幅を1.0とした場合の比率に関する標準偏差である。(A26)「クロージング速度ピーク時の距離比率の標準偏差」[-]は、クロージング動作中の速度の最小値の時の距離に関する、同様の比率に関する標準偏差である。 (A16) “Average of minimum points of closing speed” [m/sec] is the standard deviation of the minimum value of the speed during the closing operation. (A17) "Energy balance" [-] is the ratio between the sum of squares of speed during the opening motion and the sum of squares of speed during the closing motion. (A18) “Total Energy” [m2/s2] is the sum of the squares of the velocities during the entire measurement time. (A19) "Variation coefficient of maximum value of opening speed" [-] is the variation coefficient of the maximum value of speed during the opening operation, and is a value obtained by normalizing the standard deviation with the average. (A20) “Average of minimum value of closing speed” [m/sec] is a coefficient of variation of the minimum value of speed during the closing operation. (A21) "Number of tremors" [-] is the number obtained by subtracting the number of large opening/closing finger taps from the number of reciprocations in which the sign of the velocity waveform changes. (A22) "Average of distance ratio at peak opening speed" [-] is the average value of the ratio of the distance at the maximum speed during the opening motion when the amplitude of the finger tap is 1.0. be. (A23) "Average of distance ratio at peak closing speed" [-] is the average of similar ratios for distance at minimum speed during the closing motion. (A24) "Ratio of distance ratio at peak speed" [-] is the ratio between the value of (A22) and the value of (A23). (A25) "Standard deviation of distance ratio at peak opening speed" [-] is the standard deviation of the ratio of the distance at the maximum speed during the opening motion when the amplitude of the finger tap is 1.0 is. (A26) "Standard deviation of distance ratio at peak closing speed" [-] is the standard deviation for a similar ratio for distance at minimum speed during the closing motion.
特徴量[加速度]について、以下の識別番号(A27)~(A36)で示す特徴量パラメータを有する。(A27)「加速度の最大振幅」[m/秒2]は、加速度の波形(図8の(c))における、加速度の最大値と最小値との差分である。(A28)「オープニング加速度の極大値の平均」[m/秒2]は、オープニング動作中の加速度の極大値の平均であり、指タップの1周期中に現れる4種類の極値のうちの第1値である。(A29)「オープニング加速度の極小値の平均」[m/秒2]は、オープニング動作中の加速度の極小値の平均であり、4種類の極値のうちの第2値である。 The feature amount [acceleration] has feature amount parameters indicated by the following identification numbers (A27) to (A36). (A27) “Maximum amplitude of acceleration” [m/sec2] is the difference between the maximum and minimum acceleration values in the acceleration waveform ((c) in FIG. 8). (A28) “Average of maximum values of opening acceleration” [m/s 2] is the average of maximum values of acceleration during the opening motion, and is the first of the four types of extreme values that appear during one cycle of finger tapping. 1 value. (A29) “Average of minimum values of opening acceleration” [m/sec 2] is the average of minimum values of acceleration during the opening motion, and is the second value among the four types of extreme values.
(A30)「クロージング加速度の極大値の平均」[m/秒2]は、クロージング動作中の加速度の極大値の平均であり、4種類の極値のうちの第3値である。(A31)「クロージング加速度の極小値の平均」[m/秒2]は、クロージング動作中の加速度の極小値の平均であり、4種類の極値のうちの第4値である。(A32)「接触時間の平均」[秒]は、二指の閉状態における接触時間の平均である。(A33)「接触時間の標準偏差」[秒]は、上記接触時間の標準偏差である。(A34)「接触時間の変動係数」[-]は、上記接触時間の変動係数である。(A35)「加速度のゼロ交差数」[-]は、指タップの1周期中に加速度の正負が変わる平均回数である。この値は理想的には2回となる。(A36)「すくみ回数」[-]は、指タップの1周期中に加速度の正負が変わる往復回数から、大きな開閉の指タップの回数を減算した値である。 (A30) “Average of maximum values of closing acceleration” [m/sec 2] is the average of maximum values of acceleration during the closing motion, and is the third value among the four types of extreme values. (A31) “Average of minimum values of closing acceleration” [m/sec 2] is the average of minimum values of acceleration during the closing motion, and is the fourth value among the four types of extreme values. (A32) “Average contact time” [seconds] is the average contact time when two fingers are closed. (A33) “Standard deviation of contact time” [seconds] is the standard deviation of the contact time. (A34) "Coefficient of variation of contact time" [-] is the coefficient of variation of the contact time. (A35) "Number of zero crossings of acceleration" [-] is the average number of times the acceleration changes between positive and negative during one cycle of finger tapping. This value is ideally twice. (A36) The number of freezing times [-] is a value obtained by subtracting the number of large opening/closing finger taps from the number of reciprocations in which the sign of acceleration changes during one cycle of finger tapping.
続いて、図10は、全体データ特徴量リスト50Aの続きを示す図である。[タップインターバル]について、以下の識別番号(A37)~(A45)で示す特徴量パラメータを有する。(A37)「タップ回数」[-]は、1回の計測の全計測時間中の指タップの回数である。(A38)「タップインターバル平均」[秒]は、距離の波形における前述のタップインターバル(図8の(d))に関する平均である。(A39)「タップ周波数」[Hz]は、距離の波形をフーリエ変換した場合に、スペクトルが最大になる周波数である。(A40)「タップインターバル標準偏差」[秒]は、タップインターバルに関する標準偏差である。(A41)「タップインターバル変動係数」[-]は、タップインターバルに関する変動係数であり、標準偏差を平均値で正規化した値である。(A42)「タップインターバル変動」[mm2]は、タップインターバルをスペクトル分析した場合の、周波数が0.2~2.0Hzの積算値である。
Next, FIG. 10 is a diagram showing the continuation of the entire data feature
(A43)「タップインターバル分布の歪度」[-]は、タップインターバルの頻度分布における歪度であり、頻度分布が正規分布と比較して歪んでいる程度を表す。(A44)「局所的なタップインターバルの標準偏差」[秒]は、隣り合う三箇所のタップインターバルに関する標準偏差である。(A45)「タップインターバルの近似曲線の傾き(減衰率)」[-]は、タップインターバルを近似した曲線の傾きである。この傾きは、主に計測時間中の疲労によるタップインターバルの変化を表す。 (A43) "Skewness of tap interval distribution" [-] is the skewness of the tap interval frequency distribution, and represents the degree to which the frequency distribution is distorted compared to the normal distribution. (A44) “Standard deviation of local tap intervals” [seconds] is the standard deviation of three adjacent tap intervals. (A45) “Slope of tap interval approximation curve (attenuation rate)” [-] is the slope of the curve approximating the tap interval. This slope mainly represents the change in tap interval due to fatigue during the measurement time.
特徴量[位相差]について、以下の識別番号(A46)~(A49)で示す特徴量パラメータを有する。(A46)「位相差の平均」[度]は、両手の波形における、位相差の平均である。位相差は、右手の指タップの1周期を360度とした場合に、右手に対する左手の指タップのズレを角度として表した指標値である。ズレが無い場合を0度とする。(A47)「位相差の標準偏差」[度]は、上記位相差に関する標準偏差である。(A46)や(A47)の値が大きいほど、両手のズレが大きく不安定であることを表している。(A48)「両手の類似度」[-]は、左手と右手の波形に相互相関関数を適用した場合に、時間ずれが0の場合の相関を表す値である。(A49)「両手の類似度が最大となる時間ずれ」[秒]は、(A48)の相関が最大となる時間ずれを表す値である。 The feature amount [phase difference] has feature amount parameters indicated by the following identification numbers (A46) to (A49). (A46) “Average phase difference” [degrees] is the average phase difference in the waveforms of both hands. The phase difference is an index value representing the deviation of the finger tap of the left hand from that of the right hand as an angle when one cycle of the finger tap of the right hand is 360 degrees. 0 degrees when there is no deviation. (A47) “Standard deviation of phase difference” [degrees] is the standard deviation of the phase difference. The greater the values of (A46) and (A47), the greater the deviation of both hands and the greater the instability. (A48) “Similarity of both hands” [-] is a value representing the correlation when the time shift is 0 when the cross-correlation function is applied to the waveforms of the left and right hands. (A49) “time lag with maximum similarity between both hands” [seconds] is a value representing the time lag with the maximum correlation in (A48).
特徴量[マーカー追従]について、以下の識別番号(A50)~(A51)で示す特徴量パラメータを有する。(A50)「マーカーからの遅延時間の平均」[秒]は、周期的なマーカーで示す時間に対する指タップの遅延時間に関する平均である。マーカーは、視覚刺激、聴覚刺激、触覚刺激等の刺激と対応している。このパラメータ値は、二指の閉状態の時点を基準とする。(A51)「マーカーからの遅延時間の標準偏差」[秒]は、上記遅延時間に関する標準偏差である。 The feature amount [marker tracking] has feature amount parameters indicated by the following identification numbers (A50) to (A51). (A50) “Average delay time from marker” [seconds] is the average of delay times of finger taps with respect to the time indicated by the periodic markers. The markers correspond to stimuli such as visual stimuli, auditory stimuli, and tactile stimuli. This parameter value is based on the time when two fingers are closed. (A51) “Standard deviation of delay time from marker” [seconds] is the standard deviation of the delay time.
[全体データ評価]
全体データ評価部13Bでは、全体データ特徴量算出部13Aによって算出された全体データ特徴量44Bに基づいて、全体データの良し悪しを表す全体データ評価結果44Cを得る。例えば、全体データDB43を用いて、全体データ特徴量44Bの中の複数の特徴量を説明変数とし、異常度を目的変数として重回帰分析を適用し、異常度を推定する推定式を得る。異常度は、正常であるほど小さく、異常であるほど大きくなる指標と定義する。異常度の例としては、脳機能障害の重症度スコアなどとし、認知症の重症度を表すMini Mental State Examination(MMSE)やパーキンソン病の重症度を表すUnified Parkinson‘s Disease Rating Scale(UPDRS)が挙げられる。しかし、これらの重症度は正常であるほど大きな値となり、異常であるほど小さくなるという性質がある。例えば、MMSEは、30点満点で最も認知機能が高く、0点に近づくにつれて認知機能が低下する。そこで、前処理としてMMSEやUPDRSの正負を反転させてから、異常度として用いる。ここで、重症度スコアを推定するために、重回帰分析ではなく、その類似手法でもよい。例えば、線形モデルによって判別と回帰を同時に行う判別回帰分析でもよい。
[Overall data evaluation]
The overall
また、サポートベクターマシン回帰やニューラルネットワークなどの他の回帰手法を用いてもよい。また、より単純な方法として、全体データ特徴量44Bの中の一特徴量を選んで、その大小で全体データの良し悪しを決めてもよい。
Other regression techniques such as support vector machine regression and neural networks may also be used. Alternatively, as a simpler method, one feature amount may be selected from the total data feature
[部分データ生成]
部分データ生成部14Aでは、1周期毎に指タップ波形を切り出して部分データ45Aを得る。部分データ45Aを切り出すために、図11に示すように、指タップの1周期は全体データ44Aの平均値を上から下に横切った時点から次に上から下に横切る時点までと定義する。このように、全体データ44Aの平均値を基準として1周期を定義することで、二指を開き切ったときの距離値(極大値)が小さ過ぎる場合や、二指を閉じたときの距離値(極小値)が大きすぎる場合など、指タップ運動とまでは言えない中途半端な上下運動を排除できる。1周期の定義は他の方法でもよく、極小点から次の極小点としてもよいし、極大点から次の極大点としてもよい。部分データ45Aの切り出し方として、1周期毎ではなく、複数周期毎に区切って切り出してもよい。
[Generate partial data]
The
なお、後述する部分データ特徴量算出部14Bでは、両手の波形を用いる特徴量(P19)~(P20)も算出されるが、これらの特徴量を計算するには、同一の時間帯の両手の波形が必要となる。そのためには、右手の波形において1周期を抽出し、もう左手の波形から同じ時間帯の波形を抽出すればよい。右手と左手を逆にしても求めてもよい。
Note that the partial data feature
[部分データ特徴量算出]
図12は、部分データ特徴量リスト50Bを示す図である。このリストに基づいて、部分データ特徴量算出部14Bでは、部分データ特徴量45Bを算出する。列として、特徴量分類、識別番号、特徴量パラメータを有する。特徴量分類は、[距離]、[速度]、[加速度]、[タップインターバル]、[位相差]、[マーカー追従]を有する。部分データ特徴量算出部14Bは、部分データ特徴量リスト50Bの全ての特徴量を算出してもよいし、一部の特徴量を選択して算出してもよい。
[Calculation of feature quantity of partial data]
FIG. 12 is a diagram showing a partial data feature
例えば、特徴量[距離]において、識別番号(P1)~(P3)で識別される複数の特徴量パラメータを有する。特徴量パラメータの括弧[]内は単位を示す。(P1)「距離の最小値」[mm]は、部分データの振幅の最小値である。(P2)「距離の最大値」[mm]は、部分データの振幅の最大値である。(P3)「総移動距離」[mm]は、部分データの全計測時間中の距離変化量の絶対値の総和である。 For example, the feature amount [distance] has a plurality of feature amount parameters identified by identification numbers (P1) to (P3). Units are shown in parentheses [] of the feature parameter. (P1) “minimum distance” [mm] is the minimum amplitude of the partial data. (P2) “Maximum value of distance” [mm] is the maximum value of the amplitude of the partial data. (P3) “Total movement distance” [mm] is the sum of absolute values of distance change amounts during the entire measurement time of the partial data.
特徴量[速度]について、以下の識別番号(P4)~(P11)で示す特徴量パラメータを有する。(P4)「オープニング速度の最大値」[m/秒]は、部分データのオープニング動作時の速度の最大値である。オープニング動作とは、二指を閉状態から最大の開状態にする動作である。(P5)「クロージング速度の最小値」[m/秒]は、クロージング動作時の速度の最小値である。クロージング動作とは、二指を最大の開状態から閉状態にする動作である。(P6)「エネルギーバランス」[-]は、オープニング動作中の速度の二乗和と、クロージング動作中の速度の二乗和との比率である。(P7)「総エネルギー」[m2/秒2]は、部分データの全計測時間中の速度の二乗和である。(P8)「ふるえ回数」[-]は、速度の波形の正負が変わる往復回数から、指タップの回数である1を減算した数である。(P9)「オープニング速度ピーク時の距離比率」[-]は、指タップの振幅を1とした場合の、オープニング動作中の速度の最大値の時の距離である。(P10)「クロージング速度ピーク時の距離比率」[-]は、指タップの振幅を1とした場合の、クロージング動作中の速度の最小値の時の距離である。(P11)「速度ピーク時の距離比率の比」[-]は、(9)の値と(10)の値との比である。 The feature amount [speed] has feature amount parameters indicated by the following identification numbers (P4) to (P11). (P4) “Maximum value of opening speed” [m/sec] is the maximum value of speed during the opening operation of the partial data. The opening motion is a motion to bring the two fingers from the closed state to the maximum open state. (P5) "minimum value of closing speed" [m/sec] is the minimum value of the speed during the closing operation. The closing motion is a motion to close the two fingers from the maximum open state. (P6) "Energy balance" [-] is the ratio of the sum of the squares of the speed during the opening motion to the sum of the squares of the speed during the closing motion. (P7) "Total energy" [m2/sec2] is the sum of the squares of the velocities during the entire measurement time of the partial data. (P8) "Shake count" [-] is a number obtained by subtracting 1, which is the number of finger taps, from the number of reciprocations in which the sign of the velocity waveform changes. (P9) "Ratio of distance at peak opening speed" [-] is the distance at the maximum value of speed during the opening motion when the amplitude of the finger tap is set to 1. (P10) "Ratio of distance at peak closing speed" [-] is the distance at the minimum value of speed during the closing motion when the amplitude of the finger tap is set to 1. (P11) "Ratio of distance ratio at peak speed" [-] is the ratio between the value of (9) and the value of (10).
特徴量[加速度]について、以下の識別番号(P12)~(P17)で示す特徴量パラメータを有する。(P12)「オープニング加速度の最大値」[m/秒2]は、オープニング動作中の加速度の最大値であり、指タップの1周期中に現れる4種類の極値のうちの第1値である。(P13)「オープニング加速度の最小値」[m/秒2]は、オープニング動作中の加速度の最小値であり、4種類の極値のうちの第2値である。(P14)「クロージング加速度の最大値」[m/秒2]は、クロージング動作中の加速度の極大値であり、4種類の極値のうちの第3値である。(P15)「クロージング加速度の最小値」[m/秒2]は、クロージング動作中の加速度の極小値であり、4種類の極値のうちの第4値である。(P16)「接触時間」[秒]は、二指の閉状態における接触時間である。(P17)「すくみ数」[-]は、指タップの1周期中に加速度の正負が変わる往復回数から、大きな開閉の指タップの回数である1を減算した値である。 The feature amount [acceleration] has feature amount parameters indicated by the following identification numbers (P12) to (P17). (P12) “Maximum value of opening acceleration” [m/s2] is the maximum value of acceleration during the opening motion, and is the first value among four types of extreme values that appear during one cycle of finger tapping. . (P13) "Minimum value of opening acceleration" [m/sec 2] is the minimum value of acceleration during the opening motion, and is the second value among the four extreme values. (P14) "Maximum value of closing acceleration" [m/sec 2] is the maximum value of acceleration during the closing motion, and is the third value among the four types of extreme values. (P15) "Minimum value of closing acceleration" [m/sec 2] is the minimum value of acceleration during the closing motion, and is the fourth value among the four types of extreme values. (P16) “Contact time” [seconds] is the contact time when two fingers are closed. (P17) "Freezing number" [-] is a value obtained by subtracting 1, which is the number of large open/close finger taps, from the number of reciprocations in which the sign of acceleration changes during one finger tap cycle.
特徴量[タップインターバル]については、以下の識別番号(P18)で示す特徴量パラメータを有する。(P18)「タップインターバル」[秒]は、指タップの1周期の時間である。 The feature amount [tap interval] has a feature amount parameter indicated by the following identification number (P18). (P18) “Tap interval” [seconds] is the time of one finger tap cycle.
特徴量[位相差]については、以下の識別番号(P19)~(P20)で示す特徴量パラメータを有する。(P19)「位相差」[度]は、両手の波形における位相差である。位相差は、右手の指タップの1周期を360度とした場合に、右手に対する左手の指タップのズレを角度として表した指標値である。ズレが無い場合を0度とする。(P20)「両手の類似度」[-]は、左手と右手の波形に相互相関関数を適用した場合に、時間ずれが0の場合の相関を表す値である。 The feature amount [phase difference] has feature amount parameters indicated by the following identification numbers (P19) to (P20). (P19) “Phase difference” [degrees] is the phase difference between the waveforms of both hands. The phase difference is an index value representing the deviation of the finger tap of the left hand from that of the right hand as an angle when one cycle of the finger tap of the right hand is 360 degrees. 0 degrees when there is no deviation. (P20) "Similarity of both hands" [-] is a value representing the correlation when the time shift is 0 when the cross-correlation function is applied to the waveforms of the left and right hands.
特徴量[マーカー追従]について、以下の識別番号(P21)で示す特徴量パラメータを有する。この特徴量は、マーカーに追従して運動させるタスクで計算される。(P21)「マーカーからの遅延時間」[秒]は、周期的なマーカーで示す時間に対する指タップの遅延時間である。マーカーは、視覚刺激、聴覚刺激、触覚刺激等の刺激と対応している。このパラメータ値は、二指の閉状態の時点を基準とする。 The feature amount [marker follow] has a feature amount parameter indicated by the following identification number (P21). This feature amount is calculated by the task of moving following the marker. (P21) “Delay time from marker” [seconds] is the delay time of the finger tap with respect to the time indicated by the periodic marker. The markers correspond to stimuli such as visual stimuli, auditory stimuli, and tactile stimuli. This parameter value is based on the time when two fingers are closed.
[部分データ異常検出]
部分データ異常検出部14Cで部分データ45Aの異常検出を行うために、機械学習の一種である1-class Support Vector Machine(SVM)を採用する。本手法の前提となるSVMとは、2クラスの分類において、分類境界(線形な式であらわされる超平面)と各クラスのデータとのマージンを最大化するように分類境界を定める手法である。しかし、分類境界が超平面であると2群の分類境界が複雑な形状である場合に分離できないことから、SVMではカーネル関数を導入して複雑な形状の分類境界にも対応できるように工夫されている。1-class SVMは、SVMの2クラス分類問題と考え方は同じであるが、1クラスの中で一定割合の異常データとその他の正常データに分類する手法である。
[Partial data error detection]
A 1-class Support Vector Machine (SVM), which is a kind of machine learning, is used to detect anomalies in the
前節の特徴量データに1-class SVMを適用する前に、前処理として特徴量を平均が0、標準偏差が1となるよう標準化する。標準化することで、1-class SVMの計算において、特徴量毎にレンジが異なることによって特徴量に対する重みが不均一になるのを防ぐことができる。カーネル関数には一般的に用いられることが多いRBFカーネルを使用した。マージン最適化アルゴリズムは逐次最小問題最適化法(SMO: sequential minimal optimization)を用いる。外れ値の割合は8%とする。 Before applying 1-class SVM to the feature amount data in the previous section, as preprocessing, the feature amount is standardized so that the mean is 0 and the standard deviation is 1. By standardization, in the calculation of 1-class SVM, it is possible to prevent uneven weights for feature amounts due to different ranges for each feature amount. The RBF kernel, which is commonly used in many cases, was used as the kernel function. The margin optimization algorithm uses sequential minimal optimization (SMO). The percentage of outliers is assumed to be 8%.
なお、部分データの異常検出は1-class SVM以外の手法を用いてもよい。例えば、部分データ46Aの特徴量分布の平均を中心とする正規分布を仮定し、正規分布の中心からの距離が大きいデータを異常と検出してもよい。 A method other than the 1-class SVM may be used to detect anomalies in partial data. For example, a normal distribution centered on the average of the feature quantity distribution of the partial data 46A may be assumed, and data with a large distance from the center of the normal distribution may be detected as abnormal.
[部分データ異常検出結果]
1-class SVMでは分類スコアyが算出され、分類スコアyが負値である場合に異常と判定される。この判定によって検出された結果を、部分データ異常有無45Cbとする。
[Partial data error detection result]
In the 1-class SVM, a classification score y is calculated, and if the classification score y is a negative value, it is determined as abnormal. The result detected by this determination is used as partial data abnormality presence/absence 45Cb.
分類スコアyは、0から離れて小さくなるほど、異常度は大きくなると考えられる。そこで、この分類スコアyを、y=0でz=0%、y=-∞でz=100%に漸近するような関数で変換し、zを部分データ異常度45Caとする。 It is considered that the degree of abnormality increases as the classification score y becomes smaller away from 0. Therefore, this classification score y is converted by a function that asymptotically approaches z=0% at y=0 and z=100% at y=−∞, and z is the partial data abnormality degree 45Ca.
また、1-class SVMで異常と判定された周期別指タップ波形に対して、全ての特徴量の中でどの特徴量が異常判定に寄与していたのか調べるため、平均値から標準偏差SD=2.0以上外れていた特徴量を部分データ異常特徴量45Ccとする。 In addition, in order to investigate which feature value among all the feature values contributed to the error determination for the cyclic finger tap waveform determined to be abnormal by the 1-class SVM, the standard deviation SD = A feature amount that deviates by 2.0 or more is defined as a partial data abnormal feature amount 45Cc.
[部分データ異常評価部の実行例]
健常者228名の右手指タップの全体データを格納した全体データDB43に対して、上述の部分データ異常生成部を実行したところ、12898個の部分データ45Aが得られた。そして、個々の部分データ45Aに対して、部分データ特徴量算出部14Bによって、部分データ特徴量45Bを得た。ここでは、部分データ特徴量リスト50Bの中から、P1-P8、P12-P18の15個の特徴量を選択して算出した。そして、得られた部分データ特徴量45Bを用いて部分データ異常検出部14Cを実行したところ、部分データ異常検出結果45Cが得られた。その結果、異常検出された部分データ45Aは、12898個中1032個となった。
[Execution example of partial data abnormality evaluation unit]
When the partial data anomaly generator described above was executed on the
図13に異常検出された部分データ45Aの例を示す図である。一番上の波形は、異常検出された部分データ45Aが一つもなかった全体データ44Aである。下の4つの波形は、異常検出された部分データ45Aが一つ以上あった全体データ44Aである。指タップ運動の距離波形の上に、異常検出された部分データ45Aは太線で重ね書きしている。その上部には、部分データ異常特徴量が示されている。
FIG. 13 is a diagram showing an example of
[練習メニュー決定]
図14は、指タップ運動の性質を表す指標項目と、その指標項目を改善するための練習メニューを示した練習メニューリスト50Cである。指標項目としては、[運動量]、[持久性]、[リズム性]、[両側協調性]、[マーカー追従性]、[運動大きさ]、[波形バランス]、[振幅制御]がある。この指標項目および練習メニューの設定は一例であり、変更可能である。
[Practice menu decision]
FIG. 14 is a
図15は、特徴量と練習メニュー項目との関連付けの設定情報に関する練習メニュー対応表50Dを示す図である。この関連付けの設定は一例であり、変更可能である。本表では、列として、特徴量分類、識別番号、特徴量パラメータ、指標項目を有する。特徴量分類は、[距離]、[速度]、[加速度]、[タップインターバル]、[位相差]、[マーカー追従]を有する。本リストの特徴量は、部分データ特徴量リスト50Bと一致し、練習メニューリスト50Cで設定された指標項目の少なくとも一つ以上と関連付けられている。
FIG. 15 is a diagram showing a practice menu correspondence table 50D regarding setting information for association between feature amounts and practice menu items. This association setting is an example and can be changed. In this table, columns include feature quantity classification, identification number, feature quantity parameter, and index item. The feature quantity classification has [distance], [speed], [acceleration], [tap interval], [phase difference], and [marker follow]. The feature amount of this list matches the partial data feature
[表示画面(1)-メニュー]
図16は、端末装置4の表示画面の例として、サービスの初期画面であるメニュー画面の例を示す図である。このメニュー画面では、ユーザ情報欄1501、操作メニュー欄1502、設定欄1503等を有する。
[Display screen (1) - Menu]
FIG. 16 is a diagram showing an example of a menu screen, which is an initial screen of the service, as an example of the display screen of the
ユーザ情報欄1501では、ユーザによりユーザ情報を入力して登録可能である。なお、電子カルテ等に入力済みのユーザ情報が存在する場合、そのユーザ情報と連携するようにしてもよい。入力可能なユーザ情報の例として、ユーザID、氏名、生年月日または年齢、性別、利き手、疾患/症状、メモ等がある。利き手は、右手、左手、両手、不明、等から選択入力可能である。疾患/症状は、例えばリストボックスの選択肢から選択入力可能としてもよいし、任意のテキストで入力可能としてもよい。病院等で本システムを利用する場合、ユーザではなく医師等がユーザの代わりに入力を行うようにしてもよい。本周囲的時系列データ異常部分検出システム1は、ユーザ情報の登録が無い場合にも適用可能である。
In the
操作メニュー欄1502では、サービスが提供する機能の操作項目を表示する。操作項目は、「キャリブレーション」、「手指運動の計測」、「異常データ検出・処理」、「終了」等を有する。「キャリブレーション」の選択の場合、前述のキャリブレーション、即ちユーザの手指に対する運動センサ20等の調整に係わる処理が行われる。調整済みか否かの状態も表示される。「手指運動の計測」の選択の場合、指タップなどの手指運動のタスクを計測するためのタスク計測画面に遷移する。「異常データ検出・処理」の選択の場合、計測されたデータを対象として異常を検出し、その異常データ検出結果を表示し、検出された異常データの処理を実施する画面に遷移する。「終了」の選択の場合、本サービスを終了する。
An
設定欄1503では、ユーザ設定が可能である。例えば、ユーザまたは計測者または管理者が検出を希望する異常検出項目の種類がある場合には、選択肢からその異常検出項目を選択して設定可能である。また、各々の異常検出項目に対応した処理を選択することが出来る。また、異常データ検出の閾値なども設定可能である。これらの設定内容は通信部105を通して周期的時系列データ異常部分検出システム1に送られ、周期的時系列データ異常部分検出システム1はここで指定された設定を参照して異常データを検出・処理する。
In the
[表示画面(2)-タスク計測]
図17は、他の例として、タスク計測画面を示す図である。この画面では、タスク情報を表示する。例えば、左右の手それぞれについて、横軸に時間、縦軸に二指の距離をとったグラフ1600を表示する。画面には、タスク内容を説明するための他の教示情報を出力してもよい。例えば、タスク内容を映像音声で説明するビデオの領域を設けてもよい。画面内には、「計測開始」、「計測やり直し」、「計測終了」、「保存(登録)」等の操作ボタンを有し、ユーザが選択できる。ユーザは、画面のタスク情報に従い、「計測開始」を選択して、タスクの運動を行う。計測装置3は、タスクの運動を計測して波形信号を得る。端末装置4は、計測中の波形信号に対応する計測波形1602をリアルタイムでグラフ1600上に表示する。ユーザは、運動後、「計測終了」を選択し、確定する場合には「保存(登録)」を選択する。計測装置3は、計測データを周囲的時系列データ異常部分検出システム1へ送信する。
[Display screen (2) - Task measurement]
FIG. 17 is a diagram showing a task measurement screen as another example. This screen displays task information. For example, a graph 1600 is displayed with the time on the horizontal axis and the distance between the two fingers on the vertical axis for each of the left and right hands. Other teaching information for explaining the task content may be output on the screen. For example, a video area may be provided in which the content of the task is explained by audio and video. The screen includes operation buttons such as "start measurement", "redo measurement", "end measurement", and "save (register)", which can be selected by the user. The user follows the task information on the screen, selects "start measurement", and performs exercise for the task. The measuring
[表示画面(3)-評価結果]
図18は、他の例として、評価結果画面を示す図である。本画面では、タスクの解析評価結果情報が表示される。タスクの解析評価後、自動的に本画面が表示される。本例では、A~Eの5個の指タップ運動の特徴量について、レーダーチャート形式のグラフで表示する場合を示す。実線の枠線1701は、今回のタスク計測後の解析評価結果を示す。全体データ評価部13Bで算出された全体データ評価結果44Cの推定重症度スコアを表示する。また、複数の特徴量をレーダーチャートで表示する。その他に、解析評価結果に関する評価コメント等を表示してもよい。全体データ評価部13はその評価コメントを作成する。例えば、「(B)、(E)は良好です」等のメッセージが表示される。画面内に、「指タップ波形の異常部分を確認する」、「終了」等の操作ボタンを有する。周期的時系列データ異常部分検出システム1は、「指タップ波形の異常部分を確認する」が選択された場合、異常部分検出結果画面へ遷移させ、「終了」が選択された場合、初期画面へ遷移させる。
[Display screen (3)-Evaluation result]
FIG. 18 is a diagram showing an evaluation result screen as another example. On this screen, analysis evaluation result information of the task is displayed. After the analysis evaluation of the task, this screen is automatically displayed. In this example, the feature values of five finger tapping motions A to E are displayed in a radar chart format. A
[表示画面(4)-異常部分検出結果]
図19は、他の例として、異常部分検出結果画面を示す図である。本画面では、部分データ異常検出部14Cで算出された部分データ異常検出結果45Cをユーザに提示する。全体データ44Aの波形を細線で表示する。そして、部分データ異常有無45Cbの中で異常があった部分データ45Aを波形上に太線で表示する。その上部に、部分データ異常特徴量45Ccと部分データ異常度45Caを表示する。部分データ異常特徴量45Ccは、特徴量値が大きすぎる場合は上向きの矢印を付し、小さすぎる場合は下向きの矢印を付す。部分データ異常度45Caを異常度として表示する。そして、部分データ異常特徴量45Ccに関する評価コメントも表示する。さらに、それを改善するための練習メニュー46を提示する。
[Display screen (4)-Abnormal part detection result]
FIG. 19 is a diagram showing an abnormal portion detection result screen as another example. On this screen, the partial data
図19に示される部分データ評価結果の画面表示は時間と距離のグラフに限定されるものではなく、時間と速度、時間と加速度等のグラフであってもよい。また、グラフ表示に限定されるものではなく、数値データの表示であってもよく、指タップ運動の動画表示であってもよい。動画表示の場合は異常部分が認識できるように、異常部分で警告音の発生あるいは、異常部分の動画の背景を変更させるものであってもよい。 The screen display of the partial data evaluation result shown in FIG. 19 is not limited to the graph of time and distance, and may be graphs of time and speed, time and acceleration, and the like. Further, the display is not limited to the graph display, and may be a display of numerical data or a moving image display of finger tap motion. In the case of moving image display, a warning sound may be generated at the abnormal portion, or the background of the moving image of the abnormal portion may be changed so that the abnormal portion can be recognized.
また、図18に示される全体データ評価結果の画面表示と、図19に示される異常部分検出結果画面を、一つの画面上に並列して表示させるのが、より好ましい。これにより全体データ評価結果のスコアの原因を異常部分検出結果画面から推測することができ、被験者にはスコアをと原因を理解あるいは受け入れてもらいやすいという効果が得られる。 Further, it is more preferable to display the overall data evaluation result screen shown in FIG. 18 and the abnormal portion detection result screen shown in FIG. 19 side by side on one screen. As a result, the cause of the score of the overall data evaluation result can be inferred from the abnormal portion detection result screen, and the subject can easily understand or accept the cause of the score.
この全体データ評価結果の内容と異常部分検出結果の内容の並列表示における全体データ評価結果は、スコアのみでもよいし、レーダーチャートのみでもよいし、スコアとレーダーチャートの両方でもよく、あるいは別の表示方法を用いてもよい。同様に異常部分検出結果の表示についても図19に示されるグラフ表示に限定されるものではなく、全体のデータの中で異常部分が視覚的に認識される表示態様であれば、別の表示方法を用いることができる。 The overall data evaluation result in the parallel display of the contents of the overall data evaluation result and the contents of the abnormal portion detection result may be only the score, only the radar chart, both the score and the radar chart, or another display. method may be used. Similarly, the display of the abnormal portion detection result is not limited to the graph display shown in FIG. can be used.
[効果等]
第1実施形態の周期的時系列データ異常部分検出システム1は、周期的時系列データである全体データ44Aを分割して部分データ45Aを生成し、その部分データ特徴量45Bを算出して、当該部分データ特徴量45Bに基づいて、部分データ45Aの異常を検出した結果である部分データ異常検出結果45Cを表示出力する。このように、異常部分検出システム1は、全体データ44Aを分割した部分データ45A毎に、異常を検出するので、周期的時系列データのどの部分が異常であるのか特定し得る情報を提示することができる。すなわち、周期的時系列データ異常部分検出システム1は、より詳細な評価結果を提供することができる。
[Effects, etc.]
The periodic time-series data abnormal
この結果、ユーザは、全体データ評価結果44Cが悪かった場合に、具体的にどの部分に問題があったのかを知ることができる。さらに、練習メニュー決定部15で得られた練習メニュー46を提示することで、ユーザはその問題を改善するための練習方法を知ることができる。
As a result, when the overall data evaluation result 44C is bad, the user can know specifically which part had the problem. Furthermore, by presenting the
なお、本実施形態では、指タップ運動の時系列データを対象とした異常部分検出について説明したが、周期的な時系列データであれば他のデータでもよい。例えば、心電信号、心磁信号、脈波、呼吸、脳波、歩行、目の瞬き、咀嚼などを計測した時系列データが挙げられる。 Note that in the present embodiment, detection of an abnormal portion targeted for time-series data of a finger tap motion has been described, but other data may be used as long as it is periodic time-series data. For example, time-series data obtained by measuring electrocardiographic signals, electrocardiographic signals, pulse waves, respiration, electroencephalograms, walking, eye blinks, mastication, and the like can be cited.
(第2実施形態)
図20~図22を用いて、第2実施形態の周期的時系列データ異常部分検出システムについて説明する。第2実施形態の基本的な構成は、第1実施形態と同様であり、以下、第2実施形態の構成における実施の形態1の構成とは異なる部分について説明する。
(Second embodiment)
A periodic time-series data abnormal portion detection system according to the second embodiment will be described with reference to FIGS. 20 to 22. FIG. The basic configuration of the second embodiment is similar to that of the first embodiment, and the portions of the configuration of the second embodiment that differ from the configuration of the first embodiment will be described below.
[システム]
図20は、第2実施形態の周期的時系列データ異常部分検出システムを示す図である。周期的時系列データ異常部分検出システムは、サービス事業者のサーバ6と、複数の施設のシステム7とを有し、それらが通信網8を介して接続されている。通信網8やサーバ6は、クラウドコンピューティングシステムを含むものとしてもよい。
[system]
FIG. 20 is a diagram showing a periodic time-series data abnormal portion detection system according to the second embodiment. The periodic time-series data anomaly detection system has a
施設は、病院や健康診断センタ、公共施設、娯楽施設等、あるいはユーザ自宅等、各種が可能である。施設にはシステム7が設けられている。施設のシステム7の例として、病院H1のシステム7A、病院H2のシステム7B等を有する。例えば、各病院のシステム7Aおよびシステム7Bは、実施の形態1と同様の計測システム2を構成する計測装置3及び端末装置4を有する。各システム7の構成は同じでもよいし、異なってもよい。施設のシステム7は、病院の電子カルテ管理システム等を含んでもよい。システム7の計測装置は、専用端末としてもよい。
Various types of facilities are possible, such as hospitals, health check-up centers, public facilities, entertainment facilities, etc., or user's homes. A
サーバ6は、サービス事業者が管轄している装置である。サーバ6は、情報処理によるサービスとして、施設及びユーザに対し、実施の形態1の周期的時系列データ異常部分検出システム1と同様の部分データ異常検出サービスを提供する機能を有する。サーバ6は、計測システムに対してクライアントサーバ方式でサービス処理を提供する。サーバ6は、そのような機能に加え、ユーザ管理機能等を有する。ユーザ管理機能は、複数の施設のシステム7を通じて得られた、ユーザ群のユーザ情報、計測データや解析評価データ等を、DBに登録、蓄積して管理する機能である。
The
[サーバ]
図21は、サーバ6の構成を示す図である。サーバ6は、制御部601、記憶部602、入力部603、出力部604、通信部605を有し、それらがバスを介して接続されている。入力部603は、サーバ6の管理者等による操作入力を行う部分である。出力部604は、サーバ6の管理者等に対する画面表示等を行う部分である。通信部605は、通信インタフェースを有し、通信網8との通信処理を行う部分である。記憶部602にはDB640が格納されている。DB640は、サーバ6とは別のDBサーバ等で管理されてもよい。
[server]
FIG. 21 is a diagram showing the configuration of the
制御部601は、サーバ6の全体を制御し、CPU、ROM、RAM等により構成され、ソフトウェアプログラム処理に基づいて、異常データ検出や異常データ処理決定等を行うデータ処理部600を実現する。データ処理部600は、ユーザ情報管理部11、タスク処理部12、全体データ評価部13、部分データ異常評価部14、練習メニュー決定部15、結果出力部16を有する。
The
ユーザ情報管理部11は、複数の施設のシステム7のユーザ群に関するユーザ情報を、DB640にユーザ情報41として登録し管理する。ユーザ情報41は、ユーザ個人毎の属性値、利用履歴情報、ユーザ設定情報等を含む。利用履歴情報は、各ユーザが過去に異常部分検出サービスを利用した実績情報を含む。
The user
[サーバ管理情報]
図22は、サーバ6がDB640に管理するユーザ情報41のデータ構成例を示す図である。このユーザ情報41の表において、ユーザID、施設ID、施設内ユーザID、性別、年齢、疾患、重症度スコア、症状、履歴情報、等を有する。ユーザIDは、本システムでのユーザの一意の識別情報である。施設IDは、システム7が設けられている施設の識別情報である。なお、別に、各システム7の計測装置の通信アドレス等も管理されている。施設内ユーザIDは、その施設またはシステム7内で管理されているユーザ識別情報が存在する場合のそのユーザ識別情報である。即ち、ユーザIDと施設内ユーザIDとが関連付けられて管理されている。疾患項目や症状項目は、ユーザが選択入力した疾患や症状を表す値、あるいは病院で医師等が診断した値が格納される。重症度スコアは、疾患に関する度合いを表す値である。
[Server management information]
FIG. 22 is a diagram showing a data configuration example of the
履歴情報項目は、そのユーザの異常部分検出サービス利用の実績を管理する情報であり、各回の利用の日時、等の情報が時系列で格納されている。また、履歴情報項目には、その回で練習が行われた場合における各データ、即ち前述の計測データ、解析評価データ、異常データ検出結果、異常データ処理内容等のデータが格納されている。履歴情報項目には、各データが格納されているアドレスの情報を格納してもよい。 The history information item is information for managing the usage history of the abnormal portion detection service of the user, and information such as the date and time of each usage is stored in chronological order. In addition, the history information item stores each data in the case where the exercise was performed at that time, that is, data such as the aforementioned measurement data, analysis evaluation data, abnormal data detection results, abnormal data processing details, and the like. The history information item may store information on the address where each data is stored.
[効果等]
第2実施形態の周囲的時系列データ異常部分検出システム1によれば、第1実施形態と同様に、周期的時系列データである全体データ44Aを分割して部分データ45Aを生成し、その部分データ特徴量45Bを算出して部分データ異常検出結果45Cを得ることで、全体データ44Aの中の異常な部位を検出し、ユーザに提示することができる。これによって、ユーザは全体データ評価結果44Cが悪かった場合に、具体的にどの部分に問題があったのかを知ることができる。さらに、練習メニュー決定部15で得られた練習メニュー46を提示することで、ユーザはその問題を改善するための練習方法を知ることができる。
[Effects, etc.]
According to the ambient time-series data abnormal
以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。 Although the present invention has been specifically described above based on the embodiments, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention.
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiments, and includes various modifications. For example, it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment, or to add the configuration of another embodiment to the configuration of one embodiment. Moreover, it is possible to add, delete, or replace a part of the configuration of each embodiment with the configuration of another embodiment.
1…周期的時系列データ異常部分検出システム、2…計測システム、3…計測装置、4…端末装置。 1... periodic time-series data abnormal part detection system, 2... measurement system, 3... measurement device, 4... terminal device.
Claims (5)
前記周期的情報を取得する周期的情報取得部と、
前記周期的情報取得部により取得された周期的情報から、周期に基づいた部分情報を生成する部分情報生成部と、
前記部分情報生成部により生成された部分情報の特徴量を算出する部分情報特徴量算出部と、
前記部分情報特徴量算出部により算出された特徴量に基づいて、前記部分情報生成部により生成された部分情報の異常を検出する部分情報異常検出部と、
前記部分情報異常検出部による検出結果に基づいた情報を出力する出力部と、
を備え、
前記部分情報異常検出部は、前記部分情報生成部により生成された部分情報の異常の度合いと、前記部分情報生成部により生成された部分情報が異常であるか否かを示す情報と、及び前記部分情報生成部により生成された部分情報が異常であることを検出する元となった特徴量である異常特徴量を示す情報とを生成する、
検出装置。 A detection device that detects an abnormality using periodic information indicating the state of a living body,
a periodic information acquisition unit that acquires the periodic information;
a partial information generation unit that generates partial information based on a period from the periodic information acquired by the periodic information acquisition unit;
a partial information feature amount calculation unit that calculates a feature amount of the partial information generated by the partial information generation unit;
a partial information abnormality detection unit that detects an abnormality of the partial information generated by the partial information generation unit based on the feature amount calculated by the partial information feature amount calculation unit;
an output unit that outputs information based on the detection result of the partial information abnormality detection unit;
with
The partial information anomaly detection unit receives the degree of anomaly of the partial information generated by the partial information generation unit, information indicating whether or not the partial information generated by the partial information generation unit is abnormal, and generating information indicating an abnormal feature quantity, which is a feature quantity based on which the partial information generated by the partial information generation unit is detected to be abnormal;
detection device.
前記周期的情報取得部により取得された周期的情報の特徴量を算出する周期的情報特徴量算出部と、
前記周期的情報特徴量算出部により算出された特徴量に基づいて、周期的情報の異常を検出する周期的情報異常検出部と、をさらに備え、
前記出力部は、前記周期的情報異常検出部による検出結果にさらに基づいた情報を出力する、検出装置。 The detection device according to claim 1,
a periodic information feature amount calculation unit that calculates the feature amount of the periodic information acquired by the periodic information acquisition unit;
a periodic information abnormality detection unit that detects an abnormality in the periodic information based on the feature amount calculated by the periodic information feature amount calculation unit;
The detection device, wherein the output unit outputs information further based on a detection result by the periodic information anomaly detection unit.
前記部分情報異常検出部により算出された異常特徴量を改善するための練習メニューを決定するメニュー決定部と、
前記出力部は、前記メニュー決定部により決定されたメニューをさらに出力する、検出装置。 The detection device according to claim 1 or 2 ,
a menu determination unit that determines a practice menu for improving the abnormal feature amount calculated by the partial information abnormality detection unit;
The detection device, wherein the output unit further outputs the menu determined by the menu determination unit.
前記周期的情報を取得する周期的情報取得ステップと、
前記周期的情報取得ステップで取得した周期的情報から、周期に基づいた部分情報を生成する部分情報生成ステップと、
前記部分情報生成ステップで生成した部分情報の特徴量を算出する部分情報特徴量算出ステップと、
前記部分情報特徴量算出ステップで算出した特徴量に基づいて、前記部分情報生成ステップで生成した部分情報の異常を検出する部分情報異常検出ステップと、
前記部分情報異常検出ステップで検出した検出結果に基づいた情報を出力する出力ステップと、を含み、
前記部分情報異常検出ステップは、前記部分情報生成ステップにより生成された部分情報の異常の度合いと、前記部分情報生成ステップにより生成された部分情報が異常であるか否かを示す情報と、及び前記部分情報生成ステップにより生成された部分情報が異常であることを検出する元となった特徴量である異常特徴量を示す情報とを生成する、
検出方法。 A detection method executed by a detection device that detects an abnormality using periodic information indicating the condition of a living body,
a periodic information obtaining step of obtaining the periodic information;
a partial information generating step of generating partial information based on the period from the periodic information obtained in the periodic information obtaining step;
a partial information feature quantity calculation step of calculating a feature quantity of the partial information generated in the partial information generation step;
a partial information abnormality detection step of detecting an abnormality of the partial information generated in the partial information generation step based on the feature amount calculated in the partial information feature amount calculation step;
an output step of outputting information based on the detection result detected in the partial information anomaly detection step ;
The partial information anomaly detection step includes the degree of anomaly of the partial information generated by the partial information generation step, information indicating whether or not the partial information generated by the partial information generation step is abnormal, and generating information indicating an abnormal feature quantity, which is a feature quantity based on which the partial information generated by the partial information generating step is detected to be abnormal;
Detection method.
前記周期的情報取得ステップにより取得された周期的情報の特徴量を算出する周期的情報特徴量算出ステップと、A periodic information feature amount calculating step of calculating the feature amount of the periodic information acquired by the periodic information acquiring step;
前記周期的情報特徴量算出ステップにより算出された特徴量に基づいて、周期的情報の異常を検出する周期的情報異常検出ステップと、をさらに含み、a periodic information anomaly detection step of detecting an anomaly of the periodic information based on the feature quantity calculated by the periodic information feature quantity calculation step;
前記出力ステップは、前記周期的情報異常検出ステップによる検出結果にさらに基づいた情報を出力する、検出方法。The detection method, wherein the output step outputs information further based on the detection result of the periodic information anomaly detection step.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134848A JP7328044B2 (en) | 2019-07-22 | 2019-07-22 | Detection device and detection method |
JP2023126669A JP2023133526A (en) | 2019-07-22 | 2023-08-03 | Detection device and detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134848A JP7328044B2 (en) | 2019-07-22 | 2019-07-22 | Detection device and detection method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023126669A Division JP2023133526A (en) | 2019-07-22 | 2023-08-03 | Detection device and detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021016630A JP2021016630A (en) | 2021-02-15 |
JP7328044B2 true JP7328044B2 (en) | 2023-08-16 |
Family
ID=74563457
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134848A Active JP7328044B2 (en) | 2019-07-22 | 2019-07-22 | Detection device and detection method |
JP2023126669A Pending JP2023133526A (en) | 2019-07-22 | 2023-08-03 | Detection device and detection method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023126669A Pending JP2023133526A (en) | 2019-07-22 | 2023-08-03 | Detection device and detection method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7328044B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020138170A1 (en) | 2018-12-26 | 2020-07-02 | 旭化成エレクトロニクス株式会社 | Magnetic field measuring device |
JP7525297B2 (en) | 2020-05-08 | 2024-07-30 | 旭化成エレクトロニクス株式会社 | Magnetic field measurement device, magnetic field measurement method, and magnetic field measurement program |
JP7493723B2 (en) | 2021-05-26 | 2024-06-03 | 国立大学法人 名古屋工業大学 | COGNITIVE FUNCTION ASSESSMENT PROGRAM, COGNITIVE FUNCTION ASSESSMENT DEVICE, COGNITIVE FUNCTION ASSESSMENT SYSTEM, AND COGNITIVE FUNCTION ASSESSMENT METHOD |
JP7491585B2 (en) * | 2021-11-29 | 2024-05-28 | 京楽産業.株式会社 | Gaming Machines |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050065422A1 (en) | 2003-09-22 | 2005-03-24 | Akihiko Kandori | Living body inspection apparatus |
JP2005110920A (en) | 2003-10-07 | 2005-04-28 | Denso Corp | Portable biological information monitor device and information management device |
JP2007054597A (en) | 2005-07-26 | 2007-03-08 | Hitachi Ltd | Motor function testing device |
JP2011248664A (en) | 2010-05-27 | 2011-12-08 | Panasonic Corp | Operation analysis device and operation analysis method |
JP2016202348A (en) | 2015-04-17 | 2016-12-08 | セイコーエプソン株式会社 | Biological information processing system, terminal device, and biological information processing method |
WO2017179693A1 (en) | 2016-04-15 | 2017-10-19 | オムロン株式会社 | Biological information analysis device, biological information analysis system, program, and biological information analysis method |
JP2017217144A (en) | 2016-06-06 | 2017-12-14 | マクセルホールディングス株式会社 | Finger exercise practice menu generation system, method, and program |
-
2019
- 2019-07-22 JP JP2019134848A patent/JP7328044B2/en active Active
-
2023
- 2023-08-03 JP JP2023126669A patent/JP2023133526A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050065422A1 (en) | 2003-09-22 | 2005-03-24 | Akihiko Kandori | Living body inspection apparatus |
JP2005110920A (en) | 2003-10-07 | 2005-04-28 | Denso Corp | Portable biological information monitor device and information management device |
JP2007054597A (en) | 2005-07-26 | 2007-03-08 | Hitachi Ltd | Motor function testing device |
JP2011248664A (en) | 2010-05-27 | 2011-12-08 | Panasonic Corp | Operation analysis device and operation analysis method |
JP2016202348A (en) | 2015-04-17 | 2016-12-08 | セイコーエプソン株式会社 | Biological information processing system, terminal device, and biological information processing method |
WO2017179693A1 (en) | 2016-04-15 | 2017-10-19 | オムロン株式会社 | Biological information analysis device, biological information analysis system, program, and biological information analysis method |
JP2017217144A (en) | 2016-06-06 | 2017-12-14 | マクセルホールディングス株式会社 | Finger exercise practice menu generation system, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2023133526A (en) | 2023-09-22 |
JP2021016630A (en) | 2021-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7328044B2 (en) | Detection device and detection method | |
JP7219182B2 (en) | Detection device and detection method | |
US12079633B2 (en) | Task execution order determination system and task execution method | |
WO2017212719A1 (en) | System, method, and program for generating finger movement training menus | |
JP5330933B2 (en) | Motor function evaluation system, motor function evaluation method and program | |
US11850042B2 (en) | Brain dysfunction evaluation system, brain dysfunction evaluation method, and program | |
JP7296495B2 (en) | Abnormal data processing system and abnormal data processing method | |
JP2020513274A (en) | A multiparameter method for quantifying balance. | |
Cheng | Predictive modeling of health status using motion analysis from mobile phones | |
Lee | Objective Assessment of Motor Deficits in Patients with Degenerative Spinal Cord Disorders |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7328044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |