KR20190016751A - The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method - Google Patents
The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method Download PDFInfo
- Publication number
- KR20190016751A KR20190016751A KR1020170101090A KR20170101090A KR20190016751A KR 20190016751 A KR20190016751 A KR 20190016751A KR 1020170101090 A KR1020170101090 A KR 1020170101090A KR 20170101090 A KR20170101090 A KR 20170101090A KR 20190016751 A KR20190016751 A KR 20190016751A
- Authority
- KR
- South Korea
- Prior art keywords
- game
- game image
- user
- daily life
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/375—Electroencephalography [EEG] using biofeedback
-
- A61B5/0482—
-
- A61B5/0478—
-
- A61B5/048—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 발명은 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 관한 것으로서, 보다 구체적으로는 재활 시스템으로서, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치, 상기 표시 장치에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치, 상기 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치, 및 상기 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 상기 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하는 것을 특징으로 하되, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법에 관한 것으로서, 보다 구체적으로는 재활 시스템의 제어방법으로서, (1) 표시 장치가, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 단계, (2) 검출 장치가, 상기 단계 (1)의 표시 장치에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 단계, (3) 판단 장치가, 상기 단계 (2)의 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 단계, 및 (4) 게임 진행 장치가, 상기 단계 (3)의 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 상기 표시 장치에 표시되도록 하여, 게임을 진행하는 단계를 포함하되, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법에 따르면, 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템에서 단순히 깜빡이는 빛을 이용하였던 것과는 달리, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치, 표시 장치에 표시되는 게임영상을 시청하는 경우 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치를 포함하여 구성함으로써, 검출 장치에서 SSVEP(Steady-State Visually Evoked Potentials)가 검출되는 경우 다음 단계의 게임영상으로 게임이 진행되도록 하였으며, 특히, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 이러한 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포가 활성화되도록 하여, 사용자가 일상생활에 적용하는데 도움이 되는 동작의 재활 훈련을 제공할 수 있다.
또한, 본 발명에 따르면, 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치, 및 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하여 구성함으로써, 일정 시간 동안 일상생활 동작의 일부분의 동영상을 반복 시청하도록 하여 사용자에게 해당 동작을 익히도록 할 수 있고, 판단 장치에서는 사용자의 시청 정도를 파악하여, 시청의 정도가 일정량을 넘어가게 되는 경우를 판단하여 게임을 진행시킴으로써, 사용자의 시청의 정도를 즉각적으로 반영하여 사용자의 게임 참여의지를 높이고, 집중력을 높임과 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
뿐만 아니라, 본 발명에 따르면, 사용자의 시청의 정도를 판단하는 기준이 되는, 미리 설정된 기준 시간을, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있도록 구성함으로써, 각 단계의 움직임의 동작 구성, 움직임의 범위, 난이도 등을 고려하여, 사용자의 재활 훈련의 강약을 조절할 수 있게 하여, 재활 훈련의 효과를 더욱 높일 수 있도록 할 수 있다.The present invention relates to a rehabilitation system of a mirror neuron activation game system to which a daily life operation training sequence is applied, and more particularly, to a rehabilitation system which includes a display device for displaying a game image, A detecting device for acquiring an EEG generated in a user's brain by watching a game image displayed on the display device and detecting a Steady-State Visually Evoked Potentials (SSVEP) having a specific frequency among the acquired EEG waves; A judging device for judging whether or not the SSVEP (Steady-State Visually Evoked Potentials) is detected at a predetermined reference time or longer, and a judging device for judging whether or not the game image of the next stage is displayed on the display device And a game progress unit for progressing the game Wherein the game image is provided in each stage, and the game is progressed to the game image of the next stage when the game image of each stage is viewed more than a preset reference time, And activating the user's mirror nerve cells in accordance with the movement sequence of the objects of the game image to provide the user with rehabilitation training for the activities necessary for daily life.
In addition, the present invention relates to a control method of a rehabilitation system of a mirror nerve cell activation game system to which a daily life movement training sequence is applied, and more specifically to a control method of a rehabilitation system, which comprises: (1) (2) the detecting device acquires an EEG occurring in the user's brain by watching a game image displayed on the display device of the step (1), and acquiring the acquired EEG (3) The determination device determines whether the SSVEP (Steady-State Visually Evoked Potentials) detected in the detection device of the step (2) (4) judging whether the game advancing device is equal to or longer than a preset reference time in the judging device of the step (3) A step of displaying a game image of a next stage on the display device and proceeding with a game, wherein a game image including an operation necessary for daily life is provided at each stage, The game should be watched in the next step of the game so that the game should be watched beyond the set reference time so that the mirror nerve cells of the user are activated according to the order of movement of the objects of the game image, And the like.
According to the rehabilitation system and control method of the mirror nerve cell activation game method applied in the present invention proposed in the present invention, it is possible to use the flashing light simply in the system using the conventional SSVEP (Steady-State Visually Evoked Potentials) A display device for displaying a game image in which an operation required for daily life is composed of one or more steps, an apparatus for acquiring an EEG occurring in a user's brain when viewing a game image displayed on a display device, (Steady-State Visually Evoked Potentials) is detected by the detecting device, the game is progressed to the game image of the next stage when SSVEP (Steady-State Visually Evoked Potentials) is detected in the detecting device , In particular, a game image that includes an operation necessary for daily life in each stage Ball, depending on the movement of objects in order to ensure that users of these video games mirror neuron is activated, the user can provide rehabilitation of the operation to help apply to daily life.
Further, according to the present invention, there is provided a determination device that determines whether SSVEP (Steady-State Visually Evoked Potentials) detected by a detection device is detected at a preset reference time or longer, and a determination device that, The game image of the next step is displayed on the display device and includes the game progress device for proceeding the game so that the user can watch the moving image of a part of the daily life action for a certain period of time so that the user can learn the action The judging device judges the degree of viewing by the user and judges a case where the degree of viewing exceeds a predetermined amount. The judging device judges whether or not the degree of viewing exceeds a predetermined amount, and proceeds the game. By instantly reflecting the degree of viewing by the user, And to enable active rehabilitation of the user. have.
In addition, according to the present invention, the predetermined reference time, which is a reference for judging the degree of viewing by the user, can be set differently according to the motion of each stage of the game image, It is possible to control the strength of the user's rehabilitation training in consideration of the range of motion and difficulty, and to enhance the effect of the rehabilitation training.
Description
본 발명은 재활 시스템 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a rehabilitation system and a control method thereof, and more particularly, to a rehabilitation system and a control method thereof for a mirror neuron activation game system to which a daily life operation training sequence is applied.
일반적으로 운동 능력의 결손을 가지는 뇌질환 환자는, 마비된 근육을 자신의 의지로는 조절할 수 없는 경우가 대부분이며, 이러한 환자의 재활을 돕는 방법으로 물리치료, 약물치료, 수술 등이 있다. 특히, 물리치료를 이용한 재활 훈련에 있어서, 환자의 의지에 의해 능동적으로 치료를 하는 경우가 재활 훈련의 효과가 높은 것으로 보고되었으나, 근육 마비로 인해 동작에 제한이 있는 환자들에게, 이러한 재활 훈련은 물리치료사에 의하여 수동적으로 이루어질 수밖에 없는 문제점이 있다.
In general, patients with cerebral diseases with deficits in motor ability are unable to control paralyzed muscles by their own will, and physical therapy, medication, and surgery are methods of helping rehabilitation of these patients. In particular, in the rehabilitation training using physiotherapy, the effect of the rehabilitation training was reported to be effective when the patient's will was actively treated. However, for the patients whose movement was restricted due to muscle paralysis, There is a problem that it can not be done manually by a physical therapist.
한편, 재활 훈련의 효과를 높이기 위하여, 환자의 거울신경세포의 자극을 이용하는 치료방법이 있다. 이는 물리치료사에 의한 수동적인 치료가 아닌, 환자가 특정한 대상을 주시하는 행동을 통하여 이루어지는 능동적인 재활 훈련이라는 점에서 의미가 있다. 거울신경세포는, 자신이 직접 경험한 것이 아니라 타인의 행동을 보기만 해도, 관찰자가 실제로 행동하는 것과 같이, 관찰자의 신체에서 동일한 반응을 일으키게 하는 세포를 의미한다. 이를 응용한 재활 훈련으로서, 환자의 거울신경세포를 활성화시키기 위하여, 특정 대상의 움직임이 포함된 비디오를 보여주는 방법이 있으며, 이러한 방법은, 뇌손상으로 인하여 자신의 의지로는 동작을 할 수 없는 환자에게, 타인의 행동을 보는 것만으로도 환자 자신이 스스로 행동하는 것처럼 환자의 신체 시스템에 영향을 미치게 된다.
On the other hand, in order to enhance the effect of the rehabilitation training, there is a therapeutic method using the stimulation of the mirror nerve cell of the patient. This is meaningful in that it is an active rehabilitation exercise which is performed not through passive treatment by a physical therapist, but through behaviors that the patient watches for a specific object. Mirror neurons mean cells that cause the same reaction in the observer's body, just as the observer actually behaves, not just by oneself, but by the behavior of others. As a rehabilitation exercise using this method, there is a method of displaying a video including motion of a specific object in order to activate a mirror nerve cell of a patient. In this method, a patient who can not operate due to his / , Just by looking at the behavior of others will affect the patient's body system as if the patient himself is acting.
또한, 최근에는 환자의 뇌파를 이용한 재활과 관련된 연구가 진행되고 있으며, 특히 BCI(Brain-Computer Interface)는 뇌파를 컴퓨터에 전달하는 장치를 의미하는 것으로서, 이러한 BCI 기술을 이용하여, 사람과 컴퓨터의 소통을 이용한 재활 시스템 분야의 개발이 활발해지고 있다.
Recently, BCI (Brain-Computer Interface) refers to a device for delivering brain waves to a computer. By using such a BCI technology, Development of rehabilitation system using communication has become active.
BCI 기법으로 소개되고 있는 SSVEP(Steady-State Visually Evoked Potentials)는, ‘정상상태시각유발전위’라고 하며, 이는 사용자가 깜빡이는 빛을 주시할 때 사용자의 뇌파에서 발생되는 것으로, 주시하는 빛의 깜빡임과 같은 주파수를 갖는 뇌파를 가리킨다. 즉, SSVEP(Steady-State Visually Evoked Potentials)를 이용한 BCI 기술은, 사용자가 특정 주파수로 깜빡거리는 빛을 보면, 사용자의 뇌 뒤쪽에서 SSVEP(Steady-State Visually Evoked Potentials)가 발생하게 되며, 사용자의 머리에 설치된 뇌파 측정 장치를 통하여 측정된 SSVEP(Steady-State Visually Evoked Potentials)가, 컴퓨터에 입력됨으로써, 뇌파를 컴퓨터에 전달할 수 있게 되는 것이다.
The Steady-State Visually Evoked Potentials (SSVEP), which is introduced as a BCI technique, is called 'steady state visual evoked potentials'. This is caused by the user's brain waves when the user watches the blinking light. And the like. That is, in the BCI technology using the Steady-State Visually Evoked Potentials (SSVEP), when the user looks at the light blinking at a certain frequency, the SSVEP (Steady-State Visually Evoked Potentials) occurs at the back of the user's brain. The SSVEP (Steady-State Visually Evoked Potentials) measured through the EEG measurement device installed in the computer can be input to the computer, thereby enabling the brain waves to be transmitted to the computer.
도 1은 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템의 일예를 나타내는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP(Steady-State Visually Evoked Potentials)가 발생되도록 하고, 이를 검출하여, 검출된 SSVEP(Steady-State Visually Evoked Potentials)를 컴퓨터에 전달하는 것이다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각의 특정 주파수를 상이하게 하여, 사용자의 뇌파에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 이와 같은 방법을 이용한, 환자의 뇌파를 이용한 재활 훈련에 대한 연구가 이루어지고 있으며, SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템과 관련된 선행기술로는, 공개특허 제10-2014-0075049호(발명의 명칭: 집중력 평가 방법 및 이를 적용하는 장치), 등록특허 제10-1431203호(발명의 명칭: 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법) 등이 있다. 다만, 단순히 깜빡이는 빛을 이용하는 기존의 시스템의 경우, 이를 주시하는 환자가 흥미를 갖기 어렵고, 집중도가 떨어지게 되어, 재활 훈련의 효과가 높지 않다는 문제점이 있는바, 이러한 문제점을 해결하기 위하여, 환자의 거울신경세포의 자극과 SSVEP(Steady-State Visually Evoked Potentials)를 이용하는 재활 훈련에 대한 필요성이 높아지고 있다.1 is a diagram showing an example of a system using a conventional SSVEP (Steady-State Visually Evoked Potentials). As shown in FIG. 1, a Steady-State Visually Evoked Potentials (SSVEP) is generated in a user's brain wave by using a blinking light at a specific frequency on the screen, and the detected SSVEP Evoked Potentials) to the computer. In this case, the number of blinking lights may be one or more, and the frequency of each specific frequency may be different to analyze the frequency of the Steady-State Visually Evoked Potentials (SSVEP) Able to know. The rehabilitation training using the patient's brain waves using this method is being studied, and prior art related to the system using the SSVEP (Steady-State Visually Evoked Potentials) is disclosed in Japanese Patent Application Laid-Open No. 10-2014-0075049 A method of evaluating concentration and a device for applying the same, and a registered patent No. 10-1431203 entitled " Brain machine interface device and method for intention recognition using brain wave "). However, in the case of a conventional system using a simple flickering light, there is a problem that the patient who watches it is difficult to get interested, the concentration becomes low, and the effect of the rehabilitation training is not high. To solve this problem, The need for stimulation of mirror nerve cells and rehabilitation training using Steady-State Visually Evoked Potentials (SSVEP) is increasing.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템에서 단순히 깜빡이는 빛을 이용하였던 것과는 달리, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치, 표시 장치에 표시되는 게임영상을 시청하는 경우 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치를 포함하여 구성함으로써, 검출 장치에서 SSVEP(Steady-State Visually Evoked Potentials)가 검출되는 경우 다음 단계의 게임영상으로 게임이 진행되도록 하였으며, 특히, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 이러한 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포가 활성화되도록 하여, 사용자가 일상생활에 적용하는데 도움이 되는 동작의 재활 훈련을 제공하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. Unlike the conventional system using the Steady-State Visually Evoked Potentials (SSVEP), in which the flashing light was simply used, A display device for displaying a game image composed of one or more steps in operation, an EEG generated in a user's brain when a game image displayed on the display device is viewed, and a Steady-State (SSVEP) Visible Evoked Potentials (SSVEP) is detected in the detection device, the game is progressed to the game image of the next step. In particular, when the SSVEP (Steady-State Visible Evoked Potentials) And the motion of the object of the game image A rehabilitation system and a control method of a mirror nerve cell activation game method in which the user's mirror nerve cell is activated according to the order, and the rehabilitation training of the motion that helps the user to apply to the daily life, The present invention is directed to providing a method for providing a service to a user.
또한, 본 발명은, 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치, 및 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하여 구성함으로써, 일정 시간 동안 일상생활 동작의 일부분의 동영상을 반복 시청하도록 하여 사용자에게 해당 동작을 익히도록 할 수 있고, 판단 장치에서는 사용자의 시청 정도를 파악하여, 시청의 정도가 일정량을 넘어가게 되는 경우를 판단하여 게임을 진행시킴으로써, 사용자의 시청의 정도를 즉각적으로 반영하여 사용자의 게임 참여의지를 높이고, 집중력을 높임과 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법을 제공하는 것을 다른 목적으로 한다.
The present invention also provides a determination device for determining whether SSVEP (Steady-State Visually Evoked Potentials) detected by a detection device is detected at a preset reference time or longer, and a determination device The game image of the step is displayed on the display device so as to include the game progress device for playing the game so that the user can watch the moving image of a part of the daily life action for a predetermined period to learn the operation , The judging device judges the degree of viewing by the user and judges the case where the degree of viewing exceeds a predetermined amount to proceed the game so that the degree of viewing of the user is immediately reflected to increase the willingness of the user to participate in the game, And to enable active rehabilitation training of users. Operates training sequence is applied mirror neuron activation of gameplay rehabilitation system and to provide a control method for a different purpose.
뿐만 아니라, 본 발명은, 사용자의 시청의 정도를 판단하는 기준이 되는, 미리 설정된 기준 시간을, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있도록 구성함으로써, 각 단계의 움직임의 동작 구성, 움직임의 범위, 난이도 등을 고려하여, 사용자의 재활 훈련의 강약을 조절할 수 있게 하여, 재활 훈련의 효과를 더욱 높일 수 있도록 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법을 제공하는 것을 또 다른 목적으로 한다.In addition, according to the present invention, the preset reference time, which serves as a reference for judging the degree of viewing by the user, can be set differently according to the motion of each stage of the game image, The rehabilitation system of the mirror nerve cell activation game method applying the daily life movement training sequence which enables the user to regulate the strength of the rehabilitation training in consideration of the range and difficulty of the rehabilitation training, It is another object to provide a control method.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템은,According to an aspect of the present invention, there is provided a rehabilitation system for a mirror nerve cell activation game system,
재활 시스템으로서,As a rehabilitation system,
일상생활에 필요한 동작이 하나 이상의 단계로 구성된, 게임영상을 표시하는 표시 장치;A display device for displaying a game image, the operation required for daily life being composed of one or more steps;
상기 표시 장치에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서, 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치;A detecting device for acquiring an EEG occurring in a user's brain by watching a game image displayed on the display device and detecting a Steady-State Visually Evoked Potentials (SSVEP) having a specific frequency among the obtained EEG;
상기 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치; 및A determination device for determining whether the SSVEP (Steady-State Visually Evoked Potentials) detected by the detection device is detected at a predetermined reference time or longer; And
상기 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 상기 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하는 것을 특징으로 하되,And a game progress device for causing the game device to display a game image of the next stage on the display device when it is determined by the determination device that the predetermined time is equal to or longer than a predetermined reference time,
일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하는 것을 특징으로 한다.
A game image including an operation necessary for daily life is provided for each stage and the game image is progressed to the game image of the next stage when the game image of each stage is viewed more than a predetermined reference time, And activating the user's mirror neurons in accordance with the movement sequence to provide the user with rehabilitation training for the activities necessary for daily life.
바람직하게는, 검출 장치는,Preferably, the detecting device further comprises:
사용자의 뇌파를 획득하는 뇌파 획득부;An EEG acquiring unit acquiring a user's EEG;
상기 뇌파 획득부에서 획득된 뇌파의 주파수를 분석하는 주파수 분석부;A frequency analyzer for analyzing a frequency of an EEG obtained by the EEG acquisition unit;
상기 주파수 분석부에서 분석된 주파수와, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수를 비교하는 주파수 비교부; 및A frequency comparing unit for comparing frequencies analyzed by the frequency analyzing unit and frequencies of motion of objects of a game image viewed by a user; And
상기 주파수 비교부에서 비교된 결과를 이용하여, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 추출하는 추출부를 포함할 수 있다.
And an extracting unit for extracting a Steady-State Visually Evoked Potentials (SSVEP) having a frequency equal to a frequency of motion of an object of the game image that the user is viewing, using the comparison result of the frequency comparing unit.
더욱 바람직하게는,More preferably,
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 동일한 주파수일 수 있다.
The frequency of motion of the object of the game image may be the same frequency for each step of the game image.
더욱 바람직하게는,More preferably,
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 상이한 주파수일 수 있다.
The frequency of the motion of the object of the game image may be a different frequency for each step of the game image.
바람직하게는,Preferably,
상기 표시 장치에 표시되는 게임영상은, Wherein the game image displayed on the display device comprises:
일상생활에 필요한 객체의 동작이 하나 이상의 단계로 나뉘어져 있으며, 각각의 단계는 순서대로 연결되는 움직임이고, 각각의 단계에서는 객체의 얼굴, 목, 팔, 다리, 허리, 손가락, 발가락 중 하나 이상이 움직일 수 있다.
Each step of the object movement is divided into one or more steps. Each step is a movement in sequence. At each step, one or more of the object's face, neck, arms, legs, waist, .
바람직하게는, 상기 판단 장치는,Preferably, the determination device includes:
특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 검출되기 시작한 시점에서부터 검출이 종료되는 시점까지 연속적으로 측정된 시간과, 미리 설정된 기준 시간을 비교하여, 미리 설정된 기준 시간 이상인지를 판단할 수 있다.
It is possible to judge whether or not it is equal to or greater than a preset reference time by comparing the time measured consecutively from the time when the SSVEP (Steady-State Visually Evoked Potentials) having the specific frequency starts to the time when the detection ends, have.
바람직하게는,Preferably,
미리 설정된 기준 시간은, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있다.
The preset reference time can be set differently according to the motion of each stage of the game image.
바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있다.
And may further display guidance contents for progressing the game image.
바람직하게는,Preferably,
상기 게임영상의 진행을 위한 음성콘텐츠를 출력하는 음성출력 장치를 더 포함할 수 있다.
And a voice output device for outputting voice content for the progression of the game image.
바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다.
A television, a computer, a notebook, a smart TV, and a tablet PC.
또한, 상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법은,According to another aspect of the present invention, there is provided a method for controlling a rehabilitation system of a mirror nerve cell activation game method,
재활 시스템의 제어방법으로서,A control method for a rehabilitation system,
(1) 표시 장치가, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된, 게임영상을 표시하는 단계;(1) displaying a game image in which the display device is composed of one or more steps necessary for daily life;
(2) 검출 장치가, 상기 단계 (1)의 표시 장치에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서, 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 단계;(2) The detecting device acquires an EEG occurring in the user's brain by watching a game image displayed on the display device of the above step (1), and acquires an EEG wave having a specific frequency from the acquired EEG (Steady-State Visually Evoked Potentials);
(3) 판단 장치가, 상기 단계 (2)의 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 단계; 및(3) determining whether the determination device detects the SSVEP (Steady-State Visually Evoked Potentials) detected by the detection device of step (2) at a predetermined reference time or longer; And
(4) 게임 진행 장치가, 상기 단계 (3)의 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 상기 표시 장치에 표시되도록 하여, 게임을 진행하는 단계를 포함하되,(4) if the game progress device is judged to be equal to or longer than a preset reference time in the determination device of the step (3), displaying the game image of the next stage on the display device,
일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하는 것을 특징으로 한다.
A game image including an operation necessary for daily life is provided for each stage and the game image is progressed to the game image of the next stage when the game image of each stage is viewed more than a predetermined reference time, And activating the user's mirror neurons in accordance with the movement sequence to provide the user with rehabilitation training for the activities necessary for daily life.
바람직하게는, 검출 장치는,Preferably, the detecting device further comprises:
사용자의 뇌파를 획득하는 뇌파 획득부;An EEG acquiring unit acquiring a user's EEG;
상기 뇌파 획득부에서 획득된 뇌파의 주파수를 분석하는 주파수 분석부;A frequency analyzer for analyzing a frequency of an EEG obtained by the EEG acquisition unit;
상기 주파수 분석부에서 분석된 주파수와, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수를 비교하는 주파수 비교부; 및A frequency comparing unit for comparing frequencies analyzed by the frequency analyzing unit and frequencies of motion of objects of a game image viewed by a user; And
상기 주파수 비교부에서 비교된 결과를 이용하여, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 추출하는 추출부를 포함할 수 있다.
And an extracting unit for extracting a Steady-State Visually Evoked Potentials (SSVEP) having a frequency equal to a frequency of motion of an object of the game image that the user is viewing, using the comparison result of the frequency comparing unit.
더욱 바람직하게는,More preferably,
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 동일한 주파수일 수 있다.
The frequency of motion of the object of the game image may be the same frequency for each step of the game image.
더욱 바람직하게는,More preferably,
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 상이한 주파수일 수 있다.
The frequency of the motion of the object of the game image may be a different frequency for each step of the game image.
바람직하게는,Preferably,
상기 표시 장치에 표시되는 게임영상은, Wherein the game image displayed on the display device comprises:
일상생활에 필요한 객체의 동작이 하나 이상의 단계로 나뉘어져 있으며, 각각의 단계는 순서대로 연결되는 움직임이고, 각각의 단계에서는 객체의 얼굴, 목, 팔, 다리, 허리, 손가락, 발가락 중 하나 이상이 움직일 수 있다.
Each step of the object movement is divided into one or more steps. Each step is a movement in sequence. At each step, one or more of the object's face, neck, arms, legs, waist, .
바람직하게는, 상기 판단 장치는,Preferably, the determination device includes:
특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 검출되기 시작한 시점에서부터 검출이 종료되는 시점까지 연속적으로 측정된 시간과, 미리 설정된 기준 시간을 비교하여, 미리 설정된 기준 시간 이상인지를 판단할 수 있다.
It is possible to judge whether or not it is equal to or greater than a preset reference time by comparing the time measured consecutively from the time when the SSVEP (Steady-State Visually Evoked Potentials) having the specific frequency starts to the time when the detection ends, have.
바람직하게는,Preferably,
미리 설정된 기준 시간은, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있다.
The preset reference time can be set differently according to the motion of each stage of the game image.
바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있다.
And may further display guidance contents for progressing the game image.
바람직하게는,Preferably,
상기 게임영상의 진행을 위한 음성콘텐츠를 출력하는 음성출력 장치를 더 포함할 수 있다.
And a voice output device for outputting voice content for the progression of the game image.
바람직하게는, 상기 표시 장치는,Preferably, the display device further comprises:
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있다.A television, a computer, a notebook, a smart TV, and a tablet PC.
본 발명에서 제안하고 있는 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법에 따르면, 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템에서 단순히 깜빡이는 빛을 이용하였던 것과는 달리, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치, 표시 장치에 표시되는 게임영상을 시청하는 경우 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치를 포함하여 구성함으로써, 검출 장치에서 SSVEP(Steady-State Visually Evoked Potentials)가 검출되는 경우 다음 단계의 게임영상으로 게임이 진행되도록 하였으며, 특히, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 이러한 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포가 활성화되도록 하여, 사용자가 일상생활에 적용하는데 도움이 되는 동작의 재활 훈련을 제공할 수 있다.
According to the rehabilitation system and control method of the mirror nerve cell activation game method applied in the present invention proposed in the present invention, it is possible to use the flashing light simply in the system using the conventional SSVEP (Steady-State Visually Evoked Potentials) A display device for displaying a game image in which an operation required for daily life is composed of one or more steps, an apparatus for acquiring an EEG occurring in a user's brain when viewing a game image displayed on a display device, (Steady-State Visually Evoked Potentials) is detected by the detecting device, the game is progressed to the game image of the next stage when SSVEP (Steady-State Visually Evoked Potentials) is detected in the detecting device , In particular, a game image that includes an operation necessary for daily life in each stage Ball, depending on the movement of objects in order to ensure that users of these video games mirror neuron is activated, the user can provide rehabilitation of the operation to help apply to daily life.
또한, 본 발명에 따르면, 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치, 및 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하여 구성함으로써, 일정 시간 동안 일상생활 동작의 일부분의 동영상을 반복 시청하도록 하여 사용자에게 해당 동작을 익히도록 할 수 있고, 판단 장치에서는 사용자의 시청 정도를 파악하여, 시청의 정도가 일정량을 넘어가게 되는 경우를 판단하여 게임을 진행시킴으로써, 사용자의 시청의 정도를 즉각적으로 반영하여 사용자의 게임 참여의지를 높이고, 집중력을 높임과 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
Further, according to the present invention, there is provided a determination device that determines whether SSVEP (Steady-State Visually Evoked Potentials) detected by a detection device is detected at a preset reference time or longer, and a determination device that, The game image of the next step is displayed on the display device and includes the game progress device for proceeding the game so that the user can watch the moving image of a part of the daily life action for a certain period of time so that the user can learn the action The judging device judges the degree of viewing by the user and judges a case where the degree of viewing exceeds a predetermined amount. The judging device judges whether or not the degree of viewing exceeds a predetermined amount, and proceeds the game. By instantly reflecting the degree of viewing by the user, And to enable active rehabilitation of the user. have.
뿐만 아니라, 본 발명에 따르면, 사용자의 시청의 정도를 판단하는 기준이 되는, 미리 설정된 기준 시간을, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있도록 구성함으로써, 각 단계의 움직임의 동작 구성, 움직임의 범위, 난이도 등을 고려하여, 사용자의 재활 훈련의 강약을 조절할 수 있게 하여, 재활 훈련의 효과를 더욱 높일 수 있도록 할 수 있다.In addition, according to the present invention, the predetermined reference time, which is a reference for judging the degree of viewing by the user, can be set differently according to the motion of each stage of the game image, It is possible to control the strength of the user's rehabilitation training in consideration of the range of motion and difficulty, and to enhance the effect of the rehabilitation training.
도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면.
도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면.
도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진.
도 4는 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 전체 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 일상생활 동작훈련의 종류를 나타내는 게임영상이 표시된 표시 장치를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 사용자가 게임영상의 각 단계를 시청하고 있는 모습을 도시한 도면.
도 8은 본 발명의 다른 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 사용자가 게임영상의 각 단계를 시청하고 있는 모습을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 검출 장치의 구성을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 그 제어방법의 흐름도를 도시한 도면.1 is a diagram showing an example of a system using a conventional SSVEP;
FIG. 2 is a diagram showing a frequency analysis result of an EEG output through a system using a conventional SSVEP. FIG.
3 is a photograph showing that a certain region of the brain of the observer observing the action of the other person is activated.
FIG. 4 is a diagram showing the overall configuration of a rehabilitation system of a mirror nerve cell activation game system to which a daily life movement training sequence according to an embodiment of the present invention is applied; FIG.
FIG. 5 is a diagram illustrating a user performing a rehabilitation training in a rehabilitation system of a mirror neuron activation game scheme to which a daily life movement training sequence according to an embodiment of the present invention is applied; FIG.
FIG. 6 is a diagram illustrating a display device in which a game image showing a kind of daily life exercise training is displayed in a rehabilitation system of a mirror neuron activation game method to which a daily life movement training sequence according to an embodiment of the present invention is applied.
FIG. 7 is a view showing a user watching each step of a game image in a rehabilitation system of a mirror nerve cell activation game method to which a daily life movement training sequence according to an embodiment of the present invention is applied; FIG.
FIG. 8 is a view showing a user watching each step of a game image in a rehabilitation system of a mirror neuron activation game scheme to which a daily life movement training sequence according to another embodiment of the present invention is applied.
FIG. 9 is a diagram illustrating a configuration of a detection apparatus in a rehabilitation system of a mirror nerve cell activation game system to which a daily life movement training sequence according to an embodiment of the present invention is applied; FIG.
FIG. 10 is a flowchart illustrating a control method of a rehabilitation system for a mirror neuron activation game system to which a daily life movement training sequence according to an embodiment of the present invention is applied; FIG.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which may be readily understood by those skilled in the art. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템의 일예를 도시하는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP(Steady-State Visually Evoked Potentials)를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다.
1 is a diagram showing an example of a system using a conventional SSVEP (Steady-State Visually Evoked Potentials). As shown in FIG. 1, a Steady-State Visually Evoked Potentials (SSVEP) is detected in a user's brain wave using light blinking at a specific frequency on the screen, and the detected brain waves are transmitted to a computer. In this case, there may be more than one blinking light, and each specific frequency is different, so that it is possible to know what light the user is watching through the analysis of the frequency of SSVEP (Steady-State Visually Evoked Potentials) have.
도 2는 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면이다. 도 2에 도시된 바와 같이, 하나 이상의 깜빡이는 빛을 주시하는 사용자의 뇌파에서는, 사용자가 주시한 깜빡이는 빛이 갖는 주파수와 동일한 주파수의 SSVEP(Steady-State Visually Evoked Potentials)가 검출될 수 있으며, 각각 해당 주파수에서 피크가 표시된 것을 확인할 수 있다.
FIG. 2 is a diagram showing a frequency analysis result of an EEG output through a system using a conventional SSVEP (Steady-State Visually Evoked Potentials). As shown in FIG. 2, in a user's brain wave that observes one or more blinking lights, a Steady-State Visually Evoked Potentials (SSVEP) having the same frequency as that of a blinking light observed by a user can be detected, You can see that the peak is displayed at each frequency.
도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진이다. 도 3에 나타낸 바와 같이, 연구결과에서는, 관찰자가 이행적 동작과 흉내 내기 동작을 관찰할 때는, 같은 동작을 정적인 그림으로 관찰할 때와는 달리 뇌의 특정 영역에서 각기 다른 활성을 보였으며, 이는 관찰한 동작에 참여하는 효과기에 달려있다고 발표되었다. 이로부터, 동작 관찰을 통해 관찰자의 뇌의 일정 영역이 활성화되는 것을 확인할 수 있고, 활성화된 거울신경세포는 관찰된 동작을 관찰자가 실제로 실행하는데 관여하는 운동회로를 강화시킴으로써, 관찰자의 실질적인 운동이 없이도 재활 훈련을 할 수 있다는 것을 알 수 있다.
3 is a photograph showing that a certain region of the brain of the observer observing the action of the other person is activated. As shown in FIG. 3, when the observer observes the transitional movement and the mimic operation, the activity is different in a specific region of the brain, as in the case of observing the same motion as a static picture, It was announced that it depends on the effector participating in the observed movement. From this, it can be confirmed that a certain region of the brain of the observer is activated through the observation of the motion, and the activated mirror neuron strengthens the motion circuit involved in actual operation of the observed motion by the observer, You can see that you can do rehabilitation training.
도 4는 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 전체 구성을 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면이다. 도 4 및 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)은, 재활 시스템으로서, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치(100), 표시 장치(100)에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치(200), 검출 장치(200)에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치(300), 및 판단 장치(300)에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치(100)에 표시되도록 하여, 게임을 진행하는 게임 진행 장치(400)를 포함하는 것을 특징으로 한다. 구체적으로는, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하게 되는 것이다.
FIG. 4 is a diagram illustrating the overall configuration of a rehabilitation system for a mirror neuron activation game system to which a daily life movement training sequence according to an embodiment of the present invention is applied. FIG. A rehabilitation system of a mirror nerve cell activation game system to which a life movement training sequence is applied, in which a user performs rehabilitation training. As shown in FIGS. 4 and 5, the
본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 역할을 한다. 실시예에 따라서는, 표시 장치(100)는, TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니며, 표시 장치(100)는, 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있고, 도 5에 도시된 바와 같이, 게임영상의 진행을 위한 음성콘텐츠를 출력하는 음성출력 장치(110)를 더 포함할 수도 있다.
A display device (100) of a rehabilitation system (10) of a mirror neuron activation game method to which a daily life movement training sequence according to an embodiment of the present invention is applied is characterized in that an operation necessary for daily life displays a game image composed of one or more stages . According to an embodiment, the
표시 장치(100)에 표시되는 게임영상은, 일상생활에 필요한 객체의 동작이 하나 이상의 단계로 나뉘어져 있으며, 각각의 단계는 순서대로 연결되는 움직임이고, 각각의 단계에서는 객체의 얼굴, 목, 팔, 다리, 허리, 손가락, 발가락 중 하나 이상이 움직일 수 있다. 도 6은 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 일상생활 동작훈련의 종류를 나타내는 게임영상이 표시된 표시 장치를 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)의 표시 장치(100)에 표시되는 게임 영상은, 상의 입는 모습, 하의 입는 모습, 세수하는 모습, 앉았다 일어서는 모습, 계단을 오르는 모습, 계단에서 내리는 모습 등을 포함할 수 있다. 사용자는 재활 훈련을 하고자 하는 일상생활 동작훈련의 종류를 선택할 수 있으며, 선택된 일상생활 동작훈련에 대한 영상을 동작별로, 각각의 단계로 시청할 수 있다. 일상생활 동작훈련의 종류를 표시하는 도 6의 작은 화면들은 각각 상이한 주파수를 가질 수 있으며, 사용자가 특정 주파수를 갖는 화면을 주시하는 경우, 사용자의 뇌파에서는 특정 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 발생하게 되고, 발생된 SSVEP(Steady-State Visually Evoked Potentials)를 검출함으로써, 사용자가 선택한 동작의 종류가 무엇인지를 파악하여, 해당 일상생활 동작훈련에 대한 동작으로 게임이 진행되게 되는 것이다. 사용자가 도 6에서와 같이, 시청하고자 하는 일상생활 동작훈련을 선택한 후에 게임영상이 진행되는 과정에 대하여는 이하의 도 7 및 도 8에서 설명하도록 한다.
In the game image displayed on the
도 7은 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 사용자가 게임영상의 각 단계를 시청하고 있는 모습을 도시한 도면이다. 도 7에 도시된 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)의 표시 장치(100)에 표시된 영상은, 상의 입는 모습에 대한 게임 영상이며, 사용자가 게임영상의 (1)단계에 있는 “상의를 무릎에 펼쳐 놓는 동작”에 대한 영상을 시청하고 있는 것을 확인할 수 있다. 일정 시간 이상 해당 동작의 영상이 시청된 것으로 판단되는 경우(사용자의 뇌에서 특정 주파수의 SSVEP가 발생되어 검출되는 경우), 정지되어 있던 다음 단계 화면인, “팔을 상의 소매에 끼우는 동작”에 대한 영상이 진행되게 되고((2단계), 사용자는 해당 영상을 일정 시간 시청하게 된다. 이와 같이 일정 시간 같은 동작을 반복 시청하는 것을 통하여, 사용자는 특정 동작에 대한 재활 훈련을 할 수 있게 되는 것이다.
FIG. 7 is a view showing a user watching each step of a game image in a rehabilitation system of a mirror neuron activation game scheme to which a daily life movement training sequence according to an embodiment of the present invention is applied. The image displayed on the
표시 장치(100)에 표시되는 게임영상의 객체의 움직임이 갖는 주파수는, 상기 도 7에 도시된 바와 같이, 게임영상의 각 단계마다 동일한 주파수일 수 있으며, 실시예에 따라서는, 게임영상의 객체의 움직임이 갖는 주파수는, 이하 설명될 도 8에서와 같이, 게임영상의 각 단계마다 상이한 주파수일 수도 있다.
The frequency of motion of the object of the game image displayed on the
도 8은 본 발명의 다른 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 사용자가 게임영상의 각 단계를 시청하고 있는 모습을 도시한 도면이다. 도 7에서와 달리, 게임영상의 각 단계가 상이한 주파수를 갖는 경우, 사용자는 중간 단계에서부터 게임 영상을 시청할 수 있다는 것을 확인할 수 있다. 예를 들어, 각 단계별로 10Hz, 15Hz, 20Hz, 25Hz 등으로 상이한 주파수를 갖는 게임영상 중에서, 사용자가 시청하고자 하는 동작이 포함된 단계의 영상(예를 들어, 20Hz)을 시청하는 경우, 사용자의 뇌파에는 20Hz와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 발생하게 된다. 이 경우, 사용자가 게임을 시작하고자 하는 동작이 20Hz로 깜빡이는 동작인 것을 알 수 있게 되며, 해당 동작에서부터 게임영상이 진행될 수 있는 것이다. 이는 사용자가 해당 동작의 이전 단계를 이미 충분히 많은 시간동안 반복하여 연습을 한 경우 이거나, 또는 익히기 어려운 동작이 포함된 특정 단계에서부터 게임영상을 진행할 수 있도록 하므로, 사용자가 필요한 재활 훈련을 집중적으로 진행할 수 있다는 장점이 있다.
FIG. 8 is a view showing a user viewing each step of a game image in a rehabilitation system of a mirror nerve cell activation game method to which a daily life movement training sequence according to another embodiment of the present invention is applied. Unlike in FIG. 7, if each step of the game image has a different frequency, it can be confirmed that the user can watch the game image from the intermediate step. For example, if a user watches an image (for example, 20 Hz) of a stage including an action to be viewed from among game images having frequencies different from each other at 10 Hz, 15 Hz, 20 Hz, 25 Hz, Steady-State Visually Evoked Potentials (SSVEP) with the same frequency as 20 Hz is generated in EEG. In this case, the user can know that the operation to start the game is a blinking operation at 20 Hz, and the game image can be started from the operation. This allows the user to perform the necessary steps of the rehearsal training as necessary, since the user can practice the game image from a certain stage including the difficult or difficult to learn operation, .
본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)의 검출 장치(200)는, 표시 장치(100)에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 역할을 한다. 도 9는 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 검출 장치의 구성을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)에 있어서, 검출 장치(200)는, 사용자의 뇌파를 획득하는 뇌파 획득부(210), 뇌파 획득부(210)에서 획득된 뇌파의 주파수를 분석하는 주파수 분석부(220), 주파수 분석부(220)에서 분석된 주파수와, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수를 비교하는 주파수 비교부(230), 및 주파수 비교부(230)에서 비교된 결과를 이용하여, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 추출하는 추출부(240)를 포함할 수 있다. 추출부(240)를 통하여, 게임영상의 객체의 움직임이 갖는 주파수와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 추출된 경우, 판단 장치(300)에서는 SSVEP(Steady-State Visually Evoked Potentials)가 검출되고 있는 시간을 판단할 수 있다.
The
구체적으로는, 판단 장치(300)는, 검출 장치(200)에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 역할을 한다. 즉, 판단 장치(300)는, 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 검출되기 시작한 시점에서부터 검출이 종료되는 시점까지 연속적으로 측정된 시간과, 미리 설정된 기준 시간을 비교하여, 미리 설정된 기준 시간 이상인지를 판단할 수 있다. 실시예에 따라서는, 사용자의 시청의 정도를 판단하는 기준이 되는, 미리 설정된 기준 시간을, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있도록 함으로써, 각 단계의 움직임의 동작 구성, 움직임의 범위, 난이도 등을 고려하여, 사용자의 재활 훈련의 강약을 조절할 수 있게 하여, 재활 훈련의 효과를 더욱 높일 수도 있다.
Specifically, the
본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)의 게임 진행 장치(400)는, 판단 장치(300)에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치(100)에 표시되도록 하여, 게임을 진행하는 역할을 한다. 즉, 본 발명에서는, 게임영상의 각 단계가 일정간격을 두고 자동적으로 진행되도록 하는 것이 아니며, 사용자의 시청의 정도가 미리 지정된 기준 이상이 되는 경우에만 게임영상이 진행되도록 함으로써, 사용자의 적극적인 시청이 게임영상의 진행에 있어서 반드시 필요한 요소가 되도록 한 것이다.
The
도 10은 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템에 있어서, 그 제어방법의 흐름도를 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)의 제어방법은, 재활 시스템의 제어방법으로서, 표시 장치(100)가 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 단계(S100), 검출 장치(200)가 단계 S100의 표시 장치(100)에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 단계(S200), 판단 장치(300)가 단계 S200의 검출 장치(200)에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 단계(S300), 및 게임 진행 장치(400)가 단계 S300의 판단 장치(300)에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치(100)에 표시되도록 하여, 게임을 진행하는 단계(S400)를 포함하는 것을 그 구성상의 특징으로 한다.
FIG. 10 is a flowchart illustrating a control method of a rehabilitation system for a mirror neuron activation game system to which a daily life movement training sequence according to an embodiment of the present invention is applied. As shown in FIG. 10, the control method of the
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템(10)과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
The details related to the respective steps have been sufficiently described with respect to the
상술한 바와 같이, 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법은, 기존의 SSVEP(Steady-State Visually Evoked Potentials)를 이용한 시스템에서 단순히 깜빡이는 빛을 이용하였던 것과는 달리, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치, 표시 장치에 표시되는 게임영상을 시청하는 경우 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치를 포함하여 구성함으로써, 검출 장치에서 SSVEP(Steady-State Visually Evoked Potentials)가 검출되는 경우 다음 단계의 게임영상으로 게임이 진행되도록 하였으며, 특히, 일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 이러한 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포가 활성화되도록 하여, 사용자가 일상생활에 적용하는데 도움이 되는 동작의 재활 훈련을 제공할 수 있다. 뿐만 아니라, 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치, 및 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하여 구성함으로써, 일정 시간 동안 일상생활 동작의 일부분의 동영상을 반복 시청하도록 하여 사용자에게 해당 동작을 익히도록 할 수 있고, 판단 장치에서는 사용자의 시청 정도를 파악하여, 시청의 정도가 일정량을 넘어가게 되는 경우를 판단하여 게임을 진행시킴으로써, 사용자의 시청의 정도를 즉각적으로 반영하여 사용자의 게임 참여의지를 높이고, 집중력을 높임과 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다. 또한, 사용자의 시청의 정도를 판단하는 기준이 되는, 미리 설정된 기준 시간을, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있도록 구성함으로써, 각 단계의 움직임의 동작 구성, 움직임의 범위, 난이도 등을 고려하여, 사용자의 재활 훈련의 강약을 조절할 수 있게 하여, 재활 훈련의 효과를 더욱 높일 수 있도록 할 수 있다.
As described above, the rehabilitation system and the control method of the mirror nerve cell activation game method to which the daily life movement training sequence according to the embodiment of the present invention is applied are implemented in a system using the existing SSVEP (Steady-State Visually Evoked Potentials) A display device for displaying a game image composed of one or more steps required for daily life, unlike the case of simply using a flickering light, and a display device for acquiring brain waves generated in the user's brain when viewing a game image displayed on the display device And a detection device for detecting a Steady-State Visually Evoked Potentials (SSVEP) having a specific frequency among the acquired EEG waves. When detecting a Steady-State Visually Evoked Potentials (SSVEP) in the detection device, In particular, it is necessary to include the necessary actions for daily life in each stage Providing imyoungsang, and in accordance with the movement of an object in order to ensure that users of these video games of the mirror neuron is activated, the user can provide rehabilitation of the operation to help apply to daily life. In addition, when it is determined that the SSVEP (Steady-State Visually Evoked Potentials) detected by the detecting device is detected to be equal to or greater than a preset reference time, And a game progress device for playing the game so that the video is displayed on the display device so that a part of the video of the daily life action is repeatedly watched for a predetermined time so that the user can learn the operation. The degree of viewing of the user is determined and the case where the degree of viewing exceeds a predetermined amount is determined and the game is progressed so that the degree of viewing of the user is instantly reflected to increase the willingness of the user to participate in the game, , Enabling active rehabilitation training of the user. The preset reference time, which is a criterion for judging the degree of viewing by the user, can be set differently according to the motion of each stage of the game image, so that the motion composition of each stage, the range of motion, It is possible to control the intensity of the user's rehabilitation training, thereby making it possible to further enhance the effect of the rehabilitation training.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.
10: 본 발명의 일실시예에 따른 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템
100: 표시 장치
110: 음성출력 장치
200: 검출 장치
210: 뇌파 획득부
220: 주파수 분석부
230: 주파수 비교부
240: 추출부
300: 판단 장치
400: 게임 진행 장치10: The rehabilitation system of the mirror nerve cell activation game method applying the routine of daily life exercise according to the embodiment of the present invention
100: display device
110: Audio output device
200: Detector
210: EEG acquisition unit
220: Frequency analysis unit
230: Frequency comparator
240:
300:
400: Game progress device
Claims (20)
일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 표시 장치;
상기 표시 장치에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 검출 장치;
상기 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 판단 장치; 및
상기 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 상기 표시 장치에 표시되도록 하여, 게임을 진행하는 게임 진행 장치를 포함하는 것을 특징으로 하되,
일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
As a rehabilitation system,
A display device for displaying a game image in which an operation necessary for daily life is composed of one or more steps;
A detecting device for acquiring an EEG occurring in a user's brain by watching a game image displayed on the display device and detecting a Steady-State Visually Evoked Potentials (SSVEP) having a specific frequency among the obtained EEG;
A determination device for determining whether the SSVEP (Steady-State Visually Evoked Potentials) detected by the detection device is detected at a predetermined reference time or longer; And
And a game progress device for causing the game device to display a game image of the next stage on the display device when it is determined by the determination device that the predetermined time is equal to or longer than a predetermined reference time,
A game image including an operation necessary for daily life is provided for each stage and the game image is progressed to the game image of the next stage when the game image of each stage is viewed more than a predetermined reference time, A rehabilitation system for a mirror neuron activation game system applied with a daily life movement training sequence, characterized by activating a user's mirror nerve cell according to a movement sequence and providing the user with rehabilitation training necessary for daily life.
사용자의 뇌파를 획득하는 뇌파 획득부;
상기 뇌파 획득부에서 획득된 뇌파의 주파수를 분석하는 주파수 분석부;
상기 주파수 분석부에서 분석된 주파수와, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수를 비교하는 주파수 비교부; 및
상기 주파수 비교부에서 비교된 결과를 이용하여, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 추출하는 추출부를 포함하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The apparatus according to claim 1,
An EEG acquiring unit acquiring a user's EEG;
A frequency analyzer for analyzing a frequency of an EEG obtained by the EEG acquisition unit;
A frequency comparing unit for comparing frequencies analyzed by the frequency analyzing unit and frequencies of motion of objects of a game image viewed by a user; And
And an extracting unit for extracting a Steady-State Visually Evoked Potentials (SSVEP) having a frequency equal to a frequency of motion of an object of the game image that the user is viewing, using the comparison result of the frequency comparing unit The rehabilitation system of the mirror nerve cell activation game system applying the daily life movement training sequence.
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 동일한 주파수인 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
3. The method of claim 2,
The rehabilitation system of the mirror nerve cell activation game system to which the routine action training sequence is applied is characterized in that the frequency of the motion of the object of the game image is the same frequency for each step of the game image.
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 상이한 주파수인 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
3. The method of claim 2,
A rehabilitation system of a mirror nerve cell activation game system to which a routine operation training sequence is applied, characterized in that the frequency of motion of the object of the game image is a different frequency for each stage of the game image.
상기 표시 장치에 표시되는 게임영상은,
일상생활에 필요한 객체의 동작이 하나 이상의 단계로 나뉘어져 있으며, 각각의 단계는 순서대로 연결되는 움직임이고, 각각의 단계에서는 객체의 얼굴, 목, 팔, 다리, 허리, 손가락, 발가락 중 하나 이상이 움직이는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The method according to claim 1,
Wherein the game image displayed on the display device comprises:
Each step of the object movement is divided into one or more steps. Each step is a sequence of movement. At each step, one or more of the object's face, neck, arms, legs, waist, A rehabilitation system of a mirror nerve cell activation game system to which a daily life movement training sequence is applied.
특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 검출되기 시작한 시점에서부터 검출이 종료되는 시점까지 연속적으로 측정된 시간과, 미리 설정된 기준 시간을 비교하여, 미리 설정된 기준 시간 이상인지를 판단하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The apparatus according to claim 1,
It is determined whether or not the time measured continuously from the time when the SSVEP (Steady-State Visually Evoked Potentials) having a specific frequency starts to be detected to the time when the detection ends is compared with a preset reference time and is longer than a preset reference time A rehabilitation system based on mirror nerve cell activation game method with daily life movement training sequence.
미리 설정된 기준 시간은, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The method according to claim 1,
Wherein the preset reference time can be set differently according to the motion of each stage of the game image.
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The display device according to claim 1,
Wherein the guidance content for the progress of the game image is further displayed and displayed.
상기 게임영상의 진행을 위한 음성콘텐츠를 출력하는 음성출력 장치를 더 포함하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The method according to claim 1,
Further comprising a voice output device for outputting voice contents for the progression of the game image, wherein the rehabilitation system of the mirror nerve cell activation game method is applied.
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나인 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템.
The display device according to claim 1,
A rehabilitation system of a mirror neuron activation game system to which a routine of daily life exercise training is applied, which is at least one of a TV, a computer, a notebook, a smart TV, and a tablet PC.
(1) 표시 장치가, 일상생활에 필요한 동작이 하나 이상의 단계로 구성된 게임영상을 표시하는 단계;
(2) 검출 장치가, 상기 단계 (1)의 표시 장치에 표시되는 게임영상을 시청함으로써 사용자의 뇌에서 발생하는 뇌파를 획득하고, 획득된 뇌파 중에서 특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 검출하는 단계;
(3) 판단 장치가, 상기 단계 (2)의 검출 장치에서 검출된 SSVEP(Steady-State Visually Evoked Potentials)가, 미리 설정된 기준 시간 이상으로 검출되는지 판단하는 단계; 및
(4) 게임 진행 장치가, 상기 단계 (3)의 판단 장치에서 미리 설정된 기준 시간 이상인 것으로 판단되는 경우, 다음 단계의 게임영상이 상기 표시 장치에 표시되도록 하여, 게임을 진행하는 단계를 포함하되,
일상생활에 필요한 동작을 각각의 단계로 포함하는 게임영상을 제공하고, 각 단계별 게임영상이 미리 설정된 기준 시간 이상으로 시청이 되어야, 다음 단계의 게임영상으로 게임이 진행되도록 함으로써, 게임영상의 객체의 움직임 순서에 따라 사용자의 거울신경세포를 활성화시켜, 사용자에게 일상생활에 필요한 동작의 재활 훈련을 제공하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
A control method for a rehabilitation system,
(1) the display device displays a game image in which an operation necessary for daily life is composed of one or more steps;
(2) The detecting device obtains an EEG occurring in the user's brain by watching a game image displayed on the display device of the step (1), and acquires an EEG (Steady-State Visually Evoked Potentials );
(3) determining whether the determination device detects the SSVEP (Steady-State Visually Evoked Potentials) detected by the detection device of step (2) at a predetermined reference time or longer; And
(4) if the game progress device is judged to be equal to or longer than a preset reference time in the determination device in the step (3), displaying the game image of the next stage on the display device,
A game image including an operation necessary for daily life is provided for each stage and the game image is progressed to the game image of the next stage when the game image of each stage is viewed more than a predetermined reference time, A control method of a rehabilitation system of a mirror nerve cell activation game method in which a daily life movement training sequence is applied, characterized in that a user's mirror nerve cell is activated according to a movement sequence and a user is provided with rehabilitation training necessary for daily life .
사용자의 뇌파를 획득하는 뇌파 획득부;
상기 뇌파 획득부에서 획득된 뇌파의 주파수를 분석하는 주파수 분석부;
상기 주파수 분석부에서 분석된 주파수와, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수를 비교하는 주파수 비교부; 및
상기 주파수 비교부에서 비교된 결과를 이용하여, 사용자가 시청하고 있는 게임영상의 객체의 움직임이 갖는 주파수와 동일한 주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)를 추출하는 추출부를 포함하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
12. The apparatus according to claim 11,
An EEG acquiring unit acquiring a user's EEG;
A frequency analyzer for analyzing a frequency of an EEG obtained by the EEG acquisition unit;
A frequency comparing unit for comparing frequencies analyzed by the frequency analyzing unit and frequencies of motion of objects of a game image viewed by a user; And
And an extracting unit for extracting a Steady-State Visually Evoked Potentials (SSVEP) having a frequency equal to a frequency of motion of an object of the game image that the user is viewing, using the comparison result of the frequency comparing unit A method of controlling the rehabilitation system of the mirror nerve cell activation game system applying the daily life movement training sequence.
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 동일한 주파수인 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
13. The method of claim 12,
Wherein the frequency of the motion of the object of the game image is the same frequency for each step of the game image, the control method of the rehabilitation system of the mirror neuron activation game method to which the routine action training sequence is applied.
게임영상의 객체의 움직임이 갖는 주파수는, 게임영상의 각 단계마다 상이한 주파수인 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
13. The method of claim 12,
Wherein the frequency of the movement of the object of the game image is a different frequency for each stage of the game image.
상기 표시 장치에 표시되는 게임영상은,
일상생활에 필요한 객체의 동작이 하나 이상의 단계로 나뉘어져 있으며, 각각의 단계는 순서대로 연결되는 움직임이고, 각각의 단계에서는 객체의 얼굴, 목, 팔, 다리, 허리, 손가락, 발가락 중 하나 이상이 움직이는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
12. The method of claim 11,
Wherein the game image displayed on the display device comprises:
Each step of the object movement is divided into one or more steps. Each step is a sequence of movement. At each step, one or more of the object's face, neck, arms, legs, waist, Wherein the method of controlling the rehabilitation system of the mirror nerve cell activation game method is applied.
특정주파수를 갖는 SSVEP(Steady-State Visually Evoked Potentials)가 검출되기 시작한 시점에서부터 검출이 종료되는 시점까지 연속적으로 측정된 시간과, 미리 설정된 기준 시간을 비교하여, 미리 설정된 기준 시간 이상인지를 판단하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
12. The apparatus according to claim 11,
It is determined whether or not the time measured continuously from the time when the SSVEP (Steady-State Visually Evoked Potentials) having a specific frequency starts to be detected to the time when the detection ends is compared with a preset reference time and is longer than a preset reference time A method for controlling a rehabilitation system of a mirror nerve cell activation game system applying a routine of daily life exercise training.
미리 설정된 기준 시간은, 게임영상의 각 단계의 움직임에 따라 다르게 설정할 수 있는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
12. The method of claim 11,
Wherein the predetermined reference time can be set differently according to the movement of each stage of the game image. A method for controlling a rehabilitation system of a mirror nerve cell activation game system to which a routine operation training sequence is applied.
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
The display device according to claim 11,
Wherein the guidance content for the progression of the game image is further displayed. The method of controlling the rehabilitation system of the mirror neuron activation game system to which the daily life operation training sequence is applied.
상기 게임영상의 진행을 위한 음성콘텐츠를 출력하는 음성출력 장치를 더 포함하는 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.
The method according to claim 1,
Further comprising a voice output device for outputting voice contents for the progression of the game image, wherein the routine for performing the daily life movement training is applied.
TV, 컴퓨터, 노트북, 스마트 TV, 및 태블릿 PC 중 적어도 하나인 것을 특징으로 하는, 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템의 제어방법.The display device according to claim 11,
Wherein the at least one of the at least one of the at least one of the at least one of the at least one of the at least one of the at least two of the at least one of the at least one of the at least one of the at least one of the at least one of the at least one group is a TV,
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170101090A KR101970804B1 (en) | 2017-08-09 | 2017-08-09 | The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170101090A KR101970804B1 (en) | 2017-08-09 | 2017-08-09 | The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190016751A true KR20190016751A (en) | 2019-02-19 |
| KR101970804B1 KR101970804B1 (en) | 2019-04-19 |
Family
ID=65528931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170101090A Active KR101970804B1 (en) | 2017-08-09 | 2017-08-09 | The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101970804B1 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030225340A1 (en) * | 2002-05-30 | 2003-12-04 | Collura Thomas F. | Repetitive visual stimulation to EEG neurofeedback protocols |
| WO2012044261A1 (en) * | 2010-09-29 | 2012-04-05 | The Office Of National Telecommunications Commission | System and method for ssvep based control of electrical devices |
| US20140207558A1 (en) * | 2006-12-22 | 2014-07-24 | Sspt Pty. Ltd. | Method For Evaluating The Effectiveness Of Commercial Communication |
| KR101553854B1 (en) * | 2014-10-01 | 2015-09-17 | 계명대학교 산학협력단 | Game-based excercise rehabilitation system and method using brain wave concentration feedback |
| EP3072444A1 (en) * | 2015-03-23 | 2016-09-28 | Hyundai Motor Company | Display apparatus, vehicle and display method |
| KR101720766B1 (en) * | 2015-12-01 | 2017-03-28 | 고려대학교 산학협력단 | Apparatus and method for analysis of brain wave using ssvep |
| KR20180065709A (en) * | 2016-12-08 | 2018-06-18 | 정은지 | Training system using neurofeedback apparatus and various video contents and method thereof |
-
2017
- 2017-08-09 KR KR1020170101090A patent/KR101970804B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030225340A1 (en) * | 2002-05-30 | 2003-12-04 | Collura Thomas F. | Repetitive visual stimulation to EEG neurofeedback protocols |
| US20140207558A1 (en) * | 2006-12-22 | 2014-07-24 | Sspt Pty. Ltd. | Method For Evaluating The Effectiveness Of Commercial Communication |
| WO2012044261A1 (en) * | 2010-09-29 | 2012-04-05 | The Office Of National Telecommunications Commission | System and method for ssvep based control of electrical devices |
| KR101553854B1 (en) * | 2014-10-01 | 2015-09-17 | 계명대학교 산학협력단 | Game-based excercise rehabilitation system and method using brain wave concentration feedback |
| EP3072444A1 (en) * | 2015-03-23 | 2016-09-28 | Hyundai Motor Company | Display apparatus, vehicle and display method |
| KR101720766B1 (en) * | 2015-12-01 | 2017-03-28 | 고려대학교 산학협력단 | Apparatus and method for analysis of brain wave using ssvep |
| KR20180065709A (en) * | 2016-12-08 | 2018-06-18 | 정은지 | Training system using neurofeedback apparatus and various video contents and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101970804B1 (en) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Participating in a virtual reality balance exercise program can reduce risk and fear of falls | |
| US10155148B2 (en) | Vision and cognition testing and/or training under stress conditions | |
| Zhang et al. | An EEG-driven lower limb rehabilitation training system for active and passive co-stimulation | |
| Liburkina et al. | A motor imagery-based brain–computer interface with vibrotactile stimuli | |
| Shin et al. | Smartphone-based visual feedback trunk control training using a gyroscope and mirroring technology for stroke patients: single-blinded, randomized clinical trial of efficacy and feasibility | |
| KR20190127490A (en) | Game-based rehabilitation system that combines brain stimulation and brain-computer interface techniques to maximize activation of mirror nerve cells and its control method | |
| KR102142535B1 (en) | Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method | |
| KR101923656B1 (en) | Virtual reality control system that induces activation of mirror nervous system and its control method | |
| Finke et al. | Acute stress enhances pupillary responses to erotic nudes: Evidence for differential effects of sympathetic activation and cortisol | |
| Doyle et al. | The effects of visual feedback in therapeutic exergaming on motor task accuracy | |
| Kritikos et al. | Emotional stimulation during motor exercise: An integration to the holistic rehabilitation framework | |
| MacKenzie et al. | Occupational therapists and observation: What are you looking at? | |
| KR101970804B1 (en) | The rehabillitation system of the mirror nerve cell activation game method applying the daily life movement training sequence and its control method | |
| KR101878416B1 (en) | Game-based rehabilitation system using brain-computer interface (bci) and its control method | |
| CN115607800B (en) | Standardized multi-mode psychological stress inducing device and method | |
| Chen et al. | Attentional demand of a virtual reality-based reaching task in nondisabled older adults | |
| Arif et al. | A study on human reaction time in a mixed reality environment | |
| KR102365613B1 (en) | A concentration feedback exercise system using concentration measurement through brain waves during exercise rehabilitation based on virtual reality or video game and use method of thereof | |
| KR101888498B1 (en) | Game-based rehabilitation system using brain-computer interface (bci) and its control method | |
| Nupur Hajela et al. | Feasibility of a self-reported digital fall risk assessment compared with the traditional functional balance and gait assessments performed during student led balance screening: a pilot study | |
| KR102711976B1 (en) | System for treating tic disorder using bio feedback training | |
| Vermeulen et al. | Alexithymia disrupts the beneficial influence of arousal on attention: Evidence from the attentional blink. | |
| Yamhure et al. | On the controllability assessment of biofeedback eyeglasses used in Presbyopia treatment | |
| Hanim et al. | RELATIONSHIP BETWEEN CONVENTIONAL SINGLE LEG STANCE BALANCE ASSESSMENT AND SENSOR-BASED TEST USING ELECTRONIC WOBBLE BOARD | |
| Hashmi et al. | INFLUENCE OF MIZAJ ON REACTION TIME AND NEUROMUSCULAR COORDINATION USING RULER DROP METHOD IN COLLEGE STUDENTS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| R18 | Changes to party contact information recorded |
Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE) |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |