[go: up one dir, main page]

KR101025510B1 - Personal optimization system of emotional recognition device and its optimization method - Google Patents

Personal optimization system of emotional recognition device and its optimization method Download PDF

Info

Publication number
KR101025510B1
KR101025510B1 KR1020090051264A KR20090051264A KR101025510B1 KR 101025510 B1 KR101025510 B1 KR 101025510B1 KR 1020090051264 A KR1020090051264 A KR 1020090051264A KR 20090051264 A KR20090051264 A KR 20090051264A KR 101025510 B1 KR101025510 B1 KR 101025510B1
Authority
KR
South Korea
Prior art keywords
emotional
emotion
signal
individual
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020090051264A
Other languages
Korean (ko)
Other versions
KR20100132592A (en
Inventor
유선국
이충기
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090051264A priority Critical patent/KR101025510B1/en
Publication of KR20100132592A publication Critical patent/KR20100132592A/en
Application granted granted Critical
Publication of KR101025510B1 publication Critical patent/KR101025510B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024Measuring pulse rate or heart rate
    • A61B5/02416Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient; User input means
    • A61B5/742Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

본 발명은 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 방법에 관한 것으로, 개인별 사용자에게 최적화되고 보다 정확하고 정교한 감성인식성능을 나타내도록 한 것이다. 이를 위하여 본 발명은, 맥파(PPG)와 피부전도도(GSR)를 측정하는 측정부; 상기 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 개인별 최적화를 실시하여 개인별 감성상태를 인식하는 감성인식부; 상기 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장 및 표시하고 오류를 제거하는 생체정보 저장부와 표시부 및 오류제거부;를 포함하는, 개인별 최적화시스템 및 그 방법을 제공한다. 이러한 시스템을 활용하여 사용자의 감성상태를 정확히 측정함으로써 의료분야(우울증, 조울증, 만성 스트레스예방), 산업 분야(작업 피로도, 위험사고예방, 졸음운전예방), 교육분야(학습집중도 향상), 오락분야(인터렉티브게임, 가상현실) 등에 있어 제품 및 서비스의 효용성을 높일 수 있게 된다.The present invention relates to an individual optimization system and method of the emotion recognition device using a bio-signal, and to be optimized for the individual user to exhibit more accurate and sophisticated emotion recognition performance. To this end, the present invention, the measurement unit for measuring the pulse wave (PPG) and skin conductivity (GSR); Emotion recognition unit for extracting a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse velocity (PWV), tension from the bio-signals, and by performing individual optimization; It provides a personal optimization system and method comprising a; biometric information storage unit and display unit and error removal unit for collecting, storing and displaying the optimized emotion characteristic variable and emotion recognition result optimized for each individual, and remove the error. By using this system to accurately measure the emotional state of users, medical field (depression, mood swings, chronic stress prevention), industrial field (work fatigue, risk accident prevention, drowsiness driving prevention), education field (improving concentration of learning), entertainment field In interactive games, virtual reality, etc., the utility of products and services can be improved.

생체신호, 감성인식, 심박변이도(HRV), 호흡, 맥파(PPG), 피부전도도(GSR) Vital signs, emotional recognition, heart rate variability (HRV), respiration, pulse wave (PPG), skin conductivity (GSR)

Description

감성인식장치의 개인별 최적화시스템 및 그 최적화 방법{Individual optimization system of recognizing emotion apparatus, method thereof }Individual optimization system of emotion recognition device and its optimization method {Individual optimization system of recognizing emotion apparatus, method

본 발명은 감성인식장치의 개인별 최적화시스템 및 방법에 관한 것으로, 더욱 상세하게는 생체신호에서 추출되는 다수의 감성인식 특징신호들 중에서 개인별 최적화과정을 통해 사용자에 적합한 특징신호들만을 선택적으로 적용하여 각 개인별 사용자에 맞는 정확하고 정교한 감성인식 성능을 나타낼 수 있도록 한 감성인식장치의 개인별 최적화시스템 및 그 방법에 관한 것이다.The present invention relates to an individual optimization system and method of the emotion recognition device, and more particularly, by selectively applying only the characteristic signals suitable for a user through an individual optimization process from among a plurality of emotion recognition feature signals extracted from the biosignal. The present invention relates to a personal optimization system and a method of an emotion recognition device capable of exhibiting accurate and sophisticated emotion recognition performance for an individual user.

감성공학은 인간이 가지고 있는 감성을 물리적인 디자인 요소로 번역해 구체 적으로 설계하여 쾌적성, 안정성, 고급감 등을 무기로 감성에 호소하는 제품의 설계를 목표로 한다. Emotional engineering aims to design products that appeal to emotion with comfort, stability, and high-grade feelings by specifically designing human emotions into physical design elements.

감성공학에서 가장 기본이 되는 것은 인간의 감성을 측정하는 기술인데, 현재 안면의 표현분석, 안구의 움직임 분석, 감성언어의 분석 및 인간의 생체신호 분석 등의 방법이 활용되고 있다.The most basic in emotional engineering is the technology to measure human emotion. Currently, methods such as facial expression analysis, eye movement analysis, emotional language analysis and human biosignal analysis are used.

이 중 생체신호를 기반으로 감성인식을 실시하는 방법은 정확하지 못한 판단 성능으로 인해 일반화하기 어려운 문제점이 있으며, 이를 해결하기 위한 물리적 기 술이 진보되고는 있지만 인간을 위한 질적인 서비스 기술은 아직까지 미흡하다. Among them, the method of performing emotional recognition based on bio-signals is difficult to generalize due to inaccurate judgment performance, and the physical technology for solving this is advanced, but the quality service technology for humans is still Insufficient

이러한 감성인식 기술은 최근 발전하고 있는 유비쿼터스 시대에 인간을 중심으로 개발되는 장비에 핵심 기술로 활용될 것으로 예상된다. 이에 대응하여 국내외 연구기관 또는 대학 등에서는 감성인식기술에 관련된 연구가 활발히 진행되고 있으며, 이들 감성 인식기술들은 대부분 낮은 정확도를 나타내고 있다. Such emotion recognition technology is expected to be used as a core technology for equipment developed around humans in the ubiquitous era that is developing recently. In response, researches on emotion recognition technology are actively being conducted in domestic and overseas research institutes or universities, and most of these emotion recognition technologies exhibit low accuracy.

한편, 동일한 감성자극에 따른 생리학적 응답신호 역시 모든 사람이 동일하게 나타낼 수 없기 때문에, 보다 정확한 감성인식을 위해서는 개인 사용자에게 최적화될 수 있는 감성인식 알고리즘이 필요한 상황이다. On the other hand, the physiological response signal according to the same emotional stimulus also because everyone can not represent the same, for a more accurate emotional recognition is a situation that requires an emotion recognition algorithm that can be optimized for individual users.

본 발명이 이루고자 하는 기술적 과제는, 맥파(PPG)와 피부 전도도(GSR)를 포함하는 생체신호만을 측정하여, 감성 인식에 필요한 다수의 감성특징변수를 추출하고, 다수의 감성특징변수들 중에서 개인별 최적화를 위해 적합한 감성특징변수들만을 선택적으로 적용하여 개인별 사용자의 감성인식을 위한 특징적인 변수로 사용할 수 있도록 함으로써, 소량의 생체특징 데이터만을 이용하여서도 개인별 사용자에게 최적화된 감성인식 성능을 나타낼 수 있도록 한, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 그 방법을 제공하는자 하는 것이다.The technical problem to be achieved by the present invention is to measure only bio-signals including pulse wave (PPG) and skin conductivity (GSR), extract a plurality of emotional feature variables required for emotion recognition, and optimize each individual among a plurality of emotional feature variables By selectively applying only the appropriate emotional feature variables for use, it can be used as a characteristic variable for individual user's emotional recognition, so that it can show the optimized emotional recognition performance for individual users even using a small amount of bio feature data. To provide a personal optimization system and method of the emotion recognition device using a bio-signal.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 개인별 최적화를 위해 축소 및 선별된 감성특징변수들을 외부 입력에 의한 오류 제거과정을 통해 선택적으로 수정 또는 삭제할 수 있도록 함으로써, 지속적으로 진화 가능한 감성인식 시 스템을 구현할 수 있는, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 그 방법을 제공하는자 하는 것이다.Another technical problem to be achieved by the present invention is to continuously modify or delete the emotional feature variables reduced and selected for the individual optimization through an error elimination process by external input, thereby creating a continuously evolving emotional recognition system It is an object of the present invention to provide an individual optimization system and method for sensibility recognition apparatus using bio-signals that can be implemented.

상술한 목적을 달성하기 위한 본 발명의 일 실시예는, 개인별 사용자의 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 측정부; 상기 측정부에서 측정되는 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식부; 상기 감성인식부에 의해 엑세스되며, 상기 감성인식부를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하는 생체정보 저장부; 상기 감성인식부를 통해 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 표시하는 표시부;를 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템이다.One embodiment of the present invention for achieving the above object is a measuring unit for measuring a bio-signal including a pulse wave (PPG) and skin conductivity (GSR) of the individual user; Extracting a plurality of emotional feature variables for heart rate variability (HRV), respiration, pulse wave velocity (PWV), and tonicity from the bio signals measured by the measurement unit, and evaluates the performance of the extracted plurality of emotional feature variables Emotion recognition unit for recognizing the individual emotional state by the optimized emotional feature variables by performing individual optimization by reducing the individual feature dimension; A biometric information storage unit which is accessed by the emotion recognition unit and collects and stores the personalized emotion characteristic variables and emotion recognition results which are processed and recognized by the emotion recognition unit; And a display unit for displaying the personalized emotion characteristic variables and the emotion recognition result recognized by the emotion recognition unit.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 상기 본 발명 시스템의 구성에 더하여, 상기 감성 인식부에 연결되어, 감성 인식부에 의해 최적화된 감성특징변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신호를 제공하는 오류 수정부;를 더 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템이다.Another embodiment of the present invention for achieving the above object is, in addition to the configuration of the system of the present invention, connected to the emotion recognition unit, the modification or deletion of the emotion characteristic parameters and emotion recognition results optimized by the emotion recognition unit Error correction unit for providing an external input signal for the; further comprising, personal optimization system of the emotion recognition device using a biological signal.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예는, 개인별 사용자로 부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 생체신호 측정단계; 상기 측정된 맥파(PPG), 피부전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식단계; 상기 감성인식단계를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하고 표시하는 개인별 감성특징 저장 및 표시단계;를 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화방법이다.Another embodiment of the present invention for achieving the above object is a bio-signal measuring step of measuring a bio-signal including a pulse wave (PPG) and skin conductivity (GSR) from the individual user; From the measured pulse wave (PPG), skin conductance (GSR) signal, a plurality of emotional feature variables for heart rate variability (HRV), respiration, pulse wave rate (PWV), tension prediction are extracted, and the extracted plurality of emotional feature variables An emotional recognition step of recognizing the emotional state of the individual by the optimized emotional feature variables by performing individual optimization through performance evaluation and individual feature dimension reduction for each field; An individual optimization method of an individual using a bio-signal, comprising: an individual's emotional feature storage and display step of collecting, storing and displaying an individual's optimized emotional feature variable and an emotional recognition result processed and recognized through the emotional recognition step to be.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예는, 상기 본 발명 방법의 구성에 더하여, 상기 감성인식단계를 통해 처리 및 인식되는 개인별 감성특정변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신호를 제공하는 오류 수정단계;를 더 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화방법이다.Another embodiment of the present invention for achieving the above object is, in addition to the configuration of the method of the present invention, the external for modifying or deleting individual emotional specific variables and emotional recognition results processed and recognized through the emotional recognition step Error correction step of providing an input signal; Personal optimization method of the emotional recognition device using a biological signal.

본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 방법에 의하면, 감성인식정보를 활용하여 사용자의 감성상태를 정확히 측정함으로써 의료분야(우울증, 조울증, 만성 스트레스예방), 산업 분야(작업 피로도, 위험사고예방, 졸음운전예방), 교육분야(학습집중도 향상), 오락분야(인터렉티브게임, 가상현실) 등에 있어 제품 및 서비스의 효용성을 높일 수 있는 효과가 있다.According to the individual optimization system and method of the emotional recognition device using the bio-signal according to the present invention, by using the emotional recognition information to accurately measure the emotional state of the user in the medical field (depression, mood swings, chronic stress prevention), industrial field (work Fatigue, dangerous accident prevention, drowsiness driving prevention), education (improving concentration of learning), entertainment (interactive games, virtual reality), etc. can increase the effectiveness of products and services.

이하, 본 발명의 일 실시예에 의한 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, the configuration and operation according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. The terms or words used in this specification and claims are not to be construed as limiting in their usual or dictionary meanings, and the inventors may properly define the concept of terms in order to best explain their invention in the best way possible. It should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, since the embodiments shown in the specification and the configuration shown in the drawings is only one of the most preferred embodiment of the present invention, it is understood that there may be various equivalents and modifications that can replace them at the time of the present application shall.

도 1은 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화시스템의 일 실시예를 나타낸 블록도로서, 도면에 도시된 바와 같이, 본 발명은 측정부(10), 감성인식부(20), 생체정보 저장부(30), 표시부(40)를 포함하는 감성인식장치의 개인별 최적화시스템, 또는 오류 수정부(50)를 더 포함하는 감성인식장치의 개인별 최적화시스템으로 이루어질 수 있게 된다.1 is a block diagram showing an embodiment of an individual optimization system of an emotion recognition apparatus using a biosignal according to the present invention. As shown in the drawing, the present invention includes a measurement unit 10 and an emotion recognition unit 20. The personal information optimization system of the emotion recognition device including the biometric information storage unit 30 and the display unit 40, or the personal optimization system of the emotion recognition device further including an error correction unit 50.

측정부(10)는 개인별 사용자의 생체신호 즉, 맥파(PPG), 피부전도도(GSR)를 측정하며, 센서부(11)와 전처리부(12)를 포함하여 구성된다.The measurement unit 10 measures a user's bio-signal, that is, pulse wave (PPG) and skin conductivity (GSR), and includes a sensor unit 11 and a preprocessor 12.

센서부(11)는 하나 이상의 센서를 구비하여, 맥파(PPG), 피부전도도(GSR)등의 생체신호를 측정한다. 이 센서부(11)는 감성자극을 위한 시청각 자료를 실험자에게 제공하며, 상기 센서부(11)는 상용제품의 센서를 사용하며 손바닥이나 손가락에 각각의 센서를 부착해 측정하는 것이 바람직하다.The sensor unit 11 includes one or more sensors to measure bio signals such as pulse wave (PPG) and skin conductivity (GSR). The sensor unit 11 provides audiovisual materials for emotional stimulation to the experimenter, and the sensor unit 11 preferably uses a sensor of a commercial product and attaches each sensor to a palm or a finger to measure the sensor.

전처리부(12)는 상기 측정된 생체신호를 증폭하고, 잡음 제거를 위한 필터링을 실시하여 순수 생체신호만을 추출한다.The preprocessor 12 amplifies the measured biosignal and extracts only the pure biosignal by performing filtering to remove noise.

감성인식부(20)는 감성특징 추출부(21)와 특징차원 축소부(22)와 감성판단 인식부(23)를 포함하여 구성되며, 상기 측정부(10)에서 측정되는 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성(각성정도) 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식한다.The emotion recognition unit 20 includes an emotion feature extraction unit 21, a feature dimension reduction unit 22, and an emotion determination recognition unit 23. The heart rate variability is measured from the bio signals measured by the measurement unit 10. (HRV), respiration, pulse wave velocity (PWV), and a variety of emotional feature variables for the prediction of tension (arousal), and the performance evaluation of the extracted emotional feature variables and individual feature dimension reduction By performing the optimization, the individual emotional state is recognized by the optimized emotional feature variables.

감성특징 추출부(21)는 상기 측정부(10)에서 측정되는 맥파(PPG) 신호 및 피부 전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성(각 개인별 각성정도) 예측을 위한 다수의 감성특징변수를 추출한다. Emotional feature extraction unit 21 from the pulse wave (PPG) signal and skin conductance (GSR) signal measured by the measuring unit 10, heart rate variability (HRV), respiration, pulse wave rate (PWV), tension (the degree of awakening for each individual) ) Extract many emotional feature variables for prediction.

상기 감성특징 추출부(21)에서는 맥파(PPG) 신호의 다운 샘플링(down-sampling)과 미리 지정된 대역(BPF : 예를 들면 0.13~0.48Hz의 주파수 범위)내에서의 필터링 및 퓨리에 변환(fourier transform)을 통해 호흡 예측을 위한 다수의 감성특징변수, 즉 dominant frequency estimation(이하는 'DFE'라 칭함)와 엔트로피를 추출한다.The emotional feature extractor 21 filters down-sampling of the pulse wave (PPG) signal and filters and Fourier transforms within a predetermined band (BPF, for example, a frequency range of 0.13 to 0.48 Hz). ), A number of emotional feature variables, dominant frequency estimation (hereinafter, referred to as 'DFE') and entropy, are extracted.

또한 상기 감성특징 추출부(21)에서는 맥파(PPG) 신호의 피크(peak)치를 검출하여 그 피크치 검출 결과로부터 심박 변이도(HRV), 혈관의 수축 및 혈압, 맥파속도(PWV) 예측을 위한 다수의 감성특징변수들을 추출한다.In addition, the emotional feature extractor 21 detects peak values of the pulse wave (PPG) signal and calculates a plurality of peaks for HRV, blood vessel contraction and blood pressure, and pulse wave velocity (PWV) from the peak value detection results. Emotional feature variables are extracted.

심박 변이도(HRV) 예측을 위한 감성특징변수는 HRV 평균(mean), SDNN(standard deviation of the normal-to-normal intervals), RMSSD(root mean square of the successive differences between consecutive NN intervals (HRV time-domain index quantifying the parasympathetic tone)), NN50(number of interval differences of successive NN intervals greater than 50ms), total power, nHF(high frequency band), nLF(low frequency band), LF/HF(radio high/low frequency band) 들이며, 이들 특징변수는 맥파(PPG) 신호의 피크치들 사이의 간격(RR interval)에 대한 주파수 보간(예를 들어 4Hz의 interpolation) 및 시간 영역 분석(time domain HRV), 주파수 영역 분석(frequency domain HRV)을 통해 추출된다.Emotional feature variables for HRV predictions include HRV mean, standard deviation of the normal-to-normal intervals (SDNN), and root mean square of the successive differences between consecutive NN intervals (HRV time-domain). index quantifying the parasympathetic tone), NN50 (number of interval differences of successive NN intervals greater than 50ms), total power, nHF (high frequency band), nLF (low frequency band), LF / HF (radio high / low frequency band These feature variables are frequency interpolation (e.g., interpolation of 4 Hz), time domain HRV, and frequency domain analysis of the RR interval between peaks of a pulse wave (PPG) signal. HRV).

혈관의 수축 및 혈압, 맥파속도(PWV) 예측을 위한 감성특징변수는 평균치와 표준편차 들이며, 이들 특징변수는 맥파(PPG) 신호로부터 검출된 피크 진폭과 맥파속도(PWV)에 대한 표준편차의 예측을 통해 추출된다.Emotional feature variables for the prediction of blood vessel contraction, blood pressure, and pulse wave velocity (PWV) are mean values and standard deviations, and these feature variables are the predictions of the peak amplitude and pulse wave velocity (PWV) detected from pulse wave (PPG) signals. Is extracted through.

또한 상기 감성특징 추출부(21)에서는 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 다수의 감성특징변수들을 추출한다. 이들 특징변수들은 피부전도도(GSR) 신호의 다운 샘플링(down-sampling)과 잡음제거 필터링, 상(phasic) 검출과정을 통한 평균치와 표준편차, 긴장성(yonic) 검출 및 미분과정을 통한 빈도수(fluctuation) 카운트값이다.In addition, the emotional feature extracting unit 21 extracts a plurality of emotional feature variables that can predict the arousal level of each individual using the gradient technique and the magnitude of the Y-axis variation from the skin conductivity (GSR) signal. These feature variables include down-sampling, noise reduction filtering, phasic detection, mean and standard deviation of skin conductance (GSR) signals, frequency detection through yonic detection, and derivatives. Count value.

특징차원 축소부(22)는 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소한다. 여기서 상기 다수의 감성특징변수들에 대한 성능 평가는 순차전방탐색(Sequential Floating Forward Search) 알고리즘을 통해 실시할 수 있으며, 그 결과 평가 성능이 우수한 변수들이 포함되는 영역으로, 개인별 최적화를 위한 특징 차원 축소를 실행한다.The feature dimension reduction unit 22 performs a performance evaluation on the plurality of emotional feature variables to reduce the feature dimension to an area including variables having excellent evaluation performance. In this case, performance evaluation of the plurality of emotional feature variables can be performed through a sequential floating forward search algorithm, and as a result, an area containing variables having excellent evaluation performance is reduced, and the feature dimension for individual optimization is reduced. Run

감성판단 인식부(23)는 상기 특징차원 축소부(22)를 통해 선별된 특징 차원 내의 감성특징변수들을 미리 설정된 감성패턴 인식규칙에 따라 신호 처리하여 각 개인의 현재 감성상태를 판단하고 인식한다. 여기서 상기 선별된 특징 차원 내의 감성특징변수들은 감성패턴 인식규칙에 따라 학습된 신경회로망 알고리즘에 입력신호로 사용되며, 1층 이상의 은닉층을 통해 각 개인별 사용자의 감성상태 판단 결과를 출력으로 발생시킨다. 상기 각 개인에 대한 감성상태는, 예를 들어 두려움, 슬픔, 기쁨, 보통 등으로 구별될 수 있다.The emotional determination recognizer 23 processes the emotional feature variables in the feature dimension selected by the feature dimension reduction unit 22 according to a predetermined emotion pattern recognition rule to determine and recognize the current emotional state of each individual. Here, the emotional feature variables in the selected feature dimension are used as input signals to the neural network algorithm learned according to the emotion pattern recognition rule, and generate an output of the emotional state judgment result of each individual user through one or more hidden layers. The emotional state for each individual may be distinguished, for example, by fear, sadness, joy, or the like.

생체정보 저장부(30)는 상기 감성 인식부(20)에 의해 엑세스되며, 상기 감성인식부(20)를 통해 추출 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장한다.The biometric information storage unit 30 is accessed by the emotion recognition unit 20, and collects and stores the personalized emotion characteristic variables and emotion recognition results optimized and extracted through the emotion recognition unit 20.

표시부(40)는 상기 감성 인식부(20)를 통해 추출 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 표시한다. 이 표시부에서는 상기 인식된 다수의 감성상태에 근거가 되는 생체신호의 변화를 그래프와 수치 및 이미지로 출력하여 표시할 수 있게 된다.The display unit 40 displays the optimized emotion feature variable and the emotion recognition result for each person extracted and recognized by the emotion recognition unit 20. In this display unit, a change in a biosignal based on the recognized plurality of emotional states can be displayed and displayed as a graph, a numerical value, and an image.

오류 수정부(50)는 상기 감성 인식부(20)에 연결되어 오류 제거를 위한 외부 사용자와 시스템 간의 인터페이스 수단으로 사용되며, 상기 감성 인식부(20)에 의해 최적화된 감성특징변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신 호를 감성 인식부에 제공한다. 이로써, 상기 개인별 최적화를 위해 축소 및 선별된 감성특징변수들은 외부 입력에 의한 오류 제거과정을 통해 선택적으로 수정 또는 삭제할 수 있게 되므로 지속적으로 진화 가능한 감성인식 시스템의 구현이 가능하게 된다.The error correction unit 50 is connected to the emotion recognition unit 20 and used as an interface means between the external user and the system for error removal, and the emotion characteristic variable and the emotion recognition result optimized by the emotion recognition unit 20. The external input signal for the correction or deletion is provided to the emotion recognition unit. As a result, the emotional feature variables reduced and selected for the individual optimization can be selectively modified or deleted through an error elimination process by external input, thereby enabling the implementation of a continuously evolving emotional recognition system.

도 2는 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화방법을 설명하기 위하여 예시한 동작 흐름도로서, 생체신호 측정단계(S101,S103), 감성 인식단계(S105-S109), 저장 및 표시단계(S111)를 포함하는 감성인식장치의 개인별 최적화방법, 또는 오류 수정단계(S113-S117)를 더 포함하는 감성인식장치의 개인별 최적화방법으로 이루어질 수 있게 된다.FIG. 2 is a flowchart illustrating an individual optimization method of an emotion recognition device using a biosignal according to the present invention, and includes a biosignal measurement step (S101 and S103) and an emotion recognition step (S105 to S109). The personal optimization method of the emotion recognition device including a step (S111), or the individual optimization method of the emotion recognition device further includes an error correction step (S113-S117).

생체신호 측정단계는, 개인별 사용자로부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 단계(S101)와, 상기 측정된 생체신호를 증폭하고, 잡음 제거를 위한 필터링을 실시하여 생체정보를 전처리하는 단계(S103)를 포함하여 이루어진다.In the biosignal measurement step, a biosignal including pulse wave (PPG) and skin conductivity (GSR) is measured from an individual user (S101), amplifying the measured biosignal, and performing filtering to remove noise. It comprises a step (S103) of pre-processing the biometric information.

감성인식단계는, 상기 측정 및 전처리된 맥파(PPG), 피부전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하는 단계(S105)와, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하는 단계(S107)와, 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 단계(S109)를 포함하여 이루어진다.In the emotion recognition step, extracting a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse wave velocity (PWV), and tension from the measured and preprocessed pulse wave (PPG) and skin conductivity (GSR) signals ( S105), performing personal optimization by performing performance evaluation on the plurality of extracted emotional feature variables and reducing individual feature dimensions (S107), and recognizing the individual emotional state using the optimized emotional feature variables. (S109).

여기서 상기 감성특징변수 추출은 맥파(PPG) 신호 및 피부전도도(GSR) 신호 의 샘플링 및 피크치 검출을 통해 이루어진다. 즉, 맥파(PPG) 신호의 다운 샘플링과 미리 지정된 대역(예를 들어 0.13~0.48Hz 범위의 BPF) 내에서의 필터링 및 퓨리에 변환(fourier transform)을 통해 호흡 예측을 위한 DFE와 엔트로피를 추출한다. 또한 맥파(PPG) 신호의 피크치를 검출한 후 그 피크치들 사이의 간격(RR interval)에 대한 특정 주파수(4Hz) 보간 및 시간 영역 분석을 통해 HRV 평균(mean), SDNN, RMSSD, NN50를 추출하고, 이와 아울러 상기 특정 주파수 보간이 실시된 피크치들 사이의 간격(RR interval)에 대한 주파수 영역 분석을 통해 total power, nHF, nLF, LF/HF 들을 추출한다. 그리고 맥파(PPG) 신호의 피크치 진폭에 대한 표준편차의 예측을 통해 혈관의 수축 및 혈압값 예측을 위한 변수(평균치와 표준편차)를 추출하며, 맥파(PPG) 신호의 피크치의 최대치와 최소치 사이의 간격을 이용하여 맥파속도(PWV) 예측을 위한 변수(평균치와 표준편차)를 추출한다. The emotional feature variable extraction is performed through sampling and peak value detection of a pulse wave (PPG) signal and a skin conductivity (GSR) signal. That is, DFE and entropy for respiratory prediction are extracted through down sampling of the pulse wave (PPG) signal and filtering and Fourier transform in a predetermined band (for example, BPF in the range of 0.13 to 0.48 Hz). In addition, after detecting peak values of the pulse wave (PPG) signal, HRV mean, SDNN, RMSSD, and NN50 are extracted by interpolating and time-domain analysis of a specific frequency (4 Hz) for the interval (RR interval) between the peak values. In addition, total power, nHF, nLF, and LF / HF are extracted through frequency domain analysis of the interval (RR interval) between the peak values subjected to the specific frequency interpolation. The standard deviation of the peak amplitude of the pulse wave (PPG) signal is extracted to extract variables (mean and standard deviation) for predicting blood vessel contraction and blood pressure, and between the maximum and minimum peak values of the pulse wave (PPG) signal. The intervals are used to extract variables (mean and standard deviation) for the prediction of pulse wave velocity (PWV).

또한 피부전도도(GSR) 신호에서는 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 변수(평균치와 표준편차 및 빈도수 등)를 추출한다.In addition, the skin conductance (GSR) signal extracts variables (average value, standard deviation, frequency, etc.) for predicting each individual's arousal degree using the gradient technique and the magnitude of the Y-axis variation.

한편, 개인별 최적화과정에서는 순차전방향탐색(Sequential Floating Forward Search) 알고리즘을 통해 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소하는 과정을 통해 이루어지고, 선별된 특징 차원 내의 감성특징변수들은 미리 설정된 감성패턴 인식규칙에 따라 학습된 신경회로망 알고리즘에 입력되어 각 개인의 현재 감성상태 판단이 이루어진다.On the other hand, in the individual optimization process, the performance evaluation of the plurality of emotional feature variables is performed through a sequential floating forward search algorithm to reduce the feature dimension to an area including variables having excellent evaluation performance. Emotional feature variables in the selected feature dimension are inputted to a neural network algorithm learned according to a predetermined emotion pattern recognition rule to determine the current emotional state of each individual.

개인별 감성특징 저장 및 표시단계는, 상기 감성인식단계를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하고 표시하는 단계(S111)이다. 이 표시동작은 상기 인식된 다수의 감성상태에 근거가 되는 생체신호의 변화를 그래프와 수치 및 이미지로 출력하여 이루어질 수 있게 된다.The step of storing and displaying an individual emotional feature is a step of collecting, storing and displaying an individual optimized emotional feature variable and an emotional recognition result processed and recognized through the emotional recognition step (S111). The display operation may be performed by outputting a change in a biosignal based on the recognized emotional state as a graph, a numerical value, and an image.

오류 수정단계는, 사용자에 의해 입력되는 외부 신호가 수신되는지를 확인하는 단계(S113)와, 상기 확인 결과 외부 신호가 수신되면 그 입력신호에 따라 상기 개인별 감성특징변수 및 그 인식결과를 수정 또는 삭제하는 단계(S115)와, 상기 개인별 감성특정변수 및 감성인식결과의 수정 또는 삭제 결과를 저장하고 표시하는 단계(S117)를 포함하여 이루어진다.The error correction step may include checking whether an external signal input by the user is received (S113), and when the external signal is received as a result of the checking, correcting or deleting the personal emotional characteristic variable and the recognition result according to the input signal. And a step (S117) of storing and displaying a result of the modification or deletion of the individual emotion-specific variable and the emotion recognition result.

이와 같이 구성되는 본 발명의 개인별 최적화시스템 및 방법의 동작 및 작용효과를 설명하면 다음과 같다.Referring to the operation and effect of the individual optimization system and method of the present invention configured as described above are as follows.

먼저, 측정부(10)에서는 센서부(11)를 통해 사용자로부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정(S101)하고, 전처리부(12)를 통해 상기 측정된 생체신호를 소정 레벨 증폭하고, 잡음 제거를 위한 필터링을 실시(S103)하여 순수 생체신호만을 검출한다.First, the measurement unit 10 measures a biosignal including pulse wave PPG and skin conductivity GSR from the user through the sensor unit 11 (S101), and measures the biosignal measured by the preprocessor 12. The signal is amplified by a predetermined level and filtered to remove noise (S103) to detect only a pure biosignal.

다음으로 감성 인식부(20)에서는 감성특징 추출부(21)를 통해 다수의 감성특징변수들을 추출(S105)한다. 즉 상기 측정부(10)에서 측정 및 전처리된 맥파(PPG)신호의 다운 샘플링과 0.13~0.48Hz 범위의 대역 필터링 및 퓨리에 변환(fourier transform)을 통해 호흡 예측을 위한 DFE와 엔트로피를 추출하고, 맥파(PPG) 신호의 피크치들 사이의 간격(RR interval)에 대한 특정 주파수(4Hz) 보간 및 시간 영 역 분석을 통해 HRV 평균(mean), SDNN, RMSSD, NN50를 추출한다. 이와 아울러 4Hz의 주파수 보간이 실시된 피크치들 사이의 간격(RR interval)에 대한 주파수 영역 분석을 통해 total power, nHF, nLF, LF/HF 들을 추출한다. 또한 맥파(PPG) 신호의 피크치 진폭에 대한 표준편차의 예측을 통해 혈관의 수축 및 혈압값 예측을 위한 변수(평균치와 표준편차)를 추출하며, 맥파(PPG) 신호의 피크치의 최대치와 최소치 사이의 간격을 이용하여 맥파속도(PWV) 예측을 위한 변수(평균치와 표준편차)를 추출한다. 또한 감성 인식부(20)의 감성특징 추출부(21)에서는 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 변수(평균치와 표준편차 및 빈도수 등)를 추출한다.Next, the emotion recognition unit 20 extracts a plurality of emotion feature variables through the emotion feature extraction unit 21 (S105). That is, DFE and entropy for respiratory prediction are extracted through down sampling of the pulse wave (PPG) signal measured and preprocessed by the measurement unit 10, band filtering in the range of 0.13 to 0.48 Hz, and Fourier transform. The HRV mean, SDNN, RMSSD, and NN50 are extracted through specific frequency (4Hz) interpolation and time domain analysis of the interval between peaks of the (PPG) signal. In addition, total power, nHF, nLF, and LF / HF are extracted through frequency domain analysis of the interval (RR interval) between peak values subjected to 4 Hz frequency interpolation. In addition, the standard deviation of the peak amplitude of the pulse wave (PPG) signal is extracted to extract variables (mean and standard deviation) for predicting blood vessel contraction and blood pressure, and between the maximum and minimum peak values of the pulse wave (PPG) signal. The intervals are used to extract variables (mean and standard deviation) for the prediction of pulse wave velocity (PWV). In addition, the emotional feature extractor 21 of the emotion recognizer 20 may predict variables of the individual's arousal degree using the gradient technique and the magnitude of the Y-axis variation from the skin conductance (GSR) signal (average value and standard deviation and Frequency, etc.).

다음으로 감성 인식부(20)는 특징차원 축소부(22)를 통해 개인별 최적화과정을 실시한다. 즉, 순차전방향탐색(Sequential Floating Forward Search) 알고리즘을 통해 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소(S107)함으로써, 각 개인에게 적합하도록 선별된 특징 차원 내의 감성특징변수들만으로 최적화를 실시한다. 이와 같이 최적화된 감성특징변수들은 감성판단 인식부(23)에 탑재된 신경회로망 알고리즘에 입력되고, 따라서 감성판단 인식부(23)에서는 미리 지정된 감성패턴 인식규칙에 따라 학습된 상기 신경회로망 알고리즘을 통해 각 개인의 현재 감성상태 판단 및 인식결과를 출력할 수 있게 된다.Next, the emotion recognition unit 20 performs an individual optimization process through the feature dimension reduction unit 22. In other words, by performing a performance evaluation on the plurality of emotional feature variables through a sequential floating forward search algorithm (S107) by reducing the feature dimension to the area containing the variables having excellent evaluation performance, The optimization is performed only with the emotional feature variables within the feature dimension selected to be suitable for the application. The emotion characteristic variables optimized as described above are input to the neural network algorithm mounted in the emotion determination recognition unit 23, and thus, the emotion determination recognition unit 23 uses the neural network algorithm learned according to a predetermined emotion pattern recognition rule. It is possible to output the current emotional state judgment and recognition results of each individual.

이와 같은 감성인식결과 및 상기 개인별 최적화과정을 통해 축소된 특징차원 내의 감성특징변수들은 생체정보 저장부(30)에 수집 및 저장되며, 아울러 상기 인 식된 다수의 감성상태에 근거가 되는 생체신호의 변화는 표시부(40)를 통해 그래프와 수치 및 이미지로 출력된다.The emotion recognition result and the emotional feature variables in the feature dimension reduced through the individual optimization process are collected and stored in the biometric information storage unit 30, and the change of the biosignal based on the plurality of recognized emotional states. Is output as a graph, a numerical value, and an image through the display unit 40.

상기와 같이 생체정보 저장부(30) 및 표시부(40)에 각각 저장되고 표시되는 감성인식결과 및 개인별 최적화과정을 통해 선별된 감성특징변수들은 오류 수정부(50)를 통해 사용자에 의해 입력되는 외부 신호에 의해 수정되거나 또는 삭제될 수 있게 되며, 이에 따라 각 개인별 최적화과정을 통해 선별된 감성특징변수들은 필요에 따라, 또는 각 개인에 적합하지 않은 변수들로 오류가 발생된 경우에도 선택적인 수정 및 오류 제거과정을 통해 지속적으로 진화할 수 있게 된다.As described above, the emotion recognition results stored and displayed in the biometric information storage unit 30 and the display unit 40 and the emotion feature variables selected through the individual optimization process are externally input by the user through the error correction unit 50. It can be modified or deleted by the signal, so that the emotional feature variables selected through the optimization process for each individual can be selectively modified and corrected as necessary or even when an error occurs with variables that are not suitable for each individual. The error elimination process allows for continuous evolution.

아울러 사용자에 의해 수정되거나 삭제된 결과는 또한 생체정보 저장부(30) 및 표시부(40)를 통해 표시(S117)될 수 있게 된다.In addition, the result modified or deleted by the user may also be displayed (S117) through the biometric information storage unit 30 and the display unit 40.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.

도 1은 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화시스템의 구성예를 나타낸 블록도이다.1 is a block diagram showing a configuration example of an individual optimization system of the emotion recognition device using a bio-signal according to the present invention.

도 2는 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화방법의 구성예를 나타낸 동작 흐름도이다.2 is an operation flowchart showing an example of the configuration of the individual optimization method of the emotion recognition device using a bio-signal according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

10 : 측정부 11 : 센서부10: measuring unit 11: sensor unit

12 : 전처리부 20 : 감성 인식부12: preprocessing unit 20: emotion recognition unit

21 : 감성특징 추출부 22 : 특징차원 축소부21: emotional feature extraction section 22: feature dimension reduction section

23 : 감성판단 인식부 30 : 생체정보 저장부23: emotional judgment recognition unit 30: biometric information storage unit

40 : 표시부 50 : 오류 수정부40: display unit 50: error correction

Claims (23)

개인별 사용자의 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 측정부;A measuring unit measuring a biosignal including a pulse wave (PPG) and a skin conductivity (GSR) of an individual user; 상기 측정부에서 측정되는 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식부;Extracting a plurality of emotional feature variables for heart rate variability (HRV), respiration, pulse wave velocity (PWV), and tonicity from the bio signals measured by the measurement unit, and evaluates the performance of the extracted plurality of emotional feature variables Emotion recognition unit for recognizing the individual emotional state by the optimized emotional feature variables by performing individual optimization by reducing the individual feature dimension; 상기 감성인식부에 의해 엑세스되며, 상기 감성인식부를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하는 생체정보 저장부;A biometric information storage unit which is accessed by the emotion recognition unit and collects and stores the personalized emotion characteristic variables and emotion recognition results which are processed and recognized by the emotion recognition unit; 상기 감성인식부를 통해 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 표시하는 표시부;를 포함하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.And a display unit for displaying the optimized emotion characteristic variable and the emotion recognition result for each person recognized by the emotion recognition unit. 개인별 사용자의 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 측정부;A measuring unit measuring a biosignal including a pulse wave (PPG) and a skin conductivity (GSR) of an individual user; 상기 측정부에서 측정되는 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수 의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식부;From the bio signals measured by the measurement unit extracts a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse wave velocity (PWV), tension, performance evaluation of the extracted plurality of emotional feature variables and Emotion recognition unit for recognizing the individual emotional state by the optimized emotional feature variables by performing individual optimization by reducing the individual feature dimension; 상기 감성 인식부에 의해 엑세스되며, 상기 감성 인식부를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하는 생체정보 저장부;A biometric information storage unit which is accessed by the emotion recognition unit and collects and stores the optimized emotion feature variables and emotion recognition results for each individual processed and recognized through the emotion recognition unit; 상기 감성인식부를 통해 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 표시하는 표시부;A display unit for displaying an optimized emotion characteristic variable and an emotion recognition result for each person recognized through the emotion recognition unit; 상기 감성 인식부에 연결되어, 감성 인식부에 의해 최적화된 감성특징변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신호를 제공하는 오류 수정부;를 포함하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.An error correction unit connected to the emotion recognizing unit and providing an external input signal for correcting or deleting the emotion characteristic variable and the emotion recognition result optimized by the emotion recognizing unit; Personal optimization system of recognition device. 제1항 또는 제2항 중 어느 한 항에 있어서, 상기 측정부는, The measuring unit according to any one of claims 1 and 2, wherein 맥파(PPG), 피부전도도(GSR)를 포함하는 생체신호를 측정하는 하나 이상의 센서부;At least one sensor unit configured to measure a biosignal including pulse wave (PPG) and skin conductivity (GSR); 상기 측정된 생체신호를 증폭하고, 잡음 제거를 위한 필터링을 실시하여 순수 생체신호만을 추출하는 전처리부;를 포함하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.And a pre-processing unit for amplifying the measured bio-signals and performing filtering to remove noise, thereby extracting only the pure bio-signals. 제1항 또는 제2항 중 어느 한 항에 있어서, 상기 감성 인식부는,The emotion recognition unit according to claim 1 or 2, 상기 측정부에서 측정되는 PPG 신호 및 GSR 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하는 감성특징 추출부;An emotional feature extraction unit for extracting a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse wave velocity (PWV), and tension from the PPG signal and the GSR signal measured by the measurement unit; 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소하는 특징차원 축소부;A feature dimension reduction unit configured to reduce a feature dimension to an area including variables having excellent evaluation performance by performing performance evaluation on the plurality of emotional feature variables; 상기 특징차원 축소부를 통해 선별된 특징 차원 내의 감성특징변수들을 미리 설정된 패턴인식규칙에 따라 신호 처리하여 각 개인의 현재 감성상태를 판단하고 인식하는 감성판단 인식부;를 포함하여 구성되는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.And an emotional judgment recognizing unit configured to determine and recognize a current emotional state of each individual by signal processing the emotional feature variables selected in the feature dimension selected by the feature dimension reduction unit according to a preset pattern recognition rule. Personal optimization system of emotion recognition device using bio signals. 제4항에 있어서, 상기 감성특징 추출부는,The method of claim 4, wherein the emotional feature extraction unit, 상기 맥파(PPG) 신호의 다운 샘플링과 미리 지정된 대역 내에서의 필터링 및 퓨리에 변환을 통해 호흡 예측을 위한 다수의 감성특징변수를 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.And a plurality of emotional feature variables for respiratory prediction through down sampling of the pulse wave (PPG) signal, filtering in a predetermined band, and Fourier transform. 제5항에 있어서, 상기 감성특징 추출부는,The method of claim 5, wherein the emotional feature extraction unit, 상기 맥파(PPG) 신호의 피크치를 검출하고, 그 피크치들 사이의 간격(RR interval)에 대한 시간 영역 분석, 주파수 영역 분석을 통해 심박변이도(HRV) 예측을 위한 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.Detecting peak values of the pulse wave (PPG) signal, and extracting a plurality of emotional feature variables for HRV prediction through time domain analysis and frequency domain analysis of the RR intervals between the peak values. Personal optimization system of emotion recognition device using a biological signal characterized in that. 제6항에 있어서, 상기 감성특징 추출부는,The method of claim 6, wherein the emotional feature extraction unit, 상기 맥파(PPG) 신호의 피크치를 검출하고, 그 피크치의 진폭에 대한 표준편차의 예측을 통해 혈관의 수축 및 혈압값 예측을 위한 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.Emotion using a biosignal, characterized in that it detects a peak value of the pulse wave (PPG) signal and extracts a plurality of emotional feature variables for predicting blood vessel contraction and blood pressure value by predicting a standard deviation of the amplitude of the pulse wave (PPG) signal. Personal optimization system of recognition device. 제7항에 있어서, 상기 감성특징 추출부는,The method of claim 7, wherein the emotional feature extraction unit, 상기 맥파(PPG)신호의 피크치를 검출하고, 그 검출된 피크치의 최대치와 최소치 사이의 간격을 이용하여 맥파속도(PWV)를 예측하기 위한 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.Detecting a peak value of the pulse wave (PPG) signal, and extracting a plurality of emotional feature variables for predicting the pulse wave velocity (PWV) using the interval between the maximum value and the minimum value of the detected peak value. Personal optimization system of emotion recognition device using. 제8항에 있어서, 상기 감성특징 추출부는,The method of claim 8, wherein the emotional feature extraction unit, 상기 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.Personal optimization of the emotion recognition device using biosignals, which extracts a plurality of emotional feature variables that can predict the degree of arousal of each individual using the gradient technique and the magnitude of the Y-axis variation from the skin conductance (GSR) signal. system. 제4항에 있어서, 상기 특징차원 축소부는, The method of claim 4, wherein the feature dimension reduction unit, 상기 다수의 감성특징변수들에 대한 성능 평가를 순차전방향탐색(Sequential Floating Forward Search) 알고리즘을 통해 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로, 개인별 최적화를 위한 특징 차원 축소를 실행하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.The performance evaluation of the plurality of emotional feature variables is performed through a sequential floating forward search algorithm, which includes variables having excellent evaluation performance, and performs feature dimension reduction for individual optimization. Personal optimization system of emotion recognition device using bio signals. 제4항에 있어서, 상기 감성인식 판단부는,The method of claim 4, wherein the emotion recognition determination unit, 상기 선별된 특징 차원 내의 감성특징변수들을 감성패턴인식규칙으로 학습된 신경회로망 알고리즘에 적용하여, 각 개인에 대한 다수의 감성상태를 판단하고 인식하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템. Applying the emotional feature variables in the selected feature dimension to the neural network algorithm learned by the emotion pattern recognition rule, to determine and recognize a plurality of emotional state for each individual, each individual in the emotional recognition device using a bio-signal Optimization system. 제11항에 있어서, 상기 표시부는,The method of claim 11, wherein the display unit, 상기 인식된 다수의 감성상태에 근거가 되는 생체신호의 변화를 그래프와 수치 및 이미지로 출력하여 표시하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화시스템.Personal optimization system of the emotion recognition device using a bio-signal, characterized in that for displaying the change in the bio-signal based on the recognized plurality of emotion state in a graph, a numerical value and an image. 개인별 사용자로부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 생체신호 측정단계;A biosignal measuring step of measuring a biosignal including a pulse wave (PPG) and a skin conductivity (GSR) from an individual user; 상기 측정된 맥파(PPG) 신호, 피부전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식단계;From the measured pulse wave (PPG) signal and skin conductivity (GSR) signal, a plurality of emotional feature variables for heart rate variability (HRV), respiration, pulse wave rate (PWV), and tension prediction are extracted, and the extracted plurality of emotional features An emotional recognition step of recognizing the emotional state of the individual by the optimized emotional feature variables by performing individual optimization through performance evaluation of the variables and reduction of the individual feature dimension; 상기 감성인식단계를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하고 표시하는 개인별 감성특징 저장 및 표시단계;를 포함하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.An emotional recognition device using a bio-signal, comprising: an individual emotional feature storage and display step of collecting, storing, and displaying an optimized emotional feature variable and an emotion recognition result for each individual processed and recognized through the emotion recognition step Personal optimization method. 제13항에 있어서, The method of claim 13, 상기 감성인식단계를 통해 처리 및 인식되는 개인별 감성특징변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신호를 제공하는 오류 수정단계;를 더 포함하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.An error correction step of providing an external input signal for the correction or deletion of the individual emotional feature variable and the emotional recognition result processed and recognized through the emotional recognition step; of the emotional recognition device using a biological signal further comprising Personal optimization method. 제13항 또는 제14항 중 어느 한 항에 있어서, 상기 감성 인식 단계는,The method of claim 13 or 14, wherein the emotion recognition step, 상기 맥파(PPG) 신호 및 피부전도도(GSR) 신호의 샘플링 및 피크치 검출을 통해 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하는 감성특징 추출단계;Emotional feature extraction step of extracting a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse wave velocity (PWV), tension through sampling and peak value detection of the pulse wave (PPG) signal and skin conductance (GSR) signal ; 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소하는 특징차원 축소단계;A feature dimension reduction step of performing a performance evaluation on the plurality of emotional feature variables to reduce a feature dimension to an area including variables having excellent evaluation performance; 상기 특징차원 축소단계를 거쳐 선별된 특징 차원 내의 감성특징변수들을 미리 설정된 감성패턴인식규칙에 따라 신호 처리하여 각 개인의 현재 감성상태를 판단하고 인식하는 감성판단 인식단계;를 포함하여 구성되는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.And an emotional judgment recognition step of determining and recognizing the current emotional state of each individual by processing the emotional feature variables selected in the feature dimension selected through the feature dimension reduction step according to a preset emotion pattern recognition rule. Personal optimization method of the emotion recognition device using a bio-signal. 제15항에 있어서, 상기 감성특징 추출단계는,The method of claim 15, wherein extracting the emotional feature, 상기 맥파(PPG) 신호의 다운 샘플링과 미리 지정된 대역 내에서의 필터링 및 퓨리에 변환을 통해 호흡 예측을 위한 다수의 감성특징변수를 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.And optimizing a plurality of emotional feature variables for respiratory prediction through down sampling of the pulse wave (PPG) signal, filtering in a predetermined band, and Fourier transform. 제16항에 있어서, 상기 감성특징 추출단계는,The method of claim 16, wherein extracting the emotional feature, 상기 맥파(PPG) 신호의 피크치를 검출하고, 그 피크치들 사이의 간격(RR interval)에 대한 시간 영역 분석, 주파수 영역 분석을 통해 심박변이도(HRV) 예측을 위한 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.Detecting peak values of the pulse wave (PPG) signal, and extracting a plurality of emotional feature variables for HRV prediction through time domain analysis and frequency domain analysis of the RR intervals between the peak values. Personal optimization method of the emotion recognition device using a biological signal characterized in that. 제17항에 있어서, 상기 감성특징 추출단계는,18. The method of claim 17, wherein extracting the emotional features, 상기 맥파(PPG) 신호의 피크치를 검출하고, 그 피크치의 진폭에 대한 표준편차의 예측을 통해 혈관의 수축 및 혈압값 예측을 위한 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.Emotion using a biosignal, characterized in that it detects a peak value of the pulse wave (PPG) signal and extracts a plurality of emotional feature variables for predicting blood vessel contraction and blood pressure value by predicting a standard deviation of the amplitude of the pulse wave (PPG) signal. Personal optimization method of recognition device. 제18항에 있어서, 상기 감성특징 추출단계는,19. The method of claim 18, wherein the emotional feature extraction step, 상기 맥파(PPG) 신호의 피크치를 검출하고, 그 검출된 피크치의 최대치와 최소치 사이의 간격을 이용하여 맥파속도(PWV)를 예측하기 위한 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.Detecting a peak value of the pulse wave (PPG) signal, and extracting a plurality of emotional characteristic variables for predicting the pulse wave velocity (PWV) using a distance between the maximum value and the minimum value of the detected peak value. Individual optimization method of emotion recognition device using. 제19항에 있어서, 상기 감성특징 추출단계는,The method of claim 19, wherein the emotional feature extraction step, 상기 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 다수의 감성특징변수들을 추출하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.Personal optimization of the emotion recognition device using biosignals, which extracts a plurality of emotional feature variables that can predict the degree of arousal of each individual using the gradient technique and the magnitude of the Y-axis variation from the skin conductance (GSR) signal. Way. 제16항에 있어서, 상기 특징차원 축소단계는, The method of claim 16, wherein the reducing the feature dimension, 상기 다수의 감성특징변수들에 대한 성능 평가를 순차전방향탐색(Sequential Floating Forward Search) 알고리즘을 통해 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로, 개인별 최적화를 위한 특징 차원 축소를 실행하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.The performance evaluation of the plurality of emotional feature variables is performed through a sequential floating forward search algorithm, which includes variables having excellent evaluation performance, and performs feature dimension reduction for individual optimization. Personal optimization method of the emotion recognition device using a bio-signal. 제16항에 있어서, 상기 감성인식 판단단계는,The method of claim 16, wherein the emotion recognition step, 상기 선별된 특징 차원 내의 감성특징변수들을 감성패턴 인식규칙으로 학습 된 신경회로망 알고리즘에 적용하여, 각 개인에 대한 다수의 감성상태를 판단하고 인식하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법. By applying the emotional feature variables in the selected feature dimension to the neural network algorithm learned by the emotion pattern recognition rule, a plurality of emotional states for each individual are determined and recognized. Optimization method. 제22항에 있어서, 상기 저장 및 표시단계는,The method of claim 22, wherein the storing and displaying step, 상기 인식된 다수의 감성상태에 근거가 되는 생체신호의 변화를 그래프와 수치 및 이미지로 출력하여 표시하는 것을 특징으로 하는 생체신호를 이용한 감성인식장치의 개인별 최적화방법.Personal optimization method of the emotion recognition device using a bio-signal, characterized in that for outputting the change in the bio-signal based on the recognized plurality of emotion state as a graph, a numerical value and an image.
KR1020090051264A 2009-06-10 2009-06-10 Personal optimization system of emotional recognition device and its optimization method Expired - Fee Related KR101025510B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090051264A KR101025510B1 (en) 2009-06-10 2009-06-10 Personal optimization system of emotional recognition device and its optimization method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090051264A KR101025510B1 (en) 2009-06-10 2009-06-10 Personal optimization system of emotional recognition device and its optimization method

Publications (2)

Publication Number Publication Date
KR20100132592A KR20100132592A (en) 2010-12-20
KR101025510B1 true KR101025510B1 (en) 2011-04-04

Family

ID=43508162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090051264A Expired - Fee Related KR101025510B1 (en) 2009-06-10 2009-06-10 Personal optimization system of emotional recognition device and its optimization method

Country Status (1)

Country Link
KR (1) KR101025510B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086533A1 (en) * 2015-11-20 2017-05-26 동국대학교 산학협력단 Method and system for simulating nui/nux-based vr environment game control
KR20200061016A (en) * 2018-11-23 2020-06-02 와이케이씨테크(주) Depression Index Estimation Method Using Skin Image
US10997155B2 (en) 2018-04-19 2021-05-04 Hyundai Motor Company Data classification apparatus, vehicle including the same, and control method of the same

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101118276B1 (en) * 2011-02-24 2012-03-20 주식회사 메디오피아테크 Ubiquitous-learning middleware device for generating study emotion index related to study concentration from bio-signal emotion index and context information
KR101901417B1 (en) 2011-08-29 2018-09-27 한국전자통신연구원 System of safe driving car emotion cognitive-based and method for controlling the same
KR101338043B1 (en) * 2012-03-05 2013-12-09 한국과학기술연구원 Cognitive Rehabilitation System and Method Using Tangible Interaction
KR101398059B1 (en) * 2012-07-04 2014-05-30 금오공과대학교 산학협력단 Automatic classification system and method of music mood using feature reduction method of music source based on standard deviation
CN104434143B (en) * 2014-11-18 2015-08-19 西南大学 A kind of real-time identification method of frightened emotion
US10405761B2 (en) 2015-02-24 2019-09-10 Koninklijke Philips N.V. Device for detecting heart rate and heart rate variability
JP2019515730A (en) * 2016-04-18 2019-06-13 マサチューセッツ インスティテュート オブ テクノロジー Feature extraction from physiological signals
KR102497299B1 (en) * 2016-06-29 2023-02-08 삼성전자주식회사 Electronic apparatus and method for controlling the electronic apparatus
KR101952804B1 (en) 2017-05-16 2019-02-27 전주대학교 산학협력단 Emotion recognition interface apparatus
CN108960022B (en) * 2017-09-19 2021-09-07 炬大科技有限公司 Emotion recognition method and device
KR102143343B1 (en) * 2018-05-15 2020-08-13 연세대학교 원주산학협력단 Attention/fatigue/drowsiness monitoring system based on autonomic nervous system signal reflecting brain activity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464821B1 (en) 2001-10-23 2005-01-17 임좌상 Method for estimating emotion using physiological signal
KR100493714B1 (en) 2004-11-26 2005-06-02 주식회사 메디코아 Autonomic function analyzer
KR20070087787A (en) * 2005-11-29 2007-08-29 중앙대학교 산학협력단 Emotion classification system and emotion classification method for classifying emotions in real time through bio signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464821B1 (en) 2001-10-23 2005-01-17 임좌상 Method for estimating emotion using physiological signal
KR100493714B1 (en) 2004-11-26 2005-06-02 주식회사 메디코아 Autonomic function analyzer
KR20070087787A (en) * 2005-11-29 2007-08-29 중앙대학교 산학협력단 Emotion classification system and emotion classification method for classifying emotions in real time through bio signals

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086533A1 (en) * 2015-11-20 2017-05-26 동국대학교 산학협력단 Method and system for simulating nui/nux-based vr environment game control
US10997155B2 (en) 2018-04-19 2021-05-04 Hyundai Motor Company Data classification apparatus, vehicle including the same, and control method of the same
KR20200061016A (en) * 2018-11-23 2020-06-02 와이케이씨테크(주) Depression Index Estimation Method Using Skin Image
KR102243017B1 (en) 2018-11-23 2021-04-21 와이케이씨테크(주) Depression Index Estimation Method Using Skin Image

Also Published As

Publication number Publication date
KR20100132592A (en) 2010-12-20

Similar Documents

Publication Publication Date Title
KR101025510B1 (en) Personal optimization system of emotional recognition device and its optimization method
Karthikeyan et al. Detection of human stress using short-term ECG and HRV signals
CN107106085B (en) Apparatus and method for sleep monitoring
JP6721155B2 (en) Biological information analysis device, system, and program
RU2602797C2 (en) Method and device for measuring stress
Shanmugasundaram et al. A comprehensive review on stress detection techniques
JP6190466B2 (en) Biological signal measuring instrument and contact state estimation method
JP5241598B2 (en) Psychological state evaluation device
CN107788970A (en) A kind of Mental Workload appraisal procedure based on the fusion of multi-physiological-parameter method
CN106178222B (en) Intelligent sleep assisting method and system based on hypnosis
CN112617747B (en) State estimation device, state estimation method, and storage medium
KR102267741B1 (en) Deep learning based emotional recognition system and methods using PPG signals
Sulaiman et al. Novel methods for stress features identification using EEG signals
Ghosh et al. Annotation and prediction of stress and workload from physiological and inertial signals
Park et al. Individual emotion classification between happiness and sadness by analyzing photoplethysmography and skin temperature
CN114027842B (en) Objective screening system, method and device for depression
Ghosh et al. Detection of essential hypertension with physiological signals from wearable devices
CN114391846A (en) Emotion recognition method and system based on filtering type feature selection
CN115120236A (en) Emotion recognition method and device, wearable device and storage medium
JP2008253727A (en) Monitor device, monitor system and monitoring method
Dao et al. State anxiety biomarker discovery: electrooculography and electrodermal activity in stress monitoring
KR102488616B1 (en) Method for Emotion Evaluation using heart dynamics, and system adopting the method
KR20210034458A (en) Deep neural network based conscious state determination device and method
WO2020245583A1 (en) Physiological signal processing
KR101456236B1 (en) Method for establishing personalized rule base for evaluation of emotional state and apparatus adopting the method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090610

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100812

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20101231

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110322

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110322

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140314

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140314

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160104

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170111

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20180102

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20190722

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20190722

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20200402

Start annual number: 10

End annual number: 10

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250102