KR101025510B1 - Personal optimization system of emotional recognition device and its optimization method - Google Patents
Personal optimization system of emotional recognition device and its optimization method Download PDFInfo
- Publication number
- KR101025510B1 KR101025510B1 KR1020090051264A KR20090051264A KR101025510B1 KR 101025510 B1 KR101025510 B1 KR 101025510B1 KR 1020090051264 A KR1020090051264 A KR 1020090051264A KR 20090051264 A KR20090051264 A KR 20090051264A KR 101025510 B1 KR101025510 B1 KR 101025510B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotional
- emotion
- signal
- individual
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
- A61B5/02416—Measuring pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Measuring devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Radiology & Medical Imaging (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dermatology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Mathematical Physics (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
본 발명은 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 방법에 관한 것으로, 개인별 사용자에게 최적화되고 보다 정확하고 정교한 감성인식성능을 나타내도록 한 것이다. 이를 위하여 본 발명은, 맥파(PPG)와 피부전도도(GSR)를 측정하는 측정부; 상기 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 개인별 최적화를 실시하여 개인별 감성상태를 인식하는 감성인식부; 상기 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장 및 표시하고 오류를 제거하는 생체정보 저장부와 표시부 및 오류제거부;를 포함하는, 개인별 최적화시스템 및 그 방법을 제공한다. 이러한 시스템을 활용하여 사용자의 감성상태를 정확히 측정함으로써 의료분야(우울증, 조울증, 만성 스트레스예방), 산업 분야(작업 피로도, 위험사고예방, 졸음운전예방), 교육분야(학습집중도 향상), 오락분야(인터렉티브게임, 가상현실) 등에 있어 제품 및 서비스의 효용성을 높일 수 있게 된다.The present invention relates to an individual optimization system and method of the emotion recognition device using a bio-signal, and to be optimized for the individual user to exhibit more accurate and sophisticated emotion recognition performance. To this end, the present invention, the measurement unit for measuring the pulse wave (PPG) and skin conductivity (GSR); Emotion recognition unit for extracting a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse velocity (PWV), tension from the bio-signals, and by performing individual optimization; It provides a personal optimization system and method comprising a; biometric information storage unit and display unit and error removal unit for collecting, storing and displaying the optimized emotion characteristic variable and emotion recognition result optimized for each individual, and remove the error. By using this system to accurately measure the emotional state of users, medical field (depression, mood swings, chronic stress prevention), industrial field (work fatigue, risk accident prevention, drowsiness driving prevention), education field (improving concentration of learning), entertainment field In interactive games, virtual reality, etc., the utility of products and services can be improved.
생체신호, 감성인식, 심박변이도(HRV), 호흡, 맥파(PPG), 피부전도도(GSR) Vital signs, emotional recognition, heart rate variability (HRV), respiration, pulse wave (PPG), skin conductivity (GSR)
Description
본 발명은 감성인식장치의 개인별 최적화시스템 및 방법에 관한 것으로, 더욱 상세하게는 생체신호에서 추출되는 다수의 감성인식 특징신호들 중에서 개인별 최적화과정을 통해 사용자에 적합한 특징신호들만을 선택적으로 적용하여 각 개인별 사용자에 맞는 정확하고 정교한 감성인식 성능을 나타낼 수 있도록 한 감성인식장치의 개인별 최적화시스템 및 그 방법에 관한 것이다.The present invention relates to an individual optimization system and method of the emotion recognition device, and more particularly, by selectively applying only the characteristic signals suitable for a user through an individual optimization process from among a plurality of emotion recognition feature signals extracted from the biosignal. The present invention relates to a personal optimization system and a method of an emotion recognition device capable of exhibiting accurate and sophisticated emotion recognition performance for an individual user.
감성공학은 인간이 가지고 있는 감성을 물리적인 디자인 요소로 번역해 구체 적으로 설계하여 쾌적성, 안정성, 고급감 등을 무기로 감성에 호소하는 제품의 설계를 목표로 한다. Emotional engineering aims to design products that appeal to emotion with comfort, stability, and high-grade feelings by specifically designing human emotions into physical design elements.
감성공학에서 가장 기본이 되는 것은 인간의 감성을 측정하는 기술인데, 현재 안면의 표현분석, 안구의 움직임 분석, 감성언어의 분석 및 인간의 생체신호 분석 등의 방법이 활용되고 있다.The most basic in emotional engineering is the technology to measure human emotion. Currently, methods such as facial expression analysis, eye movement analysis, emotional language analysis and human biosignal analysis are used.
이 중 생체신호를 기반으로 감성인식을 실시하는 방법은 정확하지 못한 판단 성능으로 인해 일반화하기 어려운 문제점이 있으며, 이를 해결하기 위한 물리적 기 술이 진보되고는 있지만 인간을 위한 질적인 서비스 기술은 아직까지 미흡하다. Among them, the method of performing emotional recognition based on bio-signals is difficult to generalize due to inaccurate judgment performance, and the physical technology for solving this is advanced, but the quality service technology for humans is still Insufficient
이러한 감성인식 기술은 최근 발전하고 있는 유비쿼터스 시대에 인간을 중심으로 개발되는 장비에 핵심 기술로 활용될 것으로 예상된다. 이에 대응하여 국내외 연구기관 또는 대학 등에서는 감성인식기술에 관련된 연구가 활발히 진행되고 있으며, 이들 감성 인식기술들은 대부분 낮은 정확도를 나타내고 있다. Such emotion recognition technology is expected to be used as a core technology for equipment developed around humans in the ubiquitous era that is developing recently. In response, researches on emotion recognition technology are actively being conducted in domestic and overseas research institutes or universities, and most of these emotion recognition technologies exhibit low accuracy.
한편, 동일한 감성자극에 따른 생리학적 응답신호 역시 모든 사람이 동일하게 나타낼 수 없기 때문에, 보다 정확한 감성인식을 위해서는 개인 사용자에게 최적화될 수 있는 감성인식 알고리즘이 필요한 상황이다. On the other hand, the physiological response signal according to the same emotional stimulus also because everyone can not represent the same, for a more accurate emotional recognition is a situation that requires an emotion recognition algorithm that can be optimized for individual users.
본 발명이 이루고자 하는 기술적 과제는, 맥파(PPG)와 피부 전도도(GSR)를 포함하는 생체신호만을 측정하여, 감성 인식에 필요한 다수의 감성특징변수를 추출하고, 다수의 감성특징변수들 중에서 개인별 최적화를 위해 적합한 감성특징변수들만을 선택적으로 적용하여 개인별 사용자의 감성인식을 위한 특징적인 변수로 사용할 수 있도록 함으로써, 소량의 생체특징 데이터만을 이용하여서도 개인별 사용자에게 최적화된 감성인식 성능을 나타낼 수 있도록 한, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 그 방법을 제공하는자 하는 것이다.The technical problem to be achieved by the present invention is to measure only bio-signals including pulse wave (PPG) and skin conductivity (GSR), extract a plurality of emotional feature variables required for emotion recognition, and optimize each individual among a plurality of emotional feature variables By selectively applying only the appropriate emotional feature variables for use, it can be used as a characteristic variable for individual user's emotional recognition, so that it can show the optimized emotional recognition performance for individual users even using a small amount of bio feature data. To provide a personal optimization system and method of the emotion recognition device using a bio-signal.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 개인별 최적화를 위해 축소 및 선별된 감성특징변수들을 외부 입력에 의한 오류 제거과정을 통해 선택적으로 수정 또는 삭제할 수 있도록 함으로써, 지속적으로 진화 가능한 감성인식 시 스템을 구현할 수 있는, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 그 방법을 제공하는자 하는 것이다.Another technical problem to be achieved by the present invention is to continuously modify or delete the emotional feature variables reduced and selected for the individual optimization through an error elimination process by external input, thereby creating a continuously evolving emotional recognition system It is an object of the present invention to provide an individual optimization system and method for sensibility recognition apparatus using bio-signals that can be implemented.
상술한 목적을 달성하기 위한 본 발명의 일 실시예는, 개인별 사용자의 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 측정부; 상기 측정부에서 측정되는 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식부; 상기 감성인식부에 의해 엑세스되며, 상기 감성인식부를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하는 생체정보 저장부; 상기 감성인식부를 통해 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 표시하는 표시부;를 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템이다.One embodiment of the present invention for achieving the above object is a measuring unit for measuring a bio-signal including a pulse wave (PPG) and skin conductivity (GSR) of the individual user; Extracting a plurality of emotional feature variables for heart rate variability (HRV), respiration, pulse wave velocity (PWV), and tonicity from the bio signals measured by the measurement unit, and evaluates the performance of the extracted plurality of emotional feature variables Emotion recognition unit for recognizing the individual emotional state by the optimized emotional feature variables by performing individual optimization by reducing the individual feature dimension; A biometric information storage unit which is accessed by the emotion recognition unit and collects and stores the personalized emotion characteristic variables and emotion recognition results which are processed and recognized by the emotion recognition unit; And a display unit for displaying the personalized emotion characteristic variables and the emotion recognition result recognized by the emotion recognition unit.
상술한 목적을 달성하기 위한 본 발명의 다른 실시예는, 상기 본 발명 시스템의 구성에 더하여, 상기 감성 인식부에 연결되어, 감성 인식부에 의해 최적화된 감성특징변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신호를 제공하는 오류 수정부;를 더 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화시스템이다.Another embodiment of the present invention for achieving the above object is, in addition to the configuration of the system of the present invention, connected to the emotion recognition unit, the modification or deletion of the emotion characteristic parameters and emotion recognition results optimized by the emotion recognition unit Error correction unit for providing an external input signal for the; further comprising, personal optimization system of the emotion recognition device using a biological signal.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예는, 개인별 사용자로 부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 생체신호 측정단계; 상기 측정된 맥파(PPG), 피부전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 감성인식단계; 상기 감성인식단계를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하고 표시하는 개인별 감성특징 저장 및 표시단계;를 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화방법이다.Another embodiment of the present invention for achieving the above object is a bio-signal measuring step of measuring a bio-signal including a pulse wave (PPG) and skin conductivity (GSR) from the individual user; From the measured pulse wave (PPG), skin conductance (GSR) signal, a plurality of emotional feature variables for heart rate variability (HRV), respiration, pulse wave rate (PWV), tension prediction are extracted, and the extracted plurality of emotional feature variables An emotional recognition step of recognizing the emotional state of the individual by the optimized emotional feature variables by performing individual optimization through performance evaluation and individual feature dimension reduction for each field; An individual optimization method of an individual using a bio-signal, comprising: an individual's emotional feature storage and display step of collecting, storing and displaying an individual's optimized emotional feature variable and an emotional recognition result processed and recognized through the emotional recognition step to be.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예는, 상기 본 발명 방법의 구성에 더하여, 상기 감성인식단계를 통해 처리 및 인식되는 개인별 감성특정변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신호를 제공하는 오류 수정단계;를 더 포함하는, 생체신호를 이용한 감성인식장치의 개인별 최적화방법이다.Another embodiment of the present invention for achieving the above object is, in addition to the configuration of the method of the present invention, the external for modifying or deleting individual emotional specific variables and emotional recognition results processed and recognized through the emotional recognition step Error correction step of providing an input signal; Personal optimization method of the emotional recognition device using a biological signal.
본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화시스템 및 방법에 의하면, 감성인식정보를 활용하여 사용자의 감성상태를 정확히 측정함으로써 의료분야(우울증, 조울증, 만성 스트레스예방), 산업 분야(작업 피로도, 위험사고예방, 졸음운전예방), 교육분야(학습집중도 향상), 오락분야(인터렉티브게임, 가상현실) 등에 있어 제품 및 서비스의 효용성을 높일 수 있는 효과가 있다.According to the individual optimization system and method of the emotional recognition device using the bio-signal according to the present invention, by using the emotional recognition information to accurately measure the emotional state of the user in the medical field (depression, mood swings, chronic stress prevention), industrial field (work Fatigue, dangerous accident prevention, drowsiness driving prevention), education (improving concentration of learning), entertainment (interactive games, virtual reality), etc. can increase the effectiveness of products and services.
이하, 본 발명의 일 실시예에 의한 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다. 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, the configuration and operation according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. The terms or words used in this specification and claims are not to be construed as limiting in their usual or dictionary meanings, and the inventors may properly define the concept of terms in order to best explain their invention in the best way possible. It should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, since the embodiments shown in the specification and the configuration shown in the drawings is only one of the most preferred embodiment of the present invention, it is understood that there may be various equivalents and modifications that can replace them at the time of the present application shall.
도 1은 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화시스템의 일 실시예를 나타낸 블록도로서, 도면에 도시된 바와 같이, 본 발명은 측정부(10), 감성인식부(20), 생체정보 저장부(30), 표시부(40)를 포함하는 감성인식장치의 개인별 최적화시스템, 또는 오류 수정부(50)를 더 포함하는 감성인식장치의 개인별 최적화시스템으로 이루어질 수 있게 된다.1 is a block diagram showing an embodiment of an individual optimization system of an emotion recognition apparatus using a biosignal according to the present invention. As shown in the drawing, the present invention includes a
측정부(10)는 개인별 사용자의 생체신호 즉, 맥파(PPG), 피부전도도(GSR)를 측정하며, 센서부(11)와 전처리부(12)를 포함하여 구성된다.The
센서부(11)는 하나 이상의 센서를 구비하여, 맥파(PPG), 피부전도도(GSR)등의 생체신호를 측정한다. 이 센서부(11)는 감성자극을 위한 시청각 자료를 실험자에게 제공하며, 상기 센서부(11)는 상용제품의 센서를 사용하며 손바닥이나 손가락에 각각의 센서를 부착해 측정하는 것이 바람직하다.The sensor unit 11 includes one or more sensors to measure bio signals such as pulse wave (PPG) and skin conductivity (GSR). The sensor unit 11 provides audiovisual materials for emotional stimulation to the experimenter, and the sensor unit 11 preferably uses a sensor of a commercial product and attaches each sensor to a palm or a finger to measure the sensor.
전처리부(12)는 상기 측정된 생체신호를 증폭하고, 잡음 제거를 위한 필터링을 실시하여 순수 생체신호만을 추출한다.The preprocessor 12 amplifies the measured biosignal and extracts only the pure biosignal by performing filtering to remove noise.
감성인식부(20)는 감성특징 추출부(21)와 특징차원 축소부(22)와 감성판단 인식부(23)를 포함하여 구성되며, 상기 측정부(10)에서 측정되는 생체신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성(각성정도) 예측을 위한 다수의 감성특징변수를 추출하고, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하여 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식한다.The
감성특징 추출부(21)는 상기 측정부(10)에서 측정되는 맥파(PPG) 신호 및 피부 전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성(각 개인별 각성정도) 예측을 위한 다수의 감성특징변수를 추출한다. Emotional
상기 감성특징 추출부(21)에서는 맥파(PPG) 신호의 다운 샘플링(down-sampling)과 미리 지정된 대역(BPF : 예를 들면 0.13~0.48Hz의 주파수 범위)내에서의 필터링 및 퓨리에 변환(fourier transform)을 통해 호흡 예측을 위한 다수의 감성특징변수, 즉 dominant frequency estimation(이하는 'DFE'라 칭함)와 엔트로피를 추출한다.The
또한 상기 감성특징 추출부(21)에서는 맥파(PPG) 신호의 피크(peak)치를 검출하여 그 피크치 검출 결과로부터 심박 변이도(HRV), 혈관의 수축 및 혈압, 맥파속도(PWV) 예측을 위한 다수의 감성특징변수들을 추출한다.In addition, the
심박 변이도(HRV) 예측을 위한 감성특징변수는 HRV 평균(mean), SDNN(standard deviation of the normal-to-normal intervals), RMSSD(root mean square of the successive differences between consecutive NN intervals (HRV time-domain index quantifying the parasympathetic tone)), NN50(number of interval differences of successive NN intervals greater than 50ms), total power, nHF(high frequency band), nLF(low frequency band), LF/HF(radio high/low frequency band) 들이며, 이들 특징변수는 맥파(PPG) 신호의 피크치들 사이의 간격(RR interval)에 대한 주파수 보간(예를 들어 4Hz의 interpolation) 및 시간 영역 분석(time domain HRV), 주파수 영역 분석(frequency domain HRV)을 통해 추출된다.Emotional feature variables for HRV predictions include HRV mean, standard deviation of the normal-to-normal intervals (SDNN), and root mean square of the successive differences between consecutive NN intervals (HRV time-domain). index quantifying the parasympathetic tone), NN50 (number of interval differences of successive NN intervals greater than 50ms), total power, nHF (high frequency band), nLF (low frequency band), LF / HF (radio high / low frequency band These feature variables are frequency interpolation (e.g., interpolation of 4 Hz), time domain HRV, and frequency domain analysis of the RR interval between peaks of a pulse wave (PPG) signal. HRV).
혈관의 수축 및 혈압, 맥파속도(PWV) 예측을 위한 감성특징변수는 평균치와 표준편차 들이며, 이들 특징변수는 맥파(PPG) 신호로부터 검출된 피크 진폭과 맥파속도(PWV)에 대한 표준편차의 예측을 통해 추출된다.Emotional feature variables for the prediction of blood vessel contraction, blood pressure, and pulse wave velocity (PWV) are mean values and standard deviations, and these feature variables are the predictions of the peak amplitude and pulse wave velocity (PWV) detected from pulse wave (PPG) signals. Is extracted through.
또한 상기 감성특징 추출부(21)에서는 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 다수의 감성특징변수들을 추출한다. 이들 특징변수들은 피부전도도(GSR) 신호의 다운 샘플링(down-sampling)과 잡음제거 필터링, 상(phasic) 검출과정을 통한 평균치와 표준편차, 긴장성(yonic) 검출 및 미분과정을 통한 빈도수(fluctuation) 카운트값이다.In addition, the emotional
특징차원 축소부(22)는 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소한다. 여기서 상기 다수의 감성특징변수들에 대한 성능 평가는 순차전방탐색(Sequential Floating Forward Search) 알고리즘을 통해 실시할 수 있으며, 그 결과 평가 성능이 우수한 변수들이 포함되는 영역으로, 개인별 최적화를 위한 특징 차원 축소를 실행한다.The feature dimension reduction unit 22 performs a performance evaluation on the plurality of emotional feature variables to reduce the feature dimension to an area including variables having excellent evaluation performance. In this case, performance evaluation of the plurality of emotional feature variables can be performed through a sequential floating forward search algorithm, and as a result, an area containing variables having excellent evaluation performance is reduced, and the feature dimension for individual optimization is reduced. Run
감성판단 인식부(23)는 상기 특징차원 축소부(22)를 통해 선별된 특징 차원 내의 감성특징변수들을 미리 설정된 감성패턴 인식규칙에 따라 신호 처리하여 각 개인의 현재 감성상태를 판단하고 인식한다. 여기서 상기 선별된 특징 차원 내의 감성특징변수들은 감성패턴 인식규칙에 따라 학습된 신경회로망 알고리즘에 입력신호로 사용되며, 1층 이상의 은닉층을 통해 각 개인별 사용자의 감성상태 판단 결과를 출력으로 발생시킨다. 상기 각 개인에 대한 감성상태는, 예를 들어 두려움, 슬픔, 기쁨, 보통 등으로 구별될 수 있다.The emotional determination recognizer 23 processes the emotional feature variables in the feature dimension selected by the feature dimension reduction unit 22 according to a predetermined emotion pattern recognition rule to determine and recognize the current emotional state of each individual. Here, the emotional feature variables in the selected feature dimension are used as input signals to the neural network algorithm learned according to the emotion pattern recognition rule, and generate an output of the emotional state judgment result of each individual user through one or more hidden layers. The emotional state for each individual may be distinguished, for example, by fear, sadness, joy, or the like.
생체정보 저장부(30)는 상기 감성 인식부(20)에 의해 엑세스되며, 상기 감성인식부(20)를 통해 추출 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장한다.The biometric
표시부(40)는 상기 감성 인식부(20)를 통해 추출 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 표시한다. 이 표시부에서는 상기 인식된 다수의 감성상태에 근거가 되는 생체신호의 변화를 그래프와 수치 및 이미지로 출력하여 표시할 수 있게 된다.The
오류 수정부(50)는 상기 감성 인식부(20)에 연결되어 오류 제거를 위한 외부 사용자와 시스템 간의 인터페이스 수단으로 사용되며, 상기 감성 인식부(20)에 의해 최적화된 감성특징변수 및 감성인식결과의 수정 또는 삭제를 위한 외부 입력신 호를 감성 인식부에 제공한다. 이로써, 상기 개인별 최적화를 위해 축소 및 선별된 감성특징변수들은 외부 입력에 의한 오류 제거과정을 통해 선택적으로 수정 또는 삭제할 수 있게 되므로 지속적으로 진화 가능한 감성인식 시스템의 구현이 가능하게 된다.The
도 2는 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화방법을 설명하기 위하여 예시한 동작 흐름도로서, 생체신호 측정단계(S101,S103), 감성 인식단계(S105-S109), 저장 및 표시단계(S111)를 포함하는 감성인식장치의 개인별 최적화방법, 또는 오류 수정단계(S113-S117)를 더 포함하는 감성인식장치의 개인별 최적화방법으로 이루어질 수 있게 된다.FIG. 2 is a flowchart illustrating an individual optimization method of an emotion recognition device using a biosignal according to the present invention, and includes a biosignal measurement step (S101 and S103) and an emotion recognition step (S105 to S109). The personal optimization method of the emotion recognition device including a step (S111), or the individual optimization method of the emotion recognition device further includes an error correction step (S113-S117).
생체신호 측정단계는, 개인별 사용자로부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정하는 단계(S101)와, 상기 측정된 생체신호를 증폭하고, 잡음 제거를 위한 필터링을 실시하여 생체정보를 전처리하는 단계(S103)를 포함하여 이루어진다.In the biosignal measurement step, a biosignal including pulse wave (PPG) and skin conductivity (GSR) is measured from an individual user (S101), amplifying the measured biosignal, and performing filtering to remove noise. It comprises a step (S103) of pre-processing the biometric information.
감성인식단계는, 상기 측정 및 전처리된 맥파(PPG), 피부전도도(GSR) 신호로부터 심박변이도(HRV), 호흡, 맥파속도(PWV), 긴장성 예측을 위한 다수의 감성특징변수를 추출하는 단계(S105)와, 상기 추출된 다수의 감성특징변수들에 대한 성능 평가 및 개인별 특징 차원 축소를 통해 개인별 최적화를 실시하는 단계(S107)와, 상기 최적화된 감성특징변수들로 개인별 감성상태를 인식하는 단계(S109)를 포함하여 이루어진다.In the emotion recognition step, extracting a plurality of emotional feature variables for predicting heart rate variability (HRV), respiration, pulse wave velocity (PWV), and tension from the measured and preprocessed pulse wave (PPG) and skin conductivity (GSR) signals ( S105), performing personal optimization by performing performance evaluation on the plurality of extracted emotional feature variables and reducing individual feature dimensions (S107), and recognizing the individual emotional state using the optimized emotional feature variables. (S109).
여기서 상기 감성특징변수 추출은 맥파(PPG) 신호 및 피부전도도(GSR) 신호 의 샘플링 및 피크치 검출을 통해 이루어진다. 즉, 맥파(PPG) 신호의 다운 샘플링과 미리 지정된 대역(예를 들어 0.13~0.48Hz 범위의 BPF) 내에서의 필터링 및 퓨리에 변환(fourier transform)을 통해 호흡 예측을 위한 DFE와 엔트로피를 추출한다. 또한 맥파(PPG) 신호의 피크치를 검출한 후 그 피크치들 사이의 간격(RR interval)에 대한 특정 주파수(4Hz) 보간 및 시간 영역 분석을 통해 HRV 평균(mean), SDNN, RMSSD, NN50를 추출하고, 이와 아울러 상기 특정 주파수 보간이 실시된 피크치들 사이의 간격(RR interval)에 대한 주파수 영역 분석을 통해 total power, nHF, nLF, LF/HF 들을 추출한다. 그리고 맥파(PPG) 신호의 피크치 진폭에 대한 표준편차의 예측을 통해 혈관의 수축 및 혈압값 예측을 위한 변수(평균치와 표준편차)를 추출하며, 맥파(PPG) 신호의 피크치의 최대치와 최소치 사이의 간격을 이용하여 맥파속도(PWV) 예측을 위한 변수(평균치와 표준편차)를 추출한다. The emotional feature variable extraction is performed through sampling and peak value detection of a pulse wave (PPG) signal and a skin conductivity (GSR) signal. That is, DFE and entropy for respiratory prediction are extracted through down sampling of the pulse wave (PPG) signal and filtering and Fourier transform in a predetermined band (for example, BPF in the range of 0.13 to 0.48 Hz). In addition, after detecting peak values of the pulse wave (PPG) signal, HRV mean, SDNN, RMSSD, and NN50 are extracted by interpolating and time-domain analysis of a specific frequency (4 Hz) for the interval (RR interval) between the peak values. In addition, total power, nHF, nLF, and LF / HF are extracted through frequency domain analysis of the interval (RR interval) between the peak values subjected to the specific frequency interpolation. The standard deviation of the peak amplitude of the pulse wave (PPG) signal is extracted to extract variables (mean and standard deviation) for predicting blood vessel contraction and blood pressure, and between the maximum and minimum peak values of the pulse wave (PPG) signal. The intervals are used to extract variables (mean and standard deviation) for the prediction of pulse wave velocity (PWV).
또한 피부전도도(GSR) 신호에서는 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 변수(평균치와 표준편차 및 빈도수 등)를 추출한다.In addition, the skin conductance (GSR) signal extracts variables (average value, standard deviation, frequency, etc.) for predicting each individual's arousal degree using the gradient technique and the magnitude of the Y-axis variation.
한편, 개인별 최적화과정에서는 순차전방향탐색(Sequential Floating Forward Search) 알고리즘을 통해 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소하는 과정을 통해 이루어지고, 선별된 특징 차원 내의 감성특징변수들은 미리 설정된 감성패턴 인식규칙에 따라 학습된 신경회로망 알고리즘에 입력되어 각 개인의 현재 감성상태 판단이 이루어진다.On the other hand, in the individual optimization process, the performance evaluation of the plurality of emotional feature variables is performed through a sequential floating forward search algorithm to reduce the feature dimension to an area including variables having excellent evaluation performance. Emotional feature variables in the selected feature dimension are inputted to a neural network algorithm learned according to a predetermined emotion pattern recognition rule to determine the current emotional state of each individual.
개인별 감성특징 저장 및 표시단계는, 상기 감성인식단계를 통해 처리 및 인식되는 개인별 최적화된 감성특징변수 및 감성인식결과를 수집하여 저장하고 표시하는 단계(S111)이다. 이 표시동작은 상기 인식된 다수의 감성상태에 근거가 되는 생체신호의 변화를 그래프와 수치 및 이미지로 출력하여 이루어질 수 있게 된다.The step of storing and displaying an individual emotional feature is a step of collecting, storing and displaying an individual optimized emotional feature variable and an emotional recognition result processed and recognized through the emotional recognition step (S111). The display operation may be performed by outputting a change in a biosignal based on the recognized emotional state as a graph, a numerical value, and an image.
오류 수정단계는, 사용자에 의해 입력되는 외부 신호가 수신되는지를 확인하는 단계(S113)와, 상기 확인 결과 외부 신호가 수신되면 그 입력신호에 따라 상기 개인별 감성특징변수 및 그 인식결과를 수정 또는 삭제하는 단계(S115)와, 상기 개인별 감성특정변수 및 감성인식결과의 수정 또는 삭제 결과를 저장하고 표시하는 단계(S117)를 포함하여 이루어진다.The error correction step may include checking whether an external signal input by the user is received (S113), and when the external signal is received as a result of the checking, correcting or deleting the personal emotional characteristic variable and the recognition result according to the input signal. And a step (S117) of storing and displaying a result of the modification or deletion of the individual emotion-specific variable and the emotion recognition result.
이와 같이 구성되는 본 발명의 개인별 최적화시스템 및 방법의 동작 및 작용효과를 설명하면 다음과 같다.Referring to the operation and effect of the individual optimization system and method of the present invention configured as described above are as follows.
먼저, 측정부(10)에서는 센서부(11)를 통해 사용자로부터 맥파(PPG)와 피부전도도(GSR)를 포함하는 생체신호를 측정(S101)하고, 전처리부(12)를 통해 상기 측정된 생체신호를 소정 레벨 증폭하고, 잡음 제거를 위한 필터링을 실시(S103)하여 순수 생체신호만을 검출한다.First, the
다음으로 감성 인식부(20)에서는 감성특징 추출부(21)를 통해 다수의 감성특징변수들을 추출(S105)한다. 즉 상기 측정부(10)에서 측정 및 전처리된 맥파(PPG)신호의 다운 샘플링과 0.13~0.48Hz 범위의 대역 필터링 및 퓨리에 변환(fourier transform)을 통해 호흡 예측을 위한 DFE와 엔트로피를 추출하고, 맥파(PPG) 신호의 피크치들 사이의 간격(RR interval)에 대한 특정 주파수(4Hz) 보간 및 시간 영 역 분석을 통해 HRV 평균(mean), SDNN, RMSSD, NN50를 추출한다. 이와 아울러 4Hz의 주파수 보간이 실시된 피크치들 사이의 간격(RR interval)에 대한 주파수 영역 분석을 통해 total power, nHF, nLF, LF/HF 들을 추출한다. 또한 맥파(PPG) 신호의 피크치 진폭에 대한 표준편차의 예측을 통해 혈관의 수축 및 혈압값 예측을 위한 변수(평균치와 표준편차)를 추출하며, 맥파(PPG) 신호의 피크치의 최대치와 최소치 사이의 간격을 이용하여 맥파속도(PWV) 예측을 위한 변수(평균치와 표준편차)를 추출한다. 또한 감성 인식부(20)의 감성특징 추출부(21)에서는 피부전도도(GSR) 신호로부터 기울기 기법과 Y축 변이의 크기를 이용하여 각 개인의 각성정도를 예측할 수 있는 변수(평균치와 표준편차 및 빈도수 등)를 추출한다.Next, the
다음으로 감성 인식부(20)는 특징차원 축소부(22)를 통해 개인별 최적화과정을 실시한다. 즉, 순차전방향탐색(Sequential Floating Forward Search) 알고리즘을 통해 상기 다수의 감성특징변수들에 대한 성능 평가를 실시하여 평가 성능이 우수한 변수들이 포함되는 영역으로 특징 차원을 축소(S107)함으로써, 각 개인에게 적합하도록 선별된 특징 차원 내의 감성특징변수들만으로 최적화를 실시한다. 이와 같이 최적화된 감성특징변수들은 감성판단 인식부(23)에 탑재된 신경회로망 알고리즘에 입력되고, 따라서 감성판단 인식부(23)에서는 미리 지정된 감성패턴 인식규칙에 따라 학습된 상기 신경회로망 알고리즘을 통해 각 개인의 현재 감성상태 판단 및 인식결과를 출력할 수 있게 된다.Next, the
이와 같은 감성인식결과 및 상기 개인별 최적화과정을 통해 축소된 특징차원 내의 감성특징변수들은 생체정보 저장부(30)에 수집 및 저장되며, 아울러 상기 인 식된 다수의 감성상태에 근거가 되는 생체신호의 변화는 표시부(40)를 통해 그래프와 수치 및 이미지로 출력된다.The emotion recognition result and the emotional feature variables in the feature dimension reduced through the individual optimization process are collected and stored in the biometric
상기와 같이 생체정보 저장부(30) 및 표시부(40)에 각각 저장되고 표시되는 감성인식결과 및 개인별 최적화과정을 통해 선별된 감성특징변수들은 오류 수정부(50)를 통해 사용자에 의해 입력되는 외부 신호에 의해 수정되거나 또는 삭제될 수 있게 되며, 이에 따라 각 개인별 최적화과정을 통해 선별된 감성특징변수들은 필요에 따라, 또는 각 개인에 적합하지 않은 변수들로 오류가 발생된 경우에도 선택적인 수정 및 오류 제거과정을 통해 지속적으로 진화할 수 있게 된다.As described above, the emotion recognition results stored and displayed in the biometric
아울러 사용자에 의해 수정되거나 삭제된 결과는 또한 생체정보 저장부(30) 및 표시부(40)를 통해 표시(S117)될 수 있게 된다.In addition, the result modified or deleted by the user may also be displayed (S117) through the biometric
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the present invention should be understood only by the claims set forth below, and all equivalent or equivalent modifications thereof will belong to the scope of the present invention.
도 1은 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화시스템의 구성예를 나타낸 블록도이다.1 is a block diagram showing a configuration example of an individual optimization system of the emotion recognition device using a bio-signal according to the present invention.
도 2는 본 발명에 따른 생체신호를 이용한 감성인식장치의 개인별 최적화방법의 구성예를 나타낸 동작 흐름도이다.2 is an operation flowchart showing an example of the configuration of the individual optimization method of the emotion recognition device using a bio-signal according to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
10 : 측정부 11 : 센서부10: measuring unit 11: sensor unit
12 : 전처리부 20 : 감성 인식부12: preprocessing unit 20: emotion recognition unit
21 : 감성특징 추출부 22 : 특징차원 축소부21: emotional feature extraction section 22: feature dimension reduction section
23 : 감성판단 인식부 30 : 생체정보 저장부23: emotional judgment recognition unit 30: biometric information storage unit
40 : 표시부 50 : 오류 수정부40: display unit 50: error correction
Claims (23)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090051264A KR101025510B1 (en) | 2009-06-10 | 2009-06-10 | Personal optimization system of emotional recognition device and its optimization method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090051264A KR101025510B1 (en) | 2009-06-10 | 2009-06-10 | Personal optimization system of emotional recognition device and its optimization method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100132592A KR20100132592A (en) | 2010-12-20 |
KR101025510B1 true KR101025510B1 (en) | 2011-04-04 |
Family
ID=43508162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090051264A Expired - Fee Related KR101025510B1 (en) | 2009-06-10 | 2009-06-10 | Personal optimization system of emotional recognition device and its optimization method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101025510B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086533A1 (en) * | 2015-11-20 | 2017-05-26 | 동국대학교 산학협력단 | Method and system for simulating nui/nux-based vr environment game control |
KR20200061016A (en) * | 2018-11-23 | 2020-06-02 | 와이케이씨테크(주) | Depression Index Estimation Method Using Skin Image |
US10997155B2 (en) | 2018-04-19 | 2021-05-04 | Hyundai Motor Company | Data classification apparatus, vehicle including the same, and control method of the same |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101118276B1 (en) * | 2011-02-24 | 2012-03-20 | 주식회사 메디오피아테크 | Ubiquitous-learning middleware device for generating study emotion index related to study concentration from bio-signal emotion index and context information |
KR101901417B1 (en) | 2011-08-29 | 2018-09-27 | 한국전자통신연구원 | System of safe driving car emotion cognitive-based and method for controlling the same |
KR101338043B1 (en) * | 2012-03-05 | 2013-12-09 | 한국과학기술연구원 | Cognitive Rehabilitation System and Method Using Tangible Interaction |
KR101398059B1 (en) * | 2012-07-04 | 2014-05-30 | 금오공과대학교 산학협력단 | Automatic classification system and method of music mood using feature reduction method of music source based on standard deviation |
CN104434143B (en) * | 2014-11-18 | 2015-08-19 | 西南大学 | A kind of real-time identification method of frightened emotion |
US10405761B2 (en) | 2015-02-24 | 2019-09-10 | Koninklijke Philips N.V. | Device for detecting heart rate and heart rate variability |
JP2019515730A (en) * | 2016-04-18 | 2019-06-13 | マサチューセッツ インスティテュート オブ テクノロジー | Feature extraction from physiological signals |
KR102497299B1 (en) * | 2016-06-29 | 2023-02-08 | 삼성전자주식회사 | Electronic apparatus and method for controlling the electronic apparatus |
KR101952804B1 (en) | 2017-05-16 | 2019-02-27 | 전주대학교 산학협력단 | Emotion recognition interface apparatus |
CN108960022B (en) * | 2017-09-19 | 2021-09-07 | 炬大科技有限公司 | Emotion recognition method and device |
KR102143343B1 (en) * | 2018-05-15 | 2020-08-13 | 연세대학교 원주산학협력단 | Attention/fatigue/drowsiness monitoring system based on autonomic nervous system signal reflecting brain activity |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100464821B1 (en) | 2001-10-23 | 2005-01-17 | 임좌상 | Method for estimating emotion using physiological signal |
KR100493714B1 (en) | 2004-11-26 | 2005-06-02 | 주식회사 메디코아 | Autonomic function analyzer |
KR20070087787A (en) * | 2005-11-29 | 2007-08-29 | 중앙대학교 산학협력단 | Emotion classification system and emotion classification method for classifying emotions in real time through bio signals |
-
2009
- 2009-06-10 KR KR1020090051264A patent/KR101025510B1/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100464821B1 (en) | 2001-10-23 | 2005-01-17 | 임좌상 | Method for estimating emotion using physiological signal |
KR100493714B1 (en) | 2004-11-26 | 2005-06-02 | 주식회사 메디코아 | Autonomic function analyzer |
KR20070087787A (en) * | 2005-11-29 | 2007-08-29 | 중앙대학교 산학협력단 | Emotion classification system and emotion classification method for classifying emotions in real time through bio signals |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017086533A1 (en) * | 2015-11-20 | 2017-05-26 | 동국대학교 산학협력단 | Method and system for simulating nui/nux-based vr environment game control |
US10997155B2 (en) | 2018-04-19 | 2021-05-04 | Hyundai Motor Company | Data classification apparatus, vehicle including the same, and control method of the same |
KR20200061016A (en) * | 2018-11-23 | 2020-06-02 | 와이케이씨테크(주) | Depression Index Estimation Method Using Skin Image |
KR102243017B1 (en) | 2018-11-23 | 2021-04-21 | 와이케이씨테크(주) | Depression Index Estimation Method Using Skin Image |
Also Published As
Publication number | Publication date |
---|---|
KR20100132592A (en) | 2010-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101025510B1 (en) | Personal optimization system of emotional recognition device and its optimization method | |
Karthikeyan et al. | Detection of human stress using short-term ECG and HRV signals | |
CN107106085B (en) | Apparatus and method for sleep monitoring | |
JP6721155B2 (en) | Biological information analysis device, system, and program | |
RU2602797C2 (en) | Method and device for measuring stress | |
Shanmugasundaram et al. | A comprehensive review on stress detection techniques | |
JP6190466B2 (en) | Biological signal measuring instrument and contact state estimation method | |
JP5241598B2 (en) | Psychological state evaluation device | |
CN107788970A (en) | A kind of Mental Workload appraisal procedure based on the fusion of multi-physiological-parameter method | |
CN106178222B (en) | Intelligent sleep assisting method and system based on hypnosis | |
CN112617747B (en) | State estimation device, state estimation method, and storage medium | |
KR102267741B1 (en) | Deep learning based emotional recognition system and methods using PPG signals | |
Sulaiman et al. | Novel methods for stress features identification using EEG signals | |
Ghosh et al. | Annotation and prediction of stress and workload from physiological and inertial signals | |
Park et al. | Individual emotion classification between happiness and sadness by analyzing photoplethysmography and skin temperature | |
CN114027842B (en) | Objective screening system, method and device for depression | |
Ghosh et al. | Detection of essential hypertension with physiological signals from wearable devices | |
CN114391846A (en) | Emotion recognition method and system based on filtering type feature selection | |
CN115120236A (en) | Emotion recognition method and device, wearable device and storage medium | |
JP2008253727A (en) | Monitor device, monitor system and monitoring method | |
Dao et al. | State anxiety biomarker discovery: electrooculography and electrodermal activity in stress monitoring | |
KR102488616B1 (en) | Method for Emotion Evaluation using heart dynamics, and system adopting the method | |
KR20210034458A (en) | Deep neural network based conscious state determination device and method | |
WO2020245583A1 (en) | Physiological signal processing | |
KR101456236B1 (en) | Method for establishing personalized rule base for evaluation of emotional state and apparatus adopting the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20090610 |
|
PA0201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100812 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20101231 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20110322 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20110322 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20140314 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20140314 Start annual number: 4 End annual number: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20160104 Start annual number: 6 End annual number: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170111 Year of fee payment: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20170111 Start annual number: 7 End annual number: 7 |
|
FPAY | Annual fee payment |
Payment date: 20180102 Year of fee payment: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20180102 Start annual number: 8 End annual number: 8 |
|
FPAY | Annual fee payment |
Payment date: 20190722 Year of fee payment: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20190722 Start annual number: 9 End annual number: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20200402 Start annual number: 10 End annual number: 10 |
|
PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20250102 |