[go: up one dir, main page]

KR102476801B1 - 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치 - Google Patents

2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치 Download PDF

Info

Publication number
KR102476801B1
KR102476801B1 KR1020200090896A KR20200090896A KR102476801B1 KR 102476801 B1 KR102476801 B1 KR 102476801B1 KR 1020200090896 A KR1020200090896 A KR 1020200090896A KR 20200090896 A KR20200090896 A KR 20200090896A KR 102476801 B1 KR102476801 B1 KR 102476801B1
Authority
KR
South Korea
Prior art keywords
emg
dimensional
user
spectrogram image
spectrogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200090896A
Other languages
English (en)
Other versions
KR20220011969A (ko
Inventor
반성범
김재명
최규호
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020200090896A priority Critical patent/KR102476801B1/ko
Priority to US17/382,665 priority patent/US11948388B2/en
Publication of KR20220011969A publication Critical patent/KR20220011969A/ko
Application granted granted Critical
Publication of KR102476801B1 publication Critical patent/KR102476801B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법은 (a) 사용자에 대한 1차원 근전도 신호를 획득하는 단계; (b) 상기 획득된 1차원 근전도 신호를 시간 특징 및 주파수 특징을 포함하는 2차원 근전도 스펙트로그램 이미지로 변환하는 단계; 및 (c) 상기 2차원 근전도 스펙트로그램 이미지에 기반하여 상기 사용자를 인식하는 단계;를 포함할 수 있다.

Description

2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치{A method and apparatus for User recognition using 2D EMG spectrogram image}
본 발명은 사용자 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치에 관한 것이다.
과거 생체 신호로 사용자 확인을 위하여 지문, 홍채의 정보를 이용하였다면, 최근에는 사용자 편의성 및 보안성을 기반으로 한 심전도(ECG) 및 뇌파(EEG)를 사용하고 있다.
특히 심전도 신호는 심장의 전기생리학적 요인과 심장의 위치, 크기, 신체적 조건 등에 의해 개인 고유의 특성을 가지고 있기 때문에 위조하기 어려워 관심이 증가하고 있다.
개인 심전도를 이용하여 사용자 확인을 통해 기존 사용자 기기로부터 동일한 서비스를 제공받을 수 있게 된다.
이는 사용자 기기를 다른 외부로부터 개인 정보 유출을 막고 보호하는 역할을 하게 된다. 다만, 이러한 심전도 신호를 이용한 개인 식별에 대한 연구가 진행 중이나, 이에 대한 구체적인 방식의 개발은 미흡한 상황이다.
[특허문헌 1] 한국등록특허 제10-1760441호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 푸리에 트랜스폼 변환의 조절된 윈도우 길이에 대응하는 상기 2차원 근전도 스펙트로그램 이미지를 이용하여 사용자를 인식하기 위한 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법은 (a) 사용자에 대한 1차원 근전도 신호를 획득하는 단계; (b) 상기 획득된 1차원 근전도 신호를 시간 특징 및 주파수 특징을 포함하는 2차원 근전도 스펙트로그램 이미지로 변환하는 단계; 및 (c) 상기 2차원 근전도 스펙트로그램 이미지에 기반하여 상기 사용자를 인식하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 1차원 근전도 신호를 상기 사용자의 하나의 동작에 대한 반복 주기로 분할하는 단계; 상기 분할된 1차원 근전도 신호를 상기 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하는 단계; 및 상기 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 시간 도메인으로 결합된 1차원 근전도 신호를 상기 2차원 근전도 스펙트로그램 이미지로 변환하는 단계;를 포함할 수 있다.
실시예에서, 상기 변환하는 단계는, 상기 시간 도메인으로 결합된 1차원 근전도 신호에 푸리에 트랜스폼(Fourier Transform)을 적용하여, 상기 2차원 근전도 스펙트로그램 이미지로 변환하는 단계; 및 상기 푸리에 트랜스폼의 윈도우 길이를 조절하여, 상기 윈도우 길이에 대응하는 상기 2차원 근전도 스펙트로그램 이미지를 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 (c) 단계는, 상기 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 딥러닝 네트워크에 적용하여 상기 사용자를 인식하는 단계;를 포함할 수 있다.
실시예에서, 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치는 사용자에 대한 1차원 근전도 신호를 획득하는 획득부; 및 상기 획득된 1차원 근전도 신호를 시간 특징 및 주파수 특정을 포함하는 2차원 근전도 스펙트로그램 이미지로 변환하고, 상기 2차원 근전도 스펙트로그램 이미지에 기반하여 상기 사용자를 인식하는 제어부;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 1차원 근전도 신호를 상기 사용자의 하나의 동작에 대한 반복 주기로 분할하고, 상기 분할된 1차원 근전도 신호를 상기 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하며, 상기 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합할 수 있다.
실시예에서, 상기 제어부는, 상기 시간 도메인으로 결합된 1차원 근전도 신호를 상기 2차원 근전도 스펙트로그램 이미지로 변환할 수 있다.
실시예에서, 상기 제어부는, 상기 시간 도메인으로 결합된 1차원 근전도 신호에 푸리에 트랜스폼(Fourier Transform)을 적용하여, 상기 2차원 근전도 스펙트로그램 이미지로 변환하고, 상기 푸리에 트랜스폼의 윈도우 길이를 조절하여, 상기 윈도우 길이에 대응하는 상기 2차원 근전도 스펙트로그램 이미지를 생성할 수 있다.
실시예에서, 상기 제어부는, 상기 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 딥러닝 네트워크에 적용하여 상기 사용자를 인식할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 시간의 흐름에 따라 주파수 성분 분석이 가능한 STFT를 적용하고 파라미터를 변화시키면서 시간 특징 및 주파수 특징을 부각시키는 2차원 근전도 스펙트로그램 이미지를 이용하여 사용자를 보다 정확하게 인식할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법을 도시한 도면이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 1차원 근전도 신호의 결합을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지의 변환을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 푸리에 트랜스폼의 윈도우 길이가 조절된 2차원 근전도 스펙트로그램 이미지를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 딥러닝 네트워크를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법을 도시한 도면이다.
도 1을 참고하면, S101 단계는, 사용자에 대한 1차원 근전도 신호를 획득하는 단계이다.
S103 단계는, 상기 획득된 1차원 근전도 신호를 시간 특징 및 주파수 특징을 포함하는 2차원 근전도 스펙트로그램 이미지로 변환하는 단계이다.
일 실시예에서, 1차원 근전도 신호를 사용자의 하나의 동작에 대한 반복 주기로 분할하고, 상기 분할된 1차원 근전도 신호를 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하며, 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합할 수 있다. 여기서, 시간 도메인은 시간 축(time axis)을 포함할 수 있다.
일 실시예에서, 시간 도메인으로 결합된 1차원 근전도 신호를 2차원 근전도 스펙트로그램 이미지로 변환할 수 있다.
일 실시예에서, 시간 도메인으로 결합된 1차원 근전도 신호에 푸리에 트랜스폼(Fourier Transform)을 적용하여, 2차원 근전도 스펙트로그램 이미지로 변환할 수 있다. 예를 들어, 푸리에 트랜스폼은, STFT(Short Time Fourier Transform)를 포함할 수 있으나, 이에 제한되지 않는다.
또한, 푸리에 트랜스폼의 윈도우 길이를 조절하여, 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 생성할 수 있다.
S105 단계는, 상기 2차원 근전도 스펙트로그램 이미지에 기반하여 상기 사용자를 인식하는 단계이다.
일 실시예에서, 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 딥러닝 네트워크에 적용하여 사용자를 인식할 수 있다. 예를 들어, 딥러닝 네트워크는 CNN(Convolutional Neural Networks)를 포함할 수 있으나, 이에 제한되지 않는다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 1차원 근전도 신호의 결합을 도시한 도면이다.
도 2a 내지 2c를 참고하면, 근전도 신호의 한 주기는 해당 동작을 수행할 때 발생하는 신호로 사용하는 근육에 따라 서로 다른 신호 패턴이 발생하며, 사용자마다 근육 발달 정도와 활성도가 다르기 때문에 개인의 고유한 생체 정보가 포함되어 있다.
이에, 일 실시예에서, 1차원 근전도 신호(210)를 사용자의 하나의 동작에 대한 반복 주기로 분할할 수 있다. 여기서, 반복 주기는, 사용자가 하나의 동작을 한번 수행하는 주기를 포함할 수 있다. 즉, 1차원 근전도 신호(210)가 사용자의 하나의 동작이 다수회 반복되는 경우의 1차원 근전도 신호를 포함하는 경우, 1차원 근전도 신호(210)를 하나의 동작을 한번 수행하는 주기로 분할할 수 있다.
또한, 일 실시예에서, 상기 분할된 1차원 근전도 신호(220)를 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리할 수 있다.
즉, 반복 주기로 분할된 1차원 근전도 신호(220)는 적어도 하나의 근육 각각에 해당하는 근전도 신호를 포함하기 때문에, 적어도 하나의 근육 각각에 대하여 1차원 근전도 신호(220)를 분리할 수 있다.
또한, 일 실시예에서, 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합할 수 있다. 일 실시예에서, 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호 각각을 시간 도메인에 대하여 순차적으로 배열할 수 있다.
이후, 상기 시간 도메인으로 결합된 1차원 근전도 신호(230)를 2차원 근전도 스펙트로그램 이미지로 변환할 수 있다. 이에 대한 상세한 내용은 아래 도 3 및 4에서 상세히 설명된다.
즉, 본 발명에 따르면, 1차원 근전도 신호를 근전도 한 주기로 분할하고, 분할된 근전도 신호는 각 근육의 정보를 모두 이용하기 위해 시간 도메인에서 각 채널의 신호를 모두 결합할 수 있다.
도 3은 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지(310)의 변환을 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 푸리에 트랜스폼의 윈도우 길이가 조절된 2차원 근전도 스펙트로그램 이미지를 도시한 도면이다.
도 3을 참고하면, 시간 도메인으로 결합된 1차원 근전도 신호(230)를 상기 2차원 근전도 스펙트로그램 이미지(310)로 변환할 수 있다.
일 실시예에서, 시간 도메인으로 결합된 1차원 근전도 신호(230)에 STFT 변환을 적용하여, 2차원 근전도 스펙트로그램 이미지(310)로 변환할 수 있다.
예를 들어, STFT 변환 식은 하기 <수학식 1>과 같이 나타낼 수 있다.
Figure 112020076479931-pat00001
여기서, x(t)는 입력 신호, w(t)는 윈도우 함수, R은 윈도우 길이, w는 각 주파수, s는 스펙트로그램 값을 나타낸다.
도 4를 참고하면, STFT의 윈도우 길이(R)를 조절하여, 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지(410)를 생성할 수 있다. 즉, STFT의 윈도우 길이를 조절하여 시간 특징 및 주파수 특징을 부각시키는 파라미터를 산출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 딥러닝 네트워크를 도시한 도면이다.
도 5를 참고하면, 각 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지(410)를 CNN 네트워크(500)의 입력으로 사용할 수 있다. 이에, CNN 네트워크(500)의 결과값으로서 사용자의 인식 결과를 산출할 수 있다.
예를 들어, 각 윈도우 길이에 따른 2차원 근전도 스펙트로그램 이미지(410)을 이용한 사용자 인식 결과는 하기 <표 1>과 같이 나타낼 수 있다.
윈도우 길이
피험자 수		 64 128 256 512
10명 96% 96.4% 96.4% 95.4%
20명 95% 95.9% 96.2% 94.2%
30명 94% 95.7% 95.9% 95.3%
40명 93.8% 94.8% 95.4% 93%
즉, 상기 <표 1>을 참고하면, 스펙트로그램 파라미터에 따라 사용자 인식 성능이 변화하고 윈도우 길이가 256일 때 사용자 인식 성능이 최대임을 확인할 수 있다.
이후, 최적의 윈도우 길이를 산출한 후, 해당 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 CNN 네트워크(500)에 적용하여 사용자를 인식할 수 있다.
도 6은 본 발명의 일 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치(600)의 기능적 구성을 도시한 도면이다.
도 6을 참고하면, 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치(600)는 획득부(610), 제어부(620) 및 저장부(630)를 포함할 수 있다.
획득부(610)는 사용자에 대한 1차원 근전도 신호를 획득할 수 있다. 일 실시예에서, 획득부(610)는 근전도 신호 센서 모듈을 포함할 수 있다. 일 실시예에서, 획득부(610)는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 획득부(610)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.
제어부(620)는 1차원 근전도 신호를 시간 특징 및 주파수 특징을 포함하는 2차원 근전도 스펙트로그램 이미지로 변환할 수 있다. 또한, 제어부(620)는 2차원 근전도 스펙트로그램 이미지에 기반하여 사용자를 인식할 수 있다.
일 실시예에서, 제어부(620)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(620)는 CP(communication processor)라 지칭될 수 있다. 제어부(620)는 본 발명의 다양한 실시예에 따른 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치(600)의 동작을 제어할 수 있다.
저장부(630)는 1차원 근전도 신호 및 2차원 근전도 스펙트로그램 이미지 중 적어도 하나를 저장할 수 있다. 일 실시예에서, 저장부(630)는 딥러닝 네트워크를 저장할 수 있다.
일 실시예에서, 저장부(630)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(630)는 제어부(620)의 요청에 따라 저장된 데이터를 제공할 수 있다.
도 6을 참고하면, 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치(600)는 획득부(610), 제어부(620) 및 저장부(630)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치(600)는 도 6에 설명된 구성들이 필수적인 것은 아니어서, 도 6에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
210: 1차원 근전도 신호
220: 분할된 1차원 근전도 신호
230: 결합된 1차원 근전도 신호
310: 2차원 근전도 스펙트로그램 이미지
410: 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지
500: CNN 네트워크
600: 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치
610: 획득부
620: 제어부
630: 저장부

Claims (10)

  1. 사용자 인식 장치의 동작 방법에 있어서,
    상기 사용자 인식 장치의 획득부에 의해, 사용자에 대한 1차원 근전도 신호를 획득하는 단계;
    상기 사용자 인식 장치의 제어부에 의해, 상기 1차원 근전도 신호를 상기 사용자의 하나의 동작에 대한 반복 주기로 분할하는 단계;
    상기 제어부에 의해, 상기 분할된 1차원 근전도 신호를 상기 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하는 단계;
    상기 제어부에 의해, 상기 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합하는 단계;
    상기 제어부에 의해, 상기 시간 도메인으로 결합된 1차원 근전도 신호에 푸리에 트랜스폼(Fourier Transform)을 적용하여, 2차원 근전도 스펙트로그램 이미지로 변환하는 단계;
    상기 제어부에 의해, 상기 푸리에 트랜스폼의 윈도우 길이의 조절을 통해 상기 2차원 근전도 스펙트로그램 이미지의 시간 특징 및 주파수 특징에 대한 파라미터를 조절하여, 상기 윈도우 길이에 대응하는 상기 2차원 근전도 스펙트로그램 이미지를 생성하는 단계; 및
    상기 제어부에 의해, 상기 2차원 근전도 스펙트로그램 이미지를 입력으로 딥러닝 네트워크에 적용하여 상기 사용자를 인식하는 단계;
    를 포함하는,
    2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 시간 도메인으로 결합하는 단계는,
    상기 제어부에 의해, 상기 1차원 근전도 신호를 상기 사용자의 하나의 동작에 대한 반복 주기로 분할하는 단계;
    상기 제어부에 의해, 상기 분할된 1차원 근전도 신호를 상기 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하는 단계; 및
    상기 제어부에 의해, 상기 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합하는 단계;
    를 포함하는,
    2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치의 동작 방법.


  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 사용자를 인식하는 단계는,
    상기 제어부에 의해, 상기 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 상기 딥러닝 네트워크에 적용하여 상기 사용자를 인식하는 단계;
    를 포함하는,
    2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치의 동작 방법.
  6. 사용자에 대한 1차원 근전도 신호를 획득하는 획득부; 및
    상기 1차원 근전도 신호를 상기 사용자의 하나의 동작에 대한 반복 주기로 분할하고,
    상기 분할된 1차원 근전도 신호를 상기 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하고,
    상기 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합하고,
    상기 시간 도메인으로 결합된 1차원 근전도 신호에 푸리에 트랜스폼(Fourier Transform)을 적용하여, 2차원 근전도 스펙트로그램 이미지로 변환하고,
    상기 푸리에 트랜스폼의 윈도우 길이의 조절을 통해 상기 2차원 근전도 스펙트로그램 이미지의 시간 특징 및 주파수 특징에 대한 파라미터를 조절하여, 상기 윈도우 길이에 대응하는 상기 2차원 근전도 스펙트로그램 이미지를 생성하고,
    상기 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 입력으로 딥러닝 네트워크에 적용하여 상기 사용자를 인식하는 제어부;
    를 포함하는,
    2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 1차원 근전도 신호를 상기 사용자의 하나의 동작에 대한 반복 주기로 분할하고,
    상기 분할된 1차원 근전도 신호를 상기 사용자의 하나의 동작에 사용되는 적어도 하나의 근육 각각에 대해 분리하며,
    상기 적어도 하나의 근육 각각에 대해 분리된 1차원 근전도 신호를 시간 도메인으로 결합하는,
    2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치.
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 제어부는,
    상기 윈도우 길이에 대응하는 2차원 근전도 스펙트로그램 이미지를 상기 딥러닝 네트워크에 적용하여 상기 사용자를 인식하는,
    2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 장치.
KR1020200090896A 2020-07-22 2020-07-22 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치 Active KR102476801B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200090896A KR102476801B1 (ko) 2020-07-22 2020-07-22 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치
US17/382,665 US11948388B2 (en) 2020-07-22 2021-07-22 Method and apparatus for user recognition using 2D EMG spectrogram image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200090896A KR102476801B1 (ko) 2020-07-22 2020-07-22 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220011969A KR20220011969A (ko) 2022-02-03
KR102476801B1 true KR102476801B1 (ko) 2022-12-09

Family

ID=79688318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200090896A Active KR102476801B1 (ko) 2020-07-22 2020-07-22 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US11948388B2 (ko)
KR (1) KR102476801B1 (ko)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280503B2 (en) * 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
US9155487B2 (en) * 2005-12-21 2015-10-13 Michael Linderman Method and apparatus for biometric analysis using EEG and EMG signals
KR101307515B1 (ko) * 2010-08-23 2013-09-12 인제대학교 산학협력단 생체 신호 인식 장치 및 그 방법
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
CN203252647U (zh) * 2012-09-29 2013-10-30 艾利佛公司 用于判定生理特征的可佩带的设备
US9880632B2 (en) * 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
KR101797907B1 (ko) * 2015-07-08 2017-11-15 조선대학교산학협력단 생체 정보 측정 센서 및 이를 포함하는 의류
US9585581B1 (en) * 2015-09-30 2017-03-07 Daqri, Llc Real-time biometric detection of oscillatory phenomena and voltage events
KR101760441B1 (ko) 2015-11-30 2017-07-25 조선대학교산학협력단 심전도 정점 주기를 이용한 개인 식별 장치 및 그 방법
US20190025919A1 (en) * 2017-01-19 2019-01-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in an augmented reality system
KR102322683B1 (ko) * 2017-03-20 2021-11-08 삼성전자 주식회사 생체 정보의 위조를 식별하기 위한 전자 장치 및 방법
KR102006182B1 (ko) * 2017-10-11 2019-08-01 조선대학교산학협력단 자전거 운전자의 생체 신호 모니터링 장치, 방법 및 컴퓨터로 독출 가능한 기록 매체
WO2020096553A1 (en) * 2018-11-07 2020-05-14 Firat Universitesi Rektorlugu A method of creating a personal bioelectric id (password) with hand movements of person and identification of behavioral biometric based person with emg signals
US10905383B2 (en) * 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
KR102258726B1 (ko) * 2019-08-12 2021-06-01 (주)허니냅스 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법
KR102251388B1 (ko) * 2019-08-12 2021-05-12 (주)허니냅스 딥러닝을 이용한 수면질환 판정 자동화 장치 및 그 동작 방법
KR102278069B1 (ko) * 2019-10-22 2021-07-14 조선대학교산학협력단 근전도 신호 기반 사용자 인증 장치 및 인증 방법

Also Published As

Publication number Publication date
KR20220011969A (ko) 2022-02-03
US11948388B2 (en) 2024-04-02
US20220027617A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
Uwaechia et al. A comprehensive survey on ECG signals as new biometric modality for human authentication: Recent advances and future challenges
KR102299819B1 (ko) 생체 신호를 이용한 사용자 인증 방법 및 장치
Khan et al. Multiclass EEG motor-imagery classification with sub-band common spatial patterns
Fratini et al. Individual identification via electrocardiogram analysis
CN105787420B (zh) 用于生物认证的方法、装置以及生物认证系统
Agrafioti et al. Heart biometrics: Theory, methods and applications
JP4217646B2 (ja) 認証方法及び認証装置
Bashar et al. Human identification from brain EEG signals using advanced machine learning method EEG-based biometrics
Seha et al. Human recognition using transient auditory evoked potentials: a preliminary study
US20210173482A1 (en) Asymmetric eeg-based coding and decoding method for brain-computer interfaces
CN108334766B (zh) 电子装置、解锁方法及相关产品
Thomas et al. Biometric identification of persons using sample entropy features of EEG during rest state
Khan et al. Biometric authentication based on EMG signals of speech
KR102635606B1 (ko) 거리 학습을 이용한 사용자간 유사도 반영 특징 추출 기반의 사용자 독립적 뇌-컴퓨터 인터페이스 장치 및 이를 이용한 태스크 분류 방법
KR101760441B1 (ko) 심전도 정점 주기를 이용한 개인 식별 장치 및 그 방법
Choi et al. Earppg: Securing your identity with your ears
KR102476801B1 (ko) 2차원 근전도 스펙트로그램 이미지를 이용한 사용자 인식 방법 및 장치
KR102630840B1 (ko) 근전도 신호 기반 인식 정보 추출 시스템과 이를 이용한 근전도 신호 기반 인식 정보 추출 방법
KR20230143407A (ko) 심전도와 근전도를 이용한 사용자 식별 방법
Conroy et al. Heart id: Biometric identification using wearable mimo rf heart sensors
Kim et al. User Recognition System Based on Spectrogram Image Conversion Using EMG Signals.
Shahid et al. A survey on AI-based ECG, PPG, and PCG signals based biometric authentication system
Maiorana et al. EEG-based biometric recognition using EigenBrains
US20220405370A1 (en) User authentication apparatus and method using brainwave signal according to imagined speech
KR102517787B1 (ko) 심전도 신호의 분할을 통한 개인식별 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200722

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220120

Patent event code: PE09021S01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220819

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20220120

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220819

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20220420

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20221201

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20221122

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220819

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20220420

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration