[go: up one dir, main page]

KR102564855B1 - 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법 - Google Patents

표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법 Download PDF

Info

Publication number
KR102564855B1
KR102564855B1 KR1020180002105A KR20180002105A KR102564855B1 KR 102564855 B1 KR102564855 B1 KR 102564855B1 KR 1020180002105 A KR1020180002105 A KR 1020180002105A KR 20180002105 A KR20180002105 A KR 20180002105A KR 102564855 B1 KR102564855 B1 KR 102564855B1
Authority
KR
South Korea
Prior art keywords
speech
facial expression
model
map
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180002105A
Other languages
English (en)
Other versions
KR20190093714A (ko
Inventor
유병인
곽영준
김영성
이서형
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180002105A priority Critical patent/KR102564855B1/ko
Priority to CN201811183633.5A priority patent/CN110020580B/zh
Priority to EP18208336.0A priority patent/EP3509011B1/en
Priority to JP2018230089A priority patent/JP7097801B2/ja
Priority to US16/225,084 priority patent/US10885317B2/en
Publication of KR20190093714A publication Critical patent/KR20190093714A/ko
Application granted granted Critical
Publication of KR102564855B1 publication Critical patent/KR102564855B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

표정 인식 장치 및 방법, 표정 트레이닝 장치 및 방법이 제공된다. 표정 인식 장치는 발화 모델에 기초하여 객체의 각 부분에 대해 발화와 연관된 정도를 나타내는 발화 맵을 생성할 수 있고, 표정 모델에 기초하여 표정과 연관된 표정 특징을 추출할 수 있으며, 발화 맵 및 표정 특징에 기초하여 객체의 표정을 인식할 수 있다. 표정 트레이닝 장치는 상술한 표정 모델 및 발화 모델을 트레이닝시킬 수 있다.

Description

표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법{DEVICE AND METHOD TO RECOGNIZE OBJECT AND FACE EXPRESSION, AND DEVICE AND METHOD TO TRAIN OBEJCT AND FACE EXPRESSION ROBUST TO FACIAL CHANGE}
이하, 표정 변화에 강인하도록 객체 및 표정을 인식하는 기술이 제공된다.
최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위하여, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링 한 인공 뉴럴 네트워크(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공 뉴럴 네트워크는 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공 뉴럴 네트워크는 입력 패턴과 출력 패턴들 사이의 사상(mapping)을 생성할 수 있고, 이러한 사상을 생성하는 능력은 인공 뉴럴 네트워크의 학습 능력이라고 표현된다. 또한, 인공 뉴럴 네트워크는 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가진다.
일 실시예에 따른 발화(speech)에 기초한 표정 인식 방법은 객체(object)를 포함하는 객체 이미지(object image)를 획득하는 단계; 발화 모델(speech model)에 기초하여, 상기 객체 이미지로부터 발화 맵(speech map)을 추출하는 단계; 표정 모델에 기초하여, 상기 객체 이미지로부터 표정 특징을 추출하는 단계; 및 상기 표정 특징 및 상기 발화 맵에 기초하여, 상기 객체의 표정을 인식하는 단계를 포함할 수 있다.
상기 객체의 표정을 인식하는 단계는, 상기 발화 맵에 기초하여 상기 표정 특징 중 발화와 연관된 특징에 대응하는 값을 감소시키는 단계; 및 상기 발화 맵에 기초하여 상기 표정 특징 중 발화와 연관되지 않은 특징에 대응하는 값을 증가시키는 단계를 포함할 수 있다.
상기 발화 맵을 추출하는 단계는, 상기 발화 모델에 기초하여, 상기 객체 이미지의 영역 별로 발화와 연관된 정도에 따라 가중치를 결정함으로써 상기 발화 맵을 생성하는 단계를 포함할 수 있다.
상기 발화 맵을 생성하는 단계는, 상기 발화 모델에 기초하여, 상기 객체 이미지의 대상 영역(target area)이 발화와 연관된 정도가 클수록 상기 대상 영역에 대해 높은 가중치를 결정하는 단계; 및 상기 발화 모델에 기초하여 상기 객체 이미지의 대상 영역이 발화와 연관된 정도가 작을수록 상기 대상 영역에 대해 낮은 가중치를 결정하는 단계를 포함할 수 있다.
상기 객체의 표정을 인식하는 단계는, 상기 발화 맵을 반전(inverse)시키는 단계; 및 상기 반전된 발화 맵 및 상기 표정 특징에 기초하여 상기 객체의 표정을 인식하는 단계를 포함할 수 있다.
상기 발화 맵을 반전시키는 단계는, 미리 결정된 최대 값으로부터 상기 발화 맵의 값들을 차감함으로써, 상기 발화 맵을 반전시키는 단계를 포함할 수 있다.
상기 발화 맵을 추출하는 단계는, 상기 발화 모델에 기초하여, 상기 객체 이미지로부터 상기 객체의 발화에 대응하는 부분을 지시하는 발화 특징 벡터를 추출하는 단계를 포함하고, 상기 표정 특징을 추출하는 단계는, 상기 표정 모델에 기초하여, 상기 객체 이미지로부터 상기 객체의 표정에 대응하는 부분을 지시하는 표정 특징 벡터를 추출하는 단계를 포함할 수 있다.
상기 객체의 표정을 인식하는 단계는, 상기 발화 특징 벡터를 반전시켜서 반전 벡터를 생성하는 단계; 상기 반전 벡터를 상기 표정 특징 벡터에 적용하여 대상 벡터(target vector)를 생성하는 단계; 및 상기 대상 벡터에 기초하여 상기 객체의 표정을 식별하는 단계를 포함할 수 있다.
상기 대상 벡터에 기초하여 상기 객체의 표정을 식별하는 단계는, 상기 대상 벡터로부터, 복수의 표정 레이블들(face expression labels) 중 상기 객체의 표정에 대응하는 표정 레이블을 결정하는 단계를 포함할 수 있다.
상기 대상 벡터에 기초하여 상기 객체의 표정을 식별하는 단계는, 상기 대상 벡터를 정규화함으로써, 정규화된 벡터를 생성하는 단계; 및 상기 정규화된 벡터에 기초하여 상기 객체의 표정을 식별하는 단계를 포함할 수 있다.
상기 객체의 표정을 인식하는 단계는, 상기 객체의 음성 신호를 표정 인식으로부터 배제하는 단계를 포함할 수 있다.
상기 객체 이미지를 획득하는 단계는, 상기 객체와 연관된, 복수의 연속된 프레임 이미지들을 포함하는 입력 이미지를 획득하는 단계; 및 상기 복수의 프레임 이미지들 중 하나의 프레임 이미지를 순차적으로 상기 객체 이미지로 선택하는 단계를 포함하고, 상기 객체의 표정을 인식하는 단계는, 상기 복수의 프레임 이미지들의 각각에 대하여 순차적으로 상기 객체의 표정을 인식하는 단계를 포함할 수 있다.
상기 객체와 연관된 음성 신호를 획득하는 단계를 더 포함하고, 상기 발화 맵을 추출하는 단계는, 상기 음성 신호에 더 기초하여, 상기 객체 이미지로부터 상기 발화 맵을 추출하는 단계를 포함할 수 있다.
일 실시예에 따른 발화에 기초한 객체 인식 방법은, 객체를 포함하는 객체 이미지를 획득하는 단계; 발화 모델에 기초하여, 상기 객체 이미지로부터 발화 맵을 추출하는 단계; 객체 모델에 기초하여, 상기 객체 이미지로부터 객체 특징을 추출하는 단계; 및 상기 객체 특징 및 상기 발화 맵에 기초하여, 상기 객체를 인식하는 단계를 포함할 수 있다.
일 실시예에 따른 발화에 기초한 표정 트레이닝 방법은 기준 이미지(reference image) 및 기준 표정(reference face expression)을 획득하는 단계; 및 객체 이미지로부터 표정 특징을 추출하는 표정 모델 및 상기 객체 이미지로부터 발화 맵을 추출하는 발화 모델에 기초하여, 프로세서가 상기 기준 이미지로부터 상기 기준 표정을 출력하도록, 상기 표정 모델의 파라미터 및 상기 발화 모델의 파라미터를 트레이닝시키는 단계를 포함할 수 있다.
상기 기준 이미지 및 상기 기준 표정을 획득하는 단계는, 상기 기준 이미지에 대응하는 기준 음성을 더 획득하는 단계를 포함하고, 상기 트레이닝시키는 단계는, 상기 발화 모델에 기초하여 상기 기준 이미지로부터 추출된, 발화 맵으로부터 음성 정보를 복원하는 단계; 및 상기 복원된 음성 정보 및 상기 기준 음성 간의 발화 손실을 최소화함으로써 상기 발화 모델을 트레이닝시키는 단계를 포함할 수 있다.
상기 트레이닝시키는 단계는, 상기 표정 모델 및 상기 발화 모델에 기초하여 상기 기준 이미지로부터 인식되는 표정 및 상기 기준 표정 간의 표정 손실을 최소화함으로써 상기 표정 모델을 트레이닝시키는 단계를 포함할 수 있다.
상기 트레이닝시키는 단계는, 상기 표정 모델에 기초하여 상기 기준 이미지로부터 추출된 표정 특징에 상기 발화 모델에 기초하여 상기 기준 이미지로부터 추출된 발화 맵을 적용하는 단계; 및 상기 발화 맵이 적용된 표정 특징에 기초하여 결정된 표정 레이블 및 상기 기준 표정에 대응하는 레이블 간의 표정 손실을 최소화하는 단계를 더 포함할 수 있다.
상기 발화 맵을 적용하는 단계는, 상기 기준 이미지로부터 추출된 발화 맵을 반전시킨, 반전된 발화 맵을 상기 기준 이미지로부터 추출된 표정 특징에 반영하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 모델의 예시를 설명하는 도면이다.
도 2는 일 실시예에 따른 발화에 기초한 표정 변화를 설명하는 도면이다.
도 3a는 일 실시예에 따른 발화에 기초한 표정 인식 방법을 설명하는 흐름도이다.
도 3b는 일 실시예에 따른 발화에 기초한 객체 인식 방법을 설명하는 흐름도이다.
도 4는 일 실시예에 따른 표정 모델 및 발화 모델에 기초한 표정 인식 과정을 설명하는 도면이다.
도 5a는 일 실시예에 따른 표정 특징 및 발화 특징에 기초한 표정 인식을 설명하는 도면이다.
도 5b는 일 실시예에 따른 객체 특징 및 발화 특징에 기초한 표정 인식을 설명하는 도면이다.
도 6a는 일 실시예에 따른 발화에 기초한 표정 인식 장치를 설명하는 블록도이다.
도 6b는 일 실시예에 따른 발화에 기초한 객체 인식 장치를 설명하는 블록도이다.
도 7은 일 실시예에 따른 표정 모델 및 발화 모델에 기초하여 표정 인식 결과를 출력하는 과정을 설명하는 도면이다.
도 8은 일 실시예에 따른 발화에 기초한 표정 트레이닝 방법을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 발화에 기초한 표정 트레이닝 장치를 설명하는 블록도이다.
도 10은 일 실시예에 따른 표정 모델 및 발화 모델을 트레이닝시키는 과정을 설명하는 도면이다.
도 11 및 도 12는 일 실시예에 따른 표정 인식 장치의 예시를 설명하는 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 모델의 예시를 설명하는 도면이다.
일 실시예에 따르면 표정 모델, 객체 모델 및 발화 모델은 뉴럴 네트워크(100)를 포함할 수 있다. 뉴럴 네트워크(100)에 기초하여, 표정 인식을 수행하는 방법 및 그 방법을 수행하는 장치(이하, 표정 인식 장치)가 제안되고, 해당 뉴럴 네트워크(100)를 트레이닝시키는 방법 및 장치(이하, 표정 트레이닝 장치)가 제안될 수 있다. 본 명세서에서, 인식(recognition)은 검증(verification) 및 식별(identification)을 포함할 수 있다. 검증은 입력 데이터가 참인지 거짓인지를 판단하는 동작을 나타낼 수 있고, 식별은 복수의 레이블들 중 입력 데이터가 지시하는 레이블(label)을 판단하는 동작을 나타낼 수 있다.
우선, 일 실시예에 따른 표정 인식을 설명하기에 앞서 뉴럴 네트워크(100)의 개략적인 구조에 대해 하기와 같이 설명한다.
일 실시예에 따르면 뉴럴 네트워크(100)는 복수의 노드들로 구성되는 복수의 레이어들을 포함할 수 있다. 또한, 뉴럴 네트워크(100)는 복수의 레이어들의 각각에 포함된 복수의 노드들을 다른 레이어에 포함된 노드에 연결시키는 연결 가중치들을 포함할 수 있다. 표정 트레이닝 장치는 뉴럴 네트워크(100)를 메모리에 저장된 내부 데이터베이스로부터 획득하거나, 통신부를 통해 외부 서버로부터 수신하여 획득할 수 있다.
예를 들어, 뉴럴 네트워크(100)는 연결선(edge)으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 인식 모델을 나타낼 수 있다. 뉴럴 네트워크(100)는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 뉴럴 네트워크(100)는 인공(artificial) 뉴럴 네트워크라고 지칭될 수 있다.
뉴럴 네트워크(100)는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들을 이용한다. 인공 뉴런은 노드(node)라고 지칭될 수 있다. 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 연결 가중치는 연결선이 갖는 특정한 값으로, 시냅스 가중치(synapse weight) 또는 연결 강도라고 지칭될 수 있다.
뉴럴 네트워크(100)는 복수의 레이어들을 포함할 수 있다. 예를 들어, 뉴럴 네트워크(100)는 입력 레이어(input layer)(110), 히든 레이어(hidden layer)(120), 출력 레이어(output layer)(130)을 포함할 수 있다. 입력 레이어(110)는 트레이닝 또는 인식을 수행하기 위한 입력을 수신하여 히든 레이어(120)에 전달할 수 있고, 출력 레이어(130)는 히든 레이어(120)로부터 수신한 신호에 기초하여 뉴럴 네트워크(100)의 출력을 생성할 수 있다. 히든 레이어(120)는 입력 레이어(110)와 출력 레이어(130) 사이에 위치하고, 입력 레이어(110)를 통해 전달된 트레이닝 데이터의 트레이닝 입력을 예측하기 쉬운 값으로 변화시킬 수 있다.
입력 레이어(110), 히든 레이어(120) 및 출력 레이어(130)는 복수 개의 노드들을 포함할 수 있다. 입력 레이어(110)에 포함된 노드는 입력 노드(input node)라고 지칭되고, 히든 레이어(120)에 포함된 노드는 히든 노드(hidden node)라고 지칭되며, 출력 레이어(130)에 포함된 노드는 출력 노드(output node)라고 지칭될 수 있다.
입력 레이어(110)에 포함된 입력 노드들과 히든 레이어(120)에 포함된 히든 노드들은 연결 가중치를 가지는 연결선들을 통해 서로 연결될 수 있다. 히든 레이어(120)에 포함된 히든 노드들과 출력 레이어(130)에 포함된 출력 노드들은 연결 가중치를 가지는 연결선들을 통해 서로 연결될 수 있다.
도면에 도시하지 않았으나, 뉴럴 네트워크는 복수 개의 히든 레이어들을 포함할 수 있다. 복수 개의 히든 레이어들을 포함하는 뉴럴 네트워크는 깊은 뉴럴 네트워크(deep neural network)라고 지칭될 수 있다. 깊은 뉴럴 네트워크를 학습시키는 것은 깊은 학습(deep learning)이라고 지칭될 수 있다. 히든 레이어(120)에 제1 히든 레이어, 제2 히든 레이어, 및 제3 히든 레이어가 포함되는 경우를 가정하면, 제1 히든 레이어에 속한 히든 노드의 출력은 제2 히든 레이어에 속한 히든 노드들에 연결될 수 있다. 제2 히든 레이어에 속한 히든 노드의 출력은 제3 히든 레이어에 속한 히든 노드들에 연결될 수 있다.
예를 들어, 표정 트레이닝 장치 및 표정 인식 장치는, 각 히든 레이어에 이전 히든 레이어에 포함된 이전 히든 노드들의 출력들을 연결 가중치를 가지는 연결선들을 통해 입력할 수 있고, 이전 히든 노드들의 출력들에 연결 가중치가 적용된 값들 및 활성화 함수에 기초하여 히든 레이어에 포함된 히든 노드들의 출력을 생성할 수 있다. 일 예시에 따르면, 다음 히든 노드로 출력를 발화하기 위하여, 활성화 함수의 결과는 현재 히든 노드의 임계 값을 초과해야 한다. 이 경우, 노드는 입력 벡터들을 통하여 특정 임계 활성화 강도에 도달하기 전에는 다음 노드로 신호를 발화하지 않고, 비활성화 상태를 유지할 수 있다.
일 실시예에 따른 표정 트레이닝 장치는 감독 학습(supervised learning)을 통해 뉴럴 네트워크(100)를 트레이닝시킬 수 있다. 표정 트레이닝 장치는 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 조합으로 구현될 수 있다. 감독 학습은 트레이닝 데이터의 트레이닝 입력 그에 대응하는 트레이닝 출력을 함께 뉴럴 네트워크(100)에 입력하고, 트레이닝 데이터의 트레이닝 출력에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 기법이다. 트레이닝 데이터는 트레이닝 입력 및 트레이닝 출력의 쌍을 포함하는 데이터이다. 도 1은 뉴럴 네트워크의 구조를 노드 구조로 표현하였으나, 실시예들은 이러한 노드 구조에 국한되지 않는다. 메모리 스토리지에 뉴럴 네트워크를 저장하기 위하여 다양한 데이터 구조가 이용될 수 있다.
일 실시예에 따르면, 표정 트레이닝 장치는 뉴럴 네트워크에 역전파되는 손실 및 뉴럴 네트워크에 포함된 노드들의 출력 값에 기초한 기울기 하강(gradient descent) 기법을 통하여, 노드들의 파라미터를 결정할 수 있다. 예를 들어, 표정 트레이닝 장치는 손실 역 전파 학습(back-propagation learning)을 통해 노드들 사이의 연결 가중치를 업데이트할 수 있다. 손실 역 전파 학습은, 주어진 트레이닝 데이터에 대해 포워드 계산(forward computation)을 통하여 손실을 추정한 후, 출력 레이어(130)에서 시작하여 히든 레이어(120) 및 입력 레이어(110)를 향하는 역 방향으로 추정한 손실을 전파하면서, 손실을 줄이는 방향으로 연결 가중치를 업데이트하는 방법이다. 뉴럴 네트워크(100)의 처리는 입력 레이어(110), 히든 레이어(120), 및 출력 레이어(130)의 방향으로 진행되지만, 손실 역 전파 트레이닝에서 연결 가중치의 업데이트 방향은 출력 레이어(130), 히든 레이어(120), 및 입력 레이어(110)의 방향으로 진행될 수 있다. 하나 또는 그 이상의 프로세서는 뉴럴 네트워크를 원하는 방향으로 처리하기 위하여, 레이어 또는 일련의 계산 데이터를 저장하는 버퍼 메모리를 이용할 수 있다.
표정 트레이닝 장치는 현재 설정된 연결 가중치들이 얼마나 최적에 가까운지를 측정하기 위한 목적 함수(objective function)를 정의하고, 목적 함수의 결과에 기초하여 연결 가중치들을 계속 변경하고, 트레이닝을 반복적으로 수행할 수 있다. 예를 들어, 목적 함수는 뉴럴 네트워크(100)가 트레이닝 데이터의 트레이닝 입력에 기초하여 실제 출력한 출력 값과 출력되기로 원하는 기대 값 사이의 손실을 계산하기 위한 손실 함수일 수 있다. 표정 트레이닝 장치는 손실 함수의 값을 줄이는 방향으로 연결 가중치들을 업데이트할 수 있다.
도 2는 일 실시예에 따른 발화에 기초한 표정 변화를 설명하는 도면이다.
본 명세서에서 발화(speech)는 객체가 소리를 내어 말을 하는 행위를 나타낼 수 있다. 객체는 예를 들어, 사람일 수 있다.
객체가 말을 하는 동안 해당 객체를 복수의 프레임 이미지들로 촬영할 경우, 복수의 프레임 이미지들의 각각은 객체가 말을 하는 일련의 과정 중 일시적인 측면을 나타낼 수 있다. 따라서, 말하는 객체의 내부 상태(예를 들어, 감정)는 변하지 않는데, 해당 객체의 외부 상태(예를 들어, 전반적인 인상(look))는 변하는 것처럼 인식될 수 있다.
예를 들어, 도 2는 객체가 말을 하는 과정에서 내부 상태(210)와 외부 상태(220)의 괴리(gap)를 설명한다. 객체의 발화를 통해 음성 신호(240)가 생성될 수 있고, 해당 음성 신호(240)에 대응하는, 객체와 연관된 복수의 프레임 이미지들(230)이 획득될 수 있다. 객체의 내부 상태(210)는 발화의 시작부터 종료까지 중립(neutral)일 수 있다. 반면, 객체의 외부 상태(220)는 발화의 시작부터 종료까지 기쁨(happy), 놀람(surprise), 및 경멸(contempt)로 변화하는 것처럼 보일 수 있다.
아래에서는, 발화에 기초한 표정 인식을 통해, 객체가 말을 하는 동안에도 정확하게 표정을 인식하는 방법 및 장치를 설명한다.
도 3a는 일 실시예에 따른 발화에 기초한 표정 인식 방법을 설명하는 흐름도이다.
우선, 단계(310)에서는 발화에 기초한 표정 인식 장치는 객체(object)를 포함하는 객체 이미지(object image)를 획득할 수 있다. 객체는 상술한 바와 같이 사람일 수 있다. 객체 이미지는 객체의 적어도 일부를 포함하는 이미지일 수 있다. 예를 들어, 객체 이미지는 사람의 적어도 일부로서 얼굴을 포함하는 이미지일 수 있다. 표정 인식 장치는 카메라를 통해 객체의 적어도 일부를 촬영함으로써, 객체 이미지를 획득할 수 있다. 또한, 표정 인식 장치는 객체와 연관된, 복수의 연속된 프레임 이미지들을 포함하는 입력 이미지를 획득할 수 있다. 표정 인식 장치는 복수의 프레임 이미지들 중 하나의 프레임 이미지를 순차적으로 객체 이미지로 선택할 수 있다.
그리고 단계(320)에서는 표정 인식 장치는 발화 모델(speech model)에 기초하여, 객체 이미지로부터 발화 맵(speech map)을 추출할 수 있다. 표정 인식 장치의 프로세서는 발화 모델에 객체 이미지를 입력함으로써, 발화 맵을 산출할 수 있다. 발화 맵은 객체 이미지에서 발화와 연관된 영역을 나타내는 정보일 수 있다. 예를 들어, 발화 맵은 가로로 m개, 세로로 n개의 엘리먼트들(elements)을 포함할 수 있고, 각 엘리먼트에 할당된 값은 발화와 연관된 정도(level)를 나타낼 수 있다. 여기서, m 및 n은 정수일 수 있다. 객체 이미지도 가로로 m개, 세로로 n개의 픽셀들을 포함할 수 있다. 발화 맵의 엘리먼트들은 객체 이미지의 픽셀들(pixels)에 대응할 수 있다. 예를 들어, 객체 이미지의 임의의 픽셀에 대응하는 엘리먼트에 할당된 값은, 해당 픽셀이 발화와 연관된 정도를 나타낼 수 있다. 다만, 객체 이미지를 구성하는 픽셀들의 개수 및 해상도가 발화 맵을 구성하는 엘리먼트들의 개수 및 해상도와 동일한 것으로 한정하는 것은 아니다. 발화 모델은 기준 이미지로부터 기준 음성에 대응하는 발화 맵을 출력하도록 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크를 포함하는 기계 학습 구조일 수 있다.
이어서 단계(330)에서는 표정 인식 장치는 표정 모델에 기초하여, 객체 이미지로부터 표정 특징을 추출할 수 있다. 표정 인식 장치의 프로세서는 표정 모델에 객체 이미지를 입력함으로써, 표정 특징을 추출할 수 있다. 표정 특징은 객체의 표정과 연관된 특징을 나타낼 수 있다. 표정 모델은 기준 이미지로부터 기준 표정을 출력하도록 트레이닝된 모델로서, 예를 들어, 뉴럴 네트워크를 포함하는 기계 학습 구조일 수 있다.
그리고 단계(340)에서는 표정 인식 장치는 표정 특징 및 발화 맵에 기초하여, 객체의 표정을 인식할 수 있다. 예를 들어, 표정 인식 장치는 발화 맵을 반전시키고, 반전된 발화 맵을 표정 특징에 반영하여 대상 벡터(target vector)를 생성하며, 생성된 대상 벡터에 기초하여 객체의 표정을 식별할 수 있다. 일 실시예에 따르면, 복수의 프레임 이미지들을 획득한 경우에 응답하여, 표정 인식 장치는 복수의 프레임 이미지들의 각각에 대하여 순차적으로 객체의 표정을 인식할 수 있다.
또한, 표정 인식 장치는 객체의 음성 신호를 표정 인식으로부터 배제할 수 있다. 표정 인식 장치는 음성 신호를 배제하더라도 발화 모델에 기초하여 발화 맵을 추출해낼 수 있다.
다만, 이로 한정하는 것은 아니고, 표정 인식 장치는 객체와 연관된 음성 신호를 획득할 수 있다. 표정 인식 장치는 기준 이미지 및 음성 신호에 기초하여, 객체 이미지로부터 발화 맵을 추출할 수 있다.
도 3b는 일 실시예에 따른 발화에 기초한 객체 인식 방법을 설명하는 흐름도이다.
도 3a에서는 발화에 기초하여 표정을 인식하는 방법을 설명하였으나, 이로 한정하는 것은 아니다. 객체 인식 장치는 발화에 기초하여 객체를 인식할 수도 있다.
우선, 단계(350)에서 발화에 기초한 객체 인식 장치는 객체를 포함하는 객체 이미지를 획득할 수 있다. 객체는 상술한 바와 같이 사람일 수 있다. 객체 이미지는 객체의 적어도 일부를 포함하는 이미지일 수 있다. 예를 들어, 객체 이미지는 사람의 적어도 일부로서 얼굴을 포함하는 이미지일 수 있다.
그리고 단계(360)에서는 객체 인식 장치는 발화 모델에 기초하여, 객체 이미지로부터 발화 맵을 추출할 수 있다. 객체 인식 장치의 프로세서는 발화 모델에 객체 이미지를 입력함으로써, 발화 맵을 산출할 수 있다.
이어서 단계(370)에서는 객체 인식 장치는 객체 모델에 기초하여, 객체 이미지로부터 객체 특징을 추출할 수 있다. 객체 인식 장치의 프로세서는 객체 모델에 객체 이미지를 입력함으로써, 객체 특징을 추출할 수 있다. 객체 특징은 객체와 연관된 특징으로서, 객체가 추상화된 특징을 나타낼 수 있다. 예를 들어, 객체가 사람이고, 객체 이미지가 사람의 적어도 일부로서 얼굴을 포함하는 경우, 객체 특징은 얼굴과 연관된 특징을 나타낼 수 있다. 객체 모델은 기준 이미지로부터 기준 객체를 출력하도록 트레이닝된 모델로서, 뉴럴 네트워크를 포함하는 기계 학습 구조일 수 있다.
그리고 단계(380)에서는 객체 인식 장치는 객체 특징 및 발화 맵에 기초하여, 객체를 인식할 수 있다.
예를 들어, 객체 인식 장치는 발화 맵을 반전시키고, 반전된 발화 맵을 객체 특징에 반영하여 대상 벡터를 생성하며, 생성된 대상 벡터에 기초하여 객체를 식별할 수 있다. 객체 인식 장치는 대상 벡터로부터, 복수의 객체 레이블들(object labels) 중 객체에 대응하는 객체 레이블을 결정할 수 있다. 객체 레이블은 예를 들어, 객체의 신원(identity)을 나타낼 수 있다.
다른 예를 들어, 객체 인식 장치는 제1 객체 이미지로부터 객체 모델에 기초하여 제1 객체 특징을 추출할 수 있다. 객체 인식 장치는 제1 객체 특징에 반전된 발화 맵을 반영하여 제1 대상 벡터를 생성할 수 있다. 또한, 객체 인식 장치는 제2 객체 이미지로부터 객체 모델에 기초하여 제2 객체 특징을 추출할 수 있다. 객체 인식 장치는 제2 객체 특징에 반전된 발화 맵을 반영하여 제2 대상 벡터를 생성할 수 있다. 객체 인식 장치는 제1 대상 벡터 및 제2 대상 벡터에 기초하여 객체를 검증할 수 있다. 예를 들어, 제1 객체 이미지는 검증의 대상이 되는 대상 이미지일 수 있고, 제2 객체 이미지는 검증의 기준이 되는 등록 이미지일 수 있으나, 이로 한정하는 것은 아니다.
일 실시예에 따르면 객체 인식 장치는 제1 대상 벡터 및 제2 대상 벡터 간의 비교에 기초하여, 제1 객체 이미지 및 제2 객체 이미지가 동일한 객체를 지시하는 지 여부를 검증(verify)할 수 있다. 객체 인식 장치는 제1 대상 벡터 및 제2 대상 벡터 간의 유사도 점수(similarity score)를 산출할 수 있고, 유사도 점수가 임계 유사(threshold similarity)를 초과하는 경우 제1 대상 벡터 및 제2 대상 벡터가 유사한 것으로 결정할 수 있다. 객체 인식 장치는 제1 대상 벡터 및 제2 대상 벡터가 유사하다고 판단된 경우, 제1 객체 이미지 및 제2 객체 이미지가 동일한 객체를 지시하는 것으로 결정할 수 있다. 예를 들어, 객체 인식 장치는 등록 이미지의 객체와 대상 이미지의 객체가 동일한 경우, 대상 이미지의 객체에 대응하는 사용자에 대한 인증(authenticate)이 유효한(valid) 것으로 결정할 수 있다. 따라서, 객체 인식 장치가 스마트 기기 및 인증 기기 등에 구현된 경우, 객체 인식 장치는 상술한 동작을 수행하여 대상 이미지와 등록 이미지 간의 객체 동일성을 결정할 수 있고, 인증이 유효한 경우 스마트 기기에 대한 접근(access)을 허용할 수 있다.
도 4는 일 실시예에 따른 표정 모델 및 발화 모델에 기초한 표정 인식 과정을 설명하는 도면이다.
우선, 표정 인식 장치는 객체 이미지(410)를 획득할 수 있다. 상술한 바와 같이, 표정 인식 장치의 카메라가 객체를 촬영함으로써, 객체 이미지(410)를 생성할 수 있다. 표정 인식 장치는 객체 이미지(410)로부터 표정 특징을 추출할 수 있다.
그리고 표정 인식 장치는 객체 이미지(410)로부터 발화 맵(420)을 추출할 수 있다. 발화 맵(420)에 포함된 엘리먼트들의 각각은 객체 이미지(410)에 포함된 픽셀에 대응할 수 있고, 해당 픽셀이 발화와 연관된 정도에 대응하는 값을 가질 수 있다. 예를 들어, 표정 인식 장치는 발화 모델에 기초하여, 객체 이미지(410)의 영역 별로 발화와 연관된 정도에 따라 가중치를 결정함으로써 발화 맵(420)을 생성할 수 있다. 도 4에 도시된 발화 맵(420)은 발화와 연관된 정도를 지시하는 세기 값(intensity value)으로 표현된 맵일 수 있다.
도 4에서 발화 맵(420)은 객체 이미지(410)를 구성하는 각 픽셀들과 동일한 개수의 엘리먼트를 포함할 수 있고, 각 엘리먼트는 각 픽셀에 대응할 수 있다. 발화 맵(420)을 구성하는 엘리먼트에는 세기 값이 할당될 수 있다. 도 4에 도시된 발화 맵(420)에서는, 엘리먼트에 할당된 세기 값이 클 수록, 해당 엘리먼트가 더 밝게 도시될 수 있다. 따라서, 도 4에 도시된 발화 맵(420)에서 밝은 부분은 발화와 연관된 정도가 큰 부분을 나타낼 수 있다. 또한, 발화 맵(420)은 발화 특징 벡터로 표현될 수도 있다.
일 실시예에 따르면 표정 인식 장치는, 발화 모델에 기초하여, 객체 이미지(410)의 대상 영역(target area)이 발화와 연관된 정도가 클수록, 대상 영역에 대해 높은 가중치를 결정할 수 있다. 또한, 표정 인식 장치는 발화 모델에 기초하여 객체 이미지(410)의 대상 영역이 발화와 연관된 정도가 작을수록, 대상 영역에 대해 낮은 가중치를 결정할 수 있다. 대상 영역은 예를 들어, 객체 이미지에서 발화와 연관된 복수의 픽셀들을 포함할 수 있다. 예를 들어, 표정 인식 장치는 대상 픽셀(target pixel)이 발화와 연관된 정보에 비례하여 결정된 미리 정한 범위 내의 값(예를 들어, 0부터 1 사이의 값)을 대상 픽셀에 대응하는 엘리먼트에 할당할 수 있다.
이어서 표정 인식 장치는 발화 맵(420)을 반전시켜서, 반전된 발화 맵(430)을 생성할 수 있다. 표정 인식 장치는 미리 결정된 최대 값(예를 들어, 1)으로부터 발화 맵(420)의 값들을 차감함으로써, 발화 맵(420)을 반전시킬 수 있다. 일 실시예에 따르면, 미리 결정된 최대 값은, 발화 맵(420)의 각 엘리먼트에 할당될 수 있는 가중치에 대해 미리 정해진 범위의 최대 값일 수 있다. 예를 들어, 미리 정해진 범위가 0부터 1 사이의 범위인 경우, 미리 결정된 최대 값은 1일 수 있다. 다만, 미리 정해진 범위를 이로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다.
반전된 발화 맵(430)에 포함된 각 엘리먼트들은 발화와 연관된 정도가 낮을수록 높은 값을 가질 수 있다. 예를 들어, 사람이 말을 하는 동안 얼굴 중에서 입 주변이 변화하게 되는 바, 객체 이미지(410)에서 입을 포함하는 영역은 발화와 연관된 정도가 클 수 있다. 따라서, 발화 맵(420)에서는 입 주변과 연관된 엘리먼트들이 높은 가중치를 가질 수 있고, 그와 달리, 반전된 발화 맵(430)에서는 입 주변과 연관된 엘리먼트들이 눈과 연관된 엘리먼트들에 비해 낮은 가중치를 가질 수 있다. 도 4에 도시된 반전된 발화 맵(430)에서 밝은 부분은 발화와 연관된 정도가 작은 부분을 나타낼 수 있다. 반전된 발화 맵(430)은 반전 벡터(inverted vector)로 표현될 수도 있다.
그리고 표정 인식 장치는 반전된 발화 맵(430) 및 표정 특징에 기초하여 객체의 표정을 인식할 수 있다.
예를 들어, 표정 인식 장치는 객체 이미지(410)로부터 추출된 표정 특징에 반전된 발화 맵(430)을 적용할 수 있다. 표정 인식 장치는 반전 벡터를 표정 특징 벡터에 적용하여 대상 벡터(target vector)(440)를 생성할 수 있다. 표정 인식 장치는, 객체의 표정에 대응하는 부분을 지시하는, 반전된 발화 맵(430)의 가중치를 표정 특징 벡터에 곱함(multiply)으로써 대상 벡터(440)를 생성할 수 있다. 대상 벡터는 가중된 특징 벡터(weighted feature vector)일 수 있다. 다만, 대상 벡터(440)의 생성을 이로 한정하는 것은 아니고, 대상 벡터(440)는 반전된 발화 맵(430) 및 표정 특징 벡터를 변수로 하는 함수에 기초하여 생성될 수도 있다. 예를 들어, 반전된 발화 맵(430) 및 표정 특징 벡터의 차원(dimension) 및 원소의 개수가 동일한 경우 아다마르 곱(Hadamard product)이 사용될 수 있고, 이 경우, 대상 벡터(440)는 반전된 발화 맵(430)의 각 엘리먼트 및 표정 특징 벡터의 각 엘리먼트를 곱한 결과를 나타낼 수 있다.
일 실시예에 따르면, 표정 인식 장치는 발화 맵(420)에 기초하여 표정 특징 중 발화와 연관된 특징에 대응하는 값을 감소시킬 수 있다. 표정 인식 장치는 발화와 연관된 정도를 나타내는 발화 맵(420)을 반전시키고, 반전된 발화 맵(430)을 표정 특징에 적용함으로써 발화와 연관된 특징에 대응하는 값을 감소시킬 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 가중된 특징 벡터(440)에서 입과 연관된 영역(443)에 대응하는 표정 특징은 덜 강조(deemphasize)될 수 있다.
반대로, 표정 인식 장치는 발화 맵(420)에 기초하여 표정 특징 중 발화와 연관되지 않은 특징에 대응하는 값을 증가시킬 수 있다. 표정 인식 장치는 발화와 연관된 정도를 나타내는 발화 맵(420)을 반전시키고, 반전된 발화 맵(430)을 표정 특징에 적용함으로써 발화와 연관되지 않은 특징에 대응하는 값을 증가시킬 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 대상 벡터(440)에서, 눈과 연관된 영역(441, 442)에 대응하는 표정 특징은 강조(emphasize)될 수 있다.
표정 인식 장치는 대상 벡터(440)에 기초하여 객체의 표정을 식별할 수 있다. 예를 들어, 표정 인식 장치는 대상 벡터(440)로부터, 복수의 표정 레이블들(face expression labels) 중 객체의 표정에 대응하는 표정 레이블(450)을 결정할 수 있다.
참고로 도 4는 주로 표정 인식을 설명하였으나, 이로 한정하는 것은 아니다. 도 4에서 설명한 동작들은 객체 인식에도 적용될 수 있다. 예를 들어, 객체 인식 장치는, 표정 모델 대신, 객체 모델을 이용할 수 있다. 예를 들어, 객체 인식 장치는 객체 모델에 기초하여 객체 이미지로부터 추출된 객체 특징에 반전된 발화 맵을 적용할 수 있다. 객체 특징 중 발화와 연관된 특징은 덜 강조될 수 있고, 발화와 연관되지 않은 특징은 강조될 수 있다.
도 5a는 일 실시예에 따른 표정 특징 및 발화 특징에 기초한 표정 인식을 설명하는 도면이다.
표정 인식 장치는 이미지 획득부(510), 표정 특징 추출부(530), 발화 특징 검출부(540), 및 표정 인식부(550)를 포함할 수 있다.
이미지 획득부(510)는 상술한 바와 같이 객체 이미지(501)를 획득할 수 있다. 표정 특징 추출부(530)는 표정 모델에 기초하여, 객체 이미지(501)로부터 객체의 표정에 대응하는 부분을 지시하는 표정 특징 벡터를 추출할 수 있다. 발화 특징 검출부(540)는 발화 모델에 기초하여, 객체 이미지(501)로부터 객체의 발화에 대응하는 부분을 지시하는 발화 특징 벡터를 추출할 수 있다. 표정 인식부(550)는 표정 특징 벡터 및 발화 특징 벡터에 기초하여, 표정 인식 결과(509)를 출력할 수 있다. 표정 인식 결과(509)는 예를 들어, 객체의 표정을 지시하는 레이블일 수 있다.
본 명세서에서 표정은 분노(anger), 경멸(contempt), 혐오(disgust), 공포(fear), 기쁨(happy), 슬픔(sad), 놀람(surprise), 및 중립(neutral)(예를 들어, 무감정) 등의 감정을 나타내는 정보일 수 있다. 다른 예를 들어, 표정은 졸림(sleepiness), 집중(concentration), 부정(negative), 긍정(positive), 흥분(arousal) 및 균형(balance) 등의 상태를 나타내는 정보일 수 있다. 다만, 표정의 종류를 이로 한정하는 것은 아니고, 설계에 따라 다른 분류 체계가 사용될 수 있다. 표정 레이블(label)은 상술한 바와 같이 분류되는 표정 타입들 중 하나를 지시하는 레이블을 나타낼 수 있다.
또한, 표정 인식 장치는 음성 획득부(520)를 더 포함할 수도 있다. 음성 획득부(520)는 객체의 발화로부터 생성되는 음성 신호(502)를 획득할 수 있다. 이 경우, 발화 특징 검출부(540)는 객체 이미지(501) 및 음성 신호(502)에 기초하여 발화 특징 벡터를 추출할 수도 있다. 이후, 표정 인식부(550)는 표정 특징 벡터 및 발화 특징 벡터에 기초하여 표정 인식 결과(509)를 출력할 수 있다.
도 5b는 일 실시예에 따른 객체 특징 및 발화 특징에 기초한 표정 인식을 설명하는 도면이다.
참고로 도 5a는 주로 표정 인식을 설명하였으나, 이로 한정하는 것은 아니다. 도 5a에서 설명한 동작들은 도 5b에 도시된 바와 같이 객체 인식에도 적용될 수 있다.
예를 들어, 객체 인식 장치는, 표정 모델 대신, 객체 모델을 이용할 수 있다. 일 실시예에 따르면 객체 인식 장치는 표정 특징 추출부(530) 대신 객체 특징 추출부(531)를, 표정 인식부(550) 대신 객체 인식부(551)를 포함할 수 있다.
객체 특징 추출부(531)는 객체 모델에 기초하여, 객체 이미지(501)로부터 객체의 특징이 추상화된 객체 특징 벡터를 추출할 수 있다. 객체 인식부(551)는 객체 특징 벡터 및 발화 특징 벡터에 기초하여, 객체 인식 결과(508)를 출력할 수 있다. 객체 인식 결과(508)는 예를 들어, 객체의 신원을 지시하는 레이블일 수 있다.
도 6a은 일 실시예에 따른 발화에 기초한 표정 인식 장치를 설명하는 블록도이다.
발화에 기초한 표정 인식 장치(600)는 이미지 획득부(630), 프로세서(610), 및 메모리(620)를 포함할 수 있다.
이미지 획득부(630)는 객체 이미지를 획득할 수 있다. 예를 들어, 이미지 획득부(630)는 카메라를 포함할 수 있고, 객체를 촬영함으로써 해당 객체를 포함하는 객체 이미지를 획득할 수 있다.
프로세서(610)는, 표정 모델(621) 및 발화 모델(622)에 기초하여, 객체 이미지로부터 객체의 표정을 인식할 수 있다. 예를 들어, 프로세서(610)는 표정 모델(621)에 객체 이미지를 입력하여 표정 특징 벡터를 산출할 수 있고, 발화 모델(622)에 객체 이미지를 입력하여 발화 특징 벡터를 산출할 수 있다. 프로세서(610)는, 발화 특징 벡터를 반전하여 생성한, 반전 벡터를 상술한 표정 특징 벡터에 적용함으로써 대상 벡터를 생성할 수 있다. 프로세서(610)는 대상 벡터에 대응하는 표정을 식별할 수 있다. 예를 들어, 프로세서(610)는 대상 벡터에 대응하는 표정 레이블을 결정할 수 있다.
메모리(620)는 표정 모델(621) 및 발화 모델(622)을 저장할 수 있다. 표정 모델(621) 및 발화 모델(622)은 트레이닝 데이터에 기초하여, 미리 트레이닝된 모델일 수 있다. 또한, 표정 모델(621) 및 발화 모델(622)은 뉴럴 네트워크로 구성될 수도 있다.
도 6b는 일 실시예에 따른 발화에 기초한 객체 인식 장치를 설명하는 블록도이다.
도 6a에서는 표정 인식을 주로 설명하였으나, 이로 한정하는 것은 아니고 발화 모델을 객체 인식에도 적용될 수 있다. 이 경우, 객체 인식 장치(690)는 표정 모델 대신 객체 모델(623)을 발화 모델(622)과 함께 이용할 수 있다.
예를 들어, 객체 인식 장치(690)는 표정 인식 장치(600)와 유사하게 프로세서(610), 메모리(620) 및 이미지 획득부(630)를 포함할 수 있다. 메모리(620)는 표정 모델 대신 객체 모델(623)을 발화 모델(622)과 함께 저장할 수 있다. 다만, 이로 한정하는 것은 아니고, 메모리(620)는 표정 모델, 객체 모델(623) 및 발화 모델(622)을 모두 저장할 수도 있다.
프로세서(610)는, 객체 모델(623) 및 발화 모델(622)에 기초하여, 객체 이미지로부터 객체를 인식할 수 있다. 예를 들어, 프로세서(610)는 객체 모델(623)에 객체 이미지를 입력하여 객체 특징 벡터를 산출할 수 있고, 발화 모델(622)에 객체 이미지를 입력하여 발화 특징 벡터를 산출할 수 있다. 프로세서(610)는, 발화 특징 벡터를 반전하여 생성한, 반전 벡터를 상술한 객체 특징 벡터에 적용함으로써 대상 벡터를 생성할 수 있다. 프로세서(610)는 대상 벡터에 대응하는 객체를 식별할 수 있다. 예를 들어, 프로세서(610)는 대상 벡터에 대응하는 객체 레이블을 결정할 수 있다.
또한, 이로 한정하는 것은 아니고, 프로세서(610)는 대상 벡터에 기초하여 객체를 검증할 수도 있다.
설명의 편의를 위하여 생략하였으나, 도 6a의 나머지 동작들도 도 6b에 적용될 수 있다.
도 7은 일 실시예에 따른 표정 모델 및 발화 모델에 기초하여 표정 인식 결과를 출력하는 과정을 설명하는 도면이다.
표정 인식 장치는 표정 모델(710)에 객체 이미지(701)를 입력할 수 있다. 표정 인식 장치는 표정 모델(710)에 기초하여 객체 이미지(701)로부터 표정 특징 벡터 를 산출할 수 있다. 표정 모델(710)은 예를 들어, 로 표현될 수 있다. 여기서, I는 객체 이미지(701), 는 표정 모델(710)의 파라미터로서 연결 가중치를 나타낼 수 있다. fext는 미리 트레이닝된 표정 모델(710)의 파라미터 에 따라, 객체 이미지(701) I로부터 표정 특징 벡터 를 출력하는 모델이 모델링된 함수를 나타낼 수 있다.
또한, 표정 인식 장치는 발화 모델(720)에 객체 이미지(701)를 입력할 수 있다. 표정 인식 장치는 발화 모델(720)에 기초하여 객체 이미지(701)로부터 발화 특징 벡터 를 추출할 수 있다. 발화 모델(720)은 예를 들어, 로 표현될 수 있다. 여기서, I는 객체 이미지(701), 는 발화 모델(720)의 파라미터로서 연결 가중치를 나타낼 수 있다. fatt는 미리 트레이닝된 발화 모델(720)의 파라미터 에 따라, 객체 이미지(701) I로부터 발화 특징 벡터 를 출력하는 모델이 모델링된 함수를 나타낼 수 있다.
표정 인식 장치는 표정 인식부(730)에 상술한 표정 특징 벡터 및 발화 특징 벡터 를 입력하여, 표정 인식 결과(709)를 산출할 수 있다. 표정 인식부(730)는 각 특징 벡터를 수신하기 위한 레이어들(731, 732)을 포함할 수 있고, 반전 연산(733), 어텐션 연산(734), 정규화 연산(735), 및 인식 연산(736)을 수행할 수 있다.
예를 들어, 표정 인식 장치는 표정 특징 벡터 를 표정 인식부(730)의 제1 레이어(731)에 입력할 수 있다. 또한, 표정 인식 장치는 발화 특징 벡터 를 제2 레이어(732)에 입력할 수 있다. 제1 레이어(731) 및 제2 레이어(732)는 표정 특징 벡터 및 발화 특징 벡터 를 표정 모델(710) 및 발화 모델(720)로부터 수신하는 복수의 노드들을 포함할 수 있고, 수신된 벡터들을 다음 레이어로 전달하도록 구성될 수 있다. 표정 인식 장치는 발화 특징 벡터 에 대해 반전 연산(733)을 수행하여 반전 벡터 를 생성할 수 있다. 반전 연산(733)은 예를 들어, 하기 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
상술한 수학식 1에서, 반전 벡터 는 미리 결정된 최대 값(예를 들어, 1)으로부터 발화 특징 벡터 를 차감한 벡터로 표현될 수 있다. 상술한 수학식 1에서, 발화 특징 벡터 의 각 엘리먼트는 예를 들어, 0부터 1 사이의 값을 가질 수 있고, 미리 결정된 최대 값은 1일 수 있다.
표정 인식 장치는 어텐션 연산(734)을 수행하여, 표정 특징 벡터 및 반전 벡터 를 통합할 수 있다. 표정 인식 장치는 두 특징 벡터를 통합하기 위해, 표정 특징 벡터 에 반전 벡터 를 적용할 수 있다. 예를 들어, 표정 인식 장치는 표정 특징 벡터 및 반전 벡터 의 곱(multiply)을 통해 대상 벡터 를 생성할 수 있다. 어텐션 연산(734)은 예를 들어, 하기 수학식 2와 같이 나타낼 수 있다.
[수학식 2]
표정 인식 장치는 대상 벡터 를 정규화하는 정규화 연산(735)을 수행하여 정규화된 대상 벡터 를 생성할 수 있다. 정규화 연산(735)은 예를 들어, 하기 수학식 3과 같이 나타낼 수 있다.
[수학식 3]
상술한 수학식 3과 같이, 표정 인식 장치는 대상 벡터 및 대상 벡터 의 최소 값 간의 차이를, 대상 벡터 의 최대 값과 최소 값 간의 차이로 나눔으로써, 대상 벡터 를 정규화할 수 있다. 정규화된 대상 벡터 는 0부터 1사이의 값을 가질 수 있다.
표정 인식 장치는 정규화된 대상 벡터 에 기초하여 인식 연산(736)을 수행함으로써 객체의 표정을 식별할 수 있다. 예를 들어, 표정 인식 장치는 하기 수학식 4에 따른 인식 연산(736)을 수행할 수 있다.
[수학식 6]
일 실시예에 따르면, 표정 인식 장치는 풀링 레이어(pooling layer)에 기초하여 인식 연산(736)을 수행할 수 있다. 이 경우, 상술한 수학식 6에서 는 풀링 레이어의 연결 가중치를 나타낼 수 있다. c는 임의의 표정 레이블을 나타낼 수 있고, y는 현재 객체 이미지(701)의 표정을 나타낼 수 있다. 따라서, 표정 인식 장치는 수학식 6에 따라, 주어진 정규화된 대상 벡터 및 풀링 레이어의 연결 가중치 에 대하여, 객체 이미지(701)의 표정 y이 특정 표정 레이블 c일 확률 을 산출할 수 있다.
따라서, 표정 인식 장치는 표정 인식부(730)를 통해 하기 수학식 7과 같이, 객체 이미지(701)가 특정 표정 레이블에 대응할 확률 을 결정할 수 있다. 표정 인식 결과(709)는 객체 이미지(701)가 특정 표정 레이블에 대응할 확률 일 수 있다.
[수학식 7]
아울러, 도 7은 주로 표정 인식을 설명하였으나, 이로 한정하는 것은 아니다. 예를 들어, 표정 모델(710)이 객체 모델로 대체되어 구현될 수 있고, 이 경우 객체 인식 장치는 객체 모델 및 발화 모델(720)에 기초하여 객체를 인식할 수 있다.
도 8은 일 실시예에 따른 발화에 기초한 표정 트레이닝 방법을 설명하는 흐름도이다.
우선, 단계(810)에서 표정 트레이닝 장치는 기준 이미지 및 기준 표정을 획득할 수 있다. 기준 이미지는 트레이닝을 위해 주어진 객체를 포함하는 이미지를 나타낼 수 있다. 기준 표정은 기준 이미지에 매핑된 표정으로서, 기준 이미지에 포함된 객체가 나타내는 표정을 지시하는 레이블일 수 있다. 트레이닝 데이터는 기준 이미지 및 기준 표정의 쌍을 포함할 수 있다. 표정 트레이닝 장치는 메모리로부터 트레이닝 데이터를 로딩하여 획득할 수 있다. 다만, 이로 한정하는 것은 아니고, 표정 트레이닝 장치는 외부로부터 트레이닝 데이터를 획득할 수도 있다. 또한, 표정 트레이닝 장치는 기준 이미지에 대응하는 기준 음성을 더 획득할 수 있다.
그리고 단계(820)에서 표정 트레이닝 장치는 객체 이미지로부터 표정 특징을 추출하는 표정 모델 및 객체 이미지로부터 발화 맵을 추출하는 발화 모델에 기초하여, 프로세서가 기준 이미지로부터 기준 표정을 출력하도록, 표정 모델의 파라미터 및 발화 모델의 파라미터를 트레이닝시킬 수 있다. 예를 들어, 트레이닝 동안 표정 트레이닝 장치는 기준 이미지로부터 트레이닝 발화 맵 및 트레이닝 표정 특징을 추출할 수 있고, 트레이닝 발화 맵 및 트레이닝 표정 특징에 기초하여 트레이닝 표정 레이블을 산출할 수 있으며, 트레이닝 표정 레이블 및 기준 표정 간의 표정 손실이 최소화되도록 표정 모델을 트레이닝시킬 수 있다. 또한, 표정 트레이닝 장치는 트레이닝 발화 맵으로부터 음성 정보를 복원할 수 있고, 복원된 음성 정보 및 기준 음성과의 발화 손실이 최소화되도록 발화 모델을 트레이닝시킬 수 있다.
표정 모델 및 발화 모델의 트레이닝은 하기에서 상세히 설명한다.
도 9는 일 실시예에 따른 발화에 기초한 표정 트레이닝 장치를 설명하는 블록도이다.
발화에 기초한 표정 트레이닝 장치(900)는 프로세서(910) 및 메모리(920)를 포함할 수 있다.
프로세서(910)는 상술한 바와 같이 트레이닝 데이터(923)를 획득할 수 있고, 획득된 트레이닝 데이터(923)에 기초하여 표정 모델(921) 및 발화 모델(922)을 트레이닝시킬 수 있다.
예를 들어, 프로세서(910)는, 발화 모델(922)이 기준 이미지로부터 기준 음성에 대응하는 발화 특징을 출력하도록, 발화 모델(922)을 트레이닝시킬 수 있다. 프로세서(910)는 트레이닝 동안, 발화 모델(922)에 기초하여 기준 이미지로부터 트레이닝 발화 특징을 추출할 수 있고, 해당 트레이닝 발화 특징을 음성 신호 형태로 변환하여 기준 음성과 비교할 수 있다. 프로세서(910)는 트레이닝 발화 특징으로부터 복원된 트레이닝 음성 및 기준 음성 간의 발화 손실이 최소화되도록, 발화 모델(922)의 파라미터를 업데이트함으로써, 발화 모델(922)을 트레이닝시킬 수 있다.
또한, 프로세서(910)는 표정 모델(921)이 기준 이미지로부터 기준 표정에 대응하는 표정 레이블을 출력하도록, 표정 모델(921)을 트레이닝시킬 수 있다. 예를 들어, 프로세서(910)는 표정 모델(921) 및 발화 모델(922)에 기초하여 기준 이미지로부터 인식되는 표정 및 기준 표정 간의 표정 손실을 최소화함으로써 표정 모델(921)을 트레이닝시킬 수 있다. 프로세서(910)는 트레이닝 동안, 표정 모델(921)에 기초하여 기준 이미지로부터 트레이닝 표정 특징을 추출할 수 있고, 해당 트레이닝 표정 특징에 대응하는 표정 레이블을 산출하여 기준 표정과 비교할 수 있다. 프로세서(910)는 트레이닝 표정 특징에 대응하는 표정 레이블 및 기준 표정 간의 표정 손실이 최소화되도록, 표정 모델(921)의 파라미터를 업데이트함으로써, 표정 모델(921)을 트레이닝시킬 수 있다.
상술한 표정 모델(921) 및 발화 모델(922)의 트레이닝은, 동시에 수행될 수 있으나, 이로 한정하는 것은 아니다. 발화 모델(922)의 트레이닝이 먼저 수행되어 발화 모델(922)의 파라미터가 결정된 후에, 표정 트레이닝 장치(900)는 표정 모델(921)을 트레이닝시킬 수도 있다.
메모리(920)는 표정 모델(921) 및 발화 모델(922)을 저장할 수 있다. 또한, 메모리(920)는 트레이닝 데이터(923)로 저장할 수 있다. 프로세서(910)는 메모리(920)로부터 트레이닝 데이터(923)를 로딩하여 트레이닝에 사용할 수도 있다. 프로세서(910)는 트레이닝 동안 파라미터가 업데이트되는, 표정 모델(921) 및 발화 모델(922)을 저장할 수 있다.
도 10은 일 실시예에 따른 표정 모델 및 발화 모델을 트레이닝시키는 과정을 설명하는 도면이다.
표정 트레이닝 장치는 도 7에서 설명한 구조의 표정 모델(1010) 및 발화 모델(1020)을 트레이닝시킬 수 있다. 일 실시예에 따르면 표정 트레이닝 장치는 발화 모델(1020)을 트레이닝시킨 후 표정 모델(1010)을 트레이닝시킬 수 있다. 다만, 이로 한정하는 것은 아니고, 표정 트레이닝 장치는 표정 모델(1010) 및 발화 모델(1020)을 한꺼번에 트레이닝시킬 수도 있다. 표정 트레이닝 장치는 기준 이미지(1001) 및 기준 표정의 쌍을 포함하는 트레이닝 데이터에 기초하여 표정 모델(1010) 및 발화 모델(1020)을 트레이닝시킬 수 있고, 추가적으로 기준 음성을 더 포함할 수도 있다.
예를 들어, 표정 트레이닝 장치는 발화 모델(1020)을 트레이닝시키기 위하여 발화 손실(1008)을 산출할 수 있다. 표정 트레이닝 장치는 기준 이미지(1001)로부터 트레이닝 발화 특징을 발화 모델(1020)에 기초하여 산출할 수 있다. 표정 트레이닝 장치는 표정 인식부(1030)의 제2 레이어(1032)에 트레이닝 발화 특징을 입력할 수 있다. 표정 트레이닝 장치는 트레이닝 발화 특징으로부터, 그에 대응하는 트레이닝 음성을 디코딩 연산(1037)을 통해 복원할 수 있다. 트레이닝 음성은 발화 모델(1020)의 트레이닝 동안 일시적으로 산출된 트레이닝 발화 특징으로부터 복원된 음성을 나타낼 수 있다. 디코딩 연산(1037)은 하기 수학식 8과 같이 나타낼 수 있다.
[수학식 8]
상술한 수학식 8에서 는 트레이닝 발화 특징을 나타낼 수 있고, 는 디코딩 연산(1037)의 파라미터를 나타낼 수 있으며, fdec는 디코딩 연산(1037)의 파라미터 를 이용하여 트레이닝 발화 특징 로부터 트레이닝 음성 을 복원하는 디코딩 연산(1037)이 모델링된 함수를 나타낼 수 있다. 상술한 수학식 8은 크로스 모달리티 함수(cross-modality function)라고도 나타낼 수 있다.
표정 트레이닝 장치는 발화 손실(1008)을 하기 수학식 9와 같이 산출할 수 있다.
[수학식 9]
표정 트레이닝 장치는 발화 손실(1008) 을, 상술한 수학식 9와 같이 트레이닝 음성 및 기준 음성 간의 L2-norm으로 산출할 수 있다. 표정 트레이닝 장치는 상술한 수학식 9에 따른 발화 손실(1008) 이 최소화되도록, 발화 모델(1020)의 파라미터를 업데이트함으로써 발화 모델(1020)을 트레이닝시킬 수 있다. 다만, 발화 손실(1008)의 함수를 상술한 바로 한정하는 것은 아니고, 설계에 따라 다양한 손실 함수가 사용될 수도 있다.
일 실시예에 따르면, 표정 트레이닝 장치는 상술한 바와 같이 발화 손실(1008) 의 최소화에 따라 학습된 발화 모델(1020)의 파라미터 를 프리징(Freeze)한 후에, 표정 모델(1010)을 트레이닝시킬 수 있다.
표정 트레이닝 장치는 표정 모델(1010)을 트레이닝시키기 위하여 표정 손실(1009)을 산출할 수 있다. 표정 트레이닝 장치는 표정 모델(1010)에 기초하여 기준 이미지(1001)로부터 추출된 표정 특징에 발화 모델(1020)에 기초하여 기준 이미지(1001)로부터 추출된 발화 맵을 적용할 수 있다. 여기서 표정 트레이닝 장치는 기준 이미지(1001)로부터 추출된 발화 맵을 반전시킨, 반전된 발화 맵을 기준 이미지(1001)로부터 추출된 표정 특징에 반영할 수 있다. 표정 트레이닝 장치는 발화 맵이 적용된 표정 특징에 기초하여 결정된 표정 레이블 및 기준 표정에 대응하는 레이블 간의 표정 손실을 최소화할 수 있다.
예를 들어, 표정 트레이닝 장치는 기준 이미지(1001)로부터 트레이닝 표정 특징을 표정 모델(1010)에 기초하여 산출할 수 있다. 표정 트레이닝 장치는 표정 인식부(1030)의 제1 레이어(1031)에 트레이닝 표정 특징을 입력할 수 있다. 표정 트레이닝 장치는 트레이닝 표정 특징에 반전 벡터 를 적용함으로써 어텐션 연산(1034)을 수행할 수 있다. 반전 벡터 는 트레이닝 발화 특징 에 대해 반전 연산(1033)이 수행된 벡터일 수 있다. 표정 트레이닝 장치는 어텐션 연산(1034)에 의해 생성된 대상 벡터 를 정규화(1035)하여 정규화된 대상 벡터 를 생성할 수 있고, 정규화된 대상 벡터 에 인식 연산(1036)을 수행함으로써 트레이닝 표정 레이블 을 결정할 수 있다. 표정 트레이닝 장치는 하기 수학식 10과 같이 표정 손실(1009) 을 산출할 수 있다.
[수학식 10]
표정 트레이닝 장치는 상술한 수학식 10에 따라 산출된 표정 손실(1009) 이 최소화되도록 표정 모델(1010)의 파라미터를 업데이트함으로써, 표정 모델(1010)을 트레이닝시킬 수 있다. 다만, 표정 손실(1009)의 함수를 상술한 바로 한정하는 것은 아니고, 설계에 따라 다양한 손실 함수가 사용될 수도 있다.
도 10에서 설명의 편의를 위하여, 표정 모델(1010) 및 발화 모델(1020)의 트레이닝을 순차적으로 설명하였으나, 이로 한정하는 것은 아니다. 표정 트레이닝 장치는 하나의 트레이닝 사이클 동안 표정 손실(1009) 및 발화 손실(1008)이 최소화되도록 표정 모델(1010) 및 발화 모델(1020)의 파라미터를 한꺼번에 업데이트할 수도 있다.
또한, 도 8 내지 도 10은 주로 표정 인식을 위한 표정 모델에 관해 설명하였으나, 이로 한정하는 것은 아니다. 표정 모델 대신 객체 모델이 발화 모델과 함께 트레이닝될 수도 있다.
예를 들어, 트레이닝 데이터는 트레이닝 데이터는 기준 이미지 및 기준 객체의 쌍을 포함할 수 있다. 객체 트레이닝 장치는 메모리로부터 트레이닝 데이터를 로딩하여 획득할 수 있다. 객체 트레이닝 장치는 객체 이미지로부터 객체 특징을 추출하는 객체 모델 및 객체 이미지로부터 발화 맵을 추출하는 발화 모델에 기초하여, 프로세서가 기준 이미지로부터 기준 객체를 출력하도록, 객체 모델의 파라미터 및 발화 모델의 파라미터를 트레이닝시킬 수 있다.
트레이닝 동안 객체 트레이닝 장치는 기준 이미지로부터 트레이닝 발화 맵 및 트레이닝 객체 특징을 추출할 수 있다. 객체 트레이닝 장치는 트레이닝 발화 맵 및 트레이닝 객체 특징에 기초하여 트레이닝 객체 레이블을 산출할 수 있다. 객체 트레이닝 장치는 트레이닝 객체 레이블 및 기준 객체 간의 객체 손실이 최소화되도록 객체 모델을 트레이닝시킬 수 있다. 또한, 표정 트레이닝 장치는 트레이닝 발화 맵으로부터 음성 정보를 복원할 수 있고, 복원된 음성 정보 및 기준 음성과의 발화 손실이 최소화되도록 발화 모델을 트레이닝시킬 수 있다.
설명의 편의를 위하여 생략하였으나, 도 8 내지 도 10의 나머지 동작들도 객체 트레이닝 장치에 적용될 수 있다. 예를 들어, 도 8 내지 도 10에서 동작은 표정 모델을 객체 모델로, 표정 특징을 객체 특징으로, 표정 레이블을 객체 레이블로, 기준 표정을 기준 객체로, 표정 손실을 객체 손실로 치환하여, 객체 트레이닝 장치에 적용될 수 있다.
도 11 및 도 12는 일 실시예에 따른 표정 인식 장치의 예시를 설명하는 도면이다.
도 11은 모바일 장치로 구현된 표정 인식 장치(1100)를 도시한다. 도 12는 로봇으로 구현된 표정 인식 장치(1200)를 도시한다. 또한, 표정 인식 장치(1100, 1200)는 스마트 TV 등과 같은 다양한 스마트 기기로 구현될 수도 있다.
일 실시예에 따른 표정 인식 장치(1100, 1200)는 객체가 말을 하는 상황에서도 객체의 표정을 정확하게 인식할 수 있다. 상술한 바와 같이, 표정 인식 장치(1100, 1200)는 발화 맵을 추출함으로써, 객체에서 표정과 연관된 부분에 집중하고, 발화와 연관된 부분에 덜 집중하여, 객체의 표정을 인식할 수 있다. 또한, 표정 인식 장치(1100, 1200)는 별도의 음성 신호의 획득 없이도 객체로부터 발화와 연관된 부분을 배제할 수 있다.
도 11 및 도 12는 주로 표정 인식 장치(1100, 1200)를 설명하였으나, 이로 한정하는 것은 아니다. 객체 인식 장치도 스마트 기기 등으로 구현될 수 있다.
또한, 도 1 내지 도 12에서 설명한 표정 인식 장치 및 객체 인식 장치는 단일 인식 기기로 통합되어 구현될 수도 있다. 예를 들어, 인식 기기는 표정 모델, 객체 모델, 및 발화 모델을 포함할 수 있다. 인식 기기는 표정 모델에 기초하여 추출한 표정 특징 및 객체 모델에 기초하여 객체 특징에 발화 모델에 기초한 발화 맵을 반전하여 적용함으로써 대상 벡터를 생성할 수 있다. 인식 기기는 대상 벡터에 기초하여 표정을 인식하거나 객체를 인식할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
600: 표정 인식 장치
610: 프로세서
620: 메모리
630: 이미지 획득부

Claims (20)

  1. 발화(speech)에 기초한 표정 인식 방법에 있어서,
    객체(object)를 포함하는 객체 이미지(object image)를 획득하는 단계;
    발화 모델(speech model)에 기초하여, 상기 객체 이미지로부터 발화 맵(speech map)을 추출하는 단계;
    표정 모델에 기초하여, 상기 객체 이미지로부터 표정 특징을 추출하는 단계; 및
    상기 표정 특징 및 상기 발화 맵에 기초하여, 상기 객체의 표정을 인식하는 단계
    를 포함하고,
    상기 발화 맵에 포함된 복수의 엘리먼트들의 각각은,
    상기 객체 이미지 중 해당 엘리먼트에 대응하는 픽셀이 발화와 연관된 정도(level)를 지시하는 세기 값(intensity value)을 가지는,
    발화에 기초한 표정 인식 방법.
  2. 제1항에 있어서,
    상기 객체의 표정을 인식하는 단계는,
    상기 발화 맵에 기초하여 상기 표정 특징 중 발화와 연관된 특징에 대응하는 값을 감소시키는 단계; 및
    상기 발화 맵에 기초하여 상기 표정 특징 중 발화와 연관되지 않은 특징에 대응하는 값을 증가시키는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  3. 제1항에 있어서,
    상기 발화 맵을 추출하는 단계는,
    상기 발화 모델에 기초하여, 상기 객체 이미지의 영역 별로 발화와 연관된 정도에 따라 가중치를 결정함으로써 상기 발화 맵을 생성하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  4. 제3항에 있어서,
    상기 발화 맵을 생성하는 단계는,
    상기 발화 모델에 기초하여, 상기 객체 이미지의 대상 영역(target area)이 발화와 연관된 정도가 클수록 상기 대상 영역에 대해 높은 가중치를 결정하는 단계; 및
    상기 발화 모델에 기초하여 상기 객체 이미지의 대상 영역이 발화와 연관된 정도가 작을수록 상기 대상 영역에 대해 낮은 가중치를 결정하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  5. 제1항에 있어서,
    상기 객체의 표정을 인식하는 단계는,
    상기 발화 맵을 반전(inverse)시키는 단계; 및
    상기 반전된 발화 맵 및 상기 표정 특징에 기초하여 상기 객체의 표정을 인식하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  6. 제5항에 있어서,
    상기 발화 맵을 반전시키는 단계는,
    미리 결정된 최대 값으로부터 상기 발화 맵의 값들을 차감함으로써, 상기 발화 맵을 반전시키는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  7. 제1항에 있어서,
    상기 발화 맵을 추출하는 단계는,
    상기 발화 모델에 기초하여, 상기 객체 이미지로부터 상기 객체의 발화에 대응하는 부분을 지시하는 발화 특징 벡터를 추출하는 단계
    를 포함하고,
    상기 표정 특징을 추출하는 단계는,
    상기 표정 모델에 기초하여, 상기 객체 이미지로부터 상기 객체의 표정에 대응하는 부분을 지시하는 표정 특징 벡터를 추출하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  8. 제7항에 있어서,
    상기 객체의 표정을 인식하는 단계는,
    상기 발화 특징 벡터를 반전시켜서 반전 벡터를 생성하는 단계;
    상기 반전 벡터를 상기 표정 특징 벡터에 적용하여 대상 벡터(target vector)를 생성하는 단계; 및
    상기 대상 벡터에 기초하여 상기 객체의 표정을 식별하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  9. 제8항에 있어서,
    상기 대상 벡터에 기초하여 상기 객체의 표정을 식별하는 단계는,
    상기 대상 벡터로부터, 복수의 표정 레이블들(face expression labels) 중 상기 객체의 표정에 대응하는 표정 레이블을 결정하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  10. 제8항에 있어서,
    상기 대상 벡터에 기초하여 상기 객체의 표정을 식별하는 단계는,
    상기 대상 벡터를 정규화함으로써, 정규화된 벡터를 생성하는 단계; 및
    상기 정규화된 벡터에 기초하여 상기 객체의 표정을 식별하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  11. 제1항에 있어서,
    상기 객체의 표정을 인식하는 단계는,
    상기 객체의 음성 신호를 표정 인식으로부터 배제하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  12. 제1항에 있어서,
    상기 객체 이미지를 획득하는 단계는,
    상기 객체와 연관된, 복수의 연속된 프레임 이미지들을 포함하는 입력 이미지를 획득하는 단계; 및
    상기 복수의 프레임 이미지들 중 하나의 프레임 이미지를 순차적으로 상기 객체 이미지로 선택하는 단계
    를 포함하고,
    상기 객체의 표정을 인식하는 단계는,
    상기 복수의 프레임 이미지들의 각각에 대하여 순차적으로 상기 객체의 표정을 인식하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  13. 제1항에 있어서,
    상기 객체와 연관된 음성 신호를 획득하는 단계
    를 더 포함하고,
    상기 발화 맵을 추출하는 단계는,
    상기 음성 신호에 더 기초하여, 상기 객체 이미지로부터 상기 발화 맵을 추출하는 단계
    를 포함하는 발화에 기초한 표정 인식 방법.
  14. 제1항 내지 제13항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  15. 발화에 기초한 객체 인식 방법에 있어서,
    객체를 포함하는 객체 이미지를 획득하는 단계;
    발화 모델에 기초하여, 상기 객체 이미지로부터 발화 맵을 추출하는 단계;
    객체 모델에 기초하여, 상기 객체 이미지로부터 객체 특징을 추출하는 단계; 및
    상기 객체 특징 및 상기 발화 맵에 기초하여, 상기 객체를 인식하는 단계
    를 포함하고,
    상기 발화 맵에 포함된 복수의 엘리먼트들의 각각은,
    상기 객체 이미지 중 해당 엘리먼트에 대응하는 픽셀이 발화와 연관된 정도(level)를 지시하는 세기 값(intensity value)을 가지는,
    발화에 기초한 객체 인식 방법.
  16. 발화에 기초한 표정 트레이닝 방법에 있어서,
    기준 이미지(reference image) 및 기준 표정(reference face expression)을 획득하는 단계; 및
    객체 이미지로부터 표정 특징을 추출하는 표정 모델 및 상기 객체 이미지로부터 발화 맵을 추출하는 발화 모델에 기초하여, 프로세서가 상기 기준 이미지로부터 상기 기준 표정을 출력하도록, 상기 표정 모델의 파라미터 및 상기 발화 모델의 파라미터를 트레이닝시키는 단계
    를 포함하고,
    상기 발화 맵에 포함된 복수의 엘리먼트들의 각각은,
    상기 객체 이미지 중 해당 엘리먼트에 대응하는 픽셀이 발화와 연관된 정도(level)를 지시하는 세기 값(intensity value)을 가지는,
    발화에 기초한 표정 트레이닝 방법.
  17. 제16항에 있어서,
    상기 기준 이미지 및 상기 기준 표정을 획득하는 단계는,
    상기 기준 이미지에 대응하는 기준 음성을 더 획득하는 단계
    를 포함하고,
    상기 트레이닝시키는 단계는,
    상기 발화 모델에 기초하여 상기 기준 이미지로부터 추출된, 발화 맵으로부터 음성 정보를 복원하는 단계; 및
    상기 복원된 음성 정보 및 상기 기준 음성 간의 발화 손실을 최소화함으로써 상기 발화 모델을 트레이닝시키는 단계
    를 포함하는 발화에 기초한 표정 트레이닝 방법.
  18. 제16항에 있어서,
    상기 트레이닝시키는 단계는,
    상기 표정 모델 및 상기 발화 모델에 기초하여 상기 기준 이미지로부터 인식되는 표정 및 상기 기준 표정 간의 표정 손실을 최소화함으로써 상기 표정 모델을 트레이닝시키는 단계
    를 포함하는 발화에 기초한 표정 트레이닝 방법.
  19. 제18항에 있어서,
    상기 트레이닝시키는 단계는,
    상기 표정 모델에 기초하여 상기 기준 이미지로부터 추출된 표정 특징에 상기 발화 모델에 기초하여 상기 기준 이미지로부터 추출된 발화 맵을 적용하는 단계; 및
    상기 발화 맵이 적용된 표정 특징에 기초하여 결정된 표정 레이블 및 상기 기준 표정에 대응하는 레이블 간의 표정 손실을 최소화하는 단계
    를 더 포함하는 발화에 기초한 표정 트레이닝 방법.
  20. 제19항에 있어서,
    상기 발화 맵을 적용하는 단계는,
    상기 기준 이미지로부터 추출된 발화 맵을 반전시킨, 반전된 발화 맵을 상기 기준 이미지로부터 추출된 표정 특징에 반영하는 단계
    를 포함하는 발화에 기초한 표정 트레이닝 방법.
KR1020180002105A 2018-01-08 2018-01-08 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법 Active KR102564855B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180002105A KR102564855B1 (ko) 2018-01-08 2018-01-08 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
CN201811183633.5A CN110020580B (zh) 2018-01-08 2018-10-11 识别对象和面部表情的方法以及训练面部表情的方法
EP18208336.0A EP3509011B1 (en) 2018-01-08 2018-11-26 Apparatuses and methods for recognizing a facial expression robust against change in facial expression
JP2018230089A JP7097801B2 (ja) 2018-01-08 2018-12-07 表情認識方法、オブジェクト認識方法、表情認識装置及び表情トレーニング方法
US16/225,084 US10885317B2 (en) 2018-01-08 2018-12-19 Apparatuses and methods for recognizing object and facial expression robust against change in facial expression, and apparatuses and methods for training

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002105A KR102564855B1 (ko) 2018-01-08 2018-01-08 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190093714A KR20190093714A (ko) 2019-08-12
KR102564855B1 true KR102564855B1 (ko) 2023-08-08

Family

ID=64477032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002105A Active KR102564855B1 (ko) 2018-01-08 2018-01-08 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법

Country Status (5)

Country Link
US (1) US10885317B2 (ko)
EP (1) EP3509011B1 (ko)
JP (1) JP7097801B2 (ko)
KR (1) KR102564855B1 (ko)
CN (1) CN110020580B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806107B2 (ja) * 2018-03-20 2021-01-06 日本電気株式会社 障害物認識支援装置、障害物認識支援方法、プログラム
US10861483B2 (en) * 2018-11-29 2020-12-08 i2x GmbH Processing video and audio data to produce a probability distribution of mismatch-based emotional states of a person
CN110556129B (zh) * 2019-09-09 2022-04-19 北京大学深圳研究生院 双模态情感识别模型训练方法及双模态情感识别方法
CN111639536A (zh) * 2020-04-29 2020-09-08 深圳壹账通智能科技有限公司 面审欺诈辅助识别方法、装置、电子设备及存储介质
CN111582136B (zh) * 2020-04-30 2024-04-16 京东方科技集团股份有限公司 表情识别方法及装置、电子设备、存储介质
WO2021257000A1 (en) * 2020-06-19 2021-12-23 National University Of Singapore Cross-modal speaker verification
CN111738172B (zh) * 2020-06-24 2021-02-12 中国科学院自动化研究所 基于特征对抗学习和自相似性聚类的跨域目标重识别方法
CN112149599B (zh) * 2020-09-29 2024-03-08 网易（杭州）网络有限公司 表情追踪方法、装置、存储介质和电子设备
KR102645698B1 (ko) 2020-10-28 2024-03-11 한국전자통신연구원 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치
CN112418115A (zh) * 2020-11-27 2021-02-26 湖南师范大学 一种基于改进ssd模型的口罩佩戴检测方法
CN112651319B (zh) * 2020-12-21 2023-12-05 科大讯飞股份有限公司 一种视频检测方法、装置、电子设备及存储介质
CN112650399B (zh) * 2020-12-22 2023-12-01 科大讯飞股份有限公司 表情推荐方法及装置
CN112579815A (zh) * 2020-12-28 2021-03-30 苏州源睿尼科技有限公司 一种表情数据库的实时训练方法以及表情数据库的反馈机制
CN113065449B (zh) * 2021-03-29 2022-08-19 济南大学 面部图像采集方法、装置、计算机设备及存储介质
US11688106B2 (en) 2021-03-29 2023-06-27 International Business Machines Corporation Graphical adjustment recommendations for vocalization
EP4080331A1 (fr) * 2021-04-19 2022-10-26 Dynamixyz Casque
CN113159002B (zh) * 2021-05-26 2023-04-07 重庆大学 一种基于自注意力权重辅助模块的人脸表情识别方法
US20240378783A1 (en) * 2021-09-06 2024-11-14 Nippon Telegraph And Telephone Corporation Image processing device, learning device, image processing method, learning method, image processing program, and learning program
KR102665453B1 (ko) * 2022-01-17 2024-05-10 엔에이치엔 주식회사 시선인식 기반 맞춤형 콘텐츠를 제공하는 장치 및 방법
US20240161376A1 (en) * 2022-11-11 2024-05-16 Fujitsu Limited Avatar control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
JP2017120609A (ja) * 2015-12-24 2017-07-06 カシオ計算機株式会社 感情推定装置、感情推定方法及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868383B1 (en) * 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
JP2005293539A (ja) 2004-03-08 2005-10-20 Matsushita Electric Works Ltd 表情認識装置
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
JP5106355B2 (ja) 2008-11-13 2012-12-26 キヤノン株式会社 表情判定装置、その制御方法、撮像装置及びプログラム
TW201039251A (en) 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
JP2011013731A (ja) 2009-06-30 2011-01-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
KR20110026137A (ko) 2009-09-07 2011-03-15 에스케이텔레콤 주식회사 영상통화 중 감정 전달 시스템 및 방법
KR101738580B1 (ko) 2010-12-30 2017-06-08 에스케이플래닛 주식회사 표정 인식 기반 음원 제공 시스템 및 서비스
CN102637071A (zh) 2011-02-09 2012-08-15 英华达(上海)电子有限公司 应用于多媒体输入设备的多媒体输入方法
WO2013077076A1 (ja) 2011-11-24 2013-05-30 株式会社エヌ・ティ・ティ・ドコモ 表情出力装置及び表情出力方法
KR101956166B1 (ko) * 2012-04-17 2019-03-08 삼성전자주식회사 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치
KR101309954B1 (ko) 2012-07-20 2013-09-17 고려대학교 산학협력단 대화형 표정 인식 장치 및 방법과 이에 관한 기록매체
US9600711B2 (en) 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
US9547808B2 (en) 2013-07-17 2017-01-17 Emotient, Inc. Head-pose invariant recognition of facial attributes
KR101571888B1 (ko) 2014-02-07 2015-11-25 세종대학교산학협력단 표정 인식을 이용한 영상 추출 장치 및 방법
JP2015169977A (ja) * 2014-03-05 2015-09-28 日本電気通信システム株式会社 本人認証装置、本人認証方法、本人認証プログラム、および自動取引システム
WO2015139231A1 (en) 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
KR101788709B1 (ko) 2014-08-25 2017-10-20 주식회사 룩시드랩스 표정을 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101602828B1 (ko) 2014-09-01 2016-03-14 유형근 얼굴인식형 인터랙티브 디지털 사이니지장치
US9928410B2 (en) * 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
KR20160098581A (ko) * 2015-02-09 2016-08-19 홍익대학교 산학협력단 얼굴 인식 및 화자 인식이 융합된 인증 방법
US9690817B2 (en) 2015-09-01 2017-06-27 International Business Machines Corporation Song selection using a heart rate change and a facial expression monitored with a camera
US10255487B2 (en) 2015-12-24 2019-04-09 Casio Computer Co., Ltd. Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
KR101728635B1 (ko) 2016-05-31 2017-04-20 연세대학교 산학협력단 표정을 인식하기 위한 장치 및 방법
KR101759444B1 (ko) 2016-08-25 2017-07-18 연세대학교 산학협력단 착용형 헤드셋을 이용한 표정 인식 장치 및 그 방법
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
CN107169413B (zh) * 2017-04-12 2021-01-12 上海大学 一种基于特征块权重化的面部表情识别方法
US11024041B2 (en) * 2018-12-10 2021-06-01 Intel Corporation Depth and motion estimations in machine learning environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
JP2017120609A (ja) * 2015-12-24 2017-07-06 カシオ計算機株式会社 感情推定装置、感情推定方法及びプログラム

Also Published As

Publication number Publication date
EP3509011B1 (en) 2024-07-03
US20190213399A1 (en) 2019-07-11
US10885317B2 (en) 2021-01-05
CN110020580A (zh) 2019-07-16
EP3509011A1 (en) 2019-07-10
JP7097801B2 (ja) 2022-07-08
CN110020580B (zh) 2024-06-04
KR20190093714A (ko) 2019-08-12
JP2019121374A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
KR102564855B1 (ko) 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
KR102564857B1 (ko) 데이터 인식 및 트레이닝 장치 및 방법
KR102374747B1 (ko) 객체를 인식하는 장치 및 방법
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR102734298B1 (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
KR102308871B1 (ko) 객체의 속성에 기반하여 객체를 인식 및 트레이닝하는 방법 및 장치
KR102564854B1 (ko) 정규화된 표현력에 기초한 표정 인식 방법, 표정 인식 장치 및 표정 인식을 위한 학습 방법
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
KR20200045647A (ko) 데이터 인식 장치 및 방법과 트레이닝 장치 및 방법
US20180157892A1 (en) Eye detection method and apparatus
EP3674974B1 (en) Apparatus and method with user verification
KR20200083119A (ko) 사용자 인증 장치 및 방법
KR102796793B1 (ko) 변환 모델을 이용한 인증 방법 및 장치
KR20170057118A (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
Subarna et al. Real time facial expression recognition based on deep convolutional spatial neural networks
KR20200140571A (ko) 데이터 인식 방법 및 장치
Mehta et al. Face recognition using neuro-fuzzy inference system
Low et al. Learning hierarchical representation using siamese convolution neural network for human re-identification
CN113128289B (zh) 人脸识别的特征提取计算方法及设备
KR20220136009A (ko) 입력 데이터를 분류하는 방법과 장치 및 입력 데이터의 도용 여부를 분류하는 방법
CN119559406A (zh) 一种针对反跟踪目标的鲁棒识别跟踪方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180108

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201211

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20180108

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221115

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230530

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230803

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230804

End annual number: 3

Start annual number: 1

PG1601 Publication of registration