[go: up one dir, main page]

KR20110129042A - 표정인식을 이용한 휴대 기기의 상호작용 방법 - Google Patents

표정인식을 이용한 휴대 기기의 상호작용 방법 Download PDF

Info

Publication number
KR20110129042A
KR20110129042A KR1020100048443A KR20100048443A KR20110129042A KR 20110129042 A KR20110129042 A KR 20110129042A KR 1020100048443 A KR1020100048443 A KR 1020100048443A KR 20100048443 A KR20100048443 A KR 20100048443A KR 20110129042 A KR20110129042 A KR 20110129042A
Authority
KR
South Korea
Prior art keywords
user
recognition
facial expression
adaboost
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100048443A
Other languages
English (en)
Other versions
KR101159962B1 (ko
Inventor
한헌수
한영준
홍용희
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020100048443A priority Critical patent/KR101159962B1/ko
Publication of KR20110129042A publication Critical patent/KR20110129042A/ko
Application granted granted Critical
Publication of KR101159962B1 publication Critical patent/KR101159962B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것으로, 더욱 세부적으로는 휴대 기기의 카메라에서 획득된 사용자가 포함된 이미지에서 얼굴의 위치와 크기와 및 표정을 인식하여 휴대 기기와 상호작용하는 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것이다. 이미지에서 실시간 얼굴 검출 및 인식이 보장된 Adaboost 인식 알고리즘을 기반으로 하는 휴대 기기(20)의 카메라(21)를 통해 사용자(10) 얼굴을 촬영하는 제10단계(S10)와; 상기 촬영된 카메라(21) 영상에서 얼굴의 위치 및 크기 인식 후 얼굴 이미지를 표정별 Adaboost 인식기(22)를 통해 출력된 인식 값을 신경망(24)에 입력하고, 상기 신경망(24)의 출력을 이용하여 최종적으로 사용자(10) 표정을 구분하는 제20단계(S20)와; 상기 카메라(21)를 통해 사용자(10)의 표정을 실시간 촬영하면서 신경망(24) 출력 값을 이용하여 휴대 기기(20) 프로그램의 출력을 제어하는 제30단계(S30)를 포함한다. 따라서, 본 발명은 시스템 자원이 부족한 휴대 기기 환경에서 빠르면서도 정확한 표정인식 알고리즘을 이용하여 실시간 표정인식을 할 수 있고, 휴대 기기에서 실시간 표정인식을 바탕으로 프로그램과 사용자간의 친인간적인 상호작용이 가능한 효과가 있다.

Description

표정인식을 이용한 휴대 기기의 상호작용 방법{Facial Expression Recognition Interaction Method between Mobile Machine and Human}
본 발명은 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것으로, 더욱 세부적으로는 휴대 기기의 카메라에서 획득된 사용자가 포함된 이미지에서 얼굴의 위치와 크기와 및 표정을 인식하여 휴대 기기와 상호작용하는 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것이다.
얼굴 표정의 특징 추출을 기준으로 기존 연구를 분류하면 크게 두 가지 방법인, 모델 기반(model-based) 방법과 영상 기반(image-based) 방법으로 나눌 수 있다.
상기 모델 기반(model-based) 방법으로 삼차원 그물 모양(메시, mesh) 모델을 이차원 얼굴 영상에 맞추어 얼굴 표정을 나타낼 때 근육 움직임의 최대치로 얼굴표정을 구분하는 방법이 있으며, 얼굴을 AAM(Active Appearance Models) 방법을 이용하여 얼굴 조명 변화(facial illumination)와 얼굴 변형(deformation change)과 같은 서로 다른 영역에서 정보를 얻어 얼굴 표정을 구분하는 방법 등이 있다.
상기 영상 기반(image-based) 방법은 전체 얼굴을 하나의 특징으로 사용하여 가버 웨이블릿(gabor wavelet)으로 분류하는 방법이 있으며, 입과 눈 주위의 영역으로부터 얼굴 표정을 추출하여 PCA(Principal Component Analysis)를 이용하는 방법 등이 있다.
그러나, 상기 모델 기반 방법은 가려짐 현상에 강인하지만 얼굴의 특징들을 정합하는 시간과 정밀한 표정을 구분하기 위해 높은 해상도의 입력을 요구하며, 이는 비교적 연산 수행 능력이 떨어지는 휴대 기기에 적용하기에 적합하지 않다.
또한, 기존의 휴대 기기에서는 게임이나 가상 애완 동물 프로그램과 같이 사용자가 기기에 일방적으로 의사 전달하여 진행되는 단점이 있다.
상술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 휴대 기기에 부착되어 있는 카메라를 통해 얻은 사용자의 얼굴 이미지에서 실시간이 보장된 Discrete Adaboost와 신경망을 조합하여 실행속도와 정확성을 높인 표정인식 기능을 이용하여 프로그램이 사용자의 상태를 파악하여 사용자 상태에 따라 적합한 질문과 행동과 같은 반응을 하여 사용자와 휴대 기기간의 상호작용이 가능하도록 하는 표정인식을 이용한 휴대 기기의 상호작용 방법을 제공하는데 목적이 있다.
목적을 달성하기 위한 방법으로는 이미지에서 실시간 얼굴 검출 및 인식이 보장된 Adaboost 인식 알고리즘을 기반으로 하는 휴대 기기의 카메라를 통해 사용자 얼굴을 촬영하는 제10단계와; 상기 촬영된 카메라 영상에서 얼굴의 위치 및 크기 인식 후 얼굴 이미지를 표정별 Adaboost 인식기를 통해 출력된 인식 값을 신경망에 입력하고, 상기 신경망의 출력을 이용하여 최종적으로 사용자 표정을 구분하는 제20단계와; 상기 카메라를 통해 사용자의 표정을 실시간 촬영하면서 신경망 출력 값을 이용하여 휴대 기기 프로그램의 출력을 제어하는 제30단계를 포함한다.
본 발명의 다른 특징으로는 휴대 기기의 카메라를 통해 사용자의 얼굴이 포함된 이미지가 인식기로 입력되는 제21단계와; 인식기에서 Discrete Adaboost 인식 알고리즘을 이용하여 얼굴의 크기와 위치를 파악하는 제22단계와; 검출된 얼굴 이미지를 획득하는 제23단계와; 상기 획득한 사용자 얼굴을 각 표정별로 학습된 Discrete Adaboost 알고리즘의 강분류기에 입력하여 각 표정에 해당하는 강분류기의 값을 얻는 제24단계와; 상기 강분류기에서 얻은 각 표정 강분류기 값을 학습된 신경망에 입력하는 제25단계와; 상기 신경망을 통해 최종적으로 휴대 기기 사용자의 표정을 인식하는 제26단계를 포함한다.
본 발명의 또 다른 특징으로는 휴대 기기의 카메라에서 사용자의 얼굴이 포함된 이미지를 획득하는 제31단계와; Discrete Adaboost 알고리즘과 신경망 알고리즘을 통해 출력된 사용자 표정을 인식하는 제32단계와; 사용자의 표정인식 결과에 따라 어떠한 질문 및 행동을 할지 결정하는 제33단계와; 인식된 사용자의 표정에 따라 사용자에게 질문 및 행동을 실행하는 제34단계와; 사용자의 프로그램 종료 여부 결정에 따라 프로그램을 종료할 것인지 또는 다시 사용자의 표정을 인식하여 그에 따른 질문 및 행동을 취할 것인지 결정하는 제35단계를 포함한다.
상기한 바와 같이, 본 발명은 시스템 자원이 부족한 휴대 기기 환경에서 빠르면서도 정확한 표정인식 알고리즘을 이용하여 실시간 표정인식을 할 수 있고, 휴대 기기에서 실시간 표정인식을 바탕으로 프로그램과 사용자간의 친인간적인 상호작용이 가능한 효과가 있다.
도 1은 본 발명에 따른 휴대 기기를 이용하여 표정인식을 설명하기 위한 실시 예.
도 2는 본 발명에 따른 휴대 기기를 이용한 표정인식 과정을 나타내는 블럭도.
도 3은 본 발명에 따른 사용자 표정인식을 이용한 휴대 기기의 상호작용 방법의 순서도.
도 4는 본 발명에 따른 인식기 및 신경망을 이용하여 사용자 표정을 구분하는 세부 구성도.
도 5는 본 발명에 따른 휴대 기기 프로그램 제어 과정을 나타낸 세부 구성도.
도 1은 본 발명에 따른 휴대 기기를 이용하여 표정인식을 설명하기 위한 실시 예이고, 도 2는 본 발명에 따른 휴대 기기를 이용한 표정인식 과정을 나타내는 블럭도이고, 도 3은 본 발명에 따른 사용자 표정인식을 이용한 휴대 기기의 상호작용 방법의 순서도이고, 도 4는 본 발명에 따른 인식기 및 신경망을 이용하여 사용자 표정을 구분하는 세부 구성도이고, 도 5는 본 발명에 따른 휴대 기기 프로그램 제어 과정을 나타낸 세부 구성도이다.
이하, 도면을 참고로 구성요소를 설명하면 다음과 같다.
본 발명은 영상 기반의 방법으로 Discrete Adaboost와 신경망의 조합을 이용하여 휴대 기기에서 실시간 표정 인식이 가능하게 하며, 실시간 표정인식 결과를 이용하여 휴대 기기와 사용자의 실시간 상호작용이 가능하도록 하는 것으로, 도 1은 본 발명의 휴대 기기를 이용하여 표정인식을 설명하기 위한 실시 예로서, 사용자(10)가 휴대 기기(20)에 구비되는 카메라(21)를 통해 얼굴을 촬영하게 된다.
도 2는 본 발명의 휴대 기기를 이용한 표정인식 과정을 나타내는 블럭도로서, 휴대 기기(20)의 카메라(21)를 통해 입력된 사용자(10) 얼굴 표정은 휴대 기기(20) 내부에 구비되는 인식기(22)와 신경망(24)을 거쳐 휴대 기기(20)의 프로그램(게임이나 가상 애완동물 등) 출력시 촬영된 사용자(10) 얼굴 표정 상태를 반영하여 출력시킨다.
상기와 같이 구성되는 본 발명의 표정인식을 이용한 휴대 기기(20)의 상호 작용 방법을 도 3 내지 도 5를 참고하여 설명하면 다음과 같다.
도 3에서는 사용자(10) 표정인식을 이용한 휴대 기기(20)의 상호작용 방법의 순서도를 나타내는데, 이미지에서 실시간 얼굴 검출 및 인식이 보장된 Adaboost 인식 알고리즘을 기반으로 하는 휴대 기기(20)의 카메라(21)를 통해 사용자(10) 얼굴을 촬영하는 제10단계(S10)와, 상기 촬영된 카메라(21) 영상에서 얼굴의 위치 및 크기 인식 후 얼굴 이미지를 표정별 Adaboost 인식기(22)를 통해 출력된 인식 값을 신경망(24)에 입력하고, 상기 신경망(24)의 출력을 이용하여 최종적으로 사용자(10) 표정을 구분하는 제20단계(S20)와, 상기 카메라(21)를 통해 사용자(10)의 표정을 실시간 촬영하면서 신경망(24) 출력 값을 이용하여 휴대 기기(20) 프로그램의 출력을 제어하는 제30단계(S30)를 포함한다.
상기 인식기(22) 및 신경망(24)을 이용하여 사용자 표정을 구분하는 제20단계(S20)는 도 4와 같이, 휴대 기기(20)의 카메라(21)를 통해 사용자(10)의 얼굴이 포함된 이미지가 인식기(22)로 입력되는 제21단계(S21)와, 상기 인식기(22)에서 Discrete Adaboost 인식 알고리즘을 이용하여 얼굴의 크기와 위치를 파악하는 제22단계(S22)와, 검출된 얼굴 이미지를 획득하는 제23단계(S23)와, 상기 획득한 사용자(10) 얼굴을 각 표정별로 학습된 Discrete Adaboost 알고리즘의 강분류기(23)에 입력하여 각 표정에 해당하는 강분류기(23)의 값을 얻는 제24단계(S24)와, 상기 강분류기(23)에서 얻은 각 표정 강분류기(23) 값을 학습된 신경망(24)에 입력하는 제25단계(S25)와, 상기 신경망(24)을 통해 최종적으로 휴대 기기(20) 사용자(10)의 표정을 인식하는 제26단계(S26)를 포함한다.
상기 강분류기(23)는 행복 Adaboost 강분류기, 슬픔 Adaboost 강분류기, 평온 Adaboost 강분류기, 놀람 Adaboost 강분류기, 화남 Adaboost 강분류기, 역겨움 Adaboost 강분류기, 무서움 Adaboost 강분류기로 구성되고, 상기 신경망(24)을 통해 출력되는 값은 행복, 슬픔, 평온, 놀람, 화남, 역겨움, 무서움 표정인식 중 카메라(21)로 입력되는 사용자(10)의 얼굴 표정과 일치되는 값이 출력된다.
본 발명에서는 실시간이 보장된 Discrete Adaboost 알고리즘을 이용하여 얼굴과 비얼굴을 학습 후 입력된 영상에서 얼굴의 위치와 크기를 찾은 후에 얻어진 얼굴 이미지에 각 표정별로 학습된 Discrete Adaboost 알고리즘의 강분류기(23)를 이용하여 각 표정별로 수치를 얻는다.
상기와 같이 얻은 각 표정별 수치를 신경망(24)에 입력하여 최종적으로 사용자(10)가 어떠한 표정을 짓고 있는지 인식하며, 이때 각 표정별 Discrete Adaboost 알고리즘의 강분류기(23) 출력 값을 신경망(24)의 입력 값으로 이용하게 되면 일반적인 문턱 값을 이용한 방법에 비해 높은 인식 정확성을 확보할 수 있다.
실시간이 보장된 Adaboost 알고리즘의 비중을 늘리고 비교적 느린 신경망(24)의 비중을 줄임으로서 휴대 기기(20)에서도 정확성이 높은 실시간 표정인식 시스템을 구성할 수 있으며, 인식한 얼굴 표정을 바탕으로 사용자(10)에게 적당한 질문과 행동을 프로그램이 실시간으로 취하여 휴대 기기(20)와 사용자(10)간의 상호작용을 가능하게 한다.
상기 휴대 기기(20)의 프로그램 출력을 제어하는 제30단계(S30)는 도 5와 같이, 휴대 기기(20)의 카메라(21)에서 사용자(10)의 얼굴이 포함된 이미지를 획득하는 제31단계(S31)와, Discrete Adaboost 알고리즘과 신경망(24) 알고리즘을 통해 출력된 사용자(10) 표정을 인식하는 제32단계(S32)와, 사용자(10)의 표정인식 결과에 따라 어떠한 질문 및 행동을 할지 결정하는 제33단계(S33)와, 인식된 사용자(10)의 표정에 따라 사용자(10)에게 질문 및 행동을 실행하는 제34단계(S34)와, 사용자(10)의 프로그램 종료 여부 결정에 따라 프로그램을 종료할 것인지 또는 다시 사용자(10)의 표정을 인식하여 그에 따른 질문 및 행동을 취할 것인지 결정하는 제35단계(S35)를 포함한다.
따라서, 본 발명은 휴대 기기(20)에 부착되어 있는 카메라(21)를 통해 얻은 사용자(10)의 얼굴 이미지에서 실시간이 보장된 Discrete Adaboost와 신경망(24)을 조합하여 실행속도와 정확성을 높인 표정인식 기능을 이용하여 프로그램이 사용자(10)의 상태를 파악하여 사용자(10) 상태에 따라 적합한 질문과 행동과 같은 반응을 하여 사용자(10)와 휴대 기기(20)간의 상호작용이 가능하다.
본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
10 : 사용자 20 : 휴대 기기
21 : 카메라 22 : 인식기
23 : 강분류기 24 : 신경망

Claims (4)

  1. 표정인식을 이용한 휴대 기기의 상호작용 방법에 있어서,
    이미지에서 실시간 얼굴 검출 및 인식이 보장된 Adaboost 인식 알고리즘을 기반으로 하는 휴대 기기(20)의 카메라(21)를 통해 사용자(10) 얼굴을 촬영하는 제10단계(S10)와;
    상기 촬영된 카메라(21) 영상에서 얼굴의 위치 및 크기 인식 후 얼굴 이미지를 표정별 Adaboost 인식기(22)를 통해 출력된 인식 값을 신경망(24)에 입력하고, 상기 신경망(24)의 출력을 이용하여 최종적으로 사용자(10) 표정을 구분하는 제20단계(S20)와;
    상기 카메라(21)를 통해 사용자(10)의 표정을 실시간 촬영하면서 신경망(24) 출력 값을 이용하여 휴대 기기(20) 프로그램의 출력을 제어하는 제30단계(S30)를 포함하는 것을 특징으로 하는 표정인식을 이용한 휴대 기기의 상호작용 방법.
  2. 제 1항에 있어서, 상기 제20단계(S20)는
    휴대 기기(20)의 카메라(21)를 통해 사용자(10)의 얼굴이 포함된 이미지가 인식기(22)로 입력되는 제21단계(S21)와;
    인식기(22)에서 Discrete Adaboost 인식 알고리즘을 이용하여 얼굴의 크기와 위치를 파악하는 제22단계(S22)와;
    검출된 얼굴 이미지를 획득하는 제23단계(S23)와;
    상기 획득한 사용자(10) 얼굴을 각 표정별로 학습된 Discrete Adaboost 알고리즘의 강분류기(23)에 입력하여 각 표정에 해당하는 강분류기(23)의 값을 얻는 제24단계(S24)와;
    상기 강분류기(23)에서 얻은 각 표정 강분류기(23) 값을 학습된 신경망(24)에 입력하는 제25단계(S25)와;
    상기 신경망(24)을 통해 최종적으로 휴대 기기(20) 사용자(10)의 표정을 인식하는 제26단계(S26)를 포함하는 것을 특징으로 하는 표정인식을 이용한 휴대 기기의 상호작용 방법.
  3. 제 2항에 있어서,
    상기 강분류기(23)는 행복 Adaboost 강분류기, 슬픔 Adaboost 강분류기, 평온 Adaboost 강분류기, 놀람 Adaboost 강분류기, 화남 Adaboost 강분류기, 역겨움 Adaboost 강분류기, 무서움 Adaboost 강분류기로 구성되고, 상기 신경망(24)을 통해 출력되는 값은 행복, 슬픔, 평온, 놀람, 화남, 역겨움, 무서움 표정인식 중 카메라(21)로 입력되는 사용자(10)의 얼굴 표정과 일치되는 값이 출력되는 것을 특징으로 하는 표정인식을 이용한 휴대 기기의 상호작용 방법.
  4. 제 1항에 있어서, 상기 제30단계(S30)는
    휴대 기기(20)의 카메라(21)에서 사용자(10)의 얼굴이 포함된 이미지를 획득하는 제31단계(S31)와;
    Discrete Adaboost 알고리즘과 신경망(24) 알고리즘을 통해 출력된 사용자(10) 표정(얼굴 위치와 크기 검출 및 표정)을 인식하는 제32단계(S32)와;
    사용자(10)의 표정인식 결과에 따라 어떠한 질문 및 행동을 할지 결정하는 제33단계(S33)와;
    인식된 사용자(10)의 표정에 따라 사용자(10)에게 질문 및 행동을 실행하는 제34단계(S34)와;
    사용자(10)의 프로그램 종료 여부 결정에 따라 프로그램을 종료할 것인지 또는 다시 사용자(10)의 표정을 인식하여 그에 따른 질문 및 행동을 취할 것인지 결정하는 제35단계(S35)를 포함하는 것을 특징으로 하는 표정인식을 이용한 휴대 기기의 상호작용 방법.
KR1020100048443A 2010-05-25 2010-05-25 표정인식을 이용한 휴대 기기의 상호작용 방법 Expired - Fee Related KR101159962B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100048443A KR101159962B1 (ko) 2010-05-25 2010-05-25 표정인식을 이용한 휴대 기기의 상호작용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100048443A KR101159962B1 (ko) 2010-05-25 2010-05-25 표정인식을 이용한 휴대 기기의 상호작용 방법

Publications (2)

Publication Number Publication Date
KR20110129042A true KR20110129042A (ko) 2011-12-01
KR101159962B1 KR101159962B1 (ko) 2012-06-25

Family

ID=45498334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100048443A Expired - Fee Related KR101159962B1 (ko) 2010-05-25 2010-05-25 표정인식을 이용한 휴대 기기의 상호작용 방법

Country Status (1)

Country Link
KR (1) KR101159962B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559813A (zh) * 2013-11-07 2014-02-05 大连东方之星信息技术有限公司 一种应用认知度方法的统计分析方法
WO2014152015A1 (en) * 2013-03-15 2014-09-25 JIBO, Inc. Apparatus and methods for providing a persistent companion device
USD746886S1 (en) 2014-05-23 2016-01-05 JIBO, Inc. Robot
KR20160037424A (ko) * 2014-09-29 2016-04-06 동명대학교산학협력단 개선된 리얼 아다부스트 알고리즘에 근거한 새로운 멀티 뷰 얼굴감지방식
CN105528078A (zh) * 2015-12-15 2016-04-27 小米科技有限责任公司 控制电子设备的方法及装置
FR3028221A1 (fr) * 2014-11-12 2016-05-13 Peugeot Citroen Automobiles Sa Interface homme/machine et procede de controle de fonctions d’un vehicule par detection de mouvement et/ou d’expression du conducteur
EP3355174A4 (en) * 2015-09-21 2019-06-12 Chigoo Interactive Technology Co., Ltd. MULTIMEDIA TERMINAL USED FOR AIRPORT SERVICE, AND DISPLAY METHOD FOR MULTIMEDIA TERMINAL
US10357881B2 (en) 2013-03-15 2019-07-23 Sqn Venture Income Fund, L.P. Multi-segment social robot
US10360467B2 (en) 2014-11-05 2019-07-23 Samsung Electronics Co., Ltd. Device and method to generate image using image learning model
US10839563B2 (en) 2017-12-20 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image interaction

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559812B (zh) * 2013-11-07 2016-01-20 大连东方之星信息技术有限公司 一种教育督导评价报告生成系统
CN105160299B (zh) * 2015-07-31 2018-10-09 华南理工大学 基于贝叶斯融合稀疏表示分类器的人脸情感识别方法
CN106372624B (zh) * 2016-10-15 2020-04-14 杭州艾米机器人有限公司 人脸识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828411B1 (ko) * 2006-10-20 2008-05-09 연세대학교 산학협력단 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
KR100977528B1 (ko) * 2008-06-27 2010-08-23 가톨릭대학교 산학협력단 얼굴 표정 인식 방법 및 이를 사용하는 영상 콘텐츠 감상용 로봇의 동작 방법

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10357881B2 (en) 2013-03-15 2019-07-23 Sqn Venture Income Fund, L.P. Multi-segment social robot
CN105409197A (zh) * 2013-03-15 2016-03-16 趣普科技公司 用于提供持久伙伴装置的设备和方法
US11148296B2 (en) 2013-03-15 2021-10-19 Ntt Disruption Us, Inc. Engaging in human-based social interaction for performing tasks using a persistent companion device
US10391636B2 (en) 2013-03-15 2019-08-27 Sqn Venture Income Fund, L.P. Apparatus and methods for providing a persistent companion device
WO2014152015A1 (en) * 2013-03-15 2014-09-25 JIBO, Inc. Apparatus and methods for providing a persistent companion device
CN103559813B (zh) * 2013-11-07 2015-12-02 大连东方之星信息技术有限公司 一种应用认知度方法的统计分析方法
CN103559813A (zh) * 2013-11-07 2014-02-05 大连东方之星信息技术有限公司 一种应用认知度方法的统计分析方法
USD761895S1 (en) 2014-05-23 2016-07-19 JIBO, Inc. Robot
USD746886S1 (en) 2014-05-23 2016-01-05 JIBO, Inc. Robot
KR20160037424A (ko) * 2014-09-29 2016-04-06 동명대학교산학협력단 개선된 리얼 아다부스트 알고리즘에 근거한 새로운 멀티 뷰 얼굴감지방식
US10360467B2 (en) 2014-11-05 2019-07-23 Samsung Electronics Co., Ltd. Device and method to generate image using image learning model
US11093780B2 (en) 2014-11-05 2021-08-17 Samsung Electronics Co., Ltd. Device and method to generate image using image learning model
WO2016075381A1 (fr) * 2014-11-12 2016-05-19 Peugeot Citroen Automobiles Sa Interface homme/machine et procédé de contrôle de fonctions d'un véhicule par détection de mouvement et/ou d'expression du conducteur
FR3028221A1 (fr) * 2014-11-12 2016-05-13 Peugeot Citroen Automobiles Sa Interface homme/machine et procede de controle de fonctions d’un vehicule par detection de mouvement et/ou d’expression du conducteur
EP3355174A4 (en) * 2015-09-21 2019-06-12 Chigoo Interactive Technology Co., Ltd. MULTIMEDIA TERMINAL USED FOR AIRPORT SERVICE, AND DISPLAY METHOD FOR MULTIMEDIA TERMINAL
CN105528078B (zh) * 2015-12-15 2019-03-22 小米科技有限责任公司 控制电子设备的方法及装置
CN105528078A (zh) * 2015-12-15 2016-04-27 小米科技有限责任公司 控制电子设备的方法及装置
US10839563B2 (en) 2017-12-20 2020-11-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image interaction

Also Published As

Publication number Publication date
KR101159962B1 (ko) 2012-06-25

Similar Documents

Publication Publication Date Title
KR101159962B1 (ko) 표정인식을 이용한 휴대 기기의 상호작용 방법
JP5569062B2 (ja) ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
CN102831404B (zh) 手势检测方法及系统
Singha et al. Hand gesture recognition based on Karhunen-Loeve transform
CN105095827A (zh) 人脸表情识别装置和方法
CN103984928A (zh) 基于景深图像的手指手势识别方法
WO2019033525A1 (zh) Au特征识别方法、装置及存储介质
US20110304541A1 (en) Method and system for detecting gestures
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
CN107633203A (zh) 面部情绪识别方法、装置及存储介质
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN108229369A (zh) 图像拍摄方法、装置、存储介质及电子设备
JP2014524070A5 (ko)
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
CN105653037A (zh) 一种基于行为分析的交互系统及方法
KR100988323B1 (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
CN111160173B (zh) 一种基于机器人的手势识别方法及机器人
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
CN115984895A (zh) 手势识别方法及装置、计算机可读存储介质、终端
Badi et al. Feature extraction technique for static hand gesture recognition
Sisodia et al. Image pixel intensity and artificial neural network based method for pattern recognition
JP2022086086A (ja) 人の顔に装着物が着用された新たな教師画像を人工的に生成するプログラム、装置及び方法
Rani et al. Implementation of emotion detection system using facial expressions
TWI775128B (zh) 手勢控制裝置及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20100525

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110826

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120321

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120619

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120619

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170410

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170410

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190331