KR20150131658A - 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 - Google Patents
2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 Download PDFInfo
- Publication number
- KR20150131658A KR20150131658A KR1020140058643A KR20140058643A KR20150131658A KR 20150131658 A KR20150131658 A KR 20150131658A KR 1020140058643 A KR1020140058643 A KR 1020140058643A KR 20140058643 A KR20140058643 A KR 20140058643A KR 20150131658 A KR20150131658 A KR 20150131658A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- polynomial
- data
- principal component
- component analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000000513 principal component analysis Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 44
- 230000004297 night vision Effects 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 65
- 230000001815 facial effect Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000009499 grossing Methods 0.000 description 6
- 230000013011 mating Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은, 조명이 없는 환경에서 얼굴을 인식하는 방법에 관한 것으로서, (1) 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계; (2) 상기 단계 (1)에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계; (3) 상기 단계 (2)에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계; 및 (4) 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 상기 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 따르면, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능하다.
또한, 본 발명에 따르면, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선될 수 있다.
뿐만 아니라, 본 발명에 따르면, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된다.
본 발명에서 제안하고 있는 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 따르면, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능하다.
또한, 본 발명에 따르면, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선될 수 있다.
뿐만 아니라, 본 발명에 따르면, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된다.
Description
본 발명은 야간 얼굴 인식 방법에 관한 것으로서, 보다 구체적으로는 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 관한 것이다.
최근 지문, 홍채 얼굴 등의 생체 정보를 인식하여 인증하는 생체 정보 인증 시스템이 개발되고 있다. 그 중 얼굴 인식은 다른 생체 정보 인식 방법과 달리 접촉을 필요로 하지 않아 사용자에게 편리함을 부여한다. 종래에는 CCD 카메라로 이미지를 취득(특허출원 제10-2006-0119515호 등 참조)하는데, 조명이 없는 야간에는 조도가 낮기 때문에 인식을 수행하기 어려운 문제가 있었다.
또한, 얼굴 인식을 위해서는 얼굴의 패턴을 인식하여 특징을 추출하고 판별하는 과정이 필요하다. 패턴인식을 위한 다양한 방법들 중 신경회로망을 기반으로 설계된 분류기는, 학습능력과 일반화 능력의 우수성으로 인해 다양한 분야의 패턴인식 시스템에서 가장 많이 사용되는 분류기 중 하나이다. 신경회로망기반 분류기는 입력층, 다수의 은닉층, 출력층을 갖는 다층(multi-layered) 구조가 일반적이며, 경사하강법을 이용하여 학습된다. 기존의 신경회로망을 기반으로 한 많은 분류기는 연결가중치가 상수항으로 구성되어 있으며, 상수항으로 구성된 연결 가중치는 은닉층 뉴런의 활성 함수와의 선형 결합을 통해 출력 공간 내에 선형 판별 함수(linear discernment function)로 표현된다(M. J. Er, S. Q. Wu, J. W. Lu, and H. L. Toh, “Face recognition with radical basis function (RBF) neural networks,” IEEE Trans. Neural Networks, vol. 13, no. 3, pp. 697-710, 2002.). 이는 네트워크가 출력 공간 내에 선형 판정 경계(초평면)를 생성하도록 만들며 선형적인 특성을 가지게 할 수 있다.
한편, 주성분 분석법은 벡터 표현의 통계적 특성을 기반으로 한 방법으로서 통계적으로 변화가 있는 N차원의 M개의 벡터를 공분산 행렬에 의해 고유 벡터로 표현한다. 주성분 분석법은 서로 다른 공간의 차원을 줄여서 간단히 표현하는 실용적인 방법으로 많이 사용되고 있으나, 고차원의 데이터로 구성되는 얼굴 데이터의 패턴 인식에서, 한 방향으로의 변환은 인식률을 떨어트리는 문제가 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능한, 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선된, 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법을 제공하는 것을 다른 목적으로 한다.
뿐만 아니라, 본 발명은, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된, 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법은,
조명이 없는 환경에서 얼굴을 인식하는 방법으로서,
(1) 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계;
(2) 상기 단계 (1)에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계;
(3) 상기 단계 (2)에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계; 및
(4) 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 상기 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)는,
(2-1) 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계; 및
(2-2) 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 단계 (2-2)는,
(2-2-1) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계;
(2-2-2) 하기 수학식을 이용하여 상기 단계 (2-2-1)에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계; 및
(G: 영상의 밝기, N: 영상의 크기, H(i): 정규화 누적값, h(i): 보정 값)
(2-2-3) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 화소 위치에 상기 단계 (2-2-2)에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (2)는,
ASM(Active shape Model)을 이용하여 얼굴 영역과 배경을 분리할 수 있다.
바람직하게는, 상기 단계 (3)은,
(3-1) 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
(3-2) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
(3-3) 고유치 분석을 통하여 상기 단계 (3-2)에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
(3-4) 상기 단계 (3-3)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
(3-5) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
(3-6) 고유치 분석을 통하여 상기 단계 (3-5)에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
(3-7) 상기 단계 (3-6)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
(3-8) 상기 단계 (3-4) 및 단계 (3-7)에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 상기 얼굴 인식을 위한 전체 이미지를 도출하는 단계를 포함할 수 있다.
바람직하게는, 상기 단계 (4)에서, 상기 pRBFNNs는,
조건부, 결론부, 추론부로 분리되어 기능적 모듈로 동작하되, 상기 조건부의 활성함수로는 FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하고, 상기 결론부의 연결 가중치는 다항식으로 확장하여 사용할 수 있다.
더욱 바람직하게는, 상기 단계 (4)는,
차분 진화(Differential Evolution, DE) 알고리즘을 이용하여 상기 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화하는 단계를 더 포함할 수 있다.
본 발명에서 제안하고 있는 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에 따르면, 나이트 비전 카메라를 통하여 이미지를 획득함으로써, 조명이 없는 환경에서도 얼굴 인식이 가능하다.
또한, 본 발명에 따르면, 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거한 후에 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소함으로써, 인식 속도 및 인식률이 개선될 수 있다.
뿐만 아니라, 본 발명에 따르면, 다항식 방사형 기저함수 기반 신경회로망을 이용하되, FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하며, 차분 진화 알고리즘을 이용하여 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화함으로써, 출력 공간 내의 선형 판정 경계를 비선형 판정 경계로 나타낼 수 있도록 하고, 최적화된 파라미터에서의 빠른 학습 수렴으로 인식 성능이 향상된다.
도 1은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법의 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S200의 구체적 흐름을 도시한 도면.
도 3은 할-라이크 특징의 특징 추출 방법을 도시한 도면.
도 4는 적분 이미지 특징 추출 과정을 도시한 도면.
도 5는 히스토그램 평활화 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S300의 구체적 흐름을 도시한 도면.
도 7은 (2D)²PCA를 이용한 차원 축소되는 과정을 도시한 도면.
도 8은 기존의 방사형 기저 함수 신경회로망을 도시한 도면.
도 9는 본 발명에서 제안하고 있는 다항식 방사형 기저함수 기반 신경회로망을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S200의 구체적 흐름을 도시한 도면.
도 3은 할-라이크 특징의 특징 추출 방법을 도시한 도면.
도 4는 적분 이미지 특징 추출 과정을 도시한 도면.
도 5는 히스토그램 평활화 과정을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S300의 구체적 흐름을 도시한 도면.
도 7은 (2D)²PCA를 이용한 차원 축소되는 과정을 도시한 도면.
도 8은 기존의 방사형 기저 함수 신경회로망을 도시한 도면.
도 9는 본 발명에서 제안하고 있는 다항식 방사형 기저함수 기반 신경회로망을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법의 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법은, 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계(S100), 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계(S200), 단계 S200에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계(S300), 및 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계(S400)를 포함하여 구현될 수 있다. 단계 S100은, 나이트 비전 카메라를 통하여 수행되고, 단계 S200 내지 단계 S400은, 사용자 단말기 또는 야간 얼굴 인식 장치의 데이터 전처리 모듈(단계 S200), 데이터 차원 축소 모듈(단계 S300) 및 얼굴 인식 모듈(단계 S400)에서 각각 수행될 수 있다.
단계 S100에서는, 나이트 비전 카메라를 이용하여 이미지를 획득할 수 있다. 나이트 비전이란, 열화상(Thermal imaging) 기술을 이용한 것으로서, 적외선 카메라가 물체의 열에너지를 감지하여 흑백 영상 이미지로 재현하는 방법이다. 기존의 CCD 카메라를 이용한 2차원 얼굴 인식 시스템은 야간의 얼굴 추출이 어려워 인식이 어려웠다. 본 발명에서는 이러한 단점을 보완하기 위하여 종래의 CCD 카메라 대신에, 야간의 얼굴 이미지를 취득할 수 있는 나이트 비전 카메라를 이용함으로써, 주간의 얼굴 이미지와 비슷한 이미지를 취득할 수 있다.
단계 S200에서는, 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고 외란 값을 제거하는 과정 등의 데이터 전처리가 수행될 수 있다. 도 2는 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S200의 구체적 흐름을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따르면, 단계 S200은, 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계(S210) 및 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계(S220)를 포함하여 구현될 수 있다. 아다부스트 알고리즘은 야간 이미지 내의 배경과 얼굴의 특징 데이터를 분석하여 얼굴 영역만을 검출하고 히스토그램 평활화는 야간 이미지 내의 품질을 개선하고 조도에 의한 왜곡현상을 보완할 수 있다.
구체적으로 단계 S210은, 할-라이크 특징 및 아다부스트 알고리즘을 이용하여 얼굴 영역을 검출하는 과정이다. 먼저 할-라이크 특징과 적분 이미지를 통하여 얼굴 영역을 검출할 수 있다. 할-라이크 특징은 P.Viola와 M.Jones에 의해 제안된 알고리즘으로 단순한 합을 이용한 연산과정을 통하여 계산된다. 빠른 속도로 연산이 가능하기 때문에 실시간으로 인식을 하는 얼굴 인식기에 적합하다. 도 3은 할-라이크 특징의 특징 추출 방법을 도시한 도면이다. 도 3에 도시된 바와 같이, 에지 특징(edge feature), 라인 특징(line feature), 대각 특징(diagonal features)을 추출할 수 있고, 특징 영역 내에 있는 픽셀(pixel)값을 더해서 영역의 합을 계산하고, 각 영역의 합의 차이를 계산하여, 할-라이크 특징을 추출할 수 있다. 도 4는 적분 이미지 특징 추출 과정을 도시한 도면이다. 도 4에 도시된 바와 같이, 이미지 내의 모든 픽셀에 대하여 미리 누적된 값을 이용하여 빠르게 연산이 가능하다. 아다부스트 알고리즘은, Y.Freund와 R.Shapire에 의하여 제안된 알고리즘으로 단계적으로 접근하는 계층적 구조를 갖는다. 이러한 구조는 확률 분포를 이용하여 단계별로 에러가 제거되고 속도가 증가하며 n개의 약 분류기를 선형적으로 결합한다. 최종적으로 높은 검출 능력을 갖는 강 분류기를 생성하게 된다.
단계 S220에서는, 히스토그램 평활화 기법을 사용하여 외란 값을 제거할 수 있다. 나이트 비전 카메라를 이용하여 획득한 얼굴 이미지 데이터에는 외란 값이 존재할 수 있다. 본 발명에서는 이러한 외란 값을 없애주기 위하여 히스토그램을 사용할 수 있다. 도 5는 히스토그램 평활화 과정을 도시한 도면이다. 도 5에 도시된 바와 같이, 외란을 최소화하기 위하여, 획득된 얼굴 이미지의 명함의 분포 값을 균일하게 해줌으로써, 한쪽으로 치우친 히스토그램을 일정한 분포를 가지도록 만들어줄 수 있다.
바람직하게는, 단계 S220은, 단계 S210에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계(S221), 하기 수학식 1을 이용하여 단계 S221에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계(S222), 및 단계 S210에서 검출된 얼굴 영역 이미지의 화소 위치에 단계 S222에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계(S223)를 포함하여 구현될 수 있다.
(G: 영상의 밝기, N: 영상의 크기, H(i): 정규화 누적값, h(i): 보정 값)
한편, 본 발명의 다른 실시예에 따르면, 단계 S200에서는 ASM(Active shape Model)을 사용하여 배경과 얼굴을 분리할 수 있다. ASM은 통계적인 모델을 이용한 특징점들을 추출하는 방법으로 얼굴의 특징점 추출을 위해서 많이 사용되고 있는 방법 중의 하나이다. ASM은 형상모델을 생성하기 위해 학습 데이터로부터 특징점들을 이용하여 평균 형상을 구한다. 다시 형상을 평균에 매칭 시키도록 크기변환, 회전변환, 평균이동시킨 후 또다시 변형된 형상들의 평균을 구한다. 이전 평균과 새로 구한 평균의 오차가 어느 특정 값 이상 나타나지 않을 때까지 구하는 과정을 반복한다. 이렇게 구한 평균형상을 이용해서 새로운 얼굴 이미지가 들어오면 평균형상과 비교하여 얼굴 영역을 검출하게 된다. 이는 얼굴 영역 검출 방법의 일실시예로서 이에 한정하는 것은 아니다.
단계 S300에서는, 단계 S200에서 전처리된 데이터를 2방향 2차원 주성분분석 알고리즘을 이용하여 데이터 차원을 축소할 수 있다. 주성분 분석법(Principal Component Analysis, PCA)은 벡터 표현의 통계적 특성을 기반으로 한 방법으로 통계적 변화가 있는 N차원의 M개의 벡터를 공분산 행렬에 의하여 고유 벡터로 표현한다. 주성분 분석법은 서로 다른 공간의 차원을 줄여서 간단히 표현하는 실용적인 방법이다. 얼굴 이미지 데이터는, 고차원의 데이터이므로 패턴 인식에 사용할 경우, 많은 데이터의 양으로 인하여 인식 속도가 느려지는 단점이 있다. 본 발명에서는, 이러한 인식 속도 개선을 위하여 (2D)²PCA 알고리즘을 사용하여 데이터의 차원을 축소한다. 일반적인 PCA 방법은 한 방향으로 차원을 축소하나, 본 발명에서는 (2D)²PCA 알고리즘을 사용하여 2차원 이미지의 두 방향 그대로를 이용하여 차원을 축소할 수 있다. 이와 같은 방식을 채택함으로써, PCA 방법에 비하여 인식률을 더욱 높일 수 있다.
도 6은 본 발명의 일실시예에 따른 2방향 2차원 주성분분석 알고리즘 및 최적 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법에서 단계 S300의 구체적 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따르면, 단계 S300은, 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계(S310), 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계(S320), 고유치 분석을 통하여 단계 S320에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계(S330), 단계 S330에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계(S340), 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계(S350), 고유치 분석을 통하여 단계 S350에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계(S360), 단계 S360에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계(S370), 및 단계 S340 및 단계 S370에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출하는 단계(S380)를 포함하여 구현될 수 있다. 단계 S310 내지 단계 S380은, (2D)²PCA의 과정으로서, 도 6에 도시된 바와 같이, 단계 S320 내지 단계 S340은 이미지 열의 벡터를 도출하는 단계이고, 단계 S350 내지 단계 S370은 이미지 행의 벡터를 도출하는 단계로서, 이미지 열의 벡터를 먼저 도출할 수도 있고, 이미지 행의 벡터를 먼저 도출할 수도 있는 등 그 순서에는 구애받지 않는다. 도 7은 (2D)²PCA를 이용한 차원 축소되는 과정을 도시한 도면이다. 도 7에 도시된 바와 같이, (2D)²PCA를 이용하면, 2차원 이미지의 두 방향 그대로를 이용하여 차원이 축소된다. 이하에서는 단계 S310 내지 단계 S380에 대하여 더욱 상세하게 살펴보기로 한다.
전체 학습이미지 데이터의 개수를 M개, 이때 n번째 학습이미지를 
행렬(n = 1, 2, …, M)로, 학습 이미지의 샘플들의 평균 이미지를 
로 나타낸다고 할 때, 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값(
)은, 하기 수학식 2로 표현될 수 있다(단계 S310).
학습이미지 세트들의 이미지 열의 공분산 행렬 RGt는 하기 수학식 3으로 표현될 수 있다(단계 S320).
고유치 분석을 통해 
의 고유값 
과 이에 대응하는 고유벡터 
을 계산할 수 있다(하기 수학식 4 참고, 단계 S330).
(T: transpose, λ: 고유값, u: 고유 벡터 r:열의 수)
단계 S330에서 구한 고유값 
에 대해 고유값이 큰 순서대로 d개의 고유치 
를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환행렬 
을 생성할 수 있다(단계 S340). 
는, d만큼 차원을 줄인 이미지 열의 벡터를 의미한다.
한편, 학습이미지 세트들의 이미지 행의 공분산 행렬 LGt는 하기 수학식 5로 표현될 수 있다(단계 S350).
고유치 분석을 통해 
의 고유값 
과 이에 대응하는 고유벡터 을 계산할 수 있다(하기 수학식 6 참고, 단계 S360).
(T: transpose, λ: 고유값, u: 고유 벡터, c: 행의 수)
단계 S360에서 구한 고유값 
고유값이 큰 순서대로 d개의 고유치 
를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환행렬 
을 생성할 수 있다(단계 S370). 
는, d만큼 차원을 줄인 이미지 행의 벡터를 의미한다.
단계 S380에서는, 단계 S340에서 생성된 이미지 열의 벡터와 단계 S370에서 생성된 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출할 수 있다. 얼굴 인식을 위한 전체 이미지를 도출하는 식은 하기 수학식 7에 의할 수 있다.
단계 S400에서는, 다항식 방사형 기저함수 기반 신경회로망(pRBFNNs)을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식할 수 있다. 본 발명에서 제안하고 있는 pRBFNNs는 기존의 신경회로망과 결합하여 3가지 기능적 모듈로 동작할 수 있다. 즉, 조건부, 결론부, 추론부로 분리되어 기능적 모듈로 동작하되, 상기 조건부의 활성함수로는 FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하고, 상기 결론부의 연결 가중치는 다항식으로 확장하여 사용할 수 있다.
본 발명에서 제안하고 있는 pRBFNNs는 기존의 RBFNN과 달리 결론부의 연결 가중치를 상수항에서 다항식으로 확장하여 사용한다. 그리고 조건부의 활성함수는 기존의 RBFNN에서 사용하는 가우시안 함수 대신 FCM 클러스터링을 사용한다. pRBFNNs 패턴분류기는 전처리가 끝난 입력 이미지 데이터를 학습과 인식 단계에서 사용한다. 도 8은 기존의 방사형 기저 함수 신경회로망을 도시한 도면이고, 도 9는 본 발명에서 제안하고 있는 다항식 방사형 기저함수 기반 신경회로망을 도시한 도면이다. 도 8에 도시된 바와 같이 기존의 방사형 기저 함수 신경회로망은 입력층과 은닉층 그리고 출력층으로 구성되어 있고, 기능적 모듈로서 조건부와 결론부, 추론부로 분리되어 동작한다.
조건부는 일반적인 신경회로망의 은닉층을 의미하며 은닉층의 노드 수는 사용자에 의하여 결정되고 노드 수만큼 활성 함수가 존재한다. 일반적으로 조건부의 활성함수로는 가우시안 함수를 사용하고 결론부는 상수항을 사용한다. 모델의 최종 출력은 조건부와 결론부의 상수항으로 표현한다.
한편, 도 9에 도시된 바와 같이, 본 발명에서 제안하고 있는 pRBFNNs 패턴 분류기의 조건부는, 기존의 RBFNN에서 사용하던 가우시안 함수가 아닌 Fuzzy C-means 클러스터링 알고리즘을 사용하고, FCM 클러스터링은 각 클러스터에 포함되는 데이터의 소속 정도가 퍼지 집합으로 출력되어 방사형의 활성 함수 형태를 나타내기 때문에 가우시안 함수의 역할을 대신할 수 있다. 결론부에서는 하기 표 1과 같이 상수항을 제외한 일차식, 2차식, 변형된 2차식의 3가지 형태 중 하나의 형태를 갖는다.
| Type | Polynomial Type |
| Linear |
 |
| Quadratic |
 |
| Modified Quadratic |
 |
클러스터링 알고리즘이란 데이터의 분류에서 사용되는 알고리즘으로 데이터 안의 유사한 패턴과 형태 등의 기준을 통하여 데이터를 분류하여 개체의 소속집단을 정의해주는 알고리즘이다. 본 발명에서는 클러스터링에 대한 각 데이터를 거리를 기준으로 하여 소속 정도를 측정하였고 데이터들의 특성을 분류하는 FCM클러스터링 알고리즘을 사용할 수 있다. FCM 클러스터링은, 하나의 클러스터에 속해져 있는 각각의 데이터 점을 소속 정도에 의해서 클러스터에 대한 데이터 소속 정도를 일일이 열거한 데이터 분류 알고리즘이다. FCM 클러스터링 알고리즘을 패턴분류기의 조건부에 가우시안 활성함수 대신 사용함으로써 입력데이터의 특성을 더욱 잘 반영할 수 있다. FCM 클러스터링 알고리즘의 클러스터 수는 은닉층 노드의 수와 같고 퍼지 집합으로 이루어진 소속행렬의 값은 가우시안 활성 함수에 의한 적합도 값과 같고 FCM 클러스터링의 퍼지화 계수는 가우시안 함수의 분포상수와 같은 역할을 한다. 과정은 다음과 같다. 우선, 클러스터의 개수와 퍼지화 계수를 선택하고, 소속행렬 U(r)를 초기화한다(수학식 8 참조).
(U(r): 해당 소속행렬, c: 클러스터 수, n: 데이터 수)
두 번째로, 값을 기반으로 각각의 클러스터에 대한 중심 값을 구한다(하기 수학식 9, 수학식 10 참조).
(i: 클러스터, n: 데이터 개수, j: 입력, v: 클러스터 중심)
(i: 클러스터, n: 데이터 개수, j: 입력, m: 퍼지화 계수, v: 클러스터 중심)
세 번째로, 각각의 클러스터 중심과 데이터와의 거리를 계산하여 새로운 소속행렬을 생성한다(하기 수학식 11, 수학식 12 참조).
(i: 클러스터, k: 데이터, l: 입력 개수, u(r+1): 새로운 소속행렬)
(i: 클러스터, k: 데이터, c: 클러스터 수, m: 퍼지화 계수, u(r+1): 새로운 소속행렬)
네 번째로, 오차가 허용범위 안에 도달하면 종료하고, 그렇지 않으면 두 번째 단계로 돌아간다(하기 수학식 13 참조).
(U(r): 해당 소속행렬, U(r+1): 다음 소속행렬, : 오차율)
다항식 방사형 기저함수 기반 신경회로망의 결론부는 조건부에서 분리한 각 로컬 영역을 다항식 함수의 로컬 회기모델로서 표현하며, 하기 수학식 14의 “then”이후의 규칙을 형성할 수 있다.
(A: 멤버십 함수, fij(x): 다항식, i: 규칙, j: 출력 뉴런)
수학식 14의 fji(x)에서 출력 뉴런에 대한 첨자 j(=1,…,s)를 생략한 fi(x)는 수학식 15 내지 17의 형태를 갖는 세 가지 타입의 함수 중 하나의 형태를 갖는다. 즉, 로컬 회기 모델은 상수항, 일차식 또는 이차식으로 표현되어 진다.
(i: 규칙)
(i: 규칙, n: 입력 수)
(i: 규칙, n: 입력 수)
만약 입력 공간의 차원이 매우 클 경우 수학식 17의 2차 항에 대해 입력변수들의 조합 수가 증가하여 계산량이 많이 증가하기 때문에 수학식 18로 표현되는 감소된 2차 함수를 사용하여 계산량을 줄인다.
(i: 규칙, n: 입력 수)
다항식 파라미터 계수를 추정하기 위해서 가중 최소자승법 (Weighted Least Square EstimatioN: WLSE)을 사용할 수 있다. WLSE는 회귀다항식의 계수를 추정하는 알고리즘이며 LSE와 유사하다. LSE는 오차제곱의 합이 최소가 되도록 계수를 추정하지만, WLSE는 오차제곱의 가중치가 곱해진다는 차이가 있다. LSE는 다항식의 계수를 한꺼번에 구하기 때문에 전역 모델의 학습을 수행하고, 입력변수와 멤버십 함수의 수가 많아지면 퍼지 규칙 수가 기하급수적으로 늘어나기 때문에 컴퓨터 연산을 수행하지 못하는 경우가 발생한다. 하지만 WLSE는 각 규칙의 독립적으로 구하며 로컬학습을 수행한다. 각 로컬영역에 대한 해석력을 향상시킬 수 있는 장점이 있어 컴퓨터의 계산 부하를 줄일 수 있고 서로 다른 형태의 다항식으로 표현될 수 있다. 본 발명에 제안하고 있는, 다항식 방사형 기저함수 기반의 신경회로망은 기존의 상수항의 연결가중치를 1차식과 2차식으로 확장함으로써, 은닉층 뉴런의 출력 간의 비선형 결합으로 인해 분류기로서의 성능을 향상시킬 수 있다.
제안된 다항식 기반 RBFNNs의 구조는 위에서 언급한 바와 같이 조건부를 FCM 클러스터링을 통한 퍼지 공간 분할, 결론부를 다항식으로 로컬 영역을 표현하는 로컬 회기 모델로 이해할 수 있다. 추론부에서는 “If-then” 퍼지 규칙 기반의 퍼지 추론에 의해 네트워크의 최종출력을 구하게 된다. 추론부의 뉴런에 의해 입력신호들은 합하여져 그 결과를 출력층 뉴런의 최종 출력으로 내보내진다(수학식 19 참조).
(j: 데이터, c: 규칙 수)
한편, 단계 S400은, 차분 진화(Differential Evolution, DE) 알고리즘을 이용하여 상기 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화하는 단계를 더 포함할 수 있다. 차분 진화 알고리즘은 Price와 Storn에 의해 벡터 차분을 사용하여 Chebychev 다항 곡선의 내삽 문제를 해결하는 과정에서 개발되었다. 차분 진화 알고리즘은 전역 최적해에 대한 수렴성이 우수하고 구조가 간단하여 다른 진화 알고리즘들에 비해 컴퓨팅 시간이 짧다는 장점을 갖는다. 차분 진화 알고리즘에서 사용되는 연산자는 주로 임의로 선택된 개체들 사이의 차이를 사용한다. 차분 진화 알고리즘을 이용하여 제안된 모델의 다항식의 차수와 클러스터의 수 그리고 퍼지화 계수를 최적화하였다. 차분 진화 알고리즘의 수행 과정은 다음과 같다.
첫 번째로, 초기 집단 생성할 수 있다. 랜덤 값으로 μ개의 개체를 초기화, 각 개체는 n개의 목적 변수로 구성할 수 있다(하기 수학식 20 참조).
(u: 개채, n: 개체의 목적 변수, t: 세대)
두 번째로, 집단 내의 모든 개체의 목적 함수를 평가할 수 있다(하기 수학식 21 참조).
(Φ: 최소화되어야 하는 목적 함수, u: 총 목적 변수의 한 개체)
세 번째로, 모든 개체(i=1, …, μ)에 대하여 차분 변화를 위한 개체를 선택하여 교배용 벡터를 만들고 이를 교배 대상 벡터와 교배할 수 있다(하기 수학식 22 및 23 참조).
(v: 교배용 벡터, i: 교배용 벡터의 순번, ar1, ar2, ar3: 교배용 벡터를 만들기 위한 선택된 개체의 목적변수)
(x'i: 교배된 i번째 개체, vi: i번째 교배용 벡터, ai: i번째 개체)
네 번째로, 모든 개체의 목적 함수를 평가할 수 있으며, 다섯 번째로, 종료조건을 확인하고 만족하지 않으면 t=t+1로 하고 세 번째 단계로 복귀할 수 있다.
본 발명은 이하의 실험예에 의하여 더욱 상세히 설명되나, 본 발명이 이하의 실험예에 의해 어떤 식으로든 제한되는 것은 아니다.
실험예
1. 얼굴 인식률 비교 실험
본 실험의 데이터 구성은 수원대학교 지능 제어 및 컴퓨터 지능 연구실(IC&CI Lab)의 인원 12명으로 구성하였고 연구실 인원의 얼굴 데이터는 3가지 조건으로 구성하였다. 첫 번째 조건으로 빛이 존재하지 않는 암전 상태의 상황으로 조도 값은 0~5 Lux 값을 가지는 상황에서 나이트 비전을 사용하여 12명의 얼굴 데이터를 취득하였다. 그리고 두 번째로는 희미한 빛이 존재하는 경우의 상황이며 조도 값은 5~20 Lux 값의 상황을 만들어 데이터를 취득하였고, 마지막으로 상황으로는 우리가 일반적으로 취득하는 방법과 동일한 방법으로 주간에 취득을 하였다. 각 상황별에서 인식후보 12명의 데이터는 10장씩 총 360장으로 구성하였다(표 2 참조).
이렇게 취득한 데이터는 광원이 포함되어 있을 수 있어 영상의 식별에 어려움을 주는 경우가 발생할 수 있기 때문에 히스토그램 평활화를 사용하여 광원으로 인한 외란을 최소화하였고. Harr-like feature와 Ada-boost 알고리즘을 통하여 얼굴과 배경을 분리하는 전처리 과정을 수행하였다. 그리고 이렇게 취득된 얼굴 이미지는 고차원의 데이터로 구성이 되어있기 때문에 연산의 시간이 오래 걸리는 단점이 발생할 수 있기 때문에 (2D)2 PCA 알고리즘을 이용하여 고차원 데이터를 축소하는 과정을 거침으로 연산의 시간을 단축하였다. 또한 인식 성능을 향상시키기 위하여 최적화 알고리즘으로 차분 진화 알고리즘을 사용하여 파라미터를 최적화하였다. 실험에 적용한 파라미터 값은 하기 표 3과 같다.
| Parameter | Value | |
| No. of generations | 60 | |
| No. of populations | 40 | |
| Search range | Polynomial type | 2~4 |
| No. of clusters | 2~5 | |
| Fuzzification Coefficient | 1.1~3.0 | |
이렇게 축소된 데이터를 이용하여 주간과 야간 그리고 PCA와 (2D)2 PCA를 사용하였을 때의 인식률을 pRBFNNs 패턴분류기를 통하여 산출하였다. 하기 표 4는 인식률 산출결과를 나타낸 표이다.
표 4에 나타난 바와 같이, PCA 방법에 비하여 (2D)2PCA에 의한 경우에 일괄적으로 인식률의 향상을 나타내었으며, 암전 상태에서도 인식이 가능함을 확인할 수 있었다. 본 발명에서는, 나이트 비전 카메라를 이용하여 야간에서도 이미지 취득이 가능하게 하였고, Ada-Boost 알고리즘을 사용하여 얼굴 이미지를 검출하였으며, 히스토그램 평활화를 이용하여 이미지의 왜곡 현상을 최소화할 수 있다. 이렇게 얻어진 고차원 이미지는 (2D)2PCA 알고리즘을 이용하여 저차원으로 축소하였고, pRBFNNs을 이용한 지능형 패턴 분류 모델을 통하여 얼굴 인식을 수행하였으며, 마지막으로 차분 진화 알고리즘을 사용하여 파라미터를 최적화하였다. 또한, 본 발명에서 제안하고 있는 얼굴 인식 방법의 성능을 평가하기 위하여 IC&CI Lab data를 사용하고 실제 얼굴 인식 시스템을 설계한 결과, 야간에서도 얼굴 인식률이 유의하게 향상함을 확인할 수 있었다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S100: 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계
S200: 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계
S210: 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계
S220: 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계
S221: 단계 S210에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계
S222: 단계 S221에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계
S223: 단계 S210에서 검출된 얼굴 영역 이미지의 화소 위치에 단계 S222에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계
S300: 단계 S200에서 전처리된 데이터를, 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계
S310: 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
S320: 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
S330: 고유치 분석을 통하여 단계 S320에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
S340: 단계 S330에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
S350: 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
S360: 고유치 분석을 통하여 단계 S350에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
S370: 단계 S360에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
S380: 단계 S340 및 단계 S370에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출하는 단계
S400: 다항식 방사형 기저함수 기반 신경회로망을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계
S200: 단계 S100에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계
S210: 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계
S220: 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계
S221: 단계 S210에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계
S222: 단계 S221에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계
S223: 단계 S210에서 검출된 얼굴 영역 이미지의 화소 위치에 단계 S222에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계
S300: 단계 S200에서 전처리된 데이터를, 2방향 2차원 주성분분석 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계
S310: 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
S320: 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
S330: 고유치 분석을 통하여 단계 S320에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
S340: 단계 S330에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
S350: 단계 S310에서 도출한 평균 이미지값을 이용하여 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
S360: 고유치 분석을 통하여 단계 S350에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
S370: 단계 S360에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
S380: 단계 S340 및 단계 S370에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 얼굴 인식을 위한 전체 이미지를 도출하는 단계
S400: 다항식 방사형 기저함수 기반 신경회로망을 이용하여, 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계
Claims (7)
- 조명이 없는 환경에서 얼굴을 인식하는 방법으로서,
(1) 나이트 비전(Night Vision) 카메라를 이용하여 이미지를 획득하는 단계;
(2) 상기 단계 (1)에서 획득된 이미지 데이터에서 얼굴 영역을 검출하고, 외란 값을 제거하는 과정을 수행하는 데이터 전처리 단계;
(3) 상기 단계 (2)에서 전처리된 데이터를, 2방향 2차원 주성분분석(2-Directional 2-Dimensional Principal Component Analysis, 이하, ‘(2D)²PCA’라 함) 알고리즘을 이용하여 2차원 이미지의 두 방향을 그대로 이용하면서 데이터 차원을 축소하는 단계; 및
(4) 다항식 방사형 기저함수 기반 신경회로망(Polynomial-based Radial Basis Function Neural Networks, 이하 ‘pRBFNNs’이라 함)을 이용하여, 상기 데이터 차원이 축소된 이미지 데이터에서 얼굴을 인식하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
- 제1항에 있어서, 상기 단계 (2)는,
(2-1) 할-라이크 특징(Haar-like feauture) 및 아다부스트(Ada-boost) 알고리즘을 이용하여 얼굴 영역을 검출하는 단계; 및
(2-2) 히스토그램 평활화(Histogram Equalization) 기법을 사용하여 외란 값을 제거하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
- 제2항에 있어서, 상기 단계 (2-2)는,
(2-2-1) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 히스토그램을 생성하는 단계;
(2-2-2) 하기 수학식을 이용하여 상기 단계 (2-2-1)에서 생성된 히스토그램을 정규화하고 정규화 누적값을 계산하며 보정값을 도출하는 단계; 및
(G: 영상의 밝기, N: 영상의 크기, H(i): 정규화 누적값, h(i): 보정 값)
(2-2-3) 상기 단계 (2-1)에서 검출된 얼굴 영역 이미지의 화소 위치에 상기 단계 (2-2-2)에서 보정한 보정값을 적용한 새로운 출력을 매핑하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
- 제1항에 있어서, 상기 단계 (2)는,
ASM(Active shape Model)을 이용하여 얼굴 영역을 검출하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
- 제1항에 있어서, 상기 단계 (3)은,
(3-1) 행렬로 표현되는 학습 이미지의 샘플들의 평균 이미지값을 도출하는 단계;
(3-2) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 열의 공분산 행렬을 도출하는 단계;
(3-3) 고유치 분석을 통하여 상기 단계 (3-2)에서 도출한 이미지 열의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
(3-4) 상기 단계 (3-3)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 열의 벡터를 도출하는 단계;
(3-5) 상기 단계 (3-1)에서 도출한 평균 이미지값을 이용하여 상기 학습 이미지 샘플들의 이미지 행의 공분산 행렬을 도출하는 단계;
(3-6) 고유치 분석을 통하여 상기 단계 (3-5)에서 도출한 이미지 행의 공분산 행렬의 고유값과 이에 대응하는 고유벡터를 도출하는 단계;
(3-7) 상기 단계 (3-6)에서 도출한 고유값에 대하여 고유값이 큰 순서대로 d개의 고유치를 선택하고, 선택한 고유값에 대응되는 고유벡터를 가지는 변환 행렬을 생성하여 d만큼 데이터 차원을 줄인 이미지 행의 벡터를 도출하는 단계; 및
(3-8) 상기 단계 (3-4) 및 단계 (3-7)에서 생성된 이미지 열 및 이미지 행의 벡터를 이용하여 상기 얼굴 인식을 위한 전체 이미지를 도출하는 단계를 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
- 제1항에 있어서, 상기 단계 (4)에서 상기 pRBFNNs는,
조건부, 결론부, 추론부로 분리되어 기능적 모듈로 동작하되, 상기 조건부의 활성함수로는 FCM(Fuzzy C-means) 클러스터링 알고리즘을 사용하고, 상기 결론부의 연결 가중치는 다항식으로 확장하여 사용하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
- 제6항에 있어서, 상기 단계 (4)는,
차분 진화(Differential Evolution, DE) 알고리즘을 이용하여 상기 다항식의 차수와 클러스터의 수 및 퍼지화 계수를 최적화하는 단계를 더 포함하는 것을 특징으로 하는, 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140058643A KR101658528B1 (ko) | 2014-05-15 | 2014-05-15 | 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140058643A KR101658528B1 (ko) | 2014-05-15 | 2014-05-15 | 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150131658A true KR20150131658A (ko) | 2015-11-25 |
| KR101658528B1 KR101658528B1 (ko) | 2016-09-23 |
Family
ID=54845450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140058643A Expired - Fee Related KR101658528B1 (ko) | 2014-05-15 | 2014-05-15 | 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101658528B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985873A (zh) * | 2017-05-30 | 2018-12-11 | 株式会社途伟尼 | 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统 |
| CN113673143A (zh) * | 2020-05-15 | 2021-11-19 | 中国石油化工股份有限公司 | 存储器、生化需氧量软测量方法、系统和装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101886412B1 (ko) | 2016-12-22 | 2018-08-07 | 세종대학교산학협력단 | 적응적 운전자 얼굴 촬영 환경 제어 방법 및 장치 |
-
2014
- 2014-05-15 KR KR1020140058643A patent/KR101658528B1/ko not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| 2D PCA 알고리즘을 이용한 최적 RBFNNs 기반 나이트비전 얼굴인식 시뮬레이터 설계, Proceedings of KIIS Fall Conference 2013 Vol 23 No 2* * |
| ASM알고리즘과 하이브리드 전처리 기법을 이용한 최적화된 RBFNNs 패턴분류기 기반 나이트비전 얼굴인식 시뮬레이터 구현, 2013년 정보 및 제어 학술대회(CICS ‘13) 논문집* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985873A (zh) * | 2017-05-30 | 2018-12-11 | 株式会社途伟尼 | 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统 |
| CN113673143A (zh) * | 2020-05-15 | 2021-11-19 | 中国石油化工股份有限公司 | 存储器、生化需氧量软测量方法、系统和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101658528B1 (ko) | 2016-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101254181B1 (ko) | 하이브리드 방식의 영상 데이터 전처리 기법 및 방사형 기저함수 기반 신경회로망을 이용한 얼굴 인식 방법 | |
| KR101254177B1 (ko) | 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템 | |
| US7587064B2 (en) | Active learning system for object fingerprinting | |
| KR102138657B1 (ko) | 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법 | |
| CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
| KR101433472B1 (ko) | 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| KR101749268B1 (ko) | 포즈 추정 기반 포즈변화에 강인한 얼굴 인식 방법 | |
| KR101589149B1 (ko) | Rbfnn 패턴 분류기와 객체 추적 알고리즘을 사용한 얼굴 인식-얼굴 추적 방법 및 이를 실행하기 위한 시스템 | |
| CN107463917B (zh) | 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法 | |
| CN110110668B (zh) | 一种基于反馈权重卷积神经网络和胶囊神经网络的步态识别方法 | |
| JP2004078959A (ja) | 人工神経網を利用した顔認識法及びその装置 | |
| CN101965729A (zh) | 动态物件分类 | |
| KR101631694B1 (ko) | HOG-PCA 특징과 RBFNNs 패턴분류기를 이용한 보행자 검출 방법 | |
| KR101687217B1 (ko) | 인터벌 타입-2 rbf 신경회로망 기반 ct 기법을 이용한 강인한 얼굴 인식 패턴 분류 방법 및 이를 실행하기 위한 시스템 | |
| Shen et al. | Learning high-level concepts by training a deep network on eye fixations | |
| Kumar et al. | Normalizing flow based feature synthesis for outlier-aware object detection | |
| Al-Dabbas et al. | Two proposed models for face recognition: achieving high accuracy and speed with artificial intelligence | |
| KR101658528B1 (ko) | 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법 | |
| Bailly et al. | Boosting feature selection for neural network based regression | |
| López-Rubio | Probabilistic self-organizing maps for continuous data | |
| Aria et al. | Generalized cooccurrence matrix to classify IRS-1D images using neural network | |
| Deng et al. | View-invariant gait recognition based on deterministic learning and knowledge fusion | |
| Harakannanavar et al. | Face recognition based on SWT, DCT and LTP | |
| KR102684915B1 (ko) | 공변량 조건을 이용한 보행 분석 시스템 및 그 방법 | |
| Kumar et al. | Pixel-based skin color classifier: A review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140515 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160323 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160823 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20160912 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20160912 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20190823 Start annual number: 4 End annual number: 4 |
|
| PC1903 | Unpaid annual fee |