[go: up one dir, main page]

KR102824829B1 - Facial recognition system and method for access control - Google Patents

Facial recognition system and method for access control Download PDF

Info

Publication number
KR102824829B1
KR102824829B1 KR1020230050977A KR20230050977A KR102824829B1 KR 102824829 B1 KR102824829 B1 KR 102824829B1 KR 1020230050977 A KR1020230050977 A KR 1020230050977A KR 20230050977 A KR20230050977 A KR 20230050977A KR 102824829 B1 KR102824829 B1 KR 102824829B1
Authority
KR
South Korea
Prior art keywords
face
authentication
mobile terminal
image
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020230050977A
Other languages
Korean (ko)
Other versions
KR20240154386A (en
Inventor
오창남
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020230050977A priority Critical patent/KR102824829B1/en
Publication of KR20240154386A publication Critical patent/KR20240154386A/en
Application granted granted Critical
Publication of KR102824829B1 publication Critical patent/KR102824829B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/27Individual registration on entry or exit involving the use of a pass with central registration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

출입 제어를 위한 얼굴 등록 시스템 및 방법이 제공된다. 등록 시스템이, 모바일 단말로부터 전송되는 제1 사용자 정보를 출입 시스템으로 전달하면서 사용자가 출입 시스템의 구성원인지에 대한 확인을 요청하는 1차 인증을 수행한다 그리고 1차 인증이 이루어진 이후에, 모바일 단말로부터 SMS 개인 인증이 완료되고 SMS 개인 인증에 사용된 제2 사용자 정보를 수신하면, 제2 사용자 정보를 출입 시스템으로 전달하면서 사용자가 출입 시스템의 구성원인지에 대한 확인을 요청하는 2차 인증을 수행한다. 2차 인증이 이루인 이후에, 등록 시스템은 2차 인증이 이루어진 모바일 단말로부터 전송되는 얼굴 이미지를 처리하여 출입 제어를 위한 이미지로 사용하고, 얼굴 이미지를 출입 제어를 위해 출입 시스템으로 전송한다. A face registration system and method for access control are provided. The registration system performs primary authentication to request confirmation of whether a user is a member of the access system while transmitting first user information transmitted from a mobile terminal to the access system, and after the primary authentication is completed, when SMS personal authentication is completed from the mobile terminal and second user information used for SMS personal authentication is received, the registration system performs secondary authentication to request confirmation of whether the user is a member of the access system while transmitting the second user information to the access system. After the secondary authentication is completed, the registration system processes a face image transmitted from the mobile terminal on which the secondary authentication was performed, uses the image for access control, and transmits the face image to the access system for access control.

Description

출입 제어를 위한 얼굴 등록 시스템 및 방법{Facial recognition system and method for access control}{Facial recognition system and method for access control}

본 발명은 출입 제어에 관한 것으로, 더욱 상세하게 말하자면, 출입 제어를 위한 얼굴 등록 시스템 및 방법에 관한 것이다. The present invention relates to access control, and more specifically, to a face registration system and method for access control.

출입 시스템은 출입 허가된 방문자(또는 직원)만을 출입시키는 것을 관리하는 시스템이다. 얼굴 인식 기술이 발전하면서, 출입이 허가된 사용자의 얼굴을 미리 등록시킨 다음에, 현재 방문자의 얼굴을 인식하여 등록된 사용자들의 얼굴과 비교하는 방법을 통해 신원을 확인하는 얼굴 인식 솔루션을 출입 시스템에 적용하고 있다. The access system is a system that manages the entry of only authorized visitors (or employees). As facial recognition technology has developed, facial recognition solutions are being applied to access systems to verify identity by pre-registering the faces of authorized users and then recognizing the faces of current visitors and comparing them with the faces of registered users.

기존의 얼굴 인식에 기반한 출입 시스템의 경우, 출입을 허가 받고자 하는 사용자는 얼굴 등록 시스템이 있는 장소에 직접 방문하여 얼굴 등록 절차를 수행해야 한다. 또한, 초기 얼굴 등록 이후에 재등록을 해야 하는 경우에 다시 사용자가 해당 장소에 방문해야 하는 등의 번거로움이 있다. 특히, 임의의 장소에 얼굴 등록 시스템을 구축해야 함에 따라, 초기 시스템 구축비가 많이 소요된다. 이외에도, 얼굴 등록시, 얼굴 없이 등록이 되는 경우도 빈번하게 발생된다. In the case of the existing face recognition-based access system, a user who wants to be granted access must visit the location where the face registration system is located and perform the face registration procedure. In addition, there is the inconvenience of having to visit the location again when re-registering after the initial face registration. In particular, since the face registration system must be established at any location, the initial system establishment cost is high. In addition, there are frequent cases where registration is made without a face during face registration.

최근에 모바일 단말을 이용하여 얼굴을 등록하는 시스템이 제안되고 있는데, 모바일 단말을 통한 얼굴 등록시 SMS(short message service)를 통해 본인 인증을 수행한다. 그러나, 출입이 허가될 수 있는 조직의 사용자가 아닌 사람이 SMS로 인증을 하여 얼굴을 등록하는 불법적인 상황이 발생하고 있다. 예를 들어, 회사내 임직원이 아닌 사람이 자신의 SMS로 개인 인증을 하고, 이후에 타인의 사원 번호와 이름을 도용하여 회사 인증 및 얼굴 등록을 하는 경우가 있다. 이에 따라 출입 통제의 보안성이 현저히 떨어지게 된다. Recently, a system for registering faces using mobile terminals has been proposed, and when registering faces using mobile terminals, identity verification is performed through SMS (short message service). However, illegal situations have occurred in which people who are not users of organizations that are permitted to enter register their faces by authenticating themselves using SMS. For example, there are cases in which a person who is not an employee of a company authenticates himself/herself using his/her own SMS, and then steals another person's employee number and name to authenticate the company and register his/her face. As a result, the security of access control is significantly reduced.

관련 선행 문헌으로는 대한민국 특허 번호 제10-2493219호에 기재된 “게이트 출입을 위한 인증 방법 및 장치"가 있다. Related prior literature includes “Authentication method and device for gate entry” described in Korean Patent No. 10-2493219.

본 발명이 해결하고자 하는 과제는 보다 신뢰성 있으면서 편리하게 얼굴을 등록하여 출입 제어를 수행할 수 있도록 하는 시스템 및 방법을 제공하는 것이다. The problem to be solved by the present invention is to provide a system and method that enables access control by registering a face more conveniently and reliably.

본 발명의 일 실시 예에 따르면, 출입 제어를 위한 얼굴 등록 방법이 제공된다. 상기 얼굴 등록 방법은, 등록 시스템이, 모바일 단말로부터 전송되는 제1 사용자 정보를 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 1차 인증을 수행하는 단계; 상기 등록 시스템이, 상기 출입 시스템으로부터 상기 1차 인증에 대한 응답이 수신되면, 상기 응답을 상기 모바일 단말로 송신하는 단계; 상기 등록 시스템이, 상기 1차 인증에 대한 응답을 수신한 상기 모바일 단말로부터 SMS 개인 인증이 완료된 이후, 상기 SMS 개인 인증에 사용된 제2 사용자 정보를 수신하는 단계; 상기 등록 시스템이, 상기 제2 사용자 정보를 상기 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 2차 인증을 수행하는 단계; 상기 등록 시스템이, 상기 출입 시스템으로부터 상기 2차 인증에 대한 응답이 수신되면, 상기 응답을 상기 모바일 단말로 송신하는 단계; 및 상기 등록 시스템이, 상기 2차 인증이 이루어진 상기 모바일 단말로부터 전송되는 얼굴 이미지를 처리하여 출입 제어를 위한 이미지로 사용하고, 상기 얼굴 이미지를 상기 출입 시스템으로 전송하는 단계를 포함한다. According to one embodiment of the present invention, a face registration method for access control is provided. The face registration method comprises: a step in which a registration system performs primary authentication to request confirmation of whether a user is a member of the access system while transmitting first user information transmitted from a mobile terminal to an access system; a step in which the registration system, when receiving a response to the primary authentication from the access system, transmits the response to the mobile terminal; a step in which the registration system, after completing SMS personal authentication from the mobile terminal that has received the response to the primary authentication, receives second user information used in the SMS personal authentication; a step in which the registration system performs secondary authentication to request confirmation of whether the user is a member of the access system while transmitting the second user information to the access system; a step in which the registration system, when receiving a response to the secondary authentication from the access system, transmits the response to the mobile terminal; and a step in which the registration system processes a face image transmitted from the mobile terminal on which the secondary authentication has been performed and uses the response as an image for access control, and transmits the face image to the access system.

일 구현에서, 상기 얼굴 이미지를 상기 출입 시스템으로 전송하는 단계는, 상기 등록 시스템이, 상기 출입 시스템이 사용하는 얼굴 처리 엔진을 사용하여 상기 얼굴 이미지로부터 얼굴 특징점에 대한 메타 데이터를 포함하는 템플릿을 생성하는 단계; 및 상기 템플릿을 상기 2차 인증이 이루어진 사용자에 대한 정보와 함께 상기 출입 시스템으로 전송하는 단계를 포함할 수 있다. In one implementation, the step of transmitting the facial image to the access system may include the step of the registration system generating a template including metadata about facial features from the facial image using a facial processing engine used by the access system; and the step of transmitting the template to the access system together with information about the user for whom the second authentication has been performed.

일 구현에서, 상기 템플릿을 생성하는 단계는, 복수의 템플릿 서버의 리소스 상태를 확인하여, 상기 복수의 템플릿 서버 중 현재 리소스의 사용량이 설정 사용량 보다 작은 템플릿 서버를 선택하는 단계; 및 선택된 템플릿 서버에 의해 상기 출입 시스템이 사용하는 얼굴 처리 엔진이 로딩되고, 상기 얼굴 처리 엔진에 의해 상기 얼굴 이미지가 처리되어 템플릿이 생성되는 단계를 포함할 수 있다.In one implementation, the step of generating the template may include the step of checking the resource status of a plurality of template servers, and selecting a template server among the plurality of template servers whose current resource usage is less than a set usage amount; and the step of loading a face processing engine used by the access system by the selected template server, and processing the face image by the face processing engine to generate the template.

일 구현에서, 상기 선택된 템플릿 서버는 복수의 얼굴 처리 엔진 중에서 상기 출입 시스템이 사용하는 얼굴 처리 엔진에 대응하는 업체의 엔진이면서 또한 대응하는 버전을 갖는 얼굴 처리 엔진을 로딩하여 상기 얼굴 이미지를 처리할 수 있다. In one implementation, the selected template server can process the facial image by loading a facial processing engine from among a plurality of facial processing engines that is an engine of a vendor corresponding to the facial processing engine used by the access system and also has a corresponding version.

일 구현에서, 상기 모바일 단말로부터 전송되는 얼굴 이미지는 상기 모바일 단말에 의해 촬영된 이미지에서 사용자의 얼굴 영역만이 크롭된 얼굴 영역 이미지일 수 있다. In one implementation, the face image transmitted from the mobile terminal may be a face region image in which only the user's face region is cropped from an image captured by the mobile terminal.

일 구현에서, 상기 얼굴 등록 방법은, 상기 모바일 단말이 상기 2차 인증에 대한 응답이 수신된 경우에, 사용자의 이미지를 획득하는 단계; 상기 모바일 단말이 상기 획득된 이미지에서 얼굴을 검출하는 단계; 상기 모바일 단말이, 상기 검출된 얼굴의 최소 눈 간 거리를 획득하고, 상기 최소 눈 간 거리가 기준 눈 간 거리를 범위를 만족하는 경우에, 상기 획득된 이미지로부터 얼굴 영역만을 크롭하여 적어도 하나의 얼굴 영역 이미지를 생성하는 단계; 및 상기 모바일 단말이, 상기 얼굴 영역 이미지를 상기 2차 인증이 완료된 사용자 정보와 함께 상기 등록 시스템으로 전송하는 단계를 더 포함할 수 있다. In one implementation, the face registration method may further include: a step of the mobile terminal acquiring an image of a user when a response to the second authentication is received; a step of the mobile terminal detecting a face in the acquired image; a step of the mobile terminal acquiring a minimum inter-eye distance of the detected face, and, when the minimum inter-eye distance satisfies a range of a reference inter-eye distance, cropping only the face region from the acquired image to generate at least one face region image; and a step of the mobile terminal transmitting the face region image to the registration system together with user information on which the second authentication is completed.

일 구현에서, 상기 1차 인증 및 상기 2차 인증을 위한 사용자 정보는 조직명, 사번, 사용자 이름, 전화 번호를 포함할 수 있다. In one implementation, user information for the first authentication and the second authentication may include an organization name, employee number, user name, and phone number.

본 발명의 다른 실시 예에 따르면, 출입 제어를 위한 얼굴 등록 시스템이 제공된다. 상기 얼굴 등록 시스템은, 얼굴을 등록하고자 하는 사용자의 모바일 단말과 데이터를 송수신하도록 구성된 얼굴 등록 웹 서버; 상기 얼굴 등록 웹 서버로부터 제공되는 데이터를 기반으로 출입 제어를 수행하는 출입 시스템과 연동하여 인증을 수행하도록 구성된 얼굴 등록 제어 서버; 및 상기 얼굴 등록 제어 서버의 제어에 따라 상기 얼굴 등록 웹 서버를 통해 전달되는 상기 모바일 단말로부터의 얼굴 이미지를 처리하도록 구성된 복수의 템플릿 서버를 포함하며, 상기 얼굴 등록 제어 서버는, 상기 얼굴 등록 웹 서버를 통해 상기 모바일 단말로부터 전송되는 제1 사용자 정보를 상기 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 1차 인증을 수행하고; 상기 출입 시스템으로부터 상기 1차 인증에 대한 응답이 수신되면, 상기 응답을 상기 얼굴 등록 웹 서버를 통해 상기 모바일 단말로 송신하며; 상기 1차 인증에 대한 응답을 수신한 상기 모바일 단말로부터 SMS 개인 인증이 완료된 이후 상기 모바일 단말로부터 전송된 상기 SMS 개인 인증에 사용된 제2 사용자 정보를 상기 얼굴 등록 웹 서버를 통해 수신하며; 상기 제2 사용자 정보를 상기 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 2차 인증을 수행하고; 상기 출입 시스템으로부터 상기 2차 인증에 대한 응답이 수신되면, 상기 응답을 상기 얼굴 등록 웹 서버를 통해 상기 모바일 단말로 송신하며; 상기 2차 인증이 이루어진 상기 모바일 단말로부터 전송되는 얼굴 이미지를 상기 얼굴 등록 웹 서버를 통해 수신하며, 상기 얼굴 이미지를 상기 복수의 템플릿 서버 중 하나로 전달하도록 처리하도록 제어하고; 그리고 상기 템플릿 서버에 의해 처리된 이미지를 출입 제어를 위한 이미지로 사용하고, 상기 이미지를 상기 출입 시스템으로 전송하도록 구성된다. According to another embodiment of the present invention, a face registration system for access control is provided. The face registration system comprises: a face registration web server configured to transmit and receive data with a mobile terminal of a user who wishes to register a face; a face registration control server configured to perform authentication in conjunction with an access system that performs access control based on data provided from the face registration web server; and a plurality of template servers configured to process a face image from the mobile terminal transmitted through the face registration web server under the control of the face registration control server, wherein the face registration control server performs first authentication for requesting confirmation of whether the user is a member of the access system while transmitting first user information transmitted from the mobile terminal through the face registration web server to the access system; when a response to the first authentication is received from the access system, the response is transmitted to the mobile terminal through the face registration web server; after SMS personal authentication is completed from the mobile terminal that has received the response to the first authentication, second user information used for the SMS personal authentication transmitted from the mobile terminal is received through the face registration web server; The method comprises: performing secondary authentication to request confirmation of whether the user is a member of the access system while transmitting the second user information to the access system; when a response to the secondary authentication is received from the access system, transmitting the response to the mobile terminal through the face registration web server; receiving a facial image transmitted from the mobile terminal for which the secondary authentication has been performed through the face registration web server, and controlling processing to transmit the facial image to one of the plurality of template servers; and using the image processed by the template server as an image for access control and transmitting the image to the access system.

일 구현에서, 상기 템플릿 서버는 상기 출입 시스템이 사용하는 얼굴 처리 엔진을 사용하여 상기 얼굴 이미지로부터 얼굴 특징점에 대한 메타 데이터를 포함하는 템플릿을 생성하여 상기 얼굴 등록 제어 서버로 전달하도록 구성되고, 상기 얼굴 등록 제어 서버는 상기 템플릿을 상기 2차 인증이 이루어진 사용자에 대한 정보와 함께 상기 출입 시스템으로 전송하도록 구성될 수 있다. In one implementation, the template server is configured to generate a template including metadata about facial features from the facial image using a face processing engine used by the access system and transmit the template to the face registration control server, and the face registration control server can be configured to transmit the template to the access system together with information about the user for whom the second authentication has been performed.

일 구현에서, 상기 얼굴 등록 제어 서버는 복수의 템플릿 서버의 리소스 상태를 확인하여, 상기 복수의 템플릿 서버 중 현재 리소스의 사용량이 설정 사용량 보다 작은 템플릿 서버를 선택하고, 상기 선택된 템플릿 서버로 상기 얼굴 이미지를 전달하도록 구성되고, 상기 템플릿 서버는 상기 출입 시스템이 사용하는 얼굴 처리 엔진을 로딩하여 상기 얼굴 이미지를 처리하여 템플릿을 생성하도록 구성될 수 있다. In one implementation, the face registration control server is configured to check the resource status of a plurality of template servers, select a template server among the plurality of template servers whose current resource usage is less than a set usage usage, and transmit the face image to the selected template server, and the template server may be configured to load a face processing engine used by the access system to process the face image to generate a template.

일 구현에서, 상기 템플릿 서버는 복수의 얼굴 처리 엔진 중에서 상기 출입 시스템이 사용하는 얼굴 처리 엔진에 대응하는 업체의 엔진이면서 또한 대응하는 버전을 갖는 얼굴 처리 엔진을 로딩하여 상기 얼굴 이미지를 처리하도록 구성될 수 있다. In one implementation, the template server may be configured to process the facial image by loading a facial processing engine from among a plurality of facial processing engines, the facial processing engine being an engine of a vendor corresponding to the facial processing engine used by the access system and also having a corresponding version.

일 구현에서, 상기 모바일 단말로부터 전송되는 얼굴 이미지는 상기 모바일 단말에 의해 촬영된 이미지에서 사용자의 얼굴 영역만이 크롭된 얼굴 영역 이미지일 수 있다. In one implementation, the face image transmitted from the mobile terminal may be a face region image in which only the user's face region is cropped from an image captured by the mobile terminal.

본 발명의 또 다른 실시 예에 따르면, 모바일 단말이 제공된다. 상기 모바일 단말은 인터페이스 장치; 및 프로세서를 포함하며, 상기 프로세서는 제1 사용자 정보를 상기 인터페이스 장치를 통해 등록 시스템으로 전달하면서 1차 인증을 요청하고; 상기 인터페이스 장치를 통해 상기 등록 시스템으로부터 1차 인증에 대한 응답이 수신되면, SMS 개인 인증을 수행하고; 상기 SMS 개인 인증이 완료되면, 상기 SMS 개인 인증에 사용된 제2 사용자 정보를 상기 인터페이스 장치를 통해 상기 등록 시스템으로 전달하면서 2차 인증을 요청하고; 그리고 상기 인터페이스 장치를 통해 상기 등록 시스템으로부터 상기 2차 인증에 대한 응답이 수신되면, 사용자 이미지를 획득한 다음, 상기 인터페이스 장치를 상기 획득된 이미지를 출입 제어를 위해 상기 등록 시스템으로 전송하도록 구성된다. According to another embodiment of the present invention, a mobile terminal is provided. The mobile terminal includes an interface device; and a processor, wherein the processor is configured to request primary authentication while transmitting first user information to a registration system through the interface device; when a response to the primary authentication is received from the registration system through the interface device, perform SMS personal authentication; when the SMS personal authentication is completed, request secondary authentication while transmitting second user information used for the SMS personal authentication to the registration system through the interface device; and when a response to the secondary authentication is received from the registration system through the interface device, acquire a user image, and then transmit the acquired image through the interface device to the registration system for access control.

일 구현에서, 상기 프로세서는 구체적으로, 상기 획득된 이미지에서 얼굴을 검출하고; 상기 검출된 얼굴의 최소 눈 간 거리를 획득하고, 상기 최소 눈 간 거리가 기준 눈 간 거리를 범위를 만족하는 경우에, 상기 획득된 이미지로부터 얼굴 영역만을 크롭하여 적어도 하나의 얼굴 영역 이미지를 생성하고; 그리고 상기 얼굴 영역 이미지를 상기 2차 인증이 완료된 사용자 정보와 함께 상기 등록 시스템으로 전송하도록 구성될 수 있다. In one implementation, the processor may be specifically configured to detect a face in the acquired image; acquire a minimum inter-eye distance of the detected face; and, if the minimum inter-eye distance satisfies a range of reference inter-eye distances, crop only the face region from the acquired image to generate at least one face region image; and transmit the face region image to the registration system together with user information for which the secondary authentication has been completed.

실시 예에 따르면, 모바일 단말을 통해 출입 제어를 위한 얼굴을 편리하고 안정성 있게 등록할 수 있다. 특히, 사용자 정보를 이용하여 출입 시스템과의 연동을 통한 1차 인증, SMS에 기반한 개인 인증, 개인 인증이 이루어진 정보를 이용하여 출입 시스템과의 연동을 통한 2차 인증을 포함하는 인증 과정을 통해 사용자의 얼굴을 출입 제어를 위해 등록함으로써, 사용자 정보를 도용하여 타인이 얼굴을 등록을 하는 경우 등을 방지할 수 있다. According to an embodiment, a face for access control can be conveniently and reliably registered via a mobile terminal. In particular, by registering the user's face for access control through an authentication process including primary authentication through linkage with an access system using user information, personal authentication based on SMS, and secondary authentication through linkage with an access system using personally authenticated information, it is possible to prevent cases where a third party registers a face by stealing user information.

또한, 모바일 단말 내에서 얼굴을 검출하고 얼굴 영역만 크롭한 이미지를 전송함으로써, 네트워크 리소스 및 서버 리소스를 최소화할 수 있다. 또한, 모바일 단말에서 이미지에서 얼굴이 포함되지 않은 이미지에 대한 확인이 수행됨으로써, 얼굴이 아닌 사진 등이 서버로 전송되어 불필요한 서버 사용이나 네트워크 사용이 발생하는 것을 방지할 수 있다. 또한, 출입 시스템의 얼굴 엔진 버전에 따라 얼굴 이미지로부터 얼굴 특징점을 포함하는 템플릿이 생성됨으로써, 출입 시스템에 적합한 얼굴 등록이 이루어질 수 있다. In addition, by detecting a face in a mobile terminal and transmitting an image cropped to only the face area, network resources and server resources can be minimized. In addition, by performing a verification on an image that does not include a face in the image on the mobile terminal, unnecessary server usage or network usage can be prevented by transmitting non-face photos to the server. In addition, by generating a template including facial feature points from a face image according to the face engine version of the access system, face registration suitable for the access system can be performed.

도 1은 본 발명의 실시 예에 따른 얼굴 등록 시스템의 네트워크 환경을 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 등록 시스템의 구조를 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 얼굴 등록 방법에서 인증 과정을 나타낸 흐름도이다.
도 4는 본 발명의 실시 예에 따른 얼굴 등록 방법에서 촬영 과정을 나타낸 흐름도이다.
도 5는 본 발명의 실시 예에 따른 얼굴 등록 방법에서 얼굴 등록 과정을 나타낸 흐름도이다.
도 6은 본 발명의 실시 예에 따른 얼굴 등록 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다.
Figure 1 is a diagram showing a network environment of a face registration system according to an embodiment of the present invention.
FIG. 2 is a diagram showing the structure of a face registration system according to an embodiment of the present invention.
FIG. 3 is a flowchart showing an authentication process in a face registration method according to an embodiment of the present invention.
FIG. 4 is a flowchart showing a photographing process in a face registration method according to an embodiment of the present invention.
FIG. 5 is a flowchart showing a face registration process in a face registration method according to an embodiment of the present invention.
FIG. 6 is a structural diagram illustrating a computing device for implementing a face registration method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are assigned similar drawing reference numerals throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, whenever a part is said to "include" a component, this does not mean that it excludes other components, but rather that it may include other components, unless otherwise stated.

본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.In this specification, expressions described in the singular may be interpreted as singular or plural, unless explicit expressions such as “one” or “singular” are used.

또한, 본 발명의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first, second, etc. used in the embodiments of the present invention may be used to describe components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

이하, 본 발명의 실시 예에 따른 얼굴 등록 시스템 및 방법에 대하여 설명한다. Hereinafter, a face registration system and method according to an embodiment of the present invention will be described.

도 1은 본 발명의 실시 예에 따른 얼굴 등록 시스템의 네트워크 환경을 나타낸 도이다. Figure 1 is a diagram showing a network environment of a face registration system according to an embodiment of the present invention.

첨부한 도 1에서와 같이, 본 발명의 실시 예에 따른 얼굴 등록 시스템(1)은 복수의 출입 시스템(2)과 연동하여 얼굴 기반의 출입 제어가 이루어지도록 하며, 특히, 복수의 모바일 단말(3)과 통신하여 얼굴 등록을 수행한다. 또한, 얼굴 등록 시스템(1)은 SMS 인증 서버(4)와 연동하여 얼굴 등록을 하는 사용자에 대한 SMS 인증을 수행한다. As shown in the attached drawing 1, the face registration system (1) according to an embodiment of the present invention performs face-based access control by linking with a plurality of access systems (2), and in particular, performs face registration by communicating with a plurality of mobile terminals (3). In addition, the face registration system (1) performs SMS authentication for a user registering a face by linking with an SMS authentication server (4).

이러한 네트워크 환경에서, 모바일 단말(3)은 출입을 허가 받고자 하는 사용자가 자신의 얼굴을 등록하고자 하는 경우 사용하는 단말이며, 모바일 단말(3)은 사용자의 얼굴을 촬영하여 대응하는 이미지를 얼굴 등록 시스템(1)으로 전송하도록 구성된다. 예를 들어, 모바일 단말(3)은 이미지를 네트워크를 통해 송수신이 가능한 스마트폰, 핸드헬드 디바이스 등과 같은 다양한 형태의 디바이스일 수 있다. 이러한 모바일 단말(3)에는 얼굴 등록을 위한 클라이언트 예를 들어, 사용자가 모바일 단말(3)을 통해 얼굴 등록 시스템(1)에 접속하여 본 발명의 실시예에 따른 얼굴 등록을 할 수 있도록 지원한다. 이러한 얼굴 등록 클라이언트는 모바일 단말(3)의 하드웨어와 조합하여 실행되는 소프트웨어 모듈로 구현될 수 있으며, 예를 들어, 사용자 앱으로 지칭될 수 있다. 이러한 모바일 단말(3)은 다양한 방법(예를 들어, QR 코드 촬영, SMS(short message service) 링크 등)을 통해 얼굴 등록 시스템(1)에 접속할 수 있다. In this network environment, the mobile terminal (3) is a terminal used when a user who wishes to be granted entry wishes to register his or her face, and the mobile terminal (3) is configured to photograph the user's face and transmit the corresponding image to the face registration system (1). For example, the mobile terminal (3) may be various types of devices such as a smart phone or a handheld device capable of transmitting and receiving images over a network. The mobile terminal (3) includes a client for face registration, for example, a user may access the face registration system (1) through the mobile terminal (3) to support face registration according to an embodiment of the present invention. The face registration client may be implemented as a software module that is executed in combination with the hardware of the mobile terminal (3) and may be referred to as a user app, for example. The mobile terminal (3) may access the face registration system (1) through various methods (for example, QR code photographing, SMS (short message service) link, etc.).

출입 시스템(2)은 얼굴 등록 시스템(1)과 연동하여, 출입 통제가 이루어지는 지역의 출입문에 대한 실질적인 출입 통제를 수행하는 시스템이다. 출입 시스템(2) 각각은 예를 들어, 회사, 기관 등과 같은 조직의 구성원에 대한 출입 통제를 수행하는 시스템으로, 얼굴 인식 기반으로 출입 통제를 수행하는 시스템이다. 특히, 출입 시스템(2)은 본 발명의 실시 예에 따른 얼굴 등록 시스템(1)으로부터 제공되는 얼굴 이미지를 조직의 구성원의 얼굴로 사용하고, 이를 기반으로 출입 제어를 수행한다. 출입 시스템(1)은 일 구현 예에서, 출입 관리가 이루어지는 지역에 복수의 출입문이 설치되고, 각각의 출입문에 대응하여 출입문 구동 장치가 설치되며, 얼굴 인식을 위한 촬영 장치가 설치되는 환경에서, 작동할 수 있다. The access system (2) is a system that performs actual access control for the entrance doors of an area where access control is performed in conjunction with the face registration system (1). Each of the access systems (2) is a system that performs access control for members of an organization, such as a company or an institution, for example, and is a system that performs access control based on face recognition. In particular, the access system (2) uses the face image provided from the face registration system (1) according to an embodiment of the present invention as the face of a member of the organization and performs access control based on the face image. In one implementation example, the access system (1) can operate in an environment where a plurality of entrance doors are installed in an area where access control is performed, an entrance door driving device is installed corresponding to each entrance door, and a photographing device for face recognition is installed.

SMS 인증 서버(4)는 SMS 기반의 인증을 수행하도록 구성되며, 얼굴 등록 시스템(1)으로부터 제공되는 정보를 기반으로 SMS 인증을 수행하고 그 결과를 얼굴 등록 시스템(1)으로 제공한다. The SMS authentication server (4) is configured to perform SMS-based authentication, performs SMS authentication based on information provided from the face registration system (1), and provides the result to the face registration system (1).

본 발명의 실시 예에서는 얼굴 등록 시스템(1)은 모바일 단말(3)을 통해 전송되는 사용자 이미지를 기반으로 출입 제어를 위한 얼굴 등록을 수행하며, 출입 시스템(2)으로부터 제공되는 정보를 기반으로 얼굴 등록을 하고자 하는 사용자에 대한 인증을 수행한다. In an embodiment of the present invention, a face registration system (1) performs face registration for access control based on a user image transmitted via a mobile terminal (3), and performs authentication for a user wishing to perform face registration based on information provided from an access system (2).

이를 위해, 얼굴 등록 시스템(1)은 도 2와 같은 구조로 이루어진다. For this purpose, the face registration system (1) has a structure as shown in Fig. 2.

도 2는 본 발명의 실시 예에 따른 얼굴 등록 시스템의 구조를 나타낸 도이다. FIG. 2 is a diagram showing the structure of a face registration system according to an embodiment of the present invention.

본 발명의 실시 예에 따른 얼굴 등록 시스템(1)은 첨부한 도 2에 도시되어 있듯이, 얼굴 등록 웹 서버(10), 얼굴 등록 제어 서버(20), 그리고 복수의 템플릿 서버(30)(예: 템플릿 서버 #1 ~템플릿 서버 #N)를 포함한다. A face registration system (1) according to an embodiment of the present invention includes a face registration web server (10), a face registration control server (20), and a plurality of template servers (30) (e.g., template server #1 to template server #N), as illustrated in the attached FIG. 2.

얼굴 등록 웹 서버(10)는 모바일 단말(3)과의 인터페이스를 수행하여, 사용자가 모바일 단말(3)을 통해 얼굴을 등록할 수 있도록 한다. 얼굴 등록 웹 서버(10)는 모바일 단말(3)로부터 전송되는 이미지 및 사용자 정보를 얼굴 등록 제어 서버(20)로 전달하며, 얼굴 등록 제어 서버(20)로부터 제공되는 얼굴 등록 처리를 위한 인증 및 처리 결과에 관련된 응답을 제공받아 모바일 단말(3)로 전송한다. The face registration web server (10) performs an interface with a mobile terminal (3) so that a user can register a face through the mobile terminal (3). The face registration web server (10) transmits an image and user information transmitted from the mobile terminal (3) to the face registration control server (20), and receives a response related to authentication and processing results for face registration processing provided from the face registration control server (20) and transmits the response to the mobile terminal (3).

템플릿 서버(30)는 이미지로부터 템플릿을 생성하도록 구성된다. 특히, 템플릿 서버(30) 각각은 얼굴 이미지(또는 얼굴 영역 이미지)로부터 템플릿을 생성하기 위한 얼굴 처리 엔진을 적어도 하나 포함하며, 각 얼굴 처리 엔진은 얼굴 처리 엔진을 개발하는 업체별 그리고 엔진 버전별로 매핑되어 저장 및 관리된다. 이에 기반하여, 템플릿 서버(30)는 복수의 얼굴 처리 엔진 중에서, 얼굴 등록 제어 서버(20)를 통해 제공되는 엔진 정보(해당 출입 시스템에서 사용하는 처리 엔진에 관련된 업체명, 엔진 버전 등)를 기반으로 얼굴 이미지(또는 얼굴 영역 이미지)로부터 템플릿을 생성하기 위한 하나의 얼굴 처리 엔진을 선택한다. 또한, 템플릿 서버(30)는 자신의 리소스 정보(GPU, CPU 및 메모리 상태 정보 등)를 얼굴 등록 제어 서버(20)로 전달하도록 구성된다. 일 구현 예로, 설정 주기마다 리소스 정보를 얼굴 등록 제어 서버(20)로 전달할 수 있다. The template server (30) is configured to generate a template from an image. In particular, each of the template servers (30) includes at least one face processing engine for generating a template from a face image (or a face region image), and each face processing engine is mapped and stored and managed by a company developing the face processing engine and by engine version. Based on this, the template server (30) selects one face processing engine for generating a template from a face image (or a face region image) based on engine information (company name, engine version, etc. related to the processing engine used in the corresponding access system) provided through the face registration control server (20) among a plurality of face processing engines. In addition, the template server (30) is configured to transmit its own resource information (GPU, CPU, and memory status information, etc.) to the face registration control server (20). As an implementation example, the resource information may be transmitted to the face registration control server (20) at each set cycle.

이러한 템플릿 서버(30) 각각에서 얼굴 처리 엔진 업체별로 얼굴 처리 엔진을 버전별로 관리하여, 출입 시스템의 얼굴 처리 엔진 정보를 가지고 자동으로 얼굴 처리 엔진을 로딩 및 언로딩하여, 다양한 얼굴 처리 엔진 종류의 템플릿을 생성할 수 있다. In each of these template servers (30), the face processing engine is managed by version for each face processing engine vendor, and the face processing engine is automatically loaded and unloaded using the face processing engine information of the access system, so that templates for various types of face processing engines can be created.

얼굴 등록 제어 서버(20)는 모바일 단말(3)을 통한 사용자의 얼굴 등록 처리를 전반적으로 제어하며, 특히 출입 시스템(2)과의 연동을 통해 얼굴 등록을 하고자 하는 사용자에 대한 인증 처리를 수행한다. 얼굴 등록 제어 서버(20)는 복수의 템플릿 서버(30)를 제어하며 특히 각 템플릿 서버(30)로부터 제공되는 리소스 정보를 템플릿 서버별로 저장 및 관리하며, 각 템플릿 서버의 리소스 정보를 기반으로 하나의 템플릿 서버를 선택하여, 현재 얼굴 등록 웹 서버(10)로부터 제공되는 이미지를 처리하도록 제어한다. The face registration control server (20) controls the overall face registration processing of a user through a mobile terminal (3), and in particular, performs authentication processing for a user who wishes to register his or her face through linkage with an access system (2). The face registration control server (20) controls a plurality of template servers (30), and in particular, stores and manages resource information provided from each template server (30) for each template server, and selects one template server based on the resource information of each template server, and controls it to process an image currently provided from a face registration web server (10).

일 구현 예로, 얼굴 등록 제어 서버(20)는 각 템플릿 서버(30)로부터 GPU, CPU, MEM 사용량을 주기적으로 수신하고, GPU, CPU, MEM 등의 리소스별로 사용량에 따라 가중치를 준다. 각 템플릿 서버별로 가중치들을 포함한 리소스 값을 획득하며, 템플릿 서버들 중에서 리소스 값이 제일 작은 템플릿 서버를 선택하고, 선택된 템플릿 서버로 얼굴 이미지를 전송할 수 있다. 이 경우, 템플릿 서버는 수신되는 이미지를 받아서 자체 큐(Queue)에 저장하며, 큐로부터 순서대로 이미지를 꺼내 템플릿을 추출하여, 얼굴 등록 제어 서버로 전송한다. As an example of an implementation, the face registration control server (20) periodically receives GPU, CPU, and MEM usage from each template server (30), and assigns weights to each resource such as GPU, CPU, and MEM according to the usage. The resource values including the weights are obtained for each template server, and the template server with the smallest resource value among the template servers can be selected, and a face image can be transmitted to the selected template server. In this case, the template server receives the received image, stores it in its own queue, sequentially takes images from the queue, extracts a template, and transmits it to the face registration control server.

이러한 구조로 이루어지는 얼굴 등록 시스템(1)은 클라우드로 구축하여 랜탈 서비스로 제공될 수 있다. A face registration system (1) having this structure can be built in the cloud and provided as a rental service.

다음에는 이러한 구조를 기반으로 본 발명의 실시 예에 따른 얼굴 등록 방법에 대해 설명한다. Next, a face registration method according to an embodiment of the present invention based on this structure is described.

여기서는 설명의 편의를 위해, 임의의 회사에서 구성원들에 대한 출입을 제어하기 위해 구성원들이 얼굴을 등록하고 출입 시스템(2)이 대응하는 회사의 출입을 통제하는 시스템인 것을 예로 사용하여 얼굴 등록 방법을 설명한다. Here, for convenience of explanation, the face registration method is explained using as an example a system in which members register their faces to control access to a company and an access system (2) controls access to a corresponding company.

도 3은 본 발명의 실시 예에 따른 얼굴 등록 방법에서 인증 과정을 나타낸 흐름도이다. FIG. 3 is a flowchart showing an authentication process in a face registration method according to an embodiment of the present invention.

이를 위해, 첨부한 도 3에서와 같이, 사용자에 대한 인증을 수행한다. 이를 위해, 얼굴 등록 시스템(1)의 얼굴 등록을 위한 얼굴 등록 웹 서버(10)가 얼굴 등록 제어 서버(20)로 얼굴 기반으로 출입 통제를 수행하는 회사에 대응하는 정보를 제공한다(S100). 여기서, 회사에 대응하는 정보는 회사명, 대응하는 출입 시스템의 IP 주소, 포트 번호 등을 포함하며, 설명의 편의상, 출입 시스템 정보라고 명명한다. To this end, as shown in the attached Fig. 3, authentication for the user is performed. To this end, the face registration web server (10) for face registration of the face registration system (1) provides information corresponding to a company performing access control based on a face to the face registration control server (20) (S100). Here, the information corresponding to the company includes the company name, the IP address of the corresponding access system, the port number, etc., and for the convenience of explanation, it is named access system information.

얼굴 등록 제어 서버(20)는 얼굴 등록 웹 서버(10)로부터 제공받은 출입 시스템 정보에 기반하여, 대응하는 출입 시스템(2)으로 얼굴 이미지를 처리하는 얼굴 처리 엔진에 대한 정보를 요청한다(S110). 이러한 요청에 따라, 대응하는 출입 시스템(2)이 자신의 시스템에서 사용하는 얼굴 처리 엔진에 대한 정보를 얼굴 등록 제어 서버(20)로 전송하며(S120), 얼굴 처리 엔진에 대한 정보는 엔진 버전 정보, 엔진 업체명 등을 포함한다. 이러한 얼굴 처리 엔진에 대한 정보는 템플릿 서버(30)로 제공되며, 이후 사용자 얼굴 등록시 사용된다. 이에 대해서는 추후에 설명하기로 한다. 얼굴 등록 제어 서버(20)는 출입 시스템 정보에 얼굴 처리 엔진에 대한 정보를 매핑하여 저장 및 관리한다. The face registration control server (20) requests information on a face processing engine that processes a face image from a corresponding access system (2) based on the access system information provided from the face registration web server (10) (S110). In response to this request, the corresponding access system (2) transmits information on a face processing engine used in its own system to the face registration control server (20) (S120). The information on the face processing engine includes engine version information, engine company name, etc. The information on the face processing engine is provided to the template server (30) and is used thereafter when registering a user's face. This will be described later. The face registration control server (20) maps information on the face processing engine to the access system information and stores and manages it.

한편, 얼굴 등록 웹 서버(10)는 출입 시스템 정보를 얼굴 등록 제어 서버(20)로 제공한 다음에, 먼저, 출입 시스템을 이용한 1차 인증을 수행한다. 출입 시스템을 이용한 1차 인증은 사용자가 입력하는 정보를 기반으로 해당 사용자가 해당 조직(회사)의 구성원인지를 확인하는 인증이다. 이를 위해, 대응하는 회사의 구성원의 모바일 단말 즉, 사용자의 모바일 단말(3)로 얼굴 등록을 요청하는 메시지를 송신한다(S130). 얼굴 등록을 요청하는 메시지는 예를 들어, 얼굴 등록 초대 메시지 형태일 수 있다. Meanwhile, the face registration web server (10) provides the access system information to the face registration control server (20), and then first performs primary authentication using the access system. Primary authentication using the access system is authentication that verifies whether the user is a member of the organization (company) based on the information entered by the user. To this end, a message requesting face registration is transmitted to the mobile terminal of the corresponding member of the company, that is, the user's mobile terminal (3) (S130). The message requesting face registration may be, for example, in the form of a face registration invitation message.

사용자의 모바일 단말(3)은 얼굴 등록 웹 서버(10)로부터 얼굴 등록을 요청하는 메시지를 수신하고, 이후, 입력되는 사용자 정보를 얼굴 등록 웹 서버(10)로 전송한다(S140). 일 예로, 모바일 단말(3)이 얼굴 등록을 요청하는 메시지를 수신하면, 사용자 정보 입력을 디스플레이하고, 이에 따라 사용자가 입력하는 정보를 사용자 정보로 하여 얼굴 등록 웹 서버(10)로 전송할 수 있다. 여기서, 사용자 정보는 대응하는 조직인 회사의 이름(회사명), 사용자 이름, 사번, 전화 번호 등을 포함할 수 있다. The user's mobile terminal (3) receives a message requesting face registration from the face registration web server (10), and then transmits the input user information to the face registration web server (10) (S140). For example, when the mobile terminal (3) receives a message requesting face registration, it displays user information input, and accordingly transmits the information input by the user as user information to the face registration web server (10). Here, the user information may include the name of the corresponding organization, i.e., the company (company name), user name, employee number, phone number, etc.

얼굴 등록 웹 서버(10)는 얼굴 등록을 요청하는 메시지를 송신하였던 모바일 단말(3)로부터 사용자 정보가 수신되면, 수신된 사용자 정보를 얼굴 등록 제어 서버(20)로 전달한다(S150). 얼굴 등록 제어 서버(20)는 사용자 정보를 대응하는 출입 시스템(2)으로 전송하면서 해당 회사의 구성원인지에 대한 확인을 요청한다(S160).When the face registration web server (10) receives user information from a mobile terminal (3) that has sent a message requesting face registration, it transmits the received user information to the face registration control server (20) (S150). The face registration control server (20) transmits the user information to the corresponding access system (2) and requests confirmation of whether the user is a member of the corresponding company (S160).

이후, 얼굴 등록 제어 서버(20)는 출입 시스템(2)으로부터 해당 사용자가 회사의 구성원인지에 대한 응답 정보를 수신하고(S170), 수신된 응답 정보를 얼굴 등록 웹 서버(10)를 통해 사용자의 모바일 단말(3)로 전송한다(S180, S190). Thereafter, the face registration control server (20) receives response information from the access system (2) as to whether the user is a member of the company (S170) and transmits the received response information to the user's mobile terminal (3) via the face registration web server (10) (S180, S190).

사용자의 모바일 단말(3)은 전송한 사용자 정보에 대한 응답 정보가 수신되면, 개인 인증을 수행한다. 구체적으로 모바일 단말(3)이 출입 시스템을 이용한 1차 인증에 따라 수행한 위의 단계(S130~S190)를 통해 응답 정보가 수신되고, 응답 정보가 응답 성공 즉, 출입 시스템을 이용한 인증이 성공하면(S200), SMS를 이용한 개인 인증을 수행한다(S210). SMS를 이용한 개인 인증은 SMS 인증 서버(4)를 통해 이루어질 수 있으며, 당업계에 알려진 인증 방법을 통해 인증이 이루어질 수 있다. 이 경우 얼굴 등록 제어 서버(20)의 중계를 통해 SMS 개인 인증이 이루어질 수도 있다. When the user's mobile terminal (3) receives response information for the transmitted user information, it performs personal authentication. Specifically, when the mobile terminal (3) receives response information through the above steps (S130 to S190) performed according to the first authentication using the access system, and when the response information is a response success, that is, authentication using the access system is successful (S200), personal authentication using SMS is performed (S210). Personal authentication using SMS can be performed through the SMS authentication server (4), and authentication can be performed through an authentication method known in the art. In this case, SMS personal authentication can also be performed through the relay of the face registration control server (20).

SMS를 이용한 개인 인증이 수행되고 개인 인증이 성공하면(S210), 모바일 단말(3)이 출입 시스템을 이용한 2차 인증을 수행한다. 여기서 출입 시스템을 이용한 2차 인증은 입력되는 정보가 아니라 개인 인증시 사용한 사용자 정보를 기반으로 해당 조직(회사)의 구성원인지를 확인하는 인증이다. 모바일 단말(3)은 SMS를 이용한 개인 인증이 성공하면, 개인 인증시 사용된 사용자 정보를 얼굴 등록 웹 서버(10)로 전송하면서 2차 인증을 요청한다(S220~S230). 2차 인증시 사용되는 사용자 정보는 개인 인증시 사용된 사용자 이름 및 전화 번호 등을 포함할 수 있다. When personal authentication using SMS is performed and personal authentication is successful (S210), the mobile terminal (3) performs secondary authentication using the access system. Here, secondary authentication using the access system is authentication that verifies whether the user is a member of the organization (company) based on the user information used for personal authentication, not the input information. When personal authentication using SMS is successful, the mobile terminal (3) requests secondary authentication while transmitting the user information used for personal authentication to the face registration web server (10) (S220~S230). The user information used for secondary authentication may include the user name and phone number used for personal authentication.

얼굴 등록 웹 서버(10)는 모바일 단말(3)로부터 사용자 정보가 수신되면, 수신된 사용자 정보를 얼굴 등록 제어 서버(20)로 전달하고(S240). 얼굴 등록 제어 서버(20)는 해당 사용자 정보를 대응하는 출입 시스템(2)으로 전송하면서 해당 회사의 구성원인지에 대한 확인을 요청한다(S250).When the face registration web server (10) receives user information from a mobile terminal (3), it transmits the received user information to the face registration control server (20) (S240). The face registration control server (20) transmits the corresponding user information to the corresponding access system (2) and requests confirmation of whether the user is a member of the corresponding company (S250).

이후, 얼굴 등록 제어 서버(20)는 출입 시스템(2)으로부터 해당 사용자가 회사의 구성원인지에 대한 응답 정보를 수신하고(S260), 수신된 응답 정보를 얼굴 등록 웹 서버(10)를 통해 사용자의 모바일 단말(3)로 전송한다(S270, S280). Thereafter, the face registration control server (20) receives response information from the access system (2) as to whether the user is a member of the company (S260) and transmits the received response information to the user's mobile terminal (3) via the face registration web server (10) (S270, S280).

사용자의 모바일 단말(3)은 출입 시스템을 이용한 2차 인증에 따라 수행한 위의 단계(S230~S280)를 통해 미리 저장된 사용자 정보에 대한 응답 정보가 수신되고, 응답 정보가 응답 성공 즉, 출입 시스템을 이용한 인증이 성공하면(S290), 현재 얼굴을 등록하고자 하는 사용자가 적법한 사용자인 것으로 최종적으로 결정하여 인증을 완료한다(S300). The user's mobile terminal (3) receives response information for the user information previously stored through the above steps (S230 to S280) performed according to the second authentication using the access system, and if the response information is a success, i.e., authentication using the access system is successful (S290), it is finally determined that the user currently attempting to register his/her face is a legitimate user and authentication is completed (S300).

이와 같이, 사용자가 입력하는 정보에 기반한 출입 시스템을 이용한 1차 인증 및 SMS를 이용한 개인 인증이 수행된 후에, 별도 사용자의 정보를 입력 받지 않고, 모바일 단말(3)은 개인 인증시 사용되었던 사용자 정보(이름, 전화번호, 사원 번호 등)을 암호화하여 얼굴 등록 웹 서버(10)로 전송하며, 얼굴 등록 웹서버(10)는 수신된 사용자 정보를 복호화하여 얼굴 등록 제어 서버(20)통해 출입 시스템을 이용한 2차 인증을 수행한다. 따라서, 얼굴을 등록하고자 하는 사용자에 대한 인증이 보다 신뢰성 있게 이루어지며, 특히, 해당 조직(회사)의 구성원이 아닌 사람이 본인의 SMS로 개인 인증하고, In this way, after the first authentication using the access system based on the information entered by the user and the personal authentication using SMS are performed, the mobile terminal (3) encrypts the user information (name, phone number, employee number, etc.) used for personal authentication and transmits it to the face registration web server (10) without receiving separate user information, and the face registration web server (10) decrypts the received user information and performs the second authentication using the access system through the face registration control server (20). Therefore, the authentication of the user who wants to register his/her face is performed more reliably, and in particular, a person who is not a member of the organization (company) performs personal authentication using his/her SMS,

타인의 사원 번호(또는 전화번호) 및 이름으로 회사 인증을 받고 얼굴을 등록하고자 하는 경우를 미리 방지할 있다. You can prevent cases in advance where someone else's employee number (or phone number) and name is used to authenticate the company and register the face.

위에 기술된 바와 같이, 인증 과정이 수행된 다음에, 얼굴 등록을 위한 과정이 수행한다. As described above, after the authentication process is performed, the process for face registration is performed.

도 4는 본 발명의 실시 예에 따른 얼굴 등록 방법에서 촬영 과정을 나타낸 흐름도이다. FIG. 4 is a flowchart showing a photographing process in a face registration method according to an embodiment of the present invention.

인증이 완료된 후, 첨부한 도 4에 도시되어 있듯이, 모바일 단말(3)은 얼굴 촬영을 수행한다(S400). 일 구현 예로, 모바일 단말(3)에 있는 얼굴 등록 클라이언트가 인증이 완료되면 자동으로 모바일 단말(3)의 카메라를 활성화시켜 사용자가 자신의 얼굴을 촬영하도록 유도할 수 있다. After authentication is completed, as shown in the attached drawing 4, the mobile terminal (3) performs a face photographing (S400). As an example of one implementation, the face registration client in the mobile terminal (3) can automatically activate the camera of the mobile terminal (3) when authentication is completed, thereby inducing the user to take a picture of his/her face.

얼굴 촬영이 이루어지고 촬영 이미지가 획득되면, 모바일 단말(3)은 촬영 이미지로부터 얼굴을 검출한다(S410). 얼굴 검출은 촬영 이미지에 얼굴이 있는지를 확인하기 위해, 촬영 이미지에서 얼굴에 대응하는 영역을 검출하는 것을 의미하며, 이러한 얼굴 검출은 당업계에 알려진 다양한 방법이 사용될 수 있다. When a face is captured and a captured image is acquired, the mobile terminal (3) detects a face from the captured image (S410). Face detection means detecting an area corresponding to a face in the captured image to determine whether a face is present in the captured image, and various methods known in the art can be used for such face detection.

얼굴 검출이 성공하면(S420), 검출된 얼굴 영역에서 최소 눈 간 거리를 획득한다(S430). 최소 눈 간 거리는 예를 들어, 좌안의 동공 중심과 우안의 동공 중심 사이의 거리를 나타낼 수 있다. If face detection is successful (S420), the minimum inter-eye distance is obtained in the detected face area (S430). The minimum inter-eye distance may represent, for example, the distance between the pupil center of the left eye and the pupil center of the right eye.

획득된 최소 눈 간 거리가 기준 눈 간 거리 범위에 포함되면(S440), 모바일 단말(3)은 얼굴 검출이 성공적으로 수행된 것으로 판단하고, 이후 과정을 수행한다. 반면, 최소 눈 간 거리가 기준 눈 간 거리 범위에 포함되지 않으면 얼굴 검출이 실패한 것으로 판단하고 위의 단계(S400~S440)를 다시 수행한다. If the acquired minimum inter-eye distance is included in the reference inter-eye distance range (S440), the mobile terminal (3) determines that face detection has been successfully performed and performs the subsequent process. On the other hand, if the minimum inter-eye distance is not included in the reference inter-eye distance range, face detection is determined to have failed and the above steps (S400 to S440) are performed again.

얼굴 검출이 성공하면, 모바일 단말(3)은 촬영 이미지에 기반하여 복수의 얼굴 이미지를 생성한다(S450). 그리고 복수의 얼굴 이미지에서 각각 얼굴 영역만 크롭하여(crop), 얼굴 영역 이미지들을 획득한다(S460). 그런 다음, 모바일 단말(3)은 얼굴 영역만 크롭된 얼굴 영역 이미지들을 등록을 위해 얼굴 등록 웹 서버(10)로 전송한다(S470). 이때, 복수의 얼굴 영역 이미지 이외에, 사용자 정보를 함께 전송하며, 여기서 사용자 정보는 회사명, 이름, 전화 번호 등을 포함할 수 있다. 모바일 단말(3)은 얼굴 이미지와 얼굴 영역 이미지를 함께 저장 및 관리할 수 있다. If face detection is successful, the mobile terminal (3) generates multiple face images based on the captured image (S450). Then, only the face region is cropped from each of the multiple face images, and face region images are obtained (S460). Then, the mobile terminal (3) transmits the face region images, in which only the face region is cropped, to the face registration web server (10) for registration (S470). At this time, in addition to the multiple face region images, user information is transmitted together, and the user information may include a company name, name, phone number, etc. The mobile terminal (3) may store and manage the face image and the face region image together.

이와 같이, 촬영된 이미지에 얼굴이 있는지를 자동 검증하고, 얼굴이 있는 경우에만 해당 이미지를 얼굴 등록 웹 서버(10)로 전송함으로써, 불필요한 네트워크 자원 소비를 최소화할 수 있으며, 촬영된 이미지에 얼굴 영역이 없음에도 불구하고 얼굴 등록이 수행되는 경우를 방지할 수 있다. 또한, 등록을 위한 얼굴 이미지 획득을 모바일 단말에서 처리함에 따라 서버 자원을 효율적으로 사용할 수 있다. 또한, 모바일 단말에서 촬영 이미지에서 얼굴 부분만 크롭 처리하여 전송함으로써, 네트워크 전송량을 최소화할 수 있으며, 실질적으로 얼굴 영역 이미지만 필요함에도 불구하고 얼굴 이외의 부분 예를 들어, 상반신 등 불필요한 데이터가 전송됨에 따라 네트워크 트래픽을 유발하는 경우를 방지할 수 있다. In this way, by automatically verifying whether there is a face in the captured image and transmitting the image to the face registration web server (10) only when there is a face, unnecessary consumption of network resources can be minimized, and cases where face registration is performed despite there being no face area in the captured image can be prevented. In addition, server resources can be used efficiently since the acquisition of the face image for registration is processed on the mobile terminal. In addition, by cropping and transmitting only the face area from the captured image on the mobile terminal, the amount of network transmission can be minimized, and cases where network traffic is caused due to unnecessary data being transmitted for areas other than the face, such as the upper body, even though only the face area image is actually needed can be prevented.

한편, 모바일 단말(3)로부터 얼굴 영역 이미지들과 사용자 정보를 수신한 얼굴 등록 웹 서버(10)는 이를 얼굴 등록 제어 서버(20)로 전달하여 얼굴 등록을 요청한다(S490). Meanwhile, the face registration web server (10) that receives face area images and user information from the mobile terminal (3) transmits them to the face registration control server (20) to request face registration (S490).

위에 기술된 바와 같이, 촬영 과정이 수행된 다음에, 얼굴 등록 과정을 수행한다. As described above, after the shooting process is performed, the face registration process is performed.

도 5는 본 발명의 실시 예에 따른 얼굴 등록 방법에서 얼굴 등록 과정을 나타낸 흐름도이다. FIG. 5 is a flowchart showing a face registration process in a face registration method according to an embodiment of the present invention.

본 발명의 실시 예에서, 템플릿 서버(30)는 자신들의 리소스를 설정 주기로 얼굴 등록 제어 서버(20)로 전달함으로써, 얼굴 등록 제어 서버(20)가 템플릿 서버들의 리소스를 모니터링하게 된다(S600). 즉, 도 5에서와 같이, 템플릿 서버(30)는 리소스 정보를 설정 주기로 얼굴 등록 제어 서버(20)로 전달하며, 리소스 정보는 CPU 및 메모리 상태 정보를 포함한다. 얼굴 등록 제어 서버(20)는 각각의 템플릿 서버(30)로부터 제공되는 리소스 정보를 기반으로 각각의 템플릿 서버(30)의 리소스를 모니터링한다. In an embodiment of the present invention, the template server (30) transmits its resources to the face registration control server (20) at a set cycle, thereby causing the face registration control server (20) to monitor the resources of the template servers (S600). That is, as shown in FIG. 5, the template server (30) transmits resource information to the face registration control server (20) at a set cycle, and the resource information includes CPU and memory status information. The face registration control server (20) monitors the resources of each template server (30) based on the resource information provided from each template server (30).

이러한 리소스 모니터링이 이루어지는 상태에서, 모바일 단말(3)로부터 얼굴 영역 이미지들과 사용자 정보를 수신한 얼굴 등록 웹 서버(10)가 이를 전달하면서 얼굴 등록을 요청하면(S610, S620), 얼굴 등록 제어 서버(20)는 각 템플릿 서버(30)의 리소스 정보를 확인하여 현재 리소스가 이미지를 처리하기에 충분한지를 판단하여 리소스가 여유 있는 템플릿 서버(30)를 선택한다. 예를 들어, 현재 리소스의 사용량이 설정 사용량보다 작은 경우에 리소스가 이미지를 처리하기에 충분한 것 즉, 리소스가 여유 있는 것으로 판단할 수 있다. 일 구현 예로, 복수의 템플릿 서버에 대해 순차적으로 리소스 정보를 확인하면서 리소스가 여유 있는 템플릿 서버를 선택할 수 있다. 이를 위해, 도 5에서와 같이, 변수 M=1부터 시작하여 복수의 템플릿 서버를 순서대로 리소스를 체크하여 리소스가 여유 있는 템플릿 서버를 선택한다(S630~S650).In this state of resource monitoring, when the face registration web server (10) receives face area images and user information from the mobile terminal (3) and requests face registration while transmitting them (S610, S620), the face registration control server (20) checks the resource information of each template server (30) to determine whether the current resources are sufficient to process the image and selects a template server (30) with available resources. For example, if the current resource usage is less than the set usage, it can be determined that the resources are sufficient to process the image, i.e., the resources are available. As an example of an implementation, a template server with available resources can be selected while sequentially checking resource information for a plurality of template servers. To this end, as shown in FIG. 5, resources of a plurality of template servers are sequentially checked starting from variable M=1 to select a template server with available resources (S630 to S650).

얼굴 등록 제어 서버(20)는 리소스가 여유가 있는 것으로 선택된 템플릿 서버(30)로, 얼굴 등록을 위한 이미지 데이터(복수의 얼굴 영역 이미지)를 전달한다(S660). 특히, 얼굴 등록 제어 서버(20)는 해당 사용자가 속한 조직(예: 회사)의 출입 시스템이 사용하는 얼굴 처리 엔진에 대한 정보(엔진 버전 정보, 엔진 업체명)를 함께 전달한다. The face registration control server (20) transmits image data (multiple face area images) for face registration to a template server (30) selected as having sufficient resources (S660). In particular, the face registration control server (20) transmits information about the face processing engine used by the access system of the organization (e.g., company) to which the user belongs (engine version information, engine company name).

이후, 템플릿 서버(30)는 수신된 얼굴 처리 엔진에 대한 정보에 기반하여, 엔진 업체명 및 엔진 버전에 대응하는 얼굴 처리 엔진을 로딩하고(S670), 로딩된 얼굴 처리 엔진을 통해 복수의 얼굴 영역 이미지로부터 템플릿을 추출한다(S680). 템플릿은 얼굴 영역 이미지로부터 획득된 얼굴 특징점을 가진 메타 데이터를 나타낸다. 이에 따라 고객사 시스템인 출입 시스템에서 사용하는 얼굴 처리 엔진으로 템플릿을 자동 추출할 수 있다. Thereafter, the template server (30) loads a face processing engine corresponding to the engine company name and engine version based on the information about the received face processing engine (S670), and extracts a template from multiple face region images through the loaded face processing engine (S680). The template represents metadata having face feature points acquired from the face region images. Accordingly, the template can be automatically extracted by the face processing engine used in the access system, which is the customer system.

템플릿 서버(30)는 복수의 얼굴 영역 이미지로부터 추출된 복수의 템플릿을 얼굴 등록 제어 서버(20)로 전달한다(S690). 그리고 해당 얼굴 처리 엔진을 언로딩한다(S700). The template server (30) transfers a plurality of templates extracted from a plurality of face area images to the face registration control server (20) (S690). Then, the corresponding face processing engine is unloaded (S700).

얼굴 등록 제어 서버(20)는 템플릿 서버(30)로부터 제공받은 복수의 템플릿을 대응하는 사용자 정보와 함께 해당 조직의 출입 시스템(2)으로 전송한다(S710. 이때, 원본인 복수의 얼굴 영역 이미지, 각각의 얼굴 영역 이미지로부터 추출된 템플릿, 그리고 사용자 정보(이름, 전화 번호 등)을 출입 시스템(2)으로 전송하여, 얼굴 등록이 이루어지도록 한다. The face registration control server (20) transmits a plurality of templates provided from the template server (30) together with corresponding user information to the access system (2) of the organization (S710). At this time, the original plurality of face area images, templates extracted from each face area image, and user information (name, phone number, etc.) are transmitted to the access system (2) to enable face registration.

이후, 출입 시스템(2)으로부터 전송에 대한 수신 성공 응답이 수신되면(S720), 얼굴 등록 제어 서버(20)는 얼굴 등록 웹 서버(10)를 통해 모바일 단말(3)로 얼굴 등록 성공적으로 이루어짐을 나타내는 응답 정보를 전송한다(S730, S740). Thereafter, when a successful reception response for transmission is received from the access system (2) (S720), the face registration control server (20) transmits response information indicating successful face registration to the mobile terminal (3) through the face registration web server (10) (S730, S740).

이에 따라, 모바일 단말(3)는 얼굴 등록 성공 메시지를 디스플레이하여(S750), 사용자가 자신의 얼굴이 출입 시스템(2)에 성공적으로 등록되었음을 확인할 수 있게 한다. Accordingly, the mobile terminal (3) displays a face registration success message (S750), allowing the user to confirm that his or her face has been successfully registered in the access system (2).

도 6은 본 발명의 실시 예에 따른 얼굴 등록 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 구조도이다. FIG. 6 is a structural diagram illustrating a computing device for implementing a face registration method according to an embodiment of the present invention.

첨부한 도 6에 도시되어 있듯이, 본 발명의 일 실시 예에 따른 얼굴 등록 방법은 컴퓨팅 장치(100)를 이용하여 구현될 수 있다. As illustrated in the attached FIG. 6, a face registration method according to an embodiment of the present invention can be implemented using a computing device (100).

컴퓨팅 장치(100)는 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 저장 장치(160) 및 네트워크 인터페이스 장치(150) 중 적어도 하나를 포함할 수 있다. 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 또한, 각각의 구성 요소들은 공통 버스(170)가 아니라, 프로세서(110)를 중심으로 개별 인터페이스 또는 개별 버스를 통하여 연결될 수도 있다.The computing device (100) may include at least one of a processor (110), a memory (120), an input interface device (130), an output interface device (140), a storage device (160), and a network interface device (150). Each of the components may be connected to each other by a bus (170). In addition, each of the components may be connected to each other through an individual interface or an individual bus centered around the processor (110), rather than a common bus (170).

프로세서(110)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic Processing Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(120) 또는 저장 장치(160)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(110)는 메모리(120) 및 저장 장치(160) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 이러한 프로세서(110)는 위의 도 1 내지 도 5를 토대로 설명한 기능 및 방법들을 구현하도록 구성될 수 있다. The processor (110) may be implemented in various types such as an AP (Application Processor), a CPU (Central Processing Unit), a GPU (Graphic Processing Unit), etc., and may be any semiconductor device that executes a command stored in a memory (120) or a storage device (160). The processor (110) may execute a program command stored in at least one of the memory (120) and the storage device (160). Such a processor (110) may be configured to implement the functions and methods described based on FIGS. 1 to 5 above.

메모리(120) 및 저장 장치(160)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(121) 및 RAM(random access memory)(122)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(120)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.The memory (120) and storage device (160) may include various forms of volatile or nonvolatile storage media. For example, the memory may include a read-only memory (ROM) (121) and a random access memory (RAM) (122). In an embodiment of the present invention, the memory (120) may be located inside or outside the processor (110), and the memory (120) may be connected to the processor (110) through various means already known.

입력 인터페이스 장치(130)는 데이터를 프로세서(110)로 제공하도록 구성되며, 출력 인터페이스 장치(140)는 프로세서(110)로부터의 데이터를 출력하도록 구성된다. The input interface device (130) is configured to provide data to the processor (110), and the output interface device (140) is configured to output data from the processor (110).

네트워크 인터페이스 장치(150)는 유선 네트워크 또는 무선 네트워크를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다. A network interface device (150) can transmit or receive signals to or from other entities via a wired network or a wireless network.

이러한 구조로 이루어지는 컴퓨팅 장치(100)는 얼굴 등록 시스템으로 명명되어, 본 발명의 일 실시 예에 따른 얼굴 등록 방법을 구현할 수 있다. A computing device (100) having such a structure is named a face registration system and can implement a face registration method according to an embodiment of the present invention.

또한, 이러한 구조로 이루어지는 컴퓨팅 장치(100)는 모바일 단말로 명명되어, 본 발명의 일 실시 예에 따른 얼굴 등록 방법 중에서 모바일 단말이 수행하는 단계 및 기능을 구현할 수 있다. In addition, a computing device (100) having such a structure is named a mobile terminal and can implement steps and functions performed by a mobile terminal among the face registration methods according to one embodiment of the present invention.

또한, 본 발명의 일 실시 예에 따른 얼굴 등록 방법 중 적어도 일부는 컴퓨팅 장치(100)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.Additionally, at least a part of the face registration method according to one embodiment of the present invention may be implemented as a program or software running on a computing device (100), and the program or software may be stored in a computer-readable medium.

또한, 본 발명의 일 실시 예에 따른 얼굴 등록 방법 중 적어도 일부는 컴퓨팅 장치(100)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.Additionally, at least a part of the face registration method according to one embodiment of the present invention may be implemented as hardware that can be electrically connected to a computing device (100).

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.Embodiments of the present invention are not implemented only through the devices and/or methods described above, and may also be implemented through a program for realizing a function corresponding to the configuration of an embodiment of the present invention, a recording medium on which the program is recorded, etc., and such implementation can be easily implemented by an expert in the technical field to which the present invention belongs, based on the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims also fall within the scope of the present invention.

Claims (14)

출입 제어를 위한 얼굴 등록 방법으로서,
등록 시스템이, 모바일 단말로부터 전송되는 제1 사용자 정보를 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 1차 인증을 수행하는 단계;
상기 등록 시스템이, 상기 출입 시스템으로부터 상기 1차 인증에 대한 응답이 수신되면, 상기 응답을 상기 모바일 단말로 송신하는 단계;
상기 등록 시스템이, 상기 1차 인증에 대한 응답을 수신한 상기 모바일 단말로부터 SMS 개인 인증이 완료된 이후, 상기 SMS 개인 인증에 사용된 제2 사용자 정보를 수신하는 단계;
상기 등록 시스템이, 상기 제2 사용자 정보를 상기 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 2차 인증을 수행하는 단계;
상기 등록 시스템이, 상기 출입 시스템으로부터 상기 2차 인증에 대한 응답이 수신되면, 상기 응답을 상기 모바일 단말로 송신하는 단계; 및
상기 등록 시스템이, 상기 2차 인증이 이루어진 상기 모바일 단말로부터 전송되는 얼굴 이미지를 수신하고, 복수의 템플릿 서버 중 현재 리소스의 사용량이 설정 사용량 보다 작은 템플릿 서버를 선택하여 상기 수신된 얼굴 이미지를 처리하게 하고, 상기 선택된 템플릿 서버에 의해 처리된 얼굴 이미지를 출입 제어를 위한 얼굴 이미지로서 상기 출입 시스템으로 전송하는 단계
를 포함하는 얼굴 등록 방법.
As a face registration method for access control,
A step in which the registration system performs primary authentication by requesting confirmation of whether the user is a member of the access system while transmitting first user information transmitted from a mobile terminal to the access system;
A step of the above registration system, when receiving a response to the first authentication from the access system, transmitting the response to the mobile terminal;
A step in which the above registration system receives second user information used for the SMS personal authentication after the SMS personal authentication is completed from the mobile terminal that has received a response to the first authentication;
A step in which the registration system performs secondary authentication to request confirmation of whether the user is a member of the access system while transmitting the second user information to the access system;
The step of the registration system, when receiving a response to the second authentication from the access system, transmitting the response to the mobile terminal; and
The above registration system receives a facial image transmitted from the mobile terminal on which the second authentication has been performed, selects a template server among a plurality of template servers whose current resource usage is less than a set usage usage to process the received facial image, and transmits the facial image processed by the selected template server to the access system as a facial image for access control.
A face registration method comprising:
제1항에 있어서,
상기 출입 시스템으로 전송하는 단계는,
상기 선택된 템플릿 서버가 상기 출입 시스템이 사용하는 얼굴 처리 엔진을 사용하여 상기 수신된 얼굴 이미지로부터 얼굴 특징점에 대한 메타 데이터를 포함하는 템플릿을 생성하는 단계; 및
상기 등록 시스템이 상기 템플릿을 상기 2차 인증이 이루어진 사용자에 대한 정보와 함께 상기 출입 시스템으로 전송하는 단계
를 포함하는, 얼굴 등록 방법.
In the first paragraph,
The steps for transmitting to the above entry system are:
The step of the selected template server generating a template including metadata about facial feature points from the received facial image using the facial processing engine used by the access system; and
The step of the above registration system transmitting the above template to the access system together with information about the user who has undergone the second authentication.
A face registration method comprising:
삭제delete 제2항에 있어서,
상기 선택된 템플릿 서버는 복수의 얼굴 처리 엔진 중에서 상기 출입 시스템이 사용하는 얼굴 처리 엔진에 대응하는 업체의 엔진이면서 또한 대응하는 버전을 갖는 얼굴 처리 엔진을 로딩하여 상기 수신된 얼굴 이미지를 처리하여 템플릿을 생성하는, 얼굴 등록 방법.
In the second paragraph,
A face registration method in which the above-mentioned selected template server loads a face processing engine that is an engine of a company corresponding to the face processing engine used by the access system among a plurality of face processing engines and has a corresponding version, and processes the received face image to generate a template.
제1항에 있어서,
상기 모바일 단말로부터 전송되는 얼굴 이미지는 상기 모바일 단말에 의해 촬영된 이미지에서 사용자의 얼굴 영역만이 크롭된 얼굴 영역 이미지인, 얼굴 등록 방법.
In the first paragraph,
A face registration method, wherein the face image transmitted from the mobile terminal is a face area image in which only the user's face area is cropped from an image captured by the mobile terminal.
제5항에 있어서,
상기 모바일 단말이 상기 2차 인증에 대한 응답이 수신된 경우에, 사용자의 이미지를 획득하는 단계;
상기 모바일 단말이 상기 획득된 이미지에서 얼굴을 검출하는 단계;
상기 모바일 단말이, 상기 검출된 얼굴의 최소 눈 간 거리를 획득하고, 상기 최소 눈 간 거리가 기준 눈 간 거리를 범위를 만족하는 경우에, 상기 획득된 이미지로부터 얼굴 영역만을 크롭하여 적어도 하나의 얼굴 영역 이미지를 생성하는 단계; 및
상기 모바일 단말이, 상기 얼굴 영역 이미지를 상기 2차 인증이 완료된 사용자 정보와 함께 상기 등록 시스템으로 전송하는 단계
를 더 포함하는 얼굴 등록 방법.
In paragraph 5,
A step of obtaining a user's image when the mobile terminal receives a response to the second authentication;
A step in which the mobile terminal detects a face in the acquired image;
The step of the mobile terminal obtaining the minimum inter-eye distance of the detected face, and if the minimum inter-eye distance satisfies the range of the reference inter-eye distance, cropping only the face area from the obtained image to generate at least one face area image; and
The step of the above mobile terminal transmitting the face area image to the registration system together with the user information for which the second authentication has been completed.
A face registration method further comprising:
제1항에 있어서,
상기 1차 인증 및 상기 2차 인증을 위한 사용자 정보는 조직명, 사번, 사용자 이름, 전화 번호를 포함하는, 얼굴 등록 방법.
In the first paragraph,
A face registration method, wherein the user information for the first authentication and the second authentication includes an organization name, employee number, user name, and phone number.
출입 제어를 위한 얼굴 등록 시스템으로서,
얼굴을 등록하고자 하는 사용자의 모바일 단말과 데이터를 송수신하도록 구성된 얼굴 등록 웹 서버;
상기 얼굴 등록 웹 서버로부터 제공되는 데이터를 기반으로 출입 제어를 수행하는 출입 시스템과 연동하여 인증을 수행하도록 구성된 얼굴 등록 제어 서버; 및
상기 얼굴 등록 제어 서버의 제어에 따라 상기 얼굴 등록 웹 서버를 통해 전달되는 상기 모바일 단말로부터의 얼굴 이미지를 처리하도록 구성된 복수의 템플릿 서버
를 포함하며,
상기 얼굴 등록 제어 서버는,
상기 얼굴 등록 웹 서버를 통해 상기 모바일 단말로부터 전송되는 제1 사용자 정보를 상기 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 1차 인증을 수행하고;
상기 출입 시스템으로부터 상기 1차 인증에 대한 응답이 수신되면, 상기 응답을 상기 얼굴 등록 웹 서버를 통해 상기 모바일 단말로 송신하며;
상기 1차 인증에 대한 응답을 수신한 상기 모바일 단말로부터 SMS 개인 인증이 완료된 이후 상기 모바일 단말로부터 전송된 상기 SMS 개인 인증에 사용된 제2 사용자 정보를 상기 얼굴 등록 웹 서버를 통해 수신하며;
상기 제2 사용자 정보를 상기 출입 시스템으로 전달하면서 사용자가 상기 출입 시스템의 구성원인지에 대한 확인을 요청하는 2차 인증을 수행하고;
상기 출입 시스템으로부터 상기 2차 인증에 대한 응답이 수신되면, 상기 응답을 상기 얼굴 등록 웹 서버를 통해 상기 모바일 단말로 송신하며;
상기 2차 인증이 이루어진 상기 모바일 단말로부터 전송되는 얼굴 이미지를 상기 얼굴 등록 웹 서버를 통해 수신하며, 상기 복수의 템플릿 서버 중 현재 리소스의 사용량이 설정 사용량 보다 작은 템플릿 서버를 선택하고, 상기 선택된 템플릿 서버로 상기 얼굴 이미지를 전달하면서 또한 상기 얼굴 이미지를 처리하도록 제어하고; 그리고
상기 템플릿 서버에 의해 처리된 이미지를 출입 제어를 위한 이미지로 사용하고, 상기 이미지를 상기 출입 시스템으로 전송하도록 구성되는, 얼굴 등록 시스템.
As a face registration system for access control,
A face registration web server configured to transmit and receive data to and from a mobile terminal of a user wishing to register a face;
A face registration control server configured to perform authentication in conjunction with an access system that performs access control based on data provided from the above face registration web server; and
A plurality of template servers configured to process face images from the mobile terminal transmitted through the face registration web server under the control of the face registration control server.
Including,
The above face registration control server,
Performs primary authentication to request confirmation of whether the user is a member of the access system while transmitting first user information transmitted from the mobile terminal to the access system through the face registration web server;
When a response to the first authentication is received from the access system, the response is transmitted to the mobile terminal through the face registration web server;
After SMS personal authentication is completed from the mobile terminal that has received a response to the first authentication, second user information used for the SMS personal authentication transmitted from the mobile terminal is received through the face registration web server;
Perform secondary authentication by requesting confirmation that the user is a member of the access system while transmitting the second user information to the access system;
When a response to the second authentication is received from the access system, the response is transmitted to the mobile terminal through the face registration web server;
Receiving a face image transmitted from the mobile terminal for which the second authentication has been performed through the face registration web server, selecting a template server among the plurality of template servers whose current resource usage is less than the set usage, and controlling the processing of the face image while transmitting the face image to the selected template server; and
A face registration system configured to use an image processed by the template server as an image for access control and transmit the image to the access system.
제8항에 있어서,
상기 템플릿 서버는 상기 출입 시스템이 사용하는 얼굴 처리 엔진을 사용하여 상기 얼굴 이미지로부터 얼굴 특징점에 대한 메타 데이터를 포함하는 템플릿을 생성하여 상기 얼굴 등록 제어 서버로 전달하도록 구성되며,
상기 얼굴 등록 제어 서버는 상기 템플릿을 상기 2차 인증이 이루어진 사용자에 대한 정보와 함께 상기 출입 시스템으로 전송하도록 구성되는, 얼굴 등록 시스템.
In Article 8,
The above template server is configured to generate a template including metadata about facial feature points from the facial image using the facial processing engine used by the access system and transmit the template to the facial registration control server.
A face registration system, wherein the face registration control server is configured to transmit the template to the access system together with information about the user who has undergone the second authentication.
삭제delete 제9항에 있어서,
상기 템플릿 서버는 복수의 얼굴 처리 엔진 중에서 상기 출입 시스템이 사용하는 얼굴 처리 엔진에 대응하는 업체의 엔진이면서 또한 대응하는 버전을 갖는 얼굴 처리 엔진을 로딩하여 상기 얼굴 이미지를 처리하도록 구성되는, 얼굴 등록 시스템.
In Article 9,
A face registration system, wherein the above template server is configured to process the face image by loading a face processing engine that is an engine of a company corresponding to the face processing engine used by the access system among a plurality of face processing engines and has a corresponding version.
제8항에 있어서,
상기 모바일 단말로부터 전송되는 얼굴 이미지는 상기 모바일 단말에 의해 촬영된 이미지에서 사용자의 얼굴 영역만이 크롭된 얼굴 영역 이미지인, 얼굴 등록 시스템.
In Article 8,
A face registration system, wherein the face image transmitted from the mobile terminal is a face area image in which only the user's face area is cropped from an image captured by the mobile terminal.
삭제delete 삭제delete
KR1020230050977A 2023-04-18 2023-04-18 Facial recognition system and method for access control Active KR102824829B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230050977A KR102824829B1 (en) 2023-04-18 2023-04-18 Facial recognition system and method for access control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230050977A KR102824829B1 (en) 2023-04-18 2023-04-18 Facial recognition system and method for access control

Publications (2)

Publication Number Publication Date
KR20240154386A KR20240154386A (en) 2024-10-25
KR102824829B1 true KR102824829B1 (en) 2025-06-24

Family

ID=93288287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230050977A Active KR102824829B1 (en) 2023-04-18 2023-04-18 Facial recognition system and method for access control

Country Status (1)

Country Link
KR (1) KR102824829B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036398A1 (en) * 2005-08-12 2007-02-15 Tianlong Chen Apparatus and method for partial component facial recognition
JP2010072708A (en) * 2008-09-16 2010-04-02 Kddi Corp Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium
KR102227611B1 (en) * 2020-09-17 2021-03-15 주식회사 유유랑컴퍼니 Face recognition system for easy registration

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102808124B1 (en) * 2020-02-07 2025-05-16 신한카드 주식회사 System, device, and method for registration and payment using face information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036398A1 (en) * 2005-08-12 2007-02-15 Tianlong Chen Apparatus and method for partial component facial recognition
JP2010072708A (en) * 2008-09-16 2010-04-02 Kddi Corp Apparatus for registering face identification features, method for registering the same, program for registering the same, and recording medium
KR102227611B1 (en) * 2020-09-17 2021-03-15 주식회사 유유랑컴퍼니 Face recognition system for easy registration

Also Published As

Publication number Publication date
KR20240154386A (en) 2024-10-25

Similar Documents

Publication Publication Date Title
TWI513266B (en) System and method for location-based authentication
JP6134371B1 (en) User information management apparatus, user information management method, and user information management program
US20160330199A1 (en) Fallback identity authentication techniques
US20140310786A1 (en) Integrated interactive messaging and biometric enrollment, verification, and identification system
CN108900536B (en) Authentication method, apparatus, computer equipment and storage medium
JP6039029B1 (en) Selection device, selection method, selection program, and authentication processing system
CN110086799B (en) Identity verification method and device
KR20220067918A (en) Apparatus and Method for Face Authentication using Digital ID
JP7475692B2 (en) Authentication device, authentication method, and program
KR102824829B1 (en) Facial recognition system and method for access control
ES3031792T3 (en) Method for controlling an access device
US12468911B2 (en) Information access handover
US20230259594A1 (en) Control systems and techniques for secure object authentication
WO2018095182A1 (en) Method and system for data exchange
EP4332922A1 (en) Methods and systems for identifying a person
JP2017060097A (en) Inheritance system, server device, terminal device, inheritance method, and inheritance program
US20260044696A1 (en) Information access handover
JP2025184235A (en) Authentication system, facial recognition terminal, authentication method, and authentication program
US12475752B1 (en) Two-phase biometric access control system (TBACS)
US20240303307A1 (en) Systems and methods for biometric identification
KR102340398B1 (en) Apparatus, system, and control method for access control
JP2026008010A (en) Authentication system, authentication method, and authentication program
TWI406190B (en) Access control system and computer system
KR20250065365A (en) Methods and systems for people and/or vehicles
WO2014172502A1 (en) Integrated interactive messaging and biometric enrollment, verification, and identification system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230418

PA0201 Request for examination

Patent event code: PA02011R01I

Patent event date: 20230418

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20241122

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20250520

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250620

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250620

End annual number: 3

Start annual number: 1

PG1601 Publication of registration