[go: up one dir, main page]

KR100936334B1 - Face detection system - Google Patents

Face detection system Download PDF

Info

Publication number
KR100936334B1
KR100936334B1 KR1020080054836A KR20080054836A KR100936334B1 KR 100936334 B1 KR100936334 B1 KR 100936334B1 KR 1020080054836 A KR1020080054836 A KR 1020080054836A KR 20080054836 A KR20080054836 A KR 20080054836A KR 100936334 B1 KR100936334 B1 KR 100936334B1
Authority
KR
South Korea
Prior art keywords
face
image
driver
lighting unit
detection system
Prior art date
Application number
KR1020080054836A
Other languages
Korean (ko)
Other versions
KR20090128867A (en
Inventor
이병준
정의윤
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020080054836A priority Critical patent/KR100936334B1/en
Priority to JP2008290784A priority patent/JP5145194B2/en
Priority to US12/344,924 priority patent/US8340368B2/en
Priority to US12/356,492 priority patent/US8137482B2/en
Publication of KR20090128867A publication Critical patent/KR20090128867A/en
Application granted granted Critical
Publication of KR100936334B1 publication Critical patent/KR100936334B1/en
Priority to US13/401,180 priority patent/US8608870B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/60—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by optical aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 얼굴 검출 시스템은 운전자의 얼굴의 우측 및 좌측을 향해 적외선을 조사하는 제1조명부 및 제2조명부와, 상기 제1조명부 및 제2조명부로부터 적외선이 조사된 운전자의 얼굴을 각각 촬영하는 영상 촬영부와, 상기 영상 촬영부로부터 얼굴의 좌우 영상을 획득하고, 획득된 좌우 영상의 차영상을 획득하여 운전자의 전방주시태만 상태를 판단하는 제어부를 포함한다.In the face detection system of the present invention, the first and second lighting units irradiating infrared rays toward the right and left sides of the driver's face, and the image of the driver's face irradiated with the infrared rays from the first and second lighting units, respectively, are photographed. And a controller configured to acquire left and right images of a face from the image capturing unit, and obtain a difference image of the obtained left and right images to determine a state of the front acuity of the driver.

상기와 같은 발명은 근적외선 영상을 사용하여 얼굴의 전방주시태만 상태를 검출함으로써, 외부 광환경에 상관없이 전방주시태만 상태의 검출 성능을 향상시킬 수 있는 효과가 있다. 또한, 본 발명은 근적외선에 의한 얼굴 반사광에 의해서만 얼굴의 전방주시태만 상태를 검출함으로써, 전방주시태만 상태의 연산량을 줄일 수 있는 효과가 있다.The invention as described above has an effect of improving the detection performance of the front gestational state by detecting the state of the front gestational state of the face by using the near-infrared image. In addition, the present invention has the effect of reducing the amount of calculation of the front gestational state only by detecting the front gestational state of the face only by the face reflected light by near infrared rays.

영상 촬영부, 근적외선 발광소자, 제어부, 미러 영상, 차영상 Image capturing unit, near-infrared light emitting element, control unit, mirror image, difference image

Description

얼굴 검출 시스템{FACE DETECTION SYSTEM}Face Detection System {FACE DETECTION SYSTEM}

본 발명은 얼굴 검출 시스템에 관한 것으로, 보다 상세하게는 얼굴의 전방주시태만을 판단하는 연산량을 줄이면서 검출 성능을 높이기 위한 얼굴 검출 시스템에 관한 것이다.The present invention relates to a face detection system, and more particularly, to a face detection system for improving detection performance while reducing the amount of computation that determines only the frontal appearance of the face.

일반적으로 자동차에는 얼굴 검출 시스템이 마련되어 있으며, 이러한 얼굴 검출 시스템은 졸음 운전의 판별 또는 차선의 변경 의지를 판단하기 위한 요소로 사용되고 있다.BACKGROUND ART In general, a face detection system is provided in an automobile, and the face detection system is used as an element for determining drowsiness driving or determination of lane change.

종래 얼굴 검출 시스템은 얼굴을 촬영하는 영상 카메라와, 영상 카메라로부터 촬영된 얼굴을 분석하여 전방 주시 태만을 판단하는 제어부로 구성되어 있다. Conventional face detection system is composed of a video camera for photographing a face, and a control unit for determining the front gaze negligence by analyzing the face photographed from the video camera.

영상 카메라로부터 얼굴이 촬영되어 제어부로 촬영된 영상이 입력되면, 제어부는 입력된 영상을 이진화하여 얼굴 영역을 검출하고, 얼굴의 윤곽 등의 에지 형상을 검출한다. 이후, 에지 영상으로부터 얼굴의 세부 요소인 눈, 코, 입 등을 검출하여 얼굴의 방향각을 산출하여 전방주시태만 상태를 판단하게 된다.When a face is photographed by the image camera and the image captured by the controller is input, the controller detects a face region by binarizing the input image, and detects an edge shape such as an outline of the face. Subsequently, eyes, noses, mouths, etc., which are detailed elements of the face, are detected from the edge image to calculate a direction angle of the face, thereby determining the state of the anterior chamber state.

하지만, 눈, 코, 입 등을 검출하기 위해서는 보다 적은 영역에서 치밀하게 검출되어야 하기 때문에 외부의 다양한 광 환경의 변화에 민감할 수밖에 없고, 이 에 의해 요소별 검출 성능이 떨어져 전방감시태만 상태의 검출을 성능이 저하되는 문제점을 야기시킨다.However, in order to detect eyes, nose, mouth, etc., it is necessary to be detected in a smaller area more precisely, so it is insensitive to changes in various external light environments. This causes a problem of degrading performance.

또한, 종래 얼굴 검출 시스템은 얼굴 영역 검출, 에지 영상 추출 및 각 요소별 검출을 통해 얼굴의 방향각을 산출하여 전방주시태만의 상태를 검출하기 때문에 그 과정에 소요되는 연산량이 매우 많아 임베디드 시스템에 실시간 구현이 어렵고, 이를 구현하기 위해서는 고클럭-고가의 CPU를 필요로 하여 얼굴 검출을 위한 비용이 상승하는 문제점이 발생된다.In addition, the conventional face detection system detects the state of the front circumference by calculating the direction angle of the face through face region detection, edge image extraction, and detection by each element. It is difficult to implement, which requires a high clock-expensive CPU to increase the cost for face detection.

상기와 같은 문제점을 해결하기 위해, 본 발명은 외부의 광변화에 따른 전방주시태만 상태의 검출 성능이 떨어지는 것을 방지하기 위한 얼굴 검출 시스템을 제공하는 것을 그 목적으로 한다.In order to solve the above problems, an object of the present invention is to provide a face detection system for preventing the detection performance of the state of the front circumference due to external light changes.

또한, 본 발명은 전방주시태만 검출의 연산량을 줄이면서 검출 성능을 향상시키기 위한 얼굴 검출 시스템을 제공하는 것을 그 목적으로 한다.In addition, an object of the present invention is to provide a face detection system for improving the detection performance while reducing the amount of computation of the frontal appearance only.

상술한 목적을 달성하기 위하여, 본 발명의 얼굴 검출 시스템은 운전자의 얼굴의 우측 및 좌측을 향해 적외선을 조사하는 제1조명부 및 제2조명부와, 상기 제1조명부 및 제2조명부로부터 적외선이 조사된 운전자의 얼굴을 각각 촬영하는 영상 촬영부와, 상기 영상 촬영부로부터 얼굴의 좌우 영상을 획득하고, 획득된 좌우 영상의 차영상을 획득하여 운전자의 전방주시태만 상태를 판단하는 제어부를 포함한다.In order to achieve the above object, the face detection system of the present invention is the first and second lighting unit for irradiating infrared rays toward the right and left sides of the driver's face, and the infrared rays from the first and second lighting unit And an image capturing unit for photographing each driver's face, and a controller configured to acquire left and right images of the face from the image capturing unit, and obtain a difference image of the obtained left and right images to determine a state of the front acuity of the driver.

상기 제어부는 획득된 좌우 영상을 이진화하여 이진화 영상을 획득하고, 이진화 영상으로부터 차영상을 획득할 수 있다.The control unit may obtain a binarized image by binarizing the obtained left and right images, and obtain a difference image from the binarized image.

상기 제어부는 이진화되어진 좌우 영상 중 하나를 미러링하여 미러링 영상을 획득하고, 획득된 미러링 영상과 이진화 영상을 감산하여 차영상을 획득할 수 있다.The controller may obtain a mirroring image by mirroring one of the binarized left and right images, and obtain a difference image by subtracting the obtained mirroring image and the binarization image.

상기 제1조명부 및 제2조명부는 순차적으로 동작될 수 있다.The first lighting unit and the second lighting unit may be sequentially operated.

상기 제1조명부 및 제2조명부는 근적외선 발광소자이고, 운전석의 전방 또는 운전석의 상부에 설치될 수 있다.The first lighting unit and the second lighting unit are near infrared light emitting devices, and may be installed in front of the driver's seat or on the driver's seat.

상기 제1조명부 및 제2조명부는 운전자의 정면으로부터 서로 대칭되도록 설치될 수 있다.The first lighting unit and the second lighting unit may be installed to be symmetrical with each other from the front of the driver.

상기 영상 촬영부는 적외선 통과필터가 장착된 CCD 카메라일 수 있다.The image capturing unit may be a CCD camera equipped with an infrared pass filter.

본 발명은 근적외선 영상을 사용하여 얼굴의 전방주시태만 상태를 검출함으로써, 외부 광환경에 상관없이 전방주시태만 상태의 검출 성능을 향상시킬 수 있는 효과가 있다.The present invention has an effect of improving the detection performance of the front gestational state by detecting the front gestational state of the face using a near infrared image, regardless of the external light environment.

또한, 본 발명은 근적외선에 의한 얼굴 반사광에 의해서만 얼굴의 전방주시태만 상태를 검출함으로써, 전방주시태만 상태의 연산량을 줄일 수 있는 효과가 있다.In addition, the present invention has the effect of reducing the amount of calculation of the front gestational state only by detecting the front gestational state of the face only by the face reflected light by near infrared rays.

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 얼굴 검출 시스템을 나타낸 블럭도이고, 도 2는 본 발명에 따른 얼굴 검출 시스템의 조명부가 설치된 위치를 나타낸 도면이고, 도 3은 본 발명에 따른 얼굴 검출 시스템의 동작을 나타낸 블럭도이고, 도 4는 본 발명에 따른 얼굴 검출 시스템의 동작에 따른 모습을 나타낸 도면이고, 도 5 내지 도 7은 본 발명에 따른 얼굴 검출 시스템의 시뮬레이션을 나타낸 도면이다.1 is a block diagram showing a face detection system according to the present invention, Figure 2 is a view showing the position of the lighting unit of the face detection system according to the present invention, Figure 3 shows the operation of the face detection system according to the present invention 4 is a block diagram illustrating the operation of the face detection system according to the present invention, and FIGS. 5 to 7 illustrate the simulation of the face detection system according to the present invention.

도 1 및 도 2를 참조하면, 본 발명에 따른 얼굴 검출 시스템은 운전자의 얼굴(10)을 향해 적외선을 조사하는 조명부(100)와, 상기 조명부(100)로부터 적외선이 조사된 운전자의 얼굴(10)을 촬영하는 영상 촬영부(200)와, 상기 영상 촬영부(200)로부터 획득된 영상을 이미지 처리하여 운전자의 전방주시태만 상태를 판단하는 제어부(300)를 포함한다.1 and 2, the face detection system according to the present invention includes an illumination unit 100 for irradiating infrared rays toward the driver's face 10 and the driver's face 10 irradiated with infrared rays from the illumination unit 100. ) And a control unit 300 for determining the state of the driver's frontal posture by processing the image acquired from the image capturing unit 200.

조명부(100)는 운전자의 전방의 구조물에 설치되며, 운전자의 얼굴(10)을 향해 적외선 예컨데, 근적외선을 조사하는 역할을 한다. 이러한 조명부(200)는 운전자의 얼굴(10)의 우측을 향해 적외선을 조사하는 제1조명부(110)와, 운전자의 얼굴(10)의 좌측을 향해 적외선을 조사하는 제2조명부(120)를 포함한다. The lighting unit 100 is installed in a structure in front of the driver, and serves to irradiate infrared, for example, near infrared toward the driver's face 10. The lighting unit 200 includes a first lighting unit 110 that irradiates infrared rays toward the right side of the driver's face 10, and a second lighting unit 120 which irradiates infrared rays toward the left side of the driver's face 10. do.

제1조명부(110) 및 제2조명부(120)는 운전자의 정면으로부터 소정 각도 예컨데, 30 내지 60도 사이를 가지는 위치에 설치될 수 있으며, 운전자 얼굴(10)의 정면으로부터 45도의 위치에 설치되는 것이 바람직하다. 이때, 제1조명부(110) 및 제2조명부(120)는 운전자의 우측 및 좌측 얼굴에 균일하게 적외선을 조사할 수 있도록 운전자의 정면으로부터 대칭되도록 설치되는 것이 더욱 바람직하다. The first lighting unit 110 and the second lighting unit 120 may be installed at a position having a predetermined angle, for example, between 30 and 60 degrees from the front of the driver, and installed at a position of 45 degrees from the front of the driver's face 10. It is preferable. At this time, the first lighting unit 110 and the second lighting unit 120 is more preferably installed to be symmetrical from the front of the driver so as to irradiate the infrared light uniformly to the right and left face of the driver.

여기서, 운전자의 얼굴(10)을 향해 적외선을 조사하는 조명부(100)로서, 적외선 발광소자(IR LED)가 사용될 수 있다.Here, an infrared light emitting device (IR LED) may be used as the illumination unit 100 that irradiates infrared rays toward the driver's face 10.

조명부(100)는 도 2a에 도시된 바와 같이, 운전석 전방의 클러스터 하단의 양쪽에 설치될 수 있으며, 도 2b에 도시된 바와 같이, 운전석 에어컨 양쪽 송풍구 상단 또는 하단에 설치될 수 있다. As shown in FIG. 2A, the lighting unit 100 may be installed at both sides of the lower end of the cluster in front of the driver's seat. As shown in FIG. 2B, the lighting unit 100 may be installed at the upper or lower end of both air vents of the driver's seat air conditioner.

또한, 조명부(100)는 도 2c에 도시된 바와 같이, 클러스트 상단 대쉬보드의 양쪽에 설치될 수 있으며, 도 2d에 도시된 바와 같이, 운전석 상단 햇빛 가리개 양쪽 또는 A-pillar와 룸미러의 좌측에 설치될 수 있다. 여기서, 조명부(100)의 개수는 한정되지 않으며, 3개 이상으로 설치되어도 무방하다.In addition, the lighting unit 100 may be installed on both sides of the cluster top dashboard, as shown in FIG. 2C, and as shown in FIG. 2D, on both sides of the driver's seat top sun shader or on the left side of the A-pillar and the room mirror Can be installed. Here, the number of lighting units 100 is not limited, and may be provided in three or more.

제1조명부(110) 및 제2조명부(120)는 운전자의 얼굴(10)을 향해 순차적으로 적외선을 조사하며, 이에 의해 운전자의 좌측 얼굴 및 운전자의 우측 얼굴을 중심으로 적외선이 조사된다.The first lighting unit 110 and the second lighting unit 120 sequentially irradiate infrared rays toward the driver's face 10, thereby irradiating the infrared rays around the driver's left face and the driver's right face.

영상 촬영부(200)는 운전자의 얼굴(10)의 정면을 촬영할 수 있도록 운전석의 전방에 설치되며, 제1조명부(110) 및 제2조명부(120)로부터 적외선이 조사된 운전자의 얼굴을 각각 촬영하는 역할을 한다. The image capturing unit 200 is installed in front of the driver's seat so as to photograph the front of the driver's face 10, and photographs the driver's face irradiated with infrared rays from the first lighting unit 110 and the second lighting unit 120, respectively. It plays a role.

이러한 영상 촬영부(200)는 CCD 카메라에 근적외선 통과필터(210)가 장착하여 구성한 것으로서, 차량 외부로부터 유입되는 태양빛 및 기타 외부 조명빛을 차단하고 근적외선 영상만을 획득하며, 근적외선 발광 소자와 같은 조명부(100)가 없다면 아무런 영상이 얻어지지 않는다.The image capturing unit 200 is constructed by mounting a near-infrared ray filter 210 on a CCD camera, and blocks only sunlight and other external illumination light flowing from the outside of the vehicle, and acquires only a near-infrared image. Without 100 no image is obtained.

제어부(Electronic Controll Unit, ECU, 300)는 영상 촬영부(200)와 연결되며, 영상 촬영부(200)로부터 획득된 영상을 이미지 처리하여 운전자의 전방주시태만 상태를 판단하는 역할을 한다. The control unit (Electronic Control Unit, ECU, 300) is connected to the image capturing unit 200, and serves to determine the state of the driver's front posture state by processing the image obtained from the image capturing unit 200.

즉, 제어부(300)는 상기 영상 촬영부(200)로 획득된 각각의 적외선 영상을 이진화하여 이진화 영상을 획득하고, 이진화 영상 중 하나를 미러링하여 미러링 영상을 획득하며, 상기 미러링 영상과 이진화 영상을 감산하여 차영상을 획득하고, 획득된 차영상의 평균값을 계산하여 전방주시태만 상태를 판단하는 역할을 한다. That is, the controller 300 binarizes each infrared image acquired by the image capturing unit 200 to obtain a binarized image, mirrors one of the binarized images, obtains a mirrored image, and displays the mirrored image and the binarized image. Subtraction is obtained by obtaining a difference image, and calculates an average value of the acquired difference image serves to determine the state of the front circumference.

또한, 이와 더불어 제어부(300)는 조명부(100)와 연결될 수 있으며, 이로 인해 운전자의 얼굴(10)을 향해 순차적으로 적외선을 조사하도록 제어할 수 있다.In addition, the control unit 300 may be connected to the lighting unit 100, and thus, the controller 300 may control to irradiate infrared light sequentially toward the driver's face 10.

이하에서는 도 3 내지 도 7을 참조하여 본 발명에 따른 얼굴 검출 시스템의 동작을 살펴본다.Hereinafter, the operation of the face detection system according to the present invention will be described with reference to FIGS. 3 to 7.

먼저, 제어부(300)로부터 제1조명부(110)를 온하는 단계(S10)를 수행한다. 이때, 제1조명부(110)는 운전자의 우측 얼굴을 향해 근적외선을 조사하고, 영상 촬영부(200)는 근적외선이 조사된 운전자의 얼굴을 촬영하여 제1영상(400)을 획득하는 단계(S20)를 수행한다.First, the step S10 of turning on the first lighting unit 110 from the control unit 300 is performed. In this case, the first lighting unit 110 irradiates near infrared rays toward the driver's right face, and the image photographing unit 200 acquires the first image 400 by photographing the driver's face irradiated with near infrared rays (S20). Perform

이어서, 제2조명부(120)를 온하는 단계(S30)를 수행하여 운전자의 좌측 얼굴을 향해 근적외선을 조사하고, 영상 촬영부(200)는 근적외선이 조사된 얼굴을 촬영하여 제2영상(500)을 획득하는 단계(S40)를 수행한다. 이때, 제2조명부(120)가 온되는 동안 제1조명부(110)는 오프되어진다.Subsequently, performing the step S30 of turning on the second lighting unit 120 to irradiate near-infrared light toward the left face of the driver, and the image capturing unit 200 captures the face to which the near-infrared light is irradiated, and thus the second image 500. In operation S40, a step is obtained. At this time, the first lighting unit 110 is turned off while the second lighting unit 120 is turned on.

이어서, 제어부(300)에 제1영상(400) 및 제2영상(500)이 입력되면 제1영상(400) 및 제2영상(500)을 운전자 얼굴의 밝은 부분을 추출하도록 각 픽셀에 대한 이진화(Binarize)하는 단계(S50)를 수행하고, 이에 의해 제어부(300)는 제1영상(400) 및 제2영상(500)으로부터 이진화된 이진화 영상(410, 510)을 획득한다. Subsequently, when the first image 400 and the second image 500 are input to the controller 300, the first image 400 and the second image 500 are binarized for each pixel to extract bright portions of the driver's face. In operation S50, the controller 300 obtains the binarized binarized images 410 and 510 from the first image 400 and the second image 500.

이어서, 제1영상의 이진화 영상(410)과 제2영상의 이진화 영상(510)을 동일한 방향의 얼굴을 검출하도록 제1영상의 이진화 영상(410) 또는 제2영상의 이진화 영상(510) 중 하나를 미러링(mirror) 처리하는 단계(S60)를 수행하고, 이에 의해 제1영상의 이진화 영상(410) 또는 제2영상 이진화 영상(510) 중 어느 하나가 미러 링된 미러 영상(420)을 획득하게 된다. 상기에서는 제1영상의 이진화 영상(410)이 미러링되는 것을 일실시예로 설명한다.Subsequently, either the binarized image 410 of the first image or the binarized image 510 of the first image or the binarized image 510 of the second image to detect a face in the same direction from the binarized image 410 of the first image and the binarized image 510 of the second image. Performing a mirroring process (S60), thereby obtaining a mirror image 420 in which either the binarized image 410 or the second image binarized image 510 of the first image is mirrored. . In the above description, the binarization image 410 of the first image is mirrored.

이어서, 미러 영상(420)과 이진화 영상(520)에 대한 픽셀들의 값을 감산 처리하는 단계(S70)를 수행하고, 이에 의해 제어부(300)는 두 영상의 차이를 나타내는 차영상(600)을 획득한다.Subsequently, a step S70 of subtracting the values of the pixels of the mirror image 420 and the binarization image 520 is performed, whereby the controller 300 obtains a difference image 600 representing the difference between the two images. do.

이어서, 차영상(600)의 픽셀의 평균값을 계산하고, 이에 의해 운전자의 얼굴 방향을 산출하게 된다.Subsequently, the average value of the pixels of the difference image 600 is calculated, thereby calculating the driver's face direction.

이어서, 산출된 운전자의 얼굴 방향에 따라 전방주시태만 상태를 판단하게 되어 얼굴 검출 시스템의 동작을 마치게 된다.Subsequently, the state of the front acuity is determined according to the calculated face direction of the driver, thereby completing the operation of the face detection system.

도 5에 도시된 바와 같이, 얼굴 각도가 0도인 경우에서 실험해 본 결과, 본 발명에 따른 얼굴 검출 시스템에 의해 평균값은 15.39가 측정되었으며, 이로 인해 운전자의 얼굴은 거의 정면을 주시하고 있다고 판단할 수 있다. As shown in FIG. 5, as a result of experiments in the case where the face angle is 0 degrees, the average value of 15.39 was measured by the face detection system according to the present invention. Can be.

또한, 도 6에 도시된 바와 같이, 얼굴 각도가 좌측으로 20도로 기울어진 경우에서 실험해 본 결과, 본 발명에 따른 얼굴 검출 시스템에 의해 평균값은 20.15가 측정되었으며, 이로 인해 운전자의 얼굴은 좌측으로 약 20도 기울어졌다고 판단할 수 있다.In addition, as shown in FIG. 6, in the case where the face angle is inclined to 20 degrees to the left, the average value of 20.15 was measured by the face detection system according to the present invention. It can be judged that it is inclined by about 20 degrees.

또한, 도 7에 도시된 바와 같이, 얼굴 각도가 좌측으로 40도로 기울어진 경우에서 실험해 본 결과, 본 발명에 따른 얼굴 검출 시스템에 의해 평균값은 47.49가 측정되었으며, 이로 인해 운전자의 얼굴은 좌측으로 약 40도 기울어졌다고 판단할 수 있다.In addition, as shown in FIG. 7, when the face angle is inclined to 40 degrees to the left, the result of the experiment shows that the average value of 47.49 was measured by the face detection system according to the present invention. It can be judged that the tilt is about 40 degrees.

상기와 같이 본 발명에 따른 얼굴 검출 시스템 및 방법은 얼굴 검출을 위한 연산량을 줄이면서 얼굴 검출 성능을 향상시킬 수 있는 효과가 있다.As described above, the face detection system and method according to the present invention has the effect of improving the face detection performance while reducing the amount of computation for face detection.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.Although described above with reference to the drawings and embodiments, those skilled in the art that the present invention can be variously modified and changed within the scope without departing from the spirit of the invention described in the claims below I can understand.

도 1은 본 발명에 따른 얼굴 검출 시스템을 나타낸 블럭도.1 is a block diagram illustrating a face detection system according to the present invention.

도 2는 본 발명에 따른 얼굴 검출 시스템의 조명부가 설치된 위치를 나타낸 도면.2 is a view showing a position in which the illumination unit of the face detection system according to the present invention.

도 3은 본 발명에 따른 얼굴 검출 시스템의 동작을 나타낸 블럭도.Figure 3 is a block diagram showing the operation of the face detection system according to the present invention.

도 4는 본 발명에 따른 얼굴 검출 시스템의 동작에 따른 모습을 나타낸 도면.4 is a view showing a state according to the operation of the face detection system according to the present invention.

도 5 내지 도 7은 본 발명에 따른 얼굴 검출 시스템의 시뮬레이션을 나타낸 도면.5 to 7 show a simulation of a face detection system according to the invention.

< 도면 주요 부분에 대한 부호의 설명 >               <Description of the code | symbol about the principal part of drawings>

100: 조명부 110: 제1조명부100: lighting unit 110: first lighting unit

120: 제2조명부 200: 영상 촬영부120: second lighting unit 200: video photographing unit

210: 적외선 통과필터 300: 제어부210: infrared pass filter 300: control unit

Claims (7)

운전자의 얼굴의 좌측 및 우측을 향해 적외선을 조사하는 제1조명부(110) 및 제2조명부(120)와, 상기 제1조명부(110) 및 제2조명부(120)로부터 적외선이 조사된 운전자의 얼굴을 각각 촬영하는 영상 촬영부(200)와, 상기 영상 촬영부(200)로부터 얼굴의 좌우 영상을 획득하고, 획득된 좌우 영상의 차영상을 획득하여 운전자의 전방주시태만 상태를 판단하는 제어부(300)를 포함하고, The driver's face irradiated with infrared rays from the first lighting unit 110 and the second lighting unit 120 and the first lighting unit 110 and the second lighting unit 120 that irradiate infrared rays toward the left and right sides of the driver's face. Control unit 300 for acquiring the left and right images of the face from each of the image capturing unit 200 and the image capturing unit 200, and obtaining the difference image of the obtained left and right images. ), 상기 제어부(300)는 획득된 좌우 영상을 이진화하여 이진화 영상을 획득하고, 이진화되어진 좌우 영상 중 하나를 미러링하여 미러링 영상을 획득하며, 획득된 미러링 영상과 이진화 영상을 감산하여 차영상을 획득하는 것을 특징으로 하는 얼굴 검출 시스템.The controller 300 binarizes the obtained left and right images to obtain a binarized image, mirrors one of the binarized left and right images, obtains a mirrored image, and subtracts the obtained mirrored image and the binarized image to obtain a difference image. Characterized by a face detection system. 삭제delete 삭제delete 청구항 1에 있어서,The method according to claim 1, 상기 제1조명부(110) 및 제2조명부(120)는 순차적으로 동작되는 얼굴 검출 시스템.The first lighting unit 110 and the second lighting unit 120 is a face detection system that is operated sequentially. 청구항 1에 있어서, The method according to claim 1, 상기 제1조명부(110) 및 제2조명부(120)는 근적외선 발광 소자이고, 운전석의 전방 또는 운전석의 상부에 설치되는 얼굴 검출 시스템.The first lighting unit 110 and the second lighting unit 120 is a near-infrared light emitting device, the face detection system is installed in front of the driver's seat or the upper part of the driver's seat. 청구항 5에 있어서,The method according to claim 5, 상기 제1조명부(110) 및 제2조명부(120)는 운전자의 정면으로부터 서로 대칭되도록 설치되는 얼굴 검출 시스템.The first lighting unit (110) and the second lighting unit (120) is a face detection system installed to be symmetrical with each other from the front of the driver. 청구항 1에 있어서,The method according to claim 1, 상기 영상 촬영부(200)는 적외선 통과필터(210)가 장착된 CCD 카메라인 얼굴 검출 시스템.The image capturing unit 200 is a face detection system is a CCD camera equipped with an infrared pass filter (210).
KR1020080054836A 2008-06-11 2008-06-11 Face detection system KR100936334B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080054836A KR100936334B1 (en) 2008-06-11 2008-06-11 Face detection system
JP2008290784A JP5145194B2 (en) 2008-06-11 2008-11-13 Face detection system
US12/344,924 US8340368B2 (en) 2008-06-11 2008-12-29 Face detection system
US12/356,492 US8137482B2 (en) 2008-06-11 2009-01-20 Carburization heat treatment method and method of use
US13/401,180 US8608870B2 (en) 2008-06-11 2012-02-21 Carburization heat treatment method and method of use

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080054836A KR100936334B1 (en) 2008-06-11 2008-06-11 Face detection system

Publications (2)

Publication Number Publication Date
KR20090128867A KR20090128867A (en) 2009-12-16
KR100936334B1 true KR100936334B1 (en) 2010-01-12

Family

ID=41549564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080054836A KR100936334B1 (en) 2008-06-11 2008-06-11 Face detection system

Country Status (2)

Country Link
JP (1) JP5145194B2 (en)
KR (1) KR100936334B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101806703B1 (en) 2016-06-01 2018-01-10 현대자동차주식회사 Driver state monitoring apparatus
JP6894880B2 (en) * 2018-11-07 2021-06-30 矢崎総業株式会社 Monitoring system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970069679A (en) * 1996-04-26 1997-11-07 배순훈 Drowsy driving alarm and its control method
JP2001338296A (en) * 2000-03-22 2001-12-07 Toshiba Corp Face image recognition device and traffic control device
JP2002334335A (en) 2001-03-09 2002-11-22 Toshiba Corp Face image recognition device and passage controller
JP3651571B2 (en) * 1999-03-31 2005-05-25 株式会社東芝 Driver status detection system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308375A (en) * 2005-04-27 2006-11-09 Matsushita Electric Ind Co Ltd Infrared ray using type eye position detection device
JP4356733B2 (en) * 2006-11-09 2009-11-04 アイシン精機株式会社 In-vehicle image processing apparatus and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970069679A (en) * 1996-04-26 1997-11-07 배순훈 Drowsy driving alarm and its control method
JP3651571B2 (en) * 1999-03-31 2005-05-25 株式会社東芝 Driver status detection system
JP2001338296A (en) * 2000-03-22 2001-12-07 Toshiba Corp Face image recognition device and traffic control device
JP2002334335A (en) 2001-03-09 2002-11-22 Toshiba Corp Face image recognition device and passage controller

Also Published As

Publication number Publication date
JP2009303192A (en) 2009-12-24
KR20090128867A (en) 2009-12-16
JP5145194B2 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
JP5759950B2 (en) In-vehicle camera device
US8345922B2 (en) Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
US8340368B2 (en) Face detection system
JP5761074B2 (en) Imaging control apparatus and program
JP6488922B2 (en) Driver abnormality detection device
JP2008167806A (en) Sleepiness detector
JP6651911B2 (en) Face image processing device
WO2012042580A1 (en) Line-of-sight estimation device
US20190204914A1 (en) Line of sight measurement device
JP4313717B2 (en) Gaze detection device
KR100936334B1 (en) Face detection system
CN109415020B (en) Brightness control device, brightness control system and brightness control method
US20140267758A1 (en) Stereo infrared detector
JP5018652B2 (en) Object presence determination device
JP2007004448A (en) Line-of-sight detecting apparatus
JP2007025758A (en) Human face image extraction method and apparatus
JP2017188851A (en) In-vehicle camera face photographing method and in-vehicle camera
CN111886858B (en) Image system for vehicle
JP4659691B2 (en) Feature pattern detector
CN110235178B (en) Driver state estimating device and driver state estimating method
KR102288753B1 (en) Apparatus for monitoring driver and method thereof
JP2010023626A (en) Driver monitoring device
JP2005296383A (en) Visual line detector
JP4460367B2 (en) Personal identification device
JP4555395B2 (en) Terminal

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080611

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090610

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20091125

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100104

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100104

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130102

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130102

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20131218

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20131218

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20141212

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20141212

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20151229

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20151229

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20161228

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20171227

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20181213

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20181213

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20191210

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20210104

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20231218

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20241226

Start annual number: 16

End annual number: 16