KR102068084B1 - eye strain reduction method and system using face recognition algorithm - Google Patents
eye strain reduction method and system using face recognition algorithm Download PDFInfo
- Publication number
- KR102068084B1 KR102068084B1 KR1020180009894A KR20180009894A KR102068084B1 KR 102068084 B1 KR102068084 B1 KR 102068084B1 KR 1020180009894 A KR1020180009894 A KR 1020180009894A KR 20180009894 A KR20180009894 A KR 20180009894A KR 102068084 B1 KR102068084 B1 KR 102068084B1
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- user
- display
- blinks
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000003464 asthenopia Diseases 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000193 eyeblink Effects 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000004397 blinking Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010015946 Eye irritation Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 231100000013 eye irritation Toxicity 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G06K9/00604—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법은, 미리 정해진 일정주기마다 미리 정해둔 일정시간동안 사용자의 안면을 촬상하는 제1단계; 상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하는 제2단계; 및 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였으면, 디스플레이의 파라미터를 가변하는 제3단계;를 구비함을 특징으로 한다. A method for reducing eye fatigue using a face recognition algorithm according to the present invention includes: a first step of capturing a face of a user for a predetermined time at a predetermined predetermined period; A second step of detecting a blink of a user from the captured image information of the face; And detecting whether the number of eye blinks of the user has changed during the predetermined time, and if the number of eye blinks of the user has changed during the predetermined time, varying a parameter of the display.
Description
본 발명은 눈의 피로 감소 시스템에 관한 것으로, 더욱 상세하게는 본 발명은 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 미연에 감소시킬 수 있게 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법 및 시스템에 관한 것이다.The present invention relates to an eye fatigue reduction system, and more particularly, the present invention provides a face that adjusts a parameter of a display based on the number of eye blinks of a user to protect the user's eyes and to reduce eye fatigue. A method and system for reducing eye fatigue using a recognition algorithm.
PC와 스마트 폰 보급률이 늘고 사용량이 증가하면서 디스플레이 매체에 의한 현대인들의 눈의 피로가 증가하고 있다. As the penetration rate of PCs and smartphones increases and the usage increases, the eyes of the modern people are increasing due to display media.
이러한 문제를 해소하기 위해 종래에는 주변 밝기와 비슷하게 디스플레이의 밝기를 조절하거나 혹은 블루라이트를 조절하거나 블루라이트를 차단하는 기술을 제안하여 눈의 피로를 감소하기 위한 노력을 계속하고 있다. In order to solve such a problem, conventionally, a technique for adjusting the brightness of the display, adjusting the blue light, or blocking the blue light similarly to the ambient brightness has been continued to reduce eye fatigue.
이러한 기술로는 대한민국 특허청에 액정 디스플레이의 눈부심 방지 장치 및 방법을 명칭으로 하여 특허공개된 제10-2009-0046200호가 있으며, 이는 액정디스플레이의 APL(Average Picture Level) 값을 검출하는 APL 검출부; 상기 APL 검출부에서 검출된 APL값에 따라, 상기 검출된 APL 값이 기 설정된 제1 기준 값 이상인 경우, 백라이트의 밝기를 기 설정된 반비례식에 따라 상기 검출된 APL 값과 반비례하게 증가 또는 감소시키고, 상기 검출된 APL 값이 기 설정된 제1 기준 값 미만이고 제2 기준 값 이상인 경우, 상기 백라이트의 밝기를 기설정된 밝기로 제한시키고, 상기 검출된 APL 값이 기 설정된 제2 기준 값 미만인 경우, 빛샘 현상이 보이지 않는 값에 한하여 상기 백라이트의 밝기를 감소시키는 제어부; 및 상기 제어부의 제어에 따라 백라이트의 밝기를 조절하여 구동하는 백라이트 구동부를 포함하고, 백 라이트의 밝기를 계산하기 위한 상기 기 설정된 반비례식은 화면 사이즈, APL 값 및 일정한 눈 자극을 주는 밝기 상수에 기초하여 결정되는 것을 특징으로 하는 액정디스플레이의 눈부심 방지 장치를 개시하고 있다. Such a technology is disclosed in the Republic of Korea Patent Office No. 10-2009-0046200, which is patented under the name of the anti-glare device and method of the liquid crystal display, which includes an APL detection unit for detecting the APL (Average Picture Level) value of the liquid crystal display; According to the APL value detected by the APL detector, when the detected APL value is greater than or equal to a preset first reference value, the brightness of a backlight is increased or decreased in inverse proportion to the detected APL value according to a preset inverse equation. When the detected APL value is less than the first predetermined reference value and is greater than or equal to the second reference value, the brightness of the backlight is limited to a predetermined brightness, and when the detected APL value is less than the second predetermined reference value, the light leakage phenomenon may occur. A control unit for reducing the brightness of the backlight only invisible values; And a backlight driver configured to control the brightness of the backlight according to the control of the controller, wherein the predetermined inverse equation for calculating the brightness of the backlight is based on a screen size, an APL value, and a brightness constant that gives a constant eye irritation. Disclosed is an anti-glare device of a liquid crystal display characterized by being determined.
그리고 대한민국 특허청에 눈 불편감 감소 디스플레이를 명칭으로 하여 특허등록된 제10-1774691호도 있으며, 이는 보는이(viewer)의 시야(sight) 내에 배열되는 디스플레이; 상기 보는이의 안구 상태(ocular condition)를 감지하도록 구성되는 감지 서브시스템(sensory subsystem); 및 상기 디스플레이 및 상기 감지 서브시스템에 함께 동작하도록(operatively) 커플링되는 컨트롤러 - 상기 컨트롤러는 상기 보는이의 시선(gaze) 방향을 추적하기 위해 상기 감지 서브시스템으로부터의 출력을 적용하고, 상기 보는이가 겪는 눈 불편감(eye discomfort)을 완화시키기 위해 상기 안구 상태에 응답하여 상기 디스플레이 시스템의 동작 파라미터를 조정하도록 구성됨 - 를 포함하는 디스플레이 시스템을 개시하고 있다. There is also a patent registration No. 10-1774691 in the Republic of Korea Patent Office to reduce the discomfort of the display, which includes a display arranged in the sight of the viewer (sight); A sensory subsystem configured to sense an ocular condition of the viewer; And a controller operatively coupled to the display and the sensing subsystem, the controller applies an output from the sensing subsystem to track the gaze direction of the viewer, Is configured to adjust operating parameters of the display system in response to the eye condition to mitigate eye discomfort.
상기한 바와 같이 종래에는 사용자의 시선을 통해 눈 불편감을 추정하여 디스플레이의 파라미터를 조절하는 기술을 제안하고 있을 뿐이므로, 사용자의 눈 피로를 직접적으로 파악하지 못하여 효율적으로 눈 피로 절감을 이행할 수 없는 문제가 있었다. As described above, the conventional technique only proposes a technique for adjusting the display parameters by estimating eye discomfort based on the user's eyes, and thus, eye fatigue of the user may not be directly recognized, and thus, eye fatigue reduction cannot be efficiently performed. There was a problem.
이에 종래에는 사용자는 눈의 피로가 쌓인 이후에나 디스플레이의 밝기를 조절하거나 블루라이트를 직접 조절하는 형편이었으므로, 사용자의 눈 피로를 좀 더 신뢰성있게 예측하여 사용자의 눈을 보호하고 눈의 피로를 감소시킬 수 있는 기술의 개발이 절실하게 요망되었다. Therefore, in the past, the user was able to adjust the brightness of the display or directly adjust the blue light after the eye fatigue was accumulated, so that the user's eye fatigue can be more reliably predicted to protect the user's eyes and reduce eye fatigue. There is an urgent need for the development of such technologies.
본 발명은 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 감소시킬 수 있게 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법 및 시스템을 제공하는 것을 그 목적으로 한다. An object of the present invention is to provide a method and system for reducing eye fatigue using a face recognition algorithm that can adjust a parameter of a display based on the number of eye blinks of a user to protect the user's eyes and reduce eye fatigue. do.
상기한 목적을 달성하기 위한 본 발명에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법은, 미리 정해진 일정주기마다 미리 정해둔 일정시간동안 사용자의 안면을 촬상하는 제1단계; 상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하는 제2단계; 및 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였는지를 검출하고, 상기 일정시간동안의 사용자의 눈 깜박임 횟수가 변화하였으면, 디스플레이의 파라미터를 가변하는 제3단계;를 구비함을 특징으로 한다. A method for reducing eye fatigue using a face recognition algorithm according to the present invention for achieving the above object includes a first step of capturing a face of a user for a predetermined time at a predetermined predetermined period; A second step of detecting a blink of a user from the captured image information of the face; And detecting whether the number of eye blinks of the user has changed during the predetermined time, and if the number of eye blinks of the user has changed during the predetermined time, varying a parameter of the display.
상기한 본 발명은 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 미연에 감소시킬 수 있는 효과를 야기한다. According to the present invention, the parameters of the display are adjusted based on the number of blinks of the user, thereby protecting the user's eyes and causing the effect of reducing eye fatigue.
도 1은 본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 구성도.
도 2는 본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법의 절차도.
도 3은 본 발명의 바람직한 실시예에 따르는 눈 깜박임 측정과정을 예시한 도면.
도 4는 본 발명의 바람직한 실시예에 따르는 디스플레이의 특성 곡선을 예시한 도면.
도 5는 본 발명의 바람직한 실시예에 따라 디스플레이의 출력화면이 변화하는 것을 예시한 도면.1 is a block diagram of an eye fatigue reduction system using a face recognition algorithm according to a preferred embodiment of the present invention.
2 is a procedure of the eye fatigue reduction method using a face recognition algorithm according to a preferred embodiment of the present invention.
3 is a diagram illustrating an eye blink measurement process according to a preferred embodiment of the present invention.
4 illustrates a characteristic curve of a display according to a preferred embodiment of the present invention.
5 is a diagram illustrating that the output screen of the display changes according to a preferred embodiment of the present invention.
본 발명은 눈의 피로 상태를 예측할 수 있는 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조절하여 사용자의 눈을 보호하고 눈의 피로를 미연에 감소시킨다. The present invention protects the user's eyes and reduces eye fatigue by adjusting the parameters of the display based on the number of eye blinks of the user who can predict the eye fatigue state.
즉 본 발명은 사용자가 눈을 깜박이지 않은 상태로 집중하여 작업을 이행하는 경우에 눈 피로를 유발하는 광 성분이 눈으로 더 많이 인입되는 것을 감안하여, 눈의 깜박임이 느려지면 디스플레이의 파라미터를 감소시켜 눈을 보호하고 눈 피로를 미연에 방지하고, 눈의 깜박임이 정상으로 돌아오면 디스플레이의 파라미터를 원래대로 복원하여 미려한 비디오 출력을 가능하게 한다. That is, the present invention takes into account that more light components causing eye fatigue are introduced into the eyes when the user concentrates on the eyes without blinking, thus reducing the parameters of the display when the eyes blink slowly. It protects the eyes, prevents eye fatigue, and restores the display's parameters to the original when the eye flickers back to normal, enabling beautiful video output.
특히 본 발명은 디스플레이의 파라미터 변경여부를 미리 정해둔 일정주기마다 결정하므로 디스플레이의 파라미터 변경에 따른 사용자의 불편감을 최소화하고 시스템의 처리 부하를 절감한다. In particular, the present invention determines whether or not to change the parameter of the display at predetermined intervals, thereby minimizing user inconvenience caused by the parameter change of the display and reducing the processing load of the system.
이러한 본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템 및 방법을 도면을 참조하여 상세히 설명한다. The eye fatigue reduction system and method using the face recognition algorithm according to the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
<얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 구성><Configuration of Eye Fatigue Reduction System Using Face Recognition Algorithm>
본 발명의 바람직한 실시예에 따르는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 구성을 도 1을 참조하여 설명한다. A configuration of an eye fatigue reduction system using a face recognition algorithm according to a preferred embodiment of the present invention will be described with reference to FIG. 1.
상기 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템은 제어장치(100)와 디스플레이 제어기(102), 디스플레이(104), 메모리부(106), 촬상장치(108), 사용자 인터페이스(110)로 구성된다. The eye fatigue reduction system using the face recognition algorithm includes a
상기 제어장치(100)는 상기 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템의 각부를 제어하며, 사용자 인터페이스(110)를 통한 사용자의 요청에 따른 비디오 출력정보를 디스플레이 제어기(102)에 제공한다. 특히 상기 제어장치(100)는 본 발명의 바람직한 실시예에 따라 사용자의 눈 깜박임 횟수에 따라 디스플레이(104)의 파라미터 중 하나인 블루값을 조절하여 사용자의 눈을 보호하고 눈의 피로를 감소시킨다. The
상기 디스플레이 제어기(102)는 상기 제어장치(100)의 제어에 따른 비디오 출력정보에 따르는 비디오를 출력하도록 상기 디스플레이(104)를 제어한다. 또한 상기 디스플레이 제어기(102)는 상기 제어장치(100)의 제어에 따라 디스플레이(104)의 파라미터 중 하나인 블루값을 조절하여 사용자의 눈의 피로를 미연에 감소시킨다. The display controller 102 controls the display 104 to output video according to video output information under the control of the
상기 디스플레이(104)는 상기 디스플레이 제어기(102)의 제어에 따라 비디오를 출력한다. The display 104 outputs video under the control of the display controller 102.
상기 메모리부(106)는 상기 제어장치(100)의 제어 프로그램을 포함하는 다양한 정보를 저장한다.The memory unit 106 stores various information including a control program of the
상기 촬상장치(108)는 사용자의 안면을 촬상하고 그에 따른 촬상정보를 상기 제어장치(100)에 제공한다. The imaging device 108 photographs a user's face and provides the
상기 사용자 인터페이스(110)는 사용자로부터의 각종 정보 또는 명령을 입력받아 상기 제어장치(100)에 제공한다. The user interface 110 receives various information or commands from a user and provides them to the
<얼굴 인식 알고리즘을 이용한 눈의 피로 감소방법><Eye Fatigue Reduction Method Using Face Recognition Algorithm>
이제 상기한 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템에 적용가능한 상기한 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법을 도 2의 흐름도를 참조하여 상세히 설명한다. An eye fatigue reduction method using the above face recognition algorithm applicable to the eye fatigue reduction system using the face recognition algorithm will now be described in detail with reference to the flowchart of FIG. 2.
상기 제어장치(100)는 미리 정해둔 일정주기가 도래하였는지를 체크한다(200단계). 상기 미리 정해둔 일정주기가 도래하였으면, 상기 제어장치(100)는 촬상장치(108)를 통해 사용자의 안면을 촬상한다(202단계). The
상기 촬상장치(108)로부터 사용자의 안면을 촬상한 촬상정보가 제공되면, 상기 제어장치(100)는 사용자의 안면에 대한 촬상정보에서 눈을 검출한다. 여기서, 상기 눈 검출은 Open CV를 이용할 수 있다.When the imaging information of the user's face is provided from the imaging device 108, the
상기 사용자의 눈이 검출되면, 상기 제어장치(100)는 안면 랜드마크 기법을 사용하며, 눈의 가로세로비(EAR, EYES ASPECT RATIO)를 수학식 1에 따라 산출하고, 눈의 가로세로비의 변화량을 토대로 눈깜박임을 검출한다(204단계). When the user's eye is detected, the
상기 수학식 1에서 EAR은 눈의 가로 간격과 세로 간격 사이의 비인 눈의 가로세로비이고, 상기 P1 및 P6은 눈의 수평 특징점들이고, 상기 P2 내지 P5는 눈의 수직 특징점들이며, 이 특징점들을 도 3의 (a)에 예시한 바와 같다. In Equation 1, EAR is an aspect ratio of an eye which is a ratio between horizontal and vertical intervals of the eyes, P 1 and P 6 are horizontal feature points of the eye, and P 2 to P 5 are vertical feature points of the eye, These feature points are as illustrated in Fig. 3A.
상기한 눈 깜박임 검출과정을 도 3을 참조하여 설명한다. 도 3은 본 발명의 바람직한 실시예에 따르는 눈 깜박임 측정과정을 예시한 도면으로, (a)는 눈을 뜬 상태의 랜드마크를 예시한 것이고 (b)는 눈을 감은 상태의 랜드마크를 예시한 것이다. 상기 눈의 가로 세로 비는 도 3의 (c)에 예시한 바와 같이 눈을 뜬 상태를 유지하다가 감을 때에 급격하게 감소됨을 예시한 것이다.The eye blink detection process will be described with reference to FIG. 3. 3 is a view illustrating the eye blink measurement process according to a preferred embodiment of the present invention, (a) illustrates a landmark in the open state and (b) illustrates a landmark in the closed state will be. As illustrated in (c) of FIG. 3, the aspect ratio of the eye rapidly decreases when the eye is closed while being closed.
이와 같이 눈의 가로세로비는 눈을 감을 때에 급격하게 감소되므로, 제어장치(100)는 상기 눈의 가로세로비가 미리 정해둔 수치이상 감소된 경우에 눈 깜박임이 일어난 것으로 판단한다. As such, since the aspect ratio of the eyes is rapidly reduced when the eyes are closed, the
상기 제어장치(100)는 미리 정해둔 일정시간동안 상기 사용자의 눈 깜박임 횟수를 검출한다(206단계). The
미리 정해둔 일정시간동안 상기 사용자의 눈 깜박임 횟수가 이전 횟수에 비해 미리 정해둔 비율이상 변화하였는지를 체크한다(208단계). 상기 눈 깜박임 횟수가 이전 횟수에 비해 미리 정해둔 비율이상 변화하였으면, 상기 제어장치(100)는 상기 눈 깜박임 횟수가 감소되었는지를 체크한다(210단계). 상기 눈 깜박임 횟수가 미리 정해둔 비율 이상 감소되었으면, 상기 제어장치(100)는 눈 깜박임 횟수의 감소비율에 대응되는 비율로 디스플레이의 파라미터 중 블루값의 출력값을 강하한다(214단계). It is checked whether the number of blinks of the user has changed by more than a predetermined ratio compared to the previous number of times during a predetermined time period (step 208). If the number of blinks has changed by more than a predetermined ratio compared to the previous number, the
이와 달리 상기 눈 깜박임 횟수가 미리 정해둔 비율 이상 증가되었으면, 상기 제어장치(100)는 눈 깜박임 횟수의 증가비율에 대응되는 비율로 디스플레이의 파라미터 중 블루값의 출력값을 상승한다(212단계). In contrast, if the number of blinks is increased by more than a predetermined rate, the
도 4는 본 발명의 바람직한 실시예에 따르는 블루값의 변화를 예시한 것으로, 제1상태의 블루값은 사용자의 눈 깜박임 횟수의 감소에 따라 제2상태로 가변될 수 있으며, 이 경우에 디스플레이(104)로 출력되는 블루라이트는 감소된다. 그리고 제2상태의 블루값은 사용자의 눈 깜박임 횟수의 증가에 따라 제1상태로 가변될 수 있으며, 이 경우에 디스플레이(104)는 원래의 비디오 출력정보에 가까운 비디오를 출력하여 사용자의 심미적 욕구를 충족할 수 있다. Figure 4 illustrates a change in the blue value according to a preferred embodiment of the present invention, the blue value of the first state may be changed to the second state according to the decrease in the number of eye blinks of the user, in this case the display ( The blue light output to 104 is reduced. The blue value of the second state may be changed to the first state according to an increase in the number of blinks of the user. In this case, the display 104 outputs a video close to the original video output information to satisfy the aesthetic desire of the user. Can be satisfied.
이러한 본 발명은 눈의 깜박임 데이터로 화면 제어를 할 수 있도록 소켓 프로그래밍을 이용하여 실시간으로 데이터를 전송한다. 그리고 전송된 데이터 값을 바탕으로 화면이 제어될 수 있도록 한다. The present invention transmits data in real time using socket programming to control the screen with blinking data. The screen can be controlled based on the transmitted data value.
도 5는 본 발명에 따라 디스플레이의 화면이 변화되는 것을 예시한 도면이다. 도 5의 좌측은 평시의 화면 출력상태를 예시한 것이고, 도 5의 우측은 사용자의 눈 깜박임 감소에 대응되게 블루라이트 출력을 강하시킨 화면을 예시한 것이다. 5 is a diagram illustrating that the screen of the display is changed according to the present invention. The left side of FIG. 5 illustrates a screen output state in a normal state, and the right side of FIG. 5 illustrates a screen in which a blue light output is lowered to correspond to a decrease in eye blink of a user.
이러한 본 발명은 눈의 깜박임이 감소하거나 눈의 깜박임 비율이 감소했을 경우에 화면의 블루값을 감소시킴으로써, 사용자가 집중하여 작업하는 동안 블루라이트의 출력량을 감소시킬 수 있게 한다. 이는 작업하는 동안 사용자의 눈으로 인입되는 블루라이트 양을 감소시켜 사용자의 눈의 피로를 미연에 방지할 수 있다. The present invention reduces the blue value of the screen when the blink of the eye is reduced or the blink rate of the eye is reduced, so that the user can reduce the output of the blue light while working intensively. This reduces the amount of blue light that enters the user's eyes while working, thus preventing the user's eye fatigue.
또한 본 발명은 사용자의 특별한 제어없이도 눈의 깜박임 변화를 통해 블루라이트 출력량을 제어하므로 사용상의 편이성을 가져온다. In addition, the present invention controls the amount of blue light output by changing the blinking of the eye without special control of the user brings about ease of use.
또한 상기한 본 발명의 바람직한 실시예에서는 사용자의 눈피로 방지를 위해 디스플레이의 파라미터 중 하나인 블루값을 조정하는 것만을 예시하였으나, 상기 디스플레이의 파리미터들인 밝기, 감마값 등도 함께 조절하여 사용자의 눈의 피로 감소를 극대화할 수 있으며, 이는 본 발명에 의해 당업자에게 자명하다. In addition, in the above-described preferred embodiment of the present invention, only the adjustment of the blue value, which is one of the parameters of the display, to prevent eye fatigue of the user is illustrated, but by adjusting the brightness, gamma value, etc. of the display parameters of the user's eyes fatigue The reduction can be maximized, which is apparent to those skilled in the art by the present invention.
또한 상기한 본 발명의 바람직한 실시예에서는 사용자의 눈 깜박임 횟수만을 토대로 디스플레이의 파라미터를 조정하는 것만을 예시하였으나, 사용자의 눈 깜박임과 주변밝기를 고려하여 디스플레이의 파라미터들을 조절하는 것도 가능하며, 이는 본 발명에 의해 당업자에게 자명하다. In addition, in the above-described preferred embodiment of the present invention, only the parameters of the display are adjusted based only on the number of blinks of the user, but it is also possible to adjust the parameters of the display in consideration of the blink of the user and the ambient brightness. It is obvious to those skilled in the art by the invention.
또한 상기한 본 발명의 바람직한 실시예에서는 미리 정해둔 일정주기마다 사용자의 눈 깜박임 횟수를 토대로 디스플레이의 파라미터를 조정하는 것만을 예시하였으나, 사용자의 요청에 따라 실시간으로 디스플레이의 파라미터를 변경하는 것도 가능하며, 이는 본 발명에 의해 당업자에게 자명하다. In addition, in the above-described preferred embodiment of the present invention, only the parameters of the display are adjusted based on the number of blinks of the user at predetermined intervals, but the parameters of the display may be changed in real time according to a user's request. This is apparent to those skilled in the art by the present invention.
100 : 제어장치
102 : 디스플레이 제어기
104 : 디스플레이
106 : 메모리부
108 : 촬상장치
110 : 사용자 인터페이스100: controller
102: display controller
104: display
106: memory unit
108: imaging device
110: user interface
Claims (12)
상기 제어장치는,
미리 정해진 일정주기마다 미리 정해둔 일정시간동안 상기 촬상장치를 통해 사용자의 안면을 촬상하는 제1단계;
상기 사용자의 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하는 제2단계; 및
상기 일정시간동안의 사용자의 눈 깜박임 횟수를 검출하고 상기 눈 깜박임 횟수가 미리 정해둔 비율이상 변화하였는지와 상기 눈 깜박임 횟수가 감소되었는지를 체크하고, 상기 눈 깜박임 횟수의 감소비율에 대응되는 비율로 상기 디스플레이의 파라미터 중 블루값의 출력값을 감소시키거나 반대로 상기 눈 깜박임 횟수의 증가비율에 대응되는 비율로 상기 디스플레이의 파라미터 중 블루값의 출력값을 증가시키는 제3단계;를 포함하고,
상기 제2단계에서의 눈 깜박임 검출은,
사용자의 안면을 촬상한 정보에서 눈의 수평 특징점들 사이인 눈의 가로 간격과 수직 특징점들 사이인 눈의 세로 간격 사이의 비를 토대로 검출하고, 상기 눈의 가로 간격과 눈의 세로 간격 사이의 비는 수학식 2에 따라 산출하는 것을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법.
<수학식 2>
상기 수학식 2에서 EAR은 눈의 가로 간격과 세로 간격 사이의 비이고,
상기 P1 및 P6은 눈의 수평 특징점들이고, 상기 P2 내지 P5는 눈의 수직 특징점들임. "In a method for reducing eye fatigue using a system having a display, an imaging device for imaging a user's face, and a control device for controlling the display,
The control device,
A first step of capturing a face of a user through the imaging device for a predetermined time at a predetermined predetermined period;
A second step of detecting a blink of the user from the captured image information of the face of the user; And
Detect the number of eye blinks of the user for the predetermined time, check whether the number of eye blinks has changed by more than a predetermined rate, and whether the number of eye blinks has been reduced, and at a rate corresponding to the decrease rate of the number of eye blinks. And reducing the output value of the blue value among the parameters of the display or increasing the output value of the blue value among the parameters of the display at a rate corresponding to the increase rate of the number of blinks.
Eye blink detection in the second step,
Detecting the user's face based on the ratio between the horizontal distance of the eye between the horizontal feature points of the eye and the vertical distance of the eye between the vertical feature points, the ratio between the horizontal distance of the eye and the vertical distance of the eye The eye fatigue reduction method using a face recognition algorithm, characterized in that calculated in accordance with Equation (2).
<Equation 2>
In Equation 2, EAR is the ratio between the horizontal interval and the vertical interval of the eye,
P 1 and P 6 are horizontal feature points of the eye, and P 2 through P 5 are vertical feature points of the eye.
상기 디스플레이의 파라미터는 밝기값 및 감마값을 더 포함함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 방법. The method of claim 1,
The parameter of the display further comprises a brightness value and a gamma value eye fatigue reduction method using a face recognition algorithm.
사용자의 안면을 촬상하는 촬상장치; 디스플레이; 및 미리 정해진 일정주기마다 미리 정해둔 일정시간동안 상기 촬상장치를 통해 사용자의 안면을 촬상하고, 상기 안면을 촬상한 촬상정보로부터 사용자의 눈 깜박임을 검출하고, 검출된 눈 깜박임 횟수가 미리 정해둔 비율이상 변화하였는지와 상기 눈 깜박임 횟수가 감소되었는지를 체크하고, 상기 눈 깜박임 횟수의 감소비율에 대응되는 비율로 상기 디스플레이의 파라미터 중 블루값의 출력값을 감소시키거나 반대로 상기 눈 깜박임 횟수의 증가비율에 대응되는 비율로 상기 디스플레이의 파라미터 중 블루값의 출력값을 증가시키는 제어장치;를 포함하고,
상기 제어장치는, 상기 눈 깜박임 검출을,
사용자의 안면을 촬상한 정보에서 눈의 수평 특징점들 사이인 눈의 가로 간격과 수직 특징점들 사이인 눈의 세로 간격 사이의 비를 토대로 검출하며,
상기 눈의 가로 간격과 눈의 세로 간격 사이의 비는 수학식 3에 따라 산출함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
<수학식 3>
상기 수학식 3에서 EAR은 눈의 가로 간격과 세로 간격 사이의 비이고,
상기 P1 및 P6은 눈의 수평 특징점들이고, 상기 P2 내지 P5는 눈의 수직 특징점들임. In eye fatigue reduction system using face recognition algorithm,
An imaging device for imaging the face of the user; display; And photographing the user's face through the imaging device for a predetermined time at a predetermined predetermined period, detecting the user's eye blinks from the imaging information of the face, and determining a predetermined number of eye blinks. Check whether it has changed abnormally and the number of blinks has decreased, and reduce the output value of the blue value among the parameters of the display at a rate corresponding to the decrease rate of the number of blinks, or vice versa. And a controller for increasing an output value of a blue value among the parameters of the display at a rate that is
The control unit, the eye blink detection,
Detects the user's face based on the ratio between the horizontal distance of the eyes between the horizontal feature points of the eyes and the vertical distance of the eyes between the vertical feature points.
The eye fatigue reduction system using a face recognition algorithm, characterized in that the ratio between the horizontal interval of the eye and the vertical interval of the eye is calculated according to equation (3).
<Equation 3>
In Equation 3, EAR is the ratio between the horizontal interval and the vertical interval of the eye,
P 1 and P 6 are horizontal feature points of the eye and P 2 through P 5 are vertical feature points of the eye.
상기 디스플레이의 파라미터는 밝기값 및 감마값을 더 포함함을 특징으로 하는 얼굴 인식 알고리즘을 이용한 눈의 피로 감소 시스템.
The method of claim 3,
The parameter of the display further comprises a brightness value and a gamma value eye fatigue reduction system using a face recognition algorithm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009894A KR102068084B1 (en) | 2018-01-26 | 2018-01-26 | eye strain reduction method and system using face recognition algorithm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009894A KR102068084B1 (en) | 2018-01-26 | 2018-01-26 | eye strain reduction method and system using face recognition algorithm |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190090998A KR20190090998A (en) | 2019-08-05 |
| KR102068084B1 true KR102068084B1 (en) | 2020-01-20 |
Family
ID=67616001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180009894A Active KR102068084B1 (en) | 2018-01-26 | 2018-01-26 | eye strain reduction method and system using face recognition algorithm |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102068084B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116724548A (en) | 2021-01-05 | 2023-09-08 | 三星电子株式会社 | Electronic device for displaying content and method of operating the same |
| KR20220099011A (en) * | 2021-01-05 | 2022-07-12 | 삼성전자주식회사 | Electronic device for displaying content and method of operation thereof |
| CN114429446B (en) * | 2021-12-13 | 2025-03-04 | 崔刚 | Image processing method, device and equipment |
| KR102706297B1 (en) * | 2022-08-23 | 2024-09-12 | 주식회사 한글과컴퓨터 | Electronic terminal apparatus for reducing eye fatigue of the user who is writing a document, and the operating method thereof |
| CN116781823A (en) * | 2023-08-23 | 2023-09-19 | 深圳市达瑞电子科技有限公司 | Control method for mobile phone screen brightness and display terminal thereof |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3296118B2 (en) * | 1994-11-17 | 2002-06-24 | トヨタ自動車株式会社 | Face position determination device and blink detection device |
| KR101430455B1 (en) | 2007-11-05 | 2014-08-14 | 엘지전자 주식회사 | Glare prevention device and method of liquid crystal display |
| KR102366230B1 (en) * | 2015-03-30 | 2022-02-23 | 삼성전자 주식회사 | Display apparatus and control method thereof |
| KR20170028626A (en) * | 2015-09-04 | 2017-03-14 | 엘지전자 주식회사 | Mobile terminal and operating method thereof |
| KR101774691B1 (en) | 2016-05-02 | 2017-09-05 | 주식회사 와이즈오토모티브 | System for correcting flicker |
-
2018
- 2018-01-26 KR KR1020180009894A patent/KR102068084B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190090998A (en) | 2019-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102068084B1 (en) | eye strain reduction method and system using face recognition algorithm | |
| CN107295248B (en) | Image display apparatus and image display method for displaying image, and storage medium | |
| AU2012365030B2 (en) | Device and method for controlling rotation of displayed image | |
| CN101470460B (en) | Method for sight protection when using computer, and computer thereof | |
| WO2017161867A1 (en) | Screen brightness adjustment method and apparatus, and intelligent terminal | |
| KR100457534B1 (en) | Apparatus and method for adjusting brightness and color temperature | |
| US10585474B2 (en) | Electronic display illumination | |
| TWI486630B (en) | Method for adjusting head mounted display adaptively and head-mounted display | |
| EP2795572B1 (en) | Transformation of image data based on user position | |
| US10380420B2 (en) | Electronic device and screen adjusting method based on condition of user's eye | |
| US20160110846A1 (en) | Automatic display image enhancement based on user's visual perception model | |
| WO2015184810A1 (en) | Method and device for adjusting screen display | |
| CN107945766A (en) | Display device | |
| JP2019523514A (en) | System and method for preventing a reduction in visual acuity caused by proximity work in an apparatus having an electronic screen | |
| KR20180018067A (en) | Display apparatus and recording media | |
| US20150304625A1 (en) | Image processing device, method, and recording medium | |
| CN107133008A (en) | The method of mobile terminal adjust automatically output | |
| WO2022079200A1 (en) | Dynamic control of transmission value | |
| CN105818751A (en) | Vehicle, automatic adjusting system applied to same and automatic adjusting method | |
| CN104008732B (en) | A kind of LED backlight source for liquid crystal display brightness adjusting method and system | |
| US10923045B1 (en) | Backlight control device and method | |
| JP7315006B2 (en) | monitoring equipment | |
| WO2020121650A1 (en) | Eye opening/closing detection device and occupant monitoring device | |
| US12125316B2 (en) | Video processing device, video processing method, and recording medium for video processing | |
| CN113343320B (en) | A smart office method based on face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180126 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190617 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20191226 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200114 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200115 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230110 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240109 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250107 Start annual number: 6 End annual number: 6 |