[go: up one dir, main page]

KR20080109519A - Video recording device and shooting method - Google Patents

Video recording device and shooting method Download PDF

Info

Publication number
KR20080109519A
KR20080109519A KR1020070057931A KR20070057931A KR20080109519A KR 20080109519 A KR20080109519 A KR 20080109519A KR 1020070057931 A KR1020070057931 A KR 1020070057931A KR 20070057931 A KR20070057931 A KR 20070057931A KR 20080109519 A KR20080109519 A KR 20080109519A
Authority
KR
South Korea
Prior art keywords
image
face
sample
subject
shutter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020070057931A
Other languages
Korean (ko)
Other versions
KR101394289B1 (en
Inventor
박영식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070057931A priority Critical patent/KR101394289B1/en
Publication of KR20080109519A publication Critical patent/KR20080109519A/en
Application granted granted Critical
Publication of KR101394289B1 publication Critical patent/KR101394289B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Studio Devices (AREA)

Abstract

본 발명은 영상 촬영 장치 및 촬영 방법에 관한 것이다.The present invention relates to an image photographing apparatus and a photographing method.

본 발명의 실시 예에 따른 영상 촬영 장치 및 촬영 방법은 프리뷰 영상을 영상 인식하고, 상기 인식 영상을 기 설정된 영상 샘플과 비교한 후, 유사도를 판별하여, 그 결과에 따라 상기 인식 영상을 촬영하도록 하는 영상 촬영 장치 및 촬영 방법에 관한 것이다. 이러한, 본 발명의 영상 촬영 장치 및 촬영 방법은 장치 사용자가 원하는 사진을 빠르고 용이하게 획득할 수 있다.According to an embodiment of the present invention, an image capturing apparatus and a photographing method recognize a preview image, compare the recognized image with a preset image sample, determine similarity, and capture the recognized image according to the result. An image capturing apparatus and a photographing method. Such an image capturing apparatus and a photographing method of the present invention can quickly and easily obtain a picture desired by a device user.

Description

영상 촬영 장치 및 촬영 방법{DEVICE AND METHOD FOR IMAGE PHOTOGRAPHING }Imaging Device and Shooting Method {DEVICE AND METHOD FOR IMAGE PHOTOGRAPHING}

도 1은 본 발명의 실시 예에 따른 영상 촬영 장치의 구성을 개략적으로 나타낸 도면,1 is a view schematically showing the configuration of an image photographing apparatus according to an embodiment of the present invention;

도 2는 본 발명의 선호 영상 촬영 시 지연 모드에 따른 촬영을 나타낸 화면 예시도,2 is a diagram illustrating a screen showing shooting according to a delay mode when shooting a preferred image of the present invention;

도 3은 본 발명의 선호 영상 촬영 시 일정 시간 간격으로 다수개의 영상을 촬영하는 방법에 따른 화면 예시도,3 is an exemplary view of a screen according to a method of capturing a plurality of images at predetermined time intervals when capturing a preferred image of the present invention;

도 4는 본 발명의 선호 영상에 따른 자동 촬영 모드 시의 화면 예시도,4 is an exemplary view of a screen in an automatic shooting mode according to a preferred image of the present invention;

도 5는 본 발명의 셔터 지연을 이용한 선호 영상 촬영 방법을 나타낸 순서도,5 is a flowchart illustrating a method of capturing a preferred image using a shutter delay of the present invention;

도 6은 본 발명의 시간 지연을 이용한 선호 영상 촬영 방법을 나타낸 순서도,6 is a flowchart illustrating a method of capturing a preferred image using a time delay of the present invention;

도 7은 본 발명의 영상 자동 선택/수동 선택 모드에 따른 영상 촬영 방법을 나타낸 순서도,7 is a flowchart illustrating an image capturing method according to an automatic image selection / manual selection mode of the present invention;

도 8은 본 발명의 선호 영상에 따른 자동 촬영 방법을 나타낸 순서도.8 is a flowchart illustrating an automatic photographing method according to a preferred image of the present invention.

본 발명은 영상 촬영 장치 및 촬영 방법에 관한 것으로서, 특히 촬영하고자 하는 영상이 특정 조건에 부합되는지 여부에 따라 영상을 촬영하도록 제어하는 영상 촬영 장치 및 촬영 방법에 관한 것이다.The present invention relates to an image photographing apparatus and a photographing method, and more particularly, to an image photographing apparatus and a photographing method for controlling to photograph an image depending on whether an image to be photographed meets a specific condition.

영상 촬영 장치는 피사체에서 반사되는 빛을 이용하여 피사체의 영상을 획득하는 도구이다. 이러한, 영상 촬영 장치는 최근 들어 디지털 기기의 발달과 더불어 새로운 형태의 영상 촬영 장치로서 거듭나게 되었다. 즉, 종래의 디지털 카메라는 자신이 촬영하게 될 영상을 미리 볼 수 있는 프리뷰 화면을 제공함과 아울러, 촬영된 영상을 즉시 확인할 수 있는 기능을 제공하고 있다.The image capturing apparatus is a tool for acquiring an image of a subject by using light reflected from the subject. Such image capturing apparatus has recently been reborn as a new type of image capturing apparatus with the development of digital devices. That is, the conventional digital camera provides a preview screen for previewing an image to be taken by the user, and also provides a function for immediately checking the captured image.

한편, 영상 촬영 장치를 이용하는 사용자는 자신의 촬영 기술에 관계없이, 피사체에 대한 좋은 영상을 얻기를 원한다. 보고에 따르면, 좋은 영상이라는 것은 개인의 주관이나 성격 등에 따라 다르게 보일 수 있으나, 보편적으로 좋은 영상에 대한 기준 몇 가지 것들에 한해서 공통점을 지니고 있는 것으로 나타난다. 예를 들어, 좋은 영상은 피사체의 흔들림이 없는 영상, 피사체의 구분이 명확한 영상 등이다. 이에 따라, 특정 피사체를 촬영한 영상은 특수한 목적으로 제작되지 않는 이상 좋은 영상으로서의 일정 기준을 가질 수 있다. 예를 들어, 사람들은 사진 촬영 시 눈을 감는 경우가 많다. 이는 사진 촬영에 대한 긴장이나, 촬영 시 언급하게 되는 카운트 등으로 심미적 긴장감이 발휘되어 발생하게 되는데 사람들은 촬영된 영상이 눈을 감고 있을 경우, 좋지 않은 영상으로 판단하는 경우가 많다. 이에 따라, 촬영된 영상이 눈을 감고 있을 경우에는 재차 촬영을 시도하는 경우가 많다. 결과적으로, 종래에는 피사체의 특정 상태에 대한 영상을 회피하기 위하여 사진 촬영을 여러번 반복해야 하는 번거로움이 있다.On the other hand, a user using an image capturing apparatus wants to obtain a good image of a subject regardless of his photographing technique. According to the report, a good image may look different depending on the subjectivity or personality of an individual, but there are some common standards for a good image. For example, a good image is an image without blurring of a subject, an image with a clear distinction between subjects, and the like. Accordingly, an image photographing a specific subject may have a certain standard as a good image unless it is produced for a special purpose. For example, people often close their eyes when photographing. This is caused by the aesthetic tension caused by the tension for taking a picture or the count mentioned during the shooting. People often judge that a bad picture is when the captured picture is closed. Accordingly, when the captured image is closed, the image is often attempted again. As a result, in the related art, there is a problem in that the photographing is repeated several times in order to avoid the image of the specific state of the subject.

따라서 본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 창안된 것으로서, 본 발명의 목적은, 피사체의 특정 상태 및 형태에 따라 사진 촬영을 제어할 수 있도록 하는 영상 촬영 장치 및 촬영 방법을 제공하는데 있다.Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide an image capturing apparatus and a photographing method that can control the photographing according to the specific state and shape of the subject. .

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 영상 촬영 방법은, 피사체 영상에 대한 제1 프리뷰 영상을 영상 인식하는 과정; 상기 인식 영상과 기 설정된 적어도 하나의 영상 샘플을 비교하는 과정; 및 상기 인식 영상이 상기 영상 샘플과 일정 기준값 이상의 유사도를 가질 경우 상기 인식 영상을 촬영하는 과정;을 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, an image capturing method includes: recognizing a first preview image of a subject image; Comparing the recognized image with at least one preset image sample; And photographing the recognized image when the recognized image has a similarity with the image sample by a predetermined reference value or more.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 영상 촬영 방법은, 피사체의 영상을 촬영하기 위한 셔터 입력이 발생하는 과정; 상기 셔터 입력 시점부터 일정 시간 간격으로 다수개의 영상을 촬영하는 과정; 상기 촬영된 영상들을 각각 영상 인식하는 과정; 상기 인식 영상들과 기 설정된 적어도 하나의 영상 샘플을 비교하는 과정; 및 상기 인식 영상들 중 상기 영상 샘플과의 유사도가 일정 기준값 이상인 인식 영상을 표시하는 과정;을 포함하는 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided a method of capturing an image, including: generating a shutter input for capturing an image of a subject; Photographing a plurality of images at predetermined time intervals from the shutter input time point; Recognizing the captured images respectively; Comparing the recognition images with at least one preset image sample; And displaying a recognized image having a similarity degree to a predetermined reference value or more among the recognized images.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 영상 촬영 장치는, 피사체의 영상을 수집하는 카메라; 상기 카메라를 통해 수집되는 제1 프리뷰 영상 및 상기 카메라가 촬영을 통해 수집한 영상을 표시하는 표시부; 상기 피사 체의 영상 수집 시점에 대한 신호를 입력하는 입력부; 상기 피사체 영상에 대하여 영상 인식하고, 상기 인식 영상과 기 설정된 적어도 하나의 영상 샘플을 비교하여 유사도가 일정값 이상인 경우, 상기 피사체의 영상을 촬영하도록 제어하는 제어부; 및 상기 영상 샘플을 저장하는 메모리;를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, an image capturing apparatus includes: a camera collecting an image of a subject; A display unit which displays a first preview image collected by the camera and an image collected by the camera; An input unit for inputting a signal corresponding to an image acquisition time point of the subject; A controller for recognizing an image of the subject image and comparing the recognized image with at least one predetermined image sample to control to capture an image of the subject when the similarity is greater than or equal to a predetermined value; And a memory storing the image sample.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시 예에 따른 영상 촬영 장치는, 피사체의 영상을 촬영하기 위한 셔터 입력이 생성하는 입력부; 상기 셔터 입력 시점부터 일정 시간 간격으로 다수개의 영상을 촬영하고, 상기 촬영된 영상들을 각각 영상 인식하여, 상기 인식 영상들과 기 설정된 적어도 하나의 영상 샘플을 비교한 후, 상기 인식 영상들 중 상기 영상 샘플과의 유사도가 일정 기준값 이상인 인식 영상을 표시하도록 제어하는 제어부; 상기 인식 영상을 표시하는 표시부; 및 상기 영상 샘플을 저장하는 메모리;를 포함하는 것을 특징으로 한다. In accordance with another aspect of the present invention, an image capturing apparatus includes: an input unit generated by a shutter input for capturing an image of a subject; Taking a plurality of images at predetermined time intervals from the shutter input time point, recognizing the captured images, comparing the recognized images with at least one preset image sample, and then among the recognized images. A controller configured to display a recognized image having a similarity with a sample equal to or greater than a predetermined reference value; A display unit which displays the recognized image; And a memory storing the image sample.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only the parts necessary for understanding the operation according to the embodiment of the present invention will be described, it should be noted that the description of other parts will be omitted so as not to distract from the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어 야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to the ordinary or dictionary meanings, and the inventors are appropriate to the concept of terms in order to explain their invention in the best way. It should be interpreted as meanings and concepts corresponding to the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

예를 들면, 이하에서는 영상 샘플을 웃는 얼굴 및 눈을 감거나 뜨는 얼굴에 대하여 설명하고 있으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 상기 영상 샘플은 사물의 특정 형태, 동작, 상황 등 다양한 특징을 포함할 수 있을 것이다. 이에 따라, 영상 촬영 장치 사용자는 촬영하고자 하는 다양한 표정의 사진을 획득할 수 있을 뿐만 아니라, 다양한 동작 상태에 대한 영상도 획득할 수 있다.For example, the following describes a smiling face and a face with eyes closed or floating with an image sample, but the present invention is not limited thereto. That is, the image sample may include various features such as a specific shape, an operation, and a situation of an object. Accordingly, the user of the image capturing apparatus may acquire not only photographs of various expressions to be photographed, but also images of various operating states.

또한 본 발명의 실시 예에서는 영상 촬영 장치를 이동통신 단말기를 예로 하여 설명하지만, 본 발명이 이에 한정되지는 않는다. 따라서 본 발명의 실시 예에 따른 상기 영상 촬영 장치는 입력되는 프리뷰 영상에 대한 영상 인식이 가능한 단말기로서 바람직하게는 이동통신 단말기, 디지털 방송 단말기, 개인 정보 단말기(PDA, Personal Digital Assistant), 스마트 폰(Smart Phone), IMT-2000(International Mobile Telecommunication 2000) 단말기, WCDMA(Wideband Code Division Multiple Access) 단말기 및 UMTS(Universal Mobile Telecommunication Service) 단말기 등과 같은 모든 정보통신기기 및 멀티미디어 기기와, 그에 대한 응용에도 적용될 수 있음은 자명할 것이다. In addition, in the embodiment of the present invention, the image capturing apparatus is described using a mobile communication terminal as an example, but the present invention is not limited thereto. Therefore, the image capturing apparatus according to an embodiment of the present invention is a terminal capable of recognizing an input preview image. Preferably, the image capturing apparatus is a mobile communication terminal, a digital broadcasting terminal, a personal digital assistant (PDA), a smart phone ( All information and multimedia devices such as smart phones (IMT-2000), international mobile telecommunication 2000 (IMT-2000) terminals, wideband code division multiple access (WCDMA) terminals, and universal mobile telecommunication service (UMTS) terminals, and applications thereof. It will be obvious.

도 1은 본 발명의 실시 예에 따른 영상 촬영 장치의 개략적인 구성을 나타낸 도면이다.1 is a view showing a schematic configuration of an image capturing apparatus according to an embodiment of the present invention.

설명에 앞서, 본 발명의 영상 촬영 장치는 이동 통신 단말기의 구성을 예로서 설명하기로 한다. 그러나 본 발명의 영상 촬영 장치는 상기 이동통신 단말기로 한정되는 것은 아니며, 영상을 촬영하고, 촬영된 영상에 대한 영상 인식을 수행할 수 있는 단말기라면 어떠한 단말기라도 적용 가능할 것이다.Prior to the description, the image capturing apparatus of the present invention will be described by way of example the configuration of a mobile communication terminal. However, the image capturing apparatus of the present invention is not limited to the mobile communication terminal, and any terminal may be applied as long as the terminal can capture an image and perform image recognition on the captured image.

상기 도 1을 참조하면, 본 발명의 실시 예에 따른 영상 촬영 장치(100)는 무선주파수부(110), 키입력부(120), 오디오 처리부(130), 카메라(140), 표시부(150), 제어부(160), 메모리(170) 및 알람부(180)를 포함할 수 있다.Referring to FIG. 1, the image capturing apparatus 100 according to an exemplary embodiment of the present invention may include a radio frequency unit 110, a key input unit 120, an audio processor 130, a camera 140, a display unit 150, The controller 160, the memory 170, and the alarm unit 180 may be included.

상기 무선주파수부(110)는 상기 영상 촬영 장치(100)가 이동통신 단말기의 기능을 가질 경우, 포함될 수 있는 구성이다. 이러한 무선주파수부(110)는 일반 음성 통화, 화상 통화, 데이터 통신 등의 다양한 기능을 지원한다. 이를 위하여 상기 무선주파수부(110)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 특히, 본 발명의 무선주파수부(110)는 상기 카메라(140)가 촬영한 영상 중 영상 인식 알고리즘에 의해 좋은 영상으로 선택된 영상을 외부 타 단말기 또는 서버에 전송할 수 있도록 제어부(160)의 제어에 따라 통신 채널을 형성할 수 있다.The radio frequency unit 110 may be included when the image capturing apparatus 100 has a function of a mobile communication terminal. The radio frequency unit 110 supports various functions such as general voice call, video call, and data communication. To this end, the radio frequency unit 110 may include a radio frequency transmitter for up-converting and amplifying the frequency of the transmitted signal, and a radio frequency receiver for low-noise amplifying and down-converting the received signal. In particular, the radio frequency unit 110 of the present invention under the control of the control unit 160 to transmit to the other terminal or server an image selected as a good image by the image recognition algorithm of the image photographed by the camera 140 A communication channel can be formed.

상기 키입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 상기 키입력부(120)는 사용자 설정 및 영상 촬영 장치(100)의 기능 제어와 관련하여 입 력되는 키 신호를 상기 제어부(160)로 전달한다.The key input unit 120 includes a plurality of input keys and function keys for receiving numeric or character information and setting various functions. The function keys may include direction keys, side keys, shortcut keys, and the like, which are set to perform a specific function. In addition, the key input unit 120 transmits a key signal input in relation to the user setting and the function control of the image capturing apparatus 100 to the controller 160.

특히, 본 발명의 키입력부(120)는 영상 촬영 동작을 제어하기 위한 다양한 키입력신호를 생성한다. 예를 들어, 상기 키입력부(120)는 카메라(140)의 셔터 기능에 해당하는 키입력신호, 상기 표시부(150)에 표시되는 다양한 영상을 검색, 저장 및 삭제하기 위한 키입력신호, 줌인 기능 또는 줌아웃 기능에 해당하는 키입력신호, 카메라(140)가 제공하는 다양한 사진 촬영 옵션 기능에 해당하는 키입력신호 등을 생성하여 상기 제어부(160)에 전달한다. 상기 사진 촬영 옵션 기능은 사진 촬영 시 조도의 변화, 해상도의 변화, 필터 삽입, 영상 전처리 제공 기능 등을 포함한다. 상기 셔터 기능을 제공하는 키입력부(120)는 반 셔터 기능을 제공한다. 반 셔터 기능은 사진 촬영 시 피사체에 대한 오토 포커싱 기능에 해당한다. 즉, 반 셔터 기능은 한번의 셔터 동작을 단계로 구분하여, 일정 깊이의 누름 동작에 따라 실제 피사체 촬영 전에 피사체에 대한 포커싱을 자동으로 설정하고, 나머지 누름 동작에 따라 사진을 촬영할 수 있다.In particular, the key input unit 120 of the present invention generates various key input signals for controlling the image capturing operation. For example, the key input unit 120 may include a key input signal corresponding to a shutter function of the camera 140, a key input signal for searching, storing, and deleting various images displayed on the display unit 150, a zoom in function, or A key input signal corresponding to a zoom out function and a key input signal corresponding to various photographing option functions provided by the camera 140 are generated and transmitted to the controller 160. The photo shooting option function includes a change in illuminance, a change in resolution, a filter insertion, an image preprocessing providing function, and the like when taking a photo. The key input unit 120 providing the shutter function provides a half shutter function. The half shutter function corresponds to the auto focusing function for the subject when the picture is taken. That is, the half shutter function divides one shutter operation into steps, automatically sets focusing on the subject before the actual subject is photographed according to a pressing operation of a predetermined depth, and takes a picture according to the other pressing operations.

상기 오디오 처리부(130)는 상기 무선주파수부(110)로부터 수신한 오디오 신호를 스피커(SPK)를 이용하여 재생하거나, 또는 마이크(MIC)로부터 입력되는 오디오 신호를 수집하여 제어부(160)에 전송하는 기능을 수행한다. 특히, 본 발명의 오디오 처리부(130)는 상기 카메라(140)가 동작하는 상태에 대한 알람을 출력할 수 있다. 다시 말하여, 상기 오디오 처리부(130)는 상기 카메라(140)가 피사체를 촬영할 때, 촬영이 완료된 상태에 대한 오디오 신호, 촬영 시작 이후, 일정 시간 이내에 촬영 완료가 수행되지 않을 경우에 대한 오디오 신호를 생성하여 출력할 수 있다.The audio processor 130 reproduces an audio signal received from the radio frequency unit 110 using a speaker SPK or collects an audio signal input from a microphone MIC and transmits the audio signal to the controller 160. Perform the function. In particular, the audio processor 130 of the present invention may output an alarm for a state in which the camera 140 operates. In other words, when the camera 140 captures a subject, the audio processor 130 may output an audio signal for a state where the recording is completed, and an audio signal for the case where the shooting is not completed within a predetermined time after the start of recording. Can be generated and printed.

상기 카메라(140)는 소정의 영상을 촬영하여 데이터 신호로 수신하고, 상기 데이터 신호를 제어부(160)에 전달한다. 상기 카메라(140)가 촬영한 데이터 신호는 사용자 선택에 따라 임시 저장되거나 반영구적으로 저장될 수 있다. 이러한 상기 카메라(140)는 피사체의 영상을 촬영하여 표시부(150)에 프리뷰 화면으로 전달할 수 있다. 그리고 상기 카메라는 피사체의 영상 중 특정 영상에 반응하여 피사체 영상을 촬영할 수 있다. 이를 위하여 본 발명의 카메라는 촬영할 영상을 프리뷰 상태로 표시하도록 전달하고, 버퍼에 임시 저장할 수 있는 디지털 카메라가 될 수 있다. 카메라(140) 동작 시점에 대하여 표시부(150)의 화면 인터페이스 설명과 함께 보다 상세히 설명하기로 한다.The camera 140 captures a predetermined image and receives the data as a data signal, and transmits the data signal to the controller 160. The data signal captured by the camera 140 may be temporarily stored or semi-permanently stored according to a user's selection. The camera 140 may capture an image of a subject and transmit the captured image to the display unit 150 as a preview screen. The camera may capture a subject image in response to a specific image of the subject image. To this end, the camera of the present invention may be a digital camera that delivers the image to be photographed in a preview state and temporarily stores it in a buffer. The operation time of the camera 140 will be described in more detail together with the screen interface description of the display unit 150.

상기 표시부(150)는 영상 촬영 장치(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 특히 상기 표시부(150)는 상기 카메라(140)가 촬영한 영상 또는 상기 무선주파수부(110)가 외부로부터 수신한 영상을 화면 데이터로 표시할 수 있다. 또한, 상기 표시부(150)는 상기 카메라(140)가 현재 투사하고 있는 피사체에 대한 영상을 프리뷰 화면으로 제공할 수 있다. 프리뷰 화면 기능은 카메라(140)가 실질적으로 촬영한 영상 이전에, 피사체가 렌즈로 통하여 입사되는 영상을 보여주는 기능이다. 또한, 상기 표시부(150)는 상기 카메라(140)가 촬영한 영상을 저장하기 이전에 표시할 수 있으며, 사용자의 저장 및 삭제에 대한 확인 메시지를 표시할 수 있다. 상기 표시부(150)는 사용자 설정에 따라 피사체에 대한 연속 사진을 촬영하여 멀티 썸네일 영상으로 표시할 수 있다. 이러한 표시부(150)의 화면 인터페이스에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.The display unit 150 displays information input by a user or information provided to the user, including various menus of the image capturing apparatus 100. In particular, the display unit 150 may display an image captured by the camera 140 or an image received from the outside by the radio frequency unit 110 as screen data. In addition, the display unit 150 may provide an image of a subject currently projected by the camera 140 as a preview screen. The preview screen function is a function of displaying an image of a subject incident through a lens before an image actually captured by the camera 140. In addition, the display unit 150 may display before storing the image photographed by the camera 140, and may display a confirmation message for the user's storage and deletion. The display unit 150 may take a series of pictures of a subject according to a user's setting and display them as a multi thumbnail image. The screen interface of the display unit 150 will be described in more detail with reference to the accompanying drawings.

상기 제어부(160)는 상기 영상 촬영 장치(100)의 전반적인 동작 및 상기 영상 촬영 장치(100)의 내부 블록들 간 신호 흐름을 제어한다. 상기 제어부(160)는 이동통신 기능 지원을 위한 모뎀(MODEM) 및 상기 영상 촬영 시 영상의 압축 등을 위하여 코덱(CODEC)의 기능을 포함할 수도 있다.The controller 160 controls the overall operation of the image capturing apparatus 100 and a signal flow between internal blocks of the image capturing apparatus 100. The controller 160 may include a function of a modem for supporting a mobile communication function and a codec for compressing an image when the image is captured.

특히, 본 발명의 제어부(160)는 촬영 모드에 따른 상기 카메라(140) 제어를 수행한다. 이를 보다 상세히 설명하면, 상기 촬영 모드는 선호 영상 촬영 시 시간 지연 모드, 선호 영상 촬영 시 셔터 지연 모드, 선호 영상 촬영 시 영상 자동 선택/수동 선택 모드, 선호 영상에 따른 자동 촬영 모드를 포함한다. 상기 선호 영상 촬영 시 시간 지연 모드는 카메라(140)가 촬영하고자 하는 영상이 사용자가 기 설정한 영상과 유사할 경우 현재 보여지는 영상을 시간 지연 시켜 촬영하는 모드이다. 상기 선호 영상 촬영 시 셔터 지연 모드는 카메라(140)가 촬영하고자 하는 영상이 사용자가 기 설정한 영상과 유사할 경우 현재 보여지는 영상을 셔터 지연하여 촬영하는 모드이다. 상기 선호 영상 촬영 시 영상 자동 선택 모드는 피사체를 촬영할 때, 다수의 사진을 연속적으로 촬영하고, 촬영된 영상 중 선호 영상과 유사한 영상을 추출하여 표시하는 모드이다. 그리고 선호 영상에 따른 자동 촬영 모드는 피사체가 기 설정된 선호 영상과 유사한 상태를 갖춘 경우, 피사체를 자동 촬영하는 모드이다. 상기 각 모드에 대하여 표시부(150) 화면 인터페이스 설명과 함께 보다 상세히 설명하기로 한다.In particular, the controller 160 of the present invention performs the control of the camera 140 according to the shooting mode. In more detail, the capturing mode includes a time delay mode when capturing a preferred image, a shutter delay mode when capturing a preferred image, an automatic selection / manual selection mode when capturing a preferred image, and an automatic capturing mode according to a preference image. The time delay mode when the preferred image is captured is a mode in which the current image is delayed and photographed when the image to be photographed by the camera 140 is similar to the image set by the user. The shutter delay mode when capturing the preferred image is a mode in which the camera 140 photographs the currently displayed image by delaying the shutter when the image to be captured is similar to the image set by the user. The automatic image selection mode at the time of capturing the preferred image is a mode in which a plurality of photographs are continuously photographed when the subject is photographed, and an image similar to the favorite image is extracted from the photographed image and displayed. The automatic shooting mode according to the preferred image is a mode for automatically photographing the subject when the subject has a similar state to the preset preferred image. Each mode will be described in more detail with the description of the screen interface of the display unit 150.

상기 메모리(170)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 영상 촬영 시 획득된 영상을 임시 또는 반영구적으로 저장하며, 촬영된 영상에 대하여 저장/삭제 이전에 임시로 저장하는 버퍼링 기능 및 다수의 연속 영상 중 특정 영상을 선택하는 사진 촬영 모드에서 연속 사진에 대한 임시 저장 기능을 담당한다. 이러한 상기 메모리(170)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.The memory 170 temporarily or semi-permanently stores an image acquired when capturing an image, including an application program required for a function operation according to an embodiment of the present invention, and temporarily stores the captured image before storing / deleting the image. It is responsible for the temporary storage function for the continuous picture in the buffering function and the picture taking mode in which a specific image is selected from among a plurality of continuous pictures. The memory 170 may largely include a program area and a data area.

상기 프로그램 영역은 영상 촬영 장치(100)를 부팅시키는 운영체제(OS, Operating System), 카메라(140)를 통해 투사된 피사체 영상을 인식하기 위한 영상 인식 알고리즘 등을 저장한다. 그리고 상기 프로그램 영역은 상기 영상 촬영 장치(100)가 제공하는 기타 옵션(options) 기능 예컨대, 카메라 기능, 소리 재생 기능, 이미지 또는 동영상 재생 기능 등에 필요한 응용 프로그램 등을 저장한다. 또한, 상기 영상 촬영 장치(100)는 이동통신 단말기 기능을 가지는 경우, 음성 통화 또는 화상 통화를 위해 필요한 응용 프로그램 등을 저장한다. 상기 영상 촬영 장치(100)는 사용자 요청에 상응하여 상기한 각 기능을 활성화하는 경우, 상기 제어부(160)의 제어 하에 해당 응용 프로그램들을 이용하여 각 기능을 제공하게 된다.The program area stores an operating system (OS) for booting the image capturing apparatus 100, an image recognition algorithm for recognizing a subject image projected through the camera 140, and the like. The program area stores other options provided by the image capturing apparatus 100, such as an application program required for a camera function, a sound reproduction function, an image or a video reproduction function, and the like. In addition, when the image capturing apparatus 100 has a mobile communication terminal function, the image capturing apparatus 100 stores an application program necessary for a voice call or a video call. When the image capturing apparatus 100 activates each of the above functions in response to a user request, the image capturing apparatus 100 provides the respective functions by using corresponding application programs under the control of the controller 160.

상기 영상 인식 알고리즘은 피사체의 영상을 인식할 수 있는 알고리즘으로서, 피사체의 모양, 동작 상태 등을 기 저장된 영상 샘플과 비교하여 어떠한 영상인지를 판별하는 알고리즘이다. 예를 들어, 상기 피사체 영상이 인물의 얼굴에 관련된 영상일 경우, 상기 영상 인식 알고리즘은 얼굴에서 눈의 위치, 코의 위치 및 잎의 위치를 추출하고, 상기 각 위치 간의 거리의 변화 및 위치의 변화를 기반으로 현재 인물의 얼굴 상태가 어떠한 표정을 근거로 하여 형성되었는지를 판단할 수 있다. 즉, 상기 영상 인식 알고리즘은 상술한 얼굴에 포함된 구성요소들의 연결관계를 근거로 웃는 얼굴, 무표정한 얼굴, 눈 감은 얼굴, 눈을 뜬 상태의 얼굴, 입 벌린 상태의 얼굴, 입을 다문 상태의 얼굴, 우는 상태의 얼굴, 화난 얼굴, 비웃는 상태의 얼굴, 배고픈 얼굴, 노려보는 얼굴 등 다양한 얼굴에 대한 인식이 가능하다. 상기 얼굴의 구성요소는 눈, 코 입뿐만 아니라 얼굴에 포함되는 다른 구성 예를 들면, 귀, 턱, 눈썹, 이마의 주름 등 도 포함할 수 있다.The image recognition algorithm is an algorithm for recognizing an image of a subject, and is an algorithm for determining which image is compared by comparing a shape, an operation state, and the like of the subject with previously stored image samples. For example, when the subject image is an image related to the face of the person, the image recognition algorithm extracts the position of the eye, the position of the nose and the position of the leaf from the face, and the change of the distance and the change of position between the respective positions. Based on the expression, the face state of the current person may be determined based on the expression. In other words, the image recognition algorithm is based on the connection of the components included in the above-described face, the expressionless face, the closed face, the open face, the open face, the closed face, It can recognize various faces such as crying face, angry face, laughing face, hungry face, staring face. The components of the face may include not only eyes and nose mouth, but also other components included in the face, for example, ears, chin, eyebrows, and wrinkles on the forehead.

상기 데이터 영역은 상기 영상 촬영 장치(100)의 촬영 동작에 따라 생성된 데이터를 저장한다. 즉, 상기 데이터 영역은 카메라(140)가 촬영한 영상 중 사용자가 선택한 영상을 저장한다. 그리고 상기 데이터 영역은 상기 영상 촬영 장치(100)가 제공하는 다양한 옵션 기능과 관련한 사용자 데이터들 예컨대, 앞서 설명한 폰 북 데이터와, 오디오 데이터 및 사용자 데이터들에 대응하는 정보 등을 저장할 수 있다. 상기 데이터 영역은 상기 영상 인식 알고리즘을 지원하기 위한 영상 인식 알고리즘 DB를 포함할 수 있다. 상기 영상 인식 알고리즘 DB는 상기 카메라(140)가 촬영하고자 하는 영상의 일정 기준이 되는 영상을 포함한다. 예를 들어, 상기 영상 인식 알고리즘을 이용하여 피사체의 웃는 모습과 매칭되는 촬영을 수행하고자 할 경우, 상기 영상 인식 알고리즘 DB는 상기 제어부(160)에 상기 웃는 모습에 해당하는 선호 영상 샘플을 제공한다. 이와 유사하게, 상기 영상 인식 알고리즘 DB는 상기 영상 인식 알고리즘이 구분할 수 있는 다양한 형태의 영상을 선호 영상 샘플로서 제공할 수 있다. 여기서 상기 영상 샘플은 특정 영상뿐만 아니 라, 특정 영상 패턴 및 패턴을 수치화한 데이터를 포함할 수 있다.The data area stores data generated according to the photographing operation of the image capturing apparatus 100. That is, the data area stores an image selected by the user among images captured by the camera 140. The data area may store user data related to various option functions provided by the image capturing apparatus 100, for example, the phone book data described above, information corresponding to audio data and user data, and the like. The data area may include an image recognition algorithm DB for supporting the image recognition algorithm. The image recognition algorithm DB includes an image that is a constant reference of an image to be photographed by the camera 140. For example, when a photograph is to be matched with a smiling face of the subject using the image recognition algorithm, the image recognition algorithm DB provides the controller 160 with a preferred image sample corresponding to the smiling face. Similarly, the image recognition algorithm DB may provide various types of images distinguishable by the image recognition algorithm as a preferred image sample. The image sample may include not only a specific image but also a specific image pattern and data obtained by digitizing the pattern.

상기 알람부(180)는 상기 카메라(140) 동작 상태를 상기 영상 촬영 장치(100) 사용자에게 알람하는 구성이다. 이러한 상기 알람부(180)는 램프, 진동, 소리 등을 이용하여 사용자에게 현재 카메라(140) 상태를 알람할 수 있다. 예를 들어, 상기 알람부(180)는 상기 영상 촬영 장치(100)가 선호 영상에 따른 자동 촬영 모드를 진행 중일 경우, 피사체가 선호 영상과 유사한 상태를 나타내는지 여부에 따른 촬영 완료 신호를 생성하여 표시할 수 있다. 그리고 상기 알람부(180)는 상기 피사체가 선호 영상과 일정 시간 동안 다른 영상 상태를 가질 경우, 이에 대한 부족 상태 알람을 수행할 수 있다. 이를 위해 상기 알람부(180)는 램프의 깜박거림 또는 램프의 색깔 등을 이용하여 상태를 나타내거나, 상기 오디오 처리부(130)와 연계하여 현재 상태를 기 저장된 음성으로 출력할 수 있다. 상기 알람부(180)가 상기 오디오 처리부(130)와 연계되는 경우, 삭제될 수 있다.The alarm unit 180 is configured to alarm the user of the image capturing apparatus 100 of the operation state of the camera 140. The alarm unit 180 may alert the user of the current camera 140 state using a lamp, vibration, sound, and the like. For example, when the image capturing apparatus 100 is in an automatic shooting mode according to a preferred image, the alarm unit 180 generates a shooting completion signal according to whether a subject exhibits a state similar to the preferred image. I can display it. When the subject has a different image state from the preferred image for a predetermined time, the alarm unit 180 may perform an insufficient state alarm for the subject. To this end, the alarm unit 180 may indicate a state by using a flicker of a lamp or a color of a lamp, or output the current state as a pre-stored voice in association with the audio processor 130. When the alarm unit 180 is associated with the audio processor 130, the alarm unit 180 may be deleted.

도 2는 본 발명의 선호 영상 촬영 시 시간 지연 또는 셔터 지연 모드에 따라 피사체를 촬영하는 모드를 나타내는 화면 인터페이스이다.2 is a screen interface illustrating a mode of photographing a subject according to a time delay or shutter delay mode when capturing a preferred image of the present invention.

상기 도 2를 참조하면, 상기 제10 화면 인터페이스(10)는 영상 촬영 장치(100) 사용자가 촬영하지 않고자 하는 영상을 나타낸 화면이다. 이러한 제10 화면 인터페이스(10)는 카메라(140)의 렌즈를 통하여 입사되어 표시부(150) 상에서 프리뷰 화면으로 나타날 수 있다. 상기 제10 화면 인터페이스(10)를 살펴보면, 인물의 눈이 감겨져 있는 것을 확인할 수 있다. 즉, 도 2에서의 선호 영상은 피사체인 인물이 눈을 감지 않은 상태에 대한 영상이다. 상기 제10 화면 인터페이스(10) 에 해당하는 영상이 프리뷰 화면으로 표시되는 경우, 상기 영상 촬영 장치(100)는 촬영 시간 지연 또는 셔터 누름 지연을 제어하여 제11 화면 인터페이스(11)에서 보여지는 바와 같은 영상이 표시될 때까지 대기하도록 제어한다. 이후, 피사체의 영상이 제11 화면 인터페이스(11)에 나타낸 바와 같은 영상으로 표시될 경우, 상기 영상 촬영 장치(100)는 셔터 누름 지연 또는 촬영 시간 지연을 제거하여 올바른 영상을 촬영할 수 있도록 제어한다. 결과적으로, 상기 표시부(150)에 표시되는 영상은 제11 화면 인터페이스(11)에 해당하는 영상이 표시되게 된다.Referring to FIG. 2, the tenth screen interface 10 is a screen showing an image not to be captured by a user of the image capturing apparatus 100. The tenth screen interface 10 may be incident through the lens of the camera 140 and appear as a preview screen on the display unit 150. Looking at the tenth screen interface 10, it can be seen that the eyes of the person are closed. That is, the preferred image in FIG. 2 is an image of a state in which a person who is a subject does not sense eyes. When the image corresponding to the tenth screen interface 10 is displayed as the preview screen, the image capturing apparatus 100 controls the shooting time delay or the shutter pressing delay, as shown in the eleventh screen interface 11. Control to wait until the image is displayed. Then, when the image of the subject is displayed as an image as shown on the eleventh screen interface 11, the image capturing apparatus 100 controls to capture the correct image by removing the shutter pressing delay or the shooting time delay. As a result, an image corresponding to the eleventh screen interface 11 is displayed on the image displayed on the display unit 150.

상술한 바와 같이, 본 발명의 지연에 다른 피사체 촬영 모드는 카메라(140)의 렌즈를 통해 입사되는 영상 즉, 프리뷰 상태로 표시되는 영상이 선호 영상일 경우, 촬영이 진행되도록 제어함으로써, 사용자가 불필요하게 사진을 다시 촬영하는 것을 방지할 수 있다. 여기서, 본 발명의 선호 영상을 지정하는 것으로 설명하고 있으나, 상기 눈이 감겨 있는 상태에 해당하는 촬영 지연 영상을 기준으로 촬영 지연을 수행할 수 도 있을 것이다.As described above, in the subject photographing mode according to the delay of the present invention, when the image incident through the lens of the camera 140, i.e., the image displayed in the preview state is the preferred image, the photographing process is controlled so that the user does not need it. This can prevent you from taking pictures again. Here, although it is described as designating a preferred image of the present invention, the photographing delay may be performed based on the photographing delay image corresponding to the closed state.

도 3은 본 발명의 실시 예에 따른 선호 영상 촬영 시 영상 자동 선택/수동 선택 모드에 따른 화면 인터페이스를 나타낸 도면이다.3 is a diagram illustrating a screen interface according to an automatic image selection / manual selection mode when capturing a preferred image according to an embodiment of the present invention.

상기 도 3을 참조하면, 제20 화면 인터페이스(20), 제21 화면 인터페이스(21) 및 제22 화면 인터페이스(22)는 각각 연속적으로 촬영된 영상을 나타낸다. 여기서, 상기 제20 화면 인터페이스(20)에 나타난 영상은 인물이 눈을 감고 있는 상태를 나타낸다. 그리고 제21 화면 인터페이스(21)에 나타낸 영상은 인물의 눈이 반쯤 감겨진 상태를 나타낸다. 마지막으로 제22 화면 인터페이스(22)에 나타낸 영 상은 인물의 눈이 모두 개방된 상태를 나타낸다. 도면에서 알 수 있듯이, 상기 제20 내지 제22 화면 인터페이스(20, 21, 22)는 일정 시간 간격으로 연속적으로 촬영된 영상이다. 이러한, 영상들은 영상 촬영 장치(100) 설정에 따라 특정 영상이 선택되어 질 수 있다. 이를 보다 상세히 설명하면, 상기 영상 촬영 장치(100)가 영상 자동 선택 모드로 설정되어 있으며, 눈을 감고 있는 상태를 촬영 지연 영상으로 설정하고 있을 경우, 상기 영상 촬영 장치(100)는 제20 내지 제22 화면 인터페이스(20, 21, 22) 중 제22 화면 인터페이스(22)에 나타낸 영상을 자동으로 선택하여 표시부(150)에 표시하도록 제어하며, 나머지 제20 및 제21 화면 인터페이스(20, 21)에 나타난 사진은 자동 삭제하도록 제어할 수 있다. 그리고 상기 영상 촬영 장치(100)가 영상 수동 선택 모드로 설정되어 있을 경우에는 상기 제20 내지 제22 화면 인터페이스(20, 21, 22)에 나타난 사진을 멀티 썸네일 형태로 표시부(150)에 표시하되 상기 제22 화면 인터페이스(22)에 나타난 사진을 추천할 수 있다. 여기서, 사진 추천 기능은 상기 제22 화면 인터페이스(22)에 나타낸 영상을 포커싱하거나, 디폴트로 상기 제22 화면 인터페이스(22)의 영상을 가리키도록 하는 기능을 포함한다. 본 발명에서는 연속 사진의 개수를 3장으로 설명하고 있으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 연속 사진 개수는 영상 촬영 장치(100)가 지원할 수 있는 다수의 사진을 연속으로 촬영하고 이를 사용자에게 제공할 수 도 있다.Referring to FIG. 3, the twentieth screen interface 20, the twenty-first screen interface 21, and the twenty-second screen interface 22 each represent images captured in succession. Here, the image displayed on the twentieth screen interface 20 represents a state where the person is closing his eyes. The image displayed on the twenty-first screen interface 21 represents a state in which the eyes of the person are half closed. Finally, the image displayed on the twenty-second screen interface 22 represents a state in which the eyes of the person are all open. As can be seen from the figure, the 20th to 22nd screen interfaces 20, 21, and 22 are images continuously photographed at predetermined time intervals. Such images may be selected according to the setting of the image capturing apparatus 100. In more detail, when the image capturing apparatus 100 is set to the image automatic selection mode and the state of closing the eyes is set as the photographing delay image, the image capturing apparatus 100 is configured to the 20th to the fifth. Among the 22 screen interfaces 20, 21, and 22, an image selected on the 22nd screen interface 22 is automatically selected and controlled to be displayed on the display unit 150, and the remaining 20th and 21st screen interfaces 20, 21 are controlled. The displayed picture can be controlled to be automatically deleted. When the image capturing apparatus 100 is set to the manual image selection mode, the image displayed on the 20th to 22nd screen interfaces 20, 21, and 22 is displayed on the display unit 150 in the form of multi thumbnails. The picture displayed on the twenty-second screen interface 22 may be recommended. Here, the photo recommendation function includes a function of focusing an image displayed on the twenty-second screen interface 22 or pointing to an image of the twenty-second screen interface 22 by default. In the present invention, the number of consecutive pictures is described as three, but the present invention is not limited thereto. That is, the number of continuous photographs of the present invention may continuously photograph a plurality of photographs that the image capturing apparatus 100 can support and provide the same to the user.

도 4는 본 발명의 실시 예에 따른 선호 영상에 따른 자동 촬영 기능을 설명하기 위한 화면을 나타내는 화면 인터페이스이다.4 is a screen interface illustrating a screen for describing an automatic photographing function according to a preferred image according to an exemplary embodiment of the present invention.

상기 도 4를 참조하면, 본 발명의 제30 화면 인터페이스(30)는 인물의 표정이 기 설정된 표정이 아닌 일반 표정을 나타낸 것이다. 즉, 상기 제30 화면 인터페이스(30)에 나타난 영상은 무표정한 영상에 해당할 수 있다. 상기 영상 촬영 장치(100)는 상기 제30 화면 인터페이스(30)에 나타낸 영상이 표시부(150)에 표시되는 동안에는 동작을 수행하지 않고 있다가, 표정변화가 발생하여 제31 화면 인터페이스(31)에서 나타난 영상과 같은 얼굴 표정이 나타나면 자동 촬영을 수행할 수 있다. 이를 위해, 상기 영상 촬영 장치(100)는 영상 인식 알고리즘의 선호 영상 샘플을 웃는 얼굴로 설정할 수 있다. 동일한 방식으로, 상기 영상 촬영 장치(100)는 촬영하고자 하는 인물의 표정을 미리 설정하고, 인물의 표정이 변화하여 기 설정된 표정과 유사한 표정을 가질 경우, 영상을 자동 촬영하도록 제어할 수 있다. 이러한 촬영 방법을 이용하여 상기 영상 촬영 장치(100)는 원거리 자동 촬영을 수행할 수 도 있다. 즉, 웃는 얼굴을 자동 촬영의 기준이 되는 영상으로 설정하고, 일정 위치까지 이동한 후, 피사체가 상기 설정된 영상의 표정을 지을 경우, 상기 영상 촬영 장치(100)는 상기 피사체의 영상을 촬영할 수 있다. 여기서, 상기 제30 화면 인터페이스(30)는 카메라(140)의 렌즈를 통하여 표시부(150)에 프리뷰 상태로 표시되는 화면이 될 수 있으며, 상기 제31 화면 인터페이스(31)는 사진 촬영에 의해 촬영된 영상이 될 수 있다.Referring to FIG. 4, the thirtieth screen interface 30 of the present invention shows a general facial expression instead of a preset facial expression. That is, the image displayed on the thirtieth screen interface 30 may correspond to an expressionless image. The image capturing apparatus 100 does not perform an operation while the image displayed on the thirtieth screen interface 30 is displayed on the display unit 150, but a facial expression change occurs and is displayed on the thirty-first screen interface 31. When facial expressions such as images appear, automatic shooting can be performed. To this end, the image capturing apparatus 100 may set a preferred image sample of the image recognition algorithm as a smiling face. In the same manner, the image capturing apparatus 100 may preset a facial expression of a person to be photographed, and control to automatically photograph an image when the facial expression of the person changes to have a facial expression similar to the preset facial expression. By using the photographing method, the image capturing apparatus 100 may perform remote automatic photographing. That is, when a smile is set as an image for automatic photographing and moves to a predetermined position and the subject makes an expression of the set image, the image capturing apparatus 100 may capture an image of the subject. . Here, the thirtieth screen interface 30 may be a screen displayed in a preview state on the display unit 150 through the lens of the camera 140, and the thirty-first screen interface 31 is photographed by photographing. It can be an image.

이상에서는 본 발명의 실시 예에 따른 영상 촬영 장치(100)의 각 구성 및 표시부(150)의 화면 인터페이스에 대하여 살펴보았다. 이하에서는 상술한 영상 촬영 장치(100)가 제공하는 영상 촬영 방법에 대하여 도면을 참조하여 상세히 살펴보기 로 한다.In the above, the components of the image capturing apparatus 100 and the screen interface of the display unit 150 have been described. Hereinafter, an image capturing method provided by the image capturing apparatus 100 described above will be described in detail with reference to the accompanying drawings.

도 5는 본 발명의 선호 영상 촬영 시 셔터 지연 모드에 따른 촬영 방법을 나타낸 순서도이다.5 is a flowchart illustrating a photographing method according to a shutter delay mode when photographing a preferred image of the present invention.

설명에 앞서, 본 발명의 촬영 지연 영상은 인물의 표정에 대한 영상으로서 설명하기로 한다. 즉, 상기 촬영 지연 영상은 웃는 얼굴, 우는 얼굴 등 다양한 얼굴 표정을 특정화한 영상 샘플이다. 이러한 영상 샘플은 영상 인식 알고리즘에 의하여, 얼굴을 구성하는 각 구성 예를 들면 눈, 코, 입 간의 거리나 위치변화 값으로 데이터화할 수 있다. 본 발명에서는 상기 촬영 지연 영상을 인물의 표정에 대한 기준으로 설명하고 있으나, 인물의 특정 행동이나 상태에 대한 기준으로도 적용 가능할 것이다. 즉, 상기 촬영 지연 영상은 피사체의 특정 상황이나 상태에 대한 기준으로 설정될 수 있다.Prior to the description, the photographing delayed image of the present invention will be described as an image of a person's facial expression. That is, the photographing delay image is an image sample that specifies various facial expressions such as a smiling face and a crying face. Such an image sample may be converted into data using an image recognition algorithm, for example, a distance or position change value between each component constituting the face, for example, eyes, nose, and mouth. In the present invention, the photographing delay image is described as a reference for a person's expression, but may be applied as a reference for a specific action or state of the person. That is, the photographing delay image may be set as a reference for a specific situation or state of the subject.

상기 도 5를 참조하면, 본 발명의 셔터 지연 모드 촬영 방법은 먼저, S101 단계에서 제어부(160)가 키입력신호에 따라 영상 촬영 장치(100)의 카메라(140)를 턴-온 시킨 후, S103 단계에서 셔터 입력 여부를 확인한다. 상기 카메라(140)는 턴-온 된 이후, 렌즈를 통하여 입사되는 영상을 표시부(150)에 전달한다. 이에 따라, 상기 표시부(150)는 S101 단계에서 피사체에 대한 프리뷰 화면을 제공할 수 있다. 한편, 상기 제어부(160)는 S103 단계에서 셔터 입력이 없는 경우 S101 단계로 분기하여 카메라(140) 턴-온 상태를 유지하도록 제어한다. 상기 셔터 입력은 영상 촬영 장치(100)의 키입력부(120) 중 상기 셔터를 위해 배정된 특정 키를 이용하여 수행할 수 있다.Referring to FIG. 5, in the shutter delay mode capturing method of the present invention, first, in step S101, the controller 160 turns on the camera 140 of the image capturing apparatus 100 according to a key input signal, and then S103. In step 2, it is checked whether a shutter is input. After the camera 140 is turned on, the camera 140 transmits an image incident through the lens to the display unit 150. Accordingly, the display unit 150 may provide a preview screen for the subject in operation S101. On the other hand, if there is no shutter input in step S103, the controller 160 branches to step S101 to control to maintain the camera 140 turn-on state. The shutter input may be performed by using a specific key assigned to the shutter among the key input units 120 of the image capturing apparatus 100.

상기 S103 단계에서 셔터 입력이 발생하면, 상기 제어부(160)는 S105 단계에서 표시부(150)에 표시되고 있는 프리뷰 화면에 대하여 영상 인식을 수행한다. 이를 위하여 상기 제어부(160)는 메모리(170)에 저장된 영상 인식 알고리즘에 적용할 촬영 지연 영상을 로딩할 수 있다. 상기 영상 인식 과정은 영상 인식 알고리즘을 이용하여 영상의 특정 패턴을 추출하는 과정이다. 예를 들어, 상기 영상 인식 과정은 인물의 얼굴에 대한 표정 추출에 이용되는 경우, 얼굴을 구성하는 요소 예를 들면 눈, 눈썹, 코, 입, 턱 등의 요소들 간의 거리 및 위치 변화를 일정 패턴으로 추출할 수 있다. 이후, 상기 제어부(160)는 S107 단계에서, 상기 추출된 일정 패턴과 사용자 설정에 의하여 상기 영상 인식 알고리즘 DB로부터 로딩된 촬영 지연 영상이 유사한지 비교한다. 이때, 상기 제어부(160)는 상기 프리뷰 화면 영상과 상기 촬영 지연 영상의 유사성이 기 설정된 알고리즘 기준값 이상일 경우, 피사체가 상기 촬영 지연 영상에 해당하는 것으로 판단하고, S109 단계로 진입하여 셔터 키입력을 지연시킨다. 상기 S109 단계에서의 키입력 지연은 상기 셔터의 누름 방지를 설정하는 것으로 구현될 수 있으며, 셔터의 누름을 무시하는 설정으로 구현될 수 도 있다. 상기 셔터 누름 방지 설정을 위해서 상기 영상 촬영 장치(100)는 누름 방지를 위한 기계적 구성을 추가할 수 있다.When the shutter input occurs in step S103, the controller 160 performs image recognition on the preview screen displayed on the display unit 150 in step S105. To this end, the controller 160 may load a shooting delay image to be applied to an image recognition algorithm stored in the memory 170. The image recognition process is a process of extracting a specific pattern of an image using an image recognition algorithm. For example, when the image recognition process is used to extract facial expressions of a face of a person, a pattern of changing distances and positions between elements constituting the face, for example, eyes, eyebrows, nose, mouth, and chin, etc. Can be extracted with In operation S107, the controller 160 compares the extracted predetermined pattern with a photographing delay image loaded from the image recognition algorithm DB by a user setting. In this case, when the similarity between the preview screen image and the shooting delay image is equal to or greater than a preset algorithm reference value, the controller 160 determines that the subject corresponds to the shooting delay image, and enters step S109 to delay the shutter key input. Let's do it. The key input delay in step S109 may be implemented by setting the prevention of pressing of the shutter, or may be implemented by setting to ignore the pressing of the shutter. In order to set the shutter pressing prevention, the image capturing apparatus 100 may add a mechanical configuration for preventing pressing.

상기 S109 단계 이후, 상기 제어부(160)는 S103 단계로 분기하여 셔터 입력이 발생하고 있는지 여부를 확인한 후, 이후 과정을 반복 수행한다. 그리고 상기 S107 단계에서 프리뷰 영상이 촬영 지연 영상과 다를 경우 상기 제어부(160)는 S111 단계로 분기하여 영상 촬영을 수행한다.After the step S109, the controller 160 branches to step S103 to check whether a shutter input is occurring, and then repeats the subsequent process. If the preview image is different from the photographing delay image in step S107, the controller 160 branches to step S111 to perform image capturing.

한편, 상기 셔터는 반 셔터 모드를 지원할 수 있다. 즉, 본 발명의 영상 촬영 장치(100)는 셔터 누름의 깊이에 따라, 카메라(140) 동작을 다르게 수행할 수 있다. 이를 보다 상세히 설명하면, 상기 셔터는 사용자가 압력을 가하여 이동하는 거리에 따라 제1 셔터 입력 및 제2 셔터 입력을 구분할 수 있다. 제1 셔터 입력 단계에서 상기 영상 촬영 장치는 카메라(140)에 포함된 줌 기능을 조절하여 피사체에 대한 오토 포커싱 기능을 제공함과 아울러, 제1 셔터 입력을 기준으로 프리뷰 화면에 대한 영상 인식을 수행한다. 이후, S109 단계에서 상기 셔터는 키입력지연에 따라 제2 셔터 입력을 수행하지 않고 제1 셔터 입력 단계의 기능만을 수행하며, S107 단계에서 인식 영상이 촬영 지연 영상과 다를 경우, S111 단계에서 제2 셔터 입력이 가능하게 된다. 즉, S111 단계는 제2 셔터 입력이 수행되어 영상을 촬영하는 단계가 될 수 있다.Meanwhile, the shutter may support a half shutter mode. That is, the image capturing apparatus 100 of the present invention may perform the operation of the camera 140 differently according to the depth of the shutter press. In more detail, the shutter may distinguish between the first shutter input and the second shutter input according to the distance that the user moves by applying pressure. In the first shutter input step, the image capturing apparatus adjusts a zoom function included in the camera 140 to provide an auto focusing function on a subject, and performs image recognition on the preview screen based on the first shutter input. . Subsequently, in step S109, the shutter does not perform the second shutter input according to the key input delay, but performs only the function of the first shutter input step. When the recognition image is different from the shooting delay image in step S107, the second shutter in step S111. Shutter input becomes possible. That is, step S111 may be a step of photographing an image by performing a second shutter input.

도 6은 본 발명의 선호 영상 촬영 시 시간 지연 모드에 따른 촬영 방법을 나타낸 순서도이다.6 is a flowchart illustrating a photographing method according to a time delay mode when photographing a preferred image of the present invention.

상기 도 6을 참조하면, 본 발명의 시간 지연 모드에 따른 촬영 방법은 먼저, S201 단계에서 제어부(160)가 사용자 입력에 대응하여 영상 촬영 장치(100)의 카메라(140)를 턴-온 시킨 후, 카메라(140)를 통하여 입사되는 피사체의 영상을 표시부(150)에 전달한다. 이에 따라, 상기 영상 촬영 장치(100)는 프리뷰 영상을 제공할 수 있다. 그리고 상기 제어부(160)는 S203 단계에서 셔터 입력 여부를 확인한다. 상기 제어부(160)는 2103 단계에서 셔터 입력이 없는 경우 S201 단계로 분기하여 카메라(140) 턴-온 상태를 유지하도록 제어한다.Referring to FIG. 6, in the photographing method according to the time delay mode of the present invention, first, in step S201, the controller 160 turns on the camera 140 of the image capturing apparatus 100 in response to a user input. The image of the subject incident through the camera 140 is transmitted to the display unit 150. Accordingly, the image capturing apparatus 100 may provide a preview image. The controller 160 checks whether a shutter is input in step S203. If there is no shutter input in step 2103, the controller 160 branches to step S201 to control the camera 140 to be turned on.

상기 S203 단계에서 셔터 입력이 발생하면, 상기 제어부(160)는 S205 단계에서 표시부(150)에 표시되고 있는 프리뷰 화면에 대하여 영상 인식을 수행한다. 상기 영상 인식은 영상 인식 알고리즘 및 영상 인식 알고리즘 DB를 기반으로 수행될 수 있다. 영상 인식이 완료되면, 상기 제어부(160)는 S207 단계에서, 상기 인식 영상과 사용자가 설정한 촬영 지연 영상을 비교한다. 상기 촬영 지연 영상은 사용자가 원하지 않는 촬영 영상에 대한 샘플 영상으로서 예를 들면, 눈을 감고 있는 얼굴이나 화난 얼굴 찡그린 엉굴 등이 될 수 있다. 상기 S207 단계에서, 인식 영상이 촬영 지연 영상과 다를 경우, 상기 제어부(160)는 카메라(140)를 제어하여 현재 영상을 촬영한다.When the shutter input occurs in step S203, the controller 160 performs image recognition on the preview screen displayed on the display unit 150 in step S205. The image recognition may be performed based on an image recognition algorithm and an image recognition algorithm DB. When image recognition is completed, the controller 160 compares the recognition image with a shooting delay image set by the user in step S207. The photographing delay image may be a sample image of a photographing image which is not desired by the user, and may be, for example, a face with eyes closed or an angry face frown. In operation S207, when the recognition image is different from the shooting delay image, the controller 160 controls the camera 140 to capture the current image.

한편, 상기 제어부(160)는 S207 단계에서 인식 영상과 촬영 지연 영상이 동일할 경우에는 S209 단계에서 영상 촬영에 대한 시간 지연을 수행한 후, S211 단계에서 시간 지연된 영상을 촬영하도록 제어할 수 있다. 상기 S211 단계에서 시간 지연된 영상을 촬영하는 방법은 셔터 입력이 발생한 순간에 영상을 촬영하는 것이 아니라, 셔터 입력이 발생 시점으로부터, 일정 시간이 경과된 이후 영상을 촬영하는 것이다. 상기 촬영 지연 영상이 눈을 감고 있는 얼굴일 경우, 상기 시간 지연의 폭은 눈 커플의 개폐 속도를 고려하여 0.3 ~ 0.4초 이상으로 설정되는 것이 바람직하다. 즉, 상기 제어부(160)는 셔터 입력이 발생한 시점에서의 프리뷰 영상이 촬영 지연 영상과 동일한 경우, S209 단계에서 0.4초 이상 촬영을 지연 시킨 이후, 시간 지연된 영상을 촬영함으로써, 눈을 감고 있는 얼굴을 피하여 영상을 획득할 수 있다.Meanwhile, when the recognition image and the shooting delay image are the same in step S207, the controller 160 performs a time delay for capturing the image in step S209, and then controls to capture the time delayed image in step S211. The method of capturing the time delayed image in step S211 is not to capture the image at the moment of the shutter input, but to capture the image after a predetermined time elapses from the time of the shutter input. When the photographing delayed image is a face with eyes closed, the width of the time delay is preferably set to 0.3 to 0.4 seconds or more in consideration of the opening and closing speed of the eye couple. That is, if the preview image at the time when the shutter input occurs is the same as the photographing delay image, the controller 160 delays the photographing for 0.4 seconds or more in step S209, and then photographs the time-delayed image to capture the face with eyes closed. Avoiding images can be obtained.

도 7은 본 발명의 선호 영상 촬영 시 영상 자동 선택/수동 선택 모드에 따른 촬영 방법을 나타낸 순서도이다.7 is a flowchart illustrating a photographing method according to an automatic image selection / manual selection mode when capturing a preferred image of the present invention.

설명에 앞서, 본 발명의 영상 자동 선택/수동 선택 모드가 카메라(140)에 미리 설정되어 있는 것으로 가정하기로 한다. 즉, 상기 영상 자동 선택/수동 선택 모드는 카메라(140) 촬영 방법 중 사용자가 선택할 수 있도록 옵션 기능으로 제공될 수 있다.Prior to the description, it is assumed that the image automatic selection / manual selection mode of the present invention is preset in the camera 140. That is, the automatic image selection / manual selection mode may be provided as an optional function so that the user can select one of the camera 140 photographing methods.

상기 도 7을 참조하면, 본 발명의 영상 자동 선택/수동 선택 모드에 따른 촬영 방법은 먼저, 제어부(160)가 S301 단계에서 사용자 입력에 따라 카메라(140)를 활성화 시킨 후, S303 단계에서 셔터 입력 여부를 확인한다. 상기 제어부(160)는 S303 단계에서 셔터 입력이 없는 경우 S301 단계로 분기하여 카메라(140) 턴-온 상태를 유지하도록 제어한다. 상기 카메라(140)는 턴-온 된 이후, 렌즈를 통하여 입사되는 영상을 표시부(150)에 전달한다. 이에 따라, 상기 표시부(150)는 S101 단계에서 피사체에 대한 프리뷰 화면을 제공할 수 도 있다. Referring to FIG. 7, in the photographing method according to the automatic image selection / manual selection mode of the present invention, first, the controller 160 activates the camera 140 according to a user input in operation S301, and then inputs a shutter in operation S303. Check whether or not. If there is no shutter input in step S303, the controller 160 branches to step S301 to control the camera 140 to maintain a turn-on state. After the camera 140 is turned on, the camera 140 transmits an image incident through the lens to the display unit 150. Accordingly, the display unit 150 may provide a preview screen for the subject in operation S101.

상기 S303 단계에서 셔터 입력이 발생하면, 상기 제어부(160)는 S305 단계에서 다수의 영상을 시간차를 두고 연속적으로 촬영한다. 즉, 상기 제어부(160)는 셔터 입력이 발생한 시점부터 일정 시간 간격으로 피사체에 대한 영상을 연속적으로 촬영하고, 촬영된 영상을 메모리(170)나 버퍼 등에 임시 저장한다. 이후, 상기 제어부(160)는 S307 단계에서 상기 영상 촬영 장치(100)의 선택 모드가 영상 자동 선택 모드인지 여부를 확인한다. 상기 영상 자동 선택 모드는 상기 촬영된 다수의 영상 중 특정 영상을 제어부(160)가 자동으로 선택하여 표시하는 모드이다. 즉, 상기 제어부(160)는 S307 단계에서 영상 자동 선택 모드로 설정되어 있는 경우, S309 단계에서 상기 카메라(140)가 촬영한 다수의 영상에 대하여 영상 인식을 실시하고, 인식된 영상과 사용자가 설정한 선호 영상 샘플을 비교한다. 상기 영상 인식 과정은 영상 인식 알고리즘을 이용하여 영상의 특정 패턴을 추출하는 과정이다. 예를 들어, 상기 영상 인식 과정은 인물의 얼굴에 대한 표정 추출에 이용되는 경우, 얼굴을 구성하는 요소 예를 들면 눈, 눈썹, 코, 입, 턱 등의 요소들 간의 거리 및 위치 변화를 일정 패턴으로 추출할 수 있다. 또한, 상기 선호 영상 샘플은 사용자가 얻고자 하는 영상과 유사한 패턴을 가지는 샘플로서, 영상 인식 알고리즘이 제공하는 영상 샘플이다. 상기 선호 영상 샘플은 메모리(170)의 영상 인식 알고리즘 DB에 저장되어 있다가, 상기 영상 자도 선택 모드 설정에 따라 로드될 수 있다. 또한 상기 선호 영상 샘플 설정은 하나 또는 다수개 설정이 가능하다. 예를 들어, 영상 촬영 장치(100) 사용자가 선호 영상 샘플을 웃는 얼굴, 눈을 뜨고 있는 얼굴 등을 선택할 경우, 상기 제어부(160)는 상기 각 선호 영상 샘플이 가지는 패턴들과 가장 유사한 영상 샘플을 S311 단계에서 선택하게 된다. 이후, 상기 제어부(160)는 S313 단계에서 상기 선택된 영상을 촬영영상으로 표시부(150)에 표시하도록 제어하며, 다른 영상들 즉, 선택되지 않은 영상을 삭제할 수 있다.When the shutter input occurs in step S303, the controller 160 continuously photographs a plurality of images with a time difference in step S305. That is, the controller 160 continuously photographs the image of the subject at predetermined time intervals from the time when the shutter input occurs, and temporarily stores the photographed image in the memory 170 or the buffer. In operation S307, the controller 160 determines whether the selection mode of the image capturing apparatus 100 is an image automatic selection mode. The automatic image selection mode is a mode in which the controller 160 automatically selects and displays a specific image among the plurality of photographed images. That is, when the controller 160 is set to the automatic image selection mode in step S307, the controller 160 performs image recognition on a plurality of images photographed by the camera 140 in step S309, and the recognized image and the user set it. Compare one preferred image sample. The image recognition process is a process of extracting a specific pattern of an image using an image recognition algorithm. For example, when the image recognition process is used to extract facial expressions of a face of a person, a pattern of changing distances and positions between elements constituting the face, for example, eyes, eyebrows, nose, mouth, and chin, etc. Can be extracted with In addition, the preferred image sample is a sample having a pattern similar to the image to be obtained by the user, and is an image sample provided by an image recognition algorithm. The preferred image sample is stored in the image recognition algorithm DB of the memory 170, and the image ruler can also be loaded according to the selection mode setting. In addition, one or more of the preferred image sample settings may be set. For example, when a user of the image capturing apparatus 100 selects a smiling face, an open face, or the like, the controller 160 selects an image sample most similar to the patterns of the respective preferred image samples. In step S311 it is selected. Thereafter, the controller 160 controls the display unit 150 to display the selected image as a captured image in step S313, and delete other images, that is, the unselected image.

한편, 상기 S307 단계에서 영상 자동 선택 모드가 설정되어 있지 않은 경우, 상기 제어부(160)는 S315 단계에서 수동 선택 모드로 판단하고, S317 단계에서 상기 연속 촬영된 다수 영상을 표시부(150)에 표시하도록 제어한다. 상기 S317 단계에서 표시된 영상들은 사용자의 선택에 따라 저장 또는 삭제될 수 있다.On the other hand, when the automatic image selection mode is not set in step S307, the control unit 160 determines to be a manual selection mode in step S315, and to display the plurality of continuous images in the display unit 150 in step S317 To control. Images displayed in step S317 may be stored or deleted according to a user's selection.

도 8은 본 발명의 선호 영상에 따른 자동 영상 촬영 방법을 나타낸 순서도이다.8 is a flowchart illustrating an automatic image capturing method according to a preferred image of the present invention.

상기 도 8을 참조하면, 선호 영상에 따른 자동 영상 촬영 방법은 먼저, 제어부(160)가 S401 단계에서 사용자에 의해 입력되는 키입력신호에 대응하여 카메라(140)를 턴-온 시킨 후, S403 단계에서 카메라 촬영 모드가 자동 촬영 모드로 설정되었는지 여부를 판단한다. 상기 자동 촬영 모드는 피사체가 기 설정된 선호 영상 즉 촬영 시작 영상에 해당하는 영상 인식 또는 영상 인식 패턴을 가질 경우, 자동으로 피사체에 대한 촬영을 시작하도록 하는 모드이다. 한편, 상기 제어부(160)는 S403 단계에서 자동 촬영 모드로 설정되어 있지 않은 경우, S405 단계에서 일반 촬영모드를 수행하도록 지원한다. 상기 일반 촬영모드는 사용자가 직접 셔터에 압력을 가하여 피사체에 대한 촬영을 시작하도록 하는 모드를 포함할 수 있다. 상기 영상 촬영 장치(100)는 상기 카메라(140)가 턴-온 되면, 렌즈를 통하여 입사되는 피사체에 대한 영상을 표시부(150) 상에 프리뷰 화면으로 제공할 수 있다. 즉, 상기 표시부(150)는 카메라(140)가 턴-온 되어 있으면, 자동 촬영 모드 설정에 관계없이 피사체에 대한 영상을 프리뷰 화면으로 제공할 수 있다.Referring to FIG. 8, in the automatic image capturing method according to the preferred image, first, the controller 160 turns on the camera 140 in response to a key input signal input by the user in step S401, and then step S403. Determines whether the camera shooting mode is set to the automatic shooting mode. The automatic photographing mode is a mode for automatically photographing a subject when the subject has an image recognition pattern or an image recognition pattern corresponding to a preset preferred image, that is, a photographing start image. On the other hand, if the control unit 160 is not set to the automatic shooting mode in step S403, in step S405 supports to perform a normal shooting mode. The normal photographing mode may include a mode in which a user directly applies a pressure to the shutter to start photographing a subject. When the camera 140 is turned on, the image capturing apparatus 100 may provide an image of a subject incident through the lens as a preview screen on the display unit 150. That is, when the camera 140 is turned on, the display unit 150 may provide an image of a subject as a preview screen regardless of the automatic photographing mode setting.

상기 S403 단계에서 상기 영상 촬영 장치(100)가 자동 촬영 모드로 설정되어 있는 경우, 상기 제어부(160)는 S407 단계에서 표시부(150)에 표시되고 있는 프리뷰 화면의 영상에 대하여 영상 인식을 수행한다. 여기서, 상기 영상 인식 과정은 상기 프리뷰 화면에 표시되는 피사체에 대한 영상을 실시간으로 연산하거나, 상기 영상 촬영 장치(100)의 영상 인식 과정에 따르는 부하를 감소시키기 위하여, 일정 시간 간격으로 영상 인식 알고리즘에 따른 연산을 수행될 수 있다. When the image capturing apparatus 100 is set to the automatic photographing mode in step S403, the controller 160 performs image recognition on the image of the preview screen displayed on the display unit 150 in step S407. Here, the image recognition process is performed in real time to calculate the image of the subject displayed on the preview screen, or to reduce the load caused by the image recognition process of the image capturing apparatus 100, the image recognition algorithm at a predetermined time interval According to the operation can be performed.

다음으로, 상기 제어부(160)는 S409 단계에서 상기 수집된 인식 영상들과 촬영 시작 영상을 비교한다. 여기서, 촬영 시작 영상은 상기 영상 촬영 장치(100)를 사용하는 사용자가 설정하는 영상 샘플로서, 영상 인식 알고리즘이 지원하는 다양한 형태의 상황, 인물의 행동 양태, 얼굴 표정 등을 포함하는 영상 샘플이 될 수 있다. 즉, 상기 촬영 시작 영상은 상기 영상 촬영 장치(100)가 피사체에 대한 자동 촬영을 시작하기 위한 임계점으로 작용한다. 이러한 임계점은 피사체가 둘 이상의 인물에 대한 사진 촬영일 경우에 사용자 설정에 따라 기준치가 달라질 수 있다. 예를 들면, 상기 임계점은 다수의 인원 중 한명이라도 특정 행동이나 표정을 가지는 조건을 포함할 수 있다.Next, the controller 160 compares the collected recognition images with the shooting start image in step S409. In this case, the shooting start image is an image sample set by a user who uses the image capturing apparatus 100, and may be an image sample including various types of situations, behaviors of a person, facial expressions, and the like supported by an image recognition algorithm. Can be. That is, the photographing start image serves as a threshold point for the image capturing apparatus 100 to start automatic photographing of the subject. The threshold may vary according to user setting when the subject is photographing two or more people. For example, the critical point may include a condition in which even one of a plurality of persons has a specific behavior or facial expression.

상기 S409 단계에서, 인식 영상들 중 촬영 시작 영상에 매칭되는 영상이 있을 경우, 상기 제어부(160)는 S411 단계에서 촬영을 실시한다. 그리고 상기 제어부(160)는 촬영이 완료되면 S413 단계에서 촬영이 완료되었음을 사용자에게 알람할 수 있다. 상기 S413 단계는 사용자 편의를 위한 과정으로서, 기본 기능으로 제공되는 것이 바람직하다. 상기 알람 방법으로는, 램프 점멸, 오디오 신호 출력 및 진동 등 사용자가 인식할 수 있는 어떠한 신호 형태도 가능할 것이다.In step S409, if there is an image matching the start image of the recognized images, the controller 160 takes a picture in step S411. When the photographing is completed, the controller 160 may alert the user that the photographing is completed in step S413. The step S413 is a process for the user's convenience and is preferably provided as a basic function. The alarm method may be any signal type that can be recognized by the user, such as lamp flashing, audio signal output, and vibration.

한편, 상기 S409 단계에서 인식 영상들 중 촬영 시작 영상에 해당하는 영상을 획득하지 못한 경우, 상기 제어부(160)는 S415 단계에서 매칭되는 촬영 시작 영상이 부족한 상태를 상기 영상 촬영 장치(100) 사용자에게 알람하고, S407 단계로 분기할 수 있다. 상기 S415 단계는 사진 촬영이 완료되었는지 여부를 사용자에게 알람하는 것으로 사용자 설정에 따라 수행되지 않을 수도 있다. 상기 S415 단계에서의 부족 상태 알람은 상기 S413 단계에서의 촬영 완료 알람과 차별화된 신호 형태를 가지는 것이 바람직하다.Meanwhile, when the image corresponding to the shooting start image is not obtained from the recognized images in step S409, the controller 160 informs the user of the image capturing apparatus 100 of the state that the matching start image is insufficient in step S415. Alarm and branch to step S407. The step S415 is an alarm to the user of whether or not photo taking is completed and may not be performed according to a user setting. Preferably, the low state alarm in the step S415 has a signal form differentiated from the shooting completion alarm in the step S413.

상술한 바와 같이, 본 발명의 실시 예에 따른 영상 촬영 장치 및 영상 촬영 방법은 사용자 설정에 따라, 피사체의 형태나 상황 등을 기반으로 촬영을 수행함으로써, 사용자가 원하는 사진 영상을 획득할 수 있다.As described above, in the image capturing apparatus and the image capturing method according to an embodiment of the present invention, a photographing image desired by a user may be obtained by performing photographing based on a shape or a situation of a subject according to a user setting.

이상에서 살펴본 바와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.As described above, in the detailed description of the present invention has been described with respect to specific embodiments, various modifications are possible without departing from the scope of the invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below, but also by the equivalents of the claims.

상술한 바와 같이 본 발명에서 제안하는 영상 촬영 장치 및 촬영 방법에 따르면, 촬영자는 자신이 원하는 영상을 반복적인 촬영 과정 없이 빠르고 용이하게 촬영할 수 있다.As described above, according to the image capturing apparatus and the image capturing method proposed by the present invention, the photographer can quickly and easily capture a desired image without a repetitive photographing process.

Claims (23)

피사체 영상에 대한 제1 프리뷰 영상을 영상 인식하는 과정;Image recognition of the first preview image of the subject image; 상기 인식 영상과 기 설정된 적어도 하나의 영상 샘플을 비교하는 과정; 및Comparing the recognized image with at least one preset image sample; And 상기 인식 영상이 상기 영상 샘플과 일정 기준값 이상의 유사도를 가질 경우 상기 인식 영상을 촬영하는 과정;을 포함하는 것을 특징으로 하는 영상 촬영 방법.And photographing the recognized image when the recognized image has a similarity level with a predetermined reference value or more with the image sample. 제1항에 있어서,The method of claim 1, 상기 영상 샘플은The image sample is 얼굴에 포함된 구성요소들의 연결관계를 근거로 샘플링되는 웃는 얼굴, 무표정한 얼굴, 눈 감은 얼굴, 눈을 뜬 상태의 얼굴, 입 벌린 상태의 얼굴, 입을 다문 상태의 얼굴, 우는 상태의 얼굴, 화난 얼굴, 비웃는 상태의 얼굴, 배고픈 얼굴, 노려보는 얼굴 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 촬영 방법.Smiley face, expressionless face, closed face, open face, open face, closed face, crying face, angry face, sampled based on the connection of components in the face , At least one of a laughing face, a hungry face, and a staring face. 제1항에 있어서,The method of claim 1, 상기 인식 영상 촬영 과정은The recognition image shooting process 자동으로 수행되는 것을 특징으로 하는 영상 촬영 방법.Image capturing method characterized in that performed automatically. 제3항에 있어서,The method of claim 3, 상기 인식 영상에 대한 촬영 완료를 알람하는 과정을 더 포함하는 것을 특징 으로 하는 영상 촬영 방법.The image capturing method further comprises the step of alarming the completion of the recording of the recognition image. 제1항에 있어서,The method of claim 1, 상기 인식 영상과 상기 영상 샘플의 유사도가 기준값 이하일 경우 촬영을 지연시키는 과정을 더 포함하는 것을 특징으로 하는 영상 촬영 방법.And delaying the photographing when the similarity between the recognized image and the image sample is equal to or less than a reference value. 제5항에 있어서,The method of claim 5, 상기 촬영 지연 과정은The shooting delay process 상기 제1 프리뷰 영상에 대한 오토 포커싱 조정에 해당하는 제1 셔터 입력이 입력되는 과정; 및Inputting a first shutter input corresponding to auto focusing adjustment on the first preview image; And 상기 제1 프리뷰 영상과 다른 제2 프리뷰 영상에 대한 인식 영상 획득 시까지 영상 촬영을 위한 제2 셔터 입력을 지연시키는 과정;을 포함하는 것을 특징으로 하는 영상 촬영 방법.And delaying a second shutter input for capturing an image until acquiring a recognized image of a second preview image different from the first preview image. 제6항에 있어서,The method of claim 6, 상기 제2 셔터 입력을 지연시키는 과정은Delaying the second shutter input is 상기 셔터의 누름 방지 기능을 활성화 하는 것을 특징으로 하는 영상 촬영 방법.And activating the shutter prevention function of the shutter. 제5항에 있어서,The method of claim 5, 상기 촬영 지연 과정은The shooting delay process 상기 인식 영상 촬영을 위한 신호가 입력된 시점에 지연 시간을 더하는 과정; 및Adding a delay time to a time point at which the signal for capturing the recognized image is input; And 상기 지연 시간 이후 새롭게 획득된 제2 프리뷰 영상에 대한 촬영을 시작하는 과정을 포함하는 것을 특징으로 하는 영상 촬영 방법.And photographing the newly acquired second preview image after the delay time. 제8항에 있어서,The method of claim 8, 상기 지연 시간은 The delay time 0.3초 이상의 시간 크기를 가지는 것을 특징으로 하는 영상 촬영 방법.Image capture method characterized in that having a time size of 0.3 seconds or more. 피사체의 영상을 촬영하기 위한 셔터 입력이 발생하는 과정;Generating a shutter input for capturing an image of a subject; 상기 셔터 입력 시점부터 일정 시간 간격으로 다수개의 영상을 촬영하는 과정;Photographing a plurality of images at predetermined time intervals from the shutter input time point; 상기 촬영된 영상들을 각각 영상 인식하는 과정;Recognizing the captured images respectively; 상기 인식 영상들과 기 설정된 적어도 하나의 영상 샘플을 비교하는 과정; 및Comparing the recognition images with at least one preset image sample; And 상기 인식 영상들 중 상기 영상 샘플과의 유사도가 일정 기준값 이상인 인식 영상을 표시하는 과정;을 포함하는 것을 특징으로 하는 영상 촬영 방법.And displaying a recognized image having a similarity degree to a predetermined reference value or more among the recognized images. 제10항에 있어서,The method of claim 10, 상기 영상 샘플과의 유사도가 일정 기준값 이하인 영상을 자동 삭제하는 과정을 더 포함하는 것을 특징으로 하는 영상 촬영 방법.And automatically deleting an image having a similarity with the image sample or less than a predetermined reference value. 제10항에 있어서,The method of claim 10, 상기 영상 인식하는 과정은The process of recognizing the image 상기 피사체의 형태를 구성하는 구성 요소를 추출하는 과정; 및Extracting components constituting the shape of the subject; And 상기 구성 요소들 간의 거리 및 위치 변화에 따른 패턴을 추출하는 과정;을 포함하는 것을 특징으로 하는 영상 촬영 방법.And extracting a pattern according to a change in distance and position between the components. 제10항에 있어서,The method of claim 10, 상기 영상 샘플은The image sample is 얼굴 표정에 관한 영상 샘플이며, Is a video sample of facial expressions, 상기 얼굴에 포함된 구성요소들의 연결관계를 근거로 샘플링되는 웃는 얼굴, 무표정한 얼굴, 눈 감은 얼굴, 눈을 뜬 상태의 얼굴, 입 벌린 상태의 얼굴, 입을 다문 상태의 얼굴, 우는 상태의 얼굴, 화난 얼굴, 비웃는 상태의 얼굴, 배고픈 얼굴, 노려보는 얼굴 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 촬영 방법.Smiley face, expressionless face, closed eyes, face with open eyes, face with open mouth, face with closed mouth, crying face, angry based on the connection of components included in the face And at least one of a face, a face laughing, a hungry face, and a staring face. 피사체의 영상을 수집하는 카메라;A camera collecting an image of the subject; 상기 카메라를 통해 수집되는 제1 프리뷰 영상 및 상기 카메라가 촬영을 통 해 수집한 영상을 표시하는 표시부;A display unit configured to display a first preview image collected by the camera and an image collected by the camera by photographing; 상기 피사체의 영상 수집 시점에 대한 신호를 입력하는 입력부;An input unit configured to input a signal corresponding to an image collecting time point of the subject; 상기 피사체 영상에 대하여 영상 인식하고, 상기 인식 영상과 기 설정된 적어도 하나의 영상 샘플을 비교하여 유사도가 일정값 이상인 경우, 상기 피사체의 영상을 촬영하도록 제어하는 제어부; 및A controller for recognizing an image of the subject image and comparing the recognized image with at least one predetermined image sample to control to capture an image of the subject when the similarity is greater than or equal to a predetermined value; And 상기 영상 샘플을 저장하는 메모리;를 포함하는 것을 특징으로 하는 영상 촬영 장치.And a memory storing the image sample. 제14항에 있어서,The method of claim 14, 상기 영상 샘플은The image sample is 얼굴 표정에 관한 영상 샘플이며, Is a video sample of facial expressions, 상기 얼굴에 포함된 구성요소들의 연결관계를 근거로 샘플링되는 웃는 얼굴, 무표정한 얼굴, 눈 감은 얼굴, 눈을 뜬 상태의 얼굴, 입 벌린 상태의 얼굴, 입을 다문 상태의 얼굴, 우는 상태의 얼굴, 화난 얼굴, 비웃는 상태의 얼굴, 배고픈 얼굴, 노려보는 얼굴 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 촬영 장치.Smiley face, expressionless face, closed eyes, face with open eyes, face with open mouth, face with closed mouth, crying face, angry based on the connection of components included in the face And at least one of a face, a face laughing, a hungry face, and a staring face. 제14항에 있어서,The method of claim 14, 상기 제어부는The control unit 상기 영상 촬영을 자동으로 수행하는 것을 특징으로 하는 영상 촬영 장치.And an image capturing apparatus for automatically capturing the image. 제16항에 있어서,The method of claim 16, 상기 인식 영상에 대한 촬영 완료를 알람하는 알람부를 더 포함하는 것을 특징으로 하는 영상 촬영 장치.And an alarm unit for alarming completion of photographing of the recognized image. 제14항에 있어서,The method of claim 14, 상기 입력부는The input unit 상기 피사체 영상의 프리뷰 영상에 대한 오토 포커싱 조정에 해당하는 제1 셔터 입력; 및A first shutter input corresponding to an auto focusing adjustment on the preview image of the subject image; And 상기 피사체 영상을 촬영하도록 입력되는 제2 셔터 입력;을 생성하고,A second shutter input input to capture the subject image; 상기 제2 셔터 입력은The second shutter input is 상기 인식 영상과 다른 제2 프리뷰 영상에 대한 인식 영상 획득 시까지 지연되는 것을 특징으로 하는 영상 촬영 장치.And a delay time until acquisition of a recognition image for the second preview image different from the recognition image. 제18항에 있어서,The method of claim 18, 상기 제2 셔터 입력을 지연시키는 셔터 누름 방지부를 더 포함하는 것을 특징으로 하는 영상 촬영 장치.And a shutter press preventing unit to delay the second shutter input. 제14항에 있어서,The method of claim 14, 상기 제어부는The control unit 상기 인식 영상과 기 설정된 적어도 하나의 영상 샘플을 비교하여 유사도가 일정값 이하인 경우, 상기 인식 영상 촬영을 위한 신호가 입력된 시점에 지연 시간을 더한 후, 상기 제1 프리뷰 영상과 다른 제2 프리뷰 영상 획득 시 촬영을 시작하도록 제어하는 것을 특징으로 하는 영상 촬영 장치.When the similarity is lower than a predetermined value by comparing the recognized image with at least one preset image sample, a delay time is added to a time point at which a signal for capturing the recognized image is input, and then the second preview image different from the first preview image. An image capturing apparatus, characterized in that it controls to start recording upon acquisition. 피사체의 영상을 촬영하기 위한 셔터 입력이 생성하는 입력부;An input unit generated by a shutter input for capturing an image of a subject; 상기 셔터 입력 시점부터 일정 시간 간격으로 다수개의 영상을 촬영하고, 상기 촬영된 영상들을 각각 영상 인식하여, 상기 인식 영상들과 기 설정된 적어도 하나의 영상 샘플을 비교한 후, 상기 인식 영상들 중 상기 영상 샘플과의 유사도가 일정 기준값 이상인 인식 영상을 표시하도록 제어하는 제어부;Taking a plurality of images at predetermined time intervals from the shutter input time point, recognizing the captured images, comparing the recognized images with at least one preset image sample, and then among the recognized images. A controller configured to display a recognized image having a similarity with a sample equal to or greater than a predetermined reference value; 상기 인식 영상을 표시하는 표시부; 및A display unit which displays the recognized image; And 상기 영상 샘플을 저장하는 메모리;를 포함하는 것을 특징으로 하는 영상 촬영 장치.And a memory storing the image sample. 제21항에 있어서,The method of claim 21, 상기 제어부는The control unit 상기 영상 샘플과의 유사도가 일정 기준값 이하인 영상을 자동 삭제하는 것을 특징으로 하는 영상 촬영 장치.And an image of which similarity with the image sample is equal to or less than a predetermined reference value is automatically deleted. 제21항에 있어서,The method of claim 21, 상기 영상 샘플은The image sample is 얼굴 표정에 관한 영상 샘플이며, Is a video sample of facial expressions, 상기 얼굴에 포함된 구성요소들의 연결관계를 근거로 샘플링되는 웃는 얼굴, 무표정한 얼굴, 눈 감은 얼굴, 눈을 뜬 상태의 얼굴, 입 벌린 상태의 얼굴, 입을 다문 상태의 얼굴, 우는 상태의 얼굴, 화난 얼굴, 비웃는 상태의 얼굴, 배고픈 얼굴, 노려보는 얼굴 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 촬영 장치.Smiley face, expressionless face, closed eyes, face with open eyes, face with open mouth, face with closed mouth, crying face, angry based on the connection of components included in the face And at least one of a face, a face laughing, a hungry face, and a staring face.
KR1020070057931A 2007-06-13 2007-06-13 Device and method for image photographing Expired - Fee Related KR101394289B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070057931A KR101394289B1 (en) 2007-06-13 2007-06-13 Device and method for image photographing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070057931A KR101394289B1 (en) 2007-06-13 2007-06-13 Device and method for image photographing

Publications (2)

Publication Number Publication Date
KR20080109519A true KR20080109519A (en) 2008-12-17
KR101394289B1 KR101394289B1 (en) 2014-05-13

Family

ID=40368816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070057931A Expired - Fee Related KR101394289B1 (en) 2007-06-13 2007-06-13 Device and method for image photographing

Country Status (1)

Country Link
KR (1) KR101394289B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002152A (en) * 2012-12-06 2013-03-27 广东欧珀移动通信有限公司 Continuous photographing method and device for mobile terminal
WO2014051325A1 (en) * 2012-09-25 2014-04-03 Samsung Electronics Co., Ltd. Method and apparatus for photographing in portable terminal
KR101436834B1 (en) * 2008-01-11 2014-09-02 삼성전자주식회사 Digital image processing apparatus and control method thereof
KR20150131815A (en) * 2014-05-16 2015-11-25 엘지전자 주식회사 Mobile terminal and controlling method thereof
KR101636424B1 (en) * 2015-04-02 2016-07-20 주종필 Apparatus for image synthesize and method for synthesizing the same
JP2018121305A (en) * 2017-01-27 2018-08-02 京セラドキュメントソリューションズ株式会社 Video processing device
WO2022191407A1 (en) * 2021-03-12 2022-09-15 삼성전자 주식회사 Method, device, and storage medium for providing user interface

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102414432B1 (en) * 2020-02-27 2022-06-29 (주)누리아이 Device for automatically classifing and providing pictures, method for automatically classifing and providing picture

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294498A (en) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd Automatic photographing system
JP2005045600A (en) * 2003-07-23 2005-02-17 Casio Comput Co Ltd Image photographing apparatus and program
JP2007088594A (en) * 2005-09-20 2007-04-05 Canon Inc Image processing system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436834B1 (en) * 2008-01-11 2014-09-02 삼성전자주식회사 Digital image processing apparatus and control method thereof
WO2014051325A1 (en) * 2012-09-25 2014-04-03 Samsung Electronics Co., Ltd. Method and apparatus for photographing in portable terminal
CN104662889A (en) * 2012-09-25 2015-05-27 三星电子株式会社 Method and apparatus for photographing in portable terminal
US9204037B2 (en) 2012-09-25 2015-12-01 Samsung Electronics Co., Ltd. Method and apparatus for photographing in portable terminal
CN104662889B (en) * 2012-09-25 2018-10-09 三星电子株式会社 Method and apparatus for being shot in portable terminal
CN103002152A (en) * 2012-12-06 2013-03-27 广东欧珀移动通信有限公司 Continuous photographing method and device for mobile terminal
KR20150131815A (en) * 2014-05-16 2015-11-25 엘지전자 주식회사 Mobile terminal and controlling method thereof
KR101636424B1 (en) * 2015-04-02 2016-07-20 주종필 Apparatus for image synthesize and method for synthesizing the same
JP2018121305A (en) * 2017-01-27 2018-08-02 京セラドキュメントソリューションズ株式会社 Video processing device
WO2022191407A1 (en) * 2021-03-12 2022-09-15 삼성전자 주식회사 Method, device, and storage medium for providing user interface

Also Published As

Publication number Publication date
KR101394289B1 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
CN102231801B (en) Electronic camera and image processing device
CN101313565B (en) Electronic camera and image processing device
CN108419016B (en) Shooting method and device and terminal
CN100431337C (en) Photographic device and automatic focus control method
KR20100058280A (en) Method and apparatus for taking images using portable terminal
JP4659088B2 (en) Mobile device with camera
KR101394289B1 (en) Device and method for image photographing
US20090174805A1 (en) Digital camera focusing using stored object recognition
WO2016138752A1 (en) Shooting parameter adjustment method and device
CN103155533A (en) Camera system and method for taking photographs that correspond to user preferences
JP2009105816A (en) Camera and image recording program
JP4885792B2 (en) Guide device and guide method
CN105959563B (en) Image storage method and image storage device
KR20090083108A (en) A photographing method for adding an enlarged image of a specific area to a captured image and a photographing apparatus using the same
CN110913120B (en) Image shooting method and device, electronic equipment and storage medium
CN113364975A (en) Image fusion method and electronic equipment
JP5096610B2 (en) Guide device and guide method
CN114071004B (en) Moon image acquisition method and device, electronic device, and storage medium
KR20090011581A (en) Apparatus and Method for Recognizing Eyeball in Mobile Device
KR20090032209A (en) Method and apparatus for registering an image in the phone book of a mobile terminal
CN113079311B (en) Image acquisition method and device, electronic equipment and storage medium
CN114079724B (en) Taking-off snapshot method, device and storage medium
JP5540051B2 (en) Camera with guide device and method of shooting with guide
CN106454112A (en) Photographing method and system
KR20100026724A (en) Apparatus and method for image filing in a portable terminal

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070613

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120607

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20070613

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130723

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140225

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140507

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140508

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170427

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180427

Start annual number: 5

End annual number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200218