[go: up one dir, main page]

KR101431541B1 - Method for grouping efficient image in digital camera - Google Patents

Method for grouping efficient image in digital camera Download PDF

Info

Publication number
KR101431541B1
KR101431541B1 KR1020080005758A KR20080005758A KR101431541B1 KR 101431541 B1 KR101431541 B1 KR 101431541B1 KR 1020080005758 A KR1020080005758 A KR 1020080005758A KR 20080005758 A KR20080005758 A KR 20080005758A KR 101431541 B1 KR101431541 B1 KR 101431541B1
Authority
KR
South Korea
Prior art keywords
image
photographed image
information
valid
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080005758A
Other languages
Korean (ko)
Other versions
KR20090079633A (en
Inventor
장원규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080005758A priority Critical patent/KR101431541B1/en
Publication of KR20090079633A publication Critical patent/KR20090079633A/en
Application granted granted Critical
Publication of KR101431541B1 publication Critical patent/KR101431541B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 디지털 카메라 동작 방법으로서, (a) 촬영된 이미지에 대한 손떨림 정보를 가속도 센서로부터 획득하여 메모리의 제 1 영역에 저장하는 단계; (b) 상기 손떨림 정보를 셔터 스피드 정보와 조합하는 단계; (c) 조합된 상기 손떨림 정보와 손떨림 보정가능값을 비교하는 단계; (d) 상기 손떨림 보정가능값과 비교된 촬영된 상기 이미지를 유효한 이미지로 저장할지 판단하는 단계; 및 (e) 상기 판단 결과, 촬영된 이미지가 유효하지 않은 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제2 영역에 저장하고, 유효한 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제3 영역에 저장하는 단계를 포함하는 유효한 영상을 분류하는 방법에 관한 것이다.A digital camera operating method comprising the steps of: (a) acquiring hand shake information about a photographed image from an acceleration sensor and storing the shaking information in a first area of the memory; (b) combining the camera shake information with shutter speed information; (c) comparing the combined shaking information with the shaking correction possible value; (d) determining whether to store the photographed image, which is compared with the shake correction possible value, as a valid image; And (e) if it is determined that the photographed image is to be stored as an invalid image as a result of the determination, storing the photographed image file in the second area of the memory, And storing the file of the image in the third area of the memory.

카메라, 유효한 영상 Camera, available video

Description

디지털 카메라에서 유효한 영상을 분류하는 방법{Method for grouping efficient image in digital camera}[0001] The present invention relates to a method for classifying an effective image in a digital camera,

본 발명은 디지털 카메라 동작 방법에 관한 것으로, 가속도 센서를 이용하여 영상을 촬영할 순간의 손떨림 데이터를 획득하여 유효한 영상 및 유효하지 않은 영상으로 분류하는 방법에 관한 것이다.The present invention relates to a method of operating a digital camera, and more particularly, to a method of acquiring camera shake data at the time of capturing an image using an acceleration sensor and classifying the camera shake into valid and invalid images.

일반적인 디지털 카메라로 피사체를 촬영할 경우, 영상을 받아들이는 CCD&COMS 소자(미도시)를 이용하여 DSP(미도시)에서 영상에 관련된 처리를 거친 후 메모리 카드로 들어가 저장된다. 카메라로 영상을 촬영할 때 반 셔터 상황에서 AF(Auto focusing) 모터를 구동시켜 초점을 잡는다. 또는 AF 과정 없이 진행되기도 한다. 이렇게 두 경우로 받아들인 영상이 DSP 내부를 거쳐 화질 개선이나 기타 영상 처리 기법을 통해 최종적으로 현재 우리가 이용하고 있는 메모리 카드에 저장되어 진다.When a subject is photographed with a general digital camera, the image is processed in a DSP (not shown) using a CCD & COMS element (not shown) that receives the image, When shooting images with the camera, AF (auto focusing) motor is driven to focus by the half-shutter. Or without the AF process. In this case, the captured image is stored in the memory card that is currently used by us through the DSP, through image quality improvement or other image processing techniques.

지금까지 사용되어지고 있는 디지털 카메라는 촬영된 영상에 대한 유효 판단 없이 모든 영상 데이터를 저장 매체인 메모리 카드에 저장한다. 최근 메모리 카드의 용량이 증가하는 추세이지만, CCD&COMS 소자의 발전으로 많은 픽셀을 가질 수 있어 사용자들은 큰 사이즈의 영상을 얻고자 한다. 이로써 메모리 카드의 크기가 커진다 하여도 항상 저장 매체의 메모리 공간은 부족한 문제점이 있다. 또한, 유효한 영상과 유효하지 않은 영상을 미리 분류하여 저장해 두고 사후에 필요에 따라 유효한 영상만을 검색하거나 유효하지 않은 영상만을 검색하기 위한 적절한 수단이 없었다. 또한, 종래에는 촬영된 이미지 자체에 대한 영상 정보만으로 손떨림 유효한 이미지와 유효하지 않은 이미지를 판단하다 보니, 촬영 조건(셔터 스피드, 피사체의 형상, 촬영 장소의 밝기)에 대한 고려 없이 유효성 여부를 판단하여 유효성 판단에 대한 신뢰성이 낮았다. Digital cameras that have been used so far store all image data on a memory card, which is a storage medium, without judging validity of photographed images. Recently, the capacity of the memory card is increasing, but as the development of the CCD & COMS device can have many pixels, users want to obtain a large size image. Even if the size of the memory card increases, the memory space of the storage medium always becomes insufficient. In addition, there is no proper means to classify and store valid images and invalid images in advance, and to retrieve only valid images or only invalid images, if necessary after the fact. Conventionally, judging whether an image is valid or invalid by only using the image information of the photographed image itself, it is judged whether or not the image is effective without considering the shooting conditions (shutter speed, shape of the subject, brightness of the photographing place) The reliability of judging effectiveness was low.

본 발명이 이루고자 하는 기술적인 과제는 영상 촬영 시에 가속도 센서를 이용하여 촬영된 영상을 유효한 영상 및 유효하지 않은 영상으로 분류하는 방법을 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of classifying an image captured by an acceleration sensor into an effective image and an invalid image at the time of image capturing.

본 발명이 이루고자 하는 상기 기술적인 과제를 해결하기 위한 제 1 실시 예에 따른 디지털 카메라에서 유효한 영상을 분류하는 방법은 디지털 카메라 동작 방법으로서, A method for classifying an effective image in a digital camera according to the first embodiment for solving the technical problem to be accomplished by the present invention is a digital camera operating method,

(a) 촬영된 이미지에 대한 손떨림 정보를 가속도 센서로부터 획득하여 메모리의 제 1 영역에 저장하는 단계;(a) acquiring hand shake information about a photographed image from an acceleration sensor and storing the shaking information in a first area of the memory;

(b) 상기 손떨림 정보를 셔터 스피드 정보와 조합하는 단계;(b) combining the camera shake information with shutter speed information;

(c) 조합된 상기 손떨림 정보와 손떨림 보정가능값을 비교하는 단계;(c) comparing the combined shaking information with the shaking correction possible value;

(d) 상기 손떨림 보정가능값과 비교된 촬영된 상기 이미지를 유효한 이미지로 저장할지 판단하는 단계; 및(d) determining whether to store the photographed image, which is compared with the shake correction possible value, as a valid image; And

(e) 상기 판단 결과, 촬영된 이미지가 유효하지 않은 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제2 영역에 저장하고, 유효한 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제3 영역에 저장하는 단계를 포함한다. (e) If it is determined that the photographed image is to be stored as an invalid image as a result of the determination, the file of the photographed image is stored in the second area of the memory, And storing a file of the image in a third area of the memory.

여기서, 상기 (a)단계에서, 상기 이미지가 촬영되는 순간의 손떨림 정보를 획득하여 메모리의 제 1 영역에 저장한다. In the step (a), the camera shake information at the moment when the image is captured is acquired and stored in the first area of the memory.

또한, 상기 메모리의 제 2 영역은 유효하지 않은 촬영 이미지가 저장되는 유효하지 않은 폴더이며, 상기 메모리의 제 3 영역은 유효한 촬영 이미지가 저장되는 유효한 폴더이다. Also, the second area of the memory is an invalid folder in which an invalid photographed image is stored, and the third area of the memory is a valid folder in which a valid photographed image is stored.

한편, 상기 판단하는 단계는, 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위를 벗어난 경우, 촬영된 상기 이미지를 유효하지 않은 이미지로 저장할 것인지 유효한 이미지로 저장할 것인지 판단하는 단계와; 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위에 있는 경우, 촬영된 상기 이미지를 유효한 이미지로 저장할 것인지 유효하지 않은 이미지로 저장할 것인지 판단하는 단계;를 포함한다. The determining may include determining whether to store the photographed image as an invalid image if the combined shaking information on the photographed image is out of the range of the shake correction possible value, Determining whether to store the image as an image; Determining whether to store the photographed image as a valid image or an invalid image when the combined shaking information on the photographed image falls within the range of the shake correction possible value in the comparing step; .

여기서, 상기 판단하는 단계는 사용자의 선택에 의해 수행된다. Here, the determining step is performed by the user's selection.

본 발명이 이루고자 하는 상기 기술적인 과제를 해결하기 위한 제 1 실시 예에 따른 디지털 카메라에서 유효한 영상을 분류하는 방법은, 디지털 카메라 동작 방법으로서, According to a first aspect of the present invention, there is provided a digital camera operating method for classifying an effective image in a digital camera,

(a) 손떨림을 보정하는 단계;(a) correcting an unintentional hand movement;

(b) 촬영된 이미지에 대한 손떨림 정보를 가속도 센서로부터 획득하여 메모리의 제 1 영역에 저장하는 단계;(b) obtaining camera shake information about the photographed image from an acceleration sensor and storing the shaking information in a first area of the memory;

(c) 상기 손떨림 정보를 셔터 스피드 정보와 조합하는 단계;(c) combining the camera shake information with shutter speed information;

(d) 조합된 상기 손떨림 정보와 손떨림 보정가능값을 비교하는 단계;(d) comparing the combined shaking information with the shaking correction possible value;

(e) 상기 손떨림 보정가능값과 비교된 촬영된 상기 이미지를 유효한 이미지로 저장할지 판단하는 단계; 및(e) determining whether to store the photographed image compared with the shake correction possible value as a valid image; And

(f) 상기 판단 결과, 촬영된 이미지가 유효하지 않은 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제2 영역에 저장하고, 유효한 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제3 영역에 저장하는 단계를 포함한다. (f) If it is determined that the photographed image is to be stored as an invalid image, the file of the photographed image is stored in the second area of the memory. If it is determined that the photographed image is to be stored as a valid image, And storing a file of the image in a third area of the memory.

여기서, 상기 손떨림 보정가능값은 셔터 스피드에 따라 다르게 설정된다. Here, the shake correction possible value is set differently according to the shutter speed.

상기 손떨림 보정가능값은 촬영된 피사체 대상에 따라 다르게 설정된다. The camera-shake correction possible value is set differently depending on the photographed subject.

한편, 상기 (b)단계에서, 상기 이미지가 촬영되는 순간의 손떨림 정보를 획득하여 메모리의 제1 영역에 저장하게 된다. Meanwhile, in the step (b), the camera shake information at the moment the image is captured is acquired and stored in the first area of the memory.

한편, 상기 메모리의 제2 영역은 유효하지 않은 촬영 이미지가 저장되는 유효하지 않은 폴더이며, 상기 메모리의 제3 영역은 유효한 촬영 이미지가 저장되는 유효한 폴더이다. On the other hand, the second area of the memory is an invalid folder in which an invalid photographed image is stored, and the third area of the memory is a valid folder in which a valid photographed image is stored.

한편, 상기 판단하는 단계는, 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위를 벗어난 경우, 촬영된 상기 이미지를 유효하지 않은 이미지로 저장할 것인지 유효한 이미지로 저장할 것인지 판단하는 단계와; 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위에 있는 경우, 촬영된 상기 이미지를 유효한 이미지로 저장할 것인지 유효하지 않은 이미지로 저장할 것인지 판단하는 단계;를 포함한다. The determining may include determining whether to store the photographed image as an invalid image if the combined shaking information on the photographed image is out of the range of the shake correction possible value, Determining whether to store the image as an image; Determining whether to store the photographed image as a valid image or an invalid image when the combined shaking information on the photographed image falls within the range of the shake correction possible value in the comparing step; .

선택적으로, 소정 시간이 경과한 후, 상기 메모리의 제 2 영역에 저장된 촬영 이미지는 삭제될 수 있다. Optionally, after a predetermined time has elapsed, the shot image stored in the second area of the memory may be erased.

상술한 바와 같이 본 발명에 따르면, 영상 촬영 시에 가속도 센서로부터 손떨림 정보를 획득하여 촬영된 영상을 유효한 영상 및 유효하지 않은 영상으로 분류함으로써 사용자의 저장 선택 과정에 의해 유효한 이미지와 유효하지 않은 이미지를 손쉽게 분류할 수 있게 되고 또한 손쉽게 메모리 폴더를 정리할 수 있게 된다.As described above, according to the present invention, the camera shake information is acquired from the acceleration sensor at the time of image capturing, and the captured image is classified into a valid image and an invalid image, whereby a valid image and an invalid image It can be easily classified and also the memory folder can be easily arranged.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일반적인 디지털 카메라의 앞쪽 외형을 보여주는 사시도이다.1 is a perspective view showing a front appearance of a general digital camera.

도 1을 참조하면, 일반적인 디지털 카메라의 앞쪽에는, 마이크로폰(MIC), 셀프-타이머 램프(11), 플래시(12), 셔터 버튼(13), 모드 다이얼(14), 기능-선택 버튼(15), 촬영-정보 표시부(16), 뷰파인더(17a), 기능-블록 버튼(18), 플래시-광량 센서(19), 렌즈부(20), 및 외부 인터페이스부(21)가 있다. 1, a conventional digital camera includes a microphone (MIC), a self-timer lamp 11, a flash 12, a shutter button 13, a mode dial 14, a function- A photographing-information display section 16, a viewfinder 17a, a function-block button 18, a flash-light quantity sensor 19, a lens section 20 and an external interface section 21.

셀프-타이머 램프(11)는 셀프-타이머 모드인 경우에 셔터 버튼(13)이 눌려진 시점으로부터 셔터가 동작하는 시점까지의 설정 시간 동안 동작한다. 모드 다이얼(14)은, 각종 모드들 예를 들어, 정지영상 촬영 모드, 야경 촬영 모드, 동영상 촬영 모드, 재생 모드, 컴퓨터 연결 모드, 및 시스템 설정 모드를 사용자가 선택하여 설정하는 데에 사용된다. 기능-선택 버튼(15)은 사용자가 디지털 카메라(1)의 동작 모드들, 예를 들어, 정지영상 촬영 모드, 야경 촬영 모드, 동영상 촬영 모드, 및 재생 모드 중의 어느 하나를 선택하는 데에 사용된다. 촬영-정보 표시부(16)는 촬영과 관련된 각 기능의 정보가 표시된다. 기능-블록 버튼(18)은 촬영-정보 표시부(16)에 디스플레이된 각 기능을 사용자가 선택하는 데에 사용된다. The self-timer lamp 11 operates during the set time from the time when the shutter button 13 is depressed to the time when the shutter operates, in the self-timer mode. The mode dial 14 is used by the user to select and set various modes such as a still image shooting mode, a night view shooting mode, a moving image shooting mode, a playback mode, a computer connection mode, and a system setting mode. The function-selection button 15 is used for the user to select one of the operation modes of the digital camera 1, for example, the still image shooting mode, the night view shooting mode, the moving image shooting mode, and the playback mode . The photographing-information display section 16 displays information of each function related to photographing. The function-block button 18 is used by the user to select each function displayed on the photographing-information display section 16. [

도 2는 도 1의 디지털 카메라의 뒤쪽 외형을 보여주는 배면도이다. FIG. 2 is a rear view showing a rear outer shape of the digital camera of FIG. 1;

도 2를 참조하면, 통상적인 디지털 카메라(1)의 뒤쪽에는, 스피커(SP), 전원 버튼(31), 모니터 버튼(32), 자동-초점 램프(33), 뷰파인더(17b), 플래시 대기 램프(34), 디스플레이 패널(LCD)(35), 노출보정/삭제 버튼(36), 엔터/재생 버튼(37), 메뉴/OK 버튼(38), 광각(wide angle)-줌(zoom) 버튼(39w), 망원(telephoto)-줌 버튼(39t), 상향-이동 버튼(40up), 우향-이동 버튼(40ri), 하향-이동 버튼(40lo), 및 좌향-이동 버튼(40le), 대표-음성 버튼(42), 재생모드(Playback) 버튼(42)이 있다. 2, a conventional digital camera 1 includes a speaker SP, a power button 31, a monitor button 32, an auto-focus lamp 33, a viewfinder 17b, A lamp 34, a display panel (LCD) 35, an exposure correction / delete button 36, an enter / play button 37, a menu / OK button 38, a wide angle- Movement button 40w, a telephoto-zoom button 39t, an upward-movement button 40up, a right-movement button 40ri, a down-movement button 40lo, A voice button 42, and a playback mode (Playback) button 42.

모니터 버튼(32)은 사용자가 디스플레이 패널(35)의 동작을 제어하는 데에 사용된다. 예를 들어, 사용자가 모니터 버튼(32)을 첫 번째로 누르면 디스플레이 패널(35)에 피사체의 영상 및 그 촬영 정보가 디스플레이 되고, 두 번째로 누르면 디스플레이 패널(35)에 피사체의 영상만이 디스플레이 되며, 세 번째로 누르면 디스플레이 패널(35)에 인가되는 전원이 차단된다. The monitor button 32 is used by the user to control the operation of the display panel 35. For example, when the user presses the monitor button 32 for the first time, the image of the subject and the shooting information thereof are displayed on the display panel 35, and the second time, only the image of the subject is displayed on the display panel 35 The power applied to the display panel 35 is cut off.

자동-초점 램프(33)는 자동 포커싱 동작이 완료된 때에 동작한다. The auto-focus lamp 33 operates when the automatic focusing operation is completed.

플래시 대기 램프(34)는 플래시(도 1의 12)가 동작 대기 상태인 경우에 동작한다. The flash standby lamp 34 operates when the flash (12 in Fig. 1) is in the standby state for operation.

노출보정/삭제 버튼(36)은 디지털 카메라를 수동으로 조작하는 경우 빛의 양을 조절하거나 사용자가 각 모드를 설정하는 과정에서 삭제 버튼으로 사용된다. The exposure correction / delete button 36 is used as a delete button in the process of adjusting the amount of light or manually setting each mode when the digital camera is manually operated.

엔터/재생 버튼(37)은 사용자로부터의 데이터를 입력하거나, 재생 모드에서의 정지 또는 재생 등의 기능을 위하여 사용된다. The enter / play button 37 is used for inputting data from the user, for stopping or playing back in the playback mode, and the like.

메뉴/OK 버튼(38)은 모드 다이얼(14)에서 선택된 모드의 메뉴를 디스플레이하고 선택하는데 사용된다. The menu / OK button 38 is used to display and select the menu of the mode selected in the mode dial 14.

상향-이동 버튼(40up), 우향-이동 버튼(40ri), 하향-이동 버튼(40lo), 및 좌향-이동 버튼(40le)도 사용자가 각 모드를 설정하는 과정에서 사용된다. The up-shift button 40up, the right-shift button 40ri, the down-shift button 40lo, and the left-shift button 40le are also used in the process of setting each mode by the user.

재생모드 버튼(42)은 마지막 촬영된 이미지, 동영상 또는 음성 정보를 확인하고 조작하기 위해 사용된다.The playback mode button 42 is used to confirm and manipulate the last captured image, moving image, or audio information.

도 3은 도 1의 디지털 카메라의 입사측 구조를 보여주는 블럭도이다.3 is a block diagram showing an incident side structure of the digital camera of FIG.

도 4는 도 1의 디지털 카메라의 전체적 구성을 보여주는 블록도 이다. 도 3 및 4를 참조하여, 디지털 카메라의 전체적 구성을 설명하면 다음과 같다. 4 is a block diagram showing the overall configuration of the digital camera of FIG. Referring to FIGS. 3 and 4, the overall configuration of the digital camera will be described below.

렌즈부(20)와 필터부(41)를 포함한 광학계(10)는 피사체로부터의 빛을 광학적으로 처리한다. 광학계(10)의 렌즈부(20)는 줌 렌즈(ZL), 포커스 렌즈(FL), 및 보상 렌즈(CL)를 포함한다. An optical system 10 including a lens unit 20 and a filter unit 41 optically processes light from a subject. The lens section 20 of the optical system 10 includes a zoom lens ZL, a focus lens FL, and a compensation lens CL.

사용자가 사용자 입력부(INP)에 포함된 광각(wide angle)-줌 버튼(도 2의 39w) 또는 망원(telephoto)-줌 버튼(도 2의 39t)을 누르면, 이에 상응하는 신호가 마이크로제어기(112)에 입력된다. 이에 따라, 마이크로제어기(112)가 렌즈 구동부(110)를 제어함에 따라, 줌 모터(MZ)가 구동되어 줌 렌즈(ZL)가 이동된다. 즉, 광각(wide angle)-줌 버튼(도 2의 39w)이 눌려지면 줌 렌즈(ZL)의 초점 길이(focal length)가 짧아져서 화각이 넓어지고, 망원(telephoto)-줌 버튼(39t)이 눌려지면 줌 렌즈(ZL)의 초점 길이(focal length)가 길어져서 화각이 좁아진다.When the user presses the wide angle-zoom button (39w in Fig. 2) or the telephoto-zoom button (39t in Fig. 2) contained in the user input INP, a corresponding signal is sent to the micro controller 112 . Accordingly, as the microcontroller 112 controls the lens driving unit 110, the zoom motor MZ is driven to move the zoom lens ZL. That is, when the wide angle zoom button 39w is pressed, the focal length of the zoom lens ZL is shortened to enlarge the angle of view, and the telephoto-zoom button 39t The focal length of the zoom lens ZL becomes longer and the angle of view becomes narrower.

이와 같은 특성에 따라 마이크로제어기(112)는 광학계(10)의 설계 데이터로부터 줌 렌즈(ZL)의 위치에 대한 화각(θ)을 구할 수 있다. 여기서, 줌 렌즈(ZL)의 위치가 설정된 상태에서 포커스 렌즈(FL)의 위치가 조정되므로, 화각(θ)은 포커스 렌즈(FL)의 위치에 대하여 거의 영향을 받지 않는다. 보상 렌즈(CL)는 전체적인 굴절률을 보상하는 역할을 하므로 별도로 구동되지 않는다. The micro controller 112 can obtain the angle of view? With respect to the position of the zoom lens ZL from the design data of the optical system 10 in accordance with such characteristics. Here, since the position of the focus lens FL is adjusted in a state where the zoom lens ZL is set, the angle of view? Is hardly affected by the position of the focus lens FL. The compensation lens CL is not separately driven since it serves to compensate the overall refractive index.

참조 부호 MA는 조리개(aperture, 도시되지 않음)를 구동하기 위한 모터를 가리킨다. 여기서, 지정 노출 모드인 경우와 그렇지 않은 경우에 따라 조리개 구동 모터(MA)의 회전각이 달라진다. 지정 노출 모드란, 피사 영역에서 사용자가 원하는 일부 영역이 디지털 카메라의 디스플레이 패널(35)에 표시된 지정 검출 영역에 일치되면, 이 지정 검출 영역의 평균 휘도에 대한 상기 디지털 카메라의 노광량을 설정하는 모드를 말한다. Reference symbol MA denotes a motor for driving an aperture (not shown). Here, the rotation angle of the diaphragm drive motor MA is different depending on whether the mode is the specific exposure mode or not. The designated exposure mode is a mode for setting the exposure amount of the digital camera with respect to the average luminance of the designated detection area when a certain area desired by the user in the subject area coincides with the designated detection area displayed on the display panel 35 of the digital camera It says.

광학계(10)의 필터부(41)에 있어서, 광학적 저역 통과 필터(OLPF, Optical Low Pass Filter)는 고주파 함량의 광학적 노이즈를 제거한다. 적외선 차단 필터(IRF, Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다. In the filter section 41 of the optical system 10, an optical low pass filter (OLPF) removes optical noise of a high frequency content. Infra-red cut filter (IRF) blocks incoming infrared light.

CCD(Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide-Semiconductor)의 광전 변환부(OEC)는 광학계(10)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 여기서, 디지털 신호 처리기(107)는 타이밍 회로(102)를 제어하여 광전 변환부(OEC)와 아날로그-디지털 변환부(101)의 동작을 제어한다. 아날로그-디지털 변환부로서의 CDS-ADC(Correlation Double Sampler and Analog-to- Digital Converter) 소자(101)는, 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시킨다. 디지털 신호 처리기(107)는 CDS-ADC 소자(101)로부터의 디지털 신호를 처리하여 휘도 및 색도 신호로 분류된 디지털 영상 신호를 발생시킨다. A photoelectric conversion unit (OEC) of a charge coupled device (CCD) or a complementary metal-oxide-semiconductor (CMOS) converts light from the optical system 10 into an electrical analog signal. Here, the digital signal processor 107 controls the timing circuit 102 to control the operations of the photoelectric conversion unit OEC and the analog-digital conversion unit 101. A CDS-ADC (Correlation Double Sampler and Analog-to-Digital Converter) element 101 as an analog-to-digital conversion section processes an analog signal from the photoelectric conversion section OEC, removes the high frequency noise, And then converted into a digital signal. The digital signal processor 107 processes digital signals from the CDS-ADC device 101 to generate digital image signals classified into luminance and chrominance signals.

도면에 도시되어 있지는 않지만, 카메라는 손떨림을 보정하는 시스템을 구비한다. 손떨림을 보정하는 시스템에 대한 구체적인 구성은 본원의 관심 사항이 아니므로 여기서 자세한 설명은 생략한다. Although not shown in the drawings, the camera has a system for correcting hand shake. Since the specific configuration of the system for correcting the shaking motion is not a matter of concern of the present invention, a detailed description thereof will be omitted here.

한편, 본원에 관한 카메라는 가속도 센서(120)를 구비한다. 상기 가속도 센서는 카메라의 움직임을 감지하는 역할을 한다. 가속도 센서 자체에 대한 구체적인 구성 또한 본원의 관심 사항이 아니므로 여기서 자세한 설명은 생략한다. 상기 가속도 센서(120)는 카메라의 움직임에 대한 신호를 마이크로 제어기(112)로 전달하게 된다. Meanwhile, the camera according to the present invention includes an acceleration sensor 120. The acceleration sensor detects movement of the camera. The specific configuration of the acceleration sensor itself is also not a concern of the present invention, so a detailed description thereof is omitted here. The acceleration sensor 120 transmits a signal of the movement of the camera to the micro controller 112.

마이크로제어기(112)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프(11), 자동-초점 램프(도 2의 33) 및 플래시 대기 램프(도 2의 34)가 포함된다. 사용자 입력부(INP)에는, 셔터 버튼(도 1의 13), 모드 다이얼(도 1의 14), 기능-선택 버튼(도 1의 15), 기능-블록 버튼(도 1의 18), 모니터 버튼(도 2의 32), 확인/삭제 버튼(도 2의 36), 엔터/재생 버튼(도 2의 37), 메뉴 버튼(도 2의 38), 광각-줌 버튼(도 2의 39w), 망원-줌 버튼(도 2의 39t), 상향-이동 버튼(도 2의 40up), 우향-이동 버튼(도 2의 40ri), 하향-이동 버튼(도 2의 40lo), 및 좌향-이동 버튼(도 2의 40le)을 포함한다.The light-emitting section (LAMP) driven by the microcontroller 112 includes a self-timer lamp 11, an auto-focus lamp (33 in FIG. 2) and a flash standby lamp (34 in FIG. 2). 1), a mode dial (14 in Fig. 1), a function-selection button (15 in Fig. 1), a function-block button (18 in Fig. 1), a monitor button 2), an enter / play button (37 of FIG. 2), a menu button (38 of FIG. 2), a wide angle-zoom button (39w of FIG. 2) 2), a down-shift button (40lo in Fig. 2), and a left-shift button (Fig. 2) Of FIG.

DRAM(Dynamic Random Access Memory, 104)에는 디지털 신호 처리기(107)로부터의 디지털 영상 신호가 일시 저장된다. EEPROM(Electrically Erasable Programmable Read Only Memory, 105)에는 디지털 신호 처리기(107)의 동작에 필요한 알고리듬 및 설정 데이터가 저장된다. A digital video signal from the digital signal processor 107 is temporarily stored in a DRAM (Dynamic Random Access Memory) 104. In the EEPROM (Electrically Erasable Programmable Read Only Memory) 105, an algorithm and setting data necessary for the operation of the digital signal processor 107 are stored.

메모리 카드 인터페이스(106)에는 사용자의 메모리 카드(115)가 착탈된다. The memory card 115 of the user is attached to and detached from the memory card interface 106.

디지털 신호 처리기(107)로부터의 디지털 영상 신호는 LCD 구동부(114)에 입력되고, 이로 인하여 칼라 LCD 패널(35) 즉 표시부에 영상이 디스플레이 된다. The digital image signal from the digital signal processor 107 is input to the LCD driver 114, thereby displaying an image on the color LCD panel 35, i.e., the display unit.

한편, 디지털 신호 처리기(107)로부터의 디지털 영상 신호는, USB(Universal Serial Bus) 접속부(21a) 또는 RS232C 인터페이스(108)와 그 접속부(21b)를 통하여 직렬 통신으로써 전송될 수 있고, 비데오 필터(109) 및 비데오 출력부(21c)를 통하여 비디오 신호로서 전송될 수 있다. On the other hand, the digital video signal from the digital signal processor 107 can be transmitted by serial communication via a USB (Universal Serial Bus) connection unit 21a or RS232C interface 108 and its connection unit 21b, 109 and a video output unit 21c as video signals.

오디오 처리기(113)는, 마이크로폰(MIC)으로부터의 음성 신호를 디지털 신호 처리기(107) 또는 스피커(SP)로 출력하고, 디지털 신호 처리기(107)로부터의 오디오 신호를 스피커(SP)로 출력한다. 한편, 플래시(12)는 플래시-광량 센서(19)로부터의 신호에 따라 마이크로제어기(112)와 플래시 제어기(111)를 통하여 구동된다.The audio processor 113 outputs the audio signal from the microphone MIC to the digital signal processor 107 or the speaker SP and outputs the audio signal from the digital signal processor 107 to the speaker SP. On the other hand, the flash 12 is driven through the microcontroller 112 and the flash controller 111 according to the signal from the flash-

마이크로 제어기(112)는 메모리 카드(115)를 제어하여 사용자가 촬영할 이미지 또는 사용자가 촬영한 이미지를 유효한 이미지 및 유효하지 않은 이미지로 분류하여 메모리 카드(115)에 저장함으로써 메모리 카드(115)의 여유 공간을 확보할 수 있게 된다. 이를 위해 메모리 카드(115)는 3개의 영역으로 분리된다. 메모리 카드(115)의 제 1 영역에는 촬영된 이미지가 저장되고, 메모리 카드(115)의 제 2 영 역에는 사용자의 선택에 따른 마이크로 제어기(112)의 분류 제어 동작에 의해 유효하지 않은 이미지가 저장되고, 메모리 카드(115)의 제3 영역에는 사용자의 선택에 따른 마이크로 제어기(112)의 분류 제어 동작에 의해 유효한 이미지가 저장된다.The microcontroller 112 controls the memory card 115 to classify an image to be shot by the user or an image taken by the user into valid images and invalid images and stores them in the memory card 115, Space can be ensured. To this end, the memory card 115 is divided into three areas. The photographed image is stored in the first area of the memory card 115 and an invalid image is stored in the second area of the memory card 115 by the classification control operation of the microcontroller 112 according to the user's selection And a valid image is stored in the third area of the memory card 115 by the classification control operation of the microcontroller 112 according to the user's selection.

이하, 도 5 및 도 6을 참조하여 디지털 카메라에서 유효한 영상을 분류하는 방법에 대해 설명한다.Hereinafter, a method of classifying valid images in a digital camera will be described with reference to FIGS. 5 and 6. FIG.

도 5는 본 발명의 제 1 실시 예에 따른 디지털 카메라에서 유효한 영상을 분류하는 방법의 동작을 보이는 흐름도이다. 우선 본 발명의 제 1 실시예에 따르면, 우선 피사체를 촬영하는 단계(S201)가 수행된다. 즉, 피사체를 촬영한 후에 촬영된 이미지에 대하여 유효성 여부를 사후에 판단하게 된다. 5 is a flowchart illustrating an operation of a method of classifying a valid image in a digital camera according to the first embodiment of the present invention. First, according to the first embodiment of the present invention, a step S201 of photographing a subject is performed first. That is, after the subject is photographed, whether the photographed image is valid or not is judged afterwards.

이때 이미지가 촬영되는 순간에 가속도 센서(120)에 의해 사용자의 손에 파지되거나 고정대에 지지되어 있는 카메라의 움직임이 감지된다. 감지된 손떨림 정보(본원에서는 카메라의 움직임에 따른 모든 정보를 편의상 '손떨림 정보'라고 지칭한다)는 가속도 센서(120)로부터 DSP(107)로 보내져서 손떨림 정보는 촬영된 이미지 파일의 태그에 기록한다. 일반적으로 촬영된 이미지 파일은 더미(Dummy) 부분에 해당하는 태크, 헤더 부분 및 데이터 부분의 구조를 가지고 있으며, 태그 부분에 사용자 정보나 기타 파일에 대한 정보를 비공개적으로 삽입할 수 있는 구조로 되어 있어 영상 데이터의 부가적인 내용을 삽입함으로써 검색 및 비교에 사용할 수 있다. 본 발명에서는 태그 부분에 촬영될 이미지의 손떨림 정보를 삽입한다. At this time, the moment the image is captured, the acceleration sensor 120 detects the motion of the camera held in the user's hand or supported on the fixed frame. The detected motion information (referred to herein as "motion information" for convenience) is sent from the acceleration sensor 120 to the DSP 107, and the motion information is recorded in the tag of the photographed image file . Generally, the photographed image file has a structure of a tag, a header portion, and a data portion corresponding to a dummy portion, and has a structure in which information about user information or other files can be embedded in the tag portion in a non-public manner And can be used for search and comparison by inserting additional contents of the video data. In the present invention, the shaking information of the image to be photographed is inserted into the tag portion.

손떨림 정보가 이미지 파일의 태그 부분에 기록된 이후, 촬영된 이미지는 마이크로 제어기(112)의 제어 하에, 일시적으로 DRAM(104)에 저장되었다가, 메모리 카드(115)의 제1 영역으로 저장된다.After the shaking information is recorded in the tag portion of the image file, the photographed image is temporarily stored in the DRAM 104 under the control of the microcontroller 112, and stored in the first area of the memory card 115.

이후, 사용자가 메모리 카드(115)의 여유 공간 확보를 위해, 메모리 카드(115)의 제1 영역에 저장된 촬영 이미지를 불러오게 되고, 마이크로 제어기(112)는 촬영된 이미지의 태그 부분에 기록된 손떨림 정보와 이미지를 촬영한 순간의 셔터 스피드에 대한 정보를 조합 또는 연산하게 조합 또는 연산된 정보를 생성한다(S204). Thereafter, the user brings up a shot image stored in the first area of the memory card 115 in order to secure a free space of the memory card 115, and the microcontroller 112 reads the shot image recorded in the tag portion of the shot image The information about the shutter speed at the moment of shooting the information and the image is combined or calculated to generate combined or calculated information (S204).

여기서, 손떨림 정보를 셔터 스피드와 조합하거나 연산하는 이유는 셔터 스피드가 빠를 경우에는 어느 정도의 손떨림을 보상할 수 있고 셔터 스피드가 느릴 경우에는 작은 손떨림에도 이미지가 현저하게 불명확하게 되기 때문이다. The reason why the camera shake information is combined with the shutter speed or computed is because a certain degree of shaking can be compensated when the shutter speed is fast, and the image becomes remarkably unclear even with small shaking when the shutter speed is slow.

셔터 스피드와 조합 또는 연산된 손떨림 정보는 이미 설정되어 저장되어 있는 손떨림 보정가능값과 비교된다(S206).The shaking motion information combined with the shutter speed or the calculated shaking motion information is compared with the stored shaking motion correction possible value (S206).

마이크로 제어기(112)의 비교 결과 촬영된 이미지의 조합 연산된 손떨림 정보가 기 설정되어 저장되어 있는 손떨림 보정가능값의 범위 내에 있는지 여부를 비교하게 된다(S208). 만약 조합 연산된 손떨림 정보가 손떨림에 의한 이미지의 오류가 보정이 가능한 설정치 이하인 경우, 마이크로 제어기(112)는 촬영된 이미지에 흔들림(손떨림)이 없다고 판단하고, 촬영된 이미지를 유효한 데이터로 판단한다(S210).As a result of comparison by the microcontroller 112, whether or not the combination-calculated camera-shake information of the photographed images is compared with the stored camera-shake correction possible values is compared (S208). If the combined camera shake information is less than or equal to the set value at which the error of the image due to the camera shake can be corrected, the micro controller 112 determines that there is no shaking (shaking) in the taken image and judges the taken image as valid data S210).

유효한 데이터로 판단된 촬영 이미지는 바로 유효한 이미지로서 저장되는 것이 아니라, 사용자의 저장 여부 판단 단계(S220)를 거치게 되어 저장 여부가 결정된다. The photographed image determined as valid data is not directly stored as an effective image, but is stored in the user's storage determination step (S220).

유효한 데이터로 판단된 촬영 이미지에 대하여 사용자가 유효한 이미지로 저장할 것인지 판단하여(S220a), 유효한 이미지로 저장하기로 판단된 경우, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제1 영역에서 제3 영역으로 즉, 유효한 폴더로 이동되어 저장된다(S222).The microcontroller 112 judges whether the user wants to store the photographed image judged as valid data in step S220a and stores the valid image in the first area of the memory card 115 under the control of the microcontroller 112 To a third folder, that is, to a valid folder (S222).

메모리 카드(115)의 제3 영역 즉, 유효한 폴더에 저장된 유효한 이미지는 이후 프린터 등의 주변기기에 이용될 수 있다.A valid image stored in a third area of the memory card 115, that is, a valid folder, can then be used in a peripheral such as a printer.

만약, 촬영된 이미지가 단계(S208, S210)에 의해 유효한 이미지로 판단되었음에 불구하고 사용자가 유효한 이미지로 저장할 지 여부에 있어서(S220a), 유효한 이미지로서 저장하지 않는 것(즉 유효하지 않은 이미지로 저장하는 것)으로 선택할 경우, 촬영된 이미지는, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 2 영역으로, 즉 유효하지 않은 폴더로 이동되어 저장된다(S224). If the photographed image is judged to be a valid image by steps S208 and S210 but the user does not store it as a valid image (S220a) , The photographed image is moved from the first area of the memory card 115 to the second area, that is, to the invalid folder under the control of the microcontroller 112 (S224) .

한편, 단계(S208)에서 마이크로 제어기(112)의 비교 결과 셔터 스피드와 조합되어 연산된 손떨림 정보가 기 설정되어 저장되어 있는 손떨림 보정가능값의 범위를 초과한 경우, 마이크로 제어기(112)는 촬영된 이미지에 흔들림(손떨림)이 발생하였다고 판단하고, 촬영된 이미지를 유효하지 않은 데이터로 판단한다(S212).On the other hand, if it is determined in step S208 that the camera shake information calculated in combination with the shutter speed as a result of the comparison by the microcontroller 112 exceeds the preset range of the shake correction possible value, It is determined that the camera shake (camera shake) has occurred, and the captured image is determined as invalid data (S212).

유효하지 않은 데이터로 판단된 촬영 이미지는 바로 유효하지 않은 이미지로 저장되는 것이 아니라, 사용자의 저장 여부 판단 단계(S220)를 거치게 되어 저장 여부가 결정된다. The photographed image judged as invalid data is not directly stored as an invalid image, but is stored in the user's storage determination step (S220).

유효하지 않은 데이터로 판단된 촬영 이미지에 대하여 사용자가 유효하지 않 은 이미지로 저장할 것인지 판단하여(S220b), 흔들림이 발생했지만 사용자의 필요에 의하여 유효한 이미지로 저장하기로 사용자에 의해 선택된 경우, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 3 영역으로 즉, 유효한 폴더로 이동되어 저장된다(S222).If it is determined by the user that the image is to be stored as an invalid image for the shot image determined to be invalid data (S220b) and the shake has occurred but is selected by the user to store the image as a valid image according to the user's need, (I.e., a valid folder) from the first area to the third area of the memory card 115 under the control of the control unit 112 (S222).

여기서도 전술한 바와 마찬가지로 메모리 카드(115)의 제 3 영역 즉, 유효한 폴더에 저장된 유효한 이미지는 이후 프린터 등의 주변기기에 이용될 수 있다.Also in this case, the valid image stored in the third area of the memory card 115, that is, a valid folder, as described above, can be used for a peripheral device such as a printer or the like.

만약, 촬영된 이미지가 단계(S208, S212)에 의해 유효하지 않은 이미지로 판단되었고 사용자도 유효하지 않은 이미지로 저장할 지 여부에 있어서(S220b), 유효하지 않은 이미지로서 저장하는 것으로 선택할 경우, 촬영된 이미지는, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 2 영역으로, 즉 유효하지 않은 폴더로 이동되어 저장된다(S224).If the photographed image is judged to be an invalid image by the steps S208 and S212 and the user also chooses to store it as an invalid image in the case of whether to store it as an invalid image (S220b) The image is moved from the first area of the memory card 115 to the second area, i.e., the invalid folder, under the control of the micro controller 112 (S224).

도면에 도시되어 있지는 않지만, 제 2 영역과 제 3 영역에 각각 저장된 이미지의 파일은 사용자의 선택에 의해 유효하지 않은 폴더로부터 사용자에 의해 이미지가 선택되어 그 선택된 이미지는 메모리 카드(115)의 유효한 폴더로 이동하거나 그 반대로 유효한 이미지에 대한 폴더로부터 사용자에 의해 선택되어 유효하지 않은 폴더로 이동할 수도 있다. 또한, 메모리 카드(115)의 제 2 영역 즉, 유효하지 않은 폴더로부터 사용자에 의해 이미지가 선택되지 않은 경우, 소정의 시간이 경과된 후에 삭제되는 것으로 설정될 수도 있다.Although not shown in the drawing, the image files stored in the second area and the third area, respectively, are selected by the user from the invalid folder by the user's selection, and the selected images are stored in a valid folder of the memory card 115 Or may be moved to an invalid folder by being selected by the user from the folder for the valid image. In addition, when an image is not selected by the user from the second area of the memory card 115, that is, the invalid folder, it may be set to be deleted after a predetermined time elapses.

여기서, 전술한 손떨림 보정가능값은 셔터 스피드를 고려하여 별도의 손떨림 보정 과정에 의해 보정이 가능한 손떨림(카메라의 움직임)의 수준에 관한 정보로 서, 이는 셔터 스피드에 따라 다르게 정해지거나, 피사체의 대상에 따라 다르게 정해지거나, 이미지 촬영 당시의 밝기에 따라 다르게 정해지며, 이들의 대응관계는 실험에 의해 정해진다. Here, the above-described shake correction possible value is information regarding the level of camera shake (camera movement) that can be corrected by a separate camera shake correction process in consideration of the shutter speed, which may be determined differently depending on the shutter speed, Or the brightness of the image is differently set according to the brightness at the time of shooting, and their correspondence relationship is determined by experiment.

도 6은 본 발명의 제 2 실시 예에 따른 디지털 카메라에서 유효한 영상을 분류하는 방법의 동작을 보이는 흐름도이다. FIG. 6 is a flowchart illustrating an operation of a method of classifying images valid in a digital camera according to a second embodiment of the present invention.

도 6은 손떨림 보정 기능을 작동시킨 후 촬영된 이미지로부터 유효한 이미지 또는 유효하지 않은 이미지를 분류하기 위한 방법이다.Fig. 6 is a method for sorting a valid image or an invalid image from the photographed image after activating the shake correction function.

우선 본 발명의 제 2 실시예에 따르면, 우선 손떨림 보정 기능이 작동된 단계(S300) 후에 피사체를 촬영하는 단계(S301)가 수행된다. 즉, 손떨림을 보정한 후에 피사체를 촬영하고 나서 손떨림 보정을 사전에 했음에도 불구하고 촬영된 이미지에 대하여 유효성 여부를 사후에 다시 판단하게 된다. First, according to the second embodiment of the present invention, a step S301 of photographing a subject after the step S300 in which the camera-shake correction function is activated is performed first. That is, despite the correction of the shaking motion and the correction of the shaking motion after the shooting of the subject, the captured image is judged again after the shooting.

이때 이미지가 촬영되는 순간에 가속도 센서(120)에 의해 사용자의 손에 파지되거나 고정대에 지지되어 있는 카메라의 움직임이 감지된다. 감지된 손떨림 정보는 가속도 센서(120)로부터 DSP(107)로 보내져서 손떨림 정보는 촬영된 이미지 파일의 태그에 기록한다. At this time, the moment the image is captured, the acceleration sensor 120 detects the motion of the camera held in the user's hand or supported on the fixed frame. The sensed shaking information is sent from the acceleration sensor 120 to the DSP 107, and the shaking information is recorded in the tag of the photographed image file.

손떨림 정보가 이미지 파일의 태그 부분에 기록된 이후, 촬영된 이미지는 마이크로 제어기(112)의 제어 하에, 일시적으로 DRAM(104)에 저장되었다가, 메모리 카드(115)의 제 1 영역으로 저장된다.After the shaking information is recorded in the tag portion of the image file, the photographed image is temporarily stored in the DRAM 104 under the control of the microcontroller 112, and stored in the first area of the memory card 115.

이후, 사용자가 메모리 카드(115)의 여유 공간 확보를 위해, 메모리 카드(115)의 제 1 영역에 저장된 촬영 이미지를 불러오게 되고, 마이크로 제어 기(112)는 촬영된 이미지의 태그 부분에 기록된 손떨림 정보와 이미지를 촬영한 순간의 셔터 스피드에 대한 정보를 조합 또는 연산하게 조합 또는 연산된 정보를 생성한다(S304). Thereafter, the user brings up a shot image stored in the first area of the memory card 115 in order to secure the free space of the memory card 115, and the microcontroller 112 reads the recorded image in the tag portion of the photographed image Information on the shaking motion information and information on the shutter speed at the moment of shooting the image is combined or calculated to generate combined or calculated information (S304).

셔터 스피드와 조합 또는 연산된 손떨림 정보는 기 저장되어 있는 손떨림 보정가능값과 비교된다(S306).The combination or calculated shaking information with the shutter speed is compared with the stored shaking compensation possible value (S306).

마이크로 제어기(112)의 비교 결과 촬영된 이미지의 조합 연산된 손떨림 정보가 기 설정되어 저장되어 있는 손떨림 보정가능값의 범위 내에 있는지 여부를 비교하게 된다(S308). 만약 조합 연산된 손떨림 정보가 손떨림에 의한 이미지의 오류가 보정이 가능한 설정치 이하인 경우, 마이크로 제어기(112)는 촬영된 이미지에 흔들림(손떨림)이 없다고 판단하고, 촬영된 이미지를 유효한 데이터로 판단한다(S310).As a result of comparison by the microcontroller 112, whether or not the combination-calculated camera shake information of the photographed images is compared with the stored camera shake correction possible value is compared (S308). If the combined camera shake information is less than or equal to the set value at which the error of the image due to the camera shake can be corrected, the micro controller 112 determines that there is no shaking (shaking) in the taken image and judges the taken image as valid data S310).

유효한 데이터로 판단된 촬영 이미지는 바로 유효한 이미지로 저장되는 것이 아니라, 사용자의 저장 여부 판단 단계(S320)를 거치게 되어 저장 여부가 결정된다. The photographed image judged as valid data is not stored as a valid image but is stored in a user's storage judgment step S320.

유효한 데이터로 판단된 촬영 이미지에 대하여 사용자가 유효한 이미지로 저장할 것인지 판단(선택)하여(S320a), 유효한 이미지로 저장하기로 판단(선택)된 경우, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 3 영역으로 즉, 유효한 폴더로 이동되어 저장된다(S322).If the user judges (selects) whether to store a valid image as a valid image for the photographed image judged as valid data (S320a) and judges (selects) to store it as a valid image, the memory card 115 to the third area, that is, to a valid folder (S322).

메모리 카드(115)의 제3 영역 즉, 유효한 폴더에 저장된 유효한 이미지는 이후 프린터 등의 주변기기에 이용될 수 있다.A valid image stored in a third area of the memory card 115, that is, a valid folder, can then be used in a peripheral such as a printer.

만약, 촬영된 이미지가 단계(S308, S310)에 의해 유효한 이미지로 판단되었음에 불구하고 사용자가 유효한 이미지로 저장할 지 여부에 있어서(S320a), 유효한 이미지로 저장하지 않는 것(즉 유효하지 않은 이미지로 저장하는 것)으로 선택할 경우, 촬영된 이미지는, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 2 영역으로, 즉 유효하지 않은 폴더로 이동되어 저장된다(S324). If the photographed image is determined to be a valid image by steps S308 and S310 but the user does not store it as a valid image (S320a) , The photographed image is moved from the first area to the second area of the memory card 115, that is, moved to an invalid folder under the control of the micro controller 112 (step S324) .

한편, 단계(S308)에서 마이크로 제어기(112)의 비교 결과 셔터 스피드와 조합되어 연산된 손떨림 정보가 기 설정되어 저장되어 있는 손떨림 보정가능값의 범위를 초과한 경우, 마이크로 제어기(112)는 촬영된 이미지에 흔들림(손떨림)이 발생하였다고 판단하고, 촬영된 이미지를 유효하지 않은 데이터로 판단한다(S312).On the other hand, if it is determined in step S308 that the camera shake information calculated in combination with the shutter speed exceeds the range of the shake correction possible value that is stored in advance, the microcontroller 112 It is determined that the camera shake (camera shake) has occurred, and the captured image is determined to be invalid data (S312).

유효하지 않은 데이터로 판단된 촬영 이미지는 바로 유효하지 않은 이미지로 저장되는 것이 아니라, 사용자의 저장 여부 판단 단계(S320)를 거치게 되어 저장 여부가 결정된다.The shot image judged as invalid data is not directly stored as an invalid image, but it is determined whether or not to store the image by going through a step S320 of judging whether or not the user has stored it.

유효하지 않은 데이터로 판단된 촬영 이미지에 대하여 사용자가 유효하지 않은 이미지로 저장할 것인지 판단하여(S320b), 흔들림이 발생했지만 사용자의 필요에 의하여 유효한 이미지로 저장하기로 사용자에 의해 선택된 경우, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 3 영역으로 즉, 유효한 폴더로 이동되어 저장된다(S322).(S320b). If the shake has occurred but is selected by the user to store the image as a valid image according to the user's need, the microcontroller 112, the first area to the third area of the memory card 115, that is, the valid folder is moved and stored (S322).

여기서도 전술한 바와 마찬가지로 메모리 카드(115)의 제 3 영역 즉, 유효한 폴더에 저장된 유효한 이미지는 이후 프린터 등의 주변기기에 이용될 수 있다.Also in this case, the valid image stored in the third area of the memory card 115, that is, a valid folder, as described above, can be used for a peripheral device such as a printer or the like.

만약, 촬영된 이미지가 단계(S308, S312)에 의해 유효하지 이미지로 판단되 었고 사용자도 유효하지 않은 이미지로 저장할 지 여부에 있어서(S320b), 유효하지 않은 이미지로서 저장하는 것으로 선택할 경우, 촬영된 이미지는, 마이크로 제어기(112)의 제어 하에, 메모리 카드(115)의 제 1 영역에서 제 2 영역으로, 즉 유효하지 않은 폴더로 이동되어 저장된다(S324).If the photographed image is judged to be an invalid image by steps S308 and S312 and the user also stores it as an invalid image in step S320b, The image is moved from the first area of the memory card 115 to the second area, i.e., the invalid folder, under the control of the micro controller 112 (S324).

도면에 도시되어 있지는 않지만, 제 2 영역과 제 3 영역에 각각 저장된 이미지의 파일은 사용자의 선택에 의해 유효하지 않은 폴더로부터 사용자에 의해 이미지가 선택되어 그 선택된 이미지는 메모리 카드(115)의 유효한 폴더로 이동하거나 그 반대로 유효한 이미지에 대한 폴더로부터 사용자에 의해 의해 선택되어 유효하지 않은 폴더로 이동할 수도 있다. 또한, 메모리 카드(115)의 제2 영역 즉, 유효하지 않은 폴더로부터 사용자에 의해 이미지가 선택되지 않은 경우, 소정의 시간이 경과된 후에 삭제되는 것으로 설정될 수도 있다.Although not shown in the drawing, the image files stored in the second area and the third area, respectively, are selected by the user from the invalid folder by the user's selection, and the selected images are stored in a valid folder of the memory card 115 Or may be moved to an invalid folder by being selected by the user from the folder for the valid image. In addition, when an image is not selected by the user from the second area of the memory card 115, that is, the invalid folder, it may be set to be deleted after a predetermined time elapses.

제 1 실시예의 경우와 마찬가지로, 전술한 손떨림 보정가능값은 스피드 속도를 고려하여 별도의 손떨림 보정 과정에 의해 보정이 가능한 손떨림(카메라의 움직임)의 수준에 관한 정보로서, 이는 셔터 스피드에 따라 다르게 정해지거나, 피사체의 대상에 따라 다르게 정해지거나, 이미지 촬영 당시의 밝기에 따라 다르게 정해지며, 이들의 대응관계는 실험에 의해 정해진다.As in the case of the first embodiment, the above-described shake correction possible value is information on the level of camera shake (camera movement) that can be corrected by a separate camera shake correction process in consideration of the speed speed, Or determined depending on the subject of the subject, or differently depending on the brightness at the time of image capturing, and their correspondence relationship is determined by experiments.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

본 발명은 디지털 카메라에 관한 기술분야에 이용될 수 있다.The present invention can be used in the technical field related to digital cameras.

도 1은 디지털 카메라의 앞쪽 외형을 보여주는 사시도이다.1 is a perspective view showing a front appearance of a digital camera.

도 2는 도 1의 디지털 카메라의 뒤쪽 외형을 보여주는 배면도이다.FIG. 2 is a rear view showing a rear outer shape of the digital camera of FIG. 1;

도 3은 도 1의 디지털 카메라의 입사측 구조를 보여주는 블럭도이다.3 is a block diagram showing an incident side structure of the digital camera of FIG.

도 4는 도 1의 디지털 카메라의 전체적 구성을 보이는 블록도이다.4 is a block diagram showing the overall configuration of the digital camera of FIG.

도 5는 본 발명의 제1 실시 예에 따른 디지털 카메라에서 유효한 영상을 분류하는 방법의 동작을 보이는 흐름도이다.5 is a flowchart illustrating an operation of a method of classifying a valid image in a digital camera according to the first embodiment of the present invention.

도 6은 본 발명의 제2 실시 예에 따른 디지털 카메라에서 유효한 영상을 분류하는 방법의 동작을 보이는 흐름도이다.FIG. 6 is a flowchart illustrating an operation of a method of classifying images valid in a digital camera according to a second embodiment of the present invention.

Claims (12)

디지털 카메라 동작 방법으로서,A method of operating a digital camera, (a) 촬영된 이미지에 대한 손떨림 정보를 가속도 센서로부터 획득하여 메모리의 제 1 영역에 저장하는 단계;(a) acquiring hand shake information about a photographed image from an acceleration sensor and storing the shaking information in a first area of the memory; (b) 상기 손떨림 정보를 셔터 스피드 정보와 조합하는 단계;(b) combining the camera shake information with shutter speed information; (c) 조합된 상기 손떨림 정보와 손떨림 보정가능값을 비교하는 단계;(c) comparing the combined shaking information with the shaking correction possible value; (d) 상기 손떨림 보정가능값과 비교된 촬영된 상기 이미지를 유효한 이미지로 저장할지 판단하는 단계; 및(d) determining whether to store the photographed image, which is compared with the shake correction possible value, as a valid image; And (e) 상기 판단 결과, 촬영된 이미지가 유효하지 않은 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제2 영역에 저장하고, 유효한 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제3 영역에 저장하는 단계를 포함하는 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.(e) If it is determined that the photographed image is to be stored as an invalid image as a result of the determination, the file of the photographed image is stored in the second area of the memory, And storing a file of the image in a third region of the memory. 제 1항에 있어서, The method according to claim 1, 상기 (a)단계에서In the step (a) 상기 이미지가 촬영되는 순간의 손떨림 정보를 획득하여 메모리의 제 1 영역에 저장하는 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.Wherein the shaking information of the moment when the image is captured is acquired and stored in the first area of the memory. 제 1 항에 있어서, The method according to claim 1, 상기 메모리의 제 2 영역은 유효하지 않은 촬영 이미지가 저장되는 유효하지 않은 폴더이며, 상기 메모리의 제 3 영역은 유효한 촬영 이미지가 저장되는 유효한 폴더인 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.Wherein the second area of the memory is an invalid folder in which an invalid photographed image is stored and the third area of the memory is a valid folder in which a valid photographed image is stored . 제 1 항에 있어서, The method according to claim 1, 상기 판단하는 단계는, Wherein the determining step comprises: 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위를 벗어난 경우, 촬영된 상기 이미지를 유효하지 않은 이미지로 저장할 것인지 유효한 이미지로 저장할 것인지 판단하는 단계와,Determining whether to store the photographed image as an invalid image or a valid image when the combined shaking information on the photographed image is out of the range of the shake correction possible value; , 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위에 있는 경우, 촬영된 상기 이미지를 유효한 이미지로 저장할 것인지 유효하지 않은 이미지로 저장할 것인지 판단하는 단계를 포함하는 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.Judging whether to store the photographed image as a valid image or an invalid image when the combined shaking information on the photographed image is in the range of the shake correction possible value in the comparing step The method comprising the steps of: 삭제delete 디지털 카메라 동작 방법으로서,A method of operating a digital camera, (a) 손떨림을 보정하는 단계;(a) correcting an unintentional hand movement; (b) 촬영된 이미지에 대한 손떨림 정보를 가속도 센서로부터 획득하여 메모리의 제 1 영역에 저장하는 단계;(b) obtaining camera shake information about the photographed image from an acceleration sensor and storing the shaking information in a first area of the memory; (c) 상기 손떨림 정보를 셔터 스피드 정보와 조합하는 단계;(c) combining the camera shake information with shutter speed information; (d) 조합된 상기 손떨림 정보와 손떨림 보정가능값을 비교하는 단계;(d) comparing the combined shaking information with the shaking correction possible value; (e) 상기 손떨림 보정가능값과 비교된 촬영된 상기 이미지를 유효한 이미지로 저장할지 판단하는 단계; 및(e) determining whether to store the photographed image compared with the shake correction possible value as a valid image; And (f) 상기 판단 결과, 촬영된 이미지가 유효하지 않은 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제2 영역에 저장하고, 유효한 이미지로 저장하기로 판단될 경우 촬영된 상기 이미지의 파일을 상기 메모리의 제3 영역에 저장하는 단계를 포함하는 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.(f) If it is determined that the photographed image is to be stored as an invalid image, the file of the photographed image is stored in the second area of the memory. If it is determined that the photographed image is to be stored as a valid image, And storing a file of the image in a third region of the memory. 삭제delete 삭제delete 제 6 항에 있어서, The method according to claim 6, 상기 (b)단계에서In the step (b) 상기 이미지가 촬영되는 순간의 손떨림 정보를 획득하여 메모리의 제1 영역에 저장하는 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법And acquiring camera shake information at the moment when the image is captured and storing the acquired camera shake information in a first area of the memory 제 6 항에 있어서, The method according to claim 6, 상기 메모리의 제2 영역은 유효하지 않은 촬영 이미지가 저장되는 유효하지 않은 폴더이며, 상기 메모리의 제3 영역은 유효한 촬영 이미지가 저장되는 유효한 폴더인 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.Wherein the second area of the memory is an invalid folder in which an invalid photographed image is stored and the third area of the memory is a valid folder in which a valid photographed image is stored . 제 6 항에 있어서, The method according to claim 6, 상기 판단하는 단계는, Wherein the determining step comprises: 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위를 벗어난 경우, 촬영된 상기 이미지를 유효하지 않은 이미지로 저장할 것인지 유효한 이미지로 저장할 것인지 판단하는 단계와,Determining whether to store the photographed image as an invalid image or a valid image when the combined shaking information on the photographed image is out of the range of the shake correction possible value; , 상기 비교하는 단계에서, 촬영된 상기 이미지에 대한 조합된 상기 손떨림 정보가 상기 손떨림 보정가능값의 범위에 있는 경우, 촬영된 상기 이미지를 유효한 이미지로 저장할 것인지 유효하지 않은 이미지로 저장할 것인지 판단하는 단계를 포함하는 것을 특징으로 하는 디지털 카메라에서 유효한 영상을 분류하는 방법.Judging whether to store the photographed image as a valid image or an invalid image when the combined shaking information on the photographed image is in the range of the shake correction possible value in the comparing step The method comprising the steps of: 제 10 항에 있어서,11. The method of claim 10, 소정 시간이 경과한 후, 상기 메모리의 제 2 영역에 저장된 촬영 이미지는 삭제되는 것을 특징으로 하는 유효한 영상을 분류하는 방법.After the predetermined time has elapsed, the shot image stored in the second area of the memory is deleted.
KR1020080005758A 2008-01-18 2008-01-18 Method for grouping efficient image in digital camera Expired - Fee Related KR101431541B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080005758A KR101431541B1 (en) 2008-01-18 2008-01-18 Method for grouping efficient image in digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080005758A KR101431541B1 (en) 2008-01-18 2008-01-18 Method for grouping efficient image in digital camera

Publications (2)

Publication Number Publication Date
KR20090079633A KR20090079633A (en) 2009-07-22
KR101431541B1 true KR101431541B1 (en) 2014-08-19

Family

ID=41290797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080005758A Expired - Fee Related KR101431541B1 (en) 2008-01-18 2008-01-18 Method for grouping efficient image in digital camera

Country Status (1)

Country Link
KR (1) KR101431541B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040072173A (en) * 2003-02-10 2004-08-18 삼성테크윈 주식회사 Control method of digital camera informing that photographing state was inadequate
JP2005099162A (en) 2003-09-22 2005-04-14 Sharp Corp Still image pickup device
KR20060034931A (en) * 2004-10-20 2006-04-26 삼성테크윈 주식회사 How to classify valid images from digital cameras
KR20070117644A (en) * 2005-09-14 2007-12-12 가시오게산키 가부시키가이샤 Imaging Device, Data Extraction Method and Data Extraction Program Recording Medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040072173A (en) * 2003-02-10 2004-08-18 삼성테크윈 주식회사 Control method of digital camera informing that photographing state was inadequate
JP2005099162A (en) 2003-09-22 2005-04-14 Sharp Corp Still image pickup device
KR20060034931A (en) * 2004-10-20 2006-04-26 삼성테크윈 주식회사 How to classify valid images from digital cameras
KR20070117644A (en) * 2005-09-14 2007-12-12 가시오게산키 가부시키가이샤 Imaging Device, Data Extraction Method and Data Extraction Program Recording Medium

Also Published As

Publication number Publication date
KR20090079633A (en) 2009-07-22

Similar Documents

Publication Publication Date Title
US7706674B2 (en) Device and method for controlling flash
US8427430B2 (en) Apparatus for and method of controlling digital image processing apparatus
KR100503039B1 (en) Method to control operation of digital camera for user to easily take an identification photograph
JP2007311861A (en) Photographic apparatus and method
US7433591B2 (en) Digital image processing apparatus and method of controlling the same to photograph in user set continuous photographing mode
US7545413B2 (en) Method and apparatus for displaying images using duplex thumbnail mode
KR100547998B1 (en) How to control the digital camera to inform you that the shooting status is inappropriate
KR20060054523A (en) Apparatus and method for rotating imgae in digital camera
KR20100101391A (en) Apparatus for processing digital image and method for controlling thereof
US20050243185A1 (en) Method for controlling digital photographing apparatus, and digital photographing apparatus using the method
US20050254793A1 (en) Method of controlling digital image processing apparatus and digital image processing apparatus using the method
US7330207B2 (en) Method of managing storage space in a digital camera
US20050237420A1 (en) Camera system and camera main unit
US7450169B2 (en) Method of controlling digital photographing apparatus for efficient replay operation, and digital photographing apparatus adopting the method
KR100562405B1 (en) How to Correct Image on Digital Camera
KR101431541B1 (en) Method for grouping efficient image in digital camera
JP4565276B2 (en) Camera and mode switching method thereof
KR101080404B1 (en) Method for converting moving image into still image and triming the still image
JP5157528B2 (en) Imaging device
US20060114510A1 (en) Apparatus and method for image conversion
KR100673952B1 (en) How to classify valid images from digital cameras
JP2006191234A (en) Imaging apparatus, operation state presentation method, and operation state presentation program
JP2003189160A (en) Digital camera
JP2007101877A (en) Photographing device
KR20090077486A (en) Digital image processing device and control method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080118

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20090413

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20100423

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130104

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080118

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131216

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140527

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140812

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140813

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180727

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20200523