[go: up one dir, main page]

KR101434203B1 - 디지털 영상 처리장치 및 그 제어방법 - Google Patents

디지털 영상 처리장치 및 그 제어방법 Download PDF

Info

Publication number
KR101434203B1
KR101434203B1 KR1020080050452A KR20080050452A KR101434203B1 KR 101434203 B1 KR101434203 B1 KR 101434203B1 KR 1020080050452 A KR1020080050452 A KR 1020080050452A KR 20080050452 A KR20080050452 A KR 20080050452A KR 101434203 B1 KR101434203 B1 KR 101434203B1
Authority
KR
South Korea
Prior art keywords
motion
voice coil
signal
main body
recognizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080050452A
Other languages
English (en)
Other versions
KR20090124318A (ko
Inventor
윤재무
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080050452A priority Critical patent/KR101434203B1/ko
Priority to US12/381,916 priority patent/US8570387B2/en
Priority to GB0905364.6A priority patent/GB2460315B/en
Priority to DE102009026540A priority patent/DE102009026540A1/de
Publication of KR20090124318A publication Critical patent/KR20090124318A/ko
Application granted granted Critical
Publication of KR101434203B1 publication Critical patent/KR101434203B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

본 발명은, 보이스 코일 모터(Voice Coil Motor)를 통하여 사용자의 모션 작동에 의한 사용자 입력을 인식할 수 있는 디지털 영상 처리장치 및 그 제어방법에 관한 것이다. 본 발명은, 본체; 상기 본체에 장착되어 상기 본체의 움직임에 따른 모션 신호를 생성하는 보이스 코일 모터; 상기 모션 신호를 처리하여 디지털 신호의 모션 데이터를 생성하는 동작 인식 인터페이스; 상기 모션 데이터로부터 상기 본체의 모션 작동을 인식하고, 상기 모션 작동에 따른 사용자 입력을 인식하는 제어부를 구비하는 디지털 영상 처리장치를 제공한다.

Description

디지털 영상 처리장치 및 그 제어방법{Apparatus for processing digital image and method for controlling thereof}
본 발명은 디지털 영상 처리장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 사용자의 모션 작동을 감지하고, 감지된 모션 작동으로부터 사용자의 입력을 인식할 수 있는 디지털 영상 처리장치 및 그 제어방법에 관한 것이다.
통상적으로, 디지털 영상 처리장치는 디지털 카메라, PDA(personal digital assistant), 폰 카메라, PC 카메라 등의 영상을 처리하거나 영상 인식 센서를 사용하는 모든 장치를 포함한다.
디지털 영상 처리장치는 촬상 소자를 통하여 입력받은 영상을 디지털 신호 처리기에서 이미지 프로세싱하고 이를 압축하여 이미지 파일을 생성하고, 그 이미지 파일을 메모리에 저장할 수 있다.
또한, 디지털 영상 처리장치는 촬상 소자를 통하여 입력받거나 저장매체에 저장된 이미지 파일의 이미지를 LCD(Liquid Crystal Display)와 같은 표시장치에 표시하여 보여줄 수 있다.
한편, 디지털 영상 처리장치는 다양한 입력 수단을 구비하고, 각각의 입력 수단을 통하여 사용자의 입력을 인식할 수 있다. 이러한 입력 수단은 사용자의 누름을 감지하는 버튼들, 표시장치에 표시되는 메뉴 시스템, 또는 화면에 표시되고 사용자의 누름을 감지하는 터치 패널 등을 포함할 수 있다.
본 발명은, 보이스 코일 모터(Voice Coil Motor)를 통하여 사용자의 모션 작동에 의한 사용자 입력을 인식할 수 있는 디지털 영상 처리장치 및 그 제어방법을 제공하는 것을 목적으로 한다.
본 발명은, 본체; 상기 본체에 장착되어 상기 본체의 움직임에 따른 모션 신호를 생성하는 보이스 코일 모터; 상기 모션 신호를 처리하여 디지털 신호의 모션 데이터를 생성하는 동작 인식 인터페이스; 상기 모션 데이터로부터 상기 본체의 모션 작동을 인식하고, 상기 모션 작동에 따른 사용자 입력을 인식하는 제어부를 구비하는 디지털 영상 처리장치를 제공한다.
상기 보이스 코일 모터가 상기 모션 신호를 상기 본체의 움직임에 따른 출력 전압으로 생성하는 홀 센서를 구비할 수 있다.
상기 동작 인식 인터페이스가, 상기 출력 전압을 증폭하여 증폭 전압을 생성하는 증폭기, 및 아날로그 신호의 상기 증폭 전압을 디지털 신호의 상기 모션 데이터로 변환하는 신호 변환기를 구비할 수 있다.
상기 동작 인식 인터페이스가, 상기 모션 신호의 진폭 범위가 설정된 기준 범위 내가 되도록 조절하는 게인 조절부, 및 상기 모션 신호의 오프셋을 조절하는 오프셋 조절부를 더 구비할 수 있다.
상기 출력 전압이 상기 홀 센서에 흐르는 정전류에 대하여 상기 본체의 움직 임에 따른 전위차를 형성하는 제1 전압 및 제2 전압을 포함할 수 있다.
상기 증폭기가, 상기 제1 전압과 상기 제2 전압의 차이를 증폭하여 차동 증폭 전압을 생성하는 차동 증폭기, 상기 차동 증폭 전압에서 고주파 노이즈를 제거하고 위상을 반전시켜 증폭하는 역상 증폭기를 구비할 수 있다.
상기 보이스 코일 모터가, 상기 본체에 대하여 상기 본체의 움직임과 반대 방향으로 움직이는 작동부, 및 상기 본체에 고정되도록 설치되어, 상기 작동부의 움직임을 감지하는 인식부를 구비할 수 있다.
상기 작동부가, 케이스 내부에 수납되고, 중앙부에 적어도 하나 이상의 렌즈를 포함하는 렌즈군을 고정하고, 상기 본체의 움직임과 반대 방향으로 가속되는 렌즈 홀더, 상기 렌즈 홀더에 고정되어 상기 렌즈 홀더를 구동하는 구동 자석, 상기 렌즈 홀더에 고정되어 상기 렌즈 홀더의 움직임이 감지되도록 하는 홀 센서 감지용 자석, 및 상기 렌즈 홀더가 상기 케이스에 탄성 지지되도록 하는 탄성체를 구비할 수 있다.
상기 인식부가, 상기 구동 자석에 대응되는 위치에 장착되어 상기 구동 자석을 구동하는 보이스 코일, 및 상기 홀 센서 감지용 자석의 움직임을 인식하는 홀 센서를 구비할 수 있다.
상기 본체의 흔들림을 감지하는 흔들림 센서, 및 상기 흔들림 센서의 출력 신호를 처리하여 상기 제어부에서 처리 가능한 흔들림 신호로 변환하는 흔들림 신호 변환부를 더 구비할 수 있다.
상기 보이스 코일 구동신호를 입력받아 상기 보이스 코일 모터에 포함된 보 이스 코일을 구동하는 보이스 코일 구동부를 더 구비할 수 있다.
본 발명의 다른 측면은, (a) 본체에 장착되는 보이스 코일 모터에 포함되는 보이스 코일에 인가되는 전원을 차단하는 단계; (b) 상기 보이스 코일 모터에서 상기 본체의 움직임에 의하여 생성되는 모션 신호를 감지하는 단계; (c) 상기 모션 신호로부터 상기 본체에 움직임에 의한 모션 작동을 인식하는 단계; 및 (d) 상기 모션 작동으로부터 사용자의 입력을 인식하는 단계를 구비하는 디지털 영상 처리장치의 제어방법을 제공한다.
디지털 영상 처리장치가 작동되는 현재의 모드가 영상을 촬영하는 촬영 모드인지 여부를 판단하는 단계를 더 구비하고, 현재의 모드가 상기 촬영 모드가 아닌 경우에 상기 (a) 단계에서 상기 보이스 코일에 인가되는 전원을 차단할 수 있다.
상기 (c) 단계가, 상기 모션 신호를 처리하여 디지털 신호의 모션 데이터를 생성하는 단계, 및 상기 모션 데이터로부터 상기 모션 작동을 인식하는 단계를 구비할 수 있다.
상기 (d) 단계에서 상기 모션 데이터의 모션 패턴을 인식하고, 각각의 상기 모션 패턴에 대응되는 사용자 입력을 인식하고, 상기 사용자 입력에 따른 작동이 수행되는 단계를 더 구비할 수 있다.
본 발명에 따른 디지털 영상 처리장치 및 그 제어방법에 의하면, 보이스 코일 모터(Voice Coil Motor)를 통하여 사용자의 모션 작동에 의한 사용자 입력을 인식할 수 있도록 함으로써, 적은 비용으로 사용자의 모션 작동에 의한 사용자 입력 을 인식할 수 있다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1에는 본 발명에 따른 디지털 영상 처리장치의 제어장치 및 그 방법이 적용되는 디지털 영상 처리장치의 일 실시예인 디지털 카메라(100)의 뒷면 외형이 도시되어 있다.
도면을 참조하면, 디지털 카메라(100)의 뒷면에는 방향 버튼(21), 메뉴-OK 버튼(22), 광각(Wide angle)-줌(Zoom) 버튼(W), 망원(Telephoto)-줌(Zoom) 버튼(T), 및 디스플레이 패널(25) 등이 구비될 수 있다.
방향 버튼(21)에는 상향 버튼(21a), 하향 버튼(21b), 좌향 버튼(21c), 우향 버튼(21d)의 총4개의 버튼이 포함될 수 있다. 방향 버튼(21)과 메뉴-OK 버튼(22)은 디지털 카메라와 같은 디지털 영상 처리장치의 동작에 관한 각종 메뉴를 실행시키기 위해 입력하는 키이다.
광각-줌 버튼(W) 또는 망원-줌 버튼(T)은 그 입력에 따라 화각이 넓어지거나, 화각이 좁아진다. 특히, 선택된 노출영역의 크기를 변경시키고자 할 때 사용될 수 있다. 디스플레이 패널(25)로는 LCD(liquid crystal display)등의 영상 표시소자가 사용될 수 있다.
디스플레이 패널(25)이 외부로부터 촬영되어 입력되거나 저장된 이미지 파일로부터 입력되는 입력 영상이 표시될 수 있는 표시부(도 5의 580)에 포함될 수 있 다.
한편, 디지털 카메라(100)의 앞면 또는 윗면에는 셔터 릴리즈 버튼(26), 플래시(미도시), 전원 스위치(28), 렌즈부(미도시)가 구비될 수 있다. 또한, 디지털 카메라(100)의 앞면과 뒷면에는 뷰 파인더(27)의 대물 렌즈와 접안 렌즈가 구비될 수 있다.
방향 버튼(21), 메뉴-OK 버튼(22), 셔터 릴리즈 버튼(26), 및 전원 스위치(28) 등은 사용자가 외부로부터 조작하고자 하는 사항을 입력하는 사용자 조작부(도 5의 590)에 포함될 수 있다.
셔터 릴리즈 버튼(26)은 정해진 시간 동안 CCD(Charge Coupled Device)와 같은 촬상 소자나 필름을 빛에 노출시키기 위해 열리고 닫힌다. 또한, 셔터 릴리즈 버튼은 조리개(미도시)와 연동하여 피사체를 적정하게 노출시켜 촬상 소자에 영상을 기록한다.
디지털 영상 처리장치의 일 실시예인 디지털 카메라(100)의 본체(100a)에는 도 2 및 도 3에 도시된 보이스 코일 모터(120, 130)가 장착될 수 있다. 보이스 코일 모터(120, 130)는 본체(100a)의 흔들림을 감지하고, 흔들림에 따라 렌즈 또는 촬상소자를 이동시킴으로써, 사용자의 손떨림에 의하여 영상이 흔들리는 것을 기구적으로 보정하여 고품질의 화질을 얻을 수 있도록 하는 손떨림 보정장치가 될 수 있다.
이를 위하여, 보이스 코일 모터(120, 130)가 사용자의 손떨림에 의한 영상을 보정할 수 있도록, 영상 조정 렌즈군을 움직일 수 있도록 본체(100a)의 내부에 영 상 조정 렌즈군을 둘러싸는 위치에 장착될 수 있다.
한편, 디지털 카메라(100)와 같은 디지털 영상 처리장치에서는 사용자가 본체(100a)를 상하 또는 좌우 또는 회전 등으로 움직이는 것을 감지하고, 패턴화된 여러 가지 움직임에 대한 사용자 모션 입력을 인식할 수 있다.
이때, 각각의 사용자 모션 입력에 대하여 미리 설정된 기능에 따라, 재생 모드에서 이미지를 앞 또는 뒤로 넘김, 및 이미지 삭제 등의 기능을 수행할 수 있다. 이 경우, 도 2 및 도 3에 도시된 보이스 코일 모터(120, 130)에 의하여 사용자 모션 작동을 입력받을 수 있다.
본 발명이 적용될 수 있는 디지털 영상 처리장치의 일 실시예로서 디지털 카메라와 그 제어장치, 및 그 제어방법이 본 출원인의 미국 특허출원 공개번호 제2004/0130650호(명칭: 카메라의 이차함수를 이용한 자동 포커싱 방법, Method of automatically focusing using a quadratic function in camera)에 개시되어 있다.
상기 미국출원에 개시된 디지털 카메라와 그 제어장치, 및 그 제어방법에 관한 사항은 본 명세서에 포함되는 것으로 하고, 그 자세한 설명은 생략한다.
도 2 및 도 3에는 디지털 영상 처리장치에 장착될 수 있는 보이스 코일 모터(120, 130)가 개략적으로 도시되어 있다.
도면을 참조하면, 보이스 코일 모터(120, 130)는 외부로부터의 입력에 의하여 액추에이터(actuator)로 사용되거나, 보이스 코일 모터(120, 130)가 장착되는 디지털 영상 처리장치의 운동을 감지하는 센서로 사용될 수 있다. 이를 위하여, 보이스 코일 모터(120, 130)는 디지털 영상 처리장치의 본체에 장착되어 본체의 움직 임에 따른 모션 신호를 생성할 수 있다.
보이스 코일 모터(120, 130)는 작동부(120) 및 인식부(130)를 구비하여, 인식부(130)에 의하여 작동부(120)의 움직임을 인식하는 가속도 센서로 작동될 수 있다.
작동부(120)는 본체에 대하여 본체의 움직임과 반대 방향으로 움직일 수 있다. 인식부(130)는 본체에 고정되도록 설치되어, 작동부(120)의 움직임을 감지할 수 있다.
작동부(120) 및 인식부(130)는 케이스(110) 내부에 작동부(120)가 인식부(130)부에 대하여 상대 운동할 수 있도록 설치될 수 있다. 이때, 작동부(120)가 인식부(130)부에 대하여 작동부(120) 및 인식부(130) 사이에 형성되는 하나의 평면에서 2차원적인 운동을 할 수 있다.
이를 위하여, 보이스 코일 모터(120, 130)는 작동부(120) 및 인식부(130) 사이에 개재되는 적어도 하나 이상의 베어링(140)을 구비할 수 있다. 이때, 작동부(120)가 인식부(130)부에 대하여 2차원적으로 움직이도록 가이드 할 수 있도록, 도 3에 도시된 바와 같이 3개의 베어링을 구비하는 것이 바람직하다.
따라서, 작동부(120)가 인식부(130)에 대하여 틸팅(tilting)이 발생하지 않으면서 움직일 수 있다.
작동부(120)는 본체의 움직임에 의하여, 인식부(130)에 대하여 본체의 움직임과 반대 방향으로 움직일 수 있다. 이를 위하여, 작동부(120)는 본체에 대하여 탄성 지지되어 움직임 가능하도록 설치될 수 있다.
작동부(120)는 렌즈 홀더(121), 구동 자석(122a, 122b), 홀 센서 감지용 자석(123a, 123b), 및 탄성체(124)를 구비할 수 있다.
렌즈 홀더(121)는 케이스(110) 내부에 수납되어, 본체의 움직임과 반대 방향으로 가속될 수 있다. 또한, 렌즈 홀더(121)는 중앙부에 적어도 하나 이상의 렌즈를 포함하는 렌즈군(150)을 고정할 수 있다.
따라서, 보이스 코일(131a, 131b)의 작동에 의하여, X 방향(X) 또는 Y 방향(Y)으로 렌즈 홀더(121)가 이동되고, 그에 따라 렌즈군(150)의 위치가 조정될 수 있다.
즉, 별도로 구비되는 흔들림 신호 감지부에 의하여 감지되는 본체의 손떨림을 감지하여, 손떨림을 보상할 수 있도록 하는 위치로 렌즈군(150)을 이동시킬 수 있다. 따라서, 디지털 영상 처리장치의 손떨림을 기구적으로 보상함으로써, 향상된 화질의 영상을 얻을 수 있다.
구동 자석(122a, 122b)은 렌즈 홀더(121)에 고정되어 렌즈 홀더(121)를 구동할 수 있다. 즉, 보이스 코일(131a, 131b)에 인가되는 전원에 의하여 구동 자석(122a, 122b)이 이동되고, 구동 자석(122a, 122b)을 고정하는 렌즈 홀더(121)가 함께 움직이고, 그에 따라 렌즈 홀더(121)에 고정된 렌즈군이 움직이게 된다.
구동 자석(122a, 122b)은 각각 서로 다른 방향으로 구동되는 제1 구동자석(122a) 및 제2 구동자석(122b)을 구비할 수 있다. 제1 구동자석(122a)은 제1 보이스 코일(131a)에 의하여 X 방향으로 움직일 수 있다. 제2 구동자석(122b)은 제2 보이스 코일(131b)에 의하여 Y 방향으로 움직일 수 있다.
따라서, 제1 구동자석(122a) 및 제2 구동자석(122b)은 각각 X 방향과 Y 방향으로 구동되어, X 방향의 움직임과 Y 방향의 움직임의 조합에 의하여 2차원 평면에서 움직일 수 있다.
홀 센서 감지용 자석(123a, 123b)은 렌즈 홀더(121)에 고정되어 렌즈 홀더의 움직임을 감지할 수 있다.
렌즈 홀더(121)의 운동에 의하여 홀 센서 감지용 자석(123a, 123b)이 렌즈 홀더(121)와 함께 운동함으로써, 홀 센서(132a, 132b)가 홀 센서 감지용 자석(123a, 123b)의 운동을 감지하여, 렌즈 홀더(121)의 운동을 인식하도록 할 수 있다.
즉, 홀 센서 감지용 자석(123a, 123b)의 운동을 홀 센서(132a, 132b)의 운동을 감지함으로써, 렌즈군(150)의 위치를 정확한 위치를 감지할 수 있다. 따라서, 보이스 코일 모터(120, 130) 손떨림 보정장치로 사용되는 경우에, 홀 센서 감지용 자석(123a, 123b)에 의하여 렌즈군의 위치를 감지하여, 렌즈군(150)이 설정된 위치에 위치될 수 있도록 피드백 제어할 수 있다.
한편, 렌즈 홀더(121)가 보이스 코일(131a, 131b)에 인가되는 전원이 오프되어 자유롭게 움직일 수 있도록 되는 경우에는, 렌즈 홀더(121)가 본체의 움직임에 대하여 본체가 가속되는 방향과 반대 방향으로 가속될 수 있다. 따라서, 홀 센서 감지용 자석(123a, 123b)의 운동을 홀 센서(132a, 132b)에 의하여 감지함으로써, 본체의 움직임을 인식할 수 있게 된다.
홀 센서 감지용 자석(123a, 123b)은 각각 서로 다른 방향으로 운동하는 제1 홀 센서 감지용 자석(123a) 및 제2 홀 센서 감지용 자석(123b)을 구비할 수 있다. 제1 홀 센서 감지용 자석(123a)은 렌즈 홀더(121)와 함께 X 방향으로 움직일 수 있다. 제2 홀 센서 감지용 자석(123b)은 렌즈 홀더(121)와 함께 Y 방향으로 움직일 수 있다.
탄성체(124)는 렌즈 홀더(121)가 케이스(110)에 탄성 지지되도록 할 수 있다. 이때, 탄성체(124)는 렌즈 홀더(121)가 회전 또는 특정 방향으로 편축되는 것을 방지하기 위하여, 케이스(110)에 대하여 대각 방향으로 배치될 수 있다. 이에 따라, 렌즈군(150)이 항상 위치되도록 할 수 있다.
인식부(130)는 본체에 고정되도록 설치되어, 작동부(120)의 움직임을 감지할 수 있다. 이를 위하여 인식부(130)는 보이스 코일(131a, 131b), 및 홀 센서(132a, 132b)를 구비할 수 있다.
보이스 코일(131a, 131b)은 구동 자석(122a, 122b)의 대응되는 위치에 장착되어 구동 자석(122a, 122b)을 구동할 수 있다. 보이스 코일(131a, 131b)은 제1 보이스 코일(131a) 및 제2 보이스 코일(131b)을 구비할 수 있다.
제1 보이스 코일(131a)은 제1 구동 자석(122a)에 대응되고, 제2 보이스 코일(131b)은 제2 구동 자석(122b)에 대응될 수 있다. 즉, 제1 보이스 코일(131a)은 제1 구동 자석(122a)을 X 방향으로 움직이고, 제2 보이스 코일(131b)은 제2 구동 자석(122b)을 Y 방향으로 움직일 수 있다.
이때, 보이스 코일(131a, 131b)에 전원이 인가되면 렌즈 홀더(121)에 지속적인 힘이 가해질 수 있다.
또한, 보이스 코일(131a, 131b)에 전원이 인가되지 아니하면 렌즈 홀더(121)가 케이스(110)에 대하여 자유롭게 운동할 수 있게 된다. 이 경우, 본체의 모션 작동이 렌즈 홀더(121)에 전달되어, 렌즈 홀더(121)가 본체의 운동과 반대방향으로 가속될 수 있다.
이때, 렌즈 홀더(121)의 움직임을 홀 센서(132a, 132b)에 의하여 인식하여, 홀 센서(132a, 132b)에서 모션 신호를 생성할 수 있다. 즉, 홀 센서(132a, 132b)에서 보이스 코일(131a, 131b)에 전원이 인가되지 아니하는 상태에서 모션 신호가 생성될 수 있다.
홀 센서(132a, 132b)는 홀 센서 감지용 자석(123a, 123b)의 대응되는 위치에 장착되어, 홀 센서 감지용 자석(123a, 123b)의 움직임을 감지하여, 모션 신호를 생성한다. 홀 센서(132a, 132b)는 제1 홀 센서(132a) 및 제2 홀 센서(132b)를 구비할 수 있다.
제1 홀 센서(132a)는 제1 홀 센서 감지용 자석(123a)에 대응되고, 제2 홀 센서(132b)는 제2 홀 센서 감지용 자석(123b)에 대응될 수 있다. 즉, 제1 홀 센서(132a)는 제1 홀 센서 감지용 자석(123a)의 X 방향의 움직임을 인식하고, 제2 홀 센서(132b)는 제2 홀 센서 감지용 자석(123b)의 Y 방향의 움직임을 인식할 수 있다.
즉, 홀 센서(132a, 132b)는 홀 센서 감지용 자석(123a, 123b)의 X 방향 또는 Y 방향의 운동에 따른 모션 신호를 생성할 수 있다. 이렇게 생성된 모션 신호는 도 5 및 도 6에 도시된 동작 인식 인터페이스(600)에 의하여 모션 데이터로 변환되고, 제어부(도 5의 530)에서 모션 데이터를 분석하여 사용자의 모션 작동을 인식할 수 있다.
도 4에는 본 발명에 따른 바람직한 실시예인 디지털 영상 처리장치의 제어장치(200)의 블록도가 도시되어 있다. 디지털 영상 처리장치의 제어장치(200)는 도 1의 디지털 카메라(100)의 내부에 장착될 수 있다.
도면을 참조하면, 렌즈부와 필터부를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다. 광학계(OPS)의 렌즈부는 줌 렌즈, 포커스 렌즈 및 보상 렌즈를 포함한다.
사용자가 사용자 입력부(INP)에 포함된 광각-줌 버튼(W) 또는 망원-줌 버튼(T)을 누르면, 이에 상응하는 신호가 마이크로제어기(212)에 입력된다. 이에 따라, 마이크로제어기(212)가 렌즈 구동부(210)를 제어함에 따라, 줌 모터(MZ)가 구동되어 줌 렌즈가 이동된다.
광각-줌 버튼(W)이 눌려지면 줌 렌즈의 초점 길이가 짧아져서 화각이 넓어져 입력 영상이 축소되어 입력되고, 망원-줌 버튼(T)이 눌려지면 줌 렌즈의 초점 길이가 길어져서 화각이 좁아져 입력 영상이 확대되어 입력된다.
한편, 자동 초점 모드(auto focusing mode)에는, 디지털 신호 처리기(207) 안에 내장된 주 제어기가 마이크로제어기(212)를 통하여 렌즈 구동부(210)를 제어하고, 그에 따라 포커스 모터(MF)가 구동된다. 즉, 포커스 모터(MF)를 구동하여 가장 선명한 사진을 얻을 수 있는 위치로 포커스 렌즈를 이동시킨다.
보상 렌즈는 전체적인 굴절률을 보상하는 역할을 하므로 별도로 구동되지 않는다. 참조 부호 MA는 조리개(aperture, 도시되지 않음)를 구동하기 위한 모터를 가리킨다.
광학계(OPS)의 필터부에 있어서, 광학적 저역통과필터(Optical Low Pass Filter)는 고주파 성분의 광학적 노이즈를 제거한다. 적외선 차단 필터(Infra-Red cut Filter)는 입사되는 빛의 적외선 성분을 차단한다.
광전 변환부(OEC)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide- Semiconductor) 등의 촬상 소자를 포함하여 이루어질 수 있다. 광전 변환부(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다.
아날로그-디지털 변환부는 CDS-ADC(Correlation Double Sampler and Analog-to-Digital Converter) 소자(201)를 포함하여 이루어질 수 있다. 아날로그-디지털 변환부는 광전 변환부(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시킨다. 여기서, 디지털 신호 처리기(207)는 타이밍 회로(202)를 제어하여 광전 변환부(OEC)와 아날로그-디지털 변환부(201)의 동작을 제어한다.
광학계(OPS), 광전 변환부(OEC), CDS-ADC 소자(201) 등은 본 발명에 따른 영상 입력부(도 5의 560)에 포함될 수 있다.
실시간 클럭(203)은 디지털 신호 처리기(207)에 시간 정보를 제공한다. 디지털 신호 처리기(207)는 CDS-ADC 소자(201)로부터의 디지털 신호를 처리하여 휘도(Y 값) 및 색도(R, G, B) 신호로 분류된 디지털 화상 신호를 발생시킨다.
디지털 신호 처리기(207)에 내장된 주 제어기의 제어에 따라 마이크로 제어기(212)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프, 자동-초점 램프, 모드 지시 램프 및 플래시 대기 램프 등이 포함될 수 있다.
디지털 신호 처리기(207) 및/또는 마이크로 제어기(212)는 본 발명에 따른 제어부(도 5의 530)에 포함될 수 있다. 또한, 본 발명에 따른 사용자 조작부(도 5의 590)의 조작에 의하여 입력된 사용자 입력은 사용자 입력부(INP)를 통하여 디지털 신호 처리기(207) 및/또는 마이크로 제어기(212)로 입력되어 처리되고, 그에 따른 작업이 수행될 수 있다.
DRAM(Dynamic Random Access Memory, 204)에는 디지털 신호 처리기(207)로부터의 디지털 화상 신호가 일시 저장된다. EEPROM(Electrically Erasable and Programmable Read Only Memory, 205)에는 디지털 신호 처리기(207)의 동작에 필요한 부팅 프로그램 및 키 입력 프로그램 등과 같은 알고리즘 및 설정 데이터가 저장된다. 메모리 카드 인터페이스(206)에서는 사용자의 메모리 카드가 착탈될 수 있다.
DRAM(204) 또는 메모리 카드 인터페이스(206)를 통하여 인식되는 메모리 카드에는 외부로부터 촬영되어 입력되는 입력 영상 또는 저장된 이미지 파일이 일시적으로 또는 비휘발성으로 저장될 수 있는 것으로, 도 5의 저장부(570)에 포함될 수 있다.
즉, 저장부(570)에는 외부로부터 촬영되어 입력되거나 저장된 이미지 파일로 부터 입력되는 입력 영상 또는 편집 영상 또는 모션 데이터가 일시적으로 또는 비휘발성으로 저장되는 DRAM(204) 또는 캐시 메모리 등과 플래시 메모리 또는 착탈 가능하도록 장착되는 메모리 카드 등이 포함될 수 있다.
디지털 신호 처리기(207)로부터의 디지털 화상 신호는 디스플레이 패널 구동부(214)에 입력되고, 이로 인하여 디스플레이 패널(215)에 화상이 디스플레이 된다. 디스플레이 패널(215)은 디지털 신호 처리기(207)의 제어를 받아 디스플레이 패널 구동부(214)에 의하여 구동될 수 있다.
디스플레이 패널(215) 및 디스플레이 패널 구동부(214)는 본 발명에 따라 외부로부터 촬영되어 입력되거나 저장된 이미지 파일로부터 입력되는 입력 영상이 표시될 수 있는 표시부(도 5의 580)에 포함될 수 있다.
한편, 디지털 신호 처리기(207)로부터의 디지털 화상 신호는, USB(Universal Serial Bus) 접속부(31a) 또는 RS232C 인터페이스(208)와 그 접속부(31b)를 통하여 직렬 통신으로써 전송될 수 있고, 비디오 필터(209) 및 비디오 출력부(31c)를 통하여 비디오 신호로서 전송될 수 있다. 여기서, 디지털 신호 처리기(207)는 그 내부에 마이크로제어기를 내장할 수 있다.
오디오 처리기(213)는, 마이크로폰(MIC)으로부터의 음성 신호를 디지털 신호 처리기(207) 또는 스피커(SP)로 출력하고, 디지털 신호 처리기(207)로부터의 오디오 신호를 스피커(SP)로 출력한다.
도 5에는 본 발명에 따른 바람직한 실시예인 디지털 영상 처리장치(500)의 블록도가 도시되어 있다.
도면을 참조하면, 디지털 영상 처리장치(500)는 보이스 코일 모터(510); 보이스 코일 구동부(520); 동작 인식 인터페이스(600); 제어부(530); 영상 입력부(560); 저장부(570); 표시부(580); 및 사용자 조작부(590)를 구비할 수 있다. 디지털 영상 처리장치(500)는 도 7에 도시된 디지털 영상 처리장치의 제어방법(S400)에 의하여 제어될 수 있다.
보이스 코일 모터(510)는 본체(도 1의 100a)에 장착되어 본체(100a)의 움직임에 따른 모션 신호를 감지할 수 있다. 동작 인식 인터페이스(600)는 보이스 코일 모터(510)에서 감지된 모션 신호를 처리하여 제어부(530)에서 처리 가능한 디지털 신호인 모션 데이터를 생성할 수 있다.
영상 입력부(560)는 외부로부터 촬영되어 입력되거나 이미지 파일로부터 입력되는 입력 영상을 입력받을 수 있다. 제어부(530)는 모션 데이터로부터 본체(100a)의 모션 작동을 인식하고, 모션 작동에 따른 사용자 입력을 인식할 수 있다.
저장부(570)에는 이미지 파일 및 모션 데이터 등이 저장될 수 있다. 표시부(580)에는 촬영된 입력 영상과 저장된 입력 영상, 및 편집되는 편집 영상 등이 표시될 수 있다. 사용자 조작부(590)는 외부로부터 원하는 지령을 입력할 수 있도록 사용자가 조작할 수 있다.
입력 영상을 입력받는 영상 입력부(560)는 도 2의 광학계(OPS), 광전 변환부(OEC), CDS-ADC 소자(201) 등을 포함할 수 있다. 이때, 광학계(OPS)에는 줌 렌즈를 포함한 다양한 렌즈들이 포함될 수 있다. CDS-ADC 소자(201)는 렌즈를 통하여 입력되는 입력 영상을 받아들이는 촬상 소자에 포함될 수 있다.
저장부(570)에는 외부로부터 촬영되어 입력되는 입력 영상의 이미지 파일 또는 저장된 이미지 파일 등이 저장될 수 있다. 저장부(570)에는 데이터를 일시적으로 저장하는 DRAM(도 2의 204) 또는 캐시 메모리 또는 데이터가 비휘발성으로 저장되는 플래시 메모리 또는 메모리 카드 등이 포함될 수 있다.
사용자 조작부(590)는 외부로부터 원하는 지령을 입력할 수 있도록 사용자가 조작할 수 있다. 방향 버튼(도 1의 21), 메뉴-OK 버튼(도 1의 22), 셔터 릴리즈 버튼(도 1의 26), 및 전원 스위치(도 1의 28) 등은 사용자 조작부(도 5의 590)에 포함될 수 있다.
보이스 코일 모터(510)는 본체(도 1의 100a)에 장착되어 본체(100a)의 움직임에 따른 모션 신호를 감지할 수 있다. 보이스 코일 모터(510)로는 도 2 및 도 3에 도시된 보이스 코일 모터(120, 130)가 사용될 수 있다.
동작 인식 인터페이스(600)는 보이스 코일 모터(510)에서 감지된 모션 신호를 처리하여 제어부(530)에서 처리 가능한 디지털 신호인 모션 데이터를 생성할 수 있다. 동작 인식 인터페이스(600)의 일 실시예가 도 6에 도시되어 있다.
도 6에 도시된 동작 인식 인터페이스(600)에서 홀 센서(610)는 도 2의 보이스 코일 모터(510)의 홀 센서(132a, 132b)가 될 수 있다. 즉, 보이스 코일 모터(120, 130)에서 디지털 영상 처리장치의 본체의 움직임에 따라 인식부(130)의 위에 케이스(110)에 탄성 지지되는 작동부(120)가 움직이고, 그에 따라 홀 센서 감지용 자석(123a, 123b)이 움직인다.
이때, 홀 센서 감지용 자석(123a, 123b)의 움직임에 따라 홀 센서(610)에 영향을 미치는 자계가 변화하게 되고, 홀 센서(610)에서 측정되는 출력 전압이 변화하게 된다.
이 경우, 홀 센서 감지용 자석(123a, 123b)의 움직임에 따른 홀 센서(610)에서 측정되는 출력 전압이 모션 신호가 될 수 있다. 동작 인식 인터페이스(600)는 모션 신호를 제어부(530)에서 처리 가능한 디지털 신호의 모션 데이터로 변환하게 된다.
제어부(530)는 모션 데이터로부터 본체(100a)의 모션 작동을 인식하고, 모션 작동에 따른 사용자 입력을 인식할 수 있다. 즉, 제어부(530)는 보이스 코일 모터(510)에서 인식되는 출력 변화를 이용하여 본체(100a)의 모션 작동을 인식할 수 있다.
이때, 보이스 코일 모터(510) 대신에 별도의 가속도 센서(미도시)가 사용될 수 있다. 가속도 센서는 케이스 내부에 4개의 결합 스프링에 의하여 탄성 지지되는 중량체를 포함할 수 있다.
이때, 본체와 함께 움직이는 케이스가 움직이는 반대 방향으로 중량체가 미소하게 이동하며, 이동된 만큼 중량체 아래에서 정전 용량을 검출하여 가속 방향을 알 수 있다. 하지만, 별도의 가속도 센서를 사용하는 경우 가속도 센서의 추가가 필요하고, 그에 따른 비용 및 가속도 센서를 설치하기 위한 공간 등이 더 필요할 수 있다.
한편, 본 발명에서는 흔들리는 상을 바로잡기 위해 렌즈를 이동시키는 보이 스 코일 모터를 사용하여, 본체의 모션 작동을 인식할 수 있다.
버튼 또는 터치 패널 등을 통한 사용자 입력 대신에 보이스 코일 모터(510)를 이용하여 사용자의 모션 작동을 인식하고, 그에 따른 사용자 입력을 인식할 수 있다. 그에 따라, 각각의 모션 작동에 따른 사용자 입력에 대응되도록 설정된 기능이 수행될 수 있다.
이때, 모션 작동에 따른 사용자 입력은 보이스 코일 모터(510)의 보이스 코일(도 3의 131a, 131b)에 전원이 인가되지 아니하여, 홀 센서 감지용 자석(123a, 123b)이 본체의 움직임에 따라 자유롭게 움직일 수 있게 되는 경우에 인식될 수 있다.
예를 들어, 디지털 영상 처리장치의 재생 모드에서 손떨림 보정을 위하여 보이스 코일 모터(510)의 보이스 코일(도 3의 131a, 131b)에 전원이 인가될 필요가 없다. 이 경우, 사용자가 본체를 상하 또는 좌우 또는 회전의 모션 작동을 하면, 이를 홀 센서(도 3의 132a, 132b)를 통하여 사용자 입력을 인식하여, 그에 따라 미리 설정된 앞 넘김, 뒤 넘김, 또는 이미지 삭제 등의 기능이 수행될 수 있다.
도 8 내지 도 19에는 보이스 코일 모터에서 작동부의 움직임에 따른 모션 신호의 패턴이 개략적으로 도시되어 있다. 이 경우, 모션 신호(80, 90)는 모션 작동에 따라 신호 패턴이 달라질 수 있다. 이때, 모션 신호(80)는 홀 센서(도 3의 132a, 132b)에서 시간(time)에 따른 출력 전압(Volt)으로 측정될 수 있다.
모션 신호(80, 90)는 제1 모션 신호(80)와 제2 모션 신호(90)를 포함할 수 있다. 제1 모션 신호(80)는 제1 홀 센서(132a)에서 측정되는 것으로, 본체가 X 방 향으로 움직이는 것을 측정한 신호가 될 수 있다. 제2 모션 신호(90)는 제2 홀 센서(132b)에서 측정되는 것으로, 본체가 Y 방향으로 움직이는 것을 측정한 신호가 될 수 있다.
도 8의 모션 신호(80, 90)는 본체가 좌로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다. 도 9의 모션 신호(80, 90)는 본체가 우로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다.
도 10의 모션 신호(80, 90)는 본체가 아래로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다. 도 11의 모션 신호(80, 90)는 본체가 위로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다.
도 12의 모션 신호(80, 90)는 본체가 시계 방향으로 회전하는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다. 도 13의 모션 신호(80, 90)는 본체가 반시계 방향으로 회전하는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다.
도 14의 모션 신호(80, 90)는 본체가 좌측 아래로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다. 도 15의 모션 신호(80, 90)는 본체가 우측 위로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다.
도 16의 모션 신호(80, 90)는 본체가 좌측 위로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다. 도 17의 모션 신호(80, 90)는 본체가 우측 아래로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다.
도 18의 모션 신호(80, 90)는 본체가 좌측 아래와 우측 위로 움직이는 경우 의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다. 도 19의 모션 신호(80, 90)는 본체가 우측 위와 좌측 아래로 움직이는 경우의 홀 센서(132a, 132b)에서의 출력 전압의 패턴이다.
한편, 보이스 코일 모터(510)는 본체(100a)의 흔들림을 감지하여, 이를 기구적으로 보정하는 흔들림 보정 장치로 사용될 수 있다. 이를 위하여, 디지털 영상 처리장치(500)는 흔들림 센서(540), 흔들림 신호 변환부(550), 보이스 코일 구동부(520)를 더 구비할 수 있다.
흔들림 센서(540)는 본체의 흔들림을 감지하여 출력 신호를 생성할 있다. 흔들림 신호 변환부(550)는 흔들림 센서의 출력 신호를 처리하여 제어부(530)에서 처리 가능한 흔들림 신호로 변환할 수 있다. 이때, 흔들림 센서의 출력 신호는 아날로그 신호이고, 흔들림 신호는 제어부(530)에서 처리 가능한 디지털 신호가 될 수 있다.
보이스 코일 구동부(520)는 제어부(530)에서 생성된 보이스 코일 구동신호를 입력받아 보이스 코일 모터(510)에 포함된 보이스 코일을 구동할 수 있다. 이를 위하여, 제어부(510)에서 흔들림 신호를 입력받아 본체(100a)의 보이스 코일 모터(510)를 구동하는 보이스 코일 구동신호를 생성할 수 있다.
이때, 보이스 코일 구동신호는 본체(100a)의 흔들림을 보상하도록 렌즈 또는 촬상 소자를 움직이는 신호가 될 수 있다. 보이스 코일 구동부(520)는 도 4에 도시된 보이스 코일 구동부(520)가 되고, 동작 인식 인터페이스(600)는 도 4에 도시된 동작 인식 인터페이스(600)가 될 수 있다.
따라서, 본 발명에 따르면 별도의 가속도 센서 없이도 사용자에 의한 모션 작동을 용이하게 인식할 수 있게 된다.
도 6에는 도 5의 디지털 영상 처리장치(500)의 동작 인식 인터페이스(600)의 회로도가 도시되어 있다.
도면을 참조하면, 동작 인식 인터페이스(600)는 홀 센서(610), 증폭기(620, 630) 및 게인 조절부(640), 오프셋 조절부(650), 신호 변환기(660)를 구비할 수 있다.
홀 센서(610)는 보이스 코일 모터(510)에 포함되어, 본체(100a)의 움직임에 따른 모션 신호를 출력 전압으로 생성할 수 있다. 증폭기(620, 630)는 출력 전압을 증폭하여 증폭 전압을 생성할 수 있다. 신호 변환기(660)는 아날로그 신호의 증폭 전압을 디지털 신호의 모션 데이터로 변환할 수 있다.
게인 조절부(640)는 모션 신호의 진폭 범위가 설정된 기준 범위 내가 되도록 조절할 수 있다. 오프셋 조절부(650)는 모션 신호의 오프셋을 조절할 수 있다.
홀 센서(610)에서 출력되는 출력 전압은 홀 센서(610)에 흐르는 정전류에 대하여 본체의 움직임에 따른 전위차를 형성하는 제1 전압 및 제2 전압을 포함할 수 있다.
증폭기(620, 630)는 차동 증폭기(620) 및 역상 증폭기(630)를 구비할 수 있다. 차동 증폭기(620)는 제1 전압과 제2 전압 사이의 전위차를 증폭하여 차동 증폭 전압을 생성할 수 있다. 역상 증폭기(630)는 차동 증폭 전압에서 고주파 노이즈를 제거하고 위상을 반전시켜 증폭할 수 있다.
홀 센서(610)에는 정전류 입력 단자(HIX+), 정전류 출력 단자(HIX-), 제1 출력 단자(HOX+), 및 제2 출력 단자(HOX-)가 포함될 수 있다.
정전류 입력 단자(HIX+)는 정전류가 입력되는 단자이다. 정전류 출력 단자(HIX-)가 출력되는 단자이다. 제1 출력 단자(HOX+)는 제1 전압이 출력되는 단자이다. 제2 출력 단자(HOX-)는 제2 전압이 출력되는 단자이다.
정전류 입력 단자(HIX+)로부터 홀 센서(610)를 통하여 정전류 출력 단자(HIX-)로 정전류가 흐르면, 제1 출력 단자(HOX+)와 제2 출력 단자(HOX-)에서 + 미소 전압의 제1 전압과 - 미소 전압의 제2 전압이 출력된다. 출력 전압의 크기는 입력되는 정전류에 비례하나, 소정량을 초과하면 포화될 수 있다.
오프셋 조절부(650)는 비교기(U1A)를 포함하고, 비교기(U1A)의 입력 단자(GAIN_IN)에 일정 전압이 공급되면 전압 강하용 저항(R4)에 전압이 걸리는데, 이는 입력 단자(GAIN_IN)로 공급되는 일정 전압과 실질적으로 동일한 전압이 된다. 따라서, 입력 단자(GAIN_IN)로 공급되는 일정 전압에 따라 출력 전압의 오프셋이 조절되게 된다.
이때, 입력 단자(GAIN_IN)로 공급되는 일정 전압에 의하여 모션 신호의 진폭 범위가 설정된 기준 범위 내가 되도록 조절될 수 있다. 홀 센서(610)에 흐르는 전류는 입력 단자(GAIN_IN)로 공급되는 일정 전압을 전압 강하용 저항(R4)으로 나눈 값이 될 수 있다.
홀 센서(610)의 출력 전압인 제1 전압과 제2 전압은 상호 대칭으로 각각 양의 전압과 음의 전압이 될 수 있다. 제1 전압 및 제2 전압은 일정한 기준 전압에서 + 또는 - 방향으로 수 mV의 전압을 형성할 수 있다. 이때, 기준 전압은 전원 전압이 3.3V일 때, 그 절반인 1.65V가 될 수 있다.
제1 전압과 제2 전압을 증폭하기 위하여 차동 증폭기(620)가 사용될 수 있는데, 차동 증폭기(620)는 증폭기(U1B)를 포함할 수 있다. 차동 증폭기(620)에 의하여 제1 전압과 제2 전압의 차이가 설정된 증폭 비율만큼 증폭될 수 있는데, 홀 센서(610)의 출력 전압과 반대의 위상을 갖는다.
이때, 증폭 비율이 차동 증폭기에 결합된 저항(R5, R7, R1, R2, R8)의 비율에 따라 달라 결정될 수 있다. 즉, 증폭된 파형의 진폭은 차동 증폭기에 결합된 저항(R5, R7, R1, R2, R8)의 비율에 따라 달라진다.
게인 조절부(640)에서 바이어스를 조절하기 위한 기준 전압(VREF)으로는 전원 전압의 절반이 공급될 수 있다. 즉, 3.3V의 전원 전압을 사용하는 경우 그 절반의 1.65V를 주축으로 + 또는 - 방향으로 파형이 형성되는데, 바이어스를 미소 조절하기 위하여 차동 증폭기(620)의 + 입력 단자에 결합 저항(R2)을 입력단(HLX0)에 전압을 가하게 되면 전체 바이어스가 이동하게 된다.
게인 조절부(640)의 입력단(HLX0)에 인가되는 바이어스 조절 전압은 전압 평형을 위하여 중심 축을 전원 전압의 절반인 위치에 오도록 조절하는 것이 바람직하다.
차동 증폭기(620)에서 증폭된 파형은 홀 센서(610)에서 출력된 제1 전압과 역상이 되므로, 동상이 되도록 역상 증폭기(630)에 의하여 한차례 더 증폭될 수 있다. 역상 증폭기(630)는 증폭기(U1C) 및 결합 콘덴서(C1)를 포함할 수 있다. 역상 증폭기(630)는 증폭기(U1C)에 연결되는 저항들(R3, R6)의 -R3/R6 비율로 증폭될 수 있다.
결합 콘덴서(C1)는 파형에 포함된 고주파 노이즈를 제거하기 위한 콘덴서이다. 역상 증폭기(630)에서 최종 증폭된 신호가 신호 변환기(660)에서 디지털 신호로 변환될 수 있다. 이때, 신호 변환기(660)는 마이크로 프로세서의 아날로그 디지털 신호기(ADC, Analog to Digital Converter)가 될 수 있다.
도 7에는 본 발명에 따른 바람직한 실시예로서, 디지털 영상 처리장치의 제어방법(S700)의 흐름도가 도시되어 있다.
디지털 영상 처리장치의 제어방법(S700)은 도 2의 디지털 영상 처리장치의 제어장치(200) 및/또는 도 5의 디지털 영상 처리장치(500)에서 구현될 수 있다. 이를 위하여, 본 발명에 따른 디지털 영상 처리장치의 제어방법(S700)이 도 2의 저장 수단에 저장되거나 펌웨어(Firmware) 등의 반도체 칩의 형태로 구현된 프로그램 또는 알고리즘이 될 수 있다.
디지털 영상 처리장치의 제어방법(S700)은 도 5에 도시된 디지털 영상 처리장치(500)에서 수행될 수 있다. 따라서, 도 5의 디지털 영상 처리장치(500)에 관한 설명에서와 동일한 사항에 대해서는 이를 참조한다.
본 발명에 따른 디지털 영상 처리장치의 제어방법(S700)은 보이스 코일 전원 차단단계(S720); 모션신호 감지단계(S730); 모션작동 인식단계(S740 내지 S760); 및 사용자 입력 인식단계(S750)를 구비할 수 있다.
보이스 코일 전원 차단단계(S720)에는 본체에 장착되는 보이스 코일 모터에 포함되는 보이스 코일에 인가되는 전원을 차단한다. 모션신호 감지단계(S730)에는 보이스 코일 모터에서 본체의 움직임에 의하여 생성되는 모션 신호를 감지한다.
모션작동 인식단계(S740 내지 S760)에는 모션 신호로부터 본체에 움직임에 의한 모션 작동을 인식한다. 사용자 입력 인식단계(S750)에는 모션 작동으로부터 사용자의 입력을 인식한다.
보이스 코일 모터는 흔들림 보정장치에서 흔들림 센서를 통하여 인식된 본체의 흔들림을 기구적으로 보상하는 액추에이터가 될 수 있다. 따라서, 사용자의 모션 작동을 입력받기 위하여 본 발명에서는 별도의 가속도 센서 등을 포함하지 아니하고, 사용자 모션 작동을 용이하게 입력받을 수 있다.
디지털 영상 처리장치의 제어방법(S700)은 촬영모드 판단단계(S710)를 더 구비할 수 있다. 촬영모드 판단단계(S710)에는 디지털 영상 처리장치가 작동되는 현재의 모드가 영상을 촬영하는 촬영 모드인지 여부를 판단한다. 즉, 본 발명에서는 촬영 모드가 아닌 경우에 손떨림 보정을 위하여 보이스 코일 모터의 보이스 코일에 전원이 인가될 필요가 없는 경우로 인식하고, 보이스 코일 전원 차단단계(S720)를 수행할 수 있다.
예를 들어, 재생 모드에서와 같이 손떨림 보정을 위하여 보이스 코일 모터의 보이스 코일에 전원이 인가될 필요가 없는 경우에 보이스 코일의 전원을 차단하고, 보이스 코일 모터를 통하여 사용자의 모션 작동을 입력받을 수 있다.
모션작동 인식단계(S740 내지 S760)는 모션신호 처리단계(S740), 모션신호 변환단계(S750); 인식단계(S760)를 포함할 수 있다.
모션신호 처리단계(S740)에는 모션 신호를 증폭 및 고주파 노이즈 등의 신호처리를 수행한다. 모션신호 변환단계(S750)에는 아날로그 모션 신호를 디지털 모션 데이터로 변환한다. 인식단계(S760)에는 모션 데이터로부터 사용자의 모션 작동을 인식한다.
사용자 입력 인식단계(S750)에는 모션 데이터의 모션 패턴을 인식하고, 각각의 모션 패턴에 대응되는 사용자 입력을 인식할 수 있다. 또한, 디지털 영상 처리장치의 제어방법(S700)은 사용자 입력에 따른 작동이 수행되는 단계(S780)를 더 구비할 수 있다.
이때, 사용자 입력은 도 8 내지 도 19에 도시된 본체의 움직임에 따라 보이스 코일 모터에서 출력되는 모션 신호의 패턴에 따라 인식될 수 있다.
본 발명에 따르면 별도의 가속도 센서 없이도 사용자에 의한 모션 작동을 용이하게 인식할 수 있게 된다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
도 1은 본 발명에 따른 디지털 영상 처리장치의 실시예로서, 디지털 카메라의 뒷면 외형을 보여주는 도면이다.
도 2 및 도 3은 디지털 영상 처리장치에 장착될 수 있는 보이스 코일 모터를 개략적으로 도시한 블록도이다.
도 4는 도 1의 디지털 카메라 내부에 포함될 수 있는 제어장치를 개략적으로 도시한 블록도이다.
도 5는 본 발명에 따른 바람직한 실시예로서, 디지털 영상 처리장치를 개략적으로 도시한 블록도이다.
도 6은 도 5의 디지털 영상 처리장치에서 동작 인식 인터페이스를 개략적으로 도시한 회로도이다.
도 7은 본 발명에 따른 바람직한 실시예로서, 디지털 영상 처리장치의 제어방법을 개략적으로 도시한 흐름도이다.
도 8 내지 도 19는 보이스 코일 모터에서 작동부의 움직임에 따른 모션 신호의 패턴을 개략적으로 도시한 도면이다.

Claims (20)

  1. 본체;
    상기 본체에 대하여 상기 본체의 움직임과 반대 방향으로 움직이는 작동부, 및 상기 본체에 고정되도록 설치되어, 상기 작동부의 움직임을 감지하는 인식부를 구비하며, 상기 본체에 장착되어 상기 본체의 움직임에 따른 모션 신호를 상기 인식부를 이용하여 생성하는 보이스 코일 모터;
    상기 모션 신호를 처리하여 디지털 신호의 모션 데이터를 생성하는 동작 인식 인터페이스;
    상기 모션 데이터로부터 상기 본체의 모션 작동을 인식하고, 상기 모션 작동에 따른 사용자 입력을 인식하는 제어부를 구비하는 디지털 영상 처리장치.
  2. 제1항에 있어서,
    상기 보이스 코일 모터가 상기 모션 신호를 상기 본체의 움직임에 따른 출력 전압으로 생성하는 홀 센서를 구비하는 디지털 영상 처리장치.
  3. 제2항에 있어서,
    상기 동작 인식 인터페이스가, 상기 출력 전압을 증폭하여 증폭 전압을 생성하는 증폭기, 및 아날로그 신호의 상기 증폭 전압을 디지털 신호의 상기 모션 데이터로 변환하는 신호 변환기를 구비하는 디지털 영상 처리장치.
  4. 제3항에 있어서,
    상기 동작 인식 인터페이스가, 상기 모션 신호의 진폭 범위가 설정된 기준 범위 내가 되도록 조절하는 게인 조절부, 및 상기 모션 신호의 오프셋을 조절하는 오프셋 조절부를 더 구비하는 디지털 영상 처리장치.
  5. 제3항에 있어서,
    상기 출력 전압이 상기 홀 센서에 흐르는 정전류에 대하여 상기 본체의 움직임에 따른 전위차를 형성하는 제1 전압 및 제2 전압을 포함하는 디지털 영상 처리장치.
  6. 제5항에 있어서,
    상기 증폭기가, 상기 제1 전압과 상기 제2 전압의 차이를 증폭하여 차동 증폭 전압을 생성하는 차동 증폭기, 상기 차동 증폭 전압에서 고주파 노이즈를 제거하고 위상을 반전시켜 증폭하는 역상 증폭기를 구비하는 디지털 영상 처리장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 작동부가,
    케이스 내부에 수납되고, 중앙부에 적어도 하나 이상의 렌즈를 포함하는 렌즈군을 고정하고, 상기 본체의 움직임과 반대 방향으로 가속되는 렌즈 홀더,
    상기 렌즈 홀더에 고정되어 상기 렌즈 홀더를 구동하는 구동 자석,
    상기 렌즈 홀더에 고정되어 상기 렌즈 홀더의 움직임이 감지되도록 하는 홀 센서 감지용 자석, 및
    상기 렌즈 홀더가 상기 케이스에 탄성 지지되도록 하는 탄성체를 구비하는 디지털 영상 처리장치.
  9. 제8항에 있어서,
    상기 인식부가, 상기 구동 자석에 대응되는 위치에 장착되어 상기 구동 자석을 구동하는 보이스 코일, 및 상기 홀 센서 감지용 자석의 움직임을 인식하는 홀 센서를 구비하는 디지털 영상 처리장치.
  10. 제1항에 있어서,
    상기 보이스 코일 모터가, 상기 작동부와 상기 인식부 사이에 개재되어, 상기 작동부가 상기 인식부에 대하여 2차원적으로 움직이도록 가이드 하는 적어도 하나 이상의 베어링을 더 구비하는 디지털 영상 처리장치.
  11. 제9항에 있어서,
    상기 보이스 코일에 인가되는 전원이 인가되지 아니하는 상태에서 상기 모션 신호가 생성되는 디지털 영상 처리장치.
  12. 제1항에 있어서,
    상기 본체의 흔들림을 감지하는 흔들림 센서, 및
    상기 흔들림 센서의 출력 신호를 처리하여 상기 제어부에서 처리 가능한 흔들림 신호로 변환하는 흔들림 신호 변환부를 더 구비하는 디지털 영상 처리장치.
  13. 제12항에 있어서,
    상기 제어부에서 상기 흔들림 신호를 입력받아 상기 본체의 흔들림을 보상하도록 렌즈를 움직이는 상기 보이스 코일 모터를 구동하는 보이스 코일 구동신호를 생성하는 디지털 영상 처리장치.
  14. 제13항에 있어서,
    상기 보이스 코일 구동신호를 입력받아 상기 보이스 코일 모터에 포함된 보이스 코일을 구동하는 보이스 코일 구동부를 더 구비하는 디지털 영상 처리장치.
  15. 제1항에 있어서,
    상기 본체의 일 평면에 대한 움직임을 감지하여 상기 모션 작동을 인식하는 디지털 영상 처리장치.
  16. 제1항에 있어서,
    상기 모션 데이터의 모션 패턴을 인식하고, 각각의 상기 모션 패턴에 대하여 사용자 입력이 대응되고, 상기 사용자 입력에 따른 작동이 수행되는 디지털 영상 처리장치.
  17. (a) 본체에 장착되는 보이스 코일 모터에 포함되는 보이스 코일에 인가되는 전원을 차단하는 단계;
    (b) 상기 보이스 코일 모터에서 상기 본체의 움직임과 반대 방향으로 움직이며, 상기 보이스 코일 모터에 구비된 작동부의 움직임을 감지하는 상기 보이스 코일 모터에 구비된 인식부를 이용하여 상기 본체의 움직임에 의하여 생성되는 모션 신호를 감지하는 단계;
    (c) 상기 모션 신호로부터 상기 본체에 움직임에 의한 모션 작동을 인식하는 단계; 및
    (d) 상기 모션 작동으로부터 사용자의 입력을 인식하는 단계를 구비하는 디지털 영상 처리장치의 제어방법.
  18. 제17항에 있어서,
    디지털 영상 처리장치가 작동되는 현재의 모드가 영상을 촬영하는 촬영 모드인지 여부를 판단하는 단계를 더 구비하고,
    현재의 모드가 상기 촬영 모드가 아닌 경우에 상기 (a) 단계에서 상기 보이스 코일에 인가되는 전원을 차단하는 디지털 영상 처리장치의 제어방법.
  19. 제17항에 있어서,
    상기 (c) 단계가, 상기 모션 신호를 처리하여 디지털 신호의 모션 데이터를 생성하는 단계, 및 상기 모션 데이터로부터 상기 모션 작동을 인식하는 단계를 구비하는 디지털 영상 처리장치의 제어방법.
  20. 제17항에 있어서,
    상기 (d) 단계에서 상기 모션 데이터의 모션 패턴을 인식하고, 각각의 상기 모션 패턴에 대응되는 사용자 입력을 인식하고,
    상기 사용자 입력에 따른 작동이 수행되는 단계를 더 구비하는 디지털 영상 처리장치의 제어방법.
KR1020080050452A 2008-05-29 2008-05-29 디지털 영상 처리장치 및 그 제어방법 Expired - Fee Related KR101434203B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080050452A KR101434203B1 (ko) 2008-05-29 2008-05-29 디지털 영상 처리장치 및 그 제어방법
US12/381,916 US8570387B2 (en) 2008-05-29 2009-03-18 Apparatus for processing digital image and method of controlling the same
GB0905364.6A GB2460315B (en) 2008-05-29 2009-03-27 Apparatus for processing digital image and method of controlling the same
DE102009026540A DE102009026540A1 (de) 2008-05-29 2009-05-28 Vorrichtung zur Verarbeitung eines digitalen Bilds und Verfahren zu deren Steuerung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080050452A KR101434203B1 (ko) 2008-05-29 2008-05-29 디지털 영상 처리장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20090124318A KR20090124318A (ko) 2009-12-03
KR101434203B1 true KR101434203B1 (ko) 2014-08-26

Family

ID=40671880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080050452A Expired - Fee Related KR101434203B1 (ko) 2008-05-29 2008-05-29 디지털 영상 처리장치 및 그 제어방법

Country Status (4)

Country Link
US (1) US8570387B2 (ko)
KR (1) KR101434203B1 (ko)
DE (1) DE102009026540A1 (ko)
GB (1) GB2460315B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110013034A1 (en) * 2009-07-15 2011-01-20 Mediatek Inc. Method for operating digital camera and digital camera using the same
KR101068528B1 (ko) * 2009-12-07 2011-09-30 삼성전기주식회사 카메라모듈 및 그 제어방법
KR101095108B1 (ko) * 2010-03-23 2011-12-16 삼성전기주식회사 카메라 모듈
DE102011009646B4 (de) * 2011-01-27 2018-02-08 Hans-Joachim Ollendorf Videozentriersystem und Verfahren zur Bestimmung von Zentrierdaten für Brillengläser
KR101991860B1 (ko) * 2012-05-07 2019-06-24 삼성전자주식회사 카메라 모듈에서 액추에이터 제어 방법 및 장치
KR102194711B1 (ko) * 2015-02-04 2020-12-23 삼성전기주식회사 카메라 모듈 손떨림 보정 장치 및 이의 게인 조정 방법
JP2016151738A (ja) * 2015-02-19 2016-08-22 ルネサスエレクトロニクス株式会社 半導体装置、半導体装置における補正方法およびカメラモジュールの補正方法
EP4481457A3 (en) 2015-03-19 2025-03-12 Lg Innotek Co., Ltd. Camera module wtih lens moving apparatus
US10187573B2 (en) * 2015-07-13 2019-01-22 Apple Inc. Camera voice coil motor driver circuit with variable power supply input voltage
KR102631961B1 (ko) 2015-11-02 2024-01-31 엘지이노텍 주식회사 렌즈 구동 장치 및 이를 포함하는 카메라 모듈
CN109923471B (zh) 2016-09-30 2022-01-14 Lg伊诺特有限公司 透镜移动设备及包括该设备的相机模块和光学装置
WO2019131935A1 (ja) * 2017-12-27 2019-07-04 富士フイルム株式会社 像ぶれ補正装置、撮像装置、像ぶれ補正方法、及び像ぶれ補正プログラム
WO2019216681A1 (ko) * 2018-05-11 2019-11-14 엘지전자 주식회사 프리즘 모듈, 이를 구비하는 카메라, 및 영상표시장치
KR102547878B1 (ko) 2018-05-11 2023-06-27 엘지이노텍 주식회사 카메라 모듈 및 이의 동작 방법
KR102581599B1 (ko) 2018-05-11 2023-09-25 엘지전자 주식회사 프리즘 모듈, 이를 구비하는 카메라, 및 영상표시장치
CN111294505B (zh) * 2019-07-19 2021-05-04 展讯通信（上海）有限公司 图像处理方法及装置
CN111654603B (zh) * 2020-05-27 2021-12-14 维沃移动通信有限公司 拍摄装置、电子设备及拍摄装置的控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200900B1 (ko) * 1997-07-16 1999-06-15 윤종용 왕복동형 압축기
JP2005321797A (ja) * 2004-05-10 2005-11-17 Hewlett-Packard Development Co Lp 画像安定化システムおよび方法
KR20060035148A (ko) * 2004-10-21 2006-04-26 (주)두모션 모바일 기기의 동작 인식 장치 및 이를 이용한 사용자의동작 인식 방법
KR20060076588A (ko) * 2004-12-29 2006-07-04 주식회사 팬택앤큐리텔 영상촬영시 떨림 보정기능을 가지는 무선통신 단말기

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078308A (en) 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
US6263162B1 (en) * 1998-08-25 2001-07-17 Canon Kabushiki Kaisha Image-shake preventing apparatus
US7453494B2 (en) * 2004-03-09 2008-11-18 Hoya Corporation Anti-shake apparatus having magnetic position detectors positioned on one axis with common input circuitry
US8045009B2 (en) * 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
JP3946757B2 (ja) * 2004-10-25 2007-07-18 三菱電機株式会社 撮像装置
KR101304125B1 (ko) 2005-09-02 2013-09-05 에이일이삼 시스템즈 인코포레이티드 전지 셀의 구조와 그 구성 방법
JP2007093448A (ja) 2005-09-29 2007-04-12 Aichi Steel Works Ltd モーションセンサ及びこれを用いた携帯電話機
US20070097221A1 (en) 2005-10-28 2007-05-03 Stavely Donald J Systems and methods of exposure restart for cameras
JP2007286812A (ja) 2006-04-14 2007-11-01 Sony Corp 携帯型電子機器、ユーザインターフェイス制御方法、プログラム
KR100819301B1 (ko) * 2006-12-20 2008-04-03 삼성전자주식회사 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치
KR101035791B1 (ko) 2007-06-19 2011-05-20 자화전자(주) 카메라 렌즈 어셈블리의 손떨림 보정 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200900B1 (ko) * 1997-07-16 1999-06-15 윤종용 왕복동형 압축기
JP2005321797A (ja) * 2004-05-10 2005-11-17 Hewlett-Packard Development Co Lp 画像安定化システムおよび方法
KR20060035148A (ko) * 2004-10-21 2006-04-26 (주)두모션 모바일 기기의 동작 인식 장치 및 이를 이용한 사용자의동작 인식 방법
KR20060076588A (ko) * 2004-12-29 2006-07-04 주식회사 팬택앤큐리텔 영상촬영시 떨림 보정기능을 가지는 무선통신 단말기

Also Published As

Publication number Publication date
GB0905364D0 (en) 2009-05-13
KR20090124318A (ko) 2009-12-03
US20090295978A1 (en) 2009-12-03
GB2460315B (en) 2012-06-06
US8570387B2 (en) 2013-10-29
DE102009026540A1 (de) 2009-12-03
GB2460315A (en) 2009-12-02

Similar Documents

Publication Publication Date Title
KR101434203B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR101398475B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR20100059555A (ko) 디지털 카메라 및 그 제어방법
JP5296346B2 (ja) 撮影装置
KR20100092217A (ko) 디지털 영상 처리장치 및 그 제어방법
KR101599880B1 (ko) 디지털 영상 처리장치 및 그 제어방법
US20100118155A1 (en) Digital image processing apparatus
KR101499554B1 (ko) 디지털 영상 처리장치
KR20090042594A (ko) 디지털 영상 처리장치 및 그 제어방법
JP2009047756A (ja) 撮影装置
KR101442613B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR101564417B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR101417803B1 (ko) 디지털 영상 처리장치
KR101396333B1 (ko) 디지털 영상 처리장치 및 그 제어방법
JP4952634B2 (ja) 録音装置
KR101387408B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR101436321B1 (ko) 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
KR101362769B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR20100070055A (ko) 디지털 영상 처리장치
KR101284038B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR20110056102A (ko) 디지털 영상 처리장치 및 그 제어방법
KR20100099007A (ko) 디지털 영상 처리장치 및 그 제어방법
KR101444101B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR101336924B1 (ko) 디지털 영상 처리장치 및 그 제어방법
JP2007322349A (ja) 角速度演算装置、角速度演算方法および撮像装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20190821

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20190821

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000