[go: up one dir, main page]

KR100691245B1 - 휴대단말의 렌즈 위치오차 보정방법 - Google Patents

휴대단말의 렌즈 위치오차 보정방법 Download PDF

Info

Publication number
KR100691245B1
KR100691245B1 KR1020060042691A KR20060042691A KR100691245B1 KR 100691245 B1 KR100691245 B1 KR 100691245B1 KR 1020060042691 A KR1020060042691 A KR 1020060042691A KR 20060042691 A KR20060042691 A KR 20060042691A KR 100691245 B1 KR100691245 B1 KR 100691245B1
Authority
KR
South Korea
Prior art keywords
lens
focus value
mobile terminal
focus
lens position
Prior art date
Application number
KR1020060042691A
Other languages
English (en)
Inventor
한찬호
권성근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060042691A priority Critical patent/KR100691245B1/ko
Application granted granted Critical
Publication of KR100691245B1 publication Critical patent/KR100691245B1/ko
Priority to DE602007013138T priority patent/DE602007013138D1/de
Priority to EP07106936A priority patent/EP1855135B1/en
Priority to US11/801,672 priority patent/US7693411B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02K—DYNAMO-ELECTRIC MACHINES
    • H02K41/00—Propulsion systems in which a rigid body is moved along a path due to dynamo-electric interaction between the body and a magnetic field travelling along the path
    • H02K41/02—Linear motors; Sectional motors
    • H02K41/035—DC motors; Unipolar motors
    • H02K41/0352—Unipolar motors
    • H02K41/0354—Lorentz force motors, e.g. voice coil motors
    • H02K41/0356—Lorentz force motors, e.g. voice coil motors moving along a straight path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 발명은, 휴대단말의 렌즈 위치오차 보정방법에 관한 것으로, 더욱 상세하게는 보이스 코일 모터를 구비한 휴대단말의 히스테리시스 특성으로 인한 렌즈 위치 오차를 오토포커싱에 의해 보정하는 휴대단말의 렌즈 위치오차 보정방법에 관한 것이다.
이를 위하여 본 발명은, 렌즈와 피사체 사이의 거리를 조절하여 피사체의 초점을 설정하는 휴대단말의 렌즈 위치오차 보정방법에 있어서, 휴대단말의 촬영모드에서 소정의 피사체를 감지하는 과정; 상기 렌즈를 이동시키면서 상기 감지된 피사체에 대한 포커스 값을 검출하여 저장하는 과정; 현재 검출된 포커스 값과 상기 저장된 직전 포커스 값을 비교하는 과정; 상기 포커스 값의 기울기의 부호가 변경되는 경우 상기 직전 포커스 값에 대응하는 렌즈위치를 최적 초점위치로 설정하는 과정; 상기 최적 초점위치로 휴대단말 렌즈를 이동시키는 과정을 포함한다.
이에 따라, 휴대단말 렌즈의 관성, VCM 코일 전류 방향 전환의 시간 지연 및 VCM 히스테리시스로 인한 렌즈위치 오차를, 스텝길이 및 렌즈 이동 횟수를 조절하여 보정함으로써, 불필요한 최대 포커스 값 검색과정을 생략하고 오토포커싱 제어를 신속하게 수행할 수 있다.
오토포커싱, 보이스 코일 모터, 히스테리시스 특성, 렌즈위치 오차보정, 포커스 값

Description

휴대단말의 렌즈 위치오차 보정방법{Method for compensating lens position error in mobile terminal}
도 1은 일반적인 휴대단말 영상기기에서 렌즈 위치에 따른 포커스 값 표시도,
도 2는 일반적인 휴대단말 영상기기에서 자동초점제어를 위한 산등 검색 알고리즘 표시도,
도 3은 본 발명에 따른 바람직한 일 실시예에서 서로 다른 스텝길이를 사용한 경우의 포커스 값 특성 그래프,
도 4는 본 발명의 바람직한 일 실시 예에 따른 렌즈 위치오차 보정기능을 구비한 휴대단말의 구성도,
도 5a는 본 발명의 바람직한 일 실시예에 따른 VCM을 이용한 자동 초점 제어 블록도, 도 5b는 렌즈 위치 제어 회로,
도 6a는 본 발명의 바람직한 일 실시예에 따른 VCM을 구비한 휴대단말 카메라 모듈, 도 6b는 상기 도 6a의 카메라 모듈의 내부 구조, 도 6c는 상기 도 6b의 VCM 구조도,
도 7a는 본 발명의 바람직한 일 실시예에서 VCM 전류에 따른 렌즈 위치도, 도 7b는 상기 도 7a의 렌즈 위치에 따른 초점 거리 변화도,
도 8은 본 발명의 바람직한 일 실시예에 따른 히스테리시스 보정 고속 검색 알고리즘의 흐름도,
도 9는 본 발명의 바람직한 일 실시예에 따른 히스테리시스 보정구간을 도시한 그래프,
도 10은 본 발명에 따른 바람직한 일 실시예에서 테스트 패턴을 이용한 자동초점 실험을 도시한 구성도,
도 11은 본 발명에 따른 바람직한 일 실시예에서 초점 거리에 따른 최대 포커스 값 위치를 도시한 그래프,
도 12는 종래 산등 검색 알고리즘에 따른 렌즈위치제어방법 및 본 발명에 따른 렌즈위치제어방법을 이용한 수렴 속도 결과 및 포커스 값을 나타낸 그래프,
도 13은 종래 산등 검색 알고리즘에 따른 렌즈위치제어방법 및 본 발명에 따른 렌즈위치제어방법을 이용한 자동 초점 결과 영상도이다.
본 발명은, 휴대단말의 렌즈 위치오차 보정방법에 관한 것으로, 더욱 상세하게는 보이스 코일모터(Voice Coil Motor, 이하 VCM)를 구비한 휴대단말의 히스테리시스 특성(hysteresis characteristic)으로 인한 렌즈 위치오차를 오토포커싱(auto focusing)에 의해 보정하는 휴대단말의 렌즈 위치오차 보정방법에 관한 것이다.
소비자의 구매를 자극하는 새로운 기술 및 기능으로 인하여, 휴대단말(예를들어, 카메라 겸용 휴대폰, 디지털 카메라 등) 시장은 짧은 기간에 대단히 빠른 성장을 하고 있다. 특히 사물을 촬영, 저장, 및 전송할 수 있는 카메라 폰은 단순한 음성통화의 용도에서 벗어나 멀티미디어 커뮤니케이션의 중심 역할을 하고 있으며, 카메라 폰이 이러한 역할을 하기 위해서는, 자동초점 제어기능(auto focusing function)을 구비하는 것이 필수적이다.
종래 촬영기능을 구비한 휴대단말의 자동초점 제어 방식은 카메라와 피사체간의 거리 측정 방법에 따라 크게 능동형 방식과 수동형 방식으로 분류될 수 있다.
능동형 자동 초점 제어방식은 초음파나 적외선을 방출하여 피사체에 의해서 반사된 신호를 이용하여 카메라와 피사체 사이의 거리를 측정하는 방식이다. 이러한 방식은 어두운 장소에서도 우수한 초점조절 능력을 갖지만, 신호의 방출 및 검출을 위하여 별도의 장치가 필요하고, 이 장치의 성능으로 인하여 정확도와 신뢰도가 저하되는 단점을 가진다.
수동형 자동 초점 제어방식은 영상 센서로부터 획득한 영상의 고주파 성분을 검출하여 초점조절에 유용한 포커스 값 (focus value, FV)을 획득하고, 이 FV가 최대값이 되는 지점으로 렌즈를 이동시키는 방법이다. 이러한 수동형 방식은 FV를 검출하는 부분, FV를 평가하여 렌즈의 이동 위치를 결정하는 부분, 및 렌즈를 제어하는 부분으로 구성될 수 있다. FV의 최대값을 찾는 방법으로 가장 기본적인 방법은 산등 탐색 기법이다. 수동형 방식은 별도의 장치 없이 획득된 영상신호로부터 초점 제어에 대한 정보를 얻기 때문에, 소형이면서도 정확도가 높다는 장점 때문에 대부 분의 카메라에서 보편화되어 있다.
한편, 촬영기능을 구비한 영상기기에서 자동초점 제어를 위해 렌즈를 이동시키는 액츄에이터(actuator)로서 스텝 모터가 보편적으로 사용되고 있다. 스텝모터에 의해 제어된 초점 렌즈의 위치는 스텝모터의 회전수에 비례하기 때문에, 렌즈는 무게, 크기, 및 관성에 무관하게 정확한 초점 위치로 이동될 수 있다.
그러나 상기 스텝모터는 크기와 부피 면에서 소형의 휴대단말에 적합하지 않으며, 그에따라 촬영기능을 구비한 휴대단말에서는 자동 초점 제어를 위하여, 스피커 등에 사용되고 있는 초소형 보이스 코일 모터를 사용하여 렌즈를 이동시킨다. VCM은 빠른 응답특성으로 직선운동에 유리하고, 비교적 긴 행정 거리로 인하여 소형화 및 정밀 위치 제어에 유리한 장점을 가지고 있다.
상기 촬영기능을 구비한 휴대단말의 포커스 값 산출방법 및 자동 초점 제어방식을 살펴보면 다음과 같다.
도 1은 일반적인 휴대단말 영상기기에서 렌즈 위치에 따른 포커스 값 표시도이다.
일반적으로 영상의 밝기 변화에 의한 기울기로 구해지는 포커스 값은 영상의 초점 단계를 측정하는 성능 변수이다. 포커스 값은 화소 밝기 변화에 의한 기울기의 합, 또는 기울기 에너지의 합으로 다음 <수학식 1>과 같이 구해진다.
Figure 112006033145680-pat00001
여기서 FV는 포커스 값이며, g(x,y)는 (x,y) 위치에서 영상 밝기 변화에 의한 기울기 값이다. 기울기 값의 에너지 합을 이용하여 포커스 값을 구하는 방식은 초점이 맞는 영상과 그렇지 않은 영상을 보다 명확히 구분하기 때문에, 초점 제어를 위한 방식으로 보다 적당하다. 화소 밝기 변화에 의한 기울기를 계산하는 방법으로는, 다음 <수학식 2>에 따른 방법이 일반적이다.
Figure 112006033145680-pat00002
여기서
Figure 112006033145680-pat00003
는 (x,y) 위치에서 입력된 영상 데이터의 3×3 행렬 이다. 그리고
Figure 112006033145680-pat00004
는 3×1 가중치 벡터 행렬이다. 여기서
Figure 112006033145680-pat00005
들의 선택에 따라 다양한 방법으로 기울기가 얻어진다.
1)첫째,
Figure 112006033145680-pat00006
이면, Tenengrad 기울기의 특정한 형태인 Sobel 기울기(미분)가 구현된다.
2)둘째,
Figure 112006033145680-pat00007
이면, Robert 기울기가 구현되며, 여기서
Figure 112006033145680-pat00008
를 원 영상 데이터의 1차 미분으로 대치하면 Laplacian 기울기가 구현된다.
3)셋째.
Figure 112006033145680-pat00009
이면, 원 영상 데이터에 메디안 필터 변환이 먼저 적용되어 FSWM 기울기가 구현된다.
자동초점제어를 위한 기울기 연산자는 영상 출력으로부터 고주파 성분을 검출할 수 있어야 하며, 백색잡음 및 임펄스 잡음을 억제할 수 있어야 한다. 이러한 효과적인 기울기 연산자는 영상 경계선 검출을 위해 제안되었다. 상기 경계선 검출에서의 개념은 자동초점제어를 위한 개념과 매우 비슷하다. 그래서 실시간 경계선 검출기법들은 자동초점제어를 위한‘산등 검색 알고리즘’에서 채택되고 있다.
그러나, VCM을 사용한 휴대단말의 자동초점 제어방식에서, 종래의 산등검색 알고리즘을 사용하면, 상기 VCM이 렌즈의 무게, 크기, 및 관성 등의 영향을 받고 또한 VCM의 히스테리시스 특성(hysteresis characteristics)으로 인하여, 휴대단말의 렌즈를 원하는 위치로 이동시키는데 시간지연이 발생한다는 문제가 있다.
이하 도 2를 참고하여, VCM을 사용한 휴대단말에서 종래의 산등검색 알고리 즘에 따른 자동초점 제어방식의 문제점을 설명한다.
도 2는 일반적인 휴대단말 영상기기에서 자동초점제어를 위한 산등 검색 알고리즘 표시도이다.
도 2에 도시된 포커스 값 곡선은 렌즈 위치에 따른 포커스 값의 변화를 나타낸다. 이 곡선의 최고점은 최대 포커스 값이고 이에 대응하는 렌즈의 위치가 최적 초점 위치로 간주된다.
또한 자동초점 제어 알고리즘이 좋은 성능을 갖기 위해서는 초점이 맞는 위치에서 초점 곡선이 첨예함을 가져야 하며, 초점이 맞지 않는 곳에서도 초점 렌즈의 원활한 이동을 위하여 초점 곡선은 적당한 기울기를 갖고 있어야 한다.
초점이 잘 맞은 영상을 얻기 위해서, 휴대단말의 초점렌즈를 이동시키면서 포커스 값을 검출하여 포커스 값의 최대치를 찾는다. MCS (mountain climb servo) 또는 HCS (hill-climbing search)라고 지칭되는 산등 검색 알고리즘은 디지털 카메라에서 최대 포커스 값을 고속으로 검색하기 위해 개발되었다. 일반적인 산등 검색 알고리즘은 휴대단말렌즈가 최대 포커스 값에 대응하는 위치로 빠르게 수렴할 수 있도록 하기 위해 도 2에서와 같이 두 가지의 서로 다른 검색단계로 구분된다.
첫 번째 단계는 소정의 길이로 설정된 렌즈의 1회 이동거리(step size)에 따라 렌즈를 이동시키면서 포커스 값의 기울기가 변화하는 위치를 검출하는 단계이다. 현재 검출한 포커스 값과 직전에 검출한 포커스 값을 이용하여 계산되는 포커스값 기울기의 부호가 변화되는 경우 두 번째 검색 단계로 들어간다.
두 번째 단계는 렌즈 이동방향을 바꾸어 렌즈의 1회 이동거리를 상기 첫 번 째 단계에서의 스텝길이보다 더 짧게 하여 렌즈를 이동시키면서 최대 포커스 값을 검출한다.
상기 첫 번째 검색 단계를 비초점 영역검색 (out focused region searching, OFRS), 두 번째 검색단계를 초점영역 검색 (focused region searching, FRS)이라 정의한다.
기존의 산등 검색 알고리즘을 사용하여 자동 초점제어를 행하는 경우, 첫 번째 최대 포커스 값 검색과정을 수행하는 영상 프레임 수는 다음 <수학식 3>과 같다.
Figure 112006033145680-pat00010
여기서 Pmax는 휴대단말 렌즈의 이동 가능 거리의 최대값이며, S1st는 제1차 포커스값 검색 과정에서의 렌즈의 1회 이동거리(step size)이다. 휴대단말 렌즈가 최대 포커스 값에 대응하는 렌즈위치에 가깝게 위치할 경우, 제1차 포커스값 검색 과정을 수행하는 최대 프레임 수가 된다. 예를 들어 Pmax=255, S1st=16일 경우, 첫 번째 검색과정을 위해 최대 16 프레임 동안 소정의 길이씩 렌즈가 이동할 수 있다. 다음으로 두 번째 검색 단계에 소요되는 영상 프레임 수는 다음 <수학식 4>와 같다.
Figure 112006033145680-pat00011
여기서 S 2nd 는 제2차 포커스값 검색 과정에서의 렌즈의 1회 이동거리(step size)이다. 휴대단말 렌즈가, 제1차 포커스값 검색 과정의 F N -2 포커스 값에 대응하는 렌즈 위치 바로 오른쪽에 위치한다면, 제2차 포커스값 검색 과정에서 수행가능한 최대 프레임 수가 산출된다. 예를들어 S 1st =16, S 2nd =2일 경우, 제2차 포커스값 검색 과정을 위해 최대 16 프레임에 해당하는 렌즈이동 시간이 소요될 수 있다. 따라서 산등 검색을 사용하여 자동초점을 수행할 경우 소요되는 최대 시간은 다음 <수학식 5>와 같다.
Figure 112006033145680-pat00012
상기 예에서 최대 포커스 값을 얻을 수 있는 위치로 렌즈를 이동시키기 위해서는 총 32프레임에 해당하는 렌즈이동 시간이 소요된다,
일반적으로 휴대폰 카메라의 렌즈 직경은 디지털 카메라의 렌즈 직경보다 작기 때문에, 피사체를 식별하기 위한 최저 입사광량을 얻기 위한 휴대폰 카메라의 셔터 1회 개방시간(t frame )은 디지털 카메라의 셔터 1회 개방시간(t frame )보다 길다. 일반적인 디지털 카메라의 경우 t frame =1/30[sec] 이므로 tmax=1.07sec 이다. 그러나 휴대폰 카메라의 경우 t frame =1/15[sec]이기 때문에 tmax=2.13sec 이다.
따라서, 종래의 산등 검색 알고리즘을 사용하면 최대 포커스값을 갖도록 렌즈를 이동시키는데 걸리는 시간(즉, 휴대단말의 자동초점 제어시간)이 2.13초로서, 휴대단말의 자동초점 제어를 신속하게 할 수 없다는 문제점이 있다.
한편, 히스테리시스 특성 및 렌즈의 관성으로 인하여, 보이스 코일 모터에 동일한 전류값을 인가하여 동일한 렌즈의 위치를 제어하는 경우에도 포커스 값(focus value, FV)이 달라지는 문제가 있으며, 이는 렌즈위치에 대한 오차가 발생하여 렌즈가 최적 초점위치를 벗어났음을 의미한다.
이하 도 3을 참고하여 VCM을 사용한 휴대단말 카메라에서, VCM에 동일한 전류값을 인가한 경우라도 포커스 값(focus value, FV)이 변동되고, 렌즈위치에 대한 오차가 발생하여 휴대단말의 렌즈가 최적 초점위치를 벗어나게 되는 문제점을 설명한다.
도 3은 본 발명에 따른 바람직한 일 실시예에서 서로 다른 스텝길이를 사용한 경우의 포커스 값 특성 그래프로서, 휴대폰 카메라 렌즈 20cm 앞에 테스트 영상을 위치시키고, 보이스 코일 모터에 동일한 전류값을 인가한 경우에, 스텝길이(step size, 휴대단말 렌즈의 1회 이동거리)의 상대적 크기를 +16steps, +1step, -1step, -7steps으로 하여 렌즈를 이동시켰을 때 발생하는 포커스 값이 도시되어 있다.
도 3의 수평축은 렌즈위치 이동을 위하여 제어된 디지털 값으로서, 렌즈의 최대 이동거리를 256등분한 경우의 렌즈 위치이고, 수직축은 각각의 렌즈위치에 대응하는 최대 포커스 값이고, AF+(최초 렌즈전진과정), AF++(2차 렌즈전진과정), AF--(2차 렌즈후퇴과정) 및 AF-(최초 렌즈후퇴과정)의 스텝길이의 상대적 크기는 각각 +16(AF+ 과정), +1(AF++ 과정), -1(AF-- 과정), 및 -7(AF- 과정)이다.
상기 휴대단말 렌즈의 스텝길이의 크기를 달리함에 따라, 최대 포커스 값에 대응하는 렌즈의 위치(도 3의 수평축에서의 위치)도, 160(AF+ 과정), 124(AF++ 과정), 121(AF- 과정) 및 108(AF-- 과정)으로 변동되어, 그 차이가 크게 발생하였다.
여기서 주목해야 할 점은 최대 포커스 값에 대응하는 렌즈의 위치는 동일하여야 한다는 것이다. 따라서 상기한 바와 같이 휴대단말 렌즈의 스텝길이의 크기가 달라짐에 따라 최대 포커스 값에 대응하는 렌즈의 위치가 변동하는 현상은, VCM의 전류 지연, 렌즈 모듈의 관성, 및 VCM의 히스테리시스 등에 의한 렌즈 위치오차로 인한 것으로 판단된다.
따라서 자동초점을 위해 VCM을 사용한 휴대폰에서 기존의 산등 검색 알고리즘을 그대로 사용할 경우, 최대 포커스 값 중복탐색 구간을 가지게 되어 최대 포커스 값검색 시간이 늘어나며, 자동 초점을 수행한 최종 포커스 값이 최대 포커스 값이 되지 못함으로써 정확한 초점에 렌즈를 위치시키지 못하는 문제가 발생한다.
본 발명의 상기한 바와 같은 문제점을 해결하기 위한 것으로, 휴대단말의 포커스 값의 기울기 변화가 시작되기 직전의 렌즈위치를 최대 포커스 값 검색 시작 위치로 설정함으로써 최대 포커스 값 검색 시간을 단축시키는 휴대단말의 렌즈 위치오차 보정방법을 제공하는 것을 목적으로 한다.
또한, 휴대단말 렌즈의 관성, VCM 코일 전류 방향 전환의 시간 지연 및 VCM 히스테리시스로 인한 렌즈위치 오차를, 스텝길이(step size) 및 렌즈 이동 횟수를 조절하여 보정함으로써, 불필요한 최대 포커스 값 검색과정을 생략하고 최대 포커스 값 검색 속도를 향상시키는 휴대단말의 렌즈 위치오차 보정방법을 제공하는 것을 목적으로 한다.
또한 최대 포커스 값 위치를 검출하기 위한 최종 렌즈위치 보정과정에서의 스텝길이를 이전의 렌즈위치 보정과정에서의 스텝길이보다 작게 함으로써 최대 포커스 값 검색 및 오토포커싱 제어를 신속하게 수행시키는 휴대단말의 렌즈 위치오차 보정방법을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 휴대단말의 렌즈 위치오차 보정방법은, 렌즈와 피사체 사이의 거리를 조절하여 피사체의 초점을 설정하는 휴대단말의 렌즈 위치오차 보정방법에 있어서, 휴대단말의 촬영모드에서 소정의 피사체를 감지하는 과정; 상기 렌즈를 이동시키면서 상기 감지된 피사체에 대한 포커스 값을 검출하여 저장하는 과정; 현재 검출된 포커스 값과 상기 저장된 직전 포커스 값을 비교하는 과정; 상기 포커스 값의 기울기의 부호가 변경되는 경우 상기 직전 포커스 값에 대응하는 렌즈위치를 최적 초점위치로 설정하는 과정; 상기 최적 초점위치로 휴대단말 렌즈를 이동시키는 과정을 포함한다.
또한, 상기 최적 초점위치로 휴대단말 렌즈를 이동시키는 과정은, 휴대단말 렌즈의 스텝길이를 설정하는 단계와; 휴대단말 렌즈의 이동방향을 결정하는 단계와; 피사체에 대한 포커스 값을 계산하는 단계와; 최대 포커스 값을 검출하여 그에 대응하는 렌즈위치를 설정하는 단계와; 히스테리시스 에러를 보정하는 단계와; 최적 초점위치를 결정하는 단계를 포함하는 것이 바람직하다.
상기 포커스 값의 기울기는 상기 현재 검출된 포커스 값 및 상기 저장된 직전 포커스 값을 이용하여 산출하며,
상기 포커스 값의 기울기의 부호가 변경되는 경우, 상기 직전 포커스 값에 대응하는 렌즈위치로 휴대단말 렌즈를 이동시킨 후, 상기 각 과정을 소정의 회수만큼 반복하는 것이 바람직하다.
그리고, 상기 포커스 값의 기울기의 부호가 변경되기 전에는, 렌즈 스텝길이를 일정하게 유지하는 것이 바람직하다.
또한, 상기 포커스 값의 기울기의 부호가 변경된 후에는, 렌즈 스텝길이를 가변시키는 것이 바람직하다.
한편, 상기 각 과정으로 구성되는 렌즈 위치오차 보정과정이 소정의 회수만큼 반복될 때마다, 상기 포커스 값의 기울기의 부호가 변경되기 전까지의 렌즈 스 텝길이는 직전의 렌즈 위치오차 보정과정에서의 렌즈 스텝길이에 비하여 소정의 비율로 축소된다. 상기 렌즈 스텝길이는 휴대단말 렌즈의 1회 이동거리이다.
또한, 상기 휴대단말은 소정의 렌즈이동수단을 구비하고, 상기 렌즈이동수단은 휴대단말 렌즈의 움직임을 제어하며,
상기 소정의 렌즈이동수단은 보이스 코일모터 및 판 스프링을 포함하여 구성되는 것이 바람직하다.
상기 휴대단말의 렌즈 위치오차는 휴대단말의 히스테리시스 특성으로 인해 발생하며,
상기 휴대단말의 렌즈 위치오차는 휴대단말의 렌즈이동수단에 공급하는 전류량을 제어하여 보정하는 것이 바람직하다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 렌즈 위치오차 보정기능을 구비한 휴대단말의 구성도이다.
상기 본 발명의 일 실시 예에 따른 휴대단말은 카메라 기능 및 이동통신기능을 구비한다.
RF부(480)는 휴대 단말의 무선 통신 기능을 수행한다. 상기 RF부(480)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡 음 증폭하고 주파수를 하강 변환하는 RF수신기 등을 포함한다.
데이터처리부(490)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 즉, 상기 데이터 처리부(490)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다.
휴대단말 제어부(410)는 휴대단말의 전반적인 동작을 제어하는 기능을 수행한다. 또한, 상기 제어부(410)는 상기 데이터 처리부(490)를 포함할 수도 있다. 또한, 상기 제어부(410)는 본 발명의 일 실시 예에 따라 메모리부(420), 오디오처리부(440), 영상처리부(460), 표시부(470), 데이터처리부(490) 및 VCM제어부(411)와 연결되어 데이터를 교환, 가공, 처리하고, 호(call)를 설정하며, 카메라 렌즈의 움직임을 제어한다.
특히, 본 발명의 바람직한 일 실시예에서, 보이스 코일 모터(412)는 보이스 코일에 가해지는 전류로 인해 발생하는 자기장과 영구자석과의 척력 및 보이스 코일 모터 제어부의 판 스프링의 인력의 크기를 조절하여 렌즈를 정밀하게 이동시키는 구성을 특징으로 한다. 상기 VCM은 이미지 센서 역할을 하는 CCD 및 이미지 센서로부터의 데이터로부터 포커스 값을 계산하는 디지털 시그널 프로세서(DSP)에 연결된다.
또한, 보이스 코일 모터 제어부(411)는, 렌즈위치를 제어하기 위한 디지털/아날로그 컨버터 및 렌즈위치제어를 위한 전류값을 제공하는 직류회로를 포함하여 구성된다.
메모리 부(420)는 데이터 정보를 저장하며, 또한 휴대단말의 작동 중에 발생하는 데이터를 일시 저장하는 기능을 수행한다.
오디오 처리부(440)는 상기 데이터 처리부(490)의 오디오 코덱에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부(490)의 오디오 코덱에 전송하는 기능을 수행한다.
카메라부(camera module)(450)는 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 상기 카메라센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부를 구비한다. 여기서 상기 카메라 센서는 CCD센서라 가정하며, 상기 신호처리부는 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 또한, 상기 카메라 센서 및 신호처리부는 일체형으로 구현할 수 있으며, 또한 분리하여 구현할 수도 있다.
영상처리부(460)는 상기 카메라부(15)에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부(460)는 상기 카메라 부(450)에서 출력되는 영상신호를 프레임 단위로 처리하며, 상기 프레임 영상데이터를 표시부(470)의 특성 및 크기에 맞춰 출력한다. 또한, 상기 영상처리부(460)는 영상코덱을 구비하며, 상기 표시부(470)에 표시되는 프레임 영상데이터를 선택된 방식으로 압축하거나, 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. 상기 영상처리부(460)는 OSD(On Screen Display) 기능을 구비한다고 가정하며, 상기 제어부(410)에 의하여 제어되어 표시되는 화면크기에 따라 온-스크린(on-screen) 표시 데이터를 출력할 수 있다.
표시부(470)는 상기 영상처리부(460)에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부(10)에서 출력되는 데이터를 표시한다. 여기서 상기 표시부(470)는 LCD를 사용할 수 있으며, 이런 경우 상기 표시부(470)는 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD 표시소자 등을 구비할 수 있다.
특히, 본 발명에 따른 일 실시 예에서는, 상기 표시부의 LCD화면은 터치스크린(touch-screen)기능을 구비한다.
키 입력부(430)는 숫자 및 문자 정보 등을 포함하는 소정의 전화번호를 입력하기 위한 키들 및 각종 기능들을 설정하기 위한 기능키들을 구비하며, 또한 상기 기능키의 단축키를 구비할 수 있으며, 예를들어, 상기 단축키는 '#' 또는 '*' 일 수 있다.
도 5a는 본 발명의 바람직한 일 실시예에 따른 VCM을 이용한 자동 초점 제어 블록도, 도 5b는 렌즈 위치 제어 회로이다.
도 5a에서, 본 발명의 바람직한 일 실시예에 따른 히스테리시스 보정 고속 검색 알고리즘을 수행하기 위하여, VCM을 사용한 LZ0P3731 카메라 모듈과 휴대폰용 멀티미디어 프로세서인 TMS320DM270을 사용하여 도 5b와 같은 렌즈 위치 제어 회로를 구성하였다.
도 6a는 본 발명의 바람직한 일 실시예에 따른 VCM을 구비한 휴대단말 카메라 모듈, 도 6b는 상기 도 6a의 카메라 모듈의 내부 구조, 도 6c는 상기 도 6b의 VCM 구조도이다.
본 발명에 따른 바람직한 일 실시예에서 액추에이터로 사용되는 초소형 보이스 코일 모터(VCM)는 빠른 응답특성으로 직선운동에 유리하고 비교적 긴 행정 거리로 소형화 및 정밀 위치 제어에 유리한 장점을 가지고 있다.
특히, 양 방향으로 구동하는 일반적인 VCM과 달리, 본 발명에 따른 바람직한 일 실시예에서 사용된 카메라 모듈의 VCM은 도 6c에서와 같이 단일 방향으로 구동되는 형태로 되어있다. 영구자석의 자기장 속에 있는 보이스 코일에 전류를 인가함으로써 발생하는 힘 F는 플레밍의 왼손 법칙에 따라서 순방향으로 작용하여 렌즈를 앞으로 움직인다. 한편 역 방향 렌즈 움직임은 도 6a에 보인 판 스프링(AF1 및 AF2)의 복원력을 사용한다. 코일에 흐르는 전류에 의해 이동된 렌즈 위치는 AF1 및 AF2의 판 스프링을 l만큼 이격시킨다. 이격 거리 l에 의한 AF1 및 AF2의 판스프링 복원력은 전류에 의한 힘 F가 작아질 경우 렌즈를 뒤로 이동시킨다. 따라서 렌즈는 전류에 의한 힘 F와 AF1 및 AF2에 의한 스프링의 복원력이 균형을 이루는 곳에 위치한다.
도 7a는 본 발명의 바람직한 일 실시예에서 VCM 전류에 따른 렌즈 위치도, 도 7b는 상기 도 7a의 렌즈 위치에 따른 초점 거리변화도이다.
VCM에 흐르는 전류에 따른 렌즈의 움직임 및 렌즈 위치를 그림으로 나타내면 도 7a와 같으며, VCM에 의해 움직인 렌즈 위치에서 초점이 맞는 피사체의 위치를 그림으로 나타내면 도 7b와 같다.
상기 도 7a, 도 7b에서 본 발명의 바람직한 일 실시예에 사용된 VCM을 사용한 휴대폰 카메라는 도 7a의 점 A～B와 같이 피사체가 50cm 보다 멀리 존재할 경우, 렌즈 움직임은 50μm 이하이고, 35mA 이하의 전류로 구동된다. 그리고 점 C와 같이 렌즈가 240μm 이동하였을 때, 최적 초점 거리가 11cm임을 알 수 있다.
따라서 이 렌즈의 초점거리조절은 약 10cm～500cm 사이의 피사체에 대해서 10～240μm 의 렌즈 이동으로 최적의 오토 포커싱(auto focusing) 조정이 가능함을 알 수 있다.
도 8은 본 발명의 바람직한 일 실시예에 따른 히스테리시스 보정 고속 검색 알고리즘의 흐름도이다.
801단계에서, 휴대단말은 촬영모드 대기상태이다.
803단계에서, 휴대단말 제어부는 스텝길이(step size) 설정, 포커스 값 기울기의 임계치 초기화 및 렌즈이동횟수 초기화를 실행한다.
805단계에서, 휴대단말 제어부는 렌즈이동방향을 결정한다. 본 발명의 바람직한 일 실시예에서는 휴대단말 렌즈는 최초 위치로부터 전진하면서 포커스 값을 산출한다.
807단계에서, 휴대단말 제어부는 렌즈 이동횟수를 카운트한다. 이 경우 렌즈의 전진 또는 후퇴에 상관없이 카운트 횟수는 증가한다. 이로부터 휴대단말 제어부가 처리가능한 단위시간당 화상 프레임의 갯수에 해당하는 정보량을 제어한다.
809단계에서, 포커스 값 및 포커스 값 기울기를 계산한다. 포커스 값은 상기 수학식 1 및 수학식 2에 따라 산출된다. 득히, 본 발명의 바람직한 일 실시예에서 상기 포커스 값 기울기는 상기 도 2의 산등검색 알고리즘 그래프에서 현재 측정된 포커스 값과 직전 측정된 포커스 값을 잇는 직선의 기울기의 (+) 또는 (-) 여부를 판단한다.
811단계에서, 상기 포커스 값이 최대 포커스 값인지 여부를 판별한다. 본 발명의 바람직한 일 실시예에서는 상기 포커스 값의 기울기의 부호가 변화된 경우 직전 포커스 값을 최대 포커스 값으로 설정한다.
813단계에서, VCM의 히스테리시스 에러를 보정한다.
도 9는 본 발명의 바람직한 일 실시예에 따른 히스테리시스 보정구간을 도시한 그래프이다.
VCM 히스테리시스에 의한 시간 지연으로 인하여, 도 9의 a, b, 및 c와 같이 최대 포커스 값에 대한 제어값(전류값)보다 큰 제어값(전류값)에서 최대 포커스 값의 변화가 발생한다. 또한 도 9의 A, B, 및 C 구간과 같이 포커스 값의 변화가 검출된 이후에도 초점 렌즈의 관성, VCM 코일 전류 방향 전환의 시간 지연 및 VCM 히스테리시스에 의하여 불필요한 최대 포커스 값 검색 구간이 발생한다. 본 발명에서는 도 3의 렌즈 이동 간격에 따른 포커스 값 특성으로부터, 렌즈이동거리 및 렌즈이동 횟수에 비례하여 제어함으로써, 각각의 최대 포커스 값 검색과정에서의 초점 렌즈의 관성, VCM 코일 전류 방향 전환의 시간 지연 및 VCM 히스테리시스에 의한 렌즈 위치오차를 보정한다. 이와 같이 포커스 값 곡선의 기울기 변화를 감지한 후 히스테리시스 오차에 대한 보정을 행하면, 각각의 최대 포커스 값 검색과정마다 도 9와 같이 6개～15개 프레임에 대한 불필요한 최대 포커스 값 검색 구간을 건너뜀으로써 렌즈이동속도를 향상시킬 수 있다.
즉, 도 9를 참고하면, 본 발명의 바람직한 일 실시예에서, VCM의 히스테리시스 에러 보정방법은, 휴대단말의 촬영모드에서 소정의 피사체를 감지하는 제 1단계; 상기 렌즈를 이동시키면서 상기 감지된 피사체에 대한 포커스 값을 검출하여 저장하는 제 2단계; 현재 검출된 포커스 값과 상기 저장된 직전 포커스 값을 비교하는 제 3단계; 상기 현재 검출된 포커스 값 및 상기 저장된 직전 포커스 값을 이 용하여 계산되는 포커스값 기울기의 부호가 변화되는 경우 상기 직전 포커스 값에 대응하는 렌즈위치를 최적 초점위치로 설정하는 제 4단계; 상기 직전 포커스 값에 대응하는 렌즈위치로 휴대단말 렌즈를 이동시키는 제 5단계를 포함한다.
또한, 본 발명의 바람직한 일 실시예에 따른 VCM의 히스테리시스 에러 보정방법은, 휴대단말의 포커스 값의 기울기 변화가 시작되기 직전의 렌즈위치를 최대 포커스 값 검색 시작 위치로 설정함으로써 최대 포커스 값 검색 시간을 단축시킨다. 즉, 도 9에서 redundant search라고 표시된 구간에서는 렌즈 1회 이동 간격(step size)을 크게 하고 렌즈 이동 횟수를 작게 하여 렌즈이동속도를 증가시킨다.
또한, 휴대단말 렌즈의 관성, VCM 코일 전류 방향 전환의 시간 지연 및 VCM 히스테리시스로 인한 렌즈위치 오차는 렌즈가 이동을 멈추지 않고 계속 진행함으로 인해 발생하는 것인데, 상기 최대 포커스 값 검색 시작 위치를 설정한 후 VCM코일에 공급되는 전류량을 줄임으로써, 불필요한 최대 포커스 값 검색과정을 생략함으로써 최대 포커스 값 검색 속도를 향상시킨다.
815단계에서 상기 히스테리시스 에러보정단계가 최종보정단계인지 여부를 판별한다. 즉, 상기 직전 포커스 값에 대응하는 렌즈위치로 휴대단말 렌즈를 이동시킨 후, 상기 제 1단계 내지 제 5단계를 반복할지 여부를 판별한다.
상기 히스테리시스 에러보정단계를 반복하는 경우, 817단계에서 스텝길이가 재설정되어 렌즈 1회이동거리가 이전의 히스테리시스 에러보정단계에서 보다 더 작아진다.
또한, 포커스값의 변화여부를 감지하기 위한 포커스 값 기울기의 임계치가 초기화 되며, 렌즈 이동 횟수도 초기화 된다.
또한, 819단계에서 보정단계가 카운트 되며, 보정단계의 카운트 회수가 증가할수록 최대 포커스값 검색을 위한 휴대단말의 렌즈 1회 이동거리(스텝길이)는 작아진다.
이후 805단계부터 815단계를 반복함으로써 더욱 정확한 최대 포커스 값에 대응하는 렌즈위치를 검출할 수 있다.
821단계에서, 상기 과정을 거쳐서 최대 포커스 값이 결정되면, 상기 최대 포커스 값에 대응하는 렌즈위치를 최적초점위치로 결정한다
도 10은 본 발명에 따른 바람직한 일 실시예에서 테스트 패턴을 이용한 자동초점 실험을 도시한 구성도이고,
도 11은 본 발명에 따른 바람직한 일 실시예에서 초점 거리에 따른 최대 포커스 값 위치를 도시한 그래프이다.
상기 본 발명의 바람직한 일 실시예에 따른 VCM의 히스테리시스 에러 보정방법의 성능을 평가하기 위하여 도 10과 같이 EIA resolution chart 1956 테스트 패 턴을 사용하여, 검출한 포커스 값, 렌즈의 위치, 및 초점을 맞추는데 걸리는 시간 등을 실험하였다.
도 11은 휴대단말 렌즈와 테스트 패턴과의 거리 l에 따른 최대의 초점 제어 위치를 측정한 결과이다. 도 11의 결과는 상기 도 3에서와 같이 VCM 코일의 전류 지연, 초점 렌즈 모듈의 관성 등의 영향으로 스텝 길이의 크기에 따라 포커스 값의 최대 위치가 크게 나타났다. 또한 최대 포커스 값의 위치는 거리 l 에 반비례하였으며, 초점 렌즈의 위치 이동에 따라 줌 인(zoom in) 또는 줌 아웃(zoom out)과 같이 미세한 영상의 확대 및 축소가 발생하였다.
도 10의 실험 환경에서 종래의 2단 고속 산등 검색 방법(즉, 최대 포커스 값 검색을 위한 스텝길이(렌즈 1회 이동거리)는 일정한 채 렌즈 이동방향만 반대로 변경되는 방법) 및 본 발명에 따른 바람직한 일 실시예에 의한 휴대단말의 렌즈 위치오차 보정방법(즉, 최대 포커스 값 검색을 위한 스텝길이(렌즈 1회 이동거리)가 축소변경되면서 렌즈 이동방향이 반대로 변경되는 방법)을 검증한 결과를 도 12 및 도 13에 나타내었다.
도 12는 종래 산등 검색 알고리즘에 따른 렌즈위치제어방법 및 본 발명에 따른 렌즈위치제어방법을 이용한 수렴속도결과 및 포커스 값을 나타낸 그래프이고,
도 13은 종래 산등 검색 알고리즘에 따른 렌즈위치제어방법 및 본 발명에 따른 렌즈위치제어방법을 이용한 자동 초점 결과 영상도이다.
도 12에서 수평축은 단위시간당 프레임 갯수이고, 수직축은 검출된 포커스 값이다. 짧은 점선은 종래의 2단 고속 산등 검색 방법, 긴 점선은 히스테리시스 에러 보정 알고리즘을 사용하지 않은 채 스텝길이를 조절한 본 발명에 따른 렌즈위치 제어방법, 실선은 히스테리시스 에러 보정 알고리즘을 사용함과 동시에 스텝길이를 조절한 본 발명에 따른 렌즈위치 제어방법의 포커스 값 변화를 나타낸다. 최초 검색 위치 및 검색 스텝 간격을 각각 30 및 +16으로 일치시킴으로써 점 A까지의 비초점 영역의 검색 시간은 4 프레임으로 일치하고 있다.
최대 포커스 값을 검출한 다음 단계에서, 상기 각 방법은 포커스 값이 최고점을 지나서 변화가 검출 된 이후에도 지속적인 포커스 값의 하락이 관측되고 있다.
이는 초점 렌즈의 무게 및 이동 방향에 따른 관성, VCM 코일의 전류 방향이 바뀌는 시간 지연 및 VCM 코일의 히스테리시스에 의한 영향으로 판단된다.
검색 스텝 간격을 반대 방향으로 바꾸었을 때(즉, 렌즈이동방향을 반대로 바꾸었을 때), 전류 방향이 바뀌어 포커스 값의 변화가 정상적으로 되는 시간은 상기 도 9의 점 B1, B2 및 B3에 도시되었다. 이 때 검색 스텝 간격의 상대적 크기는 -7, -7, -2를 각각 사용하였으며, 본 발명에 따른 렌즈위치 제어방법에서 히스테리시스 에러 보정 알고리즘을 사용한 경우의 점 B1은, 최적 포커스 위치까지 렌즈를 이동시 키는데 가장 짧은 시간이 소요되고 있음을 나타내고 있다.
또한 점 B3까지의 변화 시간 및 -2의 작은 검색 스텝 간격으로 인하여, 종래 산등 검색 방법은 초점값이 완만하게 변화하므로 최적 초점위치까지 렌즈를 이동시키는데 많은 시간이 소요됨을 알 수 있다.
따라서 -7의 중간 스텝 간격으로 렌즈를 이동시키는 방법(즉, 스텝길이를 조절하는 방법)이 추가된 본 발명에 따른 렌즈위치 제어방법은 종래의 -2 스텝 간격으로 렌즈를 이동시키는 방법보다 더 빨리 최대 포커스 값에 대응하는 렌즈위치로 휴대단말 렌즈가 이동되었으며,
히스테리시스 오차 보정을 실행함과 동시에 스텝길이를 조절한 본 발명의 바람직한 일 실시예에 의한 방법은 가장 빨리 최대 포커스 값에 대응하는 렌즈위치로 렌즈가 이동되었다. 이는 동일한 기울기를 갖는 구간 B1～C1 및 구간 B2～C2에서 최대 포커스 값 검색 영역을 히스테리시스 오차 보정(VCM에 가해지는 전류값을 제어)을 함으로써 검색 시간을 단축하였기 때문이다.
본 발명의 바람직한 일 실시예에 따라 히스테리시스 오차 보정을 병행한 렌즈위치 보정방법은 도 12의 구간 C1～D1 및 점 C2～D2에서도 동일한 효과를 나타내어 최대 포커스 값 검색 시간을 단축하였으며, 오토포커싱 완료시간 또한 단축되었다.
결론적으로, 초당 15프레임의 프레임 비율을 가지는 촬영기능을 구비한 휴대단말에서, 종래의 렌즈위치 보정방법은 최적 초점을 찾는데 2.4초 즉 36 프레임에 해당하는 시간이 소모되었으나, 본 발명의 바람직한 일 실시예에 따른 히스테리시스 오차 보정을 병행한 렌즈위치 보정방법은 최적 초점 위치에 도달하는데 1.1초 즉 17 프레임이 소요되었다.
또한, 본 발명의 바람직한 일 실시예에 따른 히스테리시스 오차 보정을 병행한 렌즈위치 보정방법은 종래의 렌즈위치 보정방법보다 1.3초 더 빠르게 초점을 찾았으며, 최종 초점 위치에서의 포커스 값은 각각 500,000 및 510,000으로서, 종래의 렌즈위치 보정방법보다 10,000 정도 높았다.
도 13a는 종래 렌즈위치 보정방법을 이용한 자동 초점 결과 영상이고, 도 13b 본 발명의 바람직한 일 실시예에 따른 자동 초점 결과 영상이다.
도 13의 최종 출력 영상에서 확인할 수 있듯이, 본 발명의 바람직한 일 실시예에 따른 렌즈위치 보정방법이 종래의 렌즈위치 보정방법보다 더 정확한 초점으로 영상을 획득하여 더 선명한 영상을 촬영할 수 있음을 확인할 수 있다. 도 13에서 본 발명에 따른 렌즈위치 보정방법에 의해 촬영된 영상이 종래의 렌즈위치 보정방법에 의해 촬영된 영상보다 크게 보이는 이유는, 휴대단말 렌즈가 최적 초점위치로 이동하여 촬영함으로 인하여 CCD에 맺히는 영상이 선명하기 때문이다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것 으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또 다른 다양한 실시 예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
본 발명에 따르면, 휴대단말의 포커스 값의 기울기 변화가 시작되기 직전의 렌즈위치를 최대 포커스 값 검색 시작 위치로 설정함으로써 최대 포커스 값 검색 시간을 단축할 수 있다.
또한, 휴대단말 렌즈의 관성, VCM 코일 전류 방향 전환의 시간 지연 및 VCM 히스테리시스로 인한 렌즈위치 오차를, 스텝길이(step size, 렌즈 1회 이동 간격) 및 렌즈 이동 횟수를 조절하여 보정함으로써, 불필요한 최대 포커스 값 검색과정을 생략하고 최대 포커스 값 검색 속도를 향상시킬 수 있다.
또한 최대 포커스 값 위치를 검출하기 위한 최종 렌즈위치 보정과정에서의 스텝길이를 직전의 렌즈위치 보정과정에서의 스텝길이보다 작게 함으로써 최대 포커스 값 검색 및 오토포커싱 제어를 신속하게 수행할 수 있다.

Claims (12)

  1. 렌즈와 피사체 사이의 거리를 조절하여 피사체의 초점을 설정하는 휴대단말의 렌즈 위치오차 보정방법에 있어서,
    휴대단말의 촬영모드에서 소정의 피사체를 감지하는 과정;
    상기 렌즈를 이동시키면서 상기 감지된 피사체에 대한 포커스 값을 검출하여 저장하는 과정;
    현재 검출된 포커스 값과 상기 저장된 직전 포커스 값을 비교하는 과정;
    상기 포커스 값의 기울기의 부호가 변경되는 경우 상기 직전 포커스 값에 대응하는 렌즈위치를 최적 초점위치로 설정하는 과정;
    상기 최적 초점위치로 휴대단말 렌즈를 이동시키는 과정을 포함하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  2. 제 1항에 있어서,
    상기 최적 초점위치로 휴대단말 렌즈를 이동시키는 과정은,
    휴대단말 렌즈의 스텝길이를 설정하는 단계와;
    휴대단말 렌즈의 이동방향을 결정하는 단계와;
    피사체에 대한 포커스 값을 계산하는 단계와;
    최대 포커스 값을 검출하여 그에 대응하는 렌즈위치를 설정하는 단계와;
    히스테리시스 에러를 보정하는 단계와;
    최적 초점위치를 결정하는 단계를 포함하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  3. 제 1항에 있어서,
    상기 포커스 값의 기울기는 상기 현재 검출된 포커스 값 및 상기 저장된 직전 포커스 값을 이용하여 산출하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  4. 제 1항에 있어서,
    상기 포커스 값의 기울기의 부호가 변경되는 경우, 상기 직전 포커스 값에 대응하는 렌즈위치로 휴대단말 렌즈를 이동시킨 후, 상기 각 과정을 소정의 회수만큼 반복하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  5. 제 1항에 있어서,
    상기 포커스 값의 기울기의 부호가 변경되기 전에는, 렌즈 스텝길이를 일정하게 유지하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  6. 제 1항에 있어서,
    상기 포커스 값의 기울기의 부호가 변경된 후에는, 렌즈 스텝길이를 가변시키는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  7. 제 4항에 있어서,
    상기 각 과정으로 구성되는 렌즈 위치오차 보정과정이 소정의 회수만큼 반복될 때마다, 상기 포커스 값의 기울기의 부호가 변경되기 전까지의 렌즈 스텝길이는 직전의 렌즈 위치오차 보정과정에서의 렌즈 스텝길이에 비하여 소정의 비율로 축소되는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  8. 제 2항에 있어서,
    상기 렌즈 스텝길이는 휴대단말 렌즈의 1회 이동거리인 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  9. 제 1항에 있어서,
    상기 휴대단말은 소정의 렌즈이동수단을 구비하고,
    상기 렌즈이동수단은 휴대단말 렌즈의 움직임을 제어하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  10. 제 9항에 있어서,
    상기 소정의 렌즈이동수단은 보이스 코일모터 및 판 스프링을 포함하여 구성되는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  11. 제 1항에 있어서,
    상기 휴대단말의 렌즈 위치오차는 휴대단말의 히스테리시스 특성으로 인하여 발생하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
  12. 제 11항에 있어서,
    상기 휴대단말의 렌즈 위치오차는 휴대단말의 렌즈이동수단에 공급하는 전류량을 제어하여 보정하는 것을 특징으로 하는 휴대단말의 렌즈 위치오차 보정방법.
KR1020060042691A 2006-05-11 2006-05-11 휴대단말의 렌즈 위치오차 보정방법 KR100691245B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060042691A KR100691245B1 (ko) 2006-05-11 2006-05-11 휴대단말의 렌즈 위치오차 보정방법
DE602007013138T DE602007013138D1 (de) 2006-05-11 2007-04-25 Mobiles Gerät und Autofokus Verfahren
EP07106936A EP1855135B1 (en) 2006-05-11 2007-04-25 Mobile Terminal and Auto-Focusing Method Using a Lens Position Error Compensation
US11/801,672 US7693411B2 (en) 2006-05-11 2007-05-10 Mobile terminal and auto-focusing method using a lens position error compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060042691A KR100691245B1 (ko) 2006-05-11 2006-05-11 휴대단말의 렌즈 위치오차 보정방법

Publications (1)

Publication Number Publication Date
KR100691245B1 true KR100691245B1 (ko) 2007-03-12

Family

ID=38102746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060042691A KR100691245B1 (ko) 2006-05-11 2006-05-11 휴대단말의 렌즈 위치오차 보정방법

Country Status (4)

Country Link
US (1) US7693411B2 (ko)
EP (1) EP1855135B1 (ko)
KR (1) KR100691245B1 (ko)
DE (1) DE602007013138D1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009032934A2 (en) * 2007-09-07 2009-03-12 Qualcomm Incorporated Method and device for damping lens vibration
WO2009045680A2 (en) * 2007-10-01 2009-04-09 Allegro Microsystems, Inc. Hall-effect based linear motor controller
US7936144B2 (en) 2008-03-06 2011-05-03 Allegro Microsystems, Inc. Self-calibration algorithms in a small motor driver IC with an integrated position sensor
CN112585518A (zh) * 2020-03-27 2021-03-30 深圳市大疆创新科技有限公司 对焦点的确定方法、装置、镜头、成像装置和可移动平台

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962026B2 (en) * 2006-08-08 2011-06-14 Lg Electronics Inc. Discrete automatic focusing and error correcting method
FR2922695A1 (fr) * 2007-10-22 2009-04-24 St Microelectronics Grenoble Circuit de commande de moteur a bobine mobile
CN101144959B (zh) * 2007-11-02 2010-11-24 威盛电子股份有限公司 相机的自动对焦方法与数字相机
WO2009089610A1 (en) * 2008-01-18 2009-07-23 Research In Motion Limited Mobile wireless communications device including shared voice coil to provide hearing aid compatibility and related methods
US8194240B1 (en) * 2008-03-04 2012-06-05 Kla-Tencor Corporation Enhanced focusing capability on a sample using a spot matrix
US20100079602A1 (en) * 2008-09-26 2010-04-01 Silverbrook Research Pty Ltd. Method and apparatus for alignment of an optical assembly with an image sensor
KR101058679B1 (ko) * 2009-02-16 2011-08-22 삼성전자주식회사 카메라 렌즈 어셈블리
TWI403818B (zh) * 2009-07-07 2013-08-01 Univ Nat Taiwan 自動對焦方法
JP5637682B2 (ja) * 2009-12-24 2014-12-10 キヤノン株式会社 駆動制御装置、撮像装置、及び駆動制御方法
TWI421613B (zh) * 2010-05-14 2014-01-01 Ability Entpr Co Ltd 行動通訊裝置之自動對焦裝置
CN102253467B (zh) * 2010-05-19 2013-07-10 佳能企业股份有限公司 移动通讯装置的自动对焦装置
US9398205B2 (en) * 2010-09-01 2016-07-19 Apple Inc. Auto-focus control using image statistics data with coarse and fine auto-focus scores
US8760563B2 (en) 2010-10-19 2014-06-24 Hand Held Products, Inc. Autofocusing optical imaging device
JP2012093409A (ja) * 2010-10-25 2012-05-17 Ricoh Co Ltd 撮像装置および撮像方法
KR101164755B1 (ko) * 2010-11-02 2012-07-12 엘지이노텍 주식회사 보이스 코일 모터 및 이의 구동 방법
US8692927B2 (en) 2011-01-19 2014-04-08 Hand Held Products, Inc. Imaging terminal having focus control
JP5740649B2 (ja) * 2011-02-17 2015-06-24 株式会社ミツトヨ 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US8766153B2 (en) * 2011-02-17 2014-07-01 Mitutoyo Corporation Vision measuring device and auto-focusing control method
TWI524126B (zh) * 2011-04-07 2016-03-01 鴻海精密工業股份有限公司 自動對焦方法
CN102736361B (zh) * 2011-04-08 2016-08-10 鸿富锦精密工业（深圳）有限公司 自动对焦方法
JP5325966B2 (ja) * 2011-11-25 2013-10-23 オリンパス株式会社 撮像装置及び撮像方法
TW201323847A (zh) * 2011-12-13 2013-06-16 Hon Hai Prec Ind Co Ltd 相機卡膠的測試方法
US20130169832A1 (en) * 2011-12-29 2013-07-04 Lg Innotek Co., Ltd. Camera module and auto focusing method of camera module
US8547439B2 (en) 2012-02-23 2013-10-01 Apple Inc. Testing an optical characteristic of a camera component
US8988787B2 (en) 2012-04-27 2015-03-24 Qualcomm Incorporated System and method to deploy active dampening for lens ringing and vibration
TWI553395B (zh) * 2012-05-14 2016-10-11 鴻海精密工業股份有限公司 相機模組測試系統及方法
CN103424978A (zh) * 2012-05-15 2013-12-04 鸿富锦精密工业（深圳）有限公司 相机模组测试系统及方法
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
TWI544249B (zh) * 2012-06-19 2016-08-01 鴻海精密工業股份有限公司 對焦位置搜尋方法
CN103838058A (zh) * 2012-11-23 2014-06-04 鸿富锦精密工业（深圳）有限公司 自动对焦方法
TWI566001B (zh) * 2012-11-23 2017-01-11 鴻海精密工業股份有限公司 自動對焦方法
CN103837828A (zh) * 2014-03-27 2014-06-04 广东欧珀移动通信有限公司 一种摄像模组马达的行程曲线测试方法、系统及移动终端
CN105319801B (zh) * 2014-07-07 2018-05-29 宁波舜宇光电信息有限公司 一种自动对焦摄像模组调焦定位镜头的方法
US9729776B2 (en) * 2014-08-27 2017-08-08 Mediatek Inc. Camera auto-focus apparatus for performing lens position compensation to determine focused lens position and related camera auto-focus method
US9995904B2 (en) * 2015-08-14 2018-06-12 Samsung Electro-Mechanics Co., Ltd. Actuator driving device and camera module including the same
KR102508248B1 (ko) 2015-08-20 2023-03-08 삼성전자주식회사 중력 및 온도 센서를 이용한 카메라의 자동 초점 조절 방법, 카메라 제어 장치, 및 카메라 시스템
TWI580941B (zh) * 2015-11-10 2017-05-01 群光電子股份有限公司 自動對焦測試系統及方法
CN105652561B (zh) * 2016-03-18 2018-12-14 联想(北京)有限公司 一种调焦方法及装置
CN106506910A (zh) * 2016-10-10 2017-03-15 捷开通讯(深圳)有限公司 更换摄像头镜片的方法、移动终端及摄像模组
CN115220176B (zh) * 2022-07-25 2024-05-03 浙江天铂云科光电股份有限公司 一种基于fpga的扫描全程式聚焦方法
CN117046102B (zh) * 2023-07-17 2024-02-13 广州三七极耀网络科技有限公司 一种游戏中对象坐标的同步方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918769A (ja) * 1995-06-30 1997-01-17 Sony Corp 撮像装置及びそのピント表示方法
KR20050115000A (ko) * 2004-06-02 2005-12-07 삼성전자주식회사 휴대용 단말기의 오토포커싱 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040228A (en) * 1989-08-28 1991-08-13 At&T Bell Laboratories Method and apparatus for automatically focusing an image-acquisition device
JPH0614237A (ja) * 1992-06-25 1994-01-21 Canon Inc 焦点調節方法及び装置
JP3372714B2 (ja) * 1995-06-15 2003-02-04 キヤノン株式会社 撮像装置
JPH1184228A (ja) * 1997-09-08 1999-03-26 Olympus Optical Co Ltd 自動焦点調節装置
TWI237992B (en) * 2004-05-05 2005-08-11 Pixart Imaging Inc Integrated auto-focusing device
JP2005351997A (ja) * 2004-06-09 2005-12-22 Canon Inc レンズ装置
US7480452B2 (en) * 2005-03-15 2009-01-20 Winbond Electronics Corporation System and method for image capturing
TWI302629B (en) * 2005-08-25 2008-11-01 Powergate Optical Inc A vcm auto-focusing device having position feedback and an auto-focusing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918769A (ja) * 1995-06-30 1997-01-17 Sony Corp 撮像装置及びそのピント表示方法
KR20050115000A (ko) * 2004-06-02 2005-12-07 삼성전자주식회사 휴대용 단말기의 오토포커싱 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101114046B1 (ko) 2007-09-07 2012-04-12 콸콤 인코포레이티드 렌즈 진동을 감쇠시키기 위한 방법 및 장치
US8805178B2 (en) 2007-09-07 2014-08-12 Qualcomm Incorporated System for reducing lens vibration
WO2009032934A3 (en) * 2007-09-07 2009-10-29 Qualcomm Incorporated Method and device for damping lens vibration
WO2009032934A2 (en) * 2007-09-07 2009-03-12 Qualcomm Incorporated Method and device for damping lens vibration
CN101785297B (zh) * 2007-09-07 2013-02-13 高通股份有限公司 用于阻尼透镜振动的方法及装置
US8190015B2 (en) 2007-09-07 2012-05-29 Qualcomm Incorporated Method and device for damping lens vibration
WO2009045680A3 (en) * 2007-10-01 2010-05-27 Allegro Microsystems, Inc. Hall-effect based linear motor controller
US8084969B2 (en) 2007-10-01 2011-12-27 Allegro Microsystems, Inc. Hall-effect based linear motor controller
US8716959B2 (en) 2007-10-01 2014-05-06 Allegro Microsystems, Llc Hall-effect based linear motor controller
WO2009045680A2 (en) * 2007-10-01 2009-04-09 Allegro Microsystems, Inc. Hall-effect based linear motor controller
US9784594B2 (en) 2007-10-01 2017-10-10 Allegro Microsystems, Llc Hall-effect based linear motor controller
US7936144B2 (en) 2008-03-06 2011-05-03 Allegro Microsystems, Inc. Self-calibration algorithms in a small motor driver IC with an integrated position sensor
CN112585518A (zh) * 2020-03-27 2021-03-30 深圳市大疆创新科技有限公司 对焦点的确定方法、装置、镜头、成像装置和可移动平台

Also Published As

Publication number Publication date
US20080124068A1 (en) 2008-05-29
DE602007013138D1 (de) 2011-04-28
US7693411B2 (en) 2010-04-06
EP1855135B1 (en) 2011-03-16
EP1855135A1 (en) 2007-11-14

Similar Documents

Publication Publication Date Title
KR100691245B1 (ko) 휴대단말의 렌즈 위치오차 보정방법
JP4795155B2 (ja) 光学装置、撮像装置及びその制御方法
US7852398B2 (en) Image-taking apparatus
JP5049899B2 (ja) 撮像装置及びその制御方法
JP5368723B2 (ja) 撮像装置及びその制御方法
EP2457118B1 (en) Imaging device and imaging method
US7602435B2 (en) Image-taking apparatus and focus control program for image-taking apparatus
US8315512B2 (en) Method and apparatus for auto-focus control of digital camera
US8502912B2 (en) Focusing apparatus and method for controlling the same
US20120105709A1 (en) Camera, portable terminal device, and lens position control method
CN110753182A (zh) 成像设备的调节方法和设备
JP5335408B2 (ja) 焦点調節装置及び方法
JP2005084426A (ja) 撮像装置および撮像装置のフォーカス制御方法
JP2013130761A (ja) 撮像装置、その制御方法およびプログラム
KR20100115574A (ko) 디지털 카메라 및 그 제어방법
JP2015079158A (ja) 撮像装置及びその制御方法
JP4496051B2 (ja) 撮影装置
JP2002277730A (ja) 電子カメラの自動焦点制御方法、装置及びプログラム
US20170347013A1 (en) Image pick-up apparatus and progressive auto-focus method thereof
JP4744253B2 (ja) オートフォーカスカメラ
JP6858022B2 (ja) 焦点検出装置、その制御方法およびプログラム、並びに撮像装置
KR102214094B1 (ko) 줌 트래킹 방법 및 줌 카메라
US8340513B2 (en) Camera and method for performing auto-focusing
JP5451869B2 (ja) 焦点調節装置及び方法
JP2012048166A (ja) 焦点調節装置及び焦点調節方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060511

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070226

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070228

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070302

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100128

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110128

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120130

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130130

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140128

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150129

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160128

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170125

Start annual number: 11

End annual number: 11

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20181211