KR20080113093A

KR20080113093A - 다중 파장 조명을 이용한 화질 개선 방법

Info

Publication number: KR20080113093A
Application number: KR1020087026737A
Authority: KR
Inventors: 브라이언 요한센; 메흐메트 이 알페이
Original assignee: 일렉트로 싸이언티픽 인더스트리이즈 인코포레이티드
Priority date: 2006-04-28
Filing date: 2007-04-27
Publication date: 2008-12-26
Anticipated expiration: 2027-04-27
Also published as: KR101370697B1; WO2007127420A3; WO2007127420A2; US20070253033A1; JP2009535705A; JP5108003B2; US7589869B2; TWI418207B; CN101536483B; TW200816784A; CN101536483A

Abstract

다중 파장 조명을 이용하여 단색 카메라에 의해 포착된 이미지의 화질을 개선하는 방법 및 장치에 관한 것이다. 콘트라스트 최적화 알고리즘은 이용가능한 파장 중에서 어떤 특수한 파장이 콘트라스트를 최대화하는데 가장 적합한지를 결정한다. 이미지의 화질은 목표와 배경 사이에서 최대 및 최소 콘트라스트를 제공하는 조명 방식을 결정함으로써 능동 노이즈 소거를 통해 추가로 개선될 수 있다. 이미지 구성 데이터(즉, 노이즈)의 제거는 최소 콘트라스트 이미지에 의한 최대 콘트라스트 이미지의 화소별 나누기를 통해 달성된다. 대안적으로, 적어도 2개의 파장을 이용하여 얻어진 이미지는 대수적으로 결합되어 노이즈를 감소시킬 수 있다. 결과적인 복합 이미지는 임의의 공지된 목표 식별 알고리즘에 공급될 수 있다.

다중 파장 조명, 단색 카메라, 콘트라스트, 화질 개선

Description

다중 파장 조명을 이용한 화질 개선 방법{IMPROVING IMAGE QUALITY VIA MULTI-WAVELENGTH LIGHT}

본 발명은 단색 카메라에 의해 포착한 이미지의 화질을 개선하는 방법에 관한 것이다.

반도체 제품의 부류 중에는 주로 평면형(planar) 및 경면형(specular)의 것(평평하고 반들거리는 것)이 있고, 평면 및 경면으로부터 약간의 벗어남조차도 적당한 콘트라스트로 영상화되게 하는 방법으로 상기 장치들을 영상화할 필요가 자주 발생한다. 이러한 부류의 제품들 중 하나는 무엇보다도 특히 웨이퍼 번호와 제조업자를 표시하는 표식(indicia)이 제공된 반도체 웨이퍼이다. 이 표식은 웨이퍼 표면에서 결함이 되고 전형적으로 레이저에 의해 에칭된 자국(pit)의 행렬(matrix)이다. 이것들은 당업계에서 일반적으로 "소프트 마크" 또는 "기점 마커"(fiducial marker)라고 알려져 있다. 제조 공정에 따르는 각종 단계에서 코드를 판독하기 위해 상기 마크들을 영상화할 필요가 있다.

레이저 파워 재료 제거 방식(laser-power material removal scheme)을 이용하여 일상적으로 처리되는 다른 부류의 제품으로는 반도체 소자의 칩 캐리어로서 또는 전자 소자의 인쇄 배선반으로서 사용되는 유전체가 코팅된 도전성 금속 기판 이 있다. 이것도 역시 주로 평면형 및 경면형(평평하고 번들거리는 것)이며, 표면 및/또는 표면 특징(feature)들을 적당한 콘트라스트로 영상화하는 방식으로 상기 소자들을 영상화할 필요가 자주 발생한다. 이러한 부류의 제품들 중 하나는 무엇보다도 특히 처리 데이터를 표시하는 표식이 제공될 수 있는 반도체 칩 캐리어이다. 이 표식은 워크피스 표면의 위 또는 아래의 도전성 금속(일반적으로 구리 또는 구리 합금)이고, 전형적으로 이전 처리 단계에서 금속 도전층을 화학적 에칭함으로써 생성되는 원형, 정방형 또는 다른 기하학적 형상을 갖는다. 그러나, 이러한 표식들은 워크피스의 전체를 관통하는 기계적으로 드릴링되거나 펀칭된 홀을 포함할 수 있다. 이것들은 일반적으로 당업계에서 "툴링 홀", "기점 마크" 또는 단순히 "정렬 목표"(alignment target)라고 알려져 있다. 제조 공정에 따르는 각종 단계에서 기계(machine)에 대하여 워크피스를 정렬하거나 스케일하기 위해 상기 마크들을 영상화할 필요가 있다.

소자들을 처리한 후(일반적으로 톱에 의해 개별 직사각형 소자로 절단된 후), 소형 칩의 엣지, 및 시간에 따라 전파하여 소자의 조기 고장을 야기할 수 있는 크랙을 검사하고, 외관상 또는 기능상 이유로 레이저 처리된 특징들을 검사할 필요가 있다. 이러한 검사과정은 자동화되어 있고, 필요한 검사, 측정 및 식별을 수행하도록 프로그램된 디지털 전자 컴퓨터와 함께 전자 영상화 카메라(electronic imaging camera)를 사용한다.

매우 작은 특징들을 강조(highlight)하는 것을 비롯해서 이러한 피사체들을 적절히 영상화하기 위해, 다수의 조명 시스템 및 카메라가 사용되어 왔다. 예를 들 면, '기판상의 표식에 대한 OCR용 조명 시스템'(Illumination System for OCR of Indicia on a Substrate)이라는 명칭의 공동 양수된 미국 특허 제5,737,122호가 있으며, 이 특허 문헌은 인용에 의해 전체 내용이 여기에 통합된 것으로 한다. 이 특허 문헌에는 카메라의 축과 조명 모듈의 축이 경면체(specular object)에 대한 수직선 주위에서 상보적인 예각 대칭으로 되는 시스템에 대하여 개시되어 있다. 협각 암시야광(narrow-angle dark field light)은 광학축에 근접하게 위치되고 카메라에 의한 직접 영상화를 방지하기 위해 영상화 경로에 배치된 배플(baffle)에 의해 카메라에 의한 직접 영상화가 방지된다. 배플의 위치는 이미저(imager)의 시야를 제한하지만, 이것은 수용할 수 있는 타협안으로 고려된다.

다른 예로서, 공동 양수된 미국 특허 제6,870,949호에는 대칭인 공축 협각 암시야 조명으로 피사체를 조명하기 위해 텔리센트릭 렌즈(telecentric lens)를 사용하는 공축 협각 암시야 이미징 시스템에 대하여 개시되어 있다. 조명 기술은 평탄한 경면체상의 작은 특징 및 결함을 강조하는데 특히 적합하다. 특히, 공축 광원은 광선을 텔리센트릭 렌즈쪽으로 조사하고, 텔리센트릭 렌즈는 광선을 실질적으로 평탄한 경면체쪽으로 재조사한다. 광선은 텔리센트릭 렌즈를 통해 카메라쪽으로 되반사된다. 광선이 피사체의 평탄한 경면 부분으로부터 반사되는 정도까지 광선은 텔리센트릭 스톱(stop)에 의해 차단된다. 평탄한 경면체의 결함 또는 특징으로부터 반사된 광선은 스톱의 개구를 통해 카메라로 진행한다. 미국 특허 제6,870,949호도 역시 인용에 의해 그 전체 내용이 여기에 통합된다.

상기 시스템 및 기타의 시스템으로, 단색 카메라를 이용하여 얻어진 이미지 들은 전형적으로 그레이스케일(grey-scale)로 보여진다. 사용되는 광은 백색광 또는 백색광이나 단파장 LED와 같은 단색광이다. 이 이미지들을 이용해서, 검사 및 부품 정렬 목적으로 워크피스상의 기점 마커를 자동 식별하는 것은 가공 산업(machining industry)에서 잘 확립된 실예이다. 각종 알고리즘이 이미 개발되어 있고, 상기 식별을 위한 이미지의 처리를 위해 사용중에 있다. 그러나, 알고리즘이 얼마나 복잡한지에 상관없이, 목표와 주변 배경간의 콘트라스트 레벨이 높은 "양호한" 이미지가 그 성공을 위해 여전히 필수적이다.

여기에서 설명하는 방법 및 장치는 단색 카메라에 의해 포착된 이미지의 이미지 콘트라스트를 개선함으로써 화질을 개선한다. 개선된 이미지는 목표 식별 루틴 또는 알고리즘에 공급되어 비제한적인 예로서의 표식을 비롯한 표면상의 각종 마크의 식별을 결정할 수 있다.

여기에서 설명하는 단색 카메라에 의해 포착된 표면 이미지의 화질을 개선하기 위한 방법은, 예를 들면, 다중 파장 조명을 이용하여 복수의 이미지를 얻는 단계와 복수의 이미지에 기초하여 표면의 각 부분들 간의 콘트라스트를 최적화하는 단계를 포함한다.

여기에서 설명하는 단색 카메라에 의해 포착된 표면 이미지의 화질을 개선하기 위한 장치는, 예를 들면, 다중 파장 조명을 이용하여 복수의 이미지를 얻는 수단과 복수의 이미지에 기초하여 표면의 각 부분들 간의 콘트라스트를 최적화하는 수단을 포함한다.

본 발명의 상기 및 기타의 독특한 특징은 뒤에서 더 자세히 설명된다.

도 1은 전형적인 단색 CCD 카메라의 스펙트럼 응답의 예를 보인 도이다.

도 2는 목표 영역의 반사율 H_T(λ)의 예를 보인 도이다.

도 3은 배경 영역의 반사율 H_B(λ)의 예를 보인 도이다.

도 4는 본 발명의 일 태양에 따른 콘트라스트 최적화의 흐름도이다.

도 5는도 4에 도시한 콘트라스트 최적화의 블록(50)을 상세히 한 흐름도이다.

도 6은 본 발명의 다른 태양에 따른 능동 노이즈 소거의 흐름도이다.

도 7은 2개의 이미지의 합성을 보인 흐름도이다.

도 8은 여기에서 설명하는 다색 LED의 전형적인 스펙트럼 출력을 보인 그래프이다.

도 9a는 청색 LED 조명하에 단색 카메라에 의해 포착된 실제 정렬 목표의 초기 이미지, 및 이미지의 "목표" 영역과 "배경" 영역의 묶음 상자를 보인 도이다.

도 9b는 녹색 LED 조명하에 동일한 단색 카메라에 의해 포착된 동일한 정렬 목표의 초기 이미지를 보인 도이다.

도 9c는 적색 LED 조명하에 동일한 단색 카메라에 의해 포착된 동일한 정렬 목표의 초기 이미지를 보인 도이다.

도 9d는 적외선(IR) LED 조명하에 동일한 단색 카메라에 의해 포착된 동일한 정렬 목표의 초기 이미지를 보인 도이다.

도 10은 도 9a 내지 도 9d에서 제공된 4개의 초기 이미지에 대한 평균 배경 화소값, 목표 화소값 및 콘트라스트 메트릭을 비교하여 보인 표이다.

도 11은 도 7의 흐름도에 따라서 청색 및 IR LED 조명하에 얻어진 도 9a 및 도 9d의 초기 이미지를 대수적으로 결합하여 얻어지는 합성 콘트라스트 이미지를 보인 도이다.

단색 카메라에 의해 포착된 이미지의 개선된 이미지 콘트라스트와 목표 식별 품질은 본 발명에 의해 달성될 수 있다. 일반적으로, 다중 파장 조명을 사용하는 콘트라스트 최적화 알고리즘이 수행된다. 최대 콘트라스트는 조명 시스템에서 이용가능한 파장들 중에서 어떤 특수 파장이 가장 적합한지를 결정하는 과정을 이용하여 단일 파장을 이용해서 얻어질 수 있다. 두번째로, 목표 식별 루틴에 공급될 이미지의 품질은 목표와 배경 사이의 최대 및 최소 콘트라스트를 제공하는 조명 방식을 결정하기 위한 콘트라스트 최적화 알고리즘을 이용함으로써 능동 노이즈 소거(active noise cancellation)를 통해 더욱 개선될 수 있다. 그 다음에, 이미지 구성 데이터(즉, 노이즈)의 소망하는 제거는 최소 콘트라스트 이미지에 의한 최대 콘트라스트 이미지의 화소별 나누기(pixel-by-pixel division)를 통해 달성될 수 있다. 세번째로, 목표와 배경 사이의 콘트라스트가 높은 합성 이미지는 2개 이상의 개별 파장에 의해 조명된 관심 지역의 이미지들을 감산함으로써 생성될 수 있다. 결과적인 복합 이미지는 그 다음에 다수의 공지된 목표 식별 알고리즘 중의 임의의 하나에 공급될 수 있다.

일반적으로 제어기, 카메라 및 조명 시스템으로 이루어진 임의의 공지된 이미지 포착 시스템이 여기에서의 설명에 따라 사용될 수 있다. 여기에서 설명하는 알고리즘은 표준 제어기에 프로그램되어 표준 제어기에 의해 수행될 수 있고 또는 알고리즘이 저장된 메모리에 결합된 범용 마이크로프로세서에 의해 또는 당업계에서 공지되어 있는 온보드 메모리를 가진 마이크로제어기에 의해 수행될 수 있다.

이미지상의 목표(예를 들면 표식)와 배경 간의 콘트라스트에 대하여 수학적 모델을 먼저 개발함으로써 세부를 가장 잘 설명할 수 있다. 하기의 정의가 사용된다. 단색 카메라의 스펙트럼 응답(G(λ))이 입사광 파장의 함수인 카메라의 양자 효율로서 정의된다. 두번째로, 평탄한 스펙트럼 광원(즉, 카메라/렌즈 시스템이 응답하고 적절히 집속하는 파장 범위를 초과하는 일관된 조명 레벨을 제공하는 광원)에 의해 표면이 조명될 때 그 표면으로부터의 반사광의 정규화 스펙트럼(normalized spectrum)으로서 평탄면의 반사 스펙트럼(H(λ))이 정의된다.

도 1은 전형적인 단색 CCD(charge-coupled device) 카메라의 스펙트럼 응답의 예를 보인 것이다. 도 2와 도 3은 각각 예시적인 목표 및 배경 영역(H_T(λ) 및 H_B(λ))의 반사율의 예를 보인 것이다. 도 2는 전술한 바와 같이 구리가 공통 목표일 때 구리 대 파장의 정상 입사 반사율을 보여주고 있다는 점에 주목한다. 예시적인 배경은 RCF 수지이고, 따라서, 도 3에서는 RCF 수지 대 파장의 정상 입사 반사율을 도시하고 있다.

파장 λ_k(k=1, ..., N)에 대응하는 N개의 다른 광원이 있다고 가정하자. k번째 광원의 스펙트럼 응답(F_k(λ))은 아래의 수학식 1로 주어진다.

수학식 1에서 α_k는 k번째 광원의 강도를 나타내고 δ는 다이랙 델타 함수를 나타낸다. 공간적으로 균일한 목표를 가정하면, 목표 영역에서 화소의 카메라 출력(Cout_T)은 수학식 2로서 주어진다.

수학식 2는 카메라 출력이 포화되지 않은 것을 가정한 것임에 주목한다. 마찬가지 방법으로, 배경 영역에서의 카메라 출력(Cout_B)은 수학식 3으로서 주어진다.

수학식 3도 또한 카메라 출력이 포화되지 않은 것을 가정하고 있다.

이제, 수학식 4에 따라서 "콘트라스트 메트릭"(C_M)을 정의할 수 있다.

위에서 정의한 콘트라스트 메트릭(C_M)에 대하여 다수의 중요한 특징들이 있다. 첫째로, 메트릭은 전체 강도에 있어서의 전체적인 변화에 대해 불변이다. 일반적으로, 동일한 인자(factor)에 의한 모든 광원의 상대적인 강도의 변화는 이미지 콘트라스트를 변화시키지 않는다. 이것은 상식(common sense)과 일치하고; 단순히 각 화소값에 상수 인자를 곱함으로써 그레이스케일 이미지의 진정한 콘트라스트가 개선될 것으로 기대하지 않는다. 이 정의는 당업계에서 알려져 있는 바와 같이 정규화 상관성과 같은 목표 식별을 위해 "정규화" 알고리즘을 사용해야 한다는 것을 암시한다는 것에 또한 주목한다. 선택에 대한 목표 식별법을 사용하기 전에 모든 포착 이미지에 대하여 히스토그램 평활화를 또한 적용할 수 있다.

두번째의 중요한 특징은 콘트라스트 메트릭(C_M)이 목표 및 배경에 대하여 대칭이라는 점이다. 즉, 무엇을 "목표"로 하고 무엇을 "배경"으로 할 것인지에 대한 스와핑(swapping)은 콘트라스트 메트릭(CM)을 불변으로 유지할 것이다. 이것은 용어 "목표와 배경간의 콘트라스트"를 이 기술 분야의 당업자가 공통으로 이해하는 상식과 완전히 일치한다. "배경"과 관련하여 높은 콘트라스트를 가진 "목표"는 목표와 관련하여 높은 콘트라스트를 가진 배경도 자동적으로 암시하는 것이다.

콘트라스트 메트릭(C_M)의 세번째 중요한 특징은 그 최대값이 1이라는 점이다. 이것은 목표 또는 배경에 대한 카메라 응답이 동일하게 0일 때 달성된다. 전체 강도의 적절한 스케일링으로, 이 시나리오는 백색 배경에 대한 완전한 흑색 목표에 또는 그 반대에 대응한다. 이 특수한 경우에 메트릭이 최고의 콘트라스트를 산출한다는 사실도 또한 상식과 완전한 동일선상이다.

상기 설명에 비추어 보면, 상기 수학식 4에서 정의된 콘트라스트 메트릭(C_M)은 여기에서 설명하는 분석을 위한 적당한 도구이다.

수학식 2와 수학식 3의 Cout_T와 Cout_B의 표현을 수학식 4에 대입하면, 콘트라스트 메트릭(C_M)에 대한 아래의 수학식 5가 얻어진다.

수학식 5에서 Γ_k ^T = G(λ_k)H_T(λ_k) 이고 Γ_k ^B = G(λ_k)H_B(λ_k) 이다.

카메라의 포화 레벨을 Cout_MAX라고 정의한 후에는 콘트라스트 최적화 문제를 정밀 수학 항목에 둘 수 있다. Γ_k ^T, Γ_k ^B ∈R⁺ (k=1, ..., N)의 주어진 집합에 대하여, α_k는 아래의 조건에 따라서 수학식 5를 최대화하는 것으로 나타났다.

; 및

일견해서, 상기 콘트라스트 최적화 문제를 풀기란 어려워 보인다. 그러나, 잘 관측하면 문제를 해결하기 위한 간단한 알고리즘이 있음을 알 수 있다. 첫째로, α_k에 대한 조건은 N+2 초평면(hyper-plane)에 의해 묶여진 가능한 솔루션(solution)의 볼록 집합, 즉,

및

를 생성한다. 상기 최종의 2개의 초평면은 여기에서 "포화 초평면"이라고 부른다.

두번째로, 최적의 솔루션은 가능한 솔루션들의 집합의 경계를 형성하는 N+2개의 초평면 중 하나에 대응하는 표면상에 존재한다. 이것은 콘트라스트 메트릭(C_M) 이 전술한 바와 같이 전체 강도의 변화에 대해 불변이라는 사실의 직접 결과이다. 예를 들어서, 경계 표면상에 없는 최적의 솔루션(α_k ^*)이 있다고 가정한다. 이 경우, 모든 α_k ^*를 적당한 이득 계수(γ)로 단순히 스케일하여 경계 표면상에 γα_k ^*가 놓이게 할 수 있다. 이러한 강도의 전체적인 스케일링은 콘트라스트 메트릭(C_M)을 변화시키지 않기 때문에, 솔루션 γα_k ^*는 최초의 솔루션과 동일한 최적의 콘트라스트 메트릭을 산출할 것이고, 따라서 최적의 솔루션 자체이다.

최적의 솔루션이 경계 표면상에 존재할 것이라는 결론으로, 추가적인 관측이 행하여질 수 있다. 세번째 관측은 포화 초평면들 간의 교선(intersection)을 형성하는 하이퍼라인(hyper-line)을 따라 솔루션이 존재하지 않는다는 것이다. 그 이유는 이 라인을 따라서 콘트라스트 메트릭이 제로이고, 이것은 최적(최대) 솔루션이 될 수 없기 때문이다. 네째로, 최적 솔루션은 포화 초평면에 의해 형성된 경계 표면들 중 어느 하나의 중간에 있을 수 없다는 것을 알 수 있다. 임의의 이러한 가능한 솔루션에 대하여, 솔루션 포인트를 그 표면상에 머무르게 유지하면서 적당한 방향으로 이동시킴으로써 더 나은 솔루션이 있다는 것을 수학적으로 알 수 있다. 이러한 더 나은 솔루션의 존재는 최초의 솔루션이 최적의 솔루션이 아니었음을 의미한다.

이러한 관측들을 모두 함께 고려하면, 최적 솔루션은 α_k=0, k=1, ..., N의 초평면 중 N-1을 가진 2개의 포화 초평면 중 하나의 교선에 의해 형성된 "코너" 중의 하나에 있어야 한다. 이것은 최적 솔루션이 아래의 수학식 6의 형태를 갖는다는 것을 의미한다.

이 수학식은 최적 콘트라스트를 산출하는 조명 구성을 결정하기 위한 단순한 알고리즘을 제공할 뿐만 아니라, 문제점에 대한 중요한 통찰을 또한 제공한다. 즉, 최대 콘트라스트는 활동성인 N개의 광원 중 하나만으로 얻어진다. 이 관측이 내포하는 것은 뒤에서 자세히 설명된다.

다음에, 수학식 4의 콘트라스트 메트릭(C_M)에 의해 규정되는 최대 콘트라스트를 달성하는 조명 조건을 결정하기 위한 알고리즘을 설명한다. k=1, ..., N 각각에 대하여, 대응하는 단일 소스 콘트라스트(C_M,k)는 다음과 같이 나타난다.

그러면, 이전 단계에서 계산된 최대 C_M,k 값에 대응하는 파장(λ_k)이 표면을 조명하도록 선택되어 사용된다.

상기 알고리즘은 최대 콘트라스트용으로 사용되는 강도(α_k)의 절대치를 특정하지 않는다는 것에 주목한다. 이것은 또한 전체 강도 레벨에 대해 불변인 콘트라스트 메트릭(C_M)의 수학적 정의와 일치한다. 그러나, 실제 구현에 있어서, α_k를 하기의 허용가능 최대값으로 설정하면 초기 이미지(raw image), 즉 최적화 전에 단색 카메라에 의해 포착된 이미지의 신호대 양자화 잡음비를 개선한다.

실제상의 상기 알고리즘의 예로서, 표면의 목표 및 배경이 적색, 녹색 및 청색(RGB) 조명에 의해 조명되고 다음의 Γ값이 관측된다고 가정하자.

여기에서 설명한 기술을 사용하면, 개별(적색만, 녹색만, 및 청색만) 조명 방식에 대하여 하기의 콘트라스트 메트릭 값이 얻어진다.

이 특수한 예에서, 적색만의 조명은 배경과 목표간에 최고의 콘트라스트를 산출할 것이다. Cout_MAX가 255이면, 대응하는 강도 계수(α_R)는 α_R=255/5=51로 설정되어야 한다.

최대 콘트라스트를 위한 최적의 조명 조건을 결정하기 위한 알고리즘은 다중 파장 조명 구성에서 이용가능한 모든 파장에 대한 목표 및 배경의 카메라 출력에 관한 지식을 필요로 한다. 이 조건들은 도 4와 관련하여 설명하는 하기의 알고리즘을 수행함으로써 맞추어질 수 있다.

조명 구성에서 이용가능한 각 파장에 대해서, 이미지는 단계 10에서 목표와 배경을 내포하여 포착된다. 단계 12에서는 이들 이미지 내에서 2개의 작은 "목표만" 또는 "배경만"의 영역이 식별된다. 실제로, 이렇게 하는 가장 쉬운 방법은 각 영역에 대하여 2개의 묶음 상자(bounding box)를 그리는 것이다. 다음에, 단계 14에서, 단계 12에서 식별된 대응 영역에 대한 화소값들을 평균화하고 그 이미지를 포착하는 동안 사용된 특수한 강도 레벨(α)을 인수분해(factoring out)함으로써 각 파장에서의 배경 및 목표에 대한 카메라 출력이 계산된다. 단계 16에서 만일 카메라 출력이 임의의 데이터 집합에 대하여 포화되면, 단계 18에서 그 이미지에 대하여 조명 강도가 낮추어지고, 단계 20에서 이미지가 재포착된다. 그 다음에, 알고리즘은 새로운 이미지에 대하여 단계 12의 영역 식별 단계로 되돌아가서 단계 14의 계산 단계까지 진행하거나, 또는 선택적으로, 단계 14의 계산 단계로 직접 되돌아간다. 단계 22에서, 콘트라스트 최적화 알고리즘을 이용하여 최대 콘트라스트를 산출하는 조명 파장뿐만 아니라, 카메라 출력을 배경 영역 또는 목표 영역에 대한 포화 한계까지 구동하는 적당한 강도 레벨을 결정한다. 전술한 바와 같이, 이것은 초기 이미지의 신호대 잡음비를 개선하는데 도움을 준다는 점에 주목한다.

앞에서 설명한 단계 22에서 수행되는 콘트라스트 최적화 알고리즘은 도 5에 도시한 바와 같이 요약될 수 있다. 더 구체적으로 말하면, 단계 24에서는 단일 소스에 대한 단일 소스 콘트라스트(C_M,k)가 계산된다. 단계 26에서는 각 소스에 대하여 단일 소스 콘트라스트(C_M,k)가 계산되었는지에 대한 질의가 이루어진다. 단계 24에서의 계산은 모든 계산이 종료될 때까지 반복된다. 단계 28에서는 최대 단일 소스 콘트라스트(C_M,k)가 선택된다. 단계 30에서는 최대 단일 소스 콘트라스트(C_M,k)에 대응하는 파장(λ_k)이 추가의 처리를 위한 이미지를 얻기 위해 표면을 조명하도록 선택된다.

따라서, 지금까지의 설명은 목표와 배경 간에 최고 콘트라스트를 가진 단일 이미지를 산출하는 조명 방식의 결정에 촛점이 맞추어졌다. 추가의 장점은 후속 목표 식별 알고리즘, 즉 목표, 예컨대 표식을 식별하기 위해 최적화 이미지 또는 여기에서 설명하는 "복합" 이미지(composite image) 등의 이미지를 사용하는 종래부터 알려져 있는 알고리즘의 수행을 개선하기 위해 다른 조명 방식하에서 수집된 데이터에 기초하여 복합 이미지를 생성하도록 복수의 이미지를 활용함으로써 얻어질 수 있다.

먼저, 만일 공간 내에서 완전하게 일치하는 목표와 배경이 있으면, 가상적으로 임의의 조명 조건 하에서 완전한 콘트라스트를 가진 이미지를 생성할 수 있었다. 목표와 배경에 대한 카메라 출력들 사이에 있는 임계값이 결정되고, 그 다음에, 이진수 임계값이 초기 이미지에 인가되어 완전한 콘트라스트를 가진 흑백 이미지를 생성한다. 이러한 극단적으로 단순화한 방법이 실제에 있어서 가끔 실패하게 되는 2가지 중요한 이유가 있다. 한가지 이유는 배경과 목표 중 어느 하나 또는 둘 다가 공간 내에서 좀처럼 완전하게 일치하지 않는다는 점이다. 조직/반점찍기(texture/speckle)를 복수회 하게 되는데, 이것은 배경으로부터 목표를 깨끗하게 "분리"시키기 위한 임계치의 결정을 매우 어렵게 한다. 다른 한가지 이유는 배경에 대조적으로 목표를 생성하기 위해 사용하는 처리의 광학적 한계 또는 공간 해상도때문에 엣지들이 약간 흐릿해지는 것이 항상 있다는 점이다.

이러한 문제점에 대한 하나의 해결책은 불완전한 이미지의 신호대 잡음비(SNR)를 개선하는 것이다. 이렇게 하는 한가지 방법은 배경과 목표가 다르게 응답하는 조명 파장을 선택함으로써 목표 이미지와 배경 이미지 간의 차이를 최대화하는 조명 방식을 취하는 것이다. 이것은 전술한 콘트라스트 최적화 방법이 행하여지는 것과 동일하다.

SNR을 개선하는 다른 하나의 방법은 능동 노이즈 소거이다. 이미지로부터 목표를 식별하는 것에 있어서, 이것은 "매끄러운" 목표 및 배경이 얻어질 때까지 초기 이미지로부터 구성 정보(texture information)를 제거하는 것에 대응한다. 이것이 단일 파장 조명하에서 일어나는 것을 이해하기 위해, 상기로부터의 카메라 출력 모델은 구성 정보를 포함하도록 다음과 같이 일반화된다.

상기 수학식에서 함수 T(x,y)는 전체 이미지의 구성 정보를 나타내고, U_T(x,y) 및 U_B(x,y)는 각각 목표 영역과 배경 영역을 제외한 모든 부분에서 제로인 마스킹 함수이다.

이 방법을 사용하기 위해서는 하나의 이미지가 아닌 2개의 이미지를 구해야 한다. 도 6의 단계 40에 보인 바와 같이, 상기 최적 조명 조건을 결정하는 방법에서 설명한 바와 같이 콘트라스트를 최대화하는 파장을 이용하여 제1 이미지가 포착된다. 단계 42에서, 상기 콘트라스트 최대화 문제를 해결하기 위해 사용된 것과 동일한 절차를 이용하여 콘트라스트를 최소화하는 파장을 가진 조명 방식을 이용하여 제2 이미지가 포착된다.

정의하자면, 목표(또는 기점)와 배경 간의 콘트라스트를 최소화하는 조명 방식에 의해 포착된 이미지에 최소의 목표-배경 차분 정보가 있다. 결과적으로, 최소 콘트라스트 이미지는 이 방법에 의해 제거하려고 하는 구성 데이터를 주로 내포한다. 따라서, 단계 44에서, 최대 콘트라스트를 가진 이미지는 최소 콘트라스트를 가진 이미지에 의해 나누어져서 수학식 7 및 수학식 8로부터 T(x,y) 항을 효과적으로 소거한다. 즉, 이미지의 각 화소마다의 명도값이 최소 콘트라스트를 가진 이미지 내의 대응하는 화소의 명도값에 의해 나누어진다. 이것은 배경과 목표에 있어서 훨씬 더 매끄러운 이미지, 즉 비교적 노이즈가 없는 이미지를 만든다. 그 다음에, 단 계 46에서, 상기 소위 "복합" 이미지가 전술한 바와 같은 처리를 위해 하류의 목표 식별 알고리즘에 제공된다.

이미지의 SNR을 개선하는 세번째 방법은 목표 및 배경이 2개 이상의 파장 각각에 의해 조명된 때 포착된 복수의 이미지로부터 관심 영역의 합성 이미지를 형성하는 것이다. 이 예에서, 하나의 이미지는 다른 이미지로부터 감산되어 목표와 배경간의 콘트라스트가 강화된 합성 이미지를 생성한다.

더 구체적으로, 하기와 같은 관측된 Γ값을 가진 RGB 조명과 관련한 전술한 시나리오를 생각하자.

전술한 바와 같이, 적색 조명만으로 최고 콘트라스트의 초기 이미지를 제공할 수 있다. 그러나, 청색 조명하에 얻어진 이미지로부터 녹색 조명하에 얻어진 이미지를 감산하여 얻어진 합성 이미지를 생각하자. 이것은 강도를 α_R=0, α_G=-1 및 α_B=+1로 설정한 것과 등가이다. 이 값들을 수학식 5에 대입하면, 합성 이미지의 콘트라스트 메트릭은 1로 되고, 이것은 적색 조명만으로 얻어진 최적의 초기 이미지에 의해 달성할 수 있는 것보다 훨씬 더 높다.

상기 예의 2가지 중요한 양상들을 강조할 필요가 있다. 먼저, 하나의 초기 이미지를 다른 이미지로부터 감산함으로써 얻어진 이미지는 진정으로 "합성"(synthetic)이다. 조명 변경에 의해 이미지를 물리적으로 발생시키는 것은 " 부"(negative)의 강도를 필요로 하고, 이것은 물리적으로 가능하지 않다. 둘째로, 초기 이미지의 스케일링 및 감산을 통해 1의 콘트라스트 메트릭을 가진 합성 이미지를 얻는 것은 항상 가능하다. 해야할 것은 개별 이미지를 스케일하여 이미지들이 목표 영역 또는 배경 영역에 "정합"되게 하고, 그 다음에 하나의 (스케일된) 이미지를 다른 이미지로부터 감산하는 것이다.

상기 교시의 실예는 도 7 내지 도 11에 도시되어 있다. 이 예에서, PCB 기판상의 정렬 목표는 청색, 녹색, 적색 및 적외선 LED를 이용하여 조명되고, 대응하는 4개의 "초기" 이미지가 단계 48에서 단색 카메라에 의해 포착된다. 도 8은 전술한 다색 LED의 스펙트럼 출력을 보인 것이다. 결과적인 초기 이미지는 도 9a 내지 도 9d에 도시되어 있다. 도 9a는 청색 LED 조명하의 목표 및 배경을 보인 것이도, 도 9b-9d는 각각 녹색 LED 조명, 적색 LED 조명 및 적외선(IR) LED 조명하의 동일한 목표 및 배경을 보인 것이다.

다음에, 단계 50에서 이미지의 "목표" 영역 및 "배경" 영역의 묶음 상자가 각각의 초기 이미지마다 결정된다. 묶음 상자의 예는 도 9a에 도시되어 있다. 이 묶음 상자 내에서의 평균 화소값은 4개의 이미지 모두에 대하여 계산되고, 대응하는 콘트라스트 메트릭이 단계 52에서 결정된다. 이 계산 결과는 도 10에 요약되어 있다. 이 결과에 따르면, 청색 LED 조명하에 얻어진 초기 이미지는 목표와 배경 사이에서 최고 콘트라스트를 갖는다. 이것은 4개의 이미지의 시각적 비교와 일치한다.

"합성" 이미지는 하기의 방법으로 얻어질 수 있다. 먼저, 대수적 처리를 이 용한 합성 이미지용으로 사용되는 이미지들이 단계 54에서 선택된다. 이 예에서, 선택된 제1 이미지는 청색 LED 조명하에 얻어진 초기 이미지이고, 선택된 제2 이미지는 IR LED 조명하에 얻어진 초기 이미지이다. 이들 초기 이미지는 서로에 대하여 각각의 배경 및 목표 평균 화소값들 사이에서 반전된 비율을 갖는다. 다음에, 단계 56에서 이미지들 중 하나를 스케일하여 배경과 목표 중 어느 하나의 평균 화소값이 제로로 출력될 수 있게 한다. 이 경우에, 예를 들어서, IR LED 조명하에 얻어진 초기 이미지의 각 화소는 청색 LED 조명하에 얻어진 초기 이미지의 목표 평균 화소값의 비율 및 IR LED 조명하에 얻어진 초기 이미지의 목표 평균 화소값에 의해 승산된다. 즉 144.1300/125.7639이다.

스케일된 이미지는 다른 선택된 이미지, 이 예에서는 청색 LED 조명하에 얻어진 초기 이미지로부터 화소마다 감산된다(단계 58). 이것은 목표 영역에 대하여 가상적으로 제로(0) 평균 화소값을 가진 이미지를 생성한다. 결과적인 이미지에 대하여, 제로가 아닌 영역의 평균 화소값은 다음에 단계 60에서 계산된다. 이 예시적인 이미지에 대하여 평균 배경 화소값이 계산된다. 그 다음에, 단계 62에서, 이미지의 각 화소가 적당한 계수에 의해 스케일되어 평균 화소값, 이 예에서는 배경 영역의 평균 화소값을 예를 들면 255인 최대 화소값까지 끌어 올린다.

이 단계들을 수행한 후의 합성 이미지는 도 11에 도시되어 있다. 이 이미지의 콘트라스트 메트릭은 0.9624로서 계산되었고, 이것은 이론적 최대치인 1에 매우 근접한다. 이 콘트라스트 메트릭은 도 10에 도시된 4개의 초기 이미지에 비하여 콘트라스트가 크게 개선되었다. 이 개선은 도 11에 도시된 이미지의 시각적 검사에 의해서도 쉽게 검증된다.

전술한 실시예들은 본 발명의 이해를 쉽게하기 위하여 설명한 것이며, 본 발명을 제한하는 것은 아니다. 오히려, 본 발명은 첨부된 청구범위의 정신 및 범위 내에 있는 각종 수정 및 등가적 배치를 포함하는 것으로 의도되고, 청구범위는 법이 허용하는 한도내에서 모든 수정 및 등가적 구조를 내포하도록 최광의로 해석되어야 한다.

Claims

단색 카메라에 의해 포착된, 목표 및 배경을 포함한, 표면 이미지의 화질을 개선하는 방법에 있어서,

다중 파장 조명을 이용하여 복수의 이미지를 얻는 단계와;

복수의 이미지에 기초한 표면의 각 부분들간의 콘트라스트를 최적화하는 단계를 포함하는 화질 개선 방법.
제1항에 있어서, 다중 파장 조명을 이용하는 단계는 복수의 파장 중에서 다중 파장 조명을 변경하는 단계를 포함하고, 콘트라스트를 최적화하는 단계는 복수의 파장 중의 어느 파장이 최적의 콘트라스트를 가진 이미지를 생성하는지를 결정하는 단계를 포함하는 것인 화질 개선 방법.
제1항 또는 제2항에 있어서, 다중 파장 조명의 각 파장마다 목표 및 배경에 대한 각각의 카메라 출력을 결정하는 단계와;

콘트라스트를 최적화시킬 때 목표 및 배경에 대한 각각의 카메라 출력을 이용하는 단계를 더 포함하는 화질 개선 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 다중 파장 조명의 파장에 대한 이미지를 포착하는 단계와;

목표만의 영역 내에서 적어도 2개의 목표 영역을 식별하는 단계와;

배경만의 영역 내에서 적어도 2개의 배경 영역을 식별하는 단계와;

적어도 2개의 목표 영역의 화소값들을 평균화하는 단계와;

적어도 2개의 배경 영역의 화소값들을 평균화하는 단계와;

이미지를 포착하는 동안 사용된 강도 레벨을 인수분해하는 단계와;

콘트라스트를 최적화할 때 목표 및 배경에 대한 각각의 카메라 출력을 사용하는 단계를 더 포함하는 화질 개선 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 표면의 각 부분들간의 콘트라스트를 최적화하는 단계는,

다중 파장 조면에 이용가능한 복수의 파장 중 각 파장에 대한 표면의 단일 소스 콘트라스트를 계산하는 단계와;

최대 단일 소스 콘트라스트 값에 대응하는 파장을 선택하는 단계를 더 포함하는 화질 개선 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 최소 콘트라스트 이미지에 의해 최대 콘트라스트 이미지의 화소별 나누기를 수행하여 신호대 잡음비가 감소된 복합 이미지를 생성하는 단계를 더 포함하는 화질 개선 방법.
제6항에 있어서, 다중 파장 조명의 콘트라스트를 최적화할 때 얻어진 콘트라 스트를 이용하여 최대 콘트라스트 이미지인 제1 이미지를 포착하는 단계와;

복수의 이미지를 이용하여 다중 파장 조명의 콘트라스트를 최소화하는 단계와;

다중 파장 조명의 콘트라스트를 최소화할 때 얻어진 콘트라스트를 이용하여 최소 콘트라스트 이미지인 제2 이미지를 포착하는 단계를 더 포함하는 화질 개선 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 적어도 2개의 이미지를 대수적으로 합성하여 높은 콘트라스트의 복합 이미지를 합성하는 단계를 더 포함하는 화질 개선 방법.
제8항에 있어서, 적어도 2개의 이미지를 대수적으로 결합하는 단계는,

제1 이미지를 선택하는 단계와;

제2 이미지를 선택하는 단계와;

제1 이미지를 스케일하여 스케일된 이미지를 얻는 단계와;

스케일된 이미지를 제2 이미지로부터 감산하여 배경과 목표 중의 어느 하나의 콘트라스트가 약 제로인 제3 이미지를 얻는 단계와;

제3 이미지의 각 화소를 스케일하여 결과적인 이미지가 높은 콘트라스트의 복합 이미지로 되는 최대 평균 화소값을 얻는 단계를 더 포함하는 것인 화질 개선 방법.
제1항 내지 제9항 중 어느 한 항의 화질 개선 방법을 수행하는 장치.