KR101612165B1 - 초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터 - Google Patents

Abstract

본 발명은 사진 및 비디오 이미지 분야에 관한 것으로, 전자 셔터를 구비한 센서들을 장착한 사진 및 비디오 카메라에 의해 시각적으로 확대된 객체에 대한 고품질 이미지를 만드는데 사용될 수 있다. 복수의 저해상도 프레임들이 하나의 고해상도 프레임(즉, 초고해상도)을 생성하는데 사용될 때, 기술적 결과는 센서의 일부만을 탐지하는 동안 복수의 이미지 프레임들의 고속 캡쳐 가능성뿐만 아니라 이미지 해상도를 증가시키도록 구성된다. 이러한 결과는, 복수의 프레임들이 노출되고, 초기 이미지들이 고속 캡쳐된 연속 프레임 시퀀스의 형태로 센서로부터 독출을 이용하여 생성되고, 이 과정에서 프레임들의 프레임 속도는 탐지되고 있는 센서의 광에 민감한 영역의 지역에 역비례하며, 상기 초기 이미지들은 정렬되고, 향상된 이미지가 생성되고, 이 이미지는 비선형 필터를 이용해 필터링되며, 비선형 필터는 기준점들뿐만 아니라 방사상 및 정현적인 테스트 차트를 포함하는 테스트 이미지를 사용하여 선훈련된 신경망을 포함함에 따라 달성된다. 더욱이 필터링은 신경망에 미리 변형되고 디지털화된 데이터를 적용하고, 상기 데이터의 변형은: 저주파 성분 분리, 픽셀 정렬, 정렬된 픽셀들로부터 저주파 성분 독출 및 이후 상기 픽셀들의 정규화를 포함한다. 그런 다음, 신경망 출력에서 데이터는 역정규화되고, 저주파 성분은 신경망 출력에서의 값들에 가산된다.

Description

초고해상도 이미지 생성 방법 및 이를 구현하기 위한 비선형 디지털 필터{METHOD FOR PRODUCING SUPER-RESOLUTION IMAGES AND NONLINEAR DIGITAL FILTER FOR IMPLEMENTING SAME}

본 발명은 사진 및 비디오 이미지 분야에 관한 것으로, 전자 셔터를 구비한 센서들을 장착한 사진 및 비디오 카메라에 의해 시각적으로 확대된 객체의 고품질 이미지를 만드는데 사용될 수 있다.

최신 이동 장치들은 보통 사진 및 비디오 카메라들을 장착하고 있어, 매우 높은 품질의 이미지들을 촬영할 수 있게 한다. 그러나 시각적으로 확대된 이미지를 촬영하기 위해서, 그러한 장치들의 이동성에 대한 요구조건은 장치의 큰 크기 때문에 가변 초점거리(가변 확대 줌 렌즈)를 갖는 광학계(렌즈들)의 사용을 허용하지 않는다. 따라서 그러한 휴대 장치들은 디지털 줌의 사용에 의지하게 된다.

다음의 해법들이 이 분야에서 알려져 있다:

디지털 줌 방법은 저 해상도를 갖는 확대된 이미지를 얻는데 사용한다. 이 시각적-확대 방법을 사용하는 동안 센서의 중앙 부분만이 동작한다. 그런 다음 센서의 전체 픽셀 수와 동일한 픽셀 수를 갖는 이미지를 얻기 위해서 센서의 중앙부분으로부터 축소된 이미지는 알려진 2차원 보간(2중 선형(bilinear) 또는 쌍3차(bicubic)) 방법 중 하나에 의해 보간된다.

디지털 줌의 제한점들:

- 노출되는 동안 움직임에 의해 일어나는 선형 이미지-블러링(blurring) 확대가 보간하는 동안 일어난다. 전통적인 안정화 시스템의 사용 [David Sachs, Steven Nasiri, Daniel Goehl "Image Stabilization Technology Overview"]은 이동성에 대한 요구조건 때문에 어렵다.

- 보간된 신호는 고주파 성분을 포함하지 않아, 불명확한 에지(edge)와 세부 사항들이 부족하다.

해상도를 확대하거나 초고해상도를 얻기 위해 수 개의 프레임들 사이에 작은 공간 쉬프트(shift)를 갖는 프레임들을 사용하는 이미지 향상 방법 [Michal Irani, Shmuel Peleg "Super Resolution From Image Sequences", ICPR, 2:115--120, June 1990]이 있다. 이 방법에서, 최적의 고해상도 이미지에 대한 수렴(convergence)이 반복적으로 수행된다. 반복은 고해상도 이미지의 초기(원본)버전을 만드는 것부터 시작한다. 일반적으로, 그러한 초기 버전은 저해상도의 보간된 이미지들을 단순 가산하여 만들어진다. 반복의 두 번째 단계는 이 버전의 고해상도 이미지로부터 저해상도 이미지들의 재생성, 이들을 저해상도의 초기 이미지들과 매칭(matching), 및 보정 인자(factor)에 대한 평가를 포함한다. 더 많이 반복하면 이전 반복에서의 보정을 고려하면서 새 버전의 고해상도 이미지가 평가된다.

이 방법의 제한점은 반복횟수가 많기 때문에 매우 저속이라는 것이다. 다른 제한점은 필요한 반복회수를 예측할 수 없다는 것이다.

고해상도를 갖는 결과로 반복 접근 수렴을 보장하도록 티코노프에 의한 정규화(regularization) 방법을 사용하여, 해상도 증가시킴으로써 이미지를 향상시키는 다른 방법[A.V.Nasonov and A.S.Krylov, Fast super-resolution using weighted median filtering // Proc. Intern. Conf. on Pattern Recognition. Istanbul, Turkey: IEEE Computer Society Press, pp. 2230-2233, 2010]이 알려져 있다. 이 방법은 수 개의 이미지 프레임들을 촬영하여 향상된 해상도의 시각적으로 확대된 이미지를 얻는데 효과적이다.

제한점은, 전통적인 방법을 사용해 촬영하는 동안 사진들 사이에 나타나는 불가피한 일시 정지(pause) 때문에 프레임에서 움직이는(고정되어있지 않은) 객체가 흐릿하게 촬영되거나 고스트 영상(ghosting)이 나타난다는 것이다. 이 방법은 카메라 광학계의 왜곡(블러링/불분명함)을 보정할 기회를 제공하지 않는다. 게다가, 이 방법에 사용되는 미디언(median) 필터링은 에지의 선예도(sharpness)를 유지하지만, 이미지의 작은 세부사항들을 파괴한다. 이를 향상시키는 것이 초고해상도의 목적 중 하나이다.

단일 2D 이미지보다 더 높은 정보량을 갖는 이미지 시퀀스의 해상도 개선에 대한 다른 알려진 방법은 [Jung-Hyun Hwang, Hweihn Chung, Sung-Ii Su, Yong-Chul Park, Chul-Ho Lee "High-resolution digital-zooming using temporal IIR filter", IEEE Transactions on Consumer Electronics, Vol. 42, No.3, August 1996]에 기재되어 있다. 디지털 이미지 안정화뿐만 아니라 고해상도를 얻기 위한 시각적 이미지 확대를 위해 서브픽셀 레벨의 움직임 감지 및 시간 척도에 따른 IIR 필터링이 도입되었다. 실제 이미지 시퀀스를 기반으로 한 실험결과가 도시되어 있다.

이 방법의 처리 단계들은: 센서로부터 데이터 획득, 정렬, 확대, 선형 필터를 이용한 이미지 다중화/필터링이 수행된다; 동시에 각 입력 프레임은 다른 가중치들을 사용해 이전 결과에 가산된다. 사각 윈도우를 이용한 추가 컨볼루션(convolution), (즉, 사후(post) 필터링)은 이미지 확대 후에 수행된다. 그러나 그런 방식으로 다중화되기 전 서브픽셀 거리에 의해 쉬프트된 이미지가 이전 결과의 (IIR 필터에 의해 필터링된) 픽셀들에 직접 가산된다.

이 방법의 첫째 제한점은 출력 필터가 단순해 최종 이미지가 최적으로 선명하지 않다는 것이다. 또한 그 필터는 인접, 이웃 이미지 픽셀들을 사용하지 않아, 카메라 광학계의 왜곡(블러링/불명확함)에 대한 보정을 막는다. 센서로부터의 데이터 획득이 표준 저속 방법으로 수행되어 이중으로 불안정한 객체(고스팅)뿐만 아니라 블러링된 이미지를 초래한다.

신경회로망의 도움으로 구현된 비선형 필터는 이미지를 텍스트를 포함한 영역과 도표를 갖는 영역으로 분할하고, 역시 신경회로망의 도움으로 구현된 다른 비선형 필터는 이미지 선예도를 향상하는데 사용되는, 이지미 선예도 향상 방법[Masaaki Hayashi, “Neurofilter, and method of training to operate on image data so as to discriminate between text and image regions of an image which is expressed by image data” 미국특허 제6,301,381호]이 알려져 있다. 두 필터는 다음과 같이 설계된다:

- 필터링이 수행되는 픽셀 데이터를 포함하는 이미지 영역으로부터, 이 픽셀값과 이웃 픽셀값들이 독출된다;

- 선택된 픽셀들의 값들은 이전에 훈련된 신경망의 입력으로 전달된다;

- 선예도 향상 필터의 경우, 신경망은 선명한 이미지를 형성하는 픽셀값을 준다;

- 텍스트를 도형들과 구별하는데 사용되는 필터의 경우, 신경망은 이 이미지 영역에서 텍스트의 존재 확률에 비례하는 레벨을 갖는 신호를 준다.

이 방법은 제한점들은 다음과 같다:

- 하나의 프레임만이 입력으로 사용되고, 입력에 비해 최종 이미지에서 잡음 레벨이 감소되지 않는다;

- 높은 동적 범위의 픽셀값은 신경망의 효과적인 동작을 막는다;

- 처리 결과로서, 이미지 선예도는 증가하지만, 이미지 해상도는 향상되지 않는다.

하나의 이미지 프레임이 입력으로 사용되는 또 다른 이미지 해상도 향상 방법[Lin 등 "Method for image resolution enhancement" 미국 특허 제7,187,811호]이 알려져 있다. 이 방법을 사용하면 입력 이미지의 영역들은 에지를 갖는 이미지 영역 및 갖지 않는 영역의 두 그룹으로 분류된다. 에지를 갖지 않는 이미지 영역은 간단한 이중 선형 보간으로 보간된다. 에지를 갖는 영역은 신경망에 의해 보간된다. 두 카테고리로의 분할과 그들에 대한 개별적인 보간은 이미지에서 기울어진 에지에 대한 “계단”효과처럼 전통적인 보간방법(이중선형, 쌍3치)에 공통되는 그러한 제한점들을 회피하는데 도움을 준다.

그러한 방법 내에서, 신경망에 의해 설계된 비선형 디지털 필터(보간기)는 에지를 갖는 이미지들에 사용된다. 신경망은 해당 “분야”의 자연스런 이미지의 도움으로 선훈련(pretrain)된다. 보간기에 대한 입력 데이터는 영역 좌표, 에지 “품질”, 에지 편차, 처리중인 픽셀과 이웃 픽셀들의 값을 포함한다. 에지 “품질”과 편차는 그 영역에 포함되는 픽셀 데이터를 기반으로 계산된다. 이 데이터는 신경망 입력층으로 전달된다. 신경망은 입력 데이터와 신경망을 선훈련하는 동안 결정된 가중치를 곱하고, 소정의 비선형 전달함수를 적용한다. 보간된 픽셀값은 신경망의 출력 결과를 형성한다. 이 방법 내에서, 신경망은 비선형 필터 기능을 수행하고, 영역좌표, 에지 “품질”, 에지 편차, 처리중인 픽셀과 이웃 픽셀들의 값이 직접 입력층으로 전달된다. 신경망은 즉시 보간된 픽셀값을 준다.

이 방법의 제한점은 다음과 같다:

- 하나의 프레임만이 입력으로 사용되고, 입력에 비해 최종 이미지에서 잡음 레벨이 감소되지 않는다;

- 신경망은 소정의 제한된 패턴 세트(에지 방향의 변형들)를 명확하게 하도록 훈련되어, 훈련 세트 이미지가 아닌 것으로 보이는 이미지들에 대해서는 부정확한 보간을 초래한다.

- 높은 동적 범위의 픽셀값들은 신경망의 효과적인 동작을 막는다.

- 이미지들이 처리되는 동안 두 그룹으로 분할될 필요가 있다; 이는 추가적인 계산 자원을 요구한다.

얻을 수 있는 정보 전체를 분석하는 동안 본 발명의 발명자들은 본 발명에 기재된 방식으로 이미지들을 시각적으로 확대하면서 고해상도 이미지를 얻는 작업을 해결할 수 있는 기술적 해법을 찾지 못했다.

본 발명의 목적은 정지 및 움직이는 객체를 사진 및 비디오로 촬영하는 동안 고품질과 고해상도를 갖고 시각적으로 확대된 이미지를 촬영할 수 있는 방법을 생성하는 데에 있다.

본 발명에 따르면, 도입된 해법은 이미지 해상도 향상을 구현하는 것에 기초해 다수의 저해상도 프레임들로부터 하나의 고해상도(즉, 고해상도) 프레임을 얻으며, 센서의 일부만을 탐지(scan)하면서 몇 개의 이미지 프레임들을 고속 촬영하는 방법을 제공한다. 작업의 해법(즉, 필요한 기술적인 효과 달성)은 그 목적을 위해 특별히 설계된 비선형 필터를 사용하여 이뤄진다.

본 발명의 핵심은:

- 몇 개의 프레임 노출;

- 센서로부터 입력 이미지들의 독출;

- 정렬;

- 확대된 이미지 형성;

- 그것의 필터링을 포함하는,

알려진 이미지 향상 방법 내에서, 입력 이미지들은 고속촬영 프레임들의 연속 시퀀스 형태로 디지털 센서로부터 독출되고, 이 동안에 그 프레임 속도는 탐지된 센서 영역에 역비례한다는 것에 있다. 동시에, 확대된 이미지는 저해상도의 입력 프레임들을 결합하고 가장 명료한(또는 가장 선명한) 프레임들을 식별함으로써 형성된다. 이미지 향상은 비선형필터를 확대된 입력 프레임들 결합 결과에 적용함으로써 이뤄진다. 처리중인 이미지의 픽셀들이 입력 데이터인 비선형 디지털 필터는 참조 이미지의 도움으로 선훈련된 신경망을 포함하고, 초고해상도를 얻기 위한 필터링에 사용된다. 변형되고 디지털화된 데이터들이 신경망으로 전달된다; 이 변형은: 저주파수 성분 선택, 엘리먼트 단위의 픽셀 그루핑, 그루핑된 픽셀에서 저주파수 성분 감산, 및 추가적인 정규화를 포함한다. 그런 다음, 신경망의 출력 데이터는 역 정규화에 의해 처리되고 저주파수 성분이 신경망의 출력값에 가산된다. 필터링되어야 하는 픽셀 데이터 및 확대된 이미지로부터 수평 및 수직으로 몇 개의 포인트만큼 떨어져 위치하는 픽셀 데이터만이 필터값들을 얻는데 사용된다.

도 1은 전자 셔터를 갖는 센서를 사용하여 비디오 모드에서 프레임들을 촬영하는 표준 방법을 도시한 것이다. 프레임 노출 사이에는 일시 정지가 있다. 시간척도에서 수직선들 1;2;3은 프레임 노출 시작 시간을 나타낸다. 동시에, 이들간 거리는 프레임 속도와 동일하다. 빗금친 영역은 실시간 센서 탐지라인(scan-line) 노출(센서가 전자 셔터 내에서 사용될 때, 매 탐지라인 시작 및 종료 시간에서 실제 노출은 약간 벗어난다)을 도시한다.
도 2는 전자 셔터를 구비한 센서를 사용하여 일시정지 없이 프레임들을 촬영. 시간 척도상의 수직선들 1;2;3;4 는 프레임 노출 시작시간을 나타낸다. 다음 프레임 노출은 현재 프레임의 라인 데이터를 독출한 바로 직후 시작한다: 일시정지는 없다.
도 3은 센서 도면을 나타내며, 여기서 301 - 센서의 광민감성 영역; 302 - 시각적으로 확대된 이미지를 얻는데 사용되는 그 중앙 부분이다.
도 4는 해상도를 더 향상시키는 방법(블록도)을 구비한, 확대된 크기의 이미지에서 몇 개의 프레임들과 그 결합에 대한 정렬을 도시한 것으로, 여기서:
401(상위 행) - 초기 프레임들;
402(제2행) - 정렬된 프레임들;
403 - 프레임 결합 블록, 정렬된 프레임들을 입력으로 얻어서 확대된 크기의 결합된 프레임을 제공한다;
404 - 초기 ‘블러링된’ 이미지;
405 - 비선형 필터;
406 - 초고해상도의 확대된 이미지이다.
도 5는 해상도 향상을 위한 비선형 필터의 적용을 도시한 것이며, 여기서:
501 - 초기 확대된 촬영,
502 - 필터 도면, 데이터 선훈련 단계(503); 신경망(504) 및 가산 단계(505);
506 - 초고해상도를 갖는 확대된 최종 이미지이다.
도 6은 참조 이미지를 나타내며, 신경망 선훈련에 사용된다.

이하에서는, 본 발명의 예시적인 실시형태들을 도면을 통해 보다 상세히 설명한다. 전체 도면에서, 서로 대응하는 부분에는 항상 동일한 도면부호가 부여된다.

도입된 방법을 이용해 프레임을 캡쳐하는 것은 다음과 같이 수행된다: 최신의 이동 장치들에서 센서로부터 독출되어 획득된 데이터의 최대 속도는 데이터 전달 인터페이스의 최대 가능속도에 의해 제한되고, 시각적으로 확대된 이미지들을 촬영하는 동안에는 센서 전체 영역을 탐지할 필요가 없어, 프레임 캡쳐의 프레임 속도를 비례적으로 증가시킬 수 있다. 몇 개의 프레임들은 고정된 프레임 속도로 노출되고, 노출 및 프레임 속도는 노출 사이에 일시정지를 배제하는 방식으로 선택된다. 객체에 대한 조명이 나쁜 경우, 각 프레임의 노출을 증가시키거나(더욱 바람직하게는) 노출된 프레임들의 개수를 증가시킨다.

따라서 촬영된 객체를 3중 시각-확대하는 동안 센서 표면의 1/9만이 탐지되어, 최대 프레임 속도는 각각 9배 향상될 수 있다. 이는, 예를 들어, 표준 방법을 사용할 때 9 프레임을 촬영하는 시간은 하나의 프레임을 촬영하는 것과 동일한 시간이 걸린다는 것을 의미한다. 그러한 촬영 시 고정된 객체와 움직이는 객체 모두 각 프레임마다 선명할 수 있고, 다른 프레임들의 잡음 성분의 진폭이 전체 프레임 개수의 제곱근에 비례하여 증가함에 따라 잡음 레벨은 다른 유사한 방법들에 의한 촬영보다 더 낮을 것이다; 그리고 중요 성분(이미지 그 자체)의 진폭은 프레임들의 개수에 직접 비례한다.

이 방법에 의해 얻어진 프레임 시퀀스에서, 손에 들고(handheld) 촬영하는 동안 카메라의 불가피한 흔들림 때문에 프레임들의 일부는 서로 약간씩 쉬프트된다. 또한, 일부 프레임들의 이미지는 다른 것들보다 덜 선명할 수 있다. 때문에 다음 처리 단계에서는 각자에 대한 정렬상태뿐만 아니라 가장 선명한 프레임들을 검출한다. 프레임의 명확성(clarity)을 평가하는 여러 방법이 있다. 예를 들어, [Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi "Blind Image Quality Assessment for Measuring Image Blur", Congress on Image and Signal Processing, 2008. CISP '08. Volume: 1, ISBN: 978-0-7695-3119-9]에서 설명된 방법은 프레임의 명확성을 규정하기 위해 가장 미세한 에지들로 구성된 서브세트가 선택되고, 선택된 에지들의 평균 선명도(clearness)가 규정되며, 그 평균 값은 전체 프레임의 선명성에 대한 측정기준(metric)으로 사용된다.

도입된, 시각적 확대를 위한 초고해상도 이미지 방법 내에서, 이전 단계에서 프레임들의 정렬 및 결합을 이용해 얻어진, 확대된 크기의 프레임(404)이 사용된다(도 4). 프레임 확대는 보간(예를 들어, 쌍3차법)을 이용해 이뤄진다. 프레임 결합은 확대된 프레임들에서 매칭된 픽셀들의 단순 평균 또는 가중치 계수들을 사용하여 좀 더 복잡한 가산에 의해 이뤄진다. 예를 들어, 움직이는 객체들의 경우, 움직이는 객체들의 위치(배열)가 일치하는 프레임들로부터 선택된 데이터를 포함하는 프레임들의 선택적 평균이 이뤄진다. 단일 프레임들 간에 잡음 레벨의 차이가 있는 경우, 결합은 결합된 프레임에서 전체 잡음 레벨을 감소시키기 위해 잡음 레벨이 더 낮은 프레임들에게 더 많은 가중치를 부여하여 이뤄진다.

초고해상도를 갖는 이미지는 확대된 프레임의 각 픽셀에 순차적으로 비선형 필터를 적용하여 얻어진다. 동시에 이 필터는 해상도가 향상된 픽셀에 가까이 위치하는 픽셀들의 영역을 사용한다(도 5).

렌즈와 센서를 포함한 특수 광학계에 대해 고정된 파라미터들을 갖는 비선형 필터가 미리 설계된다. 이는 이 특수 계에 대한 최적의 잡음 소거(blanking)뿐만 아니라 최대 해상도 향상을 보장한다. 필터는 인공 신경망을 사용해 설계된다. 초고해상도를 목적으로 다른 신경망 종류들을 사용할 수 있다. 비선형 다층 퍼셉트론(multi-layer perceptron)이 도입된 해법에 사용되어 왔다. 할당된 작업에 대해 가장 최적의 신경망 아키텍쳐(architecture)는 하나의 은닉층, 모든 계층에서의 시그마(sigma) 또는 탄젠트(tangential) 활성 함수 및 은닉층에서의 4개의 뉴론(neuron)을 갖는 퍼셉트론인 것이 경험적으로 결정되어 왔다. 흑백 이미지 혹은 단지 이미지의 휘도 성분에 필터를 적용하는 경우, 출력층에는 하나의 뉴론(neuron)이 사용된다. 다수의 컬러 채널을 갖는 이미지에 필터를 적용하는 경우, 출력층은 이미지의 컬러 채널 수와 동일한 뉴론 개수를 포함한다; 또는 각 컬러 계층에 단일 필터가 독립적으로 적용된다.

비선형 필터는 다음을 포함한다:

- 디지털화된 이미지 데이터의 변형;

- 그 데이터를 미리 훈련된 신경망의 입력으로 전달;

- 역 정규화;

- 디지털화된 데이터의 선변형(premodification) 단계에서 수신된, 저주파수 데이터를 갖는 신경망 출력의 추가 가산.

디지털화된 데이터의 선변형은 다음 단계들을 포함한다:

1. 필터링 성분 분리. 이미지의 휘도 성분만 또는 단일 컬러 채널을 필터링하기 위한 필터를 사용하는 경우, 이 성분이 이미지로부터 분리된다.

2. 저주파수 분리. 공통 선형 필터를 사용하여 수행된다(예를 들어, 주어진 픽셀에서 반경 8픽셀 이내의 모든 픽셀들에 대한 평균값을 계산). 저주파수 분리로 입력 데이터의 동적 범위가 감소된다.

3. 비선형 필터링이 수행되는 픽셀을 둘러싼 픽셀들을 엘리먼트 단위로 어레이(array)로 그루핑. 따라서 주어진 픽셀로부터 상하좌우 3픽셀 이하의 거리에 있는 모든 픽셀들이 사용된다면, 그 어레이는 7x7=49 엘리먼트들을 포함할 것이다.

4. 어레이의 모든 엘리먼트들로부터 저주파수 성분값의 감산. 이를 수행하기 위해 필터링이 수행되고 있는 픽셀과 매칭되는 좌표값이 2단계에서 분리된 성분으로부터 선택된다.

5. 정규화. 신경망은 입력값의 동적 범위가 넓지 않은 경우 가장 선호되는 모드로 동작하고, 정규화는 동적범위를 추가적으로 감소시킨다. 모든 픽셀 어레이들은 픽셀값들이 특별한 범위(예를 들어, [0…1])에 들어가는 방식으로 정규화된다.

이 변형된 데이터가 신경망 입력으로 전달된다. 데이터 변형은 신경망이 선훈련되는 동안과 신경망이 비선형 필터의 일부로 사용되는 동안에 사용된다.

참조 이미지는 신경망을 선훈련시키는데 사용된다(도 6). 그 이미지는 렌즈-센서 광학계에 의해 촬영되고, 거기에 필터가 사용될 것이다.

참조 이미지 요구조건:

신경망은 ‘일반화’하는 능력(즉, 제한된 데이터 양에 기반하여 공통 규칙과 종속성을 갖는 결론을 끌어낸다)을 갖기 때문에, 신경망 선훈련시 이미지에 대한 모든 가능한 변형을 사용할 필요는 없다. 그러나 선훈련하는 동안 사용되는 이미지는 결과적으로 모든 이미지들에 잘 동작하도록 신경망의 최소 요구조건을 만족해야 한다. 이미지는 다음을 포함해야 한다:

- 서로 다른 방향의 휘도에서 매끄러운 변화 및 휘도의 그라디언트(gradient) 값들.

- 서로 다른 방향의 휘도(에지)에서 갑작스런 변화

- 컬러 성분을 처리하는 신경망을 선훈련하는 동안 - 서로 다른 방향 및 그라디언트 값들을 갖는 컬러 성분의 매끄럽고 갑작스런 변화

- 서로 다른 두께와 방향의 어둡고 밝은 스트로크(stroke)

- 선 및 정현적인(sinusoidal) 타겟들(차트).

- 촬영된 이미지의 추가 정렬을 용이하게 하기 위한 제어점들

참조 이미지 촬영 프레임들 및 그들의 정렬과 결합은 촬영된 이미지 프레임들의 정렬을 용이하게 하기 위해 제어점들(교차점들)을 사용하는, 도입된 방법에 의해 수행된다. 예를 들어, 5x5 제어점들을 갖는 패턴들이 도 6에 참조 이미지상에 도시된 것과 같다. 고주파수 및 저주파수가 선필터링된 참조 이미지의 정규화된 픽셀들이 신경망 선훈련에 타겟 데이터로 사용된다. 고주파수의 컷오프(cutoff) 주파수는 최종 이미지의 명확성과 그 안의 허용 가능한 잡음/왜곡 수준에 대한 요구조건을 기반으로 경험적으로 선택된다. 저주파수의 컷오프 주파수는 저주파수 필터의 주파수를 기반으로 선택되고 디지털화된 입력 데이터의 변형에 사용된다. 중간 및 작은 크기의 신경망에 최상의 결과를 주는, 잘 알려진 레벤버그-마쿼트(Levenberg-Markqardt) 알고리즘이 신경망 선훈련에 사용된다.

출력 신경망 데이터를 수신한 후, 이에 대한 역정규화가 행해진다. 예를 들어, 단계 5의 선변형이 수행되고, 단순히 상수를 곱하여 정규화가 이뤄졌다면, 역정규화는 신경망 출력으로부터 수신된 데이터를 동일한 상수로 나눠서 수행된다.

따라서 비선형 필터를 이용한 데이터 처리는 다음을 포함한다:

1. 디지털화된 이미지 데이터의 선변형.

2, 선훈련된 신경망에 의한 데이터 처리.

3. 단계 5에서 디지털화된 이미지 데이터에 대한 선변형의 역과정.

4. 신경망을 사용하여 계산된 결과에, 디지털화된 이미지 데이터의 선변형에 대해 단계 2에서 필터링된 저주파수 데이터를 가산.

전자 셔터를 구비한 센서에 의해 시각적으로 확대된 초고해상도 이미지를 생성하기 위해 도입된 방법은 고해상도의 품질 이미지를 얻을 기회를 제공하고 최근 생산되는 다른 이동 장치들에 적용할 수 있다. 고해상도를 얻는데 필요한 센서에 의해 수신된 데이터를 후처리하는 것은 장치의 계산 자원에 높은 요구조건을 부과하지 않으며, 장치에 직접 설치될 수 있다. 그 방법은 (알려진 것들과 비교하여) 다음과 같은 이점을 갖는다:

- 많은 프레임들의 노출이 가능하다; 그러나 각 프레임의 노출은 실질적으로 디지털 줌에 사용되는 것보다 작다. 그 결과, 이미지 블러링이 감소된다.

- 동일한 장면을 나타내는 많은 수의 프레임들의 존재; 이는 다른 잡음들에 대한 필터링이 효과적으로 이뤄지도록 허용한다.

- 이 초고해상도 방법은 이미지에서 선명한 에지, 작은 세부사항들을 다시 만드는데 도움을 준다.

- 이 초고해상도 방법의 고속처리는 이동장치에서 사용할 수 있게 하고, 이러한 사용을 위한 주요 요구사항 중 하나는 촬영 시 즉각적인 결과를 얻는 것이다.

- 다른 방법들과 반대되게, 하나의 품질 이미지를 얻기 위해 여러 프레임들을 결합함으로써, 움직이는 객체들의 촬영과 관련된 문제들이 없다.

참조문헌

1. Michal Irani, Shmuel Peleg "Super Resolution From Image Sequences", ICPR, 2:115--120, June 1990.

2. A.V.Nasonov, A.S.Krylov ''Fast image super-resolution using mixed median filtering'', труды 12th international conference and exhibition ''Digital signal processing and its application'' (DSPA' 2010), vol.2, p.101-104.

3. A.V.Nasonov, A.S.Krylov, A.Lukin "Image resolution increase using Tikhonov regularization" // Proceedings of international conference "Tikhonov amd modern mathematics", Moscow, 2006.

4. Reza Safaee-Rad, Milivoje Aleksic "Handshake Characterization and Image Stabilization for Cell-Phone Cameras", Proceedings of SPIE The International Society of Optical Engineering (2009), Volume: 7241, Issue: 14, Publisher: Spie, Pages: 72410V-72410V-15, DOI: 10.1117/12.806118

5. David Sachs, Steven Nasiri, Daniel Goehl "Image Stabilization Technology Overview", http://invensense.com/mems/gyro/documents/whitepapers/ImageStabilizationWhitepaper_051606.pdf

6. Mohammad S. Alam, John G. Bognar, Russell C. Hardie, and Brian J. Yasuda "Infrared Image Registration and High-Resolution Reconstruction Using Multiple Translationally Shifted Aliased Video Frames ", IEEE Transactions on instrumentation and measurement, Volume: 49, Issue: 5, October 2000

7. Medvedev V.S., Potemkin V.G., "Neural networks. MATLAB 6", Moscow, Dialog-MIFI, 2002

8. Xin Wang, Baofeng Tian, Chao Liang, Dongcheng Shi "Blind Image Quality Assessment for Measuring Image Blur", Congress on Image and Signal Processing, 2008. CISP '08. Volume: 1, ISBN: 978-0-7695-3119-9

9. A. Schaum and M. McHugh, "Analytic methods of image registration: Displacement estimation and resampling," Naval Res. Rep. 9298, Feb. 28 1992.

10. E. A. Kaltenbacher and R. C. Hardie, "High resolution infrared image reconstruction using multiple low resolution aliased frames," in 1996 Nat. Aerosp. Electron. Conf. (NAECON), Dayton, OH, May 1996, pp. 702-709.

11. en.wikipedia.org/wiki/Digital_zoom

12. Jung-Hyun Hwang, Hweihn Chung, Sung-Ii Su, Yong-Chul Park, Chul-Ho Lee "High resolution digital zoom using temporal IIR filter", IEEE Transactions on Consumer Electronics, Vol. 42, No.3, August 1996 (프로토타입 1).

13.Masaaki Hayashi, "Neurofilter, and method of training same to operate on image data such as to discriminate between text and picture regions jf an image which is expressed by image data" United States Patent 6,301,381

14. Lin, et al. "Method for image resolution enhancement" United States Patent 7,187,811

(프로토타입 2)

Claims (6)

1. 초고해상도 이미지 생성 방법에 있어서,
   디지털 이미지 센서를 노출하여 복수의 저해상도 프레임을 생성하고, 상기 노출은 기설정된 프레임 속도로 수행되며,
   상기 복수의 저해상도 프레임들에서 상기 저해상도 프레임들을 정렬하며,
   상기 복수의 저해상도 프레임들에서 상기 저해상도 프레임들을 결합하여 확대된 이미지를 형성하며,
   상기 확대된 이미지를 비선형 필터로 필터링하며, 상기 비선형 필터는, 엘리먼트 단위로 그룹화된 픽셀들로부터 저주파수 성분 감산에 기초하고 정규화된, 변형된 디지털화된 픽셀 데이터가 입력되는 신경망을 포함하여, 역정규화된 신경망의 출력과 저주파수 성분의 합인 필터링된 출력을 생성하여 해상도 향상을 달성하는 것을 특징으로 하는 초고해상도 이미지 생성 방법.
2. 제1항에 있어서,
   상기 프레임 속도는 광학적으로 민감한 부분이 탐지되는 센서의 값에 역비례하는 것을 특징으로 하는 초고해상도 이미지 생성 방법.
3. 제1항에 있어서,
   상기 확대된 이미지는 상기 복수의 프레임들 중 가장 선명한 프레임들의 결합을 이용하여 형성되는 것을 특징으로 하는 초고해상도 이미지 생성 방법.
4. 초고해상도 이미지를 위한 비선형 필터에 있어서,
   상기 초고해상도 처리가 적용되는 이미지의 픽셀들인 입력 데이터를 갖고, 상기 필터는 참조 이미지의 도움으로 선훈련된 신경망을 더 포함하며, 변형된 디지털화된 픽셀 데이터가 상기 신경망으로 전달되고, 상기 변형은:
   저주파수 성분 선택, 엘리먼트 단위로 픽셀들의 그루핑, 그루핑된 픽셀들로부터 저주파수 성분 감산 후 데이터 정규화, 상기 신경망 출력 데이터를 역정규화, 및 저주파 성분을 상기 신경망 출력 값에 가산하여 필터의 최종 출력을 생성하는 비선형 필터.
5. 제4항에 있어서,
   필터링되어야 하는 픽셀 및 수평과 수직으로 최대 3픽셀 거리에 있는 픽셀들의 데이터만 상기 필터의 출력값을 얻는데 사용되는 비선형 필터.
6. 제4항에 있어서,
   상기 참조 이미지는 제어점들뿐만 아니라 라인 및 정현파 타겟들을 포함하는 비선형 필터.
   

Images