KR100557660B1 - 영상 신호에서의 플리커 검출 방법 - Google Patents

Abstract

본 발명은 움직임을 보정하면서 효과적으로 영상 자체에서 플리커 신호를 검출하는 플리커 신호 검출 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, N*M(N,M은 자연수)으로 배열된 복수의 화소에서 출력되는 영상 신호로부터 플리커를 검출하는 방법에 있어서, 인접 화소 간의 휘도 값의 차를 계산하는 단계; 상기 계산된 차 값 중 문턱값을 초과한 값들을 특정 방향으로 합산하는 단계; 상기 합산된 값들을 이용하여 움직임 추정을 실시하여 움직임 변위를 산출하는 단계; 상기 움직임 변위를 이용하여 현재의 프레임 데이터에 대한 움직임 보상을 실시하는 단계; 상기 움직임 보상이 이루어진 현재의 프레임 데이터와 이전 프레임 데이터 간의 차를 산출하는 단계; 및 상기 프레임 데이터 간의 차를 이용하여 플리커를 검출하는 단계를 포함하는 플리커 검출 방법을 제공한다.

플리커(Flicker), 움직임 추정(Motion estimation), 움직임 보상(Motion compensation), 움직임 변위, 국소점.

Description

영상 신호에서의 플리커 검출 방법{METHOD FOR DETECTION OF FLICKER IN IMAGE SIGNAL}

도 1은 플리커를 설명하기 위한 도면.

도 2는 본 발명의 플리커 검출 알고리즘을 도식화한 플로우챠트.

도 3은 움직임 추정에 사용될 새로운 데이터의 계산을 개략적으로 도시한 도면.

도 4는 움직임 변위에 대한 보상없이 플리커 검출을 위해 프레임 데이터 간의 차를 산출한 경우를 도시한 도면.

도 5는 움직임 변위(MV)에 대한 보상을 실시하고 플리커 검출을 위해 프레임 데이터 간의 차를 산출한 경우를 도시한 도면.

도 6은 움직임 추정 과정을 도시한 도면.

도 7은 플리커 검출시 움직임 변위의 보정 오차와 국소점 또는 국소값을 이용한 주기 파악 및 플리커 판별을 도시한 도면.

도 8은 프레임 수에 따른 플리커 주기가 틀린 골의 개수를 도시한 도면.

본 발명은 이미지센서에서의 플리커 검출 방법에 관한 것으로 특히, 움직임 보정을 가지는 효과적인 플리커 검출 방법에 관한 것이다.

현재 CMOS(Complementary MOS; 이하 CMOS라 함) 이미지센서는 광범위하게 사용되고 있으며, 특히 휴대폰에 이미지 캡쳐용으로 각광을 받고 있다. 그러나, CMOS 이미지센서를 다양한 광원에서 사용할 경우 플리커(Flicker)가 발생할 수 있으며, 이를 반드시 해결해야만 보다 나은 영상과 응용을 기대할 수 있다.

CMOS 이미지센서의 경우 각 라인 별로 상이한 광원을 입력받을 경우 각 라인이 다른 휘도(Luminance)값을 가지게 되어 라인 벼로 특정한 띠가 형성된 것을 볼 수 있다. 이러한 원영상에 부가되어 나타나는 띠를 플리커라 한다.

도 1은 플리커를 설명하기 위한 도면으로서, 도 1에 도시된 바와 같이 입력 받는 빛의 양(즉, 에너지)와 센서의 노출시간이 틀리게 되면, 각 라인 별로 다른 에너지를 수광하게 되므로 플리커게 나타나게 된다.

플리커 제거를 위해 다양한 방식들이 개발되어 왔으며, 이들은 주로 3가지 기술로 대변할 수 있다.

초해상도 화소(Super resolution pixel)을 이용하는 방법은 제작이 어려움이 있고, 변환(Transform)을 통한 주파수 검출은 정확한 주파수를 찾는데 어려움이 있다. 반면, 영상 자체에서 플리커 성분을 검출하여 그 주기는 얻는 방식은 플리커 신호만을 검출하는데 어려움이 있다. 특히, 영상 신호에서 플리커 등을 검출하기 위해서는 주로 이전 프레임(Frame) 영상과의 차영상을 이용하는 방식이 종종 이용된다. 그러나, 이전 영상과 현재 영상과이 차이는 플리커에 의한 차이 뿐만 아니라 손떨림 등에 의한 움직임의 차이가 더 크게 나타날 수 있다. 그러므로, 단순히 이전 영상과의 차영상을 얻어서 플리커를 검출하는 방식에는 한계가 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 본 발명은, 움직임을 보정하면서 효과적으로 영상 자체에서 플리커 신호를 검출하는 플리커 신호 검출 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, N*M(N,M은 자연수)으로 배열된 복수의 화소에서 출력되는 영상 신호로부터 플리커를 검출하는 방법에 있어서, 인접 화소 간의 휘도 값의 차를 계산하는 단계; 상기 계산된 차 값 중 문턱값을 초과한 값들을 특정 방향으로 합산하는 단계; 상기 합산된 값들을 이용하여 움직임 추정을 실시하여 움직임 변위를 산출하는 단계; 상기 움직임 변위를 이용하여 현재의 프레임 데이터에 대한 움직임 보상을 실시하는 단계; 상기 움직임 보상이 이루어진 현재의 프레임 데이터와 이전 프레임 데이터 간의 차를 산출하는 단계; 및 상기 프레임 데이터 간의 차를 이용하여 플리커를 검출하는 단계를 포함하는 플리커 검출 방법을 제공한다.

본 발명에서는 영상 자체에서 플리커 신호를 검출하는 방식을 근간으로 한다. 전술한 바와 같이 이같은 방식에서는 이전 프레임의 영상과의 차영상을 이용하여 플리커 자체 신호만을 추출해야 한다. 일반적으로 차영상은 플리커에 의한 성분 뿐만 아니라 움직임 등에 의한 부분이 포함되어 있다.

그러므로, 본 발명에서는 이전 프레임과 현재 프레임의 차를 구할 때, 움직임을 보정할 수 있도록 움직임 추정을 수행한다. 움직임 추정 후 움직임 보상된 영상으로 차영상을 얻을 경우 움직임에 의한 오류는 대부분 없어지므로 플리커에 의한 차이만 정확하게 얻을 수 있다.

한편, 움직임 추정을 수행할 때 프레임 메모리를 사용하면 하드웨어 부담이 너무 커진다. 적은 데이타 만을 가지고 올바른 움직임을 찾기 위해서는 특별한 처리 과정을 거치게 되는데, 이를 통해서 오직 움직임 추정에 도움이 되는 부분만이 선택되어 움직임 추정을 수행할 수 있다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

플리커는 광원의 주파수와 센서의 노출시간의 주파수가 다르기 때문에 나타난다. 특히, 낮은 주파수에서 동작하는 형광등의 경우 대부분 50㎐ 또는 60㎐에서 동작하기 때문에, 보통 수십 밀리 초(ms)의 노출시간을 갖는 이미지센서에 있어서 플리커 현상의 원인이 된다.

본 발명에서는 이미지센서에서 얻어진 영상에서 플리커를 추출하는 것을 근간으로 하는데, 순수 획득 영상에서 신호 처리만을 기반으로 하기 때문에 칩 제작 공정의 영향을 받지 않고 사용할 수 있는 장점이 있다.

본 발명은 다음과 같은 순서로 플리커를 검출하게 된다.

첫째, 움직임 추정(Motion estimation)을 하기 위해서 필요한 데이터를 얻는다. 둘째, 움직임 추정을 수행한다. 셋째, 얻어진 움직임 변위를 가지고 움직임 보상을 수행한다. 넷째, 움직임 보상된 데이터와 이전 프레임의 데이터의 차를 구한다. 다섯째, 얻어진 차 값을 저역 통과 필터(Low pass filter)를 사용하여 불필요한 국소점들을 제거한다. 여섯째, 이렇게 얻어진 데이터에서 골짜기를 파악하여 그 주기를 얻는다. 일곱번째, 얻어진 주기가 실제 플리커에 의해서 일어난 것인지를 판단하여 플리커가 생겼는지의 여부를 판별한다.

이하에서는 상기한 각 단계에 대해 실시예를 통해 살펴 본다.

도 2는 본 발명의 플리커 검출 알고리즘을 도식화한 플로우챠트이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 N*M(N,M은 자연수)으로 배열된 복수의 화소에서 출력되는 영상 신호로부터 플리커를 검출하는 과정은 다음과 같다.

먼저, 인접 화소 간의 휘도 값의 차를 계산한다(S201). 이어서, 계산된 차 값을 문턱값(ΔTh)과 비교한다(S202). 비교 결과, 계산된 차 값이 문턱값(ΔTh) 보다 작으면 그 값을 합산에서 제외시키고(S203), 계산된 차 값이 문턱값(ΔTh) 보다 크면 문턱값(ΔTh)을 초과한 값들을 특정 방향 예컨대, 로(Row) 방향 또는 칼럼 (Column) 방향으로 합산한다(S204).

'S201'내지 'S204'의 과정에서 화소 데이터에 섞여져 있던 플리커 성분은 일부 제거된다.

한편, 프레임을 이루는 모든 화소 데이터 간의 차를 일일이 비교하지 않고 인접 화소 간의 차이 값만을 비교하므로 전체 프레임(Full frame)에 대한 메모리를 사용하지 않고 하나의 라인 메모리만으로 움직임 추정을 할 수 있도록 한다.

합산된 값들을 이용하여 움직임 추정을 실시하며(S205), 움직임 추정의 결과 움직임 변위를 산출할 수 있다(S206).

이 때, 임의로 정해진 움직임 추정의 초기 위치를 기준으로부터 탐색 영역(Search Range) 내에서 탐색 윈도우(Search window)를 옮겨가며 SAD(Sum of Absolute Difference)를 산출한 다음, 산출된 SAD이 최소가 되는 인자를 움직임 변위(MV)로 설정한다.

이어서, 움직임 변위를 이용하여 현재의 프레임 데이터에 대한 움직임 보상을 실시한다(S207). 움직임 보상시에는 현재 프레임에 대한 보상이 이루어진 것처럼 보이지만, 실제로는 이전 프레임의 데이터를 움직임 보상이 이루어진 현재 프레임의 데이터에 움직임 변위 만큼 이동하여 대응시킨 것이다.

이어서, 움직임 보상이 이루어진 현재의 프레임 데이터와 이전 프레임 데이터 간의 차를 산출한다(S208). 이 때, 칼럼 또는 로 방향 등의 특정 방향으로 화소의 휘도 값을 더한 값의 차를 산출한다.

이어서, 프레임 데이터 간의 차를 이용하여 플리커를 검출한다(S209).

플리커 검출 시에는 프레임 데이터 간의 차를 필터링하여 국소점 또는 국대점(실제 파형에서는 국소점은 파형의 골을 나타내고, 국대점은 파형의 마루를 나타냄)을 검출하고, 이들의 주기를 검출하며, 검출된 주기와 원하는 주기를 대조하여 플리커의 유무를 판별한다(S209).

이하에서는, 상기한 플리커 검출 과정을 도면을 참조하여 살펴 본다.

움직임 추정은 동영상 방식인 MPEG(Moving Picture Expert Group)-2, H.263, H.264의 표준에서 중요하게 이용되는 방식이다. 움직임 추정이란 일반적으로 객체의 이동이나 화면의 변화에 따른 연속적인 프레임 간의 변위를 보상하여 현재와 이전 프레임 간의 차영상의 에너지를 감소시키는 방식이다.

도 3은 움직임 추정에 사용될 새로운 데이터의 계산을 개략적으로 도시한 도면이다.

일반적으로, 움직임 추정을 수행하기 위해서는 프레임 메모리가 필요하게 된다. 그러나, CMOS 이미지센서에서 프레임 메모리를 포함한 하나의 칩으로 구현하기에는 하드웨어(Hardware) 부담이 크므로 실질적으로 사용하기 힘들다.

그리하여, 본 발명에서는 가로 방향 또는 세로 방향 등의 특정 방향으로 처리된 데이터들을 합산하여 하나의 값으로만 표현한다. 이 때, 가로 방향의 데이터 합산에 있어서 단순히 화소 값들만 합산을 하면 움직임 추정이 잘 되지 않는데, 이는 움직임 추정에 중요하게 사용되어야 할 특정점들이 합산으로 인해 왜곡될 수 있기 때문이다.

따라서, 본 발명에서는 움직임 추정에 사용될 새로운 데이터 S_T(j)를 하기의 수학식1과 같이 정의하는 바, 이는 도 3에 도시된 바와 같다.

여기서, 화소 P_i,j,T는 T번째 프레임에서 i행 j열의 휘도 성분 화소 값을 나타내고, L은 한 프레임의 넓이를 나타내며, j는 1,2,....으로 프레임의 높이를 나타낸다.

또한, 함수 φ는 하기의 수학식2와 같이 정의된다.

여기서, Δ_TH는 임의 문턱값이다.

움직임 추정을 수행하기 위해 수학식1을 사용하게 되는 이유는 인접 화소와 변화가 큰 화소는 움직임 추정시 이전 화소와도 큰 차이를 갖게 된다. 그러므로, 이전 프레임과 움직임 추정시에 큰 값을 가질 수 있는 가능성이 큰 화소들만 모아서 합산을 하여도 움직임 변위를 구하는데 지장이 없을 뿐만 아니라 신호들을 Δ_TH 이하로 제거하여 움직임 추정이 오히려 올바르게 수행된다.

뿐만 아니라, 인접 화소와의 차이를 구하므로써 각 화소에 섞여 있는 플리커 성분이 제거된 부분을 가지고 움직임 추정을 수행할 수 있다. 이는 인접 화소 사이의 플리커 성분이 거의 변화가 없기 때문이다.

따라서, 수학식1에서 얻어진 데이터를 사용하여 움직임 추정을 수행하는 것은 매우 적은 하드웨어를 사용하면서도 안정적인 움직임 변위를 얻는데 큰 역할을 하게 된다.

수학식1에 의해 현재 프레임과 이전 프레임 데이터를 모은 후, 하기의 수학식3과 같은 움직임 추정을 수행한다.

수학식3에서 BS는 정합되는 영역의 크기를, off는 정합을 시작할 위치를 나타낸다.

도 6은 움직임 추정 과정을 도시한 도면이다.

도 6을 참조하면, 두가지의 방식으로 프레임1과 프레임2 간의 움직임 추정을 위한 스캔 및 SAD 계산이 이루어짐을 알 수 있다.

여기서, SR은 탐색 영역을 나타내고 빗금친 부분은 탐색 윈도우(SW)를 나타낸다. 아울러, 빗금친 부분은 블럭 사이즈(BS)를 나타낸다.

SAD(Sum of Absolute Difference)를 수학식3과 같이 정의할 경우, 최종 움직임 변위 V는 하기의 수학식4와 같이 찾을 수 있다.

여기서, SAD의 최소값을 연산자 min에 의해 찾게 되고, 최종 움직임 변위 V는 SAD가 최소가 될 때의 인자(arg) 값으로 표현할 수 있다. 여기서, v ∈ [-SR, +SR] 즉, -SR에서 +SR 내에 위치한다.

움직임 변위 V가 선택되고 나면 움직임 보상을 수행한다. 이 때, 움직임 보상은 수학식1의 값을 사용하는 것이 아니라 수학식5와 같이 일반 화소들의 합을 사용한다.

또한, 움직임 보상 후 보상 오차는 하기의 수학식6과 같이 정의된다.

수학식6에서 얻어진 움직임 보상 오차를 이용하여 플리커 주기를 판단한다. 일반적으로, 수학식6에는 잡음이 많이 섞여 있기 때문에 플리커 주기를 판단하기 전에 저역 통과 필터를 이용한 필터링을 수행하여 국소적인 잡음을 제거한 다음, 플리커의 주기를 판단한다.

만약, 저역 통과된 값의 국소점들의 주기가 검출하고자 하는 주기와 일치할 경우는 플리커인 것으로 간주한다. 이와 같은 국소점들의 개수가 일정한 값 이상일 경우 해당 프레임은 플리커가 발생한 것으로 판단하게 된다.

도 4는 움직임 변위(MV)에 대한 보상없이 플리커 검출을 위해 프레임 데이터 간의 차를 산출한 경우를 도시한 도면이며, 도 5는 움직임 변위(MV)에 대한 보상을 실시하고 플리커 검출을 위해 프레임 데이터 간의 차를 산출한 경우를 도시한 도면이다.

도 4는 MV에 대한 보상이 없이 프레임 데이터 간의 차이를 산출한 것인 반면, 도 5는 MV에 대한 보상이 실시된 경우를 나타낸다.

도 7은 플리커 검출시 움직임 변위의 보정 오차와 국소점 또는 국소값(Local minima)을 이용한 주기 파악 및 플리커 판별을 도시한 도면이다.

도 7은 도 5의 우측에 도시된 파형을 회전시키고 확대하여 도시한 것이다.

여기서, Ppt는 이전 파형의 값을 나타내고, Cpt는 현재 파형의 값을 나타내며, Fpt는 다음 파형의 값을 나타낸다.

이 세개의 값을 비교하여 Cpt가 Ppt와 Fpt 보다 모두 작은 경우 즉, 골을 국소점(Global minima)이라 하며, 이러한 국소점이 나타나는 주기를 카운트하게 된 다.

한편, 국소점이 아닌 국대점을 이용할 수도 있으며, Cct가 Ppt와 Fpt 보다 모두 큰 경우 즉, 마루를 국대점(Global maxima)이라 하며, 이러한 국대점이 나타나는 주기를 카운트할 수도 있다.

이렇게, 카운트된 주기를 찾기를 원하는 플리커와 비교하여 그 주기가 일치할 경우, 이를 플리커로 판별하게 된다.

도 8은 프레임 수에 따른 플리커 주기가 틀린 골의 개수를 도시한 도면이다.

도 8을 참조하면, 플리커가 있는 영상에 대해서 움직임 보정을 가지는 플리커 검출 방식을 사용하여 플리커 주기를 파악한 결과, 플리커 주기가 맞지 않는 골의 개수가 3개 이상일 경우 그 프레임은 플리커가 없는 것으로 간주한다.

도 8에 도시된 실험 결과에서 알 수 있듯이, 100장의 프레임 중 11장에서만 플리커를 찾지 못했으며, 나머지 89장에 대해서는 플리커가 있다는 것을 올바르게 찾아 냈음을 확인할 수 있다.

전술한 바와 같이 이루어지는 본 발명은, 단순히 이전 프레임과 현재 프레임의 차이 만을 보고 플리커를 검출하는 종래의 방식과는 달리, 손 떨림 등의 움직임 성분을 현재의 프레임에서 보상하고 이렇게 보상된 프레임의 데이터를 이용하여 플리커를 검출함으로써, 플리커 검출 능력을 향상시킬 수 있음을 실시예를 통해 알아 보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 본 발명은, 플리커를 안정적으로 검출할 수 있어, 영상 신호를 출력하는 이미지센서의 화질을 향상시키는 효과가 있다.

Claims (12)

1. N*M(N,M은 자연수)으로 배열된 복수의 화소에서 출력되는 영상 신호로부터 플리커를 검출하는 방법에 있어서,

   인접 화소 간의 휘도 값의 차를 계산하는 단계;

   상기 계산된 차 값 중 문턱값을 초과한 값들을 특정 방향으로 합산하는 단계;

   상기 합산된 값들을 이용하여 움직임 추정을 실시하여 움직임 변위를 산출하는 단계;

   상기 움직임 변위를 이용하여 현재의 프레임 데이터에 대한 움직임 보상을 실시하는 단계;

   상기 움직임 보상이 이루어진 현재의 프레임 데이터와 이전 프레임 데이터 간의 차를 산출하는 단계; 및

   상기 프레임 데이터 간의 차를 이용하여 플리커를 검출하는 단계

   를 포함하는 플리커 검출 방법.
2. 제 1 항에 있어서,

   상기 인접 화소 간의 휘도 값의 차를 계산하는 단계와 상기 계산된 차 값 중 문턱값을 초과한 값들을 특정 방향으로 합산하는 단계에서,

   상기 인접 화소 간의 휘도 값의 차가 상기 문턱값을 초과하지 못할 경우 그 값은 합산하지 않는 것을 특징으로 하는 플리커 검출 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 인접 화소 간의 휘도 값의 차를 계산하는 단계와 상기 계산된 차 값 중 문턱값을 초과한 값들을 특정 방향으로 합산하는 단계에서, 플리커가 일부 제거되는 것을 특징으로 하는 플리커 검출 방법.
4. 제 1 항 또는 제 2 항에 있어서,

   상기 인접 화소 간의 휘도 값의 차를 계산하는 단계와 상기 계산된 차 값 중 문턱값을 초과한 값들을 특정 방향으로 합산하는 단계에서, 하나의 라인 메모리를 이용하는 것을 특징으로 하는 플리커 검출 방법.
5. 제 1 항 또는 제 2 항에 있어서,

   상기 특정 방향은 화소의 로 또는 칼럼 방향인 것을 특징으로 하는 플리커 검출 방법
6. 제 1 항에 있어서.

   상기 움직임 추정을 실시하는 단계에서,

   탐색 영역에 따라 움직임 추정의 초기 위치를 가변적으로 정하는 것을 특징으로 하는 플리커 검출 방법.
7. 제 6 항에 있어서,

   상기 움직임 추정을 실시하는 단계에서,

   상기 움직임 추정의 초기 위치에서부터 탐색 위도우의 블럭 사이즈까지 SAD(Sum of Absolute Difference)를 산출한 다음, 상기 SAD 중 최소가 되는 인자를 상기 움직임 변위로 설정하는 것을 특징으로 하는 플리커 검출 방법.
8. 제 1 항에 있어서,

   상기 현재의 프레임 데이터에 대한 움직임 보상을 실시하는 단계에서,

   이전 프레임의 데이터를 움직임 보상이 이루어진 현재 프레임의 데이터에 상기 움직임 변위만큼 대응시키는 것을 특징으로 하는 플리커 검출 방법.
9. 제 8 항에 있어서,

   상기 프레임 데이터 간의 차를 산출하는 단계에서,

   특정 방향으로 화소의 휘도 값을 더한 값의 차를 산출하는 것을 특징으로 하는 플리커 검출 방법.
10. 제 9 항에 있어서,

    상기 플리커를 검출하는 단계는,

    상기 프레임 데이터 간의 차를 필터링하여 국소점을 검출하는 단계와, 상기 국소점을 이용하여 주기를 검출하는 단계를 포함하는 것을 특징으로 하는 플리커 검출 방법.
11. 제 9 항에 있어서,

    상기 플리커를 검출하는 단계는,

    상기 프레임 데이터 간의 차를 필터링하여 국대점을 검출하는 단계와, 상기 국대점을 이용하여 주기를 검출하는 단계를 포함하는 것을 특징으로 하는 플리커 검출 방법.
12. 제 10 항 또는 제 11 항에 있어서,

    상기 검출된 주기를 이용하여 플리커의 유무를 판별하는 것을 특징으로 하는 플리커 검출 방법.

Images