KR101490521B1 - 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템 - Google Patents

Abstract

본 발명에 따른 실시간 장면 전환 검출 방법은 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 있어서, 현재 프레임을 복수의 영역으로 분할하고, 각각의 분할된 영역의 비 유사성 척도(DM; dissimilarity metric)를 연산하는 과정과, 상기 각 영역의 비 유사성 척도가 미리 설정된 기준치를 벗어나는지 판단하는 과정과, 현재 프레임 내에서, 비 유사성 척도가 상기 미리 설정된 기준치를 벗어나는 영역의 개수를 확인하는 과정과, 상기 과정에서 미리 설정된 기준치를 벗어나는 영역의 개수를 확인한 결과, 기준치를 벗어나는 영역의 개수가 미리 설정된 개수 이상일 경우에 현재 프레임에서 장면 전환이 이루어진 것으로 간주하는 과정을 포함한다.

동영상, 장면 전환, 부호화, 실시간, PSNR, 예측

Description

동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및 영상통화 시스템{METHOD FOR REAL-TIME SCENE-CHANGE DETECTION FOR RATE CONTROL OF VIDEO ENCODER, METHOD FOR ENHANCING QULITY OF VIDEO TELECOMMUNICATION USING THE SAME, AND SYSTEM FOR THE VIDEO TELECOMMUNICATION}

본 발명은 동영상 부호화(encoding)에 관한 기술로서, 동영상 부호화시에 동영상 부호화 데이터율 제어를 위해 선행되는 실시간 장면 전환 검출 방법에 관한 것이다.

동영상 신호의 전송이나 저장시에 높은 영상 화질을 유지하면서 낮은 데이터 레이트나 적은 저장 영역을 얻기 위한 다양한 디지털 동영상 압축 기술이 제안되어 왔다. 이러한 동영상 압축 기술은 H.261, H.263, H.264, MPEG-2, MPEG-4 등과 같은 국제 표준 규격들이다. 이러한 압축 기술은 이산 코사인 변환(DCT: Discrete Cosine Transform) 기법이나 모션 보상(MC: Motion Compensation) 기법 등에 의해, 비교적 높은 압축률을 달성하고 있다. 이러한 동영상 압축 기술은 동영상 데이터의 스트림이 다양한 디지털 네트워크, 예를 들면, 휴대전화 네트워크, 컴퓨터 네트워 크, 케이블 네트워크, 위성 네트워크 등에 효율적으로 전달되도록 적용되고 있다. 또한 하드디스크, 광디스크, 디지털 동영상 디스크(DVD) 등의 기억 매체에도 효율적으로 저장되도록 적용되고 있다.

고화질을 위해서는, 동영상 부호화시 많은 양의 데이터를 요구하게 된다. 그러나, 동영상 데이터를 전달하는 통신 네트워크는 부호화에 적용할 수 있는 데이터 레이트를 제한할 수 있다. 예를 들어, 위성방송 시스템의 데이터 채널이나 디지털 케이블 텔레비전 네트워크의 데이터 채널은 일반적으로 고정 비트 레이트(CBR: Constant Bit Rate)로 데이터를 보내고 있다. 또한 디스크와 같은 저장 매체의 저장 용량도 한정되어 있다.

따라서, 동영상 부호화 프로세스는 화질과 이미지 압축에 필요한 비트 수를 적절히 트레이드 오프하게 된다. 또한 동영상 부호화는 비교적 복잡한 처리를 요구하므로, 예를 들어 소프트웨어로 이를 구현하려고 할 경우에는, 동영상 부호화 프로세스는 비교적 많은 CPU 사이클을 필요로 하게 된다. 더욱이 이를 실시간 처리로 재생하려고 하면, 시간적인 제약이 부호화 수행시의 정밀함을 제한하게 되며, 이에 따라 달성할 수 있는 화질이 제한된다.

이와 같이, 동영상 부호화 데이터율 제어는 실제 사용환경에서 중요한 사안이며, 되도록이면 처리 방식의 복잡도와 전송 데이터율을 줄이면서도 고화질을 얻도록 하기 위한 동영상 부호화 데이터율 제어 방식이 제안되고 있다.

JVT(Joint Video Team: ITU-T Video Coding Experts Group and ISO/IEC 14496-10 AVC Moving Picture Experts Group, Z. G. Li, F. Pan, K. P. Lim, G. Feng, X. Lin, and S. Rahardja, "Adaptive basic unit layer rate control for JVT", JVT-G012-r1, 7th Meeting Pattaya Ⅱ, Thailand, Mar. 2003.)에서는 MPEG 동영상 압축 알고리즘에 따른 동영상 프레임 부호화시 양자화 파라미터(QP: Quantization Parameter)를 조절하여 데이터율을 제어하는 기본적인 기술이 개시되고 있다.

한편, 주어진 자원(전송율 등)이 제한된 상태에서 동영상 부호화시 GOP(group of picture) 내(內)의 인터(Inter) 프레임에서 장면 전환이 일어나면 부호화 데이터율 제어의 흐름이 깨진다. 왜냐하면 부호화 데이터율 제어는 앞선 프레임과의 유사성이 있다는 가정 하에 만들어졌기 때문이다. 이러한 경우를 사전에 막기 위해 실시간 장면 전환 검출이 필요하게 된다.

장면 전환 검출을 위해, 이웃하는 프레임간의 유사성을 찾기 위한 기법으로는 상관(Correlation), 통계적 순차 분석(Statistical sequential analysis), 히스토그램(Histogram) 등의 방식을 사용한다. 또한 H.264/AVC로 압축된 동영상에서는 RDO(Rate Distortion Optimization) 과정에서 인터(Inter) 프레임내에 인트라(Intra) 코딩된 매크로블록(macroblock)이 존재할 수 있으며, 인터(Inter) 프레임내에 인트라 코딩된 매크로블록의 수가 일정수준 이상이 되면 그 프레임은 장면 전환되었다고 간주할 수 있다.

그러나, H.264/AVC로 압축된 동영상에서 인터 프레임 내에 인트라 코딩된 매크로블록의 수로 장면 전환을 판단하는 방식은 간단하지만 실시간 처리를 할 수 없다. 즉, H.264/AVC RDO 과정에서 발생하는 "Chicken&Egg dilemma"에 의해 양자화 파라미터(QP)없이 인터 프레임내에 인트라 코딩된 매크로블록의 수를 알 수 없다.

이를 해결하기 위하여, 프레임간의 비 유사성을 측정하여 장면전환을 판단하는 방법이 연구되어 왔다. 프레임간의 비 유사성의 측정은 압축된 영상의 비유사성척도(DM; dissimilarity metric)를 이용하는 방법과 압축되지 않은 영상에서의 비유사성 척도(DM)를 이용하는 방법이 있다.

장면 전환 검출은 동영상 비트율 제어를 위해 수행되므로, 동영상 비트율 제어를 수행하기 이전에 완료되어야 한다. 또한, 동영상 비트율 제어를 통해 영상 압축과정 이전에 양자화 파라미터가 계산되어야 한다. 결국, 장면 전환 검출은 영상 압축을 수행하기 이전에 진행되어야하므로, 압축된 영상에서 비유사성척도(DM)를 연산하는 것은 적합하지 않다.

한편, 압축되지 않은 영상에서는 프레임의 평균제곱오차(MSE; Mean Square Error)를 이용하여 비유사성 척도(DM)를 측정할 수 있다. 평균제곱오차를 이용하여 비유사성 척도(DM)를 연산하면 프레임의 픽셀을 기반으로 연산을 수행하기 때문에 연산량이 많지는 않지만, 움직임이 많은 영상에서 장면전환을 검출하는 성능이 우수하지 않은 단점이 있다. 이러한 단점을 해소하기 위하여, 프레임의 픽셀 및 히스토그램을 모두 고려하여 비유사성 척도(DM)를 연산하는 방법이 사용된다. 상기한 기존의 방법으로서, mean absolute frame difference(MAFD), MAFD after histogram equalization with normalization(HEN), signed difference MAFD(SDMAFD) after HEN, absolute difference frame variance(ADFV) after HEN의 4가지 비유사성 척도(4DMs)를 모두 사용하는 방법이 시도되었다. 이와 같은 4DMs를 이용한 방법은 장 면전환의 검출 성능은 우수하지만 연산량이 많다. 따라서, 4DMs를 이용한 방법을 통해 실시간으로 프레임의 장면전환을 검출하기는 용이하지 않다.

본 발명은 전술한 점을 고려하여 안출된 것으로서, 하드웨어 복잡성이 적으며 보다 효율적으로 실시간으로 장면 전환을 검출하기 위한 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방법을 제공하는 것에 그 목적이 있다.

또한, 본 발명은 오류로 인해 생성된 영상을 검출하고, 이를 이용하여 영상의 품질을 향상시킬 수 있는 방법을 제공하는데 또 다른 목적이 있다.

상기한 목적을 달성하기 위하여 본 발명에 따른 실시간 장면 전환 검출 방법은 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 있어서, 현재 프레임을 복수의 영역으로 분할하고, 각각의 분할된 영역의 비 유사성 척도(DM; dissimilarity metric)를 연산하는 과정과, 상기 각 영역의 비 유사성 척도가 미리 설정된 기준치를 벗어나는지 판단하는 과정과, 현재 프레임 내에서, 비 유사성 척도가 상기 미리 설정된 기준치를 벗어나는 영역의 개수를 확인하는 과정과, 상기 과정에서 미리 설정된 기준치를 벗어나는 영역의 개수를 확인한 결과, 기준치를 벗어나는 영역의 개수가 미리 설정된 개수 이상일 때 현재 프레임에서 장면 전환이 이루어진 것으로 간주하는 과정을 포함한다.

상기 각각의 분할된 영역의 비 유사성 척도(DM)를 연산하는 과정은, 현재 프레임과 재구성된 이전 프레임(기준 프레임)간의 샘플간 오차 정보를 이용하여, 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측하는 과정을 포함할 수 있 다.

상기 각각의 분할된 영역의 비 유사성 척도(DM)를 연산하는 과정은, 현재 프레임에서 예측된 PSNR(Predicted Peak Signal to Noise Ratio; 이하, PPSNR이라 함)과 장면전환이 발생된 이후 프레임들의 평균 PPSNR과의 비율을 이용하여 각각의 분할된 영역의 비 유사성 척도를 연산하는 것일 수 있다.

나아가, 본 발명의 일 측면에 따른 장면 전환 검출 방법은, 상기 장면 전환이 이루어진 프레임 이후에 입력되는 프레임의 예측 PSNR의 미분 값을 연산하는 과정과, 연산된 결과값을 확인하여, 상기 결과값이 음수값을 지시하는 경우, 장면전환이 종료된 프레임으로 설정하는 과정을 더 포함할 수 있다.

본 발명의 다른 측면에 따른 영상통화 품질 향상 방법은 무선 단말의 영상통화 방법에 있어서, 단말의 입력 동영상 신호의 급격한 변화구간의 시작 프레임과 종료 프레임을 검출하는 과정과, 상기 검출된 영상들에 대해 송신부에서는 부호화를 스킵하는 과정과, 상기 스킵된 프레임들에 대해 수신부에서는 미리 수신된 전 프레임을 복사하여 상기 스킵된 프레임을 대신하여 재생하는 과정을 포함하며, 상기 종료 프레임 검출은 입력 영상과 재구성된 이전 영상 간에 구해지는 예측 PSNR의 미분을 통해 연산한다.

본 발명의 또 다른 측면에 따른 영상통화 시스템은 무선 단말을 이용한 영상통화 시스템에 있어서, 단말의 입력 동영상 신호의 급격한 변화구간의 시작 프레임과 종료 프레임을 검출하는 검출기를 구비하며, 검출된 모든 영상들에 대해 프레임 부호화를 스킵하는 송신부, 및 상기 스킵된 프레임들에 대해 미리 수신된 전 프레 임을 복사하여 대체 재생하는 수신부를 포함하며, 상기 검출기는 입력 영상과 재구성된 이전 영상 간에 구해지는 예측 PSNR의 미분을 통해 연산한다.

상기한 바와 같이, 본 발명에 따른 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방식은 하드웨어 복잡성이 적으며 보다 효율적으로 실시간으로 장면 전환을 검출할 수 있다.

또한, 본 발명에 따른 동영상 코딩 방법 및 시스템에 따르면, 초점 맞지 않는 영상의 비트 자원을 축적하여 이후 입력되는 영상에 할당함으로써 영상품질을 향상시킬 수 있다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

도 1은 본 발명의 일 실시예에 따른 장면 전환 검출 방법이 적용되는 비디오 인코더 장치의 블록 구성도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 장면 전환 검출 방법이 적용되는 비디오 인코더 장치는 비디오 프레임 시퀀스를 입력받으며 출력으로서는 압축된 비디오 데이터를 출력하는 일반적인 H.264/AVC(Advanced Video Coding) 인코더(10)를 구비할 수 있다. 또한 프레임들을 저장하는 프레임 저장 메모리(20)와, 인코더(10)의 데이터 레이트 제어를 위한 양자화 파라미터(QP: Quantization Parameter) 제어 동작을 수행하는 인코더 QP 제어기(30)를 구비한다.

먼저, 인코더(10)의 구성 및 동작을 보다 상세히 설명하면, 인코더(10)는 주파수 변환기(104), 양자화기(106), 엔트로피 코더(108), 인코더 버퍼(110), 역양자화기(116), 역주파수 변환기(114), 모션추정/보상기(120) 및 필터(112)를 포함한다.

현재 프레임이 인터 프레임(예를 들어 P프레임일 경우)이라면, 모션추정/보상기(120)는 프레임 저장 메모리(20)에 버퍼링되어 있는 이전 프레임의 재구성된 프레임인 기준 프레임에 대한, 현재 프레임내(內) 매크로블록의 모션을 추정하고 보상한다. 프레임은 원 영상의 예를 들어 16x16 픽셀에 대응하는 매크로블록의 단위로 처리된다. 각 매크로블록은 인트라(intra) 또는 인터(inter) 모드로 부호화된다. 모션추정시에는 부가 정보로서 모션 벡터와 같은 모션 정보를 출력하고, 모션보상시에는 모션정보를 재구성된 이전 프레임에 적용하여 모션보상된 현재 프레임을 생성한다. 이와 같이 모션보상된 현재 프레임의 매크로블록(예측 매크로블록)과 원래의 현재 프레임의 매크로블록간의 차이분이 주파수 변환기(104)로 제공된다.

주파수 변환기(104)는 공간 도메인의 동영상 정보를 주파수 도메인(예를 들어 스펙트럼) 데이터로 변환한다. 이때 주파수변환기(104)는 통상 이산 코사인 변환(DCT: Discrete Cosine Transform)을 수행하여 매크로블록단위로 DCT 계수 블록을 생성한다.

양자화기(106)는 상기 주파수 변환기(104)에서 출력되는 스펙트럼 데이터 계수의 블록을 양자화한다. 이때 양자화기(106)는 통상 프레임별 기반으로 가변되는 스텝-크기로 스펙트럼 데이터에 일정한 스칼라 양자화를 적용한다. 이러한 양자화기(106)는 데이터 레이트 컨트롤을 위해 프레임별로 양자화 파라미터(QP)의 가변 정보를 인코더 QP 제어기(30)의 QP조정부(34)로부터 제공받게 된다.

엔트로피 코더(108)는 해당 매크로블록의 특정 부가 정보(예를 들어, 모션 정보, 공간 보외법 모드, 양자화 파라미터)를 비롯하여, 양자화기(106)로부터의 출력을 압축한다. 통상적으로 적용되는 엔트로피 코딩 기술은, 산술 코딩, 허프만 코딩, 런 랭스(run-length) 코딩, LZ(Lempel Ziv) 코딩 등이 있다. 엔트로피 코더(108)는 통상 다른 종류의 정보에 다른 코딩 기술을 적용한다.

엔트로피 코더(108)에서 압축된 동영상 정보는 인코더 버퍼(110)에 버퍼링된다. 인코더 버퍼(110)의 버퍼 레벨 지시자는 데이터 레이트 조절을 위해 인코더 QP 제어기(30)로 제공된다. 인코더 버퍼(110)에 저장된 동영상 정보는 예를 들어 고정된 전송율로 인코더 버퍼(110)로부터 출력 및 삭제된다.

한편, 상기에서 재구성된 현재 프레임이 후속 모션추정/보상에 필요한 경우, 역양자화기(116)는 양자화된 스펙트럼 계수에 대해 역양자화를 수행한다. 역주파수 변환기(114)는 주파수 변환기(104)의 동작을 역으로 수행하여, 역양자화기(116)의 출력으로부터 예를 들어 역DCT 변환을 통해 역차이 매크로블록이 생성된다. 이는 신호 손실 등의 영향으로 원래의 차이 매크로블록과 동일하지 않다.

현재 프레임이 인터 프레임일 경우에는, 재구성된 상기 역차이 매크로블록은 상기 모션추정/보상기(120)의 예측 매크로블록과 합쳐져서 재구성된 매크로블록을 생성하게 된다. 재구성된 매크로블록들은 프레임 저장 메모리(20)에 다음 프레임을 예측하는데 이용하기 위해 기준 프레임으로 저장된다. 이때 상기 재구성된 매크로블록은 원래의 매크로블록의 왜곡된 버전이므로 일부 실시예에서는 디블록킹(deblocking) 필터(112)를 재구성된 프레임에 적용하여, 매크로블록간 불연속성을 원활하게 한다.

한편, 인코더(10)의 QP를 제어하는 인코더 QP 제어기(30)에는 본 발명의 특징에 따라 프레임 저장 메모리(20)에 저장된 현재 프레임 및 기준 프레임 등을 통해 실시간으로 장면전환을 검출하는 장면전환 검출부(32)를 구비한다. 장면전환 검출부(32)에서 장면 전환을 검출하게 되면, 이에 대한 정보는 QP조정부(34)로 제공되며, QP조정부(34)는 이에 따라 장면 전환 검출시에 양자화기(106)의 양자화 파라미터를 적절히 조정하여 현재 프레임의 장면 전환에 적절히 대응할 수 있도록 한다.

이를 위해, 본 발명에서 상기 장면전환 검출부(32)는 장면 전환을 판단하는 과정에서 연산의 부하가 증가하는 것을 방지하기 위하여, 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측한 값(PPSNR; Predicted PSNR)만을 이용한다. 구체적으로, 장면전환 검출부(32)는 현재 프레임을 도 2와 같이 복수의 영역으로 분할하고, 분할된 각 영역의 PSNR을 예측한다. 그리고, 각 영역의 비 유사성 척도(DM; dissimilarity metric)를 연산하여, 상기 비 유사성 척도(DM)가 미리 정해진 기준값을 벗어나는 지를 각각 확인하고, 프레임 내에서 몇 개의 영역이 미리 정해진 기 준값을 벗어나는 지를 확인한다. 확인된 개수가 미리 정해진 값 이상일 경우에는 현재 프레임에서 장면 전환이 일어난 것으로 간주하게 된다.

본 발명에서는 각 영역의 비 유사성 척도(DM)는 프레임 내의 국소적인 변화를 확인할 수 있도록 현재프레임의 PSNR과 이전 프레임들의 평균 PPSNR의 비를 확인하는 것으로 이루어진다. 이는 하기 수학식 1과 같이 계산되어 질 수 있다.

상기 수학식 1에서 DM^x _{proposed , i}에서 x는 분할된 영역의 식별번호를 표시하며, i는 현재 프레임의 프레임 번호를 의미하며, S_j는 j번째 발생한 급장면전환에 대한 해당 영상의 프레임 번호를 의미한다. DM^x _{proposed , i}는 현재 프레임 각 영역의 PPSNR과 프레임의 장면전환이 이루어진 시점부터 각 영역들의 평균 PPSNR과의 비율이다. 또한, PPSNR^x _{k ,k-1}과 PPSNR^x _{i , i-1}은 각각 하기 수학식 2 및 3에 의해 구해질 수 있다.

수학식 2 및 3에서 n은 샘플(즉, 픽셀)당 갖는 비트수를 나타내는 것으로서, 일반적으로 n은 8로 설정될 수 있다. 상기 PMSE는 현재 프레임의 예측된 MSE(Mean Square Error)로서, 하기 수학식 4 및 5의 연산에 의해 획득될 수 있다.

상기 수학식 4, 5에서 O^k _mn 및 Oⁱ _mn는 각각 k번째와 i번째 프레임(즉 현재 프레임)의 m열 n행 번째 오리지널(original) 샘플을 나타낸다. 한 프레임은 M[m] x N[n] 픽셀로 구성된다. 상기 수학식 4, 5에서 Oⁱ _mn는 i번째 프레임(즉 현재 프레임)의 m열 n행 번째 오리지널(original) 샘플을 나타내고 R^j _mn는 j번째 프레임(즉 이전 프레임)의 m열 n행 번째 재구성된(reconstructed) 기준 샘플을 나타낸다. 한 프레 임은 M[m] x N[n] 픽셀로 구성된다.

본 발명에서 현재 프레임의 장면 전환 여부는 프레임을 이루는 복수의 영역 중, 미리 정해진 임계치 이내의 비 유사성 척도(DM^x _{proposed , i})를 갖는 영역이 몇 개인지를 확인하여 결정된다.

미리 정해진 임계치 이내의 비 유사성 척도(DM^x _{proposed , i})를 갖는 영역은 하기의 수학식 6에 의해 연산되며, 장면 전환 여부는 수학식 7의 연산을 통해 결정될 수 있다.

수학식 6에서 β는 각 영역의 비 유사성 척도(DM^x _{proposed , i})를 정의하는 임계치이다. 그리고, 수학식 7에서 α는 프레임의 장면전환 여부를 결정하기 위한 비율을 정의한 임계치이고, N_f는 프레임 내에 분할된 영역의 수를 나타낸다.

예컨대, N_f를 12개로 정의하고, α값을 0.75로 정의하고, β값을 0.7로 정의 한다. 이때, 비 유사성 척도(DM^x _{proposed , i})가 0.7 미만인 분할 영역의 개수가 9이상이면, 현재 프레임을 급장면전환된 프레임으로 판단한다. 나아가, α 및 β는 실험치에 의해 결정된 값일 수 있다.

도 3은 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 흐름도로서, 도 1에 도시된 바와 같은 장면전환 검출부(32)에서 수행될 수 있는 동작이다. 도 3을 참조하면, 먼저, 302단계를 통해 영상 프레임을 입력받는다. 다음으로 입력받은 영상프레임은 304단계를 통해 N_f개의 복수의 영역으로 분할된다. 그리고, 수학식 1 내지 수학식 5를 연산하여 분할된 각 영역의 비 유사성 척도(DM^x _{proposed , i})를 연산하게 된다(306단계). 308단계는 수학식 6을 이용하여 연산된 비 유사성 척도(DM^x _{proposed , i})와 미리 정해진 임계치인 β값을 비교하여 각 영역의 C^x를 연산한다. 예컨대, β값이 0.7로 설정되었을 경우, 연산된 비 유사성 척도(DM^x _{proposed , i})가 상기 β값 0.7보다 상대적으로 작을 경우 상기 C^x를 1로 결정하고, 비 유사성 척도(DM^x _{proposed , i})가 상기 β값 0.7보다 상대적으로 크거나 같으면 상기 C^x를 0으로 결정한다. 308단계를 진행한 후, 상기 x값과 N_f값을 확인하여 프레임에 포함된 전체 영역의 C^x가 모두 연산 되었는지를 확인한다(310단계). 예컨대, 도 2와 같이 프레임 이 12개의 영역으로 분할되었음을 가정하면(즉, N_f=12로 설정되면), 12개의 영역 중, 최초로 비 유사성 척도(DM^x _{proposed , i}) 등이 연산되는 영역의 x값은 0으로 설정될 수 있으며, 최종적으로 비 유사성 척도(DM^x _{proposed , i}) 등이 연산되는 영역의 x값은 N_f-1인 11로 설정될 수 있다. 따라서, 310단계는 x값이 N_f-1값과 동일한 값인지를 확인하는 것일 수 있다. 310단계의 확인결과, 프레임에 포함된 전체 영역의 C^x값의 연산이 완료되지 않았을 경우(310-아니오), 311단계를 수행하여 x값을 업데이트 한다. 그리고, 프레임에 포함된 전체 영역의 비 유사성 척도(DM^x _{proposed , i}) 및 C^x값이 모두 연산될 때까지 306, 308, 310, 및 311단계를 반복적으로 수행한다. 한편, 310단계의 확인결과, 프레임에 포함된 전체 영역의 C^x값의 연산이 완료되었으면(310-예), 312단계를 수행한다. 312단계는 수학식 7을 이용하여 308단계에서 연산된 각 영역의 C^x값을 모두 합산한다. 다음으로, 314단계는 합산된 값과 미리 정해진 임계치를 비교하여 현재 프레임이 급 장면전환이 이루어진 프레임인지를 판단한다. 예컨대, 304단계에서 프레임이 12개의 영역으로 분할되었고 α값이 0.75로 설정되었을 경우, 각 영역의 C^x값을 모두 합산한 결과값이 9이상이면 현재 프레임을 급 장면전환이 이루어진 것으로 간주한다. 314단계를 통해 현재 프레임이 급 장면전환이 이루어진 것으로 판단되면(314-예), 316단계를 통해 장면 전환 검출 신호 등을 발 생시키고, 318단계를 통해 비 유사성 척도(DM^x _{proposed , i})의 연산에 사용되는 S_j값을 갱신한다. 이와 같이 발생된 장면 전환 검출 신호는 이후 QP조정부(34)로 제공될 수 있으며, QP조정부(34)는 이에 따라 장면 전환 검출시에 양자화기(106)의 양자화 파라미터를 적절히 조정하게 된다. 한편, 314단계를 통해 현재 프레임이 급 장면전환이 이루어지지 않은 것으로 판단되면(314-아니오), 320단계를 수행한다. 320단계는 입력된 프레임이 영상의 마지막 프레임인지를 확인하는 단계이다. 320단계의 확인결과, 입력된 프레임이 영상의 마지막 프레임일 경우(320-예) 프레임의 장면전환 여부의 확인을 종료하고, 프레임이 계속적으로 입력될 경우(320-아니오) 프레임의 입력이 종료될 때까지 전술한 302단계 내지 318단계를 반복하여 수행하게 된다.

이하, 실험을 통해 본 발명에 따른 장면 전환 검출 방식의 유효성을 알아본다. 우선, 실험을 위해 움직임이 빠르고 조명 빛등 급장면전환 검출을 어렵게 하는 임의의 테스트 영상 2개를 선택하였다. 선택된 영상은 하기의 표 1과 같다. 테스트 시퀀스 영상의 명칭은 각각 'Worldcup', 'FF-X2'으로 설정된다. 테스트 시퀀스 영상은 각각 6,843개와 7,138개의 프레임으로 이루어지며, 13개와 159개의 급장면전환 프레임으로 구성되었다.

Sequence	Sequence comment	프레임 수	급 장면전환 개수
Worldcup	Sports highlight	6,843	13
FF-X2	Animation highlight	7,138	159

전술한 2개의 테스트 시퀀스 영상을 이용하여 종래기술에 따른 MSE DM, 4DMs, 본 발명의 출원인에 의해 기 출원된 대한민국 특허출원 10-2006-0075856호에 기재된 방법(이하, '856 특허에 기재된 방법), 및 본 발명에서 제안하는 방법에 따라 각각 장면전환을 검출하도록 하고, 장면전환 검출과정에서 발생되는 오류를 확인하여 하기의 표 2에 기재하였다. 표 2에서 'FALSE의 수'는 실제 장면전환이 일어나지 않았음에도 불구하고 장면전환으로 검출한 개수를 나타내고, 'MISS의 수'는 실제 장면전환이 일어났음에도 불구하고 장면전환을 검출하지 못한 수를 나타낸다. 또한, 각 방법별로 DP_FalseMiss(%)를 연산하여 기재하였다. DP_FalseMiss(%)는 영상에 포함된 장면전환개수에 대한 FALSE 및 MISS를 합한 것의 비율을 나타내는 것으로써, 하기의 수학식 8을 연산한 결과이다.

Sequence	ASC detect algoriths	FALSE의 수	MISS의 수	DPFalseMiss(%)
Worldcup	MSE DM	2	2	30.8
	4DMs	0	1	7.7
	'856특허에 기재된 방법	3	3	46.2
	본 발명에 기재된 방법	0	1	7.7
FF-X2	MSE DM	97	60	98.7
	4DMs	11	50	38.4
	'856특허에 기재된 방법	52	59	69.8
	본 발명에 기재된 방법	31	48	49.7

표 2를 참조하면, 본 발명에 따른 방법을 이용하여 장면전환을 검출하면, MSD DM보다 상대적으로 약 36.1%정도 검출 성능이 우수하고, 4DMs보다 상대적으로 약 5.7%정도 검출 성능이 낮음을 알 수 있다.

또한, 전술한 방법들을 수행하는데 요구되는 연산부하를 개인용 컴퓨터를 통해 확인하였으며 그 결과를 도 4의 그래프를 통해 도시하였다.

실험에 사용된 개인용 컴퓨터는 Microsoftⓡ Windowsⓡ XP를 운영체제(OS; Operating System)로 탑재하고, Intelⓡ VTune™ Performance Analyzer 8.0 프로그램을 수록한 저장매체를 포함한다. 실험은 상기 개인용 컴퓨터 내의 운영체제의 타이머(operating system timer)를 활용하는 시간기준모드(time-based mode)로 세팅하였으며 기준시간간격(sampling interval)은 1㎳로 설정하였다. 실험의 신뢰성을 높이기 위해 상기한 조건을 구비한 서로 다른 3대의 컴퓨터를 사용하여 측정하였고, 3대의 컴퓨터를 통해 측정된 값을 평균화하였다. 도 4는 3대의 컴퓨터에서 얻은 시간 샘플(timer samples)들을 모두 합치고, 알고리즘 간의 연산부하 측면에서의 측정된 결과를 도시한다. 본 발명에서 제안한 알고리즘은 연산부하 측면에서, 'MSE DM' 알고리즘보다는 34.8% 개선되었으며 '4 DMs' 알고리즘보다는 무려 93.1% 개선되었다. 이는 도 4에 나와 있듯이 H.264 frame layer rate control 의 computational load를 감안할 때 중요한 의미를 갖는다. 결국 본 발명은 H.264 동영상 부호화시 급장면전환에 대한 적절한 비트율 제어에 적용할 수 있는 급장면전환 검출 알고리즘일 수 있다. 또한, 본 발명은 기존 알고리즘 대비 검출 성능 및 연산부하를 고려한 가장 적합한 알고리즘일 수 있다.

이러한, 본 발명의 일 실시예에 따른 장면 전환 검출 방법은 무선 단말의 영상 통화 방법에 적용될 수 있다. 즉, 영상 통화를 위해 생성되는 영상 중, 장면 전환이 발생된 프레임에 대해서는, 본 발명의 일 실시예에 따른 장면 전환 검출 방법을 적용하여 양자화 파라미터를 적절히 조절하고, 부호화하여 전송할 수 있다.

한편, 모바일 기기의 물리적인 렌즈 제한과 더불어, 모바일 기기의 급작스런 움직임은 초점 맞지 않는 영상을 생성하게 된다. 그리고, 이러한 초점이 맞지 않는 영상은, 시공간적인 상관성이 적으므로, 부호화시 많은 비트 자원을 소모하게 된다. 비트 자원의 일시적인 많은 소모는 급작스런 움직임 이후 제대로 생성된 영상에까지 영향을 미쳐 전체적으로 영상품질을 떨어뜨리는 원인이 된다. 즉, 초점 맞지 않아 보기 힘든 영상을 필요 이상의 비트를 할당하여 추후 제대로 된 영상마저 영향을 미치므로 이를 개선할 필요성이 있다.

따라서, 본 발명의 다른 실시예에 따른 영상 장면 전환 검출 방법은 초점 맞지 않는 영상에 포함된 프레임들을 검출할 수 있는 방법을 제안한다. 구체적으로, 본 발명의 다른 실시예에 따른 영상 장면 전환 검출 방법은 초점이 맞지 않는 영상으로 인해 장면 전환이 시작되는 프레임(이하, 시작 프레임이라 함.) 및 초점이 맞지 않는 영상이 종료되는 프레임(이하, 종료 프레임이라 함.)을 검출한다.

도 5는 본 발명의 다른 실시예에 따른 장면 전환 검출 방법이 적용되는 동영상 인코더 장치의 블록 구성도이다. 도 5를 참조하면, 본 발명의 다른 실시예에 따른 장면 전환 검출 방법이 적용되는 동영상 인코더 장치는, 본 발명의 일 실시예에 따른 장면 전환 검출 방법이 적용되는 동영상 인코더 장치와 동일하다. 다만, 장면전환 검출부(32)의 세부 구성이 다르다. 따라서, 본 발명의 다른 실시예의 동영상 인코더 장치에서, 일 실시예의 동영상 인코더 장치와 동일한 구성요소에 대해서는, 동일한 도면 번호를 부여한다. 그리고, 일 실시예의 동영상 인코더 장치와 동일한 구성요소에 대한 상세한 설명은, 본 발명의 일 실시예에 상세히 개시되어 있으므로 생략한다.

한편, 본 발명의 다른 실시예가 적용되는 동영상 인코더 장치에서, 인코더(10)를 제어하는 인코더 제어기(40)에는 본 발명의 특징에 따라 프레임 저장 메모리(20)에 저장된 현재 프레임 및 기준 프레임 등을 통해 실시간으로 매우 빠른 장면을 검출하는 장면전환 검출부(42)를 구비한다. 장면전환 검출부(42)에는 유사 장면의 시작프레임을 검출하는 시작프레임 검출부(422)와 유사 장면의 종료 프레임을 검출하는 종료 프레임 검출부(424), 스킵할 프레임을 판단하는 프레임 스킵 판단부(426)를 구비한다.

장면전환 검출부(42)에서 장면 전환을 검출하게 되면, 이에 대한 정보는 QP조정부(44)로 제공되며, QP조정부(44)는 이에 따라 장면 전환 검출시에 양자화기(106)의 양자화 파라미터를 적절히 조정하여 현재 프레임의 장면 전환에 적절히 대응할 수 있도록 한다.

상기 시작프레임 검출부(422)는 이전 저장된 기준 프레임(reference frame)과 입력되는 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측하여 장면 전환을 판단하게 된다. 즉 상기 예측된 PSNR이 미리 설정된 기준치를 벗어날 경우에는 현재 프레임에서 장면 전환이 일어난 것으로 간주하게 된다.

나아가, 상기 시작프레임 검출부(422),는 본 발명의 일 실시예에서의 장면전환 검출부(32)와 동일한 동작을 통해 시작 프레임을 검출하는 것도 가능하다.

상기 종료 프레임 검출부(322)는 이전 저장된 기준 프레임(reference frame)과 입력되는 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측한 파라미터의 미분값을 이용하여 종료프레임을 검출한다. 예컨대, 상기 종료 프레임 검출부(322)는 하기 수학식 9를 연산하여, 종료프레임을 검출한다.

즉, 영상의 움직임 관점에서 볼 때 음수 Diff _{AvgPartialPPSNR} 는 현재 프레임의 움직임이 이전 프레임의 움직임 대비 줄었음을 의미한다. 이이 기초하여, 상기 종료 프레임 검출부(424)는, 상기 시작프레임 검출부(422)에서 매우 빠른 영상(즉, 초점이 맞지 않는 영상)이 검출된 이후, 처음으로 Diff _{AvgPartialPPSNR} 값이 음수로 되는 프레임을 종료 프레임으로 결정한다.

상기 수학식 9에서 PPSNR 은 저장된 기준 프레임(reference frame)과 입력되는 현재 프레임의 PSNR을 예측한 파라미터로서, 본 발명의 일 실시예에서의 수학식 3과 같이 연산될 수 있다. N _f 는 프레임이 분할된 블록의 수를 지시한다.

한편, 스킵 판단부(426)는 상기 시작프레임 검출부(422)와 종료 프레임 검출부(424)의 정보로부터, 생략할 프레임을 결정한다. 생략할 프레임으로 결정되면, 해당 프레임의 압축된 데이터는 전송되지 않고, 해당 프레임이 생략되었음을 지시하는 정보만 엔트로피 코더(108)에 전달된다.

상기 QP 조정부(34)는 종료 프레임 검출부(424)로부터 매우 빠른 영상(즉, 초점이 맞지 않는 영상)의 종료 프레임에 대한 정보를 수신한다. 그리고, 상기 QP 조정부(34)는, 매우 빠른 영상(즉, 초점이 맞지 않는 영상)이 종료된 후에 입력되는 프레임에 대해서는, 영상의 복잡도에 따라 양자화 파라미터(quantization parameter)를 적용하는 데이터율 제어를 수행한다.

나아가, 본 발명의 다른 실시예에 따른 장면 전환 검출 방법은 무선 단말의 영상 통화 방법에 적용될 수 있다. 즉, 본 발명의 다른 실시예에 따른 장면 전환 검출 방법을 이용하여, 매우 빠른 영상(예컨대, 초점이 맞지 않는 영상)을 검출하고, 이에 해당되는 프레임을 스킵하여 전송하는 것이 가능하다. 또한,수신단에서는 스킵된 영상 대신 이전의 프레임으로 복원할 수 있다.

구체적으로, 무선 단말의 영상 통화 방법은 영상 전송장치 및 영상 수신장치를 구비한 무선 단말에 의해 수행될 수 있다.

무선 단말에 구비된 영상 전송장치는 영상 통화가 진행되는 동안, 영상통화를 위해 마련된 카메라로부터 촬영되는 영상을 부호화하여 영상 수신장치로 전송한다. 이때, 영상 전송장치는 상기 카메라로부터 촬영되는 영상 중, 매우 빠른 영상(예컨대, 초점이 맞지 않는 영상)이 시작되는 프레임을 검출하고, 상기 매우 빠른 영상이 종료되는 프레임을 검출한다. 특히, 영상 전송장치는 매우 빠른 영상(예컨대, 초점이 맞지 않는 영상)이 시작되는 프레임을 본 발명의 일 실시예에 따른 장면 전환 검출 방법에 개시된 방법으로 검출할 수 있으며, 상기 매우 빠른 영상이 종료되는 프레임을 PPSNR의 미분 연산을 통해 검출할 수 있다. 나아가, 상기 영상 전송장치는 매우 빠른 영상(예컨대, 초점이 맞지 않는 영상)이 시작되는 프레임과 종료되는 프레임 사이에 존재하는 프레임에 대해서는, 프레임의 스킵을 지시하는 신호를 삽입하여 부호화를 수행하여 수신단으로 전송한다.

한편, 영상 수신장치는 부호화되어 영상 데이터를 복원하고, 복원된 상기 영상을 디스플레이 장치를 통해 재생한다. 영상 수신장치는 부호화 과정에서 삽입된 프레임 스킵을 지시하는 신호를 확인할 수 있으며, 이에 따라 상기 스킵된 프레임과 시각적(time)으로 바로 이전에 존재하는 프레임을 복사하여, 스킵된 프레임을 대체하여 영상을 복원하게 된다.

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

상기와 같이 본 발명의 일 실시예에 따른 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.

도 1은 본 발명의 일 실시예에 따른 장면 전환 검출 방법이 적용되는 동영상 인코더 장치의 블록 구성도,

도 2는 본 발명의 일 실시예에 따라 복수의 영역으로 분할된 프레임의 일 예시도,

도 3은 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 흐름도,

도 4는 본 발명의 일 실시예에 따른 실시간 장면 검출 동작의 테스트 결과를 나타낸 그래프,

도 5는 본 발명의 다른 실시예에 따른 장면 전환 검출 방법이 적용되는 동영상 인코더 장치의 블록 구성도.

Claims (10)

1. 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환 검출 방법에 있어서,

   현재 프레임을 복수의 영역으로 분할하고, 각각의 분할된 영역의 비 유사성 척도(DM; dissimilarity metric)를 연산하는 과정과,

   상기 각 영역의 비 유사성 척도가 미리 설정된 기준치를 벗어나는지 판단하는 과정과,

   현재 프레임 내에서, 비 유사성 척도가 상기 미리 설정된 기준치를 벗어나는 영역의 개수를 확인하는 과정과,

   상기 과정에서 미리 설정된 기준치를 벗어나는 영역의 개수를 확인한 결과, 기준치를 벗어나는 영역의 개수가 미리 설정된 개수 이상일 경우에 현재 프레임에서 장면 전환이 이루어진 것으로 간주하는 과정을 포함함을 특징으로 하는 실시간 장면 전환 검출 방법.
2. 제1항에 있어서, 상기 각각의 분할된 영역의 비 유사성 척도(DM)를 연산하는 과정은,

   현재 프레임과 재구성된 이전 프레임(기준 프레임)간의 샘플간 오차 정보를 이용하여, 부호화 이전에 현재 프레임의 PSNR(Peak Signal to Noise Ratio)을 예측하는 과정을 포함함을 특징으로 하는 실시간 장면 전환 검출 방법.
3. 제2항에 있어서, 상기 각각의 분할된 영역의 비 유사성 척도(DM를 연산하는 과정은,

   현재 프레임에서 예측된 PSNR(Predicted Peak Signal to Noise Ratio; 이하, PPSNR이라 함) 및 장면전환이 발생된 이후, 프레임들의 평균 PPSNR을 이용하여 각각의 분할된 영역의 비 유사성 척도를 연산하는 것을 특징으로 하는 실시간 장면 전환 검출 방법.
4. 제2항에 있어서, 각각의 분할된 영역의 비 유사성 척도는 하기의 수학식1에 따라 연산되어 짐을 특징으로 하는 실시간 장면 전환 검출 방법.

   <수학식1>

   

   x는 분할된 영역의 식별번호를 표시하며, i는 현재 프레임의 프레임 번호를 의미하며, S_j는 j번째 발생한 급장면전환에 대한 해당 영상의 프레임 번호를 의미함.
5. 제4항에 있어서, 상기 PPSNR은 하기 수학식2 및 수학식3에 따라 연산되어짐을 특징으로 하는 실시간 장면 전환 검출 방법.

   <수학식2>

   

   <수학식3>

   

   상기 수학식2 및 수학식3에서 PMSE은 현재 프레임의 예측된 MSE(Mean Square Error)이고, n은 샘플당 비트수임. 상기 PMSE_{i, i-1}와 PMSE_k,k-1은 각각 하기 수학식4 및 수학식5에 따라 연산됨.

   <수학식4>

   

   <수학식5>

   

   상기 수학식4 및 수학식5에서 Oⁱ _mn는 i번째 프레임의, m열 n행 번째 오리지널(original) 샘플을 나타내고 R^j _mn는 j번째 프레임의 m열 n행 번째 재구성된(reconstructed) 샘플을 나타냄(한 프레임은 M[m] x N[n] 픽셀로 구성됨).
6. 제1항에 있어서, 기준치를 벗어나는 영역의 개수가 미리 설정된 개수 이상인지의 판단은,

   하기의 수학식6에 따른 연산에 의해 결정되는 것을 특징으로 하는 실시간 장면 전환 검출 방법.

   <수학식6>

   

   수학식6에서 α는 프레임의 장면전환 여부를 결정하기 위한 비율을 정의한 임계치이고, N_f는 프레임 내에 분할된 영역의 수임. 상기 수학식 6에서 C^x는 하기의 수학식 7에 따른 연산에 의해 결정됨.

   <수학식7>

   

   수학식7에서 상기 β는 각 영역의 비 유사성 척도를 정의하는 임계치임.
7. 제1항 내지 제6항 중, 어느 한 항에 있어서,

   상기 장면 전환이 이루어진 프레임 이후에 입력되는 프레임의 예측 PSNR의 미분 값을 연산하는 과정과,

   연산된 결과값을 확인하여, 상기 결과값이 음수값을 지시하는 경우, 장면전환이 종료된 프레임으로 설정하는 과정을 더 포함함을 특징으로 하는 실시간 장면 전환 검출 방법.
8. 제7항에 있어서, 상기 예측 PSNR의 미분 값은 하기의 수학식 8을 이용하여 연산함을 특징으로 하는 실시간 장면 전환 검출 방법.

   <수학식 8>

   

   상기 수학식 8에서 예측 PSNR은 저장된 기준 프레임(reference frame)과 입력되는 현재 프레임의 PSNR을 예측한 파라미터이고, N_f 는 프레임이 분할된 블록의 수를 지시함.
9. 무선 단말의 영상통화 방법에 있어서,

   단말의 입력 동영상 신호의 급격한 변화구간의 시작 프레임과 종료 프레임을 검출하는 과정과,

   상기 검출된 영상들에 대해 송신부에서는 부호화를 스킵하는 과정과,

   상기 스킵된 프레임들에 대해 수신부에서는 미리 수신된 전 프레임을 복사하여 상기 스킵된 프레임을 대신하여 재생하는 과정을 포함하며,

   상기 시작 프레임은 복수 개로 분할된 프레임의 각 영역 사이의 비 유사성 척도를 사용하여 확인하고, 상기 종료 프레임은 입력 영상과 재구성된 이전 영상 간에 구해지는 예측 PSNR의 미분을 통해 확인하는 것을 특징으로 하는 영상통화 품질 향상 방법.
10. 무선 단말을 이용한 영상통화 시스템에 있어서,

    단말의 입력 동영상 신호의 급격한 변화구간의 시작 프레임과 종료 프레임을 검출하는 검출기,

    검출된 모든 영상들에 대해 프레임 부호화를 스킵하는 송신부,

    상기 스킵된 프레임들에 대해 미리 수신된 전 프레임을 복사하여 대체 재생하는 수신부를 포함하며,

    상기 검출기는 복수 개로 분할된 프레임의 각 영역 사이의 비 유사성 척도를 사용하여 상기 시작 프레임을 확인하고, 입력 영상과 재구성된 이전 영상 간에 구해지는 예측 PSNR의 미분을 통해 상기 종료 프레임을 확인하는 것을 특징으로 하는 영상통화 시스템.

Images