KR100287209B1

KR100287209B1 - 동적움직임평가에 의한 저전송률 동영상부호화방법 및 장치

Info

Publication number: KR100287209B1
Application number: KR1019940006584A
Authority: KR
Inventors: 이시화; 신재섭
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1994-03-30
Filing date: 1994-03-30
Publication date: 2001-04-16
Anticipated expiration: 2014-03-30
Also published as: JPH07274175A; KR950028528A

Abstract

본 발명에 의한 동적움직임평가에 의한 저전송률 동영상부호화방법 및 장치는 동적움직임 평가를 통해 움직이는 분석대상에 대한 움직임 성분의 추출과 함께 분석대상의 모양까지도 함께 추출함으로써 비트발생량을 줄이는 반면 복원영상의 화질저하를 방지할 수 있도록 하기 위한 것이다.

Description

동적움직임평가에 의한 저전송률 동영상부호화방법 및 장치

제1도는 본 발명에 따른 동적움직임평가에 의한 저전송률 동영상부호화장치의 일실시예를 나타낸 블럭도이다.

제2도는 제1도에 있어서, 전체 움직임 분석기와 블럭 움직임 분석기 및 전체 움직임 합성기와 블럭 움직임 합성기에 대한 상세블럭도이다.

제3a도,제3b도는 제2도의 움직임 분석기에서 수행되는 움직임평가의 예를 나타낸 도면이다.

제4a도,제4b도는 세일즈 맨과 미스 아메리카의 모의실험 결과 발생된 파라미터의 비트발생량을 나타낸 도면이다.

제5a도,제5b도는 세일즈 맨과 미스 아메리카의 모의실험 결과 생성된 복원영상의 화질을 PSNR로 나타낸 도면이다.

〈도면의 주요부분에 대한 부호의 설명〉

1 : 목표영상 2 : 복원영상

3 : 전체 움직임 분석기 4 : 전체 움직임 합성기

51 : 잠정적인 복원영상 52 : 배경영상

53 : 블럭 움직임 분석기 54 : 블럭 움직임 합성기

58 : 배경처리기

본 발명은 동적움직임평가에 의한 저전송률 동영상부호화방법 및 장치에 관한 것으로, 특히 저전송률상에서 영상간의 움직임과 모양을 평가하고, 이를 통하여 생성된 파라미터들을 부호화하기 위한 동적움직임평가에 의한 저전송률 동영상부호화방법 및 장치에 관한 것이다.

저전송률상에서의 디지탈 동영상 전송기술은 최근 많은 관심을 불러 일으키고 있는 분야로서, 유선 및 무선의 영상방송, 예컨데 비디오전화, 영상회의, 공업용 감시카메라, 네트워크 TV 등 여러가지 응용분야에서 적용될수 있는 기술이다. 특히, 디지탈 전송 네트워크인 ISDN(Integrated Services Digital Network)에 64 Kbps 대역의 많은 영상장비들이 연결될 전망이므로 64 Kbps 이하의 전송률상에서 효과적으로 적용할 수 있는 동영상부호화기술은 그 중요성을 더해가고 있다.

동영상압축을 위한 모임인 MPEG(Moving Picture Experts Group)에서 제시하고 있는 모델의 경우, 1.5~10 Mbps의 비교적 큰 전송률에서 초당 30개의 영상을 처리하고 있다. MPEG에서 사용하고 있는 기본적인 알고리즘은 DPCM(Differencial Pulse Code Modulation)과 변환부호화(Transform Coding)의 혼합된 형태로 고정된 크기의 모든 블럭에 대하여 처리하고 있다. 그러나 64 Kbps 이하의 저전송률 부호화의 경우에는 MPEG과 비교해 볼때 전송률 제한으로 인하여 보다 많은 영상데이타의 압축이 요구되고 있다.

저전송률 동영상 부호화에 있어서 가장 큰 관심은, 이전 화상을 바탕으로 현재의 영상을 효과적으로 재현할 수 있는 파라미터를 추출하는데 있다. 따라서 변화된 부분에 대한 움직임 분석을 통하여 분석된 내용을 부호화하는데 중점을 두고 있다. 초기에는 고정된 크기의 블럭 또는 몇가지 크기의 블럭들을 기반으로 하여 각 블럭의 밝기신호변화를 추출하고, 이를 변환부호화를 통하여 부호화하는 연구가 진행되었다.

최근에는 분석대상(dbject)의 경계선(edge)이나 분석대상을 구성하고 있는 픽셀들의 변화를 통하여 움직임이 있는 분석대상을 추출하고, 이 분석대상들의 움직임 분석을 통하여 생성된 파라미터를 부호화하는 분석대상 지향적 부호화(Object Oriented Coding)에 관한 연구가 활발하게 진행되고 있다.

종래의 동영상부호화기법에서 움직임평가에 통상적으로 많이 사용되는 블럭매칭방법은 하나의 영상을 일정한 크기의 블럭으로 나누고, 각 블럭에 대하여 x, y 축 방향으로 이동하면서 대응하는 참조영상의 블럭과의 오차가 가장 작을 때를 움직임 벡터(x,y)로 한다.

그러나, 이러한 방식의 움직임평가방법은 이전 영상에서 변화가 없는 부분에 대해서도 처리함으로써 처리시간이 많이 소요되고, 화질열화를 가져오는 문제점이 있다. 또한, 물체의 움직임이 일정한 사각 블럭 단위로 이루어지지 않으므로 정확한 움직임을 추정할 수 없는 문제점이 있다.

따라서 블럭매칭은 정확한 움직임을 추정하기 위한 방법이기 보다는 목표영상(target image)가 참조영상(reference image)간의 차이를 줄여 부호화되는 데이타를 줄이는 보조방법에 불과하다는 결론이 나온다.

이러한 블럭매칭방법의 문제점을 해결하기 위하여 단위블럭의 크기를 줄이고, 각 블럭에 대하여 x,y 축 방향으로 움직임을 추정한 움직임벡터를 세그먼테이션(segmentation)을 통하여 큰 분석대상을 나타내려는 시도를 하고 있다.

그러나, 이 방법은 독립적으로 각 블럭의 움직임을 찾기 때문에 분석대상의 크기와 분석대상의 갯수를 줄이는데에는 한계가 있다. 또한, 이 방법으로는 회전운동과 같은 추가적인 움직임 개념을 도입하기가 매우 힘들다.

동영상에서는 움직임과 분석대상은 매우 긴밀한 관계를 갖고 있다. 즉, 분석대상에 대한 움직임을 찾아내는 것이 움직임평가과정이라고 할수 있는데, 분석대상을 추출하는데에는 움직임성분이 많은 영향을 준다.

그러나 동영상부호화기법에서 종래의 움직임평가기술들은 이러한 분석대상에 대한 움직임특성에 의하지 않고 하나의 성분을 고정시키고 이에 대한 다른 성분을 추정함으로써 추출된 데이타는 많은 중복성을 가지고 있을뿐 아니라 부정확한 처리로 인하여 화질의 열화를 초래하게 되는 문제점이 있었다.

한편, 분석대상의 움직임성분을 추출하는데 있어서 수학적인 분석방법을 적용하려는 시도가 있었다. 그러나 수학적 분석방법은 올바른 분석대상이 선정되었을 경우에는 비교적 정확한 움직임을 추정할 수 있으나, 매우 복잡도가 클 뿐 아니라 하드웨어적인 구현이 매우 어렵다. 또한, 수학적 분석방법은 움직임 추정영역을 미리 설정하고, 이에 대한 움직임추정을 수행함으로써 최적의 움직임평가를 수행하기 어려운 문제가 있었다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 동적움직임 분석을 통하여 분석대상의 움직임과 모양을 평가하고, 움직임 평가를 통하여 생성된 파라미터들을 부호화하기 위한 동적움직임평가에 의한 저전송률 동영상부호화방법을 제공하는데 있다.

본 발명의 다른 목적은 상기 동적움직임평가에 의한 저전송률 동영상부호화방법을 실현하는데 가장 적합한 장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 동적움직임평가에 의한 저전송률 동영상부호화방법은 이전 영상의 휘도정보인 참조영상을 기초로 하여 부호화하고자 하는 다음 영상의 휘도정보인 목표영상에서 변화된 영역을 분석대상으로 추출하는 분석대상추출단계; 상기 분석대상추출단계에서 추출한 분석대상에 대하여 전체적인 움직임을 분석하여 상기 분석대상에 대한 움직임 정보와 모양 정보를 생성하고, 상기 움직임 정보와 모양 정보를 이용하여 잠정적인 복원영상을 구성하는 전체움직임평가단계; 및 상기 목표영상과 상기 전체움직임평가단계에서 구성된 잠정적인 복원영상과 배경영상에 대하여 블럭적인 움직임을 분석하여 작은 움직임처리, 배경처리, 움직임평가가 불가능한 영역의 처리를 모드에 따라서 수행하여 최종적인 복원영상을 구성하는 블럭움직임평가단계를 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위하여 본 발명에 따른 동적움직임평가에 의한 저전송률 동영상부호화장치는 참조영상과 목표영상으로부터 추출한 분석대상에 대하여 전체적인 움직임을 분석하여 상기 분석대상에 대한 움직임 정보와 모양 정보를 제1파라미터로 생성하는 전체 움직임 분석기; 상기 전체 움직임 분석기에서 출력되는 제1파라미터를 이용하여 상기 참조영상에 대한 잠정적인 복원영상을 구성하는 전체 움직임 합성기; 상기 목표영상과 상기 전체 움직임 합성기에서 출력된 잠정적인 복원영상과 배경영상을 이용하여 소정의 단위블럭에 대하여 움직임을 분석하여 상기 블럭에 대한 움직임 정보와 모양 정보를 제2파라미터로 생성하는 블럭 움직임 분석기; 및 상기 블럭 움직임 분석기에서 출력되는 제2파라미터를 이용하여 작은 움직임처리, 배경처리, 움직임평가가 불가능한 영역의 처리를 모드에 따라서 수행하여 최종적인 복원영상을 구성하는 블럭 움직임 합성기를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대하여 설명하기로 한다.

제1도에 도시된 블럭도의 구성은, 참조영상(2)과 목표영상(1)으로부터 추출한 분석대상에 대하여 전체적인 움직임을 분석하여 분석대상에 대한 움직임 정보와 모양 정보를 제1파라미터로 생성하는 전체 움직임 분석기(3)와, 전체 움직임 분석기(3)에서 출력되는 제1파라미터를 이용하여 참조영상(2)에 대한 잠정적인 복원영상(51)을 구성하는 전체 움직임 합성기(4)와, 목표영상(1)과 전체 움직임 합성기(4)에서 출력된 잠정적인 복원영상(51)과 배경영상(52)을 이용하여 소정의 단위블럭에 대하여 움직임을 분석하여 블럭에 대한 움직임 정보와 모양 정보를 제2파라미터로 생성하는 블럭 움직임 분석기(53)와, 블럭 움직임 분석기(53)에서 출력되는 제2파라미터를 이용하여 작은 움직임처리, 배경처리, 움직임평가가 불가능한 영역의 처리를 모드에 따라서 수행하여 최종적인 복원영상(2)을 구성하는 블럭 움직임 합성기(54)와, 블럭 움직임 합성기(54)에서 출력되는 최종적인 복원영상으로부터 추출된 배경영상을 수정 및 관리하는 배경처리기(58)로 이루어진다.

제2도는 제1도에 있어서, 전체 움직임 분석기(3)와 블럭 움직임 분석기(53) 및 전체 움직임 합성기(4)와 블럭 움직임 합성기(54)에 대한 상세블럭도이다.

한편, 전체 움직임 분석기(3)와 블럭 움직임 분석기(53)는, 전체 움직임 분석시에는 목표영상(102)과 참조영상(101;제1도의 2)에 대하여, 블럭 움직임 분석시에는 목표영상(102)과 잠정적인 복원영상(101;제1도의 51)에 대하여 단위블럭내의 화소간 감산을 수행하는 감산기(104와, 감산기(104)에서 출력되는 화소간 차이의 평균값을 소정의 문턱값(103)과 비교하는 비교기(105)와, 비교기(105)에서 출력되는 신호를 선택제어 신호로 하여 화소간 차이의 평균값이 문턱값보다 클 경우 동일한 위치의 목표영상(102) 블럭을 선택하여 차이영상(107)으로 출력하고, 작을 경우 단위블럭내 모든 화소값을 0으로 출력하는 멀티플렉서(106)와, 멀티플렉서(106)에서 출력되는 차이영상(107)과 참조영상 또는 잠정적인 복원영상(101)에 대하여 움직임분석을 수행하여 움직임 정보와 모양정보를 출력하는 움직임 분석기(108)와, 움직임 분석기(108)에서 출력되는 움직임 정보, 모양 정보 및 배경화상(114)을 입력으로 하여 전체 움직임 합성 및 블럭 움직임 합성기 분석대상의 움직임 정보가 참조영상으로부터 분석가능한 경우 예상모드를 선택하여 움직임정보와 모양정보를 파라미터화하고, 블럭 움직임 합성시 분석대상의 움직임 정보가 참조영상으로부터 분석이 불가능한 경우에는 배경모드와 인트라모드를 선택하여 파라미터화하는 모드선택기(109)로 구성된다.

한편, 전체 움직임 합성기(4) 및 블럭 움직임 합성기(54)는, 전체 움직임 분석기(3) 및 블럭 움직임 분석기(53)에서 생성된 파라미터들에 대한 비트발생률을 조정하기 위하여 파라미터 생성량이 목표수준을 초과할 경우 중요한 파라미터를 우선적으로 선택하여 전송하는 우선순위결정기(110)와, 우선순위결정기(110)에서 우선적으로 선택된 파라미터들을 합성하여 전체 움직임 합성시에는 잠정적인 복원영상(112;제1도의 51)으로 출력하고, 블럭 움직임 합성시에는 최종적인 복원영상(112;제1도의 2)으로 출력하는 움직임 합성기(111)로 구성된다.

제3a,3b도는 제2도의 움직임 분석기(111)에서 수행되는 움직임 분석의 예를 나타낸 도면이다.

제3a,3b도에 있어서, 참조번호 201은 참조영상, 202는 목표영상, 203은 분석대상, 207은 움직임이 발생한 것을 각각 나타낸다. 참조번호 205는 제3b도에서의 참조번호 206이 있었던 곳으로, 예에서 나타난 분석대상은 x,y 축으로의 이동과 함께 회전운동이 함께 발생한 것을 알 수 있다. 참조번호 204는 움직임 평가를 위한 최초 하나의 단위 블럭으로서, 기준블럭을 나타낸다. 기준블럭(204)은 일정한 범위내에서 x,y 축 방향과 회전각도로 이동 및 회전하면서 블럭내의 화소들과 대응되는 참조영상의 화소간 차이의 절대값의 합이 소정 문턱값 이하일 경우 그 때의 x,y 축 이동거리와 회전각도를 인접한 블럭에 적용시켜서 분석대상으로 할 것인가를 결정하며, 결정된 블럭에 대해서는 재차 처리하지 않은 인접 블럭에 동일하게 적용시켜서 그 x,y 축 이동거리와 회전각도에 대하여 적용가능한 더이상의 블럭이 없을 때까지 반복한다. 이러한 과정을 x,y 축 이동거리와 회전각도를 일정한 간격으로 변화시키면서 계속하며, 최종적으로 적용가능한 블럭의 수가 가장 많을 때의 x,y 축 이동거리와 회전각도를 그 분석대상의 움직임정보로 결정하고, 이러한 과정에서 추출된 각 인접블럭들의 모양을 그 분석대상의 모양정보로 결정한다.

제4a,4b도는 각각 세일즈 맨과 미스 아메리카의 모의실험 결과 발생된 파라미터의 비트발생량을 나타낸 도면이다.

제5a,5b도는 각각 세일즈 맨과 미스 아메리카의 모의실험 결과 생성된 복원영상의 화질을 PSNR로 나타낸 도면이다.

그러면 본 발명의 동작에 대하여 첨부된 도면을 참조하여 설명하기로 한다.

인접한 두개의 동영상에 있어서, 시간적으로 앞에 있는 영상의 밝기 정보를 참조영상(reconstructed image)이라고 하고, 부호화하고자 하는 다음영상의 휘도정보를 목표영상(target image)이라고 한다.

본 발명에서 적용된 기본 방식은 참조영상을 기반으로 하여 목표영상에서 변화된 영역을 추출하고, 추출된 영역에 대해서 움직임 분석을 수행함으로써 최종적으로 목표영상과 같도록 접근시키는 방법이다. 동영상 부호화장치는 이때 발생하는 파라미터를 부호화하여 전송하고, 복호기에서는 전송된 파라미터를 받아서 가장 최근에 복원되어진 영상을 기반으로 하여 새로운 영상을 구성한다.

제1도에 도시된 본 발명에 위한 동적움직임평가에 의한 저전송률 동영상부호화장치는 크게 전체 움직임 평가부(3,4)와 블럭 움직임 평가부(53,54)로 나누어진다. 참조번호 1은 부호화하고자 하는 목표영상들을 나타내며, 참조번호 2는 가장 최근에 복원된 참조영상을 나타낸다.

전체 움직임 분석기(Global Motion Analysis;3)에서는 전체적인 움직임 분석을 수행하는데, 참조영상(2)으로부터 움직임분석이 가능한 영역중에서 추출된 분석대상의 크기가 일정한 크기 이상으로 클 경우에 그 분석대상의 모양과 움직임을 부호화하여 그 결과인 파라미터 1을 복호기(도시되지 않음)와 전체 움직임 합성기(Global Motion Synthesis;4)로 출력한다.

전체 움직임 합성기(4)에서는 전체 움직임 분석기(3)에서 추출한 분석대상의 크기와 움직임정보를 사용하여 참조영상(2)을 바탕으로 잠정적인 복원영상(temp image;51)을 구성한다.

블럭 움직임 분석기(Block Motion Analysis;53)는 목표영상(1)과, 전체적인 움직임이 보상된 잠정적인 복원영상(51)과, 처리과정에서 계속유지, 관리하고 있는 배경영상(background image;52)을 바탕으로 작은 움직임 처리, 배경 처리, 움직임 평가가 불가능한 영역의 처리를 처리 모드에 따라서 수행한다. 블럭 움직임 분석기(53)에서 생성된 파라미터 2는 복호기(도시되지 않음)와 블럭 움직임 합성기(Block Motion Synthesis;54)로 출력한다.

블럭 움직임 합성기(54)는 전체 움직임 합성기(4)와 유사한 동작을 수행하는데, 각 분석대상들의 처리모드에 따라서 적절한 복원처리를 함으로써 최종적인 복원영상(2)을 구성하며, 구성된 최종적인 복원영상(2)은 다음 목표영상의 처리를 위한 참조영상으로 사용되기 위하여 배경처리기(58)로 보내진다. 배경처리기(58)에서는 배경영상관리 알고리즘에 따라 배경영상을 수정, 관리한다.

제1도에 있어서, 전체 움직임 분석기(3)와 블럭 움직임 분석기(53)에 대하여 제2도를 참조하여 상세히 설명하면 다음과 같다.

우선, 참조영상(101)은 전체 움직임 처리의 경우에는 참조영상(제1도의 2)에 해당하고, 블럭 움직임 처리의 경우에는 잠정적인 복원영상(제1도의 51)에 해당한다. 한편 목표영상(102)은 목표영상(제1도의 1)에 해당한다.

감산기(104)는 참조영상(101)의 휘도신호와 목표영상(102)의 휘도신호에 대하여 단위 블럭내의 화소간 감산이 이루어지며 이때 생성된 차이값은 비교기(105)로 인가된다.

비교기(105)에서는 문턱값(103)과 감산기(104)의 출력값을 비교하여 그 결과신호를 멀티플렉서(106)의 선택제어신호로 제공한다.

멀티플렉서(106)에서는 목표영상(102)과 참조영상(101)간의 블럭내 화소간의 차이의 평균값이 문턱값(103)보다 클 경우에는 같은 위치의 목표영상(102) 블럭을 선택하고, 문턱값(103)보다 작을 경우에는 입력단자(156)를 통하여 단위 블럭내 모든 화소값을 0으로 하여 움직임 분석시 처리되지 않도록 한다. 이렇게 처리된 단위 블럭들은 전체적으로 모여서 차이영상(difference image;107)을 구성한다.

움직임 평가부(108)는 참조영상 또는 잠정적인 복원영상(101)과 차이영상(107)을 입력으로 하여 분석대상을 추출하고, 단위 블럭을 단위로 하여 평가된 움직임(motion) 정보와 함께 움직임이 관련된 분석대상에 대한 모양(shape) 정보를 생성한다. 이때 움직임정보는 x,y 축 방향으로의 벡터값과 회전으로 인한 회전각도값이고, 모양정보는 분석대상의 테두리정보이다. 움직임 평가부(108)에서 생성된 움직임 정보와 모양정보는 모드 선택기(109), 우선순위 결정기(110)를 통해 최종적으로 전송하게 될 파라미터를 결정한다.

전체 움직임 처리의 경우, 모드선택기(109)에서는 예상모드(predict mode)만을 이용하여 참조영상으로부터 분석대상을 가져올 수 있는 경우에만 처리한다. 따라서 전체 움직임 처리에서는 분석대상의 움직임정보와 모양정보만을 파라미터화한다.

그러나 블럭 움직임 처리의 경우에는 모드선택기(109)에서는 전체 움직임 처리에서보다 정교한 처리를 행한다. 분석대상의 움직임정보를 참조영상으로부터 평가할 수 있을 경우에는 전체 움직임 처리에서와 마찬가지로 분석대상의 움직임정보와 모양정보를 파라미터화한다.

한편, 참조영상으로부터 움직임정보를 평가할 수 없을 경우에는 배경모드(background mode)와 인트라모드(intra mode)를 사용하여 처리한다. 배경모드의 경우에는 관리하고 있는 배경영상(114)과 현재 처리하고자 하는 단위블럭을 비교하여 같다고 판단되어지면 단위블럭의 영상내의 위치와 배경모드라는 신호를 파라미터화한다. 인트라모드의 경우에는 움직임정보를 평가할 수 없을 뿐 아니라 배경영상(114)에 대한 처리도 할 수 없는 경우로서, 단위블럭을 2×2 단위로 하여 평균 화소값을 생성하여 파라미터화한다. 이때에는 단위블럭의 영상내의 위치와 평균 화소값들이 전송된다.

우선순위 결정기(110)는 비트발생률을 조정하는 부분으로서, 파라미터 생성량이 목표로 하는 수준보다 많을 경우 중요한 파라미터 정보들을 우선적으로 선택하여 전송하기 위한 것이다.

움직임 합성기(111)에서는 우선순위 결정기(110)에서 우선적으로 선택되어진 파라미터들을 합성하여 복원영상(112)을 구성한다. 이때 복원영상(112)은 전체 움직임 처리구조인 경우에는 잠정적인 복원영상(제1도의 51)이 되어 다음의 블럭 움직임 처리에서의 참조영상으로 사용되고, 블럭 움직임 처리구조인 경우에는 최종적안 복원영상(제1도의 2)이 되어 다음의 목표영상처리를 위한 참조영상으로 사용된다.

배경영상 업데이트기(113)는 배경영상(114)을 관리하여 모드선택기(109)에 제공하기 위한 부분으로서, 블럭 움직임 처리의 경우에만 사용된다.

그러면, 생성된 움직임정보와 모양정보에 대한 비트발생량을 산출하는 방법에 대하여 설명하기로 한다.

분석대상 지향 부호화는 예측부호화를 기본으로 하고 있다. 즉, 이전영상으로부터 분석대상의 추출과 정교한 움직임 평가로 파라미터를 생성하여 목표영상을 부호화한다. 이때 모양정보는 테두리 부호화(Contour Coding)를 통하여 부호화하는데, 모양정보는 위치좌표와 체인(chain) 정보를 포함한다. 처리하는 영상의 크기가 고정되어 있고, 움직임 분석을 위한 탐색 범위가 한정되어 있다고 하면, 각 분석대상의 위치좌표에 대하여 할당되는 비트수는 고정되며 또한 움직임의 경우도 같은 결과가 된다. 움직임 평가는 m×n 크기의 블럭을 단위로 하여 처리된다. 움직임을 평가할 수 없는 블럭에 대해서는 2×2 화소의 단위로 평균값을 전송함으로써 이러한 블럭에 대한 비트할당도 상수값으로 할 수 있다. 따라서 전체적인 비트생성량은 다음 제1식과 같이 예상할 수 있다.

여기서 N은 움직임이 평가된 분석대상의 갯수이고, M은 움직임 평가가 불가능한 단위블럭들의 갯수이고, C(i)는 분석대상 i의 테두리 체인 부호 비트수를 나타내고, P는 대상의 위치에 대한 기준점의 위치 부호 비트수이고, K는 움직임을 나타내는 부호의 비트수이고, T는 움직임 평가에 실패한 블럭에서 2×2 화소에 대하여 전송되는 평균값을 나타내는 부호의 비트수이다.

처리하는 영상에 대하여 한 화소값이 8비트로 샘플링되어 있고, 영상의 크기를 360×288, 움직임 탐색 범위를 ±15라고 하면, 고정갈아 부호화를 통하여 P=18, K=10, T=8이 된다. 따라서 제1식은 다음 제2식과 같이 고쳐 쓸수 있다.

움직임이 발생되었다고 판단되어진 단위블럭의 수를 Z라고 하면, G를 분석대상내의 평균 단위 블럭의 수라고 하면,

Z = NG + 4M ..... (3)

으로 나타낼 수 있고, 이때 C(i)는 G와 상관관계를 갖고 있다. 따라서 근사적인 예측을 위하여

라고 한다. m, n을 모두 4로 하여 단위블럭을 4×4로 하고, 영상의 샘플링 주파수를 10Hz로 하면, 비트발생량은 다음 제4식과 같이 나타낼 수 있다.

bits(parameter) = (G + 28)N + 50M ... (4)

제4식에서 볼때, 파라미터에 대한 비트발생량은 분석대상내의 평균 단위블럭수와 분석대상의 갯수, 움직임 평가가 불가능한 단위블럭의 갯수에 의존한다.

파라미터에 대한 비트발생량을 줄이기 위해서는 G,N,M값을 주려야 한다. 그러나 N과 G와는 서로 상관관계가 있기 때문에 어느 한쪽을 줄이려면 다른 쪽의 값이 커지게 된다. 그러나 G값을 줄이는 것보다 N의 값을 줄이는 것이 보다 큰 효과를 얻게 된다. 따라서 분석대상의 크기를 최대한 크게 하면서 그 수는 줄이는 것이 효과적이다.

모의실험(simulation)에 사용된 영상은 미스 아메리카(Miss America)와 세일즈맨(Sales Man)이라고 불리우는 동영상들로서, 모두 10프레임/초로 샘플링되어 있다. 휘도성분은 360×288의 크기를 갖고 있으며, 한 화소당 8비트로 샘플링되어 있다. 색성분은 180×288의 크기를 갖는다.

모의실험은 1차적으로 각 동영상들에 대하여 비트발생량 조절을 하지 않고 64 Kbps 의 전송에 적합할 수 있도록 문턱값을 조정하였다. 제4a, 4b도는 각각 세일즈 맨과 미스 아메리카 동영상들에 대하여 모의실험한 결과 발생한 파라미터의 비트발생량을 나타낸 것이다. 한편, 제5a,5b도는 각각 세일즈 맨과 미스 아메리카 동영상들에 대한 복원영상의 화질을 PSNR(Peak Signal to Noise Ratio)로 나타낸 것이다.

상술한 바와 같이 본 발명에 의한 동적움직임평가에 의한 저전송률 동영상부호화방법 및 장치에서는 동적움직임 평가를 통해 움직이는 분석대상에 대한 움직임 성분의 추출과 함께 분석대상의 모양까지도 함께 추출함으로써 비트발생량을 줄이는 반면 복원영상의 화질저하를 방지할 수 있는 장점이 있다.

또한, 동적 움직임 평가를 통하여 보다 정교한 움직임 분석이 가능할 뿐 아니라 64Kbps 급의 저전송률 동영상 부호화에서도 양호한 화질의 복원영상을 얻을 수 있다.

또한, 동적 움직임 평가에 있어서 전체 움직임 평가를 통하여 전체적인 움직임을 평가함으로써 분석대상이 배경과 유사한 밝기를 가지고 있는 경우에 있어서도 큰 영역에 걸쳐서 발생하는 움직임을 찾아낼수 있다. 따라서 단일 문턱값을 적용하는 영상처리에서 발생할 수 있는 화질열화를 줄일 수 있는 이점이 있다.

Claims

이전 영상의 휘도정보인 참조영상을 기초로 하여 부호화하고자 하는 다음 영상의 휘도정보인 목표영상에서 변화된 영역을 분석대상으로 추출하는 분석대상추출단계; 상기 분석대상추출단계에서 추출한 분석대상에 대하여 전체적인 움직임을 분석하여 상기 분석대상에 대한 움직임 정보와 모양 정보를 생성하고, 상기 움직임 정보와 모양 정보를 이용하여 잠정적인 복원영상을 구성하는 전체움직임평가단계; 및 상기 목표영상과 상기 전체움직임평가단계에서 구성된 잠정적인 복원영상과 배경영상에 대하여 블럭적인 움직임을 분석하여 작은 움직임처리, 배경처리, 움직임평가가 불가능한 영역의 처리를 모드에 따라서 수행하여 최종적인 복원영상을 구성하는 블럭움직임평가단계를 포함하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화방법.
제1항에 있어서, 상기 방법은 상기 블럭움직임평가단계에서 구성된 최종적인 복원영상으로부터 추출된 배경영상을 수정 및 관리하는 배경영상처리단계를 더 포함하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화방법.
제2항에 있어서, 상기 전체움직임평가단계와 블럭움직임 평가단계에 있어서 x,y 축방향으로의 움직임 및 회전운동에 의한 움직임 평가를 동시에 적용하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화방법.
참조영상과 목표영상으로부터 추출한 분석대상에 대하여 전체적인 움직임을 분석하여 상기 분석대상에 대한 움직임 정보와 모양 정보를 제1파라미터로 생성하는 전체 움직임 분석기; 상기 전체 움직임 분석기에서 출력되는 제1파라미터를 이용하여 상기 참조영상에 대한 잠정적인 복원영상을 구성하는 전체 움직임 합성기; 상기 목표영상과 상기 전체 움직임 합성기에서 출력된 잠정적인 복원영상과 배경영상을 이용하여 소정의 단위블럭에 대하여 움직임을 분석하여 상기 블럭에 대한 움직임 정보와 모양 정보를 제2파라미터로 생성하는 블럭 움직임 분석기; 및 상기 블럭 움직임 분석기에서 출력되는 제2파라미터를 이용하여 작은 움직임처리, 배경처리, 움직임평가가 불가능한 영역의 처리를 모드에 따라서 수행하여 최종적인 복원영상을 구성하는 블럭 움직임 합성기를 포함하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제4항에 있어서, 상기 전체 움직임 분석기 및 블럭 움직임 분석기는, 전체 움직임 분석시에는 상기 목표영상과 상기 참조영상에 대하여, 블럭 움직임 분석시에는 상기 목표영상과 상기 잠정적인 복원영상에 대하여 단위블럭내의 화소간 감산을 수행하는 감산기; 상기 감산기에서 출력되는 화소간 차이의 평균값을 소정의 문턱값과 비교하는 비교기; 상기 비교기에서 출력되는 신호를 선택제어신호로 하여 화소간 차이의 평균값이 문턱값보다 클 경우 동일한 위치의 상기 목표영상 블럭을 선택하여 차이영상으로 출력하고, 작을 경우 단위블럭내 모든 화소값을 0으로 출력하는 절환기; 상기 절환기에서 출력되는 차이영상과 상기 참조영상 또는 잠정적인 복원영상에 대하여 움직임분석을 수행하여 움직임 정보와 모양정보를 출력하는 움직임 분석기; 및 상기 움직임 분석기에서 출력되는 움직임 정보, 모양 정보 및 배경화상을 입력으로 하여 전체 움직임 합성 및 블럭 움직임 합성시 분석대상의 움직임 정보가 상기 참조영상으로부터 분석가능한 경우 예상모드를 선택하여 움직임정보와 모양정보를 파라미터화하고, 블럭 움직임 합성시 분석대상의 움직임 정보가 상기 참조영상으로부터 분석이 불가능한 경우에는 배경모드와 인트라모드를 선택하여 파라미터화하는 모드선택기를 포함하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제5항에 있어서, 상기 움직임 정보는 x,y 축방향의 이동거리에 대한 벡터값과 회전운동으로 인한 회전각도값을 포함하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제5항에 있어서, 상기 모양 정보는 위치 좌표와 체인 정보를 포함하여 테두리 부호화를 통하여 부호화되는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제5항에 있어서, 상기 배경모드는 관리하고 있는 배경영상과 현재 처리하고자 하는 단위블럭을 비교하여 동일한 경우 선택되며 상기 단위블럭의 영상내의 위치와 배경모드라는 신호를 파라미터화하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제5항에 있어서, 상기 인트라모드는 움직임정보를 평가할 수 없고 배경영상에 대한 처리도 할 수 없는 경우 선택되며, 단위블럭을 소정 단위로 하여 평균 화소값을 생성하여 파라미터화하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제4항에 있어서, 상기 전체 움직임 합성기 및 블럭 움직임 합성기는, 상기 전체 움직임 분석기 및 블럭 움직임 분석기에서 생성된 파라미터들에 대한 비트발생률을 조정하기 위하여 파라미터 생성량이 목표수준을 초과할 경우 중요한 파라미터를 우선적으로 선택하여 전송하는 우선순위결정기; 및 상기 우선순위결정기에서 우선적으로 선택된 파라미터들을 합성하여 전체 움직임 합성시에는 잠정적인 복원영상으로 출력하고, 블럭 움직임 합성시에는 최종적인 복원영상으로 출력하는 움직임 합성기를 포함하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.
제10항에 있어서, 상기 전체 움직임 합성기와 블럭 움직임 합성기에서 생성된 파라미터에 대한 비트발생량은 분석대상내의 평균 단위블럭의 갯수, 분석대상의 갯수 및 움직임평가가 불가능한 단위블럭의 갯수에 의존하는 것을 특징으로 하는 동적움직임평가에 의한 저전송률 동영상부호화장치.