KR20050008247A - 스포츠 비디오에서의 3차원 그래픽 영상 합성을 위한 장치및 방법 - Google Patents

Abstract

본 발명은 스포츠 경기의 비디오에서 경기장의 빈 공간에 그래픽 영상을 합성하는 것이다. 일반적으로 스포츠 경기의 비디오에서 경기장의 영역 중 그래픽 영상을 합성하기 코너들로 둘러싸인 특정 영역에 그래픽 영상을 합성하여 부가 정보 서비스 효과를 얻을 수 있다. 그래픽 영상 합성 시 스포츠 경기의 비디오를 시청하는 시청자들이 그래픽 영상의 합성이 인위적이지 않고, 부자연스럽다는 느낌을 거의 받을 수 없게 자연스럽게 합성을 하여 합성된 그래픽 영상이 경기장에 설치되어 있는 것처럼 보여야 시청자들이 거부감 없이 스포츠 비디오를 감상할 수 있다.

그래픽 영상이 합성된 영역에 선수나 심판 또는 공과 같은 장애물들이 들어왔을 때, 그들의 움직임을 방해하지 않고 합성을 한다.

본 발명은 코너 구성 형태 특징을 이용하여 그래픽 영상을 합성할 위치를 찾는다. 종래의 카메라 모션 정보의 사용을 최소화하여 보다 정확한 합성이 가능하다.

Description

스포츠 비디오에서의 3차원 그래픽 영상 합성을 위한 장치 및 방법{An Apparatus and Method for mixing 3D graphic images in sports video}

본 발명은 스포츠 비디오 중 스포츠 경기의 경기장에 그래픽 영상의 합성을 하는 방법에 관한 것이다. 보다 상세하게는, 스포츠 비디오 내 경기장 중, 그래픽 영상을 경기장이 가지는 코너들의 구성 특징을 이용하여 스포츠 비디오에 합성하여 시청자들이 그래픽 영상이 합성된 스포츠 경기를 시청하게 하는 방법(제11도)이다. 일반적으로 그래픽 영상을 합성하는 시스템은 다음과 같이 크게 두 가지 방법으로 이루어진다.

(1) 그래픽 영상을 합성할 영역을 찾는 방법(435)

이 방법은 코너 구성 형태 특징(440)을 이용하여 매 비디오 프레임(430)마다 그래픽 영상을 합성할 중요한 정보를 가지고 있는 코너의 위치를 찾으며, 코너들의 구성 특징을 계속 업데이트를 해 나간다. 따라서 시간이 지남에 따라 경기의 조명이나 광원에 의한 색상의 변화에 무관하게 광고를 합성할 영역을 찾을 수 있다.

(2) 3차원 그래픽 영상을 합성할 영역의 좌표계를 찾는 방법(도 5)

3차원 그래픽 영상 합성 영역은 사용자가 입력한 점들(560)로 둘러싸인 영역에서의 외접 사각형의 한 변(530)들과 일대일 대응관계에 있다고 보고, 3차원 그래픽 영상 합성 영역의 한 변(540)은 3차원 공간상의 한 변(550)이 정사영된 것으로 추정할 수 있다. 이것은 외접 사각형의 한 변(530)의 노름과 3차원 공간상의 한변(550)의 노름이 같다는 가정 하에서 그래픽 영상 합성 영역위에 3차원 좌표계를 계산해 낼 수 있다.

(3) 그래픽 영상을 합성하는 방법(455)

그래픽 영상을 합성할 영역이 찾아지면, 우선 합성할 그래픽 영상의 모양과 위치를 변형시켜야 한다. 그 다음 합성할 영역에 변형된 그래픽 영상을 위치시키는데, 이 때에는 그래픽 영상이 주변 색깔과 어울리게 합성이 되어야 실제로 경기장에 그래픽 영상이 설치되어 있는 것처럼 보일 수 있다. 알파 블렌딩과 같은 효과를 넣어서 그래픽 영상을 합성할 주변의 색상 정보와 혼합을 한다. 경기 중 그래픽 영상을 합성할 영역 위에 선수나 공과 같은 장애물이 나타나면 그 장애물들은 피해서 그래픽 영상을 합성한다 보통 크로마키(Chroma Key)와 같은 효과를 사용한다. 참고로, 크로마키효과란 라이트블루의 스크린 앞에 인물이나 물체를 배치하고 컬러카메라로 촬영하여 이 피사체상을 아주 다른 화면에 끼워 맞추는 수법을 말한다.

한편 상기한 바와 같은 광고를 합성하는 방법은 미국 특허 제 5,892,554호을 통해 이미 공개되어 있으며, 그 내용을 요약하면 다음과 같다.

축구 경기장(750)을 카메라로 찍은 NTSC 신호가 디지털 변환기(760)를 거쳐서 디지털 신호로 시스템(790)에 들어가게 된다.

Filter/Decimation module(765) : 입력된 디지털 영상을 가우시안 필터를 이용하여 블러(blur)시킨다. 그 다음 영상을 해상도가 1/2씩 작은 영상을 4개 만든다. 이것은 해상도가 작은 영상에서 광고를 합성할 영역을 찾는데 시간이 아주 적게 들기 때문이다. 해상도가 작은 영상에서 광고를 합성할 영역을 찾은 후, 해상도가 가장 큰 원래 영상에서 합성 할 영역을 더 자세히 찾는다.

Search module(770) : 광고를 합성할 영역을 찾는 부분이다. 입력된 영상에서 랜드마크(landmark)라고 하는 광고를 합성할 주변에 특징이 될 만한 점이나 선들을 찾아서 참조배열(reference array)을 만든다. 참조 배열 또한 해상도에 따라서 4개가 생기게 된다.

Landmark Tracking module(775) : 입력된 영상의 랜드마크에 대해서 참조배열이 만들어지면, 참조영상(reference image)에 대한 참조배열과 비교를 하여 광고를 합성할 부분을 찾는다.

Occlusion module(780) : 광고를 합성할 부분에 사람이나 공과 같은 장애물이 있으면 그 장애물들이 랜드마크를 가리게 된다. 따라서 찾아지지 않은 랜드마크의 위치에 장애물이 있다고 가정하고, 장애물의 위치를 파악할 수 있다.

Insertion module(785) : 광고를 합성할 부분이 찾아지고, 합성할 부분에 장애물이 있는지 없는지, 또 있으면 어디에 있는지 까지 정보가 나오면 바로 광고 영상을 합성한다.

이렇게 입력된 디지털 영상에 광고가 합성된 후 NTSC형식의 비디오로 다시 변환하여 방송국에 보내게 된다.

또한, 미국 특허 제 5,436,672호에서는 광고를 교체하기 위한 시스템을 제시하였는데, 제7b도에서 간단한 시스템 구조가 나타나있다. 광고 교체 시스템은 경기장에 미리 설치된 펜스 광고를 다른 광고로 바꿔주는 시스템이다.

축구장(700)의 경기를 카메라(705)로 찍으면 바로 디지털 변환기(710)에 의해 아날로그 신호가 디지털 영상으로 변환되어 시스템에 들어가게 된다. 우선 입력된 비디오 프레임들은 프레임 버퍼(720)에 쌓이게 되는데, 이 버퍼(720)에는 일정량의 비디오 프레임이 큐(queue) 형식으로 들어오고 나간다.

Finder module(715) : 입력된 비디오 프레임에서 교체할 광고의 위치를 찾는 부분이다. 우선 경기가 시작하기 전에 교체할 광고 영상에 대한 분석을 하는데, 영상의 점의 위치에 대한 분석을 미리 해 놓는다. 그렇게 분석된 정보를 이용하여 입력된 비디오 프레임에 대해서 점의 위치를 비교하여 점의 분포가 같은 위치를 찾는데, 그 부분이 바로 교체할 광고의 위치이다.

Updater module(735) : 이 부분은 제12a도의 랜드마크 트래킹(775) 모듈과 비슷한데, 앞에서 찾아진 교체될 광고의 영역을 추적한다.

Replacer(730) module : 현재의 광고를 새로운 광고 영상으로 교체를 하는 부분이다. 이 부분에는 제7a도의 occlusion(780)과 insertion(785)과 비슷한 기능을 수행한다. 이렇게 광고가 교체된 영상은 다시 아날로그 신호로 바뀌어서 방송국으로 전송된다.

기존의 방법들은 본 발명과 유사한 기존의 방법인데, 이들은 각 시스템의 모듈마다 하드웨어 보드를 가지고 있으며, 모듈 또한 복잡하다. 본 발명은 이를 개선하여 모듈의 수를 2가지로 줄였으며, 각 모듈 또한 수행 속도도 현저히 빨라져서 거대한 하드웨어 설계 없이 구현이 가능하다. 코너들의 구성 특징 라는 코너 주위에서 단위구역 비교를 이용하여 그래픽 영상을 합성할 부분을 찾기 때문에 카메라 움직임 정보의 사용을 최소화하였으며, 수행 속도도 빠르며, 정확성도 기존의 것들보다 떨어지지 않는다.

본 발명의 주된 목적은 스포츠 비디오에 그래픽 영상을 임의의 위치에 합성하여, 스포츠 비디오 시청자들이 합성된 그래픽 영상이 스포츠 경기장에 실제로 있는 듯이 느끼게 하여, 거부감 없이 그래픽 영상을 보면서 스포츠 비디오를 시청하게 하는데 있다. 이는 정확한 위치에 합성이 이루어 질 수 있도록 해야 한다. 그리고 합성된 그래픽 영상이 거부감 없이 보여야 하기 때문에 알파 블렌딩(Alpha Blending)과 같은 영상 처리 효과를 넣어서 실제 그래픽 영상이 경기장 바닥이나 담장에 있는 것처럼 해야 한다. 참고로, 알파 블렌딩이라는 것은 합성하는 그래픽 영상 정보의 알파 값을 이용해, 투명함을 주는 방법이다. 마지막으로 합성된 그래픽 영상 위로 선수나 심판과 같은 사람이나 공이 지나 갈 때 그런 장애물들 뒤에 있는 영역에만 그래픽 영상을 합성해야 한다. 이러한 겹침 문제를 해결하기 위해서는 배경과 전경을 구분해야 하는데, 일반적으로 크로마키를 이용할 수 있다. 경기장의 바닥 색깔은 보통 녹색과 같은 단일한 색깔로 이루어져 있어서 블루 스크린처럼 배경 색깔에 해당하는 부분을 뺀 나머지 부분을 움직이는 물체라고 볼 수 있다.

제1도는 본 발명의 전체 시스템 구성도.

제2a도는 원형 모양의 영역에 합성할 수 있는 동그란 모양의 가상 그래픽 영상 도면.

제2b도는 직사각형 모양의 영역에 합성할 수 있는 사각형 모양의 가상 그래픽 영상 도면.

제3a도는 본 발명에서의 선수 뒤로 원형 모양 영역의 가상 그래픽 영상 도면.

제3b도는 본 발명에서의 선수 뒤로 직사각형 모양 영역의 가상 그래픽 영상 도면.

제4도는 본 발명에서의 합성 영역과 가상 그래픽 영상의 변형 처리 도면.

제5도는 본 발명에서의 3차원 그래픽 영상합성 과정 시 합성영역에 대한 좌표계 생성에 관한 개략도.

제6도는 본 발명에서의 실제 경기장에 3차원 그래픽 영상이 합성된 예를 보여주는 도면.

제7a도는 종래 기술의 시스템 구조도

제7b도는 종래 기술의 시스템 구조도

스포츠 비디오 영상(10)이 그래픽 영상 합성 시스템(170)에 입력이 되면 그래픽 영상이 적당한 위치에 합성된 비디오 영상(160)이 출력이 되고, 시청자들은 그래픽 영상이 합성된 영상(160)을 볼 수 있게 된다.

그래픽 영상을 합성하기 전에 우선 코너 구성 형태 특징을 정해야 한다. 코너 구성 형태 특징은 경기장의 경계선들이 수직으로 만나는 부분이 될 수 있다. 합성될 경기의 종류와 합성될 영역의 모양에 따라 여러 종류가 있을 수 있다. 이렇게 코너 구성 형태 특징이 정해지면, 입력된 첫 비디오 연속 단위 영상에서 코너 구성 형태 특징으로 그래픽 영상의 합성 위치를 결정한다. 이렇게 코너 구성 형태 특징이 정해지면, 현재 입력된 비디오 프레임(10)과 코너 점들의 구성 형태 비교(20)를 시도한다. 코너 점들의 구성 형태 비교 여부는 색상 히스토그램을 비교하여 모든 픽셀과 비교를 한 후, 비교 값이 일정한 한계값 이상 나오는 픽셀들 중에 대해서 가장 큰 값을 갖는 픽셀이 맞는 픽셀이 된다. 만약 모든 픽셀의 비교 값이 한계값보다 작으면 그 탐색창 안에서는 비교에 실패하게 되며, 이것은 코너 점들이 비교 될 부분에 사람이나 공과 같은 장애물이 들어와서 색상 값이 크게 변했기 때문이다.

코너 점들의 구성 형태 비교(20)를 한 결과(80), 코너 점들의 구성 형태 비교개수에 따라서 코너 점들의 구성 형태를 업데이트(100) 하는 방법이 다음과 같이 5가지로 나누어진다. 코너 점들의 구성 형태 비교는 전 단위 영상에서 얻어진 코너점들의 구성 형태 비교를 이용하여 현재 단위 영상에서 하는데, 이것은 두 단위 영상 사이에 많은 변화가 없다고 가정을 두었다. 그래서 비교가 된 순간마다 코너 점들의 구성 형태를 업데이트를 한다.

코너 구성 형태 특징 4개가 모두 결정 되었을 경우 :

코너 구성 형태 특징이 위치한 곳에 장애물이 하나도 없이 매칭이 된 경우이다.

코너 구성 형태 특징 3개가 매칭 되었을 경우 :

코너 구성 형태 특징 매칭이 하나 실패한 경우이다. 현재 코너 구성 형태 특징 구조체 중 매칭된 3개의 코너 구성 형태 특징과 현재 비디오 프레임에서의 매칭된 3개의 코너 구성 형태 특징간의 어파인 변환(Affine Transform)을 이용하여 두 코너 구성 형태 특징 구조체간의 변환 식을 구해서 나머지 코너 구성 형태 특징의 위치를 예측(100)한다.

코너 구성 형태 특징 2개가 매칭 되었을 경우 :

현재의 코너 구성 형태 특징 구조체의 코너 구성 형태 특징간의 위치 정보를 그대로 사용하며, 전체적인 위치는 매칭된 2개의 코너 구성 형태 특징을 이용하여 업데이트를 한다.

코너 구성 형태 특징 1개가 매칭 되었을 경우 :

매칭되지 않은 나머지 3개의 코너 구성 형태 특징은 현재의 코너 구성 형태특징을 그대로 유지한다.

코너 구성 형태 특징이 하나도 매칭되지 않았을 경우 :

코너 구성 형태 특징 매칭과 병행하여 매 프레임마다 카메라의 움직임 정보를 추적(90)한다. 코너 구성 형태 특징의 구조체는 현재의 코너 구성 형태 특징 구조체를 그대로 사용하며, 그 전체적인 위치만 카메라의 움직임 정보를 이용하여 보정(110)한다.

위와 같이 코너 구성 형태 특징이 매칭을 실패하는 경우는 코너 구성 형태 특징 위치에 사람이나 공과 같은 장애물이 있거나 합성할 영역이 카메라에 모두 들어오지 않았을 경우이다.

코너 구성 형태 특징 구조체의 매칭을 한 후 코너 구성 형태 특징의 구조체가 업데이트(120)되면 그래픽 영상을 합성(150)하는 단계로 넘어간다.

우선 그래픽 영상의 데이터베이스(130)에서 합성할 그래픽 영상(600, 610)을 선택한다. 선택된 그래픽 영상(600, 610)을 비디오 영상에 합성하기 위해서 현재 프레임에 대한 코너 구성 형태 특징 구조체를 이용하여 그래픽 영상을 변환시켜야 한다. 코너 구성 형태 특징 구조체의 코너 구성 형태 특징의 위치에 맞게 그래픽 영상을 카메라 각도에 따른 원근 변환(Perspective Transform)을 하여 비디오 영사에 바로 합성을 할 수 있게 만든다.

그런데 그래픽 영상을 합성을 할 때 선수나 공과 같은 장애물이 합성할 영역에 위치해 있을 때에는 그 장애물들을 피해서 합성을 해야 한다. 보통 경기장의 바닥 색깔은 한 가지 또는 비슷한 색깔의 두 가지 정도이다. 합성할 영역에서 바닥 색깔에 해당하는 색깔을 크로마키로 놓고 크로마키에 해당하는 부분에만 그래픽 영상을 합성하면 합성할 영역 위의 장애물을 피해서 합성을 할 수 있다. 제10a도와 제10b도에서 경기의 진행에 방해가 되지 않게 그래픽 영상이 합성된 영상을 볼 수 있다.

위와 같은 방법은 그래픽 영상을 경기장의 그래픽 영상을 넣기 어려운 빈 공간에 자연스럽게 합성하여 시청자들로 하여금 그 그래픽 영상이 실제로 경기장에 놓여있는듯이 느끼게 할 수 있어서, 효과적인 합성 효과를 얻을 수 있다.

본 발명은 코너 구성 형태 특징 구조체를 이용하여 그래픽 영상을 합성 할위치를 찾는다. 종래의 카메라 움직임 정보의 사용을 최소화하여 보다 정확한 합성이 가능하다.

스포츠 비디오내의 그래픽 영상을 직접 합성하기 어려운 부분, 예를 들어 축구경기장이나 야구경기장 및 규격화된 경기장에서의 경기장의 3차원 변형 정보를 이용하여 3차원 그래픽 영상을 합성하여 그래픽 합성의 효과를 극대화 할 수 있다.

Claims (5)

1. 규격화된 경기장의 모델 정보를 이용하여 라인 성분들의 교차 정보를 찾아낼 수 있는 코너 점을 계산하는 방법과,

   이 코너 점 정보를 이용하여 스포츠 비디오에 그래픽 객체를 합성하는 방법
2. 코너 점 정보를 이용하여 경기장의 라인 정보들이 어파인 변형과 원근 변형을 계산 할 수 있는 방법과,

   이 변형 정보를 이용하여 스포츠 비디오에 합성할 그래픽 영상의 변형 방법
3. 코너 점들을 비디오 프레임에서 연속적으로 검출하는 방법과,

   이전 프레임에서의 정보를 이용하여 다음 프레임에서의 코너 점들의 위치를 예측하는 방법
4. 코너 점 4개를 이용하여 그래픽 영상 합성 영역의 3차원 좌표계를 생성하는 방법과,

   생성된 3차원 좌표계와 합성될 3차원 그래픽 객체 간의 좌표계 매핑 방법
5. 합성될 영역의 3차원 좌표계에서 정의되지 않은 축의 좌표축 생성 방법과, 각 좌표축의 단위 벡터 생성 방법