KR20000054328A - 방송 중계 영상 화면의 광고교체방법 - Google Patents

Abstract

본 발명은 광고교체시스템이 현재 입력된 프레임내의 영상화면상에서 경기장의 필드영역을 검출하는 필드영역 검출단계와, 이 필드영역 검출단계에 의해 필드영역이 검출되면 컬러 히스토그램 교차법을 이용하여 광고게시판의 후보영역을 검출하는 광고게시판 후보영역 검출실행단계와, 이 광고게시판 후보영역 검출실행단계후에 상기 광고게시판의 후보영역을 포함하는 영상프레임화면이 일정 탐색창 범위내에 존재할 경우에는 현재 검출된 광고게시판의 후보영역을 NGI기법으로 그 차영상을 교정해주는 광고게시판 영역확인 및 위치교정단계와, 이 광고게시판 영역확인 및 위치 교정단계후에 프레임 영상화면상에서 그 위치정보가 확인된 가상 광고게시판상에 미리 설정된 새로운 광고로 교체하여 영상합성하는 광고교체단계로 이루어진 방송 중계 영상 화면의 광고교체방법을 제공한다.

상기와 같은 본 발명은 중계방송되는 영상화면을 프레임단위로 읽어들여 필드영역을 검출하고 이 검출된 필드영역 정보를 근거로 칼라 히스토그램방식에의해 광고게시판 영역을 확보한다음 그 위치에 인위적으로 미리 설정된 광고로 교체하므로써, 광고교체시스템의 신뢰성을 상당히 향상시킬 수 있다.

Description

방송 중계 영상 화면의 광고교체방법{method for changing an advertisement in the broadcast relay picture}

본 발명은 방송 중계 영상 화면의 광고교체방법에 관한 것으로, 특히 중계방송되는 영상화면을 프레임단위로 읽어들여 필드영역을 검출하고 이 검출된 필드영역 정보를 근거로 칼라 히스토그램방식에의해 광고게시판 영역을 확보한다음 그 위치에 인위적으로 미리 설정된 광고로 교체하는 방송 중계 영상 화면의 광고교체방법에 관한것이다.

일반적으로 공중파로 전송되는 방송매체 예컨데, 텔레비전과 같은 방송수신매체는 리얼타임(real time)정보를 방송신호로서 시청자들에게 전달해줌으로써 시청자들의 다양한 정보충족욕구를 해소시켜주고 있는데, 특히, 이러한 방송매체는 현지에서 벌어지는 스포츠 경기와 같은 동영상을 리얼타임으로 시청자들에게 제공해주므로써 시청자들에게 생동감이 있는 스포츠정보를 제공해준다.

그런데, 상기와 같은 스포츠경기는 사람들의 관심이 많이 집중되므로 그러한 점을 상품의 광고로 활용하기 위해 경기장의 게시판이나 경기장 주변의 보호벽에 상품광고판을 설치한다. 최근에는 경기장 주변에 직접표시되어 있는 광고를 스포츠방송 중계시 그 부분을 조작하여 임의의 광고로 대체하는 시스템이 널리 사용되고 있다.

여기서, 광고 교체 시스템이란 스포츠 경기 중계 방송에서 볼 수 있는 경기장 내의 광고 게시판을 새로운 그래픽 영상으로 바꾸어주는 시스템을 말하는데, 이러한 시스템을 방송국에 설치하면 경기장 안에서 실제로 존재하는 광고게시판을 운영자가 원하는 광고게시판으로 바꿀 수 있다. 즉, 방송국으로 전송된 동영상을 처리하여 광고주가 원하는 광고게시판으로 교체한 영상을 시청자들에게 송출하는 것이다. 이러한 발명중 하나가 미국 특허 제 5,436,672호에 개시되어 있다.

그러면, 상기와 같은 종래 방송매체의 광고교체시스템(70)을 도 1을 참고로 살펴보면, 경기장(71)에서 리얼타임으로 벌어지는 동화상을 찍어 디지털신호로 전송한 카메라(72)의 영상신호를 입력받아 가우시안 필터(도시안됨)를 사용하여 블러(BLUR)시킨다음 그 영상신호를 작은 영상으로 나뉘 광고삽입영역을 추적하는 필터/데시메이션 모듈부(73)와, 이 필터/데시메이션 모듈부(73)의 입력된 영상화면에서 랜드마크(landmark)라고 하는 광고를 삽입할 주변에 특징이 될 만한 점이나 선들을 찾아서 참조배열(reference array)를 만드는 서치 모듈부(74)와, 이 서치 모듈부(74)로부터 입력된 영상의 랜드마크의 참조배열과 참조영상(reference image)에 대한 참조배열를 서로 비교하여 광고를 삽입할 부분을 찾는 랜트마크 트랙킹부(75)와, 이 랜드마크 트랙킹부(75)의 광고를 삽입할 부분에 예컨데, 사람이나 공과 같은 장애물의 위치를 파악하는 겹침판단부(76)와, 이 겹침판단부(76)의 판단정보를 참고로 하여 광고삽입위치에 광고 영상을 삽입하는 인서션부(77)를 포함한다.

한편, 상기와 같은 종래 방송매체의 광고교체시스템의 동작을 살펴보면, 먼저, 경기장(71)에 설치된 카메라(72)가 실시간의 동화상화면 예컨데, 축구 중계화면을 찍어 디지털신호로 변환한 다음 광고교체시스템(70)의 필터/데시메이션부(73)로 입력시키게 되면, 이 필터/데시메이션부(73)는 입력된 디지털 영상을 가우시안 필터를 이용하여 블러(blur)시킨다. 그런다음 이 필터/데시메이션부(73)는 그 블러시킨 영상신호를 해상도가 예컨데, 1/2씩 작은 영상으로 4개 만든다. 이것은 해상도가 작은 영상에서 광고를 삽입할 영역을 찾는데 시간이 아주 적게 들도록 하기 위해서이다. 따라서, 이 필터/데시메이션부(73)는 해상도가 작은 영상에서 광고를 삽입할 영역을 찾은 후, 해상도가 가장 큰 원래 영상에서 삽입 할 영역을 더 자세히 찾은 다음 서치모듈부(74)가 입력된 영상에서 랜드마크(landmark)라고 하는 광고를 삽입할 주변에 특징이 될 만한 점이나 선들을 찾아서 참조배열(reference array)를 만든다. 예컨데, 참조 배열 또한 해상도에 따라서 4개가 생기게 된다. 그리고, 상기 서치모듈부(74)에 의해 신호처리된 영상신호는 입력된 영상의 랜드마크에 대해서 참조배열이 만들어지면, 랜드마크 트랙킹 모듈부(75)가 참조영상(reference image)에 대한 참조배열과 비교를 하여 광고를 삽입할 부분을 찾게 된다. 이때, 겹침판단부(76,Occlusion module part)는 광고를 삽입할 부분에 사람이나 공과 같은 장애물이 있으면 광고삽입부분을 가리게 되므로 현재의 영상화면에 장애물의 위치를 파악하여 인서션 모듈부(77)로 입력시킨다. 그러면, 이 인서션 모듈부(77)는 광고를 삽입할 부분을 찾은 다음 상기 겹침판단부(76)로부터 입력된 그 삽입할 부분에 대한 장애물 정보를 참고하고로 하여 겹치는 장애물이 없을 경우 기설정된 광고 영상을 삽입한다.

따라서, 상기와 같은 과정을 거처 카메라(72)를 통해 전송되온 동화상의 디지털 영상화면에 광고를 삽입한 후 NTSC형식의 영상신호로 다시 변환하여 방송국에 전송한다. 그러면, 방송국은 이 새로운 교체된 광고신호가 삽입된 동화상 정보 예컨데, 축구경기화면을 각 수용가의 텔레비젼시스템으로 전송한다.

그러나, 상기와 같은 종래 방송매체의 광고교체시스템은 카메라(2)를 통해 실시간으로 전송되는 영상화면이 역동적으로 전개되기 때문에 이 영상화면상에서 원하는 위치에 원하는 광고신호를 용이하게 삽입시킬 수 없었다. 뿐만아니라, 상기와 같은 종래 광고교체시스템은 각 시스템의 모듈마다 하드웨어 보드를 가지고 있으므로 그에따라 시스템의 매우 복잡하였으며, 또한, 광고삽입을 위한 신호처리 동작이 여러단계를 거처 실행시켜야 하므로 그만큼 실화면처리가 용이하지 못하다는 문제점이 있었다.

이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로,

중계방송되는 영상화면을 프레임단위로 읽어들여 필드영역을 검출하고 이 검출된 필드영역 정보를 근거로 칼라 히스토그램방식에의해 광고게시판 영역을 확보한다음 그 위치에 인위적으로 미리 설정된 광고로 교체하도록 됨으로써, 역동적으로 전개되는 영상화면상에서 광고게시판의 위치를 신속히 검출해내어 광고를 정확히 교체하게되므로 그에따라 광고교체시스템의 신뢰성을 상당히 향상시킬 수 있는 방송 중계 영상 화면의 광고교체방법을 제공함에 그 목적이 있다.

본 발명의 또 다른 목적은 영상화면상에 표시되는 광고게시판의 위치를 여러과정을 거쳐 정확히 판단하게 되므로 그에따라 광고교체시스템의 오동작 방지 특성도 상당히 향상시키는 방송 중계 영상 화면의 광고교체방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 광고교체시스템이 현재 입력된 프레임내의 영상화면상에서 경기장의 필드영역을 검출하는 필드영역 검출단계와, 이 필드영역 검출단계에 의해 필드영역이 검출되면 컬러 히스토그램 교차법을 이용하여 광고게시판의 후보영역을 검출하는 광고게시판 후보영역 검출실행단계와, 이 광고게시판 후보영역 검출실행단계후에 상기 광고게시판의 후보영역을 포함하는 영상프레임화면이 일정 탐색창 범위내에 존재할 경우에는 현재 검출된 광고게시판의 후보영역을 NGI기법으로 그 차영상을 교정해주는 광고게시판 영역확인 및 위치교정단계와, 이 광고게시판 영역확인 및 위치 교정단계후에 프레임 영상화면상에서 그 위치정보가 확인된 가상 광고게시판상에 미리 설정된 새로운 광고로 교체하여 영상합성하는 광고교체단계로 이루어진 방송 중계 영상 화면의 광고교체방법을 제공한다.

도 1은 종래 광고게시판 교체시스템을 설명하는 블럭도.

도 2는 본 발명이 적용되는 광고게시판 교체시스템의 블럭도.

도 3은 본 발명의 플로우차트.

도 4는 스포츠 중계 방송에서의 광고게시판 교체 시스템 개념도 .

도 5a-c는 다해상도 영상으로 필드영역을 검출하는 방법을 설명하는 설명도.

도 6은 광고게시판 후보영역의 검출을 설명하는 설명도.

도 7은 위치교정을 위한 차영상의 종래 계산 방법과 본원 방법을 비교설명한 설명도.

도 8는 탐색창 범위를 설명하는 설명도.

도 9는 블록매칭으로 가상 광고게시판을 검출하는 개념도.

<부호의 상세한 설명>

1 : 경기장 2 : 카메라

3 : 메모리부 4 : 마이컴

5 : 광고게시판 위치추적부 6 : 광고교체부

7 : 키보드 8 : 광고영상 데이터베이스

9 : 디스플레이 10: 광고게시판

11: 필드영역 12: 후보영역

13: 템플릿 14: 검출제한영역 탐색창

15: 탐색윈도우 16: 방송국

이하, 본 발명의 일실예를 첨부된 예시도면에 의거 상세히 설명한다.

본 발명의 방법이 적용되는 광고교체시스템은 도 2에 도시된 바와같이 경기장(1)에서 리얼타임으로 벌어지는 동화상을 찍어 디지털신호로 전송한 카메라(2)의 영상신호를 입력받아 저장하는 메모리부(3)와, 이 메모리부(3)에 저장된 영상신호상에 광고교체기능을 실행시키고 광고교체시스템의 기능을 전반적으로 제어하는 마이컴(4)과, 이 마이컴(4)의 광고교체 제어신호에 따라 영상신호상에 탐색창기능을 이용하여 필드영역을 검출하고 이를 근거로 가상 광고영역("A")의 위치를 추적하는 광고게시판 위치추적부(5)와, 이 광고게시판 위치추적부(5)에 의해 추적된 가상 광고영역("A")에 광고를 교체삽입하는 광고교체부(6)를 포함한다.

그리고, 상기 마이컴(4)의 일단에는 사용자의 제어명령을 입력시켜주는 키보드(7)가 연결되어 있고, 상기 마이컴(4)과 광고게시판 위치추적부(6)의 일단에는 각종 광고영상신호가 저장된 광고영상 데이터베이스(8)가 연결되어 있으며, 상기 광고게시판 위치추적부(5)와 광고교체부(6)에는 영상신호를 표시하는 디스플레이(9)가 연결된다.

다음에는 상기와 같은 시스템에 적용되는 본 발명의 방법을 설명한다.

본 발명 실시예는 실시간의 동화상 예컨데, 스포츠 생방송의 영상신호화면상에 표시된 광고게시판의 광고를 다른 광고로 교체하여, 텔레비전 시청자들이 그 교체된 광고가 스포츠 경기장에서 실제로 존재하는 것처럼 느끼게 하므로써 거부감 없이 광고를 보면서 스포츠 경기를 시청하게 한다. 예를 들어, 미국이나 유럽에서 하는 스포츠를 한국에서 중계할 경우 외국의 광고게시판의 광고를 한국의 광고로 교체하거나, 반면에 한국에서 실시하는 스포츠 경기를 다른 나라로 중계 방송 할 때는 그 지역의 광고로 교체해주는 방법이다.

즉, 본 발명 실시예는 도 3에 도시된 바와같이 초기상태(S1)에서 방송화면처리단계(S2)로 진행하여 방송 중계화면을 입력받아 프레임단위로 메모리부에 저장한다. 그리고, 상기 방송화면처리단계(S2)후에 필드영역 검출단계(S3)로 진행하여 현재 입력된 프레임내의 영상화면상에서 HSV컬러모델의 색상과 채도의 상태를 이용하는 MHT(Modified hough transform)방식으로 경기장의 필드영역을 검출한다.

또한, 상기 필드영역 검출단계(S3)후에 광고게시판 후보영역 검출실행단계(S4)로 진행하여 컬러 히스토그램 교차법을 이용하여 광고게시판의 후보영역을 검출한다. 그리고, 이 광고게시판 후보영역 검출실행단계(S4)후에 장면전환판단단계(S5)로 진행하여 현 프레임의 장면이 변화하였는지를 판단한다. 이때, 상기 장면전환 판단단계(S5)중에 판단한결과 만약 현 프레임의 화면이 처음 화면일 경우 즉, 현 프레임의 화면에 변화가 있을 경우는 전단계(S4)로 복귀하여 루프를 반복수행한다.

그러나, 상기 상기 장면전환 판단단계(S5)중에 판단한결과 만약 현 입력된 프레임의 화면이 이전 프레임 화면에 대해 변화가 없을 경우 탐색창범위 판단단계(S6)로 진행하여 현재 검출된 광고게시판의 후보영역을 포함하는 영상프레임화면이 일정영역의 탐색창 범위내에 존재하는 지를 판단한다. 이때, 상기 탐색창범위 판단단계(S6)중에 판단한 결과 상기 광고게시판의 후보영역을 포함하는 영상프레임화면이 상기 탐색창 범위내에 존재할 경우에는 광고게시판 영역확인 및 위치 교정단계(S7)로 진행하여 현재 검출된 광고게시판의 후보영역을 NGI기법 즉, 광고게시판 템플릿 픽셀값의 명도에 대한 기울기를 추출하고 기저장되어 있는 실제영상의 광고게시판 템플릿 픽셀값의 명도에 대한 기울기를 비교하여 그 차영상을 보정해주게 된다.

또한, 상기 광고게시판 영역확인 및 위치 교정단계(S7)후에 광고교체단계(S8)로 진행하여 프레임 영상화면상에서 그 위치정보가 확인된 가상 광고게시판상에 미리 설정된 새로운 광고로 교체하여 삽입한다. 그리고, 상기 광고교체단계(S8)후에 영상출력전송단계(S9)로 진행하여 가상 광고게시판으로 교체된 새로운 합성 영상화면을 인코딩한다음 해당 방송국으로 전송하게 된다.

한편, 상기 탐색창범위 판단단계(S6)중에 판단한 결과 상기 광고게시판의 후보영역을 포함하는 영상프레임화면이 상기 탐색창 범위내에 존재하지 않을 경우는 예컨데, 카메라의 촬상동작이 변화하고 있는 것이므로 움직임보정 실행단계(S10)로 진행하여 블록매칭법을 이용하여 가상광고게시판의 후보영역을 설정한다음 상기 광고교체단계(S8)로 진행하여 루프를 반복수행한다.

환언하면, 관리자가 도 2에 도시된 바와같이 키보드(7)를 이용하여 마이컴(4)에 광고교체제어명령을 주게 되면, 마이컴(4)은 이를 인식하여 도 4에 도시된 바와같이 카메라(2)가 경기장(1)에서 리얼타임으로 벌어지는 동화상을 찍어 전송한 디지털의 영상신호를 프레임단위로 입력받아 메모리부(3)에 저장시킨다. 그리고, 마이컴(4)은 광고게시판 위치추적부(5)로 필드영역 검출제어신호를 입력한다. 그러면, 이 광고게시판 위치추적부(5)는 도 5a-c에 도시된 바와같이 매 프레임단위로 입력되는 카메라(2)의 영상화면상에서 광고게시판(10)의 위치검출을 위한 필드영역검출을 실행한다. 이때, 상기 영상화면은 마이컴(4)의 기능제어신호에 따라 디스플레이(9)상에 표시된다.

여기서, 이러한 필드영역 검출과정을 거치는 이유는 스포츠경기일 경우 광고게시판(10)이 입력된 프레임화면에는 필드영역(11), 즉 잔디로 덮여있는 부분이 거의 대부분 존재할 것이기 때문에 이러한 필드영역검출과정을 통해 광고게시판(10)의 존재 여부를 어느정도 검색할 수 있다.

따라서, 본 발명의 광고게시판 위치추적부(5)는 이 필드영역검출을 위해 HSV 컬러 모델을 이용하는 MHT(Modified Hough Transform)법을 통해 실행한다.

여기서, 상기 광고게시판 위치추적부(5)는 상기 HSV 컬러모델에서 색상과 채도 부분만을 이용하여 영상에서 잔디부분만을 추출하게 되는데, 이러한 과정을 통해 잔디 위에 놓여진 노이즈들을 제거하는 작업이 이루어진다. 이때, 노이즈란 사람이나 공과 같은 잔디 위에 놓여진 객체들을 일컫는 것이고, 마이컴(4)에 의해서 상기 필드영역(11) 즉, 잔디부분으로 인식되는 위치의 색상과 채도에 따른 픽셀값은 미리 정의되게 된다.

다시말해서, 상기 광고게시판 위치추적부(5)가 먼저,현 프레임화면의 필드영역(11)상에서 직선의 검출에 대해 허프 변환시키려면 두 개의 파라미터가 필요한데, 이 중 각도를 고정시켜 수평 방향에 대해서만 처리를 해준다. 따라서, 이 광고게시판 위치추적부(5)는 프레임화면상의 픽셀값을 수평방향으로 기 설정되어 있는 필드영역(11)의 색상과 채도에 따른 픽셀값과 비교하여 필드영역(11)을 검출하게 된다. 이러한 과정을 거치면 잔디가 많이 있는 필드영역(11)의 수평방향을 따라 검출되므로 전체적으로 볼 때, 라인형태로 검출되게 되고 그에따라 결국 잔디가 많이 검출되는 라인이 모두 추출되므로 그 라인의 개수가 임계치 이상이면 필드 영역으로 간주하게 되는 것이다.

이때, 상기 광고게시판 위치추적부(5)는 입력된 모든 프레임화면에 대해서 상기 과정을 수행하게 되는데, 신속한 처리를 위해 도 5b-5c에 도시된 바와같이 원래의 프레임영상(도 5a 참조)화면을 여러단계의 저해상도 영상화면으로 사용하여 처리하여 필드영역(11)을 검출하고 그 결과를 마이컴(4)으로 입력한다. 그러면, 이 마이컴(4)은 상기 정보를 메모리부(3)에 저장시키고 광고게시판 위치추적부(5)를 통해 광고게시판의 후보영역(12)을 검출시킨다.

즉, 상기 광고게시판 위치추적부(5)는 필드영역이 검출되면 컬러 히스토그램 교차를 이용한 광고게시판의 후보영역(12)을 검출하는데, 도 6에 도시된 바와같이 검출하고자 하는 광고게시판(10)에 대해 광고영상 데이터베이스(8)내에서 미리 설정된 템플릿(13)의 컬러 히스토그램의 값과 실제 입력된 프레임의 일정 부분의 컬러 히스토그램의 값을 비교하여 그 유사도에 따라 광고게시판(10)의 후보영역(12)을 추출한다.

이러한 방법은 그 검출 속도가 상당히 빠르면서 객체의 겹침에 대해 크게 영향을 받지 않는다.

즉, 광고게시판의 일부를 경기장 내의 선수가 가리고 있을 경우 그것이 광고게시판(10)내에서 작은 부분이라면 그것을 무시해 버리는 것이다.

한편, 상기와 같은 과정을 거쳐 현재 검출된 광고게시판의 후보영역(12)이 결정되면 마이컴(4)은 광고게시판 위치추적부(5)를 통해 현재 결정된 광고게시판 후보영역의 확증 및 위치교정기능을 실행시킨다. 이때 상기 광고게시판 위치추적부(5)는NGI(Normalized Gradient Intersection)기법을 이용하여 광고게시판의 존재여부를 확증하는데,

이 NGI기법을 이용한 위치교정기능은 상기 컬러 히스토그램을 이용하는 방법이 프레임 영상내에서 광고게시판(10)이 실제로 존재하는 위치, 크기등을 거의 유사하게 찾아내기는 하지만 실제 객체의 겹침 등의 요인 예를 들어, 광고게시판 앞에 사람이 서있는 경우와 같이 장애물이 있을 경우에는 서브 픽셀단위까지는 정확하게 검출해내지 못해 발생되는 에러를 보정해주게 된다.

즉, 광고게시판 위치와 크기를 정교하게 검출하고자 이 방법이 사용하는데, 이 NGI의 원리는 넓게 볼 때, 차영상을 구하는 방식이지만 그 구체적인 기술 구현에 있어서는 그러한 방법과 다소 차이가 있다.

예를들어, 통상의 차영상 비교법은 대개 SSD(Sum of Squared Difference)을 이용하여 두 영상에 대한 차이값을 구하는 것인데, 이를 도 7에 도시된 그래프("G1")를 참조해 보면 객체가 겹쳐진 부분에 대해서는 원영상("O")과 차이가 크게 나타남을 알 수 있다.

그러나 이에 비해 NGI방식을 이용하게 되면 도 7에 도시된 그래프("G2")에 도시된 바와같이 객체의 겹침 문제에 대해 훨씬 영향을 덜 받는다. 이것은 이 NGI방식이 교집합의 특성을 이용을 이용하는 방법으로써, 광고영상 데이터베이스(8)에 기 저장된 기준이 되는 광고게시판 템플릿(13)의 픽셀값들의 명도에 대한 기울기를 추출하고, 실제 영상에서 광고게시판 후보영역이라고 생각되는 영역의 픽셀값들의 명도에 대한 기울기를 추출한다음 이둘의 값의 차영상을 구하는 방식이다.

도 7의 그래프( "G2")는 객체의 겹침이 발생했을시에 NGI을 이용한 차영상의 에러값을 나타낸 그래프이다.

따라서, 상기 광고게시판 위치추적부(5)는 상기 과정을 반복처리한 다음 연속으로 입력되는 프레임의 장면이 전환되었을 경우,

상기 컬러 히스토그램을 이용하여 광고게시판 후보영역을 재차 검출실행시켜 위치를 교정한다음 다음 프레임부터는 상기와 과정을 반복하여 계속 위치교정을 실행한다. 이것은 현재 프레임과 다음 프레임 사이에서 광고게시판의 위치 변화가 아주 작다는 점에 기인한 것이다.

그러나 만약 카메라(2)의 촬상움직임으로 광고게시판(10)의 화면이 중앙에서 외곽으로, 다시 점점 화면에서 사라지는 경우에는 광고게시판의 검출 작업을 계속할 수 없게 된다. 이럴 경우에 도 8에 도시된 바와같이 광고게시판 검출제한영역탐색창(14)을 설정하고 다음 프레임화면이 이 탐색창(14)의 범위 밖으로 나가는 경우에는 도 9에 도시된 바와같이 탐색윈도우(15)를 프레임화면상에 위치시켜 블록매칭을 이용한 움직임 추적 방법을 사용하여 가상 광고게시판(10)의 위치를 확인한다.

한편, 상기 광고게시판 위치추적부(5)에 의해 가상 광고게시판(10)의 정확한 위치가 확인되면 마이컴(4)은 광고교체부(6)로 광고교체제어신호를 입력한다. 그러면, 이 광고교체부(6)는 사용자가 키보드(7)를 통해 광고영상 데이터베이스(8)에서 미리 설정해준 새로운 광고 영상을 프레임화면상에서 그 위치가 확인된 가상 광고게시판(10)상에서 영상합성하여 광고를 교체하게 된다. 그런다음 이 광고교체부(6)는 이 광고가 교체된 영상프레임신호를 데이터신호처리하여 방송국(16)으로 전송하게 된다.

따라서, 상기와 같은 본 발명의 방법에 의하면, 방송중계시 실제 경기장(1)의 광고게시판(10)상의 광고를 다른 광고로 자연스럽게 교체하여 시청자들로 하여금 그 광고가 실제로 경기장에 놓여있는 듯이 느끼게 할 수 있다.

이상 설명에서와 같이 본 발명은 중계방송되는 영상화면을 프레임단위로 읽어들여 필드영역을 검출하고 이 검출된 필드영역 정보를 근거로 칼라 히스토그램방식에의해 광고게시판 영역을 확보한다음 그 위치에 인위적으로 미리 설정된 광고로 교체하도록 됨으로써, 역동적으로 전개되는 영상화면상에서 광고게시판의 위치를 신속히 검출해내어 광고를 정확히 교체하게되므로 그에따라 광고교체시스템의 신뢰성을 상당히 향상시킬 수 있음은 물론 영상화면상에 표시되는 광고게시판의 위치를 여러과정을 거쳐 정확히 판단하게 되므로 그에따라 광고교체시스템의 오동작 방지특성도 상당히 향상시키는 효과가 있다.

Claims (5)

1. 광고교체시스템이 현재 입력된 프레임내의 영상화면상에서 경기장의 필드영역을 검출하는 필드영역 검출단계와, 이 필드영역 검출단계에 의해 필드영역이 검출되면 컬러 히스토그램 교차법을 이용하여 광고게시판의 후보영역을 검출하는 광고게시판 후보영역 검출실행단계와, 이 광고게시판 후보영역 검출실행단계후에 상기 광고게시판의 후보영역을 포함하는 영상프레임화면이 일정 탐색창 범위내에 존재할 경우에는 현재 검출된 광고게시판의 후보영역을 NGI기법으로 그 차영상을 교정해주는 광고게시판 영역확인 및 위치교정단계와, 이 광고게시판 영역확인 및 위치 교정단계후에 프레임 영상화면상에서 그 위치정보가 확인된 가상 광고게시판상에 미리 설정된 새로운 광고로 교체하여 영상합성하는 광고교체단계로 이루어지는 것을 특징으로 하는 방송 중계 영상 화면의 광고교체방법.
2. 제1항에 있어서, 상기 필드영역검출단계가 HSV컬러모델의 색상과 채도의 상태를 이용하는 MHT방식으로 필드영역을 검출하는 것을 특징으로 하는 방송 중계 영상 화면의 광고교체방법.
3. 제1항에 있어서, 상기 광고게시판 영역확인 및 위치교정단계중의 NGI기법은 광고게시판 템플릿 픽셀값의 명도에 대한 기울기를 추출하고 기저장되어 있는 실제영상의 광고게시판 템플릿 픽셀값의 명도에 대한 기울기를 비교하여 그 차영상을 교정하는 것임을 특징으로 하는 방송 중계 영상 화면의 광고교체방법.
4. 제1항에 있어서, 이 광고게시판 후보영역 검출실행단계후에 현 입력된 프레임의 화면이 이전 프레임 화면에 대해 변화가 없을 경우 현재 검출된 광고게시판의 후보영역을 포함하는 영상프레임화면이 일정영역의 탐색창 범위내에 존재하는 지를 판단하는 탐색창범위 판단단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면의 광고교체방법.
5. 제1항 또는 제4항중 어느 한항에 있어서, 상기 탐색창범위 판단단계중에 판단한 결과 상기 광고게시판의 후보영역을 포함하는 영상프레임화면이 상기 탐색창 범위내에 존재하지 않을 경우는 카메라의 촬상동작이 변화하고 있는 것으로 판단하고 블록매칭법을 이용하여 가상광고게시판의 후보영역을 설정한다음 상기 광고교체단계로 진행하여 루프를 반복수행하는 움직임보정 실행단계를 더 포함하는 것을 특징으로 하는 방송 중계 영상 화면의 광고교체방법.