KR100899051B1 - 방송 프로그램의 실제 시작 시간 제공 시스템, 방송프로그램의 실제 시작 시간 검출 방법 및 장치, 방송프로그램 녹화 방법 및 장치, 녹화 프로그램 재생 방법 - Google Patents

Abstract

본 발명은 복수의 이미지 또는 프로그램/비디오 파일 또는 비디오 세그먼트 중에서의 잠재적인 선택을 위해 효율적으로 네비게이팅하기 위한 포스터 섬네일 및/또는 애니메이션 섬네일을 개발 및/또는 이용하기 위한 기법에 관한 것이다. 포스터 및 애니메이션 섬네일은 사용자가 시청할 이미지, 프로그램 또는 비디오 세그먼트를 네비게이팅, 브라우징 및/또는 선택하는 효율적인 시스템을 제공하는 장치 상의 GUI에 제공된다. 포스터 및 애니메이션 섬네일은 사람의 편집 과정 없이 자동으로 생성될 수 있으며, 또한, 하나 이상의 여러 관련 데이터(텍스트 오버레이, 이미지 오버레이, 크로핑, 텍스트 또는 이미지 삭제 또는 대체, 및/또는 관련 오디오 등)를 포함할 수 있다.

Description

방송 프로그램의 실제 시작 시간 제공 시스템, 방송 프로그램의 실제 시작 시간 검출 방법 및 장치, 방송 프로그램 녹화 방법 및 장치, 녹화 프로그램 재생 방법{TECHNIQUES FOR NAVIGATING MULTIPLE VIDEO STREAMS}

도 1a는 본 발명에 따른, MPEG-2 전송 스트림 형태의 미디어 콘텐츠와 그를 기술하는 메타데이터 및/또는 시청각 메타데이터를 DVR 사용자에게 전송하는 상황에서 EPG 정보와 메타데이터 서비스를 전송하는 디지털 방송 시스템을 도시하는 블록도,

도 1b는 본 발명에 따른, DVR에서 포스터 섬네일 및/또는 애니메이션 섬네일을 생성하는 시스템을 도시하는 블록도,

도 1c는 본 발명에 따른, 포스터/애니메이션 섬네일 생성기의 모듈을 도시하는 블록도,

도 2a는 종래 기술에 따른, DVR의 하드 디스크에 녹화된 프로그램의 리스트를 제공하는 종래의 GUI 스크린의 예를 나타내는 스크린 이미지를 도시하는 도면,

도 2b는 종래 기술에 따른, PC의 윈도우 운영 체계의 섬네일 이미지를 가진 파일 리스트를 제공하는 종래의 GUI 스크린의 예를 나타내는 스크린 이미지를 도시하는 도면,

도 3a, 3b, 3c 및 3d는 본 발명에 따른 프로그램 또는 비디오 스트림으로부 터 캡처된 임의의 주어진 프레임으로부터 생성된 폭이 좁은 포스터 섬네일의 예를 나타내는 도면,

도 4a 및 도 4b는 본 발명에 따른, 프로그램 또는 비디오 스트림으로부터 캡처된 임의의 주어진 프레임으로부터 생성된 폭이 넓은 포스터 섬네일의 예를 나타내는 도면,

도 4c는 본 발명의 실시예에 따른, 프로그램 또는 비디오 스트림으로부터 캡처된 2둘 이상의 프레임으로부터 생성된 포스터 섬네일의 예를 나타내는 도면,

도 4d는 본 발명의 실시예에 따른, 섬네일 이미지의 위 또는 부근에 위치한 텍스트 또는 그래픽 또는 아이콘 정보 등의 관련 데이터를 가진 예시적인 포스터 섬네일을 나타내는 도면,

도 5a, 5b, 5c, 5d, 5e 및 5f는 본 발명에 따른, 도 3a, 3b, 3c, 3d, 4a 및 4b의 결과인 포스터 섬네일의 예를 각각 나타내는 도면,

도 6a, 6b, 6c 및 6d는 본 발명에 따른, DVR의 프로그램을 브라우징하는 4개의 예시적인 GUI 스크린을 나타내는 도면,

도 7a 및 도 7b는 본 발명의 실시예에 따른, 임의의 주어진 비디오 스트림 또는 방송/녹화 TV 프로그램의 포스터 섬네일을 자동으로 생성하는 전체 방법을 나타내는 예시적인 흐름도,

도 8a 및 도 8b는 본 발명에 따른, 얼굴의 위치, 크기 및 개수에 따라서 지능적으로 크로핑하는 방법을 나타내는 도면

도 9a 및 도 9b는 본 발명의 실시예에 따른, DVR의 녹화 프로그램을 브라우 징하는 예시적인 GUI 스크린을 나타내는 도면,

도 10은 본 발명의 실시예에 따른, 임의의 주어진 비디오 스트림 또는 방송/녹화 TV 프로그램의 애니메이션 섬네일을 자동으로 생성하는 전체 방법을 나타내는 예시적인 흐름도,

도 11a는 본 발명의 실시예에 따른, 현재 및 과거 방송 프로그램의 실제 시작 시간을 포함한 메타데이터를 DVR에 제공하는 시스템을 나타내는 블록도,

도 11b는 본 발명의 실시예에 따른, AV 패턴 검출기를 이용하여 현재 방송 프로그램의 실제 시작 시간을 검출하는 시스템을 나타내는 블록도,

도 12는 본 발명의 실시예에 따른, AV 패턴 검출기에 의해 행해진 검출 프로세스를 나타내는 예시적인 흐름도,

도 13은 본 발명의 실시예에 따른, 프로그램의 스케줄 녹화가 시작 또는 종료된 후에 백 채널로부터 액세스 가능한 EPG 또는 메타데이터를 통해 스케줄 시작 시간이 갱신되면, 프로그램의 실제 시작 시간으로부터 녹화 프로그램을 재생할 수 있는 클라이언트 DVR 시스템을 나타내는 블록도,

도 14는 본 발명의 실시예에 따른, 녹화가 시작 또는 종료된 후에 EPG를 통해 프로그램의 실제 시작 시간 및/또는 방영 시간이 제공될 때 프로그램의 스케줄 녹화 동안에 녹화 시간을 조정하는 프로세스를 나타내는 예시적인 흐름도,

도 15는 본 발명의 실시예에 따른, 녹화가 시작 또는 종료된 후에 EPG를 통해 프로그램의 스케줄 시작 시간 및 방영 시간이 갱신될 때 녹화 프로그램의 재생 프로세스를 나타내는 예시적인 흐름도.

도면의 주요 부분에 대한 부호의 설명

102 : 방송국 104 : 미디어 소스

106 : EPG 서버 110 : 방송 네트워크

116 : 메타데이터 서버 118 : 백 채널(인터넷)

120 : 클라이언트(DVR 또는 PC)

122 : 튜너 124 : RAM

128 : 사용자 제어기 134 : EPG 파서

136 : 포스터/애니메이션 섬네일 생성기

162 : 키 프레임 생성기 164 : 컬러 분석기

170 : 이미지 크로퍼 172 : 이미지 크기 재조정기

174 : 이미지 전처리기 176 : 관련 데이터 분석기

178 : 섬네일 및 관련 데이터 조합기

관련 출원의 참고

우선권을 주장하며 본 출원의 일부 계속 출원인 이하의 모든 관련 출원은 완전히 본 명세서에 참조로 포함된다.

본 출원은 이하의 5개 가특허 출원을 우선권으로 주장하는 2001년 7월 23일 자 출원의 미국 특허 출원 09/911,293의 일부 계속 출원이다.

미국 가출원 제 60/221,394 호(2000년 7월 24일 출원)

미국 가출원 제 60/221,843 호(2000년 7월 28일 출원)

미국 가출원 제 60/222,373 호(2000년 7월 31일 출원)

미국 가출원 제 60/271,908 호(2001년 2월 27일 출원)

미국 가출원 제 60/291,728 호(2001년 5월 17일 출원)

본 출원은 미국 가출원 제 USSN 60/359,564 호(2002년 2월 25일 출원)를 우선권으로 주장하는 미국 특허 출원 제 10/361,794 호(2003년 2월 10일 출원, 2004년 7월 1일 US2004/0126021로 공개)의 일부 계속 출원이며, 또한 상술한 5개의 가출원을 우선권으로 주장하는 상술한 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원)의 일부 계속 출원이다.

본 출원은 미국 가출원 제 60/359,566 호(2002년 2월 25일 출원), 미국 가출원 제 60/434,173 호(2002년 12월 17일 출원) 및 미국 가출원 제 60/359,564 호(2002년 2월 25일 출원)를 우선권으로 주장하는 미국 특허 출원 제 10/365,576 호(2003년 2월 12일 출원, 2004년 7월 1일 US2004/0128317로 공개)의 일부 계속 출원이며, 또한, 미국 가출원 제 USSN 60/359,564 호(2002년 2월 25일 출원)를 우선권으로 주장하는 미국 특허 출원 제 10/361,794 호(2003년 2월 10일 출원, 2004년 7월 1일 US2004/0126031로 공개)의 일부 계속 출원이며, 또한, 상술한 5개의 가출원을 우선권으로 주장하는 상술한 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원)의 일부 계속 출원이다.

본 출원은 미국 특허 출원 제 10/369,333 호(2003년 2월 19일 출원, 2003년 9월 18일 US2003/0177503으로 공개)의 일부 계속 출원이며, 또한, 상술한 5개의 가출원을 우선권으로 주장하는 상술한 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원)의 일부 계속 출원이다.

본 출원은 미국 가출원 제 60/549,624 호(2004년 3월 3일 출원), 미국 가출원 제 60/549,605 호(2004년 3월 3일 출원), 미국 가출원 제 60/550,534 호(2004년 3월 5일 출원) 및 미국 가출원 제 60/610,074 호(2004년 9월 15일 출원)를 우선권으로 주장하는 미국 특허 출원 제 11/071,895 호(2005년 3월 3일 출원)의 일부 계속 출원이며, 상술한 5개의 가출원을 우선권으로 주장하는 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원)의 일부 계속 출원이며, 상술한 미국 특허 출원 제 10/365,576 호(2003년 2월 12일 출원, 2004년 7월 1일 US2004/0128317로 공개)의 일부 계속 출원이며, 상술한 미국 특허 출원 제 10/369,333 호(2003년 2월 19일 출원, 2003년 9월 18일 US2003/0177503으로 공개)의 일부 계속 출원이며, 미국 가출원 제 60/359,567 호(2002년 2월 25일 출원)를 우선권으로 주장하는 미국 특허 출원 제 10/368,304 호(2003년 2월 18일 출원, 2004년 7월 1일 US2004/0125124로 공개)의 일부 계속 출원이다.

본 출원은 미국 가출원 제 60/550,200 호(2004년 3월 4일 출원)과 미국 가출원 제 60/550,534 호(2004년 3월 5일 출원)를 우선권으로 주장하는 미국 특허 출원 제 11/071,894 호(2005년 3월 3일 출원)의 일부 계속 출원이며, 상술한 5개의 가출원을 우선권으로 주장하는 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출 원)의 일부 계속 출원이며, 상술한 미국 특허 출원 제 10/361,794 호(2003년 2월 10일 출원, 2004년 7월 1일 US2004/0126021로 공개)의 일부 계속 출원이며, 미국 특허 출원 제 10/365,576 호(2003년 2월 12일 출원, 2004년 7월 1일 US2004/0128317로 공개)의 일부 계속 출원이다.

기술 분야

본 명세서는 비디오 신호 처리에 관한 것이며, 보다 상세하게는 다수의 TV 프로그램 또는 비디오 스트림들의 콘텐츠의 영상 표시(visual representation)를 이용하여 리스팅과 네비케이팅하는 기술에 관한 것이다.

배경 기술

디지털 TV 대 아날로그 TV

1996년 12월에, 연방 통신 위원회(FCC)는 소비자가 현재 사용하고 있는 아날로그 TV 시스템을 대체하는 획기적인 디지털 TV(DTV)에 대한 미국 표준을 승인하였다. DTV 시스템에 대한 필요성은 TV 시청자가 필요로 하는 고화질 및 서비스 개선에 대한 요구로 인해 발생하였다. DTV는 한국, 일본 및 유럽 전역 등의 여러 나라에서 광범위하게 채택되었다.

DTV 시스템은 종래의 아날로그 TV 시스템에 비해 몇 가지 장점을 가지고 있어서 TV 시청자의 요구를 충족시키고 있다. 표준 화질 TV(SDTV) 또는 고화질 TV(HDTV) 시스템에 의해 기존 아날로그 TV 시스템에 비해 훨씬 선명한 화질을 시청 할 수 있다. HDTV 시청자는 아날로그의 종래의 아날로그 4×3의 종횡비(폭-높이)에 비해 16×9 종횡비를 가진 와이드 스크린 포맷(영화관에서 볼 수 있음)에 디스플레이되는 1920×1080 화소의 해상도로 고화질의 화면을 시청 할 수 있다. 기존 TV의 종횡비가 4×3이지만, 상부 및 하부에 스크린의 공백 부분을 남기는 레터 박스(letter box) 방식이나 또는 보다 일반적으로 픽쳐의 양 측면을 크로핑(cropping)하여 단지 중앙의 4×3 영역만을 보여주는 방식으로 와이드 스크린 프로그램을 기존 TV 스크린 상에서도 여전히 볼 수 있다. 또한, DTV 시스템에 의해 다수의 TV 프로그램을 다중 방송할 수 있으며, 또한, 자막과 같은 부가 정보, 선택적이고 다양한 다른 종류의 오디오 (선택적인 언어 등), 보다 넓은 포맷(레터 박스 등) 및 추가 장면을 포함할 수 있다. 예를 들어, 시청자가 보다 완벽한 "홈" 시어터 체험을 즐길 수 있는 현재의 5.1 채널 콤팩트 디스크(CD)-품질의 서라운드 사운드 등은 보다 양호한 오디오의 이점을 청취자가 가질 수 있다.

U.S. FCC는 각 지상 디지털 방송 채널마다 아날로그 NTSC 채널에 사용하는 것과 동일한 대역폭의 6 MHz(메가헤르츠) 대역폭을 할당하였다. MPEG-2 등의 비디오 압축 방법을 이용하여, 하나 이상의 고화질 프로그램을 동일 대역폭 내에서 전송할 수 있다. 따라서, DTV 방송국은 프로그램을 전송하기 위해서 여러 표준(예를 들어, HDTV 또는 SDTV) 중에서 선택할 수 있다. 예를 들어, ATSC는 다양한 해상도, 종횡비, 프레임율과 기술자를 갖는 18 종류의 포맷을 "ATSC Standard A/53C with Amendment No. 1:ATSC Digital Television Standard" Rev. C(www.atsc.org를 참조)에 규정하였다. 디지털 TV 시스템에서의 픽쳐는 순차 또는 비월 모드로 주사 된다. 순차 모드에서, 프레임 픽쳐는 래스터 주사 순서로 주사되며, 비월 모드에서는, 프레임 픽쳐가 래스터 주사 순서로 각각이 주사되는 2개의 시간적으로 교대하는 필드 픽쳐로 구성되어 있다. 비월 모드와 순차 모드에 대한 보다 상세한 설명은 Barry G., Atul Puri, Arun N. Netravali의 "Digital Video:An Introduction to MPEG-2 (Digital Multimedia Standards Series)"에 있다. SDTV가 화질면에서 HDTV에 비해 좋지 않지만, 현재 또는 과거의 아날로그 TV보다는 높은 화질의 픽쳐를 제공할 것이다.

디지털 방송은 또한 프로그램의 새로운 선택 사항과 형태들을 제공한다. 방송국은 부가적인 비디오, 이미지 및/또는 오디오(다른 가능한 데이터 전송과 함께)를 제공하여 TV 시청자의 시청 체험을 향상시킬 수 있다. 예를 들어, 비디오(일반적으로 가능한 추가 데이터와 함께 조합된 비디오+오디오) 신호로 전송될 수 있는 하나 이상의 전자 프로그램 가이드(EPG)는 관심있는 채널로 사용자를 유도 할 수 있다. EPG는 프로그램 제목, 채널 번호, 시작 시간, 방영 시간, 장르, 등급 및 프로그램의 간단한 설명 등의 프로그래밍 특징에 대한 정보를 포함한다. 가장 일반적인 디지털 방송 및 리플레이(예를 들어, 비디오 콤팩트 디스크(VCD) 또는 디지털 비디오 디스크(DVD)에 의한)는 프로그램 상연을 위한 압축 해제와 함께 저장 및/또는 방송을 위한 비디오 화상의 압축을 수반한다. 가장 일반적인 압축 표준(오디오 등의 관련 데이터에 또한 사용될 수 있음) 중에는 JPEG 및 다양한 MPEG 표준이 있다.

디지털 TV 포맷

16:9의 종횡비의 1080i(비월 1920×1080 화소), 1080p(순차 1920×1080 화소) 및 720p(순차 1280×720 화소) 포맷은 일반적으로 채택된 만족스러운 HDTV 포맷이다. 480i(4:3 종횡비의 비월 640×480 화소 또는 16:9 종횡비의 비월 704×480) 및 480p(4:3 종횡비의 순차 640×480 화소 또는 16:9 종횡비의 순차 704×480) 포맷은 SDTV 포맷이다. 이에 대한 보다 상세한 설명은 Barry G. Haskell, Atul Puri, Arun N. Netravali의 "Digital Video:An Introduction to MPEG-2(Digital Multimedia Standards Series)"와 ISO/IEC 13818-2(MPEG-2), 1994(www.iso.org를 참조)의 "Generic Coding of Moving Pictures and Associated Audio Information - Part 2 : Videos"에 있다.

JPEG

JPEG(Joing Photographic Experts Group)는 정지 화상 압축의 표준이다. JPEG 위원회는 정지 화상의 손실, 무손실 및 거의 무손실의 압축과, 연속 계조, 정지 프레임, 단색 및 컬러 화상의 압축에 대한 표준을 개발하였다. JPEG 표준은 응용 프로그램이 그들의 조건을 만족시키는 구성 요소를 선택할 수 있는 3개의 메인 압축 기술을 제공한다. 3개의 메인 압축 기술은 (ⅰ) 베이스라인 시스템, (ⅱ) 확장 시스템 및 (ⅲ) 무손실 모드 기술이다. 베이스라인 시스템은 순차적인 모드의 8 비트/화소 입력으로 제한된 허프만 코딩을 이용한 단순하고 효율적인 이산 여현 변환(DCT) 기반의 알고리즘이다. 확장 시스템은 베이스라인 시스템을 개선시켜 계 층적 및 순차적 모드의 12 비트/화소 입력으로 보다 광범위한 응용 프로그램에 적용 가능 하며, 무손실 모드는 허프만 또는 산술 코딩을 이용한 DCT에 독립적인 예측 코딩, DPCM(Differential Pulse Coded Modulation)을 기초로 한다.

JPEG 압축

JPEG 인코더 블록도의 예가 John Miano의 압축 화상 파일 포맷:JPEG, PNG, GIF, XBM, BMP(ACM 프레스)에 있으며, 더욱 상세한 기술적인 설명은 ISO/IEC 국제 표준 10918-1(www.jpeg.org/jpeg/를 참조)에 있다. 비디오 프레임 화상 등의 원 픽쳐는 8×8 화소 블록으로 분할되며, 각각의 블록은 DCT를 이용하여 개별적으로 변환된다. DCT는 공간 영역으로부터 주파수 영역으로의 변환 함수이다. DCT 변환은 MPEG-1, MPEG-2, MPEG-4 및 JPEG 등의 여러 손실 압축 기술에 사용된다. DCT 변환이 사용되어 화상 내의 주파수 성분을 분석하고, 사람의 눈으로 일반적으로 인식하지 못하는 주파수를 제거한다. DCT에 대한 더욱 상세한 설명은 Alan V. Oppenheim, Ronald W. Schafer, John R. Buck의 "Discrete-Time Signal Processing"(Prentice Hall, 1999년 2월 제 2 판)에 있다. 변환된 모든 계수는 사용자 규정의 양자화 테이블(또한 q-테이블 또는 정규화 매트릭스이라 함)을 이용하여 균일하게 양자화된다. 인코딩된 화상의 화질 및 압축 비율은 양자화 테이블의 원소를 변경함으로써 변경될 수 있다. 일반적으로, 2-D DCT 열의 좌상부의 DC 계수는 공간 블록의 평균 밝기에 비례하며, 현재 블록의 양자화된 DC 계수와 이전 블록의 양자화된 DC 계수간의 차이를 가변 길이 코딩한다. AC 계수는 지그재그 주사 를 통해 1-D 벡터로 재배열되고 런 렝스(run-length) 코딩을 이용하여 인코딩된다. 최종적으로, 압축된 화상은 허프만 코딩을 이용하는 것과 같이, 엔트로피 코딩된다. 허프만 코딩은 문자의 빈도수에 기초한 가변 길이 코딩이다. 가장 빈번한 문자는 소수의 비트로 코딩되고 드문 문자는 다수의 비트로 코딩된다. 허프만 코딩에 대한 보다 상세한 설명은 Khalid Sayood의 "Introduction to Data Compressioon"(Morgan Kaufmann, 2000년 2월 제 2 판)에 있다.

JPEG 디코더는 역순으로 동작한다. 따라서, 압축된 데이터가 엔트로피 디코딩되고 2차원 양자화 DCT 계수가 구해진 후에, 각각의 계수는 양자화 테이블을 이용하여 역양자화된다. JPEG 압축은 현재의 디지털 정지 카메라 시스템과 다수의 가라오케 "노래방" 시스템에서 일반적으로 찾을 수 있다.

웨이블릿(Wavelet)

웨이블릿은 데이터를 여러 주파수 성분으로 분할하는 변환 함수이다. 웨이블릿은 컴퓨터 비전의 다중 해상도 분석과, 오디오 및 비디오 압축에서의 대역 분할 코딩 기술과, 응용 수학에서의 웨이블릿 시리즈를 포함한 여러 상이한 분야에서 유용하다. 웨이블릿 압축은 DCT형 변환 압축의 대안 또는 부가물이며, MPEG-4 등의 다양한 MPEG 표준에 있어서 고려되거나 채택되었다. 더욱 상세한 설명은 Raghuveer M. Rao의 "Wavelet transforms: Introduction to Theory and Application"에 있다.

MPEG

MPEG(Moving Pictures Experts Group) 위원회는 콤팩트 디스크(CD) 용도로 비디오 및 오디오를 표준화하는 것을 목표로 시작하였다. 국제 표준 기구(ISO)와 국제 전기 기술 위원회(IEC)와의 회의는 1994년에 MPEG-2라는 제목으로 표준을 마무리하였고, 이는 현재 디지털 TV 방송의 비디오 코딩 표준으로서 채택 됐었다. MPEG는 예시적인 표준과 함께 www.mpeg.org에 더욱 상세히 기술되고 설명되어 있다. 추가로, MPEG-2는 Barry G.Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2(Digital Multimedia Standards Series)"에 기술되어 있으며, MPEG-4는 Touradj Ebrahimi, Fernando Pereira의 "The MPEG-4 Book"에 기술되어 있다.

MPEG 압축

MPEG 표준 압축의 목표는 아날로그 또는 디지털 비디오 신호(및 오디오 신호 또는 텍스트 등의 관련된 데이터)를 획득하여 보다 효율적인 대역폭인 디지털 데이터의 패킷으로 변환하는 것이다. 디지털 데이터의 패킷을 생성함으로써, 선명도를 떨어뜨리지 않는 신호를 생성하고, 고화질의 픽쳐를 제공하고, 높은 신호 대 잡음비를 달성할 수 있다.

MPEG 표준은 정지 화상의 JPEG 표준으로부터 효과적으로 도출되었다. MPEG-2 비디오 압축 표준은 전체 프레임 비디오 화상에 대한 정보를 단지 가끔 생성함으로써 높은 데이터 압축비를 달성한다. 이들 전체 프레임 화상 또는 인트라코딩 프 레임(픽쳐)을 I-프레임이라 한다. 각각의 I-프레임은 다른 프레임과는 무관하게 단일 비디오 프레임(화상 또는 픽쳐)의 완전한 설명을 포함하며, 사람의 눈의 특성을 이용하여 사람이 일반적으로 볼 수 없는 높은 주파수 정보를 제거한다. 이들 I-프레임 화상은 MPEG-2 스트림 내에서 참조 화상으로서 앵커 프레임(종종 기준 프레임이라 함)으로서 작용한다. I-프레임 간에, 델타 코딩, 움직임 보상 및 다양한 보간/예측 기술이 사용되어 인터리빙 프레임을 생성한다. 상호 코딩된 P-프레임(예측 코딩 프레임)과 B-프레임(양방향성의 예측 코딩 프레임)은 I-프레임 간에 인코딩된 중간 프레임의 예이며, I-프레임(기준 프레임)과 관련하여 그들이 나타내는 개재의 프레임 간의 차이에 대한 정보만을 저장한다. MPEG 시스템은 2개의 메인 층, 즉, 시스템 층(비디오 및 오디오를 동기화하는 타이밍 정보) 및 압축 층으로 구성되어 있다.

MPEG 표준 스트림은 비디오 시퀀스 층, GOP 층, 픽쳐층, 슬라이스층, 매크로블록층 및 블록층으로 구성된 층의 계층으로서 구성되어 있다.

비디오 시퀀스 층은 시퀀스 헤더(및 선택 사항으로 다른 시퀀스 헤더)로 시작하며, 일반적으로 하나 이상의 픽쳐를 포함하며, 종료 시퀀스 코드로 종료한다. 시퀀스 헤더는 코딩된 픽쳐의 크기, 디스플레이된 비디오 픽쳐의 크기, 프레임 비율, 비디오의 종횡비, 프로파일 및 레벨 식별, 비월 또는 순차 시퀀스 식별, 사적 사용자 데이터, 비디오와 관련된 다른 글로벌 파라미터 등의 기본적인 파라미터를 포함한다.

GOP층은 헤더와, 임의 접근, 빠른 검색 및 편집이 가능한 하나 이상의 일련 의 픽쳐로 구성되어 있다. GOP 헤더는 특정의 레코딩 장치에 사용되는 시간 코드를 포함한다. GOP의 제 1의 I-픽쳐 다음의 B-픽쳐가 폐쇄된 GOP로 불리는 임의 접근 이후에 디코딩될 수 있는지 여부를 나타내는 편집 플래그를 또한 포함한다. MPEG에서, 비디오 픽쳐는 일반적으로 일련의 GOP로 분할된다.

픽쳐층은 비디오 시퀀스의 가장 중요한 코딩 단위 이다. 픽쳐는 휘도(Y)와 2개의 색차(Cb 및 Cr 또는 U 및 V)를 나타내는 3개의 직사각형 매트릭스로 구성되어 있다. 픽쳐 헤더는 화상의 픽쳐 코딩 유형(인트라(I), 예측(P), 양방향성(B) 픽쳐), 픽쳐의 구조(프레임, 필드 픽쳐), 지그재그 주사의 유형에 대한 정보와, 픽쳐의 디코딩에 관련된 다른 정보를 포함한다. 순차 모드 비디오에 있어서, 픽쳐는 프레임과 일치하며 상호 교환가능하게 사용될 수 있으며, 비월 모드 비디오에 있어서, 픽쳐는 프레임의 상부 필드 또는 하부 필드를 지칭한다.

슬라이스는 일반적으로 2×2 매트릭스의 블록으로 된 일련의 연속적인 매크로블록으로 구성되어 있으며, 데이터 손상의 경우에 프레임 전체가 아닌 슬라이스 내에서만 에러가 발생하여 에러에 강하다. 에러 탄력적 환경에서 슬라이스가 존재하기 때문에, 손상되어 있는 전체 픽쳐 대신에 부분적인 픽쳐가 구성될 수 있다. 비트스트림 내에 에러가 발생하면, 디코더는 다음 슬라이스의 시작 부분으로 스킵할 것이다. 비트스트림내에 많은 슬라이스가 있으면 양호하게 에러를 은닉할 수 있지만, 이렇게 사용되지 않는다면 화질을 개선하는데 이 공간을 사용될 수도 있다. 슬라이스는 I-픽쳐의 모든 매크로블록을 좌측에서 우측으로 또한 상부에서 하부의 매크로 블록으로 구성되어 전송된다. P-픽쳐와 B-픽쳐의 슬라이스는, 몇몇 매크로블록은 전송되고, 몇몇의 매크로블록은 스킵된다. 그러나, 슬라이스의 맨 처음 매크로블록과 마지막 매크로블록은 항상 전송되어야 한다. 또한, 슬라이스는 겹치지 않아야 한다.

블록은 매크로블록에서 8×8 블록의 양자화된 DCT 계수에 대한 데이터로 구성된다. 공간 영역에서의 화소의 8×8 블록은 DCT에 의해 주파수 영역으로 변환되고 주파수 계수는 양자화된다. 양자화는 각각의 주파수 계수를 한정된 개수의 양자화 값 중 어느 하나로 근사시키는 프로세스이다. 인코더는 8×8 블록에서의 각각의 주파수 계수가 얼마나 양자화되는지를 결정하는 양자화 매트릭스를 선택한다. 양자화 에러에 대한 사람의 인지로는 높은 공간 주파수(컬러 등)에 있어서는 더 낮아서, 전형적으로 고주파는 보다 저밀도로(소수의 허용값으로) 양자화된다.

DCT와 양자화의 조합으로 특히 높은 공간 주파수는 주파수 계수의 대부분이 0으로 된다. 이를 최대한 이용하기 위해서, 계수는 지그재그 순서로 정리되어 긴 길이의 0을 생성한다. 그 다음, 계수는 일련의 길이-진폭 쌍으로 변환되고, 각각의 쌍은 다수의 0의 계수와 0인 아닌 계수의 진폭을 나타낸다. 이들 길이-진폭은 가변 길이 코드로 코딩되고, 이는 공통으로 발생하는 쌍에 대하여 짧은 코드를 이용하며, 보다 적은 공통 쌍에 대하여 긴 코드를 이용한다. 이러한 과정은 Barry G. Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2"(Chapman & Hall, December, 1996)에 상세히 설명되어 있다. 또한, "Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Video", ISO/IEC 13818-2 (MPEG-2), 1994(www.mpeg.org를 참조)에 상세히 설명되어 있다.

상호 픽쳐 코딩

인터 상호 픽쳐 코딩은 이전 프레임으로부터 이전 인코딩된 화소를 이용하여 픽쳐를 구성하는 코딩 기술이다. 이러한 기술은 비디오 내의 인접한 픽쳐는 일반적으로 매우 유사하다는 것을 기초로 한다. 픽쳐가 움직이는 객체를 포함하고 있다면, 또한, 하나의 프레임 내에서의 객체의 이동의 추정이 가능하다면, 적절히 공간적으로 배치된 이전 프레임 내의 화소를 이용하는 시간적 예측이 적용 할 수 있다. MPEG의 픽쳐 유형은 사용된 상호 예측의 유형에 따라서 3개 유형의 픽쳐로 분류된다. 상호 픽쳐 코딩에 대한 보다 상세한 설명은 Barry G. Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2"(Chapman & Hall, December, 1996)에 있다.

픽쳐 유형

MPEG 표준(MPEG-1, MPEG-2, MPEG-4)은 픽쳐(프레임) 인트라(I), 예측(P) 및 양방향성(B)의 3가지 유형을 명확히 규정한다.

전형적으로, 인트라(I) 픽쳐는 그들 자체적으로 공간 영역에서만 개별적으로 코딩된다. 인트라 픽쳐는 인코딩을 위해 다른 픽쳐를 참조하지 않고 이 픽쳐는 다른 픽쳐와 무관하게 인코딩될 수 있기 때문에, 인트라 픽쳐는 압축된 비디오에서의 액세스 포인트로서 사용된다. 인트라 픽쳐는 일반적으로 공간 영역에서 압축되고, 따라서, 다른 유형의 픽쳐에 비해 크기가 더 크다.

예측(P) 픽쳐는 바로 이전의 I-픽쳐 또는 P-픽쳐를 이용하여 코딩되는 픽쳐이다. 이러한 기술을 전방 예측이라 한다. P-픽쳐의 각각의 매크로블록은 이전의 I-픽쳐 또는 P-픽쳐에서 참조로 사용된 화소를 가리키는 하나의 움직임 벡터를 가질 수 있다. P-픽쳐는 B-픽쳐와 미래의 P-픽쳐에 대하여 참조 픽쳐로서 사용될 수 있기 때문에, 코딩 에러를 전파할 수 있다. 따라서, GOP에서의 P-픽쳐의 개수는 더욱 선명한 비디오를 가능하게 하도록 종종 제한된다.

양방향성-예측(B) 픽쳐는 바로 다음의 I-픽쳐 및/또는 P-픽쳐뿐만 아니라, 바로 이전의 I-픽쳐 및/또는 P-픽쳐를 이용하여 코딩되는 픽쳐이다. 이러한 기술을 양방향성 예측이라 한다. B-픽쳐에서, 각각의 매크로블록은 이전의 I-픽쳐 또는 P-픽쳐에서 참조로 사용된 화소를 가리키는 하나의 움직임 벡터와, 다음 I-픽쳐 또는 P-픽쳐에서 참조로 사용된 화소를 지칭하는 다른 움직임 벡터를 가질 수 있다. 매크로블록이 움직임 벡터에 의해 참조로 되는 2개의 매크로블록을 평균화하여 얻어지는 경우, B-픽쳐에서의 각 매크로블록은 최대 2개의 움직임 벡터를 가질 수 있기 때문에, 결과적으로 노이즈가 감소한다. 압축의 효율성 측면에서, B-픽쳐는 가장 효율적이며, P-픽쳐는 다소 나쁘며, I-픽쳐는 가장 효율성이 적다. 전형적으로, B-픽쳐는 상호 예측을 위한 참조 픽쳐로서 사용되지 않기 때문에, 에러를 전파하지 않는다.

비디오 스트림 합성

MPEG 스트림(MPEG-1, MPEG-2 및 MPEG-4)에서의 I-프레임의 개수는 임의 접근에 필요한 응용과 비디오 시퀀스에서의 장면 절단(scene cuts)의 위치에 따라서 변할 수 있다. 임의 접근이 중요한 응용에서는, I-프레임이 자주 사용되는데, 예를 들면, 초당 2회 사용될 수도 있다. 한 쌍의 참조(I 또는 P) 프레임 간의 B-프레임의 개수는 인코더의 메모리 용량과 인코딩되는 자료의 특성 등의 요인에 따라서 또한 변할 수 있다. 픽쳐의 전형적인 디스플레이 순서는 Barry G.Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2 (Digital Multimedia Standards Series)"와 "Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Videos" ISO/IEC 13818-2 (MPEG-2), 1994(www.iso.org를 참조)에 있다. 픽쳐의 시퀀스는 B-프레임을 재구성하는데 필요한 참조 픽쳐가 관련 B-픽쳐에 앞서 전송되도록 인코더에서 재정렬된다. 픽쳐의 전형적인 인코딩된 순서는 Barry G.Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2 (Digital Multimedia Standards Series)"와 "Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Videos" ISO/IEC 13818-2 (MPEG-2), 1994(www.iso.org를 참조)에 있다.

움직임 보상

더욱 높은 압축비를 달성하기 위해서, 비디오의 시간적인 중복은 움직임 보 상으로 불리는 기술에 의해 제거된다. 움직임 보상은 각각의 매크로블록이 참조 매크로블록과 코딩되는 매크로블록과의 움직임 벡터와, 참조 매크로블록과 코딩된 매크로블록과의 에러를 가지는 매크로 블록 레벨에서 P-픽쳐와 B-픽쳐에 사용된다. P-픽쳐에서의 매크로블록의 움직임 보상은 이전의 참조 픽쳐(I-픽쳐 또는 P-픽쳐)에서의 매크로블록만을 이용할 수 있지만, B-픽쳐에서의 매크로블록은 이전 픽쳐와 미래 픽쳐 둘 다의 조합을 참조 픽쳐(I-픽쳐 또는 P-픽쳐)로서 사용할 수 있다. 움직임 보상의 관점에 대한 보다 포괄적인 설명은 Barry G.Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2 (Digital Multimedia Standards Series)"와 "Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Videos" ISO/IEC 13818-2 (MPEG-2), 1994(www.iso.org를 참조)에 있다.

MPEG-2 시스템 층

MPEG-2 시스템의 주된 기능은 몇몇 유형의 멀티미디어 정보를 하나의 스트림으로 조합하는 수단을 제공하는 것이다. 몇몇 기본 스트림(ES)으로부터의 데이터 패킷(오디오, 비디오, 텍스트 데이터 및 다른 데이터 등)은 단일 스트림 내에 인터리빙된다. ES는 패킷의 길이 또는 주파수를 단순히 변경함으로써 고정 비트율 또는 가변 비트율로 전송될 수 있다. ES는 단일 소스로부터의 압축된 데이터와 소스 정보의 동기화, 식별 및 특징화를 위해서 필요한 보조 데이터로 구성되어 있다. ES 자체는 고정 길이 또는 가변 길이의 패킷으로 먼저 패킷화되어 패킷 기본 스트 림(PES)을 형성한다.

MPEG-2 시스템 코딩은 2개의 형태, 즉, 프로그램 스트림(PS)과 전송 스트림(TS)으로 표시된다. PS는 DVD 미디어 등의 상대적으로 에러가 없는 환경에서 사용되며, TS는 디지털 방송 등과 같이 에러가 있을 수 있는 환경에서 사용된다. 일반적으로, PS는 프로그램이 여러 ES의 조합인 하나의 프로그램을 가지고 있다. PS는 다중화된 데이터(multiplexed data)의 팩으로 구성된다. 각각의 팩은 패킷 헤더와, 다양한 ES로부터의 여러 개의 다중 PES 패킷과, 기타 기술 데이터로 구성되어 있다. TS는 상대적으로 긴 가변 길이의 PES 패킷을 추가로 패킷화하는 188 바이트의 TS 패킷으로 구성되어 있다. 각각의 TS 패킷은 TS 헤더와, 선택 사항으로 보조 데이터(적응 필드라 함)와, 전형적으로 하나 이상의 PES 패킷으로 구성되어 있다. 일반적으로, TS 헤더는 에러 검출, 타이밍 및 다른 기능을 위해서 동기(동기화) 바이트, 플래그 및 표시자, 패킷 식별자(PID) 및 기타 정보로 구성되어 있다. TS 패킷의 헤더 및 적응 필드는 스크램블되지 않아야 한다.

예를 들어, 오디오 및 비디오 스트림을 포함하는 ES 간의 적절한 동기화를 유지하기 위해서, 동기화는 타임 스탬프와 기준 클록(clock reference)을 사용하여 일반적으로 이루어진다. 프레젠테이션과 디코딩을 위한 타임 스탬프는 일반적으로 90kHz의 단위이며, 이는 특정 프레젠테이션 단위(비디오 픽쳐 등)이 디코더에 의해 디코딩되어 출력 장치에 제공되어야 하는 27 MHz의 해상도를 가진 기준 클록에 따른 적절한 시간을 나타낸다. 오디오 및 비디오의 프레젠테이션 시간을 포함하는 타임 스탬프는 일반적으로 PES 패킷 헤더에 존재하고, 프레젠테이션 타임 스탬 프(PTS)라 하며, 디코딩된 픽쳐가 디스플레이를 위해 출력 장치에 전달되는 시간과 디코딩 시간을 나타내는 타임 스탬프는 디코딩 타임 스탬프(DTS)라 한다. 전송 스트림(TS) 내의 프로그램 기준 클록(PCR)과 프로그램 스트림(PS) 내의 시스템 기준 클록(SCR)은 시스템 시간 클록의 샘플링 값을 나타낸다. 일반적으로, PCR과 SCR의 정의는 구별이 있지만 동일한 것으로 간주할 수도 있다. TS 패킷의 적응 필드 내에 존재할 수 있는 PCR은 하나의 프로그램에 대해 기준 클록을 제공하며, 여기서, 프로그램은 공통의 시간 베이스를 가진 ES 세트로 구성되며, 동기화된 디코딩 및 프레젠테이션을 위한 것이다. 하나의 TS 내에 다수의 프로그램이 있을 수 있으며, 각각은 독립적인 시간 베이스와 개별적인 PCR를 가질 수 있다. 디코더의 예시적인 동작에 대한 설명으로서, 디코더의 시스템 시간 클록은 전송된 PCR(또는 SCR)의 값으로 설정되며, 프레임은 디코더의 시스템 시간 클록이 프레임의 PTS의 값과 일치할 때 디스플레이된다. 일관성 및 명확성을 위해서, 이하의 명세서는 PCR의 용어를 사용할 것이다. 그러나, 특별히 달리 설명하지 않는 한 동일한 설명 및 응용이 SCR 또는 다른 등가 또는 대체물에도 적용한다. MPEG-2 시스템 층에 대한 더욱 포괄적인 설명은 "Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Systems" ISO/IEC 13818-1 (MPEG-2) 1994에 있다.

MPEG-1과 MPEG-2의 차이

MPEG-2 비디오 표준은 순차 주사 비디오와 비월 주사 비디오 둘 다를 지원하며, MPEG-1 비디오 표준은 순차 주사 비디오만을 지원한다. 순차 주사에서, 비디 오는 순차적인 래스터 주사 프레임의 스트림으로 디스플레이된다. 각각의 프레임은 순차적으로 디스플레이의 상부로부터 하부까지 디스플레이되는 스캔 라인과 함께 픽쳐를 완전히 채우는 화상 데이터를 포함한다. "프레임 레이트"는 비디오 스트림에서의 초당 프레임 개수를 나타낸다. 비월 주사에서, 비디오는 2배의 프레임 레이트에서 교대로 비월되는(또는 인터리빙된) 상부 및 하부 래스터 필드의 스트림으로서 디스플레이되며, 이 때 두 개의 필드가 매 프레임을 형성한다. 상부 필드("상위 필드" 또는 "홀수 필드"라 함)는 홀수의 스캔 라인(디스플레이의 상부에서 스캔 라인 1로 시작함)에 대한 비디오 화상 데이터를 포함하며, 하부 필드는 짝수 스캔 라인에 대한 비디오 화상을 포함한다. 상부와 하부 필드는 전송되어 교번 방식으로 디스플레이되며, 각각의 디스플레이된 프레임은 상부 필드와 하부 필드를 포함한다. 비월 주사(interlaced) 비디오는 각각의 라인을 스크린 상에 순서대로 출력하는 비월 주사를 사용하지 않는(non-interlaced) 비디오와는 상이하다. 비월 주사 비디오 방법은 신호를 전송할 때 대역폭을 절약하도록 개발되었지만, 결과적으로는 비교할만한 비월 주사를 사용하지 않는(순차) 비디오보다 덜 상세한 화상으로 될 수 있다.

또한 MPEG-2 비디오 표준은 DCT 블록 코딩 및 움직임 예측에 대해 프레임 기반 및 필드 기반의 방법 모두를 지원하며, MPEG-1 비디오 표준은 DCT에 대해 프레임 기반의 방법만을 지원한다. 전형적으로, 필드 DCT 방법에 의해서 코딩된 블록은 프레임 DCT 방법에 의해 코딩된 블록에 비해 큰 움직임 성분을 갖는다.

MPEG-4

MPEG-4는 장면 합성을 위해서 계층적으로 구성된 물체에 대한 개선된 그래픽 콘텐츠를 생성하기 위해 광범위한 툴 세트와의 상호작용성(interactivity)을 가능하게 하는 시청각(AV) 인코더/디코더(코덱) 프레임워크이다. MPEG-4 비디오 표준은 비디오 압축의 목적으로 1993년에 시작하였고 새로운 세대의 코딩된 장면 프레젠테이션을 제공하는 것이다. 예를 들어, MPEG-4는 시각적 물체의 집합체로 장면을 인코딩하며, 여기서, 객체(자연 또는 합성)는 개별적으로 코딩되어 합성을 위한 장면의 설명과 함께 전송된다. 따라서, MPEG-4는 각각의 비디오 객체(VO)가 형태, 텍스트 및 움직임 등의 속성으로 기술되는 MPEG-4에서 정의되는 VO를 기반으로 한 비디오 데이터의 객체 기반 표현에 의존한다. 시청각 장면을 생성하기 위한 이들 VO의 합성을 기술하기 위하여, 몇몇 VO는 그래프의 노드가 VO인 장면 그래프로서의 멀티미디어 시나리오의 모델링을 가능하게 하는 BIFS(Binary Format for Scene)를 통해서 장면을 형성하도록 구성되어 있다. BIFS는 양방향성, 합성 및 자연 오디오 또는 비디오의 혼합/일치, 스케일링, 로테이션, 드래그, 드랍 등을 포함하는 객체의 조작/합성을 제공하기 위해 요구에 따라 장면 그래프로부터 노드를 동적으로 추가 또는 제거하는 계층 구조의 형태로 장면을 기술한다. 따라서, MPEG-4 스트림은 BIFS 구문, 비디오/오디오 객체 및 동기화 구성, 디코더 구성 등의 다른 기본적 정보로 구성된다. BIFS는 스케쥴링, 시간 및 공간 영역에서의 좌표화, 동기화, 양방향성의 처리에 대한 정보를 포함하기 때문에, MPEG-4 스트림을 수신하는 클라이언트는 오디오/비디오 ES를 합성하는 BIFS 정보를 먼저 디코딩할 필요가 있다. 디코 딩된 BIFS 정보에 기초하여, 디코더는 다른 가능한 보충 데이터뿐만 아니라 관련 시청각 데이터에 액세스한다. MPEG-4 객체 기반 표현을 장면에 적용하기 위해서, 장면에 포함된 객체를 먼저 검출하여 세그먼트화하여야 하는데, 이는 현 기술의 화상 분석 기술을 이용하여 쉽게 자동화할 수 없다. MPEG-4의 더욱 확대된 정보는 Iain E. G. Richardson의 "H.264 and MPEG-4 Video Compression"(John Wiley & Sons 2003년 8월)와 Touradj Ebrahimi와 Fernando Pereira의 "The MPEG-4 Book"(Prentice Hall PTR, 2002년 7월)에 있다.

MPEG-4 타임 스탬프

디코더와 인코더의 클록을 동기화하기 위해서, 시간 베이스의 샘플은 객체 기준 클록(OCR)에 의해 디코더로 전송될 수 있다. OCR은 미디어 객체 인코더의 시스템 클록인 객체 시간 베이스의 샘플 값이다. OCR은 AL-PDU(액세스-단위 층-프로토콜 데이터 단위) 헤더 내에 위치하며, MEPG-4 명세서에 명시된 규칙적인 간격으로 삽입된다. OCR에 기초하여, 각각의 액세스 단위를 디코딩해야 하는 예정된 시간은 디코딩 타임 스탬프(DTS)로 불리는 타임 스탬프에 의해 표시된다. DTS는 존재할 경우에 액세스 단위 헤더 내에 위치한다. 한편으로, 콤포지션 타임 스탬프(CTS)는 단위를 합성해야 하는 스케줄된 시간을 표시하는 타임 스탬프이다. 또한, CTS는 존재하는 경우에 액세스 단위 내에 위치한다.

DMB(디지털 멀티미디어 방송)

한국에서 상업화된 DMB는 고속으로 이동하는 휴대용(이동) 수신기(소형 TV, PDA 및 휴대폰)에 여러 정보(예를 들어, 뉴스, 교통 정보)뿐만 아니라 CD 음질의 오디오, 비디오, TV 프로그램을 제공하는 새로운 멀티미디어 방송 서비스이다. DMB는 전송 수단에 따라서 지상파 DMB와 위성 DMB로 분류된다.

유레카-147 DAB(디지털 오디오 방송)는 국내 지상파 DMB의 전송 표준으로 선택되었다. MPEG-4 및 AVC(Advanced Video Coding)는 비디오 인코딩용으로 선택되었고, MPEG-4 비트 슬라이스 산술 코딩은 오디오 인코딩용으로 선택되었고, MPEG-2와 MPEG-4는 다중화와 동기화용으로 선택되었다. 지상파 DMB의 경우에, 시스템 동기화는 PCR에 의해 달성되며, ES 간의 미디어 동기화는 PCR과 함께 OCR, CTS 및 DTS를 이용하여 달성된다. DMB에 대한 더욱 포괄적인 정보는 "TTAS,KO-07.0026: Radio Broadcasting Systems; Specification of the video services for VHF Digital Multimedia Broadcasting(DMB) to mobile, portable and fixed receivers"(www.tta.or.kr를 참조)에 있다.

H.264(AVC)

AVC 또는 MPEG-4 파트 10으로 불리는 H.264는 가장 새로운 국제 비디오 코딩 표준이다. MPEG-2 등의 비디오 코딩 표준은 위성, 케이블 및 지상파 송출을 통해 HDTV 신호를 전송할 수 있게 하며, 여러 디지털 저장 장치(디스크 드라이브, CD 및 DVD 등)에 비디오 신호를 저장할 수 있게 한다. 그러나, H.264에 대한 필요성은 MPEG-2 등의 종래의 비디오 코딩 표준에 비해 코딩 효율성을 향상시키기 위해서 발생하였다.

종래의 비디오 코딩 표준에 비해, H.264는 비디오 코딩 효율성을 향상시키는 특징을 가지고 있다. H.264는 종래의 비디오 코딩 표준에 비해 움직임 보상 블록 크기와 형태의 선택에 있어서 더 많은 융통성을 가질 수 있는 4×4 만큼 작은 블록 크기로 가변 블록 크기의 정확한 쿼터 샘플 움직임 보상을 가능하게 한다.

H.264는 인접한 미래 픽쳐와 이전 픽쳐의 조합을 단순히 참조하는 MPEG-1 및 MPEG-2에서의 P-픽쳐 또는 B-픽쳐에 비해 움직임 보상을 참조하는 픽쳐를 인코더가 선택할 수 있는 개량된 참조 픽쳐 선택 기술을 갖는다. 따라서, 종래의 비디오 코딩 표준에서의 움직임 보상에 대한 픽쳐의 순서 사이의 엄격한 의존도에 비해 참조와 디스플레이 목적의 픽쳐 순서에 보다 높은 융통성이 제공된다.

다른 비디오 코딩 표준에는 없는 H.264의 다른 기술은 H.264가 인코더에 의해 지시된 양만큼 움직임 보상 예측 신호를 가중하고 오프셋하여, 코딩 효율적으로 상당히 개선할 수 있다는 점이다.

종래의 모든 주요 코딩 표준(JPEG, MPEG-1, MPEG-2 등)은 변환 코딩을 위해 8×8의 블록 크기를 이용하지만, H.264 설계는 변환 코딩을 위해 4×4의 블록 크기를 이용한다. 이로써, 인코더는 보다 융통성 있는 방식으로 신호를 나타내어, 보다 정확한 움직임 보상과 열화 감소를 가능하게 한다. 또한, H.264는 컨텍스트 기반의 적응성을 이용하여 종래 표준에 비해 엔트로피 코딩의 성능을 향상시키는 2개의 엔트로피 코딩 방법(컨텍스트-적응성 가변 길이 코딩(CAVLC)과 컨텍스트-적응성 2진 산술 코딩(CABAC)이라 함)을 이용한다.

H.264는 여러 네트워크 환경에 있어서의 데이터 에러/손실에 대한 강건성을 제공한다. 예를 들어, 파라미터 세트 설계는 보다 유연한 방식으로 핸들링하기 위해 개별적으로 전송되는 강건한 헤더 정보를 제공하여, 몇 비트의 정보가 전송 동안에 손실될 지라도, 디코딩 프로세스에서 심각한 영향이 관찰되지 않게 한다. 데이터 강건성을 제공하기 위해서, H.264는 픽쳐를 슬라이스 그룹으로 분할하며, 여기서, 각각의 슬라이스는 MPEG-1 및 MPEG-2와 유사하게 다른 슬라이스와 별개로 디코딩될 수 있다. 그러나, MPEG-2에서의 슬라이스 구조는 H.264에 비해 덜 유연하여, 헤더 데이터 양의 증가와 예측 효과성의 감소로 인해 코딩 효율성을 감소시킨다.

강건성을 향상시키기 위해서, H.264는 픽쳐와 관련된 주된 정보가 손실되면, 손실 영역에 대한 중복 정보를 수신하여 픽쳐를 복원할 수 있도록, 픽쳐의 영역이 중복 인코딩되도록 한다. 또한, H.264는 전송을 위한 코딩 정보의 중요도에 따라서 각각의 슬라이스의 구문을 다수의 상이한 구획으로 분리한다.

ATSC/DVB

ATSC는 디지털 HDTV 및 SDTV를 포함한 DTV에 대한 국제적으로 비영리 조직이 개발한 자발적 표준이다. ATSC 디지털 TV 표준, 개정 B(ATSC 표준 A/53B)는 MPEG-2 인코딩에 기초한 디지털 비디오에 대한 표준을 규정하며, 예를 들어, 19,29Mbps에서 1920×1080 화소/셀(2,073,600 화소)만큼 큰 비디오 프레임을 가능하게 한다. 디지털 비디오 방송 프로젝트(DVB - 35 나라에 걸친 300개의 방송국, 제작업체, 네트워크 운영자, 소프트웨어 개발업자, 규제 기관 등)는 DTV에 대한 유사한 국제 표준을 제공한다. 유럽 내에서의 케이블, 위성 및 지상파 TV 네트워크의 디지털화는 디지털 비디오 방송(DVB) 계열의 표준을 기반으로 하지만, 미국과 한국은 디지털 TV 방송을 위해 ATSC를 이용한다.

ATSC와 DVB 호환(또는 인터넷 프로토콜(IP) TV)의 디지털 스트림을 보기 위해서, 사용자의 TV 세트와 연결되거나 관련될 수 있는 디지털 STB가 TV 시장을 침투하기 시작했다. 본 명세서에 있어서, STB 용어는 퍼스널 컴퓨터(PC)와 모바일 장치를 포함한, TV 프로그램의 일부분 또는 비디오 스트림을 수신, 저장, 처리, 디코딩, 반복, 편집, 수정, 디스플레이, 재생 또는 수행하기 위한 모든 그러한 디스플레이, 메모리, 또는 인터페이스 장치를 지칭한다. 이러한 새로운 가전제품을 이용하여, TV 시청자는 방송 프로그램을 디지털 비디오 리코더(DVR)의 로컬 또는 기타 관련 데이터 저장부에 MPEG-2 등의 디지털 비디오 압축 형태로 기록할 수 있다. 일반적으로, DVR은 예를 들어, 관련 저장부 또는 자신의 로컬 저장부 또는 하드 디스크에 기록 기능을 가진 STB로서 생각된다. DVR에 의해, TV 시청자는 그들이 원하는 방식으로(시스템의 제한 범위 내에서), 또한, 그들이 원하는 시간에(일반적으로, "온 디멘드"라고 함), 프로그램을 시청할 수 있다. 디지털로 기록된 비디오의 속성으로 인해서, 시청자는 고속 재생 및 되감기 등의 종래의 비디오 카셋트 리코더(VCR) 타입 제어에 추가로, 기록된 프로그램의 특정 포인트에 바로 액세스하는 기능("임의 접근"라고 함)을 가질 수 있다.

표준 DVR에서, 입력 장치는 고주파(RF) 튜너, 통신 네트워크(예, 인터넷, 공중 교환 전화망(PSTN), WAN, LAN, 무선 네트워크, 광 파이버 네트워크, 또는 다른 등가물), 또는 CD와 DVD 등의 보조 판독 전용 디스크로부터 ATSC, DVB, 디지털 멀티미디어 방송(DMB) 및 디지털 위성 시스템(DSS)(이들 대부분은 MPEG-2 TS를 기반으로 함) 등의 다수의 디지털 형태로 비디오 스트림을 획득한다.

일반적으로, DVR 메모리 시스템은 입력 장치의 역다중화기를 제어할 수 있는 프로세서의 제어하에 동작한다. 일반적으로, 프로세서는 시청자가 조작한 사용자 제어 장치로부터 수신한 명령어에 응답하도록 프로그래밍된다. 예컨대, 사용자 제어 장치를 이용하여, 동조 및 복조된 채널 신호로부터 프레임의 하나 이상의 시퀀스를 공급하라는 명령어 신호를 역다중화기로 전송하며, 이들은 임의 액세스 메모리에 압축된 형태로 모여져서 디스플레이 장치에 디스플레이하기 위해 메모리를 통해 압축 해제기/디코더에 공급되는 것과 같이, 시청자는 시청할 (또한 버퍼에 기록된) 채널을 선택할 수 있다.

DVB 서비스 정보(SI, Service Information)와 ATSC 프로그램 특정 정보 프로토콜(PSIP, Program Specific Information Protocol)은 제각기 DTV 신호를 DVB와 ATSC 시스템에 연결시키는 핵심 역할을 한다. ATSC(또는 DVB)는 PSIP(또는 SI)가 방송 신호를 수반할 수 있게 하며, 디지털 STB와 시청자가 증가된 개수의 디지털 서비스를 네비게이팅하는 것을 돕고자 하는 것이다. ATSC-PSIP와 DVB-SI는 "ATSC Standard A/53C with Amendment No. 1:ATSC Digital Television Standard", Rev. C, "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev. B 2003년 3월 18일(www.atsc.org를 참조), "ETSI EN 300 468 Digital Video Broadcasting (DVB); Specification for Service Information ( SI ) in DVB Systems "(www.etsi.org를 참조)에 상세히 설명되어 있다.

DVB-SI와 ATSC-PSIP 내에서, 이벤트 정보 테이블(EIT)은 프로그램("이벤트") 정보를 제공하는 수단으로서 특히 중요하다. DVB와 ATSC의 호환성에 있어서, 현재 방영 프로그램과 다음 프로그램에 대한 정보를 제공하는 것이 필수적이다. EIT는 프로그램 제목, 시작 시간, 방영 시간, 설명 및 성인 등급 등의 정보를 제공하는데 사용될 수 있다.

"ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev. B, 2003년 3월 18일(www.atsc.org를 참조) 문헌에서, PSIP는 ATSC의 자발적 표준이며, 그 표준의 한정된 부분만이 연방 통신 위원회(FCC)에서 현재 요구하는 것이라는 것을 알아야 한다. PSIP는 디지털 TV의 지상파 방송을 위해 TS 내에서 동작하도록 설계된 테이블의 집합체이다. 그 용도는 특정 TS에 있는 모든 가상 채널에 대한 시스템과 이벤트 레벨에서의 정보를 기술하는 것이다. 일반적으로, 베이스 테이블의 패킷은 베이스 패킷 식별자(PID 또는 베이스 PID)로 라벨 표기된다. 베이스 테이블은 시스템 타임 테이블(STT), 등급 지역 테이블(RRT), 마스터 가이드 테이블(MGT), 가상 채널 테이블(VCT), EIT 및 익스텐트 텍스트 테이블(ETT)을 포함하며, PSIP 테이블의 집합체는 전형적인 디지털 TV 서비스의 구성 요소를 기술한다.

STT는 현재 일자 및 시간(time of day)을 규정하고, 동기화를 필요로 하는 응용 프로그램에 필요한 시간 정보를 갖는다. 시간 정보는 1초 내의 정확도로 1980년 1월 6일 오전 12시 정각부터, 현재의 GPS 시간에 기초하여 STT 내의 system_time 필드에 의해 시스템 시간으로 주어진다. DVB는 시간 및 일 테이블(TDT)로 불리는 유사한 테이블을 가진다. 시간의 TDT 기준은, "ETSI EN 300 468 Digital Video Broadcasting (DVB); Specification for Service Information (SI) in DVB systems" (www.etsi.org를 참조)에 기재되어 있는 바와 같이, 협정 세계시(UTC)와 개정된 율리우스 일(MJD)을 기초로 한다.

등급 지역 테이블(RTT)은 시스템 등을 구비한 각 국가에서 사용하기 위한 등급 시스템을 전송하도록 설계되었다. 미국에서, 이 등급 시스템은 부적절하지만 종종 "V-칩" 시스템이라 하며, 적절한 제목은 "TVPG(Televison Parental Guidelines"이다. 다국간 시스템에 대한 규정이 또한 만들어졌다.

마스터 가이드 테이블(MGT)은 PSIP 표준을 포함하는 다른 테이블에 대한 색인 정보를 제공한다. 또한, 디코딩 동안에 메모리 할당에 필요한 테이블 크기를 규정하고, 갱신될 필요가 있는 테이블을 식별하는 버전 번호를 규정하고, 테이블에 라벨 표시하는 패킷 식별자를 생성한다. 예시적인 마스터 가이드 테이블(MGT)와 그 용도는 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable, Rev.B 18 March 2003"(www.atsc.org를 참조)에서 찾을 수 있다.

또한, 지상파 VCT(TVCT)로 불리는 가상 채널 테이블(VCT)은 온라인 상태 또는 온라인 상태일 수 있는 모든 채널의 리스트와, 속성을 포함한다. 주어진 속성 중에는 짧은 채널 명과, 채널 번호(메이저와 마이너)와, 캐리어 주파수와, 서비스가 물리적으로 전달되는 방법을 식별하는 변조 모드가 있다. 또한, VCT는 특정 로컬 채널을 나타내는데 중요한 소스 식별자(ID)를 포함한다. 각각의 EIT는 3시간 동안 자신의 프로그램이 어느 마이너 채널을 통해서 전송되는지를 식별하는 소스 ID를 포함한다. 따라서, 소스 ID는 프로그램 서비스를 목표로 하는데 사용될 수 있는 URL 방법으로 간주할 수 있다. 소스 ID 유형의 URL은 통상의 인터넷 URL에서의 인터넷 도메인 명과 같이 대다수는 자기 자신을 참조 서비스의 물리적인 위치와 관련시킬 필요가 없으며, 소스 ID의 규정에 새로운 레벨의 유연성을 제공한다. 또한, VCT는 아날로그 TV, 디지털 TV 또는 다른 데이터가 공급되고 있는지를 나타내는 서비스 유형에 대한 정보를 포함한다. 또한, 서비스의 패킷을 식별하는 PID를 나타내는 기술어(descriptor)와, 확장된 채널명 정보에 대한 기술어를 포함한다.

EIT 테이블은 각각의 가상 채널의 프로그램 스케줄 정보에 관한 정보를 가진 PSIP 테이블이다. 일반적으로, EIT의 각각의 인스턴스는 3시간의 범위를 커버하고, 이벤트 방영 시간, 이벤트 제목, 선택적인 프로그램 콘텐츠 권고 데이터, 선택적인 자막 데이터 및 오디오 서비스 기술자 등의 정보를 제공한다. 현재, EIT-0 부터 EIT-127까지의 최대 128개의 EIT가 있으며, 이들 각각은 3시간의 시간 간격 동안에 이벤트 또는 TV 프로그램을 기술한다. EIT-0은 "현재" 3시간의 프로그램을 나타내며, 일반적으로, 현재 프로그램에 대한 자막, 등급 정보 및 다른 필수적이고 선택 사항의 데이터를 포함할 때 몇몇 특수한 조건을 가진다. EIT의 현재 최대 개수는 128이기 때문에, 프로그램의 최대 16일까지 사전에 광고될 수 있다. 최하로, 처음 4개의 EIT는 모든 TS에 항상 존재해야 하며, 24개가 권고된다. 각각의 EIT-k는 다수의 인스턴스를 가지며, 각각의 인스턴스는 VCT의 가상 채널을 갖는다. 현재의 EIT 테이블은 미래에 제한된 시간 동안 사용 할 수 있는 현재 이벤트와 미래의 이벤트에 대한 정보만을 포함한다. 그러나, 사용자는 이전에 방송한 프로그램에 대해 보다 상세히 알고자 할 수도 있다.

ETT 테이블은 이벤트 및/또는 채널에 대한 다양한 언어의 상세한 설명을 포함하는 옵션 테이블이다. ETT 테이블내의 상세한 설명은 고유 식별자에 의해 이벤트 또는 채널에 매핑된다.

"ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)의 문헌에는, 다수의 ETT와, VCT 내의 가상 채널을 설명하는 하나 이상의 채널 ETT 섹션과, 각각이 EIT-k내의 이벤트를 설명하는 ETT-k가 있다는 것을 기재하고 있다. 제목에 대한 문자의 개수가 EIT에서 제한되어 있기 때문에, 전체 이벤트에 대한 추가 정보를 전송하고자 하는 경우에는 ETT가 사용된다. 이들 ETT는 모두 MGT 내에 리스트되어 있다. ETT-k는 관련 EIT-k에서 각각의 이벤트에 대한 테이블 인스턴스를 포함한다. 명칭이 암시하듯이, ETT의 목적은 텍스트 메시지를 운송하는 것이다. 예를 들어, VCT의 채널에 있어서, 메시지는 채널 정보, 비용, 다음에 방송될 영화 정보 및 다른 관련 데이터를 기술할 수 있다. 유사하게, EIT에 리스트된 영화 등의 이벤트에 있어서, 전형적인 메시지는 영화 자체를 설명하는 단문의 단락일 수 있다. ETT는 ATSC 시스템에서는 선택 사항이다.

PSIP 테이블은 짧은 반복 사이클을 가진 짧은 테이블과 긴 사이클 시간을 가진 큰 테이블의 조합을 갖는다. 하나의 테이블의 전송은 다음 섹션이 전송되기 전에 완료되어야 한다. 따라서, 큰 테이블의 전송은, 고속 사이클 테이블이 지정된 시간에 달성할 있도록 단시간 내에 완료되어야 한다. 이에 대해서는 "ATSC Recommended Practice: Program and System Information Protocol Implementation Guidelines for Broadcasters"(www.atsc.org/standards/a_69.pdf를 참조)에 충분히 설명되어 있다.

자막 방송

자막 방송은 TV 프로그램 상의 대화, 배경 잡음 및 사운드 효과를 설명하는 시각적인 텍스트를 제공하는 기술이다. 자막 텍스트는 다양한 폰트와 레이아웃으로 디스플레이 비디오 상에 중첩된다. NTSC 등의 아날로그 TV의 경우에, 자막은 비디오 신호의 수직 회귀 기간(VBI)의 라인 21 상에 인코딩된다. VBI의 라인 21은 화면 정보를 가지고 있지 않기 때문에, 자막 텍스트를 갖도록 특별히 예약되어 있다. ATSC 등의 디지털 TV의 경우에, 자막 텍스트는 MPEG-2 비디오 비트 스트림의 화면 사용자 비트 내에 있다. 전송되는 자막의 존재와 형태에 대한 정보는 EIT와 MPEG-2의 테이블인 프로그램 맵 테이블(PMT) 내에 포함된다. 테이블은 프로그램(비디오, 오디오 등)을 합성하는 구성 요소로 프로그램을 매핑한다. MPEG-4의 경우에, 자막 텍스트는 동일 클록을 공유함으로써 비디오와 프레임 단위로 동기화될 수 있는 BIFS 스트림의 형태로 전달된다. DTV 자막 방송에 대한 보다 확대된 정보 는 "EIA/CEA-708-B DTV Closed Captioning(DTVCC) standard"(www.ce.org를 참조)에서 찾을 수 있다.

DVD

디지털 비디오(또는 다목적) 디스크(DVD)는 엔터테인먼트 및 컴퓨터 사용 모두에 적합한 다용도 광 디스크 저장 기술이다. 엔터테인먼트 제품으로서의 DVD는 일반적으로 VCR, 디지털 테이프 및 CD 등의 대체물에 비해 보다 양호한 고화질의 비디오로 홈 시어터를 경험할 수 있게 한다.

DVD는 엔터테인먼트를 위해서 소비자가 사전 녹화된 영화 장치를 이용하는 방식에 급격한 변화를 가져왔다. MPEG-2 등의 비디오 압축 표준을 이용하여, 콘텐츠 제공업자는 하나의 DVD 디스크 상에 2시간 이상의 고화질 비디오를 일반적으로 저장할 수 있다. 양면의 이중층 디스크에서는, DVD가 VHS TV 화질 비디오의 대략 30 시간에 해당하는 대략 8시간의 압축 비디오를 수용할 수 있다. 또한, DVD는 와이드 스크린 영화 지원과, 최대 8개의 디지털 오디오 트랙과, 스크린 메뉴와 단순한 대화식 특징과, 최대 9개의 카메라 앵글과, 즉시 되감기 및 고속 재생 기능과, 제목명의 다국어 식별 텍스트와, 비디오의 앨범명, 노래명 및 자동 심리스-브랜칭(Seamless-Branching) 등의 개선된 기능을 갖는다. 또한, DVD는 화상과 텍스트 등의 추가 정보와 함께 세그먼트의 시작과 방영 시간을 규정함으로써(제한되지 않지만, 효과적인 임의 접근 관점을 제공), 구획 선택 기능의 특징으로 원하는 장면을 획득하는 유용한 대화식 방법을 사용자가 가질 수 있다. 광학 포맷으로서, DVD 화질은 비디오 테이프(자기 저장 미디어)에 비해, 시간이 지남에 따른 또한 반복 사용으로 인한 저하는 없다. 현재의 DVD 리코딩 포맷은 NTSC 아날로그 콤포지트 비디오보다는, 4:2:2 컴포넌트 디지털 비디오를 이용하여, 현재의 종래의 NTSC와 비교하여 화질을 상당히 향상 되었다.

TV-Anytime 및 MPEG-7

TV 시청자는 현재 방송되고 있고 방송될 채널 번호, 프로그램 제목, 시작 시간, 종료 시간, 장르, 등급(가능하면) 및 시놉시스 등의 프로그램 정보를 EPG를 통해 현재 제공받고 있다. 이때에, EPG는 방송되고 있고 미래에 제한된 시간 동안 이용할 수 있는 현재 및 미래의 이벤트에 대한 정보만을 포함한다. 그러나, 사용자는 이미 방송된 프로그램에 대해 보다 상세히 알고자 할 수도 있다. 방송 프로그램을 저장할 수 있는 DVR의 기능으로 인해 이러한 요구가 발생하였다. EPG 데이터 포맷에 근거한 상업적 DVR 서비스는 TiVo(www.tivo.com을 참조)와 같은 회사에서 시행중이다.

EPG 통해 현재 전달된 프로그램 제목 또는 줄거리 등의 단순한 서비스 정보는 사용자가 채널을 선택하고 프로그램을 녹화하도록 안내하기에 충분할 것으로 보인다. 그러나, 사용자는 DVR의 녹화된 프로그램 내에서 특정의 세그먼트에 신속하게 액세스 하고자 한다. 현재의 DVD 영화의 경우에는, 사용자가 "막별 장면 선택" 인터페이스를 통해 비디오의 특정 부분에 액세스 할 수 있다. 녹화된 프로그램의 특정 세그먼트로의 액세스는 "비디오 인덱싱"으로 불리는 프로세스를 통해 생성될 수 있는 각 세그먼트의 제목, 카테고리, 시작 위치 및 방영 시간의 세그먼트 정보를 필요로 한다. 프로그램의 세그먼트 정보 없이 특정의 세그먼트에 액세스하기 위해서, 시청자는 현재 고속 재생 버튼을 이용하는 것과 같이, 시작 부분부터 프로그램 전체를 선형으로 탐색해야 하며, 이러한 탐색은 많은 시간이 소비된다.

TV-Anytime

개인 사용자에 의해 액세스 가능한 소비자 전자 장비에 대한 AV 콘텐츠와 데이터의 로컬 저장은 다양한 잠재적인 새로운 응용과 서비스를 열어준다. 현재, 사용자는 방송 프로그램 스케줄을 이용하여 관심 콘텐츠를 쉽게 녹화하여 프로그램을 나중에 시청할 수 있다. 그리고 지상파, 케이블, 위성, 인터넷 등의 여러 입력 소스에 접속된 장치를 통해 보다 고급 및 개인 맞춤형 콘텐츠 및 서비스를 이용할 수 있다. 따라서, 소비자 장치들은 3개의 주 공급자 그룹, 즉, 콘텐츠 작성자/소유자, 서비스 제공업자/방송국 및 관련된 제 3 자 등에게 새로운 비즈니스 모델을 제공한다. 글로벌 TV-Anytime 포럼(www.tv-anytime.org 참조)은 소비자 전자 플랫폼의 대중 시장의 고용량 디지털 로컬 저장에 기초하여 시청각 서비스 및 다른 서비스를 가능하게 하는 사양(specifications)을 개발하고자 하는 기관 협회이다. 포럼은 1999년 9월에 형성된 이후 일련의 공개 사양을 개발해 왔다.

TV-Anytime 포럼은 새로운 잠재적인 비즈니스 모델을 확인하고, 사용자가 개인 저장 시스템 상의 콘텐츠를 탐색, 선택 및 올바르게 이용할 수 있는 콘텐츠 참조 식별자(CRID)를 이용한 콘텐츠 참조 방법을 도입하였다. CRID는 특히 특정의 새로운 비즈니스 모델을 가능하게 하기 때문에, TV-Anytime 시스템의 중요 부분이다. 그러나, 가장 중요한 점은 상술한 3개의 주 공급자 그룹 간에 규정된 비즈니스 관계가 없는 경우에는, 부정확하거나 승인되지 않은 콘텐츠로 매핑이 있다는 것이다. 이는 결과적으로 사용자가 열악한 체험을 하게 할 수 있다. 콘텐츠 참조의 핵심 개념은 실제 콘텐츠 아이템(예를 들어, 로케이터)을 검색하는데 필요한 정보로부터 콘텐츠 아이템(예를 들어, CRID)에 대한 참조를 분리하는 것이다. CRID에 의한 분리로 콘텐츠 참조와 콘텐츠의 로케이션 간의 1 대 다수 매핑이 가능하다. 따라서, 검색 및 선택은 CRID를 산출하고, 이는 다수의 CRID 또는 다수의 로케이터로 변환(resolving)된다. TV-Anytime 시스템에서, 주 공급자 그룹은 CRID를 발신하여 변환할 수 있다. 이상적으로, CRID는 콘텐츠 메타데이터의 유연성과 재활용 가능성을 제공하기 때문에, 방송 시스템으로의 CRID의 도입이 바람직하다. ATSC-PSIP과 DVB-SI 등의 기존의 방송 시스템에서, EIT 테이블 내의 각 이벤트(즉, 프로그램)는 16 비트로 고정된 이벤트 식별자(EID)로 식별된다. 그러나, CRID는 고급의 변환 메카니즘을 필요로 한다. 변환 메카니즘은 공급자 그룹이 보유한 변환 서버와 소비자 장치를 연결 할 수 있는 네트워크에 일반적으로 의존한다. 불행하게도, 변환 서버와 네트워크를 적절히 설립하는 데에는 오랜 시간이 걸릴 수 있다.

또한, TV-Anytime은 공급자 그룹과 소비자 장치 간에 교환될 수 있는 메타데이터의 포맷을 규정한다. TV-Anytime 환경에서, 메타데이터는 제목, 줄거리, 예정된 방송 시간 및 세그먼트 정보 등의 콘텐츠에 대한 기술 데이터뿐만 아니라 사용자 기호와 이력에 대한 정보를 포함한다. 특히, 기술 데이터는 전자 콘텐츠 가이 드로서 간주되기 때문에 TV-Anytime 시스템에서는 필수적인 구성 요소이다. TV-Anytime 메타데이터에 의해, 소비자는 상이한 형태의 콘텐츠를 브라우징, 네비게이팅 및 선택할 수 있다. 몇몇 메타데이터는 로컬 및 원격으로 전체 콘텐츠 범위에 대한 깊이 있는 기술, 개인 맞춤형 추천 및 상세한 설명을 제공할 수 있다. TV-Anytime 메타데이터에서, 프로그램 정보와 스케줄 정보는 예정된 정보가 CRID를 통해 대응 프로그램 정보를 참조하는 방식으로 분리된다. TV-Anytime에서 프로그램 정보를 스케줄 정보로 분리하면, 각각의 실례가 프로그램 정보의 공통 세트를 공유할 수 있기 때문에, 프로그램이 반복되거나 재방송될 때마다 유용한 효율성 이득을 또한 제공한다.

TV-Anytime 메타데이터의 스키마 또는 데이터 포맷은 일반적으로 XML 스키마로 기술되며, TV-Anytime 메타데이터의 모든 실례는 XML로 또한 기술된다. XML은 장황하기 때문에, TV-Anytime 메타데이터의 실례는 대용량의 데이터 또는 고대역폭을 필요로 한다. 예를 들어, TV-Anytime 메타데이터의 실례의 크기는 ATSC-PSIP 또는 DVB-SI 사양에 따른 등가의 EIT(이벤트 정보 테이블) 테이블보다 5 내지 20 배 클 수 있다. 대역폭 문제를 해결하기 위해서, TV-Anytime은 TV-Anytime 메타데이터를 등가의 이진 포맷으로 변환하는 압축/인코딩 메카니즘을 제공한다. TV-Anytime 압축 사양에 따르면, TV-Anytime 메타데이터의 XML 구조는 MPEG-7에 의해 채택된 XML의 효율적인 이진 인코딩 포맷인 BiM을 이용하여 코딩된다. 시간/일자 및 로케이터 필드는 또한 자신의 지정 코덱을 가진다. 또한, 스트링들은 전달층에서 효율적인 Zlib 압축이 이루어지기 위해서 전송 단위로 연결되어진다. 그러나, TV-Anytime에서 3개의 압축 기술을 이용함에도 불구하고, 압축된 TV-Anytime 메타데이터 실례의 크기는, 스트링이 짧을 때, 특히 100보다 적은 문자일 때 Zlib의 성능이 빈약하기 때문에, ATSC-PSIP 또는 DVB-SI의 등가의 EIT보다 심하게 작다. TV-Anytime에서의 Zlib 압축은 세그먼트의 제목 또는 디렉터의 기술 등의 작은 데이터 단위인 각각의 TV-Anytime 단편에 대해 실행되기 때문에, 일반적으로 Zlib의 양호한 성능을 기대할 수 없다.

MPEG-7

통상 "멀티미디어 콘텐츠 기술 인터페이스"로 불리는 MPEG-7은 멀티미디어 콘텐츠를 기술하기 위해 다양한 세트의 툴을 제공하는 표준이다. MPEG-7은 멀티미디어 콘텐츠로의 효과적이고 효율적인 액세스(탐색, 필터링 및 브라우징)를 가능하게 하는 메타데이터의 구성 요소와 그들의 구성 및 관계에 대한 포괄적인 시청각 기술 툴 세트를 제공한다. MPEG-7은 XML 스키마 언어를 DDL로서 이용하여 기술어와 기술 스키마 모두를 규정한다. 사용자 이력 등의 MPEG-7 사양의 일부는 TV-Anytime 사양에 포함된다.

비주얼 리듬 생성

비주얼 리듬(VR)은 비디오의 시각적 내용에 대한 정보를 포함(전달)하는 단일 영상(시각적 시간축)을 생성하기 위해 비디오를 매 프레임 서브샘플하는 것으로 알려진 기술이다. VR은 예를 들어, 샷 검출에 있어서 유용하다. 비주얼 리듬 화 상은 각 프레임을 횡단하는 사선 등의 샘플링 경로를 따라 존재하는 샘플링 화소에 의해 통상적으로 획득된다. 그 프레임에 대해 하나의 라인 화상이 생성되고, 결과적인 라인 화상들은 하나 다음에 하나식으로, 통상적으로 좌측에서 우측으로 적층된다. 단일의 화소 폭을 가진 비주얼 리듬의 각 수직 슬라이스는 소정의 경로를 따라 화소의 서브세트를 샘플링함으로써 각 프레임으로부터 획득된다. 이러한 방식으로, 비주얼 리듬 화상은 시청자/운영자가 커트, 와이프, 디졸브, 페이드, 카메라 움직임, 객체 움직임, 프래쉬광, 줌 등을 포함하는 여러 상이한 형태의 비디오 효과를 구별하고 분류(편집 및 다른 방법으로)할 수 있는 패턴 또는 비주얼 특징을 포함한다. 상이한 비디오 효과는 비주얼 리듬 화상에서 상이한 패턴으로서 자기 자신을 표명한다. 샷 경계와 샷 간의 변이는 비디오로부터 생성된 비주얼 리듬 화상을 관측함으로써 검출될 수 있다. 비주얼 리듬은 본 출원인에게 양도되었으며 또한 계류중인 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원, 2002/0069218로 공개)에 추가로 설명되어 있다. [TBD1]

쌍방향 TV

쌍방향 TV는 TV 시청자의 시청 경험을 개선하기 위해 다양한 매체와 서비스를 조합하는 기술이다. 쌍방향 TV를 통해서, 시청자는 아날로그 TV에서와 같이 픽쳐에 디스플레이되는 것을 수동적으로 시청하는 종래의 방식이 아니라, 콘텐츠/서비스 공급자가 의도한 방식으로 TV 프로그램에 참여할 수 있다. 쌍방향 TV는 뉴스 속보기, 주식 시세, 날씨 서비스 및 T 커머스 등의 다양한 종류의 쌍방향 TV 응용 을 제공한다. 쌍방향 TV에 대한 공개 표준 중 하나는 쌍방향 디지털 응용과 그 응용을 수신하여 방영하는 단말기(예, DVR)와의 일반적인 인터페이스를 제공하는 멀티미디어 홈 플랫폼(MHP)(미국에서는, MHP가 ACAP의 등가물과, ATSC 활동성과, OCAP에서 오픈케이블 컨소시엄이 지정한 오픈 케이블 응용 프로그램 플랫폼을 구비함)이다. 콘텐츠 제작자는 MHP 응용 프로그램 인터페이스(API)를 이용하여 대부분 JAVA로 기록된 MHP 응용 프로그램을 제작한다. MHP API는 프리미티브 MPEG 액세스, 미디어 제어, 튜너 제어, 그래픽, 통신 등을 위해서 다양한 API를 포함한다. MHP 방송국과 네트워크 운영자는 콘텐츠 제작자에 의해 생성된 MHP 응용 프로그램을 패킹하여 MHP 호환의 가전 제품 또는 STB를 가진 사용자에게 전달한다. MHP 응용 프로그램은 MHP 기반의 서비스를 DSM-CC의 전송 형태의 MPEG-2 TS에 삽입함으로써 STB에 전달된다. 그리고 DVR은 자바 가상 머신을 이용하여 MPEG-2 TS의 MHP 응용 프로그램을 수신하여 처리한다.

TV 프로그램의 실시간 인덱싱

생방송의 "신속 메타데이터 서비스"로 불리는 시나리오는 상술한 미국 특허 출원 제 10/369,333 호(2003년 2월 19일 출원)와 미국 특허 출원 제 10/368,304 호(2003년 2월 18일 출원)에 기재되어 있으며, 여기에서는, 프로그램이 방송되고 녹화되고 있는 동안에 방송 프로그램의 기술 메타데이터가 DVR에 전달된다. 축구 등의 스포츠 경기의 생방송의 경우에, TV 시청자는 생방송 경기를 시청하면서 그들의 좋아하는 선수의 플레이뿐만 아니라 경기의 하이라이트 이벤트를 선택적으로 시 청하고 검토하고자 한다. 프로그램을 기술하는 메타데이터 없이는, 시청자가 고속 재생 등의 종래의 제어 방식을 이용하여 하이라이트 이벤트 또는 물체(예를 들어, 스포츠 경기의 경우에는 선수 또는 특정 장면 또는 영화의 배우)에 대응하는 비디오 세그먼트를 알아내는 것은 쉽지 않다.

본 명세서에 기재된 바와 같이, 메타데이터는 의미적으로(semantically) 중요한 하이라이트 이벤트 또는 물체에 대응하는 각 비디오 세그먼트에 대한 시작 시간 위치를 나타내는 시간 위치, 방영 시간 및 텍스트 기술을 포함한다. 메타데이터는 미리 정의된 간격으로 또는 새로운 하이라이트 이벤트 또는 객체가 발생할 때마다 또는 방송할 때마다 실시간으로 생성되어 시청자에게 점차 전달되고, 하이라이트 이벤트 또는 객체에 의한 콘텐츠의 네비게이션 등의 보다 많은 정보 및 쌍방향의 TV 시청을 위한 메타데이터가 DVR의 로컬 저장부 또는 다른 장치에 저장될 수 있다. 또한, 녹화된 비디오의 전체 또는 일부는 이러한 추가 데이터를 이용하여 재생될 수 있다. 메타데이터는 대응하는 방송 TV 프로그램이 종료하는 직후에 단 1회 전달될 수 있으며, 새로 생성된 메타데이터는 전달되고 이전에 전달된 메타데이터를 갱신, 확장 또는 정정할 수 있다. 대안으로, 메타데이터는 이벤트(사전 녹화된 영화 등)의 방송 이전에 전달되며 방송될 때 프로그램과 연관된다. 또한, 이로써, 메타데이터의 방송 전, 방송 후 및 방송 동안의 여러 조합이 본 명세서에 의해서 고려된다.

신속 메타데이터 서비스의 중요 구성 요소 중 하나는 방송 TV 프로그램의 실시간 인덱싱이다. 비디오를 쌍방향 인덱싱 및 브라우징하는 시스템을 기재한 미국 특허 제 6,278,446 호("Liou")와 비디오 카탈로그 편집자 시스템을 기재한 미국 특허 제 6,360,234 호("Jain") 등에서, 비디오 인덱싱의 여러 방법을 제안하였다. 그러나, 이들 현존 및 기존의 시스템 및 방법은 특히 실시간 인덱싱 시스템에 있어서 그들의 공언하고 의도한 목표를 충족시키는데 부족하다.

종래의 다양한 방법이 자막 텍스트를 디코딩하고, 샷을 검출하여 클러스터링하고, 키 프레임을 선택하고, 얼굴 또는 음성을 인식하려고 시도(이들 모두는 비디오와 동기화될 수 있음)함으로써 단지 낮은 레벨의 메타데이터를 생성할 수 있다. 그러나, 화상 이해와 음성 인식에 대한 현 상태의 기술을 이용하여도, 여러 가지 이유로 하이라이트를 정확하게 검출하고, 이벤트 또는 객체의 의미론적으로 중요하고 실행상 유용한 하이라이트 요약을 생성하기 어렵다.

첫 번째로, 상술한 바와 같이, 의미적으로 중요한 다양한 하이라이트를 자동으로 인식하는 것이 어렵다. 예를 들어, "터치다운"의 키워드는 터치다운 하이라이트를 자동으로 찾기 위해서 디코딩된 자막 텍스트로부터 식별되며, 그 결과 다수의 오류 알람이 발생한다.

따라서, 본 개시 내용에 따르면, 의미적으로 중요하고 실행상 유용한 하이라이트를 생성하기 위해서는 사람 또는 다른 복잡한 분석 시스템 운영자의 개입을 여전히 필요로 하고 생성된 간략한 메타데이터는 방송이 종료된 후 적절한 시간이 지난 뒤 (약간 지연됨) 전달된다. 그리고 더욱 많은 정보를 포함하고 확대된 메타데이터는 일정 시간이 지난 후 제공되며, 물론 사전 녹화된 이벤트는 프로그램 방송 전, 방송 동안 및 방송 후에 메타데이터를 가질 수 있다. 원하는 경우에, 나중에 전달된 메타데이터는 이미 전송된 메타데이터, 나중에 전송된 메타데이터를 증가, 주석을 달거나 대체할 수 있다.

두 번째로, 종래의 방법은 실시간 구별된 하이라이트를 수동으로 마킹하는 효율적인 방법을 제공하지 못한다. 일련의 하이라이트가 단기간에 발생하는 경우를 고려하자. 새로운 하이라이트의 제목 및 추가의 텍스트 기술에 운영자가 타이핑하는 시간이 걸리기 때문에, 바로 다음의 이벤트를 놓칠 가능성이 있다.

미디어 로컬리제이션

임의의 주어진 시간적 오디오-비주얼 스트림 또는 파일 내에서의 미디어 로컬리제이션은 스트림의 시간 포인트를 지정하는 바이트 위치 정보 또는 미디어 시간 정보 중 하나를 이용하여 일반적으로 기술하였다. 다시 말하면, 오디오-비주얼 스트림 내의 특정 비디오 프레임의 위치를 기술하기 위해서, 바이트 오프셋(예를 들어, 비디오 스트림의 시작부로부터 스킵되는 바이트의 개수)이 사용되었다. 대안으로, 오디오-비주얼 스트림의 시작부로부터의 상대적인 시간 포인트를 기술하는 미디어 시간이 또한 사용되었다. 예를 들어, 쌍방향 인터넷 또는 초고속 네트워크를 통한 주문형 비디오(VOD)의 경우에, 각각의 오디오-비주얼 프로그램의 시작 위치와 종료 위치는, 각각의 프로그램이 VOD 서버의 저장부에 개별적인 미디어 파일의 형태로 저장되고 각각의 오디오-비주얼 프로그램이 각각의 클라이언트의 요구에 따라 스트리밍을 통해 전달되기 때문에, 0일 때의 미디어 시간과 오디오-비주얼 프로그램의 길이에 의하여 명백하게 규정된다. 따라서, 클라이언트 측에서의 사용자 는 메타데이터에서 설명한 바와 같이, 선택된 오디오-비주얼 스트림 내의 적절한 시간적 위치 또는 비디오 프레임으로의 액세스를 할 수 있다.

그러나, TV 방송에 있어서는, 디지털 스트림 또는 아날로그 스트림이 계속해서 방송되기 때문에, 각각의 방송 프로그램의 시작과 종료 위치가 명확하게 규정되지 않는다. 미디어 시간 또는 바이트 오프셋은 미디어 파일의 시작을 참조하여 일반적으로 규정되기 때문에, 쌍방향 응용 프로그램 또는 이벤트를 관련시키기 위해서, 또한, 오디오-비주얼 프로그램 내의 특정 위치로 액세스하기 위해서, 미디어 시간 또는 바이트 오프셋을 이용하여 방송 프로그램의 특정 시간의 위치를 기술하는 것은 애매하다.

방송 스트림에서의 정확한 프레임의 미디어 로컬리제이션 또는 액세스를 달성하는 기존의 해결책 중 하나는 PTS를 이용하는 것이다. PTS는 MPEG-2에서 규정된 바와 같이 PES 패킷 헤더에 존재할 수 있는 필드이며, 이는 프레젠테이션 단위가 시스템 타겟 디코더에 제공되는 시간을 나타낸다. 그러나, PTS만을 이용하는 것은 PTS의 최대값이 대략 26.5 시간에 해당하는 제한된 시간을 단순히 나타낼 수 있기 때문에, 방송 프로그램의 특정 시간 포인트 또는 프레임의 고유 표현을 제공하기에는 충분하지 않다. 따라서, 방송 스트림 내의 임의의 주어진 프레임을 유일하게 나타내기 위해서는 추가 정보가 필요할 것이다. 한편, 프레임 정확한 표현 또는 액세스가 필요하지 않으면, PST를 이용할 필요가 없으며, 따라서, 다음의 이슈를 피할 수 있다. 즉, PTS의 사용은 PES 층의 분석을 필요로 하며, 따라서, 계산적으로 비경제적이다. 또한, 방송 스트림이 스크램블되면, PST에 액세스하기 위 해서는 디스크램블 프로세스가 필요하다. MPEG-2 시스템 사양은 페이로드에 포함된 PES가 스크램블되는지 여부를 표시하는 TS 패킷 페이로드의 스크램블 모드에 대한 정보를 포함한다. 또한, 대부분의 디지털 방송 스트림은 스크램블되기 때문에, 실시간 인덱싱 시스템은 스트림이 스크램블 되는 경우에 인증된 디스크램블러 없이는 정확한 프레임으로 스트림에 액세스할 수 없다.

방송 프로그램의 미디어 로컬리제이션의 다른 기존의 해결책은 미디어 단편에 기지의 시간 참조를 제공하는 MPEG-2 DSM-CC NPT(Normal Play Time)를 이용하는 것이다. MPEG-2 DSM-CC 표준 재생 시간(Normal Play Time)(NPT)은 "ISO/IEC 13818-6 Information technology - Generic coding of moving pictures and associated audio information -- Part 6: Extensions for DSM-CC"(www.iso.org를 참조)에 상세히 설명되어 있다. DVB-MHP 방송 환경에서의 TV-Anytime 메타데이터의 응용에 있어서, NPT는 시간 기술을 위해서 사용되어야 한다고 제안되었고, 이에 대해서는 "ETSI TS 102 812:DVB Multimedia Home Plateform (MHP) Specification"(www.etsi.org를 참조)와, A McParland, J.Morris, M.Leban, S.Rarnall, A.Hickman, A. Ashley, M. Haataja, F.dejong의 "MyTV: A practical implementation of TV-Anytime on DVB and the internet"(International Broadcasting Convention, 2001)에 상세히 설명되어 있다. 그러나, 제안된 구현 예에서는, 헤드 단부와 수신 클라이언트 장치 둘 다는 NPT를 적절히 다룰 수 있어야 하기 때문에, 제어 부분이 매우 복잡해 질 것이다.

메타데이터 생성, 비디오 인덱싱/네비게이션 및 방송 모니터링의 방법이 공 지되어 있다. 이들의 예는 미국 특허 제 6,357,042 호와, 미국 특허 출원 제 10/756,858 호(2001년 1월 10일 출원, US 2001/0014210 A1로 공개)와, 미국 특허 제 5,986,692 호에서 찾을 수 있다.

TV 비디오 탐색과 DVR

비디오는 인터넷, 무선 네트워크, PSTN 및 방송 네트워크 등의 다양한 통신 네트워크를 통해서, 미디어 센터 PC, DTV, 인터넷 프로토콜 TV(IPTV) 및 휴대용 장치 등의 여러 클라이언트 장치를 구비한 사용자에게 광범위하게 이용되고 있다. 특히, DVR에 의해 TV 시청자는 EPG 정보를 이용하여 그들의 선호하는 TV 프로그램의 예약 녹화를 쉽게 할 수 있으며, 따라서, 바람직하게 DVR이 녹화를 시작하는 것에 기초하여 각 프로그램의 정확한 시작 시간을 제공할 수 있다. 따라서, TV 시청자는 DVR의 저장 용량이 커짐에 따라 거대한 양의 새로운 비디오 프로그램 및 파일에 쉽게 액세스할 수 있으며, 인터넷에 접속된 TV 및 STB/DVR이 더욱 보편화되고, 일반적인 TV 시청자 대부분이 TV 비디오 프로그램의 하나 이상의 프레임에 대한 정보를 쉽게 검색할 수 있게 하는 새로운 검색 방법을 필요로 한다.

예를 들어, 구글과 야후에 사용되는 인터넷 검색 엔진의 대부분은 텍스트 정보에 기초하여 다수의 웹 페이지를 인덱싱하고 구성하여, 사용자가 입력한 키워드와 관련된 웹 페이지를 탐색한다. 그러나, 현 기술 상태의 화상과 비디오 해석 기술을 이용하여 이미지/비디오 데이터의 의미있는 콘텐츠를 자동으로 인덱싱하는 것이 매우 어렵다. 야후와 구글 등의 인터넷 검색 회사는 비디오와 비디오 데이터를 검색하는 새로운 방법을 개발하고 있다.

2005년 1월에, 구글 회사는 구글 비디오, 즉, PBS, 폭스 뉴스, C-SPAN 및 CNN 등의 여러 채널로부터 TV 프로그램(www.vido.google.com를 참조)을 포함한 저장된 비디오의 자막 및 텍스트 설명을 사람들이 검색할 수 있게 하는 비디오 검색 엔진을 발표하였다. 이는 텍스트를 기초로 하여, 따라서, 사용자가 검색 용어를 타이핑할 필요가 있다. 사용자가 검색 결과 중 하나를 클릭할 때, 사용자는 비디오 및 관련 텍스트로부터 정지 화상을 볼 수 있다. 각각의 TV 프로그램에 있어서, 프로그램을 방송한 일자와 시간 등의 추가 정보 및 프로그램의 비디오 스트림으로부터 생성된 저지 화상의 리스트를 볼 수 있지만, 각 프로그램의 시작에 대응하는 정지 화상은 프로그래밍 스케줄에 따른 프로그램의 시작 시간이 종종 정확하지 않기 때문에, 방송 프로그램의 실제 시작(예를 들어, 제목 화상) 화상과 항상 일치하는 것은 아니다. 이들 문제점은 부분적으로 프로그래밍 스케줄이 프로그램이 방송되기 바로 직전에, 특히 라이브 스포츠 경기 또는 뉴스 등의 라이브 프로그램 후에, 종종 변할 수 있다는 사실로 인해 발생한다.

또한, 야후 회사는 사람들이 저장된 비디오의 텍스트 설명을 검색할 수 있게 하는 비디오 검색 엔진(www.video.yahoo.com를 참조)을 소개하였다. 이는 텍스트를 기반으로 하며 사용자는 검색 용어를 타이핑할 필요가 있다. Blinkx 등의 다른 비디오 검색 엔진 중 하나는 비디오를 캡처하여 오디오를 텍스트로 변환하는 고급 기술을 이용하며, 텍스트로 검색가능하게 한다(www.blinkx.tv를 참조).

또한, TV(또는 비디오) 시청자는, TV 프로그램(또는 비디오)을 시청하는 동 안에, TV 프로그램(또는 비디오) 또는 세그먼트에 관련된 정보에 대하여, 인터넷에 접속된 경우에, 로컬 데이터베이스 또는 웹 페이지를 검색하고자 한다. 그러나, 비디오 검색을 필요로 할 때마다 텍스트를 타이핑하는 것은 시청자에게 있어서는 불편한 일이며, 따라서, 사용자게 타이핑한 질의 입력에 기초하는 구글과 야후 등의 인터넷 검색 엔진에 사용되는 검색 방법보다 더 적절한 검색 방법을 개발하는 것이 바람직하다.

용어집

달리 언급되어 있지 않으면, 그들의 사용의 문맥으로부터 자명한 바와 같이, 본 명세서에 사용된 용어, 약어, 두문자어 또는 과학적인 기호 및 표기는 명세서와 가장 관련된 기술 분야에서의 통상의 의미로 주어진다. 다음의 용어, 약어 및 두문자어는 본 명세서에 포함된 설명에 사용될 수 있다.

ACAP

ACAP(Advanced Common Application Platform)는 OCAP(CableLabs OpenCable) 표준과 ATSC의 이전의 DTV 응용 프로그램 소프트웨어 환경(DASE) 사양과의 조합의 결과이다. ACAP에 대한 보다 상세한 설명은 "Candidate Standard: Advanced Common Application Platform (ACAP)"(www.atsc.org를 참조)에서 찾을 수 있다.

AL-PDU

AL-PDU는 기본 스트림의 액세스 단위 또는 그 일부분으로의 단편화이다. AL-PDU의 보다 상세한 설명은 "Information technology -- Coding of audio-visual objects -- Part 1: Systems" ISO/IEC 14496-1(www.iso.org를 참조)에서 찾을 수 있다.

API

API(Application Program Interface)는 2개의 소프트웨어 응용 프로그램 간에 인터페이스를 제공하는 수단으로서 응용 프로그램에 의해 참조될 수 있는 소프트웨어 콜 및 루틴 세트이다. API에 대한 설명 및 예는 Dan Appleman의 "Dan Appleman's Visual Basic Programmer's guide to the Win32 API"(Sams, February, 1999)에서 찾을 수 있다.

ASF

ASF(Advanced Streaming Format)는 특히 스트리밍을 위해서, 동기화된 디지털 오디오/비디오 데이터를 저장하도록 설계된 파일 포맷이다. ASF는 나중에 개선된 시스템 포맷으로 재명명된다. ASF에 대한 상세한 설명은 "Advanced Systems Format(ASF)Specification"(www.download.microsoft.com/download/7/9/0/790fecaa-f64a-4a5e-a430-0bccdab3f1b4/ASF_Specification.doc를 참조)"에서 찾을 수 있다.

ATSC

ATSC(Advanced Television Systems Committee.Inc)는 디지털 TV의 자발적인 표준을 개발하는 국제적인 비영리 기관이다. 미국과 한국 등의 국가는 디지털 방송을 위해서 ATSC를 채택하고 있다. ATSC에 대한 보다 상세한 설명은 "ATSC Standard A/53C with Amendment No. 1: ATSC Digital Television Standard, Rev.C"(www.atsc.org를 참조)에서 찾을 수 있다. 보다 상세한 설명은 Richard S.Chernock, Regis J.Crinon, Michael A.Dolan,Jr., John R. Mick의 "Data Broadcasting: Understanding the ATSC Data Broadcast Standard"(McGraw-Hill Professional, April 2001)에서 찾을 수 있으며, 또한, Mark Massel의 "Digital Television, DVB-T COFDM 및 ATSC 8-VSB"(Digitaltvbook.com, October 2000)에서 또한 입수가능하다. 대안으로, 디지털 비디오 방송(DVB)은 디지털 TV와 데이터 서비스의 글로벌 방송을 위해서, 유럽 및 다른 국가에서 채택한 글로벌 표준을 설계하는데 전념한 업계 콘소시엄이다.

AV

시청각

AVC

AVC(Advanced Video Coding)(H.264)는 ITU-T VCEG와 ISO/IEC MPEG의 가장 최근의 비디오 코딩 표준이다. AVC에 대한 설명은 Wiegand, T., Sullivan, G.J., Bjntegaard, G., Luthra, A.의 "Overview of the H.264/AVC video coding standard"의 비디오 기술의 회로 및 시스템, IEEE 트랜잭션, 권 13, Issue:7, 2003년 7월, 페이지 560-576에서 찾을 수 있으며, 다른 설명은 "ISO/IEC 14496-10: Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding"(www.iso.org를 참조)에서 찾을 수 있으며, 또 다른 설명은 (Wiley) Lain E.G.Richardson의 "H.264 and MPEG-4 Video Compression"에서 찾을 수 있으며, 이들 모두는 본 명세서에서 참조로 포함된다. MPEG-1과 MPEG-2는 AVC의 대안 또는 파생물이며, 디지털 비디오 압축용으로 고려되거나 채택되고 있다.

BD

BD(Blue-ray Disc)는 비디오, 멀티미디어, 게임, 오디오 및 다른 응용 프로그램 용도의 CD 크기의 고용량 저장 매체 디스크이다. BD의 상세한 설명은 "White paper for Blue-ray Disc Format" www.bluraydisc.com/assets/downloadablefile /general_bluraydiscformat-12834.pdf를 참조)에서 찾을 수 있다. DVD(디지털 비디오 디스크), CD(콤팩트 디스크), 미니디스크, 하드 드라이브, 자기 테이블, 회로 기반(플래쉬 RAM)의 데이터 저장 매체는 아날로그 또는 디지털 포맷으로의 저장용의 BD의 대체물 또는 파생물이다.

BIFS

BIFS(Binary Format For Scene)는 비디오 물체를 합성하여 MPEG-4의 장면을 형성하는 방법을 기술한 계층적 구조의 형태의 장면 그래프이다. BIFS의 상세한 설명은 Iain E.G.Richardson의 "H.264 and MPEG-4 Video Compression"(John Wiley & Sons, August, 2003)와, Touradj Ebrahimi, Fernando Pereira의 "The MPEG-4 Book"(Prentice Hall PTR, July, 2002)에서 찾을 수 있다.

BiM

MPEG-7의 2진 메타데이터(BiM) 포맷. BiM의 상세한 설명은 "ISO/IEC 15938-1: Multimedia Context Description Interface - Part 1 Systems"(www.iso.ch를 참조)에서 찾을 수 있다.

BMP

비트맵은 비트맵 이미지를 저장하도록 설계된 파일 포맷이며, 일반적으로, 마이크로소프트 윈도우 환경에서 사용된다.

BNF

BNF(Backus Naur Form)는 프로그래밍 언어 등의 구조문 언어의 구문론과 문법을 기술하는 정상적인 메타데이터 구문이다. BNF의 상세한 설명은 M.Marcotty & H.Ledgard의 "The world of Programming Languages"(Springer-Verlag 1986)에서 찾을 수 있다.

bslbf

비트 스트링, 좌측 비트 우선. 비트 스트링은 좌측을 우선 순위로 1과 0의 스트링으로 기록된다. bslbf에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information - Part 1: Systems" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

CA

CA(Conditional Access)는 시청자만이 시청하기 위해 지불한 프로그램을 시청할 수 있도록 비디오, 오디오 등의 콘텐츠에 미승인 사용자가 액세스하는 것을 차단하기 위한 시스템이다. CA에 대한 상세한 설명은 MarketResearch.com의 "Conditional access for digital TV: Opportunities and challenges in Europe and the US"(2002)에서 찾을 수 있다.

codec

enCOder/DECoder는 인코더와 디코더의 짧은 단어이다. 인코더는 데이터 압축을 위해서 데이터를 인코딩하는 장치이다. 압축기는 인코더를 대신에 사용되는 단어이다. 디코더는 데이터 압축을 위해서 인코딩되는 데이터를 디코딩하는 장치이다. 압축 해제기는 디코더 대신에 사용되는 단어이다. 코덱은 다른 형태의 코딩 및 디코딩 장치로 불린다.

COFDM

COFDM(Coded Octal Frequency Division Multiplex)은 유럽에서 대부분 사용되는 변조 방식이며, 디지털 비디오 방송(DVB)의 표준 세트에 의해 지원된다. 미국에서, ATSC는 등가의 변조 표준으로서 8-VSB(8 레벨 잔류 측파대)를 선택하였다. COFDM에 대한 상세한 설명은 Mark Massel의 "Digital Television, DVB-T COFDM and ATSC 8-VSB"(Digitaltvbook.com, October 2000)에서 찾을 수 있다.

CRC

CRC(Cyclic Redundancy Check)는 전송동안에 데이터에 에러가 발생하였는지 여부를 검사하는 32 비트 값으로서, ISO/IEC 13818-1의 부록 A(www.iso.org를 참조)에 추가로 설명되어 있다.

CRID

CRID(Content Reference IDentifier)는 다양한 네트워크에 걸쳐 분포된 프로그램의 위치와 프로그램의 메타데이터 간을 브리지하도록 고안된 식별자이다. CRID에 대한 상세한 설명은 "Specification Series:S-4 N: Content Referencing" (http://tv-anytime.org)에서 찾을 수 있다.

CTS

합성 타임 스탬프는 합성을 위한 합성 메모리에서 합성 단위를 획득할 수 있 는 시간이다. PST는 CTS의 대안 또는 파생물이며, MPEG-2용으로 고려되거나 채택된다. CTS에 대한 상세한 설명은 "Information technology -- Coding of audio-visual objects -- Part 1: Systems" ISO/IEC 14496-1(www.iso.org를 참조)에서 찾을 수 있다.

DAB

라디오를 통해 콤팩트 디스크(CD) 음질의 사운드, 텍스트, 데이터 및 비디오를 제공하는 지상파 네트워크의 디지털 오디오 방송(DAB). DAB에 대한 상세한 설명은 www.worlddab,org/about.aspx에서 찾을 수 있다. 보다 상세한 설명은 W.Hoeg, Thomas Lauterbach의 "Digital Audio Broadcasting: Principles and Applications of Digital Radio"(John Wiley and Sons, Ltd)에서 또한 찾을 수 있다.

DASE

DTV 응용 프로그램 소프트웨어 환경(DASE)은 셋톱 박스 등의 디지털 TV 수신기에서의 개선된 기능의 플랫폼을 규정하는 ATSC의 표준이다. DASE에 대한 상세한 설명은 "ATSC Standard A/100: DTV Application Software Environment - Level 1 (DASE-1)"(www.atsc.org를 참조)에서 찾을 수 있다.

DCT

DCT(Discrete Cosine Transform)는 공간 도메인으로부터 주파수 도메인으로의 변환 함수, 임의 유형의 변환 코딩이다. DCT에 대한 상세한 설명은 Alan V.Oppenheim, Ronald W.Schafer, John R.Buck의 "Discrete-Time Signal Processing"(Prentice Hall, 2nd edition, February 1999)에서 찾을 수 있다. 웨이블릿 변환은 JPEG-2000와 AVC(Advanced Video Coding) 등의 여러 압축 표준의 대체 또는 파생물이다. 웨이블릿에 대한 상세한 설명은 C. Sidney Burrus, Ramesh A. Gopinath의 "Introduction on Wavelets and Wavelets Transforms"(Prentice Hall, 1st edition, August 1997)에서 찾을 수 있다. DCT는 MPEG-4 표준에서와 같이, 비디오 압축 등의 다른 변환 기능과 웨이블릿과 조합될 수 있으며, Iain E.G.Richardson의 "H.264 and MPEG-4 Video Compression"(John Wiley & Sons, August 2003)와 Touradj Ebrahimi, Fernando Pereira의 "The MPEG-4 Book"(Prentice Hall, July 2002)에 충분히 기재되어 있다.

DCCT

DCCT(Directed Channel Change Table)는 시청 경험이 개선될 수 있을 때 방송국이 시청자에게 채널을 변경할 것을 추천하는 것을 가능하게 하는 테이블이다. DCCT에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

DDL

DDL(Description Definition Language)은 새로운 기술 방법과 가능하다면, 기술어를 생성할 수 있는 언어로서, 기존의 기술 방법을 확장하고 변경할 수 있다. DDL에 대한 상세한 설명은 B. S. Manjunath, Philippe Salembier와 Thoma Sikora의 "Introduction to MPEG-7: Multimedia Content Description Language"(John Wiley & Sons, June 2002)에서 찾을 수 있다. 특히 대안으로, DDL은 데이터베이스 설계자 또는 데이터베이스 관리자가 데이터베이스 방법을 규정하는데 사용되는 데이터 정의 언어로서 해석될 수 있다. DDL에 대한 상세한 설명은 R.Elmasri와 S.B.Navathe의 "Fundamentals of Database Systems"(Addison Wesley, July 2003)에서 찾을 수 있다.

DirecTV

DirecTV는 TV용 디지털 위성 서비스를 제공하는 회사이다. DirecTV에 대한 상세한 설명은 www.directv.com/에서 찾을 수 있다. Dish Network (www. dishnetwork.com), Voom(www.voom.vom) 및 SkyLife(www.skylife.co.kr)는 다른 디지털 위성 서비스를 제공하는 다른 회사이다.

DMB

한국에서 상업화된 디지털 멀티미디어 방송(DMB)은 고속으로 이동하는 휴대용 수신기(소형 TV, PDA 및 휴대 전화)에 다양한 정보(예를 들어, 뉴스, 교통 정보)뿐만 아니라 CD 음질의 오디오, 비디오, TV 프로그램을 제공하는 새로운 멀티미디어 방송 서비스이다.

DSL

디지털 가입자 회선(DSL)은 인터넷에 접속되어 사용되는 고속 데이터 회선이다. ADSL와 VDSL 등의 다른 유형의 DSL이 개발되었다.

DSM-CC

디지털 저장 미디어 - 커맨드 및 제어(DSM-CC)는 멀티미디어 광대역 서비스 의 전송을 위해 개발된 표준이다. DSM-CC에 대한 상세한 설명은 "ISO/IEC 13818-6, Information technology - Generic coding of moving pictures and associated audio information -- Part 6: Extensions for DSM-CC"(www.iso.org를 참조)dptj 찾을 수 있다.

DSS

디지털 위성 시스템(DSS)은 디지털 데이터를 방송하는 위성 네트워크이다. DSS의 일예는 디지털 TV 신호를 방송하는 DirecTV이다. DSS는 특히 TV와 컴퓨터가 정보와 엔터테인먼트의 조합 또는 단일 매체로 집중할 때 더 중요하게 될 것으로 기대된다(www.webopedia.com를 참조).

DTS

디코딩 타임 스탬프(DTS)는 디코딩의 의도 시간을 나타내는 타임 스탬프이다. DTS에 대한 보다 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information-Part 1:Systems" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

DTV

디지털 TV(DTV)는 오디오, 비디오 및/또는 관련 정보를 나타내는 아날로그 신호보다는 디지털 신호를 수신하는 것을 특징으로 하는 현재의 아날로그 TV를 확대하거나 대체한 대안의 오디오-비주얼 디스플레이 장치이다. 비디오 디스플레이 장치는 음극선관(CRT), 액정 디스플레이(LCD), 플라즈마 및 여러 프로젝션 시스템을 포함한다. 디지털 TV는 Herve Benoit의 "Digital Television: MPEG-1, MPEG-2 and Principles of the DVB System"(Butterworth-Heinemann, June, 1997)에 상세히 기재되어 있다.

DVB

디지털 비디오 방송은 유럽 등 여러 국가에서 주로 채택한 디지털 TV 방송의 사양이다. DVB에 대한 상세한 설명은 Ulrich Reimers의 "DVB: The Family of International Standards for Digital Video Broadcasting"(www.dvb.org를 참조)에서 찾을 수 있다. ATSC는 DVB의 대체 또는 파생물로서, 미국과 한국 등의 여러 국가에서 디지털 방송을 위해서 고려되거나 채택되고 있다.

DVD

디지털 비디오 디스크(DVD)는 비디오, 멀티미디어, 게임, 오디오 및 다른 응용 프로그램 용의 CD 크기의 고용량 저장 매체 디스크이다. DVD에 대한 상세한 설명은 "An Introduction to DVD Formats"(www.disctronics.co.uk/downloads/ tech_docs/dvdintroduction.pdf를 참조)와 Tony Hendley의 "Video Discs Compact Discs and Digital Optical Discs Systems"(Information Today, June 1985)에서 찾을 수 있다. CD(콤팩트 디스크), 미니디스크, 하드 드라이브, 자기 테이블, 회로 기반(플래쉬 RAM) 데이터 저장 매체는 아날로그 또는 디지털 포맷으로 저장하기 위한 DVD의 대체 또는 파생물이다.

DVR

디지털 비디오 리코더(DVR)는 일반적으로 예를 들어, 관련 저장부 또는 로컬 저장부 또는 하드 디스크에서의 녹화 기능을 가진 STB로서 간주된다. DVR에 대한 상세한 설명은 Yankee Group의 "Digital Video Recorders: The Revolution Reamins On Pause"(MarketReaerch.com, April 2001)에서 찾을 수 있다.

EIT

이벤트 정보 테이블(EIT)은 소정의 가상 채널 상에서의 시작 시간, 방영 시간, 제목 등의 이벤트에 관련된 필수 정보를 포함하는 테이블이다. EIT에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

EPG

전자 프로그램 가이드(EPG)는 짧은 설명과 함께 현재 프로그램과 미래의 프로그램에 대한 정보를 제공한다. EPG는 인쇄된 TV 프로그램 가이드와 등가의 전자 장치이다. EPG에 대한 상세한 설명은 Datamonitor의 "The evolution of the EPG: Electronic program guide development in Europe and the US" (MarketReaearch.com)에서 찾을 수 있다.

ES

기본 스트림(ES)은 시퀀스 헤더 및 시퀀스의 하위 부분과 함께 비디오 또는 오디오 데이터를 포함하는 스트림이다. ES에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information - Part 1: Systems" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

ESD

이벤트 세그먼트 기술어(ESD, Event Segment Descriptor)는 프로그램 또는 이벤트의 세그먼트화 정보를 기술하기 위해 프로그램 및 시스템 정보 프로토콜(PSIP)과 시스템 정보(SI)에 사용되는 기술어이다.

ETM

확장형 텍스트 메시지(ETM)는 몇몇 상이한 언어로 설명을 나타내는데 사용되는 스트링 데이터 구조이다. ETM에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Infromation Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

ETT

확장형 텍스트 테이블(ETT)은, 필요한 경우 가상 채널 및 이벤트의 보충적 기술을 제공하는 확장형 텍스트 메시지(ETM)를 포함한다. ETM에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Infromation Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

FCC

연방 통신 위원회(FCC)는 연방 의회에서 직접 관할하는 독립적인 미국 정부 기관이다. FCC는 1934년에 통신 법령에 의해 설립되어 라디오, 텔레비젼, 유선, 위성 및 케이블에 의한 주간 및 국제 통신을 조정하는 역할을 하고 있다. 보다 많은 정보는 그들의 웹 사이트(www.fcc.gov/aboutus.html를 참조)에서 찾을 수 있다.

F/W

펌웨어(F/W)는 예를 들어, 전자 장치 또는 시스템 상에서 프로그램을 동작(또는 운용)하기 위해 전자 제어기 장치(마이크로제어기 또는 마이크로프로세서 등)와 연결될 수 있는 상태 메모리(프로그래밍가능 판독 전용 메모리(PROM))에 내장된 컴퓨터 프로그램 등의, 하드웨어(H/W)와 소프트웨어(S/W)의 조합이다. 보다 상세한 설명은 Ed Sutter의 "Embedded Systems Firmware Demystified"(CMP Books 2002)에서 찾을 수 있다.

GIF

GIF(Graphics Interchange Format)는 정지 화상, 카툰, 선화 및 삽화에 일반적으로 사용되는 비트 매핑형 그래픽 파일 포맷이다. GIF는 데이터 압축, 투명화, 비월 및 다수의 화상을 단일 파일 내에 저장을 포함한다. GIF에 대한 상세한 설명은 "GRAPHICS INTERCHANGE FORMAT (sm) Version 89a"(www.w3.org/Graphics/GIF/ spec-gif89a.txt)에서 찾을 수 있다.

GPS

GPS(Global Positioning Satellite)는 3차원 위치와 시간 정보를 제공하는 위성 시스템이다. GPS 시간은 1차 시간 소스로서 확대되어 사용된다. UTC(협정 세계시), NTP(네트워크 타임 프로토콜) 프로그램 클록 참조(PCT) 및 개정된 율리우스 일(MJD)은 GPS 시간의 대체 또는 파생물으로서 시간 정보를 제공하기 위해 고려되거나 채택되고 있다.

GUI

GUI(Graphical User Interface)는 윈도우, 버튼, 스크롤 바, 화상, 영화, 마우스 등의 구성 요소를 이용하는 전자 장치와 사용자 간의 그래픽 인터페이스이다.

HD-DVD

HD-DVD(High Definition-Digital Video Disc)는 비디오, 멀티미디어, 게임, 오디오 및 다른 응용 프로그램에 대한 CD 크기의 고용량 저장 매체 디스크이다. HD-DVD에 대한 상세한 설명은 DVD 포럼(www.dvdforum.org/를 참조)에서 찾을 수 있다. CD(콤팩트 디스크), 미니디스크, 하드 드라이브, 자기 테이프, 회로 기반(플래쉬 RAM 등)의 데이터 저장 매체는 아날로그 또는 디지털 포맷으로 저장하기 위한 HD-DVD의 대체 또는 파생물이다.

HDTV

HDTV(High Definition Televison)는 우수한 디지털 화질(해상도)을 제공하는 디지털 TV이다. 1080i(비월의 1920×1080 화소), 1080p(순차 1920×1080 화소) 및 720p(16:9 종횡비의 순차 포맷의 1280×720 화소)는 일반적으로 채택된 HDTV 포맷이다. "비월" 또는 "순차"는 HDTV의 주사 모드를 지칭하며, 이에 대해서는 "ATSC Standard A/53C with Amendment No. 1: ATSC Digital Television Standard" Rev.C, 21 May 2004(www.atsc.org를 참조)에 상세히 설명되어 있다.

Huffman Coding

허프만 코딩(Huffman Coding)은 다른 영역에서뿐만 아니라, 디지털 화상 및 비디오에서의 다른 변환 기능 또는 인코딩 알고리즘(DCT, 웨이블릿 등)과의 조합하 여 또는 단독으로 사용될 수 있는 데이터 압축 방법이다. 허프만 코딩에 대한 상세한 설명은 Khalid Sayood의 "Introduction to Data Compression"(Morgan Kaufmann, Second Edition, Febraury, 2000)에서 찾을 수 있다.

H/W

하드웨어(H/W)는 전자 또는 다른 장치의 물리적인 구성 요소이다. H/W에 대한 상세한 설명은 Steve Ettlinger의 "The Hardware Cyclopedia (Running Press Book, 2003)에서 찾을 수 있다.

infomercial

인포머셜(Infomercial)은 새로운 프로그램 티저, 대중 광고, 파격 세일, 광고 및 커머셜 등의 시청각(또는 부분) 프로그램 또는 세그먼트 제공 정보 및 커머셜을 포함한다.

IP

IETF RFC791에 의해 정의된 인터넷 프로토콜(IP)은 컴퓨터가 서로 통신할 수 인터넷의 기초가 되는 통신 프로토콜이다. IP에 대한 상세한 설명은 IETF RFC 791 인터넷 프로토콜 다파 인터넷 프로그램 프로토콜 사양(www.ietf.org/rfc/rfc0791.txt를 참조)에서 찾을 수 있다.

IPTV

인터넷 프로토콜 TV(IPTV)는 기본적으로 광대역 또는 고속 네트워크 접속을 통해 TV를 전송하는 방식이다.

ISO

ISO(국제 표준화 기구)는 표준을 조정하는 국제 표준 협회이다. 보다 많은 정보는 그들의 웹 사이트(www.iso.org를 참조)에서 찾을 수 있다.

ISDN

ISDN(통합 서비스 디지털 네트워크)는 음성, 비디오 및 데이터 통신을 지원하는 표준 전화 회선을 통한 디지털 전화 방식이다.

ITU-T

ITU-T(International Telecommunication Union(ITU) Telecommunication Standardization Sector(ITU-T))는 원격 통신 분야의 표준을 규정하는 ITU의 3개의 섹터 중 하나이다. 보다 많은 정보는 그들의 웹 사이트(www.real.com itu.int/ITU-T를 참조)에서 찾을 수 있다.

JPEG

JPEG(Joint Photographic Experts Group)는 정지 화상 압축의 표준이다. JPEG에 대한 상세한 설명은 "ISO/IEC International Standard 10918-1"(www.jpeg.org/jpge/를 참조)에서 찾을 수 있다. 여러 MPEG, 휴대용 네트워크 그래픽(PNG), GIF, XBM(X 비트맵 포맷), 비트맵(BMP)은 JPEG의 대체 또는 파생물이며, 여러 화상 압축에서 고려되거나 채택된다.

Kbps

초당 킬로비트는 데이터 전송 속도의 값이다. 1 kbps는 초당 1000 비트이다는 것을 알아야 한다.

key frame

키 프레임(키 프레임 화상)은 복수의 화상을 포함하는 비디오 프로그램으로부터 유추된 단일의 대표적인 정지 화상이다. 키 프레임에 대한 상세한 설명은 Hyun Sung Chang, Sanghoon Sull, Sang Uk Lee의 "Efficient video indexing scheme for content-based retrieval"(Transactions on Circuit and System for Video Technology, April, 2002)에서 찾을 수 있다.

LAN

LAN(Local Area Network)은 상대적으로 작은 영역에 걸친 데이터 통신 네트워크이다. 대부분의 LAN은 단일 빌딩 또는 빌딩 그룹으로 한정되어 있다. 그러나, 하나의 LAN이 예를 들어, 전화 회선과 무선파 등을 통해 임의의 거리에 걸쳐 다른 LAN에 접속되어 WAN(Wide Area Network)를 형성할 수 있다. 보다 많은 정보가 Charles E.Spurgeon의 "Ethernet: The Definitive Guide"(O'Reilly & Associates)에서 찾을 수 있다.

MHz(Mhz)

초당 백만 사이클을 나타내는 신호 주파수의 측정 단위

MGT

MGT(마스터 가이드 테이블)는 PSIP를 포함하는 테이블에 대한 정보를 제공한다. 예를 들어, MGT는 갱신될 필요가 있는 테이블을 확인하는 버전수와, 메모리 할당을 위한 테이블 크기와 전송 스트림에서 테이블을 확인하는 패킷 식별자를 제공한다. MGT에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org 참조)에서 찾을 수 있다.

MHP

MHP(멀티미디어 홈 플랫폼)는 쌍방향 디지털 응용 프로그램과 단말기 간의 표준 인터페이스이다. MHP에 대한 상세한 설명은 "ETSI TS 102 812: DVB Multimedia Home Platform (MHP) Specification"(www.etsi.org를 참조)에서 찾을 수 있다. OCAP(Open Cable Application Platform), ACAP(Advanced Common Application Platform), DAVIC(Digital Audio Visual Council) 및 HAVi(Home Audio Video Interoperability)는 MHP의 대체 또는 파생물로서 여러 디지털 응용 프로그램에 있어서의 인터페이스 옵션으로서 고려되거나 채택된다.

MJD

MJD(개정된 율리우스 일)는 율리우스 달력으로부터 유추되는 일 넘버링 시스템이다. 개시일을 12시간 대신에 0시간으로 설정하고, 일 넘버링시에 디지트의 개수를 감소시키는 것이 소개되었다. UTC(협정 세계시), GPS(위성 항법 시스템) 시간, 네트워크 타임 프로토콜(NTP) 및 프로그램 클록 참조(PCR)는 PCR의 대체 또는 파생물로서 시간 정보를 제공하는데 있어서 고려되거나 채택된다.

MPEG

MPEG(Moving Picture Experts Group)는 주로 콤팩트 디스크에서의 디지털 동화상 인코딩 전용의 표준 기관이다. 보다 많은 정보는 그들의 웹 사이트(www.mpeg.org 참조)를 참조하라.

MPEG-2

MPEG-2(Moving Picture Experts Group - Standard 2)는 비월/비월 주사를 사용하지 않는 프레임을 코딩하기 위해 설계된 디지털 비디오 압축 표준이다. MPEG-2는 현재 DTV 방송 및 DVD에 사용되고 있다. MPEG-2에 대한 상세한 설명은 www.mpeg.org에서 찾을 수 있으며, 또한, Barry G.Haskell, Atul Puri, Arun N. Netravali의 "Digital Video: An Introduction to MPEG-2 (Digital Multimedia Standards Series)"(Springer, 1996)에서 찾을 수 있다.

MPEG-4

MPEG-4(Moving Picture Experts Group - Standard 4)는 저자가 멀티미디어 프레젠테이션으로 미디어 물체를 작성하고 정의할 수 있게 함으로써 쌍방향성과, 미디어 물체가 동기화되고 전송시에 서로 관련되는 방법과, 사용자가 미디어 물체와 상호 작용할 수 있는 방법을 지원하는 비디오 압축 표준이다. MPEG-4에 대한 상세한 설명은 Iain E.G. Richardson의 "H.264 and MPEG-4 Video Compression"(John Wiley & Sons, August, 2003)와, Touradj Ebrahimi, Fernando Pereira의 "The MPEG-4 Book"(Prentice Hall PTR, July, 2002)에서 찾을 수 있다.

MPEG-7

"MCDI(Multimedia Content Description Interface)"로 일반적으로 불리는 MPEG-7(Moving Picture Experts Group - Standard 7)는 멀티미디어 콘텐츠 데이터를 기술하기 위한 표준이다. MPEG-7에 대한 상세한 설명은 B.S.Manjunath, Philippe Salembier 및 Thomas Sikora의 "Introduction to MPEG-7: Multimedia Content Description Language"(John Wiley & Sons, June, 2002)와, "ISO/IEC 15938-5:2003 Information technology -- Multimedia content description interface -- Part 5: Multimedia description schemes"(www.iso.ch를 참조)뿐만 아니라, MPEG 홈 페이지(www.mpeg.tilab.com)와, MPEG-7 콘소시엄 웹사이트(www.mp7c.org)와 MPEG-7 연합 웹 사이트(www.mpeg-industry.com)에서 찾을 수 있다.

NPT

NPT(표준 재생 시간)는 미디어 단편에 기지의 시간 참조를 제공하기 위해 MPEG-2 민간 부서의 특정의 기술어에 내장된 타임 코드이다. NPT에 대한 상세한 설명은 "ISO/IEC 13818-6, Information Technology - Generic Coding of Moving Pictures and Associated Audio Information -- Part 6: Extensions for DSM-CC"(www.iso.org를 참조)에서 찾을 수 있다.

NTP

NTP(네트워크 타임 프로토콜)은 TCP/IP 네트워크를 통해 시간을 송신 및 수신하는 신뢰성 있는 방법을 제공하는 프로토콜이다. NTP에 대한 상세한 설명은 "RFC(Request for Comments) 1305 Network Time Protocol (Version 3) Specification"(www.faqs.org/rfcs/rfc1305.html)에서 찾을 수 있다. UTC(Universal Time Coordinates), GPS(Global Positioning Systems) 시간, PCR(Program Clock Reference) 및 MJD(Modified Julian Date)는 NTP에 대한 대안 또는 보조이며, 시간 정보를 제공하기 위해 고려되거나 채택된다.

NTSC

NTSC(National Television System Committee)는 미국에서 텔레비전과 비디오 표준을 설정하는 역할을 한다(유럽 및 다른 국가에서는, 주된 TV 표준은 PAL 및 SECAM이다). 보다 상세한 정보는 www.ntsc-tv.com 상의 설명 프로그램(tutorial)을 보고 얻게 된다.

OpenCable

CableLabs에 의해 관리되는 OpenCable는 케이블을 통해 쌍방향 서비스를 제공하는 리서치 및 개발 콘소시엄이다. 보다 많은 정보는 그들의 웹 사이트 www.opencable.com를 참조하여 얻을 수 있다.

OSD

온 스크린 디스플레이(OSD)는 옵션을 선택 및/또는 디스플레이의 구성 요소를 조정할 수 있게 하는 전자 장치와 사용자 간의 오버레이 인터페이스이다.

PAT

프로그램 협회 테이블(PAT)은 그 프로그램의 정의를 반송하는 전송 스트림(TS)의 패킷 식별자(PID)와 프로그램 개수간의 대응을 제공하는, 모든 전송 스트림(TS) 내에 포함된 테이블이다. PAT에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information - Part 1: Systems" ISO/IEC 13818-1(MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PC

퍼스널 컴퓨터(PC)

PCR

전송 스트림(TS)의 프로그램 클록 참조(PCR)는 오디오와 비디오의 올바른 표시와 디코딩 시간을 위해 사용될 수 있는 시스템 타임 클록의 샘플링 값을 나타낸다. PCR에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다. SCR(시스템 클록 레퍼런스)은 MPEG 프로그램 스트림에 사용된 PCR의 대체물 또는 파생물이다.

PDA

개인 휴대 정보 단말기는 데이터 북, 주소 북, 태스크 리스트 및 메모 패드를 일반적으로 포함한 휴대용 장치이다.

PES

패킷화된 기본 스트림(PES)은 기본 스트림(ES)으로부터의 바이트를 수반하는 PES 패킷 헤더로 구성된 스트림이다. PES에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PID

패킷 식별자(PID)는 단일 또는 다중 프로그램 전송 스트림(TS) 내의 프로그램 또는 보조 데이터의 기본 스트림(ES)을 식별하는데 사용된 고유 정수값이다. PID에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PMT

프로그램 맵 테이블(PMT)은 프로그램을 구성하는 기본 요소(비디오, 오디오 등)로 프로그램을 매핑하는 MPEG-2 내의 테이블이다. PMT에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PS

MPEG-2 시스템 층이 지정하는 프로그램 스트림(PS)은 DVD 미디어 등의 상대적으로 에러가 없는 환경에서 사용된다. PS에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PSI

프로그램 지시 정보(PSI)는 특정 프로그램에 속하는 전송 스트림 패킷의 식별 및 역다중화을 가능하게 하는 MPEG-2 데이터이다. PSI에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PSIP

디지털 방송을 위해 ATSC를 이용하는 국가(미국과 한국 등)에서 DVR 등의 가 전 제품에 EPG 정보를 전송하기 위한 ATSC 데이터 테이블의 프로그램 및 시스템 정보 프로토콜(PSIP). 디지털 비디오 방송 시스템 정보(DVB-SI)는 ATSC-PSIP의 대체 또는 파생물이며 유럽에서 사용되는 디지털 비디오 방송(DVB) 용도로 고려되거나 채택된다. PSIP에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

PSTN

공중 교환식 전화망(PSTN)은 상호접속된 음성 지향의 공중 전화망의 세계적인 집합체이다.

PTS

프레젠테이션 타임 스탬프(PTS)는 오디오 및/비디오의 프레젠테이션 시간을 나타내는 타임 스탬프이다. PTS에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

PVR

퍼스널 비디오 리코더(PVR)는 DVR과 호환가능하게 공통으로 사용되는 용어이다.

ReplayTV

ReplayTV는 사용자의 TV 시청 경험을 최대화하는 DVR 업계를 선도하는 회사이다. ReplayTV에 대한 상세한 설명은 www.digitalnetworksna.com과 www.replaytv.com에서 찾을 수 있다.

RF

고주파(RF)는 고주파 전파와 연관된 전자기 스펙트럼 내의 임의의 주파수를 지칭한다.

RRT

등급 지역 테이블(RRT)은 ATSC 표준에서의 프로그램 등급 정보를 제공하는 테이블이다. RRT에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

SCR

프로그램 스트림(PS)의 시스템 클록 참조(SCR)는 오디오와 비디오의 올바른 프레젠테이션과 디코딩 시간에 사용될 수 있는 시스템 시간 클록의 샘플링 값을 나타낸다. SCR에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다. PCR(프로그램 클록 참조)은 SCR의 대체 또는 파생물이다.

SDTV

표준 화질 TV(SDTV0는 HDTV의 비디오 화질을 얻지 못하지만 NTSC 픽쳐에 비해 적어도 동일 또는 우수한 디지털 TV의 동작의 하나의 모드이다. SDTV는 일반적으로 4:3 또는 16:9의 종횡비를 가지며, 일반적으로 서라운드 사운드를 포함한다. 초당 프레임(fps)의 변화, 해상도의 라인 및 480p와 480i의 다른 요인은 ATSC 표준의 12 SDTV 포맷을 구성한다. 480p와 480i 각각은 ATSC Standard A/53C with Amendment No. 1: ATSC Digital Television Standard, Rev.C 21 May 2004(www.atsc.org를 참조)에 상세히 설명된 480 순차 및 480 비월 포맷을 나타낸다.

SGML

표준화된 범용 표시 언어(SGML)는 텍스트를 전자 형태로 나타내는 방법과는 독립적인 장치와 시스템의 정의에 대한 국제 표준이다. SGML에 대한 상세한 설명은 "Learning and Using SGML"(www.w3.org/MarkUp/SGML/를 참조)와 David Hunter의 "Beginnig XML"(Wrox, December, 2001)에서 찾을 수 있다.

SI

DVB에 대한 시스템 정보(DVB-SI)는 DVB 호환 디지털 TV에 EPG 정보 데이터를 제공한다. DVB-SI에 대한 상세한 설명은 "ETSI EN 300 468 Digital Video Broadcasting (DVB); Specification for Service Information (SI) in DVB Systems"(www.etsi.org를 참조)에서 찾을 수 있다. ATSC-PSIP는 DVB-SI의 대체 또는 파생물이며, 미국과 한국 등의 ATSC를 이용하는 국가에 서비스 정보를 제공하는데 고려되거나 채택된다.

STB

셋톱 박스(STB)는 퍼스널 컴퓨터(PC)와 휴대 장치를 포함한, 프로그램의 DFL부를 수신, 저장, 처리, 반복, 편집, 수정, 디스플레이, 재생 또는 수행하도록 된 디스플레이, 메모리 또는 인터페이스 장치이다.

STT

시스템 타임 테이블(STT)은 시간과 일자 정보를 ATSC에 제공하도록 정의된 소형의 테이블이다. 디지털 비디오 방송(DVB)은 시간 및 일자 테이블(TDT)로 불리는 유사한 테이블을 갖는다. STT에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

S/W

소프트웨어는 전자 장치가 특정의 활동을 동작 또는 실행할 수 있게 하는 컴퓨터 프로그램 또는 명령어 집합이다. S/W에 대한 상세한 설명은 Robert W.Sebesta의 "Concepts of Programming Languages"(Addison Wesley)에서 찾을 수 있다.

TCP

전송 제어 프로토콜(TCP)은 신뢰할 수 있는 스트림 전송 및 가상 접속 서비스를 응용 프로그램에 제공하기 위해 인터넷 엔지니어링 태스크 포스(IETF) RFC(Request for Comments) 793에 의해 정의된다. TCP에 대한 상세한 설명은 "Transmission Control Protocol Darpa Internet Program Protocol Specification" (www.ietf.org/rfc/rfc0793.txt를 참조)에서 찾을 수 있다.

TDT

TDT(Time Date Table)는 디지털 비디오 방송(DVB)에서 시간과 일자를 나타내 는 것과 관련된 정보를 제공하는 테이블이다. STT는 시간과 일자 정보를 ATSC에 제공하기 위한 TDT의 대체 또는 파생물이다. TDT에 대한 상세한 설명은 "ETSI EN 300 468 Digital Video Broadcasting (DVB); Specification for Service Information (SI) in DVB systems"(www.etsi.org를 참조)에서 찾을 수 있다.

TiVo

TiVo는 개척된 소비자 DVR에 방송을 통한 디지털 콘텐츠를 제공하는 회사이다. TiVo에 대한 상세한 설명은 www.tivo.com에서 찾을 수 있다.

TOC

TOC(Table of Contents)는 바람직하게 원하는 특정 부분 또는 하위 부분 또는 세그먼트를 신속하게 가리키고 액세스하기 위해 단일 프레젠테이션(책, 비디오, 오디오, AV 또는 다른 참조 또는 엔터테인먼트 프로그램 또는 콘텐츠 등)의 일부 또는 하위 부분에 대한 특징, 위치 또는 참조의 목록화를 지칭한다.

TS

MPEG-2 시스템 층에 의해 지시된 전송 스트림(TS)은 에러가 있음직한 환경, 예를 들어, 방송 네트워크에 사용된다. PES 패킷을 추가로 패킷화하는 TS 패킷은 188 바이트 길이를 갖는다. TS에 대한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

TV

TV, 일반적으로, 픽쳐 및 오디오 프레젠테이션 또는 출력 장치. 일반적인 형 태는 일반적으로 스피커를 구비한 음극선관(CRT), 플라즈마, 액정 및 다른 프로젝트 및 다이렉트 시청 시스템을 포함한다.

TV-Anytime

TV-Anytime은 TV-Anytime 포럼에 의해 개발된 오디오-비주얼 및 다른 데이터 서비스를 가능하게 하는 공개 사양 또는 표준의 시리즈이다. TV-Anytime에 대한 상세한 설명은 TV-Anytime 포럼의 홈 페이지(www.tv-anytime.org 참조)에서 찾을 수 있다.

TVPG

TVPG(Televison Parental Guidelines)는 TV 프로그램의 콘텐츠 및 연령 적절성에 대한 보다 많은 정보를 부모에게 제공하는 가이드라인이다. TVPG에 대한 상세한 설명은 www.tvguidelines.org/default.asp에서 찾을 수 있다.

uimsbf

uimsbf(unsigned integer, most significant-bit first). 부호없는 정수는 최상위 비트 우선(최좌측 비트가 최상위 비트임)의 순서로 하나 이상의 1과 0으로 구성된다. uimsbf에 대한 상세한 설명은 "Generic Coding of Moving Pictures and Associated Audio Information Part 1:System" ISO/IEC 13818-1 (MPEG-2), 1994(www.iso.org를 참조)에서 찾을 수 있다.

UTC

그리니치 평균시와 같은 협정 세계시(UTC)는 전세계의 상이한 시간대에 사용되는 공식적인 시간이다.

VBI

수직 블래킹 간격(VBI), 자막 텍스트 및 EPG 데이터 등의 텍스트 정보는 아날로그 TV 방송 신호의 VBI의 하나 이상의 라인을 통해서 전달될 수 있다.

VCR

비디오 카세트 리코더(DVR). DVR은 VCR의 대체 또는 파생물이다.

VCT

가상 채널 테이블(VCT)은 ATSC와 DVB에서 가상 채널의 네비게이팅과 튜닝에 필요한 정보를 제공하는 테이블이다. VCT에 대한 상세한 설명은 "ATSC Standard A/65B: Program and System Information Protocol for Terrestrial Broadcast and Cable" Rev.B, 18 March 2003(www.atsc.org를 참조)에서 찾을 수 있다.

VOD

비디오 온 디멘드(VOD)는 TV 시청자가 비디오 프로그램을 선택할 수 있고 케이블 또는 위성 TV 네트워크 등의 네트워크를 통한 채널을 통해 그들에게 전송된 비디오 프로그램을 얻을 수 있게 하는 서비스이다.

VR

비디오의 비주얼 리듬(VR)은 단일 화상 또는 프레임, 즉, 각각의 화상 시퀀스의 특정 그룹의 화소를 샘플링하고 시간에 따른 샘플을 시간적으로 축적함으로써 구성된 비디오 세그먼트의 전체 3차원 콘텐츠의 2차원 요약이다. VR에 대한 상세한 설명은 H. Kim, J. Lee 및 S. M. Song의 Proceedings of IEEE International Conference on Multimedia Computing and Systems, 827-834, 1999년 6월 "An Efficient Graphical Shot Verifier Incorporating Visual Rhythm" 에서 찾을 수 있다.

VSB

레벨 잔류 측파대(VSB)는 신호를 변조하는 방법이다. VSB에 대한 상세한 설명은 Mark Massel의 "Digital Television, DVB-T COFDM and ATSC 8-VSB" (Digitaltvbooks.com, October 2000)에서 찾을 수 있다.

WAN

광대역 네트워크(WAN)는 LAN에서 행해지는 것보다 넓은 범위의 네트워크이다. 보다 많은 정보는 Charles E. Spurgeon의 "Ethernet: The Definitive Guide"(O'Reilly & Associates)에서 찾을 수 있다.

W3C

월드 와이드 웹 콘소시엄(W3C)은 웹 경험을 개선하는 다양한 기술을 개발한 기관이다. W3C에 대한 상세한 설명은 www.w3c.org에서 찾을 수 있다.

XML

W3C에 의해 정의된 XML(eXtensible Markup Language)는 SGML으로부터 유추된 단순하고 유연한 텍스트 포맷이다. XML에 대한 상세한 설명은 Elliotte Rusy Harold, W.Scott Means의 "XML in a Nutshell"(O'Reilly, 2004)에서 찾을 수 있다.

XML 스키마

XML 문서의 구조, 내용 및 구문을 정의하는 수단을 제공하기 위해 W3C에 의해 정의된 스키마 언어. XML 스키마에 대한 상세한 설명은 Priscilla Walmsley의 "Definitive XML Schema"(Prentice Hall, 2001)에서 찾을 수 있다.

Zlib

하드웨어 및 소프트웨어와는 무관하게 사용하기 위한 프리의 범용 무손실 데이터 압축 라이버리이다. 보다 많은 정보는 www.gzip.org/zlib에서 얻을 수 있다.

본 명세서와 관련된 종래 기술

DVR은 그들의 로컬 또는 관련 저장부 내의 다수의 비디오 또는 TV 프로그램을 녹화할 수 있다. DVR의 녹화된 프로그램 중에서 하나의 프로그램을 선택하여 재생하기 위해서, 일반적으로, DVR은 각각의 녹화된 프로그램의 텍스트 형태의 프로그램 제목을 이용하여 녹화 리스트를 제공한다. 녹화 리스트는 녹화 시작 요일과 시간, 방영 시간, 채널 번호, 및 다른 가능한 데이터 등의 텍스트 정보를 이용하여 제공 되어 질 수 있다. DVR의 녹화된 리스트의 이러한 종래의 인터페이스는 다음의 문제점을 가지고 있다. 먼저, 간략하게 열거된 리스트 정보 때문에 프로그램을 식별하는 것이 쉽지 않을 수 있다. 상당수의 녹화된 프로그램으로, 간략한 리스트는 특정 프로그램의 신속한 식별을 용이하게 하기 위하여 충분히 구별 가능한 정보를 제공할 수 없다. 두 번째로, 제목 등의 텍스트 정보만을 이용하여 프로그램의 콘텐츠를 유추하는 것은 어렵다. 프로그램을 재생하기 전에 프로그램의 몇몇 시각적 단서를 얻게 되면, 사용자가 어느 프로그램을 선택하여 재생할지를 결정하는데 도움이 될 수 있다. 세 번째로, 사용자는 몇 가지 이유로 나중에 재생하기 위해서 몇몇 프로그램을 기억하기 원한다. 예를 들어, 사용자는 전체 프로그램을 시청하기 원하지 않고, 프로그램의 일부를 다시 시청하기 원하거나, 그들의 가족이 프로그램을 시청할 수 있게 하기 원한다. 종래의 인터페이스를 이용하면, 사용자는 프로그램을 나중에 찾거나 재방문하기 위해서 관심 있는 프로그램에 관한 텍스트 정보의 일부를 기억해야 한다.

프로그램과 관련된 몇몇 시각적 단서가 본 명세서에 기재된 개량형 인터페이스에 제공되면, 사용자는 텍스트 정보에만 의존하기보다는 그들의 시각적 단서 또는 시각적 단서와 텍스트 정보의 조합을 이용하여 프로그램을 보다 쉽게 식별하고 기억할 수 있다. 또한, 시각적 단서(섬네일 이미지, 아이콘, 도형 및/또는 텍스트를 포함한, 관련 오디오 또는 오디오 단서 및/또는 다른 관련 단서를 포함함)가 단순한 기술 텍스트보다 실제 프로그램에 보다 많이 직접 관련되어 있을 때, 프로그램을 재생하기 전에, 사용자가 줄거리 등의 추가 텍스트 정보 없이 프로그램의 콘텐츠를 유추할 수 있다.

온라인 영화관 및 DVD 타이틀의 웹 사이트에는, 소비자를 자극하여 영화를 시청하거나 DVD 타이틀 또는 다른 프로그램을 구매하도록 유도하기 위해서 영화와 DVD 타이틀의 리스트가 있다. 리스트에서, 각각의 영화 또는 DVD 타이틀 또는 다른 프로그램은 영화 포스터 또는 DVD 타이틀의 커버 디자인을 축소함으로써 만들어질 수 있는 섬네일 이미지와 연관된 것으로서 일반적으로 표현된다. 영화 포스터와 DVD 타이틀의 커버 디자인은 고객의 호기심에 호소할 뿐만 아니라, 고객이 그들의 대용량 저장소로부터 영화 및 DVD 타이틀을 단순한 기술 텍스트 단독에 비해 보다 쉽게 구별하고 기억할 수 있게 한다.

일반적으로, 영화 포스터와 DVD 타이틀의 커버 디자인은 다음의 일반적인 특성을 가지고 있다. 먼저, 이들은 단일 이미지 위에 일부 텍스트 정보가 첨부 되여 보여 질 수 있다. 일반적으로, 텍스트 정보는 최소한 영화 또는 DVD의 타이틀 또는 다른 프로그램을 포함한다. 영화 포스터와 DVD 타이틀의 커버 디자인은 일반적으로 자체 기술되고 있다. 즉, 다른 정보 없이, 고객은 하나의 영화/DVD 타이틀/프로그램을 다른 것으로부터 식별하기에 충분한 정보 또는 시각적인 느낌을 얻을 수 있다.

두 번째로, 영화 포스터와 DVD 타이틀의 커버 디자인은 영화 또는 TV 프로그램의 캡처 이미지와는 형상적으로 다르다. 영화 포스터와 DVD 타이틀의 커버 디자인은 캡처된 이미지보다 훨씬 폭이 좁게 보일 수 있다. 이들 시각적 차이는 그들의 종횡비로 인한 것이다. 종횡비는 이미지의 폭과 높이 사이의 관계이다. 예를 들어, 아날로그 NTSC TV는 1.33:1의 종횡비를 가지고 있다. 다시 말하면, TV 스크린의 캡처 이미지의 폭은 그 높이보다 1.33배 크다. 이를 표현하는 다른 방법은 4의 폭에 대한 3의 높이를 의미하는 4:3이다. 그러나, 통상적인 영화 포스터의 폭과 높이는 각각 27과 40인치이다. 즉, 통상적인 영화 포스터의 종횡비는 1:1.18(대략 4:6 종횡비)이다. 또한, 통상적인 DVD 타이틀의 커버 디자인은 1:1.4(4:5.6 종횡비)의 종횡비를 갖는다. 일반적으로, 영화 포스터와 DVD 타이틀의 커버 디자인은 "폭이 좁게" 보일 수 있는 이미지를 포함하고, 역으로, 영화와 TV 스크린의 캡처 이미지는 영화/DVD 포스터보다 "폭이 넓게" 보이는 이미지를 포함한다.

세 번째로, 영화 포스터와 DVD 타이틀의 커버 디자인은 중요한 또는 구별가능한 스크린 이미지를 결정하여 캡처하는 것(또는 인식가능한 이미지를 구별가능한 스크린 상에 중첩함으로써 합성 이미지를 개발하는 것)과, 이미지로부터 일부분 또는 객체를 크로핑하는 것과, 일부분 또는 객체를 다른 캡처된 이미지 또는 컬러 배경 상에 첨부하는 것과, 몇몇 텍스트 정보(영화/DVD/프로그램의 타이틀 및 주연 배우의 이름 등)와 함께 캡처 이미지 또는 크로핑된 일부분 또는 객체를 포맷하여 레이아웃하는 것과, 배경색과 폰트 컬러/스타일/크기 등을 조정하는 것 등의 조작자의 저작적인 노력을 통해 형성된다. 효율적인 포스터와 커버 디자인을 형성하는 이들 노력은 비용, 시간 및 노동을 필요로 한다.

윈도우 운영 체계의 현재의 그래픽 사용자 인터페이스(GUI)는 그들의 파일명과 함께 비디오 파일로부터 캡처된 축소된 섬네일 이미지와 이미지 파일의 축소된 섬네일 파일을 보여줌으로써 이미지 파일과 비디오 파일을 포함하는 폴더를 보여주고, 시판중인 대부분의 DVR의 현재의 GUI는 텍스트 정보만을 이용함으로써 녹화된 TV 프로그램의 리스트를 제공한다. (따라서, 종래의 DVR 및 PC에 캡처된 섬네일 이미지를 사용하는 것은 효율적인 형태, 형상 및 "느낌" 또는 포스터와 커버 디자인의 GUI를 갖지 않는다.

본 발명에 따르면, 녹화되는 프로그램을 기술하는 텍스트 정보와 윈도우 운영체제의 GUI를 사용하는, DVR의 녹화 리스트의 종래의 상술한 인터페이스는 각각 의 녹화된 프로그램 또는 이미지/비디오 파일이 프로그램 또는 이미지/비디오 파일과 관련된 추가의 섬네일 이미지(또는 오디오 등의 관련 데이터를 구비 또는 구비하지 않는 정지 또는 애니메이션 또는 짧은 비디오일 수 있는 다른 시각적 또는 그래픽 이미지)와 프로그램에 대한 텍스트 정보의 조합으로 표현될 때 개선될 수 있다. 섬네일 이미지는 녹화된 프로그램의 프레임으로부터 캡처된 스크린 샷일 수 있으며, 영화 포스터 또는 DVD 커버 디자인 GUI 효과를 보다 효율적으로 반영하기 위해서, 종횡비를 변경 및 자료를 추가 또는 삭제하는 것과 같은, 변형된 스크린 샷일 수 있다. 이러한 개선된 인터페이스는 DVR 사용자와 영화 시청자가 오프라인 영화관, DVD 대여점 또는 영화/영화 소매인 및 DVD 타이틀의 다양한 웹 사이트에서의 영화 포스터와 DVD 타이틀의 커버 디자인에 이미 익숙해져 있기 때문에, 각각의 프로그램의 "포스터-섬네일"(본 명세서에서는, "포스터 타입 섬네일" 또는 "포스터 형상 섬네일"이라 함)과 연관시킴으로써 DVR 또는 PC 등의 시청각 (녹화) 리스트의 표현을 제공한다.

본 명세서에서, TV 프로그램 또는 비디오의 포스터 섬네일은 프로그램으로부터 캡처된 전체 프레임 이미지의 축소된 섬네일 이미지(보다 포스터 유형으로 보이기 위한 분석, 크로핑, 크기 재조정 또는 다른 비주얼 개선 중 하나 이상의 조합을 포함한 캡쳐된 프레임을 조작함으로써 획득됨)와, 옵션으로, 프로그램과 관련된 몇몇 관련 데이터(프로그램명, 시작 시간, 방영 시간, 등급(이용가능하면), 채널 번호, 채널명, 프로그램과 관련된 기호 및 섬네일 이미지 위 또는 부근에 배치될 수 있는 채널 로고 등의 텍스트 정보 또는 그래픽 정보 또는 아이콘 정보)를 적어도 의미한다. 본 명세서에 사용된 "위 또는 부근"의 용어는 이하에 보다 상세히 설명되는 바와 같이, 섬네일 이미지 위에 전체적 또는 부분적으로 중첩 또는 첨부되거나 섬네일 이미지에 근접함을 포함한다. 관련 데이터는 또한 오디오를 포함할 수 있다.

공동 소유의 계류중인 미국 특허 출원 제 10/365,576 호(2003년 2월 12일 출원)에는, 섬네일 이미지와 섬네일 이미지에 인접한 텍스트 모두를 갖는 개념이 개시되어 있다. 본 명세서에서, 섬네일 이미지에 인접하거나 첨부된 텍스트, 그래픽 또는 아이콘 정보 등의 추가적인 관련 정보를 갖는 개념이 개시된다.

본 명세서에 기재된 포스터 섬네일의 일실시예는 분석, 일부 제거, 크기 재조정 또는 다른 시각적 개선 중 하나 이상의 조합에 의해 자동으로 조정되는 캡처된 섬네일 이미지를 포함한다.

본 명세서에 기재된 포스터 섬네일의 다른 실시예는 섬네일 이미지에 매입 또는 첨부된 텍스트, 그래픽, 아이콘 또는 오디오 아이템 등의 다른 관련 데이터를 가진 조정된 캡처 섬네일 이미지를 포함한다.

본 명세서에 기재된 포스터 섬네일의 다른 실시예는 섬네일 크기의 애니메이션 또는 짧은 비디오를 포함한다. 다양한 실시예의 조합이 또한 가능하다.

본 명세서에 따르면, DVR의 녹화 프로그램의 리스트에 대한 인터페이스는 프로그램의 "애니메이션 섬네일"이 정적인 섬네일 대신에 또는 그 조합으로 프로그램의 관련 데이터와 함께 이용될 수 있도록 또한 개선될 수 있다. 애니메이션 섬네일(조정된 종횡비를 갖거나 갖지 않을 수 있으며, 첨부된 또는 일부 제거된 이미지 또는 텍스트를 갖거나 갖지 않을 수 있으며, 섬네일 이미지 상에 가시적으로 디스플레이되지 않는 관련 오디오 또는 다른 데이터를 가질 수 있음)은 관련 오디오 또는 텍스트 또는 관련 정보를 갖거나 갖지 않는 프로그램으로부터 캡처된 섬네일 이미지의 슬라이드 쇼인 것으로 보일 수 있는 "가상 섬네일"이다. 본 명세서에 기재된 실시예에서, 애니메이션 섬네일이 GUI 상에서 지정되거나 선택될 때, 짧은 관련 오디오 또는 스크롤링 텍스트(수평 또는 수직으로) 또는 다른 동적인 관련 정보를 재생할 것이다. 프로그램의 애니메이션 섬네일을 직접 시청함으로써, 사용자는 프로그램을 선택 또는 재생하기 전에 프로그램의 일부를 대충 이미 볼 수 있다. 또한, 애니메이션 섬네일은 동적이기 때문에, 스크린 상에 단순히 애니메이션 섬네일만이 있을 때에도 사용자로부터 보다 주목 받을 수 있다. 애니메이션 섬네일에 이용된 섬네일 이미지는 애니메이션 섬네일이 재생될 필요가 있을 때마다 하드웨어 디코더 또는 소프트웨어 이미지 캡처링 모듈에 의해 동적으로 캡처될 수 있다. 또한, 캡처된 섬네일 이미지는 애니메이션 GIF(그래픽 상호 변환 포맷) 등의 단일의 애니메이션 이미지 파일로 구성될 수 있으며, 그 파일은 재생될 필요가 있을 때마다 반복적으로 사용될 수 있다. 상술한 바와 같이, 애니메이션 섬네일은 또한 확장 또는 조정될 수 있거나 관련 데이터를 가질 수 있다.

DVR 등에 대한 이들 새로운 인터페이스의 기술적인 문제 중 하나는 DVR 상에 녹화된 프로그램으로부터의 포스터 섬네일 또는 애니메이션 섬네일을 자동으로 생성하는 방법이다. 본 발명의 범위는 방송 프로그램의 포스터 또는 애니메이션 섬네일이 방송국 또는 제 3의 회사에 의해 자동 또는 수동으로 구성되고, 그 다음, ATSC-PSIP(또는 DVB-SI), VBI, 데이터 방송 채널, 백 채널을 통해 또는 다른 방식으로 DVR에 전송된다는 것이다. 본 명세서에 있어서, "백 채널"이란 용어는 인터넷, 인트라넷, 공중 교환식 전화망(PSTN), 디지털 가입자 회선(DSL), 통합 서비스 디지털 네트워크(ISDN), 케이블 모뎀 등의 유선/무선 데이터 네트워크를 지칭할 수 있다.

본 명세서에는 포스터 섬네일 및/또는 애니메이션 섬네일을 이용하는 비디오 또는 그래픽 이미지를 가진 비디오 또는 다른 프로그램의 리스트의 잠재적인 선택을 위한 네비게이션의 새로운 사용자 인터페이스가 기재되어 있다. 본 발명의 목적은 포스터 섬네일과 애니메이션 섬네일의 새로운 이용을 도입하는 것이며, 임의의 주어진 비디오 파일 또는 방송/녹화 TV 프로그램으로부터 자동으로 포스터 섬네일 및 애니메이션 섬네일을 생성하는 알고리즘 방법과, GUI에서의 이들 포스터 섬네일 및 애니메이션 섬네일의 이용 및 디스플레이에 적합한 시스템 구성이 기재되어 있다.

포스터 섬네일 및 애니메이션 섬네일을 이용한 이들 새로운 사용자 유저 인터페이스는 프로그램의 녹화 리스트, 프로그램의 예정된 리스트, 앞으로 방송될 프로그램의 배너 이미지 등의 다양한 DVR GUI 애플리케이션에 이용될 수 있다. 또한, 새로운 인터페이스는 비디오 저장소, 웹캐스팅 및 다른 그래픽 이미지 파일의 웹 사이트와 VOD 사이트에 적용될 수 있다. 본 발명은 여러 비디오 파일, 스트림 또는 프로그램이 연속적으로 저장되어 서비스되는 비디오 시청 프로그램에 특히 유용하지만, 다른 방식으로 이용가능한 비디오의 포스터 또는 대표적인 예술적 이미 지는 없다.

본 발명은 복수의 이미지 또는 프로그램/비디오 파일 또는 비디오 세그먼트 중에서의 잠재적인 선택을 위해 효율적으로 네비게이팅하는 포스터 섬네일 및/또는 애니메이션 섬네일 개발 및/또는 이용에 대해서 제공한다. 포스터 및 애니메이션 섬네일은 채택된 장치 상의 GUI에 제공되어 사용자가 볼 수 있는 이미지 또는 프로그램 또는 비디오 세그먼트를 네비게이팅, 브라우징 및/또는 선택하는 효율적인 시스템을 제공한다. 포스터 및 애니메이션 섬네일은 사람의 편집 과정 없이 자동으로 생성될 수 있으며, 또한, 하나 이상의 여러 관련 데이터(텍스트 오버레이, 이미지 오버레이, 크로핑, 텍스트 또는 이미지 삭제 또는 대체, 및/또는 관련 오디오 등)를 가질 수 있다.

본 발명에 따르면, 다수의 비디오 스트림을 리스팅하고 네비게이팅하는 방법은 비디오 스트림의 포스터 섬네일을 생성하는 단계 - 포스터 섬네일은 섬네일 이미지와 그 섬네일 이미지와 함께 제공되는 하나 이상의 관련 데이터를 포함한다. 그리고 비디오 스트림의 포스터 섬네일을 제공하는 단계 - 하나 이상의 관련 데이터는 섬네일 이미지 위 또는 부근에 위치한다. 비디오 스트림의 포스터 섬네일을 생성하는 단계는 비디오 스트림 중 임의의 주어진 하나의 섬네일 이미지를 생성하는 단계와, 그 임의의 주어진 하나의 비디오 스트림에 관련된 하나 이상의 관련 데이터를 획득하는 단계 그리고 하나 이상의 관련 데이터를 임의의 주어진 하나의 비디오 스트림의 섬네일 이미지와 조합하는 단계를 포함한다. 비디오 스트림은 DVR에 녹화된 TV 프로그램 또는 방송될 TV 프로그램일 수 있다. TV 프로그램에 대한 관련 데이터는 EPG 데이터, 채널 로그 또는 프로그램의 기호일 수 있다. 관련 데이터가 텍스트 정보를 포함할 때, 텍스트 정보를 제공하는 단계는 텍스트 정보의 폰트 특성을 결정하는 단계와, 섬네일 이미지를 가진 텍스트 정보를 제공하는 위치를 결정하는 단계와, 섬네일 이미지를 가진 텍스트 정보를 제공하는 단계를 포함할 수 있다.

본 발명에 따르면, 다수의 비디오 스트림을 리스팅하고 네비게이팅하는 장치는 비디오 스트림의 포스터 섬네일을 생성하는 수단 - 포스터 섬네일은 섬네일 이미지와 그 섬네일 이미지와 함께 제공되는 하나 이상의 관련 데이터를 포함한다. 비디오 스트림의 포스터 섬네일을 제공하는 수단 - 하나 이상의 관련 데이터는 텍스트 정보, 그래픽 정보, 아이콘 정보 및 오디오로 구성된 그룹 중에서 선택되고, 하나 이상의 관련 데이터는 섬네일 이미지 위 또는 부근에 위치한다. 비디오 스트림은 DVR에 녹화된 TV 프로그램 또는 방송될 TV 프로그램일 수 있다. TV 프로그램에 대한 관련 데이터는 EPG 데이터, 채널 로그 또는 프로그램의 기호일 수 있다.

본 발명에 따르면, 다수의 비디오 스트림을 리스팅하고 네비게이팅하는 시스템은 비디오 스트림의 포스터/애니메이션 섬네일을 생성하는 포스터 섬네일 생성기와 다수의 비디오 스트림을 저장하는 수단과, 포스터 섬네일을 표현하는 디스플레이 장치를 포함한다. 포스터/애니메이션 섬네일 생성기는 섬네일 이미지를 생성하는 섬네일 생성기와, 하나 이상의 관련 데이터를 획득하는 관련 데이터 분석기와, 하나 이상의 관련 데이터를 섬네일 이미지와 조합하는 조합기와, 임의의 주어진 하나의 비디오 스트림을 표현하는 적어도 하나의 키 프레임을 생성하는 키 프레임 생 성기와, 적어도 하나의 키 프레임을 분석하는 이미지 분석기, 적어도 하나의 키 프레임을 크로핑하는 이미지 크로퍼, 적어도 하나의 키 프레임을 크기 재조정하는 이미지 크기 재조정 및 적어도 하나의 키 프레임을 시각적으로 개선하는 이미지 전처리기로 구성된 그룹 중에서 선택된 모듈을 포함할 수 있다. 조합기는 섬네일 이미지 위 또는 부근의 하나 이상의 관련 데이터를 추가, 오버레이 및 슬라이싱하는 수단으로 구성된 그룹 중에서 선택된 조합으로 구성된다. 포스터 섬네일을 표현하는 디스플레이 장치는 비디오 스트림의 사용자 선택을 위해서 포스터 섬네일 이미지를 디스플레이하는 수단과, 다수의 비디오 스트림을 사용자가 브라우징하는 GUI를 제공하는 수단을 포함할 수 있다.

다음의 설명은 본 명세서에 기재된 시스템, 방법 및 장치의 선호하는 실시예 및 다른 실시예를 포함한다. 이하의 설명은 3개의 단락으로 분리되며, 단락의 표제는 단순히 편의상 제공된다. 특히, 단락의 표제는 어떤 식으로든 본 발명의 범주를 제한하려는 것이 아니다.

이하의 설명에서, 윈도우 운영 체계 및 GUI 환경 등의 일반적인 사용자 인터페이스와 관련하여 여러 실시예가 설명된다. 버튼을 클릭하는 동작, 아이템 그룹을 선택하는 동작, 끌어놓기 동작 등의 특정 동작이 마우스 또는 TV 원격 제어기 등의 그래픽 입력 장치를 이용하는 것과 관련하여 설명되어 있지만, 본 발명의 범주 내에서, 원격 제어기, 키보드, 음성 인식 또는 제어기, 태블릿 등의 다른 적절 한 입력 장치가 상술한 기능을 수행하는데 대안으로 사용될 수 있다. 또한 다른 (일반적으로 비슷한) 아이템들과 그래픽 인터페이스 상에서 시각적으로 구분하기 위해 어떤 아이템들을 하이라이트하거나 마크하여 기술하는 경우, 아이템들을 하이라이트 하거나 마크할 수 있는 어떠한 적절한 수단을 포함하며, 이러한 모든 대안은 본 발명의 범위 내에 있다.

예를 들어, 사용자의 TV 세트 내부에 접속되거나 연결될 수 있는 STB 등과 같이 전송된 콘텐츠를 처리하여 디스플레이하기 위해서 여러 장치가 사용될 수 있다. 전형적으로, 오늘날의 STB 기능은 임의 개수의 채널로 프로그램을 제공할 수 있는 방송국으로부터 아날로그 및/또는 디지털 신호를 수신하는 기능과, 수신된 신호를 디코딩하는 기능과 디코딩된 신호를 디스플레이하는 기능을 포함한다.

미디어 로컬리제이션

인덱싱 시스템과 클라이언트 DVR 모두를 통해서만 접근(access) 가능한 방송 프로그램(또는 스트림) 내에서 위치를 표현하거나(represent) 가리키는(locate) 것은 비디오 브라우징, 광고 교체 및 특정 프레임에 관련된 정보 서비스를 포함하는 다양한 응용에서 중요하다. 방송 프로그램을 로컬리제이션할 때의 기존의 문제점을 극복하기 위해서, 방송 스트림에 대한 미디어 로케이터로서 방송 시간을 이용하는 해결책이 상술의 미국 특허 출원 제 10/369,333 호(2003년 2월 19일)에 기재되어 있으며, 이는 DVB-MHP내의 DSM-CC NPT의 구현의 복잡성을 요구하고 PTS의 단순 이용의 비유일성 문제점을 야기하는 방법에 비해 방송 스트림 내의 타임 라인을 나 타내는 단순하고 이해가능한 방법이다. 방송 시간은 프로그램을 방송용으로 방영하고 있는 현재 시간이다. 지상파 DTV 방송국, 위성/케이블 DTV 서비스 공급자 및 DMB 서비스 공급자에 의해 MPEG-2 TS 또는 다른 특허 기술 또는 등가의 전송 패킷 구조로 다중화 또는 방송되는 방송 스트림 또는 프로그램, 시간 정보 또는 위치 마커의 미디어 로케이터로서 이용하는 기술이 본 명세서에 기재되어 있다. 예를 들어, 각각 ATSC/OpenCable(일반적으로 초당 한번 방송)의 STT의 system_time 필드 또는 DVB(30초당 한번 방송)의 TDT의 UTC_time 필드에서 방송 스트림에 반송되는 시간에 대한 정보를 이용하는 기술이 기재되어 있다. 디지털 오디오 방송(DAB), DMB 또는 다른 등가의 방송에 있어서, 그들의 TS에서 방송되는 시간에 대한 유사한 정보가 이용될 수 있다. 본 명세서에서, 방송 스트림(예를 들어, STT의 system_time 필드 또는 상술한 다른 등가의 필드)에서 반송된 시간에 대한 이러한 정보를 총칭해서 "시스템 타임 마커"라고 부른다. 미디어 로컬리제이션에 대한 타이밍 정보를 이용하기 위해서, AV 스트림을 포함한 방송 MPEG-2 TS와 시스템 타임 마커를 포함하는 타이밍 정보가 DVR에 저장되어야 한다.

방송 스트림에서의 특정 위치 또는 프레임을 로컬리제이션하는 예시적인 기술은 주기적으로 방송되는 STT 내의 system_time 필드(TDT 또는 다른 등가의 UTC_time 필드)를 이용하는 것이다. 보다 상세하게는, 프레임의 위치는, 비디오 스트림 내의 대응하는 PTS에 따라서 프레임이 제공되거나 디스플레이되는 순간으로부터 STT 내의 가장 근접한(대안으로, 가장 근접하지만 프레임의 시간적인 위치에 앞서는) system_time를 이용함으로써 기술되어 로컬리제이션될 수 있다. 대안으 로, 프레임의 위치는 프레임의 인코딩된 데이터가 시작하는 비트 스트림 위치로부터 가장 근접한 STT 내의 system_time를 이용함으로써 로컬리제이션될 수 있다. 이러한 system_time 필드의 단순한 이용은 일반적으로, STT의 전송 간격이 1초 내이며 이러한 STT 내로 전달되는 system_time 필드가 1초 내에서 정확하기 때문에, 프레임이 때때로 정확하게 스트림에 액세스하지 못 할 수도 있다. 따라서, 스트림은 1초의 정확도 내에서만 액세스될 수 있으며, 이는 대부분의 실제 응용에서 만족스럽다. STT 내의 system_time 필드를 이용하여 로컬리제이션된 프레임의 위치가 1초 내에서 정확함에도 불구하고, 로컬리제이션된 프레임 위치 전의 임의의 시간에 플레이되어 특정의 프레임이 디스플레이될 수도 있다.

방송 스트림에서의 특정 위치 또는 프레임에 대한 (근접의) 프레임의 정확한 액세스 또는 로컬리제이션을 달성하는 다른 방법이 기재되어 있다. 디스플레이되는 특정 위치 또는 프레임은 STT 내의 system_time(또는 TDT 또는 다른 등가의 UTC_time)을 타임 마커 및 타임 마커에 대한 상대적인 시각으로서 이용함으로써 로컬리제이션된다. 보다 상세하게는, 특정 위치에 대한 로컬리제이션은 로컬리제이션되는 특정 위치 또는 프레임에 앞서는 가장 먼저 발생하고 근접한 STT 내의 system_time를 타임 마커로서 이용하여 달성된다. 또한, 본 명세서에서 단독으로 사용된 타임 마커는 일반적으로 프레임을 정확하게 로컬리제이션 하지 못하기 때문에, 타임 마커에 대한 특정 위치의 상대적인 시간은 PCR, STB등 내부 시스템 클록 등을 이용하여 최소한 또는 대략 30Hz의 해상도의 STT의 system_time의 내삽 또는 외삽을 통해서 얻을 수 있다.

대안으로, 특정 위치로의 로컬리제이션은 PCR, STB의 내부 시스템 클록 또는 다른 등가물 등의 클록을 이용하여 적어도 또는 대략 30 Hz의 해상도로 STT 내의 system_time(또는 TDT 또는 다른 등가의 UTC_time)을 내삽 또는 외삽하여 달성될 수 있다.

방송 스트림에서의 특정 위치 또는 프레임으로의 (근접의) 프레임의 정확한 액세스 또는 로컬리제이션을 달성하는 다른 방법이 기재되어 있다. 디스플레이되는 특정 위치 또는 프레임에 대한 로컬리제이션 정보는 타임 마커 및 타임 마커에 대한 상대적인 바이트 오프셋으로서 STT 내의 system_time(또는 TDT 내의 UTC_time 또는 다른 등가물) 모두를 이용함으로써 얻게 된다. 보다 상세하게는, 특정 위치로의 로컬리제이션은 타임 마커로서 로컬리제이션되는 특정 위치 또는 프레임에 앞서는 처음에 발생하는 가장 근접한 위치 또는 프레임인 STT 내의 system_time을 이용하여 얻을 수 있다. 추가로, 타임 마커에 대한 상대적인 바이트 오프셋은 system_time의 대응값을 포함하는 STT의 최종 바이트를 수반하는 제 첫 번째 1 패킷으로부터 상대적인 바이트 오프셋을 계산하여 얻을 수 있다.

프레임의 정확한 로컬리제이션의 다른 방법은 STT 내의 system_time 필드(TDT 내의 UTC_time 필드 또는 다른 등가물) 및 PCR를 모두 이용하는 것이다. 디스플레이되는 특정 위치 또는 프레임에 대한 로컬리제이션 정보는 기술된 위치 또는 프레임에 대한 PTS 및 STT 내의 system_time를 이용하여 얻을 수 있다. 일반적으로, PCR의 값은 27 MHz의 해상도에 따라서 선형으로 증가하기 때문에, 프레임의 정확한 액세스에 사용될 수 있다. 그러나, 최대 비트 카운트가 달성될 때 PCR 은 다시 0으로 되돌아가기 때문에, 프레임을 단독으로 식별하기 위해서 타임 마커로서 프레임의 PTS에 앞서는 가장 근접한 PTS인 STT 내의 system_time를 또한 이용할 수 있다.

도 1a는 미디어 콘텐츠 및 그 기술 및/또는 오디오 비주얼 메타데이터가 DVR 또는 PC를 구비한 시청자에게 전송되는 경우에 EPG 정보 및 메타데이터 서비스로 디지털 방송하는 시스템을 나타내는 블록도이다. 미디어 소스(104)로부터의 AV 스트림과 EPG 서버(106)에 저장된 EPG 정보는 다중화기(108)에 의해 MPEG-2 전송 스트림(TS) 등의 형태와 같이 디지털 스트림으로 다중화된다. 방송국(102)은 EPG 정보를 갖는 AV 스트림을 수반한 신호를 위성, 케이블, 지상파 및 광대역 네트워크 등의 방송 네트워크(110)를 통해 DVR 클라이언트(120)로 방송한다. EPG 정보는 아날로그 채널의 VBI를 통해 DVB의 ATSC 또는 SI의 PSIP의 형태 또는 비밀 형태로 전송될 수 있다. EPG 정보는 쌍방향 백 채널(118)(인터넷 등)을 통해 DVR 클라이언트(120)에 전송될 수도 있다. 또한, 방송 AV 스트림/프로그램에 관련된 기술 및/또는 오디오 비주얼 메타데이터(TV-Anytime, 또는 MPEG-7 또는 다른 등가의 형태)가 생성되어 방송국(102)의 메타데이터 서버(112) 및/또는 하나 이상의 메타데이터 서비스 공급업자(114)의 메타데이터 서버(116)에 저장될 수 있다. EPG 정보를 포함하는 메타데이터는 쌍방향 백 채널(118)을 통해 DVR 클라이언트(120)에 전송될 수 있다. 대안으로, 메타데이터 서버(112 또는 116)에 저장된 메타데이터는 다중화기(108)에 의해 방송 AV 스트림으로 다중화되어, DVR 클라이언트(120)에 전송될 수 있다.

도 1b는 도 1a에 도시된 바와 같이 120으로서 DVR의 포스터 섬네일 및 애니메이션 섬네일을 생성하는 시스템을 나타내는 블록도이다. 시스템은 방송 스트림을 수신하여 디코딩하는 모듈(예를 들어, 튜너(122), 역다중화기(132), 비디오 및 오디오 디코더(142, 148))과, DVR 또는 PC에 일반적으로 사용되는 모듈(예를 들어, CPU(126), 하드 디스크(130), RAM(124), 사용자 제어기(128)) 및 포스터 섬네일 및 애니메이션 섬네일을 생성하는 모듈(예를 들어, 포스터/애니메이션 섬네일 생성기(136))을 포함한다. 튜너(122)는 위성, 케이블, 지상파 및 광대역 네트워크 등의 도 1a의 방송 네트워크(110)로부터 방송 신호(154)를 수신하여, 방송 신호를 복조한다. 복조된 신호는 MPEG-2 TS 등의 비트 스트림의 형태로 버퍼 또는 임의 접근 메모리(RAM)(124)에 전송되고, 스트림을 녹화할 필요가 있을 경우에 하드 디스크 또는 저장부(130)에 저장된다(일정 시간(예를 들어, 30분)의 스트림은 타임 시프팅을 위해서 DVR에서 항상 녹화된다). 스트림은 디코딩될 필요가 있을 때 역다중화기(132)에 전송된다. 역다중화기(132)는 스트림을 ATSC에 대한 비디오 스트림, 오디오 스트림 및 PSIP 스트림으로 분리한다(DVB에 대해서는 SI 스트림). 역다중화기(132)로부터의 ATSC-PSIP 스트림(또는 DVB-SI 스트림)은 소프트웨어 또는 하드웨어로 구현될 수 있는 EPG 파서(parser)(134)에 전송된다. EPG 파서(134)는 프로그램 제목, 시작 시간, 방송 시간, 등급(이용가능하면), 장르, 프로그램의 줄거리, 채널 번호 및 채널 이름 등의 EPG 데이터 또는 프로그래밍 정보를 추출한다. 메타데이터(152)는 도 1a의 백 채널(118)로부터 획득될 수 있으며, 여기서, 메타데이터(152)는 EPG 데이터, 그래픽 데이터, 아이콘 데이터(예를 들어, 프로그램 심볼 및 채널 로그) 및 오디오 등의 방송 비디오 스트림 또는 TV 프로그램에 관련된 관련 데이터를 포함한다. 비디오 스트림은 비디오 디코더(142)에 전송되어, RGB 또는 YCbCr 값의 형태 등의 원 화소 데이터로 디코딩된다. 디코딩된 비디오 스트림은 프레임 버퍼(144)에 전송된다. 오디오 스트림은 오디오 디코더(148)에 전송되어 디코딩되고, 디코딩된 오디오는 오디오 스피커를 포함하는 오디오 장치(150)에 공급된다. CPU(126)가 비디오 스트림에 액세스할 때, CPU(126)는 프레임을 캡처하여, 소프트웨어 또는 하드웨어로 구현될 수 있는 포스터/애니메이션 섬네일 생성기(136)에 공급할 수 있다. 예를 들어, 오디오 및 비디오 스트림의 스크램블링으로 인해 CPU(126)가 비디오 스트림에 액세스할 수 없으면, 프레임 버퍼(144)는 하드웨어 비디오 디코더(142)로부터 포스터/애니메이션 섬네일 생성기(136)로 캡쳐된 프레임 이미지를 공급할 수 있다. 포스터/애니메이션 섬네일 생성기(136)는 자신의 캡처된 프레임과 함께 비디오 스트림의 섬네일 이미지를 생성하고, 비디오 스트림의 섬네일 이미지의 위 또는 부근에 부가, 오버레이, 첨부 또는 슬라이싱(이하, "조합"이라 함)되는 비디오 스트림에 관련된 관련 데이터(EPG 파서(134)로부터의 EPG 데이터, 및/또는 백 채널(118)을 통한 이용가능한 경우의 메타데이터(152))를 수신하여, 포스터 섬네일 또는 애니메이션 섬네일을 생성한다. 관련 데이터는 텍스트 정보, 그래픽 정보, 아이콘 정보 및 프로그램에 관련된 오디오일 수 있다는 것을 알아야 한다. 대안으로, 포스터/애니메이션 섬네일 생성기(136)는 도 1a의 백 채널(118)을 통해 키 프레임 이미지(또는 키 프레임 이미지에 대한 미디어 로케이터), 섬네일 이미지, 또는 사전 형성된 포스터/애니메이션 섬네일을 요청하여 수 신할 수 있다. 온 스크린 디스플레이(OSD)(138)는 포스터/애니메이션 섬네일 생성기(136)로부터의 비주얼 및 관련 데이터와 메뉴 선택 등의 다른 그래픽 데이터를 디스플레이하는 그래픽 사용자 유저 인터페이스를 위한 것이다. 비디오 RAM(140)은 OSD(138)로부터의 그래픽 디스플레이 데이터를 프레임 버퍼(144)로부터의 디코딩된 프레임과 조합하여 디스플레이 장치(146)에 공급한다.

도 1c는 도 1b에서 136으로 나타낸 바와 같이 포스터/애니메이션 섬네일 생성기의 모듈을 나타내는 블록도이다. 관련 데이터 분석기(176)는 도 1b의 EPG 파서(134)에 관련된 관련 데이터 및/또는 도 1a의 백 채널(118)을 통해 프로그램에 관련된 관련 데이터를 포함하는 메타데이터(180)를 수신한다. 관련 데이터 분석기(176)는 관련 데이터(EPG 데이터 및/또는 프로그램의 메타데이터)를 분석하고, 사용자가 프로그램을 식별하거나 선택하는데 있어서 가장 중요한 하나 이상의 관련 데이터를 선택한다. 예를 들어, 프로그램의 섬네일 이미지를 프로그램 제목과 조합하기 위해서, 관련 데이터 분석기(176)는 문자의 길이와, 프로그램 제목의 단어의 개수를 계산하고, 프로그램 제목이 너무 길면 텍스트 데이터를 조정하고, 무드 또는 장르 등의 프로그램의 특성을 분석하고, 컬러 분석기 모듈(164), 얼굴/물체 검출기 모듈(166) 및 패턴/질감 분석기 모듈(168)로부터의 데이터를 이용하여 컬러, 스타일 및 크기 등의 텍스트 폰트 특성을 결정한다. 도 1b의 프레임 버퍼(144)로부터의 원 화소 데이터(182)는 키 프레임 생성기(162)에 공급된다. 키 프레임 생성기(162)는 키 프레임을 생성하고, 생성된 키 프레임은 컬러 분석기(164), 얼굴/물체 검출기(166), 패턴/질감 분석기(168) 및 다른 이미지 분석 모 듈로 구성된 이미지 분석기(163)에 전송된다. 컬러 분석기(164)는 텍스트가 오버레이된 키 프레임 부분의 주된 컬러를 결정하고, 이는 폰트 컬러를 결정하는데 사용된다. 얼굴/물체 검출기(166)는 키 프레임 상의 얼굴 및 물체를 검출하고, 패턴/질감 분석기(168)는 키 프레임의 패턴 또는 질감을 분석한다. 이미지 크로퍼(170) 및 이미지 크기 재조정기(172)는 컬러 분석기(164), 얼굴/물체 검출기(166) 및 패턴/질감 분석기(168)로부터의 정보를 이용하여, 키 프레임 이미지를 각각 크로핑 및 크기 재조정한다. 크로핑 및 크기 재조정된 이미지는 콘트라스트 개선, 명암, 경계/에지 검출, 컬러 프로세싱, 세그먼트화, 시간적인 필터링 및 배경 합성 등의 기존의 이미지 프로세싱 및 그래픽 기술을 이용하여 크로핑 및 크기 재조정 이미지의 화질(이하, "시각적 개선"이라 함)을 개선하여 시청자에게 보다 시각적으로 만족스러운 이미지를 형성하는 이미지 전처리기(174)에 공급된다. 포스터 섬네일을 만들기 위해 미리 정해진 영역이 크로핑 및 크기 재조정된 이미지로 일부 채워지면, 나머지 영역은 이미지 분석기로부터 나오는 정보에 의해 결정된 색상, 패턴 및/또는 질감을 이용한 배경으로 합성하거나 채운다. 이미지 전처리기(174)는 프로그램의 섬네일 이미지를 생성한다. 따라서, 키 프레임 생성기(162)로부터의 키 프레임은 분석, 크로핑, 크기 재조정 및 시각적인 개선의 조합에 의해 조정된다. 섬네일 및 관련 데이터 조합기(178)는 관련 데이터 분석기(176)로부터의 하나 이상의 관련 데이터를 이미지 전처리기(174)로부터의 섬네일 이미지와 조합하고, 조합된 포스터 섬네일(184)은 도 1b의 OSD(138)에 전송된다. 키 프레임 생성기(162)는 관심 있는 프로그램에 속하는 적절한 키 프레임을 생성하기 위해서, 방송 프로그램의 시작 시간 및 방송 시간을 필요로 한다. 실제 시작 시간과 키 프레임 선택기(162)에 전송된 EPG 데이터의 시작 시간 사이에 차이가 있다면, 프로그램의 실제 시작 시간 및 방송 시간은 도 1c에 도시된 바와 같이, 메타데이터(180)를 통해 키 프레임 생성기(162)에 제공될 수 있다. 이미지 전처리기(174)로부터의 섬네일 이미지를 생성하기 위해 키 프레임을 이용하는 대신에, 예를 들어, 백 채널로부터 얻은 비디오 스트림에 관련된 다른 대표적인 비주얼 또는 그래픽 이미지가 포스터/애니메이션 섬네일을 생성하는데 사용될 수 있다.

도 2a는 DVR의 하드 디스크 등의 관련 저장부에 녹화된 프로그램의 리스트를 제공하는 종래의 GUI 스크린의 예를 나타내는 스크린 이미지이며, 여기서, 동일 참조 번호는 동일 특징에 해당한다. 도면에서, 텍스트 필드(204)에 의해 표현된 7개의 녹화된 프로그램은 디스플레이 스크린(202) 상에 리스트되어 있다. 복수의 녹화된 프로그램 각각에 있어서, 프로그램의 제목, 녹화일자(또는 시작 시간), 방송 시간 및 채널 번호 등의 프로그램의 정보가 각각의 텍스트 필드(204)에 디스플레이된다. 원격 제어부 등의 제어 장치를 이용하면, 사용자는 프로그램 리스트에서 커서 표시자(필드를 둘러싸는 시각적으로 구별할 수 있는 실선으로 표시됨)를 상하로 이동시킴으로써 재생할 프로그램을 선택한다. 이는 텍스트 필드(204)를 스크롤링하여 행해질 수 있다. 하이라이팅된 텍스트 필드는 관련 프로그램을 재생하도록 활성화될 수 있다.

도 2b는 마이크로소프트사의 윈도우 운영 체계에서 폴더 내의 비디오 및 이미지 파일의 섬네일 뷰를 나타내기 위한 종래의 GUI 스크린의 예를 나타내는 스크 린 샷이며, 여기서, 동일 참조 번호는 동일 특징에 해당한다. 도면에서, 이미지 필드(212) 내의 섬네일 이미지(216)와 텍스트 필드(214)에 의해 표현된 6개의 파일은 디스플레이 스크린(210) 상에 리스트되어 있다. 파일명은 텍스트 필드(214)에 위치한다. 섬네일 이미지(216)는 JPEG, GIF 및 BMP 형태 등의 정지 이미지 파일의 경우에 선형으로 스케일링/크기 재조정된 이미지이며, MPEG 및 ASF 파일 등의 비디오 파일의 경우에 캡처되고 선형으로 스케일링된 프레임 이미지이다. 이미지 필드(212)는 사각형이며, 섬네일 이미지(216)에 의해 커버되지 않은 이미지 필드의 일부는 공백으로 되어 있다. 마우스를 이용하여 섬네일 이미지를 선택할 때, 비디오 파일은 섬네일 이미지를 더블 클릭하여 새로운 윈도우 상에서 재생될 수 있다.

1. 포스터 섬네일

도 3a, 도 3b, 도 3c 및 도 3d는 TV 프로그램 또는 비디오 스트림으로부터 캡처된 임의의 주어진 프레임으로부터 생성된 폭이 좁은 포스터 섬네일의 예를 도시한다. 도면에서, 이미지(302)는 야구 타자(304)가 볼을 치기 위해 서 있는 캡처된 프레임이다. 도 3a는 크로핑, 크기 재조정 및 오버레이에 의해 생성된 폭이 좁은 포스터 섬네일(308)의 예를 도시한다. 도면에서, 폭이 좁은 직사각형의 관심 영역(306)은 캡처된 프레임(302)으로부터 크로핑되고, 크로핑된 영역은 폭이 좁은 포스터 섬네일(308)의 소정의 크기에 맞게 크기 재조정된다. 관련 데이터(310, 312)는 크기 재조정되고 크로핑된 영역 위, 아래, 옆 및/또는 상부의 영역에 위치될 수 있다. 관련 데이터는 프로그램 제목, 시작 시간, 방송 시간, 등급, 채널 번 호, 채널명, 주연 배우의 이름, 프로그램에 관련된 심볼 및 채널 로그 등의 텍스트 정보 또는 그래픽 정보 또는 아이콘 정보일 수 있다. 도면에서, 관련 데이터(310, 312)는 포스터 섬네일의 상부와 하부에 각각 위치한다.

도 3a와 비교하여, 동일 참조 번호는 동일 특징에 해당하는 도 3b, 도 3c 및 도 3d는 크로핑 없이 크기 재조정, 오버레이 및 배경 합성에 의해 생성된 얇게 보이는 포스터 섬네일의 예를 나타낸다. 도 3b에서, 캡처된 프레임(302)은 크기 재조정된 캡처 프레임(314)의 폭이 포스터 섬네일(324)의 폭과 동일하도록 폭이 좁은 포스터 섬네일(324)의 소정 크기에 맞게 크기 재조정된다. 크기 재조정된 캡처 프레임(314)은 포스터 섬네일(324)의 중간에 위치된다. 포스터 섬네일(324)의 배경 컬러는 크기 재조정된 캡처 프레임(314)과 매우 일치(또는 콘트라스트 또는 다른 비주얼 효과에 일치)하는 것으로 결정된다. 도면에서, 포스터 섬네일(324)의 배경 컬러는 크기 재조정된 캡처 프레임(314)이 흰색 배경을 가지기 때문에 흰색인 것으로 결정되며, 따라서, 전체의 폭이 좁은 포스터 섬네일(324)은 단일 이미지로 보일 것이다. 대안으로, 포스터 섬네일(324)의 영역(314, 316, 318)의 배경 컬러는 적, 녹, 청으로 각각 변하여 콘트라스트 또는 효과를 나타낸다. 최종적으로, 관련 데이터(310, 312)는 포스터 섬네일(324)의 소정 영역의 상부(316) 및 하부(318) 상에 위치될 수 있다. 도 3c 및 도 3d는 크기 재조정된 캡처 프레임(314)이 얇게 보이는 포스터 섬네일(326, 328)의 상부(도 3c)와 하부(도 3d)에 각각 위치하는 것과, 관련 데이터(310, 312)가 포스터 섬네일(326, 328)의 소정 영역의 하부(320)(도 3c)와 상부(322)(도 3d)에 각각 위치하는 것을 제외하고 도 3b와 유사하다. 폭이 넓은(wider looking) 포스터 섬네일에 대하여 후술하는 바와 같이, 추가의 관련 데이터(330, 332)는 얇게 보이는 포스터 섬네일에 대해서도, 크기 재조정된 프레임 이미지의 일부분 위에 배치되거나 대체될 수 있다.

도 4a 및 도 4b는 프로그램 또는 비디오 스트림으로부터 캡처된 임의의 주어진 프레임 이미지로부터 생성된 폭이 넓은 포스터 섬네일의 예를 도시하며, 여기서, 동일 참조 번호는 동일 특징에 해당한다. 도면에서, 이미지(402)는 야구에서 타자(404)가 볼을 치기 위해 서 있는 모습을 캡처한 프레임이다. 도 4a는 크로핑, 크기 재조정 및 첨부 중 하나 또는 모두에 의해 생성되는 폭이 넓은 포스터 섬네일의 예를 도시한다. 도면에서, 폭이 넓은 직사각형의 관심 영역(406)은 캡처된 프레임(402)으로부터 크로핑되며, 크로핑 영역은 (필요한 경우에) 넓게 보이는 포스터 섬네일(408)의 소정 크기에 맞게 크기 재조정 될 수 있다. 최종적으로, 관련 데이터(410, 412)는 포스터 섬네일(408)의 소정 영역 상에 (영역(406)의 일부분을 첨부 또는 오버레이 또는 대체함으로써) 배치될 수 있다. 도면에서, 관련 데이터(410, 412)는 포스터 섬네일(408)의 우측 상부와 우측 하부에 각각 위치되지만, 위치와 라인의 개수와 텍스트의 문자는 적절하게 기재되어 있다. 도 4b는 크로핑 없이 크기 재조정 및 첨부 중 하나 또는 둘 다에 의해 생성되는 넓게 보이는 포스터 섬네일의 다른 예를 도시한다. 도면에서, 캡처된 프레임(402)(또는 필수적으로 보기 위한 전체 프레임)은 예를 들어 도 6a, 도 6b, 도 9a 및 도 9b에 사용된 둥근 코너의 섬네일 이미지로서, 또는 레터 포맷 섬네일 이미지로서 폭이 넓은 포스터 섬네일(414)의 소정 크기에 맞게 크기 재조정된다. 최종적으로, 관련 데이터(410, 412)는 포스터 섬네일(414)의 소정 영역 상에 위치될 수 있으며, 포스터 섬네일(414)의 우측 상부 및 우측 하부에 각각 위치한 크기 재조정된 캡처 프레임 상에 첨부되도록 도시되어 있다.

도 4c는 본 발명의 실시예에 따른, 프로그램 또는 비디오 스트림으로부터 캡처된 2 이상의 프레임으로부터 생성된 포스터 섬네일의 예를 도시한다. 도면에서, 캡처된 프레임(420, 424)으로부터의 크로핑된 영역(422, 426)은 단일의 포스터 섬네일(428, 430)로 조합되어, 폭이 좁거나 넓은 포스터 섬네일이 될 것이다. 도 4c에서, 2개의 이미지만이 포스터 섬네일을 생성하는데 사용되지만, 세 개 이상의 이미지가 조합되거나 사용될 수 있다. 포스터 섬네일은 예를 들어, 도 1c의 관련 데이터 조합기(178)와 섬네일의 두 개 이상의 포스터 섬네일을 조합함으로써 생성될 수 있다. 관련 데이터(432, 434)는 포스터 섬네일(428, 430)의 적절한 영역 상에 (첨부 또는 오버레이에 의해) 배치될 수 있다.

도 4d는 섬네일 이미지의 위 또는 부근에 위치한 관련 데이터를 가진 예시적인 포스터 섬네일을 도시한다. 관련 데이터(442)는 섬네일 이미지(440) 위에 전체적으로 오버레이되고, 관련 데이터(444)는 섬네일 이미지(440) 위에 부분적으로 오버레이되지만, 관련 데이터(446)는 섬네일 이미지(440)에 근접한다.

도 5a, 도 5b, 도 5c, 도 5d, 도 5e 및 도 5f는 502에서 도 3a로부터, 504에서 도 3b로부터, 506에서 도 3c로부터, 508에서 도 3d로부터, 510에서 도 3e로부터, 512에서 도 3f로부터 각각 발생하는 포스터 섬네일의 예를 도시한다. 도시된 모든 포스터 섬네일에 있어서, 일반적으로 디스플레이되는 두 종류의 텍스트 정보 가 있다. 하나는 "월드 시리즈"라는 제목의 녹화된 프로그램의 제목에 대한 것이며, 다른 하나는 방송 일자(또는 등가적으로 시작 시간)와 채널 번호, 예를 들어, "10.23 06:00PM Ch.25"에 대한 것이다. 그러나, 채널 로고, 등급, 장르 및 실제 시청 시간(파이 차트로서) 등의 다소 상이한 (또는 전무의) 텍스트 (또는 비주얼) 정보가 본 명세서에 기재된 바와 같이 포스터 섬네일과 연관된 텍스트 또는 비주얼 이미지/아이콘으로서 디스플레이될 수 있다. 텍스트의 2개의 라인(도 3a, 도 3b, 도 3c, 도 3d에 도시)은 502, 504, 506, 508에서와 같이 3개의 라인(또는 그 이상, 도시 생략)으로 각각 확대될 수 있으며, 텍스트의 2개의 라인(도 4a 및 도 4b에 도시)은 510, 512에서와 같이 2개의 디스플레이된 라인(또는 그 미만, 도시 생략)으로서 머물 수 있다. 추가로, 이러한 포스터 섬네일은 원, 타원뿐만 아니라 직사각형(도시됨), 삼각형, 사각형, 육각형, 팔각형 등(직사각형에 있어서 도시된 곡선 또는 둥근 에지를 갖거나 갖지 않음)을 포함한 형태일 수 있으며, 중심으로 향하거나 폭이 좁거나 넓거나 일정 각을 갖는 방향과 원하는 대로의 구성 모든 것일 수 있다.

도 6a 및 도 6b는 DVR의 프로그램을 브라우징하기 위한 2개의 예시적인 GUI 스크린을 도시하며, 여기서, 동일 참조 번호는 동일 특징에 해당한다. 도 6a에서, 15개의 얇게 보이는 포스터 섬네일(604)이 단일 스크린(602) 상에 디스플레이되며, 3개의 행 각각은 5개의 포스터 섬네일을 각각 갖는다. 도 6b에서, 16개의 넓게 보이는 포스터 섬네일(608)이 단일 스크린(602) 상에 디스플레이되며, 4개의 행 각각은 4개의 포스터 섬네일을 각각 갖는다. 도면에서, 커서 표시자(606)(시각적으로 구별되는 굵은 실선으로 도시)에 의해 둘러싸인 포스터 섬네일은 사용자가 선택하거나 재생하기를 원하는 프로그램을 표현한다. 커서 표시자(606)는 원격 제어기 등의 제어 장치를 이용하여 상하, 좌우로 이동될 수 있다. 도 6a 및 도 6b에서, 도 2a의 필드(204) 등의 텍스트 정보는 도시되어 있지 않다. 그러나, 포스터 섬네일을 이용하는 GUI 스크린은 도면에서의 GUI 스크린으로 제한되지 않으며, 하나 이상의 포스터 섬네일이 줄거리, 캐스트, 시간, 일자, 방송 시간 및 다른 정보를 포함한 정보에 대한 텍스트 필드 등의 추가의 적절한 관련 데이터 필드를 가질 수 있도록 자유롭게 변경될 수 있다는 것을 알아야 한다. 추가의 관련 데이터 필드의 텍스트 데이터는 그 대응하는 포스터 섬네일 상에 첨부된 동일 또는 유사 또는 상이한 데이터일 수 있다는 것을 알아야 한다. 추가의 텍스트 또는 다른 데이터는 포스터 섬네일의 아래/위/옆/상부의 공간에 있을 수 있다. 또한, 하이라이팅되거나 선택될 수 있다. 또한, 설명된 바와 같이, 포스터 섬네일은 바람직한 형태 및 방향(예를 들어, 얇게 vs 넓게)일 수 있으며, 바람직하게 GUI 상에 구성될 수 있다.

도 6c는 추가의 관련 데이터 또는 모든 조합 및 변경을 가진 또는 갖지 않는 포스터 섬네일을 가진 다른 예시적인 GUI 스크린을 도시한다. 도 6c에서, 추가의 관련 데이터(616)를 가진 넓게 보이는 포스터 섬네일(610)과, 추가의 관련 데이터를 갖지 않는 얇게 보이는 포스터 섬네일(612)과, 추가의 관련 데이터(615)를 가진 폭이 좁은 포스터 섬네일(614)과 추가의 관련 데이터를 갖지 않는 폭이 넓은 포스터 섬네일(618)은 단일의 스크린(602) 상에서 혼합된다. 비주얼 공간(즉 포스터 섬네일에 "근접")을 가진 추가의 관련 데이터(예를 들어, "텍스트"로 표시되고 분리)는 포스터 섬네일과 연관되어 있다.

도 6d는 텍스트 정보 또는 그래픽 정보 또는 아이콘 정보 형태의 추가 관련 데이터를 갖거나 갖지 않는 다양한 형상의 포스터 섬네일을 가진 다른 예시적인 GUI 스크린을 도시한다. 도면에서, 각진 넓게 보이는 포스터 섬네일(620)과 각진 사각형의 포스터 섬네일(624)은 대응하는 포스터 섬네일 외에 그들의 추가 관련 데이터(622, 626)를 각각 갖고 있다. 오각형 포스터 섬네일(628)은 추가의 관련 데이터 없이 디스플레이된다. 육각형의 포스터 섬네일(630)의 추가의 관련 데이터(632)는 포스터 섬네일(630) 아래의 공간에 있다. 원형(또는 타원) 포스터 섬네일(634)과 평행사변형 포스터 섬네일(638)의 추가 관련 데이터(636, 640)는 포스터 섬네일(634, 638) 위의 공간에 각각 있다. 또한, 각진 얇게 보이는 포스터 섬네일(642) 및 둥근 얇게 보이는 포스터 섬네일(646)의 추가 관련 데이터(644, 648)는 그들의 포스터 섬네일(642, 646) 위의 공간(따라서 부분적으로 오버레이)에 각각 있다.

도 6a, 도 6b, 도 6c 및 도 6d에서, 현재 프로그램에 리스트된 포스터 섬네일은 리스트의 상부에서의 최소한의 시청 위치 또는 리스트의 상부에서의 가장 많이 관찰된 위치 등의 이하의 특성 또는 역 특성에 따라서 정렬될 수 있다. 다른 공통의 배우, 감독, 필름 스튜디오, 저자, 제작사 등, 개봉일 또는 기간, 프로그램에 디스플레이되는 공통의 아이템 또는 가공물 및 다른 사전 선택된 또는 나중에 선택된 (사용자에 의해 동적으로) 기준의 동일 또는 유사한 토픽에 의한 프로그램 의 그루핑 등의 여러 정렬 또는 카테고리화 방법이 명백히 고려된다. 개별적인 프로그램에 대한 총 재생 시간이 또한 사용될 수 있다. 프로그램은 액세스 횟수뿐 만 아니라 현재 액세스/재생되는 순서로 분류될 수 있다. 사용자가 녹화된 프로그램을 장시간 시청하면, 녹화된 프로그램은 사용자가 관심을 갖고 있다는 것을 의미하고, 따라서 다른 프로그램 위의 상부에 리스트될 수 있다. 각각의 프로그램에 대한 총 재생 시간의 트랙을 유지하기 위해서, DVR 또는 PC는 사용자가 얼마나 오랫동안 각각의 프로그램을 시청하였는지의 사용자 이력을 유지하고, 리스트는 각 프로그램에 대한 총 재생 시간에 기초하여 제공된다. 특히, 몇몇 리스트 순서 또는 그루핑 기준은 다음을 포함할 수 있다.

● 방송국 또는 서비스 공급업자에 의해 제공되는 장르 정보에 의해

● 특정 배우/감독/제작사/제작 기간(예를 들어, 1950-1959) 등의 사용자에 의해 지정되는 선호 채널에 의해

● 사용자 선호(예를 들어, 샘은 조와는 다른 주문을 가질 수 있음)에 의해

● 내부 특성(예를 들어, 나는 험프리 보카트를 좋아해서, 그가 영화에서 등장하는 시간 순으로 우선 순위를 부여한다)에 의해

● 관련 영화(예를 들어, "에일리언 I"를 선택하면, 존재하면, 에일리언 Ⅱ, Ⅲ 및 IV 팝 업의 속편이 순서로 이어진다)에 의해

● 시간(예를 들어, 휴일 동안, 특집 진행)에 의해

● 더빙 또는 자막 등의 1차 언어 또는 이용가능한 언어에 의해

● 필름의 시대/저작권에 의해

● 수상(예를 들어, 2004, 2003, 2002의 오스카 입상 등)에 의해

● 인기(예를 들어, 2004, 2003, 2002의 최고 흥행 필름)에 의해

● 녹화 또는 방송 일자에 의해

● 최초 또는 최종 시청 일자에 의해

● 시청한 횟수 또는 가장 많이 종종 시청한 횟수에 의해

● 실제 시청 기간에 의해

● 제목의 알파벳 순서에 의해

● 프로그램의 채널 번호에 의해

● 프로그램 시리즈(예를 들어, CSI, NYPD 등)에 의해

특징의 하나 이상의 타이틀(적어도 원래의 정렬)에 의해 모두 정렬되며, 사용자는 원하는 경우에 순서를 수정할 수 있다. 리스팅 순서 또는 그루핑 기준은 프로그램의 총 개수, 시리즈 또는 이용 가능한 장르에 따라서 자동으로 변경될 수 있다.

도 6a, 도 6b, 도 6c 및 도 6d에서, 포스터 섬네일은 여러 경계를 가질 수 있다. 이러한 경우에, 경계의 개수, 형상, 패턴, 경계 컬러 및 경계의 질감은 비디오의 장르, 선호 채널, 사용자 선호도, 섬네일 이미지의 주된 컬러 및 여러 다른 기준 등의 특징에 따라서 변경될 수 있다.

도 7a 및 도 7b는 비디오 스트림 또는 방송/녹화 TV 프로그램에 대해 텍스트 정보만을 고려하여 포스터 섬네일을 자동으로 생성하는 예시적인 전체 방법을 나타내는 흐름도이다. 비디오 스트림의 포스터 섬네일의 생성 프로세스는 비디오의 스 트림의 섬네일 이미지를 생성하는 단계와, 비디오 스트림에 관련된 하나 이상의 관련 데이터를 획득하는 단계와, 하나 이상의 관련 데이터를 비디오 스트림의 섬네일 이미지와 조합하는 단계를 포함한다. 또한, 비디오 스트림의 섬네일 이미지를 생성하는 단계는 비디오 스트림의 적어도 하나의 키 프레임을 생성하는 단계와, 크로핑, 크기 재조정 및 다른 시각적 개선에 의해 적어도 하나의 키 프레임을 조정하는 단계를 더 포함한다.

도 7에서, 단계(702)에서, 포스터 섬네일 생성 프로세스가 개시된다. 비디오 또는 관련 프로그램의 포스터 섬네일을 생성하기 위해서는 비디오의 하나 이상의 캡쳐된 키 프레임의 이미지가 필요하다. 키 프레임이란, 복수의 이미지를 포함하는 프로그램으로부터 추출하고, 비디오 프로그램을 가장 잘 나타내는 하나의 스틸 이미지이다. 키 프레임은 비디오의 일정 위치 또는 시점을 키 프레임의 위치로서 설정함으로써 생성할 수 있다. 예컨대, 비디오의 시작부터 첫 번째 혹은 30번째 프레임 혹은 비디오 중간에 위치된 한 프레임과 같은 임의의 프레임이 키 프레임이 될 수 있다. 이런 경우에, 생성된 키 프레임은 비디오의 전체 내용을 의미적으로 가장 잘 나타낼 수 있다. 비디오 전체 내용을 의미적으로 가장 잘 나타낼 수 있는 더 양호한 키 프레임을 획득하기 위해서, 더 많은 계산을 요구하더라도 키 프레임의 위치를 찾는 더 체계적인 방법이 필요하다. 장현성, 설상훈, 이상욱 등의 "Efficient Video Indexing Scheme for Content-Based Retrieval" IEEE Trans. Circuits and Systems for Video Technology, vol.9, pp.1269-1279, Dec.1999와 같은 현재의 키 프레임 생성 문제에 대한 다양한 알고리즘이 있었다. 키 프레임은 특히 HDTV 스트림의 경우에, 크기를 줄여서 계산을 감소시킨, 비디오의 프레임 이미지 시퀀스로부터 생성될 수 있다. 광고가 TV 프로그램에 삽입되어 있다면, 이 프로그램의 키 프레임은 광고의 프레임으로 선택 되지 않아야 한다. 광고에 대응하는 비디오 또는 프로그램의 일부로부터 키 프레임을 생성하는 일을 방지하기 위해서, Rainer Lienhart, Christoph Kuhmiinch 및 Wolfgang Effelsberg의 "On the detection and recognition of television commercials" in Proc. of IEEE International Conference on Multimedia Computing and Systems, pp.509 - 516, June 1997과 같은 현재의 광고 검출 알고리즘이 사용될 수 있다. 키 프레임의 디폴트 위치를 검사하여 하나 또는 이러한 알고리즘의 조합을 사용할 지 결정한다. 이러한 알고리즘이 사용되어야 한다면, 단계 706에서 알고리즘 중 하나 혹은 이들의 조합을 수행함으로써 키 프레임의 위치가 측정되고, 제어는 단계 710으로 넘어간다. 그렇지 않은 경우에, 단계 708에서 키프레임은 디폴트 위치에서 획득 한다. 단계 710에서, 디폴트 또는 결정된 위치로부터 키 프레임이 캡쳐된다. 다른 방안으로, 방송 네트워크 또는 백 채널(인터넷과 같은)을 통해서 프로그램 자체의 키 프레임 이미지 또는 프로그램의 키 프레임의 위치 정보가 TV Anytime, 또는 MPEG-7 또는 다른 동등물과 같은 메타 데이터의 형태로 DVR 또는 PC로 전송될 수 있다. 다른 방안으로, 프로그램 자체의 키 프레임 이미지 또는 프로그램의 키 프레임의 위치 정보는 EPG 정보 또는 백 채널(인터넷과 같은)을 통해서 TV 방송에 의해 공급될 수 있다. 이런 경우에, 단계 704부터 단계 710(키 프레임의 이미지 자체가 공급될 때) 혹은 단계 704부터 단계 708(키 프레임의 위치 정보가 공급될 때)이 각각 생략될 수 있다.

캡쳐된 키 프레임의 이미지를 획득한 이후에, 캡쳐된 키 프레임은 분석, 크로핑(cropping), 크기 재조정 및 시각적인 향상 (visual enhancement)를 조합으로 구성된다. 키 프레임 크로핑 프로세스가 수행되지 않는다면, 제어는 단계 712를 통하여 단계 722를 수행한다. 그렇지 않다면, 제어는 단계 712를 통하여 단계 714 를 수행한다. 디폴트 값을 이용해서 키 프레임의 크로핑 영역의 고정된 위치가 사용되는 경우에, 단계 718에서 디폴트 위치를 가져오고, 단계 720으로 넘어간다. 적절한 크로핑 위치가 자동으로 혹은 지능적으로 결정되는 경우에 제어는 단계 716으로 넘어간다. 이 단계에서, 관심 있는 얼굴(face)/대상을 자동으로 검출함으로써 캡쳐된 키 프레임 이미지를 분석하고, 적어도 검출된 얼굴/대상을 포함할 사각 영역을 계산함으로써 크로핑 영역이 결정될 수 있다. 이 영역은 영화 포스터 또는 DVD 타이틀의 종횡비(좁게 보이는 형태)를 가질 수 있지만, 캡쳐된 스크린 크기의 종횡비와 같은 다른 종횡비를 가질 수도 있다(넓게 보이는 형태). 사각 영역의 종횡비는 검출된 얼굴의 위치, 크기 및 개수를 분석함으로써 자동으로 결정될 수 있다. 도 8a 및 도 8b는 얼굴 검출을 사용해서 크로핑 영역의 위치를 자동으로 결정하는 예를 도시하고 있으며, 이에 대해서는 더 상세하게 설명될 것이다.

섬네일 이미지는 종횡비를 가질 수 있지만, 의미있는 영역을 너무 많이 크로핑하는 일은 방지하는 것이 바람직하다. 한 그룹의 사람들에 의해 수행되는 주관적인 테스트에 따라서, 특히 통상적으로 16:9(1:0.5625에 대응하는)인 비디오 프레임 방송의 크로핑된 영역의 비율을 고려해서, 섬네일 이미지의 종횡비가 1:0.6에서 1:1.2 사이가 되는 것이 개시되어 있다. 1:0.6보다 폭이 넓은 섬네일 이미지는 스크린에 디스플레이 하기에는 비 경제적이면, 1:1.12보다 폭이 좁은 섬네일 이미지는 캡쳐된 비디오 프레임 및 관련 데이터의 비주얼 콘텐츠를 나타내는 영역이 너무 제한되어 있다. (1:1.2는 1:0.6보다 "작고", 1:0.6은 1:1.2보다 "크며", 이는 두 경우 모두 "1"은 대응하는 비율의 수치이고, "0.6" 및 "1.2"는 대응하는 비율을 나타내는 수치이기 때문이라는 점을 이해할 것이다).

크로핑은 크로핑될 영역으로부터 픽셀을 선형적으로 또는 비선형적으로 샘플링함으로써 수행될 수 있다. 이 경우, 크로핑된 영역은 어안렌즈를 사용하는 것처럼 보인다. 크로핑 영역의 위치를 결정한 이후에, 제어는 단계 720으로 넘어간다. 단계 720에서, 디폴트 또는 결정된 위치에 있는 사각 영역이 크로핑된다.

단계 710에서 캡쳐된 이미지 또는 단계 720에서 캡쳐된 이미지의 크로핑된 영역은 단계 722에서 미리 결정된 포스터 섬네일의 크기에 맞게 크기 재조정된다. 포스터 섬네일의 크기는 그 폭 및/또는 높이가 키 프레임의 캡쳐된 이미지보다 작지 않아야 한다는 점을 제외하고는 특별한 제한은 없다. 즉, 포스터 섬네일은 좁게 보이는, 넓게 보이는 또는 심지어 완전한 정사각형 혹은 다른 모양인지 상관없이 임의의 크기 및 임의의 종횡비를 가질 수 있다. 그러나, 캡쳐, 크로핑 또는 크기 재조정된 이미지의 크기가 너무 작은 경우에, 포스터 섬네일은 특정 프로그램의 빠른 식별을 돕기에 충분한 정보를 제공할 수 없다. 일정 그룹의 사람들에 의해 수행된 주관적인 테스트에 따라서, 캡쳐된 이미지의 픽셀 높이는, 130-180 픽셀에 대응하는 디지털 TV 포맷의 비디오 스트림 방송의 전체 프레임 이미지의 픽셀 높이 에 대해서 1080i(p) 디지털 TV 포맷의 경우에는 1/8이고, 720p 디지털 TV 포맷의 경우에는 1/4, 480i(p) 디지털 TV 포맷의 경우에는 1/3인 반면, 캡쳐, 크로핑 또는 크기 재조정된 이미지의 폭은 주어진 종횡비에 대해 거의 조정된다. 또한, 1/8 또는 1/4만큼 1080i 또는 720p 프레임 이미지를 줄이는 것은, 2003년 10월 2일에 출원된 대응하는, 계류중인 미국 특허 출원 제 10/361,749호에 개시된 바와 같이 효율적인 계산 방식으로 구현될 수 있다.

단계 724에서, 캡쳐, 크로핑 또는 크기 재조정된 이미지는 필요에 따라서, 콘트라스트 향상, 밝게/어둡게, 경계/에지 검출, 색처리, 분할, 공간 필터링 및 배경 합성과 같은 현재의 이미지 처리 및 그래픽 기술 중 하나를 사용해서 시각적으로 향상된다. 이미지 처리 기법의 더 상세한 설명은 Gonzalez 및 Woods의 "Digital Image Processing"(Prentice Hall, 2002) 및 James D. Foley, Andries van Dam, Steven K. Feiner 및 John F. Hughes의 "Computer Graphics"(Addison Wesley, 2nd Edition)를 참조한다.

포스터 섬네일에 사용되는 캡쳐되고 조작된 이미지는 포스터 섬네일로 예정된 미리 정해진 영역 전체를 커버하거나 채울 수도 있고, 혹은 조작된 이미지가 미리 정해진 영역의 일부를 커버하거나 채울 수도 있으며, 혹은 조작된 이미지가 미리 정해진 영역을 벗어날 수도 있다(모서리가 샤프닝된 이미지에 대해서 모서리가 둥글게 되는 경우와 같이). 예를 들어, 도 3a 및 도 4a는 그들의 크기 재조정된 이미지에 의해 완전히 커버된 포스터 섬네일을 도시하며, 도 3b, 도 3c 및 도 3d는 그들의 크기 재조정된 이미지에 의해 부분적으로 커버된 소정의 포스터 섬네일 영 역을 도시한다. 크기 재조정된 이미지가 자신의 포스터 섬네일을 부분적으로 커버하는 경우에, 크기 재조정된 이미지는 남은 영역을 배경으로 채우거나 합성함으로써 시각적으로 개선될 수 있다. 배경의 컬러, 패턴 및 질감은 크기 재조정된 이미지(또는 단계 710에서의 캡처된 이미지 또는 단계 720에서의 캡처된 이미지의 크로핑된 영역)의 주된 컬러, 패턴 및 질감을 분석함으로써 사전 결정되거나 결정될 수 있다. 배경의 패턴 및 질감은 배경의 조합된 이미지와 크기 재조정된 이미지가 단일 이미지로 보이는 한, 크기 재조정된 이미지에 최적으로 맞는 이미지로서 선택될 수 있다. 컬러 및 질감 분석은 B.S.Manjunath, J.R.Ohm, V.V.Vinod 및 A.Yamada "Color and Texture descriptors" IEEE Trans.Circuits and Systems for Video Technology, Special Issue on MPEG-7, vol.11, no.6, pp.703-715, Jun.2001 등의 기존의 알고리즘을 적용함으로써 행해질 수 있다. 검사(726)는 이러한 목적으로 제공된다. 검사(726)는 추가의 배경이 포스터 섬네일에 필요한지 여부를 결정한다. 필요하면, 배경의 컬러, 패턴 및 질감이 결정(조정)되고, 결정된 배경과 크기 재조정된 이미지는 단계 728에서 단일 섬네일 이미지로 조합된다. 포스터 섬네일의 텍스트 프로세싱이 도 7b에 도시된 단계에서 실행되는 경우에 단계 730으로 제어 동작이 진행한다. 검사 726에서 배경이 필요하지 않으면, 제어 동작은 단계 730으로 진행한다. 도 7a에 도시된 흐름도의 최소 변경으로 섬네일 이미지를 생성하기 위해서 크로핑 및 크기 재조정 동작의 순서는 상호 바뀔 수 있다는 것을 알아야 한다.

도 7b에서, 포스터 섬네일의 텍스트 프로세싱은 단계 730에서 시작한다. 단 계 730에서, 도 7a에서 기술한 방법을 이용하여 생성된 섬네일 이미지 위 또는 근처에 추가, 오버레이, 겹치게,(superimpose) 병합되는 관련 데이터 (예를 들어, 도 7b의 텍스트 정보)는 EPG나 백 채널로부터 받는다. 텍스트 정보는 프로그램에 관련된 유형일 수 있다. 그러나, 포스터 섬네일의 공간적인 제한으로, 사용자가 포스터 섬네일의 리스트로부터 프로그램을 식별하거나 선택하는데 필요한 가장 중요한 정보가 결정되고 섬네일 이미지와 조합된다. 바람직하게, 정보는 최소한 프로그램의 제목을 포함하고, 옵션으로, 녹화 일자, 방송 시간 및 프로그램의 채널 번호, 배우, 감독, 및 방송 네트워크 또는 백 채널 등을 통해 전송된 EPG 또는 메타데이터 또는 자막 텍스트로부터 얻을 수 있는 다른 정보를 포함할 수 있다. 다수의 언어 지원이 필요하면 텍스트 정보는 다른 언어로 변환될 수 있으며, 및/또는 섬네일 이미지, 그들의 배경 및/또는 경계의 컬러, 패턴, 질감 등 및/또는 오디오 수단에 의해 제공될 수 있다.

텍스트 정보를 획득한 후에, 포스터 섬네일 상에서의 텍스트 정보의 위치가 디폴트 값으로 고정되지 않는다면 그 위치를 결정할 수 있다. 고정된 위치의 경우에, 프로그램의 제목은 포스터 섬네일에 맞게 설계된 소정의 영역의 상부에 항상 위치될 수 있으며, 일/시간/채널 번호는 항상 영역의 하부에 위치한다(도 5a 및 도 5b에서 각각 502 및 504로 도시됨). 동적인 위치 설정의 경우에, 섬네일 이미지의 배우의 얼굴 등의 위치에 영역 상에 조합된 텍스트는 위치시키는 것을 피하는데 사용될 수 있으며, 텍스트는 다수의 라인 또는 하이픈을 이용하여 주변을 채울 수 있게 한다. 장면에서 얼굴과 텍스트 등의 중요한 부분을 피하기 위한 알고리즘은 전 승수, 김혁만, 김정림, 오상욱 및 설상훈의 "Fast Text Caption Localization on Video Using Visual Rhythm"의 2002년 3월 Lecture Notes in Computer Science, VISUAL 2002, 259-268쪽에서와 같이, 얼굴, 물체 및 텍스트를 검출하기 위한 기존의 방법을 이용하여 검출될 수 있다. 대안으로, 조합된 텍스트는 예를 들어, 프레임 또는 이미지의 영역을 고의로 불분명하게 하거나 덮어쓰기 하여 프레임 또는 이미지에서의 사인 또는 배너의 실제 언어를 변경하거나, 사인 또는 배너에 대한 정보를 갱신할 수 있다. 검사 734는 이러한 목적으로 행해진다. 검사 734는 포스터 섬네일에 대한 텍스트 정보의 위치가 디폴트 값으로 고정되거나 섬네일 이미지의 컨텍스트에 따라서 동적으로 결정될 수 있는지 여부를 결정한다. 위치가 동적으로 결정되면, 단계 736으로 진행한다. 단계 736에서, 텍스트 정보의 위치는 섬네일 이미지로부터 중요 부분을 찾음으로써 결정된다. 그 다음 단계 740으로 진행한다. 그렇지 않으면, 섬네일 이미지에 대한 텍스트 정보의 디폴트 위치는 단계 740으로 진행하기 전에 단계 738에서 판독된다.

단계 740에서, 컬러, 스타일 및 크기 등의 텍스트 폰트 특성은 프로그램의 장르, 선호 채널, 사용자 선호, 키 프레임 또는 크로핑 영역의 주된 컬러, 텍스트 정보의 길이, 포스터 섬네일의 크기 및/또는 다른 정보 표현 등의 프로그램의 특성에 따라서 결정된다. 또한, 하나 이상의 폰트 특성은 단일의 프레임 또는 포스터 섬네일의 텍스트에 따라서 변할 수 있다. 예를 들어, 텍스쳐 정보의 폰트 컬러는 제목에 할당된 폰트 컬러는 키 프레임의 주된 컬러에 시각적으로 대비되는 컬러 또는 주된 컬러의 채도를 증가(또는 감소)시킴으로써 변경된 컬러일 수 있으며, 할당 된 폰트 컬러는 포스터 섬네일의 배경 컬러와 일치하는 다른 컬러일 수 있으며, 채널 번호에 할당된 폰트 컬러는 적색으로 항상 고정될 수 있도록 할당될 수 있다. 다른 예로, 폰트 스타일은 프로그램의 장르가 역사인 경우에 제목에 할당된 폰트 스타일이 필기체가 되도록, 채널 번호에 할당된 폰트 스타일이 Arial 서체로 고정되도록 할당될 수 있다. 폰트 크기는 텍스트 정보의 길이와 포스터 섬네일의 크기에 따라서 결정될 수 있다. 텍스트의 판독가능성은 예를 들어, 어두운 폰트에 대한 밝은 아웃라인 효과를 이용하여, 폰트에 대한 효과색이 폰트 컬러와 시각적으로 대비되는 폰트에 아웃라인(또는 음영, 강조 또는 음각) 효과를 추가함으로써 개선될 수 있다. 폰트 특성이 결정된 폰트에 의해 표현되는 텍스트 정보는 단계 724로부터의 크기 재조정된 프레임 또는 이미지 상의 또는 단계 728로부터의 배경과 크기 재조정된 이미지를 조합한 결과인 프레임 또는 이미지 상의 그들의 위치에서 판독가능하게 유지될 수 있다는 것을 알아야 한다.

단계 742에서, 소정의 디폴트 또는 동적으로 결정된 폰트 특성에 따라서 폰트에 의해 표현된 텍스트 정보는 단계 728로부터의 섬네일 이미지 위 또는 부근에서 조합된다. 이러한 최종 이미지는 포스터 섬네일이 된다. 포스터 섬네일의 생성 프로세스는 단계 744에서 종료된다.

도 7a 및 도 7b의 방송 프로그램 포스터 섬네일의 이러한 유형의 생성 프로세스는 일반적으로 DVR 또는 PC에 의해 또는 그 안에서 실행될 수 있다. 그러나, 포스터 섬네일은 방송국 또는 제 3 자에 의해 자동 또는 수동으로 형성되어, EPG 정보 또는 백 채널(인터넷 등)을 통해 DVR에 전송될 수 있다. 비디오 스트림이 백 채널을 통해 액세스 가능한 원격 VOD 서버에 저장되는 VOD 시나리오에 있어서, 포스터 섬네일은 사전에 자동 또는 수동으로 생성될 수 있으며, 포스터 섬네일은 필요할 때마다 시청자에게 전송될 수 있다. 이러한 시나리오에서, 생성 프로세스는, 프로세스가 다소 변경될 수 있지만, 방송국 또는 VOD 서비스 공급업자 또는 제 3 자에서 실행될 수 있다.

포스터 섬네일을 생성하는 프로세스는 비디오에 제한되지 않는다. 예를 들어, 포스터 섬네일은 필름 이름, 필름 크기, 작성된 일자, 주석 등의 사진과 관련된 텍스트 정보를 이용하여 디지털 카메라 또는 캠코더에 의해 찍힌 정지 이미지 또는 사진으로부터 생성될 수 있다. 사전 생성되어 관련 저장부에 저장된 포스터 섬네일은 필요할 때마다 포스터 섬네일을 생성하는 대신에 이용될 수 있다.

도 8a는 이하에 설명하는 방법 등의 얼굴 검출 방법 중 하나를 이용하여 프레임 또는 이미지(802)로부터 생성된 폭이 넓은 포스터 섬네일(804)과 폭이 좁은 포스터 섬네일(806)의 예를 도시한다. 도면에서, 폭이 넓은 포스터 섬네일(804)은 다른 사람에게 해당하는 중요한 영역이 폭이 좁은 섬네일(806)의 경우에 노출되기 때문에, 폭이 좁은 포스터 섬네일(806)에 비해 이미지를 표현하는 시각적 정보를 많이 제공하는 것으로 보인다.

도 8b는 서 있는 사람을 포함하는 이미지에 대한 직사각형 영역의 종횡비를 결정하는 방법을 나타낸다. 예를 들어, 이미지에서 얼굴을 검출한 후에, 다음의 조건을 만족하면 서 있는 사람으로 간주한다. i) 검출된 얼굴(812)의 폭이 이미지(810)의 폭의 5% 내지 10% 내에 있다. ⅱ) 얼굴(812)의 높이가 이미지(810)의 높 이의 13% 내지 17% 내에 있다. ⅲ) 얼굴 영역이 이미지(810)의 하프 라인(814) 위에 위치한다. 결국, 이미지에 대해서 얼굴의 상대적인 크기와 위치를 분석함으로써, 사람이 서 있는지 앉아 있는지 또는 사람의 수 등의 정보가 산출되어 포스터 섬네일의 직사각형 영역에 대한 적절한 종횡비를 결정할 수 있다. 예를 들어, 폭이 좁은 포스터 섬네일은 한 사람이 서 있는 경우에 적절하며, 폭이 넓은 포스터 섬네일은 두 명 이상의 사람이 이미지에 존재하는 경우에 적절하다. 얼굴/물체 검출은 J.Cai, A.Goshtasby, 및 C.Yu, "Detecting human faces in color images" in Proc. of International Workshop on Multi-Media Database Management Systems, pp 124-131, Aug, 1998과, Ediz Polat, Mohammed Yeasin and Rajeev Sharma, "A 2D/3D model-based object tracking framework," Pattern Recognition 36, pp 2127-2141, 2003 등의 기존의 얼굴/물체 검출 알고리즘 중 하나를 적용하여 수행될 수 있다.

2. 애니메이션 섬네일

도 9a 및 도 9b는 본 발명에 따른 DVR의 녹화된 TV 프로그램을 브라우징하기 위한 예시적인 GUI 스크린을 도시하며, 여기서, 동일 참조 번호는 동일 특징에 해당한다. 도 9a에서, 4개의 프로그램이 단일 스크린(902) 상에 리스트되어 있다. 동일 또는 상이한 데이터가 비주얼 필드(906) 상에 디스플레이되든지 간에, 프로그램의 제목, 녹화 일자, 방송 시간 및 채널 등의 녹화 프로그램의 텍스트 정보가 각 텍스트 필드(904)에 디스플레이된다. 녹화 프로그램에 관련된 텍스트 정보와 함 께, 녹화 프로그램의 시각적인 콘텐츠 특징은 각 비주얼 필드(906)의 하나 이상에 디스플레이될 수 있다. 녹화 프로그램의 비주얼 콘텐츠 특징은 섬네일 이미지, 포스터 섬네일, 애니메이션 섬네일 또는 작은 크기로 도시된 비디오 스트림 등의 프로그램과 관련된 이미지 또는 비디오일 수 있다. 따라서, 복수의 녹화 프로그램 각각에 있어서, 텍스트 필드(904)는 프로그램과 관련된 텍스트 정보를 디스플레이하고, 비주얼 필드(906)는 프로그램에 관련된 비주얼 콘텐츠 특징(이미지 상에 첨부된 텍스트를 가질 수 있음)을 디스플레이한다. 각 프로그램에 있어서, 비주얼 필드(906)는 텍스트 필드(904)와 쌍을 이룬다. 각 비주얼 필드(906)는 텍스트 필드(904)와 연관(동일한 수평 레벨 상에 인접하게 디스플레이되어 있음)되어 있어서, 2개의 필드의 연계(연관성)는 집중력을 잃지 않고 사용자에게 쉽게 이해될 것이다. 원격 제어기 등의 제어 장치를 이용하면, 사용자는 프로그램 리스트에서 커서 표시자(908)(선택된 필드를 둘러싸는 시각적으로 구별할 수 있는 굵은 실선(904 또는 906 또는 둘 다)으로 표시)를 상하로 이동함으로써 재생할 프로그램을 선택할 수 있다. 이는 비주얼 필드(906) 및/또는 텍스트 필드(904)를 스크롤하여 행해질 수 있다. 이러한 새로운 인터페이스를 이용하면, 사용자는 각각의 녹화 프로그램의 비주얼 콘텐츠 특징을 직접 잠깐 보고 재생할 프로그램을 쉽게 선택할 수 있다.

애니메이션 섬네일이 비주얼 필드(906) 상에 디스플레이될 수 있는 경우에, 각각의 녹화 프로그램을 표현하는 정지 섬네일 이미지는 4개의 비주얼 필드(906)의 첫머리에 각각 디스플레이된다. 커서 표시자(908)가 지정된 시간 동안(예를 들어, 1 또는 2초) 프로그램 상에 남게 된 후에, 또는 선택기(버튼 등)가 시청자에 의해 활성화된 후에, 커서(908)에 의해 지정된 프로그램의 슬라이드 쇼는 자신의 비주얼 필드에서 재생하기 시작한다. 슬라이드 쇼의 경우에, 프로그램으로부터 캡쳐된 일련의 섬네일 이미지는 다른 지정된 시간 간격으로 하나씩 디스플레이될 수 있다. 각각의 섬네일 이미지가 서로 시각적으로 다르면, 슬라이드 쇼는 사용자에게 보다 많은 정보을 제공할 것이다. 대안으로, 단편 비디오 신은 비주얼 필드에서 재생될 것이다. 커서(908)를 가진 것을 제외하고 프로그램의 3개의 다른 비주얼 필드(906)는 그들 자신의 정적인 섬네일 이미지를 여전히 디스플레이할 수 있다. 사용자가 다른 녹화 프로그램/비디오 스트림의 콘텐츠를 미리보기 원하면, 사용자는 커서(908)를 상하로 이동하여 관심 있는 비디오 스트림을 선택할 것이다. 이로써, 다수의 비디오 스트림을 신속하게 네비게이팅할 수 있다. 물론, 하나 이상의 비주얼 필드(906)가 1회 애니메이션될 수 있지만, 시청자에게는 혼란스러울 것이다.

유사하게, 프로그램의 소형 비디오가 비주얼 필드(906) 상에 디스플레이되는 경우에, 각각의 녹화 프로그램을 표현하는 정지 섬네일 이미지는 4개의 비주얼 필드(906)의 첫머리에 각각 디스플레이된다. 커서 표시자(908)가 지정된 시간 동안 프로그램 상에 남게 된 후에, 또는 선택기(버튼 등)가 시청자에 의해 활성화된 후에, 커서(908)를 통해 하이라이팅된 섬네일 이미지는 즉시 재생될 수 있는 소형 비디오로 대체된다. 커서(908)를 가진 것을 제외하고 프로그램의 3개의 다른 비주얼 필드(906)는 정지 섬네일 이미지를 디스플레이할 것이다. 소형 비디오는 원격 제어기 상의 임의의 버튼을 눌러서 재생, 되감기, 감기 또는 점프 할 수 있다. 예를 들어, 원격 제어기의 업/다운 버튼은 프로그램 리스트의 상이한 비디오 스트림 사 이를 스크롤하는데 사용될 수 있으며, 원격 제어기는 커서(908)에 의해 표시된 하이라이팅된 비디오 스트림을 빨리 감기 또는 되감기하는데 사용될 수 있다. 정지 섬네일 이미지가 디스플레이되는 것과 동일한 위치에서 소형 비디오를 디스플레이함으로써, 비디오는 디스플레이되고 연관되어(텍스트 필드(904)와 동일한 수평 레벨 상에서, 도 9a에 도시), 2개의 필드의 연계(연관성)는 사용자에게 쉽게 이해하고 집중 할 것이다.

애니메이션 섬네일 또는 소형 비디오의 경우에, 진행 상태 표시자(910)는 커서 표시자(908)에 의해 현재 하이라이팅된 비주얼 필드(906)에 제공될 수 있다. 진행 상태 표시자 (910)는 커서(908)에 의해 하이라이팅된 비디오 스트림 내에서 재생되고 있는 비디오의 일부분을 표시한다. 진행 상태 표시자의 전체 범위(보고 있는 폭)는 비디오의 전체 방송 시간을 나타낸다. 진행 상태 표시자(910) 내의 슬라이더(912)의 크기는 디스플레이되고 있는 비디오의 세그먼트의 크기를 나타내며, 고정된 크기일 수 있다. 또한, 슬라이드(912)의 일부분은 애니메이션 섬네일 파일 내의 비디오의 디스플레이된 부분의 상대적인 배치를 나타낸다.

다수의 프로그램/스트림은 커서 표시자에 의해 선택되거나 하이라이팅되지 않을지라도 동시에 재생될 수 있다. 진행 속도가 충분하면, 디스플레이 스크린은 동일 또는 상이한 비디오 소스의 여러 애니메이션 섬네일 또는 소형 비디오를 동시에 상연할 수 있다. 그러나, 단일 스크린 내에서 애니메이션 섬네일 또는 소형 비디오 등의 다수의 동적인 구성 요소를 디스플레이하면 사용자는 현재의 커서를 가진 특정 프로그램에 대한 집중도를 잃을 수 있다.

제공된 프로그램 리스트에 리스트된 프로그램의 순서는 도 6a 및 도 6b의 포스터 섬네일(604, 608)을 정렬하는데 적용될 수 있는 특징에 따라서 정렬될 수 있다.

도면에서 904와 906을 포함하는 필드는 전체 스크린 상에서 재생된 비디오 상에/위에 오버레이 또는 포함될 것이다. 또한, 필드는 예를 들어, 레터 박스 포맷의 위/아래의 블랙 영역에서 스크린을 벗어날 것이다. 또한, 필드는 비디오의 일부분을 대체하거나 확대하고, 예를 들어, 다른 영역의 오버레이/블랙아웃만큼 비디오의 텍스트를 대체할 것이다. 하나의 예는 비디오의 배너 상의 한국어 텍스트를 단순한 부제목 변환보다는 영어 변환으로 대체하는 것이다. 상술한 3개의 조합이 가능하거나, 2개의 필드가 조합되거나 변경될 수 있다.

애니메이션 섬네일 또는 소형 비디오를 이용하는 GUI 스크린은 도면의 GUI 스크린으로 한정되지 않으며, 텍스트 필드가 애니메이션 섬네일 또는 소형 비디오를 상연할 수 있는 비주얼 필드 위/아래/옆의 공간에 있도록 자유롭게 변경될 수 있다. 하나의 가능한 변경은 각각의 포스터 섬네일이 애니메이션 섬네일 또는 소형 비디오로 대체되는 도 6c에서와 같이 도시될 수 있다. 또한, 하이라이팅되거나 선택될 수 있다.

도 9b에서, 9개의 얇게 보이는 포스터 섬네일(924)과 하나의 애니메이션 섬네일 또는 커서 표시자(926)를 가진 소형 비디오(922)는 단일 스크린(920) 상에 리스트되어 있다. 본 명세서에는 포스터 섬네일이 사용자에 의해 선택되고, 새로운 디스플레이 윈도우(즉, 현재/동일 디스플레이 윈도우 내에)를 발생시키지 않고, 시 청자가 그들의 집중력을 잃지 않게 하여, 대응하는 포스터 섬네일과 동일한 위치에 디스플레이될 때, 애니메이션 섬네일(922)로 변한다. 또한, 애니네이션 섬네일이 비디오 파일의 프레임을 크로핑하지 않고, 원래의 종횡비를 변경하지 않고 원래의 비디오 파일 또는 프로그램으로부터 선형으로 크기 재조정된 이미지 또는 프레임을 디스플레이하여, 결과적으로 시청자에게 보다 많은 즐거움과 보다 많은 정보의 시청 경험을 제공한다. 레터 박스 포맷으로 도시된 애니메이션 섬네일(922)의 노출된 영역(928)은 빈 스크린 또는 텍스쳐(비주얼) 정보에 의해 채워질 수 있다는 것을 알아야 한다.

도 10은 본 발명의 실시예에 따른, 임의의 주어진 비디오 파일 또는 방송/녹화 TV 프로그램에 대한 애니메이션 섬네일을 자동으로 생성하는 전체 방법을 나타내는 예시적인 흐름도이다. 도 9a, 도 9b, 도 10을 참조하면, 생성 프로세스는 단계 1002에서 시작한다. 인터페이스(902)의 커서 표시자(908) 또는 인터페이스(920)의 커서 표시자(926)로 하이라이팅된 비디오는 단계 1004의 프로세스에 의해 판독된다. 비디오의 애니메이션 섬네일을 생성하기 위해서, 비디오의 일련의 캡처된 섬네일 이미지가 필요하다. 초기에, 단계 1006에서 디폴트 위치에서의 프레임이 캡처된다. 디폴트 위치는 비디오의 시작부로부터의 제 1 또는 제 30 프레임 등의 비디오 내의 디폴트 위치일 수 있다. 단계 1008에서, 캡처된 프레임은 애니메이션 섬네일의 소정 크기에 맞게 크기 재조정되고, 하이라이팅된 비주얼 필드(906) 상에 디스플레이된다. 인터페이스의 프로그램 리스트에서 사용자가 원격 제어기 등의 제어 장치를 이용하여 커서 표시자(908)를 상하(또는 926을 상하 좌 우)로 이동하여 다른 프로그램을 선택하는지 여부를 결정하기 위해 검사(1010)한다. 그렇다면, 단계 1004로 진행한다. 그렇지 않으면, 다른 검사(1012)가 행해져서 사용자가 현재의 하이라이팅된 비디오를 재생하기를 원하는지 여부를 판단한다. 그렇다면, 생성 프로세스는 단계 1014에서 멈춘다. 그렇지 않으면, 단계 1020에서 프로세스는 지정된 시간 간격, 예를 들어, 1 또는 2초 동안 대기한다. 프레임의 다음 위치가 단계 1018에서 결정되고, 단계 1020에서 그 결정된 위치에 캡처된다. 예를 들어, 일련의 프레임은 시작부터 종료까지 제 60 번째 프레임 등의 시간적으로 규칙적인 위치(즉, 매 2초)에서 샘플링된다. 대안으로, 프레임은 난수 생성기에 의해 생성된 임의의 위치에서 샘플링된다. 대안으로, 보다 적절한 프레임은 예를 들어, 장현성, 설상훈 및 이상욱의 "Efficient Video Indexing Scheme for Content-Based Retrieval", IEEE Trans. Circuits and Systems for Video Technology, vol.9, pp.1269-1279, Dec.1999 등의 키 프레임 생성 및 클러스터링(clustering)의 기존의 알고리즘 중 하나에 기초하여 비디오의 콘텐츠를 분석하여 샘플링될 수 있다. 단계 1022에서, 캡처된 프레임은 애니메이션 섬네일의 소정 크기에 맞게 크기 재조정되고, 하이라이팅된 비주얼 필드(906)(또는 902) 상에 디스플레이된다. 최종적으로, 제어 동작은 다른 다음 프레임이 필요한지 여부를 결정하기 위해서 검사(1010)를 진행한다. 비디오의 종횡비는 비디오의 애니메이션 섬네일을 생성하여 디스플레이하기 위해서 크로핑(축소) 없이 유지된다는 것을 알아야 한다. 또한, 포스터 섬네일을 생성하는 대신에, DVR 또는 PC에 사전 생성되어 관련 저장부에 저장된 애니메이션 섬네일을 필요할 때마다 이용할 수 있다는 것 을 알아야 한다.

방송 환경에서, 프로그램의 키 프레임의 일련의 위치 정보는 EPG 정보 또는 백 채널(인터넷 등)을 통해 TV 방송국에 의해 공급될 수 있다. 이 경우에, 도 10의 흐름도는 단계 1018를 "EPG 또는 백 채널로부터 캡처된 다음 프레임의 위치를 판독"하는 새로운 단계로 대체함으로써 변경될 수 있다.

도 10의 방송 프로그램의 애니메이션 섬네일의 생성 프로세스는 DVR 또는 PC에서 실행될 수 있다. 그러나, 애니메이션 섬네일은 방송국(VOD 서비스 공급업자) 또는 제 3 자에 의해 자동 또는 수동으로 실행되어, EPG 정보 또는 백 채널(인터넷 등)을 통해 DVR(또는 STB)에 전송될 수 있다. 이러한 경우가 발생하면, 전송된 애니메이션 섬네일은 전송의 효율성을 위해서 일련의 캡처된 섬네일 이미지보다는 애니메이션 GIF 파일 형태일 수 있다. 이러한 시나리오에서, 생성 프로세스는 생성 프로세스가 약간 변경될 수 있지만, 방송국 또는 VOD 서비스 공급업자 또는 제 3 자에 의해 실행될 수 있다.

포스터 섬네일과 애니메이션 섬네일은 사용자에 의해 시청되는 비디오 북마크 또는 인포머셜을 네비게이팅, 브라우징 및/또는 선택하기 위한 효율적인 시스템을 제공하는데 사용될 수 있다는 것을 알아야 한다. 캡처된 축소 이미지와 미디어 로케이터를 포함하는 비디오 북마크(멀티미디어 북마크)는 사용자가 비디오 파일의 시작부에 액세스하지 않고 비디오 파일 또는 TV 프로그램에 액세스하는데 사용된다. 따라서, 포스터 섬네일 및 애니메이션 섬네일은 비디오 북마크의 콘텐츠 특징을 나타내기 위해 생성될 수 있으며, 파일명, 프로그램 제목 등에 추가로 포스터 섬네일 및 애니메이션 섬네일에 대한 텍스트 정보에 비디오 북마크의 사용자 주석 등이 사용된다. 멀티미디어 북마크에 대한 보다 상세한 설명은 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원)에서 찾을 수 있다. 인포머셜은 새로운 프로그램의 예고편, 공시, 세일 판매, 광고 등의 커머셜 및 정보를 제공하는 시청각(또는 일부) 프로그램 또는 세그먼트를 포함한 장시간의 다른 AV 프로그램의 흐름에 삽입(인터럽트)된 상대적으로 단시간의 AV 프로그램일 수 있다. 포스터 섬네일 및 애니메이션 섬네일은 인포머셜의 리스트를 나타내기 위해서도 생성될 수 있다. 보다 상세한 설명은 공동 계류중인 미국 특허 출원 제 11/069,830 호(2005년 3월 1일 출원)에서 찾을 수 있다.

3. TV 프로그램의 실제 방송 시작 시간

방송 환경에서, EPG는 제목, 줄거리, 장르, 캐스트 등의 짧은 설명과 함께 방송되는 프로그램의 시작 시간, 방송 시간 및 채널 번호 등의 현재 및 미래의 TV 프로그램에 대한 프로그래밍 정보를 제공한다. EPG를 통해 제공된 프로그램의 시작 시간은 DVR 시스템의 프로그램의 예정된 녹화에 사용된다. 그러나, 방송국이 제공하는 TV 프로그램의 예정된 시작 시간은 방송 TV 프로그램의 실제 시작 시간과 정확히 일치하지는 않는다. 문제점은 종종 프로그램의 설명이 실제 방송 프로그램에 맞지 않는다는 것이다. 이들 문제점은 부분적으로, 프로그램이 방송되기 직전에, 특히, 생중계 스포츠 게임 또는 뉴스 등의 생방송 프로그램 이후에 편성 일정이 종종 지연 또는 변경된다.

공동 계류중인 미국 특허 출원 제 09/911,293 호(2001년 7월 23일 출원)에 기재된 바와 같이, (현재의 DVR를 가진 경우) 두 번째 문제점은 2개의 시간, 즉, DVR이 사용자가 요청한 TV 프로그램의 예정된 녹화를 시작하는 시간과, TV 프로그램이 실제 방송되는 시간 사이의 차이와 관련되어 있다. 예를 들어, 사용자가 11:30 AM에 생방송으로 진행되는 것으로 예정된 TV 프로그램에 대한 DVR 요청을 개시하였지만, 실제 방송 시간은 11:31 AM이라고 가정한다. 이 경우에, 사용자가 녹화 프로그램을 재생하고자 할 때, 사용자는 녹화된 비디오의 시작부분에서 1분 동안의 원하지 않는 세그먼트를 시청해야 한다. 그러나 시간의 불일치 문제점은 서버로부터 전송된 메타데이터, 예를 들어, TV 프로그램의 시작부를 나타내는 기준 프레임/세그먼트를 이용하여 해결될 수 있다. 그 다음, TV 프로그램의 정확한 위치는 기준 프레임을 프레임에 대한 모든 녹화된 프레임과 단순히 일치시킴으로써 쉽게 찾을 수 있다.

따라서 EPG 시작 시간에 따라서 프로그램의 예정된 녹화에 대응하는 DVR의 녹화 비디오는 이전 프로그램의 마지막 부분을 포함할 수 있으며, 최악의 경우에, DVR의 녹화 비디오는 녹화 시간이 프로그램을 방송하는 시작의 예상하지 않은 지연을 충분히 커버하기에 길지 않으면, 녹화될 프로그램의 마지막 부분을 놓칠 수 있다. 예를 들어, 연속극 "CSI"가 채널 7에서 10:00 PM부터 11:00 PM 까지 예정되어 있고, 실제로는 10:15 PM에 시작한다고 가정하자. 프로그램에 그 예정된 시작 시간과 방송 시간에 따라서 DVR에 녹화되면, 녹화 비디오는 CSI와는 무관하게 앞선 15분의 세그먼트를 가질 것이다. 또한, 녹화 비디오는 몇몇 기존의 DVR에서 추가 녹화 시간을 시작부와 종료부에 설정함으로써 녹화될 프로그램의 마지막 세그먼트를 놓치는 문제점을 어느 정도 경감할 수 있지만, 가장 하이라이트 또는 결말 장면을 일반적으로 포함하는 중요한 마지막 15분의 세그먼트를 가지지 않을 것이다.

DVR의 녹화된 비디오가 녹화된 비디오의 시작부에서 프로그램과는 무관한 비디오 세그먼트를 포함할 때, 시작부부터 프로그램을 시청하기 위해서, DVR 시청자는 고속 감기 또는 되감기 등의 종래의 VCR 제어를 이용하여 프로그램의 실제 시작점을 위치해야 하며, 이는 불편하며 시간 소모적인 프로세스이다.

또한, DVR에 녹화된 방송 프로그램의 의미상 중요한 포스터 또는 애니메이션 섬네일을 생성하기 위해서, 녹화될 프로그램에 속하는 프레임은 최소한 섬네일 이미지를 생성하는데 이용되는 키 프레임용으로 선택되어야 한다. 다시 말하면, 섬네일 이미지는 섬네일 이미지를 생성하는데 사용된 키 프레임이 녹화될 프로그램에 시간상 인접하는 다른 프로그램에 속하는 프레임, 예를 들어, CSI와는 무관한 CSI의 녹화 비디오의 앞선 15분의 세그먼트에 속하는 프레임 중에서 선택되면 무용한 것으로 될 것이다.

시청자가 프로그램을 시청하기 원할 때 프로그램의 시작부에 대한 녹화 비디오를 수동으로 탐색하는 상황 또는 프로그램의 포스터 또는 애니메이션 섬네일을 생성할 때 프로그램과 무관한 앞선 세그먼트에 속하는 프레임으로부터 키 프레임을 자동으로 선택하는 상황을 피하기 위해서, 각 방송 프로그램의 실제 시작 시간과 방송 시간을 DVR 시스템에서 이용가능하면 바람직하다. 그러나 방송 프로그램의 실제 시작 시간은 프로그램이 방송되기 전에 결정되지 않을 수 있다. 따라서 방송 이 시작된 후에만 대부분의 프로그램의 실제 시작 시간을 DVR에 제공하는 경우가 일반적이다.

또한, 프로그램이 DVR 상에 녹화되고 있는 동안에 현재 방송 프로그램의 실제 시작 시간이 DVR에 제공되면, 프로그램의 예정된 시작 시간은 제공된 실제 시작 시간으로 갱신되어, 전체 프로그램이 DVR에 녹화될 수 있다. 예를 들어, CSI가 녹화되고 있는 동안에 CSI의 실제 시작 시간(10:15 PM)이 DVR에 제공되면, 녹화는 11:00 PM에 종료되지 않고, 11:15 PM 까지 연장될 수 있다. 즉, CSI와는 무관한 녹화된 CSI의 앞선 15분의 세그먼트가 녹화되는 것을 피할 수는 없지만, 놓칠 수 있는 CSI의 마지막 15 분의 세그먼트가 DVR에 녹화될 수 있다.

연속극, 토크쇼 및 뉴스 등의 규칙적인 방송 TV 프로그램의 대부분에 있어서, 각 프로그램은 프로그램의 시작부에서 제목 세그먼트로 불리우는 자신의 소정의 도입 시청각 세그먼트를 가진다. 제목 세그먼트는 단시간(예를 들어, 10 또는 20 초)을 가지며, 일반적으로, 프로그램이 새로운 프로그램을 비연속적으로 내보낼 때까지 변하지 않는다. 또한, 대부분의 영화는 20세기 폭스 또는 월트 디즈니 등의 배포사를 나타내는 고정 제목 세그먼트를 갖는다. 몇몇 TV 연속극에 있어서, 프레임의 고정 부분에 첨부된 PG-13 등의 제목 또는 로그 또는 등급 정보를 가진 하나 이상의 빈 프레임 바로 다음에 새로운 에피소드가 방송되기 시작하고, 그 다음 제목 세그먼트가 이어지고 에피소드가 이어진다. 따라서, 해당 프로그램의 실제 시작 시간은 해당 프로그램의 제목 세그먼트의 고정 AV 패턴에 일치하는 방송 신호의 일부분을 검출하여 자동으로 얻게 된다.

도 11a는 본 발명의 실시예에 따른, 현재 및 과거 방송 프로그램의 실제 시작 시간을 포함하는 메타데이터를 DVR에 제공하기 위한 시스템을 나타내는 블록도이다. 미디어 소스(1104)로부터의 AV 스트림과 EPG 서버(1106)에 저장된 EPG 정보는 다중화기(1108)에 의해 MPEG-2 전송 스트림(TS)의 형태 등의 디지털 스트림으로 다중화된다. 방송국(1102)은 방송 네트워크(1122)를 통해 EPG 정보를 가진 AV 스트림을 DVR 클라이언트(1120)에게 방송한다. EPG 정보는 ATSC의 PSIP 또는 DVB의 SI의 형태로 전송된다. EPG 정보는 하나 이상의 메타데이터 서비스 공급업자(1114)의 메타데이터 서버(1112)에 의해 쌍방향 백 채널(1124)을 통해 DVR 클라이언트(1120)에 또한 전송될 수 있다. 또한, 방송 AV 스트림에 관련된 기술 및/또는 오디오-비주얼 메타데이터(TV Anytime 또는 MPEG-7 또는 다른 등가물의 형태)가 생성되어 하나 이상의 메타데이터 서비스 공급업자의 메타데이터 서버에 저장될 수 있다. AV 패턴 검출기(1110)는 방송 네트워크(1122)를 통해 방송 스트림을 모니터링하고, 방송 프로그램의 실제 시작 시간을 검출하고, 실제 시작 시간을 메타데이터 서버(1112)에 전송한다. 패턴 검출기(1110)는 방송 네트워크(1122)를 통한 EPG 및 시스템 정보를 또한 이용한다. EPG 정보는 통신 네트워크를 통해 패턴 검출기(1110)에 또한 전송될 수 있다. 현재 및 과거 방송 프로그램의 실제 시작 시간을 포함한 메타데이터는 백 채널(1124)을 통해 DVR 클라이언트(1120)에 전송된다. 대안으로, 메타데이터 서버(1112)에 저장된 메타데이터는 예를 들어, 데이터 방송 채널 또는 EPG를 통해 다중화기(1108)에 의해 방송 AV 스트림으로 다중화되어 DVR 클라이언트(1120)에 전송된다. 대안으로, 메타데이터 서버(1112)에 저장된 메타데 이터는 종래의 아날로그 TV 채널을 이용하는 VBI를 통해 전송되고, DVR 클라이언트(1120)에 전송될 수 있다.

도 11b는 본 발명의 실시예에 따른, AV 패턴 검출기(130)(도 11a의 구성 요소(1110)에 대응)에서 해당 프로그램의 실제 시작 시간을 자동으로 검출하는 시스템을 나타내는 블록도이다. 도 11a 및 도 11b를 참조하면, AV 패턴 검출기(1130)는 방송 네트워크(1122)를 통해 전송된 방송 AV 스트림을 모니터링한다. 방송 신호는 선택된 채널 주파수로 동조되고, 튜너(1131)에서 복조되며, 디멀티플렉서(1133)에서 ATSC 용의 AV 스트림과 PSIP 스트림(또는 DVB 용의 SI 스트림)으로 역다중화된다. 역다중화된 AV 스트림은 AV 디코더(1134)에 의해 디코딩된다. 역다중화된 ATSC-PSIP 스트림(또는 DVB-SI)은 (ATSC-PSIP용의 STT로부터 또는 DVB-SI용의 TDT로부터) 현재 일자 및 시간에 대한 정보를 추출하여 적어도 또는 대략 30 Hz의 해상도로 클록 시간(1136)을 설정하는데 사용하는 클록 시간(1136)으로 전송된다. EPG 파서(1138)는 채널 번호, 프로그램 제목, 시작 시간, 방송 시간, 등급(이용가능하면) 및 줄거리 등의 EPG를 추출하고, 그 정보를 EPG 테이블(1142)에 저장한다. EPG 데이터는 EPG 데이터 제공자에게 접속된 통신 네트워크를 통해 AV 패턴 검출기(1130)에 또한 전송될 수 있다. EPG 테이블(1142)로부터의 EPG 데이터는 패턴 검출 매니저(1140)를 통해 패턴 데이터베이스(1144)에 저장된 각 프로그램에 대한 프로그래밍 정보를 갱신하는데 또한 사용된다.

패턴 데이터베이스(1144)는 프로그램 식별자, 프로그램 이름, 채널 번호, 배급사(영화의 경우), 초 단위의 타이틀 세그먼트의 방송 시간 또는 프레임 개수 또 는 다른 등가물로서 각 방송 프로그램에 대한 이러한 정보와, 프레임 이미지의 시퀀스, 각 프레임 이미지에 대한 컬러 히스토그램의 시퀀스, 프레임 이미지의 공간 시간적 비주얼 패턴(또는 비주얼 리듬) 등의 타이틀 세그먼트의 AV 특징을 저장한다. 패턴 데이터베이스(1144)는 예정된 시작 시간 및 방송 시간에 대한 옵션의 정보를 또한 저장할 수 있다. 프로그램의 타이틀 세그먼트는 특정 시간 동안에 프로그램의 예정된 시작 시간 경에 방송된 가장 자주 발생하는 유사한 프레임 시퀀스를 검출함으로써 자동으로 식별될 수 있다.

패턴 검출 매니저(1140)는 해당 프로그램에 대한 전체 검출 프로세스를 제어한다. 패턴 검출 매니저(1140)는 EPG 테이블(1142)로부터 프로그램 이름, 채널 번호, 예정된 시작 시간 및 방송 시간 등의 해당 프로그램의 프로그래밍 정보를 검색한다. 검출 매니저(1140)는 시간 클록(1136)으로부터 현재 시간을 항상 얻는다. 현재 시간이 해당 프로그램에 대한 패턴 매칭 시간의 시작 시간 포인트에 도달하면, 패턴 검출 매니저(1140)는 튜너(1131)에게 해당 프로그램의 채널 주파수를 동조할 것을 요청한다. 해당 프로그램에 대한 패턴 매칭 시간은 예를 들어, 예정된 시작 시간 전의 15분부터 예정된 시작 시간 후의 15분까지의 해당 프로그램의 예정된 시작 시간을 포함한다. 미국 특허 출원 제 10/369,333 호(2003년 2월 19일 출원)에 기재된 바와 같이, 패턴 검출 매니저(1140)는 AV 스트림을 디코딩하고, 예를 들어, 타임 스탬프 컬러 코드를 프레임 이미지에 첨부함으로써, 각 디코딩된 프레임 이미지를 시간 클록(1136)으로부터의 대응하는 현재 시간과 연관 또는 타임스탬프할 것을 AV 디코더(1134)에게 요청한다. 프레임 정확도가 요구되면, AV 스트림 의 디코딩된 프레임의 PTS 값은 항상 타임스탬프를 나타내기 위해 이용될 수 있다. 패턴 검출 매니저(1140)는 AV 특징 생성기(1146)에게 디코딩된 프레임 이미지의 AV 특징을 생성할 것을 또한 요청한다. 동시에, 패턴 검출 매니저(1140)는 예를 들어, 프로그램 식별자 및/또는 프로그램 이름을 질의(Query)로서 이용함으로써, 패턴 데이터베이스(1144)로부터 해당 프로그램의 타이틀 세그먼트의 AV 특징을 검색한다. 패턴 검출 매니저(1140)는 해당 프로그램의 타이틀 세그먼트의 AV 특징을 AV 패턴 매칭기(1148)에 전송하여, AV 패턴 매칭기(1148)에게 AV 패턴 정합 프로세스를 시작할 것을 요청한다.

패턴 검출 매니저(1140)에 의해 지시된 바와 같이, 해당 프로그램이 타이틀 세그먼트를 가진 경우에, AV 패턴 매칭기(1148)는 AV 스트림을 모니터링하고, 프레임 이미지 시퀀스 또는 AV 패턴이 패턴 데이터베이스(1144)에 저장된 해당 프로그램의 사전에 결정된 타이틀 세그먼트와 일치하는 AV 스트림 내의 세그먼트(하나 이상의 연속적인 프레임)를 검출한다. AV 특징에 대한 패턴 매칭 프로세스는 예정된 시작 시간 경우의 해당 프로그램의 소정 시간 동안에 수행된다. 프로그램의 타이틀 세그먼트가 소정 시간의 종료 시간 포인트 전에 방송 AV 스트림에서 발견되면, 일치 프로세스는 정지된다. 해당 프로그램의 실제 시작 시간은 AV 디코더(1134)에 생성된 타임스탬프 정보에 기초하여, 해당 프로그램의 타이틀 세그먼트의 시작 프레임에 일치하는 방송 AV 스트림 내의 프레임을 로컬리제이션함으로써 얻게 된다. 대안으로, AV 특징을 일치하는 대신에, 예를 들어, 버퍼(1132)로부터 직접 MPEG-2로 인코딩된 방송 AV 스트림은, 타이틀 세그먼트에 대한 동일 AV 비트 스트림이 해 당 프로그램용으로 방송되면, 패턴 데이터베이스에 저장된 타이틀 세그먼트의 비트 스트림과 일치될 수 있다. 최종적인 실제 시작 시간은 예를 들어, STT를 통해 전송된 대응하는 (보간된) system_time(또는 TDT를 통한 UTC_time 필드 또는 다른 등가물)에 기초하여 미디어 로케이터에 의해 표현되며, 일치된 시작 프레임의 PTS는 프레임 정확도가 필요할 때 미디어 로케이터 용으로 또한 사용된다.

대안으로, 조작자가 AV 디코더(1134)로부터 방송 AV 스트림을 시청하는 동안에 AV 패턴 매칭기 대신에 해당 프로그램의 실제 시작 시간을 수동으로 마킹할 수 있다. 조작자가 포인트를 고속 및 용이하게 마킹하는데 도움을 주기 위해서, 공동 계류중인 미국 특허 출원 제 10/369,333 호(2003년 2월 19일 출원)에 기재된 하이라이트 인덱싱 툴 등의 소프트웨어 툴은 최소 수정으로 AV 패턴 매칭기(1148) 대신에 사용될 수 있다. 프로그램의 실제 시작 시간의 이러한 수동 검출은 라이브 콘서트 등의 불규칙적이거나 단 1회의 방송 TV 프로그램에 유용할 수 있다.

도 12는 본 발명의 실시예에 따른, 도 11a 및 도 11b의 패턴 검출기에 의해 행해진 검출 프로세스를 나타내는 예시적인 흐름도이다. 도 11a, 도 11b 및 도 12를 참조하면, 검출 프로세스는 단계 1202에서 시작한다. 단계 1204에서, 도 11b의 패턴 검출 매니저(1140)는 도 11b의 EPG 테이블(1142)로부터 해당 프로그램의 프로그래밍 정보를 검색한다. 단계 1206에서, 도 11b의 패턴 검출 매니저(1140)는 소정 간격과 해당 프로그램의 예정된 시작 시간을 이용하여 해당 프로그램에 대한 패턴 매칭 시간의 시작 및 종료 시간 포인트를 결정한다. 도 11b의 패턴 검출 매니저(1140)는 단계 1207에서 도 11b의 시간 클록(1136)으로부터 현재 시간을 획득하 고, 검사(1208)에서 현재 시간이 해당 프로그램의 패턴 매칭 시간의 시작 시간에 도달하는지를 결정한다. 검사가 사실이 아니면, 도 11b의 패턴 검출 매니저(1140)는 검사(1207)에서 계속해서 현재 시간을 획득한다. 그렇지 않으면, 도 11b의 패턴 검출 매니저(1140)는 단계 1210에서 EPG 테이블 내의 프로그램 식별자 및/또는 프로그램 이름을 질의로서 이용함으로써 도 11b의 패턴 데이터베이스(1144)로부터 해당 프로그램의 타이틀 세그먼트의 AV 특징을 검색한다.

해당 프로그램이 영화인 경우에, 도 11b의 패턴 데이터베이스(1144)는 영화에 대한 엔트리를 가지고 있지 않기 때문에, 프로그램 이름(영화 이름)과 일치하는 타이틀 세그먼트 정보가 없다. 대신에, 도 11b의 패턴 데이터베이스(1144)는 주요 영화 배급사에 대한 타이틀 세그먼트를 가질 수 있다. 이 경우에, 도 11b의 패턴 검출 매니저(1140)는 프로그램 식별자 및/또는 프로그램 이름 대신에 단계 1210에서 영화사 이름을 질의로서 이용함으로써 도 11b의 패턴 데이터베이스(1144)를 검색한다. 도 11b의 AV 특징 생성기(1146)는 도 11b의 패턴 검출 매니저(1140)의 요청에 따라서, 단계 1212에서 도 11b의 AV 디코더(1134)에 의해 또는 도 11b의 버퍼(1132)로부터 디코딩된 프레임 및 그 타임스탬프(또는 타임스탬프된 프레임)를 판독한다. 도 11b의 AV 특징 생성기(1146)는 단계 1214에서 프레임을 초기 후보 세그먼트에 축적하고, 검사 1216에서 후보 세그먼트의 길이가 해당 프로그램의 타이틀 세그먼트의 방송 시간과 일치하는지를 검사한다. 사실이 아니면, 도 11b의 AV 특징 생성기(1146)가 다음 프레임을 판독하는 단계 1212로 제어 동작이 진행한다. 그렇지 않으면, 도 11b의 AV 특징 생성기(1146)는 단계 1218에서 후보 세그먼 트의 하나 이상의 AV 특징을 생성한다.

도 11b의 AV 특징 생성기(1146)는, 후보 세그먼트의 하나 이상의 AV 특징이 해당 프로그램의 타이틀 세그먼트의 특징과 비교되는 경우에, AV 일치 단계 1220를 수행한다. 후보 세그먼트와 타이틀 세그먼트의 AV 특징이 일치하는지 여부를 검사(1222) 단계에서 수행한다. 일치하면, 제어 동작은 후보 세그먼트의 시작 시간에 대응하는 타임스탬프 또는 미디어 로케이터가 해당 프로그램의 실제 시작 시간으로서 출력되는 단계 1224로 진행하고, 검출 프로세스는 단계 1226에서 중지한다. 그렇지 않으면, 후보 세그먼트의 종료 시간 포인트가 패턴 정합 시간의 시간 포인트에 도달하는지 여부를 결정한다. 사실이면, 패턴 검출 프로세스는 해당 프로그램의 실제 시작 시간을 검출하지 않고 또한 단계 1226에서 중지한다. 그렇지 않으면, AV 특징 생성기(1146)는 단계 1230에서 다음 프레임과 타임스탬프(또는 다음 타임스탬프된 프레임)를 판독한다. 도 11b에서의 AV 특징 생성기(1416)는 프레임을 후보 세그먼트에 축적하고, 단계 1232에서 후보 세그먼트를 1 프레임만큼 이동한다. 그 다음, 제어 동작은 새로운 후보 세그먼트와의 다른 AV의 일치를 행하는 단계 1218로 진행한다.

대안으로, 도 12의 검출 프로세스는 그들의 AV 특징을 이용하지 않고 해당 프로그램의 타이틀 세그먼트의 비트 스트림과 후보 세그먼트의 인코딩된 비트 스트림을 이용하여 행해질 수 있다. 도 12의 검출 프로세스는 최소한의 수정으로 그 경우를 포함할 수 있다.

도 13은 본 발명의 실시예에 따른, 프로그램의 예정된 녹화가 시작 또는 종 료된 후에 백 채널로부터 액세스가능한 EPG 또는 메타데이터를 통해 예정된 시작 시간이 갱신되면, 프로그램의 실제 시작 시간으로부터 녹화 프로그램을 재생할 수 있는 클라이언트 DVR 시스템을 나타내는 블록도이다. 도 11a 및 도 13을 참조하면, 클라이언트 시스템(1302)(구성 요소 1120에 대응)은 EPG 및 EPG 갱신을 모니터링하기 위한 모듈뿐만 아니라 DVR 또는 DVR 가능한 PC에 일반적으로 사용된 모듈에 추가로, 방송 AV 스트림을 수신 및 디코딩하는 모듈을 포함한다. 튜너(1304)는 방송 네트워크(1122)로부터 방송 신호를 수신하고, 방송 신호를 복조한다. 복조된 신호는 MPEG-2 TS의 형태로 버퍼 또는 임의 접근 메모리(1306)에 전송되고, 스트림이 녹화될 필요가 있는 경우에 하드 디스크 또는 저장부(1322)에 저장된다. 본 발명의 실시예에 따르면, DVR이 녹화 프로그램을 프로그램의 예정된 녹화가 시작 또는 종료된 후에 전송된 프로그램의 실제 시작 시간으로부터 재생할 수 있게 하기 위해서, AV 스트림과 PSIP의 STT(또는 DVB의 TDT)를 포함하는 방송 MPEG-2 전송 스트림을 그대로 녹화한다. 방송 스트림은 역다중화기(1308)로 전송된다. 역다중화기(1308)는 AV 스트림과 ATSC 용의 PSIP 스트림(또는 DVB 용의 SI 스트림)으로 스트림을 분리한다. AV 스트림은 AV 디코더(1310)로 전송된다. 디코딩된 AV 스트림은 출력 시청각 장치(1312)로 전송된다.

역다중화된 ATSC-PSIP 스트림(또는 DVB-SI)은 현재 일자와 시간에 대한 정보(ATSC-PSIP 용의 STT로부터 또는 DVB-SI 용의 TDT로부터)가 추출되어 바람직하게 최소한 또는 대략 30Hz의 해상도로 시간 클록(1330)을 설정하는데 사용되는 경우에 시간 클록(1330)에 전송된다. 디멀티플렉서(1308)로부터의 디멀티플렉싱된 ATSC- PSIP 스트림(또는 DVB-SI)은 소프트웨어 또는 하드웨어 중 하나로 구현될 수 있는 EPG 파서(1314)에 전송된다. EPG 파서(1314)는 프로그램 이름, 채널 번호, 예정된 시작 시간, 방송 시간, 등급, 및 프로그램의 줄거리 등의 프로그램 정보를 추출한다. 대안으로, EPG 데이터를 포함하는 메타데이터가 인터넷 등의 도 11a의 백 채널(1124)로부터 네트워크 인터페이스(1326)를 통해 또한 획득될 수 있다. 프로그램 정보는 녹화 매니저(1318)에 의해 관리되는 EPG 테이블에 저장된다. 소프트웨어 또는 하드웨어 중 하나로 구현될 수 있는 녹화 매니저(1318)는 EPG 파서(1330)로부터의 가장 최근 EPG 데이터와 시간 클록(1330)으로부터의 현재 시간을 포함한 EPG 테이블을 이용함으로써 예정된 녹화를 제어한다.

소프트웨어 또는 하드웨어 중 하나로 구현될 수 있는 EPG 갱신 모니터링 단위(EUMU)(1316)는 EPG 파서(1314)를 통해 새롭게 입력된 EPG 데이터를 모니터링하고, 새로운 EPG 데이터를 녹화 매니저(1318)에 의해 관리된 구 테이블과 비교한다. 구 EPG 테이블에 기초한 시작 시간과 방송 시간에 따라서 프로그램이 예정된 녹화로 설정되면, 또한, 예정된 녹화가 시작하기 전에 갱신된 시작 시간 및 방송 시간이 전송되면, EUMU(1316)는 녹화 매니저(1318)에게 EPG 테이블은 EPG 파서(1314)에 의해 갱신됨을 통지한다. 그 다음, 녹화 매니저(1318)는 갱신된 EPG 테이블에 따라서 예정된 녹화 시작 시간과 방송 시간을 수정한다. 시간 클록(1330)으로부터의 현재 시간이 녹화될 프로그램의 (조정된) 예정된 시작 시간에 도달할 때, 녹화 매니저(1318)는 버퍼(1306)를 통해 대응하는 방송 스트림을 저장부(1322)에 녹화하기 시작한다. 녹화 매니저는 (조정된) 예정된 녹화 시작 시간과 방송 시간을 녹화 타 임 테이블(1328)에 또한 저장한다.

프로그램이 구 EPG 테이블을 이용하여 예정된 녹화로 설정되면, 녹화될 프로그램의 갱신 또는 실제 시작 시간과 방송 시간을 포함한 갱신된 EPG 데이터는 프로그램이 녹화되고 있거나 프로그램이 녹화된 후에 전송되고, 녹화 매니저(1318)는 녹화 타임 테이블(1328)에 갱신된 또는 실제 시작 시간과 방송 시간을 또한 저장한다. 프로그램이 녹화되고 있는 동안에 갱신된 또는 실제 시작 시간과 방송 시간이 전송되면, 녹화 매니저(1318)는 프로그램의 실제 방송 시간을 고려하여 녹화 방송 시간을 신중하게 조정한다. 또한, 녹화 매니저(1318)는 미디어 로케이터(1320)에게 예정된 녹화 시작 시간/방송 시간 및 프로그램의 실제 시작 시간/방송 시간이 서로 다름을 통지한다. 그 다음, 미디어 로케이터 프로세싱 단위(1320)는 녹화 테이블(1328)로부터 미디어 로케이터 또는 타임스탬프의 형태인 프로그램의 실제 시작 시간과 방송 시간을 판독하고, 예를 들어, 미디어 로케이터 또는 타임스탬프에 의해 지정된 바이트 파일 오프셋 형태의 실제 시작 위치를 얻고, 그 실제 시작 위치를 저장부(1322)에 저장하며, 여기서, 실제 시작 위치는 STT의 값(프레임 정확도가 필요한 경우에는 PTS)에 일치하는 프로그램의 녹화된 MPEG-2 TS 스트림의 위치를 탐색함으로써 얻게 된다. 따라서, 방송될 때 AV 스트림과 STT(또는 DVB 용의 TDT)를 포함한 방송 MPEG-2 TS를 녹화하는 것이 중요하다. 대안으로, 미디어 로케이터 프로세싱 단위(1320)는 DVR 사용자가 재생을 위해서 녹화 프로그램을 선택하거나 프로그램의 녹화가 종료될 때 실제 시작 위치를 얻어서 실시간으로 저장할 수 있다. 미디어 로케이터 프로세싱 단위(1320)에 의해 사용자가 원격 제어기 등의 사용자 인터페이스(1324)를 이용하여 녹화 프로그램을 역으로 재생할 때 녹화 프로그램의 실제 시작 위치로 건너뛸 수 있다. 또한, 미디어 로케이터(1320)에 의해, 사용자는 실제 시작 시간과 방송 시간을 이용하여 프로그램의 무관한 부분을 편집할 수 있다.

녹화 매니저(1318)가 프로그램의 예정된 시작 시간/방송 시간과 프로그램의 실제 시작 시간/방송 시간을 녹화 타임 테이블(1328)에 모두 저장하고, 실제 시작 시간과 방송 시간은 예정된 녹화가 시작될 때, 예정된 시작 시간/방송 시간의 각각의 값(또는 실제 시작 시간과 방송 시간이 0으로 설정)으로 초기에 설정된다. 프로그램이 녹화되고 있거나 프로그램이 녹화된 후에 프로그램의 갱신된 또는 실제 시작 시간과 방송 시간이 전송될 때, 실제 시작 시간과 방송 시간은 갱신된 또는 실제 값으로 변경된다. 따라서, 미디어 로케이터 프로세싱 단위(1320)는 사용자가 녹화 스트림을 재생할 때 프로그램의 녹화 시작 시간/방송 시간과 실제 시작 시간/방송 시간이 서로 다른지 여부를 쉽게 검사할 수 있다.

도 14는 본 발명의 실시예에 따른, 녹화가 시작된 후에 프로그램의 실제 시작 시간 및/또는 방송 시간이 EPG를 통해 제공될 때 프로그램의 예정된 녹화 동안의 녹화 방송 시간을 조정하는 프로세스를 나타내는 예시적인 흐름도이다. 도 11a, 도 13 및 도 14를 참조하면, 단계 1402에서 조정 프로세스가 시작한다. 단계 1404에서, 사용자가 도 13의 클라이언트 시스템(1302)(도 11a의 구성 요소 1120에 상관됨)에게 쌍방향 EPG 인터페이스를 통해 EPG 데이터로 미래의 프로그램의 녹화를 스케줄링할 것을 요청한다. 단계 1406에서, 도 13의 녹화 매니저(1318)는 프로 그램의 예정된 녹화를 준비하고, 여기서, 예정된 녹화의 시작 시간과 방송 시간은 EPG 테이블의 프로그램의 시작 시간과 방송 시간으로 각각 설정된다. 단계 1408에서, EPG 테이블은 시작 시간과 방송 시간이 갱신되는지 여부를 검사한다. 단계 1408에서, 갱신되면, 도 13의 녹화 매니저(1318)는 갱신된 EPG 테이블을 이용하여 도 13의 녹화 타임 테이블(1328)의 예정된 녹화를 조정한다. 그렇지 않으면, 프로세스는 단계 1411로 진행하여 단계 1411에서 시간 클록(1330)으로부터 현재 시간을 얻는다. 검사(1412)는 현재 시간이 예정된 녹화의 시작 시간에 도달하는지 여부를 결정한다. 현재 시간이 예정된 시작 시간에 도달하면, 단계 1414에서, 예정된 녹화를 시작한다. 방송될 때, AV 스트림과 STT(또는 DVB 용의 TDT)를 포함한 방송 MPEG-2 TS를 녹화하는 것이 바람직하다. 그렇지 않으면, 제어 동작은 검사(1408)로 진행한다. 검사(1416)는 도 13의 EUMU(1316)에 의해 EPG 테이블의 프로그램의 시작 시간과 방송 시간이 갱신되는지 여부를 결정한다. 갱신되면, 단계 1418에서, 도 13의 녹화 매니저(1318)는 갱신된 시작 시간과 방송 시간을 도 13의 녹화 타임 테이블(1328)에 저장한다. 단계 1420에서, 현재 시간은 도 13의 시간 클록(1330)으로부터 획득되며, 검사(1422)는 녹화 매니저(1318)에 의해 현재 시간이 녹화의 갱신된 종료 시간에 도달하는지 여부를 결정한다. 현재 시간이 갱신된 종료 시간에 도달하면, 단계 1424에서 예정된 녹화가 중지된다. 그렇지 않으면, 제어 동작은 검사(1412)로 진행하여 계속해서 녹화한다. 단계 1426에서, 도 13의 EUMU(1316)는 EPG 테이블의 프로그램의 시작 시간과 방송 시간이 프로그램의 녹화가 종료된 후에 갱신되는지 여부를 계속해서 검사한다. 갱신되면, 도 13의 녹화 매니저(1318)는 도 13의 녹화 타임 테이블(1328)에 갱신된 시작 시간과 방송 시간을 저장한다.

도 15는 본 발명에 따른, 녹화가 시작되거나 종료된 후에 EPG를 통해 프로그램의 예정된 시작 시간과 방송 시간이 갱신될 때의 녹화된 프로그램의 재생 프로세스를 나타내는 예시적인 흐름도이다. 도 11a, 도 13 및 도 15를 참조하면, 단계 1502에서 재생 프로세스가 시작한다. 단계 1504에서, 사용자는 도 13의 클라이언트 시스템(1302)(도 11a의 구성 요소 1120에 연관됨)에게 녹화된 프로그램의 리스트에서 프로그램(도 13의 저장부(1322)에 전송 스트림으로서 저장됨)을 선택함으로써 녹화된 프로그램을 재생할 것을 요청한다. 단계 1506에서, 도 13의 미디어 로케이터 프로세싱 단위(1320)는 도 13의 녹화 타임 테이블(1328)로부터 선택된 프로그램의 실제 시작 시간과 방송 시간을 판독한다. 검사(1508)는 예를 들어, 프로그램의 예정된 녹화 시작 시간/방송 시간과 실제 시작 시간/방송 시간이 서로 다른지 여부를 검사함으로써, 시작 시간과 방송 시간이 갱신되었는지 여부를 결정한다. 갱신되지 않았다면, 단계 1510에서 프로그램에 대응하는 파일의 시작부부터 재생이 시작될 것이다. 갱신되었다면, 다른 검사(1512)는 사용자가 프로그램의 실제 시작 시간으로부터 직접 재생하고자 하는지를 결정한다. 검사는 사용자가 도 13의 출력 장치(1312)로 팝업 윈도우를 디스플레이함으로써 프로그램과 무관한 선두 세그먼트를 재생하지 않고 프로그램의 실제 시작 위치로 건너뛰기를 원하는지를 사용자에게 물어봄으로써 행해질 수 있다. 사용자가 실제 시작 위치로 건너뛰기를 원하지 않으면, 제어 동작은 프로그램이 파일의 시작부부터 재생되는 단계 1510로 진행한다. 그렇지 않으면, 단계 1514에서, 도 13의 미디어 로케이터 프로세싱 단위(1320)는 갱신된 또는 실제 시작 시간을 나타내는 STT(및 프레임 정확도가 필요한 경우에는 PTS)의 값에 일치하는 프로그램의 녹화된 MPEG-2 TS 스트림의 위치를 탐색함으로써 파일 내의 실제 시작 바이트 위치를 얻는다. 단계 1516에서, 도 13의 미디어 로케이터 프로세싱 단위(1320)에 의해, 사용자는 파일 내의 실제 시작 위치부터 프로그램을 재생할 수 있다. 파일이 단계 1510 또는 1516에서 재생된 후에, 단계 1518에서, 사용자는 고속 재생, 되감기, 일시 중지 및 정지 등의 여러 VCR 제어 기능으로 재생을 제어할 수 있다. 검사(1520)는 VCR 제어 기능이 STOP인지 재생이 파일의 종료부에 도달한 지 여부를 결정한다. 사실이 아니면, 제어 동작은 사용자가 다른 VCR 제어 기능을 행할 수 있는 단계 1518로 다시 진행한다. 그렇지 않으면, 프로세스는 단계 1522에서 정지할 것이다. 이용가능하면 그들의 실제 시작 시간으로부터 직접 녹화된 프로그램을 항상 재생하기 위해서 사용자가 도 13의 클라이언트 시스템(1302)을 구성할 수 있다는 것을 알아야 한다. 이 경우에, 검사(1512)는 건너뛸 수 있다.

본 명세서에 기재된 기술에 대해 여러 수정 및 변경이 행해질 수 있다는 것은 자명하다. 따라서, 본 발명은 첨부된 청구범위 및 그 등가 범위 내에 있는 경우의 기술의 수정 및 변경을 포함하고자 한다.

본 발명에 따르면, 각각의 녹화된 프로그램 또는 이미지/비디오 파일이 프로그램 또는 이미지/비디오 파일과 관련된 추가의 섬네일 이미지(또는 오디오 등의 관련 데이터를 구비 또는 구비하지 않는 정지 또는 애니메이션 또는 단편의 비디오일 수 있는 다른 비주얼 또는 그래픽 이미지)와 함께 프로그램에 대한 텍스트 정보의 조합으로 표현될 때 개선되는 인터페이스를 제공할 수 있다.

Claims (13)

1. 방송 프로그램의 실제 시작 시간을 제공하는 시스템에 있어서,

   상기 방송 프로그램의 프로그래밍 정보를 획득하는 수단과,

   상기 프로그래밍 정보로부터 상기 방송 프로그램의 예정 시작 시간을 검출하고, 이로부터 소정의 패턴 정합 시간 간격을 설정하는 수단과,

   현재 시간이 상기 패턴 정합 시간 간격의 시작 시점에 도달하면 패턴 저장부로부터 상기 방송 프로그램에 대응하는 타이틀 세그먼트를 검색하는 수단과,

   상기 방송 프로그램을 소정 분량의 세그먼트 단위로 상기 검색된 상기 방송 프로그램에 대응하는 타이틀 세그먼트와 비교하는 수단과,

   상기 비교 결과가 일치할 경우, 그 세그먼트의 시작 시간을 상기 방송 프로그램의 실제 시작 시간으로 설정하는 수단과,

   상기 방송 프로그램의 상기 실제 시작 시간을 클라이언트에게 전송하는 수단

   을 포함하는 방송 프로그램의 실제 시작 시간 제공 시스템.
2. 방송 프로그램의 실제 시작 시간을 검출하는 방법에 있어서,

   상기 방송 프로그램의 프로그래밍 정보를 획득하는 단계와,

   상기 프로그래밍 정보로부터 상기 방송 프로그램의 예정 시작 시간을 검출하고, 이로부터 소정의 패턴 정합 시간 간격을 설정하는 단계와,

   현재 시간이 상기 패턴 정합 시간 간격의 시작 시점에 도달하면, 상기 방송 프로그램을 소정 분량의 세그먼트 단위로 상기 방송 프로그램에 대응하는 타이틀 세그먼트와 비교하는 단계와,

   상기 비교 결과가 일치할 경우, 그 세그먼트의 시작 시간을 상기 방송 프로그램의 실제 시작 시간으로 설정하는 단계

   를 포함하는 방송 프로그램의 실제 시작 시간 검출 방법.
3. 제 2 항에 있어서,

   상기 비교 단계는 상기 방송 프로그램 스트림의 AV 특징과 상기 방송 프로그램에 대응하는 타이틀 세그먼트의 AV 특징을 비교하는 단계를 포함하는

   방송 프로그램의 실제 시작 시간 검출 방법.
4. 제 2 항에 있어서,

   상기 비교 단계는 상기 방송 프로그램 스트림의 인코딩된 비트 스트림과 상기 방송 프로그램에 대응하는 타이틀 세그먼트의 인코딩된 비트 스트림을 비교하는 단계를 포함하는

   방송 프로그램의 실제 시작 시간 검출 방법.
5. 제 2 항 내지 4 항 중 어느 한 항에 있어서,

   상기 방송 프로그램의 실제 시작 시간 설정 단계는 해당 세그먼트의 시작 시간에 대응하는 타임 스탬프 또는 미디어 로케이터를 해당 프로그램의 실제 시작 시간으로서 출력하는 단계를 포함하는

   방송 프로그램의 실제 시작 시간 검출 방법.
6. 방송 프로그램의 실제 시작 시간을 검출하는 장치에 있어서,

   상기 방송 프로그램의 프로그래밍 정보를 획득하는 수단과,

   상기 프로그래밍 정보로부터 상기 방송 프로그램의 예정 시작 시간을 검출하고, 이로부터 소정의 패턴 정합 시간 간격을 설정하는 수단과,

   현재 시간이 상기 패턴 정합 시간 간격의 시작 시점에 도달하면 패턴 저장부로부터 상기 방송 프로그램에 대응하는 타이틀 세그먼트를 검색하는 수단과,

   상기 방송 프로그램을 소정 분량의 세그먼트 단위로 상기 검색된 상기 방송 프로그램에 대응하는 타이틀 세그먼트와 비교하는 수단과,

   상기 비교 결과가 일치할 경우, 그 세그먼트의 시작 시간을 상기 방송 프로그램의 실제 시작 시간으로 설정하는 수단

   을 포함하는 방송 프로그램의 실제 시작 시간 검출 장치.
7. 방송 프로그램의 녹화 방법에 있어서,

   녹화 요청된 방송 프로그램의 녹화 시작 시간 및 녹화 분량을 EPG 내의 상기 방송 프로그램의 시작 시간 및 방송 분량(duration)으로 설정하는 단계와,

   상기 EPG 내의 상기 방송 프로그램의 시작 시간 및 방송 분량의 갱신 여부를 검사하는 단계와,

   상기 EPG 내의 상기 방송 프로그램의 시작 시간 또는 방송 분량이 갱신된 경우, 상기 설정된 예약 녹화 시작 시간 및 녹화 분량을 상기 EPG 내의 상기 방송 프로그램의 갱신된 시작 시간 및 방송 분량으로 조정하는 단계와,

   상기 조정된 예약 녹화 시작 시간에 녹화를 시작하는 단계를 포함하되,

   상기 EPG 내의 방송 프로그램의 갱신된 시작 시간은 상기 방송 프로그램을 소정 분량의 세그먼트 단위로 상기 방송 프로그램에 대응하는 타이틀 세그먼트와 비교함으로써 얻어지는

   녹화 방법.
8. 제 7 항에 있어서,

   상기 예약 녹화를 시작한 후에,

   상기 EPG 내의 상기 방송 프로그램의 시작 시간 및 방송 분량의 갱신 여부를 검사하는 단계와,

   상기 EPG 내의 상기 방송 프로그램의 시작 시간 또는 방송 분량이 갱신된 경우, 상기 방송 프로그램의 갱신된 시작 시간 및 방송 분량 정보를 저장하고, 녹화 중인 상기 방송 프로그램의 녹화 분량을 갱신된 정보에 따라 조정하는 단계를 더 포함하는 녹화 방법.
9. 제 8 항에 있어서,

   상기 예약 녹화 종료 후에,

   상기 EPG 내의 상기 방송 프로그램의 시작 시간 및 방송 분량의 갱신 여부를 검사하는 단계와,

   상기 EPG 내의 상기 방송 프로그램의 시작 시간 또는 방송 분량이 갱신된 경우, 상기 방송 프로그램의 갱신된 시작 시간 및 방송 분량 정보를 저장하는 단계를 더 포함하는 녹화 방법.
10. 방송 프로그램 녹화 장치에 있어서,

    EPG 내의 상기 방송 프로그램의 시작 시간 및 방송 분량의 갱신 여부를 검사하는 수단과,

    상기 EPG 내의 상기 방송 프로그램의 시작 시간 및 방송 분량이 갱신된 경우, 상기 방송 프로그램의 예약 녹화 시작 시간을 상기 EPG 내의 상기 방송 프로그램의 갱신된 시작 시간 및 방송 분량으로 조정하는 수단과,

    상기 방송 프로그램의 갱신된 시작 시간 및 방송 분량 정보를 저장하는 수단을 포함하고,

    상기 EPG 내의 방송 프로그램의 갱신된 시작 시간은 상기 방영 프로그램을 소정 분량의 세그먼트 단위로 상기 방송 프로그램에 대응하는 타이틀 세그먼트와 비교함으로써 얻어지는

    방송 프로그램 녹화 장치.
11. 녹화 프로그램을 재생하는 방법에 있어서,

    녹화 시간 저장부로부터 상기 녹화 프로그램의 시작 시간 및 녹화 분량 정보를 판독하는 단계와,

    상기 녹화 프로그램의 시작 시간 및 녹화 분량의 갱신 여부를 검사하는 단계와,

    상기 녹화 프로그램의 시작 시간이 갱신된 경우, 상기 녹화 프로그램의 갱신된 시작 시간 위치부터 상기 녹화 프로그램을 재생하는 단계를 포함하되,

    상기 갱신 여부 검사 단계는 상기 녹화 프로그램의 예약 녹화 시작 시간 및 녹화 분량과 상기 녹화 프로그램의 실제 시작 시간 및 방송 분량을 비교하는 단계를 포함하는

    녹화 프로그램 재생 방법.
12. 삭제
13. 제 11 항에 있어서,

    상기 녹화 프로그램을 재생하는 단계 전에 상기 녹화된 프로그램의 갱신된 시작 시간 위치부터 재생하기를 원하는 지를 사용자에게 질의하는 단계를 더 포함하는

    녹화 프로그램 재생 방법.

Images