KR100955852B1

KR100955852B1 - 효율적 비디오 슬라이싱

Info

Publication number: KR100955852B1
Application number: KR1020077006679A
Authority: KR
Inventors: 옌-치 리; 밍-창 사이; 클라레드 헬미 엘-말레
Original assignee: 콸콤 인코포레이티드
Priority date: 2004-08-23
Filing date: 2005-08-22
Publication date: 2010-05-06
Anticipated expiration: 2025-08-22
Also published as: JP2008511261A; CN101036394B; CN101036394A; US7885337B2; WO2006023928A1; JP4995725B2; EP1784987A1; KR20070046943A; EP1784987B1; US20060039483A1

Abstract

본 발명은 저복잡성, 대역폭 효율성 및 에러 복원을 촉진하는 비디오 슬라이싱 기술에 관한 것이다. 비디오 인코더는 각각의 비디오 슬라이스의 모든 그러나 작은 엔드 세그먼트가 논리 전송유닛(LTU) 내에 적합하도록 각각의 LTU의 시작부분에 근접하게 RM을 배치한다. LTU들의 경계들에 RM들을 정확하게 배치하는 것을 요구하는 대신에, 비디오 인코더는 근사 정렬 기술을 적용한다. 비디오 슬라이스들은 예컨대 LTU 내에 있는 제 1MB의 끝에서 각각의 LTU의 시작부분에 근접하게 배치되록 인코딩된. 선행 슬라이스로부터 마지막 MB의 부분은 다음 LTU 내로 반송된다. LTU의 손실은 실질적으로 전체 현재 슬라이스 + 이전 슬라이스의 매우 작은 부분의 손실을 유발한다.

Description

효율적 비디오 슬라이싱{EFFICIENT VIDEO SLICING}

본 출원은 2004년 8월 23일에 출원된 미국 가출원번호 제60/603,978호의 우선권을 주장하며, 이 출원은 여기에 참조문헌으로서 통합된다.

본 발명은 디지털 인코딩, 특히 디지털 비디오 프레임들을 슬라이싱하기 위한 기술들에 관한 것이다.

전형적인 비디오 인코더 구현에 있어서, 디지털 비디오 프레임들은 전송동안 데이터 손실의 영향을 감소시키기 위하여 인코더측에서 비디오 슬라이스들로 분할된다. 각각의 비디오 슬라이스는 독립적으로 인코딩 및 디코딩된다. 에러가 검출될때, 디코더는 손상된 슬라이스내에서 모든 매크로블록들(MB)을 은폐한다. 은폐는 사용자에게 제공된 비디오의 품질을 저하시킬 수 있는 잘못 인코딩된 MB들의 표현 및 전파를 방지한다.

비디오 슬라이스는 전형적으로 에러들이 검출될때 동기를 재설정하기 위하여 디코더에 의하여 사용될 수 있는 재동기화 마커(RM)와 함께 시작된다. 데이터 손실을 최소화하기 위하여, 비디오 슬라이스는 이상적으로 비디오 전송 시스템내의 가장 작은 손실 유닛에 대응한다. 가장 작은 손실 유닛은 통신채널을 통해 전송된 정보의 가장 작은 유닛이다. 무선 시스템에 있어서, 가장 작은 손실 유닛은 고정 또는 가변 길이를 가질 수 있는 논리 전송 유닛(LTU)으로서 언급된다.

만일 각각의 비디오 슬라이스가 LTU의 크기이면, LTU 손실에 의한 임의의 에러들은 다른 슬라이스들에 영향을 미치지 않고 손실된 슬라이스내에서 국부화될 것이다. 그러나, 비디오 슬라이스들 및 LTU간을 정확하게 정렬시키는 것이 곤란하다. 특히, RM들은 단지 MB 경계들에 배치될 수 있으며, 비디오 프레임내의 임의의 위치에 배치될 수 없다. 결과로서, 인코더가 슬라이스 크기를 조절하여 주어진 LTU내에 고정(fix)하는 것은 곤란하다.

LTU-슬라이스 정렬과 관련한 한 기술은 양자화 스텝-사이즈를 조절하여 슬라이스 길이를 조절하는 슬라이스-레벨 레이트 제어를 포함한다. 불행하게도, 이러한 기술은 인코더 설계를 복잡하게 하면서 반드시 정확하지 않다. 다른 기술은 슬라이스의 크기가 미리 정해진 길이를 초과할 때까지 슬라이스를 인코딩하고 인코딩된 비디오의 끝 및 LTU의 끝사이에 패딩 바이트들을 추가하는 기술적 사항을 포함한다. 그러나, 이러한 기술은 대역폭 효율성을 저하시킨다.

일반적으로, 본 발명은 저복잡성, 대역폭 효율성 및 에러 복원을 촉진하는 비디오 슬라이싱 기술에 관한 것이다. 이러한 기술에 따르면, 비디오 인코더는 각각의 비디오 슬라이스의 작은 엔드 세그먼트 외에는 LTU내에 실질적으로 배치(fix)되도록 각각의 LTU의 시작부분에 근접하게 RM을 배치한다.

LTU들의 시작부분에 RM들을 정확하게 배치하는 것을 요구하는 대신에, 비디오 슬라이스들 및 LTU들의 엄격한 정렬이 요구되기 때문에, 비디오 인코더는 근사 정렬 기술(approximate alignment technique)을 적용한다. 이러한 기술에 따르면, 비디오 슬라이스들은 예컨대 LTU내에 있는 제 1MB의 끝에서 각각의 LTU의 시작부분에 근접하게 배치되도록 인코딩된다. 그러므로, 선행 슬라이스로부터 마지막 MB의 부분은 다음 LTU내로 반송된다. 이러한 경우에, LTU의 손실은 실질적으로 전체 슬라이스 + 매우 작은 부분, 예컨대 선행 슬라이스의 하나의 MB의 손실을 유발한다.

선행 슬라이스에서처럼, 매우 작은 부분, 예컨대 손실된 슬라이스의 하나의 MB는 다음 LTU로 반송될 것이다. 그러나 이러한 부분은 디코딩을 위하여 사용되지 않을 것이다. 이러한 근사 정렬 기술은 데이터에서 하나의 부가 MB를 손실할지라도 정확한 정렬기술들에 비교하여 복잡성이 현저하게 감소될 수 있다. LTU 경계들에 RM들을 정확하게 배치할 필요가 없거나 또는 MB 양자화 스텝의 슬라이스-레벨 제어를 제공할 필요가 없다. 이는 복잡성을 감소시킨다. 또한, 슬라이스내에 바이트를 패딩할 필요가 없으며 결국 대역폭의 효율성이 개선된다.

일 실시예에 있어서, 본 발명의 비디오 인코딩 방법을 기술한다. 본 방법은 논리 전송 유닛(LTU)의 크기를 결정하는 단계, LTU 크기와 동일한 목표 비디오 슬라이스 크기를 생성하는 단계, 및 비디오 슬라이스의 크기가 목표 비디오 슬라이스 크기보다 클 때까지 제 1 비디오 슬라이스를 인코딩하는 단계를 포함한다. 본 방법은 제 1 비디오 슬라이스 크기 및 목표 비디오 슬라이스 크기 사이의 차이를 결정하는 단계, 제 1 비디오 슬라이스의 끝에 재동기화 마커(RM)를 삽입하는 단계, LTU 크기에서 차이를 뺀 값과 동일하도록 목표 비디오 슬라이스 크기를 업데이트하는 단계, 및 제 1 비디오 슬라이스의 크기가 업데이트된 목표 비디오 슬라이스 크기보다 클 때까지 제 1 비디오 슬라이스를 인코딩하는 단계를 더 포함한다. 본 발명은 또한 프로세서로 하여금 상기 방법을 수행하도록 하는 명령들을 포함하는 컴퓨터-판독가능 매체에 관한 것이다.

다른 실시예에 있어서, 본 발명은 논리 전송 유닛(LTU) 크기 추정기, LTU의 크기를 추정하는 모듈, 목표 비디오 슬라이스 크기를 결정하는 슬라이스 크기 결정 모듈, 및 비디오 슬라이스의 크기가 목표 비디오 슬라이스 크기보다 클 때까지 제 1 비디오 슬라이스를 인코딩하는 비디오 슬라이스 생성기를 포함하는 비디오 인코딩 시스템을 제공하며, 비디오 슬라이스 생성기는 비디오 슬라이스 크기 및 목표 비디오 슬라이스 크기 사이의 차이를 결정하고, 제 1 비디오 슬라이스의 끝에 재동기화 마커(RM)를 삽입한다. 슬라이스 크기 결정 모듈은 LTU 크기에서 차이 뺀 값과 동일하도록 목표 비디오 슬라이스 크기를 업데이트한다. 비디오 슬라이스 생성기는 제 2 비디오 슬라이스의 크기가 업데이트된 목표 비디오 슬라이스 크기보다 클 때까지 제 2 비디오 슬라이스를 인코딩한다.

다른 실시예에 있어서, 본 발명은 디지털 비디오 프레임을 비디오 슬라이스들로 분할하는 단계, 및 각각의 슬라이스의 제 1부분이 하나의 제 1 물리계층 논리 전송유닛(LTU)내에 존재하고 각각의 슬라이스의 제 2부분이 제 2 물리계층 LTU내에 존재하고 제 2부분의 크기가 하나의 매크로블록(MB)보다 크지 않도록 슬라이스들의 각각을 사이징하는 단계를 포함하는 비디오 인코딩 방법을 제공한다.

하나 이상의 실시예들은 첨부 도면들을 참조로하여 이하에서 상세히 기술된다. 다른 특징들, 목적들 및 장점들은 이하의 상세한 설명, 도면들 및 청구범위로부터 명백할 것이다.

도 1은 비디오/오디오 인코딩 및 디코딩 시스템을 기술한 블록도.

도 2는 본 발명에 따라 비디오 슬라이싱 기술을 사용하는 비디오 인코더 시스템을 기술한 블록도.

도 3, 도 4 및 도 5는 다른 비디오 슬라이싱 기술들을 기술한 도면들.

도 6 및 도 7은 본 발명에 따른 비디오 슬라이싱 기술을 기술한 도면들.

도 8은 본 발명에 따른 비디오 슬라이스 크기의 계산을 기술한 도면.

도 9는 본 발명에 따른 비디오 슬라이싱 기술의 동작을 기술한 흐름도.

도 1은 비디오 인코딩 및 디코딩 시스템(10)을 기술한 블록도이다. 도 1에 도시된 바와 같이, 시스템(10)은 전송 채널(16)에 의하여 접속된 인코더 시스템(12) 및 디코더 시스템(14)을 포함한다. 인코더 시스템(12)은 멀티플렉서(MUX)(18), 비디오 인코더(20), 및 오디오 인코더(22)를 포함한다. 디코더 시스템(14)은 디멀티플렉서(DEMUX)(26), 비디오 디코더(28), 및 오디오 디코더(30)를 포함한다.

시스템(10)은 예컨대 비디오 전화를 위하여 양방향 비디오 전송을 제공할 수 있다. 따라서, 상호작용 인코딩, 디코딩, MUX 및 DEMUX 소자들은 채널(16)의 반대 측면상에 제공될 수 있다. 일부 실시예들에 있어서, 인코더 시스템(12) 및 디코더 시스템(14)은 비디오 스트리밍, 비디오 전화 또는 이들 둘 다를 갖춘 무선 이동단말들과 같은 비디오 통신장치들 내에서 구현될 수 있다. 이동단말들은 ITU H.324M 표준 또는 RTP/UDP/IP와 같은 다른 표준들에 따라 비디오 전화를 지원한다.

비디오 인코더(20)는 MPEG-4와 같은 비디오 압축방법에 따라 인코딩된 비디오 데이터를 생성한다. 국제전기통신연합(ITU) H.263, ITU H.264 또는 MPEG-2 방법과 같은 다른 비디오 압축방법들이 사용될 수 있다. 오디오 인코더(22)는 비디오 데이터를 전송하기 위하여 오디오 데이터를 인코딩한다.

MUX(18)는 비디오 인코더(20) 및 오디오 인코더(22)로부터 적응계층 비디오 및 오디오 데이터 유닛들을 획득한다. MUX(18)는 채널(16)을 통해 전송하기 위한 일련의 다중화 데이터 유닛들을 형성하기 위하여 비디오 데이터 및 오디오 데이터를 다중화한다. 예로서, MUX(18) 및 DMUX(26)는 ITU에 의하여 공개된 H.223 멀티플렉서 프로토콜에 따라 동작할 수 있다. 그러나, 사용자 데이터그램 프로토콜(UDP)과 같은 다른 프로토콜들이 사용될 수 있다.

채널(16)은 근거리 전송 유닛들(LTU)로서 언급될 수 있는 물리계층 데이터 유닛들과 같은 다중화된 정보를 디코더 시스템(14)에 반송한다. 채널(16)은 인코더 시스템(12) 및 디코더 시스템(14) 사이의 임의의 물리적 접속일 수 있다. 예컨대, 채널(16)은 근거리 또는 광역 네트워크와 같은 유선 접속일 수 있다. 선택적으로, 여기에 기술된 바와 같이, 채널(16)은 셀룰라, 위성 또는 광접속과 같은 무선 접속일 수 있다.

DEMUX(26)는 LTU들로부터 다중화 데이터 유닛들을 식별하며, 비디오 및 오디오 적응계층 데이터 유닛들을 생성하기 위하여 다중화 계층 데이터 유닛들의 콘텐츠를 역다중화한다. 적응계층 데이터 유닛들은 비디오 데이터 프레임들을 생성하기 위하여 적응계층에서 처리된다. 비디오 디코더(28)는 디스플레이 장치를 구동할 때 사용하는 비디오 데이터의 스트림을 생성하기 위하여 응용계층에서 비디오 데이터 프레임들을 디코딩한다. 특히, 비디오 디코더(28)는 비디오 데이터 프레임들내의 개별 비디오 슬라이스들을 디코딩한다. 오디오 디코더(30)는 오디오를 생성하기 위하여 오디오 데이터를 디코딩한다.

본 발명에 따르면, 인코더 시스템(12)은 대역폭 효율성 및 에러 복구를 제공하는 저복잡성 비디오 슬라이싱 기술을 적용한다. LUT들의 시작 지점에 RM들을 정확하게 배치하는 것을 요구하는 대신에, 비디오 슬라이스들 및 LTU들의 엄격한 정렬이 요구되기 때문에, 인코더 시스템(10)은 근사 정렬 기술을 적용한다. 이러한 기술에 따르면, 비디오 슬라이스들은 RM들이 각각의 LTU의 시작 지점에 근접하게 예컨대 LTU내의 제 1MB의 끝에 배치되도록 인코딩된다. 이러한 경우에, 선행 슬라이스로부터의 단일 MB는 다음 LTU로 반송된다.

근사 정렬 기술을 사용하면, LTU의 손실은 전체 슬라이스 + 매우 작은 부분, 예컨대 선행 슬라이스의 하나의 MB의 손실을 유발한다. 특히, 각각의 LTU는 선행 슬라이스의 매우 작은 엔드 세그먼트 및 이 다음에 배치된 다수의 현재 슬라이스를 포함한다. 선행 슬라이스와 유사하게, 현재 슬라이스는 다음 LTU로 반송되는 작은 엔드 세그먼트를 가진다. 따라서, 각각의 슬라이스는 두 개의 연속 LTU의 부분에 걸쳐 있으며 이로 인하여 약간의 중첩된다. 비록 매우 작은 부분, 예컨대 슬라이스의 하나의 MB가 다음 LTU내로 반송될지라도, 이 부분은 선행 LTU가 전송동안 손실되는 경우에 디코딩을 위하여 사용되지 않을 것이다. 그러나, 만일 이전 LTU가 손실되지 않으면, 작은 부분은 프레임 완전성을 위하여 디코딩을 위하여 계속해서 사용될 수 있다. 따라서, 효과적으로, LTU의 손실은 전체 슬라이스의 손실뿐만 아니라 선행 슬라이스의 손실을 유발한다.

여기에 기술된 근사 정렬 기술은 하나의 부가 MB를 손실할지도 정확한 정렬 기술들과 비교하여 복잡성이 현저하게 감소될 수 있다. 하나의 추가로 손실된 MB는 손실된 LTU내로 반송되는 선형 슬라이스로부터의 MB이다. 이러한 기술에 따르면, LTU 경계들에 RM들을 정확하게 배치할 필요가 없거나 또는 슬라이스 레벨로 MB 양자화 스텝을 제어할 필요가 없으며 이에 따라 인코더 구현 복잡성이 감소된다. 또한, 슬라이스내에서 바이트들을 패딩할 필요성이 없으면 결국 대역폭 효율성이 개선된다.

도 2는 본 발명에 따른 효율적인 비디오 슬라이싱 기술을 적용하는 비디오 인코더 시스템(12)의 실시예를 기술한 블록도이다. 비디오 인코더 시스템(12)은 예컨대 H.324M 화상회의를 위하여 스트리밍 비디오 또는 비디오 전화를 전송하는 것을 포함하는 다양한 비디오 응용들을 지원할 수 있다. 도 2에 도시된 바와 같이, 비디오 인코더 시스템(12)은 MUX(18) 및 비디오 인코더(20)를 포함한다. 비디오 인코더(20)는 비디오 카메라 또는 비디오 아카이브와 같은 비디오 입력장치(24)로부터 비디오를 수신하는 인코더 엔진(22)을 포함한다. 인코더 엔진(22)은 입력 비디오 비트스트림으로부터 일련의 매크로블록들(MB)을 생성한다.

비디오 슬라이스 생성기(26)는 인코더 엔진(22)으로부터의 비디오 비트스트림을 비디오 슬라이스들로 분할한다. 각각의 비디오 슬라이스는 수가 변할 수 있는 일련의 MB들을 반송한다. 연속 슬라이스들을 묘사하기 위하여, 비디오 슬라이스 생성기(26)는 RM을 삽입한다. RM은 선택된 MB 경계에 삽입된다. 따라서, 비디오 슬라이스 생성기(26)는 주어진 비디오 프레임내에 일련의 슬라이스들을 형성하기 위하여 선택된 MB 경계들에 일련의 RM들을 선택적으로 삽입한다.

기술되는 바와 같이, 슬라이스 크기 결정 모듈(28)은 적정 위치들에서 슬라이스들을 생성하기 위하여 비디오 슬라이스 생성기(26)를 안내한다. 슬라이스 크기 결정 모듈(28)은 목표 슬라이스 크기를 생성하기 위하여 비디오 슬라이스 생성기(26)에 의하여 생성된 이전 슬라이스 크기 및 비디오-LTU 크기를 사용한다. 비디오 슬라이스 생성기(26)는 다음 슬라이스를 생성하기 위하여 목표 슬라이스 크기를 적용한다.

본 실시예에서, 용어 "LTU" 및 비디오-LTU는 물리계층 LTU의 비디오 부분을 언급하는 것으로 상호 교환하게 사용될 수 있다. 그러나, 물리계층 LTU가 보통 오디오-LTU로서 지정될 수 있는 오디오 정보를 포함할 수 있다는 것이 이해되어야 한다. LTU 경계들과 비디오 슬라이스들의 정렬을 참조하여, 이러한 경계들이 물리계층 LTU내에서 오디오-LTU 및 비디오-LTU의 결합을 고려할 수 있고 또한 이러한 결합으로부터 발생하는 연속 LTU들 사이의 경계를 언급할 수 있다는 것이 이해되어야 한다.

적응계층 모듈(30)은 비디오 슬라이스 생성기(26)로부터 비디오 슬라이스들로 분할된 비디오 프레임들을 수신하고, 비디오 적응계층 프로토콜 데이터 유닛들(AL-PDU)을 생성한다. MUX(18)는 비디오 AL-PDU들을 수신하고 이들을 오디오 인코더 및 오디오 적응계층 모듈(도시안됨)로부터 수신된 오디오 AL-PDU들과 결합하여, 무선 모뎀(34), 무선 주파수 송신기/수신가(TX/RX)(35) 및 안테나(36)를 통해 전송하기 위한 MUX PDU들을 형성하는 MUX 엔진(32)을 포함한다. TX/RX(35)는 코드분할 다중접속(CDMA), 광대역 CDMA(W-CDMA) 또는 시분할 다중접속(TDMA)과 같은 다양한 무선 전송 기술들 중 일부에 따라 무선주파수(RF) 무선 신호들을 전송하도록 구성될 수 있다.

MUX(18)내의 오디오-LTU 크기 추정기 모듈(38)은 MUX 엔진(32)에 의하여 생성되는 각각의 MUX PDU의 비디오 부분의 크기 및 무선 송신기(34)에 의하여 생성되는 물리계층 LTU의 크기를 추적한다. 예컨대, MUX 엔진(32)은 각각의 MUX PDU내에서 오디오 정보 대 비디오 정보(AUDIO:VIDEO) 비의 지시자를 비디오-LTU 크기 추정기 모듈(38)에 제공할 수 있다. 더욱이, 무선 모뎀(34)은 무선 인터페이스를 통해 전송된 LTU들의 실제 크기의 지시자를 비디오-LTU 크기 추정기 모듈(38)에 제공한다.

이들 파라미터들을 사용하면, 비디오-LTU 크기 추정기 모듈(38)은 각각의 LTU의 비디오 부분의 크기, 즉 비디오-LTU 크기를 추정한다. 일부 구현들에서, AUDIO:VIDEO 비 및 LTU 크기는 고정될 수 있다. 다른 구현들에 있어서, LTU 크기는 고정될 수 있으나, AUDIO:VIDEO 비는 예컨대 가변율 오디오 인코딩이 사용되는 구현을 위하여 변화할 수 있다. 어느 한 경우에, 비디오 인코딩 시스템(12)은 슬라이스 크기가 물리계층, MUX 계층 및 응용계층에 의하여 제공되는 정보에 기초하여 결정되는 고유 전송-인코더 크로스-계층 설계를 제공한다.

비디오-LTU 추정기 모듈(38)은 비디오 인코더(20)내의 슬라이스 크기 결정 모듈(28)에 비디오-LTU를 통신한다. 그러므로, 슬라이스 크기 결정 모듈(28)은 MUX(18)내의 비디오-LTU 크기 추정기 모듈(38)로부터 획득된 비디오-LTU 크기 및 비디오 슬라이스 생성기(26)에 의하여 제공된 이전 슬라이스 크기를 사용하여 목표 슬라이스 크기를 결정한다. 그 다음에, 슬라이스 크기 결정 모듈(28)은 슬라이스들을 생성하여 비디오 프레임내의 적절한 MB 경계들에 삽입할 때 비디오 슬라이스 생성기(26)에 의하여 사용되는 목표 슬라이스 크기를 생성한다.

일부 실시예들에 있어서, 물리계층 LTU들은 W-CDMA RLC PDU들일 수 있다. 선택적으로, 물리계층 LTU들은 CDMA2000, 1xRLP PDU들, CDMA2000 1x EV-DO RLP PDU들, CDMA2000 EV-DV RLP PDU들과 같은 다양한 다른 형식들 취할 수 있다. MUX 엔진(32)은 ITU H.223과 같은 다중화 프로토콜에 따라 MUX PDU들을 생성한다. 그러나, 여기에 기술된 기술들은 RTP/UDP/IP(실시간 전송 프로토콜/사용자 데이터그램 프로토콜/인터넷 프로토콜)SIP-기반 및 H.323 비디오 전화 프로토콜을 사용하는 SIP-기반 및 H.323 비디오 전화 프로토콜과 같은 다른 비디오 전송 프로토콜에 적용할 수 있다.

W-CDMA 또는 CDMA2000을 사용하는 MPEG-4 무선 전송을 위하여, RLC PDU 또는 RLP PDU는 전송동안 손실되는 작은 유닛이다. 예컨대, W-CDMA RLC-PDU는 160-바이트 길이를 가지며 20ms마다 전송된다. LTU의 크기와 대략적으로 동일한 비디오 슬라이스들을 생성하기 위하여, LTU 크기는 알려져야 한다. 일부 구현들에서, LTU 크기는 시간에 따라 변화할 수 있으며, 하위 전송 프로토콜/물리계층이 LTU 크기를 비디오 인코더(20)에 알릴 것을 요구한다. 이 때문에, 비디오-LTU 크기 추정기(38)는 각각의 비디오 LTU의 크기를 추정하며, 비디오 인코더(20)의 슬라이스 크기 결정 모듈(28)에 이러한 정보를 통신한다.

비디오-LTU 크기 추정기(38)는 다양한 방식으로 구현될 수 있다. W-CDMA을 사용하는 일부 회선교환 비디오 응용들에서, LTU 크기는 일정하며, 항상 160-바이트를 가진다. 예로서, 만일 오디오 인코딩이 12.2 Kbps의 레이트로 동작하면, 비디오에 의하여 사용될 수 있는 바이트들의 수는 124바이트이다. 그러므로, 이러한 경우에, 비디오-LTU 크기는 124바이트이다. 만일 오디오 인코딩 레이트가 변화하면, 비디오-LTU 크기는 변화한다. 어느 한 경우에, 비디오-LTU 크기 추정기(38)는 비디오 슬라이싱 동작을 수행하기 위하여 비디오 인코더(20)까지 정보를 전송한다. CDMA2000 1x와 같은 패킷-교환 네트워크들에서는 각각의 RLP-PDU에 대하여 비디오-LTU 크기를 동적으로 결정하는 것이 필요할 수 있다. 비디오-LTU 크기의 동적 결정은 화상회의 서비스를 위하여 3GPP2에 의하여 고려된 바와 같이 헤더 오버헤드가 제거되는 경우에 용이하게 수행될 수 있다.

앞서 언급된 바와 같이, 물리계층으로부터 MUX(18)로 LTU 크기 정보를 전송하고 MUX(18)로부터 비디오 인코더(20)로 비디오-LTU 크기 정보를 전송함으로써, 비디오 인코더 시스템(12)은 효율적인 비디오 슬라이싱을 촉진하는 고유 전송-인코더 크로스-계층 설계를 제공한다. 이러한 크로스-계층 설계에 따르면, 전송 계층들은 RM들을 효율적으로 배치하기 위하여 비디오 인코더(20)에 부가 정보를 전송하며, 이는 비디오 슬라이스들 및 비디오-LTU들간에 근사하나 부정확한 정렬을 유발한다.

여기에 기술된 기술들은 범용 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA) 또는 다른 등가 논리장치들 내에서 구현될 수 있다. 예컨대, 비디오 인코더 시스템(12) 및 이의 소자들은 디지털 신호 프로세서(DSP) 또는 다른 처리장치상에서 실행되는 인코딩 프로세서 또는 코딩/디코딩(CODEC) 프로세스의 부분들로서 구현될 수 있다. 따라서, 모듈로서 기술된 소자들은 이러한 프로세스의 프로그램가능 특징들을 형성할 수 있다. 비디오 인코더 시스템(12)은 명령들 및 데이터들을 저장하는 전용 메모리뿐만 아니라 전용 하드웨어, 소프트웨어, 펌웨어 또는 이들의 결합을 가질 수 있다. 만일 소프트웨어로 구현되면, 이 기술들은 랜덤 액세스 메모리(RAM), 판독전용 메모리(ROM), 비휘발성 랜덤 액세스 메모리(NVRAM), 전기적 소거가능 프로그램가능 판독전용 메모리(EEPROM), FLASH 메모리 등과 같은 컴퓨터-판독가능 매체상의 명령들로서 구현될 수 있다. 명령들은 하나 이상의 프로세서들이 여기에 기술된 기능들의 일부 특징들을 수행하도록 한다.

도 3, 도 4 및 도 5는 여기에 기술된 근사 정렬 기술과 비교하기 위한 다른 비디오 슬라이싱 기술들을 기술한 도면들이다. 도 3은 비디오-LTU 경계들과 RM들의 정확한 정렬을 요구하고 단일 비디오-LTU가 손실될 때 단지 단일 슬라이스의 손실을 유발하는 기술을 도시한다. 이러한 방법은 구현의 복잡성이 증가한다. 도 4는 비디오-LTU 경계들과 RM들을 정렬시키지 않는 기술을 도시한다. 대신에, RM들은 각각의 비디오-LTU로 드리프트되는 경향을 가지며 이로 인하여 단일 비디오-LTU가 손실될 때 다중 슬라이스들의 손실을 유발한다. 도 5는 고정 슬라이스들이 각각의 슬라이스의 끝에서 패딩 바이트들을 사용하여 비디오-LTU들과 정렬되는 슬라이싱 기술을 도시한다. 이러한 경우에, 패딩 바이트들은 상당한 대역폭 비효율성을 유발한다.

도 3의 예에서, 슬라이스들은 작은 손실 유닛으로, 즉 비디오-LTU로 정확하게 정렬된다. 그러나, 도 3의 방법을 구현하기 위하여, 비디오 인코더는 LTU 경계들을 알고 비디오 스트림에 적용한 후 두 개의 LTU 경계들 사이에서 동일한 크기의 슬라이스들을 생성해야 한다. 그러나, 이러한 구현을 달성하는 것을 매우 어려우며 비용이 많이 든다. 특히, RM들은 MB 경계들에 삽입되어야 하며, 비트스트림의 임의의 바이트-위치들에 배치될 수 없다. 이러한 제약으로 인하여, 인코더가 각각의 슬라이스의 크기를 제어하는 것이 곤란하다. 만일 슬라이스의 목표 크기가 K이면, 인코더는 MB 경계들에 RM들을 삽입할 필요성으로 인하여 정확한 크기 K의 슬라이스들을 생성할 수 없다.

도 3에 도시된 바와 같이, 정확한 정렬을 위하여, RM들(42, 44, 46)은 각각 비디오-LTU들(54, 56, 58)의 시작을 지지하는 비디오-LTU 경계들(48, 50, 52)에 정확하게 배치된다. 연속적 비디오 데이터 프레임들은 철 비디오 데이터 필드의 끝을 지시하는 비디오 객체 평면(VOP) 필드들(60, 62)에 의하여 경계된다. 정확한 정렬을 사용하는 경우에, 단일 LTU의 손실은 단일 비디오 슬라이스의 손실을 유발한다. 도 3의 예에서, 예컨대, 비디오-LTU(56)의 손실은 MB들(55 내지 72), 즉 MB[55, 72]를 포함하는 대응하는 비디오 슬라이스의 손실을 유발한다. 선행 비디오-LTU(54)와 정렬된 슬라이스 및 선행 비디오-LTU(58)와 정렬된 슬라이스는 완전하게 유지되고 디코딩될 수 있는 반면에, 손실된 비디오-LTU(56)와 정렬되는 슬라이스에 대한 MB[55, 72]는 디코더에 의하여 은폐된다.

구현을 단순화하기 위하여, 비디오 인코더는 K의 목표 크기에서 슬리이스를 인코딩하나 슬라이스 크기가 K보다 크도록 구성될 수 있다. 도 4에 도시된 바와 같이, 이러한 구현은 각각 비디오-LTU 경계들(70, 72, 74)로부터 떨어지도록 "드리프트(drift)"되는 경향을 가진 RM들(64, 66, 68)의 배치를 야기한다. 이러한 드리프트는 도면부호들 76, 78, 80에 의하여 표현된다. 도 4의 예에서, 하나의 비디오-LTU가 손실될 때, 손실된 비디오-LTU의 경계들 전반에 걸쳐 있는 두 개의 슬라이스들로부터의 데이터는 손실될 것이다. 따라서, 도 4의 방법은 특히 무선 네트워킹과 같은 에러가 발생하기 쉬운 응용들에서 현저한 성능 저하를 유발할 것이다.

도 5에 도시된 임의의 다른 구현들은 비디오-LTU 크기 K보다 작은 비디오 슬라이스들을 발생시키고, 다음 RM이 다음 비디오-LTU의 시작지점에 정확하게 배치될 수 있도록 각각의 슬라이스에 패딩 바이트들을 추가할 수 있다. 도 5에 도시된 바와 같이, RM들(82, 85)은 연속 비디오-LTU들(90, 92, 94)의 경계들(86, 88)에 정학하게 배치된다. 그러나, 각각의 슬라이스의 크기는 비디오-LTU 크기보다 작도록 선택된다. 따라서, 각각의 슬라이스는 인코딩된 비디오의 끝 및 다음 비디오-LTU 경계 사이의 공간을 채우기 위하여 패딩 바이트들(96, 98, 100)을 포함한다. 자연적으로, 이러한 방법은 디코더에 의하여 이용되지 않은 패딩 바이트들의 존재로 인하여 대역폭의 효율성이 떨어진다. 더욱이, 이러한 방법은 인코더 구현을 복잡하게 하는 경향이 있다. 특히, 일단 현재의 슬라이스 크기가 비디오-LTU 크기 K를 초과한다고 인코더가 결정하면, 하나의 MB으로 되돌아가 슬라이스를 생성하고 새로운 슬라이스를 시작하며 다음 MB를 재인코딩하는 것이 필요하다.

부가적인 해법은 양자화 파라미터들(QP)로 불리는 다른 양자화 스텝-크기들에 대하여 각각의 MB에서 소모되는 비트들의 수를 정확하게 추정하는 레이트 제어 알고리즘들의 사용을 포함한다. 슬라이스-레벨 제어 기술들은 각각의 슬라이스에 포함될 MB들의 수 및 MB들에 대한 대응 QP들의 최상의 결합을 결정한다. 명확하게, 이러한 방법은 계산 비용이 비싸다. 또한, 이러한 방법은 비디오-LTU 크기 K에 근접한 비디오 슬라이스를 생성할 수 있다. 특히, 가변 크기에서조차, MB 경계들은 비디오-LTU 경계와 항상 정확하게 일치하는 것이 아닐 것이다. 이러한 경우에, 패딩 바이트들의 사용은 필수적이다. 따라서, 레이트 제어 알고리즘들은 구현을 복잡하게 하고 대역폭의 효율성을 떨어뜨린다.

도 6 및 도 7은 본 발명에 따른 슬라이스들 및 LTU들의 근사 정렬에 기초하는 비디오 슬라이싱 기술을 설명한 도면들이다. 도 6 및 도 7에 도시된 비디오 슬라이싱 기술은 도 12의 비디오 인코더 시스템(12) 내에서 구현될 수 있다. 일반적으로, 비디오 슬라이싱 기술은 에러 복원 및 대역폭 효율성을 달성하면서 구현을 비교적 단순화할 수 있다. 앞서 논의된 바와 같이, 비디오 슬라이싱 기술은 RM들과 비디오-LTU 경계들의 정확한 정렬을 요구하지 않는다. 따라서, 단일 슬라이스는 단일 비디오-LTU와 정확하게 일치할 필요가 없다. 대신에, 각각의 비디오 슬라이스는 RM이 각각의 비디오-LTU의 시작지점에 근접하게 배치될 것이다. 그러므로, 정확한 정렬뿐만 아니라 슬라이스 레벨에서의 엄격한 레이트 제어를 필요로 하지 않으며 이에 따라 인코더 구현의 복잡성이 감소된다.

도 6은 비디오-LTU 경계들에 대한 RM들 및 슬라이스들의 배치와 관련한 비디오 슬라이싱 기술을 도시한다. 도 6은 비디오-LTU들(102, 104, 106, 108), 비디오 LTU 경계들(110, 112, 114) 및 RM들(116, 118, 120)을 도시한다. 각각의 슬라이스는 하나의 RM으로부터 다음 RM으로 연장한다. 도 6에 도시된 바와 같이, 각각의 비디오-LTU의 시작은 이전 슬라이스의 작은 엔드 세그먼트(122, 124, 126)를 포함한다. 그 다음에, 현재 슬라이스의 주요 부분은 각각의 비디오-LTU(102, 104, 106) 내에서 이전 슬라이스의 작은 엔드 세그먼트(122, 124, 126)를 따른다. 이전 슬라이스와 유사하게, 현재의 슬라이스는 다음 비디오-LTU로 연장하는 작은 엔드 세그먼트를 포함한다. 따라서, 각각의 비디오-LTU는 이전 슬라이스로부터의 작은 데이터량 및 현재의 슬라이스로부터의 대부분의 데이터를 포함한다.

슬라이스들 및 LTU들 간의 정확한 정렬이 강화된 도 3의 예와 비교할 때, 도 6의 비디오 슬라이싱 방법은 슬라이스들(RM 대 RM) 및 LTU들(LTU 경계 대 LTU 경계) 간의 근사 정렬을 발생시키는 것으로 보여질 수 있다. 각각의 슬라이스에 대하여, 목표 슬라이스 크기는 슬라이스의 작은 엔드 세그먼트가 다음 비디오-LTU로 반송되도록 선택된다. 그 다음에, 다음 RM은 엔드 세그먼트의 끝에 의하여 한정된 MB 경계에 용이하게 삽입될 수 있다. 따라서, 단지 단일 MB의 부분만이 다음 비디오-LTU로 크로스-오버될 것이다.

도 7은 LTU가 손실될 때 은폐되어야 하는 MB들의 수와 관련하여 도 6의 근사 정렬 기술의 성능을 기술한다. 도 7에 도시된 바와 같이, 하나의 비디오-LTU(106)의 손실은 단일 슬라이스를 손실하는 것과 대략 동일하다. 슬라이스의 매우 작은 엔드 세그먼트(126)는 손실보다 오히려 정확하게 수신될 수 있는 다음 LTU(108)로 반송된다. 그러므로, 이러한 작은 엔드 세그먼트(126)는 디코더가 슬라이스들을 독립적으로 디코딩하기 때문에 디코딩을 위하여 사용되지 않을 것이다. 따라서, 효과적으로, 비디오-LTU(106)에 걸쳐 있는 전체 슬라이스는 작은 엔드 세그먼트(126)와 함께 손실된다. 손실된 LTU(106)와 함께 하나의 전체 슬라이스를 손실하는 것 외에, LTU(104)에서 선행 슬라이스로부터의 매우 작은 엔드 세그먼트(124)는 엔드 세그먼트가 현재의 LTU(106)로 반송되기 때문에 손실될 것이다. 그러나, 선행 슬라이스의 나머지는 완전하며 디코딩될 수 있다. 전형적인 구현에서, 다음 LTU로 반송되는 슬라이스의 엔드 세그먼트는 단지 단일 MB의 부분일 것이다.

도 3의 정확한 정렬 방법과 비교하여, 도 6 및 도 7에 의하여 기술된 근사 정렬 방법은 대역폭 효율성 및 에러 복원을 제공하면서 복잡성을 감소시킨다. 도 3의 예에서, 정확한 정렬 방법은 LTU가 손실될 때 55 내지 77(MB[54,72])로부터 MB들의 손실을 유발한다. 현저하게, 도 7에 도시된 바와 같이, 근사 정렬 방법은 단지 하나의 부가 MB, 즉 MB[54,72]중 MB(54)의 손실을 유발한다. 부가적으로 손실된 MB는 현재의 비디오-LTU(106)로 반송되는 선행 슬라이스의 엔드 세그먼트로부터의 MB이다. 따라서, 여기에 기술된 근사 정렬 방법을 사용하는 비용은 단지 하나의 부가 MB의 손실이다. 그러나, 이러한 비용은 구현 복잡성 및 대역폭 효율성의 감소에 의하여 균형을 이룬다.

동작시, LTU 에러가 검출될때 손실된 비디오-LTU(106)를 선행하는 비디오-LTU(104)에서 모든 이전 슬라이스가 제거되지 않도록 하기 위하여, 디코더 시스템(14)은 인코더 시스템(12)에 의하여 공급된 근사 정렬 방법을 알도록 구성되어야 한다. 일부 실시예들에 있어서, 디코더 시스템(14)은 근사 정렬 방법에 따라 생성된 슬라이스들을 조절하도록 구성될 수 있다. 다른 실시예들에 있어서, 인코더 시스템(12) 및 디코더 시스템(14)은 인코더 시스템이 근사 정렬 방법을 사용하고 디코더 시스템이 그 자체를 구성해야 하는지를 지정하기 위하여 제어 정보를 교환할 수 있다. 다른 대안으로서, 일부 인코더 시스템(12) 및 디코더 시스템(14)은 근사 정렬간의 최적 모드 스위칭, 정확한 정렬, 패딩 또는 슬라이스-레벨 레이트 제어 기술을 제공하도록 구성될 수 있다.

도 8은 본 발명에 따른 비디오 슬라이스 크기의 계산을 기술한 도면이다. 도 8에 도시된 바와 같이, 근사 정렬 비디오 슬라이싱 기술을 구현하기 위하여, 인코더 시스템(12)은 K(n)으로 표현되는 각각의 LTU의 크기를 획득하며, 여기서 n은 무선 인터페이스를 통해 전송될 일련의 LTU들에서 각각의 비디오-LTU의 위치를 지시하는 인덱스이다. 인코더 시스템(12)은 비디오 비트스트림에서 입력 비트들을 인코딩하며, 인코딩된 비트들의 수가 현재의 목표 슬라이스 크기 T(n)를 초과할 때 비디오 슬라이스를 생성하며, 여기서 n은 일련의 슬라이스내의 각각의 슬라이스의 위치를 지시하는 인덱스이다.

그러나, 이러한 기술에 따르면, 슬라이스 T(n)의 목표 슬라이스 크기는 K(n)와 동일하지 않으며, 이는 정확한 정렬을 필요로한다. 다시, MB 경계들에 RM들을 삽입할 필요성으로 인하여, 슬라이스들 및 비디오-LTU들의 정확한 정렬은 곤란하다. 대신에, 목표 슬라이스 크기는 다음 RM이 다음 LTU 경계 바로 다음에, 예컨대 비디오-LTU 경계의 하나의 MB내에 나타나도록 하기 위하여 슬라이스가 형성될 때마다 조절된다. 다시 말해서, 각각의 RM은 LTU 경계에 배치될 필요가 없으나 LTU 경계의 하나의 MB내에 있어야 한다. 이는 RM이 LTU 경계에 배치되어야 하는 기술들에 비하여 복잡성을 감소시키며 RM이 항상 경계에 충분히 근접하도록 해야 하며, 또한, 패딩 바이트들의 필요성을 방지한다.

목표 슬라이스 크기 T(n)의 조절은 실제 인코딩된 이전 슬라이스 크기 L 및 이전 목표 슬라이스 크기 T(n)사이의 차이를 계산하고 K(n)로부터 이러한 차이를 감산함으로써 수행된다. 도 8을 참조하면, 목표 슬라이스 크기 T(n)의 조절은 다음과 같이 증명된다.

여기서

앞의 수식들에서, T(n)은 현재의 목표 슬라이스 크기이며, K(n)는 현재의 비디오-LTU 크기이며, d(n-1)는 이전의 실제 인코딩된 슬라이스 크기 및 이전의 목표 슬라이스 크기간의 차이이다. 값들은 인코더 시스템(12)에 의하여 공식화된 각각의 슬라이스에 대하여 재계산된다.

도 8과 관련하여 앞서 기술된 슬라이스 크기 계산은 다음과 같은 의사 코드에 의하여 표현될 수 있다.

도 9는 본 발명에 따른 비디오 슬라이싱 기술의 동작을 기술한 흐름도이다. 비디오 슬라이싱 기술은 도 2에 도시된 비디오 슬라이스 생성기(26), 슬라이스 크기 결정 모듈(28) 및 비디오-LTU 크기 추정기(38)와 같은 다양한 소자를 사용하여 구현될 수 있다. 흐름도는 일반적으로 앞의 의사코드에 의하여 표현된 동작들 및 결과들을 추적한다. 도 9에 도시된 바와 같이, 기술은 현재의 비디오-LTU(126)의 크기 K를 획득하고 목표 슬라이스 크기 T(128)을 생성하는 단계를 포함한다. 초기에, 프레임의 제 1 슬라이스에 대하여, 목표 슬라이스 크기 T는 비디오-LTU 크기 추정기(38)로부터 획득될 수 있다(도 2). 비디오-LTU 크기 K는 비디오-LTU 크기 추정기(도 2)로부터 획득될 수 있다. 비디오 슬라이싱 프로세스는 비디오 프레임들이 인코딩되는 동안 반복된다(130). 특히, 프로세스는 프레임마다 수행된다(132). 주어진 프레임 내에서, 프로세스는 부가 MB들이 적용가능 프레임 내에서 인코딩되는 동안(134) 반복된다. 그러므로, 프로세스는 프레임 내에서 MB마다 수행된다.

주어진 프레임 및 MB에 대하여, 비디오 슬라이싱 기술은 현재의 슬라이스 크기 L가 목표 슬라이스 크기 T보다 크거나 또는 동일한지의 여부를 결정한다(138). 현재의 슬라이스 크기 L은 주어진 슬라이스에 대하여 이미 인코딩된 MB들의 수에 의하여 결정된다. 그러므로, 실제 슬라이스 크기 L은 인코딩된 각각의 MB와 함께 증가할 것이다. 초기에, 목표 슬라이스 크기 T는 현재의 LTU 크기 K(128)와 동일할 것이다. 현재의 슬라이스 크기 L이 목표 슬라이스 크기 T를 만족하거나 또는 초과할 때(138), 프로세스는 현재의 슬라이스 크기 L 및 목표 슬라이스 크기 T(140)사이의 차이 d를 결정한다. 만일 현재의 슬라이스 크기 L가 목표 슬라이스 크기 T와 동일하지 않거나 또는 초과하지 않으면, 프로세스는 MB들(142)을 계속해서 인코딩하고(142), 현재의 슬라이스 크기 L을 업데이트하며(144), 부가 MB들(134)을 처리하도록 리턴한다.

프로세스는 다음 비디오-LTU의 크기(K)에서 차이(d)를 뺀 값과 동일하도록 목표 슬라이스 크기 T를 조절(146)한다. 이러한 방식으로, 목표 슬라이스 크기 T는 루프를 통해 다음 단계를 위하여 조절된다. 특히, 다음 목표 슬라이스 크기 T는 선행 슬라이스의 엔드 세그먼트의 크기와 동일한 크기, 즉 크기 d와 동일한 크기만큼 LTU 크기 K보다 작을 수 있다. 이러한 지점에서, 프로세스는 현재의 슬라이스의 끝에 도달한다. 따라서, 프로세스는 다음 단계를 위하여 현재의 슬라이스 크기 L(148)을 리셋하며, 슬라이스의 끝에 RM을 삽입하며, 새로운 슬라이스(150)를 시작한다. 현재의 슬라이스 크기 L을 업데이트할때(144), 프로세스는 이용가능한 경우에 적용가능 비디오 프레임에서 부가 MB들을 처리하도록 리턴된다.

만일 현재의 슬라이스 크기 L이 목표 슬라이스 크기 T를 만족하지 않거나 초과하면, 주어진 프레임 내에서 처리하기 위한 MB들이 더 존재하지 않으며, 프로세스는 프레임의 끝에 도달한다. 이러한 경우에, 단지 프레임의 끝에서의 슬라이스들을 위하여, 프로세스는 적용가능 슬라이스의 나머지를 채우기 위하여 패딩 바이트를 삽입할 수 있다. 그러나, 이는 슬라이스-LTU 정렬 목적을 위하여 모든 비디오 슬라이스 내에서의 패딩 바이트의 배치와 대조적이다. 패딩 바이트들을 삽입하기 위한 대안으로서, 다음 프레임으로부터의 데이터는 슬라이스에 삽입될 수 있다. 이전 프레임으로부터의 데이터를 포함하는 슬라이스내에 다음 프레임으로부터의 데이터를 삽입하기 위한 이러한 방법은 한 프레임의 지연을 유발할 수 있다. 그러나, 이러한 지연은 대역폭의 효율성을 개선한다는 측면에서 볼 때 정당화될 수 있다.

본 발명에 따르면, 비디오 인코더 시스템(12)은 비디오 인코더(20) 및 하위 계층들, 즉 MUX(18) 및 모뎀(34) 사이의 크로스-계층을 구현한다. 이러한 방식에서, 비디오 인코더(20)는 비트스트림이 분할되어 전송 계층들에서 LTU들로 다중화되는 방법을 결정한다. 특히, 각각의 슬라이스의 크기는 하위 계층들로부터 제공된다. 슬라이스 크기는 비디오 데이터가 오디오 데이터와 함께 다중화되는 방법에 따라 변화할 수 있다. 더욱이, 이러한 기술은 비디오 디코더(18)가 특정 인코딩 방법을 알고 있어서 LTU가 손실되기 전에 획득된 유효 데이터를 무시하지 않을 것이라는 것을 가정한다.

광범위한 실험들을 통한 예비 결과들은 비디오 슬라이싱에 대한 근사 정렬기술을 사용함으로써 손실된 MB의 수가 슬라이스들 및 LUT 경계들 사이에 드리프트를 도입하는 기존 기술에 비교하여 26% 내지 32% 정도 감소될 수 있다. 기존 기술에 따르면, 비디오 인코더는 120바이트의 고정 목표 슬라이스 크기를 세팅하며, 현재의 슬라이스의 크기가 120 바이트를 초과할 때 비디오가 현재의 슬라이스를 종료하고 새로운 슬라이스를 시작한다. 앞서 논의된 바와 같이, 이러한 기존 기술은 중요한 드리프트를 유발할 수 있다. 여기에 기술된 근사 정렬 기술에 의하여 획득될 수 있는 개선점은 앞서 기술된 바와 같이 손실된 MB들에서 26% 내지 32%정도이다.

다양한 실시예들이 기술되었다. 이들 및 다른 실시예들은 이하의 청구범위에 의하여 한정된다.

Claims

비디오 논리 전송 유닛(LTU)의 크기를 결정하는 단계;

목표 비디오 슬라이스 크기를 생성하는 단계;

비디오 슬라이스의 크기가 상기 목표 비디오 슬라이스 크기보다 클 때까지 제 1 비디오 슬라이스를 인코딩하는 단계;

상기 제 1 비디오 슬라이스의 크기와 상기 목표 비디오 슬라이스 크기 간의 차이를 계산하는 단계;

상기 제 1 비디오 슬라이스의 끝에 재동기화 마커(RM)를 삽입하는 단계;

상기 비디오 LTU 크기에서 상기 차이를 뺀 값과 동일하도록 상기 목표 비디오 슬라이스 크기를 업데이트하는 단계; 및

제 2 비디오 슬라이스의 크기가 상기 업데이트된 목표 비디오 슬라이스 크기보다 클 때까지 상기 제 2 비디오 슬라이스를 인코딩하는 단계를 포함하는,

비디오 인코딩 방법.
제 1항에 있어서, 상기 목표 비디오 슬라이스 크기를 생성하는 단계는, 상기 비디오 LTU 크기와 동일한 목표 비디오 슬라이스 크기를 생성하는 단계를 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 비디오 프레임 내의 다수의 비디오 슬라이스들에 대하여 상기 계산, 상기 삽입, 상기 업데이트 및 상기 인코딩 동작을 반복하는 단계를 더 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 상기 비디오 LTU 크기 결정 단계는, 비디오 부분 및 오디오 부분을 포함한 물리계층 LTU의 크기를 결정하는 단계, 상기 비디오 부분 대 상기 오디오 부분의 비(proportion)를 결정하는 단계, 및 상기 물리계층 LTU 크기 및 상기 비(proportion)에 기초하여 상기 비디오 LTU 크기를 결정하는 단계를 포함하는, 비디오 인코딩 방법.
제 4항에 있어서, 비디오 통신 장치 내의 다중화 계층에 상기 물리계층 LTU 크기를 전달(passing)하는 단계, 및 상기 다중화 계층으로부터 상기 비디오 통신장치의 인코딩 계층으로 상기 비디오 LTU 크기를 전달하는 단계를 더 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 상기 RM 삽입 단계는 매크로블록(MB) 경계에 상기 RM을 삽입하는 단계를 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 상기 차이는 하나의 매크로블록(MB) 크기보다 작은, 비디오 인코딩 방법.
제 1항에 있어서, 상기 제 1 및 제 2 비디오 슬라이스들에 실질적으로 어떠한 패딩 바이트들도 통합시키지 않는 단계를 더 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 상기 RM 삽입 단계는 연속 비디오-LTU들 사이의 경계에 대응하는 위치에 또는 이 위치 다음에 상기 RM을 삽입하는 단계를 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 다수의 다중화 프로토콜 데이터 유닛(MUX PDU)들을 형성하기 위하여 오디오 정보를 갖는 상기 비디오 슬라이스들에 포함된 정보를 다중화하는 단계를 더 포함하는, 비디오 인코딩 방법.
제 1항에 있어서, 상기 제 1 비디오 슬라이스의 제 1 부분은 제 1 물리계층 LTU 내에 위치하며, 상기 제 1 비디오 슬라이스의 제 2 부분은 제 2 물리계층 LTU 내에 위치하는, 비디오 인코딩 방법.
제 11항에 있어서, 상기 제 1 비디오 슬라이스의 제 2 부분은 하나의 매크로블록(MB) 크기보다 작은, 비디오 인코딩 방법.
비디오 LTU의 크기를 추정하기 위한 논리 전송 유닛(LTU) 크기 추정기 모듈;

목표 비디오 슬라이스 크기를 결정하는 슬라이스 크기 결정 모듈; 및

비디오 슬라이스의 크기가 상기 목표 비디오 슬라이스 크기보다 크거나 같을 때까지 제 1 비디오 슬라이스를 인코딩하는 비디오 슬라이스 생성기를 포함하며,

상기 비디오 슬라이스 생성기는 상기 제 1 비디오 슬라이스의 크기와 상기 목표 비디오 슬라이스 크기 사이의 차이를 계산하고, 상기 제 1 비디오 슬라이스의 끝에 재동기화 마커(RM)를 삽입하며;

상기 슬라이스 크기 결정 모듈은 상기 비디오 LTU 크기에서 상기 차이를 뺀 값과 동일하도록 상기 목표 비디오 슬라이스 크기를 업데이트하며, 상기 비디오 슬라이스 생성기는 제 2 비디오 슬라이스의 크기가 상기 업데이트된 목표 비디오 슬라이스 크기보다 크거나 같을 때까지 상기 제 2 비디오 슬라이스를 인코딩하는,

비디오 인코딩 시스템.
제 13항에 있어서, 상기 슬라이스 크기 결정 모듈은 상기 비디오 LTU 크기와 동일하게 되도록 상기 목표 비디오 슬라이스 크기를 결정하는, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 비디오 LTU 크기 추정기는 비디오 부분 및 오디오 부분을 포함한 물리계층 LTU의 크기를 결정하며, 상기 비디오 부분 대 상기 오디오 부분의 비(proportion)를 결정하며, 상기 물리계층 LTU 크기 및 상기 비(proportion)에 기초하여 상기 비디오 LTU 크기를 추정하는, 비디오 인코딩 시스템.
제 15항에 있어서, 상기 비디오-LTU 크기 추정기는 상기 시스템 내의 다중화 계층 내에 위치하는, 비디오 인코딩 시스템.
제 15항에 있어서, 상기 비디오-LTU 크기 추정기는 상기 시스템 내의 모뎀으로부터 물리계층 LTU의 크기를 획득하는, 비디오 인코딩 시스템.
제 15항에 있어서, 상기 비디오-LTU 크기 추정기는 상기 시스템 내의 다중화 엔진으로부터 상기 비(proportion)를 획득하는, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 비디오-LTU 크기 추정기는 상기 시스템 내의 다중화 계층 내에 위치하며, 상기 비디오 LTU를 상기 다중화 계층으로부터 상기 시스템의 인코딩 계층 내의 상기 슬라이스 크기 결정 모듈로 전달하는, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 비디오 슬라이스 생성기는 매크로블록(MB) 경계에 상기 RM을 삽입하는, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 차이는 하나의 매크로블록(MB) 크기보다 작은, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 비디오 슬라이스 생성기는 상기 제 1 및 제 2 비디오 슬라이스들에 실질적으로 어떠한 패딩 바이트들도 통합시키지 않는, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 비디오 슬라이스 생성기는 연속 비디오-LTU들 사이의 경계에 대응하는 위치에 또는 이 위치 다음에 상기 RM을 삽입하는, 비디오 인코딩 시스템.
제 13항에 있어서, 다수의 다중화 프로토콜 데이터 유닛(MUX PDU)들을 형성하기 위하여 오디오 정보를 갖는 상기 비디오 슬라이스들 내에 포함된 정보를 다중화하는 다중화 엔진을 더 포함하는, 비디오 인코딩 시스템.
제 13항에 있어서, 상기 비디오 슬라이스 생성기는 상기 제 1 비디오 슬라이스의 제 1 부분이 제 1 물리계층 LTU 내에 위치하고 상기 제 1 비디오 슬라이스의 제 2 부분이 제 2 물리계층 LTU 내에 위치하도록 상기 RM을 삽입하는, 비디오 인코딩 시스템.
제 25항에 있어서, 상기 제 1 비디오 슬라이스의 제 2부분은 하나의 매크로블록(MB) 크기보다 작은, 비디오 인코딩 시스템.
프로세서로 하여금,

비디오 논리 전송 유닛(LTU)의 크기를 결정하게 하는 명령;

목표 비디오 슬라이스 크기를 생성하게 하는 명령;

비디오 슬라이스의 크기가 목표 비디오 슬라이스 크기보다 클 때까지 제 1 비디오 슬라이스를 인코딩하게 하는 명령;

상기 제 1 비디오 슬라이스의 크기와 상기 목표 비디오 슬라이스 크기 간의 차이를 계산하게 하는 명령;

상기 제 1 비디오 슬라이스의 끝에 재동기화 마커(RM)를 삽입하게 하는 명령;

상기 비디오 LTU 크기에서 상기 차이를 뺀 값과 동일하도록 상기 목표 비디오 슬라이스 크기를 업데이트하게 하는 명령; 및

제 2 비디오 슬라이스의 크기가 상기 업데이트된 목표 비디오 슬라이스 크기보다 클 때까지 상기 제 2 비디오 슬라이스를 인코딩하도록 하게 하는 명령을 포함하는,

컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 생성된 목표 비디오 슬라이스 크기는 상기 비디오 LTU 크기와 동일한, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 프로세서로 하여금, 비디오 프레임 내의 다수의 비디오 슬라이스들에 대하여 상기 계산, 상기 삽입, 상기 업데이트 및 상기 인코딩 동작을 반복하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 프로세서로 하여금,

비디오 부분 및 오디오 부분을 포함한 물리계층 LTU의 크기를 결정하게 하는 명령,

상기 비디오 부분 대 상기 오디오 부분의 비(proportion)를 결정하게 하는 명령, 및

상기 물리계층 LTU 크기 및 상기 비에 기초하여 상기 비디오 LTU 크기를 결정하게 하는 명령을 더 포함하는, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 프로세서로 하여금 매크로블록(MB) 경계에 상기 RM을 삽입하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 차이는 하나의 매크로블록(MB) 크기보다 작은, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 프로세서로 하여금, 상기 제 1 및 제 2 비디오 슬라이스들에 실질적으로 어떠한 패딩 바이트들도 통합시키지 않도록 하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 프로세서로 하여금, 연속 비디오-LTU들 사이의 경계에 대응하는 위치에 또는 이 위치 다음에 RM을 삽입하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
제 27항에 있어서, 상기 제 1 비디오 슬라이스의 제 1부분이 제 1 물리계층 LTU 내에 위치하고 상기 제 1비디오 슬라이스의 제 2 부분이 제 2 물리계층 LTU 내에 위치하도록, 상기 프로세서로 하여금 상기 RM을 삽입하게 하는 명령들을 더 포함하는, 컴퓨터-판독가능 매체.
제 35항에 있어서, 상기 제 1 비디오 슬라이스의 제 2 부분은 하나의 매크로블록(MB) 크기보다 작은, 컴퓨터-판독가능 매체.
비디오 논리 전송 유닛(LTU)의 크기를 결정하기 위한 수단;

목표 비디오 슬라이스 크기를 생성하기 위한 수단;

비디오 슬라이스의 크기가 목표 비디오 슬라이스 크기보다 클 때까지 제 1 비디오 슬라이스를 인코딩하기 위한 수단;

상기 제 1 비디오 슬라이스의 크기와 상기 목표 비디오 슬라이스 크기 간의 차이를 계산하기 위한 수단;

상기 제 1 비디오 슬라이스의 끝에 재동기화 마커(RM)를 삽입하기 위한 수단;

상기 비디오 LTU 크기에서 상기 차이를 뺀 값과 동일하도록 상기 목표 비디오 슬라이스 크기를 업데이트하기 위한 수단; 및

제 2 비디오 슬라이스의 크기가 상기 업데이트된 목표 비디오 슬라이스 크기보다 클 때까지 상기 제 2 비디오 슬라이스를 인코딩하기 위한 수단을 포함하는,

비디오 인코딩 시스템.
디지털 비디오 프레임을 비디오 슬라이스들로 분할(segment)하는 단계; 및

각각의 슬라이스의 제 1 부분이 하나의 제 1 물리계층 논리 전송유닛(LTU) 내에 위치하고 각각의 슬라이스의 제 2 부분이 제 2 물리계층 LTU 내에 위치하도록 상기 슬라이스들 각각을 사이징(sizing)하는 단계를 포함하며, 상기 제 2 부분은 하나의 매크로블록(MB) 크기보다 크지 않은,

비디오 인코딩 방법.
디지털 비디오 프레임을 비디오 슬라이스들로 분할(segment)하기 위한 수단; 및

각각의 슬라이스의 제 1 부분이 하나의 제 1 물리계층 논리 전송유닛(LTU) 내에 위치하고 각각의 슬라이스의 제 2 부분이 제 2 물리계층 LTU 내에 위치하도록 상기 슬라이스들 각각을 사이징(sizing)하기 위한 수단을 포함하며, 상기 제 2 부분은 하나의 매크로블록(MB) 크기보다 크지 않은,

비디오 인코딩 시스템.