[go: up one dir, main page]

KR100776680B1 - Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법 - Google Patents

Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법 Download PDF

Info

Publication number
KR100776680B1
KR100776680B1 KR1020060125144A KR20060125144A KR100776680B1 KR 100776680 B1 KR100776680 B1 KR 100776680B1 KR 1020060125144 A KR1020060125144 A KR 1020060125144A KR 20060125144 A KR20060125144 A KR 20060125144A KR 100776680 B1 KR100776680 B1 KR 100776680B1
Authority
KR
South Korea
Prior art keywords
type
rtp
packet type
nal
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020060125144A
Other languages
English (en)
Inventor
정순흥
서광덕
김재곤
홍진우
Original Assignee
한국전자통신연구원
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 연세대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US12/513,542 priority Critical patent/US8761203B2/en
Priority to PCT/KR2007/004413 priority patent/WO2008056878A1/en
Application granted granted Critical
Publication of KR100776680B1 publication Critical patent/KR100776680B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 SVC 비디오 압축 비트스트림에 대한 패킷타입 분류 방법과 이를 이용한 RTP 패킷화 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 SVC 비트스트림에 대한 RTP 패킷화 적용 과정에서 RTP 패킷화를 위한 패킷타입 분류 방법과 이를 기반으로 한 RTP 패킷 생성 방법까지를 포함하는 RTP 패킷화 방법 및 그 장치를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은 SVC 비디오 압축 비트스트림에 대한 패킷타입 분류 방법에 있어서, 확장계층의 NAL 단위 헤더에 정의되어 있는 필드 정보로부터 각 NAL 단위들 사이의 시공간적 계층 관계 정보를 유도하는 시공간적 계층 관계 정보 유도 단계; SVC의 계층구조에 대한 복합 스케일러빌리티 부호화 적용을 통해 부호화 정보 유형을 파악하는 부호화 정보 유형 파악 단계; 및 상기 유도한 NAL 단위들 사이의 시공간적 계층 관계 정보와 상기 파악한 부호화 정보 유형을 이용하여 해당 SVC 비디오 압축 비트스트림에 대한 RTP 패킷타입을 결정하는 RTP 패킷타입 결정 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 멀티미디어 시스템 등에 이용됨.
SVC, 비디오 압축, 패킷 타입, RTP 패킷화

Description

ＳＶＣ 비디오 압축 비트스트림에 대한 패킷타입 분류 방법과 이를 이용한 ＲＴＰ 패킷화 장치 및 그 방법{Method for packet type classification to SVC coded video bitstream, and RTP packetization apparatus and method}
도 1은 RTP 패킷화 모드별 지원 가능한 패킷타입을 나타낸 도표,
도 2는 NAL_unit_type별 NAL 단위에 포함되는 내용을 정리한 도표,
도 3은 STAP-A 타입을 위한 RTP 페이로드 포맷 구조를 나타낸 설명도,
도 4는 FU-A 타입을 위한 RTP 페이로드 포맷 구조를 나타낸 설명도,
도 5는 본 발명의 일실시예에 적용되는 SVC의 기본계층과 확장계층에서 사용되는 NAL 단위의 헤더 구조를 나타낸 설명도,
도 6은 본 발명의 일실시예에 적용되는 SVC의 복합 스케일러빌리티 부호화를 위한 화면 및 계층 구조를 나타낸 설명도,
도 7은 본 발명의 일실시예에 적용되는 SVC 화면의 부호화 순서와 각 화면에 속하는 기본계층 및 확장계층의 NAL 단위들에 대한 설명도,
도 8은 본 발명의 일실시예에 따른 RTP 패킷화 방법을 나타낸 상세 흐름도,
도 9는 본 발명의 일실시예에 따른 SVC 비트스트림에 대한 RTP 패킷화 장치를 나타낸 구성도이다.
* 도면의 주요 부분에 대한 부호의 설명
110 : SVC 부호화기 120 : RTP 패킷화 장치
130 : 패킷 타입 분류기 140 : 패킷 생성기
본 발명은 SVC 비디오 압축 비트스트림에 대한 패킷타입 분류 방법과 이를 이용한 RTP 패킷화 장치 및 그 방법에 관한 것으로, 보다 상세하게는 SVC 비트스트림에 대한 RTP 패킷화 적용 과정에서 RTP 패킷화를 위한 패킷타입 분류 방법과 이를 기반으로 한 RTP 패킷 생성 방법까지를 포함하는 RTP 패킷화 방법 및 그 장치에 관한 것이다.
H.264의 확장형 부호화 기술인 SVC는 기존의 MPEG-2, MPEG-4 등에서 시도한 계층 부호화 기반의 스케일러빌리티가 갖는 문제점인 낮은 압축효율, 복합 스케일러빌리티 지원 불가, 높은 구현 복잡도의 문제를 한꺼번에 해결하기 위하여 개발된 새로운 확장형 부호화 기법이다.
SVC는 여러 개의 비디오 계층을 하나의 비트열로 부호화한다. SVC의 계층은 하나의 기본계층(base layer)과 기본계층 위에 연속적으로 쌓을 수 있는 확장계층(scalable layer)으로 이루어진다.
각 확장계층은 하위 계층 정보를 기반으로 각각에게 주어진 최대의 비트율(bit-rate), 화면율(frame rate), 및 해상도(resolution)까지 표현할 수 있다.
SVC에서는 확장계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율, 및 해상도의 지원이 가능하므로, 이종(heterogeneous)의 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 UMA(Universal Multimedia Access) 환경의 멀티미디어 콘텐츠 서비스에 적합한 부호화 기술이다.
SVC 부호기의 VCL(Video Coding Layer) 계층에서는 기본계층(base layer) 부호화 정보와 확장계층(scalable layer)의 스케일러빌리티 부호화 정보를 슬라이스 단위로 생성하게 된다.
각 슬라이스는 NAL(Network Abstraction Layer) 계층에서 NAL 단위(NAL unit)로 생성되어 SVC 비트스트림에 저장된다.
SVC의 NAL 단위를 RTP 유료부하에 싣기 위한 RTP 페이로드 포맷은 현재 인터넷 드래프트(draft) 문서 "draft-wenger-avt-rtp-svc-02.txt"로 공개되고 있지만, SVC의 경우 하나의 비트스트림에 H.264와 호환이 되는 기본계층 부호화 정보뿐만 아니라, SNR 스케일러빌리티, 시간적(temporal) 및 공간적(spatial) 스케일러빌리티의 부호화 정보를 동시에 저장하는 복잡한 구조이기 때문에, SVC의 RTP 페이로드 포맷을 지원할 수 있는 효과적인 RTP 패킷화 방법에 대해서는 아직 발표된 연구결과가 없다.
SVC의 NAL 단위에 대한 RTP 패킷 타입은 SNU(Single Nal Unit), STAP- A(Simple-Time Aggregation Packet-A), STAP-B, MTAP16(Multi-Time Aggregation Packet 16), MTAP24, FU-A(Fragmentation Unit-A) 및 FU-B 등 총 7가지가 존재한다.
SNU 타입은 하나의 RTP에 하나의 NAL 단위만을 실을 수 있고, STAP는 하나의 RTP 패킷에 동일한 화면 표현 시점(presentation time instant)에 속하는 다수의 NAL 단위를 동시에 실을 수 있는데, 복호화 순서와 동일한 순서로 NAL 단위들을 RTP 패킷에 싣게 되는 STAP-A 타입과 인터리빙을 목적으로 복호화 순서를 고려하지 않고 NAL 단위들을 RTP 패킷에 싣는 STAP-B 타입으로 나누어진다.
MTAP는 하나의 RTP 패킷에 서로 다른 화면 표현 시점에 속하는 다수의 NAL 단위를 한꺼번에 실을 수 있는 동시에 기본적으로 인터리빙을 지원하며, 각 NAL 단위들 간의 화면 표현 시간의 차이를 표시하기 위한 타임 오프셋(time offset) 필드 구간의 크기에 따라 16비트 타임 오프셋을 지원하는 MTAP16 타입과 24비트를 지원하는 MTAP24 타입으로 나누어진다.
이러한 7가지 RTP 패킷 타입 중 응용 분야에 따라 필요한 패킷 타입만을 묶어서 크게 세 가지 형태의 RTP 패킷 모드로 구분하는데, 도 1에 SNU 모드, 비인터리브(non-interleaved) 모드, 인터리브(interleaved) 모드 등 세 가지 형태의 RTP 패킷 모드별로 지원이 가능한 RTP 패킷 타입을 나타내었다.
이러한 도 1의 SNU 모드는, 다음의 도 2에 도시된 1~23까지의 "NAL_unit_type"을 갖는 하나의 NAL 단위만을 RTP 패킷에 실을 수 있는 SNU 타입만 지원이 가능하여 그 응용분야가 매우 제한적이다.
이에 반해, 비인터리브 모드는 SNU 타입뿐만 아니라 STAP-A와 FU-A까지 지원이 가능하므로 현실적으로 적용 가능한 응용 범위가 넓다.
그리고 인터리브 모드는, 비인터리브 모드에 인터리빙 기능을 추가한 방식인데 SNU 타입을 지원하지 못하는 단점이 있다. 이와 같은 인터리브 모드의 인터리빙 기능에 의해 RTP 패킷에 실리게 되는 NAL 단위의 순서가 복호화 순서와 다르게 배치됨으로써 채널에서의 집단 오류(burst error)에 대해서는 효과적으로 대처할 수 있지만, RTP 패킷화 및 역패킷화(de-packetization), 그리고 SVC 복호화 과정이 매우 복잡해진다.
따라서 구현복잡도와 적용가능한 응용범위를 고려할 때 상용 SVC 스트리밍 서비스에서 필수적으로 지원이 가능해야 하는 RTP 패킷화 모드는 비인터리브 모드가 적합하며, 인터리브 모드는 채널오류가 높은 환경에서의 서비스를 위한 선택사항(option) 등으로 고려될 수 있다.
비인터리브 모드의 SNU 타입은 도 2에 나타난 1~23까지의 "NAL_unit_type"을 갖는 하나의 NAL 단위를 하나의 RTP 패킷에 싣게 된다.
다시 말해, 비인터리브 모드의 STAP-A 타입은 도 3에 도시된 RTP 페이로드 포맷 구조를 가지며, 동일 화면 표현 시점에 해당되는 여러 개의 NAL 단위를 묶어서 하나의 RTP 패킷에 싣는 방식이다.
비인터리브 모드의 STAP-A 타입은, 도 3에 도시된 바와 같이, SNU 타입과는 달리 1바이트 크기의 RTP 페이로드 헤더(STAP-A NAL HDR)가 추가로 삽입되는데, 이 페이로드 헤더의 F 필드는 함께 실리게 되는 NAL 단위들의 헤더에 각각 표시된 F 필드가 "1" 값을 갖는 NAL 단위가 하나라도 존재할 경우 그 값이 "1"로 세팅된다.
페이로드 헤더의 NRI 필드는 함께 실리게 되는 NAL 단위들의 헤더에 각각 표시된 NRI 필드 값 중 최대값으로 세팅된다.
페이로드 헤더의 "Type" 필드에는 STAP-A 타입임을 나타내기 위하여 도 3으로부터 "24"번의 "NAL_unit_type"이 세팅된다.
또한, 페이로드 헤더 정보와는 별도로 실리게 되는 각 NAL 단위의 크기를 나타내는 2바이트의 "NALU_Size" 필드가 각 NAL 단위의 앞부분에 삽입된다.
비인터리브 모드의 FU-A 타입은 하나의 NAL 단위의 크기가 네트워크의 MTU(Maximum Transmission Unit) 크기를 초과할 경우, 전송 도중에 라우터나 게이트웨이에서 패킷분할(fragmentation)이 발생하는 것을 미리 방지하기 위하여, NAL 단위를 MTU 크기를 초과하지 않도록 두 개 이상으로 분할하여 각각의 분할된 단위를 개별적인 RTP 패킷에 나누어 싣는 방식이다.
도 4에는 FU-A 타입을 위한 RTP 페이로드 포맷의 구조를 도시하였는데, RTP 페이로드 헤더는 각각 1바이트 크기를 갖는 "FU_indicator"와 "FU_header"에 의해 총 2바이트로 구성된다.
"FU_indicator"의 F 필드와 NRI 필드에는 NAL 단위의 헤더에 표시된 값이 그대로 적용된다.
"FU_indicator"의 "Type" 필드에는 FU-A 타입임을 나타내기 위하여 도 1로부터 "28"번의 "NAL_unit_type"이 세팅된다.
"FU_header"의 S 필드와 E 필드는 분할되어 실리게 될 부분이 각각 NAL 단위 의 처음 시작 부분인지 또는 끝 부분인지를 나타내기 위하여 사용된다.
"FU_header"의 "Type" 필드에는, 도 2에 도시한 바와 같이, NAL 단위에 포함된 부호화 내용을 표시하는 "NAL_unit_type" 값이 세팅된다.
즉, 전술한 바와 같이, SVC 비트스트림에 저장된 NAL 단위에 대한 RTP 패킷 타입의 종류는 표준으로 분류가 되어 있지만, 주어진 NAL 단위를 적합한 패킷 타입으로 결정하는 기준과 방법 등은 아직까지 제안되지 못하고 있다.
따라서 본 발명에서는 SVC의 NAL 단위를 RTP 페이로드 포맷의 규정을 유지하면서 RTP 유료부하에 효과적으로 실을 수 있는 실용적인 RTP 패킷화 알고리듬을 제안하고자 한다.
따라서 본 발명은 SVC 비트스트림에 대한 RTP 패킷화 적용 과정에서 RTP 패킷화를 위한 패킷타입 분류 방법과 이를 기반으로 한 RTP 패킷 생성 방법까지를 포함하는 RTP 패킷화 방법 및 그 장치를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 방법은, SVC 비디오 압축 비트스트림에 대한 패킷타입 분류 방법에 있어서, 확장계층의 NAL 단위 헤더에 정의되어 있는 필드 정보로부터 각 NAL 단위들 사이의 시공간적 계층 관계 정보를 유도하는 시공간적 계층 관계 정보 유도 단계; SVC의 계층구조에 대한 복합 스케일러빌리티 부호화 적용을 통해 부호화 정보 유형을 파악하는 부호화 정보 유형 파악 단계; 및 상기 유도한 NAL 단위들 사이의 시공간적 계층 관계 정보와 상기 파악한 부호화 정보 유형을 이용하여 해당 SVC 비디오 압축 비트스트림에 대한 RTP 패킷타입을 결정하는 RTP 패킷타입 결정 단계를 포함한다.
여기서, 상기 시공간적 계층 관계 정보 유도 단계는, 확장계층 NAL 단위 헤더의 마지막 옥텟에 정의된 시간적, 공간적, SNR 스케일러빌리티에서 각 계층 간의 관련 체계 값(TL, DID, QL)의 조합을 통해 이루어진다.
이때, 상기 부호화 정보 유형 파악 단계는, 기본계층 및 확장계층에 속한 각각의 NAL 단위의 "NAL _unit_type" 값, 즉 부호화 내용을 표시하는 "NAL _unit_type" 값의 분석을 통해 이루어진다.
또한, 상기 RTP 패킷타입 결정 단계에서 결정되는 패킷 타입은, 비인터리브 모드의 SNU, FU-A, 및 STAP-A 타입 중 어느 한 패킷 타입이다.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 방법은, SVC 비디오 압축 비트스트림에 대한 패킷화 방법에 있어서, 상기 SVC 비디오 압축 비트스트림에 대해 패킷 타입을 분류하는 패킷 타입 분류 단계; 및 상기 분류한 패킷 타입에 대응되도록 상기 SVC 비디오 압축 비트스트림을 분할하여 RTP 패킷에 탑재하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 장치는, SVC 비디오 압축 비트스트림에 대한 패킷화 장치에 있어서, 상기 SVC 비디오 압축 비트스트림에 대해 패킷 타입을 분류하기 위한 패킷 타입 분류기; 및 상기 패킷 타입 분류기에 의해 분류된 패킷 타입에 대응되도록 상기 SVC 비디오 압축 비트스트림을 분할하여 RTP 패킷에 탑재시켜 패킷을 생성하기 위한 패킷 생성기를 포함한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 5는 본 발명의 일실시예에 적용되는 SVC의 기본계층과 확장계층에서 사용되는 NAL 단위의 헤더 구조를 나타낸 설명도이다.
SVC 부호화에 의해 생성된 부호화 정보는 NAL 단위로 비트스트림에 저장이 되는데, 도 5에 도시된 바와 같이, 기본계층에서 생성된 NAL 단위와 확장계층에서 생성된 NAL 단위의 헤더 구조는 서로 다르다.
도 5의 (a)는 H.264와 호환이 되는 기본계층에서 생성된 NAL 단위에 대한 헤더 구조를 나타내고, 도 5의 (b)는 확장계층에서 생성된 NAL 단위에 대한 헤더 구 조를 나타낸다.
도 5의 (a)와 도 5의 (b)에서 "Type" 필드는 NAL 단위에 포함된 부호화 정보의 내용에 대한 정보를 나타내는 "NAL_unit_type"을 의미하며, 전술한 도 2의 각 "NAL_unit_type"별로 NAL 단위에 포함된 부호화 정보의 종류가 나타나 있다.
기본계층의 NAL 단위에서 사용 가능한 "NAL_unit_type"은 1~5번까지이며, 확장계층에서는 20과 21번의 "NAL_unit_type"이 사용 가능하다. 나머지 "NAL_unit_type"은 부호화 정보가 아닌 부가정보를 포함하는 NAL 단위를 표시하기 위하여 사용된다.
본 발명에서는 확장계층의 각 NAL 단위의 헤더에 정의되어 있는 (TL, DID, QL) 필드 정보로부터 각 NAL 단위에 대한 시공간적 계층 관계를 유도할 수 있다.
도 5의 (b)에서 마지막 옥텟인 (TL, DID, QL) 필드는 각각 시간적, 공간적, SNR 스케일러빌리티에서 각 계층 간의 관련 체계를 나타낸다. 즉, TL(temporal_level)은 시간적 스케일러빌리티를 위한 시간적 계층 간의 체계(hierarchy)를 나타내고, DID(dependency_id)는 공간적 스케일러빌리티의 계층 간 예측(inter-layer prediction)에 있어서 상/하위 확장계층 간의 종속 체계(dependency hierarchy)를 나타내며, QL(quality_level)은 SNR 스케일러빌리티 지원을 위한 FGS 계층 간의 체계를 나타낸다.
TL, DID, QL 값은 모두 "0" 이상의 정수이며, 이 값들의 조합으로부터 NAL 단위의 시공간적 계층 관계를 유도해 낼 수 있다.
이처럼 분석된 (TL, DID, QL) 정보들과 "NAL_unit_type"을 기반으로 SVC의 복합 스케일러빌리티에 효과적으로 적용할 수 있는 실용적인 RTP 패킷화 알고리듬이 제안된다.
도 6은 본 발명의 일실시예에 적용되는 SVC의 복합 스케일러빌리티 부호화를 위한 화면 및 계층 구조의 예를 나타낸다.
도 6에는, SVC 스트림의 시작 부분인 IDR(Instantaneous Decoding Refresh) 화면과 첫 번째 GOP(Group Of Picture) 화면만이 나타나는데, 하나의 GOP는 16장의 화면으로 구성되며, 도면에 도시되지 않은 나머지 GOP들 또한 GOP 크기가 16인 구조를 가진다.
기본계층에서 지원 가능한 화면 해상도는 QCIF이고 공간적 확장계층에서 지원 가능한 화면 해상도는 CIF이다.
서로 다른 공간적 계층에서의 서로 다른 해상도를 표시하기 위하여 도 5의 (b)의 (TL, DID, QL) 필드 중 DID 값을 이용한다.
즉, 도 6에서 DID=0을 갖는 NAL 단위는 해상도가 QCIF인 화면을 의미하며, DID=1로 설정된 NAL 단위는 해상도가 CIF인 화면을 나타낸다.
시간적 스케일러빌리티 제공을 위해서 계층적 B-픽처(hierarchical B-picture) 방식이 적용되며, 지원 가능한 화면율을 표시하기 위하여 (TL, DID, QL) 필드 중 TL 값을 이용한다.
도 6에서 TL 값은 사각형으로 표시된 각 화면의 가운데 부분에 표시가 되어 있다. TL=0인 키 픽처(key picture)만을 전송할 경우 1.875fps까지 지원이 가능하며, TL=1인 B-픽처를 포함하여 전송할 경우 3.75fps까지 지원이 가능하다.
추가적으로 TL=2인 B-픽처를 전송할 경우 7.5fps까지 지원할 수 있으며, TL=3과 TL=4로 표시된 B-픽처를 추가적으로 전송하게 되면 각각 15fps와 30fps까지 화면율 지원이 가능하다.
도 6의 경우, 기본계층에서 최대의 TL 값은 3이므로 QCIF 규격으로 최대 15fps까지 지원할 수 있고, 공간적 확장계층에서 최대의 TL 값은 4이므로 CIF 규격으로 최대 30fps까지 지원할 수 있다.
기본계층과 공간적 확장계층에 속하는 동일한 시점에서의 화면이 서로 같은 TL 값을 갖게 될 경우 도면에서 점선으로 표시된 화살표 방향으로 계층 간 예측부호화가 실행이 되는데, DID=0인 QCIF 규격의 기본계층 화면의 해상도가 업샘플링 되어 DID=1인 CIF 규격의 확장계층 화면의 예측부호화에 활용될 수 있다.
한편, 도 6에서는 SNR 스케일러빌리티 지원을 위하여 화면마다 FGS 계층을 하나씩 생성하고 있으므로, 각 FGS 계층의 부호화 정보를 포함하는 NAL 단위는 모두 QL=1로 설정된다.
도 7은 도 6의 화면 및 계층 구조에 대하여 SVC 복합 스케일러빌리티 부호화를 적용할 경우, 화면의 부호화 순서와 각 화면에 속하는 기본계층 및 확장계층의 NAL 단위들에 대한 "NAL_unit_type"과 (TL, DID, QL) 필드 정보를 순차적으로 나타내고 있다.
도면을 참조하여 살펴보면, 가장 먼저 IDR 픽처가 부호화가 발생됨을 알 수 있는데, 기본계층에서는 도 5의 (a)의 헤더 구조를 갖는 기본계층 NAL 단위 1개가 생성되고 확장계층에서는 도 5의 (b)의 헤더 구조를 갖는 확장계층 NAL 단위 3개가 생성된다.
확장계층에서 생성되는 3개의 NAL 단위는 구체적으로 기본계층에 대한 FGS 확장을 위한 NAL 단위 1개, 공간적 확장계층을 위한 NAL 단위 1개, 그리고 공간적 확장계층에 대한 FGS 확장을 위한 NAL 단위 1개 등이다.
IDR 픽처에서 가장 먼저 생성되는 NAL 단위는 기본계층에서 생성되며, NAL 단위의 헤더는 도 5의 (a)의 구조를 따르고, 이는 IDR 픽처이므로 이 헤더의 "NAL_unit_type"은 전술한 도 2에 의하여 "5"로 설정됨을 도 8을 통해 확인할 수 있다.
IDR 픽처에서 두 번째로 생성되는 NAL 단위는 기본계층에 대한 FGS 확장을 위한 NAL 단위로서, "NAL_unit_type"은 도 2에 의하여 "21"로 설정되고 QL=1로 설정되어 (TL, DID, QL)은 (0, 0, 1)이 된다.
IDR 픽처에서 세 번째로 생성되는 NAL 단위는 공간적 확장계층을 위한 NAL 단위로서, "NAL_unit_type"은 "21"로 설정되고 DID=1로 설정되어 (TL, DID, QL)은 (0, 1, 0)이 된다.
IDR 픽처에서 마지막으로 생성되는 NAL 단위는 공간적 확장계층에 대한 FGS 확장을 위한 NAL 단위로서, "NAL_unit_type"은 "21"로 설정되고 QL=1로 설정되어 (TL, DID, QL)은 (0, 1, 1)이 된다.
이상과 같이 IDR 픽처에 대한 부호화가 완료되면 I 또는 P-픽처인 화면번호 16번 화면이 부호화되는데, 이는 IDR 픽처와 달리 비(非) IDR 픽처이므로 "NAL_unit_type"이 기본계층에서는 "1"로, 확장계층에서는 "20"으로 설정된다.
16번 화면의 부호화 완료 후에는 B-픽처인 화면번호 8번 화면이 부호화되는데, 이때 생성되는 4개의 NAL 단위에 대한 TL 값이 모두 "1"로 설정이 되어 3.75fps의 화면율 지원이 가능하게 된다.
그 다음으로 화면번호 4번 및 12번 화면은 TL=2로 설정되어 7.5fps의 화면율 지원이 가능하다.
2, 6, 10, 14번 화면은 15fps의 화면율 지원을 위하여 생성되는 4개의 모든 NAL 단위에 대하여 TL=3으로 설정한다.
한편, CIF 규격으로만 30fps를 지원하기 위하여, 공간적 확장계층에서는 1, 3, 5, 7, 9, 11, 13, 15번 화면을 부호화한다.
도 7에 도시된 바와 같이, 여기서 기본계층에 속하는 NAL 단위는 존재하지 않으며 확장계층에 속하는 NAL 단위 2개만 존재한다.
30fps 지원을 위하여 TL=4로 설정되며, 모든 NAL들이 공간적 확장계층에 속하므로 공통적으로 DID=1로 설정된다.
공간적 확장계층을 위한 NAL 단위일 경우 QL=0으로 설정되며, 공간적 확장계층에 대한 FGS 확장을 위한 NAL 단위는 QL=1로 설정된다.
도 7에 도시된 바와 같이, SVC의 복합 스케일러빌리티에서는 NAL 단위의 "NAL_unit_type"과 (TL, DID, QL) 필드를 분석하면, "NAL_unit_type" 값을 통해 NAL 단위에 포함되어 있는 부호화 정보의 유형을 알 수 있고, (TL, DID, QL) 값을 통해 NAL 단위들 간의 시공간적 계층 관계를 유도해 낼 수 있다.
이러한 정보는, 적당한 크기로 SVC 스트림을 잘라서 RTP 패킷에 싣는 RTP 패 킷화 방식을 효과적으로 디자인하는데 매우 유용하게 활용될 수 있다.
비인터리브 모드에서는, 전술한 도 1에 도시된 바와 같이, SNU, FU-A, STAP-A 등의 3가지 패킷타입을 지원한다.
일반적으로 기본계층에 속하는 NAL 단위는 확장계층에 속하는 NAL 단위보다 전송 시 우선순위가 높으며, 확장계층 정보와는 별도의 채널 부호화 등을 통해 오류에 강인하도록 처리된다. 따라서 기본계층의 NAL 단위를 확장계층의 NAL 단위와 혼합하여 RTP 패킷에 싣지 않고 독립적으로 RTP 패킷에 싣는다.
이에 따라, 기본계층의 NAL 단위에 대해서는 확장계층의 NAL 단위와 함께 묶을 수 있는 STAP-A 패킷타입을 적용하지 않고, NAL 단위의 길이를 고려하여 SNU와 FU-A 중 하나의 타입을 선택하여 RTP 패킷에 싣게 된다.
확장계층에 속하는 NAL 단위들에 대해서는 SNU, FU-A, STAP-A 등의 3가지 패킷 타입을 모두 적용하게 된다.
이들 중에서 SNU, FU-A는 NAL 단위의 길이에 따라 선택 적용하게 되며, STAP-A는 동일한 화면번호에 속하는 여러 개의 확장계층 NAL 단위들을 MTU 크기를 초과하지 않는 범위 내에서 하나로 묶어서 RTP 패킷에 탑재하게 된다.
이하에서는 STAP-A 타입이 적용될 확장계층 NAL 단위들을 판별하기 위한 룩-어헤드(look-ahead) 방식 기반의 알고리듬에 대해 설명하고자 한다.
지금 현재 알고리듬의 루프에 입력되는 NAL 단위인
Figure 112006091290641-pat00001
의 (TL, DID, QL) 정보를
Figure 112006091290641-pat00002
로 표시하고, 룩-어헤드 방식에 의해 한 단계 미리 분석될 다음 의 NAL 단위는
Figure 112006091290641-pat00003
로 표시하며
Figure 112006091290641-pat00004
의 (TL, DID, QL) 정보는
Figure 112006091290641-pat00005
로 표시한다.
STAP-A 타입의 적용 여부를 판단하기 위하여
Figure 112006091290641-pat00006
의
Figure 112006091290641-pat00007
정보를 미리 추출하여 비교하게 되는데,
Figure 112006091290641-pat00008
를
Figure 112006091290641-pat00009
와 묶어서 하나의 RTP 페이로드에 추가하기 위해 만족되어야 할 순차적인 조건은 다음과 같다.
i.
Figure 112006091290641-pat00010
이 기본계층에 속하는 NAL 단위가 아니어야 한다.
ii.
Figure 112006091290641-pat00011
는
Figure 112006091290641-pat00012
와 동일한 TL 값을 가져야 한다.
iii. RTP 페이로드에
Figure 112006091290641-pat00013
까지 누적된 NAL 단위의 크기에
Figure 112006091290641-pat00014
의 크기를 합하였을 때의 총합이 MTU의 크기보다 작아야 한다(인터넷의 경우 일반적인 MTU 크기는 1500 바이트이다). MTU보다 큰 RTP 패킷을 전송할 경우 망을 통한 전송 도중에 라우터나 게이트웨이의 절단(fragmentation) 기능에 의해 여러 개의 패킷으로 분할되게 되어 망과 클라이언트에 부담을 주게 된다.
iv.
Figure 112006091290641-pat00015
의 대소관계에 따라서 다음과 같은 조건을 만족하여야 한다.
(a)
Figure 112006091290641-pat00016
인 경우는 FGS 계층의 개수(quality level)가 증가하는 것을 의미하며, 이러한 현상은 동일한 화면번호 내에 속하는 NAL 단위에 대해서만 발생하므로 STAP-A의 조건에 부합된다. 따라서
Figure 112006091290641-pat00017
과
Figure 112006091290641-pat00018
를 RTP 페이로드에 함께 실을 수 있다.
(b)
Figure 112006091290641-pat00019
인 경우는 FGS 계층의 개수가 증가하지 않음을 의미한다. 이러한 현상이 발생하는 상황은
Figure 112006091290641-pat00020
인 상황과 그렇지 않은 상황으로 구분할 수 있다.
Figure 112006091290641-pat00021
인 상황은 항상 동일한 화면번호 내에 존재하는 NAL 단위들에 대해서만 발생하므로
Figure 112006091290641-pat00022
와
Figure 112006091290641-pat00023
는 STAP-A의 대상이 되지만,
Figure 112006091290641-pat00024
인 경우는 화면번호가 서로 다른, 즉 화면 표현 시점이 서로 다른 NAL 단위들 간에 발생하므로 STAP-A의 대상이 되지 못한다.
결론적으로 STAP-A 타입으로 RTP 패킷화를 하기 위해서
Figure 112006091290641-pat00025
와
Figure 112006091290641-pat00026
는 위의 조건 중 i, ii, iii, iv-(a)를 순차적으로 모두 만족시키거나, i, ii, iii, iv-(b) 를 순차적으로 모두 만족시켜야 한다.
위의 STAP-A 패킷타입으로 결정하기 위한 조건을 기반으로 SNU, FU-A, STAP-A 패킷타입을 결정하여 RTP 패킷화를 수행하기 위한 제안된 알고리듬의 흐름도는 도 8에 나타나 있다.
도 8에 도시된 바와 같은 흐름도는 각 GOP 단위마다 수행이 되며, 도 7을 통해 설명하였듯이, 하나의 GOP 내에 존재하는 모든 NAL 단위의 "NAL_unit_type"인 NUTypei와 (TL, DID, QL) 정보인
Figure 112006091290641-pat00027
를 기반으로 RTP 패킷타입을 결정하게 된다.
STAP-A로 판정하기 위한 조건인 i, ii, iii, iv-(a), iv-(b) 는 도 8의 해당되는 블록에 각각 표시를 하였다.
도 8에서 N은 현재 진행중인 패킷화 과정이 RTP 페이로드에 NAL 단위를 N 번 째로 싣는 과정에 있음을 의미한다. 도면에 도시된 알고리듬은 STAP-A 타입 조건을 비교하기 위하여
Figure 112006091290641-pat00028
를 미리 조사하는 룩-어헤드 방식으로 동작하므로, N=1인 상태에서 STAP-A로 판정된 경우에는
Figure 112006091290641-pat00029
와
Figure 112006091290641-pat00030
을 동시에 RTP 페이로드에 싣게 되고, N>1인 상태에서 STAP-A로 판정된 경우에는
Figure 112006091290641-pat00031
만 RTP 페이로드에 싣게 된다.
N=1인 상태에서 STAP-A로 판정되지 않은 경우에는
Figure 112006091290641-pat00032
의 크기가 MTU를 초과하는지의 여부를 따져 SNU 또는 FU-A 타입으로 결정하면 되고, N>1인 상태에서 STAP-A로 판정되지 않은 경우에는, 현재까지 RTP 페이로드에 누적된 N 개의 NAL 단위들을 하나의 RTP 패킷에 실어서 전송한 후 새로운 RTP 패킷 생성을 위하여 변수 N 과 I 값을 업데이트한 후 전체 과정을 반복하게 된다.
이때, RTP 패이로드에 실리게 되는 N 개의 NAL 단위의 시작 위치와 끝 위치를 나타내기 위하여 변수 I와 J를 사용하였다. 한편 Si는
Figure 112006091290641-pat00033
의 크기를 의미하고, Pi는
Figure 112006091290641-pat00034
를 포함하여 RTP 페이로드에 누적된 총 패킷의 크기를 의미하며, RTP 페이로드에 누적된 총 패킷의 크기가 MTU를 초과하는지 여부를 검사하기 위해 사용된다.
도 9는 본 발명의 일실시예에 따른 SVC 비트스트림에 대한 RTP 패킷화 장치를 나타낸 구성도이다.
도 9를 참조하여 살펴보면, 본 발명의 일실시예에 따른 SVC 비트스트림에 대한 RTP 패킷화 장치(120)는, 입력되는 SVC 비트스트림에 대해 패킷 타입을 분류하 기 위한 패킷 타입 분류기(130), 및 패킷 타입 분류기(130)에 의해 분류된 패킷 타입에 대응되도록 SVC 비트스트림을 분할하여 RTP 패킷에 탑재시켜 RTP 패킷을 생성하기 위한 패킷 생성기(140) 등을 포함한다.
패킷 타입 분류기(130) 및 패킷 생성기(140)와 같은 각각의 구성요소에 대한 상세한 기능의 설명은, 전술한 도 5 내지 도 8의 설명을 통해 대신하는 것으로 한다.
미설명된 도면부호 110은, 입력 비디오 시퀀스를 부호화(encoding)함으로써 SVC 비트스트림을 패킷 타입 분류기(130)로 제공하는 SVC 부호화기(110)를 나타낸다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기한 바와 같은 본 발명은, SVC 비트스트림에 대해 효율적인 패킷 타입 분류 및 이를 통한 RTP 패킷화를 수행할 수 있는 효과가 있다.
이로써, 본 발명은 SVC 비디오 압축 비트스트림을 인터넷 등의 IP망을 통해 보다 효율적으로 전송할 수 있는 효과가 있다.

Claims (10)

  1. SVC 비디오 압축 비트스트림에 대한 패킷타입 분류 방법에 있어서,
    확장계층의 NAL 단위 헤더에 정의되어 있는 필드 정보로부터 각 NAL 단위들 사이의 시공간적 계층 관계 정보를 유도하는 시공간적 계층 관계 정보 유도 단계;
    SVC의 계층구조에 대한 복합 스케일러빌리티 부호화 적용을 통해 부호화 정보 유형을 파악하는 부호화 정보 유형 파악 단계; 및
    상기 유도한 NAL 단위들 사이의 시공간적 계층 관계 정보와 상기 파악한 부호화 정보 유형을 이용하여 해당 SVC 비디오 압축 비트스트림에 대한 RTP 패킷타입을 결정하는 RTP 패킷타입 결정 단계
    를 포함하는 패킷타입 분류 방법.
  2. 제 1 항에 있어서,
    상기 시공간적 계층 관계 정보 유도 단계는,
    확장계층 NAL 단위 헤더의 마지막 옥텟에 정의된 시간적, 공간적, SNR 스케일러빌리티에서 각 계층 간의 관련 체계 값(TL, DID, QL)의 조합을 통해 이루어지는 것을 특징으로 하는 패킷타입 분류 방법.
  3. 제 1 항에 있어서,
    상기 부호화 정보 유형 파악 단계는,
    기본계층 및 확장계층에 속한 각각의 NAL 단위의 "NAL _unit_type" 값, 즉 부호화 내용을 표시하는 "NAL _unit_type" 값의 분석을 통해 이루어지는 것을 특징으로 하는 패킷타입 분류 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 RTP 패킷타입 결정 단계에서 결정되는 패킷 타입은,
    비인터리브 모드의 SNU, FU-A, 및 STAP-A 타입 중 어느 한 패킷 타입인 것을 특징으로 하는 패킷타입 분류 방법.
  5. SVC 비디오 압축 비트스트림에 대한 패킷화 방법에 있어서,
    상기 SVC 비디오 압축 비트스트림에 대해 패킷 타입을 분류하는 패킷 타입 분류 단계; 및
    상기 분류한 패킷 타입에 대응되도록 상기 SVC 비디오 압축 비트스트림을 분할하여 RTP 패킷에 탑재하는 단계
    를 포함하는 RTP 패킷화 방법.
  6. 제 5 항에 있어서,
    상기 패킷 타입 분류 단계는,
    확장계층의 NAL 단위 헤더에 정의되어 있는 필드 정보로부터 각 NAL 단위들 사이의 시공간적 계층 관계 정보를 유도하는 시공간적 계층 관계 정보 유도 단계;
    SVC의 계층구조에 대한 복합 스케일러빌리티 부호화 적용을 통해 부호화 정보 유형을 파악하는 부호화 정보 유형 파악 단계; 및
    상기 유도한 NAL 단위들 사이의 시공간적 계층 관계 정보와 상기 파악한 부호화 정보 유형을 이용하여 해당 SVC 비디오 압축 비트스트림에 대한 RTP 패킷타입을 결정하는 RTP 패킷타입 결정 단계
    를 포함하는 RTP 패킷화 방법.
  7. 제 6 항에 있어서,
    상기 시공간적 계층 관계 정보 유도 단계는,
    확장계층 NAL 단위 헤더의 마지막 옥텟에 정의된 시간적, 공간적, SNR 스케일러빌리티에서 각 계층 간의 관련 체계 값(TL, DID, QL)의 조합을 통해 이루어지는 것을 특징으로 하는 RTP 패킷화 방법.
  8. 제 6 항에 있어서,
    상기 부호화 정보 유형 파악 단계는,
    기본계층 및 확장계층에 속한 각각의 NAL 단위의 "NAL _unit_type" 값, 즉 부호화 내용을 표시하는 "NAL _unit_type" 값의 분석을 통해 이루어지는 것을 특징으로 하는 RTP 패킷화 방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 RTP 패킷타입 결정 단계에서 결정되는 패킷 타입은,
    비인터리브 모드의 SNU, FU-A, 및 STAP-A 타입 중 어느 한 패킷 타입인 것을 특징으로 하는 RTP 패킷화 방법.
  10. SVC 비디오 압축 비트스트림에 대한 패킷화 장치에 있어서,
    상기 SVC 비디오 압축 비트스트림에 대해 패킷 타입을 분류하기 위한 패킷 타입 분류기; 및
    상기 패킷 타입 분류기에 의해 분류된 패킷 타입에 대응되도록 상기 SVC 비디오 압축 비트스트림을 분할하여 RTP 패킷에 탑재시켜 패킷을 생성하기 위한 패킷 생성기
    를 포함하는 RTP 패킷화 장치.
KR1020060125144A 2006-11-09 2006-12-08 Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법 Expired - Fee Related KR100776680B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/513,542 US8761203B2 (en) 2006-11-09 2007-09-12 Method for determining packet type for SVC video bitstream, and RTP packetizing apparatus and method using the same
PCT/KR2007/004413 WO2008056878A1 (en) 2006-11-09 2007-09-12 Method for determining packet type for svc video bitstream, and rtp packetizing apparatus and method using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060110714 2006-11-09
KR1020060110714 2006-11-09

Publications (1)

Publication Number Publication Date
KR100776680B1 true KR100776680B1 (ko) 2007-11-19

Family

ID=39079810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060125144A Expired - Fee Related KR100776680B1 (ko) 2006-11-09 2006-12-08 Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8761203B2 (ko)
KR (1) KR100776680B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078641A3 (en) * 2007-12-18 2009-10-22 Electronics And Telecommunications Research Institute Method and apparatus for preserving security in video multicasting service
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법
KR101001024B1 (ko) 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
RU2518383C2 (ru) * 2008-02-04 2014-06-10 Алькатель Люсент Способ и устройство для переупорядочивания и мультиплексирования мультимедийных пакетов из мультимедийных потоков, принадлежащих взаимосвязанным сеансам

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2931610B1 (fr) * 2008-05-20 2010-12-17 Canon Kk Procede et un dispositif de transmission de donnees d'images
TW201026065A (en) * 2008-12-26 2010-07-01 Ind Tech Res Inst Method for packing bitstream of scalable video coding
US9723305B2 (en) 2013-03-29 2017-08-01 Qualcomm Incorporated RTP payload format designs
US20160301954A1 (en) * 2013-12-15 2016-10-13 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
US11265357B2 (en) * 2019-10-10 2022-03-01 Microsoft Technology Licensing, Llc AV1 codec for real-time video communication

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060017973A (ko) * 2004-08-23 2006-02-28 엘지전자 주식회사 영상 전송 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003152544A (ja) 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
WO2004036916A1 (en) 2002-10-15 2004-04-29 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
RU2375839C2 (ru) * 2003-02-18 2009-12-10 Нокиа Корпорейшн Способ кодирования изображений
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
CN101317459A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
US8060651B2 (en) * 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060017973A (ko) * 2004-08-23 2006-02-28 엘지전자 주식회사 영상 전송 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H.264 DRAFT ISO/IEC 14496-10

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009078641A3 (en) * 2007-12-18 2009-10-22 Electronics And Telecommunications Research Institute Method and apparatus for preserving security in video multicasting service
KR101001024B1 (ko) 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
US8478983B2 (en) 2007-12-18 2013-07-02 Electronics And Telecommunications Research Institute Method and apparatus for preserving security in video multicasting service
RU2518383C2 (ru) * 2008-02-04 2014-06-10 Алькатель Люсент Способ и устройство для переупорядочивания и мультиплексирования мультимедийных пакетов из мультимедийных потоков, принадлежащих взаимосвязанным сеансам
KR100978355B1 (ko) * 2008-11-06 2010-08-30 연세대학교 산학협력단 계층화된 데이터를 전송하는 데이터 전송 장치 및 데이터 전송 방법

Also Published As

Publication number Publication date
US20100067522A1 (en) 2010-03-18
US8761203B2 (en) 2014-06-24

Similar Documents

Publication Publication Date Title
KR100776680B1 (ko) Ｓｖｃ 비디오 압축 비트스트림에 대한 패킷타입 분류방법과 이를 이용한 ｒｔｐ 패킷화 장치 및 그 방법
JP4874343B2 (ja) スケーラブルビデオ符号化における、下位互換性のあるピクチャの集約
JP6649404B2 (ja) 画像コーディング・デコーディングのための装置、方法およびコンピュータ・プログラム
EP2005607B1 (en) System and method for management of scalability information in scalable video coding systems using control messages
JP4965059B2 (ja) ビデオストリームの切り替え
US9456209B2 (en) Method of multiplexing H.264 elementary streams without timing information coded
US8798145B2 (en) Methods for error concealment due to enhancement layer packet loss in scalable video coding (SVC) decoding
US11722711B2 (en) System and method for data stream fragmentation
JP6344392B2 (ja) 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
CN101505316A (zh) 重排和复用属于互相关会话的多媒体流的包的方法和设备
CN101120593A (zh) 可扩展性信息的编码、存储和信号发送
KR20080088633A (ko) 규모 가변적 미디어 코딩 및 전송을 위한 다중 상호운용성 포인트
KR20100071688A (ko) 스케일러블 비디오 코딩 기반의 포괄적 비디오 접근을 위한스트리밍 서비스 장치 및 방법
KR100897525B1 (ko) Ｓｖｃ 비디오의 ｒｔｐ 패킷화를 위한 타임스탬프 생성장치 및 그 방법과 그를 이용한 ｒｔｐ 패킷화 시스템
KR20130119885A (ko) 네트워크 적응적인 계층적 비디오 전송을 위한 mmt 패킷의 전송 방법 및 장치
CN106303537B (zh) 一种openh264多码流传输方法
GB2509956A (en) Encapsulating tiled timed media data, applicable to scalable coding
KR100849495B1 (ko) Ｒｔｐ 패킷화 모드별 비트율 생성 방법
WO2022048889A1 (en) A method of controlling energy consumed by a multimedia streaming application
WO2008056878A1 (en) Method for determining packet type for svc video bitstream, and rtp packetizing apparatus and method using the same
Dayananda et al. Investigating scalable high efficiency video coding for HTTP streaming
JP2024511948A (ja) Ｈｅｉｆフォーマットされた画像をリアルタイムトランスポートプロトコル上でトランスポートすること
Seo et al. A practical RTP packetization scheme for SVC video transport over IP networks
CN110636387A (zh) 一种基于h．264网络视频传输系统
Go et al. A systematic reallocation and prioritization scheme for error-resilient transmission of video packets

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20061208

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20071016

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20071108

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20071109

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20101101

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20111028

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20121031

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20131024

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20141027

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20141027

Start annual number: 8

End annual number: 8

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20161009