[go: up one dir, main page]

KR100959574B1 - 모바일 브로드캐스트／멀티캐스트 스트리밍 서버들에 의해사용되는 리치 미디어 컨테이너 형식에 대한 확장들 - Google Patents

모바일 브로드캐스트／멀티캐스트 스트리밍 서버들에 의해사용되는 리치 미디어 컨테이너 형식에 대한 확장들 Download PDF

Info

Publication number
KR100959574B1
KR100959574B1 KR1020087019296A KR20087019296A KR100959574B1 KR 100959574 B1 KR100959574 B1 KR 100959574B1 KR 1020087019296 A KR1020087019296 A KR 1020087019296A KR 20087019296 A KR20087019296 A KR 20087019296A KR 100959574 B1 KR100959574 B1 KR 100959574B1
Authority
KR
South Korea
Prior art keywords
alc
information
iso base
media file
flute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020087019296A
Other languages
English (en)
Other versions
KR20080083353A (ko
Inventor
라마크리쉬나 베단탐
비드야 세틀루르
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080083353A publication Critical patent/KR20080083353A/ko
Application granted granted Critical
Publication of KR100959574B1 publication Critical patent/KR100959574B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1836—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26283—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for associating distribution time parameters to content, e.g. to generate electronic program guide data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 ALC를 브로드캐스트 프로토콜로서 지원하기 위하여 ISO 베이스 미디어 파일 형식을 확장한다. 또한 본 발명은 모바일 브로드캐스트/멀티캐스트 네트워크들을 통한 SVG의 수송에 특정된 메타데이터를 포함하기 위하여 ESG를 확장한다. "BMFDP 힌트 트랙"은 컨테이너 파일 형식 내에 삽입되고, 요청된 파일 메타데이터는 이런 힌트 트랙들 내에 있다. 본 발명은 이런 사용들은 긴 카툰 애니메이션들의 프리뷰, 상호작용하는 모바일 TV 서비스들, 라이브 엔터프라이즈 데이터 공급들, 라이브 대화 서비스들, 및 가라오케 프로그램들와 같은 애플리케이션들에서 사용될 수 있다.

Description

모바일 브로드캐스트／멀티캐스트 스트리밍 서버들에 의해 사용되는 리치 미디어 컨테이너 형식에 대한 확장들{Extensions to rich media container format for use by mobile broadcast/multicast streaming servers}
본 발명은 ALC(Asynchronous Layered Coding)를 브로드캐스트/멀티캐스트 프로토콜로서 리치 미디어 콘텐츠를 스트리밍하는 동안 포함하도록 하는 아이에스오 베이스 미디어(ISO Base Media) 파일 형식(format)의 확장(extension)에 일반적으로 관련된다. 특히, 본 발명은 ALC를 사용하여 리치 미디어 콘텐츠의 브로드캐스트/멀티캐스트 다운로딩을 위한 파일 SDP(session description protocol), 메타데이터, 및 힌트 트랙들의 삽입에 관련된다.
배경 기술은 청구항에서 서술된 본 발명의 배경 또는 정황을 제공하려는 의도이다. 이러한 이유로 배경 기술에서의 묘사는 수행될 수 있는 개념들을 포함할 수 있지만 반드시 이전에 착상되거나 수행되어 왔던 것들은 아니다. 따라서 이 배경 기술에서 다르게 표시되지 않았다면, 배경 기술에서 서술되는 것들은 이 출원의 상세한 설명 및 청구항들에 대한 종래 기술이 아니고 배경 기술에 삽입함으로써 종래 기술을 인정하는 것은 아니다.
리치 미디어 콘텐츠는 그래픽 적으로 풍부하고 그래픽, 텍스트, 비디오 및 오디오를 포함하는 복합체 또는 복수의 미디어를 포함하는 콘텐츠를 일반적으로 지칭하고, 바람직하게는 단일 인터페이스를 통하여 전달된다. 리치 미디어 콘텐츠의 스트리밍은 실시간 콘텐츠를 위한 시각적으로 풍부한 콘텐츠를 운반하기 위하여 점진적으로 중요해지고 있고, 특히 MBMS 및 PSS(Packet Switched Streaming) 서비스 구조 내에서 중요하다. 멀티미디어 브로드캐스트 멀티캐스트 서비스(MBMS, Multimedia Broadcast Multicast Service) 스트리밍 서비스들은 3G 모바일 환경에서 다수의 수신기들로 대중적인 실시간 콘텐츠의 자원 효율적인 전달을 용이하게 한다. 상기 콘텐츠는 라이브 공급(live feed)으로부터 미리 기록되거나 생성될 수 있다.
특히 웹 서비스 영역에서, 리치 미디어를 나타내기 위한 몇몇 현존하는 시스템들이 있다. 확장형 벡터 그래픽스(SVG, Scalable Vector Graphics) 모바일 1.2는 XML에서 2차원 그래픽스를 나타내기 위한 언어이다. SVG는 그래픽 객체들의 세 가지 유형을 허용한다: 벡터 그래픽 형태들(예를 들면 직선들 및 곡선들로 이루어진 경로들), 래스터(raster) 이미지들, 비디오 등과 같은 멀티미디어 및 텍스트. SVG 그림들은 상호적이고(DOM(document object model) 이벤트 모델을 이용한다) 동적일 수 있다. 애니메이션들이 선언적으로(즉, SVG 콘텐츠 내에 SVG 애니메이션 요소들을 임베딩(embedding) 함에 의하여) 또는 스크립팅(scripting)을 통하여 정의되고 트리거 될(triggered) 수 있다. SVG의 복잡한 애플리케이션들은 모든 요소들, 속성들(attribute) 및 특성들(property)로 완전한 접근을 제공하는, SVG Micro Document Object Model(uDOM)로 접근하는 보충 스크립팅 언어의 이용을 통하여 가 능하다. 이벤트 핸들러(handler)들의 풍부한 세트는 어떠한 SVG 그래픽 객체로도 할당될 수 있다. CDF(compound documents format)와 같은 다른 Web 표준들의 그 호환성 및 레버리징(leveraging) 때문에, 스크립팅(scripting) 같은 특징(feature)들은 동일한 웹 페이지 내에서 동시에 XHTML 및 SVG 요소들 상에서 수행될 수 있다.
동기식 멀티미디어 통합 언어(SMIL, Synchronized Multimedia Integration Language) 2.0은 상호적인 시청각 프레젠테이션(presentation)들의 단순한 오서링(authoring)을 가능하게 한다. SMIL은 이미지들을 갖는 오디오 및 비디오, 텍스트 또는 어떠한 다른 미디어 유형을 스트리밍 하는 것을 통합한 "리치 미디어"/멀티미디어 프레젠테이션들을 위하여 일반적으로 이용된다.
CDF에서, 사용자 인터페이스 마크업(markup)들에 초점을 둔, XHTML, SVG, MathML, 및 SMIL과 같은 별개의 컴포넌트 언어들(예를 들면 XML-기반 언어들, 별개의 어휘들로부터의 요소들 및 속성들)을 결합하기 위하여 현재 노력들이 진행 중에 있다. 사용자 인터페이스 마크업들을 결합할 때 개개의 마크업들의 명세(specification)에 의해 지적되지 않은 특정 문제들이 해결되어야 한다. 이런 문제들은 마크업들을 통한 이벤트들의 전파, 렌더링(rendering)의 결합 또는 결합된 문서를 갖는 사용자 상호작용 모델을 포함한다.
RTP(Real-Time Transport Protocol)는 오디오, 비디오, 및 SVG와 같은, 연속(continuous) 미디어의 스트리밍 전달을 위해 현재 바람직한 수송 계층 프로토콜이다. RTP는 유니캐스트 스트리밍 (e.g., 3GPP PSS, 3GPP2 MSS (Multimedia Streaming Services)), 브로드캐스트/멀티캐스트 스트리밍 (e.g., 3GPP MBMS(multimedia broadcast/multicast service), 3GPP2 BCMCS (Broadcast Multicast Services)) 및 리치 미디어 컨퍼런싱(conferencing) 애플리케이션들을 위해 사용된다.
ALC(Asynchronous layered coding)는 대용량으로 확장가능하고(scalable) 안정적인(reliable) 콘텐츠 전달 프로토콜이다. ALC는 임의의 2진 객체들의 안정적 멀티캐스트 전달을 위한 기본 프로토콜이다. ALC는 3GPP2 BCMCS 및 OMA BAC BCAST에서 브로드캐스트/멀티캐스트 파일 전달을 위한 필수 프로토콜로서 채택되었다. 일방향 전송(FLUTE)을 통해 파일 전달에서 FDT(File Delivery Table)의 일부로서 전달되는 파일메타데이터는 클라이언트들로 OMA BCAST 전자 서비스 가이드(ESG)의 일부로서 이제 전달된다. 이 메타데이터는 다양한 ESG 조각(fragment)들로 서비스 가이드 데이터 모델에 따라 나뉜다. 조각들은 다음과 같이 식별된다 : 서비스, 스케줄, 콘텐츠, 액세스, 세션 기술(Session Description), 구매 아이템, 구매 데이터, 구매 채널, 서비스 가이드 콘텍스트(Service Guide Context), 서비스 가이드 전달 기술어(Service Guide Delivery Descriptor) 및 프리뷰 데이터. OMA BCAST ESG 데이터 모델은 도 3에 종래 기술로서 도시되어 있다. ESG는 일반적으로 클라이언트들에게 ALC 세션에 훨씬 앞서서 전달된다. 따라서 클라이언트들이 파일 메타데이터를 갖고, 그 이후에 ALC 세션이 시작한다. 파일 메타데이터가 ALC 세션 동안 갱신될 필요가 있는 경우에는 파일 메타데이터를 포함하는 ESG의 이런 조각들이 ESG 전달/갱신 채널들을 사용하여 갱신된다(update). 따라서 파일 메타데이터 갱신은 ALC 세션의 대역 내(in-band)에서 수행되지 않는다.
FLUTE는 ALC의 위에 구축하고 ALC 세션 내에서 전달되고 있는 파일들과 연관된 메타데이터를 전달하는 FDT를 정의한다. FLUTE는 FDT의 대역 내 전달 및 갱신들을 위한 메커니즘들을 제공한다. FLUTE는 3GPP MBMS 및 DVB-H IPDC에 의해 브로드캐스트/멀티캐스트 파일 전달을 위한 필수 프로토콜로서 채택되었다.
이에 더하여, 리치 미디어 콘텐츠의 저장 및 HTTP, FLUTE 및 RTP를 통한 이런 콘텐츠의 후속 전송을 위한 ISO 베이스 미디어 파일 컨테이너 형식이 또한 존재한다. 이런 형식들은 2005년 9월 1일 출원된 미국가특허출원번호 제60/713,303호 및 2005년 6월 27일 출원된, 미국 가출원 번호 제60/694,440호에 상세히 논의되고, 모두 본원에 전체로서 참조 병합된다. 그러나 ALC를 브로드캐스트 프로토콜로서 포함하기 위한, 특히 ESG 내에 파일 메타데이터를 저장하기 위한 어떤 메커니즘들도 현재 없다.
최근까지는, 모바일 장치들을 위한 애플리케이션들은 제한된 상호작용을 갖는 텍스트 기반이었다. 그러나 더 많은 무선 장치들이 컬러 디스플레이들 및 더 많은 개선된 그래픽스 렌더링 라이브러리들로 설비됨에 따라, 소비자들을 그들의 무선 애플리케이션들 모두로부터 리치 미디어 체험을 점점 요구하고 있다. 그러므로 실시간 리치 미디어 콘텐츠의 스트리밍 서비스는, 특히 MBMS, PSS 및 MMS 서비스들의 영역에서, 모바일 단말들을 위하여 매우 필요하다.
SVG는 해상도에 무관한 이차원 벡터 그래픽들을 기재하도록 설계되고, 그리고 SMIL로부터 가져온 이벤트 모델 및 애니메이션 개념들을 이용하여 상호작용을 허용한다. SVG는 또한 무한한 줌-가능성(zoomability)을 허용하고 모바일 장치들 상의 사용자 인터페이스들의 성능을 향상시킨다. 또한 SVG는 SMIL 미디어 요소들과 유사하게 미디어 요소들의 임베딩을 지원한다.
모든 임베드된 미디어는 불연속(discrete) 미디어(예를 들어, 이미지들) 및 연속(continuous) 미디어(예를 들어, 오디오, 비디오)인 두 개의 부분들로 나뉠 수 있다. 연속 미디어 요소들은 그것들의 타임 라인들을 그것들의 타임 컨테이너 내에서 정의한다. 따라서 SVG는 중요성을 얻고 있고, 특히 모바일 TV, 교통 정보의 라이브 갱신들, 날씨, 뉴스 등과 같은 리치 미디어 서비스들을 위하여, 멀티미디어 프레젠테이션을 구동하는 핵심적인 요소들 중 하나가 되고 있다. SVG는 XML 기반이고, 이는 다른 현존하는 웹 기술들과 더욱 투명한 통합을 허용한다.
브로드캐스트/멀티캐스트 네트워크들을 통한 리치 미디어의 스트리밍을 위해, RTP는 오디오 비디오 및 SVG 장면(scene)들/갱신들과 같은 연속 미디어를 전달하기 위해 사용될 수 있다. 그러나 이전에 논의된 것과 같이, SVG 프레젠테이션들은 블연속 미디어를 또한 포함해서, 그것 때문에 불연속 미디어의 전달을 위해 RTP 보다는 파일 다운로드 프로토콜들을 사용하는 것이 현재 더 이치에 맞게 된다. ALC 및 FLUTE는 브로드캐스트/멀티캐스트 네트워크들을 통해 파일 전달들을 위한 현재 바람직한 수송 계층(transport layer) 프로토콜들이다. 브로드캐스트/멀티캐스트 스트리밍 서버는 리치 미디어 패킷들(RTP 및 ALC, 또는 RTP 및 FLUTE)을, 콘텐츠를 리치 미디어 컨테이너 파일로부터 판독함으로써 발생시킬 수 있어야 한다. 컨테이너 파일은 (1) 즉 SVG 트랙들, 오디오 트랙들, 래스터 이미지들 등과 같은, 연속 미디어를 위한 미디어 트랙들; (2) 동기화 정보를 갖고 있는 힌트 트랙들(hint tracks); 및 (3) 내부적으로 임베드된 불연속 미디어를 포함할 수 있다.
브로드캐스트/멀티캐스트 스트리밍 서버는 연속 미디어를, 미디어 트랙들 및 힌트 트랙들을 사용해서 전달하기 위해 RTP 패킷들을 생성한다. 서버는 내부적으로 임베드된 불연속 미디어를 전달하기 위해 ALC 또는 FLUTE 패킷들을 생성할 필요가 또한 있다. 서버는 외부적으로 참조된 불연속 미디어의 일부 또는 전부를 획득할 것인지, 및 그것들을 클라이언트들에게 ALC 또는 FLUTE를 사용하여 송신할 것인지를 또한 결정할 수 있다. 수신 이후에, 이런 이미지들은 (a) 상응하는 SVG 콘텐츠가 재생(play)될 때 참조될 수 있거나 (b) 사용자의 상호작용에 의해 국부적으로 저장/캐싱되고(cashed) 렌더링될 수 있다. 이것은 충분한 사용자 체험을 가져오고 클라이언트로부터의 다른 하나의 동기식 포인트 대 포인트(PtP) 접속을 요청하지 않는다. 그러나 이런 최적화는 동기식 PtP 접속들의 가능성을 배제하지 않고, 대신에 동기식 PtP 접속들에 대한 필요를 최소화한다. 이런 불연속 미디어 예를 들어 CNN 이미지들(imagery)이 접속이 무료가 아니라면, 리치 미디어 애플리케이션은 이미지들은 사용자가 그런 이미지들을 구매한 경우에만 렌더링되는 것을 확실히 할 수 있다(즉 DRM(digital rights management) 권한들). 따라서 외부적으로 참조되는 불연속 미디어 파일들은 모든 사용자들에게 그들이 액세스 신청여부와 무관하게 브로드캐스트된다. 이런 파일들의 브로드캐스트 다운로드는 이런 파일들을 신청하지 않은 사용자들에게는 무선 및 메모리 자원들의 낭비이다. 이런 파일들을 신청한 사용자들에게는, 이런 파일들의 브로드캐스트 다운로드는 무선 자원들의 사용을 감소시키고 또한 그들의 사용자 체험을 향상시킨다. ALC 또는 FLUTE 패킷들을 생성하기 위해, 서버는 불연속 미디어(이미지) 파일들과 연관된 메타데이터를 필요로 한다. 이런 파일 메타데이터는 리치 미디어 컨테이너 파일에 포함될 필요가 또한 있다.
본 발명은 이런 메타데이터를 리치 미디어 컨테이너 파일들 내에 저장하기 위한 메커니즘의 결여 문제를 해결한다. 본 발명은 ALC를 브로드캐스트 프로토콜로서 지원하기 위하여 ISO 베이스 미디어 파일 형식을 확장할 뿐만 아니라, 모바일 브로드캐스트/멀티캐스트 네트워크들을 통한 SVG의 수송에 특정된 메타데이터를 포함하기 위하여 ESG를 확장한다. "BMFDP 힌트 트랙"은 컨테이너 파일 형식 내에 삽입되고, 요청된 파일 메타데이터는 이런 힌트 트랙들 내에 있다.
ALC를 프로토콜로서 사용함으로서 이점을 얻는 리치 미디어 서비스들의 상당한 사용 케이스들이 존재한다. 이런 사용들은 긴 카툰 애니메이션들의 프리뷰, 상호작용하는 모바일 TV 서비스들, 라이브 엔터프라이즈 데이터 공급들, 라이브 대화 서비스들, 및 가라오케 프로그램들을 포함한다. ALC 특정 콘텐츠를 ISO 베이스 미디어 파일 형식 내에 포함하는 어떤 해결책도 이전에 존재하지 않았으므로, ALC의 삽입은 리치 미디어 세션 동안에 대역외(out-of-band) 정보를, 애플리케이션들을 다운로드하는 3G 모바일 장치로 송신할 수 있기 위하여 더 큰 레버리지를 촉진시킨다. 본 발명에 의해 제공된 상호작용하며 동적인 리치 미디어의 스트리밍 및 점진적인(progressive) 다운로딩을 제공하는 서비스들의 이점들을 고려하면, 본 발명은 매우 다양한 제품들에 포함될 수 있고, 본 발명은 3GPP MBMS, 3GPP2 BCMCS, DVB-H IPDC 및 OMA BCAST과 같은 서비스들에서 사용될 수 있다.
본 발명의 이러한 그리고 다른 목적들, 이점들 및 특징들은 그것의 동작의 구성 및 방식과 함께, 첨부된 도면들과 결합하여 취해질 때 다음 상세한 설명으로부터 명확해질 것이고, 동일한 요소들은 아래 묘사된 몇몇 도면들 전체에서 동일한 참 번호들을 갖는다.
도 1은 리치 미디어의 브로드캐스트/멀티캐스트 스트리밍/다운로드 서비스를 RTP 및 ALC 프로토콜들을 사용하여 구현하기 위하여 어떻게 ALC 특정 정보가 ISO 베이스 미디어 파일 형식 내에 포함될 수 있는가를 도시하는 표현이다.
도 2는 모바일 브로드캐스트/멀티캐스트 네트워크들을 통해 리치 미디어의 스트리밍 및 파일 다운로딩하는 프로토콜 스택의 표현이다.
도 3은 OMABCAST ESG의 종래의 데이터 모델 표현이다.
도 4는 본 발명의 실시에서 이용될 수 있는 전자 장치의 사시도이다.
도 5는 도 4의 전자 기기의 전화 회로단의 개략적인 표현이다.
본 발명은 ALC를 브로드캐스트 프로토콜로서 지원하기 위하여 ISO 베이스 미디어 파일 형식을 확장할 뿐만 아니라, 모바일 브로드캐스트/멀티캐스트 네트워크들을 통한 SVG의 수송에 특정된 메타데이터를 포함하기 위하여 ESG를 확장한다. "BMFDP 힌트 트랙"은 컨테이너 파일 형식 내에 삽입되고, 요청된 파일 메타데이터는 이런 힌트 트랙들 내에 있다.
본 발명의 구현은 전송을 위해 ALC 프로토콜을 지원하기 위하여 ISO 베이스 미디어 파일 형식을 확장한다. 이것은 (1) ALC에 대한 세션 기술(description) 정보를 ISO 베이스 미디어 파일 형식 내에 추가; (2) 메타데이터 정보를 ESG에 대해 포함시키기 위하여 ISO 베이스 미디어 파일 형식을 확장; 및 (3) 전송을 위해 ALC 패킷들을 형성하는 힌트 트랙 정보를 포함하기 위한 ISO 베이스 미디어 파일 형식의 확장을 포함한다.
도 1은 리치 미디어의 브로드캐스트/멀티캐스트 스트리밍/다운로드 서비스를 RTP 및 ALC 프로토콜들을 사용하여 구현하기 위하여 어떻게 ALC 특정 정보가 ISO 베이스 미디어 파일 형식 내에 포함될 수 있는가를 도시하는 표현이다. 도 1에서 관찰될 수 있는 것과 같이, 리치 미디어(110)(불연속 및 연속 미디어를 갖는 SVG), SDP 정보(115), ALC-기반의 메타데이터 정보(120), 및 ALC 패킷화(packetization)를 위한 힌트 트랙 정보가 ISO 베이스 미디어 파일 발생기(130)로 입력되고, ISO 베이스 미디어 파일 발생기(130)가 리치 미디어 ISO 베이스 미디어 파일(135)을 산출한다. 리치 미디어의 ISO 베이스 미디어 파일(135)이 리치 미디어 서버(140)로 제공된다. 그런 이후에 리치 미디어 서버가(140)가 (1) 불연속 파일들의 메타데이터(ESG)(145); (2) 세션 기술 정보(150); 및 (3) RTP 및 ALC 패킷들(155)을 리치 미디어 플레이어(160)로 전송하고, 리치 미디어 플레이어(160)는 후속 표시(exhibition)를 위해 부호화된 정보를 복호화한다. 도 2는 모바일 브로드캐스트/멀티캐스트 네트워크들을 통해 리치 미디어의 스트리밍 및 파일 다운로딩을 하기 위한 프로토콜 스택을 도시한다. 본원에 포함된 본문 및 예들이 특히 부호화 프로세스를 서술하였지만, 당업자는 동일한 개념들 및 원리들이 상응하는 복호화 프로 세스에 또한 적용되고 그 반대의 경우도 가능하다는 것을 쉽게 알 것이다.
다음은 리치 미디어의 전송에 대한 서로 다른 전송 시나리오들뿐만 아니라, 임베드된 미디어에 대한 SVG의 성능(capability)에 대한 기술이다. 이 정보는 본 발명에 의해 검토된 이슈들의 범위는 물론, 리치 미디어의 다운로드를 위해 ALC를 프로토콜로서 사용하는 기초를 제공한다. SVG는 SMIL 미디어 요소들과 유사한 미디어 요소들을 지원한다. 위에서 논의된 것과 마찬가지로, 모든 임베드된 미디어는 즉 불연속 및 연속 미디어와 같은, 2개의 부분들로 나뉠 수 있다. 이미지들과 같은 불연속 미디어들은 SVG 내에 다음과 같이 'image' 요소를 사용하여 임베드된다.
Figure 112008056521494-pct00001
오디오 및 비디오와 같은 연속 미디어를 포함하는 예들은 다음과 같다.
Figure 112008056521494-pct00002
SVG는 다른 SVG 문서들을 또한 임베드할 수 있고, 이는 차례로 함유(nesting)을 통해 더 많은 SVG 문서들을 임베드할 수 있다. 애니메이션 요소는 동기화되고 애니메이션화 된 벡터 그래픽스를 제공하는 외부 임베드된 SVG 문서 또는 SVG 문서 조각(fragment)을 특정한다. 비디오 요소와 같이, 상기 애니메이션 요소는 그것의 x, y, 즉 넓이와 높이 속성들에 의하여 결정되는 크기를 갖는 그래픽 객체이다. 아래는 이런 하나의 예이다.
Figure 112008056521494-pct00003
유사하게, SVG 내의 미디어는 내부적으로 또는 외부적으로 참조될 수 있다. 앞선 예들이 내부적으로 참조되는 반면에, 다음 예는 외부적으로 참조되는 미디어를 보여준다.
Figure 112008056521494-pct00004
상기 임베드된 미디어 요소들은 SVG 콘텐츠 내에서 내부 또는 외부 URL들을 통하여 링크될 수 있다. 이러한 경우, 내부 URL들은 ISO 베이스 미디어 파일 자체 내에서 파일 경로들을 참조한다. 외부 URL들은 소스 SVG 파일을 담고 있는 동일한 서버 또는 다른 서버들 중 하나에 제시된 ISO 베이스 미디어 파일 외부의 파일 경로들을 참조한다. 본 발명에서, 전송 메커니즘은 내부적으로 임베드 된 미디어에 대해서만 오직 설명된다. 세션 기술 프로토콜(SDP, Session Description Protocol)은 내부적으로 임베드된 미디어에 대하여 상응하여 특정된다.
여기서 논의된 수송 메커니즘들은 동일하거나 다른 서버에 존재하는 임베드된 불연속 및 연속 미디어를 위해 제공된다. 이런 미디어는 원본(raw) 또는 ISO 베이스 미디어 파일 형식 내에 있을 수 있다. 그러나 적절한 단계들이 전송 또는 프레젠테이션 동안 이런 미디어 요소들의 적당한 동기화를 보장하기 위해 취해져야 한다.
다운로드를 위하여 불연속 및 연속 임베드된 미디어가 그것이 포인트-대-포인트 또는 브로드캐스트인지 여부에 의존하여 HTTP, FLUTE 또는ALC에 의해 전달될 수 있다. 그러나 연속 미디어만이 브로드캐스트 스트리밍 시나리오에서 RTP에 의해 전달될 수 있다. 이런 이유 때문에, 다음의 수송 결합들이 계획된다 : (1) 브로드캐스트 스트리밍 + 불연속 미디어의 HTTP 다운로딩; (2) 유니캐스트 스트리밍 + 불연속 미디어의 HTTP 다운로딩; (3) 브로드캐스트 스트리밍 + 불연속 미디어의 FLUTE/ALC 다운로딩; 및 (4) 유니캐스트 스트리밍 + 불연속 미디어의 FLUTE/ALC 다운로딩. 본 발명은 (3) 및 (4)으로 지시된다. 또한 불연속 미디어 파일들은 그것들을 UE로 ALC/FLUTE 세션을 통해 선행하여 전송하는 것에 의해; (2) 보안 키들이 MBMS 세션에 선행하여 클라이언트들에게 송신되는 방식과 유사한 방식으로 그것들을 스트리밍 세션 이전에 포인트-대-포인트 베어러(bearer) 상에서 각각의 클라이언트로 전송하는 것에 의해; (3) 무선 자원들이 충분히 이용가능하다면, RTP 전송 세션과 무관한 병렬 ALC/FLUTE 전송 세션을 가짐으로써, 또는 (4) 제한된 무선 자원들에 때문에 모든 데이터를 전송하기 위하여 비-병렬 전송 세션들을 가짐으로써 명확하게 전송될 수 있다. 각각의 전송 세션은 ALC/FLUTE 데이터 또는 RTP 데이터 중 하나를 포함할 수 있다.
아래는 SDP(Session Description Protocol) 정보를 저장하기 위한 박스들의 사용을 포함하는, 본 발명의 첫 번째 구현의 기술이다. SDP는 세션 기술을 특정하기 위한 공통되고 유용한 형식이다. ALC 패킷들은 불연속 및/또는 연속의 임베드된 미디어는 물론, 장면 기술도 그것이 순수한(pure) 다운로드 시나리오인지 또는 그것이 RTP 스트리밍 세션과 공유하는지 여부에 따라 수송하기 위해 이용될 수 있다. 내부적으로 임베드된 미디어의 URI들은 ALC 세션 시작에 선행하여 송신된 ESG 내에 표시된다. ALC를 위한 SDP 기술의 구문(syntax)은 FLUTE의 구문과 유사하고, 인터넷 초안(Draft)(즉 FLUTE를 위한 SDP 기술어들) 내에 정의되어 있다.
ALC를 위한 다양한 기술 형식들이 존재할 수 있다. SDP는 아래에 정의된다. SDP 내에 제시된 텍스트(text)는 SDP에 의하여 요구되는 바와 같이, <crlf>에 의하여 각각 종료되는, 연속한 라인들로서 올바르게 포맷된다. 이런 케이스는 SVG 장면과 장면 갱신들 및 불연속 임베드된 미디어의 전송에 대하여 발생한다. 서로 다른 레벨들(프레젠테이션(presentation), 영화, 트랙, 아이템 등)에서 FLUTE을 위한 박스들이 2005년 9월 1일 자 출원된, 미국가특허출원번호 제60/;713,303호에 상세하게 서술된다. 그러나 동일한 박스들이 ALC를 또한 포함하도록 브로드캐스트 다운로드를 위해 일반화될 수 있다. 따라서 박스들이 ALC 또는 FLUTE SDP 중 어느 하나를 위하여 SDP를 저장하기 위해 더 일반화 되도록 'BMFDP' (Broadcast Multicast File Download Protocol)을 앞에 붙인다. 'protocol'로 지칭되는 플래그는 박스들이 FLUTE 또는 ALC를 위해 사용되는지 여부를 표시하기 위해 또한 부가된다. 4개의 서로 다른 레벨들에서 박스들은 다음과 같다.
(a) 프레젠테이션 BMFDP 정보. 프레젠테이션(presentation) 레벨 힌트 정보 컨테이너는 ALC 또는 FLUTE에 대해 전용인 'phib' 박스 내에서 정의된다. 이것은 현재 프레젠테이션 내의 모든 콘텐츠가 ALC 또는 FLUTE를 통해 송신될 때 사용될 수 있다.
Figure 112008056521494-pct00005
(b) 아이템 BMFDP 정보. 아이템 레벨 힌트 정보 컨테이너가 ALC 또는 FLUTE에 대해 전용인 'ihib' 박스 내에서 정의된다. 이것은 현재 아이템 내의 모든 콘텐츠가 ALC 또는 FLUTE를 통해 송신될 때 사용될 수 있다.
Figure 112008056521494-pct00006
(c) 영화 브로드캐스트 다운로드 정보. 영화 레벨 힌트 정보 컨테이너가 ALC 또는 FLUTE에 대해 전용인 'hnti' 박스 내에서 정의된다. 이것은 현재 영화 내의 모든 콘텐츠가 ALC 또는 FLUTE를 통해 송신될 때 사용될 수 있다.
Figure 112008056521494-pct00007
(d) 트랙 브로드캐스트 다운로드 정보. 트랙 레벨 힌트 정보 컨테이너가 ALC 또는 FLUTE에 대해 전용인 'hnti' 박스 내에서 정의된다. 이것은 현재 트랙 내의 모든 콘텐츠가 ALC 또는 FLUTE를 통해 송신될 때 사용될 수 있다.
Figure 112008056521494-pct00008
Figure 112008056521494-pct00009
ALC + RTP 수송 시스템에서, ALC 및 RTP 스트림에 대한 SDP 정보가 함께 결합될 수 있다. 이 케이스는 SVG 미디어가 연속 및 불연속 임베드된 미디어를 모두 포함할 때 발생할 수 있다. 이런 불연속 미디어는 ALC를 통해 전송되고, 연속 미디어는 RTP를 통해 전송된다. 그 이후 SDP 정보는 다음 박스들 내에 저장될 수 있다. 2005년 9월 1일 출원된, 미국가출원 번호 제60/;713,303호는 서로 다른 레벨들(예를 들어, 프레젠테이션, 영화, 아이템)에서 FLUTE + RTP를 위한 박스들을 정의한다. 그러나 동일한 박스들이 ALC를 또한 포함하도록 브로드캐스트 다운로드를 위해 일반화될 수 있다. 따라서 박스들은 ALC + RTP 또는 FLUTE + RTP SDP를 위한 SDP를 저장하기 위하여 더 일반화되도록 'BMFDP' (Broadcast Multicast File Download Protocol)을 앞에 붙인다. 'protocol'로 지칭되는 플래그는 박스들이 FLUTE 또는 ALC를 위해 사용되는지 여부를 표시하기 위해 또한 부가된다. 4개의 서로 다른 레벨들에서 박스들은 다음과 같다.
(a) 프레젠테이션 SDP 정보.
Figure 112008056521494-pct00010
(b) 영화 SDP 정보.
Figure 112008056521494-pct00011
(c) 아이템 SDP 정보.
Figure 112008056521494-pct00012
본 발명의 두 번째 구현은 메타데이터 정보를 저장하기 위하여 박스들을 사용하는 것이다. 내부적으로 임베드된 불연속 미디어를 브로드캐스트/멀티캐스트 파일 다운로드 프로토콜(ALC/FLUTE)을 사용하여 전송하기 위해, 서버가 불연속 미디어에 대응하는 일정 메타데이터를 또한 송신하는 것이 요청된다. 따라서 본 발명의 이런 구현은 이런 메타데이터를 ISO 베이스 미디어 파일 형식 내에 캡슐화(encapsulation)하는 것을 포함한다.
FLUTE가 브로드캐스트 프로토콜로서 사용된다면 메타데이터가 FDT의 일부로서 송신되고, 또는 ALC가 OMA BCAST ESG와 연관되어 사용된다면 메타데이터가 OMA BCAST ESG의 일부로서 송신된다. ESG는 디지털 모바일 브로드캐스트 서비스(Digital Mobile Broadcast Service) 내에서 ALC를 통해 전달될 파일들과 연관된 다양한 메타데이터를 서술하기 위한 메커니즘을 제공한다. 또한 ESG는 ESG의 일관된 제어를 위해 그것이 PtM 및/또는 PtP 채널들을 통해 다운로드되는 동안 SGDUs(Service Guide Delivery Units) 및 SGDDs(Service Guide Delivery Descriptors)의 사용을 특정한다.
브로드캐스트/멀티캐스트 파일 다운로드 동안에 메타데이터의 갱신은 대역 내 또는 대역 외 중 어느 하나에서 수행될 수 있다. 대역 내 메타데이터 갱신들은 FDT 인스턴스 ID가 FDT 내에서 메타데이터의 최신 버전을 식별하는, FLUTE의 FDT를 사용하여 수행된다. 메타데이터가 ALC 내에서 SGDU 객체로서 시그널링되면, 그 이후 ESG는 SGDU 또는 SG 버저닝(versioning) 시스템에 따라 갱신된다. 새로운 SGDU의 PtM 수송을 위해 2가지 옵션들이 존재한다. 첫 번째 옵션으로서 새로운 SGDU 객체가 별도의 ALC 세션에서 송신된다. 두 번째 옵션으로서 새로운 SGDU 객체가 원래의 ALC 세션과 동일한 ALC 세션에 추가된다.
미국 가특허출원 번호 제60/713,303호는 ISO 베이스 미디어 파일 형식의 확장을 FDT 인스턴스들의 데이터를 저장하기 위한 박스들을 정의하는 것에 의해 서술한다. 그러나 동일한 박스들이 ALC를 또한 포함하는, 브로드캐스트 다운로드들를 위한 메타데이터를 저장가능하도록 일반화될 수 있다. 첫 번째 구현에서와 같이, 박스들이 브로드캐스트/멀티캐스트 다운로드를 위한 메타데이터를 저장하기 위해 더 일반화 되도록 'BMFDP''를 앞에 붙인다. 이런 파일 파라미터들은 브로드캐스트/멀티캐스트 다운로딩에서 사용되는 어떤 프로토콜에 의해 요청된다. 박스들은 아래에서 서술되는 프레젠테이션, 영화, 트랙, 및 아이템과 같은 모두 4개의 레벨들에 대해 정의된다.
(a) 프레젠테이션 메타데이터 정보. 프레젠테이션 레벨 메타데이터 컨테이너는 ALC/FLUTE 또는 ALC/FLUTE + RTP 수송 스킴들 각각에 대해 전용인, 'bdph' 또는 'bdrp' 박스들 내에서 정의된다.
Figure 112008056521494-pct00013
임베드 된 미디어 자원들의 콘텐츠 위치(Content-Location)가 ISO/IEC 15444-12:2005 내의 섹션 8.44.7 내에서 정의된 URL 형태들을 사용하여 참조될 수 있다.
(b) 아이템 메타데이터 정보. 아이템 레벨 메타데이터 컨테이너는 ALC/FLUTE 또는 ALC/FLUTE + RTP 수송 스킴들 각각에 대해 전용인, 'bdih' 또는 'bdri' 박스들 내에서 정의된다.
Figure 112008056521494-pct00014
(c) 영화 메타데이터 정보. 영화 레벨 메타데이터 컨테이너는 ALC/FLUTE에 대해 전용인, 'hnti' 박스 내에서 정의된다.
Figure 112008056521494-pct00015
}
(d) 트랙 메타데이터 정보. 트랙 레벨 메타데이터 컨테이너는 ALC/FLUTE에 대해 전용인, 'bdth' 박스 내에서 정의된다. 이것은 현재 트랙 내의 모든 콘텐츠가 ALC/FLUTE를 통해 송신될 때 사용될 수 있다.
Figure 112008056521494-pct00016
본 발명의 세 번째 구현은 힌트 트랙 정보를 저장하기 위하여 박스들을 사용하는 것이다. 힌트 트랙 구조는 복수의 데이터 형식들에서 힌트 샘플들을 지원하기 위하여 일반화된다. 힌트 트랙 샘플은 옳은 유형의 패킷 헤더를 구축하기 위해 필요한 어떤 데이터도 포함한다. 힌트 트랙 샘플은 패킷내에 속하는 데이터의 블록들로의 포인터를 또한 포함한다. 그러한 데이터는 SVG, 연속 임베드된 미디어, 및 불연속 임베드된 미디어를 포함할 수 있다.
힌트 트랙 샘플들은, 비록 그것들이 동일한 파일 내에서 일반적으로 발견된다 한지라도, 힌트 트랙 박스 구조의 일부가 아니다. 힌트 트랙 데이터 참조 박스('dref') 및 샘플 테이블 박스('stbl')는 특정 샘플을 위한 파일 명세 및 바이트 오프셋을 찾기 위하여 사용된다. 힌트 트랙 샘플 데이터는 바이트-정렬되어 있고 항상 빅-엔디안(big-endian) 형식 내에 있다.
다음은 ALC를 위한 힌트 트랙 형식의 논의이다. 미국가특허출원번호 제60/713,303호는 서로 다른 레벨들(예를 들어, 프레젠테이션, 영화, 트랙, 아이템)에서 FLUTE 힌트 트랙 정보를 위한 박스들을 서술한다. 그러나 동일한 박스들이 ALC를 또한 포함하도록 브로드캐스트 다운로드를 위해 일반화될 수 있다. 따라서 박스들이 ALC 또는 FLUTE 중 어느 하나를 위하여 힌트 트랙 정보를 저장하기 위해 더 일반화 되도록 'BMFDP' 을 앞에 붙인다.
RTP 힌트 트랙의 계층 구조와 유사하게, BMFDPHintSampleEntry 및 BMFDPsample가 정의된다. 또한, 몇몇 관련된 구조들 및 생성자(constructor)들이 또한 정의된다. 'protocol'은 박스들이 FLUTE 또는 ALC를 위해 사용되는지 여부를 표시하기 위해 또한 부가된다.
(a) 샘플 기술 형식. BMFDP 힌트 트랙들은 'bmfd'의 샘플 기술 내에서 엔트리-형식을 갖는 힌트 트랙들(미디어 핸들러 'hint')이다. BMFDPHintSampleEntry는 SampleDescriptionBox ('stsd') 내에 포함된다.
Figure 112008056521494-pct00017
필드들 "hinttrackversion", "highestcompatibleversion" 및 "maxpacketsize" 는 ISO/IEC 15444-12:2005 명세의 섹션 10.2 내에 서술된 "RtpHintSampleEntry" 필드 내에 있는 것과 동일한 해석을 갖는다. 추가적인 데이터는, ISO/IEC 15444-12:2005 섹션 10.2에서 참조되는 "timescaleentry" 및 "timeoffset"으로부터의 박스들의 세트이다. 이러한 박스들은 FLUTE에 대하여 선택적이다.
(b) 샘플 형식. 힌트 트랙 내의 각각의 BMFDP 샘플이 하나 이상의 BMFDP 패킷들을 발생시킬 것이다. RTP 샘플들에 비교하면, BMFDP 샘플들은 그들 자신의 특정 타임스탬프들을 갖지 않지만, 대신에 연속적으로 송신된다. TimeToSampleBox에 저장된 샘플-델타를 고려하면, 만약 BMFDP 샘플들이 임베드 된 미디어 또는 SVG 콘텐츠의 조각들을 나타낸다면, 이 경우 현재 미디어/SVG의 첫 번째 샘플과 이전 미디어/SVG의 마지막 샘플 사이에 샘플-델타는 현재 및 이전 미디어/SVG가 속하는 장면/갱신의 시작 시간 사이에 차이와 같은 값을 갖는다. 현재 미디어/SVG 내의 연속적인 샘플들 중 나머지에 대한 샘플 델타들은 0이다. 그러나 만약 BMFDP 샘플이 전체 미디어 또는 SVG 콘텐츠를 나타낸다면, 이 경우 이러한 BMFDP 샘플을 뒤따르는 0과 같은 델타들을 갖는 어떠한 연속적인 샘플들(동일한 미디어/SVG로부터의 연속적인 데이터를 포함한다)도 없을 것이다. 그러므로 오직 한 샘플-델타만이 현재 BMFDP 샘플에 대하여 존재한다.
각각의 샘플은 두 개의 영역들을 포함한다: 패킷들을 구성하기 위한 명령어들, 및 그러한 패킷들을 송신할 때 필요한 어떠한 추가적인 데이터(예를 들면 미디어 데이터의 부호화 된 버전). 샘플의 크기는 샘플 크기 테이블로부터 알 수 있음을 인지해야 한다.
Figure 112008056521494-pct00018
(c) 패킷 엔트리 형식. 패킷 엔트리 내의 각각의 패킷은 다음 구조를 가진다:
Figure 112008056521494-pct00019
"bmfdp_header"는 현재 BMFDP 패킷을 위한 헤더를 포함한다. "entry_count"는 다음 생성자들의 카운트이고, 생성자는 BMFDP 패킷들을 구성하기 위해 사용되는 구조이다.
Figure 112008056521494-pct00020
FEC_payload_ID는 세션 기술 내에서 반드시 통신되는 FEC 부호화 ID에 의해 결정된다.
Figure 112008056521494-pct00021
}
Figure 112008056521494-pct00022
Figure 112008056521494-pct00023
Figure 112008056521494-pct00024
Figure 112008056521494-pct00025
아래에서 사용되는 FED_encoding_ID는 세션 기술 내에서 시그널링되어야 한다. header_extension_type = 64는 ALC 및 FLUTE 모두에 대해 유효하다. 그것은 FEC 객체 전송 정보(FEC Object Transmission Information)를 전달하는 헤더 확장(extension)인, EXT_FTI에 대해 사용된다. header_extension_type = 192는 FLUTE에 대해서만 유효하다. 그것은 특정 FLUTE 패킷이 FDT 인스턴스를 파일로서보다는, 페이로드로서 포함하고 있다는 것을 알려주는 헤더 확장인, EXT_FDT에 대해 사용된다. header_extension_type = 193는 FLUTE에 대해서만 유효하다. 그것은 FDT 인스턴스에 의해 사용되는 콘텐츠 부호화(encoding)를 표시하는 헤더 확장인, EXT_CENC에 대해 사용된다.
(d) 생성자 포맷. 생성자의 다양한 형태들이 있다. 각각의 생성자는 반복(iteration)을 쉽게 만들기 위하여 16 바이트이다. 첫 번째 바이트는 결합 식별자(union discriminator)이다. 이러한 구조는 ISO/IEC 15444-12:2005로부터의 섹션 10.3.2에 기반을 둔다.
Figure 112008056521494-pct00026
Figure 112008056521494-pct00027
Figure 112008056521494-pct00028
_
Figure 112008056521494-pct00029
__
Figure 112008056521494-pct00030
Figure 112008056521494-pct00031
Figure 112008056521494-pct00032
Figure 112008056521494-pct00033
}
FDT 데이터는 전체 FLUTE/ALC 데이터 스트림의 일 부분이다. 이런 데이터는 FLUTE 패킷들의 형태로 FLUTE 세션 동안 대역 내에서 전송되거나, ESG 또는 다른 수단을 사용하여 ALC 세션 동안 대역 외 중 어느 하나로 송신된다. 여기서 정의된 생성자는 SGDU를 ALC 패킷으로 맵핑하기 위해 사용된다. 생성자의 구문은 다음과 같이 제공된다.
Figure 112008056521494-pct00034
다음은 ALC + RTP에 대한 힌트 트랙들의 사용에 대한 논의이다. RTP 및 BMFDP (ALC/FLUTE) 패킷들 모두가 프레젠테이션 동안에 동시에 전송되는 경우에, RTP 및 BMFDP를 위한 생성자들 모두가 사용된다. RTP 패킷들은 연속 미디어 및 SVG 콘텐츠를 전송하기 위해 사용되는 반면에, BMFDP 패킷들은 불연속 미디어를 전송하기 위해 사용된다. 다른 힌트 시스템이 이런 경우를 위해 사용된다. 이런 시스템은 모든 RTP 및 BMFDP 샘플들을 올바른 시간 순서로 결합할 수 있다.
미국가특허출원번호 제60/713,303호는 서로 다른 레벨들에서 FLUTE + RTP 힌트 트랙 정보를 위한 박스들을 서술한다. 그러나 동일한 박스들이 ALC를 또한 포함하도록 브로드캐스트 다운로드를 위해 일반화될 수 있다. 따라서 아래의 박스들이 더 일반화 되도록 'BMFDP'를 앞에 붙인다.
프레젠테이션을 위한 BMFDP 및 RTP 패킷들의 생성을 용이하게 하기 위해 BMFDP + RTP를 위한 힌트 트랙 형식이 아래에 정의된다. RTP 및 BMFDP의 힌트 트랙의 계층구조와 유사하게 BMFDPRtpHintSampleEntry 및 BMFDPRTPsample이 정의된다. 또한 TimeToSampleBox 내의 데이터는 각각의 패킷에 대해 시간정보를 제공한다.
(a) 샘플 기술 형식. BMFDP+RTP 힌트 트랙들은 'frhs'의 샘플 기술 내에 엔트리-형식을 갖는 힌트 트랙들(미디어 핸들러 'hint')이다. BMFDPRtpHintSampleEntry는 SampledDescriptionBox 'stsd' 내에 정의된다.
Figure 112008056521494-pct00035
hinttrackversion은 현재 1이고; 최고 호환 가능한 버전(highest compatible version) 필드는 이 트랙이 역방향으로 호환 가능한 가장 오래된 버전을 특정한다. maxpacketsize는 이 트랙이 생성될 최대 패킷의 크기를 가리킨다. 추가적인 데이터는 박스들의 세트('tims' 및 'tsro')이고, 이는 ISO 베이스 미디어 파일 형식 내에서 정의된다.
(b) 샘플 형식. BMFDPRTPSample은 MediaDataBox ('mdat') 내에서 정의된다. 이러한 박스는 복수의 BMFDP 샘플들, RTP 샘플들, 가능한 FDT/SGDU 및 SDP 정보 및 어떠한 추가 데이터를 포함한다. 하나의 BMFDPRTPSample은 FDT/SGDU 데이터, SDP 데이터, BMFDP 샘플, 또는 RTP 샘플을 포함할 수 있다. BMFDP 샘플들을 포함하는 BMFDPRTPSamples는 불연속 미디어를 전송하기 위하여 오직 이용된다. 그러한 미디어는 SVG 프레젠테이션 중에서 장면 또는 장면 갱신 내에 항상 임베드 된다. 그들의 시작 시간은 그들이 속하는 장면/장면 갱신의 시작 시간과 같다. BMFDP 샘플들은 그들 자신의 특정 타임스탬프를 갖지 않고, 대신에 그들이 속한 장면/장면 갱신의 RTP 샘플들 바로 다음에, 연속적으로 송신된다. 그러므로 TimeToSampleBox에서, 불연속 미디어를 위한 BMFDPRTPSample의 샘플 델타들은 모두 0으로 설정된다. 그들의 연속적인 순서는 그들의 송신-시간 순서를 나타낸다.
UE는 제한된 전력을 가질 수 있고 어떠한 시간 순간에 오직 한 전송 세션을 지원할 수 있으며, BMFDP 세션들 및 RTP 세션들은 하나씩 인터리브 될 필요가 있다. 한 세션은 나머지가 종료된 후에 즉시 시작된다. 이러한 경우, description_text1, description_text2 및 description_text3 필드들은 아래서 각각의 세션에 대한 SDP 및 FDT/SGDU 정보를 제공하기 위하여 이용된다.
Figure 112008056521494-pct00036
또한, 본 발명의 몇몇 다른 가능한 구현들이 있다. 다음은 몇몇 이런 대안적인 구현들에 대한 논의이다. 본 발명의 네 번째 구현은 위에서 논의된 첫 번째 구현과 유사하다. 그러나 DCCPtext와 같은 다른 기술 형식들이 저장될 수 있고, 이 경우에 sdptext 필드가 따라서 변경될 것이다. 다섯 번째 구현은 두 번째 구현과 유사하다. 그러나 이 실시 예에서 단일 조각 필드는 ESG 내의 모든 조각 데이터를 포함할 수 있다. 때문에 애플리케이션은 이 데이터를 모든 레벨들을 위한 또는 파일들을 위한 서로 다른 필드들 중 어느 하나로 쪼개는 것을 선택할 수 있다.
위에서 논의된 세 번째 구현의 양상들과 유사하고 다양한 차이들을 갖는 본 발명의 몇몇 가능한 구현들이 존재한다. 예를 들어, 예를 들어 프레젠테이션-레벨 또는 아이템-레벨 세션 정보를 포함하도록, 다른 레벨들에서 'hnti' 박스를 재정의할 수 있다. ALC를 위한 힌트 트랙 정보를 위한 샘플 기술 형식에서, hinttrackversion 및 highestcompatibleversion 필드들은 서로 다른 값들을 가질 수 있고, minpacketsize 필드는 maxpacketsize 필드에 더하여 추가될 수 있다. ALC를 위한 힌트 트랙 형식을 위한 샘플 형식들에서, packetcount 필드는 예약(reserved) 필드를 제거하는 것에 의해 32 비트로 만들어질 수 있다. ALC를 위한 힌트 트랙 형식을 위한 패킷 엔트리 형식에서, 서로 다른 헤더 박스들(BMFDPheader, UDPheader, LCTheader 등)의 계층 구조가 다를 수 있다. ALC를 위한 힌트 트랙 형식을 위한 생성자 형식에서, ALCsgdutconstructor 구문은 각각의 sgdu_box에 대해 별개의 필드 정의들을 가질 수 있고, BMFDPitemconstructor는 item_name에 의해 대체된 item_id를 가질 수 있고, BMFDPxmlboxconstructor 예약 필드를 제거하는 것에 의해 64 바이트로 만들어질 data_length 필드를 가질 수 있고, BMFDPxmlboxconstructor는 16 바이트로 만들어지고 예약 필드를 64 바이트로 조정하는 data_length 필드를 가질 수 있다. ALC + RTP를 위한 힌트 트랙들에서, BMFDPRtpHintSampleEntry는 서로 다른 값들로 된 hinttrackversion 및 highestcompatibleversion 필드들을 가질 수 있고, BMFDPRtpHintSampleEntry는 maxpacketsize 필드에 더하여 minpacketsize 필드를 추가할 수 있고, BMFDPRTPSample 박스는 각각의 sample__type에 대한 별개의 필드 정의들을 가질 수 있다.
ALC를 프로토콜로 사용하는 것으로서 이점을 얻는 리치 미디어 서비스들의 상당한 사용 케이스들이 존재한다. 이런 사용 케이스의 첫 번째는 긴 카툰 애니메이션들의 프리뷰를 포함한다. 본 발명의 서비스는 최종 사용자가 각각의 애니메이션의 작은 부분들을 점진적으로 다운로드 받은 이후에, 그 중 어느 것을 자신이 전체로 보길 원하는지 결정할 수 있도록 한다.
본 발명의 두 번째 사용 케이스는 상호적인 모바일 TV 서비스들을 포함한다. 본 발명으로써 리치 미디어 콘텐츠의 결정적 렌더링 및 동작은 최종 사용자 인터페이스에서 함께 전달될 수 있다. 콘텐츠는 오디오-비디오 콘텐츠, 텍스트, 그래픽스, 이미지들 및 TV 및 라디오 채널들을 포함할 수 있다. 상기 서비스는 단일 어플리케이션 또는 서비스 내의 콘텐츠를 통한 편리한 이동(navigation)을 제공해야하고, 투표 및 개인화(personalization)(예를 들면 관련된 메뉴 또는 하위 메뉴, 광고 및 최종-사용자 프로필 또는 서비스 가입의 기능 내의 콘텐츠)와 같은 목적을 위하여 국지적으로 또는 원격으로 동기화 상호작용을 허용해야 한다. 이러한 사용 케이스는 iTV 모바일 서비스에서 이용 가능한 네 개의 서비스들 및 하위 서비스들에 상응하는 네 개의 단계들에서 묘사된다: 모자이크 메뉴: TV 채널 모습(landscape), 전자 프로그램 가이드 및 관련된 iTV 서비스의 트리거링(triggering), iTV 서비스, 및 "스포츠 뉴스"와 같은 개인화 된 메뉴.
본 발명의 세 번째 사용 케이스는 라이브 엔터프라이즈의 데이터 공급을 포함한다. 이 서비스는 실시간 시세들(quotes)의 스트리밍을 제공하는 주식 시세 표시기(stock ticker), 기술적인 표지(indicator)들을 갖는 인트라 데이(intra-day) 차트들, 뉴스 모니터링, 날씨 예보들, 차트들, 비즈니스 최신 정보들, 스포츠 경기 득점표들 등을 포함한다.
본 발명의 네 번째 사용 케이스는 라이브 대화 서비스(Live chat services)를 포함한다. 라이브 대화 서비스는 웹 캠, 비디오 채널 또는 리치 미디어 블로그 서비스 내에서 통합될 수 있다. 최종 사용자들은 그들의 별명을 등록하고, 저장하고 메시지들을 교환할 수 있다. 메시지들은 최종 사용자에 의하여 제공되는 리치 미디어 데이터와 함께, 라이브 대화 서비스 내에서 동적으로 나타난다. 상기 대화 서비스는 동시에 하나 또는 그 이상의 복수의 채널들 내에서 개인적이거나 공용일 수 있다. 최종 사용자들은 다른 사용자들로부터 신규 메시지들에 대하여 동적으로 알림을 받을 수 있다. 서비스 내에서 메시지들의 동적인 갱신들은 완전한 페이지를 다시 로딩함 없이 일어난다.
본 발명의 다섯 번째 사용 케이스는 가라오케(karaoke) 서비스들을 포함한다. 가라오케 서비스는 노래를 위하여 글자들 상에 흐르는 것 같은 애니메이션으로 노래의 가사를 따라(예를 들면 폰트들의 부드러운 색깔 변화, 텍스트의 스크롤(scrolling)), 음악 TV 채널 또는 비디오 클립 카탈로그를 디스플레이 한다. 최종 사용자는 상호적인 버튼을 선택함에 의하여 완료된 애니메이션을 따라 자신이 선택한 노래를 다운로드할 수 있다. 유사한 시스템들이 영화 또는 TV 쇼들 또는 클 립들의 재연을 위해 또한 사용될 수 있다.
도 4 및 5는 본 발명이 실시될 수 있는 한 대표적인 전자 기기(12)를 보여준다. 그러나 본 발명은 전자 기기의 한 특정 유형에 한정되려고 의도되지 않음을 이해해야 한다. 도 4 및 5의 전자 기기(12)는 하우징(30), 액정 디스플레이 형태의 디스플레이(32), 키패드(34), 마이크로폰(36), 이어-피스(38), 배터리(40), 적외선 포트(42), 안테나(44), 본 발명의 일 실시예에 따른 UICC 형태의 스마트카드(46), 카드 리더(48), 무선 인터페이스 회로단(52), 코덱 회로단(54), 제어부(56) 및 메모리(58)를 포함한다. 개별 회로들 및 요소들은 본 기술분야, 예를 들면 모바일 전화의 Nokia 범위에서 모두 잘 알려진 형태이다.
본 발명은 방법 단계들의 일반적인 내용에서 묘사되고, 이는 네트워크화 된 환경에서 컴퓨터들에 의하여 실행되는, 프로그램 코드와 같은, 컴퓨터 실행가능 명령어들을 포함하는 프로그램 생성물에 의하여 한 실시예에서 구현될 수 있다. 일반적으로, 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 콤포넌트들, 데이터 구조들 등을 포함한다. 데이터 구조에 관련된 컴퓨터 실행가능 명령어들 및 프로그램 모듈들은 여기서 개시된 방법들의 단계들을 실행하기 위한 프로그램 코드의 예를 나타낸다. 그러한 실행 가능한 명령어들 또는 관련된 데이터 구조들의 특정 시퀀스는 그러한 단계들에서 묘사되는 기능들을 구현하기 위하여 상응하는 동작들의 예들을 나타낸다. 본 발명의 소프트웨어 및 웹 구현들은 규칙 기반 로직을 갖는 표준 프로그래밍 기술들, 및 다양한 데이터베이스 탐색 단계들, 상관관계들, 비교 단계들 및 결정 단계들을 달성하기 위한 다른 로직으로 달성될 수 있다. 또한 여기서 그리고 청구항들에서 이용되는 바와 같은 단어들 "컴포넌트(component)" 및 "모듈"은 소프트웨어 코드의 하나 또는 그 이상의 라인들을 이용하는 구현들, 하드웨어 구현들, 및/또는 수동 입력들을 수신하기 위한 장비들을 포괄하도록 의도되었음이 인지되어야 한다.
본 발명의 실시예들의 앞선 설명은 묘사 및 설명의 목적을 위하여 나타냈다. 이것은 개시된 정확한 형태로 본 발명을 구속하거나 한정하려는 의도가 아니며, 수정 및 변형들이 앞선 교시들의 견지에서 가능하거나 본 발명의 실시로부터 획득될 수 있다. 실시예들이 본 기술 분야의 통상의 기술자가 다양한 실시예들에서 그리고 고려된 특정 이용에 적절하도록 다양한 수정들을 가지고 본 발명을 이용하는 것이 가능하게 하기 위하여 본 발명의 원칙들 및 그것의 실제 적용을 설명하기 위하여 선택되고 묘사되었다.

Claims (35)

  1. 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로(progressively) 제공하기 위한 방법에 있어서,
    ISO 베이스 미디어(ISO base media) 파일을 ISO 베이스 미디어 파일 형식에 따라, 입력 정보로부터 부호화하는 단계로서, 상기 입력 정보는:
    확장형 벡터 그래픽스(scalable vector graphics),
    ALC 및 FLUTE 중 하나를 위한 파일 메타데이터 정보, 및
    ALC 및 FLUTE 패킷화(packetization) 중 하나를 위한 힌트 트랙 정보를 포함하는, ISO 베이스 미디어 파일을 부호화하는 단계; 및
    복수의 RTP 패킷들 및 ALC 패킷들과 FLUTE 패킷들로 이루어진 그룹으로부터 선택된 패킷들 내의 상기 부호화된 ISO 베이스 미디어 파일을 상기 클라이언트 장치로 전송하는 단계를 포함하고, 상기 ISO 베이스 미디어 파일은 불연속(discrete) 파일들의 메타데이터를 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 입력 정보는 ALC 및 FLUTE 중 하나를 위한 SDP(session description protocol) 정보를 더 포함하고, 상기 ISO 베이스 미디어 파일은 세션 기술 정보를 더 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  3. 제1항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  4. 제3항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  5. 제1항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 메타데이터 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  6. 제5항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 복수의 SDP 박스들은 RTP 메타데이터 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 것인, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  7. 제1항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 힌트 트랙 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  8. 제7항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 복수의 SDP 박스들은 RTP 힌트 트랙 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 것인, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  9. 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 매체에 있어서, 상기 컴퓨터 프로그램은:
    ISO 베이스 미디어 파일을 ISO 베이스 미디어 파일 형식에 따라, 입력 정보로부터 부호화하기 위한 컴퓨터-실행가능 프로그램 코드로서, 상기 입력 정보는:
    확장형 벡터 그래픽스(scalable vector graphics),
    ALC 및 FLUTE 중 하나를 위한 파일 메타데이터 정보, 및
    ALC 및 FLUTE 패킷화(packetization) 중 하나를 위한 힌트 트랙 정보를 포함하는, ISO 베이스 미디어 파일을 부호화하기 위한 컴퓨터-실행가능 프로그램 코드; 및
    복수의 RTP 패킷들 및 ALC 패킷들과 FLUTE 패킷들로 이루어진 그룹으로부터 선택된 패킷들 내의 상기 부호화된 ISO 기반 미디어 파일을 상기 클라이언트 장치로 전송하기 위한 컴퓨터-실행가능 코드를 포함하고, 상기 ISO 베이스 미디어 파일은 불연속(discrete) 파일들의 메타데이터를 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  10. 제9항에 있어서,
    상기 입력 정보는 ALC 및 FLUTE 중 하나를 위한 SDP(session description protocol) 정보를 더 포함하고, 상기 ISO 베이스 미디어 파일은 세션 기술 정보를 더 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  11. 제9항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  13. 제9항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 메타데이터 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  14. 제13항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 메타데이터 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  15. 제9항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 힌트 트랙 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  16. 제15항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 힌트 트랙 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  17. 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서에 연결되어 통신하는 메모리부로서,
    ISO 베이스 미디어 파일을 ISO 베이스 미디어 파일 형식에 따라, 입력 정보로부터 부호화하기 위한 컴퓨터 코드로서, 상기 입력 정보는:
    확장형 벡터 그래픽스(scalable vector graphics),
    ALC 및 FLUTE 중 하나를 위한 파일 메타데이터 정보, 및
    ALC 및 FLUTE 패킷화 중 하나를 위한 힌트 트랙 정보를 포함하는, ISO 베이스 미디어 파일을 부호화하기 위한 컴퓨터 코드; 및
    복수의 RTP 패킷들 및 ALC 패킷들과 FLUTE 패킷들로 이루어진 그룹으로부터 선택된 패킷들 내의 상기 부호화된 ISO 베이스 미디어 파일을 클라이언트 장치로 전송하기 위한 컴퓨터 코드를 포함하고, 상기 ISO 베이스 미디어 파일은 불연속(discrete) 파일들의 메타데이터를 포함하는, 전자 장치.
  18. 제17항에 있어서,
    상기 입력 정보는 ALC 및 FLUTE 중 하나를 위한 SDP(session description protocol) 정보를 더 포함하고, 상기 ISO 베이스 미디어 파일은 세션 기술 정보를 더 포함하는, 전자 장치.
  19. 제17항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들 포함하는, 전자 장치.
  20. 제19항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 전자 장치.
  21. 제17항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 메타데이터 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 전자 장치.
  22. 제21항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 메타데이터 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 전자 장치.
  23. 제17항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 힌트 트랙 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 전자 장치.
  24. 제23항에 있어서,
    상기 확장형 벡터 그래픽스는 불연속 및 연속 미디어를 모두 포함하고, 상기 ISO 베이스 미디어 파일은 RTP 힌트 트랙 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 전자 장치.
  25. 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기(exhibit) 위한 방법으로서,
    리치 미디어 서버로부터 복수의 RTP 패킷들 및 ALC 패킷들과 FLUTE 패킷들로 이루어진 그룹으로부터 선택된 복수의 패킷들 내의 ISO 베이스 미디어 파일을 수신하는 단계로서, 상기 ISO 베이스 미디어 파일은 불연속 파일들의 메타데이터를 포함하는, ISO 베이스 미디어 파일을 수신하는 단계;
    상기 ISO 베이스 미디어 파일을 복호화하는 단계; 및
    상기 복호화된 ISO 베이스 미디어 파일을 재생하는 단계를 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  26. 제25항에 있어서,
    상기 ISO 베이스 미디어 파일은 세션 기술 정보를 더 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  27. 제25항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  28. 제27항에 있어서,
    상기 ISO 베이스 미디어 파일은 불연속 및 연속 미디어를 모두 포함하는 확장형 벡터 그래픽스로부터 발생되고, 상기 ISO 베이스 미디어 파일은 RTP 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  29. 제25항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 메타데이터 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  30. 제29항에 있어서,
    상기 ISO 베이스 미디어 파일은 불연속 및 연속 미디어를 모두 포함하는 확장형 벡터 그래픽스로부터 발생되고, 상기 ISO 베이스 미디어 파일은 RTP 메타데이터 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  31. 제25항에 있어서,
    상기 ISO 베이스 미디어 파일은 ALC 또는 FLUTE 힌트 트랙 정보 중 어느 하나를 담기 위한 복수의 SDP 박스들을 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  32. 제31항에 있어서,
    상기 ISO 베이스 미디어 파일은 불연속 및 연속 미디어를 모두 포함하는 확장형 벡터 그래픽스로부터 발생되고, 상기 ISO 베이스 미디어 파일은 RTP 힌트 트랙 정보에 더하여, ALC 또는 FLUTE 정보 중 어느 하나를 담기 위한 복수의 SDP 박 스들을 포함하는, 클라이언트 장치 상에 리치 미디어 콘텐츠를 표시하기 위한 방법.
  33. 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법에 있어서,
    ISO 베이스 미디어 파일을 ISO 베이스 미디어 파일 형식에 따라, 입력 정보로부터 생성하는 단계[상기 입력 정보는, 확장형 벡터 그래픽스(scalable vector graphics), ALC 및 FLUTE 중 하나를 위한 파일 메타데이터 정보, 및 ALC 및 FLUTE 패킷화(packetization) 중 하나를 위한 힌트 트랙 정보를 포함한다];
    상기 ISO 베이스 미디어 파일을 부호화하는 단계; 및
    상기 부호화된 ISO 베이스 미디어 파일을 상기 클라이언트 장치로 전송하는 단계를 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 방법.
  34. 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 매체에 있어서, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하도록 구성되고,
    ISO 베이스 미디어 파일을 ISO 베이스 미디어 파일 형식에 따라, 입력 정보로부터 생성하기 위한 컴퓨터-실행가능 프로그램 코드[상기 입력 정보는, 확장형 벡터 그래픽스(scalable vector graphics), ALC 및 FLUTE 중 하나를 위한 파일 메타데이터 정보, 및 ALC 및 FLUTE 패킷화(packetization) 중 하나를 위한 힌트 트랙 정보를 포함한다];
    상기 ISO 베이스 미디어 파일을 부호화하기 위한 컴퓨터-실행가능 프로그램 코드; 및
    상기 부호화된 ISO 베이스 미디어 파일을 상기 클라이언트 장치로 전송하기 위한 컴퓨터-실행가능 프로그램 코드를 포함하는, 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로 제공하기 위한 컴퓨터 판독가능 매체.
  35. 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서에 연결되어 통신하는 메모리부로서, 상기 메모리부는 리치 미디어 콘텐츠를 클라이언트 장치로 점진적으로(progressively) 제공하기 위한 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은:
    ISO 베이스 미디어 파일을 ISO 베이스 미디어 파일 형식에 따라, 입력 정보로부터 생성하기 위한 컴퓨터 코드[상기 입력 정보는, 확장형 벡터 그래픽스(scalable vector graphics), ALC 및 FLUTE 중 하나를 위한 파일 메타데이터 정보, 및 ALC 및 FLUTE 패킷화(packetization) 중 하나를 위한 힌트 트랙 정보를 포함한다];
    상기 ISO 베이스 미디어 파일을 부호화하기 위한 컴퓨터 코드; 및
    상기 부호화된 ISO 베이스 미디어 파일을 상기 클라이언트 장치로 전송하기 위한 컴퓨터 코드;를 포함하는 컴퓨터 프로그램을 포함하는 전자 장치.
KR1020087019296A 2006-01-11 2007-01-11 모바일 브로드캐스트／멀티캐스트 스트리밍 서버들에 의해사용되는 리치 미디어 컨테이너 형식에 대한 확장들 Expired - Fee Related KR100959574B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75825606P 2006-01-11 2006-01-11
US60/758,256 2006-01-11

Publications (2)

Publication Number Publication Date
KR20080083353A KR20080083353A (ko) 2008-09-17
KR100959574B1 true KR100959574B1 (ko) 2010-05-27

Family

ID=38256031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019296A Expired - Fee Related KR100959574B1 (ko) 2006-01-11 2007-01-11 모바일 브로드캐스트／멀티캐스트 스트리밍 서버들에 의해사용되는 리치 미디어 컨테이너 형식에 대한 확장들

Country Status (6)

Country Link
US (1) US7917644B2 (ko)
EP (2) EP1974526B1 (ko)
KR (1) KR100959574B1 (ko)
CN (2) CN105024852B (ko)
ES (1) ES2526814T3 (ko)
WO (1) WO2007080500A1 (ko)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1624610B1 (en) * 2004-08-06 2006-12-27 Matsushita Electric Industrial Co., Ltd. Feedback control for multicast or broadcast services
FR2907627B1 (fr) * 2006-10-20 2008-12-19 Alcatel Sa Dispositif de selection de type de canal de transport pour la diffusion de contenus vers des terminaux de communication
US8391775B2 (en) * 2007-03-09 2013-03-05 Airbiquity Inc. Mobile digital radio playlist system
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
JP2010531159A (ja) * 2007-06-14 2010-09-24 ハーモニックス・ミュージック・システムズ・インコーポレイテッド ロックバンド疑似体験システム及び方法。
CN101359996B (zh) * 2007-08-02 2012-04-04 华为技术有限公司 媒体业务呈现方法及通讯系统以及相关设备
US9852219B2 (en) 2007-08-20 2017-12-26 Nokia Technologies Oy Segmented metadata and indexes for streamed multimedia data
KR101418591B1 (ko) * 2007-10-05 2014-07-10 삼성전자주식회사 휴대 방송 시스템에서의 서비스 가이드 제공 방법 및 장치
EP2215842A2 (en) * 2007-12-03 2010-08-11 Nokia Corporation Systems and methods for storage of notification messages in iso base media file format
KR101481504B1 (ko) * 2007-12-26 2015-01-13 엘지전자 주식회사 서비스 가이드 정보 처리 방법 및 서비스 가이드 정보 처리장치
WO2009103851A1 (en) * 2008-02-22 2009-08-27 Nokia Corporation Apparatus and method of providing an integrated rich media environment
WO2009114111A2 (en) * 2008-03-12 2009-09-17 Packetvideo Corp. System and method for reformatting digital broadcast multimedia for a mobile device
CN102158811B (zh) * 2008-04-11 2013-10-09 华为技术有限公司 一种bcast中通知消息呈现方式的方法和装置
KR20090119412A (ko) * 2008-05-16 2009-11-19 엘지전자 주식회사 이동 단말기 및 이것의 방송 콘텐츠 구매 제어 방법
US8526350B2 (en) * 2008-05-23 2013-09-03 Qualcomm Incorporated Systems and methods for carrying broadcast services over a mobile broadcast network
US8663013B2 (en) * 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
KR101525248B1 (ko) * 2008-07-16 2015-06-04 삼성전자주식회사 리치미디어 서비스를 제공하는 방법 및 장치
US20100037258A1 (en) * 2008-08-07 2010-02-11 Research In Motion Limited Mobile broadcasting system and method for enhancing mobile broadcasting services with rich media including an enhanced service guide
KR20110082127A (ko) * 2008-10-28 2011-07-18 에어비퀴티 인코포레이티드. 차량 내 라디오에서 플레이되는 악곡의 구입
US9235572B2 (en) * 2008-10-31 2016-01-12 Disney Enterprises, Inc. System and method for updating digital media content
US8315994B2 (en) 2008-10-31 2012-11-20 Disney Enterprises, Inc. System and method for updating digital media content
CA2744183C (en) * 2008-11-18 2014-05-27 Lg Electronics Inc. Non-real time service processing method and broadcast receiver
US8904191B2 (en) 2009-01-21 2014-12-02 Microsoft Corporation Multiple content protection systems in a file
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US9002574B2 (en) 2009-10-15 2015-04-07 Airbiquity Inc. Mobile integration platform (MIP) integrated handset application proxy (HAP)
US8831823B2 (en) * 2009-10-15 2014-09-09 Airbiquity Inc. Centralized management of motor vehicle software applications and services
US8838332B2 (en) * 2009-10-15 2014-09-16 Airbiquity Inc. Centralized management of motor vehicle software applications and services
US8942888B2 (en) 2009-10-15 2015-01-27 Airbiquity Inc. Extensible scheme for operating vehicle head unit as extended interface for mobile device
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
EP2510669A4 (en) 2009-12-11 2013-09-18 Nokia Corp DEVICE AND METHODS FOR DESCRIBING SYNCHRONIZATION REPRESENTATIONS IN CONTINUOUSLY TRANSMITTED MULTIMEDIA FILES
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
CA2802348A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CN101950427B (zh) * 2010-09-08 2011-11-16 东莞电子科技大学电子信息工程研究院 一种适用于移动终端的矢量线段轮廓化方法
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9438883B2 (en) * 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
EP2859464B1 (en) 2012-06-08 2020-09-16 Airbiquity, Inc. Assessment of electronic sensor data to remotely identify a motor vehicle and monitor driver behavior
WO2014079027A1 (en) * 2012-11-22 2014-05-30 Thomson Licensing Apparatus and method for extending tv services with rich media services
JP6396320B2 (ja) 2012-12-20 2018-09-26 エアビクティ インコーポレイテッド 効率的なヘッドユニット通信統合
US9830621B2 (en) 2013-03-14 2017-11-28 Vdopia Inc. Systems and methods for layering content
US9781181B2 (en) * 2013-06-17 2017-10-03 Qualcomm Incorporated Multiple file delivery over unidirectional transport protocol sessions for a service
KR101737849B1 (ko) * 2014-02-24 2017-05-19 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US9852114B2 (en) 2014-06-18 2017-12-26 Vmware, Inc. HTML5 graph overlays for application topology
US9836284B2 (en) 2014-06-18 2017-12-05 Vmware, Inc. HTML5 graph layout for application topology
US9740792B2 (en) * 2014-06-18 2017-08-22 Vmware, Inc. Connection paths for application topology
EP3219067B1 (en) * 2014-11-12 2019-05-22 Telefonaktiebolaget LM Ericsson (publ) Methods and devices for negotiating session descriptor parameters
TW201931863A (zh) * 2018-01-12 2019-08-01 圓剛科技股份有限公司 多媒體訊號的同步設備及其同步方法
EP3850863A4 (en) * 2018-09-12 2022-06-08 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
EP4000275A1 (en) * 2019-07-17 2022-05-25 Dolby International AB Latency management for content delivery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004056096A1 (en) 2002-12-18 2004-07-01 Nokia Corporation Method of announcing sessions
WO2005039131A1 (en) * 2003-10-17 2005-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
WO2005060339A2 (en) * 2003-12-19 2005-07-07 Nokia Corporation Method and system for header compression

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516435B1 (en) * 1997-06-04 2003-02-04 Kabushiki Kaisha Toshiba Code transmission scheme for communication system using error correcting codes
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
US7536622B2 (en) * 2004-03-29 2009-05-19 Nokia Corporation Data repair enhancements for multicast/broadcast data distribution
US20050216472A1 (en) * 2004-03-29 2005-09-29 David Leon Efficient multicast/broadcast distribution of formatted data
MXPA06014093A (es) * 2004-06-25 2007-02-15 Nokia Corp Manejo de sesion de suminstro de archivo.
EP1624610B1 (en) * 2004-08-06 2006-12-27 Matsushita Electric Industrial Co., Ltd. Feedback control for multicast or broadcast services
WO2006042300A2 (en) * 2004-10-12 2006-04-20 Mindego, Inc. System and method for creating, distributing, and executing rich multimedia applications
US20060193337A1 (en) * 2005-02-25 2006-08-31 Toni Paila Device management broadcast operation
ES2536546T3 (es) * 2005-06-27 2015-05-26 Core Wireless Licensing S.à.r.l. Mecanismos de transporte para escenas dinámicas de medios enriquecidos
US20070186005A1 (en) * 2005-09-01 2007-08-09 Nokia Corporation Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004056096A1 (en) 2002-12-18 2004-07-01 Nokia Corporation Method of announcing sessions
WO2005039131A1 (en) * 2003-10-17 2005-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
WO2005060339A2 (en) * 2003-12-19 2005-07-07 Nokia Corporation Method and system for header compression

Also Published As

Publication number Publication date
CN105024852B (zh) 2020-01-03
US7917644B2 (en) 2011-03-29
US20070180133A1 (en) 2007-08-02
EP2790380A1 (en) 2014-10-15
KR20080083353A (ko) 2008-09-17
EP1974526B1 (en) 2014-10-29
ES2526814T3 (es) 2015-01-15
CN101390367A (zh) 2009-03-18
CN105024852A (zh) 2015-11-04
EP1974526A4 (en) 2012-11-28
EP1974526A1 (en) 2008-10-01
WO2007080500A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
KR100959574B1 (ko) 모바일 브로드캐스트／멀티캐스트 스트리밍 서버들에 의해사용되는 리치 미디어 컨테이너 형식에 대한 확장들
US20070186005A1 (en) Method to embedding SVG content into ISO base media file format for progressive downloading and streaming of rich media content
US11785289B2 (en) Receiving device, transmitting device, and data processing method
JP6441521B2 (ja) 放送システムにおける制御メッセージ構成装置及び方法
US10631069B2 (en) Media encapsulating and decapsulating
CN101359996B (zh) 媒体业务呈现方法及通讯系统以及相关设备
Lim et al. New MPEG transport standard for next generation hybrid broadcasting system with IP
CN101518027A (zh) 用于富媒体流式传输的基于xml的内容分段的系统和方法
CN104010229A (zh) 用于在多媒体流式传输中组装前向纠错帧的方法和设备
CA2733520A1 (en) Mobile broadcasting system and method with rich media including an enhanced service guide
Herpel et al. MPEG-4 Systems: Elementary stream management
KR100939030B1 (ko) 디지털 통신 시스템들을 통한 보조 콘텐츠 핸들링
Dufourd et al. An MPEG standard for rich media services
US20100029313A1 (en) Method for managing communication channels, corresponding signal and terminal
Lee et al. Converged mobile TV services supporting rich media in cellular and DVB-H systems
Setlur et al. More: a mobile open rich media environment
Herpel et al. MPEG-4 systems: elementary stream management and delivery
CN118633292A (zh) 用于媒体容器文件和流传输清单中的画中画的信令

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20130419

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20140422

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20160518

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20160518