[go: up one dir, main page]

KR20060063267A - 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법 - Google Patents

연속적인 비디오 디스플레이를 위한 트랜스코딩 방법 Download PDF

Info

Publication number
KR20060063267A
KR20060063267A KR20040102388A KR20040102388A KR20060063267A KR 20060063267 A KR20060063267 A KR 20060063267A KR 20040102388 A KR20040102388 A KR 20040102388A KR 20040102388 A KR20040102388 A KR 20040102388A KR 20060063267 A KR20060063267 A KR 20060063267A
Authority
KR
South Korea
Prior art keywords
transcoding
video data
point information
network
service
Prior art date
Application number
KR20040102388A
Other languages
English (en)
Other versions
KR100689489B1 (ko
Inventor
김용덕
심창섭
고준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20040102388A priority Critical patent/KR100689489B1/ko
Priority to US11/192,599 priority patent/US8046815B2/en
Priority to JP2005314717A priority patent/JP4195030B2/ja
Priority to CN2005101187730A priority patent/CN1787639B/zh
Publication of KR20060063267A publication Critical patent/KR20060063267A/ko
Application granted granted Critical
Publication of KR100689489B1 publication Critical patent/KR100689489B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법에 있어서,
방송데이터가 수신되는 네트워크의 상태를 서비스 브로커를 통하여 모니터링하여 트랜스코딩이 필요할 시 트랜스코더에게 알리는 과정과,
상기 트랜스코더가 메모리에 일정량의 비디오 데이터를 저장하는 과정과,
상기 메모리에 저장된 비디오 데이터를 트랜스코딩하여 출력하는 과정을 통하여, 비디오 영상 전송시 네트워크의 상황이 갑자기 악화되어 대역폭이 급격하게 줄어들더라도, 대역폭에 따라 비트율을 조정한 트랜스코더에서 트랜스 코딩된 비디오 데이터를 통해 셋탑이나 PC등의 디코더가 탑재된 영상 플레이어에서 사람의 눈에 거슬리지 않도록 트랜스코딩 된 영상으로 디스플레이 할 수 있는 효과가 있다.
MPEG-2, HDTV, IRD, 트랜스코더, 서비스 브로커, STB, PES, PTS

Description

연속적인 비디오 디스플레이를 위한 트랜스코딩 방법{TRANSCODING METHOD FOR SEAMLESS VIDEO DISPLAY}
도 1은 본 발명의 바람직한 실시예에 따른 트랜스코더 및 서비스 브로커를 이용한 영상 처리 시스템을 도시한 도면.
도 2는 본 발명의 바람직한 실시예에 따른 트랜스코더내의 절차를 도시한 도면.
도 3은 본 발명의 바람직한 실시예에 따른 트랜스코딩 포인트 정보의 구조를 도시한 도면.
도 4는 본 발명의 바람직한 제 1실시예에 따른 트랜스코딩 포인트 정보의 삽입부분을 도시한 도면.
도 5는 본 발명의 바람직한 제 2실시예에 따른 트랜스코딩 포인트 정보의 삽입부분을 도시한 도면.
도 6는 본 발명의 바람직한 제 3실시예에 따른 트랜스코딩 포인트 정보의 삽입부분을 도시한 도면.
도 7은 본 발명의 바람직한 실시예에 따른 수신기에서의 트랜스코딩 포인트 정보추출 과정을 도시한 도면.
본 발명은 네트워크 전송에 관한 것으로서, 특히 네트워크 대역폭 변동에 무관하게 연속적인 비디오 디스플레이를 위한 트랜스 코딩 방법 및 장치에 관한 것이다.
IP(Internat Protocol) 네트워크를 통한 실시간 방송은 멀티미디어 데이터 스트리밍 서비스의 전형적인 모습을 예고하고 있으며 동시에 멀티미디어 데이터 스트리밍 서비스의 발전에 기반이 될 것으로 예상되고 있다.
한 예로 비디오 데이터 전송에 있어서, 디지털방송 등의 비디오/오디오 데이터의 경우, 그 데이터의 양이 워낙 방대하여 압축기술을 활용할 수 밖에 없다. 디지털방송, 주문형 비디오(VoD:Video on Demand), 화상회의 등의 각종 애플리케이션 등은 서로 다른 매체 및 네트워크 프로토콜에 의해 전송되는 실시간성이 강조되는 서비스들로서, 서비스마다 일정한 대역폭이 할당되고 보장되는 네트워크가 아닌, 이더넷(Ethernet) 등의 최선형(best-effort)방식의 경우 서비스가 이용할 수 있는 대역폭이 시간에 따라 변동될 수 있다.
상기된 바와 같이 동작하는 종래 기술에 의한 비디오 데이터 전송에 있어서, IP 네트워크의 지연과 손실은 멀티미디어 데이터의 스트리밍 서비스에 지대한 영향 을 미친다. 특히 IP 네트워크의 IP 데이터의 버스트(Burst)한 전송특성으로 인해 IP 네트워크를 통한 실시간 방송은 멀티미디어 데이터 스트리밍 서비스의 QoS 보장에 어려움이 있다.
예를 들어 최상위 서비스 품질인, 20 Mbps의 고화질 HD방송을 보고 있는 중에 망의 상태가 다른 가입자들의 여러 서비스 요청에 의하여 악화될 경우 네트워크 상태에 따른 비디오 전송에 대해서는 고려되지 않고 있어, 계속적인 서비스 이용이 어려워지는 문제점이 있었다.
따라서 상기한 바와 같이 동작되는 종래 기술의 문제점을 해결하기 위하여 창안된 본 발명의 목적은, 네트워크 대역폭 변동에 무관하게 연속적인 비디오 디스플레이를 위한 트랜스 코딩 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 네트워크망의 상태가 다른 가입자들의 여러 서비스 요청에 의하여 악화될 경우, 제공되는 비디오데이터의 비트율을 줄여서 계속적인 서비스가 가능하게 하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 일정량의 비디오 데이터를 트랜스코더에서 저장하고, 트랜스코딩 명령을 통하여 저장된 비디오 데이터부터 트랜스코딩을 하며, 상기 트랜스코딩된 영상을 전송을 위해 패킷화하고, 트랜스코딩 포인트 정보를 패킷에 삽입하여 수신단에서는 상기 정보를 통해 끊김없는 비디오 디스플레이를 가능하게 하는 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여 창안된 본 발명의 실시예는, 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법에 있어서, 방송데이터가 수신되는 네트워크의 상태를 서비스 브로커를 통하여 모니터링하여 트랜스코딩이 필요할시 트랜스코더에게 알리는 과정과, 상기 트랜스코더가 메모리에 일정량의 비디오 데이터를 저장하는 과정과, 상기 메모리에 저장된 비디오 데이터를 트랜스코딩하여 출력하는 과정을 특징으로 한다.
본 발명의 다른 실시예는, 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법에 있어서, 트랜스코딩된 비디오 데이터를 수신한 수신기는 패킷 오버헤드에 삽입된 트랜스코딩 포인트 정보를 추출하는 과정과, 상기 트랜스코딩 포인트 정보내의 원본 비디오 데이터의 동기 재생을 위한 시간 정보인, PTS정보를 추출하는 과정과, 현재 방송서비스 가입자에게 디스플레이 되는 비디오의 PTS정보를 확인하는 과정과, 상기 확인된 PTS정보를 토대로 트랜스코딩된 새로운 비디오 스트림을 원본 비디오 데이터에 이어서 출력하여, 영상을 끊김없이 디스플레이하는 과정을  특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용 어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 트랜스코더 및 서비스 브로커를 이용한 영상 처리 시스템을 도시한 도면이다.
서비스 공급자측에서 받은 비디오 데이터가 수신되는 네트워크는 서비스 브로커(30)를 통해 네트워크 대역폭이 감시되며, 트랜스 코더(35)에서는 현재 사용중인 대역폭에 따라 비트율 변환을 거치고 L2 스위치(Layer2 switch)(35)에서 각 가입자들(40, 45, 60)에게 비디오데이터를 전송한다.
상기 전송과정을 좀더 자세히 설명하면, 서비스 공급자측의 방송장비들(10, 15, 20)은 외부 망과의 접속 등의 기능을 제공하는 상단(head-end)이나 멀티서비스 접속능력을 지원하는 OLT(Optical Line terminal)등에 위치한다. 상기 방송장비로는, 위성방송이나 지상파 디지털방송으로부터 전송되는 정보를 수신하는 통합 수신디코더(IRD:Intergrated Receiver Decoder)(10, 15)와 Vod 서버(20) 등이 있다.
트랜스코더(Transcoder)(35)는 상기 방송 사업자로부터 전송받은 비디오 데이터를 트랜스코딩(Transcoding)하는 것으로 상기 트랜스 코더(35)는 크게 입력부분과 출력부분으로 나눌 수 있다. 입력되는 데이터는 비디오 서비스를 위한 저장매체 또는 실시간 방송 전송매체로부터 획득한 고화질 비디오 컨텐츠로 MPEG(Moving Picture Experts Group)-2등의 규격화된 압축스트림을 사용하며, 상기 규격화된 압 축 스트림을 트랜스코딩하여 출력하게 된다.
일반적으로 트랜스코딩은 이전의 압축된 스트림을 같은 압축 형식의 더 낮은 비트율 또는 다른 해상도의 스트림으로 변환시키거나 혹은 한 압축 형식에서 다른 압축 형식의 스트림으로 실시간 변환시키는 것을 말한다. 트랜스코딩에서 복호기와 부호기를 연결하여 구현하는 동영상 트랜스코더는 입력된 동영상 비트열을 복호화하여 다른 동영상, 비트열로 부호화 하는 역할을 한다.
또한, 상기 트랜스코더(35)는 방송장비들과 스위치 사이에 위치하며, ONU(Optical Network Unit)나 홈 게이트웨이(Home gateway)등 댁내에 위치하는 애플리케이션도 가능하다. 여기서 상기 OLT와 ONU는 광통신망에서 쓰이는 장비로서 OLT는 방송 장비들과 접속되며, ONU는 최종 사용자들에게 서비스 인터페이스를 제공하는 광통신망의 종단장치이다. 비디오 방송 서비스를 제공하기 위해 OLT는 방송장비 사업자로부터 전달받은 비디오 데이터를 ONU에게 전송하고 ONU는 OLT로부터 받은 정보를 가입자로 전달한다.
서비스 브로커(service broker)(30)등의 네트워크 모니터링 시스템은 네트워크 내의 이용 가능한 대역폭을 감시하며, 상기 감시한 네트워크 상태에 따라 트랜스코더(25)내에서 어떤 비트율의 영상으로 트랜스코딩을 할 것인지 결정하게 된다.
L2 스위치(35)는 맥(MAC) 어드레스 테이블이 있어서 패킷의 목적지 맥 어드레스를 읽고 해당 포트로 포워딩(forwarding)을 하는 것으로, 방송 서비스 가입자들(40, 45, 60)은 수신기로 비디오 데이터를 수신하여 시청하게 된다. 상기 수신기는 IP 셋톱박스(STB:Set top box)나 가입자 단말, 또는 컴퓨터 상의 복호 프로그램 (decoding application program)이 될 수 있다.
상기 도 1과 같이 만약 가입자1(40)이 최상위 서비스 품질의 MPEG-2 20Mbps고화질 TV(HDTV:High Definition Television) 방송을 시청 중에 가입자2(45)로부터 가입자N(60)이 네트워크의 대역폭을 점유하여, 네트워크 상태가 악화되거나 네트워크 내에 접속하는 가입자가 증가할 경우, 상기 서비스 브로커(30)는 네트워크 상태를 확인하고, 상기 트랜스코더(25)로 네트워크 상태 정보를 전달하여, 상기 트랜스코더(25)는 상기 MPEG-2 20Mbps의 고화질 TV방송을 MPEG-2 5Mbps의 표준화질(SD:Standard Definition)이나 MPEG-4/H.264/Window Media9 2Mbps 등의 코덱을 이용하는 더 낮은 비트율(bit rate)의 비디오데이터로 트랜스코딩을 한다.
도 2는 본 발명의 바람직한 실시예에 따른 트랜스코더의 구조를 도시한 도면이다.
트랜스코드에서의 트랜스코딩절차는 MPEG 압축기술을 사용하여 비트율을 줄인다. 상기 MPEG 압축기술은 공간적 및 시간적 과잉 정보들을 줄임으로써 비디오 데이터를 압축하는 기술이다. 상기 MPEG-2 비디오 스트림의 경우 프레임내의 중복성을 제거하는 I-픽쳐(210), 이전의 프레임과의 시간적 중복성과 프레임내 중복성을 제거하는 P-픽쳐(220), 이전 프레임 또는 이후 프레임과의 시간적 중복성 및 프레임내의 중복성을 제거하는 B-픽쳐(230) 등 세 종류의 프레임을 갖는다.
프레임들간의 구성은 픽쳐그룹(GOP:Group of Picture)내의 프레임 수를 의미하는 N과 P픽쳐와 P픽쳐간의 간격을 의미하는 M파라미터 값에 의해 다양하게 구성 될 수 있지만, 일반적으로 IBBPBBP...또는 IBPBPBPBP...로 구성된다. 그러나 P-픽쳐임(220)나 B-픽쳐(230)의 경우 그 자체만으로 압축을 복원할 수 없으며, 다른 I-픽쳐(210)나 P-픽쳐(220)의 정보가 있어야 화면을 복원할 수 있다. 따라서 트랜스코더에서 동일한 압축 포맷의 다른 비트율로 트랜스레이팅(translating)하거나 다른 압축 포맷으로 트랜스코딩을 할 경우 B-픽쳐(230)나 P-픽쳐(220)를 기준으로 삼을 수 없다.
네트워크에서 충분한 대역폭이 보장될 때에는 고화질/대용량의 MPEG-2 HD 스트림을 트랜스코딩 하지 않고 그대로 바이패스(BY-PASS)시켜 출력으로 내보낸다. 상기 MPEG-2 HD 스트림을 더 낮은 비트율로 트랜스코딩을 할 경우는, 그 자체만으로도 화면을 구성할 수 있는 I-픽쳐(210)가 기준이 된다.
상기 도 2의 I-픽쳐(210)에는 트랜스코딩이 이루어지며, 상기 I-픽쳐 (210)를 프레임 전송을 위해 패킷화(packetize)하면서, 패킷의 오버헤드에 트랜스코딩 포인트 정보를 삽입한다.
상기 트랜스코딩 포인트 정보를 삽입하는 이유는, 수신측에서 가입자가 비디오데이터를 보던 중에 동일한 포맷의 다른 비트율이나 다른 포맷으로 트랜스코딩된 영상을 수신할 경우, 이를 수신기에서 인지하여 끊김없는 비디오 데이터를 디스플레이하여, 가입자에게 보여지는(HV:Human Visual) 영상이 트랜스코딩된 부분을 덜 민감하게 반응하도록 도와주기 위한 것이다.
도 3은 본 발명의 바람직한 실시예에 따른 트랜스코딩 포인트 정보의 구조를 도시한 도면이다.
상기 트랜스코딩 포인트 정보는 코덱 정보(310)와, 트랜스코딩 정보(320)와, 동기재생을 위한 시간정보인, 표현 시간 스탬프 (Presentation Time Stamp, "PTS"라 칭함) (330)로 구성되어 있다. 상기 코덱 정보(310)는 어떤 비디오 포멧으로 트랜스코딩 되는 지에 대한 정보이며, 상기 트랜스코딩 정보(320)에는 영상데이터의 분석(resolution)정보와 프로파일(profile) 정보를 가지고 있다.
PTS(330)에는 기본적으로 어느 부분에서 트랜스코딩이 일어나고 수신단의 디코더에서 어느 비디오 데이터까지 디스플레이 하였는지를 비교할 수 있도록 트랜스코딩하기전의 원본 비디오 데이터의 PTS를 포함하게 된다.
상기 도 2를 참조하여 설명하면, 기본적으로 이용할 수 있는 네트워크의 대역폭이 줄어들어, 어느 비디오 데이터 프레임까지 수신단에서 에러없이 완벽하게 도달하였는지 확인할 수 없으므로 트랜스코더에서는 기존의  비디오 데이터를 출력단으로 내보내면서, 지연선(delay line)이나 버퍼(buffer)등의 메모리(250)에 일정량의 비디오 데이터 정보를 저장한다.
서비스 브로커로부터 트랜스코딩이 필요하다는 명령을 받게 되면, 상기 명령 시점에서 입력되는 비디오 데이터부터 트랜스코딩하는 것이 아니라 상기 지연선이나 버퍼 등의 메모리(250)에 저장되어 있는 비디오 데이터 정보로부터 트랜스코딩하여 전송한다. 이를 수신한 수신기에서는 트랜스코딩된 스트림의 트랜스코딩 포인트의 값을 확인하여 그에 해당하는 PTS를 가진 비디오 데이터를 디스플레이하고 그 이후부터는 트랜스코딩된 비디오데이터로 스위칭하여 끊김없는 비디오 디스플레이를 보여준다.
도 4는 본 발명의 바람직한 제 1실시예에 따른 트랜스코딩 포인트 정보의 삽입부분을 도시한 도면이다.
디지털 방송 데이터 중의 MPEG 2 시스템은 시분할다중방식(TDM : Time Division Multiple.ing)에서 쓰이고 있는 패킷 다중화 방식을 채택하고 있다. 이때 비디오와 오디오 비트열은 각각을 우선 패킷이라 불리는 적당한 길이의 비트열(Packetized Elementary Stream, 이하 "PES"라 칭함)로 분할한다. PES패킷은 다양한 응용에 대응하도록 길이의 상한을 64KB까지로 하고 있고, 각 패킷마다 고정길이나 가변길이 어느 것이라도 취할 수 있도록 하고 있다. 또한 가변 전송속도도 허용되고 있고 불연속적인 전송도 가능하다.
이와 같은 각각의 PES를 하나의 비트열로 다중화하여 프로그램 스트림(PS : Program Stream)이나 트랜스포트 스트림(TS:Transprot Stream)을 만든다. 프로그램 스트림은 MPEG-1에서 쓰이는 패킷이며, 트랜스포트 스트림은 TV방송 및 전송 용도로 사용된다.
상기 도 4와 같이 상기 트랜스포트 패킷 스트림은 188bytes로 이루어져 있으며, 상기 트랜스포트 스트림의 헤더부분에는 제어나 지시정보들이 있다. 상기 헤더 구성 요소 중 적응 필드(adaptation field)에는 다른 구성 정보들과 함께 선택 필드(optional fields)가 있으며, 상기 선택 필드 안에 구성된 트랜스포트 개인 데이 터(transport private data)에 트랜스코딩 포인트 정보를 삽입할 수 있다.
도 5는 본 발명의 바람직한 제 2실시예에 따른 트랜스코딩 포인트 정보의 삽입부분을 도시한 도면이다.
제 2실시예는 개인 섹션(Private Section)에 트랜스코딩 포인트 정보를 삽입하는 방법으로, 상기 개인 섹션은 트랜스포트 스트림 내에 사용자 정의 데이터를 같이 전송 할 수 있도록 유연하게 표준을 정의해둔 섹션이다. (MPEG-2 시스템 표준 ISO/IEC13818-1)
한 가지 종류의 프로그램 안내정보나 서비스 정보는 섹션으로 구분되어 나누어지며, 각 섹션별로 섹션을 구분하기 위하여 Table_id를 사용한다. 상기 Table_id의 값(Value)들 중에서 0x40~0x7F와 0x80~0xBF가 사용자 개인 섹션(User Private Sections)영역이다.
예를 들어, MPEG-2 시스템을 이용하는 미국 방식(ATSC)과 유럽방식(DVB)의 경우 개인섹션에 고유의 시스템 정보를 전송한다. 상기 도 5와 같이 개인섹션은 여러 개의 필드들로 구성되어 있으며, 그 중 개인 데이터 바이트(N private data bytes)와 개인 데이터(N Private data)에 트랜스 포인트 정보를 삽입하여 상기 정보를 수신기로 전송하는 것이다.
도 6는 본 발명의 바람직한 제 3실시예에 따른 트랜스코딩 포인트 정보의 삽입부분을 도시한 도면이다.
상기 도 6은 PES 패킷의 헤더에 트랜스코딩 포인트 정보를 삽입하는 것으로, 구체적으로 선택PES헤더 (Optional PES Header)내에 구성된 요소 중 선택필드(Optional Fields)가 있으며, 상기 선택필드내에 선택 필드 PES 가 존재한다. 상기 선택 필드 PES 안의 구성 요소인, 5플래그(5flag)와 선택 필드에 포함되어 있는 PES 개인데이터영역에 상기 트랜스코딩 포인트 정보를 삽입하는 것이다.
상기 도 4내지 도 6과 같이 각각의 패킷 헤더내의 개인 영역 또는 필드에는 트랜스코딩 포인트 정보의 삽입이 가능하여, 상기 트랜스코딩 포인트 정보가 포함된 패킷을 수신한 수신기는 상기 패킷에서 트랜스코딩 포인트 정보를 이용하게 된다.
도 7은 본 발명의 바람직한 실시예에 따른 수신기에서의 트랜스코딩 포인트 정보추출 과정을 도시한 도면이다.
상기 사용자 별로 제공되는 비디오 데이터를 네트워크를 통해 수신하여, 상기 비디오데이터에 프랜스 코딩 포인트 정보가 포함되어있지 않다면, 그대로 디스플레이한다.
그러나 트랜스코더에서 트랜스코딩된 비디오 데이터를 수신하였다면, 700단계에서 수신기는 수신된 비디오데이터의 패킷 오버헤드에 삽입된 트랜스코딩 포인트 정보를 추출하여, 710단계에서 트랜스코딩 포인트 정보내의 원본 비디오 데이터의 PTS정보를 추출한다. 상기 수신기 는720단계에서 현재 디스플레이 되고 있는 비 디오의 PTS정보를 확인하여, 730단계에서 상기 PTS정보에서 확인한 상기 트랜스 코딩 적용 시점에서, 상기 원본 비디오데이터의 디스플레이를 중단하고, 상기 트랜스 코딩된 비디오데이터를 스위칭하여 영상을 끊김없이 디스플레이한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상에서 상세히 설명한 바와 같이 동작하는 본 발명에 있어서, 개시되는 발명중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.
본 발명은, 비디오 영상 전송시 네트워크의 상황이 갑자기 순간적으로 악화되어 대역폭이 급격하게 줄어들면, 기존에 전송하였던 대용량 비디오 데이터가 가입자까지 어디까지 제대로 전송되었는지 신뢰할 수 없게 된다.
이때 트랜스코더에서 출력되었던 영상을 폐기하지 말고 버퍼에 일정량의 영상 데이터를 저장해 두었다가 트랜스코딩 명령을 네트워크 모니터링 시스템으로부터 받으면 저장되었던 데이터부터 트랜스코딩을 시작하고 트랜스코딩 포인트 정보를 삽입하여 가입자에 위치한 셋탑이나 PC등의 디코더가 탑재된 영상 플레이어에서 끊김없이 영상을 스위칭하여 사람의 눈에 거슬리지 않도록 트랜스코딩 된 영상으로 디스플레이를 전환할 수 있는 효과가 있다.

Claims (12)

  1. 미리 결정된 크기의 저장 영역을 가지는 저장매체를 포함하는 영상 처리시스템의 트랜스 코더에서, 서비스 별로 제공되는 비디오데이터들을 네트워크를 통해 각 사용자 별로 전송하는 방법에 있어서,
    상기 서비스 별로 제공되는 비디오데이터들을 상기 저장매체에 저장하는 과정과,
    상기 네트워크의 트래픽 상황을 검사하여 트랜스 코딩의 필요 여부를 결정하는 과정과,
    상기 트랜스 코딩이 필요하지 않을 시 상기 저장된 비디오데이터들을 상기 네트워크를 통해 각 사용자 별로 전송하는 과정과,
    상기 트랜스 코딩이 필요할 시 상기 저장된 비디오데이터들에 대한 트랜스 코딩을 수행하여 상기 각 사용자 별로 전송하는 과정을 포함하여,
    여기서 상기 서비스 별로 제공되는 비디오데이터들은 최상위 서비스 품질을 가지는 영상 정보들임을 특징으로 하는 상기 방법.
  2. 제1항에 있어서, 상기 네트워크의 트래픽 상황은, 상기 네트워크를 통해 상기 비디오데이터를 제공받는 사용자 수에 의해 변화됨을 특징으로 하는 상기 방법.
  3. 제1항에 있어서, 상기 네트워크의 트래픽 상황이 악화될 시 상기 트랜스 코딩이 필요하다고 결정함을 특징으로 하는 상기 방법.
  4. 제1항에 있어서, 상기 트랜스 코딩은, 상기 저장매체에 저장된 최상위 서비스 품질을 가지는 비디오데이터들을 상대적으로 낮은 서비스 품질을 가지는 비디오데이터들로 변환하는 것임을 특징으로 하는 상기 방법.
  5. 제1항에 있어서, 상기 비디오데이터들을 패킷화함에 있어, 상기 트랜스 코딩의 적용 시점(PTS:Presentation Time Stamp)에 관한 트랜스 코딩 포인트 정보를 포함시킴을 특징으로 하는 상기 방법.
  6. 제5항에 있어서, 상기 트랜스 코딩 포인트 정보는,
    트랜스포트 스트림(TS:Transprot Stream) 패킷의 헤더에 삽입되어 전송됨을 특징으로 하는 상기 방법.
  7. 제5항에 있어서, 상기 트랜스 코딩 포인트 정보는, 트랜스포트 스트림을 통해 전송되는 개인섹션내에 삽입되어 전송됨을 특징으로 하는 상기 방법.
  8. 제5항에 있어서, 상기 트랜스 코딩 포인트 정보는,
    PES 패킷의 헤더에 삽입되어 전송됨을 특징으로 하는 상기 방법.
  9. 영상 처리시스템에서, 각 사용자 별로 제공되는 비디오데이터들을 네트워크를 통해 수신하는 방법에 있어서,
    상기 각 사용자 별로 제공되는 비디오데이터를 수신하는 과정과,
    상기 비디오데이터에 트랜스 코딩 포인트 정보가 포함되었는지를 확인하는 과정과,
    상기 트랜스 코딩 포인트 정보가 포함되어 있지 않을 시 상기 수신한 비디오데이터를 디스플레이하는 과정과,
    상기 트랜스 코딩 포인트 정보가 포함되어 있으면, 트랜스 코딩된 비디오 데이터로서, 상기 트랜스 코딩 포인트 정보로부터 트랜스 코딩의 적용 시점(PTS : Presentation Time Stamp)을 확인하는 과정과,
    상기 트랜스 코딩 적용 시점에서 상기 수신한 비디오데이터의 디스플레이를 중단하고, 상기 트랜스 코딩된 비디오데이터를 디스플레이하는 과정을 포함하며,
    여기서 상기 수신한 비디오데이터는 상기 트랜스 코딩이 이루어지지 않은 최상위 서비스 품질을 가지는 비디오데이터이며, 상기 트랜스 코딩된 비디오데이터는 상기 수신된 비디오데이터에 비해 상대적으로 낮은 서비스 등급을 가지는 비디오데이터임을 특징으로 하는 상기 방법.
  10. 제9항에 있어서, 상기 트랜스 코딩 포인트 정보는,
    트랜스포트 스트림 패킷의 헤더에 삽입되어 전송됨을 특징으로 하는 상기 방법.
  11. 제9항에 있어서, 상기 트랜스 코딩 포인트 정보는, 트랜스포트 스트림을 통해 전송되는 개인섹션내에 삽입되어 전송됨을 특징으로 하는 상기 방법.
  12. 제9항에 있어서, 상기 트랜스 코딩 포인트 정보는,
    PES 패킷의 헤더에 삽입되어 전송됨을 특징으로 하는 상기 방법.
KR20040102388A 2004-12-07 2004-12-07 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법 KR100689489B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20040102388A KR100689489B1 (ko) 2004-12-07 2004-12-07 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법
US11/192,599 US8046815B2 (en) 2004-12-07 2005-07-29 Optical network for bi-directional wireless communication
JP2005314717A JP4195030B2 (ja) 2004-12-07 2005-10-28 連続的なビデオディスプレイのためのビデオデータの送信方法及び受信方法
CN2005101187730A CN1787639B (zh) 2004-12-07 2005-10-31 通过代码转换器传送视频数据的方法和接收视频数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040102388A KR100689489B1 (ko) 2004-12-07 2004-12-07 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법

Publications (2)

Publication Number Publication Date
KR20060063267A true KR20060063267A (ko) 2006-06-12
KR100689489B1 KR100689489B1 (ko) 2007-03-02

Family

ID=36575680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040102388A KR100689489B1 (ko) 2004-12-07 2004-12-07 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법

Country Status (4)

Country Link
US (1) US8046815B2 (ko)
JP (1) JP4195030B2 (ko)
KR (1) KR100689489B1 (ko)
CN (1) CN1787639B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101247133B1 (ko) * 2012-11-16 2013-04-03 정명기 미디어 콘텐츠 스트리밍 방법 및 시스템

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8295310B2 (en) * 2006-09-25 2012-10-23 Futurewei Technologies, Inc. Inter-packet gap network clock synchronization
US7961751B2 (en) 2006-09-25 2011-06-14 Futurewei Technologies, Inc. Multiplexed data stream timeslot map
US8340101B2 (en) 2006-09-25 2012-12-25 Futurewei Technologies, Inc. Multiplexed data stream payload format
US8494009B2 (en) 2006-09-25 2013-07-23 Futurewei Technologies, Inc. Network clock synchronization timestamp
US8588209B2 (en) * 2006-09-25 2013-11-19 Futurewei Technologies, Inc. Multi-network compatible data architecture
US7675945B2 (en) * 2006-09-25 2010-03-09 Futurewei Technologies, Inc. Multi-component compatible data architecture
US8976796B2 (en) 2006-09-25 2015-03-10 Futurewei Technologies, Inc. Bandwidth reuse in multiplexed data stream
US7809027B2 (en) * 2006-09-25 2010-10-05 Futurewei Technologies, Inc. Network clock synchronization floating window and window delineation
US7986700B2 (en) 2006-09-25 2011-07-26 Futurewei Technologies, Inc. Multiplexed data stream circuit architecture
US8660152B2 (en) * 2006-09-25 2014-02-25 Futurewei Technologies, Inc. Multi-frame network clock synchronization
FR2908585B1 (fr) * 2006-11-15 2008-12-26 Canon Kk Procede et dispositif de transmission de donnees video.
CN101569147B (zh) * 2007-01-26 2012-05-02 华为技术有限公司 多组件兼容数据体系结构
US20090016449A1 (en) * 2007-07-11 2009-01-15 Gene Cheung Providing placement information to a user of a video stream of content to be overlaid
US7961747B2 (en) * 2007-07-30 2011-06-14 Broadcom Corporation Display device with conversion capability for portable media player
US7720986B2 (en) * 2007-08-24 2010-05-18 At&T Intellectual Property I, L.P. Method and system for media adaption
CN102118357B (zh) 2009-12-31 2014-12-17 华为技术有限公司 一种流媒体处理方法、设备和系统
US20120163203A1 (en) * 2010-12-28 2012-06-28 Tektronix, Inc. Adaptive Control of Video Transcoding in Mobile Networks
US9258625B2 (en) * 2011-04-19 2016-02-09 Sensormatic Electronics, LLC Method and system for load balancing between a video server and client
US9578367B2 (en) * 2013-08-14 2017-02-21 Arris Enterprises, Inc. Internet protocol television tuning adapter
US10057346B1 (en) * 2013-12-06 2018-08-21 Concurrent Ventures, LLC System, method and article of manufacture for automatic detection and storage/archival of network video
US9842507B1 (en) * 2014-05-01 2017-12-12 Grokker Inc. Video filming and discovery system
KR102525577B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 데이터 스트리밍 방법 및 장치
CN109756488B (zh) * 2018-12-25 2021-09-24 深圳市网心科技有限公司 一种数据流获取方法、装置、设备及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2782437B1 (fr) 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6483851B1 (en) 1998-11-13 2002-11-19 Tektronix, Inc. System for network transcoding of multimedia data flow
KR200258635Y1 (ko) 1999-06-03 2001-12-28 윤종용 레이저 프린터의 축소 인쇄 구현장치
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
KR20020058635A (ko) * 2000-12-30 2002-07-12 오길록 프레임 드롭율을 이용한 대역폭 적응형 트랜스코딩 방법
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US7068719B2 (en) * 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
KR100895559B1 (ko) 2001-07-23 2009-04-29 파나소닉 주식회사 정보기록매체, 정보기록매체에 정보를 기록하는 장치 및방법
US7266611B2 (en) * 2002-03-12 2007-09-04 Dilithium Networks Pty Limited Method and system for improved transcoding of information through a telecommunication network
GB0300361D0 (en) * 2003-01-07 2003-02-05 Koninkl Philips Electronics Nv Audio-visual content transmission
JP2004289295A (ja) 2003-03-19 2004-10-14 Fujitsu Ltd データ処理システム、データ処理装置及びデータ処理方法
US9612965B2 (en) * 2003-06-24 2017-04-04 Hewlett-Packard Development Company, L.P. Method and system for servicing streaming media
KR20050052717A (ko) * 2003-12-01 2005-06-07 엘지전자 주식회사 오디오 원본 보존 트랜스코딩 시스템 및 방법
KR100651486B1 (ko) 2004-12-07 2006-11-29 삼성전자주식회사 네트워크를 통해 멀티미디어 컨텐츠를 전송하는 장치 및방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101247133B1 (ko) * 2012-11-16 2013-04-03 정명기 미디어 콘텐츠 스트리밍 방법 및 시스템

Also Published As

Publication number Publication date
CN1787639A (zh) 2006-06-14
US20060123126A1 (en) 2006-06-08
US8046815B2 (en) 2011-10-25
JP2006166418A (ja) 2006-06-22
CN1787639B (zh) 2010-06-16
KR100689489B1 (ko) 2007-03-02
JP4195030B2 (ja) 2008-12-10

Similar Documents

Publication Publication Date Title
KR100689489B1 (ko) 연속적인 비디오 디스플레이를 위한 트랜스코딩 방법
US6795506B1 (en) Methods and apparatus for efficient scheduling and multiplexing
US8462847B2 (en) Method and apparatus for immediate display of multicast IPTV over a bandwidth constrained network
US8335266B2 (en) Expedited splicing of video streams
US8776161B2 (en) Systems and methods for video processing in network edge devices
US7529276B1 (en) Combined jitter and multiplexing systems and methods
US7197070B1 (en) Efficient systems and methods for transmitting compressed video data having different resolutions
US7039116B1 (en) Methods and apparatus for embedding and format conversion of compressed video data
US7395346B2 (en) Information frame modifier
EP2011332B1 (en) Method for reducing channel change times in a digital video apparatus
WO2020086452A1 (en) Low-latency video internet streaming for management and transmission of multiple data streams
US9819955B2 (en) Carriage systems encoding or decoding JPEG 2000 video
Greengrass et al. Not all packets are equal, part i: Streaming video coding and sla requirements
CN104038844A (zh) 一种基于mpeg-2标准的移动直播系统
KR20070020207A (ko) 신호의 전송 및 재생을 지원하는 시스템 및 방법
EP2071850A1 (en) Intelligent wrapping of video content to lighten downstream processing of video streams
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
US20100299448A1 (en) Device for the streaming reception of audio and/or video data packets
CA2359731A1 (en) Method and apparatus for delivering reference signal information within a specified time interval
KR101625663B1 (ko) 콘텐트를 수신하기 위한 방법 및 장치
JP4491918B2 (ja) データ配信装置及び方法、データ配信システム
KR100861239B1 (ko) 디지털 방송 및 ｉｐ 방송의 다수가 이용할 수 있는공청방송과 공청방송에서 양방향 통신지원을 위한 ｉｐ미디어 게이트웨이
KR101656193B1 (ko) 이기종 망에서의 uhd 비디오 전송을 위한 mmt 기반 방송 시스템 및 방법
EP3035691A2 (en) Methods and apparatus for minimizing timing artifacts in remultiplexing
KR20200071666A (ko) 버퍼모델을 따르는 스트리밍을 위한 부가 정보 생성 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20041207

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060808

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070104

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070223

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070223

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100128

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110128

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120130

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130130

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140128

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150129

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160128

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170125

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180130

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20190130

Start annual number: 13

End annual number: 13

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20201206