[go: up one dir, main page]

KR100716973B1 - Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치 - Google Patents

Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치 Download PDF

Info

Publication number
KR100716973B1
KR100716973B1 KR1020040011678A KR20040011678A KR100716973B1 KR 100716973 B1 KR100716973 B1 KR 100716973B1 KR 1020040011678 A KR1020040011678 A KR 1020040011678A KR 20040011678 A KR20040011678 A KR 20040011678A KR 100716973 B1 KR100716973 B1 KR 100716973B1
Authority
KR
South Korea
Prior art keywords
data
output
time
subtitle
information
Prior art date
Application number
KR1020040011678A
Other languages
English (en)
Other versions
KR20050083258A (ko
Inventor
강만석
정길수
박성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040011678A priority Critical patent/KR100716973B1/ko
Priority to US11/050,667 priority patent/US20050185929A1/en
Priority to MYPI20050638A priority patent/MY142303A/en
Priority to MYPI20083578A priority patent/MY148761A/en
Priority to SG200807385-0A priority patent/SG147413A1/en
Priority to EP05726921A priority patent/EP1716569A4/en
Priority to CA2783960A priority patent/CA2783960C/en
Priority to CA2556526A priority patent/CA2556526C/en
Priority to EP08157600A priority patent/EP1968068A3/en
Priority to JP2006554032A priority patent/JP2007523438A/ja
Priority to CNA2009101343949A priority patent/CN101568002A/zh
Priority to CNB2007101055660A priority patent/CN100546362C/zh
Priority to BRPI0507879-2A priority patent/BRPI0507879A2/pt
Priority to RU2006133641/28A priority patent/RU2337415C2/ru
Priority to PCT/KR2005/000464 priority patent/WO2005079172A2/en
Priority to CN2005800055018A priority patent/CN1922681B/zh
Priority to TW094105000A priority patent/TWI342711B/zh
Priority to TW095104334A priority patent/TWI344300B/zh
Publication of KR20050083258A publication Critical patent/KR20050083258A/ko
Application granted granted Critical
Publication of KR100716973B1 publication Critical patent/KR100716973B1/ko
Priority to HK07107866.9A priority patent/HK1103845A1/xx
Priority to RU2008119131/28A priority patent/RU2470386C2/ru
Priority to US12/173,131 priority patent/US20080267587A1/en
Priority to JP2011083197A priority patent/JP2011187156A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G11B27/323—Time code signal, e.g. on a cue track as SMPTE- or EBU-time code
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2579—HD-DVDs [high definition DVDs]; AODs [advanced optical discs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

AV 데이터의 재생에 동기시켜 출력할 수 있도록 만들어진 텍스트 서브 타이틀 데이터를 기록한 정보저장매체, 그 재생방법 및 장치가 개시된다. 본 발명에 따른 정보저장매체는, AV 데이터와 동기되어 출력되는 서브 타이틀 데이터; 및 상기 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 포함하는 것을 특징으로 한다. 이에 따라 AV 스트림에 텍스트 서브 타이틀 데이터를 동기화하여 재생할 수 있다.

Description

ＡＶ 데이터에 동기된 텍스트 서브 타이틀 데이터를 기록한 정보저장매체, 재생방법 및 장치{Information storage medium containing text subtitle data synchronized with AV data, and reproducing method and apparatus}
도 1은 비디오 스트림, 오디오 스트림 및 기타 스트림이 다중화되어 소스 패킷으로 만들어져 AV 스트림을 구성하여 정보저장매체에 저장되는 과정을 도시한 도면,
도 2는 AV 스트림을 재생하는 재생장치의 간략한 블록도,
도 3은 저장매체에 기록된 AV 스트림을 구성하는 소스 패킷이 재생장치로 입력되는 것을 도시한 도면,
도 4는 하나의 ATC-Sequence를 갖는 소스 패킷들이 재생 장치로 입력될 때, 재생장치의 STC의 변화를 설명하기 위한 도면,
도 5는 저장매체에 기록되어 있는 AV 스트림의 재생 순서와 재생 위치를 지정하기 위한 네비게이션 정보와 AV 스트림의 연결 관계를 도시한 도면,
도 6은 상술한 텍스트 서브 타이틀의 문제점을 설명하기 위한 도면,
도 7은 상술한 첫 번째 방법인, 서브 타이틀이 표시되어야 하는 참조 PlayItem 정보를 추가한 것을 설명하는 도면,
도 8은 두 번째 방법으로, 전역시간(global time)에 의한 프리젠테이션 타임 스탬프(PTS)를 할당하여 텍스트 서브 타이틀을 기록한 것을 도시한 도면,
도 9는 각 PlayItem이 지시하는 시간 정보와 PlayList의 전역시간(global time)과의 관계를 도시한 도면,
도 10은 본 발명의 AV 데이터 재생장치의 간략화한 블록도이다.
본 발명은 서브 타이틀에 관한 것으로, 보다 상세하게는 AV 데이터의 재생에 동기시켜 출력할 수 있도록 만들어진 텍스트 서브 타이틀 데이터를 기록한 정보저장매체, 그 재생방법 및 장치에 관한 것이다.
AV 데이터의 재생과 함께 서브 타이틀을 디스플레이하기 위하여 서브 타이틀 데이터를 포함하는 프리젠테이션 그래픽 스트림을 비트맵 데이터로 만들어 비디오 스트림 및 오디오 스트림과 함께 다중화하여 AV 데이터를 만든다. 이와 같은 비트맵 형태의 서브 타이틀 데이터는 비디오 스트림 및 오디오 스트림과 함께 다중화되어 있기 때문에 비디오 스트림과 동기되어 원활하게 재생될 수 있는 반면, 데이터의 크기가 크고 특정 정보저장매체의 어플리케이션에서 정의하는 최대 비트 전송률(bitrate) 내에서 다중화 될 수 있는 서브 타이틀의 개수에 제한이 있다.
비트맵 형태의 서브 타이틀 데이터 외에도 텍스트 기반의 서브 타이틀 데이터가 있다. 텍스트 서브 타이틀 데이터는 비트맵 서브 타이틀 데이터를 제작하고 편집하는데 있어서의 어려움을 해결하기 위한 것이다. 그러나, 텍스트 서브 타이틀 데이터는 비디오 스트림과 함께 다중화되지 않고 별도로 존재하기 때문에, 비디오 스트림과 동기를 맞추는데 있어서 종래 비트맵 기반의 서브 타이틀 데이터를 포함한 프리젠테이션 그래픽 스트림과 같이 PES(Packetized Elementary Stream) 패킷 헤더에서 정의하는 프리젠테이션 타임 스탬프(Presentation Time Stamp) 만으로는 동기를 맞추기가 어렵고, 임의의 위치로 점프하여 재생시에도 다시 동기를 맞추기가 어렵다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 비디오 스트림의 일반적인 재생시뿐만 아니라 트릭 재생시에도 비디오 스트림의 재생에 동기되어 출력될 수 있도록, 각 서브 타이틀 항목의 출력 시작 시간과 출력 완료 시간을 지정한 텍스트 기반의 서브 타이틀 데이터를 기록한 정보저장매체, 그 재생방법 및 장치를 제공하는 것이다.
상기 기술적 과제는 본 발명에 따라, AV 데이터와 동기되어 출력되는 서브 타이틀 데이터; 및 상기 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 포함하는 것을 특징으로 하는 정보저장매체에 의해 달성된다.
상기 정보저장매체는, 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 정보로서 PlayItem 정보를 더 포함하는 것이 바람직하다.
상기 출력시간 정보는 상기 PlayItem의 시스템 타임 클럭(STC)을 참조하여 만들어진 것이 바람직하다.
또한, 상기 출력시간 정보는 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 PlayList에 포함된 전역시간(global time) 정보를 참조하여 만들어진 것이 바람직하다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 (a) AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 읽는 단계; 및 (b) 상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 텍스트 서브 타이틀 재생방법에 의해서도 달성된다.
상기 (b) 단계는, 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 정보를 더 읽어, 해당 AV 데이터의 재생시에 상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 출력하는 단계인 것이 바람직하다.
한편, 본 발명의 또 다른 분야에 따르면, 상기 기술적 과제는 AV 데이터를 디스플레이하는 AV 데이터 처리부; AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 읽는 출력시간 정보 추출부; 및 상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 읽어 상기 AV 데이터에 동기시켜 출력하는 서브 타이틀 출력부를 포함하는 것을 특징으로 하는 AV 데이터 재생장치에 의해서도 달성된다..
상기 출력시간 정보 추출부는, 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 정보를 더 읽는 것이 바람직하다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 비디오 스트림, 오디오 스트림 및 기타 스트림이 다중화되어 소스 패킷으로 만들어져 AV 스트림을 구성하여 정보저장매체에 저장되는 과정을 도시한 도면이다.
도 1을 참조하면, AV 스트림에는 비디오 스트림, 오디오 스트림 외에 비트맵 형태의 서브 타이틀 데이터를 포함하는 프리젠테이션 그래픽 스트림과 특정 목적을 위해 제작자에 의해 제작된 기타 데이터 스트림이 포함될 수 있다. 비디오 스트림과 오디오 스트림 등 각각의 데이터 스트림을 엘리먼터리 스트림(Elementary Stream)이라 한다. 이와 같은 각각의 엘리먼터리 스트림을 패킷화하여 Packetized Elementary Stream(PES)을 만든다.
하나의 PES는 PES 헤더(PES header)와 PES 패킷 데이터(PES packet data)로 구성되며, PES 헤더는 PES 패킷 데이터가 비디오, 오디오 또는 기타 데이터인지를 구분하기 위한 Stream_id 정보, PES 패킷의 디코딩 타임 스탬프(Decoding Time Stamp, DTS) 및 프리젠테이션 타임 스탬프(Presentation Time Stamp, PTS) 정보 등을 기록하고 있다.
이와 같이 만들어진 비디오 PES, 오디오 PES 및 기타 데이터에 대한 PES 들이 다중화되어 188 바이트의 MPEG-2 트랜스포트 스트림(Transport Stream) 패킷을 구성한다. 188 바이트의 MPEG-2 TS 패킷은 페이로드 데이터에 대한 정보를 기록하고 있는 MPEG-2 TS 헤더와 페이로드 데이터로 구성된다. MPEG-2 TS 헤더는 페이로 드 데이터의 종류를 나타내는 Packet ID 정보, PES 패킷을 디코딩하고 출력하기 위해 사용하는 디코딩 타임 스탬프(DTS) 및 프리젠테이션 타임 스탬프(PTS)의 기준 시간이 되는 재생 장치의 시스템 타임 클럭(System Time Clock, STC)을 설정하기 위한 프로그램 기준 클럭(Program Clock Reference, PCR) 정보 등을 기록하고 있는 적응 필드(adaptation field) 등을 포함한다.
188 바이트의 MPEG-2 TS 패킷은 다시 4 바이트의 헤더가 추가되어 소스 패킷으로 만들어지고 이들 소스 패킷들이 모여 AV 스트림을 구성한다. 소스 패킷의 헤더는 해당 소스 패킷의 불법복제 등을 방지하기 위하여 컨텐츠의 보호(content protection) 정보를 기록하고 있는 복사방지(copy permission) 정보와 해당 소스 패킷이 재생 장치에 도착한 시간을 나타내는 도착 타임 스탬프(Arrival Time Stamp, ATS) 정보를 포함한다. 이렇게 만들어진 AV 스트림은 정보저장매체에 기록된다.
도 2는 AV 스트림을 재생하는 재생장치의 간략한 블록도이다.
독출부(210)는 도 1을 참조하여 상술한 바와 같이 만들어진 AV 스트림을 기록한 정보저장매체로부터 AV 스트림을 읽는다. 그리고, 소스패킷의 헤더에 기록된 도착 타임 스탬프(ATS)에 따라서 해당 소스 패킷을 역다중화부(220)로 전달한다. 역다중화부(220)는 수신된 소스 패킷에서 헤더를 제거하여 MPEG-2 TS 패킷으로 만든다. 그리고, 이들 MPEG-2 TS 패킷중에서 MPEG-2 TS 패킷 헤더에 프로그램 기준 클럭(PCR) 정보를 포함하고 있는 경우에는 그 PCR 값에 따라 재생장치의 시스템 타임 클럭(STC, 250)을 설정하고, Packet ID에 의해 비디오 스트림 및 오디오 스트림 등으로 구분하여 각각의 PES 패킷을 만든다. STC(250)는 시스템 클럭을 카운트하여 계속 증가하다가 PCR에 따라 때때로 순차적으로 증가하는 값이 아닌 PCR에 의해 지시되는 값으로 재설정된다.
이렇게 만들어진 PES 패킷은 PES 패킷 헤더에 포함되어 있는 디코딩 타임 스탬프(DTS)와 재생 장치의 시스템 타임 클럭(STC)(250)이 일치하는 시점에 비디오 디코더(230) 및 오디오 디코더(240)로 전송되고, 프리젠테이션 타임 스탬프(PTS)와 재생 장치의 시스템 타임 클럭(STC)(250)가 일치하는 시점에, 디코딩된 비디오 데이터 또는 오디오 데이터를 출력한다. 이때, 특정 시점에 출력되는 비디오 스트림의 단위를 비디오 프리젠테이션 유닛(Video Presentation Unit, VPU)이라 하고 오디오 스트림의 단위를 오디오 프리젠테이션 유닛(Audio Presentation Unit, APU)이라 한다. 또한 각각의 디코더(230, 240)에 의해 디코딩되어 각각의 프리젠테이션 유닛(Presentation Unit)을 생성하기 위한 데이터를 포함하고 있는 비디오 스트림 단위를 비디오 액세스 유닛(Video Access Unit, VAU), 오디오 스트림 단위를 오디오 액세스 유닛(Audio Access Unit, AAU)이라 한다.
즉, 저장 매체에 기록되어 있는 소스 패킷이 역다중화되어 특정 시점에 디코딩되어야 하는 단위인 비디오 액세스 유닛(VAU)과 오디오 액세스 유닛(AAU)으로 만들어지고, 각각의 액세스 유닛에 기록된 DTS와 재생장치의 STC가 일치하는 시점에 비디오 디코더(230) 및 오디오 디코더(240)로 보내져 디코딩되어 비디오 프리젠테이션 유닛(VPU) 및 오디오 프리젠테이션 유닛(APU)으로 만들어진다. 그리고 각각의 프리젠테이션 유닛의 PTS와 재생장치의 STC가 일치하는 시점에 출력된다. 오디오 스트림의 PTS는 오디오 액세스 유닛(AAU)이 오디오 디코더(240)로 입력되는 시간 및 오디오 디코더(240)에서 출력되는 시간을 모두 의미할 수도 있다.
한편, 비디오 스트림 또는 오디오 스트림과 마찬가지로 비트맵 기반의 서브 타이틀 데이터를 위한 프리젠테이션 그래픽 스트림도 액세스 유닛과 프리젠테이션 유닛으로 만들어지고, 그의 DTS와 PTS가 재생장치의 STC에 맞추어 동작하므로 서로 동기가 가능하다.
도 3은 저장매체에 기록된 AV 스트림을 구성하는 소스 패킷이 재생장치로 입력되는 것을 도시한 도면이다.
AV 스트림은 소스 패킷으로 구성되어 있으며, 각 소스 패킷의 헤더에는 재생 장치로 입력되는 시간 정보인 도착 타임 스탬프(ATS) 정보가 포함되어 있다. 그리고, 재생 장치로 최초에 입력되는 소스 패킷의 ATS 값으로 재생 장치의 도착 타임 시간 카운터(Arrival Time Clock Counter)를 재설정한다. 그리고, 이후에 입력되는 소스 패킷은 해당 소스 패킷 헤더의 ATS 값과 재생 장치의 ATC 카운터 값을 비교하여 일치하는 시점에 재생 장치로 입력된다. 이때 각 소스 패킷의 ATS 값이 끊김없이 연속적으로 이어져 있는 경우, 이들 소스 패킷은 동일한 ATC-Sequence를 갖는다. 일반적으로 하나의 AV 스트림은 하나의 ATC-Sequence로 구성되는 것이 바람직하다.
도 4는 하나의 ATC-Sequence를 갖는 소스 패킷들이 재생 장치로 입력될 때, 재생장치의 STC의 변화를 설명하기 위한 도면이다.
하나의 ATC-Sequence에 포함되어 있는 각 소스 패킷들은 도착 타임 스탬프(ATS)에 따라 순차적으로 재생 장치로 입력된 후, MPEG-2 TS 패킷으로 재구성된다. 이때, MPEG-2 TS 패킷의 헤더에 PCR 정보가 포함되어 있는 경우, 재생 장치는 상기 PCR 정보를 이용하여 시스템 타임 클럭(STC)을 재설정한다. STC-Sequence는 특정 MPEG-2 TS 패킷의 PCR 정보에 의해 연속적으로 증가되는 시스템 타임 클럭(STC)에 의해 제어되는 MPEG-2 TS 패킷들의 시퀀스를 가리킨다.
하나의 ATC-Sequence에는 최소 하나 이상의 STC-Sequence가 포함될 수 있는데, 이때 서로 다른 STC-Sequence로 변경되는 시점 즉, 새로운 STC-Sequence의 첫 MPEG-2 TS 패킷에는 시스템 타임 클럭(STC)을 재설정하는 PCR 정보가 기록되어 있어야 하며, 이 시점에서 STC값의 불연속(discontinuity)이 발생한다.
도 4를 참조하면, 하나의 ATC-Sequence를 갖는 AV 스트림이 재생되는 경우, AV 스트림이 재생되는 시작 시점을 0으로 하는 전역 시간(Global Time)은 순차적으로 증가하는 반면, STC-Sequence는 #0부터 시작하여 #1, #2를 거치면서 STC-Sequence 별로 서로 다른 시스템 타임 클럭(STC)을 가지게 됨을 알 수 있다.
그러나, 비디오 스트림, 오디오 스트림 및 프리젠테이션 그래픽 스트림 등은 STC-Sequence에 불연속이 발생하여 시스템 타임 클럭(STC)이 재설정되더라도 하나의 AV 스트림으로 다중화되어 있기 때문에, 각 스트림의 DTS와 PTS는 해당 시간 정보를 제어하는 STC-Sequence 내의 시스템 타임 클럭(STC)에 의해 처리하면 된다.
그러나, 텍스트 서브 타이틀 데이터는, AV 스트림과 별도로 존재하기 때문에 특정 STC-Sequence 내에 속하지 않을 뿐 아니라, 복수의 AV 스트림에 걸쳐 저장될 수 있기 때문에 ATC-Sequence도 여러 개 존재할 수 있으므로, 상술한 바와 같이 시 스템 타임 클럭(STC)에 따른 PTS를 사용한 출력 시작 시간과 출력 완료 시간으로 표시할 수 없다.
도 5는 저장매체에 기록되어 있는 AV 스트림의 재생 순서와 재생 위치를 지정하기 위한 네비게이션 정보와 AV 스트림의 연결 관계를 도시한 도면이다.
저장매체에는 AV 스트림 외에 AV 스트림에 대한 속성 정보 등을 기록하고 있는 Clip Information, AV 스트림의 재생 순서를 나타내는 정보로써 네비게이션 정보 등이 포함되어 있다. 네비게이션 정보에는 저장매체에 포함되어 있는 최소 하나 이상의 타이틀에 대한 타이틀 정보와 각 타이틀에 의해 재생되는 AV 스트림들의 재생 순서 정보를 포함하고 있는 최소 하나 이상의 PlayList 등이 포함되어 있다.
도 5를 참조하면, PlayList는 재생할 AV 스트림을 지시하기 위한 참조 정보를 포함하고 있는 하나 이상의 PlayItem을 포함한다. PlayItem은 재생에 사용될 AV 스트림에 대한 속성 정보를 기록하고 있는 Clip Information을 지시하는 정보로 Clip_info_file과, 해당 AV 스트림 상에서 PlayItem이 지시하고 있는 AV 스트림의 시스템 타임 클럭(STC)을 포함하고 있는 STC-Sequence의 번호를 지시하는 ref_to_STC_id, PlayItem이 지시하고 있는 STC-Sequence에서 해당 PlayItem의 시작과 끝을 지시하는 IN_time, OUT_time 정보 등을 포함한다.
상기와 같은 데이터 구조를 갖는 저장 매체의 재생 과정을 살펴보면, 재생 하고자 하는 타이틀에서 지시하는 PlayList가 선택되고, 선택된 PlayList에 포함되어 있는 PlayItem이 일반 재생인 경우에는 앞부분부터 순차적으로 선택되고, 랜덤 접근인 경우 지정된 PlayItem부터 순차적으로 선택된다.
최초에 PlayItem #0이 선택되면, Clip_info_file=1 정보에 의해 Clip Information #1이 선택되고, ref_to_STC_id=0 정보에 의해 Clip Information #1이 지시하는 AV 스트림의 ATC-Sequence 내에서 STC-Sequence #0이 선택되고, IN_time=in1, OUT_time=out1에 의해 STC-Sequence #0에 해당하는 시스템 타임 클럭(STC)에 의해 지시되는 in1 위치부터 out1의 위치까지 재생된다.
다음으로 PlayItem #1이 선택되면, Clip_info_file=2 정보에 의해 Clip Information #2가 선택되고, ref_to_STC_id=0 정보에 의해 Clip Information #2가 지시하는 AV 스트림의 ATC-Sequence 내에서 STC-Sequence #0이 선택되고, IN_time=in2, OUT_time=out2에 의해 STC-Sequence #0에 해당하는 시스템 타임 클럭(STC)에 의해 지시되는 in2 위치부터 out2 위치까지 재생되고, 이하 같은 방법으로 다음 PlayItem들을 재생하게 된다.
다시 말하면, 하나의 PlayList가 선택되고, PlayList에 포함되어 있는 PlayItem이 선택되어 재생될 AV 스트림의 위치를 찾고 그 위치부터의 AV 스트림을 도착 타임 스탬프(ATS)에 따라 재생 장치로 전송한 후, 전송된 데이터들 중 PCR 정보를 포함한 MPEG-2 TS 패킷을 이용하여 재생 장치의 시스템 타임 클럭(STC)을 재설정한다. 그 후에 비디오 액세스 유닛 및 오디오 액세스 유닛은 각각의 액세스 유닛에 포함된 프리젠테이션 타임 스탬프(PTS)가 시스템 타임 클럭(STC)과 일치하는 시점이 되면 디코딩을 시작하여 프리젠테이션 유닛을 만들고, 각각의 프리젠테이션 유닛의 프리젠테이션 타임 스탬프(PTS)가 상기 시스템 타임 클럭(STC)과 일치하는 시점이 되면 출력한다.
한편, AV 스트림을 재생하는 재생 장치에서 비디오에 대응되는 서브 타이틀을 제공하기 위해, 텍스트 기반의 서브 타이틀은, 텍스트 서브 타이틀에서 정의하고 있는 각 서브 타이틀 항목을 특정 시간에 출력하기 위해 출력 시작 시간(begin)과, 출력 완료 시간(end)을 정의하고 있다. 이때, 텍스트 서브 타이틀에서 정의하는 각 서브 타이틀 항목의 begin, end 정보의 속성 값으로 AV 스트림 상의 비디오 스트림 및 오디오 스트림 등에서의 시스템 타임 클럭(STC)에 따른 프리젠테이션 타임 스탬프(PTS)를 사용할 경우, 상술한 바와 같이 하나의 텍스트 서브 타이틀에서 재생 순서에 맞추어 순차적으로 정의하고 있는 서브 타이틀 항목 내의 (begin, end)가 연속적으로 증가하지 않고 특정 시간 범위가 겹치는 현상이 발생하여 각 서브 타이틀 항목 사이에 전후 관계를 구분할 수 없는 문제가 발생한다.
또한, 서로 다른 서브 타이틀 항목간에 동일한 (begin, end)가 나타날 수도 있다. 따라서, 특정 PlayList를 선택하여 재생할 때, 일반적인 순차적 재생을 하지 않고 임의의 위치로 점프하여 재생하면 비디오 스트림의 위치와 일치하는 서브 타이틀 항목을 정확히 검색할 수 없을 수도 있다.
이하에서는 상술한 텍스트 서브 타이틀의 문제점을 해결한기 위한 방법에 대하여 설명한다. 단, 본 발명에서는 텍스트 서브 타이틀을 구조화하기 위해 마크업 언어의 형태로 제작된 텍스트 서브 타이틀을 예를 들어 설명하지만, 서브 타이틀 데이터를 구조화하기 위한 방법으로 바이너리 형태의 구조를 가질 수도 있다. 바이너리 형태의 구조라 함은, 일련의 바이너리 데이터에 대해서 일정한 바이트 별로 의미를 부여하여 서브 타이틀 데이터를 구조화한 것을 말한다. 즉, 처음 몇 바이트 는 서브 타이틀 항목 1에 대한 정보를, 그 다음 몇 바이트는 서브 타이틀 항목 2에 대한 정보를 나타내는 등의 방식으로 만드는 것을 말한다.
도 6은 상술한 텍스트 서브 타이틀의 문제점을 설명하기 위한 도면이다.
도 6을 참조하면, 참조번호 610의 서브 타이틀은 STC-Sequence #0에 해당하는 것으로, 서브 타이틀 "Text 1"의 (begin, end)가 (10, 12)이고, 서브 타이틀 "Text 2"의 (begin, end)은 (20, 22)이다.
그리고, 참조번호 620의 서브 타이틀 항목들은 STC-Sequence #1에 해당하는 것으로, 서브 타이틀 "Text 3"의 (begin, end)가 (17, 19)이고, 서브 타이틀 "Text 4"의 (begin, end)는 (25, 27)이고, 서브 타이틀 "Text 5"의 (begin, end)은 (30, 33)이다.
그리고, 참조번호 630의 서브 타이틀 항목들은 STC-Sequence #2에 해당하는 것으로, 서브 타이틀 "Text 6"의 (begin, end)가 (5, 8)이고, 서브 타이틀 "Text 7"의 (begin, end)는 (25, 27)이다.
일반적인 재생의 경우, 각 서브 타이틀의 출력 순서는 610, 620, 630이지만 각 서브 타이틀 항목의 (begin, end)는 일관되게 유지되지 않아 (begin, end) 정보만으로는 각 서브 타이틀의 전후 관계를 구분하지 못하게 된다. 또한 서브 타이틀 "Text 4"와 서브 타이틀 "Text 7"의 (begin, end)는 동일한 값을 갖는다. 이렇게 구성되어 있는 텍스트 서브 타이틀 데이터를 이용하여 비디오에 동기되게 출력하여야 하는데, 비디오 스트림의 처음부터 일반적인 재생을 하지 않고 비디오 스트림의 재생중에 STC-Sequence #2의 시간 "25"에 해당하는 위치로 점프하여 재생하면, 텍 스트 서브 타이틀 데이터를 처리하는 디코더는 서브 타이틀 "Text 4"와 "Text 7"중 어느 것이 현재 비디오의 위치에 맞는 서브 타이틀 항목인지 구분할 수 없게 된다.
따라서, 텍스트 서브 타이틀 데이터에서 정의하고 있는 각 서브 타이틀 항목을 비디오 스트림과 올바르게 동기를 맞추어 재생하기 위해 다음과 같은 두가지 방법이 있다.
(1) 각 서브 타이틀 항목은 해당 서브 타이틀 항목이 표시되어야 하는 참조 PlayItem 정보를 추가로 더 포함하며, (begin, end) 값으로는 시스템 타임 클럭(STC)에 의해 만들어진 프리젠테이션 타임 스탬프(PTS)를 할당한다.
(2) 각 서브 타이틀 항목의 출력 시작 시간 및 출력 종료 시간은 해당 서브 타이틀 데이터가 동기를 맞추어 재생해야 하는 최소 하나 이상의 AV 스트림을 포함하는 PlayList의 전역시간(global time)에 의해 만들어진 프리젠테이션 타임 스탬프(PTS)를 할당한다.
상술한 두가지 방법 모두에서 시간정보로 (begin, end)를 모두 포함하지 않고 출력시작 시간 정보인 begin 또는 출력완료 시간 정보인 end 만을 포함하도록 할 수도 있다.
도 7은 상술한 첫 번째 방법인, 서브 타이틀이 표시되어야 하는 참조 PlayItem 정보를 추가한 것을 설명하는 도면이다.
도 7을 참조하면, 참조번호 710의 서브 타이틀 항목들은 STC-Sequence #0에 속하는 것이고, STC-Sequence #0은 PlayItem #0에 의해 지시된다. 그리고, 참조번호 720의 서브 타이틀 항목들은 STC-Sequence #1에 속하는 것이고, STC-Sequence #1은 PlayItem #1에 의해 지시된다. 또한, 참조번호 730의 서브 타이틀 항목들은 STC-Sequence #2에 속하는 것이고, STC-Sequence #2은 PlayItem #2에 의해 지시된다. 그리고 각 서브 타이틀 항목의 (begin, end) 값은 시스템 타임 클럭(STC)에 의해 만들어진 프리젠테이션 타임 스탬프(PTS)가 사용된다.
이 경우, 참조번호 710의 서브 타이틀 항목들은 <PlayItem_number = 0>이라는 추가 정보를 통하여 참조번호 710의 서브 타이틀 항목들이 사용되는 PlayItem의 번호를 지정하고 있다. 따라서, 참조번호 710의 서브 타이틀 항목들이 (begin, end) 값으로 사용하고 있는 프리젠테이션 타임 스탬프(PTS)들은 PlayeItem #0이 지시하는 STC-Sequence #0에 의한 시스템 타임 클럭(STC)에 의해 만들어진 것으로 그에 맞게 제어되어야 함을 알 수 있다.
이와 마찬가지로 참조번호 720의 서브 타이틀 항목들과 참조번호 730의 서브 타이틀 항목들은 <PlayItem_number = 1>과 <PlayItem_number = 2>라는 추가 정보를 통하여 참조번호 720의 서브 타이틀 항목들과 참조번호 730의 서브 타이틀 항목들이 사용되는 PlayItem의 번호를 지정함으로서, 도 6을 참조하여 상술한 문제점을 해결할 수 있다. 한편, 텍스트 서브 타이틀 데이터에 포함되는 참조 PlayItem 정보는 각각의 서브 타이틀 항목마다 별개로 포함할 수도 있다.
도 8은 두 번째 방법으로, 전역시간(global time)에 의한 프리젠테이션 타임 스탬프(PTS)를 할당하여 텍스트 서브 타이틀을 기록한 것을 도시한 도면이다.
본 발명에 의한 텍스트 서브 타이틀 데이터를 저장하고 있는 저장 매체를 재생하는 재생 장치에는 AV 스트림의 재생이 진행된 시간을 저장하기 위한 전역 시간(global time)을 기록하고 있는 별도의 메모리 공간을 할당하고 있다. 이와 같이 재생 장치는 재생에 필요한 정보를 저장하는 공간으로 Player Status Register(PSR)를 가지고 있는데, 전역시간(global time)을 저장하고 있는 레지스터는 AV 스트림의 재생을 위해 특정 PlayList가 선택되었을 때, 0으로 설정되고 PlayList가 지시하고 있는 AV 스트림의 재생이 진행됨에 따라 순차적으로 증가한다. 즉, PlayList 내 첫 PlayItem의 IN_time 시점에 "0"이 되고, 이후 해당 PlayItem의 OUT_time까지 순차적으로 증가하며, 다음 PlayItem이 선택되면, 해당 PlayItem의 IN_time부터 레지스터에 저장된 전역시간(global time) 값을 계속 증가시킨다.
도 9는 각 PlayItem이 지시하는 시간 정보와 PlayList의 전역시간(global time)과의 관계를 도시한 도면이다.
도 9를 참조하면, X는 PlayItem_id=0에 의해 지시되는 PlayItem의 재생 간격을 나타내며, Y는 PlayItem_id=1에 의해 지시되는 PlayItem의 재생 간격을 나타내고, Z는 PlayItem_id=2에 의해 지시되는 PlayItem의 재생 간격을 나타낸다. 즉, PlayList가 갖는 전역시간(global time) 축상의 시간 정보는 각 PlayItem이 가지는 특정 ATC-Sequence 내의 특정 STC-Sequence 상의 시간과 일대일로 매칭이 된다.
그러므로, 도 8을 참조하여 설명한 바와 같이 텍스트 서브 타이틀 내의 각 항목은 해당 서브 타이틀 항목의 출력 시작 시간 및 출력 종료 시간값으로 전역 시간(global time) 축상의 시간값을 사용하여 프리젠테이션 타임 스탬프(PTS)를 나타냄으로서, AV 스트림과의 동기 및 재동기시 현재 재생 시점의 전역시간(global time) 값을 저장하고 있는 레지스터를 참조함으로서 원활한 재생을 할 수 있다.
도 10은 본 발명의 AV 데이터 재생장치의 간략화한 블록도이다.
AV 데이터 처리부(1010)는 기록매체에 저장된 AV 데이터를 읽어 출력한다. 그리고, 출력시간 정보 추출부(1020)는 AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간과 출력완료 시간을 나타내는 출력시간 정보를 읽는다. 출력시작 시간과 출력완료 시간은 상술한 바와 같이 (begin, end)로 표현되며 각각은 PlayItem의 시스템 타임 클럭(STC)을 참조하여 만들어질 수 있다. 그리고, 출력시간 정보에는 출력시작 시간만 포함될 수도 있고, 출력완료 시간만 포함될 수도 있으며, 둘 다 포함될 수 있다. 이 경우에는 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 PlayItem 정보를 더 읽어서 어느 PlayItem의 시스템 타임 클럭(STC)에 동기시켜 출력하여야 하는가를 알아낸다. 또한, 상술한 바와 같이 출력시간 정보는 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 PlayList의 전역시간(global time)을 참조하여 만들어질 수도 있다. 서브 타이틀 출력부(1030)는 출력시간 정보에 따라 서브 타이틀 데이터를 읽어 AV 데이터에 동기시켜 출력한다.
한편, 전술한 텍스트 서브 타이틀 재생방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 텍스트 서브 타이틀 재생방법을 구현한다. 상기 정보 저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명에 따르면, 일반적인 재생(normal play)시뿐만 아니라 트릭 재생시에도 AV 스트림에 텍스트 서브 타이틀 데이터를 동기화하여 재생할 수 있다.

Claims (20)

  1. 삭제
  2. AV 데이터와 동기되어 출력되는 서브 타이틀 데이터;
    상기 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보; 및
    상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 정보를 포함하는 것을 특징으로 하는 정보저장매체.
  3. 제2항에 있어서,
    상기 AV 데이터를 지시하는 정보는 PlayItem 정보인 것을 특징으로 하는 정보저장매체.
  4. 제3항에 있어서,
    상기 출력시간 정보는 상기 PlayItem의 시스템 타임 클럭(STC)을 참조하여 만들어진 것을 특징으로 하는 정보저장매체.
  5. AV 데이터와 동기되어 출력되는 서브 타이틀 데이터; 및
    상기 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 포함하고,
    상기 출력시간 정보는 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 PlayList에 포함된 시간정보를 참조하여 만들어진 것을 특징으로 하는 정보저장매체.
  6. 제5항에 있어서,
    상기 PlayList에 포함된 시간정보는 상기 PlayList의 전역시간(global time)인 것을 특징으로 하는 정보저장매체.
  7. AV 데이터와 동기되어 출력되는 서브 타이틀 데이터; 및
    상기 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 포함하고,
    상기 서브 타이틀 데이터와 출력시간 정보는 마크업 문서의 형태 또는 바이너리 데이터 형태로 기록되어 있는 것을 특징으로 하는 정보저장매체.
  8. 삭제
  9. AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 읽는 단계; 및
    상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 정보를 더 읽어, 해당 AV 데이터의 재생시에 상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 텍스트 서브 타이틀 재생방법.
  10. 제9항에 있어서,
    상기 AV 데이터를 지시하는 정보는 PlayItem 정보인 것을 특징으로 하는 텍스트 서브 타이틀 재생방법.
  11. 제10항에 있어서,
    상기 출력시간 정보는 상기 PlayItem의 시스템 타임 클럭(STC)을 참조하여 만들어진 것을 특징으로 하는 텍스트 서브 타이틀 재생방법.
  12. AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 읽는 단계; 및
    상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 출력하는 단계를 포함하고,
    상기 출력시간 정보는 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 PlayList에 포함된 시간정보를 참조하여 만들어진 것을 특징으로 하는 텍스트 서브 타이틀 재생방법.
  13. 제12항에 있어서,
    상기 PlayList에 포함된 시간정보는 상기 PlayList의 전역시간(global time)인 것을 특징으로 하는 텍스트 서브 타이틀 재생방법.
  14. 삭제
  15. AV 데이터를 디스플레이하는 AV 데이터 처리부;
    AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보와, 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 정보를 읽는 출력시간 정보 추출부; 및
    상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 읽어 상기 AV 데이터에 동기시켜 출력하는 서브 타이틀 출력부를 포함하는 것을 특징으로 하는 AV 데이터 재생장치.
  16. 제15항에 있어서,
    상기 AV 데이터를 지시하는 정보는 PlayItem 정보인 것을 특징으로 하는 AV 데이터 재생장치.
  17. 제16항에 있어서,
    상기 출력시간 정보는 상기 PlayItem의 시스템 타임 클럭(STC)을 참조하여 만들어진 것을 특징으로 하는 AV 데이터 재생장치.
  18. AV 데이터를 디스플레이하는 AV 데이터 처리부;
    AV 데이터와 동기되어 출력되는 서브 타이틀 데이터의 출력시작 시간 및/또는 출력완료 시간을 나타내는 출력시간 정보를 읽는 출력시간 정보 추출부; 및
    상기 출력시간 정보에 따라 상기 서브 타이틀 데이터를 읽어 상기 AV 데이터에 동기시켜 출력하는 서브 타이틀 출력부를 포함하고,
    상기 출력시간 정보는 상기 서브 타이틀 데이터가 동기되어 출력되어야 하는 AV 데이터를 지시하는 PlayList에 포함된 시간정보를 참조하여 만들어진 것을 특징으로 하는 AV 데이터 재생장치.
  19. 제18항에 있어서,
    상기 PlayList에 포함된 시간정보는 상기 PlayList의 전역시간(global time)인 것을 특징으로 하는 AV 데이터 재생장치.
  20. 제9항 내지 제13항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040011678A 2004-02-21 2004-02-21 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치 KR100716973B1 (ko)

Priority Applications (22)

Application Number Priority Date Filing Date Title
KR1020040011678A KR100716973B1 (ko) 2004-02-21 2004-02-21 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치
US11/050,667 US20050185929A1 (en) 2004-02-21 2005-02-07 Information storage medium having recorded thereon text subtitle data synchronized with AV data, and reproducing method and apparatus therefor
MYPI20083578A MY148761A (en) 2004-02-21 2005-02-18 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
MYPI20050638A MY142303A (en) 2004-02-21 2005-02-18 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
CN2005800055018A CN1922681B (zh) 2004-02-21 2005-02-19 记录有与av数据同步的文本字幕数据的信息存储介质以及再现方法和设备
CA2783960A CA2783960C (en) 2004-02-21 2005-02-19 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
CA2556526A CA2556526C (en) 2004-02-21 2005-02-19 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
EP08157600A EP1968068A3 (en) 2004-02-21 2005-02-19 Information storage medium having recorded thereon text subtitle data synchronized with AV data, and reproducing method and apparatus therefor
JP2006554032A JP2007523438A (ja) 2004-02-21 2005-02-19 Ａｖデータに同期されたテキストサブタイトルデータを記録した情報記録媒体、再生方法及び装置
CNA2009101343949A CN101568002A (zh) 2004-02-21 2005-02-19 再现av数据和文本字幕数据的方法
SG200807385-0A SG147413A1 (en) 2004-02-21 2005-02-19 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
BRPI0507879-2A BRPI0507879A2 (pt) 2004-02-21 2005-02-19 mÍdia de armazenamento de informaÇÕes para utilizaÇço com um aparelho de gravaÇço/reproduÇço, mÉtodo de reproduÇço de dados de legendas em formato de texto e dados de Áudio/vÍdeo (av), aparelho para reproduÇço de dados de Áudio/vÍdeo (av) e dados de legendas em formato de texto, mÍdia de gravaÇço passÍvel de leitura em computador, mÉtodo de controle de um aparelho para sincronizaÇço de dados de Áudio/vÍdeo (av) com dados de legendas em formato de texto, mÍdia passÍvel de leitura em computador, e mÉtodo de reproduÇço de dados de legendas em formato de texto em sicronizaÇço com dados de Áudio/vÍdeo (av)
RU2006133641/28A RU2337415C2 (ru) 2004-02-21 2005-02-19 Информационный запоминающий носитель, содержащий записанные на нем данные текстовых субтитров, синхронизированные с аудиовизуальными данными, и способ и устройство для его воспроизведения
PCT/KR2005/000464 WO2005079172A2 (en) 2004-02-21 2005-02-19 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
EP05726921A EP1716569A4 (en) 2004-02-21 2005-02-19 INFORMATION STORAGE MEDIUM WITH DATA OF TEXT SUBTITLES RECORDED IN SYNCHRONIZATION WITH AUDIOVISUAL DATA, AND ASSOCIATED REPRODUCTION METHOD AND APPARATUS
CNB2007101055660A CN100546362C (zh) 2004-02-21 2005-02-19 控制设备使av数据与文本字幕数据同步的方法
TW094105000A TWI342711B (en) 2004-02-21 2005-02-21 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing apparatus
TW095104334A TWI344300B (en) 2004-02-21 2005-02-21 Computer-readable recording medium and method and apparatus to synchronize av data with text subtitle data
HK07107866.9A HK1103845A1 (en) 2004-02-21 2007-07-20 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
RU2008119131/28A RU2470386C2 (ru) 2004-02-21 2008-05-14 Информационный запоминающий носитель для использования с устройством воспроизведения/записи и устройство для воспроизведения данных аудио/видео (av) и данных текстовых субтитров
US12/173,131 US20080267587A1 (en) 2004-02-21 2008-07-15 Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
JP2011083197A JP2011187156A (ja) 2004-02-21 2011-04-04 Ａｖデータに同期されたテキストサブタイトルデータを記録した情報記録媒体、再生方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040011678A KR100716973B1 (ko) 2004-02-21 2004-02-21 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050083258A KR20050083258A (ko) 2005-08-26
KR100716973B1 true KR100716973B1 (ko) 2007-05-10

Family

ID=34858791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040011678A KR100716973B1 (ko) 2004-02-21 2004-02-21 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치

Country Status (13)

Country Link
US (2) US20050185929A1 (ko)
EP (2) EP1716569A4 (ko)
JP (2) JP2007523438A (ko)
KR (1) KR100716973B1 (ko)
CN (3) CN1922681B (ko)
BR (1) BRPI0507879A2 (ko)
CA (2) CA2556526C (ko)
HK (1) HK1103845A1 (ko)
MY (2) MY142303A (ko)
RU (2) RU2337415C2 (ko)
SG (1) SG147413A1 (ko)
TW (2) TWI342711B (ko)
WO (1) WO2005079172A2 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60037088T2 (de) * 1999-04-16 2008-09-04 Sony Corp. Datenverarbeitungssystem, datenverarbeitungsverfahren, und datenprozessor
US7711774B1 (en) 2001-11-20 2010-05-04 Reagan Inventions Llc Interactive, multi-user media delivery system
US8504652B2 (en) * 2006-04-10 2013-08-06 Portulim Foundation Llc Method and system for selectively supplying media content to a user and media storage device for use therein
US8122466B2 (en) * 2001-11-20 2012-02-21 Portulim Foundation Llc System and method for updating digital media content
US7503059B1 (en) * 2001-12-28 2009-03-10 Rothschild Trust Holdings, Llc Method of enhancing media content and a media enhancement system
US8909729B2 (en) * 2001-11-20 2014-12-09 Portulim Foundation Llc System and method for sharing digital media content
US20070022465A1 (en) * 2001-11-20 2007-01-25 Rothschild Trust Holdings, Llc System and method for marking digital media content
KR100716973B1 (ko) * 2004-02-21 2007-05-10 삼성전자주식회사 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치
CA2559890C (en) 2004-03-10 2014-01-07 Ossur Hf Control system and method for a prosthetic knee
US7848621B2 (en) * 2005-07-01 2010-12-07 Sony Corporation File format translation
US8229278B2 (en) * 2005-08-29 2012-07-24 Sony Corporation Portfolios in disc authoring
US20080244407A1 (en) * 2005-08-29 2008-10-02 Eklund Don Abstractions in disc authoring
US7949229B2 (en) * 2005-08-29 2011-05-24 Sony Corporation Discontinuous timeline in disc authoring
US8213771B2 (en) * 2005-08-29 2012-07-03 Sony Corporation Templatized commands in disc authoring
US20080238938A1 (en) * 2005-08-29 2008-10-02 Eklund Don Effects for interactive graphic data in disc authoring
US8644682B2 (en) 2005-08-29 2014-02-04 Sony Corporation Playable content
US7773864B2 (en) * 2005-08-29 2010-08-10 Sony Corporation Slicing interactive graphic data in disc authoring
EP1942843B1 (en) 2005-09-01 2017-03-01 Össur hf System and method for determining terrain transitions
JP2007115293A (ja) * 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US8761568B2 (en) * 2005-12-20 2014-06-24 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for synchronizing subtitles with a video
KR100823281B1 (ko) 2006-09-29 2008-04-21 삼성전자주식회사 컨텐츠 재생 방법 및 장치
WO2008078717A1 (ja) * 2006-12-25 2008-07-03 Ptp, Inc. 番組データ管理サーバ、識別子割当装置、番組データ管理方法及びプログラム
CN101453574B (zh) * 2007-11-28 2012-05-23 新奥特（北京）视频技术有限公司 一种字幕动作特技方法
CN101483723B (zh) * 2008-01-11 2012-06-06 新奥特（北京）视频技术有限公司 一种基于多样性应用的电视字幕播出设备性能保障的方法
FR2926694B1 (fr) * 2008-01-18 2010-04-16 Sagem Comm Decodeur de donnees video et procede de decodage de donnees video
CN101616266B (zh) * 2008-06-27 2013-10-30 新奥特（北京）视频技术有限公司 一种使用滤镜的转化方法
CN101616267B (zh) * 2008-06-27 2012-11-28 新奥特（北京）视频技术有限公司 一种使用滤镜的转化装置
CN101340591B (zh) * 2008-08-11 2011-04-06 华为终端有限公司 解码系统中接收视音频数据的处理方法及装置
CN102111572B (zh) * 2009-12-28 2015-07-29 新奥特（北京）视频技术有限公司 一种多类型字幕图元播出装置及其播出方法
CN102118565A (zh) * 2009-12-30 2011-07-06 新奥特（北京）视频技术有限公司 一种字幕动态映射播出的预监方法
CN102668550A (zh) * 2010-05-19 2012-09-12 联发科技（新加坡）私人有限公司 用于为视频播放装置提供基于字幕的重复或播放功能的方法、相关视频播放装置及相关处理电路
ES2370218B1 (es) * 2010-05-20 2012-10-18 Universidad Carlos Iii De Madrid Procedimiento y dispositivo para sincronizar subtítulos con audio en subtitulación en directo.
US20130293775A1 (en) * 2011-01-07 2013-11-07 Speed WP Inc. Recorder for digital caption broadcast
CN102215427A (zh) * 2011-05-17 2011-10-12 深圳创维－Rgb电子有限公司 在电视机上同步播放多媒体信息的方法、装置及电视机
US9071815B2 (en) 2011-08-31 2015-06-30 Nokia Technologies Oy Method, apparatus and computer program product for subtitle synchronization in multimedia content
CN103531220B (zh) * 2013-10-08 2016-02-03 百度在线网络技术（北京）有限公司 歌词校正方法及装置
JP6200449B2 (ja) * 2015-04-30 2017-09-20 シナノケンシ株式会社 教育支援システム及び端末装置
CN105657470B (zh) * 2015-12-31 2018-09-28 深圳市海云天科技股份有限公司 一种位图式视频浏览的记录方法及系统
CN106652983B (zh) * 2016-09-18 2021-04-02 福建网龙计算机网络信息技术有限公司 一种字幕制作方法及系统
CN107920281A (zh) * 2016-10-08 2018-04-17 北京小唱科技有限公司 一种网络直播视频加载方法和终端
KR101949261B1 (ko) * 2017-01-23 2019-02-18 고범준 Ｖｒ 영상 생성 방법, ｖｒ 영상 처리 방법 및 ｖｒ 영상 처리 시스템
RU2668721C1 (ru) * 2017-04-17 2018-10-02 Общество с ограниченной ответственностью "Образовательные технологии" Способ для отображения субтитров в процессе воспроизведения медиаконтента (варианты)
CA3076186A1 (en) 2017-09-19 2019-03-28 Rovi Guides, Inc. Systems and methods for navigating internet appliances using a media guidance application
WO2019070292A1 (en) * 2017-10-06 2019-04-11 Rovi Guides, Inc. SYSTEMS AND METHODS FOR PRESENTING CLOSED SUBTITLING AND SUBTITLE DATA DURING QUICK ACCESS READING OPERATIONS
CN111954041A (zh) * 2019-05-15 2020-11-17 上海哔哩哔哩科技有限公司 一种视频加载方法、计算机设备及可读存储介质
CN112397104B (zh) 2020-11-26 2022-03-29 北京字节跳动网络技术有限公司 音频与文本的同步方法、装置、可读介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10272794A (ja) * 1997-03-31 1998-10-13 Toppan Printing Co Ltd 画像記録方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1534020A3 (en) * 1995-04-27 2005-06-01 Hitachi, Ltd. Method/apparatus for receiving and/or reproducing digital signal
JP3326669B2 (ja) * 1995-06-30 2002-09-24 ソニー株式会社 データ再生装置
JP3326670B2 (ja) * 1995-08-02 2002-09-24 ソニー株式会社 データ符号化／復号化方法および装置、および符号化データ記録媒体
US20020044757A1 (en) * 1995-08-04 2002-04-18 Sony Corporation Information carrier, device for reading and device for providing the information carrier and method of transmitting picture information
JPH0951489A (ja) * 1995-08-04 1997-02-18 Sony Corp データ符号化／復号化方法および装置
US6148140A (en) * 1997-09-17 2000-11-14 Matsushita Electric Industrial Co., Ltd. Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer readable recording medium storing an editing program
WO1999014756A2 (en) * 1997-09-17 1999-03-25 Matsushita Electric Industrial Co., Ltd. Video data editing apparatus and computer-readable recording medium storing an editing program
US6288990B1 (en) * 1997-10-21 2001-09-11 Sony Corporation Reproducing apparatus, recording apparatus, and recording medium
CN1063308C (zh) * 1998-01-15 2001-03-14 英业达股份有限公司 交互式图象同步字幕显示装置及显示方法
JP3411232B2 (ja) * 1998-04-08 2003-05-26 松下電器産業株式会社 光ディスク、記録装置および方法、並びに再生装置および方法
CN1237822C (zh) * 1998-04-08 2006-01-18 松下电器产业株式会社 光盘、光盘记录方法和装置,以及光盘再现方法和装置
JP2000100073A (ja) * 1998-09-28 2000-04-07 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体
US6400399B1 (en) * 1999-09-30 2002-06-04 Eastman Kodak Company Process for viewing a motion picture film with concurrently displayed subtitle text
JP4328989B2 (ja) * 1999-11-24 2009-09-09 ソニー株式会社 再生装置、再生方法、並びに記録媒体
JP4200630B2 (ja) * 2000-03-17 2008-12-24 ソニー株式会社 映像記録再生装置及び映像記録再生方法
CN1193607C (zh) * 2000-04-21 2005-03-16 索尼公司 信息处理设备和方法
JP2002159004A (ja) * 2000-04-21 2002-05-31 Sony Corp 符号化装置および方法、記録媒体、並びにプログラム
JP4253139B2 (ja) * 2000-06-30 2009-04-08 株式会社東芝 フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体
CN1367612A (zh) * 2000-06-30 2002-09-04 株式会社东芝 特殊再生控制信息记录方法,产生装置及方法,图象再生装置
DE10051697A1 (de) * 2000-10-18 2002-05-02 Guimet Marie Helene Vorrichtung zur Texteinblendung
US7117231B2 (en) * 2000-12-07 2006-10-03 International Business Machines Corporation Method and system for the automatic generation of multi-lingual synchronized sub-titles for audiovisual data
US7474840B2 (en) * 2001-03-08 2009-01-06 Sony Corporation Data recording apparatus for managing content when content is deleted
EP1381232A4 (en) * 2001-04-02 2005-09-28 Matsushita Electric Ind Co Ltd VIDEO PLAYBACK DEVICE FOR DIGITAL VIDEO CONTENT, VIDEO PLAY PROCESS, VIDEO PLAY PROGRAM AND PACKAGING MEDIUM
ATE543183T1 (de) * 2002-10-04 2012-02-15 Lg Electronics Inc Aufzeichnungsmedium mit einer datenstruktur zur verwaltung der wiedergabe von grafikdaten und aufzeichnungs- und wiedergabeverfahren und - vorrichtungen
KR100939711B1 (ko) * 2002-12-12 2010-02-01 엘지전자 주식회사 텍스트 기반의 서브타이틀 재생장치 및 방법
JP3906795B2 (ja) * 2002-12-18 2007-04-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP3931843B2 (ja) * 2003-06-13 2007-06-20 株式会社日立製作所 記録媒体および再生方法
KR20050036277A (ko) * 2003-10-15 2005-04-20 엘지전자 주식회사 고밀도 광디스크의 네비게이션 정보 관리방법
JP4293006B2 (ja) * 2004-02-06 2009-07-08 株式会社日立製作所 データ記録方法および記録媒体、再生装置
EP1716566A1 (en) * 2004-02-10 2006-11-02 LG Electronic Inc. Recording medium having a data structure for managing font information for text subtitles and recording and reproducing methods and apparatuses
KR20070028326A (ko) * 2004-02-10 2007-03-12 엘지전자 주식회사 기록매체 및 텍스트 서브타이틀 스트림 디코딩 방법과 장치
BRPI0418524A (pt) * 2004-02-10 2007-05-15 Lg Electronics Inc meio fìsico de gravação, método e aparelho para gravar e reproduzir um estrutura de dados
KR100716973B1 (ko) * 2004-02-21 2007-05-10 삼성전자주식회사 Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치
EP1728251A1 (en) * 2004-03-17 2006-12-06 LG Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10272794A (ja) * 1997-03-31 1998-10-13 Toppan Printing Co Ltd 画像記録方法

Also Published As

Publication number Publication date
TW200529656A (en) 2005-09-01
MY148761A (en) 2013-05-31
MY142303A (en) 2010-11-15
SG147413A1 (en) 2008-11-28
CA2556526C (en) 2012-10-09
EP1716569A4 (en) 2007-06-20
TW200625938A (en) 2006-07-16
CA2783960A1 (en) 2005-09-01
RU2470386C2 (ru) 2012-12-20
WO2005079172A3 (en) 2006-01-26
JP2011187156A (ja) 2011-09-22
TWI344300B (en) 2011-06-21
EP1968068A3 (en) 2008-10-15
CN1922681A (zh) 2007-02-28
EP1968068A2 (en) 2008-09-10
CN101568002A (zh) 2009-10-28
RU2337415C2 (ru) 2008-10-27
RU2006133641A (ru) 2008-03-27
US20080267587A1 (en) 2008-10-30
US20050185929A1 (en) 2005-08-25
KR20050083258A (ko) 2005-08-26
CN100546362C (zh) 2009-09-30
RU2008119131A (ru) 2009-11-20
HK1103845A1 (en) 2007-12-28
TWI342711B (en) 2011-05-21
CA2783960C (en) 2013-07-23
WO2005079172A2 (en) 2005-09-01
CA2556526A1 (en) 2005-09-01
CN1922681B (zh) 2011-07-27
BRPI0507879A2 (pt) 2009-03-10
JP2007523438A (ja) 2007-08-16
EP1716569A2 (en) 2006-11-02
CN101068329A (zh) 2007-11-07

Similar Documents

Publication Publication Date Title
KR100716973B1 (ko) Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치
US7680182B2 (en) Image encoding device, and image decoding device
EP2562757B1 (en) Reproduction device, reproduction method, and program
CN103079081A (zh) 再现设备、再现方法和记录方法
US8041179B2 (en) Methods and apparatuses for reproducing and recording still picture and audio data and recording medium having data structure for managing reproduction of still picture and audio data
JP5052763B2 (ja) 映像データの記録された情報貯蔵媒体、その記録方法、記録装置、再生方法及び再生装置
JP2005354706A (ja) グラフィックデータを含んだａｖストリームを記録した情報記録媒体、再生方法及び再生装置
EP1552520B1 (en) Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses
KR100547162B1 (ko) 그래픽 데이터를 포함한 ａｖ 스트림을 기록한정보저장매체, 재생방법 및 장치
KR100376578B1 (ko) 디지털 데이터 스트림 기록방법 및 그에 따른 표현제어정보 제공방법
US20070122120A1 (en) Multi-av stream playback method and playback apparatus
KR100954999B1 (ko) 고밀도 광디스크의 부가 콘텐츠 데이터 관리 및 재생방법
CN100536533C (zh) 用于再现、记录和生成文本字幕流的方法及装置
JP4142063B2 (ja) 情報記録媒体、その記録装置及び方法、その再生装置及び方法並びに情報処理装置及び方法
CN1748254B (zh) 记录和再现记录媒介上数据结构的方法及装置
MXPA06009466A (en) Information storage medium having recorded thereon text subtitle data synchronized with av data, and reproducing method and apparatus therefor
US20070122115A1 (en) Multi-av stream playback method and playback apparatus
KR20080070201A (ko) 추가적인 자막 제공 방법 및 그 재생 장치
JP2015153440A (ja) 情報処理装置、情報記録装置、情報記録媒体、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20040221

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20060119

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20040221

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061201

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070330

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070504

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070507

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100429

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110428

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120427

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130429

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140429

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150429

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160428

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170427

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180427

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20200428

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20210429

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20220428

Start annual number: 16

End annual number: 16

PR1001 Payment of annual fee

Payment date: 20230427

Start annual number: 17

End annual number: 17

PC1801 Expiration of term

Termination date: 20240821

Termination category: Expiration of duration