[go: up one dir, main page]

KR102624024B1 - 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램 Download PDF

Info

Publication number
KR102624024B1
KR102624024B1 KR1020207011133A KR20207011133A KR102624024B1 KR 102624024 B1 KR102624024 B1 KR 102624024B1 KR 1020207011133 A KR1020207011133 A KR 1020207011133A KR 20207011133 A KR20207011133 A KR 20207011133A KR 102624024 B1 KR102624024 B1 KR 102624024B1
Authority
KR
South Korea
Prior art keywords
playback
picture
random access
metadata
dynamic metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020207011133A
Other languages
English (en)
Other versions
KR20200087754A (ko
Inventor
고우이치 우치무라
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20200087754A publication Critical patent/KR20200087754A/ko
Application granted granted Critical
Publication of KR102624024B1 publication Critical patent/KR102624024B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309—Table of contents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 기술은, 랜덤 액세스 시의 부자연스러운 휘도의 변화를 방지할 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램에 관한 것이다. 본 기술의 일 측면의 정보 처리 장치는, 픽처의 휘도 정보를 포함하는 동적 메타데이터를 생성하고, HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 동적 메타데이터를 부가하도록 하여 행한다. 예를 들어, 급속 이송 재생/되돌리기 재생, 큐잉 재생 시에 있어서 랜덤 액세스 포인트로 되는, GOP의 선두 픽처에 동적 메타데이터가 부가되게 할 수 있다. 본 기술은, Blu-ray(등록상표) Disc 플레이어에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램
본 기술은, 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램에 관한 것으로, 특히, 랜덤 액세스 시의 부자연스러운 휘도의 변화를 방지할 수 있도록 한 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램에 관한 것이다.
Ultra HD Blu-ray(등록상표) Disc(UHD BD)는, 다이내믹 레인지를 확장한 비디오인 HDR(High Dynamic Range) 비디오의 수록에 대응한 BD 규격이다. SDR(Standard Dynamic Range) 비디오의 최고 휘도가 100nits(100cd/㎡)인 데 비해, HDR 비디오의 최고 휘도는, 그것을 초과하는, 예를 들어 10000nits이다.
HDR 비디오 스트림의 메타데이터로서, 픽처(프레임) 단위의 휘도 정보를 포함하는 메타데이터인 Dynamic metadata가 SMPTE ST 2094로 규정되어 있다. Dynamic metadata를 부가한 HDR 비디오 스트림의 재생 시, 플레이어측으로부터 TV측으로는, 각 픽처와 함께 Dynamic metadata가 전송된다.
TV측에 있어서는, 디스플레이의 최고 휘도가 HDR 비디오의 휘도보다 낮은 경우, BD 플레이어로부터 전송되어 온 Dynamic metadata에 기초하여, HDR 비디오의 휘도를 압축하기 위한 처리가 행해진다.
일본 특허공개 제2017-139052호 공보
HDR 비디오의 재생 중에 랜덤 액세스가 발생하는 경우가 있다. 랜덤 액세스는, 배속에서의 급속 이송 재생/되돌리기 재생인 특수 재생(트릭 플레이), 챕터 점프(큐잉) 등의, 구간을 점프해서 행하는 재생이다. 이들의 특수 재생, 챕터 점프가 유저에 의해 지시된 경우, 랜덤 액세스가 발생한다.
Dynamic metadata가 부가되지 않은 경우 등과 같이, 랜덤 액세스에 의한 점프처의 픽처의 상태에 따라서는, 휘도의 변화가 부자연스러워지는 경우가 있다.
본 기술은 이러한 상황을 감안하여 이루어진 것으로, 랜덤 액세스 시의 부자연스러운 휘도의 변화를 방지할 수 있도록 하는 것이다.
본 기술의 제1 측면의 정보 처리 장치는, 픽처의 휘도 정보를 포함하는 동적 메타데이터를 생성하는 생성부와, HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 상기 동적 메타데이터를 부가하도록 하여 행하는 부호화부를 구비한다.
본 기술의 제2 측면의 재생 장치는, 픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하는 재생부와, 랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고, 상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는 출력 제어부를 구비한다.
본 기술의 제1 측면에 있어서는, 픽처의 휘도 정보를 포함하는 동적 메타데이터가 생성되고, HDR 비디오의 데이터의 부호화가, 랜덤 액세스 포인트로 되는 픽처의 각각에 상기 동적 메타데이터를 부가하도록 하여 행해진다.
본 기술의 제2 측면에 있어서는, 픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생이 행해지고, 랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터가 부가되고, 상기 랜덤 액세스 재생 시용 메타데이터가 부가된 상기 픽처가 표시 장치에 출력된다.
본 기술에 의하면, 랜덤 액세스 시의 부자연스러운 휘도의 변화를 방지할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 HDR 콘텐츠의 재생 시스템의 구성예를 나타내는 도면이다.
도 2는 HDR 비디오의 휘도 압축에 사용되는 톤 커브의 예를 나타내는 도면이다.
도 3은 SMPTE ST 2094-40에서 규정되는 Dynamic metadata를 나타내는 도면이다.
도 4는 BD의 파일 구조를 나타내는 도면이다.
도 5는 AV 스트림의 구조예를 나타내는 도면이다.
도 6은 Dynamic metadata의 전송예를 나타내는 도면이다.
도 7은 랜덤 액세스 재생의 예를 나타내는 도면이다.
도 8은 랜덤 액세스 재생 시의 표시예를 나타내는 도면이다.
도 9는 HDR 비디오 스트림을 구성하는 GOP의 예를 나타내는 도면이다.
도 10은 BD-ROM 포맷에 있어서의 AV 스트림의 관리 구조의 예를 나타내는 도면이다.
도 11은 Main Path와 Sub Path의 구조를 나타내는 도면이다.
도 12는 파일의 관리 구조의 예를 나타내는 도면이다.
도 13은 기록 장치의 구성예를 나타내는 블록도이다.
도 14는 도 13의 컨트롤러의 기능 구성예를 나타내는 블록도이다.
도 15는 재생 장치의 구성예를 나타내는 블록도이다.
도 16은 TV의 구성예를 나타내는 블록도이다.
도 17은 기록 장치의 기록 처리에 대하여 설명하는 흐름도이다.
도 18은 재생 장치의 재생 처리에 대하여 설명하는 흐름도이다.
도 19는 HDR 비디오 스트림의 예를 나타내는 도면이다.
도 20은 Clip Information의 신택스를 나타내는 도면이다.
도 21은 CPI()의 신택스를 나타내는 도면이다.
도 22는 EP_map()의 신택스를 나타내는 도면이다.
도 23은 EP_map_for_one_stream_PID의 신택스를 나타내는 도면이다.
도 24는 기록 장치의 기록 처리에 대하여 설명하는 흐름도이다.
도 25는 랜덤 액세스 재생 시의 메타데이터의 전송예를 나타내는 도면이다.
도 26은 휘도 압축 후의 표시를 나타내는 도면이다.
도 27은 도 15의 컨트롤러의 기능 구성예를 나타내는 블록도이다.
도 28은 재생 장치의 다른 재생 처리에 대하여 설명하는 흐름도이다.
도 29는 TV의 표시 처리에 대하여 설명하는 흐름도이다.
도 30은 랜덤 액세스 재생의 예를 나타내는 도면이다.
도 31은 재생 장치의 또 다른 재생 처리에 대하여 설명하는 흐름도이다.
도 32는 HDR 콘텐츠의 재생 시스템의 구성예를 나타내는 도면이다.
도 33은 재생 장치의 다른 구성예를 나타내는 도면이다.
도 34는 HDR 콘텐츠의 다른 재생 시스템의 구성예를 나타내는 도면이다.
도 35는 컴퓨터의 구성예를 나타내는 블록도이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.
1. HDR 비디오용 메타데이터
2. 랜덤 액세스 재생 시의 휘도 변화
3. 제1 실시 형태(부호화의 제한예)
4. 제2 실시 형태(디폴트 메타데이터를 사용하는 예)
5. 재생 시스템의 구성예
6. 그 밖의 예
<<HDR 비디오용 메타데이터>>
도 1은, HDR 콘텐츠의 재생 시스템의 구성예를 나타내는 도면이다.
도 1의 재생 시스템은, 재생 장치(1)와 TV(텔레비전 수상기)(2)가, HDMI(등록상표)(High-Definition Multimedia Interface) 2.0a, HDMI 2.1 등의 소정의 규격의 케이블로 접속됨으로써 구성된다. 재생 장치(1)와 TV(2)가, 무선의 인터페이스를 통해 접속되게 해도 된다.
재생 장치(1)는, UHD BD 플레이어 등의, HDR 콘텐츠의 재생에 대응한 장치이다. 재생 장치(1)의 드라이브에는, HDR 콘텐츠를 기록한 BD가 장착된다. 재생 장치(1)가 재생하는 콘텐츠에는, HDR 비디오의 데이터 외에, 오디오 데이터도 포함된다.
TV(2)는, 방송파나 네트워크를 전송로로 하여 전송되어 온 프로그램을 수신하여 표시하는 기능 외에, 외부로부터 입력된 비디오를 표시하는 기능을 갖는다. TV(2)가 갖는 표시 디바이스는, 휘도가 100nits를 초과하는 HDR 비디오의 표시에 대응한 디스플레이이다.
HDR 비디오의 전송을 개시하기 전, 재생 장치(1)와 TV(2)는, 각각의 성능에 관한 정보를 송수신하거나 하여, HDMI의 전송 설정(configuration)을 행한다. 예를 들어, 재생 장치(1)로부터 TV(2)에 대해서는, HDR 비디오의 전송을 행하는 것이 통지된다. 또한, TV(2)로부터 재생 장치(1)에 대해서는, TV(2)의 디스플레이의 최고 휘도가 통지된다.
전송 설정 후, 재생 장치(1)는, BD로부터 판독한 HDR 비디오 스트림을 디코드하여, HDR 비디오의 각 픽처를 TV(2)에 출력한다. TV(2)는, 재생 장치(1)로부터 전송되어 온 각 픽처를 수신하여, 표시시킨다.
이때, TV(2)에 있어서는, 디스플레이의 성능에 따라서, 적절히 재생 장치(1)로부터 전송되어 온 HDR 비디오의 휘도를 조정(압축)하는 처리가 행해진다. 휘도 압축은, 재생 장치(1)가 출력하는 HDR 비디오의 휘도가, TV(2)의 디스플레이의 최고 휘도보다 높은 경우에 행해진다.
도 1의 예에 있어서는, 재생 장치(1)가 출력하는 HDR 비디오의 휘도가 1000nits이며, TV(2)의 디스플레이의 최고 휘도가 500nits인 것으로 되어 있다.
도 2는, HDR 비디오의 휘도 압축에 사용되는 톤 커브의 예를 나타내는 도면이다.
도 2의 횡축은 입력 신호의 휘도를 나타내고, 종축은 출력(표시)의 휘도를 나타낸다. 예를 들어, SMPTE ST 2084에서 규정되는 PQ(Perceptual Quantization) 커브를 사용한 EOTF(Electro-Optical Transfer Function) 처리가 TV(2)측에서 행해지고, HDR 비디오의 휘도가, 디스플레이의 최고 휘도인 500nits의 범위에 들도록 압축된다.
또한, 도 2에 있어서 화살표의 끝에 나타낸, 명암의 표현이 리니어가 아니게 되는 포인트가, knee point라 불린다.
이와 같이, 도 1의 재생 시스템에 있어서는, 재생 장치(1)가 출력하는 HDR 비디오의 휘도에 비해서 TV(2)의 디스플레이가 충분한 휘도를 갖고 있지 않은 경우, TV(2)측에서 휘도 압축이 행해진다.
재생 장치(1)로부터 TV(2)에 대해서는, 휘도 압축을 위한 보조 정보로서, 콘텐츠의 휘도 정보를 포함하는 메타데이터가 전송된다. 예를 들어, Dynamic metadata가 재생 장치(1)로부터 TV(2)에 대해서 전송된다.
Dynamic metadata는, 콘텐츠의 휘도 정보를 픽처 단위로 동적으로 표현하는 메타데이터이며, SMPTE ST 2094로서 표준화되어 있다.
도 3은, SMPTE ST 2094-40에서 규정되는 Dynamic metadata를 나타내는 도면이다.
도 3의 1행째에 나타낸 바와 같이, Dynamic metadata에는, 프레임에 설정된 Window의 정보가 기술된다. Window는, 프레임 내에 설정된 직사각형 영역이다. 1 프레임 내에 최대 세 Window를 설정하는 것이 가능해진다.
2 내지 14행째에 나타낸 각 파라미터가, 프레임에 설정된 Window별로 기술된다.
Window size, Window location은, Window의 사이즈와 위치를 나타낸다.
Internal Ellipse size, Internal Ellipse location은, Window 내에 설정된 두 타원 중 내측 타원의 사이즈와 위치를 나타낸다. Window 내에 타원을 설정하여, 타원 내의 휘도를 지정할 수 있게 되어 있다.
External Ellipse size, External Ellipse location은, Window 내에 설정된 두 타원 중 외측 타원의 사이즈와 위치를 나타낸다.
Rotation angle은, Window 내에 설정된 두 타원의 기울기를 나타낸다.
Overlap process option은, 타원 내의 화소의 처리 방법을 나타낸다.
maxscl은, Window 중 가장 밝은 픽셀의 RGB값을 나타낸다.
average max rgb는, Window 중의 각 픽셀의 R, G, B 중 가장 큰 값의 평균을 나타낸다.
Distribution max rgb percentages는, Window 중 밝은 휘도의 랭킹을 퍼센티지에 의해 나타낸다.
Distribution max rgb percentiles는, Window 중의 밝은 휘도의 랭킹을 순위(퍼센타일)에 의해 나타낸다.
Fraction bright pixels는, 씬(scene) 내의 최대의 휘도값이 출력되는 정도를 나타낸다.
Knee point는, 상술한 knee point의 휘도값을 나타낸다.
Bezier curve anchors는, knee point를 초과하는 밝기의 샘플 x, y를 나타낸다.
Color saturation weight는, 상정하는 디스플레이(Target display)에 있어서 휘도 압축을 행했을 때 변화한 RGB값의 보정에 사용하는 값을 나타낸다.
Target System display max luminance는, 상정하는 디스플레이의 휘도를 나타낸다. Target System display max luminance에 의해, 이러한 디스플레이로 표시되는 것을 상정하여 콘텐츠를 만들었다는 것이 지정된다.
Local display luminance는, 디스플레이를 종횡 2×2로부터 25×25까지의 에어리어로 분할한 경우의, 각각의 에어리어의 최대의 휘도값을 나타낸다.
Local mastering display luminance는, mastering display를 종횡 2×2로부터 25×25까지의 에어리어로 분할한 경우의, 각각의 에어리어의 최대의 휘도값을 나타낸다.
이와 같이, Dynamic metadata에 있어서는, 1 내지 15행째의 파라미터에 의해 프레임(프레임 내의 Window)의 속성이 나타난다. 또한, 16행째와 17행째의 파라미터에 의해, 상정하는 디스플레이의 속성이 나타나고, 18행째의 파라미터에 의해, 콘텐츠의 작성에 사용된 디스플레이의 속성이 나타난다.
도 4는, BD의 파일 구조를 나타내는 도면이다.
도 4의 광 디스크(11)는, HDR 비디오의 콘텐츠를 BD 포맷으로 기록한 기록 매체이다.
상세에 대해서는 후술하지만, BDMV 디렉토리 아래에 설정되는 STREAM 디렉토리에는, m2ts라는 확장자가 설정된 AV 스트림 파일이 저장된다.
AV 스트림 파일은, HDR 비디오 스트림, 오디오 스트림, 자막 스트림 등을 MPEG-2로 다중화하여 얻어진 MPEG-2 TS의 파일이다. 도 4의 예에 있어서는, 「01000.m2ts」, 「02000.m2ts」, 「03000.m2ts」라는 AV 스트림 파일이 STREAM 디렉토리에 저장되어 있다.
HDR 비디오 스트림은, 예를 들어 HEVC(High Efficiency Video Coding)의 부호화 스트림이다. Dynamic metadata는, HEVC의 SEI(Supplemental Enhancement Information) 메시지로서 HDR 비디오 스트림에 포함된다.
도 5는, 도 4에 있어서 프레임 F1로 둘러싸서 나타내는 「03000.m2ts」라는 AV 스트림의 구조예를 나타내는 도면이다.
도 5의 최상단에 나타낸 바와 같이, 「03000.m2ts」라는 AV 스트림은, 비디오, 오디오, 자막 등의 각각의 데이터를 저장하는 TS packet으로 구성된다. 비디오의 TS packet을 모아서 Video Elementary stream이 구성된다.
Video Elementary stream은 Access Unit의 배열로 구성되고, 하나의 Access Unit이, HDR 비디오의 1픽처의 데이터로 된다. 각각의 Access Unit에는, AU delimiter에 이어, SPS, PPS 등의 파라미터가 포함됨과 함께, 프레임 F11로 둘러싸서 나타낸 바와 같이, SEI 메시지가 포함된다.
SEI 메시지에, 상술한 Dynamic metadata가 포함된다. 또한, SEI 메시지의 다음에는, HDR 비디오의 데이터가 Picture data로서 포함된다.
이와 같이, BD에 있어서는, Dynamic metadata는, 각 픽처에 부가하는 형태로 HDR 비디오 스트림에 포함되고, 오디오 스트림 등과 함께 다중화된다.
또한, HDR 비디오 스트림을 구성하는 픽처 중에, Dynamic metadata가 부가되지 않은 픽처가 포함되는 경우도 있다.
도 6은, Dynamic metadata의 전송예를 나타내는 도면이다.
도 6에 도시한 바와 같이, Dynamic metadata는, HDR 비디오 스트림을 디코드하여 얻어진 각 픽처에 관련지어서, 재생 장치(1)로부터 TV(2)로 전송된다. TV(2)에 있어서는, 각 픽처의 휘도 압축이, 각 픽처와 함께 전송되어 온 Dynamic metadata에 기초하여 행해진다.
<<랜덤 액세스 재생 시의 휘도 변화>>
재생 장치(1)는, 랜덤 액세스를 수반하는 재생 방식인 랜덤 액세스 재생을 행하는 기능을 갖는다.
랜덤 액세스는, HDR 비디오 스트림을 구성하는 픽처의 배열에 있어서, 재생 대상으로 하는 픽처를, 어떤 픽처로부터, 인접하는 픽처 이외의 다른 픽처로 점프하는 것을 의미한다.
랜덤 액세스 재생에는, 특수 재생과 큐잉 재생이 포함된다. 특수 재생은, 5배속, 8배속 등의 소정의 배속에서의 급속 이송 재생/되돌리기 재생을 의미한다. 또한, 큐잉 재생은, 챕터가 설정된 픽처나 소정의 시간 후의 픽처로 점프하여, 점프처의 픽처로부터 재생을 행하는 재생 방식을 의미한다.
도 7은, 랜덤 액세스 재생의 예를 나타내는 도면이다.
예를 들어, 재생 대상이 되는 픽처가 픽처 P1이 된 타이밍에 큐잉 재생이 지시되고, 도 7의 화살표 A1로 나타낸 바와 같이, 픽처 P1로부터 픽처 P2로 점프하는 경우에 대하여 설명한다.
큐잉 재생이 지시되기 전, 픽처 P1보다 전(좌측)의 각 픽처는, 각각에 부가되어 있는 Dynamic metadata와 함께 TV(2)에 출력된다. 또한, 픽처 P1은, 픽처 P1에 부가되어 있는 Dynamic metadata와 함께 TV(2)에 출력된다.
또한, 큐잉 재생이 지시된 경우, 픽처 P2는, TV(2)측에 있어서 픽처 P2의 휘도 압축에 사용하기 위한 메타데이터와 함께 출력된다. 여기서, 쌍방향 화살표로 나타낸 바와 같이, 픽처 P2가 Dynamic metadata가 부가되지 않은 구간 내의 픽처인 경우, 픽처 P2와 함께 출력하는 메타데이터로서 각종 메타데이터가 생각된다.
예를 들어, 픽처 P2와 함께, 점프원의 픽처인 픽처 P1의 Dynamic metadata가 재생 장치(1)로부터 TV(2)로 출력되도록 하는 것이 생각된다. 이 경우, TV(2)에 있어서는, 픽처 P2의 휘도 압축이, 픽처 P1의 Dynamic metadata에 기초하여 행해진다.
또한, 픽처 P2와 함께, Dynamic metadata가 부가되어 있는, 픽처 P2의 직전의 픽처인 픽처 P3의 Dynamic metadata가 재생 장치(1)로부터 TV(2)로 출력되도록 하는 것이 생각된다. 이 경우, TV(2)에 있어서는, 픽처 P2의 휘도 압축이, 픽처 P3의 Dynamic metadata에 기초하여 행해진다.
어느 경우에 있어서도, HDR 콘텐츠의 제작자가 의도하지 않은 휘도 압축이 점프처의 픽처 P2에 실시되어버릴 가능성이 있다. 그에 의해, 픽처 P2의 외관이, HDR 콘텐츠의 제작자가 상정한 외관과 상이한 외관이 되어버린다.
도 8은, 랜덤 액세스 재생 시의 표시예를 나타내는 도면이다.
도 8의 횡축은 시각을 나타낸다. 픽처 P11, P12, P13의 순으로 재생 장치(1)로부터 TV(2)로 전송되고, TV(2)에 있어서 휘도 압축이 행해진다.
픽처 P11, P12, P13의 각각에는, 예를 들어 8배속에서의 급속 이송 재생이 유저에 의해 지시됨에 따라서, OSD 화상 p11, p12, p13이 재생 장치(1)에 있어서 합성된다. 도 8의 예에 있어서는, 급속 이송 재생을 나타내는 두 삼각형의 화상과, 8배속의 문자를 포함하는 가로로 긴 띠 형상의 화상을 조합한 화상이 OSD 화상으로서 표시되어 있다.
되돌리기 재생이 지시된 경우도 마찬가지의 OSD 화상이 표시된다. 또한, 큐잉 재생이 지시된 경우도, 점프처의 챕터 번호를 포함하는 OSD 화상 등이 표시된다.
예를 들어, 픽처 P12가, 픽처 P11, P13보다도 고휘도의 씬을 구성하는 픽처인 것으로 한다.
OSD 화상 p11이 합성된 픽처 P11의 휘도 압축은, 픽처 P11과 함께 전송된 Dynamic metadata에 의해 표시되는 톤 커브 C1에 기초하여 행해진다. OSD 화상 p12가 합성된 픽처 P12의 휘도 압축은, 픽처 P12와 함께 전송된 Dynamic metadata에 의해 표시되는 톤 커브 C2에 기초하여 행해진다. OSD 화상 p13이 합성된 픽처 P13의 휘도 압축은, 픽처 P13과 함께 전송된 Dynamic metadata에 의해 표시되는 톤 커브 C3에 기초하여 행해진다.
고휘도의 씬을 구성하는 픽처 P12의 휘도 압축에 사용되는 톤 커브 C2는, 픽처 P11의 휘도 압축에 사용되는 톤 커브 C1, 픽처 P13의 휘도 압축에 사용되는 톤 커브 C3과 비교하여, 휘도를 강하게 압축하는 것으로 된다. OSD 화상 p12의 휘도도, 픽처 P11, P13 위의 OSD 화상의 휘도보다 강하게 압축된다.
따라서, 휘도 압축 후의 각 픽처의 OSD 화상의 외관을 비교한 경우, 도 8에 도시한 바와 같이, 픽처 P12 위의 OSD 화상 p12는, 픽처 P11, P13 위의 OSD 화상보다 휘도가 낮은 상태로 표시된다. 도 8에 있어서, OSD 화상 p12를 옅은 색을 입혀 나타내고 있는 것은, 픽처 P11, P13 위의 OSD 화상보다 휘도가 낮음을 나타낸다.
픽처 P11 내지 P13이 차례로 표시된 경우, 픽처 P12의 표시의 타이밍에 OSD 화상의 휘도가 한 단계 낮아져서, 휘도의 압축 정도에 따라서는 부자연스러운 외관이 된다. 예를 들어, 휘도의 변화가 큰 씬이 연속되는 경우, OSD 화상이 점멸하여 보이게 되어버린다.
이와 같이, Dynamic metadata를 포함하는 HDR 비디오 스트림의 랜덤 액세스 재생을 행하는 경우, 점프처의 픽처에 Dynamic metadata가 부가되지 않을 때의 HDR 비디오의 외관이 부자연스러워지는 경우가 있다. 또한, HDR 비디오에 겹쳐서 표시되는 OSD 화상의 외관이 부자연스러워지는 경우가 있다.
<<제1 실시 형태(부호화의 제한의 예)>>
<GOP의 선두 픽처에 Dynamic metadata를 반드시 부가하는 예>
도 9는, HDR 비디오 스트림을 구성하는 GOP의 예를 나타내는 도면이다.
광 디스크(11)에 기록되어 있는 HDR 비디오 스트림은, 예를 들어 HEVC(High Efficiency Video Coding)의 부호화 스트림이며, GOP 단위의 픽처로 구성된다. 도 9의 예에 있어서는, GOP1과 GOP2가 도시되어 있다.
HDR 비디오 스트림을 구성하는 픽처 중 적어도, GOP1의 선두 픽처인 픽처 P1과 GOP2의 선두 픽처인 픽처 P2에는 Dynamic metadata가 부가되어 있다. 표시순으로 GOP의 선두 픽처인 픽처 P1과 픽처 P2는, 랜덤 액세스 포인트로 되는 픽처이다.
즉, 광 디스크(11)에 기록된 HDR 비디오 스트림은, 랜덤 액세스 포인트의 픽처에, Dynamic metadata를 반드시 부가한다는 제한에 따라서 생성된 스트림이다.
급속 이송 재생과 되돌리기 재생은, 예를 들어 각각의 GOP의 선두 픽처만을 차례로 재생하도록 하여 행해진다. 재생 장치(1)는, 랜덤 액세스 포인트로 되는 각각의 GOP의 선두 픽처를, 각각의 GOP의 선두 픽처에 부가되어 있는 Dynamic metadata와 함께 TV(2)에 출력한다.
또한, 큐잉 재생은, 소정의 GOP의 선두 픽처로부터 재생하도록 해서 행해진다. 재생 장치(1)는, 랜덤 액세스 포인트로 되는 소정의 GOP의 선두 픽처를, 그 픽처에 부가되어 있는 Dynamic metadata와 함께 TV(2)에 출력한다.
TV(2)에 있어서는, 랜덤 액세스 포인트로 되는 GOP의 선두 픽처 휘도 압축이, GOP의 선두 픽처와 함께 전송되어 온 Dynamic metadata에 기초하여 행해진다. 휘도 압축 후의 픽처가 표시됨으로써, 급속 이송 재생/되돌리기 재생 또는 큐잉 재생이 실현된다.
이와 같이, 랜덤 액세스 포인트의 픽처에 Dynamic metadata가 반드시 부가되도록 함으로써, 점프처의 픽처의 휘도 압축이, HDR 콘텐츠의 제작자가 의도하지 않은 형태로 행해지는 것을 방지할 수 있다.
또한, 광 디스크(11)에 기록되어 있는 HDR 비디오 스트림이 HEVC의 부호화 스트림인 것으로 하였지만, AVC(H.264/MPEG-4 AVC(Advanced Video Coding)) 등의, 다른 방식으로 부호화됨으로써 생성된 스트림이어도 된다.
AVC의 비디오 스트림에는, CVS(Coded Video Sequence) 등의, 부호화의 단위를 구성하는 유닛이 있다. AVC의 비디오 스트림은, 랜덤 액세스 포인트로 되는 CVS의 선두 픽처에는 Dynamic metadata를 반드시 부가한다는 제한에 따라서 부호화가 행해짐으로써 생성된다.
또한, 랜덤 액세스 포인트의 픽처에 Dynamic metadata를 반드시 부가한다는 제한에 따라서 생성되는 HDR 비디오 스트림이, 광 디스크(11)에 기록되는 것이 아니라, 인터넷 등의 네트워크를 통해서 배신되게 해도 된다. 이러한 제한에 따라서 생성된 HDR 비디오 스트림의 배신이 행해지는 시스템의 구성에 대해서는 후술한다.
<BD 포맷>
여기서, BD-ROM 포맷에 대하여 설명한다.
·데이터의 관리 구조
도 10은, BD-ROM 포맷에 있어서의 AV 스트림의 관리 구조의 예를 나타내는 도면이다.
AV 스트림의 관리는, PlayList와 Clip의 두 레이어를 사용하여 행해진다. AV 스트림은, 광 디스크(11)뿐만 아니라, 재생 장치(1)의 로컬 스토리지에 기록되는 경우도 있다.
하나의 AV 스트림과, 그에 부수되는 정보인 Clip Information의 페어가 하나의 오브젝트로서 관리된다. AV 스트림과 Clip Information의 페어를 Clip이라 한다.
AV 스트림은 시간축 상에 전개되고, 각 Clip의 액세스 포인트는, 주로 타임 스탬프로 PlayList에 있어서 지정된다. Clip Information은, AV 스트림 중의 디코드를 개시해야 할 어드레스를 찾기 위한 경우 등에 사용된다.
PlayList는 AV 스트림의 재생 구간의 집합이다. AV 스트림 중의 하나의 재생 구간은 PlayItem이라 불린다. PlayItem은, 시간축 상의 재생 구간의 IN점과 OUT점의 페어로 표시된다. 도 10에 도시한 바와 같이, PlayList는 하나 또는 복수의 PlayItem에 의해 구성된다.
도 10의 좌로부터 1번째의 PlayList는 두 PlayItem으로 구성되고, 그 두PlayItem에 의해, 좌측의 Clip에 포함되는 AV 스트림의 전반 부분과 후반 부분이 각각 참조된다.
좌로부터 2번째의 PlayList는 하나의 PlayItem으로 구성되고, 그에 의해, 우측의 Clip에 포함되는 AV 스트림 전체가 참조된다.
좌로부터 3번째의 PlayList는 두 PlayItem으로 구성되고, 그 두 PlayItem에 의해, 좌측의 Clip에 포함되는 AV 스트림이 있는 부분과, 우측의 Clip에 포함되는 AV 스트림이 있는 부분이 각각 참조된다.
예를 들어, 좌로부터 1번째의 PlayList에 포함되는 좌측의 PlayItem이 재생 대상으로서 디스크 내비게이션 프로그램에 의해 지정된 경우, 그 PlayItem이 참조하는, 좌측의 Clip에 포함되는 AV 스트림의 전반 부분의 재생이 행해진다.
PlayList 중에서, 하나 이상의 PlayItem의 배열에 의해 만들어지는 재생 패스를 메인 패스(Main Path)라 한다. 또한, PlayList 중에서, Main Path에 병행하여, 하나 이상의 SubPlayItem의 배열에 의해 만들어지는 재생 패스를 서브 패스(Sub Path)라 한다.
도 11은, Main Path와 Sub Path의 구조를 나타내는 도면이다.
PlayList는, 하나의 Main Path와 하나 이상의 Sub Path를 갖는다. 도 11의 PlayList는, 세 PlayItem의 배열에 의해 만들어지는 하나의 Main Path와 세 Sub Path를 갖는다.
Main Path를 구성하는 PlayItem에는, 선두로부터 차례로 각각 ID가 설정된다. Sub Path에도, 선두로부터 차례로 Subpath_id=0, Subpath_id=1, 및Subpath_id=2라는 ID가 설정된다.
도 11의 예에 있어서는, Subpath_id=0의 Sub Path에는 하나의 SubPlayItem이 포함되고, Subpath_id=1의 Sub Path에는 두 SubPlayItem이 포함된다. 또한, Subpath_id=2의 Sub Path에는 하나의 SubPlayItem이 포함된다.
하나의 PlayItem이 참조하는 AV 스트림에는, 적어도 비디오 스트림이 포함된다. AV 스트림에는, AV 스트림에 포함되는 비디오 스트림과 동일한 타이밍에(동기하여) 재생되는 오디오 스트림이 하나 이상 포함되어도 되고, 포함되지 않아도 된다.
AV 스트림에는, AV 스트림에 포함되는 비디오 스트림과 동기하여 재생되는 비트맵의 자막(PG(Presentation Graphic))의 스트림이 하나 이상 포함되어도 되고, 포함되지 않아도 된다.
AV 스트림에는, AV 스트림 파일에 포함되는 비디오 스트림과 동기하여 재생되는 IG(Interactive Graphic)의 스트림이 하나 이상 포함되어도 되고, 포함되지 않아도 된다. IG의 스트림은, 유저에 의해 조작되는 버튼 등의 그래픽을 표시시키기 위해서 사용된다.
하나의 PlayItem이 참조하는 AV 스트림에는, 비디오 스트림과, 그것과 동기하여 재생되는 오디오 스트림, PG 스트림, 및 IG 스트림이 다중화된다.
또한, 하나의 SubPlayItem은, PlayItem이 참조하는 AV 스트림과는 다른 스트림인, 비디오 스트림, 오디오 스트림, PG 스트림 등을 참조한다.
이와 같이, AV 스트림의 재생은 PlayList와 Clip Information을 사용하여 행해진다. AV 스트림의 재생을 관리하기 위해서 사용되는 재생 제어 정보인 Index table, PlayList, Clip Information을, 적절히 Data Base 정보라 한다.
·디렉토리 구조
도 12는, 광 디스크(11)에 기록되는 파일의 관리 구조의 예를 나타내는 도면이다.
광 디스크(11)에 기록되는 각 파일은 디렉토리 구조에 의해 계층적으로 관리된다. 광 디스크(11)상에는 하나의 root 디렉토리가 작성된다.
root 디렉토리 아래에는 BDMV 디렉토리가 놓인다.
BDMV 디렉토리 아래에는, 「Index.bdmv」라는 이름이 설정된 파일인 Index table 파일과, 「MovieObject.bdmv」라는 이름이 설정된 파일인 MovieObject 파일이 저장된다. Index table 파일에는 Index table이 기술된다.
BDMV 디렉토리 아래에는, PLAYLIST 디렉토리, CLIPINF 디렉토리, STREAM 디렉토리 등이 마련된다.
PLAYLIST 디렉토리에는, PlayList를 기술한 PlayList 파일이 저장된다. 각PlayList 파일에는, 5자리 숫자와 확장자 「.mpls」를 조합한 이름이 설정된다. 도 12에 도시한 세 PlayList 파일에는 「00000.mpls」, 「00001.mpls」, 「00002.mpls」라는 파일명이 설정되어 있다.
CLIPINF 디렉토리에는 Clip Information 파일이 저장된다. 각 Clip Information 파일에는, 5자리 숫자와 확장자 「.clpi」를 조합한 이름이 설정된다. 도 12의 세 Clip Information 파일에는, 각각, 「01000.clpi」, 「02000.clpi」, 「03000.clpi」라는 파일명이 설정되어 있다.
STREAM 디렉토리에는, 상술한 AV 스트림의 파일이 저장된다. 각 AV 스트림 파일에는, 5자리 숫자와 확장자 「.m2ts」를 조합한 이름이 설정된다. 도 12의 세 AV 스트림 파일에는, 각각, 「01000.m2ts」, 「02000.m2ts」, 「03000.m2ts」라는 파일명이 설정되어 있다.
동일한 5자리 숫자가 파일명으로 설정되어 있는 Clip Information 파일과 AV 스트림 파일이 하나의 Clip을 구성하는 파일로 된다. 「01000.m2ts」라는 AV 스트림 파일의 재생 시에는 「01000.clpi」라는 Clip Information 파일이 사용되고, 「02000.m2ts」라는 AV 스트림 파일의 재생 시에는 「02000.clpi」라는 Clip Information 파일이 사용된다.
<각 장치의 구성>
·기록 장치의 구성
도 13은, 기록 장치(3)의 구성예를 나타내는 블록도이다.
상술한 바와 같은 BD인 광 디스크(11)가, 도 13의 기록 장치(3)에 있어서 작성된다. 기록 장치(3)는, HDR 콘텐츠의 오소링(authorimg) 시에 사용되는 장치이다.
기록 장치(3)는, 컨트롤러(21), 부호화 처리부(22) 및 디스크 드라이브(23)로 구성된다. 마스터로 되는 비디오가 부호화 처리부(22)에 입력된다.
컨트롤러(21)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등에 의해 구성된다. 컨트롤러(21)는, 소정의 프로그램을 실행하여, 기록 장치(3)의 전체 동작을 제어한다.
부호화 처리부(22)는, 마스터의 비디오 부호화를 행하여, HDR 비디오 스트림을 생성한다. HDR 비디오 스트림의 생성 시에 각 픽처에 부가되어, SEI 메시지로서 부호화되는 Dynamic metadata는 컨트롤러(21)로부터 공급된다.
부호화 처리부(22)에 의한 부호화가, 랜덤 액세스 포인트의 픽처에 Dynamic metadata를 반드시 부가한다는 제한에 따라서 행해진다.
또한, 부호화 처리부(22)는, 적절히 메뉴의 화상의 부호화를 행함으로써 IG 스트림을 생성하고, 자막 데이터의 부호화를 행함으로써 PG 스트림을 생성한다. 부호화 처리부(22)에 대해서는, 메뉴의 화상이나 자막 데이터 등의 정보도 입력된다.
부호화 처리부(22)는, 부호화를 행함으로써 얻어진 HDR 비디오 스트림, IG 스트림, PG 스트림을, 오디오 스트림 등과 함께 다중화함으로써, Clip을 구성하는 AV 스트림을 생성한다. 부호화 처리부(22)는, 생성한 AV 스트림을 디스크 드라이브(23)에 출력한다.
디스크 드라이브(23)는, 컨트롤러(21)로부터 공급된 Data Base 정보의 각 파일과, 부호화 처리부(22)로부터 공급된 AV 스트림의 파일을 도 12의 디렉토리 구조에 따라서 광 디스크(11)에 기록한다.
도 14는, 컨트롤러(21)의 기능 구성예를 나타내는 블록도이다.
컨트롤러(21)에 있어서는, Dynamic metadata 생성부(31), 부호화 제어부(32), Data Base 정보 생성부(33) 및 기록 제어부(34)가 실현된다. 도 14에 도시한 기능부 중 적어도 일부는, 컨트롤러(21)의 CPU에 의해 소정의 프로그램이 실행됨으로써 실현된다.
Dynamic metadata 생성부(31)는, 콘텐츠의 제작자에 의한 입력에 따라서 각 파라미터의 값을 설정하여, Dynamic metadata를 생성한다. Dynamic metadata 생성부(31)는, 생성한 Dynamic metadata를 부호화 제어부(32)에 출력한다.
부호화 제어부(32)는, Dynamic metadata 생성부(31)에 의해 생성된 Dynamic metadata를 부호화 처리부(22)에 출력하고, HDR 비디오의 각 픽처의 부호화를 행하게 한다. 또한, 부호화 제어부(32)는, 메뉴 데이터, 자막 데이터의 부호화를 부호화 처리부(22)에 행하게 한다.
Data Base 정보 생성부(33)는, 콘텐츠의 제작자에 의한 입력에 따라서, Index table, PlayList, Clip Information 등의 Data Base 정보를 생성한다. Data Base 정보 생성부(33)는, 생성한 Data Base 정보의 파일을 기록 제어부(34)에 출력한다. Data Base 정보 생성부(33)에 의해 생성된 Data Base 정보는, 적절히 부호화 제어부(32)에 공급되어, 부호화를 제어하는 데 사용된다.
기록 제어부(34)는, Data Base 정보 생성부(33)에 의해 생성된 Data Base 정보의 파일을 디스크 드라이브(23)에 출력하여, 광 디스크(11)에 기록시킨다.
이와 같이, 기록 장치(3)는, Dynamic metadata를 생성함과 함께, 랜덤 액세스 포인트의 픽처에 Dynamic metadata를 반드시 부가한다는 제한에 따라서 부호화를 행함으로써 HDR 비디오 스트림을 생성하는 정보 처리 장치로서 기능한다.
·재생 장치의 구성
도 15는, 재생 장치(1)의 구성예를 나타내는 블록도이다.
재생 장치(1)는, 컨트롤러(51), 디스크 드라이브(52), 메모리(53), 로컬 스토리지(54), 통신부(55), 복호 처리부(56), 조작 입력부(57), 및 외부 출력부(58)로 구성된다.
컨트롤러(51)는, CPU, ROM, RAM 등에 의해 구성된다. 컨트롤러(51)는, 소정의 프로그램을 실행하고, 재생 장치(1)의 전체 동작을 제어한다.
디스크 드라이브(52)는, 광 디스크(11)에 기록되어 있는 데이터를 판독하여, 컨트롤러(51), 메모리(53), 또는 복호 처리부(56)에 출력한다. 예를 들어, 디스크 드라이브(52)는, 광 디스크(11)로부터 판독한 Data Base 정보를 컨트롤러(51)에 출력하고, AV 스트림을 복호 처리부(56)에 출력한다.
메모리(53)는, 컨트롤러(51)가 실행하는 프로그램 등, 컨트롤러(51)가 각종 처리를 실행함에 있어서 필요한 데이터를 기억한다.
로컬 스토리지(54)는, HDD(Hard Disk Drive), SSD(Solid State Drive) 등의 기록 매체에 의해 구성된다. 로컬 스토리지(54)에는, 서버로부터 다운로드된 스트림 등이 기록된다.
통신부(55)는, 무선 LAN, 유선 LAN 등의 인터페이스이다. 예를 들어, 통신부(55)는, 인터넷 등의 네트워크를 통해 서버와 통신을 행하고, 서버로부터 다운로드한 데이터를 로컬 스토리지(54)에 공급한다.
복호 처리부(56)는, 디스크 드라이브(52)로부터 공급된 AV 스트림에 다중화되어 있는 HDR 비디오 스트림을 복호하고, 복호하여 얻어진 HDR 비디오의 데이터를 외부 출력부(58)에 출력한다.
또한, 복호 처리부(56)는, AV 스트림에 다중화되어 있는 오디오 스트림을 복호하고, 복호하여 얻어진 오디오 데이터를 외부 출력부(58)에 출력한다. 비디오의 재생에 대하여 주로 설명하고 있지만, 이와 같이, 재생 장치(1)가 재생하는 HDR 콘텐츠에는 오디오 데이터도 포함된다.
조작 입력부(57)는, 버튼, 터치 패널 등의 입력 디바이스나, 리모트 컨트롤러로부터 송신되는 적외선 등의 신호를 수신하는 수신부에 의해 구성된다. 조작 입력부(57)는 유저의 조작을 검출하고, 검출한 조작의 내용을 나타내는 신호를 컨트롤러(51)에 공급한다.
외부 출력부(58)는, HDMI 등의 외부 출력의 인터페이스이다. 외부 출력부(58)는, HDMI 케이블을 통해 TV(2)와 통신을 행하고, TV(2)가 갖는 디스플레이의 성능에 관한 정보를 취득하여 컨트롤러(51)에 출력한다. 또한, 외부 출력부(58)는, 복호 처리부(56)로부터 공급된 HDR 비디오의 데이터를 수신하고, TV(2)에 출력한다.
·TV의 구성
도 16은, TV(2)의 구성예를 나타내는 블록도이다.
TV(2)는, 컨트롤러(71), 외부 입력부(72), 신호 처리부(73), 디스플레이(74), 방송 수신부(75), 복호 처리부(76) 및 통신부(77)로 구성된다.
컨트롤러(71)는, CPU, ROM, RAM 등에 의해 구성된다. 컨트롤러(71)는, 소정의 프로그램을 실행하여, TV(2)의 전체 동작을 제어한다.
예를 들어, 컨트롤러(71)는, 디스플레이(74)의 성능을 나타내는 정보를 관리한다. 컨트롤러(71)는, HDMI의 전송 설정 시, 디스플레이(74)의 성능을 나타내는 정보를 외부 입력부(72)에 출력하여, 재생 장치(1)에 송신한다.
또한, 컨트롤러(71)는, 신호 처리부(73)에 의한 HDR 비디오의 처리를 제어한다. 예를 들어, 컨트롤러(71)는, HDR 콘텐츠의 재생 시에 재생 장치(1)로부터 전송되어 온 Dynamic metadata에 기초하여, HDR 비디오의 휘도 압축을 신호 처리부(73)에 행하게 한다.
외부 입력부(72)는, HDMI 등의 외부 입력의 인터페이스이다. 외부 입력부(72)는, HDMI 케이블을 통해 재생 장치(1)와 통신을 행하고, 재생 장치(1)로부터 전송되어 온 HDR 비디오의 각 픽처의 데이터를 수신하여 신호 처리부(73)에 출력한다. 또한, 외부 입력부(72)는, HDR 비디오의 각 픽처와 함께 전송되어 온 Dynamic metadata를 수신하여, 컨트롤러(71)에 출력한다.
신호 처리부(73)는, 외부 입력부(72)로부터 공급된 HDR 비디오의 처리를 행하여, 영상을 디스플레이(74)에 표시시킨다. 신호 처리부(73)는, 컨트롤러(71)에 의한 제어에 따라서, 적절히 디스플레이(74)가 표시 가능한 범위에 들도록, HDR 비디오의 휘도 압축을 행한다.
신호 처리부(73)는, 복호 처리부(76)로부터 공급된 데이터에 기초하여, 프로그램의 영상을 디스플레이(74)에 표시시키는 처리 등도 행한다.
디스플레이(74)는, 유기 EL(Electroluminescence) 디스플레이나 LCD(Liquid Crystal Display) 등의 표시 디바이스이다. 디스플레이(74)는, 신호 처리부(73)로부터 공급된 비디오 신호에 기초하여, HDR 콘텐츠의 영상이나 프로그램의 영상을 표시한다.
방송 수신부(75)는, 안테나로부터 공급된 신호로부터 소정의 채널의 방송 신호를 추출하여, 복호 처리부(76)에 출력한다. 방송 수신부(75)에 의한 방송 신호의 추출은, 컨트롤러(71)에 의한 제어에 따라서 행해진다.
복호 처리부(76)는, 방송 수신부(75)로부터 공급된 방송 신호에 대해서 복호 등의 처리를 실시하여, 프로그램의 비디오 데이터를 신호 처리부(73)에 출력한다.
통신부(77)는, 무선 LAN, 유선 LAN 등의 인터페이스이다. 통신부(77)는, 인터넷을 통해 서버와 통신을 행한다.
<각 장치의 동작>
·기록 장치의 동작
도 17의 흐름도를 참조하여, 기록 장치(3)의 기록 처리에 대하여 설명한다.
도 17의 처리는, 예를 들어 마스터로 되는 비디오 데이터가 입력되었을 때 개시된다.
스텝 S1에 있어서, 컨트롤러(21)의 Dynamic metadata 생성부(31)는, 콘텐츠의 제작자에 의한 입력에 따라서 각 파라미터의 값을 설정하고, Dynamic metadata를 생성한다.
스텝 S2에 있어서, Data Base 정보 생성부(33)는, PlayList 등의 Data Base 정보를 생성한다.
스텝 S3에 있어서, 부호화 처리부(22)는, 부호화 제어부(32)에 의한 제어에 따라서, 랜덤 액세스 포인트로 되는 GOP의 선두 픽처에 Dynamic metadata를 반드시 부가한다는 제한 하에 마스터의 비디오 부호화를 행하여, HDR 비디오 스트림을 생성한다.
또한, 부호화 처리부(22)는, 메뉴의 화상이나 자막 데이터의 부호화를 행하여, IG 스트림과 PG 스트림을 생성한다. 부호화 처리부(22)는, 생성한 스트림을 다중화함으로써 AV 스트림을 생성한다.
스텝 S4에 있어서, 디스크 드라이브(23)는, 컨트롤러(21)로부터 공급된 Data Base 정보의 파일과, 부호화 처리부(22)로부터 공급된 AV 스트림의 파일을 기록시킴으로써 광 디스크(11)를 생성한다. 그 후, 처리는 종료된다.
이상의 처리에 의해, 기록 장치(3)는, 랜덤 액세스 포인트로 되는 GOP의 선두 픽처에 Dynamic metadata가 부가된 HDR 비디오 스트림을 생성하여, 그러한 HDR 비디오 스트림을 포함하는 HDR 콘텐츠를 제공할 수 있다.
·재생 장치의 동작
다음으로, 도 18의 흐름도를 참조하여, HDR 콘텐츠를 재생하는 재생 장치(1)의 처리에 대하여 설명한다.
도 18의 처리는, 예를 들어 재생 장치(1)의 디스크 드라이브(52)에 광 디스크(11)가 장착되고, HDR 콘텐츠의 재생이 지시되었을 때 개시된다.
스텝 S11에 있어서, 디스크 드라이브(52)는, PlayList 파일을 포함하는, Data Base 정보의 파일을 광 디스크(11)로부터 판독한다.
스텝 S12에 있어서, 컨트롤러(51)는, PlayList 파일을 해석하여, 재생 대상이 되는 AV 스트림의 특정 등을 행한다.
스텝 S13에 있어서, 디스크 드라이브(52)는, 재생 대상이 되는 HDR 비디오 스트림을 포함하는 AV 스트림의 파일을 광 디스크(11)로부터 판독한다.
스텝 S14에 있어서, 복호 처리부(56)는, 디스크 드라이브(52)로부터 공급된 AV 스트림에 포함되는 HDR 비디오 스트림을 디코드하여, 각 픽처의 데이터를 외부 출력부(58)에 출력한다. 각 픽처에 부가되어 있는 Dynamic metadata는 복호 처리부(56)로부터 컨트롤러(51)에 공급된다.
스텝 S15에 있어서, 외부 출력부(58)는, 복호 처리부(56)로부터 공급된 HDR 비디오의 각 픽처에, 컨트롤러(51)로부터 공급된 Dynamic metadata를 부가하여 TV(2)에 출력한다. TV(2)에 있어서는, 각 픽처의 휘도 압축이 Dynamic metadata에 기초하여 행해져, 휘도 압축 후의 픽처가 표시된다.
스텝 S16에 있어서, 컨트롤러(51)는, 랜덤 액세스 재생을 행하였는지 여부를 판정한다. 랜덤 액세스 재생을 행하지 않는다고 스텝 S16에 있어서 판정된 경우, 스텝 S15로 되돌아가, 각 픽처를 차례로 재생하는 통상 재생이 계속된다.
한편, 스텝 S16에 있어서, 랜덤 액세스 재생을 행한다고 판정된 경우, 처리는 스텝 S17로 진행된다. 예를 들어, 급속 이송 재생/되돌리기 재생이 유저에 의해 지시된 경우, 또는 큐잉 재생이 유저에 의해 지시된 경우, 랜덤 액세스 재생을 행하는 것으로서 스텝 S16에 있어서 판정된다.
스텝 S17에 있어서, 복호 처리부(56)는, 랜덤 액세스 포인트인, 점프처의 픽처를 디코드한다. 여기에서 디코드되는 픽처는, GOP의 선두 픽처이며, Dynamic metadata가 부가되어 있다. 디코드된 픽처의 SEI에 포함되는 Dynamic metadata는 컨트롤러(51)에 공급된다.
스텝 S18에 있어서, 외부 출력부(58)는, 랜덤 액세스 포인트의 픽처에, 컨트롤러(51)로부터 공급된 Dynamic metadata를 부가하여 TV(2)에 출력한다.
그 후, 스텝 S16으로 되돌아가, 이상의 처리가 반복된다. 예를 들어, 유저에 의해 지시된 랜덤 액세스 재생이 급속 이송 재생/되돌리기 재생인 경우, 각각의 GOP의 선두의 픽처가 차례로 재생되고, Dynamic metadata와 함께 출력된다. 예를 들어 HDR 콘텐츠의 재생이 종료된 경우, 도 18의 처리는 종료된다.
이상과 같이, 랜덤 액세스 포인트의 픽처에는 Dynamic metadata가 반드시 부가되어 있기 때문에, 랜덤 액세스 재생을 행하는 경우라도, 점프처의 픽처의 휘도 압축이 HDR 콘텐츠의 제작자가 의도하지 않은 형태로 행해지는 것을 방지할 수 있다.
<EP_map에 의해 지정되는 픽처에 Dynamic metadata를 반드시 부가하는 예>
Data Base 정보인 Clip Information에는, EP_map라 불리는, 랜덤 액세스 포인트를 지정하는 정보가 포함된다.
EP_map에 의해 지정되는 랜덤 액세스 포인트의 픽처에, Dynamic metadata를 반드시 부가하도록 하여 HDR 비디오의 데이터의 부호화가 행해지도록 해도 된다.
도 19는, 랜덤 액세스 포인트로서 EP_map에 의해 지정된 픽처를 포함하는 HDR 비디오 스트림의 예를 나타내는 도면이다.
도 19의 상방에 도시한 EP_map에는, 엔트리 포인트(랜덤 액세스 포인트)인 EP entry1과 EP entry2의 정보가 기술되어 있다. EP entry1과 EP entry2는, 엔트리 포인트의 PTS(Presentation Time Stamp)와, SPN(Source Packet Number)에 의해 표시되는, HDR 비디오 스트림상의 위치를 나타내는 정보이다.
도 19의 예에 있어서는, EP entry1에 의해 픽처 P21이 지정되고, EP entry2에 의해 픽처 P22가 지정되어 있다. HDR 비디오 스트림을 구성하는 픽처 중 적어도, EP entry1에 의해 지정되는 픽처 P21과 EP entry2에 의해 지정되는 픽처 P22에는 Dynamic metadata가 부가되어 있다.
예를 들어, 소정의 엔트리 포인트로부터의 큐잉 재생이 지시된 경우, 재생 장치(1)는, EP entry에 의해 지정되는 픽처를, 그 픽처에 부가되어 있는 Dynamic metadata와 함께 TV(2)에 출력한다.
TV(2)에 있어서는, EP entry에 의해 지정되는 픽처의 휘도 압축이, 그 픽처와 함께 전송되어 온 Dynamic metadata에 기초하여 행해진다. 휘도 압축 후의 픽처가 표시됨으로써, 큐잉 재생이 실현된다.
이와 같이, HDR 비디오 스트림과는 다른 파일의 정보인 Clip Information에 포함되는 EP_map에 의해 지정되는 픽처에 Dynamic metadata가 반드시 부가되게 해도 된다. 이에 의해, 점프처의 픽처의 휘도 압축이 HDR 콘텐츠의 제작자가 의도하지 않은 형태로 행해지는 것을 방지할 수 있다.
또한, MP4에 의해 다중화된 HDR 콘텐츠가 재생 장치(1)에 있어서 재생되게 해도 된다.
MP4에 의해 다중화된 HDR 콘텐츠에는, HDR 비디오의 데이터를 AVC나 HEVC 등의 소정의 부호화 방식으로 부호화함으로써 얻어진 HDR 비디오 스트림과, HDR 비디오 스트림의 재생 제어 정보인 mfra(movie fragment random access box)가 포함된다.
mfra에는, 랜덤 액세스 포인트를 지정하는 정보가 포함된다. MP4의 HDR 콘텐츠를 구성하는 HDR 비디오 스트림의 픽처 중 적어도, mfra에 포함되는 정보에 의해 지정되는 픽처에 Dynamic metadata가 부가된다. 이것에 의해서도, 점프처의 픽처의 휘도 압축이 HDR 콘텐츠의 제작자가 의도하지 않은 형태로 행해지는 것을 방지할 수 있다.
이와 같은 MP4의 포맷 HDR 콘텐츠도, 도 13, 도 14에 도시한 구성과 마찬가지의 구성을 갖는 정보 처리 장치에 의해 생성된다. 예를 들어, 부호화 처리부(22)에 의해 생성된 HDR 비디오 스트림과 Data Base 정보 생성부(33)에 의해 생성된 mfra가 MP4의 포맷에 따라서 다중화되고, HDR 콘텐츠가 생성된다.
<Clip Information의 EP_map에 대하여>
도 20은, Clip Information의 신택스를 나타내는 도면이다. Clip Information에 포함되는 주된 기술에 대하여 설명한다.
도 20에 도시한 바와 같이, Clip Information에는, ClipInfo(), SequenceInfo(), ProgramInfo(), CPI(), ClipMark(), ExtensionData()의 각 기술이 포함된다.
ClipInfo()는, Clip Information을 사용하여 재생이 행해지는 AV 스트림의 속성에 관한 정보가 기술되는 필드이다.
SequenceInfo()는, AV 스트림을 구성하는 source packet의 시퀀스에 관한 정보가 기술되는 필드이다.
ProgramInfo()는, 프로그램을 구성하는 source packet의 시퀀스에 관한 정보가 기술되는 필드이다.
CPI()는, AV 스트림의 시각과 위치의 대응 관계를 나타내는 정보가 기술되는 필드이다. EP_map도, CPI()에 기술된다.
도 21은, CPI()의 신택스를 나타내는 도면이다.
도 21에 도시한 바와 같이, CPI()에는, CPI_type와 EP_map()가 기술된다.
CPI_type의 값이 1인 경우, CPI()에는 EP_map의 정보가 포함된다.
도 22는, EP_map()의 신택스를 나타내는 도면이다.
stream_PID는, HDR 비디오의 데이터를 저장하는 TS 패킷의 PID를 나타낸다.
number_of_EP_coarse_entries는, EP_map()에 포함되는, EP-coarse-entry의 수를 나타낸다. EP-coarse-entry는, 1초 단위 등의, 정밀도가 거친 엔트리 포인트의 정보이다.
number_of_EP_fine_entries는, EP_map()에 포함되는, EP-fine-entry의 수를 나타낸다. EP-fine-entry는, EP-coarse-entry보다도 정밀도가 높은 엔트리 포인트의 정보이다. EP-coarse-entry와 EP-fine-entry의 조(組)에 의해, 엔트리 포인트가 지정된다.
EP_map_for_one_stream_PID에, 각각의 EP-coarse-entries와 EP-fine-entries의 정보가 포함된다.
도 23은, EP_map_for_one_stream_PID의 신택스를 나타내는 도면이다.
PTS_EP_coarse[i]는, EP-coarse-entry의 PTS(시각)를 나타낸다.
SPN_EP_coarse[i]는, PTS_EP_coarse[i]에 대응하는, HDR 비디오 스트림상의 source packet(위치)을 나타낸다.
PTS_EP_fine[i]는, EP-fine-entry의 PTS를 나타낸다.
SPN_EP_fine[i]는, PTS_EP_fine[i]에 대응하는, HDR 비디오 스트림상의 source packet을 나타낸다.
재생 장치(1)는, EP_map에 기초하여 랜덤 액세스 재생을 행하는 경우, EP_map_for_one_stream_PID를 해석함으로써, 엔트리 포인트로 되는 픽처의 데이터를 저장한 source packet의, HDR 비디오 스트림상의 위치를 특정하는 처리 등을 행한다. 엔트리 포인트의 픽처에는, 상술한 바와 같이 Dynamic metadata가 부가되어 있다.
<기록 장치의 동작>
도 24의 흐름도를 참조하여, EP_map에 의해 지정되는 엔트리 포인트의 픽처에 Dynamic metadata를 부가하여 HDR 비디오 스트림을 생성하는 기록 장치(3)의 기록 처리에 대하여 설명한다.
도 24의 처리는, 마스터의 비디오 부호화의 제한이 상이한 점을 제외하고, 도 17을 참조하여 설명한 처리와 마찬가지의 처리이다. 중복되는 설명에 대해서는 적절히 생략한다.
즉, 스텝 S31에 있어서, 컨트롤러(21)의 Dynamic metadata 생성부(31)는, 콘텐츠의 제작자에 의한 입력에 따라서 각 파라미터의 값을 설정하고, Dynamic metadata를 생성한다.
스텝 S32에 있어서, Data Base 정보 생성부(33)는, PlayList, EP_map을 기술한 Clip Information 등의 Data Base 정보를 생성한다. Data Base 정보 생성부(33)는, EP_map에 기술한 각 엔트리 포인트(EP entry)의 정보를 부호화 제어부(32)에 출력한다.
스텝 S33에 있어서, 부호화 처리부(22)는, 부호화 제어부(32)에 의한 제어에 따라서, EP_map에 의해 지정되는 엔트리 포인트의 픽처에 Dynamic metadata를 반드시 부가한다는 제한 하에 마스터의 비디오 부호화를 행하고, HDR 비디오 스트림을 생성한다.
스텝 S34에 있어서, 디스크 드라이브(23)는, 컨트롤러(21)로부터 공급된 Data Base 정보의 파일과, 부호화 처리부(22)로부터 공급된 AV 스트림의 파일을 기록시킴으로써 광 디스크(11)를 생성한다. 그 후, 처리는 종료된다.
이상의 처리에 의해, 기록 장치(3)는, EP_map에 의해 지정되는, 랜덤 액세스 포인트로 되는 픽처에 Dynamic metadata가 부가된 HDR 비디오 스트림을 생성하고, 그와 같은 HDR 비디오 스트림을 포함하는 HDR 콘텐츠를 제공할 수 있다.
<변형예>
GOP의 선두 픽처에 Dynamic metadata를 부가하는 경우와, EP_map에 의해 지정되는 픽처에 Dynamic metadata를 부가하는 경우에 대하여 설명하였지만, 이들의 제한이 조합해서 사용되게 해도 된다.
즉, GOP의 선두 픽처와 EP_map에 의해 지정되는 픽처의 양쪽에 Dynamic metadata를 반드시 부가하도록 하여, HDR 비디오 스트림의 부호화가 행해지도록 하는 것이 가능하다.
점프처의 픽처에 Dynamic metadata가 부가되지 않은 경우, 점프처의 픽처의 근방의 픽처에 부가되어 있는 Dynamic metadata가 재생 장치(1)로부터 TV(2)로 전송되고, 점프처의 픽처의 휘도 압축에 사용되게 해도 된다.
<<제2 실시 형태(디폴트 메타데이터를 사용하는 예)>>
<랜덤 액세스 재생 시에 디폴트 메타데이터를 사용하는 예>
도 25는, 랜덤 액세스 재생 시의 메타데이터의 전송예를 나타내는 도면이다.
랜덤 액세스 재생 시, 재생 장치(1)에 있어서는, 랜덤 액세스 재생의 내용을 나타내는 OSD 화상이 예를 들어 점프처의 픽처에 합성된다. OSD 화상이 합성된 픽처는, Dynamic metadata가 아니라, 도 25에 도시한 바와 같이 랜덤 액세스 재생 시용 메타데이터인 디폴트 메타데이터와 함께 TV(2)에 출력된다.
디폴트 메타데이터는, 예를 들어 도 3을 참조하여 설명한 바와 같은 Dynamic metadata의 파라미터와 마찬가지의 파라미터를 갖는다. 디폴트 메타데이터의 각 파라미터에는, 예를 들어 각 종류의 OSD 화상이 적절한 휘도로 표시되도록 하기 위한 고정값이 설정된다. 디폴트 메타데이터는, 예를 들어 재생 장치(1) 내의 메모리(53)에 기억되는 형태로, 재생 장치(1)에 미리 준비되어 있다.
도 26은, 휘도 압축 후의 표시를 나타내는 도면이다.
예를 들어, 도 26의 좌측에 도시한 바와 같이 높은 휘도의 씬이 표시되고 있는 상태에서, 급속 이송 재생 등의 랜덤 액세스 재생이 지시된 경우, OSD 화상이 합성된 점프처의 픽처와 함께, 디폴트 메타데이터가 TV(2)에 출력된다.
TV(2)에 있어서는, 재생 장치(1)로부터 전송되어 온 디폴트 메타데이터에 기초하여, OSD 화상이 합성된 픽처의 휘도 압축이 행해지고, 화살표 A12의 끝에 나타낸 바와 같이 HDR 비디오의 휘도가 낮게 억제된다. 즉, Dynamic metadata를 사용한 휘도 압축 후의 휘도가 화살표 A11의 끝에 나타낸 HDR 비디오의 본래의 휘도라고 하면, 본래의 휘도보다 어두운 HDR 비디오가 표시된다.
OSD 화상에 적합한 값이 설정된 메타데이터이기 때문에, 디폴트 메타데이터를 사용한 휘도 압축에 의해, 화살표 A12의 끝에 나타낸 바와 같이, OSD 화상 자체의 휘도는 적합한 것으로 된다.
이와 같이, 랜덤 액세스 재생 시, 점프처의 픽처의 휘도 압축에 디폴트 메타데이터가 사용되기 때문에, 각 픽처의 OSD 화상의 휘도가 일정해져, OSD 화상이 점멸하여 보이게 되어버리는 것을 방지하는 것이 가능해진다.
·재생 장치의 구성과 동작
도 27은, 랜덤 액세스 재생 시에 디폴트 메타데이터를 전송하는 경우의 컨트롤러(51)의 기능 구성예를 나타내는 블록도이다. 재생 장치(1)의 구성은 도 15의 구성과 동일하다.
컨트롤러(51)에 있어서는, Data Base 정보 해석부(101), 출력 제어부(102), 및 디폴트 메타데이터 생성부(103)가 실현된다. 도 27에 도시한 기능부 중 적어도 일부는, 컨트롤러(51)의 CPU에 의해 소정의 프로그램이 실행됨으로써 실현된다.
Data Base 정보 해석부(101)는, 디스크 드라이브(52)로부터 공급된 Data Base 정보를 해석하고, 해석 결과를 나타내는 정보를 출력 제어부(102)와 디폴트 메타데이터 생성부(103)에 출력한다. 출력 제어부(102)와 디폴트 메타데이터 생성부(103)에 의한 처리는, 적절히 Data Base 정보의 해석 결과를 참조하여 행해진다.
출력 제어부(102)는, 복호 처리부(56)와 외부 출력부(58)를 제어함으로써, HDR 비디오의 출력을 제어한다.
예를 들어, 출력 제어부(102)는, HDR 비디오 스트림을 복호 처리부(56)에 디코드시킨다. 또한, 출력 제어부(102)는, 외부 출력부(58)를 제어하고, HDR 비디오 스트림을 디코드하여 얻어진 각 픽처에, Dynamic metadata를 부가하여 출력시킨다.
출력 제어부(102)는, 랜덤 액세스 재생이 지시된 경우, HDR 비디오 스트림을 복호 처리부(56)에 디코드시켜, 점프처의 픽처에 OSD 화상을 합성시킨다. 또한, 출력 제어부(102)는, 외부 출력부(58)를 제어하고, OSD 화상이 합성된 픽처에 디폴트 메타데이터를 부가하여 출력시킨다.
디폴트 메타데이터 생성부(103)는, 각 파라미터의 값으로서 고정값을 설정함으로써 디폴트 메타데이터를 생성한다. 디폴트 메타데이터 생성부(103)는, 각 파라미터에 설정하는 고정값의 정보를 갖고 있다. 디폴트 메타데이터 생성부(103)는, 생성한 디폴트 메타데이터를 메모리(53)에 출력하여, 기억시킨다.
이와 같이, 디폴트 메타데이터가 재생 장치(1) 내에서 생성되도록 해도 된다. 또한, 디폴트 메타데이터가, 재생 장치(1)의 제조 시 등의 타이밍에 메모리(53)에 기억되고, 재생 장치(1)에 미리 준비되도록 해도 된다.
디폴트 메타데이터의 각 파라미터에 설정하는 값을 유저가 지정할 수 있도록 해도 된다. 이 경우, 예를 들어 재생 장치(1)의 설정 화면을 사용하여, 각 파라미터의 값이 설정된다.
또한, 재생 장치(1)로부터 전송되어 온 디폴트 메타데이터를 TV(2)측에서 참조할지 무시할지를 유저가 선택할 수 있도록 해도 된다. 이 경우, 예를 들어 TV(2)의 설정 화면을 사용하여, 디폴트 메타데이터를 참조할지 무시할지의 설정이 행해진다.
디폴트 메타데이터의 각 파라미터에 설정하는 값이 서버로부터 취득되도록 해도 된다.
이 경우, 서버에는, 예를 들어 광 디스크(11)에 기록되어 있는 HDR 콘텐츠에 대응지어서, 디폴트 메타데이터의 각 파라미터에 설정하는 값의 정보가 준비된다. 디폴트 메타데이터 생성부(103)는, 서버로부터 취득된 값을 각 파라미터의 값으로 서 설정함으로써, 광 디스크(11)에 기록되어 있는 HDR 콘텐츠용 디폴트 메타데이터를 생성하게 된다.
또한, 디폴트 메타데이터가 서버로부터 다운로드되게 해도 된다. 다운로드되어, 통신부(55)에 의해 수신된 디폴트 메타데이터는, 메모리(53)에 출력되고, 기억된다.
다음으로, 도 28의 흐름도를 참조하여, 랜덤 액세스 재생 시에 디폴트 메타데이터를 전송하도록 하여 HDR 콘텐츠를 재생하는 재생 장치(1)의 처리에 대하여 설명한다.
도 28의 처리는, 기본적으로, 랜덤 액세스 재생이 지시된 경우에 각 픽처에 부가하는 메타데이터가 상이한 점을 제외하고, 도 18을 참조하여 설명한 처리와 마찬가지의 처리이다.
즉, 스텝 S101에 있어서, 디스크 드라이브(52)는, PlayList 파일을 포함하는, Data Base 정보의 파일을 광 디스크(11)로부터 판독한다.
스텝 S102에 있어서, 컨트롤러(51)의 Data Base 정보 해석부(101)는, PlayList 파일을 해석하고, 재생 대상이 되는 AV 스트림의 특정 등을 행한다.
스텝 S103에 있어서, 디스크 드라이브(52)는, 재생 대상이 되는 HDR 비디오 스트림을 포함하는 AV 스트림의 파일을 광 디스크(11)로부터 판독한다.
스텝 S104에 있어서, 복호 처리부(56)는, 디스크 드라이브(52)로부터 공급된 AV 스트림에 포함되는 HDR 비디오 스트림을 디코드하여, 각 픽처의 데이터를 외부 출력부(58)에 출력한다. HDR 비디오 스트림에 포함되는 Dynamic metadata는 복호 처리부(56)로부터 컨트롤러(51)에 공급된다.
스텝 S105에 있어서, 외부 출력부(58)는, 출력 제어부(102)에 의한 제어에 따라서, 복호 처리부(56)로부터 공급된 HDR 비디오의 각 픽처에, 출력 제어부(102)로부터 공급된 Dynamic metadata를 부가하여 TV(2)에 출력한다.
스텝 S106에 있어서, 컨트롤러(51)는, 랜덤 액세스 재생을 행하는지 여부를 판정한다. 랜덤 액세스 재생을 행하지 않는다고, 즉, 통상 재생을 행한다고 스텝 S106에 있어서 판정된 경우, 스텝 S105로 되돌아가, HDR 비디오의 각 픽처의 출력이 계속된다.
한편, 스텝 S106에 있어서 랜덤 액세스 재생을 행한다고 판정된 경우, 처리는 스텝 S107로 진행된다. 급속 이송 재생/되돌리기 재생이 유저에 의해 지시된 경우, 또는 큐잉 재생이 유저에 의해 지시된 경우, 랜덤 액세스 재생을 행한다고 스텝 S106에 있어서 판정된다.
스텝 S107에 있어서, 복호 처리부(56)는, 랜덤 액세스 포인트인, 점프처의 픽처를 디코드한다.
스텝 S108에 있어서, 복호 처리부(56)는, 점프처의 픽처에 OSD 화상을 합성한다.
스텝 S109에 있어서, 외부 출력부(58)는, OSD 화상이 합성된 점프처의 픽처에 디폴트 메타데이터를 부가하여 출력한다. 점프처의 픽처와 함께 출력되는 디폴트 메타데이터는 컨트롤러(51)의 출력 제어부(102)로부터 공급된다.
그 후, 스텝 S106으로 되돌아가, 이상의 처리가 반복된다. 예를 들어, 유저에 의해 지시된 랜덤 액세스 재생이 급속 이송 재생/되돌리기 재생인 경우, GOP의 선두 픽처가 차례로 디코드되고, 각각의 GOP의 선두 픽처가, 디폴트 메타데이터와 함께 출력된다.
·TV의 동작
다음으로, 도 29의 흐름도를 참조하여, TV(2)의 표시 처리에 대하여 설명한다.
도 29의 처리는, HDR 비디오 스트림을 디코드하여 얻어진 픽처의 전송이 개시되었을 때 행해진다. 재생 장치(1)로부터 전송되어 오는 픽처에는, Dynamic metadata 또는 디폴트 메타데이터가 부가되어 있다.
스텝 S121에 있어서, TV(2)의 외부 입력부(72)는, 재생 장치(1)로부터 전송되어 온 HDR 비디오의 각 픽처의 데이터와, 그에 부가하여 전송되어 온 Dynamic metadata 또는 디폴트 메타데이터를 수신한다.
랜덤 액세스 재생이 지시되지 않은 경우, 여기서는, 각 픽처와 Dynamic metadata가 수신된다. 또한, 재생 장치(1)에 있어서 랜덤 액세스 재생이 지시된 경우, 여기서는, OSD 화상이 합성된 픽처와, 디폴트 메타데이터가 수신된다.
외부 입력부(72)에 의해 수신된 각 픽처의 데이터는 신호 처리부(73)에 공급되고, 메타데이터(Dynamic metadata 또는 디폴트 메타데이터)는 컨트롤러(71)에 공급된다.
스텝 S122에 있어서, 신호 처리부(73)는, 컨트롤러(71)에 의한 제어에 따라서, HDR 비디오의 각 픽처의 휘도 압축을 행한다. 각 픽처와 함께 전송되어 온 메타데이터가 Dynamic metadata인 경우에는 Dynamic metadata에 기초하여 휘도 압축이 행해진다. 또한, 각 픽처와 함께 전송되어 온 메타데이터가 디폴트 메타데이터인 경우에는 디폴트 메타데이터에 기초하여 휘도 압축이 행해진다.
스텝 S123에 있어서, 신호 처리부(73)는, 휘도 압축 후의 픽처를 디스플레이(74)에 표시시킨다. 이러한 일련의 처리를 포함하는 HDR 비디오의 표시는, HDR 콘텐츠의 재생이 종료될 때까지 계속된다.
이상과 같이, 랜덤 액세스 재생 시의 TV(2)에 있어서의 휘도 압축이 디폴트 메타데이터에 기초하여 행해지도록 함으로써, 각 픽처에 합성된 OSD 화상이 점멸하여 보이게 되어버리는 것을 방지할 수 있다.
<점프처에 Dynamic metadata가 없는 경우에 디폴트 메타데이터를 사용하는 예>
랜덤 액세스 재생 시에 디폴트 메타데이터가 반드시 사용되는 것은 아니며, 점프처의 픽처에 Dynamic metadata가 부가되지 않은 경우에 디폴트 메타데이터가 사용되고, TV(2)에 전송되게 해도 된다.
도 30은, 랜덤 액세스 재생의 예를 나타내는 도면이다.
예를 들어, 재생 대상이 되는 픽처가 픽처 P1이 된 타이밍에 큐잉 재생이 지시되고, 도 30의 화살표 A1에 나타낸 바와 같이, 픽처 P1로부터 픽처 P2로 점프하는 경우에 대하여 설명한다.
이 경우, 재생 장치(1)에 있어서는, 픽처 P2의 해석이 행해지고, Dynamic metadata가 부가되어 있는지 여부의 검출이 행해진다. 픽처 P2가 Dynamic metadata가 부가되지 않은 구간 내의 픽처인 경우, 디폴트 메타데이터가 사용되고, 픽처 P2와 함께 출력된다.
예를 들어, 픽처 P2에 Dynamic metadata가 부가되어 있는 경우, 픽처 P2와 함께 Dynamic metadata가 출력된다.
이와 같이, 점프처의 픽처에 Dynamic metadata가 부가되어 있는 경우에는 Dynamic metadata가 전송되고, Dynamic metadata가 부가되지 않은 경우에 디폴트 메타데이터가 전송되게 해도 된다.
여기서, 도 31의 흐름도를 참조하여, HDR 콘텐츠를 재생하는 재생 장치(1)의 처리에 대하여 설명한다.
도 31의 처리는, TV(2)에 전송하는 메타데이터가, 점프처의 픽처에 Dynamic metadata가 부가되어 있는지 여부에 따라서 전환되는 점을 제외하고, 도 28의 처리와 마찬가지 처리이다.
즉, 스텝 S131 내지 S135에 있어서, 도 28의 스텝 S101 내지 S105와 마찬가지로 하여 HDR 콘텐츠의 통상 재생이 행해진다.
스텝 S136에 있어서 랜덤 액세스 재생을 행한다고 판정된 경우, 스텝 S137에 있어서, 복호 처리부(56)는, 랜덤 액세스 포인트인, 점프처의 픽처를 디코드한다.
스텝 S138에 있어서, 복호 처리부(56)는, 점프처의 픽처에 OSD 화상을 합성한다.
스텝 S139에 있어서, 복호 처리부(56)는, 점프처의 픽처에 Dynamic metadata가 부가되어 있는지 여부를 판정한다.
Dynamic metadata가 부가되지 않았다고 스텝 S139에 있어서 판정된 경우, 스텝 S140에 있어서, 외부 출력부(58)는, OSD 화상이 합성된 점프처의 픽처에 디폴트 메타데이터를 부가하여 출력한다.
한편, Dynamic metadata가 부가되었다고 스텝 S139에 있어서 판정된 경우, 스텝 S141에 있어서, 외부 출력부(58)는, OSD 화상이 합성된 점프처의 픽처에 Dynamic metadata를 부가하여 출력한다.
스텝 S140 또는 스텝 S141에 있어서 픽처가 출력된 후, 스텝 S136으로 되돌아가, 이상의 처리가 반복된다.
이와 같이, 디폴트 메타데이터가 사용되는 것이, 점프처의 픽처에 Dynamic metadata가 부가되지 않은 경우에 한정되고, Dynamic metadata가 부가되어 있는 경우에는 Dynamic metadata가 TV(2)에 전송되게 해도 된다. 이에 의해, 점프처의 픽처의 휘도 압축이, HDR 콘텐츠의 제작자가 의도한 대로 행해지게 할 수 있다.
<<재생 시스템의 구성예>>
<제1 구성예>
HDR 콘텐츠가 광 디스크(11)에 기록되어 있는 경우에 대하여 설명하였지만, 상술한 바와 같이, 네트워크를 통해 배신되는 HDR 콘텐츠를 재생하는 경우에도 이상의 처리를 적용하는 것이 가능하다.
도 32는, HDR 콘텐츠의 재생 시스템의 구성예를 나타내는 도면이다.
도 32의 재생 시스템은, 재생 장치(1)와 콘텐츠 배신 서버(301)가, 인터넷 등의 네트워크(302)를 통해 접속됨으로써 구성된다. 재생 장치(1)에는, HDMI 케이블 등을 통해 TV(2)가 접속된다. 재생 장치(1)가 재생하는 HDR 콘텐츠의 영상은 TV(2)에 표시된다.
콘텐츠 배신 서버(301)는, HDR 콘텐츠의 배신 서비스를 제공하는 사업자가 관리하는 서버이다. 콘텐츠 배신 서버(301)가 배신하는 콘텐츠는 HDR 콘텐츠이다.
각각의 HDR 콘텐츠는, Dynamic metadata를 포함하는 HDR 비디오 스트림의 파일과 재생 제어 정보의 파일을 대응지음으로써 구성된다.
예를 들어, 유저가 재생 장치(1)를 조작하여 콘텐츠 배신 서버(301)에 액세스한 경우, TV(2)에는, HDR 콘텐츠의 선택 화면이 표시된다. 유저는, 소정의 HDR 콘텐츠를 선택하고, 시청의 개시를 콘텐츠 배신 서버(301)에 요구할 수 있다.
HDR 콘텐츠가 선택된 경우, 콘텐츠 배신 서버(301)는, 선택된 HDR 콘텐츠를 재생 장치(1)에 송신한다.
재생 장치(1)는, 콘텐츠 배신 서버(301)로부터 송신되어 온 HDR 콘텐츠를 수신하고, 상술한 재생 처리와 마찬가지의 처리를 행함으로써, HDR 콘텐츠의 재생을 행한다.
즉, 재생 장치(1)로부터 TV(2)에 대해서는, HDR 비디오 스트림을 디코드함으로써 얻어진 각 픽처와 함께 Dynamic metadata가 전송되고, Dynamic metadata에 기초하여 휘도 압축이 행해진다.
또한, 랜덤 액세스 재생이 지시된 경우, HDR 비디오의 각 픽처와 함께, 점프처의 픽처에 부가되어 있는 Dynamic metadata가 전송되고, TV(2)에 있어서, Dynamic metadata에 기초하여 휘도 압축이 행해진다. 점프처로 되는, GOP 선두의 픽처, 또는 EP_map 등에 의해 엔트리 포인트로서 지정되는 픽처에는, Dynamic metadata가 부가되어 있다.
또한, 디폴트 메타데이터가 재생 장치(1)에 준비되어 있는 경우, 랜덤 액세스 재생이 지시됨에 따라서, 점프처의 픽처와 함께 디폴트 메타데이터가 전송되고, TV(2)에 있어서, 디폴트 메타데이터에 기초하여 휘도 압축이 행해진다.
이와 같이, GOP의 선두 픽처 또는 엔트리 포인트로서 지정되는 픽처에 Dynamic metadata가 반드시 부가되어 있는 HDR 비디오 스트림을 포함하는 HDR 콘텐츠가 콘텐츠 배신 서버(301)로부터 배신되게 해도 된다.
또한, 콘텐츠 배신 서버(301)가 배신하는 HDR 콘텐츠를 구성하는 HDR 비디오 스트림의 랜덤 액세스 재생을 행하는 경우에, 디폴트 메타데이터가 재생 장치(1)로부터 TV(2)로 출력되게 해도 된다.
도 33은, 재생 장치(1)의 다른 구성예를 나타내는 도면이다.
도 33에 도시한 바와 같이, 재생 장치(1)가, 소위 스틱형 단말기여도 된다. 도 33에 도시한 재생 장치(1)의 하우징에는 HDMI 단자가 마련되어 있다. 하우징에 마련되어 있는 HDMI 단자를 TV(2)의 HDMI 단자에 꽂음으로써, 재생 장치(1)와 TV(2)가 접속된다.
예를 들어, 도 33의 재생 장치(1)에는, 도 15에 도시한 구성 중, 디스크 드라이브(52) 이외의 구성이 마련된다. 재생 장치(1)는, 상술한 처리와 마찬가지의 처리를 행함으로써, 콘텐츠 배신 서버(301)가 배신하는 HDR 콘텐츠의 재생을 행한다.
이와 같이, 재생 장치(1)의 형태로서 각종 형태를 채용하는 것이 가능하다. 예를 들어, 스마트폰이나 태블릿 단말기 등의 휴대형의 단말기에 재생 장치(1)의 기능이 탑재되도록 해도 되고, PC 등의 단말기에 재생 장치(1)의 기능이 탑재되도록 해도 된다.
<제2 구성예>
재생 장치(1)의 기능이 TV(2)에 탑재되도록 해도 된다.
도 34는, HDR 콘텐츠의 다른 재생 시스템의 구성예를 나타내는 도면이다.
도 34의 재생 시스템은, 재생 장치(1)의 기능을 탑재한 TV(2)와 콘텐츠 배신 서버(301)가 네트워크(302)를 통해 접속됨으로써 구성된다. 중복되는 설명에 대해서는 적절히 생략한다.
TV(2)는, 콘텐츠 배신 서버(301)로부터 송신되어 온 정보에 기초하여 HDR 콘텐츠의 선택 화면을 표시시킨다.
유저에 의해 소정의 HDR 콘텐츠가 선택된 경우, 콘텐츠 배신 서버(301)는, 선택된 HDR 콘텐츠를 TV(2)에 송신한다.
TV(2)는, 콘텐츠 배신 서버(301)로부터 송신되어 온 HDR 콘텐츠를 수신하고, HDR 콘텐츠의 재생을 행한다.
즉, TV(2)는, HDR 비디오의 각 픽처의 휘도 압축을 Dynamic metadata에 기초하여 행한다.
또한, 랜덤 액세스 재생이 지시된 경우, 점프처의 픽처의 휘도 압축이, 점프처의 픽처에 부가되어 있는 Dynamic metadata에 기초하여 행해진다.
또한, 디폴트 메타데이터가 TV(2)에 준비되어 있는 경우, 랜덤 액세스 재생이 지시되었을 때, 점프처의 픽처의 휘도 압축이 디폴트 메타데이터에 기초하여 행해진다.
이와 같이, 재생 장치(1)의 기능이 TV(2)에 마련되고, TV(2)에 있어서, 상술한 바와 같은 처리가 행해지게 해도 된다.
<<그 밖의 예>>
HDR 콘텐츠의 기록 매체가 광 디스크인 것으로 하였지만, 플래시 메모리 등의 다른 기록 매체여도 된다.
Dynamic metadata 또는 디폴트 메타데이터에 기초하여 비디오에 대해서 행해지는 처리가 휘도 압축인 것으로 하였지만, 휘도 신장이 TV(2)에 있어서 행해지게 해도 된다. 이 경우, Dynamic metadata 또는 디폴트 메타데이터에는, 휘도 신장에 사용되는 톤 커브의 정보가 기술된다.
재생 장치(1)에 입력되는 비디오 스트림이 소정의 방식으로 부호화된 비디오 스트림인 것으로 하였지만, Dynamic metadata가 부가된 픽처로 구성되고, 부호화되지 않은 비디오 스트림이 재생 장치(1)에 입력되게 해도 된다.
<컴퓨터의 구성예>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 35는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 서로 접속되어 있다.
버스(1004)에는, 추가로 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는, 키보드, 마우스 등을 포함하는 입력부(1006), 디스플레이, 스피커 등을 포함하는 출력부(1007)가 접속된다. 또한, 입출력 인터페이스(1005)에는, 하드디스크나 불휘발성 메모리 등을 포함하는 기억부(1008), 네트워크 인터페이스 등을 포함하는 통신부(1009), 리무버블 미디어(1011)를 구동하는 드라이브(1010)가 접속된다.
이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, 예를 들어 기억부(1008)에 기억되어 있는 프로그램을 입출력 인터페이스(1005) 및 버스(1004)를 통해 RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
CPU(1001)가 실행하는 프로그램은, 예를 들어 리무버블 미디어(1011)에 기록하여, 혹은 로컬 에어리어 네트워크, 인터넷, 디지털 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공되어, 기억부(1008)에 인스톨된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 외에, 복수의 장치에서 분담하여 실행할 수 있다.
본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 따지지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것이 아니며, 또 다른 효과가 있어도 된다.
<구성의 조합예>
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
픽처의 휘도 정보를 포함하는 동적 메타데이터를 생성하는 생성부와,
HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 상기 동적 메타데이터를 부가하도록 하여 행하는 부호화부
를 구비하는 정보 처리 장치.
(2)
상기 부호화부는, GOP의 선두 픽처를, 상기 랜덤 액세스 포인트로 되는 픽처로서 상기 동적 메타데이터를 부가하는
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 부호화를 행함으로써 얻어진 비디오 스트림의 재생에 사용되는, 상기 랜덤 액세스 포인트를 지정하는 정보를 포함하는 재생 제어 정보를 생성하는 생성부를 추가로 구비하고,
상기 부호화부는, 상기 재생 제어 정보에 포함되는 정보에 의해 지정되는 상기 랜덤 액세스 포인트의 픽처에 상기 동적 메타데이터를 부가하는
상기 (1)에 기재된 정보 처리 장치.
(4)
상기 랜덤 액세스 포인트를 지정하는 정보는, Blu-ray Disc 포맷으로 규정되는, 상기 재생 제어 정보로서의 Clip Information에 포함되는 EP_map이며,
상기 부호화부는, 상기 랜덤 액세스 포인트로서 EP_map에 있어서 지정되는 각각의 엔트리 포인트의 픽처에 상기 동적 메타데이터를 부가하는
상기 (3)에 기재된 정보 처리 장치.
(5)
상기 랜덤 액세스 포인트를 지정하는 정보는, MP4 포맷으로 규정되는, 상기 재생 제어 정보로서의 Movie Fragment Random Access Box이며,
상기 부호화부는, Movie Fragment Random Access Box에 의해 지정되는 각각의 상기 랜덤 액세스 포인트의 픽처에 상기 동적 메타데이터를 부가하는
상기 (3)에 기재된 정보 처리 장치.
(6)
정보 처리 장치가,
픽처의 휘도 정보를 포함하는 동적 메타데이터를 생성하고,
HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 상기 동적 메타데이터를 부가하도록 하여 행하는
정보 처리 방법.
(7)
컴퓨터에,
픽처의 휘도 정보를 포함하는 동적 메타데이터를 생성하고,
HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 상기 동적 메타데이터를 부가하도록 하여 행하는
처리를 실행시키기 위한 프로그램.
(8)
HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 휘도 정보를 포함하는 동적 메타데이터를 부가하도록 하여 행함으로써 생성된 비디오 스트림이 기록된
기록 매체.
(9)
HDR 비디오의 데이터의 부호화를, 랜덤 액세스 포인트로 되는 픽처의 각각에 휘도 정보를 포함하는 동적 메타데이터를 부가하도록 하여 행함으로써 생성된 비디오 스트림의 랜덤 액세스 재생을 행하는 재생부와,
상기 랜덤 액세스 포인트의 픽처를, 상기 동적 메타데이터와 함께 표시 장치에 출력하는 출력 제어부
를 구비하는 재생 장치.
(10)
픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하는 재생부와,
랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고, 상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는 출력 제어부
를 구비하는 재생 장치.
(11)
상기 재생부는, 랜덤 액세스 재생으로서, 소정의 배속에서의 급속 이송 재생 또는 되돌리기 재생을 행하는
상기 (10)에 기재된 재생 장치.
(12)
상기 재생부는, 랜덤 액세스 재생으로서, 큐잉 재생을 행하는
상기 (10) 또는 (11)에 기재된 재생 장치.
(13)
재생 장치가,
픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하고,
랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고,
상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는
재생 방법.
(14)
컴퓨터에,
픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하고,
랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고,
상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는
처리를 실행시키기 위한 프로그램.
1: 재생 장치
2: TV
3: 기록 장치
21: 컨트롤러
22: 부호화 처리부
23: 디스크 드라이브
31: Dynamic metadata 생성부
32: 부호화 제어부
33: Data Base 정보 생성부
34: 기록 제어부
51: 컨트롤러
52: 디스크 드라이브
53: 메모리
54: 로컬 스토리지
55: 통신부
56: 복호 처리부
57: 조작 입력부
58: 외부 출력부
101: Data Base 정보 해석부
102: 출력 제어부
103: 디폴트 메타데이터 생성부

Claims (14)

  1. 픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하는 재생부와,
    랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고, 상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는 출력 제어부
    를 구비하는 재생 장치.
  2. 제1항에 있어서,
    상기 재생부는, 랜덤 액세스 재생으로서, 소정의 배속에서의 급속 이송 재생 또는 되돌리기 재생을 행하는,
    재생 장치.
  3. 제1항에 있어서,
    상기 재생부는, 랜덤 액세스 재생으로서, 큐잉 재생을 행하는,
    재생 장치.
  4. 재생 장치가,
    픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하고,
    랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고,
    상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는
    재생 방법.
  5. 컴퓨터에,
    픽처의 휘도 정보를 포함하는 동적 메타데이터가 부가된 비디오 스트림의 랜덤 액세스 재생을 행하고,
    랜덤 액세스 재생이 행해지고 있음을 나타내는 소정의 정보를 상기 픽처에 중첩해서 표시시키는 경우, 랜덤 액세스 포인트의 상기 픽처에, 랜덤 액세스 재생 시의 휘도 조정에 사용하는 랜덤 액세스 재생 시용 메타데이터를 부가하고,
    상기 랜덤 액세스 재생 시용 메타데이터를 부가한 상기 픽처를 표시 장치에 출력하는
    처리를 실행시키기 위한 프로그램이 저장된 컴퓨터 판독가능한 기록매체.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020207011133A 2017-11-17 2018-11-02 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램 Active KR102624024B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017221549 2017-11-17
JPJP-P-2017-221549 2017-11-17
PCT/JP2018/040789 WO2019098054A1 (ja) 2017-11-17 2018-11-02 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20200087754A KR20200087754A (ko) 2020-07-21
KR102624024B1 true KR102624024B1 (ko) 2024-01-12

Family

ID=66540332

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207011133A Active KR102624024B1 (ko) 2017-11-17 2018-11-02 정보 처리 장치, 정보 처리 방법, 기록 매체, 재생 장치, 재생 방법, 및 프로그램

Country Status (7)

Country Link
US (1) US11245941B2 (ko)
EP (1) EP3712891B1 (ko)
JP (3) JP7180610B2 (ko)
KR (1) KR102624024B1 (ko)
CN (1) CN111344787B (ko)
TW (1) TWI826400B (ko)
WO (1) WO2019098054A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11870948B2 (en) * 2020-05-26 2024-01-09 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016039024A1 (ja) * 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2017103745A (ja) * 2015-11-24 2017-06-08 三菱電機株式会社 映像再生装置及び映像再生方法
JP2017183762A (ja) * 2014-08-19 2017-10-05 パナソニックＩｐマネジメント株式会社 映像ストリーム生成方法、再生装置及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101702562B1 (ko) * 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
JP2013034163A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP6464083B2 (ja) 2013-06-20 2019-02-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 再生装置、再生方法
WO2015093811A1 (ko) * 2013-12-16 2015-06-25 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법
JP5991502B2 (ja) * 2014-06-23 2016-09-14 パナソニックＩｐマネジメント株式会社 変換方法および変換装置
WO2015198553A1 (ja) * 2014-06-26 2015-12-30 パナソニックＩｐマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
EP3163894B1 (en) * 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
CN105981396B (zh) * 2014-08-19 2020-07-14 松下知识产权经营株式会社 传输方法及再现装置
EP3193333B1 (en) 2014-09-08 2020-12-23 Sony Corporation Information processing device, information recording medium, information processing method, and program
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
JP6617719B2 (ja) * 2014-12-22 2019-12-11 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CN106981054B (zh) 2017-03-27 2019-12-24 联想(北京)有限公司 一种图像处理方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183762A (ja) * 2014-08-19 2017-10-05 パナソニックＩｐマネジメント株式会社 映像ストリーム生成方法、再生装置及び記録媒体
WO2016039024A1 (ja) * 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2017103745A (ja) * 2015-11-24 2017-06-08 三菱電機株式会社 映像再生装置及び映像再生方法

Also Published As

Publication number Publication date
KR20200087754A (ko) 2020-07-21
JPWO2019098054A1 (ja) 2020-11-26
US20210176508A1 (en) 2021-06-10
JP2023018015A (ja) 2023-02-07
EP3712891A1 (en) 2020-09-23
EP3712891B1 (en) 2023-10-11
JP7435704B2 (ja) 2024-02-21
US11245941B2 (en) 2022-02-08
TWI826400B (zh) 2023-12-21
CN111344787A (zh) 2020-06-26
EP3712891A4 (en) 2020-12-16
CN111344787B (zh) 2021-12-17
TW201929541A (zh) 2019-07-16
WO2019098054A1 (ja) 2019-05-23
JP2024045366A (ja) 2024-04-02
JP7180610B2 (ja) 2022-11-30

Similar Documents

Publication Publication Date Title
US12170787B2 (en) Reproduction device, reproduction method, and recording medium
US11516428B2 (en) Reproduction device, reproduction method, and recording medium
JP2024045366A (ja) 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム
EP3285261A1 (en) Playback device, playback method, and program
KR102614338B1 (ko) 재생 장치, 재생 방법, 프로그램, 및 기록 매체
KR102558213B1 (ko) 재생 장치, 재생 방법, 프로그램, 및 기록 매체

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200417

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210914

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230410

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231013

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240108

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240109

End annual number: 3

Start annual number: 1

PG1601 Publication of registration