[go: up one dir, main page]

CN102271249A - 用于可伸缩视频的感兴趣区域信息设置方法和解析方法 - Google Patents

用于可伸缩视频的感兴趣区域信息设置方法和解析方法 Download PDF

Info

Publication number
CN102271249A
CN102271249A CN2011102321677A CN201110232167A CN102271249A CN 102271249 A CN102271249 A CN 102271249A CN 2011102321677 A CN2011102321677 A CN 2011102321677A CN 201110232167 A CN201110232167 A CN 201110232167A CN 102271249 A CN102271249 A CN 102271249A
Authority
CN
China
Prior art keywords
roi
layer
identifier number
sei message
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102321677A
Other languages
English (en)
Other versions
CN102271249B (zh
Inventor
姜晶媛
金在坤
洪镇佑
鲁勇满
裵泰眠
张供党
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060092368A external-priority patent/KR101255226B1/ko
Application filed by Electronics and Telecommunications Research Institute ETRI, Korea Advanced Institute of Science and Technology KAIST filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN102271249A publication Critical patent/CN102271249A/zh
Application granted granted Critical
Publication of CN102271249B publication Critical patent/CN102271249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供在可伸缩性视频编码中的多ROI(感兴趣区域)设置方法和装置以及ROI重构方法和装置。多ROI(感兴趣区域)设置装置，包括：ROI设置单元，其设置至少一个或多个ROI并通过定义宏块作为被分配给至少一个ROI的方式来将ROI标识编号分配给每个ROI；映射单元，其将至少一个或多个片组标识编号分配给至少一个或多个ROI标识编号；以及消息生成单元，其生成消息，该消息包括ROI相关信息、片组相关信息、关于将至少一个或多个ROI标识编号映射到至少一个或多个片组标识编号的映射信息和可伸缩性信息。

Description

用于可伸缩视频的感兴趣区域信息设置方法和解析方法
本专利申请是下列专利申请的分案申请：
申请号：200680043774.6
申请日：2006年09月25日
发明名称：用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
技术领域
本发明涉及一种支持在可伸缩视频编码(SVC)中编码和解码多个感兴趣区域(ROI)的新功能的方法，且更具体地，涉及一种在SVC中定义多个ROI且独立地用SVC中提供的可伸缩性来解码该多个ROI的方法。
背景技术
作为在运动图片编解码器中实现的ROI的例子，存在基于H.263的编码和基于MPEG-4对象的编码。提供以H.263独立地解码特定区域的方法的独立分段解码(ISD)模式从将被独立地解码的该区域被视为在基于MPEG-4对象的编码中的一个完整图像的角度来看与基于MPEG-4对象的编码相同。但是，该ISD模式不同于如下的基于MPEG-4对象的编码。
1.H.263中的ISD模式
在基于H.263的编码中，独立地解码图像中的特定区域的方法被提供作为选项(见H.263的附件R)。具体地，在基于H.263的编码中，可以通过使用可伸缩分层编码来提供空间、时间和质量的可伸缩性。
在H.263中，通过使用对应于SVC的粗粒度可伸缩性(CGS)的方法来提供质量可伸缩性，且通过使用对应于精细粒度可伸缩性(FGS)的方法并支持各种帧来提供时间可伸缩性。另外，在空间可伸缩性中，类似于可伸缩视频解码(SVD)，根据分辨率来进行编码，且使用具有较低分辨率的图像来进行层间编码。
2.基于MPEG-4对象的编码器
在基于MPEG-4对象的编码中，具有任意形状的对象区域被编码成由视频对象平面(VOP)定义的矩形区域。根据本方法，类似于ROI，在图像中的特定区域以其能够被独立地解码的方式被编码。
根据基于H.264的编码的SVC具有比H.263和MPEG-4更高的编码速率，且在SVC中的编码机制不同于H.263和MPEG-4的编码机制。
发明内容
本发明提供一种代表适合于可伸缩视频编码(SVC)的感兴趣的区域(ROI)的方法。
技术方案
根据本发明的方面，提供一种多ROI(感兴趣区域)设置装置，包括：ROI设置单元，其设置至少一个或多个ROI并通过定义宏块作为被分配给至少一个ROI的方式来将ROI标识编号分配给每个ROI；映射单元，其将至少一个或多个片组标识编号分配给至少一个或多个ROI标识编号；以及消息生成单元，其生成消息，该消息包括ROI相关信息、片组相关信息、关于将至少一个或多个ROI标识编号映射到至少一个或多个片组标识编号的映射信息和可伸缩性信息。
多ROI设置装置可以进一步包括选择单元，其基于消息从比特流中选择具有特定可伸缩性的特定ROI的比特流。
另外，当在ROI之间存在重叠区域时，映射单元可以将片组标识编号的每个分配给重叠区域和不重叠其他ROI的ROI的区域。
另外，选择单元可以基于在消息中的信息，来从比特流中检测与被映射到特定ROI标识编号的片组标识编号相对应的片组，移除其中不存在所检测的片组的NAL单元，并移除具有高于特定可伸缩性的可伸缩性的NAL单元。
根据本发明的另一方面，提供一种ROI选择装置，包括：接收单元，其接收具有消息的比特流，该消息包括关于将至少一个或多个片组分配到一个或多个ROI集的映射的映射信息、ROI相关信息、片组相关信息和可伸缩性信息；以及选择单元，其基于消息从比特流中选择与具有特定可伸缩性的特定ROI相对应的比特流。
映射信息可以包括关于将ROI标识编号分配给至少一个或多个ROI的信息，和关于将表示至少一个或多个片组的片组标识编号分配给ROI标识编号的信息。
另外，当在ROI之间存在重叠区域时，片组标识编号可以被分配给重叠区域和不重叠其他ROI的ROI的区域。
根据本发明的另一方面，提供一种选择性ROI重构装置，包括：接收单元，其接收具有消息的比特流，该消息包括关于将至少一个或多个片组分配到一个或多个ROI集的映射的映射信息、ROI相关信息、片组相关信息和可伸缩性信息；以及选择单元，其基于消息从比特流中选择与具有特定可伸缩性的特定ROI相对应的比特流；以及解码单元，其解码所选择的比特流。
根据本发明的另一方面，提供一种多ROI(感兴趣区域)设置方法，包括：(a)设置至少一个或多个ROI和将ROI标识编号分配给每个ROI；(b)将至少一个或多个片组标识编号映射给至少一个或多个ROI标识编号；以及(c)生成消息，该信息包括ROI相关信息、片组相关信息、关于将至少一个或多个ROI标识编号映射到至少一个或多个片组标识编号的映射信息和可伸缩性信息。
多ROI设置方法可以进一步包括(d)基于消息从比特流中选择具有特定可伸缩性的特定ROI的比特流。
根据本发明的另一方面，一种ROI选择方法，包括：(a)接收具有消息的比特流，该消息包括关于将至少一个或多个片组分配到一个或多个ROI集的映射的映射信息、ROI相关信息、片组相关信息和可伸缩性信息；以及(b)基于消息从比特流中选择与具有特定可伸缩性的特定ROI相对应的比特流。
根据本发明的另一方面，提供一种选择性ROI重构方法，包括：(a)接收具有消息的比特流，该消息包括关于将至少一个或多个片组分配到一个或多个ROI集的映射的映射信息、ROI相关信息、片组相关信息和可伸缩性信息；(b)基于消息从比特流中选择与具有特定可伸缩性的特定ROI相对应的比特流；以及(c)解码所选择的比特流。
具体来说，根据本发明的一个方面，提供了一种用于可伸缩视频的ROI(感兴趣区域)信息设置方法，该方法包括：在帧中设置至少一个ROI，并且向所述至少一个ROI中的每一个ROI分配ROI标识编号；将该ROI标识编号映射到层标识编号；以及将至少一个或多个片组标识编号映射到该层标识编号，其中，SEI(补充增强信息)消息包括该ROI标识编号到该层标识编号之间的映射信息、以及该ROI标识编号与所述至少一个或多个片组标识编号之间的映射信息。
根据本发明的又一方面，提供了一种用于可伸缩视频的ROI解析方法，该方法包括：根据SEI消息来确认ROI标识编号与层标识编号之间的映射关系；根据该SEI消息来确定与该层标识编号对应的至少一个或多个片组标识编号；以及基于所述至少一个或多个片组标识编号来确定在PSS(图像参数集)中对应的片组的位置。
根据本发明的又一方面，提供了一种ROI解析方法，该方法包括：根据可伸缩信息SEI消息来确认包括ROI的层的层标识编号与ROI标识编号之间的映射关系；根据子图像可伸缩层SEI消息和运动约束片组集SEI消息来确定与该层标识编号对应的至少一个或多个片组标识编号；以及基于所述至少一个或多个片组标识编号来确定在PSS中对应的片组的位置。
附图说明
图1示出根据本发明的实施例的被显示在移动电话或PDA的屏幕上的交通监视窗口。
图2示出被定义在类型2的片组映射(slice group map)中的四个片组。
图3示出在存在一个感兴趣的区域(ROI)的情况下的例子。
图4示出存在具有重叠区域的两个ROI的情况下的例子。
图5A示出在通过使用灵活的宏块排序(FMO)实现的图4的ROI的情况下的例子。
图5B示出根据本发明的实施例的对于包括ROI在内的补充增强信息(SEI)消息的SEI消息生成操作。
图6是示出根据本发明的实施例的基于ROI的视频通信、视频编码和解码操作的示意图。
图7是示出根据本发明的实施例的多ROI设置装置的构造的图。
图8是示出根据本发明的实施例的ROI选择装置的构造的图。
图9A是示出根据本发明的实施例的选择性ROI重构装置的构造的图。
图9B示出根据本发明的实施例的选择性ROI重构装置的ROI提取操作。
图10A、10B和10C示出根据本发明的实施例的SEI消息的语法。
图11示出根据本发明的实施例的SEI消息的语法的例子。
图12是示出在可伸缩视频编码(SVC)中实现多个ROI的操作的流程图。
具体实施方式
近来，已经使用可伸缩视频编码(SVC)作为用于在不同环境中传输视频的重要技术。在SVC中，根据用户的终端或网络的情况从已编码的比特流中移除特定部分，以便可以生成具有不同的时间、空间和质量特性的比特流。
除了现有SVC的前述特征以外，本发明提供在具有一个或多个ROI的可伸缩视频流中提取具有特定的感兴趣的区域(ROI)的新的比特流的方法。
由于这种方法，用户可以看到具有对于诸如移动电话或PDA之类的限制了分辨率和显示尺寸的用户的装置来说可能的最高分辨率的视频。
当网络或终端在尺寸方面受限时，仅传输在视频中具有重要意义的感兴趣的区域(ROI)，以便可以提供能够保证服务质量(QoS)的视频流服务。现在，参考图1描述其示例。
图1示出根据本发明的实施例的被显示在移动电话或PDA的屏幕上的交通监视窗口。
在具有低分辨率的这种移动电话或PDA中，接收原始图像，该原始图像的分辨率被处理以便被降低。但是，在本实施例中，仅接收如并输出110或120定义的ROI，以便可以浏览适合于该终端的ROI。
在SVC中的多个ROI的实现
当定义了一个或多个ROI时，考虑两因素以便代表ROI。
1)可以提供一个或多个ROI以便在可伸缩视频比特流中具有不同的可伸缩性。
2)在两个ROI之间可能存在重叠区域，且重叠区域可能减少编码速率。
在本实施例中，使用根据H.264/AVC的灵活的宏块排序(FMO)来构造独立的ROI。
1.使用FMO来编码和解码ROI
现在，将描述根据本发明的实施例的SVC中的ROI的实现。在本发明的实施例中，使用根据各种片组映射类型中的类型2的片组映射的FMO来定义ROI作为片组。图2示出在类型2的片组映射中定义的四个片组。应该注意，前述类型仅是示例，但本发明包括其所有修改和改变。
图3示出在存在一个ROI的情况下的例子。
位于帧中的ROI外部的宏块被定义为另一片组。如果仅存在一个ROI，则ROI 310变成片组1，而其背景变成片组2。
给该帧中的每个宏块分配包括了该宏块的片组的片组ID。给每个宏块分配一个片组ID。在SVC中，以片组为单位进行帧的编码。
当编码特定的片组时，仅编码在该帧中具有该特定片组的相同片组ID的宏块。在编码中，在图像参数集中，描述了片组的总数和片组ID，且记录在每个片组的左上和右下角中的宏块的地址。该信息被用于进行以片为单位的编码。
2.使用FMO来实现多个ROI
图4示出在存在具有重叠区域的两个ROI的情况下的例子。
不像图3所示的在一个帧中存在一个ROI的情况，在多个ROI的情况下，存在多个ROI。因此，需要考虑在ROI之间的重叠区域。
例如，如图4所示，可以定义ROI_1 400和ROI_2 440。在这种情况下，使用FMO，将ROI_1 400和ROI_2 440定义为单独的片组。因此，被包括在ROI_1 400和ROI_2 440中的重叠区域可以被包括在包括了ROI_1 400或ROI_2 440的一个片组中。
在这种情况下，有以下问题。重叠区域420被包括在具有在ROI_1 400和ROI_2 440中较低的片组ID的片组中。例如，当ROI_1 400的片组ID是0且ROI_2 440的片组ID是1时，重叠区域中的宏块被包括在ROI_1 400中。
在合成的编码中，编码ROI_1 400以便维持原始区域410和420。但是，编码ROI_2 440以便仅分配排除重叠区域以外的区域430作为ROI_2。在这种情况下，当用户仅解码来自编码比特流的ROI_2 440时，仅编码ROI_2 440的排除重叠区域以外的区域430以便在编码器中看到。
为了解决该问题，根据本发明的实施例，在ROI_1 400和ROI_2 440之间重叠区域OR 420被定义为独立的片组。因此，重复区域420可以被独立地编码和解码。但是，为了满足在FMO中定义的规则，重叠区域的片组ID需要低于ROI_1 400和ROI_2 440的片组ID。
当用户想要浏览ROI_1 400时，重叠区域420和ROI_1 400排除重叠区域420以外的区域410被编码和解码。当用户想要浏览ROI_2 440时，重叠区域420和ROI_2 440排除重叠区域420以外的区域430被编码和解码。因此，可以浏览适当的视频。
图5A示出在通过使用FMO实现图4所示的ROI的情况下的例子。
作为例子，原始视频具有通用图像格式(CIF)尺寸，且用户可能想要浏览原始尺寸、即CIF尺寸的ROI_1 500和其原始尺寸(分辨率)的一半、即四分之一CIF(QCIF)尺寸的ROI_2 540。在这种情况下，为了编码ROI_1 500和ROI_2 540，编码器在可伸缩层(QCIF、CIF、4CIF)中进行编码。更具体地，编码器编码ROI_1 500排除重叠区域以外的区域ROI_1-OR 510、排除重叠区域以外的ROI_2-OR 530和重叠区域OR 520作为三个独立的片组。
每个片组是矩形的形状。可以通过使用类型2的片组映射来编码ROI和重叠区域OR。在本实施例中，可伸缩性增加或减少2的整数倍。
作为例子，如图5A所示，为了通过考虑重叠区域OR来进行解码，重叠区域OR的片组ID需要低于ROI_1 500和ROI_2 540的片组ID。因此，重叠区域OR，ROI_1和ROI_2的片组ID可以被分别分配0、1和2。
3.用于提取ROI比特流的元数据
如图4和5A所示，当通过使用FMO在视频中定义具有重叠区域的多个ROI时，可以用一个或多个片组来构造一个ROI。因此，为了提取具有特定ROI的比特流，需要指示每个片组被包括在哪个ROI中的信息。
例如，可以从原始比特流中提取具有图4和5A所示的每个ROI(ROI_1和ROI_2)的两个比特流。可以在用户的终端中解码并显示每个ROI。在这种情况下，可以在一个显示单元或多个显示单元上独立地或同时显示ROI。
在本发明的实施例中，为了提取具有特定ROI的比特流，表示ROI信息被定义为补充增强信息(SEI)的元数据被提供给可伸缩性视频比特流。包括ROI关联信息在内的SEI消息包括ROI的位置和尺寸和ROI的可伸缩性。由于在SEI中描述了必要的元数据，因此提取ROI所需的信息可以被传输给比特流提取器或解码器。如下是被包括在表示ROI的元数据的结构中的主要信息。
★ROI的数量：被包括在比特流中的ROI的数量
★ROI ID：ROI唯一的值，用户可以用它来选择特定的ROI
以下信息被用于对应的空间层。
★片组ID：片组唯一的ID
★片组的尺寸和位置：关于片组的尺寸和位置的信息，用它可以以特定的可伸缩性来识别ROI的尺寸和位置
★片组到ROI的映射：关于将片组ID映射到特定ROI ID的信息
在当前的SVC中，通过使用三个SEI、即可伸缩信息SEI、子图像可伸缩层信息SEI和运动约束片组集SEI来呈现ROI关联信息。
图5B示出对于包括ROI在内的SEI消息的SEI消息生成操作。
通过使用包括关于片组的信息在内的FMO信息来生成图像参数集(PPS)。以SEI的形式来描述对应于片组的层。此时，生成包括用于将ROI ID映射到层中的ROI关联层的信息在内的SEI。接下来，生成包括表示关于链接到片组ID的层ID的信息的元数据在内的SEI，并将其插入要被编码的比特流中。
4.提取具有ROI的比特流
图6是示出根据本发明的实施例的基于ROI的视频通信、视频编码和解码操作的示意图。
在编码器610中，将输入的视频数据编码成SVC网络抽象层(NAL)单元(611)。还将在被包括在SEI消息中的SVC比特流中的ROI关联信息和可伸缩性信息也编码成SEI NAL单元(612)。在传输中，被编码的SEI NAL单元先于包含被编码的视频数据的SVC NAL单元。
在选择单元620中，提取从在编码器610中编码的可伸缩视频比特流中选择的具有特定ROI的比特流。在解码器630中，解码用所提取的NAL单元构造的比特流。现在，参考图7和8详细描述在选择单元620中进行的提取具有ROI的比特流的方法。
图7是示出根据本发明的实施例的多ROI设置装置700的构造的图。多ROI设置装置700进行在SVC中的多个ROI的设置、所设置的ROI的编码和用于解码ROI的SEI消息的生成。另外，多ROI设置装置700可以进行仅提取具有特定ROI的比特流的功能。
多ROI设置装置700包括ROI设置单元710、映射单元720和消息生成单元730。多ROI设置装置700可以进一步包括选择单元740。
ROI设置单元710设置至少一个或多个ROI，以便通过H.264的多个片组的灵活的宏块排序(FMO)来设置宏块作为至少一个或多个ROI，且该宏块分配ROI ID给ROI。
映射单元720给至少一个或多个ROI ID分配至少一个或多个片组ID。映射单元720根据图3和4所示的操作将ROI ID映射到片组ID。
当在视频中存在一个或多个ROI时，ID被用于标识ROI。由于ROI是有意义的区域，因此需要不考虑空间分辨率来指定特定空间区域的方法。在SVC中，仅给能够表示特定可伸缩性的特定帧速率的片组指定layer_ID。在比特流提取器中，设置ROI ID以便不考虑可伸缩性和帧速率来指定特定ROI，且设置片组ID以便表示特定可伸缩性的特定帧速率。然后，进行映射。
消息生成单元730生成一个消息，包括ROI关联信息、片组关联信息、关于将ROI ID映射到一个或多个片组ID的映射消息和可伸缩性信息。该消息在H.264/AVC和SVC中的补充增强信息(SEI)消息，且被编码以便被包括在编码器的比特流中。由于在上述部分“3.用于提取ROI比特流的元数据”中描述SEI消息，因此省略SEI消息的详细描述。
选择单元740根据由消息生成单元730生成的SEI消息从初始比特流提取具备具有特定可伸缩性的特定ROI的比特流。现在将参考图8详细描述选择单元740。
图8是示出根据本发明的实施例的ROI选择装置800的构造的图。
ROI选择单元800包括接收单元810和选择单元820。接收单元810接收具有包括关于映射的映射信息(其分配至少一个或多个片组给至少一个或多个ROI集)、ROI关联信息、片组关联信息、和可伸缩性信息在内的消息的比特流。
选择单元820可以从输入的可伸缩视频流中提取具有具备特定可伸缩性的特定ROI的比特流。选择单元820进行SEI消息解析以便提取初始比特流中的ROI，以基于SEI消息来从比特流中提取对应于具有特定可伸缩性的特定ROI的比特流。关于ROI的消息以元数据的形式被包括在SEI消息中，且用于提取特定ROI所需的消息被包括在SEI消息中。
根据对终端或网络的限制或根据用户的选择，输入将被提取的外部或预定ROI的ROI ID和可伸缩性，且通过使用在将经过解析的SEI消息中的关于ROI ID和片组ID之间的映射的映射信息来标识对应于将被提取的可伸缩性层的片组。
接下来，当被包括在所请求的ROI中的片组不存在于任何所接收的NAL单元中时，移除对应的NAL单元。另外，当NAL单元具有高于所请求的ROI的可伸缩性的分辨率时，移除NAL单元。
用没有在上述操作中被移除的NAL单元来构造从选择单元820输出的比特流。包括由选择单元820提取的ROI的比特流还是可伸缩的比特流。
图9A是示出根据本发明的实施例的选择性ROI重构装置900的构造的图。
选择性ROI重构单元900包括实质上等于或类似于图8描述的接收单元810和选择单元820的接收单元910和选择单元920。另外，选择性ROI重构单元900包括解码单元930。由于接收单元910和选择单元920等于或类似于图8所示的那些，因此省略其描述。
解码单元930解码由选择单元820或920提取的具有ROI的比特流，以便可以最终在SVC中解码多个ROI。
图9B示出根据本发明的实施例的选择性重构装置的ROI提取操作。
从图像参数集(PPS)获得片组的数量和几何信息。接下来，从包括关于将layer_ID映射到ROI ID的映射信息在内的SEI中获得表示片组的层的ROIID。接下来，从包括关于被连接于片组ID的layer_ID的信息在内的SEI中获得表示片组ID和layer_ID之间的关系的信息，以便可以通过使用片组ID来标识被连接于对应于将被提取的ROI ID的input_ROI_ID的片组。因此，可以提取关联的比特流。
图10A到10C示出根据本发明的实施例的SEI消息的语法。
可伸缩性信息SEI提供比特流的可伸缩性信息。构造比特流的层根据其可伸缩性被分类为可伸缩层。
可伸缩层表示特定片组。在可伸缩性信息SEI中描述关于可伸缩层的信息，以便可以提供提取比特流所需的信息。在本发明的实施例中，给可伸缩层分配ROI ID用于特定ROI，以便可以提取具有特定ROI的比特流。
由sub_pic_layer_flag值为1来表示的可伸缩层指示片组是表示ROI的片组。当sub_pic_layer_flag值是1时，记录ROI ID，以便ROI是特定片组的ROI。
图11示出包含ROI有关信息的选择性的可伸缩性信息SEI。当ROI存在于比特流中时，roi_flag可以被用作取代sub_pic_layer_flag的信号。roi_flag被设为1以便指示ROI存在于比特流。另外，ROI的数量值减去1被设为num_rois_minus_1。当定义ROI时，两个或多个片组存在于一个视频中。
在这种情况下，将对应于ROI的层分组，以便可以定义子流(substream)。对应于ROI减1的子流数量被设为nun_component_substreams_minus_1。ID被分配给子流，且ID被存储在component_substream_id阵列中。
另外描述构成子流的可伸缩层的信息，以便可以提供实际片组的可伸缩性信息。在本发明的另一实施例中，roi_flag、子流、nun_component_substreams_minus_1和component_substream_id被存储作为ROI信息。
图12是示出实现在SVC中的多个ROI的操作的流程图。
如下进行在SVC中的多个ROI的实现。
通过使用多个片组设置至少一个或多个ROI，且ROI ID被分配给ROI(操作S1210和S1220)。
接下来，至少一个或多个片组ID被映射到至少一个或多个ROI ID(操作S1230)。当在ROI之间存在重叠区域，片组ID被分配给重叠区域和不重叠其他ROI的ROI的区域。(操作S1230)。
在完成将ROI ID映射到片组ID，生成包括ROI相关信息、片组相关信息、关于将ROI ID映射到一个或多个片组ID的映射信息和可伸缩性信息的SEI消息(操作S1240)。
基于SEI消息从比特流中选择具有特定可伸缩性的特定ROI的比特流(操作S1250)。更具体地，基于在SEI消息中的信息来选择与从比特流映射到特定ROI ID的片组ID相对应的片组。
移除其中不存在所检测的片组的NAL单元，且移除具有高于特定可伸缩性的可伸缩性的NAL单元。之后，提取剩余NAL单元作为比特流。解码所提取的比特流(操作S1260)。
还可以实现本发明作为在计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储能以后由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波(诸如通过因特网的数据传输)。计算机可读记录介质还可以被分布在网络耦合计算机系统上，以便以分布式方式来存储和执行计算机可读代码。
尽管已经参考本发明的示范实施例具体示出和描述了本发明，但本领域技术人员应该理解，在不脱离由所附权利要求所限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种用于可伸缩视频的ROI(感兴趣区域)信息设置方法，该方法包括：
在帧中设置至少一个ROI，并且向所述至少一个ROI中的每一个ROI分配ROI标识编号；
将该ROI标识编号映射到层标识编号；以及
将至少一个或多个片组标识编号映射到该层标识编号，
其中，SEI(补充增强信息)消息包括该ROI标识编号到该层标识编号之间的映射信息、以及该ROI标识编号与所述至少一个或多个片组标识编号之间的映射信息。
2.根据权利要求1的方法，其中，该SEI消息包括可伸缩信息SEI消息、子图像可伸缩层SEI消息和运动约束片组集SEI消息。
3.根据权利要求1的方法，其中，在该将该ROI标识编号映射到层标识编号的步骤中，在该可伸缩信息SEI消息中包括用于指示该ROI标识编号到该层标识编号之间的映射信息的元数据。
4.根据权利要求1的方法，其中，在该分配ROI标识编号的步骤中，在该子图像可伸缩层SEI消息和该运动约束片组集SEI消息中包括用于指示以下信息的元数据，该信息关于向层标识编号分配的所分配的ROI标识编号和所述至少一个或多个片组标识编号。
5.根据权利要求1的方法，其中，在该在帧中设置至少一个ROI的步骤中，通过使用H.264多片组灵活的宏块排序(FMO)来设置宏块作为所述至少一个或多个ROI。
6.一种用于可伸缩视频的ROI解析方法，该方法包括：
根据SEI消息来确认ROI标识编号与层标识编号之间的映射关系；
根据该SEI消息来确定与该层标识编号对应的至少一个或多个片组标识编号；以及
基于所述至少一个或多个片组标识编号来确定在PSS(图像参数集)中对应的片组的位置。
7.根据权利要求6的方法，其中，通过确定在该SEI消息中包括的sub_pic_layer_flag值，仅仅相对于具有1作为该sub_pic_layer_flag值的层来确认该ROI标识编号与层标识编号之间的映射关系。
8.根据权利要求7的方法，其中，该SEI消息是可伸缩信息SEI消息。
9.根据权利要求7的方法，其中，每一层地描述该sub_pic_layer_flag值，并且只有当该sub_pic_layer_flag值为1时，ROI才存在于对应的层中。
10.根据权利要求6的方法，其中，该用于确定至少一个或多个片组标识编号的SEI消息是子图像可伸缩层SEI消息和运动约束片组集SEI消息。
11.根据权利要求6的方法，其中，该确定位置的步骤包括：基于所述至少一个或多个片组标识编号来确定在每个片组的左上和右下角中的宏块的地址。
12.一种ROI解析方法，该方法包括：
根据可伸缩信息SEI消息来确认包括ROI的层的层标识编号与ROI标识编号之间的映射关系；
根据子图像可伸缩层SEI消息和运动约束片组集SEI消息来确定与该层标识编号对应的至少一个或多个片组标识编号；以及
基于所述至少一个或多个片组标识编号来确定在PSS中对应的片组的位置。
13.根据权利要求12的方法，其中，通过确定在该SEI消息中包括的sub_pic_layer_flag值，仅仅相对于具有1作为该sub_pic_layer_flag值的层来确认该ROI标识编号与层标识编号之间的映射关系。
14.根据权利要求13的方法，其中，每一层地描述该sub_pic_layer_flag值，并且只有当该sub_pic_layer_flag值为1时，ROI才存在于对应的层中。
15.根据权利要求12的方法，其中，该确定位置的步骤包括：基于所述至少一个或多个片组标识编号来确定在每个片组的左上和右下角中的宏块的地址。
CN201110232167.7A 2005-09-26 2006-09-25 用于可伸缩视频的感兴趣区域信息设置方法和解析方法 Active CN102271249B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2005-0089463 2005-09-26
KR20050089463 2005-09-26
US72545405P 2005-10-11 2005-10-11
US60/725,454 2005-10-11
KR1020060092368A KR101255226B1 (ko) 2005-09-26 2006-09-22 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
KR10-2006-0092368 2006-09-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200680043774.6A Division CN101313578B (zh) 2005-09-26 2006-09-25 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置

Publications (2)

Publication Number Publication Date
CN102271249A true CN102271249A (zh) 2011-12-07
CN102271249B CN102271249B (zh) 2014-04-09

Family

ID=39762245

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110232167.7A Active CN102271249B (zh) 2005-09-26 2006-09-25 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
CN200680043774.6A Active CN101313578B (zh) 2005-09-26 2006-09-25 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200680043774.6A Active CN101313578B (zh) 2005-09-26 2006-09-25 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置

Country Status (2)

Country Link
US (1) US8184153B2 (zh)
CN (2) CN102271249B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015074273A1 (zh) * 2013-11-25 2015-05-28 华为技术有限公司 处理视频的设备和方法
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
CN109698956A (zh) * 2017-10-24 2019-04-30 联发科技股份有限公司 用于对图像中兴趣区域进行解码的装置及方法
CN110073662A (zh) * 2016-11-17 2019-07-30 英特尔公司 全景视频的建议视口指示

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
ES2440824T3 (es) * 2006-07-10 2014-01-30 Orange Dispositivo y procedimiento de codificación y de decodificación escalables de flujo de datos de imágenes, señal y programa informático correspondientes
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
EP1994721A4 (en) 2007-01-12 2013-09-25 Univ Kyung Hee Univ Ind Coop Group PACKET FORMAT OF A NETWORK ABSTRACTION LAYER UNIT, ALGORITHM AND VIDEO ENCODING AND DECODING APPARATUS USING THE SAME, QOS CONTROL ALGORITHM AND IPV6 LABEL SWITCHING APPARATUS USING THE FORMAT
US8780988B2 (en) * 2008-02-28 2014-07-15 Vixs Systems, Inc. Hierarchical video analysis-based real-time perceptual video coding
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9407876B1 (en) * 2010-09-14 2016-08-02 Pixia Corp. Method and system for encoding and decoding multiple wide-area surveillance area-of-interest video codestreams
KR101744355B1 (ko) * 2011-01-19 2017-06-08 삼성전자주식회사 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치
CN103460250B (zh) * 2011-04-11 2017-11-28 英特尔公司 基于感兴趣对象的图像处理
DK2842313T3 (en) 2012-04-13 2017-01-23 Ge Video Compression Llc Scalable data stream and network device
KR101995270B1 (ko) 2012-04-25 2019-07-03 삼성전자주식회사 비디오 데이터를 재생하는 방법 및 장치
US9161004B2 (en) 2012-04-25 2015-10-13 Qualcomm Incorporated Identifying parameter sets in video files
CN104170384A (zh) * 2012-06-25 2014-11-26 索尼公司 图像解码设备、图像解码方法、图像编码设备和图像编码方法
CN104685893B (zh) 2012-06-29 2019-08-13 Ge视频压缩有限责任公司 视频数据流的编码、解码、传输方法以及编码器、解码器
CN103310411B (zh) * 2012-09-25 2017-04-12 中兴通讯股份有限公司 一种图像局部增强方法和装置
CN109587573B (zh) * 2013-01-18 2022-03-18 佳能株式会社 生成设备和方法、显示设备和方法以及存储介质
US10390024B2 (en) * 2013-04-08 2019-08-20 Sony Corporation Region of interest scalability with SHVC
CN105144768B (zh) * 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
EP3013062A4 (en) * 2013-06-19 2016-12-21 Lg Electronics Inc SIGNAL TRANSMITTING AND RECEIVING DEVICE AND METHOD OF CONTROLLING SAID DEVICE
GB2516224A (en) 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN105359512B (zh) * 2013-07-15 2019-05-28 索尼公司 用于交互性的运动约束贴片集合sei消息的扩展
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
EP3025483B1 (en) 2013-07-25 2022-09-21 Convida Wireless, LLC End-to-end m2m service layer sessions
GB2519746B (en) * 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
EP3226561A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
CN109588057B (zh) 2016-05-11 2021-09-07 康维达无线有限责任公司 一种经由通信电路连接到网络的方法和装置
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US10631319B2 (en) 2016-06-15 2020-04-21 Convida Wireless, Llc Grant-less uplink transmission for new radio
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
EP4068645A1 (en) 2016-08-11 2022-10-05 Convida Wireless, LLC Beamforming sweeping and training in a flexible frame structure for new radio
US10924784B2 (en) * 2016-08-30 2021-02-16 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
CN115632686A (zh) 2016-11-03 2023-01-20 康维达无线有限责任公司 Nr中的帧结构
WO2018152437A1 (en) 2017-02-17 2018-08-23 Vid Scale, Inc. Systems and methods for selective object-of-interest zooming in streaming video
JP6936018B2 (ja) 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
CN110383848B (zh) * 2017-03-07 2022-05-06 交互数字麦迪逊专利控股公司 用于多设备呈现的定制视频流式传输
BR112019025471A2 (pt) * 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN110022481B (zh) * 2018-01-10 2023-05-02 中兴通讯股份有限公司 视频码流的解码、生成方法及装置、存储介质、电子装置
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
EP3821601A1 (en) 2018-07-15 2021-05-19 V-Nova International Limited Low complexity enhancement video coding
CN115883882A (zh) * 2018-09-19 2023-03-31 中兴通讯股份有限公司 图像处理方法、装置、系统、网络设备、终端及存储介质
JP2022503848A (ja) 2018-09-27 2022-01-12 コンヴィーダ ワイヤレス， エルエルシー 新無線のアンライセンススペクトルにおけるサブバンドオペレーション
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11711544B2 (en) * 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
RU2743956C1 (ru) * 2019-08-15 2021-03-01 Сцреенлифе Лимитед Способ создания вертикально ориентированного видео
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11388423B2 (en) * 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
WO2021252461A1 (en) * 2020-06-09 2021-12-16 Bytedance Inc. Constraints on supplemental enhancement information in video coding
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088061A (en) * 1995-07-14 2000-07-11 Sharp Kabushiki Kaisha Video coding device and video decoding device
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
CN1593065A (zh) * 2001-11-27 2005-03-09 诺基亚有限公司 其中图像被分成条带的前景和背景的视频编码与解码
CN1666195A (zh) * 2002-04-29 2005-09-07 索尼电子有限公司 支持媒体文件中的高级编码格式

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1101358B1 (en) * 1999-05-27 2009-07-01 IPG Electronics 503 Limited Encoding a video signal with high resolution encoding for regions of interest
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
KR20080006609A (ko) * 2005-04-13 2008-01-16 노키아 코포레이션 스케일링가능성 정보의 코딩, 저장, 및 시그널링
WO2006109116A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Method, device and system for effective fine granularity scalability (fgs) coding and decoding of video data
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088061A (en) * 1995-07-14 2000-07-11 Sharp Kabushiki Kaisha Video coding device and video decoding device
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
CN1593065A (zh) * 2001-11-27 2005-03-09 诺基亚有限公司 其中图像被分成条带的前景和背景的视频编码与解码
CN1666195A (zh) * 2002-04-29 2005-09-07 索尼电子有限公司 支持媒体文件中的高级编码格式

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108184101B (zh) * 2013-11-25 2020-07-14 华为技术有限公司 处理视频的设备和方法
CN104919812A (zh) * 2013-11-25 2015-09-16 华为技术有限公司 处理视频的设备和方法
CN104919812B (zh) * 2013-11-25 2018-03-06 华为技术有限公司 处理视频的设备和方法
WO2015074273A1 (zh) * 2013-11-25 2015-05-28 华为技术有限公司 处理视频的设备和方法
CN108184101A (zh) * 2013-11-25 2018-06-19 华为技术有限公司 处理视频的设备和方法
US11792378B2 (en) 2016-11-17 2023-10-17 Intel Corporation Suggested viewport indication for panoramic video
CN110073662A (zh) * 2016-11-17 2019-07-30 英特尔公司 全景视频的建议视口指示
CN110073662B (zh) * 2016-11-17 2023-07-18 英特尔公司 全景视频的建议视口指示方法及装置
CN107995155A (zh) * 2017-10-11 2018-05-04 上海聚力传媒技术有限公司 视频数据编码、解码、展示方法、视频系统及存储介质
US10771163B2 (en) 2017-10-24 2020-09-08 Mediatek Inc. Apparatus and method for decoding ROI regions in image
CN109698956B (zh) * 2017-10-24 2021-05-18 联发科技股份有限公司 用于对图像中兴趣区域进行解码的装置及方法
TWI687090B (zh) * 2017-10-24 2020-03-01 聯發科技股份有限公司 用於對圖像中興趣區域進行解碼的裝置及方法
CN109698956A (zh) * 2017-10-24 2019-04-30 联发科技股份有限公司 用于对图像中兴趣区域进行解码的装置及方法

Also Published As

Publication number Publication date
CN101313578B (zh) 2011-10-19
US20080225116A1 (en) 2008-09-18
CN102271249B (zh) 2014-04-09
US8184153B2 (en) 2012-05-22
CN101313578A (zh) 2008-11-26

Similar Documents

Publication Publication Date Title
CN102271249B (zh) 用于可伸缩视频的感兴趣区域信息设置方法和解析方法
JP5144522B2 (ja) スケーラブルビデオ符号化でｒｏｉを定義し、再構成するための装置および方法
CN113498606B (zh) 用于视频编码和解码的装置、方法和计算机程序
JP6743059B2 (ja) カプセル化されたビットストリームからメディアデータ及びメタデータを取得するための、動作基点ディスクリプタを動的に設置可能な方法、デバイス及びコンピュータプログラム
TWI435607B (zh) 以媒體檔案發信號通知感興趣區域可縮放性資訊之技術
CN113574873B (zh) 对已编码视频流的子码流进行解码的方法和计算机设备
JP7442913B2 (ja) ビデオ復号の方法、装置及びコンピュータプログラム
JP2020022187A (ja) メディアファイルの処理装置及び処理方法
KR20170129975A (ko) 비트스트림을 처리하기 위한 장치 및 방법
JP2023508736A (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
CN113874875B (zh) 对已编码视频码流进行解码的方法、装置及可读介质
CN114127800B (zh) 视频解码的方法和装置
CN113632482A (zh) 视频码流中可缩放性参数的信号传送
CN113994664A (zh) 具有输出层集的图片输出方法
CN114514742A (zh) 采用已编码视频流中的子图片进行信号发送的用信号发送虚拟边界的方法
CN113966615B (zh) 对视频进行编解码的方法、设备以及存储介质
US12328440B2 (en) Method and apparatus for encoding/decoding image on basis of CPI SEI message, and recording medium having bitstream stored therein
HK40065121A (zh) 视频编解码的方法和设备
CN113924770A (zh) 在已编码视频比特流中发信号通知子图片划分的方法
HK40072087A (zh) 采用已编码视频流中的子图片进行信号发送的用信号发送虚拟边界的方法
CN113055668A (zh) 从已编码视频比特流中提取子比特流的方法和设备
CN113875252A (zh) 用信号发送编码视频流中的混合nal单元类型和子图片划分的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant