CN106231321B - 解码方法和解码设备 - Google Patents
解码方法和解码设备 Download PDFInfo
- Publication number
- CN106231321B CN106231321B CN201610895415.9A CN201610895415A CN106231321B CN 106231321 B CN106231321 B CN 106231321B CN 201610895415 A CN201610895415 A CN 201610895415A CN 106231321 B CN106231321 B CN 106231321B
- Authority
- CN
- China
- Prior art keywords
- prediction
- unit
- syntax
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008569 process Effects 0.000 claims description 19
- 230000006978 adaptation Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 76
- 230000015654 memory Effects 0.000 description 74
- 238000012545 processing Methods 0.000 description 57
- 238000013139 quantization Methods 0.000 description 55
- 230000014509 gene expression Effects 0.000 description 47
- 239000013598 vector Substances 0.000 description 29
- 230000002457 bidirectional effect Effects 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 238000012986 modification Methods 0.000 description 25
- 238000003860 storage Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 13
- 241000023320 Luma <angiosperm> Species 0.000 description 12
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 9
- FVTCRASFADXXNN-SCRDCRAPSA-N flavin mononucleotide Chemical compound OP(=O)(O)OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C=2C=C(C)C(C)=CC=2N=C2C1=NC(=O)NC2=O FVTCRASFADXXNN-SCRDCRAPSA-N 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 101150039623 Clip1 gene Proteins 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Error Detection And Correction (AREA)
Abstract
本申请涉及解码方法和解码设备。该解码方法包括:接收包括切片级上的第一语法、调用自切片级的更高层级上的语法的第二语法、和在切片级的更高层级上的第三语法的编码数据的输入;根据第三语法再次生成第三语法元素;以及根据第二语法和再次生成的第三语法元素指定多个参数。第一语法描述指定第一参考图像列表中的参考图像的数目的第一语法元素以及指定第二参考图像列表中的参考图像的数目的第二语法元素;第二语法描述由公共索引指定的多个参数,公共索引公共地用于第一参考图像列表和第二参考图像列表并指定来自第一参考图像列表和第二参考图像列表的参考图像;第三语法描述指定由公共索引选取的值的最大数目的第三语法元素。
Description
本申请是申请号为201180073124.7、申请日为2011年10月17日、名称为“编码方法和解码方法”的发明专利申请的分案申请。
技术领域
本发明的实施例涉及编码方法和解码方法。
背景技术
近年来,编码效率大幅提高地对图像编码的方法被ITU-T(国际电信联盟远程通信标准化组织)和ISO(国际标准化组织)/IEC(国际电工委员会)联合推荐为ITU-T REC.H.264和ISO/IEC 14496-10(下面称为“H.264”)。
在H.264中,公开了一种帧间预测编码系统(inter-prediction coding system),其中通过利用编码图像作为参考图像,进行分数精度的运动补偿预测,消除时间方向的冗余,以实现高编码效率。
另外,提出一种系统,其中以比按照ISO/IEC MPEG(运动图像专家组)-1、2、4的帧间预测编码系统更高的效率,编码包括渐隐或融合效果的活动图像。在该系统中,对具有亮度和2个色差的输入活动图像进行分数精度的运动补偿预测,作为用于预测时间方向的明亮度变化的帧。随后,通过利用表示参考图像、亮度和2个色差每一个的加权因子、亮度和2个色差每一个的偏移量的组合的索引,把预测图像乘以加权因子,以及随后再加上偏移量。
引文列表
专利文献
专利文献1:日本公开专利公报:No.2004-7377
发明内容
然而,在如上所述的现有技术中,在其中能够选择双向预测的双向预测切片(slice)中,当利用具有相同的参考图像但是具有彼此不同的不同参考图像编号的两个索引,进行加权运动补偿时,存在具有相同值的索引被编码两次的情况,并且因此存在编码效率降低的情况。本发明的目的是提供一种能够改善编码效率的编码方法和解码方法。
按照实施例的编码方法包括索引生成步骤和编码步骤。索引生成步骤生成公共索引,其中包括在第一索引中的一个或多个参考图像的编号和包括在第二索引中的一个或多个参考图像的编号被分类成不包括相同参考图像的组合。第一索引被设定成表示包括由第一参考图像参考的所述一个或多个参考图像的组合。第二索引被设定成表示包括由第二参考图像参考的所述一个或多个参考图像的组合。以预定顺序扫描包括在第一索引和第二索引中的参考图像的编号。编码步骤对公共索引编码。
附图说明
图1是图解说明按照第一实施例的编码设备的例子的方框图。
图2是图解说明按照第一实施例的像素区块的预测编码序列的例子的说明图。
图3A是图解说明按照第一实施例的编码树区块的大小的例子的示图。
图3B是图解说明按照第一实施例的编码树区块的具体例子的示图。
图3C是图解说明按照第一实施例的编码树区块的另一个具体例子的示图。
图3D是图解说明按照第一实施例的编码树区块的另一个具体例子的示图。
图4是图解说明按照第一实施例的预测图像生成单元的例子的方框图。
图5是图解说明按照第一实施例的用于双向预测中的运动补偿预测的运动向量之间的关系的例子的示图。
图6是图解说明按照第一实施例的多帧运动补偿单元的例子的方框图。
图7是图解说明按照第一实施例的加权因子的固定小数点精度的例子的说明图。
图8是图解说明按照第一实施例的索引设定单元的例子的方框图。
图9A是图解说明按照第一实施例的WP参数信息的例子的示图。
图9B是图解说明按照第一实施例的WP参数信息的例子的示图。
图10是图解说明按照第一实施例的低延迟编码结构中的编码顺序和显示顺序的例子的示图。
图11是图解说明按照第一实施例的低延迟编码结构中的参考图像和参考编号之间的关系的例子的示图。
图12是图解说明按照第一实施例的随机存取编码结构中的编码顺序和显示顺序的例子的示图。
图13是图解说明按照第一实施例的随机存取编码结构中的参考图像和参考编号之间的关系的例子的示图。
图14是图解说明按照第一实施例的参考图像的列表编号和参考编号的扫描顺序的例子的示图。
图15是以简化方式图解说明按照第一实施例的在公共列表转换之后的WP参数信息的例子的示图。
图16是以简化方式图解说明按照第一实施例的在公共列表转换之后的WP参数信息的例子的示图。
图17是图解说明按照第一实施例的生成索引信息的处理的例子的流程图。
图18是图解说明按照第一实施例的语法的例子的示图。
图19是图解说明按照第一实施例的图片参数集语法的例子的示图。
图20是图解说明按照第一实施例的切片头部语法的示图。
图21是图解说明按照第一实施例的预测加权表格语法的例子的示图。
图22是图解说明按照变形例的序列参数集语法的例子的示图。
图23是图解说明按照变形例的适配参数集语法的例子的示图。
图24是图解说明按照变形例的预测加权表格语法的例子的示图。
图25是图解说明按照第二实施例的索引设定单元的结构例子的方框图。
图26是图解说明按照第二实施例的生成索引信息的处理的例子的流程图。
图27是图解说明按照第二实施例的预测加权表格语法的例子的示图。
图28是图解说明按照第三实施例的编码设备的结构例子的方框图。
图29是图解说明按照第三实施例的运动信息存储器的详细例子的示图。
图30A是图解说明按照第三实施例,对于编码像素区块导出运动信息候选的区块位置的例子的示图。
图30B是图解说明按照第三实施例,对于编码像素区块导出运动信息候选的区块位置的例子的示图。
图31是图解说明按照第三实施例的多个运动信息候选的像素区块位置和像素区块位置索引之间的关系的例子的示图。
图32是图解说明按照第三实施例的对于MergeCandList的存储处理的例子的流程图。
图33是图解说明按照第三实施例的运动信息的存储列表的例子的示图。
图34是图解说明按照第三实施例的把运动信息保存在存储列表中的方法的例子的流程图。
图35是图解说明按照第三实施例的双向预测的组合的例子的示图。
图36是图解说明按照第三实施例的预测单元语法的例子的示图。
图37是图解说明按照第三实施例的对于MergeCandList的存储处理的另一个例子的流程图。
图38是图解说明按照第四实施例的解码设备的结构例子的方框图。
图39是图解说明按照第四实施例的索引设定单元的结构例子的方框图。
图40是图解说明按照第五实施例的索引设定单元的结构例子的方框图。
图41是图解说明按照第六实施例的解码设备的结构例子的方框图。
具体实施方式
下面参考附图,详细说明实施例。按照下面给出的每个实施例的编码设备和解码设备可用诸如LSI(大规模集成)芯片、DSP(数字信号处理器)或FPGA(现场可编程门阵列)之类的硬件实现。另外,按照下面给出的每个实施例的编码设备和解码设备可通过利用计算机执行程序,换句话说,利用软件实现。在下面给出的说明中,术语“图像”可适当地用诸如“视频”、“像素”、“图像信号”、“图片”或“图像数据”之类的术语替换。
第一实施例
在第一实施例中,将说明对活动图像编码的编码设备。
图1是图解说明按照第一实施例的编码设备100的结构例子的方框图。
编码设备100把构成输入图像的每帧或每场分成多个像素区块,并利用从编码控制单元111输入的编码参数,进行分割像素区块的预测编码,从而生成预测图像。随后,编码设备100通过从分成多个像素区块的输入图像中减去预测图像生成预测误差,通过对生成的预测误差进行正交变换和量化以及随后进行熵编码生成编码数据,以及然后输出生成的编码数据。
编码设备100通过有选择地应用多种预测模式进行预测编码,所述多种预测模式在像素区块的区块大小和生成预测图像的方法至少之一方面彼此不同。生成预测图像的方法可主要分成两类,包括其中在编码目标帧内进行预测的帧内预测,和利用不同时间点的一个或多个参考帧进行运动补偿预测的帧间预测。帧内预测也被称为画面内预测、帧之内预测等,帧间预测也被称为画面间预测、帧之间运动补偿预测等。
图2是图解说明按照第一实施例的像素区块的预测编码序列的例子的说明图。在图2中图解所示的例子中,编码设备100从像素区块的左上侧朝着右下侧进行预测编码。从而,在编码处理目标帧f中,已完成编码的像素区块p位于编码目标像素区块c的左侧和上方。下面,为了简化说明,假定编码设备100按照图2中图解所示的顺序进行预测编码,不过预测编码的顺序并不局限于此。
像素区块代表处理图像的单元,例如,具有M×N尺寸(这里,M和N是自然数)的区块、编码树区块、宏区块、子区块、一个像素等对应于所述像素区块。在下面给出的说明中,像素区块基本上用作编码树区块的含意,不过可以用作不同的含意。例如,在预测单元的说明中,像素区块用作预测单元的像素区块的含意。区块可被称为单元等。例如,编码区块可被称为编码单元。
图3A是图解说明按照第一实施例的编码树区块的大小的例子的示图。编码树区块一般为64×64的像素区块,如图3A中图解所示。然而,编码树区块并不局限于此,相反可以是32×32的像素区块、16×16的像素区块、8×8的像素区块、4×4的像素区块等。这里,编码树区块可以不是正方形,相反可以是例如M×N大小(这里,M≠N)的像素区块。
图3B-3D是表示按照第一实施例的编码树区块的具体例子的示图。图3B表示大小为64×64(N=32)的编码树区块。这里,N代表参考编码树区块的大小。编码树区块被分割的情况的大小被定义为N,而编码树区块不被分割的情况的大小被定义为2N。图3C表示通过把图3B中图解所示的编码树区块分成四叉树而获得的编码树区块。如图3C中图解所示,编码树区块具有四叉树结构。在编码树区块被分割的情况下,如图3C中图解所示,按Z扫描顺序向分割后的4个像素区块附加编号。
另外,在四叉树的每个编号内,编码树区块可被进一步分成四叉树。因而,可以分层方式分割编码树区块。在这种情况下,分割的深度被定义为Depth。图3D表示通过把图3B中图解所示的编码树区块分成四叉树而获得的编码树区块之一,其区块大小为32×32(N=16)。图3B中图解所示的编码树区块的深度为“0”,以及图3D中图解所示的编码树区块的深度为“1”。另外,具有最大单元的编码树区块被称为大编码树区块,并且按光栅扫描顺序,在这种单元中编码输入图像信号。
在下面的说明中,输入图像的编码目标区块或编码树区块可被称为预测目标区块或预测像素区块。另外,编码单元并不局限于像素区块,相反帧、场、切片、线和像素至少之一可以用作编码单元。
如图1中图解所示,编码设备100包括:减法单元101;正交变换单元102;量化单元103;逆量化单元104;逆正交变换单元105;加法单元106;预测图像生成单元107;索引设定单元108;运动评估单元109和编码单元110。另外,图1中图解所示的编码控制单元111控制编码设备100,并且可以利用CPU(中央处理单元)等实现。
减法单元101通过从分成像素区块的输入图像中减去对应的预测图像,获得预测误差。减法单元101输出预测误差以作为正交变换单元102的输入。
正交变换单元102对从减法单元101输入的预测误差进行诸如离散余弦变换(DCT)或离散正弦变换(DST)之类的正交变换,从而获得变换系数。正交变换单元102输出变换系数以作为量化单元103的输入。
量化单元103对从正交变换单元102输入的变换系数进行量化处理,从而获得量化变换系数。更具体地,量化单元103根据编码控制单元111指定的量化参数和诸如量化矩阵之类的量化信息进行量化。更具体地说,量化单元103通过把变换系数除以根据量化信息得到的量化步长,获得量化变换系数。量化参数代表量化细度。量化矩阵用于为变换系数的每个分量,对量化细度加权。量化单元103输出量化变换系数以作为逆量化单元104和编码单元110的输入。
逆量化单元104对从量化单元103输入的量化变换系数进行逆量化处理,从而获得复原变换系数。更具体地,逆量化单元104根据量化单元103利用的量化信息,进行逆量化。详细地说,逆量化单元104通过把量化变换系数乘以根据量化信息得到的量化步长,获得复原变换系数。另外,量化单元103利用的量化信息加载自编码控制单元111的图中未例示的内部存储器并被使用。逆量化单元104输出复原变换系数以作为逆正交变换单元105的输入。
逆正交变换单元105对从逆量化单元104输入的复原变换系数,进行诸如逆离散余弦变换(IDCT)或逆离散正弦变换(IDST)之类的逆正交变换,从而获得复原预测误差。这里,逆正交变换单元105进行的逆正交变换对应于正交变换单元102进行的正交变换。逆正交变换单元105输出复原预测误差以作为加法单元106的输入。
加法单元106相加从逆正交变换单元105输入的复原预测误差和对应的预测图像,从而生成局部解码图像。加法单元106输出局部解码图像以作为预测图像生成单元107的输入。
预测图像生成单元107把从加法单元106输入的局部解码图像作为参考图像保存在存储器(图1中未例示)中,并输出保存在存储器中的参考图像以作为运动评估单元109的输入。另外,预测图像生成单元107通过根据从运动评估单元109输入的运动信息和WP参数信息,进行加权运动补偿预测,生成预测图像。预测图像生成单元107输出预测图像以作为减法单元101和加法单元106的输入。
图4是图解说明按照第一实施例的预测图像生成单元107的结构例子的方框图。如图4中图解所示,预测图像生成单元107包括:多帧运动补偿单元201;存储器202;单向运动补偿单元203;预测参数控制单元204;参考图像选择器205;帧存储器206;和参考图像控制单元207。
帧存储器206在参考图像控制单元207的控制下,把从加法单元106输入的局部解码图像保存为参考图像。帧存储器206包括用于临时保存参考图像的多个存储器组FM1~FMN(这里,N≥2)。
预测参数控制单元204根据从运动评估单元109输入的运动信息,以表格的形式准备参考图像编号和预测参数的多个组合。这里,运动信息代表表示用于运动补偿预测的运动的偏差的运动向量、参考图像编号和诸如单向/双向预测之类的预测模式的信息。预测参数代表与运动向量和预测模式相关的信息。随后,预测参数控制单元204根据输入图像,选择用于生成预测图像的参考编号和预测参数的组合,并输出选择的组合,以使参考图像编号可被输入参考图像选择器205,并使预测参数可被输入到单向运动补偿单元203。
参考图像选择器205是根据从预测参数控制单元204输入的参考图像编号,改变待切换的包含在帧存储器206中的帧存储器FM1~FMN的输出端子之一的开关。例如,当参考图像编号为“0”时,参考图像选择器205把帧存储器FM1的输出端子连接到参考图像选择器205的输出端子,而当参考图像编号为N-1时,参考图像选择器205把帧存储器FMN的输出端子连接到参考图像选择器205的输出端子。参考图像选择器205输出保存在包含于帧存储器206中的帧存储器FM1~FMN之中的、其输出端子连接到参考图像选择器205的帧存储器中的参考图像,以作为单向运动补偿单元203和运动评估单元109的输入。
单向预测运动补偿单元203根据从预测参数控制单元204输入的预测参数,和从参考图像选择器205输入的参考图像,进行运动补偿预测处理,从而生成单向预测图像。
图5是图解说明按照第一实施例的用于双向预测中的运动补偿预测的运动向量之间的关系的例子的示图。在运动补偿预测中,利用参考图像进行插值处理,并根据生成的插值图像和输入图像间的从位于编码目标位置的像素区块的运动偏差,生成单向预测图像。这里,所述偏差是运动向量。如图5中图解所示,在双向预测切片(B切片)中,利用2种参考图像和一个运动向量集,生成预测图像。作为插值处理,使用1/2像素精度的插值处理、1/4像素精度的插值处理等等,并通过对参考图像进行滤波处理,生成插值图像的值。例如,在其中可对亮度信号进行一直到1/4像素精度的插值的H.264中,所述偏差被表示成整数像素精度的4倍。
单向预测运动补偿单元203输出单向预测图像,并把单向预测图像临时保存在存储器202中。这里,在运动信息(预测参数)表示双向预测的情况下,多帧运动补偿单元201利用两种单向预测图像,进行加权预测。因而,单向预测运动补偿单元203把对应于单向预测图像中第一类型的单向预测图像保存在存储器202中,以及把对应于第二类型的单向预测图像直接输出给多帧运动补偿单元201。这里,对应于第一类型的单向预测图像将被称为第一预测图像,而对应于第二类型的单向预测图像将被称为第二预测图像。
另外,可准备2个单向运动补偿单元203,这2个单向运动补偿单元203生成2个单向预测图像。在这种情况下,当运动信息(预测参数)表示单向预测时,单向运动补偿单元203可把第一单向预测图像作为第一预测图像,直接输出给多帧运动补偿单元201。
多帧运动补偿单元201通过利用从存储器202输入的第一预测图像、从单向预测运动补偿单元203输入的第二预测图像、和从运动评估单元109输入的WP参数信息,进行加权预测,从而生成预测图像。多帧运动补偿单元201输出预测图像,以作为减法单元101和加法单元106的输入。
图6是图解说明按照第一实施例的多帧运动补偿单元201的结构例子的方框图。如图6中图解所示,多帧运动补偿单元201包括:默认运动补偿单元301;加权运动补偿单元302;WP参数控制单元303和WP选择器304和305。
WP参数控制单元303根据从运动评估单元109输入的WP参数信息,输出WP应用标记和加权信息,以致把WP应用标记输入到WP选择器304和305,并把加权信息输入到加权运动补偿单元302。
这里,WP参数信息包括加权因子的固定小数点精度,对应于第一预测图像的第一WP应用标记、第一加权因子和第一偏移量,和对应于第二预测图像的第二WP应用标记、第二加权因子和第二偏移量的信息。WP应用标记是可为每个对应参考图像和信号分量设定的并且表示是否进行加权运动补偿预测的参数。加权信息包括加权因子的固定小数点精度、第一加权因子、第一偏移量、第二加权因子和第二偏移量的信息。
具体地,当从运动评估单元109输入WP参数信息时,WP参数控制单元303输出分成第一WP应用标记、第二WP应用标记和加权信息的WP参数信息,从而把第一WP应用标记输入到WP选择器304,把第二WP应用标记输入到WP选择器305,并把加权信息输入到加权运动补偿单元302。
WP选择器304和305根据从WP参数控制单元303输入的WP应用标记,改变预测图像的连接端。在对应的WP应用标记为“0”的情况下,每个WP选择器304和305把其输出端连接到默认运动补偿单元301。随后,WP选择器304和305输出第一和第二预测图像,以作为默认运动补偿单元301的输入。另一方面,在对应的WP应用标记为“1”的情况下,每个WP选择器304和305把其输出端连接到加权运动补偿单元302。随后,WP选择器304和305输出第一和第二预测图像,以作为加权运动补偿单元302的输入。
默认运动补偿单元301根据从WP选择器304和305输入的2个单向预测图像(第一和第二预测图像),进行平均处理,从而生成预测图像。更具体地,在第一和第二WP应用标记为“0”的情况下,默认运动补偿单元301根据数值表达式(1),进行平均处理。
P[x,y]=Clip1((PL0[x,y]+PL1[x,y]+offset2)>>(shift2)) (1)
这里,P[x,y]是预测图像,PL0[x,y]是第一预测图像,而PL1[x,y]是第二预测图像。另外,offset2和shift2是平均处理中的取整处理的参数,并且是根据第一和第二预测图像的内部计算精度确定的。当预测图像的比特精度为L,并且第一和第二预测图像的比特精度为M(L≤M)时,shift2用数值表达式(2)表示,而offset2用数值表达式(3)表示。
shift2=(M–L+1) (2)
offset2=(1<<(shift2-1) (3)
例如,预测图像的比特精度为“8”,而第一和第二预测图像的比特精度为“14”,根据数值表达式(2),shift2=7,而根据数值表达式(3),offset2=(1<<6)。
另外,在运动信息(预测参数)表示的预测模式为单向预测的情况下,默认运动补偿单元301只利用第一预测图像,根据数值表达式(4)计算最终的预测图像。
P[x,y]=Clip1((PLX[x,y]+offset1)>>(shift1)) (4)
这里,PLX[x,y]表示单向预测图像(第一预测图像),而X是表示作为参考列表的“0”或“1”的标识符。例如,PLX[x,y]在参考列表为“0”的情况下为PL0[x,y],而在参考列表为“1”的情况下为PL1[x,y]。另外,offset1和shift1是用于取整处理的参数,并且是根据第一预测图像的内部计算精度确定的。当预测图像的比特精度为L,并且第一预测图像的比特精度为M时,shift1用数值表达式(5)表示,而offset1用数值表达式(6)表示。
shift1=(M-L) (5)
offset1=(1<<(shift1-1) (6)
例如,在预测图像的比特精度为“8”,而第一预测图像的比特精度为“14”的情况下,根据数值表达式(5),shift1=6,以及根据数值表达式(6),offset1=(1<<5)。
加权运动补偿单元302根据从WP选择器304和305输入的2个单向预测图像(第一和第二预测图像),和从WP参数控制单元303输入的加权信息,进行加权运动补偿。更具体地,在第一和第二WP应用标记为“1”的情况下,加权运动补偿单元302根据数值表达式(7),进行加权处理。
P[x,y]=Clip1(((PL0[x,y]*w0C+PL1[x,y]*w1C+(1<<logWDC))>>(logWDC+1))+((o0C+o1C+1)>>1)) (7)
这里,w0C表示对应于第一预测图像的加权因子,w1C表示对应于第二预测图像的加权因子,o0C表示对应于第一预测图像的偏移量,而o1C表示对应于第二预测图像的偏移量。下面,它们将被称为第一加权因子、第二加权因子、第一偏移量和第二偏移量。logWDC是表示每个加权因子的固定小数点精度的参数。另外,变量C表示信号分量。例如,就YUV空间信号来说,亮度信号用C=Y表示,Cr色差信号用C=Cr表示,而Cb色差分量用C=Cb表示。
另外,在第一和第二预测图像的计算精度与预测图像的计算精度彼此不同的情况下,加权运动补偿单元302通过如数值表达式(8)中一样地控制作为固定小数点精度的logWDC,实现取整处理。
logWD'C=logWDC+offset1 (8)
通过用数值表达式(8)中表示的logWD'C代替数值表达式(7)中表示的logWDC,可实现取整处理。例如,在预测图像的比特精度为“8”,并且第一和第二预测图像的比特精度为“14”的情况下,通过重置logWDC,能够对于与数值表达式(1)中表示的shift2相似的计算精度,实现批量取整处理。
另外,在运动信息(预测参数)表示的预测模式是单向预测的情况下,加权运动补偿单元302只利用第一预测图像,根据数值表达式(9)计算最终的预测图像。
P[x,y]=Clip1((PLX[x,y]*wXC+(1<<logWDC-1))>>(logWDC)) (9)
这里,PLX[x,y]代表单向预测图像(第一预测图像),wXC代表对应于单向预测的加权因子,而X是表示作为参考列表的“0”或“1”的标识符。例如,PLX[x,y]和wXC在参考列表为“0”的情况下为PL0[x,y]和w0C,而在参考列表为“1”的情况下为PL1[x,y]和w1C。
另外,在第一和第二预测图像的计算精度与预测图像的计算精度彼此不同的情况下,加权运动补偿单元302通过类似于双向预测的情况,如数值表达式(8)中一样地控制作为固定小数点精度的logWDC,实现取整处理。
通过用数值表达式(8)中表示的logWD'C代替数值表达式(7)中表示的logWDC,可实现取整处理。例如,在预测图像的比特精度为“8”,并且第一和第二预测图像的比特精度为“14”的情况下,通过重置logWDC,能够对于与数值表达式(4)中表示的shift1相似的计算精度,实现批量取整处理。
图7是图解说明按照第一实施例的加权因子的固定小数点精度的例子的说明图,并且是图解说明在时间方向上具有明亮度变化和灰度值的活动图像的变化的例子的示图。在图7中图解所示的例子中,编码目标帧为帧(t),在编码目标帧之前一帧的帧为帧(t-1),以及在编码目标帧之后一帧的帧为帧(t+1)。如图7中图解所示,在从白变到黑的渐隐图像中,图像的明亮度(灰度值)随着时间的流逝而降低。加权因子代表图7中的变化度,并且根据数值表达式(7)和(9),显然在无明亮度变化的情况下,取值“1.0”。固定小数点精度是控制与加权因子的小数点对应的间隔宽度的参数,并且在不存在明亮度变化的情况下,加权因子为1<<logWDC。
另外,在单向预测的情况下,对应于第二预测图像的各个参数(第二WP应用标记、第二加权因子和第二偏移量信息)不被使用,并且可被设定成预先确定的初始值。
返回参见图1,运动评估单元109根据输入图像和从预测图像生成单元107输入的参考图像,进行多帧之间的运动评估,并输出运动信息和WP参数信息,从而把运动信息输入到预测图像生成单元107和编码单元110,并把WP参数信息输入到预测图像生成单元107和索引设定单元108。
运动评估单元109例如通过以下计算误差,计算预测目标像素区块的输入图像和对应于相同位置的多个参考图像之间的差作为起点来计算误差,以分数精度移动所述位置,并利用诸如区块匹配之类的技术找出误差最小的区块等的技术计算最佳运动信息。在双向预测的情况下,运动评估单元109利用从单向预测导出的运动信息,进行包括如在数值表达式(1)和(4)中表示的默认运动补偿预测的区块匹配,从而计算双向预测的运动信息。
此时,运动评估单元109可通过进行包括如在数值表达式(7)和(9)中表示的加权运动补偿预测的区块匹配,计算WP参数信息。另外,对于WP参数信息的计算,可以使用利用输入图像的明亮度梯度计算加权因子或偏移量的方法,按照编码时的预测误差的累积计算加权因子或偏移量的方法等等。此外,作为WP参数信息,可以使用预先为每个编码设备确定的固定值。
这里将参考图7,说明从明亮度随时间变化的活动图像,计算加权因子、加权因子的固定小数点精度、和偏移量的方法。如上所述,在如图7中图解所示的从白变成黑的渐隐图像中,图像的明亮度(灰度值)随着时间的流逝而降低。运动评估单元109可通过计算其斜率,计算加权因子。
加权因子的固定小数点精度是表示所述斜率的精度的信息,以及运动评估单元109可根据在时间方面到参考图像的距离和图像明亮度的变化度来计算最佳值。例如,在图7中,当帧(t-1)和帧(t+1)之间的加权因子为利用分数精度的0.75时,在1/4精度的情况下,可以表示为3/4,因而运动评估单元109把固定小数点精度设定为2(1<<2)。由于固定小数点精度的值影响加权因子被编码的情况的代码量,因此作为固定小数点精度的值,可以考虑代码量和预测精度来选择最佳值。另外,固定小数点精度的值可以是预先确定的固定值。
另外,在斜率不匹配的情况下,运动评估单元109可通过获得与线性函数的截距对应的校正值(偏差量),计算偏移量的值。例如,在图7中,在帧(t-1)和帧(t+1)之间的加权因子为利用小数点精度的0.60,并且固定小数点精度为“1”时,加权因子被设定为“1”(对应于加权因子的0.50的小数点精度)的可能性高。在这种情况下,由于加权因子的小数点精度偏离0.60(它是最佳值)0.10,因此运动评估单元109根据像素的最大值,计算与之对应的校正值,并设定为偏移量的值。在像素的最大值为255的情况下,运动评估单元109可设定诸如25(255×0.1)之类的值。
在第一实施例中,尽管运动评估单元109例如被表示成编码设备100的一种功能,不过运动评估单元109不是编码设备100的必需构成,例如运动评估单元109可以是不同于编码设备100的设备。在这种情况下,运动评估单元109计算的运动信息和WP参数信息可被载入编码设备100中。
索引设定单元108接收从运动评估单元109输入的WP参数信息,检查参考列表(列表编号)和参考图像(参考编号),并输出索引信息以作为索引设定单元108的输入。
图8是图解说明按照第一实施例的索引设定单元108的结构例子的方框图。如图8中图解所示,索引设定单元108包括参考图像检查单元401和索引生成单元402。
参考图像检查单元401接收从运动评估单元109输入的WP参数信息,并检查是否存在表示具有包含在两个参考列表中的相同参考编号的参考图像的WP参数。随后,参考图像检查单元401去除包含在WP参数信息中的表示相同参考图像的WP参数,并输出所述去除之后的WP参数信息,以作为索引生成单元402的输入。
索引生成单元402从参考图像检查单元401接收其中冗余WP参数已被去除的WP参数信息,并通过把WP参数信息映射到后面说明的语法元素中来生成索引信息。索引生成单元402输出索引信息以作为编码单元110的输入。
图9A和9B是图解说明按照第一实施例的WP参数信息的例子的示图。P切片时的WP参数信息的例子如图9A中图解所示,而B切片时的WP参数信息的例子如图9A和9B中图解所示。列表编号是表示预测方向的标识符。在单向预测的情况下,列表编号取为“0”的值。另一方面,在双向预测的情况下,可以使用两种类型的预测,因而列表编号取为“0”和“1”的两个值。参考编号是与在帧存储器206中表示的1~N任意之一对应的值。由于为每个参考列表和参考图像保持WP参数信息,因此在存在N个参考图像的情况下,B切片时需要2N条信息。参考图像检查单元401重新转换WP参数信息,并去除冗余的WP参数。
图10是图解说明按照第一实施例的低延迟编码结构中的编码顺序和显示顺序(POC:图片顺序号)的例子的示图,以及图解说明其中可以是参考图像的B切片被用作rB切片的编码结构的例子。在低延迟编码结构中,图像不能被预测,并且编码顺序和显示顺序相同。这里,将考虑其中已按显示顺序编码帧0~3并且编码帧4的情况。
图11是图解说明按照第一实施例的低延迟编码结构中的参考图像和参考编号之间的关系的例子的示图,并图解说明利用简化的WP参数信息编码帧4的情况的参考图像和参考编号之间的关系。在图11中图解所示的例子中,参考列表内的参考编号的顺序在列表0和1(List0和List 1)中相同,这表示List 0和List 1的参考图像相同。
图12是图解说明按照第一实施例的随机存取编码结构中的编码顺序和显示顺序的例子的示图。这里,将考虑其中已按显示顺序编码帧0、2、4和8,并且编码帧1的情况。
图13是图解说明按照第一实施例的随机存取编码结构中的参考图像和参考编号之间的关系的例子的示图,并图解说明其中利用简化的WP参数信息编码帧1的情况的参考图像和参考编号之间的关系。在图13中图解所示的例子中,尽管参考列表的参考编号的顺序彼此不同,不过在List 0和List 1中包含公共的4个参考图像,这表示List 0和List 1的参考图像相同。
为了除去多余的WP参数,换句话说,其中包含在两个参考列表中的参考编号代表相同的参考图像的WP参数,参考图像检查单元401分类参考编号,以致转换成公共的新索引。
图14是图解说明按照第一实施例的参考图像的列表编号和参考编号的扫描顺序的例子。按照图14中图解所示的扫描顺序,参考图像检查单元401把二维参考列表(两个参考列表)转换成一维公共列表(一个公共列表)。更具体地,参考图像检查单元401按照图14中图解所示的扫描顺序,读取在图9A和9B中表示的WP参数信息,把这两个参考列表分类成公共列表,并除去冗余的WP参数。这里,参考图像检查单元401按照数值表达式(10)中表示的伪码,读取WP参数信息。
for(scan=0;scan<=num_of_common_active_ref_minus1;
scan++){
list=common_scan_list(scan)
ref_idx=common_scan_ref_idx(scan)
refPOC=RefPicOrderCount(list,ref_idx)
identical_ref_flag=false;
for(currIdx=0;currIdx<=
num_of_common_active_ref_minus1;currIdx++){
if(refPOC==CommonRefPicOrderCount(currIdx)){
identical_ref_flag=true;
}
}
if(!identical_ref_flag)
InsertCommonRefPicOrderCount(scan,refPOC);
} (10)
这里,common_scan_list()是返回与图14中例示的扫描编号对应的列表编号的函数。另外,common_scan_ref_idx()是返回与图14中例示的扫描编号对应的参考编号的函数。RefPicOrderCnt()是返回与列表编号和参考编号对应的POC编号的函数。这里,POC编号是表示参考图像的显示顺序的编号。当超出预先确定的最大编号时,POC编号被映射成初始值。例如,在POC编号的最大值为255的情况下,对应于256的POC编号为0。CommonRefPicOrderCount()是返回与公共列表(CommonList)的参考编号对应的POC编号的函数。InsertCommonRefPicOrderCount()是把与扫描编号对应的POC编号插入公共列表(CommonList)中的函数。
这里,图14中图解所示的扫描顺序是例子,可以使用任何其它扫描顺序,只要它是预先确定的扫描顺序。另外,在数值表达式(10)中表示的伪码是例子,可以进行附加的处理或者去除冗余的处理,只要能够实现该处理的目的。
图15和16是简化地图解说明按照第一实施例的在公共列表转换之后的WP参数信息的例子的示图。图15简化地图解说明通过转换图11中图解所示的参考列表的WP参数信息而获得的公共列表的WP参数信息,而图16简化地图解说明通过转换图13中图解所示的参考列表的WP参数信息而获得的公共列表的WP参数信息。
图17是图解说明按照第一实施例的由索引设定单元108进行的生成索引信息的处理的例子的流程图。
当输入WP参数信息时,参考图像检查单元401按照切片的类型使处理分枝(步骤S101)。
在切片类型是只利用一个参考列表的单向预测切片(P-切片)的情况下(步骤S101为“否”),参考图像检查单元401把图9A中图解所示的WP参数信息直接输出给索引生成单元402。索引生成单元402通过把从参考图像检查单元401输入的WP参数信息映射到后面说明的预定语法元素中来生成索引信息,并输出生成的索引信息。
另一方面,在切片类型是利用两个参考列表的双向预测切片(B-切片)的情况下(步骤S101为“是”),参考图像检查单元401把变量scan初始化为0(步骤S102)。变量scan表示图14中图解所示的扫描编号。
随后,参考图像检查单元401利用变量scan,获得表示与扫描编号对应的列表编号的变量list(步骤S103),并获得表示与扫描编号对应的参考编号的变量refIdx(步骤S104)。
随后,参考图像检查单元401导出表示与变量list表示的列表编号和变量refIdx表示的参考编号对应的参考图像的POC编号的变量refPOC(步骤S105)。
随后,参考图像检查单元401把标记identical_ref_flag设定为假(步骤S106),并把变量currIdx设定为“0”(步骤S107)。标记identical_ref_flag表示在公共列表中是否存在相同的参考图像。变量currIdx表示公共列表的参考编号。
随后,参考图像检查单元401判定导出的变量refPOC表示的POC编号和与变量currIdx表示的参考编号对应的参考图像的POC编号是否相同(步骤S108)。
在这两个POC编号相同的情况下(步骤S108为“是”),参考图像检查单元401把标记identical_ref_flag设定为真(步骤S109)。另一方面,在这两个POC编号不相同的情况下(步骤S108为“否”),不进行步骤S109的处理。
随后,参考图像检查单元401递增变量currIdx(步骤S110)。
随后,参考图像检查单元401判定变量currIdx的值是否大于num_of_common_active_ref_minus1(步骤S111),num_of_common_active_ref_minus1是通过从公共列表的最大编号中减去1而获得的值。随后,当变量currIdx的值等于或小于num_of_common_active_ref_minus1时(步骤S111为“否”),重复步骤S108-S110的处理。
当变量currIdx的值大于num_of_common_active_ref_minus1时(步骤S111为“是”),参考图像检查单元401完成公共列表的检查,并进一步检查标记identical_ref_flag是否为假(步骤S112)。
在标记identical_ref_flag为假的情况下(步骤S112为“是”),参考图像检查单元401确定在公共列表中不包括与由变量refPOC表示的POC编号的参考图像相同的参考图像,从而把变量refPOC表示的POC编号加入公共列表中(步骤S113)。另一方面,在标记identical_ref_flag为真的情况下(步骤S112为“否”),参考图像检查单元401确定在公共列表中包括与由变量refPOC表示的POC编号的参考图像相同的参考图像,从而不进行步骤S113的处理。
随后,参考图像检查单元401递增变量scan(步骤S114)。
随后,参考图像检查单元401判定变量scan的值是否等于或大于num_of_common_active_ref_minus1(步骤S115),num_of_common_active_ref_minus1是通过从公共列表的最大编号中减去1而获得的值。在变量scan的值等于或小于num_of_common_active_ref_minus1的情况下(步骤S115为“否”),处理返回步骤S103。另一方面,在变量scan的值大于num_of_common_active_ref_minus1的情况下(步骤S115为“是”),参考图像检查单元401把在转换成公共列表之后的WP参数信息输出给索引生成单元402。索引生成单元402通过把从参考图像检查单元401输入的WP参数信息映射到后面说明的预定语法元素中来生成索引信息,并随后输出生成的索引信息。
返回参考图1,编码单元110进行各种编码参数的熵编码,所述编码参数诸如是从量化单元103输入的量化变换系数、从运动评估单元109输入的运动信息、从索引设定单元108输入的索引信息和编码控制单元111指定的量化信息,从而生成编码数据。作为熵编码,例如存在Huffman编码或算术编码。
这里,编码参数是诸如表示预测方法等的预测信息,与量化变换系数相关的信息、和与解码处理所必需的量化相关的信息之类的参数。例如,可以构造成使得图中未例示的内部存储器包含在编码控制单元111中,编码参数保持在所述内部存储器中,并且当编码像素区块时,利用已完成编码的相邻像素区块的编码参数。例如,在H.264的帧内预测中,可以从已完成编码的相邻区块的预测信息导出像素区块的预测信息。
编码单元110在编码控制单元111管理的适当输出定时,输出生成的编码数据。作为输出的编码数据的各种信息例如由图中未例示的多路复用单元等多路复用,被临时保存在图中未例示的输出缓冲器等中,并且随后例如被输出给存储系统(存储介质)或者传输系统(通信线路)。
图18是图解说明按照第一实施例的编码设备100利用的语法500的例子的示图。语法500图解说明通过利用编码设备100编码输入图像(活动图像数据)而产生的编码数据的结构。当解码编码数据时,后面说明的解码设备通过参考与语法500的语法结构相同的语法结构,进行活动图像的语法分析。
语法500包括3部分,包括高级语法501、切片级语法502和编码树级语法503。高级语法501包括层级比切片高的上层的语法信息。这里,切片代表包含在帧或场中的矩形区域或连续区域。切片级语法502包括解码每个切片所必需的信息。编码树级语法503包括解码每个编码树(换句话说,每个编码树区块)所必需的信息。这些部分中的每一个都包括更详细的语法。
高级语法501包括诸如序列参数集语法504、图片参数集语法505和适配参数集语法506之类的序列和图片级的语法。
切片级语法502包括切片头部语法507、预测加权表格语法508、切片数据语法509等。预测加权表格语法508调用自切片头部语法507。
编码树级语法503包括编码树单元语法510、变换单元语法511、预测单元语法512等。编码树单元语法510可以具有四叉树结构。更具体地,可作为编码树单元语法510的语法元素,递归地进一步调用编码树单元语法510。换句话说,一个编码树区块可被再分成四叉树。另外,变换单元语法511包含在编码树单元语法510中。变换单元语法511调用自位于四叉树的末端的每个编码树单元语法510。在变换单元语法511中,描述与逆正交变换、量化等相关的信息。在该语法中,可以描述与加权运动补偿预测相关的信息。
图19是图解说明按照第一实施例的图片参数集语法505的例子的示图。这里,weighted_pred_flag例如是表示关于P切片的按照第一实施例的加权补偿预测的有效或无效的语法元素。在weighted_pred_flag为“0”的情况下,P切片内的按照第一实施例的加权运动补偿预测无效。因而,包含在WP参数信息中的WP应用标记被不变地设定为“0”,并且WP选择器304和305的输出端被连接到默认运动补偿单元301。另一方面,在weighted_pred_flag为“1”的情况下,P切片内的按照第一实施例的加权运动补偿预测有效。
再例如,在weighted_pred_flag为“1”的情况下,可以在下层(切片头部、编码树区块、变换单元、预测单元等)的语法中,为切片内的每个局部区域定义按照第一实施例的加权运动补偿预测的有效或无效。
另外,weighted_bipred_idc例如是表示关于B切片的按照第一实施例的加权补偿预测的有效或无效的语法元素。在weighted_bipred_idc为“0”的情况下,B切片内的按照第一实施例的加权运动补偿预测无效。因而,包含在WP参数信息中的WP应用标记被不变地设定为“0”,并且WP选择器304和305的输出端被连接到默认运动补偿单元301。另一方面,在weighted_bipred_idc为“1”的情况下,B切片内的按照第一实施例的加权运动补偿预测有效。
作为另一个例子,在weighted_bipred_idc为“1”的情况下,可以在下层(切片头部、编码树区块、变换单元、预测单元等)的语法中,为切片内的每个局部区域,定义按照第一实施例的加权运动补偿预测的有效或无效。
图20是图解说明按照第一实施例的切片头部语法507的例子的示图。这里,slice_type表示切片的类型(I切片、P切片、B切片等)。另外,pic_parameter_set_id是表示要参考哪个图片参数集语法505的标识符。num_ref_idx_active_override_flag是表示是否更新有效参考图像的编号的标记,并且在该标记为“1”的情况下,可以利用定义参考列表的参考图像的编号的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1。另外,pred_weight_table()是表示用于加权运动补偿预测的预测加权表格语法的函数,并且在就P切片而论weighted_pred_flag为“1”的情况下,和在就B切片而论weighted_pred_flag为“1”的情况下,该函数被调用。
图21是图解说明按照第一实施例的预测加权表格语法508的例子的示图。这里,luma_log2_weight_denom表示切片中的亮度信号的加权因子的固定小数点精度,并且是与在数值表达式(7)或(9)中表示的logWDC对应的值。另外,chroma_log2_weight_denom表示切片中的色差信号的加权因子的固定小数点精度,并且是与在数值表达式(7)或(9)中表示的logWDC对应的值。chroma_format_idc是表示色空间的标识符,并且MONO_IDX是表示单色视频的值。另外,num_ref_common_active_minus1表示通过从包含在切片中的公共列表中的参考图像的编号中减去1而获得的值,并用在数值表达式(10)中。通过相加两个列表List0和List 1的参考图像的编号的最大值,获得该值的最大值。
luma_weight_common_flag表示亮度信号的WP应用标记。在该标记为“1”的情况下,按照第一实施例的亮度信号的加权运动补偿预测对切片内的整个区域有效。另外,chroma_weight_common_flag表示色差信号的WP应用标记。在该标记为“1”的情况下,按照第一实施例的色差信号的加权运动补偿预测对切片内的整个区域有效。这里,luma_weight_common[i]是在公共列表中管理的第i个亮度信号的加权因子。另外,luma_offset_common[i]是在公共列表中管理的第i个亮度信号的偏移量。这些是与在数值表达式(7)或(9)中表示的w0C、w1C、o0C和o1C对应的值。这里,C=Y。
这里,chroma_weight_common[i][j]是在公共列表中管理的第i上色差信号的加权因子。另外,chroma_offset_common[i][j]是在公共列表中管理的第i个色差信号的偏移量。这些是与在数值表达式(7)或(9)中表示的w0C、w1C、o0C、o1C对应的值。这里,C=Cr或Cb。另外,j表示色差的分量,例如就YUV 4:2:0的信号来说,j=0表示Cr分量,而j=1表示Cb分量。
如上所述,在第一实施例中,当在WP参数信息中,在List 0和List 1这两个参考列表中,存在包括相同参考图像的组合时,索引设定单元108把这两个参考列表转换成公共列表,从而根据WP参数信息除去重复的冗余WP参数,并生成索引信息。于是,按照第一实施例,能够减少索引信息的代码量。
特别地,由于需要为每个参考图像编码加权因子和偏移量,因此需要用信号通知给解码器的信息量随参考图像编号的增大而增大。然而,随着参考图像的编号增大,在参考列表中参考相同参考图像的情况也增多,因而,通过管理公共列表,可预期显著减少代码量的优点。
第一实施例的变形例
下面说明第一实施例的变形例。在第一实施例的变形例中,索引生成单元402利用的语法元素不同于第一实施例的语法元素。
图22是图解说明按照第一实施例的变形例的序列参数集语法504的例子的示图。这里,profile_idc是表示与编码数据的概貌相关的信息的标识符。level_idc是表示与编码数据的层级相关的信息的标识符。另外,seq_parameter_set_id是表示被参考的序列参数集语法504的标识符。num_ref_frames是表示帧中参考图像的最大数目的变量。另外,例如weighted_prediction_enabled_flag是表示关于编码数据的按照变形例的加权运动补偿预测的有效/无效的语法元素。
在weighted_prediction_enabled_flag为“0”的情况下,编码数据中的按照变形例的加权运动补偿预测无效。因而,包含在WP参数信息中的WP应用标记被不变地设定为“0”,并且WP选择器304和305把其输出端连接到默认运动补偿单元301。另一方面,在weighted_prediction_enabled_flag为“1”的情况下,按照变形例的加权运动补偿预测在编码数据的整个区域内有效。
再例如,在weighted_prediction_enabled_flag为“1”的情况下,可以在更下层(图像参数集、适配参数集、切片头部、编码树区块、变换单元、预测单元等)的语法中,为切片内的每个局部区域定义按照变形例的加权运动补偿预测的有效/无效。
图23是图解说明按照第一实施例的变形例的适配参数集语法506的例子的示图。适配参数集语法506保持影响整个编码帧的参数,并且是作为高级单元独立编码的。例如,在H.264中,对应于高级语法501的语法元素被编码成NAL单元。因而,适配参数集语法506的编码单元不同于比切片级语法502的层级低的层级的语法的编码单元,切片级语法502保持用切片或像素区块代表的低级信息的参数。
这里,aps_id是表示被参考的适配参数集语法506的标识符。通过参考该标识符。低级切片能够参考已被编码的任意aps_id。在这种情况下,例如,通过把相同的aps_id添加到图20中所示的切片头部语法507中,可以读取影响整帧的参数。
aps_weighted_prediction_flag例如是表示关于帧中的P切片的按照变形例的加权运动补偿预测的有效或无效的语法元素。在aps_weighted_prediction_flag为“0”的情况下,关于帧内的P切片的按照变形例的加权运动补偿预测无效。因而,包括在WP参数信息中的WP应用标记被不变地设定为“0”,WP选择器304和305把其输出端连接到默认运动补偿单元301。另一方面,在aps_weighted_prediction_flag为“1”的情况下,按照变形例的加权运动补偿预测对帧内的整个区域有效。
另外,作为另一个例子,在aps_weighted_prediction_flag为“1”的情况下,在更下层(切片头部、编码树区块、变换单元、预测单元等)的语法中,可以为切片内的每个局部区域定义按照变形例的加权运动补偿预测的有效或无效。
例如,aps_weighted_bipred_idx是表示关于帧中的B切片的按照变形例的加权运动补偿预测的有效或无效的语法元素。在aps_weighted_bipred_idx为“0”的情况下,关于帧内的P切片的按照变形例的加权运动补偿预测无效。因而,包括在WP参数信息中的WP应用标记被不变地设定为“0”,并且WP选择器304和305把其输出端连接到默认运动补偿单元301。另一方面,在aps_weighted_bipred_idx为“1”的情况下,按照变形例的加权运动补偿预测对帧内的整个区域有效。
另外,再例如,在aps_weighted_bipred_idx为“1”的情况下,在更下层(切片头部、编码树区块、变换单元、预测单元等)的语法中,可以为切片内的每个局部区域定义按照变形例的加权运动补偿预测的有效或无效。
此外,pred_weight_table()是表示用于加权运动补偿预测的预测加权表格语法的函数,并且在上面说明的aps_weighted_prediction_flag为“1”或者aps_weighted_bipred_idx为“1”的情况下,调用该函数。
图24是图解说明按照第一实施例的变形例的预测加权表格语法508的例子的示图。在第一实施例的变形例中,在图18中图解所示的语法结构中,预测加权表格语法508调用自适配参数集语法506。与图21中所示的预测加权表格语法508的差别在于用MAX_COMMON_REF_MINUS1替换num_ref_common_active_minus1。由于参考图像的编号在切片头部语法507中描述,因此它不能在作为更高级层的适配参数集语法506中被参考。因而,例如,通过从在序列参数集语法504中描述的num_ref_frames的值中减去1而获得的值被设定为MAX_COMMON_REF_MINUS1。另外,可按照预定简档或层级,设定取为参考图像的最大编号的值。其它的语法元素和图21中图解所示的那些语法元素相同。
如上所述,按照第一实施例的变形例,通过采用其中从适配参数集语法506调用预测加权表格语法508的结构,能够显著减少在把一帧分成多个切片时的WP参数信息的代码量。
例如,通过首先对具有彼此不同的3种已用WP参数信息的适配参数集语法506编码,并且取决于情况利用aps_id从切片头部语法507调用必需的WP参数信息,代码量可以小于其中利用切片头部语法507不断地对WP参数信息编码的结构的代码量。
第二实施例
下面说明第二实施例。在按照第二实施例的编码设备600中,索引设定单元608的结构和按照第一实施例的编码设备100的结构不同。下面,主要说明与第一实施例的差别,和第一实施例相同的名称/附图标记将被赋予功能和第一实施例相同的各个构成元件,并且不再给出对其的说明。
图25是图解说明按照第二实施例的索引设定单元608的结构例子的方框图。如图25中图解所示,索引设定单元608包括重用判定单元601和索引生成单元602。
重用判定单元601组合List 1的参考编号和List 0的参考编号,并判定是否把List 0的WP参数信息重用为List 1的WP参数信息。在这2个参考列表中包含相同的参考图像,并且对应的WP参数信息的值相同的情况下,当相同的信息不仅在List 0中被编码,而且在List1中也被编码时,代码量增大。因而,重用判定单元601重用List 0的WP参数信息。
更具体地,在List 0的WP参数信息被重用的情况下,重用判定单元601把重用标记设定为“1”,并把参考目的地(List 0)的参考编号设定为参考信息。另一方面,在List 0的WP参数信息不被重用的情况下,重用判定单元601把重用标记设定为“0”,并且在语法中设定对应于List 1的参考编号的WP参数信息。
例如,重用判定单元601按照数值表达式(11)中表示的伪码,判定是否把List 0的WP参数信息重用为List 1的WP参数信息。
for(refIdx=0;refIdx<=num_of_active_ref_l1_minus1;
refIdx++){
refPOC=RefPicOrderCnt(ListL1,refIdx)
refWP=RefWPTable(ListL1,refIdx)
reuse_wp_flag=false;
reuse_ref_idx=0;
for(currIdx=0;currIdx<=num_of_active_ref_l0_minus1;
currIdx++){
if(refPOC==RefPicOrderCnt(ListL0,currIdx)
&&RefWPTable(ListL0,currIdx,refWP)){
reuse_wp_flag=true;
reuse_ref_idx=currIdx;
}
}
} (11)
这里,ListL0代表List 0,而ListL1代表List 1。RefWPTable()是当列表编号、参考编号和参考WP参数被输入时,以标记的形式,返回输入的参考WP参数是否和与已输入的列表编号及参考编号对应的WP参数匹配的函数。在该标记的值为“1”的情况下,它代表这两个WP参数彼此匹配。在数值表达式(111)中表示的伪码中,在顺序扫描List 1的参考编号,并且在List 0内存在具有相同POC编号的参考图像的情况下,当WP参数相同时,表示重用标记的reuse_wp_flag被设定为真,并且对应于List 0的参考编号被设定为reuse_ref_idx。
重用判定单元601输出重用判定之后的WP参数信息,以作为索引生成单元602的输入。
索引生成单元602从重用判定单元601接收重用判定之后的WP参数信息,并把重用之后的WP参数信息映射到后面说明的语法元素,从而生成索引信息。索引生成单元602把WP参数信息映射到的语法元素不同于第一实施例的语法元素。索引生成单元602输出索引信息以作为编码单元110的输入。
图26是图解说明按照第二实施例的由索引设定单元608进行的生成索引信息的处理的例子的流程图。
当输入WP参数信息时,重用判定单元601根据切片类型使处理分枝(步骤S201)。
在切片类型是只利用一个参考列表的单向预测切片(P切片)的情况下(步骤S201为“否”),重用判定单元601把图9A中图解所示的WP参数信息直接输出给索引生成单元602。索引生成单元602通过把从重用判定单元601输入的WP参数信息映射到后面说明的预定语法元素中来生成索引信息,并输出生成的索引信息。
另一方面,在切片类型是利用两个参考列表的双向预测切片(B-切片)的情况下(步骤S201为“是”),重用判定单元601把变量refIdc初始化为0(步骤S202)。变量refIdc表示List 1的参考编号。
随后,重用判定单元601导出变量refPOC,变量refPOC表示与由变量refIdx表示的参考编号对应的参考图像的POC编号(步骤S203),并导出与由变量refIdx表示的参考编号对应的WP参数(步骤S204)。
随后,重用判定单元601把flag reuse_wp_flag设定为假(步骤S205),并把变量currIdx设定为“0”(步骤S206)。标记reuse_wp_flag表示List 0和List 1的WP参数是否相同。另外,变量currIdx表示List 0的参考编号。
随后,重用判定单元601判定用导出的变量refPOC表示的POC编号和与用变量currIdx表示的参考编号对应的参考图像的POC编号是否相同,以及与用变量refIdx表示的参考编号对应的WP参数和与用变量currIdx表示的参考编号对应的WP参数是否相同(步骤S207)。
在两个POC编号及两个WP参数相同的情况下(步骤S207为“是”),重用判定单元601把标记reuse_wp_flag设定为真(步骤S208),并把变量currIdx的值代入变量reuse_ref_idx中(步骤S209)。另一方面,在两个POC编号或两个WP参数不相同的情况下(步骤S207为“否”),不进行步骤S208和S209的处理。另外,可以采用其中不检查POC编号的匹配的结构。
随后,重用判定单元601递增变量currIdx(步骤S210)。
随后,重用判定单元601判定变量currIdx的值是否等于或大于num_of_active_ref_l0_minus1,num_of_active_ref_l0_minus1是通过从List 0的最大编号中减去1而获得的值(步骤S211)。在变量currIdx的值等于或小于num_of_active_ref_l0_minus1的情况下(步骤S211为“否”),重复步骤S207-S210的处理。
另一方面,在变量currIdx的值大于num_of_active_ref_l0_minus1的情况下(步骤S211为“是”),重用判定单元601结束List 0的检查,并递增变量refIdx(步骤S212)。
随后,重用判定单元601判定变量refIdx的值是否等于或大于num_of_active_ref_l1_minus1,num_of_active_ref_l1_minus1是通过从List 1的最大编号中减去1而获得的值(步骤S213)。在变量refIdx的值等于或小于num_of_active_ref_l1_minus1的情况下(步骤S213为“否”),重复步骤S203-S212的处理。
另一方面,在变量refIdx的值大于num_of_active_ref_l1_minus1的情况下(步骤S213为“是”),重用判定单元601结束List 1的检查,并把重用判定之后的WP参数信息输出给索引生成单元602。索引生成单元602通过把从重用判定单元601输入的WP参数信息映射到后面说明的预定语法元素来生成索引信息,并输出生成的索引信息。
图27是图解说明按照第二实施例的预测加权表格语法506的例子的示图。在图27中图解所示的语法元素中,符号l0和l1分别对应于List 0和List 1。另外,尽管List 0或List 1存在差异,但公共列表不存在差异,除了参考列表的处理不同之外,具有与图21中图解所示的前缀相同的前缀的语法元素被用作相同的变量。例如,luma_weight_l0[i]是表示参考列表10中的第i个参考编号的加权因子的语法元素。
luma_log2_weight_denom和chroma_log2_weight_denom具有与第一实施例的结构相同的结构。首先,对于其中包括符号l0的List 0,定义luma_weight_l0_flag、luma_weight_l0[i]、luma_offset_l0[i]、chroma_weight_l0_flag、chroma_weight_l0[i][j]和chroma_offset_l0[i][j]。随后,定义其中包括符号11的List 1的语法元素。
这里,reuse_wp_flag是表示对应于List 0的10的WP参数是否被重用的语法元素。在reuse_wp_flag为“1”的情况下,加权因子和偏移量不被编码,但是reuse_ref_idx被编码。reuse_ref_idx表示对应于List 0的10的参考编号,其中所使用的WP参数对应于该List0的10。例如,在reuse_ref_idx为“1”的情况下,对应于List 0的参考编号“1”的WP参数被复制到对应于List 1的参考编号i的WP参数。另一方面,在reuse_wp_flag为“0”的情况下,类似于List 0,luma_weight_l1_flag、luma_weight_l1[i]、luma_offset_l1[i]、chroma_weight_l1_flag、chroma_weight_l1[i][j]和chroma_offset_l1[i][j]被编码。
如上所述,按照第二实施例,当在WP参数信息中,存在在List0和List 1这2个参考列表中包括相同参考图像的组合时,索引设定单元608通过重用重复的WP参数,除去WP参数信息中的重复的冗余WP参数,并生成索引信息。于是,按照第二实施例,能够减少索引信息的代码量。
按照第二实施例,按常规方式编码对应于List 0的WP参数信息,并且为了编码对应于List 1的WP参数信息,检查在List 0内是否要参考相同的参考图像。另外,相同的参考图像被参考,并且在WP参数也相同的情况下,与编码用于重用List 0的WP参数的标记一起地编码表示WP参数所对应于的List 0的参考编号的信息。这种信息的数量显著小于与加权因子和偏移量相关的信息的数量,因而,WP参数信息的代码量可被配置成远远小于分别编码List 0和List 1的情况的代码量。
另外,按照第二实施例,在包含在List 0和List 1的参考编号代表相同的参考图像并且WP参数彼此不同的情况下,可以设定彼此不同的WP参数。换句话说,当在参考列表内,存在表示相同参考图像的组合的情况下,在第一实施例中强制设定相同的WP参数,而在第二实施例中,只有在WP参数相同的情况下,才去除相同WP参数的冗余表示。
第三实施例
下面说明第三实施例。图28是图解说明按照第三实施例的编码设备700的结构例子的方框图。与按照第一实施例的编码设备100不同,按照第三实施例的编码设备700还包括运动信息存储器701、运动信息获取单元702和选择器开关703。下面将主要说明与第一实施例的差别,将向功能与第一实施例相同的每个构成元件赋予相同的名称/附图标记,并且不再给出其说明。
运动信息存储器701临时保存应用于已被编码的像素区块的运动信息,作为参考运动信息。通过对运动信息进行诸如子采样之类的压缩处理,运动信息存储器701可减少信息量。
图29是图解说明按照第三实施例的运动信息存储器701的详细例子的示图。如图29中图解所示,运动信息存储器701是以帧或切片为单位保持的,并且还包括把相同帧上的运动信息保存为参考运动信息710的空间方向参考运动信息存储器701A,和把已被编码的帧的运动信息保存为参考运动信息710的时间方向参考运动信息存储器701B。可按照编码目标帧用于预测的参考帧的数目,布置多个时间方向参考运动信息存储器701B。
参考运动信息710以预定区域为单位(例如,以4×4像素区块为单位),被保持在空间方向参考运动信息存储器701A和时间方向参考运动信息存储器701B中。参考运动信息710还包括表示该区域是利用后面说明的帧间预测编码还是利用后面说明的帧内预测编码的信息。另外,在利用从编码区域预测的运动信息帧间预测像素区块(编码单元或预测单元),而不像按在H.264中定义的跳过模式或直接模式或者后面说明的合并模式一样地编码包含在运动信息中的运动向量的值的情况下,该像素区块的运动信息被保持为参考运动信息710。
当关于编码目标帧或编码目标切片的编码处理结束时,该帧的空间方向参考运动信息存储器701A被改变,从而被当作用于接下来待编码的帧的时间方向参考运动信息存储器701B。此时,为了减小时间方向参考运动信息存储器701B的容量,其可以被配置成使得运动信息被压缩,并把压缩的运动信息保存在时间方向参考运动信息存储器701B中。
运动信息获取单元702接收来自运动信息存储器701的参考运动信息作为输入,并输出用于编码像素区块的运动信息B。运动信息获取单元702的细节将在后面说明。
选择器开关703按照后面说明的预测模式信息,选择从运动信息获取单元702输出的运动信息B和从运动评估单元109输出的运动信息A中的一个,并把选择的运动信息输出给预测图像生成单元107作为运动信息。从运动评估单元109输出的运动信息A用于对与从图中未例示的预测运动向量获取单元获得的预测运动向量的差分信息和预测运动向量获取位置信息进行编码。下面,这种预测模式将被称为帧间预测模式。另一方面,按照预测模式信息,从运动信息获取单元702输出的运动信息B用于合并来自相邻像素区块的运动信息,并被直接应用于编码像素区块,因而与运动信息相关的其它信息(例如,运动向量差分信息)不需要被编码。下面,这种预测模式将被称为合并模式。
预测模式信息与编码控制单元111控制的预测模式相适应,并且包括选择器开关703的开关信息。
下面,说明运动信息获取单元702的细节。
运动信息获取单元702接收参考运动信息作为输入,并把运动信息B输出给选择器开关703。图30A和30B是图解说明按照第三实施例,对于编码像素区块导出运动信息候选的区块位置的例子的示图。在图30A中,A~E表示用于导出运动信息候选的空间上与编码像素区块相邻的像素区块。另外,在图30B中,T表示用于导出运动信息候选的时间上相邻的像素区块。
图31是图解说明按照第三实施例的多个运动信息候选的像素区块位置和像素区块位置索引(idx)之间的关系的例子的示图。运动信息候选的区块位置是按照空间上相邻的区块位置A~E和时间上相邻的像素区块位置T的顺序排列的,并且在按该顺序存在可用(应用帧间预测)的像素区块的情况下,向所述像素区块顺序分配索引idx,直到达到保存在合并模式的存储列表MergeCandList中的运动信息的最大数目(N-1)为止。
图32是图解说明按照第三实施例的对于MergeCandList的存储处理的例子的流程图。
首先,运动信息获取单元702把MergeCandList的存储编号numMergeCand初始化为“0”(步骤S301)。
随后,运动信息获取单元702判定是否所有空间上相邻的区块(例如,区块A~E)都可用(步骤S302和S303)。在所有空间上相邻的区块都可用的情况下(步骤S303为“是”),运动信息获取单元702把空间上相邻的区块的运动信息保存在MergeCandList中,并递增numMergeCand(步骤S304)。另一方面,在所有空间上相邻的区块都不可用的情况下(步骤S303为“否”),运动信息获取单元702不进行步骤S304的处理。
当对所有空间相邻的区块进行步骤S303和S304的处理时(步骤S305),运动信息获取单元702判定时间上相邻的区块(例如,区块T)是否可用(步骤S306)。
在时间上相邻的区块可用的情况下(步骤S306为“是”),运动信息获取单元702把时间上相邻的区块T的运动信息保存在MergeCandList中,并递增numMergeCand(步骤S307)。另一方面,在时间上相邻的区块不可用的情况下(步骤S306为“否”),运动信息获取单元702不进行步骤S307的处理。
随后,运动信息获取单元702去除MergeCandList内的重复的运动信息,并把numMergeCand减小与去除的数目对应的值(步骤S308)。为了判定在MergeCandList内运动信息是否重复,运动信息获取单元702判定MergeCandList内的2种运动信息(运动向量mv和参考编号refIdx)和WP参数信息是否彼此匹配,并在所有信息彼此匹配的情况下,从MergeCandList[]中去除一方。
图33是图解说明按照第三实施例的运动信息的存储列表的例子的示图,并且具体地说在N=5的情况下,按照图31中图解所示的表格,图解说明与每个idx对应的运动信息(运动向量mv和参考编号refIdx)的存储列表MergeCandList[idx]的例子。在图33中,在idx=0的存储列表中,保存List 0的参考运动信息(运动向量mv0L0,参考编号refIdx0L0),在idx=1的存储列表中,保存List 1的参考运动信息(运动向量mv1L1,参考编号refIdx1L1),在idx=2~4的存储列表中,保存List 0和List 1两者的参考运动信息(运动向量mv2L0和mv2L1,参考编号refIdx2L0和refIdx2L1)。
编码像素区块选择最多N种索引idx之一,从MergeCandList[idx]导出与选择的索引idx对应的像素区块的参考运动信息,并输出导出的参考信息作为运动信息B。在不存在参考运动信息的情况下,编码像素区块输出具有0向量的运动信息,作为预测运动信息候选B。选择的索引idx的信息(后面说明的语法merge_idx)被包含在预测模式信息中,并由编码单元110编码。
另外,空间或时间上相邻的区块并不局限于图30A和30B中图解所示的那些区块,并且相邻区块可以位于已被编码的区域内的任意位置。此外,作为上述列表的另一个例子,MergeCandList的最大存储数目(N)和存储顺序并不局限于上述范围,并且可以使用任意顺序或任意最大数目。
在编码切片是B切片的情况下,并且即使在时间或空间上相邻的像素区块的参考运动信息被保存在MergeCandList[]的情况下,也未达到最大存储数N时,此时保存在MergeCandList[]中的List 0的运动信息和List 1的运动信息被组合,以致新产生双向预测,以及产生的双向预测被保存在MergeCandList[]中。
图34是图解说明按照第三实施例的把运动信息保存在存储列表中的方法的例子的流程图。
首先,运动信息获取单元702把从时间或空间上相邻的像素区块到MergeCandList的存储数目设定为numInputMergeCand,把表示当前存储数目的变量numMergeCand初始化为numInputMergeCand,并把变量combIdx和combCnt初始化为0(步骤S401)。
随后,运动信息获取单元702利用新产生的双向预测的组合(参见图35),从combIdx导出变量l0CandIdx和l1CandIdx(步骤S402)。另外,用于从变量combIdx导出变量l0CandIdx和l1CandIdx的组合并不局限于在图36中图解所示的例子,相反只要不重复即可按照任意顺序排列。
随后,运动信息获取单元702把保存在MergeCandList[l0CandIdx]中的参考运动信息(在双向预测的情况下,2种类型的List 0和List 1)设定为10Cand。在10Cand的运动信息的参考编号将被称为refIdxL0l0Cand,而在10Cand的运动信息的运动向量将被称为mvL0l0Cand。类似地,运动信息获取单元702把保存在MergeCandList[l1CandIdx]中的参考运动信息设定为11Cand。在11Cand的参考运动信息的参考编号将被称为refIdxL1l1Cand,而在11Cand的参考运动信息的运动向量将被称为mvL1l1Cand(步骤S403)。另外,通过利用10Cand作为List 0的运动信息,利用11Cand作为List 1的运动信息,进行双向预测的运动信息的组合将被称为combCand。
随后,运动信息获取单元702利用条件式(12)-(15),判定10Cand和11Cand参考的区块是否相同(步骤S404)。
10Cand和11Cand可用? (12)
RefPicOrderCnt(refIdxL010Cand,L0)!=RefPicOrderCnt(refIdx L111Cand,L1) (13)
mvL010Cand!=mvL111Cand (14)
WpParam(refIdxL010Cand,L0)!=WpParam(refIdxL111Cand,L1) (15)
RefPicOrderCnt(refIdx,LX)是用于在参考列表X(这里,X=0或1)中,导出与参考编号refIdx对应的参考帧的POC(图片顺序号)的函数。另外,WpParam(refIdx,LX)是用于在参考列表X(这里,X=0或1)中,导出与参考编号refIdx对应的参考帧的WP参数信息的函数。该函数在List 0和List 1的参考帧不具有相同WP参数(WP的有/无WP_flag,加权因子Weight,和偏移量Offset)的情况下,返回“是”,而在参考帧具有完全相同的参数的情况下,返回“否”。作为WpParam()的另一个例子,和其中只检查WP的有/无WP-flag和偏移量Offset的匹配,而不检查所有参数的匹配等情况中一样,可以只利用WP参数的一部分数据进行所述判定。
在满足条件式(12),并且满足条件式(13)-(15)之一的情况下(步骤S404为“是”),运动信息获取单元702判定在mergeCandList[]内,是否存在利用与10Cand和11Cand的组合相同的组合的双向预测(步骤S405)。
当在mergeCandList[]内存在与10Cand和11Cand的组合相同的组合的情况下(步骤S405为“是”),运动信息获取单元702把combCand添加到mergeCandList的最后端(步骤S406)。更具体地,运动信息获取单元702把combCand代入mergeCandList[numMergeCand]中,并递增numMergeCand和combCnt。
随后,运动信息获取单元702递增combIdx(步骤S407)。
随后,运动信息获取单元702通过利用条件式(16)-(18),判定是否结束对于mergeCandList[]的存储(步骤S408)。
combIdx==numInputMergeCand*(numInputMergeCand?1)) (16)
numMergeCand==maxNumMergeCand (17)
combCnt==N (18)
在满足条件式(16)-(18)之一的情况下(步骤S408为“是”),处理结束。另一方面,在所有条件式(16)-(18)都被满足的情况下(步骤S408为“否”),处理返回步骤S402。
上面说明了其中编码切片为B切片,并且即使当空间或时间上相邻的像素区块的参考运动信息被保存在MergeCandList[]时也未达到最大存储数目N的情况下的处理。如上所述,运动信息B从运动信息获取单元702输出给选择器开关703。
图36是图解说明按照第三实施例的预测单元语法512的例子的示图。skip_flag是表示预测单元语法所属于的编码单元的预测模式是否为跳过模式的标记。在skip_flag为“1”的情况下,它表示除预测模式信息外的语法(编码单元语法、预测单元语法和变换单元语法)不被编码。另一方面,在skip_flag为“0”的情况下,它表示预测单元语法所属于的编码单元的预测模式不是跳过模式。
接下来,merge_flag被编码,merge_flag是表示编码像素区块(预测单元)是否处于合并模式的标记。在Merge_flag的值为“1”的情况下,它表示预测单元处于合并模式。另一方面,在该值为“0”的情况下,它表示预测单元利用帧间模式。在Merge_flag的情况下,merge_idx被编码,merge_idx是用于指定上面说明的像素区块位置索引(idx)的信息。
在Merge_flag为“1”的情况下,除merge_flag和merge_idx外的预测单元语法不需要被编码。另一方面,在Merge_flag为“0”的情况下,它表示预测单元为帧间模式。
如上所述,按照第三实施例,当同时应用加权运动补偿和合并模式时,编码设备700解决了其中当去除在合并模式的存储列表MergeCandList内重复的运动信息时,即使在运动向量和参考编号彼此匹配,而WP参数信息彼此不同的情况下,也从MergeCandList去除空间或时间上相邻的像素区块的参考运动信息的问题。另外,在即使当把参考运动信息保存在MergeCandList时,也未达到最大存储数目N的情况下,解决了其中当此时保存在MergeCandList中的List 0和List 1的运动信息被组合在一起,从而新产生双向预测并将其保存在MergeCandList[]中时,用于双向预测的2种类型的运动信息参考相同区块的问题。
在用于双向预测的2种类型的运动信息参考相同区块的情况下,按照双向预测的预测值和按照单向预测的预测值彼此匹配。通常,双向预测的效率高于单向预测的效率,因而,用于双向预测的2种类型的运动信息优选地不参考相同区块。当判定用于双向预测的2种类型的运动信息是否参考相同区块时,除了从参考编号导出的参考帧编号位置(POC)之外,加权运动补偿的参数也被引入判定项目中。因而,即使当参考帧编号位置(POC)与运动向量的相同时,编码设备700也判定具有加权运动补偿的彼此不同参数的2种类型的运动信息不参考相同区块,并且能够提高用于保存在合并模式的存储列表中的双向预测的运动信息的预测效率。
另外,作为对于MergeCandList的存储处理的另一个例子,当把时间上相邻的区块T的运动信息保存在MergeCandList中时,可以判定时间上相邻的区块T的参考帧的WP参数和编码像素区块的参考帧的WP参数是否彼此匹配,以及只有在WP参数彼此匹配的情况下,才把所述运动信息保存在MergeCandList中。其原因在于,在时间上相邻的区块T的参考帧的WP参数和编码像素区块的参考帧的WP参数彼此不同的情况下,可以推测时间上相邻的区块T的运动信息与编码像素区块的运动信息之间的相关性降低。
图37是图解说明按照第三实施例的对于MergeCandList的存储处理的另一个例子的流程图。除了步骤S507之外,图37中图解所示的流程图和图32中图解所示的流程图相同。
另外,作为又一个例子,在时间上相邻的区块T的参考帧的WP参数和编码像素区块的参考帧的WP参数彼此不同的情况下,空间上与区块T相邻的区块之中的在编码像素区块的参考帧中具有相同WP参数的区块可用区块T代替。此时,时间上相邻的区块T的运动信息和编码像素区块的运动信息之间的相关性不降低。
第四实施例
在第四实施例中,将说明对利用按照第一实施例的编码设备编码的编码数据解码的解码设备。
图38是图解说明按照第四实施例的解码设备800的结构例子的方框图。
解码设备800把存储在图中未例示的输入缓冲器等中的编码数据解码成解码图像,并把解码图像作为输出图像输出给图中未例示的输出缓冲器。例如,编码数据从图1中图解所示的编码设备100等输出,并通过图中未例示的存储系统、传输系统、缓冲器等输入到解码设备800。
如图38中图解所示,解码设备800包括:解码单元801、逆量化单元802;逆正交变换单元803;加法单元804;预测图像生成单元805和索引设定单元806。逆量化单元802、逆正交变换单元803、加法单元804和预测图像生成单元805分别是大体与在图1中图解所示的逆量化单元104、逆正交变换单元105、加法单元106和预测图像生成单元107相同或相似的元件。另外,图38中图解所示的解码控制单元807控制解码设备800,例如是利用CPU等实现的。
为了解码编码数据,解码单元801根据每帧或每个场的语法,进行解码。解码单元801顺序进行每个语法的代码串的熵解码,并重新生成包括预测模式、运动向量和参考编号的运动信息,用于加权运动补偿预测的索引信息,和诸如量化变换系数之类的编码目标区块的编码参数。这里,编码参数是解码除上述之外的与变换系数相关的信息、与量化相关的信息等所必需的全部参数。解码单元801输出运动信息、索引信息和量化变换系数,以致把量化变换系数输入到逆量化单元802,把索引信息输入到索引设定单元806,和把运动信息输入到预测图像生成单元805。
逆量化单元802对从解码单元801输入的量化变换系数进行逆量化处理,并获得复原变换系数。更具体地,逆量化单元802根据解码单元801使用的量化信息进行逆量化。更具体地说,逆量化单元802把量化变换系数乘以根据量化信息得到的量化步长,从而获得复原的变换系数。逆量化单元802输出复原的变换系数,以作为逆正交变换单元803的输入。
逆正交变换单元803对从逆量化单元802输入的复原的变换系数,进行与在编码侧进行的正交变换对应的逆正交变换,从而获得复原的预测误差。逆正交变换单元803输出复原的预测误差,以作为加法单元804的输入。
加法单元804相加从逆正交变换单元803输入的复原的预测误差和对应的预测图像,从而生成解码图像。加法单元804输出解码图像,以作为预测图像生成单元805的输入。另外,加法单元804把解码图像作为输出图像输出到外部。之后,输出图像被临时保存在图中未例示的外部输出缓冲器等中,并且例如在解码控制单元807管理的输出定时,被输出给诸如图中未例示的显示器或监视器之类的显示设备系统或者视频设备系统。
索引设定单元806接收从解码单元801输入的索引信息,检查参考列表(列表编号)和参考图像(参考编号),并输出WP参数信息以作为预测图像生成单元805的输入。
图39是图解说明按照第四实施例的索引设定单元806的结构例子的方框图。如图39中图解所示,索引设定单元806包括参考图像检查单元901和WP参数生成单元902。
参考图像检查单元901从解码单元801接收索引信息,并检查包含在2个参考列表中的参考编号是否代表相同的参考图像。
此时,包含在参考列表中的参考编号例如已通过利用在H.264等中规定的方法而被解码。因而,参考图像检查单元901能够按照在H.264等中规定的解码图片缓冲器(DPB)的管理,利用导出的参考列表和参考编号,检查是否存在表示相同参考图像的组合。另外,对于DPB的控制,可以采用在H.264等中规定的方法,或者可以采用任何其它方法。这里,可根据DPB的控制,预先确定参考列表和参考编号。
参考图像检查单元901创建公共参考列表,并按照图14中图解所示的扫描顺序,检查参考列表和参考编号。这里,利用在数值表达式(10)中所示的伪码,创建公共参考列表。
WP参数生成单元902根据由参考图像检查单元901检查的参考列表和参考编号之间的关系,从创建的公共参考列表生成与参考列表和参考编号对应的WP参数信息,并输出生成的WP参数信息以作为预测图像生成单元805的输入。已参考图9A和9B说明了WP参数信息,从而不再给出其说明。
WP参数生成单元902按照公共列表,利用common_scan_list()函数和common_scan_ref_idx()函数,所述公共列表被扫描,从而通过扫描抽出参考列表和参考编号,并在缺失的地方补充WP参数信息。
换句话说,图15和16中图解所示的公共列表分别在图11和13中被复原,并把基于该对应关系、与公共列表对应的索引信息分配给在图9A和9B中图解所示的WP参数信息。
另外,图14中图解说明的扫描顺序是一个例子,可以使用任何其它扫描顺序,只要所述其它扫描顺序是预定的扫描顺序。此外,在数值表达式(10)中给出的伪码是例子,可以增加处理或者去除冗余处理,只要能够实现该处理的目的。
返回参见图38,预测图像生成单元805通过利用从解码单元801输入的运动信息、从索引设定单元806输入的WP参数信息、和从加法单元804输入的解码图像,生成预测图像。
这里将参考图4,详细说明预测图像生成单元805。类似于预测图像生成单元107,预测图像生成单元805包括:多帧运动补偿单元201;存储器202;单向运动补偿单元203;预测参数控制单元204;参考图像选择器205;帧存储器206;和参考图像控制单元207。
帧存储器206在参考图像控制单元207的控制下,把从加法单元106输入的解码图像保存为参考图像。帧存储器206包括用于临时保存参考图像的多个存储器组FM1~FMN(这里,N≥2)。
预测参数控制单元204根据从解码单元801输入的运动信息,以表格的形式准备每个参考图像编号和预测参数的多个组合。这里,运动信息代表表示用于运动补偿预测的运动的偏差的运动向量,参考图像编号和诸如单向/双向预测之类的预测模式的信息。预测参数代表与运动向量和预测模式相关的信息。随后,预测参数控制单元204根据运动信息,选择用于生成预测图像的参考编号和预测参数的组合,并输出选择的组合,以使参考图像编号可被输入参考图像选择器205,并使预测参数可被输入单向运动补偿单元203。
参考图像选择器205是根据从预测参数控制单元204输入的参考图像编号,改变待切换的包含在帧存储器206中的帧存储器FM1~FMN的输出端子之一的开关。例如,当参考图像编号为“0”时,参考图像选择器205把帧存储器FM1的输出端连接到参考图像选择器205的输出端,以及当参考图像编号为N-1时,参考图像选择器205把帧存储器FMN的输出端连接到参考图像选择器205的输出端。参考图像选择器205把保存在包含于帧存储器206中的帧存储器FM1~FMN之中的、其输出端子连接到参考图像选择器205的帧存储器中的参考图像输出给单向运动补偿单元203。在解码设备800中,除预测图像生成单元805外的任何单元不使用参考图像,因而参考图像不会被输出到预测图像生成单元805之外。
单向预测运动补偿单元203根据从预测参数控制单元204输入的预测参数和从参考图像选择器205输入的参考图像,进行运动补偿预测处理,从而生成单向预测图像。运动补偿预测已参考图5进行了说明,从而不再对其进行说明。
单同预测运动补偿单元203输出单向预测图像,并把单向预测图像临时保存在存储器202中。这里,在运动信息(预测参数)表示双向预测的情况下,多帧运动补偿单元201利用两种类型的单向预测图像,进行加权预测。因而,单向预测运动补偿单元203把对应于第一类型的单向预测图像保存成存储器202中的单向预测图像,以及把对应于第二类型的单向预测图像直接输出给多帧运动补偿单元201。这里,对应于第一类型的单向预测图像将被称为第一预测图像,而对应于第二类型的单向预测图像将被称为第二预测图像。
另外,可准备2个单向运动补偿单元203,这2个单向运动补偿单元203生成2个单向预测图像。在这种情况下,当运动信息(预测参数)表示单向预测时,单向运动补偿单元203可把第一单向预测图像作为第一预测图像,直接输出给多帧运动补偿单元201。
多帧运动补偿单元201通过利用从存储器202输入的第一预测图像、从单向预测运动补偿单元203输入的第二预测图像、和从运动评估单元109输入的WP参数信息,进行加权预测,从而生成预测图像。多帧运动补偿单元201输出预测图像以作为加法单元804的输入。
这里,将参考图6,详细说明多帧运动补偿单元201。类似于预测图像生成单元107,多帧运动补偿单元201包括:默认运动补偿单元301;加权运动补偿单元302;WP参数控制单元303;和WP选择器304和305。
WP参数控制单元303根据从索引设定单元806输入的WP参数信息,输出WP应用标记和加权信息,以致把WP应用标记输入到WP选择器304和305,并把加权信息输入到加权运动补偿单元302。
这里,WP参数信息包括加权因子的固定小数点精度,对应于第一预测图像的第一WP应用标记、第一加权因子和第一偏移量,和对应于第二预测图像的第二WP应用标记、第二加权因子和第二偏移量的信息。WP应用标记是可为每个对应参考图像和信号分量设定的参数,并且表示是否进行加权运动补偿预测。加权信息包括加权因子的固定小数点精度、第一加权因子、第一偏移量、第二加权因子和第二偏移量的信息。这里,WP参数信息表示和第一实施例相同的信息。
详细地说,当从索引设定单元806输入WP参数信息时,WP参数控制单元303输出分成第一WP应用标记、第二WP应用标记和加权信息的WP参数信息,从而把第一WP应用标记输入到WP选择器304,把第二WP应用标记输入到WP选择器305,并把加权信息输入到加权运动补偿单元302。
WP选择器304和305根据从WP参数控制单元303输入的WP应用标记,改变预测图像的连接端。在对应的WP应用标记为“0”的情况下,每个WP选择器304和305把其输出端连接到默认运动补偿单元301。随后,WP选择器304和305输出第一和第二预测图像以作为默认运动补偿单元301的输入。另一方面,在对应的WP应用标记为“1”的情况下,每个WP选择器304和305把其输出端连接到加权运动补偿单元302。随后,WP选择器304和305输出第一和第二预测图像以作为加权运动补偿单元302的输入。
默认运动补偿单元301根据从WP选择器304和305输入的2个单向预测图像(第一和第二预测图像),进行平均处理,从而生成预测图像。更具体地,在第一和第二WP应用标记为“0”的情况下,默认运动补偿单元301根据数值表达式(1),进行平均处理。
另外,在利用运动信息(预测参数)表示的预测模式是单向预测的情况下,默认运动补偿单元301只利用第一预测图像,根据数值表达式(4)计算最终的预测图像。
加权运动补偿单元302根据从WP选择器304和305输入的2个单向预测图像(第一和第二预测图像)和从WP参数控制单元303输入的加权信息,进行加权运动补偿。更具体地,在第一和第二WP应用标记都为“1”的情况下,加权运动补偿单元302根据数值表达式(7)进行加权处理。
另外,在第一和第二预测图像的计算精度与预测图像的计算精度彼此不同的情况下,加权运动补偿单元302通过如数值表达式(8)中一样地控制作为固定小数点精度的logWDC,实现取整处理。
另外,在运动信息(预测参数)表示的预测模式是单向预测的情况下,加权运动补偿单元302只利用第一预测图像,根据数值表达式(9),计算最终的预测图像。
另外,在第一和第二预测图像的计算精度与预测图像的计算精度彼此不同的情况下,加权运动补偿单元302通过类似于双向预测的情况,如数值表达式(8)中一样地控制作为固定小数点精度的logWDC,实现取整处理。
已参考图7说明了加权因子的固定小数点精度,从而不再给出其说明。另外,在单向预测的情况下,对应于第二预测图像的各个参数(第二WP应用标记,第二加权因子和第二偏移量信息)不被使用,并且可被设定为预先确定的初始值。
解码单元801利用在图18中表示的语法500。语法500表示作为解码单元801的解码目标的编码数据的结构。已参考图18说明了语法500,从而不再给出其说明。另外,除了使用解码而不是编码之外,已参考图19说明了图片参数集语法505,从而不再给出其说明。此外,除了使用解码而不是编码之外,已参考图20说明了切片头部语法507,从而不再给出其说明。另外,除了使用解码而不是编码之外,已参考图21说明了预测加权表格语法508,从而不再给出其说明。
如上所述,按照第四实施例,当利用在其中可以选择双向预测的双向预测切片中具有相同参考图像而不是具有彼此不同的参考图像编号的2种索引,进行加权运动补偿时,解码设备800解决了由于对具有相同值的索引解码两次而引起的解码效率降低的问题。
通过把包含在双向预测切片中的2个参考列表,和为每个列表设定的参考编号重新排列成公共列表和公共参考编号,表示相同参考图像的参考编号的组合不会被包含在参考列表中,因而解码设备800能够减少冗余索引的代码量。
第四实施例的变形例
下面说明第四实施例的变形例。在第四实施例的变形例中,解码单元801利用的语法元素不同于第四实施例的语法元素。除了进行解码而不是编码之外,已参考图22说明了序列参数集语法504,从而不再给出其说明。另外,除了进行解码而不是编码之外,已参考图23说明了适配参数集语法506,从而不再给出其说明。此外,除了进行解码而不是编码之外,已参考图24说明了预测加权表格语法508,从而不再给出其说明。
如上所述,按照第四实施例的变形例,通过采用其中从适配参数集语法506调用预测加权表格语法508的结构,能够显著减小在把一帧分成多个切片时的WP参数信息的代码量。
例如,具有待使用的相互不同的3种类型的WP参数信息的适配参数集语法506被预先解码,切片头部语法507根据情况使用aps_id,调用必要的WP参数信息,以致代码量可被配置成小于其中利用切片头部语法507不断地解码WP参数信息的结构的代码量。
第五实施例
在第五实施例中,将说明对按照第二实施例的编码设备编码的编码数据解码的解码设备。在按照第五实施例的解码设备1000中,索引设定单元1006的结构和按照第四实施例的解码设备800不同。下面,将主要说明与第四实施例的差异,将向功能与第四实施例相同的每个构成元件赋予与第四实施例相同的名称/附图标记,并且不再给出其说明。
图40是图解说明按照第五实施例的索引设定单元1006的结构例子的方框图。如图40中图解所示,索引设定单元1006包括重用判定单元1001和WP参数生成单元1002。
重用判定单元1001通过检查重用标记,检查是否重用List 0的WP参数。在重用List 0的WP参数的情况下,WP参数生成单元1002根据List 0的哪个WP参数将被复制的信息,把参考目的地的List 0的WP参数复制到List 1的WP参数。在语法元素中描述与表示重用标记和参考目的地的参考编号相关的信息,并通过允许WP参数生成单元1002分析索引信息,复原WP参数信息。
例如,重用判定单元1001根据数值表达式(11)中表示的伪码,检查是否使用List0的WP参数。
除了进行解码而不是编码之外,已参考图27说明了预测加权表格语法508,从而不再给出其说明。
如上所述,按照第五实施例,当利用在其中可以选择双向预测的双向预测切片中具有相同参考图像而不是具有彼此不同的参考图像编号的2种索引,进行加权运动补偿时,解码设备1000解决了由于对具有相同值的索引解码两次而引起的解码效率降低的问题。
解码设备1000按常规方式解码List 0的索引,在解码List 1的索引时,检查是否存在表示相同参考图像的参考编号的组合,并且在相同索引的情况下,通过作为在List 0中使用的索引,重用在List 1中使用的索引,避免相同索引被解码两次,因而能够减少冗余索引的代码量。
第六实施例
在第六实施例中,将说明对按照第三实施例的编码设备编码的编码数据解码的解码设备。图41是图解说明按照第六实施例的解码设备1100的结构例子的方框图。按照第六实施例的解码设备1100和按照第四实施例的解码设备800的不同之处在于解码设备1100还包括运动信息存储器1101、运动信息获取单元1102和选择器形状1103。下面,主要说明与第四实施例的差异,将向功能与第四实施例相同的每个构成元件赋予与第四实施例相同的名称/附图标记,并且不再给出其说明。
运动信息存储器1101临时保存应用于已被解码的像素区块的运动信息,作为参考运动信息。通过对运动信息进行诸如子采样之类的压缩处理,运动信息存储器1101可减少信息量。如图29中图解所示,运动信息存储器1101是以帧或切片为单位保持的,并且还包括把相同帧上的运动信息保存为参考运动信息710的空间方向参考运动信息存储器701A,和把已被解码的帧的运动信息保存为参考运动信息710的时间方向参考运动信息存储器701B。可按照解码目标帧用于预测的参考帧的数目,布置多个时间方向参考运动信息存储器701B。
参考运动信息710以预定区域为单位(例如,以4×4像素区块为单位),被保持在空间方向参考运动信息存储器701A和时间方向参考运动信息存储器701B中。参考运动信息710还包括表示该区域是利用后面说明的帧间预测编码还是利用后面说明的帧内预测编码的信息。另外,在利用从解码区域预测的运动信息帧间预测像素区块(编码单元或预测单元),而不像按在H.264中定义的跳过模式或直接模式或者后面说明的合并模式一样地解码包含在运动信息中的运动向量的值的情况下,该像素区块的运动信息被保持为参考运动信息710。
当关于解码目标帧或编码目标切片的解码处理结束时,该帧的空间方向参考运动信息存储器701A被改变,从而被当作用于接下来待解码的帧的时间方向参考运动信息存储器701B。此时,为了减少时间方向参考运动信息存储器701B的容量,其可以被配置成使得运动信息被压缩,并把压缩的运动信息保存在时间方向参考运动信息存储器701B中。
运动信息获取单元1102接收来自运动信息存储器1101的参考运动信息作为输入,并输出用于解码像素区块的运动信息B。由于运动信息获取单元1102的操作与按照第三实施例的运动信息获取单元702的操作相同,因此不再给出其说明。
选择器开关1103按照后面说明的预测模式信息,选择从运动信息获取单元1102输出的运动信息B和从解码单元801输出的运动信息A中的一个,并把选择的运动信息输出给预测图像生成单元805作为运动信息。从解码单元801输出的运动信息A用于对与从图中未例示的预测运动向量获取单元获得的预测运动向量的差分信息和预测运动向量获取位置信息进行解码。下面,这种预测模式将被称为帧间预测模式。另一方面,按照预测模式信息,从运动信息获取单元1102输出的运动信息B用于合并来自相邻像素区块的运动信息,并被直接应用于解码像素区块,因而与其它运动信息相关的信息(例如,运动向量差分信息)不需要被解码。下面,这种预测模式将被称为合并模式。
预测模式信息与解码控制单元807控制的预测模式相适应,并且包括选择器开关1103的开关信息。
除了进行解码而不是编码之外,已参考图36说明了预测单元语法512,从而不再给出其说明。
第六实施例的优点和第三实施例相同,从而不再给出其说明。
另外,作为对于MergeCandList的存储处理的另一个例子,当把时间上相邻的区块T的运动信息保存在MergeCandList中时,可以判定时间上相邻的区块T的参考帧的WP参数和解码像素区块的参考帧的WP参数是否彼此匹配,以及只有在WP参数彼此匹配的情况下,才把所述运动信息保存在MergeCandList中。其原因在于,在时间上相邻的区块T的参考帧的WP参数和解码像素区块的参考帧的WP参数彼此不同的情况下,可以推测时间上相邻的区块T的运动信息与解码像素区块的运动信息之间的相关性降低。
另外,作为又一个例子,在时间上相邻的区块T的参考帧的WP参数和解码像素区块的参考帧的WP参数彼此不同的情况下,空间上与区块T相邻的区块之中的在解码像素区块的参考帧中具有相同WP参数的区块可用区块T代替。此时,时间上相邻的区块T的运动信息和解码像素区块的运动信息之间的相关性不降低。
变形例
可以有选择地使用第一到第三实施例。换句话说,可以预先设定用于选择方法的信息,并且在选择双向切片的情况下,可根据表示是使用第一实施例的技术还是使用第二实施例的技术的信息,改变要使用的技术。例如,通过在图20中图解所示的切片头部语法中,设定用于改变所述技术的标记,能够根据编码情况,容易地选择要使用的技术。另外,可按照具体硬件的结构,预先设定要使用的技术。可利用硬件或利用软件适当地安装按照第一到第三实施例的预测图像生成单元和索引设定单元。
可以有选择地使用第四到第六实施例。换句话说,可以预先设定用于选择方法的信息,并且在选择双向切片的情况下,可根据表示是使用第四实施例的技术还是使用第五实施例的技术的信息,改变要使用的技术。例如,通过在图20中图解所示的切片头部语法中,设定用于改变所述技术的标记,能够根据编码情况,容易地选择要使用的技术。另外,可按照具体硬件的结构,预先设定要使用的技术。可利用硬件或利用软件适当地安装按照第四到第六实施例的预测图像生成单元和索引设定单元。
另外,在作为例子在第一到第六实施例中图解所示的语法表格的各行之间,可以插入未在实施例中规定的语法元素,或者可以包含与其它条件分枝相关的描述。此外,语法表格可被分成多个表格,或者可以结合多个语法表格。另外,可以任意改变作为例子表示的每个语法元素的术语。
第一实施例的变形例可容易地应用于第二实施例。在这种情况下,可以设定对应于List 0和List 1的参考图像的最大编号,并且可以预先设定所述最大编号。
第四实施例的变形例可容易地应用于第五实施例。在这种情况下,可以设定对应于List 0和List 1的参考图像的最大编号,并且可以预先设定所述最大编号。
在上面说明的第一到第六实施例中,说明了其中帧被分成都具有16×16等像素大小的矩形区块,并按照从画面的左上区块到右下区块的顺序被编码/解码的例子(参见图3A)。然而,编码顺序和解码顺序并不局限于在该例子中举例说明的那些顺序。例如,可按照从右下方到左上方的顺序进行编码和解码,或者可以从画面的中央朝着画面的边缘画旋涡地进行编码和解码。另外,可按照从右上方到左下方的顺序进行编码和解码,或者可以从画面的边缘朝着画面的中央画旋涡地进行编码和解码。在这种情况下,由于可按照编码顺序参考的相邻像素区块的位置改变,因此该位置可被改变成适当可用的位置。
在上面说明的第一到第六实施例中,尽管以诸如举例说明的4×4像素区块、8×8像素区块、16×16像素区块之类的预测目标区块的大小为例进行了说明,不过预测目标区块可不具有统一的区块形状。例如,预测目标区块的大小可以是16×8像素区块、8×16像素区块、8×4像素区块、4×8像素区域等等。另外,不必使一个编码树区块内的所有区块大小一致,可以混合彼此不同的多个区块大小。当在一个编码树区块内混合彼此不同的多个区块大小时,用于编码或解码分割信息的代码量随分割数目的增大而增大。从而,优选地考虑到分割信息的代码量和局部编码图像或解码图像的质量之间的平衡,选择区块大小。
在上面说明的第一到第六实施例中,为了简化起见,在没有彼此区分亮度信号和色差信号的预测处理的情况下,关于颜色信号分量给出了全面说明。然而,在亮度信号和色差信号的预测处理彼此不同的情况下,可以使用相同的预测方法或者彼此不同的预测方法。在把彼此不同的预测方法用于亮度信号和色差信号的情况下,可以类似于用于亮度信号的预测方法,利用为色差信号选择的预测方法进行编码或解码。
在上面说明的第一到第六实施例中,为了简化起见,在没有彼此区分亮度信号和色差信号的加权运动补偿预测处理的情况下,关于颜色信号分量给出了全面说明。然而,在亮度信号和色差信号的加权预测处理彼此不同的情况下,可以使用相同的加权预测方法或者彼此不同的加权预测方法。在彼此不同的加权预测方法被用于亮度信号和色差信号的情况下,可以类似于用于亮度信号的加权预测方法,利用为色差信号选择的加权预测方法进行编码或解码。
在上面说明的第一到第六实施例中,在语法结构中表示的表格的各行之间,可以插入未在该实施例中规定的语法元素,可以包括与其它条件分枝相关的技术。另一方面,语法表格可被分成多个表格,或者多个语法表格可被结合在一起。另外,不一定使用相同的术语,相反可以按照使用形式,任意改变术语。
如上所述,按照各个实施例,解决了在进行加权运动补偿预测时的编码冗余信息的问题,并实现了效率高的加权运动补偿预测处理。因此,按照各个实施例,提高了编码效率,并且改善了主观图像质量。
尽管说明了本发明的几个实施例,不过这些实施例是作为例子给出的,而不是用于限制本发明的范围。可按照各种其它形式实现这些新颖的实施例,并且在不脱离本发明的原理的范围中,可以作出各种省略、替代和变化。这些实施例及其变形例在本发明的范围或原理之内,并且在权利要求书中记载的本发明及其等同范围之内。
例如,实现上述每个实施例的处理的程序可通过保存在计算机可读存储介质中而被提供。作为所述存储介质,可以使用能够保存程序并且能够被计算机读取的存储介质,比如磁盘、光盘(CD-ROM、CD-R、DVD等)、磁光盘(MO等)或半导体存储器,而与存储形式无关。
另外,实现每个实施例的处理的程序可被保存在连接到网络比如因特网的计算机(服务器)中,并可通过网络下载到计算机(客户端)。
附图标记列表
100,600,700 编码设备
101 减法单元
102 正交变换单元
103 量化单元
104 逆量化单元
105 逆正交变换单元
106 加法单元
107 预测图像生成单元
108 索引设定单元
109 运动评估单元
110 编码单元
110a 熵编码单元
110b 索引重构单元
111 编码控制单元
201 多帧运动补偿单元
202 存储器
203 单向运动补偿单元
204 预测参数控制单元
205 参考图像选择器
206 帧存储器
207 参考图像控制单元
301 默认运动补偿单元
302 加权运动补偿单元
303 wp参数控制单元
304,305 wp选择器
401,901 参考图像检查单元
402,602 索引生成单元
601,1001 重用判定单元
701,1101 运动信息存储器
702,1102 运动信息获取单元
703,1103 选择器开关
800,1000,1100 解码设备
801 解码单元
802 逆量化单元
803 逆正交变换单元
804 加法单元
805 预测图像生成单元
806,1006 索引设定单元
807 解码控制单元
902,1002 wp参数生成单元
Claims (2)
1.一种解码方法,包括:
接收编码数据,所述编码数据包括:
从在切片级的更高层级上的适配参数集语法调用的预测加权表格语法,所述预测加权表格语法描述由参考编号指定并包括加权因子的多个参数,以及
在切片级的更高层级上的序列参数集语法,所述序列参数集语法描述被用于指定由所述参考编号选取的值的最大数目的语法元素;
通过使用所述参考编号,以最大编号作为上限,根据所述预测加权表格语法和语法元素指定所述多个参数;
通过使用参考编号来指定来自第一参考图像列表和第二参考图像列表的参考图像;以及
执行包括使用参考图像和多个参数的加权运动补偿预测的解码处理。
2.一种解码设备,包括:
硬件处理器,被配置为:
接收编码数据,所述编码数据包括:
从在切片级的更高层级上的适配参数集语法调用的预测加权表格语法,所述预测加权表格语法描述由参考编号指定并包括加权因子的多个参数,以及
在切片级的更高层级上的序列参数集语法,所述序列参数集语法描述被用于指定由所述参考编号选取的值的最大数目的语法元素;
通过使用所述参考编号,以最大编号作为上限,根据所述预测加权表格语法和语法元素指定所述多个参数,并被配置为通过使用参考编号来指定来自第一参考图像列表和第二参考图像列表的参考图像;以及
执行包括使用参考图像和多个参数的加权运动补偿预测的解码处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610895415.9A CN106231321B (zh) | 2011-10-17 | 2011-10-17 | 解码方法和解码设备 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201180073124.7A CN103782599A (zh) | 2011-10-17 | 2011-10-17 | 编码方法和解码方法 |
CN201610895415.9A CN106231321B (zh) | 2011-10-17 | 2011-10-17 | 解码方法和解码设备 |
PCT/JP2011/073851 WO2013057782A1 (ja) | 2011-10-17 | 2011-10-17 | 符号化方法及び復号方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180073124.7A Division CN103782599A (zh) | 2011-10-17 | 2011-10-17 | 编码方法和解码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106231321A CN106231321A (zh) | 2016-12-14 |
CN106231321B true CN106231321B (zh) | 2020-01-17 |
Family
ID=48140460
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610895415.9A Active CN106231321B (zh) | 2011-10-17 | 2011-10-17 | 解码方法和解码设备 |
CN201180073124.7A Pending CN103782599A (zh) | 2011-10-17 | 2011-10-17 | 编码方法和解码方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180073124.7A Pending CN103782599A (zh) | 2011-10-17 | 2011-10-17 | 编码方法和解码方法 |
Country Status (16)
Country | Link |
---|---|
US (14) | US20140072237A1 (zh) |
EP (4) | EP3174301A1 (zh) |
JP (1) | JP5592023B2 (zh) |
KR (3) | KR20140057301A (zh) |
CN (2) | CN106231321B (zh) |
AU (8) | AU2011379258C1 (zh) |
BR (1) | BR112014004797B1 (zh) |
CA (1) | CA2847296C (zh) |
MX (3) | MX2014002534A (zh) |
MY (1) | MY168194A (zh) |
PH (3) | PH12014500857B1 (zh) |
RU (1) | RU2014107469A (zh) |
SG (1) | SG11201400288VA (zh) |
TW (11) | TWI639332B (zh) |
WO (1) | WO2013057782A1 (zh) |
ZA (1) | ZA201401564B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106231321B (zh) | 2011-10-17 | 2020-01-17 | 株式会社东芝 | 解码方法和解码设备 |
DK3197164T3 (da) | 2011-10-17 | 2021-01-25 | Toshiba Kk | Afkodningsanordning og afkodningsfremgangsmåde |
US20130114710A1 (en) * | 2011-11-08 | 2013-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list |
MX336158B (es) | 2012-06-27 | 2016-01-11 | Toshiba Kk | Dispositivo de codificacion, dispositivo de decodificacion, metodo de codificacion, y metodo de decodificacion. |
CN105580368B (zh) | 2013-09-30 | 2018-10-19 | 日本放送协会 | 图像编码装置和方法以及图像解码装置和方法 |
AU2016264606B2 (en) | 2015-05-19 | 2020-09-03 | Magic Leap, Inc. | Semi-global shutter imager |
CN106331722B (zh) | 2015-07-03 | 2019-04-26 | 华为技术有限公司 | 图像预测方法和相关设备 |
FR3041850B1 (fr) * | 2015-09-30 | 2018-05-25 | Vogo | Procede d'encodage de flux de donnees video basees sur des groupements d'images (gop) |
JP6105034B2 (ja) * | 2015-12-17 | 2017-03-29 | 株式会社東芝 | 復号方法及び復号装置 |
US10887619B2 (en) * | 2016-02-03 | 2021-01-05 | Sharp Kabushiki Kaisha | Moving image decoding device, moving image coding device, and prediction image generation device |
KR102383107B1 (ko) | 2016-07-05 | 2022-04-06 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
JP2018056699A (ja) * | 2016-09-27 | 2018-04-05 | 株式会社ドワンゴ | 符号化装置、符号化方法、復号化装置、及び復号化方法 |
US10750203B2 (en) | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
GB2584942B (en) * | 2016-12-28 | 2021-09-29 | Arris Entpr Llc | Improved video bitstream coding |
JP2017085633A (ja) * | 2017-01-04 | 2017-05-18 | 株式会社東芝 | 復号方法及び復号装置 |
CN116016922A (zh) | 2017-07-07 | 2023-04-25 | 三星电子株式会社 | 用于对运动矢量进行编码和解码的设备和方法 |
WO2019066514A1 (ko) | 2017-09-28 | 2019-04-04 | 삼성전자 주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
WO2019111012A1 (en) * | 2017-12-06 | 2019-06-13 | V-Nova International Ltd | Method and apparatus for decoding a received set of encoded data |
WO2020059687A1 (en) * | 2018-09-21 | 2020-03-26 | Sharp Kabushiki Kaisha | Systems and methods for signaling reference pictures in video coding |
US11758132B2 (en) | 2018-12-28 | 2023-09-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder and decoder, encoding method and decoding method with complexity handling for flexibly sized picture partitions |
US11076152B2 (en) * | 2019-03-18 | 2021-07-27 | Sony Group Corporation | Quantization step parameter for point cloud compression |
CN111726632B (zh) * | 2019-03-18 | 2022-08-26 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN114424547A (zh) * | 2019-07-05 | 2022-04-29 | 威诺瓦国际有限公司 | 视频译码中的残差的量化 |
EP4128778A4 (en) * | 2020-03-31 | 2024-04-17 | Alibaba Group Holding Limited | PALETTE PREDICTION METHODS |
CN112004096B (zh) * | 2020-07-20 | 2024-07-12 | 浙江大华技术股份有限公司 | 角度模式帧间预测方法、编码器及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101204094A (zh) * | 2005-04-15 | 2008-06-18 | Lg电子株式会社 | 可缩放地编码和解码视频信号的方法 |
CN101283600A (zh) * | 2005-10-05 | 2008-10-08 | 松下电器产业株式会社 | 参考图像选择方法以及装置 |
CN102055977A (zh) * | 2009-11-06 | 2011-05-11 | 三星电子株式会社 | 使用多个参考帧的快速运动估计方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6002802A (en) * | 1995-10-27 | 1999-12-14 | Kabushiki Kaisha Toshiba | Video encoding and decoding apparatus |
JP4015934B2 (ja) | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
EP1830580A1 (en) * | 2002-01-18 | 2007-09-05 | Kabushiki Kaisha Toshiba | Video encoding method and apparatus and video decoding method and apparatus |
JP2004007379A (ja) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | 動画像符号化方法及び動画像復号化方法 |
US8406301B2 (en) * | 2002-07-15 | 2013-03-26 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
JP4485157B2 (ja) | 2002-08-08 | 2010-06-16 | パナソニック株式会社 | 画像復号化方法および画像復号化装置 |
EP2903278B1 (en) | 2002-08-08 | 2017-06-28 | Godo Kaisha IP Bridge 1 | Moving picture decoding method |
JP2004179687A (ja) | 2002-11-22 | 2004-06-24 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
US20050201470A1 (en) * | 2004-03-12 | 2005-09-15 | John Sievers | Intra block walk around refresh for H.264 |
JP2005318297A (ja) | 2004-04-28 | 2005-11-10 | Toshiba Corp | 動画像符号化・復号方法及び装置 |
DE102004059993B4 (de) | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium |
KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
WO2007092215A2 (en) * | 2006-02-02 | 2007-08-16 | Thomson Licensing | Method and apparatus for adaptive weight selection for motion compensated prediction |
JP2007221201A (ja) * | 2006-02-14 | 2007-08-30 | Victor Co Of Japan Ltd | 動画像符号化装置及び動画像符号化プログラム |
JP4691062B2 (ja) | 2007-03-30 | 2011-06-01 | 株式会社東芝 | 情報処理装置 |
US20120127002A1 (en) * | 2009-08-06 | 2012-05-24 | Youji Shibahara | Coding method, decoding method, coding apparatus, and decoding apparatus |
US9277228B2 (en) * | 2011-07-18 | 2016-03-01 | Qualcomm Incorporated | Adaptation parameter sets for video coding |
CN106231321B (zh) * | 2011-10-17 | 2020-01-17 | 株式会社东芝 | 解码方法和解码设备 |
JP6015034B2 (ja) | 2012-03-07 | 2016-10-26 | セイコーエプソン株式会社 | 光学センサー及び電子機器 |
JP2017003482A (ja) | 2015-06-12 | 2017-01-05 | ヤマシンフィルタ株式会社 | 測定装置 |
JP6105034B2 (ja) | 2015-12-17 | 2017-03-29 | 株式会社東芝 | 復号方法及び復号装置 |
-
2011
- 2011-10-17 CN CN201610895415.9A patent/CN106231321B/zh active Active
- 2011-10-17 MY MYPI2014000579A patent/MY168194A/en unknown
- 2011-10-17 KR KR1020147005322A patent/KR20140057301A/ko not_active Abandoned
- 2011-10-17 WO PCT/JP2011/073851 patent/WO2013057782A1/ja active Application Filing
- 2011-10-17 EP EP17150477.2A patent/EP3174301A1/en not_active Withdrawn
- 2011-10-17 SG SG11201400288VA patent/SG11201400288VA/en unknown
- 2011-10-17 CN CN201180073124.7A patent/CN103782599A/zh active Pending
- 2011-10-17 BR BR112014004797-9A patent/BR112014004797B1/pt active IP Right Grant
- 2011-10-17 RU RU2014107469/08A patent/RU2014107469A/ru not_active Application Discontinuation
- 2011-10-17 EP EP17150471.5A patent/EP3174296A1/en not_active Ceased
- 2011-10-17 EP EP11874125.5A patent/EP2770735A4/en not_active Withdrawn
- 2011-10-17 PH PH1/2014/500857A patent/PH12014500857B1/en unknown
- 2011-10-17 MX MX2014002534A patent/MX2014002534A/es active IP Right Grant
- 2011-10-17 AU AU2011379258A patent/AU2011379258C1/en active Active
- 2011-10-17 KR KR1020167012309A patent/KR101694664B1/ko active Active
- 2011-10-17 KR KR1020157019999A patent/KR20150092765A/ko not_active Abandoned
- 2011-10-17 MX MX2016001118A patent/MX344805B/es unknown
- 2011-10-17 EP EP17150470.7A patent/EP3174300A1/en not_active Withdrawn
- 2011-10-17 JP JP2013539429A patent/JP5592023B2/ja active Active
- 2011-10-17 MX MX2015005669A patent/MX336653B/es unknown
- 2011-10-17 CA CA2847296A patent/CA2847296C/en active Active
-
2012
- 2012-01-17 TW TW106135506A patent/TWI639332B/zh active
- 2012-01-17 TW TW101101750A patent/TW201318437A/zh unknown
- 2012-01-17 TW TW110130330A patent/TWI794935B/zh active
- 2012-01-17 TW TW109128457A patent/TWI742809B/zh active
- 2012-01-17 TW TW105143925A patent/TWI608730B/zh active
- 2012-01-17 TW TW106135507A patent/TWI639333B/zh active
- 2012-01-17 TW TW104142717A patent/TWI575943B/zh active
- 2012-01-17 TW TW107131923A patent/TWI703859B/zh active
- 2012-01-17 TW TW112108135A patent/TWI848598B/zh active
- 2012-01-17 TW TW106129366A patent/TWI617184B/zh active
- 2012-01-17 TW TW113121513A patent/TW202439821A/zh unknown
-
2013
- 2013-09-16 US US14/028,024 patent/US20140072237A1/en not_active Abandoned
-
2014
- 2014-02-28 ZA ZA2014/01564A patent/ZA201401564B/en unknown
-
2015
- 2015-07-14 US US14/799,253 patent/US9681138B2/en active Active
- 2015-08-13 AU AU2015213330A patent/AU2015213330C1/en active Active
-
2017
- 2017-05-09 US US15/590,876 patent/US9872027B2/en active Active
- 2017-05-19 AU AU2017203354A patent/AU2017203354B2/en active Active
- 2017-08-17 US US15/679,520 patent/US10110904B2/en active Active
- 2017-08-17 US US15/679,438 patent/US10187642B2/en active Active
- 2017-10-09 PH PH12017501851A patent/PH12017501851B1/en unknown
-
2018
- 2018-07-23 AU AU2018206856A patent/AU2018206856B2/en active Active
- 2018-08-27 US US16/113,330 patent/US10412394B2/en active Active
-
2019
- 2019-07-03 PH PH12019501571A patent/PH12019501571A1/en unknown
- 2019-07-24 US US16/521,145 patent/US10674161B2/en active Active
- 2019-09-16 AU AU2019232774A patent/AU2019232774B2/en active Active
-
2020
- 2020-04-24 US US16/858,053 patent/US11356674B2/en active Active
- 2020-04-24 US US16/858,002 patent/US11483570B2/en active Active
- 2020-04-24 US US16/857,846 patent/US11381826B2/en active Active
- 2020-04-24 US US16/857,910 patent/US11425396B2/en active Active
- 2020-04-24 US US16/857,650 patent/US11323721B2/en active Active
-
2021
- 2021-02-06 AU AU2021200773A patent/AU2021200773B2/en active Active
-
2022
- 2022-08-25 AU AU2022221509A patent/AU2022221509B2/en active Active
- 2022-09-09 US US17/941,083 patent/US11871007B2/en active Active
-
2023
- 2023-11-21 US US18/515,891 patent/US12206865B2/en active Active
- 2023-11-29 AU AU2023274145A patent/AU2023274145B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101204094A (zh) * | 2005-04-15 | 2008-06-18 | Lg电子株式会社 | 可缩放地编码和解码视频信号的方法 |
CN101283600A (zh) * | 2005-10-05 | 2008-10-08 | 松下电器产业株式会社 | 参考图像选择方法以及装置 |
CN102055977A (zh) * | 2009-11-06 | 2011-05-11 | 三星电子株式会社 | 使用多个参考帧的快速运动估计方法 |
Non-Patent Citations (1)
Title |
---|
WD2: Working Draft 2 of High-Efficiency Video Coding;Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm;《Joint Collaborative Team on Video Coding (JCT-VC)》;20110415;全文 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106231321B (zh) | 解码方法和解码设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |