[go: up one dir, main page]

CN103200400B - 一种图像层和分片层的编解码方法、编解码器和电子设备 - Google Patents

一种图像层和分片层的编解码方法、编解码器和电子设备 Download PDF

Info

Publication number
CN103200400B
CN103200400B CN201210004194.3A CN201210004194A CN103200400B CN 103200400 B CN103200400 B CN 103200400B CN 201210004194 A CN201210004194 A CN 201210004194A CN 103200400 B CN103200400 B CN 103200400B
Authority
CN
China
Prior art keywords
image
clf
cip
layer
aps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210004194.3A
Other languages
English (en)
Other versions
CN103200400A (zh
Inventor
李明
吴平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201210004194.3A priority Critical patent/CN103200400B/zh
Priority to PCT/CN2012/083941 priority patent/WO2013104205A1/zh
Priority to US14/650,942 priority patent/US10547851B2/en
Publication of CN103200400A publication Critical patent/CN103200400A/zh
Application granted granted Critical
Publication of CN103200400B publication Critical patent/CN103200400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种图像层和分片层的编解码方法、编解码器和电子设备，方法包括：编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式(CLF)和/或受限帧内预测模式(CIP)控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；根据所选CLF和/或CIP控制方式，在图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位；解码器解析分片层头信息码流、及图像层参数集和/或分片层参数集，根据获得的CLF和/或CIP控制标志位，采用相应CLF和/或CIP控制方式对图像和分片解码。通过本发明，能够获得编码效率与抗误码性能之间较好的折衷。

Description

一种图像层和分片层的编解码方法、编解码器和电子设备
技术领域
本发明涉及视频压缩编码技术，尤其涉及一种图像层和分片层的编解码方法、编解码器和电子设备。
背景技术
在视频通信中，为提高视频编码码流的抗误码能力，编码器在编码过程中通常使用抗误码编码工具，以降低当前编码单元与已编码单元之间的相互影响，从而使得在接收端若某编码单元的相关码流出错时，仍存在较大的可能性使用已有数据对其进行掩盖，并且尽可能降低该编码单元的数据对后续编码单元解码的影响。
目前，高性能视频编码标准(HEVC，High-Efficiency Video Coding)使用将图像划分成一个或多个分片(slice)的方法，以满足网络传输单元对载荷比特数的限制条件。同时，由于分片边界“打断”了图像内空间相邻块之间的相互预测关系，因此，分片可用于提高图像抗误码性能，但却降低了编码效率。
为了在抗误码性能和编码效率之间取得折衷，HEVC使用受限环路滤波模式(CLF，Constrained Loop Filter)限制环路滤波器(LF，Loop Filter)是否使用当前分片边界外的像素点对当前分片内像素点进行滤波。HEVC使用序列参数集(SPS，Sequence ParameterSet)中的标志位loop_filter_across_slice_flag控制序列编码过程中的LF是否可以越过分片边界。其中，LF包括去方块滤波器(DF，Deblocking Filter)、像素点自适应加性偏移补偿滤波器(SAO，Sample Adaptive Offset)、自适应环路滤波器(ALF，Adaptive LoopFilter)等。
通常，编码器使用帧内预测编码块对图像进行局部刷新的方法抑制帧间误码扩散(Error Propagation)，并且可通过使用受限帧内预测模式(CIP，Constrained IntraPrediction)进一步控制刷新块是否使用来自可能受到误码扩散影响的相邻帧间预测编码块参考像素点进行帧内预测编码。HEVC使用图像参数集(PPS，Picture Parameter Set)的标志位constrained_intra_pred_flag控制图像编码过程中是否使用CIP。
现有方法主要存在以下局限性：
一、序列编码前，编码器可根据从系统获取的网络传输状态(如拥塞、无线信道的比特误码率、有线网络的丢包率等)，确定是否允许LF越过分片边界，设置SPS中的标志位loop_filter_across_slice_flag。若序列编码过程中网络传输状态发生变化，编码器不能灵活更改LF是否越过分片边界的编码策略。若采取保守策略将loop_filter_across_slice_flag始终设置为0(即始终不允许LF越过分片边界)，则在网络传输状态较好的情况下无法充分利用LF提高编码效率。
二、在现有HEVC下，编码器只能通过插入即时刷新帧(IDR，InstantaneousDecoding Refresh)的方法，重新初始化SPS以更改参数设置，在抗误码性能和编码效率之间取得折衷。但新插入的IDR帧及其后续编码帧往往会带来编码码率的激增，这进一步增加了网络传输的压力。
三、编码器可使用PPS对一幅图像或一个时间段内多幅图像的编码过程进行控制，但无法对图像中的分片进行区分控制。当根据反馈信息可确定不同分片受到帧间误码扩散影响程度不同时，无法对图像中的不同分片使用不同的刷新块编码控制策略。
四、根据分片所包含的图像内容特性的不同，帧间误码扩散对解码恢复图像的局部影响不同。因此，即使在整幅图像中使用帧间预测的编码块受帧间误码扩散影响(恢复误差)相同或相近的情况下，使用HEVC现有控制方法，编码器也无法对图像中的分片进行区分控制，以获得较好的编码效率与抗误码性能之间的折衷。
介于现有技术存在的上述局限性，现有技术的编解码方法无法获得编码效率与抗误码性能之间较好的折衷。
发明内容
有鉴于此，本发明的主要目的在于提供一种图像层和分片层的编解码方法、编解码器和电子设备，以获得编码效率与抗误码性能之间较好的折衷。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种图像层和分片层的编码方法，该方法包括：
编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF或受限帧内预测模式CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；
所述编码器根据所选的CLF或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF或CIP控制标志位。
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
所述在图像层参数集和分片层参数集中编码CLF或CIP控制标志位，包括：
在PPS中编码CLF和CIP控制标志位；
或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；
或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；
或者，在APS中编码CLF和CIP控制标志位。
所述网络传输状态包括以下至少之一：端到端时延、有线网络传输的丢包率、无线网络传输的误码率。
所述视频内容特性包括以下至少之一：纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。
该方法进一步包括：
所述编码器根据网络传输状态和视频内容特性，估计不同CLF或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF或CIP控制方式。
所述图像受误码影响程度包括以下至少之一：图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；
相应的，确定CLF或CIP控制方式的方法为：端到端率失真优化判决方法。
本发明还提供了一种图像层和分片层的编码器，包括：
控制方式选择模块，用于根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF或受限帧内预测模式CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；
标志位编码模块，用于根据所选的CLF或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF或CIP控制标志位。
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
所述在图像层参数集和分片层参数集中编码CLF或CIP控制标志位，包括：
在PPS中编码CLF和CIP控制标志位；
或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；
或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；
或者，在APS中编码CLF和CIP控制标志位。
所述网络传输状态包括以下至少之一：端到端时延、有线网络传输的丢包率、无线网络传输的误码率。
所述视频内容特性包括以下至少之一：纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。
所述控制方式选择模块进一步用于，根据网络传输状态和视频内容特性，估计不同CLF或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF或CIP控制方式。
所述图像受误码影响程度包括以下至少之一：图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；
相应的，确定CLF或CIP控制方式的方法为：端到端率失真优化判决方法。
本发明还提供了一种图像层和分片层的解码方法，该方法包括：
解码器解析分片层头信息码流、以及图像层参数集或分片层参数集，获得CLF或CIP控制标志位；
所述解码器根据所获得的CLF或CIP控制标志位，采用相应的CLF或CIP控制方式对图像和分片进行解码。
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
该方法进一步包括：
解析所述PPS获得CLF和CIP控制标志位；
或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位；
或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位；
或者，解析所述APS获得CLF和CIP控制标志位。
所述采用相应的CLF或CIP控制方式对图像和分片进行解码，包括：
按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
本发明还提供了一种图像层和分片层的解码器，包括：
标志位获取模块，用于解析分片层头信息码流、以及图像层参数集或分片层参数集，获得CLF或CIP控制标志位；
解码模块，用于根据所获得的CLF或CIP控制标志位，采用相应的CLF或CIP控制方式对图像和分片进行解码。
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
所述标志位获取模块进一步用于，
解析所述PPS获得CLF和CIP控制标志位；
或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位；
或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位；
或者，解析所述APS获得CLF和CIP控制标志位。
所述解码模块进一步用于，按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
本发明还提供了一种电子设备，所述电子设备包括上述的编码器和解码器。
本发明所提供的一种图像层和分片层的编解码方法、编解码器和电子设备，在图像层参数集和分片层参数集编码CLF和CIP控制标志位；编码器可根据实际应用要求，自适应地为以下三种对象之一选用不同的CLF或CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；在利用CLF、CIP提高编码码流抗误码性能的同时，兼顾LF和帧内预测的编码效率，以获得编码效率与抗误码性能之间较好的折衷。本发明的有益效果具体体现在以下几个方面：
一、在图像层或分片层参数集中编码CLF控制标志位，借助于参数集引用的控制范围限制，允许在图像层或分片层设置CLF控制标志位，进而使得编码器能够根据实际应用要求，自适应地为不同图像序列、或同一图像序列中不同时段内的图像、或同一图像中的不同分片选择CLF控制方式。
二、使用本发明方法，在改变CLF控制方式时，不需要重新编码、发送SPS。因此，在CLF控制方式改变时，不需要重新发送IDR帧使解码器重新根据SPS初始化解码器参数配置。因此，降低了IDR帧的全I块编码所带来的码率激增，缓解了网络传输压力。
三、本发明允许在分片层参数集中编码CLF或CIP控制标志位，借助于参数集引用的控制范围限制，允许在分片层设置CLF或CIP控制标志位，进而使得编码器能够根据实际应用要求，自适应地为同一图像中的不同分片选择CLF或CIP控制方式，从而在编码效率和抗误码性能之间实现更精细地抗误码工具控制。
四、在第三项所述的基础上，可以为抗误码工具的使用设计更加精细的优化控制方法，从而根据分片本身的信源特性、分片对编码效率的影响、分片受误码影响程度及对后续编码分片的影响等因素，对图像中的不同分片所使用的抗误码工具及其控制参数、配置参数进行区分控制，从而在编码效率和抗误码性能之间取得更好的折衷。
附图说明
图1a为本发明一种图像层和分片层的编码方法的流程图；
图1b为本发明一种图像层和分片层的解码方法的流程图；
图2为本发明实施例一的解码方法的流程图；
图3为本发明实施例一的编码方法的流程图；
图4为本发明实施例二的解码方法的流程图；
图5为本发明实施例二的编码方法的流程图；
图6为本发明实施例三的解码方法的流程图；
图7为本发明实施例三的编码方法的流程图；
图8为本发明实施例四的解码方法的流程图；
图9为本发明实施例四的编码方法的流程图；
图10为本发明一种图像层和分片层的编码器的组成结构示意图；
图11为本发明一种图像层和分片层的解码器的组成结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
本发明提供的一种图像层和分片层的编解码方法，旨在获得编码效率与抗误码性能之间较好的折衷，主要体现为以下几方面：
一、编码效率的提高需要尽可能多地利用图像、分片、编码块的空间域相关性和时域相关性，去除单视点视频信号中存在的空间域冗余和时域冗余。具体表现为编码器使用相邻编码单元的编码信息对当前编码单元进行预测编码。
二、编码端抗误码性能的提高需要在视频编码过程中保留空间域冗余和/或时间域冗余信息，以在误码影响下，解码器仍可通过上述冗余信息恢复受误码影响而无法正确解码的图像内容。另一个方面，抗误码性能的提高可通过编码过程中限制空间域和/或时间域相邻编码单元的已有编码信息用作当前编码单元编码过程的预测参考，降低当前编码单元受误码扩散影响的程度。
三、编码器在编码过程中，需要综合编码效率和抗误码性能两个方面对信宿端接收视频解码恢复质量的影响，在“去冗余以提高编码效率”和“留冗余以提高抗误码性能”之间取得合理的平衡点，即编码效率与抗误码性能之间的折衷。
由此，本发明提供的一种图像层和分片层的编码方法，如图1a所示，主要包括：
步骤101，编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的CLF或CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片。
编码器根据网络传输状态和视频内容特性，估计不同CLF或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF或CIP控制方式。
其中，图像受误码影响程度包括以下至少之一：图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；
相应的，确定CLF或CIP控制方式的方法为：端到端率失真优化判决方法。
所述网络传输状态包括以下至少之一：端到端时延、有线网络传输的丢包率、无线网络传输的误码率等等。
所述视频内容特性包括以下至少之一：纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域等等。
步骤102，编码器根据所选的CLF或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF或CIP控制标志位。
其中，图像层参数集包括图像参数集(PPS)、适配参数集(APS)；分片层参数集包括APS。
作为本发明的较佳实施方式，可以在PPS中编码CLF和CIP控制标志位；
或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；
或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；
或者，在APS中编码CLF和CIP控制标志位。
本发明提供的一种图像层和分片层的解码方法，如图1b所示，主要包括：
步骤103，解码器解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF或CIP控制标志位。
其中，图像层参数集包括PPS、APS；分片层参数集包括APS。
步骤104，解码器根据所获得的CLF或CIP控制标志位，采用相应的CLF或CIP控制方式对图像和分片进行解码。
所述采用相应的CLF或CIP控制方式对图像和分片进行解码，包括：按照CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照CIP控制方式设置帧内预测过程中参考像素点的可用性。
对应上述的编码方式，如果是在PPS中编码CLF和CIP控制标志位，那么通过解析PPS获得CLF和CIP控制标志位；
如果是在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位，那么通过解析PPS获得CLF控制标志位，解析APS获得CIP控制标志位；
如果是在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位，那么通过解析PPS获得CIP控制标志位，解析APS获得CLF控制标志位；
如果是在APS中编码CLF和CIP控制标志位，那么通过解析APS获得CLF和CIP控制标志位。
下面结合具体实施例对本发明的图像层和分片层的编解码方法进一步详细阐述。
本发明实施例所述的编码器实现方法可针对单幅图像使用，也可针对某个时间区间内的连续多幅图像使用(包括针对整个图像序列使用)。在后者应用情况下，编码器可使用本实施例中所述对误码影响的评估方法获得该时间区间内连续多幅图像在受到误码影响下的解码恢复图像质量以及对该时间区间后图像的编码质量，进而为该时间区间内的图像确定整体的CIP、CLF控制方法。
实施例一：
本发明的实施例一所使用的SPS码流组织方式如下表1所示：
表1
在上述表1所示的SPS码流组织方式中，删除线表示SPS码流组织方式中删除了标志位loop_filter_across_slice_flag。
本实施例所使用的PPS码流组织方式如下表2所示：
表2
在上述表2中，增设的loop_filter_not_across_slice_flag用于标识图像解码过程中，是否允许环路滤波器(DF、SAO和ALF)使用图像中除当前解码分片外的其它分片的像素点作为滤波器的输入像素点。该标志位的取值为1时，在引用该PPS的图像解码过程中，环路滤波器不使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点；该标志位的取值为0时，在引用该PPS的图像解码过程中，环路滤波器可以使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点。
constrained_intra_pred_flag用于标识图像解码过程中，是否允许使用帧间预测编码块中的恢复像素点作为当前帧内预测编码块的预测参考像素点。该标志位的取值为1时，在引用该PPS的图像解码过程中，帧内预测编码块不使用帧间预测编码块中的恢复像素点作为帧内预测参考像素点；该标志位取值为0时，在引用该PPS的图像解码过程中，帧内预测编码块可以使用帧间预测编码块中的恢复像素点作为帧内预测参考像素点。该标志位的默认取值为0。
使用本实施例的解码方法如图2所示，主要包括：
步骤201，解码器读入分片层头信息码流，使用ue(v)对应的解码方法得到当前分片所引用PPS的标识序号。ue(v)对应的解码方法为现有技术，此处不再赘述。
步骤202，解码器解析步骤201中得到的PPS的标识序号，在接收码流中查找到该PPS的码流。使用u(1)对应的解码方法分别获得PPS的码流中constrained_intra_pred_flag和loop_filter_not_across_slice_flag的取值。u(1)对应的解码方法为现有技术，此处不再赘述。
其中，constrained_intra_pred_flag为CIP控制标志位，loop_filter_not_across_slice_flag为CLF控制标志位。
步骤203，解码器判断constrained_intra_pred_flag的取值是否为1，若是，执行步骤204；否则，执行步骤205。
步骤204，解码器初始化帧内预测编码块的像素点可用性判断模块。对于图像中的每个分片，将来自于当前分片的帧间预测编码块的帧内预测参考像素点标记为“不可用作帧内预测参考”。执行步骤206。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤205，解码器初始化帧内预测编码块的像素点可用性判断模块。对于图像中的每个分片，将来自于当前分片的帧间预测编码块的帧内预测参考像素点标记为“可以用作帧内预测参考”。执行步骤206。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤206，解码器判断loop_filter_not_across_slice_flag的取值是否为1，若是，执行步骤207；否则，执行步骤208。
步骤207，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中非当前分片中的解码恢复像素点标记为“不可用作该分片解码过程中环路滤波器的输入像素点”。执行步骤209。
步骤208，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中的解码恢复像素点均标记为“可以用作解码过程中环路滤波器的输入像素点”。执行步骤209。
步骤209，解码器继续解析分片层的其它信息，对当前图像进行解码。
需要说明的是，本实施例中对constrained_intra_pred_flag和loop_filter_not_across_slice_flag取值的判断顺序是按照表2所示PPS码流组织方式中各标志位的排列顺序来进行的。
使用本实施例的PPS码流组织方式的编码器的编码过程如图3所示，主要包括：
步骤301，编码器获取网络传输状态。
所述网络传输状态可以包括以下参数中的至少之一：端到端时延、有线网络传输的丢包率、无线网络传输的误码率等等。
包含有所述编码器的发送端可以使用常用的网络状态测量方法获得当前的网络传输状态，并将获得的状态参数传递给编码器。
步骤302，编码器估计当前图像受误码影响程度。
编码器根据所获得的网络传输状态、视频预测编码结构和视频内容特性，对当前编码图像出现误码的情况进行模拟，并评估误码对当前图像解码恢复质量的影响以及对后续解码图像质量的影响，反映当前图像的重要程度。
常用方法如：假设图像中某个编码单元因误码而无法正确解码，编码器模拟解码端采用的误码掩盖(Error Concealment)方法对该编码单元进行掩盖，并使用概率统计的方法估计该编码单元的端到端失真(包含有损压缩编码失真和误码掩盖失真)，度量当前编码单元受误码影响程度。编码器根据视频编码预测结构，使用现有递归计算的方法(如ROPE算法)估计当前编码单元受误码影响后对后续图像的解码质量的影响，并以端到端失真的数值进行度量。编码器通过评估端到端失真，估计图像都误码影响后对当前图像及后续编码图像的影响程度。
步骤303，编码器评估帧内刷新块对当前编码质量的影响及图像重要性参数，确定CIP的控制方式。
编码器根据所获得的网络传输状态、视频预测编码结构和视频内容特性，对当前编码图像出现误码的情况进行模拟。
编码器使用现有的帧内刷新块的不同应用方式对当前图像进行刷新，并评估误码对当前图像解码恢复质量的影响以及对后续解码图像质量的影响。
所述帧内刷新块的应用方式可以有：按照帧内刷新块在图像中所占百分比进行随机刷新；按照帧内块在图像中的数量进行随机刷新；使用固定刷新模式的帧内刷新(如逐行刷新、逐列刷新、逐分片刷新、棋盘式刷新等等)等等。
编码器可进一步根据步骤302中确定的图像重要程度，确定刷新模式的应用参数，如帧内刷新块在图像中所占百分比。
编码器根据模拟过程得到的对误码影响的评估参数(如端到端失真、端到端失真的下降程度等)、使用CIP模式进行帧内刷新所带来的码率增加情况等参数，使用现有判决方法(如端到端率失真优化判决方法)确定当前图像是否使用CIP。
步骤304，编码器评估环路滤波对当前图像编码质量的影响及图像重要性参数，确定CLF的控制方式。
所述编码器根据所获得的网络传输状态、视频预测编码结构和视频内容特性，对当前编码图像出现误码的情况进行模拟。
所述编码器可分别在CLF模式开启和关闭条件下，使用现有度量方法(如端到端失真)评估当前图像受误码影响的程度及其对后续编码图像质量的影响程度。
所述编码器可进一步根据步骤302中确定的图像重要程度，确定模拟过程中使用的滤波器参数，如滤波强度、滤波器阶数、滤波器形状等。
所述编码器根据模拟过程得到的对误码影响的评估参数(如端到端失真、端到端失真的下降程度等)、使用CLF模式进行环路滤波所带来的码率增加情况等参数，使用现有判决方法(如端到端率失真优化判决方法)确定当前图像是否使用CLF。
步骤305，编码器根据CIP、CLF的控制方式确定图像中分片所使用的PPS。
步骤306，编码器根据确定的PPS对图像进行编码。
本实施例的解码器可正确解码该编码器生成的码流。
实施例二：
本实施例所使用的SPS码流组织方式与实施例一中的表1相同。
本实施例所使用的PPS码流组织方式如下表3中所示：
表3
在上述表3中，删除线表示PPS码流组织方式中删除了标志位constrained_intra_pred_flag。增设的loop_filter_not_across_slice_flag用于标识图像解码过程中，是否允许环路滤波器(DF、SAO和ALF)使用图像中除当前解码分片外的其它分片的像素点作为滤波器的输入像素点。该标志位的取值为1时，在引用该PPS的图像解码过程中，环路滤波器不使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点；该标志位的取值为0时，在引用该PPS的图像解码过程中，环路滤波器可以使用图像中除当前解码分片外的其他分片中包含的像素点作为滤波器的输入像素点。
本实施例所使用的APS码流组织方式如下表4中所示：
表4
在上述表4中，增设的aps_constrained_intra_pred_flag用于标识分片解码过程中，是否允许使用帧间预测编码块中的恢复像素点作为当前帧内预测编码块的预测参考像素点。该标志位的取值为1时，在引用该APS的分片解码过程中，帧内预测编码块不使用帧间预测编码块中的恢复像素点作为帧内预测参考像素点；该标志位取值为0时，在引用该APS的分片解码过程中，帧内预测编码块可以使用帧间预测编码块中的恢复像素点作为帧内预测参考像素点。该标志位的默认取值为0。
使用本实施例的解码方法如图4所示，主要包括：
步骤401，解码器读入分片层头信息码流，使用ue(v)对应的解码方法得到当前分片所引用PPS的标识序号。
步骤402，解码器解析步骤401中得到的PPS的标识序号，在接收码流中查找到该PPS的码流。使用u(1)对应的解码方法获得PPS的码流中loop_filter_not_across_slice_flag的取值。
步骤403，解码器判断loop_filter_not_across_slice_flag的取值是否为1，若是，执行步骤404；否则，执行步骤405。
步骤404，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中非当前分片中的解码恢复像素点标记为“不可用作该分片解码过程中环路滤波器的输入像素点”。执行步骤406。
步骤405，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中的解码恢复像素点均标记为“可以用作解码过程中环路滤波器的输入像素点”。执行步骤406。
步骤406，解码器使用ue(v)对应的解码方法分别得到当前分片所引用的APS的标识序号，解析APS的标识序号，在接收码流中查找到该APS的码流，确定APS的码流中aps_constrained_intra_pred_flag的取值。
解码器检测到当前分片不引用APS时，aps_constrained_intra_pred_flag的取值置为0。
解码器检测到当前分片中仅包含一个APS的标识序号时，解码器解析该APS的标识序号，在接收码流中查找到该APS的码流，进而使用u(1)对应的解码方法得到aps_constrained_intra_pred_flag的取值。
所述解码器检测到当前分片中包含多个APS的标识序号时，解码器使用ue(v)对应的解码方法分别得到各APS的标识序号，在接收码流中查找到所引用APS的码流，进而使用多APS码流解析方法得到aps_constrained_intra_pred_flag的取值。
步骤407，解码器判断aps_constrained_intra_pred_flag的取值是否为1，若是，执行步骤408；否则，执行步骤409。
步骤408，解码器初始化帧内预测编码块的像素点可用性判断模块，将来自于当前分片帧间预测编码块的帧内预测参考像素点标记为“不可用作帧内预测参考”。执行步骤410。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤409，解码器初始化帧内预测编码块的像素点可用性判断模块，将来自于当前分片帧间预测编码块的帧内预测参考像素点标记为“可以用作帧内预测参考”。执行步骤410。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤410，解码器继续解析分片层的其它信息，对当前图像进行解码。
使用本实施例的PPS和APS码流组织方式的编码器的编码过程如图5所示，主要包括：
步骤501，与步骤301相同。
步骤502，与步骤302相同。
步骤503，与步骤304相同。
步骤504，编码器根据CLF的控制方式确定图像中分片所使用的PPS。
步骤505，编码器判断当前图像中是否存在待分析的分片，若是，执行步骤506；否则，执行步骤508。
步骤506，编码器评估帧内刷新块对当前分片的影响及分片重要性参数，确定CIP的控制方式。
编码器根据所获得的网络传输状态、视频预测编码结构和视频内容特性，对当前编码分片出现误码的情况进行模拟。
编码器使用现有的帧内刷新块的不同应用方式对当前分片进行刷新，并评估误码对当前图像解码恢复质量的影响以及对后续解码图像质量的影响。
所述帧内刷新块的应用方式可以为：按照帧内刷新块在分片中所占百分比进行随机刷新；按照帧内刷新块在分片中的数量进行随机刷新；使用固定刷新模式的帧内刷新(如棋盘式刷新等)等。
编码器可进一步根据步骤502中确定的图像重要程度，确定刷新模式的应用参数，如帧内刷新块在分片中所占百分比。
编码器根据模拟过程得到的对误码影响的评估参数(如端到端失真、端到端失真的下降程度等)、使用CIP模式进行帧内刷新所带来的码率增加情况等参数，使用现有判决方法(如端到端率失真优化判决方法)确定当前分片是否使用CIP。
步骤507，编码器根据CIP的控制方式确定图像中分片所使用的APS。返回步骤505，对其他待分析的分片执行步骤505～507的操作；直到图像中所有待分析的分片都执行完步骤505～507后，执行步骤508。
步骤508，编码器根据确定的PPS和APS对当前图像进行编码。
本实施例解码器可正确解码该编码器生成的码流。
实施例三：
本实施例所使用的SPS码流组织方式与实施例一中的表1相同。
本实施例所使用的PPS码流组织方式与HEVC中现有方法相同，如下表5所示：
表5
本实施例所使用的APS码流组织方式如下表6中所示：
表6
在上述表6中，增设的aps_loop_filter_not_across_slice_flag用于标识分片解码过程中，是否允许环路滤波器(DF、SAO和ALF)使用图像中其它分片的像素点作为滤波器的输入像素点。该标志位的取值为1时，在引用该APS的图像解码过程中，环路滤波器不使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点；该标志位的取值为0时，在引用该APS的图像解码过程中，环路滤波器可以使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点。
使用本实施例的解码方法流程如图6所示，主要包括：
步骤601，解码器读入分片层头信息码流，使用ue(v)对应的解码方法得到当前分片所引用PPS的标识序号。
步骤602，解码器解析步骤601中得到的PPS的标识序号，在接收码流中查找到该PPS的码流。使用u(1)对应的解码方法获得PPS的码流中constrained_intra_pred_flag的取值。
步骤603，解码器判断constrained_intra_pred_flag的取值是否为1，若是，执行步骤604；否则，执行步骤605。
步骤604，解码器初始化帧内预测编码块的像素点可用性判断模块。对于图像中的每个分片，将来当前分片的帧间预测编码块的帧内预测参考像素点标记为“不可用作帧内预测参考”。执行步骤606。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤605，解码器初始化帧内预测编码块的像素点可用性判断模块。对于图像中的每个分片，将来自于每个分片的帧间预测编码块的帧内预测参考像素点标记为“可以用作帧内预测参考”。执行步骤606。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤606，解码器使用ue(v)对应的解码方法得到当前分片所引用的APS的标识序号，解析APS的标识序号，在接收码流中查找到该APS的码流，并确定APS的码流中aps_loop_filter_not_across_slice_flag的取值。
解码器检测到当前分片不引用APS时，aps_loop_filter_not_across_slice_flag的取值置为0。
解码器检测到当前分片中仅包含一个APS的标识序号时，解码器解析该APS的标识序号，在接收码流中查找到该APS的码流，进而使用u(1)对应的解码方法得到aps_loop_filter_not_across_slice_flag的取值。
解码器检测到当前分片中包含多个APS的标识序号时，解码器使用ue(v)对应的解码方法分别得到各APS的标识序号，在接收码流中查找到所引用的APS的码流，进而使用多APS码流解析方法得到aps_loop_filter_not_across_slice_flag的取值。
步骤607，解码器判断aps_loop_filter_not_across_slice_flag的取值是否为1，若是，执行步骤608；否则，执行步骤609。
步骤608，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块。将图像中非当前分片中的解码恢复像素点标记为“不可用作该分片解码过程中环路滤波器的输入像素点。执行步骤610。
步骤609，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中的解码恢复像素点均标记为“可以用作解码过程中环路滤波器的输入像素点”。执行步骤610。
步骤610，解码器继续解析分片层的其它信息，对当前图像进行解码。
使用本实施例的PPS和APS码流组织方式的编码器的编码过程如图7所示，主要包括：
步骤701，与步骤301相同。
步骤702，与步骤302相同。
步骤703，与步骤303相同。
步骤704，编码器根据CIP的控制方式确定图像中分片所使用的PPS。
步骤705，编码器判断当前图像中是否存在待分析的分片，若是，执行步骤706；否则，执行步骤708。
步骤706，编码器评估环路滤波对当前分片的影响及分片重要性参数，确定CLF的控制方式。
编码器根据所获得的网络传输状态、视频预测编码结构和视频内容特性，对当前编码分片出现误码的情况进行模拟。
编码器可分别在CLF模式开启和关闭条件下，使用现有度量方法(如端到端失真)评估当前分片受误码影响的程度及其对后续编码图像质量的影响程度。
编码器可进一步根据步骤302中确定的图像重要程度，确定模拟过程中使用的滤波器参数，如滤波强度、滤波器阶数、滤波器形状等。
编码器根据模拟过程得到的对误码影响的评估参数(如端到端失真、端到端失真的下降程度等)、使用CLF模式进行环路滤波所带来的码率增加情况等参数，使用现有判决方法(如端到端率失真优化判决方法)确定当前分片是否使用CLF。
步骤707，编码器根据CLF的控制方式确定图像中分片所使用的APS。返回步骤705，对其他待分析的分片执行步骤705～707的操作；直到图像中所有待分析的分片都执行完步骤705～707后，执行步骤708。
步骤708，编码器根据确定的PPS和APS对当前图像进行编码。
本实施例解码器可正确解码该编码器生成的码流。
实施例四：
本实施例所使用的SPS码流组织方式与实施例一中的表1相同。
本实施例所使用的PPS码流组织方式如下表7中所示：
表7
在上述表7中，删除线表示删除PPS码流组织方式中的标志位constrained_intra_pred_flag。
本实施例所使用的APS码流组织方式如下表8中所示：
表8
在上述表8中，增设的aps_constrained_intra_pred_flag用于标识分片解码过程中，是否允许使用帧间预测编码块中的恢复像素点作为当前帧内预测编码块的预测参考像素点。该标志位的取值为1时，在引用该APS的分片解码过程中，帧内预测编码块不使用帧间预测编码块中的恢复像素点作为帧内预测参考像素点；该标志位取值为0时，在引用该APS的分片解码过程中，帧内预测编码块可以使用帧间预测编码块中的恢复像素点作为帧内预测参考像素点。该标志位的默认取值为0。
增设的aps_loop_filter_not_across_slice_flag用于标识分片解码过程中，是否允许环路滤波器(DF、SAO和ALF)使用图像中其它分片的像素点作为滤波器的输入像素点。该标志位的取值为1时，在引用该APS的图像解码过程中，环路滤波器不使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点；该标志位的取值为0时，在引用该APS的图像解码过程中，环路滤波器可以使用图像中除当前解码分片外的其它分片中包含的像素点作为滤波器的输入像素点。
使用本实施例的解码方法流程如图8所示，主要包括：
步骤801，解码器读入分片层头信息码流。
步骤802，解码器使用ue(v)对应的解码方法得到所引用APS的标识序号，在接收码流中查找到APS的码流，并确定APS的码流中aps_constrained_intra_pred_flag和aps_loop_filter_not_across_slice_flag的取值。
解码器检测到当前分片不引用APS时，aps_constrained_intra_pred_flag的取值置为0，aps_loop_filter_not_across_slice_flag的取值为0。
解码器检测到当前分片中仅包含一个APS的标识序号时，解码器解析该APS的标识序号，在接收码流中查找到该APS的码流，进而使用u(1)对应的解码方法分别得到aps_constrained_intra_pred_flag和aps_loop_filter_not_across_slice_flag的取值。
解码器检测到当前分片中包含多个APS的标识序号时，解码器使用ue(v)对应的解码方法分别得到各APS的标识序号，在接收码流中查找到所引用的APS的码流，进而使用多APS码流解析方法分别得到aps_constrained_intra_pred_flag和aps_loop_filter_not_across_slice_flag的取值。
步骤803，解码器判断aps_constrained_intra_pred_flag的取值是否为1，若是，执行步骤804；否则，执行步骤805。
步骤804，解码器初始化帧内预测编码块的像素点可用性判断模块，将来自于当前分片帧间预测编码块的帧内预测参考像素点标记为“不可用作帧内预测参考”。执行步骤806。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤805，解码器初始化帧内预测编码块的像素点可用性判断模块，将来自于当前分片帧间预测编码块的帧内预测参考像素点标记为“可以用作帧内预测参考”执行步骤806。
另外，来自于当前分片本身固有的限制条件为：将来自于其他分片的帧内预测参考像素点标记为“不可用作帧内预测参考”。
步骤806，解码器判断aps_loop_filter_not_across_slice_flag的取值是否为1，若是，执行步骤807；否则，执行步骤808。
步骤807，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中除当前分片外的其它分片中的解码恢复像素点标记为“不可用作该分片解码过程中环路滤波器的输入像素点。执行步骤809。
步骤808，解码器初始化环路滤波器(DF、SAO和ALF)的输入像素点可用性判断模块，将图像中的解码恢复像素点均标记为“可以用作解码过程中环路滤波器的输入像素点”。执行步骤809。
步骤809，解码器继续解析分片层的其它信息，对当前分片进行解码。
使用本实施例的APS码流组织方式的编码器的编码过程如图9所示，主要包括：
步骤901，与步骤301相同。
步骤902，与步骤302相同。
步骤903，编码器判断图像中是否存在待分析的分片，若是，执行步骤904；否则，执行步骤907。
步骤904，与实施例二中编码器实施例的步骤506相同。
步骤905，与实施例三中编码器实施例的步骤706相同。
步骤906，编码器根据CIP和CLF的控制方式确定图像中分片所使用的APS。随后执行步骤903，对其他待分析的分片执行步骤903～906的操作；直到图像中所有待分析的分片都执行完步骤903～906后，执行步骤907。
步骤907，编码器根据确定的APS对图像进行编码。
本实施例解码器可正确解码该编码器生成的码流。
对应本发明的图像层和分片层的编码方法，本发明还提供了一种图像层和分片层的编码器，如图10所示，包括：控制方式选择模块10和标志位编码模块20。
其中，控制方式选择模块10，用于根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的CLF或CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；具体的，可以根据网络传输状态和视频内容特性，估计不同CLF或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF或CIP控制方式。
标志位编码模块20，用于根据所选的CLF或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF或CIP控制标志位。
对应本发明的图像层和分片层的解码方法，本发明还提供了一种图像层和分片层的解码器，如图11所示，包括：标志位获取模块30和解码模块40。
其中，标志位获取模块30，用于解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF或CIP控制标志位；
解码模块40，用于根据所获得的CLF或CIP控制标志位，采用相应的CLF或CIP控制方式对图像和分片进行解码，包括：按照CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照CIP控制方式设置帧内预测过程中参考像素点的可用性。
较佳的，标志位获取模块30还可进一步用于，解析PPS获得CLF和CIP控制标志位；
或者，解析PPS获得CLF控制标志位，解析APS获得CIP控制标志位；
或者，解析PPS获得CIP控制标志位，解析APS获得CLF控制标志位；
或者，解析APS获得CLF和CIP控制标志位。
另外，本发明还提供一种电子设备，包括图10所示的编码器，以本发明的编码方法对原始输入视频信号进行编码，并输出编码码流；还包括图11所示的解码器，以本发明的解码方法对码流进行解码，并输出解码恢复视频信号。
本发明的电子设备可以是视频通信应用中相关码流生成设备和接收播放设备，例如：手机、计算机、服务器、机顶盒、便携式移动终端、数字电视、数字摄像机等。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (19)

1.一种图像层和分片层的编码方法，其特征在于，该方法包括：
编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF或受限帧内预测模式CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；
所述编码器根据所选的CLF或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF或CIP控制标志位；
该方法进一步包括：所述编码器根据网络传输状态和视频内容特性，估计不同CLF或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF或CIP控制方式。
2.根据权利要求1所述图像层和分片层的编码方法，其特征在于，
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
3.根据权利要求2所述图像层和分片层的编码方法，其特征在于，所述在图像层参数集和分片层参数集中编码CLF或CIP控制标志位，包括：
在PPS中编码CLF和CIP控制标志位；
或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；
或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；
或者，在APS中编码CLF和CIP控制标志位。
4.根据权利要求1、2或3所述图像层和分片层的编码方法，其特征在于，所述网络传输状态包括以下至少之一：端到端时延、有线网络传输的丢包率、无线网络传输的误码率。
5.根据权利要求1、2或3所述图像层和分片层的编码方法，其特征在于，所述视频内容特性包括以下至少之一：纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。
6.根据权利要求1、2或3所述图像层和分片层的编码方法，其特征在于，所述图像受误码影响程度包括以下至少之一：图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；
相应的，确定CLF或CIP控制方式的方法为：端到端率失真优化判决方法。
7.一种图像层和分片层的编码器，其特征在于，包括：
控制方式选择模块，用于根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF或受限帧内预测模式CIP控制方式：一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；
标志位编码模块，用于根据所选的CLF或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF或CIP控制标志位；
所述控制方式选择模块进一步用于，根据网络传输状态和视频内容特性，估计不同CLF或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF或CIP控制方式。
8.根据权利要求7所述图像层和分片层的编码器，其特征在于，所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
9.根据权利要求8所述图像层和分片层的编码器，其特征在于，所述在图像层参数集和分片层参数集中编码CLF或CIP控制标志位，包括：
在PPS中编码CLF和CIP控制标志位；
或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；
或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；
或者，在APS中编码CLF和CIP控制标志位。
10.根据权利要求7、8或9所述图像层和分片层的编码器，其特征在于，所述网络传输状态包括以下至少之一：端到端时延、有线网络传输的丢包率、无线网络传输的误码率。
11.根据权利要求7、8或9所述图像层和分片层的编码器，其特征在于，所述视频内容特性包括以下至少之一：纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。
12.根据权利要求7、8或9所述图像层和分片层的编码器，其特征在于，所述图像受误码影响程度包括以下至少之一：图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；
相应的，确定CLF或CIP控制方式的方法为：端到端率失真优化判决方法。
13.一种图像层和分片层的解码方法，其特征在于，该方法包括：
解码器解析分片层头信息码流以及图像层参数集，或者，解析分片层头信息码流以及分片层参数集，获得受限环路滤波模式CLF或受限帧内预测模式CIP控制标志位；
所述解码器根据所获得的CLF或CIP控制标志位，采用相应的CLF或CIP控制方式对图像和分片进行解码；
所述采用相应的CLF或CIP控制方式对图像和分片进行解码，包括：
按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
14.根据权利要求13所述图像层和分片层的解码方法，其特征在于，
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
15.根据权利要求14所述图像层和分片层的解码方法，其特征在于，该方法进一步包括：
解析所述PPS获得CLF和CIP控制标志位；
或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位；
或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位；
或者，解析所述APS获得CLF和CIP控制标志位。
16.一种图像层和分片层的解码器，其特征在于，包括：
标志位获取模块，用于解析分片层头信息码流以及图像层参数集，或者，解析分片层头信息码流以及分片层参数集，获得受限环路滤波模式CLF或受限帧内预测模式CIP控制标志位；
解码模块，用于根据所获得的CLF或CIP控制标志位，采用相应的CLF或CIP控制方式对图像和分片进行解码；
所述解码模块进一步用于，按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
17.根据权利要求16所述图像层和分片层的解码器，其特征在于，
所述图像层参数集包括图像参数集PPS、适配参数集APS；所述分片层参数集包括APS。
18.根据权利要求17所述图像层和分片层的解码器，其特征在于，所述标志位获取模块进一步用于，
解析所述PPS获得CLF和CIP控制标志位；
或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位；
或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位；
或者，解析所述APS获得CLF和CIP控制标志位。
19.一种电子设备，其特征在于，所述电子设备包括权利要求7至12任一项所述的编码器和权利要求16至18任一项所述的解码器。
CN201210004194.3A 2012-01-09 2012-01-09 一种图像层和分片层的编解码方法、编解码器和电子设备 Active CN103200400B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210004194.3A CN103200400B (zh) 2012-01-09 2012-01-09 一种图像层和分片层的编解码方法、编解码器和电子设备
PCT/CN2012/083941 WO2013104205A1 (zh) 2012-01-09 2012-11-01 一种图像层和分片层的编解码方法、编解码器和电子设备
US14/650,942 US10547851B2 (en) 2012-01-09 2012-11-01 Method for decoding at picture and slice layer according to a constrained loop filter control flag

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210004194.3A CN103200400B (zh) 2012-01-09 2012-01-09 一种图像层和分片层的编解码方法、编解码器和电子设备

Publications (2)

Publication Number Publication Date
CN103200400A CN103200400A (zh) 2013-07-10
CN103200400B true CN103200400B (zh) 2018-03-16

Family

ID=48722741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210004194.3A Active CN103200400B (zh) 2012-01-09 2012-01-09 一种图像层和分片层的编解码方法、编解码器和电子设备

Country Status (3)

Country Link
US (1) US10547851B2 (zh)
CN (1) CN103200400B (zh)
WO (1) WO2013104205A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392209B (zh) * 2014-11-07 2017-09-29 长春理工大学 一种目标与背景的图像复杂度评价方法
CN104702963B (zh) * 2015-02-13 2017-11-24 北京大学 一种自适应环路滤波的边界处理方法及装置
US20180160113A1 (en) 2015-06-05 2018-06-07 Intellectual Discovery Co., Ltd. Method and device for encoding and decoding intra-frame prediction
CN106559671B (zh) * 2015-09-30 2019-08-23 展讯通信（上海）有限公司 一种显示图像压缩方法及系统
CN109788294B (zh) * 2018-12-27 2020-09-15 上海星地通讯工程研究所 云处理式解码机构
WO2020175893A1 (ko) * 2019-02-28 2020-09-03 엘지전자 주식회사 Aps 시그널링 기반 비디오 또는 영상 코딩
JP7402888B2 (ja) 2019-03-08 2023-12-21 中興通訊股▲ふん▼有限公司 デジタルビデオにおけるパラメータセットシグナリング
KR102491959B1 (ko) * 2019-03-11 2023-01-27 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
BR112021025753A2 (pt) * 2019-06-21 2022-02-22 Samsung Electronics Co Ltd Método de decodificação de vídeo, aparelho de decodificação de vídeo, e método de codificação de vídeo
EP4011068A4 (en) * 2019-08-06 2023-08-09 OP Solutions, LLC IMPLICIT SIGNALING OF ADAPTIVE RESOLUTION MANAGEMENT BASED ON FRAME TYPE
WO2021091255A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 영상/비디오 코딩을 위한 상위 레벨 신택스 시그널링 방법 및 장치
BR112022009619A2 (pt) * 2019-11-18 2022-08-02 Lg Electronics Inc Dispositivo de codificação de imagem e método para controlar filtragem em loop
TWI761166B (zh) * 2020-04-01 2022-04-11 聯發科技股份有限公司 圖像和視訊編解碼中發信切片分割資訊之方法和裝置
CN111898461B (zh) * 2020-07-08 2022-08-30 贵州大学 一种时序行为片段生成方法
CN114071162A (zh) * 2020-07-29 2022-02-18 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN111974081A (zh) * 2020-07-31 2020-11-24 湖北三江航天红阳机电有限公司 一种气凝胶胶液回收装置、方法、系统、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013580A1 (ja) * 2009-07-31 2011-02-03 ソニー株式会社 画像処理装置および方法
CN102118613A (zh) * 2009-12-31 2011-07-06 华为技术有限公司 视频解码和编码方法及装置、和直流系数预测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090129926A (ko) 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013580A1 (ja) * 2009-07-31 2011-02-03 ソニー株式会社 画像処理装置および方法
CN102118613A (zh) * 2009-12-31 2011-07-06 华为技术有限公司 视频解码和编码方法及装置、和直流系数预测方法和装置

Also Published As

Publication number Publication date
US20150358623A1 (en) 2015-12-10
WO2013104205A1 (zh) 2013-07-18
CN103200400A (zh) 2013-07-10
US10547851B2 (en) 2020-01-28

Similar Documents

Publication Publication Date Title
CN103200400B (zh) 一种图像层和分片层的编解码方法、编解码器和电子设备
CN101346999B (zh) 用于优化灵活宏块排序视频编码的帧选择的方法和装置
US20180146191A1 (en) System and Method for Coding Intra Prediction Mode using a Second Set of Most Probable Modes
CN102006467B (zh) 视频发送装置、视频接收装置、视频发送方法及视频接收方法
CN100459717C (zh) 基于h.264的压缩视频传输误码消除方法
US20160044329A1 (en) Image Predictive Coding Method and Image Encoder
JP2013523010A5 (ja) ビデオ符号化およびビデオ復号化のための暗示的適応型動きベクトル予測子選択の方法および装置
CN104883572B (zh) 一种基于h.264或h.265的前背景分离编码设备和方法
US20130301730A1 (en) Spatial domain prediction encoding method, decoding method, apparatus, and system
CN101207813A (zh) 一种视频序列的编码、解码方法及编码、解码系统
CN103067699B (zh) 一种帧内预测模式编码器、解码器及其方法和电子设备
CN102025993A (zh) 一种基于h.264的视频传输方法及系统
EP2127387A2 (en) Systems and methods for adaptively determining i frames for channel acquisition and base and enhancement layer balancing
CN101990104A (zh) 视频图像编码方法及装置
CN116647704B (zh) Hevc数据选项的视频编解码联合差错控制方法
CN104104956A (zh) 用于分层视频编码和解码的方法、编码装置和解码装置
CN101754001B (zh) 视频数据优先级确定方法、装置和系统
Chiou et al. Error-resilient transcoding using adaptive intra refresh for video streaming
Ogunfunmi et al. A flexible macroblock ordering with 3D MBAMAP for H. 264/AVC
Zhao et al. SSIM-based cross-layer optimized video streaming over LTE downlink
Li et al. An error sensitivity-based redundant macroblock strategy for robust wireless video transmission
CN105657399B (zh) 一种无线网络环境下的3d医疗视频传输方法
Abot et al. A robust content-based JPWL transmission over a realistic MIMO channel under perceptual constraints
EP4210332A1 (en) Method and system for live video streaming with integrated encoding and transmission semantics
Li et al. Delay-rate-distortion optimized rate control for wireless video communication

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant