[go: up one dir, main page]

CN107666472B - 混合的数字-模拟编解码的方法和设备 - Google Patents

混合的数字-模拟编解码的方法和设备 Download PDF

Info

Publication number
CN107666472B
CN107666472B CN201610618067.0A CN201610618067A CN107666472B CN 107666472 B CN107666472 B CN 107666472B CN 201610618067 A CN201610618067 A CN 201610618067A CN 107666472 B CN107666472 B CN 107666472B
Authority
CN
China
Prior art keywords
blocks
transmission
analog
distortion
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610618067.0A
Other languages
English (en)
Other versions
CN107666472A (zh
Inventor
兰翠玲
罗翀
吴枫
曾文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201610618067.0A priority Critical patent/CN107666472B/zh
Priority to US16/311,129 priority patent/US10869029B2/en
Priority to PCT/US2017/042957 priority patent/WO2018022391A1/en
Publication of CN107666472A publication Critical patent/CN107666472A/zh
Application granted granted Critical
Publication of CN107666472B publication Critical patent/CN107666472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

在本公开内容的实现中，提出了一种混合的数字‑模拟编解码方案。总体上，根据本公开的实现，数字或者模拟编码的选择是在帧中的分块这一级别做出的，而不是针对整个帧做出的。进一步，一个分块的编码方式是基于分块在通信信道上的模拟传输将会引发的预计失真做出的，该失真是基于传输信道的可用传输资源的约束来预测的。

Description

混合的数字-模拟编解码的方法和设备
背景技术
在数据编解码领域中，存在两种编解码方式，即模拟方式和数字方式。这两种编解码方式各有优缺点。一般而言，模拟编码能够以平稳的性能提升或降级来应对通信信道变化，但是却受限于失真方面的性能。另一方面，数字编码由于其良好压缩性以及容错能力而在资源有限的传输系统中得到广泛应用。然而，在诸如调制编码方案、编码速率之类的编码方案给定的情况下，数字编解码方案的性能将严重依赖于信道质量且会随着信道质量的变化而呈现较大波动。因此，期望提供一种编解码方案将数字和模拟编码技术有机结合，使二者相互取长补短，实现编解码总体性能的提升。
发明内容
根据本公开内容的实现，提出了一种混合的数字-模拟编解码方案。总体上，根据本公开的实现，数字或者模拟编码的选择是在帧中的分块这一级别做出的，而不是针对整个帧做出的。进一步，一个分块的编码方式是基于分块在通信信道上的模拟传输将会引发的预计失真做出的，该失真是基于传输信道的可用传输资源的约束来预测的。
在一些实现中，在编码侧，对待传输的帧进行变换之后获得多个分块。这些分块由变换得到的系数来表示。接下来，根据信道的传输资源约束以及分块的系数之间的偏离程度，确定模拟传输的预计失真。基于所确定的预计失真，选择性地编码多个分块，以用于在信道上的数字传输或者模拟传输。在解码侧，对接收到的分块以相应的数字或模拟解码方式进行解码。所提出的混合数字-模拟编解码方案可以实现在给定传输资源下的模拟传输和数字传输的权衡并且可以获得模拟传输的较低失真。
提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
图1示出了能够实施本公开内容的多个实现的环境的方框图；
图2示出了根据本公开内容的一个实现的编码过程的流程图；
图3示出了根据本公开内容的一个实现的帧的分块的示例；
图4示出了根据本公开内容的一个实现的示例编码过程的流程图；
图5A至图5C示出了根据本公开内容的一个实现的确定分块的编码方式的示例过程；
图6示出了根据本公开内容的一个实现的确定量化步长的过程的流程图；
图7示出了根据本公开内容的一个实现的解码过程的流程图；
图8示出了根据本公开内容的一个实现的图1的发送设备中的编码器的框图；
图9示出了根据本公开内容的一个实现的图1的接收设备中的解码器的框图；
图10A和图10B示出了根据本公开内容的示例实现与传统方案之间的性能比较图；
图11A和图11B示出了根据本公开内容的示例实现与传统方案之间的多个不同因素的比较图；以及
图12A至图12C示出了根据本公开内容的示例实现和传统方案对示例图像进行编码后的视觉质量比较。
这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
现在将参照若干示例实现来论述本公开内容。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开内容，而不是暗示对本主题的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
示例环境
图1示出能够实施本公开内容的多个实现的环境的方框图。如图所示，该环境包括发送设备100和接收设备110。发送设备100至少包括控制器102、编码器104和发射器106。控制器102可以对发送设备100要发射的数据或信号进行处理，例如帧操作、时频变换等。要发射的数据可以包括视频、音频、图像、以及诸如传感器数据之类的各种其他信号。控制器102将经处理的数据提供给编码器104。编码器104对数据进行编码。经编码的数据可由一个或多个发射器106经由无线和/或有线通信信道120向接收设备110发送。
接收设备110至少包括一个或多个接收器112，其接收信号并向一个或多个解码器114提供所接收的信号。通常，解码器114执行与编码器104相反的操作，以解码出数据。
可以理解的是，虽然被示出为分离的组件，控制器102和编码器104可以被集成在同一组件中。控制器102、编码器104或者解码器114可以由以下组件或者它们的任意组合来实现，诸如中央处理单元(CPU)、通用处理器、专用处理器、一个或多个微处理器、微控制器、数字信号处理器、基带处理器集成电路、专用集成电路、图形处理器，等等。
如前文简述，数字编解码或模拟编解码各有优缺点。已经提出了尝试将二者结合的混合数字-模拟编码方案。在混合方案中，提出可以对待传输的部分数据进行数字编码并且对另一部分数据进行模拟编码。这样的混合方案可以允许数字编码方面获得较高的比特容量，同时在模拟编码方面获得对信道变化的平缓性能过渡。
已知的混合编码方法通常以帧为单位选择数字编码或者模拟编码。在另外一些混合编码方法中，对视频片段之类的待传输的数据执行小波变换，并且按照频率划分变换后的系数。高频带的系数被模拟编码和传输，低频带的系数被数字编码和传输。
然而，这些已知的混合编码方案并未将数字传输和模拟传输的资源约束纳入优化的考虑。发明人注意到，传输资源对传输失真、尤其是模拟传输的失真具有较大影响。如果无法在两种传输之间合理分配传输资源，混合方案中对模拟编码的引入将会带来相比于基于完全数字编码的传统方案的较大失真，这是不期望的。
为了至少部分地解决上述以及其他潜在问题，在此提出一种新的混合数字-模拟编码方案。如上文简述，根据本公开的实现，基于帧中的分块而不是帧来执行选择性的编码和传输。也就是说，每个帧可以被划分为多个分块。通过在信道的传输资源约束下对数字传输和模拟传输的资源消耗进行权衡，帧中的分块将被分别以数字或模拟方式加以编码和传输。这可以使模拟传输的预计失真显著降低。而且，各个分块内的系数之间的偏离程度也在选择性编码中被纳入考虑，从而进一步降低失真。
更具体地说，本公开内容的实现是基于发明人的如下认识来工作的：模拟传输的失真与传输资源约束和分块内的系数之间的偏离程度相关。这里所指的传输资源可以包括传输带宽和/或传输能量。下面首先给出这一认识的理论分析和支持。
原理概述
在数字编码时，通常基于设置的编码和调制参数对分块执行编码操作，参数的设置进而影响编码后的分块所要消耗的传输资源。具体地，数字编码过程可以划分为量化、编码和调制三个主要阶段。给定分块的平均传输资源主要与量化阶段的量化步长和基于编码和调制方案的数据传输速率有关。此外，如果分块内的系数之间的偏离程度较大，相应地，将每个系数编码为比特值将消耗的比特数会较多，这进而也会增加数字传输的资源。
作为解释说明的示例，考虑对分块(被标记为“Si”)进行熵编码的数字编码方案。以量化步长(被标记为“Qi”)量化后的分块(被标记为
Figure GDA0002433124640000051
)中的每个系数将消耗的比特数(被标记为“bi”)可以等于或者近似于量化后的分块
Figure GDA0002433124640000052
的熵，其可以被表示为：
Figure GDA0002433124640000053
其中σ2表示分块Si内的系数之间的方差。在此，每个分块被建模为均值为零的高斯源。分块的系数之间的偏离程度由该高斯源的方差σ2或标准差(σ)指示。
如果分块Si包括L个系数，那么在数字编码之后它将消耗的平均带宽(被标记为“ci”)可以是编码后的总比特数L*bi(单位为比特)和数字传输速率(被标记为“r”，其单位为比特/符号)的比值。例如，每个分块Si的平均带宽ci可以被计算为ci＝L*bi/r(单位为符号)。因此，假定K个分块要被数字传输，将消耗的总带宽(被标记为“Bd”)是：
Figure GDA0002433124640000054
从公式(1)和(2)可以看出，数字传输的带宽Bd与数字编码的参数、诸如量化步长、数字传输速率有关。此外，数字传输的带宽Bd也与被编码的分块的数目和分块本身的偏离程度有关。
与数字编码不同，在模拟编码时，编码参数不是直接被设置，而是由可用传输资源来确定。具体地，可用传输资源将在待编码的分块之间被分配并且决定每个分块的缩放因子。缩放因子被用于对分块的系数进行缩放，随后经缩放的系数被模拟调制以供传输。在模拟传输时，以越大的缩放因子对分块的系数进行缩放，分块受到信道噪声之类的失真因素影响越小。
一种已经被证明能够给出良好性能的模拟编码方案是：在给定可用传输资源的情况下，为具有较小的系数偏离程度的分块分配较大的缩放因子。例如，基于可用传输资源和系数偏离程度，缩放因子(被标记为“gi”)可以被确定为如下：
Figure GDA0002433124640000061
其中M表示要被模拟传输的分块的数目，Pa表示每符号的平均传输能量，σ′i表示第i分块(被标记为
Figure GDA0002433124640000062
)内的各个系数之间的标准差，其指示了分块的系数之间的偏离程度，并且σ′j类似地指示第j分块对应的偏差程度。在公式(3)中，模拟传输的平均能量Pa通常取决于模拟传输的可用传输能量(被标记为“Ea”)和可用传输带宽(被标记为“Ba”)。例如，在调制后的每个符号可携带两个系数的方案下，平均能量Pa可以被计算为Pa＝Ea/2Ba。
利用不同的编码参数对分块执行模拟编码，将导致不同的模拟传输失真。通常，失真的产生是因为信道上的噪声使得接收到的分块与发送的分块之间存在偏差。下文将介绍对失真的度量。
首先，在模拟编码时，以缩放因子gi对分块
Figure GDA0002433124640000063
内的系数xij(其中j＝1、2、……L，L是该分块包括的系数的数目)进行缩放，得到的经缩放的系数yij＝gixij。经缩放的系数经过调制后被传输。由于信道噪声的引入，接收到的系数被表示为
Figure GDA0002433124640000064
其中z表示信道噪声。在一些情况下，信道噪声可以被建模为加性高斯白噪声(AWGN)，表示为
Figure GDA0002433124640000065
其中N0表示信道噪声的偏离程度或方差。信道的信噪比(SNR)可以根据其一般定义而被计算为SNR＝2Pa/2N0。将会理解，还可以根据先验知识或者经验，将信道噪声确定为其他类型的噪声。
在解码时，也利用对应的缩放因子gi来解码系数
Figure GDA0002433124640000071
以获得解码后的系数(被表示为
Figure GDA0002433124640000072
)：
Figure GDA0002433124640000073
将对全部L个系数解码后得到的分块表示为
Figure GDA0002433124640000074
每个分块的模拟传输的失真(被标记为“dai”)可以被确定为原始分块
Figure GDA0002433124640000075
与接收分块
Figure GDA0002433124640000076
之间的差异。在一个示例中，这个差异可以由原始分块
Figure GDA0002433124640000077
的系数与接收分块
Figure GDA0002433124640000078
的系数之间的均方误差(MSE)来表示为如下：
Figure GDA0002433124640000079
在M个分块被模拟传输的情况下，模拟传输的总体失真(被标记为
Figure GDA00024331246400000710
)是M个分块的失真的加和，被表示为：
Figure GDA00024331246400000711
在公式(5)和(6)中，N0/Pa指示该失真与信道质量(例如SNR)有关。除此之外，可以看出，失真还与分块的系数的偏离程度(例如，标准方差σ′i)正相关。也就是说，在给定要被模拟编码和传输的分块给定的情况下，分块的偏离程度越大，分块的失真越大。也可以看出，由于模拟传输的传输资源在M个要被传输的分块之间分配，如果可用资源越少(Pa越小)，对应的失真也将会越大。
通过上文的分析，在混合数字-模拟编码和传输方案中，被选择用于数字传输的分块将决定数字传输消耗的传输资源，而在传输资源约束下，数字传输对资源的占用决定了模拟传输的可用传输资源。进一步地，给定信道质量(例如SNR)，可用传输资源和被剩余用于模拟传输的分块同时决定了模拟传输的失真。有鉴于此，在本公开内容的实现中，期望同时考虑传输资源约束和分块内的系数之间的偏离程度来选择性地编码分块，以获得较小的模拟传输失真。
上文已经简要地从理论上论证了模拟传输的失真与传输资源约束和分块内的系数之间的偏离程度的相关性。对于更加具体的分析和论证，可以参考发明人的如下出版物：Cuiling Lan,Chong Luo,Feng Wu,Wenjun Zeng,“A Practical Hybrid Digital-AnalogScheme for Wireless Video Transmission”,IEEE TRANSACTIONS ON CIRCUITS ANDSYSTEMS FOR VIDEO TECHNOLOG，在此将其引用全文并入。
编码过程的示例实现
下面将结合附图详细描述本公开内容的各种示例实现。首先参考图2，其示出了根据本公开内容的示例实现的编码过程200的高级别流程图。编码过程200总体上示出了发送设备100的控制器102和编码器104对于待处理数据的编码过程的核心思想。在本公开内容的上下文中，待处理的数据被成帧以便被处理。待处理数据的示例包括但不限于：视频、音频、动画图像、传感器信号，等等。特别注意的是，图2中所示的过程是针对待处理数据中的一个帧所执行的过程。通过对数据中的多个帧执行编码过程200，可以对数据的部分或者全部进行编码。
编码过程200开始于210，在此获得将要通过信道传输的给定帧的多个分块。在一些示例实现中，可以通过对当前处理的帧应用特定的变换(transformation)而将帧中的数据解相关，从而把帧划分成分块。这样的变换的示例包括但不限于离散余弦变换(DCT)。例如，对于视频帧可以应用三维离散余弦变换(3D-DCT)，其中一个维度为时间；而对于图像帧则可以应用二维离散余弦变换(2D-DCT)。
在上述示例实现中，每个分块可以由相应的变换系数来表示。例如，可以按照频率对变换后的系数进行排序和分组，从而获得多个分块，其中每个分块可以包括多个系数。图3描绘了示出了根据本公开内容的一个实现的帧分块的示例。如图所示，对于帧302，可以对其应用变换，并且按照频率将变换系数被划分成多个分块312。作为示例，在此实现中，帧302的左上角的分块可以对应于较低频率，并且右下角的分块可以对应于较高频率。类似地，可以对待处理数据中的其他帧304、306、308等等应用类似的分块过程。
应当理解，通过对帧应用变换来获得分块以及将分块表示为变换系数，这些仅仅是示例性的，无意限制本公开内容的范围。在其他实施例中，可以使用任何适当的技术将帧划分为块，不论这些技术是目前已知的还是将来研究开发的。
在220，确定将由发送设备100与接收设备110之间的信道120上的模拟传输导致的失真。可以理解，在此确定的失真是假定使用信道120进行模拟传输而将会引发的失真，因此可以称为“预计失真”。根据本公开内容的实现，如上文所分析的，预计失真可以基于如下因素确定的：(1)信道120的传输资源约束；以及(2)每个分块内的系数之间的偏离程度。通过这两个因素，期望可以找到分块的模拟传输和数字传输之间的合理划分，以便将模拟传输的预计失真维持在较低水平。
在230，基于在220确定的预计失真，选择性地编码多个分块。本公开内容的实现基于混合的模拟和数字编码。因此，可以在数字方式和模拟方式之间选择每个分块的编码方式。相应地，被数字编码后的分块将用于数字传输，并且被模拟编码后的分块将用于模拟传输。在一些示例实现中，通过尝试选择用于数字传输的一个或多个分块并且然后确定基于其余分块的模拟传输的预计失真是否降低，来迭代地确定待传输的多个分块中哪些分块将被数字编码以及哪些分块将被模拟编码。
下面参考图4来描述模拟传输的预计失真对分块的选择性编码的确定。具体而言，图4示出了根据本公开内容的一个实现的示例编码过程400的流程图。编码过程400可以被认为是编码过程200的一个详细示例实现，并且也可以由发送设备100的控制器102和编码器104执行。
在410，确定多个分块中将被模拟传输的分块集合。假定待传输的帧被划分为N个分块且分别表示为S1、S2、……SN，其中N是大于1的整数。初始地，410处的分块集合中包括待传输的帧的全部N个分块。在420，从该分块集合中选择给定分块，并且然后在430确定在对给定分块进行数字编码的情况下由模拟传输导致的预计失真。
由以上关于模拟传输的失真的讨论可知，在模拟编码中，具有较大偏离程度的分块可能会被指派较小的缩放因子，并且进而导致该分块的较高失真(例如参见公式(3)、(5)和(6))。因此，对这样的分块做数字编码将会更利于失真降低。在一些示例实现中，可以基于分块的系数之间偏离程度，从分块集合中选择偏离程度较大的分块作为给定分块，从而可以保留偏离程度较小的分块用于模拟编码和传输，以便降低失真。作为示例，可以按照分块的系数之间的偏离程度对分块进行排序，然后从经排序的分块之中选择偏离程度较大(或最大)的分块。
在经过420处的选择之后，模拟传输可以基于分块集合中的未被选择的分块，而数字传输可以基于已被选择的全部分块。例如，如果第一次选择S1用于数字编码和传输，那么其余N-1个分块S2至SN将被用于模拟传输。然后，在这种模拟传输和数字传输的划分的情况下，确定模拟传输的预计失真。
在操作中，为了确定失真，首先估计将由数字传输消耗的传输资源，进而确定在信道的传输资源约束之下模拟传输的可用传输资源。在数字传输消耗的传输资源的一个示例实现中，如果数字编码参数(例如量化步长和数据传输速率)已被设置，将由数字传输消耗的传输资源可以至少基于给定分块(例如分块S1)的偏离程度来确定。数字传输带宽的确定可以参考以上公式(1)和(2)，此时要被数字传输的数目K＝1。应当明白，随着过程400的重复，K的取值也将相应增加。在传输资源约束中除去被数字传输占用的传输资源后，剩余的传输资源均可用于模拟传输。
进一步地，基于模拟传输的可用传输资源，确定在分块集合中的其余分块(例如分块S2至SN)被用于模拟传输时产生的预计失真。分块S2至SN系数之间的偏离程度也被考虑在预计失真的确定中。预计失真的确定可以基于例如公式(5)和(6)。
继续参照图4，在确定模拟传输的预计失真之后，在440确定当前的预计失真是否降低。初始时可以将预计失真设定为较大的值。当包括N个分块的初始分块集合中的一个给定分块S1被选择用于数字编码之后，确定当前的预计失真，并且将该预计失真与前一次的预计失真(例如预设值)相比。如果预计失真降低，说明将当前的给定分块选择用于数字编码将有助于模拟传输的失真降低。因此，在450，对给定分块进行数字编码。
在460，确定分块集合中是否还有未被选择的分块。如果还有未被选择的分块，过程400返回410，再次确定可用于模拟传输的分块集合。前一次已经被确定为可进行数字编码(或者已经被数字编码)的分块将不被计入该分块集合中。例如，在第一次选择的分块S1被确定进行数字编码之后，其余的N-1个分块再次组成可用于模拟传输的分块集合。然后，过程400继续进行后续步骤，以便确定是否能够继续选择分块用于分块集合。如以上提及的，每次都可以选择分块集合中具有较大(或最大)偏离程度的分块来做判断，因为这可以更快速地降低模拟传输的预计失真。
如果在440确定预计失真(相较于前一次的预计失真)未被降低，例如预计失真保持不变或升高，意味着继续选择分块用于数字编码将不会进一步降低模拟传输的预计失真。因此，在470，将分块集合中的分块进行模拟编码，并且过程400可以结束。
可以理解的是，如果在第一遍执行过程400的过程中，在440中确定预计失真没有低于预设的较大值，则可以将分块集合中当前包括的全部N个分块进行模拟编码。也就是说，如果传输资源充足且失真可容忍的情况下，可以执行完全的模拟编码。此外，如果在460确定分块集合中没有未被选择的分块，过程400可以结束。在这种情况下，说明全部N个分块均在450中被数字编码。
虽然以上描述了在420中每次选择一个给定分块，但是在一些其他示例实现中，可以在420中每次选择两个或更多给定分块。在这些示例实现中，模拟传输的预计失真也可以以类似的方式基于分块集合中的其余分块来确定。
出于解释说明的目的，在过程400中示出在确定选择的给定分块可用于数字编码之后就对该分块进行数字编码并且然后再继续选择其他分块进行判断。在一些其他示例实现中，可以首先通过过程400确定出被数字编码的一个或多个分块，再对这些分块进行数字编码。在这些示例中，不必要在过程400的每次重复中均执行450。
在以上关于描述的示例实现中，每个分块被确定为仅被数字编码或仅被模拟编码。在这些示例实现中，被数字编码的分块通常仅传输了经量化后的分块的主分量(也被称为主分块)，并且还有一部分残差分量(也被称为残差分块)被丢弃。在另外一些示例实现中，被量化的分块的残差分量可以被模拟编码和传输。
为了方便理解分块的主分量和残差分量，首先描述数字编码的量化阶段。分块的量化是为了能够降低用于编码时每个系数将消耗的比特量。假定以量化步长(被标记为“Qi”)对要被数字编码的分块Si内的每个系数进行标量量化。在一个示例中，分块Si的主分量可以被确定为如下：
Figure GDA0002433124640000121
其中
Figure GDA0002433124640000122
表示分块Si的主分量并且包括分块Si的每个系数被量化后得到的系数，sign(·)表示sign函数，并且
Figure GDA0002433124640000123
表示向下取最接近的整数的运算。sign函数是符号函数，用以确定分块Si的每个系数的正负号。例如，如果一个系数大于0，则sign函数的值是+1；如果系数等于0，则sign函数的值是0；并且如果系数的值小于0，则sign函数的值是-1。应当理解，还可以采用其他当前已知或者未来研究开发的量化方法对分块进行量化。例如，在量化时向上取最接近的整数也是可行的。
分块Si的残差分量(被标记为
Figure GDA0002433124640000124
)可以通过将分块Si减去以量化步长对量化后的分块(即主分量)进行逆量化的分量(被标记为
Figure GDA0002433124640000125
)来获得，这可以被表示为如下：
Figure GDA0002433124640000126
Figure GDA0002433124640000131
一般而言，如果不考虑对残差分量
Figure GDA0002433124640000132
的传输，在数字编码过程中确定分块的主分量
Figure GDA0002433124640000133
之后，就对主分量
Figure GDA0002433124640000134
执行后续编码和调制等操作，而不关心残差分量
Figure GDA0002433124640000135
的确定和处理。然而，由于分块的残差分量
Figure GDA0002433124640000136
也携带表示分块的部分信息，如果将残差分量
Figure GDA0002433124640000137
简单地丢弃，将会引起一定程度的信息丢失，这是不期望的。因此，在一些示例实现中，可以将被数字编码的分块中的一些或所有分块的残差分量进行模拟传输。
通常，被量化得到的残差分量
Figure GDA0002433124640000138
可以被视为新的不同的分块并且它们包含的系数也具有相应的偏离程度。因此，残差分块在模拟传输中也可以被视为正常的分块。在一些示例实现中，残差分量内的系数之间的偏离程度由量化步长决定。通常量化步长越大，残差分量的偏离程度越大。在一个示例中，残差分量的偏离程度可以被估计为
Figure GDA0002433124640000139
由于残差分量的引入，被模拟传输的分块可以包括待传输的N个分块中被确定为模拟传输的分块以及要被模拟传输的残差分量。如果所有被数字传输的分块的残差分量都要被模拟传输，那么被模拟传输的分块的总数为N。在这样的情况中，要传输的残差分量的数目以及残差分量内的系数之间的偏离程度也与其他分块类似地影响模拟传输的失真。
在模拟传输可用的资源充足的情况下，所有期望的分块都可以被传输。然而，在另外一些示例实现中，残差分量的引入将导致要被模拟传输的分块量进一步增加，因而可能需要丢弃一些分块。这些被丢弃的分块也将进一步引入模拟传输的失真。例如，假定分块Si被丢弃并且它的偏离程度是
Figure GDA00024331246400001310
那么接收端接收到该分块的信号是零，这将引入如下失真(被标记为dti)：
Figure GDA00024331246400001311
由公式(10)可见，被丢弃的每个分块将引起的失真与该分块内的系数之间的偏离程度
Figure GDA0002433124640000141
正相关。
在一些示例实现中，要被丢弃的分块的数目(被标记为“T”)可以基于数字传输将消耗的传输资源(例如传输带宽Bd)来确定。这样可以使得分块的丢弃可以补偿被数字传输占用的资源。在一个示例中，要被丢弃的分块可以被确定为T＝2Bd/L(其中L是分块内系数的数目)。由被丢弃的所有分块所引起的总失真可以是T个分块所造成的失真dti的总和。
因此，考虑到对残差分量的模拟传输和分块的丢弃之后，公式(6)中的模拟传输的总体失真(被重新标记为“Dhyb(K)”)可以被重新确定为分块的丢弃引起的失真和在信道上传输时引起的失真两者的总和，这可以被表示为如下：
Figure GDA0002433124640000142
其中，
Figure GDA0002433124640000143
表示T(T＝N-M)个被丢弃的分块引起的失真，并且
Figure GDA0002433124640000144
表示由于信道上的噪声而导致的失真，其中被模拟传输的分块包括K个被数字编码的分块的残差分量(其偏离程度为σ′i)和(M-K)个被确定要模拟传输的分块。在公式(11)中假定K个被数字编码的分块的残差分量均不被丢弃而是被模拟传输，而是丢弃了N个待传输分块中的(N-M)个分块(其偏离程度为
Figure GDA0002433124640000145
)。
在需要考虑分块丢弃的示例实现中，可以在过程400的420选择给定分块之后，基于对该分块的数字传输将消耗的传输资源来确定当前要被丢弃的分块的数目，并且然后从分块集合中丢弃所确定的数目的分块。如上文讨论的，每个分块的数字传输将消耗的资源、例如传输带宽是ci＝L*bi/r。由于这个分块的数字传输将要占用的传输资源，当前要从模拟传输中丢弃的分块的数目可以被确定为ti＝2ci/L＝2bi/r。假定在过程400结束之后总共选择K个分块用于数字传输。被丢弃的分块的总数目T可以是针对相应K个分块要被丢弃的分块的数目的总和，即
Figure GDA0002433124640000151
由于由被丢弃的分块引起的失真与分块的偏离程度正相关，例如参见公式(10)。因此，在一些示例实现中，可以丢弃要用于模拟传输传输的分块(包括分块集合中的分块和要被模拟编码的残差分量)中偏离程度较小的分块或分量，以便不会过度增加失真。例如，每次丢弃的分块可以是要用于模拟传输的分块中偏离程度最小的ti个分块。通常，如果如上文的示例实现所期望的，偏离程度较大的分块被选择用于数字传输，那么由这些分块的量化而得到的残差分量的偏离程度也往往大于那些未被选择用于数字编码的分块。因此，按照偏离程度进行分块的丢弃时，那些具有较小偏离程度的分块会被丢弃，而残差分量不会被丢弃。
在一些示例实现中，在确定要被丢弃的分块之后，在430确定预计失真时，可以把被丢弃的分块引入的失真考虑在内。同时，如果此时也期望传输残差分量，则预计失真可以按如上公式(11)确定。
图5A至图5C示出了确定分块的编码方式的示例过程。在该过程中，考虑了对被数字编码的分块的残差分量进行模拟编码，同时还考虑要丢弃部分被模拟传输的分块。在所示示例中，假定要传输的帧的15个分块S1至S15，并且它们的系数之间的偏离程度是
Figure GDA0002433124640000153
至
Figure GDA0002433124640000152
。应当理解，这些数目仅仅被给出作为示例并且在其他示例中可以传输更多或更少的分块。
在图5A中，按照偏离程度以降序顺序对分块S1至S15进行排序，以方便分块的选择。初始时，可以尝试选择偏离程度最高的分块S1进行数字编码。然后，确定基于其余分块S2至S15的模拟传输的预计失真是否将会降低。在一些示例中，模拟传输还可以基于对分块S1进行量化之后得到的残差分量(其偏离程度是
Figure GDA0002433124640000154
)。如果确定模拟传输的当前预计失真降低，则可以对分块S1进行数字编码，如图5B所示。
由于分块S1的数字编码后的数字传输对传输资源的占用，需要从用于模拟传输的分块中丢弃一些分块(例如3个)。在图5B的示例中，在当前可用于模拟传输的分块S2至S15和分块S1的残差分量之中基于偏离程度确定要被丢弃的三个分块。如示出的，分块集合510中具有最小偏离程度的三个分块S12至S15将被丢弃。此时，还剩余分块S2至S12和分块S1的残差分量可用于模拟传输。可以继续尝试从这些分块中选择偏离程度最大的分块、例如分块S2用于数字编码，并且确定基于剩余分块的模拟传输的预计失真是否将会降低。
由于预计失真仍然降低，则可以对分块S2进行数字编码，如图5C所示。基于分块S2的数字传输将占用的传输资源，确定要从模拟传输中丢弃两个分块。可以从当前可用于模拟传输的分块S3至S12、以及分块S1和S2的残差分量中确定要被丢弃的分块。如所示出的，分块集合520中具有最小偏离程度的两个分块S11和S12将被丢弃。接下来，还可以以类似的方式对可用于模拟传输的其余分块继续进行判断，从以确定可以其余分块中哪些分块进行要被数字编码并且哪些分块要被模拟编码。
由于残差分量被用于模拟传输且残差分量内的系数之间的偏离程度与量化步长有关，因而用于数字编码时的量化步长也是决定模拟传输的失真的一个因素，这可以通过细化公式(11)看出。具体地，用于模拟传输的每符号平均能量Pa可以基于可用传输能量Ea和可用传输带宽Ba来确定(每个符号承载两个系数)，例如Pa＝Ea/2Ba。总的传输带宽约束B和传输能量约束E之间的关系是E＝2Ps*B，并且B＝N*L/2。由模拟传输的可用带宽Ba＝B-Bd以及要被丢弃的分块的数目T＝2Bd/L，可以再次将可用带宽计算为Ba＝L*(N-T)/2。因此，模拟传输的每符号平均能量Pa还可以被重写为如下：
Figure GDA0002433124640000161
其中Pd表示数字传输的每符号平均能量。如果针对特定系统而预定的二维每符号平均能量是2Ps，数字传输的每符号平均能量Pd可以固定等于2Ps。在一些示例中，如果已知信道质量较差(例如SNR较低)，则可以将Pd设置为2Ps的倍数。因此，可以确定Pd＝2Ps*β，其中β可以是大于等于1的整数。
基于公式(12)中的Pa，公式(11)中的失真Dhyb(K)可以被重写为：
Figure GDA0002433124640000171
可以看出，量化步长Qi也对失真有影响。在上文讨论的示例实现中，均假定在数字编码时对给定分块进行量化的量化步长是预定的，并且以此来确定模拟传输的失真确定。然而，固定的量化步长可能无法对于不同帧的分块均给出较低的预计失真。因此，在一些示例实现中，取代设置固定的量化步长，可以为被选择用于数字编码的给定分块动态地确定不同的量化步长，以便进一步降低模拟传输的预计失真。
图6示出了根据本公开内容的一个实现的确定量化步长的过程600的流程图。在一些示例实现中，过程600可以在判断分块集合中的给定分块是否适合于进行数字编码时执行、例如在过程400的420之后。过程600可以通过为当前的给定分块确定对应的量化步长，使得当前的模拟传输的预计失真降低或最小化。在一些示例实现中，过程600可以由图1的发送设备100中的控制器102执行。确定出的量化步长可以被提供给编码器104以供数字编码。
在610，在预定集合中选择给定分块的量化步长。在一些示例实现中，预定集合可以包括可选择用于数字编码的多个离散量化步长。作为示例，预定集合可以包括1/1024、1/512、1/256、1/128、1/64、1/32、1/16、1/8、1/4、1/2、1、2等量化步长。当然，量化步长的更多或更少的取值也可以被包括在预定集合中。在另外一些示例实现中，预定集合可以指示用于数字编码的量化步长范围。每次可以从该范围中以某个间隔确定一个量化步长用于给定分块。
在620，基于量化步长测量给定分块的残差分量的偏离程度。如上文所述，残差分量的偏离程度可以被确定为与当前的量化步长正相关，并且一种示例的确定方法可以是
Figure GDA0002433124640000181
在630，确定将由模拟传输导致的预计失真。此时，仍然考虑给定分块被选择用于数字传输而其余分块被假定用于模拟传输的情况，并且将当前选择的量化步长用于计算模拟传输的预计失真。
在640，确定量化步长的预定集合中是否还有未被选择的量化步长。如果还有未被选择的量化步长，过程600可以返回610，以便继续选择新的量化步长以确定模拟传输的另一个预计失真。通过选择预定集合中的一些或全部量化步长并且确定对应的预计失真，在650，从已确定的多个预计失真中确定较小(或最小)的预计失真。在660，将在650选择的预计失真对应的量化步长确定为当前的给定分块的量化步长。由此可见，通过过程600，可以从量化步长的预定集合中为给定分块确定可以将导致较小预计失真的量化步长。
概括而言，为给定分块确定量化步长的过程可以涉及不断更新给定分块的量化步长，以便不断降低模拟传输的预计失真。将导致预计失真的较大或最大降低的量化步长可以被确定为给定分块的合意量化步长。在一些示例实现中，在650选择的较小预计失真可以用作模拟传输的当前预计失真，例如作为在过程400的步骤430确定的预计失真。在过程400的420选择新的给定分块的情况下，可以再次执行过程600以便为当前选择的分块确定量化步长。通过过程400和600，不仅可以确定待传输的分块中哪些分块要被数字编码或模拟编码，还可以为被数字编码的分块选择使得模拟传输的预计失真较小的量化步长。
在通过过程200、400和/或600确定如何处理各个分块后，由分块的数字或模拟编码而获得的信号可以由发送设备100的发射器106经由信道120传输至接收设备110。接收设备110的接收器112接收到这些信号之后，将这些信号提供给解码器114进行解码。解码操作是编码操作的逆操作。在一些示例实现中，为了辅助解码操作，可以发送设备100的发射器106还可以将与数字编码和/或模拟编码有关的元数据提供给接收设备110以供解码。
这样的元数据可以包括待传输的分块中以数字方式被编码的分块的数目(例如K)或者以模拟方式被编码的分块的数目(例如M)。这样的信息可以使得在接收设备处可以确定用于模拟解码的缩放因子(例如通过公式(7))。备选地，可以直接将被模拟编码的分块的缩放因子作为元数据提供给接收设备。在另外一些示例实现中，元数据可以用于量化以数字方式被编码的分块的量化步长。例如，可以将在过程600中为分块确定的量化步长提供给接收设备，使得接收设备可以以对应的量化步长对接收到的被数字编码的分块进行逆量化操作。
在由于资源约束而要丢弃分块的示例实现中，还可以将被丢弃的分块的数目作为元数据传输给接收设备。基于这个元数据，接收设备在解码时可以确定被模拟编码得到的信号中哪些信号对应于被数字编码的分块的残差分量，从而可以将模拟解码后的信号用于与对应的被数字解码后的信号进行组合，以便获得解码后的分块。
解码过程的示例实现
图7示出了根据本公开内容的一个实现的解码过程700的流程图。过程700可以由如图1的接收设备110执行。在710，由接收设备110的接收器112接收编码的帧的多个分块而获得的信号。取决于编码侧的操作，接收到的信号可以包括模拟信号和/或数字信号，分别对应于被模拟编码的分块和/或数字编码的分块。在720，由接收设备110的接收器112进一步接收与编码有关的元数据。如以上所讨论的，接收到的元数据可以包括编码侧的编码操作有关的信息，以用于促进对信号的解码。
在730，由接收设备110的解码器114以数字或模拟方式解码接收到的信号以获得多个分块。对接收到的数字信号进行数字解码，并且可以对接收到的模拟信号进行模拟解码。解码操作是编码操作的相反操作。
具体地，对于数字解码，可以首先采用与信道编码和调制方案对应的信道解码和解调方案对数字信号进行解调和解码。例如，如果编码端采用具有QPSK调制和1/2速率的卷积编码，则可以对接收到的数字信号应用相应的QPSK解调和相应的卷积解码。然后，对应于分块量化的数字编码，可以以量化步长对解调后的数字信号进行逆量化。对于模拟解码，可以对接收到的模拟信号进行解调。解调方案可以是编码侧的调制方案的逆过程。例如，如果编码侧采用幅度调制，则可以在解码侧进行幅度解调。然而，可以以对对应的缩放因子对解调后的信号进行解码(例如关于以上公式(4)所描述的)。
在以上已经描述了对分块的混合数字和模拟编码以及对应的解码。根据本公开内容的实现方式，不仅可以通过混合方案利用数字编码的较高比特容量和模拟编码的对信道变化的平缓性能过渡，还可以在给定的传输资源约束下，通过在数字编码和模拟编码中合理分配分块以及在数字传输和模拟传输中合理分配传输资源，将模拟传输引入的失真维持在较低水平。
设备的示例实现
图8和图9分别示出了根据本公开内容的示例编码器和解码器的框图。在图8中的编码器可以是图1的发送设备100中所使用的编码器104。编码器104包括用于数字编码的部分和用于模拟编码的部分。如所示出的，数字编码部分可以包括量化器802、熵编码器804和信道编码和调制组件806。模拟编码部分可以包括组合器812、资源分配器814和模拟调制器816。
由控制器102确定为要被数字编码的分块可以被提供给量化器802。在一些示例实现中，控制器102还可以向量化器802提供为当前分块确定的量化步长。在其他示例实现中，量化器802可以被配置有固定的量化步长。接收到分块后，量化器802以量化步长对分块进行量化，例如关于公式(7)至(9)所描述的标量量化，以获得主分量和残差分量。主分量被提供给上熵编码器804进行数字编码。编码后得到的信号由信道编码和调制组件806进行信道编码和调制，以生成相应的数字信号用以经由信道传输。
由控制器102确定为要被模拟编码的分块可以被提供给组合器812。在被数字编码的分块的残差分量要被模拟传输的示例实现中，组合器812还从量化器802接收残差分量，并且将残差分量和要被模拟编码的分块一起进行编码。将会理解，当不对残差分量进行模拟传输的示例中，可以省略组合器812。模拟缩放器814根据在数字编码部分的信道编码和调制后的信息确定可用于模拟传输的传输资源，例如通过以上公式(1)和(2)。模拟缩放器814然后确定要被模拟传输的分块(包括残差分量)的缩放因子，例如通过以上公式(3)，并且然后以确定的缩放因子对分块的系数进行缩放。经过缩放的分块被提供给模拟调制器816进行调制，以生成相应的模拟信号用以经由信道传输。调制器816可以采用幅度调制或者其他适当的调制方式。
在图9中的解码器可以是图1的接收设备110中所使用的解码器114。解码器114包括用于数字解码的部分和用于模拟解码的部分。如所示出的，数字解码部分可以包括信道解码和解调组件902、熵解码器904、逆量化器906和组合器908。模拟解码部分可以包括模拟调制器912、缩放解码器914和分离器916。
在接收到数字信号时，信道解码和解调组件902以与信道编码和调制组件806采用的方案对应的解码和解调方案对数字信号进行处理。处理后的信号由熵解码器904解码并且然后由逆量化器906进行逆量化。逆量化过程可以基于编码侧的量化器804采用的量化步长。在被数字编码的分块的残差分量要被模拟传输的示例实现中，组合器908还接收从模拟解码部分解码得到的分块的残差分量，并且将逆量化得到的分块(对应于分块的主分量)和残差分量合并以获得对应的分块。
在接收到模拟信号时，模拟调制器912对接收到的模拟信号应用与编码侧调制方案对应的解调方案。解调后的信号由缩放解码器914以缩放因子进行缩放，以解码得到对应的分块或残差分量。该缩放因子可以通过接收到的元数据来确定。缩放后的信号由分离器916分割为对应于残差分量的部分和对应于完整分块的部分。分离器916将解码得到的残差分量提供给数字解码部分的组合器908。应当理解，在残差分量不被模拟传输的情况中，接收到的模拟信号可以仅包括由分块编码得到的信号，并且因此组合器908可以被省略。
性能和效果
图10A至图10B示出了在不同带宽比率(BWR)的设置下本文提供的一个示例实现与传统方案之间的性能比较图。在此用于比较的传统方案是基于完全的模拟传输的方案。在图10A和图10B中，分别以峰值信噪比(PSNR)和结构相似性度量(SSIM)来衡量两种方案的性能，其中PSNR以dB为单位，SSIM的取值范围为0到1。可以看出，对每个带宽比率设置，本文提供的示例实现在信道的质量(SNR)下均能够获得更高的性能。也就是说，本文提出的混合数字-模拟传输不仅能够与完全的模拟传输一样可以较好的适应信道变化，同时还能够获得在诸如PSNR、SSIM等方面的性能提升。
图11A至图11B示出了根据本公开内容的示例实现与传统方案之间的多个不同因素的比较图。在这些图的示例中，存在多于15个分块要被传输且仅示出偏离程度最高的前15个分块。根据本公开内容的一个示例实现，由于它们的较高偏离长度，这15个分块可以被选择用于数字编码。在图11A中，示出了本文提供的示例实现与传统方案在用于模拟传输的分块中的偏离程度分布的比较。在本文提供的示例实现中，由于前15个分块被用于数字编码，仅它们的残差分量被用于模拟传输。而在传统方案中，完整的分块将被用于模拟传输。可以看出，由于量化的应用，本文提供的示例实现中用于模拟传输的残差分量的偏离程度远小于直接将这些分块用于模拟传输的偏离程度，因此这可以使得本文提供的示例实现获得较小的失真，这可以从图11B看出。作为示例，失真由均方误差(MSE)来度量。
图12A至图12C示出了根据本公开内容的示例实现和传统方案对示例图像进行编码后的视觉质量比较。图12A中示出的图像1202是原始图像。图12B中示出的图像1204是对图像1202应用本文提供的示例实现的混合编码方案之后，在接收端解码得到的图像。图12C中示出的图像1206是对图像102应用完全的模拟编码之后在接收端解码得到的图像。可以看出，与图像1206相比，图像1204与原始图像1202更接近、质量更高且失真更小。
示例实现方式
一方面，本公开内容公开一种设备。该设备包括：控制器，被配置为：获得将要通过信道传输的帧的多个分块，所述多个分块由通过对所述帧应用变换而获得的系数来表示，基于所述信道的传输资源约束和各个分块内的所述系数之间的偏离程度，确定将由所述信道上的模拟传输导致的预计失真；以及编码器，被配置为基于所述多个分块的所述预计失真来选择性地编码所述多个分块以用于在所述信道上的数字传输或者模拟传输。
在某些实现中，所述控制器被配置为：确定所述多个分块中将被模拟传输的分块集合；以及确定在对所述分块集合中的一个给定分块进行数字编码的情况下将由所述模拟传输导致的所述预计失真是否将会降低，
在某些实现中，所述编码器被配置为响应于确定所述预计失真将会降低，对所述给定分块进行数字编码以用于数字传输。
在某些实现中，所述编码器被配置为响应于确定所述预计失真将保持不变或升高，对所述分块集合中的分块进行模拟编码以用于模拟传输。
在某些实现中，所述控制器进一步被配置为：基于所述系数之间的所述偏离程度，从所述分块集合中选择所述给定分块，所述给定分块的系数之间的偏离程度大于所述分块集合的其余分块中的至少一个分块的系数之间的偏离程度。
在某些实现中，所述控制器被配置为如下确定所述预计失真：至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；基于所述传输资源约束和所述数字传输消耗的所述传输资源，确定所述模拟传输的可用传输资源；以及基于所述可用传输资源和所述分块集合中的其余分块的系数之间的偏离程度，确定所述预计失真。
在某些实现中，所述编码器被配置为如下对所述给定分块进行数字编码：以量化步长将所述给定分块量化为主分量和残差分量；以及将所述给定分块的所述主分量进行数字编码。
在某些实现中，所述编码器进一步被配置为将所述给定分块的所述残差分量进行模拟编码以用于模拟传输。在某些实现中，所述控制器被配置为如下进一步确定所述预计失真：基于所述量化步长确定表示所述残差分量的系数之间的偏离程度，以及进一步基于表示所述残差分量的系数之间的所述偏离程度确定所述预计失真。
在某些实现中，所述控制器进一步被配置为如下确定所述给定分块的所述量化步长：确定所述给定分块的初始量化步长；基于所述初始量化步长测量表示所述给定分块的所述残差分量的系数之间的初始偏离程度；至少基于所述初始偏离程度确定将由所述模拟传输导致的初始预计失真；以及通过更新所述初始量化步长以降低所述初始预计失真，来确定所述给定分块的所述量化步长。
在某些实现中，所述控制器进一步被配置为：至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；基于所述数字传输消耗的所述传输资源，确定要被丢弃的分块的数目；以及从所述分块集合中丢弃所确定的数目的分块。在某些实现中，所述控制器被配置为基于所述传输资源约束和所述分块集合中未被丢弃的分块的系数之间的偏离程度来确定所述预计失真。
在某些实现中，所述控制器被配置为基于可用于所述模拟传输的所述分块的偏离程度来从所述分块集合中丢弃所确定的数目的分块，被丢弃的分块的系数之间的偏离程度小于所述分块集合的其他分块中的至少一个分块的系数之间的偏离程度。
在某些实现中，所述设备进一步包括：发射器，被配置为通过所述信道传输编码所述多个分块而获得的信号。
另一方面，本公开内容公开了一种方法。该方法包括：获得将要通过信道传输的帧的多个分块，所述多个分块由通过对所述帧应用变换而获得的系数来表示；基于所述信道的传输资源约束和各个分块内的所述系数之间的偏离程度，确定将由所述信道上的模拟传输导致的预计失真；以及基于所述多个分块的所述预计失真来选择性地编码所述多个分块以用于在所述信道上的数字传输或者模拟传输。
在某些实现中，该方法进一步包括：确定所述多个分块中将被模拟传输的分块集合；以及确定在对所述分块集合中的一个给定分块进行数字编码的情况下将由所述模拟传输导致的所述预计失真是否将会降低，其中编码所述多个分块包括：响应于确定所述预计失真将会降低，对所述给定分块进行数字编码以用于数字传输。
在某些实现中，编码所述多个分块进一步包括：响应于确定所述预计失真将保持不变或升高，对所述分块集合中的分块进行模拟编码以用于模拟传输。
在某些实现中，该方法进一步包括：基于所述系数之间的所述偏离程度，从所述分块集合中选择所述给定分块，所述给定分块的系数之间的偏离程度大于所述分块集合的其余分块中的至少一个分块的系数之间的偏离程度。
在某些实现中，确定所述预计失真包括：至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；基于所述传输资源约束和所述数字传输消耗的所述传输资源，确定所述模拟传输的可用传输资源；以及基于所述可用传输资源和所述分块集合中的其余分块的系数之间的偏离程度，确定所述预计失真。
在某些实现中，编码所述多个分块包括：以量化步长将所述给定分块量化为主分量和残差分量；将所述给定分块的所述主分量进行数字编码。
在某些实现中，编码所述多个分块进一步包括将所述给定分块的所述残差分量进行模拟编码以用于模拟传输。在某些实现中，确定所述预计失真包括：基于所述量化步长确定表示所述残差分量的系数之间的偏离程度，以及进一步基于表示所述残差分量的系数之间的所述偏离程度确定所述预计失真。
在某些实现中，确定所述给定分块的所述量化步长包括：确定所述给定分块的初始量化步长；基于所述初始量化步长测量表示所述给定分块的所述残差分量的系数之间的初始偏离程度；至少基于所述初始偏离程度确定将由所述模拟传输导致的初始预计失真；以及通过更新所述初始量化步长以降低所述初始预计失真，来确定所述给定分块的所述量化步长。
在某些实现中，确定所述预计失真进一步包括：至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；基于所述数字传输消耗的所述传输资源，确定要被丢弃的分块的数目；从所述分块集合中丢弃所确定的数目的分块；以及基于所述传输资源约束和所述分块集合中未被丢弃的分块的系数之间的偏离程度来确定所述预计失真
在某些实现中，丢弃所确定的数目的分块包括：基于可用于所述模拟传输的所述分块的偏离程度来从所述分块集合中丢弃所确定的数目的分块，被丢弃的分块的系数之间的偏离程度小于所述分块集合的其他分块中的至少一个分块的系数之间的偏离程度。
在某些实现中，所述方法进一步包括通过所述信道传输编码所述多个分块而获得的信号。
在又一方面，本公开内容公开了一种设备。该设备包括接收器，被配置为通过信道接收从帧的多个分块编码的信号，所述多个分块由通过对所述帧应用变换而获得的系数来表示、并且基于模拟传输的预计失真而选择性地以数字或模拟方式被编码，模拟传输的预计失真基于所述信道的传输资源约束和所述系数之间的偏离程度；以及解码器，被配置为解码所述信号以获得所述帧的所述多个分块。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现谢姐，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种用于编码的设备，包括：
控制器，被配置为：
获得将要通过信道传输的帧的多个分块，所述多个分块由通过对所述帧应用变换而获得的系数来表示，
基于所述信道的传输资源约束和各个分块内的所述系数之间的偏离程度，确定将由所述信道上的模拟传输导致的预计失真；以及
编码器，被配置为基于所述多个分块的所述预计失真来选择性地编码所述多个分块中的每个分块以用于在所述信道上的数字传输或者模拟传输。
2.根据权利要求1所述的设备，其中所述控制器被配置为：
确定所述多个分块中将被模拟传输的分块集合；以及
确定在对所述分块集合中的一个给定分块进行数字编码的情况下将由所述模拟传输导致的所述预计失真是否将会降低，
其中所述编码器被配置为响应于确定所述预计失真将会降低，对所述给定分块进行数字编码以用于数字传输。
3.根据权利要求2所述的设备，其中所述编码器被配置为响应于确定所述预计失真将保持不变或升高，对所述分块集合中的分块进行模拟编码以用于模拟传输。
4.根据权利要求2所述的设备，其中所述控制器进一步被配置为：
基于所述系数之间的所述偏离程度，从所述分块集合中选择所述给定分块，所述给定分块的系数之间的偏离程度大于所述分块集合的其余分块中的至少一个分块的系数之间的偏离程度。
5.根据权利要求2所述的设备，其中所述控制器被配置为如下确定所述预计失真：
至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；
基于所述传输资源约束和所述数字传输消耗的所述传输资源，确定所述模拟传输的可用传输资源；以及
基于所述可用传输资源和所述分块集合中的其余分块的系数之间的偏离程度，确定所述预计失真。
6.根据权利要求2所述的设备，其中所述编码器被配置为如下对所述给定分块进行数字编码：
以量化步长将所述给定分块量化为主分量和残差分量；以及
将所述给定分块的所述主分量进行数字编码。
7.根据权利要求6所述的设备，其中所述编码器进一步被配置为将所述给定分块的所述残差分量进行模拟编码以用于模拟传输；并且
其中所述控制器被配置为如下进一步确定所述预计失真：
基于所述量化步长确定表示所述残差分量的系数之间的偏离程度，以及
进一步基于表示所述残差分量的系数之间的所述偏离程度确定所述预计失真。
8.根据权利要求7所述的设备，其中所述控制器进一步被配置为如下确定所述给定分块的所述量化步长：
确定所述给定分块的初始量化步长；
基于所述初始量化步长测量表示所述给定分块的所述残差分量的系数之间的初始偏离程度；
至少基于所述初始偏离程度确定将由所述模拟传输导致的初始预计失真；以及
通过更新所述初始量化步长以降低所述初始预计失真，来确定所述给定分块的所述量化步长。
9.根据权利要求2所述的设备，其中所述控制器进一步被配置为：
至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；
基于所述数字传输消耗的所述传输资源，确定要被丢弃的分块的数目；以及
从所述分块集合中丢弃所确定的数目的分块，并且
其中所述控制器被配置为基于所述传输资源约束和所述分块集合中未被丢弃的分块的系数之间的偏离程度来确定所述预计失真。
10.根据权利要求9所述的设备，其中所述控制器被配置为基于可用于所述模拟传输的所述分块的偏离程度来从所述分块集合中丢弃所确定的数目的分块，被丢弃的分块的系数之间的偏离程度小于所述分块集合的其他分块中的至少一个分块的系数之间的偏离程度。
11.根据权利要求1所述的设备，进一步包括：
发射器，被配置为通过所述信道传输编码所述多个分块而获得的信号。
12.一种用于编码的方法，包括：
获得将要通过信道传输的帧的多个分块，所述多个分块由通过对所述帧应用变换而获得的系数来表示；
基于所述信道的传输资源约束和各个分块内的所述系数之间的偏离程度，确定将由所述信道上的模拟传输导致的预计失真；以及
基于所述多个分块的所述预计失真来选择性地编码所述多个分块中的每个分块以用于在所述信道上的数字传输或者模拟传输。
13.根据权利要求12所述的方法，进一步包括：
确定所述多个分块中将被模拟传输的分块集合；以及
确定在对所述分块集合中的一个给定分块进行数字编码的情况下将由所述模拟传输导致的所述预计失真是否将会降低，
其中编码所述多个分块包括：响应于确定所述预计失真将会降低，对所述给定分块进行数字编码以用于数字传输。
14.根据权利要求13所述的方法，其中编码所述多个分块进一步包括：响应于确定所述预计失真将保持不变或升高，对所述分块集合中的分块进行模拟编码以用于模拟传输。
15.根据权利要求13所述的方法，进一步包括：
基于所述系数之间的所述偏离程度，从所述分块集合中选择所述给定分块，所述给定分块的系数之间的偏离程度大于所述分块集合的其余分块中的至少一个分块的系数之间的偏离程度。
16.根据权利要求13所述的方法，其中确定所述预计失真包括：
至少基于所述给定分块的偏离程度，测量将由所述数字传输消耗的传输资源；
基于所述传输资源约束和所述数字传输消耗的所述传输资源，确定所述模拟传输的可用传输资源；以及
基于所述可用传输资源和所述分块集合中的其余分块的系数之间的偏离程度，确定所述预计失真。
17.根据权利要求13所述的方法，其中编码所述多个分块包括：
以量化步长将所述给定分块量化为主分量和残差分量；以及
将所述给定分块的所述主分量进行数字编码。
18.根据权利要求17所述的方法，其中编码所述多个分块进一步包括将所述给定分块的所述残差分量进行模拟编码以用于模拟传输；并且
其中确定所述预计失真包括：
基于所述量化步长确定表示所述残差分量的系数之间的偏离程度，以及
进一步基于表示所述残差分量的系数之间的所述偏离程度确定所述预计失真。
19.根据权利要求18所述的方法，其中确定所述给定分块的所述量化步长包括：
确定所述给定分块的初始量化步长；
基于所述初始量化步长测量表示所述给定分块的所述残差分量的系数之间的初始偏离程度；
至少基于所述初始偏离程度确定将由所述模拟传输导致的初始预计失真；以及
通过更新所述初始量化步长以降低所述初始预计失真，来确定所述给定分块的所述量化步长。
20.一种用于解码的设备，包括：
接收器，被配置为通过信道接收从帧的多个分块编码的信号，所述多个分块由通过对所述帧应用变换而获得的系数来表示、并且基于模拟传输的预计失真而选择性地以数字或模拟方式被编码，所述预计失真基于所述信道的传输资源约束和各个分块内的所述系数之间的偏离程度；以及
解码器，被配置为解码所述信号以获得所述帧的所述多个分块。
CN201610618067.0A 2016-07-29 2016-07-29 混合的数字-模拟编解码的方法和设备 Active CN107666472B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610618067.0A CN107666472B (zh) 2016-07-29 2016-07-29 混合的数字-模拟编解码的方法和设备
US16/311,129 US10869029B2 (en) 2016-07-29 2017-07-20 Hybrid digital-analog coding
PCT/US2017/042957 WO2018022391A1 (en) 2016-07-29 2017-07-20 Hybrid digital-analog coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610618067.0A CN107666472B (zh) 2016-07-29 2016-07-29 混合的数字-模拟编解码的方法和设备

Publications (2)

Publication Number Publication Date
CN107666472A CN107666472A (zh) 2018-02-06
CN107666472B true CN107666472B (zh) 2020-08-11

Family

ID=59501581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610618067.0A Active CN107666472B (zh) 2016-07-29 2016-07-29 混合的数字-模拟编解码的方法和设备

Country Status (3)

Country Link
US (1) US10869029B2 (zh)
CN (1) CN107666472B (zh)
WO (1) WO2018022391A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119619A (zh) * 2018-05-16 2020-12-22 深圳市大疆创新科技有限公司 图像传输
US11431962B2 (en) 2020-12-29 2022-08-30 Qualcomm Incorporated Analog modulated video transmission with variable symbol rate
US11553184B2 (en) 2020-12-29 2023-01-10 Qualcomm Incorporated Hybrid digital-analog modulation for transmission of video data
US11457224B2 (en) * 2020-12-29 2022-09-27 Qualcomm Incorporated Interlaced coefficients in hybrid digital-analog modulation for transmission of video data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394739A (zh) * 2011-08-06 2012-03-28 桂林市思奇通信设备有限公司 带内同频数模音频广播信号的产生方法和发送设备
CN102930545A (zh) * 2012-11-07 2013-02-13 复旦大学 一种图像质量盲评估的统计测度方法
CN103139571A (zh) * 2013-03-21 2013-06-05 南通大学 基于fec与wz编解码相结合的视频容错抗误码方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352809B2 (en) * 2003-02-21 2008-04-01 Polycom, Inc. System and method for optimal transmission of a multitude of video pictures to one or more destinations
US7253761B1 (en) * 2004-11-08 2007-08-07 United States Of America As Represented By The Secretary Of The Army Analog to digital conversion with signal expansion
US7693428B2 (en) * 2007-02-27 2010-04-06 Celight, Inc. Optical orthogonal frequency division multiplexed communications with nonlinearity compensation
US8036240B2 (en) * 2007-12-14 2011-10-11 Microsoft Corporation Software defined cognitive radio
US8160136B2 (en) * 2009-08-07 2012-04-17 Texas Instruments Incorporated Probabilistic bit-rate and rate-distortion cost estimation for video coding
US8542769B2 (en) * 2011-06-09 2013-09-24 St-Ericsson Sa High output power digital TX
JP2015026992A (ja) * 2013-07-26 2015-02-05 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
US9747656B2 (en) * 2015-01-22 2017-08-29 Digimarc Corporation Differential modulation for robust signaling and synchronization
CN106657961B (zh) * 2015-10-30 2020-01-10 微软技术许可有限责任公司 立体视频的混合数字-模拟编码

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394739A (zh) * 2011-08-06 2012-03-28 桂林市思奇通信设备有限公司 带内同频数模音频广播信号的产生方法和发送设备
CN102930545A (zh) * 2012-11-07 2013-02-13 复旦大学 一种图像质量盲评估的统计测度方法
CN103139571A (zh) * 2013-03-21 2013-06-05 南通大学 基于fec与wz编解码相结合的视频容错抗误码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Swift:A Hybrid Digital-Analog Scheme for Low-Delay Transmission of Mobile Stereo Video;Dongliang He等;《Modeling,Analysis and Simulation of Wireless and Mobile Systems》;20151102;全文 *

Also Published As

Publication number Publication date
WO2018022391A1 (en) 2018-02-01
US10869029B2 (en) 2020-12-15
US20190141316A1 (en) 2019-05-09
CN107666472A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
US11727548B2 (en) Method and apparatus for encoding and decoding HDR images
Padmaja et al. Analysis of various image compression techniques
US8805106B2 (en) System and method for compressing and decompressing images and video
CN107666472B (zh) 混合的数字-模拟编解码的方法和设备
US10515649B2 (en) Method for coding pulse vectors using statistical properties
CN115699020A (zh) 用于神经网络的量化
EP3069449B1 (en) Split gain shape vector coding
US20160316204A1 (en) Method and system for image compression using image block characteristics
CN102572426B (zh) 一种数据处理的方法和装置
US6771831B2 (en) Data compression method and system using globally optimal scalar quantization
US9990931B2 (en) Method for coding pulse vectors using statistical properties
EP2927865A1 (en) Method and apparatus for encoding and decoding HDR images
EP3180862B1 (en) Method for coding pulse vectors using statistical properties
US20140133552A1 (en) Method and apparatus for encoding an image
US11645079B2 (en) Gain control for multiple description coding
Pan et al. Complexity-scalable transform coding using variable complexity algorithms
US7570818B2 (en) Method for deblocking and transcoding a media stream
KR101089725B1 (ko) 무손실 영상 압축을 위한 임계 필터의 설계 방법, 그 필터를 이용한 무손실 영상 압축 장치 및 방법
KR101659377B1 (ko) 인코딩 방법 및 그 시스템
CN106817325A (zh) 经抽取预测和误差编码的信道估计缓存器压缩设备和方法
Wiewel FPGA implementation of an energy-efficient real-time image compression algorithm for the EIVE satellite mission
Kumar et al. JPEG Coding System Based on Mean Value Predictive Vector Quantization.
JP2004064126A (ja) 画像符号化装置および画像符号化方法、コンピュータプログラム
CN119341575A (zh) 一种分形数据压缩存储方法、系统及相关设备
CN114219869A (zh) 一种基于dct的图像特征编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant