CN107292821A - 一种超分辨率图像重建方法及系统 - Google Patents

Abstract

本发明提供一种超分辨率图像重建方法及系统，包括对训练影像库中训练影像的所有像素进行K均值分类，记录聚类中心；对各训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录各图像块所属类别，分别求取每个类别的联合字典；对待重建的低分测试影像进行分块，并计算每个图像块与各聚类中心的距离，按照最小距离原则进行分类，自适应选择相应类别的联合字典进行稀疏建模，求解得到稀疏系数；利用联合字典和稀疏系数，重建低分测试影像中每个图像块相应的高分辨率图像块，得到整幅低分测试影像相应的最优重建影像。本发明能自适应地训练联合字典，并且自适应地选择合适的字典进行稀疏建模，重建精度更好。

Description

一种超分辨率图像重建方法及系统

技术领域

本发明属于计算机视觉领域，特别涉及一种通过训练联合字典和自适应稀疏建模，对影像进行超分辨率重建的技术方案。

背景技术

超分辨率重建技术(SR)是指利用一定的方法，将一幅或者多幅低分辨影像重构成具有更高像素密度和细节信息的高分辨率影像。在生物医学、遥感监测、公共安全等领域发挥着十分重要的作用。

信号稀疏性表达一直以来都为研究人员所关注,如经典图像压缩算法JPEG的基本原理就是利用影像在DCT域中的稀疏性对其进行压缩。2006年Candes等人提出压缩感知理论并对其进行系统论证之后，利用信号的稀疏性进行分析与应用更是成为了研究热点。

图像的超分辨率重建算法一直是研究者们关心的问题。高分辨率影像经过形变、模糊、抽样以及加入系统噪声之后降质为低分辨率影像。如何逆向求解，还原或者构建出更加清晰的影像成为大家研究的重点。图像的过完备稀疏表示成为了近年来的主流图像表示模型，利用图像稀疏性进行影像去噪和超分辨率重建的研究也因此持续不断。自2008年Yang等人从压缩感知中获得启发，利用稀疏编码进行超分重建之后，该方法的研究持续升温。该方法通过字典和稀疏系数建立起高、低分辨率图像块的对应关系，首先从图像训练库中获取对应的高、低分辨率图像块，然后运用特征符号搜索算法(Feature-Sign Search，FSS)解决求解字典和稀疏系数时的l₁约束优化问题，并通过联合训练高、低分辨率字典对，使得LR图像块和HR图像块在对应的字典中具有相同的稀疏系数。重构时通过LR图像块和LR字典求得稀疏系数，再利用HR字典和该稀疏系数求得对应的HR图像块。经典的基于稀疏表达的超分辨率重建存在两方面的不足：①采用FSS线性规划训练字典，运算量较大；②训练字典时仅采用梯度特征区分图像块，字典表示能力有限。

发明内容

针对现有方法的不足，发明了一种基于稀疏表达和自适应多分辨率联合字典的超分辨率重建方法和系统，有效的弥补原有方法字典能力表示不足的缺点，提高图像超分辨率重建精度。

为实现上述目的，本发明的技术方案提供一种超分辨率图像重建方法，包括以下步骤，

步骤a，对训练影像库中训练影像的所有像素进行K均值分类，记录聚类中心；对各训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录各图像块所属类别；

步骤b，根据步骤a的图像块分类结果，分别求取每个类别C_k的联合字典{D_h,D_l},k＝1,…,K，其中，D_h是高分字典，D_l为低分字典；

步骤c，对待重建的低分测试影像y进行分块，并计算每个图像块与各聚类中心的距离，按照最小距离原则进行分类，自适应选择相应类别的联合字典进行稀疏建模，求解得到稀疏系数α^*；

步骤d，利用联合字典和稀疏系数α^*，重建低分测试影像y中每个图像块y_i相应的高分辨率图像块 得到整幅低分测试影像y相应的最优重建影像。

而且，最小距离原则采用欧式距离实现。

而且，步骤c中，设某图像块y_i属于类别C_k，选择相应的第k类联合字典{D_h,D_l}，按照下述公式进行稀疏表达，

其中，α为稀疏系数，向量向量β是预设参数，矩阵P是提取当前图像块和先前重建的高分辨率图像块之间的重叠区域的矩阵，ω是当前图像块和先前重建的高分辨率图像块上的重叠区域的像素值，F是线性特征提取算子。

本发明还提供一种超分辨率图像重建系统，包括以下模块，

第一模块，用于对训练影像库中训练影像的所有像素进行K均值分类，记录聚类中心；对各训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录各图像块所属类别；

第二模块，用于根据步骤a的图像块分类结果，分别求取每个类别C_k的联合字典{D_h,D_l},k＝1,…,K，其中，D_h是高分字典，D_l为低分字典；

第三模块，用于对待重建的低分测试影像y进行分块，并计算每个图像块与各聚类中心的距离，按照最小距离原则进行分类，自适应选择相应类别的联合字典进行稀疏建模，求解得到稀疏系数α^*；

第四模块，用于利用联合字典和稀疏系数α^*，重建低分测试影像y中每个图像块y_i相应的高分辨率图像块 得到整幅低分测试影像y相应的最优重建影像。

而且，最小距离原则采用欧式距离实现。

而且，第三模块中，设某图像块y_i属于类别C_k，选择相应的第k类联合字典{D_h,D_l}，按照下述公式进行稀疏表达，

其中，α为稀疏系数，向量向量β是预设参数，矩阵P是提取当前图像块和先前重建的高分辨率图像块之间的重叠区域的矩阵，ω是当前图像块和先前重建的高分辨率图像块上的重叠区域的像素值，F是线性特征提取算子。

针对现有技术中字典表示能力不足的缺点，本发明利用训练影像库中的训练影像的所有像素进行分类，再决定各图像块分类，自适应构建联合字典加以改进，希望能更好地对图像进行表示。相比于现有的方法，本发明能自适应地训练联合字典，并且能够根据图像块的基本特征自适应地选择合适的字典进行稀疏建模，精度更好，可以在医疗图像、卫星图像和视频等应用领域推广使用，具有重要的市场价值。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。

如图1，本发明实施例提出对影像进行基于稀疏表达的自适应多分辨率联合字典的超分辨率重建，先对训练图像库进行自适应地联合字典训练，再对模糊影像进行稀疏建模，得到稀疏系数后重建影像并输出。具体过程如下：

步骤a，对训练影像库中的训练影像的所有像素进行K均值分类，记录聚类中心，对训练影像进行分块分类；

实施例中，训练影像库中有若干高分辨率的训练影像，读取所有训练影像的像素并利用K均值算法求取K个聚类中心，并对训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录下每张训练影像的各图像块所属类别。具体实施时，用户可自行预设K的取值，以及划分图像块的尺寸参数。优选地，图像分块采用有重叠的划分，即两个相邻的块之间有若干像素是重叠的，例如每个图像块尺寸为40×40，相邻图像块之间重叠5个像素。

为便于实施参考起见，提供K均值算法如下：

1)从N张训练影像的所有像素中随机选取K个像素值作为聚类中心；

2)对剩余的每个像素，计算其到每个质心的距离，并把它归到最近的质心的类；

3)重新计算已经得到的各个类的聚类中心；

4)迭代2)～3)直至新的聚类中心与原聚类中心相等或小于预设的指定阈值，算法结束。

实施例的步骤a中，设z_n,n＝1,…,N是训练图像库中的待训练图像。利用K均值算法对所有高分辨率的训练影像中像素x_q进行聚类，q＝1,…,Q，Q为所有训练影像的像素总数。产生K个类别，设某类别记为其中C_k为第k类，为类别C_k中的第t个像素样本，q_k为类别C_k中的像素个数，满足计算C_k的类中心以及半径

对任一训练图像上的某图像块，比较到各个类中心μ_k的距离，根据最小值确认所属类别。具体实施时，用户可选择距离度量方式，例如欧氏距离、马氏距离等。实施例优先采用欧式距离。

步骤b，根据步骤a的图像块分类结果，逐类进行联合字典的训练；

每张训练影像作为高分影像，都有对应的低分影像，低分影像上划分和训练影像上的高分辨率图像块一一对应的低分辨率图像块。

根据属于各类别C_k的高分辨率图像块和相应低分辨率图像块，分别求取每个类别C_k的联合字典{D_h,D_l},k＝1,…,K。其中，D_h是高分字典，D_l为低分字典。

实施例的步骤b中，对于不同类别C_k，求解得到高分辨率图像块与低分辨率图像块间的联合字典{D_h,D_l}，求解公式如下：

式中，Z表示稀疏系数矩阵，X^h是高分辨率图像块，Y^l是对应的低分辨率图像块。N和M分别是高分辨率和低分辨率图像块展开成一维向量形式的维度，具体实施时可以采用上到下从左到右等方式展开图像块。参数λ用于平衡解的稀疏性，具体实施时可取经验值。

步骤c，对待重建的低分测试影像y进行分块，并计算每个图像块y_i与各聚类中心的距离，按照最小距离原则对图像块y_i进行分类，选择相应类别的联合字典进行稀疏建模，求解稀疏系数；

实施例的步骤c中，对低分测试影像y进行分块，分别求图像块到各聚类中心μ_k的欧式距离，并按照最小距离分类：即对于低分测试影像y中某图像块y_i，其所属类 (d_k代表当前图像块到第k个聚类中心的距离，表示取最小的d_k)。

实施例中最小距离原则和步骤a一致，采用欧式距离实现。对待重建的低分测试影像y进行分块的方式，与训练图像对应的低分影像分块方式一致。

选择相应的第k类联合字典{D_h,D_l}，按照下述公式进行稀疏表达：

其中，α为稀疏系数，向量向量β是为了保持高分辨率图像块匹配低分辨率输入和邻域之间的一致性的预设参数，实施例中β取经验值(如部分文献令β＝1)。矩阵P是提取当前图像块和先前重建的高分辨率图像块之间的重叠区域的矩阵，ω包含了当前图像块和先前重建的高分辨率图像块上的重叠区域的像素值。F是线性特征提取算子。由此得到最优的稀疏系数，记为α^*。

步骤d，利用联合字典和稀疏系数α^*重建低分测试影像y中每个图像块y_i相应的高分辨率图像块 将低分测试影像y中各图像块分别重建后放入对应的高分辨率影像的对应位置，对于重叠部分采取求均值的方式，这样就可输出整幅低分测试影像y相应的最优重建影像。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。

本发明实施例还提供一种超分辨率图像重建系统，包括以下模块，

第一模块，用于对训练影像库中训练影像的所有像素进行K均值分类，记录聚类中心；对各训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录各图像块所属类别；

第二模块，用于根据步骤a的图像块分类结果，分别求取每个类别C_k的联合字典{D_h,D_l},k＝1,…,K，其中，D_h是高分字典，D_l为低分字典；

第三模块，用于对待重建的低分测试影像y进行分块，并计算每个图像块与各聚类中心的距离，按照最小距离原则进行分类，自适应选择相应类别的联合字典进行稀疏建模，求解得到稀疏系数α^*；

第四模块，用于利用联合字典和稀疏系数α^*，重建低分测试影像y中每个图像块y_i相应的高分辨率图像块 得到整幅低分测试影像y相应的最优重建影像。

各模块具体实现可参见相应步骤，本发明不予赘述。

综上所述，本发明先是通过训练影像库自适应地构建多个联合字典，然后对影像进行分块处理，每一块图像块都自适应地选择相应的字典进行稀疏重建，输出高分影像。该技术方案结合了联合字典以及自适应选择多字典的优点，是重建出更高质量的影像的保证。

Claims (6)

1.一种超分辨率图像重建方法，其特征在于：包括以下步骤，

步骤a，对训练影像库中训练影像的所有像素进行K均值分类，记录聚类中心；对各训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录各图像块所属类别；

步骤b，根据步骤a的图像块分类结果，分别求取每个类别C_k的联合字典{D_h,D_l},k＝1,…,K，其中，D_h是高分字典，D_l为低分字典；

步骤c，对待重建的低分测试影像y进行分块，并计算每个图像块与各聚类中心的距离，按照最小距离原则进行分类，自适应选择相应类别的联合字典进行稀疏建模，求解得到稀疏系数α^*；

步骤d，利用联合字典和稀疏系数α^*，重建低分测试影像y中每个图像块y_i相应的高分辨率图像块 得到整幅低分测试影像y相应的最优重建影像。

2.根据权利要求1所述超分辨率图像重建方法，其特征在于：最小距离原则采用欧式距离实现。

3.根据权利要求1或2所述超分辨率图像重建方法，其特征在于：步骤c中，设某图像块y_i属于类别C_k，选择相应的第k类联合字典{D_h,D_l}，按照下述公式进行稀疏表达，

其中，α为稀疏系数，向量向量β是预设参数，矩阵P是提取当前图像块和先前重建的高分辨率图像块之间的重叠区域的矩阵，ω是当前图像块和先前重建的高分辨率图像块上的重叠区域的像素值，F是线性特征提取算子。

4.一种超分辨率图像重建系统，其特征在于：包括以下模块，

第一模块，用于对训练影像库中训练影像的所有像素进行K均值分类，记录聚类中心；对各训练影像进行图像分块，基于聚类中心按照最小距离原则对所有训练影像的图像块进行分类，记录各图像块所属类别；

第二模块，用于根据步骤a的图像块分类结果，分别求取每个类别C_k的联合字典{D_h,D_l},k＝1,…,K，其中，D_h是高分字典，D_l为低分字典；

第三模块，用于对待重建的低分测试影像y进行分块，并计算每个图像块与各聚类中心的距离，按照最小距离原则进行分类，自适应选择相应类别的联合字典进行稀疏建模，求解得到稀疏系数α^*；

第四模块，用于利用联合字典和稀疏系数α^*，重建低分测试影像y中每个图像块y_i相应的高分辨率图像块 得到整幅低分测试影像y相应的最优重建影像。

5.根据权利要求4所述超分辨率图像重建系统，其特征在于：最小距离原则采用欧式距离实现。

6.根据权利要求4或5所述超分辨率图像重建系统，其特征在于：步骤c中，设某图像块y_i属于类别C_k，选择相应的第k类联合字典{D_h,D_l}，按照下述公式进行稀疏表达，

其中，α为稀疏系数，向量向量β是预设参数，矩阵P是提取当前图像块和先前重建的高分辨率图像块之间的重叠区域的矩阵，ω是当前图像块和先前重建的高分辨率图像块上的重叠区域的像素值，F是线性特征提取算子。