CN110246099B - 一种保持结构边缘的图像去纹理方法 - Google Patents

Abstract

本发明提供了一种保持结构边缘的图像去纹理方法，对给定输入图像，计算自适应空间滤波核尺度、增强处理，增强图像中的结构边缘、进行自适应空间滤波核尺度的联合双边滤波，获得引导图像；根据引导图像，局部拉普拉斯图像滤波器，构造联合局部拉普拉斯滤波器，与联合双边滤波方法的线性混合；计算滤波器线性混合的插值系数；结合输入图像和引导图像，计算联合双边滤波的结果；使用插值系数将输入图像、联合双边滤波结果进行线性混合，得到纹理滤波后的图像。本发明充分考虑了输入图像结构边缘形状，保证滤波后的结果图像具有光滑的边缘和跟输入图像尽可能一致的边缘形状，在滤波结果中能够很好地保持输入图像的色彩效果，提升图像编辑处理的质量。

Description

一种保持结构边缘的图像去纹理方法

技术领域

本发明涉及数字图像编辑及计算机视觉技术领域，具体涉及一种保持结构边缘的图像去纹理方法。

背景技术

图像通常包含结构信息和纹理信息。图像去纹理是指采用适当的方法分离图像的结构与纹理信息，在去除纹理信息时要尽可能保护图像结构信息。图像去纹理方法在图像分割、物体识别、显著性检测、图像增强和图像风格化等领域都具有广泛的应用。例如图像去纹理方法能够用于去除非机动车道图像中包含的地砖纹理，可以作为预处理操作来提高盲道的自动化检测效果等。因此，图像去纹理在计算机视觉和计算摄影学等领域具有重要的作用。

近年来，图像去纹理方法被广泛研究。现有的方法包括基于边缘感知的局部滤波方法、基于优化的方法和基于图像块的方法。

基于边缘感知的局部滤波方法，这些方法依靠像素梯度来区分纹理和结构边缘，并采用加权平均机制剔除图像纹理。在这类方法中双边滤波器和引导滤波器是两种最著名的边缘感知图像滤波器。然而，这类方法没有采用明确的度量方法来区分边缘和纹理，因此它们通常无法很好地去除纹理。另一方面，基于全局优化的方法通常需要求解一个大型线性系统，导致它们在计算量上劣势明显。基于图像块的方法根据图像块的特征统计，采用加权平均或者联合双边滤波器对图像进行滤波，获得纹理滤波后的图像。此类方法会破坏去纹理后的图像结构边缘形状，一些细小的结构无法保留，导致在图像后续增强处理时在边缘附近产生明显的瑕疵。

现在多采用联合双边滤波进行图像去纹理，联合双边滤波函数的表达式如下(Johannes Kopf，Michael F.Cohen，Dani Lischinski，and Matt Uyttendaele.Jointbilateral upsampling.ACM Transactions on Graphics.2007，26(3)，Article 96)：

其中：p表示图像内的当前像素，q是p邻域内的像素，

是二维空间定义域滤波高斯核函数，其中σ_s是位置方差；

是值域滤波高斯核函数，其中σ_r是色彩方差；M表示引导图像；I表示输入图像；J表示输出图像；

是归一化系数。

为了保证能保留图像的小结构，一些方法在联合双边滤波中使用自适应空间尺度的引导图像，获得纹理滤波结果。然而这些方法只考虑了图像中纹理的空间尺度，可能会使滤波后输入图像中色彩差异不大的结构边缘也被去除，导致结构形状的缺失。此外基于联合双边滤波器的图像去纹理方法可能会导致边缘的梯度反置而产生诸如光晕等瑕疵。

为了取得在后续图像编辑操作中取得满意的结果，输入图像的色彩效果应该被保护，而且在纹理滤波后输出图像的结构边缘应当是光滑的，其边缘形状应该跟输入图像尽可能一致。因此，本发明提出了一种新的结构边缘保护的图像去纹理方法。该方法基于局部拉普拉斯滤波器，可以很好地保持图像滤波后结构边缘的形状以及保持输入图像的色彩变化。

发明内容

本发明的目的：本发明提出了一种新的保持结构边缘的图像去纹理方法。该方法提出了一种新的计算引导图像方法，结合引导图像和局部拉普拉斯滤波器可以很好地利用各自优点，有效解决传统联合双边滤波纹理滤波方法的问题，较好地在去除纹理信息同时能保护输入图像的结构边缘形状。

一种新的保持结构边缘的图像去纹理方法，其步骤如下：

步骤1：给定一幅输入图像I，I中像素p的强度值记为I_p。给定奇数k值，像素p的邻域N(p)是以像素p为中心的大小为k×k的二维矩形区域。计算自适应纹理滤波空间尺度σ_s(p)。

步骤2：对输入图像进行增处理，增强图像中较弱的结构边缘。

步骤3：根据步骤一求得的自适应纹理滤波空间尺度和步骤二增强后图像，计算纹理滤波的引导图像M。

步骤4：根据步骤3中求得的引导图像M，结局部拉普拉斯图像滤波器，构造联合局部拉普拉斯滤波器，变换该滤波器使其等价于输入图像与联合双边滤波方法的线性混合。

步骤5：根据步骤1求得的自适应纹理滤波空间尺度、用户给定的色彩方差和步骤3求得的引导图像，计算联合局部拉普拉斯滤波器的插值系数。

步骤6：结合输入图像I和步骤3求得的引导图像，计算联合双边滤波的结果。

步骤7：结合输入图像I、步骤5求得的插值系数和步骤6求得的联合双边滤波结果，采用线性混合方法，得到图像去纹理的结果。

所述步骤1中计算自适应纹理滤波空间尺度σ_s(p)时，首先计算结构方向相对总变化图像，记作dRTV。计算方法见式(1)：

其中，g_σ(p，q)表示方差为σ²的高斯函数，ε＝10^-6用来防止公式中分母为零。

表示像素q沿着结构方向角度φ的方向偏微分算子，见式(2)：

其中，

和

分别表示水平和垂直方向的微分算子。在[0，2π]中均匀采样12个不同方向的φ值，使用上述方法计算像素p的12个方向对应的

值，然后使用式(3)求得像素p的结构方向θ_p：

根据求得的结构方向θ_p，获得输入图像的结构方向相对变化图像

根据求得的结构方向相对变化图像，使用式(4)求得自适应纹理滤波空间尺度σ_s(p)：

Round(·)表示四舍五入运算；λ的值默认为0.005；|N(p)|表示像素p的邻域N(p)内的像素数量。

步骤2中所述增强图像较弱的结构边缘，使用引导图像滤波器(Guided imagefilter,详细内容参见Kaiming He，Jian Sun，and Xiaoou Tang.Guided ImageFiltering.European Conference on ComputerVision.2010)对输入图像I进行增强处理，增强图像对比度，强化输入图像I内强度较弱的结构边缘，求得增强后图像D。

步骤3中所述计算纹理滤波的引导图像M，根据步骤1求得的自适应空间尺度σ_s(p)和步骤2求得的增强后图像D，对输入图像I进行联合双边滤波，得到引导图像M。联合双边滤波方法见式(5)：

式中

是归一化系数。

步骤4中所述构造联合局部拉普拉斯滤波器时，以边缘感知的局部拉普拉斯金字塔图像滤波方法(详细内容参见Paris S，Hasinoff S W，Kautz J.Local Laplacianfilters[J].Communications of the ACM，2015，58(3)：81-91)为基础，考虑图像两层拉普拉斯金字塔，引入步骤3求得的引导图像M，修改局部拉普拉斯滤波器的变换函数空间r为式(6)：

r(p)＝p-(p-g)f(p_m-g_m) (6)；

p表示输入图像I的像素，g表示该图像高斯金字塔系数，f(*)表示为连续函数，p_m表示引导图像M的像素，g_m表示引导图像的高斯金字塔系数。对于两层的滤波器，需要计算输出图像J的拉普拉斯金字塔的两层图像L₀[J]和L₁[J]。假设输出图像的残差L₁[J]保持不变，即L₁[J]＝L₁[I]。输出图像J的拉普拉斯金字塔的第0层图像是变换图像r(I)和其对应低通滤波图像之间的差见式(7)：

p表示像素，

表示构建拉普拉斯金字塔的归一化高斯核函数，*表示卷积操作。输入图像I的金字塔最精细层表示为

金字塔系数g＝I_p，引导图像M的金字塔最精细层的系数g_m＝M_p。将重新定义的映射函数r代入式(7)，求得式(8)：

将残差层图像L₁[·]上采样，并加入到式(8)，推导后求得联合局部拉普拉斯滤波器的输出图像J，表示为式(9)：

q表示邻域Ω_p内的像素。结合联合双边滤波和式(9)，发现联合局部拉普拉斯滤波器跟联合双边滤波器有相似之处：两层的联合局部拉普拉斯滤波器输出图像J的第二项是使用

和连续函数f在空间邻域的加权平均。将f定义为引导图像M像素值范围偏差的高斯核函数，看到输出图像J的定义与联合双边滤波方法是高度相关的。

所述步骤4中变换联合局部拉普拉斯滤波器，其等价于输入图像与联合双边滤波方法的线性插值，令连续函数f为值域高斯核函数

则变换过程表示为式(10)～(14)：

J_p＝I_p+μ_p(JBF_p-I_p) (13)；

J_p＝(1-μ_p)I_p+μ_pJBF_p (14)；

其中

表示归一化高斯核函数，

是二维空间定义域滤波高斯核函数，其中σ_s是位置方差，其值为步骤1中求得的自适应纹理滤波空间尺度σ_s(p)；

是值域滤波高斯核函数，其中σ_r是色彩方差；μ表示插值系数，值为

JBF为输入图像I与引导图像M的联合双边滤波结果。

步骤5中所述计算插值系数μ，根据步骤4中推导结果，使用式(15)计算滤波器插值系数μ：

其中q是p邻域N(p)内的像素，

是归一化系数。

步骤6中所述计算联合双边滤波结果，根据自适应空间滤波尺度σ_s和用户指定的色彩方差σ_r，使用引导图像M，对输入图像进行联合双边滤波，得到相应的结果JBF，见式(16)：

步骤7中所述计算图像去纹理结果，结合输入图像I、步骤5求得的插值系数μ和步骤6求得的联合双边滤波结果JBF，采用步骤4中推导出的线性混合方法，得到图像去纹理的结果J见式(17)：

J＝(1-μ)I+μ·JBF (17)；

如果一次滤波效果不满意，可以将步骤7中求得的J赋值为新的输入图像，重复上述步骤，得到新的图像去纹理结果。一般重复迭代3-5次就可以获得满意的图像去纹理结果。

至此就完成了输入图像的去纹理操作。

本发明涉及的基于联合局部拉普拉斯滤波图像去纹理的优势在于，采用新技术手段，保证在纹理滤波后保护输入图像结构边缘的形状。结合引导图像和局部拉普拉斯滤波方法能够很好地利用各自的优点，有效解决传统联合双边纹理滤波方法的问题，实现高质量的纹理滤波。

附图说明

图1为本发明的基本流程示意图。

具体实施方式

下面结合附图对本发明进行详细说明；本实施例是以本发明技术方案为前提，进行实施的，并结合了详细的实施方式和过程。

如图1所示，本实施例所描述的一种新的结构边缘保护的图像去纹理方法包括如下步骤：

步骤1：给定一幅输入图像I，I中像素p的强度值记为I_p。给定奇数k值，像素p的邻域N(p)是以像素p为中心的大小为k×k的二维矩形区域。计算自适应纹理滤波空间尺度σ_s(p)。，首先计算结构方向相对总变化图像，记作dRTV。计算方法见式(1)：

其中，g_σ(p，q)表示方差为σ²的高斯函数，ε＝10^-6用来防止公式中分母为零。

表示像素q沿着结构方向角度φ的方向偏微分算子，见式(2)：

其中，

和

分别表示水平和垂直方向的微分算子。在[0，2π]中均匀采样12个不同方向的φ值，使用上述方法计算像素p的12个方向对应的

值，然后使用式(3)求得像素p的结构方向θ_p：

根据求得的结构方向θ_p，获得输入图像的结构方向相对变化图像

根据求得的结构方向相对变化图像，使用式(4)求得自适应纹理滤波空间尺度σ_s(p)：

Round(·)表示四舍五入运算；λ的值默认为0.005；|N(p)|表示像素p的邻域N(p)内的像素数量。

步骤2：对输入图像进行增处理，增强图像中较弱的结构边缘。增强图像较弱的结构边缘，使用引导图像滤波器(Guided image filter,详细内容参见Kaiming He，JianSun，and Xiaoou Tang.Guided Image Filtering.European Conference on ComputerVision.2010)对输入图像I进行增强处理，增强图像对比度，强化输入图像I内强度较弱的结构边缘，求得增强后图像D。

步骤3：根据步骤一求得的自适应纹理滤波空间尺度和步骤二增强后图像，计算纹理滤波的引导图像M。根据步骤1求得的自适应空间尺度σ_s(p)和步骤2求得的增强后图像D，对输入图像I进行联合双边滤波，得到引导图像M。联合双边滤波方法见式(5)：

式中

是归一化系数。

步骤4：根据步骤3中求得的引导图像M，结局部拉普拉斯图像滤波器，构造联合局部拉普拉斯滤波器，变换该滤波器使其等价于输入图像与联合双边滤波方法的线性混合。

构造联合局部拉普拉斯滤波器时，以边缘感知的局部拉普拉斯金字塔图像滤波方法(详细内容参见Paris S，Hasinoff S W，Kautz J.Local Laplacian filters[J].Communications of the ACM，2015，58(3)：81-91)为基础，考虑图像两层拉普拉斯金字塔，引入步骤3求得的引导图像M，修改局部拉普拉斯滤波器的变换函数空间r为式(6)：

r(p)＝p-(p-g)f(p_m-g_m) (6)；

p表示输入图像I的像素，g表示该图像高斯金字塔系数，f(*)表示为连续函数，p_m表示引导图像M的像素，g_m表示引导图像的高斯金字塔系数。对于两层的滤波器，需要计算输出图像J的拉普拉斯金字塔的两层图像L₀[J]和L₁[J]。假设输出图像的残差L₁[J]保持不变，即L₁[J]＝L₁[I]。输出图像J的拉普拉斯金字塔的第0层图像是变换图像r(I)和其对应低通滤波图像之间的差见式(7)：

p表示像素，

表示构建拉普拉斯金字塔的归一化高斯核函数，*表示卷积操作。输入图像I的金字塔最精细层表示为

金字塔系数g＝I_p，引导图像M的金字塔最精细层的系数g_m＝M_p。将重新定义的映射函数r代入式(7)，求得式(8)：

将残差层图像L₁[·]上采样，并加入到式(8)，推导后求得联合局部拉普拉斯滤波器的输出图像J，表示为式(9)：

q表示邻域Ω_p内的像素。结合联合双边滤波和式(9)，发现联合局部拉普拉斯滤波器跟联合双边滤波器有相似之处：两层的联合局部拉普拉斯滤波器输出图像J的第二项是使用

和连续函数f在空间邻域的加权平均。将f定义为引导图像M像素值范围偏差的高斯核函数，看到输出图像J的定义与联合双边滤波方法是高度相关的。

变换联合局部拉普拉斯滤波器，其等价于输入图像与联合双边滤波方法的线性插值，令连续函数f为值域高斯核函数

则变换过程表示为式(10)～(14)：

J_p＝I_p+μ_p(JBF_p-I_p) (13)；

J_p＝(1-μ_p)I_p+μ_pJBF_p (14)；

其中

表示归一化高斯核函数，

是二维空间定义域滤波高斯核函数，其中σ_s是位置方差，其值为步骤1中求得的自适应纹理滤波空间尺度σ_s(p)；

是值域滤波高斯核函数，其中σ_r是色彩方差；μ表示插值系数，值为

JBF为输入图像I与引导图像M的联合双边滤波结果。

步骤5：根据步骤1求得的自适应纹理滤波空间尺度、用户给定的色彩方差和步骤3求得的引导图像，计算联合局部拉普拉斯滤波器的插值系数。计算插值系数μ，根据步骤4中推导结果，使用式(15)计算滤波器插值系数μ：

其中q是p邻域N(p)内的像素，

是归一化系数。

步骤6：结合输入图像I和步骤3求得的引导图像，计算联合双边滤波的结果。根据自适应空间滤波尺度σ_s和用户指定的色彩方差σ_r，使用引导图像M，对输入图像进行联合双边滤波，得到相应的结果JBF，见式(16)：

步骤7：结合输入图像I、步骤5求得的插值系数和步骤6求得的联合双边滤波结果，采用线性混合方法，得到图像去纹理的结果。计算图像去纹理结果，结合输入图像I、步骤5求得的插值系数μ和步骤6求得的联合双边滤波结果JBF，采用步骤4中推导出的线性混合方法，得到图像去纹理的结果J见式(17)：

J＝(1-μ)I+μ·JBF (17)；

如果一次滤波效果不满意，可以将步骤7中求得的J赋值为新的输入图像，重复上述步骤，得到新的图像去纹理结果。一般重复迭代3-5次就可以获得满意的图像去纹理结果。

至此就完成了输入图像的去纹理操作。

Claims (1)

1.一种新的保持结构边缘的图像去纹理方法，其特征在于：包括如下步骤：

步骤1：给定一幅输入图像I，I中像素p的强度值记为I_p；给定奇数k值，像素p的邻域N(p)是以像素p为中心的大小为k×k的二维矩形区域；计算自适应纹理滤波空间尺度σ_s(p)；

首先计算结构方向相对总变化图像，记作dRTV；计算方法见式(1)：

其中，g_σ(p，q)表示方差为σ²的高斯函数，ε＝10^-6用来防止公式中分母为零；

表示像素q沿着结构方向角度φ的方向偏微分算子，见式(2)：

其中，

和

分别表示水平和垂直方向的微分算子；在[0，2π]中均匀采样12个不同方向的φ值，使用上述方法计算像素p的12个方向对应的

值，然后使用式(3)求得像素p的结构方向θ_p：

根据求得的结构方向θ_p，获得输入图像的结构方向相对变化图像

根据求得的结构方向相对变化图像，使用式(4)求得自适应纹理滤波空间尺度σ_s(p)：

Round(·)表示四舍五入运算；λ的值默认为0.005；|N(p)|表示像素p的邻域N(p)内的像素数量；

步骤2：对输入图像进行增处理，增强图像中较弱的结构边缘；使用引导图像滤波器对输入图像I进行增强处理，增强图像对比度，强化输入图像I内强度较弱的结构边缘，求得增强后图像D；

步骤3：根据步骤一求得的自适应纹理滤波空间尺度和步骤二增强后图像，计算纹理滤波的引导图像M；根据步骤1求得的自适应空间尺度σ_s(p)和步骤2求得的增强后图像D，对输入图像I进行联合双边滤波，得到引导图像M；联合双边滤波方法见式(5)：

式中

是归一化系数；

步骤4：根据步骤3中求得的引导图像M，结合局部拉普拉斯图像滤波器，构造联合局部拉普拉斯滤波器，变换该滤波器使其等价于输入图像与联合双边滤波方法的线性混合；

以边缘感知的局部拉普拉斯金字塔图像滤波方法为基础，考虑图像两层拉普拉斯金字塔，引入步骤3求得的引导图像M，修改局部拉普拉斯滤波器的变换函数空间r为式(6)：

r(p)＝p-(p-g)f(p_m-g_m) (6)；

p表示输入图像I的像素，g表示该图像高斯金字塔系数，f(*)表示为连续函数，p_m表示引导图像M的像素，g_m表示引导图像的高斯金字塔系数；对于两层的滤波器，需要计算输出图像J的拉普拉斯金字塔的两层图像L₀[J]和L₁[J]；假设输出图像的残差L₁[J]保持不变，即L₁[J]＝L₁[I]；输出图像J的拉普拉斯金字塔的第0层图像是变换图像r(I)和其对应低通滤波图像之间的差见式(7)：

p表示像素，

表示构建拉普拉斯金字塔的归一化高斯核函数，*表示卷积操作；输入图像I的金字塔最精细层表示为

金字塔系数g＝I_p，引导图像M的金字塔最精细层的系数g_m＝M_p；将重新定义的映射函数r代入式(7)，求得式(8)：

将残差层图像L₁[·]上采样，并加入到式(8)，推导后求得联合局部拉普拉斯滤波器的输出图像J，表示为式(9)：

q表示邻域Ω_p内的像素；结合联合双边滤波和式(9)，发现联合局部拉普拉斯滤波器跟联合双边滤波器有相似之处：两层的联合局部拉普拉斯滤波器输出图像J的第二项是使用

和连续函数f在空间邻域的加权平均；将f定义为引导图像M像素值范围偏差的高斯核函数，看到输出图像J的定义与联合双边滤波方法是高度相关的；

变换联合局部拉普拉斯滤波器，其等价于输入图像与联合双边滤波方法的线性插值，令连续函数f为值域高斯核函数

则变换过程表示为式(10)～(14)：

J_p＝I_p+μ_p(JBF_p-I_p) (13)；

J_p＝(1-μ_p)I_p+μ_pJBF_p (14)；

其中

表示归一化高斯核函数，

是二维空间定义域滤波高斯核函数，其中σ_s是位置方差，其值为步骤1中求得的自适应纹理滤波空间尺度σ_s(p)；

是值域滤波高斯核函数，其中σ_r是色彩方差；μ表示插值系数，值为

JBF为输入图像I与引导图像M的联合双边滤波结果；

步骤5：根据步骤1求得的自适应纹理滤波空间尺度、用户给定的色彩方差和步骤3求得的引导图像，计算联合局部拉普拉斯滤波器的插值系数；根据步骤4中推导结果，使用式(15)计算滤波器插值系数μ：

其中q是p邻域N(p)内的像素，

是归一化系数；

步骤6：结合输入图像I和步骤3求得的引导图像，计算联合双边滤波的结果；根据自适应空间滤波尺度σ_s和用户指定的色彩方差σ_r，使用引导图像M，对输入图像进行联合双边滤波，得到相应的结果JBF，见式(16)：

步骤7：结合输入图像I、步骤5求得的插值系数和步骤6求得的联合双边滤波结果，采用线性混合方法，得到图像去纹理的结果；结合输入图像I、步骤5求得的插值系数μ和步骤6求得的联合双边滤波结果JBF，采用步骤4中推导出的线性混合方法，得到图像去纹理的结果J见式(17)：

J＝(1-μ)I+μ·JBF (17)；

如果一次滤波效果不满意，将步骤7中求得的J赋值为新的输入图像，重复上述步骤一至步骤七，得到新的图像去纹理结果；一般重复迭代3-5次就可以获得满意的图像去纹理结果。

Images