CN105141858B - 照片背景虚化系统及其方法 - Google Patents

Abstract

本发明提供一种照片背景虚化系统及其方法。一种照片背景虚化系统，包括：图像相位检测模块，检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应；图像分离模块，根据所述相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离；所述主体图块为图像拍摄时自动对焦的对象部分的图块；图像虚化模块，将所述区域图块进行虚化处理；以及图像合成模块，将各个所述区域图块与所述主体图块合成最终背景虚化照片。

Description

照片背景虚化系统及其方法

技术领域

本发明涉及图像处理领域，尤指利用相位差进行图像处理。

背景技术

目前实现背景虚化的照片拍摄(本质上是图像处理)功能有两种方法：1.利用算法检测主体的边缘，得到分离的主体和背景图像，再对背景虚化，最后合成一张背景虚化的照片。2.使用两个摄像头，利用三角测距的原理，测出主体和背景景深差，通过景深差，再做背景虚化处理。

但上述两种方法存在一些比较明显的问题：

1.利用算法检测主体的边缘，如果主体和背景的颜色相近，就会出现不能正确分离主体和背景，这时合成的照片就会出现画面不协调，把主体也进行虚化或者背景不虚化。

2.使用双摄像头，利用三角测距的原理。首先，由于摄像头本身成本较高，双摄像头大大提高成本，一般用户难以承受。其次利用三角测距原理的软件计算方法过于复杂，效果不好。

发明内容

本发明目的是提供一种照片背景虚化系统及其方法，相位差进行图像处理，可以简便快捷的完成背景和主体的分离处理，完成照片背景虚化。 为了实现本发明目的，采用以下技术方案：

一种照片背景虚化系统，包括：

图像相位检测模块，检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应；

图像分离模块，根据所述相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离；所述主体图块为图像拍摄时自动对焦的对象部分的图块；

图像虚化模块，将所述区域图块进行虚化处理；

以及图像合成模块，将各个所述区域图块与所述主体图块合成最终背景虚化照片。

本技术方案首先检查各像素点的相位信息，之后以主体图块的相位信息作为比较的基准，把整个图像中和主体图块相位差一致的各个部分分离出若干区域图块，之后对这些区域图块进行虚化。通过该方式进行整个照片的背景虚化。

优选地，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，具体为，将整个图像中每一部分与主体图块相位差一致并且相互相邻的区域作为一区域图块，则整个图像中根据相位差分为若干区域图块。

本优选方案提供了提取区域区块的具体手段，若两个像素相对于主体图块的相位差一致，但它们距离甚远，其间像素明显不连续，则也不能判断在同一个图块内。

进一步优选地，所述相位差一致为相位差落入一定范围内。

实质上相位差一致并不表示相位差数值必须完全一模一样，而是一个范围。由于具体的同一个景物或人物本身不可能是一个纯粹的平面，成像时相位 必然是一个范围，而非固定值。因此系统默认只要在这个范围内，就是一个特定内容，构成一个区域图块。

进一步优选地，将所述区域图块进行虚化处理，具体为，

根据提取的各个区域图块的相位差，分别进行虚化处理，与所述主体图块相位接近或相同的区域图块不进行虚化，对于和主体图块相位差越大的区域图块虚化效果越强，对于和主体相位差越小的区域图块虚化效果越弱。

本优选方案根据相位差值来决定虚化的强弱，有突出强调主体的效果。

本发明还提供了一种照片背景虚化方法，包括以下步骤：

S1检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应；

S2根据所述相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离；

S3将所述区域图块进行虚化处理；

S4将各个所述区域图块与所述主体图块合成最终背景虚化照片。

优选地，所述主体图块为图像拍摄时自动对焦的对象部分的图块。

进一步优选地，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，具体为，将整个图像中每一部分与主体图块相位差一致并且相互相邻的区域作为一区域图块，则整个图像中根据相位差分为若干区域图块。

进一步优选地，所述相位差一致为相位差落入一定范围内。

进一步优选地，将所述区域图块进行虚化处理，具体为，

根据提取的各个区域图块的相位差，分别进行虚化处理，与所述主体图块 相位接近或相同的区域图块不进行虚化，对于和主体图块相位差越大的区域图块虚化效果越强，对于和主体相位差越小的区域图块虚化效果越弱。

本发明至少具有以下有益效果之一：

1.利用目前手机和数码相机自带的相位检测技术，包括分离镜头和线性传感器等硬件以及相应的处理程序，结合本发明系统和方法，照片背景虚化，不额外增加硬件，且实现方便简单。

2.本发明尤其适用于手机、平板等带有拍摄功能的智能设备，不同于专业摄影摄像设备，本发明软硬件开销小，几乎不增加成本。

3.强化照片主体内容，弱化背景，根据相位差值来决定虚化的强弱，有突出强调主体的效果。

4.本发明经测试使用，效果理想，功能稳定。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明：

图1为相位检测原理示意图

图2为本发明照片背景虚化系统的一种实施例示意图；

图3为本发明照片背景虚化方法流程示意图；

图4为本发明主体图块和区域图块图像分离示意图。

图中：

100照片背景虚化系统

1图像相位检测模块 2图像分离模块 3图像虚化模块 4图像合 成模块

a对焦准确 b焦点在被摄主体之前 c焦点在被摄主体之后

F等效焦平面 L分离透镜 S参考信号

A主体图块 B、C、D区域图块

XY作为基准的一对CCD元件之间的距离。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下说明和附图对于本发明是示例性的，并且不应被理解为限制本发明。以下说明描述了众多具体细节以方便对本发明理解。然而，在某些实例中，熟知的或常规的细节并未说明，以满足说明书简洁的要求。

应用本发明的设备通常包括处理器，含单核处理器或多核处理器。处理器也可称为一个或多个微处理器、中央处理单元(CPU)等等。更具体地，处理器可为复杂的指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器，或实现指令集组合的处理器。处理器还可为一个或多个专用处理器，尤其是图形处理器，或者诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、通信处理器、密码处理器、协处理器、嵌入式处理器、或能够处理指令的任何其他类型的逻辑部件。处理器用于执行本发明所讨论的操作和步骤的指令。

如图1，相位检测原理如下：相位检测硬件方面包括一组分离透镜L和线 性的CCD图像传感器阵列。通过分离透镜L分离出两个图像，然后通过线性的CCD图像传感器阵列检测出两个图像之间的距离

目前透镜分离相位检测方式使用在单反相机、手机等数字摄影摄像设备上，也是一种通过摄影镜头的方式。透镜分离相位检测装置由一组分离透镜L和一组或多组由感光元件组成的测距组件构成。目前感光元件有三大类：第一类是CCD感光元件，许多厂家都使用这类元件。CCD，英文全称：Charge-coupledDevice，中文全称：电荷耦合元件。可以称为CCD图像传感器，也叫图像控制器。CCD是一种半导体器件，能够把光学影像转化为数字信号。另外两类是Canon公司的BASIS(BAse-Store Image Sensor，基存储影像传感器)和CMOSBASIS。

测距组件上的感光元件是排成一个阵列(一般是排成一行)。上述感光元件的特点是在光线照射下，会产生一定的电信号。分离透镜L的作用是将通过摄影镜头的光线分裂成两束并调焦，分别投影到测距组件上。

如图1，下面以本发明中以CCD图像传感器阵列(以下简称CCD阵列)的测距组件为例，来说明相位检测的工作原理。当调焦准确时，经过分离透镜L生成的两束光线投影在CCD阵列上的距离是一定的，从而CCD阵列上被光束照射所产生的电荷的那一对CCD元件的位置也是固定不变的。这对CCD元件之间的距离在照相机设计时已经整定好了，作为焦点检测的基准。

调焦准确时见图中a，用XY来表示作为基准的一对CCD元件之间的距离。当调焦不准时，有两种可能性。一种是镜头焦点在被摄体之前，见图中b。此时受光的两只CCD元件之间的距离短于XY；另一种情况是镜头焦点在被摄体之后，见图中c，此时受光的两只CCD元件之间的距离长于XY，根据受光的 一对CCD元件之间的距离，就能鉴别出焦点是否准确。两只CCD元件所产生的电信号经过转换电路和模拟/数字转换电路，再送入照相机内的CPU(处理器)，CPU按照厂家所设定的程序及根据这对CCD元件的距离与XY的差值，可计算出散焦量(即实际焦点与准确焦点之差)以及散焦方向，即完成本发明所需的相位检测。

第一实施例

如图2为照片背景虚化系统的一种实施例示意图。照片背景虚化系统100，包括：

图像相位检测模块1，检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应。相位检测的原理和具体内容上面已经说明，此处不再赘述。

图像分离模块2，根据相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离。主体图块为图像拍摄时自动对焦的对象部分的图块。以拍摄时，主要拍摄人像为例：自动对焦的对象是人，则该人像的图块为主体图块。其他周边建筑、树木、远处的山等景物各自分别根据与主体图块的相位差均被提取为单独的区域图块。该相位差实际反映了景物相对于相机(或手机等，以下以相机为例)和人相对于相机的距离差。以下将沿用此例子。

图像虚化模块3，将区域图块进行虚化处理。除主体图块即人像以外，其他区域图块进行虚化处理。虚化处理为目前已有的图像处理技术。

以及图像合成模块4，将各个区域图块与主体图块合成最终背景虚化照片。

其中，以主体图块的相位信息作为比较的基准，把整个图像中和主体图块相位差一致的各个部分分离出若干区域图块。实际上区域图块的相位信息反映了拍照的主体(例如人)相对于相机和其他部分(例如景物)相对于相机的距离。按照一般拍照习惯，作为拍照主体，需要清晰和突出，背景虚化能够满足此需求。

对上述实施例进行优化，得到优选的另一实施例，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，具体为，将整个图像中每一部分与主体图块相位差一致并且相互相邻的区域作为一区域图块，则整个图像中根据相位差分为若干区域图块。若两个像素相对于主体图块的相位差一致，但它们距离甚远，其间像素明显不连续，则也不能判断在同一个图块内。以上述例子说明，则是若人的两侧各有分别有一个树木和一个建筑，树木和建筑距离相机和人距离相机的相对差值，是几乎相同的距离，则树木和建筑虽然与人的相位差一致，但其互相之间并没有存在连续的相位差一致的像素，也不会被提取为同一区域图块，而是成为两个单独的区域图块。

相位差一致为相位差落入一定范围内。实质上相位差一致并不表示相位差数值必须完全一模一样，而是一个范围。由于具体的同一个景物或人物本身不可能是一个纯粹的平面，成像时相位必然是一个范围，而非固定值。因此系统默认只要在这个范围内，就是一个特定内容，构成一个区域图块。

对上述实施例进行优化，得到优选的另一实施例，将区域图块进行虚化处理，具体为，根据提取的各个区域图块的相位差，分别进行虚化处理，与主体图块相位接近或相同的区域图块不进行虚化，对于和主体图块相位差越大的区 域图块虚化效果越强，对于和主体相位差越小的区域图块虚化效果越弱。根据相位差值来决定虚化的强弱，有突出强调主体的效果。

下面，根据图3和图4具体说明本发明照片背景虚化方法的优选实施例。如图3为本发明照片背景虚化方法流程示意图，具体步骤为：

S1检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应；

S2根据相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离。

S3将区域图块进行虚化处理。

S4将各个区域图块与主体图块合成最终背景虚化照片。

图4为本发明主体图块和区域图块图像分离示意图。如图4，通过得到的相位差信息，把图像中和主体相位差一致的图像分离出来，如图4分离出A,、B、C、D4个图块，其中A是画面中央也就是主体图块，假设主体图块A是自动对焦的对象即被拍摄人的影像；区域图块B是最远的一座山的影像；区域图块C是一棵树的影像；区域图块D是一个建筑的影像。一座山相对于相机的垂直距离比被拍摄人远；一棵树相对于相机的垂直距离比被拍摄人近；一个建筑和被拍摄人相对于相机的垂直距离是在同一平面。我们对被拍摄人做自动对焦，对焦完成后，在相机图像预览时形成的图像中，主体图块A在图像传感器中相位差信息为一个固定值0。由于区域图块B拍摄的对象比主体图块A拍摄的对象距离远，所以区域图块B被图像传感器检测出的相位差信息为一个小于 0的数字。区域图块C拍摄的对象比主体图块A拍摄的对象的距离近，所以区域图块C被图像传感器检测出相位差信息为一个大于0的数字。区域图块D拍摄的对象和主体图块拍摄的对象A在同一平面，所以其被图像传感器检测出的相位差信息和主体图块A一样也为0。由于各个区域的相位差不一样，可以轻易分离出各个图块。

之后，根据提取的各个区域图块的相位差，分别进行虚化处理，与主体图块A相位接近或相同的区域图块D不进行虚化。对于和主体图块A相位差越大的区域图块虚化效果越强，则区域图块B虚化效果较强；对于和主体相位差越小的区域图块虚化效果越弱，则区域图块C虚化效果较弱。最后得到的照片中，人像和建筑的影像不进行虚化，远处的一座山虚化效果最强，较近的一棵树虚化效果较弱。这样突出了需要拍摄的主要内容。

为了突出本发明的创新部分，本发明上述各设备实施例并没有将与解决本发明所提出的技术问题关系不太密切的模块引入，这并不表明上述设备实施例并不存在其它的模块。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干省略、改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种照片背景虚化系统，其特征在于，包括：

图像相位检测模块，检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应；

所述检测整个图像中各像素点的相位信息包括：

分离透镜将各个像素点对应的光线分裂并投影至测距组件，所述测距组件检测出各个像素点的相位信息；

图像分离模块，根据所述相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离；所述主体图块为图像拍摄时自动对焦的对象部分的图块；

将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，具体为，将整个图像中每一部分与主体图块相位差一致并且相互相邻的区域作为一区域图块，则整个图像中根据相位差分为若干区域图块；

图像虚化模块，将所述区域图块进行虚化处理；

将所述区域图块进行虚化处理，具体为，

根据提取的各个区域图块的相位差，分别进行虚化处理，与所述主体图块相位接近或相同的区域图块不进行虚化，对于和主体图块相位差越大的区域图块虚化效果越强，对于和主体相位差越小的区域图块虚化效果越弱；

以及图像合成模块，将各个所述区域图块与所述主体图块合成最终背景虚化照片。

2.根据权利要求1所述的照片背景虚化系统，其特征在于，所述相位差一致为相位差落入一定范围内。

3.一种照片背景虚化方法，其特征在于，包括以下步骤：

S1检测整个图像中各像素点的相位信息，并把相位信息和图像中各像素点对应；

S2根据所述相位信息，将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，实现图像分离；

将整个图像中与主体图块相位差一致的各部分分别提取为单独的区域图块，具体为，将整个图像中每一部分与主体图块相位差一致并且相互相邻的区域作为一区域图块，则整个图像中根据相位差分为若干区域图块；

S3将所述区域图块进行虚化处理；

将所述区域图块进行虚化处理，具体为，

根据提取的各个区域图块的相位差，分别进行虚化处理，与所述主体图块相位接近或相同的区域图块不进行虚化，对于和主体图块相位差越大的区域图块虚化效果越强，对于和主体相位差越小的区域图块虚化效果越弱；

S4将各个所述区域图块与所述主体图块合成最终背景虚化照片。

4.根据权利要求3所述的照片背景虚化方法，其特征在于，所述主体图块为图像拍摄时自动对焦的对象部分的图块。

5.根据权利要求3或4所述的照片背景虚化方法，其特征在于，所述相位差一致为相位差落入一定范围内。