CN107623817B - 视频背景处理方法、装置和移动终端 - Google Patents

Abstract

本申请公开了一种视频背景处理方法、装置和移动终端，其中，该方法包括：在确定与第一用户视频通话的第二用户的当前视频画面中存在除第二用户之外的第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像；处理三维背景图像和深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定三维背景图像中的背景区域；识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

Description

视频背景处理方法、装置和移动终端

技术领域

本申请涉及通信技术领域，尤其涉及一种视频背景处理方法、装置和移动终端。

背景技术

随着科技水平的发展，手机、平板电脑等终端的功能日益强大。例如，越来越多的终端配置了摄像头，用户可通过摄像头拍摄照片、录像、视频聊天等等。

在用户通过摄像头与对方进行视频聊天的过程，视频画面中不仅会显示用户画面，还会显示用户所在场景的画面，由于用户所在场景中可能会涉及一些个人隐私，因此，在视频过程中，通常用户只希望对方看到自己所在场景的画面，而不希望其他无关用户看到自己所在场景中的隐私信息。

然而，在双方视频的过程中，当用户发现对方视频画面中有其他人时，用户需要手动关闭视频通话，对于用户来说，操作不方便，如果关闭不及时，视频画面可能已经被看到了。因此，如何避免视频时，用户的个人隐私信息被泄露，对于保护用户的隐私安全，改善用户体验，具有重要意义。

发明内容

本申请的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请的第一个目的在于提出一种视频背景处理方法，该方法在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

本申请的第二个目的在于提出一种视频背景处理装置。

本申请的第三个目的在于提出一种计算机可读存储介质。

本申请的第四个目的在于提出一种移动终端。

本申请的第五个目的在于提出一种计算机程序。

本申请第一方面实施例的视频背景处理方法，包括：获取与第一用户视频通话的第二用户的当前视频画面；在确定所述当前视频画面中存在除所述第二用户之外的第三用户时，获取所述第一用户所在场景的三维背景图像，并获取所述第一用户的深度图像；处理所述三维背景图像和所述深度图像以提取所述第一用户在所述三维背景图像中的人物区域，并根据所述人物区域确定所述三维背景图像中的背景区域；识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景。

根据本申请实施例的视频背景处理方法，在第一用户与第二用户视频通话的过程中，在确定第二用户视频画面中存在第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像，然后，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定背景区域，以及识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

本申请第二方面实施例的视频背景处理装置，包括：第一获取模块，用于获取与第一用户视频通话的第二用户的当前视频画面；图像采集模块，用于在确定所述当前视频画面中存在除所述第二用户之外的第三用户时，获取所述第一用户所在场景的三维背景图像，并获取所述第一用户的深度图像；第一处理模块，用于处理所述三维背景图像和所述深度图像以提取所述第一用户在所述三维背景图像中的人物区域，并根据所述人物区域确定所述三维背景图像中的背景区域；第二处理模块，用于识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景。

根据本申请实施例的视频背景处理装置，在第一用户与第二用户视频通话的过程中，在确定第二用户视频画面中存在第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像，然后，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定背景区域，以及识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

本申请第三方面实施例提供了一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本申请第一方面实施例的视频背景处理方法。

本申请第四方面实施例的移动终端，所述移动终端包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行本申请第一方面实施例的视频背景处理方法。

根据本申请实施例的移动终端，在第一用户与第二用户视频通话的过程中，在确定第二用户视频画面中存在第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像，然后，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定背景区域，以及识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

本申请第五方面实施例提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本申请第一方面实施例的视频背景处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本申请一个实施例的视频背景处理方法的流程图；

图2是获取第一用户的深度图像的细化流程图；

图3是解调结构光图像的各个像素对应的相位信息以得到第一用户的深度图像的细化流程图；

图4(a)至图4(e)是根据本申请一个实施例的结构光测量的场景示意图；

图5(a)和图5(b)是根据本申请一个实施例的结构光测量的场景示意图；

图6是处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域的细化流程图；

图7是根据本申请另一个实施例的视频背景处理方法的流程图；

图8是根据本申请一个实施例的本申请实施例的视频背景处理装置的结构示意图；

图9是根据本申请另一个实施例的本申请实施例的视频背景处理装置的结构示意图；

图10是根据本申请又一个实施例的本申请实施例的视频背景处理装置的结构示意图；

图11是根据本申请再一个实施例的本申请实施例的视频背景处理装置的结构示意图；

图12是根据本申请一个实施例的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的视频背景处理方法、装置、移动终端和计算机可读存储介质。

图1是根据本申请一个实施例的视频背景处理方法的流程图。该实施例的视频背景处理方法应用在终端中。其中，终端可以包括手机、平板电脑、智能穿戴式设备等具有各种操作系统的硬件设备。如图1所示，该视频背景处理方法包括以下步骤：

S11，获取与第一用户视频通话的第二用户的当前视频画面。

具体地，在第一用户与第二用户视频通话的过程中，第一用户的终端从视频显示界面中获取第二用户的当前视频画面。

例如，第一用户为用户A，第二用户为用户B，在用户A与用户B视频通话的过程中，用户A的终端获取视频显示界面中用户B的当前视频画面。

S12，在确定当前视频画面中存在除第二用户之外的第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像。

作为一种示例性的实施方式，在获取第二用户的当前视频画面后，可通过人脸识别方式确定当前视频画面中是否存在除第二用户的第三用户。具体而言，可对当前视频画面进行人脸识别，以获取当前视频画面的人脸识别结果，并根据人脸识别结果判断当前视频画面中是否包含除第二用户人脸之前的其他人脸，如果判断出当前视频画面中包含除第二用户人脸之前的其他人脸，则确定当前视频画面中存在除第二用户之外的第三用户。

为了准确获取第一用户所在场景的三维背景图像和第一用户的深度图像，作为一种示例性的实施方式，可通过结构光获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像。

其中，三维背景图像为可以是彩色图像，第一用户的深度图像中包括第一用户的深度信息。三维背景图像的场景范围与深度图像的场景范围一致，且三维背景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。

作为一种示例性的实施方式，可向第一用户所在场景投射结构光，并获取第一用户所在场景的结构光图像，并根据第一用户所在场景的结构光图像获取第一用户所在场景的深度图像，并根据第一用户所在场景的深度图像以及色彩信息生成第一用户所在场景的三维背景图像。

作为一种示例性的实施方式，如图2所示，获取第一用户的深度图像的过程，可以包括：

S21，向第一用户投射结构光。

S22，拍摄经第一用户调制的结构光图像。

S23，解调结构光图像的各个像素对应的相位信息以得到第一用户的深度图像。

具体地，在第一用户通过终端与第二用户视频的过程中，第一用户的终端中的结构光投射器可向第一用户透射结构光，然后，终端中的结构光摄像头可拍摄经第一用户调制的结构光图像，以及解调结构光图像的各个像素对应的相位信息以得到第一用户的深度图像。

具体而言，结构光投射器将一定模式的结构光投射到第一用户的面部及躯体上后，在第一用户的面部及躯体的表面会形成由第一用户调制后的结构光图像。结构光摄像头拍摄经调制后的结构光图像，再对结构光图像进行解调以得到第一用户的深度图像。

其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。

作为一种示例性的实施方式，如图3所示，解调结构光图像的各个像素对应的相位信息以得到第一用户的深度图像的过程，可以包括：

S31，解调结构光图像中各个像素对应的相位信息。

S32，将相位信息转化为深度信息。

S33，根据深度信息生成第一用户的深度图像。

具体地，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息，从而得到第一用户的深度图像。

为了使本领域的技术人员更加清楚的了解根据结构光来采集第一用户的面部及躯体的深度图像的过程，下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理。其中，光栅投影技术属于广义上的面结构光。

如图4(a)所示，在使用面结构光投影的时候，首先通过计算机编程产生正弦条纹，并将正弦条纹通过结构光投射器投射至被测物，再利用结构光摄像头拍摄条纹受物体调制后的弯曲程度，随后解调该弯曲条纹得到相位，再将相位转化为深度信息即可获取深度图像。为避免产生误差或误差耦合的问题，使用结构光进行深度信息采集前需对结构光摄像头与结构光投射器进行参数标定，标定包括几何参数(例如，结构光摄像头与结构光投射器之间的相对位置参数等)的标定、结构光摄像头的内部参数以及结构光投射器的内部参数的标定等。

具体而言，第一步，计算机编程产生正弦条纹。由于后续需要利用畸变的条纹获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差为的条纹，然后结构光投射器将该四幅条纹分时投射到被测物(图4(a)所示的面具)上，结构光摄像头采集到如图4(b)左边的图，同时要读取如图4(b)右边所示的参考面的条纹。

第二步，进行相位恢复。结构光摄像头根据采集到的四幅受调制的条纹图(即结构光图像)计算出被调制相位，此时得到的相位图是截断相位图。因为四步移相算法得到的结果是由反正切函数计算所得，因此结构光调制后的相位被限制在[-π，π]之间，也就是说，每当调制后的相位超过[-π，π]，其又会重新开始。最终得到的相位主值如图4(c)所示。

其中，在进行相位恢复过程中，需要进行消跳变处理，即将截断相位恢复为连续相位。如图4(d)所示，左边为受调制的连续相位图，右边是参考连续相位图。

第三步，将受调制的连续相位和参考连续相位相减得到相位差(即相位信息)，该相位差表征了被测物相对参考面的深度信息，再将相位差代入相位与深度的转化公式(公式中涉及到的参数经过标定)，即可得到如图4(e)所示的待测物体的三维模型。

应当理解的是，在实际应用中，根据具体应用场景的不同，本申请实施例中所采用的结构光除了上述光栅之外，还可以是其他任意图案。

作为一种可能的实现方式，本申请还可使用散斑结构光进行第一用户的深度信息的采集。

具体地，散斑结构光获取深度信息的方法是使用一基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构。衍射元件中基片的厚度大致为1微米，各个台阶的高度不均匀，高度的取值范围可为0.5微米～0.9微米。图5(a)所示结构为本实施例的准直分束元件的局部衍射结构。图5(b)为沿截面A-A的剖面侧视图，横坐标和纵坐标的单位均为微米。散斑结构光生成的散斑图案具有高度的随机性，并且会随着距离的不同而变换图案。因此，在使用散斑结构光获取深度信息前，首先需要标定出空间中的散斑图案，例如，在距离结构光摄像头的0～4米的范围内，每隔1厘米取一个参考平面，则标定完毕后就保存了400幅散斑图像，标定的间距越小，获取的深度信息的精度越高。随后，结构光投射器将散斑结构光投射到被测物(即第一用户)上，被测物表面的高度差使得投射到被测物上的散斑结构光的散斑图案发生变化。结构光摄像头拍摄投射到被测物上的散斑图案(即结构光图像)后，再将散斑图案与前期标定后保存的400幅散斑图像逐一进行互相关运算，进而得到400幅相关度图像。空间中被测物体所在的位置会在相关度图像上显示出峰值，把上述峰值叠加在一起并经过插值运算后即可得到被测物的深度信息。

由于普通的衍射元件对光束进行衍射后得到多数衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大。即便是对衍射光进行二次衍射，得到的光束的均匀性也较低。因此，利用普通衍射元件衍射的光束对被测物进行投射的效果较差。本实施例中采用准直分束元件，该元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同的角度射出多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行投射的效果更好。同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且散斑结构光相对于其他排布均匀的结构光来说，达到同样的采集效果时，散斑结构光消耗的电量更低。

S13，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定三维背景图像中的背景区域。

在本申请的一个实施例中，如图6所示，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域的过程，可以包括：

S61，识别三维背景图像中的人脸区域。

S62，从第一用户的深度图像中获取与人脸区域对应的深度信息。

S63，根据人脸区域的深度信息确定人物区域的深度范围。

S64，根据人物区域的深度范围确定与人脸区域连接且落入深度范围内的人物区域。

采用已训练好的深度学习模型识别出三维背景图像中的人脸区域，随后根据三维背景图像与深度图像的对应关系可确定出人脸区域的深度信息。由于人脸区域包括鼻子、眼睛、耳朵、嘴唇等特征，因此，人脸区域中的各个特征在深度图像中所对应的深度数据是不同的，例如，在人脸正对结构光摄像头时，结构光摄像头拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，上述的人脸区域的深度信息可能为一个数值或是一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到；或者，可以通过对人脸区域的深度数据取中值得到。

由于人物区域包含人脸区域，也即是说，人物区域与人脸区域同处于某一个深度范围内，因此，在确定出人脸区域的深度信息后，可以根据人脸区域的深度信息设定人物区域的深度范围，再根据人物区域的深度范围提取落入该深度范围内且与人脸区域相连接的人物区域。

如此，即可根据深度信息确定出三维背景图像中的出人物区域。由于深度信息的获取不受环境中光照、色温等因素的影像响，因此，所确定的人物区域更加准确。

S14，识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。

作为一种示例性实施方式，在获取三维背景图像中的背景区域后，可根据预设隐私对象对背景区域进行识别，以确定出背景区域中的隐私区域。

其中，隐私区域即为隐私信息所在的区域。

其中，预设隐私对象是预先设置的隐私对象，例如，预设隐私对象可以为床、包含人脸的相册等。

本申请实施例提供的视频背景处理方法，在第一用户与第二用户视频通话的过程中，在确定第二用户视频画面中存在第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像，然后，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定背景区域，以及识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

在本申请的一个实施例中，为了准确确定当前视频画面中是否存在除第二用户之外的第三用户，如图7所示，该方法还可以包括：

S71，获取第二用户的三维人脸模型。

其中，三维人脸模型是由第二用户的终端通过向第二用户投射结构光而建立的。

具体而言，在视频通话的过程中，第一用户的终端通过接收第二用户终端发送的第二用户的三维人脸模型，以获取第二用户的三维人脸模型。

其中，第二用户的终端(为了方便描述，下述将第二用户的终端称为第二用户终端)通过结构光建立第二用户的三维人脸模型的过程为：第二用户终端中的结构光投射器向第二用户投射结构，然后，结构光摄像头拍摄第二用户的结构光图像，并根据结构光图像确定第二用户的深度图像，之后，根据第二用户的深度图像，生成第二用户的三维人脸模型。

S72，对当前视频画面进行人脸识别，以获取当前视频画面中的人脸区域。

S73，根据第二用户的三维人脸模型，判断当前视频画面中的人脸区域是否存在除第二用户的人脸区域之外的其他人脸区域，若否，则执行步骤S74。

S74，确定当前视频画面中存在除第二用户之外的第三用户。

作为一种示例性的实施方式，在获取当前视频画面中的人脸区域，可判断当前视频画面中的人脸区域中的人脸特征信息是否均与第二用户的三维人脸模型进行匹配，如果不是，则确定当前视频画面中存在除第二用户的人脸区域之外的其他人脸区域。如果是，则确定当前视频画面中仅存在第二用户的人脸区域。

基于上述实施例的基础上，在本申请的一个实施例中，为了智能地恢复用户的原来的视频背景，避免用户手动恢复原来的视频背景的麻烦，在生成第一用户的新视频背景后，当再次检测到当前视频画面中仅存在第二用户时，将第一用户的视频背景切换至原来的视频背景。

也就是说，该实施例在第一用户以新视频背景与第二用户进行视频通话后，当再次检测到第二用户的当前视频画面中仅存在第二用户时，即，在检测到第二用户视频中的闯入者(即第三用户)离开时，可智能地将第一用户的视频背景再次切换至原来的视频背景。由此，可使得用户无需手动恢复原来的视频背景，提高了用户体验度。

基于上述实施例的基础上，在本申请的一个实施例中，为了方便用户快速切换至原来的视频背景，在生成第一用户的新视频背景后，当再次检测到当前视频画面中仅存在第二用户时，显示是否将第一用户的视频背景切换至原来的视频背景恢复视频背景的提示信息，并在接收到第一用户的恢复视频背景的确认指令时，将第一用户的视频背景切换至原来的视频背景。

为了实现上述实施例，本申请还提出了一种本申请实施例的视频背景处理装置。

图8是根据本申请一个实施例的本申请实施例的视频背景处理装置的结构示意图。

如图8所示，该本申请实施例的视频背景处理装置可以包括第一获取模块110、图像采集模块120、第一处理模块130和第二处理模块140，其中：

第一获取模块110用于获取与第一用户视频通话的第二用户的当前视频画面。

图像采集模块120用于在确定当前视频画面中存在除第二用户之外的第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像。

第一处理模块130用于处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定三维背景图像中的背景区域。

第二处理模块140用于识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。

在本申请的一个实施例中，在图8所示的基础上，如图9所示，该图像采集模块120可以包括结构光投射器121和结构光摄像头122，其中：

结构光投射器121用于向第一用户投射结构光。

结构光摄像头122用于拍摄经第一用户调制的结构光图像；以及解调结构光图像的各个像素对应的相位信息以得到第一用户的深度图像。

作为一种示例性的实施方式，结构光摄像头122具体用于：调结构光图像中各个像素对应的相位信息，并将相位信息转化为深度信息，以及根据深度信息生成第一用户的深度图像。

在本申请的一个实施例中，第一处理模块130具体用于：识别三维背景图像中的人脸区域；从第一用户的深度图像中获取与人脸区域对应的深度信息；根据人脸区域的深度信息确定人物区域的深度范围；根据人物区域的深度范围确定与人脸区域连接且落入深度范围内的人物区域。

在本申请的一个实施例中，为了准确确定第二用户的当前视频画面中是否存在第三用户，在图8所示的基础上，如图10所示，该装置还可以包括第二获取模块150、识别模块160和判断模块170，其中：

第二获取模块150用于获取第二用户的三维人脸模型。

其中，三维人脸模型是由第二用户的终端通过向第二用户投射结构光而建立的。

识别模块160用于对当前视频画面进行人脸识别，以获取当前视频画面中的人脸区域。

判断模块170用于根据第二用户的三维人脸模型，判断当前视频画面中的人脸区域是否存在除第二用户的人脸区域之外的其他人脸区域。

作为一种示例性的实施方式，判断模块170具体用于判断当前视频画面中的人脸区域中的人脸特征信息是否均与第二用户的三维人脸模型进行匹配，如果不是，则确定当前视频画面中存在除第二用户的人脸区域之外的其他人脸区域。如果是，则确定当前视频画面中仅存在第二用户的人脸区域。

其中，图像采集模块120还用于在判断出当前视频画面中的人脸区域存在除第二用户的人脸区域之外的其他人脸区域时，则确定当前视频画面中存在除第二用户之外的第三用户，并获取所述第一用户所在场景的三维背景图像，并获取所述第一用户的深度图像。

其中，需要说明的是，上述图10所示的装置实施例中的第二获取模块150、识别模块160和判断模块170的结构还可以包含在前述图9的装置实施例中，对此本申请不作限定。

在本申请的一个实施例中，为了方便用户将视频背景切换至原来的视频背景，在图8所示的基础上，如图11所示，该装置还可以包括：

第三处理模块180用于当再次检测到当前视频画面中仅存在第二用户时，将第一用户的视频背景切换至原来的视频背景；或者，当再次检测到当前视频画面中仅存在第二用户时，显示是否将第一用户的视频背景切换至原来的视频背景恢复视频背景的提示信息，并在接收到第一用户的恢复视频背景的确认指令时，将第一用户的视频背景切换至原来的视频背景。

其中，需要说明的是，上述图11所示的装置实施例中的第三处理模块180的结构还可以包含在前述图9-图10的装置实施例中，对此本申请不作限定。

其中，需要说明的是，前述对视频背景处理方法实施例的解释说明也适用于该实施例的视频背景处理装置，其实现原理类似，此处不再赘述。

根据本申请实施例的视频背景处理装置，在第一用户与第二用户视频通话的过程中，在确定第二用户视频画面中存在第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像，然后，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定背景区域，以及识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

为了实现上述实施例，本申请还提出一种移动终端。

一种移动终端，包括本申请第二方面实施例的视频背景处理装置。

根据本申请实施例的移动终端，在第一用户与第二用户视频通话的过程中，在确定第二用户视频画面中存在第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像，然后，处理三维背景图像和第一用户的深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定背景区域，以及识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。由此，在视频通话过程中，通过对视频背景中的隐私区域进行虚化处理，使得第三用户无法观看第一用户所在场景中的隐私信息，避免了用户个人隐私被泄露，提高了用户体验度。

本申请实施例还提供了一种计算机可读存储介质，一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行前述的视频背景处理方法。

为了实现上述实施例，本申请还提出一种移动终端。

上述移动终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图12是根据本申请一个实施例的图像处理电路的示意图。如图12所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图12所示，移动终端1200的图像处理电路包括成像设备10、ISP处理器30和控制逻辑器40。成像设备10可包括图像采集模块120。

具体地，图像采集模块120可以包括结构光投射器121和结构光摄像头122。结构光投射器121将结构光投影至第一用户以及第一用户所在场景。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。结构光摄像头122可以包括图像传感器1221和透镜1222。其中，透镜1222的个数可为一个或多个。图像传感器1221用于捕捉结构光投射器121投射至第一用户上的结构光图像。结构光图像可由图像采集模块120发送至ISP处理器30进行解调、相位恢复、相位信息计算等处理以获取第一用户的深度信息。

其中，上述图像传感器1221还用于捕捉结构光投射器121投射至第一用户所在场景中被测物体上的结构光图像，并将结构光图像发送至ISP处理器30，由ISP处理器30对结构光图像进行解调获取被测物的深度信息。同时，图像传感器1221也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器1221分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器30对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器30接收到图像传感器1221捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器30对图像数据进行分析以获取可用于确定和/或成像设备10的一个或多个控制参数的图像统计信息。图像传感器1221可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1221可获取用图像传感器1221的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器30处理的一组原始图像数据。

ISP处理器30按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器30可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器30还可从图像传感器1221接收像素数据。图像传感器1221可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(DirectMemory Access，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器30可进行一个或多个图像处理操作。

在ISP处理器30获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器20，以便在被显示之前进行另外的处理。ISP处理器30从图像存储器20接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器60，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器30的输出还可发送给图像存储器20，且显示器60可从图像存储器20读取图像数据。在一个实施例中，图像存储器20可被配置为实现一个或多个帧缓冲器。此外，ISP处理器30的输出可发送给编码器/解码器50，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器60设备上之前解压缩。编码器/解码器50可由CPU或GPU或协处理器实现。

ISP处理器30确定的图像统计信息可发送给控制逻辑器40单元。控制逻辑器40可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备10的控制参数。

以下为运用图12中图像处理技术实现视频背景处理方法的步骤：

S1'，获取与第一用户视频通话的第二用户的当前视频画面；

S2'，在确定当前视频画面中存在除第二用户之外的第三用户时，获取第一用户所在场景的三维背景图像，并获取第一用户的深度图像；

S3'，处理三维背景图像和深度图像以提取第一用户在三维背景图像中的人物区域，并根据人物区域确定三维背景图像中的背景区域；

S4'，识别背景区域中的隐私区域，并对隐私区域进行虚化处理，以生成第一用户的新视频背景。

其中，需要说明的是，前述对视频背景处理方法实施例的解释说明也使用该实施例的移动终端，其实现原理类似，此处不再赘述。

一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行前述的视频背景处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种视频背景处理方法，其特征在于，所述方法包括以下步骤：

获取与第一用户视频通话的第二用户的当前视频画面；

在确定所述当前视频画面中存在除所述第二用户之外的第三用户时，获取所述第一用户所在场景的三维背景图像，并获取所述第一用户的深度图像；

处理所述三维背景图像和所述深度图像以提取所述第一用户在所述三维背景图像中的人物区域，并根据所述人物区域确定所述三维背景图像中的背景区域；

识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景；

获取所述第二用户的三维人脸模型，其中，所述三维人脸模型是由第二用户的终端通过向所述第二用户投射结构光而建立的；

对所述当前视频画面进行人脸识别，以获取所述当前视频画面中的人脸区域；

根据所述第二用户的三维人脸模型，判断所述当前视频画面中的人脸区域是否存在除所述第二用户的人脸区域之外的其他人脸区域；

若判断出所述当前视频画面中的人脸区域存在除所述第二用户的人脸区域之外的其他人脸区域，则确定所述当前视频画面中存在除所述第二用户之外的第三用户，并执行所述获取所述第一用户所在场景的三维背景图像的步骤；

在所述生成所述第一用户的新视频背景后，所述方法还包括：

当再次检测到当前视频画面中仅存在所述第二用户时，将所述第一用户的视频背景切换至原来的视频背景；或者，

当再次检测到当前视频画面中仅存在所述第二用户时，显示是否将所述第一用户的视频背景切换至原来的视频背景恢复视频背景的提示信息，并在接收到所述第一用户的恢复视频背景的确认指令时，将所述第一用户的视频背景切换至原来的视频背景。

2.如权利要求1所述的方法，其特征在于，所述获取所述第一用户的深度图像，包括：

向所述第一用户投射结构光；

拍摄经所述第一用户调制的结构光图像；以及

解调所述结构光图像的各个像素对应的相位信息以得到所述第一用户的深度图像。

3.如权利要求1所述的方法，其特征在于，所述处理所述三维背景图像和所述第一用户的深度图像以提取所述第一用户在所述三维背景图像中的人物区域，包括：

识别所述三维背景图像中的人脸区域；

从所述第一用户的深度图像中获取与所述人脸区域对应的深度信息；

根据所述人脸区域的深度信息确定所述人物区域的深度范围；

根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域。

4.一种视频背景处理装置，其特征在于，包括：

第一获取模块，用于获取与第一用户视频通话的第二用户的当前视频画面；

图像采集模块，用于在确定所述当前视频画面中存在除所述第二用户之外的第三用户时，获取所述第一用户所在场景的三维背景图像，并获取所述第一用户的深度图像；

第一处理模块，用于处理所述三维背景图像和所述深度图像以提取所述第一用户在所述三维背景图像中的人物区域，并根据所述人物区域确定所述三维背景图像中的背景区域；

第二处理模块，用于识别所述背景区域中的隐私区域，并对所述隐私区域进行虚化处理，以生成所述第一用户的新视频背景；

第二获取模块，用于获取所述第二用户的三维人脸模型，其中，所述三维人脸模型是由第二用户的终端通过向所述第二用户投射结构光而建立的；

识别模块，用于对所述当前视频画面进行人脸识别，以获取所述当前视频画面中的人脸区域；

判断模块，用于根据所述第二用户的三维人脸模型，判断所述当前视频画面中的人脸区域是否存在除所述第二用户的人脸区域之外的其他人脸区域；

其中，所述图像采集模块，还用于在判断出所述当前视频画面中的人脸区域存在除所述第二用户的人脸区域之外的其他人脸区域时，则确定所述当前视频画面中存在除所述第二用户之外的第三用户，并执行获取所述第一用户所在场景的三维背景图像的步骤；

第三处理模块，用于当再次检测到当前视频画面中仅存在所述第二用户时，将所述第一用户的视频背景切换至原来的视频背景；或者，当再次检测到当前视频画面中仅存在所述第二用户时，显示是否将所述第一用户的视频背景切换至原来的视频背景恢复视频背景的提示信息，并在接收到所述第一用户的恢复视频背景的确认指令时，将所述第一用户的视频背景切换至原来的视频背景。

5.如权利要求4所述的装置，其特征在于，所述图像采集模块包括结构光投射器和结构光摄像头，其中：

所述结构光投射器，用于向所述第一用户投射结构光；

结构光摄像头，用于拍摄经所述第一用户调制的结构光图像；以及解调所述结构光图像的各个像素对应的相位信息以得到所述第一用户的深度图像。

6.如权利要求4所述的装置，其特征在于，所述第一处理模块，具体用于：

识别所述三维背景图像中的人脸区域；

从所述第一用户的深度图像中获取与所述人脸区域对应的深度信息；

根据所述人脸区域的深度信息确定所述人物区域的深度范围；

根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域。

7.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述的视频背景处理方法。

8.一种移动终端，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项所述的视频背景处理方法。