CN105744144A - 图像生成方法以及图像生成装置 - Google Patents

Abstract

本发明提供一种图像生成方法以及图像生成装置。该图像生成方法，包括以下的步骤：提取步骤，提取从正面拍摄脸部的脸部图像的脸部区域中的多个特定部分(眼、鼻等)；选择步骤，从由不同于正面的视点看到的形状的多个插图(肖像画的感觉)部位图像中，选择与所述提取的特定部分对应的、由不同于正面的视点看到的多个插图部位图像；以及生成步骤，基于通过所述选择而选择的所述插图部位图像(多个)，生成由不同于正面的视点看到的所述脸部的肖像画图像(单个)。

Description

图像生成方法以及图像生成装置

本申请基于并要求之前在2014年12月26日提出的日本专利申请JP2014-266673号公报的优先权，在此援引其全部内容。

技术领域

本发明涉及一种图像生成方法以及图像生成装置。

背景技术

一直以来就存在从拍摄脸部的图像生成脸部图像的技术。例如，在JP特开2003-85576号公报中，记载了通过使用从拍摄脸部的图像提取的脸部的各个部分的外形等生成脸部图像的技术。

发明内容

但是，利用所述专利文献1所记载的技术的话，则为了通过使用从所提取的脸部的各个部分的外形等生成脸部图像，例如，如果是正面拍摄的脸部，则生成正面的脸部图像。因此，所生成的脸部图像要取决于脸部照片的拍摄方向，由此，存在脸部图像的表现受到限制的这一问题。

本发明就是鉴于这种情况而实现的，其目的在于：由原始图像生成表现丰富的脸部图像。

解决技术课题的手段

为了实现所述目的，本发明涉及一种图像生成方法，其包括以下步骤：

提取步骤，提取从正面拍摄脸部的脸部图像的脸部区域中的多个特定部分(眼睛、鼻子等)；

选择步骤，从由不同于正面的视点看到的形状的多个插图(肖像画的感觉)部位图像中，选择与所述提取的特定部分对应的、由不同于正面的视点看到的多个插图部位图像；以及

生成步骤，基于通过所述选择而选择的所述插图部位图像(多个)，生成由不同于正面的视点看到的所述脸部的肖像画图像(单个)。

附图说明

图1是表示涉及本发明的一个实施方式的摄像装置的硬件结构的框图。

图2是用于说明本实施方式中的脸部图像的生成方法的示意图。

图3是用于说明本实施方式中的脸部图像的生成方法的示意图。

图4是用于说明本实施方式中的脸部图像的生成方法的示意图。

图5是用于说明本实施方式中的脸部图像的生成方法的示意图。

图6是表示图1的摄像装置的功能性结构中的用于执行脸部图像生成处理的功能性结构的功能框图。

图7是用于说明具有图6的功能性结构的图1的摄像装置所执行的脸部图像生成处理过程的流程图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

图1是表示涉及本发明的一个实施方式的摄像装置的硬件结构的框图。摄像装置1由例如数字照相机构成。

摄像装置1具有：CPU(CentralProcessingUnit：中央处理器)11、ROM(ReadOnlyMemory：只读存储器)12、RAM(RandomAccessMemory：随机存取存储器)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。

CPU11按照记录在ROM12中的程序或从存储部19加载到RAM13中的程序执行各种处理。

在RAM13中也适当地存储CPU11执行各种处理所需要的数据等。

CPU11、ROM12以及RAM13经由总线14相互连接。该总线14还与输入输出接口15连接。输入输出接口15与摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21连接。

虽未图示，但摄像部16具有光学透镜部以及图像传感器。

光学透镜部为了拍摄被摄体而由聚光的透镜、例如聚焦透镜或变焦透镜等构成。

聚焦透镜是在图像传感器的受光面上使被摄体图像成像的透镜。变焦透镜是使焦距在一定范围内自由变化的透镜。

另外，根据需要，光学透镜中还设有调整焦点、曝光、白平衡等的设定参数的周边电路。

图像传感器由光电转换元件或AFE(AnalogFrontEnd：模拟前端)等构成。

光电转换元件由例如CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)型的光电转换元件等构成。被摄体图像从光学透镜部入射到光电转换元件。因此，光电转换元件对被摄体图像进行光电转换(拍摄)，将图像信号保存一定时间，然后将保存的图像信号转换成模拟信号并按顺序提供给AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital)转换处理等的各种信号处理。通过各种信号处理生成数字信号，并作为摄像部16的输出信号被输出。

以下，将这种摄像部16的输出信号称为“摄像图像的数据”。摄像图像的数据被适当地提供给CPU11或未图示的图像处理部等。

输入部17由各种按键等构成，根据用户的指示操作输入各种信息。

输出部18由显示器或扬声器等构成，输出图像或声音。

存储部19由硬盘或DRAM(DynamicRadomAccessMemory：动态随机存储器)等构成，用于存储各种图像的数据。

通信部20控制通过包括互联网在内的网络在与其他装置(未图示)之间进行的通信。

在驱动器21中适当地安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。通过驱动器21从可移动介质31读出的程序根据需要被安装在存储部19中。另外，可移动介质31也能够和存储部19一样将存储于存储部19中的图像的数据等的各种数据存储。

如上所述构成的摄像装置1具有能够从正面拍摄人的脸部的图像生成好像从斜位方向看脸部时那样的被特性化的脸部图像的功能。

图2至图5是用于说明本实施方式中的脸部图像的生成方法的示意图。

在本实施方式中，如图2所示，脸图像是处理对象。从由正面拍摄的人的脸部的图像(以下称为“原始图像”)中提取构成脸部的部位(在本实施方式中为眼、鼻、嘴、口、眉、耳、脸的轮廓、发型等的特定部分)。

具体而言，针对脸的各部位(在本实施方式中为眼、鼻、口、眉、耳、脸的轮廓、发型等的特定部分)使用外形轮廓提取技术提取各部位的外形。在本例中，外形的提取使用在多个点捕捉脸部的各个部位来识别来自正面的形状(正面形状)的特征的外形轮廓提取技术，但是，只要能够提取脸部的各个部位即可，能够使用现有的图像解析技术。

另外，针对作为其他部位的发型，在本实施方式中，使用图像识别技术进行提取。在本例中，发型的提取能够使用现有的图像解析技术。另外，关于发型，也可以使用外形轮廓提取技术提取。

接下来，如图3以及图4所示，将所提取的各个部位的外形分类成对按照每一部位准备的多个各脸部部位进行了平均化的类型。在本实施方式中设置了十种类型，所提取的脸部部位被分类成任意的一种类型。

具体而言，将提取的脸部部位与表示脸部部位的类型的图像(以下，称为“类型图像”)比对来决定一致的类型。另外，类型图像是从正面看脸部部位时的图像，是将俯视看到的脸部部位的类型模拟成斜视时的形状的被特性化(插图化)的图像。另外，类型图像被和将所提取的脸部部位斜视地进行特性化的图像(以下，称为“侧脸类型图像”。)建立对应。即、在由正面的脸部生成侧脸的特性化图像的情况下，是通过将正面的脸部部位分类，播放对应的类型图像，并且从类型图像中选择所设想的侧脸的侧脸类型图像而进行的。

接下来，获取与对应于所决定的类型的类型图像相对应的各侧脸部位图像(从不同于正面的视点看到的形状的多个插图部位图像)，作为构成脸部图像的脸部部位使用。

然后，如图5所示，将所获取的侧脸部位配置在形成脸部的适当的位置上，通过合成生成脸部图像。

具体而言，在本实施方式中，在脸部轮廓的脸部部位的侧脸部位图像的规定位置上配置其他的脸部部位，合成一个图像，由此，生成脸部图像(脸部的肖像画图像)。

即、在成为配置的基准的脸部轮廓的侧脸部位图像上分别设定成为各侧脸部位图像的配置的基准的配置基准点(在图中用×标记表示)，在各侧脸部位图像上也设定对应的配置点(未图示)。在对脸轮廓的侧脸部位图像配置其他侧脸部位图像的情况下，在配置基准点上使所对应的其他侧脸部位图像的配置点一致，进行定位。然后，在该位置上，通过合成为一个图像而生成脸部图像。

另外，在本实施方式中，如图2到图5所示，“侧脸”是指：与正面不同的方向，从能看到脸的各部位，并且能看出各部位的凹凸状态的斜位方向(例如右斜位方向)看到的状态下的脸部。

因此，在本实施方式生成的脸部图像是通过将从原始图像提取的各种形状的脸部部位分类成多种类型，并将该类型置换成作为从斜位方向看的情况下的形状的侧脸类型图像而生成的，因此，能够简单地从正面的脸部生成不同方向(在本实施方式中，右斜位的方向)的脸部图像，并且，能够通过事先使用从类型的形状设想的侧脸部位图像，从而生成与实际上从斜位方向看的情况接近的脸部图像。

因此，即使将从特定方向拍摄的图像作为原始图像使用，也能够生成从不同方向看到的脸部图像，因此，能够生成表现丰富的脸部图像。

图6是表示这种摄像装置1的功能性结构中的用于执行脸部图像生成处理的功能性结构的功能框图。

脸部图像生成处理是指，将从包括正面拍摄到的人的脸部的原始图像中提取的脸部的各部位的外形分类，从与所分类的类型对应的脸部部位图像的各图像中生成立体效果的脸部图像的一系列处理。

在执行脸部图像生成处理的情况下，如图6所示，在CPU11中发挥作用的是：原始图像获取部51、脸部部位提取部52、类别分类部53、侧脸部位图像获取部54以及脸部图像生成部55。

另外，在存储部19的一个区域中设定有：原始图像存储部71、类型信息存储部72、部位图像存储部73以及脸部图像存储部74。

在原始图像存储部71中，存储有通过摄像部16或网络从外部获取的图像(成为处理对象的原始图像)的数据。在本实施方式中，存储有从正面拍摄人的脸部的实景的图像的数据。

在类型信息存储部72中存储有将不同部位的类型图像与脸部部位图像建立对应的信息。具体而言，在类型信息存储部72中存储了图3以及图4所示的类型图像与和类型图像对应的侧脸部位图像的对应关系。

在部位图像存储部73中存储有按照不同部位而和多个类型图像相对应的侧脸部位图像的数据。具体而言，在鼻子与脸部的轮廓的脸部部位的示例中，在部位图像存储部73中存储有图3以及图4所示的类型图像与和类型图像对应的侧脸部位图像。

另外，在各脸部部位图像中，为了进行脸部部位图像的配置，如图5所示，在脸部轮廓的脸部部位图像中添加配置基准点、在其他的脸部部位中添加所对应的配置点的图像中的坐标信息。

在脸部图像存储部74中存储有所生成的脸部图像的数据。具体而言，在脸部图像存储部74中存储有如图5所示的脸部图像的数据。

原始图像获取部51基于用户通过输入部17进行的图像的选择操作来获取成为存储在原始图像存储部71中的脸部图像的生成对象的原始图像。

脸部部位提取部52对由原始图像提取部51获取的原始图像进行解析，确定脸部部位(在本实施方式中为：眼、眉、鼻、口、耳、脸的轮廓和发型)并提取。

具体而言，如图2所示，关于眼、眉、鼻、口、耳、脸部的轮廓，脸部部位提取部52使用外形轮廓识别技术，关于发型，使用图像识别技术来进行确定，并提取各脸部部位。

类型分类部53进行所提取的各脸部部位的各自的分类并决定类型。

具体而言，如图3以及图4所示，类型分类部53基于存储在类型信息存储部72中的类型信息，对对应的部位的类型图像与脸部部位的外形进行比对，从而对脸部部位的类型分类。

侧脸部位图像获取部54基于分类结果，获取存储在部位图像存储部73中的侧脸部位图像。

具体而言，侧脸部位图像获取部54根据分类结果，参照类型信息，如图3以及图4所示，获取与被分类的类型的类型图像对应的侧脸部位图像。

脸部图像生成部55将通过侧脸部位图像获取部54获取的各部位的侧脸部位配置在规定之处，生成脸部图像。

具体而言，如图5所示，脸部图像生成部55使脸部的轮廓的侧脸部位图像中的配置基准点与其他的脸部部位的配置点一致地进行配置，在该配置的位置上合成各侧脸部位图像，生成脸部图像。

然后，脸部图像生成部55将所生成的脸部图像存储在脸部图像存储部74中。

图7是用于说明具有图6的功能性结构的图1的摄像装置1所执行的脸部图像生成处理的过程的流程图。

脸部图像生成处理是通过用户对输入部17进行的脸部图像生成处理开始的操作而开始的。

在步骤S11中，原始图像获取部51基于用户对输入部17进行的图像的选择操作，从原始图像存储部71获取成为脸部图像的生成对象的原始图像。

在步骤S12中，脸部部位提取部52对所获取的原始图像的脸部区域进行解析，提取脸部部位(在本实施方式中为：眼、眉、鼻、口、耳、脸部的轮廓和发型)。具体而言，如图2所示，脸部部位提取部52关于眼、眉、鼻、口、耳、脸部的轮廓使用外形轮廓识别技术，关于发型使用图像识别技术来进行确定，提取各脸部部位(提取步骤)。

在步骤S13中，类型分类部53将提取的脸部部位分类成事先设定的类型。具体而言，如图3以及图4所示，类型分类部53基于存储在类型信息存储部72中的类型信息，对对应的部位的类型图像与脸部部位的外形进行比对，将脸部部位的类型分类。对所述提取的脸部部位与从正面看所述提取的脸部部位的图像时的正面形状进行比较，对脸部部位的类型进行分类。

在步骤S14中，侧脸部位图像获取部54根据脸部部位的分类结果，从部位图像存储部73获取与各类型图像对应的侧脸部位图像。具体而言，侧脸部位图像获取部54根据分类结果参照类型信息，如图3以及图4所示，获取与被分类的类型的类型图像对应的侧脸部位图像(选择步骤)。对所述提取的脸部部位与从正面看所述提取的脸部部位的图像时的正面形状进行比较，并基于该比较结果选择侧脸部位图像。

在步骤S15中，脸部图像生成部55配置所获取的侧脸部位图像，并通过合成生成脸部图像。具体而言，如图5所示，脸部图像生成部55使脸部轮廓的侧脸部位图像中的配置基准点与其他的脸部部位的配置点一致来进行配置，在该配置的位置上，将各侧脸部位图像合成，从而生成脸部图像(生成步骤)。

并且，脸部图像生成部55将所生成的脸部图像的数据存储在脸部图像存储部74中。

然后，结束脸部图像生成处理。

因此，虽然本发明以图像识别为基础，将正面拍摄的人的脸部图像通过各部位的外形识别制成侧脸的特性化人物图像，但由于在正面和侧脸时进行了外形轮廓提取的部位(例如，鼻子)与侧脸的部位(例如，鼻子)不能直接建立对应，因此，使用与所描绘出的侧脸的脸部部位(例如，鼻子)对应的正面的(从侧面想像正面的平面形状制成的图像)类型图像，建立对应，生成特性化人物图像。因此，一直以来，从由正面拍摄的图像中提取正面的脸部部位，针对所提取的脸部部位，通过使用类型图像，能够自动地制成侧脸这一表现丰富的特性化人物图像。

如上所述构成的摄像装置1具有：部位图像存储部73、脸部部位提取部52、侧脸部位图像获取部54以及脸部图像生成部55。

部位图像存储部73对脸部区域的特定部分(眼、鼻等的脸部部位)进行肖像画处理，存储多个作为从与正面不同的视点看该特定部分时的部位图像的侧脸部位图像。

脸部部位提取部52提取从正面拍摄脸部的脸部图像的脸部区域中的特定部分。

侧脸部位图像获取部54从存储在部位图像存储部73中的多个作为部位图像的侧脸部位图像中，选择适合由脸部部位提取部52提取的特定部分的作为部位图像的侧脸部位图像。

脸部图像生成部55基于由侧脸部位图像获取部54选择的作为部位图像的侧脸部位图像，生成将从与正面不同的视点看到的脸部图像中的脸部进行肖像画处理的作为肖像画图像的脸部图像。

由此，摄像装置1能够简单地由从特定方向拍摄的图像生成不同方向的脸部图像。其结果是，能够生成各种表现丰富的作为肖像画图像的脸部图像。

关于多个作为部位图像的侧脸部位图像的各图像，部位图像存储部73将从正面看作为该部位图像的侧脸部位图像时的正面形状建立对应地存储。

作为侧脸部位图像的侧脸部位图像获取部54将由脸部部位提取部52提取的特定部分与和存储在部位图像存储部73中的多个作为部位图像的侧脸部位图像的各图像建立了对应的正面形状进行比较，基于该比较结果，选择适合由脸部部位提取部52提取的特定部分的作为部位图像的侧脸部位图像。

由此，摄像装置1能够简单地由从特定方向拍摄的图像生成不同方向的脸部图像。其结果是，能够生成各种表现丰富的脸部图像。

脸部部位提取部52将脸部作为平面进行捕捉，通过绘图将该脸部部位的外形作为特定的部分提取。

侧脸部位图像获取部54将脸部部位的外形与和多个作为部位图像的侧脸部位图像的各图像建立了对应的正面形状进行比较，基于该比较结果，选择适合由脸部部位提取部52提取的特定部分的作为部位图像的侧脸部位图像。

由此，摄像装置1能够简单地由从特定方向拍摄的图像生成不同方向的脸部图像。其结果是，能够生成各种表现丰富的脸部图像。

脸部图像生成部55将所选择的多个作为部位图像的侧脸部位图像合成，生成作为肖像画图像的脸部图像。

由此，摄像装置1能够简单地由从特定方向拍摄的图像生成不同方向的脸部图像。其结果是，能够生成各种表现丰富的脸部图像。

另外，本发明不仅限于上述实施方式所限定的内容，在能够实现本发明的目的的范围内进行的变形、改良都包括在本发明内。

虽然在上述实施方式中，采用了由从特定方向(在本实施方式中为正面)拍摄的人的脸部生成不同方向(在本实施方式中为右斜位方向)的图像的构成，但不仅限于此。例如，也可以采用由从特定方向拍摄的物体生成从不同方向看该物体时的图像的构成。

另外，虽然在上述实施方式中使用了事先存储的侧脸部位图像，但不仅限于此，例如，可以采用当每次提取脸部部位并分类类型时生成侧脸部位图像的结构。

另外，虽然在上述实施方式中，通过对脸部部位的外形与类型图像进行比对而进行分类来决定类型，但不仅限于此，例如，也可以采用按照每一类型设置条件，根据与该条件的一致程度来决定类型的结构。

另外，在上述实施方式中，利用本发明的摄像装置1虽然以数字照相机为例进行了说明，但并不特别限定于此。

例如，本发明一般能够使用具有脸部图像生成处理功能的电子设备。

具体而言，例如，本发明能够适用于笔记本型个人计算机、打印机、电视接收器、摄像机、便携式导航装置、便携式电话、智能手机、便携式游戏机等。

上述一系列处理即能够利用硬件执行，也能够利用软件执行。

换句话讲，图6的功能性结构只不过是示例，并没有特别限定。即、只要摄像装置1具有整体上能够执行所述一系列处理的功能即可，为了实现该功能而使用什么样的功能块并不特别地限定为图6的示例。

另外，一个功能块既可以由硬件单体构成，也可以由软件单体构成，还可以由它们的组合构成。

在利用软件执行一系列的处理的情况下，构成该软件的程序被从网络或记录介质安装到计算机等中。

计算机可以是安装了专用硬件的计算机。另外，计算机也可以是通过安装各种程序而能够执行各种功能的计算机，例如通用的个人计算机。

包括这种程序的记录介质不仅由为了向用户提供程序而和装置主体分别提供的图1的可移动介质31构成，也由以事先安装在装置主体中的状态下提供给用户的记录介质等构成。可移动介质31由例如磁盘(包括软盘)、光盘、或光磁盘等构成。光盘由例如CD-ROM(CompactDisk-ReadOnlyMemory：只读存储光盘)、DVD(DigitalVersatileDisk：数字多功能磁盘)、Blu-ray(注册商标)Disc(蓝光光盘)等构成。光磁盘由MD(Mini-Disk：小型磁盘)等构成。另外，在事先安装在装置主体的状态下被提供给用户的记录介质由例如记录了程序的图1的ROM12或包括在图1的存储部19中的硬盘等构成。

另外，在本说明书中，描述记录在记录介质中的程序的步骤包括按照该顺序以时间顺序进行的处理，但也不一定是以时间顺序进行的处理，还包括并列或分别执行的处理。

以上，虽然对本发明的几个实施方式进行了说明，但这些实施方式仅仅是示例，并不对本发明的技术范围进行限定。本发明能够采取其他各种实施方式，而且，在不脱离本发明的宗旨的范围内，能够进行省略或置换等各种变更。这些实施方式或其变形包含在本说明书中所记载的发明的范围或主要内容中，并且还包含在权利要求书中所记载的技术方案和其等同的范围内。

符号说明

1…摄像装置、11…CPU、12…ROM、13…RAM、14…总线、15…输入输出接口、16…摄像部、17…输入部、18…输出部、19…存储部、20…通信部、21…驱动器、31…可移动介质、51…原始图像获取部、52…脸部部位提取部、53…类型分类部、54…侧脸部位图像获取部、55…脸部图像生成部、71…原始图像存储部、72…类型信息存储部、73…部位图像存储部、74…脸部图像存储部。

Claims (11)

1.一种图像生成方法，包括以下的步骤：

提取步骤，提取从正面拍摄脸部的脸部图像的脸部区域中的多个特定部分；

选择步骤，选择与所述特定部分对应的、由不同于正面的视点看到的多个插图部位图像；和

生成步骤，基于通过所述选择而选择的所述插图部位图像，生成由不同于正面的视点看到的所述脸部的肖像画图像。

2.根据权利要求1所述的图像生成方法，其中，

所述选择步骤将所述提取的所述特定部分与和所述多个插图部位图像的各图像建立了对应的从正面看该插图部位图像时的正面形状进行比较，基于该比较结果，选择适合所述提取的所述特定部分的插图部位图像。

3.根据权利要求2所述的图像生成方法，其中，

所述提取步骤将脸部作为平面进行捕捉，通过绘图将该脸部部位的多个外形作为所述特定部分提取，

所述选择步骤将所述脸部部位的外形与和所述多个插图部位图像的各图像建立了对应的所述正面形状进行比较，基于该比较结果，选择适合通过所述提取步骤提取的所述特定部分的插图部位图像。

4.根据权利要求1所述的图像生成方法，其中，

所述生成步骤将通过所述选择步骤选择的所述插图部位图像合成，生成所述脸部的肖像画图像。

5.根据权利要求1所述的图像生成方法，其中，

所述插图部位图像中的与脸部轮廓对应的部位图像被设定了配置与所述脸部轮廓对应的部位图像以外的插图部位图像的基准位置。

6.根据权利要求5所述的图像生成方法，其中，

所述生成步骤基于与所述脸部轮廓对应的插图部位图像的所述基准位置，配置与所述脸部轮廓对应的部位图像以外的部位图像，从而生成所述脸部的肖像画图像。

7.根据权利要求1所述的图像生成方法，其中，

还包括从由正面拍摄所述脸部的脸部图像生成所述插图部位图像的插图部位图像生成步骤。

8.一种图像生成装置，具有控制部，所述控制部被设定成进行以下操作：

提取从正面拍摄脸部的脸部图像的脸部区域中的多个特定部分；

选择与所述特定部分对应的、由不同于正面的视点看到的多个插图部位图像；以及

基于通过所述选择而选择的所述插图部位图像，生成由不同于正面的视点看到的所述脸部的肖像画图像。

9.根据权利要求8所述的图像生成装置，其中，

具有将所述脸部区域的特定部分进行肖像画处理，存储从与正面不同的视点看该特定部分时的插图部位图像的存储部。

10.根据权利要求8所述的图像生成装置，其中，

所述存储部还针对所述插图部位图像的各图像，将从正面看所述插图部位图像时的正面形状建立对应地存储。

11.根据权利要求8所述的图像生成装置，其中，

至少具有一个以上的所述存储部。