CN105488845B - 产生三维图像的方法及其电子装置 - Google Patents

Abstract

本发明提供一种产生三维图像的方法及其电子装置。所述方法包括：获取对应于多个焦段的多个图像，其中所述多个焦段之间具有多个焦段差距；从所述多个图像中挑选参考图像，并以参考图像作为三维空间中的三维参考平面；依据锐利度参考值对各图像进行边缘检测，以在各图像中找出对应于锐利度参考值的至少一轮廓；在三维空间中，基于各焦段差距以及三维参考平面排列各图像；以及在各图像的至少一轮廓之间执行内插操作以产生三维图像。

Description

产生三维图像的方法及其电子装置

技术领域

本发明是有关于一种产生图像的方法及其电子装置，且特别是有关于一种产生三维图像的方法及其电子装置。

背景技术

在现代生活中，各种具有拍照功能的智能产品已然成为人们生活中不可或缺的一部分。为了满足消费者日益增加的拍照需求，已有多家厂商致力于研发各种拍照及图像处理应用程序，其分别具有例如美肌、特效、附加贴图、转换照片情境以及将二维图像转换为三维图像等功能。

在现有的将二维图像转换为三维图像功能中，一般需通过智能产品上设置的两个镜头来同时拍摄两张照片，再基于这两张照片来产生三维图像，但此种机制并无法适用于仅具有单一镜头的产品。

此外，现有中用于让仅具有单一镜头的产品产生三维图像的方式则是通过平移的方式让产品在不同的视角拍摄多张照片，再通过照片间的水平距离差来模拟双眼间视差，进而对应产生三维图像。然而，此种操作方式对于使用者而言并不方便。

发明内容

有鉴于此，本发明提出一种产生三维图像的方法及其电子装置，其可基于对应于不同焦段的多张照片来产生三维图像，因而可让使用者简易地以仅具有单一镜头的产品取得三维图像。

本发明提供一种产生三维图像的方法，适于电子装置。所述方法包括：获取对应于多个焦段的多个图像，其中所述多个焦段之间具有多个焦段差距；从所述多个图像中挑选参考图像，并以参考图像作为三维空间中的三维参考平面；依据锐利度参考值对各图像进行边缘检测，以在各图像中找出对应于锐利度参考值的至少一轮廓；在三维空间中，基于各焦段差距以及三维参考平面排列各图像；以及在各图像的至少一轮廓之间执行内插操作以产生三维图像。

本发明提供一种电子装置，用于产生三维图像。所述电子装置包括取像单元、存储单元以及处理单元。存储单元存储多个模块。处理单元，连接取像单元以及存储单元，存取并执行所述多个模块。所述多个模块包括获取模块、挑选模块、检测模块、排列模块以及产生模块。获取模块控制取像单元获取对应于多个焦段的多个图像，其中所述多个焦段之间具有多个焦段差距。挑选模块从所述多个图像中挑选参考图像，并以参考图像作为三维空间中的三维参考平面。检测模块依据锐利度参考值对各图像进行边缘检测，以在各图像中找出对应于锐利度参考值的至少一轮廓。排列模块在三维空间中，基于各焦段差距以及三维参考平面排列各图像。产生模块在各图像的至少一轮廓之间执行内插操作以产生三维图像。

基于上述，本发明实施例提出的产生三维图像的方法及其电子装置可在取得对应于不同焦段的多个图像之后，依据这些焦段将这些图像在三维空间中进行适当的排列。接着，电子装置可对各个图像执行边缘检测找出各图像中的轮廓，并在各个图像中的轮廓之间执行内插操作，进而产生对应于所获取的多个图像的三维图像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是本发明的一实施例示出的电子装置示意图；

图2是本发明的一实施例示出的产生三维图像方法的流程图；

图3A至图3F是本发明的一实施例示出的产生三维图像示意图。

附图标记说明：

100：电子装置；

110：取像单元；

120：存储单元；

121：获取模块；

122：挑选模块；

123：检测模块；

124：排列模块；

125：产生模块；

130：处理单元；

140：陀螺仪；

310：参考轮廓；

320：第一轮廓；

330：第二轮廓；

D1：第一焦段差距；

D2：第二焦段差距；

DI’：特定焦段差距；

I1：第一图像；

I2：第二图像；

S210～S250：步骤；

RI：参考图像。

具体实施方式

图1是本发明的一实施例示出的电子装置示意图。在本实施例中，电子装置100可以是智能手机、平板电脑、个人数字助理、笔记本电脑(Notebook PC)或其他类似的装置。电子装置100包括取像单元110、存储单元120以及处理单元130。

取像单元110可以是任何具有电荷耦合元件(Charge coupled device，CCD)镜头、互补金属氧化物半导体(Complementary metal oxide semiconductor transistors，CMOS)镜头，或红外线镜头的摄影机，也可以是可取得深度信息的图像获取设备，例如是深度摄影机(depth camera)或立体摄影机。存储单元120例如是存储器、硬盘或是其他任何可用于存储数据的元件，而可用以记录多个模块。

处理单元130耦接取像单元110以及存储单元120。处理单元130可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、特殊应用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(Advanced RISC Machine，ARM)的处理器以及类似品。

在本实施例中，处理单元130可存取存储单元120所存储的获取模块121、挑选模块122、检测模块123、排列模块124以及产生模块125以执行本发明提出的产生三维图像方法的各个步骤。

图2是本发明的一实施例示出的产生三维图像方法的流程图。图3A至图3F是依据本发明的一实施例示出的产生三维图像示意图。本实施例的方法可由图1的电子装置100执行，以下即搭配图1的元件来说明本方法的详细步骤。

在步骤S210中，获取模块121可控制取像单元110获取对应于多个焦段的多个图像。详细而言，取像单元110可依据不同的焦段对同一场景获取多个图像。此外，为了保证本发明的方法在实施上的即时性，取像单元110获取所述多个图像的时间可由设计者进行适当的调整，例如在一秒内获取5张图像等。应了解的是，当电子装置100的取像速度越高时，取像单元110所能获取的图像数量即越高。也即，所述多个图像的数量正比于电子装置100的取像速度，但本发明的可实施方式不限于此。

在步骤S220中，挑选模块122可从所述多个图像中挑选参考图像，并以参考图像作为三维空间中的三维参考平面。参考图像如是所述多个图像中具有所述多个焦段中的最大焦段的图像。换言之，挑选模块122可采用最清楚的一个图像作为参考图像(因其焦段最大)，但本发明的可实施方式不限于此。所述三维空间可表征为X轴、Y轴以及Z轴，而挑选模块122例如可将参考图像贴至此三维空间中的X-Y平面，以定义所述三维参考平面。

如图3A所示，其例如是挑选模块122将参考图像RI贴至X-Y平面后的示意图。或者，在其他实施例中，设计者也可将参考图像贴至三维空间中的任一平面以定义三维参考平面。

在步骤S230中，检测模块123可依据锐利度参考值对各图像进行边缘检测，以在各图像中找出对应于锐利度参考值的至少一轮廓。所述锐利度参考值例如是介于0至1之间的数值(例如0.3)，其可由设计者依据需求自行决定。在决定锐利度参考值之后，检测模块123即可据以在每个图像中找出对应的轮廓。

假设所述多个图像中包括第一图像，而此第一图像中包括多个像素。所述多个像素中包括第一像素以及相邻于第一像素的第二像素，且第一像素及第二像素分别具有第一灰阶值以及第二灰阶值。为了便于说明本发明的概念，在以下篇幅中，所述第一图像皆假设为具有第一焦段的图像，所述第一焦段仅次于参考图像的最大焦段，而第一焦段与最大焦段之间具有第一焦段差距。

当检测模块123针对第一图像找出其中对应于锐利度参考值的轮廓时，对于每个相邻的第一像素及第二像素而言，检测模块123计算第一灰阶值以及第二灰阶值之间的差距。并且，当此差距大于预设门限值(例如是30％)时，检测模块123定义第一像素以及第二像素的其中之一为第一图像的轮廓像素。也即，当检测模块123检测到相邻的像素之间的灰阶值有大幅度变化时，检测模块123即可判断此处存在边界，并将其中一个像素(例如是具有较高灰阶值的像素)定义为轮廓像素。之后，检测模块123可找出第一图像中所有的轮廓像素，并据以定义第一图像中的一或多个第一轮廓。举例而言，检测模块123可将相邻或是附近的轮廓像素连接为所述轮廓，但本发明的可实施方式不限于此。

针对第一图像之外的其他图像，本领域具通常知识者应可依据上述教示而在其他图像中找出各图像中对应于锐利度参考值的轮廓，在此不再赘述。请参照图3B，为了便于说明，参考图像RI中所找出的轮廓可表征为参考轮廓310。

之后，在步骤S240中，排列模块124可在三维空间中基于各焦段差距以及三维参考平面排列各图像。详细而言，如图3C所示，排列模块124可将第一图像I1平行排列于与参考图像RI相距第一焦段差距D1的第一位置，其中排列后的第一图像I1对齐于参考图像RI。应了解的是，第一图像I1中也可包括由检测模块123所找出的第一轮廓320。

假设所述多个图像中还包括对应于第二焦段(小于第一焦段)的第二图像，且第二焦段与第一焦段之间具有第二焦段差距，则排列模块124可更基于上述机制将第二图像排列于三维空间中。

请参照图3D，排列模块124可将第二图像I2平行排列于与第一图像I1相距第二焦段差距D2的第二位置，其中排列后的第二图像I2对齐于第一图像I1。如图3D所示，第一图像I1以及第二图像I2位于参考图像RI的同一侧，且第二图像I2与参考图像RI之间的特定焦段差距DI’为第一焦段差距D1以及第二焦段差距D2的总和。应了解的是，第二图像I2中也可包括由检测模块123所找出的第二轮廓330。

请再次参照图2，在步骤S250中，产生模块125可在各图像的至少一轮廓之间执行内插操作以产生三维图像。请参照图3E，假设参考轮廓310、第一轮廓320以及第二轮廓330皆对应于场景中的同一物件(例如一座山)，则产生模块125可在第一轮廓320以及参考轮廓310之间执行内插操作以连接第一轮廓320以及参考轮廓310，并在第二轮廓330以及第一轮廓320之间执行内插操作以连接第二轮廓330以及第一轮廓320。

简言之，电子装置100可将各个图像所对应的焦段转换为三维空间中的Z轴高度信息(即，各个焦段差距)，进而依据这些Z轴高度信息将各个图像在三维空间中排列至适当的位置。接着，电子装置100可在各个图像中的轮廓之间执行内插操作，进而产生例如图3E所示的三维图像。

应了解的是，由于用来决定三维参考平面的参考图像RI是具有最大焦段的图像，因此当图3E中的三维图像被呈现给使用者观赏时，电子装置100应以负Z轴方向为三维图像的上方(如图3F所示)，而非如图3E所示的以正Z轴方向为三维图像的上方，但本发明的可实施方式不限于此。

在其他实施例中，电子装置100可还包括连接于处理单元130的陀螺仪140。因此，处理单元130即可依据陀螺仪140的感测信号旋转三维图像。如此一来，使用者在观看此三维图像时即可更进一步感受到三维图像所带来的视觉效果。

综上所述，本发明实施例提出的产生三维图像的方法及其电子装置可在取得对应于不同焦段的多个图像之后，依据这些焦段将这些图像在三维空间中进行适当的排列。接着，电子装置可对各个图像执行边缘检测找出各图像中的轮廓，并在各个图像中的轮廓之间执行内插操作，进而产生对应于所获取的多个图像的三维图像。如此一来，即便电子装置仅配置有单一个取像单元，电子装置仍可顺利且便利地产生三维图像，因而能够提供使用者有别于以往的使用者体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种产生三维图像的方法，适于电子装置，其特征在于，包括：

获取对应于多个焦段的多个图像，其中该些焦段之间具有多个焦段差距；

从该些图像中挑选参考图像，并以该参考图像作为三维空间中的三维参考平面，其中该些图像对应于同一场景，且该参考图像具有该些焦段中的最大焦段；

依据锐利度参考值对各该图像进行边缘检测，以在各该图像中找出对应于该锐利度参考值的至少一轮廓，其中该些图像包括对应于第一焦段的第一图像，该第一焦段与该最大焦段之间具有第一焦段差距，该参考图像包括对应于该锐利度参考值的参考轮廓；

在该三维空间中，将该第一图像平行排列于与该参考图像相距该第一焦段差距的第一位置以基于各该焦段差距以及该三维参考平面排列各该图像，其中排列后的该第一图像对齐于该参考图像；以及

在各该图像的该至少一轮廓之间执行内插操作以产生三维图像。

2.根据权利要求1所述的方法，其特征在于，该些图像还包括对应于第二焦段的第二图像，该第二焦段与该第一焦段之间具有第二焦段差距，且在将该第一图像平行排列于与该参考图像相距该第一焦段差距的该第一位置的步骤之后，还包括：

将该第二图像平行排列于与该第一图像相距该第二焦段差距的第二位置，其中排列后的该第二图像对齐于该第一图像，

其中，该第一图像以及该第二图像位于该参考图像的同一侧，且该第二图像与该参考图像之间的特定焦段差距为该第一焦段差距以及该第二焦段差距的总和。

3.根据权利要求1所述的方法，其特征在于，该第一图像包括对应于该锐利度参考值的第一轮廓，该参考图像包括对应于该锐利度参考值的参考轮廓，该第一轮廓与该参考轮廓对应于第一物件，且在各该图像的该至少一轮廓之间执行该内插操作以产生该三维图像的步骤包括：

在该第一轮廓以及该参考轮廓之间执行该内插操作以连接该第一轮廓以及该参考轮廓。

4.根据权利要求3所述的方法，其特征在于，该些图像还包括第二图像，该第二图像包括对应于该锐利度参考值的第二轮廓，该第二轮廓对应于该第一物件，其中在连接该第一轮廓以及该参考轮廓的步骤之后，还包括：

在该第二轮廓以及该第一轮廓之间执行该内插操作以连接该第二轮廓以及该第一轮廓。

5.根据权利要求1所述的方法，其特征在于，该些图像的数量正比于该电子装置的取像速度。

6.根据权利要求1所述的方法，其特征在于，该些图像包括第一图像，该第一图像包括多个像素，该些像素包括第一像素以及相邻于该第一像素的第二像素，该第一像素具有第一灰阶值，该第二像素具有第二灰阶值，且依据该锐利度参考值对各该图像进行该边缘检测，以在各该图像中找出对应于该锐利度参考值的该至少一轮廓的步骤包括：

计算该第一灰阶值以及该第二灰阶值之间的差距；

当该差距大于预设门限值时，定义该第一像素以及该第二像素的其中之一为该第一图像的轮廓像素；以及

找出该第一图像中所有的该轮廓像素，并据以定义该第一图像中的该至少一轮廓。

7.根据权利要求1所述的方法，其特征在于，在产生该三维图像的步骤之后，还包括：

依据该电子装置的陀螺仪的感测信号旋转该三维图像。

8.一种电子装置，用于产生三维图像，其特征在于，包括：

取像单元；

存储单元，存储多个模块；以及

处理单元，连接该取像单元以及该存储单元，存取并执行该些模块，该些模块包括：

获取模块，控制该取像单元获取对应于多个焦段的多个图像，其中该些焦段之间具有多个焦段差距；

挑选模块，从该些图像中挑选参考图像，并以该参考图像作为三维空间中的三维参考平面，其中该些图像对应于同一场景，且该参考图像具有该些焦段中的最大焦段；

检测模块，依据锐利度参考值对各该图像进行边缘检测，以在各该图像中找出对应于该锐利度参考值的至少一轮廓，其中该些图像包括对应于第一焦段的第一图像，该第一焦段与该最大焦段之间具有第一焦段差距，该参考图像包括对应于该锐利度参考值的参考轮廓；

排列模块，在该三维空间中，将该第一图像平行排列于与该参考图像相距该第一焦段差距的第一位置以基于各该焦段差距以及该三维参考平面排列各该图像，其中排列后的该第一图像对齐于该参考图像；以及

产生模块，在各该图像的该至少一轮廓之间执行内插操作以产生三维图像。