CN103636199B - 三维摄像装置、图像处理装置、图像处理方法 - Google Patents

Abstract

本发明的一形态涉及的三维摄像装置具备：光透过部(2)，其具有被设置成光并列地入射且透过率的波长依赖性相互不同的N种(N为2以上的整数)第1滤光器(C1、C2、C3)；摄像元件(1)，其具有透过率的波长依赖性相互不同的N种第2滤光器；以及摄像驱动部，其驱动光透过部(2)以便连续地进行M次(M为N以上的整数)摄像。摄像驱动部驱动光透过部(1)，以使第1滤光器(C1、C2、C3)的各位置在每次摄像时在对摄像元件(1)预先确定的N个位置上变化。

Description

三维摄像装置、图像处理装置、图像处理方法

技术领域

本申请涉及获取具有视差的多个图像的单眼式三维摄像技术。

背景技术

近年来，在使用了CCD或CMOS等固体摄像元件(以下有时称为“摄像元件”。)的数码相机或数码摄像机的高功能化、高性能化方面令人惊讶。尤其是，随着半导体制造技术的进步，固体摄像元件中的像素结构的微细化也在发展。其结果，实现了固体摄像元件的像素及驱动电路的高集成化。为此，寥寥数年，摄像元件的像素数就从100万像素左右显著增加到1000万像素以上。进一步，通过摄像而得到的图像的质量也得到飞越性的提高。另一方面，关于显示装置，借助薄型的利用液晶或等离子的显示器，无论任何场所，都能以高分辨率进行高对比度的显示，可实现高性能。这种影像的高品质化的趋势正从二维图像向三维图像发展。最近，开始开发虽然需要偏振眼镜、但为高画质的三维显示装置。

关于三维摄像技术，作为具有简单构成的典型性技术，有使用由2个照相机构成的摄像系统来分别获取右眼用图像及左眼用图像的技术。在这种所谓的双眼摄像方式中，由于使用2个照相机，故摄像装置变得大型起来，成本也会升高。因此，正在研究使用1个照相机来获取具有视差的多个图像(以下有时称为“多视点图像”。)的方式(单眼摄像方式)。例如，专利文献1中公开了使用滤色器同时获取具有视差的2个图像的方式。图16是示意性地表示基于该方式的摄像系统的图。该技术中的摄像系统具备镜头3、镜头光圈19、配置了透过波段不同的2个滤色器20a、20b的光束限制板20及感光薄膜21。在此，滤色器20a、20b例如是分别可透过红色系、蓝色系的光的滤光器。

根据以上构成，入射光透过镜头3、镜头光圈19及光束限制板20后在感光薄膜21上成像。此时，在光束限制板20上的2个滤色器20a、20b的位置是不同的，所以形成于感光薄膜21上的像产生视差。在此，利用感光薄膜制作照片，若使用将红色薄膜及蓝色薄膜分别作为右眼用及左眼用来粘贴的眼镜，则可以观察具有纵深感的图像。这样，根据专利文献1所公开的技术，可以使用2个滤色器来制作多视点图像。

专利文献1所公开的技术可在感光薄膜上成像并制作具有视差的多个图像，而专利文献2中公开了将具有视差的图像转换为电信号进行获取的技术。图17是示意性地表示该技术中的光束限制板22的图。在该技术中，使用在与摄像光学系统的光轴垂直的平面上设置了透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B的光束限制板22。利用具有对红色光进行探测的R像素、对绿色光进行探测的G像素、对蓝色光进行探测的B像素的彩色摄像元件来接受透过这些区域后的光，由此可获取由透过各区域后的光形成的图像。

再有，在专利文献3中也公开了使用与图17的构成同样的构成来获取具有视差的多个图像的技术。图18是示意性地表示专利文献3所公开的光束限制板23的图。在该技术中也通过使入射光透过被设置在光束限制板23的R区域23R、G区域23G、B区域23B，从而可以制作具有视差的多个图像。

专利文献4也同样地公开了使用相对于光轴对称地配置且颜色相互不同的一对滤光器来生成具有视差的多个图像的技术。作为一对滤光器，利用红色的滤光器及蓝色的滤光器，由此探测红色光的R像素观测透过红色滤光器后的光，探测蓝色光的B像素观测透过蓝色滤光器后的光。由于红色滤光器与蓝色滤光器的位置不同，故R像素接受的光的入射方向和B像素接受的光的入射方向是相互不同的。其结果，用R像素观测到的图像和用B像素观测到的图像成为视点相互不同的图像。通过按照每个像素从这些图像中求取对应点，从而可以计算视差量。根据计算出的视差量与照相机的焦点距离信息来求取自照相机到被摄体为止的距离。

专利文献5公开了根据使用安装有口径尺寸相互不同的2个滤色器(例如红色与蓝色)的光圈、或者颜色不同的2个滤色器被安装在相对于光轴左右对称的位置上的光圈而获取到的2个图像来求取被摄体的距离信息的技术。在该技术中，在对分别透过口径尺寸相互不同的红色及蓝色的滤色器后的光进行观测的情况下，按每种颜色观测到的模糊的程度是不同的。因此，与红色及蓝色的滤色器各自对应的2个图像成为模糊的程度因被摄体的距离而不同的图像。通过从这些图像求取对应点并对模糊的程度进行比较，从而得到自照相机到被摄体为止的距离信息。另一方面，在对分别透过被安装在相对于光轴左右对称的位置上的颜色不同的2个滤色器后的光进行观测的情况下，按每种颜色观测到的入射光的方向是不同的。因此，与红色及蓝色的滤色器各自对应的2个图像成为具有视差的图像。通过从这些图像求取对应点并求取对应点间的距离，从而得到自照相机到被摄体为止的距离信息。

根据上述的专利文献1～5所公开的技术，通过在光束限制板或者光圈配置RGB色系的滤色器，从而可以生成具有视差的多个图像。然而，由于使用RGB色系的滤色器，故入射光量减少到约1/3。再有，为了增大所获取的视差量，需要将多个滤色器配置在相互分离开的位置上并缩小这些部件的面积，但是若缩小滤色器的面积，则入射光量进一步减少。

针对以上的现有技术，在专利文献6中公开了使用配置有RGB的多个滤色器的光圈而可以获得具有视差的多个图像和光量上无问题的通常图像的技术。根据该技术，摄像元件在关闭了光圈的状态下仅接受透过RGB的滤色器后的光，在打开了光圈的状态下由于RGB的滤色器区域自光路脱离，故可以将入射光全部接受。由此，在关闭了光圈的状态下可以获取多视点图像，在打开了光圈的状态下可以获取光利用率高的通常图像。

在先技术文献

专利文献

专利文献1：JP特开平2-171737号公报

专利文献2：JP特开2002-344999号公报

专利文献3：JP特开2009-276294号公报

专利文献4：JP特开2010-38788号公报

专利文献5：JP特开2010-79298号公报

专利文献6：JP特开2003-134533号公报

非专利文献

非专利文献1：森上雄太、高木健、石井抱：利用视点转换光圈的实时单眼立体系统、第27届日本机器人学会学术演讲会演讲论文集、3R2-06、2009。

发明内容

本发明要解决的课题

根据专利文献1～6所公开的技术，无法获得光利用率高的多视点图像。

本发明的实施方式提供一种与现有技术相比能以更高的光利用率生成多视点图像的三维摄像技术。

解决课题的技术手段

为了解决上述课题，本发明的一形态涉及的三维摄像装置具备：光透过部，其具有被设置为光并列地入射且透过率的波长依赖性相互不同的N种(N为2以上的整数)第1滤光器；摄像元件，其被配置成接受透过所述光透过部后的光，所述摄像元件具有光感测单元阵列、及与所述光感测单元阵列对置配置的滤光器阵列，所述光感测单元阵列及所述滤光器阵列由多个单位要素构成，各单位要素包括N个光感测单元、及与所述N个光感测单元对置配置且透过率的波长依赖性相互不同的N个第2滤光器；成像部，其在所述摄像元件的摄像面上形成像；以及摄像驱动部，其驱动所述光透过部以便连续地进行M次(M为N以上的整数)摄像，所述摄像驱动部驱动所述光透过部，以使所述N种第1滤光器的各位置在每次摄像时在对所述摄像元件预先确定的位置上变化。

上述的一般性且特定的形态能利用系统、方法、及计算机程序来安装，或者能利用系统、方法及计算机程序的组合来实现。

发明效果

根据本发明的一形态涉及的三维摄像装置，与现有技术相比能以更高的光利用率获得多视点图像。

附图说明

图1是表示例示性的实施方式1中的整体构成的框图。

图2是表示例示性的实施方式1中的透光板、光学系统、及摄像元件的简要构成的示意图。

图3是表示例示性的实施方式1中的透光板的滤色器的配置的图。

图4是表示例示性的实施方式1中的摄像元件的滤色器的基本构成的图。

图5是用于说明入射到例示性的实施方式1中的透光板2的光和透过该透光板2的光的示意图。

图6是表示使例示性的实施方式1中的透光板旋转的例子的图。

图7是表示在例示性的实施方式1中使透光板旋转进行拍摄而得到的3种彩色图像的例子的图。

图8是表示在例示性的实施方式1中由通过从拍摄图像求取到的各透过区域的成分的光形成的图像的例子的图。

图9是表示例示性的实施方式1中的配置于透过区域内的滤光器的位置及颜色成分和所输出的信号之间的关系的表。

图10是表示以例示性的实施方式1中的方法计算出的具有视差的图像的图。

图11A是表示例示性的实施方式2中的透光板的例子的图。

图11B是表示例示性的实施方式2中的摄像元件中的滤色器排列的例子的图。

图12A是表示例示性的实施方式2中的彩虹色图案的透光板2的例子的图。

图12B是表示例示性的实施方式2中的N=7的情况下的透光板2的例子的图。

图13是表示利用例示性的其他实施方式中的滑动板使透过区域的光谱透过率变化的构成的例子的图。

图14是表示利用例示性的其他实施方式中的滑动板使透过区域的光谱透过率变化的构成的其他例子的图。

图15是表示例示性的其他实施方式中的从摄像到彩色多视点图像生成为止的次序的流程图。

图16是专利文献1中的摄像系统的构成图。

图17是专利文献2中的光束限制板的外观图。

图18是专利文献3中的光束限制板的外观图。

具体实施方式

作为本发明的基础的见识如下所述。

根据专利文献1～5所公开的技术，虽然可以获取多视点图像，但无法提高摄像元件中的光的利用率。其理由之一在于：使用的是原色(RGB色系)的滤色器。另一方面，根据专利文献6所公开的技术，通过使用借助机械性驱动使滤色器自光路脱离的机构，从而可以获取光利用率高的通常图像。但是，即便在该技术中由于在获取多视点图像之际也使用的是原色的滤色器，故无法获得光利用率高的多视点图像。

再有，在拍摄有彩色的被摄体的情况下，由于由被摄体反射的光的波段具有偏差，故并非是所有波长的光相等地入射到摄像装置。因此，例如在使用红色及蓝色的滤色器来拍摄红色被摄体的情况下，产生来自被摄体的反射光虽然通过红色的滤色器、但不通过蓝色的滤色器的事态。其结果，在现有技术中，在被摄体有彩色的情况下有可能无法正确地得到多视点图像。

在专利文献3中公开了：在拍摄有彩色的被摄体的情况下通过利用颜色的线性来获取距离信息、由此生成具有视差的彩色图像的技术。然而，在被摄体为原色的情况下或拍摄场景无纹理的情况下，难以基于颜色线性来获取距离信息。

本申请发明人们找到与在先技术相关的以上见识，完成了本发明。根据本发明的一形态，与现有技术相比能以更高的光利用率生成多视点图像。

本发明的实施方式的概要如下所述。

(1)作为本发明的一形态的三维摄像装置具备：光透过部，其具有被设置为光并列地入射且透过率的波长依赖性相互不同的N种(N为2以上的整数)第1滤光器；摄像元件，其被配置成接受透过所述光透过部后的光，所述摄像元件具有光感测单元阵列、及与所述光感测单元阵列对置配置的滤光器阵列，所述光感测单元阵列及所述滤光器阵列由多个单位要素构成，各单位要素包括N个光感测单元、及与所述N个光感测单元对置配置且透过率的波长依赖性相互不同的N个第2滤光器；成像部，其在所述摄像元件的摄像面上形成像；以及摄像驱动部，其驱动所述光透过部以便连续地进行M次(M为N以上的整数)摄像，所述摄像驱动部驱动所述光透过部，以使所述N种第1滤光器的各位置在每次摄像时在对所述摄像元件预先确定的N个位置上变化。

(2)在某一形态中，所述N种第1滤光器被设计成可见光所包含的任意波长的光能透过所述N种第1滤光器的至少一种，所述N种第1滤光器的至少一种具有比原色的波段更宽的透过波段。

(3)项目(1)或者(2)所述的三维摄像装置在某形态中具备图像生成部，其基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

(4)在项目(3)所述的三维摄像装置的某形态中，所述图像生成部基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号，通过对所生成的所述N×M个图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像。

(5)在项目(1)～(4)中任一项所述的三维摄像装置的某形态中，所述N种第1滤光器之中的3种透过波段被设计成分别与蓝绿色、品红色、黄色、红色、蓝色、绿色之中的3个波段相等。

(6)在项目(1)～(5)中任一项所述的三维摄像装置的某形态中，N=3，所述N种第1滤光器的透过波段被设计成分别与蓝绿色、品红色、黄色的波段相等，所述N个第2滤光器的透过波段被设计成分别与红色、蓝色、绿色的波段相等。

(7)在项目(1)～(6)中任一项所述的三维摄像装置的某形态中，所述光透过部中的所述N种第1滤光器被配置成：距所述光透过部的中心的距离全部相等、且相邻的2个第1滤光器间的距离相等。

(8)在项目(1)～(7)中任一项所述的三维摄像装置的某形态中，所述摄像驱动部通过使所述光透过部以所述光透过部的中心为轴进行旋转，从而使所述N种第1滤光器的各位置在每次摄像时在所述N个位置上变化。

(9)作为本发明的一形态的图像处理装置是基于由项目(1)～(8)中任一项所述的三维摄像装置而获取到的信号来生成多视点图像的图像处理装置，基于在所述M次摄像的每次摄像时从所述摄像元件中的各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

(10)在某形态中，所述图像处理装置基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号，通过对所生成的所述N×M个图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像。

(11)作为本发明的一形态的图像处理方法是用于基于由项目(1)～(8)中任一项所述的三维摄像装置而获取到的信号来生成多视点图像的图像处理方法，包括如下步骤：基于在所述M次摄像的每次摄像时从所述摄像元件中的各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

(12)在某形态中，生成所述N个多视点图像的步骤包括：基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号的步骤；以及通过对所生成的所述N×M个所述图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像的步骤。

(13)作为本发明的一形态的图像处理程序是用于基于由本发明实施方式涉及的三维摄像装置而获取到的信号来生成多视点图像的图像处理程序，使计算机执行以下步骤：基于在所述M次摄像的每次摄像时从所述摄像元件中的各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

(14)在某形态中，生成所述N个多视点图像的步骤包括：基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号的步骤；以及通过对所生成的所述N×M个所述图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像的步骤。

以下，参照附图更具体地说明本发明的实施方式。在以下的说明中，对共同或者对应的要素标注相同的符号。另外，在本说明书中，有时将表示图像的信号或者信息单称为“图像”。再有，表示“上”、“左”、“右”等位置的用语可基于所参照的附图来解释。实际的摄像装置的朝向始终能变化，因此本说明书中的表示位置的用语在现实中能根据摄像装置的朝向表示各种位置。

(实施方式1)

图1是表示本发明的第1实施方式中的摄像装置的整体构成的框图。本实施方式的摄像装置是数码式电子照相机，具备摄像部100、和基于来自摄像部100的信号来生成表示图像的信号(图像信号)的信号处理部200。其中，本实施方式中的摄像装置既可以仅生成静止图像，也可以具备生成运动图像的功能。

摄像部100具备：摄像元件(图像传感器)1，其包括排列在摄像面上的多个光感测单元(像素)；透光板(光透过部)2，其具有透过波段相互不同的3个透过区域且使入射光透过；光学镜头3，其用于在摄像元件的摄像面上形成像；和红外截止滤光器4。摄像部100还具备：信号产生／接收部5，其产生用于驱动摄像元件1的基本信号，并且接收来自摄像元件1的输出信号后向信号处理部200送出；元件驱动部6，其基于由信号产生／接收部5产生的基本信号来驱动摄像元件1；和旋转驱动部9，其使透光板2旋转。本实施方式中，旋转驱动部9具有本发明中的摄像驱动部的功能。

摄像元件1典型的是CCD或者CMOS传感器，采用公知的半导体制造技术来制造。信号产生／接收部5及元件驱动部6例如由CCD驱动器等LSI构成。旋转驱动部9具有使透光板2旋转的电动机，与元件驱动部6联动而使透光板2以其中心为轴进行旋转。

信号处理部200具备：图像信号生成部7，其对从摄像部100输出的信号进行处理来生成图像信号；存储器30，其保存图像信号的生成所使用的各种数据；和接口(IF)部8，其将所生成的图像信号向外部送出。图像信号生成部7可利用公知的数字信号处理器(DSP)等硬件和执行包括图像信号生成处理在内的图像处理的软件之间的组合而适宜地实现。存储器30由DRAM等构成。存储器30记录从摄像部100获得的信号，并且临时记录由图像信号生成部7生成的图像数据、或被压缩后的图像数据。这些图像数据经由接口部8而向未图示的记录介质或显示部等送出。

另外，本实施方式的摄像装置还可以具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但这些构成要素的说明对于本实施方式的理解来说并非是特别必要的，因此省略。

接着，参照图2～4，更详细地说明摄像部100的构成。

图2是示意性地表示摄像部100中的透光板2、镜头3、及摄像元件1的配置关系的图。另外，在图2中省略了透光板2、镜头3、及摄像元件1以外的构成要素。镜头3可以是由多个透镜组构成的镜头单元，但在图2为了简单而描绘成单一的透镜。透光板2具有透过波段相互不同的3个透过区域C1、C2、C3，使入射光的至少一部分透过。镜头3是公知的镜头，将透过透光板2后的光会聚并在摄像元件1的摄像面1a上成像。此外，在本实施方式中，光并不通过透光板2的透过区域C1、C2、C3以外的区域。在以下的说明中，使用图2所示的xy坐标。其中，图2所示的各构成要素的配置关系说到底只是一例而已，本发明并未限于这种配置关系。例如，只要可在摄像面1a上形成像，则镜头3也可以配置得比透光板2更远离摄像元件1。再有，也可以将镜头3与透光板2构成为一体。

图3是本实施方式中的透光板2的主视图。本实施方式中的透光板2的形状虽然与镜头3同样地是圆形，但是也可以为四边形或六边形等其他形状。在区域C1内配置可透过蓝绿色(Cy)的波段(绿色及蓝色的波段)的光的滤色器(Cy滤光器)。在区域C2内配置可透过黄色(Ye)的波段(红色及绿色的波段)的光的滤色器(Ye滤光器)。在区域C3内配置可透过品红色(Mg)的波段(红色及蓝色的波段)的光的滤色器(Mg滤光器)。

另外，本实施方式中的区域C1、C2、C3只要构成为分别透过Cy波段的光、Ye波段的光、Mg波段的光而不透过其他波段的光即可，未限于滤色器，也可以由任何部件来构成。例如，也可以由透过特定波段的光而反射其他波段的光的分色镜等来构成。在此，区域C1、C2、C3被配置成相对于透光板2的中心旋转对称，各自的中心被配置成相互地分开距离L。在初始状态下，根据镜头3的尺寸来决定这些区域间的距离L，以使所获取的图像具有适当的视差。距离L例如可设定为几mm～几cm。

在图2所示出的摄像元件1的摄像面1a上，形成有被排列成二维状的光感测单元阵列及与光感测单元阵列对置配置的滤色器阵列。光感测单元阵列及滤色器阵列如后所述具有多个单位要素，各单位要素包括4个光感测单元及与这些光感测单元对置的4个滤色器。各光感测单元典型的是光电二极管，通过光电转换来输出与各自的受光量相应的电信号(以下称为“光电转换信号”或者“像素信号”。)。再有，各滤色器可使用公知的颜料等来制作，被设计成选择性地使特定波段的光透过。

图4是示意性地表示本实施方式中的滤色器阵列的一部分的图。如图所示，在摄像面1a上，多个滤色器110排列成矩阵状。邻近的4个滤色器110及与这些滤色器对置的4个光感测单元120构成1个单位要素40。在各单位要素40中，在第1行第1列配置有使红色(R)波段的光透过的滤色器(R滤光器)。在第1行第2列及第2行第1列配置有使绿色(G)波段的光透过的滤色器(G滤光器)。在第2行第2列配置有使蓝色(B)波段的光透过的滤色器(B滤光器)。这样，本实施方式中的滤色器110的排列就成为以2行2列为基本的公知的Bayer排列。其中，光感测单元120及滤色器110的排列并非一定要是Bayer排列，也可以是公知的任何排列。例如，也可以是使图4所示的像素排列以纸面垂直方向为轴方向旋转45度而成的斜交型排列。再有，1个单位要素所包含的光感测单元120的个数未限于4个，只要为透光板2的光透过部的个数(本实施方式中为3个)以上即可。

根据以上的构成，在曝光中入射到摄像装置的光通过透光板2、镜头3、红外截止滤光器4、滤色器110而入射至光感测单元120。各光感测单元接受透过了透光板2的区域C1、C2、C3的每一个后的光之中、通过了对置的滤色器110的光，输出与所接受到的光的量相应的光电转换信号。由各光感测单元输出的光电转换信号通过信号产生／接收部5而被送出至信号处理部200。信号处理部200中的图像信号生成部7基于从摄像部100送出的信号来生成具有视差的多个彩色图像。

图5是示意性地表示入射到透光板2的光和透过透光板2的光之间的关系的图。假定3个透过区域C1、C2、C3中的各滤色器、及单位要素40所包含的各滤色器110全部透明时，假定红色成分的光R1、R2、R3、绿色成分的光G1、G2、G3、和蓝色成分的光B1、B2、B3入射至1个单位要素40所包含的各个光感测单元120。在此，R1、G1、B1是入射至区域C1的光，R2、G2、B2是入射至区域C2的光，R3、G3、B3是入射至区域C3的光。其中，红色成分、绿色成分、蓝色成分分别指的是在将可见光的波段(约400nm～约700nm)进行了3分割的情况下的长波段、中间波段、短波段。在此，1个单位要素40的尺寸和摄像面1a整体的尺寸相比足够小(例如，1千万分之1以下的面积)，因此假定同一光谱分布的光入射至4个光感测单元120的每一个。在以下的说明中，有时将记号R1、G1、B1、R2、G2、B2、R3、G3、B3作为表示光量的记号来使用。

实际上，在区域C1、C2、C3内分别配置有Cy、Ye、Mg滤光器。因此，透过区域C1的光为G1及B1，透过区域C2的光为R2及G2，透过区域C3的光为R3及B3。进而，与各光感测单元120对置地配置有R、G、B滤光器中的任一个。因此，与R滤光器对置的光感测单元(R像素)接受R2及R3，与G滤光器对置的光感测单元(G像素)接受G1及G2，与B滤光器对置的光感测单元(B像素)接受B1及B3。

如上，各光感测单元120接受透过了透过区域C1、C2、C3之后的光中的透过了对置的滤色器后的颜色成分的光。各光感测单元120输出与所接受到的光的量相应的光电转换信号。通过使用这些光电转换信号的运算，可以生成与各透过区域C1、C2、C3的位置对应的3个多视点图像。

以下，对使用了从各光感测单元输出的光电转换信号的运算处理进行说明。

透过区域C1、C2、C3中的3个滤色器、及单位要素40所包含的4个滤色器110的透过率的波长依赖性(光谱透过率)有时会自理想特性偏离。再有，镜头3或红外截止滤光器4等中也会有些微的入射光衰减。因此，本实施方式中的图像信号生成部7在考虑了这些特性的偏离、衰减之后进行以下的运算。

首先，着眼于1个单位要素40，在假定为Cy、Mg、Ye、R、G、B的任一滤色器都不存在的情况下，将相当于入射至该单位要素40的光之中透过透光板2的区域C1、C2、C3的成分的光的强度的信号分别标注下标“i”后用Ci1、Ci2、Ci3来表示。即，Ci1表示B1及G1的光强度，Ci2表示R2及G2的光强度，Ci3表示R3及B3的光强度。

再有，将镜头3及红外截止滤光器4合在一起的光谱透过率设为Tw，将Cy滤光器、Ye滤光器、Mg滤光器的光谱透过率分别设为Tcy、Tye、Tmg。同样地，将R、G、B的各滤色器的光谱透过率分别表示为Tr、Tg、Tb。在此，Tw、Tcy、Tye、Tmg、Tr、Tg、Tb是依赖于入射的光的波长λ的函数。而且，将表示透过R、G、B的滤色器110并被正下方的光感测单元120接受的光的强度的信号分别标注下标“s”而表示为Rs、Gs、Bs。再有，用记号∑来表示可见光波段中的光谱透过率的积分运算。例如，将与波长λ相关的积分运算∫TwTcyTrdλ等表示为∑TwTcyTr等。在此，设积分是在可见光的整个波段内进行的。

于是，Rs与将Ci1∑TwTcyTr、Ci2∑TwTyeTr、及Ci3∑TwTmgTr合计在一起的结果成比例。同样地，Gs与将Ci1∑TwTcyTg、Ci2∑TwTyeTg、及Ci3∑TwTmgTg合计在一起的结果成比例。Bs与将Ci1∑TwTcyTb、Ci2∑TwTyeTb、Ci3∑TwTmgTb合计在一起的结果成比例。如果将这些关系中的比例系数设为1，则Rs、Gs、Bs可以用以下的式1～3来表示。

(式1)Rs=Ci1∑TwTcyTr+Ci2∑TwTyeTr+Ci3∑TwTmgTr

(式2)Gs=Ci1∑TwTcyTg+Ci2∑TwTyeTg+Ci3∑TwTmgTg

(式3)Bs=Ci1∑TwTcyTb+Ci2∑TwTyeTb+Ci3∑TwTmgTb

在式1～3中，分别用Mx11、Mx12、Mx13来表示∑TwTcyTr、∑TwTyeTr、∑TwTmgTr，分别用Mx21、Mx22、Mx23来表示∑TwTcyTg、∑TwTyeTg、∑TwTmgTg，分别用Mx31、Mx32、Mx33来表示∑TwTcyTb、∑TwTyeTb、∑TwTmgTb。于是，Rs、Gs、Bs和Ci1、Ci2、Ci3之间的关系，使用矩阵可以用以下的式4来表示。

[数1]

(式4) $\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)$

在此，若将式4中的由要素Mx11～Mx33组成的矩阵的逆矩阵的要素分别设为iM11～iM33，于是式4可变形为下式5。即，可以使用光电转换信号Rs、Gs、Bs及与已知的光谱透过率相关的信息来表示以下信号：表示入射至区域C1的光所包含的Cy成分的光的强度的信号Ci1、表示入射至区域C2的光所包含的Ye成分的光的强度的信号Ci2、及表示入射至区域C3的光所包含的Mg成分的光的强度的信号Ci3。

[数2]

(式5) $\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iM}11& \mathrm{iM}12& \mathrm{iM}13\\ \mathrm{iM}21& \mathrm{iM}22& \mathrm{iM}23\\ \mathrm{iM}31& \mathrm{iM}32& \mathrm{iM}33\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\\ \mathrm{Gs}\\ \mathrm{Bs}\end{array}\right)$

图像信号生成部7执行基于式5的信号运算，按每个单位要素来生成信号Ci1、Ci2、Ci3。这样按每个单位要素生成的信号Ci1、Ci2、Ci3分别构成由入射至区域C1的Cy成分的光形成的图像、由入射至区域C2的Ye成分的光形成的图像、及由入射至区域C3的Mg成分的光形成的图像。

通过以上处理而得到的图像信号Ci1、Ci2、Ci3虽然可以用光电转换信号Rs、Gs、Bs来表示，但这些图像信号并不是彩色图像，而是相当于表示入射至区域C1、C2、C3的光之中透过各区域的波段的光的强度的浓淡图像。再有，由信号Ci1、Ci2、Ci3表示的3个图像相当于从区域C1、C2、C3的位置分别观察被摄体时的图像，因此是多视点图像。

在对一般性的场景进行拍摄的情况下，存在有彩色的被摄体。或者，并不限于从光源射出的光的光谱分布如太阳那样均衡。通过从光源射出的光的光谱分布和被摄体的光谱反射率之间的积分运算来表示来自被摄体的反射光量。因此，被摄体即便为无彩色，在从光源射出的光的光谱分布存在偏差的情况下，从被摄体被反射的光的光谱分布也具有偏差。如果从光源射出的光的光谱分布是均衡的，在对无彩色的被摄体进行拍摄的情况下，理想的是图5中的R1、G1、B1为相同的值。同样地，R2、G2、B2也为相同的值，R3、G3、B3也为相同的值。因而，通过Cy滤光器后的光的强度G1+B1和通过Ye滤光器后的光的强度R2+G2相等。

然而，在从光源射出的光的光谱分布存在偏差的情况下或被摄体为有彩色的情况下，即便是在三维的外部世界中从相同的被摄体的点被反射的光，G1+B1、R2+G2、及R3+B3也会成为不同的值。例如，如果是红色的被摄体，贝G1+B1=0、R2+G2=R2，但由于R2≠0，故G1+B1≠R2+G2。

在此，如果是图3所示的透光板2的滤色器的配置，则通过(式5)所示的运算而得到的信号Ci1、Ci2、Ci3分别对应于从图3中的上(C3的位置)观察被摄体的Mg成分的图像、从左(C1位置)观察被摄体的Cy成分的图像、及从右(Ye的位置)观察被摄体的Ye成分的图像。因而，可以认为：信号Ci1、Ci2、Ci3分别是将被摄体的颜色分离成互补色系的图像，分别表示视点不同的图像。

因此，在本实施方式中，使图3的透光板2如图6(a)、(b)、(c)所示那样旋转来拍摄3张图像，利用运算处理进行多个不同的视点的图像的生成与合成处理，由此生成具有视差的多个彩色图像。例如，如非专利文献1所述的方法那样，通过在透光板2上附加皮带，利用电动机使皮带旋转，从而可实现透光板2的旋转。旋转驱动部9利用这种机构使透光板2旋转，摄像元件1在图6(a)、(b)、(c)的各状态下获取图像信号。在以下的说明中，在图6(b)及图6(c)的各状态下，将与式5中的Ci1、Ci2、Ci3对应的信号分别表示为Cj1、Cj2、Cj3、及Ck1、Ck2、Ck3。

首先，在图6(a)所示的状态1中，根据基于式5的运算，计算图像信号Ci1、Ci2、Ci3。接着，使透光板2旋转120度，以成为图6(b)所示的状态2，在此基础上同样地计算图像信号Cj1、Cj2、Cj3。最后，进一步使透光板2旋转120度，以成为图6(c)所示的状态3，在此基础上计算图像信号Ck1、Ck2、Ck3。

根据如上那样计算出的图像信号而生成了与各状态对应的3个彩色图像的结果的例子如图7所示。图7(a)表示将在作为初始状态的状态1下获取到的图像信号Ci1、Ci2、Ci3分别作为Cy成分、Ye成分、Mg成分而拍摄到的彩色图像。图7(b)表示将在自初始状态旋转了120度的状态2下获取到的图像信号Cj1、Cj2、Cj3分别作为Cy成分、Ye成分、Mg成分而拍摄到的彩色图像。图7(c)表示将在自初始状态旋转了240度的状态3下获取到的图像信号Ck1、Ck2、Ck3分别作为Cy成分、Ye成分、Mg成分而拍摄到的彩色图像。在图7所示的各图像中，左侧的被摄体的颜色为红色，中央附近的被摄体的颜色为蓝色，右上部的被摄体的颜色为绿色。左侧的被摄体位于最跟前，右侧的被摄体位于最里面。另外，图7所示的3个图像均不包括视差的信息。

图8是表示针对图7所示的图像，将通过运算根据Rs、Gs、Bs的信号计算Ci1、Ci2、Ci3、Cj1、Cj2、Cj3、Ck1、Ck2、Ck3的结果作为图像进行了显示的例子的图。在图8中，第1列、第2列、第3列分别表示由透过状态1(旋转0度)、状态2(旋转120度)、状态3(旋转240度)下的透光板2的各位置(左、上、右)后的光形成的浓淡图像。再有，图9是表示透光板2中的各位置与各颜色成分的组合对应于哪一图像信号的表。图9所示的表的横向示出配置于各透过区域内的滤色器的颜色成分，纵向示出滤色器在透光板2中的位置。如图8所示，通过运算并基于使透光板2旋转而拍摄到的3张图像求取出的图像成分共计有3个位置×3个颜色成分的9个。在此，透过透光板2的左侧的光的Cy成分、Ye成分、Mg成分分别对应于Ci1、Cj2、Ck3。因而，如果根据图像信号Ci1、Cj2、Ck3来合成彩色图像，则得到从左侧观察被摄体时的彩色图像。同样地，通过使用Ck1、Ci2、Cj3，从而可生成从右侧观察被摄体时的彩色图像。另外，通过使用Cj1、Ck2、Ci3，从而可生成从上面观察被摄体时的彩色图像。

以下，对求取视点不同的各彩色图像的方法进行说明。利用对(式4)进行变形而得到的以下的(式6)来求取从左侧观察被摄体的情况下的彩色图像。在此，将该彩色图像中的红色成分、绿色成分、蓝色成分的信号分别表示为Rs1、Gs1、Bs1。

[数3]

(式6) $\left(\begin{array}{c}\mathrm{Rs}1\\ \mathrm{Gs}1\\ \mathrm{Bs}1\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Cj}2\\ \mathrm{Ck}3\end{array}\right)$

式6将式4中的表示透过区域C1、C2、C3的光的强度的信号Ci1、Ci2、Ci3分别置换为Ci1、Cj2、Ck3。在此，Ci2与Cj2的差异在于：滤光器的颜色种类是相同的，均为Ye滤光器，但观察被摄体的视点不同。如图9所示，Ci2表示从右侧观察被摄体的情况下的图像，Cj2表示从左侧观察被摄体的情况下的图像。再有，Ci3与Ck3的差异也同样，Ci3表示从上面观察被摄体的情况下的Mg成分的图像，Ck3表示从左侧观察被摄体的情况下的Mg成分的图像。

另一方面，在(式6)中，Mx11～Mx33并不具有与光入射的方向相关的信息。Mx11～Mx33具有透光板2中的Cy、Ye、Mg各滤色器的光谱透过率、摄像元件1中的R、G、B各滤色器的光谱透过率、及IR滤光器或镜头等的光谱透过率的信息。即，Mx11表示Cy滤光器的光谱透过率和R滤光器的光谱透过率的累计值。Mx12表示Ye滤光器的光谱透过率和R滤光器的光谱透过率的累计值。Mx13表示Mg滤光器的光谱透过率和R滤光器的光谱透过率的累计值。Mx11～Mx33是在制造摄像装置时被决定的已知信息。

根据(式6)而得到的Rs1的值是利用将从左侧观察被摄体的方向通过Cy滤光器的光强度Ci1与Mx11相乘的结果、将通过Ye滤光器的光强度Cj2与Mx12相乘的结果、及将通过Mg滤光器的光强度Ck3与Mx13相乘的结果的合计而计算出的。也同样地求取Gs1、Bs1的值。这意味着：利用(式5)所表示的、根据光入射的方向不同时的像素信号Rs、Gs、Bs来运算视点位置不同的互补色系的信号这一处理的逆运算，根据视点位置相等的3种互补色系的信号来求取光入射的方向相同的像素信号Rs1、Gs1、Bs1。

同样，如果将红色成分表示为Rs2、将蓝色成分表示为Gs2、将蓝色成分表示为Bs2，则可根据以下的(式7)来计算从右侧观察被摄体时的彩色图像。

[数4]

(式7) $\left(\begin{array}{c}\mathrm{Rs}2\\ \mathrm{Gs}2\\ \mathrm{Bs}2\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Ck}1\\ \mathrm{Ci}2\\ \mathrm{Cj}3\end{array}\right)$

再有，若将红色成分表示为Rs3、将蓝色成分表示为Gs3、将蓝色成分表示为Bs3，则可利用以下的(式8)来计算从上面观察被摄体时的彩色图像。

[数5]

(式8) $\left(\begin{array}{c}\mathrm{Rs}3\\ \mathrm{Gs}3\\ \mathrm{Bs}3\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33\end{array}\right)\left(\begin{array}{c}\mathrm{Cj}1\\ \mathrm{Ck}2\\ \mathrm{Ci}3\end{array}\right)$

如上，使透光板2旋转3次，同时进行拍摄，通过运算从拍摄到的每个图像求取透过透光板2的透过区域C1、C2、C3的多个光的强度，由此可生成具有视差的彩色图像。根据本实施方式，由于透光板2的光透过部使用互补色(Cy、Ye、Mg)的滤色器对3次的图像进行合成，故与现有技术相比，可以提高光利用率，可以提高摄像灵敏度。再有，由于并不进行专利文献3所公开的利用颜色线性的匹配处理，故不依赖于图像的模糊量或平坦度，能够稳定地生成多视点图像。

在图10中示出通过以上处理而生成的图像的例子。图10(a)、(b)分别表示生成了从左及右观察被摄体时的彩色图像的结果。其中，并未图示从上面观察被摄体时的彩色图像。图10所示的2条虚线(直线1、直线2)在2张图像中表示相同的x坐标。沿着位于跟前的红色的被摄体的轮廓描绘直线1，沿着位于里面的绿色的被摄体的轮廓描绘直线2。根据该例子可知：虽然位于跟前的被摄体的轮廓的x坐标是几乎相同的值，但位于里面的绿色的被摄体的轮廓的x坐标是不同的。因而，能够知道：可获取因距离的不同而观察方式不同的图像、即多视点图像。

此外，本实施方式中的透光板2的透过区域的配置未限于上述的配置，是任意的，但理想的是，优选以透光板2的中心为原点，配置在距此处为等距离的位置上。由此，可以容易地得知：以透光板2的中心为原点，视差在哪一方向出现。进一步，优选相邻的透过区域间的距离是相等的。具体是，优选通过区域C1及原点的直线和通过区域C2及原点的直线所成的角度为120度。同样地，优选通过区域C2及原点的直线和通过区域C3及原点的直线所成的角度为120度。再有，优选通过区域C3及原点的直线和通过区域C3及原点的直线所成的角度为120度。根据以上的构成，由于可以使得令透光板2旋转的角度恒定，故机构系统的控制变得容易且稳定。

在本实施方式中，虽然在透光板2的透过区域C1、C2、C3内分别配置了Cy滤光器、Ye滤光器、Mg滤光器，但并未限于这种构成。配置于透过区域C1、C2、C3的滤色器的种类也可以适宜地选择。这些滤色器既可以是原色滤光器(例如R、G、B滤光器)，从提高光利用率的观点来看，也可以在至少1个透过区域内配置使比原色更宽的波段的光透过的透过滤光器。例如，也可以在3个透过区域当中的1个内配置互补色系的滤光器而在其余的2个内配置原色系的滤光器。如果3个透过区域中的透过率的波长依赖性是相互不同的，则可适用与本实施方式同样的处理。再有，如果设计各透过区域的光谱透过率以使可见光所包含的任意波长的光可透过任一透过区域，则可生成良好的彩色多视点图像。同样，摄像元件1的1个单位要素40所包含的滤色器110并非一定要是R、G、B的滤色器，只要透过率的波长依赖性相互不同，就能适用与本实施方式同样的处理。

(实施方式2)

接着，对本发明的第2实施方式进行说明。本实施方式中的摄像装置与实施方式1的摄像装置不同之处在于，透光板2中的滤光器的个数。以下，以与实施方式1不同的点为中心进行说明而省略与重复事项相关的说明。

透光板2的滤光器的个数未限于3个，只要为2个以上，也可以是任意个。以下，对将滤光器的种类数一般化为N(N为2以上的整数)的情况下生成多视点图像的构成进行说明。作为前提条件，设使具有透过率的波长依赖性相互不同的N种滤光器的透光板2旋转N次以上进行拍摄。再有，摄像元件1的各单位要素40包括具有相互不同的光谱透过率的N个滤色器及与这些滤色器对置的N个光感测单元。

图11A是表示这样一般化后的透光板2的例子的图。图示的透光板2具有被配置成光并列地入射且透过率的波长依赖性相互不同的N个滤光器C1～CN。滤光器C1～CN距透光板2的中心的距离均相等且相邻的2个透过区域间的距离全部相等。

图11B是表示摄像元件1中的1个单位要素40所包含的滤光器排列的例子的图。1个单位要素40具有N个光感测单元、及与这些光感测单元对置的N个滤光器D1～DN。其中，1个单位要素40所包含的滤光器的个数也可以多于N个。再有，图示的透过滤光器的排列只是一例，并未限于该例子。

以下，以N＝7的情况为例，更具体地说明本实施方式的摄像装置。作为透光板2，例如可利用图12A、图12B所示那样的彩虹色的图案。在图12A所示的例子中，透光板2由具有彩虹色图案的滤光器2a、以及具有7个透过区域(开口)的遮光板2b构成。可以认为图12A中的滤光器2a是将光谱透过率相互不同的7种滤光器结合成环状的结构。通过使滤光器2a旋转，从而可以使各开口位置中的光谱透过率变化。另外，也可以不设置彩虹色图案的滤光器2a，而是将在遮光板2b的7个开口位置上粘贴了不同的光谱透过率的滤光器而成的结构作为透光板2来使用，并使其旋转。

如图12B所示，各透过区域C1～C7均是圆形的，且具有相同的面积，但并非一定要是这种形状、面积。在初始状态下，在透过区域C1～C7的位置分别配置有使红色Re、橙黄色Or、黄色Ye、绿色Gr、蓝色B1、靛青色In、紫色Vi的波段的光透过的滤光器。再有，假定为在摄像元件1中也同样地配置着具有上述7种光谱透过率的滤光器。

将在假定为任一个滤光器都未被配置的情况下表示入射至1个单位要素所包含的各光感测单元的光之中、透过了透过区域C1～C7的颜色成分的光的强度的信号分别设为Ci1～Ci7。将表示与配置于摄像元件1的7种滤色器对置的光感测单元中的受光量的信号设为Res、Ors、Yes、Grs、Bls、Ins、Vis，于是利用各光感测单元观测到的信号量可以用以下的(式9)～(式15)来表示。

(式9)

Res=Cil∑TwTreT′re+Ci2∑TwTorT′re+Ci3∑TwTyeT′re+Ci4∑TwTgrT′re+Ci5∑TwTblT′re+Ci6∑TwTInT′re+Ci7∑TwTviT′re

(式10)

Ors=CiTwTreT′or+Ci2∑TwTorT′or+Ci3∑TwTyeT′or+Ci4∑TwTgrT′or+Ci5∑TwTblT′or+Ci6∑TwTInT′or+Ci7∑TwTviT′or

(式11)

Yes=Cil∑TwTreT′ye+Ci2∑TwTorT′ye+Ci3∑TwTyeT′ye+Ci4∑TwTgrT′ye+Ci5∑TwTblT′ye+Ci6∑TwTInT′ye+Ci7∑TwTviT′ye

(式12)

Grs=Cil∑TwTreT′gr+Ci2∑TwTorT′gr+Ci3∑TwTyeT′gr+Ci4∑TwTgrT′gr+Ci5∑TwTblT′gr+Ci6∑TwTInT′gr+Ci7∑TwTviT′gr

(式13)

Bls=Cil∑TwTreT′bl+Ci2∑TwTorT′bl+Ci3∑TwTyeT′bl+Ci4∑TwTgrT′bl+Ci5∑TwTblT′bl+Ci6∑TwTInT′bl+Ci7∑TwTviT′bl

(式14)

Ins=Cil∑TwTreT′In+Ci2∑TwTorT′In+Ci3∑TwTyeT′In+Ci4∑TwTgrT′In+Ci5∑TwTblT′In+Ci6∑TwTInT′In+Ci7∑TwTviT′In

(式15)

Vis=Cil∑TwTreT′vi+Ci2∑TwTorT′vi+Ci3∑TwTyeT′vi+Ci4∑TwTgrT′vi+Ci5∑TwTblT′vi+Ci6∑TwTInT′vI+Ci7∑TwTviT′vi

在此，T're、T’or、T'ye、T’gr、T'bl、T'In、T'vi分别表示配置于摄像元件1内的红色、橙黄色、黄色、绿色、蓝色、靛青色、紫色的滤光器的光谱透过率。再有，Tre、Tor、Tye、Tgr、Tbl、TIn、Tvi分别表示配置于透光板2的红色、橙黄色、黄色、绿色、蓝色、靛青色、紫色的滤光器的光谱透过率。与(式1)～(式3)同样，Tw是将镜头3、及红外截止滤光器4合在一起的光谱透过率。根据摄像元件1的受光信号Res、Ors、Yes、Grs、Bls、Ins、Vis和表示透过了透过区域C1～C7的光的强度的信号Ci1～Ci7、及滤色器的光谱透过率的关系，与(式4)同样地得到以下的(式16)。

[数6]

(式16) $\left(\begin{array}{c}\mathrm{Res}\\ \mathrm{Ors}\\ \mathrm{Yes}\\ \mathrm{Grs}\\ \mathrm{Bls}\\ \mathrm{Ins}\\ \mathrm{Vis}\end{array}\right)=\left(\begin{array}{ccccccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13& \mathrm{Mx}14& \mathrm{Mx}15& \mathrm{Mx}16& \mathrm{Mx}17\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23& \mathrm{Mx}24& \mathrm{Mx}25& \mathrm{Mx}26& \mathrm{Mx}27\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33& \mathrm{Mx}34& \mathrm{Mx}35& \mathrm{Mx}36& \mathrm{Mx}37\\ \mathrm{Mx}41& \mathrm{Mx}42& \mathrm{Mx}43& \mathrm{Mx}44& \mathrm{Mx}45& \mathrm{Mx}46& \mathrm{Mx}47\\ \mathrm{Mx}51& \mathrm{Mx}52& \mathrm{Mx}53& \mathrm{Mx}54& \mathrm{Mx}55& \mathrm{Mx}56& \mathrm{Mx}57\\ \mathrm{Mx}61& \mathrm{Mx}62& \mathrm{Mx}63& \mathrm{Mx}64& \mathrm{Mx}65& \mathrm{Mx}66& \mathrm{Mx}67\\ \mathrm{Mx}71& \mathrm{Mx}72& \mathrm{Mx}73& \mathrm{Mx}74& \mathrm{Mx}75& \mathrm{Mx}76& \mathrm{Mx}77\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Ci}2\\ \mathrm{Ci}3\\ \mathrm{Ci}4\\ \mathrm{Ci}5\\ \mathrm{Ci}6\\ \mathrm{Ci}7\end{array}\right)$

在此，矩阵要素Mx11～Mx77是根据Tw、透光板1中的透过区域的光谱透过率、摄像元件1中的滤色器的光谱透过率的积分而得到的值。即、Mx11、Mx12、Mx13、Mx14、Mx15、Mx16、Mx17分别是∑TwTreT're、∑TwTorT’re、∑TwTyeT're、∑TwTgrT're、∑TwTblT're、∑TwTInT're、∑TwTviT’re。以下同样，Mx21～Mx27分别是将Mx11～Mx17的T're置换为T’or而得到的结果，Mx31～Mx37分别是将Mx11～Mx17的T're置换为T'ye而得到的结果，Mx41～Mx47分别是将Mx11～Mx17的T're置换为T’gr而得到的结果，Mx51～Mx57分别是将Mx11～Mx17的T're置换为T'bl而得到的结果，Mx61～Mx67分别是将Mx11～Mx17的T're置换为T'In而得到的结果，Mx71～Mx77分别是将Mx11～Mx17的T're置换为T'vi而得到的结果。

通过进行式16所示的运算的逆运算，从而可求取在1次拍摄中表示来自7个方向的光的强度的信号(Ci1～Ci7)。由此，例如根据表示通过透过区域C1的光的强度的信号(Ci1)，可以获得从上面观察被摄体时的图像。使透光板2每次旋转(360／7)度后最低进行7次拍摄，通过运算来求取表示透过各透过区域的光的强度的信号，由此从7个方向得到通过具有7种光谱透过率的滤光器的颜色成分的光的强度(共计49种)。与(式6)～(式8)同样地，利用表示获取到的光的强度的信号之中、相当于从相同的方向观察被摄体的情况的信号，可以合成彩色图像。例如，从初始状态中的区域C1的位置观察被摄体时的图像的颜色信息可以用以下的式17来表示。

[数7]

(式17)

$\left(\begin{array}{c}\mathrm{Res}1\\ \mathrm{Ors}1\\ \mathrm{Yes}1\\ \mathrm{Grs}1\\ \mathrm{Bls}1\\ \mathrm{Ins}1\\ \mathrm{Vis}1\end{array}\right)=\left(\begin{array}{ccccccc}\mathrm{Mx}11& \mathrm{Mx}12& \mathrm{Mx}13& \mathrm{Mx}14& \mathrm{Mx}15& \mathrm{Mx}16& \mathrm{Mx}17\\ \mathrm{Mx}21& \mathrm{Mx}22& \mathrm{Mx}23& \mathrm{Mx}24& \mathrm{Mx}25& \mathrm{Mx}26& \mathrm{Mx}27\\ \mathrm{Mx}31& \mathrm{Mx}32& \mathrm{Mx}33& \mathrm{Mx}34& \mathrm{Mx}35& \mathrm{Mx}36& \mathrm{Mx}37\\ \mathrm{Mx}41& \mathrm{Mx}42& \mathrm{Mx}43& \mathrm{Mx}44& \mathrm{Mx}45& \mathrm{Mx}46& \mathrm{Mx}47\\ \mathrm{Mx}51& \mathrm{Mx}52& \mathrm{Mx}53& \mathrm{Mx}54& \mathrm{Mx}55& \mathrm{Mx}56& \mathrm{Mx}57\\ \mathrm{Mx}61& \mathrm{Mx}62& \mathrm{Mx}63& \mathrm{Mx}64& \mathrm{Mx}65& \mathrm{Mx}66& \mathrm{Mx}67\\ \mathrm{Mx}71& \mathrm{Mx}72& \mathrm{Mx}73& \mathrm{Mx}74& \mathrm{Mx}75& \mathrm{Mx}76& \mathrm{Mx}77\end{array}\right)\left(\begin{array}{c}\mathrm{Ci}1\\ \mathrm{Cj}2\\ \mathrm{Ck}3\\ \mathrm{Cl}4\\ \mathrm{Cm}5\\ \mathrm{Cn}6\\ \mathrm{Co}7\end{array}\right)$

在此，Ci1、Cj2、Ck3、C14、Cm5、Cn6、Co7分别是表示第1次～第7次拍摄中透过该位置的颜色成分的光强度的信号。Resl、Orsl、Yesl、Grs1、Bls1、Ins1、Vis1分别是表示所求取的彩色图像的红色、橙黄色、黄色、绿色、蓝色、靛青色、紫色的颜色成分的量的信号。其他位置中的彩色图像也可以通过同样的运算来获取。根据以上的处理，与7个透过区域对应地可以获得7个彩色多视点图像。

另外，在本实施方式中，虽然以7个阶段使透光板2旋转来获取来自7个方向的光，但也可以进行8个阶段以上的旋转及拍摄。该情况下，虽然已经计算出追加拍摄时的光的强度的信息，但通过将这些结果相加，从而具有即便在昏暗的环境下也能获得明亮的图像的效果。

在上述的各实施方式中，通过使透光板2旋转，从而使各透过区域C1～C7的光谱透过率变化，但是也可以并不进行旋转而是在纵向或横向上将滤色器错开来使光谱透过率变化。再有，也可以构成为：在透光板2的多个透过区域设置透明滤光器或者特定的滤色器，从透光板2的外侧按每个透过区域蒙上不同的其他滤色器，由此使多个透过区域的光谱透过率变化。在本发明的实施方式中，只要构成为光透过部中的N种滤色器的各位置在每次摄像时在对摄像元件1预先设定的N个位置上变化，无论怎样驱动光透过部都可以。

例如，作为将滤色器在一个方向上错开的构成，也可以采用图13所示那样的构成。图13是表示具有2个透过区域C1、C2的透光板2c的构成例的图。在透光板2c上安装了配置有3个滤色器的滑动板2d，通过使滑动板2d滑动，由此可以使透过区域C1、C2的光谱透过率变化。在图示的例子中，在滑动板2d上，在中央配置Cy滤光器，在两端配置Ye滤光器。如图13(a)所示，在无滑动板2d的状态下透过区域C1、C2是透明的。如图13(b)所示，在Cy滤光器位于透过区域C1的位置处、Ye滤光器位于透过区域C2的位置处的状态下进行第1次摄像。接下来，如图13(c)所示，在Ye滤光器位于透过区域C1的位置处、Cy滤光器位于透过区域C2的位置处的状态下进行第2次摄像。在该例子中，只要在摄像元件1的各单位要素内设置有2个光感测单元及与这些光感测单元对置的2个光谱透过率不同的滤色器即可。通过采用每次摄像时从2个光感测单元输出的光电转换信号的运算，来求取表示透过透光板2c的各透过区域的成分的光的强度的信号，由此可以获得多视点图像。其中，在该例子中，因为透过区域只有2个，所以得到的不是彩色图像而是浓淡图像。在透过区域为3个以上的情况下，通过同样的机构也可以生成多视点图像。

取代图13，也可以采用图14所示的构成。在图14所示的构成中，无滑动板2d的状态下的透过区域C1、C2并不是透明的，而是由G滤光器构成。该情况下，在滑动板2d上，在中央配置B滤光器，在两端配置R滤光器。在图14(b)所示的状态下，区域C1具有与Cy滤光器相同的特性，区域C2具有与Ye滤光器相同的特性。在图14(c)所示的状态下，区域C1具有与Ye滤光器相同的特性，区域C2具有与Cy滤光器相同的特性。因此，可以得到与图13所示的构成完全相同的效果。

上述各实施方式的摄像装置是采用信号运算并根据通过摄像得到的光电转换信号来生成图像的，但也可以使独立于摄像装置的其他装置来执行基于信号运算的图像生成处理。例如，令其他装置(图像处理装置)读入通过上述各实施方式中的具有摄像部100的摄像装置获取到信号，使内置于该图像处理装置的计算机执行对上述信号运算处理进行规定的程序，由此也可以获得与上述同样的效果。

图15是表示这种摄像装置及其他装置进行从摄像到图像生成为止的一系列动作的流程的例子的流程图。首先摄像装置在步骤S1中使光透过部2中的多种滤光器的各位置变化，同时进行多次摄像(连拍摄像)。接着，图像处理装置在步骤S2中根据通过各摄像而得到的多个像素信号来生成由通过光透过部2的各透过区域的成分的光形成的浓淡图像(生成浓淡多视点图像)。接下来，图像处理装置在步骤S3中使用与式17同样的运算来合成浓淡多视点图像，由此生成彩色多视点图像(生成彩色多视点图像)。根据以上的动作，可构成为各不相同的装置执行摄像功能与图像处理功能。

工业可用性

本发明的一形态涉及的三维摄像装置对于使用了固体摄像元件的全部照相机来说是有效的。例如，可利用于数码静止照相机或数码摄像机等民生用照相机或者工业用的固体监视照相机等。

符号说明

1固体摄像元件

1a固体摄像元件的摄像面

2、2a、2b、2c透光板(光透过部)

2d滑动板

3光学镜头

4红外截止滤光器

5信号产生／接收部

6元件驱动部

7图像信号生成部

8接口部

9旋转驱动部

19镜头光圈

20、22、23光束限制板

20a使红色系的光透过的滤色器

20b使蓝色系的光透过的滤色器

21感光薄膜

22R、23R光束限制板的R光透过区域

22G、23G光束限制板的G光透过区域

22B、23B光束限制板的B光透过区域

30存储器

40单位要素

100摄像部

110滤色器

120光感测单元

200信号处理部

Claims (12)

1.一种三维摄像装置，具备：

光透过部，其具有被设置为光并列地入射且透过率的波长依赖性相互不同的N种第1滤光器，N为2以上的整数；

摄像元件，其被配置成接受透过所述光透过部后的光，所述摄像元件具有光感测单元阵列、及与所述光感测单元阵列对置配置的滤光器阵列，所述光感测单元阵列及所述滤光器阵列由多个单位要素构成，各单位要素包括N个光感测单元、及与所述N个光感测单元对置配置且透过率的波长依赖性相互不同的N个第2滤光器；

成像部，其在所述摄像元件的摄像面上形成像；以及

摄像驱动部，其驱动所述光透过部以便连续地进行M次摄像，所述摄像驱动部驱动所述光透过部，以使所述N种第1滤光器的各位置在每次摄像时在对所述摄像元件预先确定的N个位置上变化，M为N以上的整数，

所述N种所述第1滤光器的颜色的组合与所述N个所述第2滤光器的颜色的组合不同。

2.根据权利要求1所述的三维摄像装置，其中，

所述N种第1滤光器被设计成可见光所包含的任意波长的光能透过所述N种第1滤光器的至少一种，所述N种第1滤光器的至少一种具有比原色的波段更宽的透过波段。

3.根据权利要求1或者2所述的三维摄像装置，其中，

所述三维摄像装置具备：图像生成部，其基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

4.根据权利要求3所述的三维摄像装置，其中，

所述图像生成部基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号，通过对所生成的所述M×N个图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像。

5.根据权利要求1或者2所述的三维摄像装置，其中，

所述N种第1滤光器之中的3种透过波段被设计成分别与蓝绿色、品红色、黄色、红色、蓝色、绿色之中的3个波段相等。

6.根据权利要求1或者2所述的三维摄像装置，其中，

N＝3，

所述N种第1滤光器的透过波段被设计成分别与蓝绿色、品红色、黄色的波段相等，

所述N个第2滤光器的透过波段被设计成分别与红色、蓝色、绿色的波段相等。

7.根据权利要求1或者2所述的三维摄像装置，其中，

所述光透过部中的所述N种第1滤光器被配置成：距所述光透过部的中心的距离全部相等、且相邻的2个第1滤光器间的距离相等。

8.根据权利要求1或者2所述的三维摄像装置，其中，

所述摄像驱动部通过使所述光透过部以所述光透过部的中心为轴进行旋转，从而使所述N种第1滤光器的各位置在每次摄像时在所述N个位置上变化。

9.一种图像处理装置，基于由权利要求1～8中任一项所述的三维摄像装置而获取到的信号来生成多视点图像，

基于在所述M次摄像的每次摄像时从所述摄像元件中的各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

10.根据权利要求9所述的图像处理装置，其中，

基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号，通过对所生成的所述M×N个图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像。

11.一种图像处理方法，用于基于由权利要求1～8中任一项所述的三维摄像装置而获取到的信号来生成多视点图像，

该图像处理方法包括如下步骤：基于在所述M次摄像的每次摄像时从所述摄像元件中的各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成与所述N个位置对应的N个多视点图像。

12.根据权利要求11所述的图像处理方法，其中，

生成所述N个多视点图像的步骤包括：

基于在所述M次摄像的每次摄像时从各单位要素所包含的所述N个光感测单元输出的多个光电转换信号，来生成由通过所述N个位置的成分的光形成的M×N个图像信号的步骤；以及

通过对所生成的所述M×N个所述图像信号进行合成，从而生成与所述N个位置对应的N个彩色多视点图像的步骤。