CN103843320A

CN103843320A - 图像传感器和成像装置

Info

Publication number: CN103843320A
Application number: CN201280047918.0A
Authority: CN
Inventors: 河合智行
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-09-28
Filing date: 2012-06-15
Publication date: 2014-06-04
Anticipated expiration: 2032-06-15
Also published as: CN103843320B; US20140210952A1; JPWO2013046820A1; WO2013046820A1; JP5634613B2; US9077977B2

Abstract

提供了一种图像传感器，包括多个像素，其中相邻像素构成成对像素并且构成每个成对像素的第一像素和第二像素的入射光瞳相对于像素的中心在与相反的方向上被偏心地提供。在第一像素中，θcA被定义为在0度入射角与能够实现最大光接收灵敏度的入射角θmaxa之间的范围内第一像素的光接收灵敏度是最大光接收灵敏度的40%至80%的入射角。在第二像素中，-θcB被定义为在0度入射角与能够实现最大光接收灵敏度的入射角θmaxb之间的范围内第二像素的光接收灵敏度是最大接收光灵敏度的40%至80%的入射角。第一像素和第二像素相对于入射角的光接收灵敏度特性在θcA与-θcB之间的入射角度范围内是平坦的。

Description

图像传感器和成像装置

技术领域

本发明涉及一种用于单眼3D成像的图像传感器和一种安装有该图像传感器的成像装置。特别地，本发明涉及能够不仅拍摄3D图像(立体图像)而且拍摄高清晰度2D图像(平面图像)的传感器和成像装置。

背景技术

已经提出了如在以下专利文献1、2以及3中所公开的能够用单眼系统拍摄被摄体的3D图像的各种图像传感器。

在能够拍摄3D图像的图像传感器中，例如，如图27中所示，布置并且形成在二维阵列中的多个像素被划分成作为两个相邻像素对的成对像素2。在每对像素之中，一个像素配备有例如相对于其像素中心在水平右侧制成偏心的遮光膜开口2a，而另一个像素在水平相反侧即相对于其像素中心在水平左手侧制成偏心的遮光膜开口2b。

遮光膜开口2a在右手侧是偏心的使得右眼利用其观看被摄体的入射光能够被入射在其上。遮光膜开口2b在右手侧是偏心的使得左眼利用其观看被摄体的入射光能够被入射在其上。因此，由各具有遮光膜开口2a的像素所拍摄的图像被用作右眼图像并且由各具有遮光膜开口2b的像素所拍摄的图像被用作左眼图像，使得能够再现被摄体的立体图像(3D图像)。

图28是示出图27中成对像素的灵敏度和入射角依赖性的图表。在这里，图28中的零度指定零度的入射角，即，垂直入射在像素的光接收表面上的入射光的角度。加侧入射角指定从被相对于像素中心在右手侧制成偏心的遮光膜开口2a的方向的入射角。减侧入射角指定从被相对于像素中心在左手侧制成偏心的遮光膜开口2b的方向的入射角。具有遮光膜开口2a和2b的像素的灵敏度曲线I和II相应地具有入射角依赖性，并且成对像素之间的灵敏度差对应于相位差量。因为其中两个灵敏度曲线I和II彼此重叠的范围(阴影范围)与总面积的比是较小的，所以两个像素之间的相位差量增加。然而，当遮光开口2a和2b变窄以减少重叠范围时，灵敏度变得太低以致没有图像而是暗图像能够被拍摄。因此，遮光膜开口2a和2b必须被设置在适合的尺寸使得遮光膜开口能够被确定有适合的偏心率。

某些人可能想要甚至用能够拍摄3D图像的图像传感器来拍摄被摄体的2D图像。当2D图像使用图27中所示出的图像传感器的各个像素的检测信号来产生时，2D图像的质量由于具有遮光膜开口2a的每个像素的拍摄图像信号与具有遮光膜开口2b的每个像素的拍摄图像信号之间的相位差而劣化。

因此，当两个成对像度的拍摄信号被相加到彼此使得消除相位差量时，能够获得高质量2D图像。然而，由于像素的相加，分辨率相对于在图像传感器中提供的像素的数目被对分。因此，出现不能够拍摄高清晰2D图像的问题。

引用列表

专利文献

专利文献1：JP-A-2010-263572

专利文献2：JP-A-2003-7994

专利文献3：JP-A-2007-279512

发明内容

技术问题

本发明的目的是提供能够甚至用能够拍摄3D图像的图像传感器来拍摄高清晰度2D图像的图像传感器和成像装置。

问题的解决方案

根据本发明的图像传感器是包括下列的图像传感器：布置并且形成在二维阵列中的多个像素，使得像素的相邻像素构成成对像素并且构成该成对像素的第一像素和第二像素的入射光瞳相对于相应像素的中心在彼此相反的方向上被偏心地提供；其特征在于：

来自被摄体的光在第一像素中的入射角是在对应于像素的法线方向的0°与在最大光灵敏度下的入射角θmaxa之间的范围内的入射角θcA，并且其中第一像素的光灵敏度是在从最大光灵敏度的40%至80%的范围内；

第二像素中的入射角是在对应于像素的法线方向的0°与在最大光灵敏度下的入射角θmaxb之间的范围内的入射角-θcB，并且其中第二像素的光灵敏度是在从最大光灵敏度的40%至80%的范围内；以及

第一像素和第二像素相对于第一像素和第二像素的入射角的光灵敏度特性在从θcA到-θcB的入射角度范围内是平坦特性。

根据本发明的图像装置是包括以下各项的图像装置：前述图像传感器；以及在图像传感器前面的级中提供的光圈；其特征在于：成像装置还包括控制单元，该控制单元当拍摄平面图像时减少光圈使得入射光在图像传感器上的入射角度范围能够被限制在要求的角度范围内，并且当拍摄3D图像时开放光圈使得使得其入射角度范围在所要求的角度范围之外的入射光能够入射在图像传感器上。

发明的有益效果

根据本发明，当好的和高清晰度2D图像被拍摄时，入射光的入射角度范围限于前述预定角度范围使得能够获得2D图像。

附图说明

[图1]根据本发明的一个实施例的图像传感器(成像设备)的表面图案视图。

[图2]图1中所示出的图像传感器中的一对像素的具体平面图案视图。

[图3]示出图像传感器上的入射光的视图。

[图4]其中在图2中在线X-X'上截取的截面和在线Y-Y'上截取的截面被平行布置的示意截面图。

[图5]示出其中入射光的入射角与图4相比略微倾斜的状态的视图。

[图6]示出其中入射光的入射角与图5相比进一步倾斜的状态的视图。

[图7]示出其中入射光的入射角与图6相比进一步倾斜的状态的视图。

[图8]示出图2中所示出的成对像素的光灵敏度与入射角之间的关系的图表。

[图9]用于解释图8的图表中的参数Sc、θAmax以及θBmax的视图。

[图10]用于解释图8的图表中的参数Δc的视图。

[图11]用于解释图8的图表中的参数θc、Δp、θIr、θrI、θII以及θrr的视图。

[图12]根据本发明的一个实施例的成像装置的功能框图。

[图13]用于使用图11的图表中的参数θIr和θrI来解释到对F数的转换的视图。

[图14]示出在图13中解释的转换的F数与参数θIr和θrI之间的关系的表。

[图15]用于使用图9的图表中的最大光灵敏度(θAmax和θBmax)来解释到F数的转换的视图。

[图16]示出在图15中解释的转换的F数与参数(最大光灵敏度)之间的关系的表。

[图17]用于使用图11的图表中的参数θIl和θrr来解释到F数的转换的视图。

[图18]示出在图17中解释的转换的F数与参数θIl和θrr之间的关系的表。

[图19]用于使用图9的图表中的参数θc来解释到F数的转换的视图。

[图20]示出在图19中解释的转换的F数与参数θc之间的关系的表。

[图21]示出根据本发明的一个实施例的成像装置的处理过程的流程图。

[图22]示出图像传感器的参数的特定示例的图表。

[图23]用于在图22的特定示例中解释在2D成像模式与3D成像模型之间切换的F数的视图。

[图24]根据本发明的另一实施例的成像装置的功能框图。

[图25]示出图24中所示出的成像装置的成像处理过程的流程图。

[图26]根据本发明的另一实施例的图像传感器的表面图案图。

[图27]示出用于拍摄单眼3D图像的图像传感器的示例的表面图案图。

[图28]示出图27中所示出的图像传感器中的成对像素的灵敏度和入射角之间的关系的图表。

具体实施方式

将参考附图在下面对本发明的一个实施例进行描述。

图1是根据本发明的一个实施例的图像传感器的表面图案图。这个图像传感器10由布置并且形成在二维阵列中的多个像素(光电二极管：描绘为斜方形)构成。在所图示的示例中，偶数行中的像素相应地相对于奇数行中的像素移位了半个像素间距。

考虑仅由奇数行(或偶数行)中的像素12构成的第一群像素(A群像素)，像素12被布置在方形光栅阵列中，并且三个原色的颜色滤光器r(红)、g(绿)以及b(蓝)以拜耳(Bayer)阵列被布置在相应像素12上。考虑仅由偶数行(或奇数行)中的像素构成的第二群像素11(B群像素)，像素被布置在方形光栅阵列中，并且三个原色的颜色滤光器R(红)、G(绿)以及B(蓝)以拜耳阵列被布置在相应像素11上。尽管R=r、G=g以及B=b，但是大写字母和小写字母在图示中被用于标识A群像素和B群像素。

倾斜地彼此相邻并且具有相同颜色的A群像素12和B群像素11被设置为成对像素。在图1中，像素中的每一对都被斜椭圆包围。微透镜被安装在每个像素11、12上，但它在图1中未被示出(见图4)。

图2是一对像素11和12的放大视图。在像素11中，第一遮光膜11a屏蔽像素11的基本上左半部分中的光，并且遮光膜开口11b被提供在像素11的基本上右半部分中。因此，遮光膜开口11b的重心相对于像素11的重心向右位移。

在像素12中，第一遮光膜12a屏蔽像素12的基本上右半部分中的光，并且遮光膜开口12b被提供在像素12的基本上左半部分中。因此，遮光膜开口12b的重心相对于像素12的重心向左位移。

图3是示出从被摄体到图像传感器10上的入射光的视图。如参考图2所描述的，像素11和12的遮光膜开口11b和12b相应地在与彼此相反的方向上被偏心地提供使得相应地限制像素11和12的入射光瞳。因此，光在每个像素11、12上的入射角被限制。结果，当被右眼观看时来自被摄体的光主要入射在像素11上，然而当被左眼观看时来自被摄体的光主要入射在像素12上。

返回到图2。另外，在这个实施例中，窄的第二遮光膜11c、12c被提供在每个像素11、12中使得在连接像素的相对拐角的中心线中延伸。图像传感器的光接收区被形成为矩形，该矩形是长水平的，例如具有4:3等的比例。相对于水平方向，具有线性形状的每个第二遮光膜11c、12c被垂直地提供。

图4是示出被平行布置的在图2中线X-X'上截取的截面和线Y-Y'上截取的截面的示意截面图。在图像传感器中，例如，n个区21被形成在n型半导体基板20的表面p阱层上的二维阵列中。因此，光电二极管(PD)21被形成为光电转换器件。在图4的左侧的PD用作像素11的光电转换部(图2)，并且在右侧的PD用作像素12的光电转换部(图2)。

第一遮光膜11a、12a通过平整膜22被形成在半导体基板20的表面上。第二遮光膜11c、12c通过平整膜23被形成在其上。布线层(在这个示例中为CMOS型的图像传感器的布线层)25通过平整膜24等被进一步层叠在其上。颜色滤光器27通过平整膜26被层叠在其上。微透镜29通过平整膜28被层叠在其上。

第一遮光膜11a、12a被形成在靠近微透镜29聚光所在的位置的位置中。第二遮光膜11c、12c被形成在比微透镜29聚光所在的位置更接近于这侧(微透镜侧)的位置中。

位于在像素11中所提供的第一遮光膜11a的成对像素12侧的边缘11d被提供成在与像素12相反的侧从光电二极管(PD)11的中心21a位移。第二遮光膜11c被提供正好在中心21a上方。

位于在像素12中所提供的第一遮光膜12a的成对像素11侧的边缘12d被提供成在与像素11相反的侧从光电二极管(PD)12的中心21a位移。第二遮光膜12c被提供正好在中心21a上方。

图4中所示出的入射光被描绘为处于它垂直入射在图像传感器的每个像素上(在像素的法线方向上)(入射角θ是0度)的状态。在这个状态下，入射光被第二遮光膜11c、12c部分地阻挡。因此，每个像素11、12的光灵敏度低于其最大光灵敏度。在第二遮光膜11c、12c不存在的情况下，每个像素11、12的光灵敏度应该被提高至最大光灵敏度，因为入射光能够不被第一遮光膜11a、12a阻挡。然而，在这个实施例中，每个像素11、12的光灵敏度低于最大光灵敏度，因为第二遮光膜11c、12c被提供在垂直入射的入射光的光路中。

图8是其中在每个像素11、12上的入射光角度与光灵敏度之间的关系被标绘的图表(以最大光灵敏度归一化)。特性线L指定在像素12上的入射光角度与光灵敏度之间的光系，并且特性线R指定在像素11上的相同关系。如图8中所示，在这个实施例中，当入射光角度是0度时光灵敏度被设置在像素11和12两者中的最大光灵敏度(其被设置为“1”)的约0.6倍。

图5示出其中入射光角度相对于图4中的入射光角度倾斜了仅-θ1的状态。并且在这个状态下，在像素11和12中都没有光灵敏度的改变，因为第二遮光膜11c和12c存在于入射光路中。因此，能够将光灵敏度保持在相对于最大光灵敏度的0.6的状态下。

图6示出其中入射光角被进一步增大并且倾斜了-θ2的状态。在这个状态下，第二遮光膜11c、12c开始离开入射光路。在像素11中，入射光开始碰到第一遮光膜11a。在像素12中，入射光开始仅进入到其中不存在遮光膜的开口12b中。结果，像素12的光灵敏度像由图8中的附图标记4所示出的那样开始提高，而像素11的光灵敏度像由附图标记5所示出的那样开始降低。

图7示出其中入射光角被进一步增大并且倾斜了-θ3的状态。在这个状态下，入射光的大部分被像素11中的遮光膜11a屏蔽。因此，能够被像素11接收到的光限于杂散光或衍射光。在像素12中，不存在被遮光膜屏蔽的入射光。结果，像素12像由图8中的附图标记6所示出的那样达到最大光灵敏度，而像素11像由附图标记7所示出的那样达到最小光灵敏度。当入射角被进一步增大时，入射光开始离开光电二极管21(12)。因此，光灵敏度降低。

已经在其中入射光的入射角在减侧倾斜的状态下做出了前述描述。甚至当入射光在加侧倾斜时，能够完全像由图8中的特性线所示出的那样获得类似的光灵敏度。也就是说，在插入有0度的入射角的预定角度范围中，在整个范围上光灵敏度是平坦的并且低于最大光灵敏度。在该范围外的区中，光灵敏度特征是像山一样变化的光灵敏度曲线。

图9是再次示出图8中的图表的视图。在图8的实施例中，每个像素11、12在0度的入射角的光灵敏度Sc已经被解释为最大灵敏度的约0.6。然而，光灵敏度Sc不限于“0.6”，而是能够被第二遮光膜11c、12c的宽度等控制。优选地，Sc被设计在0.4至0.8的范围内。图10是示出像素11的特性线L的图表。尽管已经在图9中描述了平坦的光灵敏度Sc，但是平坦度的误差Δc，即光灵敏度差相对于最大光灵敏度“1”被优选地设置为大于0但不大于0.05。无需多言，最好能够使Δc为零。

图11是再次示出图8的图表的视图。其中光灵敏度S_c是平坦的入射角度范围被设置为-θc至+θc。像素11和12被制造成彼此非常类似，除了第一遮光膜开口11b和12b被形成在对称位置处。因此，其中光灵敏度Sc是平坦的范围或光灵敏度Sc的量值在像素11与像素12之间重叠。

前述主题可以换句话说被描述如下。也就是说，关于像素11的光灵敏度相对于入射角的改变速率的绝对值和像素12的光灵敏度相对于入射角的改变速率的绝对值的、相对于入射角的特性在拐点M(入射角-θcA)与拐点N(入射角θcB)之间的入射角的范围内是平坦的。

在实施例中的第二遮光膜11c和12c缺少的配置中，每个像素的光灵敏度的入射光依赖性被形成为像如图28中所示出的正态分布一样的图表。然而，当第二遮光膜11c和12c被提供时，在这个实施例中在正态分布的图表中生成两个拐点M和N。因此，能够生成光灵敏度Sc的平坦部分。

此外，在靠近像素11的最大光灵敏度的入射角度范围中，成对像素12的光灵敏度的差Δp被测量，并且获得了满足关系Δp≥阈值t(例如t=0.8)的入射角度范围。这个入射角度范围被设置为“θIr至θII”。以相同的方式，在靠近像素12的最大光灵敏度的入射角度范围中，成对像素11的光灵敏度的差Δp被测量，并且获得了满足关系Δp≥阈值t的入射角度范围。这个被设置为“θrI至θrr”。

也就是说，第一遮光膜11a和12a以及第二遮光膜11c和12c被设计为满足例如θII=-20度、θIr=-12度、θrI=+12度以及θrr=+20。参数θIr、θrI以及Δp能够被第一遮光膜控制，并且参数θc和Δc能够被第二遮光膜控制。

在根据该实施例的图像传感器(成像设备)10中，如上面所描述的，每个A群像素的光灵敏度与每个B群像素的光灵敏度之间的差(A群光灵敏度-B群光灵敏度)能够被抑制成在入射角的范围±θc(例如6度)内不高于Δc(例如0.05)同时在θII<入射角<θIr且θrI<入射角<θrr的范围内至少确保Δp(例如0.8)作为每个A群像素的光灵敏度与每个B群像素的光灵敏度之间的差。

为此目的，根据该实施例的图像传感器10被安装在相机上使得控制入射光的入射角(控制能够通过F数的值的选择来实现)。因此，能够在3D成像模式与2D成像模式之间改变成像。

例如，当利用与5.6的F数相比在小光圈侧的光圈拍摄图像时，入射光的入射角是在±5.1内使得入射光能够进入图8中的平坦部分Sc。因此，可以在每个A群像素和每个B群像素即所有像素都没有任何相位差的情况下获得2D图像。

另一方面，当利用与2.2的F数相比在开放侧的光圈拍摄图像时，入射光的入射角达到至少±12.8度。因此，具有不同相位差的入射光相应地进入每个A群像素和每个B群像素。因此，可以获得3D图像。

图12是安装有根据前述实施例的图像传感器10的成像装置(数字相机)的功能框图。这个成像装置30在图像传感器10前面的级中具有快门31和成像光学系统32。不仅成像透镜32a而且光圈(可变光阑)32b都被提供在成像光学系统32中。

由图像传感器10所成像的被摄体的模拟拍摄图像信号的输出通过AD转换部33而被转换成数字拍摄图像信号，并且经转换的数字拍摄图像信号被输出到总线34。用于总体控制成像装置30的全体的CPU35、用于导入数字拍摄图像信号并且对其执行众所周知的图像处理的图像处理部36、存储器37、包括快门按钮、菜单选择按钮等的操作部38、用于执行图像压缩等的编码器以及驱动器40被连接到总线34。

在相机等的背面上提供的显示部41被连接到驱动器40。用于驱动成像光学系统32、快门31以及图像传感器(成像设备)10的设备控制部42被连接到CPU35。尽管未示出，但是用于控制用于记录被摄体的图像的诸如存储器卡的外部存储器的存储器控制部也被连接到总线34。

根据该实施例的成像装置30安装有具有图8至11中所示出的特性的图像传感器10。也就是说，成像装置30具有“θII<-θc<0<θc<θrI”的关系。此外，期望每个A群像素和每个B群像素的光灵敏度Sc在“-θc<入射角<+θc”的范围内是恒定值。然而，在该范围内，光灵敏度Sc可以具有恒定斜度，只要A群像素与B群像素之间的光灵敏度差不比Δc(=约0.05：在最大光灵敏度被设置为1的假定之下)更宽。在最大光灵敏度被设置为1的假定之下光灵敏度Sc是在0.4至0.8的范围内的预定灵敏度。

因此，当F数被设置在光圈32b减少的F数(大F数)时，入射光能够进入具有图8中所示出的平坦光灵敏度特性的-θc至+θc的范围。可以拍摄在A群像素与B群像素之间没有任何相位差或任何灵敏度差的被摄体的图像。因此，能够获得高清晰度2D图像。当Sc被设置在诸如0.2或0.3的低值时，仅能够拍摄暗2D图像。当Sc被设置在诸如0.9或0.95的高值时，其中特性线L和特性线R彼此重叠的区域在拍摄3D图像时增加。因此，3D图像的左和右图像之间的分离性能(相位差)劣化。因此优选的是，Sc被设置在0.4至0.8。

当要拍摄3D图像时，光圈32b被设置在开放F数(小F数)。结果，入射光能够进入直到在像素11和12之间具有灵敏度差Δp(在最大光灵敏度被设置为“1”的假定之下至少0.8)的入射角。因此，可以拍摄被摄体的3D图像。

也就是说，如在图9的特性图表中所示出的，入射光的入射角(即，F数)被选择成在插入有A群像素示出最大光灵敏度值的入射角位置θAmax的“θII<θAmax<θIr”的范围内，并且在插入有B群像素示出最大光灵敏度值的入射角位置θBmax的“θrI<θBmax<θrr”的范围内。因此，可以获得极好的3D图像。

当3D图像由图12中的成像装置30即由图像传感器10来拍摄时，有必要像上面所描述的那样建立“入射角<θIr”且“θrI<入射角”。在成像装置(相机)的情况下，入射角未被直接地控制但F数常常被控制来间接地控制“入射角”。为此目的，入射角像图13中所示出的那样被转换成F数。

能够变化F数的光圈32b被设置成满足：

-tan^-1(1/(2*Fmin))<θIr

θrI<tan^-1(1/(2*Fmin))

其中Fmin指定F数的开放值(最小值)。其中入射角被转换成F数的表在图14中被示出。

当光灵敏度具有如图13中所示出的入射角依赖性时，θIr和θrI的条件根据如图14中所示出的成像透镜的开放值(F数)而被确定。角度θIr被设置成具有比图14的角度更大的值(更接近于0度)，并且角度θrI被设置成具有比图14的角度更小的值。否则，不能够在光圈开放情况下获得极好的3D图像。

在图13和图14中，确定其中能够获得3D图像的范围的角度θIr和θrI被转换成F数。对于较高质量的3D图像，优选的是，成像在入射角位置θAmax和θBmax提供如图15中所示出的最大光灵敏度情况下被执行。为此目的，提供最大光灵敏度的θAmax和θBmax被转换成F数以满足关系-tan^-1(1/(2*Fmin))<θAmax和θBmax<tan^-1(1/(2*Fmin))。图16示出其中θAmax和θBmax被转换成F数的表。当根据图16选择F数时，光以图像传感器10的光灵敏度具有最大角度依赖性的入射角进入图像传感器10。因此，能够获得较高质量的3D图像。

在图15和图16中，获得了与提供最大光灵敏度的入射角相对应的F数。然而，可以获得进一步较高质量的3D图像。在图13中，其中像素11与像素12之间的光灵敏度差不低于Δp(预定值，例如0.8)的范围被设置为θII至θIr和θrI至θrr，并且入射角基于θIr和θrI而被确定。然而，在图17中，入射角(F数)基于θII和θrr而被确定为其中能够获得相位差的最大范围。因此，能够获得高质量的3D图像。也就是说，满足-tan^-1(1/(2*Fmin))<θII和θrr<tan^-1(1/(2*Fmin))的F数被选择。图18示出了F数。

图17和图18中的实施例示出了以图像传感器10的特性能够被最大限度地使用使得能够获得具有最好质量的3D图像的成像光圈的条件。为了最大限度地使用其中能够获得相位差的区，有必要当开放F数像图18中所示出的那样被确定时使θII大于表中的值并且使θrr小于表中的值。

图19是用于将能够获得2D图像的入射角θc转换成F数的图表。图20示出了经转换的F数。能够变化F数的光圈32b被设置成当Fmax指定F数的小光圈值(最大值)时满足tan^-1(1/(2*Fmax))<θc。在这个示例中，当F数被设置在不低于5.6的值时能够获得极好的2D图像。

图21是示出成像装置中的成像过程的流程图。图22示出在成像装置中使用的图像传感器的特性的特定示例。根据图22中的特性，有必要使入射角不大于4度使得拍摄2D图像，并且有必要使入射角不低于12度使得拍摄3D图像。

首先，图12中的CPU(控制单元)35确定由用户所规定并且输入的成像模式，并且确定成像模式是否是3D成像模式(步骤S1)。接下来，在图像在3D成像模式下被拍摄的情况下，处理的流程然后前进到步骤S2，其中光圈被改变为开放状态。如图23中所示，可以在“1.2”或“2.2”的F数情况下拍摄3D图像。因此，F数被设置在“1.2”或者“2.2”。

当作为步骤S1中确定的结果成像模式不是3D成像模式时，处理的流程直接地或者通过步骤S2前进到步骤S3。在步骤S3中，确定成像模式是否是2D成像模式。在3D成像模式的情况下，步骤S3中确定的结果是否定的，并且处理被终止。在2D成像模式的情况下，处理的流程然后前进到步骤S4，其中光圈被改变为小光圈状态(F数在图23的示例中是“7.2”或“11.0”)，并且处理被终止。

由于如此做出的控制，如果当用户想在3D成像模式或2D成像模式下拍摄图像时用户简单地改变成像模式则相机侧能够选择适当的光圈值。因此可以自动地拍摄极好的3D图像或高清晰度2D图像。

图24是根据本发明的另一实施例的成像装置50的功能框图。成像装置50仅在ND滤光器32c被附加地提供在成像光学系统32中使得ND滤光器32c能够被移入和移出光路这一点上不同于图12中的成像装置。其它组成构件与图12中的那些相同。因此，相同的附图标记对应地被赋予给相同的构件，并且其描述将被省略。

图25是示出通过根据该实施例的成像装置50的成像过程的流程图。当在3D模式下拍摄图像时光圈太小时，入射光的入射角变得太小而不能拍摄高质量3D图像。然而，当光圈不小时，入射光的量可能是过度的。

因此，在步骤S11中，根据该实施例的成像装置50的CPU35首先确定成像模式是否是3D成像模式。当成像模式是3D成像模式时，处理被终止。在3D成像模式的情况下，处理的流程然后前进到步骤S12，其中光圈32b被改变为开放状态。在下一个步骤S13中，曝光被检查并且计算。步骤S13中计算的结果在步骤S14中被确定，其中确定曝光是否过度。当曝光过度时，在下一个步骤S15中ND滤光器被插入。然后，处理被终止。当曝光不过度时，处理的流程跳过步骤S15并且处理被终止。

根据该实施例，以这种方式，光能够被ND滤光器减少而不用减少开口光圈，使得能够获得极好的3D图像。

图26是替换图11中的图像传感器10的根据另一实施例的图像传感器60的图案视图。在根据该实施例的图像传感器60中，像素被布置在方形光栅阵列中，在方形光栅阵列中G(绿)颜色滤光器被层叠在奇数行(或偶数行)中的所有像素上，并且R(红)颜色滤光器和B(蓝)颜色滤光器被两个像素两个像素交替地层叠在偶数行(奇数行)中的像素上。每对像素包括相同颜色的两个像素。使得像素对中的一个中的遮光膜开口11b和另一个像素中的遮光膜开口12b相应地相对于像素的中心在相反方向上偏心。

像素阵列和颜色滤光器阵列可以被表示如下。当具有图26中的方形光栅阵列的图像传感器60以45度的角度斜倾斜时，阵列能够被认为是所谓的蜂窝像素阵列(其中奇数行中的像素和偶数行中的像素相应地彼此移位了半个像素间距的像素阵列)。在该像素阵列之中，位于方格图案中的像素阵列(在其中两个像素乘两个像素被用作单位矩阵的方格图案中属于一个相同种类的像素的阵列)成为方形光栅阵列，并且位于另一个方格图案中的像素阵列(在方格图案中属于另一个相同种类的像素的阵列)也成为方形光栅阵列。当在两个方形光栅像素阵列两者上三个原色的颜色滤光器被布置成拜耳阵列时，形成了图26中的颜色滤光器阵列。

甚至在这样的像素阵列和这样的颜色滤光器阵列中，如果第一遮光膜和第二遮光膜的尺寸和相互关系被适当地设计也能够实现图8的特性。因此，可以以与在前述实施例中相同的方式拍摄极好的3D图像和高清晰度2D图像。

在前述实施例中，第二遮光膜11c和12c被提供使得形成具有在图8的特性线上的拐点M和N(见图9)的平坦光灵敏度Sc部分。然而，本发明不限于此。

根据上面所描述的实施例的图像传感器包括：布置并且形成在二维阵列中多个像素，使得像素的相邻像素构成成对像素并且构成该成对像素的第一像素和第二像素的入射光瞳相对于相应像素的中心在彼此相反的方向上被偏心地提供；其特征在于：

相对于第一像素和第二像素的入射角的第一像素和第二像素的光灵敏度特性在θcA到-θcB的入射角度范围内是平坦特性。

此外，根据该实施例的图像传感器包括：布置并且形成在二维阵列中的多个像素，使得像素的相邻像素构成成对像素并且构成该成对像素的第一像素和第二像素的入射光瞳相对于相应像素的中心在彼此相反的方向上被偏心地提供；其特征在于：

来自被摄体的光在第一像素中的入射角是在对应于像素的法线方向的0°与在最大光灵敏度下的入射角θmaxa之间的范围内的入射角θcA；

第二像素中的入射角是在对应于像素的法线方向的0°与在最大光灵敏度的入射角θmaxb之间的范围内的入射角-θcB；以及

关于第一像素的光灵敏度相对于入射角的改变速率的绝对值和第二像素的光灵敏度相对于入射角的改变速率的绝对值的、相对于第一像素和第二像素中的入射角的特性在入射角-θcA与入射角θcB之间的入射角的范围内是平坦的。

此外，根据该实施例的图像传感器其特征在于：在最大光灵敏度被设置为1的假定之下，当第一像素的光灵敏度和第二像素的光灵敏度之间的差是在不低于0并且不高于0.05的范围中时特性是平坦的。

此外，根据该实施例的图像传感器其特征在于：当光灵敏度之间的差是在高于0但不高于0.05的范围中时特性是平坦的。

此外，根据该实施例的图像传感器其特征在于：当光灵敏度之间的差是0时特性是平坦的。

此外，根据该实施例的图像传感器其特征在于：多个像素被布置为使得奇数行中的像素和偶数行中的像素相应地彼此移位了半个像素间距，并且三个原色的颜色滤光器以拜耳阵列布置在奇数行的像素中同时三个原色的颜色滤光器以拜耳阵列布置在偶数行的像素中；以及成对像素包括具有相同颜色的颜色滤光器并且相应地位于奇数行和偶数行中而且倾斜地彼此相邻的两个像素。

此外，根据该实施例的图像传感器其特征在于：多个像素的像素阵列是方形光栅阵列，并且当方形光栅阵列在像素被排列的平面上以45度的角度斜倾斜时三个原色的颜色滤光器以拜耳阵列被布置在位于方格图案中的像素(在其中两个像素乘两个像素被用作单位矩阵的方格图案中属于一个相同种类的像素)中，同时三个原色的颜色滤光器以拜耳阵列被布置在位于方格图案中的其它像素(在方格图案中属于另一个相同种类的像素)中，以及每对像素包括具有相同颜色的颜色滤光器并且彼此相邻的两个像素。

此外，根据该实施例的成像装置包括：根据前述段落中任何一项的图像传感器；以及在图像传感器前面的级中提供的光圈；其特征在于：成像装置还包括控制单元，该控制单元当拍摄平面图像时减少光圈使得入射光在图像传感器上的入射角度范围能够被限制在要求的角度范围内并且当拍摄3D图像时开放光圈使得使得其入射角度范围在所要求的角度范围之外的入射光能够入射在图像传感器上。

此外，根据该实施例的成像装置其特征在于：在成像装置中使用的图像传感器具有其中当入射角θAmax和入射角θBmax相应地为第一像素和第二像素提供最大光灵敏度提供时入射角θAmax和入射角θBmax相应地由“θII<θAmax<θIr”和“θrI<θBmax<θrr”来表示的特性，其中第一像素的光灵敏度与第二像素的光灵敏度之间的差达到最大光灵敏度的至少80%的入射角度范围是“θII<入射角<θIr<0”，并且其中第二像素的光灵敏度与第一像素的光灵敏度之间的差达到最大光灵敏度的至少80%的入射角度范围是“0<θrI<入射角<θrr”。

此外，根据该实施例的成像装置其特征在于：入射光的入射角基于F数而被确定。

此外，根据该实施例的成像装置其特征在于：当3D图像被拍摄时，满足以下关系：

-tan^-1(1/(2*Fmin)<θIr

θrI<tan^-1(1/(2*Fmin))

其中Fmin指定F数的开放值。

此外，根据该实施例的成像装置其特征在于：满足以下关系：

-tan^-1(1/(2*Fmin))<θAmax

θBmax<tan^-1(1/(2*Fmin))

其中Fmin指定F数的开放值。

-tan^-1(1/(2*Fmin))<θII

θrr<tan^-1(1/(2*Fmin))

其中Fmin指定F数的开放值。

-tan^-1(1/(2*Fmax))<θc

其中Fmax指定作为F数的小光圈值的最大值。

此外，根据该实施例的成像装置其特征在于：当3D图像被拍摄时以与Ftan(θrI)/2相比在开放侧的光圈拍摄图像，并且当2D图像被拍摄时以与Ftan(θc)/2相比在小光圈侧的光圈拍摄图像。

此外，根据该实施例的成像装置其特征在于：当在光圈被开放以用于拍摄3D图像的情况下发生过度曝光时ND滤光器被插入到在图像传感器前面的级。

此外，根据本发明的图像传感器特征在于包括：多个像素，这多个像素被布置并且形成在二维阵列中使得像素中的相邻两个构成成对像素；微透镜，该微透镜被相应地层叠在像素上；第一遮光膜，该第一遮光膜被相应地层叠在像素上并且形成为和微透镜的聚光高度一样高；遮光膜开口，该遮光膜开口在构成成对像素的第一像素和第二像素上的第一遮光膜中被开放使得在第一像素和第二像素上的遮光膜开口相应地相对于像素的中心在彼此相反的方向上被偏心地提供；以及第二遮光膜，该第二遮光膜被形成在与形成第一遮光膜的位置不同的高度上，使得能够防止入射在朝像素的中心开放的、像素中的每一个的遮光膜开口上的光垂直进入像素的中心，同时入射光被允许在偏心方向上倾斜地进入像素的周边。

根据上面所描述的实施例，不仅可以拍摄极好的3D图像，而且还可以拍摄极好的和高清晰度2D图像。

工业适用性

根据本发明的图像传感器和成像装置能够不仅拍摄极好的3D图像而且还拍摄极好的且高清晰度2D图像。因此，图像传感器和成像装置被有用地应用于数字相机等。

尽管已经详细地并且参考特定实施例对本发明进行了描述，但是对于本领域的技术人员来说显然的是，在不背离本发明的精神和范围的情况下可以对本发明做出各种改变或修改。

本申请是基于于2011年9月28日提交的日本专利申请(日本专利申请No.2011-213126)的，其内容通过引用结合在本文中。

附图标记列表

10，60 图像传感器

11，12 成对像素

11a，12a 第一遮光膜

11b，12b 第一遮光膜开口

11c，12c 第二遮光膜

21 像素的光电转换部(PD)

27 颜色滤光器

29 微透镜

31 快门

32 成像光学系统

32b 光圈(可变光阑)

32c ND滤光器

35 CPU

M，N 拐点

Claims

1.一种图像传感器，包括：多个像素，所述多个像素被布置并且形成在二维阵列中，使得所述像素中的相邻像素构成成对像素，并且构成所述成对像素的第一像素和第二像素的入射光瞳被偏心地提供在相对于相应像素中心的彼此相反的方向上；其中：

来自被摄体的光在所述第一像素中的入射角是入射角θcA，所述入射角θcA处于与所述像素的法线方向相对应的0°和最大光灵敏度下的入射角θmaxa之间的范围内，并且在其中所述第一像素的光灵敏度处于所述最大光灵敏度的40%至80%的范围内；

所述第二像素中的入射角是入射角-θcB，所述入射角-θcB处于与所述像素的所述法线方向相对应的0°和所述最大光灵敏度下的入射角θmaxb之间的范围内，并且在其中所述第二像素的光灵敏度处于所述最大光灵敏度的40%至80%的范围内；以及

相对于所述第一像素和所述第二像素的入射角的、所述第一像素和所述第二像素的光灵敏度特性在所述θcA到所述-θcB的入射角度范围内是平坦特性。

2.一种图像传感器，包括：多个像素，所述多个像素被布置并且形成在二维阵列中，使得所述像素中的相邻像素构成成对像素，并且构成所述成对像素的第一像素和第二像素的入射光瞳被偏心地提供在相对于相应像素中心的彼此相反的方向上；其中：

来自被摄体的光在所述第一像素中的入射角是入射角θcA，所述入射角θcA处于与所述像素的法线方向相对应的0°和最大光灵敏度下的入射角θmaxa之间的范围内；

所述第二像素中的入射角是入射角-θcB，所述入射角-θcB处于与所述像素的法线方向相对应的0°和所述最大光灵敏度下的入射角θmaxb之间的范围内；以及

关于所述第一像素的光灵敏度相对于入射角的改变速率的绝对值和所述第二像素的光灵敏度相对于入射角的改变速率的绝对值的、相对于所述第一像素和所述第二像素中的入射角的特性在入射角-θcA与入射角θcB之间的入射角范围内是平坦的。

3.根据权利要求1或权利要求2所述的图像传感器，其中：当在所述最大光灵敏度被设置为1的假定之下所述第一像素的光灵敏度和所述第二像素的光灵敏度之间的差是在不低于0并且不高于0.05的范围中时，所述特性是平坦的。

4.根据权利要求3所述的图像传感器，其中：当所述光灵敏度之间的所述差是在高于0但不高于0.05的范围中时，所述特性是平坦的。

5.根据权利要求3所述的图像传感器，其中：当所述光灵敏度之间的所述差是0时，所述特性是平坦的。

6.根据权利要求1至5中任何一项所述的图像传感器，其中：

所述多个像素被布置为使得奇数行中的像素和偶数行中的像素相应地彼此移位了半个像素间距，并且三个原色的颜色滤光器以拜耳阵列被布置在所述奇数行的像素中，同时三个原色的颜色滤光器以拜耳阵列被布置在所述偶数行的像素中；以及

所述成对像素包括两个像素，所述两个像素具有相同颜色的颜色滤光器，并且相应地位于所述奇数行和所述偶数行中，以及倾斜地彼此相邻。

7.根据权利要求1至5中任何一项所述的图像传感器，其中：所述多个像素的像素阵列是方形光栅阵列，并且当所述方形光栅阵列在所述像素被排列的平面上以45度的角度斜倾斜时，三个原色的颜色滤光器以拜耳阵列被布置在位于方格图案中的像素中，同时三个原色的颜色滤光器以拜耳阵列被布置在位于所述方格图案中的其它像素中，以及，所述成对像素包括具有相同颜色的颜色滤光器并且彼此相邻的两个像素。

8.一种成像装置，包括：根据权利要求1至7中任何一项所述的图像传感器；以及，在所述图像传感器前面的级中提供的光圈；其中：所述成像装置还包括控制单元，所述控制单元当拍摄平面图像时减少所述光圈，使得入射光在所述图像传感器上的入射角度范围能够被限制在所要求的角度范围内，以及，当拍摄3D图像时开放所述光圈，使得使得入射角度范围在所要求角度范围之外的入射光能够被入射在所述图像传感器上。

9.根据权利要求8所述的成像装置，其中：在所述成像装置中使用的所述图像传感器具有下述特性：当入射角θAmax和入射角θBmax相应地为所述第一像素和所述第二像素提供最大光灵敏度时，所述入射角θAmax和所述入射角θBmax相应地由“θII<θAmax<θIr”和“θrI<θBmax<θrr”来表示，其中，所述第一像素的光灵敏度与所述第二像素的光灵敏度之间的差达到所述最大光灵敏度的至少80%时的入射角度范围是“θII<入射角<θIr<0”，以及其中，所述第二像素的光灵敏度与所述第一像素的光灵敏度之间的差达到所述最大光灵敏度的至少80%时的入射角度范围是“0<θrI<入射角<θrr”。

10.根据权利要求9所述的成像装置，其中：基于F数来确定所述入射光的入射角。

11.根据权利要求10所述的成像装置，其中：当拍摄3D图像时，满足以下关系：

-tan^-1(1/(2*Fmin)<θIr

θrI<tan^-1(1/(2*Fmin))

其中Fmin指定了所述F数的开放值。

12.根据权利要求10或权利要求11所述的成像装置，其中：满足以下关系：

-tan^-1(1/(2*Fmin))<θAmax

θBmax<tan^-1(1/(2*Fmin))

其中Fmin指定了所述F数的开放值。

13.根据权利要求10至12中任何一项所述的成像装置，其中：满足以下关系：

-tan^-1(1/(2*Fmin))<θII

θrr<tan^-1(1/(2*Fmin))

其中Fmin指定了所述F数的开放值。

14.根据权利要求9至13中任何一项所述的成像装置，其中：满足以下关系：

-tan^-1(1/(2*Fmax))<θc

其中Fmax指定了作为所述F数的小光圈值的最大值。

15.根据权利要求9所述的成像装置，其中当拍摄3D图像时，以与Ftan(θrI)/2相比在开放侧的所述光圈来拍摄图像，以及当拍摄2D图像时，以与Ftan(θc)/2相比在小光圈侧的所述光圈来拍摄图像。

16.根据权利要求15所述的成像装置，其中：当在所述光圈被开放以用于拍摄3D图像的情况下发生过度曝光时，ND滤光器被插入到在所述图像传感器前面的级。

17.一种图像传感器，包括：多个像素，所述多个像素被布置并且形成在二维阵列中，使得所述像素中的相邻两个构成成对像素；微透镜，所述微透镜被相应地层叠在所述像素上；第一遮光膜，所述第一遮光膜被相应地层叠在所述像素上并且形成为和所述微透镜的聚光高度一样高；遮光膜开口，所述遮光膜开口被开放在构成所述成对像素的第一像素和第二像素上的所述第一遮光膜中，使得在所述第一像素和所述第二像素上的所述遮光膜开口相应地被偏心地提供在相对于所述像素的中心的彼此相反的方向上；以及，第二遮光膜，所述第二遮光膜被形成在与形成所述第一遮光膜的位置不同的高度上，使得能够防止入射在朝所述像素中心开放的、所述像素中每一个的遮光膜开口上的光垂直进入所述像素中心，同时所述入射光被允许在偏心方向上倾斜地进入所述像素的周边。