CN101971072B - 图像传感器和焦点检测装置 - Google Patents
图像传感器和焦点检测装置 Download PDFInfo
- Publication number
- CN101971072B CN101971072B CN2009801081516A CN200980108151A CN101971072B CN 101971072 B CN101971072 B CN 101971072B CN 2009801081516 A CN2009801081516 A CN 2009801081516A CN 200980108151 A CN200980108151 A CN 200980108151A CN 101971072 B CN101971072 B CN 101971072B
- Authority
- CN
- China
- Prior art keywords
- focus detection
- pixel
- detection pixel
- image
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Studio Devices (AREA)
Abstract
一种焦点检测装置,包括图像形成光学系统、将对象图像进行光电转换的图像感测单元以及焦点检测单元,所述焦点检测单元从来自图像感测单元的像素信号中检测成像光学系统的焦点状态。焦点检测单元包含:在第一方向上分割图像形成光学系统的出射光瞳并且接收光束的第一焦点检测像素;以及在与第一方向不同的第二方向上分割图像形成光学系统的出射光瞳并且接收光束的第二焦点检测像素。第一焦点检测像素和第二焦点检测像素被周期性地布置在2维格子的格子点的附近,所述2维格子由在图像感测单元的预定单位区域中设定的第一格子线和与第一格子线相交的第二格子线形成。
Description
技术领域
本发明涉及图像传感器和使用图像传感器的图像感测装置中的焦点状态的检测方法,所述图像传感器通过使用许多二维排列的光电转换元件能够至少感测静止图像或运动图像。
背景技术
在图像感测装置的自动焦点检测/调整中,作为使用穿过成像光学系统的光束的一般方法,提出对比度检测方法(称为模糊检测方法)和相位差检测方法(称为散焦检测方法)。
在用于记录运动图像的动画摄影机(便携式摄像机)和电子静物照相机中常常使用对比度检测方法。图像传感器被用作焦点检测传感器。该方法关注图像传感器的输出信号,特别是高频成分信息(对比度信息),并且,评价值最大化的成像光学系统的位置被设为对焦(in-focus)位置。但是,由于评价值是在轻微移动成像光学系统时获得的并且需要移动成像光学系统直到确定评价值最大,因此该对比度检测方法(也称为爬山检测方法)不适于高速焦点调整操作。
相位差检测方法在使用卤化银胶片的单镜头反射式照相机中被广泛采用,并且是对于AF(自动聚焦)单镜头反射式照相机的实用化贡献最大的技术。根据相位差检测方法,穿过成像光学系统的出射光瞳的光束被分成两个,并且,这两个光束被一对焦点检测传感器接收。通过检测根据受光量而输出的信号之差(即,在光束被分割的方向上的相对位置误差量),直接获得成像光学系统在聚焦方向上的散焦量。一旦焦点检测传感器执行累积(accumulation)操作,就可得到散焦量和方向以执行高速焦点调整操作。为了将穿过成像光学系统的出射光瞳的光束分割成两个并获得与这两个光束对应的信号,一般在图像 感测光路中插入诸如快速返回镜(quick return mirror)或半透半反镜之类的光路分割部件,并且,在光路分割部件的输出侧布置焦点检测光学系统和AF传感器。该结构使得设备庞大且昂贵。
为了解决该问题,还公开了下述技术:向图像传感器添加相位差检测功能,以除去专用AF传感器并实现高速相位差AF。
例如,在日本专利公开No.2000-156823中,通过使图像传感器的一些受光元件(像素)的受光部分的敏感区域从片上微透镜(on-chip microlens)的光轴偏心,向这些受光元件(像素)添加光瞳分割功能。这些像素被用作焦点检测像素,并且以预定的间隔被布置在图像感测像素之间以执行相位差焦点检测。由于在布置焦点检测像素的部分处不存在图像感测像素,因此通过使用来自周边图像感测像素的信息的内插来生成图像信息。
在日本专利公开No.2000-292686中,通过将图像传感器的一些像素的受光部分中的每一个分割成左右或上下两部分,实现光瞳分割功能。这些像素被用作焦点检测像素,并且以预定的间隔被布置在图像感测像素之间以执行相位差焦点检测。同样,根据该技术,在布置焦点检测像素的部分处不存在图像感测像素,因此,通过使用来自周边图像感测像素的信息的内插来生成图像信息。
在日本专利公开No.2001-305415中,通过将图像传感器的一些像素的受光部分中的每一个分割成上下两部分,提供光瞳分割功能。来自分割的两个受光部分的输出被单独处理,以针对在垂直方向上具有亮度分布的对象执行相位差焦点检测。来自分割的两个受光部分的输出被添加并被用作图像感测信号。并且,检测在水平方向上彼此相邻的像素之间的对比度,以针对在水平方向上具有亮度分布的对象执行对比度焦点检测。
在日本专利公开No.2003-153291中,每隔图像传感器的一行,重复布置其受光部分被分割成左右部分或上下部分的焦点检测元件。通过该布置,针对在水平和垂直方向上具有亮度分布的对象实现相位差焦点检测。
下面将列出当使用图像传感器来执行相位差检测AF时应被考虑的条目。关于AF性能,需要满足以下的条目。
(a)不管对象的亮度分布的方向如何,都可检测焦点。换句话说,可以沿垂直线、水平线和斜线检测焦点。
(b)焦点检测图像采样误差非常小,并且,焦点检测精度与对象的空间频率和相位无关。
(c)可以在任意区域中检测焦点。
(d)即使对于明亮度低的对象,焦点检测图像信号的S/N比也是高的,并且,焦点检测精度不降低。
(e)焦点检测像素的布置坐标是规则的,并且,焦点检测像素信号处理和焦点检测计算的算法是简单的。
当生成输出图像时,焦点检测像素用作异常(singular)像素或有缺陷的像素。为了防止输出图像劣化,需要满足以下的条目:
(i)焦点检测像素的数量与图像传感器的像素的总数量之比是小的。
(ii)焦点检测像素被均匀地分布。
(iii)焦点检测像素的布置坐标是规则的,并且,有缺陷像素内插算法是简单的。
增加焦点检测精度和防止输出图像劣化一般具有折衷(trade-off)的关系。需要先进的技术来满足列出的所有条目同时使它们平衡。但是,上面提到的常规的技术存在以下缺点。
在日本专利公开No.2000-156823中公开的技术不能满足条目(a)、(c)和(ii),因为用于在一个方向上分割光瞳的焦点检测像素被局部地并且密集地布置。
在日本专利公开No.2000-292686中公开的技术不能满足条目(c)和(ii),因为用于在水平或垂直方向上分割光瞳的焦点检测像素在特定的焦点检测区域中被密集地布置。
在日本专利公开No.2001-305415中公开的技术不能满足条目(i),因为相位差焦点检测像素被密集地布置。另外,该技术不充分 满足条目(a),因为在一个方向上的焦点检测是对比度检测,并且对于仅在该方向上具有亮度分布的对象来说,焦点检测能力较差。
在日本专利公开No.2003-153291中公开的技术不能满足条目(i),因为每隔一行地布置焦点检测像素并且布置密度很高。因此,难以获得高质量的图像。
发明内容
为了克服常规的缺陷,提出本发明,并且,本发明的目的是,使得能够在图像感测单元的预定单位区域中的任意位置处检测两个方向的相位差,并且甚至检测仅在一个方向上具有对比度信息的对象的焦点。
根据本发明的第一方面,提供一种图像传感器,该图像传感器包括:第一焦点检测像素,所述第一焦点检测像素在第一方向上分割图像形成光学系统的出射光瞳,并且接收光束;和第二焦点检测像素,所述第二焦点检测像素在与第一方向不同的第二方向上分割图像形成光学系统的出射光瞳,并且接收光束,其中,第一焦点检测像素和第二焦点检测像素与一个焦点检测区域对应地被布置,并且,第一焦点检测像素和第二焦点检测像素交替地被布置。
根据本发明的第二方面,提供一种具有上面限定的图像传感器的焦点检测装置,该装置包括焦点检测单元,所述焦点检测单元合成来自多个焦点检测像素的信号以生成焦点检测计算信号。
通过参照附图阅读示例性实施例的以下说明,本发明的其它特征将变得清晰。
附图说明
图1是根据本发明优选实施例的照相机的布置的图;
图2是根据本发明优选实施例的图像传感器的电路图;
图3是根据本发明优选实施例的图像传感器的像素部分的断面图;
图4是根据本发明优选实施例的图像传感器的驱动时序图;
图5A和图5B分别是示出根据本发明第一优选实施例的图像传感器的图像感测像素的平面图和断面图;
图6A和图6B分别是示出根据本发明第一优选实施例的图像传感器的焦点检测像素的平面图和断面图;
图7A和图7B分别是示出根据本发明第一优选实施例的图像传感器的另一焦点检测像素的平面图和断面图;
图8是用于解释用作根据本发明第一优选实施例的图像传感器中的最小单位的像素阵列的图;
图9是用于解释用作根据本发明第一优选实施例的图像传感器中的高一级(superordinate)单位的像素阵列的图;
图10是用于解释根据本发明第一优选实施例的图像传感器的整个区域中的像素阵列的图;
图11是用于解释根据本发明第一优选实施例的作为2维格子的焦点检测像素的阵列的图;
图12是用于解释根据本发明第一优选实施例的横向散焦检测中的像素分组方法的图;
图13A~13C是用于解释根据本发明第一优选实施例的横向散焦检测中的图像采样特性的图;
图14是用于解释根据本发明第一优选实施例的纵向散焦检测中的像素分组方法的图;
图15A~15C是用于解释根据本发明第一优选实施例的纵向散焦检测中的图像采样特性的图;
图16是用于解释根据本发明第一优选实施例的横向散焦检测中的焦点检测区域设定方法的图;
图17是用于解释根据本发明第一优选实施例的交叉式焦点检测中的焦点检测区域设定方法的图;
图18是用于解释根据本发明第一优选实施例的图像传感器的光瞳分割状态的概念图;
图19是用于解释根据本发明第一优选实施例的焦点检测区域的图;
图20是根据本发明第一优选实施例的主控制过程的流程图;
图21是根据本发明第一优选实施例的焦点检测子过程的流程图;
图22是根据本发明第一优选实施例的拍摄子过程的流程图;
图23是用于解释用作根据本发明第二优选实施例的图像传感器中的最小单位的像素阵列的图;
图24是用于解释用作根据本发明第二优选实施例的图像传感器中的高一级单位的像素阵列的图;
图25是用于解释根据本发明第二优选实施例的图像传感器的整个区域中的像素阵列的图;
图26是用于解释根据本发明第二优选实施例的作为2维格子的焦点检测像素的阵列的图;
图27是用于解释用作根据本发明第三优选实施例的图像传感器中的最小单位的像素阵列的图;
图28是用于解释用作根据本发明第三优选实施例的图像传感器中的高一级单位的像素阵列的图;
图29是用于解释用作根据本发明第四优选实施例的图像传感器中的高一级单位的像素阵列的图;
图30是用于解释根据本发明第四优选实施例的图像传感器的整个区域中的像素阵列的图;
图31是用于解释根据本发明第四优选实施例的作为2维格子的焦点检测像素的阵列的图;
图32是用于解释用作根据本发明第五优选实施例的图像传感器中的高一级单位的像素阵列的图;
图33是用于解释根据本发明第五优选实施例的图像传感器的整个区域中的像素阵列的图;
图34是用于解释根据本发明第五优选实施例的作为2维格子的焦点检测像素的阵列的图;
图35是用于解释用作根据本发明第六优选实施例的图像传感器中的最小单位的像素阵列的图;
图36是用于解释用作根据本发明第六优选实施例的图像传感器中的高一级单位的像素阵列的图;
图37是用于解释根据本发明第六优选实施例的图像传感器的整个区域中的像素阵列的图;
图38是用于解释根据本发明第六优选实施例的作为2维格子的焦点检测像素的阵列的图;
图39是用于解释用作根据本发明第七优选实施例的图像传感器中的最小单位的像素阵列的图;
图40是用于解释用作根据本发明第七优选实施例的图像传感器中的高一级单位的像素阵列的图;
图41是用于解释根据本发明第七优选实施例的图像传感器的整个区域中的像素阵列的图;
图42是用于解释根据本发明第七优选实施例的作为2维格子的焦点检测像素的阵列的图;
图43是用于解释根据本发明第七优选实施例的作为2维格子的焦点检测像素的另一阵列的图。
具体实施方式
以下将描述本发明的优选实施例。
(第一实施例)
图1~22是根据本发明第一优选实施例的图。将参照这些图解释第一实施例。
图1是根据本发明优选实施例的照相机的布置的图。图1示出通过集成照相机机身和成像光学系统而被配置的电子照相机,所述照相机机身具有用作图像感测单元的图像传感器。在图1中,第一透镜组101被布置在成像光学系统(图像形成光学系统)的第一级(stage)上,并且沿光轴可进退地被保持。光阑/快门102调整孔径直径,以调 整拍摄时的光量。光阑/快门102还用作用于在感测静止图像时调整曝光时间的快门。光阑/快门102和第二透镜组103一起沿光轴进退,以与第一透镜组101的进退操作同步地实现变焦操作(变焦功能)。
第三透镜组105沿光轴进退以调整焦点。光学低通滤波器106是用于减少感测图像的伪色(false color)和波纹(moire)的光学元件。图像传感器107包括C-MOS传感器及其周边电路。图像传感器是在芯片(具有水平方向上的m个受光像素和垂直方向上的n个受光像素)上形成具有Bayer阵列的基色马赛克滤波器(mosaic filter)的二维1CCD颜色传感器。
通过在枢轴上转动凸轮镜筒(cam cylinder)(未示出),变焦致动器111驱动第一透镜组101~第三透镜组105以使其沿光轴进退并执行变焦操作。光阑/快门致动器112控制光阑/快门102的孔径直径以调整拍摄时的光量,并且控制感测静止图像时的曝光时间。焦点致动器114驱动第三透镜组105以使其沿光轴进退并调整焦点。
电子闪光器115被用于在拍摄时对对象进行照明。电子闪光器115优选为使用氙管的闪光照明装置,但也可以是具有连续发光LED的照明装置。AF辅助光单元116经由投影透镜将预定孔径图案的掩蔽图像投影到场(field)上,并且提高对于黑暗对象或低对比度对象的焦点检测能力。
照相机中的CPU 121执行对于照相机机身的各种控制操作。CPU121包括例如运算单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路等。基于存储在ROM中的预定程序,CPU 121驱动照相机的各个电路以执行诸如AF、拍摄、图像处理和记录之类的一系列操作。
电子闪光器控制电路122与拍摄操作同步地控制电子闪光器115的开启操作。辅助光驱动电路123与焦点检测操作同步地控制AF辅助光单元116的开启操作,所述焦点检测操作检测图像形成光学系统的焦点状态。图像传感器驱动电路124控制图像传感器107的图像感测操作,对获取的图像信号进行A/D转换,并将数字数据传送到CPU 121。图像处理电路125对于通过图像传感器107获得的图像执行诸如γ转换、颜色内插和JPEG压缩之类的处理。
焦点驱动电路126基于焦点检测结果进行控制以驱动焦点致动器114,并驱动第三透镜组105以使其沿光轴进退,由此调整焦点。光阑/快门驱动电路128进行控制以驱动光阑/快门致动器112,由此控制光阑/快门102的孔径。变焦驱动电路129根据用户的变焦操作驱动变焦致动器111。
显示器131例如是LCD,并且显示关于照相机的拍摄模式、拍摄之前的预览图像、拍摄之后的确认图像、以及焦点检测时的对焦显示图像等的信息。操作开关132包括电源开关、释放(拍摄触发器)开关、变焦操作开关、以及拍摄模式选择开关等。可拆卸的闪存133记录感测的图像。
图2是根据本发明优选实施例的图像传感器的示意性电路图。根据在例如由本发明的发明人提交的日本专利公开No.09-046596中公开的技术来制造图像传感器。图2示出二维C-MOS区域传感器中的2列×4行的像素区域。当区域传感器被用作图像传感器时,各自在图2中示出的许多像素被布置为能够获得高分辨率图像。实施例将描述下述数字静止照相机图像传感器:像素间距为2μm,具有关于3,000列×2,000行=6,000,000个像素的有效像素,以及图像感测帧大小为宽6mm×长4mm。
在图2中,由MOS晶体管栅极和栅极下面的耗尽层(depletion layer)形成光电转换元件的光电转换部分1。附图标记2表示光栅极(photogate);3表示传送开关MOS晶体管。附图标记4表示复位MOS晶体管;5表示源极跟随放大器MOS晶体管;6表示水平选择开关MOS晶体管;7表示源极跟随负载MOS晶体管。附图标记8表示暗输出传送MOS晶体管;9表示明输出传送MOS晶体管;10表示暗输出累积电容器CTN;11表示明输出累积电容器CTS;12表示水平传送MOS晶体管。附图标记13表示水平输出线复位MOS晶体管;14表示差分输出放大器;15表示水平扫描电路;16表示垂直扫描电 路。
图3是像素部分的断面图。在图3中,附图标记17表示P阱;18表示栅极氧化物膜;19表示第一多晶硅层;20表示第二多晶硅层;21表示n+-浮置扩散(FD)。FD 21经由另一传送MOS晶体管与另一光电转换部分连接。在图3中,两个传送MOS晶体管3的漏极和FD 21被共享,以通过微构图和FD 21的电容的降低来增加灵敏度。也可例如通过Al导线连接FD 21。
将参照图4的时序图解释图像传感器的操作。该时序图示出信号从所有像素独立地被输出的情况。
响应于从垂直扫描电路16输出的定时,控制脉冲φL变为高电平,以使垂直输出线复位。控制脉冲φR0、φPG00和φPGe0变为高电平,以导通复位MOS晶体管4并将光栅极2的第一多晶硅层19设为高电平。在时间T0中,控制脉冲φS0变为高电平,以导通选择开关MOS晶体管6并选择第一和第二行上的像素。然后,控制脉冲φR0变为低电平,以停止复位FD 21并将其设为浮置状态。电荷通过源极跟随放大器MOS晶体管5的栅极-源极路径。在时间T1中,控制脉冲φTN变为高电平,以通过源极跟随操作将FD 21的暗电压输出到累积电容器CTN10。
为了光电转换来自第一行上的像素的输出,用于第一行的控制脉冲φTX00变为高电平,以导通传送开关MOS晶体管3。在时间T2中,控制脉冲φPG00变为低电平。作为优选的电压关系,在光栅极2下面展开的电势阱上升,以完全将光致载流子传送到FD 21。控制脉冲φTX不需要是脉冲,而是也可以是固定电势,只要可以完全传送载流子即可。
在时间T2中,当从光电二极管的光电转换部分1向FD 21传送电荷时,FD 21的电势根据光而改变。由于源极跟随放大器MOS晶体管5浮置,因此,通过在时间T3中将控制脉冲φTs变为高电平,将FD21的电势输出到累积电容器CTS 11。到此时为止,来自第一行上的像素的暗输出和明输出分别被累积于累积电容器CTN 10和CTS 11中。 在时间T4中,控制脉冲φHC暂时变为高电平,以导通水平输出线复位MOS晶体管13并复位水平输出线。在水平传送时段中,响应于水平扫描电路15的扫描定时信号,来自像素的暗输出和明输出被输出到水平输出线。此时,差分放大器14在累积电容器CTN 10和CTS 11之间输出差分输出VOUT,从而获得没有像素的随机噪声和固定模式噪声的、具有高的S/N比的信号。在与像素30-11和30-21的光电荷相同的时间,像素30-12和30-22中的光电荷分别在累积电容器CTN 10和CTS 11中累积。但是,在该读出中,来自水平扫描电路15的定时脉冲延迟一个像素,然后,光电荷被读出到水平输出线并从差分放大器14被输出。
在实施例中,在芯片内获得差分输出VOUT。但是,代替在芯片内获得差分输出VOUT,也可通过使用布置在芯片外部的常规的CDS(相关双采样)电路来得到相同的效果。
在明输出被输出到累积电容器CTS 11之后,控制脉冲φR0变为高电平,以导通复位MOS晶体管4并将FD 21复位为电源VDD。在来自第一行的水平传送结束之后,从第二行读出光电荷。在从第二行的读出中,类似地驱动控制脉冲φTXe0和φPGe0,并且供给高电平控制脉冲φTN和φTS,以在累积电容器CTN 10和CTS 11中累积光电荷,并且输出暗输出和明输出。通过该驱动,可以独立地从第一和第二行读出光电荷。然后,垂直扫描电路被驱动以从第(2n+1)和第(2n+2)行(n=1、2、...)读出光电荷,由此独立地从所有的像素输出光电荷。更具体而言,对于n=1,控制脉冲φS1变为高电平,然后,φR1变为低电平。控制脉冲φTN和φTX01变为高电平,控制脉冲φPG01变为低电平,控制脉冲φTs变为高电平,并且控制脉冲φHC暂时变为高电平,由此从像素30-31和30-32读出像素信号。随后,以上述的方式施加控制脉冲φTXe1和φPGe1,从而从像素30-41和30-42读出像素信号。
图5A、图5B、图6A、图6B、图7A和图7B是用于解释图像感测像素的结构和用作焦点检测单元的焦点检测像素的结构的图。第一实施例采用Bayer阵列,在该阵列中,在2×2=4个像素之中对角地 布置两个具有G(绿色)光谱灵敏度的像素,并且,布置分别具有R(红色)或B(蓝色)光谱灵敏度的像素作为剩余的两个像素。根据预定的规则,在Bayer阵列的像素之间分布和布置具有后面要描述的结构的焦点检测像素。
图5A和图5B示出图像感测像素的布置和结构。图5A是2×2图像感测像素的平面图。众所周知,在Bayer阵列中,对角地布置G像素,并且,布置R像素和B像素作为剩余的两个像素。该2×2结构被重复地布置。
图5B是沿图5A中的线A-A所取的断面图。附图标记ML表示布置在各像素前面的片上微透镜;CFR表示R(红色)滤色器;CFG表示G(绿色)滤色器。附图标记PD(光电二极管)表示图3所示的C-MOS传感器的示意性光电转换部分。附图标记CL(接触层)表示用于形成用于在C-MOS传感器内传送各种信号的信号线的互连层。附图标记TL(拍摄透镜)表示示意性成像光学系统。
图像感测像素的片上微透镜ML和光电转换部分PD被配置为尽可能有效地捕获通过成像光学系统TL的光束。换句话说,成像光学系统TL的出射光瞳EP(出射光瞳)和光电转换部分PD经由微透镜ML相互共轭,并且,光电转换部分的有效区域被设计为大的。图5B示出进入R像素的光束,但是,G像素和B(蓝色)像素也具有相同的结构。与R、G和B图像感测像素中的每一个对应的出射光瞳EP具有大的直径,并且,来自对象的光束(光量子)可被有效地捕获,以增加图像信号的S/N比。
图6A和图6B示出用于在成像光学系统的水平方向(横向)上分割光瞳的焦点检测像素(第一焦点检测像素)的布置和结构。水平方向或横向被定义为沿与光轴垂直的直线的方向,并且,其在用户握持照相机使得成像光学系统的光轴变得与水平方向平行时水平地延伸。图6A是包含焦点检测像素的2×2像素的平面图。当获得用于记录或查看的图像信号时,通过G像素获得亮度信息的主要成分。人的图像识别特征对于亮度信息是敏感的。因此,如果忽略G像素,那么图像 质量的劣化易于被察觉。使用R像素或B像素来获取颜色信息(颜色差异信息)。人的视觉特征对于颜色信息不敏感。因此,即使稍微忽略用于获取颜色信息的像素,也几乎不会意识到图像质量的劣化。由此,在实施例中,2×2像素中的G像素被留作图像感测像素,并且,R像素和B像素被焦点检测像素替代。在图6A中,SHA和SHB代表焦点检测像素。
图6B是沿图6A中的线A-A所取的断面图。微透镜ML和光电转换部分PD具有与图5B所示的图像感测像素的微透镜和光电转换部分相同的结构。在实施例中,不使用来自焦点检测像素的信号生成图像,因此,布置透明膜CFW(白色)来代替用于颜色分离的滤色器。为了通过图像传感器分割光瞳,互连层CL的孔径在一个方向上偏离微透镜ML的中心线。更具体而言,像素SHA的孔径OPHA偏向右方并且接收穿过成像光学系统TL的左出射光瞳EPHA的光束。类似地,像素SHB的孔径OPHB偏向左方并且接收穿过成像光学系统TL的右出射光瞳EPHB的光束。像素SHA在水平方向上规则地排列,并且,通过这些像素获得的对象图像被定义为图像A。像素SHB也在水平方向上规则地排列,并且,通过这些像素获得的对象图像被定义为图像B。通过检测图像A和图像B的相对位置,可以检测对象图像的散焦量。
像素SHA和SHB可检测例如在拍摄帧的横向上具有亮度分布的垂直线的对象的焦点,但不能检测在纵向上具有亮度分布的水平线的焦点。为了进一步检测水平线的焦点,实施例采用用于进一步在成像光学系统的垂直方向(纵向)上分割光瞳的像素。
图7A和图7B示出用于在成像光学系统的垂直方向(换句话说,上下方向或纵向)上分割光瞳的焦点检测像素(第二焦点检测像素)的布置和结构。垂直方向、上下方向或纵向被定义为沿与光轴垂直的直线的方向,并且,该方向在用户握持照相机使得成像光学系统的光轴变得与水平方向平行时垂直地延伸。图7A是包含焦点检测像素的2×2像素的平面图。与图6A类似,G像素被留作图像感测像素,并且,R像素和B像素被焦点检测像素替代。在图7A中,SVC和SVD代表焦点检测像素。
图7B是沿图7A中的线A-A所取的断面图。除了图6B中的像素具有用于在横向上分割光瞳的结构而图7B中的像素具有用于在纵向上分割光瞳的结构以外,图7B中的像素具有与图6B中的像素相同的结构。更具体而言,像素SVC的孔径OPVC偏向下方并且接收穿过成像光学系统TL的上出射光瞳EPVC的光束。类似地,像素SVD的孔径OPVD偏向上方并且接收穿过成像光学系统TL的下出射光瞳EPVD的光束。像素SVC在垂直方向上规则地排列,并且,通过这些像素获得的对象图像被定义为图像C。像素SVD也在垂直方向上规则地排列,并且,通过这些像素获得的对象图像被定义为图像D。通过检测图像C和图像D的相对位置,可以检测在垂直方向上具有亮度分布的对象图像的散焦量。
图8~10是用于解释图5A、图5B、图6A、图6B、图7A和图7B所示的图像感测像素和焦点检测像素的布置规则的图。
图8是用于解释在图像感测像素之间离散地布置焦点检测像素时最小单位的布置规则的图。在图8中,10行×10列=100个像素被定义为一个块。在左上块BLK(1,1)中,左下方的R、B像素被用于在水平方向上分割光瞳的一对焦点检测像素SHA和SHB替代。
在块BLK(1,1)右侧的块BLK(1,2)中,左下方的R、B像素类似地被用于在垂直方向上分割光瞳的一对焦点检测像素SVC和SVD替代。第一个块BLK(1,1)下面的块BLK(2,1)具有与块BLK(1,2)相同的像素阵列。块BLK(2,1)右侧的块BLK(2,2)具有与第一个块BLK(1,1)相同的像素阵列。
当该布置规则被推广时,当i+j为偶数时,在块BLK(i,j)中布置用于水平光瞳分割的焦点检测像素,并且,当i+j为奇数时,在其中布置用于垂直光瞳分割的焦点检测像素。图8中的2×2=4个块(即,20行×20列=400个像素)的区域被定义为作为块的高一级单位的阵列单元的群集(cluster)。
可通过以上述的方式交替地布置用于水平光瞳分割的焦点检测像 素和用于垂直光瞳分割的焦点检测像素,使得两个方向上的相位差检测特性彼此相同。
图9是用于解释用作单位的群集的布置规则的图。在图9中,具有20行×20列=400个像素的左上群集被定义为CST(u,w)=CST(1,1)。在群集CST(1,1)中,各块左下方的R、B像素被焦点检测像素SHA和SHB或SVC和SVD替代。
在群集CST(1,1)右侧的群集CST(1,2)中,各块中的焦点检测像素被布置在相对于群集CST(1,1)中的相应焦点检测像素向上偏移2个像素的位置处。在第一群集CST(1,1)下面的群集CST(2,1)中,各块中的焦点检测像素被布置在相对于群集CST(1,1)中的相应焦点检测像素向右偏移2个像素的位置处。重复应用该规则以获得图9所示的布置。
该布置规则被一般性地表达如下。焦点检测像素的坐标由在图6A或图7A所示的包含G像素的一组四个像素中的左上像素的坐标定义。各块左上角的坐标被定义为(1,1),并且,坐标沿向下的方向和向右的方向增加。
当应用这些定义时,群集CST(u,w)的各块中的焦点检测像素对的水平坐标是2×u-1,并且垂直坐标是11-2×w。图9中的5×5=25个群集(即,100行×100列=10,000个像素)的区域被定义为场,所述场是比群集高一级的阵列单元。
图10是用于解释用作单位的场的布置规则的图。在图10中,100行×100列=10,000个像素的左上场被定义为FLD(q,r)=FLD(1,1)。在实施例中,所有的场FLD(q,r)具有与第一个场FLD(1,1)相同的阵列。当在水平方向和垂直方向上排列30×20个场FLD(1,1)时,600个场形成3,000列×2,000行=6,000,000个像素的图像感测区域。焦点检测像素可均匀分布于整个图像感测区域中。
图11是用于基于在图像感测区域中的单位区域中定义的2维格子来解释2×2=4个场中的焦点检测像素的布置的图。在图11中,符号○代表布置第一焦点检测像素组的点,所述第一焦点检测像素组用于在横向(左右方向或水平方向)上分割成像光学系统的出射光瞳。第一焦点检测像素组是图6A中的成对的两个像素SHA和SHB,并且,这两个像素的重心在图11中的○处。符号●代表布置第二焦点检测像素组的点,所述第二焦点检测像素组用于在纵向(上下方向或垂直方向)上分割光瞳。类似地,符号●与图7A中的两个像素SVC和SVD的重心对应。
LTH1~LTH10形成格子线的第一格子线组,所述格子线分别通过在横向上链接○而形成。第一格子线组延伸的方向(第一方向)从水平线逆时针倾斜θLH。该角度将被称为水平偏角(argument),并且,符号在逆时针方向上为正。根据参照图9描述的布置规则来生成水平偏角,并且,tanθLH=0.1,即,θLH=+5.7°。
希望水平偏角的绝对值尽可能小。其原因在于,由用于水平地分割光瞳的像素获取的一对图像的相对位置在水平方向上与成像光学系统的散焦量成比例地偏移,并且,也优选地沿图像的相对偏移方向布置用于对图像采样的像素。但是,如果焦点检测像素被布置为水平地形成第一格子线组,那么不能获得实施例特有的效果(将参照图12和随后的图解释该效果)。出于这种原因,应用+5.7°的倾角。如果参照图9描述的布置规则发生改变,该倾角也发生改变,但是,希望该倾角小于等于实施例中的角度的2倍,即小于等于约±12°。
格子间距PLH为10(个像素),所述格子间距PLH是第一格子线组的相邻格子线之间的布置间隔。随着格子间距减小,焦点检测图像的采样密度增加以减小采样误差,但是,输出图像中被忽略像素的数量增加。由此,应考虑图像感测系统中的图像质量和焦点检测能力之间的平衡来确定格子间距的最佳值。本申请人作出的研究揭示,格子间距优选地选自4~20个像素的范围。
LTV1~LTV10形成格子线的第二格子线组,所述格子线分别通过在垂直方向(第二方向)上链接●而形成。第二格子线组延伸的方向也从垂直线倾斜。该倾角将被称为垂直偏角,并且,符号在逆时针 方向上为正。垂直偏角为tanθLV=0.1,即,θLV=+5.7°。出于与第一格子线组相同的原因,也希望该倾角尽可能小。即,由用于垂直地分割光瞳的像素获取的一对图像的相对位置在垂直方向上与成像光学系统的散焦量成比例地偏移,并且,还优选地沿图像的偏移方向布置用于对图像采样的像素。也希望第二格子线组的垂直偏角小于等于实施例中的角度的2倍,即小于等于约±12°。作为第二格子线组的相邻格子线之间的布置间隔的格子间距PLV也为10(个像素),并且,设置规则与第一格子线组的相同。
如上所述,第一格子线组由在几乎与第一光瞳分割方向一致的方向上延伸的平行线(直线)形成,并且以预定的间距均等地被布置。第二格子线组由在几乎与第二光瞳分割方向一致的方向上延伸的平行线形成,并且以预定的间距均等地被布置。两个格子线组相互垂直地(以90°角)相交,从而形成2维格子。在交点(格子点)附近周期性地布置焦点检测像素。这样,散焦状态中的焦点检测图像的移动方向和焦点检测像素的阵列方向基本上相互一致。即使焦点检测像素的布置密度减小,也可维持大大散焦状态中的焦点检测能力。由于在本发明的大多数实施例中两个焦点检测像素是成对的并且替代R和B像素,并且不可能总是将像素严格地布置在一个格子点处,因此在格子点“附近”布置焦点检测像素。即使像素布置位置稍微偏离严格的格子点,也能够维持本发明的效果。本申请人作出的研究揭示,像素组从格子点的偏移优选地小于等于格子间距的0.25,或者小于等于图像感测像素间距的4倍或更小。第一格子线组和第二格子线组相互垂直地(以90°角)相交。但是,本发明还包括相交的角度与直角(90°)稍微不同的情况,只要能够获得本发明的效果即可。
将参照图12~15A、图15B和图15C解释焦点检测中的像素分组方法和信号相加方法。图12是用于解释检测通过成像光学系统形成的对象图像的横向散焦时的像素分组方法的图。在横向散焦检测中,通过使用参照图6A和图6B描述的用于在横向(左右方向或水平方向)上分割成像光学系统的出射光瞳的焦点检测像素来执行相位差焦点检 测。
图12所示的像素阵列与图9所示的像素阵列相同。在焦点检测中,横向的1个块×纵向的10个块=10个块形成一个组,该组被定义为区段(section)。在实施例中,在横向上对准的30个区段形成一个焦点检测区域。即,100行×300列=30,000个像素的区域用作一个焦点检测区域。一个焦点检测区域被定义为AF区域。一个区段包含与横向的一个分割光瞳对应的五个像素SHA和与另一分割光瞳对应的五个像素SHB。在实施例中,来自五个像素SHA的输出被相加,以获得用于计算相位差的一个图像信号(称为图像A)的一个AF像素。类似地,来自五个像素SHB的输出被相加,以获得用于计算相位差的另一图像信号(称为图像B)的一个AF像素。
图13A~13C是用于解释一个区段的对象图像捕获能力的图。图13A示出从图12切出的最左边区段SCTh(1)。在图13A的底部示出的水平线PRJh是在焦点检测像素SHA和SHB的光瞳分割方向上延伸的第一投影线。在图13A的右侧示出的垂直线PRJv是在与光瞳分割方向垂直的方向上延伸的第二投影线。来自一个区段中的所有像素SHA的信号被相加,并且,来自所有像素SHB的信号也被相加。当一个区段被视为一个AF像素,并且包含于一个AF像素中的受光部分被投影到光瞳分割方向上的投影线PRJh上时,像素SHA和SHB密集地交替对准。使P1为沿光瞳分割方向上的投影线PRJh的像素SHA的阵列间距,那么P1=PHh=2(个像素)。当间距由空间频率F1表示时,F1=0.5(个像素/像素)。类似地,沿投影线PRJh的像素SHB的阵列间距为P1=2(个像素),并且,空间频率F1=0.5(个像素/像素)。
当包含于一个AF像素中的受光部分被投影到在与光瞳分割方向垂直的方向上的投影线PRJv上时,像素SHA和SHB稀疏地对准。使P2为沿投影线PRJv的像素SHA的阵列间距,那么P2=PHv=20(个像素)。当间距由空间频率F2表示时,F2=0.05(个像素/像素)。类似地,沿投影线PRJv的像素SHB的阵列间距为P2=20(个像素),并且,空间频率F2=0.05(个像素/像素)。
即,对于分组之前的分布特性,根据实施例的AF像素在光瞳分割方向和与其垂直的方向上具有相同的布置间距。但是,分组时的组形状被设计为矩形,以减少光瞳分割方向的采样误差。更具体而言,在光瞳分割方向上的一个区段的最大尺寸L1为10个像素,并且,在与光瞳分割方向垂直的方向上的最大尺寸L2为100个像素。通过将区段尺寸设为L1<L2,在光瞳分割方向上的采样频率F1被设为高(密集),并且,在与其垂直的方向上的采样频率F2被设为低(稀疏)。
将参照图13B解释当将细线的对象图像投影到图13A所示的AF像素(一个区段)上时的图像捕获能力。在图13B中,LINEv代表投影到图像传感器107上的细垂直线,并且,该细垂直线LINEv在像素转换中具有四个像素的宽度,并且,图像的实际尺寸为8μm。此时,区段SCTh(1)的块BLK(3,1)和BLK(5,1)中的焦点检测像素捕获对象图像。对象图像的最小尺寸由成像光学系统的像差和布置于图像传感器前面的光学LPF的特性确定。一般地,即使非常细的线也具有两个或更多个像素的宽度。在根据实施例的一个区段中,至少一个像素SHA和一个像素SHB捕获图像,从而防止捕获失败。在图13B中,能够检测到在区段中存在细线LINEv。但是,不能检测到区段中的光瞳分割方向上的细线的重心位置。
图13B中的LINEh代表投影到图像传感器107上的细水平线,并且,与细垂直线LINEv类似,该细水平线LINEh在像素转换中具有四个像素的宽度,并且,图像的实际尺寸为8μm。此时,水平线LINEh被投影到块BLK(5,1)上,但是没有被焦点检测像素SHA和SHB捕获。但是,区段SCTh(1)被用于检测像垂直线那样的在横向上具有亮度分布的对象的焦点。因此,即使没有焦点检测像素捕获到像水平线那样的在纵向上具有亮度分布的对象的图像也没关系。
图13C示出在多个区段上形成比图13B所示的细线LINEv宽的粗线BANDv的情况。此时,左区段SCTh(1)中的四对焦点检测像素捕获粗线BANDv。中心区段SCTh(2)中的五对焦点检测像素捕获粗线BANDv,并且,右区段SCTh(3)中的一对焦点检测像素捕获粗线 BANDv。通过处理由三个区段检测的信号的大小,可以以比光瞳分割方向上的各区段的尺寸L1大的分辨率检测粗线BANDv的重心位置。
图14是用于解释当检测通过成像光学系统形成的对象图像的纵向散焦时的像素分组方法的图。在纵向散焦检测中,通过使用参照图7A和图7B描述的、用于在纵向(上下方向或垂直方向)上分割成像光学系统的出射光瞳的焦点检测像素来执行相位差焦点检测。图14中的布置与通过将图12所示的布置旋转90°而获得的布置对应。
图14所示的像素阵列还与图9所示的像素阵列相同。在焦点检测中,横向的10个块×纵向的1个块=10个块形成一个组,该组被定义为区段。在实施例中,在纵向上对准的30个区段形成一个焦点检测区域。即,300行×100列=30,000个像素的区域用作一个焦点检测区域。与图12类似,一个焦点检测区域也被定义为AF区域。一个区段包含与纵向上的一个分割光瞳对应的五个像素SVC和与另一分割光瞳对应的五个像素SVD。在实施例中,来自五个像素SVC的输出被相加,以获得用于计算相位差的一个图像信号(称为图像C)的一个AF像素。类似地,来自五个像素SVD的输出被相加,以获得用于计算相位差的另一图像信号(称为图像D)的一个AF像素。
图15A~15C是用于解释一个区段的对象图像捕获能力的图。图15A~15C中的方法与通过将图13A~13C中的方法旋转90°获得的方法等同。图15A示出从图14切出的顶部区段。图15A的右侧所示的垂直线PRJv是在焦点检测像素SVC和SVD的光瞳分割方向上延伸的第三投影线。图15A的底部所示的水平线PRJh是在与光瞳分割方向垂直的方向上延伸的第四投影线。同样,在图15A中,来自一个区段中的所有像素SVC的信号被相加,并且,来自所有像素SVD的信号也被相加。当一个区段被视为一个AF像素,并且包含于一个AF像素中的受光部分在光瞳分割方向上被投影到投影线PRJv上时,像素SVC和SVD密集地交替对准。使P1为沿光瞳分割方向上的投影线PRJv的像素SVC的阵列间距,那么P1=PVv=2(个像素)。当间距由空间频率F1表示时,F1=0.5(个像素/像素)。类似地,沿投影线PRJv的 像素SVD的阵列间距为P1=2(个像素),并且,空间频率F1=0.5(个像素/像素)。
当包含于一个AF像素中的受光部分被投影到在与光瞳分割方向垂直的方向上的投影线PRJh上时,像素SVC和SVD稀疏地对准。使P2为沿投影线PRJh的像素SVC的阵列间距,那么P2=PVh=20(个像素)。当间距由空间频率F2表示时,F2=0.05(个像素/像素)。类似地,沿投影线PRJv的像素SVD的阵列间距为P2=20(个像素),并且,空间频率F2=0.05(个像素/像素)。
在光瞳分割方向上,与图13A~13C所示的特性类似,图15A~15C中的AF像素的采样特性为F1>F2。其原因在于,在图15A~15C中的区段中,在光瞳分割方向上的区段尺寸L1和在与其垂直的方向上的尺寸L2也被设计为满足L1<L2。
将参照图15B解释当将细线的对象图像投影到图15A所示的AF像素(=一个区段)上时的图像捕获能力。在图15B中,LINEh代表投影到图像传感器107上的细水平线,并且,该细水平线LINEh在像素转换中具有四个像素的宽度,并且,图像的实际尺寸为8μm。此时,区段SCTv(1)的块BLK(1,4)和BLK(1,6)中的焦点检测像素捕获对象图像。
图15B中的LINEv代表投影到图像传感器107上的细垂直线,并且,与细水平线LINEh类似,该细垂直线LINEv在像素转换中具有四个像素的宽度,并且,图像的实际尺寸为8μm。此时,垂直线LINEv被投影到块BLK(1,6)上,但是没有被焦点检测像素SVC和SVD捕获。但是,区段SCTv(1)被用于检测像水平线那样的在纵向上具有亮度分布的对象的焦点。因此,即使没有焦点检测像素捕获到像垂直线那样的在横向上具有亮度分布的对象的图像也没关系。
图15C示出在多个区段上形成比图15B所示的细线LINEh宽的粗线BANDh的情况。此时,可根据与参照图13C描述的原理相同的原理,以比光瞳分割方向上的各区段的尺寸L1高的分辨率检测粗线BANDh的重心位置。
图16是用于解释当检测通过成像光学系统形成的对象图像的横向散焦时焦点检测区域的设定形式的图。图16示出4×3=12个场的范围,并且,设定三类焦点检测区域。第一焦点检测区域AFARh1是最基本的焦点检测区域,在该区域中,三个场中包含的全部30个区段形成为一个组。相反,在第二焦点检测区域AFARh2中,在两个相邻的场上设定形成第二焦点检测区域AFARh2的各区段。区段的数量为15,该值不是一个场中包含的10个区段的整数倍。但是,即使在第二焦点检测区域AFARh2中,各区段的焦点检测图像采样特性也与参照图13A~13C描述的相同。
在第三焦点检测区域AFARh3中,两个区段被耦联成一个新的区段。作为结果,投影到图13A~13C所示的第二投影线PRJv上的焦点检测像素的平均阵列间距减半,但是焦点检测能力得到保持。
即,也可在两个相邻的场上布置形成焦点检测区域的区段。区段的尺寸和区段数量也可被设为希望的值。
图17是用于解释当同时检测通过成像光学系统形成的对象图像的横向散焦和纵向散焦时焦点检测区域的设定形式的图。与图16类似,图17示出4×3=12个场的范围,并且,设定第一焦点检测区域AFARh1和第三焦点检测区域AFARv1。第一焦点检测区域AFARh1与图16所示的一样,并被用于检测对象的横向散焦。相反,第三焦点检测区域AFARv1被用于检测对象的纵向散焦。第三焦点检测区域AFARv1的特性相当于通过将图16所示的第二焦点检测区域AFARh2旋转90°获得的特性。即,可以同时检测横向散焦和纵向散焦两者,并且,两个焦点检测区域可相互重叠。
如参照图16和图17描述的那样,第一实施例中的焦点检测像素的布置和像素的分组使得能够以非常高的设定焦点检测区域的自由度对各种对象进行精确的焦点检测。
图18是用于在概念上解释第一实施例中的成像光学系统和图像传感器的光瞳分割状态的透视图。附图标记TL表示成像光学系统;107表示图像传感器;OBJ表示对象;IMG表示对象图像。
如参照图5A和图5B描述的那样,图像感测像素接收穿过成像光学系统的整个出射光瞳EP的光束。相反,如参照图6A、图6B、图7A和图7B描述的那样,焦点检测像素具有光瞳分割功能。更具体而言,图6A和图6B中的像素SHA接收当从图像感测表面观察透镜的后表面时穿过左光瞳的光束(即,穿过图18中的光瞳EPHA的光束)。类似地,像素SHB、SVC和SVD接收穿过光瞳EPHB、EPVC和EPVD的光束。如参照图10描述的那样,焦点检测像素分布于图像传感器107的整个区域中,并且可在整个图像感测区域中检测焦点。
在实施例中,焦点检测像素的光瞳形状是矩形,在光瞳分割方向上具有短边,并且,在与光瞳分割方向垂直的方向上具有长边。但是,光瞳形状也可以是正方形、多边形、半圆形或椭圆形等。分割的光瞳也可以从成像光学系统的出射光瞳EP突出。当改变焦点检测像素的光瞳形状时,图6A、图6B、图7A和图7B中微透镜ML的光焦度和在互连层CL中形成的孔径的形状被适当地设定就足够了。
图19是用于解释在焦点检测中获取的输出图像和焦点检测区域的图。在图19中,在图像感测表面上形成的对象图像包含处在中央的人、左侧前景(foreground)中的树和右侧背景(background)中的山。在实施例中,如图10所示,在整个图像感测区域中,以均等的密度布置用于横向散焦检测的多对像素SHA和SHB以及用于纵向散焦检测的多对像素SVC和SVD作为焦点检测像素。在横向散焦检测中,如图12所示,对于各组处理用于计算相位差的AF像素信号。在纵向散焦检测中,如图14所示,对于各组处理用于计算相位差的AF像素信号。用于横向散焦检测和纵向散焦检测的焦点检测区域可被设于图像感测区域中的任意位置处。
在图19中,人脸存在于帧中心处。当通过已知的脸部识别技术检测到脸部的存在时,以脸部区域为中心,设定用于横向散焦检测的焦点检测区域AFARh(x1,y1)和用于纵向散焦检测的焦点检测区域AFARv(x3,y3)。下标“h”代表水平方向,(x1,y1)和(x3,y3)表示焦点检测区域左上角的坐标。来自包含于焦点检测区域AFARh(x1, y1)的各区段中的五个焦点检测像素SHA的信号被相加。通过耦合30个区段的相加信号而获得的相位差检测图像A信号被定义为在图19的下侧的图中示出的AFSIGh(A1)。类似地,来自包含于各区段中的五个焦点检测像素SHB的信号被相加,并且,通过耦合30个区段的相加信号而获得的相位差检测图像B信号被定义为AFSIGh(B1)。通过已知的相关性计算来算出图像A信号AFSIGh(A1)和图像B信号AFSIGh(B1)的相对横向散焦量,从而获得对象的散焦量。
还以相同的方式获得焦点检测区域AFARv(x3,y3)的散焦量。比较在用于横向散焦和纵向散焦的焦点检测区域中检测的两个散焦量,并且采用可靠性高的值。
帧的左侧的树的树干主要具有垂直线成分,即,在横向上的亮度分布,因此,确定树干是适于横向散焦检测的对象。设定用于横向散焦检测的焦点检测区域AFARh(x2,y2)。帧的右侧的山的山脊线主要具有水平线成分,即,在纵向上的亮度分布,因此,确定山脊线是适于纵向散焦检测的对象。设定用于纵向散焦检测的焦点检测区域AFARv(x4,y4)。
如上所述,根据实施例,可以在帧中的任意位置处设定用于横向散焦检测和纵向散焦检测的焦点检测区域。即使对象的投影位置和亮度分布的方向改变,也总是能够准确地检测焦点。
图20~22是用于解释根据本发明第一优选实施例的照相机的焦点调整和拍摄过程的流程图。将参照上述的图1~19解释图20和随后的图中的控制过程。
图20示出根据第一实施例的照相机的主过程。当用户接通照相机的电源开关时,在步骤S103中,CPU 121检查照相机中的致动器和图像传感器的操作,初始化存储器内容和执行程序,并且执行拍摄准备操作。在步骤S105中,CPU 121开始图像传感器的图像感测操作以输出像素数低的运动图像用于预览。在步骤S107中,CPU 121在附接于照相机后表面的显示器131上显示读出的运动图像。用户直观地检查预览的图像并确定拍摄构图。
在步骤S109中,CPU 121确定在预览的运动图像中是否存在脸部。如果CPU 121确定在拍摄区域中存在脸部,那么处理从步骤S111转移到步骤S113,以将脸部AF模式设为焦点调整模式。在脸部AF模式中,照相机聚焦于拍摄区域中的脸部上。
如果拍摄区域中不存在脸部,那么处理从步骤S111转移到步骤S115,以将多点AF模式设为焦点调整模式。在多点AF模式中,拍摄区域被分割成3×5=15,在相应的分割的区域中进行焦点检测,从焦点检测结果和对象的亮度信息类推主对象,并且使照相机聚焦于主对象的区域上。
在步骤S113或步骤S115中确定AF模式之后,CPU 121在步骤S117中确定焦点检测区域。在步骤S121中,CPU 121确定用户是否已接通拍摄准备开关。如果用户还没有接通拍摄准备开关,那么处理返回步骤S105,以重复执行从图像传感器的驱动到步骤S117中的焦点检测区域的确定的处理。
如果CPU 121在步骤S121中确定用户已接通拍摄准备开关,那么处理转移到步骤S131,以执行焦点检测子过程。
图21是焦点检测子过程的流程图。当处理从主过程中的步骤S121跳到子过程中的步骤S131时,CPU 121在步骤S132中读出来自包含于焦点检测区域中的图像感测像素和焦点检测像素的信号,所述焦点检测区域是在主过程的步骤S117中确定的。在步骤S133中,CPU 121从读出的图像感测像素的信息识别焦点检测区域中的对象对比度的方向依赖性。在步骤S134中,CPU 121根据在步骤S133中识别的对象对比度信息来选择适于焦点检测的图像散焦检测方向。更具体而言,当对象图像的对比度仅在水平方向上存在时,通过仅使用横向散焦检测像素来完成焦点检测。类似地,当对象图像的对比度仅在垂直方向上存在时,通过仅使用纵向散焦检测像素来完成焦点检测。当对比度在水平方向和垂直方向上都存在时,通过既使用横向散焦检测像素又使用纵向散焦检测像素来完成交叉(cross)焦点检测。
在步骤S141中,CPU 121在步骤S134中选择的焦点检测区域中, 基于图12或图14所示的区段结构而将来自各区段中的焦点检测像素的信号相加,从而获得AF像素信号。在步骤S142中,在步骤S141中获得的AF像素信号经受阴影(shading)校正(帧外围的光减少的校正)和由渐晕(vignetting)导致的两个图像的畸变的校正等,由此获得用于相关性计算的两个图像信号。作为结果,生成诸如图19所示的AFSIGh(A1)和AFSIGh(B1)或AFSIGv(C3)和AFSIGv(D3)之类的一对信号。
在步骤S143中,CPU 121计算所获得的两个图像之间的相关性,从而算出两个图像之间的相对位置误差量。在步骤S144中,CPU 121确定计算的相关性的可靠性。可靠性指的是两个图像之间的一致性,并且,当两个图像之间的一致性高时,焦点检测结果的可靠性一般是高的。当选择多个焦点检测区域时,优先使用具有高可靠性的信息。即使当选择交叉焦点检测来检测两个方向上的图像偏移时,也评价沿各方向上的相关性的可靠性,并且,如果可靠性低于阈值,那么检测结果不被采用。
在步骤S145中,CPU 121由具有高可靠性的检测结果计算散焦量。在步骤S146中,处理返回图20的主过程中的步骤S131。
在图20的步骤S151中,CPU 121确定在图21的步骤S143中计算的散焦量是否小于等于容限(allowance)。如果散焦量超过容限,那么CPU 121确定图像是失焦(out of focus)的,在步骤S153中驱动聚焦透镜,然后重复执行步骤S131~S151。如果CPU 121在步骤S151中确定图像是对焦的(in focus),那么CPU 121在步骤S155中呈现对焦显示,并且转移到步骤S157。
在步骤S157中,CPU 121确定用户是否已接通拍摄开始开关。如果用户还没有接通拍摄开始开关,那么CPU 121在步骤S157中保持拍摄待机状态。如果CPU 121在步骤S157中确定用户已接通拍摄开始开关,那么处理转移到步骤S161,以执行拍摄子过程。
图22是拍摄子过程的流程图。当用户操作拍摄开始开关时,在步骤S161之后,CPU 121在步骤S163中驱动光量调整光阑,从而控制 用于限定曝光时间的机械快门的孔径。在步骤S165中,CPU 121读出通过使用大量的像素来感测静止图像的图像,即,读出来自所有像素的信号。在步骤S167中,CPU 121在读出的图像信号中内插省略的像素。即,来自焦点检测像素的输出不包含用于图像感测的RGB颜色信息,并且,当获得图像时焦点检测像素作为有缺陷的像素出现。由此,使用来自外围图像感测像素的信息,通过内插来生成图像信号。
CPU 121在步骤S169中对于图像执行诸如γ校正和边缘强调的图像处理,并且在步骤S171中将感测的图像记录在闪存133中。在步骤S173中,CPU 121在显示器131上显示感测的图像。在步骤S175中,处理返回图20的主过程。
在返回图20的主过程之后,CPU 121在步骤S181中结束一系列的拍摄操作。
上述的第一实施例具有以下效果。
(1-1)在2维格子的格子点附近以几乎相等的间隔和相等的密度布置横向散焦检测像素和纵向散焦检测像素。该布置使得对于在横向上具有亮度分布的对象和在纵向上具有亮度分布的对象都能够实现精确的焦点检测。
(1-2)由于焦点检测像素的布置密度较低,因此,可以防止输出图像的劣化,从而获得高质量的图像。
(1-3)由于焦点检测像素被规则地排列,因此,焦点检测计算和输出图像生成计算中的各种算术式和算术计数运算变得简单。
(1-4)单位区域被分成多个单独的区域,并且,各单独区域中的多个像素信号被合成以生成焦点检测计算信号。可减少计算像素的数量,以在不损害焦点检测能力的情况下缩短焦点检测计算所花费的时间。
(1-5)在图像感测单元的图像感测区域中布置多个单位区域。这可简化像素阵列规则,并且还可简化焦点检测计算和输出图像生成计算的算法。
(第二实施例)
在第一实施例中,成对的横向散焦检测像素或成对的纵向散焦检测像素被分配到彼此对角地相邻的R和B像素的位置。在第二实施例中,焦点检测像素被分配到单个颜色的像素的位置,即,仅被分配到R或B像素的位置。将参照图23~26解释第二实施例的布置。
图23是示出根据第二实施例的焦点检测像素阵列的图,并且与第一实施例中的图8对应。在图8所示的第一实施例中,焦点检测像素SHA、SHB、SVC和SVD被分配到具有Bayer阵列的图像感测像素之中的彼此对角地相邻的R和B像素的位置。在图23所示的第二实施例中,焦点检测像素仅被分配到Bayer阵列中的B像素。更具体而言,在左上块BLK(1,1)和右下块BLK(2,2)中的每一个中,在底部的行的左边附近的两个B像素被用于在水平方向上分割光瞳的一对焦点检测像素SHA和SHB代替。
在剩余的块BLK(1,2)和BLK(2,1)中的每一个中,从左边起第二列上底部附近的两个B像素被用于在垂直方向上分割光瞳的一对焦点检测像素SVC和SVD替代。
当该布置规则被推广时,与第一实施例类似,当i+j为偶数时,在块BLK(i,i)中布置用于水平光瞳分割的焦点检测像素,并且,当i+j为奇数时,在其中布置用于垂直光瞳分割的焦点检测像素。2×2=4个块即20行×20列=400个像素的区域被定义为群集。
图24是用于解释用作单位的群集的布置规则的图,并且与第一实施例中的图9对应。在图24中,具有20行×20列=400个像素的左上群集被定义为CST(u,w)=CST(1,1)。在群集CST(1,1)中,各块左下角附近的B像素被焦点检测像素SHA和SHB或SVC和SVD替代。
在群集CST(1,1)右侧的群集CST(1,2)中,各块中的焦点检测像素被布置在相对于群集CST(1,1)中的相应焦点检测像素向上偏移2个像素的位置处。在第一群集CST(1,1)下面的群集CST(2,1)中,各块中的焦点检测像素被布置在相对于群集CST(1,1)中的相应焦点检测像素向右偏移2个像素的位置处。重复应用该规则以获得图24所示的布置。图24所示的范围用作比群集高一级的场。注意,在图9所示的第一实施例中,一个场包含5×5=25个群集,但是,在第二实施例中包含4×4=16个群集。其原因在于,如果一个场在第二实施例的像素阵列中由水平方向上的五个群集构成,那么第五群集中的焦点检测像素进入相邻的块。
图25是用于解释用作单位的场的布置规则的图,并且与第一实施例中的图10对应。在图25中,80行×80列=6,400个像素的左上场被定义为FLD(q,r)=FLD(1,1)。同样,在第二实施例中,所有的场FLD(q,r)具有与第一场FLD(1,1)相同的阵列。当在水平方向和垂直方向上排列37×25个场FLD(1,1)时,925个场形成3,000列×2,000行=6,000,000个像素的图像感测区域。右端的40列的不完整区域不能形成一个场,并且,不在该区域中布置焦点检测像素。但是,焦点检测像素可几乎均匀地分布于整个图像感测区域中。
图26是用于基于在图像感测区域中定义的2维格子来解释2×2=4个场中的焦点检测像素的布置的图,并且与第一实施例中的图11对应。在图26中,○和●的定义与图11中的相同。更具体而言,○代表其中布置了用于在横向(左右方向或水平方向)上分割成像光学系统的出射光瞳的第一焦点检测像素组的点。●代表其中布置了用于在纵向(上下方向或垂直方向)上分割光瞳的第二焦点检测像素组的点。
LTH1~LTH8形成格子线的第一格子线组,所述格子线分别通过在横向上链接○而形成。第一格子线组延伸的方向从水平线逆时针倾斜θLH。根据参照图21描述的布置规则来生成该倾角,并且,与第一实施例类似,tanθLH=0.1,即,θLH=5.7°。
与第一实施例类似,作为第一格子线组的相邻格子线之间的布置间隔的格子间距PLH为10(个像素)。
LTV1~LTV8形成分别通过在垂直方向上链接●而形成的格子线的第二格子线组。第二格子线组延伸的方向也从垂直线倾斜tanθLV=0.1,即,θLV=5.7°。作为第二格子线组的相邻格子线之间的布置间隔 的格子间距PLV也为10(个像素)。
如上所述,同样,在第二实施例中,与第一实施例类似,第一格子线组由在几乎与第一光瞳分割方向一致的方向上延伸并且以预定的间距均等地被布置的平行线形成。第二格子线组由在几乎与第二光瞳分割方向一致的方向上延伸并且以预定的间距均等地被布置的平行线形成。两个格子线组相互垂直地相交,从而形成2维格子。在格子点附近周期性地布置焦点检测像素。在第一和第二格子线组中的至少一个中的彼此相邻地平行布置的两个任意的格子线上,在一个格子线上布置第一焦点检测像素,并且,在另一格子线上布置第二焦点检测像素。这可以在保持两个方向上的光瞳分割方向功能的同时降低焦点检测像素的布置密度。
在图26中,在场之间的边界处,各格子线被断开,即,相互稍有偏移。但是,焦点检测图像采样特性与第一实施例中参照图12~15A、图15B和图15C描述的相同,并且,将不重复对于其的详细描述。作为焦点检测区域设定方法,可以采用与第一实施例中的图16和图17中的方法相同的方法。作为焦点检测过程,可以使用图18~22中的那些。作为结果,可以获得与第一实施例几乎相同的焦点检测特性。
第二实施例可类似地获得第一实施例中的效果(1-1)~(1-4),并且,还得到例如以下的效果。
(2-1)焦点检测像素被分配到单个颜色的像素,从而简化了在生成输出图像时的有缺陷的像素内插算法。可以减少特定颜色的图像的劣化和伪色。
(第三实施例)
在第一和第二实施例中,两个焦点检测像素是成对的,一个像素接收穿过两个分割光瞳区域的一个光瞳的光束,并且,另一像素接收穿过另一光瞳的光束。相反,第三实施例将描述其中一个像素接收来自两个分割光瞳区域的光束以输出信号的图像传感器。
将参照图27和图28描述第三实施例。
图27是示出根据第三实施例的焦点检测像素阵列的图,并且与第 一实施例中的图8对应。在图8所示的第一实施例中,焦点检测像素SHA、SHB、SVC和SVD被分配到具有Bayer阵列的图像感测像素之中彼此对角地相邻的R和B像素的位置。在图27所示的第三实施例中,焦点检测像素仅被分配到10×10=100个像素的各块中的一个R像素。更具体而言,在左上块BLK(1,1)和右下块BLK(2,2)中的每一个中,最左边的列上底部附近的一个R像素被用于在水平方向上分割光瞳的一个焦点检测像素SHAB替代。可通过在由本申请人提交的日本专利公开No.2003-156677中公开的技术来形成焦点检测像素SHAB。更具体而言,像在日本专利公开No.2003-156677中公开的图像传感器那样,在片上微透镜后面的光电转换部分被分割以分割成像光学系统的光瞳。穿过每个分割光瞳区域的光束被独立地接收,并且作为图像信号被输出。由此,一个像素可输出用于相位差检测的一对信号。
在剩余的块BLK(1,2)和BLK(2,1)中的每一个中,最左边的列上底部附近的一个R像素被用于在垂直方向上分割光瞳的一个焦点检测像素SVCD替代。
当该布置规则被推广时,与第一实施例类似,当i+j为偶数时,在块BLK(i,j)中布置用于水平光瞳分割的焦点检测像素,并且,当i+j为奇数时,在其中布置用于垂直光瞳分割的焦点检测像素。2×2=4个块(即20行×20列=400个像素)的区域被定义为群集。
图28是用于解释布置一组分别用作单位的群集的规则的图,并且与第一实施例中的图9对应。图28所示的整个区域代表比群集高一级的一个场。场的布置规则与第一实施例中的相同。代表焦点检测像素的布置的格子与第一实施例中图11所示的2维格子一样。
整个图像感测区域中的场布置、焦点检测特性和焦点检测过程与第一实施例中图10~22所示的相同,由此将不重复对于它们的描述。
第三实施例可类似地获得第一实施例中的效果(1-1)~(1-4),并且还得到例如以下的效果。
(3-1)可以减少被作为焦点检测像素而分配的像素的数量,从而 进一步减少输出图像的劣化和伪色。另外,甚至可简化生成输出图像时的有缺陷的像素内插算法。
(第四实施例)
在第一到第三实施例中,代表焦点检测像素的阵列的2维格子是正交格子。各格子线从用作图像感测像素阵列线的水平或垂直线在一个方向上仅旋转预定的角度。在第四实施例中,2维格子的至少一部分是非正交格子,并且格子线旋转方向是关于水平线或垂直线的两个方向(正方向和负方向)。将参照图29~31解释第四实施例的布置。
图29是示出根据第四实施例的焦点检测像素阵列的图,并且与第一实施例中的图9对应。在第四实施例中,用作像素阵列的最小单位的块和比块高一级的群集通过与第一实施例中的图8中的规则相同的规则来确定。对于比群集高一级的场,在第一实施例中在整个图像感测区域中布置均由100×100=10,000个像素形成的一类场。在第四实施例中,场尺寸与第一实施例中相同,但是,布置符合不同布置规则的四类场。
图29示出第四实施例中的四类场中的两类场。在图29中,左侧的5×5=25个群集形成具有与第一实施例中相同的像素阵列的第一场。更具体而言,在场中的群集CST(u,w)中,随着u增加,焦点检测像素向右偏移,并且随着w增加,焦点检测像素向上偏移。该规则被应用于群集CST(1,1)~CST(5,5)。
在第一场的右侧布置第二场。在由群集CST(1,6)~CST(5,10)形成的第二场中,与上述的规则类似,随着u增加,焦点检测像素向右偏移,但是,随着w增加,焦点检测像素向下偏移。
在第一场下面布置第三场(未示出)。在由群集CST(6,1)~CST(10,6)形成的第三场中,随着u增加,焦点检测像素向左偏移,并且,随着w增加,焦点检测像素向上偏移。在第三场的右侧布置第四场。在由群集CST(6,6)~CST(10,10)形成的第四场中,随着u增加,焦点检测像素向左偏移,并且随着w增加,焦点检测像素向下偏移。
图30示出根据上述规则形成的一组场。在第四实施例中,2×2=4个场用作像素布置规则中的级别最高的单位,并且图30示出四个级别最高的单位。
图31示出2×2=4个场的格子。在第一左上场FLD(q,r)中,在横向上延伸的格子线的水平偏角为+5.7°,并且在纵向上延伸的格子线的垂直偏角也为+5.7°。两格子线的夹角为直角,从而,这样的格子线形成正交格子。
在第二右上场FLD(q,r+1)中,在横向上延伸的格子线的水平偏角为-5.7°,并且,在纵向上延伸的格子线的垂直偏角为+5.7°。当表现为锐角时,两格子线的夹角约为80°,从而,这样的格子线形成非正交格子。
在第三左下场FLD(q+1,r)中,在横向上延伸的格子线的水平偏角为+5.7°,并且,在纵向上延伸的格子线的垂直偏角为-5.7°。当表现为锐角时,两格子线的夹角为约80°,从而,这样的格子线形成非正交格子。
在第四右下场FLD(q+1,r+1)中,在横向上延伸的格子线的水平偏角为-5.7°,并且,在纵向上延伸的格子线的垂直偏角也为-5.7°。两格子线的夹角为直角,从而,这样的格子线形成正交格子。
如上所述,根据第四实施例,格子线的水平偏角和垂直偏角取正符号和负符号,并且,在整个图像感测区域中,格子线的偏角被平均化为基本上为0。在第一到第三实施例中,在从水平线倾斜+δ(δ≈约为5°的小角度)的横向线和倾斜-δ的横向线之间,焦点检测像素的采样特性和生成输出图像时的有缺陷的像素分布是不同的。在第四实施例中,一个场中的特性与第一到第三实施例中的相同。但是,正、负偏角在几个场的宽范围中相互抵消,从而减少差异的影响。
焦点检测中的区段布置、焦点检测区域设定方法、焦点检测特性和焦点检测过程与第一实施例中图12~22所示的相同,从而,将不重复对于它们的描述。
第四实施例可类似地获得第一实施例中的效果(1-1)~(1-4), 并且还得到例如以下的效果。
(4-1)耦合焦点检测像素的格子线的正负、水平和垂直偏角共存,从而减少焦点检测中的对象照明分布的角度依赖性。可对于各种对象执行高精度焦点检测。
(4-2)焦点检测像素在输出图像中作为有缺陷的像素出现。但是,耦合有缺陷像素的格子线的正负、水平和垂直偏角共存,因此,即使对于包含许多直线的几何图案来说,也可减少图像质量的劣化和不自然图像的生成。
(第五实施例)
在第一到第四实施例中,块中焦点检测像素的位置在群集之间依次偏移。但是,第五实施例不采用该偏移规则,并且,在完全正方形的格子中排列焦点检测像素。将参照图32~34解释第五实施例的布置。
图32是示出根据第五实施例的焦点检测像素阵列的图,并且与第一实施例中的图9对应。在第五实施例中,用作像素阵列的最小单位的块由与第一实施例中的图8中相同的规则来确定。在第一到第四实施例中,在比群集高一级的像素阵列中,焦点检测像素的位置在群集之间依次偏移。相反,在第五实施例中,所有的群集具有相同的焦点检测像素阵列。更具体而言,20×20=400个像素形成一个群集,并且,图32所示的所有5×5=25个群集采用相同的像素阵列。
图33示出整个图像感测区域中的像素阵列。在图33中,为了便于描述,100×100=10,000个像素的区域被定义为场。但是,场尺寸是任意的。
图34示出2×2=4个场的格子。在图34中,在横向上延伸的格子线的水平偏角为0°,并且在纵向上延伸的格子线的垂直偏角也为0°。两格子线的夹角为直角,从而,这样的格子线形成正交格子。
在水平或垂直方向上延伸的细线的焦点检测能力不与第一到第四实施例中的相同。如参照第一实施例中的图13~15描述的那样,通过在群集之间偏移焦点检测像素来提高焦点检测图像在光瞳分割方向上 的采样特性。但是,在第五实施例中,焦点检测像素不在群集之间偏移,并且,在水平或垂直方向上延伸的细线图像的捕获特性稍微减小。但是,可通过减小图像感测像素之间的间距并增加图像传感器的像素数量来补偿该缺点。
焦点检测中的区段布置、焦点检测区域设定方法和焦点检测过程与第一实施例中图16~22所示的相同,从而,将不重复对它们的描述。
第五实施例可类似地获得第一实施例中的效果(1-1)~(1-2),并且还得到例如以下的效果。
(5-1)由于焦点检测像素布置规则大大地被简化,因此,焦点检测计算和输出图像生成计算中的各种算式和算术计数运算进一步被简化。
(第六实施例)
在第一到第五实施例中,以均等的密度布置横向散焦检测像素和纵向散焦检测像素。在第六实施例中,以不同的密度布置横向散焦检测像素和纵向散焦检测像素。将参照图35~38解释第六实施例的布置。
图35是示出根据第六实施例的焦点检测像素阵列的图,并且,与第一实施例中的图8对应。在图8所示的第一实施例中,在左上块BLK(1,1)和右下块BLK(2,2)中布置用于在水平方向上分割光瞳的焦点检测像素SHA和SHB。在剩余的块BLK(1,2)和块BLK(2,1)中布置用于在垂直方向上分割光瞳的焦点检测像素SVC和SVD。相反,在图35中,在三个块BLK(1,1)、BLK(2,1)和BLK(2,2)中布置用于在水平方向上分割光瞳的焦点检测像素SHA和SHB。在剩余的一个块BLK(1,2)中布置用于在垂直方向上分割光瞳的焦点检测像素SVC和SVD。在第六实施例中,在由2×2=4个块形成的一个群集中,横向散焦检测像素和纵向散焦检测像素的布置比不是1∶1,而是3∶1。
图36是用于解释使用群集作为单位的布置规则的图,并且与第一实施例中的图9对应。根据第六实施例的群集中的像素的布置规则与 第一实施例中的不同,但是,比群集高一级的单位的布置规则与第一实施例中的相同。由此,图36中的场的布置规则与第一实施例中的图9中的相同。
图37是用于解释使用场作为单位的布置规则的图,并且,与第一实施例中的图10对应。第六实施例中的场的布置规则与第一实施例相同,因此,图37中的布置与图10相同。
图38示出2×2=4个场的格子,并且与第一实施例中的图11对应。在第六实施例中,用于横向散焦检测的格子点○的数量与用于纵向散焦检测的格子点●的数量之比为3∶1。与第一实施例类似,在横向上延伸的格子线的水平偏角和在纵向上延伸的格子线的垂直偏角均为+5.7°。两格子线的夹角是直角,从而,这样的格子线形成正交格子。
如上所述,根据第六实施例,2维格子的形状与第一实施例中的相同,但是,布置在格子点处的焦点检测像素的布置次序和布置比是不同的。作为结果,在水平方向上具有亮度分布的对象的焦点检测能力提高,并且,在垂直方向上具有亮度分布的对象的焦点检测能力降低。出于这种原因,第六实施例适于要被感测的对象的亮度分布是各向异性的情况,例如,适于检查主要具有水平线的印刷布线板的检查照相机。但是,第六实施例的应用不限于此。
焦点检测中的区段布置、焦点检测区域设定方法和焦点检测过程与第一实施例中图16~22所示的相同,由此,将不重复对它们的描述。
第六实施例可类似地获得第一实施例中的效果(1-1)~(1-4),并且还得到例如以下的效果。
(6-1)可使焦点检测能力具有各向异性。当要被感测的对象的亮度分布是各向异性的时,可以进一步提高焦点检测精度。
(第七实施例)
在第一到第六实施例中,横向散焦检测像素或纵向散焦检测像素总是被布置在单元块中。在第七实施例中,布置焦点检测像素的块和不布置焦点检测像素的块共存。将参照图39~42解释第七实施例的布置。
图39是示出根据第七实施例的焦点检测像素阵列的图,并且,与第一实施例中的图8对应。在图8所示的第一实施例中,在左上块BLK(1,1)和右下块BLK(2,2)中布置用于在水平方向上分割光瞳的焦点检测像素SHA和SHB。在剩余的块BLK(1,2)和块BLK(2,1)中布置用于在垂直方向上分割光瞳的焦点检测像素SVC和SVD。相反,在图39中,在左上块BLK(1,1)中布置用于在水平方向上分割光瞳的焦点检测像素SHA和SHB。在右下块BLK(2,2)中布置用于在垂直方向上分割光瞳的焦点检测像素SVC和SVD。在剩余的两个块BLK(1,2)和BLK(2,1)中不布置焦点检测像素。在第七实施例中,在由2×2=4个块形成的一个群集中,布置横向散焦检测像素的块、布置纵向散焦检测像素的块以及不布置焦点检测像素的块的比值为1∶1∶2。
图40是用于解释使用群集作为单位的布置规则的图,并且与第一实施例中的图9对应。根据第七实施例的群集中的像素的布置规则与第一实施例不同,但是,比群集高一级的单位的布置规则与第一实施例相同。由此,图40中的场的布置规则与第一实施例中的图9相同。
图41是用于解释使用场作为单位的布置规则的图,并且,与第一实施例中的图10对应。同样,在第七实施例中,100×100=10,000个像素形成一个场,并且,在垂直方向和水平方向上重复布置这样的场,从而形成图像感测区域。
图42示出2×2=4个场的格子,并且与第一实施例中的图11对应。在第七实施例中,在2维格子的各单个格子线的格子点处布置○和●。更具体而言,在一个场中,在2维格子中穿过用于横向散焦检测的格子点○的格子线上仅布置○,而不布置●。类似地,在2维格子中穿过用于纵向散焦检测的格子点●的格子线上仅布置●,而不布置○。
与第一实施例类似,在横向上延伸的格子线的水平偏角和在纵向上延伸的格子线的垂直偏角均为+5.7°。两格子线的夹角是直角,由此,这样的格子线形成正交格子。
在图42所示的第七实施例中,各格子线在场之间的边界处是不连 续的。更具体而言,当一个场中的○的格子线延伸到相邻的场时,它与●的格子线连接。类似地,当●的格子线延伸到相邻的场时,它与○的格子线连接。图43示出解决这种不连续性的变型。在图43的变型中,四个场在格子线的间距和偏角方面是相等的,但是,在○和●的布置规则方面不同。更具体而言,横向散焦检测像素和纵向散焦检测像素的布置规则在四个场之间改变。四个场被定义为一个新的单位,以形成图像感测区域,由此解决场之间的不连续性。
第七实施例中的2维格子的形状与第一实施例中的相同,但是,布置在格子点处的焦点检测像素的布置密度减半。出于这种原因,用作用于焦点检测计算的单位区域的一个区段的尺寸优选地既在横向上又在纵向上被设为第一实施例中的图12所示的区段尺寸的两倍。更具体而言,用于合成横向散焦检测像素的信号的区域被设为200行×20列=4,000个像素。焦点检测中的区段布置、焦点检测区域设定方法和焦点检测过程与第一实施例中的图16~22所示的相同,由此,将不重复对于它们的描述。
第七实施例可类似地获得第一实施例中的效果(1-1)~(1-4),并且还得到例如以下的效果。
(7-1)可以降低焦点检测像素的布置密度。即使在具有许多像素的图像传感器中,也可防止焦点检测计算的负担过大和聚焦时间变长。
第一到第七实施例例示了数字静止照相机。但是,基于本发明的技术的焦点检测装置不仅适用于数字静止照相机,而且适用于记录运动图像的便携式摄像机(视频摄影机)、各种检查照相机、监视照相机、内窥镜照相机和机器人照相机等。
在用于各实施例的图像传感器中,在2维表面上以正方形布置各自具有1∶1的纵横比的正方形像素。但是,本发明也适用于不具有正方形布置而是例如蜂窝布置的图像传感器。并且,图像传感器的滤色器不限于RGB滤色器。
虽然已参照示例性实施例说明了本发明,但应理解,本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以 包含所有这样的变型以及等同的结构和功能。
本申请要求在2008年3月11日提交的日本专利申请No.2008-061844的权益,在此引入其全部内容作为参考。
Claims (6)
1.一种图像传感器,包括:
第一焦点检测像素,所述第一焦点检测像素在第一方向上分割图像形成光学系统的出射光瞳,并且接收光束;和
第二焦点检测像素,所述第二焦点检测像素在与第一方向不同的第二方向上分割图像形成光学系统的出射光瞳,并且接收光束,
其中,在一个焦点检测区域中,所述第一焦点检测像素和所述第二焦点检测像素被沿第一方向和第二方向二维地布置,并且,所述第一焦点检测像素和所述第二焦点检测像素被交替地布置,以及
其中,在一个焦点检测区域中,所述第一焦点检测像素的间距和所述第二焦点检测像素的间距在第一方向上相同,并且所述第一焦点检测像素在第一方向上的坐标对于在第二方向上排列的每个像素行是不同的,所述第二焦点检测像素在第一方向上的坐标对于在第二方向上排列的每个像素行是不同的。
2.根据权利要求1的传感器,其中,由所述第一焦点检测像素形成第一格子线组,由所述第二焦点检测像素形成第二格子线组,并且,所述第一焦点检测像素和所述第二焦点检测像素被布置在第一格子线组和第二格子线组的交点附近。
3.根据权利要求2的传感器,其中,第一格子线组和第二格子线组以90°角彼此相交。
4.根据权利要求2的传感器,其中,第一格子线组延伸的方向相对于第一方向倾斜不大于12°,第二格子线组延伸的方向相对于第二方向倾斜不大于12°。
5.根据权利要求1的传感器,其中,所述第一焦点检测像素以与所述第二焦点检测像素的次序不同的次序被布置在彼此相邻地平行布置的两个任意的格子线上。
6.一种焦点检测装置,具有在权利要求1中限定的图像传感器,该装置包括焦点检测单元,所述焦点检测单元合成来自多个焦点检测像素的信号以生成焦点检测计算信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-061844 | 2008-03-11 | ||
JP2008061844A JP5552214B2 (ja) | 2008-03-11 | 2008-03-11 | 焦点検出装置 |
PCT/JP2009/054972 WO2009113697A1 (en) | 2008-03-11 | 2009-03-09 | Image sensor and focus detection apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101971072A CN101971072A (zh) | 2011-02-09 |
CN101971072B true CN101971072B (zh) | 2013-06-05 |
Family
ID=41065353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801081516A Active CN101971072B (zh) | 2008-03-11 | 2009-03-09 | 图像传感器和焦点检测装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8675116B2 (zh) |
EP (1) | EP2255239B1 (zh) |
JP (1) | JP5552214B2 (zh) |
CN (1) | CN101971072B (zh) |
WO (1) | WO2009113697A1 (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4762162B2 (ja) * | 2006-01-23 | 2011-08-31 | 昭和電工株式会社 | 感光性組成物除去液 |
JP5451111B2 (ja) * | 2008-03-11 | 2014-03-26 | キヤノン株式会社 | 焦点検出装置およびそれを有する撮像装置 |
JP5552214B2 (ja) * | 2008-03-11 | 2014-07-16 | キヤノン株式会社 | 焦点検出装置 |
EP2362257B1 (en) * | 2009-11-20 | 2016-08-17 | FUJIFILM Corporation | Solid-state imaging device |
JP5764884B2 (ja) * | 2010-08-16 | 2015-08-19 | ソニー株式会社 | 撮像素子および撮像装置 |
CN103109536B (zh) * | 2010-09-13 | 2015-09-02 | 富士胶片株式会社 | 单眼立体摄像装置、单眼立体摄像装置用阴影校正方法 |
WO2012073728A1 (ja) * | 2010-11-30 | 2012-06-07 | 富士フイルム株式会社 | 撮像装置及びその合焦位置検出方法 |
CN103238098B (zh) * | 2010-11-30 | 2015-04-15 | 富士胶片株式会社 | 成像设备和对焦位置检测方法 |
JP5640143B2 (ja) * | 2011-03-31 | 2014-12-10 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
CN103460103B (zh) * | 2011-03-31 | 2015-06-17 | 富士胶片株式会社 | 成像装置及其驱动方法 |
WO2012137650A1 (ja) * | 2011-04-01 | 2012-10-11 | 富士フイルム株式会社 | 撮影装置及びプログラム |
JP5751946B2 (ja) * | 2011-06-15 | 2015-07-22 | キヤノン株式会社 | 焦点調節装置およびその制御方法 |
KR101773168B1 (ko) * | 2011-07-21 | 2017-09-12 | 삼성전자주식회사 | 위상차이 촬상 소자에 의한 초점 조절 장치 및 방법 |
ES2621942T3 (es) * | 2011-11-16 | 2017-07-05 | Agt International Gmbh | Procedimiento y sistema para selección de sensor espacio-temporal |
KR20130104756A (ko) * | 2012-03-15 | 2013-09-25 | 삼성전자주식회사 | 영상 촬영 장치 및 이에 포함된 이미지 센서 |
JP6027777B2 (ja) | 2012-04-06 | 2016-11-16 | キヤノン株式会社 | 画素情報管理装置およびそれを用いた撮像装置 |
JP6202927B2 (ja) * | 2012-08-31 | 2017-09-27 | キヤノン株式会社 | 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 |
KR102039464B1 (ko) | 2013-05-21 | 2019-11-01 | 삼성전자주식회사 | 전자 센서와, 그의 제어 방법 |
JP6127869B2 (ja) * | 2013-09-25 | 2017-05-17 | ソニー株式会社 | 固体撮像素子及びその駆動方法、並びに電子機器 |
CN111479066B (zh) * | 2013-09-26 | 2022-11-18 | 株式会社尼康 | 摄像元件以及摄像装置 |
WO2015080163A1 (ja) * | 2013-11-26 | 2015-06-04 | 株式会社ニコン | 電子機器、撮像装置、および、撮像素子 |
KR102125561B1 (ko) * | 2013-12-03 | 2020-06-22 | 삼성전자주식회사 | 촬영 장치 및 이의 제어 방법 |
JP6415054B2 (ja) * | 2014-01-23 | 2018-10-31 | キヤノン株式会社 | 撮像装置及び撮像方法 |
EP3144888A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
WO2017208702A1 (ja) * | 2016-06-01 | 2017-12-07 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
CN106815846B (zh) * | 2016-12-30 | 2019-07-02 | 歌尔科技有限公司 | 图像暗角裁切范围的确定方法、图像暗角补偿方法及装置 |
US10116889B2 (en) | 2017-02-27 | 2018-10-30 | Omnivision Technologies, Inc. | Image sensor with two-dimensional split dual photodiode pairs |
JP6997541B2 (ja) * | 2017-05-31 | 2022-01-17 | 株式会社キーエンス | 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US10904425B2 (en) * | 2017-11-06 | 2021-01-26 | Canon Kabushiki Kaisha | Image processing apparatus, control method therefor, and storage medium for evaluating a focusing state of image data |
JP2019106634A (ja) * | 2017-12-13 | 2019-06-27 | オリンパス株式会社 | 撮像素子及び撮像装置 |
US11647175B2 (en) * | 2019-12-06 | 2023-05-09 | Omnivision Technologies, Inc. | Determining depth information from a single camera |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1894952A (zh) * | 2003-12-17 | 2007-01-10 | 诺基亚有限公司 | 产生红外图像和正常图像的方法和成像设备 |
CN101088038A (zh) * | 2004-12-24 | 2007-12-12 | 佳能株式会社 | 焦点检测设备和焦点检测方法 |
CN101115142A (zh) * | 2006-07-28 | 2008-01-30 | 佳能株式会社 | 焦点检测装置和其控制方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58150920A (ja) * | 1982-03-04 | 1983-09-07 | Nippon Kogaku Kk <Nikon> | 焦点検出装置 |
JP3592147B2 (ja) * | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
US6819360B1 (en) | 1999-04-01 | 2004-11-16 | Olympus Corporation | Image pickup element and apparatus for focusing |
JP4007713B2 (ja) * | 1999-04-06 | 2007-11-14 | オリンパス株式会社 | 撮像装置 |
JP4908668B2 (ja) | 2000-04-19 | 2012-04-04 | キヤノン株式会社 | 焦点検出装置 |
JP4421793B2 (ja) * | 2001-07-13 | 2010-02-24 | 富士フイルム株式会社 | ディジタルカメラ |
JP4532800B2 (ja) | 2001-11-08 | 2010-08-25 | キヤノン株式会社 | 撮像装置及びシステム |
US7745772B2 (en) * | 2005-05-30 | 2010-06-29 | Nikon Corporation | Image forming state detection device |
US7751700B2 (en) * | 2006-03-01 | 2010-07-06 | Nikon Corporation | Focus adjustment device, imaging device and focus adjustment method |
JP5176959B2 (ja) * | 2006-09-14 | 2013-04-03 | 株式会社ニコン | 撮像素子および撮像装置 |
JP5028154B2 (ja) * | 2007-06-20 | 2012-09-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5451111B2 (ja) * | 2008-03-11 | 2014-03-26 | キヤノン株式会社 | 焦点検出装置およびそれを有する撮像装置 |
JP5552214B2 (ja) * | 2008-03-11 | 2014-07-16 | キヤノン株式会社 | 焦点検出装置 |
JP5317562B2 (ja) * | 2008-07-17 | 2013-10-16 | キヤノン株式会社 | 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム |
JP2011197080A (ja) * | 2010-03-17 | 2011-10-06 | Olympus Corp | 撮像装置及びカメラ |
-
2008
- 2008-03-11 JP JP2008061844A patent/JP5552214B2/ja active Active
-
2009
- 2009-03-09 WO PCT/JP2009/054972 patent/WO2009113697A1/en active Application Filing
- 2009-03-09 US US12/921,464 patent/US8675116B2/en active Active
- 2009-03-09 CN CN2009801081516A patent/CN101971072B/zh active Active
- 2009-03-09 EP EP09719788.3A patent/EP2255239B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1894952A (zh) * | 2003-12-17 | 2007-01-10 | 诺基亚有限公司 | 产生红外图像和正常图像的方法和成像设备 |
CN101088038A (zh) * | 2004-12-24 | 2007-12-12 | 佳能株式会社 | 焦点检测设备和焦点检测方法 |
CN101115142A (zh) * | 2006-07-28 | 2008-01-30 | 佳能株式会社 | 焦点检测装置和其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2009217074A (ja) | 2009-09-24 |
WO2009113697A1 (en) | 2009-09-17 |
JP5552214B2 (ja) | 2014-07-16 |
EP2255239B1 (en) | 2014-05-07 |
US8675116B2 (en) | 2014-03-18 |
EP2255239A1 (en) | 2010-12-01 |
US20110037888A1 (en) | 2011-02-17 |
CN101971072A (zh) | 2011-02-09 |
EP2255239A4 (en) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101971072B (zh) | 图像传感器和焦点检测装置 | |
CN102089698B (zh) | 摄像设备 | |
US8730374B2 (en) | Focus detection apparatus | |
CN102655569B (zh) | 成像器件和成像装置 | |
JP5028154B2 (ja) | 撮像装置及びその制御方法 | |
CN102203655B (zh) | 摄像设备 | |
US9204067B2 (en) | Image sensor and image capturing apparatus | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
CN102089697B (zh) | 摄像设备 | |
EP2160018B1 (en) | Image pickup apparatus | |
CN102105830B (zh) | 焦点检测设备 | |
US8576329B2 (en) | Focus detection apparatus and control method therefor | |
CN101802673B (zh) | 摄像设备 | |
US9196644B2 (en) | Imaging device for phase difference detection for focusing and image generation | |
CN102348051B (zh) | 摄像装置 | |
CN102449548B (zh) | 摄像设备 | |
CN104125394B (zh) | 摄像装置及其控制方法 | |
CN104184940B (zh) | 控制设备、摄像系统和控制方法 | |
CN103842877B (zh) | 成像装置和合焦参数值计算方法 | |
CN105306786A (zh) | 用于具有相位检测像素的图像传感器的图像处理方法 | |
JP2015534734A (ja) | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 | |
JP4992481B2 (ja) | 焦点検出装置および撮像装置 | |
JP2016038414A (ja) | 焦点検出装置およびその制御方法、並びに撮像装置 | |
CN107147858A (zh) | 图像处理装置及其控制方法 | |
JP2002191060A (ja) | 3次元撮像装量 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |