CN104641626A - 摄像装置及对焦确认显示方法 - Google Patents

Abstract

本发明的目的在于使用户手动的聚焦操作变得容易。本发明包括：图像生成单元，基于从光瞳分割方式的摄像元件的第一及第二像素组分别输出的第一图像及第二图像来生成裂像(61)；边界变更单元，在与分裂线(63)正交的方向V上变更裂像(61)中的第一图像与第二图像的边界即分裂线(63)的位置；选择单元，在由边界变更单元进行了变更的分裂线(63)分割的裂像(61)内的多个分割区域的各分割区域中选择第一图像和第二图像中的任一个；及显示控制单元，使显示单元显示由边界变更单元变更了所述边界的位置的裂像(61)。

Description

摄像装置及对焦确认显示方法

技术领域

本发明涉及通过手动聚焦而显示在对焦确认中使用的图像(以下，也称为“裂像”)的摄像装置及对焦确认显示方法。

背景技术

作为数码相机，除了使用了相位差检测方式、对比度检测方式的自动聚焦的数码相机之外，还广泛地已知具有使用者能够手动进行聚焦调整的、所谓的手动聚焦模式的数码相机。

作为具有手动聚焦模式的数码相机，广泛地已知采用了如下方法的数码相机：使用了以能够确认拍摄到的被摄体的同时进行聚焦调整的方式设置反光镜来显示基于目视的相位差的分裂微型棱镜屏幕的方法，或进行基于目视的对比度的确认的方法。

另外，在近年正在普及的省略了反光镜的数码相机中，由于没有反光镜，所以没有显示相位差的同时确认被摄体像的方法，不得不依赖对比度检测方式。但是，在该情况下，无法进行LCD等显示装置的分辨率以上的对比度显示，不得不采用将一部分放大等而显示的方法。

因此，在近年，为了容易地进行在手动聚焦模式时操作者将焦点对准被摄体的作业，将裂像(对焦确认图像)显示在即时预览图像内。在此，裂像是将通过光瞳分割方式的摄像而获得的两个被摄体像(两个相位差图像)进行了合成的图像，表示被摄体像的相位差。即，显示使一个被摄体像的上半部分和另一个被摄体像的下半部分上下相邻的裂像。在焦点产生偏差的状态下，上下相邻的两个被摄体像沿着左右产生偏差地显示，在焦点对准的状态下，消除上下相邻的两个被摄体像的左右的偏差。操作者通过以消除裂像内的两个被摄体像的左右的偏差的方式对聚焦环进行操作，从而对准焦点。

在专利文献1中记载的数码相机中，通过使光圈沿着与光轴垂直的方向移动，从而在两个测距位置分别进行被摄体图像的摄影，使用这两个被摄体图像，将裂像显示在即时预览图像内。

在专利文献2中记载的数码相机中，求出相当于被摄体像的像面和摄像元件的受光面之间的距离的值作为偏差量，将根据该偏差量而沿着左右相反的方向错开的裂像显示在即时预览图像内。

专利文献3、4及5中记载的数码相机包括摄像元件，该摄像元件通过将摄影用的普通像素和接受被光瞳分割后的被摄体光的焦点检测用的2种相位差像素在摄像面上排列多个而构成。在该数码相机中，基于来自普通像素的输出信号而生成摄像图像，进行即时预览图像显示，且基于来自2种相位差像素的每一个相位差像素的输出而生成裂像，显示在即时预览图像内。

此外，专利文献5公开了进行裂像的位置的变更、分裂线的方向的变更或裂像的放大这一内容。

专利文献

专利文献1:日本特开2004-40740号公报

专利文献2:日本特开2001-309210号公报

专利文献3:日本特开2009-147665号公报

专利文献4:日本特开2009-163220号公报

专利文献5:日本特开2009-276426号公报

发明内容

发明要解决的课题

但是，在专利文献1中记载的数码相机中，由于需要使光圈移动的机械结构，所以产生收纳该结构的空间的确保及零件数的增加等的问题。此外，在专利文献2中记载的数码相机中，由于不具有将被摄体光进行光瞳分割而拍摄的结构，所以难以准确地实现没有破绽的对焦确认图像(裂像)。

在专利文献3及4中记载的数码相机中，虽然使用2种相位差像素来生成裂像，但仅仅显示通过光瞳分割方式的摄像而获得的两个被摄体像(相位差图像)的每一个被摄体像的上半部分及下半部分，两个被摄体像间的边界线即分裂线的位置是固定的。此外，虽然通过注视在非对焦状态下产生偏差的两个被摄体像的边界线(分裂线)的附近来识别焦点是否对准，但若分裂线存在于与想要使焦点对准的位置不同的位置，则用户无法通过手动聚焦而充分地对准焦点。

此外，在专利文献5的数码相机中，虽然变更裂像的位置，但若在摄影者将视角设定为想要通过手动聚焦进行焦点对准的被摄体的像进入到裂像的显示区域内之后，裂像的位置发生变化，则存在摄影者会感到困惑的课题。此外，根据专利文献5的数码相机，虽然变更分裂线的方向(分割方向的横/纵)，但若因为在摄影者想要通过手动聚焦而进行焦点对准时例如以消除横向的偏差的方式进行手动操作，分裂线的方向急剧地向纵向发生变化，则存在摄影者会感到困惑的课题。此外，根据专利文献5的数码相机，虽然放大裂像，但存在不是放大裂像而想要使分裂线的位置发生变更的情况。

例如，在人的面部为主被摄体，以在显示画面内的一定的位置由一定的尺寸显示的裂像中沿着一定方向显示的分裂线为基准，在面部图像中进行焦点对准时，根据摄影场景而存在在面部图像的位置不存在分裂线的情况。此外，存在想要在面部图像中的特定的位置(例如，眼睛的位置)进行焦点对准的情况，但只能在裂像内的中央进行焦点对准。此外，存在想要在裂像内的多个部位进行焦点对准的情况，但只能在裂像内的中央的一个部位进行焦点对准。

本发明的目的在于，提供即使不进行对焦确认用的图像的位置或尺寸的变更、或不变更对焦确认用的图像的分割区域间的边界线的方向，也能够容易地进行基于用户的手动的聚焦操作的摄像装置及对焦确认显示方法。

用于解决课题的手段

为了实现上述的目的，本发明提供一种摄像装置，具备：图像生成单元，基于从具有通过了摄影透镜中的第一区域及第二区域的被摄体光被光瞳分割而分别入射的第一像素组及第二像素组的摄像元件输出的图像来生成第一显示用图像，并且基于从第一像素组及第二像素组分别输出的第一图像及第二图像来生成用于对焦确认的第二显示用图像；边界变更单元，在与边界正交的方向上变更第二显示用图像中的第一图像与第二图像的边界的位置；选择单元，在由边界变更单元进行了变更的边界分割的第二显示用图像内的多个分割区域的各分割区域中选择第一图像和第二图像中的任一个；显示单元；及显示控制单元，使显示单元显示第一显示用图像并在第一显示用图像的显示区域内显示由边界变更单元变更了边界的位置的第二显示用图像。

由此，由于在与边界正交的方向上变更用于对焦确认的第二显示用图像(裂像)内的边界(分裂线)的位置，所以即使不进行第二显示用图像(裂像)的位置或尺寸的变更、或不变更边界的方向，也能够使用户手动的聚焦操作变得容易。

在一个实施方式中，包括位置输入单元，该位置输入单元输入第二显示用图像内的边界的位置的变更指示，边界变更单元根据由位置输入单元输入的位置的变更指示，变更显示于显示单元的第二显示用图像内的边界的位置。由此，通过输入边界(分裂线)的位置的变更指示，能够变更在哪里进行焦点对准。

在一个实施方式中，显示单元是触摸面板式的显示单元，位置输入单元由触摸面板式的显示单元构成，在显示单元中显示有第二显示用图像的状态下，在利用触摸面板式的显示单元进行了拖曳第二显示用图像的边界的拖曳操作时，边界变更单元对应于拖曳操作来变更第二显示用图像内的边界的位置。

在一个实施方式中，包括数量输入单元，该数量输入单元输入第二显示用图像内的边界的数量，边界变更单元根据由数量输入单元输入的数量的变更指示，变更显示于显示单元的第二显示用图像内的边界的数量。由此，通过输入边界(分裂线)的数量，能够容易得知焦点在第二显示用图像(裂像)的何处对准。

在一个实施方式中，在所输入的边界的数量L为奇数的情况下，边界变更单元使L条边界中的第(L+1)/2条边界位于第二显示用图像的中央或第二显示用图像的中央的附近。由此，由于边界的数量如用户的指定那样发生变更的同时，在边界的数量为奇数的情况下，中央的边界的位置设定于第二显示用图像(裂像)的中央或中央附近，所以容易进行焦点对准操作。

在一个实施方式中，边界变更单元根据时间的经过而使第二显示用图像内的边界的位置移动。由此，由于根据时间的经过，边界(分裂线)以在对焦确认中使用的第二显示用图像(裂像)内进行扫描的方式移动，所以容易得知焦点在第二显示用图像(裂像)的何处对准。

在一个实施方式中，包括聚焦操作单元，该聚焦操作单元进行摄影透镜的聚焦位置的变更操作，在由聚焦操作单元开始了聚焦位置的变更操作时，边界变更单元使第二显示用图像内的边界的移动停止。由此，在焦点对准操作中，能够使焦点对准位置固定，用户容易进行焦点对准操作。

在一个实施方式中，摄像元件还具有被摄体光未被光瞳分割而入射的第三像素组，第一显示用图像基于从第三像素组输出的第三图像而生成。

在一个实施方式中，图像生成单元在第二显示用图像内使第一图像与第二图像相邻地配置。

此外，在一个实施方式中，图像生成单元在第二显示用图像内使第三图像与第一图像及第二图像相邻地配置。由此，由于在相位差图像(第一图像及第二图像)和普通图像(第三图像)的边界中也产生相位差，所以存在容易进行焦点对准的情况。

此外，在一个实施方式中，图像生成单元通过在第二显示用图像内的第一方向上交替地配置第一图像和第二图像并且在第二显示用图像内的与第一方向正交的第二方向上交替地配置第一图像和第二图像，生成在第二显示用图像内将第一图像及第二图像配置成格子状的第二显示用图像。由此，通过将相位差图像(第一图像及第二图像)配置成格子状，焦点对准时和焦点产生偏差时的图像的差异变得鲜明，容易进行焦点对准。

在一个实施方式中，包括图像解析单元，该图像解析单元进行从摄像元件输出的图像的解析，边界变更单元基于图像解析单元的解析结果来变更第二显示用图像内的边界的位置。由此，由于基于从摄像元件获得的图像的解析结果来变更边界的位置，所以用户即使不指定边界的位置，也能够观察边界变更为优选的位置的第二显示用图像(裂像)，进行焦点对准操作。

在一个实施方式中，图像解析单元检测第一图像的像素和与第一图像的像素对应的第二图像的像素的相位差，边界变更单元基于检测出的相位差来变更第二显示用图像内的边界的位置。由此，由于基于成对像素的相位差将边界的位置变更为焦点产生偏差的地点，所以用户容易进行焦点对准操作。

在一个实施方式中，图像解析单元检测图像内的对比度，边界变更单元基于检测出的对比度的检测量来变更第二显示用图像内的边界的位置。由此，由于基于对比度将边界的位置变更为对比度大且容易进行焦点对准的地点，所以用户容易进行焦点对准操作。

在一个实施方式中，图像解析单元检测图像的边界的方向上的边缘，边界变更单元基于检测出的边缘的检测量来变更第二显示用图像内的边界的位置。由此，由于基于边界的方向上的边缘的检测量将边界的位置变更为容易进行焦点对准的地点，所以用户容易进行焦点对准操作。

在一个实施方式中，图像解析单元检测图像内的特定对象，边界变更单元将第二显示用图像内的边界设定于检测出的特定对象的位置。由此，由于边界的位置设定在被认为是主要被摄体的特定对象的部分，所以能够容易地进行焦点对准操作。

在一个实施方式中，显示控制单元使表示边界的位置的指标显示于边界的附近。由此，即使边界的位置或数量发生变更，也能够一边观看表示边界的位置的指标一边容易地进行焦点对准。

此外，摄像元件的像素的滤光片排列并不特别限定。例如，摄像元件在由拜耳排列构成的像素排列的一部分配置有多个第一像素和多个第二像素。此外，例如，摄像元件在将非拜耳排列的基本排列图案在第一方向及第二方向上重复排列而成的像素排列的一部分配置有多个第一像素及多个第二像素。此外，例如，摄像元件在由将同色像素错开配置而成的2面的排列构成的像素排列的一部分配置有多个第一像素及多个第二像素，并且，成对像素的第一像素和第二像素相邻地配置。

此外，本发明提供一种对焦确认显示方法，使用摄像元件和显示单元，使显示单元显示第一显示用图像并在第一显示用图像的显示区域内显示第二显示用图像，所述摄像元件具有通过了摄影透镜中的第一区域及第二区域的被摄体光被光瞳分割而分别入射的第一像素组及第二像素组，第一显示用图像基于从摄像元件输出的图像而生成，第二显示用图像基于从第一像素组及第二像素组分别输出的第一图像及第二图像而生成并用于对焦确认，在对焦确认显示方法中，在与边界正交的方向上变更第二显示用图像中的第一图像与第二图像的边界的位置，在由进行了变更的边界分割的第二显示用图像内的多个分割区域的各分割区域中选择第一图像和第二图像中的任一个，使变更了边界的位置的第二显示用图像显示于第一显示用图像的显示区域内。

发明效果

根据本发明，即使不进行对焦确认用的图像的位置或尺寸的变更、或不变更对焦确认用的图像的分割区域间的边界线的方向，也能够使用户手动的聚焦操作变得容易。

附图说明

图1是数码相机的正面立体图。

图2是数码相机的背面立体图。

图3是数码相机的电气结构图。

图4是摄像元件的摄像面的主视图。

图5是摄像元件的剖视图。

图6是有关第一～第五实施方式的数码相机的图像处理的框图。

图7是在选择部的像素的选择的说明中使用的说明图。

图8是聚焦透镜设置于对焦位置时的对焦确认图像的概略图。

图9是聚焦透镜未设置于对焦位置时的对焦确认图像的概略图。

图10是表示数码相机的摄影处理的流程的流程图。

图11是表示第一实施方式中的对焦确认图像显示处理例的流程的流程图。

图12是在第一实施方式中的对焦确认图像例的边界线的位置的变更的说明中使用的说明图。

图13是在第一实施方式中的像素的选择的说明中使用的第一说明图。

图14是在第一实施方式中的像素的选择的说明中使用的第二说明图。

图15是在第一实施方式中的像素的选择的说明中使用的第三说明图。

图16是表示第二实施方式中的对焦确认图像显示处理例的流程的流程图。

图17是在第二实施方式中的对焦确认图像例的边界线的数量的变更的说明中使用的说明图。

图18是表示第三实施方式中的对焦确认图像显示处理例的流程的流程图。

图19是表示第四实施方式中的对焦确认图像显示处理例的流程的流程图。

图20是在第四实施方式中的对焦确认图像例的边界线的位置的变更的说明中使用的说明图。

图21是表示第五实施方式中的对焦确认图像显示处理例的流程的流程图。

图22是有关第六实施方式的数码相机的图像处理的框图。

图23是表示第六实施方式中的对焦确认图像显示处理例的流程的流程图。

图24是表示第六实施方式中的非对焦状态的对焦确认图像的图。

图25是表示第六实施方式中的对焦状态的对焦确认图像的图。

图26是表示第七实施方式中的对焦状态的对焦确认图像的图。

图27是在第七实施方式中的对焦确认图像生成的说明中使用的说明图。

图28是表示第八实施方式中的对焦状态的对焦确认图像的图。

图29是在第八实施方式中的对焦确认图像生成的说明中使用的说明图。

图30是拜耳排列的摄像元件的摄像面的主视图。

图31是将同色像素错开而成的2面排列的摄像元件的摄像面的主视图。

图32是智能手机的立体图。

图33是智能手机的结构图。

具体实施方式

以下，根据附图，详细说明本发明的实施方式。

[数码相机的结构例]

如图1所示，在作为本发明的摄像装置的一例的数码相机2的相机主体2a的前表面，设置有包括摄像光学系统等而构成的透镜镜筒3、闪光灯发光部5等。在相机主体2a的上表面，设置有快门按钮6、电源开关7等。在透镜镜筒3的外周面，旋转自如地安装有在手动聚焦(以下，简称为“MF”)操作中使用的聚焦环(透镜移动机构)3a。

如图2所示，在相机主体2a的背面设置有显示部8、操作部9。显示部8在摄影待机状态时作为电子取景器发挥作用，显示即时预览图像(也称为实时取景画面)。此外，在图像再现时，基于在存储卡10中记录的图像数据，在显示部8再现显示图像。

操作部9由各种开关构成。本例的操作部9由模式切换开关、十字键、执行键等构成。模式切换开关在切换数码相机2的动作模式时被操作。数码相机2具有拍摄被摄体而获得摄像图像的摄影模式、再现显示摄像图像的再现模式等。此外，在摄影模式中，有进行自动聚焦(以下，简称为“AF”)的AF模式及进行MF操作的MF模式。

十字键及执行键在各种操作中使用。本例的十字键及执行键在MF模式中，在后述的对焦确认图像的显示时，用作接受分裂线(以下，有时也称为“边界线”或简称为“边界”)的位置、数量、形状等的变更指示的输入的设备(位置输入部单元、数量输入单元)。此外，十字键及执行键在显示部8中显示菜单画面、设定画面、或移动在这些菜单画面、设定画面内显示的光标、或确定数码相机2的各种设定时等被操作。

在相机主体2a的底面，虽然省略图示，但设置有被装填存储卡10的卡槽和对该卡槽的开口进行开闭的装填盖。

如图3所示，数码相机2的CPU11基于来自操作部9的控制信号，依次执行从存储器13读出的各种程序、数据，统一控制数码相机2的各部分。此外，存储器13的RAM区域作为用于CPU11执行处理的工作存储器、各种数据的临时保管地址发挥作用。在透镜镜筒3安装有包括变焦透镜15及聚焦透镜16的摄影透镜17、机械快门18等。变焦透镜15及聚焦透镜16分别通过变焦机构19、聚焦机构20而被驱动，沿着摄影透镜17的光轴O1而前后移动。变焦机构19及聚焦机构20由齿轮、电动机等构成。此外，聚焦机构20经由未图示的齿轮而与聚焦环3a(聚焦操作部)连接。因此，在MF模式时随着聚焦环3a进行旋转操作，聚焦机构20使聚焦透镜16沿着光轴O1的方向(以下，称为“光轴方向”)移动。即，通过聚焦环3a，进行变更摄影透镜17的聚焦透镜的位置(聚焦位置)的聚焦操作。

机械快门18具有在阻止被摄体光向摄像元件23的入射的关闭位置和允许被摄体光的入射的打开位置之间移动的可动部(省略图示)。机械快门18通过使可动部移动到各位置而打开/遮断从摄影透镜17至摄像元件23的光路。此外，在机械快门18中包括控制入射到摄像元件23的被摄体光的光量的光圈。机械快门18、变焦机构19及聚焦机构20经由透镜驱动器25而由CPU11进行动作控制。

在机械快门18的背后配置有摄像元件23(以下，简称为“摄像元件”)。摄像元件23将通过了摄影透镜17等的被摄体光变换为电输出信号而输出。此外，摄像元件23也可以是CCD(Charge CoupledDevice：电荷耦合器件)型摄像元件、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)型摄像元件等各种摄像元件。摄像元件驱动器27在CPU11的控制之下控制摄像元件23的驱动。

图像处理电路29对来自摄像元件23的输出信号(输出)实施灰度变换、白平衡校正、γ校正处理等各种处理而生成摄像图像数据。此外，图像处理电路29在MF模式时，除了摄像图像数据之外，还生成MF操作用的裂像数据(以下，也称为“对焦确认图像”)。摄像图像数据、裂像数据临时存储在存储器13的VRAM区域(也可以另外设置VRAM)中。VRAM区域具有存储连续的2个场画面量的即时预览图像用的存储器区域，依次覆写摄像图像数据、裂像数据而存储。

压缩扩展处理电路31在快门按钮6被按下操作时，对在VRAM区域中存储的摄像图像数据实施压缩处理。此外，压缩扩展处理电路31对经由介质I/F32而从存储卡10获得的压缩图像数据实施扩展处理。介质I/F32进行对存储卡10的摄像图像数据的记录及读出等。

在摄影模式时，显示控制部33读出在VRAM区域中存储的摄像图像数据、裂像数据而依次输出到显示部8。此外，在再现模式时，显示控制部33将在压缩扩展处理电路31中进行了扩展的摄像图像数据输出到显示部8。

显示部8构成本发明中的“显示单元”。此外，操作部9构成本发明中的“位置输入单元”及“数量输入单元”。此外，图像处理电路29及CPU11构成本发明中的“图像生成单元”、“边界变更单元”、“选择单元”、“图像解析单元”。此外，CPU11有时构成“位置输入单元”及“数量输入单元”。此外，显示控制部33构成本发明中的“显示控制单元”。

＜彩色摄像元件的结构＞

如图4所示，红(R)色的R像素35、绿(G)色的G像素36、蓝(B)色的B像素37以矩阵状排列于摄像元件23的摄像面23a(参照图3)上。各颜色像素35、36、37是被摄体光未被光瞳分割而成像的普通像素，包括光电转换元件39(参照图5)和在光电转换元件39的上方配置的三原色中的任一个滤色器40(参照图5)而构成。即，各颜色像素35～37也被称为带有滤色器40的非光瞳分割的光电转换元件。此外，“～上”、“上方”是指从图5中的半导体基板45朝向微透镜49的方向(图中上方向)。

在R像素35、G像素36、B像素37的各光电转换元件39上，分别设置有R色、G色、B色的滤色器40。

摄像元件23的滤色器排列(像素排列)具有下述的特征(1)、(2)、(3)、(4)、(5)及(6)。

〔特征(1)〕

滤色器排列包括由与6×6像素对应的正方排列图案构成的非拜耳排列的基本排列图案P，该基本排列图案P沿着水平方向及垂直方向重复配置。

这样一来，由于RGB的滤色器40具有预定的周期性而排列，所以与以往已知的随机排列相比，在进行从摄像元件23读出的R、G、B信号的去马赛克算法(插值)处理(去马赛克算法处理)等时，能够按照重复图案而进行处理。此外，在以基本排列图案P为单位进行间拔处理而缩小图像的情况下，间拔处理后的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用共同的处理电路。

〔特征(2)〕

在滤色器排列中，与最有助于获得亮度信号的颜色(该实施方式中为G色)对应的G色的滤色器在滤色器排列的水平、垂直及倾斜方向(斜右上及斜左下方向、斜右下及斜左上方向)的各行内配置一个以上。

这样一来，由于G色的滤色器在滤色器排列的水平、垂直及倾斜方向的各行内配置，所以能够与成为高频的方向无关地提高在高频区域的像素插值处理(去马赛克算法处理等)的再现精度。

〔特征(3)〕

在基本排列图案P中，R像素35、G像素36、B像素37的像素数分别成为8像素、20像素、8像素。即，RGB像素35～37的各像素数的比率为2：112，G像素36的像素数的比率大于其他的颜色的R像素35、B像素37的各个像素数的比率。

这样一来，由于G像素36的像素数和R、B像素35、37的像素数的比率不同，尤其是最有助于获得亮度信号的G像素36的像素数的比率大于R、B像素35、37的像素数的比率，所以能够抑制像素插值处理(去马赛克算法处理等)时的混淆，且还能够使高频再现性良好。

〔特征(4)〕

在滤色器排列中，与G色以外的两个颜色以上的其他颜色(该实施方式中为R、B色)对应的R色及B色的滤色器40在基本排列图案P内在滤色器排列的水平及垂直方向的各行内配置一个以上。

由于R色及B色的滤色器40分别在滤色器排列的水平及垂直方向的各行内配置，所以能够降低彩色莫尔条纹(伪色)的产生。由此，能够不将为了抑制产生伪色的光学低通滤光片配置在从光学系统的入射面至摄像面的光路上，或即使是在应用光学低通滤光片的情况下，也能够应用用于防止产生伪色的将高频成分截止的功能弱的光学低通滤光片，能够无损分辨率。

〔特征(5)〕

滤色器排列包括与设置有G色的滤色器40的2×2的G像素36对应的正方排列。通过取出这样的2×2的G像素36，求出水平方向的G像素36的像素值的差的绝对值、垂直方向的G像素36的像素值的差的绝对值、倾斜方向的G像素36的像素值的差的绝对值，能够判断为在水平方向、垂直方向及倾斜方向中、差的绝对值小的方向上具有相关性。

即，根据该滤色器排列，能够使用最小像素间隔的G像素36的信息，判别水平方向、垂直方向及倾斜方向中的相关性高的方向。该方向判别结果能够在根据周边的像素进行插值的插值处理(去马赛克算法处理等)中使用。

〔特征(6)〕

基本排列图案P相对于其中心(4个G色的滤色器40的中心)成为点对称。此外，基本排列图案P内的4个3×3的子排列也分别相对于中心的G色的滤色器40成为点对称。通过这样的对称性，能够减小或简化后级的处理电路的电路规模。

〔相位差像素〕

在摄像面23a的一部分的区域(例如，中央区域)上，代替一部分G像素36而设置有第一相位差像素36a(图中，由“圆圈中的G1”表示)、第二相位差像素36b(图中，由“圆圈中的G2”表示)。第一相位差像素36a及第二相位差像素36b在摄像元件23的像素排列中的多个垂直列(第二像素列)42和多个水平行(第一像素列)43中分别隔开间隔而交替地设置(图中，以一个垂直列42、水平行43为代表而标注附图标记)。此外，在本说明书中，在摄像元件23的各垂直列及各水平行中，对设置相位差像素的垂直列、水平行分别标注附图标记“42”、“43”。

“多个垂直列42”沿着水平方向(第一方向)以3个像素间距间隔而设置。此外，“多个水平行43”沿着垂直方向(第二方向)以4个像素间距间隔、8个像素间距间隔、4个像素间距间隔、8个像素间距间隔、……而设置。

在本实施方式中，第一相位差像素36a及第二相位差像素36b在各垂直列42和各水平行43交差的位置上分别沿着水平方向及垂直方向而交替地配置。此外，关于相同的种类的相位差像素彼此(第一相位差像素-第一相位差像素、第二相位差像素-第二相位差像素)的间隔，垂直方向成为12个像素间距，水平方向成为6个像素间距。

在表示水平行43的剖面的图5中，光电转换元件39以矩阵状形成于半导体基板(sub)45的表层。此外，在半导体基板45中，虽然省略图示，但设置有在各像素的驱动、信号输出中使用的各种电路。

在半导体基板45上设置有光透过性的绝缘膜46。在绝缘膜46上设置有遮光膜47。遮光膜47具有普通开口47a、第一偏心开口47b和第二偏心开口47c。第一～第二偏心开口47b、47c形成为开口径小于普通开口47a。

普通开口47a形成于RGB像素35～37的光电转换元件39上。此外，普通开口47a的中心位于光电转换元件39的中心上。

第一偏心开口47b形成于第一相位差像素36a的光电转换元件39a上。第一偏心开口47b的中心相对于其下方的光电转换元件39a的中心向图中右方向偏移。由此，第一相位差像素36a的光电转换元件39a的大致左半部分的区域(以下，简称为左区域)由遮光膜47覆盖，相反，大致右半部分的区域(以下，简称为右区域)的中央部分暴露。

第二偏心开口47c形成于第二相位差像素36b的光电转换元件39b上。第二偏心开口47c的中心相对于其下方的光电转换元件39b的中心形成在向图中右方向偏移的位置。由此，第二相位差像素36b的光电转换元件39b的右区域由遮光膜47覆盖，相反，左区域的中央部分暴露。

在遮光膜47上设置有表面平坦的光透过性的平坦化层48。在平坦化层48上，在与R、G、B的各颜色的像素35～37分别对应的位置设置有R、G、B的各颜色的滤色器40。此外，在与第一及第二相位差像素36a、36b对应的位置设置有G色的滤色器40。

在各颜色的滤色器40上且光电转换元件39、39a、39b的上方位置，分别设置有微透镜49。此外，也可以在滤色器40和微透镜49之间设置有透光性的平坦层等各种层。

在RGB像素35～37上的微透镜49中，从图中左斜方向入射的被摄体光50L通过微透镜49而在光电转换元件39的右区域聚光。相反地，在微透镜49中从图中右斜方向入射的被摄体光50R通过微透镜49而在光电转换元件39的左区域聚光。因此，RGB像素35～37相对于被摄体光50L及被摄体光50R的双方，灵敏度提高。

入射到第一相位差像素36a上的微透镜49的被摄体光50L通过微透镜49，通过第一偏心开口47b而在光电转换元件39a的右区域聚光。相反地，由于入射到微透镜49的被摄体光50R通过遮光膜47而被遮光，所以不在光电转换元件39的左区域聚光。

入射到第二相位差像素36b上的微透镜49的被摄体光50R通过微透镜49，通过第二偏心开口47c而在光电转换元件39b的左区域聚光。相反地，由于入射到微透镜49的被摄体光50R通过遮光膜47而被遮光，所以不在光电转换元件39的左区域聚光。因此，遮光膜47作为进行光瞳分割的光瞳分割部发挥作用。此外，也可以代替使遮光膜47(各偏心开口47b、47c)作为光瞳分割部发挥作用，使微透镜49偏心。

被摄体光50L、50R是分别通过了摄影透镜17(变焦透镜15及聚焦透镜16)的左区域17L、右区域17R的被摄体光。此外，为了防止附图的复杂，将两个透镜15、16作为一体化而图示，摄影透镜17和摄像元件23的大小也与实际不同。

入射到摄像元件23的被摄体光通过遮光膜47而被光瞳分割，由此第一相位差像素36a相对于被摄体光50L灵敏度提高，相反地，第二相位差像素36b相对于被摄体光50R灵敏度提高。

[摄像元件的像素(带有滤色器的光电转换元件)的类别]

本例的摄像元件23具有通过了摄影透镜17的不同区域(左区域17L、右区域17R)的被摄体光(被摄体光50L、被摄体光50R)被光瞳分割而分别入射的多个第一相位差像素36a(以下，称为“第一像素”)及多个第二相位差像素36b(以下，称为“第二像素”)、被摄体像未被光瞳分割而成像的多个普通像素(R像素35、G像素36、B像素37)(以下，称为“第三像素”)。

以下，为了便于说明，使用上述的“第一像素”、“第二像素”及“第三像素”这样的用语来说明图像处理电路29中的图像处理。

＜图像处理电路的结构＞

如图6所示，图像处理电路29包括普通处理部52及裂像处理部54而构成。裂像处理部54包括选择部102、对焦确认图像生成部104及选择控制部106而构成。

普通处理部52对由多个第三像素(R像素35、G像素36、B像素37)构成的第三像素组57c的输出信号(输出)即普通图像58c(第三图像)进行图像处理，将该实施了图像处理的普通图像58c作为彩色的摄像图像55而输出。此外，在本说明书中，普通图像58c有时也称为“第一显示用图像”。

裂像处理部54基于由多个第一像素(第一相位差像素36a)构成的第一像素组57a的输出信号(输出)即第一图像58a(也称为“第一相位差图像”)及由多个第二像素(第二相位差像素36b)构成的第二像素组57b的输出信号(输出)即第二图像58b(也称为“第二相位差图像”)，生成黑白的裂像61。此外，在本说明书中，裂像61有时也称为“对焦确认图像”或“第二显示用图像”。

如图8及图9所示，选择部102在由分裂线63(本说明书中，有时也称为“边界线”或简称为“边界”)分割的裂像61(对焦确认图像)内的多个分割区域(第一分割图像61L的区域、第二分割图像61R的区域)的各分割区域中，选择第一图像58a及第二图像58b中的任一个图像。即，本例的选择部102从由多个第一像素36a构成的第一像素组57a的输出信号即第一图像58a和由多个第二像素36b构成的第二像素组57b的输出信号即第二图像58b分别提取构成裂像61的显示部分(第一分割图像61L、第二分割图像61R)。

此外，本说明书中的“分裂线”是裂像61内的第一图像58a的显示部分(第一分割图像61L)和第二图像58b的显示部分(第二分割图像61R)的单纯的“边界”，并不使表示该边界的线显示于裂像61内。

具体而言，如图7所示，选择部102关于从摄像元件23的第一像素组57a及第二像素组57b分别输出的第一图像58a及第二图像58b的各成对像素PR1，进行将构成各成对像素PR1的第一图像58a的像素59a(具有摄像元件23的第一像素36a的像素值)及第二图像58b的像素59b(具有摄像元件23的第二像素36b的像素值)中的哪一个像素的像素值用于裂像61的生成的选择。这相当于，选择部102从摄像元件23的摄像面23a的各成对像素PR0中选择第一像素36a及第二像素36b中的任一个像素，并将选择的像素的像素值用于裂像61的生成。在此，第一图像58a及第二图像58b间的各成对像素PR1对应于摄像元件23的摄像面23a中的各成对像素PR0。

如图8及图9所示，对焦确认图像生成部104使用由选择部102从第一图像58a提取出的显示部分(第一分割图像61L)及由选择部102从第二图像58b提取出的显示部分(第二分割图像61R)，生成裂像61。

选择控制部106在与分裂线63正交的方向上变更裂像61(对焦确认图像)中的第一图像58a和第二图像58b的边界线即分裂线63的位置。此外，本例的选择控制部106具有使分裂线63的数量及形状发生变更的功能。

此外，选择部102构成本发明中的“选择单元”。此外，选择控制部106构成本发明中的“边界变更单元”。此外，对焦确认图像生成部104构成本发明中的“图像生成单元”。

＜裂像＞

如图8所示，裂像处理部54(具体而言，为对焦确认图像生成部104)基于来自第一像素组57a的输出信号(输出)的亮度成分，生成在从L(左)视点侧观察被摄体的中央区域的图中上半部分的区域时的黑白的第一分割图像61L(第一图像58a的显示部分)。此外，裂像处理部54基于来自第二像素组57b的输出信号(输出)的亮度成分，生成在从R(右)视点侧观察被摄体的中央区域的图中下半部分的区域时的黑白的第二分割图像61R(第二图像58b的显示部分)。由此，获得包括第一分割图像61L和第二分割图像61R的黑白的裂像61。第一及第二分割图像61L、61R在裂像61内以与水平方向平行的分裂线63(也称为“边界线”)为边界而相邻地配置。此外，在图中，以能够容易地把握裂像61的方式，将裂像61合成到彩色的摄像图像55，该合成在显示控制部33中进行。

摄像图像55及裂像61临时存储于存储器13的VRAM区域中。显示控制部33从存储器13读出摄像图像55及裂像61，并在摄像图像55中合成裂像61之后，输出到显示部8。由此，用户能够观察在全色的摄像图像55的显示区域内显示有黑白的裂像61的即时预览图像。

作为第一图像58a的显示部分的第一分割图像61L和作为第二图像58b的显示部分的第二分割图像61R根据聚焦透镜16的对焦状态而沿着图中左右方向[水平方向(第一方向)]偏移。此时的第一及第二分割图像61L、61R间的偏差量对应于聚焦透镜16的焦点的偏差量。即，图中左右方向成为与通过摄影透镜17而在摄像面23a上分别成像的各被摄体光的像的偏差方向对应的相位差方向。此外，第一及第二分割图像61L、61R在聚焦透镜16对焦时偏差量成为零(包括大致零)。

如图9所示，聚焦透镜16的焦点越产生偏差，则第一分割图像61L和第二分割图像61R的偏差量也越大。由此，用户能够一边确认即时预览图像一边进行聚焦调整。此外，在图中，由双点划线表示焦点没有对准的被摄体。

此外，在图8及图9中，以在基于从第三像素组57c输出的普通图像58c的摄像图像55(第一显示用图像)的显示区域内显示作为对焦确认图像的裂像61(第二显示用图像)的情况为例进行了表示，但也可以是仅使裂像61显示于显示部8的结构。即，也可以是摄像元件23的全部像素为相位差像素(第一相位差像素及第二相位差像素)、或在摄像元件23的全部区域中以一定的比例配置相位差像素(第一相位差像素及第二相位差像素)而仅使裂像61显示于显示部8的情况。

＜其他结构＞

此外，虽然省略图示，但在数码相机2中设置有自动聚焦用的AF检测电路等。AF检测电路对由第一像素36a的输出信号构成的图像和由第二像素36b的输出信号构成的图像进行解析，检测两个图像的偏差方向及两个图像间的偏差量，由此求出摄影透镜17的聚焦调整量(也称为散焦量)。基于该聚焦调整量，CPU11控制透镜驱动器25，通过聚焦机构20而驱动聚焦透镜16，从而进行焦点调节。此外，由于关于这样的相位差方式的AF处理是公知的，所以在此省略具体的说明。

此外，虽然省略图示，但在数码相机2中设置有AE检测电路等。CPU11基于AE检测电路的检测结果，经由透镜驱动器25而驱动机械快门18，从而执行AE处理。

＜摄影处理的整体的流程＞

接着，使用图10说明上述结构的数码相机2的作用。若通过操作部9将数码相机2设定为摄影模式(步骤S1)的AF模式或MF模式(步骤S2)，则CPU11经由透镜驱动器25而控制机械快门18的动作，且经由摄像元件驱动器27而驱动摄像元件23(步骤S3)。此外，由于在设定了AF模式时的数码相机2的动作是公知的，所以在此省略具体的说明。

若设定了MF模式(步骤S2)，则来自摄像元件23的第三像素35、36、37(普通像素)的输出信号输入到图像处理电路29的普通处理部52。普通处理部52对作为来自第三像素35～37的输出信号的普通图像58c进行图像处理，并作为全色的摄像图像55而存储于存储器13的VRAM区域中(步骤S4)。

此外，通过选择部102，在由分裂线63分割的裂像61(对焦确认图像)内的多个分割区域(第一分割图像61L的区域、第二分割图像61R的区域)的各分割区域中，选择第一图像58a及第二图像58b中的任一个图像。即，通过选择部102，从第一图像58a及第二图像58b中分别提取在对焦确认图像中使用的第一分割图像61L、第二分割图像61R。此外，通过对焦确认图像生成部104，生成包括黑白的第一分割图像61L和黑白的第二分割图像61R的裂像61(步骤S5)。所生成的裂像61存储于存储器13的VRAM区域中。在此，在由操作部9输入了裂像61内的第一分割图像61L和第二分割图像61R的边界线(分裂线63)的位置或数量的变更指示的情况下，选择控制部106使选择部102变更裂像61内的分割区域的范围，使裂像61的第一分割图像61L和第二分割图像61R的边界线(分裂线)的位置或数量发生变更。

此外，关于边界线的位置或数量的变更，在后面详细叙述。

显示控制部33从存储器13读出摄像图像55及裂像61，并将裂像61合成到摄像图像55的显示区域内之后，输出到显示部8。由此，如图9所示，在彩色的摄像图像55内，包括黑白的裂像61的即时预览图像显示于显示部8(步骤S6)。

由于裂像61的第一分割图像66L和第二分割图像66R根据聚焦透镜16的对焦状态而沿着图中左右方向偏移，所以用户能够对聚焦环3a进行旋转操作而使聚焦透镜16沿着光轴方向移动。随着聚焦透镜16接近与被摄体对焦的对焦位置，第一分割图像66L和第二分割图像66R的偏差量逐渐减小。由此，用户能够一边确认即时预览图像一边进行聚焦调整。

若聚焦透镜16设置于对焦位置，则第一分割图像66L和第二分割图像66R的偏差量成为零。由此，聚焦透镜16与被摄体对焦，聚焦调整完成。以下，在快门按钮6被按下之前，重复执行上述处理。

判定是否通过快门按钮6被按下而输入了摄影指示(步骤S7中“是”)，若输入了摄影指示(步骤S7中“是”)，则通过普通处理部52而生成1帧量的摄像图像55，并临时存储于存储器13的VRAM区域中。该摄像图像55通过压缩扩展处理电路31而被压缩之后，经由介质I/F32记录于存储卡10中(步骤S8)。以下，判定是否基于MF模式的结束而继续摄影(步骤S9)，在MF模式结束之前，重复执行上述的处理。

以下，关于裂像61(对焦确认图像)内的分裂线63(边界线)的变更的细节，分为各种实施方式进行说明。

＜第一实施方式的数码相机＞

在第一实施方式的数码相机2中，选择控制部(图6的106)根据输入到操作部9(位置输入部单元)的位置的变更指示，变更显示于显示部8的裂像61(对焦确认图像)内的分裂线63(边界线)的位置。

＜第一实施方式的对焦确认图像显示处理例＞

图11是表示第一实施方式中的对焦确认图像显示处理例的流程的流程图。本处理通过构成选择控制部106的CPU11的控制，按照程序而执行。

在本例中，在图3的操作部9中设置有分裂线位置变更按钮、上按钮及下按钮。此外，在显示部8为触摸面板式的情况下，也可以将该触摸面板式的显示部用作位置输入部单元。

首先，判定是否按下了分裂线位置变更按钮(步骤S102)。

在按下了分裂线位置变更按钮的情况下(步骤S102中“是”)，进一步，进行是否按下了上按钮的判定(步骤S104)和是否按下了下按钮的判定(步骤S108)。

在按下了分裂线位置变更按钮(步骤S102中“是”)且进一步按下了上按钮的情况下(步骤S104中“是”)，使分裂线63向裂像61内的上方移动(步骤S106)。

此外，在按下了分裂线位置变更按钮(步骤S102中“是”)且进一步按下了下按钮的情况下(步骤S108中“是”)，使分裂线63向裂像61内的下方移动(步骤S110)。

接着，判定是否再次按下了分裂线位置变更按钮(步骤S112)，在再次按下之前，重复步骤S104～S112。在再次按下的情况下(步骤S112中“是”)，结束本处理。

图12表示基于上按钮及下按钮的按下的分裂线63的位置的变更的情况。

如图12的(B)部分所示，若在分裂线63的位置设定于裂像61的上下方向V(与分裂线63正交的方向)上的中央的状态下继续按下上按钮，则如图12的(A)部分所示，分裂线63的位置从裂像61的上下方向V上的中央向上方移动。此外，若在图12的(B)部分所示的状态下继续按下下按钮，则如图12的(C)部分所示，分裂线63的位置从裂像61的上下方向上的中央向下方移动。

此外，显示控制部33使表示分裂线63的位置的指标即分裂线标记64显示于分裂线63的附近。本例的显示控制部33使分裂线标记64显示于分裂线63的延长线上。显示控制部33对应于分裂线63的位置的移动，使分裂线标记64的显示位置在上下方向V上移动。此外，分裂线标记64的形状并不特别限定。此外，分裂线标记64的显示位置并不限定于图示的例子。

＜第一实施方式的数码相机的作用效果＞

图13、图14、图15是分别示意性地表示与图12的(A)、(B)、(C)部分对应的选择控制的状态的说明图。选择部102取得从摄像元件23的第一像素组57a及第二像素组57b分别输出的第一图像58a及第二图像58b，从第一图像58a及第二图像58b分别提取在裂像61中使用的显示部分(第一分割图像61L、第二分割图像61R)。即，选择部102在由分裂线63分割的裂像61内的多个分割区域的各分割区域中，选择第一图像58a及第二图像58b中的任一个图像。对焦确认图像生成部104使由选择部102提取出的第一分割图像61L及第二分割图像61R彼此相邻而合成，生成裂像61。选择控制部106根据输入到操作部9(位置输入部单元)的位置的变更指示，使选择部102在与分裂线63正交的上下方向V上变更裂像61中的第一图像58a和第二图像58b的边界线即分裂线63的位置。即，选择部102按照选择控制部106的指示，从各成对像素P0选择第一相位差像素36a及第二相位差像素36b中的任一个像素，并使用所选择的相位差像素的像素值而生成裂像61。由此，根据输入到操作部9(位置输入部单元)的位置的变更指示，变更显示于显示部8的裂像61内的分裂线63的位置。用户通过在裂像61内使分裂线63的位置发生变更，将分裂线63设定于想要进行焦点对准(对焦)的位置，能够进行在定点的焦点对准(对焦)。

＜第二实施方式的数码相机＞

在第二实施方式的数码相机2中，选择控制部(图6的106)根据输入到操作部9(数量输入单元)的数量的变更指示，变更显示于显示部8的裂像61(对焦确认图像)内的分裂线63(边界线)的数量。

＜第二实施方式的对焦确认图像显示处理例＞

图16是表示第二实施方式中的对焦确认图像显示处理例的流程的流程图。本处理通过构成选择控制部106的CPU11的控制，按照程序而执行。

在本例中，在图3的操作部9中设置有分裂线数量变更按钮、上按钮及下按钮。此外，在显示部8为触摸面板式的显示部的情况下，也可以将该触摸面板式的显示部用作数量输入单元。

首先，判定是否按下了分裂线数量变更按钮(步骤S202)。

在按下了分裂线数量变更按钮的情况下(步骤S202中“是”)，进一步，进行是否按下了上按钮的判定(步骤S204)和是否按下了下按钮的判定(步骤S208)。

在按下了分裂线数量变更按钮且按下了上按钮的情况下(步骤S204中“是”)，使分裂线63的数量增加1条(步骤S206)。

此外，在按下了分裂线数量变更按钮(步骤S202中“是”)且进一步按下了下按钮的情况下(步骤S208中“是”)，使分裂线63的数量减少1条(步骤S210)。

接着，判定是否再次按下了分裂线数量变更按钮(步骤S212)，在再次按下之前，重复步骤S204～S212。在再次按下的情况下(步骤S212中“是”)，结束本处理。

图17表示基于上按钮及下按钮的按下的分裂线63的数量的增减的情况。

如图17的(B)部分所示，若在分裂线63的数量设定为2条的状态下按下一次上按钮，则如图17的(A)部分所示，裂像61内的分裂线63的数量增加1条而成为3条。此外，若在图17的(B)部分所示的状态下按下一次下按钮，则如图17的(C)部分所示，裂像61内的分裂线63的数量减少1本而成为1条。

此外，显示控制部33使表示分裂线63的位置的指标即分裂线标记64显示于分裂线63(边界线)的附近。显示控制部33对应于分裂线63的数量的增减，使分裂线标记64的数量增减。

＜第二实施方式的数码相机的作用效果＞

在本实施方式中，选择控制部106根据输入到操作部9(数量输入单元)的数量的变更指示，变更显示于显示部8的裂像61内的分裂线63的数量。由此，用户通过在裂像61内使分裂线63的条数发生变更，将分裂线63设定在多个位置，能够在多个位置进行焦点对准(对焦)。

＜第三实施方式＞

在第三实施方式的数码相机2中，在将通过手动操作而输入的分裂线63(边界线)的数量设为L条时，作为该L，仅在为奇数时，选择控制部(图6的106)使操作部9(数量输入单元)接受输入，使L条分裂线63中的第(L+1)/2条分裂线63位于裂像61(对焦确认图像)的中央或中央的附近。

在此，“中央的附近”例如距裂像61的中央为裂像61的上下方向V上的整个宽度的±5％以内。

＜第三实施方式的对焦确认图像显示处理例＞

图18是表示第三实施方式中的对焦确认图像显示处理例的流程的流程图。本处理通过构成选择控制部106的CPU11的控制，按照程序而执行。

在本例中，作为图3的操作部9而设置有分裂线数量变更按钮、上按钮及下按钮。此外，在显示部8为触摸面板式的显示部的情况下，也可以将该触摸面板式的显示部8用作数量输入单元。

在按下了分裂线数量变更按钮的情况下(步骤S302中“是”)，进一步，进行是否按下了上按钮的判定(步骤S304)和是否按下了下按钮的判定(步骤S308)。

在按下了分裂线数量变更按钮(步骤S302中“是”)且进一步按下了上按钮的情况下(步骤S304中“是”)，设为N＝n+1(步骤S306)。此外，在按下了分裂线数量变更按钮(步骤S302中“是”)且进一步按下了下按钮的情况下(步骤S308中“是”)，设为N＝n-1(步骤S310)。并且，在N＜1的情况下，设定为n＝1(步骤S312、S314)，在N≥M的情况下，设定为n＝M(上限值)(步骤S316、S318)，在N＜M的情况下，设定为n＝N(步骤S320)。

在此，n是表示“当前的分裂线数/2”的变量，N是表示n的暂定值的变量，M表示n的上限值。

即，在将通过分裂线数量变更按钮而输入的分裂线的数量设为K条时，只在K＝1、3、5、……2n-1(n是n≤M的整数)时接受输入。这样一来，在本例中，作为分裂线的数量K，只在为奇数时接受输入。

接着，判定是否再次按下了分裂线数量变更按钮(步骤S322)，在再次按下之前，重复步骤S304～S322。在再次按下的情况下(步骤S322中“是”)，结束本处理。

＜第三实施方式的数码相机的作用效果＞

本实施方式的选择控制部106作为边界线的数量K，只在为奇数时接受输入，并使K条边界线中的第(K+1)/2条分裂线63(边界线)位于裂像61(对焦确认图像)的中央或中央的附近。由此，用户能够一边观看在裂像61内的中央或中央的附近设定有分裂线63的裂像61一边容易地进行焦点对准。

＜第四实施方式＞

在第四实施方式的数码相机2中，选择控制部(图6的106)根据时间的经过，使裂像61(对焦确认图像)内的分裂线63(边界线)的位置移动。

＜第四实施方式的对焦确认图像显示处理例＞

图19是表示第四实施方式中的对焦确认图像显示处理例的流程的流程图。本处理通过构成选择控制部106的CPU11的控制，按照程序而执行。

首先，将第一图像58a及第二图像58b的分裂线63的数量(行数)设定为“N”(步骤S402)。接着，算出分裂线63的变更时间间隔T(步骤S404)。在本例中，基于行数N而计算T＝1/N。

接着，根据时间的经过，使裂像61内的分裂线63的位置移动(步骤S406～S416)。具体而言，首先，取得当前时间并设为初始时间t0(步骤S406)。此外，取得当前时间(步骤S408)，比较当前时间t和t0+T(步骤S410)，在当前时间t＜t0+T的情况下(步骤S410中“否”的情况下)，进行加权(步骤S412)，返回到步骤S406。在当前时间t≥t0+T的情况下(步骤S410中“是”的情况下)，使分裂线63的位置在裂像61内向下方移动一行(步骤S414)。在分裂线63未到达裂像61的最下端的情况下(步骤S416中“否”的情况下)，返回到步骤S406，继续分裂线63的移动。在分裂线63到达了裂像61的最下端的情况下(步骤S416中“是”的情况下)，结束本处理。

此外，在本例中，为了容易理解发明，说明了在“1秒”分裂线63从裂像61的最上端移动至最下端的情况，但也可以使移动时间或移动速度不同。

此外，也可以与第三实施方式或第四实施方式进行组合，多个分裂线63从裂像61的最上端移动至最下端。也可以在这个情况下，多个分裂线63中特定的分裂线停止，其他的分裂线移动。

若使用图12说明与分裂线63的时间的经过对应的移动的情况，则在第一实施方式中，在从外部输入了分裂线63的位置的变更指示时，使分裂线63移动，但在本实施方式中，随着时间的经过，分裂线63从裂像61的上部(图12的(A)部分)经由裂像61的上下方向的中央(图12的(B)部分)而移动到裂像61的下部(图12的(C)部分)。

图20表示分裂线63为2条的情况下的显示例。随着时间的经过，从图20的(A)部分所示的显示状态，经过图20的(B)部分所示的显示状态、图20的(C)部分所示的显示状态，成为图20的(D)部分所示的显示状态。在本例中，2条分裂线63a、63b中的1条分裂线63a固定地位于裂像61的上下方向上的中央部(或中央部的附近)，另一个分裂线63b根据时间的经过而从裂像61的最上端移动到最下端。

＜第四实施方式的数码相机的作用效果＞

在本实施方式中，选择控制部106根据时间的经过，使对焦确认图像内的分裂线63(边界线)的位置移动。由此，即使不通过手动操作而输入分裂线63的位置的变更指示，用户也能够一边观看分裂线63移动的裂像61一边可靠地把握对焦状态。

＜第五实施方式的数码相机＞

在第五实施方式中，与第四实施方式相同地，选择控制部106根据时间的经过，使裂像61(对焦确认图像)内的分裂线63的位置移动。但是，第五实施方式的选择控制部106在开始了分裂线63的移动之后，通过聚焦环3a(聚焦操作单元)开始了聚焦位置(聚焦透镜16的位置)的变更操作时，使裂像61内的分裂线63的移动停止。

＜第五实施方式的对焦确认图像显示处理例＞

图21是表示第五实施方式中的对焦确认图像显示处理例的流程的流程图。本处理通过构成选择控制部106的CPU11的控制，按照程序而执行。

本例的步骤S502～S512与第四实施方式的图19所示的步骤S402～S412相同，省略说明。

在本例中，在经过了一定时间T的情况下(步骤S510中“是”的情况下)，判定有无聚焦环3a的操作(步骤S514)。在判定为没有聚焦环3a的操作(聚焦操作)的情况下(步骤S514中“否”的情况下)，使分裂线63的位置在裂像61内向下方移动一行(步骤S516)。判定分裂线63是否到达裂像61的最下端(步骤S518)，在未到达最下端的情况下(步骤S518中“否”的情况下)，只要没有聚焦操作，则重复步骤S506～S518，继续分裂线63的移动。在分裂线63到达了裂像61的最下端的情况下(步骤S518中“是”的情况下)，使分裂线63的位置移动至裂像61的最上端(步骤S520)，只要没有聚焦操作，则重复步骤S506～S518，继续分裂线63的移动。

在判定为有聚焦环3a的操作的情况下(步骤S514中“是”的情况下)，结束本处理，停止分裂线63的移动。即，在通过聚焦环3a开始了聚焦位置的操作时，使裂像61内的分裂线63的移动停止。

此外，也可以在一定时间没有进行聚焦环3a的操作时，再次开始分裂线63的移动。

＜第五实施方式的数码相机的作用效果＞

在第五实施方式中，选择控制部106在通过聚焦环3a(聚焦操作单元)开始了聚焦位置的变更操作时，使裂像61内的分裂线63的移动停止。即，在用户开始了焦点对准操作(聚焦位置的变更操作)时，由于认为该用户想要在当前的分裂线63的位置进行焦点对准操作，所以在本实施方式中，设为停止分裂线63的移动的结构。由此，在分裂线63根据时间的经过而移动时，用户仅仅操作聚焦环3a，不需要另外指示分裂线63的移动的停止，也能够开始焦点对准操作。

＜第六实施方式的数码相机＞

图22是表示第六实施方式的图像处理电路29的框图。在图22中，对于与在图6(第一实施方式～第五实施方式的框图)中记载的结构元素相同的结构元素标注相同的附图标记，省略说明。

如图22所示，本实施方式的图像处理电路29包括进行从摄像元件23获得的图像58a、58b、58c的解析的图像解析部108。

此外，本实施方式的选择控制部106基于图像解析部108的解析结果，设定裂像61(对焦确认图像)内的分裂线63(边界线)的位置。

＜第六实施方式的对焦确认图像显示处理例＞

图23是表示第六实施方式中的对焦确认图像显示处理例的流程的流程图。本处理通过构成选择控制部106的CPU11的控制，按照程序而执行。

本例的步骤S602～S612与第四实施方式的图19所示的步骤S402～S412相同，省略说明。

在本例中，在经过了一定时间T的情况下(步骤S610中“是”的情况下)，将从摄像元件23获得的图像58a、58b、58c的解析结果即特征量S(图像的特征量)与阈值Th进行比较(步骤S614)。在特征量S≤Th的情况下(步骤S614中“否”的情况下)，使分裂线63的位置在裂像61内向下方移动一行(步骤S616)。判定分裂线63是否到达裂像61的最下端(步骤S618)，在没有到达最下端的情况下(步骤S618中“否”的情况下)，返回到步骤S606，继续分裂线63的移动。在分裂线63到达了裂像61的最下端的情况下(步骤S618中“是”的情况下)，使分裂线63的位置移动至裂像61的最上端(步骤S620)，返回到步骤S606，继续分裂线63的移动。

另一方面，在特征量S＞Th的情况下(步骤S614中“是”的情况下)，结束本处理，停止分裂线63的移动。即，在图像的特征量S大的情况下，在裂像61内的特征量大的位置，使分裂线63的移动停止。

作为图像的特征量S的具体例，举出以下的第一～第四特征量。

·第一特征量：成对像素的第一像素和第二像素的相位差

·第二特征量：对比度的检测量

·第三特征量：水平边缘(边界线的方向上的边缘)

·第四特征量：特定对象的检测结果(表示似特定对象的量、特定对象的位置等)

＜使用第一特征量的分裂线位置设定例＞

在使用第一特征量(第一像素和第二像素的相位差)的情况下，选择控制部106例如如下算出裂像61内的分裂线63的位置。

首先，基于第一图像58a及第二图像58b，对应各成对像素PR0算出构成摄像元件23的成对像素PR0的第一像素36a的像素值和第二像素36b的像素值的相位差。即，算出构成成对像素PR1的第一图像58a的像素59a和第二图像58b的像素59b的相位差。接着，检测在裂像61内相位差最大的位置。接着，将分裂线63的位置设定于在裂像61内相位差最大的位置。

即，本例的选择控制部106将分裂线63设定于在裂像61内焦点产生偏差最多的地点。

＜使用第二特征量的分裂线位置设定例＞

在使用第二特征量(对比度的检测量)的情况下，选择控制部106例如如下算出裂像61内的分裂线63的位置。

首先，图像解析部108基于第一图像58a、第二图像58b及普通图像58c中的至少一个图像，算出裂像61内的对比度的分布。接着，图像解析部108检测在裂像61内对比度最大的位置。接着，对焦确认图像生成部104将分裂线63的位置设定于在裂像61内对比度最大的位置。

即，本例的选择控制部106将分裂线63设定于在裂像61内焦点对准最容易的地点。

＜使用第三特征量的分裂线位置设定例＞

在使用第三特征量(水平边缘量)的情况下，对焦确认图像生成部104例如如下算出裂像61内的分裂线63的位置。

首先，图像解析部108基于第一图像58a、第二图像58b及普通图像58c中的至少一个图像，算出水平方向(沿着分裂线63的方向)上的边缘(水平边缘)的量的分布。若在裂像61内存在沿着上下方向(与分裂线63正交的方向)的明确的线，则该明确的线的位置为水平边缘的位置。接着，选择控制部106将分裂线63的位置设定于在裂像61内水平边缘量最大的位置。

即，本例的选择控制部106将分裂线63设定于在裂像61内焦点对准最容易的地点。

＜使用第四特征量的分裂线位置设定例＞

在作为第四特征量(特定对象的检测结果)而使用面部检测量的情况下，选择控制部106例如如下算出裂像61内的分裂线63的位置。

首先，图像解析部108通过在普通图像58c内检测面部图像，检测在裂像61内是否存在面部图像。即，检测在普通图像58c内表示似面部的面部检测量最高的位置。在本例中，与面部图像的检测同时地还进行面部五官(眼睛、口等)的检测。接着，如图24及图25所示，选择控制部106将分裂线63的位置设定为面部图像65的位置。此外，在图24的裂像61中，由于焦点没有对准与面部图像65对应的视场的面部，所以第一分割图像61L和第二分割图像61R以左右产生偏差的状态显示。在图25的裂像61中，由于焦点对准与面部图像65对应的景深的面部，所以第一分割图像61L和第二分割图像61R以左右一致的状态显示。

本例的选择控制部106将分裂线63设定于面部图像65中的眼睛的位置。此外，本例的显示控制部33将表示分裂线63的位置的分裂线标记64显示于分裂线63的附近。

＜第七实施方式的数码相机＞

在第七实施方式中，如图26所示，对焦确认图像生成部104通过在裂像61(对焦确认图像)内的左右方向H(第一方向)上交替地配置第一图像71a(第一图像58a的分割图像)及第二图像71b(第二图像58b的分割图像)，并且，在与裂像61内的左右方向H正交的上下方向V(第二方向)上交替地配置第一图像71a及第二图像71b，从而在裂像61内以格子状配置第一图像71a及第二图像71b。

＜第七实施方式的对焦确认图像显示处理例＞

以下，如图26所示，将以格子状配置了第一图像71a及第二图像71b(或以格子状配置了分裂线63)的裂像61称为“格子状对焦确认图像”。

具体而言，本例的对焦确认图像生成部104如图27所示那样生成格子状对焦确认图像(裂像61)。

第一，将基于第一像素组57a的第一图像58a及基于第二像素组57b的第二图像58b分别分割为格子状。即，将第一图像58a及第二图像58b分别分割为S×T个(S、T为整数)部分图像(第一图像71a、第二图像71b)。此外，在图27中，表示将第一图像58a及第二图像58b分别分割为6×4的情况。

第二，在左右方向H(水平方向)上，从左端(一端)向右端(另一端)交替地选择第一图像71a和第二图像71b，并且，在上下方向V(垂直方向)上，从上端(一端)向下端(另一端)交替地选择第一图像71a和第二图像71b，从而生成以格子状配置了分裂线63的格子状对焦确认图像(裂像61)。

即，在将第一图像71a设为A(i，j)、将第二图像71b设为B(i，j)、将裂像61的部分图像设为F(i，j)、将i设为1至S的整数、将j设为1至T的整数时，在i为奇数且j为奇数的区域中为F(i，j)＝A(i，j)，在i为奇数且j为偶数的区域中为F(i，j)＝B(i，j)，在i为偶数且j为奇数的区域中为F(i，j)＝B(i，j)，在i为偶数且j为偶数的区域中为F(i，j)＝A(i，j)。

＜第八实施方式的数码相机＞

在第八实施方式中，如图28所示，对焦确认图像生成部104在裂像61内使基于第一像素组57a的第一图像72a和基于第二像素组57b的第二图像72b相邻地配置，并且，在裂像61内使基于第三像素组57c的普通图像58c的部分图像73c与第一图像72a及第二图像72b相邻地配置，从而形成裂像61。

＜第八实施方式的对焦确认图像显示处理例＞

以下，将如图28所示的、使无相位差的普通图像(普通图像58c)的部分图像72c与相位差图像(第一图像58a及第二图像58b)的部分图像(第一图像72a、第二图像72b)相邻的裂像61称为“普通图像混杂的对焦确认图像”。

具体而言，本例的对焦确认图像生成部104如图29所示那样生成普通图像混杂的对焦确认图像(裂像61)。

第一，将基于第一像素组57a的第一图像58a及基于第二像素组57b的第二图像58b在上下方向V(上下方向)上分别分割成多个带状。即，将第一图像58a及第二图像58b分别分割为Q个(Q为整数)带状的部分图像71a、71b。在图29中，表示分割为8个的情况。

第二，从基于第三像素组37c的普通图像58c以成为裂像61的尺寸的方式提取与裂像61对应的部分，并与第一图像58a及第二图像58b相同地，在上下方向V(上下方向)上分割为多个带状的部分图像72c。在图29中，表示分割为8个的情况。

第三，在上下方向V(水平方向)上，从上端(一端)到下端(另一端)按照第一图像72a、第二图像72b、普通图像58c的部分图像72c、第一图像72a、第二图像72b、普通图像58c的部分图像72c……这样的顺序进行选择，从而生成配置有相位差图像间的分裂线63a(第一图像72a和第二图像72b的边界线)及相位差图像和普通图像间的分裂线63b、63c(第二图像72b和普通图像58c的部分图像72c的分裂线63b、普通图像58c的部分图像72c和第一图像72a的分裂线63c)的普通图像混杂型的对焦确认图像(裂像61)。

即，在将第一图像58a的部分图像(第一图像72a)设为A(j)、将第二图像58b的部分图像(第二图像72b)设为B(j)、将普通图像58c的部分图像72c设为C(j)、将裂像61的部分图像设为F(j)、将j设为1至Q的整数、将Q设为1以上的整数时，按照F(j)＝A(j)、F(j+2)＝B(j+2)、F(j+3)＝C(j+3)……这样的顺序进行配置，从而生成普通图像混杂的对焦确认图像(裂像61)。

＜第八实施方式的数码相机的作用效果＞

根据本实施方式的数码相机，由于在黑白的相位差图像和彩色的普通图像的边界线(分裂线)上也产生相位差，所以用户不仅根据黑白的相位差图像彼此的偏差，也能够根据黑白的相位差图像和彩色的普通图像的偏差进行焦点对准。

＜摄像元件的像素排列的变化＞

[非拜耳排列的基本排列图案]

上述各实施方式的摄像元件23的像素排列(滤色器排列)由与沿着水平及垂直方向重复配置的6×6像素对应的基本排列图案P构成，但也可以由与N×N像素(N为3以上)对应的排列图案的基本排列图案构成。

此外，滤光片的颜色并不限定于RGB的三原色。例如，也可以是RGB的三原色+其他颜色(例如，翠绿色(E))的4个颜色的滤色器的滤色器排列。也可以是作为原色RGB的互补色的C(青)、M(品红)、Y(黄)的滤色器的滤色器排列。

[拜耳排列]

此外，摄像元件23的像素排列(滤色器排列)也可以是如图30所示的拜耳排列的像素排列。在图30中，在由拜耳排列构成的像素排列的一部分配置有多个第一相位差像素36a(第一像素)和多个第二相位差像素36b(第二像素)。

[2面排列]

此外，摄像元件23的像素排列(滤色器排列)也可以是图31所示的由将同色像素错开地配置的2面的排列构成的像素排列。在图31中，在由将同色像素错开地配置的2面的排列构成的像素排列的一部分配置有多个第一相位差像素36a(第一像素)和多个第二相位差像素36b(第二像素)，并且，成对像素的第一相位差像素36a和第二相位差像素36b相邻地配置。

＜其他设备＞

在上述各实施方式中，作为本发明的摄像装置，以数码相机为例进行了说明，但本发明例如也能够应用于具有相机功能的便携电话机、智能手机、PDA(Personal Digital Assistants：个人数字助理)、便携式游戏机。以下，以智能手机为例，参照附图详细说明。

图32是表示智能手机500的外观的图。图32所示的智能手机500具有平板状的框体502，在框体502的一个面包括显示面板521和作为输入部的操作面板522(触摸面板)成为一体的显示输入部520(也称为“触摸面板式的显示部”)。此外，框体502包括扬声器531、话筒532、操作部540、相机部541。另外，框体502的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或采用具有折叠结构、滑动机构的结构。

图33是表示图32所示的智能手机500的结构的框图。如图33所示，作为智能手机的主要的结构元素，包括无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、动作传感器部580、电源部590、主控制部501。此外，作为智能手机500的主要的功能，包括进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。

无线通信部510按照主控制部501的指示，对在移动通信网NW中容纳的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。

显示输入部520是通过主控制部501的控制，显示图像(静止图像及动态图像)、字符信息等而在视觉上对用户传递信息，并且检测对所显示的信息的用户操作的、所谓的触摸面板，包括显示面板521和操作面板522。在对生成的3D图像进行鉴赏的情况下，优选显示面板521是3D显示面板。

显示面板521将LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机电致发光显示器)等用作显示设备。操作面板522是放置成能够对在显示面板521的显示面上显示的图像进行视觉辨认、检测由用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由于操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。

如图32所示，智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但成为操作面板522完全覆盖显示面板521的配置。在采用了该配置的情况下，操作面板522也可以对显示面板521外的区域也具有检测用户操作的功能。换言之，操作面板522也可以具有关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。

另外，也可以使显示区域的大小和显示面板521的大小完全一致，但不需要使两者必须一致。此外，操作面板522也可以具有外缘部分和除此以外的内侧部分这两个感应区域。进一步，外缘部分的宽度根据框体502的大小等而适当设计。进一步，作为在操作面板522中采用的位置检测方式，举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。

通话部530包括扬声器531和话筒532，将通过话筒532输入的用户的声音转换为能够在主控制部501中进行处理的声音数据而输出到主控制部501，或对从无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。此外，如图32所示，例如，将扬声器531及话筒532搭载于与设置了显示输入部520的面相同的面。还能够将话筒532搭载于框体502的侧面。

操作部540是使用了键开关等的硬件键，接受来自用户的指示。例如，如图32所示，操作部540搭载于智能手机500的框体502的显示部的下部、下侧面，是若通过手指等被按下则接通、若挪走手指则通过弹簧等的恢复力而成为断开状态的按钮式的开关。

存储部550存储主控制部501的控制程序、控制数据、本发明的包括用于生成左眼图像及右眼图像的图像处理程序的应用软件、用于生成立体图像而使用的第一及第二数字滤光片组、视差映射、将通信对方的名称、电话号码等建立对应的地址数据、收发的电子邮件的数据、通过Web浏览器而下载的Web数据、已下载的内容数据，此外，临时存储流数据等。此外，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器槽的外部存储部552构成。此外，构成存储部550的各个内部存储部551和外部存储部552使用闪存类(flash memory type)、硬盘类(hard disk type)、微缩多媒体卡类(multimedia card micro type)、卡类的存储器(例如、MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储介质而实现。

外部输入输出部560起到与连接到智能手机500的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接到其他外部设备。

作为连接到智能手机500的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频视频I/O(输入/输出)端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将这样的从外部设备接受传输的数据传递到智能手机500的内部的各结构元素、将智能手机500的内部的数据传输到外部设备。

GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如，无线LAN)取得位置信息时，还能够使用该位置信息而检测位置。动作传感器部580具有例如3轴的加速度传感器等，按照主控制部501的指示，检测智能手机500的物理动作。通过检测智能手机500的物理动作，检测出智能手机500移动的方向、加速度。将该检测结果输出到主控制部501。

电源部590按照主控制部501的指示，对智能手机500的各部分供给在蓄电池(未图示)中蓄积的电力。

主控制部501具有微处理器，按照存储部550存储的控制程序、控制数据而动作，统一控制智能手机500的各部分。此外，主控制部501为了通过无线通信部510而进行声音通信、数据通信，具有控制通信系统的各部分的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部501按照存储部550存储的应用软件进行动作而实现。作为应用处理功能，例如有控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能、本发明的根据2D图像生成3D图像的功能等。

此外，主控制部501具有基于接收数据、已下载的流数据等图像数据(静止图像、动态图像的数据)将影像显示于显示输入部520等的图像处理功能。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部520的功能。

进一步，主控制部501执行对显示面板521的显示控制和检测通过了操作部540、操作面板522的用户操作的操作检测控制。

通过显示控制的执行，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，滚动条是指，关于无法在显示面板521的显示区域中收纳的大的图像等用于接受移动图像的显示部分的指示的软件键。

此外，通过操作检测控制的执行，主控制部501检测通过了操作部540的用户操作，或通过操作面板522接受对上述图标的操作、对上述窗口的输入栏的字符串的输入，或接受通过了滚动条的显示图像的滚动请求。

进一步，通过操作检测控制的执行，主控制部501具有判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。

此外，主控制部501还能够检测对操作面板522的手势操作，并根据检测到的手势操作来执行预先设定的功能。手势操作意味着，不是现有的单纯的触摸操作，而是通过手指等描画轨迹，或同时指定多个位置，或将这些进行组合而从多个位置对至少一个位置描画轨迹的操作。

相机部(摄像装置)541是使用CMOS(Complementary Metal OxideSemiconductor)、CCD(Charge-Coupled Device)等摄像元件进行电子摄影的数码相机，是与上述各实施方式的数码相机基本相同的结构。

此外，相机部541通过主控制部501的控制，能够将通过拍摄而获得的图像数据例如转换为JPEG(Joint Photographic coding ExpertsGroup：联合图像专家组)等的压缩后的图像数据，并记录于存储部550中，或通过外部输入输出部560、无线通信部510而输出。虽然在图32所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限定于此，也可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。此外，在搭载了多个相机部541的情况下，也能够切换用于摄影的相机部541而单独进行摄影，或同时使用多个相机部541而进行摄影。

此外，相机部541能够利用于智能手机500的各种功能。例如，作为在显示面板521中显示在相机部541中取得的图像、操作面板522的操作输入之一，能够利用相机部541的图像。此外，在GPS接收部570检测位置时，还能够参照来自相机部541的图像而检测位置。进一步，还能够参照来自相机部541的图像，不使用3轴的加速度传感器或与3轴的加速度传感器并用地，判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。

除此之外，也可以在静止画面或动画的图像数据中附加由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由动作传感器部580取得的姿势信息等而记录于存储部550中，或通过外部输入输出部560、无线通信部510而输出。

图32及图33所示的智能手机500具有与前述的数码相机2相同的功能。图33的主控制部501具有图6或图22所示的图像处理电路29的功能。即，主控制部501构成本发明中的“图像生成单元”、“边界变更单元”、“选择单元”、“显示控制单元”及“图像解析单元”。此外，显示输入部520(触摸面板式的显示部)构成本发明中的“显示单元”、“位置输入单元”及“数量输入单元”。

本例的智能手机500通过显示输入部520而接受图12所示的拖曳分裂线63的拖曳操作。作为边界变更单元发挥作用的主控制部501以在显示输入部520显示有裂像61(对焦确认图像)的状态在显示输入部520中进行了拖曳分裂线63(边界线)的拖曳操作时，对应于拖曳操作，在与分裂线63正交的方向上变更裂像61内的分裂线63的位置。这样的分裂线63的位置的变更主要由作为边界变更单元发挥作用的主控制部501进行。

此外，例如，通过以分裂线63的中点为中心点，在显示输入部520的触摸面板中拖曳分裂线63的端部附近，从而还能够变更分裂线63(边界线)的角度。这样的分裂线63的角度的变更主要由作为边界变更部发挥作用的主控制部501进行。即，本发明中的边界变更单元也可以除了在与分裂线63正交的方向上变更分裂线63的位置的功能之外，还一并具有变更分裂线63的角度的功能。

以上，为了容易理解本发明，分为各种实施方式进行了说明，但也可以将各种实施方式适当组合而实施。

此外，本发明并不限定于在本说明书中说明的例子、在附图中图示的例子，当然可以在不脱离本发明的主旨的范围内进行各种设计变更、改良。

附图标记说明

9：操作部、29：图像处理电路、52：普通处理部、54裂像处理部、102：选择部、104：对焦确认图像生成部、106：选择控制部。

Claims (18)

1.一种摄像装置，具备：

图像生成单元，基于从具有通过了摄影透镜中的第一区域及第二区域的被摄体光被光瞳分割而分别入射的第一像素组及第二像素组的摄像元件输出的图像来生成第一显示用图像，并且基于从所述第一像素组及第二像素组分别输出的第一图像及第二图像来生成用于对焦确认的第二显示用图像；

边界变更单元，在与边界正交的方向上变更所述第二显示用图像中的所述第一图像与所述第二图像的边界的位置；

选择单元，在由所述边界变更单元进行了变更的所述边界分割的所述第二显示用图像内的多个分割区域的各分割区域中选择所述第一图像和所述第二图像中的任一个；

显示单元；及

显示控制单元，使所述显示单元显示所述第一显示用图像并在所述第一显示用图像的显示区域内显示由所述边界变更单元变更了所述边界的位置的所述第二显示用图像。

2.根据权利要求1所述的摄像装置，其中，

包括位置输入单元，输入所述第二显示用图像内的所述边界的位置的变更指示，

所述边界变更单元根据由所述位置输入单元输入的所述位置的变更指示，变更显示于所述显示单元的所述第二显示用图像内的所述边界的位置。

3.根据权利要求2所述的摄像装置，其中，

所述显示单元是触摸面板式的显示单元，

所述位置输入单元由所述触摸面板式的显示单元构成，

在所述显示单元中显示有所述第二显示用图像的状态下，在利用所述触摸面板式的显示单元进行了拖曳该第二显示用图像的所述边界的拖曳操作时，所述边界变更单元对应于所述拖曳操作来变更所述第二显示用图像内的所述边界的位置。

4.根据权利要求1～3中任一项所述的摄像装置，其中，

包括数量输入单元，输入所述第二显示用图像内的所述边界的数量，

所述边界变更单元根据由所述数量输入单元输入的所述数量的变更指示，变更显示于所述显示单元的所述第二显示用图像内的所述边界的数量。

5.根据权利要求4所述的摄像装置，其中，

在所输入的所述边界的数量L为奇数的情况下，所述边界变更单元使所述L条边界中的第(L+1)/2条边界位于所述第二显示用图像的中央或所述第二显示用图像的中央的附近。

6.根据权利要求1～5中任一项所述的摄像装置，其中，

所述边界变更单元根据时间的经过而使所述第二显示用图像内的所述边界的位置移动。

7.根据权利要求6所述的摄像装置，其中，

包括聚焦操作单元，进行所述摄影透镜的聚焦位置的变更操作，

在由所述聚焦操作单元开始了所述聚焦位置的变更操作时，所述边界变更单元使所述第二显示用图像内的所述边界的移动停止。

8.根据权利要求1～7中任一项所述的摄像装置，其中，

所述摄像元件还具有所述被摄体光未被光瞳分割而入射的第三像素组，所述第一显示用图像基于从所述第三像素组输出的第三图像而生成。

9.根据权利要求8所述的摄像装置，其中，

所述图像生成单元在所述第二显示用图像内使所述第一图像与所述第二图像相邻地配置。

10.根据权利要求9所述的摄像装置，其中，

所述图像生成单元在所述第二显示用图像内使所述第三图像与所述第一图像及所述第二图像相邻地配置。

11.根据权利要求1～8中任一项所述的摄像装置，其中，

所述图像生成单元通过在所述第二显示用图像内的第一方向上交替地配置所述第一图像和所述第二图像并且在所述第二显示用图像内的与所述第一方向正交的第二方向上交替地配置所述第一图像和所述第二图像，生成在所述第二显示用图像内将所述第一图像和所述第二图像配置成格子状的所述第二显示用图像。

12.根据权利要求1～11中任一项所述的摄像装置，其中，

包括图像解析单元，进行从所述摄像元件输出的图像的解析，

所述边界变更单元基于所述图像解析单元的解析结果来变更所述第二显示用图像内的所述边界的位置。

13.根据权利要求12所述的摄像装置，其中，

所述图像解析单元检测所述第一图像的像素和与该第一图像的像素对应的所述第二图像的像素的相位差，

所述边界变更单元基于检测出的所述相位差来变更所述第二显示用图像内的所述边界的位置。

14.根据权利要求12所述的摄像装置，其中，

所述图像解析单元检测所述图像内的对比度，

所述边界变更单元基于检测出的所述对比度的检测量来变更所述第二显示用图像内的所述边界的位置。

15.根据权利要求12所述的摄像装置，其中，

所述图像解析单元检测所述图像的所述边界的方向上的边缘，

所述边界变更单元基于检测出的所述边缘的检测量来变更所述第二显示用图像内的所述边界的位置。

16.根据权利要求12所述的摄像装置，其中，

所述图像解析单元检测所述图像内的特定对象，

所述边界变更单元将所述第二显示用图像内的所述边界设定于检测出的所述特定对象的位置。

17.根据权利要求1～16中任一项所述的摄像装置，其中，

所述显示控制单元使表示所述边界的位置的指标显示于所述边界的附近。

18.一种对焦确认显示方法，使用摄像元件和显示单元，使所述显示单元显示第一显示用图像并在所述第一显示用图像的显示区域内显示第二显示用图像，所述摄像元件具有通过了摄影透镜中的第一区域及第二区域的被摄体光被光瞳分割而分别入射的第一像素组及第二像素组，所述第一显示用图像基于从所述摄像元件输出的图像而生成，所述第二显示用图像基于从所述第一像素组及第二像素组分别输出的第一图像及第二图像而生成并用于对焦确认，

在所述对焦确认显示方法中，

在与边界正交的方向上变更所述第二显示用图像中的所述第一图像与所述第二图像的边界的位置，

在由进行了变更的所述边界分割的所述第二显示用图像内的多个分割区域的各分割区域中选择所述第一图像和所述第二图像中的任一个，

使变更了所述边界的位置的所述第二显示用图像显示于所述第一显示用图像的显示区域内。