CN111201780B - 成像装置和方法以及图像处理装置和方法 - Google Patents

Abstract

本技术涉及使得有可能控制检测图像的分辨率的成像装置和方法以及图像处理装置和方法。成像元件的恢复矩阵具有多个像素输出单位，每个像素输出单位设置分辨率，接收不通过成像透镜或针孔而进入的入射光,并且根据设置的分辨率输出一个指示由入射光的入射角度调制的输出像素值的检测信号，该恢复矩阵由当从多个像素输出单位的输出像素值恢复复原图像时使用的系数构成。本技术可应用于例如成像装置、图像处理装置、信息处理装置、电子装备、计算机、程序、存储介质和系统。

Description

成像装置和方法以及图像处理装置和方法

技术领域

本技术涉及成像装置和方法以及图像处理装置和方法，并且更具体地涉及使得能够控制检测图像的分辨率的成像装置和方法以及图像处理装置和方法。

背景技术

常规上，成像元件一般与将光聚焦在成像元件上的成像透镜组合使用。成像透镜将光从被摄体表面引导到成像元件的每个像素，以再现被摄体表面的光强度分布，由此成像元件可以获得具有与每个像素中的光强度分布对应的电平的检测信号，并可以获得整体被摄体的捕获的图像。

但是，在这种情况下，物理大小变大。因此，已经设计出不使用成像透镜的成像元件(例如，参见专利文献1、专利文献2和非专利文献1)。

引文列表

专利文献

专利文献1：国际公开No.2016/123529

专利文献2：PCT日语翻译专利公开No.2016-510910

非专利文献

非专利文献1：M.Salman Asif和其他四个人的“Flatcam:Replacing lenses withmasks and computation”，“2015IEEE International Conference on Computer VisionWorkshop(ICCVW)”，2015年，第663-666页

发明内容

本发明要解决的问题

但是，利用专利文献1中描述的方法，仅可以获得包括从成像元件的所有像素获得的信息的检测图像，并且不可能获得具有期望分辨率的检测图像。

鉴于这种情况而做出了本公开，并且使得有可能控制检测图像的分辨率。

对问题的解决方案

根据本技术的一个方面的成像装置是一种成像装置，包括：包括多个像素输出单位的成像元件，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及读取控制单元，选择性地读取成像元件的每个像素输出单位的输出像素值。

读取控制单元可以在成像元件的所述多个像素输出单位当中选择部分像素单位输出，并且读取所选择的像素输出单位的输出像素值。

读取控制单元可以在成像元件的所述多个像素输出单位当中选择任意位置处的部分像素输出单位。

读取控制单元可以选择像素输出单位，使得，关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，所选择的像素输出单位整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

读取控制单元可以在成像元件的所述多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素输出单位。

关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，由读取控制单元选择的处于具有规则性的位置关系的成像元件的所述部分像素输出单位的整体可以具有与成像元件的所有像素输出单位等同的入射角度方向性。

读取控制单元可以选择在形成有成像元件的所述多个像素输出单位的区域的一个部分区域中形成的像素输出单位。

关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，由读取控制单元选择的部分区域中形成的成像元件的像素输出单位的整体可以具有与成像元件的所有像素输出单位等同的入射角度方向性。

读取控制单元可以从成像元件的所有像素输出单位读取输出像素值，并选择读取的输出像素值中的一些。

读取控制单元可以读取成像元件的所有像素输出单位的输出像素值，并且按照每个预定数量将读取的输出像素值相加。

读取控制单元可以将像素输出单位的输出像素值相加，所述输出像素值具有彼此相似的入射角度方向性，每个入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

读取控制单元可以将彼此靠近的像素输出单位的输出像素值相加。

可以使所述多个像素输出单位具有如下配置：对于每个像素输出单位，能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

可以使所述多个像素输出单位具有如下配置：对于每个像素输出单位，能够独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

可以使所述多个像素输出单位具有如下配置：通过使对输出有贡献的光电二极管PD互不相同从而对于每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

根据本技术的一个方面的成像方法是一种成像方法，包括：由包括多个像素输出单位的成像元件对被摄体进行成像，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及选择性地读取成像元件的每个像素输出单位的输出像素值。

根据本技术的另一方面的图像处理装置是一种图像处理装置，包括：分辨率设置单元，设置分辨率；以及恢复矩阵设置单元，根据由所述分辨率设置单元设置的分辨率，设置包括当从具备多个像素输出单位的成像元件的多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

分辨率设置单元可以通过选择部分像素输出单位的输出像素值来设置分辨率。

分辨率设置单元可以通过按照每个预定数量将像素输出单位的输出像素值相加在一起来设置分辨率。

根据本技术的另一方面的图像处理方法是一种图像处理方法，包括：设置分辨率；以及根据设置的分辨率，设置包括当从包括多个像素输出单位的成像元件的多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

在根据本技术的一个方面的成像装置和方法中，被摄体由包括多个像素输出单位的成像元件进行成像，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，并且成像元件的像素输出单位中的每个像素输出单位的输出像素值被选择性地读取。

在根据本技术的另一方面的图像处理装置和方法中，设置分辨率，并且取决于设置的分辨率设置包括当从包括多个像素输出单位的成像元件的所述多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光,并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

发明的效果

根据本技术，可以对被摄体进行成像或者可以对图像进行处理。此外，根据本技术，可以控制检测图像的分辨率。

附图说明

图1是图示成像装置的主要配置示例的框图。

图2是图示在对其应用根据本公开的技术的成像装置中的成像原理的图。

图3是图示常规成像元件与根据本公开的成像元件之间的配置差异的图。

图4是图示成像元件的第一配置示例的图。

图5是图示成像元件的第一配置示例的图。

图6是图示入射角度方向性的生成原理的图。

图7是图示使用片上透镜的入射角度方向性的改变的图。

图8是图示入射角度方向性的设计的图。

图9是图示被摄体距离与表述入射角度方向性的系数之间的关系的图。

图10是图示窄视角像素与宽视角像素之间的关系的图。

图11是图示窄视角像素与宽视角像素之间的关系的图。

图12是图示窄视角像素与宽视角像素之间的关系的图。

图13是图示修改的图。

图14是图示修改的图。

图15是图示修改的图。

图16是图示其中通过应用修改来改变视角的示例的图。

图17是图示当通过应用修改来改变视角时组合具有相应多个视角的像素的示例的图。

图18是图示修改的图。

图19是图示修改的图。

图20是图示修改的图。

图21是图示通过遮光膜的掩模图案的示例的图。

图22是用于解释从所有像素读取的方法的概要的图。

图23是用于解释从一些任意像素读取的方法的概要的图。

图24是用于解释从部分像素有规则地读取的方法的概要的图。

图25是用于解释从部分区域中的像素读取的方法的概要的图。

图26是用于解释执行像素相加的方法的概要的图。

图27是用于比较和解释每种方法的图。

图28是用于解释使方向性彼此等同的方法的图。

图29是用于解释恢复矩阵的图。

图30是用于解释从所有像素读取的方法的恢复矩阵的图。

图31是用于解释从所有像素读取的方法的恢复矩阵的图。

图32是用于解释从一些任意像素读取的方法的恢复矩阵的图。

图33是用于解释从一些任意像素读取的方法的恢复矩阵的图。

图34是用于解释从部分像素有规则地读取的方法的恢复矩阵的图。

图35是用于解释从部分像素有规则地读取的方法的恢复矩阵的图。

图36是用于解释从部分区域中的像素读取的方法的恢复矩阵的图。

图37是用于解释从部分区域中的像素读取的方法的恢复矩阵的图。

图38是用于解释执行像素相加的方法的恢复矩阵的图。

图39是用于解释执行像素相加的方法的恢复矩阵的图。

图40是图示通过在水平方向和垂直方向中每一个方向上提供用于遮光范围的规则而减少计算量和存储器容量的原因的图。

图41是图示通过在水平方向和垂直方向中每一个方向上提供用于遮光范围的规则而减少计算量和存储器容量的原因的图。

图42是图示通过在水平方向和垂直方向中每一个方向上提供用于遮光范围的规则而减少计算量和存储器容量的原因的图。

图43是图示通过在水平方向和垂直方向中每一个方向上提供用于遮光范围的规则而减少计算量和存储器容量的原因的图。

图44是图示成像处理的流程的示例的流程图。

图45是用于解释在彩色图像的情况下的读取方法的概要的图。

图46是图示图像处理装置的主要配置示例的框图。

图47是图示图像处理的流程的示例的流程图。

图48是图示成像元件的主要配置示例的图。

图49是图示使用黑白图案掩模的情况的图。

图50是图示使用光学干涉掩模的情况的图。

图51是图示成像元件的修改的图。

具体实施方式

以下是用于执行本公开的模式的描述(模式在下文中将被称为实施例)。注意的是，将按以下次序进行描述。

1、第一实施例(成像装置)

2、第二实施例(图像处理装置)

3、第三实施例(成像元件、成像装置和图像处理装置的其它配置示例)

4、其它

<1、第一实施例>

<成像装置>

图1是图示作为对其应用本技术的成像装置或图像处理装置的实施例的成像装置的主要配置示例的图。图1中所示的成像装置100是对被摄体进行成像并且获得关于被摄体的捕获的图像的电子数据的装置。

如图1中所示，成像装置100包括控制单元101、输入单元111、输出单元112、存储单元113、通信单元114和记录/再现单元115。此外，成像装置100包括成像元件121、读取控制单元122、恢复矩阵设置单元123、恢复单元124、关联单元125和传感器单元126。处理单元等经由总线110彼此连接，并且可以彼此交换信息、命令等。

注意的是，成像元件121和读取控制单元122可以集成在一起作为成像单元120。成像单元120可以通过任何物理配置来实现。例如，成像单元120可以被实现为处理器，如系统大规模集成(LSI)等。此外，成像单元120可以被实现为例如使用多个处理器的模块、使用多个模块的单元等，或通过将其它功能进一步添加到单元而获得的设施等(换句话说，装置的一部分配置)。此外，成像单元120可以被实现为装置。

控制单元101被配置为执行与成像装置100中的处理单元等的控制相关的处理。例如，控制单元101包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等，并且通过使用CPU执行程序等来执行上述处理。

输入单元111被配置为执行与信息的输入相关的处理。例如，输入单元111包括输入设备(诸如操作按钮、拨号盘、开关、触摸面板、遥控器和传感器)以及外部输入端子。例如，输入单元111利用诸如此类输入设备来从外部(诸如用户)接受指令(与输入操作对应的信息)。此外，例如，输入单元111经由外部输入端子获取从外部装置提供的任意信息(程序、命令、数据等)。此外，例如，输入单元111经由总线110将接受的信息(获取的信息)供应给其它处理单元等。

注意的是，包括在输入单元111中的传感器可以是任何传感器，只要它可以接受来自外部(诸如用户)的指令即可，例如加速度传感器等。此外，输入单元111中包括的输入设备是任意的，并且它们的数量也是任意的。输入单元111可以包括多种类型的输入设备。例如，输入单元111可以包括上述示例中的一些，或者可以包括整体。此外，输入单元111可以包括除上述示例以外的其它输入设备。而且，例如，输入单元111可以获取经由总线110供应的关于输入单元111(输入设备等)的控制信息，并且基于该控制信息进行操作。

输出单元112被配置为执行与信息的输出相关的处理。例如，输出单元112包括图像显示设备(诸如监视器)、图像投影设备(诸如投影仪)、声音输出设备(诸如扬声器)、外部输出端子等。例如，输出单元112通过使用那些输出设备等输出经由总线110从其它处理单元等供应的信息。例如，输出单元112在监视器上显示捕获的图像(稍后描述的复原图像)、从投影仪投影捕获的图像(稍后描述的复原图像)、输出声音(例如，与输入操作、处理结果等对应的声音)或向外部(其它设备)输出任意信息(程序、命令、数据等)。

注意的是，输出单元112中包括的输出设备等是任意的，并且它们的数量也是任意的。输出单元112可以包括多种类型的输出设备等。例如，输出单元112可以包括上述示例中的一些，或者可以包括整体。此外，输出单元112可以包括除上述示例以外的输出设备等。而且，例如，输出单元112可以获取经由总线110供应的关于输出单元112(输出设备等)的控制信息，并且基于该控制信息进行操作。

存储单元113被配置为执行与信息的存储相关的处理。例如，存储单元113包括任意存储介质(诸如硬盘或半导体存储器)。例如，存储单元113将经由总线110从其它处理单元等提供的信息(程序、命令、数据等)存储在存储介质中。此外，存储单元113可以在发货时存储任意信息(程序、命令、数据等)。此外，存储单元113在任意定时或响应于来自其它处理单元等的请求而读取存储在存储介质中的信息，并且经由总线110将读取的信息供应给其它处理单元等。

注意的是，包括在存储单元113中的存储介质是任意的，并且它们的数量也是任意的。存储单元113可以包括多种类型的存储介质。例如，存储单元113可以包括上述存储介质的示例中的一些，或者可以包括整体。此外，存储单元113可以包括除上述示例以外的存储介质等。此外，例如，存储单元113可以获取经由总线110供应的关于存储单元113的控制信息，并且基于该控制信息进行操作。

通信单元114被配置为执行与和其它装置的通信相关的处理。例如，通信单元114包括通信设备，该通信设备执行用于经由预定的通信介质(例如，诸如互联网之类的任意网络)与外部装置交换信息(诸如程序和数据)的通信。例如，通信单元114与其它装置通信，并且经由总线110将从其它处理单元等供应的信息(程序、命令、数据等)供应给作为通信伙伴的其它装置。此外，例如，通信单元114与其它装置通信、获取从作为通信伙伴的其它装置供应的信息，并且经由总线110将该信息供应给其它处理单元等。

通信单元114中包括的通信设备可以是任何通信设备。例如，通信设备可以是网络接口。通信方法和通信标准是任意的。例如，可以使通信单元114执行有线通信、无线通信或两者。此外，例如，通信单元114可以获取经由总线110供应的关于通信单元114(通信设备等)的控制信息，并且基于该控制信息进行操作。

记录/再现单元115被配置为使用安装到记录/再现单元115的记录介质116执行与信息的记录和再现相关的处理。例如，记录/再现单元115读取记录在安装到记录/再现单元115的记录介质116上的信息(程序、命令、数据等)，并经由总线110将该信息供应给其它处理单元等。此外，例如，记录/再现单元115经由总线110获取从其它处理单元等供应的信息，并将该信息写入(记录)在安装到记录/再现单元115的记录介质116中。注意的是，例如，记录/再现单元115可以获取关于经由总线110供应的记录/再现单元115的控制信息，并且基于该控制信息进行操作。

注意的是，记录介质116可以是任何记录介质。例如，记录介质可以是磁盘、光盘、磁光盘、半导体存储器等。

成像元件121被配置为执行与被摄体的成像相关的处理。例如，成像元件121对被摄体进行成像，并获得关于捕获的图像的数据(电子数据)。此时，成像元件121可以在不使用成像透镜、滤光器(诸如衍射光栅等)或针孔等的情况下对被摄体进行成像，并且获得关于捕获的图像的数据。例如，成像元件121对被摄体进行成像并且获得使得有可能通过预定计算获得捕获的图像的数据的数据(检测信号等)。

注意的是，捕获的图像是由其上形成被摄体图像的像素的值构成的图像，并且可以被用户从视觉上识别。另一方面，即使在用户观看时，由作为成像元件121的像素单位输出中的入射光的检测结果的检测信号构成的图像(称为检测图像)也不能被识别为图像(即，不能从视觉上识别被摄体)，因为没有形成被摄体图像。即，检测图像是与捕获的图像不同的图像。但是，如上所述，通过对检测图像的数据执行预定计算，有可能恢复捕获的图像，换句话说，其上形成被摄体图像并且当用户观看时可以被识别为图像的图像(即，可以从视觉上识别出被摄体)。这种恢复的捕获的图像被称为复原图像。即，检测图像是与复原图像不同的图像。

注意的是，构成复原图像并且在同步处理、颜色分离处理等(例如，去马赛克处理等)之前的图像被称为原始图像。与捕获的图像类似，原始图像也是可以被用户从视觉上识别出的图像(即，可以从视觉上识别出被摄体)。换句话说，检测图像是根据滤色器的布置的图像，但是是与原始图像不同的图像。

但是，在成像元件121仅对诸如红外光、紫外光等不可见光敏感的情况下，复原图像(原始图像或捕获的图像)成为当用户观看时不能被识别为图像的图像(不能从视觉上识别被摄体)。但是，由于这取决于检测到的光的波长范围，因此复原图像可以是通过将波长范围转换成可见光范围而可以从视觉上识别被摄体的图像。另一方面，由于未形成被摄体图像，因此，仅通过转换波长范围，检测图像不能成为可以从视觉上识别被摄体的图像。因此，即使在成像元件121仅对不可见光敏感的情况下，通过如上所述对检测图像执行预定计算而获得的图像也被称为复原图像。注意的是，在下文中，除非另有说明，否则将通过使用成像元件121基本上接收可见光的示例情况来描述本技术。

即，成像元件121可以对被摄体进行成像，并且获得关于检测图像的数据。例如，成像元件121可以经由读取控制单元122将关于检测图像的数据供应给恢复单元124，并且使得生成复原图像。此外，例如，成像元件121可以经由读取控制单元122将与检测图像相关的数据供应给关联单元125等，并且使元数据等被关联。当然，成像元件121可以将与检测图像相关的数据供应给任意处理单元等。此外，例如，成像元件121可以获取经由总线110供应的关于成像元件121的控制信息，并基于该控制信息进行操作。

读取控制单元122被配置为执行与来自成像元件121的数据读取控制相关的处理，并控制检测图像的分辨率。例如，读取控制单元122控制从成像元件121的检测图像的读取，并且选择性地读取作为从成像元件121的每个像素输出单位的输出的检测信号。

例如，读取控制单元122可以从成像元件121的所有像素输出单位读取检测信号，并且选择所读取的所有像素输出单位的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择部分像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的所有像素输出单位读取检测信号，并且选择相应像素输出单位的读取的检测信号中的一些作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择在任意位置处的部分像素输出单位。即，例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择在任意位置处的部分像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的所有像素输出单位读取检测信号，并且选择从相应像素输出单位读取的检测信号当中在任意位置处的部分像素输出单位读取的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素输出单位。即，例如，读取控制单元122可以在成像元件121的多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的所有像素输出单位读取检测信号，并且从相应像素输出单位读取的检测信号当中选择从处于具有预定规则性的位置关系的部分像素输出单位读取的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以选择在其中形成成像元件121的多个像素输出单位的区域的一个部分区域中形成的像素输出单位。即，例如，读取控制单元122可以选择在上述部分区域中形成的像素单位输出，并且从所选择的像素输出单位读取检测信号。此外，例如，读取控制单元122可以从成像元件121的所有像素输出单位读取检测信号，并且从相应像素输出单位读取的检测信号当中选择从在上述部分区域中形成的像素输出单位读取的检测信号作为要包括在检测图像中的检测信号。

例如，读取控制单元122可以从成像元件121的所有像素输出单位读取检测信号、按照每个预定数量将相应像素输出单位的读取的检测信号相加在一起并且将相加之后的检测信号组设置为检测图像。

选择要用作检测图像的检测信号还意味着选择未采用的检测信号。即，读取控制单元122通过选择检测信号(包括选择所有检测信号的情况)来控制(设置)检测图像的分辨率。例如，读取控制单元122通过从成像元件121读取所有像素的检测信号、通过稀疏掉检测信号来从成像元件121读取检测信号、稀疏掉从成像元件121读取的检测信号或者按照每个预定数量将从成像元件121读取的检测信号相加在一起来控制(设置)检测图像的分辨率。

读取控制单元122经由总线110将读取的检测图像(设置了其分辨率)(在执行稀疏化、相加等的情况下，为处理之后的检测图像)供应给其它处理单元等(例如，恢复矩阵设置单元123、恢复单元124、关联单元125等)。

恢复矩阵设置单元123被配置为执行与恢复矩阵的设置相关的处理。通过执行预定计算，可以将检测图像转换成复原图像。虽然稍后将描述细节，但是预定计算是将检测图像中包括的检测信号乘以预定系数并将它们相加在一起。即，可以通过执行预定矩阵运算将检测图像转换成复原图像。在本说明书中，将包括用于矩阵运算的上述系数的矩阵称为恢复矩阵。

例如，恢复矩阵设置单元123设置与由读取控制单元122设置了其分辨率的检测图像对应的恢复矩阵(当从由读取控制单元122选择性地读取的检测信号恢复复原图像时使用的恢复矩阵)。即，恢复矩阵与要处理的检测图像的分辨率对应。例如，恢复矩阵设置单元123经由总线110将设置的恢复矩阵供应给其它处理单元等(例如，恢复单元124、关联单元125等)。

注意的是，在用于将检测图像转换成复原图像的预定矩阵运算中，可以将检测图像转换成具有任意分辨率的复原图像。在那种情况下，仅要求恢复矩阵设置单元123取决于检测图像的分辨率和复原图像的目标分辨率来设置具有行数和列数的恢复矩阵。

注意的是，例如，恢复矩阵设置单元123可以获取经由总线110供应的关于恢复矩阵设置单元123的控制信息，并基于该控制信息进行操作。

恢复单元124被配置为执行与复原图像的生成相关的处理。例如，恢复单元124通过执行预定计算从关于从成像元件121供应的检测图像的数据(检测信号等)来生成复原图像。此外，恢复单元124经由总线110将关于生成的复原图像的数据(像素值等)供应给其它处理单元等。

注意的是，在成像元件121中，例如，通过使用滤色器获得其中混合了多个颜色分量的检测图像，并且可以通过由恢复单元124对检测图像执行预定计算来获得其中混合了多个颜色分量的原始图像。然后，恢复单元124可以将混合了多个颜色分量的原始图像作为复原图像供应给其它处理单元等，或者可以对原始图像执行同步处理、颜色分离处理等(例如，去马赛克处理等)，并将经过处理的图像作为复原图像供应给其它处理单元等。当然，在成像元件121中，获得单色检测图像或每种颜色的检测图像，并且不需要同步处理、颜色分离处理等(例如，去马赛克处理等)。

此外，恢复单元124可以对复原图像执行任意图像处理，例如，伽马校正(γ校正)、白平衡调整等，并且将关于图像处理之后的复原图像的数据供应给其它处理单元等。而且，恢复单元124可以转换复原图像的数据的格式，或者用例如诸如联合摄影专家组(JPEG)、标记图像文件格式(TIFF)、图形交换格式(GIF)等预定压缩方法压缩数据、并将转换(压缩)之后的数据供应给其它处理单元等。

注意的是，例如，恢复单元124可以获取经由总线110供应的关于恢复单元124的控制信息，并基于该控制信息进行操作。

关联单元125被配置为执行与数据关联相关的处理。例如，关联单元125将用于生成复原图像的预定计算的数据(例如，系数等)与关于从成像元件121等供应的检测图像的数据(检测信号等)相关联。

在此，术语“关联”是指例如在一个信息(数据、命令、程序等)的处理中使其它信息可用(可链接)。即，彼此相关联的信息可以被组合成一个文件等，或者可以是单独的信息片段。例如，可以在与用于信息A的发送路径不同的发送路径上发送与信息A相关联的信息B。此外，例如，可以将与信息A相关联的信息B记录在与用于信息A的记录介质不同的记录介质(或同一记录介质的其它记录区块)上。注意的是，这个“关联”可以是针对信息的一部分，而不是全部信息。例如，图像和与该图像对应的信息可以以任意单位，诸如多个帧、一个帧或帧内的一部分彼此关联。

此外，例如，关联单元125经由总线110将关联的数据供应给其它处理单元等。注意的是，例如，关联单元125可以获取经由总线110供应的关于关联单元125的控制信息，并且基于该控制信息进行操作。

传感器单元126被配置为执行与检测相关的处理。例如，传感器单元126包括任意传感器，并且检测预定参数。例如，传感器单元126检测与成像装置100的外围状态相关的参数、与成像装置100的状态相关的参数等。例如，传感器单元126检测与成像元件121的状态相关的参数。此外，例如，传感器单元126经由总线110将检测到的信息供应给其它处理单元等。注意的是，例如，传感器单元126可以获取经由总线110供应的关于传感器单元126的控制信息，并且基于该控制信息进行操作。

<成像元件>

接下来，将参考图2至20描述成像元件121。

<像素和像素输出单位>

在本说明书中，将通过使用术语“像素”(或“像素输出单位”)来描述本技术。在本说明书中，“像素”(或“像素输出单位”)是指其中形成有用于接收成像元件121的入射光的物理配置的区域(也称为像素区域)中包括至少一个能够独立于其它像素接收光的物理配置的划分单位。能够接收光的物理配置是例如光电转换元件，并且是例如光电二极管(光电二极管(PD))。在一个像素中形成的物理配置(例如，光电二极管)的数量是任意的，并且可以是单数或复数。物理配置的类型、大小、形状等也是任意的。

此外，除了上述“能够接收光的物理配置”之外，“像素”单位的物理配置还包括与接收入射光相关的所有物理配置，例如，片上透镜、遮光膜、滤色器、平坦化膜、抗反射膜等。而且，可以包括诸如读取电路之类的配置。即，像素单位的物理配置可以是任何配置。

此外，从“像素”读取的检测信号(即，像素单位的物理配置)可以被称为“像素单位(或像素输出单位)的检测信号”等。而且，像素单位(或像素输出单位)的检测信号也被称为“像素单位检测信号(或像素输出单位检测信号)”。此外，像素单位检测信号也被称为“像素输出”。而且，像素输出的值也被称为“输出像素值”。

成像元件121的像素单位的检测信号的值(输出像素值)可以独立于其它像素单位具有指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。即，成像元件121的每个像素单位(像素输出单位)具有以下配置：可独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。例如，在成像元件121中，至少两个像素单位的输出像素值可以分别具有不同的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

注意的是，如上所述，由于包括在“像素(或像素输出单位)”中的“能够接收光的物理配置”的数量是任意的，因此像素单位检测信号可以是通过单个“能够接收光的物理配置”获得的检测信号，或者可以是通过多个“能够接收光的物理配置”获得的检测信号。

此外，还可以在任意阶段将多个像素单位检测信号(输出像素值)组合成一个。例如，多个像素的输出像素值可以在模拟信号状态下相加在一起，或者可以在被转换成数字信号之后相加在一起。

此外，在从成像元件121读取检测信号之后，换句话说，在检测图像中，可以将多个检测信号组合成单个信号，或者可以将单个检测信号转换成多个信号。即，检测图像的分辨率(数据的数量)是可变的。

顺便提及，在下文中，为了便于描述，除非另有说明，否则将假设成像元件121包括其中多个像素布置在矩阵中(形成像素阵列)的像素区域进行描述。注意的是，成像元件121的像素(或像素输出单位)的布置图案是任意的，并且不限于这个示例。例如，像素(或像素输出单位)可以布置在蜂窝结构中。此外，例如，像素(或像素输出单位)可以布置为一行(或一列)。即，成像元件121可以是线传感器。

注意的是，其中成像元件121(其像素)具有灵敏度的波长范围是任意的。例如，成像元件121(其像素)可以对可见光具有灵敏度，可以对诸如红外光或紫外光之类的不可见光具有灵敏度，或者可以对可见光和不可见光均具有灵敏度。例如，在成像元件检测到是不可见光的远红外光的情况下，可以通过使用在成像元件中获得的捕获的图像来生成热成像图(表示热分布的图像)。但是，在具有成像透镜的成像元件的情况下，玻璃难以透射远红外光，因此要求包括昂贵的特殊材料的成像透镜，并且存在制造成本增加的可能性。由于成像元件121可以在不使用成像透镜等的情况下对被摄体进行成像并且获得关于捕获的图像的数据，因此可以通过使像素能够检测远红外光来抑制制造成本的增加。即，可以以较低的成本执行远红外光的成像(可以以较低的成本获得热成像图)。注意的是，在成像元件121(其像素)对不可见光具有灵敏度的情况下，复原图像不成为用户可以在其中从视觉上识别被摄体的图像，而是成为用户在其中不能从视觉上识别被摄体的图像。换句话说，复原图像可以是可见光的图像，或者可以是不可见光(例如，(远)红外光、紫外光等)的图像。

<入射角度方向性>

成像元件121包括多个像素输出单位，这多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。例如，成像元件121具有如下配置：使得各自指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性成为彼此不同的特性。即，在那种情况下，成像元件121可以获得用于多个像素输出单位的检测信号(多个像素输出单位检测信号)，以及各自指示多个像素输出单位检测信号中的至少两个像素输出单位检测信号相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性彼此不同。

在此，“入射角度指向性”是指取决于入射光的入射角度的光接收灵敏度特性，换句话说，相对于入射光的入射角度的检测灵敏度。例如，即使当入射光具有相同的光强度时，检测灵敏度也可以取决于入射角度而改变。检测灵敏度的这种偏差(包括没有偏差的情况)被称为“入射角度方向性”。

例如，当具有彼此相同的光强度的入射光束以彼此相同的入射角度进入两个像素输出单位的物理配置时，像素输出单位的检测信号的信号电平(检测信号电平)可以是彼此不同的值。成像元件121(其每个像素输出单位)具有具有这种特征的物理配置。

入射角度方向性可以通过任何方法来实现。例如，入射角度方向性可以通过例如在具有与例如一般互补金属氧化物半导体(CMOS)图像传感器等的基本结构相似的基本结构的成像元件的光电转换元件(光电二极管等)的前侧(光入射侧)提供遮光膜来实现。

当仅利用包括彼此具有相同入射角度方向性的像素的一般成像元件执行成像时，具有基本上相同的光强度的光束进入成像元件的所有像素中，并且不能获得所形成的被摄体的图像。因此，一般而言，在成像元件的前侧(光入射侧)提供有成像透镜或针孔。例如，通过提供成像透镜，来自被摄体表面的光可以作为图像在成像元件的成像表面上形成。因此，成像元件可以获得具有与在每个像素处形成的被摄体的图像对应的电平的检测信号(即，可以获得所形成的被摄体的捕获的图像)。但是，在这种情况下，物理上增加了大小，并且存在难以减小装置大小的可能性。此外，在提供针孔的情况下，与提供成像透镜的情况相比，大小减小变得可能，但是进入成像元件的光量减少，因此必须采取措施，诸如增加曝光时间或增加增益，并且在高速被摄体的成像中可能会出现模糊，或者自然色彩表现会丢失。

另一方面，成像元件121具有例如使得多个像素输出单位当中的至少两个像素输出单位的输出像素值的入射角度方向性为彼此不同的特性的配置。利用这种配置，例如，成像元件121具有入射角度方向性，其中相应像素的检测灵敏度彼此不同。即，对于每个像素，取决于入射光的入射角度的光接收灵敏度特性是不同的。但是，不必所有像素的光接收灵敏度特性都彼此完全不同，并且部分像素可以具有相同的光接收灵敏度特性，并且部分像素可以具有不同的光接收灵敏度特性。

例如，在图2中，在假设构成被摄体表面131的光源是点光源的情况下，在成像元件121中，从相同点光源发射的具有相同光强度的光束入射在所有像素上，但是以不同的入射角度入射在相应像素上。然后，由于成像元件121的像素分别具有彼此不同的入射角度方向性，因此以彼此不同的灵敏度来检测具有相同光强度的光束。即，针对每个像素检测具有不同信号电平的检测信号。

更详细地，由表示取决于入射角度的光接收灵敏度的系数表述取决于在成像元件121的每个像素处接收的入射光的入射角度的灵敏度特性，换句话说，取决于在每个像素处的入射角度的入射角度方向性，并且通过乘以与取决于入射光的入射角度的光接收灵敏度对应地设置的系数来获得取决于每个像素中的入射光的检测信号的信号电平(也称为检测信号电平)。

更具体而言，如图2的左上部分所示，在位置Pa、Pb和Pc处的检测信号电平DA、DB和DC分别由以下方程(1)至(3)表示。

DA＝α1×a+β1×b+γ1×c …(1)

DB＝α2×a+β2×b+γ2×c …(2)

DC＝α3×a+β3×b+γ3×c …(3)

在此，α1是取决于要在成像元件121上的位置Pa处恢复的来自点光源PA的光束在被摄体表面131上的入射角度而设置的系数。此外，β1是取决于要在成像元件121上的位置Pa处恢复的来自点光源PB的光束在被摄体表面131上的入射角度而设置的系数。而且，γ1是取决于要在成像元件121上的位置Pa处恢复的来自点光源PC的光束在被摄体表面131上的入射角度而设置的系数。

如方程(1)中所指示的，位置Pa处的检测信号电平DA由来自位置Pa处的点光源PA的光束的光强度“a”与系数α1的乘积、来自位置Pa处的点光源PB的光束的光强度“b”与系数β1的乘积以及来自位置Pa处的点光源PC的光束的光强度“c”与系数γ1的乘积之和(复合值)表述。在下文中，将系数αx、βx和γx(x是自然数)统称为系数集。

类似地，方程(2)的系数集α2、β2和γ2是取决于要在成像元件121上的位置Pb处恢复的来自点光源PA、PB和PC的光束在被摄体表面131上的入射角度而设置的系数集。即，如上述方程(2)中那样，位置Pb处的检测信号电平DB由来自位置Pb处的点光源PA的光束的光强度“a”与系数α2的乘积、来自位置Pb处的点光源PB的光束的光强度“b”与系数β2的乘积以及来自位置Pb处的点光源PC的光束的光强度“c”与系数γ2的乘积之和(复合值)表述。此外，方程(3)中的系数α3、β3和γ3是取决于要在成像元件121上的位置Pc处恢复的来自点光源PA、PB和PC的光束入射到被摄体表面131上的入射角度而设置的系数集。即，如上述方程(3)中那样，位置Pc处的检测信号电平DC由来自位置Pc处的点光源PA的光束的光强度“a”与系数α3的乘积、来自位置Pc处的点光源PB的光束的光强度“b”与系数β3的乘积以及来自位置Pc处的点光源PC的光束的光强度“c”与系数γ3的乘积之和(复合值)表述。

如上所述，由于从点光源PA、PB和PC发射的光束的光强度被混合，因此这些检测信号电平与形成被摄体图像的检测信号电平不同。即，图2的右上部所示的检测信号电平不是与形成被摄体图像的图像(捕获的图像)对应的检测信号电平，因此，检测信号电平不同于图2的右下部分所示的像素值(一般而言它们不匹配)。

但是，通过使用系数集α1、β1和γ1、系数集α2、β2和γ2，系数集α3、β3和γ3以及检测信号电平DA、DB和DC配置联立方程，并且使用a、b和c作为变量来求解上述方程(1)至(3)的联立方程，有可能获得相应位置Pa、Pb和Pc处的像素值，如图2的右下部分所示。因此，恢复了作为像素值集合的复原图像(其中形成有被摄体图像的图像)。

利用这种配置，成像元件121可以在每个像素中输出指示由入射光的入射角度调制的输出像素值的一个检测信号，而不需要成像透镜、包括衍射光栅等的滤光器、针孔等。因此，成像透镜、包括衍射光栅等的滤光器、针孔等不是必不可少的配置，从而有可能在实现成像功能的配置中减小成像装置的高度，换句话说，减小沿着光入射方向的厚度。

<入射角度方向性的形成>

图3的左部分图示了一般成像元件的像素阵列单元的一部分的正视图，并且图3的右部分图示了成像元件121的像素阵列单元的一部分的正视图。注意的是，图3图示了其中像素阵列单元具有水平方向×垂直方向的像素数为6像素×6像素的配置的示例；但是，像素数的配置不限于此。

入射角度方向性例如可以由遮光膜形成。如图3的左部分的示例中所示，在一般成像元件151中，具有相同入射角度方向性的像素151a被布置在阵列中。另一方面，在图3的右部分的示例中的成像元件121设有遮光膜121b，该遮光膜是调制元件之一，以覆盖每个像素121a的光电二极管的光接收区域的一部分，并且取决于入射角度对进入每个像素121a的入射光进行光学调制。然后，例如，通过为每个像素121a提供在不同范围内的遮光膜121b，对于每个像素121a，相对于入射光的入射角度的光接收灵敏度不同，并且每个像素121a具有不同的入射角度方向性。

例如，像素121a-1和像素121a-2具有被提供的遮光膜121b-1和遮光膜121b-2所遮蔽的像素的不同范围(遮光区域(位置)或遮光区块中的至少一个不同)。换句话说，在像素121a-1中，提供遮光膜121b-1以遮蔽光电二极管的光接收区域中左侧的一部分预定宽度，并且在像素121a-2中，提供遮光膜121b-2以遮蔽光接收区域中右侧的一部分预定宽度，该宽度在水平方向上比遮光膜121b-1宽。类似地，在其它像素121a中，提供遮光膜121b，使得对于每个像素遮蔽光接收区域中的不同范围，并且将遮光膜121b随机地布置在像素阵列中。

注意的是，由于随着每个像素的光接收区域的覆盖率的增加，可以被接收的光量减少，因此期望将遮光膜121b的范围设置为可以确保期望的光量的区块，并且遮光膜121b的该区块可以被配置有限制，例如能够接收光的范围的至多大约3/4。以这种方式，变得有可能确保大于或等于期望量的光量。但是，如果提供具有与要接收的光的波长对应的宽度的非遮蔽范围，那么对于每个像素，有可能接收最小量的光。换句话说，例如，在蓝色像素(B像素)的情况下，波长大约为500nm，并且如果该像素没有被大于或等于与这个波长对应的宽度的光遮蔽，那么有可能接收最小量的光。

<成像元件的配置示例>

参考图4，将描述在这种情况下的成像元件121的配置示例。图4的上部是成像元件121的侧视横截面视图，图4的中间部分是成像元件121的顶视图。此外，图4的上部中的侧视横截面视图是图4的中间部分中的AB横截面。而且，图4的下部是成像元件121的电路配置示例。

具有图4中所示的配置的成像元件121包括多个像素输出单位，这多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。例如，成像元件121具有如下配置：使得各自指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性为彼此不同的特性。此外，在这种情况下的成像元件121中，多个像素输出单位具有如下配置：对于每个像素输出单位，可独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

在图4的上部的成像元件121中，入射光从图中的上侧进入下侧。相邻像素121a-15和121a-16是所谓的背照式，其中在该图的最下层中提供了布线层Z12，并且在其上提供了光电转换层Z11。

注意的是，在不必区分像素121a-15与121a-16的情况下，将像素121a-15和121a-16简称为像素121a，并且其它配置也类似地提到。此外，图4图示了构成成像元件121的像素阵列的两个像素的侧视图和顶视图；但是，不用说，布置了更多的像素121a，但省略了其图示。

而且，像素121a-15和121a-16分别在光电转换层Z11中包括光电二极管121e-15和121e-16。此外，在光电二极管121e-15和121e-16上，分别从上方形成片上透镜121c-15和121c-16以及滤色器121d-15和121d-16。

片上透镜121c-15和121c-16将入射光聚焦在光电二极管121e-15和121e-16上。

滤色器121d-15和121d-16是例如透射特定波长(诸如红色、绿色、蓝色、红外和白色)的光的滤光器。注意的是，在白色的情况下，滤色器121d-15和121d-16可以是透明滤光器，或者不必存在。

在像素121a-15和121a-16的光电转换层Z11中，遮光膜121p-15至121p-17分别在像素之间的边界处形成，并且抑制了相邻像素之间的串扰。

此外，作为调制元件之一的遮光膜121b-15和121b-16遮蔽了光接收表面S的一部分，如图4的上部和中间部分中所示。光接收表面S的一部分被遮光膜121b遮蔽，由此进入像素121a的入射光取决于入射角度而被光学调制。由于像素121a检测到被光学调制的入射光，因此像素121a具有入射角度方向性。在像素121a-15和121a-16中的光电二极管121e-15和121e-16的光接收表面S上，不同的范围分别被遮光膜121b-15和121b-16遮蔽，由此为每个像素设置不同的入射角度方向性。但是，不限于在成像元件121的所有像素121a中被遮光的范围彼此不同的情况，可以存在其中相同范围被遮光的部分像素121a。

利用图4的上部中所示的配置，遮光膜121p-15的右端和遮光膜121b-15的上端连接在一起，并且遮光膜121b-16的左端和遮光膜121p-16的上端连接在一起，并且当从侧面看时它们具有L形。

而且，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17包括金属，例如钨(W)、铝(Al)或Al和铜(Cu)的合金。此外，在半导体工艺中与形成配线的工艺相同的工艺中，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17可以同时用与配线相同的金属形成。注意的是，取决于位置，遮光膜121b-15至121b-17和遮光膜121p-15至121p-17的膜厚度不必相同。

此外，如图4的下部中所示，像素121a包括光电二极管161(与光电二极管121e对应)、转移晶体管162、浮动扩散(FD)部分163、选择晶体管164、放大晶体管165和复位晶体管166，并且经由垂直信号线167连接到电流源168。

光电二极管161被配置为使得阳极电极单独地接地，并且阴极电极经由转移晶体管162单独地连接到放大晶体管165的栅极。

根据转移信号TG分别驱动转移晶体管162。例如，当供应给转移晶体管162的栅极电极的转移信号TG变为高电平时，转移晶体管162接通。因此，累积在光电二极管161中的电荷经由转移晶体管162被转移到FD部分163。

放大晶体管165是源极跟随器的输入单元，该源极跟随器是读取电路，其读取通过光电二极管161中的光电转换获得的信号，并将与FD部分163中累积的电荷对应的电平的像素信号输出到垂直信号线23。换句话说，其中漏极端子连接到电源电压VDD且源极端子经由选择晶体管164连接到垂直信号线167的放大晶体管165与连接到垂直信号线167的一端的电流源168一起构成源极跟随器。

浮动扩散(FD)部分163是包括在转移晶体管162和放大晶体管165之间提供的电荷电容C1的浮动扩散区域，并且临时累积从光电二极管161经由转移晶体管162转移的电荷。FD部分163是电荷检测单元，其将电荷转换成电压，并将在FD部分163中累积的电荷转换成放大晶体管165中的23电压。

选择晶体管164根据选择信号SEL被驱动，并且当供应给栅极电极的选择信号SEL变为高电平时接通，并且将放大晶体管165和垂直信号线167连接在一起。

复位晶体管166根据复位信号RST被驱动。例如，当供应给栅极电极的复位信号RST变为高电平时，复位晶体管166接通，将在FD部分163中累积的电荷放电到电源电压VDD，并且FD部分163被复位。

利用上述电路配置，图4的下部中所示的像素电路如下操作。

换句话说，作为第一操作，复位晶体管166和转移晶体管162接通，在FD部分163中累积的电荷被放电到电源电压VDD，并且FD部分163被复位。

作为第二操作，复位晶体管166和转移晶体管162截止，并且开始曝光时段，并且与入射光的光量对应的电荷由光电二极管161累积。

作为第三操作，复位晶体管166接通并且FD部分163被复位，然后复位晶体管166截止。通过这个操作，FD部分163被复位，并且被设置为参考电位。

作为第四操作，处于复位状态的FD部分163的电位从放大晶体管165输出作为参考电位。

作为第五操作，转移晶体管162接通，并且在光电二极管161中累积的电荷被转移到FD部分163。

作为第六操作，光电二极管的电荷被转移到的FD部分163的电位作为信号电位从放大晶体管165输出。

通过以上处理，从信号电位减去参考电位，并通过相关的双采样(CDS)将其作为检测信号输出。取决于来自被摄体的入射光的入射角度来调制检测信号的值(输出像素值)，并且特性(方向性)取决于入射角度而变化(具有入射角度方向性)。

如上所述，在图4的情况下，像素121a为每个像素提供了一个光电二极管121e，并且针对每个像素121a的不同范围被遮光膜121b并且通过使用遮光膜121b的光学调制来遮蔽，可以用一个像素121a来表述用于具有入射角度方向性的检测图像的一个像素的检测信号。

<成像元件的其它配置示例>

此外，入射角度方向性可以由例如光接收元件(例如，光电二极管)的像素中的位置、大小、形状等形成。具有不同参数的像素对来自相同方向的具有相同光强度的入射光具有不同的灵敏度。即，通过为每个像素设置这些参数，可以为每个像素设置入射角度方向性。

例如，可以在像素中提供并选择性地使用多个光接收元件(例如，光电二极管)。以这种方式，可以通过选择光接收元件来为每个像素设置入射角度方向性。

图5是图示成像元件121的其它配置示例的图。图5的上部图示了成像元件121的像素121a的侧视横截面视图，图5的中间部分图示了成像元件121的顶视图。此外，图5的上部的侧视横截面视图是图5的中间部分的AB横截面。而且，图5的下部是成像元件121的电路配置示例。

具有图5所示的配置的成像元件121包括多个像素输出单位，这多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。例如，成像元件121具有如下配置：使得各自指示多个像素输出单位中的至少两个像素输出单位的输出像素值相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性成为彼此不同的特性。此外，在这种情况下的成像元件121中，通过使对输出有贡献的光电二极管(PD)彼此不同，多个像素输出单位可以针对每个像素输出单位独立地设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

如图5中所示，成像元件121具有与图5的成像元件121不同的配置，在于在像素121a中形成四个光电二极管121f-1至121f-4，并且遮光膜121p在将光电二极管121f-1至121f-4彼此分离的区域中形成。换句话说，在图5的成像元件121中，当从顶部观察时，遮光膜121p以“+”形形成。注意的是，公共的部件由相同的附图标记表示，并且将省略其详细描述。

在如图5所示配置的成像元件121中，光电二极管121f-1至121f-4被遮光膜121p隔开，由此可以防止光电二极管121f-1至121f-4之间的电和光学串扰。换句话说，类似于图4的成像元件121的遮光膜121p，图5的遮光膜121p用于防止串扰，而不用于提供入射角度方向性。

虽然稍后将描述细节，但是光电二极管121f-1至121f-4具有不同的入射角度，在该入射角度处光接收灵敏度特性增加。即，取决于光电二极管121f-1至121f-4中的哪个被用于读取电荷，可以将期望的入射角度方向性赋予像素121a的输出像素值。即，有可能控制像素121a的输出像素值的入射角度方向性。

在图5的成像元件121的配置示例中，一个FD部分163由四个光电二极管121f-1至121f-4共享。图5的下部图示了电路配置示例，其中一个FD部分163被四个光电二极管121f-1至121f-4共享。注意的是，在图5的下部中，将省略与图4的下部相同的部件的描述。

图5的下部与图4的下部的电路配置的不同之处在于提供光电二极管161-1至161-4(与图5的上部中的光电二极管121f-1至121f-4对应)和转移晶体管162-1至162-4代替光电二极管161和转移晶体管162，并且FD部分163是共享的。

在图5的下部中所示的电路中，在不必将它们彼此区分的情况下，光电二极管161-1至161-4被称为光电二极管161。此外，在不必将它们彼此区分的情况下，转移晶体管162-1至162-4被称为转移晶体管162。

在图5的下部中所示的电路中，当转移晶体管162中的任何一个被接通时，与转移晶体管162对应的光电二极管161的电荷被读取，并且被转移到公共FD部分163。然后，在像素输出单位中，将与保持在FD部分163中的电荷的电平对应的信号读取为检测信号。即，可以彼此独立地读取每个光电二极管161的电荷，并且有可能取决于哪个转移晶体管162接通来控制使用哪个光电二极管161来读取电荷。换句话说，有可能取决于哪个转移晶体管162接通来控制每个光电二极管161对输出像素值的贡献程度。例如，通过使读取电荷的光电二极管161在至少两个像素之间彼此不同，可以使对输出像素值有贡献的光电二极管161彼此不同。即，通过选择读取电荷的光电二极管161，可以将期望的入射角度方向性赋予像素121a的输出像素值。即，从每个像素121a输出的检测信号可以是取决于来自被摄体的入射光的入射角度而被调制的值(输出像素值)。

例如，在图5中，光电二极管121f-1和121f-3的电荷被转移到FD部分163，并且通过读取它们而获得的信号被相加在一起，由此图中水平方向上的入射角度方向性可以被赋予像素121a的输出像素值。类似地，光电二极管121f-1和光电二极管121f-2的电荷被转移到FD部分163，并且将通过读取它们而获得的信号相加在一起，由此图中垂直方向上的入射角度方向性可以被赋予像素121a的输出像素值。

注意的是，基于图5的像素121a的相应光电二极管121f的电荷获得的信号可以在从像素读取之后被相加在一起，或者可以在像素(例如，FD部分163)内被相加在一起。

此外，用于将电荷(或与电荷对应的信号)相加在一起的光电二极管121f的组合是任意的，并且不限于以上示例。例如，可以将三个或更多个光电二极管121f的电荷(或与电荷对应的信号)相加在一起。此外，例如，可以在不执行相加的情况下读取一个光电二极管121f的电荷。

注意的是，例如，通过在将电荷读取到FD部分163之前使用电子快门功能复位累积在光电二极管161(光电二极管121f)中的检测值(电荷)，期望的入射角度方向性可以被赋予像素121a(其检测灵敏度)。

例如，在使用电子快门功能的情况下，如果紧接在到FD部分163的读取之前执行光电二极管121f的电荷的复位，那么可以使光电二极管121f对像素121a的检测信号电平没有贡献，并且如果在复位和到FD部分163的读取之间给出时间，那么可以做出部分贡献。

如上所述，图5的每个像素121a包括四个光电二极管121f，并且，虽然遮光膜121b未在光接收表面上形成，但是被遮光膜121p划分为多个区域，并且形成四个光电二极管121f-1至121f-4，并表述用于具有入射角度方向性的检测图像的一个像素的检测信号。换句话说，例如，在光电二极管121f-1至121f-4当中对输出没有贡献的范围类似于被遮光的区域运作，并且表述用于具有入射角度方向性的检测图像的一个像素的检测信号。注意的是，在通过使用光电二极管121f-1至121f-4表述用于一个像素的检测信号的情况下，由于不使用遮光膜121b，因此该检测信号不是通过光学调制获得的信号。

以上，已经描述了在像素中布置有四个光电二极管的示例；但是，布置在像素中的光电二极管的数量是任意的，并且不限于以上示例。即，像素中其中布置有光电二极管的部分区域的数量也是任意的。

此外，在以上描述中，光电二极管布置在通过将像素的内部均等地划分为四个区域而获得的四个部分区域中；但是，部分区域不必相等地划分。即，部分区域的大小和形状不必统一(可以包括具有不同大小和形状的部分区域)。可替代地，对于每个光电二极管(对于每个部分区域)，布置在每个部分区域中的光电二极管的位置(在部分区域中的位置)、大小、形状等可以不同。那时，部分区域的大小和形状可以全部统一或可以不统一。

而且，不必对于成像元件121的所有像素统一这些参数。即，在成像元件121的一个或多个像素中，这些参数中的一个或多个可以与其它像素的参数不同。

例如，成像元件121的像素组可以包括其中用于形成像素中布置有光电二极管的部分区域的划分位置不同于其它像素的像素。即，成像元件121可以包括其部分区域具有与其它像素不同的大小和形状的一个或多个像素。例如，通过使划分位置对于每个像素不同，即使在多个像素中仅使用左上光电二极管，也可以使在多个像素中的每个像素中检测到的检测信号的入射角度方向性彼此不同。

此外，例如，成像元件121的像素组可以包括其中布置在该像素中的多个光电二极管的位置、大小、形状等与其它像素不同的像素。即，成像元件121可以包括其中所布置的多个光电二极管的位置、大小或形状中的至少一个与其它像素不同的一个或多个像素。例如，通过使光电二极管的位置、大小、形状等对于每个像素不同，即使在多个像素中仅使用左上光电二极管，也可以使在多个像素中的每个像素中检测到的检测信号的入射角度方向性彼此不同。

而且，例如，可以包括其中部分区域的参数(大小、形状)和光电二极管的参数(位置、大小、形状)均不同于其它像素的一个或多个像素。

此外，例如，成像元件121的像素组可以包括其中用于形成像素中布置有光电二极管的部分区域的划分的数量与其它像素不同的像素。即，成像元件121可以包括其中所布置的光电二极管的数量不同于其它像素的一个或多个像素。例如，通过使针对每个像素的划分的数量(光电二极管的数量)不同，可以更自由地设置入射角度方向性。

<造成入射角度方向性的原理>

例如，基于图6中所示的原理来生成成像元件121中的每个像素的入射角度方向性。注意的是，图6的左上部分和右上部分是图示图4的成像元件121中的入射角度方向性的生成原理的图，并且图6的左下部分和右下部分是示出图5的成像元件121中的入射角度方向性的生成原理的图。

此外，图6的左上部分和右上部分中的每个像素包括一个光电二极管121e。另一方面，图6的左下部分和右下部分中的每个像素包括两个光电二极管121f。注意的是，在此，描述其中一个像素包括两个光电二极管121f的示例；但是，这是为了便于描述，并且一个像素中包括的光电二极管121f的数量可以是其它数量。

在图6的左上部分中，形成遮光膜121b-11，以在入射光从图中上侧到下侧进入时遮蔽光电二极管121e-11的光接收表面的右半部分。此外，在图6的右上部分中，形成遮光膜121b-12，以遮蔽光电二极管121e-12的光接收表面的左半部分。注意的是，指示图中的单点划线位于光电二极管121e的光接收表面在图中水平方向上的中心位置处，并且相对于光接收表面在垂直方向上。

例如，在图6的左上部分中所示的配置的情况下，来自由相对于图中的单点划线形成入射角度θ1的箭头指示的图中右上方向的入射光容易在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被接收到，但是来自由相对于图中的单点划线形成入射角度θ2的箭头指示的图中左上方向的入射光不容易在未被光电二极管121e-11的遮光膜121b-11遮蔽的左半范围内被接收到。因此，在图6的左上部分中所示的配置的情况下，入射角度方向性使得从图中右上方入射的光的光接收灵敏度特性高，而对于来自左上方的入射光，接收灵敏度特性低。

另一方面，例如，在图6的右上部分中所示的配置的情况下，来自由相对于图中的单点划线形成入射角度θ11的箭头指示的图中右上方向的入射光不容易在被光电二极管121e-12的遮光膜121b-12遮蔽的左半范围内被接收到，但是来自由相对于图中的单点划线形成入射角度θ12的箭头指示的图中左上方向的入射光容易在未被光电二极管121e-12的遮光膜121b-12遮蔽的右半范围内被接收到。因此，在图6的右上部分中所示的配置的情况下，入射角度方向性使得来自图中右上方的入射光的光接收灵敏度特性低，并且来自左上方的入射光的光接收灵敏度特性高。

此外，在图6的左下部分的情况下，光电二极管121f-1和121f-2分别设置在图的左侧和右侧，并且使该配置具有入射角度方向性，而无需通过读取检测信号之一来提供遮光膜121b。

换句话说，在如图6的左下部分中所示在像素121a中形成两个光电二极管121f-1和121f-2的情况下，通过使在图中左侧提供的光电二极管121f-1的检测信号对像素121a的检测信号电平有贡献，有可能使入射角度方向性与图6的左上部分中的配置的入射角度方向性相似。换句话说，由相对于图中的单点划线形成入射角度θ21的箭头指示的来自图中右上方向的入射光进入光电二极管121f-1并被接收，并且检测信号被读取并对像素121a的检测信号电平作出贡献。另一方面，由相对于图中的单点划线形成入射角度θ22的箭头指示的来自图中左上方向的入射光进入光电二极管121f-2，但是检测信号未被读取并且对像素121a的检测信号电平没有贡献。

类似地，在如图6的右下部分中所示在像素121a中形成两个光电二极管121f-11和121f-12的情况下，通过使在图中左侧提供的光电二极管121f-12的检测信号对像素121a的检测信号电平有贡献，有可能使入射角度方向性与图6的右上部分中的配置的入射角度方向性相似。换句话说，由相对于图中的单点划线形成入射角度θ31的箭头指示的来自图中右上方向的入射光进入光电二极管121f-11，但是检测信号未被读取并且对像素121a的检测信号电平没有贡献。另一方面，由相对于图中的单点划线形成入射角度θ32的箭头指示的来自图中左上方向的入射光进入光电二极管121f-12并被接收，并且检测信号被读取并对像素121a的检测信号电平作出贡献。

注意的是，在图6中，已经描述了其中垂直方向上的单点划线处于光电二极管121e的光接收表面在图中的水平方向上的中心位置处的示例；但是，这是为了便于描述，并且单点划线可以在其它位置处。通过在垂直方向上由单点划线指示的遮光膜121b的水平位置的差异，可以生成不同的入射角度方向性。

<包括片上透镜的配置中的入射角度方向性>

以上，已经描述了入射角度方向性的生成原理。但是，在此，将给出包括片上透镜121c的配置中的入射角度方向性的描述。

换句话说，除了上述遮光膜121b之外，还通过使用片上透镜121c来设置成像元件121中每个像素的入射角度方向性，例如，如图7中所示。换句话说，在图7的左中部分，从该图的上部的入射方向开始，聚焦入射光的片上透镜121c-11、透射预定波长的光的滤色器121d-11和通过光电转换生成像素信号的光电二极管121e-11按这个次序层叠，并且在图7的中右部分，从该图的上部的入射方向开始，片上透镜121c-12、滤色器121d-12和光电二极管121e-12按这个次序布置。

注意的是，在不必区分片上透镜121c-11与121c-12、滤色器121d-11与121d-12以及光电二极管121e-11与121e-12的情况下，它们被简单地称为片上透镜121c、滤色器121d和光电二极管121e。

成像元件121还设有遮蔽分别在图7的左中部分和右中部分中所示的接收入射光的区域的一部分的遮光膜121b-11和121b-12。

如图7的中左部分中所示，在设有遮光膜121b-11以遮蔽图中的光电二极管121e-11的右半部分的情况下，光电二极管121e-11的检测信号电平如图7的上部的实线波形所指示的那样取决于入射光的入射角度θ而改变。

换句话说，当作为由入射光相对于在光电二极管121e和片上透镜121c的中心位置处并且垂直于光电二极管121e和片上透镜121c中的每一个的单点划线形成的角度的入射角度θ增加时(当入射角度θ在正方向增加(图中向右方向倾斜)时)，光聚焦在未提供遮光膜121b-11的范围内，由此光电二极管121e-11的检测信号电平增加。相反，随着入射角度θ减小(随着入射角度θ在负方向增加(图中向左方向倾斜))，光聚焦在提供了遮光膜121b-11的范围内，由此光电二极管121e-11的检测信号电平减小。

注意的是，在入射光的方向与单点划线一致的情况下，此处入射角度θ被定义为0度，并且在图7的左中处的入射角度θ21侧上的入射角度θ(以该角度图中来自右上方的入射光进入)被定义为正值，并且在图7的右中处的入射角度θ22侧的入射角度θ被定义为负值。因此，在图7中，从右上方进入片上透镜121c的入射光的入射角度大于从左上方进入的入射光的入射角度。即，在图7中，入射角度θ随着入射光的行进方向向右倾斜(在正方向上增加)而增加，并且随着行进方向向左倾斜(在负方向上增加)而减小。

此外，如图7的右中部分中所示，在设有遮光膜121b-12以遮蔽图中的光电二极管121e-12的左半部分的情况下，光电二极管121e-12的检测信号电平如在图7的上部中的点线波形所指示的那样取决于入射光的入射角度θ而改变。

换句话说，如图7的上部中的点线波形所指示，随着作为由入射光相对于在光电二极管121e和片上透镜121c的中心位置处并且垂直于光电二极管121e和片上透镜121c中的每一个的单点划线形成的角度的入射角度θ增加(随着入射角度θ在正方向增加)，光聚焦在提供有遮光膜121b-12的范围上，由此光电二极管121e-12的检测信号电平减小。相反，随着入射角度θ减小(随着入射角度θ在负方向上增加)，光进入未提供遮光膜121b-12的范围，由此光电二极管121e-12的检测信号电平增加。

注意的是，在图7的上部，水平轴指示入射角度θ，而垂直轴指示光电二极管121e中的检测信号电平。

由于可以取决于遮光膜121b的范围来改变由图7的上部中所示的指示取决于入射角度θ的检测信号电平的实线和虚线所指示的波形，因此变得可能在相应像素单位中给出(设置)彼此不同的入射角度方向性。注意的是，图7的上部中的实线波形与指示图7的中左部分和左下部分中的入射光随着入射角度θ改变而聚焦的实线箭头对应。此外，图7的上部中的点线波形与指示图7的中右部分和右下部分中的入射光随着入射角度θ改变而聚焦的点线箭头对应。

在此入射角度方向性是取决于入射角度θ的每个像素的检测信号电平的特性(光接收灵敏度特性)，但是在图7的中间部分的示例的情况下，也可以说这是取决于入射角度θ的遮光值的特性。换句话说，遮光膜121b以高级别阻挡特定方向上的入射光，但不能充分阻挡来自特定方向以外的其它方向的入射光。如图7的上部中所示，这种遮光级别的改变造成取决于入射角度θ的不同检测信号电平。因此，当每个像素可以以最高级别被遮光的方向被定义为每个像素的遮光方向时，换句话说，在相应像素单位中具有彼此不同的入射角度方向性是在相应像素中具有彼此不同的遮光方向。

而且，如图7左下部分中所示，对于为一个片上透镜121c-11提供两个光电二极管121f-1和121f-2的配置(像素输出单位包括两个光电二极管121f-1和121f-2)，通过仅使用图的左部分中的光电二极管121f-1的检测信号，有可能获得与在图7的左中部分中光电二极管121e-11的右侧被遮光的状态下相同的检测信号电平。

换句话说，当作为由入射光相对于片上透镜121c的中心位置处并且彼此垂直的单点划线形成的角度的入射角度θ增加时(当入射角度θ在正方向上增加时)，光聚焦在光电二极管121f-1的从其读取检测信号的范围上，由此检测信号电平增加。相反，随着入射角度θ减小(随着入射角度θ在负方向上增加)，光聚焦在光电二极管121f-2的未从其读取检测值的范围上，由此检测信号电平减小。

此外，类似地，如图7的右下部分所示，对于为一个片上透镜121c-12提供两个光电二极管121f-11和121f-12的配置，通过仅使用图的右部分中光电二极管121f-12的检测信号，有可能获得与在图7的右中部分中光电二极管121e-12的左侧被遮光的状态下的相同检测信号电平的输出像素单位的检测信号。

换句话说，当作为由入射光相对于位于片上透镜121c的中心位置处且彼此垂直的单点划线形成的角度的入射角度θ增加时(当入射角度θ在正方向上增加时)，光被聚焦在光电二极管121f-11的其中检测信号对输出像素单位的检测信号没有贡献的范围上，由此输出像素单位的检测信号的检测信号电平减小。相反，随着入射角度θ减小(随着入射角度θ在负方向上增加)，光被聚焦在光电二极管121f-12的其中检测信号对输出像素单位的检测信号有贡献的范围上，由此输出像素单位的检测信号的检测信号电平增加。

注意的是，期望入射角度方向性具有高随机性。这是因为存在可能性：例如，当相邻像素具有相同的入射角度方向性时，上述方程(1)至(3)或稍后描述的方程(4)至(6)变为彼此相同的方程，并且方程的数量和作为联立方程的解的未知数的数量之间的关系不能满足，并且不能获得构成复原图像的像素值。此外，在图7的中间部分所示的配置中，在像素121a中形成一个光电二极管121e-11和一个光电二极管121e-12。另一方面，在图7的下部所示的配置中，在像素121a中形成两个光电二极管121f-1和121f-2以及两个光电二极管121f-11和121f-12。因此，例如，在图7的下部，单个光电二极管121f不构成一个像素。

此外，如图7的下部所示，在一个像素输出单位包括多个光电二极管121f的情况下，可以认为像素输出单位的输出像素值取决于入射角度而被调制。因此，可以使输出像素值的特性(入射角度方向性)在像素输出单位中不同，并且设置在一个像素输出单位中的入射角度方向性。而且，在一个像素输出单位包括多个光电二极管121f的情况下，为了在一个像素输出单位中生成入射角度方向性，一个像素输出单位一个片上透镜121c的配置是必不可少的。

此外，如图7的上部所示，在一个光电二极管121e-11或一个光电二极管121e-12独立地构成一个像素输出单位的情况下，到构成一个像素输出单位的一个光电二极管121e-11或一个光电二极管121e-12的入射光取决于入射角度而被调制，由此对输出像素值进行调制。因此，可以使输出像素值的特性(入射角度方向性)彼此不同，并且设置一个像素输出单位中的入射角度方向性。而且，在一个光电二极管121e-11或一个光电二极管121e-12独立地构成一个像素输出单位的情况下，在制造时，通过为每个像素输出单位提供的遮光膜121b独立地设置入射角度方向性。

此外，如图7的下部所示，在一个像素输出单位包括多个光电二极管121f的情况下，为了设置每一个像素输出单位的入射角度方向性，多个光电二极管121f的位置和数量(构成一个像素输出单位的光电二极管121f的划分的数量)在制造时在一个像素输出单位中被独立地设置，而且，关于使用多个光电二极管121f当中的哪个光电二极管121f来设置入射角度方向性，有可能在成像时进行切换。

<入射角度方向性的设置>

例如，如图8的上部所示，将遮光膜121b的设置范围设置为水平方向上的从像素121a中的左端到位置A的范围以及垂直方向上从上端到位置B的范围。

在这种情况下，在水平方向上设置从0至1的权重Wx，该权重Wx用作取决于从每个像素的水平方向上的中心位置的入射角度θx(度)的入射角度方向性的指标。更详细地，在假设入射角度θx＝与位置A对应的θa处权重Wx为0.5的情况下，设置权重Wh以使得权重Wx在入射角度θx＜θa-α处为1，并且权重Wx在θa-α≤入射角度θx≤θa+α处为(-(θx-θa)/2α+1/2)，并且权重Wx在入射角度θx>θa+α处为0。注意的是，在此，将描述权重Wh为0、0.5和1的示例；但是，当满足理想条件时，权重Wh为0、0.5和1。

类似地，垂直方向上设置从0至1的权重Wy，该权重Wy用作取决于从每个像素的垂直方向上的中心位置的入射角度θy(度)的入射角度方向性的指标。更详细地，在假设入射角度θy＝与位置B对应的θb处权重Wx为0.5的情况下，设置权重Wy以使得权重Wy在入射角度θy＜θb-α处为0，权重Wy在θb-α≤入射角度θy≤θb+α处为((θy-θb)/2α+1/2)，并且权重Wy在入射角度θy>θb+α处为1。

然后，通过使用这样获得的权重Wx和Wy，可以获得每个像素121a的入射角度方向性，换句话说，与光接收灵敏度特性对应的系数(系数集)。

此外，此时，通过使用具有不同焦距的片上121c来设置指示在水平方向上的权重Wx和在垂直方向上的权重Wy在0.5附近的范围内的权重改变的倾斜度(1/2α)。

换句话说，通过使用具有不同曲率的片上透镜121c可以获得不同的焦距。

例如，通过使用具有不同曲率的片上透镜121c，如图8的下部中的实线所指示的，当将光聚焦以使焦距在遮光膜121b上时，倾斜度(1/2α)变陡。换句话说，在图8的上部中，在权重在0.5附近的水平方向上的入射角度θx＝θa并且垂直方向的入射角度θy＝θb的边界附近，水平方向上的权重Wx和垂直方向上的权重Wy急剧变为0或1。

此外，例如，通过使用具有不同曲率的片上透镜121c，当焦距如图8下部中的点线所指示的那样聚焦在光电二极管121e上时，倾斜度(1/2α)变为适度。换句话说，在图8的上部中，在其中水平方向上的Wx和垂直方向上的权重Wy在0.5附近的水平方向上入射角度θx＝θa和垂直方向上入射角度θy＝θb的边界附近，倾斜度适度地变为0或1。

如上所述，通过使用具有不同曲率以形成不同焦距的片上透镜121c，可以获得不同的入射角度方向性，换句话说，不同的光接收灵敏度特性。

因此，通过使光电二极管121e被遮光膜121b遮蔽的范围和片上透镜121c的曲率不同，可以将像素121a的入射角度方向性设置为不同的值。注意的是，片上透镜的曲率对于成像元件121中的所有像素可以是相同的，或者对于部分像素可以是不同的。

<片上透镜与成像透镜之间的差异>

如上所述，成像元件121不要求成像透镜。但是，至少在如参考图5所述通过在像素中使用多个光电二极管来实现入射角度方向性的情况下，片上透镜121c是必需的。片上透镜121c和成像透镜具有不同的物理功能。

成像透镜具有聚焦功能，用于使从相同方向进入的入射光进入彼此相邻的多个像素。另一方面，穿过片上透镜121c的光仅入射在构成一个对应像素的光电二极管121e或121f的光接收表面上。换句话说，为每个像素输出单位提供片上透镜121c，并且将进入片上透镜121c的被摄体光仅聚焦在对应的像素输出单位上。换句话说，片上透镜121c不具有使从虚拟点光源发射的漫射光进入彼此相邻的多个像素的聚焦功能。

<被摄体表面与到成像元件的距离之间的关系>

接下来，将参考图9描述被摄体表面与到成像元件121的距离之间的关系。

如图9的左上部分中所示，在成像元件121与被摄体表面131之间的被摄体距离是距离d1的情况下，例如，当在被摄体表面131上的点光源PA、PB和PC被设置时，假设成像元件121上的对应位置Pa、Pb和Pc处的检测信号电平DA、DB和DC可以由与上述方程(1)至(3)相同的方程表述。

DA＝α1×a+β1×b+γ1×c···(1)

DB＝α2×a+β2×b+γ2×c···(2)

DC＝α3×a+β3×b+γ3×c···(3)

另一方面，如图9的左下部分中所示，在其中到成像元件121的被摄体距离是比距离d1大d的距离d2的被摄体表面131'的情况下，换句话说，在当从成像元件121观看时位于被摄体表面131的后面的被摄体表面131'的情况下，检测信号电平DA、DB和DC都是相似的，如图9的上中部分和下中部分中所示。

但是，在这种情况下，来自被摄体表面131'上的点光源PA'、PB'和PC'的光强度为a'、b'和c'的光束被成像元件121的每个像素接收。此时，由于在成像元件121上接收的具有光强度a'、b'和c'的光束的入射角度不同(改变)，因此要求相应不同的系数集，并且相应位置Pa、Pb和Pc中的检测信号电平DA、DB和DC电平例如由以下方程(4)至(6)中指示的那样表述。

DA＝α11×a'+β11×b'+γ11×c'···(4)

DB＝α12×a'+β12×b'+γ12×c'···(5)

DC＝α13×a'+β13×b'+γ13×c'···(6)

在此，包括系数集α11、β11和γ11、系数集α12、β12和γ12以及系数集α13、β13和γ13的系数集组是分别与被摄体表面131中的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3对应的被摄体表面131'的系数集组。

因此，通过使用预设系数集组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13求解方程(4)至(6)，变得有可能获得来自点光源PA'、PB'和PC'的光束的光强度(a'，b'，c')，如图9的右下部分中所示，其方法与在如图9的右上部分中所示的被摄体表面131的情况下获得点光源PA、PB和PC中的光束的光强度(a，b，c)的方法类似，由此，变得有可能在被摄体表面131'上获得被摄体的复原图像。

换句话说，在图1的成像装置100中，预先存储了从成像元件121到被摄体表面的每个距离的系数集组，通过切换系数集组来配置联立方程，并且求解所配置的联立方程，由此变得有可能基于一个检测图像以各种被摄体距离获得被摄体表面的复原图像。

即，通过一次简单地捕获检测图像，通过在后续处理中取决于到被摄体表面的距离切换系数集组来获得复原图像，由此还有可能生成任意距离处的复原图像。

此外，在图像识别的情况下或者在期望获得被摄体(诸如可见图像或除可见图像之外)的特性的情况下，还有可能通过对成像元件的检测信号应用机器学习(诸如深度学习)通过使用检测信号本身来执行图像识别等，而无需在获得复原图像之后基于复原图像来执行图像识别。

此外，在可以指定被摄体距离和视角的情况下，可以通过使用包括相应像素的检测信号的检测图像来生成复原图像，其中每个像素的入射角度方向性适于对与指定的被摄体距离和视角对应的被摄体表面进行成像，而无需使用所有像素。以这种方式，可以通过使用适于对与指定的被摄体距离和视角对应的被摄体表面进行成像的像素的检测信号来获得复原图像。

例如，考虑像素，如图10的上部中所示，被遮光膜121b从四个侧面的每一端以宽度d1遮蔽的像素121a，以及如图10的下部中所示，被遮光膜121b从四个侧面的每一端以宽度d2(＞d1)遮蔽的像素121a'。

如图11的上部中所示，像素121a例如被用于恢复与包括作为被摄体的整个人H101的视角SQ1对应的图10的图像I1。另一方面，如图11的上部中所示，像素121a'例如被用于恢复与其中作为被摄体的人H101的脸部的外周被放大的视角SQ2对应的图10的图像I2。

这是因为，如图12的左部分中所示，图10的像素121a相对于成像元件121具有入射光角度范围A，由此可以在被摄体表面131上在水平方向上针对被摄体宽度W1接收入射光。

另一方面，由于与图10的像素121a相比，图10的像素121a'具有更宽的遮光范围，因此如图12的左侧部分中所示，相对于成像元件121的入射光角度范围为B(＜A)，使得可以在被摄体表面131上在水平方向上针对被摄体宽度W2(＜W1)接收入射光。

即，具有窄遮光范围的图10的像素121a是适于对被摄体表面131上的宽范围进行成像的宽视角像素，而具有宽遮光范围的图10的像素121a'是适于对被摄体表面131上的窄范围进行成像的窄视角像素。注意的是，此处宽视角像素和窄视角像素是用于将图10的像素121a与121a'彼此进行比较的表述，并且当比较具有其它视角的像素时不限于这些。

注意的是，图12图示了相对于成像元件121的中心位置C1，被摄体表面131上的位置与来自每个位置的入射光的入射角度之间的关系。此外，图12图示了被摄体表面131上的位置与从被摄体表面131上的每个位置的入射光的入射角度之间相对于水平方向的关系，但是对于垂直方向存在相似的关系。而且，在图12的右部分上，图示了图10的像素121a和121a'。

利用这种配置，如图11的下部分中所示，在其中在由点线包围的范围ZA中聚集了图10的预定数量的像素121a并且在其中在由单点划线包围的范围ZB中聚集了图10的预定数量的像素121a'的情况下，在成像元件121中，当要恢复与被摄体宽度W1对应的视角SQ1的图像时，使用对视角SQ1进行成像的图10的像素121a，由此可以适当地恢复被摄体表面131上被摄体宽度W1的图像。

类似地，当要恢复与被摄体宽度W2对应的视角SQ2的图像时，使用对视角SQ2进行成像的图10的像素121a'的检测信号电平，由此可以适当地恢复被摄体宽度W2的图像。

注意的是，在图11的下部中，图示了其中预定数量的像素121a'在该图的左侧提供并且预定数量的像素121a在右侧提供的配置；但是，这是作为用于简化描述的示例而示出的，并且期望将像素121a和像素121a'布置为随机地混合。

如上所述，视角SQ2比视角SQ1窄，因此在要以相同的预定数量的像素恢复视角SQ2和视角SQ1的图像的情况下，与恢复视角SQ1的图像相比，通过恢复具有较窄视角的视角SQ2的图像，可以获得具有更高图像质量的复原图像。

即，在考虑通过使用相同数量的像素来获得复原图像的情况下，可以通过恢复具有较窄视角的图像来获得具有较高图像质量的复原图像。

注意的是，在获得具有宽视角的图像作为复原图像的情况下，可以使用宽视角像素中的所有像素，或者可以使用宽视角像素中的一些。此外，在获得具有窄视角的图像作为复原图像的情况下，可以使用窄视角像素中的所有像素，或者可以使用窄视角像素中的一些。

通过如上所述使用成像元件121，由此，成像透镜、包括衍射光栅等的光学元件、针孔等是不必要的(成为无成像透镜的)，从而有可能增加装置设计的自由度，并且还有可能实现装置相对于入射光的入射方向的小型化，并且有可能降低制造成本。此外，也不需要与用于形成光学图像的成像透镜对应的透镜，诸如聚焦透镜。

而且，通过使用成像元件121，仅获取检测图像，然后，通过求解通过选择性地使用与被摄体距离和视角对应的系数集组而配置的联立方程来获得复原图像，由此变得有可能生成具有各种被摄体距离和视角的复原图像。

而且，由于成像元件121可以在像素单位中具有入射角度方向性，因此与包括衍射光栅、常规成像元件等的滤光器相比，有可能实现多像素，并且还有可能获得具有高分辨率和高角度分辨率的复原图像。另一方面，在包括滤光器和常规成像元件的成像装置中，由于即使像素被小型化也难以使滤光器小型化，因此难以实现复原图像的高分辨率等。

此外，由于成像元件121不要求包括衍射光栅等的滤光器，因此不会出现滤光器由于使用环境的温度升高而受热变形的情况。因此，通过使用这种成像元件121，变得有可能实现具有高耐环境性的装置。

<第一修改>

在图3的右部分中，作为成像元件121的每个像素121a中的遮光膜121b的配置，已经描述了其中在垂直方向上执行整个遮光并且在水平方向上改变遮光宽度和位置的示例，由此在水平方向上给出了入射角度方向性的差异；但是，遮光膜121b的配置不限于这个示例。例如，整个遮光在水平方向上执行，并且宽度(高度)和位置在垂直方向上改变，由此可以在垂直方向上给出入射角度方向性上的差异。

注意的是，如在图3的右部分中所示的示例中，在垂直方向上遮蔽整个像素121a并且在水平方向上遮蔽具有预定宽度的像素121a的遮光膜121b被称为水平带型遮光膜121b。另一方面，在水平方向上遮蔽整个像素121a并且在垂直方向上以预定高度遮蔽像素121a的遮光膜121b被称为垂直带型遮光膜121b。

此外，如图13的左部分中所示的示例中所示，像素121a可以设有通过组合垂直带型和水平带型遮光膜121b而获得的L形遮光膜121b。在图13的左部分中，用黑色指示的部分是遮光膜121b。即，遮光膜121b-21至121b-24分别是像素121a-21至121a-24的遮光膜。

这些像素(像素121a-21至121a-24)中的每一个都具有入射角度方向性，如图13的右部分中所示。图13的右部分中所示的曲线图图示了每个像素中的光接收灵敏度。横轴表示入射光的水平方向(x方向)上的入射角度θx，纵轴表示入射光的垂直方向(y方向)上的入射角度θy。然后，在范围C4内的光接收灵敏度高于在范围C4之外的光接收灵敏度，在范围C3内的光接收灵敏度高于在范围C3之外的光接收灵敏度，在范围C2内的光接收灵敏度高于在范围C2之外的光接收灵敏度，并且在范围C1内的光接收灵敏度高于在范围C1之外的光接收灵敏度。

因此，表明对于每个像素，满足水平方向(x方向)上的入射角度θx和垂直方向(y方向)上的入射角度θy在范围C1内的条件的入射光的检测信号电平最高，并且检测信号电平按照在范围C2、范围C3、范围C4以及范围C4以外的范围内的条件的次序减小。这种光接收灵敏度强度由被遮光膜121b遮蔽的范围确定。

此外，在图13的左部分中，每个像素121a中的字母指示滤色器的颜色(为了便于描述而指示字母，并且实际上并未书写)。像素121a-21是其中布置有绿色滤色器的G像素，像素121a-22是其中布置有红色滤色器的R像素，像素121a-23是其中布置有蓝色滤色器的B像素，而像素121a-24是其中布置有绿色滤色器的G像素。即，这些像素形成拜耳阵列。当然，这是示例，并且滤色器的布置图案是任意的。遮光膜121b和滤色器的布置无关紧要。例如，在部分或全部像素中，可以提供除滤色器以外的过滤器，或者可以不提供过滤器。

在图13的左部分中，图示了其中“L形”遮光膜121b遮蔽像素121a的图中的左侧和下方的示例；但是，“L形”遮光膜121b的朝向是任意的，并且不限于图13的示例。例如，“L形”遮光膜121b可以遮蔽像素121a的图中的下侧和右侧，可以遮蔽像素121a的图中的右侧和上侧，或者可以遮蔽像素121a的图中的上侧和左侧。当然，可以针对每个像素独立地设置遮光膜121b的朝向。注意的是，“L形”遮光膜121b也被统称为“L形类型遮光膜121b”。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与通过上述L形类型遮光膜121b的入射光方向性等同的入射光方向性。

<第二修改>

以上，已经描述了其中在每个像素中布置水平带型、垂直带型和L形类型遮光膜以使得被遮光的范围随机改变的示例；但是，例如，如图14的成像元件121'所示，可在提供矩形开口的情况下，形成遮蔽除在每个像素中接收光束的位置附近的范围以外的范围(图中以黑色指示的范围)的遮光膜121b。

换句话说，可以在为每个像素设置矩形开口的情况下提供遮光膜121b，使得给出入射角度方向性，其中在预定被摄体距离处从构成被摄体表面的点光源发射的光束中仅接收通过矩形开口的光束。

注意的是，在图14中，例如，遮光膜121b的水平宽度相对于水平像素布置改变为宽度dx1，dx2，···dxn，并且存在dx1＜dx2＜···＜dxn的关系。类似地，遮光膜121b的垂直高度相对于垂直像素布置改变为高度dy1，dy2，···dym，并且存在dy1＜dy2＜···＜dxm的关系。此外，遮光膜121b的水平宽度和垂直宽度中的每一个的改变间隔取决于要恢复的被摄体分辨率(角分辨率)。

换句话说，可以说，图14的成像元件121'中的每个像素121a的配置具有入射角度方向性，其中被遮光的范围被改变以与水平方向和垂直方向上成像元件121'中的像素布置对应。

更详细地，例如，根据通过使用在图15的左部分中所示的像素121a描述的规则来确定图14的每个像素121a的遮光范围。

注意的是，图15的右部分图示了与图14相同的成像元件121'的配置。此外，图15的左部分图示了图15的右部分中的成像元件121'的像素121a的配置(与图14相同)。

如图15的左部分中所示，像素被遮光膜121b从像素121a的上侧和下侧的端部分别朝着像素121a的内部以宽度dx1遮蔽，并且被遮光膜121b从左侧和右侧的端部分别朝着像素121a的内部以高度dy1遮蔽。注意的是，在图15和16中，遮光膜121b在用黑色指示的范围内。

在图15的左部分中，将被遮光膜121b的这种形成遮光的范围在下文中被称为像素121a的主遮光部分Z101(图15的左部分中的黑色部分)，并将除此以外的矩形范围称为范围Z102。

在像素121a中，在范围Z102中提供有未被遮光膜121b遮蔽的矩形开口Z111。因此，在范围Z102中，除矩形开口Z111以外的范围被遮光膜121b遮蔽。

如图15的右部分所示(与图14相同)，在图14的成像元件121'中的像素布置中，左上端的像素121a-1具有布置有矩形开口Z111的配置，使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距dy1。

类似地，位于像素121a-1右侧的像素121a-2具有以下配置：矩形开口Z111被布置为使得其左侧与像素121a的左侧相距宽度dx2，并且其上侧与像素121a的上侧相距高度dy1，并且除矩形开口Z111以外的范围被遮光膜121b遮蔽。

类似地，在水平方向上相邻的像素121a中，随着布置向图的右侧前进，矩形开口Z111的右侧从像素121a的右侧移动至宽度dx1，dx2···dxn。注意的是，在图15的范围Z102中的右上部分的点线矩形部分图示了这样一种状态，其中矩形开口Z111被布置为使得其左侧与像素121a的左侧相距宽度dxn，并且其上侧与像素121a的上侧相距dy1。此外，宽度dx1，dx2···dxn之间的每个间隔是通过从范围Z102的水平宽度减去矩形开口Z111的宽度而获得的宽度除以水平方向上的像素数n而获得的值。换句话说，通过除以水平方向上的像素数n来确定水平方向上的改变间隔。

此外，成像元件121'中的像素121a中的矩形开口Z111的水平位置在成像元件121'中具有相同水平位置的像素121a(同一列中的像素121a)中相同。

而且，在像素121a-1的正下方的像素121a-3具有如下配置：矩形开口Z111被布置为使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距高度dy2，并且除矩形开口Z111以外的范围被遮光膜121b遮蔽。

类似地，在垂直方向上相邻的像素121a中，随着布置向图中的下侧前进，矩形开口Z111的上侧从像素121a的上侧移动到高度dy1，dy2，···dyn。注意的是，在图15的范围Z102中的左下部分的点线矩形部分图示了这样一种状态，其中矩形开口Z111被布置为使得其左侧与像素121a的左侧相距宽度dx1，并且其上侧与像素121a的上侧相距高度dym。此外，高度dy1，dy2，···dym之间的每个间隔是通过从范围Z102的垂直高度减去矩形开口Z111的高度而获得的高度除以垂直方向上的像素数m而获得的值。换句话说，通过除以垂直方向上的像素数m来确定垂直方向上的改变间隔。

此外，成像元件121'中的像素121a中的矩形开口Z111的垂直位置在成像元件121'中具有相同垂直位置的像素121a(同一行中的像素121a)中相同。

而且，可以通过改变构成图15(图14)所示的成像元件121'的每个像素121a的主遮光部分Z101和矩形开口Z111来改变视角。

图16的右部分图示了在视角宽于图15的成像元件121'(图14)的情况下成像元件121'的配置。此外，图16的左部分图示了图16的右部分中的成像元件121'的像素121a的配置。

换句话说，如图16的左部分中所示，例如，在像素121a中，主遮光部分Z151(图16的左部分中的黑色部分)被设置为具有比图15中的主遮光部分Z101窄的遮光范围，并且除此以外的范围被设置为范围Z152。而且，在范围Z152中，将矩形开口Z161设置为具有比矩形开口Z111更大的开口面积。

更详细地，如图16的左部分中所示，像素被遮光膜121b分别从像素121a的上侧和下侧的端部朝像素121a的内部遮蔽宽度dx1'(＜dx1)，并且被遮光膜121b分别从左侧和右侧的端部向像素121a的内部遮蔽高度dy1遮蔽(＜dy1)，由此形成矩形开口Z161。

在此，如图16的右部分中所示，左上方的像素121a-1具有如下配置：矩形开口Z161被布置为使得其左侧与像素121a的左侧相距宽度dx1'，并且其上侧与像素121a的上侧相距高度dy1'，并且除矩形开口Z161以外的范围被遮光膜121b遮蔽。

类似地，像素121a-1的右侧上的像素121a-2具有如下配置：矩形开口Z161被布置为使得其左侧与像素121a的左侧相距宽度dx2'，并且其上侧与像素121a的上侧相距高度dy1'，并且除矩形开口Z161以外的范围被遮光膜121b遮蔽。

类似地，在水平方向上相邻的像素121a中，随着布置向图中的右侧进行，矩形开口Z161的右侧从像素121a的右侧移动到宽度dx1'，dx2'···dxn'。在此，宽度dx1'，dx2'···dxn'之间的每个间隔是通过从范围Z152的水平宽度减去矩形开口Z161的水平宽度而获得的宽度除以水平方向上的像素数n而获得的值。换句话说，通过除以水平方向上的像素数n来确定垂直方向上的改变间隔。因此，宽度dx'，dx2'···dxn'之间的改变间隔大于宽度dx1，dx2···dxn之间的改变间隔。

此外，图16的成像元件121'中的像素121a中的矩形开口Z161的水平位置在成像元件121'中具有相同水平位置的像素121a(同一列中的像素121a)中相同。

而且，在像素121a-1的正下方的像素121a-3具有以下配置：矩形开口Z161被布置为使得其左侧与像素121a的左侧相距宽度dx1'，并且其上侧与像素121a的上侧相距高度dy2'，并且除矩形开口Z161以外的范围被遮光膜121b遮蔽。

类似地，在垂直方向上相邻的像素121a中，随着布置向图中的下侧前进，矩形开口Z161的上侧从像素121a的上侧改变为高度dy1'，dy2'···dym'。在此，高度dy1'，dy2'···dym'之间的改变间隔是通过从范围Z152的垂直高度减去矩形开口Z161的高度而获得的高度除以垂直方向上的像素数m而得到的值。换句话说，通过除以垂直方向上的像素数m来确定垂直方向上的改变间隔。因此，高度dy1'，dy2'···dym'之间的改变间隔大于高度dy1，dy2···dym之间的改变间隔。

此外，图16的成像元件121'中的像素121a中的矩形开口Z161的垂直位置在成像元件121'中具有相同垂直位置的像素121a(同一行中的像素121a)中相同。

如上所述，通过改变主遮光部分的遮光范围和开口的开口范围的组合，变得有可能实现包括具有各种视角(具有各种入射角度方向性)的像素121a的成像元件121'。

而且，成像元件121可以通过不仅组合具有相同视角的像素121a而且还通过组合具有各种视角的像素121a来实现。

例如，如图17中所示，将包括由点线指示的两个像素×两个像素的四个像素定义为一个单位U，其中每个单位U包括具有宽视角的像素121a-W、具有中等视角的像素121a-M、具有窄视角的像素121a-N和具有极窄视角的像素121a-AN。

在这种情况下，例如，在所有像素121a的像素数为X的情况下，对于四种类型视角中的每一种，通过使用X/4像素的检测图像，变得有可能恢复复原图像。此时，将四种类型的不同系数集用于相应视角，并且通过四种类型的不同联立方程来恢复具有不同视角的复原图像。

为此，通过使用从适于对要恢复的视角进行成像的像素获得的检测图像来恢复具有要恢复的视角的复原图像，变得有可能恢复与四种类型的视角中的每一种对应的适当的复原图像。

此外，可以通过从具有四种类型的视角的图像内插来生成具有四种类型的视角之间的中间视角或围绕该中间视角的视角的图像，并通过无缝地生成具有各种视角的图像来实现伪光学变焦。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与通过包括矩形开口的上述遮光膜121b实现的入射光方向性等同的入射光方向性。当然，同样在这种情况下，可以通过组合具有各种视角的像素121a来实现成像元件121。此外，可以通过从具有多种类型的视角的图像中内插来生成具有中间视角或围绕该中间视角的视角的图像，并且可以通过无缝地生成具有各种视角的图像来实现伪光学变焦。

<第三修改>

顺便提及，在对成像元件121中的由像素121a的遮光膜121b遮蔽的范围赋予随机性的情况下，随着由遮光膜121b遮蔽的范围之差的随机性增加，恢复单元124等的处理负荷增加。因此，通过使被像素121a的遮光膜121b遮蔽的范围之差的一部分具有规则性，可以通过减小差异的随机性来减小处理负荷。

例如，构造通过组合垂直带型和水平带型而获得的L型遮光膜121b，并且对于预定列方向组合具有相同宽度的水平带型遮光膜121b，并且对于预定行方向组合具有相同高度的垂直带型遮光膜121b。以这种方式，每个像素121a的遮光膜121b的遮光范围在像素单位中被随机地设置为不同的值，同时在列方向和行方向上具有规则性。因此，有可能减小每个像素121a的遮光膜121b的遮光范围的差异，换句话说，每个像素的入射角度方向性的差异的随机性，并且有可能减轻诸如恢复单元124之类的成像元件121外部的处理负荷。

例如，在图18的成像元件121”的情况下，具有相同宽度X0的水平带型遮光膜121b被用于由范围Z130指示的同一列中的像素，并且具有相同高度Y0的垂直带型遮光膜121b被用于由范围Z150指示的同一行中的像素，并且为由每行和每列指定的像素121a设置组合了它们的L形类型遮光膜121b。

类似地，具有相同宽度X1的水平带型遮光膜121b被用于由与范围Z130相邻的范围Z131指示的同一列中的像素，并且具有相同高度Y1的垂直带型遮光膜121b被用于由与范围Z150相邻的范围Z151指示的同一行中的像素，并且为由每行和每列指定的像素121a设置组合了它们的L形类型遮光膜121b。

而且，具有相同宽度X2的水平带型遮光膜被用于由与范围Z131相邻的范围Z132指示的同一列中的像素，并且具有相同高度Y2的垂直带型遮光膜被用于由与范围Z151相邻的范围Z152指示的同一行中的像素，并且为由每行和每列指定的像素121a设置组合了它们的L形类型遮光膜121b。

以这种方式，有可能在赋予遮光膜121b的水平宽度和位置以及垂直高度和位置规则性的同时，在像素单位中将遮光膜的范围设置为不同的值，从而有可能抑制入射角度方向性的差异的随机性。因此，变得有可能减少系数集的图案，并且变得有可能减小后续阶段(例如，恢复单元124等)中的计算处理的处理负荷。

<第四修改>

遮光膜121b在像素单位中的形状的变化是任意的，并且不限于以上示例。例如，可以通过将遮光膜121b设置为三角形并使其范围不同来赋予(设置)不同的入射角度方向性，或者可以通过将遮光膜121b设置为圆形并使范围不同来赋予不同的入射角度方向性。此外，例如，可以使用在倾斜方向上具有线性形状的遮光膜等。

此外，可以通过构成包括预定数量的多个像素的单元的多个像素单位来设置遮光膜121b的变化(图案)。这一个单元可以包括任何像素。例如，成像元件121可以包括滤色器，并且该单元可以包括构成滤色器的颜色布置的单位的像素。此外，其中具有不同曝光时间的像素被组合的像素组可以被用作单元。注意的是，期望在构成单元的每个像素中被遮光膜121b遮蔽的范围内的图案的随机性高，换句话说，构成单元的像素分别具有不同的入射角度方向性。

此外，也可以在单元之间设置遮光膜121b的布置图案。例如，可以针对每个单元改变遮光膜的宽度和位置。而且，可以将被遮光膜121b遮蔽的范围内的图案设置在包括被分类为不同类别的多个像素的单元内或单元之间。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与在使被上述像素121a的遮光膜121b遮蔽的范围的改变的一部分具有规则性的情况下的入射光方向性等同的入射光方向性。以这种方式，有可能减小每个像素的入射角度方向性的差异的随机性，并且可以减小诸如恢复单元122的成像元件121外部的处理负荷。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来给出入射角度方向性的情况。即，通过适当地设置划分位置(每个部分区域的大小和形状)、每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与通过具有任意形状(例如，三角形、圆形、倾斜方向上的线性形状等)的遮光膜的入射光方向性等同的入射光方向性。

此外，例如，与上述遮光膜121b的情况类似地，可以为每个单元设置划分位置的设置(每个部分区域的大小和形状)、每个光电二极管的位置、大小、形状等的设置、光电二极管的选择等。

<光电二极管的控制>

在选择性地使用如上文参考图5所述布置在像素中的多个光电二极管的情况下，可以通过切换多个光电二极管121f的每个像素输出单位对输出像素值的贡献的存在/不存在和程度来使像素输出单位的输出像素值的入射角度方向性进行各种改变。

例如，如图19中所示，假设光电二极管121f-111至121f-119中的九个(垂直三×水平三)光电二极管121f布置在像素121a中。在这种情况下，像素121a可以被用作包括光电二极管121f-111至121f-119的像素121a-b，或者可以被用作包括光电二极管121f-111、121f-112、121f-114和121f-115的像素121a-s。

例如，在像素121a是像素121a-b的情况下，通过控制光电二极管121f-111至121f-119的像素121a对输出像素值的贡献的存在/不存在和程度来控制输出像素值的入射角度方向性。另一方面，在像素121a是像素121a-s的情况下，通过控制光电二极管121f-111、121f-112、121f-114和121f-115的像素121a对输出像素值的贡献的存在/不存在和程度来控制输出像素值的入射角度方向性。在这种情况下，使得其它光电二极管121f(光电二极管121f-113、121f-116、121f-117至121f-119)对输出像素值无贡献。

即，例如，在多个像素121a-b之间的输出像素值的入射角度方向性彼此不同的情况下，光电二极管121f-111至121f-119中的至少一个对输出像素值的贡献的存在/不存在和程度是不同的。另一方面，例如，在多个像素121a-s之间的输出像素值的入射角度方向性彼此不同的情况下，光电二极管121f-111、121f-112、121f-114或121f-115中的至少一个对输出像素值的贡献的存在/不存在和程度是不同的，而其它光电二极管121f-113、121f-116和121f-117至121f-119对通常在这些像素之间的输出像素值无贡献。

注意的是，可以为每个像素设置像素121a是像素121a-b还是像素121a-s。此外，可以为每个单元(多个像素)执行这种设置。

此外，如上所述，在成像元件121的每个像素(每个像素输出单位)中形成一个片上透镜。即，在如图19所示的示例中那样配置像素121a的情况下，如图20中所示，为光电二极管121f-111至121f-119提供一个片上透镜121c。因此，如参考图19所述，在像素121a是像素121a-b的情况下，以及在像素121a是像素121a-s的情况下，一个像素(一个像素输出单位)和一个片上透镜121c彼此一一对应。

<检测图像的分辨率控制>

上面已经描述了成像元件121。在图1的成像装置100中，使用如上所述的成像元件121。如上所述，成像元件121对于每个像素(像素输出单位)具有入射角度方向性。例如，如图21中所示，通过用遮光膜121b遮蔽像素121a(像素输出单位)的一部分来形成入射角度方向性。

在常规的成像元件中，不可能控制检测图像的分辨率。即，已经读取了成像元件的所有像素(像素输出单位)的检测信号，并且已经通过使用所有读取的检测信号来生成检测图像。然后，尚未公开如何处理检测图像以转换分辨率。专利文献1既没有描述也没有暗示这样的事实。

因此，例如，为了降低捕获的图像的分辨率，必须在将检测图像转换成捕获的图像之后降低分辨率。即，即使在降低分辨率的情况下，也必须以高分辨率状态执行从成像元件121读取检测图像以及从检测图像到捕获的图像的转换(图像处理)。因此，有可能负荷不必要地增加，并且功耗会不必要地增加。

另一方面，在成像装置100中，成像元件121具有如图21所示的每个像素(像素输出单位)的入射角度方向性，从而可以为每个像素(像素输出单位)选择检测信号。读取控制单元122控制来自成像元件121的检测图像的这种读取，并在作为在成像元件121的相应像素输出单位中获得的入射光的检测结果的检测信号当中选择要包括在检测图像中的检测信号，从而可以控制检测图像的分辨率。因此，例如，检测图像的分辨率可以比成像元件121的分辨率降低更多。即，可以抑制不必要的功耗的增加。

<全像素模式>

接下来，将描述读取控制单元122的控制。如图22中所示，成像装置100可以读取成像元件121的所有像素的检测信号，将所有检测信号用作检测图像，并且将检测图像转换成复原图像。这种操作模式被称为全像素模式。

在图22中，成像元件121中的每个四边形指示像素121a(像素单位输出)，并且像素阵列的状态在示意图中被示出在成像元件121中。注意的是，在图22中，图示了在水平方向上八个像素和在垂直方向上六个像素的像素阵列，但是成像元件121的像素数量是任意的。在本说明书中，假设成像元件121包括水平方向上的W个像素和垂直方向上的H个像素的像素阵列。

在全像素模式的情况下，读取控制单元122将读取控制信号提供给成像元件121，并且使得从成像元件121的所有像素读取检测信号。即，从成像元件121读取具有分辨率(W×H)的检测图像。在图22中，像素121a的对角线图案表示从中读取检测信号的像素121a。即，在全像素模式的情况下，从成像元件121的像素阵列中的所有像素读取检测信号。

此外，读取控制单元122还将读取的控制信号供应给恢复矩阵设置单元123。当生成具有分辨率(W×H)的复原图像时，根据读取的控制信号，恢复矩阵设置单元123设置包括与具有分辨率(W×H)的检测图像和具有分辨率(W×H)的复原图像对应的垂直(W×H)×水平(W×H)系数的恢复矩阵。

在恢复单元124中生成复原图像的情况下，恢复单元124获取具有从成像元件121读取的分辨率(W×H)的检测图像，获取包括在恢复矩阵设置单元123中设置的垂直(W×H)×水平(W×H)系数的恢复矩阵，并使用它们来生成分辨率为(W×H)的复原图像。

这个检测图像由成像元件121获得，并且是具有以上参考图1至20描述的特征的信息。即，检测图像是包括在相应像素输出单位中获得的检测信号的检测图像，该检测信号是通过由包括多个像素输出单位的成像元件对被摄体进行成像而获得的，这多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

然后，恢复矩阵也是以上参考图1至20描述的恢复矩阵，并且具有上述特征。即，这个恢复矩阵是包括当从检测图像恢复复原图像时使用的系数的矩阵。恢复单元124通过使用这种恢复矩阵从检测图像恢复复原图像。

<像素任意稀疏化模式>

此外，如图23中所示，成像装置100可以读取成像元件121的部分任意像素的检测信号，使用读取的部分任意像素的检测信号作为检测图像，并且将检测图像转换成复原图像。这种操作模式被称为像素任意稀疏化模式。

同样在图23中，与图22的情况类似地图示了成像元件121中的像素阵列。

在像素任意稀疏化模式的情况下，读取控制单元122将读取的控制信号供应给成像元件121，从成像元件121的像素阵列(多个像素输出单位)选择任意位置处的部分像素121a(像素输出单位)，并使得从选择的像素121a(图中具有对角线图案的像素)读取检测信号。读取控制单元122可以选择任意数量的像素。例如，可以选择T个像素。即，从成像元件121读取包括T个检测信号的检测图像。

注意的是，读取控制单元122可以将读取的控制信号供应给成像元件121，使得从成像元件121的像素阵列的所有像素121a读取检测信号，并且从读取的检测信号当中选择从部分任意像素读取的检测信号作为要包括在检测图像中的检测信号。

当然，在图23中选择的像素121a是示例，并且选择的像素121a不限于这个示例。可以预先确定选择哪个像素(其检测信号)(从哪个像素读取检测信号，或者从哪个像素选择读取的检测信号)。此外，可以预先准备用于设置选择哪个像素的多个候选(像素选择设置)，并且读取控制单元122可以从多个候选中进行选择。在那种情况下，读取控制单元122可以基于任意条件(例如，成像操作模式、帧速率、分辨率设置、被摄体距离、亮度、时间、位置、用户指令等)来执行选择。

注意的是，像素选择设置候选可以被存储在成像装置100的任意处理单元等中，诸如读取控制单元122中的存储器(未示出)或存储单元113。在那种情况下，候选可以在成像装置100的出厂时被存储，或者可以在出厂后被存储(或更新)。当然，可以在成像装置100的外部准备像素选择设置候选，并且读取控制单元122可以从外部候选执行选择。

此外，可以使读取控制单元122任意设置选择了哪个像素(其检测信号)。在那种情况下，例如，可以准备像素选择设置的初始值(初始设置)，并且读取控制单元122可以基于任意条件(例如，成像操作模式、帧速率、分辨率设置、被摄体距离、亮度、时间、位置、用户指令等)更新初始设置。此外，例如，读取控制单元122可以基于任意信息或随机地设置要选择的像素。

此外，读取控制单元122还将供应给成像元件121的读取的控制信号也供应给恢复矩阵设置单元123。当要生成分辨率为(W1×H1)的复原图像时，根据读取的控制信号，恢复矩阵设置单元123设置包括垂直(W1×H1)×水平T个系数的恢复矩阵，这些系数与包括T个检测信号的检测图像和具有分辨率(W1×H1)的复原图像对应。

在恢复单元124中生成复原图像的情况下，恢复单元124从成像元件121或读取控制单元122获取包括T个检测信号的检测图像，获取包括在恢复矩阵设置单元123中设置的垂直(W1×H1)×水平T个系数的恢复矩阵，并使用它们生成分辨率为(W1×H1)的复原图像。

<像素规则性稀疏化模式>

此外，如图24中所示，成像装置100可以读取处于具有成像元件121的预定规则性的位置关系的部分像素的检测信号，将读取的处于具有预定规则性的位置关系的部分像素的检测信号用作检测图像，并将检测图像转换成复原图像。这种操作模式被称为像素规则性稀疏化模式。

同样在图24中，与图22的情况类似地图示了成像元件121中的像素阵列。

在像素规则性稀疏化模式的情况下，读取控制单元122将读取的控制信号供应给成像元件121，从成像元件121的像素阵列(多个像素输出单位)中选择处于具有预定规则性的位置关系的位置处的部分像素121a，并且使检测信号从选择的像素121a(图中具有对角线图案的像素)读取。读取控制单元122可以选择任意数量的像素。例如，可以选择水平W2×垂直H2个像素。即，从成像元件121读取具有分辨率(W2×H2)的检测图像。

注意的是，读取控制单元122可以将读取的控制信号供应给成像元件121，使得从成像元件121的像素阵列的所有像素121a读取检测信号，并且从读取的检测信号当中选择从处于具有预定规则性的位置关系的像素读取的检测信号作为要包括在检测图像中的检测信号。

在图24中，每隔一个像素选择像素121a，但是这种选择是示例，并且选择的像素121a不限于这个示例。类似于像素任意稀疏化模式的情况，可以预先确定选择哪个像素，或者读取控制单元122可以从多个候选中进行选择，或者读取控制单元122可以任意地执行设置。

此外，读取控制单元122还将供应给成像元件121的读取的控制信号也供应给恢复矩阵设置单元123。当要生成具有分辨率(W2×H2)的复原图像时，根据读取的控制信号，恢复矩阵设置单元123设置包括垂直(W2×H2)×水平(W2×H2)个系数的恢复矩阵，这些系数与具有分辨率(W2×H2)的检测图像和具有分辨率(W2×H2)的复原图像对应。

在恢复单元124中生成复原图像的情况下，恢复单元124从成像元件121或读取控制单元122获取具有分辨率(W2×H2)的检测图像，获取包括在恢复矩阵设置单元123中设置的垂直(W2×H2)×水平(W2×H2)系数的恢复矩阵，并使用它们来生成分辨率为(W2×H2)的复原图像。

<区块驱动模式>

此外，如图25中所示，成像装置100可以读取在形成成像元件121的像素阵列的区域(像素区域)的一个部分区域中形成的像素的检测信号，将读取的部分区域中的像素的检测信号用作检测图像，并将检测图像转换成复原图像。这种操作模式被称为区块驱动模式。

同样在图25中，与图22的情况类似地图示了成像元件121中的像素阵列。

在区块驱动模式的情况下，读取控制单元122将读取的控制信号供应给成像元件121，选择在成像元件121的像素区域的一个部分区域中形成的像素121a(像素输出单位)，并且使得从选择的像素121a(图中具有对角线图案的像素)读取检测信号。读取控制单元122可以选择任意数量的像素。例如，可以选择水平W3×垂直H3个像素。即，从成像元件121读取具有分辨率(W3×H3)的检测图像。

注意的是，读取控制单元122可以将读取的控制信号供应给成像元件121，使得从成像元件121的像素阵列的所有像素121a读取检测信号，并且在读取的检测信号当中选择从在像素区域的预定部分区域中形成的像素121a读取的检测信号作为要包括在检测图像中的检测信号。

在图25中，选择了水平方向上的4个像素和垂直方向上的3个像素，总共12个像素，但是这种选择是示例，并且选择的像素121a不限于这个示例。类似于像素任意稀疏化模式的情况，可以预先确定选择哪个像素，或者读取控制单元122可以从多个候选中执行选择，或者读取控制单元122可以任意地执行设置。

此外，读取控制单元122还将供应给成像元件121的读取的控制信号也供应给恢复矩阵设置单元123。当要生成分辨率为(W3×H3)的复原图像时，根据读取的控制信号恢复矩阵设置单元123设置包括垂直(W3×H3)×水平(W3×H3)个系数的恢复矩阵，这些系数与分辨率为(W3×H3)的检测图像和分辨率为(W3×H3)的复原图像对应。

在恢复单元124中生成复原图像的情况下，恢复单元124从成像元件121或读取控制单元122获取具有分辨率(W3×H3)的检测图像，获取包括在恢复矩阵设置单元123中设置的垂直(W3×H3)×水平(W3×H3)个系数的恢复矩阵，并使用它们来生成分辨率为(W3×H3)的复原图像。

<像素相加模式>

此外，如图26中所示，成像装置100可以读取成像元件121的所有像素121a的检测信号，并且按照每个预定数量将读取的相应像素的检测信号相加在一起。这种操作模式被称为像素相加模式。

同样在图26中，与图22的情况类似地图示了成像元件121中的像素阵列。

在像素相加模式的情况下，读取控制单元122将读取的控制信号供应给成像元件121，使得从成像元件121的像素阵列的所有像素121a读取检测信号，并且按照每个预定数量将相应像素的读取的检测信号相加在一起。可以对每任意数量的像素执行相加。即，相加之后的检测图像的分辨率是任意的。例如，读取控制单元122可以将从成像元件121读取的分辨率为(W×H)的检测图像转换成分辨率为(W4×H4)的检测图像。

在图26中，对于每两个垂直像素×两个水平像素，将检测信号相加在一起。这是示例，并且将检测信号相加在一起(在具有什么关系的像素中将多少个检测信号相加在一起)的方法是任意的，并且不限于这个示例。可以预先确定将检测信号相加在一起的方法(像素相加设置)。此外，可以预先准备多个像素相加设置候选，并且读取控制单元122可以从多个候选中执行选择。在那种情况下，读取控制单元122可以基于任意条件(例如，成像操作模式、帧速率、分辨率设置、被摄体距离、亮度、时间、位置、用户指令等)来执行选择。

注意的是，像素相加设置候选可以存储在成像装置100的任意处理单元等中，诸如读取控制单元122中的存储器(未示出)或存储单元113。在那种情况下，可以使像素相加设置候选在成像装置100的出厂时被存储，或者可以在出厂后被存储(或更新)。当然，可以在成像装置100外部准备像素相加设置候选，并且读取控制单元122可以从外部候选执行选择。

此外，可以使读取控制单元122任意设置将检测信号相加在一起的方法。在那种情况下，例如，可以预先准备像素相加设置的初始值(初始设置)，并且读取控制单元122可以基于任意条件(例如，成像操作模式、帧速率、分辨率设置、被摄体距离、亮度、时间、位置、用户指令等)来更新初始设置。此外，例如，读取控制单元122可以基于任意信息或随机地设置将哪些像素的检测信号相加在一起。

此外，读取控制单元122还将读取的控制信号供应给恢复矩阵设置单元123。当要生成分辨率为(W4×H4)的复原图像时，恢复矩阵设置单元123根据读取的控制信号设置包括垂直(W4×H4)×水平(W4×H4)个系数的恢复矩阵，这些系数与分辨率为(W4×H4)的检测图像和分辨率为(W4×H4)的复原图像对应。

在恢复单元124中生成复原图像的情况下，恢复单元124获取由读取控制单元122转换的具有分辨率(W4×H4)的检测图像，获取包括在恢复矩阵设置单元123中设置的垂直(W4×H4)×水平(W4×H4)个系数的恢复矩阵，并使用它们生成分辨率为(W4×H4)的复原图像。

<模式之间的比较>

模式之间比较的示例在图27的表中图示。在操作模式(读取方法)是全像素模式的情况下，成像装置100可以获得包括成像元件121的所有像素的检测信号的检测图像。即，成像装置100可以获得具有比其它模式下更高分辨率的复原图像。

在操作模式是像素任意稀疏化模式的情况下，成像装置100可以获得具有比在全像素模式的情况下更低分辨率的检测图像。因此，可以抑制成像元件121的负载、到复原图像的转换处理等，并且可以抑制功耗的增加。此外，由于有可能设置检测图像中包括哪些像素的检测信号，因此成像装置100可以在小于或等于全像素模式的情况下的检测图像的分辨率的范围内任意地设置(控制)检测图像的分辨率。而且，由于可以从成像元件121的部分像素读取检测信号，因此与全像素模式的情况相比，可以使从成像元件121中的成像到检测信号的读取的操作更快。例如，在通过成像元件121获得移动图像的情况下，可以使移动图像的帧速率高于在全像素模式的情况下的帧速率。

在操作模式是像素规则性稀疏化模式的情况下，成像装置100可以获得与像素任意稀疏化模式中相似的效果。注意的是，一般而言，像素规则性稀疏化模式的设计比像素任意稀疏化模式的设计容易。相反，一般而言，像素任意稀疏化模式的设计自由度高于像素规则性稀疏化模式的设计自由度。

在操作模式是区块驱动模式的情况下，成像装置100可以获得类似于像素任意稀疏化模式中的效果。注意的是，一般而言，区块驱动模式的设计比像素规则性稀疏化模式的设计容易。此外，一般而言，像素任意稀疏化模式的设计自由度高于区块驱动模式的设计自由度。

在操作模式是像素相加模式的情况下，成像装置100可以获得与全像素模式的情况相比具有较低分辨率的检测图像。因此，可以减少诸如对复原图像的转换处理等的负担，并且可以抑制功耗的增加。此外，由于有可能设置将检测信号相加在一起的方法，因此成像装置100可以在小于或等于全像素模式的情况下的检测图像的分辨率的范围内任意设置(控制)检测图像的分辨率。而且，可以使从成像元件121中的成像到检测信号的读取的操作与全像素模式的情况相比更快。例如，在通过成像元件121获得移动图像的情况下，可以使移动图像的帧速率高于在全像素模式的情况。此外，在这种模式的情况下，将多个像素的检测信号相加在一起，从而与其它模式的情况相比，可以提高检测图像的S/N比。即，可以抑制复原图像的图像质量的下降。

<视角设置>

注意的是，在如像素任意稀疏化模式、像素规则性稀疏化模式、区块驱动模式和像素相加模式的情况那样降低检测图像的分辨率的情况下，分辨率降低之后整个检测图像的入射角度方向性可以等于分辨率降低之前整个检测图像(换句话说，全像素模式的检测图像)的入射角度方向性。

入射角度方向性彼此等同的事实意味着可以对相同范围的被摄体表面进行成像，换句话说，视角彼此等同。例如，如图28的上侧所示，假设当成像元件121以视角313对被摄体表面311进行成像时，范围312被成像。在仅考虑图中的水平方向的情况下，成像元件121的每个像素的入射角度方向性的质心分布在视角313的范围内。换句话说，成像元件121的每个像素的入射角度方向性的质心的角度范围是视角313。即，在选择像素使得入射角度方向性彼此等同的情况下，执行像素(其检测信号)的选择，使得分辨率降低之前和之后每个像素的入射角度方向性的质心的角度范围彼此等同。

当确定范围312的目标分辨率时，确定视角的分辨率314的大小。换句话说，分辨率314是相应像素的入射角度方向性的质心之间的角度差。即，当降低分辨率时，有必要增加相应像素的入射角度方向性的质心之间的角度差。

从减少用于实现视角313的像素的数量这一事实也可以这样说。例如，如图28的下侧中所示，假设视角313由在水平方向上的八个位置处形成开口的像素(像素121a-1至121a-8)实现。在像素121a-1的光入射表面上形成开口301-1。类似地，开口301-2至301-8分别在像素121a-2至121a-8的光入射表面上形成。如图28中所示，相应像素中的开口301-1至301-8的位置在水平方向上从左到右彼此移位，并且开口301-1在像素中的最左侧形成，并且开口301-8在像素的最右侧形成。例如，当从像素中选择像素121a-1、像素121a-3、像素121a-5和像素121a-7时，相应像素的入射角度方向性的质心之间的角度差大约加倍，并且有可能在维持视角313基本等同的同时降低分辨率。

即，通过增加由检测图像的相应像素输出单位表示的入射角度方向性的质心之间的角度差来降低分辨率，从而维持视角313，由此可以使在降低分辨率之前和之后检测图像的入射角度方向性彼此等同。

以上，针对水平方向进行了描述；但是，类似的情况也适用于垂直方向。即，对于所有方向，通过增加由检测图像的相应像素输出单位表示的入射角度方向性的质心之间的角度差来降低分辨率，从而维持视角，由此可以使在降低分辨率之前和之后检测图像的入射角度方向性彼此等同。

以这种方式，有可能在不减小复原图像的视角(视场(FOV))的情况下降低分辨率。即，有可能在不改变复原图像的内容的情况下降低分辨率。

为了在像素任意稀疏化模式下进行该操作，仅要求读取控制单元122选择像素输出单位，使得所选择的像素输出单位整体具有与成像元件121的所有像素输出单位的入射角度方向性等同的入射角度方向性。

为了在像素规则性稀疏化模式下进行该操作，有必要将处于具有预定规则性的位置关系的成像元件121的整个像素输出单位组设计为具有与成像元件121的所有像素输出单位的入射角度方向性等同的入射角度方向性。仅要求读取控制单元122选择这样设计的像素输出单位组。

为了在区块驱动模式下进行该操作，有必要将在成像元件121的像素区域的预定部分区域中形成的整个像素输出单位组设计为具有与成像元件121的所有像素输出单位的入射角度方向性等同的入射角度方向性。仅要求读取控制单元122选择这样设计的部分区域的像素输出单位组。

为了在像素相加模式下进行该操作，有必要将成像元件121的像素输出单位设计为在像素输出单位相加之前和之后具有等同的入射角度方向性。然后，仅要求读取控制单元122根据设计通过相加方法将像素输出单位相加在一起。

<像素相加的方法>

注意的是，在像素相加模式下，读取控制单元122可以将具有彼此相似的入射角度方向性的像素输出单位的检测信号相加在一起。

相加之后包括在检测信号中的入射角度方向性是其检测信号相加在一起的相应像素输出单位的入射角度方向性的相加结果。因此，一般而言，随着将其检测信号相加在一起的相应像素输出单位的入射角度方向性之间的差异增加，相加之后包括在检测信号中的入射角度方向性变弱。即，由于减小了像素单位输出之间的入射角度方向性的差异，因此存在恢复性能降低并且复原图像的主观图像质量降低的可能性。换句话说，随着将其检测信号相加在一起的相应像素输出单位的入射角度方向性之间的差异减小，可以更多地抑制方向性的降低。

即，在像素相加模式下，读取控制单元122将入射角度方向性彼此更相似的像素输出单位的检测信号相加在一起，从而可以抑制复原图像的主观图像质量的下降。

换句话说，在像素相加模式下通过读取控制单元122将检测信号相加在一起的像素输出单位的组合中，成像元件121被设计为使得相互入射角度方向性彼此更相似，由此可以抑制复原图像的主观图像质量的下降。

此外，在像素相加模式下，读取控制单元122可以将彼此靠近的像素输出单位的检测信号相加在一起。

考虑到没有入射角度方向性，在像素输出单位中检测到的入射光的光源位置取决于像素输出单位的位置。因此，例如，具有更近物理位置的像素输出单位可以检测来自在更近位置的光源的入射光。即，增加了对相同目标进行成像的可能性。因此，通过检测信号的相加，可以抑制多个目标图像被混合，并且可以抑制复原图像的图像质量的下降。

即，在像素相加模式下，读取控制单元122将彼此更靠近的像素输出单位的检测信号相加在一起，从而可以抑制复原图像的主观图像质量的下降。

换句话说，在像素相加模式下，在通过读取控制单元122将其检测信号相加在一起的像素输出单位的组合中，成像元件121被设计为使得像素输出单位彼此更靠近，从而可以抑制复原图像的主观图像质量的下降。

<模式选择>

以上，作为分辨率控制的操作模式的示例，已经描述了全像素模式、像素任意稀疏化模式、像素规则性稀疏化模式、区块驱动模式和像素相加模式；但是，分辨率控制的操作模式是任意的，并且不限于该示例。

此外，可以使读取控制单元122选择多种操作模式中的任何一种。例如，准备上述全像素模式、像素任意稀疏化模式、像素规则性稀疏化模式、区块驱动模式和像素相加模式作为候选，并且读取控制单元122可以选择并应用这些模式之一，并在所选择的操作模式下执行分辨率的控制。

以这种方式，成像装置100仅通过切换读取控制单元122的分辨率控制的操作模式就可以容易地获得具有更多种规格的检测图像(或复原图像)。

注意的是，这种模式选择的基础是任意的。例如，可以基于成像操作模式进行选择，或者可以由用户指定模式。模式切换定时也是任意的。当然，候选操作模式是任意的。

<恢复矩阵>

恢复矩阵设置单元123设置与其分辨率被如上所述控制的检测图像和复原图像对应的恢复矩阵。设置恢复矩阵的方法是任意的。例如，恢复矩阵可以被预先确定、可以由恢复矩阵设置单元123从多个候选中选择，或者可以由恢复矩阵设置单元123任意地设置。

<恢复矩阵的设计>

设计恢复矩阵的方法是任意的。例如，可以基于物理模型进行设计。捕获的图像(与复原图像相同)是由其上形成被摄体图像的像素的值构成的图像，并且可以被用户从视觉上识别。在成像元件121中，通过诸如每个像素的入射角度方向性和被摄体距离之类的参数将这个捕获图像转换成检测图像。

即，在全像素模式的情况下，如图29的A中所示，检测图像331的矩阵可以由成像矩阵332(A)和复原图像333的矩阵的乘积表示。但是，在这个行列式中，检测图像331的矩阵是将分辨率(W×H)的检测图像331的每一列的检测信号重新布置为一列的矩阵，并且是垂直(W×H)×水平一的矩阵。此外，复原图像333的矩阵是其中具有分辨率(W×H)的复原图像333的每一列的检测信号被重新布置为一列的矩阵，并且是垂直(W×H)×水平一的矩阵。成像矩阵332(A)包括垂直(W×H)×水平(W×H)个系数。每个系数的值由成像元件121的每个像素的入射角度方向性、被摄体距离等确定。

换句话说，在全像素模式的情况下的恢复处理可以由图29的B中所示的行列式表示。即，如图29的B中所示，复原图像333的矩阵可以由恢复矩阵334和检测图像331的乘积表示。在这个行列式中，检测图像331的矩阵是垂直(W×H)乘以水平一的矩阵。此外，复原图像333的矩阵是垂直(W×H)乘以水平一的矩阵。恢复矩阵334是成像矩阵332(A)的逆矩阵(Ainv)，并且包括垂直(W×H)×水平(W×H)个系数。

如上所述，在全像素模式的情况下，可以基于成像元件121的每个像素的入射角度方向性、被摄体距离等来设计成像矩阵332，并且可以将逆矩阵用作恢复矩阵334。

在其它模式下，基本上建立类似的行列式，但是检测图像和复原图像的分辨率与全像素模式下的分辨率不同，因此有必要取决于分辨率来设置成像矩阵332和恢复矩阵334的行数和列数。

<全像素模式的情况>

将描述全像素模式的情况的更具体示例。如图30的A中所示，假设检测图像331包括4×4个像素输出单位，并且如图30的B中所示，假设复原图像333包括4×4个像素。

在全像素模式的情况下，在图29的A中所示的行列式中，如图31中所示，检测图像331和复原图像333各自由16×1矩阵表示。因此，成像矩阵332是16×16矩阵。因此，恢复矩阵也是16×16矩阵。

<像素任意稀疏化模式的情况>

接下来，将描述像素任意稀疏化模式的情况。例如，如图32的A中所示，假设从包括4×4个像素输出单位的检测图像331中选择具有对角线图案的四个像素输出单位。此外，如图32的B中所示，假设在复原图像333中均匀地布置了四个像素。

可以基于全像素模式下的成像矩阵来设计像素任意稀疏化模式下的成像矩阵。例如，仅要求在图31的全像素模式的行列式的每个矩阵中提取对应的系数。即，图32的A中所示的检测图像331的具有对角线图案的每个像素输出单位的检测信号与如图33所示全像素模式的情况下由检测图像331的矩阵的对角线图案表示的系数对应。此外，图32的B中所示复原图像333的具有对角线图案的每个像素的像素值与如图33所示全像素模式的情况下由复原图像333的矩阵的对角线图案表示的系数对应。

因此，如图33中所示，在像素任意稀疏化模式的情况下的成像矩阵332与全像素模式的情况下成像矩阵当中在与检测图像331的矩阵的对角线图案所指示的系数和由复原图像333的矩阵的对角线图案指示的系数对应的位置处的系数(对角线图案所指示的系数)对应。因此，通过提取(选择和读取)这些系数，可以生成像素任意稀疏化模式下的成像矩阵332。即，在图33的情况下，获得4×4成像矩阵332。

<像素规则性稀疏化模式的情况>

接下来，将描述像素规则性稀疏化模式的情况。同样在像素规则性稀疏化模式的情况下，可以通过基本上与像素任意稀疏化模式下相似的方法来设计成像矩阵。例如，如图34的A中所示，假设从包括4×4像素输出单位的检测图像331中以相等的间隔选择四个像素输出单位(对角线图案)。此外，如图34的B中所示，假设在复原图像333中均匀地布置了四个像素。

即，同样在这种情况下，仅要求在图31的全像素模式的行列式的每个矩阵中提取对应的系数。在图35中，由检测图像331的矩阵的对角线图案指示的系数与具有图34的A中所示的检测图像331的对角线图案的相应像素输出单位的检测信号对应。此外，在图35中，由复原图像333的矩阵的对角线图案指示的系数与具有图34的B中所示的复原图像333的对角线图案的相应像素的像素值对应。如图35中所示，在像素规则性稀疏化模式的情况下的成像矩阵332对应于与这些系数对应的位置的系数(由对角线图案表示的系数)。因此，通过提取(选择和读取)这些系数，可以生成像素规则性稀疏化模式下的成像矩阵332。即，在图35的情况下，获得4×4成像矩阵332。

<区块驱动模式的情况>

接下来，将描述区块驱动模式的情况。同样在区块驱动模式下，可以用基本上与像素任意稀疏化模式相似的方法设计成像矩阵。例如，如图36的A中所示，假设从包括4×4像素输出单位的检测图像331中选择在中心处的2×2像素输出单位(对角线图案)。此外，如图36的B中所示，假设在复原图像333中均匀地布置了四个像素。

即，同样在这种情况下，仅要求在图31的全像素模式的行列式的每个矩阵中提取对应的系数。在图37中，由检测图像331的矩阵的对角线图案指示的系数与具有图36的A中所示的检测图像331的对角线图案的相应像素输出单位的检测信号对应。此外，在图37中，由复原图像333的矩阵的对角线图案指示的系数与具有图36的B中所示的复原图像333的对角线图案的相应像素的像素值对应。如图37中所示，在区块驱动模式的情况下的成像矩阵332对应于与这些系数对应的位置的系数(由对角线图案指示的系数)。因此，通过提取(选择和读取)这些系数，可以生成区域驱动模式下的成像矩阵332。即，在图37的情况下，获得4×4成像矩阵332。

<像素相加模式的情况>

接下来，将描述像素相加模式的情况。同样在像素相加模式下，可以利用与像素任意稀疏化模式基本相似的方法来设计成像矩阵。例如，如图38的A中所示，假设对于每2×2个像素输出单位，将包括4×4个像素输出单位的检测图像331的检测信号相加在一起。在这种情况下，如图38的B中所示，同样在复原图像333中，对于每2×2个像素，获得与将4×4个像素的值相加在一起的像素值等同的像素值。

即，同样在这种情况下，仅要求在图31的全像素模式的行列式的每个矩阵中提取对应的系数。在图39中，由检测图像331的矩阵的右上左下对角线图案指示的系数与图38的A中所示的检测图像331的具有右上左下对角线图案的相应像素输出单位的检测信号对应。类似地，由图39的检测图像331的矩阵的左上右下对角线图案指示的系数与图38的A中的检测图像331的具有左上右下对角线图案的相应像素输出单位的检测信号对应。此外，由图39的检测图像331的矩阵的阴影线图案指示的系数与图38的A中的检测图像331的具有阴影线图案的相应像素输出单位的检测信号对应。此外，由图39的检测图像331的矩阵的灰色指示的系数与图38的A中的检测图像331的具有灰色的相应像素输出单位的检测信号对应。

这类似地适用于复原图像333。在图39中，由复原图像333的矩阵的右上左下对角线图案指示的系数与图38的B中所示的复原图像333的具有右上左下对角线图案的相应像素的像素值对应。类似地，由图39的复原图像333的矩阵的左上右下对角线图案指示的系数与图38的B中的复原图像333的具有左上右下对角线图案的相应像素的像素值对应。此外，由图39的复原图像333的矩阵的阴影线图案指示的系数与图38的B中的复原图像333的具有阴影线图案的相应像素的像素值对应。此外，由图39的复原图像333的矩阵的灰色指示的系数与图38的B中的复原图像333的具有灰色的相应像素的像素值对应。

如图39中所示，在像素相加模式的情况下的成像矩阵332对应于与这些系数对应的位置的系数(由图案或颜色指示的系数)。因此，通过提取这些系数(例如，计算具有相同图案的系数的平均值)，可以生成像素相加模式下的成像矩阵332。

<成像矩阵的逆矩阵>

如上所述，可以将恢复矩阵作为成像矩阵的逆矩阵来获得。即，如图40的右上部分中所示，在从N个像素×N个像素的检测图像Pic获得N×N个像素的复原图像的情况下，图40的左部分中所示的关系通过将具有N×N行和一列的复原图像的相应像素的像素值作为元素的向量X、将具有N×N行和一列的检测图像的相应像素的像素值作为元素的向量Y以及包括系数集的N×N乘N×N矩阵A来建立。

换句话说，在图40中，图示了将包括系数集的N×N乘N×N矩阵A(成像矩阵)的元素乘以表示复原图像的N×N行和一列的向量X的结果是表示检测图像的N×N行和一列的向量Y，并且根据这个关系配置联立方程。

注意的是，在图40中，图示了由矩阵A的范围Z201指示的第一列中的每个元素与向量X的第一行的元素对应，并且由矩阵A的范围Z202指示的第N×N列中的每个元素与向量X的第N×N行的元素对应。

换句话说，通过基于图40中所示的行列式求解联立方程来获得向量X的每个元素，从而获得复原图像。此外，在使用针孔的情况下，以及在聚焦功能(诸如成像透镜)用于使从相同方向进入的入射光进入彼此相邻的两个像素输出单位的情况下，唯一地确定每个像素的位置和光的入射角度之间的关系，使得矩阵A成为对角矩阵，该对角矩阵是其中对角分量((i，i)元素)全为1且除对角线分量以外的分量全为0的方阵。相反，在如图2的成像元件121中那样既不使用针孔也不使用成像透镜的情况下，不能唯一地确定每个像素的位置与光的入射角度之间的关系，因此矩阵A不成为对角矩阵。

顺便提及，一般而言，通过从左侧开始将两边乘以矩阵A的逆矩阵A-¹(复原矩阵)来变换图40的行列式，如图41中所示，然后通过从右侧开始将表示检测图像的向量Y乘以逆矩阵A-¹来获得表示复原图像的向量X的元素。

但是，有时出于任何原因，诸如在矩阵A的基向量接近线性相关的情况下不能准确地获得、不能正确地测出、不能求解实数矩阵A，以及噪声包括在检测图像的元素中，或其组合，不可能求解联立方程。

因此，考虑到抵抗各种误差的配置，采用使用正则化最小二乘法的概念的以下方程(7)。

[数学表达式1]

在此，在方程(7)中，顶部带有“^”的x表示向量X，A表示矩阵A，Y表示向量Y，γ表示参数，并且||A||表示L2范数(平方和的平方根)。在此，第一项是当图40两侧之间的差异最小时的范数，第二项是正则项。

当对这个方程(7)求解x时，由以下方程(8)表述。

[数学表达式2]

但是，例如，如图31中所示，由于成像矩阵A的大小很大，因此要求计算时间和用于计算的大容量存储器。

因此，考虑到例如如图42中所示矩阵A被分解成N乘N矩阵AL和N乘N矩阵AR^T，并且将表示复原图像的N乘N矩阵X乘以分别来自前一级和后一级的分解矩阵的结果变成表示检测图像的N乘N矩阵Y。因此，对于元素数量为(N×N)×(N×N)的矩阵A，获得元素数量为(N×N)的矩阵AL和AR^T，从而可以减少元素数目到1/(N×N)。因此，仅需要使用具有元素数量(N×N)的两个矩阵AL和AR^T，从而可以减少计算量和存储容量。

在此，A^T是矩阵A的转置矩阵，γ是参数，并且I是单位矩阵。在方程(8)中，将括号中的矩阵设置为矩阵AL，并将矩阵A的转置矩阵的逆矩阵设置为矩阵AR^T。实现了图42中所示的行列式。

在以这种方式如图42中所示的计算中，如图43中所示，通过将矩阵X中的目标元素Xp乘以矩阵AL的对应列的每个元素Z221来获得元素Z222。而且，通过将元素Z222和与矩阵AR^T的目标元素Xp对应的行中的元素相乘，获得与目标元素Xp对应的二维响应Z224。然后，将与矩阵X的所有元素对应的二维响应Z224积分(integrate)在一起，由此获得矩阵Y。

因此，对于与矩阵AL的相应行对应的元素Z221，对于图18中所示的成像元件121的每一列，赋予与被设置为相同宽度的水平带型像素121a的入射角度方向性对应的系数集。

类似地，对于矩阵AR^T的每一行的元素Z223，对于图18中所示的成像元件121的每一行，赋予与被设置为相同高度的垂直带型像素121a的入射角度方向性对应的系数集。

因此，由于变得有可能减小基于检测图像恢复复原图像时使用的矩阵的大小，因此减少了计算量，从而变得有可能提高处理速度并降低与计算相关的功耗。此外，由于可以减小矩阵的大小，因此变得有可能减小用于计算的存储器容量，并且可以降低装置成本。

注意的是，图18的示例图示了这样的示例，其中，在水平方向和垂直方向上给出预定规则性的同时，改变在像素单位中被遮光的范围(可以接收光的范围)；但是，在本公开的技术中，如上所述，在像素单位中被遮光的范围(可以接收光的范围)不是完全随机设置，但是在某种程度上随机设置也被认为是随机设置。换句话说，在本公开中，不仅完全随机地设置像素单位中被遮光的范围(可以在其中接收光的范围)的情况，而且还在某种程度上随机地设置该范围的情况(例如，在所有像素当中，部分地包括具有规则性的范围，而其它范围具有随机性的情况)，或者在某种程度上似乎不存在规则性的情况(在所有像素当中，不能根据参考图18描述的规则确认执行了布置的布置的情况)也被认为是随机的。

虽然上面已经描述了遮光膜，但是这个示例的描述也可以应用于通过选择性地使用布置在像素中的多个光电二极管来给出入射角度方向性的情况。即，例如，通过适当地设置划分位置(每个部分区域的大小和形状)以及每个光电二极管的位置、大小、形状等，或者适当地选择光电二极管，可以实现与在使被上述像素121a的遮光膜121b遮蔽的范围中改变的一部分具有规则性的情况下的入射光方向性等同的入射光方向性。以这种方式，有可能减小每个像素的入射角度方向性的差异的随机性，并且可以减小成像元件121外部(诸如恢复单元122)的处理负荷。

<成像处理的流程>

将参考图44的流程图描述由如上所述的成像装置100执行的成像处理的流程的示例。

当开始成像处理时，在步骤S101中，读取控制单元122设置成像元件121的从中读取检测信号的像素。例如，读取控制单元122通过选择上述操作模式来设置从中读取检测信号的像素。

在步骤S102中，成像元件121对被摄体进行成像。

在步骤S103中，读取控制单元122从在步骤S101中设置的像素中读取在步骤S102中通过成像获得的检测信号(检测图像)。

在步骤S104中，恢复矩阵设置单元123设置与在步骤S101中设置的像素对应的恢复矩阵。

在步骤S105中，恢复单元124或关联单元125通过使用在步骤S103中读取的检测图像和在步骤S104中设置的恢复矩阵来生成输出数据。

例如，恢复单元124通过使用恢复系数将检测图像转换成复原图像。恢复单元124将复原图像的数据设置为输出数据。此外，例如，关联单元125通过将恢复系数的数据与检测图像的数据关联来设置输出数据。

在步骤S107中，输出输出数据。这个输出包括任何方法。例如，这个输出可以包括图像显示、数据输出和向其它装置打印、在存储介质上的存储、向通信伙伴发送、在记录介质116上记录等。

首先，将描述输出原始图像(其可以是经过同步处理、颜色分离处理等(例如，去马赛克处理等)的恢复图像)的情况。例如，在输出是“显示”的情况下，恢复单元124将原始图像的数据等供应给输出单元112。输出单元112在图像显示设备(例如，液晶显示器(LCD)等)上显示原始图像，或者从投影仪投影原始图像。此外，例如，在输出为“输出”的情况下，恢复单元124将原始图像的数据等提供给输出单元112。输出单元112将原始图像的数据等从外部输出端子输出到其它装置。而且，例如，在输出是“存储”的情况下，恢复单元124将原始图像的数据等供应给存储单元113。存储单元113将原始图像的数据等存储在存储单元113中包括的存储介质中。此外，例如，在输出是“发送”的情况下，恢复单元124将原始图像的数据等供应给通信单元114。通信单元114通过使用预定通信方法与其它装置通信，并且将原始图像的数据等发送给通信伙伴。而且，例如，在输出是“记录”的情况下，恢复单元124将原始图像的数据等供应给记录/再现单元115。记录/再现单元115在安装到记录/再现单元115的记录介质116上记录原始图像的数据等。

接下来，将给出输出彼此相关联的检测图像的数据、图像恢复系数等的情况的描述。例如，在输出是“显示”的情况下，关联单元125将彼此相关联的检测图像的数据、图像恢复系数等供应给输出单元112。输出单元112在图像显示设备(例如，液晶显示器(LCD)等)上显示信息，诸如关于检测图像的数据、图像恢复系数等的图像和字符，或投影来自投影仪的信息。此外，例如，在输出是“输出”的情况下，关联单元125将彼此相关联的检测图像的数据、图像恢复系数等供应给输出单元112。输出单元112将彼此相关联的检测图像的数据、图像恢复系数等从外部输出端子输出到其它装置。而且，例如，在输出是“存储”的情况下，关联单元125将彼此相关联的检测图像的数据、图像恢复系数等供应给存储单元113。存储单元113将彼此相关联的检测图像的数据、图像恢复系数等存储在存储单元113中包括的存储介质中。此外，例如，在输出是“发送”的情况下，关联单元125将彼此相关联的检测图像的数据、图像恢复系数等供应给通信单元114。通信单元114通过使用预定通信方法与其它装置通信，并且将彼此相关联的检测图像的数据、图像恢复系数等发送到通信伙伴。而且，例如，在输出是“记录”的情况下，关联单元125将彼此相关联的检测图像的数据、图像恢复系数等供应给记录/再现单元115。记录/再现单元115将彼此相关联的检测图像的数据、图像恢复系数等记录在安装到记录/再现单元115的记录介质116上。

当输出输出数据时，成像处理结束。通过执行如上所述的成像处理，可以控制检测图像的分辨率。

<彩色图像>

本技术也可以应用于彩色图像。在那种情况下，如图45中所示，仅要求对每种颜色分量执行与上述情况类似的处理。即，针对每个颜色分量读取检测图像、针对每个颜色分量计算恢复矩阵，并且通过使用它们，针对每个颜色分量生成复原图像。在那种情况下，例如，可以提供RGB组合单元401，并且可以由RGB组合单元401组合各个颜色分量的复原图像，以获得彩色图像的复原图像。

<2、第二实施例>

<图像处理装置>

本技术可以应用于除上述成像装置100以外的任何装置。例如，本技术可以应用于图像处理装置500。图46是图示作为对其应用本技术的图像处理装置的实施例的图像处理装置的主要配置示例的图。图46中所示的图像处理装置500是控制输入检测图像的分辨率的装置。

如图46中所示，图像处理装置500包括控制单元501、输入单元511、输出单元512、存储单元513、通信单元514和记录/再现单元515。此外，图像处理装置500包括缓冲器521、读取控制单元522、恢复矩阵设置单元523、恢复单元524、关联单元525和传感器单元526。处理单元等经由总线510彼此连接，并且可以彼此交换信息、命令等。

注意的是，缓冲器521和读取控制单元522可以集成在一起作为分辨率处理单元520。分辨率处理单元520可以通过任何物理配置来实现。例如，分辨率处理单元520可以被实现为作为系统LSI等的处理器。此外，分辨率处理单元520可以被实现为例如使用多个处理器等的模块、使用多个模块等的单元，或通过将其它功能进一步添加到单元而获得的集合，等等(换句话说，装置的一部分的配置)。此外，分辨率处理单元520可以被实现为装置。

控制单元501被配置为执行与图像处理装置500中的处理单元等的控制相关的处理。例如，控制单元501包括CPU、ROM、RAM等，并且通过使用CPU等执行程序来执行上述处理。

输入单元511被配置为执行与信息的输入相关的处理。例如，输入单元511包括输入设备(诸如操作按钮、拨号盘、开关、触摸面板、遥控器和传感器以及外部输入端子)。例如，输入单元511利用诸如此类输入设备来从外部(诸如用户)接受指令(与输入操作对应的信息)。此外，例如，输入单元511经由外部输入端子获取从外部装置提供的任意信息(程序、命令、数据等)。此外，例如，输入单元511经由总线510将接受的信息(获取的信息)供应给其它处理单元等。

注意的是，包括在输入单元511中的传感器可以是任何传感器，只要它可以接受来自外部(诸如用户)的指令即可，例如加速度传感器等。此外，输入单元511中包括的输入设备是任意的，并且它们的数量也是任意的。输入单元511可以包括多种类型的输入设备。例如，输入单元511可以包括上述示例中的一些，或者可以包括整体。此外，输入单元511可以包括除上述示例以外的输入设备。此外，例如，输入单元511可以获取经由总线510供应的关于输入单元511(输入设备等)的控制信息，并且基于该控制信息进行操作。

输出单元512被配置为执行与信息的输出相关的处理。例如，输出单元512包括图像显示设备(诸如监视器)、图像投影设备(诸如投影仪)、声音输出设备(诸如扬声器)、外部输出端子等。例如，输出单元512通过使用那些输出设备等输出经由总线510从其它处理单元等供应的信息。例如，输出单元512在监视器上显示捕获的图像(稍后描述的复原图像)、从投影仪投影捕获的图像(稍后描述的复原图像)、输出声音(例如，与输入操作、处理结果等对应的声音)或向外部(其它设备)输出任意信息(程序、命令、数据等)。

注意的是，输出单元512中包括的输出设备等是任意的，并且它们的数量也是任意的。输出单元512可以包括多种类型的输出设备等。例如，输出单元512可以包括上述示例中的一些，或者可以包括整体。此外，输出单元512可以包括除上述示例以外的输出设备等。而且，例如，输出单元512可以获取经由总线510供应的关于输出单元512(输出设备等)的控制信息，并且基于该控制信息进行操作。

存储单元513被配置为执行与信息的存储相关的处理。例如，存储单元513包括任意存储介质(诸如硬盘或半导体存储器)。例如，存储单元513将经由总线510从其它处理单元等提供的信息(程序、命令、数据等)存储在存储介质中。此外，存储单元513可以在发货时存储任意信息(程序、命令、数据等)。此外，存储单元513在任意定时或响应于来自其它处理单元等的请求而读取存储在存储介质中的信息，并且经由总线510将读取的信息供应给其它处理单元等。

注意的是，包括在存储单元513中的存储介质是任意的，并且它们的数量也是任意的。存储单元513可以包括多种类型的存储介质。例如，存储单元513可以包括上述存储介质的示例中的一些，或者可以包括整体。此外，存储单元513可以包括除上述示例以外的其它存储介质等。此外，例如，存储单元513可以获取经由总线510供应的关于存储单元513的控制信息，并且基于该控制信息进行操作。

通信单元514被配置为执行与和其它装置的通信相关的处理。例如，通信单元514包括通信设备，该通信设备执行用于经由预定的通信介质(例如，诸如互联网之类的任意网络)与外部装置交换信息(诸如程序和数据)的通信。例如，通信单元514与其它装置通信，并且经由总线510将从其它处理单元等供应的信息(程序、命令、数据等)供应给作为通信伙伴的其它装置。此外，例如，通信单元514与其它装置通信、获取从作为通信伙伴的其它装置供应的信息并且经由总线510将该信息供应给其它处理单元等。

通信单元514中包括的通信设备可以是任何通信设备。例如，通信设备可以是网络接口。通信方法和通信标准是任意的。例如，可以使通信单元514执行有线通信、无线通信或两者。此外，例如，通信单元514可以获取经由总线510供应的关于通信单元514(通信设备等)的控制信息，并且基于该控制信息进行操作。

记录/再现单元515被配置为使用安装到记录/再现单元515的记录介质516执行与信息的记录和再现相关的处理。例如，记录/再现单元515读取记录在安装到记录/再现单元515的记录介质516上的信息(程序、命令、数据等)，并经由总线510将该信息供应给其它处理单元等。此外，例如，记录/再现单元515经由总线510获取从其它处理单元等供应的信息，并将该信息写入(记录)在安装到记录/再现单元515的记录介质516中。注意的是，例如，记录/再现单元515可以获取经由总线510供应的关于记录/再现单元515的控制信息，并且基于该控制信息进行操作。

注意的是，记录介质516可以是任何记录介质。例如，记录介质可以是磁盘、光盘、磁光盘、半导体存储器等。

缓冲器521包括预定存储区块。例如，根据读取控制单元522的控制来驱动缓冲器521。例如，缓冲器521在存储区块中存储从外部输入的检测图像的数据(换句话说，由其它装置捕获的检测图像等)。

检测图像是通过类似于其它装置的上述成像元件121的成像元件获得的，并且是具有上面参考图1至20描述的特征的信息。即，检测图像是包括在相应像素输出单位中获得的检测信号的检测图像，该检测信号是通过由包括多个像素输出单位的成像元件对被摄体进行成像而获得的，该多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

此外，缓冲器521读取检测图像等的存储的数据，并且经由总线510将该数据供应给其它处理单元等。

读取控制单元522被配置为执行与来自缓冲器521的数据读取控制相关的处理，并控制检测图像的分辨率。例如，读取控制单元522控制从缓冲器521读取检测图像，并且通过稀疏掉包括在检测图像中的一些检测信号来控制检测图像的分辨率。

例如，读取控制单元522选择并读取存储在缓冲器521中的检测图像的所有像素输出单位的检测信号，从而能够获得包括所有那些检测信号的检测图像，换句话说，“从缓冲器521读取的检测图像”。

此外，例如，读取控制单元522选择并读取存储在缓冲器521中的检测图像的部分像素输出单位的检测信号，从而能够获得包括所有那些检测信号的检测图像，换句话说，“从缓冲器521读取并降低了分辨率的检测图像”。

例如，读取控制单元522选择并读取存储在缓冲器521中的检测图像的一些任意像素输出单位的检测信号，从而能够获得包括所有那些检测信号的检测图像，换句话说，“从缓冲器521读取并降低了分辨率的检测图像”。此外，例如，读取控制单元522可以选择并读取存储在缓冲器521中的检测图像的所有像素输出单位的检测信号，并且生成检测信号当中包括在任意位置处的部分像素输出单位的检测信号的检测图像。

例如，读取控制单元522选择并读取存储在缓冲器521中的检测图像中处于具有预定规则性的位置关系的部分像素输出单位的检测信号，从而能够获得包括所有那些检测信号的检测图像，换句话说，“从缓冲器521读取并降低了分辨率的检测图像”。此外，例如，读取控制单元522可以选择并读取存储在缓冲器521中的检测图像的所有像素输出单位的检测信号，并生成检测信号当中包括处于具有预定规则性的位置关系的部分像素输出单位的检测信号的检测图像。

例如，读取控制单元522选择并读取在缓冲器521中存储的检测图像的一个部分区域中形成的部分像素输出单位的检测信号，从而能够获得包括所有那些检测信号的检测图像，换句话说，“从缓冲器521读取并降低了分辨率的检测图像”。此外，例如，读取控制单元522可以选择并读取存储在缓冲器521中的检测图像的所有像素输出单位的检测信号，并生成检测信号当中包括在读取的检测图像的一个部分区域中形成的部分像素输出单位的检测信号。

例如，读取控制单元522可以从存储在缓冲器521中的检测图像的所有像素输出单位读取检测信号，并按照每个预定数量将相应像素输出单位的读取的检测信号相加在一起，并将相加之后的检测信号组设置为“从缓冲器521读取并降低了分辨率的检测图像”。

选择要用作检测图像的检测信号还意味着选择未采用的检测信号。即，读取控制单元522通过选择检测信号来控制检测图像的分辨率。例如，读取控制单元522通过按照每个预定数量使检测信号被稀疏掉并从缓冲器521读取、稀疏掉从缓冲器521读取的检测信号或将来自缓冲器521的检测信号相加在一起来控制检测图像的分辨率。

在读取控制单元522中对检测图像中包括的检测信号进行稀疏或相加的情况下，读取控制单元522经由总线510将关于处理之后的检测图像的数据(检测信号等)供应给其它处理单元等(例如，恢复矩阵设置单元523、恢复单元524、关联单元525等)。

恢复矩阵设置单元523被配置为执行与恢复矩阵的设置相关的处理。通过执行预定计算，可以将检测图像转换成复原图像。虽然稍后将描述细节，但是预定计算是将检测图像中包括的检测信号乘以预定系数并将它们相加在一起。即，可以通过执行预定矩阵运算将检测图像转换成复原图像。在本说明书中，将包括用于矩阵运算的上述系数的矩阵称为恢复矩阵。

例如，恢复矩阵设置单元523设置与其分辨率由读取控制单元522控制的检测图像对应的恢复矩阵。这个恢复矩阵是以上参考图1至20描述的恢复矩阵，并且具有上述特征。即，这个恢复矩阵是包括当从检测图像恢复复原图像时使用的系数的矩阵。例如，恢复矩阵设置单元523经由总线510将所设置的恢复矩阵提供给其它处理单元等(例如，恢复单元524、关联单元525等)。

注意的是，在用于将检测图像转换成复原图像的预定矩阵运算中，可以将检测图像转换成具有任意分辨率的复原图像。在那种情况下，仅要求恢复矩阵设置单元523根据检测图像的分辨率和复原图像的目标分辨率来设置具有行数和列数的恢复矩阵。

注意的是，例如，恢复矩阵设置单元523可以获取经由总线510供应的关于恢复矩阵设置单元523的控制信息，并且基于该控制信息进行操作。

恢复单元524被配置为执行与复原图像的生成相关的处理。例如，恢复单元524通过执行预定计算根据关于从缓冲器521读取的检测图像的数据(检测信号等)来生成复原图像。此外，恢复单元524经由总线510将关于生成的复原图像的数据(像素值等)供应给其它处理单元等。

注意的是，其中混合了多个颜色分量的检测图像被存储在缓冲器521中，并且可以通过由恢复单元524对检测图像执行预定计算来获得其中混合了多个颜色分量的原始图像。然后，恢复单元524可以将其中混合了多个颜色分量的原始图像作为复原图像供应给其它处理单元等，或者可以对原始图像执行同步处理、颜色分离处理等(例如，去马赛克处理等)，然后将经处理的图像作为复原图像供应给其它处理单元等。当然，在缓冲器521中获得单色检测图像或每种颜色的检测图像，并且同步处理、颜色分离处理等(例如，去马赛克处理等)可以是不必要的。

此外，恢复单元524可以对复原图像执行任意图像处理，例如，伽马校正(γ校正)、白平衡调整等，并且将关于图像处理之后的复原图像的数据供应给其它处理单元等。而且，恢复单元524可以转换复原图像的数据格式，或者可以使用诸如JPEG、GIF等预定压缩方法压缩数据，并将转换(压缩)之后的数据供应给其它处理单元等。

注意的是，例如，恢复单元524可以获取经由总线510供应的关于恢复单元524的控制信息，并且基于该控制信息进行操作。

<图像处理的流程>

将参考图47的流程图描述在这种情况下由图像处理装置500执行的图像处理的流程的示例。

当开始图像处理时，在步骤S501中，读取控制单元522设置存储在缓冲器521中的检测图像的从其读取检测信号的像素输出单位。例如，读取控制单元522通过选择上述操作模式来设置从其读取检测信号的像素。

在步骤S502中，缓冲器521存储检测图像和与该检测图像对应的恢复矩阵。

在步骤S503中，读取控制单元522从缓冲器521读取在步骤S501中设置的像素的检测信号。

在步骤S504中，恢复矩阵设置单元523更新与存储在缓冲器521中的检测图像对应的恢复矩阵，使得恢复矩阵与在步骤S501中设置的像素对应。

在步骤S505中，恢复单元524或关联单元525通过使用在步骤S503中读取的检测图像和在步骤S504中设置的恢复矩阵来生成输出数据。

例如，恢复单元524通过使用恢复系数将检测图像转换成复原图像。恢复单元524将复原图像的数据设置为输出数据。此外，例如，关联单元525通过将恢复系数的数据与检测图像的数据相关联来设置输出数据。

在步骤S506中，输出输出数据。这个输出包括任何方法。例如，这个输出可以包括图像显示、数据输出和向其它装置打印、在存储介质上的存储、向通信伙伴发送、在记录介质116上记录等。

首先，将描述输出原始图像(其可以是经过同步处理、颜色分离处理等(例如，去马赛克处理等)的恢复图像)的情况。例如，在输出是“显示”的情况下，恢复单元524将原始图像的数据等供应给输出单元512。输出单元512在图像显示设备(例如，LCD等)上显示原始图像，或者从投影仪投影原始图像。此外，例如，在输出是“输出”的情况下，恢复单元524将原始图像的数据等提供给输出单元512。输出单元512将原始图像的数据等从外部输出端子输出到其它装置。此外，例如，在输出是“存储”的情况下，恢复单元524将原始图像的数据等提供给存储单元513。存储单元513将原始图像的数据等存储在存储单元513中包括的存储介质中。此外，例如，在输出是“发送”的情况下，恢复单元524将原始图像的数据等供应给通信单元514。通信单元514通过使用预定通信方法与其它装置通信，并且将原始图像的数据等发送给通信伙伴。此外，例如，在输出是“记录”的情况下，恢复单元524将原始图像的数据等供应给记录/再现单元515。记录/再现单元515在安装到记录/再现单元515的记录介质516上记录原始图像的数据等。

接下来，将给出输出彼此相关联的检测图像的数据、图像恢复系数等的情况的描述。例如，在输出是“显示”的情况下，关联单元525将彼此相关联的检测图像的数据、图像恢复系数等供应给输出单元512。输出单元512在图像显示设备(例如，LCD等)上显示信息，诸如关于检测图像的数据、图像恢复系数等的图像和字符，或投影来自投影仪的信息。此外，例如，在输出是“输出”的情况下，关联单元525将彼此相关联的检测图像的数据、图像恢复系数等供应给输出单元512。输出单元512将彼此相关联的检测图像的数据、图像恢复系数等从外部输出端子输出到其它装置。此外，例如，在输出是“存储”的情况下，关联单元525将彼此相关联的检测图像的数据、图像恢复系数等供应给存储单元513。存储单元513将彼此相关联的检测图像的数据、图像恢复系数等存储在存储单元513中包括的存储介质中。此外，例如，在输出是“发送”的情况下，关联单元525将彼此相关联的检测图像的数据、图像恢复系数等供应给通信单元514。通信单元514通过使用预定通信方法与其它装置通信，并且将彼此相关联的检测图像的数据、图像恢复系数等发送到通信伙伴。此外，例如，在输出是“记录”的情况下，关联单元525将彼此相关联的检测图像的数据、图像恢复系数等供应给记录/再现单元515。记录/再现单元515在安装到记录/再现单元515的记录介质516上记录彼此相关联的检测图像的数据、图像恢复系数等。

当输出输出数据时，图像处理结束。通过执行如上所述的图像处理，可以控制检测图像的分辨率。

<3、第三实施例>

<成像元件的其它配置示例>

虽然上面已经描述了成像元件121的示例，但是成像元件121仅需要包括多个像素输出单位，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，并且该配置是任意的。

例如，通过使用随机的黑白图案掩模或光学干涉掩模作为调制元件，可以取决于单色图案或光干涉来调制入射在成像元件121的成像表面上的光。

图48图示了成像元件的另一种配置。成像元件621被配置为使得作为调制元件的掩模623被固定到成像元件622，以相对于成像元件622的成像表面IP具有预定间隔，并且来自被摄体表面OP的光被掩模623调制，然后进入成像元件622的成像表面IP。

图49图示了使用黑白图案掩模的情况。在图49的A中，例示了黑白图案掩模。黑白图案掩模623BW具有其中透射光的白色图案部分和阻挡光的黑色图案部分被随机布置的配置，并且图案大小独立于成像元件622的像素大小而设置。在图49的B中，示意性地图示了从点光源PA发射的光和从点光源PB发射的光相对于成像表面IP的照射状态。此外，在图49的B中，还示意性地图示了在将黑白图案掩模623BW分别用于从点光源PA发射的光和从点光源PB发射的光的情况下成像元件的响应的示例。来自被摄体表面OP的光被黑白图案掩模623BW调制，然后进入成像元件622的成像表面IP。因此，成像元件的与从被摄体表面OP上的点光源PA发射的光对应的响应为Sbwa。此外，与成像元件的从被摄体表面OP上的点光源PB发射的光对应的响应是Sbwb。因此，从成像元件622输出的像素输出信息是通过针对每个像素输出单位组合相应点光源的响应而获得的一个图像的信息。在这种配置的情况下，不能为每个像素输出单位独立地设置入射角度方向性，并且处于靠近位置的像素输出单位具有彼此靠近的入射角度方向性。

图50图示了使用光学干涉掩模的情况。如图50的A中所示，被摄体表面OP上从点光源PA和PB发射的光通过光学干涉掩模623LF被发射到成像元件622的成像表面IP。例如，如图50的A中所示，光学干涉掩模623LF的光入射表面设有光的波长量级的不均匀性。此外，光学干涉掩模623LF使从垂直方向发射的特定波长的光的透射最大化。当被摄体表面OP上从点光源PA和PB发射的特定波长的光相对于光学干涉掩模623LF的入射角度的改变(相对于垂直方向的倾斜)增加时，光路长度改变。在此，当光路长度是半波长的奇数倍时，光被减弱，而当光路长度是半波长的偶数倍时，光被加强。换句话说，从点光源PA和PB发射并透射通过光学干涉掩模623LF的特定波长的透射光的强度取决于相对于光学干涉掩模623LF的入射角度来调制，并进入成像元件622的成像表面IP，如图50的B中所示。因此，从成像元件622的每个输出像素单位输出的像素输出信息是通过组合在透射通过光学干涉掩模823LF的相应点光源的调制之后的光强度而获得的信息。在这种配置的情况下，不能为每个像素输出单位独立地设置入射角度方向性，并且处于靠近位置的像素输出单位具有彼此靠近的入射角度方向性。

注意的是，可以使用图51的滤光器623HW代替滤光器623BW。滤光器623HW包括：具有彼此相同的偏振方向的线性偏振元件631A和线性偏振元件631B；以及半波片632，半波片632被夹在线性偏振元件631A与线性偏振元件631B之间。代替滤光器623BW的黑色图案部分，半波片632设有以斜线指示的偏振部分，并且白色图案部分和偏振部分随机地布置。

线性偏振元件631A仅使从点光源PA发射的基本上非偏振的光中处于预定偏振方向的光分量透过。在下文中，假设线性偏振元件631A仅透射其偏振方向平行于纸表面的光分量。对于透射通过线性偏振元件631A的偏振光中透射通过半波片632的偏振部分的偏振光，使偏振面旋转，由此偏振方向在垂直于纸表面的方向上改变。另一方面，对于透射通过线性偏振元件631A的偏振光中透射通过半波片632的白色图案部分的偏振光，在平行于纸表面的方向上偏振方向保持不变。然后，线性偏振元件631B透射透射通过白色图案部分的偏振光，而几乎不透射透射通过偏振部分的偏振光。因此，与透射通过白色图案部分的偏振光相比，透射通过偏振部分的偏振光的光量减少。因此，在成像元件622的光接收表面(成像表面)IP上生成与使用滤光器623BW的情况基本相似的阴影图案。

但是，在这些配置的情况下，由于有必要向成像元件添加诸如掩模之类的其它配置，因此可以进一步减小在第一实施例中描述的配置示例的成像元件121的大小。

如上所述，在本技术中，成像元件121可以如参考图4所描述的那样配置、可以如参考图5所描述的那样配置、可以如参考图48和49所描述的那样配置，或者可以如参考图50所描述的那样配置。即，成像元件121仅需要是包括多个像素输出单位的成像元件，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

此外，可以使本技术应用于具有参考图4描述的配置或参考图5描述的配置的成像元件121。即，成像元件121的多个像素输出单位可以具有如下配置：对于每个像素输出单位，可独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

此外，可以使本技术应用于具有参考图4描述的配置的成像元件。即，成像元件121的多个像素输出单位可以具有如下配置：对于每个像素输出单位，可独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

此外，可以使本技术应用于具有参考图5描述的配置的成像元件。即，可以使成像元件121的多个像素输出单位能够：通过使对输出有贡献的光电二极管PD互不相同，从而对于每个像素输出单位独立地设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

<成像装置和图像处理装置的其它配置示例>

在以上描述中，成像装置100包括成像元件121；但是，成像装置100中包括的成像元件121的数量是任意的。成像装置100可以包括单个成像元件121或多个成像元件121。此外，在成像装置100包括多个成像元件121的情况下，多个成像元件121的性能(例如，像素的数量、形状、像素结构、成像特性、成像方法等)可以全部统一，或可以包含不同的性能。

此外，成像装置100可以包括多个其它处理单元。例如，可以提供多个读取控制单元122，并且每个读取控制单元122可以独立地设置检测图像的分辨率以执行读取。以这种方式，例如，可以并行地获得分别具有多个分辨率的检测图像。此外，可以相应地提供多个恢复矩阵设置单元123。

此外，在以上描述中，图像处理装置500包括缓冲器521；但是，图像处理装置500中包括的缓冲器521的数量是任意的。图像处理装置500可以包括单个缓冲器521或多个缓冲器521。此外，在图像处理装置500包括多个缓冲器521的情况下，多个缓冲器521的性能(例如，存储介质、容量、读取速度、写入速度等)可以是统一的，或者可以包括不同的性能。

此外，图像处理装置500可以包括多个其它处理单元。例如，可以提供多个读取控制单元522，并且每个读取控制单元522可以独立地设置检测图像的分辨率以执行读取。以这种方式，例如，可以并行地获得分别具有多个分辨率的检测图像。此外，可以相应地提供多个恢复矩阵设置单元523。

<4、其它>

<应用示例>

本技术可以应用于任何装置，只要该装置具有成像功能即可。此外，本技术可以应用于任何装置或系统，只要该装置或系统处理通过成像功能获得的图像即可。此外，本技术可以应用于用于任意领域的装置或系统，例如，交通、医疗、安全、农业、畜牧业、采矿、美容、工厂、家用电器、天气、自然监测等。

例如，本技术可以被应用于处置用于欣赏的图像的装置或系统，诸如数字相机或具有相机功能的便携式设备。此外，本技术还可以应用于处置用于诸如安全性、监视和观察之类的应用的图像的装置或系统，例如监控相机。此外，本技术还可以应用于处置用于例如人认证、图像分析、距离测量等应用的图像的装置或系统。此外，本技术还可以应用于处置用于控制机器等(例如，汽车的自动驾驶、机器人等)的图像的装置或系统。

<软件>

上述一系列处理步骤可以由硬件执行，并且可以由软件执行。此外，一些处理步骤可以由硬件执行，而其它处理步骤可以由软件执行。在一系列处理步骤由软件执行的情况下，安装构成软件的程序。

程序可以例如从记录介质安装。例如，在图1的成像装置100的情况下，记录介质包括其上记录有程序的记录介质116，该程序被分发以将该程序递送到与装置主体分开的用户。在那种情况下，例如，通过将记录介质116安装到记录/再现单元115，可以读取存储在记录介质116中的程序并将其安装在存储单元113中。此外，例如，在图46的图像处理装置500的情况下，记录介质包括其上记录有程序的记录介质516，该程序被分发以将该程序递送到与装置主体分开的用户。在那种情况下，例如，通过将记录介质516安装到记录/再现单元515，可以读取存储在记录介质516中的程序并将其安装在存储单元513中。

此外，程序还可以经由诸如局域网、互联网或数字卫星广播之类的有线或无线发送介质来提供。例如，在图1的成像装置100的情况下，程序可以由通信单元114接收并安装在存储单元113中。此外，例如，在图46的图像处理装置500的情况下，程序可以由通信单元514接收并且被安装在存储单元513中。

此外，程序可以预先安装在存储单元、ROM等中。例如，在图1的成像装置100的情况下，程序也可以预先安装在存储单元113、控制单元101中的ROM(未示出)等中。此外，例如，在图46的图像处理装置500的情况下，也可以将程序预先安装在存储单元513、控制单元501中的ROM(未示出)等中。

<补充>

本技术的实施例不限于上述实施例，并且在不脱离本技术要旨的情况下可以进行各种修改。

例如，本技术还可以被实现为构成装置或系统的任何配置，例如，作为系统大规模集成(LSI)的处理器等、使用多个处理器等的模块、使用多个模块等的单元、将其它功能进一步添加到单元的设施等(换句话说，装置的一部分的配置)。

此外，可以通过任意配置来实现上述每个处理单元。例如，上述每个处理单元可以包括电路、LSI、系统LSI、处理器、模块、单元、装置、设施、设备、系统等。此外，它们中的多个可以组合在一起。此时，例如，相同类型的配置可以组合在一起，诸如多个电路以及多个处理器，或者不同类型的配置可以组合在一起，诸如电路和LSI。

注意的是，在本说明书中，系统是指多个组成部分(设备、模块(部件)等)的集合，并且所有组成部分是否在同一机柜中并不重要。因此，容纳在分开的机柜中并且经由网络彼此连接的多个装置和在一个机柜中容纳多个模块的一个装置都是系统。

此外，例如，被描述为一个装置(或处理单元)的配置可以被划分并被配置为多个装置(或处理单元)。相反，以上被描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外，当然可以将除上述配置以外的配置添加到每个装置(或每个处理单元)的配置。而且，只要系统的整体配置和操作基本相同，特定装置(或处理单元)的配置的一部分就可以包括在其它装置(或其它处理单元)的配置中。

此外，例如，本技术可以采用经由网络在多个装置中共享一个功能的云计算的配置以进行协作处理。

此外，例如，上述程序可以在任意装置中执行。在那种情况下，该装置具有必要的功能(功能块等)并可以获得必要的信息就足够了。

此外，例如，除了由一个装置执行之外，上述流程图中描述的每个步骤可以通过在多个装置中共享来执行。而且，在一个步骤中包括多条处理的情况下，除了由一个装置执行以外，还可以通过在多个装置中共享来执行在一个步骤中包括的多条处理。换句话说，一个步骤中包括的多个处理可以作为多个步骤的处理被执行。相反，被描述为多个步骤的处理可以作为一个步骤被一起执行。

在由计算机执行的程序中，描述程序的步骤的处理可以按照本说明书中描述的次序以时间顺序执行，或者并行执行，或者可以在诸如每个步骤被调用之类的必要定时单独执行。即，只要不发生不一致，就可以按照与上述次序不同的次序执行每个步骤的处理。而且，描述程序的步骤的处理可以与其它程序的处理并行执行，或者可以与其它程序的处理组合执行。

只要不发生不一致，就可以独立地单独实现本说明书中描述的多种本技术中的每一种。当然，也有可能通过组合多种本技术中的任何一种来实现。例如，在任何实施例中描述的本技术的一部分或全部可以与在其它实施例中描述的本技术的一部分或全部结合实现。此外，上述本技术的一部分或全部可以与以上未描述的另一种技术组合实现。

本技术还可以采用以下配置。

(1)一种成像装置，包括：

包括多个像素输出单位的成像元件，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及

读取控制单元，选择性地读取成像元件的每个像素输出单位的输出像素值。

(2)根据(1)所述的成像装置，其中读取控制单元在成像元件的所述多个像素输出单位当中选择部分像素单位输出，并且读取所选择的像素输出单位的输出像素值。

(3)根据(2)所述的成像装置，其中读取控制单元在成像元件的所述多个像素输出单位当中选择任意位置处的部分像素输出单位。

(4)根据(3)所述的成像装置，其中读取控制单元选择像素输出单位，使得，关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，所选择的像素输出单位整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

(5)根据(2)所述的成像装置，其中读取控制单元在成像元件的所述多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素输出单位。

(6)根据(5)所述的成像装置，其中关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，由读取控制单元选择的处于具有规则性的位置关系的成像元件的所述部分像素输出单位的整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

(7)根据(2)所述的成像装置，其中读取控制单元选择在形成有成像元件的所述多个像素输出单位的区域的一个部分区域中形成的像素输出单位。

(8)根据(7)所述的成像装置，其中关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，由读取控制单元选择的部分区域中形成的成像元件的像素输出单位的整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

(9)根据(1)所述的成像装置，其中读取控制单元从成像元件的所有像素输出单位读取输出像素值，并选择读取的输出像素值中的一些。

(10)根据(1)所述的成像装置，其中读取控制单元读取成像元件的所有像素输出单位的输出像素值，并且按照每个预定数量将读取的输出像素值相加。

(11)根据(10)所述的成像装置，其中读取控制单元将像素输出单位的输出像素值相加，所述输出像素值具有彼此相似的入射角度方向性，每个入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

(12)根据(10)所述的成像装置，其中读取控制单元将彼此靠近的像素输出单位的输出像素值相加。

(13)根据(1)至(12)中的任一项所述的成像装置，其中所述多个像素输出单位具有如下配置：对于每个像素输出单位，能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

(14)根据(1)至(13)中的任一项所述的成像装置，其中所述多个像素输出单位具有如下配置：对于每个像素输出单位，能够独立设置指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

(15)根据(1)至(14)中的任一项所述的成像装置，其中所述多个像素输出单位具有如下配置：通过使对输出有贡献的光电二极管PD互不相同从而对于每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

(16)一种成像方法，包括：

由包括多个像素输出单位的成像元件对被摄体进行成像，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及

选择性地读取成像元件的每个像素输出单位的输出像素值。

(17)一种图像处理装置，包括：

分辨率设置单元，设置分辨率；以及

恢复矩阵设置单元，根据由所述分辨率设置单元设置的分辨率，设置包括当从具备多个像素输出单位的成像元件的多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

(18)根据(17)所述的图像处理装置，其中分辨率设置单元通过选择部分像素输出单位的输出像素值来设置分辨率。

(19)根据(17)所述的图像处理装置，其中分辨率设置单元通过按照每个预定数量将像素输出单位的输出像素值相加在一起来设置分辨率。

(20)一种图像处理方法，包括：

设置分辨率；以及

根据设置的分辨率，设置包括当从包括多个像素输出单位的成像元件的多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜或针孔而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号。

参考符号列表

100 成像装置

120 成像单元

121 成像元件

122 读取控制单元

123 恢复矩阵设置单元

124 恢复单元

125 关联单位

126 传感器单元

500 图像处理装置

520 分辨率处理单元

521 缓冲器

522 读取控制单元

523 恢复矩阵设置单元

524 恢复单元

525 关联单位

526 传感器单元

Claims (19)

1.一种成像装置，包括：

包括多个像素输出单位的成像元件，所述多个像素输出单位接收不通过成像透镜和针孔两者而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及

读取控制单元，选择性地读取成像元件的每个像素输出单位的输出像素值，

其中每个像素输出单位具有能够独立设置的入射角度方向性，所述入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

2.如权利要求1所述的成像装置，其中读取控制单元在成像元件的所述多个像素输出单位当中选择部分像素单位输出，并且读取所选择的像素输出单位的输出像素值。

3.如权利要求2所述的成像装置，其中读取控制单元在成像元件的所述多个像素输出单位当中选择任意位置处的部分像素输出单位。

4.如权利要求3所述的成像装置，其中读取控制单元选择像素输出单位，使得，关于输出像素值的入射角度方向性，所选择的像素输出单位整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

5.如权利要求2所述的成像装置，其中读取控制单元在成像元件的所述多个像素输出单位当中选择处于具有预定规则性的位置关系的部分像素输出单位。

6.如权利要求5所述的成像装置，其中关于输出像素值的入射角度方向性，由读取控制单元选择的处于具有规则性的位置关系的成像元件的所述部分像素输出单位的整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

7.如权利要求2所述的成像装置，其中读取控制单元选择在形成有成像元件的所述多个像素输出单位的区域的一个部分区域中形成的像素输出单位。

8.如权利要求7所述的成像装置，其中关于输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性，由读取控制单元选择的部分区域中形成的成像元件的像素输出单位的整体具有与成像元件的所有像素输出单位等同的入射角度方向性。

9.如权利要求1所述的成像装置，其中读取控制单元从成像元件的所有像素输出单位读取输出像素值，并选择读取的输出像素值中的一些。

10.如权利要求1所述的成像装置，其中读取控制单元读取成像元件的所有像素输出单位的输出像素值，并且按照每个预定数量将读取的输出像素值相加。

11.如权利要求10所述的成像装置，其中读取控制单元将像素输出单位的输出像素值相加，所述输出像素值具有彼此相似的入射角度方向性，每个入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

12.如权利要求10所述的成像装置，其中读取控制单元将彼此靠近的像素输出单位的输出像素值相加。

13.如权利要求1所述的成像装置，其中所述多个像素输出单位具有如下配置：对于每个像素输出单位，能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

14.如权利要求1所述的成像装置，其中所述多个像素输出单位具有如下配置：通过使对输出有贡献的光电二极管PD互不相同从而对于每个像素输出单位能够独立设置输出像素值的指示相对于来自被摄体的入射光的入射角度的方向性的入射角度方向性。

15.一种成像方法，包括：

由包括多个像素输出单位的成像元件对被摄体进行成像，所述多个像素输出单位接收不通过成像透镜和针孔两者而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号；以及

选择性地读取成像元件的每个像素输出单位的输出像素值，

其中每个像素输出单位具有能够独立设置的入射角度方向性，所述入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

16.一种图像处理装置，包括：

分辨率设置单元，设置分辨率；以及

恢复矩阵设置单元，根据由所述分辨率设置单元设置的分辨率，设置包括当从具备多个像素输出单位的成像元件的多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜和针孔两者而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，

其中每个像素输出单位具有能够独立设置的入射角度方向性，所述入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

17.如权利要求16所述的图像处理装置，其中分辨率设置单元通过选择部分像素输出单位的输出像素值来设置分辨率。

18.如权利要求16所述的图像处理装置，其中分辨率设置单元通过按照每个预定数量将像素输出单位的输出像素值相加在一起来设置分辨率。

19.一种图像处理方法，包括：

设置分辨率；以及

根据设置的分辨率，设置包括当从包括多个像素输出单位的成像元件的多个像素输出单位的输出像素值恢复复原图像时使用的系数的恢复矩阵，所述多个像素输出单位接收不通过成像透镜和针孔两者而进入的入射光，并且每个像素输出单位输出一个指示由入射光的入射角度调制的输出像素值的检测信号，

其中每个像素输出单位具有能够独立设置的入射角度方向性，所述入射角度方向性指示相对于来自被摄体的入射光的入射角度的方向性。

Images