CN108605083B - 摄像装置及图像数据生成方法 - Google Patents

Abstract

本发明提供一种通过减少干扰的影响可获得高品质图像的摄像装置及图像数据生成方法。本发明的摄像装置，其具备：摄影透镜，具备不同摄像特性的n个光学系统；及图像传感器，在各像素具备干扰比例及受光灵敏度的组合不同的m个受光传感器，其中，获取从图像传感器的各像素的各受光传感器输出的图像信号来生成m个一次图像数据，对所生成的m个一次图像数据以像素单位实施干扰消除处理，从而生成与各光学系统对应的n个二次图像数据。进行干扰消除处理时，作为处理对象的像素中包含像素值饱和的一次图像数据时，将该一次图像数据排除在外，对剩余的一次图像数据实施干扰消除处理，从而生成二次图像数据。

Description

摄像装置及图像数据生成方法

技术领域

本发明涉及一种摄像装置及图像数据生成方法，尤其涉及一种通过使用具 备多个光学系统的摄影透镜及各受光传感器关于光的入射角具有指向性的图像 传感器，能够一次性地拍摄多个图像的摄像装置及图像数据生成方法。

背景技术

已知有通过使用具备多个光学系统的摄影透镜及各受光传感器关于光的入 射角具有指向性的图像传感器，能够一次性地拍摄多个图像的摄像装置(例 如，专利文献1)。该摄像装置中，用图像传感器的各受光传感器选择性地接 收通过摄影透镜的各光学系统的光，由此拍摄与各光学系统对应的图像。但 是，很难用各受光传感器完全分离来自各光学系统的光来受光。其结果，产生 干扰(串扰)。干扰是来自其他光学系统的光混入并被受光的现象。若产生干 扰，则会拍摄重叠有其他光学系统的图像的图像(参考图13及图14)。专利 文献2、3中，提出有相互利用通过拍摄获得的各光学系统的图像，并通过信 号处理，从各图像消除干扰的影响的方法。

以往技术文献

专利文献

专利文献1：国际公开第2013/018471号

专利文献2：国际公开第2013/146506号

专利文献3：日本特开2014-178190号公报

发明内容

发明要解决的技术课题

图像传感器输出与曝光量成比例的信号(电压)。但是，保持线性的范围 是有限的，若超过饱和曝光量而进行曝光，则输出变得恒定。

另一方面，消除干扰的影响的处理通过相互利用各光学系统的图像来进 行。因此，只要在各光学系统的图像一部分产生饱和，则无法正确地消除干扰 的影响，存在图像品质反而下降的问题(参考图42)。

本发明是鉴于这种情况而完成的，其目的在于提供一种通过减少干扰的影 响可获得高品质图像的摄像装置及图像数据生成方法。

用于解决技术课题的手段

用于解决课题的方法如下。

(1)一种摄像装置，其具备：摄影透镜，n设为满足n＞1的整数时，具备 不同摄像特性的n个光学系统；图像传感器，m设为满足m＞n的整数时，在各像 素具备干扰比例及受光灵敏度的组合不同的m个受光传感器；一次图像数据生 成部，获取从图像传感器的各像素的各受光传感器输出的图像信号，生成m个 一次图像数据；饱和像素检测部，从一次图像数据检测像素值饱和的像素；及 二次图像数据生成部，对m个一次图像数据以像素单位实施干扰消除处理，从 而生成与各光学系统对应的n个二次图像数据，处理对象中包含像素值饱和的 一次图像数据时，将像素值饱和的一次图像数据排除在外，对剩余的一次图像 数据实施干扰消除处理，从而生成二次图像数据。

根据本方式，在图像传感器的各像素具备干扰比例及受光灵敏度的组合不 同的m个受光传感器。由此，能够通过1次曝光生成m个图像数据。即，通过 从各像素获取所对应的受光传感器的输出，能够生成m个图像数据。将该图像 数据作为一次图像数据。与各光学系统对应的图像数据(二次图像数据)从该 m个一次图像数据生成。即，通过对m个一次图像数据实施干扰消除处理来生 成。干扰消除处理以像素单位进行。处理时，包含像素值饱和的一次图像数据 时，将该一次图像数据排除在外来进行干扰消除处理。由此，能够准确地消除 干扰的影响，能够生成高品质图像。并且，通过在各像素具备不同受光灵敏度 的受光传感器，还能够扩大动态范围。

另外，“干扰比例”是指从各光学系统接收的光的比例。例如，假设摄影 透镜具备3个光学系统。将3个光学系统设为第1光学系统、第2光学系统、 第3光学系统。假设受光传感器中的干扰比例为第1光学系统∶第2光学系统∶ 第3光学系统＝0.8∶0.1∶0.1。此时，受光传感器中，若将总受光量设为1，则 以从第1光学系统受光0.8、从第2光学系统受光0.1、从第3光学系统受光0. 1的比例接收光。即，用受光传感器受光的光中，80％为来自第1光学系统的 光，10％为来自第2光学系统的光，10％为来自第3光学系统的光。

“干扰比例不同”是指从各光学系统接收的光的比例不同。因此，“不同 干扰比例的受光传感器”是指从各光学系统接收的光的比例不同的受光传感 器。

并且，“不同受光灵敏度的受光传感器”是指通过每单位入射光量而产生 的输出信号(电压)不同的受光传感器。

并且，“干扰消除处理”是指从图像消除干扰的影响的处理。若产生干 扰，则会拍摄重叠有其他光学系统的图像的图像。通过干扰消除处理，分离其 他光学系统的图像并去除。

而且，“摄像特性”是指与拍摄相关的性质，“不同摄像特性的光学系 统”是指与摄像相关的性质互不相同的光学系统。例如，是不同焦距的光学系 统、不同对焦距离的光学系统、不同透射波长特性的光学系统等。

(2)根据(1)的摄像装置，其中，将一次图像数据的像素值设为A1、A 2、……、Am，将二次图像数据的像素值设为B1、B2、……、Bn，将各受光传 感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm ＝Cm1∶Cm2∶……∶Cmn，将与各受光传感器的受光灵敏度相应的系数设为s1、s 2、……、sm时，二次图像数据生成部作为干扰消除处理，通过求解以下联立 方程式来生成二次图像数据，

A1＝s1*C11*B1+s1*C12*B2+……+s1*C1n*Bn

A2＝s2*C21*B1+s2*C22*B2+……+s2*C2n*Bn

……

Am＝sm*Cm1*B1+sm*Cm2*B2+……+sm*Cmn*Bn

作为处理对象的像素中包含像素值饱和的一次图像数据时，将像素值饱和 的一次图像数据排除在外来建立联立方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的联立方程式的处理。建 立联立方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立联立方程式。

(3)根据(1)的摄像装置，其中，将以各一次图像数据的像素值A1、A 2、……、Am作为要素的m行1列的矩阵设为A，将以各二次图像数据的像素 值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以各受光传感器的 干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm 2∶……∶Cmn和与各受光传感器的受光灵敏度相应的系数s1、s2、……、sm之 积s1*C1＝s1*C11∶s1*C12∶……∶s1*C1n、s2*C2＝s2*C21∶s2*C22∶……∶s2*C2 n、……、sm*Cm＝sm*Cm1∶sm*Cm2∶……∶sm*Cmn作为要素的m行n列的矩阵设为 T，将T的逆矩阵设为T^-1时，二次图像数据生成部作为干扰消除处理，通过求 解以下矩阵方程式B＝T^-1*A来生成二次图像数据，作为处理对象的像素中包含 像素值饱和的一次图像数据时，将像素值饱和的一次图像数据排除在外来建立 矩阵方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的矩阵方程式的处理。建 立矩阵方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立矩阵方程式。

(4)根据(3)的摄像装置，其还具备逆矩阵信息存储部，存储有逆矩阵 T^-1的信息，二次图像数据生成部利用存储于逆矩阵信息存储部的逆矩阵T^-1的 信息，求解矩阵方程式。

根据本方式，利用存储于逆矩阵信息存储部的逆矩阵T^-1的信息，求解矩阵 方程式。

(5)根据(4)的摄像装置，其中，逆矩阵信息存储部存储每个像素的逆 矩阵T^-1的信息。

根据本方式，按每个像素存储逆矩阵T^-1的信息。由此，能够更准确地消除 干扰的影响。

(6)根据(1)至(5)中任一项的摄像装置，其中，k设为满足k＞0的 整数时，作为处理对象的像素中包含k个像素值饱和的一次图像数据，且成为 (m-k)＜n时，二次图像数据生成部不实施干扰消除处理，而是根据未饱和的 一次图像数据的像素值及未饱和的一次图像数据的干扰比例，计算作为处理对 象的像素中的二次图像数据的像素值。

根据本方式，将像素值饱和的一次图像数据排除在外的结果，作为处理对 象的像素中的一次图像数据的数量(m-k)变得少于摄影透镜所具备的光学系 统的数量(n)时((m-k)＜n)，中止该像素中的干扰消除处理。例如，相 当于摄影透镜所具备的光学系统的数量(n)为2，各像素所具备的受光传感器 的数量(m)为4时，特定的像素中3个一次图像数据的像素值饱和的情况。 此时，对于该像素，不进行干扰消除处理。作为替代措施，根据未饱和的一次 图像数据的像素值及未饱和的一次图像数据的干扰比例，计算二次图像数据的 像素值。由此，能够更适当地消除干扰的影响。另外，未饱和的一次图像数据 的干扰比例成为生成该一次图像数据的受光传感器的干扰比例。

(7)根据(6)的摄像装置，其中，m＝k时，二次图像数据生成部将作为 处理对象的像素中的二次图像数据的像素值作为饱和值。

根据本方式，作为处理对象的像素中，所有的受光传感器饱和时(m＝ k)，将该像素中的二次图像数据的像素值作为饱和值。

(8)根据(1)至(7)中任一项的摄像装置，其中，受光传感器具备： 光电转换元件；微透镜，使摄影透镜的射出瞳的像成像于光电转换元件；及遮 光罩，配置于微透镜与受光传感器之间，通过遮光罩的形状不同，受光灵敏度 不同。

根据本方式，通过遮光罩的形状，调整各个受光传感器的受光灵敏度。例 如，能够通过改变开口的尺寸，调整受光灵敏度。

(9)根据(1)至(7)中任一项的摄像装置，其中，受光传感器具备滤 波器，通过滤波器的透射率不同，受光灵敏度不同。

根据本方式，根据滤波器的透射率，调整各个受光传感器的受光灵敏度。 作为滤波器，例如使用ND滤波器(ND：Neutral Density(中性密度))，通 过改变该ND滤波器的浓度(透射率)，调整各个受光传感器的受光灵敏度。

(10)一种摄像装置，其具备：摄影透镜，n设为满足n＞1的整数时，具备 不同摄像特性的n个光学系统；图像传感器，在各像素具备不同干扰比例的n个 以上的受光传感器；曝光控制部，以不同的曝光值使图像传感器曝光多次；一 次图像数据生成部，获取按每次曝光而从图像传感器的各像素的各受光传感器 输出的图像信号，生成成为m＞n的m个一次图像数据；饱和像素检测部，从一 次图像数据检测像素值饱和的像素；及二次图像数据生成部，对m个一次图像 数据按像素单位实施干扰消除处理，从而生成与各光学系统对应的n个二次图 像数据，处理对象包含像素值饱和的一次图像数据时，将像素值饱和的一次图像数据排除在外，对剩余的一次图像数据实施干扰消除处理，从而生成二次图 像数据。

根据本方式，对1次摄像命令，使其曝光多次。关于曝光，每次改变曝光 值来进行。通过改变曝光值来进行多次曝光，能够获取多个不同明度的图像数 据。这些图像数据成为干扰比例及受光灵敏度的组合不同的图像数据。例如， 当为在各像素具备不同干扰比例的2个受光传感器的图像传感器时，若改变曝 光值来进行2次拍摄，则能够生成4个图像数据。将该图像数据设为一次图像 数据。与各光学系统对应的图像数据(二次图像数据)从该m个一次图像数据 生成。即，通过对m个一次图像数据实施干扰消除处理来生成。干扰消除处理以像素单位进行。处理时，作为处理对象的像素中包含像素值饱和的一次图像 数据时，将该一次图像数据排除在外来进行干扰消除处理。由此，能够准确地 消除干扰的影响，可获得高品质图像。并且，通过在各像素具备不同受光灵敏 度的受光传感器，还能够扩大动态范围。

另外，“曝光值”是表示曝光的明度的数值。曝光值根据摄影透镜的光圈 (F值)、曝光时间(快门速度)及灵敏度的组合来确定。

(11)根据(10)的摄像装置，其中，将一次图像数据的像素值设为A1、 A2、……、Am，将二次图像数据的像素值设为B1、B2、……、Bn，将与各一次 图像数据对应的受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C2 2∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各一次图像数据的曝光时的 曝光值相应的系数设为e1、e2、……、em时，二次图像数据生成部作为干扰 消除处理，通过求解以下联立方程式来生成二次图像数据，

A1＝e1*C11*B1+e1*C12*B2+……+e1*C1n*Bn

A2＝e2*C21*B1+e2*C22*B2+……+e2*C2n*Bn

……

Am＝em*Cm1*B1+em*Cm2*B2+……+em*Cmn*Bn

作为处理对象的像素中包含像素值饱和的一次图像数据时，将像素值饱和 的一次图像数据排除在外来建立联立方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的联立方程式的处理。建 立联立方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立联立方程式。

(12)根据(10)的摄像装置，其中，将以各一次图像数据的像素值A1、 A2、……、Am作为要素的m行1列的矩阵设为A，将以各二次图像数据的像素 值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以与各一次图像数 据对应的受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2 n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各一次图像数据的曝光时的曝光值相应的 系数e1、e2、……、em之积e1*C1＝e1*C11∶e1*C12∶……∶e1*C1n、e2*C2＝e2*C 21∶e2*C22∶……∶e2*C2n、……、em*Cm＝em*Cm1∶em*Cm2∶……∶em*Cmn作为要素 的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，二次图像数据生成部作为 干扰消除处理，通过求解以下矩阵方程式B＝T^-1*A来生成二次图像数据，作为 处理对象的像素中包含像素值饱和的一次图像数据时，将像素值饱和的一次图 像数据排除在外来建立矩阵方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的矩阵方程式的处理。建 立矩阵方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立矩阵方程式。

(13)根据(12)的摄像装置，其还具备逆矩阵信息存储部，存储有逆矩 阵T^-1的信息，二次图像数据生成部利用存储于逆矩阵信息存储部的逆矩阵T^-1的信息求解矩阵方程式。

根据本方式，利用存储于逆矩阵信息存储部的逆矩阵T^-1的信息，求解矩阵 方程式。

(14)根据(13)的摄像装置，其中，逆矩阵信息存储部存储每个像素的 逆矩阵T^-1的信息。

根据本方式，按每个像素存储逆矩阵T^-1的信息。由此，能够更准确地消除 干扰的影响。

(15)根据(10)至(14)中任一项的摄像装置，其中，k设为满足k＞0 的整数时，作为处理对象的像素中包含k个像素值饱和的一次图像数据，且成 为(m-k)＜n时，二次图像数据生成部不实施干扰消除处理，而是根据未饱和 的一次图像数据的像素值及未饱和的一次图像数据的干扰比例，计算作为处理 对象的像素中的二次图像数据的像素值。

根据本方式，将像素值饱和的一次图像数据排除在外的结果，作为处理对 象的像素中的一次图像数据的数量(m-k)变得少于摄影透镜所具备的光学系 统的数量(n)时((m-k)＜n)，中止该像素中的干扰消除处理。作为替代 措施，根据未饱和的一次图像数据的像素值及未饱和的一次图像数据的干扰比 例，计算二次图像数据的像素值。由此，能够更适当地消除干扰的影响。

(16)根据(15)的摄像装置，其中，m＝k时，二次图像数据生成部将作 为处理对象的像素中的二次图像数据的像素值作为饱和值。

根据本方式，作为处理对象的像素中，所有的受光传感器饱和时(m＝ k)，将该像素中的二次图像数据的像素值作为饱和值。

(17)根据(1)至(16)中任一项的摄像装置，其中，摄影透镜所具备 的多个光学系统的焦距互不相同。

根据本方式，摄影透镜所具备的各光学系统由焦距互不相同的光学系统构 成。由此，例如如长焦图像与广角图像，能够拍摄焦距互不相同的图像。

(18)根据(1)至(16)中任一项的摄像装置，其中，摄影透镜所具备 的多个光学系统的对焦距离互不相同。

根据本方式，摄影透镜所具备的各光学系统由对焦距离互不相同的光学系 统构成。由此，如对焦于近距离的被摄体的图像与对焦于远距离的被摄体的图 像，能够拍摄对焦距离互不相同的图像。

(19)根据(1)至(16)中任一项的摄像装置，其中，摄影透镜所具备 的多个光学系统的透射波长特性互不相同。

根据本方式，摄影透镜所具备的各光学系统由透射波长特性互不相同的光 学系统构成。“透射波长特性”是指使特定的波长区域的光透射的性质，“不 同透射波长特性的光学系统”是指使特定的波长区域的光透射的性质互不相同 的光学系统。例如，摄影透镜由2个光学系统构成的情况如下，即，其中一个 光学系统由使红外光区域的光透射的光学系统构成，另一个光学系统由使可见 光区域的光透射的光学系统构成。

(20)根据(1)至(19)中任一项的摄像装置，其中，摄影透镜所具备 的多个光学系统相互配置成同心状。

根据本方式，摄影透镜通过将多个光学系统配置成同心状来构成。

(21)一种摄像装置的图像数据生成方法，该摄像装置具备：摄影透镜， n设为满足n＞1的整数时，具备不同摄像特性的n个光学系统；及图像传感 器，m设为满足m＞n的整数时，在各像素具备干扰比例及受光灵敏度的组合不 同的m个受光传感器，该图像数据生成方法具备：对图像传感器进行曝光的工 序；获取从图像传感器的各像素的各受光传感器输出的图像信号，生成m个一 次图像数据的工序；从一次图像数据检测像素值饱和的像素的工序；及对m个 一次图像数据以像素单位实施干扰消除处理，从而生成与各光学系统对应的n 个二次图像数据，处理对象中包含像素值饱和的一次图像数据时，将像素值饱 和的一次图像数据排除在外，对剩余的一次图像数据实施干扰消除处理，从而 生成二次图像数据的工序。

根据本方式，在图像传感器的各像素具备干扰比例及受光灵敏度的组合不 同的m个受光传感器。该受光传感器的数量(m)设为比摄影透镜所具备的光 学系统的数量(n)多。通过曝光，受光传感器饱和时，根据除了饱和的受光 传感器以外的剩余的受光传感器的输出，进行干扰消除处理，生成二次图像数 据。由此，能够准确地消除干扰的影响，可获得高品质图像。并且，通过在各 像素具备不同受光灵敏度的受光传感器，还能够扩大动态范围。

(22)根据(21)的摄像装置的图像数据生成方法，其中，将一次图像数 据的像素值设为A1、A2、……、Am，将二次图像数据的像素值设为B1、B 2、……、Bn，将各受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶ C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各受光传感器的受光灵敏 度相应的系数设为s1、s2、……、sm时，生成二次图像数据的工序作为干扰 消除处理，通过求解以下联立方程式来生成二次图像数据，

A1＝s1*C11*B1+s1*C12*B2+……+s1*C1n*Bn

A2＝s2*C21*B1+s2*C22*B2+……+s2*C2n*Bn

……

Am＝sm*Cm1*B1+sm*Cm2*B2+……+sm*Cmn*Bn

作为处理对象的像素中包含像素值饱和的一次图像数据时，将像素值饱和 的一次图像数据排除在外来建立联立方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的联立方程式的处理。建 立联立方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立联立方程式。

(23)根据(21)的摄像装置的图像数据生成方法，其中，将以各一次图 像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以各 二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B， 将以各受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2 n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各受光传感器的受光灵敏度相应的系数s 1、s2、……、sm之积s1*C1＝s1*C11∶s1*C12∶……∶s1*C1n、s2*C2＝s2*C21∶s2 *C22∶……∶s2*C2n、……、sm*Cm＝sm*Cm1∶sm*Cm2∶……∶sm*Cmn作为要素的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，生成二次图像数据的工序作为 干扰消除处理，通过求解以下矩阵方程式B＝T^-1*A来生成二次图像数据，作为 处理对象的像素中包含像素值饱和的一次图像数据时，将像素值饱和的一次图 像数据排除在外来建立矩阵方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的矩阵方程式的处理。建 立矩阵方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立矩阵方程式。

(24)根据(21)至(23)中任一项的摄像装置的图像数据生成方法，其 中，k设为满足k＞0的整数时，作为处理对象的像素中包含k个像素值饱和的 一次图像数据，且成为(m-k)＜n时，生成二次图像数据的工序不实施干扰消 除处理，而是根据未饱和的一次图像数据的像素值及未饱和的一次图像数据的 干扰比例，计算作为处理对象的像素中的二次图像数据的像素值。

根据本方式，将像素值饱和的一次图像数据排除在外的结果，作为处理对 象的像素中的一次图像数据的数量(m-k)变得少于摄影透镜所具备的光学系 统的数量(n)时((m-k)＜n)，中止该像素中的干扰消除处理。此时，作 为替代措施，根据未饱和的一次图像数据的像素值及未饱和的一次图像数据的 干扰比例，计算二次图像数据的像素值。由此，能够更适当地消除干扰的影 响。

(25)根据(24)的摄像装置的图像数据生成方法，其中，m＝k时，生成 二次图像数据的工序将作为处理对象的像素中的二次图像数据的像素值作为饱 和值。

根据本方式，作为处理对象的像素中，所有的受光传感器饱和时(m＝ k)，将该像素中的二次图像数据的像素值作为饱和值。

(26)一种摄像装置的图像数据生成方法，该摄像装置具备：摄影透镜， n设为满足n＞1的整数时，具备不同摄像特性的n个光学系统；及图像传感器， 在各像素具备不同干扰比例的n个以上的受光传感器，该图像数据生成方法具 备：以不同的曝光值使图像传感器曝光多次的工序；获取按每次曝光而从图像 传感器的各像素的各受光传感器输出的图像信号，生成成为m＞n的m个一次图 像数据的工序；从一次图像数据检测像素值饱和的像素的工序；及对m个一次 图像数据按像素单位实施干扰消除处理，生成与各光学系统对应的n个二次图 像数据，处理对象中包含像素值饱和的一次图像数据时，将像素值饱和的一次图像数据排除在外，对剩余的一次图像数据实施干扰消除处理，从而生成二次 图像数据的工序。

根据本方式，对1次摄像命令，使其曝光多次。关于曝光，每次改变曝光 值来进行。通过改变曝光值来进行多次曝光，能够获取多个不同明度的图像数 据。这些图像数据成为干扰比例及受光灵敏度的组合不同的图像数据。将该图 像数据设为一次图像数据。与各光学系统对应的图像数据(二次图像数据)从 该m个一次图像数据生成。即，通过对m个一次图像数据实施干扰消除处理来 生成。干扰消除处理以像素单位进行。处理时，包含像素值饱和的一次图像数 据时，将该一次图像数据排除在外来进行干扰消除处理。由此，能够准确地消 除干扰的影响，可获得高品质图像。并且，通过在各像素具备不同受光灵敏度 的受光传感器，还能够扩大动态范围。

(27)根据(26)的摄像装置的图像数据生成方法，其中，将一次图像数 据的像素值设为A1、A2、……、Am，将二次图像数据的像素值设为B1、B 2、……、Bn，将与各一次图像数据对应的受光传感器的干扰比例设为C1＝C11∶ C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各 一次图像数据的曝光时的曝光值相应的系数设为e1、e2、……、em时，生成二 次图像数据的工序作为干扰消除处理，通过求解以下联立方程式来生成二次图 像数据，

A1＝e1*C11*B1+e1*C12*B2+……+e1*C1n*Bn

A2＝e2*C21*B1+e2*C22*B2+……+e2*C2n*Bn

……

Am＝em*Cm1*B1+em*Cm2*B2+……+em*Cmn*Bn

作为处理对象的像素中包含像素值饱和的一次图像数据时，将像素值饱和 的一次图像数据排除在外来建立联立方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的联立方程式的处理。建 立联立方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立联立方程式。

(28)根据(26)的摄像装置的图像数据生成方法，其中，将以各一次图 像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以各二 次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以 与各一次图像数据对应的受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C2 1∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各一次图像数据的曝光时 的曝光值相应的系数e1、e2、……、em之积e1*C1＝e1*C11∶e1*C12∶……∶e1*C1 n、e2*C2＝e2*C21∶e2*C22∶……∶e2*C2n、……、em*Cm＝em*Cm1∶em*Cm2∶……∶e m*Cmn作为要素的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，生成二次图像数据的工序作为干扰消除处理，通过求解以下矩阵方程式B＝T^-1*A来生成二次图 像数据，作为处理对象的像素中包含像素值饱和的一次图像数据时，将像素值 饱和的一次图像数据排除在外来建立矩阵方程式，从而生成二次图像数据。

根据本方式，作为干扰消除处理，进行求解规定的矩阵方程式的处理。建 立矩阵方程式时，作为处理对象的像素中包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来建立矩阵方程式。

(29)根据(26)至(28)中任一项的摄像装置的图像数据生成方法，其 中，k设为满足k＞0的整数时，作为处理对象的像素中包含k个像素值饱和的 一次图像数据，且成为(m-k)＜n时，生成二次图像数据的工序不实施干扰消 除处理，而是根据未饱和的一次图像数据的像素值及未饱和的一次图像数据的 干扰比例，计算作为处理对象的像素中的二次图像数据的像素值。

根据本方式，将像素值饱和的一次图像数据排除在外的结果，作为处理对 象的像素中的一次图像数据的数量(m-k)变得少于摄影透镜所具备的光学系 统的数量(n)时((m-k)＜n)，中止该像素中的干扰消除处理。作为替代 措施，根据未饱和的一次图像数据的像素值及未饱和的一次图像数据的干扰比 例，计算二次图像数据的像素值。由此，能够更适当地消除干扰的影响。

(30)根据(29)的摄像装置的图像数据生成方法，其中，m＝k时，生成 二次图像数据的工序将作为处理对象的像素中的二次图像数据的像素值作为饱 和值。

根据本方式，作为处理对象的像素中，所有的受光传感器饱和时(m＝ k)，将该像素中的二次图像数据的像素值作为饱和值。

发明效果

根据本发明，通过减少干扰的影响可获得高品质图像。

附图说明

图1是表示摄像装置的系统结构的框图。

图2是表示摄影透镜的概略结构的主视图。

图3是图2的3-3剖视图。

图4是表示第1光学系统的概略结构的剖视图。

图5是表示第2光学系统的概略结构的剖视图。

图6是图像传感器的受光面的主视图。

图7是放大图像传感器的1个像素的主视图。

图8是表示受光传感器的概略结构的剖视图。

图9是表示受光传感器的概略结构的剖视图。

图10是表示第1受光传感器及第2受光传感器中的入射光量与输出信号 之间的关系的曲线图。

图11是从图像传感器的输出生成4个一次图像数据的概念图。

图12是从图像传感器的输出生成各个一次图像数据的概念图。

图13是表示第1一次图像数据FI1所表示的图像的一例的图。

图14是表示第2一次图像数据FI2所表示的图像的一例的图。

图15是表示第1二次图像数据SI1所表示的图像的图。

图16是表示第2二次图像数据SI2所表示的图像的图。

图17是第1一次图像数据的结构的概念图。

图18是第2一次图像数据的结构的概念图。

图19是以矩阵表现一次图像数据与二次图像数据之间的关系的概念图。

图20是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。

图21是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。

图22是利用逆矩阵表示一次图像数据与二次图像数据之间的关系的矩阵 方程式。

图23是表示一次图像数据与二次图像数据之间的关系的概念图。

图24是以矩阵表现一次图像数据与二次图像数据之间的关系的概念图。

图25是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。

图26是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。

图27是利用逆矩阵表示一次图像数据与二次图像数据之间的关系的矩阵 方程式。

图28是表示作为处理对象的像素中包含像素值饱和的一次图像数据时的 一次图像数据与二次图像数据之间的关系的概念图。

图29是以矩阵表现将第1一次图像数据排除在外时的一次图像数据与二 次图像数据之间的关系的概念图。

图30是表示将第1一次图像数据排除在外时的一次图像数据与二次图像 数据之间的关系的矩阵方程式。

图31是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。

图32是利用逆矩阵表达一次图像数据与二次图像数据之间的关系的矩阵 方程式。

图33是表示二次图像数据的生成处理的步骤的流程图。

图34是数字信号处理部所具备的功能的框图。

图35是作为处理对象的像素中包含像素值饱和的一次图像数据时的处理 的步骤的流程图。

图36是表示第2实施方式的摄像装置的系统结构的框图。

图37是放大图像传感器的一部分的主视图。

图38是数字信号处理部所具备的功能的框图。

图39是表示基于第2实施方式的摄像装置的图像数据的生成处理的步骤 的流程图。

图40是一次图像数据的生成的概念图。

图41是通过本发明所涉及的图像数据生成方法生成的二次图像数据所表 示的图像。

图42是通过以往的方法生成的二次图像数据所表示的图像。

具体实施方式

以下，根据附图，对本发明的优选实施方式进行详细说明。

[第1实施方式]

《摄像装置的装置结构》

图1是表示摄像装置的系统结构的框图。

摄像装置1主要具备摄影透镜10、图像传感器100、透镜驱动控制部21 0、图像传感器驱动控制部212、模拟信号处理部214、数字信号处理部216、 显示部218、工作存储器220、存储部222、媒体接口224、系统控制部226及 操作部228而构成。

<摄影透镜>

图2是表示摄影透镜的概略结构的主视图。图3是图2的3-3剖视图。

摄影透镜10具备2个光学系统20及30。2个光学系统20及30配置成同 心状。因此，各光学系统20及30具有相同的光轴L。以下，将中央的光学系 统20称作第1光学系统，将外周的光学系统30称作第2光学系统，区别各光 学系统。

第1光学系统20及第2光学系统30由焦距互不相同的光学系统构成。第 1光学系统20由广角光学系统构成，第2光学系统30由长焦光学系统构成。 在此，广角光学系统是指焦距比标准的光学系统(视场角为50°前后的光学系 统)短的光学系统。并且，长焦光学系统是指焦距比标准的光学系统长的光学 系统。

〔第1光学系统〕

图4是表示第1光学系统的概略结构的剖视图。另外，该图中，虚线表示 通过第1光学系统20的光的光线轨迹。

如图4所示，第1光学系统20由3组8个透镜构成。第1光学系统20在 第2透镜组与第3透镜组之间具有光圈22。光圈22具有环状的遮光部。光圈 22使环状的遮光部的内径扩大和收缩来调节通过第1光学系统20的光的光 量。

〔第2光学系统〕

图5是表示第2光学系统的概略结构的剖视图。另外，该图中，虚线表示 通过第2光学系统30的光的光线轨迹。

如图5所示，第2光学系统30由所谓的反射光学系统构成。第2光学系 统30具备第1透镜30a、第2透镜30b、第3透镜30c、主镜30d及副镜30 e。第2光学系统30配置于第1光学系统20的外周，因此各构成要件形成为 环状。

第1透镜30a、第2透镜30b及第3透镜30c从物体侧以第1透镜30a、 第2透镜30b、第3透镜30c的顺序沿着光轴L配置。

主镜30d具备于第3透镜30c的像面侧的面。主镜30d通过在第3透镜30 c的像面侧的面形成反射膜，一体具备于第3透镜30c。主镜30d具备于第3 透镜30c的像面侧的面的整面。

副镜30e具备于第2透镜30b的像面侧的面。副镜30e通过在第2透镜30 b的像面侧的面形成反射膜，一体具备于第2透镜30b。副镜30e具备于第2 透镜30b的像面侧的面的内周部分。

入射于第2光学系统30的光通过第1透镜30a、第2透镜30b、第3透镜 30c，入射于主镜30d。入射于主镜30d的光在主镜30d反射，再次通过第3透 镜30c入射于副镜30e。入射于副镜30e的光在副镜30e反射而出射。

第2光学系统30在副镜30e的后段具有光圈32。光圈32具有环状的遮光 部。光圈32扩大和收缩环状遮光部的外径，调整通过第2光学系统30的光的 光量。

〔共用透镜〕

摄影透镜10具有在第1光学系统20及第2光学系统30中共用的共用透 镜40。通过第1光学系统20及第2光学系统30的光分别经由共用透镜40入 射于图像传感器100。共用透镜40具有调整经由第1光学系统20及第2光学 系统30入射于图像传感器100的光的入射角度的作用。

〔调焦机构〕

第1光学系统20及第2光学系统30分别独立地被调焦。第1光学系统20 通过使整个光学系统沿着光轴L前后移动来调焦。同样地，第2光学系统30 通过使整个光学系统沿着光轴L前后移动来调焦。虽未图示，但摄影透镜10 中具备用于使第1光学系统20沿着光轴L前后移动的机构(调焦机构)及用 于使第2光学系统30沿着光轴L前后移动的机构(调焦机构)。

<图像传感器>

图6是图像传感器的受光面的主视图。

图像传感器100在受光面具备多个像素110。多个像素110以二维矩阵状 排列于受光面。

图7是放大图像传感器的1个像素的主视图。另外，该图中，斜线表示基 于遮光罩的遮罩区域。对于遮光罩，将进行后述。

图像传感器100在1个像素110具备多个受光传感器。多个受光传感器排 列为二维矩阵状。如图7所示，本实施方式的图像传感器100在1个像素110 具备4个受光传感器120a、120b、120c及120d。4个受光传感器120a、120 b、120c及120d以2行2列(2×2)的排列，配置成二维矩阵状。以下，将符 号120a的受光传感器称作第1受光传感器，将符号120b的受光传感器称作第 2受光传感器，将符号120c的受光传感器称作第3受光传感器，将符号120d 的受光传感器称作第4受光传感器，根据需要，区别4个受光传感器120a、12 0b、120c及120d。

4个受光传感器120a、120b、120c及120d由干扰比例及受光灵敏度的组 合互不相同的受光传感器构成。

其中，“不同干扰比例的受光传感器”是指从各光学系统接收的光的比例 不同的受光传感器。并且，“不同受光灵敏度的受光传感器”是指通过每单位 入射光量产生的输出信号(电压)不同的受光传感器。

本实施方式的图像传感器100中，第1受光传感器120a及第3受光传感 器120c由主要接收来自第1光学系统20的光的受光传感器构成，第2受光传 感器120b及第4受光传感器120d由主要接收来自第2光学系统30的光的受 光传感器构成。并且，第1受光传感器120a及第2受光传感器120b由高灵敏 度的受光传感器构成，第3受光传感器120c及第4受光传感器120d由低灵敏 度的受光传感器构成。

另外，“主要接收来自第1光学系统20的光的结构的受光传感器”表示 以高灵敏度接收来自第1光学系统20的光的结构的受光传感器。此时，用受 光传感器受光的大部分成为来自第1光学系统20的光。同样地，“主要接收 来自第2光学系统30的光的结构的受光传感器”表示以高灵敏度接收来自第2 光学系统30的光的结构的受光传感器。此时，用受光传感器受光的光的大部 分成为来自第2光学系统30的光。

关于第m受光传感器，以Cm＝Cm1∶Cm2表示干扰比例。[Cm1∶Cm2]表示[从 第1光学系统20受光的光的比例：从第2光学系统30受光的光的比例]。因 此，第1受光传感器120a的干扰比例为C1＝C11∶C12。第2受光传感器120b的 干扰比例为C2＝C21∶C22。第3受光传感器120c的干扰比例为C3＝C31∶C32。第 4受光传感器120d的干扰比例为C4＝C41∶C42。

第1受光传感器120a主要接收来自第1光学系统20的光，因此其干扰比 例C1的关系成为C11＞C12。同样地，第3受光传感器120c主要接收来自第1 光学系统20的光，因此其干扰比例C3的关系成为C31＞C32。另一方面，第2 受光传感器120b主要接收来自第2光学系统30的光，因此其干扰比例C2的 关系成为C21＜C22。同样地，第4受光传感器120d主要接收来自第2光学系 统30的光，因此其干扰比例C4的关系成为C41＜C42。

并且，此处的“高灵敏度”及“低灵敏度”是相对含义下的高灵敏度及低 灵敏度。即，表示第1受光传感器120a及第2受光传感器120b相对于第3受 光传感器120c及第4受光传感器120d，是高灵敏度。或者，表示第3受光传 感器120c及第4受光传感器120d相对于第1受光传感器120a及第2受光传 感器120b，是低灵敏度。

根据以上，第1受光传感器120a由主要接收来自第1光学系统20的光且 高灵敏度的受光传感器构成。第2受光传感器120b由主要接收来自第2光学 系统30的光且高灵敏度的受光传感器构成。第3受光传感器120c由主要接收 来自第1光学系统20的光且低灵敏度的受光传感器构成。第4受光传感器120 d由主要接收来自第2光学系统30的光且低灵敏度的受光传感器构成。

各受光传感器的干扰比例通过各受光传感器所具备的遮光罩的形状调整。 并且，各受光传感器的受光灵敏度通过各受光传感器所具备的滤波器的透射率 调整。

图8及图9是表示受光传感器的概略结构的剖视图。图8相当于图7的8- 8剖面，图9相当于图7的9-9剖面。另外，图8及图9中，以波浪线表示的 区域L1概念性地表示从第1光学系统20入射的光，以斜格表示的区域L2概 念性地表示从第2光学系统30入射的光。

各受光传感器120a～120d的基本结构相同。各受光传感器120a～120d具 备光电转换元件130、微透镜132、遮光罩134及滤波器136而构成。

光电转换元件130接收光，积蓄与所接收的光的强度成比例的电荷。光电 转换元件130例如由光电二极管构成。

微透镜132使第1光学系统20及第2光学系统30的射出瞳的像成像于光 电转换元件130。

遮光罩134配置于微透镜132与光电转换元件130之间。遮光罩134对通 过微透镜132的光的一部分进行遮光。受光传感器通过调整遮光罩134的形 状，调整干扰比例。

如上所述，第1受光传感器120a及第3受光传感器120c设为主要接收来 自第1光学系统20的光的结构。此时，遮光罩134设为在中央具备圆形开口 部134A的形状。

另一方面，第2受光传感器120b及第4受光传感器120d设为主要接收来 自第2光学系统30的光的结构。此时，遮光罩134设为具备环状开口部134A 的形状。

如此，受光传感器120a～120d能够通过调整遮光罩134的形状来调整干 扰比例。因此，若严密地规定遮光罩134的形状，则理论上能够完全分离来自 2个光学系统的光来接收。但是，由于遮光罩的制造误差、微透镜的像差等的 影响，很难完全分离来自2个光学系统的光来接收。其结果，产生干扰。

滤波器136配置于微透镜132与遮光罩134之间。透过微透镜132的光透 射滤波器136而入射到光电转换元件130。滤波器136用于受光传感器的受光 灵敏度的调整。滤波器136例如由ND滤波器(ND：Neutral Density)构成， 通过调整其浓度(透射率)，调整受光传感器的受光灵敏度。

如上所述，第1受光传感器120a及第2受光传感器120b由高灵敏度的受 光传感器构成。此时，作为滤波器136使用高透射率的滤波器(低浓度的滤波 器)。

另一方面，第3受光传感器120c及第4受光传感器120d由低灵敏度的受 光传感器构成。此时，作为滤波器136使用低透射率的滤波器(高浓度的滤波 器)。

图10是表示第1受光传感器及第2受光传感器中的入射光量与输出信号 之间的关系的曲线图。该图中，横轴表示曝光量，纵轴表示输出信号电平(输 出电压)。并且，该图中，标注有符号F1的曲线图是作为高灵敏度的受光传 感器的第1受光传感器120a的曲线图，标注有符号F2的曲线图是作为低灵敏 度的受光传感器的第3受光传感器120c的曲线图。

如图10所示，作为高灵敏度的受光传感器的第1受光传感器120a若超过 曝光量E1则饱和，输出信号电平成为恒定值V1。作为低灵敏度的受光传感器 的第3受光传感器120c若超过曝光量E2则饱和，输出信号电平成为恒定值V 2。第1受光传感器120a饱和的曝光量E1小于第2受光传感器120b饱和的曝 光量E2(E1＜E2)。即，第1受光传感器120a是高灵敏度，但具有若入射光 量变多则饱和的性质。另一方面，第3受光传感器120c是低灵敏度，但具有 即使入射光量多也能够实现维持线性的输出的性质。

作为高灵敏度的受光传感器的第2受光传感器120b及作为低灵敏度的受 光传感器的第4受光传感器120d的关系也相同。

图像传感器100读取积蓄在各像素110的各受光传感器120a～120d的光 电转换元件130的电荷量，输出与电荷量相应的信号(电压)作为图像信号。 通过对该图像信号进行处理，能够获取与各光学系统对应的图像数据。对于该 处理，将在后面进行详细叙述。

<透镜驱动控制部>

透镜驱动控制部210根据来自系统控制部226的指令，控制摄影透镜10 的驱动。即，为了调节第1光学系统20的焦点，控制第1光学系统20的调焦 机构的驱动，且为了调节第2光学系统30的焦点，控制第2光学系统30的调 焦机构的驱动。并且，为了调节第1光学系统20的光量，控制第1光学系统2 0的光圈22的驱动，且为了调节第2光学系统30的光量，控制第2光学系统 30的光圈32的驱动。

<图像传感器驱动控制部>

图像传感器驱动控制部212根据来自系统控制部226的指令，控制图像传 感器100的驱动。即，控制来自图像传感器100的图像信号的读取。

<模拟信号处理部>

模拟信号处理部214读入从图像传感器100输出的模拟图像信号，实施规 定的模拟信号处理。并且，模拟信号处理部214将已实施规定的模拟信号处理 的图像信号转换为数字信号来输出。

<数字信号处理部>

数字信号处理部216读入转换为数字信号的图像信号，实施规定的信号处 理，从而生成与各光学系统对应的图像数据。对于该处理，将在后面进行详细 叙述。

<显示部>

显示部218例如由液晶显示器构成，显示已拍摄的图像或拍摄中的图像 (所谓的实时取景图像)。并且，显示部218根据需要，作为GUI(GUI：Grap hical User Interface(图形用户界面))发挥功能。

<工作存储器>

工作存储器220例如由RAM(RAM：Random Access Memory(随机存取存储 器))构成，作为工作存储器发挥功能。

<存储部>

存储部222例如由EEPROM(EEPROM：Flectrically Erasable Programmab leRead-Only Memory(电可擦除可编程只读存储器))等非易失性存储器构 成。存储部222中存储有控制所需的数据、信号处理所需的数据等。

<媒体接口>

媒体接口224根据来自系统控制部226的指令，对存储卡等外部存储器23 0进行数据的读写。

<系统控制部>

系统控制部226集中控制整个摄像装置的动作。系统控制部226例如由具 备CPU(Central Processing Unit(中央处理器))、ROM(Read Only Memor y(只读存储器))、RAM的微型计算机构成，执行规定的控制程序，控制整个 摄像装置1。控制所需的程序及各种数据存储于ROM。

<操作部>

操作部228具备电源按钮或快门按钮等各种操作按钮及其驱动电路而构 成。操作部228的操作信息输入至系统控制部226。系统控制部226根据来自 操作部228的操作信息控制各部。

摄像装置1如以上那样构成。

《与各光学系统对应的图像数据的生成处理》

<处理的概要>

如上所述，图像传感器100中，在各像素110具备4个受光传感器120a～ 120d。因此，通过获取与每个像素对应的受光传感器的图像信号，能够通过1 次摄影生成4个图像数据。但是，该4个图像数据中产生有干扰。因此，本实 施方式的摄像装置1中，对通过摄影获得的4个图像数据实施干扰消除处理， 生成与各光学系统对应的图像数据。以下，对各处理进行说明。

另外，以下内容中，将从图像传感器100的各像素获取所对应的受光传感 器的图像信号来生成的4个图像数据称作一次图像数据，将对该4个一次图像 数据实施干扰消除处理来生成的图像数据称作二次图像数据，根据需要，区别 两者。

<一次图像数据的生成>

图11是从图像传感器的输出生成4个一次图像数据的概念图。

一次图像数据通过从图像传感器100的各像素110获取所对应的受光传感 器120a～120d的图像信号来生成。

例如，通过从图像传感器100的各像素110获取第1受光传感器120a的 图像信号，生成与第1受光传感器120a对应的一次图像数据。同样地，通过 从各像素110获取第2受光传感器120b的图像信号，生成与第2受光传感器1 20b对应的一次图像数据，通过从各像素110获取第3受光传感器120c的图像 信号，生成与第3受光传感器120c对应的一次图像数据。并且，通过从各像 素110获取第4受光传感器120d的图像信号，生成与第4受光传感器120d对 应的一次图像数据。

将由从各像素110的第1受光传感器120a获取的图像信号生成的一次图 像数据设为第1一次图像数据FI1，将由从各像素110的第2受光传感器120b 获取的图像信号生成的一次图像数据设为第2一次图像数据FI2，将由从各像 素110的第3受光传感器120c获取的图像信号生成的一次图像数据设为第3 一次图像数据FI3，将由从各像素110的第4受光传感器120d获取的图像信号 生成的一次图像数据设为第4一次图像数据FI4。

图12是从图像传感器的输出生成各个一次图像数据的概念图。尤其，该 图表示从图像传感器的输出生成第1一次图像数据FI1的情况。

如图12所示，第1一次图像数据FI1通过从图像传感器100的各像素110 获取第1受光传感器120a的图像信号来生成。例如，第1一次图像数据FI1 的像素位置(0，0)上的值(像素值)通过从位于图像传感器100的像素位置 (0，0)的第1受光传感器120a获取图像信号来生成。同样地，第1一次图像 数据FI1的像素位置(0，1)上的值(像素值)通过从位于图像传感器100的 像素位置(0，1)的第1受光传感器120a获取图像信号来生成。如此，第1一 次图像数据FI1的各像素的值(像素值)通过从位于图像传感器100的对应的 像素110的第1受光传感器120a获取图像信号来生成。

另外，像素位置(x，y)以xy坐标表示像素的位置。如下设定xy坐标。 即，如图6所示，图像传感器100中，将画面左上角作为坐标原点，将水平方 向作为x坐标，将垂直方向作为y坐标。此时，特定的像素的位置表现为(x， y)。对于图像数据也相同，将画面左上角作为坐标原点，将水平方向作为x 坐标，将垂直方向作为y坐标。

其他一次图像数据也同样地，通过从图像传感器100的各像素110获取所 对应的受光传感器的图像信号来生成。

<二次图像数据的生成>

二次图像数据通过对一次图像数据以像素单位进行干扰消除处理来生成。 以下，对干扰消除处理进行说明。

〔干扰消除处理的基本概念〕

首先，对干扰消除处理的基本概念进行说明。

在此，为了便于理解发明的，将摄影透镜所具备的光学系统的数量(n) 为2个、图像传感器的各像素所具备的受光传感器的数量(m)为2个的情况 (m＝n)为例，进行说明。

关于摄影透镜所具备的2个光学系统，将其中一个光学系统设为第1光学 系统，将另一个光学系统设为长焦第2光学系统。第1光学系统由广角光学系 统构成，第2光学系统由长焦光学系统构成。

并且，关于各像素所具备的2个受光传感器，将其中一个受光传感器设为 第1受光传感器，将另一个受光传感器设为第2受光传感器。假设各像素所具 备的第1受光传感器为全部相同的干扰比例。同样地，假设各像素所具备的第 2受光传感器为全部相同的干扰比例。

将第1受光传感器的干扰比例设为C1＝C11∶C12，将第2受光传感器的干扰 比例设为C2＝C21∶C22。在此，关于第1受光传感器，干扰比例C1为C11∶C12 表示从第1光学系统及第2光学系统接收的光的比例为第1光学系统∶第2光 学系统＝C11∶C12。即，表示从第1光学系统以C11且从第2光学系统以C12的 比例接收光。同样地，关于第2受光传感器，干扰比例C2为C21∶C22表示从 第1光学系统及第2光学系统受光的光的比例为第1光学系统∶第2光学系统＝ C21∶C22。

图像传感器在1像素具备2个受光传感器(第1受光传感器及第2受光传 感器)(m＝2)，因此通过1次拍摄生成2个一次图像数据。将基于第1受光 传感器的一次图像数据设为第1一次图像数据FI1，将基于第2受光传感器的 一次图像数据设为第2一次图像数据FI2。第1一次图像数据FI1以干扰比例 C1＝C11∶C12的比例产生干扰，第2一次图像数据FI2以干扰比例C2＝C21∶C22 的比例产生干扰。

图13是表示第1一次图像数据FI1所表示的图像的一例的图。并且，图1 4是表示第2一次图像数据FI2所表示的图像的一例的图。另外，图13及图1 4所示的例子中，示出了第1受光传感器的干扰比例C1为C11＞C12且第2受 光传感器的干扰比例C2为C21＜C22的情况的例子。即，示出了第1受光传感 器构成为更多地接收来自第1光学系统的光，第2受光传感器构成为更多地接 收来自第2光学系统的光的情况的例子。此时，如图13所示，从第1受光传 感器获得的图像(第1一次图像数据FI1所表示的图像)成为除了原本的第1 光学系统的图像(广角图像)以外，还隐约重叠有第2光学系统的图像(长焦 图像)的图像。另一方面，如图14所示，从第2受光传感器获得的图像(第2 一次图像数据FI2所表示的图像)成为除了原本的第2光学系统的图像(长焦 图像)以外，还隐约重叠有第1光学系统的图像(广角图像)的图像。

作为二次图像数据，摄影透镜所具备的光学系统的数量为2(m＝2)，因此 生成2个二次图像数据。将与第1光学系统对应的二次图像数据设为第1二次 图像数据SI1，将与第2光学系统对应的二次图像数据设为第2二次图像数据 SI2。

图15是表示第1二次图像数据SI1所表示的图像的图，图16是表示第2 二次图像数据SI2所表示的图像的图。如图15及图16所示，第1二次图像数 据SI1及第2二次图像数据SI2所表示的图像成为已消除干扰的影响的图像。

现在，将某一特定像素位置(x，y)上的第1一次图像数据FI1的像素值 (该像素所具有的值)设为A1，将第2一次图像数据FI2的像素值设为A2。 并且，将所对应的像素位置中的第1二次图像数据SI1的像素值设为B1，将第 2二次图像数据SI2的像素值设为B2。

第1二次图像数据SI1及第2二次图像数据SI2的各像素值B1、B2能够 通过求解以下联立方程式来计算。

A1＝C11*B1+C12*B2

A2＝C21*B1+C22*B2。

即，第1一次图像数据FI1是以C11∶C12的比例包含第1二次图像数据SI 1的成分(含义与第1光学系统的成分相同)与第2二次图像数据SI2的成分 (含义与第2光学系统的成分相同)的数据。因此，若以式表示该关系，则成 为A1＝C11*B1+C12*B2。同样地，第2一次图像数据FI2是以C21∶C22的比例包 含第1二次图像数据SI1的成分(第1光学系统的成分)与第2二次图像数据 SI2的成分(第2光学系统的成分)的数据，因此若以式表示该关系，则成为 A2＝C21*B1+C22*B2。若以图表示该关系，则成为如图17及图18。

图17是第1一次图像数据的结构的概念图。

如该图所示，第1一次图像数据FI1以C11的比例包含第1二次图像数据 SI1的成分，且以C12的比例包含第2二次图像数据SI2的成分。若以式表示 该关系，则关于特定的像素位置(x，y)，成立A1＝C11*B1+C12*B2的关系。

图18是第2一次图像数据的结构的概念图。

如该图所示，第2一次图像数据FI2以C21的比例包含第1二次图像数据 SI1的成分，且以C22的比例包含第2二次图像数据SI2的成分。若以式表示 该关系，则关于特定的像素位置(x，y)，成立A2＝C21*B1+C22*B2的关系。

因此，通过以像素单位求解上述联立方程式，能够计算第1二次图像数据 SI1及第2二次图像数据SI2的各像素值B1及B2，并能够生成第1二次图像 数据SI1及第2二次图像数据SI2。并且，通过求解该联立方程式，能够生成 消除干扰的影响的图像数据(第1二次图像数据SI1及第2二次图像数据SI 2)。

在此，关于联立方程式，能够使用矩阵来求解。

图19是以矩阵表现一次图像数据与二次图像数据之间的关系的概念图。 并且，图20是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。

如图19及图20所示，若将以第1一次图像数据FI1及第2一次图像数据 FI2的像素值A1及A2作为要素的2行1列的矩阵设为A，将以第1二次图像 数据SI1及第2二次图像数据SI2的像素值B1及B2作为要素的2行1列的矩 阵设为B，将以第1受光传感器的干扰比例C1＝C11∶C12及第2受光传感器的干 扰比例C2＝C21∶C22作为要素的2行2列的矩阵设为C，则上述联立方程式能够 表现为A＝C*B。

并且，关于第1二次图像数据SI1及第2二次图像数据SI2的像素值B1 及B2，能够通过在上述矩阵方程式A＝C*B的两边乘以C的逆矩阵C^-1来计算。 即，能够通过求解B＝C^-1*A来计算。

图21是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。并且，图22是利用逆矩阵表示一次图像数据与二次图像数据之间的关系 的矩阵方程式。

如图21及图22所示，第1二次图像数据SI1及第2二次图像数据SI2的 像素值B1及B2能够通过在矩阵A乘以矩阵C的逆矩阵C^-1来计算。

各像素所具备的受光传感器的干扰比例为已知，因此关于逆矩阵C^-1，能够 预先获取。因此，若能够获取各一次图像数据的像素值A1及A2，则能够利用 逆矩阵C^-1计算各二次图像数据的像素值B1及B2。

如上所述，通过对一次图像数据实施规定的运算处理(干扰消除处理)， 能够生成消除干扰的影响的二次图像数据。

〔像素值饱和时的影响〕

如上所述，干扰消除处理利用在一次图像数据与二次图像数据之间成立A1 ＝C11*B1+C12*B2、A2＝C21*B1+C22*B2的关系的现象来进行。

但是，上述关系成立仅限于在图像传感器的输入与输出之间成立线性的情 况。只要有一部分饱和，则在该像素中上述关系变得不成立，无法准确地消除 干扰的影响。

〔本实施方式的摄像装置中的干扰消除处理〕

本实施方式的摄像装置1中，在图像传感器100的各像素110具备4个受 光传感器120a～120d。该受光传感器120a～120d的数量(m＝4)比摄影透镜1 0所具备的光学系统的数量(n＝2)多(m＞n)。并且，各受光传感器120a～1 20d的干扰比例及受光灵敏度的组合分别不同。

本实施方式的摄像装置1中，在图像传感器100的各像素110具备4个受 光传感器120a～120d，由此通过一1次曝光生成4个一次图像数据。干扰消除 处理使用该4个一次图像数据而进行。即，对4个一次图像数据以像素单位实 施干扰消除处理，生成与各光学系统对应的二次图像数据。此时，作为处理对 象的像素中包含像素值饱和的一次图像数据时，将该一次图像数据排除在外来 进行干扰消除处理。因此，本实施方式的摄像装置1中，在作为处理对象的像 素中包含像素值饱和的一次图像数据的情况与不包含的情况下，处理内容不 同。以下，分情况进行说明。

(A)作为处理对象的像素中不包含像素值饱和的一次图像数据的情况

针对干扰消除的基本思考方式与上述m＝n的情况相同。即，利用在一次图 像数据与二次图像数据之间成立的关系，从多个一次图像数据计算与各光学系 统对应的二次图像数据，消除干扰的影响。

图23是表示一次图像数据与二次图像数据之间的关系的概念图。

假设如下，即，图像传感器100的特定的像素位置(x，y)所具备的第1 受光传感器120a的干扰比例C1为C1＝C11∶C12，第2受光传感器120b的干扰 比例C2为C2＝C21∶C22，第3受光传感器120c的干扰比例C3为C3＝C31∶C32， 第4受光传感器120d的干扰比例C4为C4＝C41∶C42。

并且，将与各受光传感器120a～120d的受光灵敏度相应的系数设为s1、s 2、s3及s4。系数s1、s2、s3及s4例如将特定的受光传感器作为基准来设 定。例如，将第1受光传感器120a作为基准时，将第1受光传感器120a的系 数s1设为s1＝1。第2受光传感器120b的受光灵敏度为第1受光传感器120a 的受光灵敏度的1/5时，第2受光传感器120b的系数s2设为s2＝1/5。并且， 第3受光传感器120c的受光灵敏度与第1受光传感器120a的受光灵敏度相同时，第3受光传感器120c的系数s3设为s3＝1。

此时，第1一次图像数据FI1成为以s1*C11∶s1*C12的比例包含第1二次 图像数据SI1的成分(含义与第1光学系统20的成分相同)与第2二次图像 数据SI2的成分(含义与第2光学系统30的成分相同)的数据。若以式表达 该关系，则第1一次图像数据FI1关于特定的像素位置(x，y)，成立A1＝s1*C 11*B1+s1*C12*B2的关系。

第2一次图像数据FI2成为以s2*C21∶s2*C22的比例包含第1二次图像数 据SI1的成分与第2二次图像数据SI2的成分的数据。若以式表达该关系，则 第2一次图像数据FI2关于特定的像素位置(x，y)，成立A2＝s2*C21*B1+s2*C 22*B2的关系。

第3一次图像数据FI3成为以s3*C31∶s3*C32的比例包含第1二次图像数 据SI1的成分与第2二次图像数据SI2的成分的数据。若以式表达该关系，则 第3一次图像数据FI3关于特定的像素位置(x，y)，成立A3＝s3*C3i*B1+s3*C 32*B2的关系。

第4一次图像数据FI4成为以s4*C41∶s4*C42的比例包含第1二次图像数 据SI1的成分与第2二次图像数据SI2的成分的数据。若以式表示该关系，则 第4一次图像数据FI4关于特定的像素位置(x，y)，成立A4＝s4*C41*B1+s4*C 42*B2的关系。

即，将各一次图像数据的特定的像素位置(x，y)上的像素值设为A1、A 2、A3及A4，将各二次图像数据的特定的像素位置(x，y)的像素值设为B1及 B2时，在各一次图像数据与二次图像数据之间，成立以下关系。

A1＝s1*C11*B1+s1*C12*B2

A2＝s2*C21*B1+s2*C22*B2

A3＝s3*C31*B1+s3*C32*B2

A4＝s4*C41*B1+s4*C42*B2

通过求解该联立方程式，能够计算第1二次图像数据SI1及第2二次图像 数据SI2的各像素值B1及B2。并且，通过求解该联立方程式，能够生成已消 除干扰的影响的图像数据(第1二次图像数据SI1及第2二次图像数据SI 2)。

如上所述，关于联立方程式，能够利用矩阵来求解。

图24是用矩阵表现一次图像数据与二次图像数据之间的关系的概念图。 并且，图25是表示一次图像数据与二次图像数据之间的关系的矩阵方程式。

如图24及图25所示，若将以各一次图像数据FI1～FI4的特定的像素位 置(x，y)的像素值A1～A4作为要素的4行1列的矩阵设为A，将以各二次图 像数据SI1、SI2的特定的像素位置(x，y)的像素值B1及B2作为要素的2行 1列的矩阵设为B，将各受光传感器120a～120d的干扰比例C1＝C11∶C12、C2＝C 21∶C22、C3＝C31∶C32、C4＝C41∶C42和与各受光传感器120a～120d的受光灵敏 度相应的系数s1、s2、s3、s4之积s1*C1＝s1*C11∶s1*C12、s2*C2＝s2*C21∶s2* C22、s3*C3＝s3*C31∶s3*C32、s4*C4＝s4*C41∶s4*C42作为要素的4行2列的矩 阵设为T，则上述联立方程式能够表现为A＝T*B。

并且，关于第1二次图像数据SI1及第2二次图像数据SI2的像素值B1 及B2，能够通过在上述矩阵方程式A＝T*B的两边乘以T的逆矩阵T^-1来计算。 即，能够通过求解B＝T^-1*A来计算。

图26是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。并且，图27是利用逆矩阵表示一次图像数据与二次图像数据之间的关系 的矩阵方程式。

如图26及图27所示，第1二次图像数据SI1及第2二次图像数据SI2的 像素值B1及B2能够通过在矩阵A乘以矩阵T的逆矩阵T^-1来计算。

各像素所具备的受光传感器的干扰比例为已知，因此关于逆矩阵T^-1，能够 预先获取。

另外，矩阵T不规则时，关于其逆矩阵T^-1，计算矩阵T的一般逆矩阵来获 取逆矩阵T^-1。一般逆矩阵例如能够通过Moor-Penrose逆矩阵等公知方法计 算。

如此，成为处理对象的像素中不包含像素值饱和的一次图像数据时，对于 二次图像数据，能够通过求解矩阵方程式B＝T^-1*A来计算。并且，通过求解该 矩阵方程式B＝T^-1*A，能够生成已消除干扰的影响的二次图像数据。

(B)作为处理对象的像素中包含像素值饱和的一次图像数据的情况

作为处理对象的像素中包含像素值饱和的一次图像数据时，将该一次图像 数据排除在外来进行干扰消除处理。

在一次图像数据与二次图像数据之间成立恒定关系仅限于在受光传感器的 输入与输出之间确保线性的情况。并且，在受光传感器的输入与输出之间确保 线性是在受光传感器饱和之前。若受光传感器饱和，则无法在输入与输出之间 确保线性。若利用已饱和的受光传感器的输出进行干扰消除处理，则无法准确 地消除干扰。

因此，作为处理对象的像素中包含像素值饱和的一次图像数据时，将该一 次图像数据排除在外来进行干扰消除处理。

图28是表示作为处理对象的像素中包含像素值饱和的一次图像数据时的 一次图像数据与二次图像数据之间的关系的概念图。尤其，该图中，示出第1 一次图像数据FI1的像素值饱和的情况。

第1一次图像数据FI1的像素值饱和时，在第1一次图像数据FI1与第1 二次图像数据SI1及第2二次图像数据SI2之间不成立A1＝s1*C11*B1+s1*C12* B2的关系。即，成为A1≠s1*C11*B1+s1*C12*B2。

另一方面，第2一次图像数据FI2在与第1二次图像数据SI1及第2二次 图像数据SI2之间成立A2＝s2*C21*B1+s2*C22*B2的关系。同样地，第3一次 图像数据FI3在与第1二次图像数据SI1及第2二次图像数据SI2之间成立A3 ＝s3*C31*B1+s3*C32*B2的关系，第4一次图像数据FI4在与第1二次图像数据 SI1及第2二次图像数据SI2之间成立A4＝s4*C41*B1+s4*C42*B2的关系。

即，若将第1一次图像数据FI1排除在外，则其他一次图像数据与二次图 像数据之间成立以下关系。

A2＝s2*C21*B1+s2*C22*B2

A3＝s3*C31*B1+s3*C32*B2

A4＝s4*C41*B1+s4*C42*B2

通过求解该联立方程式，计算第1二次图像数据SI1及第2二次图像数据 SI2的各像素值B1、B2。此时，也能够利用矩阵求解联立方程式。

图29是以矩阵表示将第1一次图像数据排除在外时的一次图像数据与二 次图像数据之间的关系的概念图。并且，图30是表示将第1一次图像数据排 除在外时的一次图像数据与二次图像数据之间的关系的矩阵方程式。

如图29及图30所示，若将以把第1一次图像数据FI1排除在外的各一次 图像数据FI2、FI3及FI4的特定的像素位置(x，y)的像素值A2、A3及A4作 为要素的3行1列的矩阵设为A，将以各二次图像数据SI1及SI2的特定的像 素位置(x，y)的像素值B1及B2作为要素的2行1列的矩阵设为B，将以各受 光传感器120b、120c及120d的干扰比例C2＝C21∶C22、C3＝C31∶C32及C4＝C41∶ C42和与各受光传感器120a～120d的受光灵敏度相应的系数s1、s2、s3及s4之积s1*C1＝s1*C11∶s1*C12、s2*C2＝s2*C21∶s2*C22、s3*C3＝s3*C31∶s3*C32、s 4*C4＝s4*C41∶s4*C42作为要素的3行2列的矩阵设为T，则上述联立方程式能 够表现为A＝T*B。

并且，关于第1二次图像数据SI1及第2二次图像数据SI2的像素值B1 及B2，能够通过在上述矩阵方程式A＝T*B的两边乘以T的逆矩阵T^-1来计算。 即，能够通过求解B＝T^-1*A来计算。

图31是利用逆矩阵表现一次图像数据与二次图像数据之间的关系的概念 图。并且，图32是利用逆矩阵表达一次图像数据与二次图像数据之间的关系 的矩阵方程式。

如图31及图32所示，第1二次图像数据SI1及第2二次图像数据SI2的 像素值B1及B2能够通过在矩阵A乘以矩阵T的逆矩阵T^-1来计算。

各像素所具备的受光传感器的干扰比例为已知，因此对于逆矩阵T^-1，能够 预先获取。

另外，矩阵T不规则时，关于其逆矩阵T^-1，计算矩阵T的一般逆矩阵来获 取逆矩阵T^-1。一般逆矩阵例如通过Moor-Penrose逆矩阵等公知的方法来计 算。

如此，作为处理对象的像素中包含像素值饱和的一次图像数据时，将该一 次图像数据排除在外来进行干扰消除处理。由此，能够准确地消除干扰的影 响。

(C)作为处理对象的像素中，所有的一次图像数据的像素值饱和的情况

作为处理对象的像素中，所有的一次图像数据的像素值饱和时，无法计算 二次图像数据。因此，此时不进行干扰消除处理。由此，能够省略不必要的处 理。

作为处理对象的像素中，所有的一次图像数据的像素值饱和时，将该像素 位置中的二次图像数据的像素值作为饱和值。饱和值是受光传感器饱和时输出 的信号值。

〔饱和的像素的检测〕

分析一次图像数据，检测像素值饱和的像素。具体而言，检测像素值为饱 和值的像素，检测饱和的像素。像素值饱和的像素的检测在数字信号处理部21 6进行。关于这一点，将进行后述。

<二次图像数据的生成处理的流程>

如上所述，二次图像数据通过对一次图像数据实施干扰消除处理来生成。

图33是表示二次图像数据的生成处理的步骤的流程图。

干扰消除处理按每个像素进行。若将图像的左上角作为坐标原点，则从坐 标原点开始处理。

首先，设为x＝0、y＝0(步骤S1)。从各一次图像数据FI1～FI4获取像素 位置(x，y)的像素值(步骤S2)。判定像素位置(x，y)中是否包含像素值饱 和的一次图像数据(步骤S3)。

像素位置(x，y)中不包含像素值饱和的一次图像数据时，利用所有的一 次图像数据FI1～FI4进行干扰消除处理(步骤S4)。由此，获取该像素位置 中的第1二次图像数据及第2二次图像数据的像素值。

另一方面，像素位置(x，y)中包含像素值饱和的一次图像数据时，判定 是否该所有的一次图像数据的像素值饱和(步骤S5)。

并非像素位置(x，y)中的所有的一次图像数据的像素值饱和时，将像素 值饱和的一次图像数据排除在外来进行干扰消除处理(步骤S6)。由此，获取 该像素位置中的第1二次图像数据及第2二次图像数据的像素值。

另一方面，像素位置(x，y)中的所有的一次图像数据的像素值饱和时， 不进行干扰消除处理，将该像素位置中的第1二次图像数据及第2二次图像数 据的像素值作为饱和值(步骤S7)。

如此，根据作为处理对象的像素中是否包含像素值饱和的一次图像数据来 切换干扰消除处理的内容。

之后，判定所处理的像素的x坐标的值是否为x方向的终点(步骤S8)。 所处理的像素的x坐标的值不是x方向的终点时，增加x坐标的值(步骤S 9)。由此，重新设定下一个处理对象。增加x坐标的值之后，返回步骤S2， 将重新设定的像素作为对象，再次执行上述一系列处理。

所处理的像素的x坐标的值是x方向的终点时，判定所处理的像素的y坐 标的值是否为y方向的终点(步骤S10)。所处理的像素的y坐标的值不是y 方向的终点时，增加y坐标的值(步骤S11)。由此，重新设定一下个处理对 象。增加y坐标的值之后，返回步骤S2，将重新设定的像素作为对象，再次执 行上述一系列处理。

所处理的像素的y坐标的值是y方向的终点时，结束处理。由此，在所有 的像素中完成干扰消除处理。通过在所有的像素中完成干扰消除处理，生成二 次图像数据。

《数字信号处理部的结构》

上述的一系列信号处理在数字信号处理部216进行。数字信号处理部216 从图像传感器100的各像素的各受光传感器获取图像信号来生成一次图像数 据，且对该一次图像数据以像素单位实施干扰消除处理，生成与各光学系统对 应的二次图像数据。并且，数字信号处理部216分析一次图像数据，检测像素 值饱和的像素。

图34是数字信号处理部所具备的功能的框图。

数字信号处理部216具备：生成一次图像数据的功能，即，作为一次图像 数据生成部216A的功能；从图像数据检测像素值饱和的像素的功能，即，作 为饱和像素检测部216B的功能；及生成二次图像数据的功能，即，作为二次 图像数据生成部216C的功能。

一次图像数据生成部216A从图像传感器的各像素获取所对应的受光传感 器的图像信号，生成m个一次图像数据。本实施方式的摄像装置1在图像传感 器100的各像素110具备4个(m＝4)受光传感器120a～120d，因此生成4个 一次图像数据。

饱和像素检测部216B分析在一次图像数据生成部216A生成的一次图像数 据，检测像素值饱和的像素。具体而言，从各一次图像数据检测像素值为饱和 值的像素，检测像素值饱和的像素。若检测到像素值饱和的像素，则该像素位 置的信息作为饱和像素位置信息，记录于工作存储器220。

二次图像数据生成部216C获取在一次图像数据生成部216A生成的4个一 次图像数据，实施干扰消除处理，生成与各光学系统对应的n个二次图像数 据。本实施方式的摄像装置1中，在摄影透镜10具备2个(n＝2)光学系统， 因此生成2个二次图像数据。具体而言，生成与第1光学系统20对应的第1 二次图像数据和与第2光学系统30对应的第2二次图像数据。

如上所述，干扰消除处理按每个像素进行。作为处理对象的像素中包含像 素值饱和的一次图像数据时，将该一次图像数据排除在外来进行干扰消除处 理。二次图像数据生成部216C参考存储于工作存储器220的饱和像素位置信 息，判定作为处理对象的像素中是否包含像素值饱和的一次图像数据。

在此，作为处理对象的像素中不包含像素值饱和的一次图像数据时，二次 图像数据生成部216C通过求解联立方程式A1＝s1*C11*B1+s1*C12*B2+……+s1* C1n*Bn A2＝s2*C21*B1+s2*C22*B2+……+s2*C2n*Bn……Am＝sm*Cm1*B1+sm *Cm2*B2+……+sm*Cmn*Bn，生成二次图像数据。本实施方式的摄像装置1中， m＝4、n＝2，通过求解联立方程式A1＝s1*C11*B1+s1*C12*B2、A2＝s2*C21*B1+s2* C22*B2、A3＝s3*C31*B1+s3*C32*B2、A4＝s4*C41*B1+s4*C42*B2，生成与各光学 系统对应的二次图像数据。

另一方面，作为处理对象的像素中包含像素值饱和的一次图像数据时，将 该一次图像数据排除在外来建立联立方程式，由此生成二次图像数据。

并且，作为处理对象的像素中，所有的一次图像数据的像素值饱和时，将 该像素中的二次图像数据的像素值作为饱和值，生成二次图像数据。

二次图像数据生成部216C实施利用矩阵来求解联立方程式的处理。即， 通过求解矩阵方程式B＝T^-1*A来生成二次图像数据。运算中使用的逆矩阵T^-1的 信息存储于存储部222。存储部222具备在其存储区域的一部分存储逆矩阵T^-1的信息的逆矩阵信息存储部222A。另外，逆矩阵T^-1的信息以像素单位存储。 并且，逆矩阵T^-1的信息仅准备建立联立方程式时的式的组合的数量。二次图像 数据生成部216C按所处理的每个像素，读取逆矩阵T^-1的信息，实施干扰消除 处理。

《摄像装置中的处理的流程(图像数据生成方法)》

本实施方式的摄像装置中，依次进行如下处理来生成记录用的图像数据： (1)基于拍摄命令的曝光(曝光工序)；(2)基于曝光的一次图像数据的生 成(一次图像数据生成工序)；(3)像素值饱和的像素的检测(饱和像素检 测工序)；及(4)基于一次图像数据的二次图像数据的生成(二次图像数据 生成工序)。

记录用的拍摄(曝光)根据来自操作部228的命令来实施。在此，设为全 按快门按钮来发出记录用的拍摄的命令。摄影者在进行各光学系统的调焦之 后，全按快门按钮来发出记录用的拍摄的命令。

若快门按钮被全按，则首先实施测光处理。根据从系统控制部226及图像 传感器100获得的图像信号，计算EV值(EV：Exposure Value(曝光 值))，确定曝光。

若确定曝光，则以所确定的曝光，图像传感器100被曝光(曝光工序)。 通过曝光，在各受光传感器120a～120i的光电转换元件130积蓄电荷。图像 传感器100读取积蓄在各受光传感器120a～120i的光电转换元件130的电荷 量，输出与电荷量相应的图像信号。

从图像传感器100输出的图像信号经由模拟信号处理部214读入工作存储 器220。对读入到该工作存储器220的图像信号，由数字信号处理部216实施 规定的信号处理，由此生成与各光学系统对应的图像数据(第1二次图像数据 及第2二次图像数据)。即，按每个像素获取各受光传感器的图像信号，生成 4个一次图像数据(一次图像数据生成工序)，对所生成的一次图像数据实施 干扰消除处理，生成与各光学系统对应的二次图像数据(第1二次图像数据及 第2二次图像数据)(二次图像数据生成工序)。此时，作为处理对象的像素中包含像素值饱和的一次图像数据时，将该一次图像数据排除在外来进行干扰 消除处理，生成二次图像数据。

所生成的图像数据(第1二次图像数据及第2二次图像数据)根据需要转 换成规定格式的数据形式，记录于外部存储器230。

如此，根据本实施方式的摄像装置1，能够通过1次曝光拍摄多个图像。 并且，根据本实施方式的摄像装置1，通过在图像传感器100的各像素110具 备干扰比例及受光灵敏度的组合不同的多个受光传感器120a～120d，消除受光 传感器的饱和的影响，能够准确地消除干扰。由此，能够生成高品质图像。并 且，还能够扩大动态范围。

《第1实施方式的摄像装置的变形例》

<受光传感器的受光灵敏度的调整方法的其他例>

上述实施方式中，调整滤波器的透射率来调整受光传感器的受光灵敏度， 但调整受光传感器的受光灵敏度的方法并不限定于此。此外，例如，还能够调 整各个受光传感器所具备的遮光罩的开口的尺寸来调整各个受光传感器的受光 灵敏度。并且，当为能够按每个受光传感器调整曝光时间(快门速度)的图像 传感器时，可按每个受光传感器调整曝光时间(快门速度)来调整各个受光传 感器的受光灵敏度。并且，也可组合这些来调整各个受光传感器的受光灵敏 度。

<受光传感器的干扰比例的调整方法其他例>

上述实施方式中，通过遮光罩的形状调整各受光传感器的干扰比例，但调 整受光传感器的干扰比例的方法并不限定于此。此外，例如还能够通过改变微 透镜的成像特性来调整干扰比例。例如，能够通过改变微透镜的透镜光焦度、 倍率、成像位置等来改变干扰比例。此时，不需要遮光罩。

另外，还能够同时使用遮光罩与微透镜来调整干扰比例。即，还能够通过 改变遮光罩的形状与微透镜的成像特性双方来调整干扰比例。

<光学系统的数量(n)与受光传感器的数量(m)之间的关系>

图像传感器的各像素所具备的受光传感器的数量(m)只要比摄影透镜所 具备的光学系统的数量(n)多即可。即，满足m＞n的关系即可。因此，摄影 透镜10所具备的光学系统的数量为2时，在各像素具备至少3个受光传感器 即可。

并且，上述实施方式中，在图像传感器的各像素以2行2列(2×2)的排 列配置有4个受光传感器，但受光传感器的配置并不限定于此。例如，还能够 以1行4列(1×4)的排列配置。并且，还能够离散地配置构成各像素的受光 传感器。即，构成图像传感器的1像素的受光传感器是指在生成一次图像数据 时生成相同像素位置的像素值的受光传感器。换言之，从图像传感器的输出生 成一次图像数据时，生成相同像素位置的像素值的受光传感器的集合成为构成 图像传感器的1像素的受光传感器。

假设摄影透镜所具备的光学系统的数量为n个(n＞1)，图像传感器的各 像素所具备的受光传感器的数量为m个(m＞n)。并且，假设各受光传感器的 干扰比例为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm 2∶……∶Cmn，与各受光传感器的受光灵敏度相应的系数为s1、s2、……、sm。

若将一次图像数据的像素值设为A1、A2、……、Am，将二次图像数据的像 素值设为B1、B2、……、Bn，则在图像传感器的输入与输出之间成立线性时， 在一次图像数据与二次图像数据之间，成立以下关系。

A1＝s1*C11*B1+s1*C12*B2+……+s1*C1n*Bn

A2＝s2*C21*B1+s2*C22*B2+……+s2*C2n*Bn

……

Am＝sm*Cm1*B1+sm*Cm2*B2+……+sm*Cmn*Bn

因此，摄影透镜所具备的光学系统的数量为n个(n＞1)，图像传感器的 各像素所具备的受光传感器的数量为m个(m＞n)时，通过求解上述联立方程 式，能够生成从一次图像数据消除干扰的影响的二次图像数据。

建立联立方程式时，作为处理对象的像素中包含像素值饱和的一次图像数 据时，将该一次图像数据排除在外来建立联立方程式。由此，能够排除饱和的 影响，准确地消除干扰。

使用矩阵来求解联立方程式时，生成矩阵方程式B＝T^-1*A。在此，矩阵A是 将各一次图像数据的像素值A1、^2、……、Am作为要素的m行1列的矩阵， 矩阵B是将各二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列 的矩阵。并且，逆矩阵T^-1是将各受光传感器的干扰比例C1＝C11∶C12∶……∶C1 n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各受光传感器的 受光灵敏度相应的系数s1、s2、……、sm之积s1*C1＝s1*C11∶s1*C12∶……∶s1 *C1n、s2*C2＝s2*C21∶s2*C22∶……∶s2*C2n、……、sm*Cm＝sm*Cm1∶sm*Cm 2∶……∶sm*Cmn作为要素的m行n列的矩阵T的逆矩阵。

上述实施方式中，设为预先按每个像素计算逆矩阵T^-1，并事先存储于逆矩 阵信息存储部222A的结构，但逆矩阵T^-1还能够设为在干扰消除处理时计算的 结构。

<干扰消除处理的其他例>

上述实施方式中，以像素单位切换处理方法，但还能够以图像单位切换处 理方法。

例如，可对所生成的多个一次图像数据以图像单位判定有无饱和，并仅使 用没有饱和的一次图像数据生成二次图像数据。

以图像单位判定有无饱和是指，以图像单位判定是否包含像素值饱和的像 素。包含像素值饱和的像素时，判定为该一次图像数据饱和。此时，不使用该 一次图像数据，使用剩余的未饱和的一次图像数据生成二次图像数据。

通过如此处理，能够在所有的像素中使处理共同化，能够简化整体处理。 由此，能够使二次图像数据的生成处理高速化。

以图像单位判定有无饱和时，还能够在包含一定数量以上的像素值饱和的 像素时判定为饱和。

<包含像素值饱和的一次图像数据时的干扰消除处理>

如上所述，作为处理对象的像素中，包含像素值饱和的一次图像数据时， 将该一次图像数据排除在外来进行干扰消除处理。

但是，若排除在外的一次图像数据的数量变多，则能够生成的关系式(在 一次图像数据与二次图像数据之间成立的关系式)的数量也变少。其结果，产 生能够生成的关系式的数量低于所生成的二次图像数据的数量的情况。

能够生成的关系式是可建立的联立方程式的数量，因此若所建立的联立方 程式的数量低于所生成的二次图像数据的数量，则无法准确地消除干扰。

因此，能够生成的关系式的数量低于所生成的二次图像数据的数量时，进 行以下处理来计算该像素中的二次图像数据的像素值。

现在，假设摄影透镜所具备的光学系统的数量为n个，图像传感器的各像 素所具备的受光传感器的数量为m个。

将各受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn。

摄影透镜所具备的光学系统的数量为(n)，因此所生成的二次图像数据 的数量成为n个。

若将像素值饱和的一次图像数据的数量设为k(其中，k是满足k＞0的整 数)，则能够生成的关系式的数量成为(m-k)个。

首先，对各像素所具备的受光传感器赋予表示属性的标记。表示属性的标 记是表示该受光传感器是担当哪一光学系统的受光传感器的标记。关于是担当 哪一光学系统的受光传感器，根据最多接收来自哪一光学系统的光来确定。 即，根据对哪一光学系统最具有灵敏度来确定。各受光传感器的属性根据干扰 比例的信息计算。例如，某一受光传感器的干扰比例Cm为Cm1∶Cm2∶……∶Cmn＝ 第1光学系统∶第2光学系统∶……∶第m光学系统时，Cm1为最大值时，该受光 传感器的属性成为第1光学系统。因此，对该受光传感器赋予表示属性为第1 光学系统的内容的标记。

〔成为(m-k)＜n时的处理〕

成为(m-k)＜n时是能够生成的联立方程式的数量(m-k)变得少于所生 成的二次图像数据的数量(n)的情况。

此时，根据未饱和的一次图像数据的像素值生成该像素的二次图像数据。 如下进行生成。

第1二次图像数据是与第1光学系统对应的图像数据。因此，第1二次图 像数据的像素值B1根据从属性为第1光学系统的受光传感器输出的像素值生 成。即，根据从赋予有表示担当第1光学系统的属性的标记的受光传感器输出 的像素值，生成第1二次图像数据。

在此，存在从属性为第1光学系统的受光传感器输出的像素值，但其全部 饱和时，将饱和值作为该像素中的第1二次图像数据的像素值。

另一方面，存在从属性为第1光学系统的受光传感器输出的像素值，且存 在未饱和的像素值时，将该像素值作为该像素中的第1二次图像数据的像素 值。另外，是从属性为第1光学系统的受光传感器输出的像素值且存在多个未 饱和的像素值时，将其平均值作为该像素中的第1二次图像数据的像素值。

通过同样的方法，计算剩余的二次图像数据的像素值。即，第n二次图像 数据是与第n光学系统对应的图像数据，因此第n二次图像数据的像素值Bn 根据从属性为第n光学系统的受光传感器输出的像素值生成。即，根据从表示 属性的标记为第n光学系统的受光传感器输出的像素值，生成第n二次图像数 据。

在此，存在从属性为第n光学系统的受光传感器输出的像素值，但其全部 饱和时，将该像素中的第n二次图像数据的像素值作为饱和值。另一方面，存 在从属性为第n光学系统的受光传感器输出的像素值，且存在未饱和的像素值 时，将该像素值作为该像素中的第n二次图像数据的像素值。另外，是从属性 为第n光学系统的受光传感器输出的像素值且存在多个未饱和的像素值时，将 该平均值作为该像素中的第n二次图像数据的像素值。

上述实施方式的摄像装置1中，摄影透镜10所具备的光学系统的数量为2 (n＝2)，图像传感器100的各像素110所具备的受光传感器120a～120d的数 量为4(m＝4)，因此能够生成的联立方程式的数量(m-k)成为1个时，实施 上述处理。

上述实施方式的摄像装置1中，第1受光传感器120a及第2受光传感器1 20b的属性成为第1光学系统，第3受光传感器120c及第4受光传感器120d 的属性成为第2光学系统。

例如，假设特定的像素中，第1受光传感器120a、第2受光传感器120b 及第3受光传感器120c饱和。此时，根据从未饱和的第4受光传感器120d输 出的像素值，计算该像素中的二次图像数据的像素值。第4受光传感器120d 的属性为第2光学系统，因此该像素中的第2二次图像数据的像素值作为从第 4受光传感器120d输出的像素值，即，第4一次图像数据的像素值。另一方 面，第1二次图像数据的像素值作为饱和值。

如此，能够生成的联立方程式的数量低于所生成的二次图像数据的数量 时，根据从未饱和的受光传感器输出的一次图像数据的像素值，计算该像素中 的二次图像数据的像素值。由此，能够减少饱和的影响。

图35是表示本例的处理步骤的流程图，是表示作为处理对象的像素中包 含从饱和的受光传感器输出的像素值时的处理步骤的流程图。

首先，判定能够生成的联立方程式的数量(m-k)是否变得少于所生成的 二次图像数据的数量(n)(步骤S21)。

首先，能够生成的联立方程式的数量(m-k)比所生成的二次图像数据的 数量(n)多时，将像素值饱和的一次图像数据排除在外来进行干扰消除处理 (步骤S28)。

另一方面，能够生成的联立方程式的数量(m-k)变得少于所生成的二次 图像数据的数量(n)时，将变量i设为1(步骤S22)。并且，判定从未饱和 的受光传感器输出的像素值中，是否存在从属性为第i光学系统的受光传感器 输出的像素值(步骤S23)。

从未饱和的受光传感器输出的像素值中，不存在从属性为第i光学系统的 受光传感器输出的像素值时，将第i二次图像数据的像素值设定为饱和值(步 骤S25)。

从未饱和的受光传感器输出的像素值中，存在从属性为第i光学系统的受 光传感器输出的像素值时，将从属性为第i光学系统的受光传感器输出的像素 值的平均值设定为第i二次图像数据的像素值(步骤S24)。

步骤S24或步骤S25之后，判定变量i是否为i＝n(步骤S26)。即，判 定是否计算出了所有的二次图像数据的像素值。若计算出了所有的二次图像数 据的像素值，则结束该像素中的处理。

另一方面，未完成所有的二次图像数据的像素值的获取时(i≠n)，增加 变量i(步骤S27)。此后，返回步骤S23，再次执行步骤S23之后的处理。

如此，能够生成的联立方程式的数量低于所生成的二次图像数据的数量 时，根据从未饱和的受光传感器输出的一次图像数据的像素值，计算各二次图 像数据的像素值。

另外，表示各受光传感器的属性的标记的信息作为属性标记信息，存储于 存储部222。数字信号处理部216参考存储于存储部222的属性标记信息，执 行上述处理。

[第2实施方式]

上述第1实施方式的摄像装置1中，设为利用在各像素具备干扰比例及受 光灵敏度的组合不同的m个受光传感器的图像传感器，生成干扰比例及受光灵 敏度的组合不同的m个一次图像数据的结构。

本实施方式的摄像装置1α通过改变曝光值来进行多次曝光，生成干扰比 例及受光灵敏度的组合不同的m个一次图像数据。

并且，根据所生成的m个一次图像数据，生成与各光学系统对应的二次图 像数据。

图36是表示第2实施方式的摄像装置的系统结构的框图。

除了与一次图像数据的生成相关的结构以外，与上述第1实施方式的摄像 装置1的结构相同。即，具备摄影透镜10、图像传感器100α、透镜驱动控制 部210、图像传感器驱动控制部212、模拟信号处理部214、数字信号处理部2 16α、显示部218、工作存储器220、存储部222、媒体接口224、系统控制部 226α及操作部228而构成。

摄影透镜10中具备第1光学系统20及第2光学系统30这2个光学系统 (n＝2)。

在图像传感器100α的各像素110α具备摄影透镜所具备的光学系统的数 量以上的受光传感器。本实施方式中，具备2个受光传感器。

图37是放大图像传感器的一部分的主视图。

如该图所示，在图像传感器100α的各像素110α具备2个受光传感器12 0α a、120αb。将符号120α a的受光传感器设为第1受光传感器，将符号120 α b的受光传感器设为第2受光传感器。第1受光传感器120α a及第2受光传 感器120α b由干扰比例互不相同的受光传感器构成。第1受光传感器120α a 由主要接收来自第1光学系统20的光的受光传感器构成，第2受光传感器120 α b由主要接收来自第2光学系统30的光的受光传感器构成。

曝光的控制在统控制部226α进行。系统控制部226α通过执行规定的曝 光控制程序，作为曝光控制部226α A发挥功能。

若接收到拍摄命令，则曝光控制部226α A以不同的曝光值，使图像传感 器100α曝光多次。本实施方式中，曝光2次。2次曝光以成为适当曝光的曝 光值及低于适当曝光一定量的曝光值实施。另外，在此，成为适当曝光的曝光 值是通过测光计算出的曝光值。曝光值根据摄影透镜的光圈(F值)、曝光时 间(快门速度)及灵敏度的组合来确定。连续进行曝光。

通过2次曝光，能够生成4个一次图像数据。一次图像数据的生成在数字 信号处理部216α进行。

图38是数字信号处理部所具备的功能的框图。

与上述第1实施方式的摄像装置1相同，数字信号处理部216α具备：生 成一次图像数据的功能，即，作为一次图像数据生成部216α A的功能；从图 像数据检测像素值饱和的像素的功能，即，作为饱和像素检测部216α B的功 能；及生成二次图像数据的功能，即，作为二次图像数据生成部216α C的功 能。

一次图像数据生成部216α A从图像传感器100α的各像素110α获取所 对应的受光传感器的图像信号，生成一次图像数据。通过第1次曝光从各像素 的第1受光传感器120α a获取图像信号，生成1个一次图像数据。将该一次 图像数据作为第1一次图像数据。并且，通过第1次曝光从各像素的第2受光 传感器120α b获取图像信号，生成1个一次图像数据。将该一次图像数据作 为第2一次图像数据。并且，通过第2次曝光从各像素的第1受光传感器120 α a获取图像信号，生成1个一次图像数据。将该一次图像数据作为第3一次 图像数据。并且，通过第2次曝光从各像素的第2受光传感器120α b获取图 像信号，生成1个一次图像数据。将该一次图像数据作为第4一次图像数据。 如此，能够通过2次曝光合计生成4个一次图像数据。

饱和像素检测部216α B分析在一次图像数据生成部216α A生成的一次图 像数据，检测像素值饱和的像素。检测像素值饱和的像素的方法与第1实施方 式的摄像装置1相同。

二次图像数据生成部216α C获取在一次图像数据生成部216α A生成的4 个一次图像数据，实施干扰消除处理，生成与各光学系统对应的n个二次图像 数据。干扰消除的方法与第1实施方式的摄像装置1相同。因此，在此，省略 其详细内容的说明。

另外，关于干扰消除处理时所需的与各受光传感器的受光灵敏度相应的系 数s1、s2、……、sm，将各一次图像数据的曝光时的与曝光值对应的系数设定 为e1、e2、……、em。

图39是表示基于第2实施方式的摄像装置的图像数据的生成处理的步骤 的流程图。

若接收到拍摄命令(步骤S100)，则进行测光处理(步骤S101)。根据 测光结果，确定第1次曝光的曝光值与第2次曝光的曝光值。第1次曝光的曝 光值是成为适当曝光的曝光值。第2次曝光的曝光值是成为低于适当曝光一定 量的曝光值。

确定曝光值之后，进行第1次曝光(步骤S102)。曝光之后，读入第1次 曝光的图像信号(步骤S103)。该图像信号存储于工作存储器220。

接着，进行改变曝光的第2次曝光(步骤S104)。曝光之后，读入第2次 曝光的图像信号(步骤S105)。该图像信号也存储于工作存储器220。

2次曝光之后，从所读取的图像信号生成一次图像数据(步骤S106)。并 且，从所生成的一次图像数据检测像素值饱和的像素(步骤S107)。之后，利 用检测出的像素的位置信息进行干扰消除处理，生成二次图像数据(步骤S10 8)。

如此，还能够通过进行多次曝光来生成多个一次图像数据，对所生成的一 次图像数据实施干扰消除处理来生成二次图像数据。由此，与上述第1实施方 式的摄像装置1相同，能够排除饱和的影响，准确地消除干扰的影响。

《第2实施方式的摄像装置的变形例》

<受光传感器的数量>

各像素所具备的受光传感器的数量是摄影透镜所具备的光学系统的数量以 上即可。因此，若摄影透镜所具备的光学系统的数量为2，则在各像素具备2 个以上的受光传感器即可。

另外，可在各像素具备干扰比例及受光灵敏度的组合不同的受光传感器。

<曝光的次数>

曝光至少进行2次即可。另外，优选至少1次以低于适当曝光的曝光值进 行曝光。并且，曝光值优选设定为曝光时间不会成为一定时间以上。这是因 为，若曝光时间变长，则会出现图像抖动的影响。

[其他实施方式]

《摄影透镜的变形例》

上述实施方式中，在摄影透镜具备2个光学系统，但摄影透镜所具备的光 学系统的数量(n)并不限定于此。摄影透镜中具备摄像特性互不相同的2个 以上的光学系统即可。

并且，上述实施方式中，摄影透镜具备不同焦距的光学系统，但摄影透镜 所具备的光学系统的种类并不限定于此。此外，例如可具备对焦距离互不相同 的光学系统。由此，如对焦于近距离的被摄体的图像与对焦于远距离的被摄体 的图像，能够同时拍摄对焦距离互不相同的图像。并且，例如，还可具备透射 波长特性互不相同的光学系统。由此，例如，通过具备使红外光区域的光透射 的光学系统及使可见光区域的光透射的光学系统，能够同时拍摄红外光图像与 可见光图像。

并且，上述实施方式中，设为多个光学系统配置成同心状的结构，但多个 光学系统的配置并不限定于此。例如，还能够设为将光轴为中心，沿圆周方向 分割区域，并在各区域配置光学系统的结构。

《干扰消除处理的变形例》

如上所述，干扰消除处理按每个像素进行，利用矩阵时，按每个像素读取 逆矩阵C^-1的信息，实施干扰消除处理。因此，逆矩阵C^-1的信息按每个像素存 储于逆矩阵信息存储部222A。另一方面，各像素所具备的受光传感器的干扰比 例在像素之间近似时，可确定成为代表的逆矩阵来实施干扰消除处理。即，可 在各像素中使用共同的逆矩阵来实施干扰消除处理。由此，能够减少运算负 荷。并且，还可将画面分割为多个区域，按每个区域确定共同的逆矩阵。

《像素值为噪声电平以下的情况》

若一次图像数据的像素值成为噪声电平以下，则在与二次图像数据之间不 成立一定的关系。

因此，作为处理对象的像素中包含像素值为噪声电平以下的一次图像数据 时，也优选将该一次图像数据排除在外来生成二次图像数据。

即，优选仅使用在输入与输出之间确保有线性的一次图像数据进行干扰消 除处理，生成二次图像数据。

《彩色图像的生成》

并且，上述实施方式中，为了便于说明，未提及彩色图像，但生成彩色图 像时，以规定的滤波器排列在各像素配置彩色滤波器。由此，能够生成彩色图 像。

实施例

为了确认本发明的效果，进行了对模拟地生成的一次图像数据实施本发明 所涉及的干扰消除处理来生成二次图像数据的实验。

<一次图像数据的生成>

图40是一次图像数据的生成的概念图。

合成2个图像数据W、T来模拟地生成了一次图像数据。所合成的图像的 数量相当于摄影透镜所具备的光学系统的数量(n)。由于合成2个图像数据 W、T，因此摄影透镜所具备的光学系统的数量成为2个(n＝2)。

所生成的一次图像数据的数量相当于图像传感器的各像素所具备的受光传 感器的数量(m)。生成了4个一次图像数据。此时，图像传感器的各像素所 具备的受光传感器的数量成为4个(m＝4)。将4个一次图像数据设为第1一 次图像数据FI1、第2一次图像数据FI2、第3一次图像数据FI3、第4一次图 像数据FI4。

合成时的混合比例(合成2个图像数据W、T的比例)相当于干扰比例。 将第1一次图像数据FI1的干扰比例C1设为W∶T＝0.8∶0.2，将第2一次图像数 据FI2的干扰比例C2设为W∶T＝0.2∶0.8，将第3一次图像数据FI3的干扰比例 C3设为W∶T＝0.8∶0.2，将第4一次图像数据FI4的干扰比例C4设为W∶T＝0.2∶0. 8。

调整合成后的各图像的亮度来模拟地调整了受光灵敏度。相对于第1一次 图像数据FI1及第2一次图像数据FI2，将第3一次图像数据FI3及第4一次 图像数据FI4的亮度设定为1/5。此时，与受光灵敏度相应的系数s1、s2、s3 及s4成为s1＝1、s2＝1、s3＝0.2、s4＝0.2。

生成了干扰比例及受光灵敏度的组合不同的4个一次图像数据FI1～FI4。

<二次图像数据的生成>

(1)本发明

图41是用本发明所涉及的图像数据生成方法生成的二次图像数据所表示 的图像。

即，对4个一次图像数据(第1一次图像数据FI1、第2一次图像数据FI 2、第3一次图像数据FI3、第4一次图像数据FI4)，用本发明的方法实施干 扰消除处理，生成了2个二次图像数据(第1二次图像数据SI1及第2二次图 像数据SI2)。

如该图所示，确认到能够排除饱和的影响，从2个图像相互消除干扰的影 响。

(2)比较例

图42是用以往的方法生成的二次图像数据所表示的图像。

对第1一次图像数据FI1及第2一次图像数据FI2，用以往的方法实施干 扰消除处理，生成了2个二次图像数据(第1二次图像数据SI1及第2二次图 像数据SI2)。

如该图所示，确认到所生成的图像(二次图像数据)受到饱和的影响而产 生失真。

符号说明

1-摄像装置，1α-摄像装置，10-摄影透镜，20-第1光学系统，22-光 圈，30-第2光学系统，30a-第1透镜，30b-第2透镜，30c-第3透镜，30d- 主镜，30e-副镜，32-光圈，40-共用透镜，100-图像传感器，100α-图像传感 器，110-像素，110α-像素，120a-第1受光传感器，120b-第2受光传感器， 120c-第3受光传感器，120d-第4受光传感器，120e-受光传感器，120f-受光 传感器，120g-受光传感器，120h-受光传感器，120i-受光传感器，120α a-第 1受光传感器，120α b-第2受光传感器，130-光电转换元件，132-微透镜，13 4-遮光罩，134A-开口部，136-滤波器，210-透镜驱动控制部，212-图像传感 器驱动控制部，214-模拟信号处理部，216-数字信号处理部，216A-一次图像 数据生成部，216B-饱和像素检测部，216C-二次图像数据生成部，216α-数字 信号处理部，216α A-一次图像数据生成部，216α B-饱和像素检测部，216α C -二次图像数据生成部，218-显示部，220-工作存储器，222-存储部，222A-逆 矩阵信息存储部，224-媒体接口，226-系统控制部，226α-系统控制部，226 α A-曝光控制部，228-操作部，230-外部存储器，FI1-第1一次图像数据，FI 2-第2一次图像数据，FI3-第3一次图像数据，FI4-第4一次图像数据，L-光 轴，L1-区域，L2-区域，SI1-第1二次图像数据，SI2-第2二次图像数据，S 1～S11-二次图像数据的生成处理时的各工序，S21～S27-包含像素值饱和的一 次图像数据时的处理的各工序。

Claims (34)

1.一种摄像装置，具备：

摄影透镜，n设为满足n＞1的整数时，具备摄像特性不同的n个光学系统；

图像传感器，m设为满足m＞n的整数时，在各像素具备干扰比例及受光灵敏度的组合不同的m个受光传感器；

一次图像数据生成部，获取从所述图像传感器的各像素的各所述受光传感器输出的图像信号，生成m个一次图像数据；

饱和像素检测部，从所述一次图像数据检测像素值饱和的像素；及

二次图像数据生成部，对m个所述一次图像数据以像素单位实施干扰消除处理，从而生成与各所述光学系统对应的n个二次图像数据，处理对象中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外，对剩余的所述一次图像数据实施干扰消除处理，从而生成所述二次图像数据。

2.根据权利要求1所述的摄像装置，其中，

将所述一次图像数据的像素值设为A1、A2、……、Am，将所述二次图像数据的像素值设为B1、B2、……、Bn，将各所述受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各所述受光传感器的受光灵敏度相应的系数设为s1、s2、……、sm时，作为所述干扰消除处理，所述二次图像数据生成部通过求解以下联立方程式来生成所述二次图像数据，

A1＝s1*C11*B1+s1*C12*B2+……+s1*C1n*Bn

A2＝s2*C21*B1+s2*C22*B2+……+s2*C2n*Bn

……

Am＝sm*Cm1*B1+sm*Cm2*B2+……+sm*Cmn*Bn

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述联立方程式，从而生成所述二次图像数据。

3.根据权利要求1所述的摄像装置，其中，

将以各所述一次图像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以各所述二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以各所述受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各所述受光传感器的受光灵敏度相应的系数s1、s2、……、sm之积s1*C1＝s1*C11∶s1*C12∶……∶s1*C1n、s2*C2＝s2*C21∶s2*C22∶……∶s2*C2n、……、sm*Cm＝sm*Cm1∶sm*Cm2∶……：sm*Cmn作为要素的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，作为所述干扰消除处理，所述二次图像数据生成部通过求解以下矩阵方程式来生成所述二次图像数据，

B＝T^-1*A

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述矩阵方程式，从而生成所述二次图像数据。

4.根据权利要求3所述的摄像装置，还具备：

逆矩阵信息存储部，存储有所述逆矩阵T^-1的信息，

所述二次图像数据生成部利用存储于所述逆矩阵信息存储部的所述逆矩阵T^-1的信息，求解所述矩阵方程式。

5.根据权利要求4所述的摄像装置，其中，

所述逆矩阵信息存储部存储每个所述像素的所述逆矩阵T^-1的信息。

6.根据权利要求1至5中任一项所述的摄像装置，其中，

k设为满足k＞0的整数时，作为处理对象的像素中包含k个像素值饱和的所述一次图像数据，且成为(m-k)＜n时，所述二次图像数据生成部不实施所述干扰消除处理，而是根据未饱和的所述一次图像数据的像素值及未饱和的所述一次图像数据的干扰比例，计算作为处理对象的像素中的所述二次图像数据的像素值。

7.根据权利要求6所述的摄像装置，其中，

m＝k时，所述二次图像数据生成部将作为处理对象的像素中的所述二次图像数据的像素值作为饱和值。

8.根据权利要求1至5以及7中任一项所述的摄像装置，其中，

所述受光传感器具备：

光电转换元件；

微透镜，使所述摄影透镜的射出瞳的像成像于所述光电转换元件；及

遮光罩，配置于所述微透镜与所述受光传感器之间，

由于所述遮光罩的形状不同，因而所述受光传感器的受光灵敏度不同。

9.根据权利要求1至5以及7中任一项所述的摄像装置，其中，

所述受光传感器具备滤波器，由于所述滤波器的透射率不同，因而所述受光传感器的受光灵敏度不同。

10.根据权利要求1至5、7中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统的焦距互不相同。

11.根据权利要求1至5、7中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统的对焦距离互不相同。

12.根据权利要求1至5、7中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统的透射波长特性互不相同。

13.根据权利要求1至5、7中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统相互配置成同心状。

14.一种摄像装置，具备：

摄影透镜，n设为满足n＞1的整数时，具备摄像特性不同的n个光学系统；

图像传感器，在各像素具备干扰比例不同的n个以上的受光传感器；

曝光控制部，以不同的曝光值使所述图像传感器曝光多次；

一次图像数据生成部，获取按每次曝光而从所述图像传感器的各像素的各所述受光传感器输出的图像信号，生成成为m＞n的m个一次图像数据；

饱和像素检测部，从所述一次图像数据检测像素值饱和的像素；及

二次图像数据生成部，对m个所述一次图像数据按像素单位实施干扰消除处理，从而生成与各所述光学系统对应的n个二次图像数据，处理对象包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外，对剩余的所述一次图像数据实施干扰消除处理，从而生成所述二次图像数据。

15.根据权利要求14所述的摄像装置，其中，

将所述一次图像数据的像素值设为A1、A2、……、Am，将所述二次图像数据的像素值设为B1、B2、……、Bn，将与各所述一次图像数据对应的所述受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各所述一次图像数据的曝光时的曝光值相应的系数设为e1、e2、……、em时，作为所述干扰消除处理，所述二次图像数据生成部通过求解以下联立方程式来生成所述二次图像数据，

A1＝e1*C11*B1+e1*C12*B2+……+e1*C1n*Bn

A2＝e2*C21*B1+e2*C22*B2+……+e2*C2n*Bn

……

Am＝em*Cm1*B1+em*Cm2*B2+……+em*Cmn*Bn

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述联立方程式，从而生成所述二次图像数据。

16.根据权利要求14所述的摄像装置，其中，

将以各所述一次图像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以各所述二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以与各所述一次图像数据对应的所述受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各所述一次图像数据的曝光时的曝光值相应的系数e1、e2、……、em之积e1*C1＝e1*C11∶e1*C12∶……∶e1*C1n、e2*C2＝e2*C21∶e2*C22∶……∶e2*C2n、……、em*Cm＝em*Cm1∶em*Cm2∶……∶em*Cmn作为要素的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，作为所述干扰消除处理，所述二次图像数据生成部通过求解以下矩阵方程式来生成所述二次图像数据，

B＝T^-1*A

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述矩阵方程式，从而生成所述二次图像数据。

17.根据权利要求16所述的摄像装置，还具备：

逆矩阵信息存储部，存储有所述逆矩阵T^-1的信息，

所述二次图像数据生成部利用存储于所述逆矩阵信息存储部的所述逆矩阵T^-1的信息求解所述矩阵方程式。

18.根据权利要求17所述的摄像装置，其中，

所述逆矩阵信息存储部存储每个所述像素的所述逆矩阵T^-1的信息。

19.根据权利要求14至18中任一项所述的摄像装置，其中，

k设为满足k＞0的整数时，作为处理对象的像素中包含k个像素值饱和的所述一次图像数据，且成为(m-k)＜n时，所述二次图像数据生成部不实施所述干扰消除处理，而是根据未饱和的所述一次图像数据的像素值及未饱和的所述一次图像数据的干扰比例，计算作为处理对象的像素中的所述二次图像数据的像素值。

20.根据权利要求19所述的摄像装置，其中，

m＝k时，所述二次图像数据生成部将作为处理对象的像素中的所述二次图像数据的像素值作为饱和值。

21.根据权利要求14至18、20中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统的焦距互不相同。

22.根据权利要求14至18、20中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统的对焦距离互不相同。

23.根据权利要求14至18、20中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统的透射波长特性互不相同。

24.根据权利要求14至18、20中任一项所述的摄像装置，其中，

所述摄影透镜所具备的多个所述光学系统相互配置成同心状。

25.一种利用摄像装置的图像数据生成方法，该摄像装置具备：摄影透镜，n设为满足n＞1的整数时，具备摄像特性不同的n个光学系统；及图像传感器，m设为满足m＞n的整数时，在各像素具备干扰比例及受光灵敏度的组合不同的m个受光传感器，该图像数据生成方法具备：

对所述图像传感器进行曝光的工序；

获取从所述图像传感器的各像素的各所述受光传感器输出的图像信号，生成m个一次图像数据的工序；

从所述一次图像数据检测像素值饱和的像素的工序；及

对m个所述一次图像数据以像素单位实施干扰消除处理，从而生成与各所述光学系统对应的n个二次图像数据，处理对象中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外，对剩余的所述一次图像数据实施干扰消除处理，从而生成所述二次图像数据的工序。

26.根据权利要求25所述的图像数据生成方法，其中，

将所述一次图像数据的像素值设为A1、A2、……、Am，将所述二次图像数据的像素值设为B1、B2、……、Bn，将各所述受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各所述受光传感器的受光灵敏度相应的系数设为s1、s2、……、sm时，作为所述干扰消除处理，生成所述二次图像数据的工序通过求解以下联立方程式来生成所述二次图像数据，

A1＝s1*C11*B1+s1*C12*B2+……+s1*C1n*Bn

A2＝s2*C21*B1+s2*C22*B2+……+s2*C2n*Bn

……

Am＝sm*Cm1*B1+sm*Cm2*B2+……+sm*Cmn*Bn

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述联立方程式，从而生成所述二次图像数据。

27.根据权利要求25所述的图像数据生成方法，其中，

将以各所述一次图像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以各所述二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以各所述受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn和与各所述受光传感器的受光灵敏度相应的系数s1、s2、……、sm之积s1*C1＝s1*C11∶s1*C12∶……∶s1*C1n、s2*C2＝s2*C21∶s2*C22∶……∶s2*C2n、……、sm*Cm＝sm*Cm1∶sm*Cm2∶……∶sm*Cmn作为要素的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，作为所述干扰消除处理，生成所述二次图像数据的工序通过求解以下矩阵方程式来生成所述二次图像数据，

B＝T^-1*A

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述矩阵方程式，从而生成所述二次图像数据。

28.根据权利要求25至27中任一项所述的图像数据生成方法，其中，

k设为满足k＞0的整数时，作为处理对象的像素中包含k个像素值饱和的所述一次图像数据，且成为(m-k)＜n时，生成所述二次图像数据的工序不实施所述干扰消除处理，而是根据未饱和的所述一次图像数据的像素值及未饱和的所述一次图像数据的干扰比例，计算作为处理对象的像素中的所述二次图像数据的像素值。

29.根据权利要求28所述的图像数据生成方法，其中，

m＝k时，生成所述二次图像数据的工序将作为处理对象的像素中的所述二次图像数据的像素值作为饱和值。

30.一种利用摄像装置的图像数据生成方法，该摄像装置具备：摄影透镜，n设为满足n＞1的整数时，具备摄像特性不同的n个光学系统；及图像传感器，在各像素具备干扰比例不同的n个以上的受光传感器，该图像数据生成方法具备：

以不同的曝光值使所述图像传感器曝光多次的工序；

获取按每次曝光而从所述图像传感器的各像素的各所述受光传感器输出的图像信号，生成成为m＞n的m个一次图像数据的工序；

从所述一次图像数据检测像素值饱和的像素的工序；及

对m个所述一次图像数据按像素单位实施干扰消除处理，从而生成与各所述光学系统对应的n个二次图像数据，处理对象中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外，对剩余的所述一次图像数据实施干扰消除处理，从而生成所述二次图像数据的工序。

31.根据权利要求30所述的图像数据生成方法，其中，

将所述一次图像数据的像素值设为A1、A2、……、Am，将所述二次图像数据的像素值设为B1、B2、……、Bn，将与各所述一次图像数据对应的所述受光传感器的干扰比例设为C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cm2∶……∶Cmn，将与各所述一次图像数据的曝光时的曝光值相应的系数设为e1、e2、……、em时，作为所述干扰消除处理，生成所述二次图像数据的工序通过求解以下联立方程式来生成所述二次图像数据，

A1＝e1*C11*B1+e1*C12*B2+……+e1*C1n*Bn

A2＝e2*C21*B1+e2*C22*B2+……+e2*C2n*Bn

……

Am＝em*Cm1*B1+em*Cm2*B2+……+em*Cmn*Bn

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述联立方程式，从而生成所述二次图像数据。

32.根据权利要求30所述的图像数据生成方法，其中，

将以各所述一次图像数据的像素值A1、A2、……、Am作为要素的m行1列的矩阵设为A，将以各所述二次图像数据的像素值B1、B2、……、Bn作为要素的n行1列的矩阵设为B，将以与各所述一次图像数据对应的所述受光传感器的干扰比例C1＝C11∶C12∶……∶C1n、C2＝C21∶C22∶……∶C2n、……、Cm＝Cm1∶Cmm2∶……∶Cmn和与各所述一次图像数据的曝光时的曝光值相应的系数e1、e2、……、em之积e1*C1＝e1*C11∶e1*C12∶……∶e1*C1n、e2*C2＝e2*C21∶e2*C22∶……∶e2*C2n、……、em*Cm＝em*Cm1∶em*Cm2∶……∶em*Cmn作为要素的m行n列的矩阵设为T，将T的逆矩阵设为T^-1时，作为所述干扰消除处理，生成所述二次图像数据的工序通过求解以下矩阵方程式来生成所述二次图像数据，

B＝T^-1*A

作为处理对象的像素中包含像素值饱和的所述一次图像数据时，将像素值饱和的所述一次图像数据排除在外来建立所述矩阵方程式，从而生成所述二次图像数据。

33.根据权利要求30至32中任一项所述的图像数据生成方法，其中，

k设为满足k＞0的整数时，作为处理对象的像素中包含k个像素值饱和的所述一次图像数据，且成为(m-k)＜n时，生成所述二次图像数据的工序不实施所述干扰消除处理，而是根据未饱和的所述一次图像数据的像素值及未饱和的所述一次图像数据的干扰比例，计算作为处理对象的像素中的所述二次图像数据的像素值。

34.根据权利要求33所述的图像数据生成方法，其中，

m＝k时，生成所述二次图像数据的工序将作为处理对象的像素中的所述二次图像数据的像素值作为饱和值。

Images