[go: up one dir, main page]

CN101738840A - 图像摄取设备 - Google Patents

图像摄取设备 Download PDF

Info

Publication number
CN101738840A
CN101738840A CN200910222897A CN200910222897A CN101738840A CN 101738840 A CN101738840 A CN 101738840A CN 200910222897 A CN200910222897 A CN 200910222897A CN 200910222897 A CN200910222897 A CN 200910222897A CN 101738840 A CN101738840 A CN 101738840A
Authority
CN
China
Prior art keywords
image pickup
color filter
pixels
pickup device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910222897A
Other languages
English (en)
Other versions
CN101738840B (zh
Inventor
早坂健吾
山本健二
市村功
广田功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101738840A publication Critical patent/CN101738840A/zh
Application granted granted Critical
Publication of CN101738840B publication Critical patent/CN101738840B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Eye Examination Apparatus (AREA)
  • Fluid-Damping Devices (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

一种图像摄取设备，允许获得视差信息同时防止表观分辨率的降低。图像摄取设备包括：图像摄取透镜，具有孔径光阑；图像摄取装置，包括多个像素，并基于在多个像素上接收的光来获得图像摄取数据；以及显微透镜阵列，布置在图像摄取透镜与图像摄取装置之间，使得一个显微透镜分配有图像摄取装置中的2×2个像素。沿着分别相对于水平方向和垂直方向旋转特定角度的两个方向以二维布置的方式设置多个像素。

Description

图像摄取设备
技术领域
本发明涉及一种使用显微透镜的图像摄取设备。
背景技术
已经提出并开发了多种图像摄取设备。已经提出一种图像摄取设备，用于对通过摄取图像而获得的图像摄取数据执行预定的图像处理以输出经处理的图像摄取数据。
例如，国际专利公开第06/039486号和Ren.Ng等人的“light FieldPhotography with a Hand-Held Plenoptic Camera”，Stanford Tech ReportCTSR 2005-02的每一个都提出了使用称为“光场摄影”技术的图像摄取设备。该图像摄取设备具有以下布置，显微透镜阵列被布置在通过图像摄取透镜形成对象图像的平面上，并且图像摄取装置被布置在显微透镜阵列的焦距位置上。从而，在该图像摄取装置中，获得来自对象的光线作为不仅包括强度分布而且包括行进方向的光线矢量。因此，从图像摄取装置获得的图像摄取数据包括关于视差的信息，并且当对图像摄取数据执行预定的图像处理时，图像摄取数据可应用于例如三维显示或距离信息的提取。
发明内容
例如，在基于通过上述技术获得的图像摄取数据产生用于三维显示的视差图像的情况下，视差图像中像素的数量(二维分辨率)等于显微透镜阵列中透镜的数量。换句话说，视差图像中像素的数量等于通过将图像摄取装置中像素的总数除以分配给每个显微透镜的像素数所确定的值。因此，在使用显微透镜阵列来产生上述视差图像的图像摄取设备中，由于对显微透镜数量的限制而容易减小最终获得的视差图像的分辨率。
期望提供一种能够获得视差图像同时防止表观分辨率降低的图像摄取设备。
根据本发明的实施例，提供了第一图像摄取设备，包括：图像摄取透镜，具有孔径光阑；图像摄取装置，包括多个像素，并基于在多个像素上接收的光来获得图像摄取数据，多个像素沿着分别相对于水平方向和垂直方向旋转特定角度的两个方向以二维布置的方式设置；以及显微透镜阵列，布置在图像摄取透镜与图像摄取装置之间，使得一个显微透镜分配有图像摄取装置中的2×2个像素。
根据本发明的实施例，提供了第二图像摄取设备，包括：图像摄取透镜，具有孔径光阑；图像摄取装置，包括多个像素，并基于在多个像素上接收的光来获得图像摄取数据，多个像素沿着分别相对于水平方向和垂直方向旋转特定角度的两个方向以二维布置的方式设置；以及显微透镜阵列，布置在图像摄取透镜与图像摄取装置之间，使得一个显微透镜分配有图像摄取装置中的2个或更多个像素。
在根据本发明实施例的第一和第二图像摄取设备中，在图像摄取透镜与图像摄取装置之间布置显微透镜阵列，其中一个显微透镜被分配有图像摄取装置中的两个或更多个像素。从而，在图像摄取装置上接收已穿过每个显微透镜并包括关于光线的强度分布以及光线的行进方向的信息的光线。在这种情况下，在图像摄取装置中，沿着分别与横向和纵向形成特定角度的两个方向布置多个像素，因此水平和垂直方向上的像素间距小于每个像素的边长。因此，与沿着水平和垂直方向二维布置具有相同尺寸的像素的情况相比，基于水平方向和垂直方向，通过上述像素布置的像素间距更小。
在根据本发明实施例的第一和第二图像摄取设备中，在图像摄取透镜与图像摄取装置之间布置显微透镜阵列，并且为每个显微透镜分配两个或更多个像素。因此，来自对象的光线被允许接收作为具有不同视点的光线矢量。在这种情况下，沿着分别与横向和纵向形成特定角度的两个方向布置图像摄取装置中的多个像素，使得与沿着横向和纵向布置具有相同尺寸的像素的情况相比，像素间距更小。典型地，与倾斜方向相比，通过人眼更容易在水平方向和垂直方向上识别图像的分辨率，因此当使用上述像素布置时，允许表观分辨率的提高。因此，可获得视差信息，同时防止表观分辨率的下降。
此外，当布置图像处理部且从分配给一个显微透镜的四个像素的布置中位于相同位置处的像素组中提取的相同位置像素数据被合成时，允许产生左右视差图像或上下视差图像。这种视差图像可应用于例如立体系统三维显示。
根据以下描述，将更全面地了解本发明的其他和进一步的目的、特征和优点。
附图说明
图1是根据本发明第一实施例的图像摄取设备的整体布置的示图。
图2是用于描述图1所示图像摄取装置中的像素布置的平面图。
图3是图1所示图像摄取装置上的颜色滤色器的示意性平面图。
图4是用于描述在图像摄取装置上接收的光线的示图。
图5是示出图1所示图像处理部的结构的功能框图。
图6是用于描述颜色内插处理操作的实例的概念图。
图7是用于根据比较实例描述图像摄取装置中的像素布置的平面图。
图8A和图8B是用于描述图1所示图像摄取装置中的读出操作的概念图。
图9是根据修改例1的颜色滤色器的示意性平面图。
图10是根据修改例2的颜色滤色器的示意性平面图。
图11是根据修改例3的颜色滤色器的示意性平面图。
图12是根据本发明第二实施例的颜色滤色器的示意性平面图。
图13是颜色内插处理操作的实例的概念图。
图14A和图14B是用于描述图12所示图像摄取装置中的读出操作的概念图。
图15是根据修改例4的颜色滤色器的示意性平面图。
具体实施方式
以下，将参照附图描述本发明的优选实施例。
第一实施例
图像摄取设备的结构实例。
图1示出了根据本发明第一实施例的图像摄取设备1的整体布置。图像摄取设备1摄取对象2的图像，并对图像执行预定图像处理，从而输出图像数据Dout。图像摄取设备1包括图像摄取透镜11、显微透镜阵列12、图像摄取装置13、图像处理部14、图像摄取装置驱动部15和控制部16。
图像摄取透镜11是用于摄取对象2的图像的主透镜，并且例如为用在摄像机、照相机等中的典型图像摄取透镜。孔径光阑被布置在图像摄取透镜11的光入射侧或光出射侧。在图像摄取装置13上通过显微透镜阵列12中的显微透镜建立的各个图像形成区域(稍后进行描述)中，形成对象2的具有类似于孔径光阑的孔形状(例如，圆形)的形状的图像。
显微透镜阵列12包括在例如由玻璃等制成的基板上的多个显微透镜。显微透镜阵列12被布置在图像摄取透镜11的焦面(图像形成面)上，并且图像摄取装置13被布置在显微透镜的焦点位置中。每个显微透镜12A都是由例如固态透镜、液晶透镜、衍射透镜等制成的。如稍后描述的，显微透镜阵列12中的显微透镜的二维布置对应于图像摄取装置13中的像素布置。
图像摄取装置13接收来自显微透镜阵列12的光线以获得图像摄取数据D0。图像摄取装置13包括以矩阵形式布置的多个像素，并且每个像素均由诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的二维固态图像摄取装置制成。
上述显微透镜阵列12中的一个显微透镜被分配有上述多个像素中数量为m×n(在这种情况下为2×2＝4)的像素。换句话说，通过图像摄取装置13的2×2个像素接收已穿过每个显微透镜的光线。此外，例如，随着分配给一个显微透镜的像素的数量m×n的增加，稍后描述的视差图像的角分辨率(视点的数量)也增加。另一方面，随着像素的数量m×n的减少，视差图像的二维分辨率增加。因此，在视差图像的角分辨率和二维分辨率之间存在折衷关系。
在图像摄取装置13的光接收面上布置包括与像素的布置相对应的常规布置的多种颜色的滤色器元件的颜色滤色器(图1中未示出)。例如，作为这种颜色滤色器，使用以预定比率布置三种原色(即，红色(R)、绿色(G)和蓝色(B))的滤色器元件的颜色滤色器。稍后将描述包括每种颜色的滤色器布置的图像摄取装置13的具体平面结构。
图像处理部14包括视差图像产生部143(稍后进行详细描述)，对从图像摄取装置13获得的图像摄取数据D0执行预定图像处理，并输出例如图像数据Dout作为视差图像。稍后将描述图像处理部14的具体图像处理操作。
图像摄取装置驱动部15驱动图像摄取装置13，并控制图像摄取装置13的光接收操作。
控制部16控制图像处理部14和图像摄取装置驱动部15的操作，并包括例如微型计算机等。
图像摄取设备中像素布置的实例
现在，参照图2，将描述图像摄取装置13的像素布置。在图2中，为了方便，仅示出了分配给一个显微透镜的2×2个像素P。此外，水平方向A(横向)和垂直方向B(纵向)为视觉上识别基于图像摄取数据Dout的图像时的水平方向和垂直方向。
图像摄取装置13包括具有边长为a的正方形像素P，分别沿着与水平方向A和垂直方向B倾斜的两个方向，例如，沿着与水平方向A和垂直方向B形成45°的方向C和D，以二维布置的方式设置像素P(下文将这种布置简称为“倾斜布置”)。换句话说，在光接收面中以诸如45°的预定角度旋转沿着水平方向A和垂直方向B以网格图案(正方形布置)布置的多个像素P。上述显微透镜阵列12还具有平面结构，其中，显微透镜对应于图像摄取装置13中的倾斜布置，沿着相对于水平方向A和垂直方向B旋转45°的两个方向以二维布置的方式设置。
如上所述，在图像摄取装置13的光接收面上布置颜色滤色器，并且颜色滤色器具有例如以下颜色布置。图3示意性示出了图像摄取装置13上的颜色滤色器130的平面结构。此外，图3示意性示出了对应于包括2×2个像素的区域，通过一个显微透镜构建的单位图像形成区域12D。
根据颜色将颜色滤色器130划分为多个区域，每个区域都对应于2×2个像素的布置，并且颜色滤色器130包括原色的滤色器元件，例如，红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B。对应于像素P的倾斜布置，沿着分别相对于水平方向A和垂直方向B旋转45°的两个方向以二维布置的方式设置红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B。在该实施例中，绿色滤色器元件130G的数量是原色滤色器元件中最多的，并且例如以1∶6∶1的(R∶G∶B)比率来布置红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B。更具体地，颜色滤色器130具有以下结构：每个红色滤色器元件130R和每个蓝色滤色器元件130B都被9个绿色滤色器元件130G环绕，并且被图3中的点划线包围的区域为单位布置U1。
接下来，将参照附图描述上述图像摄取设备1的功能和效果。
图像摄取操作
首先，参照图1至图4，描述图像摄取设备1中的图像摄取操作。在图像摄取设备1中，通过显微透镜阵列12在图像摄取装置13上形成由图像摄取透镜11形成的对象2的图像。此时，例如，2×2＝4个像素被分配给显微透镜阵列12中的一个显微透镜，使得在图像摄取装置13中，如图3所示，在包括2×2像素的每个区域中形成单位图像形成区域12D作为对象2的图像。
当以这种方式通过图像摄取装置13接收光时，根据图像摄取装置驱动部15的驱动操作获得图像摄取数据D0。现在，参照图4，描述在从图形摄取装置13获得的图像摄取数据D0中所包括的信息。图4示意性示出了由图像摄取装置13接收的光线。如图所示，在图像摄取透镜11的透镜面上定义直角坐标系统(u，v)，并且在图像摄取装置13的图像摄取面上定义直角坐标系统(x，y)。图像摄取透镜11的图像摄取透镜面与图像摄取装置13的图像摄取面之间的距离被定义为“F”。然后，穿过图像摄取透镜11和图像摄取装置13的光线L1通过四维函数LF(x，y，u，v)来表示。换句话说，来自对象2的光线被存储在图像摄取装置13中作为除光线的强度分布之外还包括关于光线的行进方向的信息的光线矢量。
此外，在该实施例中，在图像摄取装置13的光接收面上布置颜色滤色器130，其中，颜色滤色器130被划分为像素单位，即，每个均包括分配给每个显微透镜的2×2＝4个像素的区域。因此，获得图像摄取数据D0，作为与颜色滤色器130中的红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B的布置相对应的颜色图像摄取数据。以这种方式获得的图像摄取数据D0被输出至图像处理部14。
图像处理操作
现在，参照图5和图6，描述图像摄取设备1中的图像处理操作。当上述图像摄取数据D0被输入到图像处理部14中时，图像处理部14对图像摄取数据D0执行预定图像处理，以产生图像数据Dout，然后输出图像数据Dout作为视差图像。图5是示出图像处理部14的整体结构的功能框图。例如，图像处理部14包括缺陷检测部141、箝位处理部142、视差图像产生部143、缺陷校正部144、颜色内插处理部145、降噪部146、边缘增强部147、白平衡调整部148和伽马校正部149。
在图像处理部14中，首先，缺陷检测部141检测图像摄取数据D0中所包括的诸如遗失或无效的缺陷(由图像摄取装置13中的异常引起的缺陷)。接下来，箝位处理部142对通过缺陷检测部141从中检测出缺陷的图像摄取数据执行设置黑水平的处理(箝位处理)。从而，获得图像摄取数据D1，并将其输出至视差图像产生部143。
视差图像产生部143基于图像摄取数据D1产生来自不同的视点的多个视差图像。如上所述，图像摄取数据D1除了包括在每个单位图像形成区域12D中光线的强度分布的信息之外还包括关于光线的行进方向的信息，因此每条光线都被允许单独检测。更具体地，从图形摄取数据D1中提取与位于单位图像形成区域12D中的相同位置处的像素相对应的像素数据，并且合成这些提取的像素数据(与通过图3中的同一参考标号表示的像素相对应的像素数据)。从而，获得图像数据D2作为视差图像。所获得的图像数据D2被输出至缺陷校正部144。
然而，同时，分配给一个显微透镜的像素的数量(在这种情况下为2×2＝4个)等于具有不同相位差的视点的数量。因此，通过上述提取操作和上述合成操作，总共产生来自四个视点的视差图像，更具体地，来自左部(对应于图3中的参考标号2)、右部(对应于图3中的参考标号3)、上部(对应于图3中的参考标号1)和下部(对应于图3中的参考标号4)的视点的视差图像。
例如，缺陷校正部144使用外围像素通过例如内插来校正图像数据D2中的缺陷(前一级中在缺陷检测部141中检测到的缺陷)。
例如，颜色内插处理部145对已经校正了缺陷的图像数据D2执行诸如去马赛克处理的颜色内插处理，以产生三原色的彩色图像。现在，参照图6中的(A)至(D)，将描述颜色内插处理部145中的颜色内插处理操作。图6中的(A)示意性示出了从视差图像产生部143获得的图像数据D2中来自上部(由图3中的参考标号1表示)的视差图像数据D21。此外，为了方便，仅示出了对应于颜色滤色器130的单位布置U1的部分。
如上所述，从图像摄取装置13获得的图像摄取数据D0(或通过箝位处理获得的图像摄取数据D1)根据颜色划分为对应于颜色滤色器130的颜色布置的单位图像形成区域12D。因此，如图6中的(A)所示，通过合成从位于单位图像形成区域U1的相同位置的像素(例如，由参考标号1表示的像素)中提取的像素数据而产生的视差图像数据D21具有与颜色滤色器130相同的颜色布置。对合成从位于另一位置的像素(例如，由参考标号2表示的像素)提取的像素数据的情况来说同样如此。
对视差图像数据D21执行用于R、G和B的每一个的内插处理，从而如图6中的(B)至(D)所示，获得红色视差图像数据D31R、绿色视差图像数据D31G和蓝色视差图像数据D31B。所获得的视差数据D31R、D31G和D31B被作为图像数据D3输出至降噪部146。
降噪部146执行降低包括在图像数据D3中的噪声(例如，当在暗处或不具有充分灵敏度的位置处摄取图像时生成的噪声)的处理。接下来，边缘增强部147、白平衡调整部148和伽马校正部149对由降噪部146通过降噪处理获得的图像数据分别依次执行增强图像边缘的边缘增强处理、白平衡调整处理和伽马校正处理。从而，获得图像数据Dout作为视差图像。此外，白平衡调整处理为调整装置中的各种差异(例如，颜色滤色器130的传输特性的差异、图像摄取装置13的光谱灵敏度差异)、照射条件等影响的颜色平衡的处理。此外，由伽马校正部148执行的伽马校正处理为校正色调或对比度的处理。
如上所述，从图像处理部14输出图像数据Dout作为视差图像。
图像摄取装置13中的像素布置的功能和效果
在上述图像摄取设备1中，如图2所述，图像摄取装置13中像素P的布置为沿着分别相对于水平方向A和垂直方向B旋转45°的两个方向C和D的倾斜布置。现在，作为比较实例，图7示出了沿水平方向A和垂直方向B以二维布置的方式设置具有边长为a的正方形像素P100的像素布置。在比较实例的像素布置中，像素P100的间距d1等于像素P100的边长a(d1＝a)。间距d1为相邻像素P100的中心M1之间在水平方向A和垂直方向B的每一个方向上的距离。
另一方面，在本实施例中，像素P的大小与上述比较实例中的像素P100的大小相同，但基于水平方向A和垂直方向B，像素P的间距d减小到上述比较实例中的间距d1的
Figure G2009102228971D0000091
。从而，减小了水平方向A和垂直方向B上像素的间距d(d＜d1)。间距d为相邻像素P的中心M之间、水平方向A和垂直方向B的每一个方向上的距离。
如上所述，在该实施例中，在图像摄取透镜11与图像摄取装置13之间布置为每个显微透镜分配2×2个像素的显微透镜阵列12，使得允许从不同视点接收来自对象2的光线作为光线矢量。此外，图像摄取装置13中像素P的布置为上述倾斜布置，使得具有与像素P大小相同的像素沿水平方向A和垂直方向B以二维布置的方式设置的情况相比，减小了水平方向A和垂直方向B上的像素间距。典型地，与倾斜方向相比，人眼更加容易在水平和垂直方向上识别图像的分辨率，因此与正方形布置像素的情况相比，当如本实施例一样倾斜地布置像素时，使像素的表面数量(二维分辨率)增加了。因此，可获得关于视差的信息，同时防止表观分辨率的降低。
此外，颜色滤色器130布置在图像摄取装置13的光接收面上，并且颜色滤色器130包括的绿色滤色器元件130G的数量最多。因此，布置大量对于人眼具有最高灵敏度的绿色滤色器元件，以允许表观分辨率的提高。具体地，在本实施例中，图像摄取装置13中的像素P进行如上所述的倾斜布置，从而布置绿色滤色器元件130G以环绕红色滤色器元件130R和蓝色滤色器元件130B。换句话说，形成单位布置U1，使得红色、绿色和蓝色的比率(R∶G∶B)为1∶6∶1，其中，绿色的数量大于典型拜耳布置(R∶G∶B＝1∶2∶1)中的绿色数量。因此，通过上述图像摄取装置13中的倾斜布置，容易提高表观分辨率。
此外，在倾斜布置中，可以增加像素大小(像素面积)。在不改变图像摄取装置13的大小的情况下，通过增大像素大小来减少像素的实际数量，但是通过上述倾斜布置和像素面积的增加的影响来提高灵敏度，从而使表观分辨率提高。例如，在图2中，在像素P的边长a增加到例如
Figure G2009102228971D0000101
a时，像素P的间距d等于长度a，并且像素面积加倍。
此外，如上所述获得的作为视差图像的图像数据D3被适当地用于例如立体系统的三维图像显示。例如，如将在以下描述的，实现典型的立体系统三维图像显示。例如，当在屏幕上同时投影通过对应于人眼的两个相机拍摄的用于左眼和右眼的两个图像(两个视差图像)以及通过佩戴一对偏光镜的观看者观看屏幕上的画面时，实现这种三维图像显示。此时，在两个投影器中使用彼此垂直的偏振光线作为用于右眼的投影光和用于左眼的投影光，并且作为一副偏光镜，使用仅允许左眼和右眼中彼此垂直的偏振光线穿过的一副偏光镜。从而，当分别通过右眼和左眼观察左眼和右眼的图像时，观看者识别图像作为具有深度感的立体图像。
在将本实施例中获得的视差图像用于这种立体系统的三维显示的情况下，产生用于右眼和左眼的两个视差图像，并且利用上述投影器将所产生的视差图像投影在屏幕上，然后，通过佩戴一副偏光镜的观看者来观看图像，从而实现三维图像显示。因此，可以获得右眼和左眼的视差图像而不使用两个相机。此外，同时，如上所述，较小了每个视差图像中分辨率的下降。因此，实现了尽管结构简单但具有充分显示质量的三维显示系统。
此外，在将来自左部和右部(或者上部和下部)的两个视差图像应用于这种立体系统的三维显示的情况下，如本实施例的情况，当分配给一个透镜的像素数量为2×2个时，与正方形布置相比，允许以更高的速度读取像素数据。以下将参照图8A至图8C来描述以更高的速度读取像素数据的原因。图8A是用于描述倾斜布置的情况下的读出的示图，以及图8B是用于描述作为比较实例的正方形布置的情况下的读出的示图。为了方便，被分配给一个透镜的2×2个像素分别由参考标号1至4来表示。
在图8B所示的正方形布置的情况下，为了获得相对于光轴对称的左右视差图像，积分上部和下部的像素，即，图8B中由参考标号1和3表示的像素或由参考标号2和4表示的像素，以产生视差图像。因此，需要读取与分配给一个透镜的像素1至4相对应的所有数据，并且每个透镜需要两条读出线(Rb1和Rb2)。另一方面。在图8A所示的倾斜布置的情况下，读出每个透镜中与图8A中的像素2和3相对应的数据，从而产生了相对于光轴对称的左视差图像和右视差图像。换句话说，在将2×2个像素分配给一个透镜的倾斜布置中，仅需要在每个透镜中读出来自一条读出线(Ra)的数据，从而与正方形布置相比，允许以更高的速度读出像素数据。此外，在倾斜布置的情况下，不需要积分处理，从而可获得具有区域深度的视差图像。在这种情况下，尽管作为实例描述了左部和右部视差图像，但对于产生来自上部和下部的两个视差图像的情况来说同样如此。在这种情况下，在每个透镜中可以从一条线读出对应于像素1和4的数据。
接下来，将描述布置到根据上述第一实施例的图像摄取设备1的图像摄取装置13上的颜色滤色器的修改例。类似的部件以与上述实施例类似的参考标号表示，并且将不再进行进一步的描述。此外，在任意一个修改例中，颜色滤色器都被根据颜色划分为与每个都包括2×2个像素的区域(对应于透镜)相对应的区域，并且颜色布置为与像素P的倾斜布置相对应的旋转45°的二维布置。
修改例1
图9示意性示出了根据图像摄取装置13的修改例1的颜色滤色器的平面结构。如上述实施例的颜色滤色器130的情况，根据修改例1的颜色滤色器包括三原色的滤色器元件，即，红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B。然而，在该修改例中，红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B的比率(R∶G∶B)为例如1∶2∶1。
修改例2
图10示意性示出了根据图像摄取装置13的修改例2的颜色滤色器的平面结构。如上述实施例的颜色滤色器130的情况，根据修改例2的颜色滤色器包括三原色的滤色器元件，即，红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B。然而，在该修改例中，红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B的比率(R∶G∶B)为例如1∶2∶1。颜色布置与通常在对应于像素P的倾斜布置旋转45°的现有技术中所使用的拜耳布置相同。
如上述修改例1和2，颜色滤色器中颜色的比率(R∶G∶B)不限于1∶6∶1，而是可以为任意其他比率，例如1∶2∶1。即使在这种结构中，当颜色滤色器包括比红色滤色器元件130R和蓝色滤色器元件130B更多的绿色滤色器元件130G时，有利于提高表观分辨率。
修改例3
图11示意性示出了根据图像摄取装置13的修改例3的颜色滤色器的平面结构。根据修改例3的颜色滤色器除红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B之外，还包括白色滤色器元件130W。在该修改例中，红色滤色器元件130R、绿色滤色器元件130G、蓝色滤色器元件130B和白色滤色器元件130W的比率(R∶G∶B∶W)为1∶4∶1∶2。
类似于该修改例，除红色滤色器元件130R、绿色滤色器元件130G和蓝色滤色器元件130B之外，还可以布置白色滤色器元件130W。在这种结构中，例如，允许通过以下等式(1)根据从图形摄取装置13获得的图像数据中的白色分量来重构RGB分量。更具体地，在重点放在G分量上的情况下，通过将来自外围像素数据的通过内插获得的R分量和B分量带入以下等式(G＝(W-a·R-c·B)/b)，来确定G分量。
W＝a·R+b·G+c·B(a，b和c为系数)...(1)
此外，在修改例3中，可以用白色滤色器元件130W代替绿色滤色器元件130G的一部分，从而可以以1∶4∶1∶2的比率(R∶G∶B∶W)布置红色滤色器元件130R、绿色滤色器元件130G、蓝色滤色器元件130B和白色滤色器元件130W。
第二实施例
图12示意性示出了根据本发明第二实施例的颜色滤色器(颜色滤色器140)的平面结构。如上述第一实施例的情况，颜色滤色器140被布置在图像摄取装置13上。然而，在本实施例中，分配给图像摄取装置13中的一个透镜的像素数为3×3(＝9)个，并且根据颜色将颜色滤色器140划分为每一个均对应单个像素的区域。例如，颜色滤色器140包括常规布置的红色滤色器元件140R、绿色滤色器元件140G、蓝色滤色器元件140B和白色滤色器元件140W，并且作为这些滤色器元件140R、140G、140B和140W的颜色布置，例如可以使用如图12所示的拜耳布置。白色滤色器元件140W被分配给高分辨率像素。类似的部件由与上述第一实施例类似的参考标号来表示，并且不再进行进一步的描述。
在该实施例中，如上述第一实施例的情况，图像处理部14对从图像摄取装置13获得的图像摄取数据D0执行预定图像处理，以产生视差图像数据。不同于上述第一实施例，颜色滤色器140根据颜色被划分为对应于像素的区域，但是在分配给一个透镜的像素数为3×3个的情况下，所产生的视差图像具有与颜色滤色器140相同的颜色布置。因此，在该实施例中，当倾斜地布置像素时，也可以获得视差图像，同时防止表观分辨率的降低。
在基于倾斜布置的像素而产生视差图像的情况下，视差图像中的像素数据具有倾斜布置。因此，期望最终将像素数据从倾斜布置转换为正方形布置。下面将参照作为实例的图像摄取装置13上的一部分像素区域描述从倾斜布置到正方形布置的转换处理。在颜色内插处理之前执行转换处理。
在图12的结构中，当将从位于均包括3×3个像素的区域中的相同位置处的像素(图12中的倾斜阴影部分)所提取的数据合成以产生视差图像时，如图13中的(A)所示，所产生的视差图像对应于像素的倾斜布置。因此，执行像素数据之间的内插，以生成对应于正方形布置的视差数据。更具体地，如图13中的(B)所示，在像素数据之间插入空数据。当以这种方式执行从倾斜布置到正方形布置的转换处理时，提高了视差图像的分辨率。该转换处理可应用于如第一实施例所描述的分配给一个透镜的像素数为2×2个的情况。当对以这种方式生成的具有正方形布置的视差图像执行诸如去马赛克处理的颜色内插处理时，产生了如图13中的(C)所示的三原色的视差图像数据。此时，用R、G和B中的任意一种颜色代替对应于白色滤色器元件140W的像素数据。
此外，在该实施例中，在产生来自右部和左部的两个视差图像以应用于立体系统三维显示的情况下，可以使水平方向上的基线长度增加到大于正方形布置情况下的基线长度。例如，如图14A和14B所示，在通过使用与每个均包括3×3个像素的区域中的像素4和6相对应的数据来产生右部和左部的视差图像的情况下，当倾斜布置下的像素区域与正方形布置下的相同，并且倾斜布置下的基线长度Ta长于正方形布置下的基线长度Tb。类似地，倾斜布置下垂直方向上的基线长度长于正方形布置下垂直方向上的基线长度。
修改例4
图15示意性示出了根据修改例4的颜色滤色器150的平面结构。颜色滤色器150具有与第二实施例相同的拜耳布置，但是颜色滤色器150根据颜色被划分为与每个均包括分配给一个显微透镜(对应于透镜)的3×3个像素的区域相对应的区域。以这种方式，可将颜色滤色器划分为对应于透镜的区域。通过这样的颜色滤色器150，通过将与位于对应于透镜的区域中的相同位置处的像素相对应的数据进行合成而产生的视差图像具有与颜色滤色器150相同的颜色布置。换句话说，在分配给每个透镜的像素数为诸如3×3的奇数×奇数的情况下，颜色滤色器可根据颜色被划分为对应于像素或透镜的区域。
尽管参照实施例和修改例描述了本发明，但本发明并不限于此，而是可以进行各种修改。例如，在上述实施例中，描述了将2×2＝4个像素或3×3＝9个像素分配给一个显微透镜的结构作为实例，但分配给一个显微透镜的像素数量可以为2个或更多个，并不限于4个或9个。只要分配给一个显微透镜的像素数量为2或更多个，就可以产生来自左部和右部的两个视差图像。从而，视差图像可应用于上述立体系统三维显示。然而，在如上述实施例等的情况一样分配给一个显微透镜的像素数量为4个的情况下，视点的数量大于上述2个视点，因此允许提高每个视差图像的角分辨率。另一方面，当分配给一个显微透镜的像素数量为例如3×3个、4×4个...时，提高了视差图像的角分辨率，但减小了视差图像的二维分辨率。因此，优选将分配给一个显微透镜的像素数为2×2的上述实施例等的结构应用于立体系统三维显示。
此外，在上述实施例等中，将图像摄取装置13中的多个像素沿分别相对于水平方向和垂直方向旋转45°的两个方向以二维布置的方式进行设置的结构描述为实例。然而，布置多个像素的方向的旋转角度不限于45°，这是因为只要布置多个像素的方向分别与水平方向和垂直方向形成特定角度，就可以减小水平方向和垂直方向上的像素间距。因此，可获得与本发明的实施例等相同的效果。
此外，在上述实施例等中，将以下结构描述作为实例，其中，作为图像摄取装置13上的颜色滤色器，其包括红色、绿色和蓝色的颜色滤色器元件或者红色、绿色、蓝色和白色的颜色滤色器元件。然而，颜色滤色器不限于此，而是可以使用诸如黄色(Y)、品红(M)和青色(C)的补色的滤色器元件。
此外，在上述实施例等中，将根据从图像摄取装置13获得的图像摄取数据所产生的视差图像应用于立体系统三维显示的情况被描述为实例。然而，在本发明的上述实施例等中获得的视差信息不仅可应用于上述三维显示，而且可应用于其他应用。例如，基于通过上述技术获得的图像摄取数据产生对应于左部、右部、上部和下部的四个视差图像，基于这些视差图像中的两个或更多个执行相关处理，从而可获得关于将测量的对象的距离的信息。
此外，在上述实施例等中，描述了除三原色R、G和B的滤色器元件之外还提供分配给高分辨率像素的白色滤色器元件的结构。然而，滤色器不能布置到对应于高分辨率像素的区域中。另外，滤色器元件的颜色布置不限于上述实施例等中所描述的布置，并且可以根据R、G和B中的哪种颜色被对应于白色滤色器元件的像素数据代替或者对应于由白色滤色器元件代替R、G和B的像素数据的数量等，以各种模式来布置颜色滤色器元件。
本发明包含于2008年11月21日在日本专利局提交的日本在先专利申请JP 2008-298339和于2009年5月8日在日本专利局提交的日本在先专利申请JP 2009-113942的主题，其全部内容结合于此作为参考。
本领域的技术人员应当理解，在所附权利要求或其等同替换的范围之内，可根据设计需要和范围内的其它因素进行各种修改、组合、次组合和改变。

Claims (10)

1.一种图像摄取设备，包括：
图像摄取透镜，具有孔径光阑；
图像摄取装置，包括多个像素，并基于在所述多个像素上接收的光来获得图像摄取数据，沿着分别相对于水平方向和垂直方向旋转特定角度的两个方向以二维布置的方式设置所述多个像素；以及
显微透镜阵列，布置在所述图像摄取透镜与所述图像摄取装置之间，使得一个显微透镜分配有所述图像摄取装置中的2×2个像素。
2.根据权利要求1所述的图像摄取设备，还包括：图像处理部，基于从所述图像摄取装置获得的所述图像摄取数据执行图像处理，
其中，所述图像处理部合成相同位置的像素数据，以产生左右视差图像和上下视差图像，所述相同位置的像素数据从在所述图像摄取装置中分别位于分配给一个显微透镜的四个像素布置中的相同位置处的像素的像素组中提取。
3.根据权利要求1所述的图像摄取设备，其中，
所述多个像素沿着相对于所述水平方向和所述垂直方向旋转45°的两个方向进行二维布置。
4.根据权利要求1所述的图像摄取设备，还包括：颜色滤色器，布置在所述图像摄取装置的光接收面上，所述颜色滤色器根据颜色被划分为每一个均对应于分配给一个显微透镜的四个像素的布置的区域，对应于所述图像摄取装置中像素的二维布置来布置所述颜色滤色器中的颜色区域。
5.根据权利要求4所述的图像摄取设备，其中，
所述颜色滤色器包括：常规布置包括绿色(G)的多种颜色的滤色器元件。
6.根据权利要求5所述的图像摄取设备，其中，
所述颜色滤色器包括红色(R)滤色器元件、绿色滤色器元件和蓝色(B)滤色器元件，并且所述红色滤色器元件、绿色滤色器元件和蓝色滤色器元件的比率(R∶G∶B)为1∶6∶1。
7.根据权利要求5所述的图像摄取设备，其中，
所述颜色滤色器包括红色(R)滤色器元件、绿色滤色器元件和蓝色(B)滤色器元件，并且所述红色滤色器元件、绿色滤色器元件和蓝色滤色器元件的比率(R∶G∶B)为1∶2∶1。
8.根据权利要求5所述的图像摄取设备，其中，
所述颜色滤色器包括红色(R)滤色器元件、绿色滤色器元件、蓝色(B)滤色器元件和白色(W)滤色器元件。
9.一种图像摄取设备，包括：
图像摄取透镜，具有孔径光阑；
图像摄取装置，包括多个像素，并基于在所述多个像素上接收的光来获得图像摄取数据，沿着分别相对于水平方向和垂直方向旋转特定角度的两个方向以二维布置的方式设置所述多个像素；以及
显微透镜阵列，布置在所述图像摄取透镜与所述图像摄取装置之间，使得一个显微透镜分配有图像摄取装置中的2个或更多个像素。
10.根据权利要求9所述的图像摄取设备，其中，
一个显微透镜被分配有所述图像摄取装置中的3×3个像素。
CN2009102228971A 2008-11-21 2009-11-20 图像摄取设备 Expired - Fee Related CN101738840B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008298339 2008-11-21
JP2008-298339 2008-11-21
JP2009113942A JP5472584B2 (ja) 2008-11-21 2009-05-08 撮像装置
JP2009-113942 2009-05-08

Publications (2)

Publication Number Publication Date
CN101738840A true CN101738840A (zh) 2010-06-16
CN101738840B CN101738840B (zh) 2012-10-03

Family

ID=41490351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102228971A Expired - Fee Related CN101738840B (zh) 2008-11-21 2009-11-20 图像摄取设备

Country Status (6)

Country Link
US (1) US8451352B2 (zh)
EP (1) EP2190019B1 (zh)
JP (1) JP5472584B2 (zh)
CN (1) CN101738840B (zh)
AT (1) ATE495550T1 (zh)
DE (1) DE602009000570D1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598682A (zh) * 2010-09-24 2012-07-18 松下电器产业株式会社 三维摄像装置
CN102687514A (zh) * 2010-10-21 2012-09-19 松下电器产业株式会社 三维摄像装置以及图像处理装置
CN103081457A (zh) * 2010-08-24 2013-05-01 富士胶片株式会社 固态成像装置
CN103444184A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像装置的控制程序
CN103444185A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像装置的控制程序
CN103503438A (zh) * 2011-05-24 2014-01-08 索尼公司 固态图像拾取装置和相机系统
CN103636199A (zh) * 2011-04-07 2014-03-12 松下电器产业株式会社 三维摄像装置、图像处理装置、图像处理方法及图像处理程序
CN104041009A (zh) * 2011-12-28 2014-09-10 富士胶片株式会社 摄像元件及摄像装置
CN104205809A (zh) * 2012-03-28 2014-12-10 富士胶片株式会社 固体摄像元件、摄像装置及固体摄像元件的驱动方法
CN109238472A (zh) * 2013-05-17 2019-01-18 松下电器（美国）知识产权公司 热图像传感器以及空气调节机
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头系统
WO2020133193A1 (zh) * 2018-12-28 2020-07-02 合刃科技（深圳）有限公司 Hdr图像成像方法、装置及系统
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP5461343B2 (ja) * 2010-08-24 2014-04-02 富士フイルム株式会社 撮像素子及び撮像装置
US20120147247A1 (en) * 2010-12-14 2012-06-14 Samsung Electronics Co., Ltd. Optical system and imaging apparatus including the same
JP5728928B2 (ja) * 2010-12-17 2015-06-03 株式会社ニコン 受光装置
CN103354997A (zh) 2011-02-18 2013-10-16 索尼公司 图像处理设备和图像处理方法
JP5954964B2 (ja) * 2011-02-18 2016-07-20 キヤノン株式会社 撮像装置およびその制御方法
JP5474258B2 (ja) * 2011-03-11 2014-04-16 富士フイルム株式会社 撮像装置及び撮像プログラム
JP6259492B2 (ja) * 2011-03-24 2018-01-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP6041495B2 (ja) * 2011-03-24 2016-12-07 キヤノン株式会社 撮像装置及び欠陥画素の判定方法
TW201245768A (en) * 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
JP5377797B2 (ja) * 2011-03-31 2013-12-25 富士フイルム株式会社 固体撮像素子及びその駆動方法並びに撮影装置
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
CN102209254B (zh) * 2011-05-30 2012-12-05 四川大学 一种一维集成成像方法和装置
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP5950520B2 (ja) * 2011-09-05 2016-07-13 キヤノン株式会社 光源装置
JP5864990B2 (ja) 2011-10-03 2016-02-17 キヤノン株式会社 固体撮像装置およびカメラ
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
US9979950B2 (en) 2011-12-21 2018-05-22 Sharp Kabushiki Kaisha Imaging device and electronic information instrument
CN104025579B (zh) * 2011-12-27 2016-05-04 富士胶片株式会社 固体摄像装置
CN104041020B (zh) 2011-12-27 2015-11-25 富士胶片株式会社 彩色摄像元件
KR20140113923A (ko) 2012-01-16 2014-09-25 소니 주식회사 고체 촬상 소자 및 카메라 시스템
JP5906464B2 (ja) 2012-02-02 2016-04-20 パナソニックＩｐマネジメント株式会社 撮像装置
JP5932626B2 (ja) * 2012-03-16 2016-06-08 本田技研工業株式会社 ３次元空間の粒子画像流速測定装置
KR20130112541A (ko) * 2012-04-04 2013-10-14 삼성전자주식회사 플레놉틱 카메라 장치
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
DE112013003422B4 (de) 2012-07-06 2017-09-07 Fujifilm Corporation Farbbildaufnahmeelement und Bildaufnahmevorrichtung
JP6071333B2 (ja) * 2012-08-27 2017-02-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
JP6222908B2 (ja) * 2012-09-11 2017-11-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
JP6231741B2 (ja) 2012-12-10 2017-11-15 キヤノン株式会社 固体撮像装置およびその製造方法
KR20140094395A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
DE112014000874T5 (de) 2013-02-18 2015-11-26 Sony Corporation Elektronische Vorrichtung, Verfahren zum Erzeugen eines Bildes und Filteranordnung
JP6137941B2 (ja) * 2013-05-23 2017-05-31 キヤノン株式会社 画像処理システム、画像処理方法およびプログラム、並びに撮像装置
CN108718376B (zh) * 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
EP2871830A1 (en) * 2013-11-08 2015-05-13 Thomson Licensing Optical assembly for plenoptic camera
US20150185308A1 (en) * 2014-01-02 2015-07-02 Katsuhiro Wada Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program
JP2015207815A (ja) * 2014-04-17 2015-11-19 キヤノン株式会社 撮像素子および撮像素子を備えた撮像装置
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置
JP6579859B2 (ja) * 2015-08-11 2019-09-25 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
JP6746301B2 (ja) 2015-11-30 2020-08-26 キヤノン株式会社 撮像装置の駆動方法、撮像装置、撮像システム
JP6526115B2 (ja) * 2017-07-13 2019-06-05 キヤノン株式会社 固体撮像装置
JP2019096988A (ja) * 2017-11-21 2019-06-20 日本放送協会 撮像デバイス、撮像装置、画像処理方法、およびプログラム
JP2021179491A (ja) * 2020-05-12 2021-11-18 セイコーエプソン株式会社 電気光学装置および電子機器
US11665330B2 (en) 2021-01-27 2023-05-30 Dell Products L.P. Dynamic-baseline imaging array with real-time spatial data capture and fusion
KR20220127003A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5076687A (en) * 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
US20080079748A1 (en) * 1997-09-13 2008-04-03 Phan Gia C Image sensor and image data processing system
NO305728B1 (no) 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
JPH11168688A (ja) * 1997-12-02 1999-06-22 Fuji Photo Film Co Ltd ディジタルカメラ装置ならびにその記録および／または再生処理方法
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US7834927B2 (en) * 2001-08-22 2010-11-16 Florida Atlantic University Apparatus and method for producing video signals
US7593597B2 (en) * 2003-08-06 2009-09-22 Eastman Kodak Company Alignment of lens array images using autocorrelation
US7405761B2 (en) * 2003-10-01 2008-07-29 Tessera North America, Inc. Thin camera having sub-pixel resolution
JP4322921B2 (ja) * 2004-09-27 2009-09-02 パナソニック株式会社 カメラモジュールおよびそれを備えた電子機器
CN100546345C (zh) * 2004-09-27 2009-09-30 松下电器产业株式会社 摄像机模组以及具有其的电子设备
CN100556076C (zh) * 2004-10-01 2009-10-28 利兰·斯坦福青年大学托管委员会 成像装置及其方法
JP4752031B2 (ja) 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
JP2006211631A (ja) * 2004-12-27 2006-08-10 Sony Corp 固体撮像装置および撮像装置
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
WO2007013250A1 (ja) * 2005-07-26 2007-02-01 Matsushita Electric Industrial Co., Ltd. 複眼方式の撮像装置
JP2007065330A (ja) * 2005-08-31 2007-03-15 Canon Inc カメラ
WO2007044725A2 (en) * 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP4915126B2 (ja) * 2006-04-10 2012-04-11 株式会社ニコン 固体撮像装置、および電子カメラ
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP5066851B2 (ja) * 2006-07-05 2012-11-07 株式会社ニコン 撮像装置
JP4826507B2 (ja) * 2007-02-27 2011-11-30 株式会社ニコン 焦点検出装置および撮像装置
JP5380782B2 (ja) * 2007-03-26 2014-01-08 株式会社ニコン 撮像装置
JP4715811B2 (ja) 2007-05-30 2011-07-06 パナソニック電工株式会社 加熱装置付きミスト発生装置
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
JP2009113942A (ja) 2007-11-07 2009-05-28 Hokusho Co Ltd 垂直搬送機
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP5272565B2 (ja) * 2008-08-05 2013-08-28 株式会社ニコン 焦点検出装置および撮像装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081457A (zh) * 2010-08-24 2013-05-01 富士胶片株式会社 固态成像装置
CN103081457B (zh) * 2010-08-24 2016-04-13 富士胶片株式会社 固态成像装置
CN102598682B (zh) * 2010-09-24 2015-06-03 松下电器产业株式会社 三维摄像装置
CN102598682A (zh) * 2010-09-24 2012-07-18 松下电器产业株式会社 三维摄像装置
CN102687514A (zh) * 2010-10-21 2012-09-19 松下电器产业株式会社 三维摄像装置以及图像处理装置
CN102687514B (zh) * 2010-10-21 2015-08-12 松下电器产业株式会社 三维摄像装置以及图像处理装置
CN103444184A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像装置的控制程序
CN103444185A (zh) * 2011-03-24 2013-12-11 富士胶片株式会社 彩色摄像元件、摄像装置及摄像装置的控制程序
CN103444184B (zh) * 2011-03-24 2014-10-29 富士胶片株式会社 彩色摄像元件及摄像装置
CN103444185B (zh) * 2011-03-24 2014-10-29 富士胶片株式会社 彩色摄像元件及摄像装置
CN103636199A (zh) * 2011-04-07 2014-03-12 松下电器产业株式会社 三维摄像装置、图像处理装置、图像处理方法及图像处理程序
US9628776B2 (en) 2011-04-07 2017-04-18 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional imaging device, image processing device, image processing method, and image processing program
CN103636199B (zh) * 2011-04-07 2015-12-23 松下电器产业株式会社 三维摄像装置、图像处理装置、图像处理方法
CN103503438A (zh) * 2011-05-24 2014-01-08 索尼公司 固态图像拾取装置和相机系统
CN104041009B (zh) * 2011-12-28 2016-02-03 富士胶片株式会社 摄像元件及摄像装置
CN104041009A (zh) * 2011-12-28 2014-09-10 富士胶片株式会社 摄像元件及摄像装置
CN104205809A (zh) * 2012-03-28 2014-12-10 富士胶片株式会社 固体摄像元件、摄像装置及固体摄像元件的驱动方法
CN104205809B (zh) * 2012-03-28 2016-06-15 富士胶片株式会社 固体摄像元件、摄像装置及固体摄像元件的驱动方法
CN109238472A (zh) * 2013-05-17 2019-01-18 松下电器（美国）知识产权公司 热图像传感器以及空气调节机
CN109238472B (zh) * 2013-05-17 2020-05-26 松下电器（美国）知识产权公司 热图像传感器以及空气调节机
CN110235441A (zh) * 2017-03-24 2019-09-13 华为技术有限公司 用于低照度的多摄像头系统
CN110235441B (zh) * 2017-03-24 2021-01-15 华为技术有限公司 用于低照度的多摄像头系统
WO2020133193A1 (zh) * 2018-12-28 2020-07-02 合刃科技（深圳）有限公司 Hdr图像成像方法、装置及系统
WO2022127556A1 (zh) * 2020-12-18 2022-06-23 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Also Published As

Publication number Publication date
EP2190019B1 (en) 2011-01-12
JP5472584B2 (ja) 2014-04-16
EP2190019A1 (en) 2010-05-26
ATE495550T1 (de) 2011-01-15
DE602009000570D1 (de) 2011-02-24
CN101738840B (zh) 2012-10-03
US8451352B2 (en) 2013-05-28
US20100128152A1 (en) 2010-05-27
JP2010154493A (ja) 2010-07-08

Similar Documents

Publication Publication Date Title
CN101738840B (zh) 图像摄取设备
US8456565B2 (en) Imaging device
US8514319B2 (en) Solid-state image pickup element and image pickup apparatus
CN101800854B (zh) 图像拾取装置
US8102459B2 (en) Image pickup apparatus
US20100045844A1 (en) Image pickup apparatus, display and image processing apparatus
EP2160018B1 (en) Image pickup apparatus
CN104041009B (zh) 摄像元件及摄像装置
JP5227368B2 (ja) ３次元撮像装置
JP5923754B2 (ja) ３次元撮像装置
CN105872525A (zh) 图像处理装置和图像处理方法
JP5621059B2 (ja) カラー撮像素子及び撮像装置
WO2020177407A1 (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
WO2012001853A1 (ja) ３次元撮像装置および光透過板
US20140307060A1 (en) Image sensor
WO2013047141A1 (ja) 撮像素子及び撮像装置
JP6234024B2 (ja) 撮像素子、及び撮像装置
JP6086681B2 (ja) 撮像素子、及び撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121003

Termination date: 20151120

EXPY Termination of patent right or utility model