CN118688929A - 具有两个或更多个焦平面的图像传感器、相机和成像系统 - Google Patents
具有两个或更多个焦平面的图像传感器、相机和成像系统 Download PDFInfo
- Publication number
- CN118688929A CN118688929A CN202410295990.XA CN202410295990A CN118688929A CN 118688929 A CN118688929 A CN 118688929A CN 202410295990 A CN202410295990 A CN 202410295990A CN 118688929 A CN118688929 A CN 118688929A
- Authority
- CN
- China
- Prior art keywords
- light
- optical plate
- image sensor
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 121
- 230000003287 optical effect Effects 0.000 claims abstract description 205
- 239000010410 layer Substances 0.000 claims description 124
- 239000011241 protective layer Substances 0.000 claims description 49
- 239000000463 material Substances 0.000 claims description 24
- 239000003292 glue Substances 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 239000011521 glass Substances 0.000 description 7
- 239000002356 single layer Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
- G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
- G02B7/305—Systems for automatic generation of focusing signals using parallactic triangle with a base line using a scanner
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/806—Optical elements or arrangements associated with the image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开一个方面涉及具有两个或更多个焦平面的图像传感器、相机和成像系统。图像传感器用于与被布置为将光聚焦到所述图像传感器(331;531)的图像感测区域上的透镜一起使用。相机包括图像传感器和所述透镜。用于基于光三角测量对物体进行三维成像的成像系统包括相机。图像传感器包括光学板,其被布置为通过具有不同折射属性的至少两个光学板部分覆盖图像感测区域,使得从所述透镜入射并且被所述光学板部分向图像感测区域折射且折射到图像感测区域上的光将行进不同的距离以聚焦在图像感测区域上,所述不同的距离取决于光被所述光学板部分中的哪个部分折射。因此,被所述至少两个光学板部分覆盖的图像感测区域部分与不同的焦平面相关联。
Description
技术领域
本文的实施例涉及与透镜一起使用的图像传感器、包括图像传感器和透镜的相机、以及包括相机并且被配置用于基于光三角测量的三维成像的成像系统。更特别地,本文的实施例涉及与图像传感器和透镜、相机以及成像系统相关联的焦平面。
背景技术
用于工厂和物流自动化的工业视觉相机和系统可以基于三维(3D)机器视觉,其中捕获场景和/或物体的3D图像。3D图像是指还包括“高度”或“深度”信息而不只包括或至少不只包括关于如常规图像中的仅二维(2D)像素的信息(诸如强度和/或颜色)的图像。即,图像的每个像素可以包括与像素的并且映射到已被成像的位置(例如,物体上的位置)的位置相关联的信息。然后可以应用处理以从3D图像中提取关于物体的特性的信息,从而提供关于物体的并且可以被转换成各种3D图像格式的3D信息。具有关于“高度”或“深度”的信息的数据可以被称为范围数据,其中范围数据因此可以与来自被成像的物体的高度测量的数据对应,或者换句话说与来自物体的范围或距离测量的数据对应。替代地或附加地,像素可以包括关于例如材料属性的信息,诸如与在成像区域中的光的散射或特定波长的光的反射相关的信息。
因此,像素值可以与像素的强度和/或范围数据和/或材料属性相关。
当图像的图像数据例如由具有被配置为一次一行像素地感测并提供图像数据的传感器的相机一次一行地扫描或提供时,产生行扫描图像数据。行扫描图像的一种特殊情况是由所谓的“光片(sheet of light)”(诸如激光线、3D三角测量)提供的图像数据。激光器通常是首选,但也可以使用能够提供“光片”(即光平面)的其它光源,例如能够提供不会扩散太多的光,或者换句话说,“结构化”光(例如由激光器或发光二极管(LED)提供的光)的光源。
3D机器视觉系统通常基于光三角测量。在这样的系统中,存在以特定光图案照亮物体的光源,诸如作为特定光图案的光片,在物体上产生光或激光的线,并且沿着该线可以捕获与物体的轮廓对应的物体的3D特性。通过用这样的线扫描物体,即执行线扫描,涉及线和/或物体的移动,可以捕获与多个轮廓对应的整个物体的3D特性,并且可以形成物体的3D图像。
使用光平面进行三角测量的3D机器视觉系统或设备可以被称为用于基于光、或者光平面、三角测量或简单地在使用激光时的激光三角测量的3D成像的系统或设备。
通常,为了基于光三角测量产生3D图像,来自要成像的物体的反射光被相机的图像传感器捕获,并且在图像数据中检测到强度峰。峰出现在被成像物体上与从物体反射入射光(例如,与激光线对应)的地点对应的位置处。检测到的峰在图像中的位置将映射到物体上反射产生峰的光的位置。
因此,光三角测量相机系统,即,基于光三角测量的成像系统,通常将光线投射到物体上以从物体表面创建高度轮廓。通过相对于所涉及的相机和光源移动物体,可以通过图像捕获关于来自物体的不同部分的高度轮廓的信息,然后将其与系统的相关几何结构的知识组合并使用,以产生物体的三维表示,即提供3D图像数据。这种技术可以被描述为当光线投射到物体上并被物体反射到相机时抓取光线的图像,然后从图像中提取反射激光线的位置。这通常通过例如使用常规峰寻找算法识别图像帧中强度峰的位置来实现。通常,但不是必需的,成像系统被设置为使得与反射光相关的强度峰应该按传感器的列出现和被预期,并且列内的位置映射到高度或深度。
基于如上所述的光三角测量的用于3D成像的成像系统通常被配置为具有与光平面对齐的焦平面,因为正是在该平面内,来自物体的反射将在光平面中的不同“高度”处发生。通常对于这样的相机,图像传感器的图像平面垂直于透镜的光轴,并且焦平面将平行于图像平面。这将需要相机面向光平面,使得图像平面和焦平面也与光平面平行。但是,对于光三角测量的目的,期望将相机和视线布置为相对于光平面成一定角度。因此,所谓的Scheimpflug(沙姆)原理通常用于光三角测量系统,以使得能够将焦平面与光平面对齐。因此,在这样的系统中,相机中的图像传感器的图像平面和相机的透镜根据Scheimpflug原理与相机如何定位和观看光平面相关地进行配置,使得焦平面将与光平面对齐。对于常规的光三角测量应用,这工作良好,并且在物体扫描期间光平面中发生的所有反射都可以聚焦在图像传感器上。
发明内容
鉴于上述内容,目的是对现有技术提供一个或多个改进或替代,诸如提供关于成像系统的相机的聚焦的改进,特别是对于基于光三角测量的3D成像。
根据本文实施例的第一方面,该目的通过与透镜一起使用的图像传感器来实现。透镜被布置为将光聚焦到所述图像传感器的图像感测区域上。所述图像传感器包括光学板,该光学板与光学窗口或光学滤光器对应,被布置为通过至少两个光学板部分覆盖图像感测区域。光学板部分具有不同的折射属性,使得从所述透镜入射并且被所述光学板部分向图像感测区域折射并且折射到图像感测区域上的光将行进不同的距离以聚焦在图像感测区域上,不同的距离取决于光被所述光学板部分中的哪个光学板部分折射。因此,被所述至少两个光学板部分覆盖的图像感测区域部分与不同的焦平面相关联。
根据本文实施例的第二方面,该目的通过包括根据第一方面的图像传感器的相机来实现。该相机还包括所述透镜。在相机的一些实施例中,单独的光学板层堆叠在透明保护层上,其中具有使各层分开的空隙以避免所述层彼此直接物理接触。在这些实施例中,单独的光学板层可以是相机的单独透镜部分或单元的一部分,其包括透镜并且可释放地(和/或被配置为可释放地)安装到相机的外壳部分,并且该外壳部分包括图像感测区域。
根据本文实施例的第三方面,该目的通过一种用于基于光三角测量对物体进行三维成像的成像系统来实现,该成像系统包括根据第二方面的相机。该成像系统可以包括第一光源,用于作为所述光三角测量的一部分提供以第一光平面形式照亮所述物体的第一光。具有图像传感器的相机可以布置在成像系统中,用于作为所述光三角测量的一部分捕获从物体反射的第一光。成像系统还可以被配置为使得所述至少两个焦平面中的至少第一焦平面与所述第一光平面处于相同位置。
由于本文的实施例提供的附加的一个或多个焦平面,在相机视场内的不同深度处的物体的不同部分可以在同一图像中同时聚焦。这可以例如用在基于光三角测量的所述成像系统中,其中附加焦点可以用于在与常规光三角测量成像同时执行物体的其它部分的聚焦成像。附加的聚焦成像可以涉及捕获物体的聚焦2D数据,或者执行来自物体的图像数据的又一光三角测量捕获,例如以能够执行物体的更快的总扫描和/或能够检测物体相同位置的扫描之间可能发生的意外移动,从而能够避免扫描物体的不正确3D表示。
此外,本文的实施例允许简单的实施方式,例如使用现有的图像传感器。
附图说明
本文参考所附示意图更详细地描述了实施例的示例,在下文中对附图进行简要描述。
图1示意性地图示了本文的一些实施例可以基于的现有技术成像系统的示例。
图2A示意性地图示了本文的实施例可以基于的简化现有技术成像系统的简化示例。
图2B示意性地图示了本文的一些实施例可以基于的现有技术图像传感器的横截面。
图2C示意性地图示了图2B中的现有技术图像传感器的俯视图,其中标出了横截面。
图3A示意性地图示了根据本文的一些实施例的第一示例性图像传感器的横截面。
图3B示意性地图示了图3A中的图像传感器的俯视图,其中标出了横截面。
图3C示意性地图示了根据本文的一些实施例的并且包括具有图3A-B中的图像传感器的相机的成像系统的简化的第一示例。
图3D示意性地图示了两个焦平面如何可以与图3A-B中的图像传感器和例如作为相机的一部分的透镜相关的简化示例。
图3E示意性地图示了光线如何受到较厚的光学板部分与较薄的光学板部分的影响。
图4A示意性地图示了具有根据本文的一些实施例的相机的成像系统设置,以用于对具有点图案化表面的物体进行成像。
图4B示意性地图示了图4A中所示的物体的正视图,其中点图案化表面是可见的。
图4C示出了由如图4A-B中所示的对应真实成像系统、相机和物体拍摄的实际图像。
图5A示意性地图示了根据本文的一些实施例的第二示例性图像传感器的横截面。
图5B示意性地图示了图3A中的图像传感器的俯视图,其中标出了横截面。
图5C示意性地图示了根据本文的一些实施例的具有相机外壳部分和相机透镜部分的相机系统,当相机外壳部分和相机透镜部分彼此附接时形成具有图像传感器的相机。
图6A-6D示意性地图示了根据本文的实施例的关于如何为图像传感器实现具有不同折射属性的光学板部分的替代方案的不同示例。
图7A-B示意性地图示了根据本文的一些实施例的成像系统的简化的第二和第三示例。
具体实施方式
本文的实施例是示例性实施例。应当注意的是,这些实施例不必相互排斥。可以默认地假定来自一个实施例的组件存在于另一个实施例中,并且对于本领域技术人员而言,那些组件可以如何用于其它示例性实施例中是显而易见的。
在详细描述不同实施例之前,将进一步详细阐述背景技术中指示的情况并呈现本文实施例背后的主要原理。
对于常规的光三角测量应用,如背景技术中提到的并且基于Scheimpflug原理的,与光平面对齐的单个焦平面工作良好,并且在物体扫描期间光平面中发生的所有反射都可以聚焦在传感器上。但是,已经识别了期望增强成像能力并且能够附加地在光平面之外也获得焦点的情况和潜在应用,例如为了从正在被3D成像的物体的表面捕获聚焦的2D信息,诸如颜色。已发现在常规系统中难以为光三角测量和单独的2D图像数据都创建良好的焦点。光三角测量设置通常使用Scheimpflug原理仅在光平面周围具有最大焦点,并且通常期望使用大光圈开口以允许更多的光到达图像传感器,从而缩小焦深。
仍然能够在光平面之外获得焦点的解决方案可能涉及另外的相机和/或透镜,但这会增加复杂性。附加的相机还需要从另一个角度进行成像,以及单独的图像,来对同一事物进行成像,这在一些情况下可能是不期望的。
替代地,本文的实施例所基于的解决方案是创建另外一个或多个存在的并且可以由相同相机和图像传感器同时使用的焦平面。根据本文的实施例,这是借助于布置在图像传感器的透镜和图像感测区域之间(例如,在图像感测区域上)的光学板来实现的,并且该光学板具有至少两个具有不同折射属性的部分,使得从所述透镜入射并且被所述光学板部分向图像感测区域折射并且折射到图像感测区域上的光将行进不同的距离以聚焦在图像感测区域上。因此,被所述至少两个光学板部分覆盖的图像感测区域部分分别与不同的焦平面相关联。不同的折射属性可以由光学板部分的不同厚度和/或由制成光学板部分的材料的不同折射率引起。基于此的实施例允许使用现有图像传感器(诸如以图像传感器芯片的形式)的简单的实施方式。图像传感器通常具有透明保护层(通常为玻璃),布置在其图像感测区域(因此光敏区域)的顶部,以保护光敏像素元件和电子器件。基于常规图像传感器的本文实施例的简单实施方式的示例是在保护层的顶部添加另外单独的光学板层,其中组合层形成所述光学板部分之一,而所述光学板部分中的另一个将与保护层的未被单独的光学板层覆盖的部分对应。在了解透镜、图像感测区域相对于透镜如何布置,以及例如了解没有单独光学板层的第一焦平面位于何处的情况下,可以通过常规测试和实验计算和/或找出,单独光学板层的合适材料和/或厚度,以在相对于具有图像传感器的相机的距第一焦平面更远的期望距离处实现另外的焦平面。首选可以使用与保护层相同材料的另外的光学板层,例如具有相同折射率的玻璃,并且使用另外的光学板层的厚度来控制另外的焦平面将位于何处。
如从背景技术可以清楚看出,由于本文的实施例的应用领域在于和使用用于基于光三角测量的3D成像的成像系统,因此在光三角测量上下文中进一步详细描述本文的实施例之前,将详细描述和解释这样的系统和现有技术情况。当与用于基于光三角测量的3D成像的成像系统一起使用时,这也将促进理解本文的实施例的益处。因此:
图1示意性地图示了用于基于如现有技术已知的光三角测量的3D成像的成像系统105的示例,并且将用于解释这样的系统所基于的基本原理。成像系统105可以替代地例如被命名为用于3D机器视觉的基于用于捕获关于目标物体的3D特性的信息的光三角测量的成像系统。图中所示的成像系统105处于正常操作的情况,即,通常在已经执行校准并且因此对系统进行校准之后。系统105被配置为执行光三角测量,这里是以光片三角测量的形式,即,使用光平面的光三角测量。成像系统105还包括光源110,诸如激光器,用于以特定的光图案照亮要成像的物体,在图中例示并图示为光平面111。光可以但不必是激光。相机通常被配置和定位成使得其基于Scheimpflug原理具有与光平面111处于相同位置,换句话说,与光平面111对齐,的焦平面,使得在光平面中发生的物体反射将聚焦在图像传感器中。在所示的示例中,目标物体例示为汽车形式的第一物体120和齿轮构造形式的第二物体121。被成像的物体可以被称为测量物体。当特定光图案111入射在物体上时,这与特定光图案111在物体上的投影对应,这在特定光图案111与物体相交时可以被观察到。例如,在所示的示例中,例示为光平面的特定光图案111在第一测量物体120上产生光线112。特定光图案111被物体反射,更具体而言,在相交处(即,在所示示例中的光线112处)被物体的部分反射。成像系统105还包括相机130,相机130包括图像传感器(图1中未示出)。相机和图像传感器相对于光源110和要成像的物体布置,使得特定光图案在被物体反射时变成图像传感器上的入射光。图像传感器是通常实现为芯片的装置,用于将入射光转换成图像数据。物体的通过反射在图像传感器上引起所述入射光的所述部分可以由此被相机130和图像传感器捕获,并且可以产生并提供对应的图像数据以供进一步使用。例如,在所示的示例中,特定光图案111将在第一物体120的车顶的一部分上的光线112处被朝向相机130和图像传感器反射,从而可以产生并提供具有关于车顶的所述部分的信息的图像数据。根据光三角测量原理,使用测量系统105的几何结构知识,例如图像传感器坐标如何与世界坐标(诸如与被成像的物体及其上下文相关的坐标系统123的坐标(诸如笛卡尔坐标))相关,图像数据可以被转换成关于以合适的格式成像的物体的3D特性(例如以3D形状或轮廓的形式)的信息。关于所述3D特性的信息可以包括以任何合适的格式描述3D特性的数据。
通过移动光源110和/或要成像的物体,诸如第一物体120或第二物体121,使得物体的多个部分被照亮并且在图像传感器上引起反射光,实际上,通常通过扫描物体,可以产生描述相应物体的更完整3D形状的图像数据,例如与相应物体的多个、连续的轮廓对应,诸如所示出的第一物体120的轮廓图像140-1-140-N,其中每个轮廓图像示出了当相机单元130的图像传感器感测到产生轮廓图像的光时反射特定光图案111的情况下第一物体120的外形。如图中所指示的,可以使用传送带122或类似物移动物体通过特定光图案112,其中光源110和相机单元130通常是国定的,或者可以使特定光图案111和/或相机130在物体上方移动,使得物体的所有部分,或者至少面向光源110的所有部分被照亮,并且相机接收从期望成像的物体的所有部分反射的光。
由上可知,由例如对第一物体120进行成像的相机130及其图像传感器提供的图像帧可以与轮廓图像140-1-140-N中的任何一个对应。在轮廓图像140-1-140-N中的任何一个中所示的第一物体的外形的每个位置通常基于识别由图像传感器捕获的图像数据中的强度峰和找到这些强度峰的位置来确定。成像系统100和常规峰寻找算法通常被配置为在每个图像帧中搜索每个像素列的强度峰。如果传感器坐标为u,v,并且例如,如图中所指示,u与图像传感器中沿着行的像素位置对应,并且v与沿着列的像素位置对应,那么对于图像帧的每个位置u,搜索沿着v的峰位置,并且图像帧中识别出的峰可以产生如图中所示的一个这样“干净”轮廓图像,并且图像帧和轮廓图像的总和可以用于创建第一物体120的3D图像。
图2A示意性地图示了本文的实施例可以基于的现有技术成像系统205的简化示例。所示的系统可以与成像系统105对应,但是以更加示意性和简单的视图示出。图中所示的细节是为了促进理解并用于随后与下面进一步呈现的本文的实施例进行比较。所示的成像系统205可以被认为与基本配置对应并且包括:第一光源210,用于用第一光211(通常是激光)照亮物体220,作为用于物体220的3D成像的光三角测量的一部分。第一光211以光平面的形式提供。物体可以被命名为目标或测量物体。具有图像传感器231的相机230被布置用于感测来自物体220的反射的第一光,作为用于3D成像的所述光三角测量的一部分,即,被相对于彼此配置和定位以用于光三角测量。这通常涉及将第一光源210和相机230布置在预定的固定位置处并且彼此具有已知的关系以进行光三角测量。相机220具有至少部分地(特别是其物体220和系统被配置为成像的其它物体可以与光平面相交的一部分)覆盖光平面的视场。
在示例中,成像系统205基于Scheimpflug原理设置和配置,使得焦平面251与对应于第一光211的光平面处于相同位置,因此与其对齐,如上面所提到的,现有技术的基于光三角测量的成像系统通常都是这种情况。
可以用作本文实施例中的第一光的结构化光的另一个示例,作为激光或激光平面的替代,并且不是通常可以被称为光平面而是与具有类似效果的光相对应的是光边缘,即具有照明的区域的边缘。
物体220因此被照亮,并且图像可以如在常规的光三角测量中那样被捕获,这可以涉及第一光源210和/或测量物体220相对于彼此的移动,使得在不同的连续时刻,物体220的不同连续部分被第一光源210和第一光211照亮,并且反射光被相机230和图像传感器231感测。相机230可以是现有技术的相机并且图像传感器231可以是现有技术的图像传感器231。
由相机230和图像传感器231提供的图像帧和/或从图像帧导出的信息可以被传送(诸如发送)到诸如计算设备(未示出),例如计算机或类似物,以供在相机230外部进一步处理。这样的进一步处理可以附加地或替代地由单独的计算单元或设备(未示出)执行,即,与图像处理器231分开,但仍然包括在相机230或者包括相机230的单元中(诸如与其集成)。计算设备(未示出)可以被配置为控制参与光三角测量和/或参与其它动作的设备。
如上面所提到的,成像系统205至少在光三角测量方面可以与图1中的系统105对应,即,在光源、相机、图像传感器、它们如何相对于彼此和相对于测量物体定位、以及系统如何被配置以移动和成像(一个或多个)测量物体等方面。因此,相机230和第一光源210可以相对于彼此固定,并且系统被配置为相对于它们移动物体220。通过图像传感器231的所述感测,相应的图像帧与图像帧被感测(即,被捕获)时的相应时刻相关联,并且与图像传感器231在相应时刻感测到从其反射的第一光211的测量物体220的相应部分相关联。
物体220被示出为位于相机230的视场内。第一光源210被配置为用第一光211照亮测量物体220,因此它被物体220反射并且反射的第一光被相机230和图像传感器231捕获作为所述光三角测量的一部分。
图2B示意性地图示了横截面C-C中的图像传感器231。因此,图像传感器231可以是现有技术图像传感器,并且至少本文中的一些实施例(如下所述)是基于这样的具有一些附加的现有技术图像传感器。
图2C示意性地图示了图像传感器231的俯视图,其中标出了横截面C-C。
例如以图像传感器芯片的形式的图像传感器231具有图像感测区域233,图像感测区域233是具有光敏像素元件的图像感测部分235的一部分。图像感测部分235形成和/或布置在支撑结构232(例如,图像传感器基板)上或其中。图像感测部分235的图像感测区域233被通常为玻璃的透明保护层236覆盖,以防止损坏图像感测区域233和图像感测部分235,同时仍允许感测光和图像。虽然该图中未示出,但是在透明保护层234和图像感测区域233之间通常存在小空隙,即空的间隙。如图2B的俯视图中能看到的,保护层234可以在图像感测部分235的图像感测部分233之外延伸一些边际(诸如在它也可以附加到的支撑结构233的上方和/或由该支撑结构233支撑)。
图3A在与图2B中的现有技术图像传感器231对应的横截面C-C中示意性地图示了根据本文的一些实施例的第一示例性图像传感器331,以促进差异的比较和识别。
图3B示意性地图示了图3A中的图像传感器331的俯视图,其中标出了横截面C-C。
图3C示意性地图示了根据本文的一些实施例的成像系统305的简化的第一示例,并且该成像系统305包括具有图像传感器331的相机330和用于使用第一光311(通常是激光)照亮物体320的第一光源310,作为用于物体320的3D成像的光三角测量的一部分。第一光311以光平面的形式提供。相机330和图像传感器331被布置用于作为所述光三角测量的一部分感测从物体320反射的第一光。成像系统305基于Scheimpflug原理被设置和配置,使得第一焦平面351-1与对应于第一光311的光平面处于相同位置,因此与光平面对齐。
下面将关注与图2A-C中的图像传感器231和成像系统205比较的差异,即关于图3A-C中的新内容。因此,在图2A-C和图3A-C两者中所示的对应部分可以是相同的。
如已经提到的,本文的实施例可以基于根据现有技术的现有图像传感器来形成,例如通过在这样的现有图像传感器的图像感测区域顶部添加或替换(一个或多个)层。
图像传感器331与图像传感器231之间的主要结构差异在于增加了堆叠在透明保护层336上的单独光学板层338。除了单独光学板层338、透明保护层336,图像传感器331还包括具有图像感测区域333的图像感测部分335以及支撑结构332。因此,除了单独光学板层338之外,如图所示的图像传感器331的其余部分可以如图2B-C中的它们的对应部分(即,图像传感器331)一样,以及因此根据本文的实施例的图像传感器,可以通过对现有技术(诸如常规的图像传感器)通过添加至少部分地覆盖图像感测区域的并且可以布置在覆盖图像感测区域的现有的透明保护层上的单独光学板层338进行修改而形成。下面将讨论和公开关于本文的各种实施例的细节以及进一步的解释。
单独光学板层338可以简单地是与透明保护层336相同材料(诸如玻璃)的附加层。优选的是,用光学胶将单独光学板层338附接到透明保护层336,该光学胶应具有与单独光学板层338和/或透明保护层336相同的折射率。相同的折射率意味着较少的不同折射会出现且需要考虑。从而,聚焦其厚度来设计单独光学板层338就足够实现期望的结果,即,在没有单独光学板层338的情况下提供的焦平面的期望的偏移距离处形成另外的焦平面。这将在下面进一步解释。如本文所使用的,光学胶是指至少在其被施加并硬化之后是透明的并且具有如玻璃那样的光学属性的胶。
光学板层338和透明保护层336仅物理接触(例如通过仅将它们夹在一起)而不使用光学胶,通常会导致不期望的且对于成像有害的光学干涉图案。光学胶的替代方案是将它们布置为在它们之间具有小空隙,即在各层之间的空的间隙或空隙,以用于避免物理接触,换句话说,与透明保护层336和图像感测区域333之间的典型情况类似的间隙。具有这样的间隙以及任何可能是合适间隙的解决方案将在下面进一步讨论和例示。
单独光学板层338导致不再仅由厚度为t1 339-1的保护层336覆盖图像感测区域333,而是现在由单独光学板层338和保护层336两者覆盖图像感测区域333,光学板层338和保护层336一起形成光学板337。存在覆盖图像感测部分335的图像感测区域333的两个具有不同层厚度的区域或部分,与第一光学板部分334-1和第二光学板部分334-2对应。第一光学板部分334-1在此与图像感测区域333的未被单独光学板层338覆盖且因此仅被透明保护层336覆盖的一部分对应。入射到所述第一部分上的光被透明保护层336折射,并行进通过透明保护层336的称为t1 339-1的厚度到达图像感测部分335的图像感测区域333。在所示的示例中,第二光学板部分334-2与图像感测区域333的被单独光学板层338覆盖并且因此被该层和透明保护层336两者覆盖的一部分对应。入射到第二部分上的光在到达图像感测部分335的图像感测区域333之前被厚度称为t2 339-2的层折射并行进通过该层,该厚度与单独光学板层338和透明保护层336两者的厚度对应。
注意的是,在图3B中,图像感测区域333和光学板部分334-1、334-2被绘制成具有一些偏移并且相对于彼此的比例略有不同。这样做只是为了能够在视觉上将图中的区域和部分彼此分开。
即使单独光学板层338与透明保护层336的材料相同,如上面所提到的,t1 339-1和t2 339-2之间的厚度差异也意味着两个光学板部分334-1、334-2将具有不同的折射属性,即,取决于光被哪个光学板部分折射和穿过哪个光学板部分,相同的光将以不同的方式折射到图像感测区域333上。更具体而言,因为入射光的频率和波长也影响光的折射方式,所以即使具有相同频率(或波长)且入射到相应光学板部分上的角度相同的入射光也会稍微不同地向图像感测区域383折射且折射到图像感测区域383上。但是,如应当认识到的,对于本文的实施例来说,由于光的不同频率而导致的折射差异在大多数实际操作环境下可以被认为是可忽略的。仍然提及该效果,因为它是事实情况。具有不同入射角度的光线的不同频率的光被不同地折射当然不是新颖的,并且这种效果也存在于现有技术的成像系统(例如成像系统205)中。
如本领域技术人员应当认识到,入射在图像感测区域333上的光来自相机(诸如相机230或330)的透镜,但是这样的透镜在图2、3中未示出。光被所述光学板部分折射的方式的差异表现为焦点的“偏移”。换句话说,取决于光被哪个光学板部分折射和穿过哪个光学板部分,光将行进不同的距离以聚焦在图像感测区域333上。这在下面结合图3D-E进一步解释。因此,被所述至少两个光学板部分覆盖的图像感测区域部分分别变成与不同的焦平面相关联。即,在所示的示例中,将有两个焦平面:
第一焦平面351-1,与第一光学板部分334-1和光感测区域333的被第一光学板部分334-1覆盖的部分相关联,以及
第二焦平面351-2,与第二光学板部分334-2和光感测区域333的被第二光学板部分334-2覆盖的部分相关联。
当然,第一焦平面351-1与没有单独光学板层338的情况相同。如果成像系统205和305之间仅单独光学板层338不同,那么第一焦平面351-1将因此与焦平面251相同。第二焦平面351-2将比第一焦平面351-1更远,即,更远离相机330,也如图中所示。
当成像系统305被设置用于光三角测量并基于Scheimpflug原理被配置,使得第一焦平面351-1与由光源311提供的且用于光三角测量的第一光311对应的光平面处于相同位置,因此与光平面对齐时,第二焦平面351-2将至少基本上与第一焦平面351-1平行。
原则上,可以基于本文的实施例来实现任何偏移距离,并且这使得本文的实施例适合于变化很大的应用领域和视场。
如上文和本文所使用的,光学板是指光学窗口或光学滤光器。光学滤光器是指对某些光(例如某些频率或波长的光)有过滤效果,而其它光会穿过,即,如果光中存在这样的频率或波长,那么在通过光学板时将其去除。光学窗口是指不具有这样的过滤效果的情况。
应当认识到,上面结合图3A-C讨论的实施例可以非常容易地实现。对于现有的现有技术成像系统,诸如例如使用现有技术图像传感器的成像系统205,可以确定或选择附加的第二焦平面期望位于的在距离现有焦平面所在位置某偏移距离处的位置。然后仅添加具有实现第二焦平面的厚度的单独光学板层,诸如单独光学板层338。还应当确定图像感测区域333的哪个部分(或部份)将与附加焦平面一起使用,并且然后通过单独的光学板层覆盖该部分。找到在期望的偏移距离处实现第二焦平面的厚度可以通过常规测试和实验和/或基于关于相机的知识(包括关于透镜以及它相对于图像传感器的布置方式和位置)来实现,这使得能够计算厚度。
接下来将讨论本文的实施例背后的基本原理以及另外的第二焦平面将具有的焦平面偏移。
图3D示意性地图示了两个焦平面(第一焦平面351-1'和第二焦平面351-2')如何可以与图3A-B中的图像传感器331和相机340的透镜340相关的简化示例。注意的是,图中所示的内容没有应用Scheimpflug原理,因此所示的示例并不直接与图3C中所示的情况对应。因此,焦平面351-1'和351-2'与焦平面351-1和351-2不相同。该图的目的是说明带有偏移的附加焦平面的底层原理,这在不同时涉及Scheimpflug的情况下更容易解释和理解。
该图示出了来自第一焦平面351-1'中的点的光将聚焦在图像感测区域333上未被单独光学板层338覆盖的点,即图像感测区域333上通过第一光学板部分334-1折射的光到达的点上。该图还示出了来自第二焦平面351-2'上的点的光将聚焦在图像感测区域333上被单独光学板层338覆盖的点,即图像感测区域333上通过第二光学板部分334-2折射的光到达的点上。
图3E是为理解如何以及为何会出现这种情况,即如何以及为何会形成另一个第二焦平面提供支持的示例。这可以通过研究单光束在有或没有单独光学板层338的情况下如何折射来理解。换句话说,图3E示意性地图示了一条相同的光线(在该示例中为单入射光线353)将如何受到较厚的光学板部分与较薄的光学板部分的影响。在图中示出了可以与透明保护层336对应的第一透明层336'和可以与单独光学板层338对应的第二透明层338'。
如从图中可以看出,已经做出一些基本假设来简化该示例,例如,已经假设第一透明层336'和第二透明层338'的材料比光线353在到达所述层之前行进通过的介质光学密度更高,例如,如在玻璃层位于空气中的情况下,这通常是相机中的图像传感器的情况。还假设各层具有相同的材料(诸如玻璃),或者至少具有相同折射率的材料。例如,如果第一透明层336'的材料的折射率为n1,并且第二透明层338'的材料的折射率为n2,那么n2=n1。当两个层都存在时,例如与附接至透明保护层336的单独光学板层338对应,那么它们可以如上面所提到的借助于光学胶(或更一般地通过透明附着介质341)彼此附接,光学胶或透明附着介质341具有与各层相同的折射率,以避免接触界面中不期望的反射和折射。
首先考虑如果不存在第二透明层338',即与没有单独光学板层338的情况对应,那么单入射光线353将如何受到影响。然后,光束353在到达第一透明层336'时将被折射,并且将穿过该层的厚度,之后在该层的另一侧折射出去。在这种情况下,光束353将根据如图中所示的第一光线路径353a行进。
然后考虑相同的单入射光线353,但是在存在第二透明层338'的情况下,即,与具有单独光学板层338的情况对应。然后,光束353在到达第二透明层338'时将被折射,并且将穿过第二透明层338'和第一透明层336两者的厚度,直到其在另一侧折射出去。在这种情况下,光束353将根据图中所示的第二光线路径353b行进。
能够清楚地看出,结果是光线路径353a-b之间的偏移Δ。该偏移Δ解释了焦平面之间的所述偏移距离如何能够如上面所讨论的那样形成,或者一般而言,如何由于覆盖图像传感器的光学板而形成不同的焦平面,其中光学板有具有不同折射属性的不同的光学板部分。例如,不同的厚度和/或具有不同的光学密度,诸如来自具有不同折射率的材料。
注意的是,即使偏移Δ解释了另外的焦平面和焦平面之间的偏移距离,焦平面之间的偏移距离也受到所使用的透镜(诸如透镜340')、它的属性、它相对于图像传感器(例如图像传感器330)的定位方式和位置的影响。
图4A示意性地图示了根据本文的一些实施例的具有相机430的成像系统设置,用于对具有平坦点状表面的物体420进行成像。相机430具有与图像传感器330对应的图像传感器(未示出),并且因此存在与相机430的图像传感器的两个不同图像感测区域部分相关联的两个不同焦平面451-1、451-2。
相对于相机430放置物体,使得当物体420在其视场内远离相机430延伸时,相机430可以对物体420的点状表面进行成像,即,相机430和物体420被布置为使得相机能够对不同深度的点状表面进行成像。
图4B示意性地图示了图4A中所示的物体430的正视图,其中点状表面是可见的。
图4C示出了由如图4A-B中所示的对应真实成像系统、相机和物体拍摄的实际图像460,并且因此由本文的实施例的真实实施方式产生。该图图示了图像中两个焦平面的效果。图中绘制的虚线指示聚焦的部分。相应的虚线因此与焦平面451-1、451-2中的相应一个相关联。可以清楚地看到图像中有两个焦点区域,每个区域都以各自的虚线为中心。该图还指示图像460中的失真或模糊区域461的地点。模糊区域461位于焦平面451-1和451-2之间,并通过边缘效应来解释,其中两个不同的图像感测区域部分相会,例如位于透明保护层336的顶部上的单独光学板层338的边缘周围。
图5A示意性地图示了根据本文的一些实施例的第二示例性图像传感器531的横截面,其处于与图2B-C中的现有技术图像传感器231和图3A-B中的图像传感器331对应的横截面C-C中,以促进差异的比较和识别。
图5B示意性地图示了图5A中的图像传感器531的俯视图,其中标出了横截面C-C。
下面将关注与图像传感器331相比的差异,即,关于不同之处。因此,在图5A-B中看起来相同且具有对应标号的对应部分(未作为不同部分被提到)可以与图3A-B中的相同。
图5A-B中示出的实施例涉及具有堆叠在透明保护层536上但不使用透明附着介质(诸如如先前示例中的光学胶)的单独光学板层538的实施例。替代地,这些层被布置为具有将这些层分开的小空隙544,即间隙,从而避免所述层以直接物理接触的方式堆叠。其原因如上面已经指示的,为了避免在层的接触界面中出现不期望的干涉现象。空隙544可以在能够在实践中实现地尽可能小,但是空隙544与要感测的光的波长相比通常应该较大,并且优选地大得多,即,大几倍,即,通常大于400nm-1000nm。但是,在任何情况下通常难以实现小于十分之几微米(诸如低于50μm)的尺寸的层之间的空隙。实际上,合适的空隙可以在50-100μm的范围内。较大的空隙没有明显的好处,因此保持小的空隙可能是有益的。应当认识到,较大的间隙还将有助于焦平面之间形成较大区域,这可能导致图像的模糊部分(诸如关于图4C提到的模糊区域461)的失真。
除了单独光学板层538和透明保护层536,图像传感器531还包括图像感测部分535的图像感测区域533和支撑结构532。在所示的示例中,存在用于单独光学板层538的保持器装置543,使得该层与将其与透明保护层336分开的所述空隙堆叠。单独光学板层538例如机械地,诸如通过夹紧和/或胶合由保持器装置543保持和/或附接至保持器装置543。注意的是,图中所示的只是示例,当然有几种可能的其它类型的保持器装置以及如何通过保持器装置或类似物(诸如固定装置或框架结构)来保持和/或附接单独光学板层的其它方式。这样的其它类型的保持器装置可以在图像感测区域的外部和/或周边处、或者至少在其用于成像的部分的外部附接(诸如胶合)到图像传感器。如果图像感测区域533以及可能还有透明保护层536不与支撑结构532或类似物的表面齐平,如本文示例中出于简化原因所示,而是以与空隙544对应的小偏移在其下面陷入,那么应当认识到,单独光学板层538可以直接附接到支撑结构532的表面。另一种可能性是在相机透镜部分单元中包括单独的光学板层,这将在下面描述。
除了单独光学板层538如何相对于透明保护层536布置之外,其它特征可以如图3A-B和图像传感器331中所示。附加焦平面等效果也是一样。因此,在图5A-B和图像传感器531中,单独光学板层538和保护层536一起形成光学板537,其具有覆盖图像传感器531的图像感测部分335的图像感测区域533的第一光学板部分534-1和第二光学板部分534-2。第一光学板部分534-1与图像感测区域533的未被单独光学板层538覆盖并且因此仅被透明保护层536覆盖的一部分对应。入射到所述第一部分上的光被透明保护层536的称为t1 539-1的厚度折射,并行进通过该厚度到达图像感测部分535的图像感测区域533。在所示的示例中,第二光学板部分534-2与图像感测区域533的被单独光学板层538覆盖并且因此被该层和透明保护层536两者覆盖的一部分对应。入射到第二部分上的光在到达图像感测部分535的图像感测区域533之前被厚度称为t2 539-2的层折射并行进通过该层,该厚度对应于单独光学板层538和透明保护层536两者(也包括所述空隙544)的厚度。
与上面结合图3A-C讨论的实施例类似,与图5A-B相关的实施例可以基于现有技术的图像传感器容易地实现。此外,诸如空隙544之类的间隙使得能够实现更灵活且可改变类型的实施方式,例如,如接下来所述。
图5C示意性地图示了包括相机外壳部分545'和相机透镜部分546'的相机系统,当相机外壳部分545'和相机透镜部分546'彼此附接或安装时,形成具有与上述图像传感器530对应但具有不同的保持器装置的图像传感器531'的相机530'。相机透镜部分546'包括透镜540'和与单独光学板层538对应的单独光学板层538'。相机外壳部分545'包括图像传感器531',但不包括其单独光学板层538',并因此例如包括具有图像感测区域533'的图像感测部分535'、其透明保护层536'和支撑结构532'。因此,图像传感器531'的包括在相机外壳部分545'中的部分可以与常规的图像传感器对应。
相机外壳部分545'和相机透镜部分546'形成为彼此配合并安装在一起,优选地可拆卸地和/或可释放地例如类似地作为透镜一起安装到系统相机的外壳。当一起安装时,单独光学板层538'应当以与透明保护层536'的期望关系定位,即,在层之间具有预定的空隙544',并且使得单独光学板层538'覆盖图像感测区域533的期望的预定区域或部分,因此与第二光学板部分534-2对应。因此,图像感测区域533的未被单独光学板层538'覆盖的部分与第一光学板部分534-1对应。
应当认识到,基于图5C的相机系统和相机530'的实施例使得具有例如常规图像传感器的同一个相机外壳(诸如相机外壳部分545')能够与几个不同的透镜部分一起使用。不同的透镜部分可能因它们的单独光学板层而不同,例如因它们的折射属性而不同,例如因层的不同厚度和/或层的材料的折射率和/或层覆盖的图像感测区域533'的哪个部分而不同。每个这样的不同透镜部分在安装到外壳时可能因此产生与单独的光学板层覆盖的图像感测区域533的部分相关联的预定的附加第二焦平面。另一种可能性是透镜部分,诸如透镜部分546',具有可调整和/或可替换的单独光学板层,诸如单独光学板层538'。例如,使得其可以被调整以覆盖图像感测区域533'的不同部分和/或部份,和/或被替换为具有不同折射属性(诸如厚度)的另一个。因此,图5C的实施例促进了本文的实施例的灵活实施方式以及提供可以更容易地被采用于本文的实施例关注实现的不同用例和情况的相机系统,而无需改变或替换整个相机。还应当认识到,结合图5C描述的这样的灵活系统还可以容易地使其切换到仅具有单个焦平面的常规相机的功能,例如通过切换到没有单独的光学板层的透镜部分或者只是从透镜部分去除单独的光学板层。
上述实施例已经包括一个附加的单独光学板层以简化说明。但是,应当认识到,通过应用上述实施例所基于的相同原理,当然可以用其它和/或另外的(一个或多个)光学板层形成光学板,例如具有不同的厚度,和/或其可以包括多于两个的光学板部分,使得为同一个相机和图像传感器实现多于两个的不同的焦平面。
此外,虽然可能优选使用现有图像传感器的更简单的实施方式,但是本文实施例的基本原理当然不要求必须有覆盖图像感测区域的常规透明保护层。
应当认识到,可以通过使用光学板层的多种变化和组合以及这些层的材料和厚度的变化来形成实现两个或更多个焦平面的两个或更多个光学板部分。接下来将讨论这个方向的一些进一步的示例。
图6A-6D示意性地图示了根据本文的实施例的关于如何为图像传感器实现具有不同折射属性的光学板部分的上述实施例的替代方案的不同示例。
图6A是由覆盖图像感测部分635a的图像感测区域633a的单独部分的不同厚度的两个单独的透明层636a、638a形成第一光学板部分634-1a和第二光学板部分634-2a的示例。单独的层636a、638a具有相同的材料,但也可以替代地具有不同的材料,例如具有不同折射率的材料。
图6B是由覆盖图像感测部分635b的图像感测区域633b的透明单层638b形成第一光学板部分634-1b和第二光学板部分634-2b的示例。不同厚度的单层638b形成两个光学板部分634-1b、634-2b。该单层由同一种材料制成。
图6C是由具有相同厚度但由不同折射率的材料制成的两个单独的透明层636c、638c形成的并且覆盖图像感测部分635c的图像感测区域633c的单独部分的第一光学板部分634-1c和第二光学板部分634-2c的示例。
图6D是由覆盖图像感测部分635d的图像感测区域633d的同等厚度的透明单层638d形成第一光学板部分634-1d和第二光学板部分634-2d的示例。这里,第二光学板部分634-2d通过在透明单层638d的一部分638d'中提供不同折射属性而形成,例如通过在该部分中用不同材料形成单层638或者通过在该部分中掺杂材料,或者通过用于仅在透明单层的一部分中实现不同折射率的任何其它已知手段而形成。
注意的是,本文中关于如何为根据本文实施例的图像传感器实现具有不同折射属性的光学板部分的示例仅是示例,并且几种其它方式和组合是可能的。虽然未在任何详细示例和附图中示出,但是应当注意的是,本文的实施例也包括图像传感器,该图像传感器不仅具有一个而且具有两个或更多个附加的光学板部分,这些附加光学板部分具有覆盖图像感测区域的不同部分的不同折射属性,从而形成两个或更多个附加的焦平面。能够基于本文公开的内容实现具有两个光学板部分的图像传感器的技术人员也能够容易地实现具有形成另外的焦平面的另外的光学板部分的图像传感器。
现在将更一般地描述关于诸如上面所讨论的图像传感器的实施例。根据这些实施例的图像传感器(诸如图像传感器331、531、531'中的任何一个)是用于与透镜(诸如透镜340、540'中的任何一个)一起使用的。透镜被布置以将光聚焦到图像感测区域(诸如所述图像传感器的图像感测区域333、533中的任何一个)上。所述图像传感器包括光学板,诸如被布置为通过至少两个光学板部分(诸如光学板部分334-1和334-2、或534-1和534-2)覆盖图像感测区域的光学板337;537中的任何一个。光学板可以被称为和/或与光学窗口或光学滤光器对应。光学板部分具有不同的折射属性,使得从所述透镜入射并且被所述光学板部分向图像感测区域折射且折射到图像感测区域上的光将行进不同的距离以聚焦在图像感测区域上,不同的距离取决于光被所述光学板部分中的哪个光学板部分折射。因此,被所述至少两个光学板部分覆盖的图像感测区域部分与不同的焦平面(例如,焦平面351-1和351-2,或者焦平面751-1和751-2)相关联。
现在将更一般地描述关于诸如上面所讨论的相机的实施例,例如相机330、530'、730中的任何一个。根据实施例,相机包括图像传感器,例如如上面所讨论的和/或图像传感器331、531、531'中的任何一个。该相机还包括所述透镜,诸如透镜340、540'中的任何一个。在相机的一些实施例中,单独的光学板层(诸如单独光学板层538')堆叠在透明保护层(诸如透明保护层536')上,具有将各层分开的间隙或空隙,例如空隙544',以避免所述层彼此直接物理接触。在这些实施例中,单独的光学板层可以是相机的单独透镜部分或单元(诸如透镜部分545')的一部分,其包括透镜并且是可释放地和/或被配置为可释放地安装到相机的外壳部分(诸如外壳部分546'),并且该外壳部分包括图像感测区域,诸如图像感测区域533'。
应当认识到,应用或不应用Scheimpflug原理,根据本文的实施例以及如上所述的并且例如如关于图3、5、6所述的图像传感器和相机都可以与用于光三角测量的成像系统(诸如成像系统305)一起使用。根据实施例的图像传感器还可以用在期望另外或更多焦平面的其它成像系统和/或相机中。
图7A-B示意性地图示了基于光三角测量的成像系统705a-b的简化的第二和第三示例。根据本文实施例,每个系统包括具有图像传感器的相机,并且示例与两个不同的用例对应。下面将关注与图3C中的成像系统305相比的差异,即,关于图7A-B中的相应一个中的新的和不同的内容。因此,如果没有另外说明或由于某个原因排除,那么在图3C中示出和/或关于该图讨论的对应部分可以与图7A-B中的相同。原则上,成像系统705a-b可以被认为是用于不同用途的成像系统305的两个不同的扩展版本。
图7A示意性地图示了根据本文的一些实施例的作为成像系统的简化的第二示例的所述成像系统705a。它包括具有图像传感器731a的相机730a,图像传感器731a可以是或与根据本文的实施例的任何图像传感器(诸如如上所述的)对应,并且使用相机730a实现两个焦平面,第一焦平面751-1a和第二焦平面751-2a。
与图3C的成像系统305类似,存在第一光源710-1a,其用于使用第一光711-1a(通常是激光)照亮物体720a,作为用于物体720a的3D成像的光三角测量的一部分。第一光711-1a以光平面的形式提供。相机730a和图像传感器731a被布置用于感测从物体720a反射的第一光,作为用于3D成像的所述光三角测量的一部分。成像系统705a基于Scheimpflug原理设置和配置,使得第一焦平面751-1a与对应于第一光711-1a的光平面处于同一位置,因此与该光平面对齐。
成像系统705a和成像系统305之间的主要差异在于,成像系统705a还包括另外的第二光源710-2a,其用于使用以与第二焦平面751-2a对齐的光平面的形式提供的第二光711-2a来照亮物体720a。因此,从两个光平面来自物体的反射可以聚焦在图像传感器731a上。在一些实施例中,第二光711-2a是与第一光711-1a相同类型的光,但在其它实施例中可以在一些方面不同。
第二光源可以用第二光711-2a照亮物体720a,作为用于物体720a的3D成像的另外的光三角测量的一部分。即,可以使用同一个相机和图像传感器并行地执行用于3D成像的两个不同的光三角测量,每个光平面一个。从而可以更快地执行利用物体扫描的总3D成像。例如,从而可以使用单个相机和图像传感器更快地扫描物体720a,并且甚至可以同时扫描两个单独的物体。如果物体720a的相同部分被第一光711-1a和第二光711-2a提供的两个光平面在时间上分开分别扫描两次,那么可以使用来自两个场合的扫描数据来改进测量。例如,可以通过以下方式来改进测量:由于本文的实施例,可以检测物体720a的不期望的移动,诸如横向于扫描方向的移动,即,在两个光平面的扫描之间可能发生的横向移动。
因此,有利的用途可以是用于检测正在扫描的物体的不期望的移动,例如同一物体的图像之间的光平面中的物体移动。可以通过时间上分开的两个光平面来扫描相同的表面地点并比较图像。如果它们不同,或者根据预定的标准差别太大,那么意味着图像之间物体存在不期望的移动。然后可以校正该移动,或者在任何情况下,了解已经发生的这样的移动是有价值的。这种不期望的移动可能是特别的问题和/或在一些应用领域中难以避免。例如,当要扫描大的、重的和/或不规则的物体,诸如树木原木和类似物时。如果原木在图像之间横向移动,诸如倾斜或旋转,那么仅使用单个光平面不可能知道是否发生了这样的移动,并且从而根据3D成像,原木可能会出现弯曲,尽管它不是弯曲的。常规地,使用单个光平面和焦平面,如果形成3D图像,那么原木可能因此会被错误地认为是弯曲的,尽管它不是弯曲的,只是因为在捕获光三角测量图像时它在扫描期间已横向移动。
注意的是,在附加光源(诸如第二光源710-2a)为另外的光三角测量提供光的情况下,这样的成像系统(例如,成像系统705a)可以按每个光平面进行校准,例如单独地相对于每个光平面进行校准。在校准期间一次可以使用一个光平面。
图7B示意性地图示了根据本文的一些实施例的作为成像系统的简化的第二示例的所述成像系统705b。它包括具有图像传感器731b的相机730b,图像传感器731b可以是或与根据本文的实施例的任何图像传感器对应,诸如如上所述,并且使用相机730a实现两个焦平面,第一焦平面751-1b和第二焦平面751-2b。
与图3C的成像系统305类似,存在第一光源710-1b,其用于使用第一光711-1b(通常是激光)照亮物体720b,作为用于物体720b的3D成像的光三角测量的一部分。第一光711-1b以光平面的形式提供。相机730b和图像传感器731b被布置用于感测从物体720b反射的第一光,作为用于3D成像的所述光三角测量的一部分。成像系统705b基于Scheimpflug原理设置和配置,使得第一焦平面751-1b与对应于第一光711-1b的光平面处于相同位置,因此与该光平面对齐。
成像系统705b和成像系统305之间的主要差异在于,成像系统705b还包括用于用第二光711-2b照亮物体720b的另外的第二光源710-2b。在这些实施例中,第二光源710-2b和第二光711-2b是与第一光源710-1b和第二光711-2b不同的类型,并且本身不涉及光三角测量。第二光711-2b可以是如图中所指示的漫射光。其可以由一个或多个发光二极管LED提供,第二光源710-2b因此可以包括并基于发光二极管。例如,漫射光使得能够实现无激光散斑的反射。漫射光还更接近正常发生的照明,并且因此可以比例如用作第一光711-1b并用于光三角测量的激光或类似物更好地捕获关于物体720b的2D图像数据。第二光源710-2b被布置为引导第二光711-2b,使得其至少照亮第二焦平面。当然,第二光不应被引导和/或提供为使得其对第一焦平面中的第一光具有有害的干涉效果,从而对光三角测量产生负面效果。这通常不是问题,因为在光三角测量中使用的光(诸如第一光711-1b)通常比用于第二光所需的光强度更大,另外,由于它是漫射的,所以被扩散在更大的区域上。如果需要,当然也可以施加一些光屏蔽。由于本文的实施例,在捕获用于光三角测量的图像的同时,可以捕获关于物体720b的聚焦的2D图像数据,例如以便提取关于其表面的信息,作为关于通过光三角测量获得的物体720b的3D数据的附加。使用偏移距离(即,焦平面751-1a、b之间的距离)的知识,可以将所获得的2D数据与对应的3D数据相关联,即,与物体720b上的相同位置相关。在这些实施例中的一些实施例中,第二焦平面751-2b还可以被放置得如此靠近第一焦平面751-1b,使得捕获的2D数据可以被认为与同时,即,在相同图像中捕获的3D数据相关。
现在将更一般地描述关于诸如上面关于图7A-B讨论的成像系统的实施例。成像系统(诸如成像系统305、705、730中的任何一个)基于光三角测量用于物体(例如,物体320、720中的任何一个)的3D成像。成像系统包括根据本文实施例的相机,例如上面一般描述的相机或相机330、530'、730中的任何一个。相机包括根据本文实施例的图像传感器,例如上面一般描述的图像传感器或图像传感器331、531、531'中的任何一个。
成像系统还可以包括用于提供第一光(例如,第一光311、711-1中的任何一个)的第一光源(诸如第一光源310、710-1中的任何一个)。第一光以第一光平面的形式,用于照亮所述物体,作为所述光三角测量的一部分。具有图像传感器的相机可以布置在成像系统中,用于捕获从物体反射的第一光,作为所述光三角测量的一部分。成像系统可以被配置为使得诸如由根据本文实施例的图像传感器提供的至少第一焦平面(诸如至少两个焦平面的焦平面351-1、751-1中的任何一个)与所述第一光平面处于相同位置。
成像系统还可以包括用于提供第二光(例如,第二光711-2)的附加的第二光源(诸如第二光源710-2),用于照亮所述物体或另一个物体。具有图像传感器的相机可以布置在成像系统中,用于捕获从所述物体或所述另一个物体反射的第二光。成像系统还可以被配置为使得另一个第二焦平面(诸如所述至少两个焦平面的第二焦平面351-2、751-2中的任何一个)位于所述第二光将入射到所述物体或所述另一个物体上并被所述物体或所述另一个物体反射并且此后被相机和图像传感器捕获的位置。在一些实施例中,所述第二光以第二光平面的形式,其中所述第二焦平面与所述第二光平面处于相同位置。
注意的是,本文使用的任何列举的术语(诸如第一设备、第二设备、第一表面、第二表面等)都应当被认为是非限制性的,并且这样的术语并不暗示某种层次关系。相反,在没有任何明确信息的情况下,通过列举命名应当被认为仅仅是一种实现不同名称的方式。
如本文所使用的,表述“被配置为”可以意味着处理电路被配置为或适于借助于软件或硬件配置来执行本文描述的动作中的一个或多个。
如本文所使用的,术语“数值”或“值”可以指任何种类的数字,诸如二进制、实数、虚数或有理数等。此外,“数值”或“值”可以是一个或多个字符,诸如字母或字母串。另外,“数值”或“值”可以由位串表示。
如本文所使用的,表述“可以”和“在一些实施例中”通常已用于指示所描述的特征可以与本文所公开的任何其它实施例组合。
在附图中,可以仅存在于一些实施例中的特征通常使用点线或虚线来绘制。
当使用词语“包括(comprise)”或“包含(comprising)”时,应将其解释为非限制性的,即,意味着“至少由......组成”。
本文的实施例不限于上述实施例。可以使用各种替代、修改和等同形式。因此,上述实施例不应被视为限制由所附权利要求限定的本公开的范围。
Claims (12)
1.一种图像传感器(331;531;531'),用于与被布置为将光聚焦到所述图像传感器(331;531)的图像感测区域(333;533)上的透镜(340;540')一起使用,所述图像传感器(331;531)包括光学板(337;537),光学板(337;537)是光学窗口或光学滤光器,被布置为通过具有不同折射属性的至少两个光学板部分(334-1、334-2;534-1、534-2)覆盖图像感测区域(333;533),使得从所述透镜(340;540')入射并且被所述光学板部分(334-1,334-2;534-1,534-2)朝向图像感测区域(333;533)折射且折射到图像感测区域(333;533)上的光将行进不同的距离以聚焦在图像感测区域上,所述不同的距离取决于光被所述光学板部分(334-1,334-2;534-1,534-2)中的哪个光学板部分折射,由此被所述至少两个光学板部分(334-1,334-2;534-1,534-2)覆盖的图像感测区域部分与不同的焦平面(351-1,351-2;751-1,751-2)相关联。
2.如权利要求1所述的图像传感器,其中,所述不同的折射属性是由制成光学板部分(334-1,334-2;534-1,534-2)的材料的不同厚度(339-1,339-2;539-1,539-2)和/或不同折射率引起的。
3.如权利要求1-2中的任一项所述的图像传感器,其中,图像感测区域(333;533)被透明保护层(336;536)覆盖,并且其中所述光学板部分(334-1,334-2;534-1,534-2)中的至少一个由堆叠在所述透明保护层(336;536)上的单独光学板层(338;538)形成。
4.如权利要求3所述的图像传感器,其中,透明保护层(336;536)和单独光学板层(338;538)由具有相同折射率的材料制成。
5.如权利要求3-4中的任一项所述的图像传感器,其中,单独光学板层(338;538)通过具有与单独光学板层(338;538)或透明保护层(336;536)的折射率对应的折射率的光学胶附接到所述透明保护层(336;536)。
6.如权利要求3-4中的任一项所述的图像传感器,其中,单独光学板层(338;538)堆叠在透明保护层(336;536)上,其中具有使各层分开的空隙(544),从而避免所述各层彼此直接物理接触。
7.一种相机(330;530';730),包括如权利要求1-6中的任一项所述的图像传感器(331;531;531')和所述透镜(340;540')。
8.如权利要求7所述的相机,其中,单独光学板层(538')堆叠在透明保护层(536')上,其中具有使各层分开的空隙(544'),以避免所述各层彼此直接物理接触,并且其中单独光学板层(538)是相机(530')的单独透镜部分(545')的一部分,单独透镜部分(545')安装到相机(530')的外壳部分(546'),该外壳部分包括图像感测区域(533')。
9.一种基于光三角测量对物体(320;720)进行三维成像的成像系统(305;705;730),包括根据权利要求7-8中的任一项所述的相机(330;530';730)。
10.如权利要求9所述的成像系统,还包括第一光源(310;710-1),用于作为所述光三角测量的一部分以第一光平面的形式提供用于照亮所述物体(320;720)的第一光(311;711-1),其中具有图像传感器(331;531;531')的相机(330;530';730)被布置在成像系统中,以用于作为所述光三角测量的一部分捕获从物体(320;720)反射的第一光,其中成像系统被配置为使得所述至少两个焦平面(351-1,351-2;751-1,751-2)中的至少第一焦平面(351-1;751-1)与所述第一光平面位于相同位置。
11.如权利要求10所述的成像系统,还包括附加的第二光源(710-2),用于提供用于照亮所述物体(320;720)或另一个物体的第二光(711-2),其中具有图像传感器(331;531;531')的相机(330;530';730)被布置在成像系统中,以用于捕获从所述物体(320;720)或所述另一个物体反射的第二光,其中成像系统被配置为使得所述至少两个焦平面(351-1,351-2;751-1,751-2)中的另一个第二焦平面(351-2;751-2)位于所述第二光将入射到所述物体(320;720)或所述另一个物体上并被所述物体(320;720)或所述另一个物体反射的位置,并且在反射之后第二光被相机(330;530';730)和图像传感器(331;531;531')捕获。
12.如权利要求11所述的成像系统,其中,所述第二光(711-2)是第二光平面的形式,并且所述第二焦平面(351-2;751-2)与所述第二光平面位于相同位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP23163222.5 | 2023-03-21 | ||
EP23163222.5A EP4435487A1 (en) | 2023-03-21 | 2023-03-21 | Image sensor, camera and imaging system with two or more focus planes |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118688929A true CN118688929A (zh) | 2024-09-24 |
Family
ID=85724891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410295990.XA Pending CN118688929A (zh) | 2023-03-21 | 2024-03-15 | 具有两个或更多个焦平面的图像传感器、相机和成像系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240323338A1 (zh) |
EP (1) | EP4435487A1 (zh) |
JP (1) | JP2024137854A (zh) |
CN (1) | CN118688929A (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01276278A (ja) * | 1988-04-27 | 1989-11-06 | Ricoh Co Ltd | 多値画像の輪郭線追跡処理方式 |
JPH11132748A (ja) * | 1997-10-24 | 1999-05-21 | Hitachi Ltd | 多焦点同時検出装置および立体形状検出装置および外観検査装置、並びにその方法 |
US20100277638A1 (en) * | 2009-04-29 | 2010-11-04 | Thomas Craven-Bartle | Image space focus |
GB2488519A (en) * | 2011-02-16 | 2012-09-05 | St Microelectronics Res & Dev | Multi-channel image sensor incorporating lenslet array and overlapping fields of view. |
US9959442B2 (en) * | 2014-05-30 | 2018-05-01 | Datalogic ADC, Inc. | Extended depth of field in imaging machine-readable symbol reader using image side telecentric lens |
DE102015209756A1 (de) * | 2015-05-28 | 2016-12-01 | Carl Zeiss Microscopy Gmbh | Anordnung und Verfahren zur Lichtblattmikroskopie |
US11877041B2 (en) * | 2020-07-23 | 2024-01-16 | Qualcomm Incorporated | Sensor with multiple focal zones |
-
2023
- 2023-03-21 EP EP23163222.5A patent/EP4435487A1/en active Pending
-
2024
- 2024-01-24 US US18/421,295 patent/US20240323338A1/en active Pending
- 2024-03-15 CN CN202410295990.XA patent/CN118688929A/zh active Pending
- 2024-03-19 JP JP2024043630A patent/JP2024137854A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240323338A1 (en) | 2024-09-26 |
JP2024137854A (ja) | 2024-10-07 |
EP4435487A1 (en) | 2024-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110317156A1 (en) | Inspection device for defect inspection | |
CN106959293B (zh) | 通过视觉系统检测反光面上缺陷的系统及方法 | |
US6862097B2 (en) | Three-dimensional shape measuring method, and three-dimensional shape measuring apparatus | |
JP3975917B2 (ja) | 位置計測システム | |
US20130242083A1 (en) | Retro-reflective imaging | |
CN107782732B (zh) | 自动对焦系统、方法及影像检测仪器 | |
IL264937B (en) | Range differentiators for auto-focusing in optical imaging systems | |
CN207300540U (zh) | 光学检测设备 | |
US7023542B2 (en) | Imaging method and apparatus | |
US8410419B2 (en) | Optical navigation device with illumination optics having an image outside a detector field of view | |
JPH0743110A (ja) | 二段検出式非接触位置決め装置 | |
FI127908B (en) | Method and apparatus for measuring the height of a surface | |
US8576402B2 (en) | Optical navigation with specular reflection blocking | |
CN118688929A (zh) | 具有两个或更多个焦平面的图像传感器、相机和成像系统 | |
KR101447857B1 (ko) | 렌즈 모듈 이물 검사 시스템 | |
JP2677351B2 (ja) | 立体状被検体外面検査装置 | |
KR100818548B1 (ko) | 자동 블로커 | |
TWI573998B (zh) | 光學檢測裝置 | |
US11886649B2 (en) | Optical navigation device | |
JPS62291512A (ja) | 距離測定装置 | |
KR102841844B1 (ko) | 광학 이미징 시스템 내의 자동-초점을 위한 거리 차등기 | |
CN119268590A (zh) | 关于基于光三角测量进行三维成像的成像系统及方法 | |
JPH0789057B2 (ja) | 距離測定装置 | |
CN117871536A (zh) | 一种用于表面缺陷检测的大范围变距离测量装置 | |
JPH0789058B2 (ja) | 距離測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |