CN113302541A - 用于捕获任意平面之间的全光图像的过程和装置 - Google Patents
用于捕获任意平面之间的全光图像的过程和装置 Download PDFInfo
- Publication number
- CN113302541A CN113302541A CN201980071718.0A CN201980071718A CN113302541A CN 113302541 A CN113302541 A CN 113302541A CN 201980071718 A CN201980071718 A CN 201980071718A CN 113302541 A CN113302541 A CN 113302541A
- Authority
- CN
- China
- Prior art keywords
- light
- image sensor
- image
- distance
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000008569 process Effects 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000000739 chaotic effect Effects 0.000 claims description 13
- 238000005314 correlation function Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 26
- 230000002596 correlated effect Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 description 13
- 210000001747 pupil Anatomy 0.000 description 5
- 230000002269 spontaneous effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Studio Devices (AREA)
Abstract
描述了用于均基于相关发光源和相关测量的沿“相关全光成像”(CPI)线对感兴趣的物体或3D场景(10)的摄影或电影摄影图像进行全光捕获的过程和装置。第一图像传感器(Da)和第二图像传感器(Db)分别沿第一光束(a)和第二光束(b)的路径检测图像。由经同步的图像传感器(Da,Db)检测的强度的处理单元(100)被配置成:通过测量在物体附近或在3D场景(10)内选取的至少两个任意平面(P',P";D'b,D"a)的像平面中检测到的光强度之间的时空相关性来获取光的传播方向。
Description
技术领域
本发明涉及在摄影、电影摄影、显微摄影和立体视觉领域中捕获图像的全光图像捕获技术。
特别地,根据本发明的全光拍摄过程是相关全光成像(CPI)的新颖概念,其可被定义为“任意平面之间的相关全光成像”(CPI-AP)。
全光成像(PI)是一种旨在记录给定场景中光的位置和传播方向的技术。在后处理中利用对于传播方向的知晓来以几何方式回溯光路,因而使所采集图像内的不同平面重新聚焦、扩展图像景深(DOF)并重建三维(3D)图像。
背景技术
当前的全光成像系统类似于具有传统主透镜和图像传感器(诸如CCD、CMOS等)的标准相机。然而,微透镜阵列插入到原始像平面中,并且传感器阵列在其后方移动。一方面,微透镜充当成像像素,以获取场景的空间信息;另一方面,它们在传感器上再现相机透镜的多个图像,从而提供与每个成像像素相关联的角度信息。结果,相对于由主透镜数值孔径设定的衍射极限,图像分辨率降低到1/Nu,其中Nu是与每个微透镜相关联的每侧像素数。因此,标准全光图像通常具有不良分辨率的特性。
US7620309描述了一种用于图像的全光捕获的设备,该设备包括传统主透镜和图像传感器以数字地捕获图像。所描述的设备还包括与其他先前已知的设备不同的微透镜阵列,该微透镜阵列被布置在要捕获的场景与设备的主透镜之间。实际上,该文献建议减少微透镜的数目。这样,可捕获减少数目的高分辨率图像,而不是大量低分辨率图像,就像对于其他先前已知的全光设备的情形那样。在检测图像之后,需要图像处理设备从减少数目的高分辨率捕获图像中获得大量高分辨率图像。
不管怎样,在US 7620309中描述的捕获设备无法同时增大捕获图像的分辨率和要捕获的场景的原始视图的数目。实际上,只能在捕获低分辨率图像之后借助于插值过程来获得大量高分辨率视图。
已知技术的全光捕获设备的另一个问题是不良的可达成景深。这种类型的问题与捕获图像的低角度分辨率密切相关,因为角度分辨率与可在单个全光图像中捕获的聚焦视图的数目有联系,并因此与图像的景深有联系。
在以本申请人的名义的专利申请(申请号EP3220185A1)中描述了针对已知技术的前述问题的解决方案。在该文献中,描述了用于全光捕获的过程和设备(均基于相关测量或“相关全光成像”(CPI)),其中来自至少一个光源的主光束被分成两个不同光束,其分别指向用以捕获角度测量的第一图像传感器和用以捕获空间测量的第二图像传感器。
尽管通过该解决方案可获得具有高景深的高分辨率全光图像,但另一方面,该解决方案不允许在捕获期间实时监视感兴趣的场景。该问题归因于以下事实:作为测量两个传感器之间的相关性的结果(即,作为两个传感器所作的多次捕获的结果),第一传感器捕获发光源的图像,而第二传感器则捕获场景的图像(二阶或“重(ghost)”像)。而且,即使EP3220185A1的设备不牵涉分辨率的损失,也需要采集聚焦元件的图像以获取方向信息;这并不总是琐碎的,尤其是当使用复杂的成像系统(诸如显微镜、或望远镜、物镜)时。该方案的另一限制在于,感兴趣场景的图像分辨率是由发光源的数值孔径来定义的,该数值孔径可能难以控制和优化。
本发明的一个目的是解决已知现有技术的上述问题,并提供一种用于图像的全光捕获的过程和装置,该过程和装置不需要引入微透镜阵列。
本发明的另一目的是提供一种用于图像的全光捕获的过程和装置,其使得能够扩展景深并执行重新聚焦,同时将聚焦图像的分辨率保持在衍射极限。
本发明的又一目的是提供一种过程和装置,该过程和装置允许保持全光成像的优点,诸如重新聚焦、增大的景深、弱光成像、3D成像等,但不放弃衍射受限的图像分辨率,并高度缓解分辨率针对景深的妥协。
发明内容
本发明的这些和其他目的是通过用于感兴趣的物体或3D场景的摄影图像、电影摄影图像、显微摄影图像或立体视觉图像的全光捕获的过程来达成的,该过程包括以下步骤:
-提供发光源;
-生成来自发光源的第一光束和第二光束;
-将第一光束朝第一图像传感器(例如,CCD,CMOS等)引导,并且将第二光束朝第二图像传感器引导,该第一光束被适配成由物体或3D场景反射或通过物体或3D场景透射。
本发明的过程包括以下步骤:通过测量由这两个图像传感器在物体附近或在3D场景内选取的至少两个任意平面的像平面中检测到的光强度之间的时空相关性来获取光的传播方向。
这使得能够高度增大全光设备的最大可达成景深,同时保持高(衍射受限的)分辨率,如成像透镜所定义的。相反,在先前专利申请(申请号EP3220185A1)中描述的过程中,对两个非常精确的成像平面进行成像,即聚焦元件的平面和感兴趣场景内的平面;该选择禁止在聚焦元件的平面之外重新聚焦,因而高度约束了可得到景深的范围。
当将复杂的成像系统(诸如显微镜、或望远镜、物镜)用作聚焦元件时,本发明还提供了实用的优点。
在本发明的优点中,应该注意的是,不需要对聚焦元件进行成像,并且通过标准强度测量可立即获得物体的实时图像。而且,得益于对两个任意平面进行成像而不是对聚焦元件和物体或3D场景的通用平面进行成像的思想,因此可获得相对于现有技术进一步增大的景深。为了使相关测量有效,源必须发出以时空相关性为特征的光。
除了考虑照射物体的混沌发光源之外,物体还可自身发出混沌光(例如,其是荧光物体)。因此,根据本发明,发光源可以是反射/透射来自混沌源的光的物体或3D场景,或者可以是发出混沌光的相同物体或3D场景。
同样,头一回地,本发明允许用纠缠光子/波束(例如,通过自发参量下转换发射)照射感兴趣的物体的可能性。再次,物体将对照射纠缠光子/波束进行反射/透射。
根据本发明的一方面,可通过在标准图像传感器(例如,CCD、CMOS等)(诸如举例而言,第一图像传感器)上直接进行强度测量来获得物体或3D场景的图像。相反,在EP3220185A1的已知方案中,需要两个图像传感器之间的强度相关性测量才能重建样本的“重”像。因而,现在可以直接观察和监视样本,以及与标准全光成像进行比较/集成。
可通过两个图像传感器之间的强度相关性测量来获得关于光的传播方向的信息,这两个图像传感器均获取物体或3D场景附近的两个任意平面的标准(即,强度)图像。相反,在EP3220185A1的已知方案中,一个图像传感器获取聚焦元件的标准图像,而另一传感器获取以通过两个图像传感器之间的强度相关性测量来获取物体附近或3D场景内的平面的“重”像的方式选取的“空”平面的标准图像。在这两种情形中,均需要两个传感器之间的相关测量才能获得光的传播方向,并因而回溯光路以供重新聚焦和3D成像。
根据本发明,可通过在两个任意平面(P',P";D’b,D"a)之间重建光的方向并通过回溯光路以获得经重新聚焦的图像来增强原始图像的景深(DOF)。可通过堆叠经重新聚焦的图像来重建景深增强的物体的图像或场景的3D图像。
根据本发明的一实施例,第一光束和第二光束是例如由自发参量下转换(SPDC)发光源生成的量子纠缠波束。在该情形中,物体或3D场景可放置在两个光束之一的光路中,例如放置在第二光束的光路中。
本发明还涉及一种用于感兴趣的物体或3D场景的摄影图像、电影摄影图像、显微摄影图像或立体视觉图像的全光捕获的装置,包括:
-第一图像传感器,用于沿着第一光束的路径检测来自物体或3D场景的图像;
-第二图像传感器,用于沿着第二光束的路径检测来自物体或3D场景的图像;
-由图像传感器检测到的强度的处理单元。
根据本发明的一实施例,该装置的处理单元被配置成通过测量由图像传感器在物体附近或在3D场景内选取的至少两个任意平面的像平面中检测到的光强度之间的时空相关性来获取光的传播方向。
该装置进一步包括主透镜(或更复杂的成像系统)Lf,其具有正焦距f和直径D;后者也可以是任何其他入射光瞳的直径。这两个任意平面放置在距主透镜Lf的前主平面不同的距离za和zb处。
第一图像传感器放置在距主透镜Lf的后主平面的距离z’a处,而第二图像传感器放置在距主透镜Lf的后主平面的距离z’b处。
根据本发明的装置的一实施例可进一步包括放置在主透镜Lf与图像传感器之间的分光元件,以便通过主透镜Lf从来自物体或3D场景的主光束生成第一光束和第二光束。替代地,第一光束和第二光束也可以是自由空间传播的结果。
根据一实施例,根据本发明的装置被配置成检测来自纠缠光子源或波束源(诸如SPDC发射源)的第一光束和第二光束。
在该情形中,该装置包括具有正焦距f2的两个相同透镜L2,其后主平面沿第一光束和第二光束的各自相应路径放置在距图像传感器的距离z’a和z’b处。透镜L2分别在距透镜L2的前主平面的距离za=(1/f-1/z’a)-1和zb=(1/f-1/z’b)-1处定义两个共轭平面。该至少两个任意平面的聚焦图像因而沿着第一光束和第二光束的各自相应路径在距所述透镜L2的后主平面的不同距离z’a和z’b处被获取。
该装置进一步包括焦距为f1的附加透镜L1,该附加透镜L1放置在自发参量下转换光源与两个相同透镜L2之间。
在根据本发明的装置的所有实施例中,第一图像传感器和第二图像传感器可以是不同的图像传感器设备。在该情形中,还需要同步单元以保证由两个图像传感器所作的同时测量。替代地,第一图像传感器和第二图像传感器可以是相同图像传感器设备的两个非相交的部件。
有趣的是,还可根据本发明修改标准全光设备(不利用相关源和相关测量),以增大最大可用景深(DOF),而不会相对于现有技术进一步降低分辨率。
附图说明
本发明的其他特征和优点将在下面的描述中更加明显,该描述是通过参考附图出于解说性目的而给出的,在附图中:
-图1是根据本发明的一实施例的装置的示意图;
-图2A、2B和2C是对比图像,以示出通过根据本发明的过程获得的景深增强;
-图3是根据本发明的另一实施例的装置的示意图;以及
-图4A、4B和4C是对比图像,以示出通过根据本发明的过程获得的重新聚焦。
具体实施方式
在图1所示的装置的示意图中,物体10被认为是波长为λ的混沌光的发射器。
来自物体10的主光束5由透镜Lf收集,透镜Lf假定为图中的薄透镜,其具有正焦距f和直径D;后者也可以是任何其他入射光瞳的直径。在透镜Lf之后,分束器20将收集到的光分离为分别入射在图像传感器Da和Db上的两个波束(表示为a和b)。处理单元100连接到图像传感器Da、Db,以处理由经同步的图像传感器检测到的强度。
分别放置在距薄透镜Lf(在像侧)的距离z’a和z’b处的图像传感器Da和Db根据下式获取距薄透镜Lf(在物体侧)的距离za和zb处的平面P'和P"的聚焦图像:
1/zj+1/z’j=1/f,
其中放大率
Mj=-z’j/zj,
其中这两个平面上的图像分辨率Δxj
Δxj=0.61λzj/D,
并且其中景深Δzj
Δzj=1.22λ(zj/D)2
其中在所有上式中j=a,b。
在其中两个平面P'与P"之间的距离大于此自然景深的感兴趣情形中,两个图像传感器Da和Db处的强度不会对关于这两个平面所包围的体积的任何相关信息进行编码。为了执行“任意平面之间的相关全光成像”(CPI-AP),在分别于两个经同步的图像传感器Da和Db上的点ρa和ρb处获取的强度波动之间测量相关性;相关函数因而是
G(ρa,ρb)=<ΔIa(ρa)ΔIb(ρb)> (1)
其中i=a,b,并且ΔIi(ρi)=Ii(ρi)-<Ii(ρi)>是图像传感器Di上的点ρi处的强度波动,并且符号<…>表示所发射的光上的统计平均。对于由固定和遍历源发出的光,可将统计平均替换为一系列帧上的时间平均。
通过在上述设置中传播电磁场,并通过放置在距透镜Lf的前主平面的距离z处的物体的孔径函数A(ρi)以及通过透镜光瞳函数P(ρi)进行指示,可得到
其中
其中j=a,b,是pa的复共轭,ρ0是物体平面上的坐标,而ρl是透镜平面上的坐标。通过在两个图像传感器坐标之一(比如说ρa(或ρb))上对G(ρa,ρb)进行积分,可得到放置在距透镜Lf的前主平面的距离zb(或za)处的平面的聚焦非相干图像。特别地,如果物体恰好放置在z=zb(或z=za)中,则该积分给出物体的图像(被称为“重像”),其特征在于由Db(或Da)通过强度测量直接获取的图像的相同分辨率、景深和放大率。换言之,“重像”具有与标准图像相同的特征。
如果物体放置在z≠zb(或z≠za)处,则该积分给出物体的离焦图像。
然而,G(ρa,ρb)对平面坐标ρa和ρb两者的依赖性更有意义得多,并且使得能够重建两个平面之间以及超出两个平面的光的方向,并且因而使得能够重新聚焦物体孔径函数,而与其在设置中的位置无关。在几何光学极限(λ→0)中可以很容易地看出这一点,其中衍射的影响可忽略不计:
其中C是不相关的常数。可实现相关函数的适当参数化,以将物体孔径函数A与透镜光瞳函数P解耦合,因而导致若干经重新聚焦的图像,ρs的每个值各一个。
其中ρr和ρs是分别在物体和透镜平面上的给予相关函数最相关的贡献的点。在应用于所测量的相关函数的重新聚焦操作(5)之后,平面坐标ρs上的积分提供物体孔径的经重新聚焦的图像,而与其原始位置(即其距离与每个图像传感器平面共轭的平面的位移z-za和z-zb)无关:
∑ref(ρr)=∫d2ρsGref(ρr,ρs)≈C′|A(ρr)|4 (6)
其中C’是另一不相关的常数。
重新聚焦操作的限制不会出现在几何光学机制中;此类限制可以从式(2)和(3)中相关函数的精确表达式获得,其包括由光的波特性确定的干涉和衍射效应。
图2A、2B和2C报告了因变于缝间隔d(表示分辨率)以及物体平面和更远的重新聚焦平面之间的距离z-zm(表示最大可达成景深)的、具有中心到中心距离d和宽度d/2的双缝罩(double-slit mask)的图像的可见性的密度图。这些图允许可视化重新聚焦规程所带来的因变于分辨率和可达成的最大值的景深增强。
图2A和2B(“标准”图像)示出了双缝罩的图像的可见性,如通过标准成像在图像传感器Da和Db两者处获取所获得的那样;图2C报告了根据本发明原理通过相关全光成像获得的双缝罩的图像的可见性。在先前的专利申请(申请号EP3220185A1)中,仅对于值z-zm>0,可见性的密度图等同于图2C中的密度图;对于z-zm<0,无法重新聚焦。
在标准图像(图2A和2B)中,DOF随着分辨率的减小而线性增大,并且只能在聚焦距离附近的窄区域中分辨出两个缝。在本发明的CPI-AP技术中,相对于与分别由Da和Db获取的图2A和2B的图像相关联的DOF的纯粹组合,根据(∑ref(ρr))的经重新聚焦的图像的DOF被高度增强(图2C)。在所提议的模拟中,例如,具有d=18μm的双缝的图像在标准成像(图2A和2B)中具有DOF=0.35mm,而在所应用的技术CPI-AP(图3C)中具有DOF=1.4mm。因此,景深增强相对于标准成像是4倍,而相对于现有技术是2倍。
图3示出了根据本发明的装置的另一实施例,该装置是在照明源例如通过自发参量下转换(SPDC)发射纠缠光子的情形中设计的。处理单元100连接到图像传感器Da和Db,以处理由经同步的图像传感器检测到的强度。
图3的装置包括焦距f>0的两个相同透镜L2(为简单起见,这里假定为薄透镜),其放置在距图像传感器Da和Db的距离z’a和z’b处,并分别在距离za=(1/f-1/z’a)-1和zb=(1/f-1/z’b)-1处定义两个共轭平面D’a和D’b。
透射物体10放置在由b标记的光路中。平面D’a和D"a(均在距透镜L2(在物体侧)的距离za处)位于具有焦距f1>0的附加透镜L1(为简单起见,也假定为薄透镜)的焦平面中。透镜L1收集由SPDC源30发射的两个相关波束。归因于两个波束之间的相关性,当在Da与Db之间测量相关性(或一致性)度量时,在平面D’a中再现平面D"a的“重像”。因此,在光路a中,透镜L2用于将平面D"a的“重像”聚焦在图像传感器Da上。
在用-Ma代替Ma=-z'a/za之际,经重新聚焦的图像仍由式(5)给出。然而,归因于以光瞳函数P2为特征的透镜L2的有限孔径,经重新聚焦的图像因存在包络函数而稍微地复杂,即:
∑ref(ρr)=∫d2ρsGref(ρr,ρs)≈C′η(ρr)|A(ρr)|4 (6.1)
其中
包络函数是由于两条光路之间的非对称性所致;实际上,与先前针对图1的实施例公开的由混沌光照射的设置不同,此处物体10在两条路径a与b之间并非共用的。然而,如果物体大小显著小于透镜大小,则包络相对于ρr是恒定的,具有良好的近似。
在图4A、4B和4C的图像中,示出了通过根据本发明的过程获得的重新聚焦。这些图表示垂直双缝的三幅不同图像,其中中心到中心距离d=21μm,放置在具有焦距f=28.84mm和数值孔径NA=0.1的透镜Lf或L1的za=35.55mm和zb=36.55mm处的两个物体平面的中点。
图4A的经重新聚焦的图像是使用式(6)中所定义的算法获得的,并且可以与在Da上检测到的图4B的离焦图像和通过现有技术的具有Nu=3的全光成像获得的图4C的经重新聚焦的图像进行比较。
在不脱离所附权利要求所限定的本发明的范围的情况下,可以出于说明目的对本文所示的实施例进行各种修改。例如,沿着光路a和b的两个波束可以自然地彼此发散或通过插入附加的光学元件(分束器和反射镜)而发散。所有实施例中的每个透镜总是可以被更复杂的成像系统代替。在图3的实施例中,L1和L2都可以是单个宽透镜或两个分开的透镜,一个用于光路a,而另一个用于光路b。在图3的实施例中,SPDC源可以由纠缠光子或波束的任何发射源代替。而且,在图1的方案中,可以采用发光源来照射物体或3D场景;对于一般的反射/透射/散射物体,光源必须是混沌的,而对于发出混沌光的物体(例如,荧光物体)则可以是激光。
Claims (23)
1.一种用于感兴趣的物体或3D场景的摄影图像、电影摄影图像、显微摄影图像或立体视觉图像的全光捕获的过程,包括以下步骤:
-提供发光源;
-生成来自所述发光源的第一光束(a)和第二光束(b);
-将所述第一光束(a)朝第一图像传感器(Da)引导,并且将所述第二光束(b)朝第二图像传感器(Db)引导,所述第一光束(a)被适配成由所述物体或3D场景(10)反射或通过所述物体或3D场景(10)透射,
其特征在于以下步骤:
-通过测量由所述两个图像传感器(Da,Db)在所述物体附近或在所述3D场景(10)内选取的至少两个任意平面(P',P";D'b,D"a)的像平面中检测到的光强度之间的时空相关性来获取光的传播方向。
2.根据权利要求1所述的过程,其特征在于,所述发光源选自反射/透射照射混沌光的物体或3D场景(10)和发射混沌光的物体或3D场景(10)。
3.根据权利要求1所述的过程,其特征在于,关于所述光的传播方向的信息是通过根据以下相关函数测量在所述图像传感器(Da,Db)上的点ρa和ρb处获取的强度波动之间的相关性而获得的
G(ρa,ρb)=<ΔIa(ρa)ΔIb(ρb)>
其中i=a,b,并且ΔIi(ρi)=Ii(ρi)-<Ii(ρi)>是图像传感器Di上的点ρi处的强度波动,符号<…>表示所发射的光上的统计平均。
4.根据权利要求1所述的过程,其特征在于,原始图像的景深(DOF)是通过在所述两个任意平面(P',P";D’b,D"a)之间重建光的方向并通过回溯光路以获得经重新聚焦的图像来增强的。
5.根据权利要求4所述的过程,其特征在于,所述物体的景深增强的图像或所述场景的3D图像是通过堆叠所述经重新聚焦的图像来重建的。
6.根据权利要求1和2所述的过程,其特征在于,来自所述物体或3D场景(10)的混沌光的主光束(5)由主透镜(Lf)收集,并且其中所述第一光束(a)和所述第二光束(b)是通过借助于分光元件(20)分离所述主光束(5)来生成的。
7.根据权利要求6所述的过程,其特征在于,所述第一图像传感器(Da)放置在距所述主透镜(Lf)的后主平面的距离(z’a)处并在距所述主透镜(Lf)的前主平面的距离(za)处获取第一平面(P')的聚焦图像,并且其中所述第二图像传感器(Db)放置在距所述主透镜(Lf)的后主平面的距离(z’b)处并在距所述主透镜(Lf)的前主平面的距离(zb)处获取第二平面(P")的聚焦图像。
8.根据权利要求1所述的过程,其特征在于,所述第一光束(a)和所述第二光束(b)是由纠缠光子源或波束源(30)生成的量子纠缠波束。
9.根据权利要求8所述的过程,其特征在于,焦距为f2的两个相同透镜(L2)按以下方式放置:它们的后主平面分别位于距所述图像传感器(Da)和(Db)的距离(z’a)和(z’b)处,并且在分别距所述透镜(L2)的前主平面的距离za=(1/f-1/z’a)-1和zb=(1/f-1/z’b)-1处定义两个共轭平面(D’a)和(D’b)。
10.根据权利要求8和9所述的过程,其特征在于,具有焦距(f1)的附加透镜(L1)收集由所述纠缠光子源或波束源(30)发射的两个相关波束。
11.根据权利要求8至10所述的过程,其特征在于,所述物体或3D场景(10)放置在所述光束(a,b)之一的光路中。
12.根据权利要求8至11所述的过程,其特征在于,平行于所述平面(D’a,D’b)的平面(D"a)是沿着所述第二光束(b)的光路在距相关透镜(L2)的距离(za)处被定义的,并且其中当在所述图像传感器(Da)与(Db)之间测量相关性或一致性度量时所述平面(D"a)的“重像”在所述平面(D’a)中再现。
13.一种用于感兴趣的物体或3D场景的摄影图像、电影摄影图像、显微摄影图像或立体视觉图像的全光捕获的装置,包括:
-第一图像传感器(Da),用于沿着第一光束(a)的路径检测来自所述物体或3D场景(10)的图像;
-第二图像传感器(Db),用于沿着第二光束(b)的路径检测来自所述物体或3D场景(10)的图像;
-由所述经同步的图像传感器(Da,Db)检测到的强度的处理单元(100);
其特征在于,所述处理单元被配置成:通过测量由所述图像传感器(Da,Db)在所述物体附近或在所述3D场景(10)内选取的至少两个任意平面(P',P";D'b,D"a)的像平面中检测到的光强度之间的时空相关性来获取光的传播方向。
14.根据权利要求13所述的装置,进一步包括主透镜(Lf),其中所述至少两个任意平面(P',P")的聚焦图像在距所述主透镜(Lf)的前主平面的不同距离(za)和(zb)处被获取。
15.根据权利要求13和14所述的装置,其特征在于,所述第一图像传感器(Da)放置在距所述主透镜(Lf)的后主平面的距离(z’a)处,而第二图像传感器(Db)放置在距主透镜(Lf)的后主平面的距离(z’b)处。
16.根据权利要求13至15所述的装置,进一步包括分光元件(20),所述分光元件(20)放置在所述主透镜(Lf)与所述图像传感器(Da,Db)之间以便通过所述主透镜(Lf)从来自所述物体或3D场景(10)的主光束(5)生成所述第一光束(a)和所述第二光束(b)。
17.根据权利要求13至16所述的装置,进一步包括发光源,其中所述发光源是反射/透射来自混沌源的光的物体或3D场景(10)或者所述发光源是发出混沌光的相同物体或3D场景(10)。
18.根据权利要求13所述的装置,所述装置被配置成检测来自纠缠光子源或波束光源(30)的所述第一光束(a)和所述第二光束(b)。
19.根据权利要求13所述的装置,其特征在于,焦距为(f2)的两个相同透镜(L2)按以下方式放置:它们的后主平面沿所述第一光束(a)和所述第二光束(b)的各自相应路径分别位于距所述图像传感器(Da)和(Db)的距离(z’a)和(z’b)处,并且在分别距所述透镜(L2)的前主平面的距离za=(1/f-1/z’a)-1和zb=(1/f-1/z’b)-1处定义两个共轭平面(D’a)和(D’b)。
20.根据权利要求13、18和19所述的装置,其特征在于,所述至少两个任意平面(D'b,D"a)的聚焦图像在距所述透镜(L2)的后主平面的不同距离(z’a)和(z’b)处被获取。
21.根据权利要求13和18至20所述的装置,进一步包括具有焦距(f1)的附加透镜(L1),所述附加透镜(L1)放置在所述纠缠光子源或波束源(30)与所述两个相同透镜(L2)之间。
22.根据权利要求13所述的装置,其特征在于,所述第一图像传感器(Da)和所述第二图像传感器(Db)是不同的经同步的图像传感器设备。
23.根据权利要求13所述的装置,其特征在于,所述第一图像传感器和所述第二图像传感器是相同图像传感器设备的两个非相交的部件。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2019/052351 WO2020194025A1 (en) | 2019-03-22 | 2019-03-22 | Process and apparatus for the capture of plenoptic images between arbitrary planes |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113302541A true CN113302541A (zh) | 2021-08-24 |
CN113302541B CN113302541B (zh) | 2024-08-06 |
Family
ID=66041611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980071718.0A Active CN113302541B (zh) | 2019-03-22 | 2019-03-22 | 用于捕获任意平面之间的全光图像的过程和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11523097B2 (zh) |
EP (1) | EP3942345A1 (zh) |
CN (1) | CN113302541B (zh) |
WO (1) | WO2020194025A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111465885A (zh) * | 2017-09-26 | 2020-07-28 | 巴里大学 | 用于对标准图像和全光图像的同时捕捉的设备和过程 |
US11853845B2 (en) * | 2020-09-02 | 2023-12-26 | Cognex Corporation | Machine vision system and method with multi-aperture optics assembly |
US11598946B2 (en) | 2020-10-14 | 2023-03-07 | Lawrence Livermore National Security, Llc | Widefield three-dimensional microscopy with a quantum entanglement light source |
WO2022130001A1 (en) * | 2020-12-17 | 2022-06-23 | Università Degli Studi Di Bari Aldo Moro | Hyperspectral imaging device and method |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003019283A2 (en) * | 2001-08-24 | 2003-03-06 | Ut-Battelle, Llc | Interferometric source of multi-color, multi-beam entagled photons |
US20040175167A1 (en) * | 2002-12-18 | 2004-09-09 | Hideyasu Takato | Focus detecting optical system and camera provided with the same |
CN1601297A (zh) * | 2003-09-28 | 2005-03-30 | 清华大学 | 一种适用于低对比度场景合成孔径雷达成像的自聚焦方法 |
CN101065955A (zh) * | 2004-10-01 | 2007-10-31 | 利兰·斯坦福青年大学托管委员会 | 成像装置及其方法 |
CN101685004A (zh) * | 2008-09-22 | 2010-03-31 | 巴里大学 | 用于光纤应变测量的系统 |
CN101846745A (zh) * | 2010-05-07 | 2010-09-29 | 浙江大学 | 基于强关联量子成像原理的激光雷达 |
CN101939703A (zh) * | 2008-12-25 | 2011-01-05 | 深圳市泛彩溢实业有限公司 | 全息三维图像信息采集装置、方法及还原装置、方法 |
US20120232842A1 (en) * | 2011-03-10 | 2012-09-13 | Haithem Altwaijry | Computing imaging data using intensity correlation interferometry |
CN103363924A (zh) * | 2013-07-15 | 2013-10-23 | 中国科学院空间科学与应用研究中心 | 一种压缩的三维计算鬼成像系统及方法 |
CN103472456A (zh) * | 2013-09-13 | 2013-12-25 | 中国科学院空间科学与应用研究中心 | 一种基于稀疏孔径压缩计算关联的主动成像系统及方法 |
CN103516976A (zh) * | 2012-06-25 | 2014-01-15 | 佳能株式会社 | 图像摄取装置及其控制方法 |
US20140139634A1 (en) * | 2012-11-21 | 2014-05-22 | Align Technology, Inc. | Confocal imaging using astigmatism |
CN104344816A (zh) * | 2013-08-08 | 2015-02-11 | 赫克斯冈技术中心 | 具有微透镜阵列的大地测量装置 |
CN105371780A (zh) * | 2015-11-06 | 2016-03-02 | 西北大学 | 基于集成成像系统的光学三维相关识别装置及识别方法 |
CN106233329A (zh) * | 2014-04-24 | 2016-12-14 | 高通股份有限公司 | 3d拉东图像的产生和使用 |
EP3220185A1 (en) * | 2016-03-15 | 2017-09-20 | Universita' degli Studi di Bari | Device and process for the plenoptic capture of images |
CN107209123A (zh) * | 2015-01-26 | 2017-09-26 | 加州理工学院 | 多孔傅立叶重叠关联和荧光成像 |
US20180255212A1 (en) * | 2017-03-03 | 2018-09-06 | University Of Maryland Baltimore County | High Resolution Turbulence Free Imaging |
CN108685560A (zh) * | 2017-04-12 | 2018-10-23 | 香港生物医学工程有限公司 | 用于机器人内窥镜的自动化转向系统和方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7620309B2 (en) | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
-
2019
- 2019-03-22 CN CN201980071718.0A patent/CN113302541B/zh active Active
- 2019-03-22 EP EP19715582.3A patent/EP3942345A1/en active Pending
- 2019-03-22 WO PCT/IB2019/052351 patent/WO2020194025A1/en active Application Filing
- 2019-03-22 US US17/290,373 patent/US11523097B2/en active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003019283A2 (en) * | 2001-08-24 | 2003-03-06 | Ut-Battelle, Llc | Interferometric source of multi-color, multi-beam entagled photons |
US20040175167A1 (en) * | 2002-12-18 | 2004-09-09 | Hideyasu Takato | Focus detecting optical system and camera provided with the same |
CN1601297A (zh) * | 2003-09-28 | 2005-03-30 | 清华大学 | 一种适用于低对比度场景合成孔径雷达成像的自聚焦方法 |
CN101065955A (zh) * | 2004-10-01 | 2007-10-31 | 利兰·斯坦福青年大学托管委员会 | 成像装置及其方法 |
CN101685004A (zh) * | 2008-09-22 | 2010-03-31 | 巴里大学 | 用于光纤应变测量的系统 |
CN101939703A (zh) * | 2008-12-25 | 2011-01-05 | 深圳市泛彩溢实业有限公司 | 全息三维图像信息采集装置、方法及还原装置、方法 |
CN101846745A (zh) * | 2010-05-07 | 2010-09-29 | 浙江大学 | 基于强关联量子成像原理的激光雷达 |
US20120232842A1 (en) * | 2011-03-10 | 2012-09-13 | Haithem Altwaijry | Computing imaging data using intensity correlation interferometry |
CN103516976A (zh) * | 2012-06-25 | 2014-01-15 | 佳能株式会社 | 图像摄取装置及其控制方法 |
US20140139634A1 (en) * | 2012-11-21 | 2014-05-22 | Align Technology, Inc. | Confocal imaging using astigmatism |
CN103363924A (zh) * | 2013-07-15 | 2013-10-23 | 中国科学院空间科学与应用研究中心 | 一种压缩的三维计算鬼成像系统及方法 |
CN104344816A (zh) * | 2013-08-08 | 2015-02-11 | 赫克斯冈技术中心 | 具有微透镜阵列的大地测量装置 |
CN103472456A (zh) * | 2013-09-13 | 2013-12-25 | 中国科学院空间科学与应用研究中心 | 一种基于稀疏孔径压缩计算关联的主动成像系统及方法 |
CN106233329A (zh) * | 2014-04-24 | 2016-12-14 | 高通股份有限公司 | 3d拉东图像的产生和使用 |
CN107209123A (zh) * | 2015-01-26 | 2017-09-26 | 加州理工学院 | 多孔傅立叶重叠关联和荧光成像 |
CN105371780A (zh) * | 2015-11-06 | 2016-03-02 | 西北大学 | 基于集成成像系统的光学三维相关识别装置及识别方法 |
EP3220185A1 (en) * | 2016-03-15 | 2017-09-20 | Universita' degli Studi di Bari | Device and process for the plenoptic capture of images |
US20180255212A1 (en) * | 2017-03-03 | 2018-09-06 | University Of Maryland Baltimore County | High Resolution Turbulence Free Imaging |
CN108685560A (zh) * | 2017-04-12 | 2018-10-23 | 香港生物医学工程有限公司 | 用于机器人内窥镜的自动化转向系统和方法 |
Non-Patent Citations (3)
Title |
---|
FRANCESCO DI LENA等: "Correlation Plenoptic Imaging: An Overview", 《APPLIED SCIENCES》, vol. 8, no. 10, pages 1958 - 1 * |
SHAPIRO, JH: "Computational Ghost Imaging", 《PHYSICAL REVIEW A》, vol. 78, no. 6, pages 061802 * |
贾辉 等: "透过散射介质对直线运动目标的全光成像及追踪技术", 《物理学报》, vol. 67, no. 22, pages 242 - 249 * |
Also Published As
Publication number | Publication date |
---|---|
EP3942345A1 (en) | 2022-01-26 |
US20210368154A1 (en) | 2021-11-25 |
WO2020194025A1 (en) | 2020-10-01 |
US11523097B2 (en) | 2022-12-06 |
CN113302541B (zh) | 2024-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9810896B2 (en) | Microscope device and microscope system | |
CN113302541B (zh) | 用于捕获任意平面之间的全光图像的过程和装置 | |
US10182890B2 (en) | Camera for recording surface structures, such as for dental purposes | |
US9219907B2 (en) | Method and apparatus for quantitative 3-D imaging | |
KR101799522B1 (ko) | 교환렌즈 형태를 채용한 3차원 영상 획득 장치 | |
US10715711B2 (en) | Adaptive three-dimensional imaging system and methods and uses thereof | |
JP2009300268A (ja) | 3次元情報検出装置 | |
JP4031306B2 (ja) | 3次元情報検出システム | |
JP4469956B2 (ja) | 多焦点撮像装置 | |
Zhang et al. | Ray tracing with quantum correlated photons to image a three-dimensional scene | |
US11430144B2 (en) | Device and process for the contemporary capture of standard images and plenoptic images via correlation plenoptic imaging | |
JP2018514802A (ja) | 単一カメラを使用して遠隔物体を2つ以上のスペクトルチャネルで同時に画像化する為の多波長ビームスプリッタシステム | |
CN112585521B (zh) | 用于捕获具有湍流衰减的显微全光图像的设备和方法 | |
EP4238303B1 (en) | A multiperspective photography camera device | |
CN103558160A (zh) | 一种提高光谱成像空间分辨率的方法和系统 | |
EP3220185B1 (en) | Device and process for the plenoptic capture of images | |
CN117671101A (zh) | 图像处理装置、图像处理方法和存储介质 | |
CN109936692B (zh) | 基于极线约束的穿散射介质图像采集系统和方法 | |
RU2734070C1 (ru) | Способ измерения пространственного расстояния между малоразмерными объектами | |
KR102469852B1 (ko) | 집적 영상 현미경의 조명계 시스템 | |
RU2806249C1 (ru) | Способ получения изображений высокого пространственного разрешения оптико-электронным средством наблюдения за удаленными объектами | |
KR100885998B1 (ko) | 오목거울을 이용한 3차원 영상획득장치 | |
JP6249367B2 (ja) | 海底撮像装置 | |
TORTOSA et al. | International Bureau | |
JP3763214B2 (ja) | 画像撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |