[go: up one dir, main page]

CN113438388A - 处理方法、摄像头组件、电子设备、处理装置和介质 - Google Patents

处理方法、摄像头组件、电子设备、处理装置和介质 Download PDF

Info

Publication number
CN113438388A
CN113438388A CN202110762101.2A CN202110762101A CN113438388A CN 113438388 A CN113438388 A CN 113438388A CN 202110762101 A CN202110762101 A CN 202110762101A CN 113438388 A CN113438388 A CN 113438388A
Authority
CN
China
Prior art keywords
image
original image
target scene
lens
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762101.2A
Other languages
English (en)
Other versions
CN113438388B (zh
Inventor
胡攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110762101.2A priority Critical patent/CN113438388B/zh
Publication of CN113438388A publication Critical patent/CN113438388A/zh
Application granted granted Critical
Publication of CN113438388B publication Critical patent/CN113438388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种处理方法、摄像头组件、电子设备、处理装置和介质。处理方法用于摄像头组件。摄像头组件包括透镜、图像传感器和驱动件。图像传感器能够通过透镜获取外界光线并生成相应的原始图像。驱动件能够驱动图像传感器在第一位置和第二位置之间运动。处理方法包括:获取图像传感器在第一位置生成的目标场景的第一原始图像;获取图像传感器在第二位置生成的目标场景的第二原始图像;根据第一原始图像、第二原始图像、第一位置、第二位置和透镜的焦距,确定目标场景的深度图像。上述处理方法、摄像头组件、电子设备、处理装置和介质,对软硬件要求较低,获得的深度图像中深度值的精度较高。

Description

处理方法、摄像头组件、电子设备、处理装置和介质
技术领域
本申请涉及图像处理技术领域,特别涉及一种处理方法、摄像头组件、电子设备、处理装置和介质。
背景技术
相关技术中,关于如何在电子设备中获取深度图,一般采用的技术方案有基于双摄图像的、基于结构光的、基于TOF的、基于DFD的和基于AI单摄的。其中,基于双摄、结构光和TOF获取深度图的方案中,除了需要拍照摄影功能需求的模组之外,还需要专门针对深度图计算的需求增加黑白模组、结构光模组或TOF模组等,硬件成本和功耗开销较高;基于DFD和AI单摄获取深度图的方案中,对算法要求较高,且得到的深度的精度较低。因此,需要一种对软硬件要求更低且精度更高的获取深度图的方法。
发明内容
本申请的实施方式提供了一种处理方法、摄像头组件、电子设备、处理装置和介质。
本申请实施方式的处理方法用于摄像头组件。所述摄像头组件包括透镜、图像传感器和驱动件。所述图像传感器能够通过所述透镜获取外界光线并生成相应的原始图像。所述驱动件能够驱动所述图像传感器在第一位置和第二位置之间运动。所述处理方法包括:获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像;获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像;根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
本申请实施方式的摄像头组件包括透镜、图像传感器、驱动件和处理器。所述图像传感器能够通过所述透镜获取外界光线并生成相应的原始图像。所述驱动件能够驱动所述图像传感器在第一位置和第二位置之间运动。所述处理器用于:获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像;获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像;根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
本申请实施方式的电子设备包括壳体及上述实施方式所述的摄像头组件,所述摄像头组件与所述壳体结合。
本申请实施方式的处理装置用于摄像头组件。所述摄像头组件包括透镜、图像传感器和驱动件。所述图像传感器能够通过所述透镜获取外界光线并生成相应的原始图像。所述驱动件能够驱动所述图像传感器在第一位置和第二位置之间运动。所述处理装置包括第一获取模块、第二模块和确定模块。第一获取模块用于获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像。第二模块用于获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像。确定模块用于根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
本申请实施方式的计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行的情况下,实现上述实施方式所述的处理方法的步骤。
上述处理方法、摄像头组件、电子设备、处理装置和介质中,图像传感器在驱动件的驱动下可以运动,从而实现根据图像传感器在第一位置生成的目标场景的第一原始图像、图像传感器在第二位置生成的目标场景的第二原始图像、第一位置、第二位置和透镜的焦距,确定目标场景的深度图像,对软硬件要求较低,获得的深度图像中深度值的精度较高。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的处理方法的流程示意图;
图2是本申请实施方式的摄像头组件的示意图;
图3是本申请实施方式的处理装置的示意图;
图4是本申请实施方式的摄像头组件的示意图;
图5是本申请实施方式的处理方法的曝光时序的示意图;
图6是本申请实施方式的处理方法的完整控制时序的示意图;
图7是本申请实施方式的处理方法的流程示意图;
图8是本申请实施方式的处理装置的示意图;
图9是本申请实施方式的处理方法的场景示意图;
图10是本申请实施方式的处理方法的原理示意图;
图11是本申请实施方式的处理方法的流程示意图;
图12是本申请实施方式的处理装置的示意图;
图13是本申请实施方式的处理方法的流程示意图;
图14是本申请实施方式的处理装置的示意图;
图15是本申请实施方式的处理方法的流程示意图;
图16是本申请实施方式的处理方法的流程示意图;
图17是本申请实施方式的处理装置的示意图;
图18是本申请实施方式的处理方法的流程示意图;
图19是本申请实施方式的处理装置的示意图;
图20是本申请实施方式的处理方法的流程示意图;
图21是本申请实施方式的处理方法的原理示意图;
图22是本申请实施方式的处理方法的流程示意图;
图23是本申请实施方式的处理装置的示意图;
图24是本申请实施方式的电子设备的示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的实施方式在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的实施方式的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请参阅图1-图3,本申请实施方式的处理方法用于摄像头组件10。摄像头组件10包括透镜12(Lens)、图像传感器14和驱动件16。图像传感器14能够通过透镜12获取外界光线并生成相应的原始图像。驱动件16能够驱动图像传感器14在第一位置和第二位置之间运动。处理方法包括:
01:获取图像传感器14在第一位置生成的目标场景的第一原始图像;
03:获取图像传感器14在第二位置生成的目标场景的第二原始图像;
05:根据第一原始图像、第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像。
本申请实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,摄像头组件10包括透镜12、图像传感器14、驱动件16和处理器18,图像传感器14能够通过透镜12获取外界光线并生成相应的原始图像,驱动件16能够驱动图像传感器14在第一位置和第二位置之间运动,处理器18用于:获取图像传感器14在第一位置生成的目标场景的第一原始图像;获取图像传感器14在第二位置生成的目标场景的第二原始图像;根据第一原始图像、第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像。
本申请实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,处理装置200用于摄像头组件10。摄像头组件10包括透镜12、图像传感器14和驱动件16。图像传感器14能够通过透镜12获取外界光线并生成相应的原始图像。驱动件16能够驱动图像传感器14在第一位置和第二位置之间运动。处理装置200包括第一获取模块21、第二获取模块23和第一确定模块25。第一获取模块21用于获取图像传感器14在第一位置生成的目标场景的第一原始图像。第二获取模块23用于获取图像传感器14在第二位置生成的目标场景的第二原始图像。第一确定模块25用于根据第一原始图像、第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像。
本申请的图像传感器14在驱动件16的驱动下可以运动,从而实现根据图像传感器14在第一位置生成的目标场景的第一原始图像、图像传感器14在第二位置生成的目标场景的第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像,对软硬件要求较低,获得的深度图像中深度值的精度较高。
可以理解,在相关技术中,关于如何在电子设备中获取深度图,主要可以分为两大类实现方式。一类是依赖于多模组(双摄)或者特殊模组(结构光/TOF)获取深度图像,这种实现方式需要通过多模组提供的多视角或者特殊成像等额外信息来进行场景深度的解析求解,其依赖的硬件成本较高,在正常的拍照摄影功能需求的模组之外,还需要专门针对深度图像计算的需求增加额外模组,比如双摄用的黑白模组,TOF模组,结构光模组等,除了增加的模组本身带来的成本外,其对电子设备的尺寸、重量、多摄排列空间等都会带来影响,而且多模组造成大量功耗开销,使得电子设备的温升和续航也会受到影响。另一类是依赖于冗余数据和先验信息的拟合,基于设定的模型拟合最优解,通过深度学习建立的场景图片与深度图的匹配关系的数据集或者失焦图像与对焦距离的关系的数据集,迭代的进行调整以求得在设定的模型约束下与GT差异最小的参数,将参数与模型相结合就可以对失焦图片或者场景图片进行深度信息计算,这种实现方式的计算的精度有限。例如,基于DFD的方式,需要获取多帧不同对焦距离的图像,如果达到合理精度,可能需要几百甚至几千帧图像,并保证相机静止且目标场景完全不变,然后对图像中每个点索引最清晰的对焦位置,基于对焦公式来求取每个点的物距,而在实际应用中,考虑内存空间和性能,只能通过快速的拍摄两三帧不同对焦的图像,估计每个点的模糊半径后,基于虚焦程度公式来计算深度,但模糊半径由于纹理的复杂性,相邻成像区域之间的重合,深度的区域差异性等很难估计准确。基于AI单摄估计的方法,其对数据集的需求十分巨大,因为不同的相机的焦距,畸变和成像方式不同,2D像面与3D空间的相对关系不一致,因此每个相机都需要重建数据集,并且考虑到复杂的3D测量设备,与2D图像的对齐等,数据的构建是一个复杂的过程,并且由于深度学习过程的不可控性以及单摄2D图像到3D空间的信息丢失,仅仅依靠数据集和先验约束容易产生误差。
而本申请实施方式的处理方法中,摄像头组件10基于传感器位移(sensor shift)的光学防抖技术,通过sensor shift的方式,拍摄图像传感器14位于不同位置的两帧图像,基于这两帧图像的视差,生成目标场景的深度图像,从而通过sensor shift模组能够生成深度图像,硬件成本较低,功耗开销较低,获得的深度图像中深度值的精度也较高。此外,摄像头组件10与sensor shift的光学防抖技术相关,通过与这一技术相结合,可以复用模组开发生产,实现技术迭代,推动产业发展。
具体地,摄像头组件10可兼具光学防抖功能和生成深度图像功能。图像传感器14在驱动件16驱动下的运动可包括位移(sensor shift)或转动(sensor tilt),以下将以sensor shift为例,对本申请的处理方法的有益效果和实施方式进行说明。驱动件16可包括音圈马达(Voice Coil Motor,VCM)。在某些实施方式中,驱动件16能够驱动图像传感器14在预设平面内运动,例如,驱动件16能够驱动图像传感器14在预设平面内向左位移或者向右位移。通常情况下,透镜12的中心与图像传感器14的中心共线,当驱动件16驱动图像传感器14运动时,透镜12的中心的位置发生变化,透镜12的中心与图像传感器14的中心不共线,同一物点在图像传感器14上产生不同的成像点。第一位置和第二位置可为预设平面上的两个不同的位置。在某些实施方式中,图像传感器14包括多个感光单元,全部感光单元排布在同一平面内,为了可以快速确定目标场景的深度图像,可将与感光单元所在平面平行的平面作为预设平面,也即是说,驱动件16驱动图像传感器14在平行于感光单元所在平面的预设平面内运动。例如,驱动件16能够驱动图像传感器14在平行于感光单元所在平面的预设平面内横向位移或者纵向位移。
进一步地,目标场景可以理解为需要计算深度值的场景。第一原始图像和第二原始图像中均包括目标场景,第一原始图像和第二原始图像中还可包括不需要计算深度值的非目标场景。在需要确定目标场景的深度信息时,驱动件16先将图像传感器14驱动至第一位置,图像传感器14根据在第一位置接收到的外界光线生成包括目标场景的第一原始图像,然后驱动件16将图像传感器14驱动至第二位置,图像传感器14根据在第二位置接收到的外界光线生成包括目标场景的第二原始图像,处理器18根据第一原始图像、第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像。第一原始图像和第二原始图像中的一个与深度图像可作为图像传感器14的输出图像。
可以理解的是,为了避免曝光时间过长和帧间间隔时间过长导致第一原始图像和第二原始图像自身较为模糊及第一原始图像和第二原始图像之间的差异较大(电子设备运动或者目标场景运动),可以快速连续曝光获取第一原始图像和第二原始图像。
在某些实施方式中,步骤01、步骤03和步骤05还可由图像传感器14实现。如此,一方面可以实现与图像传感器14的运动间准确的时序控制,确保曝光时图像传感器14已经移动到位并保持不动;另一方面可以直接确定第一位置和第二位置,从而确定第一位置和第二位置之间的距离;此外,图像传感器14自身具备直接输出深度图像的功能,可以直接由图像传感器14打包输出正常图像和对应的深度图像,为后端应用使用逐帧的深度图像提供了设计和开发便利。具体地,请结合图4,图像传感器14可包括双倍速率同步动态随机存储器(Double Data Rate,DDR)、运算模块(Image matching&depth calculation)和移动产业处理器接口(Mobile Industry Processor Interface,MIPI)。摄像头组件10可包括应用处理器(Application Processor,AP)。DDR能够存储连续两帧第一原始图像和第二原始图像,从而确保可以在计算特征前在DDR中加载第一原始图像和第二原始图像的全部内容。运算模块能够对第一原始图像和第二原始图像进行快速和低功耗的特征匹配和深度计算,从而确保深度图像功能不影响正常的出图帧率。通过MIPI能够输出封装的正常图像和深度图像,在同一次请求或者同一次中断中输出,以确保后端的应用处理器对数据利用可以使用更加便捷的软件设计。输出的正常图像可为第一原始图像或者第二原始图像。
进一步地,考虑到图像传感器14需要知道第一位置和第二位置,并能和帧的曝光进行准确的同步,可以将光学防抖的控制逻辑也内置于图像传感器14中,这样图像传感器14的运动可以直接与图像传感器14的帧对齐(Vsync)、行对齐(Hsync)时序进行同步,因此,在图4所示的实施方式中,图像传感器14与驱动电路(Driver IC)存在直接的硬件连接(如SPI等)以进行控制。
此外,在某些实施方式中,图像传感器14采用卷帘快门(Rolling Shutter)的方式进行曝光,其曝光时序如图5所示,其中,Vsync为单帧图像曝光的中间时刻点,Hsync为每行曝光的中间时刻点,因此,图像传感器14的完整的控制时序可如图6所示。在图6所示的控制时序中,图像传感器14的帧输出(Frame Image date with depth data)等到第一原始图像和第二原始图像均完成曝光且完成深度图像的计算后才输出,并在每次进行曝光前完成对图像传感器14的位置的控制(OIS Sensor Shift)。
请参阅图7和图8,在某些实施方式中,目标场景包括目标物点,步骤05包括:
051:确定目标场景中目标物点在第一原始图像和第二原始图像中的视差;
053:确定第一位置与第二位置的第一距离;
055:根据视差、第一距离和透镜12的焦距,确定目标物点的深度值以形成目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于确定目标场景中目标物点在第一原始图像和第二原始图像中的视差,及用于确定第一位置与第二位置的第一距离,及用于根据视差、第一距离和透镜12的焦距,确定目标物点的深度值以形成目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,第一确定模块25包括第一确定单元2511、第二确定单元2513和第三确定单元2515。第一确定单元2511用于确定目标场景中目标物点在第一原始图像和第二原始图像中的视差。第二确定单元2513用于确定第一位置与第二位置的第一距离。第三确定单元2515用于根据视差、第一距离和透镜12的焦距,确定目标物点的深度值以形成目标场景的深度图像。
如此,基于双目视觉视差测距原理,能够较为准确地确定目标物点的深度值。可以理解,在驱动件16驱动图像传感器14在平行于感光单元所在平面的预设平面内运动时,第一原始图像和第二原始图像相当于通过位于同一平面的两个摄像头组件10获取的图像,因此满足双目视觉视差测距原理的条件。
具体地,由于第一原始图像是在图像传感器14处于第一位置时获取的,第二原始图像是在图像传感器14处于第二位置时获取的,第一位置和第二位置是同一平面内的不同位置,因此目标物点在第一原始图像和第二原始图像中对应的像素点的位置不同,目标物点在第一原始图像和第二原始图像中存在视差。在某些实施方式中,驱动件16驱动图像传感器14在平行于感光单元所在平面的预设平面内横向位移,这样,获取到的第一原始图像和第二原始图像直接满足极线约束,也就是同一目标物点在第一原始图像和第二原始图像中对应的像素点共行,所以可以直接基于视差原理获取深度图像,而不需要采用复杂的双摄标定以及对图像进行额外的旋转和平移校正以使得第一原始图像和第二原始图像满足极线约束。由于目标物点在第一原始图像和第二原始图像中对应的像素点位于相同行不同列,确定目标物点在第一原始图像和第二原始图像中对应的像素点的列号(也即x坐标)的差值,即可确定目标物点在第一原始图像和第二原始图像中的视差。第一距离即就是第一位置与第二位置之间的水平距离。深度值即就是目标物点与摄像头组件10的距离。
进一步地,目标场景可包括多个目标物点,在分别确定每个物点在第一原始图像和第二原始图像中的视差之后,根据确定的视差、第一距离和透镜12的焦距,即可确定每个目标物点的深度值,进而可根据每个目标物点的深度值形成深度图像。
在某些实施方式中,目标场景包括多个物点,目标物点为目标场景中的全部物点,或目标物点为目标场景中的部分物点。
如此,可以确定目标场景中全部物点或者部分物点的深度值。
具体地,当目标物点为目标场景中的全部物点时,确定目标场景中的全部物点的深度值以形成深度图像,这样获得的深度图像中深度信息比较全面;当目标物点为目标场景中的部分物点时,确定目标场景中的部分物点的深度值以形成深度图像,这样能够减少获得的深度图像中深度信息的计算量。可以理解,在获取深度图像时,由于实际使用中并不一定需要使用全尺寸分辨率的深度图像(例如4000x3000),而是只需要小尺寸的深度图像(例如640x480),因此可以考虑在获取深度图像时只采用小图进行计算,或者行列方向隔N行、M列来获取深度图,从而大量减少计算量,提高图像传感器14输出深度图像的性能,降低图像传感器14内置驱动电路的面积和开销。
进一步地,在采用小图计算深度值以形成深度图像的方式中,可对第一原始图像和第二原始图像的尺寸进行压缩以获得较小尺寸的第一原始图像和第二原始图像,从而减少获取深度图像所需要的计算量。在行列方向隔N行、M列获取深度图的方式中,可按照预设规则对目标场景的全部物点进行筛选,例如在行列方向上选取特定行、特定列的物点作为目标物点,进而计算特定行、特定列的物点的深度值并形成深度图像,从而大大减少获取深度图像所需要的计算量。
在某些实施方式中,目标物点的深度值为:Z=f*b/d,其中,f为透镜12的焦距,b为第一距离,d为目标物点在第一原始图像和第二原始图像中的视差。
如此,能够根据视差、第一距离和透镜12的焦距,确定目标物点的深度值。
具体地,请结合图9和图10,在图9中,对于目标物点P,基于几何光学原理,当图像传感器14从初始位置向左位移m1距离时到达第一位置,产生的像点为p1,当图像传感器14从初始位置向右位移m2距离时到达第二位置,产生的像点为p2,p1与p2在像平面上的距离即为视差d,由于图像传感器14只产生了横向移动,因此p1和p2位于图像中的相同行不同列。进一步地,基于小孔成像模型,可以将图9的几何成像过程简化为图10所示。在图8所示的实施方式中,X2+X4=m2,X1+X3=m1,像素点p1和p2之间的像平面距离,也就是水平视差d(不同列号,也即x坐标)为|XR-XL|,由相似三角形可得:
Figure BDA0003150307350000061
Figure BDA0003150307350000062
由于b=m1+m2,因此,目标物点P的深度值为:
Figure BDA0003150307350000063
请参阅图11和图12,在某些实施方式中,在步骤03之前,处理方法还包括:
02:获取图像传感器14在第三位置生成的目标场景的中间原始图像,中间原始图像的曝光时长大于第一原始图像的曝光时长,中间原始图像的曝光时长大于第二原始图像的曝光时长;
在步骤05之后,处理方法还包括:
07:根据中间原始图像和深度图像,确定目标图像。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于获取图像传感器14在第三位置生成的目标场景的中间原始图像,第三位置位于第一位置和第二位置之间,中间原始图像的曝光时长大于第一原始图像的曝光时长,中间原始图像的曝光时长大于第二原始图像的曝光时长,及用于根据中间原始图像和深度图像,确定目标图像。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,处理装置200还包括第三获取模块27和第二确定模块29。第三获取模块27用于获取图像传感器14在第三位置生成的目标场景的中间原始图像,中间原始图像的曝光时长大于第一原始图像的曝光时长,中间原始图像的曝光时长大于第二原始图像的曝光时长。第二确定模块29用于根据中间原始图像和深度图像,确定目标图像。
如此,能够获得清晰度较高的中间原始图像和目标图像,能够满足不同状态下对输出图像的画质的需求。可以理解,在某些实施方式中,快速连续曝光获得第一原始图像和第二原始图像,采用的是双短曝的模式,也即是说,获取第一原始图像的曝光时长和获取第二原始图像的曝光时长较短,这样可能导致第一原始图像和第二原始图像的清晰度较差,而本实施方式采用短长短三曝光的模式,也即是说,在通过短曝获取第一原始图像之后且通过短曝获取第二原始图像之前,以较长的曝光时长获取中间原始图像,其中,采用头尾的短曝的第一原始图像和第二原始图像进行深度图像计算,使用中间的长曝或者正常曝光的中间原始图像作为伴随正常图像输出,这样能够保证后端处理时形成的目标图像的画质。
具体地,第三位置可为第一位置或第二位置,第三位置也可为除了第一位置和第二位置之外的其他任意位置。中间原始图像和深度图像可作为图像传感器14的输出图像。在某些实施方式中,对图像传感器14输出的中间原始图像和深度图像进行后处理以得到目标图像。
在某些实施方式中,图像传感器14包括移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI),摄像头组件10包括应用处理器(Application Processor,AP),移动产业处理器接口能够将深度图像和中间原始图像传输至应用处理器,应用处理器能够根据接收到的深度图像和中间原始图像生成目标图像。
如此,图像传感器14具有直出深度图像的功能,且深度图像能够被后端的应用处理器直接使用。
请参阅图13和图14,在某些实施方式中,第一原始图像包括多帧,第二原始图像包括多帧,第一原始图像与第二原始图像的帧数相同,步骤05包括:
057:根据多帧第一原始图像、多帧第二原始图像、第一位置、第二位置和透镜12的焦距,确定多帧目标场景的原始深度图像;
059:融合多帧目标场景的原始深度图像以得到目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于根据多帧第一原始图像、多帧第二原始图像、第一位置、第二位置和透镜12的焦距,确定多帧目标场景的原始深度图像,及用于融合多帧目标场景的原始深度图像以得到目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,第一确定模块25包括第四确定单元2517和第一融合单元2519。第四确定单元2517用于根据多帧第一原始图像、多帧第二原始图像、第一位置、第二位置和透镜12的焦距,确定多帧目标场景的原始深度图像。第一融合单元2519用于融合多帧目标场景的原始深度图像以得到目标场景的深度图像。
如此,通过融合多帧原始深度图像得到的深度图像中深度值更加准确,精度得到提高。
具体地,原始深度图像的帧数与第一原始图像的帧数也相同。在获取第一原始图像和第二原始图像时,拍摄多帧或者连续帧第一原始图像和第二原始图像,多帧或者连续帧第一原始图像和第二原始图像可以组成多个第一原始图像-第二原始图像图像对,进而可以确定每个第一原始图像-第二原始图像图像对对应的目标场景的原始深度图像,融合得到的全部原始深度图像,可以得到最终作为输出的深度图像。
请参阅图15,在某些实施方式中,透镜12包括第一透镜和第二透镜。图像传感器14包括第一图像传感器和第二图像传感器。驱动件16包括第一驱动件和第二驱动件。第一图像传感器能够通过第一透镜获取外界光线并生成相应的原始图像。第一驱动件能够驱动第一图像传感器在第一位置和第二位置之间运动。第二图像传感器能够通过第二透镜获取外界光线并生成相应的原始图像。第二驱动件能够驱动第二图像传感器在第一位置和第二位置之间运动。步骤01包括:
012:获取第一图像传感器在第一位置生成的目标场景的第一原始图像;
步骤03包括:
032:获取第二图像传感器在第二位置生成的目标场景的第二原始图像;
步骤05包括:
052:根据第一原始图像、第二原始图像、第一图像传感器的第一位置、第二图像传感器的第二位置、第一透镜的第一焦距和第二透镜的第二焦距,确定目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于获取第一图像传感器在第一位置生成的目标场景的第一原始图像,及用于获取第二图像传感器在第二位置生成的目标场景的第二原始图像,及用于据第一原始图像、第二原始图像、第一图像传感器的第一位置、第二图像传感器的第二位置、第一透镜的第一焦距和第二透镜的第二焦距,确定目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,第一获取模块21用于获取第一图像传感器在第一位置生成的目标场景的第一原始图像。第二获取模块23用于获取第二图像传感器在第二位置生成的目标场景的第二原始图像。第一确定模块25用于根据第一原始图像、第二原始图像、第一图像传感器的第一位置、第二图像传感器的第二位置、第一透镜的第一焦距和第二透镜的第二焦距,确定目标场景的深度图像。
如此,在采用多模组时,能够确定更深处目标场景的深度值,并增大深度图像的深度值范围。可以理解,在基于双目视觉视差测距原理进行测距时,双摄之间的距离越大,可测量的深度越深。
具体地,在采用多模组时,多模组设置在相同的平面上。例如,第一透镜和第二透镜位于同一平面;第一图像传感器和第二图像传感器位于同一平面。多模组可以理解为图像传感器14的数量至少包括两个。多模组中的每个图像传感器14均能够在第一位置和第二位置之间运动。当采用多模组确定目标场景的的深度图像时,可以根据不同模组不同图像传感器14位置获取到的原始图像来确定目标场景的深度图像,例如,根据第一图像传感器在第一位置生成的目标场景的第一原始图像及第二图像传感器在第二位置生成的目标场景的第二原始图像确定目标场景的深度图像。可以理解,相较于根据单模组同一图像传感器14的不同位置获得第一原始图像和第二原始图像,根据多模组不同图像传感器14的不同位置获得第一原始图像和第二原始图像时,不同图像传感器14不同位置之间的距离大于同一图像传感器14不同位置之间的距离,从而多模组能够测量的深度越深。
请参阅图16和图17,在某些实施方式中,目标场景包括目标物点,步骤052包括:
0521:确定目标场景中目标物点在第一原始图像和第二原始图像中的视差;
0523:确定第一图像传感器的第一位置与第二图像传感器的第二位置的第二距离;
0525:根据视差、第二距离、第一透镜的第一焦距和第二透镜的第二焦距,确定目标物点的深度值以形成目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于确定目标场景中目标物点在第一原始图像和第二原始图像中的视差,及用于确定第一图像传感器的第一位置与第二图像传感器的第二位置的第二距离,及用于根据视差、第二距离、第一透镜的第一焦距和第二透镜的第二焦距,确定目标物点的深度值以形成目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,第一确定模块25包括第五确定单元2521、第六确定单元2523和第七确定单元2525。第五确定单元2521用于确定目标场景中目标物点在第一原始图像和第二原始图像中的视差。第六确定单元2523用于确定第一图像传感器的第一位置与第二图像传感器的第二位置的第二距离。第七确定单元2525用于根据视差、第二距离、第一透镜的第一焦距和第二透镜的第二焦距,确定目标物点的深度值以形成目标场景的深度图像。
如此,基于双目视觉视差测距原理,能够较为准确地确定目标物点的深度值。可以理解,在驱动件16驱动图像传感器14在平行于感光单元所在平面的预设平面内运动时,第一原始图像和第二原始图像相当于通过位于同一平面的两个摄像头组件10获取的图像,因此满足双目视觉视差测距原理的条件。
具体地,由于第一原始图像是在第一图像传感器处于第一位置时获取的,第二原始图像是在第二图像传感器处于第二位置时获取的,第一位置和第二位置是同一平面内的不同位置,因此目标物点在第一原始图像和第二原始图像中对应的像素点的位置不同,目标物点在第一原始图像和第二原始图像中存在视差。在某些实施方式中,第一驱动件驱动第一图像传感器在平行于感光单元所在平面的预设平面内横向位移,第二驱动件驱动第二图像传感器在平行于感光单元所在平面的预设平面内横向位移,这样,目标物点在第一原始图像和第二原始图像中对应的像素点位于相同行不同列,确定目标物点在第一原始图像和第二原始图像中对应的像素点的列号(也即x坐标)的差值,即可确定目标物点在第一原始图像和第二原始图像中的视差。第二距离即就是第一图像传感器的第一位置与第二图像传感器的第二位置之间的水平距离。通常情况下,第二距离大于第一距离。深度值即就是目标物点与摄像头组件10的距离。
进一步地,目标场景可包括多个目标物点,在分别确定每个物点在第一原始图像和第二原始图像中的视差之后,根据确定的视差、第二距离和透镜12的焦距,即可确定每个目标物点的深度值,进而可根据每个目标物点的深度值形成深度图像。
在某些实施方式中,目标场景包括多个物点,目标物点为目标场景中的全部物点,或目标物点为目标场景中的部分物点。
如此,可以确定目标场景中全部物点或者部分物点的深度值。
在某些实施方式中,第一焦距与第二焦距相同,目标物点的深度值为:Z=f*b/d,其中,f为第一焦距或第二焦距,b为第二距离,d为目标物点在第一原始图像和第二原始图像中的视差。
如此,能够根据视差、第二距离、第一焦距或第二焦距,确定目标物点的深度值。
请参阅图18和图19,在某些实施方式中,步骤051或步骤0521包括:
0511:对第一原始图像和第二原始图像进行特征匹配,以确定目标物点在第一原始图像中的第一图像位置和目标物点在第二原始图像中的第二图像位置;
0513:根据第一图像位置和第二图像位置,确定目标场景中目标物点在第一原始图像和第二原始图像中的视差。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于对第一原始图像和第二原始图像进行特征匹配,以确定目标物点在第一原始图像中的第一图像位置和目标物点在第二原始图像中的第二图像位置,及用于根据第一图像位置和第二图像位置,确定目标场景中目标物点在第一原始图像和第二原始图像中的视差。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,第一确定单元2511包括匹配子单元25111和确定子单元25113。匹配子单元25111用于对第一原始图像和第二原始图像进行特征匹配,以确定目标物点在第一原始图像中的第一图像位置和目标物点在第二原始图像中的第二图像位置。确定子单元25113用于根据第一图像位置和第二图像位置,确定目标场景中目标物点在第一原始图像和第二原始图像中的视差。
如此,能够快速准确地确定目标物点在第一原始图像和第二原始图像中的视差。可以理解,对于图像传感器14运动时只产生横向移动的情况,目标物点在第一原始图像和第二原始图像中对应的像素点只存在x坐标差异,因此采用特征提取和匹配的方式进行视差的计算时,可以快速的获取目标物点在第一原始图像和第二原始图像中的视差。此外,在基于同行约束和帧间变化差异小的假设下,可以快速得获得一个逐像素点的稠密的像素点匹配关系。
请参阅图20,在某些实施方式中,步骤0511包括:
05111:根据目标物点确定第一原始图像中的待匹配像素点,待匹配像素点在第一原始图像中的位置为第一图像位置;
05113:确定待匹配像素点的第一特征;
05115:确定第二原始图像中每个像素点的第二特征;
05117:对待匹配像素点的第一特征和第二原始图像中每个像素点的第二特征进行匹配,以确定第二原始图像中与待匹配像素点匹配的像素点,第二原始图像中与待匹配像素点匹配的像素点在第二原始图像中的位置为第二图像位置。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于根据目标物点确定第一原始图像中的待匹配像素点,待匹配像素点在第一原始图像中的位置为第一图像位置,及用于确定待匹配像素点的第一特征,及用于确定第二原始图像中每个像素点的第二特征,及用于对待匹配像素点的第一特征和第二原始图像中每个像素点的第二特征进行匹配,以确定第二原始图像中与待匹配像素点匹配的像素点,第二原始图像中与待匹配像素点匹配的像素点在第二原始图像中的位置为第二图像位置。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,匹配子单元25111用于根据目标物点确定第一原始图像中的待匹配像素点,待匹配像素点在第一原始图像中的位置为第一图像位置,及用于确定待匹配像素点的第一特征,及用于确定第二原始图像中每个像素点的第二特征,及用于对待匹配像素点的第一特征和第二原始图像中每个像素点的第二特征进行匹配,以确定第二原始图像中与待匹配像素点匹配的像素点,第二原始图像中与待匹配像素点匹配的像素点在第二原始图像中的位置为第二图像位置。
如此,能够快速准确地确定目标物点在第一原始图像和第二原始图像中的位置。
具体地,待匹配像素点即就是目标物点在第一原始图像中对应的像素点。待匹配像素点的数量与目标物点的数量可相同。在匹配第一原始图像和第二原始图像时,对于第一原始图像中的每个待匹配像素点,搜索第二原始图像的同一行、一定列范围内的像素点进行匹配,以匹配最佳点为匹配对,匹配对中两个像素点之间的列距离即为对应的目标物点在第一原始图像和第二原始图像中的视差,进一步地,由于透镜12的焦距、第一位置与第二位置之间的距离已知,从而可以直接得到目标物点对应的像素点的深度值。
进一步地,请结合图21,在进行特征匹配时,为了排出光照、噪声等外部变化带来的帧间相同物点对应的像素点的像素值差异,第一特征和第二特征可以采用更为鲁棒的邻域描述子来进行特征描述,常见的比如以像素点3x3、5x5或者7x7邻域的梯度直方图来作为描述子。同时,也可以结合画面的连续性,在像平面上做一些变化约束和插值拟合来确保得到更为光滑连续的深度图像。
需要指出的是,在某些实施方式中,由于特征匹配在raw域进行,因此前述的常规图像匹配的方法所使用的描述子和匹配方法需要进行适当的修改和增加一定的约束以适配RGGB,BGGR,GBGR甚至Quad bayer等CFA pattern排列形式。例如,在进行特征匹配时,R像素只和R像素进行匹配,G像素只和G像素进行匹配,并在计算描述子时,对于R像素的描述子,只统计R像素的梯度直方图,或者使用RGB三通道直方图进行匹配。
请参阅图22和图23,在某些实施方式中,第一原始图像包括多帧,第二原始图像包括多帧,第一原始图像与第二原始图像的帧数相同,步骤052包括:
0527:根据多帧第一原始图像、多帧第二原始图像、第一图像传感器的第一位置、第二图像传感器的第二位置、第一透镜的第一焦距和第二透镜的第二焦距,确定多帧目标场景的原始深度图像;
0529:融合多帧目标场景的原始深度图像以得到目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的摄像头组件10实现。具体地,处理器18用于根据多帧第一原始图像、多帧第二原始图像、第一图像传感器的第一位置、第二图像传感器的第二位置、第一透镜的第一焦距和第二透镜的第二焦距,确定多帧目标场景的原始深度图像,及用于融合多帧目标场景的原始深度图像以得到目标场景的深度图像。
上述实施方式的处理方法可由本申请实施方式的处理装置200实现。具体地,第一确定模块25包括第八确定单元2527和第二融合单元2529。第八确定单元2527用于根据多帧第一原始图像、多帧第二原始图像、第一图像传感器的第一位置、第二图像传感器的第二位置、第一透镜的第一焦距和第二透镜的第二焦距,确定多帧目标场景的原始深度图像。第二融合单元2529用于融合多帧目标场景的原始深度图像以得到目标场景的深度图像。
如此,通过融合多帧原始深度图像得到的深度图像中深度值更加准确,精度得到提高。
在某些实施方式中,图像传感器14包括双倍速率同步动态随机存储器和运算模块,双倍速率同步动态随机存储器能够存储第一原始图像和第二原始图像,运算模块能够根据第一原始图像、第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像。
如此,图像传感器14能够直接输出深度图像,方便后端AP直接使用。
具体地,运算模块能够用于匹配第一原始图像和第二原始图像中的相同目标物点,还能够用于计算目标物点的深度值。
请参阅图24,本申请实施方式的电子设备100包括壳体30及上述实施方式的摄像头组件10,摄像头组件10与壳体30结合。
本申请的图像传感器14在驱动件16的驱动下可以运动,从而实现根据图像传感器14在第一位置生成的目标场景的第一原始图像、图像传感器14在第二位置生成的目标场景的第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像,对软硬件要求较低,获得的深度图像中深度值的精度较高。
需要指出的是,上述对处理方法及摄像头组件10的实施方式和有益效果的解释说明,也适应本实施方式的电子设备100,为避免冗余,在此不作详细展开。
具体地,在图24的实施方式中,电子设备100为手机,在其他实施方式中,电子设备100还可为平板电脑、笔记本电脑、智能穿戴设备(智能手表、智能手环等)、头显设备、游戏机、智能家电、显示器或者其他任意具有拍摄图像功能的装置。摄像头组件10与壳体30结合,例如,摄像头组件10可安装在壳体30内。
本申请实施方式的计算机可读存储介质,其上存储有计算机程序,程序被处理器执行的情况下,实现上述任一实施方式的处理方法的步骤。
例如,程序被处理器执行的情况下,实现以下处理方法的步骤:
01:获取图像传感器14在第一位置生成的目标场景的第一原始图像;
03:获取图像传感器14在第二位置生成的目标场景的第二原始图像;
05:根据第一原始图像、第二原始图像、第一位置、第二位置和透镜12的焦距,确定目标场景的深度图像。
可以理解,计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、以及软件分发介质等。处理器可以是中央处理器,还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (19)

1.一种处理方法,用于摄像头组件,其特征在于,所述摄像头组件包括透镜、图像传感器和驱动件,所述图像传感器能够通过所述透镜获取外界光线并生成相应的原始图像,所述驱动件能够驱动所述图像传感器在第一位置和第二位置之间运动,所述处理方法包括:
获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像;
获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像;
根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
2.根据权利要求1所述的处理方法,其特征在于,所述目标场景包括目标物点,所述根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像,包括:
确定所述目标场景中所述目标物点在所述第一原始图像和所述第二原始图像中的视差;
确定所述第一位置与所述第二位置的第一距离;
根据所述视差、所述第一距离和所述透镜的焦距,确定所述目标物点的深度值以形成所述目标场景的深度图像。
3.根据权利要求2所述的处理方法,其特征在于,所述目标场景包括多个物点,所述目标物点为所述目标场景中的全部所述物点,或所述目标物点为所述目标场景中的部分所述物点。
4.根据权利要求2所述的处理方法,其特征在于,所述目标物点的深度值为:Z=f*b/d,其中,f为所述透镜的焦距,b为所述第一距离,d为所述目标物点在所述第一原始图像和所述第二原始图像中的视差。
5.根据权利要求1所述的处理方法,其特征在于,在所述获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像之前,所述处理方法还包括:
获取所述图像传感器在第三位置生成的所述目标场景的中间原始图像,所述中间原始图像的曝光时长大于所述第一原始图像的曝光时长,所述中间原始图像的曝光时长大于所述第二原始图像的曝光时长;
在所述根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像之后,所述处理方法还包括:
根据所述中间原始图像和所述深度图像,确定目标图像。
6.根据权利要求5所述的处理方法,其特征在于,所述图像传感器包括移动产业处理器接口,所述摄像头组件包括应用处理器,所述移动产业处理器接口能够将所述深度图像和所述中间原始图像传输至所述应用处理器,所述应用处理器能够根据接收到的所述深度图像和所述中间原始图像生成所述目标图像。
7.根据权利要求1所述的处理方法,其特征在于,所述第一原始图像包括多帧,所述第二原始图像包括多帧,所述第一原始图像与所述第二原始图像的帧数相同,所述根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像,包括:
根据多帧所述第一原始图像、多帧所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定多帧所述目标场景的原始深度图像;
融合多帧所述目标场景的原始深度图像以得到所述目标场景的深度图像。
8.根据权利要求1所述的处理方法,其特征在于,所述透镜包括第一透镜和第二透镜,所述图像传感器包括第一图像传感器和第二图像传感器,所述驱动件包括第一驱动件和第二驱动件,所述第一图像传感器能够通过所述第一透镜获取外界光线并生成相应的原始图像,所述第一驱动件能够驱动所述第一图像传感器在第一位置和第二位置之间运动,所述第二图像传感器能够通过所述第二透镜获取外界光线并生成相应的原始图像,所述第二驱动件能够驱动所述第二图像传感器在所述第一位置和所述第二位置之间运动;
所述获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像,包括:
获取所述第一图像传感器在所述第一位置生成的目标场景的所述第一原始图像;
所述获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像,包括:
获取所述第二图像传感器在所述第二位置生成的所述目标场景的所述第二原始图像;
所述根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像,包括:
根据所述第一原始图像、所述第二原始图像、所述第一图像传感器的第一位置、所述第二图像传感器的第二位置、所述第一透镜的第一焦距和所述第二透镜的第二焦距,确定所述目标场景的深度图像。
9.根据权利要求8所述的处理方法,其特征在于,所述目标场景包括目标物点,所述根据所述第一原始图像、所述第二原始图像、所述第一图像传感器的第一位置、所述第二图像传感器的第二位置、所述第一透镜的第一焦距和所述第二透镜的第二焦距,确定所述目标场景的深度图像,包括:
确定所述目标场景中所述目标物点在所述第一原始图像和所述第二原始图像中的视差;
确定所述第一图像传感器的第一位置与所述第二图像传感器的第二位置的第二距离;
根据所述视差、所述第二距离、所述第一透镜的第一焦距和所述第二透镜的第二焦距,确定所述目标物点的深度值以形成所述目标场景的深度图像。
10.根据权利要求9所述的处理方法,其特征在于,所述目标场景包括多个物点,所述目标物点为所述目标场景中的全部所述物点,或所述目标物点为所述目标场景中的部分所述物点。
11.根据权利要求9所述的处理方法,其特征在于,所述第一焦距与所述第二焦距相同,所述目标物点的深度值为:Z=f*b/d,其中,f为所述第一焦距或所述第二焦距,b为所述第二距离,d为所述目标物点在所述第一原始图像和所述第二原始图像中的视差。
12.根据权利要求2或9所述的处理方法,其特征在于,所述确定所述目标场景中所述目标物点在所述第一原始图像和所述第二原始图像中的视差,包括:
对所述第一原始图像和所述第二原始图像进行特征匹配,以确定所述目标物点在所述第一原始图像中的第一图像位置和所述目标物点在所述第二原始图像中的第二图像位置;
根据所述第一图像位置和所述第二图像位置,确定所述目标场景中所述目标物点在所述第一原始图像和所述第二原始图像中的视差。
13.根据权利要求12所述的处理方法,其特征在于,所述对所述第一原始图像和所述第二原始图像进行特征匹配,以确定所述目标物点在所述第一原始图像中的第一图像位置和所述目标物点在所述第二原始图像中的第二图像位置,包括:
根据所述目标物点确定所述第一原始图像中的待匹配像素点,所述待匹配像素点在所述第一原始图像中的位置为所述第一图像位置;
确定所述待匹配像素点的第一特征;
确定所述第二原始图像中每个像素点的第二特征;
对所述待匹配像素点的第一特征和所述第二原始图像中每个像素点的第二特征进行匹配,以确定所述第二原始图像中与所述待匹配像素点匹配的像素点,所述第二原始图像中与所述待匹配像素点匹配的像素点在所述第二原始图像中的位置为所述第二图像位置。
14.根据权利要求8所述的处理方法,其特征在于,所述第一原始图像包括多帧,所述第二原始图像包括多帧,所述第一原始图像与所述第二原始图像的帧数相同,所述根据所述第一原始图像、所述第二原始图像、所述第一图像传感器的第一位置、所述第二图像传感器的第二位置、所述第一透镜的第一焦距和所述第二透镜的第二焦距,确定所述目标场景的所述深度图像,包括:
根据多帧所述第一原始图像、多帧所述第二原始图像、所述第一图像传感器的第一位置、所述第二图像传感器的第二位置、所述第一透镜的第一焦距和所述第二透镜的第二焦距,确定多帧所述目标场景的原始深度图像;
融合多帧所述目标场景的原始深度图像以得到所述目标场景的深度图像。
15.根据权利要求1所述的处理方法,其特征在于,所述图像传感器包括双倍速率同步动态随机存储器和运算模块,所述双倍速率同步动态随机存储器能够存储所述第一原始图像和所述第二原始图像,所述运算模块能够根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
16.一种摄像头组件,其特征在于,所述摄像头组件包括透镜、图像传感器、驱动件和处理器,所述图像传感器能够通过所述透镜获取外界光线并生成相应的原始图像,所述驱动件能够驱动所述图像传感器在第一位置和第二位置之间运动,所述处理器用于:
获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像;
获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像;
根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
17.一种电子设备,其特征在于,包括:
壳体;及
权利要求16所述的摄像头组件,所述摄像头组件与所述壳体结合。
18.一种处理装置,用于摄像头组件,其特征在于,所述摄像头组件包括透镜、图像传感器和驱动件,所述图像传感器能够通过所述透镜获取外界光线并生成相应的原始图像,所述驱动件能够驱动所述图像传感器在第一位置和第二位置之间运动,所述处理装置包括:
第一获取模块,用于获取所述图像传感器在所述第一位置生成的目标场景的第一原始图像;
第二模块,用于获取所述图像传感器在所述第二位置生成的所述目标场景的第二原始图像;
确定模块,用于根据所述第一原始图像、所述第二原始图像、所述第一位置、所述第二位置和所述透镜的焦距,确定所述目标场景的深度图像。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行的情况下,实现权利要求1-15任一项所述的处理方法的步骤。
CN202110762101.2A 2021-07-06 2021-07-06 处理方法、摄像头组件、电子设备、处理装置和介质 Active CN113438388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762101.2A CN113438388B (zh) 2021-07-06 2021-07-06 处理方法、摄像头组件、电子设备、处理装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762101.2A CN113438388B (zh) 2021-07-06 2021-07-06 处理方法、摄像头组件、电子设备、处理装置和介质

Publications (2)

Publication Number Publication Date
CN113438388A true CN113438388A (zh) 2021-09-24
CN113438388B CN113438388B (zh) 2025-05-16

Family

ID=77759264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762101.2A Active CN113438388B (zh) 2021-07-06 2021-07-06 处理方法、摄像头组件、电子设备、处理装置和介质

Country Status (1)

Country Link
CN (1) CN113438388B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873160A (zh) * 2021-09-30 2021-12-31 维沃移动通信有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN114972468A (zh) * 2022-05-26 2022-08-30 杭州海康机器人技术有限公司 一种深度图像获取方法、装置及电子设备
CN116017099A (zh) * 2021-10-20 2023-04-25 宁波舜宇光电信息有限公司 驱动组件和摄像模组

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064477A (ko) * 2010-12-09 2012-06-19 엘지이노텍 주식회사 영상의 깊이정보 추출이 가능한 3차원 카메라, 영상의 깊이정보 추출방법 및 그 추출방법의 기록매체
US20160021357A1 (en) * 2014-07-21 2016-01-21 Moaath Alrajab Determining three dimensional information using a single camera
CN106464789A (zh) * 2014-06-10 2017-02-22 汤姆逊许可公司 混合全光相机
CN106559616A (zh) * 2015-09-30 2017-04-05 日本电气株式会社 单透镜成像方法及设备
CN110324532A (zh) * 2019-07-05 2019-10-11 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120064477A (ko) * 2010-12-09 2012-06-19 엘지이노텍 주식회사 영상의 깊이정보 추출이 가능한 3차원 카메라, 영상의 깊이정보 추출방법 및 그 추출방법의 기록매체
CN106464789A (zh) * 2014-06-10 2017-02-22 汤姆逊许可公司 混合全光相机
US20160021357A1 (en) * 2014-07-21 2016-01-21 Moaath Alrajab Determining three dimensional information using a single camera
CN106559616A (zh) * 2015-09-30 2017-04-05 日本电气株式会社 单透镜成像方法及设备
CN110324532A (zh) * 2019-07-05 2019-10-11 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873160A (zh) * 2021-09-30 2021-12-31 维沃移动通信有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN113873160B (zh) * 2021-09-30 2024-03-05 维沃移动通信有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN116017099A (zh) * 2021-10-20 2023-04-25 宁波舜宇光电信息有限公司 驱动组件和摄像模组
CN116017099B (zh) * 2021-10-20 2024-12-03 宁波舜宇光电信息有限公司 驱动组件和摄像模组
CN114972468A (zh) * 2022-05-26 2022-08-30 杭州海康机器人技术有限公司 一种深度图像获取方法、装置及电子设备

Also Published As

Publication number Publication date
CN113438388B (zh) 2025-05-16

Similar Documents

Publication Publication Date Title
CN110390719B (zh) 基于飞行时间点云重建设备
CN113438388B (zh) 处理方法、摄像头组件、电子设备、处理装置和介质
CN107666606B (zh) 双目全景图像获取方法及装置
CN102986233B (zh) 图像摄像装置
US10326981B2 (en) Generating 3D images using multi-resolution camera set
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
CN102428707B (zh) 立体视用图像对位装置和立体视用图像对位方法
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
KR20160090373A (ko) 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
JP2012123296A (ja) 電子機器
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
US9729857B2 (en) High resolution depth map computation using multiresolution camera clusters for 3D image generation
CN107809610B (zh) 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质
US20120307132A1 (en) Imaging module, imaging apparatus, image processing apparatus, and image processing method
JP2011049733A (ja) カメラキャリブレーション装置および映像歪み補正装置
CN107025666A (zh) 基于单摄像头的深度检测方法及装置和电子装置
CN101577004A (zh) 一种极线矫正方法、装置和系统
CN104853080A (zh) 图像处理装置
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
CN104184936A (zh) 基于光场相机的影像对焦处理方法及其系统
CN111292380B (zh) 图像处理方法及装置
KR20160049371A (ko) 이미지 생성 장치 및 이미지 생성 방법
CN105137606B (zh) 基于数字微镜器件的立体视觉成像装置和方法
CN110708532A (zh) 一种普适光场单元图像生成方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant