[go: up one dir, main page]

CN114727009A - 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法 - Google Patents

用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法 Download PDF

Info

Publication number
CN114727009A
CN114727009A CN202210154442.6A CN202210154442A CN114727009A CN 114727009 A CN114727009 A CN 114727009A CN 202210154442 A CN202210154442 A CN 202210154442A CN 114727009 A CN114727009 A CN 114727009A
Authority
CN
China
Prior art keywords
image
view
field
partial
aperture imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210154442.6A
Other languages
English (en)
Inventor
雅克·杜帕里
亚历山大·奥伯多斯特尔
弗兰克·维佩曼
安德烈·布鲁克纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of CN114727009A publication Critical patent/CN114727009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明涉及一种包括图像传感器和光学通道阵列在内的设备，其中，每个光学通道包括用于将总视场的局部视场投影到图像传感器的图像传感器区域上的光学器件。阵列的第一光学通道被配置为对总视场的第一局部视场成像。阵列的第二光学通道被配置为对总视场的第二局部视场成像。该设备包括计算单元，该计算单元被配置为基于所成像的局部视场获得第一局部视场和第二局部视场的图像信息，获得总视场的图像信息，并将局部视场的图像信息与总视场的图像信息组合以产生总视场的组合图像信息。

Description

用于对局部视场成像的设备、多孔径成像设备及提供这些设 备的方法
本申请是国际申请日2018年4月11日、国际申请号“PCT/EP2018/025110”、中国申请号201880039912.6、发明名称为“用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法”的专利申请的分案申请。
技术领域
本发明涉及一种用于多通道捕获总视场的设备、用于补充现有相机的补充设备、多孔径成像设备、以及制造本文所述的设备和多孔径成像设备的方法。本发明还涉及不同视场的对称通道布置。
背景技术
常规相机各自呈现成像通道，成像通道对整个物场进行成像。其他相机包括若干个成像通道，以便通过若干个局部视场对总视场成像。为了针对具有距相机不同距离的物体的总视场进行正确的图像拼接(散布在一起和/或接合)，可能有必要计算所捕获的总视场的深度图。如果为此目的使用了立体捕获，则可能有必要合成(人工的、中央的)参考相机的透视图。由于沿视线某些物体会被遮盖住，因此这会引起掩蔽或遮挡问题。为了输出预览和/或视频，可以执行图像处理(例如，借助于拼接)，这需要大量的计算费用。
因此，理想的是提供不呈现出上述缺点的高质量图像的构思。
发明内容
因此，本发明的目的是提供总视场的高质量图像，同时在预处理方面以很少的耗费对图像捕获产生影响。
该目的通过独立权利要求的主题来实现。
本发明的发现在于已经认识到可以由于以下项而实现上述目的：可以通过将图像信息(例如，总视场的分辨率)与相同总视场的局部视场的图像信息进行组合来增加图像信息，然而总视场的图像信息已经作为粗略信息存在并可用作为粗略信息，并且可以通过使用整个图像信息来避免掩蔽伪像的发生。
根据实施例，设备包括图像传感器和光学通道的阵列。每个光学通道包括用于将总视场的局部视场投影(成像)到图像传感器的图像传感器区域上的光学器件。阵列的第一光学通道被配置为对总视场的第一局部视场进行成像，并且阵列的第二光学通道被配置为对总视场的第二局部视场进行成像。该设备包括计算单元，计算单元被配置为基于成像的局部视场获得第一局部视场和第二局部视场的图像信息。计算单元还被配置为获得总视场的图像信息(例如，从另外的设备)，将局部视场的图像信息与总视场的图像信息进行组合，以产生总视场的组合图像信息。通过将局部视场的图像信息与总视场的图像信息进行组合，由于大量图像信息的存在，可以获得高质量的组合图像信息。此外，总视场的图像信息可以以少量的预处理耗费产生影响，因为可以无需将局部图像拼接来向用户显示。
根据另外的实施例，补充设备包括这种设备，并且被配置为耦接至相机，以便从其获得总视场的图像信息。通过附加地对局部视场成像，这使得能够补充已经存在的相机(其可能是单相机)，从而获得总视场的高质量组合图像信息。同时，由于关于总视场的信息已经至少以粗略的方式存在，因此可以利用相机的图像来对图像处理产生影响。
根据另外的实施例，多孔径成像设备包括图像传感器和光学通道的阵列，每个光学通道包括用于将总视场的至少一个局部视场投影到图像传感器的图像传感器区域上的光学器件。阵列的第一光学通道被配置为对总视场的第一局部视场成像，阵列的第二光学通道被配置为对总视场的第二局部视场成像，并且第三光学通道被配置为对总视场完全成像。这使得不仅能够获得关于总视场的图像信息，而且还能够获得关于相同总视场的局部视场的图像信息，从而能够多次扫描局部视场的图像区域，这例如能够获得立体产生的深度图，并由此能够产生高质量图像。同时，除了关于局部视场的信息之外，还存在关于总视场的信息，这使得用户能够施加影响而无需执行任何在前的图像处理。
另外的实施例涉及一种用于产生用于对总视场进行多通道捕获的设备的方法、以及用于提供多孔径成像设备的设备。
所提及的实施例能够避免或减少掩蔽，因为总视场的图像和总视场的组合图像信息的主视线是不变的，并且由局部视场的图像进行补充。
另外的有利实施例是从属权利要求的主题。
附图说明
下面将参考附图来说明本发明的优选实施例，在附图中：
图1示出了根据实施例的多孔径成像设备的示意透视图；
图2a至图2c示出了根据实施例的总视场内的局部视场的布置的示意图；
图3示出了根据实施例的包括计算单元在内的多孔径成像设备的示意透视图；
图4示出了根据实施例的可以布置在例如图1或图3的多孔径成像设备内的图像传感器区域的示意图；
图5示出了根据实施例的计算单元的可能实现的示意图；
图6示出了根据实施例的图3的多孔径成像设备的示意性顶视图，所述多孔径成像设备被配置为产生深度图；
图7示出了根据另外的实施例的包括显示装置的多孔径成像设备的示意透视图；
图8示出了根据实施例的包括光学稳定器和电子图像稳定器在内的多孔径成像设备的示意透视图；
图9示出了根据另外的实施例的包括聚焦装置的多孔径成像设备的示意透视图；
图10示出了根据另外的实施例的多孔径成像设备的示意透视图，其中，图像传感器区域布置在至少两个互不相同的芯片上并且彼此相对；
图11示出了根据另外的实施例的多孔径成像设备的示意透视图，其中光学器件具有不同的光学长度；
图12示出了根据另外的实施例的设备的示意透视图；
图13示出了根据实施例的补充设备的示意透视图；
图14示出了根据实施例的提供该设备的方法的示意流程图；以及
图15示出了根据实施例的提供多孔径成像设备的方法的示意流程图。
具体实施方式
在以下参考附图更详细地说明本发明的实施例之前，应该注意的是，在不同的附图中，相同的、在功能上相同的或在动作上相同的元件、物体和/或结构设置有相同的附图标记，从而使得在不同实施例中呈现的对所述元件的描述是可互换和/或是互相适用的。
图1示出了根据实施例的多孔径成像设备10的示意透视图。多孔径成像设备10包括图像传感器12，该图像传感器12包括多个图像传感器区域24a至24c。图像传感器12可以被实现为使得图像传感器区域24a至24c是共享芯片的一部分，但是备选地，也可以包括若干个组件，这意味着图像传感器区域24a至24c可以被布置在不同的芯片上。备选地或附加地，与图像传感器区域24b相对定位的图像传感器区域24a和24c和/或与图像传感器区域24b相对定位的图像传感器区域24a可以具有不同大小的传感器表面，和/或可以具有不同数量和/或大小的像素。
多孔径成像设备10还包括光学通道16a至16c的阵列14。光学通道16a至16c中的每一个光学通道包括用于将总视场或物体区域的至少局部视场投影到图像传感器12的图像传感器区域24a至24c上的光学器件(optic)64a至64c。光学器件64a至64c之一分别与图像传感器区域24a至24c之一相关联，并且被配置为影响光学路径26a至26c(例如，借助于会聚或散射)，使得相应的局部视场或总视场被投影到图像传感器区域24a至24c上。光学器件64a至64c可以布置在共享载体上以形成阵列14，但是它们也可以以不同的方式彼此机械连接或者可以不机械接触。光学通道的性质(例如，长度、垂直于光轴的延伸等)和/或光学器件的性质(例如，焦距、聚焦比数(f-number)、孔径直径、像差校正或物理尺寸)可以在光学通道16a、16b和/或16c之间变化，并且可以彼此不同。
光学通道16a至16c中的两个光学通道被配置为将一个局部视场分别投影到相关联的图像传感器区域24a至24c上。局部视场的投影(成像)在本文中意指以不完整的方式对总视场进行成像。光学通道16a至16c中的另一光学通道被配置为完全对总视场进行成像。多孔径成像设备10例如被实现为使得光学通道16b被配置为完全捕获总视场。光学通道16a和16c被配置为例如对总视场中的如下这样的局部视场进行捕获，所述局部视场最多以不完全的方式彼此重叠或以互相不相交的方式布置。这意味着阵列14中的用于捕获第一局部视场和第二局部视场的光学器件64a和64c的布置可以相对于用于捕获总视场的成像的光学器件64b对称，和/或用于对第一局部视场和第二局部视场进行成像的图像传感器区域24a和24c的布置可以相对于用于对总视场进行成像的图像传感器区域24b的位置对称。即使在视场、光学器件和图像传感器区域之间还可能有任何其他关联，但对称布置尤其具有以下优点：对局部视场的附加捕获能够实现关于中央视场(即，捕获总视场的中央视场)的对称视差。
多孔径成像设备10可以包括可选的光束偏转装置18，该光束偏转装置18又包括光束偏转区域46a至46c，光束偏转装置18被配置为利用光束偏转区域46a至46c中的每一个光束偏转区域来偏转光学路径26a至26c。光束偏转装置18可以包括具有光束偏转区域46a至46c的镜面表面。备选地，光束偏转区域46a至46c中的至少两个光束偏转区域可以互相倾斜并形成多个镜面表面。备选地或附加地，光束偏转装置18可以包括多个或大量小平面(facet)。如果要捕获的视场位于与图像传感器12和阵列14之间的视线不同的多孔径成像设备10的方向上，则利用光束偏转装置18会是有利的。备选地，如果不存在光束偏转装置18，则可以沿着多孔径成像设备10的视线和/或图像传感器12与阵列14之间并超出其的方向捕获总视场。然而，布置光束偏转装置18可以使得通过以平移和/或旋转方式移动光束偏转装置18能够改变多孔径成像设备10的视线，而无需为此目的改变图像传感器12和/或阵列14的空间取向。
图2a示出了总视场70内的局部视场72a和72b的布置的示意图，总视场70可以例如由多孔径成像设备10捕获。例如，可以通过使用光学通道16b将总视场70投影到图像传感器区域24b上。例如，光学通道16a可以被配置为捕获局部视场72a并将其投影到图像传感器区域24a上。光学通道16c可以被配置为捕获局部视场72b并将其投影到图像传感器区域24c上。这意味着一组光学通道可以被配置为精确地捕获这两个局部视场72a和72b。
即使局部视场72a和72b被描绘为具有不同的延伸以提高可分辨性，它们也可以沿着至少一个图像方向28或32(例如，沿着图像方向32)具有相同或相当的延伸。局部视场72a和72b的延伸可以与总视场70沿着图像方向32的延伸相同。这意味着局部视场72a和72b可以沿图像方向32完全捕获总视场70，并且可以沿垂直于图像方向32布置的不同的图像方向28以仅局部方式捕获总视场，并且可以被布置为彼此偏移，使得还可以沿着第二方向借助于组合得到对总视场70的完全捕获。在此，局部视场72a和72b可以关于彼此不相交，或者最多以不完全的方式在重叠区域73中重叠，该重叠区域73可以在总视场70中沿着图像方向32完全延伸。包括光学通道16a和16c的一组光学通道可以被配置为在组合时完全对总视场70进行成像。图像方向28可以是水平的(例如，要提供的图像的水平方向)。简而言之，图像方向28和32表示两个不同的图像方向，它们以任何期望的方式在空间上布置。
图2b示出了局部视场72a和72b的布置的示意图，所述局部视场72a和72b被布置为沿着不同的图像方向(即，图像方向32)互相偏移并且彼此重叠。局部视场72a和72b可以分别沿图像方向28完全捕获总视场70，并且沿着方向32以不完全方式捕获总视场70。重叠区域73沿着图像方向28完全布置在例如总视场70内。
图2c示出了四个局部视场72a至72d的示意图，这四个局部视场72a至72d分别沿方向28和32两者以不完全方式捕获整体视场70。两个相邻的局部视场72a和72b在重叠区域73b中重叠。两个重叠的局部视场72b和72c在重叠区域73c中重叠。类似地，局部视场72c和72d在重叠区域73d中重叠，并且局部视场72d在重叠区域73a中与局部视场72a重叠。全部四个局部视场72a至72d可以在总视场70的重叠区域73e中重叠。
为了捕获总视场70和局部视场72a至72d，可以类似于在图1的上下文中所描述的那样配置多孔径成像设备，其中阵列14可以包括例如五个光学器件，其中四个光学器件用于捕获局部视场72a至72d，一个光学器件用于捕获总视场70。
在重叠区域73a至73e中可获得大量图像信息项。例如，重叠区域73b经由总视场70、局部视场72a和局部视场72b被捕获。总视场的图像格式可以与被成像的局部视场(例如，图2c中的局部视场72a至72d，在这种情况下，在每种情况下仅对重叠区域73a至73e计数一次)的无冗余组合相对应。结合图2a和图2b，这适用于局部视场72a和72b的无冗余组合。重叠区域73和/或73a至73e中的重叠可以包括例如各个局部图像的最多50％、最多35％或最多20％。
图3示出了根据另外的实施例的多孔径成像设备30的示意透视图，多孔径成像设备30通过计算单元33对多孔径成像设备10进行了扩展。
计算单元33被配置为从图像传感器12获得图像信息，其意味着与已经投影到图像传感器区域24a和24c上的局部视场(例如，局部视场72a和72b)有关的图像信息、以及可能投影到图像传感器区域24b上的总视场(例如，总视场70)的图像信息。计算单元33被配置为将局部视场的图像信息和总视场的图像信息进行组合。可以执行图像信息的组合，例如使得总视场的扫描度低于局部视场的扫描度。扫描度可以被理解为意指局部视场或总视场的局部分辨率(local resolution)，即指示物体区域中的哪个表面被投影到图像传感器的哪个表面积或像素大小上的量。在本文所述的实现中，术语“分辨率”应理解为意指投影到对应图像传感器表面上的局部视场或总视场的延伸。因此，相对较大的分辨率意指：在给定相同像素大小的情况下，视场的恒定表面积投影到较大的图像传感器表面上，和/或在给定相同像素大小的情况下，相对较小的物体表面积投影到恒定的图像传感器表面上。通过组合图像信息，可以关于对总视场的捕获来增加组合后的图像信息61的扫描度和/或分辨率。
图4示出了可以布置在例如多孔径成像设备10或30内的传感器区域24a至24c的示意图。例如，局部视场72a被投影到图像传感器区域24a上。例如，局部视场72b被投影到图像传感器区域24c上。例如，总视场70被投影到图像传感器区域24b上。例如，局部视场72a和72b的空间布置可以与图2b的配置相对应。
图像传感器区域24a、24b和24c可以沿着图像方向32具有物理延伸b，其是相同的或在容差范围20％、10％或5％内是相同的，并且可以与相同数量个像素相对应。沿着图像方向28，图像传感器区域24a和24c可以具有物理延伸a，其可以与相同数量个像素相对应。沿图像方向28，延伸或像素a可以大于图像传感器区域24b的延伸或像素数量c。由于局部视场72a和72b沿图像方向28的大小相等，并且与总视场70相比，扫描是以比总视场沿着图像方向28的扫描的分辨率和/或扫描度更高的分辨率和/或扫描度进行的(即，物体区域中的更小的面积被投影到恒定大小的像素上)，由此所得到的组合分辨率和/或扫描度增加。例如，当局部视场的图像的像素表现出互子像素偏移时，可以实现超分辨率效果。
沿着图像方向32，例如，使用2×b数量个像素以经由局部视场72a和72b对总视场70成像，在此必须考虑重叠区域73。然而，局部视场72a和72b的不相交或仅部分重叠也使得沿着图像方向32的分辨率与在图像传感器区域24中捕获总视场70时相比提高。
因此，与在成像区域24b中获得的分辨率相比，通过组合图像传感器区域24a至24c中的图像，可以增加总视场61的组合图像信息。图像传感器区域24b中的图像的纵横比的值可以为3∶4。这使得能够获得具有相同纵横比的组合图像。沿着相应图像方向和/或在原始(nascent)图像中，图像传感器区域24a和/或24c中的分辨率可以在20％、10％的容差范围内比图像传感器区域24b中的分辨率大，或者恰好比图像传感器区域24b中的分辨率大至少30％、至少50％或者至少100％；在此，要考虑重叠区域的延伸。
图像传感器区域24a至24c可以沿着行延伸方向35布置，该行延伸方向35可以例如被布置为平行于图像方向28，和/或多孔径成像设备10或30的光学器件64a至64c可以沿着该行延伸方向35布置。沿着垂直于行延伸方向35并且可以是多孔径成像设备的厚度方向的方向z，例如，图像传感器区域24a至24c可以具有在容差范围内相同的延伸，这意味着可以在避免多孔径成像设备的附加厚度的同时获得捕获总视场的分辨率的增加。
换句话说，可以实现至少三个相机通道(即，光学通道)的线性对称布置，其中光学通道之一(优选地，中央光学通道)覆盖总视场，并且(两个)外部的通道各自仅覆盖局部视场(例如，顶部/底部或左侧/右侧)，使得它们一起也可以覆盖总视场，并且同时在视场中心会有轻微重叠。这意味着在左侧/右侧上和/或在顶部/底部处，获得高分辨率的局部图像。在中心处，捕获覆盖整个相关视场的较低分辨率图像。中央图像中的分辨率可以降低到由针对相同图像高度的相应较短的焦距(即，不考虑纵横比)和由相同像素大小支配(dictated)或使能(enabled)的程度。换句话说，图像传感器24a、24b和24c高度是相同的。因此，在没有任何重叠的情况下，图像传感器区域24b中的图像高度仅为24a和24c的组合图像高度的一半。为了对相同视场进行成像，针对图像传感器区域24b的光学器件(光学通道26b)的焦距(或放大率)因此可以是24a和24c的光学器件的长度或大小的一半。给定相同的像素大小，这意味着与24a和24c组合后的分辨率相比，24b中的分辨率(或对视场的扫描)是该组合后的分辨率的一半。对应的图像宽度仅由图像的期望纵横比得出。
中央相机通道是用于产生深度图的参考相机(如果深度图由计算单元创建)。包括相对于中央通道的对称性的所述布置使得能够就深度图中的掩蔽而言使所获得的组合总图像实现高质量。因此，有意义的是，中央图像也是用于计算高分辨率组合图像的参考。将至少两个高分辨率图像逐块地插入低分辨率参考中。因此，它们用作在确保拟合精度时(即，在局部视场和总视场中找到匹配特征时)可以采用的材料。所述插入可以以非常小的块来实现，从而即使对于包括大深度跳动的精细物体，也可以避免与视差相关的问题。例如，借助于对应关系搜索合适的块，这可能意味着产生视差图(即，深度图)。然而，如果对于低分辨率的块，找不到具有足够可靠性的高分辨率块，这不会有灾难性的影响。只需保留低分辨率原始图像即可。换句话说：深度图中出现的孔仅在整个图像中导致更加模糊的地方，而不会引起清晰可见的伪像。
换句话说，由于较短的焦距，中央图像传感器可以捕获较低分辨率的图像，该较低分辨率的图像覆盖总视场并且固有地呈现出期望的纵横比。所述相机也可以称为参考相机，例如，因为所获得的组合图像呈现出所述相机的视角。接下来是高分辨率的局部图像的拼合，这些局部图像可以部分地重叠，并且组合起来将呈现与参考相机相同的纵横比。通过使用参考相机将局部视场的图像拼合在一起，能够在重叠区域中实现高度正确的拼接，因为存在固有正确的图像，即使该图像的分辨率较低。根据有利的实现，所有三个图像传感器的高度相同或几乎相同，以便以最优方式利用可用的设计高度。所有相机都可以经由共享镜面(光束偏转装置)偏转。可以根据需要如下计算深度图。在两个高分辨率局部图像的重叠区域73中，可以通过高分辨率局部图像和低分辨率总图像执行所述计算；在其余区域中，可以通过将高分辨率局部图像之一与低分辨率总图像的对应部分进行组合来进行所述计算。
图5示出了计算单元33的可能实现的示意图。计算单元33可以被配置为将总视场70的图像信息和局部视场72a和72b的图像信息拆分为局部视场72a的图像块63a、局部视场72b的图像块63b、以及总视场70的图像块63c。图像块可以沿图像方向28和32两者包括特定数量个像素。块可以沿着图像方向28和32具有例如最小2个和最大1000个像素的大小、最小10个和最大500个像素的大小、或者最小20个和最大100个像素的大小。
计算单元可以被配置为将包含在总视场的图像块中的图像信息与第一局部视场或第二局部视场72a或72b的图像块的匹配图像信息逐块相关联，以便通过组合第一图像块和第二图像块，提高组合图像信息中总视场的图像信息的分辨率。第一图像块和第二图像块可以各自是不同局部视场中的在重叠区域中的图像的匹配图像块。备选地或附加地，第一块或第二块可以是总图像的块，而另一个块可以是局部图像的块。计算单元33被配置为例如将块63a3中标记为x的物体识别为与总视场70的块63c1中的物体x相匹配。基于局部视场72a的分辨率比总视场70的分辨率高，计算单元可以将块63a3和63c1两者的图像信息彼此组合，以获得关于总视场而言分辨率比初始时高的块。在这种情况下，所得到的组合分辨率可以对应于或高于捕获局部视场72a的分辨率的值。例如，在局部视场72a的块63a2中和在局部视场72b的块63b1中，通过计算单元识别到总视场70的块63c2中的由#标记的物体，由此为了提高图像质量，可以使用来自局部视场72a和72b的图像两者的图像信息。
例如在局部视场72b的块63b2中，通过计算单元识别到块63c3中的由*标记的物体，由此为了增加块63c3中的图像信息，例如通过计算单元采用块63b2的图像信息。
在局部视场72a和72b的块不与总视场的块相关联的情况下(例如，如针对块63c4所描绘的)，计算单元可以被配置为输出组合总图像的块，使得至少块63c4位于总图像内。即，即使分辨率没有局部增加，也可以描绘图像信息。这最多将使得总图像中出现微小改变，这意味着，例如，在块63c4的位置处，将局部降低分辨率。
计算单元33可以被配置为基于总视场70的图像信息执行对局部视场72a和72b的图像信息的拼接。这意味着对总视场的总成像可以用于至少支持或甚至执行局部视场72a和72b的局部图像的互相对齐。备选地或附加地，可以利用来自对总视场的总成像的信息来支持或甚至执行来自局部图像和/或在总图像内的局部图像内的场景的物体的布置。总视场包括也在局部视场72a和72b中示出的大量的或甚至全部的物体，由此相应局部图像与总视场的总图像的比较和/或物体的位置的比较将实现关于总图像的对齐，并且由此将实现局部图像的互相拼接。
换句话说，低分辨率图像将先验地总是提供基础以支持对高分辨率图像的拼接(即，取向的基础)，因为物体已经以拼合的方式存在于总图像中。除了简单地拼合两个全局局部图像区域外，拼接还可以意味着根据场景内距离相关物体分布，物体将根据它们在拼接图像内的距离(关于其在图像内的横向位置)(这可以是要求的或期望的)被重新整合到场景中和/或相对于背景被不同地放置。即使精确拼接需要深度图，此处描述的构思也可以大大简化拼接处理。可以避免由于在中央位置没有相机而引起的掩蔽问题，因为至少三个光学通道实现朝向总视场的至少三条视线。因此，可以通过一个或两个其他视角来减少或防止在一个视角中出现掩蔽。
图6示出了根据实施例的多孔径成像设备30的示意顶视图。计算单元33可以被配置为产生深度图81。深度图81可以涉及总视场70的图像信息。计算单元33被配置为例如利用局部视场72a的图像与总视场70的图像之间的视差83a以及局部视场72b的图像与总视场70的图像之间的视差83b以便产生深度图。这意味着由于光学器件64a、64b和64c以及图像传感器区域24a、24b和24c的物理距离，获得了不同的视角或视野，这些视角或视野将用于在计算单元33的一部分上产生深度图81。计算单元33可以被配置为在使用局部视场72a和72b的图像信息的同时在局部视场72a和72b重叠的重叠区域73中产生深度图81。这样能够利用与各个视差83a和83b相比更大的视差(简而言之，各个视差的和)以及能够利用高分辨率(局部)图像。这意味着，在一个实施例中，计算单元33可以被配置为在重叠区域73中产生深度图81，而无需利用投影在图像传感器区域24b上的总视场70的信息。备选地，在重叠区域73中利用总视场70的信息是可能的，并且例如对于实现高信息密度是有利的。
根据另一有利的改进方案，可以在图像传感器区域24a和24c中实现投影，而无需像在24b中那样利用(例如，RGB)拜耳彩色滤光片装置，或者至少在使用统一滤色器的情况下如此，从而多孔径成像设备将提供具有单色亮度信息的成像的第一局部视场和第二局部视场。例如，可以布置单色红外滤光片、紫外滤光片、红色滤光片、蓝色滤光片等、或者根本不布置滤光片，而没有多色滤光片(例如，如24b中的拜耳装置)。换句话说，由于外部通道仅在增加总视场的图像质量方面贡献细节，因此外部通道16a和16c不包括彩色滤光片会是有利的。然后，外部通道将仅贡献亮度信息(即，总体清晰度/细节上的增加)，而没有改善的颜色信息；由此获得的优点在于提高了灵敏度，并因此降低了噪声，这本身也最终使得分辨率和/或清晰度得以提高，因为例如由于没有拜耳彩色滤光片图案叠加在像素上，图像将必然较少地被平滑化；然而，由于不需要去拜耳化，纯亮度通道中存在的分辨率固有地较高(理想情况下为两倍)。有效地，彩色像素的大小可以是黑白像素的大小的大约两倍。这在物理上可能不适用，因为在此黑白像素不能仅用于分辨率，还可以通过将黑白像素与典型的RGBG滤光片图案叠加来用于颜色区别。
图7示出了根据另外的实施例的包括显示装置85的多孔径成像设备71的示意透视图。多孔径成像设备71被配置为利用显示装置85来再现投影到图像传感器区域24b上的总视场70的表示。为此，计算单元33可以被配置为例如将对应的信号从图像传感器12转发到显示装置85。备选地，显示装置85也可以直接耦接到图像传感器12，并且从图像传感器12获得对应的信号。
显示装置85被配置为接收和输出最高由图像传感器区域24b提供的分辨率下的总视场的图像信息。优选地，投影到图像传感器区域24b上的总视场的分辨率将不变地转发到显示装置85。这使得能够显示当前可能已被捕获的图像或视频(例如，作为用户的预览)，从而所述用户可以影响捕获。由组合图像信息61提供的高分辨率图像可以在不同的时间点被提供给显示装置85，可以被提供给不同的显示装置，可以被存储或发送。还可以不时地(即，仅在需要时)获得组合图像信息61，并且否则利用可能具有较低分辨率的总视场70的图像，如果这足以满足当前的使用需求，例如，在显示设备85上查看，而无需深度图或无需放大细节。这使得能够在没有图像信号的任何组合的情况下对图像捕获施加影响(图像信号的组合将在计算和时间方面需要一定量的耗费)，这将对显示装置85中的延迟以及计算所需的能量有有利的影响。通过在多孔径成像设备71的一部分上将若干个图像串在一起，还可以从图像传感器12获得视频信号，并在显示装置85上输出总视场的视频信号。
例如，本文描述的多孔径成像设备71或不同的多孔径成像设备(例如，多孔径成像设备10、30或60)可以形成为移动电话、智能电话、平板电脑或监视器。
多孔径成像设备71可以在显示器85上提供实时预览；因此，两个外部相机通道不必总是被激活，从而可以节省电流和/或不需要用于链接局部图像的附加的计算费用，这能够减少处理器的电容器利用率并减少能耗，这也能够延长电池寿命。备选地或附加地，可以首先存储原始数据，并且可以直到执行到不同计算单元(例如，PC)的传输和/或当放大细节的同时在显示设备上查看所述图像时，才产生高分辨率图像。在此可以仅针对相关的图像区域产生组合图像，或者对于不相关的图像区域至少在区域中不产生组合图像。相关区域可以是例如期望放大描绘(缩放)的图像区域。
对于单个图像(帧)和视频两者，图像传感器区域24b的图像因此可以被直接使用并且可能具有对于视频足够的分辨率。还可以想到的是，中央相机从一开始就设置有适用于常见视频格式(例如，1080p或4K)的分辨率，以便可以避免原本通常要执行的重新采样(采样率转换)、合并(组合相邻图像元素)或跳过(跳过像素)；在这种情况下，分辨率可以足够高，使得可以产生高分辨率的静止图片。
图8示出了包括光学图像稳定器22和电子图像稳定器41在内的多孔径成像设备80的示意透视图。在使用计算单元33的功能的同时，可以单独地或组合地实现以下将就图像稳定描述的方面，而没有任何限制。
光学图像稳定器22包括致动器36a、36b和42，致动器36a和36b被配置为通过沿着行延伸方向35移位阵列14来实现图像传感器区域24a至24c中的局部视场的图像的光学图像稳定。此外，光学图像稳定器22被配置为例如借助于光束偏转装置18的旋转移动38来沿着图像轴32获得光学图像稳定。例如，阵列14的光学器件64a和64c分别包括有效焦距f1和f3，它们在最大10％、最大5％或最大3％的容差范围内彼此不同，从而以或多或少相同的方式捕获局部视场。光学器件64b可以具有焦距f2，其与焦距f1和f3相差至少10％。针对所有通道执行的旋转移动38与焦距f2和f1的差异相配合，或者在f1和f3之间的焦距的差异内，引起图像传感器区域24a至24c中的图像的不同位移691至693。这意味着借助于针对所有通道执行的旋转移动38，光学图像稳定器22在图像中实现了不同的效果，从而至少一个、若干个或全部图像偏离理论上的无像差状态。光学图像稳定器22可以被配置为全局地最小化全部图像的偏差，然而，这会引起在每个图像中产生像差的事实。备选地，光学图像稳定器22可以被配置为在图像传感器区域24a至24c之一中选择参考图像并且控制致动器42，使得参考图像或参考通道中的图像尽可能精确(也可以称为无像差)。这意味着，借助于针对全部通道执行的光学图像稳定，通道可以相对于受影响的图像方向保持无像差，而其他通道则由于焦距f1至f3不同而偏离所述参考图像。换句话说，借助于实现的机械光学图像稳定器来对通道进行校正，这将对所有通道产生影响，但不会使所有通道保持稳定。所述其他通道附加地借助于电子图像稳定器来校正。
光学图像稳定器可以被配置为以特定于通道的方式针对光学通道提供相对移动和/或单独针对光学通道组提供相对移动，例如，针对用于捕获局部视场的光学通道16a和16c的组提供相对移动，并且针对包括用于捕获总视场的光学通道16b的组提供相对移动。
电子图像稳定器41可以被配置为根据指定的函数相关来在每个通道中执行特定于通道的电子图像稳定，所述函数相关取决于图像传感器12、阵列14和光束偏转装置18之间的相对移动。电子图像稳定器41可以被配置为单独地稳定每个图像。为此，电子图像稳定器41可以使用全局值(例如，相机移动等)，以便提高图像的光学质量。电子图像稳定器41被配置为基于光学图像稳定器22的参考图像执行电子图像校正，这是特别有利的。不同的焦距可以提供由光学图像稳定引起的图像的不同改变之间的函数相关(优选地，为线性形式)，例如为如下形式：
像差＝f(fi，相对移动)
即，总体上的或相对于参考通道的像差可以被描述为焦距或焦距差以及为了改变视线或实现光学图像稳定而执行的相对移动的函数。电子图像稳定器41可以将图像传感器12、阵列14和光束偏转装置18之间的相对移动的程度链接到焦距f1或f3，或者链接到关于参考通道的焦距的差，以便获得与要执行的电子图像稳定有关的可靠信息，并且以便建立和/或利用函数相关。可以在校准期间获得光学性质和/或函数相关的必要数据。用于确定一个图像相对于另一图像的位移的图像的互相对齐也可以通过确定局部视场的图像中的匹配特征(例如，边缘轮廓、物体大小等)来实现。例如，这可以由电子图像稳定器41识别，电子图像稳定器41还可以被配置为基于第一图像和第二图像中的特征的移动的比较来提供电子图像稳定。因此，可以借助于对图像细节的移动进行特定于通道的图像评价来实现特定于通道的电子图像稳定。
作为对不同图像的比较的备选或附加方案，还可以对相同图像内的特征进行比较，特别是关于获得的之间具有某一时间间隔的两个图像或两帧进行比较。光学图像稳定器41可以被配置为在第一时间点和第二时间点在对应的局部图像中识别匹配特征，并且基于第一图像中的特征的移动的比较来提供电子图像稳定。例如，比较可以指示这样的位移的伸展(stretch)：特征借助于相对移动移位了该位移的伸展，并且图像被反向移位该位移的伸展以便至少部分地校正图像伪像。
可以使用光学图像稳定器来稳定参考通道的成像的局部视场的图像(例如，图像传感器区域24a中的图像)。这意味着参考通道可以被完全光学稳定。根据实施例，可以布置多个光学图像稳定器，该多个光学图像稳定器针对至少光学通道组(例如，具有第一焦距的光学通道(例如，用于对总视场成像的光学通道)和具有第二焦距的光学通道(例如，用于对局部视场成像的光学通道))提供光学图像稳定。备选地，还可以提供特定于通道的光学图像稳定。电子图像稳定器41被配置为例如针对与参考通道不同并且投影到图像传感器区域24b和24c上的光学通道以特定于通道的方式执行图像稳定。多孔径成像设备可以被配置为仅以光学方式稳定参考通道。即，在一个实施例中，可以通过仅使用机械地实现的光学图像稳定在参考通道中实现足够的图像稳定。对于其他通道，将存在附加的电子图像稳定功能，以完全或部分补偿由于焦距差异而引起的光学图像稳定不足所带来的上述影响，所述电子稳定在每个通道中单独执行。
根据另外的实施例，多孔径成像设备的每个通道还可以包括单独的电子图像稳定。可以实现针对多孔径成像设备的每个通道单独(即，专门的程度)执行的电子图像稳定，使得利用要在各个通道中实现的图像位移之间的指定的函数相关。例如，在通道中沿方向32的位移相当于另一图像中沿方向32的位移的1.1倍、1.007倍、1.3倍或2倍或5倍。此外，该特定于通道的函数相关可以取决于光束偏转单元和/或阵列和/或图像传感器之间的相对移动，其中，函数相关可以是线性的，或者可以与沿图像方向将光束偏转装置的旋转角度成像到电子图像稳定的程度的角度函数相对应。对于方向28，可以使用相同或不同的数值来获得相同的相关性。
适用于所有实施例的是，例如，可以通过对应的附加传感器(例如，陀螺仪和其他仪器)来捕获所实现的相对移动，或者可以根据一个、若干个或全部通道的捕获的图像数据导出所实现的相对移动。所述数据或信息可以用于光学和/或电子图像稳定器，即，多孔径成像设备被配置为例如从传感器接收传感器信号，关于与多孔径成像设备和物体之间的相对移动相关的信息评价传感器信号，以及在使用所述信息的同时控制光学和/或电子图像稳定器。
光学图像稳定器可以被配置为通过移动不同组件来获得沿着图像轴28和32的光学图像稳定(例如，移动阵列14以实现沿着方向28的稳定和旋转38光束偏转装置18以实现沿着方向32的稳定)。在这两种情况下，光学器件64a至64c中的差异都有影响。可以针对这两个相对移动来实现关于电子图像稳定的先前说明。特别地，彼此分开地考虑方向28和32使得能够考虑沿着方向28和32的光学器件64a至64c之间的不同偏差。
本文所述的实施例可以针对图像传感器区域24a至24c中的局部图像共享图像轴28和/或32。备选地，方向也可以不同并且可以彼此转换。
图9示出了根据另外的实施例的包括聚焦装置87在内的多孔径成像设备90的示意透视图。聚焦装置87可以包括一个或多个致动器89a、89b和/或89c，其被配置为改变阵列14与图像传感器12之间和/或光束偏转装置18与阵列14之间和/或光束偏转装置18和图像传感器12之间的距离，以调整将图像聚焦到图像传感器区域24a、24b和/或24c。即使光学器件64a、64b和64c被描述为布置在共享载体上以使其可一起移动，但是至少光学器件64b、图像传感器区域24b和/或光束偏转区域46b可以单独地移动，使得调整针对光学通道16b的聚焦，使其不同于其他通道的聚焦。即，聚焦装置87可以被配置为调整针对第一光学通道16a和第二光学通道16c的相对移动、以及针对光学通道16b的相对移动，以使得所述相对移动彼此不同。
聚焦装置87可以与光学图像稳定器22组合，即，通过致动器在光学图像稳定器22和聚焦装置87两者中提供的移动可以由附加布置的致动器提供或者也可以由出于聚焦和光学图像稳定这两个目的而提供组件之间的移动的共享致动器提供。
换句话说，将单独的致动器用于自动聚焦(AF)以及可能的光学图像稳定(OIS)是有利的。由于相邻通道关于分辨率和焦距方面可能存在不同的架构，因此特定于通道的致动可以实现获得特定于通道的调整，从而可以获得在所有通道中实现自动聚焦和/或图像稳定的优势。例如，出于聚焦目的，为了在不同焦距下实现自动聚焦的功能，需要覆盖不同的图像侧距离，以便以高质量执行相同的操作。可以实现备选的结构形式，使得被配置为捕获总视场的光学通道被配置为不需要任何光束偏转装置。
图10示出了根据另外的实施例的多孔径成像设备100的示意性透视图，其中，图像传感器区域24a至24c被布置在彼此不同且相对(即，相对于彼此倾斜)的至少两者芯片上。图像传感器区域24b可以与光学器件64b组合地包括第一视线，该第一视线可能直接指向总视场70。图像传感器区域24a和24c可以与跟其相关联的光学器件64a和64c组合地包括与前者不同的视线(例如，沿着x方向垂直于前者)，通过光束偏转装置18将光学路径26a和26c朝向局部视场72a和72b偏转。这表示可以作为对先前描述的多孔径成像设备的备选的结构形式。
利用光束偏转装置18可以实现某一镜面大小或偏转表面积大小，针对通道24b的镜面大小或者偏转表面积大小可以大于针对用于捕获局部视场的相邻通道的镜面大小或者偏转表面积大小，这是因为通道16b毕竟必须捕获总视场，而该总视场大于局部视场72a和72b。这可以导致沿着设备的厚度方向(沿着z方向)的大小增大，这在一些实施例中是不期望的。因此可以重新配置对光束偏转装置18的利用，使得仅光学路径26a和26c被偏转，而光学路径26b直接指向(即不进行偏转)总视场70。
换句话说，中央相机通道在不具有任何偏转镜面的情况下(即，以经典的取向方式)中央地安装在两个偏转的高分辨率相机通道之间，从而它直接从设备(例如，电话)的平面向外看。由于相对较低的分辨率(例如，值为0.77和/或1/1.3、0.66和/或1/1.5、或0.5和/或1/2，这与上述附加通道的高分辨率的至少30％、至少50％或者至少100％相对应)，并且由于对应较短的焦距，中央相机通道在这种直立配置中沿z方向的设计高度与两个外部相机通道在躺卧配置下的设计高度大致相同。所述解决方案可以防止中央通道16b的视线的切换，然而，这可以通过可能还布置附加的相机通道来补偿。可以通过单独地布置致动器来布置自动聚焦功能和/或提供光学图像稳定。换句话说：较大视场“1”可以以短焦距和/或较小放大率“竖立”成像，而较小的局部视场“2”可以以“处于躺卧位置且具有折叠的光学路径”以更长的焦距和/或更大的放大率成像，并且可以最适合于各自的情况。“1”已经被设计为较短，但实现较大的视场，然而，这也可以使镜面呈现为较大，而“2”可以被设计为较长，并且由于视场较小而需要较小的镜面。
图11示出了根据另外的实施例的多孔径成像设备110的示意透视图，其中，包括焦距f1和f3的光学器件64a和64c距离图像传感器12的距离d1大于包括焦距f2的光学器件64b与图像传感器12之间的距离d2。距离d1和/或d2因此可以被适配于光学器件64a至64c的焦距。如果布置了光束偏转装置18，则可以单独控制光束偏转装置18的光束偏转区域46a至46c。
图12示出了根据另外的实施例的设备120的示意透视图。设备120包括图像传感器12，该图像传感器12包括图像传感器区域24a和24c。设备120还包括具有光学通道16a和16c的阵列14。光学通道16a和16c中的每一个光学通道不变地分别包括光学器件64a和64c，光学器件64a和64c分别用于对总视场70的局部视场72a和72b进行成像，如结合上述多孔径成像设备所述的那样。简而言之，图像传感器12和阵列14可以被配置为不具有用于对总视场成像的光学通道。设备120包括计算单元33，计算单元33被配置为从图像传感器12获得关于局部视场72a和72b的图像信息。计算单元33还被配置为获得包括总视场70的图像信息在内的信号91。计算单元33被配置为将局部视场72a和72b的图像信息与总视场70的图像信息91组合，以获得总视场70的组合图像信息61。
简而言之，设备120可以是用于现有相机设备的附加模块，并且可以被配置为从相机设备获得关于所捕获的总视场的图像信号。所述相机设备可以是任何相机。因此，设备120可以被配置为增加外部设备的分辨率，由此获得的图像信号91与附加捕获的局部视场72a和72b叠加以便改善质量。
计算单元33可以被配置为提供与结合本文描述的多孔径成像设备所描述的功能相同的功能。这意味着设备120可以被配置为以第一图像分辨率获得图像信息91，并且以更高的分辨率获得关于局部视场72a和72b的图像信息。组合图像信息61可以包括更高的分辨率或包括至少比图像信号91的分辨率更高的分辨率。沿着第一图像方向和第二图像方向，图像信号91的分辨率可以在上述20％、10％或0％的容差范围内，与图像传感器区域24a和24c的分辨率乘以值0.77、0.66、和/或1/2而获得的值相对应，或者小于该获得的值。
计算单元33还可以被配置为逐块执行所述图像关联，如结合图5所描述的。这也可以意味着计算单元33执行关联标准(例如，相似性分析、边缘比较等)，并且仅在满足关联标准时才执行块的组合。如果不满足关联标准，则可以由计算单元33提供组合图像信息，由此不执行评价的块中的块的组合。
计算单元33可以被配置为基于总视场70的图像信息执行对局部视场72a和72b的图像信息的拼接。由于仅评价图像信息，因此是否从系统自己的图像传感器12或从外部设备的图像传感器获得关于总视场70的图像信息可以与计算单元33无关。
如针对多孔径成像设备所描述的，计算单元可以被配置为在使用用于捕获总视场的通道的视线与第一局部视场的图像之间的第一视差以及总视场的图像与第二局部视场的图像之间的第二视差的同时，产生针对总视场的图像信息的深度图像。即使总视场是由另一相机捕获的，它也包括朝向总视场的视线，由此可以评价视差，特别是在将设备与提供图像信号91的设备一起校准的情况下。
如上所述，计算单元33可以被配置为通过仅使用局部视场的图像信息来在局部视场72a和72b的局部图像的重叠区域中产生深度图。
设备120可以包括光学图像稳定器(例如，光学图像稳定器22)，其被配置为通过沿着第一方向和第二方向(例如，沿着图像方向28和32)在图像传感器12和阵列14之间产生相对移动，提供光学图像稳定。备选地或附加地，设备120可以包括聚焦装置(例如，聚焦装置87)，以便调整设备120的焦点。这可以通过在光学通道16a和16b的光学器件64a和64b中的至少一个光学器件与图像传感器12之间产生相对移动来实现。
图13示出了根据实施例的补充设备130的示意透视图。补充设备130被配置为补充相机或图像捕获设备93，相机或图像捕获设备93被配置为产生图像信号91并将其提供给补充设备130。例如，补充设备130包括设备120，并且被配置为耦接到相机93。因此，补充设备130被配置为扩展或补充相机93的图像处理。其也可以被理解为附加设备，其例如将分辨率提高的一对外部通道提供给现有系统。这意味着上述中央通道可以是常规的相机模块，例如移动电话的供应商知道并理解该常规的相机模块，并且对此存在已经建立的供应链。包括光学器件64a和64c在内的外部通道是安装在中央通道附近或周围的附加模块。可以保留折叠的光学路径，因此设计高度会适配于旧的相机模块。即使整个系统的设计高度不会比相机模块33薄，也可以通过借助于附加模块提高分辨率来避免设计高度的增加。相反，外部通道共同具有比内部模块更大的传感器区域。如果像素大小相等，则模块将因此具有更高的整体分辨率，从而具有更细的角度分辨率。因此，与相机93相比，它可以用于提高分辨率。在实施例中，传感器也可以被配置为不具有任何彩色滤光片。这意味着可以提供具有单色亮度信息的成像的第一局部视场和第二局部视场的图像信息。附加模块可以但不一定必须围绕相机93的相机模块对称地组装。也可以想到其他组装形式(例如，对角线或不对称)，并且可以经由图像处理进行补偿。深度图可以不变地产生，可以提供光学和/或电子图像稳定以及自动聚焦。
图14示出了根据实施例的用于提供设备(例如，设备120)的方法1400的示意流程图。步骤1410包括提供图像传感器。步骤1420包括布置光学通道的阵列，使得每个光学通道包括用于将总视场的至少一个局部视场投影到图像传感器的图像传感器区域上的光学器件，使得阵列的第一光学通道被配置为对总视场的第一局部视场进行成像，并且使得阵列的第二光学通道被配置为对总视场的第二局部视场进行成像。步骤1430包括布置计算单元，使得计算单元被配置为基于成像的局部视场获得第一局部视场和第二局部视场的图像信息，并且获得总视场的图像信息，并且将局部视场的图像信息与总视场的图像信息进行组合以便产生总视场的组合图像信息。
图15示出了根据实施例的用于提供多孔径成像设备(例如，多孔径成像设备10)的方法1500的示意流程图。步骤1510包括提供图像传感器。步骤1520包括布置光学通道的阵列，使得每个光学通道包括用于将总视场的至少一个局部视场投影到图像传感器的图像传感器区域上的光学器件，使得阵列的第一光学通道被配置为对总视场的第一局部视场进行成像，并且使得阵列的第二光学通道被配置为对总视场的第二局部视场进行成像，并且使得第三光学通道被配置为对总视场完全成像。
本文描述的实施例提供的优点在于，低分辨率图像仍然被优先使用以支持高分辨率图像的拼接，从而简化了拼接处理。由于相机的中央布置以及围绕该相机的其他通道的对称布置，因此深度图中的掩蔽情况不太明显。这也使得最终组合图像中的伪像更少。可以在不使用任何计算耗费的情况下直接从中央通道获得实时取景，可以同时使用像素合并或跳过，以将分辨率降低到所需的程度，但是由于所述中央通道覆盖了整个FOV，因此可能已经从中央通道获得了正确纵横比的完整视场。可以在没有任何计算耗费的情况下直接从中央通道导出视频，这可以通过与导出图像的类似的手段来实现。仅使用三个通道(即，用于捕获局部视场的一组光学通道，包括用于精确地捕获两个局部视场的光学通道)允许使用更少数量的组件、更少的传感器、较小的数据传输带宽、以及较小的设备或多孔径成像设备的体积。
本文所述的实施例可以用作具有线性通道布置和最小设计高度、同时提供与已知解决方案相比的本文所述的优点的多孔径成像系统或用在该多孔径成像系统中。
在下文中，将描述本发明的附加的实施例和方面，其可以被单独使用或与在本文中描述的任何特征、功能和细节结合使用。
根据实施例，一种设备包括：图像传感器12；光学通道16a至16b的阵列14，每个光学通道16a至16b包括用于将总视场70的局部视场72a至72b投影到图像传感器12的图像传感器区域24a至24b上的光学器件64a至64b，阵列14的第一光学通道16a被配置为对总视场70的第一局部视场72a进行成像，并且阵列14的第二光学通道16b被配置为对总视场70的第二局部视场72b进行成像；以及计算单元33，被配置为基于所成像的局部视场72a至72b获得第一局部视场和第二局部视场的图像信息，并且获得总视场70的图像信息，并将局部视场的图像信息与总视场的图像信息组合以产生总视场的组合图像信息61。
根据参考第一实施例的第二实施例，第一光学通道和第二光学通道16a至16b是被配置为分别对总视场70的一个局部视场72a至72b成像的一组光学通道的一部分，该组光学通道被配置为联合地对总视场70完全成像。
根据参考第二实施例的第三实施例，该组光学通道被配置为精确地捕获两个局部视场72a至72b。
根据参考前述实施例中的任何一个实施例的第四实施例，表示第一局部视场和第二局部视场的图像信息的第一局部图像和第二局部图像沿着第一图像方向32包括与表示总视场70的图像信息的总图像相同的尺寸，并且沿着第二图像方向28包括与总图像不同的尺寸。
根据参考前述实施例中的任何一个实施例的第五实施例，该设备被配置为提供具有单色亮度信息的所成像的第一局部视场和第二局部视场的图像信息。
根据参考前述实施例中的任何一个实施例的第六实施例，该设备被配置为获得具有第一扫描度b×c的总视场70的图像信息，获得具有比第一扫描度b×c大的第二扫描度b×a的第一局部视场或第二局部视场72a至72b的图像信息，并且提供具有比第一扫描度大的第三扫描度的总视场70的组合图像信息。
根据参考第六实施例的第七实施例，沿着第一图像方向和第二图像方向28、32，第二扫描度b×c比第一扫描度大至少30％。
根据参考前述实施例中的任何一个实施例的第八实施例，计算单元33被配置为将总视场70的图像信息和局部视场的图像信息细分成图像块63a、63b，并且逐块地将总视场的第一图像块63c内包含的图像信息x、*、#与第一局部视场或第二局部视场的第二图像块63a、63b的匹配图像信息相关联，以便通过将第一图像块和第二图像块进行组合来增加在组合图像信息中的总视场70的图像信息的扫描度。
根据参考第八实施例的第九实施例，计算单元33被配置为：在应用关联标准的同时将第一块63c与第二块63a、63b相关联，以便仅在关联标准满足的情况下执行组合；如果关联标准不满足，则在不进行组合的情况下，在第一块63c4内提供总视场70的组合图像信息61。
根据参考前述实施例中的任何一个实施例的第十实施例，计算单元33被配置为基于总视场70的图像信息对局部视场72a至72b的图像信息进行拼接。
根据参考前述实施例中的任何一个实施例的第十一实施例，计算单元33被配置为在使用总视场70的图像与第一局部视场72a的图像之间的第一视差83a和总视场70的图像与第二局部视场72b的图像之间的第二视差83b的同时，产生针对总视场70的图像信息的深度图。
根据参考前述实施例中的任何一个实施例的第十二实施例，局部视场72a至72b在总视场70内的重叠区域73、73a至73e内重叠，计算单元33被配置为在使用第一局部视场和第二局部视场72a至72b的图像信息的同时，在重叠区域73、73a至73e内产生针对总视场70的图像信息的深度图。
根据参考前述实施例中的任何一个实施例的第十三实施例，该设备包括：光学图像稳定器22，用于通过在图像传感器12和阵列14之间产生第一相对移动34、39a来实现沿着第一图像轴28的图像稳定，并且用于通过在图像传感器12和阵列14之间产生第二相对移动38、39b来实现沿着第二图像轴32的图像稳定。
根据参考前述实施例中的任何一个实施例的第十四实施例，该设备还包括聚焦装置，所述聚焦装置包括用于调整该设备的焦点的至少一个致动器134b，所述致动器134b被配置为在光学通道16a至16b之一的至少一个光学器件64a至64b和图像传感器12之间提供相对移动。
根据第十五实施例，一种补充设备包括根据第一至第十四实施例中的任一实施例所述的设备，并且被配置为耦接至相机，从而从其获得总视场70的图像信息。
根据第十六实施例，多孔径成像设备10、30、60、70、80、90包括：图像传感器12；光学通道16a至16b的阵列14，每个光学通道16a至16b包括用于将总视场70的至少一个局部视场72a至72b投影到图像传感器12的图像传感器区域24a至24c上的光学器件64a至64c，阵列14的第一光学通道16a被配置为对总视场70的第一局部视场72a进行成像，阵列14的第二光学通道16b被配置为对总视场70的第二局部视场72b进行成像，以及第三光学通道16c被配置为对总视场70完全成像。
根据参考第十六实施例的第十七实施例，多孔径成像设备包括光束偏转装置18，光束偏转装置18用于联合地偏转第一光学通道和第二光学通道16a至16b的光学路径26a至26b。
根据参考第十六实施例或第十七实施例的第十八实施例，阵列14中用于捕获第一局部视场和第二局部视场的光学器件64a、64c的布置相对于用于对总视场70成像的光学器件64b的位置对称；或者，其中，用于对第一局部视场和第二局部视场72a至72b成像的图像传感器区域24a、24c的布置相对于用于对总视场70成像的图像传感器区域24b的位置对称。
根据参考第十六实施例至第十八实施例中的任何一个实施例的第十九实施例，总视场70的图像格式与所成像的第一局部视场72a和所成像的第二局部视场72b的无冗余组合相对应。
根据参考第十六实施例至第十九实施例中的任何一个实施例的第二十实施例，多孔径成像设备包括：计算单元33，被配置为基于所成像的局部视场72a至72b获得第一局部视场和第二局部视场的图像信息，并且基于所成像的总视场70获得总视场70的图像信息，并将局部视场的图像信息与总视场的图像信息组合以产生总视场70的组合图像信息61。
根据参考第二十实施例的第二十一实施例，计算单元33被配置为将总视场70的图像信息和局部视场的图像信息细分成图像块，并且逐块地将总视场70的第一图像块内包含的图像信息与第一局部视场或第二局部视场的第二图像块的匹配图像信息相关联，以便通过将第一图像块和第二图像块进行组合来增加在组合图像信息中的总视场70的图像信息的扫描度。
根据参考第二十一实施例的第二十二实施例，计算单元33被配置为：在应用关联标准的同时将第一块与第二块相关联，以便仅在关联标准满足的情况下执行组合；如果关联标准不满足，则在不进行组合的情况下，在第一块内提供总视场70的组合图像信息。
根据参考第二十实施例至第二十二实施例中的任何一个实施例的第二十三实施例，计算单元33被配置为基于总视场70的图像信息对局部视场的图像信息进行拼接。
根据参考第二十实施例至第二十三实施例中的任何一个实施例的第二十四实施例，计算单元33被配置为在使用总视场70的图像与第一局部视场的图像之间的第一视差83a和总视场70的图像与第二局部视场的图像之间的第二视差83b的同时，产生针对总视场70的图像信息的深度图81。
根据参考第二十实施例至第二十四实施例中的任何一个实施例的第二十五实施例，局部视场在总视场70内的重叠区域内重叠，计算单元33被配置为在使用第一局部视场和第二局部视场的图像信息的同时，在重叠区域内产生针对总视场70的图像信息的深度图。
根据参考第二十实施例至第二十五实施例中的任何一个实施例的第二十六实施例，多孔径成像没备被配置为从传感器获得具有第一扫描度的总视场70的图像信息，从传感器获得具有比第一扫描度大的第二扫描度的第一局部视场或第二局部视场的图像信息，并且提供具有比第一扫描度大的第三扫描度的总视场70的组合图像信息。
根据参考第二十六实施例的第二十七实施例，沿着第一图像方向和第二图像方向，第二扫描度比第一扫描度大至少30％。
根据参考第十六实施例至第二十七实施例中的任何一个实施例的第二十八实施例，多孔径成像设备被配置为：以第一图像分辨率从图像传感器获得由第三光学通道捕获的总视场70的图像信息，多孔径成像设备包括显示装置，并且被配置为以最高第一图像分辨率显示图像信息。
根据参考第二十八实施例的第二十九实施例，多孔径成像设备被配置为基于总视场70的连续图像在显示装置上输出总视场70的视频信号。
根据参考第十六实施例至第二十九实施例中的任何一个实施例的第三十实施例，多孔径成像设备包括：光束偏转装置18，用于共同偏转光学通道16a至16c的光学路径26a至26c，并且包括光学图像稳定器22，用于通过在图像传感器12、阵列14和光束偏转装置18之间产生第一平移相对移动来实现沿着第一图像轴28的图像稳定，并且用于通过在图像传感器12、阵列14和光束偏转装置18之间产生第二相对移动38来实现沿着第二图像轴32的图像稳定。
根据参考第三十实施例的第三十一实施例，光学图像稳定器22被配置为提供针对第一光学通道和第二光学通道的第一相对移动以及针对第三光学通道的第二相对移动。
根据参考第三十实施例或第三十一实施例的第三十二实施例，第一相对移动包括以下至少一项：图像传感器12和阵列14之间的平移相对移动、图像传感器12和光束偏转装置18之间的平移相对移动、以及阵列14和光束偏转装置18之间的平移相对移动，并且其中第二相对移动38包括以下至少一项：光束偏转装置18的旋转移动、图像传感器12和阵列14之间的平移相对移动、以及阵列14和光束偏转装置18之间的平移相对移动。
根据参考第三十实施例至第三十二实施例中的任何一个实施例的第三十三实施例，多孔径成像设备还包括电子图像稳定器41，用于实现沿着第一图像轴和第二图像轴28、32的阵列14的第一光学通道16a的图像稳定。
根据参考第三十三实施例对的第三十四实施例，电子图像稳定器41被配置为沿着第一图像轴和第二图像轴28、32将第一光学通道16a稳定到第一程度，并且还被配置用于沿着第一图像轴和第二图像轴28、32将第二光学通道16c图像稳定到第二程度。
根据参考第三十三实施例或第三十四实施例的第三十五实施例，光学图像稳定器22被配置为执行光学图像稳定，使得所述光学图像稳定涉及局部视场72a至72b中的第一局部视场的图像，其中，电子图像稳定器41被配置为相对于第一局部视场72a至72b的图像稳定第二局部视场72a至72b的图像。
根据参考第三十三实施例至第三十五实施例中的任何一个实施例的第三十六实施例，光学图像稳定器22被配置为稳定来自包括第一光学通道16a和第二光学通道16c在内的组中的参考通道的成像的局部视场72a至72b的图像，并且其中电子图像稳定器41被配置为针对不同于参考通道的光学通道16a至16c以特定于通道的方式执行图像稳定，多孔径成像设备被配置为仅以光学方式稳定参考通道。
根据参考第三十三实施例至第三十六实施例中的任何一个实施例的第三十七实施例，电子图像稳定器41被配置为以特定于通道的方式针对每个光学通道16a至16c执行图像稳定。
根据参考第三十七实施例的第三十八实施例，电子图像稳定器41被配置为根据指定的函数相关在每个通道中执行特定于通道的电子图像稳定，所述函数相关取决于图像传感器12、阵列14和光束偏转装置18之间的相对移动。
根据参考第三十八实施例的第三十九实施例，函数相关是线性函数。
根据参考第三十三实施例至第三十九实施例中的任何一个实施例的第四十实施例，光学图像稳定器22被配置为基于光束偏转装置18的旋转移动38沿图像方向28、32之一提供光学图像稳定，所述函数相关是将光束偏转装置18的旋转角度投影到沿着图像方向28、32的电子图像稳定的程度上的角度函数。
根据参考第三十三实施例至第四十实施例中的任何一个实施例的第四十一实施例，电子图像稳定器41被配置为在第一时间点和第二时间点处在第一局部视场72a至72b的第一局部图像中识别匹配特征，并且基于第一图像中的特征的移动的比较来提供电子图像稳定。
根据参考第十六实施例至第四十一实施例中的任何一个实施例的第四十二实施例，多孔径成像设备还包括聚焦装置87，聚焦装置87包括用于调整设备的焦点的至少一个致动器89a至89b，所述致动器被配置为在光学通道16a至16c之一的至少一个光学器件64a至64c和图像传感器12之间提供相对移动。
根据参考第四十二实施例的第四十三实施例，聚焦装置87被配置为提供针对第一光学通道和第二光学通道16a、16c的第三相对移动和针对第三光学通道16b的第四相对移动。
根据参考第十六实施例至第四十三实施例中的任何一个实施例的第四十四实施例，图像传感器区域沿着行延伸方向35布置在图像传感器12上，并且其中，图像传感器区域24a至24c沿着与行延伸方向垂直的图像方向32呈现出在20％的容差范围内相同的尺寸。
根据参考第十六实施例至第四十四实施例中的任何一个实施例的第四十五实施例，第一光学通道和第二光学通道16a、16c是被配置为分别对总视场70的局部视场72a至72c成像的一组光学通道的一部分，所述一组光学通道被配置为联合地对总视场70完全成像。
根据参考第四十四实施例的第四十六实施例，该组光学通道被配置为精确地捕获两个局部视场72a至72b。
根据参考第十六实施例至第四十六实施例中的任何一个实施例的第四十七实施例，表示第一局部视场和第二局部视场72a至72b的由图像传感器12提供的图像信息的第一局部图像和第二局部图像沿着第一图像方向32具有与表示总视场70的由图像传感器提供的图像信息的总图像相同的尺寸，并且沿着第二图像方向28呈现出与总图像不同的尺寸。
根据参考第十六实施例至第四十七实施例中的任何一个实施例的第四十八实施例，多孔径成像设备被配置为提供具有单色亮度信息的成像的第一局部视场和第二局部视场。
根据参考第十六实施例至第四十八实施例中的任何一个实施例的第四十九实施例，多孔径成像设备被配置为移动电话、智能电话、平板电脑或监视器。
根据第五十实施例，提供设备的方法1400包括：提供1410图像传感器；布置1420光学通道的阵列，使得每个光学通道包括用于将总视场的至少一个局部视场投影到图像传感器的图像传感器区域上的光学器件，使得阵列的第一光学通道被配置为对总视场的第一局部视场进行成像，并且使得阵列的第二光学通道被配置为对总视场的第二局部视场进行成像；以及布置1430计算单元，使得计算单元被配置为基于成像的局部视场获得第一局部视场和第二局部视场的图像信息，并且获得总视场的图像信息，并将局部视场的图像信息与总视场的图像信息进行组合以便产生总视场的组合图像信息。
根据第五十一实施例，提供多孔径成像设备的方法1500包括：提供1510图像传感器；布置1520光学通道的阵列，使得每个光学通道包括用于将总视场的至少一个局部视场投影到图像传感器的图像传感器区域上的光学器件，使得阵列的第一光学通道被配置为对总视场的第一局部视场进行成像，并且使得阵列的第二光学通道被配置为对总视场的第二局部视场进行成像，并且使得第三光学通道被配置为对总视场完全成像。
一些说明涉及相对方向(例如，顶部/底部或左侧/右侧)。可以理解，如果空间取向改变，则它们可以根据需要互换。这就是为什么所述术语不应被认为是限制性的，并且仅旨在使得描述更加清楚。
尽管已在设备的上下文中描述了一些方面，但是应当理解：所述方面还表示了对对应方法的描述，使得设备的块或结构组件还被理解为对应的方法步骤或方法步骤的特征。类似地，在方法步骤的上下文内描述或被描述为方法步骤的方面也表示对相应设备的相应块或细节或特征的描述。
上述实施例仅表示对本发明的原理的说明。应理解，本领域其他技术人员将意识到对于本文描述的布置和细节的修改和变化。因此，本发明旨在仅由所附权利要求的范围来限定，而不由本文中通过对实施例的描述和讨论提出的具体细节来限定。

Claims (35)

1.一种多孔径成像设备(10；30；60；70；80；90)，包括：
图像传感器(12)；以及
光学通道(16a-16b)的阵列(14)，每一个光学通道(16a-16b)包括用于将总视场(70)的至少一个局部视场(72a-72b)投影到所述图像传感器(12)的图像传感器区域(24a-24c)上的光学器件(64a-64c)；
所述阵列(14)的第一光学通道(16a)被配置为对所述总视场(70)的第一局部视场(72a)成像，所述阵列(14)的第二光学通道(16b)被配置为对所述总视场(70)的第二局部视场(72b)成像，并且第三光学通道(16c)被配置为对所述总视场(70)完全成像。
2.根据权利要求1所述的多孔径成像设备，其中，所述总视场(70)的图像格式与所成像的第一局部视场(72a)和所成像的第二局部视场(72b)的无冗余组合相对应。
3.根据权利要求1所述的多孔径成像设备，包括：光束偏转装置(18)，所述光束偏转装置(18)用于联合地偏转所述第一光学通道和所述第二光学通道(16a-16b)的光学路径(26a-26b)。
4.根据权利要求1所述的多孔径成像设备，其中，所述阵列(14)中用于捕获所述第一局部视场和所述第二局部视场的光学器件(64a，64c)的布置相对于用于对所述总视场(70)成像的所述光学器件(64b)的位置对称；或者
其中，用于对所述第一局部视场和所述第二局部视场(72a-72b)成像的图像传感器区域(24a，24c)的布置相对于用于对所述总视场(70)成像的所述图像传感器区域(24b)的位置对称。
5.根据权利要求1所述的多孔径成像设备，包括：计算单元(33)，被配置为基于所成像的局部视场(72a-72b)获得所述第一局部视场和所述第二局部视场的图像信息，基于所成像的总视场(70)获得所述总视场(70)的图像信息，并将所述局部视场的图像信息与所述总视场(70)的图像信息组合以产生所述总视场(70)的组合图像信息(61)。
6.根据权利要求5所述的多孔径成像设备，其中，所述计算单元(33)被配置为：将所述总视场(70)的图像信息和所述局部视场的图像信息细分成图像块，并且逐块地将所述总视场(70)的第一图像块内包含的图像信息与所述第一局部视场或所述第二局部视场的第二图像块的匹配图像信息相关联，以便通过将所述第一图像块和所述第二图像块进行组合来增加在所述组合图像信息中的所述总视场(70)的图像信息的扫描度。
7.根据权利要求6所述的多孔径成像设备，其中，所述计算单元(33)被配置为：在应用关联标准的同时将所述第一图像块与所述第二图像块相关联，以便仅在所述关联标准满足的情况下执行所述组合；如果所述关联标准不满足，则在不进行组合的情况下，在所述第一图像块内提供所述总视场(70)的组合图像信息。
8.根据权利要求5所述的多孔径成像设备，其中，所述计算单元(33)被配置为基于所述总视场(70)的图像信息对所述局部视场的图像信息进行拼接。
9.根据权利要求5所述的多孔径成像设备，其中，所述计算单元(33)被配置为在使用所述总视场(70)的图像与所述第一局部视场的图像之间的第一视差(83a)和所述总视场(70)的图像与所述第二局部视场的图像之间的第二视差(83b)的同时，产生针对所述总视场(70)的图像信息的深度图(81)。
10.根据权利要求5所述的多孔径成像设备，其中，所述局部视场在所述总视场(70)内的重叠区域内重叠，所述计算单元(33)被配置为在使用所述第一局部视场和所述第二局部视场的图像信息的同时，在所述重叠区域内产生针对所述总视场(70)的图像信息的深度图。
11.根据权利要求5所述的多孔径成像设备，被配置为从所述传感器获得具有第一扫描度的所述总视场(70)的图像信息，从所述传感器获得具有比所述第一扫描度大的第二扫描度的所述第一局部视场或所述第二局部视场的图像信息，并且提供具有比所述第一扫描度大的第三扫描度的所述总视场(70)的所述组合图像信息。
12.根据权利要求11所述的多孔径成像设备，其中，沿着第一图像方向和第二图像方向，所述第二扫描度比所述第一扫描度大至少30％。
13.根据权利要求1所述的多孔径成像设备，被配置为：以第一图像分辨率从所述图像传感器获得由所述第三光学通道捕获的所述总视场(70)的图像信息，所述多孔径成像设备包括显示装置，并且被配置为最高以所述第一图像分辨率显示所述图像信息。
14.根据权利要求13所述的多孔径成像设备，被配置为基于所述总视场(70)的连续图像在所述显示装置上输出所述总视场(70)的视频信号。
15.根据权利要求1所述的多孔径成像设备，包括：光束偏转装置(18)，用于共同偏转所述光学通道(16a-16c)的光学路径(26a-26c)，并且包括光学图像稳定器(22)，用于通过在所述图像传感器(12)、所述阵列(14)和所述光束偏转装置(18)之间产生第一相对移动来实现沿着第一图像轴(28)的图像稳定，并且用于通过在所述图像传感器(12)、所述阵列(14)和所述光束偏转装置(18)之间产生第二相对移动(38)来实现沿着第二图像轴(32)的图像稳定。
16.根据权利要求15所述的多孔径成像设备，其中，所述光学图像稳定器(22)被配置为针对所述第一光学通道和所述第二光学通道提供第一相对移动以及针对所述第三光学通道提供第二相对移动。
17.根据权利要求15所述的多孔径成像设备，其中，所述第一相对移动包括以下至少一项：所述图像传感器(12)和所述阵列(14)之间的平移相对移动、所述图像传感器(12)和所述光束偏转装置(18)之间的平移相对移动、以及所述阵列(14)和所述光束偏转装置(18)之间的平移相对移动，并且其中所述第二相对移动(38)包括以下至少一项：所述光束偏转装置(18)的旋转移动、所述图像传感器(12)和所述阵列(14)之间的平移相对移动、以及所述阵列(14)和所述光束偏转装置(18)之间的平移相对移动。
18.根据权利要求15所述的多孔径成像设备，还包括电子图像稳定器(41)，用于实现沿着所述第一图像轴和所述第二图像轴(28，32)的所述阵列(14)的所述第一光学通道(16a)的图像稳定。
19.根据权利要求18所述的多孔径成像设备，其中，所述电子图像稳定器(41)被配置为沿着所述第一图像轴和所述第二图像轴(28，32)将所述第一光学通道(16a)稳定到第一程度，并且还被配置用于沿着所述第一图像轴和所述第二图像轴(28，32)将第二光学通道(16c)图像稳定到第二程度。
20.根据权利要求18所述的多孔径成像设备，其中，所述光学图像稳定器(22)被配置为执行光学图像稳定，使得所述光学图像稳定涉及所述局部视场(72a-72b)中的第一局部视场的图像，其中，所述电子图像稳定器(41)被配置为相对于所述第一局部视场(72a-72b)的图像稳定第二局部视场(72a-72b)的图像。
21.根据权利要求18所述的多孔径成像设备，其中，所述光学图像稳定器(22)被配置为稳定来自包括所述第一光学通道(16a)和所述第二光学通道(16c)在内的组中的参考通道的成像的局部视场(72a-72b)的图像，并且其中所述电子图像稳定器(41)被配置为针对不同于所述参考通道的光学通道(16a-16c)以特定于通道的方式执行图像稳定，所述多孔径成像设备被配置为仅以光学方式稳定所述参考通道。
22.根据权利要求18所述的多孔径成像设备，其中，所述电子图像稳定器(41)被配置为以特定于通道的方式针对每个光学通道(16a-16c)执行图像稳定。
23.根据权利要求22所述的多孔径成像设备，其中，所述电子图像稳定器(41)被配置为根据指定的函数相关在每个通道中执行特定于通道的电子图像稳定，所述函数相关取决于所述图像传感器(12)、所述阵列(14)和所述光束偏转装置(18)之间的所述相对移动。
24.根据权利要求23所述的多孔径成像设备，其中，所述函数相关是线性函数。
25.根据权利要求18所述的多孔径成像设备，其中，所述光学图像稳定器(22)被配置为基于所述光束偏转装置(18)的旋转移动(38)沿所述图像方向(28，32)之一提供所述光学图像稳定，所述函数相关是将所述光束偏转装置(18)的旋转角度投影到沿着所述图像方向(28，32)的电子图像稳定的程度上的角度函数。
26.根据权利要求18所述的多孔径成像设备，其中，所述电子图像稳定器(41)被配置为在第一时间点和第二时间点处在第一局部视场(72a-72b)的第一局部图像中识别匹配特征，并且基于所述第一图像中的所述特征的移动的比较来提供所述电子图像稳定。
27.根据权利要求18所述的多孔径成像设备，还包括聚焦装置(87)，所述聚焦装置(87)包括用于调整所述设备的焦点的至少一个致动器(89a-89b)，所述致动器被配置为在所述光学通道(16a-16c)之一的至少一个光学器件(64a-64c)和所述图像传感器(12)之间提供相对移动。
28.根据权利要求27所述的多孔径成像设备，其中，所述聚焦装置(87)被配置为提供针对所述第一光学通道和所述第二光学通道(16a，16c)的第三相对移动和针对所述第三光学通道(16b)的第四相对移动。
29.根据权利要求1所述的多孔径成像设备，其中，所述图像传感器区域沿着行延伸方向(35)布置在所述图像传感器(12)上，并且其中，所述图像传感器区域(24a-24c)沿着与所述行延伸方向垂直的图像方向(32)呈现出在20％的容差范围内相同的尺寸。
30.根据权利要求1所述的多孔径成像设备，其中，所述第一光学通道和第二光学通道(16a，16c)是被配置为分别对所述总视场(70)的局部视场(72a-72c)成像的一组光学通道的一部分，所述一组光学通道被配置为联合起来对所述总视场(70)完全成像。
31.根据权利要求30所述的多孔径成像设备，其中，所述一组光学通道被配置为精确地捕获两个局部视场(72a-72b)。
32.根据权利要求1所述的多孔径成像设备，其中，表示所述第一局部视场和第二局部视场(72a-72b)的由所述图像传感器(12)提供的图像信息的第一局部图像和第二局部图像沿着第一图像方向(32)具有与表示所述总视场(70)的由所述图像传感器提供的图像信息的总图像相同的尺寸，并且沿着第二图像方向(28)呈现出与所述总图像不同的尺寸。
33.根据权利要求1所述的多孔径成像设备，被配置为提供具有单色亮度信息的成像的第一局部视场和第二局部视场(72a-72b)。
34.根据权利要求1所述的多孔径成像设备，被配置为移动电话、智能电话、平板电脑或监视器。
35.一种提供多孔径成像设备的方法(1500)，包括：
提供(1510)图像传感器；以及
布置(1520)光学通道的阵列，使得每个光学通道包括用于将总视场的至少一个局部视场投影到所述图像传感器的图像传感器区域上的光学器件，使得所述阵列的第一光学通道被配置为对所述总视场的第一局部视场进行成像，并且使得所述阵列的第二光学通道被配置为对所述总视场的第二局部视场进行成像，并且使得第三光学通道被配置为对所述总视场完全成像。
CN202210154442.6A 2017-04-13 2018-04-11 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法 Pending CN114727009A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017206442.0A DE102017206442B4 (de) 2017-04-13 2017-04-13 Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017206442.0 2017-04-13
PCT/EP2018/025110 WO2018188815A1 (de) 2017-04-13 2018-04-11 Vorrichtung zur abbildung von teilgesichtsfeldern, multiaperturabbildungsvorrichtung und verfahren zum bereitstellen derselben
CN201880039912.6A CN110754081B (zh) 2017-04-13 2018-04-11 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880039912.6A Division CN110754081B (zh) 2017-04-13 2018-04-11 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法

Publications (1)

Publication Number Publication Date
CN114727009A true CN114727009A (zh) 2022-07-08

Family

ID=62167274

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210154442.6A Pending CN114727009A (zh) 2017-04-13 2018-04-11 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法
CN201880039912.6A Active CN110754081B (zh) 2017-04-13 2018-04-11 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880039912.6A Active CN110754081B (zh) 2017-04-13 2018-04-11 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法

Country Status (9)

Country Link
US (1) US11457152B2 (zh)
EP (3) EP4376404A3 (zh)
JP (2) JP6860692B2 (zh)
KR (1) KR102230188B1 (zh)
CN (2) CN114727009A (zh)
DE (1) DE102017206442B4 (zh)
ES (1) ES2981966T3 (zh)
TW (1) TWI687099B (zh)
WO (1) WO2018188815A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
WO2018221041A1 (ja) * 2017-05-30 2018-12-06 ソニー株式会社 医療用観察システム及び医療用観察装置
DE102018222861A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
TWI747315B (zh) 2019-06-06 2021-11-21 弗勞恩霍夫爾協會 多通道成像裝置及具有多孔徑成像裝置之裝置
DE102020110052A1 (de) * 2020-04-09 2021-10-14 Hybrid Lidar Systems Ag Vorrichtung zur erfassung von bilddaten
WO2021223860A1 (en) 2020-05-05 2021-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Acquiring a digital image of an image content
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning
CN114937140B (zh) * 2022-07-25 2022-11-04 深圳大学 面向大规模场景的图像渲染质量预测与路径规划系统
WO2024118403A1 (en) * 2022-11-30 2024-06-06 Qualcomm Incorporated Image sensor with multiple image readout

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070181686A1 (en) * 2005-10-16 2007-08-09 Mediapod Llc Apparatus, system and method for increasing quality of digital image capture
CN101276415A (zh) * 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
EP2059046A1 (en) * 2007-11-09 2009-05-13 Mitsubishi Electric Corporation Method and system for combining videos for display in real-time
US20090167938A1 (en) * 2007-12-28 2009-07-02 Fujitsu Limited Synthesized image detection unit
CN101917550A (zh) * 2010-07-01 2010-12-15 清华大学 高时空分辨率视频去模糊方法及系统
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
CN102200611A (zh) * 2010-03-22 2011-09-28 肖特公司 刚性多向成像束以及合并其的成像组件
CN202098297U (zh) * 2011-06-24 2012-01-04 成都唐源电气有限责任公司 接触网关键悬挂自动巡查装置
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
JP2014225843A (ja) * 2013-05-17 2014-12-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104730688A (zh) * 2015-04-17 2015-06-24 张家港中贺自动化科技有限公司 一种宽视场高分辨率光学系统
DE102013226789A1 (de) * 2013-12-19 2015-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-bildaufnahmevorrichtung
US20150373269A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
US20160182821A1 (en) * 2013-08-01 2016-06-23 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
WO2017029376A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, verfahren zum herstellen derselben und abbildungssystem
TW201711443A (zh) * 2015-08-19 2017-03-16 弗勞恩霍夫爾協會 具有通道特定可調性之多孔徑成像裝置
TW201711457A (zh) * 2015-08-24 2017-03-16 弗勞恩霍夫爾協會 ３ｄ多孔徑成像裝置
WO2017053874A1 (en) * 2015-09-23 2017-03-30 Datalogic ADC, Inc. Imaging systems and methods for tracking objects
CN110754081A (zh) * 2017-04-13 2020-02-04 弗劳恩霍夫应用研究促进协会 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504562A (ja) * 2003-09-04 2007-03-01 サーノフ コーポレーション １つの画像から虹彩認証を行う方法および装置
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
TWI397995B (zh) 2006-04-17 2013-06-01 Omnivision Tech Inc 陣列成像系統及其相關方法
US20080030592A1 (en) * 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7643063B2 (en) 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
CN105681633B (zh) * 2009-03-19 2019-01-18 数字光学公司 双传感器照相机及其方法
AU2009201637B2 (en) * 2009-04-24 2011-08-11 Canon Kabushiki Kaisha Processing multi-view digital images
US9144714B2 (en) 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
US20100328471A1 (en) 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP5553597B2 (ja) 2009-12-25 2014-07-16 キヤノン株式会社 撮像装置及びその制御方法
US9213895B2 (en) * 2010-01-27 2015-12-15 Iris Id Iris scanning apparatus employing wide-angle camera, for identifying subject, and method thereof
JP5506504B2 (ja) 2010-03-31 2014-05-28 キヤノン株式会社 撮像装置及び撮像方法
US20120098971A1 (en) 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP5830662B2 (ja) 2010-12-09 2015-12-09 パナソニックＩｐマネジメント株式会社 撮像装置
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US10412367B2 (en) 2011-08-05 2019-09-10 3D Media Ltd Multi-lens camera with a single image sensor
JP2013045032A (ja) * 2011-08-26 2013-03-04 Fujifilm Corp 多眼撮像装置
EP2582128A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
JP6004785B2 (ja) 2012-06-29 2016-10-12 キヤノン株式会社 撮像装置、光学機器、撮像システムおよび制御方法
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN116405747A (zh) * 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
JPWO2014091986A1 (ja) 2012-12-11 2017-01-12 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
JP6172161B2 (ja) * 2012-12-11 2017-08-02 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
US20140160231A1 (en) * 2012-12-12 2014-06-12 Daniel C. Middleton Multi-focal image capture and display
US9232138B1 (en) 2013-06-03 2016-01-05 Amazon Technologies, Inc. Image stabilization techniques
JP6429440B2 (ja) 2013-09-18 2018-11-28 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
KR20150067608A (ko) * 2013-12-10 2015-06-18 한국전자통신연구원 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법
KR102163045B1 (ko) 2014-02-17 2020-10-08 삼성전기주식회사 이미지 보정 장치 및 그 방법
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
DE102014213371B3 (de) 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US20160044247A1 (en) * 2014-08-10 2016-02-11 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
US9992483B2 (en) * 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
US20160173869A1 (en) * 2014-12-15 2016-06-16 Nokia Corporation Multi-Camera System Consisting Of Variably Calibrated Cameras
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6659086B2 (ja) 2015-03-16 2020-03-04 キヤノン株式会社 像ブレ補正装置、光学機器、撮像装置および制御方法
KR102159910B1 (ko) * 2015-08-13 2020-10-23 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
DE102015215841B4 (de) 2015-08-19 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multikanalabbildungsvorrichtung und Verfahren zum Herstellen derselben
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
DE102015215844B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, tragbare Vorrichtung und Verfahren zum Herstellen einer Multiaperturabbildungsvorrichtung
DE102015215833A1 (de) 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit Optiksubstrat
DE102015215840B4 (de) 2015-08-19 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
ITUB20154043A1 (it) 2015-09-30 2017-03-30 Datalogic IP Tech Srl Sistema e metodo di lettura di informazioni codificate
DE102015220566B4 (de) 2015-10-21 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung, Verfahren zum Bereitstellen derselben und Verfahren zum Erfassen eines Gesamtgesichtsfeldes
DE102016200285A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
WO2017145945A1 (ja) * 2016-02-25 2017-08-31 京セラ株式会社 ステレオカメラ装置、車両および視差算出方法
DE102016204148A1 (de) 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
JP2017204674A (ja) * 2016-05-09 2017-11-16 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
DE102016208210A1 (de) 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US9940695B2 (en) * 2016-08-26 2018-04-10 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
US10165194B1 (en) * 2016-12-16 2018-12-25 Amazon Technologies, Inc. Multi-sensor camera system
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070181686A1 (en) * 2005-10-16 2007-08-09 Mediapod Llc Apparatus, system and method for increasing quality of digital image capture
EP2059046A1 (en) * 2007-11-09 2009-05-13 Mitsubishi Electric Corporation Method and system for combining videos for display in real-time
US20090167938A1 (en) * 2007-12-28 2009-07-02 Fujitsu Limited Synthesized image detection unit
CN101276415A (zh) * 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
CN102200611A (zh) * 2010-03-22 2011-09-28 肖特公司 刚性多向成像束以及合并其的成像组件
CN101917550A (zh) * 2010-07-01 2010-12-15 清华大学 高时空分辨率视频去模糊方法及系统
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
CN202098297U (zh) * 2011-06-24 2012-01-04 成都唐源电气有限责任公司 接触网关键悬挂自动巡查装置
JP2014225843A (ja) * 2013-05-17 2014-12-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
US20160182821A1 (en) * 2013-08-01 2016-06-23 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
DE102013226789A1 (de) * 2013-12-19 2015-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-bildaufnahmevorrichtung
US20150373269A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
CN104730688A (zh) * 2015-04-17 2015-06-24 张家港中贺自动化科技有限公司 一种宽视场高分辨率光学系统
WO2017029376A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, verfahren zum herstellen derselben und abbildungssystem
TW201711443A (zh) * 2015-08-19 2017-03-16 弗勞恩霍夫爾協會 具有通道特定可調性之多孔徑成像裝置
TW201711457A (zh) * 2015-08-24 2017-03-16 弗勞恩霍夫爾協會 ３ｄ多孔徑成像裝置
WO2017053874A1 (en) * 2015-09-23 2017-03-30 Datalogic ADC, Inc. Imaging systems and methods for tracking objects
CN110754081A (zh) * 2017-04-13 2020-02-04 弗劳恩霍夫应用研究促进协会 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法
CN110754081B (zh) * 2017-04-13 2022-02-25 弗劳恩霍夫应用研究促进协会 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法

Also Published As

Publication number Publication date
US20200029023A1 (en) 2020-01-23
JP7189992B2 (ja) 2022-12-14
EP3610637A1 (de) 2020-02-19
JP2021103181A (ja) 2021-07-15
JP2020517183A (ja) 2020-06-11
ES2981966T3 (es) 2024-10-14
CN110754081A (zh) 2020-02-04
EP4376404A3 (de) 2024-07-24
DE102017206442A1 (de) 2018-10-18
DE102017206442B4 (de) 2021-01-28
EP4369708A3 (de) 2024-07-24
TWI687099B (zh) 2020-03-01
US11457152B2 (en) 2022-09-27
EP3610637B1 (de) 2024-05-01
EP4376404A2 (de) 2024-05-29
TW201904266A (zh) 2019-01-16
CN110754081B (zh) 2022-02-25
EP4369708A2 (de) 2024-05-15
JP6860692B2 (ja) 2021-04-21
KR102230188B1 (ko) 2021-03-23
WO2018188815A1 (de) 2018-10-18
KR20190138853A (ko) 2019-12-16

Similar Documents

Publication Publication Date Title
CN110754081B (zh) 用于对局部视场成像的设备、多孔径成像设备及提供这些设备的方法
US10565734B2 (en) Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10571679B2 (en) Endoscope incorporating multiple image sensors for increased resolution
US8305425B2 (en) Solid-state panoramic image capture apparatus
JP5515396B2 (ja) 撮像装置
US20020140835A1 (en) Single sensor chip digital stereo camera
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
JP2018533248A (ja) ３ｄ多開口撮像装置
WO2019054304A1 (ja) 撮像装置
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
US11330161B2 (en) Device comprising a multi-aperture imaging device for accumulating image information
JP4693727B2 (ja) 三次元光線入力装置
JP2011215545A (ja) 視差画像取得装置
JP6751426B2 (ja) 撮像装置
JP6022428B2 (ja) 画像撮影装置及び画像撮影方法
JP2013105000A (ja) 映像表示装置及び映像表示方法
JPH04244791A (ja) 画像入力装置
PL227466B1 (pl) Sposób rejestracji obrazu oraz urządzenie optyczne rejestrujące obraz

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination