CN116325771A - 用于提供图像平移、倾斜和变焦功能的多传感器摄像系统、设备和方法 - Google Patents

Abstract

所公开的摄像系统可以包括初级摄像头和多个次级摄像头，该多个次级摄像头各自具有小于初级摄像头的最大水平FOV的最大水平FOV。该多个次级摄像头中的两个次级摄像头可以被定位成使得该两个次级摄像头的最大水平FOV以重叠水平FOV重叠，并且重叠水平FOV可以至少与初级摄像头的最小水平FOV一样大。摄像系统还可以包括图像控制器，当采集环境的包括在重叠水平FOV内的部分的图像时，该图像控制器同时启用初级摄像头和多个次级摄像头中的两个或更多个摄像头。还公开了各种其它系统、设备、组件和方法。

Description

用于提供图像平移、倾斜和变焦功能的多传感器摄像系统、设 备和方法

相关申请的交叉引用

本申请要求于2020年10月2日提交的美国临时申请第63/086,980号、于2020年12月31日提交的美国临时申请第63/132,982号以及于2021年9月15日提交的美国非临时专利申请第17/475,445号的优先权，上述每个申请的公开内容均通过引用整体并入本文。

背景技术

平移倾斜变焦(pan-tilt-zoom，PTZ)摄像头越来越多地用于各种环境中，这是因为这些摄像头能够提供对房间的良好覆盖，并且通常可以提供10倍到20倍的光学变焦。然而，现有的PTZ摄像头通常体积大、重量重且操作复杂，依赖于移动部件来提供所需的自由度以用于各种背景。因此，在降低摄像设备的复杂性和尺寸的同时，实现与用常规PTZ摄像头获得的结果类似的有效结果将是有益的。

发明内容

在本发明的一个方面，提供了一种摄像系统，该摄像系统包括：初级摄像头；多个次级摄像头，该多个次级摄像头各自具有小于初级摄像头的最大水平视场(field ofview，FOV)的最大水平FOV，其中：该多个次级摄像头中的两个次级摄像头被定位成使得该两个次级摄像头的最大水平FOV以重叠水平FOV重叠；并且重叠水平FOV至少与初级摄像头的最小水平FOV一样大；以及图像控制器，当采集环境的包括在重叠水平FOV内的部分的图像时，该图像控制器同时启用初级摄像头和该多个次级摄像头中的两个或更多个摄像头。

初级摄像头和多个次级摄像头中的至少一个摄像头可以包括固定镜头摄像头。

初级摄像头可包括鱼眼镜头。

次级摄像头可各自具有比初级摄像头更大的焦距。

图像控制器可以被配置为通过以下方式数字地变焦初级摄像头和多个次级摄像头中的至少一个摄像头：从初级摄像头和多个次级摄像头中的至少一个摄像头接收图像数据；以及产生与初级摄像头和多个次级摄像头中的至少一个摄像头的对应最大水平FOV的所选择部分对应的图像。

当图像控制器将初级摄像头数字地变焦到最大程度时，由图像控制器产生的对应的图像可以覆盖环境的未延伸至最小水平FOV之外的一部分。

图像控制器可以被配置为：将初级摄像头和多个次级摄像头中的至少一个摄像头数字地变焦到最大变焦水平，该最大变焦水平与最小阈值图像分辨率对应。

图像控制器可以被配置为通过以下方式在初级摄像头和多个次级摄像头中的至少一个次级摄像头之间数字地变焦：同时从初级摄像头和至少一个次级摄像头两者接收图像数据；当由图像控制器指定的变焦水平与大于重叠水平FOV的成像的水平FOV对应时，基于从初级摄像头接收的图像数据产生初级图像；以及当由图像控制器指定的变焦水平与不大于重叠水平FOV的成像的水平FOV对应时，基于从至少一个次级摄像头接收的图像数据产生次级图像。

图像控制器可以被配置为当由图像控制器产生的图像与小于重叠水平FOV的成像的水平FOV对应时，在多个次级摄像头之间水平地数字平移。

图像控制器可以通过以下方式在两个次级摄像头中的初始摄像头和后续摄像头之间水平地平移：同时从初始摄像头和后续摄像头两者接收图像数据；当成像的水平FOV的至少一部分在重叠水平FOV之外并且在初始摄像头的最大水平FOV内时，基于从初始摄像头接收的图像数据产生初始图像；以及当成像的水平FOV在重叠水平FOV内时，基于从后续摄像头接收的图像数据产生后续图像。

摄像系统还可以包括多个摄像头接口，其中，初级摄像头和两个次级摄像头中的每个摄像头将图像数据发送到多个摄像头接口中的单独一个摄像头接口。

图像控制器可以选择性地产生与多个摄像头接口中的一个摄像头接口对应的图像。

多个摄像头接口中的每个摄像头接口可通信地耦接到多个附加摄像头；并且图像控制器可在给定时间选择性地启用连接到多个摄像头接口中的每个摄像头接口的单个摄像头，并且停用剩余的摄像头。

摄像系统还可以包括多个三级摄像头，该多个三级摄像头各自具有小于多个次级摄像头中的每个次级摄像头的最大水平FOV的最大水平FOV，其中，多个三级摄像头中的两个三级摄像头可以被定位成使得该两个三级摄像头的最大水平FOV以重叠水平FOV重叠。

初级摄像头、多个次级摄像头和多个三级摄像头可以分别被包括在摄像头的初级的级(tier)、次级的级和三级的级内；并且摄像系统还可以包括一个或多个附加摄像头级，该一个或多个附加摄像头级各自包括多个摄像头。

初级摄像头的光轴可以以与多个次级摄像头中的至少一个次级摄像头的光轴不同的角度定向。

初级摄像头和多个次级摄像头可以被定向为使得水平FOV在非水平方向上延伸。

在本发明的一个方面，提供了一种摄像系统，该摄像系统包括：初级摄像头；多个次级摄像头，该多个次级摄像头各自具有小于初级摄像头的最大水平视场(FOV)的最大水平FOV，其中，多个次级摄像头中的两个次级摄像头被定位成使得该两个次级摄像头的最大水平FOV重叠；以及图像控制器，当从环境的一部分采集图像时，该图像控制器同时启用初级摄像头和多个次级摄像头中的两个或更多个摄像头，以产生由初级摄像头和多个次级摄像头中的两个或更多个摄像头采集的多个图像元素的组合形成的虚拟摄像头图像。

图像控制器还可以：基于从初级摄像头接收的图像数据，检测环境中的至少一个感兴趣的对象；基于对该至少一个感兴趣的物体的对象，确定虚拟摄像头视图；以及使用从启用的多个次级摄像头中的至少一个次级摄像头接收的图像数据，生成与虚拟摄像头视图对应的虚拟摄像头图像。

在本发明的一个方面，提供了一种方法，该方法包括：从初级摄像头接收图像数据；从多个次级摄像头接收图像数据，该多个次级摄像头各自具有小于初级摄像头的最大水平视场(FOV)的最大水平FOV，其中：多个次级摄像头中的两个次级摄像头被定位成使得该两个次级摄像头的最大水平FOV以重叠水平FOV重叠；并且重叠水平FOV至少与初级摄像头的最小水平FOV一样大；以及当从环境的包括在重叠水平FOV内的一部分采集图像时，由图像控制器同时启用初级摄像头和多个次级摄像头中的两个或更多个摄像头。

附图说明

附图示出了多个示例性实施例，并且作为说明书的一部分。与以下描述一起，这些附图说明和解释了本公开的各种原理。

图1A示出了根据本公开实施例的包括多个摄像头的示例性虚拟PTZ摄像设备。

图1B示出了根据本公开实施例的图1A所示的示例性虚拟PTZ摄像设备的部件。

图2示出了根据本公开实施例的图1A和图1B所示的虚拟PTZ摄像设备的摄像头的示例性水平视场(field-of-view，FOV)。

图3A示出了根据本公开实施例的示例性虚拟PTZ摄像设备的初级摄像头的水平FOV。

图3B示出了根据本公开实施例的图3A的示例性虚拟PTZ摄像设备的次级摄像头的水平FOV。

图3C示出了根据本公开实施例的图3A的示例性虚拟PTZ摄像设备的次级摄像头的水平FOV。

图3D示出了根据本公开实施例的图3A的示例性虚拟PTZ摄像设备的次级摄像头的水平FOV。

图4示出了根据本公开实施例的示例性虚拟PTZ摄像系统中的物理镜头布局。

图5示出了根据本公开实施例的示例性虚拟PTZ摄像系统中的物理镜头布局。

图6示出了根据本公开实施例的示例性虚拟PTZ摄像系统中的物理镜头布局。

图7示出了根据本公开实施例的分级多传感器摄像系统中的传感器的部分重叠的水平FOV。

图8示出了根据本公开实施例的示例性分级多传感器摄像系统，该分级多传感器摄像系统包括连接到各种计算设备的多个传感器。

图9示出了根据本公开实施例的示例性分级多传感器摄像系统，该分级多传感器摄像系统包括连接到各种计算设备的多个传感器。

图10示出了根据本公开实施例的示例性分级多传感器摄像系统，该分级多传感器摄像系统包括连接到各种计算设备的多个传感器。

图11示出了根据本公开实施例的分级多传感器摄像系统中的摄像头传感器的指定数据输出通道。

图12示出了根据本公开实施例的分级多传感器摄像系统中的传感器级的整体FOV。

图13示出了根据本公开实施例的分级多传感器摄像系统中的传感器的部分重叠的水平FOV。

图14示出了根据本公开实施例的示例性分级多传感器摄像系统，该分级多传感器摄像系统包括连接到各种计算设备的多个传感器。

图15示出了根据本公开实施例的提供超高清图像的分级多传感器摄像系统中的传感器的部分重叠的水平FOV。

图16示出了根据本公开实施例的示例性虚拟PTZ摄像设备的摄像头的水平FOV。

图17示出了根据本公开实施例的示例性虚拟PTZ摄像设备的摄像头的视图。

图18示出了根据本公开实施例的示例性虚拟PTZ摄像设备的摄像头的水平FOV。

图19示出了根据本公开实施例的示例性虚拟PTZ摄像设备的摄像头的视图。

图20示出了根据本公开实施例的示例性虚拟PTZ摄像设备的摄像头的视图。

图21是根据本公开实施例的用于操作虚拟PTZ摄像系统的示例性方法的流程图。

图22是根据本公开实施例的用于操作虚拟PTZ摄像系统的示例性方法的流程图。

图23示出了根据本公开实施例的示例性显示系统。

图24示出了根据本公开实施例的示例性摄像系统。

图25是可以结合本公开实施例使用的示例性增强现实眼镜的图示。

图26是可以结合本公开实施例使用的示例性虚拟现实头戴式设备(headset)的图示。

在整个附图和附录中，相同的附图标记和描述可以表示相似但不一定相同的元件。虽然本文描述的示例性实施例容易有各种修改和替代形式，但是在附录中已经通过举例的方式示出了具体实施例，并且这些具体实施例将在本文中详细描述。然而，本文描述的示例性实施例不旨在限于所公开的特定形式。而是，本公开涵盖落入本公开内的所有修改、等同物和替代物。

具体实施方式

本公开总体上涉及多传感器摄像设备(即，虚拟PTZ)，这些设备在尺寸减小的物品中提供平移、倾斜和变焦功能，而该尺寸减少的物品不利用移动机械部件来实现各个水平的变焦。在一些实施例中，所公开的PTZ方法可以使用大量图像传感器，这些图像传感器具有按级排列的重叠水平视场。本文所描述的系统中利用的图像传感器和对应的镜头可以比常规的图像传感器和镜头小得多。例如，每级可以具有越来越多的具有变窄的视场的传感器。在所公开的系统中利用的数字和固定光学变焦位置的混合可以在各种位置处提供对环境空间的高分辨率覆盖。在电接口处的多路复用/切换可用于将大量传感器连接到片上系统(system on a chip，SOC)或通用串行总线(universal serial bus，USB)接口设备。m个选择的传感器中的位置感知n可用于选择当前传感器，该当前传感器用于提供显示图像，并准备下一个向左或向右的传感器、和/或放大或缩小的传感器。

在摄像头应用中使用的SOC设备通常支持最多达3个或4个图像传感器，因此在没有定制的专用集成电路(application specific integrated circuit，ASIC)和/或现场可编程门阵列(field programmable gate array，FPGA)的情况下，建立能够直接连接到大量传感器的一个摄像头通常是不可行的。然而，这样的设置可能效率低下，不适合用于高速接口和逻辑功能的复制。另外，这样的ASIC可能相对昂贵，使得它们在许多场景中无法实现。单个传感器接口对于用于以可实践的方式在多个摄像头传感器之间进行切换来说，也往往过于耗时和不切实际(例如，由于电接口初始化、传感器设置、白平衡等而造成的延迟)，导致切换期间不期望的图像停滞和/或损坏。

然而，在下面讨论的所公开的实施例中，在摄像头视图平移和/或变焦并采集场景的不同部分时，可能没有必要将所有的传感器都同时启用。而是，在任何一个位置和时间，可能只需要一个或多个当前活动的传感器用于图像采集，并且由于在附近而可能接下来要利用的图像传感器也可以被开启并准备就绪。在一个实施例中，可以从总数(m)个传感器中选择少数(n)个活动的传感器。例如，在特定时间和位置利用的活动的传感器可以包括当前使用的传感器(即，以所选择的FOV主动采集图像的传感器)、下一个左侧或右侧的传感器、和/或下一个画面拉近(zoom in)或画面拉远(zoom out)的传感器。选择可以基于各种因素，这些因素包括虚拟PTZ摄像头的当前位置。在一些示例中，摄像头视图的移动可能相对缓慢，从而允许切换传感器等待时间(例如，大约1至2秒)被有效隐藏。

当FOV聚焦到房间或空间的更深处时，虚拟PTZ摄像头的平移和倾斜范围可能会过大。在一些实施例中，摄像头中的每级传感器可以缩小其总FOV，以便减少镜头的数量并提高角度分辨率。多个级各自可以针对变焦范围的一部分进行优化，以允许定焦镜头得到优化。对于后面的级，(例如，在风景和肖像模式之间)90度旋转的图像传感器可以提供更高的竖直FOV，这可以有助于避免在竖直平面中重叠。在初级的级中使用鱼眼镜头可以提供比常规PTZ更宽的整体FOV。另外，鱼眼镜头可用于感测对象/人，以引导与更高水平的变焦对应的其它级中的图像传感器的取景和选择。

图1A至图2示出了根据一些实施例的具有至少两级传感器的示例性虚拟PTZ摄像系统100，其中传感器的水平FOV部分重叠。在所示的虚拟PTZ摄像系统100中，四个摄像头可以彼此很近地放置。例如，初级摄像头104(即，第一级摄像头)可以设置在壳体102内的中心位置。初级摄像头104例如可以包括广角镜头(例如，鱼眼镜头)和传感器，以从环境采集图像数据。次级摄像头106A、106B和106C(即，第二级摄像头)也可以设置在壳体102中靠近初级摄像头104的位置。例如，如图1A和图1B所示，次级摄像头106A可以设置在初级摄像头104的一侧，次级摄像头106C可设置在初级摄像头104的相对侧，次级摄像头106B可以设置在初级摄像头104的下方。次级摄像头106A、106B和106C也可以设置在任何其它合适的位置。附加地或替代地，次级摄像头106A、106B和/或106C和/或任何其它合适的摄像头可以与壳体102分开定位。在各种实施例中，次级摄像头106A至106C可以各自包括单独的镜头和传感器，其中镜头和传感器的每个相应组合具有比初级摄像头104更大的焦距，以便提供比初级摄像头104更大的变焦能力，从而在更窄FOV中提供环境的各个部分的更高水平的细节和分辨率。

如下文更详细地讨论的，次级摄像头106A至106C可以覆盖一环境范围，该环境范围与由初级摄像头104采集的环境的一部分部分或完全重叠，其中次级摄像头106A至106C覆盖相邻区域，这些相邻区域具有部分重叠的FOV，以提供对区域的组合覆盖。在一些示例中，初级摄像头104与次级摄像头106A、106B和106C中的一个或多个次级摄像头可以具有彼此平行或基本上平行定向的光轴，其中相应的摄像头镜头沿着公共平面对齐。

在某些示例中，如图1A和图2所示，一个或多个镜头可以具有相对于彼此倾斜的光轴。例如，次级摄像头106A和106C可以朝向初级摄像头104向内成选择的角度，其中次级摄像头106B定向为平行于或基本上平行于初级摄像头104。如图2所示，次级摄像头106A和106C可以向内定向，以确保例如只要主体(例如，人体躯干)远离摄像头超过一定距离，主体的期望取景就完全适配在邻近的摄像头的两个FOV内。例如，该条件提供了：在FOV之间的转换区中，次级摄像头106A和106C两者都可以具有足够的可用数据来融合如本文所述的合成视图。如图2所示，次级摄像头106A、106B和106C可以具有相应的水平FOV 112A、112B和112C，这些水平FOV彼此部分重叠，并且与初级摄像头104的广角FOV 110重叠。如该图所示，次级摄像头106A和106C向内倾斜朝向彼此和初级摄像头104，使得次级摄像头106A和106C的光轴与初级摄像头104的光轴108不平行。

图3A至图3D示出了示例性环境的可以由多摄像头系统(例如，图1A至图2所示的虚拟PTZ摄像系统100)采集到的区域。如图所示，虚拟PTZ摄像系统100可以被定位和配置为采集环境114的部分(特别是环境114的包括一个或多个主体(例如，位于环境114内的个体116)的部分)的图像。可以基于用户输入自动地和/或手动地在所采集的图像内检测和框出主体。如图3A所示，初级摄像头104的最大水平FOV 110可以具有覆盖环境114的大部分的广角。如图3B至图3D所示，虚拟PTZ摄像系统100的次级摄像头106A至106C可以具有较小的水平FOV 112A至112C，这些水平FOV各自覆盖比初级摄像头104更少的环境114。基于个体116的位置，初级摄像头104和次级摄像头106A至106C中的一个或多个摄像头可以在特定时间被启用。例如，当个体116更靠近虚拟PTZ摄像系统100时，初级摄像头104可以被启用以采集个体116的图像。当个体116远离虚拟PTZ摄像系统100时，次级摄像头106A至106C中的一个或多个次级摄像头可被启用以采集个体116的更高分辨率的图像。取决于个体116的位置，次级摄像头106A、次级摄像头106B和/或次级摄像头106C可被选择性地启用。在一些示例中，当个体116的至少一部分位于两个或更多个对应FOV所重叠的区域中时，初级摄像头104和次级摄像头106A至106C中的两个或更多个摄像头可以被启用，以采集和产生图像。

在一些示例中，虚拟PTZ方法可以使用多个传感器，该多个传感器具有布置在多级摄像头中的至少部分地重叠的水平FOV，其中各级具有越来越多的具有变窄的视场的传感器。数字和固定光学变焦位置的混合可以以各个水平的细节和范围提供对环境空间的覆盖。在一些实施例中，电接口处的复用和/或切换可以用于将大量传感器连接到SOC或USB接口设备。m个传感器选择中的位置感知n可用于选择当前传感器，并准备下一个(例如，最近的)左侧或右侧的传感器、和/或下一个画面拉近或拉远的传感器。

图4至图6描绘了根据各种实施例的具有多级摄像头的各种示例性虚拟PTZ摄像系统。在这些图中的每个图中，根据各种实施例，摄像头的物理传感器和镜头可以以各种配置放置。每级中的摄像头的光轴可以是平行的或不平行的(例如，朝向中心摄像头向内倾斜)，以提供期望程度的覆盖和重叠。在所示的每个图示布局中，具有广角镜头和对应传感器的第一级摄像头404/504/604可以设置在阵列内的中心位置。附加的第二级、第三级和第四级传感器可以围绕第一级摄像头404/504/604布置(例如，以大致对称的方式围绕中心镜头和/或与中心镜头在水平上对齐)。图4、图5和图6中的每个图示出了实施例的传感器布置，这些传感器布置包括第二级中的两个传感器、第三级中的三个传感器和第四级中的五个传感器。任何其它合适数量的摄像头可以以任何合适的布置设置在每级中，而没有限制。

例如，图4示出了虚拟PTZ摄像系统400，该虚拟PTZ摄像系统具有与第一级摄像头404沿单个方向(例如，水平方向)对齐的多级摄像头。如图所示，一对第二级摄像头406可以最靠近第一级摄像头404设置。另外，三个第三级摄像头408和五个第四级摄像头410可以更向外远离第一级摄像头404设置。图5示出了虚拟PTZ摄像系统500，该虚拟PTZ摄像系统具有围绕第一级摄像头504以环形配置布置的多级摄像头。如图所示，一对第二级摄像头506、三个第三级摄像头508和五个第四级摄像头510可以布置在围绕第一级摄像头504的环中。图6示出了虚拟PTZ摄像系统600，该虚拟PTZ摄像系统具有围绕第一级摄像头604布置的多级摄像头。如图所示，一对第二级摄像头606、三个第三级摄像头608和五个第四级摄像头610可以布置在围绕第一级摄像头604的环中。

使用多个镜头来覆盖用于合适PTZ功能的变焦范围可能需要大量的传感器。然而，具有较小镜头的传感器可能比较大传感器便宜得多，所述较大传感器与较大镜头和电机(例如，如在常规PTZ摄像头中所使用的镜头和电机)组合使用。如果传感器对于期望的图像宽度足够重叠，则可以有效地采集图像，而不用拼接由两个或更多个相邻传感器同时采集的图像。合适的重叠量可以取决于传感器水平分辨率和期望的图像宽度。例如，下一级中可能需要足够的重叠，以将前一级中的FOV维持在期望的宽度。在至少一个示例中，鱼眼镜头和直线投影镜头的混合可以用于满足每级的指定FOV要求。

图7描绘了根据一些实施例的具有多级传感器的示例性虚拟PTZ摄像系统，其中传感器的水平FOV部分重叠。如图所示，例如，虚拟PTZ摄像系统700(例如，参见图4、图5和图6中所示的虚拟PTZ摄像系统400、500和600)可以使用多个具有传感器和镜头的摄像头，其中至少部分地重叠的水平FOV被布置在例如至少四级中，其中各级具有越来越多的具有变窄的视场的传感器。数字和固定光学变焦位置的混合可以提供对环境空间的覆盖。电接口处的复用和/或切换可用于将大量传感器连接到SOC或USB接口设备。m个传感器选择中的位置感知n可用于选择当前传感器，并准备下一个(例如，最近的)左侧或右侧的传感器、和/或下一个画面拉近或拉远的传感器。

如图7所示，虚拟PTZ摄像系统700可以包括第一级、第二级、第三级和第四级摄像头，其中每个连续级与更高水平的变焦能力对应。尽管每级中的摄像头可以物理地定位成在摄像系统700内彼此很近，但是每级在图7中被单独示出以更好地示出被每级内的摄像头覆盖的FOV。摄像系统700的第一级可以包括第一级摄像头(例如，图4至图6中所示的第一级摄像头404/504/604)，该第一级摄像头在第一级摄像头范围704(被描绘为广角或鱼眼镜头范围)内采集图像，该第一级摄像头范围具有最大水平FOV 712和最小水平FOV 714。

摄像系统700的第二级可以包括多个第二级摄像头(例如，一对第二级摄像头(例如，图4至图6中所示的第二级摄像头406/506/606))，这些第二级摄像头各自在相应第二级摄像头范围706内采集图像，该第二级摄像头范围具有最大水平FOV 716和最小水平FOV718。第二级摄像头可以是任何合适类型的摄像设备，例如具有直线性投影镜头的摄像头，该直线性投影镜头具有固定物理焦距。另外，这些第二级摄像头的最大水平FOV可以以重叠水平FOV 720重叠。

在各种实施例中，如图所示，第二级摄像头的重叠水平FOV 720可以至少与第一级摄像头的最小水平FOV 714一样大。因此，重叠水平FOV 720可以为期望的图像宽度提供足够的覆盖，使得第二级摄像头可以有效地采集图像，而不需要拼接由两个或更多个相邻传感器同时采集的图像。合适的重叠量可以取决于传感器水平分辨率和期望的图像宽度。例如，重叠水平FOV 720可以在第二级中提供足够的重叠，以将在第一级中提供的FOV维持在期望的宽度。因此，当第一级摄像头被数字地变焦以采集与最大水平FOV 712内的区域中的最小水平FOV 714相对应的区域时，第一级摄像头的最小水平FOV 714将足够窄以适配在重叠水平FOV 720内，并且该最小水平FOV可以与由一个或两个第二级摄像头采集的视图对准，而不需要将来自相邻第二级摄像头的两个或更多个单独视图拼接在一起。

在一个示例中，由第一级摄像头采集的图像可以用于产生初级图像以显示在屏幕上。由第一级摄像头采集的图像可以被变焦，直到其处于或接近最小水平FOV 714。此时，为了进一步变焦图像或增加在该变焦水平下提供的图像分辨率，可在由第一级摄像头采集的显示图像区域与由一个或两个第二级摄像头采集的区域(即，一个或两个第二级摄像头的第二级摄像头范围706内的区域的图像)对应时切换当前图像馈送。第二级摄像头可用于产生次级图像以供显示。为了在摄像头之间的转换之前和之后保持图像馈送的平滑流动，可以同时启用第一级摄像头和第二级摄像头中的一个或两个摄像头，使得相关的第一级摄像头和第二级摄像头在转换之前同时采集图像。通过确保将来自第一级摄像头和第二级摄像头的显示区域在切换之前对齐或基本对齐，当图像在多帧之间从一个摄像头切换到另一个摄像头时，显示的图像可以以影响很小或没有明显影响的方式呈现给查看者。级1至级4中的一个或多个摄像头的选择和启用可以由例如图像控制器(例如，参见图8和图9)以任何合适的方式完成，这将在下面更详细地描述。

此外，由两个或更多个第二级摄像头以与第一级摄像头的最小水平FOV 714相对应的变焦水平采集的图像可以在多个第二级摄像头范围之间被水平平移，而不拼接由第二级摄像头采集的多个图像。例如，这可以通过同时启用两个第二级摄像头使得两个摄像头同时采集图像来实现。在这个示例中，当图像视图在由相应第二级摄像头覆盖的两个第二级摄像头范围706之间平移时，当图像覆盖对应于重叠水平FOV 720的区域时，发送到显示器的图像馈送可以从初始的第二级摄像头切换到后续的第二级摄像头。因此，不是将由两个第二级摄像头单独地采集的图像或多个图像的多个部分拼接在一起，而是可以在所显示的图像区域与正由两个第二级摄像头采集的区域(即，重叠水平FOV 720内的区域的图像)相对应时切换当前图像馈送。通过确保来自两个第二级摄像头的显示区域在切换之前对齐或基本对齐，当图像在多帧之间从一个摄像头切换到另一个摄像头时，显示的图像可以以影响很小或没有明显影响的方式呈现给查看者。对于第三级和第四级中的第三摄像头和第四级摄像头，在平移和变焦期间可以以相同或相似的方式执行在多个摄像头之间切换的该相同技术。

摄像系统700的第三级可以包括多个第三级摄像头，例如，三个第三级摄像头(例如，图4至图6中所示的第三级摄像头408/508/608)，该多个第三级摄像头各自在相应第三级摄像头范围710内采集图像，该第三级摄像头范围具有最大水平FOV 722和最小水平FOV724。第三级摄像头可以是任何合适类型的摄像头设备，例如具有直线性投影镜头的摄像头，该直线性投影镜头具有固定物理焦距。另外，相邻的第三级摄像头的最大水平FOV可以以重叠水平FOV 726重叠。

在各种实施例中，如图所示，相邻的第三级摄像头的重叠水平FOV 726可以至少与一个或多个第二级摄像头的最小水平FOV 718一样大。因此，重叠水平FOV 726可以为期望的图像宽度提供足够的覆盖，使得图像可以被第三级摄像头有效地采集，而无需请求。在一个示例中，重叠水平FOV 726可以各自在第三级中提供足够的重叠，以将第二级中提供的整体FOV维持在期望的宽度。因此，当第二级摄像头被数字地变焦以采集与最小水平FOV 718相对应的区域时，第二级摄像头的最小水平FOV 718将足够窄以适配在对应的重叠水平FOV726内，并且不管在哪里执行变焦动作，该视图都可以与由至少一个第三级摄像头采集的视图对准，而不需要将来自相邻的第三级摄像头的两个或更多个单独视图拼接在一起。因此，由第二级摄像头采集的图像可以被变焦，直到其处于或接近最小水平FOV 718。

该图像可以被进一步变焦，和/或以该变焦水平提供的图像分辨率可以以与上述用于在第一级和第二级之间变焦相同或相似的方式增加。例如，可以在由第二级摄像头采集的显示图像区域与由一个或多个第三级摄像头同时采集的区域相对应时，切换当前图像馈送，从而在摄像头级之间的转换之前和之后保持图像馈送的平滑流动。此外，由两个或更多个第三级摄像头以与第二级摄像头的最小水平FOV 718相对应的变焦水平采集的图像可以在第三级摄像头范围之间被水平平移，而不用将由第三级摄像头采集的图像以与上面关于第二级摄像头讨论的相同或相似的方式拼接在一起。

摄像系统700的第四级可以包括多个第四级摄像头，例如五个第四级摄像头(例如，图4至图6中所示的第四级摄像头410/510/610)，该多个第四级摄像头各自在相应的第四级摄像头范围710内采集图像，该第四级摄像头范围具有最大水平FOV 728和最小水平FOV 730。第四级摄像头可以是任何合适类型的摄像设备，例如具有直线性投影镜头的摄像头，该直线性投影镜头具有固定物理焦距。另外，相邻的第四级摄像头的最大水平FOV可以以重叠水平FOV 732重叠。

在各种实施例中，如图所示，相邻的第四级摄像头的重叠水平FOV 732可以至少与一个或多个第三级摄像头的最小水平FOV 724一样大。因此，重叠水平FOV 732可以为期望的图像宽度提供足够的覆盖，使得图像可以由第四级摄像头有效地采集，而无需请求。在一个示例中，重叠水平FOV 732可以各自在第四级中提供足够的重叠，以将第二级中提供的整体FOV维持在期望的宽度。因此，当第二级摄像头被数字地变焦以采集与最小水平FOV 724相对应的区域时，第二级摄像头的最小水平FOV 724将足够窄以适配在对应的重叠水平FOV732内，并且不管在哪里执行变焦动作，该视图均可以与由至少一个第四级摄像头采集的视图对准，而不需要将来自相邻的第四级摄像头的两个或更多个单独视图拼接在一起。因此，由第三级摄像头采集的图像可以被变焦，直到其处于或接近最小水平FOV 724。

该图像可以被进一步变焦，和/或以该变焦水平提供的图像分辨率可以以与上述用于在第一级和第二级之间和/或第二级和第三级之间变焦相同或相似的方式增加。例如，可以在由第三级摄像头采集的显示图像区域与由一个或多个第四级摄像头同时采集的区域相对应时，切换当前图像馈送，从而在摄像头级之间的转换之前和之后保持图像馈送的平滑流动。此外，由两个或更多个第四级摄像头以与第三级摄像头的最小水平FOV 724相对应的变焦水平采集的图像可以在第四级摄像头范围之间被水平平移，而不用将由第四级摄像头采集的图像以与上面关于第二级和第三级摄像头讨论的相同或相似的方式拼接在一起。

单个或多个传感器摄像头可用于各种设备中，该各种设备例如为智能电话、交互式屏幕设备、网络摄像头、头戴式显示器、视频会议系统等。在一些示例中，单个设备中可能需要大量传感器来实现期望水平的图像采集细节和/或FOV范围。SOC设备通常可用在例如仅支持单个图像传感器的摄像头应用中。在这样的常规SOC系统中，恰好在传感器之间切换通常是不可行的，因为该切换可能需要不合适的时间间隔(例如，针对电接口初始化、传感器设置、白平衡调整等)，并且图像可能会在转换期间停滞和/或损坏。在一些常规系统中，可以利用定制ASIC/FPGA来使摄像头能够同时直接连接到更多数量的传感器。然而，这种定制ASIC或FPGA在高速接口和逻辑功能的复制方面可能是低效的。

图8和图9分别示出了示例性系统800和900，所述系统各自包括多个传感器，该多个传感器以可以克服常规的多传感器设置的某些限制的方式与计算设备(即，图像控制器)连接和对接。在至少一个示例中，摄像头设备可以根据用户输入和/或自动重新定位标准，在场景周围移动(即，通过采集场景的不同部分的图像)，以向用户提供虚拟平移和/或变焦体验。当摄像头设备调整所采集的图像区域时，并非所有传感器都需要同时启用。而是，只有当前传感器和接下来可能利用的相邻传感器可能需要运行并准备就绪。因此，在至少一个实施例中，可以仅从总数m个可用传感器(例如，如图4至图7所示的总共11个或更多个传感器)中选择少数n个活动的传感器(例如，3个至5个传感器)，该n个活动的传感器包括当前使用的传感器、下一个左侧或右侧的传感器、和/或下一个画面拉近或拉远的传感器。

例如，传感器选择可以基于虚拟PTZ摄像头的当前图像位置。通过在平移、倾斜和/或变焦图像期间相对缓慢地移动，可以有效地隐藏在所展示摄像头之间切换期间的切换传感器等待时间(例如，大约1秒至2秒)。根据一个示例，如图8所示，可用于图像采集的总共m个传感器804可各自连接到物理层开关832，该物理层开关在特定时间仅将n个选择的传感器804连接到集成电路(例如SOC 834)。每个传感器804可以是包括传感器804和对应镜头的相应摄像头的传感器(例如，参见图4至图7)。例如，如图8所示，经由物理层开关832处的物理层切换，总共m个传感器804中的三个传感器804可以在任一时间被主动利用，以经由对应的接口(interface，I/F)836将数据传输到图像控制器(例如，SOC 834)。对应的图像信号处理(image signal processing，ISP)模块838可以用于分别处理从三个主动利用的传感器中的各个传感器接收的数据。由ISP模块838处理的数据然后可以在处理器840处被接收，该处理器可以包括中央处理单元(central processing unit，CPU)和/或图形处理单元(graphics processing unit，GPU)，该中央处理单元和/或图形处理单元修改从至少一个传感器804接收的图像数据以提供用于查看的图像，例如基于从对应的传感器804接收的图像数据的虚拟平移、变焦和/或倾斜图像。然后，摄像头接口(I/F)842可以接收处理后的图像数据，并将其传输到一个或多个其它设备，以经由合适的显示设备呈现给用户并由用户查看。

在一些示例中，如图9所示，总共m个传感器904中的n个选择的传感器904(例如，3至5个传感器)可以经由物理开关932和n个互联网服务提供商(internet serviceprovider，ISP)设备944连接到对应的通用串行总线接口(USB I/F)设备946和/或其它合适的接口设备以用于进一步的图像处理和/或向用户显示，这些合适的接口设备被配置为与一个或多个外部计算设备对接，并将图像数据传输到该一个或多个外部计算设备。可以自动地和/或经由来自用户的被传递到物理层开关832/932、SOC 834和/或USB I/F设备946的输入，来控制活动的图像传感器在物理层开关832/932处的物理切换和/或来自活动的图像传感器的图像数据的处理。因此，可以启用和/或主动控制系统800/900中的对应摄像头的传感器804/904，并且可以控制和处理来自活动的传感器的所选择的图像数据，以向一个或多个用户提供虚拟PTZ摄像头视图。

图10和图11示出了示例性多传感器摄像系统，该多传感器摄像系统包括4级传感器/摄像头，从而允许多达4个水平的变焦，其中总共11个传感器分布在这4级中。如在该示例中所示，第一级摄像头/传感器(即，对应于图10中最左侧的传感器)可以包括单个传感器1004，该单个传感器用提供广角FOV的广角镜头来操作。附加的第二级至第四级中的传感器和镜头的焦距可以随着每级的对应FOV减小而逐渐增加。在一些示例中，每个后续级的摄像头还可以包括附加的镜头，以实现更大的整体图像采集区域。例如，如图10所示，从左到右进行，第二级可以包括两个第二级传感器1006，第三级可以包括三个第三级传感器1008，并且第四级可以包括五个第四级传感器1010。第一级、第二级、第三级和第四级传感器1004至1010可以分别具有图11中所示的最大水平FOV 1104、1106、1108和1110。

如图10所示，传感器可以各自选择性地路由到多个多路复用器(例如三个多路复用器1048A、1048B和1048C)中的一个多路复用器。例如，分别与图10中的多路复用器1048A、1048B和1048C相关联的标记A、B和C可以对应于图11中所示的标记A、B和C，并且与每级的相应摄像头的所示的最大水平FOV 1104至1110相关联，其中来自相关联的传感器1004至1010的图像数据被选择性地路由到图10中的匹配多路复用器1048A至1048C。例如，来自每个“A”摄像头传感器的图像数据可以被路由到多路复用器1048A，来自每个“B”摄像头传感器的图像数据可以被路由到多路复用器1048B，来自每个“C”摄像头传感器的图像数据可以被路由到多路复用器1048C。在一些示例中，以特定时间间隔，图10所示的每个多路复用器1048A、1048B和1048C可以选择单个连接的传感器，该传感器被启用并将图像数据发送到该多路复用器。另外，多路复用器控制单元1050可连接到多路复用器1048A至1048C中的每个多路复用器，并可用于选择多路复用器1048A至1048C中的哪一个多路复用器传输数据以显示给用户。因此，虽然所有三个多路复用器1048A至1048C可从对应的活动的摄像头传感器接收图像数据，但是在任何给定时间，仅可以传输来自多路复用器1048A至1048C中的一个多路复用器的图像数据。来自多路复用器1048A至1048C中的每个多路复用器的图像数据可以例如从对应的输出1052传输。

可以选择和布局传感器的路由，以确保在特定时间排队的活动的传感器具有作为下一个图像目标的最高潜力，并进一步确保任何两个潜在的图像目标在可能时连接到不同的多路复用器。因此，沿着潜在的变焦和/或平移路径的相邻传感器可以被选择性地路由到多路复用器1048A至1048C，以便确保用于接收当前显示的图像的多路复用器不同于用于接收后续图像的下一个潜在多路复用器。传感器可以以这样的方式连接到多路复用器，即当当前显示的图像由一个多路复用器接收和传输时，另外两个选择的多路复用器被配置为从接下来可能被利用的两个传感器接收数据。例如，同一级中的一个或多个相邻摄像头和/或一个或多个相邻级中覆盖重叠或附近FOV的一个或多个摄像头可以在当前未被用于提供显示图像的其它多路复用器处被接收。这样的设置可以有助于选择和启用(即，活动队列)可能被连续使用的传感器，从而有助于在成像环境内的平移、变焦和倾斜运动期间经由传感器之间切换的平滑转换。例如，可以在SOC(例如，图8中的SOC 834)内部的多路复用器的下游进行当前活动的传感器的最终选择。例如，多路复用器1048A、1048B和1048C中的每个多路复用器可以从对应的启用的传感器接收图像数据，并将该图像数据发送到SOC 834或另一个合适的设备，用于进一步的选择和/或处理。

在至少一个示例中，当作为“A”传感器的第一级传感器1004被启用并且用于生成发送到多路复用器1048A的当前显示的图像时，作为路由到多路复用器1048B和1048C的“B”和“C”传感器的第二级传感器1006也可以被启用。因此，当当前目标图像被变焦时，图像数据可以从由多路复用器1048A接收的图像数据平滑地切换到由多路复用器1048B或1048C从第二级传感器1006中的对应一个第二级传感器接收的图像数据。由于分别连接到多路复用器1048B和1048C的传感器1006已经是活动的，并且在这种转换之前传输图像数据，因此可以减少或消除所得图像的显示之间的任何明显的滞后。类似地，例如，当作为“A”传感器的中央第三级传感器1008被启用并用于生成发送到多路复用器1048A的当前显示的图像时，相邻的作为路由到多路复用器1048B和1048C的“B”和“C”传感器的第三级传感器1008也可以被启用。因此，当平移当前目标图像时，图像数据可以从由多路复用器1048A接收的图像数据平滑地切换到由多路复用器1048B或1048C从相邻的第三级传感器1008中的对应一个第三级传感器接收的图像数据。由于分别连接到多路复用器1048B和1048C的相邻的第三级传感器1008已经是活动的，并且在从多路复用器1048A的这种转换之前传输图像数据，因此可以减少或消除在所得图像的显示之间的任何明显的滞后。

图12和图13示出了由虚拟PTZ摄像系统的四级中的每级中的传感器提供的示例性总水平FOV和最小水平FOV。在许多环境中，在进入房间或空间的更深焦距处，PTZ平移和倾斜范围可能变得过大。因此，在一些示例中，每个连续级的摄像头能够缩窄它们的总FOV(例如，由每级中的传感器的组合提供的总水平和/或竖直FOV)，从而减少所需的镜头的数量和/或提高所接收的图像的角度分辨率。这种变窄的场可以由图12所示的边界1250来表示。

在一些实施例中，如图12和图13所示，第一级可以具有例如大约110度至130度(例如，大约120度)的总或最大水平FOV 1252。广角FOV例如可由广角镜头(例如，鱼眼镜头)提供。另外，第二级可以具有大约70度至90度(例如，大约80度)的总水平FOV 1254，第三级可以具有大约50度至70度(例如，大约60度)的总水平FOV 1256，并且第四级可以具有大约30度至50度(例如，大约40度)的总水平FOV 1258。第二级到第四级中的每级的总水平FOV可表示由每级的摄像头的组合提供的总可视水平范围。在图13所示的图示示例中，第二级中的两个传感器中的每个传感器可具有大约55度至65度(例如，大约61度)的最大水平FOV1216，第三级中的每个传感器可具有大约35度至40度(例如，大约41度)的最大水平FOV1222，第四级中的每个传感器可具有大约25度至35度(例如，大约28度)的最大水平FOV1228。

具有各自针对每级的变焦范围的一部分进行优化的多级可以允许有效地利用和优化定焦镜头。在一些实施例中，对于后面的级，不对称的纵横比和图像传感器的90度旋转(例如，在传感器和/或传感器阵列从风景到肖像模式的旋转期间)也可以提供更高的竖直FOV。另外，如图13所示，传感器的重叠FOV和高传感器像素密度可以有助于使用具有合适像素密度的图像传感器以各种变焦水平显示高清晰度(high-definition，HD)图像，该合适像素密度例如为从大约4k到大约7k水平像素的像素密度(例如，在每级的每个传感器中为大约5.5k水平像素)。如图所示，第一级传感器可以提供具有大约35度至45度(例如，大约42度)的最小水平FOV 1214的高清晰度(HD)图像，第二级传感器可以各自提供具有大约15度至25度(例如，大约22度)的最小水平FOV 1218的HD图像，第三级传感器可以提供具有大约10度至20度(例如，大约15度)的最小水平FOV 1224的HD图像，并且第四级传感器可以提供具有大约5度至15度(例如，大约10度)的最小水平FOV 1230的HD图像。此外，第二级传感器可以具有大约35度至45度或更大的重叠水平FOV 1220，相邻的第三级传感器可以具有大约15度至25度或更大的重叠水平FOV 1226，并且相邻的第四级传感器可以具有大约10度至20度或更大的重叠水平FOV 1232。

图14示出了示例性多传感器摄像系统1400，其中第一级的初级摄像头的广角传感器1404连接到SOC 1434中其自己的单独接口(I/F)1436A。如图所示，在附加级的摄像头中的传感器1405可以经由物理层开关1432选择性地耦接到SOC 1434，如上所述(例如，参见图8)。例如，第二级和更高级的摄像头的传感器1405可以连接到物理层开关1432，并且来自活动的摄像头的图像数据可以从物理层开关1432传输到相应的接口1436B和1436C。SOC 1434还可以包括对应于接口1436A至1436C中的每个接口的ISP模块1438、及处理器1440，该处理器可以包括CPU和/或GPU，该CPU和/或GPU修改从多个活动的传感器中的至少一个活动的传感器接收的图像数据，以提供用于查看的图像。在各种实施例中，在初级摄像头中使用广角镜头(例如，鱼眼镜头)可以提供比其它级更宽的最大FOV，并且与专用接口1436A的连接可以允许传感器1404被维持在活动状态，以持续地或频繁地感测传感器查看区域内的对象和/或人，以便主动地评估和引导与更高变焦程度对应的其它级中的其它传感器的取景和选择。

图15示出了具有六个传感器级的示例性多传感器摄像系统1500。在该示例中，示出了由六级中的每级中的传感器提供的水平FOV，并且系统1500可以利用重叠的FOV和相对高的传感器像素密度来提供超高清(ultra-HD，UHD)图像。在一些示例中，如图所示，第一级可以具有大约110度至130度(例如，大约120度)的总或最大水平FOV 1512，该水平FOV由例如广角镜头(例如，鱼眼镜头)提供。另外，第二级可以具有大约100度至120度(例如，大约110度)的总水平FOV，第二级中的两个传感器中的每个传感器具有大约90度至100度(例如，大约94度)的最大水平FOV 1516。在各种示例中，第二级的摄像头也可以包括广角镜头，以提供更大的最大FOV。

第三级可以具有大约90度至110度(例如，大约100度)的总水平FOV，第三级中的每个传感器具有大约65度至75度(例如，大约71度)的最大水平FOV 1522。第四级可以具有大约70度至90度(例如，大约80度)的总水平FOV，第四级中的每个传感器具有大约50度至60度(例如，大约56度)的最大水平FOV 1528。第五级可以具有大约50度至70度(例如，大约60度)的总水平FOV，第五级中的每个传感器具有大约35度至45度(例如，大约42度)的最大水平FOV 1560。第六级可以具有大约30度至50度(例如，大约40度)的总水平FOV，第六级中的每个传感器具有大约25度至35度(例如，大约29度)的最大水平FOV 1566。传感器可以布置成使得特定传感器和接下来可能使用的传感器(例如，左、右和n-1级、n+1级)之间的物理距离最小化。例如，这可以减少视差效应，并使传感器图像之间的切换不那么突兀，特别是在UHD分辨率下。

另外，如图15所示，传感器可具有高像素密度，且相邻传感器的FOV可充分重叠，以提供不同变焦水平的UHD图像。在一些示例中，传感器的重叠FOV和高传感器像素密度可以使用具有合适的像素密度的图像传感器以各种变焦水平促进UHD图像，该合适的像素密度例如为从大约4k到大约8k的水平像素(例如，在每级的每个传感器中为大约6k水平像素)的像素密度。如图所示，第一级传感器可以提供具有大约70度至85度(例如，大约77度)的最小水平FOV 1514的UHD图像，第二级传感器可以提供具有大约55度至65度(例如，大约61度)的最小水平FOV 1518的UHD图像，第三级传感器可以提供具有大约40度至50度(例如，大约46度)的最小水平FOV 1524的UHD图像，第四级传感器可以提供具有大约30度至40度(例如，大约36度)的最小水平FOV 1530的UHD图像，第五级传感器可以提供具有大约20度至30度(例如，大约27度)的最小水平FOV 1562的UHD图像，第六级传感器可以提供具有大约15度至25度(例如，大约19度)的最小水平FOV的UHD图像。

此外，第二级传感器可具有大约70度至85度或更大的重叠水平FOV 1520，相邻的第三级传感器可具有大约55度至65度或更大的重叠水平FOV 1526，相邻的第四级传感器可具有大约40度至50度或更大的重叠水平FOV 1532，相邻的第五级传感器可具有大约30度至40度或更大的重叠水平FOV 1564，相邻的第六级传感器可具有大约20度至30度或更大的重叠水平FOV 1570。

在某些实施例中，代替一次利用单个传感器，可以利用多个传感器来同时采集多幅图像。例如，两个传感器可以在分屏或多屏视图中提供人的视图和单独的白板视图。在该示例中，提供所显示的图像的一个或两个活动的摄像头可以在限制传感器能够如何自由和/或无缝地到处移动和/或改变视图(例如，如本文所述通过在传感器之间切换)的约束下起作用。

根据一些实施例，虚拟PTZ摄像系统可以在可缩放架构中使用具有不同视场的多个摄像头，该可缩放架构可以在没有任何移动部件的情况下实现高水平的变焦。该多个摄像头可以由软件控制，该软件选择摄像头的子集并且使用图像处理来渲染图像，该图像可以支持“虚拟”数字平移倾斜变焦摄像头类型的体验(以及在各种示例中的其它体验)。这样的技术的益处可以包括提供房间的任何部分的变焦视图，同时通过采集房间的全视图的单独摄像头来维持感知的能力。另外，所描述的系统可以提供这样的能力：在没有用户干预的情况下移动虚拟摄像头视图，并且以对用户无缝并且看起来像单个摄像头的方式跨多个不同摄像头而渐变。另外，由于使用了不依赖于机械电机来移动摄像头或跟随用户的全数字成像，所以可以以比常规PTZ低得多的等待时间来跟踪系统的视场中的用户。此外，所描述的系统可以使用低成本摄像头模块，这些低成本摄像头模块组合起来可以实现与更高端数字PTZ摄像头相竞争的图像质量，该更高端数字PTZ摄像头利用了更高成本的摄像头和部件。

根据各种实施例，所描述的技术可以用在交互式智能设备和工作场所通信应用中。另外，相同的技术可用于其它应用，例如，AR/VR、安保摄像头、监视或可受益于使用多个摄像头的任何其它合适的应用。所描述的系统可以很好地适用于在移动设备上实现，从而利用主要为移动设备空间开发的技术。

图16示出了由示例性虚拟PTZ摄像系统(诸如，图1A至图2所示的)采集的环境1600的成像区域。如上文关于图1A至图2所讨论的，虚拟PTZ摄像系统100可具有至少两级传感器，其中传感器的水平FOV部分重叠。虚拟PTZ摄像系统100的初级摄像头104可以包括例如广角镜头(例如，鱼眼镜头)和传感器以从环境采集图像数据。虚拟PTZ摄像系统100还可以包括在初级摄像头104附近位置的多个次级摄像头(即，第二级摄像头)，例如，次级摄像头106A、106B和106C。在某些示例中，一个或多个镜头可以具有相对于彼此倾斜的光轴。例如，次级摄像头106A和106C可以朝向初级摄像头104略微向内成角度，其中次级摄像头106B定向为平行于初级摄像头104并且不成角度，如图2所示。次级摄像头106A和106C可以向内定向，以确保例如只要主体(诸如，人体躯干)远离摄像头超过阈值距离，主体的期望取景就完全适配在邻近的摄像头的两个FOV内。例如，该条件提供了：在FOV之间的转换区中，次级摄像头106A和106C两者都可以具有足够的可用数据来融合如本文所述的合成视图。

返回图16，虚拟PTZ摄像系统1602(例如，参见图1A至图2中的系统100)可以定位成从包括一个或多个感兴趣的主体(诸如，所示的个体1604)的环境1600中采集图像。摄像系统1602的广角摄像头(例如，初级摄像头104)可具有广角FOV 1606，并且摄像系统1602的次级摄像头(例如，图1A至图2中的次级摄像头106A、106B和106C)可以具有相应的水平FOV1608A、1608B和1608C，它们彼此部分重叠并且与广角FOV 1606重叠。

在所示的示例中，两个邻近的次级摄像头可以具有重叠FOV 1608B和1608C，使得如下的16：9视频将保证落在FOV 1608B和1608C内：该视频在例如大约2米的距离处对个体1604的躯干的裁剪进行取景。这样的取景将允许所显示的图像在摄像头之间以锐切、交替渐变或如本文所述的任何其它合适的视图插值法进行转换。如果摄像头具有足够的冗余重叠，则对应用处理器的摄像头输入可以在帧转换期间在具有FOV 1608B和1608C的中心摄像头和右摄像头之间以如上所述的延迟很少或没有延迟的方式进行切换。因此，取决于用户的当前位置，这种系统能够仅用两个摄像头输入来操作，这两个摄像头输入包括用于广角视图的一个输入和用于右视图或中心视图的另一个输入。

系统的输入可以是流式传输视频图像的各个摄像头阵列，该阵列可以实时同步到应用处理器，该应用处理器使用构成视图来合成输出视频。最终的视频馈送可以被认为是从多个摄像头中的一个或多个摄像头合成的视频图像(即，虚拟摄像头视图)。对虚拟摄像头视图放置的控制以及摄像头参数可以通过本地或远程用户(例如，通过控制台)的手动干预来管理，或在自动化算法(例如，人工智能(artificial intelligence，AI)引导的智能摄像头)的引导下管理，该自动化算法确定期望的虚拟摄像头以渲染给定的上下文信息和收集的关于场景的数据。来自场景的上下文信息可以通过可以向应用处理器提供附加输入的不同模态的多个摄像头和其它感测设备(例如，计算机视觉摄像头或传声器阵列)聚合。

可以通过一些可用摄像头子集检测可能会影响最终视频馈送的放置的一个或多个个体(或其他显著感兴趣的相关对象，如宠物、生日蛋糕等)，以便建立对场景及其相关对象的理解。该检测可以是AI检测深度学习方法，例如在智能摄像头设备的姿态估计中使用的方法。自动化算法可以使用检测操作的结果，来确定最终期望的摄像头视图参数，以及在处理中应该启用或优先化哪个物理摄像头，以实现期望的虚拟摄像头视图。

在一种配置中，如图17所示，AI检测方法可以在对整个空间具有最宽可见度的摄像头视图1700(例如，图16中的广角FOV 1606)中检测感兴趣的对象或人，例如个体1704。以这种方式，只有一个摄像头可以负责检测摄像头视图1700中的场景状态，并且虚拟PTZ摄像系统中的其它摄像头可以简单地提供可以用于合成最终虚拟摄像头视图的视频图像数据。例如，在检测到个体1704时，可以使用具有FOV 1702的摄像头来采集用于生成所显示的虚拟摄像头图像的图像数据。在一些情况下，生成期望的虚拟摄像头视图时不需要的摄像头子集可以被关闭或置于低功率睡眠状态。可以使用预测的或自动化算法来基于场景内发生的活动预期各个摄像头的所需电力状态，并根据需要打开或关闭它们。

在一些实施例中，可能不存在具有一切的视图的单个摄像头，因此AI检测任务可以以临时方式在多个摄像头上分布或轮转。例如，AI检测可以在来自一个摄像头的帧上运行一次，接下来在来自另一个摄像头的帧上运行一次等等(例如，以循环方式)，以便建立比从单个摄像头可以实现的场景模型更大的场景模型。也可以使用多个摄像头中的检测，通过立体的三角测量或其它多摄像头方法来得到对象的更精确的检测距离。在一种情况下，AI检测任务可以在变焦视图和宽视图之间周期性地轮转，以便检测可能太远(即，分辨率太低)而不能在更宽的FOV摄像头中成功检测的相关对象。

在另一个实施例中，一个或多个物理摄像头可以具有它们自己的专用内置实时AI使能的协同处理或检测硬件，并且可以流式传输检测结果，而不必提供图像。处理单元可以从分布式摄像头收集元数据和对象检测信息，并且使用它们来聚合其场景模型，或者控制和向下选择哪些摄像头向更强大的AI检测算法提供图像数据。AI检测软件可以使用来自不同摄像头的检测元数据来确定如何跨多个摄像头临时共享有限的AI资源(例如，使摄像头通过AI检测的‘循环’轮转取决于来自特定摄像头的各个检测)。在另一种方法中，来自各个摄像头的环境检测数据可以用于设置缩小的感兴趣区域，以在将图像流式传输到应用处理器时节省带宽和电力或保存处理资源。

因此，虚拟PTZ摄像系统中的最宽FOV摄像头可用于对场景的AI理解，因为其具有对环境中的对象进行广义成像的能力，并且对于移动设备，通常没有足够的AI资源来处理所有的摄像头馈送。然而，在一些情况下，对于多个摄像头，AI检测任务可能需要在不同的摄像头之间轮转，或者处理也可以部分地或完全地分布到各个摄像头。

图18示出了可由多摄像头虚拟PTZ摄像系统1801采集的示例性环境1800(例如会议室)，该多摄像头虚拟摄像系统具有按级排列的10个摄像头(例如，参见图4至图15)。例如，摄像系统1801可以包括第一级的广角摄像头，该广角摄像头采集最大水平FOV 1802。另外，摄像系统1801例如可以包括三个第二级摄像头、三个第三级摄像头、以及三个第四级摄像头，该三个第二级摄像头采集三个重叠最大水平FOV 1804，该三个第三级摄像头采集三个重叠最大水平FOV 1806，且该三个第四级摄像头采集三个重叠最大水平FOV 1808。来自各级摄像头的视图可以提供覆盖环境的各个变焦程度和分辨率，在该示例中，该环境包括会议桌1812和多个个体1810。

许多可以实现AI检测算法的硬件设备可能仅支持有限数量的摄像头输入。在一些情况下，如图18所示，摄像头的数量(10)可以超过应用处理器中用于图像处理的可用输入的数量(如上所述，通常只有2个或3个输入可用)。另外，应用处理器上的图像信号处理器(Image Signal Processor，ISP)块的处理可能具有有限的带宽，并且可能仅能够在一帧时间内处理一定数量的图像。因此，算法方法可以使用关于场景的信息来减少视频输入的数量，以便选择多个摄像头中的哪些摄像头与以下任务最相关：(1)对所需的虚拟摄像头视图进行合成，以及(2)对其在场景中发生的内容的模型进行维持。

在一个实施例中，在虚拟PTZ摄像系统1801具有比输入更多的摄像头的情况下，对移动应用处理器上的摄像头端口的访问可以由另一个单独的硬件设备(例如，如图8至图10和图14所示的多路复用器(MUX))来协调，该硬件设备可以托管附加的摄像头并控制对移动应用处理器上有限数量的端口的访问。MUX设备还可以具有在其上运行的专用硬件或软件，该专用硬件或软件专用于控制多个连接的摄像头的初始化和模式切换。在一些情况下，MUX设备还可使用机载AI处理资源来缩短各个摄像头通电或断电所需的时间，以便节省电力。在其它情况下，MUX设备可以聚合从连接的AI使能摄像头流式传输的AI数据，以便独立于移动应用处理器做出涉及唤醒或休眠传感器的决定。在另一个实施例中，MUX设备可以对输入到移动应用处理器的一个或多个流应用专门的图像处理(例如，在原始域中AI去噪)，以提高表观图像质量或提高检测准确度。在另一个实施例中，MUX设备可将来自多个摄像头流的图像数据的部分组合或聚合成更少的摄像头流，以便允许来自更多摄像头的部分数据访问移动应用处理器。在另一种方法中，MUX设备可以实现简单的ISP，并且缩小来自多个摄像头的子集的图像，以减小应用处理器上的AI检测所需的带宽。在附加的方法中，MUX设备本身可以直接在选择的摄像头流上实现AI检测，并且将该信息提供给应用处理器。

用于从多个输入中选择有限输入的技术(例如算法技术)可以如下执行。一个或多个主体(例如，环境1800的场景中的多个个体1810)的姿态和检测信息可以通过最宽帧的AI检测来识别，并且可以包括关于一个或多个个体1810的位置和相关关键点或边界框的信息(例如，如图17所示，肩部、头部等的识别)。一旦场景中的多个个体1810的姿态和检测信息已知，自动化算法就可以例如基于姿态和检测信息来确定要为最终显示的视频(例如，智能摄像头视图)生成的期望的‘虚拟’输出摄像头视图。

“虚拟”摄像头可以被认为是有效摄像头的规范(例如，从内在、外在和/或投影模型中导出)，对于该规范，系统可以从多个摄像头生成图像。实际上，虚拟摄像头可能具有在真实摄像头镜头中物理上不可实现的生成的图像的投影模型(诸如，墨卡托(Mercator)投影模型)。自动化算法(例如，智能摄像头)可以基于场景内容和AI检测来确定将被渲染的虚拟摄像头的参数。在许多情况下，虚拟摄像头的位置、投影和旋转可以简单地匹配系统中的多个物理摄像头中的一个物理摄像头的参数。在其它情况下，或者对于选择的时间段，虚拟摄像头的参数(例如，位置、旋转和变焦设置)可以是与系统中的任何真实摄像头在物理上不匹配的某个值。在这种情况下，可以使用来自可用的多个摄像头的子集的图像数据(即，某类视图插值)通过软件处理来合成期望的虚拟摄像头视图。

一旦场景中感兴趣的一个或多个人或一个或多个对象的姿态和检测信息相对于对应于图18所示的最大水平FOV 1802的广角摄像头是已知的，就可以使用第二级、第三级和/或第四级(对应于图18所示的最大FOV 1804、1806和/或1808)中的摄像头的附加子集来组成期望的虚拟视图。首先，因为所有摄像头都可以被校准并且所有摄像头的相对位置可以是已知的(例如，基于确定的内在和外在数据)，所以可以计算与期望的虚拟视图具有全部或部分视场重叠的真实摄像头的子集。这些可以被保留作为用于选择的候选者，因为它们包含可能有助于最终虚拟摄像头视图的合成的至少一部分图像数据。

如果由于有限的输入或处理平台的限制而需要进一步减少摄像头子集，则例如，该算法可以使用附加标准(例如，最佳拼接标准和/或最佳质量标准)来选择虚拟PTZ摄像头系统1801的摄像头子集。最佳拼接标准可用于计算最高变焦的一组摄像头，当混合或拼接在一起时，该组摄像头可在其覆盖范围的联合中合成期望的虚拟摄像头视图。最佳质量标准可用于确定具有最佳质量的摄像头(例如，最‘变焦’的摄像头)，该摄像头仍然完全(或大部分)与所需的虚拟摄像头视图重叠。

图19示出了从虚拟PTZ摄像头系统(例如，图16所示的摄像头系统1602)中选择的摄像头的示例性视图。如图19所示，两个较窄视角摄像头(例如，第二级摄像头)可将环境的视图拆分成第一FOV 1902和第二FOV 1904，该第一FOV和第二FOV也被来自第一级摄像头的大得多的广角FOV 1906覆盖。智能摄像头技术所期望的虚拟摄像头视图可以将个体1908在所得虚拟图像内居中。以这种方式，虚拟摄像头视图可由摄像头阵列中的三个视图中的任何(或全部)视图合成。需要注意的是，来自所有摄像头的图像可以被重新投影到非物理上可实现的虚拟摄像头投影空间(例如，墨卡托投影)，该虚拟摄像头投影空间实质上是具有创建墨卡托广角投影的镜头的虚拟摄像头。尽管在一些示例中可以利用墨卡托投影，但是任何其它合适的投影可以附加地或替代地用于虚拟摄像头。

图20示出了从虚拟PTZ摄像头系统(诸如，图16所示的摄像头系统1602)中选择的摄像头的示例性视图。如图20所示，两个较窄视角摄像头(例如，第二级摄像头)可将环境的视图拆分成第一FOV 2002和第二FOV 2004，该第一FOV和第二FOV也被来自第一级摄像头的大得多的广角FOV 2006覆盖。在这种情况下，期望的虚拟摄像头可以被移动到场景中的某个位置，在该位置，该虚拟摄像头仅与摄像系统的一些摄像头视图部分重叠。例如，虽然个体2008在广角FOV 2006中完全可见，但是在较窄的第一FOV 2002和第二FOV 2004中的每个FOV中，只有个体2008的部分可见。因此，只有宽摄像头视图可以完全包含合成期望的虚拟摄像头视图所需的内容。合成的虚拟摄像头的位置可能暂时或持续地与阵列中的任何特定摄像头不一致，特别是在摄像头之间的转换时段期间。在一个实施例中，虚拟摄像头可改变其初级视图位置，以与摄像系统阵列中的与期望的虚拟摄像头的位置最紧密重叠的特定摄像头一致。在另一个实施例中，虚拟摄像头可以以离散方式切换位置，以在输出视频视图中在摄像机之间进行快切。

在虚拟摄像头视图处于与物理摄像头不一致的位置的情况下，可以从与期望的虚拟摄像头的位置邻近的摄像头视图的子集(例如，来自两个或更多个摄像头)合成视图。可以通过任何合适的技术生成虚拟视图。例如，可以使用基于运动矢量的单应性或两个或更多个摄像头之间的特征对应性来生成虚拟视图。在至少一个示例中，可以使用两个或更多个摄像头的自适应图像融合来生成虚拟视图。附加地或替代地，可以使用任何其它合适的视图插值法来生成虚拟视图，该视图插值法包括但不限于：(1)立体深度的视图插值，(2)两个或更多个摄像头之间的稀疏或密集的运动矢量，(3)合成孔径混合(基于图像的技术)，和/或(4)基于深度学习的视图插值。

如上所述，在用于视图插值的方法中，深度或稀疏距离信息可能是必要的和/或可以提高图像操作的质量。在一个实施例中，可以对多个摄像头流执行多视图立体深度检测或特征对应，以生成被多个摄像头覆盖的世界空间的深度图或多深度图。在一些示例中，可以以较低的帧速率或分辨率来计算一个或多个深度图。在附加的示例中，可以在多帧上构建场景的3D或体积模型，并且随时间进行细化，以提高生成清晰视图插值所需的深度。在至少一个示例中，单个或多个RGB图像的AI处理可以用于估计场景中的感兴趣的关键对象或人的深度。附加地或替代地，来自系统(诸如，传声器阵列)的多模态信号可以用于估计到场景中一个或多个主体的深度。在另一个示例中，可以由用于深度的主动照明传感器提供深度信息，例如为结构光、飞行时间(time-of-flight，TOF)和/或光检测和测距(激光雷达)。

上述框架的最简单实现是双摄像系统，该双摄像系统包括具有场景的全视图的一个广角摄像头和具有更好变焦的一个更窄角摄像头。如果在系统中利用两个摄像头，则广角摄像头可以被设置为当用户在窄摄像头的最大FOV之外时接管。如果用户在更窄摄像头的FOV内部，则更窄摄像头可用于生成输出视频，因为其具有两个摄像头中更高的图像质量和分辨率。在这种场景下，对于最终的虚拟摄像头视图，可以考虑两个主要选项。在第一选项中，虚拟摄像头可以总是停留在两个摄像头中更宽的摄像头的位置上，并且更窄的摄像头信息可以通过深度投影持续地融合到更宽的摄像头的信息中。在第二选项中，虚拟摄像头可从一个摄像头的位置转换到另一个摄像头。对于其间的时间，可在视频转换期间对视图进行插值。一旦转换结束，新的摄像头可以变成初级视图位置。第二选项的优点可以是，得到了更高的图像质量和更少的伪像，因为视图插值的时段只限于摄像头之间的转换。这可以减少用户在摄像头之间的转换时段期间意识到两个摄像头之间的差异或伪像的机会。

由于视图插值经常需要潜在的风险和昂贵的处理，为了在真实设备上实现这种技术，以下附加策略可以使视图插值更实用。在一个示例中，视频效果(诸如交替渐变)可以用于从一个摄像头一直转换到另一个摄像头。这可以避免与视图插值相关联的高成本处理，因为它仅依赖于更简单的操作，诸如阿尔法混合。根据一些示例，可以触发转换以与其它摄像头运动(诸如，变焦)一致，以便隐藏切换摄像头的可注意性。在附加的示例中，可以控制摄像头仅在它最不可能被注意时才转换。

在一些实施例中，代替视图插值或除了视图插值之外，还可以利用以下潜在地更便宜的策略。在一个示例中，可以简单地在两个摄像头之间执行快切，而没有转换或转换时段有限。可以在两个摄像头之间执行简单的交替渐变，同时对两个图像中的一个图像应用单应性，以优先保持面部和身体在两帧之间对齐。在另一示例中，可以执行交替淡变，同时对来自开始到结束图像的关键点进行网格扭曲。根据至少一个示例，可以为转换执行更昂贵的视图插值(如上所述)。另外，在一些情况下，为了创建虚拟输出图像，可以以可在帧上空间变化的方式将多个摄像头持续地拼接或融合在一起。例如，可以使用一种方法来以更高分辨率融合关键内容。例如，只有面部来自一个摄像头，剩余的内容来自另一个摄像头。

如本文所公开的多传感器摄像头设备、系统和方法可以提供虚拟平移、倾斜和变焦功能，而不需要移动部件，从而与常规PTZ摄像系统相比，减少了空间需求和整体复杂性。在一些实施例中，该方法可以使用大量较小的图像传感器，这些图像传感器具有布置成级的重叠水平视场，其中这些传感器和镜头比较大的传感器和/或镜头配置更具成本效益，特别是在例如多达四个或更多个单独的传感器可以被包括在单个SOC部件中的情况下。数字和固定光学变焦位置的混合可以以各种变焦和细节水平提供对环境空间的基本覆盖。电接口处的多路复用/切换可用于将大量传感器连接到SOC或USB接口设备。

图21和图22是根据本公开的实施例的用于操作虚拟PTZ摄像系统的示例性方法2100和2200的流程图。如图21所示，在步骤2110处，从初级摄像头接收图像数据。在图21的步骤2120处，可以从多个次级摄像头接收图像数据，该多个次级摄像头各自具有小于初级摄像头的最大水平FOV的最大水平FOV。在该示例中，多个次级摄像头中的两个次级摄像头可以被定位成使得它们的最大水平FOV在重叠水平FOV中重叠。另外，重叠水平FOV可以至少与初级摄像头的最小水平FOV一样大。

本文所描述的系统和装置可以以各种方式执行步骤2110和2120。在一个示例中，图像数据可以由物理级开关832从初级摄像头和多个次级摄像头的传感器804接收(例如，参见图4至图8)。每个次级摄像头(例如，第二级摄像头)具有小于初级摄像头(第一级摄像头)的最大水平FOV 712的最大水平FOV 716(例如，参见图7)。另外，例如，多个次级摄像头中的两个次级摄像头可以被定位成使得它们的最大水平FOV 716在重叠水平FOV 720中重叠。另外，重叠水平FOV 720可以至少与初级摄像头的最小水平FOV 714一样大。

在图21的步骤2130处，当从环境的包括在重叠水平FOV内的一部分采集图像时，初级摄像头和多个次级摄像头中的两个或更多个次级摄像头可以被同时启用。本文所描述的系统和装置可以以各种方式执行步骤2130。在一个示例中，图像控制器(诸如，SOC 834和/或物理级开关(832))可以启用两个或更多个摄像头。如本文所述，图像控制器可以包括至少一个物理处理器和至少一个存储器设备。

图22示出了根据本公开的实施例的用于操作虚拟PTZ摄像系统的另一个示例性方法。如在步骤2210处，可以从初级摄像头接收图像数据。在图22的步骤2220处，可以从多个次级摄像头接收图像数据，该多个次级摄像头各自具有小于初级摄像头的最大水平FOV的最大水平FOV。在该示例中，多个次级摄像头中的两个次级摄像头可以被定位成使得它们的最大水平FOV在重叠水平FOV中重叠。本文所描述的系统和装置可以以各种方式执行步骤2210和2220。

在图22的步骤2230处，当从环境的一部分采集图像时，初级摄像头和多个次级摄像头中的两个或更多个摄像头可以被同时启用，以产生由初级摄像头和多个次级摄像头中的两个或更多个摄像头采集的多个图像元素的组合形成的虚拟摄像头图像。本文所描述的系统和装置可以以各种方式执行步骤2230。在一个示例中，当从环境的一部分采集图像时，图像控制器可以同时启用两个或更多个初级摄像头和多个次级摄像头(例如，参见图16和图18中的虚拟PTZ摄像系统1602和1801)，以产生由两个或更多个初级摄像头和多个次级摄像头采集的多个图像元素(例如，参见图19和图20)的组合形成的虚拟摄像头图像。

图23至图26示出了可以利用如本文所公开的多传感器摄像设备的设备和系统的某些示例。多传感器摄像设备可以附加地或替代地用于任何其它合适的设备和系统中，包括例如独立摄像头、智能电话、平板计算机、膝上型计算机、安保摄像头等。图23示出了示例性交互式显示系统，并且图24示出了根据各种实施例的示例性摄像设备。本公开的实施例可以包括各种类型的图像系统或结合各种类型的图像系统来实现，该图像系统包括交互式视频系统，诸如图23和图24中所示的那些系统。

如图所示，例如，在图23中，显示系统2300可以包括被配置为向用户提供交互式视觉和/或听觉体验的显示设备。显示设备可以包括各种特征，以有助于经由在线环境与其他用户通信。在一些示例中，显示设备还可以使用户能够访问各种应用和/或在线内容。显示设备可以包括任何合适的硬件部件(包括至少一个物理处理器和至少一个存储设备)，以及软件工具，以有助于这样的交互。在各种实施例中，显示设备可以包括面向设备的用户的摄像头组件2302，诸如本文所述的多传感器摄像系统。在一些示例中，显示设备还可以包括显示面板，该显示面板在另一用户的设备上显示从远程摄像头组件获得的内容。在一些实施例中，摄像头组件2302可以从显示面板前面的区域采集数据。

在至少一个实施例中，图24的摄像设备2400可以包括面向外部区域(诸如，房间或其它位置)的摄像头组件2402。在一些示例中，摄像设备2400可以耦接到显示器(例如，电视或监视器)以采集位于显示屏前面的查看者和对象的图像。附加地或替代地，摄像头组件2400可以搁置在平坦表面(诸如桌子或架子表面)上，其中摄像头组件2402面向外部用户环境。

示例1：一种摄像系统，该摄像系统可以包括初级摄像头和多个次级摄像头，该多个次级摄像头各自具有小于初级摄像头的最大水平FOV的最大水平FOV。多个次级摄像头中的两个次级摄像头可以被定位成使得该两个次级摄像头的最大水平FOV在重叠水平FOV中重叠，并且重叠水平FOV可以至少与初级摄像头的最小水平FOV一样大。摄像系统还可以包括图像控制器，当从环境的包括在重叠水平FOV内的一部分采集图像时，该图像控制器同时启用初级摄像头和多个次级摄像头中的两个或更多个摄像头。

示例2：根据示例1所述的摄像系统，其中，初级摄像头和多个次级摄像头中的至少一个摄像头可以包括固定镜头摄像头。

示例3：根据示例1所述的摄像系统，其中，初级摄像头可以包括鱼眼镜头。

示例4：根据示例1所述的摄像系统，其中，多个次级摄像头可以各自具有比初级摄像头更大的焦距。

示例5：根据示例1所述的摄像系统，其中，图像控制器可以被配置为通过以下方式数字地变焦初级摄像头和多个次级摄像头中的至少一个摄像头：1)从初级摄像头和多个次级摄像头中的至少一个摄像头接收图像数据，以及2)产生与初级摄像头和多个次级摄像头中的至少一个摄像头的对应最大水平FOV的选择部分对应的图像。

示例6：根据示例5所述的摄像系统，其中，当图像控制器将初级摄像头数字地变焦到最大程度时，由图像控制器产生的对应的图像可以覆盖环境的没有延伸至最小水平FOV之外的部分。

示例7：根据示例5所述的摄像系统，其中，图像控制器可以被配置为将初级摄像头和多个次级摄像头中的至少一个摄像头数字变焦到与最小阈值图像分辨率对应的最大变焦水平。

示例8：根据示例5所述的摄像系统，其中，图像控制器可以被配置为通过以下方式在初级摄像头和多个次级摄像头的至少一个次级摄像头之间数字地变焦：1)同时从初级摄像头和至少一个次级摄像头两者接收图像数据，2)当由图像控制器指定的变焦水平与大于重叠水平FOV的成像的水平FOV对应时，基于从初级摄像头接收的图像数据产生初级图像，以及3)当由图像控制器指定的变焦水平与不大于重叠水平FOV的成像的水平FOV对应时，基于从至少一个次级摄像头接收的图像数据产生次级图像。

示例9：根据示例5所述的摄像系统，其中，图像控制器可以被配置为当由图像控制器产生的图像与小于重叠水平FOV的成像的水平FOV对应时，在多个次级摄像头之间进行水平地数字平移。

示例10：根据示例9所述的摄像系统，其中，图像控制器可以通过以下方式在两个次级摄像头的初始摄像头和后续摄像头之间水平地平移：1)同时从初始摄像头和后续摄像头两者接收图像数据，2)当成像的水平FOV的至少一部分在重叠水平FOV之外，并且在初始摄像头的最大水平FOV内时，基于从初始摄像头接收的图像数据来产生初始图像，以及3)当成像的水平FOV在重叠水平FOV内时，基于从后续摄像头接收的图像数据来产生后续图像。

示例11：根据示例1所述的摄像系统，还包括多个摄像头接口，其中，初级摄像头和两个次级摄像头中的每个摄像头可以将图像数据发送到多个摄像头接口中的单独一个摄像头接口。

示例12：根据示例11所述的摄像系统，其中，图像控制器可以选择性地产生与多个摄像头接口中的一个摄像头接口对应的图像。

示例13：根据示例11所述的摄像系统，其中，1)多个摄像头接口中的每个摄像头接口可以通信地耦接到多个附加的摄像头，并且2)图像控制器可以在给定时间选择性地启用连接到多个摄像头接口中的每个摄像头接口的单个摄像头，并且停用剩余的摄像头。

示例14：根据示例1所述的摄像系统，还包括多个三级摄像头，该多个三级摄像头各自具有小于多个次级摄像头中的每个次级摄像头的最大水平FOV的最大水平FOV，其中，多个三级摄像头中的两个三级摄像头被定位成使得该两个三级摄像头的最大水平FOV在重叠水平FOV中重叠。

示例15：根据示例14所述的摄像系统，其中，1)初级摄像头、次级摄像头和三级摄像头可以分别被包括在摄像头的初级级、次级级和三级级内，并且2)摄像系统还可以包括摄像头的一个或多个附加级，该一个或多个附加级各自包括多个摄像头。

示例16：根据示例1所述的摄像系统，其中，初级摄像头的光轴可以以与多个次级摄像头中的至少一个次级摄像头的光轴不同的角度定向。

示例17：根据示例1所述的摄像系统，其中，初级摄像头和多个次级摄像头可以被定向为使得水平FOV在非水平方向上延伸。

示例18：一种摄像系统，该摄像系统可以包括初级摄像头和多个次级摄像头，该多个次级摄像头各自具有小于初级摄像头的最大水平FOV的最大水平FOV，其中，多个次级摄像头中的两个次级摄像头可以被定位成使得该两个次级摄像头的最大水平FOV重叠。摄像系统还可以包括图像控制器，当从环境的一部分采集图像时，该图像控制器同时启用初级摄像头和多个次级摄像头中的两个或更多个摄像头，以产生由初级摄像头和多个次级摄像头中的两个或更多个摄像头采集的多个图像元素的组合形成的虚拟摄像头图像。

示例19：根据示例18所述的摄像系统，其中，图像控制器还可以：1)基于从初级摄像头接收的图像数据，检测环境中的至少一个感兴趣的对象，2)基于对至少一个感兴趣的对象的检测，确定虚拟摄像头视图，以及使用从启用的多个次级摄像头中的至少一个次级摄像头接收的图像数据，生成与虚拟摄像头视图对应的虚拟摄像头图像。

示例20：一种方法，该方法可以包括：1)从初级摄像头接收图像数据，以及2)从多个次级摄像头接收图像数据，该多个次级摄像头各自具有小于初级摄像头的最大水平FOV的最大水平FOV。多个次级摄像头中的两个次级摄像头可以被定位成使得该两个次级摄像头的最大水平FOV在重叠水平FOV中重叠，并且重叠水平FOV可以至少与初级摄像头的最小水平FOV一样大。该方法还可以包括：当从环境的包括在重叠水平FOV内的一部分采集图像时，由图像控制器同时启用初级摄像头和多个次级摄像头中的两个或更多个摄像头。

本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括，虚拟现实(virtual reality)、增强现实(augmented reality)、混合现实(mixed reality)、混合现实(hybrid reality)或它们的一些组合和/或衍生物。人工现实内容可以包括完全是计算机生成的内容或与采集的(例如，真实世界)内容组合的计算机生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的一些组合，以上任何一种都可以在单通道或多通道(诸如，向查看者产生三维(3D)效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或它们的一些组合相关联，这些应用、产品、附件、服务或它们的一些组合例如用于在人工现实中创建内容，和/或以其他方式用于人工现实中(例如，在人工现实中执行动作)。

人工现实系统可以以各种不同的形状因子和配置来实现。一些人工现实系统可以被设计为在没有近眼显示器(near-eye display，NED)的情况下工作。其它人工现实系统可以包括NED，该NED还提供到真实世界(诸如，图25中的增强现实系统2500)中的可见度或在视觉上使用户沉浸在人工现实(诸如，图26中的虚拟现实系统2600)中。虽然一些人工现实设备可以是独立的系统，但是其它人工现实设备可以与外部设备通信和/或协调，以向用户提供人工现实体验。这样的外部设备的示例包括手持控制器、移动设备、台式计算机、由用户穿戴的设备、由一个或多个其他用户穿戴的设备和/或任何其它合适的外部系统。

转向图25，增强现实系统2500可以包括具有框架2510的眼镜设备2502，该框架被配置为将左显示设备2515(A)和右显示设备2515(B)保持在用户的眼睛前面。显示设备2515(A)和2515(B)可以一起或独立地行动以向用户呈现一个图像或一系列图像。虽然增强现实系统2500包括两个显示器，但是本公开的实施例可以在具有单个NED或多于两个NED的增强现实系统中实现。

在一些实施例中，增强现实系统2500可以包括一个或多个传感器，诸如传感器2540。传感器2540可以响应于增强现实系统2500的运动而生成测量信号，并且可以基本上位于框架2510的任何部分上。传感器2540可以表示各种不同感测机构中的一种或多种感测机构，诸如位置传感器、惯性测量单元(inertial measurement unit，IMU)、深度摄像头组件、结构化光发射器和/或检测器或它们的任何组合。在一些实施例中，增强现实系统2500可以包括或可以不包括传感器2540，或者可以包括多于一个的传感器。在传感器2540包括IMU的实施例中，IMU可以基于来自传感器2540的测量信号，生成校准数据。传感器2540的示例可以包括但不限于，加速度计、陀螺仪、磁力计、检测运动的其它合适类型的传感器、用于IMU的误差校正的传感器或它们的某种组合。

在一些示例中，增强现实系统2500还可以包括传声器阵列，该传声器阵列具有多个声学换能器2520(A)至2520(J)，该多个声学换能器统称为声学换能器2520。声学换能器2520可以表示检测由声波引起的气压变化的换能器。每个声学换能器2520可以被配置为检测声音并将检测到的声音转换成电子格式(例如，模拟格式或数字格式)。图25中的传声器阵列例如可以包括十个声学换能器：可以被设计为置于用户的对应耳朵内部的2520(A)和2520(B)，可以被定位在框架2510上的各个位置处的声学换能器2520(C)、2520(D)、2520(E)、2520(F)、2520(G)和2520(H)，和/或可以被定位在对应的颈带2505上的声学换能器2520(I)和2520(J)。

在一些实施例中，声学换能器2520(A)至2520(J)中的一个或多个声学换能器可以用作输出换能器(例如，扬声器)。例如，声学换能器2520(A)和/或2520(B)可以是耳塞、或任何其它合适类型的耳机或扬声器。

传声器阵列的声学换能器2520的配置可以改变。虽然增强现实系统2500在图25中被示为具有十个声学换能器2520，但是声学换能器2520的数量可以多于或少于十个。在一些实施例中，使用更多数量的声学换能器2520可以增加收集到的音频信息的量和/或音频信息的灵敏度和准确度。相比之下，使用更少数量的声学换能器2520可以降低相关联的控制器2550处理收集到的音频信息所需的计算能力。另外，传声器阵列中的每个声学换能器2520的位置可以改变。例如，声学换能器2520的位置可以包括用户上的限定位置、框架2510上的限定坐标、与每个声学换能器2520相关联的定向或它们的某种组合。

声学换能器2520(A)和2520(B)可以被定位在用户耳朵的不同部位上，诸如耳廓(pinna)后面、耳屏后面和/或外耳(auricle)或耳窝内。或者，除了耳道内部的声学换能器2520之外，在耳朵上或耳朵周围还可以存在附加的声学换能器2520。将声学换能器2520定位在用户的耳道附近可以使传声器阵列能够收集关于声音如何到达耳道的信息。通过将多个声学换能器2520中的至少两个声学换能器定位在用户的头部的任一侧上(例如，作为双耳传声器)，增强现实设备2500可以模拟双耳听觉并且采集围绕用户头部的3D立体声场。在一些实施例中，声学换能器2520(A)和2520(B)可以经由有线连接2530连接到增强现实系统00，而在其它实施例中，声学换能器2520(A)和2520(B)可以经由无线连接(例如，蓝牙连接)连接到增强现实系统00。在又一些实施例中，声学换能器2520(A)和2520(B)可以完全不与增强现实系统2500结合使用。

框架2510上的多个声学换能器2520可以以各种不同的方式定位，这些不同的方式包括沿着眼镜腿的长度、跨过鼻梁架、在显示设备2515(A)和显示设备2515(B)的上方或下方或它们的某种组合。多个声学换能器2520还可以被定向为使得传声器阵列能够检测佩戴增强现实系统2500的用户周围的宽方向范围内的声音。在一些实施例中，可以在增强现实系统2500的制造期间执行优化过程，以确定每个声学换能器2520在传声器阵列中的相对定位。

在一些示例中，增强现实系统2500可以包括或连接到外部设备(例如，配对设备)，诸如颈带2505。颈带2505一般表示任何类型或形式的配对设备。因此，以下对颈带2505的论述也可以应用于各种其他配对设备，诸如，充电盒、智能手表、智能电话、腕带、其它可穿戴设备、手持控制器、平板计算机、膝上型计算机、其他外部计算设备等。

如图所示，颈带2505可以经由一个或多个连接器耦接到眼镜设备2502。连接器可以是有线的或无线的，并且可以包括电子部件和/或非电子部件(例如，结构部件)。在一些情况下，眼镜设备2502和颈带2505可以在它们之间没有任何有线或无线连接的情况下独立地运行。虽然图25示出了眼镜设备2502和颈带2505中的多个部件在眼镜设备2502和颈带2505上的示例位置，但是这些部件可以位于眼镜设备2502和/或颈带2505上的其它位置和/或以不同的方式分布在眼镜设备2502和/或颈带2505上。在一些实施例中，眼镜设备2502和颈带2505中的多个部件可以位于一个或多个附加的外围设备上，该一个或多个附加的外围设备与眼镜设备2502、颈带2505或它们的某种组合配对。

将外部设备(诸如，颈带2505)与增强现实眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子，同时仍然为扩展后的能力提供足够的电池和计算电力。增强现实系统2500的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备来提供，或者在配对设备与眼镜设备之间共享，从而整体上降低眼镜设备的重量、热量分布和形状因子，同时仍然保留所期望的功能。例如，颈带2505可以允许将以其它方式包括在眼镜设备上的多个部件包括在颈带2505中，因为与用户将在其头部上承受的相比，他们可以在其肩部上承受更重的重量负荷。颈带2505还可以具有较大的表面积，以通过该较大的表面积将热量扩散和分散到周围环境。因此，颈带2505可以允许比在独立眼镜设备上以其他方式可行的更大的电池和计算能力。由于颈带2505中承载的重量可比眼镜设备2502中承载的重量对用户的侵害更小，因此用户佩戴更轻眼镜设备并携带或佩戴配对设备可以承受的比用户佩戴重的独立眼镜设备将承受的时间更长，从而使用户能够将人工现实环境更充分地并入到他们的日常活动中。

颈带2505可以与眼镜设备2502通信地耦接，和/或通信地耦接至多个其它设备。这些其它设备可以向增强现实系统2500提供某些功能(例如，追踪、定位、深度映射、处理、存储等)。在图25的实施例中，颈带2505可以包括两个声学换能器(例如，2520(I)和2520(J))，该两个声学换能器是传声器阵列的一部分(或者潜在地形成它们自己的传声器子阵列)。颈带2505还可以包括控制器2525和电源2535。

颈带2505中的声学换能器2520(I)和2520(J)可以被配置为检测声音并将检测到的声音转换成电子格式(模拟或数字)。在图25的实施例中，声学换能器2520(I)和2520(J)可以被定位在颈带2505上，从而增加颈带的声学换能器2520(I)和2520(J)与被定位在眼镜设备2502上的其它声学换能器2520之间的距离。在一些情况下，增加传声器阵列中的多个声学换能器2520之间的距离可以提高经由传声器阵列执行的波束成形的准确度。例如，如果声学换能器2520(C)和2520(D)检测到声音，并且声学换能器2520(C)和2520(D)之间的距离例如大于声学换能器2520(D)和2520(E)之间的距离，则所确定的检测到的声音的源位置可以比声学换能器2520(D)和2520(E)检测到该声音更准确。

颈带2505的控制器2525可以处理由颈带2505和/或增强现实系统2500上的多个传感器生成的信息。例如，控制器2525可以处理来自传声器阵列的、描述由该传声器阵列检测到的声音的信息。对于每个检测到的声音，控制器2525可以执行到达方向(direction-of-arrival，DOA)估计，以估计检测到的声音从哪个方向到达传声器阵列。当传声器阵列检测到声音时，控制器2525可以用该信息填充音频数据集。在增强现实系统2500包括惯性测量单元的实施例中，控制器2525可以计算来自位于眼镜设备2502上的IMU的所有惯性计算和空间计算。连接器可以在增强现实系统2500和颈带2505之间并且在增强现实系统2500和控制器2525之间传送信息。该信息可以是光学数据形式、电子数据形式、无线数据形式或任何其它可传输的数据形式。将对由增强现实系统2500所生成的信息的处理移动到颈带2505可以减少眼镜设备2502的重量和热量，从而使得该眼镜设备对用户而言更舒适。

颈带2505中的电源2535可以向眼镜设备2502和/或颈带2505提供电力。电源2535可以包括但不限于，锂离子电池、锂-聚合物电池、一次性锂电池、碱性电池或任何其它形式的电力存储。在一些情况下，电源2535可以是有线电源。将电源2535包括在颈带2505上而不是在眼镜设备2502上可以有助于更好地分布由电源2535生成的重量和热量。

如所提到的，一些人工现实系统可以用虚拟体验来基本上取代用户对真实世界的多个感官知觉中的一个或多个感官知觉，而不是将人工现实与真实现实混合。这种类型的系统的一个示例是大部分或完全覆盖用户的视场的头戴式显示系统，诸如图26中的虚拟现实系统2600。虚拟现实系统2600可以包括前部刚性体2602和被成形为围绕用户头部适配的带2604。虚拟现实系统2600还可以包括输出音频换能器2606(A)和2606(B)。此外，虽然图26中未示出，但是前部刚性体2602可以包括一个或多个电子元件，该一个或多个电子元件包括一个或多个电子显示器、一个或多个惯性测量单元(IMU)、一个或多个追踪发射器或检测器和/或用于创建人工现实体验的任何其它合适的设备或系统。

人工现实系统可以包括各种类型的视觉反馈机构。例如，增强现实系统2500和/或虚拟现实系统2600中的显示设备可以包括一个或多个液晶显示器(liquid crystaldisplay，LCD)、一个或多个发光二极管(light emitting diode，LED)显示器、一个或多个有机LED(organic LED，OLED)显示器、一个或多个数字光投影(digital light project，DLP)微型显示器、一个或多个硅基液晶(liquid crystal on silicon，LCoS)微型显示器和/或任何其它合适类型的显示屏。这些人工现实系统可以包括用于两只眼睛的单个显示屏，或者可以为每只眼睛提供一个显示屏，这可以为变焦调整或为校正用户的屈光不正允许附加的灵活性。这些人工现实系统中的一些人工现实系统还可以包括多个光学子系统，这些光学子系统具有一个或多个透镜(例如，常规的凹透镜或凸透镜、菲涅耳透镜、可调整的液体透镜等)，用户可以通过该一个或多个透镜查看显示屏。这些光学子系统可以用于各种目的，包括准直(例如，使对象显现在比其物理距离更远的距离处)、放大(例如，使对象显现得比其实际尺寸更大)和/或传递(例如，传递到查看者的眼睛)光。这些光学子系统可以用于非直视型架构(non-pupil-forming architecture)(诸如，直接对光进行准直但会导致所谓的枕形失真的单透镜配置)和/或直视型架构(pupil-forming architecture)(诸如，产生所谓的桶形失真以消除枕形失真的多透镜配置)。

除了使用显示屏之外或代替使用显示屏，本文所描述的一些人工现实系统可以包括一个或多个投影系统。例如，增强现实系统2500中和/或虚拟现实系统2600中的显示设备可以包括微型LED投影仪，该微型LED投影仪将光(使用例如波导)投射到显示设备中，诸如允许环境光通过的透明组合透镜。显示设备可以折射所投射的光朝向用户的瞳孔，并且可以使用户能够同时查看人工现实内容和真实世界两者。显示设备可以使用各种不同光学部件中的任何光学部件来实现这个，这些不同光学部件包括波导部件(例如，全息波导元件、平面波导元件、衍射波导元件、偏振波导元件和/或反射波导元件)、光操纵表面和元件(诸如，衍射元件、反射元件以及折射元件和光栅)、耦合元件等。人工现实系统还可以配置有任何其它合适类型或形式的图像投影系统，诸如用于虚拟视网膜显示器的视网膜投影仪。

本文所描述的人工现实系统还可以包括各种类型的计算机视觉部件和子系统。例如，增强现实系统2500和/或虚拟现实系统2600可以包括一个或多个光学传感器，诸如二维(two-dimensional，2D)摄像头或三维(3D)摄像头、结构光发射器和检测器、飞行时间深度传感器、单波束测距仪或扫描激光测距仪、3D激光雷达(LiDAR)传感器和/或任何其它合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或多个传感器的数据，以识别用户的位置、映射真实世界、向用户提供关于真实世界周围的背景和/或执行各种其它功能。

本文所描述的人工现实系统还可以包括一个或多个输入和/或输出音频换能器。输出音频换能器可以包括音圈扬声器、带式扬声器、静电扬声器、压电扬声器、骨传导扬声器、软骨传导扬声器、耳屏振动扬声器和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器可以包括电容式传声器、动态传声器、带式传声器和/或任何其他类型或形式的输入换能器。在一些实施例中，对于音频输入和音频输出两者，可以使用单个换能器。

在一些实施例中，本文所描述的人工现实系统还可以包括触感(tactile)(即，触觉(haptic))反馈系统，该触感反馈系统可以并入到头饰、手套、服装、手持控制器、环境设备(例如，椅子、地板垫等)和/或任何其它类型的设备或系统中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、牵拉、质地和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，诸如运动和顺应性。可以使用电机、压电致动器、流体系统和/或各种其它类型的反馈机构实现触觉反馈。触觉反馈系统可以独立于其他人工现实设备而实现，在其他人工现实设备内实现，和/或结合其他人工现实设备实现。

通过提供触觉感受、听觉内容和/或视觉内容，人工现实系统可以在各种背景和环境中创建完整的虚拟体验或增强用户的真实世界体验。例如，人工现实系统可以辅助或扩展用户在特定环境内的感知、记忆或认知。一些系统可以增强用户与真实世界中的其他人的交互，或者可以实现与虚拟世界中的其他人的更沉浸的交互。人工现实系统也可以用于教育目的(例如，用于学校、医院、政府组织、军事组织、企业等中的教学或训练)、娱乐目的(例如，用于玩视频游戏、听音乐、看视频内容等)和/或用于可访问性目的(例如，作为听觉辅助、视觉辅助等)。本文所公开的实施例可以在这些背景和环境中的一个或多个背景和环境中、和/或在其它背景和环境中实现或增强用户的人工现实体验。

本文所描述和/或所示的计算设备和系统(诸如包括在所示的显示设备中的那些计算设备和系统)广泛地表示能够执行计算机可读指令(诸如包含在本文描述的模块内的那些计算机可读指令)的任何类型或形式的计算设备或系统。在其最基本的配置中，这些一个或多个计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。

在一些示例中，术语“存储器设备”通常是指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的一个或多个模块。存储器设备的示例包括但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存、硬盘驱动器(Hard Disk Drive，HDD)、固态驱动器(Solid-State Drive，SSD)、光盘驱动器、高速缓存、它们中的一个或多个的变型或组合或任何其它合适的存储器。

在一些示例中，术语“物理处理器”通常是指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或多个模块。物理处理器的示例包括但不限于，微处理器、微控制器、中央处理单元(Central Processing Unit，CPU)、实现软核处理器的现场可编程门阵列(Field-Programmable Gate Array，FPGA)、专用集成电路(Application-SpecificIntegrated Circuit，ASIC)、它们中的一个或多个的部分、它们中的一个或多个的变型或组合或任何其它合适的物理处理器。

在一些实施例中，术语“计算机可读介质”通常是指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于，传输型介质(诸如，载波)，以及非瞬态型介质，诸如，磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光存储介质(例如，光盘(Compact Disk，CD)、数字视频盘(Digital Video Disk，DVD)和蓝光光盘(BLU-RAY disk))、电子存储介质(例如，固态驱动器和闪存介质)以及其它分布系统。

本文所描述和/或所示的过程参数和步骤顺序仅作为示例给出，并且可以根据需要改变。例如，虽然本文所示和/或所描述的步骤可以以特定顺序示出或讨论，但是这些步骤不一定需要以所示或所讨论的顺序执行。本文所描述和/或所示的各种示例性方法还可以省略本文所描述或所示的一个或多个步骤，或者包括除了那些公开的步骤之外的附加步骤。

已经提供了先前描述，以使本领域的其他技术人员能够最好地利用本文公开的示例性实施例的各个方面。该示例性描述不旨在穷举或限于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下，许多修改和变型是可能的。本文公开的实施例应当在所有方面被认为是说明性的而非限制性的。在确定本公开的范围时，应当参考所附的任何权利要求及其等同物。

除非另有说明，否则如本说明书和/或权利要求书中所使用的术语“连接到”和“耦接到”(以及它们的派生词)将被解释为允许直接连接和间接连接(即，经由其它元件或部件)两者。此外，如本说明书和/或权利要求书中所使用的术语“一(a)”或“一(an)”将被解释为意味着“中的至少一个”。最后，为了便于使用，如本说明书和/或权利要求书中所使用的术语“包括(including)”和“具有”(以及它们的派生词)与词语“包括(comprising)”是可互换的并且具有与词语“包括(comprising)”相同的含义。

Claims (15)

1.一种摄像系统，包括：

初级摄像头；

多个次级摄像头，所述多个次级摄像头各自具有小于所述初级摄像头的最大水平视场(FOV)的最大水平FOV，其中：

所述多个次级摄像头中的两个次级摄像头被定位成使得所述两个次级摄像头的最大水平FOV以重叠水平FOV重叠；并且

所述重叠水平FOV至少与所述初级摄像头的最小水平FOV一样大；以及图像控制器，当采集环境的包括在所述重叠水平FOV内的部分的图像时，所述图像控制器同时启用所述初级摄像头和所述多个次级摄像头中的两个或更多个摄像头。

2.根据权利要求1所述的摄像系统，其中，所述初级摄像头和所述多个次级摄像头中的至少一个摄像头包括固定镜头摄像头。

3.根据权利要求1所述的摄像系统，其中，所述初级摄像头包括鱼眼镜头；和/或，

其中，所述次级摄像头各自具有比所述初级摄像头更大的焦距。

4.根据权利要求1所述的摄像系统，其中，所述图像控制器被配置为通过以下方式对所述初级摄像头和所述多个次级摄像头中的至少一个摄像头进行数字地变焦：

从所述初级摄像头和所述多个次级摄像头中的所述至少一个摄像头接收图像数据；以及

产生与所述初级摄像头和所述多个次级摄像头中的所述至少一个摄像头的对应最大水平FOV的所选择部分对应的图像。

5.根据权利要求4所述的摄像系统，其中，当所述图像控制器将所述初级摄像头数字地变焦到最大程度时，由所述图像控制器产生的所述对应的图像覆盖所述环境的未延伸至所述最小水平FOV之外的部分。

6.根据权利要求4所述的摄像系统，其中，所述图像控制器被配置为：将所述初级摄像头和所述多个次级摄像头中的所述至少一个摄像头数字地变焦到最大变焦水平，所述最大变焦水平与最小阈值图像分辨率对应；和/或，

通过以下方式在所述初级摄像头与所述多个次级摄像头中的至少一个次级摄像头之间数字地变焦：

同时从所述初级摄像头和所述至少一个次级摄像头两者接收图像数据；

当由所述图像控制器指定的变焦水平与大于所述重叠水平FOV的成像的水平FOV相对应时，基于从所述初级摄像头接收的所述图像数据产生初级图像；以及

当由所述图像控制器指定的所述变焦水平与不大于所述重叠水平FOV的成像的水平FOV相对应时，基于从所述至少一个次级摄像头接收的所述图像数据产生次级图像。

7.根据权利要求4所述的摄像系统，其中，所述图像控制器被配置为当由所述图像控制器产生的所述图像与小于所述重叠水平FOV的成像的水平FOV相对应时，在所述多个次级摄像头之间水平地数字平移；并且可选地，

其中，所述图像控制器通过以下方式在所述两个次级摄像头的初始摄像头和后续摄像头之间水平地平移：

同时从所述初始摄像头和所述后续摄像头两者接收图像数据；

当所述成像的水平FOV的至少一部分在所述重叠水平FOV之外并且在所述初始摄像头的所述最大水平FOV内时，基于从所述初始摄像头接收的所述图像数据产生初始图像；以及

当所述成像的水平FOV在所述重叠水平FOV内时，基于从所述后续摄像头接收的所述图像数据产生后续图像。

8.根据权利要求1所述的摄像系统，还包括多个摄像头接口，其中，所述初级摄像头和所述两个次级摄像头中的每个摄像头将图像数据发送到所述多个摄像头接口中的单独一个摄像头接口。

9.根据权利要求8所述的摄像系统，其中，所述图像控制器选择性地产生与所述多个摄像头接口中的一个摄像头接口对应的图像。

10.根据权利要求8所述的摄像系统，其中：

所述多个摄像头接口中的每个摄像头接口通信地耦接到多个附加摄像头；并且

所述图像控制器在给定时间选择性地启用连接到所述多个摄像头接口中的每个摄像头接口的单个摄像头，并且停用剩余的摄像头。

11.根据权利要求1所述的摄像系统，还包括多个三级摄像头，所述多个三级摄像头各自具有小于所述多个次级摄像头中的每个次级摄像头的所述最大水平FOV的最大水平FOV，其中，所述多个三级摄像头中的两个三级摄像头被定位成使得所述两个三级摄像头的最大水平FOV以重叠水平FOV重叠；并且可选地，

其中：

所述初级摄像头、所述次级摄像头和所述三级摄像头分别被包括在摄像头的初级的级、次级的级和三级的级内；并且

所述摄像系统还包括一个或多个附加摄像头级，所述一个或多个附加摄像头级各自包括多个摄像头。

12.根据权利要求1所述的摄像系统，其中，所述初级摄像头的光轴以与所述多个次级摄像头中的至少一个次级摄像头的光轴不同的角度定向；和/或，

其中，所述初级摄像头和所述多个次级摄像头可以被定向为使得所述水平FOV在非水平方向上延伸。

13.一种摄像系统，包括：

初级摄像头；

多个次级摄像头，所述多个次级摄像头各自具有小于所述初级摄像头的最大水平视场(FOV)的最大水平FOV，其中，所述多个次级摄像头中的两个次级摄像头被定位成使得所述两个次级摄像头的最大水平FOV重叠；以及

图像控制器，当从环境的一部分采集图像时，所述图像控制器同时启用所述初级摄像头和所述多个次级摄像头中的两个或更多个摄像头，以产生由所述初级摄像头和所述多个次级摄像头中的所述两个或更多个摄像头采集的图像元素的组合形成的虚拟摄像头图像。

14.根据权利要求13所述的摄像系统，其中，所述图像控制器还：

基于从所述初级摄像头接收的图像数据，检测所述环境中的至少一个感兴趣的对象；

基于对所述至少一个感兴趣的对象的检测，确定虚拟摄像头视图；以及

使用从所启用的多个次级摄像头中的至少一个次级摄像头接收的图像数据，生成与所述虚拟摄像头视图对应的所述虚拟摄像头图像。

15.一种方法，包括：

从初级摄像头接收图像数据；

从多个次级摄像头接收图像数据，所述多个次级摄像头各自具有小于所述初级摄像头的最大水平视场(FOV)的最大水平FOV，其中：

所述多个次级摄像头中的两个次级摄像头被定位成使得所述两个次级摄像头的最大水平FOV以重叠水平FOV重叠；并且

所述重叠水平FOV至少与所述初级摄像头的最小水平FOV一样大；以及当采集环境的包括在所述重叠水平FOV内的部分的图像时，由图像控制器同时启用所述初级摄像头和所述多个次级摄像头中的两个或更多个摄像头。

Images