CN106169184A

CN106169184A - 用于确定摄像机的空间特性的方法及系统

Info

Publication number: CN106169184A
Application number: CN201610318964.XA
Authority: CN
Inventors: 马库斯·斯堪斯; 比约恩·阿多; 伊戈尔·古罗夫斯基
Original assignee: Axis AB
Current assignee: Axis AB
Priority date: 2015-05-19
Filing date: 2016-05-13
Publication date: 2016-11-30
Also published as: CN107346406B; CN107346406A; JP2017224282A; KR101913371B1; KR20160136233A; EP3096290B1; TWI657377B; US20160343137A1; TW201741934A; US20170323187A1; KR102019412B1; JP2017021328A; EP3096290A1; TWI718150B; JP6473475B2; US10152665B2; KR20180081028A; EP3242245A1; EP3242245B1; KR20170125726A

Abstract

本发明涉及一种用于确定摄像机的空间特性的方法及系统。用于确定摄像机的位置的方法通过：在移动设备自身中确定并记录该移动设备的地理坐标；在移动设备的显示器上呈现用于表示该移动设备的地理坐标的图案；当呈现地理坐标时，通过摄像机捕捉该移动设备的显示器的图像；在摄像机中，将所捕捉的移动设备的显示器的图像中的图案转换成地理坐标；以及，在摄像机中，基于从所捕捉的图像中的图案中转换的地理坐标，确定摄像机的位置。

Description

用于确定摄像机的空间特性的方法及系统

技术领域

本发明涉及一种用于确定摄像机的空间特性尤其是摄像机的空间位置的方法及系统。

背景技术

捕捉运动视频图像的视频摄像机通常被用于监控和/或监视。一般，设置摄像机网络以覆盖预定的区域。所捕捉的视频数据可被记录、实时观看、自动分析等。

对于许多应用而言，将监视摄像机和/或监控摄像机映射到示出所调查/所监控的区域的地图上是非常有用的。例如，地图可被用于定位特定的摄像机以进行修复或被用于简单地确定在视频中所捕捉的特定事件实际发生的位置。此外，地图上的摄像机可与源自特定摄像机的视频流相配对，以便方便地选择与地图中的区域相关的视频流。摄像机的位置数据也可被记录在视频中，以便实现对在何处捕捉到视频的标识。

这类映射当然可以通过使人们对所有摄像机的位置进行检查并将它们输入到纸质地图或数字地图上来手动执行。数字地图中的地理定位可通过简单地对在显示器上显示的地图中的位置进行选择或者通过输入表示摄像机的位置的坐标来执行。可以在任何地理坐标系中给出这些坐标，只要位置被唯一地标识。

手动标识摄像机的位置可能会费力、乏味而且容易出错。这在包括很多摄像机的大型监视和/或监控系统中尤其如此。然而，已经开发出用于在这种系统中标识摄像机的位置的方法，以便克服这些问题。例如，存在如下实施方式，其中每个摄像机都配备有例如GPS、GLONASS(格洛纳斯)、Galileo(伽利略)等卫星导航电路，并且将其坐标发送给中央服务器，在所述中央服务器，位置被记录并被表示在地图上。地理位置也可以或者替代地被插入到视频流中，这有时被称为地理标记。

在国际专利申请WO 2014/013015中描述了用于方便地收集摄像机网络中的摄像机的地理位置的另一种方法。该专利申请描述了配备有能够确定车辆的地理位置的导航装置的车辆。此外，车辆携带有光学可识别结构，例如，棋盘格、发光装置、带有可区分颜色部分的纹理、以及被设置为发射随时间变化的唯一标识符的光学发射器。于是，车辆在所监视的区域内的街道上行驶，并连续记录车辆的位置。所记录的位置与通过光学发射器发送的连续变化的标识符相关联，并且两者都被发送给计算机系统。所监视的区域中的视频摄像机捕捉车辆的图像，并将它们发送给计算机系统，在所述计算机系统，唯一标识符在包括该车辆的图像中被识别出，并且每个画面都包括可与由该车辆中的导航装置所记录的位置相匹配的车辆。于是，摄像机的与位置和方向相关的特性可以基于该摄像机捕捉车辆的图像时的该车辆的位置并基于该车辆的图像内的位置来计算。

该系统便于对监视和/或监控系统中的摄像机的地理位置的标识、收集和记录。然而，该系统仍然是复杂的并且需要大量相当先进的硬件及后处理，以便获得能满足需要的结果。

发明内容

本发明的一个目的在于使摄像机的位置确定容易。

该目的是通过根据权利要求1所述的方法以及通过根据权利要求10所述的系统来实现的。本发明的另外的实施例被呈现在从属权利要求中。

具体地，根据至少一个实施例，用于确定摄像机的位置的方法包括：在移动设备自身中确定并记录所述移动设备的地理坐标；在所述移动设备的显示器上呈现用于表示所述移动设备的所述地理坐标的图案；当呈现所述地理坐标时，通过所述摄像机捕捉所述移动设备的所述显示器的图像；在所述摄像机中，将所捕捉的所述移动设备的所述显示器的图像中的所述图案转换成地理坐标；以及在所述摄像机中，基于从所捕捉的图像中的所述图案转换得到的所述地理坐标，确定所述摄像机的位置。使用移动设备的显示器和摄像机的图像传感器来分别提供和接收诸如移动设备的位置等空间信息的一个优点是，对于用户而言，确定摄像机位置的处理将会简单。此外，可以使用现有的硬件来执行该处理，即，无需重新进行设计，并且可以避免由于来自不同设备的数据的配对而导致的同步问题。

该方法可进一步包括：在所述移动设备的所述显示器上呈现表示一值的图案的动作，所述值用于标识在所述移动设备的所述显示器上呈现的所述图案的两个可区分特征之间的距离。这样做的一个优点可以是，分析图像的设备(例如摄像机)了解所显示的图案的真实世界大小，并因此可在摄像机和移动设备的各种特性的计算中使用该图案。例如，信息可被用于提高在摄像机的位置计算中的精度。

此外，该方法可进一步包括：在所述移动设备的所述显示器上呈现表示所述移动设备被定向的地理方向的图案的动作。通过提供移动设备的方向，对摄像机的观察方向的确定可以更为方便。

所述图案可以为二维码，并且该图案可表示将由所述移动设备的所述显示器上的图案所表示的所述数据。在一些实施例中，所述图案为QR码。

进一步，确定所述摄像机的位置的动作可包括：通过至少基于可在所捕捉的图像中测量出的所述图案的物理特征、基于用于标识在所捕捉的图像的所述图案中的两个可区分特征之间的距离的值、并且基于所述移动设备的地理方向，对从所述移动设备所呈现的所述图案中检索出的位置进行调整，来计算所述摄像机的位置。通过执行这些步骤，摄像机的位置可以在某些情况下以比其他可能的方式更高的精度来确定。

在一些实施例中，确定所述摄像机的位置的动作包括：将所述摄像机的位置确定为所述移动设备所呈现的位置的动作。该方案的一个优点是，因为它主要是请求系统对由移动设备给出的代码中的信息进行解释，所以它易于实施。因此，不需要复杂的计算。

进一步，该方法可进一步包括：将所述摄像机的位置存储在所述摄像机中。可替代地，摄像机的位置可被存储在摄像机管理服务器中。

根据本发明的另一方面，一种用于确定摄像机的空间特性的系统，包括：所述摄像机和移动设备。所述移动设备包括：定位传感器；图案生成器，被设置为生成图案，所述图案用于表示通过所述定位传感器检测到的位置；以及显示器，被设置为可视化地呈现所述图案。所述摄像机包括：图像传感器，用于捕捉场景的图像；图案解释器，被设置为对在由所述移动设备的所述图案生成器生成并由所述图像传感器捕捉的所述图案中的信息进行解释；位置提取器，被设置为从由所述图案解释器执行的解释中提取位置信息；以及摄像机位置设定器，被设置为基于由所述位置提取器提取出的位置，设定所述摄像机的位置。使用移动设备的显示器和摄像机的图像传感器以分别提供和接收诸如移动设备的位置等空间信息的一个优点是，对于用户而言，确定摄像机位置的处理将会简单。此外，可以使用现有的硬件来执行该处理，即，无需重新进行设计，并且可以避免由于来自不同设备的数据的配对而导致的同步问题。

在系统的一些实施例中，所述图案生成器被设置为生成图案，该图案包括用于标识在所述移动设备的显示器上呈现的所述图案的两个可区分特征之间的距离的信息。这样做的一个优点可以是，提出了一种用于分析图像的设备(例如摄像机)，该设备了解所显示的图案的真实世界大小，并因此可在摄像机和移动设备的各种特性的计算中使用该图案。例如，信息可被用于在摄像机的位置计算中提高精度。

所述系统的移动设备还可包括：被设置为对所述移动设备被定向的方向进行检测的定向传感器，并且所述图案生成器可被设置为生成图案，该图案包括用于标识这种检测到的方向的信息。通过提供移动设备的方向，对摄像机的观察方向的确定可以更为方便。系统的移动设备可以是智能电话或平板计算机。

根据一些实施例，所述摄像机位置设定器包括：位置计算器，被设置为基于所述图案的图像、基于所述图案的两个可区分特征之间的距离的信息、基于所述移动设备的方向、并且基于所述移动设备的位置，来计算所述摄像机的位置。这种位置计算器的优点是，摄像机的位置可以在某些情况下以可比其他方式更高的精度来确定。

根据一些实施例，所述摄像机位置设定器被设置为将所述摄像机的位置设定为与在所述移动设备所显示的所述图案中呈现的位置相同的位置。因为它们主要是请求系统对由移动设备给出的代码中的信息进行解释，所以这种实施例易于实施。因此，不需要用于计算位置的复杂计算。

本发明的适用性的进一步的范围将根据下面给出的详细描述而变得显而易见。然而，应当理解，详细描述和具体示例在指示本发明的优选实施例时，仅通过例证的方式来给出，因为对于本领域技术人员而言，从该详细描述本发明的范围内的各种变化和修改将变得显而易见。因此，应当理解，本发明并不限于所描述的设备的特定部件部分或被描述为这种设备的方法的步骤，并且方法可以变化。还应当理解，本文所使用的术语仅用于描述特定实施例的目的，并不旨在进行限制。必须指出，如在说明书和所附权利要求中使用的冠词“一(a)”、“一(an)”、“该(the)”和“所述(said)”意在表示存在一种或多种要素，除非上下文中另有明确说明。因此，例如提及“一传感器”或“该传感器”可以包括数个传感器，等等。此外，用语“包括”并不排除其他元件或步骤。

附图说明

根据当前优选实施例的下述详细描述，参照附图，本发明的其他特征和优势将变得显而易见，其中：

图1是根据本发明一个实施例的用于确定摄像机在使用中的空间特性的系统的示意性图像；

图2是显示QR码并突出QR码的某些特征的移动设备的示例，所述QR码可被用在本发明的实施例中；

图3是描绘根据本发明一个实施例的由移动设备执行的处理的流程图；

图4是描绘根据本发明一个实施例的由监控摄像机执行的处理的流程图；

图5是根据本发明一个实施例的移动设备的示意性框图；

图6是根据本发明一个实施例的监控摄像机的示意性框图；

图7示出了真实世界的点和图像的点之间的线性变换；

图8和图9示出了图像坐标系中的场景点和真实世界坐标系的场景点之间的关系；

图10示出了用于标识所用透镜的焦距的方法的一个示例；以及

图11示出了用于计算焦距的方法。

另外，在附图中，相同的参考符号在数个附图中自始至终指代相同或相应的部分。

具体实施方式

本发明涉及用于确定固定式监视和/或监控摄像机的位置的处理及系统。摄像机不是移动式的，即其并不经常从一个位置移动到另一位置，在这种意义上，摄像机是固定式的。然而，摄像机很可能是PTZ摄像机，即能够平移和倾斜的摄像机。

根据一个实施例，参见图1，移动设备10具有显示器12，该显示器12被操作以生成QR码，该QR码至少包括用于指示移动设备10的地理位置的信息。除了QR码，当然也可以使用其他的图形码，例如，任何二维的图形码、任何一维的图形码、纯文本等。但是为了便于理解本发明，将在说明书的其余部分的示例中自始至终使用QR码。可替代地，可采用临时编码，例如，使用显示器上的一个或多个位置处的亮度变化来传送的信息。然而，临时编码可能无法体现出与某些二维图形码相关的全部优点。移动设备可以是移动电话、便携式GPS、平板计算机、或者具有显示器及所需功能部件的任何其他设备，所需功能部件在实施例之间有所不同，并且都将在下面被描述。QR码被显示在移动设备10的显示器12上，并且移动设备10的显示器被显示给监控系统中的监控摄像机14，即移动设备的显示器被暂时设置为朝向监控摄像机的光学输入(例如镜头)，以使摄像机捕捉和检测被呈现在移动设备的显示器上的QR码的图像。然后QR码被解码，并且监控摄像机被标记在代码中给出的位置信息，即地理位置信息被存储在摄像机中并被标识为该摄像机的位置，或者地理位置信息被存储在中央服务器中，在该中央服务器，地理位置信息被存储为特定摄像机的位置。

在图2中示出了被呈现在移动设备10的显示器12上的QR码22的示例，图中的QR码22不携带根据本发明的信息而是一示例，该示例被包含用于说明QR码22可传达给监控摄像机14和/或监控系统的一些附加参数。在一个实施例中，QR码22除了位置之外还可包括QR码22的显示器特定空间信息。该显示器特定空间信息可涉及QR码22被呈现在显示器12上时的实际大小或实际距离。例如，显示器特定空间信息可表示QR码22的两个角部之间的距离LQ，其可表示QR码22中的位置指示器P的宽度WP或高度HP。该显示器特定空间信息可由监控摄像机14或系统使用，以计算监控摄像机14与移动设备10之间的距离。该计算出的距离可随后被利用，以对在监控摄像机中接收到的移动设备10的地理位置进行调整，以便更接近地对应于监控摄像机14的实际地理位置。显示器特定空间信息可被用在更多将在下面讨论的调整以及计算中。

另外，QR码22可包括与移动设备10朝向的水平方向相关的信息。该方向可以以相对于北的度数的方式来给出，如在罗盘中所使用的那样，并且该水平方向可以由被包含在移动设备10中的电子罗盘来生成。该水平方向可以被看作是监控摄像机14的平移的角度或方向。此外，QR码22可包括与移动设备10朝向的垂直方向相关的信息，即倾斜角。该倾斜角可由移动设备10中的倾斜传感器来生成。

由移动设备10给出的平移和/或倾斜的方向可被假定为监控摄像机的近似实际的平移和/或倾斜的方向，尤其是当移动设备10的显示器12在平面内基本上保持正交于监控摄像机14的光轴时。如果是这种情况，则移动设备10的背面被设置为朝着与监控摄像机14相同的方向。为了便于用户保持移动设备10的显示器12基本上正交于显示器，监控摄像机14可以对移动设备10的显示器12上的图案进行检测，并检查呈现在显示器12上的图案中的直线是否被捕捉为基本上直的线或者呈现在显示器12上的具有相同尺寸的图形特征是否确实被捕捉为相同尺寸的特征。当监控摄像机14识别出移动设备10的显示器12基本上正交于光轴时，监控摄像机14可以发出信号或使光源发出光。QR码22或所使用的任何其他代码可被用作这种类型的参考图案。另外，QR码22可被经常变更以包括移动设备10的改变方向，以便在QR码22的图案被正确对准时，能够使监控摄像机14捕捉真正的方向。

可替代地，监控摄像机14捕捉用于表示QR码22的图案，然后计算光轴与QR码22中给出的方向之间的偏差。该计算可以是基于由监控摄像机14所捕捉的图案的透视变形。这种计算的示例将在下面给出。

在另一实施例中，QR码22可包括滚转角。在本申请的描述中，滚转角应被解释为一角度，通过该角度，移动设备10必定会围绕正交于显示器12的轴旋转，以使底部或顶部显示器边缘成为水平平面，即真实世界的水平平面。对于监控摄像机14，滚转角被定义为类似的角度，通过该角度，监控摄像机14必定会围绕其光轴旋转，以使所捕捉的图像的底部或顶部边缘成为水平平面，即真实世界的水平平面。在结合陀螺罗盘(gyro)的一些实施例中，移动设备10的滚转角可通过加速计来检测，并且在显示器12上以QR码22呈现。该信息可随后由监控摄像机14使用，以计算其滚转角。

此外，在一个实施例中，当移动设备10被授权将位置数据和其他可能的可应用数据提供给监控摄像机14及监控系统时，QR码22包括用于认证移动设备10的加密代码。加密代码可使用公共密钥加密、对称密钥加密或任何其他类型的加密来实现。在不同类型的加密中，存在多个众所周知的实施方案。

经由QR码22对位置数据和其他可能的数据进行传输的开始是通过使监控摄像机14频繁运行QR码22的检测处理来实现的。以这种方式，监控摄像机14随时准备经由QR码22接收坐标和其他数据。一个缺点是当没有欲识别的QR码22时，系统资源可能会在较长的时间周期内被浪费。因此，这种方法可能会被用在QR码也被用于其他用途的系统中，并且其中对用于这些其他用途的QR码的使用将在非常高的频率下执行，使得用于频繁运行QR码检测处理的系统资源的使用是可承受的。运行用于检测QR码的处理的频率可依据应用而不同。然而，人们不应被要求等待三十秒以上来进行检测。当监控摄像机14已检测到QR码时，监控摄像机14上的一些指示物(声音或光)应当通知对移动设备10进行控制的人们：QR码22已被检测到并且其处理已经开始或者结束。

可替代地，QR码检测时期是由来自被授权对监控网络进行控制的设备的网络信号所发起的。该系统可被设置为使监控系统中的监控摄像机14的全部或一部分在上述时期内以预定的间隔运行QR检测处理。优选地，该处理在代码被检测到之前应当时常运行，以使将移动设备显示给监控摄像机14的用户不会注意到任何令人讨厌的延迟。在其中频繁运行检测处理的QR码检测周期可被设定为特定的长度，例如，一个小时或三十分钟，所有这一切都取决于监控系统的扩展。可替代地，QR码检测周期可通过从被授权对监控网络进行控制的相同设备中或从也被授权的其他设备中发送信号来手动结束。

根据任何上述实施例的被提供给监控摄像机14的信息可由监控摄像机14或监控系统使用，以便用于很多用途。例如，位置和方向的信息可被用来准确地定位地图或建筑物平面图上的监控摄像机14。该位置可被用于在正确的位置处描绘监控摄像机14。平移方向可被用于描绘对由监控摄像机14所监控的区域的标示；对该区域的计算可通过考虑由摄像机所用的焦距来细化。

监控摄像机14的滚转角与监控摄像机14的倾斜角可被用于以电子方式对所捕捉的图像进行调整，以便消除倾的水平线和透视变形。

此外，监控摄像机14的位置和平移方向可被用在监控系统中，以方便对监控摄像机14之间的跟踪对象进行切换或者识别非监控区域。

根据本发明的一个实施例，用于确定监控摄像机14的位置的处理包括：人或车辆配备有移动设备10，并且移动设备10的显示器12朝向监控摄像机14。当移动设备10处于使其显示器12被监控摄像机14捕捉到的位置时，以下参照图3和图4来描述的处理分别给出了用于确定监控摄像机14的位置的示例。现在参照图3，在S302，移动设备10从定位传感器中读取地理坐标。由于设备10已被接通，因此对地理坐标的该读取可由移动设备10连续执行，这可以响应于设备10的用户启动包括该处理的应用程序来开始；并且这可以与移动设备10正被用于确定监控摄像机14的位置相关而开始。如果可能，这不是针对所有实施例的情况，在S304，从定向传感器中读取移动设备10的背面或显示器12被定向的方向，在S306，从倾斜传感器中读取倾斜方向，并且在S308，从滚动传感器中读取滚转方向。被用于倾斜方向和滚转方向的数据可以从相同的传感器中被读取。随后在S310，在移动设备10中生成包括从传感器中读取的数据帖中的至少一个的消息。存储在移动设备10中的预定的认证码或由用户键入的认证码也被包含在消息中。此外，如结合图2所讨论的，显示器特定空间信息也可被包含在消息中。在S312，当消息已被生成时，其被编码为QR码22，该QR码22随后在S314被显示在移动设备10的显示器12上。该处理随后返回到S302以读取新的传感器数据，以便显示包括可能被更新的传感器数据的新的QR码22。

现在参考图4，在步骤402，作为监控摄像机的其操作的一部分，监控摄像机14以预定的速率连续捕捉图像。随后在S404，对当前捕捉到的图像检查QR码22。在S406，如果没有发现QR码22，则该处理返回到S404，并且对之后捕捉的图像检查QR码22，这将被重复直到在所捕捉的图像中发现QR码22。不一定对每个被连续捕捉到的图像都检查QR码22。当发现QR码22时，在S408，QR码22被转换或解码为可由监控摄像机14处理的形式。随后在S410，对所获得的消息检查有效的认证码。在S412，如果没有发现有效的认证码，则处理返回到S404，在S404中，该处理对新的图像检查QR码22。然而，如果认证码是有效的，则该消息包括被授权的传感器数据，并且在S414，提取该传感器的数据。随后在S416，将所提取的传感器数据帖存储在监控摄像机14中，其被直接使用或者用于通过将传感器数据与如下数据组合来进一步细化，上述数据是由所捕捉的QR码22的图像的分析与被包含在QR码22中的显示器特定空间信息相结合而产生的。然后该处理结束，监控摄像机14具有已存储的其通常定位的信息，例如地理坐标、水平方向、垂直方向和/或滚转方向。

现在将参考图5，对能够执行本发明的处理的移动设备10的一个实施例进行描述。移动设备包括：显示器12；处理单元102，被设置为执行对移动设备10的功能进行定义的代码；易失性存储器104；非易失性存储器106；显示驱动器108，将显示器12与移动设备10的其余部分相连接，以将移动设备10的信息呈现在显示器12上；输入装置110，用于将数据手动输入到移动设备；GPS接收器112，用于通过访问一些地理定位服务来获取移动设备的地理位置；罗盘114，用于提供移动设备10所面向的方向；以及倾斜和滚动传感器116，其可以是单一的传感器，但可替代地为两个单独的传感器。此外，根据本实施例的移动设备10包括：QR码生成器118，被实现为由处理单元102执行的程序模块；以及消息生成器120，也被实现为由处理单元102执行的程序模块。

倾斜和滚动传感器116可以是包括多个加速计的模块，加速计被设置为至少对这些角度或方向进行检测。然而，倾斜和滚动传感器116也可以是两个倾斜传感器，例如，一个用于从前向后的倾斜也就是俯仰，一个用于从一边到另一边的倾斜，例如滚转。

现在将参考图6，对能够执行本发明的处理的监控摄像机14的一个实施例进行描述。监控摄像机14可以是任何普通的监控和/或监视摄像机。本发明可有利地应用于监控或监视预定区域的固定式摄像机。因此，监控摄像机14包括：普通的监控摄像机的特征(例如镜头202)、图像传感器204、图像处理器206、中央处理单元208、易失性存储器210以及非易失性存储器212。另外，监控摄像机14可以是网络化的监控摄像机，在这种情况下，监控摄像机14包括物理的和逻辑的网络接口214。此外，本发明实施例的监控摄像机14包括QR码解码器216、位置设定模块218、整体平移方向设定模块220、以及整体倾斜和滚转设定模块222。

QR码解码器216被设置为对用于表示QR码的图形进行处理并且重新创建消息，该消息在移动设备10被编码为QR码22，该处理通过本领域技术人员所公知的算法来执行。在使用其他图形表示的应用中，代替地，解码器适用于这些图形表示。例如，如果代码是被呈现在移动设备的显示器上的纯文本，则代替地实施基于解码器的光学字符识别(OCR)，并且如果代码是条形码，则代替地实施条形码解码器。

位置设定模块218被设置为在监控摄像机14中存储位置，供以后使用和/或发送给中央服务器。如果监控摄像机14通过考虑根据被包含在QR码22中的显示器特定空间信息和在所捕捉的QR码22的图像中测定到的特征而计算出的附加数据来提高位置的精度，则这些精度提高的计算也可在位置模块218中执行。

整体平移方向设定模块220被设置为将用于表示监控摄像机14的观察方向的罗盘方向存储在监控摄像机14中，供以后使用和/或发送给中央服务器。如果监控摄像机14通过考虑根据被包含在QR码22中的显示器特定空间信息和在所捕捉的QR码22的图像中测定到的特征而计算出的附加数据来提高平移方向的精度，则这些精度提高的计算也可在整体平移方向设定模块220中执行。

整体倾斜和滚转设定模块222被设置为将用于表示摄像机的倾斜的值及用于表示监控摄像机14的滚转的值存储在监控摄像机14中，供以后使用和/或发送给中央服务器。如果监控摄像机14通过考虑根据被包含在QR码22中的显示器特定空间信息和在所捕捉的QR码22的图像中测定到的特征而计算出的附加数据来提高滚转和/或倾斜的精度，则这些精度提高的计算也可在整体倾斜和滚转设定模块222中执行。

监控摄像机还可包括焦距检测器224，焦距检测器224被设置为提供与监控摄像机14的光学系统202的当前焦距有关的数据。焦距检测器224可被实现为来自步进电机或用于控制摄像机的变焦功能的任何其他控制系统的定位信号，或者其可以是在用于分析所捕捉的图像数据的监控摄像机的处理单元上运行的图像分析方法的一实现方式。而且，在焦距不可改变的系统中，焦距值可被存储在监控摄像机中，以供计算中使用。

对QR码是否存在于所捕捉的图像中的检测可以在图像处理器206中执行。在之前的流程图中所描述的处理以及移动设备10或监控摄像机14的其他功能可被实现为在相应设备的处理单元中例如移动设备10的处理单元102和监控摄像机14的中央处理单元208中执行的程序代码，或者这些处理或功能可以利用逻辑电路来实现。

根据一个实施例，监控摄像机14被连接到包括中央服务器20的网络，如上所述获得的任何位置和方向的数据被发送到中央服务器20，以供进一步使用或处理。这种网络化的系统可包括也用于实现本发明的附加的监控摄像机16。与摄像机的位置和方向有关的数据可被用于在分布图上的精确位置处绘制出特定监控摄像机的表示，并且可被用于在其安装方向上对准摄像机和摄像机视图的标示。

如以上所提到的，摄像机的位置和方向的更精确的确定可基于移动设备的位置和方向并且使用在移动设备上显示的QR码或其他图案的尺寸及形状的信息来计算。例如，可以使用用于描述真实世界中的3D坐标与摄像机的3D坐标之间的关系的单应性。

如果移动设备的地理坐标已被确定并且可通过捕捉QR码来获得，并且在QR码中还包含关于QR码的大小及形状的信息，则可以确定移动设备与摄像机的位置之间以及取向之间的关系。因此，摄像机的位置可通过使用本身已知的摄像机校准过程的原则来更精确地确定，以便确定摄像机与移动设备之间位置上以及方向上的差值，并通过使用这些差值来从移动设备的位置和方向中确定出摄像机的位置和方向。

给定的关于QR码的大小及形状、QR码的各个点的位置(例如，角落或位置指示器)的信息在QR码自身的坐标系中已知。通过对QR码的图像中的点与在移动设备上显示的QR码中的对应点进行匹配来获得坐标对。这样的对中的坐标之间的关系可用下面的公式来表示：

(x_i,y_i)→(X_i,Y_i,Z_i)

其中，(x_i，y_i)表示图像中的2D坐标，(X_i，Y_i，Z_i)表示真实世界中的3D坐标。

真实世界的点(例如，在所显示的QR码中的点)和图像的点(例如，在被摄像机捕捉时的QR码中的点)可通过齐次向量来表示。参考图7，其中的中央投影是线性变换，其可被表示为如下：

x_{i} = f \frac{x_{s}}{z_{s}}

y_{i} = f \frac{y_{s}}{z_{s}}

其中，f是摄像机的焦距，(x_i，y_i，f)表示图像中的点的3D坐标，(x_s，y_s，z_s)表示场景中的对应点的3D坐标。

[\begin{matrix} u \\ v \\ w \end{matrix}] = [\begin{matrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] [\begin{matrix} x_{s} \\ y_{s} \\ z_{s} \\ 1 \end{matrix}]

x_{i} = \frac{u}{w}

y_{i} = \frac{v}{w}

这里给出的计算可以在没有当前焦距的已有知识的情况下执行，但是，如果焦距是已知的，那么计算将变得更快。之后将在本说明书中给出用于获取当前焦距的方法的一些示例。

可使用被表示为(x₀，y₀)的图像中心和用于从长度到像素的缩放的、被表示为k_x和k_y的缩放因子，来进行从长度到像素的变换。在下面的两个等式中，x_pix和y_pix表示在像素中测量到的坐标。

x_{p i x} = k_{x} x_{i} + x_{0} = {fk}_{x} \frac{x_{x} + z_{x} x_{0}}{Z_{s}}

y_{p i x} = k_{y} y_{i} + {xy}_{0} = {fk}_{y} \frac{y_{s} + z_{s} y_{0}}{Z_{s}}

类似于以上以长度来表示的等式，可使用以像素来表示的如下等式：

[\begin{matrix} u^{'} \\ v^{'} \\ w^{'} \end{matrix}] = [\begin{matrix} α_{x} & 0 & x_{0} & 0 \\ 0 & α_{y} & y_{0} & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] [\begin{matrix} x_{s} \\ y_{s} \\ z_{s} \\ 1 \end{matrix}]

其中

α_x＝fk_x

α_y＝fk_y

其可以被视为在像素中给出的焦距。

像素坐标可被表示为如下：

x_{p i x} = \frac{u^{'}}{w^{'}}

y_{p i x} = \frac{v^{'}}{w^{'}}

增加偏斜参数S，可被重新整理为如下：

[\begin{matrix} α_{x} & s & x_{0} & 0 \\ 0 & α_{y} & y_{0} & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] = [\begin{matrix} α_{x} & s & x_{0} \\ 0 & α_{y} & y_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] = K [I_{3} | 0_{3}]

3×3的上三角矩阵K被称为校准矩阵。矩阵K中的参数包含摄像机的内部参数，并且是变换操作中的重要输入。

参考图8和图9，图像坐标系中的场景点(x_s，y_s，z_s)与真实世界坐标系中的场景点(X_s，Y_s，Z_s)之间的关系可通过将从图像坐标系的开始点到真实世界坐标系的开始点的转换向量CO＝T与用于描述真实世界坐标系中的点M的矢量相加来获得。

CM＝CO+OM

x_si+y_sj+z_sk＝T_xi+T_yj+T_zk+X_sI+Y_sJ+Z_sK

x_s＝T_x+X_sI.i+Y_sJ.i+Z_sK.i

[\begin{matrix} x_{s} \\ y_{s} \\ z_{s} \end{matrix}] = [\begin{matrix} T_{x} \\ T_{y} \\ T_{z} \end{matrix}] + [\begin{matrix} I . i & J . i & K . i \\ I . j & J . j & K . j \\ I . k & J . k & K . k \end{matrix}] [\begin{matrix} X_{s} \\ Y_{s} \\ Z_{s} \end{matrix}]

使用齐次坐标，这可被写为如下形式：

[\begin{matrix} x_{s} \\ y_{s} \\ z_{s} \\ 1 \end{matrix}] = [\begin{matrix} I . i & J . i & K . i & T_{x} \\ I . j & j . j & K . j & T_{y} \\ I . k & J . k & K . k & T_{z} \\ 0 & 0 & 0 & 1 \end{matrix}] [\begin{matrix} X_{s} \\ Y_{s} \\ Z_{s} \\ 1 \end{matrix}]

[\begin{matrix} x_{s} \\ y_{s} \\ z_{s} \\ 1 \end{matrix}] = [\begin{matrix} R & T \\ 0_{3}^{T} & 1 \end{matrix}] [\begin{matrix} X_{s} \\ Y_{s} \\ Z_{s} \\ 1 \end{matrix}]

这可被替代地表示为：

CM＝OM-OC

x_si+y_sj+z_sk＝(X_s-X_C)I+(Y_S-Y_SC)J+(Z_S-Z_C)K

x_s＝(X_s-X_C)I.i+(Y_s-Y_C)J.i+(Z_s-Z_C)K.i

x_{c a m} = R (X - \tilde{C})

是在世界坐标中表示的向量OC。使用来代替T，可以建立以下公式：

[\begin{matrix} x_{s} \\ y_{s} \\ z_{s} \\ 1 \end{matrix}] = [\begin{matrix} R & - R \tilde{C} \\ 0_{3}^{T} & 1 \end{matrix}] [\begin{matrix} X_{s} \\ Y_{s} \\ Z_{s} \\ 1 \end{matrix}]

摄像机投影矩阵和坐标变换矩阵可被组合成一个矩阵P。

并且

给出：

[\begin{matrix} u^{'} \\ v^{'} \\ w^{'} \end{matrix}] = K [I_{3} | 0_{3}] [\begin{matrix} R & - R \tilde{C} \\ 0_{3}^{T} & 1 \end{matrix}] [\begin{matrix} X_{s} \\ Y_{s} \\ Z_{s} \\ 1 \end{matrix}]

这可被表示为：

[\begin{matrix} u^{'} \\ v^{'} \\ w^{'} \end{matrix}] = P [\begin{matrix} X_{s} \\ Y_{s} \\ Z_{s} \\ 1 \end{matrix}]

或

x＝PX

这可被简化为如下：

x = K [I_{3} | 0_{3}] [\begin{matrix} R & - R \tilde{C} \\ 0_{3}^{T} & 1 \end{matrix}] X

[I_{3} | 0_{3}] [\begin{matrix} R & - R \tilde{C} \\ 0_{3}^{T} & 1 \end{matrix}] = [\begin{matrix} R & - R \tilde{C} \end{matrix}] R [I_{3} | - \tilde{C}]

x = K R [I_{3} | - \tilde{C}] X

P = K R [I_{3} | - \tilde{C}]

该矩阵P具有11个自由度，其中的5个来自三角校准矩阵K，3个来自R，并且3个来自应当指出，P是3×4的矩阵，并且左侧的3×3的子矩阵KR是非奇异的。可以使用场景中的点和图像中的对应点来估算出P。如果校准矩阵K是已知的，那么该估算会被显著简化。但是，使用足够数量的点对，即使校准矩阵尚不知道，也可以估算出P。

为了确定摄像机的转换，应当找出场景中的C的齐次坐标。C是矩阵P的零向量。因此：

PC＝0

P = K R [I_{3} | - \tilde{C}]

[\begin{matrix} 1 & 0 & 0 & X_{C} \\ 0 & 1 & 0 & Y_{C} \\ 0 & 0 & 1 & Z_{C} \end{matrix}] [\begin{matrix} X_{C} \\ Y_{C} \\ Z_{C} \\ 1 \end{matrix}] = [\begin{matrix} 0 \\ 0 \\ 0 \\ 0 \end{matrix}]

P的零向量C可以利用奇异值分解来找到。

进一步，可以找到摄像机的取向和内部参数。这里，应当指出，P的左侧3×3子矩阵M形式为M＝KR。K是上三角矩阵，R是正交矩阵。非奇异矩阵M可使用RQ因式分解被分解为K和R乘积。正如已指出的，如果校准矩阵K是已知的，即，摄像机被校准，那么计算将被简化。

矩阵P可通过获得世界坐标系中的3D点X_i和X_i在图像中的对应图像x_i来计算，并且对于所有的i，都写为x_i＝PX_i。该矩阵P可随后被用于基于移动设备的位置来计算摄像机的位置和取向，正如在通过从矩阵P中计算出的参数来调整的移动设备上显示的QR码中所表明的那样。在矩阵C中给出了在真实世界坐标中相对于QR码的摄像机的位置，即与在由摄像机捕捉的图像平面以外的三维世界有关的坐标，并且在矩阵R中给出了相对于真实世界坐标系的三个轴的摄像机的取向，即摄像机相对于这些轴的旋转。

这样的计算可使用可用的软件代码来执行，例如，在OpenCV(Open SourceComputer Vision Library，开放源代码计算机视觉类库)或Matlab的摄像机标定工具箱中。

系统的焦距，也就是镜头的焦距，可以从以上的矩阵P中提取出。然而，为了加快计算并且使上述矩阵的求解需要较少的处理能力，可预先提供焦距。在这些情况下，焦距可以是预设的(例如，在带有固定焦距镜头的系统中)或者可以是被键入的。可替代地，监控摄像机可使用自动焦距确定方法。存在着大量的被设计用于标识所用镜头的焦距的方法。参考图10，这种方法的一个示例利用在以下等式中给出的近似值：

h_{1} = f \frac{H}{L_{1}}

在该等式中，h₁是具有高度H的对象的捕捉后高度，上述高度例如图2中的图形化代码的距离LQ或者整个移动设备的高度。L₁是从摄像机到对象的距离，并且f是所用镜头的焦距。参见图11，如果在图像传感器上捕捉到的对象的高度h₁通过摄像机在距离摄像机的第一距离L₁处被确定，并且随后在图像传感器上捕捉到的对象的高度h₂通过摄像机在第二距离L₂处被确定，则焦距f可以被计算出。

h_{2} = f \frac{H}{L_{2}}

为了实现这一目标，测量或估计对象的两个捕捉图像之间的移动距离，以下被称为d。

d＝L₁-L₂

对象的实际高度是独立于位置而相同的，这导致了下述：

f = \frac{h_{1}}{H} L_{1} = \frac{h_{2}}{H} L_{2}

和

h₁L₁＝h₂L₂＝h₂(L₁-d)

然后

L_{1} = \frac{h_{2} d}{(h_{2} - h_{1})}

这导致下面的焦距等式：

f = \frac{h_{1} h_{2} d}{H (h_{2} - h_{1})}

因此，通过在两个不同的捕捉时刻，在图形化代码之间的预定距离处，捕捉图形化代码的两个图像，摄像机能够计算焦距。

在其他实施例中，监控摄像机14的位置可通过保持移动设备与监控摄像机14的联系来确定。移动设备10可被保持在镜头的前面以使移动设备10被定位于基本上与监控摄像机14相同的地理位置，并且如果移动设备10的背面或前面被保持齐平于监控摄像机14的镜头的外边缘，则移动设备10的方向和移动设备的方向将基本上一致。此外，为了使监控摄像机14的滚转角基本对应于移动设备10的滚转角，持有移动设备10的用户可以改变移动设备10的滚转角，直到移动电话的基本上为直线的边缘在视觉上与监控摄像机14的基本上为直线的特征相对齐，例如，用户可以以保持移动设备的上边缘平行于监控摄像机14的上边缘或表面为目标。当移动设备10被保持于如上所述的位置时，用户将触发一处理，该处理用于至少暂时存储由移动设备10检测到的地理位置、方向和滚转角中任何一个或者任何组合。该存储处理可通过用户在移动设备10上按下按钮或者任何其他可能的触发动作来触发。如上所述，移动设备10生成图形化代码22，以在移动设备的显示器12上显示。图形化代码22包括例如地理位置、方向和/或滚转角的所存储的数据中的至少一部分。如本说明书中前面描述的那样，图形码可以是QR码。移动设备10从监控摄像机14的镜头处被移动到一距离处，在该处，移动设备10的显示器可被监控摄像机14自身捕捉到。然后监控摄像机可根据被编码成图形化代码的特征，对图形化代码进行解码，并确定其地理位置、其观察方向和/或其滚转角。

滚转角在该设置中可以是动态的，即当移动设备10被触发用于存储其余的位置数据时其不会被锁定于已捕捉的值。于是监控摄像机14可以对如前所述的滚转角数据进行操作，在该情况下，滚转角数据并因此QR码被频繁更新。

在其他实施例中，上面的处理可以被采用，以帮助安装或维修监控摄像机14的人在所捕捉的图像中获取水平程度。移动设备10如在以上任何实施例中所描述的那样被保持于摄像机的前面。呈现在移动设备的显示器12上的图形化代码使用至少与移动设备10的滚转角相关的信息来频繁更新。摄像机基于所捕捉的图形化代码的图像和由图像化代码所携带的解码后信息来计算其自身的滚转角，即，监控摄像机计算基于所捕捉的图像和从移动设备10中提供的信息来计算其滚转角。随后对由此获得的监控摄像机的滚转角进行评估，例如，通过监控摄像机自身或通过被连接到摄像机的网络中的计算设备，对由监控摄像机14生成的声音或光进行控制，以指示滚转角是否可接受。还可以生成声音或光用以指示滚转角是可接受的或者其是不可接受的。

为了便于理解这种实现方式，将给出一示例。移动设备被保持于用于示出图形化代码的监控摄像机14的前面，使得其可被摄像机捕捉到。如果摄像机围绕监控摄像机的光轴并相对于水平线形成角度，则发光二极管(LED)被激活以发光。安装或维修摄像机的人可随后围绕光轴转动摄像机直到LED停止发光，这表明滚转角是可接受的。

如果在确定摄像机的位置时期望高精度，则当移动设备在摄像机的前面四处移动时，需要更新在移动设备上显示的QR码或其他图案。但是，由于摄像机捕捉图像的帧速率并不一定与移动设备的显示的更新频率同步，因此这会引发捕捉不完整或破碎的QR码的风险。在更新移动设备的显示的时刻所捕捉的图像可能包含旧的QR码和新的QR码的混合。为了减少捕捉不完整的QR码的问题，可以降低移动设备的显示的更新频率，使得在显示器上的图案每秒被更新的次数少于摄像机的帧速率。例如，可以以对应于由摄像机捕捉的两个或三个帧的间隔，对显示进行更新。然而，这会增加延迟，从而将会降低摄像机的位置确定的精度，并且这也将意味着重复对QR码图像进行不必要的处理。

捕捉不完全的QR码的风险却可通过利用摄像机和显示器的不同颜色通道来降低。当QR码被更新时，首先仅在绿色的颜色通道上进行更新，而红色和蓝色的颜色通道仍显示之前的QR码。下一次QR码被更新时，红色和蓝色的颜色通道被更新，而绿色的颜色通道显示与之前相同的QR码。因此，显示器将使用用于显示与移动设备最新确定的位置相对应的QR码的一个或两个颜色通道、以及用于显示与移动设备之前确定的位置相对应的QR码的其他的一个或两个颜色通道，来同时显示两个QR码。也可以以三步处理的方式来执行更新，首先更新一个颜色通道(例如，红色)，随后更新另一个颜色通道(例如，绿色)，最终更新最后的颜色通道(例如，蓝色)。QR码到地理位置的转换每次在摄像机的一个或在可能时两个的颜色通道中完成。如果所捕捉的图像的一个颜色通道包含不完整或混合的QR码，则仍然可以使用另外的一个颜色通道或多个颜色通道来确定摄像机的位置。有利的是，QR码只需要在由摄像机所捕捉的每个图像中出现一次，然后被解码或转换成位置两次(或三次，这取决于更新被分割的颜色通道的数目)，即每个适用的颜色通道一次。

本领域技术人员将认识到这样的更新方法并不限于QR码，而是如前面所讨论的，可以使用各种图案。这种方法也不限于RGB(红、绿、蓝)色彩空间，而是可以使用由手头的移动设备显示器与摄像机的组合所采用的任何色彩空间。

Claims

1.一种用于确定摄像机的位置的方法，所述方法包括：

在移动设备自身中确定并记录所述移动设备的地理坐标；

在所述移动设备的显示器上呈现用于表示所述移动设备的所述地理坐标的图案；

当呈现所述地理坐标时，通过所述摄像机捕捉所述移动设备的所述显示器的图像；

在所述摄像机中，将所捕捉的所述移动设备的所述显示器的图像中的所述图案转换成地理坐标；以及

在所述摄像机中，基于从所捕捉的图像中的所述图案转换的所述地理坐标，确定所述摄像机的位置。

2.根据权利要求1所述的方法，进一步包括：

在所述移动设备的所述显示器上呈现表示一值的图案的动作，所述值用于标识在所述移动设备的所述显示器上呈现的所述图案的两个可区分特征之间的距离。

3.根据权利要求1所述的方法，进一步包括：

在所述移动设备的所述显示器上呈现表示所述移动设备被定向的地理方向的图案的动作。

4.根据权利要求1所述的方法，其中，

所述图案为二维码，并且其中该图案表示将由所述移动设备的所述显示器上的图案所表示的所述数据。

5.根据权利要求1所述的方法，其中，

所述图案为QR码。

6.根据权利要求1所述的方法，进一步包括下述动作：

在所述移动设备的所述显示器上呈现表示一值的图案，该值用于标识在所述移动设备的所述显示器上呈现的所述图案的两个可区分特征之间的距离；以及

在所述移动设备的所述显示器上呈现表示一值的图案，该值用于标识在所述移动设备的所述显示器上呈现的所述图案的两个可区分特征之间的距离；

其中，确定所述摄像机的位置的动作包括：通过至少基于在所捕捉的图像中测量出的所述图案的物理特征、基于用于标识在所捕捉的图像的所述图案中的两个可区分特征之间的距离的值、并且基于所述移动设备的地理方向，对从所述移动设备所呈现的所述图案中检索出的位置进行调整，来计算所述摄像机的位置。

7.根据权利要求1所述的方法，其中，

确定所述摄像机的位置的动作包括：将所述摄像机的位置确定为所述移动设备所呈现的位置的动作。

8.根据权利要求1所述的方法，进一步包括：

将所述摄像机的位置存储在所述摄像机中。

9.根据权利要求1所述的方法，进一步包括：

将所述摄像机的位置存储在摄像机管理服务器中。

10.一种用于确定摄像机的空间特性的系统，包括：所述摄像机和移动设备，

所述移动设备包括：

定位传感器；

图案生成器，被设置为生成图案，所述图案用于表示通过所述定位传感器检测到的位置；以及

显示器，被设置为可视化地呈现所述图案，并且

所述摄像机包括：

图像传感器，用于捕捉场景的图像；

图案解释器，被设置为对在由所述移动设备的所述图案生成器生成并由所述图像传感器捕捉的所述图案中的信息进行解释；

位置提取器，被设置为从由所述图案解释器执行的解释中提取所述位置的信息；以及

摄像机位置设定器，被设置为基于由所述位置提取器提取出的位置，设定所述摄像机的位置。

11.根据权利要求10所述的系统，其中，

所述图案生成器被设置为生成图案，该图案包括用于标识在所述移动设备的显示器上呈现的所述图案的两个可区分特征之间的距离的信息。

12.根据权利要求10所述的系统，其中,

所述移动设备进一步包括：被设置为对所述移动设备被定向的方向进行检测的定向传感器，并且其中所述图案生成器被设置为生成图案，该图案包括用于标识这种检测到的方向的信息。

13.根据权利要求10所述的系统，其中，

所述移动设备是智能电话或平板计算机。

14.根据权利要求10所述的系统，其中，

所述摄像机位置设定器包括：位置计算器，被设置为基于所述图案的图像、基于所述图案的两个可区分特征之间的距离的信息、基于所述移动设备的方向、并且基于所述移动设备的位置，来计算所述摄像机的位置。

15.根据权利要求10所述的系统，其中，

所述摄像机位置设定器被设置为将所述摄像机的位置设定为与在所述移动设备所显示的所述图案中呈现的位置相同的位置。