CN103593175A - 对象定位的装置和方法 - Google Patents

Abstract

一种娱乐设备包含：用于从摄像机接收所捕获图像的输入端；用于检测所捕获图像内的基准标记的、并用于估计基准标记的距离和角度的标记检测器；以及用于从假设基准标记的识别失败了的基准标记的当前估计距离和角度中计算另外距离和另外角度的至少一个的失败边界计算处理器。

Description

对象定位的装置和方法

技术领域

本发明涉及对象定位的装置和方法。

背景技术

增强现实系统是众所周知的，它使用与计算机耦合的摄像机捕获视频图像，检测所捕获视频图像的特征，然后响应所检测的特征，生成图形覆盖物以便叠加在所捕获视频图像上，其以某种方式增强所捕获视频图像。

参照图1，在典型的增强现实应用中，使已知大小的所谓基准标记800包括在摄像机要捕获的场景中，以便提供可容易检测特征。

基准标记通常是高对比度（例如，黑色和白色）和非对称的图案，因此在甚至相对较差的图像捕获条件（例如，图像捕获分辨率低、光照不好等）下为图案识别提供范围。这样的识别通常提供所捕获视频图像内基准标记的位置（x和y轴位置）和旋转（凭借标记的非对称性）的估计。

可选地，另外，通过将所捕获图像中的基准标记的大小与基准标记的已知大小（例如，在1米的距离上它以像素为单位的大小）相比较可以估计基准标记（它的z轴位置）与摄像机的距离。

同样，可选地，通过将所捕获图像中的基准标记的纵横比与基准标记的已知纵横比相比较，和/或使用像检测所捕获视频图像中的基准标记的前部缩短（长方形看起来像梯形）或其他失真那样的其他技术可以估计基准标记的倾斜（即，它在z方向相对于x-y平面的偏离）。

生成的图形覆盖物通常包含接着可以叠加在基准标记上的虚拟图形元素，如果可应用的话，将基准标记的估计位置、旋转、距离和倾斜用于修改虚拟图形元素。

之后，将增强图像输出到显示器。

这种处理的主观效果是输出视频图像包含取代基准标记、但通常复制基准标记的估计位置、旋转、距离和倾斜的图形元素（例如，怪物或城堡）。

可替代地，可以以其他方式使用基准标记。例如，可以相对于基准标记而不是覆盖它地放置图形对象，或者可以将基准标记用于娱乐系统或其他计算机识别所选对象的场景或区域；例如，将基准标记放置在桌子上可以使娱乐系统识别该桌子（例如，通过识别在基准标记附近找到的在颜色的容限内的颜色连续区），此后可以除去基准标记。

但是，应当懂得，在这样的增强现实系统中，使用户陷入图形覆盖物是所捕获场景的一部分的错觉中的用户幻觉状态（suspension of disbelief）至少部分取决于图形覆盖物与场景的某种真实世界方面匹配或相互作用的可靠性。这种可靠性经常取决于场景内基准标记的位置和取向的估计。

因此，最好是降低不能可靠地作出这样的估计的机会。

发明内容

在第一方面中，依照权利要求1提供了一种娱乐设备。

在另一个方面中，按照权利要求9提供了一种对象定位的方法。

在所附权利要求书中规定了本发明的进一步各自方面和特征。

附图说明

现在将参照附图举例描述本发明的实施例，在附图中：

图1是依照本发明一个实施例的基准标记的示意图；

图2A是依照本发明一个实施例的包含基准标记的图书的示意图；

图2B是依照本发明一个实施例增强的图书的图像的示意图；

图3是按照本发明一个实施例的娱乐设备的示意图；

图4是依照本发明一个实施例的包含基准标记的图书的示意图；

图5是依照本发明一个实施例跟踪图书的书页的翻动的方法的流程图；

图6是依照本发明一个实施例的图书的两个页面张开的示意图；

图7A是依照本发明一个实施例的基准标记的边界位置的示意图；

图7B是依照本发明一个实施例的基准标记的边界位置的示意图；

图7C是依照本发明一个实施例的处在边界内的基准标记的示意图；

图8是依照本发明一个实施例的基准标记和摄像机的示意图；

图9是依照本发明一个实施例的图书的增强图像的示意图；以及

图10是依照本发明一个实施例的对象定位的方法的流程图。

具体实施方式

公开了对象定位的装置和方法。在如下描述中，将展示许多具体细节，以便使读者可以透彻理解本发明的实施例。但是，本领域的技术人员将明显看到，采用这些具体细节来实施本发明不是必需的。相反，为了清晰起见，将酌情省略本领域的技术人员公知的具体细节。

图书中的基准标记

现在参照图2A和2B，在本发明的一个实施例中，一本书1000具有许多刚性、可翻动书页（所谓的“纸板书”），并且如图2A所示，在每个页面1001，1002上都包含基准标记1011，1012。一个书页应当理解为图书的单张可翻动薄片或片材，通常包含在每一侧上的页面。图2A和2B举例示出了页面1和2（分别标记为1001和1002）。可选地，图书的封面和/或封底内侧也可以起页面的作用，并包含基准标记。因此，在本例中，页面1事实上可能是封面内侧。同样，可选地，封面和/或封底外侧也可以包含基准标记。另外，可选地，在每个页面的外边缘上添加高对比度标记1020作边缘，以便于检测页面的范围。

与摄像机耦合的娱乐设备可以捕获图书的图像并使用已知技术来检测每个可见页面上的基准标记，因此定位图书的那些页面。给定这个信息，则如图2B所示，娱乐设备可以利用与可见页面上的基准标记1011，1012的放置、尺度和取向相对应的虚拟图形元素1111，1112来增强图书的所捕获视频图像，并输出增强的视频图像加以显示。这样，图书的显示形式变成页面可以显得逼真的“神奇”立体书。

娱乐设备

图3示意性地例示了称为

娱乐设备或

的适用娱乐设备的整体系统架构。PS3包含如下所述，包括摄像机的各种外围设备可与之连接的系统单元10。

系统单元10包含：Cell处理器100；

动态随机存取存储器（XDRAM）单元500；带有专用视频随机存取存储器（VRAM）单元250的现实合成器图形单元200；以及I/O桥接器700。

系统单元10还包含从盘440中读取的

光盘阅读器430、和可通过I/O桥接器700存取的可换插槽式硬盘驱动器（HDD）400。可选地，该系统单元还包含类似地可通过I/O桥接器700存取、读取小巧闪存卡、

存储卡等的存储卡阅读器450。

I/O桥接器700还与如下部件连接：四个通用串行总线（USB）端口710；千兆位以太网端口720；IEEE802.11b/g无线网络（Wi-Fi）端口730；以及能够支持多达7个蓝牙连接的无线链接端口740。

在操作时，I/O桥接器700管理包括来自一个或多个游戏控制器751的所有无线、USB和以太网数据。例如，当用户正在玩游戏时，I/O桥接器700经由蓝牙链接接收来自游戏控制器751的数据，并将它引向Cell处理器100，Cell处理器100相应地更新游戏的当前状态。

除了游戏控制器751之外，无线、USB和以太网端口还为像如下那样的其他外围设备提供连接：遥控器752；键盘753；鼠标754；像Sony Playstation

娱乐设备那样的便携式娱乐设备755；以及耳麦757。因此，这样的外围设备原则上可以与系统单元10无线连接；例如，便携式娱乐设备755可以经由Wi-Fi特别连接通信，而耳麦757可以通过蓝牙链接通信。

尤其，这些连接使像

摄像机756（或立体摄像机，未示出）那样的摄像机能够与PS3耦合，以便捕获图书的视频图像（或立体视频图像对）。

这些接口的提供意味着PlayStation3设备还潜在地与像如下那样的其他外围设备兼容：数字录像机（DVR）、机顶盒、数字摄像机、便携式媒体播放器、语音IP电话、移动电话、打印机和扫描仪。

另外，传统存储卡阅读器410可以经由USB端口710与系统单元连接，使得能够读取

或

设备使用的那种类型的存储卡420。

在本实施例中，游戏控制器751用于经由蓝牙链接与系统单元10无线通信。但是，游戏控制器751可以取而代之地与USB端口连接，从而还提供对游戏控制器751的电池充电的电力。除了一个或多个模拟操纵杆和传统控制按钮之外，游戏控制器还对与沿着每根轴的平移和旋转相对应的6个自由度的运动敏感。因此，除了传统按钮或操纵杆命令之外，或取代传统按钮或操纵杆命令，可以将游戏控制器的用户所作的手势和运动翻译成游戏的输入。可选地，像便携式娱乐设备755或移动游戏机（Playstation Move（RTM））758那样的其他支持无线功能的外围设备也可以用作控制器。在便携式娱乐设备的情况下，可以在设备的屏幕上提供附加游戏或控制信息（例如，控制指令或生命的数量）。在移动游戏机的情况下，控制信息可以通过内部运动传感器和通过视频监视移动游戏机设备上的灯光两者来提供。也可以使用像如下那样的其他可替代或补充控制设备：跳舞毯（未示出）、光枪（未示出）、方向盘和踏板（未示出），或像快速反应问答游戏的单个或几个大按钮那样的定制控制器（也未示出）。

遥控器752也用于经由蓝牙链接与系统单元10无线通信。遥控器752包含适用于操作蓝光盘BD-ROM阅读器430和导航盘内容的控制器。

除了传统预记录和可记录CD、和所谓的超级视频CD之外，蓝光盘BD-ROM阅读器430也用于读取与PlayStation和PlayStation2设备兼容的CD-ROM。除了传统预记录和可记录DVD之外，阅读器430也用于读取与PlayStation2和PlayStation3设备兼容的DVD-ROM。阅读器430进一步用于读取与PlayStation3设备兼容的BD-ROM，以及传统预记录和可记录蓝光盘。

系统单元10用于通过音频和视频连接器，将PlayStation3设备经由现实合成器图形单元200生成或解码的音频和视频供应给像具有显示器305和一个或多个扬声器310的监视器或电视机那样的显示和声音输出设备300。音频连接器210可以包括传统模拟和数字输出端，而视频连接器220可以多种多样地包括分量视频、S-视频、复合视频和一个或多个高清晰度多媒体接口（HDMI）输出端。因此，视频输出可以具有像PAL或NTSC那样的格式，或720p、1080i或1080p高清晰度的格式。

音频处理（生成，解码等）由Cell处理器100来进行。PlayStation3设备的操作系统支持

环绕声、

剧院环绕（DTS）、和从

盘中解码7.1环绕声。

在本实施例中，摄像机756包含单个电荷耦合器件（CCD）、LED指示器、和基于硬件的实时数据压缩和编码装置，以便可以按适合系统单元10解码的像基于图像内部MPEG（运动图像专家组）标准那样的格式发送压缩视频数据。摄像机的LED指示器被安排成响应来自系统单元10的适当控制数据发光，以例如表示不利光照条件。摄像机756的实施例可以经由USB、蓝牙或Wi-Fi通信端口多种多样地与系统单元10连接。摄像机的实施例可以包括一个或多个相关麦克风以及还能够发送音频数据。在摄像机的实施例中，CCD可以具有适合高清晰度视频捕获的分辨率。在摄像机的实施例中，它是立体的。在使用时，可以将摄像机捕获的图像，例如，并入游戏内或解释为游戏的控制输入。一般说来，为了经由系统单元10的通信端口之一与像摄像机或遥控器那样的外围设备进行成功数据通信，应该提供像设备驱动程序那样的一个适当软件。设备驱动技术是众所周知的，这里将不作详细描述，除非认为本领域的技术人员意识到在所述的当前实施例中可能需要设备驱动程序或类似软件接口。

在制造时供给的软件包含系统固件和PlayStation3设备的操作系统（OS）。在操作时，OS提供使用户能够从包括玩游戏、听音乐、观看照片、或观看视频的多种功能中选择的用户界面。该界面采取使功能的类别水平排列的所谓跨界媒体栏（cross media-bar，XMB）的形式。用户通过使用游戏控制器751、遥控器752或其他适当控制设备水平移过功能图标（代表功能），以便加亮所希望功能图标来导航，在那个点上与那种功能有关的选项表现为可以以类似方式导航、中心在那个功能图标上的选项图标的可垂直滚动列表。但是，如果将游戏、音频或电影盘440插入BD-ROM光盘阅读器430中，则PlayStation3设备可能自动（例如，通过启动游戏）选择适当选项，或可能提供相关选项（例如，在播放音频盘与压缩它的内容至HDD400之间作出选择）。

另外，OS还提供了在线能力，包括网络浏览器、与可以从中下载另外的游戏内容、演示游戏（demos）和其他媒体的在线商店的接口、和提供与当前设备的用户，例如，取决于可用的外围设备通过文本、音频或视频指定的其他PlayStation3设备用户的在线通信的好友管理能力。在线能力还为玩适当配置游戏期间的在线通信、内容下载和内容购买，以及为更新PlayStation3设备本身的固件和OS创造了条件。应当懂得，术语“在线”并不意味着实际存在导线，因为该术语也可以应用于各种类型的无线连接。

页面翻动

现在参照图4，应当懂得，虽然当图书被打开和平放时可以容易检测基准标记，但翻动图书的书页的过程可能会带来一些问题。

首先，应当懂得，随着用户翻转纸板书1000的硬页1102，则，例如，页面1和2变成被遮住，而页面3（未示出，但处在书页1102与页面2相对的那一面上）和页面4（1004）显露出来。当翻动动作完成和页面3和4完全显露出来时，系统可以以前面参照图2B对页面1和2所述相似的方式对页面3和4进行图像增强。

但是，带来的问题是，在翻动这些页面的过程中，会出现页面2（例如）上的基准标记1012在几乎侧立时在摄像机看来变得如此失真，以致于娱乐设备再也不可识别它的点。在这一点上，优选的是使用可替代技术来确定图书的正在转动页的位置，以便依赖于它的任何动画（例如，显示在页面1和2之间合上或在页面3和4之间展开的对象的弹出动画）能够适当地继续下去。

这样的技术在此通过引用并入的同时待审欧洲申请10175548.6中描述。下面参照图5描述该技术的简要总结。

在第一步骤s10中，通过可操作地与PS3的图像输入端（像USB端口那样）耦合的摄像机或类似图像捕获设备捕获包含图书的场景，得出包含图书的图像。如前所述，该图书本身包含基本网格的书页。

在第二步骤s20中，PS3，例如，将在适当软件指令下操作的Cell处理器用作标记检测器地尝试检测图像中的基准标记（即，在图书中可见的那些）。通常，如果图书在其标记中包含某种形式的空间分布冗余，则无需所有基准标记来识别它。

在第三步骤s30中，将图书的页面上的基准标记的图像或部分图像与该标记的参考形式相比较，以确定取向和尺度，给定与页面的已知物理关系（即，它的印刷位置），这也提供了图书的取向和尺度，尤其图书的书页的旋转原点作用的图书的书脊的放置的估计。并且，Cell处理器可以进行图书的书脊的放置的比较和估计，并且可以将标记的参考形式存储在RAM中，硬盘上，光盘上或远程存储体上，或任何其他适当存储介质或它们的组合体上，也可以将图书的尺度和其中的标记的预期位置存储在其中。

根据与图书的书脊重合的旋转原点，在第四步骤s40中，假设图书的翻动页的多个可能位置。尤其，给定书页的尺寸，则假设书页的自由边的位置。因此，作为非限制性例子，可以以4°为增量地生成在10°到170°的范围内页面位置的假设。并且，在这里，Cell处理器可以用作假设部件。为了提供与这些假设比较的基础，在第五步骤s50中，处理捕获的图像以生成识别边缘的图像。另外，可以生成指示这些边缘的方向的数据。图像处理可以由Cell处理器、现实合成器图形单元或两者的组合体来进行。

在第六步骤s60中，使用几种可能评分准则之一，譬如，生成与所识别边缘与所假设边缘如何接近成正比的分数的基于距离准则，关于包含所识别边缘和可选地，这些边缘的方向的图像来评估图书的翻动页的每个假设边缘。并且，这种评估或比较可以使用在适当软件指令下操作的Cell处理器来进行。但是，通常，不必将每个所假设边缘与经处理图像的所有像素相比较。

在第七步骤s70中，认为翻动页的预计自由边缘生成最佳分数的假设是与实际翻动页的位置最匹配的，由Cell处理器进行这种假设的选择。

最后，在第八步骤s80中，将像图片或多边形对象（例如，3D虚拟对象的2D再现）那样的虚拟图形元素叠加或要不然并入捕获的图像中，以便在与获胜假设一致的位置和取向上增强它。这种图像增强可以由现实合成器图形单元组合视频和图形元素来实现，通常按照来自Cell处理器的指令。虚拟图形元素本身可以存储在RAM中，硬盘上，或光盘上，可以远程存储，或可以是像树生长过程那样的过程式图形生成过程的产物。

在图5中使用虚箭头示出了其他可能步骤。这些步骤包括对立体图像对的第二图像重复步骤s10，s20和s30的步骤s11，s22和s33，以及对第二图像中的偏移位置（位移）重复步骤s80的步骤s88。类似地，使用虚箭头步骤s12，例如，由Cell处理器将直接图像比较用于立体图像对提供了步骤s11，s22和s33的位移的可替代确定。在任一种情况下，都能够使立体显示得到3D增强。

应当懂得，上述步骤不一定都需要按照上述次序来实现。例如，第五步骤s50可以在第一步骤s10之后马上执行。

还应当懂得，初始假设集可以以非线性方式分布，较高假设密度在翻动页的预期位置附近（例如，如从最后N个视频帧中的翻动速率中预计）。类似地，在所选范围内，可以使多个最初假设（像从前帧中得出的前获胜假设那样）成为较高假设密度的中心。

还应当进一步懂得，在图5的第四到第六步骤中，在本发明的范围内可以设想出假设、比较和评分过程的不同特定实现。例如，假设可以通过考虑其他可见信息—因此，如果对于图书的当前取向，给定基准标记是可见的，则排除翻动页处在导致摄像机看不见那个基准标记的角度上的约束模型来界定。类似地，比较可以使用不同单位—因此，例如，可以使用所谓的Chamfer匹配（斜面匹配）计算所假设边缘与所观察边缘之间的距离。最后，评分可以基于整个假设或基于每个边缘来实现，可以包括或可以不包括经过边缘处理的图像中的直线或线段的方向匹配成分。

分辨基准标记

虽然翻动图书的一页纯粹举例说明了在某些角度上，页面上的基准标记变得难以分辨的问题，但应当懂得，总的说来这是图书的更一般问题。

包含与摄像机耦合的娱乐设备的系统具有有限图像分辨率，这意味着在该环境下图书将存在所捕获图像内的基准标记的分辨率太小以致于无法可靠分辨的位置。

更一般地说，如果被当作基准标记或凭借自身力量跟踪的对象来对待，则图书本身也同样如此。

在本发明的一个实施例中，基准标记需要具有大于或等于所捕获图像中的21个像素的尺度，以便在可接受的可靠程度上得到分辨。应当懂得，这个数值反映了基准标记以及Playstation Eye光学器件的所选复杂性，因此应该视为完全非限制性例子。更简单的标记，例如，可以利用较少像素来分辨，而更复杂的标记可能需要更多像素。

打开图书的外观

图6提供了通常在图书的实施例中可见到的标记的更详细例示。

如图6所例示，在本发明的一个实施例中，如前所述，每个页面（1001，1002等）包含基本上处在页面中间的至少一个各自基准标记（1011，1012）。

中间可以被认为是相对于页面的外边缘预定距离，例如，对于典型A4纸大小的图书，该距离在4厘米到10厘米的范围内的页面区域。这个间隔的目的是当在正常使用下拿着图书时减小手指或拇指挡住一部分或整个基准标记的范围；因此，更一般地说，该预定距离可以是图书的目标读者当中用户的平均拇指长度。因此，如果希望使这个中间区域内的基准标记的尺寸达到最大，则当假设该标记是纵横比与页面类似的方形或四边形时，优选的是确定方向与页面的边缘基本一致。

因此，可以将基准标记精确地放置在相对于页面的中心上，或在本发明的一个实施例中，朝着图书的书脊1060（当图书完全打开和平放时处在相对页面之间）横向偏移。在这种情况下，该偏移通常可以是1到5厘米的数量级，但取决于图书的尺寸，可以设想出其他偏移。

这些页面上的每个基准标记都包含首先能够如上所述，对于增强现实应用指示图书的尺度和取向，其次能够指示各自页面（即，是图书的哪个页面）的不同各自非对称图案。应当懂得，可对图书实施的增强现实应用保存每个基准标记的参考或模板副本，并且将每个标记与图书的特定页面相关联。因此，对标记的识别也识别了上面印刷或附着它的页面。

另外，在每个页面上，将非字母数字图案（1040A，1040B）放置得离图书的页面的外边缘比离基准标记近。通常，将这个非字母数字图案放置在基准标记与在正常使用下，离图书的用户最远的页面边缘之间。因此，对于将摄像机放置成接近要显示增强图像TV（电视机），并且用户面朝TV的图书的最常见使用，这个边缘也与摄像机最接近。如图6所例示，可以类似地将非字母数字图案放置在基准标记的角与由离用户较远的页面边缘和横向外页面边缘（取决于页面，左或右外页面边缘）形成的角之间。

注意，非字母数字图案因此可以形成“L”形（即，沿着图书围绕角的外边缘）。在这种情况下，非字母数字图案因此被放置成离两个边缘比离基准标记近。

这种非字母数字图案原则上能够至少指示包含非字母数字图案所在的各自页面的相对页面对（例如，如图6所例示，页面1和2）。因此，在例示的例子中，非字母数字图案对于页面对1和2来说是唯一的。可选地，非字母数字图案可以对于单个页面来说是唯一的，但这可能潜在地需要更复杂的图案，因为图书中所需的唯一图案的数量加倍了。

由于其位置较接近图书的边缘，所以给定页面的非字母数字图案在翻动书页或其上面的几页的过程中较早显露出来。这使得可以在使用放置在中心的基准标记识别页面之前，随着它显露出来对页面作适当增强。

注意，与基准标记不同，非字母数字图案无需首先确定图书的位置、尺度或取向。因此，非字母数字图案就尺度或取向而言原则上可以是模糊的，因为图案的这些方面可以参考图书中的基准标记来解决。

相反，通过参考可见基准标记使非字母数字图案依赖于其尺度和取向的模糊性消除。例如，回头参照图4，如果非字母数字图案在页面6的角上显露出来（图4中的标号1006），则它的尺度和取向可以参考在例示的例子中页面1上的基准标记1011，以及基于页面边缘1020的任何可选图书跟踪算法来确定。

因此，请注意，如图6所示，可以将非字母数字图案安排在相对页面上作为书脊的镜像，以便不影响其功能地表现为更合用户意愿。

应当懂得，可以相对于页面的两个外边缘（即，顶部和底部边缘，因为左边缘或右边缘没有相应相对外边缘，而是终止在书脊上）之间的中心线形成非字母数字图案的镜像。

因此，两个展开页面可以具有每一个相对于另一个旋转了90°、和具有相对于图书的书脊的中点的旋转对称性的相同非字母数字图案的四个副本1040A-D。

这意味着，如果图书的用户上下颠倒地拿着它，则摄像机仍然可看见非字母数字图案的副本，以便较早指示新显露的页面。

除了图书的书页上的标记之外，在本发明的一个实施例中，图书具有尺度大于图书的书页，因此当如图6所示从上往下看时具有延伸到每个页面的外边缘以外的末端的封皮。

该封皮至少沿着第一这样的末端（1030A）包含高对比度图案。应当懂得，该图案因此被印刷在内封皮上封皮的外边缘上或附近。

与非字母数字图案一样，可以相对于书脊形成该图案的镜像（因此出现在内封面和封底上），并且还相对于页面的顶部和底部之间的中心线形成该图案的镜像，以便形成高对比度图案的四个副本（1030A-D）。

该图案可以编码有关该图书的信息（例如，书名号码）或可以简单地就是随机的。典型高对比度图案可以以6到20个位的数量级编码。该图案的亮元或暗元可以遵从规则间隔方案或具有任意间隔。

另外，也可以沿着图书的横向末端放置高对比度图案（1035L，R）。这个高对比度图案可以与上述的高对比度图案相同，可以以不同方式编码相同信息，编码不同或附加信息，或者是随机的。

在上述任何情况下，都应当懂得，封皮具有预定厚度。因此，在本发明的一个实施例中，高对比度图案延伸超过封皮的边缘，并至少跨过封皮的预定比例厚度，以便提高其在相对于摄像机的极锐角上的可见度。

对图书的定位的实际限制

现在参照图7A，如上文所述，希望分辨基准标记需要对摄像机可与基准标记保持的距离作实际限制。因此，对于给定摄像机，这个最大距离δr将是摄像机分辨率和光学器件，以及基准标记的表观尺寸δf（除了如前所讨论，像基准标记复杂性那样的其他可能因素之外）的函数。

更一般地说，δr代表沿着摄像机的光轴尺度至少为δf的基准标记可分辨的距离。因此在这个距离上的并且与摄像机的图像平面平行的基准标记是可分辨的。

但是，现在还参照图7B，对于处在与摄像机成锐角φ而不是与其平行的位置上的基准标记，成角度标记的表现尺寸是δf sinφ。这将小于那个δf，因此，可分辨距离δr成比例地，即，也根据因子sinφ地缩短。

值得注意的是，这实际上与如下说法相同，即该标记应该不远于具有直径δr的圆形1500（在三维中，圆球）的边界，其边缘或表面与摄像机的图像面一致，以及以基准标记与图像面成角度的相同方式与图像面成角度。因此该直线定义了成角度圆形在摄像机与图书之间的弦。

这通过具有直径δr的圆形1500例示在图7A和7B中。在图7A中，该圆形具有与图像面相切的或平行的取向（即，在相对于摄像机光轴的90°上，与图书和基准标记相同），而在图7B中，转动了φ度，再次与图书和基准标记相同。因此，在图7A中，可分辨距离或弦长是δr sin90°=δr，而在图7B中，可分辨距离或弦长是δr sinφ。

因此，更一般地说，应理解，对于当前图书角度φ，如果将图书放置在空间1600内的任何位置上，则基准标记是可分辨的，空间1600由摄像机的截头体或视场（在图7A和7B中显示成虚线756T，756B）和具有等于标记相对于摄像机的最大可分辨距离的直径和成与图书平行和与摄像机的成像面相交的角度的假想圆或球1500的圆周界定。

对图7B的简要考虑将表明，对于摄像机的当前配置，没有可以将图书放置在地板上，以便使基准标记可见的位置。需要改变摄像机的高度或角度，以便移动它的视场。

因此，在图7C中，图书正确处在由倾斜摄像机的视场（756T，756B）和假想圆1500界定的空间1600`内。这里，摄像机的视场本身是摄像机的高度p和角度ω的函数。在这种情况下，图书在地板上是水平（平放）的，因此，具有相对于摄像机的图像面的角度ω。假想圆1500以相同角度（即，在绝对参考坐标系中也水平地）和相对于摄像机的图像面以ω的角度与摄像机的图像面相交。

因此，参考摄像机的图像面和当与摄像机的图像面平行时基准标记可分辨的最大距离给定图书中的基准标记的当前（或最后已知）角度，则系统可以根据视场（又是摄像机位置和角度的函数）和假想圆（又是基准标记的角度和最大距离的函数）的界定计算基准标记可分辨的空间的边界。

因此，在本发明的一个实施例中，娱乐设备估计图书中的基准标记相对于摄像机的相对位置和取向，并确定那个位置是否接近上述的可分辨空间（1600，1600`）的边界。在本发明的一个实施例中，娱乐设备接着检测沿着任何方向的整体运动（即，图书的位移）是否使图书出了有界空间，和/或沿着任何方向的图书的方位变化是否改变了空间（即，圆形1500）的边界，使得图书现在在边界之外。这些检验可以对照位移/角变化的阈值数量来进行。这些阈值因此定义指示图书的位置或取向的微小变化（即，小于阈值）可以引起娱乐设备无法识别基准标记的物理位置的警告或与空间的外围相邻的缓冲区域。

娱乐设备接着可以，例如，通过进一步增强图像对警告，或以适当方式移动图书使它出了有界空间的缓冲区域内的位置之外的指令作出回应。

上述过程可以参考图8更正式地表达如下。

在本发明的一个实施例中，娱乐设备对如下一种或多种失败情况是否迫在眉睫进行测试：

·由于其相对于摄像机的角度使标记变得太小；

·由于其相对于摄像机的距离使标记变得太小；以及

·标记被观察截头体切除了（即，退出摄像机的视场）。

参照图8，具有基准标记的图书处在相对于摄像机的距离ν上，该基准标记具有与摄像机与基准标记之间的矢量形成角度θ的法线n。应该懂得，角度θ因此依赖于基准标记和摄像机的相对位置，因此本身是摄像机的位置和角度以及基准标记的位置和角度的结果。基准标记本身具有长度d的直径（或对于方形基准标记，边长）。

为了使系统可靠运行，基准标记应该不小于所捕获图像中的某种最小尺寸。这个尺寸可以称为M_s个像素。非限制性示范值是21个像素。

然后希望生成如下函数：

·maxDist(M_s,d,θ)；

·maxAngle(M_s,d,v)。

换句话说，首先，如果基准标记在某个角度θ上，则在变得太小之前可以相对于摄像机移动的最远距离是多少，以及类似地，其次，如果基准标记在相对于摄像机的某个距离ν上，则在变得太小之前可以转到的最大角度是多少。

对于特定摄像机，可以计算观察平面的尺寸。因此，对于Sony PlayStaion

的例子，垂直视场可以是vfov=49.4°。

然后可以计算作为在远离摄像机1米的位置上以米为单位的观察平面的高度的verticalFieldOfViewComponent c：

$c=2\tan \left(\frac{\mathrm{vfov}}{2}\right)$

然后可以计算sizeOfViewingPlane=νc。

然后给定传感器高度h=480个像素（对于Playstation Eye的例子），然后按如下计算跨过观察平面的每米像素数：

$\mathrm{pixelsPerMetre}=\frac{h}{\mathrm{sizeOfViewingPlane}}$

基准标记投影在观察平面上的尺寸是：

projectedMarkerSize=dcos(θ)

以及因此，摄像机传感器上的尺寸是：

sizeOnSensor=projectedMarkerSize.pixelsPerMetre

代入给出：

$\mathrm{sizeOnSensor}=\frac{\mathrm{hd}\cos \left(\mathrm{\θ}\right)}{\mathrm{vc}}$

将sizeOnSensor重命名为s并重新安排：

$s=\frac{\mathrm{hd}\cos \left(\mathrm{\θ}\right)}{\mathrm{vc}}$

$v=\frac{\mathrm{hd}\cos \left(\mathrm{\θ}\right)}{\mathrm{sc}}$

$\mathrm{\θ}={\cos }^{-1}\left(\frac{\mathrm{svc}}{\mathrm{hd}}\right)$

然后可以用M_s代替上面两个方程中的s计算maxDist(M_s,d,θ)和maxAngle(M_s,d,v)。也就是说：

$\max \mathrm{Dist}=\frac{\mathrm{hd}\cos \left(\mathrm{\θ}\right)}{M_{s}c}$

$\max \mathrm{Angle}={\cos }^{-1}\left(\frac{M_s\mathrm{vc}}{\mathrm{hd}}\right)$

为了使用这些值向用户提供图书的当前配置正接近maxDist或maxAngle，或两者的警告，可以作出进一步考虑。

随着图书进一步远离摄像机，允许角度的集合缩小。因此，到达了存在允许距离但只有一个允许角度的点（如图7A所例示，有效地）。因此优选的是在这种状况出现之前设置距离警告。

类似地可能存在可接受的，但不允许图书进一步向后移动的角度。在这种情况下，再次优选的是在这种状况出现之前设置角度警告。

因此，这些警告可能涉及距离或角度本身的有效性，和/或当前距离或角度如何约束可达到角度或距离的补充范围。

因此，第一警告阈值可以是距离不能如此之远，使得θ小于angular_leeway_threshold T_AL。T_AL的非限制性示范值是20°，但可以等于10°，5°或设计者认为合适的任何角度（例如，在与图书相联系的游戏指示在地板上使用图书的情况下，对角余地的需要可以比游戏指示用户用他们的手拿着图书时小得多）。

第二警告阈值可以是角度不能如此之小，使得标记不能比operating_distance_threshold T_OD更远地离开摄像机。T_OD的非限制性示范值是1米，但可以等于0.5或0.1米，或设计者认为合适的任何另外距离。

因此，对于这些情况的每一种，可以容易地为这些阈值上的数值定义数值constMaxAngle和constMaxDist。

如前所述，还有必要检验标记是否也在截头体边界（前面在图7A-C中被显示成虚线756T，B）上。

虽然具有内部冗余度的基准标记（允许从局部标记中识别）被认为在本发明的范围之内，但优选的是假设基准标记在所捕获图像中应该完全可见。

因此，优选的是假设，如果基准标记中心在截头体的剪切面之一的d/2（标记的半径）之内，则检测将会失败。一种更保守的假设是，如果基准标记在剪切框的0.71d之内，则要考虑相对于截头体的直径定位。并且，使用哪种阈值可以由设计者来选择。

因此，可以就观察平面内的x，y位置将观察截头体内的运动的极限定义如下，其中（0，0）是平面的中心：

·maxXDisp(d,v)

·maxYDisp(d,v)

这些函数定义了基准标记在碰到剪切面之前在x和y方向离开观察平面的中心的最大距离。

与距离和角度一样，然后希望为允许某种后续运动的图像帧内的位置设置警告阈值。因此，第三警告阈值可以是基准标记只能沿着x或y方向之一进一步移动viewing_position_leeway T_VP。T_VP的非限制性示范值是30厘米，但如果适用的话，也可以是，例如，15厘米或5厘米。

因此，对于这种情况，可以容易地为x，y阈值上的数值定义数值constMinDist。

然后可以将上面的考虑汇总在一起来定义限定图书在其当前取向下的操作优选的空间的失败边界。

因此，在本发明的一个实施例中，基准标记应该大于或等于所捕获图像中的M_s个像素。标记的状态可以表征为：

·在离摄像机ν米的观察平面中；

·在相对于观察平面的角度θ上；

·直径为d米；以及

·中心在观察平面中以米为单位的坐标（x，y）上。

然后，如果如下条件成立，则标记在绝对失败边界之内：

θ<maxAngle(M_s,d,v)

v<maxDist(M_s,d,θ)

x>maxXDisp(d,v)

y>maxYDisp(d,v)

此外，如果如下条件也成立，则标记在实际失败边界内（即，在绝对失败边界内一些进一步运动变得难以保持的实际失败边界）：

θ<constMaxAngle

v<constMaxDist

v>constMinDist

标记与这些边界（用度和/或米来表示）之一的距离可以通过计算与上述每个边界的距离并取最小值来近似。因此，例如：

angleDist=min(constMaxAngle–θ,maxAngle(M_s,d,v)–θ)

这样，可以定义图书的当前位置和与摄像机的相对角度的警告边界。

现在参照图9，响应图书到达这个警告边界的位置和/或角度，可以修改或进一步增强所捕获图像的图形增强，以便通知用户进一步移动到边界中将导致对基准标记的识别失败。因此，例如，可以使用箭头，线性箭头1210指向位置移动的校正方向，和/或弯曲箭头1200暗示角度运动的校正旋转。

还可以设想出其他图形指示符，譬如，出现在增强图像的边缘上指示不鼓励进一步移动的方向的彩色色调。

类似地，可以使增强图像的亮度随图书越来越接近地到达失败边界而降低，以便图像在警告边界与失败边界之间的区域上渐变为黑色（或仅仅深色，使用户为了视觉反馈的目的而仍然能看见图书）。用户然后可以重新放置图书以便使增强图像变亮。从而回头移出这个区域。

类似地，游戏中的增强角色可以，例如，通过上下跳跃和指向校正方向指示图书什么时候移过警告边界。

最后，当然，可以播放向用户暗示校正行为的音频消息。

因此，更一般地说，该系统可以向用户指示标记到达警告边界的警告，以及可以指示将标记取回到那个边界内（即，操作空间1600内）的适当校正行为。

如上所述，不同角度和距离可以由设计者选来定义与失败边界相邻的警告边界的宽度。在一个实施例中，角度和距离被选择成横跨边界所需的努力在所有情况下都大致相等（即，将图书从失败边界移动到警告边界的边缘所需的体力活动量在那个边界上的任何地方都大致相等）。

变种

上述方案基于相对于摄像机的成像面定义的边界，以及校正运动是相对于摄像机的。这可能是违反直觉的，尤其对于年轻玩家。优选的是相对于真实世界地为显示定义校正运动。

因此，在本发明的一个实施例中，如前所述，在2D中边界的形状（暂时忽略截头体）是圆形。当使用上述的术语时，圆形的直径是：

$C_d=\frac{\mathrm{hd}}{M_{s}c}$

如上所述，这是可以从摄像机中分辨标记的最大距离。

圆形的中心C_c可以取标记的单位法线（相对于图案面朝上）和进行如下计算获得：

$C_c=\mathrm{CamPos}-\left(\frac{C_d}{2}\right)N_m$

这定义了中心C_c和直径C_d，对于某个恒定世界角，直径C_d又为标记定义了作为安全地带的圆形。

为了相对于这个边界设置，例如，10厘米警告地带，简单地将这个圆形的半径缩小10厘米。

对于本文所述的失败边界和警告边界的计算，在本发明的一个实施例中，Cell处理器用于失败边界计算处理器和警告边界计算处理器。

总结性实施例

在本发明的总结性实施例中，像PS3（10）那样的娱乐设备包含用于从摄像机（756）接收所捕获图像的输入端（例如，USB端口710）。标记检测器（例如，Cell处理器100）用于检测所捕获图像内的基准标记，和用于估计基准标记的距离和角度。失败边界计算处理器（例如，Cell处理器100）用于从假设基准标记的识别失败了的基准标记的当前估计距离和角度中计算另外距离和另外角度的至少一个。这种假设可以基于在所捕获图像中以凭经验确定（或计算出）的具有认为不可接受的识别失败率的分辨率分辨基准标记的要点。

在这个总结性实施例的一个实例中，失败边界包含摄像机的截头体（756B，T）和具有等于可以识别基准标记的最大距离的直径的圆形或圆球1500的圆周，该圆周与摄像机的图像面相交和具有与基准标记相同的相对于摄像机的图像面的角度。

因此，标记的可操作区（1600，1600`）如，例如，图7B和7C所例示，是在摄像机的截头体内和在摄像机与这个圆形的圆周之间的区域

在该总结性实施例的一个实例中，可操作区通过如下不等式等效地定义：

θ<maxAngle(M_s,d,v)；

v<maxDist(M_s,d,θ)；

x>maxXDisp(d,v)；以及

y>maxYDisp(d,v)；

其中θ是基准标记法线与摄像机图像面的角度，M_s是以像素为单位的基准标记的最小可识别尺寸，d是基准标记的宽度或直径，ν是基准标记与摄像机之间的距离，以及x和y是中心在摄像机观察平面中的坐标，以及其中maxXDisp和maxYDisp定义摄像机截头体的最大x和y值，maxAngle是对于当前估计距离来说允许的基准标记相对于摄像机的最大角度，以及maxDist是对于当前估计角度来说允许的基准标记相对于摄像机的最大距离。

在该总结性实施例的一个实例中，可操作区相对于基于失败边界和进一步通过如下不等式定义的辅助边界来定义：

θ<constMaxAngle

v<constMaxDist

v>constMinDist

其中对于标记的当前位置和角度，constMaxAngle定义基准标记在失败边界内的运动的预定角自由，constMaxDist定义基准标记从摄像机到失败边界的预定可达到附加距离，以及constMinDist定义基准标记到摄像机截头体的边缘的预定可达到附加距离。

对于可操作区的任何形式的情况，在该总结性实施例的一个实例中，警告边界计算处理器用于从各自边界中计算标记的当前估计距离和角度是否处在阈距离和阈角度的至少一个之内。

这些阈值可以，例如，被安排成代表将标记从失败边界或辅助边界恢复到警告边界内的可操作区的相似努力程度。还应当懂得，对于失败边界，该阈值可以适用于向从辅助边界的使用中得出的那些约束提供对警告边界的一些或所有相似附加约束。

在该总结性实施例的一个实例中，图像增强处理器（例如，Cell处理器100和/或现实合成器200）用于响应基准标记是否被计算成处在警告边界内来增强所捕获图像。例如，该图像增强处理器可以指示将使基准标记回头移出警告边界的基准标记的恢复运动。

现在参照图10，对象定位的相应方法包含：

-在第一步骤s10中，从摄像机接收所捕获图像；

-在第二步骤s20中，检测所捕获图像内的基准标记；

-在第三步骤s30中，估计基准标记的距离和角度；以及

-在第四步骤s40中，从假设基准标记的识别失败了的基准标记的当前估计距离和角度中计算另外距离和另外角度的至少一个。

对于本领域的技术人员来说，显而易见，与如本文所述和所要求保护的装置的各种实施例的操作相对应的上述方法的变体被认为在本发明的范围之内，包括但不限于：

-失败边界，包含摄像机的截头体和具有等于可以识别基准标记的最大距离的直径的圆形，该圆形与摄像机的图像面相交和具有与基准标记相同的相对于摄像机的图像面的角度；

-失败边界内的一个区域，通过如本文所述的不等式θ<maxAngle(M_s,d,v)；v<maxDist(M_s,d,θ)；x>maxXDisp(d,v)；以及y>maxYDisp(d,v)来定义；以及

-以及进一步通过如本文所述的不等式θ<constMaxAngle；v<constMaxDist；以及v>constMinDist来定义的辅助边界；

-从失败边界或辅助边界中计算作为阈距离和阈角度的至少一个的警告边界的范围；以及

-计算基准标记的当前估计距离和角度的任一个是否处在那个警告边界之外；以及

-响应基准标记是否被计算成处在从失败边界中计算的作为阈距离和阈角度的至少一个的警告边界内来增强所捕获图像；以及

-指示将使基准标记回头移出警告区域的标记的恢复运动。

最后，如上文所述，Cell处理器或PS3的其他处理器当在适当软件指令下操作时可以在上述装置和方法内担当角色。

因此，应当懂得，本文公开的方法可以在如果可应用则通过软件指令或通过包括或替代专用硬件适当调整的传统硬件上执行。

因此，对传统等效设备的现有部分的所需调整可以以非临时性计算机程序产品或类似制品的形式实现，该非临时性计算机程序产品或类似制品包含存储在像软盘、光盘、硬盘、PROM、RAM、闪速存储器或这些或其他存储介质的任何组合那样的数据载体上的处理器可实现指令，或者在如ASIC（专用集成电路）、FPGA（现场可编程门阵列）或在调整传统等效设备时适合使用的其他可配置电路的硬件中实现。分别地，如果可应用，则计算机程序可以采取在像以太网、无线网络、互联网、或这些或其他网络的任何组合上经由数据信号传输的形式。

Claims (15)

1.一种娱乐设备，其包含：

用于从摄像机接收所捕获图像的输入端；

用于检测所捕获图像内的基准标记的、并用于估计基准标记的距离和角度的标记检测器；以及

用于从假设基准标记的识别失败了的基准标记的当前估计距离和角度中计算另外距离和另外角度的至少一个的失败边界计算处理器。

2.按照权利要求1所述的娱乐设备，其中失败边界包含摄像机的截头体和具有等于可以识别基准标记的最大距离的直径的圆形，该圆形与摄像机的图像面相交并具有与基准标记相同的相对于摄像机的图像面的角度。

3.按照权利要求1所述的娱乐设备，其中失败边界内的一个区域通过如下不等式来定义：

θ<maxAngle(M_s,d,v)；

v<maxDist(M_s,d,θ)；

x>maxXDisp(d,v)；以及

y>maxYDisp(d,v)；

其中θ是基准标记法线与摄像机图像面的角度，M_s是以像素为单位的基准标记的最小可识别尺寸，d是基准标记的宽度或直径，ν是基准标记与摄像机之间的距离，以及x和y是中心在摄像机观察平面中的坐标，以及其中maxXDisp和maxYDisp定义摄像机截头体的最大x和y值，maxAngle是对于当前估计距离来说允许的基准标记相对于摄像机的最大角度，以及maxDist是对于当前估计角度来说允许的基准标记相对于摄像机的最大距离。

4.按照权利要求1所述的娱乐设备，包含：

用于从失败边界中计算基准标记的当前估计距离和角度是否处在阈距离和阈角度的至少一个之内的警告边界计算处理器。

5.按照权利要求3所述的娱乐设备，其中通过如下不等式进一步定义辅助边界：

θ<constMaxAngle

v<constMaxDist

v>constMinDist。

其中对于标记的当前位置和角度，constMaxAngle定义基准标记在失败边界内的运动的预定角自由度，constMaxDist定义基准标记从摄像机到失败边界的预定可达到附加距离，以及constMinDist定义基准标记到摄像机截头体的边缘的预定可达到附加距离。

6.按照权利要求1所述的娱乐设备，包含：

用于从辅助边界中计算基准标记的当前估计距离和角度是否处在阈距离和阈角度的至少一个之内的警告边界计算处理器。

7.按照权利要求4所述的娱乐设备，包含：

用于响应基准标记是否被计算成处在警告边界内来增强所捕获图像的图像增强处理器。

8.按照权利要求7所述的娱乐设备，其中

该图像增强处理器指示将使基准标记回头移出警告边界的基准标记的恢复运动。

9.一种对象定位的方法，其包含如下步骤：

从摄像机接收所捕获图像；

检测所捕获图像内的基准标记；

估计基准标记的距离和角度；以及

从假设基准标记的识别失败了的基准标记的当前估计距离和角度中计算另外距离和另外角度的至少一个。

10.按照权利要求9所述的方法，其中失败边界包含摄像机的截头体和具有等于可以识别基准标记的最大距离的直径的圆形，该圆形与摄像机的图像面相交和具有与基准标记相同的相对于摄像机的图像面的角度。

11.按照权利要求9所述的方法，其中失败边界内的一个区域通过如下不等式来定义：

θ<maxAngle(M_s,d,v)；

v<maxDist(M_s,d,θ)；

x>maxXDisp(d,v)；以及

y>maxYDisp(d,v)；

其中θ是基准标记法线与摄像机图像面的角度，M_s是以像素为单位的基准标记的最小可识别尺寸，d是基准标记的宽度或直径，ν是基准标记与摄像机之间的距离，以及x和y是中心在摄像机观察平面中的坐标，以及其中maxXDisp和maxYDisp定义摄像机截头体的最大x和y值，maxAngle是对于当前估计距离来说允许的基准标记相对于摄像机的最大角度，以及maxDist是对于当前估计角度来说允许的基准标记相对于摄像机的最大距离。

12.按照权利要求9到11的任何一项所述的方法，包含从失败边界中计算基准标记的当前估计距离和角度是否有任一个处在阈距离和阈角度的至少一个之内的步骤。

13.按照权利要求9所述的方法，包含响应基准标记是否被计算成处在从失败边界中计算的作为阈距离和阈角度的至少一个的警告边界内来增强所捕获图像的步骤。

14.按照权利要求13所述的方法，包含指示将使基准标记回头移出警告边界的标记的恢复运动的步骤。

15.一种包含当被处理器执行时实现包含如下步骤的方法的计算机程序指令的非临时性计算机程序产品：

从摄像机接收所捕获图像；

检测所捕获图像内的基准标记；

估计基准标记的距离和角度；以及

从假设基准标记的识别失败了的基准标记的当前估计距离和角度中计算另外距离和另外角度的至少一个。

Images