CN102770864B - 基于图像的建筑物图案检测以及建模 - Google Patents

Abstract

本发明提供了辅助建筑物建模的系统及方法。一方面，自动检测和分析重复图案以产生诸如建筑物正墙的建模结构图像。另一方面，分析结构对称性以辅助建筑物建模和增强图像生成。

Description

基于图像的建筑物图案检测以及建模

相关申请的交叉引用

本申请要求于2010年1月29日提交的美国临时专利申请No.61/282,370、题目为DETECTION METHOD OF REPETITIVEPATTERNS IN IMAGES的优先权，其内容以引文方式整体并入本文。本申请还要求于2010年5月21日提交的美国临时专利申请No.61/344,093、题目为METHOD OF FACADE SYMMETRYDETECTION AND MODELING IN IMAGES的优先权，其内容也以引文方式整体并入本文。

技术领域

本发明主题公开总的来讲涉及计算机建模方法，具体地讲涉及检测重复图样和结构对称性并且对其建模以更准确地可视化建筑物结构的应用。

背景技术

对于具有照片真实感的建筑物以及城市建模的需求正在与日俱增。其中以三维（“3D”）地图服务、游戏以及电影的需求最为强烈。本质上来讲，城市或者建筑物的建模都可以化简为对于建筑物正墙的建模。现在最先进的建模方法有很多，其中有基于文法规则和街道正墙的3D扫描的纯合成方法，也有从一张或者多张图像提取信息并生成模型的基于图像建模法。后者需要解决的主要问题就是从一张正投影图像中检测出平移的重复图样。现存的检测重复图样的方法有很多，包括多种基于霍夫变换的方法，这些方法区别之处在于如何对数据空间采样并且在哪选择的方式。例如，最新架构使用变换离散群发现了3D几何中的结构规律性。接下来，将简单扼要的讨论一下现有的建筑物建模技术，其中包括对称检测，建筑物正墙的建模以及逆向程序化建模。

三维点对称检测，或者称重复检测，大多会在转换空间中引入一种投票机制以检测3D形状的部分和近似对称性。这类方法包括可以使用变换离散群来发现三维几何中的结构规则化的对称化应用。还有些方法会引入从3D扫描器手动创建模型并且还依赖于手动指定对称图样。许多在图像中检测对称的方法会提供一种计算模型，其检测用图像的自相关（“AC”）函数来检测峰值，从而确定纹理图样的周期。一个方法将2D旋转对称性问题映射到Frieze检测问题，并且利用离散傅立叶变换来进行Frieze检测。随后，提出了更普遍的用于检测斜对称的方法。

另外一些建模方法检测并且合并在一个图结构中选中的元素，这种计算一般依赖于亮度的变化。其中一个方法利用高斯滤波器识别出显著的峰值，以迭代地平滑AC函数，其中利用霍夫变换来决定平移向量。另外一种技术利用边缘检测来决定重复元素并且用扩展方式连续获得图案，其中平移网络的合并方案基于最大似然估计。另外一种技术引入了利用对应位置的关键点的配对局部特征匹配算法。还有一种算法检测真实图像中的旋转对称中心和对称图案，但是不能处理所有的对称群属性。另外一个提出的算法使用统计模型比较构架来测试并发现最佳假设。最后，还有一些方法对近似于规整或对称的图样进行了检测。

建筑物正墙的建模方法包括基于图像的建模方法，其中图像被用作迭代地生成建筑物结构模型的指导。许多视觉方法需要注册的多张图像。其中一种用于构建正墙的结构检测算法利用了有关建筑物正墙结构的较强的先验知识来找出平移的重复窗口。另一种方法放宽了对输入图像的要求以处理较强的透视图，其中使用基于链相似性测量方法来合并重复点特征。还有方法会利用马尔科夫随机场构建建筑物正墙布局的模型，并利用事先学好的先验知识以及马尔科夫链蒙特卡洛优化来找出最优化解。

另外一种方法利用了基于RANSAC的平面合并方法的变型来检测特征点的透视畸变网格，该透视畸变网格能够识别底层重复的壁纸图案的主要平移向量。一种迭代系统通过基于绘画工具手动指定深度来从单个图像创建模型。另一种系统在一个或多个图像中使用绘轮廓方法，而另一种系统通过采用从形状对称性中导出的约束来从单个图像中迭代地恢复3D纹理绘制的建筑物模型。

逆向程序化建模包括L系统方法，其用于大概最代表程序化方法的植物建模。从图像中抽取规则的逆向程序化建模也会被应用在树的建模应用中。对于建筑物的建模，计算机生成式建筑（“CGA”）结构软件结合了一系列具有分割规则的文法并且生成精细的建筑物结构。尽管已经利用了文法系统设计，但是仅有有限的工作集中在如何从现存模型中提取文法作为逆向建模。一种文法提取方法使用上下分区方案来从校正过的建筑物正墙图像中提取分割规则。然而，提取的文法规则限于格栅布局的细分。最新的逆向程序化建模方法识别出向量图片并且采用提取的规则来重新合成新图片。

上面所阐述的有关当前三维方法都会有先天不足，这里所介绍的不包括全部的不足，而只是提供一个概述。通过下面的描述，常规系统的其他问题以及本文所描述的各非限制性实施例的相应优点将变得更加明显。

发明内容

接下来的文字将简单扼要的阐述对本文公开的一些方面的基本理解。该概述不是全面的总结。其目的不是为了识别关键或者重要元素也不是为了限制本文所公开的多个方面的范围。其唯一目的是为了以一种简单方式呈现一些概念来作为后面呈现的更加详细描述的引言。

提出了在图像中检测重复图案和对称图案以有助于建筑物建模的方法和系统。一方面，提供了一种方法，其包括从图片中提取初始样本部分作为潜在重复图案。该方法包括从潜在重复图案中保持被确定为真实重复图案的所选图案。这包括利用来自转换域和空间域的信息将真实重复图案从子群域聚类（cluster）到集合域。该方法还包括部分地基于来自转换域和空间域的信息提取实际重复图案的一个或多个形状。

另一方面，提供了一种系统，其包括检测器，用以确定图像中的采样点并且为采样点生成相似性图。该系统包括聚类组件，用以确定图像中的图像网格和变换网格，以便确定多个任意形状的重复图案。一种矩形分析器确定图像内的非重复图案的感兴趣区域，而正墙布局组件生成一系列互不相交的结构区域以有助于图像内的对称检测。

在另一方面，提供了一种实体计算机可读媒介。该计算机可读媒介包括指令：从潜在重复图案中决定所选图案、并且利用转换域和空间域的信息将所选图案从第一域聚类到至少一个其他域作为实际重复图案。其中包括部分地基于来自转换域和空间域的信息来为实际重复图案提取一个或者多个形状的指令。其中还包括确定图像中的采样点并且为采样点生成相似性图的指令，以及包括确定图像中的图像网格和变换网格以便确定一个或多个对称图案的指令。该计算机可读媒介还包括产生一系列互不相交的结构区域以部分地基于一个或多个对称图案来有助于对称检测的指令。

为了完成接下来的相关问题，本发明的公开包括以下充分揭露的特征。接下来的描述和附图详细阐述了某些示例性方面。但是，这些方面只是表示了可以采用本文所公开的原理的各种方法中的一些方法而已。其他方面、优点以及新的特性会从以下连同附图的详细描述中变得显然。

附图说明

图1展示了图案检测及建模系统的示意性框图。

图2展示了检测图案序列用以识别图案和建筑物正墙建模的方法的视图。

图3展示了一个从输入图像校正后的正投影图像，该正投影图像将用于重复图案检测算法或者组件。

图4展示了图像校正的示例。

图5展示了来自输入图像序列的合成正投影纹理的示例。

图6展示了可以用来检测图案的示例表面。

图7是展示了用于建筑物建模的示例性重复图案检测方法的流程图。

图8展示了用于重复图案检测的示例性图像流程。

图9展示了另外一个用于重复图案检测的示例性图像流程。

图10展示了一个包含嵌套的重复图案检测的示例性重复图案检测结果。

图11展示了根据合成图像得到的建模结果的示例。

图12至图13展示了针对重复图案检测的示例性建模结果。

图14展示了用于建筑物建模的示例性正墙对称检测方法的流程图。

图15至图21展示了用于建筑物建模的正墙对称检测的各种示例。

图22展示了用于建筑物建模的示例性正墙对称检测系统。

图23展示了一种示例性计算机可读媒介，其指令用于使计算机采用重复图案和对称检测来生成建筑物或其他结构的建模图像。

具体实施方式

提供了系统和方法用于从图像中检测重复图案并辅助计算机三维建模。一方面，提供一种在正投影纹理图像中检测重复图案的检测系统和方法。在给定的输入文件中，该方法可以有效地检测出基本上任何形状的重复图案，而不需要借助任何有关图案的先验知识，比如位置、大小和形状特征。该方法和系统通过使建筑物正墙分析比先前系统和方法更具有鲁棒性和更加高效而改进了已有的三维城市建模系统的性能。该系统和方法是全自动的方法，已经应用于多个大规模城市建模场景并且取得了良好的效果。

另外一方面，还提供了从图像自动生成三维建筑物正墙模型的方法。正墙对称检测组件提供正投影图像，其自动地检测多个任意形状的重复图案，而不需要任何先验信息。一种自动的建筑物正墙分析方法用于检测并且识别建筑物元素，如重复图案和非重复的建筑元素，并且基于检测到的建筑物元素产生建筑物正墙布局以创建实际正墙的3D模型。还提出了一种用于合成建筑物正墙的逆向程序化建模的方法。建筑物正墙模型的程序化规则是从建筑物正墙的图像中学习到的，然后被用来生成合成的建筑物正墙3D模型。

在接下来的阐述中，相关词汇比如“组件”、“系统”、“模型”等都是倾向于指计算机领域的实体，例如硬件、硬件和软件的组合、软件或者执行中的软件。比如，一个“组件”的含义可以是，但不限于，一个运行于处理器的处理过程、一个处理器、一个物体或者一个可执行文件、一个线程、一个程序和/或者一台计算机。为了展示需求，在服务器上运行的应用程序以及服务器都可以算作一个组件。一个或者多个组件可以存在于一个处理过程和/或者执行的线程内，并且一个组件可以存在于一个计算机上和/或者分布于两个或多个电脑系统之间。除此之外，可以从其上存储有各种数据结构的各种计算机可读媒介中执行这些组件。这些组件可以通过本地和/或者远程处理诸如根据具有一个或多个数据包的信号方式进行通讯（比如，从一个组件发出的数据跟本地系统或者分布式系统中的另外一个组件进行交流，以及和/或者通过如I nt ernet的网络同其他系统通过信号进行交流）。

从图1开始。该图展示了一个图案检测及建模系统100。系统100包括图像处理器110，其用于接收原始输入图像120并且产生建筑物结构（或形状）的建模图像130。为了产生图像130，提供了各种检测组件用于提高结果的质量。输入图像120可以包括诸如来自卫星图像的建筑物结构的俯视图，或者比如沿地面拍摄的建筑物视图或者从高空俯视的拍摄的建筑物视图（例如，捕获的照相机图像），这些视图被建模来产生图像。虽然没有显示出来，系统100可以包括其他用于执行各种系统组件的计算机组件，包括用于存储分别执行各组件的指令的实体的计算机可读媒介。对于这些组件将在下面给出更详细的介绍。

从一方面来讲，提供了重复图案检测组件140用于帮助图像处理器110进行的图像120的产生。其中例如包括在一个建筑物正墙的正投影纹理图像中检测平移重复性的方法。由于有关平移结构的合理假设以及图像中丰富的纹理信息，该重复性检测方法取得了更好的效果和鲁棒性（比如，更准确的图像，更加不受不完整和中断输入数据的影响）。重复图案检测组件140提供了一个从图像空间相似转换到辅助二维（“2D”）空间的合理映射。在这个过程之后，对转换进行聚类，以为包含规则结构的形状产生特征性网格图案。

重复图案检测组件140可以包含多个处理步骤。比如，其中一步对相似度高的样本（sampling patches）进行采样和聚类，并且将它们之间的转换变量投射到“转换空间”中去。另外一步估计出一个产生图像图案的再生模型的参数，并且能够通过转换空间中的全局优化过程来实现。检测组件140的还有一步可以包括将小的重复图案聚类成几个大的重复图案并且估计每个重复图案的边界。多种大小形状不同的重复图案可以同时被检测出来，其中，嵌套的重复图案也可以被检测出来。例如，这里描述的这个执行重复图案检测组件140的系统和方法可以用于提高需要准确正墙分析的城市三维建模系统的整体表现。之后会展示多个基于图像的城市建模方法的城市建模例子。

在另外一个属于系统100的图像处理方面中，提供了对称检测组件150来有助于对输入图像120的分析。其中包括从单个图像（或者图像/图像片段的聚类）重建高视觉质量的三维建筑物正墙模型的自动方法。总体上来说，对称是建筑物设计时所考虑的重要特性之一，该特性可以用于辅助计算机对于建筑物正墙纹理图像进行分析。对称检测组件150包括一个正投影图像中的正墙对称检测算法，该算法通过正墙分析算法检测任意形状的多个重复的建筑图案。该算法包括检测以及识别建筑物元素以产生用于实际建筑物正墙的3D模型的建筑物正墙布局的方法。而且，通过从建筑物正墙图像120中学习规则来提供一个合成正墙的逆向程序化建模方法。

这里需要指出的是，输入120包括一个建筑物正墙的正投影图像。该图像可以通过多种途径获得。对于单个建筑物正墙图像，可以通过相应的畸变校正算法从单张图像中获得该类正投影图像。对于一系列注册图像，还可以利用纹理合成算法从图像序列中自动合成正墙的真实正投影纹理。从一个正墙的校正过的正投影图像开始，对称检测组件150首先检测Harris角点用于当做图像120中的采样点并且为每个采样点生成相似性图。通过在成对转换的空间中重建转换网格，组件150对图像网格以及转换空间中的网格进行聚类，从而得到多个任意形状的重复图案。之后，还检测包含重复图案以外的其他建筑物元素的矩形区域。用一个互不相交的结构区域的集合来表示建筑物正墙的布局。通过建筑物目标的数据库来识别重复图案和非重复元素，以用于最终建模。在图2的图像序列200中，展示了对称检测组件150的不同计算步骤的一个完整的例子。并且，组件150把检测到的正墙布局转化成程序化规则，该规则然后可以用于产生合成的建筑物正墙。

对称检测组件150整合了基于图像的方法以及基于规则的方法。其中包括一个具有鲁棒性且有效的在建筑物正墙纹理图像中检测重复图案的算法；一个有效的且精确的基于重复图案和非重复建筑物元素的检测和识别的建筑物正墙分析方法；以及通过引入克服了先前的用于建筑物的分裂规则的弱点的包含规则来改善用于建筑物的CGA形状文法。这些文法规则被用来合成合成的但是真实感的建筑物正墙。

在继续陈述之前，请注意将会结合接下来的各附图对系统100进行阐述，其中这些附图会包含一个或多个有关该系统的图像生成能力的示例性方面。在阐述的时候，在图1所示的总系统图背景下讨论随后的附图。

这里简单说一下图2，提供一个图像序列200用于展示图1中所展示的示例性图案检测方法。在210，确定Harris点（例如，表示为红色十字形）为原始采样点。在220，例如图像210中以框（或其他形状）标记的针对给定原始样本的阈值过滤的相似性图，其中给定原始样本点的潜在相似点是一种以圆点（或者其他标记）显示的局部最大点。在230，确定针对给定原始样本点的适合转换空间的转换网格。在240，针对给定的预定原始样本点，从对应转换网格恢复的图像空间中的恢复网格。在250，确定来自不同原始样本点的相似点的颜色编码集。在260，选择具有一群样本点的两个（也可以是其他数量）最大的重复图案。在270，展示了重复图案检测以及非重复物体检测的结果，其中图案和物体的识别结果在280给出，而在290示出示例性正墙布局。注意，接下来的内容主要涉及重复图案检测以及对称检测，其中与重复图案检测相关的概念在图3至图13中进行描述，而与对称检测相关的概念在图14至图21中进行描述。

图3是用于重复图案检测算法或者组件的示例性输入的正投影的经过校正的图像300。图像300可以作为如上所述的检测算法或组件的标准输入。这里说明的是，一个非校正的图像或者图像序列也可以作为输入。如果输入图像是一个单张的未经校正的具有畸变的城市环境的图像,可以先对畸变进行校正（处理成具有期望的图像质量或参数），然后再在校正后的图像上运行重复图案检测算法。一个建筑物经常包含几个建筑物正墙或者一个很大的正墙，因此通常不能够在如图4的400所示的一个图像中捕获到。在这种情况下，如图500所示，该建筑物的正投影图像就不能完全通过一张图片获得，于是就需要拍摄图像序列作为输入，然后通过从如图5的500所示的多张视图提取纹理来合成正墙平面上的正投影的经过校正的图像，从而得到需要的如图510的输入图片。

如果输入是例如从网络下载的如图4的示例400所示的单张正墙图像，首先将各图像校正成为正投影的经过校正的图像。比如，一种可以进行的校正如下。首先，计算图像中每个像素的梯度算子。产生的梯度矢量的幅角和大小分别表示局部边缘的方向和可靠性。之后，对这些潜在边缘实施霍夫线性变换。由于在霍夫空间中，线被映射成点，因此可靠的线段具有很强的对应点，并且可以自动地检测出线段集合。最后，基于这些线段利用RANSAC优化算法来提取水平和竖直消失点。将这两个消失点转换成无穷远点的2D射影变换可以被用来校正输入图像。校正好的图像如图4的410所示。

如果输入是如图500所示的一个图像序列时，可以从多个视图合成正投影纹理。接下来的算法可以用来进行纹理合成。首先，利用由运动恢复结构（“SFM”）算法对图像序列重构，以产生三维点云，一组半稠密点和照相机姿势。然后，将重构结果分区成多个建筑物并且进行局部调整。然后，对于每一个建筑物，取得至少一个参考平面，参考平面即建筑物主要的平面。之后，在这些主要平面中，利用逆向纹理提取合成方法（inverse patch-based orthographiccomposition method）把图像序列中的图像块进行匹配和拼接，从而得到一个完整的位于该平面的建筑物纹理图片。在图5中展示了一个例子，500是输入图像序列，510是通过算法所得到的合成输入图像。这里要指出的是，本发明的合成算法不单单可以应用参考平面，而且可以应用于任意的“可展开平面”作为纹理合成的初始平面，如图6的示例600所示。

图7展示了重复图案检测的处理过程700。考虑到以上描述的系统或者组件，可以根据所公开的主题实现示例性方法并且通过参考在此所述的流程图可以更好地理解这些方法。。为了阐述例子简化起见，这里举例的方法是通过一系列动作来阐述的；但是，这里需要指出的是，本专利的各实施例不限于这里所举例的动作顺序，因为有些动作可能会以不同的顺序发生和/或者是多个动作同时发生。比如，所属领域的技术人员可以理解并赞同，该方法可以通过一系列相互相关的状态或者事件表示，比如以状态图或者互相作用图表等方式表示。还需要说明的是，并不是所有示出的动作都被需要来实现根据本发明的方法。并且，需要进一步阐明的是：接下来披露的且贯穿本说明书的方法可以被存储于产品上，用于将这些方法运输以及传递到计算机，从而被处理器执行或者被存储器存储。

从这方面来讲，举例来说，方法700被用于确定正投影的经过校正的图像中的重复结构元素。在710，在图像或图像序列中提取初始样本块用作可能的重复图案。在720，重复图案确认处理利用转换空间作为辅助空间得到比较肯定的重复图案。还计算所确认的重复图案的相关参数。在730，通过采用来自变换域以及空间域的信息，在小范围内的重复图案被聚类成大的重复图案。在740，可以提取出重复图案的形状。

接下来的描述和图表是用来解释方法700。如上面提到的，首先在710提取采样点，比如可以利用纹理图像中的Harris拐角作为整个正墙纹理的采样点。Harris拐角适于作为采样点，因为其检测稳定性已经得到证明。对每个采样点，利用诸如差方和（SSD）的相似性测量算法，计算中心在拐角点的宽度为w的块与纹理中每个像素之间的相似性图。Harris拐角适合作为采样点，因为其准确和鲁棒性已经得到证明。该相似性图表示了图像中的每一个点和该采样点的相似度。之后，利用模式搜索方法，比如均值漂移（mean-shift）方法，从密度图模式中定位相似性图的稳定点（stationary point）。这些稳定点作为该采样点的潜在相似点。

得到每个采样点以及对应的相似点集之后，对于每一个稳定点与采样点形成的对（或者基本上每一对），计算平移向量，并将所计算得到的向量投影到一个二维平面上，该二维平面就是一个二维转换的转换空间。该二维转换空间可以由一个二维数组表示成累加器（accumulator），用以接收所计算的各对的平移。一个模式搜索方法，比如均值漂移方法，可以用于计算二维转换空间中的模式点，这些检测到的模式点会被用于结合转换空间的原点来匹配出一个规整的网格结构。分别估计网格横向以及纵向点的个数nx和ny。这里，nx和ny限制了网格的边界。因为像素位置是用量化估计表示的，所以转换空间也可以量化估计表示。从原点（自对称点）开始，在表示恒等转换的点周围的区域中执行搜索来估计nx和ny所有可能的取值并搜索最优化的nx和ny。初始化的gx和gy是和nx和ny一同计算出来的。然后,gx和gy可以更进一步地通过在连续值空间中搜索合适匹配网格而被再次优化。这个搜索空间可能被gx和gy的初始值所约束。那些跟采样点的转换向量在匹配得到的网格上的稳定点被留下当做相似点集合SGc，这其中也可以包括采样点本身。

计算相似点集合的边界矩形，并且在图像空间中构建出一个网格。请注意，这里所说的格栅（grid）结构是用于图像空间中的，而网格（lattice）是用于转换空间中的。如果在构建出的格栅上的相似点数量比率大于一个界限，比如90%，那么这个格栅会被确认为相应采样点对应格栅结构。每个采样点因此会通过转换空间中的网格结构而产生一个在图像空间中潜在的格栅结构，这种相似性计算可以用于所有采样点并得到许多相应的被确认的格栅结构。

网格估计计算作用于转换空间以及一系列在原始图像块的缩放比率的规则结构被提取。合并被提取出来的小的重复的区域从而得到大范围的重复区域，并且为每个大范围的重复区域找到最优的转换。为了达到这一点，把网格结构分类成几组。然后，结合格栅结构的空间信息进一步把每组分类成几个子组。当得到几个主要的网格结构后，对每个子组的区域实施图像分割技术并且提取出每个子组中的前景物体的估计形状。这个空间域的分割过程可以帮助处理来自小的图像块的估计转换的偏差。

如上所述，将网格结构分类成几个组。每个网格l有一个基础转换向量El表示为glx*gly,其中gx和gy分别表示沿x轴和y轴的基础转换向量。基础转换向量El是每对网格结构和格栅结构的抽象表示并且起到区分不同重复图案的作用。因为，可以用基础转换向量以及聚类算法（比如分层聚类算法）对网格结构进行分类。因此，定义两个网格之间的距离以及两类网格之间的距离是有必要的。有很多种方法可以计算两个网格l1和l2之间的距离。比如，两个网格l1以及l2之间的距离可以定义为El1和El2的L2-Norm。为了定义两类网格的距离，可以采用多种方法。比如，假设Ci和Cj是两类网格结构，这两类网格结构的距离可以定义为。

公式1:

D_inter(C_i，C_j}＝αMin(C_i，C_j)+(1-α)Mar(C_i，C_j)

其中，Min（C_i,C_j）和Max（C_i,C_j）分别是最近规则以及最远规则的结果，而α是取值范围是[0,1]的调节参数。相邻的具有较小的网格类间距离的网格类更容易被合并到一块。在合并的处理过程中，较大的取值会偏向于合并较小的聚类，较小的取值会偏向于合并较大的聚类。

在空间域中，不同的重复图案具有相似的基础转换向量。并且，可以确定图像空间中的格栅和变换空间中的网格的一一对应关系。因此，在空间域中，将每个网格组分类成多个子组。距离DG定义为两个网格之间的距离。定义DG的一个过程如下。对于每个确认的栅格Gc，边框Gc被定义为包含其相似点SGc的最小长方形区域。因此，可以计算边框Gc中的缺失的格栅点因此，两个格栅Gi和Gj之间的距离可以定义为如下距离。

公式2:

$\begin{array}{c}{D}_G=(G_i,G_j)=\frac{{\mathrm{\Σ}}_{s_z\∈S_{G_i},m_x\∈M_{G_i}}{\mathrm{\β}}_{G_i}\∪{\mathrm{\β}}_{G_j}{D}_p(s_x,m_x)}{\left|S_{G_i}\right|}\\ +\frac{{\mathrm{\Σ}}_{s_y\∈S_{G_j},m_y\∈M_{G_j}}{\mathrm{\β}}_{G_i}\∪{\mathrm{\β}}_{G_j}{D}_p(s_y,m_y)}{\left|S_{G_j}\right|}\end{array}$

其中Dp用于计算两个大小相同图像区域（两个块）之间的距离,比如SSD。因此，计算每两个确认的网格结构之间的距离。然后，采用另一个聚类处理，以将小的重复图案进行归类合并，从而得到重复图案组。

在每个重复图案组中，来自不同格栅结构但是出于同一格栅位置的相似点被集合在一块，并且它们的中心被计算出来。一个以该中心为中心的并大小与转换空间中的网格单元相同的单元（tile）被构建出来。这样的矩形单元被期待能包含重复图案的单个元素。采用在单元内进行前景和背景的图像分割的方法，比如GrabCut，来分割出前景建筑元素和背景墙。然后，可以利用同样类型的前景分割的中值来代表该类型的建筑元素。

检测出来的重复元素的边缘一般都会是任意的、不规则的、并且包含许多噪声。对于每个如此恢复得到的元素，与一组预定义的通用模版进行匹配。建立一个模板数据库T,其中每个模板t∈T有如下属性：类别（比如窗户或者门）、和形状st（由其边框表示）。

通过元素的边框和模板来选择可能的匹配。接下来进行模板匹配。首先每个三维模板的边缘都会被正投影到一个二维的图像中。对于被分割出来的物体rsa,首先把其边框和模板的边框进行对齐。然后就可以定义一个介于物体rsa和模板st之间的距离。于是可以定义一个用于选择可能用于替换的现有物体的三维模型的评分，公式3如下:

对于s_t和r_sa，其中D(s_t,r_sa)=s_t∪r_sa-s_t∩r_sa

该评分是s_t和r_sa的二值模版的差，其中De(st;rsa)表示两个图像梯度图的累加相似度，Db(st;rsa)=st∪rsa-st∩rsa是st和rsa的重叠区域的像素数，B(st)是st的周长（像素数）。最后，选择评分最高的最佳的匹配作为物体对应的三维模型。通过搜索一小片周围区域，可以更新模版t的位置，以将其变更到边缘响应最强烈的位置。而且，可以将一组3D模型与每个模版t相关联，从而从3D模版数据库中搜索最相似的3D模型。

图8展示了一个采用重新合成的正交投影纹理图像来显示上述过程的示例。首先，在810，描述的是Harris点被确定为采样点的步骤。在820，确定针对给定采样点的经过阈值过滤的相似性图，白色代表相似度高，黑色代表相似度不高。潜在的相似点是一种局部最大点。在830，描述了针对给定采样点的转换空间中的网格匹配。在840，描述了对于给定采样点的图像空间中从转换空间中的网格图案转换来的格栅。在850，描述了来自不同采样点的不同的相似点集（网格结构）。在860，选择针对两种重复图案的两个最好的格栅结构。在870，描述了对重复元素进行二值分割。在880，确定不规则元素的粗糙轮廓。在890，展示了形状分析后的规则元素。

图9展示了在航拍图像上进行重复图案检测的处理工作流程。在910，展示了输入的航拍图像作为低分辨率的正墙纹理。在920，展示了采样点。在930，展示了得到确认的找到的网格结构，其中属于每个网格结构的点用相似的灰度表示。在940，表示聚类后的重复图案结果，其中在950示出了表示图案提取结果。

图10展示了重复图案检测算法的结果，各输入图像1010-1030是从地面拍摄的图像序列合成的纹理的结果。请注意，本文描述的方法可以检测出来嵌套的重复图案，例如一个重复图案中的单个图案本身是更小重复图案的集合。

图11展示了算法在另外一张合成图像1100的结果，其中不同大小和不同形状的多种类型的重复图案被成功检测出来。图12展示了一组示例图像1200，其中每列展示了一个示例。在图像1200中，从上至下依次为：现有的估计模型，现有的纹理模型，重建几何和最终结果。图13展示了例子1300，其中每列表示一个示例。在1300中，从上至下依次为：现有的估计模型，现有的纹理模型，重建几何和最终结果。

如上所述，如图9至图11所示的例子展示了来自航拍图的低分辨率的正墙纹理以及地平面的合成正投影纹理。重复图案检测算法的时间复杂度是O(mwh),其中m是采样点的数量,w和h分别是正投影的经过校正的图像的宽和高。

以上与图3至图13有关的描述包括一个检测图像中重复图案的方法。其中包括引入转换空间作为辅助检测图像中的重复图案的方法。多种应用可以基于本发明描述的重复图案检测方法。其中包括自然和人造物体的重复图案的自动检测。该方法还可以用于实质上任意的图像处理任务和其他计算机视觉任务。该方法还可以被用于改进三维城市建模系统的性能。这些方法在典型的城市数据中进行了测试，比如匹兹堡的街景图，对于该典型示例，不仅能够分析来自例如Google Earth提供的航拍图的3D模型的纹理还能够分析在地平面上系统捕获的输入图像。对于每栋建筑，典型的正交投影纹理图像大小是1000×1000像素。城市建模的结果采用图12和图13中展示的示例性正墙分析方法来呈现。继续之前，请注意接下来的针对图14至图21的描述和附图是和正墙对称检测相关的。

图14是一个流程图，其中阐述了用于建筑物建模的示例性建筑物正墙对称检测方法1400。在1410，对问题进行定义并给出初始参数。通常来讲，重复图案会经常应用于在建筑物正墙上。众所周知，有多种对称群存在于平面上，它们也被称为壁纸群或者水晶分类构造群。在这类对称群的最简单构造中，处理由两个独立的平移向量X和Y产生的一个平移向量组H。那么当且仅当一个元素群G中的平移向量子组H包含有限元素时，元素群G是对称群。因此，从计算的角度来讲，建筑物正墙对称检测包括两步：第一步是检测平移对称；第二步是发现重复物体的内在对称性。

一般来讲，任何一个物体通过平移向量组H进行转换都可以形成一个该物体的无限重复序列，形成重复图案。如果这个物体是一个单独的点，那么图案就会形成一个称为二维“网格结构”的点阵列。穿过网格结构点的沿着两个方向的平行线会形成一个对空间的剖分，这个剖分是由铺满整个平面而没有间隙和交叉的全等的平行四边构成的。通常，在剖分单元和平移向量组H之间有一一对应的关系，其中每个转换均将原始单元内的任意一点处理成新单元中位于相似位置处的一个点。这个典型的平行四边形被称作“基本区域”，通常来讲，“基本区域”的形状是不唯一的。所面临的任务是从给定的输入平面的正投影图像中找到所有重复的却有限的图案。更具体的来说，给定一个二维的建筑物正墙的正投影图像，检测图像中与如下描述相关的所有图案：

公式4：Pi=(e0；XxYy)，其定义了一个区域是由基本区域e0按照平移向量X×Y而重复了x×y次而产生的图像。因此，每个这样的图案就是对图像的一个有限区域的剖分，但是不同的图案在图像中可能互相重叠。问题的难点是：不论是剖分的数量p还是图案Pi都是未知的。Pi应该说明一块给定的图像区域，其中检测到了针对3D结构的2D对称结构，并且二维图像比三维点云能够提供更丰富的信息，从而可以得到更精准和有效地方法。

在图14的1420，确定平移对称。Harris拐角首先在图像中经由采样被检测出来，并作为采样点点集C，这些点被用于作为产生更多采样点的正墙图像的初始采样点集合。假设参数w是能检测到重复图案的最小转换向量长度。对于每个初始采样点si∈C，计算一个相似度图D(x;y)，在该图中存储了窗口大小为w中心为原始si的图片区域和图像中每个像素之间的距离平方和（SSD）。用例如mean-shift方法在相似度图中定位稳定点。这些被检测出的稳定点，包括原始采样点本身si，形成了一个对应于原始点si的相似点集Si。这个过程因此产生了对应于采样点si∈C的相似点集{Si|si∈C}。Harris拐角适用于原始采样点并且具有旋转不变性。检测的稳定性也反映了自然图像中适合检测对称的比例。

对于得到的每个相似点集Si，绘制所有对元素（pj;pk）（其中pj;pk∈Si）。计算两两点之间的平移向量，并将计算的结果投射到一个二维平面上，该二维平面是二维平移的转换空间。该成对转换空间包括二维的例子，其中平移空间也是从T_x和T_y得到的网格T_m ^xT_n ^y，叫做转换网格。图像网格X_xY_y和转换网格一般来讲具有同样的群生成向量T_x=X和T_y=Y；但是大小可能是不一样的。

一种可以被看作是通用霍夫变换的方法，可以用来处理作为特征空间的所有点对，和作为转换空间的转换向量群。搜索变换空间中的一个由峰值点构成的规则网格而不是仅仅搜索峰值点。这个二维平移的转换向量的转换空间可以自然地由一个二维数组表示成累加器，用以接收两两计算得到的平移向量。转换空间以与图像空间类似的方式进行量化。因此，识别m*n的转换网格（具有从该累加器得到的转换向量Tx*Ty）。当给定了如此简单的转换空间后，一个穷举的算法可以用于该任务。累加数组中的峰值点可以利用mean-shift方法来找到，作为模式点。m和n的范围可以估计出来。最小是1，最大是最长的转换向量除以窗口大小w。从这个估计出来的范围，产生所有离散化的转换网格结构mi*ni∈[1;mmax]*[1;nmax]。

对于每个转换网格mi*ni，都可以计算出检测到的峰值点与该网格的累加距离。具有最小累加距离的转换网格m*n被用来作为所得到的转换网格的估计。相似点集Si现在被这个估计的转换网格m*n过滤。如果一个相似点与原始采样点的平移向量与转换网格上的任何点都不相近（低于一个事先定义好的阀值），那么该点就可能被去除。计算剩下来的相似点集的边缘并且在图像空间中构建出一个x*y的网格结构。一个跟给定的初始采样点相关联的图像网格会被留下，如果90%（或其他比值）的相似点坐落在该网格结构上。

因此，通过转换网格的构建，每个原始采样点都能产生一个可能的网格结构。对多个原始采样点执行同样的处理，最多获得C个经过确认的图像网格结构。这些图像网格在互相重叠并且具有同样的转换向量和网格大小时被合并在一块。重复次数最多的网格结构被看作是最可能发生的重复图案。与同一图像网格组中的同一网格位置相关的相似点会被聚类到属于同一图像区域的相似点集。一个被这个网格结构覆盖的图像区域的矩形剖分被构建出来，该构建是通过如下方法实现的：绘制水平和竖直的经过网格结构的由X和Y分割的同一单元的相似点的中心点的线。在一个剖分单元中，利用图像分割算法，比如GrabCut方法，把相似点作为该结构中的代表物体的采样点来处理，以将前景物体与背景墙分割开。然后，不同单元的前景物体的中值被选取作为建筑物元素的代表形状。图2展示了如上描述的不同对称检测步骤的示例。

图14的1430说明了旋转对称的确定。在平移对称的基本区域中时常会出现旋转对称的图案，或者在建筑物正墙中会局部出现旋转对称的图案。在一个平面上，对于一个固定点的旋转集合会产生这种图案。对于一个旋转角度n，可以形成一个重复360/n次的旋转对称结构。通过改进检测平移对称的方法来检测旋转对称。这个过程至少分两步，首先要找到旋转对称的对称中心；之后确定旋转角度。

首先，从一个基于图像区域中的均匀随机采样点集合开始。之后，对每个采样点，计算SIFT描述算子。这些采样点然后被聚类成几个相似采样点集。每个相似点集包括很多相似点。对于每个相似点集，利用霍夫变换，通过计算三个点的圆心来产生一个对于旋转中心的估计。在相似点的边框区域内进行角度检测。这一步跟之前所说的平移对称检测十分相似。因此，这里描述它跟平移对称检测的不同之处：就是原始采样点集C不仅包含了Harris转角，而且还包含了SIFT点，这样就会有更多的信息从而得到更鲁棒的、具有比例变化和方向无关性的算法。在每个像素点计算相似度图D(x;y)，作为在不同角度计算的SSD的最大值。每隔五度（或者其他事先规定的数值）旋转图像区域计算一次相似度，然后取最好的匹配方向角度d。然后，从d-5旋转到d+5再次进行计算新优化相似度。至此，成对转换的空间目前是一个一维的有关旋转角度的空间，该空间很自然地可以利用一个从0到1800（或其他大小的数组）的数组表示。产生的角度θ是峰值点之间的角度距离。

图14的1440进行了建筑物正墙的分析。从一个检测到的重复图案Pi，将相似类型（相似的网格结构和相近的转换向量）的不相交图案合并在一块。两个相似类型的互不相交对称图案Pi和Pj之间的距离是每个对应图像区域中的分割的前景物体之间的最大SSD。计算每对互不相交的对称图案之间的距离并且如果该距离小于Min(Var(P_i);Var(P_j))则视这对为相似的并且可进行合并，其中Var(P)是集合P的方差。利用基于该距离的层次聚类方法，可以构建重复图案。

除去建筑物正墙上重复图案Pi的检测之外，也会搜索包含非重复建筑物结构的区域。因此，引入了一个在图像中检测矩形区域的方法。其中一个不同指出就是处理过程1400利用了图像区域中的未被重复图案覆盖的纹理信息。所有检测得到的包含非重复物体的区域都被合并到一个层次结构中去。在每个区域中，可以利用Grabcut来分割出前景物体和背景。

总体上来讲，一个建筑物正墙包含了一系列区域，每个区域包含了或者重复图案或者非重复的建筑物元素。每个区域大体上包含在一个区域框中，其中如果两个区域框相互重叠，那么可以将这两个区域合并。基于背景纹理信息，利用颠倒合并分割方法，来合并剩余的非重复元素的区域。于是，就得到了一个有关建筑物正墙的互不相交的区域集合。

把每个区域进一步扩展从而得到一个结构区域，使得所有的结构区域产生一个对于建筑物正墙的分割。因此，建立起一个结构区域的分层结构关系。介于结构区域之间的分割线或者是水平的或者是竖直的。首先，对于输入图像，将图像的X和Y方向的梯度值分别投射并累加到水平和垂直轴上。被累加的梯度值是根据累加方向的像素数量进行归一化得到的。然后，分割过程首先把图像区域R垂直分割成几个水平区域Rh。如果在与结构区域互不相交的垂直方向上存在局部最大响应，则该区域在这条线处被分割。最后，对于每个水平区域r_h ⁱ∈Rh，进一步将其水平分割成一系列竖直区域R_v ⁱ。因此，一个建筑物正墙的布局就是对于其分割的一组互不相交的结构区域，并且每个结构区域通常包含一系列图样和物体。

可以在剖分的每个单元中或者在非重复物体的每个区域中检测基础区域的内部对称性。如果这个单元足够大，并且如果想得到足够精细的图案，那么平移对称检测可以通过缩小参数w进而得到实现。内部旋转对称检测可以通过在单元内进行如上所述的旋转对称检测方法得到。否则的话，例如在通常的单元或者在组合的典型单元中，内部旋转以及反射对称会通过基于相关性的方法检测出来。一个物体的内部对称可以辅助该物体的识别，接下来将予以介绍。

可以从建筑物元素数据库T中识别出每个被检测到的图案和物体，其中每个模板t∈T，每个模板有如下属性：类别（比如窗户或者门）、实际大小、以及对应的三维几何模型。数据库的模板是非参数化的，因此用户可以直接构建数据库和重新使用现有模型。在识别之前，每个三维模板都会被正投影成一个二维模板，该二维模板被高斯核平滑，其大小被设置为三维模版的大小的十分之一（或者其他分数）。对于被分割出来的图像物体r_sa，首先利用边框把它和每个2D模板进行对齐，然后就可以将物体r_sa和一个模板st之间的距离定义为公式5:

$D(s_t,r_{\mathrm{sa}})=D_e(s_t,r_{\mathrm{sa}})+\mathrm{\β}\frac{D_b(s_t,r_{\mathrm{sa}})}{B\left(s_t\right)}$

其中D_e(s_t；r_sa)表示相交区域中的累加梯度差，D_b(s_t；r_sa)=s_t∪r_sa-s_t∩r_sa是s_t和r_sa的二值模版的累加差值，B(s_t)是st的周长（像素数）。最后。选择最佳的匹配作为物体对应的三维模型。

识别出来模板t之后，其位置被映射到周围区域中的最近的并且最强的边缘点。除去图案和物体之外，结构区域之间的分割线也会经常对应真实建筑结构的分割，而这些分割需要检测并且加以识别。因此，在每个分割线附近，在已有的数据库中搜索一个细长的水平或者竖直的条状结构，作为建筑物分割。

在图14的1450，执行逆向流程化正墙建模，用于辅助整个建筑物建模。得到实际建筑正墙三维模型之后，提供合成建筑物正墙的逆向流程化建模，其中计算机产生式建筑（“CGA”）形状文法表示具有包含规则的建筑物正墙。因此，从图像中学到用于建筑物正墙建模的流程化规则。最后，为了证明一个文法规则的有效性，一个合成方法被研发出来，用于基于从图像中抽取出来的规则产生合成的建筑物正墙的三维模型。

一个文法表示为G=(S；R)，其中S是一组文法符号而R是一组产生式规则。每个位于S的符号s或者属于终结符号集V或者属于非终结符号集E,其中V∩E=θ并且V∪E=S。每个符号，不论终结符或者非终结符都表示一个具有几何和数字属性的几何结构。比如，可以采用CGA形状作为基础的文法系统。以此方式，一个产生式规则可以写成公式6：

id:predecessor→cond:successor:prob

其中id是分配给每个产生式规则的唯一识别符,predecessor∈E是一个用于识别将被前驱节点代替的形状的符号，cond表示哪条规则将会以概率prob被选择的标志，并且如果该标志为真，则cond将被使用。

从给定了的一个包含了S中的多个符号的字符串str产生正墙。系统会从str选择一待替换的形状P以及产生式规则L，规则L的左边需要为P。然后，规则L右边的字符串Q就会用于替换P在原来字符串中的位置，作为前驱节点。同时，Q被设置成激活状态而P被设置成未激活状态。这是过程会不断递归，直到字符串str不再包含非终结符为止。给每个规则赋予优先级以引起对该产生过程的更多控制，因此选择具有最高优先级规则的形状替代。请注意，在CGA形状中，当形状被替代时，其并没有被删除，而是被标为非激活状态。

一个通用的包含规则并不会约束其前驱或者后继的数量以及位置。其形式定义为公式7：

s→Contain(Num,r₀,...,r_Num-1){c₀,...,c_Num-1}；

其中Num是s中的分量数量，c_x是S中的形状符号，r_x是分量c_x的替代构造。总的来说，对存在多个递增和递减形状没有约束。r_x被进一步定义为r_x=(dim;bound_x;vis_x;op_x)其中bound_x是区域r_x的边框。为了更好地定义兄弟节点c_x之间的关系,把节点c_x的可见优先级定义为整数vis_x,其中较大的整数意味着更高的可见优先级。与此同时，用op_x来定义兄弟节点c_x互相之间的关系{c_i|vis_i＜vis_x},比如覆盖或者3D布尔运算。

通常的包含规则可以特殊化为重复包含规则，一个特殊的文法规则用来产生重复案。一个重复包含规则可以定义为：

公式8：s→Repeat(DIR；step；times；r_x){c_x}；

其中DIR可以是〝X〞,〝Y〞，〝Z〞，〝XY〞，〝XZ〞，〝YZ〞或者〝XYZ〞，用以指定图案重复的方向，step用于指定沿各个方向的步长的向量，而times用于指定沿各个方向重复的次数的向量，rx是初始区域，而cx是重复图案。

切分规则文法已经被用于产生建筑物模型。切分文法的基本思想是不断切割大的空间从而产生新的细小空间进而得到越来越多的细节。但是，切割文法经常会过度分割一个建筑物正墙，因此产生一个简单的分割区域可能需要多次切割操作的组合。这样就会产生多余的分割区域并且把原本完整连接的墙面切割成缺乏实际语义的几块。同时，产生的几何描述可能不唯一。要从一个图像中抽取出一个唯一一致的分割文法是一件困难的有待研究的问题。通常来讲，还没有一种机制能够处理好通过切分规则产生的相邻符号之间互动的关系。为了克服这些缺点，对于包含规则，首先，明确地定义后继节点的位置和区域。因此，通常不需要切分来逐渐细分前驱节点。其次，用户可以定义能够被所有后继节点共用的性质。第三，包含文法能够简单的从自顶向下及自底向上的分析中得到。

建筑物正墙分析的结果产生了一个布局，该布局是一组矩形形状的互不相交的结构区域。该布局将输入图像分解成几个水平结构区域，每个水平结构区域包含几个垂直结构区域，其中每个垂直结构区域通常包含物体区域。上述文字描述显示了正墙f的分解可以由针对非重复元素的结构区域的包含规则和针对重复图案的结构区域的重复规则来表示，诸如公式9：

f→Contain(|R_h|，r_h ⁰，...，r_h ^|Rh|-1){r_h ⁰，...，r_h ^|Rh|-1}

因此对于每个r_h ⁱ，公式10：

r_h ⁱ→Contain(|R_v ⁱ|，r_v ^i，0，...，r_v ^i，|Rvi|-1){r_v ^i，0，...，r_v ^i，|Rvi|-1}

最后,对于每个r_vi，j,用一条规则来描述它所包含的物体以及背景信息。

合成的正墙应当保有尽可能多的原始正墙的建筑特征。首先，产生一个布局；然后，逐个区域地合成其纹理。给定用户指定的区域，从规则描述的真实正墙的原始布局产生合成区域的布局。第一步所说的布局是一个横竖相间的结构划分，然后作为水平划分对其进行处理，而不失一般性。使用至少三种先验规则来产生合成的布局以：

·按照原图进行等比例缩放。

·按照一定规律进行缩放，比如先对最大的区域进行倍增调整。

·固定原图一些区域的大小，对其他的区域进行倍增调整。

如果有任何剩下的区域余项，那么将其分配给最大的结构区域。在得到全局布局之后，从原始结构区域中抽取素材并对于每个合成的结构区域进行填充，并且在每个原始图案和物体不产生冲突的重叠物体的情况下将它们等比例地进行重复。如果合成图案之间有重叠，那么选择最大的图案并且删除最小的图案。

给定一个具有布局L_ai和合成图像的布局L_as的原图像区域R_e，合成区域R_s的纹理。这里考虑一维的情况，然后扩展一维情况到通用的情况。当新的布局长度l_rs比数据源图像l_ro大的时候，使用“拉伸”操作。当新的布局长度l_rs比数据源图像l_ro小的时候，使用“缩小”操作。对于一个水平样本区域R_he，用物体的边框的竖直边界分割该区域。在两个相邻物体S_x和S_y之间的区域是一个缓冲区Br_xy。对于每个位于条带（strip）顶部的像素的位置t和每个位于条带底部的像素位置b，计算一个分割路径c_b ^t。可以预计算所有的可能结合像素位置的路径。每个路径c_b ^t分割缓冲区Br为Br_left和Br_right两部分。一个目标是决定分割位置x和链接位置y从而进行缩小原图像的操作。

每个可能的x产生出有限多个连接器y，从而使Br_left+Br_right=l_rs。处理可能的x和y变量，以及可能的路径c_b ^t。一个可能的位置v以及切割c分割缓冲区域为Br_v ^left和Br_v ^right，这个分割的分数可以用方程11来进行测量:

$E_c\left(c\right)=\underset{p_v\∈c}{\mathrm{\Σ}}{E}_l\left(p_v\right)(\mathrm{\α}+\frac{1}{\max \left(\mathrm{HoG}\left(p_v\right)\right)})$

其中E_l(p_v)是沿着一条以p_v为起点的曲线上水平和竖直梯度值之和，HoG(p_v)是在每一个像素附近一定区域内的颜色分布，alpha是一个控制参数。这里，梯度在以cv为边界的Br_xy ^a和Br_v ^b的联合后的图像上进行计算。对应最小分数的v被选出来作为分割位置x和连接位置y。时间复杂度是

其中nb是缓冲区的数量。

拉伸操作的基本原理和缩小操作是类似的，同样寻找x和y，但是限制不同在于：搜索扩展当前缓冲区长度的配对。现在，应当不断重复操作直到它至少达到要求合成的长度。对于可能的多出来的部分，应当运行一个缩小操作，以得到需要的长度。对于一个规则的二维布局，可以先进行水平的合成然后进行竖直的合成，或者相反的顺序。如果一个切割可能通过一个完整的物体，那么把包含该物体的区域分割成更小的没有重叠的子区域，其中合成可以分层次进行从而不会对物体进行切割。

对于一个标准大小的1000x1000的图像，对称检测算法要平均花费一个小时。对称检测其中85%的时间用于计算相似度图。在实际中，检测算法可以在一个降采样的350x350的图像上先运行，这大概花费15分钟。当从降采样图像中得到聚类好的相似点的时候，再回到原图像进行接下来的计算。对于每个图像，首先粗略估计一个单位是米的比例大小作为输入参数。然后，固定参数w为缺省值1.5米（或者其他数值）并且例如可以将变换空间的量化单元固定为0.3米（可以为其他数值）。

图15的1500展示了一张Palais de Versailles的高分辨率2158×1682图像。可以检测出分层次对称以及不同的相邻对称图案之间的边界。在1510，是一个输入图像。在1520，是从输入图像建模的三维几何模型，在1530，是贴有纹理的三维模型。

在图16中展示了Brussels的例子，其分辨率是1036×1021并含有多个建筑物正墙。在1610，是示例性输入图像。在1620，是重复图案聚类的结果。在1630，是检测到的重复图案以及非重复物体。在1640，是一个示例性正墙布局。1650是三维几何模型，而1660是贴有纹理的三维模型。

图17展示了一张北京的建筑物的示例1700，其大小为844×1129并且包含小规模的重复图案。1710是输入图像。1720是对称检测结果。1730是建筑物正墙布局。1740是贴有纹理的三维模型。1750是一个合成的三维几何模型。1760是一个合成的贴有纹理的3D模型。

图18中的1800展示了另外一组有代表性的结果图。所有结果都是自动计算得到的。在1810的第一列是输入图像，接着的在1820的第二列是对称检测结果。在1830的列是建筑物正墙布局，而在1840的列是几何模型建模结果，接着的列1850是贴有纹理的3D建模结果。

图19展示了旋转对称示例1900，其中在1910和1920是一个输入图像，在1930和1940分别是其对应旋转对称的检测结果。

	Nc＞10	3＜＝Nc＜＝10	Nc=2	总量
					Erd	91.4%	86.8%	67.2%	83.7%
Erc	93.3%	87.1%	84.2%	88.9%

表1：根据重复图案的重复次数Nc分成三个组。由于转换空间中的更可靠的选择，因此较大的Nc所表现出的结构更好。

	平移	旋转	分层次
				Erc	89.2%	83.5%	80.2%

表2：对三种对称的检测校正。平移对称最具有鲁棒性，而旋转对称差，这是因为在寻找旋转不变相似度上的复杂度和困难加大。

总体上讲，定义检测率E_rd为检测到的重复图案的数量除以所有的重复图案的数量，通过检查图像来对基准数量计数。定义检测精确度E_rc为正确检测到的物体的数量比上所有检测到的物体的数量。比如，在一个测试中，取得的E_rd为83.7%，和E_rc为88.9%。对于图像分割，该方法比如用了20张基准分割图，并且比如得到了90.2%的总像素准确率。

在一个测试中，创建了大约300个建筑物物体的数据库。用于实际正墙建模的非重复物体的检测率比如约76.1%。本发明的对称检测方法阻止了对于建筑物正墙的过分切分并且可转换成通用的包含规则。如图20的2000所示，给出了一个建筑物正墙分析的例子。

对于一个1000x1000的例子图像，一个对称检测的处理大概需要五分钟。在能量方程中的参数比如可以缺省设成0.5。有些代表性的合成正墙的例子在图21的2100中给出，其中给出了缩放、拉伸的例子，并且建筑物的特征得以保全。这些规则例如还可以用于处理高楼的看不到部分。在例图20中，规则可以从同一个建筑物的不同图像合并得到，以用于产生完全的建筑物正墙的三维模型。

图22展示了一个用于通过对称检测来生成建筑物或其他结构和形状的模型图像的建模系统2200。系统2200包括一个检测器模块2210，用于确定图像中的采样点并且产生每个采样点的相似度图；包括一个聚类模块2220，用于决定图像中的图像网格和转换网格以便确定多个任意形状的重复图案；还包括一个矩形分析器2230，其确定图像内的感兴趣区域的非重复物体；最后，还包括一个正墙布局模块2240，其产生一组互不相交的结构区域以辅助图像内的对称检测。

还有一些有关系统2200的信息并没有在图2中明确说明，其中包括如下：一个平移对称检测模块，用于确定图像中的一个或者多个采样点以辅助图像内的对称检测，其中平移对称模块就包括一个聚类模块，用于通过作用于图像内的一个或多个采样点的转换网格的构建产生一个或多个可能的图像网格；一个划分模块，确定与网格结构相关的相似点，这些相似点用于重构穿过图像网格中心的水平和竖直的线。还有一个旋转对称检测模块，该模块确定局部出现在建筑物正墙上的平移对称区域，其中这里旋转对称检测模块决定了一个旋转中心和一个旋转角度，以决定平移对称的区域。

一个建筑物正墙分析模块，用于确定正墙内的重复图案和非重复物体，其中重复图案通过利用互不相交的对称图案之间的距离被检测出来，而非重复物体通过分析与重复图案不相关的图像区域的纹理信息检测出来。可以给系统2200提供一个或者多个文法规则，以辅助建筑物正墙的自动生成，其中这些文法规则与计算机产生式建筑（“CGA”）形状相关，以辅助图像中的对称检测。这可以包括一个或者多个包含规则，这些规则定义了哪些图案或者形状可以在一个定义为建筑物正墙的区域内出现。这也可以包括一个或者多个先验规则，这些规则可以定义一个建筑物正墙的合成布局，其中先验规则和复制原图布局、通过预定结构区域倍增来替换一个结构区域、或者通过在一个正墙布局中随机调整一个或者多个区域来复制一个原始正墙布局。

图23展示了一个计算机可读取介质2300，其指令用于触发计算机采用重复图案和对称检测产生建筑物或其他结构的三维建模图像。计算机可读取介质2300包括：指令2310，触发计算机从可能的重复图案中决定所选图案，并且利用来自转换域和空间域的信息将作为实际重复图案的所选图案从第一域聚类到至少一个其他域；指令2320，触发计算机部分地基于来自转换域和空间域的信息来提取一个或者多个实际重复物体形状；指令2330，触发计算机确定图像中的采样点并产生每个采样点的相似度图；指令2340，触发计算机确定图像中的图像网格和转换网格以便确定一个或多个对称图案；指令2350，触发计算机从对称检测的结果中的一个或多个对称图案得到一组互不相交的建筑物区域，用于辅助图像中的对称检测。这个计算机可读介质还可以包括用于触发计算机去决定非重复物体所处图像区域的指令，其中该指令包括一个或者多个平移对称以及一个旋转对称用以决定非对称图案。

这里所讲的术语“处理器”指的可以是实质上任何计算处理单元或者器件,处理器可能包括但不限于如下含义：单核处理器,具有多线程软件执行功能的单核处理器,多核处理器,具有处理多线程软件执行功能的多核处理器,具有硬件多线程功能的多核处理器;并行平台，以及具有分布式内存的并行平台。除此之外,一个处理器还可以指一个集成电路,一个专用集成电路(ASIC)，一个数字信号处理器（DSP），一个现场可编程门阵列（FPGA），一个可编程逻辑控制器（PLC）一个复杂的可编程逻辑设备（CPLD），一个分立式门或者晶体管逻辑，一个分立式硬件模块，或者设计为执行本文所述功能的任意以上模块的组合。处理器可以利用纳米级架构（例如，但不限于，基于分子和量子点的晶体管、开关和门）进行开发以优化空间使用率或者提高用户设备的性能。一个处理器还可以实现成计算单元组合的形式。

在这里,像“数据存储”，“数据存储介质”，“数据库”以及有关一个模块的操作和功能的任何其他信息存储模块，指的是‘存储模块’或者体现为“存储器”的实体或者包含存储器的模块。这里所说的存储模块既可以是易失性又可以是非易失性的，或者两者都包括其中。例如（但不限于）：非易失性存储介质可以包括只读存储器（ROM），可编程只读存储器（PROM），电子可编程只读存储器（EPROM），电子可擦写存储器（EEPROM）或者是闪存。易失性存储介质可以包括常用做计算机外部缓存的随机存储器（RAM）。这里随机存储器可以是（但不限于）：同步RAM(SRAM)，动态访问RAM(DRAM)，同步动态访问RAM(SDRAM)，双通道SDRAM(DDR SDRAM)，增强型SDRAM（ESDRAM），同步链路DRAM（SLDRAM）和直接内存总线RAM（DRRAM）。需要指出的是，这里所列举的存储介质只是为了说明存储介质可以包括哪些，但不局限于这里列举的种类。

这里描述的各种方面或者特征可能利用标准程序设计以及/或者工程技术被实现为一种方法、仪器或者工业产品。这里用到的名词“工业产品“是包括从任何计算机可读设备、载体、以及媒介可访问的计算机程序。比如，一个计算机可读媒介可能包括但不仅限于磁盘存储设备（比如，硬盘，软盘，磁带等），光学磁盘(比如，紧致盘（CD）或者数字通用盘（DVD）等)，智能卡，和闪存设备（比如，卡，棒，键驱动等）。

另外，术语“或者”用于表示包含“或者”而不是排斥性“或者”。这就是说，除非特别说明，或者从内容中得到明确的意思，“X使用A或者B”是指任何自然非排斥的排列。也就是说，如果X使用A；X使用B；或者X使用A和B，那么在上述任何一种情况下都满足“X使用A或者B”。还有，这里所用到的冠词“一个”和“一种”应该大体上用于指代一个或者多个，除非特别说明或者从上下文中可以明显地看出其特指的单数形式含义。

以上所阐述的包括系统和方法的例子，用以提供本专利的优点。在这里，为了描述本申请，描述每个可能想到的组件和方法的组合是不现实的，但是本领域的技术人员应该认识到：还有很多种可能的本文所述的各种实施例的组合和排列。并且，“包含”，“具有”，“含有”等这类术语用在说明书、权利要求书、附图中表示“包括”，其含义类似于权利要求中所使用的过渡术语“包括”的含义。

Claims (18)

1.一种辅助建筑物建模的方法，包括：

从图像中提取原始采样部分作为可能重复图案；

针对采样部分中的每个采样点，计算相似度图，确定相似度图中的稳定点，计算稳定点和采样点之间的平移，将平移映射到变换域，计算变换域中的模式点，使用模式点和原点匹配变换网格并且将那些与采样点的转换向量在匹配得到的变换网格上的稳定点留下作为图像网格，

对多个采样点执行同样的处理，获得多个图像网格，这些图像网格在相互重叠并且具有同样的转换向量和网格大小时被合并在一块，重复次数最多的网格结构被看作是最可能发生的重复图案，从而留下可能重复图案中被确定为实际重复图案的所选图案；

利用来自变换域和空间域的信息将实际重复图案从子群域聚类到集合群域；以及

部分地基于来自变换域和空间域的信息来提取实际重复图案的一种或多种形状。

2.权利要求1中的方法，进一步包括：确定中心处在拐角点的宽度部分和至少一个像素之间的相似度图，以辅助确定重复图像图案。

3.权利要求2中的方法，进一步包括：确定相似度图中的稳定点和密度图的模式，以辅助确定重复图像图案，其中稳定点是与采样点相关的重复图像图案。

4.权利要求1中的方法，进一步包括：确定边框范围和在图像空间中构建格栅结构以辅助确定重复图像图案。

5.权利要求1中的方法，进一步包括：把变换域中的网格结构分类成多个具有相关子群的群，其中每个子群的多个区域被分割以估计出前景物体的形状。

6.权利要求5中的方法，其中所述分类包括根据分层次聚类来对网格结构进行分类，并且进一步包括在确定各网格结构之间的距离或者确定聚类间距离之前在空间域之间进行平移。

7.权利要求6中的方法，进一步包括：采用最近邻规则来确定较小的或较大的聚类间距离。

8.权利要求1中的方法，进一步包括：决定网格结构的矩心，用来辅助提取重复图案。

9.权利要求8中的方法，进一步包括：通过将组成元素与一个或多个模板进行匹配来确定分数以辅助重复图案提取。

10.一种辅助建筑物建模的系统，包括：

检测器，用于确定图像中的采样点和产生每个采样点的相似度图；

聚类模块，确定相似度图中的稳定点，计算稳定点和采样点之间的平移，将平移映射到变换域，计算变换域中的模式点，使用模式点和原点匹配变换网格并且将那些与采样点的转换向量在匹配得到的变换网格上的稳定点留下作为图像网格，对多个采样点执行同样的处理，获得多个图像网格，这些图像网格在相互重叠并且具有同样的转换向量和网格大小时被合并在一块，重复次数最多的网格结构被看作是最可能发生的重复图案，以便确定多个任意形状的重复图案；

矩形分析器，确定图像内的非重复图案的区域；以及

建筑物正墙布局模块，产生一组互不相交结构区域以辅助图像内的对称检测。

11.权利要求10中的系统，进一步包括：平移对称模块，用于在图像中决定一个或者多个采样点，以辅助图像内的对称检测。

12.权利要求11中的系统，其中所述平移对称模块包括：一个聚类模块，用于通过构建作用于图像内的一个或多个采样点的变换网格来产生一个或者多个可能的图像中的网格结构。

13.权利要求12中的系统，还包括一个剖分模块，用于确定与网格结构相关的相似点，其中相似点被用来构建穿过与图像内的采样点相关的矩心的水平线或者竖直线。

14.权利要求10中的系统，进一步包括：旋转对称检测模块，其用于确定在建筑物正墙局部出现的旋转对称区域，其中旋转对称检测模块确定旋转中心点和旋转角度以确定旋转对称区域。

15.权利要求10中的系统，进一步包括：建筑物正墙分析模块，用于决定建筑物正墙内的重复图案和非重复物体，其中重复图案是通过互不相交的对称图案之间的距离确定的，而非重复物体是通过分析与重复图案不相关的图像区域的纹理信息确定的。

16.权利要求10中的系统，进一步包括：一条或者多条文法规则来辅助自动生成建筑物正墙，其中所述文法规则是与计算机生成式建筑物（“CGA”）形状相关的，用以辅助图像内的对称检测。

17.权利要求16中的系统，进一步包括：一条或者多条包含规则，用于定义被定义为建筑物正墙的区域内包括哪些图案或形状。

18.权利要求17中的系统，进一步包括：一条或者多条启发式规则，用于定义合成的建筑物正墙布局，其中，所述启发式规则与以下相关：复制原图布局比例，通过确定的结构区域的倍增来代替结构区域，或者通过随机调整建筑物正墙布局内的一个或多个区域来复制原始建筑物正墙布局。

Images