CN112106109A - 具有表面区分的口腔内扫描 - Google Patents

Abstract

本文公开了一种用于生成口腔内腔的至少一部分的数字3D表示的方法，该方法包括：使用口腔内扫描仪记录包含表面数据的多个视图，这些表面数据至少表示口腔内腔的该部分的表面点的几何形状；至少部分地基于得分来确定每个表面点的权重，该得分是对该表面点表示特定类型表面的置信度的度量；执行拼接算法，该拼接算法对该多个视图中的表面点进行加权拼接，以基于所确定的权重来生成数字3D表示；其中，通过至少一种得分寻找算法找到表面点的得分，该算法将至少是该表面点的表面数据的几何部分和该表面点附近的点的表面数据作为输入。

Description

具有表面区分的口腔内扫描

技术领域

本文公开了用于扫描患者的口腔内腔的扫描仪系统和方法。特别地，本公开涉及考虑到扫描期间的组织变形，一起拼接口腔内腔的数字3D表示。诸如机器学习算法的得分寻找算法可用于训练该系统，以在各种类型的表面之间区分，并加权不同的表面，以将记录的视图拼接成组合的数字3D表示。

背景技术

在牙科领域，需要对患者的牙齿以及可能口腔内腔其他部位的3D形貌测量，以作为修复或正畸治疗的基础。传统上，这种3D测量是通过最初获取物理印象来执行的。因为该过程通常使患者不满意，所以最近，口腔内3D扫描仪已被用于直接测量牙齿或口腔内腔其他部位的形貌。

由于尺寸限制，口腔内3D扫描仪通常一次记录小的视图，每个视图都包含距离图和其他可能的信息，例如颜色。随着扫描仪的移动，这些视图将逐渐拼接在一起，以进行组合的3D形貌测量。这样的记录，例如，针对单个下巴的牙齿和周围的牙龈作为关注区域，通常需要至少一分钟的时间，并且通常会产生至少100个视图。术语“配准”和“拼接”在文中通常可互换地使用。通常也转换为表面的拼接模型通常被称为由扫描仪测量的3D形貌的“虚拟3D模型”或“数字3D表示”。

口腔内腔的几种表面不是刚性的。例如，在记录过程中，脸颊和舌头可能会明显变形。牙龈也可能变形，但是变形通常较小。另外，在使用口腔内扫描仪进行记录期间会遇到异物。一些异物是刚性的，但活动性很高，且通常仅出现在某些记录视图中，例如牙科器械。棉垫之类的其他异物可能移动得较少，并出现在较多的记录视图中，但变形更大。牙医的手指通常仅在几个记录视图中会明显移动和变形。

由于视图的拼接通常基于被扫描表面稳定且刚性的假设，因此任何可移动或变形的表面通常都会导致组合3D形貌测量的准确性的损失。存在非刚性的拼接算法，但是它们在计算上昂贵并且需要附加信息，例如界标(landmark)，这在口腔内扫描期间通常是不可用的。

已经引入了几种方法来减少可移动或可变形表面对口腔内3D扫描的有害影响。一种策略是例如通过使用脸颊牵开器使这些表面远离视图。由于患者通常认为脸颊牵开器不舒服，并且由于其只能解决部分问题，因此引入了数据处理方法。

US7698068描述了一种基于颜色区分牙齿和其他口腔内组织的方法，并且仅在记录期间使用表示牙齿颜色的视图部分进行拼接。由于牙齿是刚性的，并且比其他组织更洁白，因此通常可以提高组合3D形貌测量的质量。但是，牙齿可能既会自然变色，也会由于修复而变色，因此仅按颜色分类可能是不准确的。同样，非白色但较刚性的组织(例如腭皱)可用于拼接，尤其是在无牙的情况下，且因此不可忽略。此外，一些可变形的异物表面，例如棉垫，可以具有与牙齿颜色相似的颜色，但拼接时应忽略不计。

US9629551描述了一种通过在记录口腔内腔的相同部分期间分析多个视图的一致性来检测可移动物体的方法。该方法仅使用几何信息，且因此对于颜色多样性而言很稳健。

仍然需要一种口腔内3D扫描仪，以及一种使用该扫描仪的方法，该方法通常对变形或移动表面具有稳健性。

发明内容

在一个方面，本文公开了一种用于生成口腔内腔的至少一部分的数字3D表示的方法，该方法包括：

-使用口腔内扫描仪记录包含表面数据的多个视图，这些表面数据至少表示口腔内腔的该部分的表面点的几何形状；

-至少部分地基于得分来确定每个表面点的权重，得分是对该表面点表示特定类型表面的置信度的度量；

-执行拼接算法，该算法对所述多个视图中的表面点进行加权拼接，以基于确定的权重生成数字3D表示；

其中，通过至少一种得分寻找算法找到表面点的得分，该算法将至少是该表面点的表面数据的几何部分和该表面点附近的点的表面数据作为输入。

一个或多个处理单元可以被配置为应用在数据上训练的算法，例如机器学习算法，以区分指示组织类型的各种类型的表面，其他表面以及在记录的视图中的可能错误的数据。每个视图都包含表面几何数据，在相对于扫描仪的坐标系中定义的至少一些点z(x，y)。根据本公开的实施例的扫描仪和方法使用加权来将记录的视图拼接到3D形貌的组合表示，也称为数字3D表示。拼接中的点的权重至少部分地由得分决定，该得分是表示至少一种类型的表面的该点的置信度的度量。置信度的度量以及因此所述得分可以是启发式度量或概率。

根据本公开的扫描仪和方法可以不必直接检测组织或异物的运动或变形。它通常基于表面的假定移动或变形倾向来区分表面类型，而不管此类类型的实际表面在扫描期间是否发生了移动或变形。表面类型可以基于组织学，例如牙本质或粘膜。它们也可以基于位置，例如，牙齿之间的牙龈比准备好的牙齿周围的牙龈具有更小的变形倾向。表面类型也可以是启发式的，例如在数字3D表示中是否需要它们。具有相对较小的变形或运动倾向的表面类型对于拼接而言通常更合乎要求。

在本公开中，通过表面类型的区分可以至少部分地基于表面几何数据，而已知技术需要额外的数据进行区分，例如，如US7698068中的表面颜色。另外，根据本公开的实施例的扫描仪或方法也可以在视图中提供和利用附加的表面数据，例如表面颜色。根据本公开的扫描仪或方法还可提供并利用其记录的表面数据的确定性。

可以使用迭代最近点(ICP)算法或本领域中的其他适当算法的许多变体之一来执行加权拼接。描述了成对加权，参见例如[1]。在加权拼接的另一种表达方式中，可以基于表面数据的权重对表面数据进行分类，然后仅在拼接中使用一些最高分位数或超过某个阈值的一些。在本公开的意义上，加权拼接是表达区分的一些数学公式，使得视图中的某些数据与其他数据相比对结果具有相对更大的影响。

拼接模型的公共坐标系可以是第一视图的局部坐标系。拼接视图应理解为通过将视图的表面几何数据z(x，y)转换为公共坐标系，同时将相同的几何变换应用于视图中的任何其他表面数据来拼接视图的表面几何数据。具有零权重或某较小权重的视图内的表面数据点可以包含在转换中，或者也可以除去它们。

数字3D表示可以几种方式表示。单独拼接至少会提供点云。通常希望用表面(例如三角形网格)来近似点云，消除点数据中的噪声并提供数字3D表示，这是牙科CAD更好的基础。在拼接所有视图之后，某些算法会建立这样的表面，例如[2]。一些算法为记录和拼接的每个视图逐步建立一些中间表面模型，可能还使用该中间模型来改善拼接，例如[3]。在记录完所有视图后，通常会计算出最终表面来代替中间表面。具有较小权重的表面数据点(如果在拼接相应视图时未除去)通常会在此步骤中有效除去，因为它们被检测为噪音。

在一些实施例中，点z(x，y)被布置为距离图，即，从相对于扫描仪限定的某个参考表面到被扫描表面的距离z(x，y)。在一些实施例中，坐标(x，y)存在于平面参考表面上的网格上。在本公开的意义上的表面数据点至少包含几何信息，即z(x，y)。还可以使用在(x，y)处为表面记录的其他数据(例如颜色)或z(x，y)的确定性的某种度量或其他一些数据来增强它。

为了通过表面类型区分位置(x，y)，本公开的扫描仪考虑了值z(x，y)以及在(x，y)附近的z的附加值。考虑邻域可以揭示某些表面类型典型的几何结构。邻域可以是直接邻域，也可以是延伸到直接邻域之外的一组邻近区域。应用内核(kernel)来显示几何结构或一组内核可能很有用。考虑到邻域中包含的附加信息是对现有技术的另一种改进。

在一些实施例中，得分寻找算法是机器学习算法。可以使用任何类型的机器学习算法。机器学习算法的一些示例包括人工神经网络，例如深度人工神经网络，卷积人工神经网络或递归人工神经网络。本公开的实施例的机器学习方法可以应用降维方法，诸如主成分分析或自动编码器。

在一些实施例中，机器学习算法包括具有至少一个卷积层的神经网络。卷积神经网络自然提供了对邻域的考虑。对于在(x，y)的网格(最好是等距网格)上限定或重新采样的距离图或颜色，可以类似地应用为图像分析和图像分割发布的许多机器学习算法。用于在表面类型之间进行区分的算法也可以是更经典的机器学习算法，例如使用支持向量机。用于在表面类型之间区分的算法也可以是基于更经典的统计方法(例如贝叶斯统计或回归类型)的算法。以上类别的算法中的各种算法也可以组合使用。

在一些实施例中，在通常用扫描仪在口腔内腔中记录的多种类型的表面上训练至少一种机器学习算法。通过在通常在口腔内腔中发现的各种类型的表面(例如牙齿，牙龈，舌头，上颚等)上标注训练集图像，所得的权重确定将更加稳健和一致。

可以监督，半监督或无监督地训练用于区分表面类型的机器学习算法。对于半监督或监督学习，可以至少部分地基于带注释的视图或带注释的数字3D表示来进行训练。可以将数字3D表示上的注释反向投影到有助于该数字3D表示的每个视图，因为拼接还可以实现将每个视图转换至公共坐标系。因此，注释可以被带到视图，并且可以用于训练基于视图的机器学习算法。注释可以由人和/或某种算法来执行。

在扫描期间，机器学习算法以推理模式运行，从而检测得分，该得分是对属于一种或多种表面类型的表面数据的置信度的度量。通常，对于推理中的每种表面类型，得分可以表示为具有一个值的向量。在使用神经网络的实施例中，通常可能在应用诸如对数变换之类的一些变换之后，从输出层获得得分。

如本申请中所使用的置信度量度是指表明确定程度的一些得分。置信度的度量可以是概率，尤其是在基础随机变量的分布已知或假定已知的情况下。如果不存在这样的知识，或者似乎不需要任何假设，或者如果出于其他原因而被优选，则置信度的度量可以是一些更主观的评估和/或所述确定程度的表达。

数学上可能方便的是，得分为1表示对表面数据属于特定表面类型(例如牙齿或牙龈)的确定的置信度，而得分为零则表示对表面数据不属于该特定表面类型的确定的置信度。得分从零增加到一则表示着表面数据属于该特定表面类型的置信度不断增大。

根据该点的得分，例如作为得分的函数，找到该拼接中的表面数据点的权重。其中对于具有最高得分的表面类型所述函数为1、否则为0的实施例在本领域中称为分类。用于分类的机器学习算法的一个示例是[4]。使用更精细的函数可能是有利的，例如，仅当最高得分显著大于所有其他得分，例如大于所有其他得分之和时，才返回值1。该函数为几种表面类型返回非零值也可能是有利的—例如如果有理由相信表面数据点可以是多种表面类型中的任何一种表面类型。如果得分不大或在类似的确定性较差的情况下，该函数也可以针对所有表面类型返回0。

在一些实施例中，表面的类型表示一种以上类型的口腔内组织。在某些情况下，将不同的口腔内组织类型分组在一起，例如将牙齿表面与牙龈顶部分组在一起，可能是有利的，因为这对于将数字3D表示拼接在一起是有用的。

在一些实施例中，拼接中每个表面点的权重也由表面类型的权重来确定。这意味着从得分以及从表面类型权重，例如在表面类型权重和所述得分的乘积的所有表面类型的线性组合中，找到拼接中某个特定表面数据点的权重。表面类型权重优选先验分配，拼接所需的表面类型要接受较高的权重，而其他类型的权重要小。在一些实施例中，一些表面类型权重被设置为零，因此那些表面类型的表面数据被从视图中滤除。可能存在影响权重公式的其他考虑因素，例如，表面数据点表示的表面片的大小，例如，因为它是片内所有点的最近数据点。

在一些实施例中，在记录视图的同时，推理可以实时或几乎实时地执行。这可以允许拼接也是实时的或几乎实时的。实时执行拼接是有利的，因为可以在用户扫描时建立并可视化位点(site)的3D表示，从而帮助用户导航该位点。因此，这些实施例是对诸如例如US7720267、US8170306和US9349178的其他机器学习推理应用的明显改进。

根据本公开的机器学习推理的其他实施例可以执行得较慢—例如在记录了两个或更多个视图之后，但提供更好的准确性。也可以将基于来自单个数据的某些推理的有限程度的表面数据加权与基于来自多个视图的某些推理的附加表面数据加权相结合，从而潜在地提供速度和准确性的良好组合。

在一些实施例中，表面数据还包括颜色信息。将颜色信息添加到表面数据可以使组织类型确定更加安全。

在一些实施例中，至少部分地使用由口腔内扫描仪记录的数据来训练至少一种机器学习算法。由于来自不同制造商的扫描仪之间的灵敏度和图像质量可能会有所不同，因此用于训练机器学习算法的数据与随后将由用户获取的扫描匹配得越紧密，结果将越准确。

在一些实施例中，至少一种机器学习算法至少部分地由口腔内扫描仪的操作者训练。本公开的扫描仪系统可以在具有至少一种预训练的机器学习算法的情况下被提供给用户。在其他实施例中，扫描仪的用户在接收到扫描仪之后执行至少一些训练。例如，另外的训练数据可能包含颜色图像或表面几何数据，其中会出现牙医使用的特殊类型的手套或棉卷。另外的训练数据也可能来自牙科医生所占比例高于平均水平的患者种族。通过额外的训练，扫描仪还可以适应用户的扫描风格。可以在扫描仪系统的一个或多个处理单元上或在云中执行另外的训练。定制具有另外的训练的机器学习算法可能是有利的，因为它可能会执行得更好。

在一些实施例中，为一种类型的应用选择一种得分寻找算法，并且为另一种类型的应用选择至少一种其他算法。为不同类型的应用训练几种机器学习算法，以便在推理期间进行后续选择，可能会是有利的。适当算法的选择可以例如由扫描仪的用户在用户界面中进行。

应用的类型可能会在训练所针对的或者推理的表面类型组中有所不同。例如，具有包含表示牙间乳头状突起和牙龈袋的表面类型的组的算法可能与监视患有牙龈炎的患者有关。在另一示例中，具有包含表示部分齿龈的表面类型的组的算法可能与无牙的患者有关，其中牙齿表面数据很少且通常不足以拼接。

在其他实施例中，应用的类型至少部分地由以下中的至少一种来表征：特定患者年龄组，特定患者种族，特定治疗种类，特定的医学适应症，与扫描仪一起使用的特定种类的设备，或口腔内腔的特定区域。例如，一种算法可能最适合儿童，而另一种算法最适合成人，或者某些种族与其他种族的区别。应用的类型也可以表示不同种类的牙科治疗，例如，由组织或区域特定的标准操作程序或设备或类似方式来确定。

在一些实施例中，得分在多个视图上求和。当将子扫描拼接在一起时，可以创建临时数字3D表示。然后可以从多个视图对临时表示中的每个三位像素进行成像，且然后可以在多个视图上对得分求和，以做出更稳健的得分确定。

在一些实施例中，应用了用于从记录的视图滤除数据的其他算法或标准。

在一些实施例中，所述其他算法之一评估多个视图之间的几何一致性。其一个示例是如US9629551B1中公开的基于几何一致性的可移动物体检测。在推理期间，在找到得分之前基于其他标准滤除掉表面数据简化了拼接问题，而在找到所述得分之后基于其他标准滤除掉表面数据可以改善总体结果。但是，在训练期间，不基于其他标准进行滤除，以这种方式保留相对更多的训练数据，可能是有利的。

本公开的有利实施例使用基于几何一致性和语义分割的滤除的组合。在该实施例中，从与仅由属于期望的表面类型的片段的那些表面数据建立的数字3D表示相同的空间中的所有数据建立排除体积。然后，例如在收集所有视图并因此收集了有关排除体积的大多数信息之后，可以除去排除体积中的数字3D表示的部分。也可行的是，仅基于通过滤除的数据进行拼接，但是也保留滤除出的数据以供以后进行分析。

在一些实施例中，扫描仪还为记录的视图提供测量的表面数据的某些确定性信息，并且其中所述确定性信息至少部分地确定得分。在一些这样的示例实施例中，扫描仪是对焦扫描仪，例如US8878905中公开的对焦扫描仪。对焦扫描仪可以根据对焦度量的独特性提供测量的z(x，y)数据的确定性。其他种类的3D扫描仪也可以提供有关测量的表面数据的确定性信息。例如，使用由至少两个相机记录的三角测量或投影光图案的扫描仪可以提供两个同时的视图，并从它们之间的一致性程度中获得确定性。其他3D扫描仪可能会从图像对比或从其他信息推断出确定性。另外的其他扫描仪可以提供其他表面数据(例如颜色)的确定性。

表面数据的确定性可以用于在拼接中额外地修改它们的权重，或者它们可以在训练和推理期间使用。确定性或视图中的其他表面数据可以用数学方式表示，例如，表示为增强距离图中的其他通道。然后可以类似地在本公开中应用为多通道图像分析和图像分割而发布的许多机器学习算法。

在本公开的另一方面，本文公开了一种用于产生口腔的至少一部分的数字3D表示的扫描仪系统，该扫描仪系统包括：

-手持式口腔内扫描仪；

-用于执行拼接算法的处理单元，该拼接算法对多个视图的表面点进行加权拼接而成为数字3D表示，该拼接中每个表面点的权重至少部分地由作为表示特定类型表面的所述表面点的置信度的度量的得分来确定；和

-通过至少一种得分寻找算法找到表面点的得分，该算法将该表面点的表面数据的至少几何部分和该表面点附近的点的表面数据作为输入。

运行机器学习算法的数据处理单元可以是口腔内扫描仪的一部分，或者它们也可以包含在与手持式扫描仪相连的另一个外围设备中。手持式扫描仪保持相对凉爽的功率需求和法规要求使得将处理器件放置在单独的外围设备中是有利的。该一个或多个处理单元可以是PC、FPGA或类似物，还可以包含GPU，并且还可以执行其他数据处理。该处理单元可以连接到显示器，当在扫描期间拼接虚拟模型时，在显示器上显示虚拟模型。

在一些实施例中，至少一种得分寻找算法是机器学习算法。

在一些实施例中，扫描仪具有至少近远心的光学系统。当视图不受比例影响时，即当在扫描仪的整个景深上以相同的分辨率和大小对给定的表面类型进行成像时，通常更容易训练机器学习算法并用于推理。具有远心光学系统的扫描仪通过构造提供了该优点，而具有近远心光学系统的扫描仪(例如，具有大于零度但小于10度的视角的扫描仪)提供了其近似值。对于具有较大视角的扫描仪，在用于机器学习之前对视图重新采样可能是有利的。例如，在从构造或校准获得光学系统知识的情况下，可以计算出视在正交视图。由于重采样可以补偿尺寸的缩放效果，但不能补偿分辨率，因此具有近远心光学系统的扫描仪比使用重采样的扫描仪更优选。

在本公开的一些实施例中，扫描仪是共焦口腔内扫描仪。

在本公开的一些实施例中，扫描仪还可以提供和利用所测量的表面数据的某些确定性信息。在一些这样的示例实施例中，扫描仪是对焦扫描仪，例如US8878905中公开的对焦扫描仪。对焦扫描仪可以根据对焦度量的独特性提供测量的z(x，y)数据的确定性。其他种类的3D扫描仪也可以提供有关测量的表面数据的确定性的信息。例如，使用由两台相机记录的投影光图案的三角测量的扫描仪可以同时提供两个视图，并从它们之间的一致性程度中获得确定性。其他3D扫描仪可能会从图像对比或其他信息推断出确定性。其他扫描仪可以提供其他表面数据(例如颜色)的确定性。

表面数据的确定性可以用于在拼接中额外地修改它们的权重，或者它们可以在训练和推理期间使用。确定性或视图中的其他表面数据可以用数学方式表示，例如，表示为增强距离图中的其他通道。根据本公开的实施例，然后可以类似地应用为多通道图像分析和图像分割发布的许多机器学习算法。

当视图不受比例影响时，即当在扫描仪的整个景深上以相同的分辨率和大小对给定的表面类型进行成像时，通常更容易训练机器学习算法并用于推理。具有远心光学系统的扫描仪通过构造提供了该优点，而具有近远心光学系统的扫描仪(例如，具有大于零度但小于10度的视角的扫描仪)提供了其近似值。对于具有较大视角的扫描仪，在用于机器学习之前对视图重新采样可能是有利的。例如，在从构造或校准获得光学系统知识的情况下，可以计算出视在正交视图。由于重采样可以补偿尺寸的缩放效果，但不能补偿分辨率，因此具有近远心光学系统的扫描仪比使用重采样的扫描仪更优选。

在另一方面，本文公开了一种计算机程序产品，该计算机程序产品包含程序代码，该程序代码包含体现本文公开的方法或功能中的任何一个或多个的指令。

附图说明

将参考附图通过以下对本公开实施例的说明性和非限制性详细描述，进一步描述本公开的实施例的以上和/或其他目的，特征和优点，其中：

图1示出了根据本公开实施例的扫描仪系统；

图2示出了根据本公开的实施例的扫描仪系统的示例手持部分的示意图；

图3示出了根据本公开实施例的用于确定距离图的一个空间周期棋盘图案的视图；

图4示出了根据本公开实施例的在相同位置处具有它们的最大值的两个像素组的示例性曲线；

图5a示出了根据本公开的实施例的下口腔的一部分的截面图；

图5b示出了根据本公开的实施例的用于训练机器学习算法的过程；

图6示出了根据本公开的实施例的合适的卷积神经网络的架构；

图7a示出了根据本公开的实施例的可如何在推理模式中应用训练的机器学习算法的示例；

图7b示出了根据本公开的实施例的可如何在推理模式中应用训练的机器学习算法的另一示例；和

图8示出了根据本公开的实施例的如何将图7(b)的算法扩展为还使用基于排除体积的滤除的示例。

具体实施方式

图1示出了根据本公开的实施例的扫描仪系统的示例应用。牙医握住手持式扫描仪100。该手持式扫描仪通常通过线缆60连接到具有屏幕55的膝上型计算机50。在某些情况下，手持式扫描仪可以是无线的。在屏幕55上进行扫描时，将显示作为拼接结果的数字3D表示。随着新视图被记录并拼接为数字3D表示，显示会随时间更新。膝上型计算机50是用于一个或多个处理单元的外围设备，该一个或多个处理单元包括执行本公开的实施例的算法的CPU和GPU。一些扫描仪通过无线传输而不是通过线缆与处理器件通信。

图2示意性地示出了根据本公开的实施例的口腔内扫描仪的手持部分100的示例。它包括LED光源110，透镜111，图案130(在真实截面图中为一条线，但此处为了清楚起见以一定角度显示)，分束器140和图像传感器180。由于有可移动的透镜150，所以扫描仪的对焦扫描仪。反射镜170将光束路径折叠向被扫描的包括牙齿301和牙龈302的口腔内腔的一部分。还显示为虚线的是从光源110发出的一些光线，其通过光学系统传输到牙齿表面上它们对焦的位置，然后通过光学系统返回，并成像到传感器180上，此处它们也对焦。对于图2中所示的对焦透镜150的位置，一些牙龈302是可见的，但是没有对焦。对于透镜150的其他位置，它可能会进入对焦。

图3和图4示出了如何处理来自示例性手持式扫描仪100的数据以产生距离图。图3(a)是当扫描表面上的那个空间周期的图像对焦时由图像传感器180看到的一个空间周期棋盘图案130的视图。在图案的图像完全散焦的极端情况下，图像传感器会看到均匀的灰色。如果图像传感器像素和图案对准使得图案的边界成像到像素的边界上，则是有利的。如图3(b)所示，将表面对焦时预期会变暗的像素被分配权重f(i)＝-1，而将预期明亮的像素被分配权重f(i)＝1，其中i是像素索引。

随着对焦透镜的移动，将拍摄图像。通过编码器，并在需要时进行适当的插值，来找到每个图像的对焦透镜的位置s。针对位置p，对于图像中的所有像素组，相关度量计算为：

其中I(i)是像素中测得的强度。对于图3(b)的示例，i从1延续到n＝(6*6)＝36。注意，通常，在典型的矩形图案130及其在传感器180上的图像中存在许多空间周期，例如N＝100*120＝12,000像素组，因此在该示例中，图像将包含至少36*12000像素。

当A在所有s上(即在对焦透镜通过一次内获得的一系列的图像中)都处于其最大值时，像素组对焦。然后，该最大值的位置将确定到被测表面的距离z(s)，因为从构造上可以知道扫描仪的光学元件，且因此，对于所有像素组和透镜150的所有位置，对焦平面的位置都是已知的。距离z(s)也可以从校准中找到或通过校准来完善。在图像传感器的平面和其上的某个点定义相对于扫描仪的坐标系，并且每个像素组在该坐标系中具有(x，y)—例如像素组的中心的情况下，针对给定的像素组的距离z(s)得出点z(x，y)。由于所有像素组的大小相同，因此所有位置(x，y)形成网格。

注意，如果像素组在某个位置s完全失焦，即所有像素都具有相同的值，则在该s处A＝0。还要注意，某些像素组可能永远不会对焦，例如，当没有要成像的表面时，或者当存在表面但在对焦范围之外时。无法确定此类像素组的距离。

对焦透镜应快速移动，以使给定的像素组至少近似表示被扫描表面的相同区域，即使存在某些手部运动也是如此。例如，对焦透镜可以以10Hz的循环频率通过所有s，来回移动，因此每秒通过20次。同时，通过期间的图像数量应很高，以产生良好的距离测量分辨率，例如200。这意味着图像传感器必须相当快，在此示例中，它将需要以10Hz*2*200＝4000赫兹速率获得图像。

图4示出了像素组的两个示例性曲线A(s)。两者在相同位置s＝10处都有其最大值。在如下意义上，曲线A1具有与A2相比更加截然不同的最大值：两个更大值都更高，并且针对A1的非零区域的宽度比针对A2的小。因此，与基于曲线A2的测量相比，可以认为基于曲线A1的距离测量更加确定。确定性较低的距离测量的原因可能有多种。一些是由于被扫描表面的特性，例如，该表面相对于视角倾斜或具有变化的反射率。手部运动通常也导致确定性较低的距离测量。可以量化确定性，例如，作为最大值，最大值的对数，A大于其最大值一半的区域的宽度的倒数或类似值。

总之，示例性扫描仪提供距离图，其中每个具有坐标(x，y)的像素组一个z值，具有相关的确定性q或未定义。(z，q)(x，y)的组合可以称为增强距离图，类似于具有两个通道的图像。然后，通过拼接以各种扫描仪姿势获得的增强的距离图，获得口腔内腔的扫描部分的完整3D表示。

其他类型的3D扫描仪包括三角测量3D激光扫描仪和结构光3D扫描仪。三角测量3D激光扫描仪使用激光来探测环境或物体。三角测量激光器将激光照射到物体上，并利用相机寻找激光点的位置。取决于激光冲击在表面上有多远，激光点会出现在相机视场的不同位置处。该技术被称为三角测量，因为激光点，相机和激光发射器形成了三角形。可以使用激光条代替单个激光点，且然后将激光条扫过物体以加快采集过程。

结构光3D扫描仪在物体上投射光的图案，并观察物体上图案的变形。图案可以是一维或二维的。一维图案的示例是线。使用例如LCD投影仪或扫掠激光器将线投影到物体上。自图案投影仪略微偏移的相机观察线的形状，并使用类似于三角测量的技术来计算线上每个点的距离。在单线图案的情况下，将线跨过整个视场扫略，以一次收集一条带的距离信息。其他3D扫描仪原理在本领域中是众所周知的。

对于如何得出一组表面类型的示例，对图5a进行参照。该图以截面图示出了具有切齿600，其牙龈边缘610，牙龈630和下唇650的下嘴部。一组可能的表面类型将仅根据这三种组织的类型。但是，为了进行更好的训练，减少组中表面类型的数量可能是有利的。以记录牙齿和近牙龈为目标的通用类型的应用为例，一个人可以将“牙齿”与一些近牙龈组织，例如直到点620，归并在一起，其余的是第二表面类型。前者对于拼接而言是“合乎需要”的，后者是“不合乎需要”的。点620(3D线)不必具有解剖学意义，但可以(例如)在扫描仪对牙齿的至少一部分进行成像时从扫描仪视场的范围进行设置。在该示例中，牙科器械，手指，棉垫或其他人工制品的任何表面也都被归并到“不合乎需要”的类型。

在图5b中示出了根据本公开的实施例的用于训练机器学习算法的过程的示例。

在步骤501中，扫描仪用于通过记录拼接的多个增强距离图来创建口腔内腔的一部分的数字3D表示，如针对图1-4所解释的。一些视图以及因此一些增强距离图可能包含牙科器械，手指，棉垫或其他人工制品。这些人工制品可以至少部分地以数字3D表示来表示，从而使该模型对口腔内腔的表示相对较差。

在步骤502中，数字3D表示的部分由如上文针对图5a所定义的表面类型注释。注释可以例如由人在图形用户界面中执行。注释也可以是半自动化的，其中人接收利用其他方法(例如传统图像分析算法)获得的建议。

在步骤503中，使用在拼接中发现的变换的逆转，将带注释的部分投影回到单独的增强的距离图。这为每个增强距离图提供了类图c(x，y)，其中c是类指示符。因为假设注释提供了完美的信息，则使用独热编码来得出属于步骤502的任何表面类型的增强距离图的一部分的得分p的向量。因此，在p中，类别c的元素设置为1，所有其他设置为零。在此处使用的示例中，p具有两个元素，一个用于“合乎需要”，另一个“不合乎需要”。

对于许多类似的记录R₁，R₂，…，R_m，例如至少m＝2个记录，执行步骤501-503。记录的数量m也可以例如为10、20、50、100、200、500或1000，或者介于它们之间或更高的任何数量的记录。记录关于口腔内腔的被扫描的部分是相似的，并且它们在某些视图中也可能关于人工制品是类似的，以类似的方式影响从m个记录创建的m个数字3D表示。

在步骤504中，训练神经网络以针对(z，q)(x，y)预测p(x，y)。如针对图4所解释的，将不确定性q取为A的最大值的对数。随着扫描仪输出如上所述在矩形网格上定义的距离图，增强距离图(z，q)(x，y)可解释为成为神经网络输入的两通道矩形图像。

注意，也可以对单个距离图，对单个增强距离图(这两种情况都不会导致拼接和琐碎的反向投影)，或者对多个距离图执行步骤501–504，尽管优选对多个增强距离图执行它们，因为该丛组(constellation)提供大多数信息。对于还提供颜色数据的扫描仪，可以将训练和预测公式化为针对(z，q，r，g，b)(x，y)的p(x，y)，其中r，g，b是颜色测量中的红色，绿色以及蓝色成分；对于扫描仪提供的其他或另外的数据，情况类似。

图6显示了合适的卷积神经网络的示例架构，其中：

I：输入图像，宽度为120，高度为100(图3和4的说明中使用的示例值)，以及分别用于z和q的两个通道。

P：零填充，图像周围的15像素边框宽度。

C：卷积层，气候是矫正的线性单元。

CR：裁剪层，用于减小尺寸以适合后续的层的操作。

B：放大层，使用因子2和双线性插值。

M：最大池化层。

+：用于逐元素添加相应通道的层。

O：通道数等于p(此处使用的示例中为2)的尺寸的输出图像。

图6还显示了各个层和操作中数据的维度。许多网络架构都是可行的。优选地，神经网络具有带小内核的卷积层，例如3×3×M，其中M是通道数。表面点邻域的影响来自卷积层的使用。更宽的邻域的影响来自最大池化层的使用。

因为定义了作为输入图像的相同(x，y)，输出图像具有与输入图像相同的宽度和高度，因此对于每个输入表面数据点，都存在输出p。

图7(a)显示了如何在推理模式中应用训练的机器学习算法的第一个示例。

在步骤700中，选择一组要预测的表面类型。在步骤700中，仅可以选择在步骤502中的训练期间定义的表面类型，但是可以对一些训练类型进行分组。对于当前的示例，假定训练和推理的组是相同的，两种表面类型为“合乎需要”的和“不合乎需要”的。但是，可以使用训练期间定义的任何数量的表面类型。

在步骤701，记录增强距离图(z，q)(x，y)。

在步骤702中，针对所记录的增强距离图中的所有点(x，y)推断关于(z，q)(x，y)的得分矢量p(x，y)。机器学习算法提供了推理。对于图6的示例卷积神经网络，p(x，y)由多通道输出图像O中具有坐标(x，y)的值给出，即每个通道提供向量p的一个元素。

在步骤703中，从表面类型权重和得分的函数(例如，作为点积)中找到拼接中的p(x，y)的权重w。

w＝wg(p(x,y))

其中w是表面类型权重的向量，而g是得分函数g的评估向量。例如，w可以选择为[1，0](第一个元素表示“合乎需要”的表面类型)。函数g可以选择为例如：

可以根据喜好使用除0.6以外的值，优选大于0.5的值，但是原则上也可以使用小于0.5的值。在步骤704中，将点z(x，y)拼接到从以前的视图建立的数字3D表示中，并根据它们在步骤703中找到的权重进行加权。例如，标准ICP算法用于拼接，且所有w>0的点包含在根本的最小化问题椎间盘买个。对于该第一个视图，将数字3D表示设置为点z(x，y)。

然后，该过程可以从步骤701重复以获取另外的视图，通常在操作者移动扫描仪时从不同的姿势获得，或者其可以终止(通常如果操作者确定数字3D表示已完成)。然后，通常将第一个数字3D表示转换为第二个数字3D表示：网格。

图7(b)显示了如何在推理模式中应用训练的机器学习分类算法的第二示例。

步骤700至702与图7(a)的第一示例中一样。

在步骤714中，将所有点z(x，y)拼接到根据先前视图建立的临时数字3D表示中，p(x，y)的值也是如此，从而在数字3D表示的空间中接收分别为(X，Y，Z)和p(X，Y，Z)的空间坐标。出于实用目的，临时虚拟模型的3D空间表示为三位像素，并且p(X，Y，Z)的值分配给最近的三位像素。在每个三位像素中，将p的值在视图上求和，并保持增加了多少个值的计数，从而例如可以稍后计算平均值。

然后，该过程可以从步骤701重复以获取另外的视图，通常在操作者移动扫描仪时从不同的姿势获得，或者其可以终止(通常如果操作者确定临时数字3D表示已完成)。

在步骤713中，以类似于步骤703的方式找到权重，但是对于平均值p，通过将总和除以值的数量找到该平均值。权重为0的三位像素会被滤除，且没有任何值的三位像素也会被滤除。

在步骤715中，例如，使用行进立方体算法，从剩余三位像素中的点(X，Y，Z)建立最终的虚拟模型。

图8显示了如何将图7(b)的算法扩展为也使用基于排除体积的滤除的示例。首先，排除体积为空。

步骤700–702和714如上文针对图7所述。

在步骤814中，用来自步骤714的拼接点(X，Y，Z)来更新排除体积。排除体积是例如从可见表面直到扫描仪以及扫描仪主体的空间。出于实用目的，可以在与步骤714中使用的相同三位像素空间上表示排除。二进制标志可以指示三位像素是否是排除空间的一部分。

然后，该过程可以从步骤701起针对如上所述的另外的视图重复。随着记录更多的视图，标记为处于排除空间中的三位像素的数量可以增加，但绝不会减少。

步骤713如以上针对图7所解释。

在步骤813，删除仍包含求和的p的值但在排除体积中的所有三位像素。如果三位像素空间相同，则最容易实现此步骤；否则，可以使用最近邻居搜索在排除体积三位像素空间中找到最接近的三位像素。

步骤715如以上针对图7所解释。

尽管已经详细描述和示出了一些实施例，但是本发明不限于它们，而是还可以在所附权利要求书限定的主题的范围内以其他方式实施。特别地，应当理解，在不脱离本发明的范围的情况下，可以利用其他实施例，并且可以进行结构和功能上的修改。

在列举了几种装置的设备权利要求中，这些装置中的几个可以由一个相同的硬件项来实施。在互不相同的从属权利要求中叙述或在不同的实施例中描述某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。

权利要求可以指前述权利要求中的任意一项，并且“任意”应理解为是指前述权利要求中的“任意一个或多个”。

应该强调的是，当在本说明书中使用术语“包括/包含”时，其应被视为用来指定存在所述特征、整体、步骤或构件，但是不排除存在或增加一个或多个其他特征、整体、步骤、构件或其集合。

文献：

[1]Khoshelham K，Dos Santos DR，VosselmanG；“Generation and weighting of3D point correspondences for improved registration of RGB-D data”(《用于改进RGB-D数据的配准的3D点对应关系的生成和权重》)；Proc.ISPRS Ann.Photogramm.RemoteSens.Spat.Inf.Sci.2013年11月11日；5:W2。

[2]Kazhdan M，Hoppe H.“Screened Poisson surface reconstruction”(《筛选的泊松表面重建》)；ACM Transactions on Graphics(TOG)(《美国计算机学会图形学汇刊(TOG)》)；2013年6月1日；32(3):29

[3]Newcombe RA，Izadi S，Hilliges O，Molyneaux D，Kim D，Davison AJ，KohiP，Shotton J，Hodges S，FitzgibbonA；KinectFusion：“Real-time dense surfacemapping and tracking”(《实时密集表面映射和跟踪》)，2011年10月26日，第10届IEEE国际研讨会，“Mixed and Augmented reality(SIMAR)(《混合和增强现实(ISMAR)》)”，(第127-136页)，IEEE。

[4]Long J，Shelhamer E，DarrellT；“Fully convolutional networks forsemantic segmentation”(《针对语义分割的完全卷积网络》)；IEEE计算机视觉和模式识别2015会议的记录(第3431-3440页)。

Claims (10)

1.一种用于生成口腔内腔的至少一部分的数字3D表示的方法，该方法包括：

-使用口腔内扫描仪记录包含表面数据的多个视图，所述表面数据至少表示所述口腔内腔的该部分的表面点的几何形状；

-至少部分地基于得分来确定每个表面点的权重，所述得分是对该表面点表示特定类型表面的置信度的度量；

-执行拼接算法，所述拼接算法对所述多个视图中的表面点进行加权拼接，以基于所确定的权重来生成所述数字3D表示；

其中，通过至少一种得分寻找算法找到所述表面点的得分，该得分寻找算法将至少是该表面点的表面数据的几何部分和该表面点附近的点的表面数据作为输入。

2.根据权利要求1所述的方法，其中，所述至少一种得分寻找算法是机器学习算法。

3.根据权利要求2所述的扫描仪，其中，所述至少一种机器学习算法包括具有至少一个卷积层的神经网络。

4.根据权利要求2或3所述的方法，其中，所述至少一种机器学习算法是在通常用扫描仪在口腔内腔中记录的多种类型的表面上训练的。

5.根据前述权利要求中的任意一项所述的方法，其中，所述表面数据还包括颜色信息。

6.根据前述权利要求中的任意一项所述的方法，其中，在生成所述数字3D表示之前，至少部分地使用由口腔内扫描仪记录的数据来训练至少一种机器学习算法。

7.根据前述权利要求中的任意一项所述的方法，其中，至少一种机器学习算法至少部分地由操作者/口腔内扫描仪来训练。

8.根据权利要求10至13中的任意一项所述的方法，其中，所述其他算法之一评估多个视图上的几何一致性。

9.根据前述权利要求中的任意一项所述的方法，其中，所述扫描仪还为所记录的视图提供所测量的表面数据的某些确定性信息，并且其中，所述确定性信息至少部分地修改所述得分。

10.一种用于重构口腔的至少一部分的数字3D表示的扫描仪系统，所述扫描仪系统包括：

-手持式口腔内扫描仪；

-处理单元，其被配置为执行拼接算法，该拼接算法进行将多个视图的表面点加权拼接为所述数字3D表示，拼接中每个表面点的权重至少部分地通过作为所述表面点表示特定类型的表面的置信度度量的得分来确定；

其中，通过至少一种得分寻找算法找到表面点的得分，该得分寻找算法将至少是该表面点的表面数据的几何部分和该表面点附近的点的表面数据作为输入。

Images