CN114364336B - 牙科全景视图 - Google Patents

Abstract

本文提供的是生成受试者牙齿的全景渲染的装置和方法。提供了使用牙科扫描对受试者牙齿进行成像的方法和过程。还提供了使用扫描图像来对受试者牙齿进行自动3D渲染的方法和过程。还提供了从各种视角生成受试者牙列的模拟全景视图的方法和设备。

Description

牙科全景视图

优先权要求

本专利申请要求于2019年9月10日提交的、标题为《来自多个全景视图的3D屏视图(3D SCREEN VIEW FROM MULTIPLE PANORAMIC VIEWS)》的美国临时专利申请第62/898,481号，以及于2020年3月18日提交的、标题为《来自多个全景视图的3D屏视图》的美国临时专利申请第62/991,532号的优先权，这两个美国临时专利申请中的每一个都以引用的方式整体并入本文。

参考引用

本说明书中提及的所有出版物和专利申请均以引用的方式整体并入本文，其程度与每个单独的出版物或专利申请被具体且单独地表示以引用的方式并入的程度相同。

背景技术

许多牙科和正畸过程可以受益于对患者齿形和口腔(intraoral cavity)的准确三维(3D)描述。已经证明，牙齿3D表面的表面表现在牙修复体(例如，牙冠或牙桥)的设计和制造以及治疗计划中非常有用。

历史上，电离辐射(例如，X射线)已经被用于牙齿的成像。例如，X射线咬翼射线照片(X-Ray bitewing radiogram)通常用于提供牙齿的非定量图像。然而，除了电离辐射的风险之外，此类图像通常在其示出特征的能力方面有限，并且可能涉及花费长时间且价格昂贵的程序。其他技术，诸如锥形束计算机断层扫描(CBCT)可以提供断层图像，但仍需要电离辐射。

专门的3D扫描工具也已经被用于牙齿成像。来自3D扫描工具的扫描提供了患者齿形的地形数据(topographical data)，该数据可以用于生成患者牙齿的3D牙科啮合模型。该3D牙科啮合模型可以包括多面体对象，该多面体对象按照可以在显示器上渲染的格式对牙齿和/或牙弓的其他元件进行描绘。然而，生成3D牙科啮合模型可能非常耗时且需要大量处理器来生成，并且可能会导致低分辨率、低细节的3D模型，这些模型无法准确、逼真地可视化患者牙齿的表面。

因此，提供可以用于准确且有效地提供患者牙齿的高分辨率、照片级逼真的模型的方法和设备(其包括装置和系统，诸如口腔内扫描系统)将是有益的。需要改进的方法和系统，以用于扫描患者的口腔，和/或可视化患者的牙齿。

发明内容

一般而言，本文描述了用于扫描和可视化患者牙弓和牙齿的方法和设备(例如，装置和系统)。这些方法和设备可以生成受试者牙齿的照片级逼真颜色或灰度渲染。这些设备中的任何一个都可以包括相机或口腔内扫描仪，以用于在受试者的口腔内扫描或围绕受试者的口腔扫描。扫描设备还可以包括一个或多个传感器，用于在扫描期间检测扫描设备的精确位置。所生成的模型可以是全景图像。全景图像在本文中可以被称为3D渲染，或者可以用于生成3D渲染。这些全景视图可以被生成以替代或补充牙齿的三维体积模型，这些全景视图可以包括牙齿的内部结构。

使用本文所述的全景图像来显示全部或部分的患者牙列(例如，上牙弓和/或下牙弓)的视图(其中，诸如口腔内扫描图像的输入扫描图像)，与其他所描述的方法相比可以提供许多优点，在其他所描述的方法中，扫描图像被零碎地示出或示出为合成的三维(例如，数字)模型。零碎的，或甚至是拼贴的图像都不是令人满意地平滑的，并且可能会示出突然且不和谐的过渡和取向变化，其中包括被引入的瑕疵。合成的(例如，数字3D)模型也可能是消耗计算和消耗时间的，并且可能特别难以准确地表示颜色、透明度、光效果和内部结构。此类技术还需要分割(并且可能由于分割而引入瑕疵)。

本文所述的方法和设备可以避免这些困难，并且可以提供可在任意缩放和位置下查看的快速且逼真的图像。本文所述的全景图像可以被实时地示出，并且可以在不同全景视图之间提供连续、平滑的过渡，从而允许连续的、实时的查看、旋转、平移、缩放等。

本文所述的方法通常包括使用包括表面特征或内部特征的牙齿的一个或多个全景图像来生成受试者牙齿的3D渲染的方法。具体地，可以从多个位置拍摄受试者牙齿的多个图像。相机的位置数据可以在图像获取期间被记录，并且可以使用该位置数据将图像混合在一起。

本文所述的方法和系统可以用于生成示出了受试者牙齿的内部特征、受试者牙齿的表面特征或两者的2D图像和/或3D渲染。不同的内部特征和表面特征可以通过使用口腔内扫描仪的一种或多种扫描模式所收集的数据进行可视化。例如，可以使用数据来生成2D和3D渲染，该数据使用红外(IR)光、可见光或它们的组合来收集。在某些情况下，从口腔内扫描仪获取的数据与其他图像数据相结合。

本文所述的方法和系统可以用于基于选定图像来生成模拟视图(例如，咬翼视图)，该选定图像在对受试者牙齿进行的一次或多次扫描操作期间从一个或多个预定的相机角度(位置和/或取向)来拍摄。此类方法可以包括：确定所要确定的中心颌线，以及识别扫描数据中用于那些图像的相机角度，该相机角度与用于生成视图的选定查看角度相对应。

本文所述的方法和系统可以使用户选择特定的视角来查看受试者的牙齿。例如，用户可以选择从上方或下方查看牙列，以从舌侧视角和/或从颊侧视角来可视化牙弓的咬合视图。在某些情况下，用户可以旋转图像以更新各种视图。

例如，本文描述了显示牙弓的全景视图的方法。这些方法可以包括：接收牙弓的多个二维(2D)红外图像，每个二维(2D)红外图像在相关联的相机角度下拍摄；识别用于查看所述牙弓的全景视图的查看角度；识别所述多个2D图像的中心颌线，并沿着所述中心颌线识别多个点；从所述中心颌线和所述多个点在所述查看角度下生成全景视图，并显示所述全景视图。从所述中心颌线和所述多个点在所述查看角度下生成所述全景视图可以包括：针对所述多个点中的每个点选择基于所述多个2D图像中的一个或多个2D图像的图像，所述图像包括所述点并具有与所述查看角度对应的相机角度；以及组合选定的图像。

识别所述多个2D图像的中心颌线可以包括基于以下中的一个或多个，沿着所述中心颌线布置所述多个2D图像：所述2D图像的内容，以及在拍摄每个2D图像时针对所述2D图像收集的位置信息。

组合可以包括：沿着与所述中心颌线对应的线进行组合。一般而言，中心颌线可以是延伸通过所述多个2D图像的任何线。中心颌线可以近似地对应于由口腔内扫描仪相对于牙弓拍摄图像所采取的路径。中心颌线(为简单起见，可以被称为轨迹线)可以是弯曲的、直的或任何其他形状。中心颌线可以被包裹或不被包裹。中心颌线不必是绝对居中的(例如，在牙齿上居中)，但可以近似地居中。

这些点可以是图像上的像素(或像素组)。在一些变型中，这些点可以是虚拟屏上的虚拟像素，例如，通过从所扫描的牙弓识别出的中心线。

在这些设备和方法中的任何一个中，组合选定的图像，例如当在全景视图中进行布置时，可以包括混合选定的图像以使相邻选定图像的边界处的梯度相匹配。生成全景视图可以包括：根据线性的中心颌线成一条线地显示牙弓的牙齿。

在这些方法和设备中的任何一个中，用户可以选择和/或改变全景视图的查看角度，包括动态地选择和/或改变全景视图的查看角度。例如，可以基于用户输入将查看角度改变为第二(或其他)查看角度，并且这些方法和设备中的任何一个可以包括使用第二查看角度生成第二全景视图。原始(例如，第一)全景视图可以由用户界面选择或设置。用户界面可以允许用户旋转或以其他方式移动(平移，包括旋转)牙弓的全景视图或另一表示。因此，查看角度可以由用户经由用户界面来选择，该用户界面允许用户移动全景视图。在一些变型中，用户界面可以显示全景视图，并且可以包括一个或多个工具，以允许用户交互和(例如，实时地)操控一个或多个视图。在一些变型中，查看角度(例如，初始查看角度)可以垂直于经过中心颌线的虚拟屏。

这些方法和设备中的任何一个可以包括渲染全景视图的区域，这些区域具有不同阴影或颜色的不同密度或组成。

如将更详细地描述的，这些方法和设备中的任何一个可以用于帮助计划/生成、修改或跟踪治疗计划，诸如正畸治疗计划。例如，这些方法可以允许在患者的实际牙弓(例如，示出了实际牙齿位置)和预测的(例如，数字建模的)牙弓(示出了预测的牙齿位置)之间进行比较。实际牙弓的全景视图和虚拟(数字建模的)牙弓的全景视图可以进行比较。在一些变型中，这些方法和设备可以用于基于全景视图生成治疗计划，和/或可以用于对患者实施治疗计划。

这些方法和设备中的任何一个可以包括根据基于全景视图的治疗计划来形成一个或多个牙科器具。

此外，在一些变型中，该方法可以包括以下步骤：扫描患者牙弓以收集牙弓的多个二维(2D)图像(例如，红外图像，诸如近红外图像)，这些图像可以从单独的(在时间或位置上远程的)口腔内扫描仪接收。

针对所述多个点中的每个点选择图像(所述图像基于所述多个2D图像中的一个或多个2D图像)的步骤包括：从所述多个2D图像中的一个或多个2D图像中选择图像，所述图像具有最接近查看角度的相机角度。可替代地或附加地，在一些变型中，针对所述多个点中的每个点选择图像(所述图像基于所述多个2D图像中的一个或多个2D图像)可以包括：从所述一个或多个2D图像外推出图像。

本文还描述了包括系统在内的设备，所述设备被配置为执行这些方法中的任何一个。例如，本文所述的系统包括：一个或多个处理器；以及存储器，被联接到所述一个或多个处理器，所述存储器包括非瞬态计算装置可读介质，所述非瞬态计算装置可读介质具有存储在其上的指令，所述指令能够由所述一个或多个处理器执行，以执行一种方法，所述方法包括：接收牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像都在相关联的相机角度下拍摄；识别用于查看所述牙弓的全景视图的查看角度；识别所述多个2D图像的中心颌线，并沿着所述中心颌线识别多个点；通过以下方式在所述查看角度下生成全景视图(针对所述多个点中的每个点选择基于所述多个2D图像中的一个或多个2D图像的图像，所述图像包括所述点并具有与所述查看角度对应的相机角度；以及组合选定的图像)；以及，显示所述全景视图。所述指令还可以包括：通过从用户界面接收所述查看角度来识别所述查看角度。用户界面可以被配置为允许用户动态地改变所述查看角度，并显示相应的全景视图。

本文还描述了显示牙弓的方法，所述方法包括：接收牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像在相关联的相机角度下拍摄，其中，所述多个2D图像包括所述牙弓的牙齿的内部特征；聚合所述多个2D图像，以沿着中心颌线生成所述牙弓的全景视图；使虚拟平面以相对于所述中心颌线的指定高度和角度穿过所述全景视图；以及基于指定的高度和角度生成2D切片视图，所述切片视图包括牙齿的对应内部特征。这些方法中的任何一个还可以包括使第二虚拟平面以相对于所述中心颌线的第二指定高度和角度穿过所述全景视图，以及生成第二2D切片视图。

所述2D切片视图可以包括用于具有不同密度或组成的牙弓区域的不同阴影或颜色。

这些方法中的任何一个可以包括使多个虚拟平面以相对于基准面的不同指定高度和相同角度下穿过所述全景视图，以及基于所述多个虚拟平面生成多个2D切片视图。这些方法还可以包括在动画中显示所述多个2D切片视图，该动画显示了通过牙弓的进展。所述多个2D图像可以包括使用近红外光光源收集的图像。所述多个2D图像还可以包括使用可见光光源收集的图像。

这些方法中的任何一个还可以包括至少部分地基于2D切片视图生成治疗计划，以及在一些变型中对患者实施治疗计划。这些方法中的任何一个也可以或可替代地包括：至少部分地基于2D切片视图生成治疗计划；以及基于治疗计划制造一个或多个正畸装置。

本文还描述了非瞬态计算装置可读介质，具有存储在其上的指令，所述指令能够由处理器执行，以使计算装置执行一种方法，所述方法包括：接收牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像都在相关联的相机角度下拍摄，其中，所述多个2D图像包括所述牙弓的牙齿的内部特征；聚合所述多个2D图像，以沿着中心颌线生成所述牙弓的全景视图；使虚拟平面在相对于所述中心颌线的位置处穿过所述全景视图；以及，基于指定的位置生成2D切片视图，所述2D切片视图包括所述牙齿的对应内部特征。

显示牙弓的方法可以包括：接收所述牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像在相关联的相机角度下拍摄，其中，所述多个2D图像包括所述牙弓的牙齿的内部特征；聚合所述多个2D图像，以从穿过所述牙弓的中心颌线在查看角度下生成所述牙弓的全景视图；识别所述全景视图内的感兴趣区域，所述感兴趣区域对应于所述全景视图的指定位置处的体积；以及，在显示器上渲染所述全景视图，使得所述感兴趣区域的至少一部分是部分透明的，以示出所述感兴趣区域内的对应内部特征。所述多个2D图像可以包括使用近红外光光源收集的图像。所述多个2D图像还可以包括使用可见光光源收集的图像。在一些变型中，识别所述感兴趣区域包括：基于密度或组成自动识别所述感兴趣区域。识别所述感兴趣区域可以包括从用户接收输入，所述输入识别指定位置。渲染所述全景视图可以包括以不同的阴影或颜色渲染所述感兴趣区域内的不同内部特征。

这些方法中的任何一个也可以或可替代地包括至少部分地基于所渲染的全景视图来生成治疗计划；以及对患者实施治疗计划。在一些变型中，这些方法可以包括至少部分地基于所渲染的全景视图来生成治疗计划；以及基于所述治疗计划制造一个或多个正畸装置。

本文还描述了非瞬态计算装置可读介质，具有存储在其上的指令，所述指令能够由处理器执行，以使计算装置执行一种方法，所述方法包括：接收牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像在相关联的相机角度下拍摄，其中，所述多个2D图像包括所述牙弓的牙齿的内部特征；聚合所述多个2D图像，以从穿过所述牙弓的中心颌线在查看角度下生成所述牙弓的全景视图；识别所述全景视图内的感兴趣区域，所述感兴趣区域对应于所述全景视图的指定位置处的体积；以及，在显示器上渲染所述全景视图，使得所述感兴趣区域的至少一部分是部分透明的，以示出所述感兴趣区域内的对应内部特征。

还描述了用于在选定的视点处形成新的合成图像的方法和设备。如本文所述，这些方法可以用于生成全景视图。

例如，本文描述了从多个口腔内扫描视图来生成新视图的方法。这些方法可以包括：接收牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像在相关联的相机角度和位置下拍摄；识别相对于牙弓具有相机角度和位置的新视点；从所述多个2D图像中识别三个或更多个贡献图像，其中，所述贡献图像相对于所述新视点的相机角度具有最小角度，并且其中，所述新视点的相机位置由三角形界定，该三角形由所述三个或更多个贡献图像的相机位置形成；将所述贡献图像转换为多平面层；混合所述贡献图像的相邻的多平面层以形成新视图；以及，显示所述新视图的全部或部分。这些方法中的任何一个还可以包括通过相机位置和取向来识别新视点。

在一些变型中，可以恰好使用三个贡献图像。所述牙弓的多个二维(2D)图像可以从口腔内扫描仪拍摄的数据来接收。可以访问、读取或以其他方式接收该数据。

识别所述新视点可以包括识别从用户界面(例如，通过用户输入)拍摄的点(和相机角度/取向)，和/或识别所述视点和相机角度，以作为全景视图生成方法的一部分。在确认三个或更多个贡献图像中的每一个的交并比(intersection over union)大于0.5之后，可以识别出所述三个或更多个贡献图像。如果交并比不大于0.5，则可以使用不同的贡献图像。

所述贡献图像可以相对于所述新视点的相机角度具有最小角度，该最小角度可以是x度或更小(例如，15度或更小、12度或更小、10度或更小、8度或更小、6度或更小、5度或更小、4度或更小、3度或更小、2度或更小、1度或更小，等等)。在一些变型中，所述贡献图像的相机角度与所述新视点的相机角度近似相同。

根据权利要求47所述的方法，其中，混合包括应用经训练的机器学习代理来混合所述贡献图像的相邻多平面层以形成所述新视图。所述机器学习代理可以在多个口腔内扫描视图上进行训练。

本文还描述了非瞬态计算装置可读介质，具有存储在上的指令，所述指令能够由处理器执行，以使计算装置执行这些方法中的任何一个，这些方法包括从多个口腔内扫描视图中生成新视图的方法，诸如：接收牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像在相关联的相机角度和位置下拍摄；识别相对于牙弓具有相机角度和位置的新视点；从所述多个2D图像中识别三个或更多个贡献图像，其中，所述贡献图像相对于所述新视点的相机角度具有最小角度，并且其中，所述新视点的相机位置由三角形界定，所述三角形由所述三个或更多个贡献图像的相机位置形成；将所述贡献图像转换为多平面层；混合所述贡献图像的相邻的多平面层以形成新视图；以及，显示所述新视图的全部或部分。

附图说明

本发明的新颖特征在所附的权利要求中进行具体阐述。通过参考以下阐述示例性实施例的详细描述和附图，将获得对本发明的特征和优点的更好理解，在这些示例性实施例中使用了本发明的原理，附图如以下：

图1A是示出了计算环境的示例的图，该计算环境被配置为生成受试者牙齿的全景模型。

图1B是示出了一个或多个角度选择引擎的示例的图。

图1C是示出了一个或多个图像投影引擎的示例的图。

图1D是示出了一个或多个图像组合引擎的示例的图。

图2是描述了从受试者牙齿的多个图像生成受试者牙齿的全景模型的过程的示例的流程图。

图3A至图3B示出了对受试者的牙齿执行扫描，其包括从多个相机位置获取图像。

图3C示出了从受试者牙齿的扫描来生成所有相机位置和图像的点云。

图4A至图4B示出了生成一球体并对该球体进行三角剖分，以识别构建受试者牙齿的全景模型所需的关键相机角度。

图5示出了一种用于生成二维点网格的技术，该二维点网格是生成受试者牙齿的全景模型所需的。

图6A是在将图像变形和混合之前的初始全景模型的一个示例。

图6B是在将图像变形和混合之后的最终全景模型的示例。

图7是示出了用于设计和制造正畸矫治器的数据处理系统的示例的简化框图。

图8示出了示例用户界面，其示出了受试者牙齿的一部分的3D虚拟模型。

图9示出了具有部分透明区域的受试者牙弓的示例3D模型。

图10示出了在各种切片视图中渲染的示例牙弓。

图11示出了在沿着水平切割的切片视图中渲染的牙弓的另一个示例。

图12举例说明了弯曲牙弓的扫描数据如何可以用于生成其中牙齿对齐成一条线的全景视图。

图13A至图13C举例说明了在混合操作之前和之后以及在不同查看角度下的牙弓的全景视图。

图14A至图14C举例说明了使用不同扫描模式以及在不同查看角度下拍摄的另一牙弓的全景视图。

图15是描述了用于生成受试者牙列的全景视图(例如，咬翼全景视图)的过程的示例的流程图。

图16是描述了用于选择参数并更新受试者牙列的全景视图的过程的示例的流程图。

图17A至图17C示出了可以在本文所述的方法和设备中的任何一个中生成和/或使用的牙弓的圆柱投影(cylindrical projection)的一个示例。图17A示出了以3D投影显示的、并且在牙弓的舌侧、咬合侧和颊侧上被圆柱“屏”围绕的牙弓的示例。图17B示出了图17所示的同一牙弓的咬合视图，其中，穿过牙弓截面示出了围绕的“屏”。图17C示出了通过图17B所示截面的截面图，从而提供了牙齿和围绕的屏的横截面。

图18A和图18B示出了牙弓的圆柱投影的另一示例。图18A示出了牙弓的正常咬合视图；图18B示出了在图18A中示出的同一牙弓的圆柱投影的示例。

图19示出了与三个围绕的贡献图像的相机方向相比较来选择新视图相机方向(以加粗显示)的一个示例，该新视图相机方向可以用于生成新视图。

图20示出了与新视图和基础状态相比的三个贡献图像的交并比，其示出了大于0.5的交并比。

图21示出了从多个扫描图像确定新的合成图像的方法的一个示例。

图22A至图22E示出了从包括口腔内扫描数据的数据集来生成新的合成图像的一个示例。图22A至图22C示出了三个贡献图像，该三个贡献图像被识别为相对于新视点的相机角度具有最小相机角度(例如，近似相同的相机方向)，其中，新的相机位置位于由来自数据集的图像的相机位置形成的三角形内，与由同样具有近似相同的相机角度的图像的相机位置形成的其他三角形相比，该三角形具有最小体积。图22D示出了预测的新的合成图像，并且图22E示出了新视点的地面实况图像(ground truth image)。

图23A至图23E示出了从包括口腔内扫描数据的数据集来生成新的合成图像的另一示例。图23A至图23C示出了三个贡献图像，该三个贡献图像被识别为相对于新视点的相机角度具有最小相机角度(例如，近似相同的相机方向)，其中，新的相机位置位于由来自数据集的图像的相机位置形成的三角形内，与由同样具有近似相同的相机角度的图像的相机位置形成的其他三角形相比，该三角形具有最小体积。图23D示出了预测的新的合成图像，并且图23E示出了新视点的地面实况图像。

具体实施方式

本公开涉及用于生成受试者口腔内区域(例如，一个或多个牙齿、牙龈、颌等)的模型的系统、方法、计算装置可读介质和装置。本文中的系统、方法和计算装置解决了与患者牙弓的模型的设计和显示相关的技术问题，其包括快速且高效地显示受试者牙齿表面的照片级逼真的图像或模型。

本文描述了用于生成受试者口腔内区域的照片级逼真图像(photo-realisticimage)的扫描系统或相机系统，受试者口腔内区域包括牙齿的外部特征或表面特征，或牙齿的内部特征，并且本文描述了使用此类扫描系统或相机系统的方法。口腔内扫描仪或相机系统可以包括扫描枪(wand)，该扫描枪可以由操作者(例如牙医、牙科卫生员、技术人员等)手持，并可以在受试者的一个或多个牙齿上移动以扫描受试者牙齿的表面结构。扫描枪可以包括一个或多个检测器(例如，诸如CMOS、CCD等的相机)、一个或多个光源(可见光、红外光)和一个或多个传感器(例如，加速计、GPS等)，以用于在图像获取期间测量和记录口腔内扫描仪或相机系统的位置和/或取向。具体地，口腔内扫描仪或相机系统可以被配置为在图像被捕获时，测量和记录相机的精确位置和取向，并且可以进一步被配置为将相机的位置和取向与在该位置和取向下拍摄的每个图像相关联。扫描枪可以包括一个或多个控制器(按钮、开关、仪表盘(dial)、触摸屏等)，以帮助控制(例如，打开/关闭扫描枪等)；可替代地或附加地，口腔内扫描仪的其他部分(诸如脚踏板(foot petal)、键盘、控制台、触摸屏等)上可以存在一个或多个控制器。

如本文所述，使用口腔内扫描仪和相机系统产生的牙科模型(dental model)可以用于牙科器具的计划和制造，该牙科器具包括如美国专利第5,975,893号以及已公布的PCT申请WO98/58596中详细描述的弹性聚合物定位器具，这些专利出于所有目的通过引用并入本文。采用美国专利第5,975,893号中所述技术的牙科器具的系统可以从加利福尼亚州、圣何塞的艾利科技公司(Align Technology，Inc.)购买，商品名为“隐适美系统(InvisalignSystem)”。它还可用于帮助牙科诊断，例如诊断龋齿和/或诊断牙龈袋(gingival pocket)。

在对实施例进行描述的整个正文中，术语“正畸矫治器”、“矫治器”或“牙齿矫治器”的使用与术语“器具”和“牙科器具”的使用在牙科应用方面是同义的。为了清楚起见，接下来在器具、更具体地为“牙科器具”的使用和应用的上下文中对实施例进行描述。

如本文所述，口腔内扫描仪或相机系统可以对患者的牙弓进行成像，并生成该牙弓的虚拟模型。在一些示例中，模型可以是牙弓的三维(3D)模型。在口腔内扫描程序(也被称为扫描会话)期间，口腔内扫描仪或相机系统的用户(例如，牙科医生)可以生成牙齿部位、牙齿部位的模型或其他受试者的多个不同图像(也被称为扫描图(scan)或医学图像)。这些图像可以是离散图像(例如，全自动相机图像(point-and-shoot image))或来自视频(例如，连续扫描)的帧。图像可以在可见光或红外(IR)光(例如，纯红外光或近红外光)或其他波长下拍摄。口腔内扫描仪可以从图像自动生成患者牙齿的模型，该模型可以用于治疗计划。

图1A是示出了计算环境100A的示例的图，该计算环境100A被配置为以数字方式扫描受试者的牙弓。环境100A包括计算机可读介质152、扫描系统154、牙列显示系统156和全景建模系统158。计算环境100A中的一个或多个模块可以彼此联接，或者被联接到未明确示出的模块。

本公开中讨论的计算机可读介质152和其他计算机可读介质旨在代表各种潜在的适用技术。例如，计算机可读介质152可以用于形成网络或网络的一部分。当两个组件同地协作地位于一装置上时，计算机可读介质152可以包括总线或其他数据管道或平面。在第一组件同地协作地位于一个装置上且第二组件位于不同装置上的情况下，计算机可读介质152可以包括无线或有线后端网络或LAN。如果适用，计算机可读介质152还可以包括WAN或其他网络的相关部分。

扫描系统154可以包括计算机系统，该计算机系统被配置为捕获患者牙弓的静态图像、视频和/或其他媒体。扫描系统154可以包括存储器、一个或多个处理器、以及传感器，以用于检测患者牙弓上的轮廓。扫描系统154还可以包括传感器，该传感器被配置为在图像获取期间测量和/或记录扫描系统的位置和取向。扫描系统154可以被实现为相机、口腔内扫描仪、x射线装置、红外装置等。扫描系统154可以包括被配置为提供患者牙弓模型的虚拟表示的系统。当从咬合视角(perspective)查看时，本文中使用的“牙弓”可以包括由患者的上颌牙齿或下颌牙齿形成的患者牙列的至少一部分。牙弓可以包括患者的一个或多个上颌牙齿或下颌牙齿，诸如位于上颌或下颌或患者上的所有牙齿。扫描系统154可以被用作正畸治疗计划的一部分。在一些实现中，扫描系统154被配置为在正畸治疗计划的开始阶段、中间阶段等捕获患者的牙弓。

牙列显示系统156可以包括被配置为显示患者牙列的至少一部分的计算机系统。牙列显示系统154可以包括存储器、一个或多个处理器、以及显示装置，以用于显示患者牙列。牙列显示系统156可以实现为计算机系统、专用口腔内扫描仪的显示器等的一部分。在一些实现中，牙列显示系统156有助于通过使用在较早日期和/或远程位置处拍摄的扫描图来显示患者的牙列。应注意的是，牙列显示系统156也可以有助于显示同时地和/或局部地拍摄的扫描图。如本文所述，牙列显示系统156可以被配置为显示正畸治疗计划的预期或实际结果，该正畸治疗计划被应用到通过扫描系统154扫描的牙弓。这些结果可以包括牙弓的虚拟表示或模型、牙弓的2D图像或渲染、牙弓的2D或3D全景图像或模型等。

全景建模系统158可以包括计算机系统，该计算机系统被配置为处理由扫描系统154拍摄的患者牙列的扫描图或图像。全景建模系统158可以包括一个或多个角度选择引擎160、一个或多个图像投影引擎162和一个或多个图像组合引擎164。全景建模系统中的一个或多个模块可以彼此联接，或被联接到未示出的模块。

如本文所用，任何“引擎”可以包括一个或多个处理器或其一部分。一个或多个处理器的一部分可以包括硬件的一些部分，其少于包括任何给定的一个或多个处理器的硬件的全部，诸如寄存器的子集、专用于多线程处理器中的一个或多个线程的处理器的一部分、时间片(在该时间片期间，处理器全部或部分地专用于执行引擎的部分功能)等。因此，第一引擎和第二引擎可以具有一个或多个专用处理器，或者第一引擎和第二引擎可以彼此共享或与其他引擎共享一个或多个处理器。根据具体实现或其他考虑，引擎可以是集中式的，或其功能是分布式的。引擎可以包括硬件、固件、或包含在计算机可读介质中以供处理器执行的软件。处理器使用所实现的数据结构和方法将数据转换为新数据，如参考本文附图所述。

本文所述的引擎，或可以通过其实现本文所述的系统和装置的引擎，可以是基于云的引擎。如本文所用，基于云的引擎是可以通过使用基于云的计算系统来运行应用程序和/或功能的引擎。应用程序和/或功能的全部或部分可以分布在多个计算装置上，并且不需仅限于一个计算装置。在一些实施例中，基于云的引擎可以执行终端用户通过网络浏览器或容器应用程序访问的功能和/或模块，而无需将这些功能和/或模块本地安装在终端用户的计算装置上。

如本文所用，“数据存储(datastores)”可以包括具有任何适用的数据组织的存储库，包括表格、逗号分隔值(CSV)文件、传统数据库(例如，SQL)或其他适用的已知或便捷的组织格式。例如，数据存储可以被实现为软件，该软件包含在具体用途的机器上的物理计算机可读介质中、包含在固件中、硬件中、它们的组合中、或适用的已知或便捷的装置或系统中。与数据存储相关联的组件(诸如数据库接口)可以被视为数据存储的“一部分”、一些其他系统组件的一部分、或它们的组合，尽管与数据存储相关联的组件的物理位置和其他特征对于理解本文所述的技术来说并不重要。

数据存储可以包括数据结构。如本文所用，数据结构与在计算机中存储和组织数据的特定方式相关联，从而可以在给定上下文中有效地使用数据结构。数据结构通常基于计算机在其存储器中的任何位置获取和存储数据的能力，该位置由其本身可以存储在存储器中并由程序操控的地址、位字符串指定。因此，一些数据结构是基于使用算术运算来计算数据项的地址；而其他数据结构则是基于将数据项的地址存储在其本身的结构中。许多数据结构使用这两种原理，有时这两种原理以非平凡方式(non-trivial way)结合在一起。数据结构的实现通常需要编写一组程序来生成和操控该结构的实例。本文所述的数据存储可以是基于云的数据存储。基于云的数据存储是与基于云的计算系统和引擎兼容的数据存储。

一个或多个角度选择引擎160可以实现一个或多个自动代理，这些自动代理被配置为识别要针对其构建全景模型的关键相机角度。在一些实现中，一个或多个角度选择引擎160被配置为生成表示全景模型的球体(或球体的至少一部分)。一个或多个角度选择引擎160可以进一步被配置为将球体(或球体的至少一部分)三角剖分(triangulate)为多个三角形，每个三角形的顶点表示产生全景模型所需的关键相机角度。一个或多个角度选择引擎160可以向全景建模系统158的其他模块提供关键相机角度和/或其他数据。

一个或多个图像投影引擎162可以实现一个或多个自动代理，这些自动代理被配置为从受试者牙齿的扫描投影图像，以形成每个关键相机角度的初始全景模型。一个或多个图像投影引擎162可以接收来自扫描系统154的图像和相机位置和/或取向数据。在一些实现中，一个或多个图像投影引擎162被配置为形成二维点网格，其包括针对给定关键相机角度产生全景模型所需的所有像素位置。在一个实现中，二维网格可以通过将中心颌线划分为等距段、在每段处形成线、以及识别每条线上的等距点来形成。这些线可以垂直于中心颌线和每个关键相机角度。可以将扫描期间记录的所有相机位置和取向的点云与每条线上的点进行比较，并且一个或多个图像投影引擎162可以被配置为选择最合适的物理相机位置，例如，对于每条线的每个点，该相机具有最接近于关键相机角度的取向。用于二维网格中每个点的最合适的图像可以用正交相机来近似，以便针对每条线的每个点提供图像，从而产生每个关键相机角度的初始全景模型。可替代地，可以采用其他图像选择标准。一个或多个图像投影引擎162可以向全景建模系统158的其他模块提供二维点网格、投影图像、初始全景模型和/或其他数据。

一个或多个图像组合引擎164可以实现一个或多个自动代理，这些自动代理被配置为对初始全景模型的图像进行配准(register)、变形和/或混合，以生成每个关键相机角度的最终全景模型。在一些实现中，一个或多个图像组合引擎164被配置为对初始全景模型中的图像进行配准和/或变形，以使相邻图像边界处的梯度相匹配。一个或多个图像组合引擎164可以进一步被配置为混合所得的图像，以产生每个关键相机角度的最终全景模型。此外，图像组合引擎164可以被配置为向用户渲染所选关键相机角度的最终全景模型。

图1B是示出了一个或多个角度选择引擎160a的示例的图。一个或多个角度选择引擎160a可以包括三角剖分引擎168和关键相机角度数据存储170。一个或多个角度选择引擎160a中的一个或多个模块可以彼此联接，或被联接到未示出的模块。

三角剖分引擎168可以实现一个或多个自动代理，这些自动代理被配置为识别针对其产生全景模型的关键相机角度。在一些实现中，三角剖分引擎168将球体或球体的一部分三角剖分为多个三角形，并将起始于球体或球体的一部分的坐标0处且终止于多个三角形的每个顶点处的向量识别为用于产生全景模型所需的关键相机角度。

关键相机角度数据存储170可以被配置为存储与由三角剖分引擎识别的关键相机角度相关的数据。关键相机角度数据可以包括生成受试者牙齿的全景模型所需的相机角度和/或位置的矩阵。

图1C是示出了一个或多个图像投影引擎162a的示例的图。一个或多个图像投影引擎162a可以包括网格生成引擎172、正交相机引擎174和初始全景模型数据存储176。一个或多个图像投影引擎162a中的一个或多个模块可以彼此联接，或被联接到未示出的模块。

网格生成引擎172可以实现一个或多个自动代理，这些自动代理被配置为形成二维点网格，该二维点网格表示生成全景模型所需的图像和相机位置。在一种实现中，二维网格可以通过将受试者的中心颌线划分为等距段并在每个段处形成线来形成。这些线可以垂直于中心颌线和每个关键相机角度。此外，网格生成引擎可以被配置为沿着每条线对点编索引，以形成二维点网格。

正交相机引擎174可以实现一个或多个自动代理，这些自动代理被配置为使用来自最合适的扫描的图像来对二维点网格中的点处的图像进行近似，例如，对于所需的点位置，相机具有最接近于关键相机角度的取向。二维点网格中每个点处的所有近似图像的组合将生成受试者牙齿的每个关键相机角度的初始全景模型。

初始全景模型数据存储176可以被配置为存储与由网格生成引擎生成的二维点网格相关的数据，并存储与由正交相机引擎174生成的初始全景模型相关的数据。

图1D是示出了一个或多个图像组合引擎164a的示例的图。一个或多个图像组合引擎164a可以包括变形引擎178、混合引擎180、全景渲染引擎181和最终全景模型数据存储182。一个或多个图像组合引擎164a中的一个或多个模块可以彼此联接，或被联接到未示出的模块。

变形引擎178可以实现一个或多个自动代理，这些自动代理被配置为对初始全景模型中的图像进行配准和/或变形，以使相邻图像边界处的梯度相匹配。例如，由于在构建模型时使用了不同的相机角度或视角，初始全景模型的某些区域可能无法正确配准。在一种实现中，变形引擎178被配置为执行全局优化方法，以识别用于使相邻图像边界相匹配所需的适当图像变形。一旦识别出变形，变形引擎178就可以被配置为将变形应用到初始全景模型的图像，以使图像变形。

混合引擎180可以实现一个或多个自动代理，这些自动代理被配置为混合来自变形引擎的图像，以产生每个关键相机角度的最终全景模型。在一种实现中，混合引擎180可以对每个关键相机角度使用泊松混合(Poisson blending)，以使用来自非混合图像的目标梯度来产生带有梯度的混合图像，这些梯度与那些目标梯度最佳地匹配。最终全景模型可以作为平均图像以来自三角剖分球体的三角形的重心坐标(barycentric coordinate)的权重渲染给用户，该平均图像包括与三角形顶点(实际或近似)对应的关键相机角度和图像。

最终全景模型数据存储182可以被配置为存储与最终全景模型相关的数据。

全景渲染引擎181可以实现一个或多个自动代理，这些自动代理被配置为向用户渲染所选关键相机角度的最终全景模型。

图2示出了流程图200，其描述了用于收集、处理和显示受试者牙齿的全景模型的成像过程。参考流程图200的操作202，该过程包括对受试者的口腔执行扫描以收集受试者牙齿的图像。如上文所述，该扫描可以例如使用口腔内扫描仪或相机系统来执行。在一些方面中，口腔内扫描仪或相机系统可以在扫描期间记录多个离散图像或一系列连续的图像(例如，视频)。附加地，在扫描期间，(用于每个图像的)口腔内扫描仪或相机系统的精确位置和取向可以被跟踪并记录。口腔内扫描仪或相机系统的位置和取向还可以与每个相应的离散图像或视频帧相关联。在另一实施例中，可以访问或接收患者牙弓的数字模型(例如，如果之前执行了扫描的话)。

图3A至图3C表示与流程图200的操作202对应的受试者口腔的扫描，该扫描包括上颌(图3A)和下颌(图3B)。如上文所述，该扫描可以例如使用口腔内扫描仪或相机系统来执行。在一些方面中，在扫描期间，口腔内扫描仪或相机系统可以记录多个离散图像或一系列连续图像(例如，视频)。点300表示针对在扫描期间获取的每个图像而言口腔内扫描仪或相机系统的位置和/或取向(即，口腔内扫描仪或相机系统的光圈的近似中心的位置和/或取向)。视场302(field-of-view)表示由口腔内扫描仪或相机系统拍摄的每个图像的视场。口腔内扫描仪或相机系统沿着上颌和下颌的所有表面进行扫描，以获得所有相关的牙齿表面结构的图像。

参考图3C，可以记录所有相机位置和/或取向的点云304，包括与点云中的每个相机位置和/或取向相关联的图像。附加地，可以确定受试者口腔的中心颌线306。在一个示例中，通过在来自点云304的相机位置上应用主成分分析(PCA)来寻找最大方差轴(maximalvariance axis)，可以确定中心颌线。通过将其他两个轴中的每个轴的多项式(例如，四次多项式)的分位数回归应用于最大方差轴，可以确定中心颌线的其他两个轴。因此，中心颌线可以是接收到的扫描数据的中心线，该中心线(对于口腔内扫描仪数据来说)通常对应于中心颌线。可替代地，中心颌线可以基于对牙齿图像的分析来求解或确定为对应于实际中心颌线。除非另有说明，否则中心颌线可以指接收到的数据的中心线，或实际的、估计的中心颌线。

接下来，在图2的操作204中，该过程包括识别将针对其构建全景模型的关键相机角度。这些关键相机角度提供了将针对其构建受试者牙齿的全景模型的视点(viewpoint)。相机角度是指用于全景模型的相机视图方向(即，相机光圈的z方向)。

在一个示例中，全景模型的相机角度可以由球体表示，如图4A中的球体400所示。在球体400内，所有可能的相机角度都可以被表示为起始于坐标0(例如，球体中心)的单位向量。图4A中示出了示例向量1。参考图4B，通过使用任何已知的三角剖分方法，诸如例如通过将所有三角形递归细分成八面体，可以将单位球体400三角剖分为多个三角形402。起始于坐标0且终止于多个三角形的每个顶点404的向量被识别为用于构建全景模型所需的关键相机角度。

返回参考图2，在操作206中，该过程可以包括从受试者牙齿的扫描来投影图像，以形成每个关键相机角度的初始全景模型。在一个示例中，参考图5，通过将中心颌线556划分为等距段551(由图5中的点表示)并在每个段处形成线552，可以形成二维网格，线552垂直于中心颌线556并垂直于在之前步骤中选择的每个关键相机角度或方向554(例如，在图4B中，起始于单位球体400中的坐标0处并终止于多个三角形的每个顶点404处的关键相机角度)。每条线552的端点可以通过段号和线号来编索引，以形成二维点网格。接下来，将扫描期间的所有相机位置的点云与每条线552的端点进行比较，并选择最合适的物理相机位置，例如，选择取向最接近于每个点的关键相机角度的相机。应注意的是，如在二维点网格中经过编索引的图5中的每一条线552，可能与接收到的扫描数据不完全匹配(例如，线可能短于在扫描期间物理相机位置与受试者牙齿之间的距离，或者可能以其他方式与空间中的确切位置不对应)。在这种情况下，在该扫描期间捕获的所选图像可以使用正交相机进行近似，以提供来自每个端点的图像。这导致来自扫描图像的狭窄视场被用于对来自每个端点的视图进行近似。在一些变型中，如下文更详细地描述的那样，近似图像可以是与点(例如，线或段的端点)的网格对应的新视图，其可以使用基于图像的渲染来求解，基于图像的渲染被配置为与口腔内扫描数据一起使用。将二维点网格中每个端点处的所有近似图像进行组合，得到受试者牙齿的每个关键相机角度的初始全景模型。图6A示出了由多个图像的投影产生的初始全景模型600的一个示例。

如图6A可以看出，初始全景模型600中的一些区域可能由于在构建模型时使用的各种相机角度或视角而无法正确配准。因此，返回参考图2，在该过程的步骤208中，可能需要对初始全景模型中的图像进行配准和/或变形，以使相邻图像边界处的梯度相匹配。变形可以包括几个不同的步骤，诸如全局优化，然后仅沿图像边界进行局部优化。在一个示例中，全局优化方法(诸如，通过使用增强相关系数或ECC最大化进行的投影图像对齐)可以被用于识别使相邻图像边界相匹配所需的适当图像变形。在应用全局优化中识别的变形之后，图像边界可能仍然不匹配。接下来，可以使用仅沿图像边界的局部优化来识别沿图像边界的适当变形，该变形是使相邻图像边界相匹配所需的。识别出的边界变形可以解析地延伸到每个图像的内部，用于以平滑且逼真的方式使图像变形。

接下来，在该过程的操作210中，来自前面步骤的所得图像可以被混合，以产生每个关键相机角度的最终全景模型。在一个示例中，泊松混合可以被用于产生每个关键相机角度的最终全景模型，其从未经混合的图像中获取目标梯度，以产生具有与这些目标梯度最佳匹配的梯度的图像。每个域可以从单个图像中获取，以保持分辨率。

最后，在该过程的操作212中，可以针对选定的关键相机角度向用户显示最终全景模型。最终全景模型可以作为平均图像以上述三角形(例如，图4B中的三角形402)的重心坐标的权重渲染给用户，该平均图像包括与三角形顶点(实际或近似地)对应的关键相机角度和图像。图6B中示出了来自关键相机角度的混合后的最终全景模型602的示例。

本文所述的方法可以由诸如数据处理系统的设备来执行，该设备可以包括用于执行上述这些步骤中的许多步骤的硬件、软件和/或固件。例如，图7是数据处理系统500的简化框图。数据处理系统500通常包括至少一个处理器502，该处理器通过总线子系统504与多个外围装置通信。这些外围装置通常包括存储子系统506(存储器子系统508和文件存储子系统514)、一组用户界面输入和输出装置518、以及至外部网络(包括公共交换电话网络)的接口516。该接口示意性地示出为“调制解调器和网络接口”块516，并通过通信网络接口524联接到其他数据处理系统中的相应接口装置。数据处理系统500可以包括终端或低端个人计算机或高端个人计算机、工作站或大型机。

用户界面输入装置通常包括键盘，并且还可以包括指向装置(pointing device)和扫描仪。指向装置可以是间接指向装置，例如鼠标、轨迹球、触摸板或图形输入板(graphics tablet)，或者是直接指向装置，诸如结合到显示器中的触摸屏。可以使用其他类型的用户界面输入装置，诸如语音识别系统。

用户界面输出设备可以包括打印机和显示子系统，该显示子系统包括显示控制器和联接到控制器的显示装置。显示装置可以是阴极射线管(CRT)、诸如液晶显示器(LCD)的平板装置、或投影装置。显示子系统还可以提供非视觉显示，例如音频输出。

存储子系统506维护提供本发明功能的基本编程和数据结构。以上讨论的软件模块通常存储在存储子系统506中。存储子系统506通常包括存储器子系统808和文件存储子系统514。

存储器子系统508通常包括多个存储器，这些存储器包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)510和存储固定指令的只读存储器(ROM)512。在兼容Macintosh(麦金托什机)的个人计算机的情况下，ROM将包括操作系统的一部分；在兼容IBM的个人计算机的情况下，这将包括BIOS(基本输入/输出系统)。也可以或可替代地使用分布式指令，诸如基于云的指令。

文件存储子系统514为程序和数据文件提供持久(非易失性)存储，并且可以包括，例如，至少一个硬盘驱动器和至少一个软盘驱动器(带有相关联的可移除介质)和/或闪存。也可以存在其他装置，诸如CD-ROM驱动器和光盘驱动器(都带有它们相关联的可移除介质)。此外，系统可以包括带有可移除介质盒(removable media cartridge)类型的驱动器。一个或多个驱动器可以位于远程位置，诸如位于局域网上的服务器中、或位于互联网的万维网上的站点。

在本文中，术语“总线子系统”一般用于包括使各种组件和子系统按照预期彼此通信的任何机制。除了输入装置和显示器外，其他组件不必位于同一物理位置。因此，例如，文件存储系统的某些部分可以通过各种局域网介质或广域网介质(包括电话线)连接。类似地，输入装置和显示器不必与处理器位于同一位置，尽管预计本发明将最经常在PCS和工作站的环境中实现。

总线子系统504被示意性地示出为单个总线，但可以包括多个总线，诸如本地总线和一个或多个扩展总线(例如，ADB、SCSI、ISA、EISA、MCA、NuBus或PCI)、以及串行端口和并行端口。网络连接可以通过一装置建立，该装置诸如位于这些扩展总线之一上的网络适配器或位于串行端口上的调制解调器。客户端计算机可以是台式系统或便携式系统。

扫描仪520(例如，口腔内扫描仪)可以负责直接扫描患者的牙齿，或扫描从患者或正畸医生获得的患者牙齿的铸型(cast)，并将扫描得到的数字数据集信息提供给数据处理系统500，以用于进一步的处理。在分布式环境中，扫描仪520可以位于远程位置，并通过网络接口524将扫描得到的数字数据集信息传达给数据处理系统500。

制造机器522基于从数据处理系统500接收的中间数据集信息和最终数据集信息来制造牙科器具。在分布式环境中，制造机器522可以位于远程位置，并通过网络接口524从数据处理系统500接收数据集信息。

由制造机器522制造的牙科器具可以被设计为实现治疗计划的至少一部分，该牙科器具包括其中具有多个空腔的壳体，这些空腔被设计为接收颌的牙齿。

系统500可以包括用于在一个或多个处理器上执行指令的软件和/或固件，以执行本文所述的任何方法。例如，图7中的系统500可以包括非瞬态计算装置可读介质，其具有存储在其上的指令，这些指令能够由处理器执行以使计算装置经由计算装置接收扫描数据(例如，口腔内扫描数据)，并从接收到的数据生成和/或显示牙齿的新视图，以从接收到的(包括新视图)形成牙齿的一个或多个全景视图或一组或多组视图(例如，模型)，和/或显示一个或多个全景视图或一组或多组视图。在一些变型中，非瞬态计算机装置可读介质可以包括用于生成或修改正畸治疗计划的指令，包括一系列递增的牙齿布置以限定所提出的正畸治疗。

本文所述的方法和设备可以用于允许用户选择和查看(包括交互式查看)来自口腔内扫描数据的患者牙齿的几乎任何图像。这可以包括可见光(包括彩色光)或任何其他频率的光(例如，荧光、红外光，例如近红外光等)；所输入的扫描得到的图像可以包括不同波长的扫描图。同一数据集可以包括多个波长(例如，可见光/彩色光、近红外光、荧光等)。例如，数据集可以包括从同一位置以多个波长拍摄的图像，或者在不同位置以多个波长拍摄的图像。因此，可以标记或以其他方式识别(在某些情况下，通过预定的数据文件结构，或通过扫描得到的图像上的标签)接收到的数据(扫描数据)，例如通过口腔内扫描仪扫描得到的数据，从而指示扫描波长是多少。可以与其他元数据(例如，位置、患者标识符数据、日期/时间数据等)一起包括该元数据。

这些方法和设备可以与用户界面一起使用，该用户界面允许用户选择相机角度(例如，关键相机角度)，以从患者牙齿进行显示。例如，用户界面可以提供被扫描牙齿的图像(例如，起始视图)，以及允许用户放大、缩小、旋转、或简单地选择相对于牙齿的位置以进行显示的操控工具。用户还可以在不同波长(可见光、红外光、荧光等)之间或这些波长的叠加之间进行切换。所显示的视图可以是如本文所述的全景视图。在一些变型中，所显示的视图可以是从如本文所述的扫描得到的视图中导出的新视图。因此，所述方法和设备可以允许用户作为全景图像来直接地快速且有效地查看扫描得到的图像数据，而无需构建患者牙齿的3D模型。尽管扫描得到的数据通常是在接近患者牙齿、牙龈和/或腭(palate)的位置拍摄的，使得各个图像在其视场中受到限制，但本文所述的用于生成全景视图的方法和设备允许从口腔周围或外部的几乎任意点极其快速、连续且准确地查看缩小的全景图像。

因此，本文所述的装置和系统可以被配置为提供对患者牙列进行体积可视化的替代方案。例如，牙齿的内部结构可以通过使用红外光(例如，近红外光)来看到，牙齿的内部结构可以在牙列的3D虚拟模型中渲染。在某些情况下，通过将使用红外光扫描得到的数据与使用发射一个或多个其他波长范围(诸如可见光(例如，荧光))的光源收集的扫描数据相结合，还可以在3D虚拟模型中渲染牙齿的外部特征。在某些情况下，扫描数据包括X射线数据。图8示出了示例用户界面800，该用户界面示出了结合近红外光和可见光数据的下颌802的3D图像。(例如，使用近红外光收集的)内部结构804和(例如，使用可见光收集的)表面特征806可以在用户界面上以不同的阴影或颜色进行渲染。3D图像的分辨率可以有所不同，并且在某些情况下，可以由用户选择。在一些实施例中，内部结构的分辨率大约为200μm，从而允许用户查看内部结构的形态。尽管在如本文所述的一些变型中，该3D图像可以基于重建的3D模型(从扫描得到的数据导出)，但该3D模型可以从全景数据生成。

例如，全景视图可以等同于从3D重建模型生成的视图，而无需使用重建的3D模型。因为所显示的图像可以直接从扫描数据拍摄(或从扫描得到的图像中导出的新视图拍摄，如本文所述)，所以如果所提供的光谱信息有损失，则该损失非常小，所提供的光谱信息发生损失是在从合成的3D模型生成视图时可能必然发生的。因此，包括内部结构在内的反射、透明度/半透明、色调等信息可以被保存在如本文所述的全景视图和/或全景模型中，这些内部结构在形成数字3D模型时可能难以或不能可靠地进行分割。

参考图8，下颌802的图像替代地可以是来自初始位置的全景视图(其是全景的，因为它是由来自口腔内扫描仪的组合图像形成的，如本文所述)，示出了(组合和/或重叠的)可见光图像806和近红外光图像804二者。通过使用一个或多个用户界面输入工具(例如，按钮)，可以旋转、平移、缩放等牙弓(例如，下牙弓)的视图；通过从每个全景视图的关键相机角度来显示不同相机位置(角度)，可以在视觉上实现移动。可以平滑地完成过渡，以示出连续/平滑的运动。附加的全景(例如，广角)视图可以作为(例如，来自全景模型的)组的一部分预先计算，或者可以在运行中计算。

用户界面可以允许用户旋转3D模型和/或对模型中的某些区域进行放大。在一些变型中，用户可以使用鼠标、触摸屏等来缩放、拉动/拖动和旋转牙齿802的图像。图8示出了示例图形用户界面元件808，其还可以或可替代地允许用户以各种方式操控3D图像，诸如选择在全景3D视图中示出牙列的哪个部分(例如，上颌和/或下颌)、移除或添加层(例如，彩色光、近红外光、荧光等)、和/或播放/重放动画。在一种实现中，用户界面允许用户并排显示和/或重放近红外光图像和可见光图像(和/或荧光图像)的运动。在一些实施例中，用户界面允许用户选择3D图像上的一个或多个感兴趣区域以进行放大。例如，用户可以通过使用放大环或工具来选择区域，以便以更高的放大率来示出选定的感兴趣区域(例如，再次，生成该子区域的全景视图，和/或从与放大后的相机角度对应的扫描图像识别特定的详细视图或生成新视图)。这可以通过提高诊断结果的可信度来有助于诊断，并可以有助于揭示牙齿内的缺陷，诸如龋齿。穿透波长(例如红外光、近红外光等)的全景视图可以用于可视化内部结构，与重建技术相比，无需大量时间和/或处理器密集型的计算。由全景视图揭示的龋齿位置可以是龋齿严重程度的指示。

如上所述，与相同查看角度对应的不同波长的全景视图可以并排或同时示出。例如，图9示出了具有选定区域902的牙弓的3D全景视图900的另一示例。选定区域可以对应于牙齿的指定位置，该指定位置可以使用与视图中的其余部分的波长不同的一个/多个牙齿的图像(例如，红外光、荧光和/或可见光)来显示。在图9中，选定区域902中的可见光全景视图901的一部分被近红外光全景视图的对应部分替换。这可以允许显示内部结构，例如，因为红外光(例如，近红外光)图像的部分透明特性可以允许用户可视化内部结构的深度和体积。如果示出了内部结构和表面结构二者，则部分透明区域可以允许用户在单个模型中查看彼此相关的内部特征和外部特征。各种内部特征和/或外部特征可以基于某些方面(诸如密度和/或组成)以不同的阴影和/或颜色来显示。

在一些实施例中，用户可以选择将全景视图的哪个部分显示为哪一个或哪几个波长。例如，用户可以将3D全景视图的某一部分识别为感兴趣区域以供进一步分析。然后，用户可以使用用户界面来指示该区域，以便从扫描数据更详细地示出和/或在包括近红外光数据的情况下(例如，除了可见光和/或荧光图像之外)，从扫描数据作为近红外光示出。可替代地或附加地，该系统可以确定可疑的感兴趣区域(例如，基于密度和/或组成)，并使用近红外光和/或荧光数据来显示可疑区域的一个或多个全景视图。用户可以缩放/平移/旋转扫描数据的视角(例如，虚拟相机)，以访问选定区域902的不同视点。在某些情况下，用户可以选择以近红外光、仅以可见光和/或仅以荧光来渲染整个牙列(或整个牙弓)。

在一些实施例中，牙列的至少一部分可以在切片表示中查看。图10示出了牙弓的示例虚拟截面模型1000，以及从全景模型生成的切片视图1004和1006。切片视图可以基于虚拟平面生成，该虚拟平面穿过全景视图的至少一部分。可以从扫描数据和一个或多个全景图像计算出通过视图的截面。所得截面可以在全景视图中示出。虚拟平面的位置(例如，高度和角度)可以相对于基准来确定。在一些实施例中，基准可以对应于基准面或基准线(例如，中心颌线或牙龈线)。在一种实现中，用户可以定位和/或绘制跨过选定牙齿的第一线1002，以使第一虚拟平面穿过牙齿，从而生成该牙齿的对应第一切片视图1004。类似地，用户可以定位和/或绘制跨过选定牙弓区域的第二线1006，以使第二虚拟平面穿过选定牙弓区域，从而生成该区域的对应第二切片视图1008。切片视图可以使用数据生成，该数据通过使用一个或多个扫描的一个或多个模式(例如，红外光和/或可见光)来获得。因此，切片视图可以揭示牙齿的对应内部结构和/或表面结构。在一些实施例中，切片视图可以使用通过数据来生成，该数据仅使用一个模式(例如，红外光或可见光)来收集，例如，以节省计算时间。切片视图可以对应于2D图像，或者可以对应于从原始数据和/或全景视图生成的指定厚度的部分。在切片视图中，各种特征可以以不同的阴影和/或颜色来表示，例如，以表示不同的密度、组成(例如，牙齿、龋齿、牙龈)和/或牙列的其他方面。在一些实施例中，还可以向用户显示与切片视图相关联的密度计算和/或其他数据。具体地，本文所述的切片可以从全景视图中导出。

图11示出了另一示例，其示出了通过牙弓的一系列切割的切片视图。在该示例中，一系列切片视图表示通过牙弓的水平切割的进展，从第一切片1102到最后切片1104，第一切片1102穿过最接近牙龈线的牙弓下部，最后切片1104表示包括牙齿咬合表面在内的牙弓上部。切片视图可以包括不同的阴影和/或颜色，以指示不同的密度、组成和/或牙弓的其他方面。这种表示可以允许用户分析与牙根、牙龈线和/或咬合表面相关的牙齿的不同方面。例如，诸如龋齿等的牙齿缺陷的深度和高度可以被容易地观察到。用户界面可以允许用户选择穿过牙列的切片的数量。用户界面可以允许用户例如通过移动、叠加和/或旋转切片视图来操控每个切片视图。在一些实施例中，用户界面允许用户对切片视图进行动画处理。例如，用户界面可以在一系列图像中显示切片1102到1104，从而示出了从牙弓下部移动到牙弓上部的进展，反之亦然。

本文所述的全景视图可以以多种方式中的任何一种来渲染受试者的牙列。在一些实施例中，全景视图模拟牙弓的咬翼视图。传统上，咬翼是上牙齿和下牙齿的牙冠的X射线胶片，其通过使用在牙齿之间保持就位的标签或纸张来同时地拍摄。咬翼视图通常示出了牙弓的至少一部分，并且可以包括直到大约支撑骨骼位置的牙齿牙冠。在实践中，咬翼视图通常被用于检测牙齿之间任何空腔的迹象，诊断脓肿或囊肿，以及示出牙齿根部和周围骨骼的任何变化。全景查看技术可以被用于生成牙弓的模拟咬翼视图，使得牙科医生可以查看与传统X射线咬翼图像类似的患者牙列的视图方面。

在一些情况下，模拟咬翼视图沿着直线而不是沿着颌中心线的曲率来描绘牙弓内的牙齿。图12示出了根据一些实施例弯曲牙弓1200的扫描数据如何可以用于生成牙齿对齐成一条线的咬翼视图1207。如图所示，弯曲牙弓的颌中心线1206可以被拉直，以有效地“展开”牙弓。因此，在所示的示例中，咬翼视图沿一条线描绘牙齿。咬翼视图从特定查看角度的视角示出了牙弓的牙齿。在图12的示例中，从颊侧查看角度来查看牙齿，使得可以从颊侧视角查看齿间区域中的感兴趣区域1210。针对缺陷，可以对感兴趣区域1210进行识别、标示和/或分析。其他查看角度可以包括咬合查看角度或舌侧查看角度。特定查看角度可以由用户选择和/或自动选择(例如，默认设置)。如本文将描述的，在一些变型中，全景视图可以同时示出颊侧、舌侧和咬合表面(如将参考图17A至图17C和图18A至图18B所述)。

可以使用收集到的扫描数据来识别中心颌线1206，并且可以使用多种技术中的任一种来确定中心颌线1206。由于中心颌线被用作基准，在一些情况下，中心颌线可以是近似的，并且不需要在沿着颌的每个点处都精确地位于颌的中心。在一些实施例中，基于牙齿的图像和/或牙齿的3D扫描数据对中心颌线进行近似。在一些实施例中，中心颌线可以通过找到最大方差轴(例如，通过对来自点云的相机位置应用主成分分析(PCA))来确定，如所描述的那样。在一些情况下，中心颌线通过仅使用在扫描期间收集到的相机位置来确定。例如，如果扫描涉及围绕牙弓(例如，从颊侧、咬合侧和舌侧)移动扫描仪，则中心颌线可以被近似为沿着扫描路径中心的拱形曲线。在一些情况下，用户可以手动输入和/或改变中心颌线或中心颌线的一些部分。

一旦识别出中心颌线，则用于构建全景视图的虚拟像素可以沿着中心颌线(类似于沿着图5中的中心颌线的点/段)来标记以用于构建全景视图。在一些实施例中，虚拟像素沿着中心颌线等距地分布。虚拟像素可以以预定距离间隔开，例如，以用于生成至少或至多具有某一分辨率的图像。在一种实现中，分辨率大约为200μm。为了选择适当的图像以在特定查看角度下生成全景视图，虚拟相机可以沿着根据中心颌线的路径行进，使得虚拟相机方向相对于中心颌线处于特定查看角度。例如，在用于生成咬合全景视图的一种实现中，颌中心线沿着xy平面，并且虚拟相机方向相对于中心颌线位于z方向上。对于每个像素，识别相关联的查看角度与特定查看角度最紧密对齐的一个或多个图像，并将其投影到与虚拟相机方向垂直的虚拟屏上。例如，对于咬合全景视图，识别与咬合查看角度(例如，90度)最紧密对齐的一个或多个图像，并将其投影到对应的虚拟屏上。对于每个像素，该过程将随着虚拟相机相对于中心颌线行进而继续，直到所有像素都具有被投影到对应虚拟屏上的相关联图像，以生成牙弓的全景视图。通过这种方式，每个像素可以与一个或多个图像相关联，这些图像可以共同用于从选定的查看角度生成牙弓的全景视图。换言之，每个虚拟像素的选定图像可以被投影到对应的虚拟屏上，并被结合在一起以构建全景视图。在某些情况下，针对每个像素仅选择一个图像。在其他情况下，针对每个像素选择多于一个图像(例如，2、3、4、6等)。在某些情况下，牙弓中的所有牙齿都示出在全景视图中(例如，使得牙科医生可以在一个图像中查看所有牙齿)。在其他情况下，全景视图中仅示出牙弓中的一部分牙齿(例如，如果牙科医生仅想查看牙弓的一部分的话)。

如本文所述，中心颌线可以“展开”，使得牙齿被示出成一条线(拉直的中心颌线)。沿着单一线描绘牙弓的优点之一在于，牙弓可以被显示为窄长的图像，从而占用较少的显示空间，并且有利于堆叠和与其他全景视图进行比较。然而，全景视图可以以多种方式中的任何一种来渲染牙弓。对于每个像素，识别出的图像可以被投影到虚拟屏上，而与中心颌线的曲率无关。因此，在全景视图中识别出的图像的集合可以沿着具有任何形状的线来渲染。在其他实施例中，牙弓根据弯曲的中心颌线(诸如实际牙弓的自然曲线)示出，或者以有助于查看和分析牙齿的某些方面的不同曲率示出。在一些实施例中，视图包括示出了牙弓的不同扇区(quadrant)的咬合视图。

选定用于生成视图(以及本文所述的全景视图中的任何一个)的图像可以包括使用任何类型的扫描模式(例如，红外光、可见光、荧光、X射线等)或扫描模式的组合而收集的那些图像。在图12的示例中，全景视图是从近红外光图像生成的，该近红外光图像示出了牙齿的内部结构。在其他示例中，可以从使用不同扫描波长的光收集的图像来生成全景视图。例如，可以使用通过使用可见光(例如，荧光)或X射线收集的图像来生成全景视图。在一些实施方式中，使用两个或更多个模式收集的图像可以组合，以生成描述牙列的不同方面(例如，牙齿的内部特征和表面特征)的图像。在其他实施方式中，仅使用一个模式收集的图像被用于生成一个或多个全景视图，这可以允许更快速地处理和显示图像，并且消耗更少的计算能力。

图13A和图13B示出了在咬合查看角度下的牙弓的全景视图(例如，这些示例中的咬翼视图)的示例。图13A示出了在实现混合操作之前，缝合在一起的图像的原始全景视图。如图所示，各种选定的图像可能重叠，并具有与拍摄每个图像的条件相关的不同阴影、颜色和/或变形。图13B示出了在实现混合操作之后的图13A中的全景咬合视图，该混合操作用于对相应的原始全景视图进行配准和/或变形，以使相邻图像边界处的梯度相匹配。如本文所述，变形可以包括全局优化和/或沿着图像边界的局部优化。在一个示例中，可以使用全局优化方法来识别使相邻图像边界相匹配所需的适当图像变形。如果在全局优化之后图像边界仍然不能充分地匹配，则可以使用沿着图像边界的局部优化(例如，仅沿着图像边界)，以识别用于使相邻图像边界相匹配所需的沿着图像边缘的适当变形。边界变形可以延伸到每个图像的内部部分，从而使图像以平滑且逼真的方式变形。

图13C示出了图13A和图13B中的并且在混合操作之后的牙弓的全景舌侧视图。因此，可以基于选定的查看角度来生成牙弓的各种视图。在一些实施例中，系统被配置为允许用户选择查看角度，并且系统将基于用户的输入来自动更新计算机显示器上的全景图像。在某些情况下，可以实时或接近实时地更新全景图像。在某些情况下，全景图像可以在大约15秒或更短的时间内进行更新。用于允许用户选择查看角度的用户界面可能会有所不同。在某些情况下，用户可以使用光标来选择全景图像，并旋转图像(例如，在计算机显示器上向上或向下旋转)，以在各种查看角度之间进行选择。全景图像可以快速地更新，以在各种查看角度之间提供平滑过渡。在一些实施例中，用户界面包括一个或多个按钮、滚动条和/或其他功能特征，以用于选择查看角度。

在咬翼或非咬翼(例如，伪逼真的、逼真的，诸如图6A至图6B所示)全景视图中，模拟全景视图(以及本文所述的全景视图中的任何一个)可以从由一个或多个机器学习代理生成的图像来生成。这种合成图像可以基于在一个或多个扫描期间拍摄的现实图像来生成，或者基于从扫描数据生成的合成新视图来生成，其中扫描数据不包括在指定位置拍摄的扫描图。在一些变型中，如本文所述，新视图可以使用基于图像的渲染机器学习代理来生成。例如，可以将机器学习代理(例如，机器学习算法)配置为识别现实图像中的图案，然后使用识别出的图案来生成新的(“合成”)图像。合成图像可能是有用的，例如，如果在特定位置和查看角度下没有足够的图像可供选择以生成具有足够细节或分辨率的全景图像的情况下。例如，如果相机没有处于精确的角度来示出一个或多个牙齿的特定图像，则该系统可以生成此类图像，并使用合成图像来渲染更详细的全景视图。在一个示例中，第一扫描图像和接下来的第二扫描图像可以在牙科扫描期间从特定查看角度进行收集。然而，可能没有收集到足够的数据来提供第一图像和第二图像之间的图像，以生成足够详细的全景图像。机器学习算法可以在特定查看角度下生成一个或多个新的合成图像，这些合成图像与位于第一图像和第二图像之间的一个或多个现实图像相对应。然后，一个或多个合成图像可以与第一图像和第二图像(以及任何其他选定的或合成的图像)一起使用，以生成全景视图。在其他示例中，机器学习算法可以使用从与指定查看角度不同的一个或多个查看角度收集的数据，以在指定查看角度下生成合成的一个或多个图像。全景视图可以仅基于合成图像而生成。

图14A至图14C示出了使用不同扫描模式拍摄的处于不同查看角度下的另一牙弓的全景视图。图14A示出了牙弓的两个舌侧视图，包括全景视图1400和全景视图1402，全景视图1400使用近红外光拍摄的图像，全景视图1402使用可见光拍摄的图像。图14B示出了牙弓的两个颊侧全景视图，包括近红外光视图1404和可见光视图1406。图14C示出了牙弓的两个咬合全景视图，包括近红外光视图1408和可见光视图1410。使用不同模式显示全景视图可以允许用户可视化患者牙列的不同方面。例如，一些牙齿特征和缺陷(例如，表面特征)可以通过使用可见光而更容易地识别出，而其他牙齿特征和缺陷(例如，内部结构)可以通过使用近红外光而更容易地识别出。这些示例还示出了各种全景视图可以如何堆叠和对齐，以便于进行比较(特别是与逼真/伪逼真的视图相比)。

应注意的是，图12、图13A至图13C以及图14A至图14C中示出的咬翼全景视图仅作为示例示出，而其他查看角度和扫描模式可以可替代地或附加地在计算机界面上示出。例如，可以可替代地或附加地生成和显示在位于舌侧视图和咬合视图之间和/或在咬合视图和颊侧视图之间的角度下的牙弓的全景视图。此类视图可以通过使用在一个或多个扫描操作期间收集的现实图像来生成，和/或通过使用经由机器学习生成的合成图像来生成。附加地或可替代地，使用其他扫描模式(诸如使用特定范围的电磁辐射(例如，紫外线、红外线、荧光、X射线等)的扫描模式)拍摄的图像，可以由扫描仪拍摄，以生成对应的全景图像。如上所述，包括咬翼全景视图在内的全景视图可以通过使用用户界面而旋转、缩放、平移等。咬翼全景视图的旋转/缩放/平移可以以连续的方式平滑地完成，包括允许用户操控用户界面来移动(平移/缩放/旋转)视图。可以同时显示咬翼全景视图和非咬翼全景视图。

用户界面可以以多种方式中的任何一种来布置各种全景视图，包括但不限于咬翼全景视图。例如，全景视图中的任何一个都可以竖直地对齐(例如，堆叠)，使得图像中的特征竖直地对齐。在某些情况下，水平地布置(并排地布置)各种全景视图。可替代地或附加地，全景视图可以是能够重叠的和/或显示为部分透明的，使得特征可以在彼此的上面对齐和示出。用户界面可以被配置为允许用户移动一个或多个全景图像，例如，通过使用拖放特征。在某些情况下，用户界面可以允许用户在一个或多个全景视图中标记/标示感兴趣区域。在一种实现中，用户可以在一个全景视图中标示感兴趣区域，并且系统在另一个全景视图中的对应位置生成对应的标记。用户界面可以被配置为示出单个全景视图，该单个全景视图能够切换到不同查看角度和/或不同扫描模式下的其他全景视图。在一些实施例中，用户可以滚动或旋转全景视图(或用户界面按钮)以显示各种查看角度和/或扫描模式。例如，用户可以在舌侧视图中查看牙弓，旋转图像以渲染咬合视图，并进一步旋转以渲染颊侧视图。在另一示例中，用户可以查看在红外光模式下拍摄的牙弓，并旋转图像以渲染在可见光模式下拍摄的牙弓。系统可以被配置为随着用户旋转图像而持续地更新视图。在某些情况下，图像可以在两个方向上旋转。

全景视图中的任何一个都可以在计算机屏上以彩色和/或灰度显示。在某些情况下，用户界面允许用户选择是以彩色还是以灰度来显示一个或多个全景视图。用户界面可以被配置为以两种或更多种不同颜色(例如，2、3、4、5种等)来显示特征。不同的阴影和/或颜色可以用于可视化牙列的不同方面。例如，牙龈可以以一种阴影和/或颜色来显示，而牙齿可以以另一种阴影和/或颜色来显示。在一些实施例中，具有不同密度、组成或其他属性的牙齿区域以不同的阴影和/或颜色来渲染。例如，具有正常牙齿组成的牙齿区域可以以一种阴影和/或颜色来显示，而具有带缺陷的牙齿组成(例如，龋齿)的牙齿区域可以以另一种阴影和/或颜色来显示。

用户界面可以被配置为基于拍摄扫描图的时间来示出全景视图。在一种情况下，在第一时间(例如，在正畸治疗之前)对患者牙齿拍摄第一扫描图，而在第二时间(例如，在正畸治疗之后，或在进行正畸治疗的一部分之后)对患者牙齿拍摄第二扫描图。系统可以被配置为基于第一扫描图生成和显示第一全景视图，以及基于第二扫描图生成和显示第二全景视图。类似地，系统可以被配置为基于扫描时间生成多个(例如，2、3、4、5、6个等)全景视图。通过这种方式，用户可以容易地将在一段时间内(例如，在治疗之前和之后)的牙列变化可视化。在一些情况下，用户界面被配置为在延时表示中显示此类基于时间的图像，其中，牙列变化的进展被顺序地显示给用户。例如，第一全景图像可以变换为第二全景图像，第二全景图像可以变换为第三全景图像，等等。在某些情况下，变换表现为动画。用户能够改变延时图像的显示速度。附加地或可替代地，用户能够在任何点停止延时表示，例如，以检查特定图像。

图15示出了流程图1500，该流程图描述了用于生成受试者牙齿的全景视图的过程。参考操作1502，该过程可以包括接收受试者牙弓的图像，每个图像都具有相关联的记录相机角度。可以通过使用例如本文所述的口腔内扫描装置或相机系统，对受试者口腔内执行一次或多次扫描来收集图像。在一些方面中，口腔内扫描仪或相机系统可以在扫描期间记录多个离散图像或一系列连续图像。附加地，可以在扫描期间跟踪和记录口腔内扫描仪或相机系统的位置和取向，并且口腔内扫描仪或相机系统的位置和取向还可以与每个相应的离散图像或视频帧相关联。在另一实施例中，可以访问或接收患者牙弓的数字模型(例如，如果先前执行了扫描的话)。这些图像可以包括通过使用多种成像模式或扫描模式中的任何一种拍摄的图像。例如，可以通过使用一个或多个光源来拍摄图像，诸如可见光和/或红外光(例如，近红外光)光源。口腔内扫描仪或相机系统沿着上颌和下颌的所有表面进行扫描，以获得所有相关牙齿表面结构的图像。因此，接收到的图像可以是图像数据的一部分，该图像数据还可以包括用于从中拍摄每个图像的相机位置(例如，相机角度)、用于拍摄每个图像的模式(例如，波长)、和/或与每个图像相关联的其他元数据。因此，这些方法中的任何一种可以包括访问(例如，接收)包括图像的图像数据。

通常，如本文所使用，全景视图是指广角视图。本文所述的全景视图不限于特定角度(例如，大于30度、大于45度、大于90度、大于135度、大于180度、在10和270度之间、在10和225度之间、在10和180度之间、在30和270度之间、在30和225度之间等)。

参考操作1504，该过程可以包括识别用于构建全景视图的特定查看角度。特定查看角度可以对应于一视点，针对该视点在计算机屏上生成和显示受试者牙列的全景视图。用户可以选择特定查看角度。例如，用户可以经由用户界面选择是否希望从颊侧、咬合侧、舌侧或其他视角(包括圆柱投影或部分圆柱投影，如图17A至图17C和图18A至图18B所示)来检查受试者的牙齿。在某些情况下，用户可以选择多个查看角度。用户界面可以包括图形用户界面，诸如开关、按钮、滚动条、下拉菜单和/或其他图形用户界面元件，这允许用户选择一个或多个特定查看角度(视角)来查看受试者的牙齿。可替代地或附加地，计算装置可以被配置为自动选择特定查看角度，例如作为默认设置。本文所述的设备和方法可以允许用户动态地(例如，实时地)改变查看角度，并进而改变全景视图。

一旦识别出查看角度，则可以识别出图像的轨迹线(例如，中心颌线)1506。通过使用在对受试者牙齿进行一次或多次扫描期间收集的图像(例如，2D图像，诸如来自接收到的扫描图像)、牙列的虚拟3D模型和/或扫描仪/相机的位置数据，可以对中心颌线进行估计。通常(但不一定)，可以自动地选择或确定沿着中心颌线的多个点(例如，“虚拟像素”)。在一些变型中，这些点(例如，虚拟像素)可以沿着中心颌线分布，包括等距地间隔。这些虚拟像素可以对应于一点，对于该点可以选择在一次或多次扫描操作期间收集的图像中的至少一个图像来生成全景视图。可替代地，这些点(它们中的一些或全部)可以用作这些被扫描位置之间的点。在一些实施例中，虚拟像素沿着中心颌线均匀分布。通常，虚拟像素的分布越密集，则用于生成全景视图的图像将会越多。

对于识别出的这些点(虚拟像素)中的每一个，可以识别出包括该点在内的来自扫描得到的2D图像的一个或多个图像，在该点处查看角度与用于从中拍摄图像的相机角度匹配或近似地匹配1508。例如，虚拟相机可以沿着与中心颌线相邻的路径行进。可以这样做以识别出一个或多个图像，该一个或多个图像具有与每个虚拟像素处的特定查看角度最接近匹配的相关联的相机角度。例如，当虚拟相机经过第一像素时，在一次或多次扫描操作期间收集的一个或多个图像可以被识别为具有接近特定查看角度的相机角度。当虚拟相机经过中心颌线的附近时，在某个点，虚拟相机可以垂直(或近似地垂直)于虚拟像素(例如，在z方向上)。当虚拟相机垂直于虚拟像素时，可以选择一个或多个图像，该一个或多个图像具有与特定查看角度最类似的一个或多个相机角度，从而选择在最类似的一个或多个位置拍摄的一个或多个图像，如从特定查看角度的视角那样。在一些变型中，识别出的图像可以是新的合成图像，该新的合成图像是针对与在接收到的图像中没有精确匹配的查看角度相对应的位置确定的。

在选择图像时(或之后)，图像可以被收集1510。例如，收集到的图像可以被投影到每个点的虚拟屏上。虚拟屏可以垂直于查看方向。可以对中心颌线上的所有识别出的点重复该过程(例如，随着虚拟相机沿着中心颌线经过每个像素直至一组识别出的图像为止)，以收集生成的全景视图。对于咬翼全景视图，中心颌线可以被拉直。

在1512中，这组识别出的图像被用于生成全景视图。近似全景视图可以使用所收集的图像生成，所收集的图像可以按照这些点沿着颌线布置的顺序、沿着中心颌线进行布置。全景视图可以可选地混合以使相邻图像边界处的梯度相匹配，并向用户提供更一致的全景视图1514。如本文所述，混合操作可以包括使用与图像相关联的目标梯度和位置数据。最终全景视图可以显示在计算机显示器上、存储在存储器中和/或作为输出发送(例如，发送到网络和/或打印机)。在一些实施例中，最终全景视图显示在显示器的用户界面上。

用户界面可以包括用户输入特征，其允许用户基于查看角度、扫描模式、扫描时间和/或其他图像参数来修改全景视图。图16示出了允许用户选择图像参数以用于显示受试者牙齿的全景视图的过程的流程图1600。参考1602，例如，从用户(例如，经由用户界面)接收图像参数和/或将图像参数设置为默认参数。图像参数可以包括特定查看角度，该特定查看角度与用于查看牙列(例如，牙弓)的所需视角相对应。特定查看角度可以(但通常不)与从中拍摄图像的相机角度相对应。特定查看角度可以被指定为视角类型，例如颊侧、咬合或舌侧视角。附加地或可替代地，特定查看角度可以被指定为相对于给定基准(诸如颌中心线)的角度(例如，180°、90°、70°、60°、45°、30°、20°、15°、10°、5°等)。图像参数可以附加地或可替代地包括扫描模式，包括在一次或多次扫描期间使用的光源波长范围。在一些实施例中，使用了可见光和/或红外光(例如，近红外光)。可见光图像可以包括牙列的表面特征，并且红外光(例如，近红外光)图像可以提供牙列的内部结构特征。在一些实施例中，仅使用一种扫描模式(例如，可见光或红外光)来生成全景图像，以节省生成全景图像的计算时间。图像参数可以附加地或可替代地包括进行扫描的时间。例如，可以在治疗之前对受试者的牙列进行第一扫描，可以在实施治疗计划期间的某个时间进行第二扫描，并可以在治疗计划完成之后进行第三扫描。用户可能希望查看来自第一扫描、第二扫描和第三次扫描中的每个扫描的全景图像，以分析治疗的进展和/或决定是否需要额外的治疗。如本文所述，用户可以选择使用延时或动画在显示屏上顺序地查看治疗进展。图像参数可以附加地或可替代地包括受试者的标识，使得可以查看和比较不同牙列的全景图像。

在1604中，基于图像参数(例如，用户选定或默认的图像参数)生成一个或多个全景视图，并将其显示在用户界面上。在一个实施方式中，一个或多个全景视图显示了牙齿被布置成一条线的牙弓(例如，图12、图13A至图13C或图14A至图14C)。系统可以被配置为接收新的图像参数1606，以用于修改一个或多个全景图像。在一些实施例中，用户界面允许用户改变一个或多个图像参数(例如，查看角度、扫描模式、扫描日期/时间、牙列/受试者标识、咬翼/逼真等)。这允许用户在如何显示全景图像上以及在选择最佳全景图像以分析牙列的具体方面上具有灵活性。可替代地或附加地，系统可以基于例如提供全景图像的预定布置和/或延时动画的设置，来自动生成修改后的全景图像。一旦接收到新的图像参数，则系统可以基于新的图像参数来更新全景视图(或生成一个或多个新的全景视图)1608。系统可以被配置为接收新的图像参数，以更新全景视图和/或显示一个或多个新的全景视图。

本文所述的任何图像和/或虚拟模型都可以通过使用动画和/或延时技术来进行渲染。例如，可以将在对牙齿的一次或多次扫描期间收集的图像重放给用户。重放可以以实际时间(与执行扫描的时间相同)、以提高的速度(例如，扫描速度的1.25倍、1.5倍、1.75倍、2倍、2.25倍、2.5倍)或以降低的速度(例如，扫描速度的0.75倍、0.5倍、0.25倍等)进行。在某些情况下，可以显示纵向动画，其中，在不同时间拍摄的不同扫描中的牙列(或牙列的一部分)的图像相互关联并顺序地显示给用户。这可以向用户示出在一定时间内，诸如在正畸治疗之前、期间和之后，牙列发生了哪些变化。

本文所述的任何图像和/或虚拟模型都可以允许用户可视化特定的感兴趣区域。感兴趣区域可以包括具有缺陷(诸如龋齿)的那些区域。在某些情况下，系统(例如，一个或多个处理器/一个或多个控制器)可以被配置为检测扫描数据中可疑的感兴趣区域。这些可疑的感兴趣区域可以在全景视图中和/或在用户界面的其他位置上进行指示。用户可以标示、突出显示或以其他方式标记被确定为感兴趣区域的那些区域。在一些实施方式中，这种检测可以自动完成(例如，作为默认设置)。在一些情况下，用户界面可以允许用户选择是否执行检测操作和/或选择检测参数。这种感兴趣区域的检测可以允许误报，而具有最少漏报。

圆柱视图

一般而言，本文所述的是圆柱视图，其中可以提供牙弓的全景视图，该全景视图同时示出了布置在平坦的全景视图中的牙齿的颊侧、舌侧和咬合侧中的两个或多个。该圆柱视图(例如，同时示出了牙弓的舌侧、咬合侧和颊侧的圆柱视图)可以被用于快速且准确地分析或比较患者的牙弓。它还可以允许方便地对整个牙弓进行2D表示(全景视图)。因此，这些圆柱投影可以用于分析、存储和显示牙弓。

图17A示出了患者牙弓的3D表面的2D投影的一个示例，其示出了牙弓1703上方的管状(在三个侧面上包围的)“屏”1705。在该示例中，虚拟屏包围了牙弓。图17B示出了同一牙弓和包围管的顶视图(咬合视图)，还示出了截面C-C’。图17C示出了通过线C-C’的截面。图17C中的牙齿1707和屏1705的横截面示出了管状屏在三个侧面(例如，颊侧、咬合侧和舌侧)近似270度地包围牙弓。可以使用其他较少包围的“屏”，诸如180度等。在包围柱面中朝向牙齿中心线的每个点处拍摄的视图可以被识别和/或合成和缝合在一起，诸如本文所述(包括混合)，以形成患者牙齿的圆柱映射。所指示的点的密度可以由用户调整或自动地调整(增加/减少)。例如，可以调整密度以防止细节丢失，同时将密度最小化以提高速度。

图18A至图18B示出了在咬合视图中示为牙弓1803的3D模型的2D投影的牙弓的另一示例(图18A)，以及为了进行比较的圆柱投影1821(图18B)，圆柱投影1821示出了图18A中所示的同一牙弓的圆柱全景视图(类似于上文所述的圆柱全景视图)。在该示例中，圆柱投影1821在同一图像中示出了牙齿的舌侧面、咬合侧面和颊侧面。除了小的遮挡之外，该投影在一张图像中示出了扫描中的所有视觉数据。

如上文所述，图18B中所示的全景视图可以从例如使用口腔内扫描仪从记录的或已知的相机位置拍摄的2D图像的数据集中生成。在一些变型中，可以通过使用仅超出单个中心颌线的轨迹线(例如，中心颌线)来识别全景视图；可以使用多条线。

本文所述的圆柱投影可以部分地用于手动分析，例如由医生、牙医等进行分析。在一些变型中，这些投影可以被用于机器学习，例如，用于使用牙弓和/或牙齿的图像的机器学习技术。在这种情况下，机器学习引擎可以使用牙弓的圆柱投影图像，以通过机器学习进行处理(例如，用于以下中的一项或多项：分割、识别等)。将所有视觉数据包括在单个图像中(例如，圆柱投影)可以获得更好的机器学习结果。

例如，本文描述的是生成牙弓的圆柱投影的方法，包括处理扫描数据(如上所述)以形成包括颊侧、咬合侧和舌侧视图的牙弓的圆柱投影。这些方法可以包括：确定以重叠的方式涵盖所有三个侧面的一条或多条轨迹线；识别围绕牙弓的管状“屏”上的点，如图17A至图17B和图18A至图18B所示；以及从例如口腔内扫描数据(包括但不限于近红外光/红外光口腔内扫描数据，和/或表面扫描数据)中识别一个或多个2D图像；然后聚合这些图像，例如通过将它们缝合在一起，并混合、平滑化、或以其他方式协调它们以提供最终全景视图

从扫描数据生成新视图

一般而言，新视图合成是指在给定同一场景(或同一场景的重叠部分)的一组固定图像的情况下生成该场景的新相机视角的问题。因此，新视图合成方法基于相机位置来进行图像和视频合成。在经典的计算机视觉中，基于图像的渲染(IBR)方法通常依赖于基于优化的多视角立体视觉方法来重建场景几何结构(scene geometry)，并使观察结果向新视图的坐标系中扭曲(warp)。然而，这可能会导致视图依赖(view-dependent)效应，并可能会导致残影状的瑕疵和孔洞。本文所述的技术可以被称为基于图像的神经渲染技术(neuralimage-based rendering technique)，其特别适用于如本文所述的用途。例如，这些技术适用于使用口腔内扫描(以及类似的医学/牙科扫描)输入的用途，并且可能特别适合于生成生物结构的新视图，特别是牙科结构(例如，牙齿)的新视图，这些结构在可见光和其他穿透(例如，近红外光)波长下都可以有不透明度。这些技术可以与机器学习一起使用，机器学习可以被训练为通过使用可微分的渲染器进行端到端学习而从观察结果重建场景的经学习的表示。这使得能够在经学习的特征空间中学习几何、外观和其他场景属性的先验知识。尽管本文描述的技术可以是神经渲染技术，但可以可替代地或附加地使用经典方法。

基于图像的神经渲染(Neural image-based rendering)是基于图像的经典渲染(classical image-based rendering)和深度神经网络之间的结合，其可以使用经学习的组件来代替手动启发式方法(manual heuristics)。经典的IBR方法使用一组捕获到的图像和代理几何结构(proxy geometry)(例如从不同的视点)来生成新图像。代理几何结构用于将来自捕获到的图像的图像内容重新投影到新的目标图像域。在该目标图像域中，将来自源图像的投影进行混合以构成最终图像。这种简化的过程仅对具有精确几何结构的漫反射对象提供准确的结果，这些精确几何结构使用足够数量的捕获到的视图来重建。然而，由于视图依赖效应、不完美的代理几何结构或过少的源图像，可能会出现残影、模糊、孔洞或接缝等瑕疵。为了解决这些问题，基于图像的神经渲染方法将经典IBR方法中常见的启发式方法替换为经学习的混合函数或考虑到视图依赖效应的校正。

如上文提到及描述的，本文中的方法和设备可以从接收到的扫描数据(例如，接收到的多个2D图像和相应的相机位置信息)生成新视图。这些方法和设备中的任何一个都可以包括基于图像的渲染(IBR)，以通过使用接收到的图像中的贡献图像(例如，优选地3个图像)从采样后的视图合成新视图(例如，牙齿的新视图)，其中贡献图像在相对于新视点的最小角度下进行拍摄。例如，三个(或在一些变型中，更多个，例如五个)贡献图像可以通过包围所需的(新)角度或点(要针对该新角度或点生成新的新颖图像)的三角剖分来选择，其中，三角剖分产生可以由贡献图像的相机位置形成的最小包络。

该方法可以允许从在任意位置拍摄的一组图像(例如，接收到的多个扫描2D图像，如可以由口腔内扫描仪提供)生成新图像。在一些变型中，已经证明使用三个这样的图像在计算上特别快，特别是与使用多个(例如，4个或更多个)接收到的图像相比，这三个图像被选择为具有如下相机位置：该相机位置提供可以包围所需的新相机位置的最小三角形。

然后可以将每个贡献图像分解为多平面层(例如，RGBα层)。这些层可以在贡献图像相机视景体(view’s frustrum)中均匀地进行视差采样。例如，通过将每个平面/层重新投影到新视图相机的传感器平面，并从后向前地对这些平面进行α合成，对局部光场进行编码，可以形成这些层。然后，可以混合三个(或在一些变型中，例如，5个)贡献图像中的相邻层。因此，在一些变型中，三个(或在一些变型中，更多个)贡献图像可以被投影到与它们想要产生的新视点(例如，将在其上投影的表面或屏)平行的多个层(也可以被称为平面)中。然后可以将其混合，如上所述。

本文所述的方法可以通过使用机器学习代理(例如，新视图生成机器学习代理)实现自动化，该机器学习代理可以执行这些步骤中的全部或一些，例如，包括识别贡献图像、将每个贡献图像划分为多平面层、以及将贡献图像的多平面层中的相邻层混合。具体地，混合可以由机器学习代理执行。机器学习代理可以在数据集上训练，例如，在牙科数据集上训练。在一些变型中，机器学习代理可以在数据集(例如，扫描得到的牙科数据集)上训练，其中，具有已知相机位置的已知点从数据集中移除并被用作目标点。可以使用在该已知点(现在的目标点)处的实际图像。在给定来自牙科扫描的已知相机位置处的大量图像的情况下，可以生成许多这样的目标训练点(图像)，从而允许多次迭代(例如，数千次、数万次、数十万次等)。

本文所述的用于生成和显示全景视图的方法和设备可以特别地受益于用于从接收到的扫描数据生成新视图的技术。新视图生成可以涉及从给定的一组图像(其中每个图像的相机位置也是已知的)产生新视图。可以为未捕获图像的新相机位置生成一个或多个新视图。例如，新视图生成可以用于从多个(例如，3个、4个、5个、6个等)图像生成新视图以供显示，和/或用于生成全景视图。所述多个图像，诸如使用口腔内扫描仪拍摄的图像，还可以例如通过使用内置加速计或一个或多个其他位置传感器以高精度记录相机位置。可以在扫描期间获取这些图像(其可以形成包括多个图像的图像“汤”)，并且可以在后处理之后从该图像汤生成附加的新视图。

当在牙齿非常接近成像相机(例如，口腔内扫描仪)时拍摄(例如，扫描数据中的)多个图像的时候，牙齿的新图像的生成可以是特别理想的。例如，与其他扫描仪(其中，可以在距离牙齿约90mm时扫描牙齿)相比，相机(扫描仪)的针孔可以例如在一些变型中位于牙齿上方约7mm处，即使在该处扫描仪具有非常宽的角度(这可能导致视角失真)的情况下。例如，典型的口腔内扫描仪可以具有仅跨越单个牙齿(在该处相机以例如距离牙齿1-20mm之间进行扫描)或两个牙齿(在该处相机以例如距离牙齿25-100mm之间进行扫描)的视场。因此，即使视场足够大以覆盖多于一个牙齿(例如，2-3个牙齿)，但该视场也可能足够窄从而限制患者牙列(例如，上牙弓和/或下牙弓)内的一个或多个牙齿的视角，这可能使得仅从接收到的图像很难理解牙齿在颌中的相对位置和取向，并很难理解图像中的临床发现。然而，尽管视场相对较小，所获取的扫描图像可以具有非常高的信噪比、清晰度、分辨率和其他光学特性。此外，许多这些扫描得到的图像数据集可以包括成百上千个图像。

因此，本文所述的方法和设备可以允许从针对后处理所获取的图像(例如，图像汤)的集合或从当前(实时)扫描得到的多个图像来形成具有相对较大视场的全景图像，其中，扫描仪包括多个偏置的成像相机(例如，在一些变型中，可以同时成像6个或更多个图像)，这可以用于生成全景图像和/或新的或合成的图像。例如，在一些变型中，扫描仪能够从扫描仪(例如，扫描仪的扫描枪)上的不同偏置位置同时扫描多个图像，如本文所述，该扫描仪可以被配置为从一点来显示新的合成图像，该点位于扫描仪上的多个相机之间(包括在中心区域处)；在相机相对于扫描仪偏置(例如，在扫描仪的侧面偏置)的情况下，这可能特别有用。从扫描工具(例如，扫描枪)的尖端和/或中心显示图像可以比从扫描工具侧面上的相机显示一个或多个图像更为直观。

图21示出了在新的相机位置生成合成图像的方法的一个示例。如上所述，可以作为用于生成全景视图的方法或设备的一部分而包括该方法。作为初始步骤，可以识别新视点2101。例如，可以从接收到的扫描数据中选择新的视图方向。图19是示出了与三个输入图像1903、1905、1907(以灰色示出)相比，选择新的视图方向1901(以黑色示出)的图示。可以从图像数据集中选择三个(或在一些变型中，更多个，诸如五个)贡献图像2103。例如，可以基于相机位置选择这三个图像，使得这三个图像正在观看同一场景，并且它们的主要射线方向形成一个三角形，该三角形包括所需合成图像的主要射线方向。这可以可替代地被阐述为从具有相机位置的数据集中选择贡献图像作为一组图像，这些相机位置形成以最小的包围区域包围新视点的三角形(当使用三个图像时)。可替代地或附加地，这可以理解为相对于新视点的视点角度，该组图像具有最小的角度差异。在一些变型中，这两种情况都可以是真实的(例如，既有包围新视图的相机位置的最小区域，又指向大概相同的方向(相对于新视点具有最小的角度差异))。

在一些变型中，用于确定新视图的方法或设备还可能要求贡献图像(例如，形成围绕的三角形结构的贡献图像)每个都具有距相机(例如，针孔相机)约10mm的视场区域，交集将大于视场区域的约0.5的并集。例如，图20示出了交并比，其示出了大于一半(0.5)的交并比。交并比是一种评估指标，其可以用于度量对象检测器在特定数据集上的精度。

在确定来自图像数据集的贡献图像之后，可以将贡献图像转换为多平面层2105，例如通过投影到网格，该网格包括与新查看相机的屏平行的多个平面。屏中的每个点可以对应于新视图图像上的像素。在一些变型中，在来自输入图像的贡献图像被投影到网格上之后，贡献图像可能导致大小为图像宽度X图像高度X平面数量X 3的张量。然后，转换后的多层贡献图像中的相邻层可以被混合2107，以形成新的视点图像。

如上所述，在这些方法和设备中的任何一个中，可以训练和使用机器学习代理，例如，以混合贡献图像的层。例如，机器学习代理可以使用(例如，从口腔内扫描仪)接收到的多个扫描图像通过“留下一个(leave one out)”方法进行训练，在该方法中，一个图像被移除，并且当使用三个相邻图像并试图预测这个被移除的图像时，被移除图像的相机位置被用作为真实(“地面实况”)图像。

图22A至图22E和图23A至图23E示出了使用经训练的机器学习代理的原型投影(prototype projection)的示例。例如，图22A至图22C示出了从包括多个扫描图像的数据集中识别出的三个贡献图像的示例，每个扫描图像具有对应的相机位置信息。这三个贡献图像每个都被示出为相对于待确定的新视图具有近似相同的查看角度(例如，相对于新的视点角度具有最小差异)，并形成包围新视点的最小三角形。然后，这些贡献图像中的每一个被转换为多个平行的平面(例如，RGBα层)，并被混合以形成新视点处的图像，如图22D所示，从而示出了新视点的预测图像。该预测图像与该视点处的实际(地面实况)图像相比是有利的，如图22E所示。在图22A至图23E的示例中看到了类似的结果。在图23A至图23C中示出了三个贡献图像，并且在图23D中示出了预测图像。为了比较，在图23E中示出了实际(地面实况)图像。

在这些示例中，使用经训练的机器学习代理(网络)进行混合，这既简单又快速。如上所述，该技术可以特别地用于确定全景视图的图像。

可以使用各种替代、修改和等效物来代替上述组件。尽管可以使用计算机辅助技术来确定牙齿的最终位置，但是用户可以通过在满足处方约束的同时独立地操控一个或多个牙齿来将牙齿移动到它们的最终位置。

附加地，本文所述的技术可以以硬件或软件或两者的组合来实现。这些技术可以在可编程计算机上执行的计算机程序中实现，每个可编程计算机包括处理器、能够由处理器读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、以及合适的输入和输出装置。程序代码被应用到通过使用输入装置而输入的数据，以执行所述功能并生成输出信息。输出信息被应用到一个或多个输出装置。

每个程序可以以高级程序化或面向对象的编程语言来实现，以与计算机系统结合操作。然而，如果需要，这些程序可以用汇编语言或机器语言来实现。在任何情况下，语言都可以是编译语言或解译语言。

每个这样的计算机程序可以存储在能够由通用或专用可编程计算机读取的存储介质或装置(例如，CD-ROM、硬盘或磁盘)上，以用于在存储介质或装置由计算机读取时对计算机进行配置和操作从而执行所述过程。该系统还可以实现为配置有计算机程序的计算机可读存储介质，其中如此配置的存储介质使计算机以特定且预定义的方式操作。

尽管已经在本文中示出和描述了本公开的优选实施例，但是对于本领域技术人员来说显而易见的是，这些实施例仅作为示例提供。在不背离本发明的情况下，本领域技术人员现在将想到许多变型、改变和替代方案。应理解的是，在实践本发明时，可以采用本文所述的本发明实施例的各种替代方案。本文所述的实施例的多种不同组合是可能的，并且这些组合被认为是本公开的一部分。此外，结合本文中的任何一个实施例所讨论的所有特征都可以容易地适用于本文中的其他实施例。所附权利要求旨在限定本发明的范围，并且因此将覆盖在这些权利要求范围内的方法和结构及其等效物。

当一特征或元件在本文中被称为“在”另一特征或元件“上”时，它可以直接位于另一特征或元件上，或者也可以存在中间的特征和/或元件。相反，当一特征或元件被称为“直接在”另一特征或元件“上”时，则不存在中间的特征或元件。还将理解的是，当一特征或元件被称为“连接”、“附接”或“联接”到另一特征或元件时，它可以直接地连接、附接或联接到另一特征或元件，或者可以存在中间的特征或元件。相反，当一特征或元件被称为“直接连接”、“直接附接”或“直接联接”到另一特征或元件时，则不存在中间的特征或元件。尽管相对于一个实施例进行了描述或示出，但如此描述或示出的特征和元件可以应用于其他实施例。本领域技术人员还将认识到，对设置为与另一特征“相邻”的结构或特征的提及可以具有与该相邻特征重叠或位于该相邻特征之下的部分。

本文使用的术语仅用于描述特定实施例，并且不旨在限制本发明。例如，如本文所使用的，单数形式“一个(a)”、“一(an)”和“该(the)”也旨在包括复数形式，除非上下文另有明确指示。将进一步理解的是，术语“包括(comprises)”和/或“包含(comprising)”在本说明书中使用时，指定的是所述特征、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、步骤、操作、元件、组件和/或它们的组。如本文中所使用的，术语“和/或”包括一个或多个相关联的所列项目中的任何一个和所有组合，并且可以被缩写为“/”。

诸如“下(under)”、“之下(below)”、“下方(lower)”、“之上(over)”、“上(upper)”等的空间相对术语可以在本文中使用，以便于描述如附图中所示的一个元件或特征相对于与另外一个或另外多个元件或特征的关系。应将理解的是，除了附图中描绘的取向之外，空间相对术语旨在包括正在使用或操作中的装置的不同取向。例如，如果图中的装置被倒置，则被描述为“在”其他元件或特征“下(under)”或“之下(beneath)”的元件将取向为“在”其他元件或特征“之上(over)”。因此，示例性术语“下”可以包括上方和下方的取向。装置可以以其他方式取向(旋转90度或以其他的取向)，并且本文中使用的空间相对描述符可以相应地解读。类似地，除非另有具体指示，否则本文所使用的术语“向上(upwardly)”、“向下(downwardly)”、“竖直(vertical)”、“水平(horizontal)”等仅出于解释的目的。

尽管可以在本文中使用术语“第一”和“第二”以描述各种特征/元件(包括步骤)，但这些特征/元件不应受到这些术语的限制，除非上下文另有指示。这些术语可以用于将一个特征/元件与另一特征/元件区分开。因此，在不偏离本发明的教导的情况下，下面讨论的第一特征/元件可以被称为第二特征/元件，并且类似地，下面讨论的第二特征/元件可以被称为第一特征/元件。

除非上下文另有要求，否则在整个说明书和所附权利要求中，词语“包括(comprise)”以及诸如“包括(comprises)”和“包括(comprising)”等变型意味着各种组件可以共同用于方法和物品(例如，包括装置和方法的组成和设备)中。例如，术语“包括”将被理解为意指包括任何所述元件或步骤，而不是排除任何其他元件或步骤。

一般而言，本文所述的任何设备和方法都应被理解为包容性的，但组件和/或步骤的全部或子集可以可替代地是排他性的，并且可以被表述为“由”各种组件、步骤、子组件或子步骤“组成”，或可替代地“基本上由”各种组件、步骤、子组件或子步骤“组成”。

如在本说明书和权利要求书中使用的，包括如在示例中使用的，除非另有明确指定，否则所有数字都可以被解读为以词语“大约”或“大概”开头，即使该术语没有明确出现。在描述大小和/或位置时，可以使用短语“大约”或“大概”，以指示所描述的值和/或位置位于值和/或位置的合理预期范围内。例如，数值可以为规定值(或值的范围)的+/-0.1％、规定值(或值的范围)的+/-1％、规定值(或值的范围)的+/-2％、规定值(或值的范围)的+/-5％、规定值(或值的范围)的+/-10％等。除非上下文另有指示，否则本文给出的任何数值也应被理解为包括该值的大约值或大概值。例如，如果公开了值“10”，则也公开了“大约10”。本文所述的任何数值的范围旨在包括其中包含的所有子范围。还应理解的是，当公开了一值时，则也公开了“小于或等于”该值的值、“大于或等于该值”的值以及值之间的可能范围，如本领域技术人员适当理解的那样。例如，如果公开了值“X”，则也公开了“小于或等于X”以及“大于或等于X”(例如，其中X是数值)。还应理解的是，在整个应用中，数据以多种不同格式提供，并且该数据表示端点和起点，以及数据点的任何组合的范围。例如，如果公开了特定数据点“10”和特定数据点“15”，则可以理解的是，大于、大于或等于、小于、小于或等于、等于10和15、以及位于10和15之间被视为已公开。还应理解的是，也公开了两个特定单位数之间的每个单位数。例如，如果公开了10和15，则也公开了11、12、13和14。

尽管上文描述了各种说明性实施例，但在不脱离权利要求书所述的本发明范围的情况下，可以对各种实施例进行许多更改中的任何更改。例如，在替代实施例中，所描述的各种方法步骤的执行顺序可以经常地改变，并且在其他替代实施例中，可以完全跳过一个或多个方法步骤。各种装置和系统实施例的可选特征可以被包括在一些实施例中，而不被包括在其他实施例中。因此，提供前面的描述主要是为了示例性目的，并且不应被解释为限制权利要求中所述的本发明范围。

本文中所包括的示例和图示通过图示而非限制的方式示出了具体实施例，在这些实施例中可以实践本发明主题。如前所述，可以利用其他实施例并从其衍生，使得可以在不脱离本公开范围的情况下进行结构和逻辑的替换和更改。本发明主题的这些实施例可以在本文中单独或共同地由术语“发明”来指代，仅出于方便的目的，并且如果事实上公开了多于一个发明或发明构思，则不旨在将本申请的范围自愿限制于任何单个发明或发明构思。因此，尽管本文已经说明和描述了具体实施例，但是为实现相同目的而计算的任何布置可以替代所示的具体实施例。本公开旨在涵盖各种实施例的任何和所有的修改或变型。上述实施例的组合和本文未具体描述的其他实施例，对于本领域技术人员而言在阅读上述描述之后将是显而易见的。

Claims (19)

1.一种显示牙弓的全景视图的方法，所述方法包括：

接收所述牙弓的多个二维(2D)图像，所述多个二维(2D)图像中的每个二维(2D)图像在相关联的相机角度和位置下拍摄；

识别用于查看所述牙弓的全景视图的查看角度；

识别所述多个二维(2D)图像的中心颌线，并识别沿着所述中心颌线的多个点；

通过以下方式在所述查看角度下生成所述全景视图：

针对所述多个点中的每个点选择基于所述多个二维(2D)图像中的一个或多个二维(2D)图像的图像，所述图像包括所述点并且具有与所述查看角度对应的相机角度；以及

组合选定的图像；以及

显示所述全景视图，

其中，选择基于所述多个二维(2D)图像中的一个或多个二维(2D)图像的图像，包括：针对所述多个点中的一个或多个点，从所述多个二维(2D)图像中的三个或更多个二维(2D)图像生成新的合成二维(2D)图像，其中所述合成二维(2D)图像对应于所述查看角度下沿着所述中心颌线的点。

2.根据权利要求1所述的方法，其中，所述多个二维(2D)图像包括红外图像。

3.根据权利要求1所述的方法，其中，生成所述新的合成二维(2D)图像，包括：从所述多个二维(2D)图像中识别三个贡献图像，每个贡献图像的相机角度与所述查看角度相比具有最小差异，并且其中，所述新的合成二维(2D)图像的视点的位置被所述三个贡献图像的相机位置形成的三角形包围。

4.根据权利要求1所述的方法，其中，识别所述多个二维(2D)图像的中心颌线，包括：基于以下中的一项或多项，沿着所述中心颌线布置所述多个二维(2D)图像：所述二维(2D)图像的内容，以及在拍摄每个二维(2D)图像时针对所述二维(2D)图像收集的位置信息。

5.根据权利要求1所述的方法，其中，所述组合包括沿着与所述中心颌线对应的线进行组合。

6.根据权利要求1所述的方法，其中，所述组合包括混合所述选定的图像以使相邻选定图像的边界处的梯度相匹配。

7.根据权利要求1所述的方法，其中，生成所述全景视图，包括：根据线性的中心颌线将所述牙弓的牙齿显示在一条线上。

8.根据权利要求1所述的方法，还包括：基于用户输入将所述查看角度更改为第二查看角度，并使用所述第二查看角度生成第二全景视图。

9.根据权利要求1所述的方法，其中，所述查看角度由用户经由用户界面进行选择，所述用户界面允许所述用户移动所述全景视图。

10.根据权利要求1所述的方法，其中，所述查看角度垂直于通过所述中心颌线的虚拟屏。

11.根据权利要求1所述的方法，还包括：以不同的阴影或颜色渲染所述全景视图中具有不同的密度或组成的区域。

12.根据权利要求1所述的方法，还包括：根据基于所述全景视图的治疗计划形成一个或多个牙科器具。

13.根据权利要求1所述的方法，还包括：扫描患者的牙弓以收集所述牙弓的多个二维(2D)红外图像。

14.根据权利要求1所述的方法，其中，针对所述多个点中的每个点选择基于所述多个二维(2D)图像中的一个或多个二维(2D)图像的图像，包括：从所述多个二维(2D)图像中的所述一个或多个二维(2D)图像中选择具有最接近所述查看角度的相机角度的所述图像。

15.根据权利要求1所述的方法，其中，针对所述多个点中的每个点选择基于所述多个二维(2D)图像中的一个或多个二维(2D)图像的图像，包括：从所述一个或多个二维(2D)图像中外推出图像。

16.一种系统，包括：

一个或多个处理器；以及

存储器，联接到到所述一个或多个处理器，所述存储器包括非瞬态计算装置可读介质，所述非瞬态计算装置可读介质具有存储在其上的指令，所述指令能够由所述一个或多个处理器执行，以执行一种方法，所述方法包括：

接收牙弓的多个二维(2D)图像，所述二维(2D)图像中的每个二维(2D)图像在相关联的相机角度下拍摄；

识别用于查看所述牙弓的全景视图的查看角度；

识别所述多个二维(2D)图像的中心颌线，并识别沿着所述中心颌线的多个点；

通过以下方式在所述查看角度下生成所述全景视图：

针对所述多个点中的每个点选择基于所述多个二维(2D)图像中的一个或多个二维(2D)图像的图像，所述图像包括所述点并且具有与所述查看角度对应的相机角度；以及

组合选定的图像；以及

显示所述全景视图，

其中，选择基于所述多个二维(2D)图像中的一个或多个二维(2D)图像的图像，包括：针对所述多个点中的一个或多个点，从所述多个二维(2D)图像中的三个或更多个二维(2D)图像生成新的合成二维(2D)图像，其中所述合成二维(2D)图像对应于所述查看角度下沿着所述中心颌线的点。

17.根据权利要求16所述的系统，其中，所述指令还包括通过从用户界面接收所述查看角度来识别所述查看角度。

18.根据权利要求17所述的系统，其中，所述用户界面被配置为允许用户动态地改变所述查看角度并显示对应的全景视图。

19.如权利要求16所述的方法，其中，生成所述新的合成二维(2D)图像，包括：从所述多个二维(2D)图像中识别三个贡献图像，每个贡献图像的相机角度与所述查看角度相比具有最小差异，并且其中，所述新的合成二维(2D)图像的视点的位置被所述三个贡献图像的相机位置形成的三角形包围。