CN118691695A - 牙科用整合数据的生成方法 - Google Patents

Abstract

本发明一实施例的牙科用整合数据的生成方法可包括如下步骤：获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；获取包含上述患者的牙齿部位的计算机断层扫描图像；将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据。

Description

牙科用整合数据的生成方法

技术领域

本发明涉及一种牙科用整合数据的生成方法，更具体地，涉及如下的方法，生成将口腔扫描图像及计算机断层扫描图像整合的牙科用整合数据来更直观地呈现牙科患者的牙齿状态。

背景技术

在牙科咨询或治疗过程中，仅仅依靠牙科医生的口头解释具有局限性，因此目前存在更直观地向患者呈现牙齿状态及治疗后的牙齿状态等的需求。

对此，随着数字成像技术的发展，趋向于在牙科治疗或咨询过程中广泛利用多种类型的图像数据。这种多种图像数据的利用可以实现牙科诊断的改善、治疗计划制定、患者管理等。在牙科咨询或治疗过程中使用的代表性图像数据可以为通过牙科用计算机断层扫描(CT，Computerized Tomography)装置获取的计算机断层扫描图像、通过面部拍摄装置拍摄患者的面部来获取的面部图像以及利用三维口腔扫描仪扫描患者的口腔内部获取的口腔扫描图像等。

但是，在计算机断层扫描的情况下，为了固定患者的位置，患者用嘴咬住计算机断层扫描装置的特定部位(例如，喉舌(mouthpiece)、咬合块(bite block))并进行拍摄，以此获取的计算机断层扫描图像为在口腔细微张开的状态下拍摄的图像，与平常的实际口腔咬合状态存在差异。因此，根据治疗或咨询目的适当加载具有不同用途的图像数据来使用，这给牙科医生等用户带来麻烦。

例如，当为了进行种植牙手术而确定种植牙种植位置并执行手术导板(surgicalguide)设计时，确认神经管的位置较为重要，因此，需要以计算机断层咬合状态整合(对齐)在计算机断层扫描图像的口腔扫描图像。另一方面，在计划进行牙冠等修复治疗的情况下，需要确认需要治疗的牙齿与相反侧牙齿的接触部分，因此，需要以口腔扫描咬合状态整合在计算机断层扫描图像的口腔扫描图像。

对此，需要一种在不受到牙科治疗或咨询目的限制的情况下，根据治疗种类生成适当的整合数据并显示的方法。

发明内容

对此，本发明的目的在于，提供一种在不受到牙科治疗或咨询目的限制的情况下，根据治疗种类生成适当的整合数据并显示的方法。

根据本发明的一实施例，在将上颌扫描图像及下颌扫描图像整合(或对齐)到计算机断层扫描图像的过程中，能够以整合在计算机断层扫描图像的上颌扫描图像为基准整合下颌扫描图像。在上述情况下，可以获取以口腔扫描咬合状态整合在计算机断层的口腔扫描图像集。

根据本发明的一实施例，在将上颌扫描图像及下颌扫描图像整合(或对齐)到计算机断层扫描图像的过程中，可以将整合在计算机断层扫描图像的上颌扫描图像及整合在计算机断层扫描图像的下颌扫描图像相互整合。在上述情况下，可以获取以计算机断层咬合状态对齐在计算机断层的口腔扫描图像集。

根据本发明的一实施例，本发明的目的在于，根据治疗目的提供呈现口腔扫描咬合状态的整合数据及呈现计算机断层咬合状态的整合数据中的至少一个。

然而，本发明所要解决的问题并不限定于以上提及的问题，可包括未提及但本发明所属技术领域的普通技术人员可以通过以下的记载明确理解的目的。

以下，对用于实现本发明目的的具体技术方案进行说明。

本发明一实施例的牙科用整合数据的生成方法可包括如下步骤：获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；获取包含上述患者的牙齿部位的计算机断层扫描图像；将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据。

上述牙科用整合数据的生成方法还可包括如下步骤：接收用于选择上述第一整合数据及上述第二整合数据中的一个整合数据的用户输入；以及作为对接收上述用户输入的响应，显示所选择的上述一个整合数据。

上述牙科用整合数据的生成方法还可包括如下步骤：接收针对上述患者的牙齿部位的治疗方式的用户输入；选择上述第一整合数据及上述第二整合数据中与上述用户输入对应的一个整合数据；以及显示所选择的上述一个整合数据。

上述牙科用整合数据的生成方法还可包括如下步骤，对上述计算机断层扫描图像进行影像处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像。

在上述牙科用整合数据的生成方法中，生成上述第一子整合数据的步骤可包括如下步骤，将上述上颌扫描图像整合到上述计算机断层分割图像来生成上述第一子整合数据，生成上述第二子整合数据的步骤包括如下步骤，将上述下颌扫描图像整合到上述计算机断层分割图像来生成上述第二子整合数据。

在上述牙科用整合数据的生成方法中，生成上述第一整合数据的步骤可包括如下步骤：计算从上述第一整合数据到上述第二子整合数据的变换矩阵；以及将上述变换矩阵的逆变换矩阵应用于所分割的上述下颌牙、下颌骨及下颌神经管中的至少一个。

在上述牙科用整合数据的生成方法中，还可包括如下步骤：获取与包含上述患者的牙齿部位的面部有关的三维面部图像；以及将上述三维面部图像与上述计算机断层扫描图像、上述第一整合数据及上述第二整合数据中的一个整合来生成牙科用三维头像(dental 3D avatar)作为最终整合数据。

在上述牙科用整合数据的生成方法中，生成上述第一子整合数据的步骤可包括如下步骤，利用第一深度学习模型来从上述上颌扫描图像及上述计算机断层扫描图像生成上述第一子整合数据，上述第一深度学习模型为根据深度学习算法将与多个患者有关的多个上颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个上颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

在上述牙科用整合数据的生成方法中，生成上述第二子整合数据的步骤可包括如下步骤，利用第二深度学习模型来从上述下颌扫描图像及上述计算机断层扫描图像生成上述第二子整合数据，上述第二深度学习模型为根据深度学习算法将与多个患者有关的多个下颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个下颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

在上述牙科用整合数据的生成方法中，上述第一子整合数据及上述第二子整合数据可基于上述患者的三维数据的至少3个特征点生成，上述至少3个特征点通过用于生成牙科用整合数据的应用程序提取，上述至少3个特征点是利用内置于上述应用程序或者通过网络连接的人工神经网络模块提取的，上述人工神经网络模块通过预学习用数据来预先学习。

本发明一实施例的用于生成牙科用整合数据的装置可包括：通信电路；存储器；以及处理器，上述处理器被配置为：获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；获取包含上述患者的牙齿部位的计算机断层扫描图像；将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据。

上述用于生成牙科用整合数据的装置还可包括：输入装置；以及显示器，上述处理器被配置为：通过上述输入装置接收用于选择上述第一整合数据及上述第二整合数据中的一个整合数据的用户输入；以及作为对接收上述用户输入的响应，通过上述显示器显示所选择的上述一个整合数据。

上述用于生成牙科用整合数据的装置还可包括：输入装置；以及显示器，上述处理器被配置为：通过上述输入装置接收针对上述患者的牙齿部位的治疗方式的用户输入；选择上述第一整合数据及上述第二整合数据中与上述用户输入对应的一个整合数据；以及通过上述显示器显示所选择的上述一个整合数据。

在上述用于生成牙科用整合数据的装置中，上述处理器可对上述计算机断层扫描图像进行影像处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像。

在上述用于生成牙科用整合数据的装置中，上述处理器可被配置为：将上述上颌扫描图像整合到上述计算机断层分割图像来生成上述第一子整合数据；以及将上述下颌扫描图像整合到上述计算机断层分割图像来生成上述第二子整合数据。

在上述用于生成牙科用整合数据的装置中，上述处理器可被配置为：计算从上述第一整合数据到上述第二子整合数据的变换矩阵；以及将上述变换矩阵的逆变换矩阵应用于所分割的上述下颌牙、下颌骨及下颌神经管中的至少一个。

在上述用于生成牙科用整合数据的装置中，上述处理器可被配置为：获取与包含上述患者的牙齿部位的面部有关的三维面部图像；以及将上述三维面部图像与上述计算机断层扫描图像、上述第一整合数据及上述第二整合数据中的一个整合来生成牙科用三维头像作为最终整合数据。

在上述用于生成牙科用整合数据的装置中，上述处理器可被配置为：利用第一深度学习模型来从上述上颌扫描图像及上述计算机断层扫描图像生成上述第一子整合数据，上述第一深度学习模型为根据深度学习算法将与多个患者有关的多个上颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个上颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

在上述用于生成牙科用整合数据的装置中，上述处理器可被配置为：利用第二深度学习模型来从上述下颌扫描图像及上述计算机断层扫描图像生成上述第二子整合数据，上述第二深度学习模型为根据深度学习算法将与多个患者有关的多个下颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个下颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

在上述用于生成牙科用整合数据的装置中，上述第一子整合数据及上述第二子整合数据可基于上述患者的三维数据的至少3个特征点生成，上述至少3个特征点通过用于生成牙科用整合数据的应用程序提取，上述至少3个特征点是利用内置于上述应用程序或者通过网络连接的人工神经网络模块提取的，上述人工神经网络模块通过预学习用数据来预先学习。

根据本发明的一实施例，可根据治疗的目的提供呈现口腔扫描咬合状态的整合数据及呈现计算机断层咬合状态的整合数据中的至少一个。

但是，本发明可获得的效果并不限定于以上提及的效果，本发明所属技术领域的普通技术人员可以通过以下的记载明确理解未提及的其他效果。

附图说明

本说明书所附的以下附图示例了本发明的优选实施例，并且与发明的详细说明一起用于进一步理解本发明的技术思想，因此本发明不应被解释为限定于附图所记载的事项。

图1为用于简单说明本发明一实施例的用于生成牙科用整合数据的装置的基本结构的图。

图2为本发明一实施例的用于生成牙科用整合数据的装置的框图。

图3为用于简单说明本发明一实施例的基于整合模块的牙科用整合数据的生成原理的图。

图4为用于说明本发明一实施例的牙科用整合数据生成方法的工作流程图。

图5a为本发明一实施例的计算机断层扫描图像。图5b为本发明一实施例的口腔扫描图像中的上颌扫描图像。图5c为本发明一实施例的第一子整合数据。

图6a为本发明一实施例的口腔扫描图像中的下颌扫描图像。图6b为本发明一实施例的第一整合数据。

图7为本发明一实施例的第二子整合数据。

图8为本发明一实施例的第二整合数据。

图9为用于说明本发明一实施例的牙科用整合数据生成方法的工作流程图。

图10a及图10b为本发明一实施例的计算机断层分割图像。

图11为本发明一实施例的第一整合数据。

图12为本发明一实施例的第二整合数据。

附图标记的说明

10：三维口腔扫描仪 15：口腔扫描图像

20：三维面部拍摄装置 25：三维面部图像

30：牙科用计算机断层装置 35：计算机断层扫描图像

100：牙科用整合数据生成装置

110：存储器 120：处理器

130：获取模块 140：整合模块

150：显示模块

具体实施方式

在本说明书中记载的多种实施例以用于明确说明本发明的技术思想的目的例示，而并非将本发明限定在这些特定实施形态。本发明的技术思想包括本说明书中记载的各实施例的多种变更(modifications)、等同技术方案(equivalents)、替代技术方案(alternatives)及各实施例的全部或一部分选择性地组合的实施例。并且，本发明的技术思想的权利范围并不局限于以下公开的多种实施例或对其的具体说明。

除非明确定义，否则包括技术或科学术语在内的在本说明书中所使用的术语的含义可以与本发明所属技术领域的普通技术人员通常理解的含义相同。

在本说明书中使用的“包括(包含)”、“可包括(可包含)”、“具备”、“可具备”、“具有”、“可具有”等表述意味着对象特征(例如，功能、工作或结构要素等)的存在，而并非排除其他追加特征的存在。即，上述表述应被理解为内含有包括其他实施例的可能性的开放型术语(open-ended terms)。

除非在上下文中明确表示，否则在本说明书中的单数的表述可包括复数的表述。并且，除非在上下文中明确表述为复数，否则复数的表述包括单数的表述。在整个说明书中，当一个部分包括一个结构要素时，只要没有特别相反的记载，意味着还可包括其他结构要素，而并非排除其他结构要素。

并且，在说明书中所使用的“模块”或“部”等术语是指软件或硬件结构要素，“模块”或“部”执行一些作用。但是，“模块”或“部”并不局限于软件或硬件。“模块”或“部”也可以形成在能够访问的存储介质，也可以激活一个或一个以上的处理器。因此，作为一例，“模块”或“部”可包括软件结构要素、面向对象的软件结构要素、类结构要素及任务结构要素等结构要素和处理器、函数、属性、过程、子例程、程序代码段、驱动器、固件、微控代码、电路、数据、数据库、数据结构、表、阵列及变量中的至少一个。结构要素和“模块”或“部”所提供的功能可以由更少数量的结构要素及“模块”或“部”结合或者还可分离成追加的结构要素和“模块”或“部”。

根据本发明的一实施例，“模块”或“部”可以体现为处理器及存储器。“处理器”应被解释成包括常用处理器、中央处理装置(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等的广义含义。在多种环境下，“处理器”也可以被称为专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA))等。例如，“处理器”也可以称为数字信号处理器与微处理器的组合、多个微处理器的组合、数字信号处理器与核结合的一个以上的微处理器的组合或任意其他结构的组合等处理设备的组合。并且，“存储器”应被解释成包括能够存储电子信息的任何电子器件的广义含义。“存储器”也可以称为随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、擦除可编程只读存储器(EPROM)、电擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储、寄存器等处理器可读介质的多种类型。只要处理器从存储器读取信息并在存储器记录信息，则存储器被称为处于与处理器进行电子通信的状态。集成在处理器的存储器处于与处理器进行电子通信的状态。

除非在上下文中明确表示，否则在本说明书中所使用的“第一”、“第二”等表述在指定多个同种对象的过程中用于区分两个对象，而并不限定对应对象之间的顺序或重要程度。

在本说明书中所使用的“A、B及C”、“A、B或C”、“A、B和/或C”、“A、B及C中的至少一个”或“A、B或C中的至少一个”、“A、B和/或C中的至少一个”、“选自A、B及C中的至少一个”、“选自A、B或C中的至少一个”、“选自A、B和/或C中的至少一个”等表述可分别表示所罗列的项目或罗列的项目的有可能的所有组合。例如，“选自A及B中的至少一个”均可以表示(1)A、(2)A中至少一个、(3)B、(4)B中至少一个、(5)A中至少一个及B中至少一个、(6)A中至少一个及B、(7)B中至少一个及A、(8)A及B。

在本文中所使用的“以～为基础”等表述用于记述对包括对应表述的语句或文章中所记述的确定、判断的行为或工作产生影响的一个以上的因素，该表述并不排除对相应确定、判断的行为或工作产生影响的追加因素。

在本文中所使用的一个结构要素(例如，第一结构要素)与其他结构要素(例如，第二结构要素)“连接”或“联接”等表现可以为上述一个结构要素直接连接或联接在上述其他结构要素的情况和以新的其他结构要素(例如，第三结构要素)为介质连接或联接的情况。

在本文中所使用的表述“被配置为(configured to)”可根据上下文具有“以～方式设定”、“具有～能力”、“以～方式改变”、“以～方式形成”、“可以进行～”等含义。对应表述并不局限于“以硬件的方式特别设计”的含义，例如，被配置为执行特定工作的处理器可以为通过运行软件来执行该特定工作的常用处理器(generic purpose processor)。

以下，参照附图，对本发明的多种实施例进行说明。在对附图进行说明的过程中，对相同或实质上等同(substantially equivalent)的结构要素赋予相同的附图标记。并且，以下，在说明多种实施例的过程中，可以省略相同或相应结构要素重复记述，但这并不意味着相应结构要素包括在该实施例。

用于生成牙科用整合数据的装置的基本结构

图1为用于简单说明本发明一实施例的用于生成牙科用整合数据的装置的基本结构的图。

参照图1，牙科用整合数据生成装置100可包括存储器110及处理器120。

存储器110可存储包括用于生成每位患者的个人信息及治疗数据、牙科用整合数据的应用程序在内的各种应用程序等。根据一实施例，患者的治疗数据可包括口腔扫描(Intra Oral Scan，IOS)图像15、三维(3D)面部图像25以及CT(计算机断层，ComputedTomography)扫描图像35中的至少一个。

处理器120可执行存储在存储器110的用于生成牙科用整合数据的应用程序。根据一实施例，根据用于生成牙科用整合数据的应用程序的执行，获取模块130、整合模块140以及显示模块150可通过软件来实现。但是，根据装置的设计，部分模块还可通过硬件来实现，但并不限于此。

根据一实施例，口腔扫描图像15可利用三维口腔扫描仪10扫描患者的牙齿部位，即，扫描口腔内来获取。作为非接触式扫描仪的三维口腔扫描仪10收集患者的口腔内结构的表面数据并基于此来使用共焦(Confocal)方式或三角测量方式(Opticaltriangulation)等来生成三维口腔扫描(IOS)图像。如上所述，当通过三维口腔扫描仪10来获取三维口腔扫描图像作为数字印模(Digital impression)时，具有无需经历如下繁琐的步骤的优点，即，无需利用放置于托盘的印模材料对患者的口腔内执行印模操作(印取牙模操作)，从而物理获取患者的口腔内结构。口腔扫描图像15可通过市售的各种类型的三维口腔扫描仪来获取，但并不对此做限定。

口腔扫描图像可包含上颌扫描图像及下颌扫描图像。上颌扫描图像可通过扫描患者的上颌牙齿来获取，下颌扫描图像可通过扫描患者的下颌牙齿来获取。

三维面部图像25可通过使用三维面部拍摄装置20拍摄患者的面部来获取。根据一实施例，三维面部拍摄装置20可包括多个摄像头，其能够以多个摄像头单次拍摄患者的面部并获取三维面部图像25方式驱动。然而，三维面部拍摄装置20还可通过固定或移动患者的面部并隔着时差拍摄患者的面部的方式驱动，但并不对此做限定。

并且，根据一实施例，三维面部拍摄装置20的多个摄像头可包括多个面部拍摄用摄像头和至少一个用于拍摄患者的牙齿部位的牙齿拍摄用摄像头。多个面部拍摄用摄像头可设置于三维面部拍摄装置20的正面、左侧、右侧及底部，以拍摄患者的面部的正面、左侧、右侧、底部等。根据一实施例，牙齿拍摄用摄像头与面部拍摄用摄像头不同，例如，镜头的放大倍数可能不同。例如，牙齿拍摄用摄像头可被配置为设置于三维面部拍摄装置20的左侧及右侧，从而可拍摄患者的牙齿部位的左右侧，但对于牙齿拍摄用摄像头的数量或设置位置不做限定。以这种方式具有单独的牙齿拍摄用摄像头不仅用于更准确地表现并呈现患者的牙齿，而且还用于在整合数据的生成过程中更加精确和顺利地与其他数据(例如，计算机断层扫描图像或口腔扫描(IOS)图像)进行整合。对此进行详细后述。

根据一实施例，三维面部图像25是在露出患者的牙齿部位的状态下拍摄的。即，当通过三维面部拍摄装置20拍摄患者的面部时，可以引导患者将本身的面部固定在正确的位置并露出牙齿部位后执行拍摄。为此，三维面部拍摄装置20可以被设计为具有引导功能。因此，可以对患者的面部牙齿部位更准确地进行拍摄并生成三维面部图像25。但是，根据情况，可无需在露出患者的牙齿部位的状态下获取三维面部图像25，在此情况下，在三维面部图像25中可能会或可能不会露出牙齿。

根据一实施例，三维面部拍摄装置20可以在将结构光图案照射到患者的面部的状态下，基于利用多个摄像头拍摄患者的面部来获取的多个图像来获取三维面部图像25。但是，除了利用结构光的方式之外，获取三维面部图像25的方式可包括激光扫描方式、利用深度传感器的方式、利用人工智能(AI)来重建三维面部图像的方式等多种方式，但并不限于此。

计算机断层扫描图像35可通过计算机断层扫描装置30拍摄包含包括患者的牙齿部位的面部区域来获取。例如，作为牙科用计算机断层扫描装置的计算机断层扫描装置30可以是锥形束(Cone Beam)计算机断层扫描装置。锥形束计算机断层扫描装置的优点在于，可通过照射锥形X射线束的方式来将对患者的放射线暴露最小化并获取针对患者的牙齿部位的计算机断层扫描图像。但是，作为扇形束(Fan Beam)计算机断层扫描装置的计算机断层扫描装置30还可以是照射扇形X射线束方式的设备。即，本发明实施例的计算机断层扫描图像35可通过多种计算机断层扫描装置获取，但并不对此做限定。

根据一实施例，牙科用整合数据生成装置100的获取模块130可分别从三维口腔扫描仪10、三维面部拍摄装置20及计算机断层扫描装置30获取如上所述的口腔扫描图像15、三维面部图像25及计算机断层扫描图像35。但是，口腔扫描图像15、三维面部图像25及计算机断层扫描图像35中的至少一个还可通过获取模块130以下载存储在其他存储介质或云端上的图像的方式获取。

通过获取模块130获取的口腔扫描图像15、三维面部图像25及计算机断层扫描图像35可存储在用于生成牙科用整合数据的装置100的存储器110。在存储器110中可按患者分类并存储有口腔扫描图像15、三维面部图像25及计算机断层扫描图像35，当相同类型的数据在不同时间拍摄而存在多个图像时，可按时间分类并存储图像。另外，在存储器110中可存储有包括用于生成每位患者的个人信息、牙科医生的意见等治疗数据，牙科用整合数据在内的应用程序的各种应用程序等。

图2为本发明一实施例的用于生成牙科用整合数据的装置(以下，称之为牙科用整合数据生成装置)100的框图。

参照图2，根据本发明的一实施例，牙科用整合数据生成装置100可以为整合口腔扫描图像与计算机断层扫描图像的装置。一实施例的牙科用整合数据生成装置100可包括存储器110、处理器120及通信电路160。牙科用整合数据生成装置100的处理器120可以通过运行软件(例如，程序)来控制连接在处理器120的牙科用整合数据生成装置100的至少一个其他结构要素(例如，硬件结构要素、软件结构要素)，可以执行多种数据处理或运算。作为数据处理或运算的至少一部分，处理器120可以将从其他结构要素接收的指令或数据加载到存储器110，处理存储在存储器110的指令或数据，并将结果数据存储在非易失性存储器110。牙科用整合数据生成装置100的存储器110可以存储与上述方法有关的信息或者可以存储实现上述方法的程序。存储器110可以为易失性存储器或非易失性存储器。

一实施例的牙科用整合数据生成装置100的处理器120可以运行程序并控制牙科用整合数据生成装置100。通过处理器120运行的程序代码可存储在存储器110。牙科用整合数据生成装置100可通过输入输出装置(未图示)连接在外部装置(例如，三维口腔扫描仪10、三维面部拍摄装置20、计算机断层扫描装置30)并可交换数据。处理器120能够以进行工作的方式与牙科用整合数据生成装置100的结构要素相连接。处理器120可以将从牙科用整合数据生成装置100的其他结构要素接收的指令或数据加载到存储器110，处理存储在存储器110的指令或数据并存储结果数据。

一实施例的牙科用整合数据生成装置100的通信电路160与外部装置(例如，三维口腔扫描仪10、三维面部拍摄装置20、计算机断层扫描装置30)设立通信通道，并可以与外部装置收发多种数据。根据多种实施例，通信电路160可包括蜂窝通信模块来连接到蜂窝网络(例如，3G、长期演进(LTE)、5G、无线宽带(Wibro)或全球微波接入互操作性(Wimax))。

根据多种实施例，通信电路160可包括近距离通信模块并利用近距离通信(例如，无线保真(Wi-Fi)、蓝牙(Bluetooth)、蓝牙低功耗(BLE，Bluetooth Low Energy)、超宽带(UWB))来与外部装置收发数据，但并不局限于此。

根据一实施例，牙科用整合数据生成装置100还包括输入装置(未图示)。输入装置可以从外部接收用于服务器装置的结构要素的指令或数据。例如，输入装置可包括麦克风、鼠标或键盘。

根据一实施例，牙科用整合数据生成装置100还可包括显示器(未图示)。显示器在处理器120的控制下可以显示多种画面。

图3为用于简单说明本发明一实施例的基于整合模块的牙科用整合数据的生成原理的图。

参照图1及图2，整合模块140可以整合口腔扫描图像15及计算机断层扫描图像35来生成整合数据。口腔扫描图像可包含上颌(上牙)扫描图像及下颌(下牙)扫描图像。根据治疗目的，整合模块140可以通过2种方式生成2种整合数据。生成2种整合数据的具体方法将进行后述。

并且，整合模块140可将三维面部图像25与计算机断层扫描图像35或上述整合数据整合来生成牙科用三维头像作为最终整合数据。根据一实施例，为了这种整合，可以利用如下方式，可提取患者的三维数据(例如，面部和/或牙齿部位的数据)的特征点并利用其来执行图像之间的整合。但是，除使用特征点的方式之外，也可以利用其它方式，但并不局限于此。

根据一实施例，整合模块140可以提取3个以上的患者的三维数据的特征点。本发明实施例的口腔扫描图像15、三维面部图像25及计算机断层扫描图像35均为三维数据或者至少3个为三维数据。可利用3个以上的特征点来在三维数据中心全部整合x轴、y轴、z轴。

根据本发明一实施例的牙科用整合数据的生成方法，特征点的提取可以由牙科医生或实验室管理者等用户手动指定。例如，通过用于生成通过显示模块150向用户公开的牙科用整合数据的应用程序的用户界面，用户可利用鼠标等指针指定特征点。根据另一实施例，3个以上的特征点可通过用于生成牙科用整合数据的应用程序提取。

另一方面，根据另一实施例，用于生成牙科用整合数据的应用程序可以内置通过大量的数据预先学习的人工神经网络模块或者通过网络连接在这种人工神经网络模块，由此可基于人工智能提取特征点。

根据一实施例，在口腔扫描图像15的情况下，在通过扫描患者的口腔内来生成的三维图像中不包含面部数据，因此，当与其他图像25、35整合时可以使用牙齿部位的特征点。并且，当将三维面部图像25与计算机断层扫描图像35整合时，特征点也可使用除患者的牙齿部位之外的面部区域的特征点，也能够全部使用患者的牙齿部位的特征点和面部区域的特征点。

显示模块150可通过显示器显示通过整合模块140生成的整合数据。显示模块150可通过装置100的显示器显示通过整合模块140生成的牙科用三维头像。根据一实施例，显示模块150可以在由用于生成牙科用整合数据的应用程序提供的用户界面上显示整合数据。并且，显示模块150可以调节构成牙科用三维头像的上述3个图像15、25、35中的一部分的透明度或者可以选择是否显示，由此，使得牙科医生或实验室管理者等用户可以根据需要观察适当的表现。并且，显示模块150可以与牙科用三维头像一同显示中线(Mid-line)、鼻翼线(Alar line)、咬合面(Occlusal Plane)、坎普斯平面(Campers Plane)等基准线或基准平面，由此，使得用户可以在对患者进行治疗及咨询时使用。并且，在通过显示模块150显示的牙科用三维图像中，用户可以调节一部分数据，例如，口腔扫描图像15的位置或形态。

牙科用整合数据生成方法

图4为用于说明本发明一实施例的牙科用整合数据生成方法的工作流程图。

首先，参照图4，在本发明一实施例的牙科用整合数据生成方法中，在步骤S410中，牙科用整合数据生成装置100的处理器120可获取与患者的牙齿部位有关的口腔扫描图像。口腔扫描图像可包含上颌扫描图像及下颌扫描图像。例如，用户(例如，牙科医生、技术员)可利用三维口腔扫描仪20来获取与患者的牙齿部位有关的口腔扫描图像。用户可利用三维口腔扫描仪20来获取与患者的上颌牙部位有关的上颌扫描图像。用户可利用三维口腔扫描仪20来获取与患者的下颌牙部位有关的下颌扫描图像。

牙科用整合数据生成装置100可获取从三维口腔扫描仪20获取的上颌扫描图像及下颌扫描图像。或者，牙科用整合数据生成装置100可以通过下载存储于其他存储介质或云端上的上颌扫描图像及下颌扫描图像来获取。牙科用整合数据生成装置100可以将上颌扫描图像及下颌扫描图像相互整合来生成口腔扫描图像。如上所述，上颌扫描图像与下颌扫描图像相互整合的口腔扫描图像为平常患者咬合口腔的状态，将这种口腔扫描图像的咬合状态(患者咬牙的状态)称为口腔扫描咬合状态(或口腔咬合状态)。

在步骤S420中，一实施例的处理器120可以获取包含患者的牙齿部位的计算机断层扫描图像。例如，用户可利用计算机断层扫描装置30来获取包含患者的牙齿部位的计算机断层扫描图像。患者能够以将计算机断层扫描装置30的喉舌(或咬合块)咬在嘴里的状态进行固定并执行计算机断层扫描。这样，计算机断层扫描时口腔的咬合状态就可以称为计算机断层咬合状态。

在步骤S430中，一实施例的处理器120可将上颌扫描图像整合到计算机断层扫描图像来生成第一子整合数据。第一子整合数据为用于生成与口腔扫描咬合状态对应的第一整合数据及与计算机断层咬合状态对应的第二整合数据所需的数据。针对生成第一子整合数据的方法，参照图5a至图5c进行说明。

图5a为包括患者的牙齿部位的计算机断层扫描图像。计算机断层扫描图像可以为三维计算机断层扫描图像。图5a的图像510a可以为从正面观察的计算机断层扫描图像，图像510b为从侧面观察的计算机断层扫描图像。图5b为与患者的上颌牙部位有关的上颌扫描图像。上颌扫描图像可以为三维口腔扫描图像。图5b的图像520a为从正面观察的上颌扫描图像，图5b的图像520b为从侧面观察的上颌扫描图像。图5c为将上颌扫描图像整合到计算机断层扫描图像的第一子整合数据。图5c为将三维的上颌扫描图像与三维的计算机断层扫描图像整合来生成的三维数据。图5c的图像530a可以为从正面观察的第一子整合数据，图像530b为从侧面观察的第一子整合数据。

参照图5a至图5c，一实施例的处理器120可基于至少3个特征点将上颌扫描图像与计算机断层扫描图像整合来生成第一子整合数据。各图像可对应于三维数据，因此，用于生成第一子整合数据的特征点可以为3个以上，可以从患者的面部和/或牙齿部位提取。例如，处理器120可从计算机断层扫描图像中提取3个特征点，并从上颌扫描数据提取与其对应的3个特征点。例如，特征点可以是指位于上颌牙、牙龈的点。然而，上述特征点的位置为例示性的，可从位于门牙中间、牙齿之间的边界处的点等多个位置提取。为了说明用于牙科治疗的整合数据，需要精密整合牙齿部位，因此需要准确提取患者的牙齿部位的特征点。因此，只要可通过患者的牙齿部位特征点进行精密地整合，则无需从除患者的牙齿之外的面部区域追加提取特征点，因此更为有效。

一实施例的处理器120可利用第一深度学习模型从上颌扫描图像及计算机断层扫描图像生成第一子整合数据。第一深度学习模型可以为根据深度学习算法将与多个患者有关的上述多个上颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个上颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

在本发明中，深度学习算法可以为利用数据及处理数据的经验的学习来提高计算机软件的数据处理能力。深度学习可通过深度学习模型执行。深度学习模型通过对数据之间的相关关系进行建模来构建，相关关系可通过多个参数表达。深度学习模型可以如下，从给出的数据提取特征并进行分析来导出数据之间的相关关系，重复这种过程来将深度学习模型的参数最优化。例如，当数据为深度学习模型的输入及输出对时，深度学习模型可以学习输入与输出之间的映射(相关关系)。或者，当仅给出输入数据时，学习模型也可导出所给出数据之间的规则性来对其关系进行学习。在一实施例中，深度学习算法可以为选自深度神经网络(deep neural network)、循环神经网络(recurrent neural network)、卷积神经网络(convolution neural network)、用于回归分析(regression analysis)的机器学习模型、强化学习(reinforcement learning)模型、决策树学习(decision tree learning)、关联规则学习方法、遗传规划方法、归纳逻辑编程方法、支持向量机(support vectormachine)、聚类(clustering)、贝叶斯网络(Bayesian network)或恒等度量学习方法中的至少一个。

通过上述过程，可将图5b所公开的上颌扫描图像整合到图5a所公开的计算机断层扫描图像来生成图5c所公开的第一子整合数据。

在步骤S440中，一实施例的处理器120可将下颌扫描图像整合到第一子整合数据来生成第一整合数据。第一整合数据可以是基于口腔扫描咬合状态的整合数据。具体地，处理器120可以在第一子整合数据上的上颌扫描图像整合上述下颌扫描图像来生成第一整合数据。例如，处理器120可以整合成上述下颌扫描图像与第一子整合数据上的上颌扫描图像相互处于口腔扫描咬合状态。处理器120可使上颌扫描图像沿着下颌扫描图像移动直到对齐在计算机断层扫描图像来将下颌扫描图像整合到第一子整合数据。

图6a及图6b为用于说明第一整合数据生成方法的图。具体地，图6a为扫描患者的下颌牙部位的下颌扫描图像，图6b为示出第一整合数据的图。图6a的图像610a为从正面观察的下颌扫描图像，图像610b为从侧面观察的下颌扫描图像。图6b的图像620a为从正面观察的第一整合数据，图像620b为从侧面观察的第一整合数据。

参照图6a及图6b，处理器120可以将图6a的下颌扫描图像整合到图5c的第一子整合数据来生成第一整合数据。处理器120可以整合成上述下颌扫描图像与第一子整合数据上的上颌扫描图像处于口腔扫描咬合状态来生成第一整合数据。第一整合数据可以为基于第一子整合数据的上颌扫描图像来对齐下颌扫描图像而生成的整合数据，因此，第一整合数据可表示口腔扫描咬合状态。因此，可以在需要确认口腔扫描咬合状态的牙科诊疗(例如，牙冠等修复治疗)的情况下利用第一整合数据。

在步骤S450中，一实施例的处理器120可将下颌扫描图像与计算机断层扫描图像整合来生成第二子整合数据。第二子整合数据为用于生成与计算机断层咬合状态对应的第二整合数据而需要的数据。针对第二子整合数据生成方法，利用图5a、图6a及图7进行说明。如上所述，图5a为包括患者的牙齿部位的计算机断层扫描图像。图6a为扫描患者的下颌牙部位的下颌扫描图像。图7为示出第二子整合数据的图。图7的图像710a为从正面观察的第二子整合数据，图像710b为从侧面观察的第二子整合数据。

参照图5a、图6a及图7，处理器120可将图6a的下颌扫描图像整合到图5a的计算机断层扫描图像来生成第二子整合数据。根据一实施例，处理器120可基于至少3个特征点将下颌扫描图像与计算机断层扫描图像整合来生成第二子整合数据。例如，处理器120可在计算机断层扫描图像中提取3个特征点，并在下颌扫描数据提取与其对应的3个特征点。例如，特征点可以是与下颌牙、牙龈相关的点。然而，上述特征点的位置为例示性的，可从位于门牙中间、牙齿之间的边界处的点等多个位置提取。

一实施例的处理器120可利用第二深度学习模型从下颌扫描图像及计算机断层扫描图像生成第二子整合数据。第二深度学习模型可以为根据深度学习算法将与多个患者有关的多个下颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个下颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

在本发明中，深度学习算法可以为利用数据及处理数据的经验的学习来提高计算机软件的数据处理能力。深度学习可通过深度学习模型执行。深度学习模型通过对数据之间的相关关系进行建模来构建，相关关系可通过多个参数表达。深度学习模型可以如下，从给出的数据提取特征并进行分析来导出数据之间的相关关系，重复这种过程来将深度学习模型的参数最优化。例如，当数据为深度学习模型的输入及输出对时，深度学习模型可以学习输入与输出之间的映射(相关关系)。或者，当仅给出输入数据时，学习模型也可导出所给出数据之间的规则性来对其关系进行学习。在一实施例中，深度学习算法可以为选自深度神经网络(deep neural network)、循环神经网络(recurrent neural network)、卷积神经网络(convolution neural network)、用于回归分析(regression analysis)的机器学习模型、强化学习(reinforcement learning)模型、决策树学习(decision tree learning)、关联规则学习方法、遗传规划方法、归纳逻辑编程方法、支持向量机(support vectormachine)、聚类(clustering)、贝叶斯网络(Bayesian network)或恒等度量学习方法中的至少一个。

通过上述过程，可将图6a所公开的下颌扫描图像整合到图5a所公开的计算机断层扫描图像来生成图7所公开的第二子整合数据。

在步骤S460中，一实施例的处理器120可将第一子整合数据与第二子整合数据整合来生成第二整合数据。第二整合数据可以为基于计算机断层咬合状态的整合数据。具体地，第一子整合数据的计算机断层扫描图像及第二子整合数据的计算机断层扫描图像相同，因此，处理器120可基于第一子整合数据的计算机断层扫描图像及第二子整合数据的计算机断层扫描图像来执行整合。即，处理器120以处于计算机断层咬合状态的方式将第一子整合数据与第二子整合数据相互整合。

图8为示出第二整合数据的图。图8的图像810a为从正面观察的第二整合数据，图像810b为从侧面观察的第二整合数据。利用图5c、图7及图8来说明生成第二整合数据的过程。处理器120可将图5c的第一子整合数据与图7的第二子整合数据相互整合来生成图8的第二整合数据。处理器120能够以使第一子整合数据的计算机断层扫描图像与第二子整合数据的计算机断层扫描图像重叠的方式进行整合来生成第二整合数据。

用户可根据治疗目的选择第一整合数据及第二整合数据中需要的整合数据来使用。在一实施例中，牙科用整合数据生成装置100的处理器120可通过输入装置100接收用于选择第一整合数据及第二整合数据中的一个整合数据的用户输入。作为对接收上述用户输入的响应，处理器120可通过显示器显示所选择的一个整合数据。在另一实施例中，牙科用整合数据生成装置100的处理器120可通过输入装置100接收对患者的牙齿部位的治疗方式的用户输入。处理器120可以在第一整合数据及第二整合数据中选择对应于用户输入的一个整合数据。并且，处理器120可通过显示器显示所选择的一个整合数据。

一实施例的处理器120可将第一整合数据及第二整合数据存储在存储器110。或者，处理器120也可将第一整合数据及第二整合数据存储在云端。

一实施例的处理器120可以获取与包含患者的牙齿部位的面部有关的三维面部图像。处理器120可将三维面部图像与计算机断层扫描图像、上述第一整合数据及上述第二整合数据中的一个整合来生成牙科用三维头像作为最终整合数据。例如，处理器120也可以将三维面部图像与计算机断层扫描图像整合，也可以将三维面部图像与第一整合数据整合，也可以将三维面部图像与第二整合数据整合。为了生成牙科用三维头像，处理器120可以从三维面部图像提取与为了生成第一整合数据而提取的特征点对应的特征点。例如，可以从三维面部图像提取与为了生成第一子整合数据而提取的至少3个特征点对应的特征点。

如上所述，根据本发明另一实施例的牙科用整合数据生成方法，可以生成基于在患者的口腔内咬合状态下获取的计算机断层扫描图像整合口腔扫描图像中的上颌扫描图像来生成的第一子整合数据以及基于整合下颌扫描图像来生成的第一整合数据。并且，根据本发明另一实施例的牙科用整合数据生成方法，可生成基于将第一子整合数据与第二子整合数据整合来生成的第二整合数据，上述第一子整合数据基于在患者的口腔内咬合状态下获取的计算机断层扫描图像整合口腔扫描图像中的上颌扫描图像来生成，上述第二子整合数据基于在计算机断层扫描图像整合下颌扫描图像来生成。

即，可全部生成基于2种咬合状态的2种整合数据，根据患者的治疗目的，用户可以筛选需要的数据来使用，可以更加有效地表现患者维持口腔内咬合状态时的牙齿状态。

更具体地，根据治疗方式，存在第一整合数据更适合的情况，第二整合数据更适合的情况以及两者均需要的情况。例如，在设计牙冠(Crown)/嵌体(Inlay)/高嵌体(Onlay)等修复体时，与其他牙齿的咬合关系更为重要，因此，可以使用基于口腔扫描咬合状态的第一整合数据。另一方面，在设计手术导板(Surgical Guide)时，需要确认患者牙根或神经位置等，因此，作为以计算机断层扫描图像为基准的患者的牙齿咬合状态(即，计算机断层咬合状态)的数据的第二整合数据会更适合。并且，在同时设计假体和手术导板时，可需要两种数据(即，第一牙科用三维头像及第二牙科用三维头像)。

图9为用于说明本发明一实施例的牙科用整合数据生成方法的工作流程图。将省略与图4中说明的内容重复的内容。

参照工作流程图900，在步骤S910中，一实施例的牙科用整合数据生成装置100的处理器120可以获取与患者的牙齿部位有关的口腔扫描图像。在步骤S920中，一实施例的处理器120可以获取包含患者的牙齿部位的计算机断层扫描图像。

在步骤S930中，一实施例的处理器120对计算机断层扫描图像进行处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像。处理器120在计算机断层扫描图像中可以识别上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个并将其提取。当形成为网状形式的数据时，能够直接以计算机断层咬合状态分割每个部位。

图10a及图10b为本发明一实施例的计算机断层分割图像。图10a的图像1010a为从正面观察的计算机断层分割图像，图像1010b为从侧面观察的计算机断层分割图像。图10b的图像1010c为半透明显示图10a的图像1010a的图像。

参照图10a及图10b，计算机断层分割图像可包含牙齿1011、上颌骨1013、下颌骨1015及下颌神经管1017。即，处理器120可在计算机断层扫描图像中识别牙齿1011、上颌骨1013、下颌骨1015及下颌神经管1017并提取。

再次回到图9，在步骤S940中，一实施例的处理器120可将上颌扫描图像整合到计算机断层分割图像来生成第一子整合数据。在步骤S950中，一实施例的处理器120可将下颌扫描图像整合到第一子整合数据来生成第一整合数据。与图4所示的方法的差异如下，图9的方法并非直接使用计算机断层扫描图像，而是将牙齿、上颌骨、下颌骨和/或下颌神经管被分割的计算机断层分割图像用于整合。

图11为示出本发明一实施例的第一整合数据的图。图11的图像1110a为从正面观察的第一整合数据，图像1110b为从侧面观察的第一整合数据。即，处理器120可在计算机断层分割图像按顺序整合上颌扫描图像及下颌扫描图像。在此情况下，处理器120以第一子整合数据的上颌扫描图像为基准整合下颌扫描图像。即，处理器120可将下颌扫描图像移动到上颌扫描数据与计算机断层分割图像对齐的程度来生成第一整合数据。因此，第一整合数据可以表示口腔扫描咬合状态。

根据一实施例，分割的下颌骨、下颌牙及下颌神经管可以被调节成口腔扫描咬合状态。处理器120可以计算第一整合数据与第二子整合数据之间的变换关系。例如，处理器120可以将第一整合数据的下颌扫描图像整合到计算机断层分割图像来生成第二子整合数据。处理器120可以计算从第一整合数据到第二子整合数据的变换矩阵。处理器120可以计算变换矩阵的逆变换矩阵(inverse matrix)。处理器120可以将逆变换矩阵应用于所分割的下颌骨、下颌牙及下颌神经管来准确地计算并表示下颌骨、下颌牙及下颌神经管的位置。

再次回到图9，在步骤S960中，一实施的处理器120可将下颌扫描图像与计算机断层分割图像整合来生成第二子整合数据。在步骤S970中，一实施例的处理器120可将第一子整合数据与第二子整合数据整合来生成第二整合数据。与图4所示的方法的差异如下，图9的方法并非直接使用计算机断层扫描图像，而是将牙齿、上颌骨、下颌骨和/或下颌神经管被分割的计算机断层分割图像用于整合。

图12为示出本发明一实施例的第二整合数据的图。图12的图像1210a为从正面观察的第二整合数据，图像1210b为从侧面观察的第一整合数据。即，处理器120可将上颌扫描图像整合到计算机断层分割图像来生成第一子整合数据，可将下颌扫描图像整合到计算机断层分割图像来生成第二子整合数据。在此情况下，处理器120能够以计算机断层分割图像为基准整合第一子整合数据及第二子整合数据。因此，第二整合数据可表示计算机断层咬合状态。

计算机可读记录介质

随着运行存储在计算机可读记录介质的计算机程序，由包括一个以上处理器的计算机来执行本发明实施例的方法的各步骤或工作是显而易见的。

存储在上述记录介质的计算机可执行指令(instruction)可通过被编程为执行各相应步骤的计算机程序来实现，这种计算机程序可存储在计算机可读记录介质，并且可以由处理器执行。计算机可读记录介质可以是非暂时性可读介质(non-transitory readablemedium)。在此情况下，非暂时性可读介质是指半永久地存储数据并可以被设备读取(reading)的介质，而不是寄存器、高速缓冲存储器、存储器等短期存储数据的介质。具体地，用于执行上述多种方法的程序可存储在可擦编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)以及闪存器件等半导体存储器件、内置硬盘及移动磁盘等磁盘、包括光磁盘、CD-ROM及DVD-ROM磁盘的非易失性存储器等非暂时性可读介质来提供。

计算机程序产品(computer program product)可包括并提供本文所公开的多种实施例的方法。计算机程序产品能够以设备可读存储介质(例如，只读光盘(compact discread only memory，CD-ROM))的形式分布或通过应用商店(例如，Play商店^TM(Play store))在线分布。当在线分布时，计算机程序产品的至少一部分可至少被临时存储或被临时生成在制造商的服务器、应用商店的服务器、或中继服务器的存储器等存储介质。

如上所述，本发明所属技术领域普通技术人员能够理解，本发明可在不变更其技术思想或必要特征的情况下实施成其他具体形式。因此应理解为上述实施例在所有方面是示例性的，而非限制性的。本发明的范围应由所附发明要求保护范围来表示，而不是详细说明，发明要求保护范围的含义、范围及从等价概念导出的所有变更或变形的形态都应被解释为包括在本发明的范围内。

在本说明书中说明的特征及优点并不包括全部，尤其考虑到附图、说明书以及发明要求保护范围，许多附加特征及优点对于本发明所属技术领域普通技术人员将变得明确。此外，应注意的是，在本说明书中使用的语言主要是出于可读性和指导性的目的来选择的，并非用于描述或限制本发明的主题。

出于示例的目的而给出了本发明实施例的上述说明。这并不意图将本发明限制于所公开的准确的形式或穷举。本发明所属技术领域普通技术人员能够理解，根据上述公开，可进行许多修改及变更。

因此，本发明的范围并不限于详细说明，而是受基于详细说明的本申请的发明要求保护范围限制。因此，本发明实施例的公开是示例性的，并且不限制发明要求保护范围所记载的本发明的范围。

Claims (22)

1.一种牙科用整合数据的生成方法，其特征在于，包括如下步骤：

获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；

获取包含上述患者的牙齿部位的计算机断层扫描图像；

将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；

将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；

将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及

将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据。

2.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，还包括如下步骤：

接收用于选择上述第一整合数据及上述第二整合数据中的一个整合数据的用户输入；以及

作为对接收上述用户输入的响应，显示所选择的上述一个整合数据。

3.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，还包括如下步骤：

接收针对上述患者的牙齿部位的治疗方式的用户输入；

选择上述第一整合数据及上述第二整合数据中与上述用户输入对应的一个整合数据；以及

显示所选择的上述一个整合数据。

4.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，还包括如下步骤：

对上述计算机断层扫描图像进行影像处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像。

5.根据权利要求4所述的牙科用整合数据的生成方法，其特征在于，

生成上述第一子整合数据的步骤包括将上述上颌扫描图像整合到上述计算机断层分割图像来生成上述第一子整合数据的步骤，

生成上述第二子整合数据的步骤包括将上述下颌扫描图像整合到上述计算机断层分割图像来生成上述第二子整合数据的步骤。

6.根据权利要求5所述的牙科用整合数据的生成方法，其特征在于，生成上述第一整合数据的步骤包括如下步骤：

计算从上述第一整合数据到上述第二子整合数据的变换矩阵；以及

将上述变换矩阵的逆变换矩阵应用于所分割的上述下颌牙、下颌骨及下颌神经管中的至少一个。

7.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，还包括如下步骤：

获取与包含上述患者的牙齿部位的面部有关的三维面部图像；以及

将上述三维面部图像与上述计算机断层扫描图像、上述第一整合数据及上述第二整合数据中的一个整合来生成牙科用三维头像作为最终整合数据。

8.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，

生成上述第一子整合数据的步骤包括利用第一深度学习模型来从上述上颌扫描图像及上述计算机断层扫描图像生成上述第一子整合数据的步骤，

上述第一深度学习模型为根据深度学习算法将与多个患者有关的多个上颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个上颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

9.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，

生成上述第二子整合数据的步骤包括利用第二深度学习模型来从上述下颌扫描图像及上述计算机断层扫描图像生成上述第二子整合数据的步骤，

上述第二深度学习模型为根据深度学习算法将与多个患者有关的多个下颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个下颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

10.根据权利要求1所述的牙科用整合数据的生成方法，其特征在于，

上述第一子整合数据及上述第二子整合数据基于上述患者的三维数据的至少3个特征点生成，

上述至少3个特征点通过用于生成牙科用整合数据的应用程序提取，

上述至少3个特征点是利用内置于上述应用程序或者通过网络连接的人工神经网络模块提取的，上述人工神经网络模块通过预学习用数据来预先学习。

11.一种用于生成牙科用整合数据的装置，其特征在于，包括：

通信电路；

存储器；以及

处理器，

上述处理器被配置为：

获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；

获取包含上述患者的牙齿部位的计算机断层扫描图像；

将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；

将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；

将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及

将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据。

12.根据权利要求11所述的装置，其特征在于，

还包括：

输入装置；以及

显示器，

上述处理器被配置为：

通过上述输入装置接收用于选择上述第一整合数据及上述第二整合数据中的一个整合数据的用户输入；以及

作为对接收上述用户输入的响应，通过上述显示器显示所选择的上述一个整合数据。

13.根据权利要求11所述的装置，其特征在于，

还包括：

输入装置；以及

显示器，

上述处理器被配置为：

通过上述输入装置接收针对上述患者的牙齿部位的治疗方式的用户输入；

选择上述第一整合数据及上述第二整合数据中与上述用户输入对应的一个整合数据；以及

通过上述显示器显示所选择的上述一个整合数据。

14.根据权利要求11所述的装置，其特征在于，上述处理器对上述计算机断层扫描图像进行影像处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像。

15.根据权利要求14所述的装置，其特征在于，上述处理器被配置为：

将上述上颌扫描图像整合到上述计算机断层分割图像来生成上述第一子整合数据；以及

将上述下颌扫描图像整合到上述计算机断层分割图像来生成上述第二子整合数据。

16.根据权利要求15所述的装置，其特征在于，上述处理器被配置为：

计算从上述第一整合数据到上述第二子整合数据的变换矩阵；以及

将上述变换矩阵的逆变换矩阵应用于所分割的上述下颌牙、下颌骨及下颌神经管中的至少一个。

17.根据权利要求11所述的装置，其特征在于，上述处理器被配置为：

获取与包含上述患者的牙齿部位的面部有关的三维面部图像；以及

将上述三维面部图像与上述计算机断层扫描图像、上述第一整合数据及上述第二整合数据中的一个整合来生成牙科用三维头像作为最终整合数据。

18.根据权利要求11所述的装置，其特征在于，上述处理器被配置为：

利用第一深度学习模型来从上述上颌扫描图像及上述计算机断层扫描图像生成上述第一子整合数据，

上述第一深度学习模型为根据深度学习算法将与多个患者有关的多个上颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个上颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

19.根据权利要求11所述的装置，其特征在于，上述处理器被配置为：

利用第二深度学习模型来从上述下颌扫描图像及上述计算机断层扫描图像生成上述第二子整合数据，

上述第二深度学习模型为根据深度学习算法将与多个患者有关的多个下颌扫描图像及多个计算机断层扫描图像集作为输入数据并将上述每个下颌扫描图像分别整合在多个计算机断层扫描图像的多个子整合数据集作为输出数据且通过对上述输入数据及上述输出数据之间的相关关系进行建模来构建的人工智能模型。

20.根据权利要求11所述的装置，其特征在于，

上述第一子整合数据及上述第二子整合数据基于上述患者的三维数据的至少3个特征点生成，

上述至少3个特征点通过用于生成牙科用整合数据的应用程序提取，

上述至少3个特征点是利用内置于上述应用程序或者通过网络连接的人工神经网络模块提取的，上述人工神经网络模块通过预学习用数据来预先学习。

21.一种牙科用整合数据的生成方法，其特征在于，

包括如下步骤：

获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；

获取包含上述患者的牙齿部位的计算机断层扫描图像；

对上述计算机断层扫描图像进行影像处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像；

将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；

将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；

将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及

将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据，

生成上述第一整合数据的步骤包括如下步骤：

计算从上述第一整合数据到上述第二子整合数据的变换矩阵；以及

将上述变换矩阵的逆变换矩阵应用于所分割的上述下颌牙、下颌骨及下颌神经管中的至少一个。

22.一种用于生成牙科用整合数据的装置，其特征在于，

包括：

通信电路；

存储器；以及

处理器，

上述处理器被配置为：

获取与患者牙齿部位有关的口腔扫描图像，其中，上述口腔扫描图像包含上颌扫描图像及下颌扫描图像；

获取包含上述患者的牙齿部位的计算机断层扫描图像；

对上述计算机断层扫描图像进行影像处理来获取上颌牙、下颌牙、上颌骨、下颌骨及下颌神经管中的至少一个被分割的计算机断层分割图像；

将上述上颌扫描图像整合到上述计算机断层扫描图像来生成第一子整合数据；

将上述下颌扫描图像整合到上述第一子整合数据来生成第一整合数据；

将上述下颌扫描图像与上述计算机断层扫描图像整合来生成第二子整合数据；以及

将上述第一子整合数据与上述第二子整合数据整合来生成第二整合数据，

上述处理器被配置为：

计算从上述第一整合数据到上述第二子整合数据的变换矩阵；以及

将上述变换矩阵的逆变换矩阵应用于所分割的上述下颌牙、下颌骨及下颌神经管中的至少一个。