CN114445388A - 一种基于多光谱的图像识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于多光谱的图像识别方法、装置及存储介质，该方法包括基于摄像模组获取口腔的可见光图像和非可见光图像；根据可见光图像和非可见光图像进行融合，生成融合后的图像；根据所述融合后的图像进行口腔区块划分；根据划分结果中的病变区块进行病变区域定位。通过实施本发明，采用摄像模组获取口腔的可见光图像和非可见光图像；再将可见光图像和所述非可见光图像进行融合，生成融合后的图像，生成的融合后的图像包含了可见光的频谱信息以及非可见光的频谱信息；由此，通过融合后的图像进行检测，可以通过图像中包含的多光谱信息，提高检测的准确性；最后根据检测结果和口腔图像的区块划分进行定位。实现了具体发病部位的定位。

Description

一种基于多光谱的图像识别方法、装置及存储介质

技术领域

本发明涉及图像技术领域，具体涉及一种基于多光谱的图像识别方法、装置及存储介质。

背景技术

目前，牙齿疾病已经越来越成为困扰人们的主要疾病，牙齿常见疾病有：牙龈炎、牙髓炎、根尖炎、牙周炎、龋齿、智齿冠周炎、牙本质过敏、牙神经痛、牙损伤，这些均可引起牙痛。据新闻媒体报道，在人群中，牙龈炎患者的发病率高达90％，牙周炎疾患发病率达50－70％，儿童龋齿发病率为80－90％。

然而，目前牙齿疾病或者牙齿的病变通常需要牙医进行人工诊断。在人工诊断过程中可能需要采用口腔内窥镜采集患者口腔内部的图像信息，或者说将患者的口腔图像展示，由牙医根据展示的图像进行患者口腔病变的诊断。但是这种单纯由人工进行诊断的方式效率较低。同时即使借助工具进行诊断也无法实现牙齿病变部位无法自动定位。

发明内容

有鉴于此，本发明实施例提供了涉及一种基于多光谱的图像识别方法、装置及存储介质，以解决现有技术中牙齿病变部位无法自动定位的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种基于多光谱的图像识别方法，包括：基于摄像模组获取口腔的可见光图像和非可见光图像；根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像；根据所述融合后的图像进行口腔区块划分；根据划分结果中的病变区块进行病变区域定位。

可选地，根据所述融合后的图像进行口腔区块划分，包括：将所述融合后的图像与图像框架数据库中的区块的图像进行匹配；若确定所述融合后的图像和图像框架数据库中的区块的映射关系，根据所述映射关系，确定所述融合后的图像在图像框架数据库中图像轮廓中的位置；将所述融合后的图像重构于所述图像轮廓中确定的位置上，得到重构后的图像数据。

可选地，根据所述融合后的图像进行口腔区块划分，还包括：根据所述融合后的图像的光谱特征参数和标准口腔图像的光谱特征参数进行比较，得到光谱特征参数差值；根据所述光谱特征参数差值和牙齿病变的关系得到病变区块和非病变区块。

可选地，根据划分结果中的病变区块进行定位，包括：根据重构后的图像数据确定病变区块的位置信息；根据病变区块的位置信息和牙齿部位的相关性进行病变区域定位。

可选地，根据病变区块的位置信息和牙齿部位的相关性进行病变区域定位，包括：根据重构后的图像数据展示更新后的三维图像；根据所述病变区块的位置信息和牙齿部位的相关性在所述更新后的三维图像中标注病变部位。

可选地，根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像，包括：根据所述可见光图像进行双目立体匹配生成深度图像和可见光图像融合的RGBD图像；根据所述RGBD图像和所述非可见光图像进行配准融合，生成融合后的图像。

可选地，根据所述可见光图像进行双目立体匹配生成深度图像和可见光图像融合的RGBD图像，包括：对获取可见光图像的摄像模组进行参数标定；对标定后的图像进行畸变校正和立体对极线校正，得到校正后的图像；根据所述校正后的图像通过立体视觉匹配获取视差图；根据所述视差图转换得到深度图；根据图像的质量选择可见光图像和对应的深度图像进行融合，生成RGBD图像。

可选地，根据所述RGBD图像和所述非可见光图像进行配准融合，生成融合后的图像，包括：对获取非可见光图像的摄像模组进行参数标定；计算非可见图像相对所述RGBD图像的偏移；根据所述偏移将所述非可见光图像和RGBD图像叠加，生成融合后的图像。

本发明实施例第二方面提供一种基于多光谱的图像识别装置，包括：图像获取模块，用于基于摄像模组获取口腔的可见光图像和非可见光图像；融合模块，用于根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像；划分模块，用于根据所述融合后的图像进行口腔区块划分；定位模块，用于根据划分结果中的病变区块进行病变区域定位。

本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的基于多光谱的图像识别方法。

本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的基于多光谱的图像识别方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的基于多光谱的图像识别方法、装置及存储介质，采用摄像模组获取口腔的可见光图像和非可见光图像；再将可见光图像和所述非可见光图像进行融合，生成融合后的图像，生成的融合后的图像包含了可见光的频谱信息以及非可见光的频谱信息；由此，通过融合后的图像进行区块划分，可以通过图像中包含的多光谱信息，提高检测的准确性；最后根据病变区块和牙齿部位的相关性进行定位。实现了具体发病部位的定位。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于多光谱的图像识别方法的流程图；

图2是根据本发明另一实施例的基于多光谱的图像识别方法的流程图；

图3是发生病变时形成的信号特征子空间示意图；

图4是根据可见光图像和非可见光图像分别检测采用的信号特征子空间示意图；

图5是根据本发明实施例的基于多光谱的联合检测采用的信号特征子空间示意图；

图6是根据本发明另一实施例的基于多光谱的图像识别方法的流程图；

图7是根据本发明实施例的基于多光谱的图像识别装置的结构框图；

图8是根据本发明实施例提供的计算机可读存储介质的结构示意图；

图9是根据本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实际中，用户经常会有想要查看口腔的图像的需求，例如，牙疼时或某个牙坏掉时，通过口腔内窥器扫描口腔，可以得到口腔中的图像，但是，现有技术中，扫描口腔后，只能得到局部的图像，不能呈现整体的三维图像，用户无法看到自己口腔的整体三维画面，也无法确定坏掉的牙或出现问题的部位具体在口腔的哪个位置。由此，目前通过扫描图像，可以从图像中看到发生病变的牙齿，但是无法确定病变的具体位置，或者说具体发病部位的位置信息是由口腔医护人员来人工识别并予以记录的。

为了提高人工诊断的效率，借助工具对病变牙齿进行诊断成为主流的诊断方式。而在龋病发生进程中，牙齿釉质会有颜色、形态、质地的改变。其中，健康牙面的釉质是半透明的釉质。龋齿发生后，初期会变成白雾色，或者说白垩色，就是那种不透明的白色。变成白色，就是说明釉质脱矿了。之后，随着龋齿发展，会变成浅黄色、深棕色、直至黑色。同时，发生龋齿后，完整的牙面可能出现缺损。并且，健康牙面的釉质是非常坚硬、光滑的。发生龋齿后是牙面釉质会变软。由此，检查的时候，用探针检查牙面，如果牙齿表面质地变软了，就说明发生龋病了。由此可见，龋病等牙病的表征不是单一方面的，是具有多方面综合特征的。

此外，在口腔诊疗设备市场，采用近红外、紫外、激光、偏振光等龋齿检测方式能对龋齿病变部位获得比可见光更好的特异性。尤其是，有利于发现浅层龋齿和牙齿邻面龋齿，提高龋病筛查的灵敏性和准确性。例如，申请号为201910462922.7，公布号为CN110200588A的专利中，公开了一种龋齿观察仪，采用近红外摄像头进行龋齿检测。

虽然现有技术中有多种能够进行诊断龋齿病变的技术方案，但是目前的方案也存在一些问题。一是未能融合非可见光和可见光的多光谱信息进行多参数联合检测，使得检测准确度存在局限性，更易于发生误判和漏判。二是在诊断出病变区域之后，并不能自动报告牙齿病变区域所在的具体部位，确定病变部位发生在哪一颗牙齿的哪一个牙面，需要专业人员人工识别才能给出具体部位信息。

有鉴于此，本发明实施例提供一种基于多光谱的图像识别方法，以解决现有技术中需要口腔医护人员人工识别发病部位的技术问题。

根据本发明实施例，提供了一种基于多光谱的图像识别实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种基于多光谱的图像识别方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的基于多光谱的图像识别方法的流程图，如图1所示，该方法包括如下步骤：

本发明实施例提供一种基于多光谱的图像识别方法，如图1所示，该方法包括如下步骤：

步骤S101：基于摄像模组获取口腔的可见光图像和非可见光图像。

其中，摄像模组包括可见光深度摄像模组和非可见光感知模组。对于可见光深度摄像模组，其具备图像深度信息感知能力。在一实施方式中，可见光深度摄像模组为双目摄像模组、三目摄像模组、多目摄像模组以及光场摄像模组中的任意一种，此外，可见光深度摄像模组也可以是其他能够实现可见光深度摄像功能的摄像模组，本发明实施例对此不做限定。

对于非可见光感知模组，其具备非可见光信息感知能力，例如可以是毫米波感知模组、远红外摄像模组、红外摄像模组、紫外摄像模组、深紫外摄像模组等频段信号感知模组。另外，非可见光感知模组可以是单一频段信号感知模组，也可以是若干频段感知模组的组合。当采用若干频段组合时，可以是红外摄像模组和紫外摄像模组的组合式感知模组，也可以是其他频段的摄像模组的组合。

在一实施方式中，该用于获取口腔的可见光图像和非可见光图像摄像模组为双目可见光深度摄像模组和红外摄像模组。此外，在进行图像采集时，除摄像模组外，还可以设置光源为摄像模组照明，该光源可以是LED光源或者其他类型的光源，本发明实施例对此不做限定。

在获取口腔内图像时，可以采用单个摄像模组组成的摄像单元拍摄口腔内部，也可以用多个摄像模组组成的摄像单元进行拍摄。其中，单个摄像模组中包含可见光深度摄像模组和非可见光感知模组。通过摄像单元能够获取口腔内部任意部位的图像。为了获取口腔内部所有部位的图像，可以采用摄像单元扫描口腔内部，从而获取包含口腔内部所有部位的多个图像。

并且，通过摄像模组获取的可见光图像或非可见光图像中包含的图像数据都是面积很小的一个曲面，因此，在获取到所有图像或者说获取到一定个数的图像后，先将对应的可见光图像以及非可见光图像进行拼接，得到拼接后的可见光图像块和非可见光图像块。其中，可见光图像块中包括拼接成功的图像块以及未拼接成功的图像块。拼接成功的图像块中包括多个图像拼接形成的图像块，未拼接成功的图像块中包含单个的图像数据。同理，非可见光图像中也是包含相应的数据块。另外，若每次获取一定个数的图像进行处理，则此次未拼接成功的图像可以先保存，在下一次获取图像后进行处理时，可以将新获取的图像和未拼接成功的图像继续进行拼接操作。

步骤S102：根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像。在获取到可见光图像和非可见光图像后，可以将二者进行融合，得到融合后的图像。通过将可见光图像和非可见光图像融合，可以使得融合后的图像中不仅包含可见光频谱，还包括非可见光频谱信息。由此，采用该融合后的图像进行病变检测，可以在更丰富的参数体系中提取牙齿病变特征，进一步提高检测准确率。

其中，在融合可见光图像和非可见光图像时，将每一部位的可见光图像和非可见光图像进行融合。例如，将对应部位A的可见光图像和非可见光图像融合。为了便于融合，可以基于图像的时序戳，将具有相同时序戳的两个图像进行融合。例如，得到的可见光图像数据包括P(1)、P(2)、P(3)、P(4)、P(5)、P(6)；非可见光图像包括L(1)、L(2)、L(3)、L(4)、L(5)、L(6)；其中，P(1)和L(1)是具有相同时序戳的两幅图像，可以将其进行融合，得到融合后的图像。同理，将其他具有相同时序戳的图像融合。

此外，也可以每获取一个部位的可见光图像和非可见光图像后，就将其融合，并进行后的检测过程。但是，为了提高处理效率，可以在获取到一个口腔的所有图像或者获取到一定个数的图像之后，再进行融合以及后续的检测过程。

具体地，该融合过程可以是针对拼接后的图像进行融合，或者说是对多个可见光图像块和非可见光图像块进行融合。由此，对于融合后的图像也可以是包含多个融合后的图像块。

步骤S103：根据所述融合后的图像进行口腔区块划分。通过口腔区块划分，可以将所有生成的融合后的图像划分得到多个口腔区块，该多个口腔区块可以分为正常区块和病变区块，以及相应区块的位置信息。

步骤S104：根据划分结果中的病变区块进行病变区域定位。具体地，通过提取划分结果中的病变区块，可以基于其和牙齿部位的相关性进行具体病变的定位。

本发明实施例提供的基于多光谱的图像识别方法，采用摄像模组获取口腔的可见光图像和非可见光图像；再将可见光图像和所述非可见光图像进行融合，生成融合后的图像，生成的融合后的图像包含了可见光的频谱信息以及非可见光的频谱信息；由此，通过融合后的图像进行区块划分，可以通过图像中包含的多光谱信息，提高检测的准确性；最后根据病变区块和牙齿部位的相关性进行定位。实现了具体发病部位的定位。

在一实施方式中，如图2所示，根据所述融合后的图像进行口腔区块划分，包括如下步骤：

步骤S201：将所述融合后的图像与图像框架数据库中的区块的图像进行匹配。具体地，图像框架数据库，基于人类口腔的各种情况进行构建，该图像框架数据库存储了人类口腔的图像模型的通用框架数据，该框架数据涵盖了各种情况下人类口腔全部表面区域的图像特征信息，例如形状特征、色彩特征、纹理特征等信息。图像框架数据库存储有将图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息；区块的图像的位置信息包括：每个区块相互之间的空间位置关系；区块的图像数据包括：编号信息、图像特征信息。图像轮廓存储了人类全口腔内表面各个区域(含各个区块)的三维图像的形状轮廓数据。其中，用户的图像轮廓至少存储了用户的口腔中各个区块的图像的形状轮廓数据。

其中，融合后的图像为进行拼接后的可见光图像与非可见光图像融合得到的，由此，该融合后的图像中包括多个图像数据块。在匹配时，将融合后图像中的图像数据块与图像框架数据库中区块的图像进行匹配。

步骤S202：若确定所述融合后的图像和图像框架数据库中的区块的映射关系，根据所述映射关系，确定所述融合后的图像在图像框架数据库中图像轮廓中的位置。具体地，若匹配成功，则根据融合后的图像和图像框架数据库中的区块的映射关系，确定融合后的图像在图像框架数据库中图像轮廓中的位置。在确定位置时，至少根据图像框架数据库中区块的图像特征信息，确定融合后的图像中包含的图像数据块对应于的图像框架数据库中的区块，然后根据融合后的图像中包含的图像数据块对应于的图像框架数据库中的区块，确定融合后的图像数据块对应于用户的图像轮廓中的位置。

当然，还可以结合区块相互之间的空间位置关系和/或编号信息、图像数据块相互之间的空间位置关系等方式，来确定在用户的三维图像轮廓中的位置，本发明实施例中并不进行限制。

步骤S203：将所述融合后的图像重构于所述图像轮廓中确定的位置上，得到重构后的图像数据。具体地，根据图像框架数据库中区块的边界特征信息，从融合后的图像包含的图像数据块中提取出属于对应的区块的曲面图像；将提取出的曲面图像替换的图像轮廓中对应的确定的位置上的图像，获得重构后的三维图像数据。

在重构后，还可以将重构后的图像数据，替换掉当前保存的图像模型中对应的确定的位置上的图像。这样，每次得到重构后的图像数据后，都可以不断地替换的图像模型中相应位置上的图像，实现动态更新的图像模型的效果。根据更新后的图像模型，获取更新后的图像模型对应的图像轮廓，并根据更新后的图像模型对应的图像轮廓，更新保存的图像轮廓。

步骤S204：根据所述融合后的图像的光谱特征参数和标准口腔图像的光谱特征参数进行比较，得到光谱特征参数差值。具体地，该光谱特征参数包括颜色、纹理以及曲面形状等特征参数，该特征参数不仅包括可见光频谱的特征参数，还包括非可见光频谱的特征参数，然后将二者的特征参数进行融合，然后和标准口腔图像的光谱特征参数进行比较作差，得到光谱特征参数差值。该标准口腔图像的光谱特征参数为未发生病变的图像光谱特征参数。

步骤S205：根据所述光谱特征参数差值和牙齿病变的关系得到病变区块和非病变区块。具体地，可以先获取发生各类病变的牙齿的可见光图像和非可见光图像，将其融合，然后将融合后的图像和标准口腔图像的光谱特征参数比较得到光谱特征参数差值，并得到该光谱特征参数差值和对应病变的关系。当根据上述步骤得到当前的光谱特征参数差值后，将其代入到该关系中进行匹配，判断该融合后的图像中的区块是否是病变区块，当是病变区块时，还可以确定对应的病变。其中，该病变包括龋齿、牙结石、牙菌斑、牙龈萎缩后牙根暴露部位、牙裂缝、牙龈萎缩等等。

由于融合后图像中包括多个图像块，再进行光谱特征参数差值的计算以及和牙齿病变的关系判断时，可以直接以图像块进行比较，然后根据比较结果对图像块进行分类，得到病变区块和非病变区块。其中病变区块中还可以细分为每一类病变区块。

其中，当采用融合后的图像进行联合检测时，实际上是在RGBDH信号空间中进行检测，在该图像中，每一个像素点包含每一个像素点有R、G、B、H四个频点的信号强度信号。如果在可见光频段之外还有n个采样频点，则融合后的图像信号空间是RGBGH1H2...Hn图像。在这个信号空间中，每一个像素点有R、G、B、H1、H2、......、Hn合计(n+3)个频点的信号强度信号。

相比采用可见光图像和非可见光图像分别检测的方式，采用融合后的图像检测能够提高检测的准确率。例如，若病变为龋病，早期龋病虽然颜色没变，但在纹理上会出现牙面失去光泽的表现。与此同时，其可见光之外的频点也会出现某些改变，比如对红外光会或紫外光会等的频谱参数会发生变化。由此，采用融合后的图像进行检测，可以综合RGBDH1H2...Hn图像信号空间做特征参数提取和聚类，从而降低龋病漏检率和误检率、提高检测准确率。

例如，病变为龋病时，其形成的信号特征子空间Ψ如图3所示。采用降维后的图像进行检测，如图4所示，可见光检测时在RGBD空间处理、红外检测时在H空间处理。对于龋病形成的信号特征子空间外凸部，单看可见光信号特征参数y无龋病，单看非可见光信号特征参数x也无龋病。在病变区域定位模块综合之前结果时，由于之前分检缺乏(x，y)联合检测信息，最终结果还会是无龋病。如此，龋病信号特征子空间外凸部就成了漏检区。对于龋病形成的信号特征子空间内凹部，单看可见光信号特征参数y有龋病，单看非可见光信号特征参数x也有龋病。在病变区域定位模块综合之前结果时，由于之前分检缺乏(x，y)联合检测信息，最终结果还会是有龋病。如此，龋病信号特征子空间内凹部就成了误检区。

若采用融合后的图像进行联合检测，如图5所示，融合配准后的RGBDH图像是基于可见光信号特征参数y和非可见光信号特征参数x的联合检测信息(x，y)进行检测。因此，采用融合后的图像进行联合检测，其形成的特征子空间Φ2＝{x，y|(x，y)∈φ}有条件充分拟合患者牙齿发生病变形成的信号特征子空间Ψ。

本发明实施例提供的基于多光谱的图像识别方法，能得到病变区域的图像坐标，并进而能自动识别发生病变的牙齿部位，也即具体是哪一颗牙齿、该牙齿的哪一个牙面发生了病变。其中，在检测时，将可见光频谱的颜色参数特征、纹理参数特征，以及可见光之外频谱(如红外光、紫外光)的光谱参数特征，都综合起来，在更丰富的参数体系中提取牙齿病变特征。即通过RGBDH图像信息，能进一步提升龋齿检测准确率。

在一实施方式中，根据划分结果中的病变区块进行定位，包括：根据重构后的图像数据确定病变区块的位置信息；根据病变区块的位置信息和牙齿部位的相关性进行病变区域定位。具体地，在进行定位时，可以先提取划分结果的病变区块，然后基于上述步骤确定病变区块的位置信息，然后根据该位置信息和牙齿部位的相关性，如位置信息对应的具体的牙齿部位，进行病变区域定位，得到具体发生病变的牙齿部位，如哪颗牙齿的哪个表面发生了病变。

其中，根据病变区块的位置信息和牙齿部位的相关性进行病变区域定位，包括：根据重构后的图像数据展示更新后的三维图像；根据所述病变区块的位置信息和牙齿部位的相关性在所述更新后的三维图像轮廓模型中标注病变部位。为了更清楚的实现病变部位的定位，可以先将更新后的相关用户的三维图像，然后结合病变区块的位置信息和牙齿部位的相关性在该模型中采用画圈、附以文字标注等方式展现病变区域，由此，能够使得用户或者相关人员更清楚明确的确定病变区域。

在一实施方式中，如图6所示，根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像，包括如下步骤：

步骤S301：根据所述可见光图像进行双目立体匹配生成深度图像和可见光图像融合的RGBD图像。

具体地，在融合时，先对对获取的可见光图像的摄像模组进行参数标定；该参数标定包括内参标定和外参标定。其中，内参标定是为了获取摄像模组内参参数，外参标定是为了获取摄像模组外参参数。而内参参数反应的是摄像模组坐标系到图像坐标系之间的投影关系；外参参照反应的是摄像模组坐标系和世界坐标系之间的旋转R和平移T关系。

在进行标定后，可以进行畸变校正和立体校正。例如，当采用双目摄像模组时，对左右图像进行畸变校正和立体对极线校正，得到校正后的左右图像。其中，畸变校正是利用畸变系数对图像进行校正。而立体校正是把实际中非共面行对准的两幅图像，校正成共面行对准。

在校正后，可以进行立体匹配，生成深度图。具体地，先根据校正后的左右图像通过立体视觉匹配获取左右视差图；该视觉匹配可以采用SGBM算法实现；获取到视差图后，可以填充其中的视差图空洞；之后再将视差图转换为对应的深度图，如双目图像则可以转换得到左右深度图。

对于得到的深度图，如转换得到了左右深度图，则可以判断左右图像的质量，选择其中图像质量好的可见光图像和对应的深度图像进行融合，生成RGBD图像。

步骤S302：根据所述RGBD图像和所述非可见光图像进行配准融合，生成融合后的图像。

具体地，在配准融合之前，先对获取的非可见光图像的摄像模组进行参数标定；同样的，非可见光图像的参数标定时，也包括内参标定和外参标定。之后，计算非可见图像相对RGBD图像的偏移；然后根据所述偏移将所述非可见光图像和RGBD图像叠加，生成融合后的图像。

其中，融合后的图像中包括可见光图像的频谱图像信息和非可见光图像的频谱图像信息。该非可见光图像的频谱图像信息，也可以是单一频率点的非可见光，也可以是具有多频率点的非可见光。例如，采用近红外、近紫外两个频率点的非可见光。由此，当采用多频率点时，融合后的图像为RGBDH1H2...Hn图像，n为多频率点非可见光的频点数量。

本发明实施例还提供一种基于多光谱的图像识别装置，如图7所示，该装置包括：

图像获取模块，用于基于摄像模组获取口腔的可见光图像和非可见光图像；具体内容参见上述方法实施例对应部分，在此不再赘述。

融合模块，用于根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像；具体内容参见上述方法实施例对应部分，在此不再赘述。

划分模块，用于根据所述融合后的图像进行口腔区块划分；具体内容参见上述方法实施例对应部分，在此不再赘述。

定位模块，用于根据划分结果中的病变区块进行病变区域定位。具体内容参见上述方法实施例对应部分，在此不再赘述。

本发明实施例提供的基于多光谱的图像识别装置，采用摄像模组获取口腔的可见光图像和非可见光图像；再将可见光图像和所述非可见光图像进行融合，生成融合后的图像，生成的融合后的图像包含了可见光的频谱信息以及非可见光的频谱信息；由此，通过融合后的图像进行区块划分，可以通过图像中包含的多光谱信息，提高检测的准确性；最后根据病变区块和牙齿部位的相关性进行定位。实现了具体发病部位的定位

本发明实施例提供的基于多光谱的图像识别装置的功能描述详细参见上述实施例中基于多光谱的图像识别方法描述。

本发明实施例还提供一种存储介质，如图8所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中基于多光谱的图像识别方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于多光谱的图像识别方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－6所示实施例中的基于多光谱的图像识别方法。

上述电子设备具体细节可以对应参阅图1至图6所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种基于多光谱的图像识别方法，其特征在于，包括：

基于摄像模组获取口腔的可见光图像和非可见光图像；

根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像；

根据所述融合后的图像进行口腔区块划分；

根据划分结果中的病变区块进行病变区域定位。

2.根据权利要求1所述的基于多光谱的图像识别方法，其特征在于，根据所述融合后的图像进行口腔区块划分，包括：

将所述融合后的图像与图像框架数据库中的区块的图像进行匹配；

若确定所述融合后的图像和图像框架数据库中的区块的映射关系，根据所述映射关系，确定所述融合后的图像在图像框架数据库中图像轮廓中的位置；

将所述融合后的图像重构于所述图像轮廓中确定的位置上，得到重构后的图像数据。

3.根据权利要求1所述的基于多光谱的图像识别方法，其特征在于，根据所述融合后的图像进行口腔区块划分，还包括：

根据所述融合后的图像的光谱特征参数和标准口腔图像的光谱特征参数进行比较，得到光谱特征参数差值；

根据所述光谱特征参数差值和牙齿病变的关系得到病变区块和非病变区块。

4.根据权利要求2所述的基于多光谱的图像识别方法，其特征在于，根据划分结果中的病变区块进行定位，包括：

根据重构后的图像数据确定病变区块的位置信息；

根据病变区块的位置信息和牙齿部位的相关性进行病变区域定位。

5.根据权利要求4所述的基于多光谱的图像识别方法，其特征在于，根据病变区块的位置信息和牙齿部位的相关性进行病变区域定位，包括：

根据重构后的图像数据展示更新后的三维图像；

根据所述病变区块的位置信息和牙齿部位的相关性在所述更新后的三维图像中标注病变部位。

6.根据权利要求1所述的基于多光谱的图像识别方法，其特征在于，根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像，包括：

根据所述可见光图像进行双目立体匹配生成深度图像和可见光图像融合的RGBD图像；

根据所述RGBD图像和所述非可见光图像进行配准融合，生成融合后的图像。

7.根据权利要求6所述的基于多光谱的图像识别方法，其特征在于，根据所述可见光图像进行双目立体匹配生成深度图像和可见光图像融合的RGBD图像，包括：

对获取可见光图像的摄像模组进行参数标定；

对标定后的图像进行畸变校正和立体对极线校正，得到校正后的图像；

根据所述校正后的图像通过立体视觉匹配获取视差图；

根据所述视差图转换得到深度图；

根据图像的质量选择可见光图像和对应的深度图像进行融合，生成RGBD图像。

8.根据权利要求6所述的基于多光谱的图像识别方法，其特征在于，根据所述RGBD图像和所述非可见光图像进行配准融合，生成融合后的图像，包括：

对获取非可见光图像的摄像模组进行参数标定；

计算非可见图像相对所述RGBD图像的偏移；

根据所述偏移将所述非可见光图像和RGBD图像叠加，生成融合后的图像。

9.一种基于多光谱的图像识别装置，其特征在于，包括：

图像获取模块，用于基于摄像模组获取口腔的可见光图像和非可见光图像；

融合模块，用于根据所述可见光图像和所述非可见光图像进行融合，生成融合后的图像；

划分模块，用于根据所述融合后的图像进行口腔区块划分；

定位模块，用于根据划分结果中的病变区块进行病变区域定位。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－8任一项所述的基于多光谱的图像识别方法。

11.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－8任一项所述的基于多光谱的图像识别方法。

Images