CN114511862B - 表格识别方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种表格识别方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用于光学字符识别场景。具体实现方案为：获取待识别图像，其中，待识别图像中显示的内容包括：待识别表格；对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果；对合并结果与第一识别结果进行匹配处理，得到第二识别结果。本公开至少解决了现有技术中图像中表格识别准确度低的技术问题。

Description

表格识别方法、装置及电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用于光学字符识别场景，具体而言，涉及一种表格识别方法、装置及电子设备。

背景技术

随着办公电子化程度的提高，原本以纸质形式保存的文档资料逐渐通过扫描仪等电子化手段转为以图像形式保存。在现有技术中，通常采用复杂的图像处理流程来识别图像中的表格，一方面，其所使用的图像处理算法复杂，时间空间成本高，另一方面，其对对比度较弱、图像明暗分布不均或背景模糊的表格无法准确识别，从而降低了对图像中表格识别的准确度。

发明内容

本公开提供了一种表格识别方法、装置及电子设备。

根据本公开的一方面，提供了一种表格识别方法，包括：获取待识别图像，其中，待识别图像中显示的内容包括：待识别表格；对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果；对合并结果与第一识别结果进行匹配处理，得到第二识别结果。

可选的，表格识别方法还包括：对待识别表格进行分割处理，得到预测分割图，其中，预测分割图为待识别表格所包含的单元格的最小分割图；对预测分割图进行合并处理，得到合并结果。

可选的，表格识别方法还包括：对待识别表格进行特征提取处理，得到第一特征图像，其中，第一特征图像为待识别表格对应的特征图像；对第一特征图像进行位置预测处理，得到预测分割图。

可选的，表格识别方法还包括：利用卷积神经网络对待识别表格进行特征提取处理，得到第一特征图像。

可选的，表格识别方法还包括：对第一特征图像中包含的每个像素逐个进行位置预测处理，确定每个像素的位置属于待识别表格的表格线位置或者属于待识别表格的非表格线区域，得到预测分割图。

可选的，表格识别方法还包括：对预测分割图进行全局平均池化处理，得到第二特征图像，其中，第二特征图像为单元格对应的特征图像；对第二特征图像进行分类合并处理，得到合并结果。

可选的，表格识别方法还包括：基于第二特征图像确定单元格的视觉特征；利用视觉特征沿多个方向进行单元格合并，得到合并结果。

可选的，表格识别方法还包括：基于第一识别结果确定待识别表格中文字区域的显示位置与显示内容；基于合并结果确定待识别表格中单元格的显示位置与显示内容；将文字区域的显示位置与显示内容与单元格的显示位置与显示内容进行匹配处理，得到第二识别结果。

根据本公开的另一方面，提供了一种表格识别装置，包括：获取模块，用于获取待识别图像，其中，待识别图像中显示的内容包括：待识别表格；第一处理模块，用于对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果；第二处理模块，用于对合并结果与第一识别结果进行匹配处理，得到第二识别结果。

可选的，第一处理模块还包括：分割模块，用于对待识别表格进行分割处理，得到预测分割图，其中，预测分割图为待识别表格所包含的单元格的最小分割图；合并模块，用于对预测分割图进行合并处理，得到合并结果。

可选的，分割模块还包括：第一提取模块，用于对待识别表格进行特征提取处理，得到第一特征图像，其中，第一特征图像为待识别表格对应的特征图像；第一预测模块，用于对第一特征图像进行位置预测处理，得到预测分割图。

可选的，第一提取模块还包括：第二提取模块，用于利用卷积神经网络对待识别表格进行特征提取处理，得到第一特征图像。

可选的，第一预测模块还包括：第二预测模块，用于对第一特征图像中包含的每个像素逐个进行位置预测处理，确定每个像素的位置属于待识别表格的表格线位置或者属于待识别表格的非表格线区域，得到预测分割图。

可选的，合并模块还包括：第三处理模块，用于对预测分割图进行全局平均池化处理，得到第二特征图像，其中，第二特征图像为单元格对应的特征图像；第四处理模块，用于对第二特征图像进行分类合并处理，得到合并结果。

可选的，第四处理模块还包括：第一确定模块，用于基于第二特征图像确定单元格的视觉特征；第五处理模块，用于利用视觉特征沿多个方向进行单元格合并，得到合并结果。

可选的，第二处理模块还包括：第二确定模块，用于基于第一识别结果确定待识别表格中文字区域的显示位置与显示内容；第三确定模块，用于基于合并结果确定待识别表格中单元格的显示位置与显示内容；匹配模块，用于将文字区域的显示位置与显示内容与单元格的显示位置与显示内容进行匹配处理，得到第二识别结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的方法。

在本公开的实施例中，采用基于分割与合并处理和光学字符进行表格识别的方式，通过获取待识别图像，然后对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果，接着对合并结果与第一识别结果进行匹配处理，从而得到第二识别结果。其中，待识别图像中显示的内容包括：待识别表格。

在上述过程中，通过对待识别表格进行分割得到多个分割区域，可以更容易识别每个分割区域的重要特征。另外，本公开对多个分割区域进行合并处理，从而避免表格中文本内容同时处于多个分割区域中，导致无法确定文本内容在表格中的位置的问题。通过对待识别表格进行光学字符识别处理，可以更有效的识别出待识别表格中的字符，从而更准确识别出待识别表格中的文本内容。由此可见，将合并结果与第一识别结果进行匹配处理，可以实现对待识别表格的内容的准确确定，进而提高了对待识别表格的识别的准确度。此外，本公开在上述过程中并未使用图像处理算法来对待识别表格进行图像处理，从而避免了现有技术中使用图像处理算法所导致的时间空间成本高的问题，降低了表格识别的时间成本和空间成本。

由此可见，本公开所提供的方案达到了基于分割与合并处理和光学字符识别处理进行表格识别的目的，从而实现了提高对图像中表格的识别的准确度的技术效果，进而解决了现有技术中图像中表格识别准确度低的技术问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例1的表格识别方法的流程示意图；

图2是根据本公开实施例1的待识别表格的示意图；

图3是根据本公开实施例1的预测分割图的示意图；

图4是根据本公开实施例1的表格识别方法的流程示意图；

图5是根据本公开实施例1的第二识别结果的示意图；

图6是根据本公开实施例2的表格识别装置的示意图；

图7是用来实现本公开实施例的表格识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

实施例1

OCR在教育、金融、医疗、交通和保险等各行各业都取到了广泛的关注和应用，随着办公电子化程度的提高，原本以纸质形式保存的文档资料逐渐通过扫描仪等电子化手段转为以图像形式保存。为了能查询或调阅指定记录的图像，需要将影像和影像内容数据建立索引。为建立索引一般通过OCR(Optical Character Recognition，光学字符识别)技术将扫描得到的影像分类、然后再进行识别以得到其内容。

现有的利用OCR技术进行表格识别时，在对图像进行二值化处理时，主要采用的技术手段一般包括：全局阈值法、局部阈值法、区域增长的方法、水线算法、最小描述长度法、基于马尔科夫随机场的方法等。然后图像倾斜校正技术手段一般包括基于投影图的方法、基于Hough变换的方法、最近邻簇方法以及矢量化方法等。最后该表格识别技术方案在对表格中各个单元格分割并提取出单个字符后，一般是通过调用现有的字符识别工具或通过训练通用的神经网络分类器进行字符识别。

然而，上述的这些方法却存在以下问题。

(1)、全局阈值法仅仅考虑了图像的灰度信息，而忽略了图像中的空间信息，对所有像素采用同一灰度阈值，只适合亮度处处均匀并且图像直方图具有较明显双峰的理想情况，当图像中不存在明显的灰度差异或各物体的灰度值范围有较大重叠时，通常难以获得令人满意的效果。

(2)、局部阈值法虽能克服全局阈值法中存在的亮度分布不均的缺陷，但却在存在窗口大小设定的问题，即过小的窗口容易导致线条断裂，过大的窗口又容易使图像失去应有的局部细节。

(3)、投影法需要计算每个倾斜角度的投影形状，要使倾斜估计精度较高的话，这种方法的计算量将非常大，且该方法一般适用于文字文档的倾斜校正，对于具有复杂结构的表格校正，该方法的效果较差；最近邻簇方法对于具有较多相互邻近的组成部分时，该方法十分费时，总体性能不理想；矢量化算法需要直接对光栅图像的各个像素进行处理，存储量大，而且其校正结果的好坏、算法的性能及图像处理的时间、空间成本均极大的依赖于矢量基元的选择；Hough变换计算量大，十分费时，且难以确定直线的起点和终点，只是对纯文本文档比较有效，而对带有图表的复杂结构的文档图像，由于图和表的干扰，无法得到满意的结果，因此在具体的工程实践中的应用却受到了限制。

从上述问题中不难看出，现有技术中通常采用复杂的图像处理流程来识别图像中的表格，一方面，其所使用的图像处理算法复杂，时间空间成本高，另一方面，其对对比度较弱、图像明暗分布不均或背景模糊的表格无法准确识别，从而产生对图像中表格识别准确度低的问题。

根据本公开实施例，提供了一种表格识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本公开实施例1的表格识别方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S102，获取待识别图像，其中，待识别图像中显示的内容包括：待识别表格。

在步骤S102中，待识别图像可以是基于对实质文件进行扫描、拍照等方式处理后所得到的图像，并可通过电子设备、计算设备、应用系统等装置获取该待识别图像，在本实施例中，通过计算设备获取待识别图像。

可选的，待识别图像中显示的待识别表格可以包括表格线和文字，待识别表格的形式可以为整张表格，也可以为表格中的一部分，在本实施例中，图2是根据本公开实施例1的待识别表格的示意图，如图2所示，在本实施例中，待识别表格优选为整张表格，即一个完整的表格。

需要说明的是，通过获取显示内容包括待识别表格的待识别图像，以用于实现对待识别表格的获取，从而保证后续能够正常并准确的对待识别图像中的待识别表格进行分割与合并处理，进而获取到准确的合并结果。

步骤S104，对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果。

在步骤S104中，计算设备可以先从待识别图像中提取出待识别表格，然后依据预设的分割尺寸或基于计算得到的分割尺寸分割待识别表格，且分割待识别表格得到的多个分割区域的大小可以完全相同或不完全相同。进一步地，在对待识别表格分割完成后，可以依据各分割区域的颜色、纹理或特定位置的图像特征对各分割区域合并，从而得到合并结果，例如，对具有相同颜色的分割区域进行合并。合并结果至少包括待识别图像中的待识别表格的每个分割区域的显示位置与显示内容。其中，显示位置可以是各分割区域的相对位置信息或绝对位置信息，显示内容可以是各分割区域的颜色、形状、纹理等信息。

可选的，计算设备通过对待识别表格进行光学字符识别处理，以至少识别出待识别表格中的文字信息，其中，文字信息至少包括文字位置和文字内容，文字位置可以是各文字的相对位置信息或绝对位置信息，文字内容可以是文字颜色、文字形状等信息，从而得到第一识别结果。

需要说明的是，通过对待识别表格进行分割得到多个分割区域，可以更容易识别每个分割区域的重要特征。另外，本公开对多个分割区域进行合并处理，从而避免表格中文本内容同时处于多个分割区域中，导致无法确定文本内容在表格中的位置的问题。通过对待识别表格进行光学字符识别处理，可以更有效的识别出待识别表格中的字符，从而更准确识别出待识别表格中的文本内容。

步骤S106，对合并结果与第一识别结果进行匹配处理，得到第二识别结果。

在步骤S106，由于合并结果包括待识别图像中的待识别表格的每个分割区域的显示位置与显示内容，第一识别结果至少包括待识别表格中的文字位置和文字内容，因此，可以在计算设备内预置匹配算法，通过匹配算法，基于位置、颜色或特定的图像特征等信息将合并结果与第一设备结果进行匹配，从而得到第二识别结果，第二识别结果用于表征计算设备所识别出的待识别表格所包含的显示内容。

需要说明的是，通过将合并结果与第一识别结果进行匹配处理，可以实现对待识别表格中的文字位置的准确确定，进而提高了对待识别表格的识别的准确度。

基于上述步骤S102至步骤S106所限定的方案，可以获知，在本公开的实施例中，采用基于分割与合并处理和光学字符识别处理进行表格识别的方式，通过获取待识别图像，然后对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果，接着对合并结果与第一识别结果进行匹配处理，从而得到第二识别结果。其中，待识别图像中显示的内容包括：待识别表格。

容易注意到的是，在上述过程中，通过对待识别表格进行分割得到多个分割区域，可以更容易识别每个分割区域的重要特征。另外，本公开对多个分割区域进行合并处理，从而避免表格中文本内容同时处于多个分割区域中，导致无法确定文本内容在表格中的位置的问题。通过对待识别表格进行光学字符识别处理，可以更有效的识别出待识别表格中的字符，从而更准确识别出待识别表格中的文本内容。由此可见，将合并结果与第一识别结果进行匹配处理，可以实现对待识别表格的内容的准确识别，进而提高了对待识别表格的识别的准确度。此外，本公开在上述过程中并未使用图像处理算法来对待识别表格进行图像处理，从而避免了现有技术中使用图像处理算法所导致的时间空间成本高的问题，降低了表格识别的时间成本和空间成本。

由此可见，本公开所提供的方案达到了基于分割与合并处理和光学字符识别处理进行表格识别的目的，从而实现了提高对图像中表格的识别的准确度的技术效果，进而解决了现有技术中图像中表格识别准确度低的技术问题。

在一种可选的实施例中，计算设备可以通过对待识别表格进行分割处理，得到预测分割图，然后再对预测分割图进行合并处理，从而得到合并结果。其中，预测分割图为待识别表格所包含的单元格的最小分割图。

可选的，图3是根据本公开实施例1的预测分割图的示意图，如图3所示，对预测分割图进行解释说明。在待识别表格中仅包含一种尺寸的单元格的情况下，确定预测分割图中的分割区域的尺寸即为该单元格的尺寸；在待识别表格中包含多种尺寸的单元格的情况下，如包括2*2、4*2、4*4和2*8尺寸的单元格，则确定预测分割图中的分割区域的尺寸为前述陈列的单元格中的最小单元格对应的尺寸，即2*2，由此获得预测分割图。

进一步地，通过对前述预测分割图中的各最小单元格进行合并处理，可以得到合并结果。其中，可以将各最小单元格和相邻的单元格进行合并，合并数量可以是一个，也可以是多个。

需要说明的是，通过基于待识别表格所包含的单元格对待识别表格进行分割处理，得到预测分割图，可以有效对最小单元格的显示内容进行区分，之后，对最小单元格进行合并，从而可以获取到其它大尺寸单元格的显示内容，由此，实现了对所有单元格显示内容的确定，即对各分割区域的相对位置的确定。

在一种可选的实施例中，计算设备可以通过对待识别表格进行特征提取处理，得到第一特征图像，然后对第一特征图像进行位置预测处理，得到预测分割图。其中，第一特征图像为待识别表格对应的特征图像。

可选的，计算设备可以通过先识别出待识别图像中的待识别表格的位置，对待识别表格所属区域进行截取以得到目标待识别图像，然后对目标待识别图像中的待识别表格进行特征提取，得到第一特征图像。其中，第一特征图像至少包括待识别表格的颜色、纹理以及结构特征(例如，几行几列、有无边框)等特征。由此，计算设备基于得到的第一特征图像中所包括的特征，对第一特征图像进行位置预测处理，获取最小单元格的位置、尺寸，从而得到预测分割图。

需要说明的是，通过对待识别表格进行特征提取处理，得到第一特征图像，并对第一特征图像进行位置预测处理，可以便于计算设备识别出最小单元格，进而得到准确的预测分割图。

在一种可选的实施例中，计算设备可以利用卷积神经网络对待识别表格进行特征提取处理，以得到第一特征图像。

具体地，图4是根据本公开实施例1的表格识别方法的流程示意图，如图4所示，计算设备将待识别表格输入到卷积神经网络中。该卷积神经网络结构可以选择较为经典的用于语义分割的卷积神经网络，如ResNet、UNet、DeepLab等卷积神经网络，从而得到与原图尺度一致的特征图，即第一特征图像，第一特征图像包含了待识别表格里的多个特征(即上述的颜色、纹理即特征结构等)。

需要说明的是，由于卷积神经网络能够实现稳定且精细的特征提取，因此，通过利用卷积神经网络对待识别图像进行特征提取，可以得到满足期望的第一特征图像，进而使得基于第一特征图像所获得的预测分割图具有较高的准确性。

在一种可选的实施例中，计算设备可以通过对第一特征图像中包含的每个像素逐个进行位置预测处理，确定每个像素的位置属于待识别表格的表格线位置或者属于待识别表格的非表格线区域，从而得到预测分割图。

可选的，上述的表格线表征理论上所应具有的表格线，而与待识别图像中显示的待识别表格的实际显示样式没有必要关联，即当待识别图像中显示的待识别表格的表格线为透明颜色或与周围颜色相同时，虽然这些表格线无法通过观测得到，但其理论上是存在的。

具体地，如图4所示，计算设备可以将第一特征图像输入分类器，作逐location(也即上述的像素)的预测，并分别预测该location是否属于表格竖线，表格横线，非表格线区域，得到预测结果。之后，基于预测结果，对于属于表格线的区域，计算设备将其提取出来并计算其交点，即横线与竖线之间的交点，从而得到最小单元格的尺寸和位置，进而得到预测分割图。其中，上述的分类器为基于大量样本训练得到的并已训练好的分类器。

需要说明的是，由于上述的对第一特征图像中的每个像素逐个进行位置预测处理的过程并不完全依赖于待识别表格线的实际颜色，因此，可以实现对每个像素的位置更加准确的确定，从而实现了对待识别表格的表格线的有效识别，进而便于实现对最小单元格的确定。

在一种可选的实施例中，在得到预测分割图之后，计算设备可以对预测分割图进行全局平均池化处理，得到第二特征图像，然后对第二特征图像进行分类合并处理，以得到合并结果。其中，第二特征图像为单元格对应的特征图像。

可选的，如图4所示，计算设备对预测分割图中的每一个最小单元格所对应的区域(即各分割区域，也即图4中的感兴趣区域)进行提取，然后分别对每个分割区域进行全局平均池化处理，从而得到与每个最小单元格对应的第二特征图像，通过对第二特征图像进行分类合并，可以得到合并结果。其中，第二特征图像至少包括最小单元格的长宽、边框、颜色等特征。

需要说明的是，通过对预测分割图进行全局平均池化处理，得到第二特征图像，以实现对每个最小单元格对应的区域的图像特征的获取，进而便于后续对第二特征图像进行分类合并以得到合并结果。

在一种可选的实施例中，计算设备可以基于第二特征图像确定单元格的视觉特征，利用视觉特征沿多个方向进行单元格合并，得到合并结果。

可选的，单元格(即最小单元格)的视觉特征可以表征最小单元格的图像特征所对应的类型。具体地，如图4所示，将第二特征图像输入至1x1卷积分类器，分别对该第二特征图像所对应的最小单元格的上、下、左、右方向做0/1预测，若某一方向预测为0，则确定上述的最小单元格与该方向上的相邻最小单元格不属于同一个大单元格，反之，若某一方向预测为1，则确定上述的最小单元格与该方向上的相邻最小单元格属于同一个大单元格。之后，基于上述的预测结果，将属于同一大单元格的第二特征图像进行合并，从而实现对最小单元格之间的合并，进而得到合并结果。

需要说明的是，通过基于第二特征图像确定单元格的视觉特征，利用视觉特征沿多个方向进行单元格合并，实现了对大单元格(即非最小单元格)的大小及位置的确定，从而实现了对待识别表格内所有单元格位置的准确确定，进而提高了本公开的识别准确度。

在一种可选的实施例中，计算设备可以基于第一识别结果确定待识别表格中文字区域的显示位置与显示内容，并基于合并结果确定待识别表格中单元格的显示位置与显示内容，然后将文字区域的显示位置与显示内容与单元格的显示位置与显示内容进行匹配处理，从而得到第二识别结果。

可选的，计算设备可以将上述过程中的待识别图像输入到OCR引擎中，以通过OCR引擎预测待识别表格中的文本以及文本的位置，获得第一识别结果，并基于第一识别结果确定待识别表格中文字区域的显示位置与显示内容。此外，计算设备还基于合并结果确定待识别表格中单元格的显示位置与显示内容，然后基于位置匹配关系，确定各文字字段与各单元格的对应关系，并将识别出的文字分配到对应的单元格中，最后，结构化输出第二识别结果，第二识别结果如图5所示。

需要说明的是，通过将文字区域的显示位置与显示内容与单元格的显示位置与显示内容进行匹配处理，可以实现对文字区域与单元格的对应关系的准确确定，进而实现了对第二识别结果的准确获取，从而提高本公开对图像中表格识别的准确度。

需要说明的是，本公开提出的方法，提供了一种计算简单，运算快，时间空间成本低的表格识别方法，提升了表格识别的准确度。能够让OCR的技术应用推的更广，开发成本可以降低、精度更有保证。同时，垂类适用性更多(不管是来自金融、教育、医疗、保险、办公还是政务等场景)，有利于公司AI2B的规模化和标准化，从而为公司带来大规模的流量和营收。

在上述过程中，通过对待识别表格进行分割得到多个分割区域，可以更容易识别每个分割区域的重要特征。另外，本公开对多个分割区域进行合并处理，从而避免表格中文本内容同时处于多个分割区域中，导致无法确定文本内容在表格中的位置的问题。通过对待识别表格进行光学字符识别处理，可以更有效的识别出待识别表格中的字符，从而更准确识别出待识别表格中的文本内容。由此可见，将合并结果与第一识别结果进行匹配处理，可以实现对待识别表格的内容的准确识别，进而提高了对待识别表格的识别的准确度。此外，本公开在上述过程中并未使用图像处理算法来对待识别表格进行图像处理，从而避免了现有技术中使用图像处理算法所导致的时间空间成本高的问题，降低了表格识别的时间成本和空间成本。

由此可见，本公开所提供的方案达到了基于分割与合并处理和光学字符识别处理进行表格识别的目的，从而实现了提高对图像中表格的识别的准确度的技术效果，进而解决了现有技术中图像中表格识别准确度低的技术问题。

实施例2

根据本公开实施例，提供了一种表格识别装置的实施例，其中，图6是根据本公开实施例2的表格识别装置的示意图，如图6所示，该装置包括：

获取模块602，用于获取待识别图像，其中，待识别图像中显示的内容包括：待识别表格；

第一处理模块604，用于对待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对待识别表格进行光学字符识别处理，得到第一识别结果；

第二处理模块606，用于对合并结果与第一识别结果进行匹配处理，得到第二识别结果。

需要说明的是，上述获取模块602、第一处理模块604、第二处理模块606对应于上述实施例中的步骤S102至步骤S106，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，第一处理模块还包括：分割模块，用于对待识别表格进行分割处理，得到预测分割图，其中，预测分割图为待识别表格所包含的单元格的最小分割图；合并模块，用于对预测分割图进行合并处理，得到合并结果。

可选的，分割模块还包括：第一提取模块，用于对待识别表格进行特征提取处理，得到第一特征图像，其中，第一特征图像为待识别表格对应的特征图像；第一预测模块，用于对第一特征图像进行位置预测处理，得到预测分割图。

可选的，第一提取模块还包括：第二提取模块，用于利用卷积神经网络对待识别表格进行特征提取处理，得到第一特征图像。

可选的，第一预测模块还包括：第二预测模块，用于对第一特征图像中包含的每个像素逐个进行位置预测处理，确定每个像素的位置属于待识别表格的表格线位置或者属于待识别表格的非表格线区域，得到预测分割图。

可选的，合并模块还包括：第三处理模块，用于对预测分割图进行全局平均池化处理，得到第二特征图像，其中，第二特征图像为单元格对应的特征图像；第四处理模块，用于对第二特征图像进行分类合并处理，得到合并结果。

可选的，第四处理模块还包括：第一确定模块，用于基于第二特征图像确定单元格的视觉特征；第五处理模块，用于利用视觉特征沿多个方向进行单元格合并，得到合并结果。

可选的，第二处理模块还包括：第二确定模块，用于基于第一识别结果确定待识别表格中文字区域的显示位置与显示内容；第三确定模块，用于基于合并结果确定待识别表格中单元格的显示位置与显示内容；匹配模块，用于将文字区域的显示位置与显示内容与单元格的显示位置与显示内容进行匹配处理，得到第二识别结果。

实施例3

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如表格识别方法。例如，在一些实施例中，表格识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的表格识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行表格识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种表格识别方法，包括：

获取待识别图像，其中，所述待识别图像中显示的内容包括：待识别表格；

对所述待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对所述待识别表格进行光学字符识别处理，得到第一识别结果，其中，所述合并结果至少包括所述待识别表格中每个分割区域的区域显示位置与区域显示内容，所述区域显示内容包括：颜色、形状和纹理；所述第一识别结果至少包括所述待识别表格中文字区域对应的文字显示位置和文字显示内容，所述文字显示内容包括：文字颜色、文字形状；

对所述合并结果与所述第一识别结果进行匹配处理，得到第二识别结果，其中，所述第二识别结果用于表征所述待识别表格所包含的所述区域显示内容和所述文字显示内容；

对所述合并结果与所述第一识别结果进行匹配处理，得到所述第二识别结果包括：基于所述第一识别结果确定所述待识别表格中所述文字区域对应的所述文字显示位置与所述文字显示内容；基于所述合并结果确定所述待识别表格中单元格对应的所述区域显示位置与所述区域显示内容；将所述文字显示位置和所述文字显示内容与所述区域显示位置与所述区域显示内容进行匹配处理，得到所述第二识别结果。

2.根据权利要求1所述的方法，其中，对所述待识别图像中的待识别表格进行分割与合并处理，得到所述合并结果，包括：

对所述待识别表格进行分割处理，得到预测分割图，其中，所述预测分割图为所述待识别表格所包含的单元格的最小分割图；

对所述预测分割图进行合并处理，得到所述合并结果。

3.根据权利要求2所述的方法，其中，对所述待识别表格进行分割处理，得到所述预测分割图包括：

对所述待识别表格进行特征提取处理，得到第一特征图像，其中，所述第一特征图像为所述待识别表格对应的特征图像；

对所述第一特征图像进行位置预测处理，得到所述预测分割图。

4.根据权利要求3所述的方法，其中，对所述待识别表格进行特征提取处理，得到所述第一特征图像包括：

利用卷积神经网络对所述待识别表格进行特征提取处理，得到所述第一特征图像。

5.根据权利要求3所述的方法，其中，对所述第一特征图像进行位置预测处理，得到所述预测分割图包括：

对所述第一特征图像中包含的每个像素逐个进行位置预测处理，确定每个像素的位置属于所述待识别表格的表格线位置或者属于所述待识别表格的非表格线区域，得到所述预测分割图。

6.根据权利要求2所述的方法，其中，对所述预测分割图进行合并处理，得到所述合并结果包括：

对所述预测分割图进行全局平均池化处理，得到第二特征图像，其中，所述第二特征图像为所述单元格对应的特征图像；

对所述第二特征图像进行分类合并处理，得到所述合并结果。

7.根据权利要求6所述的方法，其中，对所述第二特征图像进行分类合并处理，得到所述合并结果包括：

基于所述第二特征图像确定所述单元格的视觉特征；

利用所述视觉特征沿多个方向进行单元格合并，得到所述合并结果。

8.一种表格识别装置，包括：

获取模块，用于获取待识别图像，其中，所述待识别图像中显示的内容包括：待识别表格；

第一处理模块，用于对所述待识别图像中的待识别表格进行分割与合并处理，得到合并结果，以及对所述待识别表格进行光学字符识别处理，得到第一识别结果，其中，所述合并结果至少包括所述待识别表格中每个分割区域的区域显示位置与区域显示内容，所述区域显示内容包括：颜色、形状和纹理；所述第一识别结果至少包括所述待识别表格中文字区域对应的文字显示位置和文字显示内容，所述文字显示内容包括：文字颜色、文字形状；

第二处理模块，用于对所述合并结果与所述第一识别结果进行匹配处理，得到第二识别结果，其中，所述第二识别结果用于表征所述待识别表格所包含的所述区域显示内容和所述文字显示内容；

所述第二处理模块，还用于：基于所述第一识别结果确定所述待识别表格中所述文字区域对应的所述文字显示位置与所述文字显示内容；基于所述合并结果确定所述待识别表格中单元格对应的所述区域显示位置与所述区域显示内容；将所述文字显示位置和所述文字显示内容与所述区域显示位置与所述区域显示内容进行匹配处理，得到所述第二识别结果。

9.根据权利要求8所述的装置，其中，所述第一处理模块包括：

分割模块，用于对所述待识别表格进行分割处理，得到预测分割图，其中，所述预测分割图为所述待识别表格所包含的单元格的最小分割图；

合并模块，用于对所述预测分割图进行合并处理，得到所述合并结果。

10.根据权利要求9所述的装置，其中，所述分割模块包括：

第一提取模块，用于对所述待识别表格进行特征提取处理，得到第一特征图像，其中，所述第一特征图像为所述待识别表格对应的特征图像；

第一预测模块，用于对所述第一特征图像进行位置预测处理，得到所述预测分割图。

11.根据权利要求10所述的装置，其中，所述第一提取模块包括：

第二提取模块，用于利用卷积神经网络对所述待识别表格进行特征提取处理，得到所述第一特征图像。

12.根据权利要求10所述的装置，其中，所述第一预测模块包括：

第二预测模块，用于对所述第一特征图像中包含的每个像素逐个进行位置预测处理，确定每个像素的位置属于所述待识别表格的表格线位置或者属于所述待识别表格的非表格线区域，得到所述预测分割图。

13.根据权利要求9所述的装置，其中，所述合并模块包括：

第三处理模块，用于对所述预测分割图进行全局平均池化处理，得到第二特征图像，其中，所述第二特征图像为所述单元格对应的特征图像；

第四处理模块，用于对所述第二特征图像进行分类合并处理，得到所述合并结果。

14.根据权利要求13所述的装置，其中，所述第四处理模块包括：

第一确定模块，用于基于所述第二特征图像确定所述单元格的视觉特征；

第五处理模块，用于利用所述视觉特征沿多个方向进行单元格合并，得到所述合并结果。

15. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。