CN114495117A - 一种中文手写汉字的笔划提取方法 - Google Patents

Abstract

本发明公开了一种中文手写汉字的笔划提取方法，包括：字符图像预处理；像素的方向点角度特征计算；拐点团的方向点角度特征计算；基于笔划骨架和轮廓的笔划提取。本发明的方法，可以将脱机手写中文汉字转化为相应的笔划，之后基于笔划开展汉字手写识别、写字人身份识别等下游任务，可以极大提高整个处理流程的可解释性。使用本发明的方法，可以更加准确的将脱机手写中文汉字转化为相应的笔划，进而提高后续汉字手写识别、写字人身份识别等下游任务的准确率。

Description

一种中文手写汉字的笔划提取方法

技术领域

本发明涉及文字处理技术，具体涉及一种中文手写汉字的笔划提取方法。

背景技术

文字的发明是人类文明发展的重要推动力，进入信息时代后，如何对文字进行处理始终是相关学科研究的重点，例如对各类联机/脱机手写文字进行识别、基于书写风格进行身份验证、各种单据的自动化处理、智能化教育等，尤其是伴随着目前深度学习技术的快速发展，各类文字处理技术已经得到了广泛的应用。但是在上述过程中，由于深度神经网络的黑盒特性，最终得到的模型可解释性不强，很难较为直观的和现有知识进行关联，不利于应用的进一步深化。

汉字是中华民族的文化瑰宝，传承了一代代中国人的文化精神，其字形极具特色。根据中国书法的用笔法则即“永字八法”，所有汉字都可以拆分为点、横、竖、钩、提、撇、短撇、捺这八个基本笔划，不同类型、数量的基本笔划，按照一定的构字逻辑有序的分布在字符空间中，就构成了一个个简洁美观的方块汉字。对于人的感知来说，上述过程清晰明了非常直观，易于为人们所接受和理解。

在基于骨架的方法中，首先需要获取字符的骨架，通常是基于各类细化算法实现；之后检测骨架中的交点，基于交点将骨架拆分为多个骨架线段；最后基于一定规则对拆分得到的骨架线段进行组合，复原得到单个的笔划骨架，由笔划骨架复原得到笔划。在上述过程中，需要重点解决问题有：对不同宽度笔划的处理问题、骨架的发丝和分叉问题、笔划的变形问题等。该类方法的流程示意如附图1所示。

在基于轮廓的方法中，首先需要获取字符的轮廓，通常是基于各类边缘检测算法实现；其次检测轮廓线上点的方向属性，从中找出相应的笔划拐点，对属于同一笔划交叉点的拐点进行组合，确定笔划中交叉点的准确位置，利用交叉点将笔划拆分成多个不相交的轮廓片段；最后基于一定规则对拆分得到的轮廓片段进行组合，得到单个笔划轮廓，填充笔划轮廓得到笔划。在上述过程中，拐点的寻找和判断以及拐点之间的相对位置关系是关注的重点。该方法的流程示意如附图2所示。

以上两类方法其流程整体是类似的，即首先提取原始字符图像的高阶信息(骨架、轮廓)，之后再利用此信息获取交叉点并对字符进行拆分得到笔划段，最后基于一定规则将笔划段进行组合得到最终的笔划。其中如何对高阶信息进行有效描述以及笔划段的组合规则是技术的重点。

从相关文献中可知，现有技术主要面向印刷体文字或书写较为规范的手写体文字，针对这类规则文字效果较好。但是，当处理一般的手写体文字时，由于存在连笔书写以及书写变形等问题，导致此使的笔划提取误差较大，严重影响下游任务性能。造成这样的原因有两个方面，一是现有技术大多只使用了轮廓或者骨架信息之一，没有对这两类字符的高阶信息进行综合利用；二是现有技术缺乏对骨架以及轮廓的有效描述表达，导致其所蕴含的字符结构特征未能被充分利用。

发明内容

本发明的主要目的在于提供一种文手写汉字的笔划提取方法。

本发明采用的技术方案是：一种中文手写汉字的笔划提取方法，包括：

字符图像预处理；

像素的方向点角度特征计算；

拐点团的方向点角度特征计算；

基于笔划骨架和轮廓的笔划提取。

进一步地，所述字符图像预处理包括：

将原始图像记为I，对输入的原始图像进行二值化，将二值化后的字符图像记为Ibw；

使用Canny算法提取二值图像Ibw中字符的的边缘，将边缘图像记为Iedge；

使用Rosenfeld算法提取二值图像Ibw中字符的骨架，将骨架图像记为Isk。

更进一步地，所述像素的方向点角度特征计算包括：

以当前像素为中心，邻域半径为N的正方形区域为待计算区域localRect，只保留该区域中和当前像素连通的像素；

其中N的取值和字符图像的大小有关，对100*100左右大小的字符图像来说，N通常取3；

删除localRect中N-1半径范围的点，所剩余的部分即为当前像素的方向点；如果多个方向点相互邻接，则只保留其中距离当前像素最远的一个点；

以当前像素为坐标原点，计算其和方向点之间连线与x轴的夹角θ，θ的计算公示如式(1)所示：

θ＝atan2(x-x₀,y-y₀) (1)

其中(x₀,y₀)为当前像素的坐标，(x,y)为当前方向点的坐标，θ的可能取值范围为[-180,180)，角θ的值即为当前像素点的一阶方向点角度特征；一个像素点可能对应多个方向点；

如果某像素点方向点个数大于等于2，则可以计算任意两个方向点之间的相对角度差值δ，δ的计算公示如式(2)所示：

其中下标a和b分别代表同一像素点的任意两个方向点，θ为该点所对应的方向点角度，由于该值为相对位置，因此需要将其归一化到[0,180)的角度范围中；如果一个像素点有m个方向点，那么就可以计算得到

个δ值，这些δ值构成了当前像素的二阶方向点角度特征。

更进一步地，根据权利要求1所述的中文手写汉字的笔划提取方法，其特征在于，

所述拐点团的方向点角度特征计算包括：

拐点及骨架线段提取

计算骨架图Isk上所有像素点的一阶和二阶方向点角度特征，并删除其中一阶方向点数目为0的像素点，得到新的Isk；

提取Isk中的所有拐点，判断一个像素点是否为拐点有两个条件，其一为像素的方向点数目为2且其二阶方向点角度小于145，其二为像素的方向点数目大于2；像素点满足上述两个条件之一即可被判定为拐点，所有拐点构成骨架的拐点图Isk-i，求解拐点图中的连通区域，每个连通区域即为一个拐点团；

从Isk中减去Isk-i，得到骨架线段图Isk-l，所有像素的方向点数目均小于3且二阶方向点角度大于135；求解Isk-l中的连通区域，每个连通区域即为一条骨架线段；计算每个骨架线段的方向角φ，其值为当前骨架线段区域长轴与x轴的夹角；

拐点团的方向点角度特征计算

针对每一个拐点团，计算其几何中心，以拐点团上距离几何中心最近的像素作为拐点团中心；计算拐点团中所有像素与中心像素之间的距离，以最远距离为半径N构建正方形的待计算区域localRect；

删除localRect中N-1半径范围的点，所剩余的部分即为当前拐点团的方向点，如图9(b)所示；如果多个方向点相互邻接，则只保留其中距离当前拐点团中心最远的一个点；

针对每一个方向点，计算该方向点和当前拐点团中心连线的夹角θ，并寻找与其连通的骨架线段；如果没有骨架线段和方向点连通，则以角θ的值为当前拐点团的一阶方向点角度特征；如果有骨架线段与方向点连通，则以该骨架线段方向角φ的值为当前拐点团的一阶方向点角度特征；由于φ的取值范围为[-90,90)，因此还需要根据角θ的值将其归一化至[-180,180)的范围中，归一化方法如式(3)所示：

计算拐点团中任意两个方向点之间的相对角度差值δ，δ的计算公示同式(2)；如果一个拐点团有m个方向点，那么就可以计算得到

个δ值，这些δ值构成了当前拐点团的二阶方向点角度特征。

更进一步地，所述基于笔划骨架和轮廓的笔划提取包括：

对所有方向点数目大于三的拐点团，找出其二阶方向点角度最大的两个方向点DP_a和DP_b，基于原中心点以及DP_a和DP_b构造新的拐点团，并从原拐点团中移除这两个方向点；迭代执行上述步骤，直到该拐点团的方向点数目小于等于2；执行完本步后，所有的多方向点拐点团均被拆分，且所有的拐点团的二阶方向点角度特征数目均为1；

对所有方向点数目等于三的拐点团，如果该拐点团的三个二阶方向点角度方差较小，则判断其为Y形交叉，此时将该拐点团拆分为三个新的拐点团，每个新的拐点团中仅有原始拐点团的一个方向点；否则认为其为T形交叉，将原始拐点团拆分为两个新的拐点团，其中一个拐点团包含了两个二阶方向点角度最大的方向点，另一个拐点团中只有一个方向点；

判断拐点团的二阶方向点角度特征，如果大于135，则合并该拐点团上两个方向点所对应的骨架线段，否则保持骨架线段相对关系不变；迭代执行本步骤，直到所有拐点团都被处理完毕，得到笔划骨架；

在Iedge中寻找和笔划骨架平行的最近边缘，填充边缘与笔划骨架中间的空白区域，填充对应的骨架交点区域，得到拆分后的笔画。

本发明的优点：

本发明的方法，可以将脱机手写中文汉字转化为相应的笔划，之后基于笔划开展汉字手写识别、写字人身份识别等下游任务，可以极大提高整个处理流程的可解释性，便于人们对汉字信息处理过程展开深入理解和进一步研究。

使用本发明的方法，可以更加准确的将脱机手写中文汉字转化为相应的笔划，进而提高后续汉字手写识别、写字人身份识别等下游任务的准确率。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是基于骨架的方法流程图；

图2是基于轮廓的方法流程图；

图3是所需要处理的文字图片部分样本图；

图4是本发明的方法流程图；

图5是本发明的当前像素图；

图6是以当前像素为坐标原点的图；

图7是计算骨架图Isk上所有像素点的一阶和二阶方向点角度特征图；

图8是计算每个骨架线段的方向角图；

图9是以最远距离为半径N构建正方形的待计算区域图；

图10是迭代执行本步骤，直到所有拐点团都被处理完毕，得到笔划骨架图；

图11是得到拆分后的笔画图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明处理的对象为单独的中文字符图片，文档图像前期的去噪增强、版面分析、行字切分、归一化等工作不在讨论范围中。所需要处理的文字图片部分样本如图3所示。

本发明为一类计算机程序算法，其步骤流程如图4所示，从整体上分为图像预处理、像素的方向点角度特征计算、拐点团的方向点角度特征计算以及笔划提取四步。

一.字符图像预处理

1.1将原始图像记为I，对输入的原始图像进行二值化，将二值化后的字符图像记为Ibw。

1.2使用Canny算法提取二值图像Ibw中字符的的边缘，将边缘图像记为Iedge。

1.3使用Rosenfeld算法提取二值图像Ibw中字符的骨架，将骨架图像记为Isk。

上述单个字符图像的二值化、边缘提取以及骨架提取所涉及的技术方法均为数字图像处理领域的基础方法，在各类图像处理工具库中均有提供实现，因此上述过程的具体技术细节就不在本发明中单独说明。

二.像素的方向点角度特征

为了更加准确地对字符结构信息进行描述，本发明提出了一类描述特征，将其命名为方向点角度特征。对于骨架图像Isk上的单个像素，其方向点角度特征的计算过程如下：

2.1以当前像素为中心，邻域半径为N的正方形区域为待计算区域localRect，只保留该区域中和当前像素连通的像素，如图5(a)所示。其中N的取值和字符图像的大小有关，对100*100左右大小的字符图像来说，N通常取3。

2.2删除localRect中N-1半径范围的点，所剩余的部分即为当前像素的方向点，如图5(b)所示。如果多个方向点相互邻接，则只保留其中距离当前像素最远的一个点。

2.3以当前像素为坐标原点，计算其和方向点之间连线与x轴的夹角θ，如图6所示，θ的计算公示如式1所示：

θ＝atan2(x-x₀,y-y₀) 公式(1)

其中(x₀,y₀)为当前像素的坐标，(x,y)为当前方向点的坐标，θ的可能取值范围为[-180,180)，角θ的值即为当前像素点的一阶方向点角度特征。一个像素点可能对应多个方向点，图5示意了方向点个数为1、2、3、3、4的五种情况，对应了结构信息中最常出现的端点、无交叉、Y形交叉、T形交叉以及X形交叉五种情况。

2.4如果某像素点方向点个数大于等于2，则可以计算任意两个方向点之间的相对角度差值δ，如图6所示，δ的计算公示如式2所示：

其中下标a和b分别代表同一像素点的任意两个方向点，θ为该点所对应的方向点角度，由于该值为相对位置，因此需要将其归一化到[0,180)的角度范围中。如果一个像素点有m个方向点，那么就可以计算得到

个δ值，这些δ值构成了当前像素的二阶方向点角度特征。

三.拐点团的方向点角度特征

骨架像素的方向点角度特征体现了在一定范围的邻域中，骨架的延伸变化趋势，是一类局部描述特征，基于该特征可以对字符骨架进行进一步拆分处理，流程如下所示：

3.1拐点及骨架线段提取

3.1.1计算骨架图Isk上所有像素点的一阶和二阶方向点角度特征，并删除其中一阶方向点数目为0的像素点(孤立噪音)，得到新的Isk，如图7(a)所示。

3.1.2提取Isk中的所有拐点。判断一个像素点是否为拐点有两个条件，其一为像素的方向点数目为2且其二阶方向点角度小于145，其二为像素的方向点数目大于2。像素点满足上述两个条件之一即可被判定为拐点，所有拐点构成骨架的拐点图Isk-i，求解拐点图中的连通区域，每个连通区域即为一个拐点团，如图7(b)所示。

3.1.3从Isk中减去Isk-i，得到骨架线段图Isk-l，如图7(c)所示，该图中所有像素的方向点数目均小于3且二阶方向点角度大于135。求解Isk-l中的连通区域，每个连通区域即为一条骨架线段。计算每个骨架线段的方向角φ，其值为当前骨架线段区域长轴与x轴的夹角，如图8所示。

3.2拐点团的方向点角度特征

3.2.1针对每一个拐点团，计算其几何中心，以拐点团上距离几何中心最近的像素作为拐点团中心。计算拐点团中所有像素与中心像素之间的距离，以最远距离为半径N构建正方形的待计算区域localRect，如图9(a)所示。

3.2.2删除localRect中N-1半径范围的点，所剩余的部分即为当前拐点团的方向点，如图9(b)所示。如果多个方向点相互邻接，则只保留其中距离当前拐点团中心最远的一个点。

3.2.3针对每一个方向点，计算该方向点和当前拐点团中心连线的夹角θ(计算方法同2.3)，并寻找与其连通的骨架线段。如果没有骨架线段和方向点连通，则以角θ的值为当前拐点团的一阶方向点角度特征；如果有骨架线段与方向点连通，则以该骨架线段方向角φ的值为当前拐点团的一阶方向点角度特征。由于φ的取值范围为[-90,90)，因此还需要根据角θ的值将其归一化至[-180,180)的范围中，归一化方法如式3所示：

在归一化时需要注意，由于图像坐标系中y轴向下而通用坐标系中y轴向上，因此基于像素坐标计算得到的角θ和基于连通区域形状计算得到的角φ在y方向上是相反的，因此需要给φ值加上负号。

3.2.4计算拐点团中任意两个方向点之间的相对角度差值δ，δ的计算公示同式2。如果一个拐点团有m个方向点，那么就可以计算得到

个δ值，这些δ值构成了当前拐点团的二阶方向点角度特征。

四.基于笔划骨架和轮廓的笔划提取

拐点团的方向点角度特征体现了拐点上骨架线段的相对位置关系，是一类全局结构描述特征，基于该特征可合并骨架线段，并以此提取笔划，具体步骤如下：

4.1对所有方向点数目大于三的拐点团，找出其二阶方向点角度最大的两个方向点DP_a和DP_b，基于原中心点以及DP_a和DP_b构造新的拐点团，并从原拐点团中移除这两个方向点。迭代执行上述步骤，直到该拐点团的方向点数目小于等于2。执行完本步后，所有的多方向点拐点团均被拆分，且所有的拐点团的二阶方向点角度特征数目均为1。

4.2对所有方向点数目等于三的拐点团，如果该拐点团的三个二阶方向点角度方差较小，则判断其为Y形交叉，此时将该拐点团拆分为三个新的拐点团，每个新的拐点团中仅有原始拐点团的一个方向点；否则认为其为T形交叉，将原始拐点团拆分为两个新的拐点团，其中一个拐点团包含了两个二阶方向点角度最大的方向点，另一个拐点团中只有一个方向点。

4.3判断拐点团的二阶方向点角度特征，如果大于135，则合并该拐点团上两个方向点所对应的骨架线段，否则保持骨架线段相对关系不变。迭代执行本步骤，直到所有拐点团都被处理完毕，得到笔划骨架，如图10所示。

4.4在Iedge中寻找和笔划骨架平行的最近边缘，填充边缘与笔划骨架中间的空白区域，填充对应的骨架交点区域，得到拆分后的笔画，如图11所示。

针对现有技术的不足，本发明主要解决的技术问题有两个：

1、如何对字符的结构信息进行更加有效的描述。

2、如何融合不同类型的字符结构信息对手写体汉字笔划进行准确提取。

其中的图像二值化、边缘检测以及骨架化算法均可替换为同类其他算法，可以根据实际输入图像的特点进行选择搭配。

其中可根据具体的下游任务进行替换，例如如果下游任务只需要笔划横，那么可以综合拐点团的一阶以及二级方向点角度进行筛选，最后只保留满足“横”特征的笔划。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种中文手写汉字的笔划提取方法，其特征在于，包括：

字符图像预处理；

像素的方向点角度特征计算；

拐点团的方向点角度特征计算；

基于笔划骨架和轮廓的笔划提取。

2.根据权利要求1所述的中文手写汉字的笔划提取方法，其特征在于，所述字符图像预处理包括：

将原始图像记为I，对输入的原始图像进行二值化，将二值化后的字符图像记为Ibw；

使用Canny算法提取二值图像Ibw中字符的的边缘，将边缘图像记为Iedge；

使用Rosenfeld算法提取二值图像Ibw中字符的骨架，将骨架图像记为Isk。

3.根据权利要求1所述的中文手写汉字的笔划提取方法，其特征在于，所述像素的方向点角度特征计算包括：

以当前像素为中心，邻域半径为N的正方形区域为待计算区域localRect，只保留该区域中和当前像素连通的像素；

其中N的取值和字符图像的大小有关，对100*100左右大小的字符图像来说，N通常取3；

删除localRect中N-1半径范围的点，所剩余的部分即为当前像素的方向点；如果多个方向点相互邻接，则只保留其中距离当前像素最远的一个点；

以当前像素为坐标原点，计算其和方向点之间连线与x轴的夹角θ，θ的计算公示如式(1)所示：

θ＝atan2(x-x₀,y-y₀) (1)

其中(x₀,y₀)为当前像素的坐标，(x,y)为当前方向点的坐标，θ的可能取值范围为[-180,180)，角θ的值即为当前像素点的一阶方向点角度特征；一个像素点可能对应多个方向点；

如果某像素点方向点个数大于等于2，则可以计算任意两个方向点之间的相对角度差值δ，δ的计算公示如式(2)所示：

其中下标a和b分别代表同一像素点的任意两个方向点，θ为该点所对应的方向点角度，由于该值为相对位置，因此需要将其归一化到[0,180)的角度范围中；如果一个像素点有m个方向点，那么就可以计算得到

个δ值，这些δ值构成了当前像素的二阶方向点角度特征。

4.根据权利要求1所述的中文手写汉字的笔划提取方法，其特征在于，所述拐点团的方向点角度特征计算包括：

拐点及骨架线段提取

计算骨架图Isk上所有像素点的一阶和二阶方向点角度特征，并删除其中一阶方向点数目为0的像素点，得到新的Isk；

提取Isk中的所有拐点，判断一个像素点是否为拐点有两个条件，其一为像素的方向点数目为2且其二阶方向点角度小于145，其二为像素的方向点数目大于2；像素点满足上述两个条件之一即可被判定为拐点，所有拐点构成骨架的拐点图Isk-i，求解拐点图中的连通区域，每个连通区域即为一个拐点团；

从Isk中减去Isk-i，得到骨架线段图Isk-l，所有像素的方向点数目均小于3且二阶方向点角度大于135；求解Isk-l中的连通区域，每个连通区域即为一条骨架线段；计算每个骨架线段的方向角φ，其值为当前骨架线段区域长轴与x轴的夹角；

拐点团的方向点角度特征计算

针对每一个拐点团，计算其几何中心，以拐点团上距离几何中心最近的像素作为拐点团中心；计算拐点团中所有像素与中心像素之间的距离，以最远距离为半径N构建正方形的待计算区域localRect；

删除localRect中N-1半径范围的点，所剩余的部分即为当前拐点团的方向点，如图9(b)所示；如果多个方向点相互邻接，则只保留其中距离当前拐点团中心最远的一个点；

针对每一个方向点，计算该方向点和当前拐点团中心连线的夹角θ，并寻找与其连通的骨架线段；如果没有骨架线段和方向点连通，则以角θ的值为当前拐点团的一阶方向点角度特征；如果有骨架线段与方向点连通，则以该骨架线段方向角φ的值为当前拐点团的一阶方向点角度特征；由于φ的取值范围为[-90,90)，因此还需要根据角θ的值将其归一化至[-180,180)的范围中，归一化方法如式(3)所示：

计算拐点团中任意两个方向点之间的相对角度差值δ，δ的计算公示同式(2)；如果一个拐点团有m个方向点，那么就可以计算得到

个δ值，这些δ值构成了当前拐点团的二阶方向点角度特征。

5.根据权利要求1所述的中文手写汉字的笔划提取方法，其特征在于，所述基于笔划骨架和轮廓的笔划提取包括：

对所有方向点数目大于三的拐点团，找出其二阶方向点角度最大的两个方向点DP_a和DP_b，基于原中心点以及DP_a和DP_b构造新的拐点团，并从原拐点团中移除这两个方向点；迭代执行上述步骤，直到该拐点团的方向点数目小于等于2；执行完本步后，所有的多方向点拐点团均被拆分，且所有的拐点团的二阶方向点角度特征数目均为1；

对所有方向点数目等于三的拐点团，如果该拐点团的三个二阶方向点角度方差较小，则判断其为Y形交叉，此时将该拐点团拆分为三个新的拐点团，每个新的拐点团中仅有原始拐点团的一个方向点；否则认为其为T形交叉，将原始拐点团拆分为两个新的拐点团，其中一个拐点团包含了两个二阶方向点角度最大的方向点，另一个拐点团中只有一个方向点；

判断拐点团的二阶方向点角度特征，如果大于135，则合并该拐点团上两个方向点所对应的骨架线段，否则保持骨架线段相对关系不变；迭代执行本步骤，直到所有拐点团都被处理完毕，得到笔划骨架；

在Iedge中寻找和笔划骨架平行的最近边缘，填充边缘与笔划骨架中间的空白区域，填充对应的骨架交点区域，得到拆分后的笔画。

Images