CN1260526A - 具有文字分割用户接口的手写信息处理系统 - Google Patents

Abstract

本发明公开了一种手写信息处理系统,该系统包括手写信息输入装置和手写信息识别装置,所述手写信息输入装置和手写信息识别装置协同工作用于接收用户的手写输入和对用户的手写输入进行识别,所述的手写信息处理系统的特征在于还包括一个用于文字分割的用户接口,用于接收用户对正文/图形区域、书写行以及文字边界的定义。

Description

具有文字分割用户接口的手写信息处理系统

本发明涉及手写信息处理系统，具体地说，涉及具有文字分割用户接口的手写信息处理系统。

随着计算机技术的飞速发展，目前可以接收用户的手写输入的信息处理设备很多。例如个人数字助理PDA或手持式计算机HPC等，用户可以利用笔形设备将手写数据及符号输入到计算机中。相应地也出现了许多手写字符识别设备，它们可以对用户的手写输入进行识别。

IBM公司的ThinkScribe是一种集成了手写数字化仪和传统的基于纸上记录系统的设备。该设备按笔画和相关时序记录用户的手写输入，并能够按原来的时序再现用户的手写输入。用户一般在ThinkScribe上以连续方式进行书写，书写的字与字之间的间隔很小或连在一起，这样在进行识别之前必须进行文字分割。

目前还没有一种有效的文字分割方法，特别是对于手写汉字，更是如此。手写汉字识别技术只能对单个汉字或字间隔很大的手写汉字串进行识别。对手写汉字串进行自动分割困难在于：

1)许多汉字是左右结构，当在水平线上从左到右快速书写时，左右成分之间的间隔和字与字之间的间隔非常相似。除了这种空间上的混淆之外，有些汉字的左、右成份本身就可以是一个独立的汉字或与某个独立的汉字非常象。同样，对于在垂直行上书写的手写汉字串也有类似的问题，因为有些汉字是上下结构的。

2)当用户快速以草书方式书写时，对于相邻的汉字来说，前一个汉字的最后一个笔画和后一个汉字的开始笔画之间可能相连，彼此没有任何清楚的界限。

此外，用户书写的文字区域可能与图形区域相重叠，并且书写行也不一定是直的。在这种情况下，可以自动检测手写文字区域、寻找书写行和进行文字分割的方法就不太可靠，需要人工参与这项工作。

于是本发明提出了一种手写信息处理系统，它具有可以接受用户对正文/图形区域、书写行以及文字边界的定义的用户接口。

用户可以使用该接口定义正文/图形区域。自动行搜索机制可以利用该信息找出书写行，也可以在自动布局分析中使用该信息进行错误校正。

此外，本发明的用于文字分割的用户接口提供了一种有效、自然地定义书写行的方式。利用该信息，自动文字分割机制就可以找出字边界，并且也可以在自动行识别过程中利用该信息进行误差校正。

本发明的用于文字分割的用户接口提供了一种有效地定义文字边界的方法。利用该信息，自动识别机可以对连续书写的字符进行识别，也可以利用该信息校正自动识别中的错误。

通过以下结合附图对本发明具体实施例的描述，可以使用本发明的目的、特征和优点更加清楚。

图1为根据本发明的具有用于文字分割的用户接口的手写信息处理系统的方框图；

图2示出了根据本发明的用于文字分割的用户接口在接收用户对正文/图形区域的定义时的工作情况；

图3示出了根据本发明的用于文字分割的用户接口在接收用户对书写行定义时的工作情况；

图4示出了根据本发明的用于文字分割的用户接口在接收用户对文字边界定义时的工作情况；

图5为根据本发明的在手写信息处理系统中定义正文/图形区域、书写行及文字边界的方法的流程图。

图1中以IBM公司的ThinkScribe(作为手写信息输入设备)为例描述了根据本发明的具有用于文字分割的用户接口的手写信息处理系统100。

如图1所示，手写信息处理系统100一般由手写信息输入装置101和手写信息识别装置102组成。手写信息输入装置101一般由书写板和书写笔组成。书写板可以产生代表笔移动轨迹的数据。IBM公司的ThinkScribe就可以作为手写信息输入设备。当用户利用笔形设备在书写板上书写时，ThinkScribe可以按笔画和相关时序记录用户的手写输入。每个手写笔画用笔画上的一系列离散的坐标点来表示，例如第i个手写笔画可以表示为：

S(i)＝((x(i，1)，y(i，1)，t(i，1))，…，(x(i，j)，y(i，j)，t(i，j))，…(x(i，e(i))，y(i，e(i)，t(i，e(i)))

其中e(i)是笔画i中笔画点的个数，t(i，j)是一时序信息。那么用户的手写输入就可以用数据流S(1)，S(2)，S(3)…来表示。ThinkScribe可以将数据流S(1)，S(2)，S(3)…存储在自已的非易失存储器1013中，并且在需要时可以通过输入/输出端口1015送到例如一台PC机中，PC机可以运行ThinkScribe的手写输入再现程序，按原来的时序再现用户的手写输入。当PC机安装有识别程序时，也可以作为一台识别机，对用户的手写输入进行识别。如图1所示，手写信息识别装置102在对用户手写输进行识别之前一般要经过布局分析、书写行确定以及文字分割等预处理，以区分出正文、图形区域，对在书写行上经过文字分割处理的字符进行识别。但是由于目前手写体识别技术还不太成熟，所以自动布局分析、自动书写行确定以及自动文字分割的结果还不太可靠，需要人工的干预。本发明的文字分割用户接口103提供了这种功能。如图1所示，本发明的文字分割用户接口103由三部分组成：正文/图形区域定义部分，用于接收用户对正文/图形区域的定义，手写信息识别装置可借助此信息自动确定书写行或校正自动布局分析结果；书写行定义部分，用于接收用户对书写行的定义，手写信息识别装置可借助此信息自动确定文字边界或校正自动行识别结果；文字边界定义部分，用户可以手工确定文字边界，并且可以校正自动文字分割结果。

以下结合附图详细地描述一下根据本发明的用于文字分割的用户接口的三个主要组成部分。

布局分析一般是指在整个书写区域中寻找图形块和正文块。当然，目前存在一些自动布局分析方法，但由于它们不太可靠，所以需要人工干预。

如图2所示，当用户利用本发明的文字分割用户接口定义正文/图形区域时，利用了时间信息。对于ThinkScribe数据，基本组成部分是笔画。正文和图形块都是由一些笔画组成。不仅记录位置信息还记录笔画的时间信息。ThinkScribe数据经常是分开书写的，这也就是说，正文和图形的笔画是在不同的时间间隔中书写的。这样，如图2所示，可以使用UI滚动条。在时间滚动条上，可以使用可变大小的时间周期窗口将笔画分组。用户可以通过修改窗口中的时间周期来选择笔画组，可以用不同的颜色显示被选中的笔画。在图2中用绿色高亮显示属于图形块的笔画。

本发明的正文/图形区域定义方法和目前的手工布局分析之间存在很大的差别。对于OCR，用户仅能画一个矩形来选择不同的图形区域。但本发明利用了诸如ThinkScribe之类设备的数据特点，使用基于笔画的数据和时间信息来字义图形/正文区域。用矩形划分图形/正文区域时，有很大的局限性。如图2所示，如果采用矩形来选择属于图形块的笔画时，那么一些来自正文块的笔画将被错误地选作为图形的一部分。

图3示出了根据本发明的用于文字分割的用户接口在接收用户对书写行定义时的工作情况。对于文本块的识别来说，书写行的确定是一个非常重要的步骤。很明显，用于区别正文块和图形块的UI也可以用来进行手工确定书写行。但这是不够的。有时，用户书写的一行字即不是水平的也不是垂直的，而是呈一定角度。也就是说需要进行倾斜校正。当用户在UI中，使用光标或其它输入设备给出一个起始点S和一个结束点E时，本发明的UI就根据时序信息进行分析，将按时序信息落在起始点S和结束点E的笔画组成一个笔画组，根据书写速度方向等自动确定一个书写行方向。并且按图3所示在UI中显示给用户。在当此方向与系统的缺省书写行方向不同时可以对其中一个进行调整。例如，在图3所示，当UI根据用户定义的起始点S和结束点E确定的书写行方向倾斜于水平方向时，用户可以拽拉箭头端，转动它，并将被选中的以高亮度方式显示的笔画转动一个角度。

以下结合图4描述一下用户如何利用本发明的UI进行手动文字分割和校正自动文字分割结果。

对于草书，字与字之间没有足够的间隔，有时相邻的字之间，前一个字的最后一个笔画和后一个字的第一个笔画连在一起。在这种情况下，自动文字分割的结果不十分可靠，需要人工校正。

文字边界的定义可以在人们书写的同时由用户来定义。例如：

·在ThinkScribe上安装一个新的按钮。

当用户在ThinkScrbe上书写时，他/她在完成每个字的书写时可以按一个该按钮，表明一个字书写完毕。修改ThinkScribe的固件，将来自于按钮的信号转化成一个字结束标记，和笔画数据、时序信息一起存储起来。当所记录的数据送到PC机中识别时，识别软件(包括标记解释器和识别机)将对ThinkScribe数据进行分割把分割之后代表各个单独文字的笔画组送到识别机中进行识别。

·设计特殊的ThinkScribe书写纸格式。

这包括书写纸格式发生器、标记生成器和识别软件。

1)书写纸格式发生器具有设计特殊书写格式的功能，用户在具有这种格式的纸上书写。可以将代表书写格式的诸如网格大小、位置的信息下载到ThinkScribe固件中。

2)在ThinkScribe中实现标记发生器。它将从PC机下载的格式信息和ThinkScribe上的书写笔画进行比较。如果标记发生器检测到写在栅格中的任何笔画，它将栅格标记附在该笔画上。在此之后，当把所记录的数据送到PC机进行识别时，识别软件(包括标记解释器和识别机)将具有相同栅格标记的笔画作为一组送到识别机中进行识别。

·书写笔上的新按钮。

类似于在ThinkScribe的书写板上设计新的按钮，也可以在书写笔上设计一个的按钮，用于发送表明一个字书写完毕的信息。

以上介绍了手动文字分割，即确定文字边界的用户接口。

此外，根据本发明的用于文字分割的用户接口还可以用于校正自动文字分割结果。这类校正工作一般包括两部分：“分解”和“合并”笔画，如图4所示。当一个以上的文字被自动分割成一个字时，需要使用“分解”操作。当一个字的组成部分被分割成一个字时，需要使用“合并”操作。下面参照图4描述这样操作的例子。

由于基于笔画的ThinkScribe数据是在on-line记录而off-line识别的，本发明的UI也设计成基于笔画的。在完成自动分割之后，分割结果以这样的方式显示：属于一个已分割好的字的笔画框在一起。(只要存在垂直间隙相邻的框就不相交，但相邻的字之间不一定存在垂直间隙(水平间隔))。

如果用户想进行合并操作，他/她就可以使用鼠标拽拉他/她想合并的框。然后，在这些框中的笔画被合并在一起形成一个框中的一个字。

对于分解操作，用户需要首先选择他/她想分解的框。在该框中的笔画以高亮方式显示。然后，在用户选择一个笔画之后，系统上弹一菜单询问用户是否想将该笔画作为左边框中字的一部分或右边框中字的一部分，或者他/她想把两个相连的字分开。在用户选择之后，系统将完成此项功能。如果用户想分解笔画，他/她需要指点要分开的位置。

根据本发明另一实施方式，系统在显示通过自动分割处理得到的候选文字边界时，在每个字的结束笔画的结束点上显示一个小圆圈。通过移动光标到圆圈所在位置，击点它可以增加或删除小圆圈。需要考虑两种情况：

(1)如果用户想将两相邻的“候选字符”合并成一个，他/她可以简单地将光标移到将它们隔开的圆圈处，点击它。这时出现一个上弹菜单。如果用户选择合并项，圆圈将消失，并且两个候选字符将被认为是一个新字符的组成部分。可以重复这种过程，对两个以上的候选字符进行合并。

(2)如果用户想将一个候选字符分成两个，他/她可以将光标移到所希望的正确字符边界笔画结束处，点击它。这时出现一个上弹菜单。如果用户选择分解项，一个小圆圈将出现，候选字符将被分成两个。如果前一个字符的最后一个笔画和后一个字符的第一个笔画相连，用户可以移动光标到连接笔画的中间，点击它，之后出现一个上弹菜单。如果用户选择分解项，则会出现一个圆圈，候选字符被相应地分成两个。该也可以重复该过程，将候选字符分解成多个字符。

以上结合附图描述了根据本发明的用于文字分割的用户接口的工作情况。

本发明还提供了一种在手写信息处理系统中定义正文/图形区域、书写行和文字边界的方法，所述信息处理系统包括手写信息输入装置和手写信息识别装置，它们协同工作用于接收用户的手写输入和对用户的手写输入进行识别，其中所述手写信息输入装置按笔画和相关时序信息来记录用户的手写输入。如图5所示，本发明的定义正文/图形区域、书写行和文字边界的方法包括步骤：步骤S501，定义一时间期限；步骤S502，将在所述时间期限内的手写输入笔画作为一组；步骤S503，以能够区分其它笔画的方式显示所述笔画组；步骤S504、S505、S506，规定所述笔画组构成一个正文/图形区域、书写行或文字，并对它们进行相应的处理。

以上结合附图描述了根据本发明的具有用于文字分割用户接口的手写信息处理系统和在手写信息处理系统中定义正文/图形区域、书写行及文字边界的方法。正如本领域技术人员所理解的那样，本发明不限于以上的实施例。在不违背本发明的精神和范畴的条件下，可以对本发明作出各种修改和变型，本发明旨在包括所有这些修改和变型。本发明的保护范围由所附权利要求书来限定。

Claims (14)

1.一种手写信息处理系统，包括手写信息输入装置和手写信息识别装置，所述手写信息输入装置和手写信息识别装置协同工作用于接收用户的手写输入和对用户的手写输入进行识别，所述的手写信息处理系统的特征在于还包括一个用于文字分割的用户接口，用于接收用户对正文/图形区域、书写行以及文字边界的定义。

2.根据权利要求1的手写信息处理系统，其特征在于所述手写信息输入装置是按笔画和相关时序来记录用户的手写输入，并且用户借助时序信息对笔画进行分组，以此来定义正文/图形区域，书写行以及文字边界。

3.根据权利要求1或2的手写信息处理系统，其特征在于所述手写信息识别装置借助用户对正文/图形区域的定义，自动确定书写行或校正自动布局分析结果。

4.根据权利要求1或2的手写信息处理系统，其特征在于所述用于文字分割的用户接口可以接受用户对书写行起点和终点的定义，自动确定书写行方向。

5.根据权利要求1或2的手写信息处理系统，其特征在于所述用于文字分割的用户接口在用户定义的书写行方向和所述手写信息处理系统中的缺省书写行方向不一致时，可对所述方向中的一个进行调整。

6.根据权利要求1或2的手写信息处理系统，其特征在于所述手写信息识别装置根据用户对书写行的定义，自动确定文字边界或校正自动行识别结果。

7.根据权利要求1的手写信息处理系统，其特征在于所述手写信息输入装置由书写笔和书写板组成，用户借助书写板上的按钮来定义文字边界。

8.根据权利要求1的手写信息处理系统，其特征在于所述手写信息输入装置由书写笔和书写板组成，用户借助书写笔上的按钮来定义文字边界。

9.根据权利要求1的手写信息处理系统，其特征在于所述手写信息输入装置是一个集成了手写数字化仪和基于纸的记录系统的装置，用户通过定义纸上书写格式来规定文字边界。

10.根据权利要求1、2、6、7、8的手写信息处理系统，其特征在于所述手写信息识别装置借助用户对文字边界的定义，来校正自动文字分割结果。

11.根据权利要求1或2的手写信息处理系统，其特征在于通过所述用于文字分割的用户接口，用户可以基于笔画校正自动文字分割结果。

12.根据权利要求11的手写信息处理系统，其特征在于所述用于文字分割的用户接口可以将自动文字分割结果在用户指示处自动断开，将其分为两组笔画。

13.根据权利要求11的手写信息处理系统，其特征在于所述用于文字分割的用户接口可以将自动文字分割结果在用户指示处进行合并。

14.一种在手写信息处理系统中定义正文/图形区域、书写行及文字边界的方法，所述信息处理系统包括手写信息输入装置和手写信息识别装置，它们协同工作用于接收用户的手写输入和对用户的手写输入进行识别，其中所述手写信息输入装置按笔画和相关时序信息来记录用户的手写输入，所述方法的特征在于包括以下步骤：

定义一时间期限；

将在所述时间期限内的手写输入笔画作为一组；

以能够区分其它笔画的方式显示所述笔画组；和

规定所述笔画组构成一个正文/图形区域、书写行或文字。

Images