CN103577842B - 基于书写的人机交互系统及方法 - Google Patents

Abstract

本发明涉及一种基于书写的人机交互系统及方法，所述系统包括：书写纸张，表面具有坐标识别图案；书写笔，包括：书写笔芯，用于在所述书写纸张上书写；图像采集模块，用于采集书写轨迹信息以及与书写位置对应的坐标识别图案；处理模块，用于根据所述坐标识别图案得到所述书写轨迹信息对应的坐标信息；通信模块，用于发送所述坐标信息；终端设备，包括：终端通信模块，用于接收所述坐标信息；终端处理模块，用于根据所述坐标信息生成书写的文字信息；将所述生成的文字信息与存储的对应文字信息进行比较，得到比较结果；显示模块，用于显示所述生成的文字信息以及所述比较结果。本发明使得用户的书写练习结果可以快速、准确、直观地反馈给用户。

Description

基于书写的人机交互系统及方法

技术领域

本发明涉及内容数字化领域，尤其涉及一种基于书写的人机交互系统及方法。

背景技术

现有技术中，一般采用通过人工观察练习者已经完成的文字来判断练习者的文字书写是否达到应有的水平。通过这样的方式来进行练习者文字书写水平的判断，还存在以下问题：

1、由于评判通过人工进行，因此效率较低、容易漏判，并且依赖于判断者自身的书写水平；

2、对于一些诸如：笔画顺序颠倒、一个笔画采用多笔完成等问题，无法从练习结果上得到，因此判断的精确度不高，无法给练习者正确的反馈。

因此，需要找到一种效率高、准确性高的文字书写练习反馈方法。

发明内容

有鉴于此，本发明的一个目的是提供一种基于书写的人机交互系统及方法，以提高文字书写练习反馈的效率和准确性。

为解决上述技术问题，根据本发明的一个方面，提供了一种基于书写的人机交互系统，包括：

书写纸张，表面具有坐标识别图案；

书写笔，包括：

书写笔芯，用于在所述书写纸张上书写；

图像采集模块，用于采集书写轨迹信息以及与书写位置对应的坐标识别图案；

处理模块，用于根据所述坐标识别图案得到所述书写轨迹信息对应的坐标信息；

通信模块，用于发送所述坐标信息；

终端设备，包括：

终端通信模块，用于接收所述坐标信息；

终端处理模块，用于根据所述坐标信息生成书写的文字信息；将所述生成的文字信息与存储的对应文字信息进行比较，得到比较结果；

显示模块，用于显示所述生成的文字信息以及所述比较结果。

根据本发明的另一个方面，提供了一种上述系统对应的基于书写的人机交互方法，包括：

在所述书写纸张上书写，所述书写纸张表面具有坐标识别图案；

采集书写轨迹信息以及与书写位置对应的坐标识别图案；

根据所述坐标识别图案得到所述书写轨迹信息对应的坐标信息；

根据所述坐标信息生成书写的文字信息；

将所述生成的文字信息与存储的对应文字信息进行比较，得到比较结果；

显示所述生成的文字信息以及所述比较结果。

根据本发明的上述技术方案，通过书写笔拍摄书写纸张上的坐标识别图案以及书写轨迹的图像，得到书写轨迹对应的坐标信息，将该坐标信息传送到具有显示功能的终端设备上，再现书写的文字信息，同时将所述再现的书写的文字信息与终端设备中存储的对应文字信息进行比较，得到比较结果并显示给用户；使得用户的书写练习结果可以快速、准确、直观地反馈给用户，同时提高了用户练习的效果，改善用户体验。

附图说明

图1是本发明实施例一种基于书写的人机交互系统的结构示意框图；

图2是本发明实施例一种基于书写的人机交互系统中书写纸张上的点阵图案示意图；

图3是本发明实施例一种基于书写的人机交互系统的书写纸张表面区域的示意图；

图4是本发明实施例一种基于书写的人机交互系统中书写笔的结构示意框图；

图5是本发明实施例一种基于书写的人机交互系统终端处理模块的结构示意框图；

图6是本发明实施例一种基于书写的人机交互方法的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

为了解决现有技术中采用人工的方式对练习者练习的结果进行判断的效率较低、准确性有欠缺以及给练习者的反馈不够直观等问题，如图1所示，本发明实施例提供一种基于书写的人机交互系统100，包括：

书写纸张110，表面具有坐标识别图案；

书写笔120，包括：

书写笔芯121，用于在所述书写纸张上书写；

图像采集模块122，用于采集书写轨迹信息以及与书写位置对应的坐标识别图案；

处理模块123，用于根据所述坐标识别图案得到所述书写轨迹信息对应的坐标信息；

通信模块124，用于发送所述坐标信息；

终端设备130，包括：

终端通信模块131，用于接收所述坐标信息；

终端处理模块132，用于根据所述坐标信息生成书写的文字信息；将所述生成的文字信息与存储的对应文字信息进行比较，得到比较结果；

显示模块133，用于显示所述生成的文字信息以及所述比较结果。

本发明实施例通过书写笔拍摄书写纸张上的坐标识别图案以及书写轨迹的图像，得到书写轨迹对应的坐标信息，将该坐标信息传送到具有显示功能的终端设备上，再现书写的文字信息，同时将所述再现的书写的文字信息与终端设备中存储的对应文字信息进行比较，得到比较结果并显示给用户；使得用户的书写练习结果可以快速、准确、直观地反馈给用户，同时提高了用户练习的效果，改善用户体验。

在本发明实施例中，所述书写纸张110为在一般常用的纸张上增加不影响用户正常观看和书写的坐标识别图案形成，用户使用时可以获得在普通纸张上进行书写练习一样的效果。

其中，所述坐标识别图案可以是普通纸张上印刷或者打印等方式形成。

如图2所示，在一种可能的实施方式中，所述坐标识别图案为点阵图案，根据所述书写纸张上不同位置处对应不同的点阵分布进行坐标识别。

如图2所示，点阵图案中有多个相邻点构成最小数据单元112，图2中中间最小数据单元112的放大图中所示为由6*6个点111构成的最小数据单元112，在每个数据单元中的每个点111都有一个对应的基准中心O，每个点111相对于自身基准中心O的偏离信息构成该最小数据单元112区别于其他最小数据单元112的特征。通过这些特征可以对所述书写纸张110上的不同位置的坐标进行标定（例如图2中右侧点111的位置放大图所示，左上角的点111在其基准中心O的右侧，右上角的点111在其自身基准中心O的上侧，左下角的点在左侧，右下角的点在下侧），采用这种方法可以将书写内容的数字化精度精确到微米级。该点阵技术为现有技术，此处不再赘述。当然，在本发明实施例的其他可能的实施方式中，所述坐标识别图案还可以为其它形式，只要能通过书写笔获得书写轨迹的坐标即可。

如图3所示，在本发明实施例的一种可能的实施方式中，所述书写纸张110（图3中所述书写纸张110上的坐标识别图案没有标示出来）上还包括：

标准字区域113，具有标准文字形状以及对应的坐标识别图案；

书写区域114，用于供用户在该区域进行书写练习。

即所述书写纸张可以是以字帖的形式呈现。当然，在本发明实施例的其他实施方式中，所述书写纸张也可以只是空白的纸张。

在一种可能的实施方式中，所述书写纸张110上还包括：

功能区域115，具有与特定指令对应的坐标识别图案。

在本发明实施例中，所述特定指令为回放特定区域的生成的文字信息对应的书写轨迹。这里的特定区域例如可以为：如果功能区域115位于所述书写区域114下方，则回放所述功能区域115上方对应书写区域114中书写的文字对应的书写轨迹；如果功能区域115位于所述标准字区域113下方，则回放所述标准字区域113对应的所有书写区域114中书写的文字对应的书写轨迹；如果功能区域115位于本页书写纸张110的下部，则回放该页所有书写区域114中书写的文字对应的书写轨迹。当然，所述特定区域还可以定义成其它形式。

在本发明实施例中，与图3所示实施例中书写纸张110的所述标准字区域113对应的：

所述书写笔120中：

所述图像采集模块122，还用于采集所述标准字区域113的坐标识别图案；

所述处理模块123，还用于根据所述坐标识别图案得到所述标准字区域113对应的坐标信息，

所述通信模块124，还用于发送所述标准字区域113对应的坐标信息。

所述终端设备130中：

所述终端通信模块131，还用于接收所述标准字区域113对应的坐标信息；

所述终端处理模块132，还用于根据所述标准字区域113对应的坐标信息得到当前标准字区域对应存储的文字信息；

所述显示模块133，还用于显示所述当前标准字区域113对应存储的文字信息。

即，在本实施例中，当所述书写纸张110上具有所述标准字区域113时，所述书写笔120点在该区域时，通过书写笔120的图像采集模块122和处理模块123获得与该区域对应的坐标信息并发送给终端设备130，所述终端设备130中存储有与该坐标信息对应的标准字的文字信息，在显示界面中，显示该标准字（该显示可以是静态的，也可以是按照标准字的书写顺序动态呈现的该标准字的书写轨迹）或者与该标准字相关的其它信息。

在本发明实施例中，与图3所示实施例中书写纸张110的所述功能区域115对应的：

所述书写笔120中：

所述图像采集模块122，还用于采集所述功能区域115的坐标识别图案；

所述处理模块123，还用于根据所述坐标识别图案得到所述功能区域115对应的坐标信息；

所述通信模块124，还用于发送所述功能区域115对应的坐标信息。

所述终端设备130中：

所述终端通信模块131，还用于接收所述功能区域115对应的坐标信息；

所述终端处理模块132，还用于根据所述功能区域115对应的坐标信息执行与所述特定指令；

所述显示模块133，还用于显示所述特定指令的执行结果。

即在本实施方式中，当所述书写笔120点在所述功能区域115上时，其向所述终端设备130传输与该功能区域115对应的坐标信息，所述终端设备130中存储有与该坐标信息对应的特定指令，当所述终端设备130接收到上述与功能区域115对应坐标信息时，执行该特定指令（具体如上面实施例中对应的描述，此处不再赘述），并显示该特定指令的执行结果（或实时显示执行过程）。

如图4所示，在本发明实施例的一种可能的实施方式中，所述书写笔120还包括：

压力传感模块125，设置在所述书写笔芯121的后端，根据所述书写笔芯121下压时后端的压力生成触发信息；

所述图像采集模块122，根据所述触发信息激活所述采集动作。

在本发明实施例中，所述图像采集模块122例如可以为高速摄像头，其设置在书写笔120的前端，在通过所述书写笔120进行书写时，所述图像采集模块122可以采集到书写区域及附近的图像。为了避免高速摄像头一直处于拍摄状态，浪费电源以及处理器资源，因此本发明实施例中通过所述书写笔芯121书写时前端压下后后端产生的向后的压力来触发所述图像采集模块122的工作，当书写笔芯121的前端离开所述书写纸张110时，该压力消失，从而所述图像采集模块122停止工作。

在图4所示的实施方式中，优选地，所述书写笔120还包括：

存储模块126，用于存储所述坐标信息。

在一些情况下，例如当所述通信模块124无法向外发送所述坐标信息（包括上面实施例中所述的书写轨迹相关的坐标信息、与标准字区域对应的坐标信息以及与功能区域对应的坐标信息中的一种或多种）时，可以通过所述存储模块126保存所述坐标信息，在合适的时机再向终端设备发送所述坐标信息。

在图4所示的实施方式中，优选地，所述书写笔120还包括：

电源模块127，用于向所述书写笔120中的各用电模块提供电源。

该电源模块127例如可以为储电电池，其可以是一次性可更换的，也可以是充电电池。当然，本发明的其它实施方式中，该电源模块127还可以以其它的方式存在，例如通过外接电源线提供电源。

在本实施方式中，所述书写笔120的书写笔芯121可以是圆珠笔，当然在其它实施方式中，其也可以是水笔、铅笔、钢笔等形式。

在本实施方式中，所述通信模块124可以是有线的，例如通过一数据线与所述终端设备130的终端通信模块131连接（此时，所述数据线还可以为所述书写笔120提供电源）；也可以是无线的，例如通过红外、蓝牙、WIFI等方式进行通信。

在本发明实施例的其它可能的实施方式中，所述书写笔120根据需要还可以包括其它的模块，例如录音模块等等，这里不再一一赘述。

本发明实施例中，所述文字信息可以包括：文字形状信息、文字笔画顺序信息、文字笔画数量信息、文字在对应区域内的位置信息、文字书写速度信息中的一种或多种。所述终端设备130可以包括一终端存储模块，用于存储各种文字信息以及其它需要的信息（例如上面实施例所述的特定指令、以及所述特定指令与坐标信息的对应关系等）。所述终端处理模块进行比较时，也分别对这些信息进行比较。

如图5所示，在一种可能的实施方式中，所述文字信息包括：文字形状信息、文字笔画顺序信息、文字笔画数量信息以及文字在对应区域内的位置信息。与之对应的，所述终端处理模块132包括：

文字形状比较单元1321，用于比较所述生成的文字形状信息与存储的对应文字形状信息，得到文字形状信息比较结果。这里文字形状信息包括文字每个笔画的形状和/或所有笔画组成的完整文字的形状。

文字笔顺比较单元1322，用于比较所述生成的文字笔画顺序信息与存储的对应文字笔画顺序信息，得到文字笔画顺序信息比较结果。这样，即使用户写好的字看上去与存储的字完全一样，但是由于笔画顺序有不同，本发明实施例也可以判断出来，并迅速反馈给用户，可以帮助用户纠正不容易注意到的书写问题。

文字笔画比较单元1323，用于比较所述生成的文字笔画数量信息与存储的对应文字笔画数量信息，得到文字笔画数量信息比较结果。对于一些字体（例如汉字）中，有一些笔画是一笔形成的，但是如果在书写时分成两笔进行书写，从书写的结果上是比较难以看出来的，通过本发明实施例的系统就可以将该问题找出来并反馈给用户。

文字位置比较单元1324，用于比较所述生成的文字在对应区域内的位置信息与存储的对应文字在对应区域内的位置信息，得到文字位置信息比较结果。在本发明实施例中，对于练习者有可能出现的字写偏了等情况，通过该文字位置比较单元1324就可以迅速的给用户反馈。

在本发明中，所述比较结果可以通过数字标示出来，或者通过不同的符号来标示不同的结果。例如在本发明实施例的一种可能的实施方式中，可以为每个比较单元设置一个对应的色块，通过该色块的不同颜色来标示比较结果。例如，当色块为绿色时，说明生成的信息与存储的信息基本一致；当色块为黄色时，说明生成的信息与存储的信息有较小差异；当色块为红色时，说明书生成的信息与存储的信息有较大差异，需要特别注意。当然，在其它实施例中，还可以设置更多级的不同的比较结果表达。

在本实施例中，与上述每个比较单元对应有四个色块，对于所有比较单元的总体结果对应有一个数字打分，通过这些来给用户快速、准确的反馈。

当然，除了上述的单元外，在本发明实施例的其它实施方式中，所述终端处理模块132还可以包括其它单元，例如可以包括：

文字书写速度比较单元，用于比较所述生成的文字书写速度信息与存储的对应文字书写速度信息，得到文字书写速度信息比较结果。

在本发明实施例中，所述显示模块133，用于实时动态地显示所述生成的文字信息。例如，将用户书写的过程实时动态的进行显示。

在本发明实施例中，为了帮助用户直观的将自己所写的文字轨迹与正确的文字轨迹进行对比，所述显示模块133还用于与所述生成的文字信息同步地显示存储的对应文字信息。

本发明实施例中通过显示模块133把对应的信息显示出来给用户反馈，在本发明实施例的其它可能的实施方式中，还可以通过其它方式将练习结果反馈给用户，例如采用扬声器、通过发声的方式进行。

如图6所示，本发明实施例还提供了一种与上述系统对应的基于书写的人机交互方法，包括：

S110：在所述书写纸张上书写，所述书写纸张表面具有坐标识别图案；

S120：采集书写轨迹信息以及与书写位置对应的坐标识别图案；

S130：根据所述坐标识别图案得到所述书写轨迹信息对应的坐标信息；

S140：根据所述坐标信息生成书写的文字信息；

S150：将所述生成的文字信息与存储的对应文字信息进行比较，得到比较结果；

S160：显示所述生成的文字信息以及所述比较结果。

本发明实施例上述方法各步骤的进一步描述可以参考上述系统实施例中的对应功能描述，这里不再赘述。

本发明实施例通过拍摄书写纸张上的坐标识别图案以及书写轨迹的图像，得到书写轨迹对应的坐标信息，对这些坐标信息与已经存储的关联信息进行分析处理，再现书写的文字信息，同时将所述再现的书写的文字信息与终端设备中存储的对应文字信息进行比较，得到比较结果并显示给用户；使得用户的书写练习结果可以快速、准确、直观地反馈给用户，同时提高了用户练习的效果，改善用户体验。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种基于书写的人机交互系统，其特征在于，包括：

书写纸张，表面具有坐标识别图案；

书写笔，包括：

书写笔芯，用于在所述书写纸张上书写；

图像采集模块，用于采集书写轨迹信息以及与书写位置对应的坐标识别图案；

处理模块，用于根据所述坐标识别图案得到所述书写轨迹信息对应的坐标信息；

通信模块，用于发送所述坐标信息；

终端设备，包括：

终端通信模块，用于接收所述坐标信息；

终端处理模块，用于根据所述坐标信息生成书写的文字信息；将所述生成的文字信息与存储的对应文字信息进行比较，得到比较结果；

显示模块，用于显示所述生成的文字信息以及所述比较结果；

所述书写纸张上还包括：标准字区域，具有标准文字形状以及对应的坐标识别图案；

所述图像采集模块，还用于采集所述标准字区域的坐标识别图案；所述处理模块，还用于根据所述坐标识别图案得到所述标准字区域对应的坐标信息，所述通信模块，还用于发送所述标准字区域对应的坐标信息；所述终端通信模块，还用于接收所述标准字区域对应的坐标信息；所述终端处理模块，还用于根据所述标准字区域对应的坐标信息得到当前标准字区域对应存储的文字信息；所述显示模块，还用于显示所述当前标准字区域对应存储的文字信息；

所述书写纸张上还包括：功能区域，具有与特定指令对应的坐标识别图案；

所述图像采集模块，还用于采集所述功能区域的坐标识别图案；所述处理模块，还用于根据所述坐标识别图案得到所述功能区域对应的坐标信息；所述通信模块，还用于发送所述功能区域对应的坐标信息；所述终端通信模块，还用于接收所述功能区域对应的坐标信息；所述终端处理模块，还用于根据所述功能区域对应的坐标信息执行与所述特定指令；所述显示模块，还用于显示所述特定指令的执行结果；

所述特定指令为回放特定区域的生成的文字信息对应的书写轨迹；

所述书写笔还包括：压力传感模块，设置在所述书写笔芯的后端，根据所述书写笔芯下压时后端的压力生成触发信息；

所述图像采集模块，根据所述触发信息激活所述采集动作；

所述书写纸张上还包括：书写区域，用于供用户在该区域进行书写练习；

所述特定区域为：如果所述功能区域位于所述书写区域下方，则回放所述功能区域上方对应所述书写区域中书写的文字对应的书写轨迹；如果所述功能区域位于所述标准字区域下方，则回放所述标准字区域对应的所有书写区域中书写的文字对应的书写轨迹；如果功能区域位于本页书写纸张的下部，则回放该页所有书写区域中书写的文字对应的书写轨迹；

所述书写笔还包括存储模块，当所述通信模块无法向外发送所述坐标信息时，可以通过所述存储模块保存所述坐标信息。

2.如权利要求1所述的系统，其特征在于，所述坐标识别图案为点阵图案，根据所述书写纸张上不同位置处对应不同的点阵分布进行坐标识别。

3.如权利要求1所述的系统，其特征在于，

所述显示模块，还用于与所述生成的文字信息同步地显示存储的对应文字信息。