CN104737120A - 手写文档处理设备以及方法 - Google Patents

Abstract

一般而言，根据一个实施例，手写文档处理设备包含笔划输入单元、语音记录单元、笔划结构化单元、提示时刻计算单元、和回放控制单元。笔划输入单元输入笔划信息，笔划信息指示笔划和笔划的时刻。语音记录单元记录语音信息，语音信息的回放操作被配置成从指定时刻开始。笔划结构化单元通过在行方向上组合多个笔划来将笔划信息结构化成行结构。提示时刻计算单元计算与行结构关联的语音信息的提示时刻。回放控制单元根据对于行结构的指令，来控制从提示时刻开始回放语音信息。

Description

手写文档处理设备以及方法

相关申请的交叉引用

这个申请基于并且要求2012年9月25日提交的第2012-210874号日本专利申请的优先权的权益，其全部内容通过引用被结合于此。

技术领域

此处描述的实施例大体上涉及手写文档处理设备以及方法。

背景技术

已经提出一种技术，该技术用于在诸如包括笔输入接口的平板计算机的手写文档处理设备中，允许用户在手写输入的同时记录语音，以生成具有语音数据的笔记、会议记录等等。

附图说明

图1是显示根据第一实施例的手写文档处理设备的框图；

图2是显示根据第一实施例的手写文档处理设备的处理顺序的流程图；

图3是用于解释笔划的结构化的视图；

图4是用于解释笔划的结构化的视图；

图5是用于解释笔划的结构化的视图；

图6是显示语音回放开始的点击位置的视图；

图7是显示语音回放开始的点击位置的视图；

图8是显示根据第二实施例的手写文档处理设备的框图；

图9是显示根据第二实施例的手写文档处理设备的处理顺序的流程图；

图10是显示通过语音间隔检测的语音数据的结构化的实例的视图；

图11是显示根据第三实施例的手写文档处理设备的框图；

图12是显示根据第三实施例的手写文档处理设备的处理顺序的流程图；

图13是显示笔划的结构化的实例的视图；

图14是显示笔划的结构化的另一个实例的视图；

图15是显示语音回放的进度的视图；

图16是显示提示回放位置的间隔尺寸(granularity)变化的视图；

图17是显示提示回放位置的层次化(hierarchization)的视图；

图18是说明根据实施例的手写文档处理设备的硬件布置的实例的框图；以及

图19是显示使用网络实现手写文档处理设备的配置实例的视图。

具体实施方式

一般而言，根据一个实施例，手写文档处理设备包含笔划输入单元、语音记录单元、笔划结构化单元、提示时刻计算单元、和回放控制单元。笔划输入单元输入笔划信息，笔划信息指示笔划和笔划的时刻。语音记录单元记录语音信息，其的回放操作被配置成从指定时刻开始。笔划结构化单元通过在行方向上组合多个笔划来将笔划信息结构化成行结构。回放控制单元根据对于行结构的指令来控制从提示时刻开始回放语音信息。

在下文中将参考附图描述实施例。

根据这个实施例的手写文档处理设备例如被应用于包含笔输入界面和语音输入界面的平板电脑的笔记本应用程序。这个应用程序允许用户通过手写来输入笔记内容，以及经由麦克风收集和记录讲话者和用户自身的语音。这个申请通过读取与手写输入笔划和记录的语音数据关联的笔记数据能够显示手写文档，并且能够回放记录的语音。这个实施例针对与手写文档关联的语音数据的提示回放操作的可操作性的改进。

(第一实施例)

图1是显示根据第一实施例的手写文档处理设备的框图。这个设备包括笔划输入单元1、语音记录单元2、笔划结构化单元3、提示时刻计算单元4、显示单元5以及语音回放单元6。

笔划输入单元1经由笔输入接口输入笔划信息。“笔划”是手写输入的笔划图像。更具体地，“笔划”代表从笔等等开始与输入表面接触时到其被释放的轨迹。例如，笔划信息与从笔开始与触摸面板接触时到其被释放的每一个笔划图像关联。笔划信息包括识别笔划所需的识别信息、作为笔与触摸面板接触的初始点的时刻的开始时刻T、以及限定接触触摸面板的笔被移动时形成轨迹的多个点的坐标的时序。

语音记录单元2经由语音输入界面记录语音信息。语音信息可以具有任意的格式，例如允许其回放操作的控制，并且需要允许回放操作的至少开始、暂停和结束以及允许从指定回放开始时刻(以下称为“提示回放”)开始回放操作的格式。同样，语音信息可以通过语音间隔检测、讲话者识别以及关键字提取来被结构化。将在第二实施例中说明语音信息的结构化。

笔划结构化单元3通过在行方向上组合多个笔划来使笔划信息结构化成行结构。为了使这个行结构作为单位，提示回放开始时刻(以下称为“提示时刻”)与行结构关联。

提示时刻计算单元4计算要与笔划信息的行结构关联的语音信息的提示时刻。显示单元5在触摸面板上显示手写输入的笔划。语音回放单元6被控制成响应于对于在触摸面板上显示的笔划的行结构的指令操作，从由提示时刻计算单元4计算出的提示时刻回放语音信息。

图2是显示根据第一实施例的手写文档处理设备的处理顺序的流程图。

(步骤S1-1和步骤S1-2)

在用户启动笔记本应用程序之后，他或者她开始创建和记录具有语音数据的新的笔记。因此，用户能够通过在触摸面板上操作笔来进行手写输入。当用户启动记录按钮时，语音记录开始。与记录并行地，用户进行手写输入到笔记。当用户结束记录时，他或者她随后能够进行手写输入，但是在记录的结束之后不能够将语音数据的提示位置与笔划数据关联。

笔划输入单元1经由笔输入接口将笔划信息输入到根据这个实施例的手写文档处理设备，以及语音记录单元2获取经由语音输入界面记录的语音信息。

(步骤S2)

笔划结构化单元3通过在行方向上组合多个已经输入的笔划，来将笔划信息结构化成行结构。

图3显示笔划信息的实例。由用户输入的每一个单独的笔划手写具有开始时刻。第一笔划的开始时刻是T1、下一个笔划的开始时刻是T2、第三笔划的开始时刻是T3，......，第n笔划的开始时刻是Tn。这些开始时刻中的每一个对应于在每一个笔划中笔与触摸面板接触的初始点的时刻。

如图4所示，在组10中分别具有开始时刻T1到T7的笔划在行方向上被组合以获得行结构1，在组11中分别具有开始时刻T8到T15的笔划在行方向上被组合以获得行结构2，以及在组12中分别具有开始时刻T16到Tn的笔划在行方向上被组合以获得行结构3。例如，通过组合满足条件的多个笔划可以实现结构化，该条件为多个笔划与就在前面的笔划的距离落在阈值范围内。并且，如同在这个实例中，在单行上能够生成多个行结构。

(步骤S3)

提示时刻计算单元4对于行结构1到3中的每一个计算与笔划信息同时记录的语音信息的提示时刻。例如，具有包括在行结构中的多个笔划的最早的输入时刻的笔划，即，第一笔划的开始时刻被设置为提示时刻。如图5所示，第一笔划的开始时刻T1被设置为用于行结构1的语音信息的提示时刻，第一笔划的开始时刻T8被设置为用于行结构2的语音信息的提示时刻，以及第一笔划的开始时刻T16被设置为用于行结构3的语音信息的提示时刻。因此，在这个实例中，第一提示时间是T1、下一个提示时间是T8以及随后的提示时间是T16。

注意，各个行结构的提示时刻可以被调整。例如，在基于笔划信息的提示时刻之前的α时段的时刻被设置为提示时刻(T1-α、T8-α以及T16-α被分别设置)。因此，当用户听到特定语音并响应于该语音开始手写输入的延迟可以被吸收。换句话说，从调整的提示时刻的回放操作可以防止语音内容的开首语被部分遗漏。

(步骤S4到S6)

在对于各个行结构计算提示时间之后，如上所述，当用户通过笔点击期望的行结构来给予指令时，记录的语音内容的回放操作能够从对应的提示位置开始。

例如，当用户点击位置P1或者P2时，如图6所示，相同的行结构的时刻T1被选择，语音信息的回放操作从时刻T1开始。当用户点击位置P3或者P4时，相同的行结构2的时刻T8被选择，语音信息的回放操作从时刻T8开始。另一方面，当用户点击如位置P5和P6的远离笔划(笔划的行结构)的位置时，如图7所示，语音信息的回放操作对于该位置两者不开始。

注意，指示语音信息的提示被关联的符号标记可以被显示在笔划的附近，并且可以经由这个提示标记给予指令(步骤S4)。

根据上述第一实施例，语音信息的提示回放操作能够与笔划的行结构关联来实现。注意，当提示回放操作通过点击被开始时，显示模式可以被改变，以允许用户识别对应的笔划的行结构。例如，对应的行结构的显示颜色可以被改变或者该行结构可以被突出显示。

另外，根据行结构之间的语音回放时段，指示语音回放操作的进度的时间条可以被显示，或者笔划的显示颜色可以被改变。用户可以被允许设置结束提示回放操作。在这种情况下，下一个行结构的提示时刻可以被设置为结束时刻。同样，较佳的是，可辨认地显示没有语音信息与之关联的笔划(笔划的行结构)，也就是说，即使当笔划被点击，对于该笔划，语音信息(语音信息的提示位置)也为不可用的笔划。

(第二实施例)

图8是显示根据第二实施例的手写文档处理设备的框图。与在第一实施例中相同的参考数字表示相同的组件，并且将不重复对其的说明。在第二实施例中，不仅笔划信息，而且语音信息被结构化。更具体地，根据第二实施例的手写文档处理设备包括语音结构化单元7，语音结构化单元7将由语音记录单元2记录的语音信息结构化。

图9是说明根据第二实施例的手写文档处理设备的处理顺序的流程图。在步骤S2-2中，语音结构化单元7例如通过语音间隔检测，将由语音记录单元2获取的语音信息结构化。因此，能够获得一个或者多个语音结构，每一个语音结构具有时刻信息(例如，语音间隔的开始和结束时刻)。

因为语音结构包括时刻信息，所以，如上所述，其被用于计算在第一实施例中描述的提示时刻。在这个实施例中，通过将行结构的提示时刻与检测的语音间隔的各个时刻进行比较，来计算提示时刻。例如，如图10所示，假设作为语音信息的间隔检测的结果，时刻T101和T102之间的语音结构、时刻T102和T103之间的语音结构、时刻T103和T104之间的语音结构、以及时刻T104和T105之间的语音结构被获得。

提示时刻计算单元4将在每一个行结构的时刻之前且最接近该时刻的时刻设置为提示时刻。对于行结构1，在时刻T1之前最接近的时刻T101被设置为提示时刻。对于行结构2，在时刻T8之前最接近的时刻T102被设置为提示时刻。对于行结构3，在时刻T16之前最接近的时刻T104被设置为提示时刻。

注意，这个实施例已例示了通过语音间隔检测的语音信息的结构化。然而，本实施例不限于此，并且结构化例如可以通过时间平均分配来实现。另外，可以组合各种结构化方法。

根据第二实施例，可以提供与在第一实施例中相同的效果，并且基于语音信息的结构化，能够提高提示精度。

注意，语音间隔检测技术可以使用利用两个阈值的方法，该方法在[Nimi,"SpeechRecognition"(KYORITSU SHUPPAN CO.,LTD)p.68-69]中被描述。另外，可以使用在第2989219号日本专利中描述的方法。

(第三实施例)

图11是显示根据第三实施例的手写文档处理设备的框图。相同的参考数字表示与在第一实施例和第二实施例中相同的组件，并且将不重复对其的说明。在第三实施例中，笔划信息和语音信息被结构化，并且语音结构也被可视化和显示。这个语音结构的可视信息被显示在笔划信息的行结构之间。该设备进一步包括显示改变单元8，显示改变单元8改变可视信息的显示间隔尺寸(granularity)。

图12是显示根据第三实施例的手写文档处理设备的处理顺序的流程图。在步骤S2-2中，语音结构化单元7将由语音记录单元2获取的语音信息结构化，并且获得该语音结构的可视信息。可视信息包括从语音信息提取的关键字、指示通过讲话者识别技术从语音信息指定的说话者的信息等等。

语音结构的可视信息可以在提示位置被选择之前(提示回放操作的开始之前)被显示，或者当提示位置被选择时，对应的语音结构的可视信息可以被显示。同样，可视信息可以根据语音信息的回放操作，从选择的提示位置的进展来被部分显示。

如在第二实施例中的，可以使用语音结构的信息计算出提示时刻(步骤S3)。然而，在这个实施例中，步骤S3可以省略。

图13和14显示笔划的行结构。图13显示笔划的行结构的实例20，其中每一个结构对应大致一个字符，以及图14显示对应于多个字符串的笔划的行结构的实例21。以下将拿图14的情况作为实例来描述根据第三实施例的提示回放操作和语音信息的可视化。

图15显示语言回放操作的进展的实例。假设如在屏幕30上所示，手写输入被进行，并且语音信息与这个输入同步被记录。与输入笔划一起，指示提示语音信息所需的提示标记50和51被显示。例如，当用户点击第一提示标记50以开始回放操作时，笔划的对应的行结构40被可辨认地显示(例如，具有不同的显示颜色)。并且，指示回放操作的进展的时间条60被显示(屏幕31)。在时间条60的区域上，语音结构的可视信息被同步显示(屏幕32和33)。注意，可视信息可以被显示在时间轴60以外的区域中。

当语音回放操作进一步进展并且到达下一个行结构41(屏幕33)时，行结构41被可辨认地显示。在行结构41的下面，对应于这个行结构41的语音结构时间条被显示(屏幕34)。注意，通过在回放操作期间点击提示标记50或者51，回放操作能够通过返回到提示位置来被重复。

图16显示提示回放位置的间隔尺寸改变。图16显示指示一个提示位置的提示标记80。例如，当用户在屏幕上点击行结构70和71的同时进行扩大(pinch-out)操作以放大行(结构)之间的空间时，显示的提示标记的数目被改变(步骤S6)。显示的提示标记的数目对应语音结构的间隔尺寸(数量)(可视信息片段)。如果显示的提示标记的数量是少的，那么间隔尺寸是大的；否则，间隔尺寸是小的。另一方面，当用户在屏幕上点击行结构70和71的同时进行缩进(pinch-in)操作以减小行(结构)之间的空间时，能够减小间隔尺寸。注意，间隔尺寸可以通过在行结构上的点击的数量来被改变。

回放时间条根据可视化的间隔尺寸被延伸。时间条90在一个提示标记80的情况下被显示，并且指示回放操作的进度是大约60％。时间条91在四个提示标记81到84的情况下被显示，并且指示回放操作接近完成，正要转送到下一个行结构。通过点击提示标记81到84中的任何一个，回放操作能够从点击位置被开始。

注意，将从语音信息提取的关键字可视化的符号标记可以被用于代替提示标记。

以下将描述如何根据提示标记的数量(间隔尺寸)来确定语音结构的可视信息的内容。例如，当提示标记的数量为一个，那么在回放开始和结束时刻之间的时期间内的中间时刻的可视信息可以被显示，并且具有最高发生频率的关键字可以在关键字提取的情况下被显示。例如，当提示标记的数量是两个，接近于通过将回放开始和结束时刻之间的时段划分成3个所获得的两个时刻的可视信息片段可以被选择。

并且，如图17所示，语音结构(可视信息)可以被分级。利用这个结构，语音结构(可视信息)的数量能够被改变，就好像文件夹被展开/折叠。

根据第三实施例，语音结构能够被可视化和显示，并且对于没有进行笔划输入的时段的提示回放操作也能够被进行。因此，提示回放操作的可操作性能够被进一步提高。

注意，有两种基本类型的使用语音信息的讲话者识别：讲话者辨认和讲话者核对。文献(J.P.Campbell,"Speaker Recognition:A Tutorial,"Proc.IEEE,Vol.85,No.9,pp.1437-1462(1997))可被用作为参考。至于从语音信息的关键字提取，NECCorporation,"Keyword extraction by optimization of degree of keyword matching"(CiNii),Internet URL:www.nec.jp/press/ja/1110/0603.html可以被用作为参考。

图18是显示实现第一到第三实施例的手写文档处理设备的硬件布置的实例的框图。参考图18，参考数字201表示CPU；参考数字202表示预定的输入装置；参考数字203表示预定的输出装置；参考数字204表示RAM；参考数字205表示ROM；参考数字206表示外部存储接口；以及参考数字207表示通信接口。例如，当触摸面板被使用时，液晶面板、笔、布置在液晶面板上的笔划检测装置等等被使用。

例如，图1、8和14中显示的一些部件可以被布置在客户端上，并且图1、8和14中显示的剩余部件可以被布置在服务器上。

例如，图19例示了当服务器303被连接在诸如内部网和/或因特网的网络300上并且客户端301和302经由网络300与服务器303通信时，这个实施例的手写文档处理设备被实现的状态。

注意，在这个实例中，客户端301经由无线通信被连接到网络300，并且客户端302经由有线通信被连接到网络300。

客户端301和302通常是用户设备。服务器303可以例如被布置在诸如办公室LAN的LAN上，或者可以例如通过因特网服务供应商被管理。另外，服务器303可以是用户设备，因此某个用户向其他用户提供功能。

将图1、8和14中的部件分配到客户端和服务器的各种方法是可用的。

上述实施例中描述的处理顺序的指令能够基于作为软件的程序被执行。通用计算机系统预存这个程序，并且加载该程序，从而获得与上述实施例的手写文档处理设备的效果相同的效果。在上述实施例中描述的指令作为能够被计算机所执行的程序被记录在记录介质中，记录介质诸如是磁盘(软磁盘、硬盘等等)、光盘(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等等)、半导体存储器等等。这种记录介质的存储格式没有被特别地限制，只要该记录介质是计算机或者嵌入式系统可读的。计算机从这个记录介质加载程序，并且基于该程序控制CPU来执行该程序中描述的指令，从而实现与上述实施例的手写文档处理设备相同的操作。当然，计算机可以经由网络获取或者加载该程序。

并且，在计算机上运行的OS(操作系统)、或者诸如数据库管理软件或者网络的MW(中间件)可以基于从记录介质被安装到计算机或者嵌入式系统中的程序的指令，执行实现这个实施例所需的一些处理。

此外，这个实施例的记录介质不局限于独立于计算机或者嵌入式系统的介质，并且包含存储或者暂时地存储经由LAN或者因特网下载的程序的记录介质。

记录介质的数目不局限于一个，并且这个实施例的记录介质包含这个实施例的处理从多个介质中被执行的情况。因此，介质的配置可以使用任意的配置。

注意，需要这个实施例的计算机或者嵌入式系统来执行这个实施例的各个处理，并且这个实施例的计算机或者嵌入式系统可以采用任何布置，任何布置诸如是诸如个人计算机或者微型计算机的单个设备或者多个设备经由网络被连接的系统。

这个实施例的计算机不局限于个人计算机，包含信息处理设备中所包含的运算处理装置、微型计算机等等，而且共同地意指能够基于程序来实现这个实施例的功能的装置和设备。

虽然已经描述了某些实施例，但是这些实施例仅仅通过实例的方式被呈现，而不意欲限制本发明的范围。实际上，此处描述的新颖的实施例可以以各种其他的形式被具体化；此外，在不背离本发明的精神的情况下，可以以此处描述的实施例的形式进行各种省略、替换和变化。附有的权利要求书和它们的同等物意欲覆盖将属于本发明的范围和精神的这种形式或者修改。

Claims (9)

1.一种手写文档处理设备，其特征在于，包括：

笔划输入单元，所述笔划输入单元输入笔划信息，所述笔划信息指示笔划以及所述笔划的时刻；

语音记录单元，所述语音记录单元记录语音信息，所述语音信息的回放操作被配置成从指定时刻开始；

笔划结构化单元，所述笔划结构化单元通过在行方向上组合多个笔划来将所述笔划信息结构化成行结构；

提示时刻计算单元，所述提示时刻计算单元计算与所述行结构关联的所述语音信息的提示时刻；以及

回放控制单元，所述回放控制单元根据对于所述行结构的指令，来控制从所述提示时刻开始回放所述语音信息。

2.如权利要求1所述的设备，其特征在于，进一步包括：

语音结构化单元，所述语音结构化单元将所述语音信息结构化为语音结构，

其中，所述提示时刻计算单元基于所述行结构和所述语音结构来计算所述提示时刻。

3.如权利要求1所述的设备，其特征在于，进一步包括：

语音结构化单元，所述语音结构化单元将所述语音信息结构化成语音结构；以及

可视化单元，所述可视化单元显示所述语音结构的可视信息。

4.如权利要求2所述的设备，其特征在于，

所述语音结构化单元基于语音间隔检测、关键字提取以及讲话者识别中的任何一个来将所述语音信息结构化。

5.如权利要求3所述的设备，其特征在于，

所述可视化单元分级地显示所述可视信息。

6.如权利要求3所述的设备，其特征在于，进一步包括：

显示改变单元，所述显示改变单元根据对于所述行结构的指令来改变所述可视信息的显示间隔尺寸。

7.一种手写文档处理方法，其特征在于，包括：

输入笔划信息，所述笔划信息指示笔划和所述笔划的时刻；

记录语音信息，所述语音信息的回放操作从指定时刻开始；

通过在行方向上组合多个笔划来将所述笔划信息结构化成行结构；

计算与所述行结构关联的所述语音信息的提示时刻；以及

根据对于所述行结构的指令，控制从所述提示时刻开始回放所述语音信息。

8.一种计算机可读记录介质，其特征在于，所述计算机可读记录介质存储程序，所述程序用于控制计算机用作为：

笔划输入单元，所述笔划输入单元输入笔划信息，所述笔划信息指示笔划和所述笔划的时刻；

语音记录单元，所述语音记录单元记录语音信息，所述语音信息的回放操作被配置成从指定时刻开始；

笔划结构化单元，所述笔划结构化单元通过在行方向上组合多个笔划来将所述笔划信息结构成行结构；

提示时刻计算单元，所述提示时刻计算单元计算与所述行结构关联的所述语音信息的提示时刻；以及

回放控制单元，所述回放控制单元根据对于所述行结构的指令，来控制从所述提示时刻开始回放所述语音信息。

9.一种手写文档处理设备，其特征在于，包括：

处理器，所述处理器被配置成输入指示笔划和所述笔划的时刻的笔划信息，记录语音信息，通过在行方向上组合多个笔划来将所述笔划信息结构化成行结构，计算与所述行结构关联的所述语音信息的提示时刻，以及根据对于所述行结构的指令控制来从所述提示时刻开始回放所述语音信息，所述语音信息的回放操作被配置成从指定时刻开始；以及

存储器，所述存储器连接到所述处理器。