CN107066919B - 笔尖位置求解方法、设备和计算机可读存储介质 - Google Patents

Abstract

本发明的实施方式提供了一种笔尖位置求解方法，包括：获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，所述第一点的纸面坐标已知；依据所述第一图像上的图像信息获取第一变换函数；依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标，将所述第一点的图像坐标作为笔尖图像坐标。本发明的方法使得智能笔的笔尖位置求解方便，从而显著地降低了计算量。此外，本发明的实施方式提供了一种笔尖位置求解装置。

Description

笔尖位置求解方法、设备和计算机可读存储介质

技术领域

本发明的实施方式涉及图像处理领域，更具体地，本发明的实施方式涉及一种笔尖位置求解方法、设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

智能笔是一种内置摄像头的电子笔，能够在书写时连续拍摄纸张上的码点，进而计算出笔迹。使用这类智能笔时，用户可以依照传统书写习惯在印有码点的纸张上进行书写，用户的书写笔迹和书写过程都将被记录下来，可以即时同步到其他设备上，以供不同类型的设备应用。

目前，已经出现一些智能笔，对于智能笔的书写笔迹和书面过程中，智能笔的笔尖的图像坐标是整个智能笔运行的关键，由于智能笔硬件的限制，该笔尖的图像坐标无法显示在书写过程中拍摄的图像上，所以笔尖的图像坐标的求解成为智能笔能够还原笔迹的基础，通常将笔尖的图像坐标的计算校正、或笔尖轨迹的计算称为智能笔笔尖位置的求解，目前的笔尖位置求解往往采用递归计算、角度旋转变换校正等操作，用户操作难度大、计算量大。

发明内容

但是，出于目前技术以及操作的原因，现有笔尖位置求解方法的操作难度大，计算复杂。

因此在现有技术中，操作难度大，计算复杂这是非常令人烦恼的过程。

为此，非常需要一种改进的笔尖位置求解方法，以使操作简单、计算量小。

在本上下文中，本发明的实施方式期望提供一种笔尖位置求解方法。

在本发明实施方式的第一方面中，提供了一种笔尖位置求解方法，包括：获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，所述第一点的纸面坐标已知；依据所述第一图像上的图像信息获取第一变换函数；依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标，依据所述第一点的图像坐标获取笔尖图像坐标。

在本发明第一方面的一实施例中，依据所述第一图像上的图像信息获取第一变换函数包括：对所述第一图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数。

在本发明第一方面的一实施例中，其中获取第一变换函数包括获取3*3的第一透视变换矩阵；依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标包括：对所述透视变换矩阵求逆得到所述透视变换逆矩阵；所述第一点的图像坐标等于所述第一透视变换逆矩阵乘以第一点的纸面坐标乘以第一比例系数，所述第一比例系数为所述第一透视变换逆矩阵乘以第一点的纸面坐标所得结果的齐次项的倒数。

在本发明第一方面一实施例中，上述方法还包括：通过点击纸面上其他的纸面坐标已知的预设点，对所述笔尖图像坐标进行校正。

在本发明第一方面的一实施例中，所述对所述笔尖图像坐标进行校正具体包括：步骤一：当用户通过笔尖点击纸面中的第N点时，获取拍摄的第N图像，所述第N点的纸面坐标已知；步骤二：依据所述第N图像上的图像信息获取第N变换函数；步骤三：依据所述第N点的纸面坐标以及第N变换函数计算所述第N点的图像坐标，其中N为大于等于2的整数；在笔尖位置移动时，重复所述步骤一至步骤三计算出笔尖位置的M个图像坐标，其中M为正整数；依据第一点的图像坐标及所述M个图像坐标校正笔尖图像坐标。

在本发明第一方面的一实施例中，依据所述第N图像上的图像信息获取第N变换函数包括：对所述第N图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第N变换函数。

在本发明第一方面的一个实施例中，其中获取第N变换函数包括获取3*3的第N透视变换矩阵；依据所述第N点的纸面坐N变换函数计算所述第N点的图像坐标包括：对所述第N透视变换矩阵求逆得到N透视变换逆矩阵；所述第N点的图像坐标等于所述第N透视变换逆矩阵乘以第N点的纸面坐标乘以第N比例系数，所述第N比例系数为所述第N透视变换逆矩阵乘以第N点的纸面坐标所得结果的齐次项的倒数。

在本发明第一方面的一个实施例中，依据第一点的图像坐标及所述M个图像坐标校正笔尖图像坐标包括：删除所述M个图像坐标和第一点的图像坐标中的异常值后得到X个图像坐标，将所述X个图像坐标的平均值作为笔尖图像坐标；或将第一点的图像坐标和所述M个图像坐标的平均值作为笔尖图像坐标。

在本发明第一方面的一个实施例中，上述任一方法还包括：获取用户书写时的多个实测图像；依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标，依据所述多个笔尖纸面坐标得到用户笔迹。

在本发明第一方面的一个实施例中，依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数包括：对多个实测图像的每个图像信息分析得到每个图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标和纸面坐标计算出从图像坐标变换到纸面坐标的所述多个实测图像对应的多个实测变换函数。

在本发明第一方面的一个实施例中，获取所述多个实测图像对应的多个实测变换函数包括获取所述多个实测图像对应的3*3的透视变换矩阵；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标包括：所述多个笔尖纸面坐标等于所述笔尖图像坐标乘以所述多个实测图像对应的3*3的透视变换矩阵乘以对应的比例系数，所述比例系数为所述笔尖图像坐标乘以对应的透视变换矩阵所得结果的齐次项的倒数。

在本发明实施方式的第二方面中，提供了一种笔尖位置求解装置，包括：获取单元，用于获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，所述第一点的纸面坐标已知；处理单元，用于依据所述第一图像上的图像信息获取第一变换函数；计算单元，用于依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标，依据所述第一点的图像坐标获取笔尖图像坐标。

在本发明第二方面的一实施例中，处理单元具体用于对所述第一图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数。

在本发明第二方面的一实施例中，处理单元具体用于获取3*3的第一透视变换矩阵；所述计算单元具体，用于对所述透视变换矩阵求逆得到所述透视变换逆矩阵；所述第一点的图像坐标等于所述第一透视变换逆矩阵乘以第一点的纸面坐标乘以第一比例系数，所述第一比例系数为所述第一透视变换逆矩阵乘以第一点的纸面坐标所得结果的齐次项的倒数。

在本发明第二方面的一实施例中，上述装置还包括：校正单元，用于通过点击纸面上其他的纸面坐标已知的预设点，对所述笔尖图像坐标进行校正。

在本发明第二方面的一实施例中，所述校正单元对所述笔尖图像坐标进行校正，具体包括：步骤一：当用户通过笔尖点击纸面中的第N点时，获取拍摄的第N图像，所述第N点的纸面坐标已知；步骤二：依据所述第N图像上的图像信息获取第N变换函数；步骤三：依据所述第N点的纸面坐标N变换函数计算所述第N点的图像坐标，其中N为大于等于2的整数；在笔尖位置移动时，重复所述步骤一至步骤三计算出笔尖位置的M个图像坐标，其中M为正整数；依据第一点及所述M个图像坐标校正笔尖图像坐标。

在本发明第二方面的一实施例中，依据所述第N图像上的图像信息获取第N变换函数包括：对所述第N图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数。

在本发明第二方面的一个实施例中，获取第N变换函数包括获取3*3的第N透视变换矩阵；依据所述第N点的纸面坐N变换函数计算所述第N点的图像坐标包括：对所述第N透视变换矩阵求逆得到N透视变换逆矩阵；所述第N点的图像坐标等于所述第N透视变换逆矩阵乘以第N点的纸面坐标乘以第N比例系数，所述第N比例系数为所述第N透视变换逆矩阵乘以第N点的纸面坐标所得结果的齐次项的倒数。

在本发明第二方面的一个实施例中，依据第一点的图像坐标及所述M个图像坐标校正笔尖图像坐标包括：删除所述M个图像坐标和第一点的图像坐标中的异常值后得到X个图像坐标，将X个图像坐标的平均值作为笔尖图像坐标；或将第一点的图像坐标和所述M个图像坐标的平均值作为笔尖图像坐标。

在本发明第二方面的一个实施例中，上述任一装置还包括：笔迹单元，用于获取用户书写时的多个实测图像；依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标，依据所述多个笔尖纸面坐标得到用户笔迹。

在本发明第二方面的一个实施例中，依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数包括：对多个实测图像的每个图像信息分析得到每个图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标和纸面坐标计算出从图像坐标变换到纸面坐标的所述多个实测图像对应的多个实测变换函数。

在本发明第二方面的一个实施例中，获取所述多个实测图像对应的多个实测变换函数包括获取所述多个实测图像对应的3*3的透视变换矩阵；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标包括：所述多个笔尖纸面坐标等于所述笔尖图像坐标乘以所述多个实测图像对应的3*3的透视变换矩阵乘以对应的比例系数，所述比例系数为所述笔尖图像坐标乘以对应的透视变换矩阵所得结果的齐次项的倒数。

在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面提供的任一笔尖位置求解方法。

根据本发明实施方式仅需用户点击一个点即能够对笔尖图像坐标进行计算得到，所以其操作简单，另外，本次计算需要进行透视变换以及透视逆变换，其计算量小，所以其具有操作简单，计算量小的优点。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了智能笔的结构以及拍摄示意图；

图2A示意性地示出了根据本发明一个实施例的笔尖位置求解方法的流程图；

图2B示意性地示出了根据本发明一个实施例的第一图像示意图；

图2C示意性地示出了根据本发明一个实施例的透视变换后的图像示意图；

图3示意性地示出了根据本发明另一实施例的笔尖位置求解方法的流程图；

图4示意性地示出了根据本发明又一实施例的笔尖位置求解装置的结构示意图；

图5示意性地示出了根据本发明再一实施例的智能笔设备的硬件结构示意图；

图6示意性地示出了根据本发明后一实施例的计算机可读存储介质的结构示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种的方法和设备。

在本文中，需要理解的是，所涉及的术语表示。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，由于每个智能笔的硬件结构都是固定的，对于每个智能笔来说，其摄像头和笔尖的位置相对固定，所以对于摄像头拍摄的图像来说，其笔尖在图像的位置也相对固定，但是对于不同的智能笔来说，由于摄像头与笔尖的位置不相同，所以需要对笔尖的图像坐标进行计算。本发明也是基于单个智能笔的笔尖的图像坐标在摄像头拍摄的多个图片中的坐标一致的特点来对智能笔的笔尖位置进行求解。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，图1为一种智能笔的结构以及拍摄示意图，如图1所示，该智能笔包括摄像头1和笔尖2，其笔尖2在运动时，摄像头1拍摄图片，如图1中的阴影部分所示，本发明的技术方案即为求解笔尖的图像坐标，进而可根据该固定的图像坐标求解笔尖的纸面坐标。

示例性方法

下面结合图的应用场景，参考图来描述根据本发明示例性实施方式的用于的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

参阅图2A，如图2A为本发明一个示例性的方法，如图2A所示，该方法通过如图1所示的智能笔执行，该方法如图2A所示，包括如下步骤：

步骤S201、智能笔获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，其中该第一点的纸面坐标已知。

上述步骤S201中的第一图像如图2B所示，为了方便描述，这里将第一点的纸面坐标记为(X，Y)。照片中的小方块(码点图案)因为镜头的角度不同而产生不同的形变，而此时笔尖图像并不在第一图像视野中，其图像坐标对应(x0，y0)。

步骤S202、智能笔依据第一图像上的图像信息获取第一变换函数。

步骤S202中的第一变换函数可以包括3*3的第一透视变换矩阵，该3*3的第一透视变换矩阵和第一比例系数的获取方式具体可以为：

通过对如图2B所示的第一图像分析得到至少4个点的纸面坐标和4个点的图像坐标，该纸面可以为码纸，当然该纸面也可以为其他性质的纸，例如坐标纸等等纸面。该4个点可为从图像平面上任意选取的连线构成四边形的点，以计算便利为准。“纸面”不限于传统的纸张平面，可以为塑料、显示屏等任意平面。上述4个点的图像坐标可以通过对第一图像分析或测量直接得到。在一个实施方式中，上述4个点的纸面坐标可通过首先获取拍摄到的图像上的编码图案，根据编码图案的预设规则计算获取相应点的纸面坐标。依据至少4个点的纸面坐标和4个点的图像坐标计算得到第一透视变换函数H0，该透视变换函数H0为一个3*3的矩阵，可由至少4个点的纸面坐标和4个点的图像坐标直接代入求得，具体的求得方法可以参见透视算法中的获得透视变换(英文：get Perspective Transform)函数，上述透视变换的数学表达式具体可以为：

t·Ppaper＝H0×Pimage；

其中t为第一比例系数，第一比例系数可以为所述第一透视变换逆矩阵乘以第一点的纸面坐标所得结果的齐次项的倒数，H0位第一透视变换函数，Pimage为图像平面3×1的齐次图像坐标，齐次项(第三项)为1；Ppaper为纸平面3×1的齐次纸面坐标，齐次项(第三项)为1；t为第一比例系数，目的是使Ppaper的齐次项为1。对于图像平面的任一点的图像坐标Pimage，乘上H0之后可以得到t·Ppaper，对这个结果除以t使得最终结果的齐次项为1，得到的就是该点在纸平面上的对应纸面坐标Ppaper，其中纸面坐标Ppaper的前两项对应纸面二维坐标。

将图2B经过透视变换以后得到的纸面坐标图片为图2C所示，其中，笔尖坐标(X，Y)为笔尖的纸面坐标。

在另一个实施例中，也可依据图像上多个点的图像坐标和纸面坐标根据下面的关系式计算变换函数：Ppaper＝H×Pimage，其中H为变换函数。

步骤S203、智能笔依据第一点的纸面坐标(X，Y)和第一变换函数计算得到第一点的图像坐标，依据第一点的图像坐标获取笔尖图像坐标。

上述步骤S203的实现方法具体可以为：对透视变换函数H0进行求逆得到透视逆变换函数H0^-1，第一点的图像坐标(x0，y0)可以等于H0^-1*(X，Y)*t。

如图2A所示的技术方案仅需用户点击一个点即能够对笔尖图像坐标进行计算得到，所以其操作简单，另外，本次计算进行透视变换以及透视逆变换，其计算量较小，所以其具有操作简单，计算量小的优点。

参阅图3，如图3为本发明另一个示例性的方法，如图3所示，该方法通过如图1所示的智能笔执行，该方法进一步包括通过点击纸面上其他的纸面坐标已知的预设点，对笔尖的图像坐标进行校正。如图3所示，在如图2A所示的方法之后还可以包括如下对笔尖的图像坐标进行校正的步骤：

步骤S301、当用户通过笔尖点击纸面中的第N点时，智能笔获取拍摄的第N图像，所述第N点的纸面坐标已知。

步骤S302、智能笔依据所述第N图像上的图像信息获取第N变换函数。

上述步骤S302中的获取第N变换函数的方式可以参见上述步骤S202的方法，这里不在赘述。

步骤S303、智能笔依据所述第N点的纸面标以及第N变换函数计算所述第N点的图像坐标，其中N为大于等于2的整数。

上述步骤303中的智能笔依据所述第N点的纸面标以及第N变换函数计算所述第N点的图像坐标的具体方式可以参见步骤S203的实现方法，这里不在赘述。

步骤S304、在笔尖位置移动时，重复所述步骤S301至步骤S303计算出笔尖位置的M个图像坐标，该M为正整数。

步骤S305、智能笔依据第一点及所述M个图像坐标校正笔尖图像坐标。

上述步骤S305的实现方法具体可以为：将第一点的图像坐标和所述M个图像坐标的平均值作为更新笔尖图像坐标。当然在上述步骤S305的实现方法具体还可以为：删除所述M个图像坐标和第一点的图像坐标中的异常值后得到X个图像坐标，将X个图像坐标的平均值作为更新笔尖图像坐标。上述异常值的判断可以有多种，例如，可以通过将M个图像坐标和第一点的图像坐标分别与上述平均值对比得到偏差，如该偏差超过偏差阈值，则确定为异常值，当然还可以有其他的判断方式，例如通过方差来判断等等，本发明并不局限上述判断方式的具体实现方法。

可选的，上述方法在步骤S305之后还可以包括：获取用户书写时的多个实测图像；依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标，依据所述多个笔尖纸面坐标得到用户笔迹。

可选地，其中依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数包括：对多个实测图像的每个图像信息分析得到每个图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标和纸面坐标计算出从图像坐标变换到纸面坐标的所述多个实测图像对应的多个实测变换函数。

可选地，其中获取所述多个实测图像对应的多个实测变换函数包括获取所述多个实测图像对应的3*3的透视变换矩阵；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标包括：所述多个笔尖纸面坐标等于所述笔尖图像坐标乘以所述多个实测图像对应的3*3的透视变换矩阵乘以对应的比例系数，该比例系数为所述笔尖图像坐标乘以对应的透视变换矩阵所得结果的齐次项的倒数。

如图3所示的技术方案仅需用户点击一个点即能够对笔尖图像坐标进行计算得到，所以其操作简单，另外，本次计算进行的透视变换以及透视逆变换，其计算量小，所以其具有操作简单，计算量小的优点。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图4对本发明示例性实施方式的笔尖位置求解装置、用于实现上述笔尖位置求解方法，如图4所示的设备的技术术语、具体的实现方式以及技术效果均可以参见如图2或图3所示实施例的描述。该智能笔如图4所示，包括：

获取单元401，用于获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，所述第一点的纸面坐标已知；

处理单元402，用于依据所述第一图像上的图像信息获取第一变换函数；

计算单元403，用于依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标，依据所述第一点的图像坐标获取笔尖图像坐标。

可选的，处理单元402具体用于对所述第一图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数。

可选的，其中处理单元402具体用于获取3*3的第一透视变换矩阵；

计算单元403具体，用于对所述透视变换矩阵求逆得到所述透视变换逆矩阵；所述第一点的图像坐标等于所述第一透视变换逆矩阵乘以第一点的纸面坐标乘以第一比例系数，该第一比例系数为所述第一透视变换逆矩阵乘以第一点的纸面坐标所得结果的齐次项的倒数。

可选的，其中所述装置还包括：

校正单元404，用于对所述笔尖图像坐标校正，所述对所述笔尖图像坐标进行校正具体，包括：

步骤一：当用户通过笔尖点击纸面中的第N点时，获取拍摄的第N图像，所述第N点的纸面坐标已知；

步骤二：依据所述第N图像上的图像信息获取第N变换函数；

步骤三：依据所述第N点的纸面坐标N变换函数计算所述第N点的图像坐标，其中N为大于等于2的整数；

在笔尖位置移动时，重复所述步骤一至步骤三计算出笔尖位置的M个图像坐标；

依据第一点及所述M个图像坐标校正笔尖图像坐标。

可选的，其中依据所述第N图像上的图像信息获取第N变换函数包括：对所述第N图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数。

可选的，其中获取第N变换函数包括获取3*3的第N透视变换矩阵；依据所述第N点的纸面坐N变换函数计算所述第N点的图像坐标包括：对所述第N透视变换矩阵求逆得到N透视变换逆矩阵；所述第N点的图像坐标等于所述第N透视变换逆矩阵乘以第N点的纸面坐标乘以第N比例系数，该第N比例系数为所述第N透视变换逆矩阵乘以第N点的纸面坐标所得结果的齐次项的倒数。

可选的，其中依据第一点及所述M个图像坐标更新笔尖图像坐标包括：：删除所述M个图像坐标和第一点的图像坐标中的异常值后得到X个图像坐标，将X个图像坐标的平均值作为笔尖图像坐标；或将第一点的图像坐标和所述M个图像坐标的平均值作为笔尖图像坐标。

可选的，其中，所述装置还包括：

笔迹单元405，用于获取用户书写时的多个实测图像；依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标，依据所述多个笔尖纸面坐标得到用户笔迹。

可选的，其中依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数包括：对多个实测图像的每个图像信息分析得到每个图像中至少4个点的图像坐标和纸面坐标；依据所述至少4个点的图像坐标和纸面坐标计算出从图像坐标变换到纸面坐标的所述多个实测图像对应的多个实测变换函数。

可选的，其中获取所述多个实测图像对应的多个实测变换函数包括获取所述多个实测图像对应的3*3的透视变换矩阵；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标包括：所述多个笔尖纸面坐标等于所述笔尖所述多个实测图像对应的3*3的透视变换矩阵乘以对应的比例系数，该比例系数为所述笔尖图像坐标乘以对应的透视变换矩阵所得结果的齐次项的倒数。

参阅图5，图5为本发明提供的一种智能笔设备，包括：处理器501、存储器502、外部接口505、总线504和摄像头506。外部接口505用于与外部设备504交互以收发数据。智能笔设备50中的处理器501的数量可以是一个或多个。本申请的一些实施例中，处理器501、存储器502和外部接口505可通过总线或其他方式连接。存储器502用于存储程序代码5024，处理器501用于调用存储器502中存储的程序代码5024，以实现图2或图3中智能笔的功能。关于本实施例涉及的术语的含义以及举例，可以参考图2或图3对应的实施例。此处不再赘述。需要说明的是，这里的处理器501可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(英文：central processing unit，简称：CPU)，也可以是特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个数字信号处理器(英文：digital signal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)。

存储器502可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器503可以包括随机存储器5021(英文：random-access memory，简称：RAM)，也可以包括非易失性存储器(non-volatile memory)，例如磁盘存储器，闪存(flash)等，当然还可以包括高速缓存存储器5022或只读存储器(英文：read-only memory，ROM)。

总线503可以是工业标准体系结构(英文：Industry Standard Architecture，简称：ISA)总线、外部设备互连(英文：Peripheral Component Interconnect，简称：PCI)总线或扩展工业标准体系结构(英文：Extended Industry Standard Architecture，简称：EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

参阅图6，图6为本发明提供一种计算机可读存储介质60，其上存储有计算机程序，该程序被处理器执行时实现如图2或图3所示实施例中的方法。

应当注意，尽管在上文详细描述中提及了设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (19)

1.一种笔尖位置求解方法，包括：

获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，所述第一点的纸面坐标已知，所述笔尖点击的第一点不在所拍摄的所述第一图像中；

依据所述第一图像上的图像信息获取第一变换函数，包括：

对所述第一图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；

依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数，其中获取第一变换函数包括获取3*3的第一透视变换矩阵；依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标，依据所述第一点的图像坐标获取笔尖图像坐标，其中包括：

对所述透视变换矩阵求逆得到所述透视变换逆矩阵；

所述第一点的图像坐标等于所述第一透视变换逆矩阵乘以第一点的纸面坐标乘以第一比例系数，所述第一比例系数为所述第一透视变换逆矩阵乘以第一点的纸面坐标所得结果的齐次项的倒数；根据该笔尖的图像坐标和所述第一变换函数求解笔尖的纸面坐标。

2.根据权利要求1所述的方法，还包括：通过点击纸面上其他的纸面坐标已知的预设点，对所述笔尖图像坐标进行校正。

3.根据权利要求2所述的方法，其中对所述笔尖图像坐标进行校正具体包括：

步骤一：当用户通过笔尖点击纸面中的第N点时，获取拍摄的第N图像，所述第N点的纸面坐标已知；

步骤二：依据所述第N图像上的图像信息获取第N变换函数；

步骤三：依据所述第N点的纸面坐标以及第N变换函数计算所述第N点的图像坐标，其中N为大于等于2的整数；

在笔尖位置移动时，重复所述步骤一至步骤三计算出笔尖位置的M个图像坐标，其中M为正整数；

依据第一点的图像坐标及所述M个图像坐标校正笔尖图像坐标。

4.根据权利要求3所述的方法，其中依据所述第N图像上的图像信息获取第N变换函数包括：

对所述第N图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；

依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第N变换函数。

5.根据权利要求4所述的方法，其中获取第N变换函数包括获取3*3的第N透视变换矩阵；

依据所述第N点的纸面坐标以及第N变换函数计算所述第N点的图像坐标包括：

对所述第N透视变换矩阵求逆得到N透视变换逆矩阵；

所述第N点的图像坐标等于所述第N透视变换逆矩阵乘以第N点的纸面坐标乘以第N比例系数，所述第N比例系数为所述第N透视变换逆矩阵乘以第N点的纸面坐标所得结果的齐次项的倒数。

6.根据权利要求3所述的方法，其中依据第一点的图像坐标及所述M个图像坐标校正笔尖图像坐标包括：

删除所述M个图像坐标和第一点的图像坐标中的异常值后得到X个图像坐标，将所述X个图像坐标的平均值作为笔尖图像坐标；

或将第一点的图像坐标和所述M个图像坐标的平均值作为笔尖图像坐标。

7.根据权利要求1-6任一项所述的方法，其中，所述方法还包括：

获取用户书写时的多个实测图像；

依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数；

依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标，依据所述多个笔尖纸面坐标得到用户笔迹。

8.根据权利要求7所述的方法，其中依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数包括：

对多个实测图像的每个图像信息分析得到每个图像中至少4个点的图像坐标和纸面坐标；

依据所述至少4个点的图像坐标和纸面坐标计算出从图像坐标变换到纸面坐标的所述多个实测图像对应的多个实测变换函数。

9.根据权利要求7所述的方法，其中获取所述多个实测图像对应的多个实测变换函数包括获取所述多个实测图像对应的3*3的透视变换矩阵；

依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标包括：

所述多个笔尖纸面坐标等于所述笔尖图像坐标乘以所述多个实测图像对应的3*3的透视变换矩阵乘以对应的比例系数，所述比例系数为所述笔尖图像坐标乘以对应的透视变换矩阵所得结果的齐次项的倒数。

10.一种笔尖位置求解装置，包括：

获取单元，用于获取用户通过笔尖点击纸面中的第一点时拍摄的第一图像，所述第一点的纸面坐标已知，所述笔尖点击的第一点不在所拍摄的所述第一图像中；

处理单元，用于依据所述第一图像上的图像信息获取第一变换函数，包括：

所述处理单元具体用于对所述第一图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；

依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第一变换函数，其中处理单元具体用于获取3*3的第一透视变换矩阵；

计算单元，用于依据所述第一点的纸面坐标和第一变换函数计算所述第一点的图像坐标，依据所述第一点的图像坐标获取笔尖图像坐标，其中包括：

用于对所述透视变换矩阵求逆得到所述透视变换逆矩阵；所述第一点的图像坐标等于所述第一透视变换逆矩阵乘以第一点的纸面坐标乘以第一比例系数，所述第一比例系数为所述第一透视变换逆矩阵乘以第一点的纸面坐标所得结果的齐次项的倒数；

笔迹单元，用于根据该笔尖的图像坐标和所述第一变换函数求解笔尖的纸面坐标。

11.根据权利要求10所述的装置，其中所述装置还包括：

校正单元，用于通过点击纸面上其他的纸面坐标已知的预设点，对所述笔尖图像坐标进行校正。

12.根据权利要求11所述的装置，其中所述校正单元对所述笔尖图像坐标进行校正，具体包括：

步骤一：当用户通过笔尖点击纸面中的第N点时，获取拍摄的第N图像，所述第N点的纸面坐标已知；

步骤二：依据所述第N图像上的图像信息获取第N变换函数；

步骤三：依据所述第N点的纸面坐标以及第N变换函数计算所述第N点的图像坐标，其中N为大于等于2的整数；

在笔尖位置移动时，重复所述步骤一至步骤三计算出笔尖位置的M个图像坐标，其中M为正整数；

依据第一点及所述M个图像坐标校正笔尖图像坐标。

13.根据权利要求12所述的装置，其中依据所述第N图像上的图像信息获取第N变换函数包括：

对所述第N图像进行图像分析得到图像中至少4个点的图像坐标和纸面坐标；

依据所述至少4个点的图像坐标、纸面坐标计算出从图像坐标变换到纸面坐标的第N变换函数。

14.根据权利要求13所述的装置，其中获取第N变换函数包括获取3*3的第N透视变换矩阵；

依据所述第N点的纸面坐标以及第N变换函数计算所述第N点的图像坐标包括：

对所述第N透视变换矩阵求逆得到第N透视变换逆矩阵；

所述第N点的图像坐标等于所述第N透视变换逆矩阵乘以第N点的纸面坐标乘以第N比例系数，所述第N比例系数为所述第N透视变换逆矩阵乘以第N点的纸面坐标所得结果的齐次项的倒数。

15.根据权利要求13所述的装置，其中依据第一点的图像坐标及所述M个图像坐标校正笔尖图像坐标包括：

删除所述M个图像坐标和第一点的图像坐标中的异常值后得到X个图像坐标，将X个图像坐标的平均值作为笔尖图像坐标；

或将第一点的图像坐标和所述M个图像坐标的平均值作为笔尖图像坐标。

16.根据权利要求10-15任一项所述的装置，其中，所述笔迹单元，还用于获取用户书写时的多个实测图像；依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数；依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标，依据所述多个笔尖纸面坐标得到用户笔迹。

17.根据权利要求16所述的装置，其中依据所述多个实测图像的图像信息获取所述多个实测图像对应的多个实测变换函数包括：

对多个实测图像的每个图像信息分析得到每个图像中至少4个点的图像坐标和纸面坐标；

依据所述至少4个点的图像坐标和纸面坐标计算出从图像坐标变换到纸面坐标的所述多个实测图像对应的多个实测变换函数。

18.根据权利要求16所述的装置，其中获取所述多个实测图像对应的多个实测变换函数包括获取所述多个实测图像对应的3*3的透视变换矩阵；

依据所述多个实测变换函数和所述笔尖图像坐标，获取多个笔尖纸面坐标包括：

所述多个笔尖纸面坐标等于所述笔尖图像坐标乘以所述多个实测图像对应的3*3的透视变换矩阵乘以对应的比例系数；

所述比例系数为所述笔尖图像坐标乘以对应的透视变换矩阵所得结果的齐次项的倒数。

19.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9任意一项所述的笔尖位置求解方法。

Images