CN102833460A - 图像处理方法、图像处理设备及扫描仪 - Google Patents

Abstract

本发明提供一种图像处理方法、图像处理设备和扫描仪。该图像处理方法主要包括：求拍摄装置获得的二维图像中的弯曲表面的消失点，通过该消失点求弯曲表面上下轮廓线之间的所有直线段；去除透视变形，使得相交直线段变成平行直线段；求得上述直线段的长度，通过该长度求得每个直线段在三维空间中的实际宽度，以及所述直线段的深度增量；通过所述实际宽度和所述深度增量得到每个直线段的扩展宽度；将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，以便将所述弯曲表面转换为平坦表面；通过弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。该方法可用来矫正带有畸变的书页图像。

Description

图像处理方法、图像处理设备及扫描仪

技术领域

本发明涉及图像处理领域，具体地涉及一种对拍摄的图像进行去畸变的图像处理方法。

背景技术

在通过非接触式扫描仪或照相机拍摄书本的图像时，由于书本具有一定厚度，该书本将具有一定的弯曲。结果，由扫描仪或照相机拍摄的图像将会具有弯曲造成的几何畸变。图1a示出了由非接触式扫描仪扫描的书本图像的示例，该图像具有由弯曲造成的畸变。阅读该书本中的内容比较吃力，而且使用这样的畸变图像用于后续操作，识别准确率也较低。

已提出了多种方法来矫正畸变书本图像中的畸变。传统的书本图像矫正方法可以分为两大类：与内容无关的矫正方法和基于内容的矫正方法。

对于与内容无关的矫正方法，用户需要设一种网格纸，并把它紧贴着放在打开的弯曲书页上。放在书页上方的相机可以得到网格纸的图像，然后通过检测到的网格建立书曲面模型，并得到矫正前后的网格映射关系。在保持书本不动的条件下，轻取下网格纸，再用相机得到书页的图像，根据网格映射关系，可以把弯曲书页映射成平面书页。这种方式的缺点是：对用户来说用一张网格纸来每次标定书的页面会非常不方便。

对于基于内容的矫正方法，已有很多基于不同书页内容的不同矫正方法，典型的书页内容如连续的行间隔骨架、基于词的倾斜纠偏、基于文本行的书页曲面提取、基于文本行脊的曲线提取等。这些方法有一些使用范围限制，因为它们假定书页内含有很长的文本行。但是对于很多的书图像，书页不含长文本，甚至只有图片。

发明内容

鉴于以上问题，本发明的实施例提出一种基于书的上下轮廓线的书页曲面矫正方法。这种方法是属于与内容无关的矫正方法。

根据本发明实施例，提供一种图像处理方法，包括：在拍摄装置获得的二维图像中的弯曲表面上求消失点；在所述弯曲表面上以特定单位的宽度提取所述消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，所述直线彼此邻接且在所述消失点处相交；去除所述弯曲表面的透视变形，使得所述相交的直线变成平行的直线；求得所述直线在所述上轮廓线和下轮廓线之间的直线段的长度，通过所述长度求得每个所述直线段在三维空间中的实际宽度，以及所述直线段的深度增量；通过所述实际宽度和所述深度增量得到每个所述直线段的扩展宽度；将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，以便将所述弯曲表面转换为平坦表面；通过所述弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。

根据本发明另一实施例，提供一种图像处理设备，该图像处理设备包括：消失点获取装置，用于在拍摄装置获得的二维图像中的弯曲表面上求消失点；提取装置，用于在所述弯曲表面上以特定单位的宽度提取所述消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，所述直线彼此邻接且在消失点处相交；透视变形去除装置，用于去除所述弯曲表面的透视变形，使得所述相交的直线变成平行的直线；扩展宽度获取装置，用于求得所述直线在所述上轮廓线和下轮廓线之间的直线段的长度，通过所述长度求得每个所述直线段在三维空间中的实际宽度，以及所述直线段的深度增量；通过所述实际宽度和所述深度增量得到每个所述直线段的扩展宽度；将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，从而将所述弯曲表面转换为平坦表面；图像转换装置，用于通过所述弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。

根据本发明另一实施例，提供一种扫描仪，该扫描仪可以包括上述的根据本发明实施例的图像处理设备

根据本发明实施例，还提供了一种存储有机器可读取的指令代码的程序产品，该指令代码由机器读取并执行时，可执行上述的图像处理方法。

根据本发明实施例，还提供一种存储介质，其承载有机器可读取的指令代码，所述指令代码由机器读取并执行时，可执行上述的图像处理方法。

通过利用根据本发明实施例的上述图像处理技术，可以便捷地去除带有畸变的书页中的变形，以便利对书页图像进行的图像识别等其他后续处理的顺利进行。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，使其相对于在依据本发明实际制造的示例性装置中的其它部件变得更大。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1a和图1b分别示出了由非接触式扫描仪扫描的书本图像及其三维模型的示例；

图2是根据本发明实施例的用于矫正书面的弯曲导致的畸变并最终将书面内容展平的处理流程图；

图3(a)-(c)示出了根据本发明实施例的图像处理方法的三个主要步骤的示意图；

图4是求解直线段的扩展宽度的示意图；

图5是用于将原始图像上的内容转换到畸变矫正后的图像上时进行的映射变换的示意图；

图6(a)-(d)是示出示出矫正前后的图像对比的示意图；

图7是示出根据本发明又一实施例的图像处理设备的配置的框图；以及

图8是示出了可用来实现根据本发明实施例的图像处理方法的通用计算机系统的结构简图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图2示出了根据本发明实施例的一种图像处理方法的流程简图。如图所示，该图像处理方法200开始于S210，接着包括：在拍摄装置获得的二维图像中的弯曲表面上求消失点(S220)；在该弯曲表面上以特定单位的宽度提取消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，这些直线彼此邻接且在消失点处相交(S230)；去除弯曲表面的透视变形，使得相交的直线变成平行的直线(S240)；求得上述直线在上轮廓线和下轮廓线之间的直线段的长度，通过这些长度求得每个直线段在三维空间中的实际宽度，以及直线段的深度增量(S250)；通过实际宽度和深度增量得到每个直线段的扩展宽度(S260)；将所有直线段的扩展宽度相加，求得弯曲表面的整体扩展宽度，以便将该弯曲表面转换为平坦表面(S270)；以及，通过上述弯曲表面和平坦表面上的点之间的对应关系将弯曲表面上的图像内容转换到平坦表面上(S280)。然后，处理结束(S290)。

下面参考各个附图详细说明对书页曲面进行矫正的处理，作为上述根据本发明实施例的图像处理方法的示例。

本发明的该示例的处理利用了一种简单的三维书页曲面模型，如图1b所示。假定打开的书页曲面是一种柱面形状，它由三维空间中很多的平行线组成。在二维图像空间中，所有的线有一个共同的交点，即“消失点”。从图1b中可看到，该书页曲面具有弯曲导致的几何变形，以及由于成像装置与书面的角度导致的透视变形。

首先，描述图2中方法200的步骤S210的获取消失点的处理的一个具体例子。参考图1b，书的两页可以共享一个消失点、即由两页的六个控制点(书两页的四个角点1、3、4、6和书中线的两个端点2、5)计算消失点；或者，书的每页单独拥有一个消失点、即每页的消失点分别通过每页的四个控制点(左页为1、2、4、5，右页为2、3、5、6)单独计算。在两页可以共享一个消失点的情况下，如果如图1b中所示的三条直线不交于一点，则可通过例如最小二乘算法求出三条线的交点。获取消失点的方式包括但不限于通过控制点获取消失点。如何获取控制点可从现有技术中得到相关的教导，且不是本发明的发明重点，在此不对其赘述。

接着描述图2的方法200中步骤S220的处理的一个具体例子。在该例子的处理中，提取消失点与书页下轮廓线上所有点之间的直线。在此假定下轮廓线比上轮廓线长，如果上轮廓线更长，消失点将位于图1b中下轮廓线的下方，此时将提取消失点与书页上轮廓线上所有点之间的直线。这些直线在三维图像中是相互邻近且平行的。这样就得到了所需要的直线段，这些直线段的起始端点位于上轮廓线上、终止端点位于下轮廓线上，如图1b的书页中的虚线所示。直线段的宽度可以是一个像素，也可以小于或大于一个像素，可根据实际精度需要进行选择。在此假定以一个像素为单位进行该提取处理。

在图2的方法200步骤S230中，去除透视变形，从而把书页曲面上所有的相交线段转变成平行线段。在此透视变形的去除例如可通过单应性矩阵(homography matrix)来实现。关于单应性矩阵的求解、去除透视变形的方法，可参见论文“Perspective Correction Methods forCamera-Based Document Analysis”(L.Jagannathan，C.V.Jawahar，印度海德拉巴国际信息技术协会，视觉信息技术中心)，和R.Hartley，A.Zisserman的“Multiple View Geometry in Computer Vision”，剑桥大学出版社于2000年出版。去除透视变形之后的图如图3(b)所示。如前所述，如果成像装置垂直于书页所在的平面来成像，则不存在这种透视变形，因而也不必执行该去除透视变形的步骤。

如图3中所示，在去除透视变形之后，在去除了透视变形的书面图像的基础上进行去除几何变形的处理。

现在返回参考图2，在方法200的步骤S240，计算所有平行线段的长度length(x_i)(即成像长度)、实际宽度dx_i以及深度增量dz_i，其中i是直线段的编号，且为1至m中的任一个数(m是直线段的数量)，x_i是直线段i的横坐标。其中坐标系可以如下设置：在图3(b)所示的书页图像上，以水平方向为横坐标，以垂直方向为纵坐标，坐标原点可以设为书中线下端点或任何其他适当的位置。

下面对上述长度、实际宽度和深度增量的求解的例子一一进行说明。

直线段i的长度length(x_i)可通过直线段与上下轮廓线的交点的纵坐标来求得，即：

length(x_i)＝|y_top(x_i)-y_bottom(x_i)|                     (1)

所有直线段的真实长度(即在三维空间中的长度)都相同(书页的每列高度都一样)，然而由于书面的弯曲，直线段的成像长度并不相同。直线段越接近成像装置(在该实施例中为扫描仪)，则它的成像长度越长。所以直线段的成像长度与它们同成像装置的距离成反比。

实际宽度dx_i：对于图3b的中间书页(去除透视变形后的书页)，所提取的直线段的宽度为1个像素，然而每条线段都是在不同的深度(此处的深度为透镜焦点到直线段的距离)下观测到的。如果在同一深度下观看，那么此时观看的是书页曲面在水平方向上的投影，此时观测到的宽度称之为实际宽度dx_i。当成像宽度都相同时，如果线段越接近成像装置，其实际宽度越窄，越远离成像装置，其实际宽度越宽。因此直线段的实际宽度与成像距离成正比，与成像长度成反比。则直线段i的实际宽度为：

dx_i＝C_x/length(x_i)                            (2)

其中C_x是一个常量。如果把最长的那根线段在矫正后的图中的实际宽度限定为一个像素，即C_x＝Max(length(x_i))，那么其他线段的实际宽度都将大于一个像素。在此C_x的取值可根据实际情况的需要进行选择，或者根据经验值确定，而不限于以上给出的例子。

深度增量dz_i：相邻两条线段，它们的成像距离、即到透镜焦点的距离可能不同。如上所述，越远离透镜焦点，直线段的成像长度越短，因此直线段的成像距离与直线段的成像长度成反比，即：

z_i＝C_z/length(x_i)                             (3)

其中C_z＝k*C_x，是一个常量，k代表一个常量系数，可以根据实际情况，比如成像装置的相关参数等来确定。

成像距离之差被称为深度增量。由此可得，直线段i的深度增量为dz_i＝C_z*(1/length(x_i)-1/length(x_i-1))              (4)

深度增量的确定方法不限于此，例如直线段i的深度增量可以是其在长度方向上的两个边到所述拍摄装置的透镜焦点的距离之差。

接着，在图2中方法200的步骤S250，通过实际宽度dx_i和深度增量dz_i计算平行的直线段的扩展宽度。扩展宽度是将书面展平时的宽度。下面参考图4具体描述计算该扩展宽度ds_i的过程的一个具体例子。

在图4中，x轴表示如图3(b)中所示的水平方向，z轴表示如图3(b)中所示从书页图像到观察者的方向，直线段i的扩展宽度ds_i与实际宽度dx_i和深度增量dz_i构成了一个直角三角形，根据勾股定理，可以得到：

${\mathrm{ds}}_i=\sqrt{{\left({\mathrm{dx}}_i\right)}^2+{\left({\mathrm{dz}}_i\right)}^2}---\left(5\right)$

然后，在图2中方法200的步骤S260中，通过每个直线段的扩展宽度得到弯曲书页的整体扩展宽度。弯曲书页的整体扩展宽度等于所有平行线段的曲面宽度的累积求和，即S＝sum ds_i(i＝1，2……m)。这样就得到了把书展平之后的真实宽度，从而把弯曲的书面展平，如图3(c)所示。

以上处理利用了书页的上下轮廓线，书页上下轮廓线可以通过全自动或者半自动的方法找到，所以用户很容易操作这种矫正方法。

接着，在图2中方法200的步骤S270，把原始书页(以下称为输入图)上的内容转换到矫正后的书页(以下称为输出图)上。

下面参考图5对该转换的过程的一个具体例子进行详细说明，在图5中该转换过程称为“矫正映射变换”。首先为输出图中的垂直列(如点(x，y₀)与点(x，y₁)限定的直线段)找到输入图中对应的竖线段(点(x₀’，y₀’)与点(x₁’，y₁’)限定的竖线段)。参考图5，相对应的垂直列和竖线段之间满足如下关系，即右侧图中宽度比例r＝x/W等于左侧图中的扩展后的宽度比例r’＝S(x’₁)/S(x’_b)，其中

通过该比例关系寻找左侧图中相对应的竖线段。

然后为垂直列上的每一点找到竖线段上对应的点。下面详细说明寻找上述对应的点的过程的一个例子。对于右图垂直列((x，y₀)和(x，y₁)限定的垂直列)上的每一像素点(x，y)，它在左图竖线段上的对应点可以通过如下公式计算得到：

y’＝(y+c_x)/(a_xy+b_x)                                (6)

其中，a_x是同消失点相关的常量系数，b_x和c_x是同消失点和平坦表面上的横坐标x相关的常量系数，例如可通过试验获得或者根据经验值获得。假定左侧图中所有竖线段相交的消失点为(x’_vanish，y’_vanish)，右侧图中所有垂直列的消失点的y坐标为∞，则通过公式(6)，可以得到y’_vanish＝(∞+c_x)/(a_x∞+b_x)＝1/a_x，可得a_x＝1/y’_vanish，对于二维的平行线来说，这个“消失点”可能在无穷远的位置，那么a_x取值为零。其他两个系数b_x和c_x，可以通过解如下方程组得到：

y’₀＝(y₀+c_x)/(a_xy₀+b_x)

y’₁＝(y₁+c_x)/(a_xy₁+b_x)                            (7)

因此y’坐标可以通过y坐标计算得到，而且x’坐标可以由竖线段上的直线段的比例关系得到，即x’＝x’₀+(x’₁-x’₀)(y’-y’₀)/(y’₁-y’₀)。其中，用来通过比例关系求x’坐标的点不限于(x₀’，y₀’)和(x₁’，y₁’)，可以使用任何已求得其坐标的点。这样就得到了与右图垂直列上的点(x，y)相对应的左图中竖线段上的点的坐标(x’，y’)。

最后，可以从图5左侧图中点(x’，y’)的邻域点像素值通过双线性插值得到右侧图中点(x，y)的像素值，从而得到展平的书页图像的内容，如图1b所示。求取左侧图像中任意一点的像素值的方法不限于双线性插值，可以使用任何适当的插值方法，只要能得到右侧图中点(x，y)的像素值。例如，可使用三次插值、B样条插值、高斯插值等。

总之，根据本发明实施例的图像处理方法获取曲面书页的实际宽度，并把它展成平面书页。仅通过书页上轮廓或者下轮廓来估计曲面书页的扩展宽度是不准确的，因为真实的书页截面弯曲形状与轮廓形状不同。根据本发明实施例的方法，通过线段在由拍摄装置所拍摄的图像中的长度来估计它们实际的展开的宽度，并通过对这种实际的展开宽度进行累积得到书页扩展的宽度，由此获得被展平后的书页。在得到展平的书页之后，通过寻找原始拍摄图像的曲面上与展平后平面上一一对应的点，来将原始图像的内容变换到展平的平面上。因为在书本的真实宽度上呈现书本的内容，所以本发明呈现了更好的视觉效果。此外，该方法是与内容无关的方法，不需要使用长文本行或其他内容信息，因此不论是图片还是文本都能获得较好的效果，如图6a-6d中所示。

应注意的是，上述的用于寻找原始拍摄的书页曲面和展平后平面之间对应点位置的映射处理、用于求取对应点的像素值的插值处理不限于在去掉几何变形之后进行。如图3所示，可以在去除透视变形之后进行第一次映射和插值处理，在去除几何变形之后在去除透视变形的图像和展平图像之间进行第二次映射和插值处理。

在实施例中采用了拍摄书籍的表面作为例子，然而本发明的实施例的图像处理方法不限于此，还可以应用于其他表面，只要该表面被拍摄时有弯曲畸变，都可以采用本发明实施例的图像处理方法进行校正。

与本发明实施例提供的图像处理方法相对应，本发明实施例还提供了一种图像处理设备，参见图7，该设备包括：

消失点获取装置710，被配置为在拍摄装置获得的二维图像中的弯曲表面上求消失点；

提取装置720，被配置为在弯曲表面上以特定单位的宽度提取消失点与弯曲表面上的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，该直线彼此邻接且在消失点处相交；

透视变形去除装置730，被配置为去除上述弯曲表面的透视变形，使得相交的直线变成平行的直线；

扩展宽度获取装置740，被配置为求得上述直线在上轮廓线和下轮廓线之间的直线段的长度，通过该长度求得每个直线段在三维空间中的实际宽度，以及直线段的深度增量；通过实际宽度和深度增量得到每个直线段的扩展宽度；将所有直线段的扩展宽度相加，求得弯曲表面的整体扩展宽度，从而将弯曲表面转换为平坦表面；

图像转换装置750，被配置为通过弯曲表面和平坦表面上的点之间的对应关系将弯曲表面上的图像内容转换到平坦表面上。

需要说明的是，本发明实施例所述的图像处理设备及其各个组成部件可以被配置成执行与前述方法实施例相类似的处理，因此，设备实施例中未详述部分，请参见方法实施例中相应描述，这里不再赘述。

根据本发明的其他实施例，可以在例如扫描仪等的成像设备中配备根据本发明上述实施例的图像处理装置，从而使得其可以具备上述的各种图像处理功能。

上面已通过框图、流程图和/或实施例进行了详细描述，阐明了根据本发明的实施例的装置和/或方法的不同实施方式。当这些框图、流程图和/或实施例包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

例如，上述图2中所示的用于矫正书面的弯曲导致的畸变并最终将书面内容展平的处理流程图中的各个步骤可以通过软件、固件、硬件或其任意组合的方式来执行。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机(例如图8所示的通用计算机800)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能。

图8是示出了可作为用来实现根据本发明实施例的图像处理方法的信息处理设备的通用计算机系统的结构简图。计算机系统800只是一个示例，并非暗示对本发明的方法和装置的使用范围或者功能的局限。也不应将计算机系统800解释为对示例性操作系统800中示出的任一组件或其组合具有依赖或需求。

在图8中，中央处理单元(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM 803中，还根据需要存储当CPU 801执行各种处理等等时所需的数据。CPU 801、ROM 802和RAM 803经由总线804彼此连接。输入/输出接口805也连接到总线804。

下述部件也连接到输入/输出接口805：输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡例如LAN卡、调制解调器等)。通信部分809经由网络例如因特网执行通信处理。根据需要，驱动器810也可连接到输入/输出接口805。可拆卸介质811例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器810上，使得从中读出的计算机程序可根据需要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质811安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

因此，本发明还提出了一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的图像处理方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本发明的公开中。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。涉及序数的术语“第一”，“第二”等并不表示这些术语所限定的特征、要素、步骤或组件的实施顺序或者重要性程度，而仅仅是为了描述清楚起见而用于在这些特征、要素、步骤或组件之间进行标识。

此外，本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

关于包括以上实施例的实施方式，还公开下述附记：

附记1.一种图像处理方法，包括：

在拍摄装置获得的二维图像中的弯曲表面上求消失点；

在所述弯曲表面上以特定单位的宽度提取所述消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，所述直线彼此邻接，且在所述消失点处相交；

去除所述弯曲表面的透视变形，使得所述相交的直线变成平行的直线；

求得所述直线在所述上轮廓线和下轮廓线之间的直线段的长度，通过所述长度求得每个所述直线段在三维空间中的实际宽度，以及所述直线段的深度增量；

通过所述实际宽度和所述深度增量得到每个所述直线段的扩展宽度；

将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，以便将所述弯曲表面转换为平坦表面；

通过所述弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。

附记2.根据附记1所述的图像处理方法，其中通过对所述实际宽度和所述深度增量求平方和，再对该平方和求平方根，得到每个所述直线段的扩展宽度。

附记3.根据附记1或2所述的图像处理方法，其中所述平坦表面上的点与所述弯曲表面上的对应点之间的对应关系通过下式表示：

y’＝(y+c_x)/(a_xy+b_x)

x’＝x’₀+(x’₁-x’₀)(y’-y’₀)/(y’₁-y’₀)

其中，a_x是与所述直线段的消失点有关的常数，b_x和c_x是与所述直线段的消失点和x有关的常数，x和y分别是所述平坦表面上的点的横坐标和纵坐标，x’和y’分别是所述弯曲表面上的对应点的横坐标和纵坐标，x’₀和y’₀以及x’₁和y’₁分别是在所述弯曲表面上、与平坦表面上的坐标(x，y)所在直线段相对应的直线段上的任意点的横坐标和纵坐标。

附记4.根据附记1-3中任一项所述的图像处理方法，其中所述深度增量是所述直线段到所述拍摄装置的透镜焦点的距离和与所述直线段邻接的直线段到所述拍摄装置的透镜焦点的距离之差。

附记5.根据附记1-3中任一项所述的图像处理方法，其中所述深度增量是所述直线段在长度方向上的两个边到所述拍摄装置的透镜焦点的距离之差。

附记6.根据附记1-5中任一项所述的方法，其中通过所述弯曲表面的上轮廓线和下轮廓线上的角点求得所述消失点。

附记7.根据附记1-6中任一项所述的方法，其中所述弯曲表面是由拍摄装置获得的二维图像形式的书籍表面。

附记8.一种图像处理设备，包括：

消失点获取装置，用于在拍摄装置获得的二维图像中的弯曲表面上求消失点；

提取装置，用于在所述弯曲表面上以特定单位的宽度提取所述消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，所述直线彼此邻接，且在所述消失点处相交；

透视变形消除去除装置，用于去除所述弯曲表面的透视变形，使得相交的直线变成平行的直线；

扩展宽度获取装置，用于求得所述直线在所述上轮廓线和下轮廓线之间的直线段的长度，通过所述长度求得每个所述直线段在三维空间中的实际宽度，以及所述直线段的深度增量；通过所述实际宽度和所述深度增量得到每个所述直线段的扩展宽度；将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，从而将所述弯曲表面转换为平坦表面；

图像转换装置，用于通过所述弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。

附记9.根据附记8所述的图像处理设备，其中所述扩展宽度获取装置通过对所述实际宽度和所述深度增量求平方和，再对该平方和求平方根，得到每个所述直线段的扩展宽度。

附记10.根据附记8或9所述的图像处理设备，其中所述平坦表面上的点与所述弯曲表面上的对应点之间的对应关系通过下式表示：

y’＝(y+c_x)/(a_xy+b_x)

x’＝x’₀+(x’₁-x’₀)(y’-y’₀)/(y’₁-y’₀)

其中，a_x是与所述直线段的消失点有关的常数，b_x和c_x是与所述直线段的消失点和x有关的常数，x和y分别是所述平坦表面上的点的横坐标和纵坐标，x’和y’分别是所述弯曲表面上的对应点的横坐标和纵坐标，x’₀和y’₀以及x’₁和y’₁分别是在所述弯曲表面上、与平坦表面上的坐标(x，y)所在直线段相对应的直线段上的任意点的横坐标和纵坐标。

附记11.根据附记8-10中的任一项所述的图像处理设备，其中所述深度增量是所述直线段到所述拍摄装置的透镜焦点的距离和与所述直线段邻接的直线段到所述拍摄装置的透镜焦点的距离之差。

附记12.根据附记8-10中的任一项所述的图像处理设备，其中所述深度增量是所述直线段在长度方向上的两个边到所述拍摄装置的透镜焦点的距离之差。

附记13.根据附记8-12中的任一项所述的图像处理设备，其中所述消失点获取装置通过所述弯曲表面的上轮廓线和下轮廓线上的角点求得所述消失点。

附记14.根据附记8-13中的任一项所述的图像处理设备，其中所述弯曲表面是由拍摄装置获得的二维图像形式的书籍表面。

附记15.一种扫描仪，包括如附记8-14中的任一项所述的图像处理设备。

附记16.一种计算机程序，该计算机程序在计算机上运行时执行根据附记1-7中的任一项所述的方法。

附记17.一种存储介质，在该存储介质上存储有计算机程序，该计算机程序在计算机上运行时执行根据附记1-7中的任一项所述的方法。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

Claims (10)

1.一种图像处理方法，包括：

在拍摄装置获得的二维图像中的弯曲表面上求消失点；

在所述弯曲表面上以特定单位的宽度提取所述消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，所述直线彼此邻接且在所述消失点处相交；

去除所述弯曲表面的透视变形，使得所述相交的直线变成平行的直线；

求得所述直线在所述上轮廓线和下轮廓线之间的直线段的长度，通过所述长度求得每个所述直线段在三维空间中的实际宽度，以及所述直线段的深度增量；

通过所述实际宽度和所述深度增量得到每个所述直线段的扩展宽度；

将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，以便将所述弯曲表面转换为平坦表面；

通过所述弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。

2.根据权利要求1所述的图像处理方法，其中通过对所述实际宽度和所述深度增量求平方和，再对该平方和求平方根，得到每个所述直线段的扩展宽度。

3.根据权利要求1或2所述的图像处理方法，其中所述平坦表面上的点与所述弯曲表面上的对应点之间的对应关系通过下式表示：

y’＝(y+c_x)/(a_xy+b_x)

x’＝x’₀+(x’₁-x’₀)(y’-y’₀)/(y’₁-y’₀)

其中，a_x是与所述直线段的消失点有关的常数，b_x和c_x是与所述直线段的消失点和x有关的常数，x和y分别是所述平坦表面上的点的横坐标和纵坐标，x’和y’分别是所述弯曲表面上的对应点的横坐标和纵坐标，x’₀和y’₀以及x’₁和y’₁分别是在所述弯曲表面上、与平坦表面上的坐标(x，y)所在直线段相对应的直线段上的任意点的横坐标和纵坐标。

4.根据权利要求1所述的图像处理方法，其中所述深度增量是所述直线段到所述拍摄装置的透镜焦点的距离和与所述直线段邻接的直线段到所述拍摄装置的透镜焦点的距离之差。

5.根据权利要求1所述的图像处理方法，其中所述深度增量是所述直线段在长度方向上的两个边到所述拍摄装置的透镜焦点的距离之差。

6.根据权利要求1所述的图像处理方法，其中通过所述弯曲表面的上轮廓线和下轮廓线上的角点求得所述消失点。

7.根据权利要求1所述的图像处理方法，其中所述弯曲表面是由拍摄装置获得的二维图像形式的书籍表面。

8.一种图像处理设备，包括：

消失点获取装置，用于在拍摄装置获得的二维图像中的弯曲表面上求消失点；

提取装置，用于在所述弯曲表面上以特定单位的宽度提取所述消失点与弯曲表面的上轮廓线和下轮廓线之中较长的轮廓线之间所有的直线，所述直线彼此邻接，且在所述消失点处相交；

透视变形去除装置，用于去除所述弯曲表面的透视变形，使得所述相交的直线变成平行的直线；

扩展宽度获取装置，用于求得所述直线在所述上轮廓线和下轮廓线之间的直线段的长度，通过所述长度求得每个所述直线段在三维空间中的实际宽度，以及所述直线段的深度增量；通过所述实际宽度和所述深度增量得到每个所述直线段的扩展宽度；将所有所述直线段的扩展宽度相加，求得所述弯曲表面的整体扩展宽度，从而将所述弯曲表面转换为平坦表面；

图像转换装置，用于通过所述弯曲表面和所述平坦表面上的点之间的对应关系将所述弯曲表面上的图像内容转换到所述平坦表面上。

9.根据权利要求8所述的图像处理设备，其中所述扩展宽度获取装置通过对所述实际宽度和所述深度增量求平方和，再对该平方和求平方根，得到每个所述直线段的扩展宽度。

10.一种扫描仪，包括如权利要求8或9所述的图像处理设备。

Images