CN110533618B - 一种镜头畸变矫正的方法和照相装置 - Google Patents

Abstract

本发明所述镜头畸变矫正的方法和照相装置，属于视频成像领域，包括矫正参数模块、控制模块、镜头模块、感光器件、图像矫正模块、显示模块和存储模块；针对不同镜头和感光器件的组合，测量得到对应的参数值，通过反向计算可将感光器件拍摄到图像的径向畸变快速矫正；所述的拍照装置即使用所述的矫正方法，针对特定镜头和感光器件，创建在不同焦距下的矫正参数序列，拍照时，实时地进行取景和拍摄的矫正计算；本发明的特点在于简单快速，所述方法可在多种硬件条件下实现，所述的装置用于工业测量，视频检测等应用时，可有效提高测量精度，用于拍照时可提升画面保真度，还原真实场景。

Description

一种镜头畸变矫正的方法和照相装置

技术领域

本发明属于视频成像领域，特别涉及到一种镜头畸变矫正的方法和照相装置。

背景技术

所有的视频成像系统中，都由镜头和感光器件组成，通常镜头由于光学特性限制，总会有畸变产生，尽管通过使用非球面透镜，多种透镜组合的方式，可以最大限度的减小镜头自身的畸变，但目前的技术手段，仍然无法生产出完全没有畸变的镜头，尤其对于可变焦距镜头，基本上无法同时满足在长焦距和短焦距时都具有较小的畸变。

在使用胶片作为感光器件的时候，视频成像的畸变将取决于镜头，当使用电子感光器件时，视频图像信号被直接转换为数字化的电信号，进一步可以由计算机技术进行处理，对镜头的畸变进行矫正，从而得到更加真实的视频图像。

镜头产生的畸变主要由径向畸变和切向畸变构成，其中切向畸变主要由于镜头的光轴和感光器件不垂直而造成，在现代加工工艺条件下，切向畸变基本可以忽略，故本发明所述方法和照相装置是针对镜头的径向畸变进行矫正的。

镜头的径向畸变可分为桶形畸变和枕形畸变，这两种畸变产生的原因，都是在以镜头光轴与成像平面的交点为原点，且垂直于光轴的平面为坐标平面的极坐标系内，镜头在感光器件上的实际成像和理想的无畸变的成像，沿径向方向不成线性关系，对于桶形畸变，离原点更远的像素，实际成像点比理想无畸变的成像点，距离原点更近；对于枕形畸变则相反，离原点更远的像素，实际成像点比理想无畸变的成像点，距离原点更远；以数学描述可表达为：

r_d＝f(r) (1)

其中r_d为实际成像点的像素坐标到原点的距离，r为理想无畸变成像点像素坐标到原点的距离。

通常情况下，(1)式中的函数f并非简单函数，对于鱼眼镜头等，具有大拍摄角度的镜头，f甚至不能使用解析函数来表达，对于可变焦距镜头，f也不是一成不变的，例如有些可变焦距镜头在长焦距时，畸变为枕形畸变，而在短焦距时畸变为桶形畸变；但对于一般应用场景，如普通拍照相机、工业摄像机、光学测量摄像机等，其镜头本身径向畸变和鱼眼镜头比，相对较小，f可以用简单函数近似描述，或者使用简单函数的组合来描述。

发明内容

本发明旨在解决上述问题，针对镜头径向畸变较小的使用场景，可以通过使用简单函数来描述径向畸变的非线性关系。

本发明所述镜头畸变矫正的方法，根据镜头径向畸变的特征，在以镜头光轴与成像平面的交点为原点，且垂直于光轴的平面为坐标平面的极坐标系内，将镜头的径向畸变表达为：

r_d＝K(r)·r

其中r_d为实际成像点的像素坐标到原点的距离；r为理想无畸变成像点像素坐标到原点的距离；K(r)是接近常量1的一个函数，r→0时，K→1，桶形畸变时，K随r单调递减，枕形畸变时，K随r单调递增；

在本方法中，选择用自然常数e为底的指数函数(即e^x函数)来近似替代K函数，这是因为：e^x函数是物理学中，大多数衰减、传导过程的趋势函数，符合一般物理规律；e^x函数是符合K函数特征的最简单的非线性单调函数；使用e^x作为K函数的近似函数，可以用一个表达式同时描述桶形畸变和枕形畸变，以及零畸变；带有数学协处理器的CPU和GPU都包含了e^x函数的快速计算指令，可实现计算机的快速计算；在镜头畸变本身较小的情况下，K函数按照泰勒级数展开时，常数1占有主导地位，其它高次项占得比重较小，这一趋势和x→0的e^x的特性非常接近；使用e^x近似表达K函数时，对于固定焦距镜头和特定感光器件的组合，可使用单一参数描述整个畸变程度，对于可变焦距镜头和特定感光器件的组合，焦距确定时，具有特定的参数描述对应焦距下的畸变程度，整个可变焦距镜头的畸变参数，可以描述为一个以镜头焦距为自变量的函数。

对于枕形畸变，任意非原点的像素，实际成像点比理想无畸变的成像点，离原点要远，且这种远离程度随像素到原点的距离增大而增加，以e^x近似K函数时，可表达为：

r_d＝e^a·r·r …a≥0 (3)

相反的，对于桶形畸变，任意非原点的像素，实际成像点比理想无畸变的成像点，距离原点要近，且这种缩近的程度随像素到原点的距离增大而增加；以e^x近似K函数时，可表达为：

进一步，将桶形畸变和枕形畸变可以统一形式的表达为：

r_d＝e^a·r·r …a为实数 (5)

当a<0时，代表了桶形畸变，当a>0时，代表了枕形畸变，当a＝0时，e^a·r≡1，本质上代表了没有径向畸变，即零畸变，|a|越大代表了畸变越严重；

对于固定焦距的镜头和感光器件的组合，当镜头和感光器件参数和特性确定时，a为一个常数；

对于可变焦距镜头和感光器件的组合，当镜头和感光器件参数和特性确定时，a为可变焦距镜头焦距F的函数，且该函数为连续的单调函数；

对于带有径向畸变的拍摄图像，通过测量法得到a，根据上式，进行反向计算，即可获得畸变更小的矫正图像；

对于理想无畸变图像的像素点坐标(x,y)，其对应的实际拍摄像素点坐标(x_d,y_d)可以通过带入(5)式求：

其中坐标(x₀,y₀)为极坐标系原点在实际拍摄图像直角坐标系的坐标，通常为实际拍摄照片的中心坐标，以实际拍摄照片坐标(x_d,y_d)的像素色值填充矫正后图像坐标(x,y)像素，即得到坐标(x,y)像素的矫正色值，进一步对图像所有可能的像素坐标(x,y)逐一计算得到矫正后的图像，即完成镜头畸变矫正。

本发明所述镜头畸变矫正的方法，所述对于固定焦距镜头，上述公式(6)中a可以采用测量法得到的具体过程为：使用由若干垂直线条和水平线条构成的平面图形作为被拍摄物，放置于被测量的镜头和感光器件组合的正前方且被拍摄物平面和镜头光轴垂直，在无畸变的理想成像中，所有水平线条和垂直线条的成像必然为直线，当镜头有桶形畸变时，实际拍摄图像的水平线条和垂直线条向图像中心收敛，当镜头有枕形畸变时，实际拍摄图像的水平线条和垂直线条向图像周围发散；

选择一个任意的a值，使用(6)式对实际拍摄到的图像进行矫正计算，得到矫正后的图像，使用计算机图形处理工具，如Photoshop等，对所有矫正后图像中的水平线条和垂直线条进行准直性对比，根据矫正后图像的畸变特征调整a值，矫正后的图像为桶形畸变时，减小a值，矫正后的图像为枕形畸变时，增加a值，调整a值后，再次使用(6)式进行矫正计算，重复以上步骤，直到找出矫正后图像畸变程度最小的a值。

本发明所述镜头畸变矫正的方法，所述对于可变焦距镜头，上述公式(6)中a可以采用多点采样的方式得到的具体过程为：分别对可变焦距镜头的多个焦距测量其焦距对应的a值，形成a值的参数序列；实际使用时，根据可变焦距镜头的实际焦距，使用数学插值的方法计算出与实际焦距所对应a的数学近似值，进一步使用计算的a的数学近似值代入(6)式对拍摄的图像进行矫正计算。

本发明所述镜头畸变矫正的方法，所述实际拍摄照片坐标(x_d,y_d)的像素色值使用数学图像插值算法计算获取；所述图像插值算法包括最近邻插值算法或双线性插值算法或三次插值算法。径向畸变表达式(5)、(6)均为连续函数表达式，拍摄的图像为数字化离散数据，经过上式计算得到的坐标(x_d,y_d)大多数情况下并不能与实际拍摄的像素坐标对齐，因此上实际拍摄照片坐标(x_d,y_d)的像素色值需要使用数学插值的方法计算获取。

本发明所述镜头畸变矫正的照相装置，包括矫正参数模块、控制模块、镜头模块、感光器件、图像矫正模块、显示模块和存储模块；所述矫正参数模块、控制模块、镜头模块、感光器件和图像矫正模块依次电连接；所述控制模块、图像矫正模块和显示模块依次电连接；所述控制模块、显示模块和存储模块依次电连接；所述控制模块与存储模块相电连接；所述矫正参数模块用于测量并创建镜头和感光器组合的矫正参数；对于可变焦距镜头，矫正参数模块根据控制模块发送的指令，计算当前使用的焦距条件下的矫正参数a；所述控制模块用于接收用户指令，并控制其他模块协同工作；所述镜头模块为用于成像的光学器件，并接受控制模块的指令进行焦距调整操作；所述感光器件用于将光学成像转换为数字化的电信号；所述图像矫正模块用于根据控制模块发送的指令，使用矫正参数模块提供的a值，对当前感光器件拍摄的图像进行实时的矫正计算；所述显示模块用于将图像矫正模块进行矫正计算后的图像信息，实时显示到显示屏上；所述存储模块用于根据控制模块的指令，进行照相或者拍摄视频操作，将图像信息或者视频信息存储到相应的存储媒体上。

本发明所述镜头畸变矫正的方法和照相装置针对不同镜头和感光器件的组合，测量得到对应的参数值，通过反向计算可将感光器件拍摄到图像的径向畸变快速矫正；所述的拍照装置即使用所述的矫正方法，针对特定镜头和感光器件，创建在不同焦距下的矫正参数序列，拍照时，实时地进行取景和拍摄的矫正计算；本发明的特点在于简单快速，所述方法可在多种硬件条件下实现，所述的装置用于工业测量，视频检测等应用时，可有效提高测量精度，用于拍照时可提升画面保真度，还原真实场景。

附图说明

图1是本发明原理示意图；

图2是本发明可变焦距镜头a和F关系示意图。

图3是本发明实施例1一种镜头畸变矫正的方法实现流程图；

图4是本发明实施例2一种镜头畸变矫正的照相装置结构图；

图5是工业摄像机拍摄的测量用方格底图；

图6是使用本发明的方法对测量用方格底图进行矫正后的效果图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行进一步描述，显然，所描述的实施例仅仅是本发明的部分实施例。基于本发明中的实施例，本领域中的普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

本发明所述镜头畸变矫正的方法，根据镜头径向畸变的特征，在以镜头光轴与成像平面的交点为原点，且垂直于光轴的平面为坐标平面的极坐标系内，将镜头的径向畸变表达为：

r_d＝K(r)·r

其中r_d为实际成像点的像素坐标到原点的距离；r为理想无畸变成像点像素坐标到原点的距离；K(r)是接近常量1的一个函数，r→0时，K→1，桶形畸变时，K随r单调递减，枕形畸变时，K随r单调递增；

如图1所示，对于枕形畸变，任意非原点的像素，实际成像点比理想无畸变的成像点，离原点要远，且这种远离程度随像素到原点的距离增大而增加，以e^x近似K函数时，可表达为：

r_d＝e^a·r·r …a≥0 (3)

相反的，对于桶形畸变，任意非原点的像素，实际成像点比理想无畸变的成像点，距离原点要近，且这种缩近的程度随像素到原点的距离增大而增加；以e^x近似K函数时，可表达为：

进一步，将桶形畸变和枕形畸变可以统一形式的表达为：

r_d＝e^a·r·r …a为实数 (5)

当a<0时，代表了桶形畸变，当a>0时，代表了枕形畸变，当a＝0时，e^a·r≡1，本质上代表了没有径向畸变，即零畸变，|a|越大代表了畸变越严重；

对于固定焦距的镜头和感光器件的组合，a为一个常数；

对于可变焦距镜头和感光器件的组合，a为可变焦距镜头焦距F的函数，且该函数为连续的单调函数；

对于带有径向畸变的拍摄图像，通过测量法得到a，根据上式，进行反向计算，即可获得畸变更小的矫正图像；

对于理想无畸变图像的像素点坐标(x,y)，其对应的实际拍摄像素点坐标(x_d,y_d)可以通过带入(5)式求：

镜头畸变矫正的方法的具体步骤，如图3所示：

步骤一：使用由若干水平直线段和垂直直线段构成的方格图形作为被拍摄对象，并将拍摄装置的镜头的光轴垂直对准方格图形的中心。

在无畸变的理想成像中，所有水平线条和垂直线条的成像必然为直线，当镜头存在桶形畸变时，实际拍摄图像的水平线条和垂直线条向图像中心收敛，当镜头存在枕形畸变时，实际拍摄图像的水平线条和垂直线条向图像周围发散。

步骤二：将可变焦距镜头调到最小的焦距，移动被拍摄对象到镜头的距离，使整个方格图形充满整个拍摄视场，对于固定焦距的镜头则无需调整焦距。

对于一个特定的镜头和感光器件的组合，a为一个常数，对于可变焦距镜头和特定的感光器件的组合，a为可变焦距镜头焦距F的函数，因此对于可变焦距镜头需要从多个不同的焦距上分别测量a，并构成一个a参数的序列，实际使用时，根据可变焦距镜头的实际焦距，使用数学插值的方法计算出实际焦距所对应的近似a值，进一步使用计算得到的近似a值对实际拍摄的图像进行矫正计算。

步骤三：拍摄图像，使用任意a值，根据(6)式进行矫正计算，得到矫正后的图像。

实际上，任意a值是理论上不对a做任何限制，根据经验，径向畸变较小的镜头，通常|a|远小于1，可从|a|＝0.01开始计算，当实际拍摄图像为桶形畸变时，a取负数，当实际拍摄图像为枕形畸变时，a取正数。

步骤四：根据矫正后图像的畸变特性，调整a值，从新计算矫正后的图像，直到获取矫正效果最佳的a值，作为镜头对应焦距下的a值，或是固定镜头的a值；

根据步骤三计算的矫正图像，矫正的畸变情况，重新调整a值，矫正后的图像为枕形畸变时，增加a值，矫正后的图像为桶形畸变时，减小a值，调整a值后，再次使用(6)式进行矫正计算，重复以上步骤，直到找出矫正后图像畸变程度最小的a值。

步骤五：对于可变焦距镜头，调整镜头实际焦距，重复拍摄并根据(6)计算对应焦距的a值。

步骤六：重复调整可变焦距镜头的焦距，并拍照和计算对应焦距的a值，直到调整可变焦距镜头的焦距为最长焦距。

可变焦距镜头的a是一个以可变焦距镜头焦距为自变量的函数，因此上需要多点采样，在不同焦距的条件下，多次测量该焦距对应的a值，并形成一个a参数序列，通常情况下，一个可变焦距镜头至少对5～10个不同焦距进行采样，计算出其对应的a值。

步骤七：对于固定镜头，记录a值作为使用(6)式进行图像矫正计算的参数，对于可变焦距镜头，记录多个焦距下对应的a值，作为可变焦距镜头使用(6)式进行矫正计算的参数序列。

经过以上七个步骤或者其中几个步骤可以得到可变焦距镜头的a参数序列，或者固定镜头的a值；对于固定焦距镜头，使用其a值，通过(6)式计算对实际拍摄的图像进行矫正，对于可变焦距镜头则根据实际镜头使用的焦距，通过对a参数序列进行数学插值后得到实际使用焦距近似的a值，进一步使用(6)式计算，对实际拍摄的图像进行矫正。

图2是可变焦距镜头的a和焦距F之间的关系示意图，通常可变焦距镜头在短焦距时产生桶形畸变，在长焦距是产生枕形畸变，此时曲线如图2所示，短焦距时a为负，长焦距a为正，这种镜头必然存在着一个焦距，其a为零，即零畸变点，若可变焦距镜头的短焦距和长焦距情况下都产生枕形畸变，则图2中的曲线全部位于F轴上方，反之短焦距和长焦距的情况下都产生桶形畸变，则图2中的曲线则全部位于F轴下方。

图5是用于光学测量背景方格图，使用工业摄像机在实际工况情况下，拍摄的图像，很明显其边界的方格不是直线，而是向内收敛，镜头存在着桶形畸变。

图6是将图5按照实施例一的方法，进行矫正后的图像，在矫正后图像中的方格线条和图板的边界都接近于直线，相对于原图像，测量具有更高的分辨率的准确度。

实施例二

一种镜头畸变矫正的照相装置如图4所示，由九个模块构成，分别是：矫正参数模块、控制模块、镜头模块、感光器件、图像矫正模块、显示模块、存储模块。

其中控制模块是照相装置的控制核心，完成接收用户指令，按照用户指令控制整个其它模块配合工作的。

矫正参数模块保存有根据实施例一测量获得的镜头和感光器组合的矫正参数a或者a参数序列，若镜头是可变焦距镜头，则矫正参数模块可以根据控制模块发送的指令，获取当前镜头实际的焦距，并利用a参数序列，使用数学插值方法，计算出当前焦距条件下a的近似值。

镜头模块是照相装置中，特定的光学器件，由镜头和相应的控制机构组成，可以接受控制模块发送的指令，进行镜头焦距等参数的调节，与之对应的在矫正参数模块中保存有和镜头匹配的矫正参数a或者a参数序列。

感光器件是将光信号直接转化为数字化电信号的器件，特定的感光器件和特定的镜头组合，将决定了特定的矫正参数a或者a参数序列，无论更换感光器件还是镜头，都需要重新按照实施例一的方法，对a或者a参数序列进行重新测量；对于特定的设备，如特定型号的智能手机，平板电脑等，镜头和感光器件都是确定和已知的，其a或者a参数序列可以由设备生产厂家提供或者通过互联网共享的方式，从其它来源获取并保存在矫正参数模块中。

图像矫正模块是根据控制模块发送的指令，使用矫正参数模块提供的a值，对当前感光器件拍摄的图像进行实时的矫正计算，得到实时的矫正后图像，对于智能手机、平板电脑、笔记本电脑等，可以使用系统自身的CPU或者GPU进行计算。

显示模块是将图像矫正模块进行矫正计算后的图像信息，实时显示到显示屏，供用户取景和拍摄参考。

存储模块是根据控制模块的指令，进行照相或者拍摄视频操作，将图像信息或者视频信息存储到相应的存储媒体上。

以上九个模块构成一个完整的照相装置，并可以实现实时的畸变矫正和视频拍摄，当应用于其他场景时，图像矫正模块亦可以将矫正后的图像信息输出给其它的处理设备，如自动飞行器的视频导引头，工业检测的视频处理模块以及光学测量的图像处理模块等。

Claims (4)

1.一种镜头畸变矫正的方法，其特征在于：根据镜头径向畸变的特征，在以镜头光轴与成像平面的交点为原点，且垂直于光轴的平面为坐标平面的极坐标系内，将镜头的径向畸变表达为：

r_d＝K(r)·r

其中r_d为实际成像点的像素坐标到原点的距离；r为理想无畸变成像点像素坐标到原点的距离；K(r)是接近常量1的一个函数，r→0时，K→1，桶形畸变时，K随r单调递减，枕形畸变时，K随r单调递增；

用e^x函数来替代K函数，进一步镜头的径向畸变可表达为：

r_d＝e^a·r·r...a为实数 (5)

当a＜0时，代表了桶形畸变，当a＞0时，代表了枕形畸变，当a＝0时，e^a·r≡1，本质上代表了没有径向畸变，即零畸变，|a|越大代表了畸变越严重；

对于固定焦距的镜头和感光器件的组合，当镜头和感光器件参数和特性确定时，a为一个常数；

对于可变焦距镜头和感光器件的组合，当镜头和感光器件参数和特性确定时，a为可变焦距镜头焦距F的函数，且该函数为连续的单调函数；

对于带有径向畸变的拍摄图像，通过测量法得到a，根据上式，进行反向计算，即可获得畸变更小的矫正图像；

对于理想无畸变图像的像素点坐标(x，y)，其对应的实际拍摄像素点坐标(x_d，y_d)可以通过带入(5)式求：

其中坐标(x₀，y₀)为极坐标系原点在实际拍摄图像直角坐标系的坐标，通常为实际拍摄照片的中心坐标，以实际拍摄照片坐标(x_d，y_d)的像素色值填充矫正后图像坐标(x，y)像素，即得到坐标(x，y)像素的矫正色值，进一步对图像所有可能的像素坐标(x，y)逐一计算得到矫正后的图像，即完成镜头畸变矫正。

2.根据权利要求1所述镜头畸变矫正的方法，其特征在于：所述对于固定焦距镜头，上述公式(6)中a可以采用测量法得到的具体过程为：使用由若干垂直线条和水平线条构成的平面图形作为被拍摄物，放置于被测量的镜头和感光器件组合的正前方且被拍摄物平面和镜头光轴垂直，在无畸变的理想成像中，所有水平线条和垂直线条的成像必然为直线，当镜头有桶形畸变时，实际拍摄图像的水平线条和垂直线条向图像中心收敛，当镜头有枕形畸变时，实际拍摄图像的水平线条和垂直线条向图像周围发散；

选择一个任意的a值，使用(6)式对实际拍摄到的图像进行矫正计算，得到矫正后的图像，对所有矫正后的图像中的水平线条和垂直线条进行准直性对比，根据矫正后图像的畸变特征调整a值，矫正后的图像为桶形畸变时，减小a值，矫正后的图像为枕形畸变时，增加a值，调整a值后，再次使用(6)式进行矫正计算，重复以上步骤，直到找出矫正后图像畸变程度最小的a值。

3.根据权利要求1所述镜头畸变矫正的方法，其特征在于：所述对于可变焦距镜头，上述公式(6)中a可以采用多点采样的方式得到的具体过程为：分别对可变焦距镜头的多个焦距测量其焦距对应的a值，形成a值的参数序列；实际使用时，根据可变焦距镜头的实际焦距，使用数学插值的方法计算与实际焦距所对应a的数学近似值，进一步使用计算的a的数学近似值代入(6)式对拍摄的图像进行矫正计算。

4.根据权利要求2或3所述镜头畸变矫正的方法，其特征在于：所述实际拍摄照片坐标(x_d，y_d)的像素色值使用数学图像插值算法计算获取；所述图像插值算法包括最近邻插值算法或双线性插值算法或三次插值算法。

Images