[go: up one dir, main page]

CN107979715B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN107979715B
CN107979715B CN201710318575.1A CN201710318575A CN107979715B CN 107979715 B CN107979715 B CN 107979715B CN 201710318575 A CN201710318575 A CN 201710318575A CN 107979715 B CN107979715 B CN 107979715B
Authority
CN
China
Prior art keywords
image
unit
correction data
correction
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710318575.1A
Other languages
English (en)
Other versions
CN107979715A (zh
Inventor
酒本章人
萩原泰文
安藤洋史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang OFilm Optoelectronics Technology Co Ltd
Original Assignee
Nanchang OFilm Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang OFilm Optoelectronics Technology Co Ltd filed Critical Nanchang OFilm Optoelectronics Technology Co Ltd
Publication of CN107979715A publication Critical patent/CN107979715A/zh
Application granted granted Critical
Publication of CN107979715B publication Critical patent/CN107979715B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像装置,其能够高效地对摄像装置中的透镜的光学特性导致的画质劣化和在变焦时的图像放大处理导致的画质劣化进行矫正,对进行数字变焦的图像也能够得到自然的高分辨率图像。摄像装置具有光学透镜(1)及固体摄像元件(2)。摄像装置具有存储单元,其存储矫正数据,该矫正数据是基于由固体摄像元件(2)输出且被划分为多个区域的图像的各个区域中根据光学透镜(1)得到的点扩散函数、以及图像通过数字变焦而图像放大时的失焦函数这两者计算出的。摄像装置具有图像矫正运算部(7),其针对所拍摄到的每一个图像,从矫正数据保持部(6)提取矫正数据,使用提取出的矫正数据,对于拍摄到的每一个图像,实施用于矫正基于点扩散函数及失焦函数的图像劣化的运算处理。

Description

摄像装置
技术领域
本发明涉及具有光学透镜和固体摄像元件的摄像装置。
背景技术
已知数字照相机通常具有下述摄像装置,即,该摄像装置具有光学透镜和固体摄像元件,将拍摄到的被摄物体的像变换为图像数据,然后将该图像数据变换为电子信号。该摄像装置不仅用于数字照相机,还作为照相机模块组装在移动设备即智能手机或平板电脑等中。由这些摄像装置拍摄到的图像数据,主要由于光学像差而导致来自点光源的光线无法收敛在1个点上,发生光学失焦而画质劣化。表示与该失焦对应的光线扩散的函数为点扩散函数(PSF:Point Spread Function)。该PSF随着图像的区域位置(与图像中心的距离:像高)而变化。
针对上述由于光学像差导致的失焦,例如进行以下所示的处理。即,通常对由于透镜的光学像差等光学特性而劣化的图像进行边缘锐化滤波处理(拉普拉斯滤波等)。但是,如果边缘锐化滤波处理过度,则容易在边缘周边产生不需要的过冲或下冲。为了包括图像的周边部在内得到高品质的图像,需要通过PSF进行矫正。例如提出了下述技术,即,针对每个照相机模块测定PSF,将它们作为矫正用数据而进行运算处理,对图像的各个区域、以及各个照相机模块的固体差等进行矫正(例如参照专利文献1)。
专利文献1:日本特开2010-177918号公报
另一方面,近年来,特别是智能手机等移动设备所采用的照相机模块越来越重视变焦功能。光学变焦机构需要在透镜单元内存在透镜的移动机构,模块尺寸变大、价格变高,并且会不耐掉落冲击。从这一角度出发,移动设备对通过图像处理进行的图像放大功能、即所谓的数字变焦功能变得重视。在通常的数字变焦中,实施利用最邻近插值法、线性插值法、三次卷积插值法等的插值处理或实施边缘锐化滤波处理等处理,但在边缘锐化滤波处理中,如上述所示,有可能在边缘附近产生过冲或下冲而形成不自然的图像。另外,线性插值或三次卷积插值基本无法恢复在采样时丢失的高频成分。由此,需要在插值处理之外还进行恢复高频成分的处理。由此,在经常使用数字变焦的摄像装置中,需要分别进行应对由于光学特性导致的图像劣化的处理、以及针对由于放大处理导致的图像劣化的处理。因此,恢复处理的处理量增加。另外,在高帧率的影片拍摄中使用数字变焦而变更放大率的情况下,要求摄像装置的运算处理装置具有很高处理能力,或者对帧率或数字变焦的放大率的变更操作等产生限制。
发明内容
本发明就是鉴于上述情况而提出的,其目的在于提供一种摄像装置,其能够高效地对摄像装置中的透镜的光学特性导致的画质劣化和在变焦时的图像放大处理导致的画质劣化进行矫正,使进行数字变焦的图像也能够得到自然的高分辨率图像。
为了实现所述目的,本发明的摄像装置的特征在于,在具有光学透镜及固体摄像元件的摄像装置中,具有:存储单元,其存储矫正数据,该矫正数据是基于由所述固体摄像元件输出且被划分为多个区域的图像的各个区域中根据所述光学透镜得到的点扩散函数、以及所述图像通过数字变焦而图像放大时的失焦函数这两者计算出的;以及运算处理单元,其针对所拍摄到的每一个所述图像,从所述存储单元提取所述矫正数据,使用提取出的所述矫正数据,对于拍摄到的每一个所述图像,实施用于矫正基于所述点扩散函数及所述失焦函数的所述图像的劣化的运算处理。
根据上述结构,在进行数字变焦的摄像装置中,对于由于光学透镜的光学特性(光学像差等)导致的拍摄到的图像的劣化、和基于通过数字变焦进行的图像放大处理导致的拍摄到的图像的劣化这两种劣化,能够使用一体化的矫正数据高效地进行矫正。
即,能够使用与由于光学透镜的光学特性导致的图像的劣化相关的点扩散函数、以及由于放大处理导致的图像的劣化相关的失焦函数这两者所对应的矫正数据,高效地矫正数字变焦后的图像。
在本发明的所述结构中,优选将所述矫正数据通过下述方式而存储在所述存储单元中,即,将所述点扩散函数和所述失焦函数分别通过傅里叶变换变换至频域后彼此相乘,求出乘法计算结果的倒数,对求出的倒数进行傅里叶逆变换,并通过实际空间区域的反卷积滤波进行变换后,存储在所述存储单元中。
根据上述结构,能够使用将与光学透镜的光学特性导致的图像劣化对应的点扩散函数、和与放大处理导致的图像劣化对应的失焦函数组合后得到的矫正数据,高效地矫正数字变焦后的图像。
另外,在本发明的所述结构中,优选具有边缘检测单元,其对拍摄到的所述图像中的边缘强度进行检测,
所述运算处理单元与由所述边缘检测单元检测到的所述图像的各位置的边缘强度对应地,调整通过所述运算处理进行的矫正的强度。
根据上述结构,在上述的基于点扩散函数和失焦函数进行矫正时,能够防止对边缘强度较低的部分、即光强随着位置不同而产生的变化较少、光强处于均匀状态的图像上的区域进行与边缘强度较高的部分相同的矫正,反而导致噪声增加这一情况。矫正强度的区别也可以是例如在边缘强度低于规定值的情况下不进行矫正,在高于规定值的情况下进行矫正。另外,也可以对边缘强度设定上限值和下限值,在边缘强度处于下限值的情况下不进行矫正,在为上限值以上的情况下进行上述矫正,在上限值和下限值之间的情况下降低上述矫正的强度而进行矫正。即,也可以将边缘强度划分为数个等级,以与边缘强度的程度设定适当的矫正强度。
另外,在本发明的所述结构中,优选还具有:多个拍摄单元,其具有焦点距离不同的所述透镜以及所述固体摄像元件;以及切换单元,其根据拍摄时的变焦倍率而切换来自多个所述拍摄单元的所述图像的输出,
所述存储单元存储与各拍摄单元对应的所述矫正数据,
所述运算处理单元进行下述运算处理,即,使用与各拍摄单元对应的所述矫正数据,对从所述拍摄单元输出的所述图像进行矫正。
根据上述结构,通过具有焦点距离不同的多个拍摄单元且将从这些拍摄单元输出的图像进行切换,从而能够以更换可交换透镜的方式变更放大率,在这一结构中,通过将对来自多个拍摄单元的图像的切换和数字变焦进行组合,从而在性能接近光学变焦的情况下,也能够通过利用与各个拍摄单元对应的上述矫正数据进行矫正,高效地矫正图像。
发明的效果
根据本发明,能够利用摄像装置所使用的透镜的光学特性之一的点扩散函数高效地矫正图像各个区域的分辨率劣化、以及通过变焦操作进行图像放大处理而产生的失焦,能够更容易地得到高画质的图像。
附图说明
图1是表示本发明的第1实施方式的摄像装置的框图。
图2是表示第1实施方式的摄像装置的图像矫正运算部的框图。
图3A是表示第1实施方式的分辨率测试板的局部的理想图像(A)的图。
图3B是表示第1实施方式的对分辨率测试板的局部进行拍摄而得到的发生劣化的图像(B)的图。
图3C是表示第1实施方式的对图像(A)和图像(B)的辉度变化进行比较的曲线图。
图3D是表示第1实施方式的将图像(B)相对于图像(A)发生的辉度变化进行微分后的值的图。
图4A是表示第1实施方式的分辨率测试板的局部的理想图像(A)的图。
图4B是表示第1实施方式的将分辨率测试板的局部进行拍摄·放大后的发生劣化的图像(B)的图。
图4C是表示第1实施方式的对图像(A)和图像(B)的辉度变化进行比较的曲线图。
图4D是表示第1实施方式的将图像(B)相对于图像(A)发生的辉度变化进行微分后的值的图。
图5是表示本发明的第2实施方式的摄像装置的框图。
图6A是表示利用一个透镜拍摄到的图像的图。
图6B是表示图6A的图像的复原图像的图。
图6C是表示利用另一个透镜拍摄到的图像的图。
图6D是表示图6C的图像的复原图像的图。
具体实施方式
以下,说明本发明的实施方式。
(第1实施方式)
首先,说明本发明的第1实施方式。
如图1所示,本发明的第1实施方式所涉及的摄像装置具有:光学透镜1,其用于使来自被摄物体的光成像;固体摄像元件2,其在由光学透镜1将被摄物体的像在感光面成像时,将光变换为信号電荷,生成图像数据并将表示该图像数据的图像信号输出;反马赛克部3,其对从固体摄像元件2输出的图像信号进行反马赛克处理(内插处理);放大处理部4,其将反马赛克处理后的图像数据通过变焦而放大;YC分离部5,其将表示图像数据的RGB信号变换为辉度信号和色差信号;以及存储电路(存储器)即矫正数据保持部6,其保持用于恢复图像数据的矫正数据。
另外,摄像装置具有:图像矫正运算部7,其使用存储在矫正数据保持部6中的矫正数据,进行用于对上述辉度信号矫正的运算;定时调整部8,其使色差信号的定时与矫正后的辉度信号配合;噪声降低部9,其降低在图像矫正运算部7中的处理所产生的不需要的噪声;以及合成部10,其将矫正后的辉度信号和延迟后的色差信号合成并输出。
上述图像矫正运算部7具有:作为存储部的图像数据保持部11,其用于保持图像矫正运算所需的N×N的图像数据;反卷积运算部12,其进行反卷积滤波处理;边缘检测部13,其检测图像数据的边缘强度;辉度差计算部14,其计算N×N的图像数据中的辉度差;加法运算部15,其根据反卷积运算部12及边缘检测部13的输出值计算像素值;以及颜色矩阵调整部16,其进行颜色调整。
光学透镜1可以是一片,也可以是由多片构成的透镜组。固体摄像元件2例如可以是使用CCD或CMOS等的元件。另外,固体摄像元件2设置有彩色滤光器,生成与彩色滤光器的各个颜色对应的信号電荷,将该信号電荷的值通过内置的模拟·数字变换电路数字化,从而得到图像数据。
反马赛克部3对从固体摄像元件2输出的图像数据进行反马赛克处理,与周围的像素数据对应地计算(插值:内插)得到彩色滤光器的各像素颜色之外的颜色的像素值,例如计算出彩色滤光器为红色的像素中的蓝色、绿色的值,计算出彩色滤光器为绿色的像素中的蓝色、红色的值,计算出彩色滤光器为蓝色的像素中的红色、绿色的值。
放大处理部4与基于用户操作等的变焦指令a对应地,将通过反马赛克部3进行了反马赛克处理后的图像数据以任意倍率放大。此时,利用插值增加像素数。此外,在没有变焦指令a即没有指示放大的情况下,放大处理部4例如将所输入的图像直接输出。
YC分离部5将从放大处理部4输出的作为图像数据的RGB数据变换为辉度、色差的数据,利用人眼对辉度敏感这一情况,仅对辉度(Y)进行后述的矫正处理。
矫正数据保持部6是用于保持为了将所得到的图像数据进行恢复的矫正数据的存储电路(存储器),基于变焦指令a及表示图像数据上的位置的位置信号b,切换所保持的矫正数据并输出。在这里,变焦指令a中包含将图像数据进行变焦时的放大率。另外,位置信号b是例如以坐标等表示图像数据上的位置的信号,示出变焦前的图像数据上的位置。在变焦时,在原图像的放大基点必须处于与原图像相同的位置的情况下,可以将作为基点的位置设为坐标原点,也可以以与基点的距离来表示位置。
矫正数据如后述所示,将用于对透镜的光学像差等光学特性导致的图像数据的劣化进行恢复的光学矫正数据、以及用于对作为数字变焦的放大处理所导致的图像数据的劣化进行恢复的倍率矫正数据组合而得到的,将原图像数据上的位置和由于放大率不同而不同的矫正数据存储在矫正数据保持部6中。此外,在放大率不同的情况下,也可以设计为计算出与放大率对应的参数,即从作为基准的矫正数据通过运算而计算出与放大率对应的矫正数据。
图像矫正运算部7在读取来自YC分离部5的图像数据的辉度信号的同时,读取来自矫正数据保持部6的矫正数据,基于该内容进行图像数据的矫正。对于图像矫正运算部7的详细内容在后面记述。
定时调整部8为了使从YC分离部5输出的色差信号的定时与图像矫正运算部7配合而进行延迟处理。
噪声降低部9用于降低在图像矫正运算部7中的处理所产生的不需要的噪声,可以适当地应用中值滤波、伊普西龙滤波(Epsilon filter)、双边滤波等,也可以判断周边像素的辉度信息(辉度的绝对值、辉度差等)而适当地变更滤波强度。上述噪声降低处理根据情况也可以省略。
合成部10将从噪声降低部9输出的恢复后的辉度信号、和从定时调整部8输出的色差信号合成,根据需要将图像格式变换为RGB、YUV、RAW等,作为从图像装置的最后输出而输出图像数据。
如图2所示,图像矫正运算部7中的图像数据保持部11用于存储来自YC分离部5的图像数据的辉度信号,针对各个像素而分别存储图像矫正运算所需的N×N像素的图像数据。
反卷积运算部12针对各个要素分别将从图像数据保持部11输入来的N×N的辉度信号和从矫正数据保持部6读出的矫正数据相乘,进而进行加法运算而得到上述N×N的图像数据中的位于中心位置的像素值(反卷积运算部12的输出值d)。在本实施方式中,设为N=9。
边缘检测部13使用图像数据保持部11的数据中的中心部M×M,计算图像的垂直及水平方向上的边缘强度,并将它们作为边缘检测部13的输出值e。在边缘检测中使用M=3的索贝尔滤波计算出垂直及水平方向上的均方。此外,边缘强度也可以使用其它算法求出。
根据反卷积运算部12、边缘检测部13的输出值,利用加法运算部15以如下算法计算目标像素的像素值。
【算式1】
Figure BDA0001289146420000081
在这里:
d:反卷积运算部12的输出值(矫正后的像素值)
e:边缘检测部13的输出值
I:目标像素值(矫正前的像素值)
th_H、th_L:边缘强度阈值
α:反卷积运算结果和原图像的混合比例
所述th_H、th_L、α等的参数可以适当地确定,可以在设计时或制作样品时或制造成品时等观察图像而适当地确定,有时也可以设定为能够基于拍摄场景适当地变更。
在该加法运算部15中的处理是在由后述的反卷积运算部12进行图像的矫正处理后进行的,根据边缘检测部13的输出值e而变更矫正强度。边缘检测部13的输出值e如上述所示设定了上下两个阈值th_H、th_L。在边缘强度的输出值e为下侧的阈值th_L以下的情况下,将来自加法运算部15的输出值设为矫正前的图像数据的目标像素的像素值I。即,对于图像数据的各像素中的边缘强度的输出值e为下侧阈值th_L以下的像素,不矫正图像数据的像素值。
在边缘强度的输出值e为上侧的阈值th_H以上的情况下,将来自加法运算部15的输出值设为矫正后的图像数据的目标像素的像素值、即反卷积运算部12的输出值d。即,对于图像数据的各像素中的边缘强度的输出值e为上侧阈值th_H以上的像素,对像素值进行矫正。
在边缘强度的输出值e落在上侧的阈值th_H和下侧的阈值th_L之间的情况下,将来自加法运算部15的输出值d设为将矫正前的图像数据的目标像素的像素值I和矫正后的反卷积运算部12的输出值d合成而得到的值。即,对于图像数据的各像素中的边缘强度的输出值e落在下侧阈值th_L和上侧阈值th_H之间的像素,将像素值设为矫正前的像素值I和矫正后的像素值之间的值。
此外,也可以将边缘强度的阈值设为1个,在阈值以上的情况下,将来自加法运算部15的输出值设为校正后的图像数据的目标像素的像素值、即反卷积运算部12的输出值d,在边缘强度的输出值e为阈值以下的情况下,将来自加法运算部15的输出值设为矫正前的图像数据的目标像素的像素值I。另外,也可以设置3个以上的阈值,在矫正前的像素值和矫正后的像素值之间嵌入多个阶段的将矫正前的像素值和矫正后的像素值合成而得到的像素值。这样,在边缘强度较低的部分中,通过不进行矫正或降低矫正强度,能够防止对位置不同而辉度变化较少的部分进行矫正反而导致辉度变化变大,从而产生噪声的情况。
来自加法运算部15(图像矫正运算部7)的输出与来自YC分离部5的色差信号通过合成部10合成,恢复为RGB信号。然后利用颜色矩阵调整部16进行颜色调整而得到最终的图像数据。
下面,使用示意图,说明利用透镜的点扩散函数(PSF)和放大导致的失焦的失焦函数生成图像矫正用数据。
图3A是将作为被摄物体的分辨率测试板的局部放大后的被摄物体,换言之,是对被摄物体进行拍摄后的无劣化的理想图像(A)。图3B是由摄像装置对同一部分进行拍摄且没有进行任何处理的、存在劣化的图像(B)。图3C是与如图3A、图3B的箭头所示对图像(A)、(B)进行扫描的情况对应的图,是基于各个像素而一维地表示对原始被摄物体进行拍摄时的理想图像(A)中的光强(辉度)随箭头上的位置而发生的变化、以及放大后的图像(B)中的光强(辉度)随箭头上的位置而发生的变化的图。此外,横轴以像素为单位表示箭头处的各像素,纵轴表示辉度(强度),强度以成为同一比例的方式进行标准化。图3D是对图3B的图像(B)相对于图3A的图像(A)的辉度变化进行微分的图,相当于透镜的点扩散函数,在固体摄像元件2的感光面上扩散分布。即,相当于将图3(A)的辉度变化在实际空间中用图3D实施卷积积分(卷积)的结果,其成为实际拍摄到的图像即图3B的图像(B)。
为了将所的得到的图像(B)恢复为理想图像(A),众所周知通过将图3D及图3C所示的图像B的辉度变化进行傅里叶变换而在空间频域中展开,除以图3D所示的值后进行傅里叶逆变换即可。
另一方面,在通过变焦处理进行图像放大时,例如如果保持原始像素数量不变而放大图像尺寸,则单个像素的面积扩大。在此情况下,由于图像扩大但像素数量不变,所以可以观察到图像的分辨率降低。因此,在利用插值增加像素数量的情况下放大的图像、与直接将原始图像放大为同一尺寸的图像相比,与原图像的像素尺寸相比,利用插值放大的图像的像素较小。
如上所述,需要通过使放大图像的像素尺寸相对于原图像的像素尺寸变小,从而如图4所示提高空间频率,但如果是通常使用的单纯的插值处理,原始采样频率降低,所以能够观察到分辨率劣化。
在这里,图4A及图4B示出分辨率测试板的局部的图像,图4A示出放大前的理想的原图像即图像(A),图4B示出放大后的图像即图像(B)。图4(C)示出如图4A、图4B的箭头所示对图像(A)、(B)进行扫描的情况下的辉度(光强)的变化,横轴表示图像(A)、(B)的在箭头处的各位置的像素,纵轴表示辉度。
分辨率的劣化是由于如图4C所示辉度变化变得平缓而导致的,通过对图4A的图像(A)卷积图4D所示的失焦函数而得到放大后的图4B的图像(B),从而分辨率劣化。由此,与前述的利用透镜的点扩散函数进行的分辨率劣化的矫正相同地,将图4B的图像(B)的辉度变化及图4D的失焦函数的值分别进行傅里叶变换,并除以图4D的失焦函数的值后,通过傅里叶逆变换复原,从而求出与图像(A)的分辨率大致相同的放大图像。
作为算式如下所述进行表示。
G:被摄物体的辉度分布,I:拍摄到的图像的辉度分布,P:点扩散函数
I=G*P……(1)
F(I)=F(G*P)=F(G)×F(P)……(2)
G=F-1(F(I)/F(P))=I*F-1(1/F(P))……(3)
此外,符号*表示卷积积分,F()、F-1()分别表示傅里叶变换及傅里叶逆变换。通常F-1(1/F(P))被称为反卷积滤波。
此外,在图像放大时如下所述进行表述。
I’=I*B=G*P*B……(4)
在此,I’:放大图像,B:放大产生的失焦函数
为了从I’恢复为G,如下述所示即可。
G=I*F-1(1/F(P))*F-1(1/F(B))……(5)
由于反卷积滤波通常以(2N+1)×(2N+1)的矩阵表现,所以1个像素的运算处理需要(2N+1)×(2N+1)次的乘法运算处理和加法运算处理。
在图像放大时需要逐次进行两次上述的运算处理,此外为了得到1阶卷积积分的结果,至少还需要等待输入下一组N列的图像数据。在本发明中,通过将上述(5)的算式如下所示进行变形,预先计算与倍率对应的矫正数据(反卷积滤波)并保持,从而能够减少运算次数。
=I*F-1(1/(F(P)×1/F(B)))=I*F-1(1/(F(P)×F(B)))……(6)
此外,透镜的点扩散函数可以根据情况使用光学设计值、摄像装置组装后的实际测量值、或者置换为基于上述值的适当的函数等。作为适当的函数可以举出高斯函数、洛伦兹函数、适当的多项式等。在使用光学设计值、测定值的情况下,可以一边观察画质一边适当地矫正放大幅度而选择最优值。
(第2实施方式)
下面,说明本发明的第2实施方式。
如图5所示,本发明的第2实施方式所涉及的摄像装置在图1所示的第1实施方式的摄像装置中,除了光学透镜1及固体摄像元件2之外,还增加了光学透镜1’及固体摄像元件2’,并且追加了切换电路17,其切换来自固体摄像元件2的输出信号和来自固体摄像元件2’的输出信号。光学透镜1及固体摄像元件2、光学透镜1’及固体摄像元件2’分别构成拍摄单元。
光学透镜1及光学透镜1’使用视场角或焦点距离不同的透镜,光学倍率不同。例如如果光学透镜1’和光学透镜1的焦点距离之比为1:2,则相当于光学上的2倍变焦,以在摄像装置整体的变焦比Z为1≧Z>2的情况下使具有光学透镜1的固体摄像元件2输出信号,在Z≧2的情况下使具有光学透镜1’的固体摄像元件2’输出信号的方式,由切换电路17进行切换。其它结构与第1实施方式的摄像装置相同。
此外,固体摄像元件2及2’可以具有相同规格也可以具有不同规格,但在后者的情况下,需要进行变焦比调整等根据不同规格进行调整。
在第2实施方式中,对各拍摄单元所拍摄到的图像数据也进行第1实施方式中进行的上述处理。由此,在第2实施方式的摄像装置中,通过例如切换输出图像的拍摄单元或者切换从这两个拍摄单元中分别输出的图像的信号,从而能够以拍摄单元的数量对应的级数而分级地将图像放大率光学地进行变更,此外在使用数字变焦连续变更放大率时,如上述所示,基于根据光学特性的点扩散函数和放大处理产生的失焦函数而生成矫正数据并存储,由此能够使用该矫正数据而高效地对由于光学特性和放大处理导致的图像的劣化进行恢复。
图6示出根据本发明的摄像装置得到的图像的局部。
图6A示出通过光学透镜1和固体摄像元件2组合得到的普通图像,图6B是通过第1实施方式的矫正方法对普通图像进行矫正后的矫正图像,图6C、图6D是将变焦比设为2的情况下的光学透镜1’侧得到的图像,同样地示出了普通图像和矫正图像。
任一种情况都能够确认到利用本发明得到了良好的画质。
此外,在上述各实施方式的摄像装置中,对来自固体摄像元件2(2’)的输出信号进行处理的运算处理部分可以位于作为摄像装置的照相机模块内,也可以位于照相机模块之外,在此情况下,可以由照相机模块和位于其外部的运算处理部分构成摄像装置。另外,运算处理部分可以使用专用电路,也可以使用编程后的通用电路,也可以使用将专用电路和通用电路组合的电路。另外,在摄像装置组装在智能手机或平板电脑等具有通用的运算处理装置的电子设备中的情况下,也可以将上述运算处理部分的全部或一部分设在基于电子设备侧的应用(程序)而动作的电子设备侧的运算处理装置中。
标号的说明
1 光学透镜
2 固体摄像元件
6 矫正数据保持部(存储单元)
7 图像矫正运算部(运算处理单元)
13 边缘检测部(边缘检测单元)
17 切换电路(切换单元)

Claims (3)

1.一种摄像装置,其具有光学透镜及固体摄像元件,其特征在于,
所述摄像装置具有:存储单元,其存储矫正数据,该矫正数据是基于由所述固体摄像元件输出且被划分为多个区域的图像的各个区域中根据所述光学透镜得到的点扩散函数、以及所述图像通过数字变焦而图像放大时的失焦函数这两者计算出的;以及
运算处理单元,其针对所拍摄到的每一个所述图像,从所述存储单元提取所述矫正数据,使用提取出的所述矫正数据,对于拍摄到的每一个所述图像,实施用于矫正基于所述点扩散函数及所述失焦函数的所述图像的劣化的运算处理;
其中所述矫正数据通过下述方式存储在所述存储单元中,即,将所述点扩散函数和所述失焦函数分别通过傅里叶变换变换至频域后彼此相乘,求出乘法计算结果的倒数,对求出的倒数进行傅里叶逆变换,并通过实际空间区域的反卷积滤波进行变换后,存储在所述存储单元中。
2.根据权利要求1所述的摄像装置,其特征在于,
具有边缘检测单元,其对拍摄到的所述图像中的边缘强度进行检测,
所述运算处理单元与由所述边缘检测单元检测到的所述图像的各位置的边缘强度对应地,调整通过所述运算处理进行的矫正的强度。
3.根据权利要求1所述的摄像装置,其特征在于,
具有:多个拍摄单元,其具有焦点距离不同的所述透镜以及所述固体摄像元件;以及切换单元,其根据拍摄时的变焦倍率而切换来自多个所述拍摄单元的所述图像的输出,
所述存储单元存储与各拍摄单元对应的所述矫正数据,
所述运算处理单元进行下述运算处理,即,使用与各拍摄单元对应的所述矫正数据,对从所述拍摄单元输出的所述图像进行矫正。
CN201710318575.1A 2016-10-21 2017-05-08 摄像装置 Expired - Fee Related CN107979715B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP2016-206729 2016-10-21
JP2016206729A JP6857006B2 (ja) 2016-10-21 2016-10-21 撮像装置

Publications (2)

Publication Number Publication Date
CN107979715A CN107979715A (zh) 2018-05-01
CN107979715B true CN107979715B (zh) 2021-04-13

Family

ID=62012188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710318575.1A Expired - Fee Related CN107979715B (zh) 2016-10-21 2017-05-08 摄像装置

Country Status (2)

Country Link
JP (1) JP6857006B2 (zh)
CN (1) CN107979715B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410152A (zh) * 2018-11-26 2019-03-01 Oppo广东移动通信有限公司 成像方法和装置、电子设备、计算机可读存储介质
CN114630008B (zh) * 2020-12-10 2023-09-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
CN102930507A (zh) * 2011-08-08 2013-02-13 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
CN103201765A (zh) * 2010-09-28 2013-07-10 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN105684417A (zh) * 2013-10-31 2016-06-15 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261238A (ja) * 1993-03-05 1994-09-16 Canon Inc 撮像装置
JP4341019B2 (ja) * 2004-01-09 2009-10-07 カシオ計算機株式会社 撮像装置及びプログラム
JP2010141661A (ja) * 2008-12-12 2010-06-24 Toshiba Corp 画像処理装置
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
JP2013021509A (ja) * 2011-07-11 2013-01-31 Canon Inc 画像処理装置およびその方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328506A (ja) * 2003-04-25 2004-11-18 Sony Corp 撮像装置および画像復元方法
CN101222583A (zh) * 2007-01-09 2008-07-16 奥林巴斯映像株式会社 进行电图像恢复处理的摄像装置
CN103201765A (zh) * 2010-09-28 2013-07-10 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN102930507A (zh) * 2011-08-08 2013-02-13 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
CN105684417A (zh) * 2013-10-31 2016-06-15 富士胶片株式会社 图像处理装置、摄像装置、参数生成方法、图像处理方法及程序

Also Published As

Publication number Publication date
CN107979715A (zh) 2018-05-01
JP2018067868A (ja) 2018-04-26
JP6857006B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
US7529424B2 (en) Correction of optical distortion by image processing
US8350948B2 (en) Image device which bypasses blurring restoration during a through image
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
US8031232B2 (en) Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus
US9369693B2 (en) Stereoscopic imaging device and shading correction method
JP2010087672A (ja) 画像処理方法、画像処理装置及び撮像装置
WO2011096157A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2009260620A (ja) 画像処理装置及び画像処理方法
KR20130033304A (ko) 화상처리장치 및 방법
CN102737365B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5159715B2 (ja) 画像処理装置
CN102473294A (zh) 摄像装置、图像处理装置和图像处理方法
KR20070004202A (ko) 디지털카메라에서 렌즈에 의한 화면왜곡 보정 방법
CN107979715B (zh) 摄像装置
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
JP5455728B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP7262940B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2022181027A (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210413