CN101662690B - 图像处理设备、成像设备及图像处理方法 - Google Patents

Abstract

图像处理设备、成像设备及图像处理方法。图像处理设备包含：假设退化图像像素值计算单元，被配置成针对多个通道的每个通道计算假设退化图像的像素值以作为假设退化图像像素值，其中假设由所述多个通道构成的目标图像的退化；伪目标图像像素值计算单元，被配置成关于感兴趣像素，即和假设退化图像的像素对应的所述目标图像的像素，根据感兴趣像素的像素值和与感兴趣像素邻近的像素的像素值，计算针对每个所述通道估计的像素值，以作为每个所述通道的伪目标图像像素值；和恢复图像产生单元，被配置成根据计算的假设退化图像像素值和计算的伪目标图像像素值产生由目标图像恢复的恢复图像。

Description

图像处理设备、成像设备及图像处理方法

技术领域

本发明涉及图像处理设备，具体地涉及执行有关图像的恢复过程的图像处理设备和成像设备，根据这些的处理方法，和使计算机执行其方法的程序。 

背景技术

迄今为止，恢复退化图像的退化图像恢复处理作为一种图像处理技术已经被人们广泛熟悉。比如，在图像的退化模型和所观察图像已知的情况下，这个退化图像恢复处理是根据包含退化的观察图像恢复对象图像的过程。比如，在假定表达式1中所示的观察图像g的模型，退化矩阵h和噪声n已知的情况下，能够得出表达式1中所示的对象图像f。 

$g=h\⊗f+n$ 表达式1 

${\mathrm{error}}^2={\left|\right|h\⊗\hat{f}-g\left|\right|}^2$ 表达式2 

${\hat{f}}^{k+1}={\hat{f}}^k+\mathrm{\λ}{h}^T(h\⊗{\hat{f}}^k-g)$ 表达式3 

${\hat{f}}^{k+1}={\hat{f}}^k\left(h\frac{g}{h\⊗{\hat{f}}^k}\right)$ 表达式4 

${\hat{f}}^{k+1}={\hat{f}}^k+a(h\⊗{\hat{f}}^k-g)$ 表达式5 

${\hat{f}}^{k+1}={\hat{f}}^k\left(b\frac{g}{h\⊗{\hat{f}}^k}\right)$ 表达式6 

作为这个问题一个解决方案，存在将这个问题作为使观察图像和估计退化图像之间的误差最小的问题来解决的方法，其中估计退化图像是作为退化矩阵h和估计对象图像f^的卷积结果(表达式2所示)而获得的。 

另外，作为这个最小化问题的迭代解决方案，存在表达式3所示的反投影方法(例如，Patrizio Campisi，Karen Egiazarian：″Blind Image Deconvolution-Theory and Application″，CRC Press，pp288-289中的″Landweber″(参见(7.34)和(7.35)和其它))，和表达式4所示的Lucy-Richardson方法(例如，参见Patrizio Campisi，Karen Egiazarian：″Blind Image Deconvolution-Theory and Application″，CRC Press，pp288-289(参见(7.34)和(7.35)和其它))。这些是通过减法或除法来比较观察图像和估计退化图像并且将获得的误差和比率的值反馈到恢复图像的方法。对于这些方法，存在通过在这种反馈时使用模糊矩阵和常量λ获得的乘积项，但是也存在将这些作为任意矩阵a或b(表达式5和表达式6所示)的方法。 

发明内容

被示出为根据现有技术的技术的上述迭代解决方案是针对一个观察图像多次执行迭代过程的解决方案，或针对多个观察图像执行迭代过程的解决方案。为了改进使用这种迭代解决方案恢复观察图像时的精度，例如需要增加迭代次数，或需要增加观察图像的帧数。 

然而例如在对例如数字视频摄像机(例如，摄像机集成型录像机)的成像设备所要成像的图像进行恢复处理的情况下，重要的是快速执行这种恢复处理，以及改进这种恢复处理的精度。因而，对于每个模式，重要的是改进恢复图像时的精度。 

已经发现期望改进恢复图像时的精度。 

根据本发明的实施例，提供一种图像处理设备、根据图像处理设备的处理方法和使计算机执行所述处理方法的程序，所述图像处理设备包含：假设退化图像像素值计算单元，被配置成针对多个通道的每个通道计算假设退化图像的像素值以作为假设退化图像像素值，所述假设退化图像是假设由所述多个通道构成的目标图像的退化的图像；伪目标图像像素值计算单元，被配置成关于感兴趣像素，即和假设退化图像的像素对应的所述目标图像的像素，根据感兴趣像素的像素值和与感兴趣像素邻近的像素的像素值，计算针对每个所述通道估计的像素值，以作为每个所述通道的伪目标图像像素值；和恢复图像产生单元，被配置成根据计算的假设退化图像像素值和计算的伪目标图像像素值产生由目标图像恢复的恢复图像。因而提供了这样的效果：针对每个通道计算假设退化图像像素值和伪目标图像 像素值，并且基于计算的假设退化图像像素值和伪目标图像像素值产生恢复图像。 

伪目标图像像素值计算单元可以在关于和感兴趣像素的通道相同的通道计算伪目标图像像素值的情况下以感兴趣像素的像素值作为伪目标图像像素值，并且在关于不同于感兴趣像素的通道的通道计算伪目标图像像素值的情况下根据感兴趣像素的像素值和与感兴趣像素邻近的像素的像素值来计算伪目标图像像素值。因而提供了这样的效果：在关于和感兴趣像素的通道相同的通道计算伪目标图像像素值的情况下以感兴趣像素的像素值作为伪目标图像像素值，并且在关于不同于感兴趣像素的通道的通道计算伪目标图像像素值的情况下根据感兴趣像素的像素值和与感兴趣像素邻近的像素的像素值来计算伪目标图像像素值。 

伪目标图像像素值计算单元可以在关于不同于感兴趣像素的通道的通道计算伪目标图像像素值的情况下，根据与感兴趣像素邻近的像素中具有与感兴趣像素的通道相同的通道的像素的像素值，和感兴趣像素的像素值，来计算伪目标图像像素值。因而提供了这样的效果：在关于不同于感兴趣像素的通道的通道计算伪目标图像像素值的情况下，根据与感兴趣像素邻近的像素中具有与感兴趣像素的通道相同的通道的像素的像素值，和感兴趣像素的像素值，来计算伪目标图像像素值。 

伪目标图像像素值计算单元可以包含：空间高频分量计算单元，被配置成计算与感兴趣像素邻近的像素中第一通道，即感兴趣像素的通道的每个像素的空间高频分量；空间低频分量计算单元，被配置成计算与感兴趣像素邻近的像素的第一通道的空间低频分量；第二通道空间低频分量计算单元，被配置成计算与感兴趣像素邻近的像素中第二通道，即不同于第一通道的通道的每个像素的空间低频分量；空间高频分量比例系数计算单元，被配置成基于根据第二通道的空间低频分量和根据第一通道的空间低频分量计算空间高频分量的比例系数；和伪目标图像像素值计算单元，被配置成基于根据第二通道的空间低频分量，根据第一通道的空间高频分量和比例系数计算第二通道的伪目标图像像素值。因而提供了这样的效果：计算第一通道的每个像素的空间高频分量和空间低频分量，计算第二通道的每个像素的空间低频分量，基于根据第二通道的空间低频分量和根据第一通道的空间低频分量计算比例系数，并且基于根据第二通道的空间低频分量，根据第一通道的空间高频分量和比例系数计算第二通道的伪目标图像像素值。 

伪目标图像像素值计算单元可以包含：像素分布线性逼近单元，被配置成计算线性逼近直线，其中对关于感兴趣像素和与感兴趣像素邻近的像素中第一通道，即感兴趣像素的通道，和第二通道，即不同于第一通道的通道的像素的像素值的像素值分布进行线性逼近；和像素值估计单元，被配置成使用线性逼近直线根据感兴趣像素的像素值估计第二通道的伪目标图像像素值。因而提供了这样的效果：计算线性逼近直线，使用这种线性逼近直线根据感兴趣像素的像素值来估计第二通道的伪目标图像像素值。 

伪目标图像像素值计算单元可以包含：插值单元，被配置成在与感兴趣像素邻近的像素中的第一通道，即感兴趣像素的通道的像素的位置处，对第二通道，即不同于第一通道的通道的两个像素的像素值进行插值，以计算插入值；第一乘积和单元，被配置成针对与感兴趣像素邻近的像素中第一通道的每个像素，积分与感兴趣像素和与感兴趣像素邻近的第一通道的像素的像素值的差值对应的差值权重、与感兴趣像素和与感兴趣像素邻近的第一通道的像素之间的距离对应的距离权重和插入值，并且将针对每个像素积分的积分值相加以计算第一乘积和值；第二乘积和单元，被配置成针对与感兴趣像素邻近的像素中第一通道的每个像素积分差值权重和距离权重，并且将针对每个像素积分的积分值相加以计算第二乘积和值；和伪目标图像像素值计算单元，被配置成基于第一乘积和值和第二乘积和值计算第二通道的伪目标图像像素值。因而提供了这样的效果：对差值权重，距离权重和插入值的乘积求和以获得第一乘积和值，并且对差值权重和距离权重的乘积求和以获得第二乘积和值，并且基于第一乘积和值和第二乘积和值计算第二通道的伪目标图像像素值。 

假设退化图像像素值计算单元可以通过关于对应于感兴趣像素的像素和与感兴趣像素邻近的像素，即构成恢复图像产生单元最近产生的恢复图像的像素的像素值，使用针对每个通道的模糊函数，来计算假设退化图像的像素值。因而提供了这样的效果：通过关于最近产生的恢复图像中对应于感兴趣像素的像素和与感兴趣像素邻近的像素使用针对每个通道的模糊函数，计算假设退化图像的像素值。 

图像处理设备还可以包含：更新信号计算单元，被配置成计算所计算的假设退化图像像素值和所计算的伪目标图像像素值之间的差值，并且基于其差值计算用于产生恢复图像的更新信号，其中恢复图像产生单元基于计算的更新信号产生恢复图像。因而提供了这样的效果：计算假设退化图 像像素值和伪目标图像像素值之间的差值，基于差值计算更新信号，并且基于这个更新信号产生恢复图像。 

另外，根据本发明的实施例，提供一种成像设备、根据成像设备的处理方法和使计算机执行所述处理方法的程序，所述成像设备包含：成像单元，被配置成对对象进行成像以产生由多个通道构成的成像图像；假设退化图像像素值计算单元，被配置成针对多个通道的每个通道计算假设退化图像的像素值以作为假设退化图像像素值，所述假设退化图像是假设成像图像的退化的图像；伪目标图像像素值计算单元，被配置成关于感兴趣像素，即和假设退化图像的像素对应的目标图像的像素，根据感兴趣像素的像素值和与感兴趣像素邻近的像素的像素值，计算针对每个所述通道估计的像素值，以作为每个所述通道的伪目标图像像素值；和恢复图像产生单元，被配置成根据计算的假设退化图像像素值和计算的伪目标图像像素值产生其中恢复成像图像的恢复图像，其中，伪目标图像像素值计算单元可以在关于和感兴趣像素的通道相同的通道计算伪目标图像像素值的情况下以感兴趣像素的像素值作为伪目标图像像素值，并且在关于不同于感兴趣像素的通道的通道计算伪目标图像像素值的情况下根据感兴趣像素的像素值和与感兴趣像素邻近的像素的像素值来计算伪目标图像像素值。因而提供了这样的效果：针对每个通道计算假设退化图像像素值和伪目标图像像素值，并且基于计算的假设退化图像像素值和伪目标图像像素值产生恢复图像。 

根据上述配置，提供了改进恢复图像时的精度的极好优点。 

附图说明

图1是图解根据本发明实施例的成像设备的内部配置例子的模块图； 

图2是图解根据本发明实施例的图像处理电路的功能配置例子的模块图； 

图3是图解充当布置在根据本发明实施例的成像设备的光接收表面上的滤色镜的例子的拜尔阵列的图例； 

图4A和4B的图例示意性图解了要进行根据本发明实施例的恢复处理单元的恢复处理的镶嵌图像，和经过恢复处理单元100的恢复处理的镶嵌图像； 

图5是图解根据本发明实施例的恢复处理单元的功能配置例子的模 块图； 

图6A和6B是图解表示PSF(点扩散函数)的值的曲线图的图例，PSF充当在根据本发明实施例的假设退化图像像素值计算单元计算假设退化图像像素值时使用的通道分类模糊矩阵； 

图7的图例示意性图解了要由根据本发明实施例的假设退化图像像素值计算单元处理的恢复图像，和由假设退化图像像素值计算单元计算的假设退化图像像素值所构成的假设退化图像； 

图8是图解根据本发明实施例的假设退化图像像素值计算单元的功能配置例子的模块图； 

图9的图例示意性图解了要由根据本发明实施例的伪观察图像像素值计算单元处理的观察图像，和由伪观察图像像素值计算单元计算的伪观察图像像素值构成的伪观察图像； 

图10是图解根据本发明实施例的伪观察图像像素值计算单元的功能配置例子的模块图； 

图11的图例示意性图解了要输入到根据本发明的伪观察图像像素值计算单元的观察图像； 

图12的图例示意性图解了要输入到根据本发明的伪观察图像像素值计算单元的观察图像； 

图13是图解根据本发明实施例的更新信号计算单元的功能配置例子的模块图； 

图14是图解根据本发明实施例的恢复图像产生单元的功能配置例子的模块图； 

图15的流程图图解了根据本发明实施例的图像处理电路的过程； 

图16的流程图图解了根据本发明实施例的恢复处理单元的恢复处理的过程； 

图17的流程图图解了根据本发明实施例的假设退化图像像素值计算单元的假设退化图像像素值计算处理的过程； 

图18的流程图图解了根据本发明实施例的伪观察图像像素值计算单元的伪观察图像像素值计算处理的过程； 

图19的流程图图解了根据本发明实施例的观察图像像素转换单元的观察图像像素转换处理的过程； 

图20的流程图图解了根据本发明实施例的更新信号计算单元的更新信号计算处理的过程； 

图21的流程图图解了根据本发明实施例的恢复图像产生单元的恢复 图像产生处理的过程； 

图22的图例图解了表示有关感兴趣像素和与感兴趣像素邻近的每个像素的参考通道和目标通道之间的像素值分布的像素值分布曲线图的例子； 

图23是图解根据本发明实施例的伪观察图像像素值计算单元的功能配置例子的模块图； 

图24的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元400的观察图像； 

图25的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元的观察图像； 

图26的流程图图解了根据本发明实施例的观察图像像素转换单元的观察图像像素转换处理的过程； 

图27A和27B的图例图解了像素值轴权重函数LUT(查找表)和空间轴权重函数LUT的例子； 

图28是图解根据本发明实施例的伪观察图像像素值计算单元的功能配置例子的模块图； 

图29的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元的观察图像； 

图30的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元的观察图像； 

图31的流程图图解了根据本发明实施例的观察图像像素转换单元的观察图像像素转换处理的过程； 

图32是图解根据本发明实施例的假设退化图像像素值计算单元的功能配置例子的模块图； 

图33的流程图图解了根据本发明实施例的假设退化图像像素值计算单元的假设图像像素值计算处理的过程； 

图34是图解根据本发明实施例的更新信号计算单元的功能配置例子的模块图； 

图35的流程图图解了根据本发明实施例的更新信号计算单元的更新信号计算处理的过程； 

图36是图解根据本发明实施例的更新信号计算单元的功能配置例子的模块图； 

图37的流程图图解了根据本发明实施例的更新信号计算单元的更新信号计算处理的过程； 

图38是图解根据本发明实施例的更新信号计算单元的功能配置例子的模块图； 

图39的流程图图解了根据本发明实施例的更新信号计算单元的更新信号计算处理的过程； 

图40是图解根据本发明实施例的恢复图像产生单元的功能配置例子的模块图； 

图41的流程图图解了根据本发明实施例的恢复图像产生单元的恢复图像产生处理的过程； 

图42是图解根据本发明实施例的恢复处理单元的功能配置例子的模块图； 

图43是图解根据本发明实施例的运动对象检测单元的功能配置例子的模块图； 

图44的图例示意性图解了根据本发明实施例的成像设备的噪声模型的例子； 

图45的图例示意性图解了根据本发明实施例的运动对象确定模型的例子； 

图46是图解根据本发明实施例的运动对象隐藏单元的功能配置例子的模块图； 

图47的流程图图解了根据本发明实施例的恢复处理单元的恢复处理的过程； 

图48是图解根据本发明实施例的恢复处理单元的功能配置例子的模块图； 

图49是图解根据本发明实施例的恢复处理单元的功能配置例子的模块图； 

图50是图解根据本发明实施例的恢复处理单元的功能配置例子的模块图；而 

图51是图解用于根据本发明实施例的伪观察图像像素值计算处理的参考通道和目标通道之间的关系的图例。 

具体实施方式

下面参考附图详细描述本发明的实施例。图1是图解根据本发明实施例的成像设备10的内部配置例子的模块图。 

成像设备10包含透镜11、光圈12、成像设备13、采样电路21、A/D(模拟/数字)转换电路22、图像处理电路23、编码器/解码器31和存储器32。另外，成像设备10包含显示驱动器41、显示单元42、定时产生器51、操作接受单元52、控制单元53和总线59。注意，图像处理电路23、编码器/解码器31、存储器32、显示驱动器41、定时产生器51、操作接受单元52和控制单元53经由总线59相互连接。成像设备10能够例如用对对象成像以产生静止图像或运动图像的数字静止图像摄像机或数字视频摄像机(例如摄像机集成型录像机)来实现。 

透镜11是用于聚集来自对象的光的透镜。光圈12调整由透镜11聚集的光的光量。也就是说，来自对象、由透镜11聚集并且光量已经由光圈12调整的光被提供给成像设备13。 

成像设备13是图像传感器，其由定时产生器51驱动，通过光电转换将经由透镜11和光圈12输入的来自对象的光转换成电信号(图像信号)，并且将转换的电信号输出到采样电路21。也就是说，当经由透镜11和光圈12输入的来自对象的光到达成像设备13的传感器成像表面上的光接收元件时，通过这些光接收元件进行光电转换，从而产生电信号。注意，例如用CCD(电荷耦合设备)、CMOS(互补金属氧化物半导体)等等来实现成像设备13。 

采样电路21由定时产生器51驱动，采样从成像设备13提供的电信号以对采样信号进行例如去除噪声分量的模拟处理，并且将经过这种处理的模拟信号提供给A/D转换电路22。采样电路21能够降低成像设备13上出现的噪声。注意，例如用相关双采样(CDS)电路来实现采样电路21。 

A/D转换电路22由定时产生器51驱动，将从采样电路21提供的模拟信号转换成数字信号，并且将转换的数字信号提供给图像处理电路23。注意，成像设备13，采样电路21和A/D转换电路22是实现本发明特性的成像单元的例子。 

图像处理电路23对从A/D转换电路22提供的数字信号(图像数据)进行预定图像处理，并且将经过这种图像处理的图像数据提供给显示驱动器41和编码器/解码器31。具体地，从图像处理电路23提供的数字信号被临时存储在图像处理电路23内的图像存储器(用于图像的RAM(随机访问存储器))中。随后，图像处理电路23的用于信号处理的处理器对图像存储器中存储的数字信号进行事先编程的图像处理。注意，例如用DSP(数字信号处理器)来实现图像处理电路23。此外，参考图2至14及其它来详细描述图像处理电路23执行的处理的细节。 

编码器/解码器31编码从图像处理电路23提供的图像数据，并且将编码图像数据提供和记录到存储器32。此外，编码器/解码器31从存储器32读出图像数据以对其解码，并且将其提供给图像处理电路23。 

存储器32是存储编码器/解码器31编码的图像数据的存储器。此外，存储器32将存储的图像数据提供给编码器/解码器31。注意，例如用使用半导体存储器，磁记录介质，磁光盘记录介质，光学记录介质等等的记录设备来实现存储器32。 

显示驱动器41将从图像处理电路23提供的数字信号转换成模拟信号，并且控制显示单元42来显示对应于转换的模拟信号的图像。 

显示单元42显示对应于显示驱动器41转换的模拟信号的图像。注意，在正常状态下，在定时产生器51的控制下以固定帧速率在图像处理电路23的内置图像存储器中不断地覆写数字信号(像素流)。随后，图像处理电路23的内置图像存储器的图像数据经由显示驱动器41被输出到显示单元42，并且在显示单元42上显示对应于其图像数据的图像。例如用LCD(液晶显示器)等等实现显示单元42，并且显示单元42也具有取景器功能。 

定时产生器51是控制信号处理系统(成像设备13、采样电路21、A/D转换电路22和图像处理电路23)的操作定时的定时产生器。例如，在成像状态下，定时产生器51控制信号处理系统以便以固定帧速率保持图像的捕获。 

操作接受单元52是接受操作输入，例如用户的快门操作、其它命令输入等等并且将接受的操作输入的内容提供给控制单元53的操作接受单元。例如，操作接受单元52包含操作按钮，例如成像设备10主单元上提供的快门按钮等等。 

控制单元53是控制整个成像设备10，读出驱动器(未示出)中存储的 控制处理程序并且基于其控制处理程序或操作接受单元52从用户接受的命令执行各种控制等等的控制单元。例如用CPU(中央处理单元)实现控制单元53。 

下面参考附图详细描述图像处理电路23执行的信号处理。通过图像处理电路23内的计算单元实现本发明的实施例所示的信号处理，该计算单元针对输入到图像处理电路23的数字信号(图像信号)流执行用预定程序代码描述的计算。因此，下面将其程序内的每个处理单元描述为功能模块，并且参照流程图描述每个处理执行的序列。注意，可以进行这样的安排，其中除了通过本发明实施例描述的由程序实现的处理之外，安装实现与如下所述功能模块中的处理相同的处理的硬件电路。 

图2是图解根据本发明实施例的图像处理电路23的功能配置例子的模块图。注意，图2图解了由图像处理电路23执行的整个信号处理的配置。图像处理电路23包含恢复处理单元100、白平衡处理单元210、去镶嵌处理单元220、伽玛校正处理单元230和YC转换处理单元240。由A/D转换电路22数字化的镶嵌图像M作为输入图像被输入到图像处理电路23。随后，图像处理电路23对输入的镶嵌图像M进行各种图像处理。这个镶嵌图像M是对应于R(红)、G(绿)和B(蓝)之一的强度信号被存储在每个像素中并且其色阵列是例如图3所示的拜尔阵列的图像。 

恢复处理单元100对镶嵌图像M进行恢复光学退化和传感器退化的处理。进行恢复处理的镶嵌图像M_rep被提供给白平衡处理单元210。注意，参考图5至14和其它附图详细描述恢复处理单元100。 

白平衡处理单元210对经过恢复处理的镶嵌M_rep进行白平衡处理。这个白平衡处理是根据每个像素强度具有的颜色对镶嵌图像M_rep应用适当系数以使得消色对象区域的色平衡变成消色的处理。经过白平衡处理的镶嵌图像M_w被提供给去镶嵌处理单元220。 

去镶嵌处理单元220执行去镶嵌处理(插值处理)，使得所有通道R，G和B的强度调准到经过白平衡处理的镶嵌图像M_w的每个像素位置。经过这个去镶嵌处理的RGB图像([R_w，G_w，B_w]^T)被提供给伽玛校正处理单元230。注意，经过这个去镶嵌处理的RGB图像([R_w，G_w，B_w]^T)是对应于三个颜色R、G和B的图像。矩阵A^T表示矩阵A的转置矩阵。 

伽玛校正处理单元230对RGB图像([R_m，G_m，B_m]^T)进行伽玛校正。经过伽玛校正的RGB图像([R_u ^γ，G_u ^γ，B_u ^γ]^T)被提供给YC转换处理单元240。 

YC转换处理单元240对经过伽玛校正的RGB图像([R_u ^γ，G_u ^γ，B_u ^γ]^T)进行YC矩阵处理和关于色度分量的带限制，从而产生亮度信号(Y)和色差信号(Cr，Cb)。亮度信号(Y-图像)和色差信号(C-图像)被提供给编码器/解码器31或显示驱动器41。 

图3是图解充当布置在根据本发明实施例的成像设备13的光接收表面上的滤色镜的例子的拜尔阵列的图例。对于这个拜尔阵列，颜色G的像素以棋盘格模式布置，而对于G之外的像素位置，颜色R的像素被布置成方格栅状态，其中在水平方向和垂直方向具有一个像素的间隔，颜色B的像素在剩余像素位置被布置成方格栅状态，其中在水平方向和垂直方向具有一个像素的间隔。注意，对于本发明的实施例，包含R像素的行中包含的G像素用Gr表示，包含B像素的行中包含的G像素用Gb表示。 

图4A和4B的图例示意性图解了要进行根据本发明实施例的恢复处理单元100的恢复处理的镶嵌图像，和经过恢复处理单元100的恢复处理的镶嵌图像。对于这些镶嵌图像，对应于图3所示的拜尔阵列地布置每个像素。对于本发明的实施例，将针对例子进行描述，其中恢复处理单元100输入要进行恢复处理的镶嵌图像以作为观察图像，恢复处理单元100输出经过恢复处理的镶嵌图像作为恢复图像。 

图4A图解了要进行恢复处理单元100的恢复处理的观察图像300，图4B图解了经过恢复处理单元100的恢复处理的恢复图像310。在图4A和4B中，通过围绕由虚线构成的矩形来表示一部分图像，并且每个矩形中包含的像素用圆来表示，在圆中示出表示每个像素的通道的字符。这里，图4B所示的恢复图像310是高清晰度图像，其经过转换使得图4A所示的观察图像300的分辨率在垂直和水平方向变成原来的三倍。因而，要进行恢复处理的观察图像300和经过恢复处理的恢复图像310的分辨率不同。因此，在图4A和4B中，为了使得能够比较观察图像300和恢复图像310，表示共同包含在观察图像300和恢复图像310中的像素的圆用粗线来表示。也就是说，共同包含在观察图像300和恢复图像310中的像素是观察图像300中的像素301至309，和恢复图像310中的像素311至319。此外，对于图4A所示的观察图像300，在对应于构成恢复图像310的像素的像素位置的位置中，没有像素存在的位置用由虚线构成的圆来表示。也就是说，观察图像300与恢复图像310相比变成低分辨率图像，因此在除了像素301至309的像素位置之外的位置没有像素存在。 

图5是图解根据本发明实施例的恢复处理单元100的功能配置例子的模块图。恢复处理单元100包含假设退化图像像素值计算单元110、伪观察图像像素值计算单元120、更新信号计算单元130和恢复图像产生单元140。注意，对于本发明的实施例，光学系统引起的退化用PSF(点扩散函数)定义。 

假设退化图像像素值计算单元110计算在基于从恢复图像产生单元140输出的帧(恢复图像)产生更新信号时使用的假设退化图像像素值，并且输出计算的假设退化图像像素值到更新信号计算单元130。假设退化图像像素值计算单元110在计算假设退化图像像素值时使用通道分类模糊函数(例如，图6A和6B所示的PSF)。注意，参考图8详细描述假设退化图像像素值计算单元110。 

伪观察图像像素值计算单元120计算在基于从A/D转换电路22输出的帧(观察图像)产生更新信号时使用的伪观察图像像素值，并且输出计算的伪观察图像像素值到更新信号计算单元130。注意，参考图10详细描述伪观察图像像素值计算单元120。此外，伪观察图像像素值计算单元120是实现本发明特性的伪目标图像像素值计算单元的例子。 

更新信号计算单元130基于从假设退化图像像素值计算单元110输出的假设退化图像像素值和从伪观察图像像素值计算单元120输出的伪观察图像像素值计算用于产生恢复图像的更新信号，并且输出计算的更新信号到恢复图像产生单元140。注意，参考图13详细描述更新信号计算单元130。 

恢复图像产生单元140基于从更新信号计算单元130输出的更新信号更新最近产生的恢复图像以产生新恢复图像，并且接着输出新产生的恢复图像到白平衡处理单元210，并且也在针对下一帧(观察图像)产生恢复图像时使用其恢复图像。注意，参考图14详细描述恢复图像产生单元140。 

图6A和6B是图解表示PSF的值的曲线图的图例，PSF充当在根据本发明实施例的假设退化图像像素值计算单元110计算假设退化图像像素值时使用的通道分类模糊矩阵的例子。图6A图解了表示二维PSF的值的曲线图，图6B图解了表示三维PSF的值的曲线图。注意，对于图6A所示的曲线图，x轴是表示图像上的像素的位置(像素位置)的轴，y轴是表示针对像素位置的响应的值的轴。此外，对于图6B所示的曲线图，x轴和z轴是表示图像上的像素的位置的轴，y轴是表示针对像素位置的响应的值的轴。这里，图6A和6B所示的y轴的值(针对像素位置的响应的 值)是表示针对充当输入的像素位置的输出作为图像看上去有多模糊的值。此外，令图6A和6B所示的y轴上的值为根据正态分布归一化的值。注意，图6A和6B所示的PSF是实现本发明特性的模糊函数的例子。 

图7的图例示意性图解了要由根据本发明实施例的假设退化图像像素值计算单元110处理的恢复图像310，和由假设退化图像像素值计算单元110计算的假设退化图像像素值所构成的假设退化图像。注意，图7的(a)所示的恢复图像310与图4B所示的恢复图像310相同，因此这里省略其详细描述。此外，图7中的(b)图解了作为由针对每个通道计算的假设退化图像像素值构成的假设退化图像的例子的假设退化图像321至324。参考图8详细描述假设退化图像。 

图8是图解根据本发明实施例的假设退化图像像素值计算单元110的功能配置例子的模块图。假设退化图像像素值计算单元110包含通道分类模糊矩阵保持单元111、乘积和单元112和再采样单元113。 

通道分类模糊矩阵保持单元111保持假设每个通道的光学退化的模糊矩阵，并且提供所保持的通道分类模糊矩阵给乘积和单元112。例如，图6A和6B所示的PSF能够被用作通道分类模糊矩阵。 

乘积和单元112通过针对从恢复图像产生单元140输出的恢复图像的每个像素使用通道分类模糊矩阵保持单元111中保持的通道分类模糊矩阵来计算假设退化图像的像素值(假设退化图像像素值)，并且接着输出计算的假设退化图像像素值到再采样单元113。 

对于本发明的实施例，在恢复图像的像素中，将使用在计算假设退化图像像素值时充当参考的像素的位置来进行描述，该位置被称为感兴趣像素位置。此外，感兴趣像素位置存在的像素被称作感兴趣像素。对于这个例子，将针对这样的情况进行描述：恢复图像中与构成观察图像的每个像素的像素位置对应的位置被作为感兴趣像素位置，并且该感兴趣像素位置存在的像素被作为感兴趣像素。例如，对于图7中的(a)所示的例子，恢复图像310的像素311至319是感兴趣像素，像素311至319的位置是感兴趣像素位置。此外，也会类似地通过使用感兴趣像素位置和感兴趣像素来描述观察图像的每个像素。 

具体地，在恢复图像的感兴趣像素和邻近感兴趣像素的像素中，乘积和单元112根据相同通道的像素值和通道分类模糊矩阵保持单元111处保持的通道分类模糊矩阵获得乘积的和，并且计算其感兴趣像素位置处的假 设退化图像像素值。注意，例如，以感兴趣像素为中心的7像素×7像素的范围中存在的像素能够被用作感兴趣像素附近存在的像素。例如，在图7中的(a)所示的像素315被作为感兴趣像素并且针对其感兴趣像素位置计算假设退化图像像素值的情况下，以像素315为中心的7像素×7像素的范围(恢复图像310的范围)变成计算目标。也就是说，在通过将图7中的(a)所示的像素315的位置作为感兴趣像素位置来计算假设退化图像像素值的情况下，恢复图像310的范围中包含的每个像素的像素值被用于计算每个通道的假设退化图像像素值。 

现在用要计算假设退化图像像素值的通道进行描述，该通道被称作目标通道。例如，在通过将图7中的(a)所示的像素315的位置作为感兴趣像素位置来针对目标通道Gr计算假设退化图像像素值的情况下，使用恢复图像310的范围中包含的通道Gr的(16)像素值和通道Gr的模糊矩阵执行积分处理。顺序相加积分值，即积分结果，从而获得有关通道Gr的假设退化图像像素值。此外，例如，在通过将图7中的(a)所示的像素315的位置作为感兴趣像素位置针对目标通道R计算假设退化图像像素值的情况下，使用恢复图像310的范围中包含的通道R的(12)像素值和通道R的模糊矩阵执行积分处理。顺序相加积分值，即积分结果，从而获得有关通道R的假设退化图像像素值。类似地，以图7中的(a)所示的像素315的位置为感兴趣像素位置，针对每个目标通道B和Gr使用恢复图像310的范围中包含的目标通道来计算假设退化图像像素值。此外，类似地计算其它感兴趣像素位置。也就是说，针对一个感兴趣像素位置计算四个假设退化图像像素值。例如，在沿光栅顺序移动感兴趣像素位置的同时，执行假设退化图像像素值的计算。也就是说，对于图7中的(a)所示的恢复图像310，按照像素311→像素312→像素313→...→像素314→像素315→像素316→...→像素317→像素318→像素319→...的顺序执行假设退化图像像素值的计算。 

再采样单元113在感兴趣像素位置布置(再采样)乘积和单元112获得的假设退化图像像素值，并且将如此布置的假设退化图像像素值输出到更新信号计算单元130。例如，在以图7中的(a)所示的像素315的位置作为感兴趣像素位置对针对目标通道Gr获得的假设退化图像像素值进行再采样的情况下，在图7中的(b)所示的假设退化图像(目标通道Gr)321的像素331的位置处进行再采样。此外，例如，在以图7中的(a)所示的像素315的位置作为感兴趣像素位置对针对目标通道R获得的假设退化图像像素值进行再采样的情况下，在图7中的(b)所示的假设退化图像(目标通道 R)322的像素332的位置处进行再采样。类似地，在以图7中的(a)所示的像素315的位置为感兴趣像素位置对针对目标通道B和Gb获得的假设退化图像像素值进行再采样的情况下，以相同方式进行再采样。具体地，在图7中的(b)所示的假设退化图像(目标通道B)323的像素333的位置对针对目标通道B获得的假设退化图像像素值再采样。此外，在图7中的(b)所示的假设退化图像(目标通道Gb)324的像素334的位置对针对目标通道Gb获得的假设退化图像像素值再采样。如此进行再采样，从而针对一个恢复图像310获得对应于四个通道的假设退化图像321至324。 

注意，对于假设退化图像像素值计算单元110的再采样处理，在未假设成像设备13引起的退化的情况下，只进行不涉及分辨率转换的像素位置的再采样处理。也就是说，产生与观察图像具有相同分辨率的四个假设退化图像。此外，在观察图像不是拜尔阵列的情况下，能够省略再采样处理。例如，观察图像不是拜尔阵列的情况是经过去镶嵌处理的图像被作为观察图像的情况。 

图9的图例示意性图解了要由根据本发明实施例的伪观察图像像素值计算单元120处理的观察图像300，和由伪观察图像像素值计算单元120计算的伪观察图像像素值构成的伪观察图像341至344。注意，图9的(a)所示的观察图像300与图4A所示的观察图像300相同，因此这里省略其详细描述。此外，图9中的(b)图解了作为由针对每个通道计算的伪观察图像像素值构成的伪观察图像的例子的伪观察图像341至344。参考图10详细描述伪观察图像。 

图10是图解根据本发明实施例的伪观察图像像素值计算单元120的功能配置例子的模块图。伪观察图像像素值计算单元120包含通道确定单元121和观察图像像素转换单元122。这里，以构成观察图像的每个像素作为伪方式的相同通道的像素，伪观察图像像素值计算单元120针对每个通道计算伪观察图像的每个像素值。利用下述特性计算伪观察图像的像素值(伪观察图像像素值)：即使在其通道不同的情况下像素高频分量通常变成相同值，但是像素低频分量根据其通道的类型变成不同值。注意，以和针对假设退化图像像素值计算单元110描述的情况相同的方式，用要计算的通道(被称作目标通道)进行描述。此外，以和假设退化图像像素值计算单元110相同的方式，伪观察图像像素值计算单元120针对一个感兴趣像素位置计算四个伪观察图像像素值。也就是说，每四个目标通道获得伪观察图像像素值。 

通道确定单元121输入从A/D转换电路22输出的观察图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值，并且确定感兴趣像素的通道和目标通道的通道是否相同。接着，在确定感兴趣像素的通道和目标通道的通道相同的情况下，通道确定单元121将感兴趣像素的像素值作为伪观察图像像素值输出到更新信号计算单元130。 

另一方面，在确定感兴趣像素的通道和目标通道的通道不相同的情况下，通道确定单元121将感兴趣像素和与感兴趣像素邻近的每个像素中目标通道的像素值输出到空间低频分量计算单元123和127。此外，在感兴趣像素和与感兴趣像素邻近的每个像素中，通道确定单元121输出感兴趣像素的通道(参考通道)的像素值到空间高频分量计算单元124和空间低频分量计算单元126。 

这里，参考通道是在感兴趣像素的通道和目标通道不相同的情况下在计算伪观察图像像素值时使用的通道，并且与感兴趣像素的通道是相同通道。例如，在以图9中的(a)所示的像素301、303、307和309的位置作为感兴趣像素位置针对目标通道Gr计算伪观察图像像素值的情况下，感兴趣像素(像素301、303、307和309)的通道Gr和目标通道Gr相同。因此，感兴趣像素(像素301、303、307和309)的像素值作为伪观察图像像素值，即作为图9中的(b)所示的伪观察图像(目标通道Gr)341的像素351、353、357和359的伪观察图像像素值输出。另一方面，例如，在以图9中的(a)所示的像素302的位置作为感兴趣像素位置针对目标通道Gr计算伪观察图像像素值的情况下，感兴趣像素(像素302)的通道R和目标通道Gr不相同。因此，在像素302和与像素302邻近的每个像素中，感兴趣像素(像素302)的通道(参考通道)R和目标通道Gr被用于计算伪观察图像像素值。这个伪观察图像像素值作为图9中的(b)所示的伪观察图像(目标通道Gr)341的像素352的伪观察图像像素值被输出。类似地，在以图9中的(a)所示的像素304至306和308的位置作为感兴趣像素位置针对目标通道Gr计算伪观察图像像素值的情况下，感兴趣像素的通道和目标通道Gr不相同。因此，在感兴趣像素和与感兴趣像素邻近的每个像素中，感兴趣像素的通道(参考通道)和目标通道Gr被用于计算伪观察图像像素值。 

对于图9中的(b)所示的伪观察图像341至344，用粗圆表示这样的像素位置：在该像素位置处，观察图像300的感兴趣像素的像素值作为伪观察图像像素值被输出。此外，对于图9中的(b)所示的伪观察图像341至 344，用双圆表示这样的像素位置：在该像素位置处，使用感兴趣像素的通道(参考通道)和目标通道计算伪观察图像像素值。因而，针对一个感兴趣像素位置获得四个伪观察图像像素值。注意，使用参考通道和目标通道对伪观察图像像素值的计算由观察图像像素转换单元122来进行。 

观察图像像素转换单元122估计感兴趣像素位置处目标通道的像素值。观察图像像素转换单元122包含空间低频分量计算单元123、空间高频分量计算单元124、空间高频分量比例系数计算单元125和伪观察图像像素值计算单元129。此外，空间高频分量比例系数计算单元125计算参考通道的空间高频分量的比例系数，并且包含空间低频分量计算单元126和127，以及除法器128。对于这个例子，考虑到通道之间存在涉及像素值改变的相关性，并且基于通道之间涉及像素值改变的相关性来估计感兴趣像素位置处目标通道的像素值。具体地，感兴趣像素的通道(参考通道)的变化量(参考通道的空间高频分量)被进行定标，并且被加到感兴趣像素位置处目标通道的DC分量(目标通道的空间低频分量)上。因而估计感兴趣像素位置处目标通道的像素值。 

空间低频分量计算单元123对邻近感兴趣像素的每个像素的通道(目标通道)的像素值应用低频通过滤波器(低通滤波器)以计算感兴趣像素位置处目标通道的空间低频分量，接着输出作为计算结果的空间低频分量I_LowFreq到伪观察图像像素值计算单元129。注意，空间低频分量计算单元123是实现本发明特性的第二通道空间低频分量计算单元的例子。 

空间高频分量计算单元124计算感兴趣像素位置处参考通道的空间高频分量，接着输出作为计算结果的空间高频分量I′_HighFreq到伪观察图像像素值计算单元129。具体地，空间高频分量计算单元124如表达式7所示计算感兴趣像素的像素值I′和空间低频分量计算单元126计算的感兴趣像素位置处参考通道的空间低频分量I′_LowFreq之间的差值。接着，这个差值(空间高频分量I ′_HighFreq)作为感兴趣像素位置处参考通道的空间高频分量被输出到伪观察图像像素值计算单元129。注意，高频通过滤波器(高通滤波)可以被用来计算感兴趣像素位置处参考通道的空间高频分量。 

I′_HighFreq＝I′-I′_LowFreq    表达式7 

空间低频分量计算单元126对感兴趣像素和与感兴趣像素邻近的每个像素的参考通道的像素值应用低频通过滤波器以计算感兴趣像素位置处参考通道的空间低频分量，接着输出作为计算结果的空间低频分量 I′_LowFreq到空间高频分量计算单元124和除法器128。 

空间低频分量计算单元127对感兴趣像素和与感兴趣像素邻近的每个像素的目标通道的像素值应用低频通过滤波器以计算感兴趣像素位置处目标通道的空间低频分量，接着输出作为计算结果的空间低频分量I_LowFreq到除法器128。注意，空间低频分量计算单元127可以是空间低频分量计算单元123的复制。此外，空间低频分量计算单元127是实现本发明特性的第二通道空间低频分量计算单元的例子。 

除法器128基于来自空间低频分量计算单元127的目标通道的空间低频分量和来自空间低频分量计算单元126的参考通道的空间低频分量计算参考通道的空间高频分量的比例系数。这个比例系数是用于调整参考通道的空间高频分量的大小的系数，并且对参考通道的空间高频分量进行归一化。例如，如表达式8所示，除法器128将空间低频分量I_LowFreq除以空间低频分量I′_LowFreq以计算比例系数k。注意，如表达式9所示，通过使用感兴趣像素和与感兴趣像素邻近的每个像素的目标通道的像素值的方差σ_I，I和感兴趣像素和与感兴趣像素邻近的每个像素的目标通道和参考通道的协方差σ_I，I′，可以计算比例系数k。 

$k=\frac{I_{\mathrm{LowFreq}}}{{I^{\′}}_{\mathrm{LowFreq}}}$ 表达式8 

$k=\frac{{\mathrm{\σ}}_{I,I^{\′}}}{{\mathrm{\σ}}_{I,I}}$ 表达式9 

伪观察图像像素值计算单元129基于来自空间低频分量计算单元123的空间低频分量，来自空间高频分量计算单元124的空间高频分量和来自除法器128的比例系数计算感兴趣像素位置的伪观察图像像素值，接着输出感兴趣像素位置的伪观察图像像素值到更新信号计算单元130。例如，如表达式10所示，伪观察图像像素值计算单元129使用空间低频分量I_LowFreq，空间高频分量I′_HighFreq和比例系数k计算感兴趣像素位置的伪观察图像像素值I_pseudo。注意，伪观察图像像素值计算单元129是实现本发明特性的伪目标图像像素值计算单元的例子。 

I_pseudo＝k×I′_HighFreq+I_LowFreq    表达式10 

图11和12的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元120的观察图像。注意，在图11和12所示的观察图像中，对应于恢复图像的像素位置的虚线圆(图4、7和9所示)被省略。此外，对于图11和12所示的观察图像，用粗圆表示感兴趣像素，并且用带阴影线圆表示目标通道的像素。图11图解了由感兴趣像素(与恢复图像的感兴趣像素位置对等的位置存在的像素)361和与感兴趣像素361邻近的每个像素构成的观察图像360。此外，图11示例了R通道被作为感兴趣像素361的通道(参考通道)并且通道Gr被作为目标通道的情形。 

对于图11所示的例子，感兴趣像素361的通道R和目标通道Gr不相同。因此，在与感兴趣像素361邻近的每个像素中，目标通道Gr的像素值被输出到空间低频分量计算单元123和127。此外，在感兴趣像素361和与感兴趣像素邻近的每个像素中，参考通道R的像素值被输出到空间高频分量计算单元124和空间低频分量计算单元126。 

接着，空间低频分量计算单元123和127对目标通道空间低频分量计算范围362(用实线矩形表示的范围)中包含的目标通道Gr的像素值应用低频通过滤波器(例如，4×5)，接着计算感兴趣像素361位置处目标通道Gr的空间低频分量。在这种情况下，例如，通过使用偶数抽头的低频通过滤波器能够直接获得感兴趣像素361的位置的相位的空间低频分量。此外，可以进行这样的安排：奇数抽头的低频通过滤波器被用来事先获得目标通道Gr的位置的空间低频分量，并且根据这种插值，获得感兴趣像素361的位置的空间低频分量。 

接着，空间低频分量计算单元126对参考通道空间低频和高频分量计算范围363(用虚线矩形表示的范围)中包含的参考通道R的像素值应用低频通过滤波器(例如，5×5)，接着计算感兴趣像素361的位置处参考通道R的空间低频分量。 

接着，除法器128基于感兴趣像素361的位置处目标通道Gr的空间低频分量和感兴趣像素361的位置处参考通道R的空间低频分量计算参考通道R的空间高频分量的比例系数。根据例如表达式8进行这个计算。 

接着，空间高频分量计算单元124计算感兴趣像素361的位置处参考 通道R的空间低频分量和感兴趣像素361的参考通道R的像素值之间的差值，接着计算感兴趣像素361的位置处参考通道R的空间高频分量。 

接着，伪观察图像像素值计算单元129计算感兴趣像素361的位置处的伪观察图像像素值。具体地，根据表达式10，感兴趣像素361的位置处目标通道Gr的空间低频分量，参考通道R的空间高频分量和参考通道R的空间高频分量的比例系数被用于计算其位置处的伪观察图像像素值。接着，感兴趣像素361的位置处的伪观察图像像素值被输出到更新信号计算单元130。 

图12图解了由感兴趣像素371和邻近感兴趣像素371的每个像素构成的观察图像370。此外，图12示例了Gb通道被作为感兴趣像素371的通道(参考通道)并且通道Gr被作为目标通道的情形。注意，这个例子是图11的修改，其中计算空间低频分量时使用的低频通过滤波器不同。因此，涉及与图11共同的部分的描述被省略，并且下面以不同于图11的部分为中心来进行描述。 

对于图12所示的例子，感兴趣像素371的通道(参考通道)Gb和目标通道Gr不相同。因此，在与感兴趣像素371邻近的每个像素中，目标通道Gr的像素值被输出到空间低频分量计算单元123和127。此外，在感兴趣像素371和与感兴趣像素邻近的每个像素中，参考通道Gb的像素值被输出到空间高频分量计算单元124和空间低频分量计算单元126。 

接着，空间低频分量计算单元123和127对目标通道空间低频分量计算范围372(用实线矩形表示的范围)中包含的目标通道Gr的像素值应用低频通过滤波器(例如，4×4)，接着计算感兴趣像素371位置处目标通道Gr的空间低频分量。 

接着，空间低频分量计算单元126对参考通道空间低频和高频分量计算范围373(用虚线矩形表示的范围)中包含的参考通道Gb的像素值应用低频通过滤波器(例如，5×5)，接着计算感兴趣像素371的位置处参考通道Gb的空间低频分量。以和图11相同的方式进行计算，计算感兴趣像素371的位置处的伪观察图像像素值，并且伪观察图像像素值接着被输出到更新信号计算单元130。 

图13是图解根据本发明实施例的更新信号计算单元130的功能配置例子的模块图。更新信号计算单元130包含减法器131和再采样单元132。 

减法器131从输出自伪观察图像像素值计算单元120的伪观察图像像 素值中减去输出自假设退化图像像素值计算单元110的假设退化图像像素值，并且输出作为减法结果的差值到再采样单元132。如上所述，针对一个感兴趣像素位置产生四个目标通道(Gr、R、B和Gb)的伪观察图像像素值和假设退化图像像素值。因此，针对一个感兴趣像素位置产生的四个伪观察图像像素值和假设退化图像像素值被顺序输入到减法器131。接着，针对各个目标通道的所输入的四个伪观察图像像素值和假设退化图像像素值顺序地进行减法处理。 

再采样单元132从感兴趣像素位置到恢复图像的像素位置对输出自减法器131的差值再采样，并且作为更新信号输出再采样的差值到恢复图像产生单元140。也就是说，关于一个感兴趣像素位置(与观察图像的像素位置对等的位置)针对各个目标通道计算的四个差值被上采样到恢复图像的像素位置，所述恢复图像具有三倍于观察图像的分辨率的分辨率。接着，针对恢复图像的每个像素位置，再采样的差值作为更新信号被输出。 

图14是图解根据本发明实施例的恢复图像产生单元140的功能配置例子的模块图。恢复图像产生单元140包含矩阵计算单元141和加法器142。注意，恢复图像产生单元140用例如表达式3和5所示的反投影方法及其简化类型产生恢复图像。 

矩阵计算单元141执行计算：将预定矩阵应用于从再采样单元132输出的更新信号(伪观察图像像素值和假设退化图像像素值之间的差值)，并且输出其计算结果到加法器142。这里，预定矩阵的例子包含表达式3和5所示的矩阵(例如，矩阵λh^T或矩阵a)。 

加法器142将输出自矩阵计算单元141的计算结果的值和构成最近产生的恢复图像的每个像素位置的像素值(恢复图像信号)相加。接着，作为相加结果的相加值作为恢复图像信号被输出到白平衡处理单元210。此外，这个恢复图像信号被用于产生下一恢复图像信号。也就是说，恢复图像产生单元140更新最近产生的恢复图像并且产生新恢复图像。注意，例如，其分辨率已经从观察图像进行转换、首先输入到恢复处理单元100的图像能够被用作第一恢复图像。 

下面参照附图描述根据本发明实施例的成像设备10的操作。图15的流程图图解了根据本发明实施例的图像处理电路23的过程。 

在循环L901中，针对从A/D转换电路22顺序输出的帧(镶嵌图像)，每次一个帧地重复步骤S902至S907和S910的处理，直到没有后续的帧。 

首先，图像处理电路23读出其内部图像存储器中存储的一个帧(镶嵌图像)(步骤S902)。 

接着，恢复处理单元100执行恢复处理以恢复读取的镶嵌图像的光学退化和传感器退化(步骤S910)。注意，参考图16详细描述这个恢复处理。 

接着，白平衡处理单元210针对经过恢复处理的镶嵌图像执行白平衡处理(步骤S903)。去镶嵌处理单元220针对经过白平衡处理的镶嵌图像执行去镶嵌处理，以产生包含每个像素位置处的R、G和B的全部信息的RGB图像(步骤S904)。伽玛校正处理单元230针对RGB图像执行伽玛校正处理(步骤S905)。YC转换处理单元240将经过伽玛校正的RGB图像转换成Y-图像和C-图像(步骤S906)。为了显示到显示单元42或记录到存储器32而输出Y-图像和C-图像(步骤S907)。接着，如果没有后续的帧输入，则结束图像处理电路23的操作。 

图16的流程图图解了根据本发明实施例的恢复处理单元100的恢复处理(图15中的步骤S910)的过程。注意，这个例子示例了以像素为增量执行一系列恢复处理的情形。 

首先，恢复处理单元100输入从图像处理电路23的内部图像存储器读出的镶嵌图像(观察图像)，和从恢复图像产生单元140输出的镶嵌图像(恢复图像)(步骤S911)。 

接着，在循环L912中，针对观察图像和恢复图像(两个镶嵌图像)的每个感兴趣像素执行循环L913，步骤S960和S970的处理。此外，在循环L913中，针对观察图像和恢复图像(两个镶嵌图像)的每个感兴趣像素，每四个目标通道执行步骤S930和S940的处理。 

在循环L913中，首先，假设退化图像像素值计算单元110执行假设退化图像像素值计算处理以针对恢复图像的感兴趣像素计算假设退化图像像素值(步骤S930)。参考图17详细描述这个假设退化图像像素值计算处理。注意，步骤S930是实现本发明特性的假设退化图像像素值计算过程的例子。 

接着，伪观察图像像素值计算单元120执行伪观察图像像素值计算处理以针对观察图像的感兴趣像素计算伪观察图像像素值(步骤S940)。参考图18详细描述这个伪观察图像像素值计算处理。注意，步骤S940是实现本发明特性的伪目标图像像素值计算过程的例子。重复循环L913，直到针对四个目标通道的假设退化图像像素值和伪观察图像像素值的计算结 束。在针对四个目标通道的假设退化图像像素值和伪观察图像像素值的计算已经结束的情况下，循环L913结束，并且处理前进到步骤S960。 

接着，更新信号计算单元130执行更新信号计算处理以基于假设退化图像像素值和伪观察图像像素值计算更新信号(步骤S960)。参考图20详细描述这个更新信号计算处理。 

接着，恢复图像产生单元140执行恢复图像产生处理以更新恢复图像并且基于恢复图像信号和更新信号产生新恢复图像(步骤S970)。参考图21详细描述这个恢复图像产生处理。注意，步骤S970是实现本发明特性的恢复图像产生过程的例子。 

重复循环L912，直到针对每个感兴趣像素结束恢复图像产生处理。在针对每个感兴趣像素已经结束恢复图像产生处理的情况下，结束循环L912，并且处理前进到步骤S914。 

接着，恢复处理单元100输出新恢复图像到白平衡处理单元210(步骤S914)。注意，这个例子示例了以像素为增量执行一系列恢复处理的情形，但是可以以帧为增量来执行恢复处理。 

图17的流程图图解了根据本发明实施例的假设退化图像像素值计算单元110的假设退化图像像素值计算处理(图16中的步骤S930)的过程。 

首先，乘积和单元112输入从恢复图像产生单元140输出的恢复图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值(步骤S931)。 

接着，在恢复图像的感兴趣像素和与感兴趣像素邻近的每个像素中，乘积和单元112使用目标通道的模糊矩阵以获得乘积和，并且计算其感兴趣像素位置处的假设退化图像像素值(步骤S932)。 

接着，再采样单元113将假设退化图像像素值再采样到感兴趣像素位置(步骤S933)，并且输出再采样的假设退化图像像素值到更新信号计算单元130(步骤S934)。 

图18的流程图图解了根据本发明实施例的伪观察图像像素值计算单元120的伪观察图像像素值计算处理(图16中的步骤S940)的过程。 

首先，通道确定单元121输入从图像处理电路23的内部图像存储器读出的观察图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值(步骤S941)。 

接着，通道确定单元121确定观察图像的感兴趣像素的通道和目标通 道是否相同(步骤S942)。在确定观察图像的感兴趣像素的通道和目标通道的通道相同步骤S942)的情况下，通道确定单元121将观察图像的感兴趣像素的像素值作为伪观察图像像素值输出到更新信号计算单元130(步骤S943)。另一方面，在确定观察图像的感兴趣像素的通道和目标通道不相同(步骤S942)的情况下，观察图像像素转换单元122执行观察图像像素转换处理以将其感兴趣像素的像素值转换成伪观察图像像素值(步骤S950)。参考图19详细描述这个观察图像像素转换处理。接着，获得的伪观察图像像素值被输出到更新信号计算单元130(步骤S944)。 

图19的流程图图解了根据本发明实施例的观察图像像素转换单元122的观察图像像素转换处理(图18中的步骤S950)的过程。 

首先，观察图像像素转换单元122输入从通道确定单元121输出的观察图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值(步骤S951)。 

接着，空间低频分量计算单元123和127对计算范围中包含的目标通道的像素值应用低频通过滤波器(LPF)，并且计算感兴趣像素位置处目标通道的空间低频分量(步骤S952)。 

接着，空间低频分量计算单元126对计算范围中包含的参考通道的像素值应用低频通过滤波器，并且计算感兴趣像素位置处参考通道的空间低频分量(步骤S953)。 

接着，除法器128将感兴趣像素位置处目标通道的空间低频分量除以感兴趣像素位置处参考通道的空间低频分量以计算参考通道的空间高频分量的比例系数(步骤S954)。 

接着，空间高频分量计算单元124计算感兴趣像素位置处参考通道的空间低频分量和感兴趣像素的参考通道R的像素值之间的差值，以计算感兴趣像素位置处参考通道的空间高频分量(步骤S955)。 

接着，伪观察图像像素值计算单元129计算感兴趣像素位置处的伪观察图像像素值(步骤S956)。也就是说，在感兴趣像素位置处，目标通道的空间低频分量、参考通道的空间高频分量、参考通道的空间高频分量的比例系数被用于计算其位置处的伪观察图像像素值。 

接着，伪观察图像像素值计算单元129输出获得的伪观察图像像素值到更新信号计算单元130(步骤S957)。 

图20的流程图图解了根据本发明实施例的更新信号计算单元130的 更新信号计算处理(图16中的步骤S960)的过程。 

首先，减法器131输入针对感兴趣像素位置计算的假设退化图像像素值和伪观察图像像素值(步骤S961)。接着，减法器131针对每个目标通道从伪观察图像像素值中减去假设退化图像像素值以计算每个目标通道的差值(步骤S962)。也就是说，针对假设退化图像像素值和伪观察图像像素值计算每个目标通道的差值，其中所述假设退化图像像素值和伪观察图像像素值是针对一个感兴趣像素位置每四个目标通道计算的。 

接着，再采样单元132从感兴趣像素位置到恢复图像的像素位置对针对每个目标通道获得的差值进行再采样(步骤S963)。接着，再采样单元132将再采样到恢复图像的像素位置的差值作为更新信号输出到恢复图像产生单元140(步骤S964)。 

图21的流程图图解了根据本发明实施例的恢复图像产生单元140的恢复图像产生处理(图16中的步骤S970)的过程。 

首先，矩阵计算单元141输入从再采样单元132输出的更新信号(步骤S971)，并且执行计算以将预定阵列应用到更新信号(步骤S972)。 

接着，加法器142将从矩阵计算单元141输出的计算结果的值与最近产生的恢复图像的恢复图像信号相加(步骤S973)。接着，加法器142将相加值，即相加结果作为恢复图像信号输出到白平衡处理单元210(步骤S974)。 

迄今为止针对例子进行了描述，其中关注点在于通道之间存在涉及像素值改变的相关性，并且基于这种通道之间涉及像素值改变的相关性来估计感兴趣像素位置处目标通道的像素值。下面针对例子进行描述，其中关注点在于在通道之间存在涉及像素值改变的相关性，并且在线性逼近这种通道之间的相关性后，由感兴趣像素位置处参考通道的像素值估计目标通道的像素值。 

图22的图例图解了表示有关感兴趣像素和与感兴趣像素邻近的每个像素的参考通道和目标通道之间的像素值分布的像素值分布曲线图的例子。对于图22所示的像素值分布曲线图，水平轴表示目标通道的像素值，垂直轴表示参考通道的像素值。此外，对于感兴趣像素和与感兴趣像素邻近的像素，用黑圆表示目标通道和参考通道的邻近两个像素的像素值的对应位置。下面参照图23详细描述图22。 

图23是图解根据本发明实施例的伪观察图像像素值计算单元400的 功能配置例子的模块图。伪观察图像像素值计算单元400包含图5所示的恢复处理单元100而不是伪观察图像像素值计算单元120，并且是伪观察图像像素值计算单元120的修改。注意，恢复处理单元100的其它配置没有改变，因此这里只描述伪观察图像像素值计算单元400，有关恢复处理单元100的其它配置的描述被省略。此外，伪观察图像像素值计算单元400是实现本发明特性的伪目标图像像素值计算单元的例子。 

伪观察图像像素值计算单元400包含通道确定单元401和观察图像像素转换单元402。注意，通道确定单元401通常与图10所示的通道确定单元121相同，因此会以不同于通道确定单元121的方面为中心来进行描述，并且省略有关共同点的描述。 

通道确定单元401确定感兴趣像素的通道和目标通道是否相同。在确定感兴趣像素的通道和目标通道相同的情况下，其感兴趣像素的像素值作为伪观察图像像素值被输出到更新信号计算单元130。另一方面，在确定感兴趣像素的通道和目标通道不相同的情况下，通道确定单元401将感兴趣像素和与感兴趣像素邻近的每个像素中目标通道的像素值输出到像素分布线性逼近单元403。此外，通道确定单元401将感兴趣像素和与感兴趣像素邻近的每个像素中感兴趣像素的通道(参考通道)的像素值输出到像素分布线性逼近单元403和像素值估计单元404。 

观察图像像素转换单元402包含像素分布线性逼近单元403和像素估计单元404。 

像素分布线性逼近单元403针对感兴趣像素和与感兴趣像素邻近的每个像素的像素值产生目标通道和参考通道之间的像素值分布，并且基于这种像素值分布计算线性逼近直线的表示。具体地，针对感兴趣像素和与感兴趣像素邻近的每个像素的像素值，顺序画出目标通道和参考通道的两个邻近像素，并且如图22所示，顺序产生表示两个像素的像素值的对应位置的像素值分布。接着，基于产生的像素值分布计算逼近直线。例如，在像素值如图22所示分布的情况下，通过计算获得线性逼近直线410。 

像素值估计单元404用观察图像的感兴趣像素的像素值(参考通道的像素值)替代像素分布线性逼近单元403计算和获得的逼近直线表示，以计算对应目标通道的像素值，并且接着将通过逼近直线表示获得的目标通道的像素值作为感兴趣像素位置的伪观察图像像素值输出到更新信号计算单元130。例如，在感兴趣像素的像素值是图22所示的I′(p)的情况下，将I′(p)的值计算和获得为目标通道的像素。 

图24和25的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元400的观察图像。注意，图24和25所示的像素阵列与图11和12所示的观察图像的像素阵列相同。此外，以和图11和12所示的观察图像相同的方式，用粗圆表示感兴趣像素，并且用带阴影线圆表示目标通道的像素。图24图解了由感兴趣像素421和邻近感兴趣像素421的每个像素构成的观察图像420。此外，图24示例了R通道被作为感兴趣像素421的通道(参考通道)并且通道Gr被作为目标通道的情形。 

对于图24所示的例子，感兴趣像素421的通道R和目标通道Gr不相同。因此，在与感兴趣像素421邻近的每个像素中，目标通道Gr的像素值被输出到像素分布线性逼近单元403。此外，在感兴趣像素421和与感兴趣像素邻近的每个像素中，参考通道R的像素值被输出到像素分布线性逼近单元403和像素值估计单元404。 

接着，像素分布线性逼近单元403画出在像素值分布逼近直线计算范围422(用实线矩形表示的范围)中包含的一组目标通道Gr的像素和参考通道R的像素。例如，如图24所示，画出相互邻近的目标通道Gr和参考通道R的两个像素的组。注意，图24通过用虚线矩形围绕两个画出的像素来图解这些像素。注意，可以进行这样的安排：计算范围422中包含的目标通道Gr的像素和参考通道R的像素之一被插值到另一个的像素位置，并且在这个像素位置处产生一组像素值。接着，像素分布线性逼近单元403针对如此画出的两个像素产生参考通道和目标通道之间的像素值分布，并且基于这种像素值分布计算线性逼近直线的表示。 

接着，像素值估计单元404用感兴趣像素421的像素值(参考通道R的像素值)替代像素分布线性逼近单元403计算和获得的逼近直线的表示，以计算目标通道Gr的像素值，并且接着输出感兴趣像素421的位置处的伪观察图像像素值到更新信号计算单元130。 

图25图解了由感兴趣像素431和邻近感兴趣像素431的每个像素构成的观察图像430。此外，图25示例了通道Gb被作为感兴趣像素431的通道(参考通道)并且通道Gr被作为目标通道的情形。注意，这个例子是图24的修改，并且要画出的两个像素的组不同于图24中的组。因此，涉及与图24共同的部分的描述被省略，并且下面以不同于图24的部分为中心来进行描述。 

对于图25所示的例子，感兴趣像素431的通道Gb和目标通道Gr不相同。因此，在与感兴趣像素431邻近的每个像素中，目标通道Gr的 像素值被输出到像素分布线性逼近单元403。此外，在感兴趣像素431和与感兴趣像素邻近的每个像素中，参考通道Gb的像素值被输出到像素分布线性逼近单元403和像素值估计单元404。 

接着，像素分布线性逼近单元403画出在像素值分布逼近直线计算范围432(用实线矩形表示的范围)中包含的一组目标通道Gr的像素和参考通道Gb的像素。例如，如图25所示，画出相互邻近的目标通道Gr和参考通道Gb的两个像素的组。图25通过用虚线矩形围绕两个画出的像素来图解这些像素。注意，可以进行这样的安排：计算范围432中包含的目标通道Gr的像素和参考通道Gb的像素之一被插值到另一个的像素位置，并且在这个像素位置处产生一组像素值。接着，像素分布线性逼近单元403针对如此画出的两个像素产生参考通道和目标通道之间的像素值分布，并且基于这种像素值分布计算线性逼近直线的表示。接着，以和图24中相同的方式，像素值估计单元404用感兴趣像素431的像素值(参考通道Gb的像素值)替代像素分布线性逼近单元403计算和获得的逼近直线的表示，以计算目标通道Gr的像素值，并且接着输出感兴趣像素431的位置处的伪观察图像像素值到更新信号计算单元130。 

图26的流程图图解了根据本发明实施例的观察图像像素转换单元402的观察图像像素转换处理的过程。这个观察图像像素转换处理是要取代图18所示的步骤S950而执行的处理，并且有关图18所示的其它处理的描述被省略。 

首先，观察图像像素转换单元402输入从通道确定单元401输出的观察图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值(步骤S981)。 

接着，像素分布线性逼近单元403画出在计算范围中包含的一组目标通道的像素和参考通道的像素，基于这些像素的组产生像素值分布，并且基于这个像素值分布计算线性逼近直线的表示(步骤S982)。 

接着，像素值估计单元404用感兴趣像素的像素值替代逼近直线的表示以计算感兴趣像素位置处目标通道的像素值(步骤S983)，并且接着将所获得的感兴趣像素位置处目标通道的像素值作为伪观察图像像素值输出到更新信号计算单元130(步骤S984)。 

在图23至26中，已经针对例子进行了描述，其中关注点在于在通道之间存在涉及像素值改变的相关性，并且在线性逼近这种通道之间的相关 性后，由感兴趣像素位置处参考通道的像素值估计目标通道的像素值。下面针对例子进行描述，其中交叉双边滤波器被用来估计感兴趣像素位置处目标通道的像素值。 

图27A和27B的图例图解了像素值轴权重函数LUT(查找表)和空间轴权重函数LUT的例子。图27A图解了像素值轴权重函数LUT的例子，图27B图解了空间轴权重函数LUT的例子。 

像素值轴权重函数LUT是表示观察图像的不同两个像素的像素值的差值与关于这个差值的权重φ之间的关系的LUT。空间轴权重函数LUT是表示观察图像的两个像素之间的距离与关于这个距离的权重ω之间的关系的LUT。这里，作为用于获得权重φ或ω的函数，期望使用具有单调减少特性、当自变量越小时返回越大的值的函数。注意，参考图28详细描述图27A和27B所示的函数。 

图28是图解根据本发明实施例的伪观察图像像素值计算单元500的功能配置例子的模块图。伪观察图像像素值计算单元500包含图5所示的恢复处理单元100而不是伪观察图像像素值计算单元120，并且是伪观察图像像素值计算单元120的修改。注意，恢复处理单元100的其它配置没有改变，因此这里只描述伪观察图像像素值计算单元500，有关恢复处理单元100的其它配置的描述被省略。此外，伪观察图像像素值计算单元500是实现本发明特性的伪目标图像像素值计算单元的例子。 

伪观察图像像素值计算单元500包含通道确定单元501和观察图像像素转换单元502。注意，通道确定单元501通常与图10所示的通道确定单元121相同，因此会以不同于通道确定单元121的方面为中心来进行描述，并且省略有关共同点的描述。 

通道确定单元501确定感兴趣像素的通道和目标通道是否相同。在确定感兴趣像素的通道和目标通道相同的情况下，其感兴趣像素的像素值作为伪观察图像像素值被输出到更新信号计算单元130。另一方面，在确定感兴趣像素的通道和目标通道不相同的情况下，通道确定单元501将感兴趣像素和与感兴趣像素邻近的每个像素中目标通道的像素值输出到插值单元508。此外，通道确定单元501将感兴趣像素的位置和与感兴趣像素邻近的参考通道的像素的位置输出到减法器505，并且进一步将感兴趣像素的像素值和与感兴趣像素邻近的参考通道的像素的像素值输出到减法器506。 

观察图像像素转换单元502包含像素值轴权重函数LUT保持单元503、空间轴权重函数LUT保持单元504、减法器505和506、乘积和单元507和509、插值单元508和除法器510。 

像素值轴权重函数LUT保持单元503保持用于乘积和单元507和509的乘积和处理的像素值轴权重函数LUT，并且提供保持的像素值轴权重函数LUT到乘积和单元507和509。例如，保持图27A所示的像素值轴权重函数LUT。 

空间轴权重函数LUT保持单元504保持用于乘积和单元507和509的乘积和处理的空间轴权重函数LUT，并且提供保持的空间轴权重函数LUT到乘积和单元507和509。例如，保持图27B所示的空间轴权重函数LUT。 

减法器505执行感兴趣像素的位置和与感兴趣像素邻近的参考通道的像素的位置之间的减法处理，以计算感兴趣像素的位置和与感兴趣像素邻近的参考通道的像素的位置之间的距离，并且输出距离到乘积和单元507和509。 

减法器506执行感兴趣像素的像素值和与感兴趣像素邻近的参考通道的像素的像素值之间的减法处理，以计算感兴趣像素的像素值和与感兴趣像素邻近的参考通道的像素的像素值之间的差值，并且输出差值到乘积和单元507和509。 

乘积和单元507针对从减法器506输出的差值和从减法器505输出的距离执行乘积和处理，并且输出作为乘积和结果的乘积和值到除法器510。具体地，针对邻近感兴趣像素的参考通道的每个像素，乘积和单元507使用像素值轴权重函数LUT保持单元503处保持的像素值轴权重函数LUT获得对应于从减法器506输出的差值的权重φ。此外，乘积和单元507使用空间轴权重函数LUT保持单元504处保持的空间轴权重函数LUT获得对应于从减法器505输出的距离的权重ω，接着计算对应于邻近感兴趣像素的参考通道的每个像素的权重φ和权重ω之间的乘积和。注意，乘积和单元507是实现本发明特性的第二乘积和单元的例子。 

插值单元508在邻近感兴趣像素的参考通道的每个像素的位置处对目标通道的两个像素的像素值进行插值处理，并且输出作为插值处理结果的插入值到积分器509。这个插值处理是将和邻近感兴趣像素的参考通道的每个像素邻近的目标通道的两个像素的像素值相加以计算均值的处理。 

乘积和单元509针对从减法器506输出的差值，从减法器505输出的距离和从插值单元508输出的插入值执行乘积和处理，并且输出作为乘积和结果的乘积和值到除法器510。具体地，以和乘积和单元507相同的方式，乘积和单元509获得对应于邻近感兴趣像素的参考通道的每个像素的权重φ和权重ω。接着，乘积和单元509计算对应于邻近感兴趣像素的参考通道的每个像素的权重φ和权重ω以及从插值单元508输出的插入值之间的乘积和。注意，乘积和单元509是实现本发明特性的第一乘积和单元的例子。 

除法器510将从乘积和单元509输出的乘积和除以从乘积和单元507输出的乘积和，并且将作为除法结果的除法值作为伪观察图像像素值输出到更新信号计算单元130。注意，除法器510是实现本发明特性的伪目标图像像素值计算单元的例子。 

如上所述，观察图像像素转换单元502使用表达式11所示的交叉双边滤波器，根据邻近感兴趣像素的参考通道的像素值I′(p)估计感兴趣像素的目标通道的像素值I_pseudo(p_c)。注意，在表达式11中，令邻近感兴趣像素的计算范围为计算范围Ω，计算范围Ω中包含的参考通道的每个像素的位置为位置p，感兴趣像素的位置为位置p_c。此外，令以感兴趣像素和计算范围Ω中包含的参考通道的每个像素的像素值的差作为自变量的权重函数为φ，并且以计算范围Ω中包含的参考通道的每个像素的位置p与感兴趣像素位置p_c的距离作为自变量的权重函数为ω。 

表达式11 

图29和30的图例示意性图解了要输入到根据本发明实施例的伪观察图像像素值计算单元500的观察图像。注意，图29和30所示的像素阵列与图11和12所示的观察图像的像素阵列相同。以和图11和12所示的观察图像相同的方式，用粗圆表示感兴趣像素，并且用带阴影线圆表示目标通道的像素。图29图解了由感兴趣像素521(用粗圆表示)和邻近感兴趣像素521的每个像素构成的观察图像520。此外，图29示例了通道R被作 为感兴趣像素521的通道(参考通道)并且通道Gr被作为目标通道的情形。 

对于图29所示的例子，感兴趣像素521的通道R和目标通道Gr不相同。因此，在与感兴趣像素521邻近的每个像素中，目标通道Gr的像素值被输出到插值单元508。此外，感兴趣像素521的位置和与感兴趣像素邻近的参考通道R的像素的位置被输出到减法器505。进一步地，感兴趣像素521的像素值和与感兴趣像素邻近的参考通道R的像素的像素值被输出到减法器506。 

接着，减法器506计算感兴趣像素521的像素值和作为计算范围540(用实线矩形表示的范围)中包含的参考通道R的像素之一的像素523的像素值之间的差值。接着，乘积和单元507和509使用像素值轴权重函数LUT保持单元503处保持的像素值轴权重函数LUT获得对应于感兴趣像素521的像素值和像素523的像素值之间的差值的权重φ。 

接着，减法器505计算感兴趣像素521的位置和作为计算范围540中包含的参考通道R的像素之一的像素523的位置之间的距离。接着，乘积和单元507和509使用空间轴权重函数LUT保持单元504处保持的空间轴权重函数LUT获得对应于感兴趣像素521的位置和像素523的位置之间的距离的权重ω。 

接着，插值单元508在充当计算目标的像素523的位置处对目标通道Gr的两个像素522和525的像素值进行插值处理。这个插值处理是将邻近充当计算目标的像素523的目标通道Gr的两个像素522和525的像素值相加以计算均值的处理。 

接着，乘积和单元509计算对应于感兴趣像素521和像素523之间的差值的权重φ，对应于感兴趣像素521和像素523之间的距离的权重ω，和通过插值处理获得的插入值之间的乘积和。接着，乘积和单元507计算对应于感兴趣像素521和像素523之间的差值的权重φ，和对应于感兴趣像素521和像素523之间的距离的权重ω之间的乘积和。如上所述，针对计算范围540中包含的参考通道R的每个像素按顺序执行乘积和单元507和509的乘积和处理。这个顺序的例子包含例如图29所示的箭头524指示的像素523、526、528、530、532等等的顺序(光栅顺序)。 

接着，除法器510将从乘积和单元509输出的乘积和值除以从乘积和单元507输出的乘积和。作为除法结果的除法值作为感兴趣像素521的位置处的伪观察图像像素值被输出到更新信号计算单元130。 

图30图解了由感兴趣像素551(用粗圆表示)和邻近感兴趣像素551的每个像素构成的观察图像550。此外，图30示例了通道Gb被作为感兴趣像素551的通道(参考通道)并且通道Gr被作为目标通道的情形。注意，这个例子是图29的修改，并且参考通道不同于图29中的参考通道。因此，涉及与图29共同的部分的描述被省略，并且下面以不同于图29的部分为中心来进行描述。 

对于图30所示的例子，感兴趣像素551的通道Gb和目标通道Gr不相同。因此，在与感兴趣像素551邻近的每个像素中，目标通道Gr的像素值被输出到插值单元508。此外，感兴趣像素551的位置和与感兴趣像素邻近的参考通道Gb的像素的位置被输出到减法器505。进一步地，感兴趣像素551的像素值和与感兴趣像素邻近的参考通道Gb的像素的像素值被输出到减法器506。 

接着，针以和图29中相同的方式，对计算范围570中包含的参考通道Gb的每个像素按顺序执行乘积和单元507和509的乘积和处理。这个顺序的例子包含例如图30所示的箭头554指示的像素553、556、558、560、562等等的顺序(光栅顺序)。接着，除法器510将从乘积和单元509输出的乘积和值除以从乘积和单元507输出的乘积和值。作为除法结果的除法值作为感兴趣像素551的位置处的伪观察图像像素值被输出到更新信号计算单元130。 

图31的流程图图解了根据本发明实施例的观察图像像素转换单元502的观察图像像素转换处理的过程。这个观察图像像素转换处理是要取代图18所示的步骤S950而执行的处理，并且图18所示的其它处理的描述被省略。 

首先，观察图像像素转换单元502输入从通道确定单元501输出的观察图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值(步骤S1001)。 

接着，在循环L1002中，针对邻近感兴趣像素的参考通道的每个像素执行步骤S1003至S1009的处理。 

首先，减法器506计算感兴趣像素的像素值和邻近感兴趣像素的参考通道的像素值之间的差值(步骤S1003)。接着，乘积和单元507和509使用像素值轴权重函数LUT保持单元503处保持的像素值轴权重函数LUT获得对应于感兴趣像素和与感兴趣像素邻近的参考通道的像素之间的像 素差值的权重φ(步骤S1004)。 

接着，减法器505计算感兴趣像素的位置和邻近感兴趣像素的参考通道的像素的位置之间的距离(步骤S1005)。接着，乘积和单元507和509使用空间轴权重函数LUT保持单元504处保持的空间轴权重函数LUT获得对应于感兴趣像素和与感兴趣像素邻近的参考通道的像素之间的距离的权重ω(步骤S1006)。接着，插值单元508在充当计算目标的参考通道的像素的位置处对目标通道的两个像素的像素值进行插值处理(步骤S1007)。 

接着，乘积和单元509计算对应于像素差值的权重φ，对应于像素之间的距离的权重ω，和通过插值处理获得的插入值之间的乘积和(步骤S1008)。接着，乘积和单元507计算对应于像素差值的权重φ和对应于像素之间的距离的权重ω之间的乘积和(步骤S1009)。 

重复循环L1002，直到针对邻近感兴趣像素的参考通道的每个像素结束乘积和单元507和509的乘积和处理。在针对邻近感兴趣像素的参考通道的每个像素已经结束乘积和单元507和509的乘积和处理的情况下，循环L1002结束，并且处理前进到步骤S1010。 

接着，除法器510将从乘积和单元509输出的乘积和值除以从乘积和单元507输出的乘积和值(步骤S1010)，并且接着将感兴趣像素位置处的所获得的除法值作为伪观察图像像素值输出到更新信号计算单元130(步骤S1011)。 

对于图8所示的例子，已经针对该例子进行了描述，其中以级联方式进行作为光学退化的再现的模糊矩阵和作为成像设备13引起的退化的再现的再采样的乘积和处理。下面将针对一个情况进行描述：针对对应于要再采样的位置的模糊矩阵进行乘积和处理，从而同时进行乘积和和再采样处理。 

图32是图解根据本发明实施例的假设退化图像像素值计算单元600的功能配置例子的模块图。假设退化图像像素值计算单元600包含通道分类空间相位分类模糊矩阵保持单元601和乘积和和再采样单元602。注意，假设退化图像像素值计算单元600是图8所示的假设退化图像像素值计算单元110的修改。 

通道分类空间相位分类模糊矩阵保持单元601保持与作为观察图像的感兴趣像素位置的再采样位置的相位对应的空间相位分类模糊矩阵，并 且提供所保持的空间相位分类模糊矩阵到乘积和和再采样单元602。 

在恢复图像的感兴趣像素和与感兴趣像素邻近的像素中，乘积和和再采样单元602针对相同通道的像素值和通道分类空间相位分类模糊矩阵保持单元601所保持的对应于再采样位置的相位的空间相位分类模糊矩阵进行乘积和处理。根据这个乘积和，计算在其感兴趣像素位置处再采样的假设退化图像像素值，并且再采样的假设退化图像像素值被输出到更新信号计算单元130。 

图33的流程图图解了根据本发明实施例的假设退化图像像素值计算单元600的假设图像像素值计算处理的过程。这个假设退化图像像素值计算处理是要取代图16所示的步骤S930而执行的处理，并且图16所示的其它处理的描述被省略。 

首先，乘积和和再采样单元602输入从恢复图像产生单元140输出的恢复图像的感兴趣像素和与感兴趣像素邻近的每个像素的像素值(步骤S1021)。 

接着，在恢复图像的感兴趣像素和与感兴趣像素邻近的像素中，乘积和和再采样单元602针对与目标通道相同的通道的像素值和对应于再采样位置的相位的空间相位分类模糊矩阵进行乘积和处理(步骤S1022)，并且接着输出再采样的假设退化图像像素值到更新信号计算单元130(步骤S1023)。 

接着，参考附图详细描述图13所示的更新信号计算单元130的修改。 

图34是图解根据本发明实施例的更新信号计算单元610的功能配置例子的模块图。更新信号计算单元610包含减法器611、再采样单元612、带通滤波单元613和定标单元614。注意，减法器611和再采样单元612与图13所示的减法器131和再采样单元132相同，因此这里省略其描述。 

带通滤波单元613对再采样的差值信号执行带通滤波处理以调整更新信号的频率特性，并且输出频率特性经过调整的信号到定标单元614。 

定标单元614执行定标处理以针对频率特性经过调整的信号对任意常量进行积分，并且将经过定标处理的信号作为更新信号输出到恢复图像产生单元140。 

这里，在比较更新信号计算单元610和更新信号计算单元130的情况下，不同点在于更新信号计算单元610还针对伪观察图像像素值和假设退化图像像素值之间的差值执行带通滤波处理和定标处理。例如，通过使用 带通滤波器能够调整更新信号的频率特性。例如，在存在有关成像设备13的噪声的空间频段的特性的情况下，通过减少噪声频段的增益能够抑制噪声的突出。此外，通过抑制低频分量能够降低轮廓部分(contouredportion)的例如过冲或下冲的退化。此外，通过执行定标处理能够调整恢复信号的强度。例如，在设置大的值的情况下，能够改进恢复效果，但是在设置非常大的值的情况下，由于各个处理造成的某种退化在某些情况下更加突出，因此需要以主观图像质量调整强度。 

注意，这个例子的处理顺序是再采样处理、带通滤波处理和定标处理，但是这个顺序可以改变。例如，在涉及分辨率转换的情况下，当在再采样处理之前执行带通滤波处理时，吞吐率降低，但是在由于恢复处理而发生的退化的情况下，出现退化的空间传播变大的情况。因此，重要的是根据处理内容适当设置再采样处理、带通滤波处理和定标处理的处理顺序。此外，带通滤波处理和定标处理中的任何一个可以应用于更新信号计算单元610。 

图35的流程图图解了根据本发明实施例的更新信号计算单元610的更新信号计算处理的过程。这个更新信号计算处理是要取代图16所示的步骤S960而执行的处理，并且图16所示的其它处理的描述被省略。此外，步骤S1031至S1033与图20所示的步骤S961至S963相同，因此这里省略其描述。 

带通滤波单元613对再采样单元612再采样到恢复图像的每个像素位置的差值信号进行带通滤波处理，从而调整更新信号的频率特性(步骤S1034)。 

接着，定标单元614执行定标处理以针对频率特性经过调整的信号对任意常量进行积分(步骤S1035)，并且接着将经过定标处理的信号作为更新信号输出到恢复图像产生单元140(步骤S1036)。 

图36是图解根据本发明实施例的更新信号计算单元620的功能配置例子的模块图。更新信号计算单元620包含除法器621和再采样单元622。注意，再采样单元622与图13所示的再采样单元132相同，因此这里省略其描述。此外，例如结合图40所示的恢复图像产生单元640来使用更新信号计算单元620。 

除法器621将从伪观察图像像素值计算单元120输出的伪观察图像像素值除以从假设退化图像像素值计算单元110输出的假设退化图像像素 值，并且输出作为除法结果的除法值到再采样单元622。 

图37的流程图图解了根据本发明实施例的更新信号计算单元620的更新信号计算处理的过程。这个更新信号计算处理是要取代图16所示的步骤S960而执行的处理，并且图16所示的其它处理的描述被省略。 

首先，除法器621输入针对感兴趣像素位置计算的假设退化图像像素值和伪观察图像像素值(步骤S1041)，并且接着针对每个目标通道将伪观察图像像素值除以假设退化图像像素值，以计算每个目标通道的除法值(步骤S1042)。也就是说，针对假设退化图像像素值和伪观察图像像素值计算每个目标通道的除法值，其中所述假设退化图像像素值和伪观察图像像素值是针对一个感兴趣像素位置每四个目标通道计算的。 

接着，再采样单元132从感兴趣像素位置到恢复图像的每个像素位置对针对每个目标通道获得的除法值进行再采样(步骤S1043)，并且接着将再采样到恢复图像的每个像素位置的除法值作为更新信号输出到恢复图像产生单元140(步骤S1044)。 

图38是图解根据本发明实施例的更新信号计算单元630的功能配置例子的模块图。更新信号计算单元630包含除法器631、再采样单元632、带通滤波单元633和定标单元634。注意，除法器631与图36所示的除法器621相同，因此这里省略其描述。此外，再采样单元632、带通滤波单元633和定标单元634也与图34所示的再采样单元612、带通滤波单元613和定标单元614相同，因此这里省略其描述。这个例子的处理顺序是再采样处理、带通滤波处理和定标处理，但是这个顺序可以改变。此外，带通滤波处理和定标处理中的任何一个可以应用于更新信号计算单元630。注意，例如结合图40所示的恢复图像产生单元640来使用更新信号计算单元630。 

图39的流程图图解了根据本发明实施例的更新信号计算单元630的更新信号计算处理的过程。这个更新信号计算处理是要取代图16所示的步骤S960而执行的处理，并且图16所示的其它处理的描述被省略。此外，步骤S1051至S1053与图37所示的步骤S1041至S1043相同，因此这里省略其描述。 

带通滤波单元633对再采样单元632再采样到恢复图像的每个像素位置的差值信号进行带通滤波处理，从而调整更新信号的频率特性(步骤S1054)。 

接着，定标单元634执行定标处理以针对频率特性经过调整的信号对任意常量进行积分(步骤S1055)，并且接着将经过定标处理的信号作为更新信号输出到恢复图像产生单元140(步骤S1056)。 

接着，参考附图详细描述图14所示的恢复图像产生单元140的修改。图40是图解根据本发明实施例的恢复图像产生单元640的功能配置例子的模块图。恢复图像产生单元640包含矩阵计算单元641和积分器642。注意，恢复图像产生单元640用例如表达式4和6所示的Lucy Richardson方法及其简化类型产生恢复图像。 

矩阵计算单元641执行计算以对从再采样单元132输出的更新信号(伪观察图像像素值和假设退化图像像素值之间的差值)应用预定矩阵，并且输出计算结果到积分器642。这里，预定矩阵例如是表达式4和6所示的矩阵(例如，矩阵h或矩阵b)。 

积分器642对从矩阵计算单元641输出的计算结果的值和构成最近产生的恢复图像的每个像素位置的像素值(恢复图像信号)进行积分，并且接着将积分值，即积分结果作为恢复图像信号输出到白平衡处理单元210。此外，这个恢复图像信号被用于产生下一恢复图像信号。也就是说，恢复图像产生单元640更新最近产生的恢复图像并且产生新恢复图像。 

图41的流程图图解了根据本发明实施例的恢复图像产生单元640的恢复图像产生处理的过程。这个恢复图像产生处理是要取代图16所示的步骤S970而执行的处理，并且图16所示的其它处理的描述被省略。 

首先，矩阵计算单元641输入从再采样单元132输出的更新信号(步骤S1061)，并且执行计算以将预定矩阵应用到更新信号(步骤S1062)。 

接着，积分器642对从矩阵计算单元641输出的计算结果的值和最近产生的恢复图像的恢复图像信号进行积分(步骤S1063)，并且接着将积分值，即积分结果作为恢复图像信号输出到白平衡处理单元210(步骤S1064)。 

迄今为止针对通过从观察图像的帧执行一次性反馈来更新恢复图像并且输出这个更新的恢复图像的恢复处理进行了描述。这里例如在以观察图像作为参考执行后退一个帧的恢复图像的对准之后执行恢复处理，从而更新的恢复图像的时间相位能够与观察图像对准。因而，即使在成像设备10进行运动图像的成像操作的情况下，能够产生具有更高精度的恢复图像。下面参考附图针对例子进行详细描述，其中通过针对恢复图像执行运 动补偿处理和运动对象隐藏处理，将恢复图像的时间相位与观察图像的时间相位对准。 

图42是图解根据本发明实施例的恢复处理单元700的功能配置例子的模块图。恢复处理单元700包含运动检测单元710、运动补偿单元720、运动对象检测单元730、运动对象隐藏单元740、假设退化图像像素值计算单元750、伪观察图像像素值计算单元760、更新信号计算单元770和恢复图像产生单元780。注意，恢复处理单元700是图5所示的恢复处理单元100的修改，其中运动检测单元710、运动补偿单元720、运动对象检测单元730和运动对象隐藏单元740被额外提供给恢复处理单元100。此外，假设退化图像像素值计算单元750、伪观察图像像素值计算单元760、更新信号计算单元770和恢复图像产生单元780通常与图5所示的相同，因此以不同点为中心进行描述，并且省略其它点的描述。 

运动检测单元710基于从恢复图像产生单元780输出的帧(恢复图像)和从A/D转换电路22输出的帧(观察图像)检测运动信息，并且输出检测的运动信息到运动补偿单元720。这个运动信息是有关两个帧之间的运动的信息，例如检测有关一个屏幕(一个帧)的一组运动参数(全局运动)。为了改进恢复效果，这个运动信息适当地包含平移分量和旋转分量，并且还适当地包含定标分量和梯形失真分量。例如，仿射矩阵可以被用作这个运动信息。注意，可以针对一个帧的一个屏幕上任意大小的每个块来执行运动检测。然而在考虑图像上的块之间的间断或图像反馈的影响的情况下，针对一个帧的每个屏幕适当执行运动检测，从而能够改进恢复精度。注意，可以进行这样的安排：在恢复处理单元700的前一阶段执行运动信息的检测，并且这个检测结果被提供给运动补偿单元720。 

现在作为运动信息的检测方法的例子来描述仿射矩阵的检测方法。例如，从输出自恢复图像产生单元780的恢复图像和输出自A/D转换电路22的观察图像中提取特征点。例如，通过使用边缘检测技术，垂直方向或水平方向的边缘倾斜(edge slope)较强的点(例如拐角点)能够被提取为特征点。此外，能够使用另一个特征点提取处理，其中提取能够查找到图像之间的对应点的特征点。 

接着，执行从恢复图像提取的特征点和从观察图像提取的特征点之间的匹配。特征点之间的匹配是提取被认为是有关恢复图像和观察图像的相同对象的一对特征点。作为用于匹配特征点的方法，例如可以使用这样的技术：基于指标，例如围绕特征点的矩形图像之间的归一化函数来耦合相 似特征点。可选地，可以使用另一个匹配方法，其中能够正确计算摄像机运动矩阵。 

接着，通过使用提取的匹配点对(一对匹配特征点)来计算仿射矩阵。作为这个仿射矩阵计算方法，例如，可以使用利用RANSAC(随机采样一致性)的仿射矩阵计算方法。具体地，重复这样的操作：从提取的匹配点对中随机选择匹配点对，并且选择的匹配点对被用于进行仿射矩阵的最小二乘方估计。接着，尽可能减少无法说明的匹配点对的所计算的仿射矩阵被选择作为估计结果。此外，例如，梯度法、块匹配方法等等可以被用作仿射矩阵计算方法。 

运动补偿单元720基于运动检测单元710检测的运动信息执行恢复图像的运动补偿。具体地，执行这样的处理：恢复图像的每个像素位置被移动到针对值得对应于运动检测单元710所检测的运动信息的运动而移动的位置。 

运动对象检测单元730在从运动补偿单元720输出的经过运动补偿处理的恢复图像和从A/D转换电路22输出的观察图像之间比较像素值，以检测恢复图像中包含的运动对象，并且输出检测结果到运动对象隐藏单元740。注意，参考图43详细描述运动对象检测单元730。 

运动对象隐藏单元740基于从运动对象检测单元730输出的运动对象检测结果隐藏从运动补偿单元720输出的经过运动补偿处理的恢复图像中包含的运动对象，并且接着输出运动对象被隐藏的恢复图像到假设退化图像像素值计算单元750和恢复图像产生单元780。注意，参考图46详细描述运动对象隐藏单元740。 

图43是图解根据本发明实施例的运动对象检测单元730的功能配置例子的模块图。图44的图例示意性图解了根据本发明实施例的成像设备13的噪声模型的例子。图45的图例示意性图解了根据本发明实施例的运动对象确定模型的例子。注意，参考图43详细图44和45。运动对象检测单元730包含减法器731、绝对值计算器732、噪声量估计单元733和运动对象确定值计算单元734。 

减法器731计算从A/D转换电路22输出的观察图像的像素值和从运动补偿单元720输出的恢复图像的像素值之间的差值，并且输出作为计算结果的差值到绝对值计算器732。 

绝对值计算器732计算从减法器731输出的差值的绝对值，并且输出 作为计算结果的像素值的绝对差值(pix_diff)到运动对象确定值计算单元734。 

噪声量估计单元733基于成像时的数字增益信息(增益量(ISO灵敏度)，每个帧的分贝等等)和噪声模型估计对应于像素值的像素的噪声量，并且输出估计的噪声量到运动对象确定值计算单元734。注意，从控制单元53提供成像时的数字增益信息。这里，作为公共噪声模型，能够用一个函数表示RAW数据的像素值p和噪声的方差值σ2之间的关系，该函数的倾斜度(inclination)为增益，例如已经知道用图44所示的曲线图来表示这个。因此，例如，通过使用图44所示的曲线图，能够估计噪声的方差值σ2。 

运动对象确定值计算单元734基于从绝对值计算器732输出的像素值的绝对差值(pix_diff)和噪声的标准偏差σ计算运动对象确定值α(0≤α≤1)，并且输出运动对象确定值α到运动对象隐藏单元740。图45图解了绝对差值(pix_diff)和噪声的标准偏差σ之间的转换模型的例子。注意，图45所示的th1(σ)和th2(σ)是根据噪声标准偏差σ确定的阈值。 

图46是图解根据本发明实施例的运动对象隐藏单元740的功能配置例子的模块图。运动对象隐藏单元740包含积分器741至743、减法器744和加法器745，计算参考图象(观察图像)的像素值和确定的图像(恢复图像)的像素值之间的内部除法像素值，并且将这个计算结果作为运动对象隐藏处理像素值输出。 

积分器741对从运动对象确定值计算单元734输出的运动对象确定值α应用用于调整的增益G，并且输出这个积分结果Gα到积分器743和减法器744。注意，从控制单元53提供用于调整的增益G。 

减法器744从1中减去从积分器741输出的积分结果Gα，并且输出减法结果(1-Gα)到积分器742。 

积分器742对从A/D转换电路22输出的观察图像的像素值A和从减法器744输出的减法结果值(1-Gα)进行积分，并且输出积分结果A(1-Gα)到加法器745。 

积分器743对从运动补偿单元720输出的恢复图像的像素值B和从积分器741输出的积分结果值Gα进行积分，并且输出积分结果BGα到加法器745。 

加法器745将从积分器742输出的积分结果A(1-Gα)和从积分器743 输出的积分结果BGα相加，并且接着将相加结果(A(1-Gα)+BGα)作为运动对象隐藏处理像素值输出输出到假设退化图像像素值计算单元750和恢复图像产生单元780。 

因而，运动对象检测单元730比较观察图像和经过运动补偿处理的恢复图像的像素值，并且计算运动对象确定值。运动对象隐藏单元740根据运动对象确定值计算观察图像的像素值和恢复图像的像素值之间的加权平均。也就是说，执行运动对象的隐藏处理，使得观察图像的速率越大，则运动对象程度就越高。注意，在涉及观察图像和恢复图像之间的分辨率转换的情况下，在分辨率与观察图像或恢复图像匹配之后执行运动补偿处理和运动对象隐藏处理。 

因而，在对准之后在图像和感兴趣像素之间检测运动对象，并且限制其区域的反馈，从而能够抑制其对象区域处由于恢复处理造成的退化。因而能够改进恢复处理的精度。 

图47的流程图图解了根据本发明实施例的恢复处理单元700的恢复处理的过程。这个恢复处理是要取代图15所示的步骤S910而执行的处理，并且图15所示的其它处理的描述被省略。 

首先，恢复处理单元700输入从图像处理电路23的内部图像存储器读出的镶嵌图像(观察图像)，和从恢复图像产生单元140输出的镶嵌图像(恢复图像)(步骤S1101)。 

接着，运动检测单元710检测输入的观察图像和输入的恢复图像之间的运动信息(步骤S1102)。 

接着，在循L1103中，针对观察图像和恢复图像(两个镶嵌图像)的每个感兴趣像素执行步骤S1104至S1107、循环L913、步骤S960、S970和S914的处理。注意，循环L913、步骤S960和S970的处理与图16所示的处理相同，因此这里省略其描述。 

在循环L1103，首先，运动补偿单元720输入观察图像和恢复图像的每个感兴趣像素的像素值(步骤S1104)，并且接着基于运动检测单元710检测的运动信息执行恢复图像的运动补偿处理(步骤S1105)。接着，运动对象检测单元730针对运动补偿后的恢复图像执行运动对象检测处理(步骤S1106)。接着，运动对象隐藏单元740针对运动对象检测单元730检测的运动对象执行隐藏处理(步骤S1107)。注意，已经描述了例子，其中以像素为增量执行一系列恢复处理，但是可以以帧为增量来执行恢复处理。 

现在，例如，在执行输出静止图像的恢复处理的情况下，在观察图像与要进行恢复处理、作为参考的帧的恢复图像对准之后，执行恢复处理，从而能够获得任意帧的恢复图像。因而，在执行输出静止图像的恢复处理的情况下，针对观察图像执行运动补偿处理和运动对象隐藏处理。图48图解了在这种情况下的功能配置例子。 

图48是图解根据本发明实施例的恢复处理单元800的功能配置例子的模块图。注意，恢复处理单元800是图42所示的恢复处理单元700的修改，并且不同于恢复处理单元700的地方在于针对观察图像执行运动补偿处理和运动对象隐藏处理。其它配置与恢复处理单元700的相同，因此具有相同功能的部分用与图42中相同的附图标记来表示，并且这里省略其描述。 

因而，在针对一个观察图像执行多次迭代处理的情况下，或在输入多个观察图像的情况下，针对感兴趣像素执行每个观察图像或恢复图像的运动检测和运动补偿。接着，在运动检测和运动补偿之后，执行不同通道之间的反馈，从而能够进一步改进恢复效果。 

此外，对于图42所示的恢复处理单元700和图48所示的恢复处理单元800，已经作为一个例子执行运动对象隐藏处理，但是也可以例如不执行运动对象隐藏处理。因而，恢复处理单元能够具有相对简化的配置。图49图解了例如在执行无需执行运动对象隐藏处理便输出运动图像的恢复处理的情况下的功能配置例子。此外，图50图解了例如在执行无需执行运动对象隐藏处理便输出静止图像的恢复处理的情况下的功能配置例子。 

图49是图解根据本发明实施例的恢复处理单元810的功能配置例子的模块图。图50是图解根据本发明实施例的恢复处理单元820的功能配置例子的模块图。注意，恢复处理单元810是图42所示的恢复处理单元700的修改，并且不同于恢复处理单元700的地方在于不执行运动对象隐藏处理。注意，恢复处理单元820是图48所示的恢复处理单元800的修改，并且不同于恢复处理单元800的地方在于不执行运动对象隐藏处理。其它配置与恢复处理单元700或800的相同，因此具有相同功能的部分用与图42或图48中相同的附图标记来表示，并且这里省略其描述。 

此外，迄今为止针对这样的例子进行了描述：在计算伪观察图像像素值的情况下，当感兴趣像素的通道(参考通道)不同于目标通道时，使用与感兴趣像素邻近的目标通道和参考通道的像素值计算伪观察图像像素值。然而，例如，可以根据观察图像的通道和通道的频率之间的相关性来选择 目标通道和参考通道之间的组合。因而能够改进恢复效果。 

图51是图解用于根据本发明实施例的伪观察图像像素值计算处理的参考通道和目标通道之间的关系的图例。对于图51所示的例子，通道之间的关系为高，但是在假设通道R和B的频率特性次于通道Gr和Gb的频率特性的情况下图解组合例子。例如，在目标通道为R或B的情况下，全部通道R，B，Gr和Gb被用作参考通道。另一方面，在目标通道为Gr或Gb的情况下，通道Gr和Gb被用作参考通道。也就是说，在目标通道为Gr或Gb的情况下，能够使用除了感兴趣像素之外的通道作为参考通道来执行伪观察图像像素值计算处理。 

例如，迄今为止，在通过根据由经过退化滤波的观察图像或恢复图像产生的假设退化图像计算更新信号来执行图像恢复的情况下，通常通过相同通道内的通道执行了反馈处理，即使是针对由多个通道构成的图像。另一方面，对于本发明的实施例，除了来自相同通道的反馈之外，在以伪方式由观察图像的不同通道产生的伪观察图像和假设退化图像之间执行恢复处理，从而执行通道之间的反馈处理。因而能够改进恢复效果。换言之，对于退化图像的恢复处理，除了图像之间的反馈之外，执行图像内的通道之间的反馈，从而能够进一步改进反馈效果。 

也就是说，对于本发明的实施例，在执行由多个通道构成的观察图像的恢复处理的情况下，针对每个通道计算假设退化图像像素值和伪观察图像像素值。接着，针对每个通道基于差值或除法值产生更新信号，并且使用这个更新信号产生恢复图像。因而，与单独使用假设退化图像像素值执行恢复处理的情况相比，能够改进恢复处理的精度。此外，使用与目标通道相同的通道的像素值来计算假设退化图像像素值，并且使用目标通道和参考通道的像素值来计算伪观察图像像素值。因而，与只使用通过与目标通道相同的通道的像素值计算的假设退化图像像素值来执行恢复处理的情况相比，能够改进恢复处理的精度。也就是说，基于通道之间的所述相关性计算伪观察图像像素值，并且使用这个执行恢复处理，从而能够改进恢复处理的精度。 

此外，对于本发明的实施例，通过根据传感器退化执行再采样，伪观察图像和假设退化图像之间的差值或除法值被反馈到恢复图像，从而更新恢复图像。以通道的不同组合执行这个反馈，从而与相同通道之间的反馈的情况相比，能够获得高恢复效果。 

注意，对于本发明的实施例，已经示出图像处理电路23的配置例子， 其中恢复处理单元100被布置在白平衡处理单元210之前，但是可以进行这样的安排：恢复处理单元100被布置在图像处理电路23的其它位置。 

此外，本发明的实施例可以被用于例如数字视频摄像机、数字静止图像摄像机等等的成像设备或例如打印机、显示器等等的图像处理设备内的信号处理。此外，本发明的实施例可以应用于图像处理设备或用于图像处理和编辑等等的计算机程序。 

此外，对于本发明的实施例，三倍的例子被示出为假设成像设备引起的退化的分辨率转换，但是可以假设任意放大倍率。 

注意，本发明的实施例示出了实现本发明的例子，其与本发明的每个特征具有对应关系，如上所述。然而，本发明不限于上述实施例，在不偏离本发明的实质的前提下能够进行各种修改。 

此外，用上述实施例描述的过程可以作为具有这些系统的过程的方法，或可以通过记录介质作为使计算机执行这些系列的过程的程序，其中记录介质存储所述程序。这个记录介质的例子包含CD(光盘)、MD(小型盘片)、DVD(数字化视频光盘)、存储器卡和蓝光盘(Blu-ray Disc：注册商标)。 

本申请包含与2008年8月25日向日本专利局提交的日本在先专利申请JP2008-215136中公开的主题有关的主题，这里通过引用将该专利申请的全部内容合并于此。 

本领域的技术人员应当理解，根据设计需求和其它因素，可以进行各种修改，组合，子组合和变化，只要它们在所附权利要求书或其等同表述的范围内。 

Claims (9)

1.一种图像处理设备，包括：

假设退化图像像素值计算单元，被配置成针对多个通道的每个通道计算假设退化图像的像素值以作为假设退化图像像素值，所述假设退化图像是假设由所述多个通道构成的目标图像的退化的图像；

伪目标图像像素值计算单元，被配置成关于感兴趣像素，即和所述假设退化图像的像素对应的所述目标图像的像素，根据所述感兴趣像素的像素值和与所述感兴趣像素邻近的像素的像素值，计算针对每个所述通道估计的像素值，以作为每个所述通道的伪目标图像像素值；和

恢复图像产生单元，被配置成根据所述计算的假设退化图像像素值和所述计算的伪目标图像像素值产生由所述目标图像恢复的恢复图像，

其中，所述伪目标图像像素值计算单元在关于和所述感兴趣像素的通道相同的通道计算所述伪目标图像像素值的情况下以所述感兴趣像素的像素值作为所述伪目标图像像素值，并且在关于不同于所述感兴趣像素的通道的通道计算所述伪目标图像像素值的情况下根据所述感兴趣像素的像素值和与所述感兴趣像素邻近的像素的像素值来计算所述伪目标图像像素值。

2.如权利要求1所述的图像处理设备，其中所述伪目标图像像素值计算单元在关于不同于所述感兴趣像素的通道的通道计算所述伪目标图像像素值的情况下，根据与所述感兴趣像素邻近的像素中具有与所述感兴趣像素的通道相同的通道的像素的像素值，和所述感兴趣像素的像素值，来计算所述伪目标图像像素值。

3.如权利要求1所述的图像处理设备，其中所述伪目标图像像素值计算单元包括：

空间高频分量计算单元，被配置成计算与所述感兴趣像素邻近的像素中第一通道，即所述感兴趣像素的通道的每个像素的空间高频分量；

空间低频分量计算单元，被配置成计算与所述感兴趣像素邻近的像素的所述第一通道的空间低频分量；

第二通道空间低频分量计算单元，被配置成计算与所述感兴趣像素邻近的像素中第二通道，即不同于所述第一通道的通道的每个像素的空间低频分量；

空间高频分量比例系数计算单元，被配置成基于根据所述第二通道的空间低频分量和根据所述第一通道的空间低频分量计算所述空间高频分量的比例系数；和

伪目标图像像素值计算单元，被配置成基于根据所述第二通道的空间低频分量，根据所述第一通道的空间高频分量和所述比例系数计算所述第二通道的所述伪目标图像像素值。

4.如权利要求1所述的图像处理设备，其中所述伪目标图像像素值计算单元包括：

像素分布线性逼近单元，被配置成计算线性逼近直线，其中对关于所述感兴趣像素和与所述感兴趣像素邻近的像素中第一通道，即所述感兴趣像素的通道，和第二通道，即不同于所述第一通道的通道的像素的像素值的像素值分布进行线性逼近；和

像素值估计单元，被配置成使用所述线性逼近直线根据所述感兴趣像素的像素值估计所述第二通道的所述伪目标图像像素值。

5.如权利要求1所述的图像处理设备，其中所述伪目标图像像素值计算单元包括：

插值单元，被配置成在与所述感兴趣像素邻近的像素中的、第一通道即所述感兴趣像素的通道的像素的位置处，对第二通道即不同于所述第一通道的通道的两个像素的像素值进行插值，以计算插入值；

第一乘积和单元，被配置成针对与所述感兴趣像素邻近的像素中所述第一通道的每个像素，积分与所述感兴趣像素和与所述感兴趣像素邻近的所述第一通道的像素的像素值的差值对应的差值权重、与所述感兴趣像素和与所述感兴趣像素邻近的所述第一通道的像素之间的距离对应的距离权重和所述插入值，并且将针对每个所述像素积分的积分值相加以计算第一乘积和值；

第二乘积和单元，被配置成针对与所述感兴趣像素邻近的像素中所述第一通道的每个像素积分所述差值权重和所述距离权重，并且将针对每个所述像素积分的积分值相加以计算第二乘积和值；和

伪目标图像像素值计算单元，被配置成基于所述第一乘积和值和所述第二乘积和值计算所述第二通道的所述伪目标图像像素值。

6.如权利要求1所述的图像处理设备，其中所述假设退化图像像素值计算单元通过关于对应于所述感兴趣像素的像素和与所述感兴趣像素邻近的像素，即构成所述恢复图像产生单元最近产生的所述恢复图像的像素的像素值，使用针对每个通道的模糊函数，来计算所述假设退化图像的像素值。

7.如权利要求1所述的图像处理设备，还包括：

更新信号计算单元，被配置成计算所述计算的假设退化图像像素值和所述计算的伪目标图像像素值之间的差值，并且基于其差值计算用于产生所述恢复图像的更新信号；

其中所述恢复图像产生单元基于所述计算出的更新信号产生所述恢复图像。

8.一种成像设备，包括：

成像单元，被配置成对对象进行成像以产生由多个通道构成的成像图像；

假设退化图像像素值计算单元，被配置成针对多个通道的每个通道计算假设退化图像的像素值以作为假设退化图像像素值，所述假设退化图像是假设所述成像图像的退化的图像；

伪目标图像像素值计算单元，被配置成关于感兴趣像素，即和所述假设退化图像的像素对应的所述成像图像的像素，根据所述感兴趣像素的像素值和与所述感兴趣像素邻近的像素的像素值，计算针对每个所述通道估计的像素值，以作为每个所述通道的伪目标图像像素值；和

恢复图像产生单元，被配置成根据所述计算的假设退化图像像素值和所述计算的伪目标图像像素值产生其中恢复所述成像图像的恢复图像，

其中，所述伪目标图像像素值计算单元在关于和所述感兴趣像素的通道相同的通道计算所述伪目标图像像素值的情况下以所述感兴趣像素的像素值作为所述伪目标图像像素值，并且在关于不同于所述感兴趣像素的通道的通道计算所述伪目标图像像素值的情况下根据所述感兴趣像素的像素值和与所述感兴趣像素邻近的像素的像素值来计算所述伪目标图像像素值。

9.一种图像处理方法，包括步骤：

针对多个通道的每个通道计算假设退化图像的像素值以作为假设退化图像像素值，所述假设退化图像是假设由所述多个通道构成的目标图像的退化的图像；

关于感兴趣像素，即和所述假设退化图像的像素对应的所述目标图像的像素，根据所述感兴趣像素的像素值和与所述感兴趣像素邻近的像素的像素值，计算针对每个所述通道估计的像素值，以作为每个所述通道的伪目标图像像素值；和

根据所述计算的假设退化图像像素值和所述计算的伪目标图像像素值产生由所述目标图像恢复的恢复图像，

其中，在关于和所述感兴趣像素的通道相同的通道计算所述伪目标图像像素值的情况下以所述感兴趣像素的像素值作为所述伪目标图像像素值，并且在关于不同于所述感兴趣像素的通道的通道计算所述伪目标图像像素值的情况下根据所述感兴趣像素的像素值和与所述感兴趣像素邻近的像素的像素值来计算所述伪目标图像像素值。

Images