CN102870403A - 图像处理装置、摄像装置、程序以及图像处理方法 - Google Patents

Abstract

本发明提供能够利用简单的处理由低分辨率动态图像取得高分辨率图像的图像处理装置、摄像装置、程序以及图像处理方法等。图像处理装置包含存储部、估计运算部和图像输出部。一边重叠像素一边依次进行像素移动来将像素的受光值a₀₀~a₁₁作为低分辨率图像来取得。存储部存储该低分辨率图像。估计运算部估计比低分辨率图像的像素间距p小的像素间距p/2的估计像素值。图像输出部根据该估计像素值来输出分辨率比低分辨率图像高的高分辨率图像。此时，估计运算部求出第1位置的像素的受光值a₀₀与第2位置的像素的受光值a₁₀的差分值a₁₀-a₀₀，根据该差分值a₁₀-a₀₀来估计该估计像素值。

Description

图像处理装置、摄像装置、程序以及图像处理方法

技术领域

本发明涉及图像处理装置、摄像装置、程序以及图像处理方法等。

背景技术

在目前的数字照相机或摄像机中，有可切换静态图像摄影模式和动态图像摄影模式来进行使用的设备。例如存在这样的设备，在动态图像摄影中用户可通过进行按钮操作来拍摄与动态图像相比高分辨率的静态图像。

现有技术文献

专利文献

专利文献1：日本特开2009-124621号公报

专利文献2：日本特开2008-243037号公报

发明内容

发明所要解决的课题

但是，在切换静态图像摄影模式和动态图像摄影模式的方法中，具有用户在觉察到快门机会时大多已经错过决定瞬间这样的课题。

本发明人为了实现该决定瞬间的摄影而开发出利用像素移动的方法由动态图像来生成任意时机的高分辨率静态图像的方法。例如在专利文献1、2中作为像素移动的方法公开了由基于像素移动而取得的低分辨率图像合成高分辨率图像的方法。但是，在专利文献1、2的方法中具有处理负荷增大或者像素值的估计困难这样的课题。

根据本发明的几个方式，能够提供可利用简单的处理由低分辨率动态图像取得高分辨率图像的图像处理装置、摄像装置、程序以及图像处理方法等。

用于解决课题的手段

本发明的一方式涉及图像处理装置，该图像处理装置包含：存储部，其在如下情况下存储所取得的低分辨率图像，该情况为一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为上述低分辨率图像；估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素并使上述第1位置的像素与上述第2位置的像素重叠时，上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

根据本发明的一方式，一边重叠像素一边依次进行像素移动，一边进行像素移动一边利用摄像元件进行各摄像动作来取得受光值，并取得低分辨率图像。然后，根据对像素依次进行像素移动而获得的多个受光值来估计该估计像素值，根据该估计像素值来输出高分辨率图像。此时，根据重叠的第1、第2位置的像素的受光值的差分值来估计该估计像素值。由此，可利用简单的处理由低分辨率动态图像取得高分辨率图像等。

另外，在本发明的一方式中，上述估计运算部可采用上述差分值来表示第1中间像素值与第2中间像素值的关系式，上述第1中间像素值是从上述第1位置的像素中去除重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的像素中去除上述重叠区域后的第2受光区域的受光值，采用上述关系式来估计上述第1中间像素值、第2中间像素值，采用所估计的上述第1中间像素值来求出上述估计像素值。

这样，可一边重叠像素一边依次进行像素移动并且由所取得的受光值来估计中间像素值，由所估计的中间像素值来求出最终的估计像素值。由此，能够使高分辨率图像的像素值估计简化。

另外，在本发明的一方式中，上述估计运算部可在将包括上述第1中间像素值、第2中间像素值在内的连续的中间像素值作为中间像素值模式时，采用上述像素的受光值来表示上述中间像素值模式的中间像素值间的关系式，比较利用中间像素值间的关系式表示的上述中间像素值模式与上述像素的受光值，来评价相似性，根据上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值，使上述相似性最高。

这样，可根据一边重叠像素一边进行像素移动而取得的多个受光值，估计中间像素值。

另外，在本发明的一方式中，上述估计运算部可求出表示上述中间像素值模式与上述像素的受光值之间的误差的评价函数，决定上述中间像素值模式所包含的各个中间像素值，使上述评价函数的值最小，其中上述中间像素值模式由中间像素值间的关系式表示。

这样，通过决定中间像素值的值使得评价函数的值成为最小，可决定中间像素值的值，使中间像素值模式与受光值的相似性最高。

另外，在本发明的一方式中，可根据已知的高分辨率图像，取得上述中间像素值模式与上述像素的受光值的对应关系，作为先见信息，该先见信息预先规定上述像素的受光值与上述中间像素值模式的相似性，上述估计运算部根据上述先见信息，来评价由中间像素值间的关系式表示的上述中间像素值模式与所取得的上述像素的受光值之间的相似性。

这样，可根据基于已知的高分辨率图像取得的先见信息来评价相似性，并根据该评价结果来决定中间像素值。

另外，在本发明的一方式中，上述估计运算部可具有神经网络，该神经网络采用通过学习而作为上述先见信息获得的系数，作为节点的权重系数，其中上述学习基于上述已知的高分辨率图像，上述神经网络接收中间像素值模式与上述像素的受光值，输出上述相似性的评价结果，上述估计运算部根据来自上述神经网络的上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值。

这样，可通过采用将节点的权重系数作为先见信息的神经网络，来实现基于先见信息的相似性评价。

另外，在本发明的一方式中，可包含插值处理部，在各个帧中进行上述像素移动，通过上述像素移动在多个位置上依次设定上述像素，按照多个帧在相同位置上设定上述像素，当上述低分辨率图像是在时序上与各个位置对应而取得的连续低分辨率图像时，该插值处理部进行对各个上述帧中的上述多个位置的像素的受光值进行插值的处理，上述插值处理部采用插值对象帧前后的帧的上述连续低分辨率图像中的与上述欠缺位置相同位置的像素的受光值，来对上述插值对象帧的上述连续低分辨率图像中的欠缺位置的像素的受光值进行插值，上述估计运算部根据由上述插值处理部插值后的上述连续低分辨率图像，来估计各个上述帧中的上述估计画值。

这样，在通过像素移动来取得受光值时，能够采用所取得的受光值来对欠缺位置的受光值进行插值，并根据插值后的受光值进行估计。

另外，在本发明的一方式中，上述插值处理部可通过时间轴插值滤波器进行上述插值。

这样，可通过时间轴插值滤波器进行时间轴插值。

另外，在本发明的一方式中，上述插值处理部可在上述前后的帧中的像素的受光值的差分值小于规定的阈值时，采用上述前后的帧中与上述欠缺位置相同位置的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值，在上述前后的帧中像素的受光值的差分值大于规定阈值时，采用在上述插值对象的帧中取得的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值。

这样，可根据在插值对象的帧前后的帧中的像素的受光值的差分值，来进行插值对象的帧中的受光值的时间轴插值。

另外，在本发明的一方式中，第1像素与第2像素可以是邻接的像素，当上述第1位置、第2位置的上述第1像素在第1重叠区域内重叠、上述第1位置、第2位置的上述第2像素在第2重叠区域内重叠时，上述估计运算部估计第1中间像素值和第2中间像素值，上述第1中间像素值是从上述第1位置的上述第1像素中去除上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第1像素中去除上述第1重叠区域后的第2受光区域的受光值，将第3中间像素值作为未知数，上述第3中间像素值是从上述第1位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，以采用上述未知数的关系式来表示第4中间像素值，该第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，根据作为上述第2受光区域的中间像素值求出的上述第2中间像素值，来设定上述未知数的搜索范围，其中上述第2受光区域与上述第3受光区域是同一区域，在所设定的上述搜索范围中，通过搜索求出上述未知数来估计上述第3中间像素值。

这样，可根据先前求出的第2中间像素值，来设定接着要估计的未知数的搜索范围。

另外，在本发明的一方式中，第1像素与第2像素可以是邻接的像素，当上述第1位置、第2位置的上述第1像素在第1重叠区域内重叠、上述第1位置、第2位置的上述第2像素在第2重叠区域内重叠时，上述估计运算部估计第1中间像素值模式、第2中间像素值模式、第3中间像素值模式，上述第1中间像素值模式是包括第1中间像素值和第2中间像素值在内的连续的中间像素值，上述第1中间像素值是从上述第1位置的上述第1像素中去除上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第1像素中去除上述第1重叠区域后的第2受光区域的受光值，上述第2中间像素值模式是包括第3中间像素值和第4中间像素值在内的连续的中间像素值，上述第3中间像素值是从上述第1位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，上述第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，上述第3中间像素值模式是包括第5中间像素值、且不包括上述第1中间像素值、第4中间像素值的连续的中间像素值，上述第5中间像素值是上述第2位置的上述第1像素与上述第1位置的上述第2像素的重叠区域即第5受光区域的受光值，在上述第3受光区域、第5受光区域与上述第2受光区域是同一受光区域时，根据通过上述第1中间像素值模式~第3中间像素值模式的估计而获得的上述第2中间像素值、第3中间像素值、第5中间像素值来最终决定上述同一受光区域的中间像素值。

这样，可根据通过3次估计同一受光区域的中间像素值求出的3个估计值，来决定该受光区域的最终的中间像素值。

另外，在本发明的一方式中，上述估计运算部可对上述估计像素值根据上述估计像素值的像素位置进行不同滤波器系数的滤波处理。

这样，可对经由估计获得的估计像素值，进行与该像素位置对应的滤波处理。

另外，在本发明的一方式中，在一边沿着倾斜方向重叠上述像素一边进行上述像素移动并取得上述低分辨率图像时，上述估计运算部可将沿着上述倾斜方向进行上述像素移动的上述像素的重叠区域的受光值估计为上述估计像素值。

这样，在一边沿着倾斜方向重叠像素一边进行像素移动时，可根据通过该像素移动取得的受光值，将像素的重叠区域的受光值作为估计像素值求出。

另外，在本发明的一方式中，上述摄像元件可以是彩色摄像元件，当在水平方向与垂直方向上进行各3步的上述像素移动并取得16帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，上述估计运算部根据上述16帧的各颜色分量的马赛克图像，按照每个颜色分量来估计与上述高分辨率图像的全部像素对应的上述估计像素值。

另外，在本发明的一方式中，上述摄像元件可以是彩色摄像元件，当在水平方向与垂直方向上进行各1步的上述像素移动并取得4帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，上述估计运算部对上述4帧的各颜色分量的马赛克图像进行去马赛克处理，并根据上述去马赛克处理后的图像来估计上述估计像素值。

根据这些本发明的一方式，在摄像元件是彩色摄像元件时，可根据通过像素移动所取得的受光值来估计该估计像素值，并输出彩色的高分辨率图像。

另外，本发明的其它方式涉及摄像装置，该摄像装置包含：摄像元件；成像光学系统，其对上述摄像元件形成被摄体像；像素移动控制部，其控制为一边重叠像素一边依次进行像素移动来对上述被摄体像进行采样；存储部，其在一边进行上述像素移动一边利用上述摄像元件进行各摄像动作时，将通过各个上述摄像动作取得的上述像素的受光值作为低分辨率图像进行存储；估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

本发明的其他方式是一种程序，其使计算机作为以下的部件发挥功能：存储部，其在一边重叠像素一边依次进行像素移动来采样被摄体像，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像；估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

另外，本发明的其它方式涉及图像处理方法，该图像处理方法为，在一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像，根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值，根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，并且在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，在上述估计像素值的估计中求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

附图说明

图1是摄像装置的基本结构例。

图2是估计处理块的说明图。

图3（A）是受光值的说明图，图3（B）是中间像素值的说明图。

图4是第1估计方法中的中间像素值的估计方法的说明图。

图5是第1估计方法中的中间像素值的估计方法的说明图。

图6是第1估计方法中的中间像素值的估计方法的说明图。

图7（A）、图7（B）是第1估计方法中的估计像素值的估计方法的说明图。

图8是第1估计方法中的估计像素值的估计方法的说明图。

图9是第1估计方法中的估计像素值的估计方法的说明图。

图10是第1估计方法中的估计像素值的估计方法的说明图。

图11是第2估计方法的说明图。

图12是第2估计方法的说明图。

图13是第2估计方法的说明图。

图14是第2估计方法的说明图。

图15是第2估计方法中的搜索范围设定的说明图。

图16是第2估计方法的概要说明图。

图17是第3估计方法的说明图。

图18是第3估计方法的概要说明图。

图19是第4估计处理的说明图。

图20是噪声滤波器的结构例。

图21是受光值的第1插值方法的说明图。

图22是插值处理的时序图例。

图23是受光值的第2插值方法的说明图。

图24是受光值的第2插值方法的说明图。

图25是对融合（fusion）帧的运动补偿的说明图。

图26是摄像装置与图像处理装置的第1详细结构例。

图27是摄像装置与图像处理装置的第2详细结构例。

图28是彩色图像的第1估计方法的说明图。

图29是彩色图像的第2估计方法的说明图。

图30（A）是第5估计方法中的受光值的说明图，图30（B）是第5估计方法中的中间像素值的说明图。

图31是第5估计方法中的中间像素值的估计方法的说明图。

图32是第5估计方法中的中间像素值的估计方法的说明图。

图33是第5估计方法中的中间像素值的估计方法的说明图。

图34是第5估计方法中的估计像素值的估计方法的说明图。

具体实施方式

以下，对本发明的优选实施方式进行详细说明。此外，以下说明的本实施方式并非不当限定在权利要求书内所记载的本发明内容，在本实施方式中说明的全部结构作为本发明的解决手段并非是必须的。

1.比较例

首先，对本实施方式的比较例进行说明。在数字照相机或摄像机的产品中存在如下产品：使以静态图像摄影为主的数字照相机具有动态图像摄影功能、或者使以动态图像摄影为主的摄像机具有静态图像摄影功能。这些照相机大多切换静态图像摄影模式和动态图像摄影模式来进行使用。其中，有的可通过动态图像摄影的高速帧速率来拍摄高精细静态图像，并能够进行短时间的高速连拍。如果使用这样的设备，则具有以一个设备来承担静态图像与动态图像摄影这样的利便。

但是，在这些方法中存在难以不错过多数人追求的快门机会而获得高品位的静态图像这样的课题。例如，在动态图像摄影中瞬时切换为拍摄高品位静态图像的模式这样的方法中存在如下这样的课题，即动态图像间断，或者在用户发觉时已经错过决定瞬间。

为了解决不错过该快门机会这样的课题而考虑如下这样的方法，在通过动态图像摄影来无遗漏地拍摄全部场景时，将从中自由决定的瞬间作为高品位的静态图像来获得。为了实现该方法，需要能够以高速帧速率来拍摄高精细图像。

但是，该方法的实现是不容易的。例如，为了以60fps（fps：帧/秒）连续拍摄1200万像素的图像，而需要可超高速摄像的摄像元件、对摄像数据进行超高速处理的处理电路、超高速数据压缩处理功能、记录非常大的数据的记录单元。因此，需要使用多个摄像元件、并行处理、大规模存储器、高性能散热机构等，但在需要小型化或低成本的民用设备中是非现实的。虽然只要是动态图像摄影的高品质电视（200万像素）程度的分辨率的非高品位的静态图像就能够实现，但以高品质电视程度的分辨率作为静态图像是不够的。

另外，作为进行高帧速率的动态图像摄影的方法，考虑如下这样来实现的方法，采用能够以多个像素拍摄高精细图像的高像素图像传感器，通过像素的间取读出或者邻接像素的相加读出来进行低分辨率图像化并降低1次读出数据。但是，在此方法中无法利用高帧速率来拍摄高精细图像。

为了解决此课题，需要由以高帧速率拍摄的低分辨率图像来获得高分辨率图像。作为由低分辨率图像获得高分辨率图像的方法，例如考虑如下这样的方法：对通过像素移动来拍摄的低分辨率图像进行所谓的超晰像处理并生成高分辨率图像。

例如，作为此方法考虑采用相加读出的方法。即，在将低分辨率图像依次进行位置偏移并且读出之后，根据这些多个位置偏移图像来暂时假定高精细图像。并且，使假定的图像劣化来生成低分辨率图像，与初始的低分辨率图像相比为了使其差异最小而使高精细图像变形，来估计高精细图像。作为该超晰像处理已知ML（Maximum-Likelihood：最大似然）法、MAP（Maximum A Posterior：最大后验）法、POCS（Projection Onto Convex Set：凸集投影）法、IBP（Iterative Back Projection：迭代反投影）法等。

另外，作为采用超晰像处理的方法有上述专利文献1所公开的方法。在此方法中，按时序依次拍摄在动态图像拍摄时进行像素移动的低分辨率图像，并合成这些多个低分辨率图像，由此来假定高分辨率图像。然后，对该假定的高分辨率图像实施上述超晰像处理，并估计似然度高的（似然）高分辨率图像。

但是，在这些方法中采用通过多次使用2维滤波器的反复运算来提高估计精度的一般超晰像处理。因此，具有如下课题：即处理的规模非常大或者处理时间增大，难以应用于存在处理性能或成本限制的设备。例如，当应用于数字照相机这样的小型便携摄像装置时，产生处理电路的规模变大、功耗增大、产生大量热、成本大幅提高等课题。

另外，在上述专利文献2中公开了使用像素移动的多个低分辨率图像来生成高分辨率图像的方法。在此方法中，将构成希望求出的高分辨率图像的虚拟像素设为副像素，并估计副像素的像素值，使该副像素的平均值与所拍摄的低分辨率图像的像素值一致。在该像素值的估计中，设定多个副像素的初始值，从低分辨率图像的像素值中减去去除了希望计算的副像素之后的副像素的像素值来求出像素值，并依次针对邻接的像素应用该像素值。

但是，在此方法中具有当初始值的确定不够准确时估计误差变得非常大这样的课题。在此方法中，为了设定初始值，从图像中寻找副像素的像素值变化小且这些像素的平均值与覆盖这些像素的低分辨率像素值大致相等的部分。因此，当从摄影图像中没有发现适合初始值设定的部分时，难以估计初始值。另外，需要搜索适合初始值设定的部分的处理。

2.像素移动

因此，在本实施方式中，通过像素移动（像素偏移）来拍摄高帧速率的低分辨率动态图像，并根据该低分辨率动态图像以简单的像素估计方法来生成高分辨率图像。然后，采用所生成的高分辨率图像来取得动态图像中的任意时机的高分辨率静态图像，或者取得高帧速率的高分辨率动态图像。

以下，采用附图来详细说明这样的本实施方式的方法。首先，采用图1来说明本实施方式进行的像素移动。图1示意性示出摄像装置的基本结构例。该摄像装置包含镜头410（广义上为成像光学系统）、摄像元件420（传感器、成像器）。

镜头410使被摄体Obj的像形成于摄像元件420的受光面。如C1所示，利用未图示的镜头驱动部对镜头410进行像素移动控制。这里，将摄像元件420的像素间距设为p。此时，镜头410在沿着与光轴垂直的x轴（或y轴）的方向上每次以移动量p/2（广义上，移动量s<p）进行移动。此时，随着镜头410每次移动p/2，受光面上的被摄体像也每次以移动量p/2进行移动。

摄像元件420对由镜头410形成的被摄体Obj的像进行摄像。具体地说，按照镜头410的每个移动动作进行摄像，对每次移动p/2的被摄体像进行采样。这样，在本实施方式中，通过像素移动来取得每次移动p/2的像素间距p的低分辨率图像。

此外，在上述结构例中，将镜头410每次以移动量p/2进行移动的情况作为例子进行了说明，但在本实施方式中，也可以是摄像元件420每次以移动量p/2进行移动。

3.第1估计方法

在本实施方式中，根据如上所述取得的像素间距p的低分辨率图像来估计像素间距p/2的像素值并生成高分辨率图像。采用图2~图10来说明估计该像素间距p/2的像素值的方法。此外，在本说明书中为了简单，而将利用摄像元件的像素取得的像素值称为受光值，将通过估计获得的像素值称为估计像素值。

图2示出在像素估计中采用的估计处理块的说明图。在图2中利用实线的四方形来表示低分辨率图像的像素，利用i来表示水平方向的像素位置，利用j来表示垂直方向的像素位置（i、j是自然数）。

如图2所示，在本实施方式中，设定将m×n像素作为1块的估计处理块B_k00、B_k10、…。然后，按照该估计处理块来进行后述的像素值的估计处理。通过该估计处理，根据m×n像素来估计2m×2n像素的估计像素值。此外，以下为了简单，以根据m×n=1×1像素来估计2×2像素的情况为例进行说明。

图3（A）、图3（B）示出用于估计处理的受光值以及中间像素值的说明图。如图3（A）所示，通过使摄像元件的像素间距p的像素（受光单位）每次以p/2进行像素移动，来依次取得受光值a₀₀、a₁₀、a₁₁、a₀₁（像素值）。在本实施方式中，根据该4个受光值来估计像素间距p/2的估计像素值。此外，受光值a₀₀~a₁₁可以是由摄像取得的受光值本身，也可以是通过后述时间轴插值来进行插值而得到的受光值。

此时，如图3（B）所示，根据受光值a₀₀~a₁₁来估计水平方向的像素间距为p/2的中间像素值b₀₀~b₂₁（中间估计像素值）。然后，根据该中间像素值b₀₀~b₂₁来最终地估计水平垂直方向的像素间距为p/2的估计像素值。

关于该中间像素值的估计方法，以图4所示的水平方向的最初行的中间像素值b₀₀~b₂₀为例进行说明。在受光值与中间像素值之间，下式（1）的关系成立。

a₀₀=b₀₀+b₁₀，

a₁₀=b₁₀+b₂₀ …（1）

当将b₀₀作为未知数（初始值、基准值）使上式（1）变形时，如下式（2）所示，可将中间像素值b₁₀、b₂₀表示为b₀₀的函数。

b₀₀=（未知数），

b₁₀=a₀₀-b₀₀，

b₂₀=b₀₀+δi₀=b₀₀+（a₁₀-a₀₀）…（2）

这里，如下式（3）所示，δi₀是进行1次移动相差的受光值的差分值，与中间像素值b₂₀、b₀₀的差分值相对应。

δi₀=a₁₀-a₀₀

=（b₁₀+b₂₀）-（b₀₀+b₁₀）

=b₂₀-b₀₀                     …（3）

这样，求出将b₀₀作为未知数的高精细的中间像素值{b₀₀、b₁₀、b₂₀}的组合模式。为了决定表示为该b₀₀的函数的中间像素值的值，而需要求出未知数b₀₀。

如图5所示，在本实施方式中，比较通过重叠移动采样（像素移动）检测出的像素值的模式{a₀₀、a₁₀}与中间像素值的模式{b₀₀、b₁₀、b₂₀}。然后，导出其误差最小的未知数b₀₀，将导出的未知数b₀₀设定为最终的中间像素值b₀₀。

具体地说，如下式（4）所示，利用未知数b₀₀的函数来表示误差的评价函数Ej。然后如图6所示，通过搜索求出使评价函数Ej为最小（极小值）的未知数b₀₀=α（最小二乘法）。

[数1]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,$

$\mathrm{Ej}=\underset{i=0}{\overset{1}{\mathrm{\&Sigma;}}}{e}_0...\left(4\right)$

如上式（4）所示，在本实施方式中，进行中间像素值的平均值与具有低频分量的模式{a₀₀、a₁₀}的误差评价。由此，能够抑制导出含有多个高频分量的模式来作为该中间像素值{b₀₀、b₁₀、b₂₀}的估计解。即，即使未知数的估计不正确，也能够生成含有多个低频分量的图像。因此，能够抑制生成在与低频分量相比容易强调不自然性的高频分量中包含错误的模式，作为图像没有失去外表的自然性。由此，可对高频分量小于低频分量的自然图像进行合理的像素估计。

这样，估计中间像素值b₀₀的值，将所估计的b₀₀的值代入上式（2）来决定中间像素值b₁₀、b₂₀的值。然后，同样将b₀₁作为未知数来估计第2行的中间像素值b₀₁~b₂₁。

接着，对采用所估计的中间像素值b_ij来求出最终的估计像素值v_ij的方法进行说明。图7（A）、图7（B）示意性示出中间像素值与估计像素值的说明图。如图7（A）所示，采用经由上述方法估计的3列中间像素值b₀₀~b₂₁中的2列中间像素值b₀₀~b₁₁。然后，如图7（B）所示，根据中间像素值b₀₀~b₁₁来估计最终的像素间距p/2的估计像素值v₀₀~v₁₂。

以下，为了简化说明，以图8所示的第1列像素值v₀₀~v₀₂为例进行说明。利用与上述中间像素值的估计方法同样的方法进行像素值v₀₀~v₀₂的估计。具体地说，中间像素值b₀₀、b₀₁与使像素值v₀₀~v₀₂在垂直方向上以2像素为单位每次移动1像素并且重叠采样的值等效。因此，在中间像素值与估计像素值之间，下式（5）的关系成立。

b₀₀=v₀₀+v₀₁，

b₀₁=v₀₁+v₀₂   …（5）

如下式（6）所示，可将像素值v₀₁、v₀₂表示为未知数v₀₀的函数。

v₀₀=（未知数），

v₀₁=b₀₀-v₀₀，

v₀₂=v₀₀+δj₀=v₀₀+（b₀₁-b₀₀）…（6）

这里，如下式（7）所示，δj₀是1次移动相差的中间像素值的差分值，与像素值v₀₂、v₀₀的差分值相对应。

δi₀=b₀₁-b₀₀

=（v₀₁+v₀₂）-（v₀₀+v₀₁）

=v₀₂-v₀₀                 …（7）

如图9所示，导出中间像素值的模式{b₀₀、b₁₀}与估计像素值的模式{v₀₀、v₀₁、v₀₂}的误差为最小的未知数v₀₀。即，如下式（8）所示，用评价函数Ei表示误差，如图10所示，通过搜索求出使该评价函数Ei为最小的未知数v₀₀=β。

[数2]

$e_{\mathrm{ij}}={(\frac{b_{\mathrm{ij}}}{2}-v_{\mathrm{ij}})}^2+{(\frac{b_{\mathrm{ij}}}{2}-v_{h(j+1)})}^2,$

$\mathrm{Ei}=\underset{j=0}{\overset{1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{ij}}...\left(8\right)$

然后，通过同样的处理来求出第2列的像素值v₁₀~v₁₂，并决定最终的估计像素值v₀₀、v₀₁、v₁₀、v₁₁。此外，在本实施方式中，可对由最终估计像素值构成的图像数据实施适当的噪声降低处理后成为显示图像。

这里，在上述实施方式中说明了通过搜索求出未知数b₀₀、v₀₀的情况，但在本实施方式中，可直接求出未知数b₀₀、v₀₀。即，上式（4）所示的误差Ej的式子是b₀₀的2次函数式，所以可变形为下式（9）的形式。因此，能够直接求出使Ej为最小的b₀₀的最小值α。关于v₀₀的最小值β也能够同样地求出。

Ej=（b₀₀-α）2+ξ…（9）

那么如上所述，在切换静态图像拍摄模式与动态图像拍摄模式的方法中，具有用户在觉察到快门机会时大多已经错过决定瞬间这样的课题。另外，在利用超晰像处理由低分辨率动态图像合成高分辨率静态图像的方法中，超晰像处理为大负荷的处理，所以具有处理电路的规模增大等的课题。

关于这点，根据本实施方式，一边重叠像素一边依次进行像素移动来采样被摄体像，并且一边进行像素移动一边利用摄像元件进行各摄像动作，将经由各摄像动作获得的像素的受光值作为低分辨率图像来取得。然后，存储所取得的低分辨率图像，根据所存储的多个低分辨率图像来估计像素间距比低分辨率图像的像素间距小的估计像素值。根据所估计的估计像素值来输出分辨率比低分辨率图像高的高分辨率图像。此时，在第1位置和第1位置之后的第2位置依次设定被进行像素移动的像素。第1、第2位置的像素重叠。然后，求出第1、第2位置的像素的受光值的差分值，并根据该差分值来估计其估计像素值。

例如图1所示，相对于摄像元件的像素间距p在水平方向或垂直方向上每次移动p/2。如图3（A）所示，在该像素移动中，每次重叠p/2的像素。在第1~第4帧中依次取得包含受光值a₀₀、a₁₀、a₁₁、a₀₁的低分辨率图像。例如图26所示由摄像装置10来取得这些低分辨率图像，并输入至图像处理装置20，存储到帧缓存器210（存储部）内。然后，利用像素值估计运算部230（估计运算部）来估计比像素间距p小的间距p/2的估计像素值v₀₀~v₁₁，通过抗混叠滤波器240（图像输出部）来输出高分辨率图像。此时，如图3（A）所示，在第1、第2帧中，在取得受光值a₀₀、a₁₀的第1、第2位置设定像素。这些像素在包含估计像素v₁₀、v₁₁的区域中重叠。然后，如上所述，在图4等中求出差分值δi₀=a₁₀-a₀₀，根据差分值δi₀来估计其估计像素值v₀₀～v₁₁。

由此，可利用简单的处理由动态图像来取得高分辨率图像。具体地说，根据差分值δi₀来估计中间像素值，由此能够使估计处理简化。另外，高分辨率静态图像可生成低分辨率动态图像的任意时机的图像，所以用户能够容易地获得决定瞬间的高分辨率静态图像。另外，通过在拍摄时取得低分辨率动态图像（例如3兆像素）来以高帧速率（例如60帧）进行拍摄，并能够根据需要来显示高分辨率静态图像（12兆像素）或高品质电视动态图像。另外，在数字变焦的情况下，可利用估计处理弥补像素数的降低来生成高精细的变焦图像。

更具体地说，在本实施方式中，采用差分值来表示从第1位置的像素中去除重叠区域后的第1受光区域的受光值即第1中间像素值与从第2位置的像素中去除重叠区域后的第2受光区域的受光值即第2中间像素值的关系式。然后，采用该关系式来估计第1、第2中间像素值，采用所估计的第1中间像素值来求出像素中的各个像素的像素值。

例如，在图3（A）、图3（B）中如上所述，第1受光区域与取得第1中间像素值b₀₀的区域对应。另外，第2受光区域与取得第2中间像素值b₂₀的区域对应。然后，在图4中如上所述，采用差分值δi₀来求出关系式b₂₀=b₀₀+δi₀。在图5中如上所述，估计未知数b₀₀，采用关系式来估计b₂₀。在图7（A）等中如上所述，采用b₀₀来求出估计像素值v₀₀、v₀₁。

这样，根据重叠移动的受光值来暂时估计中间像素值，并根据该重叠移动的中间像素值来求出估计像素值，由此能够使高分辨率图像的估计处理简化。例如与上述比较例相比，不需要2维滤波器的反复运算（专利文献1）或搜索适合初始值设定的部分（专利文献2）等复杂的处理。

另外，在本实施方式中，当将包含第1、第2中间像素值的连续（连续顺序的）中间像素值作为中间像素值模式时，采用像素的受光值表示中间像素值模式的中间像素值间的关系式。然后，比较中间像素值模式与受光值模式（像素的受光值）来评价相似性，并根据该评价结果来决定中间像素值模式的中间像素值的值，以使相似性最高。

例如，在图5中如上所述，连续的中间像素值{b₀₀、b₁₀、b₂₀}与中间像素值模式对应，在上式（2）中如上所述，采用受光值a₀₀、a₁₀来表示{b₀₀、b₁₀、b₂₀}间的关系式。然后，比较中间像素值模式{b₀₀、b₁₀、b₂₀}与受光值模式{a₀₀、a₁₀}，决定{b₀₀、b₁₀、b₂₀}的值，以使得由评价函数Ej表示的相似性最高。

这里，所谓中间像素值模式就是在水平方向（或垂直方向）上连续的中间像素值的集合。另外，所谓受光值模式就是在用于估计处理的多个低分辨率图像中在水平方向（或垂直方向）上连续的受光值的集合。

这样，可根据通过重叠像素并且进行像素移动来取得的多个受光值，估计中间像素值。

更具体地说，在本实施方式中，求出以中间像素值之间的关系式示出的表示中间像素值模式与受光值模式的误差的评价函数。然后，决定中间像素值模式的中间像素值的值，使该评价函数的值为最小。

例如，在上式（4）等中如上所述，将中间像素值模式{b₀₀、b₁₀、b₂₀}表示为未知数b₀₀的函数，利用评价函数Ej来表示中间像素值模式{b₀₀、b₁₀、b₂₀}与受光值模式{a₀₀、a₁₀}的误差。在图6中如上所述，求出评价函数Ej的值最小的未知数b₀₀=α（初始值），根据所求出的b₀₀来决定b₀₀~b₂₀的值。

这样，利用评价函数来表示误差，并求出与该评价函数的极小值对应的中间像素值，由此可估计中间像素值的值。例如，如上所述地采用最小二乘法来求出未知数，由此能够以简单的处理来设定中间像素估计的初始值。从而，与上述比较例（专利文献2）相比可不需要搜索适合初始值设定的图像部分。

4.第2估计方法

在图3（B）等中如上所述，在设定为中间像素值b₀₀、b₁₀的估计处理块中，估计到中间像素值b₂₀。该b₂₀相当于设定为中间像素值b₂₀、b₃₀的下一估计处理块中的未知数（初始变量）。在本实施方式中，可利用已经估计的中间像素值b₂₀来使接着要估计的未知数b₂₀的估计高速化。

采用图11~图15来说明能够使未知数的估计高速化的第2估计方法。以下，以中间像素值（b₂₀等）的估计为例进行说明，但关于估计像素（v₀₂等）也同样能够估计。

如图11所示，在利用重叠移动采样检测出的水平方向的最初行中，当关注受光值a₀₀、a₁₀时下式（10）成立。

a₀₀=b₀₀+b₁₀，

a₁₀=b₁₀+b₂₀…（10）

当将b₀₀作为未知数时，下式（11）成立。

b₀₀=（未知数），

b₁₀=a₀₀-b₀₀，

b₂₀=b₀₀+δi₀=b₀₀+（a₁₀-a₀₀）…（11）

这里，利用下式（12）来表示δi₀。

δi₀=a₁₀-a₀₀

=（b₁₀+b₂₀）-（b₀₀+b₁₀）

=b₂₀-b₀₀                    …（12）

如图12所示，比较受光值模式{a₀₀、a₁₀}与中间像素值模式具体地说，如下式（13）所示，利用未知数b₀₀的函数来表示误差的评价函数Ej。然后，如图13所示，通过搜索求出使评价函数Ej最小的未知数b₀₀=α1，根据上式（11）来决定中间像素值b₁₀、b₂₀的值。

[数3]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,$

$\mathrm{Ej}=\underset{i=0}{\overset{1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{ij}}...\left(13\right)$

同样，求出水平方向上的下一未知数b₂₀（初始变量），并求出中间像素值模式

即，如图14所示，当关注受光值a₂₀、a₃₀时下式（14）成立。

a₂₀=b₂₀+b₃₀，

a₃₀=b₃₀+b₄₀…（14）

当将b₂₀设为未知数时下式（15）成立。

b₂₀=（未知数），

b₃₀=a₂₀-b₂₀，

b₄₀=b₂₀+δi₂=b₂₀+（a₃₀-a₂₀）…（15）

这里，δi₂是1次移动相差的受光值的差分值，利用下式（16）来表示。

δi₂=a₃₀-a₂₀

=（b₃₀+b₄₀）-（b₂₀+b₃₀）

=b₄₀-b₂₀                …（16）

接着，如图14所示，比较受光值模式{a₂₀、a₃₀}与中间像素值模式

具体地说，如下式（17）所示，利用未知数b₂₀的函数来表示误差的评价函数Ej。此时，利用通过中间像素值b₀₀~b₂₀的估计已经求出b₂₀的值的情况，如图15所示，将已经求出的b₂₀（=α1+δi₀）附近的值的范围设定为搜索范围。然后，在该搜索范围内使未知数b₂₀变化，并求出评价函数Ej为最小的b₀₀=α2。这样，可显著降低下式（17）的运算次数，实现估计处理的高速化。

[数4]

$e_{\mathrm{ij}}={(\frac{a_{\mathrm{ij}}}{2}-b_{\mathrm{ij}})}^2+{(\frac{a_{\mathrm{ij}}}{2}-b_{(i+1)j})}^2,$

$\mathrm{Ej}=\underset{i=2}{\overset{1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{ij}}...\left(17\right)$

根据上述本实施方式，如图16所示，第1像素（第1受光单位）与第2像素（第2受光单位）是邻接的像素。并且，通过像素移动在第1位置与第1位置之后的第2位置依次设定第1、第2像素。第1、第2位置的第1像素在第1重叠区域内重叠，第1、第2位置的第2像素在第2重叠区域内重叠。

此时，从第1位置的第1像素中去除第1重叠区域后的区域是第1受光区域。另外，从第2位置的第1像素中去除第1重叠区域后的区域是第2受光区域。然后，估计该第1、第2受光区域的受光值即第1、第2中间像素值（例如，b₀₀、b₂₀）（b₀₀=α1、b₂₀=α1+δi₀）。

另外，从第1位置的第2像素中去除第2重叠区域后的区域是第3受光区域。另外，从第2位置的第2像素中去除第2重叠区域后的区域是第4受光区域。然后，将该第3受光区域的受光值即第3中间像素值（b₂₀）设为未知数，根据采用未知数（b₂₀）的关系式（b₄₀=b₂₀+δi₂）来表示第4受光值即第4中间像素值（b₄₀）。

并且，第3受光区域与第2受光区域是相同的区域，根据作为第2受光区域的中间像素值先前求出的第2中间像素值（b₂₀=α1+δi₀），设定第3中间像素值即未知数（b₂₀）的搜索范围。在所设定的搜索范围中通过搜索求出未知数（b₂₀），并估计第3中间像素值（b₂₀=α2）。

这样，可进行中间像素值的高速估计。即，可根据先前求出的第2中间像素值（b₂₀=α1+δi₀），来设定在下一估计处理块中估计的未知数（b₂₀）的搜索范围。由此，可限定搜索未知数（b₂₀）的范围，并削减搜索次数。

5.第3估计方法

在上述实施方式中，仅估计一次未知数（b₀₀、b₂₀等），但在本实施方式中，多次估计未知数，可根据该多个估计值来高精度地决定未知数的值。采用图17来说明根据多个估计值决定未知数的值的第3估计方法。以下，以中间像素值（b₂₀）为例进行说明，但估计像素值（v₀₂等）也同样能够估计。

如图17所示，在利用重叠移动采样检测出的水平方向的受光值中，首先根据{a₀₀、a₁₀}求出高精细的中间像素值

利用与上式（10）~（13）的方法相同的方法求出该中间像素值

接着，利用与上式（14）~（17）的方法相同的方法，根据{a₁₀、a₂₀}求出高精细的中间像素值

另外，利用与上式（14）~（17）的方法相同的方法，根据{a₂₀、a₃₀}求出高精细的中间像素值

在这3次估计中，在集合

内分别表示中间像素值b₂₀。因此，利用3次估计可获得中间像素值b₂₀的3个估计值。在本实施方式中，根据这3个估计值来决定（判定）最终的中间像素值b₂₀的值。例如，可根据以下的第1~第4决定方法来决定最终的中间像素值b₂₀的值。

在第1决定方法中，将3个b₂₀的候选值的平均值作为b₂₀的最终决定值。

在第2决定方法中，确定3个b₂₀的候选值内差分最小的两个值，将所确定的两个值的平均值作为b₂₀的最终决定值。根据此方法，可将值接近的两个估计值作为近似精确估计值，并提高未知数的估计精度。

在第3决定方法中，使已知的多个高分辨率图像采样的像素值相加，来求出受光值和中间像素值。根据所求出的受光值与中间像素值，对受光值模式预先确定模式发生概率高的中间像素值模式。然后，参照该预先确定的对应关系，对由拍摄取得的受光值模式求出发生概率高的中间像素值模式。判定3个中间像素值模式

中的与所求出的中间像素值模式最接近的模式，并将所判定的中间像素值模式的元素即b₂₀作为最近似精确的模式，b₂₀为最终决定值。根据此方法，可进行反映自然图像等已知图像的像素值估计。

在第4决定方法中，根据与3个b₂₀的导出相关的附近观测像素值a₀₀~a₃₀的差分值δi₀、δi₁、δi₂的变化程度，来决定最终采用的b₂₀。这里，将适合b₂₀的判定的变化程度的组合模式设为ξ={δi₀、δi₁、δi₂}。使已知的多个高分辨率图像采样的像素值相加，并求出

的元素模式和组合模式ξ。根据所求出的元素模式和组合模式ξ来预先求出b₂₀相对于组合模式ξ的发生概率分布。在最终判定中，参照预先求出的发生概率分布来求出b₂₀相对于根据所摄像的图像求出的差分值的模式ξ的发生概率分布。然后，采用该发生概率分布来判定根据估计运算获得的3个b₂₀的候选值中的哪个发生概率最高，确定b₂₀。即，因为预先知晓b₂₀产生的值相对于变化程度的组合模式ξ的概率，所以可采用估计处理中的组合模式ξ，从根据估计获得的3个b₂₀的候选值中决定最近似精确的b₂₀的值。根据此方法，可进行反映了自然图像等已知图像的像素值估计。另外，不依赖于像素值的大小，可进行与像素值的变化程度相应的像素值估计。

根据上述本实施方式，如图18所示，第1像素（第1受光单位）与第2像素（第2受光单位）是邻接的像素。然后，通过像素移动在第1位置和第1位置之后的第2位置上依次设定第1、第2像素。第1、第2位置的第1像素在第1重叠区域内重叠，第1、第2位置的第2像素在第2重叠区域内重叠。

此时，从第1位置的第1像素中去除了第1重叠区域后的区域是第1受光区域。另外，从第2位置的第1像素中去除了第1重叠区域后的区域是第2受光区域。并且，估计包含该第1、第2受光区域的受光值即第1、第2中间像素值（例如，b₀₀、b₂₀）的连续的中间像素值，即第1中间像素值模式

从第1位置的第2像素中去除了第2重叠区域后的区域是第3受光区域。另外，从第2位置的第2像素中去除了第2重叠区域后的区域是第4受光区域。并且，估计包含该第3、第4受光区域的受光值即第3、第4中间像素值（b₂₀，b₄₀）的连续的中间像素值，即第2中间像素值模式

第2位置的第1像素与第1位置的第2像素的重叠区域是第5受光区域。并且，估计包含该第5受光区域的受光值即第5中间像素值（b₂₀）而不包含第1、第4中间像素值（b₀₀、b₄₀）的连续的中间像素值，即第3中间像素值模式

上述第3、第5受光区域是与第2受光区域相同的受光区域。然后，根据由第1~第3中间像素值模式

的估计获得的第2、第3、第5中间像素值（b₂₀）来最终决定该同一受光区域的中间像素值（b₂₀）。

这样，可进行像素值的高精度估计。即，可根据经由3次（多次）估计而求出的3个（多个）估计值来决定最终的像素值。例如，可通过如上所述地采用利用已知图像的决定方法，来进行与更实际的图像的像素值模式相应的像素值估计。

6.第4估计方法

在上述估计方法中，采用最小二乘法来估计像素值，但在本实施方式中，可采用神经网络（非线性的估计方法）来估计像素值。采用图19说明该第4估计方法。以下，说明中间像素值（b₀₀等）的估计，但估计像素值（v₀₀等）也同样能够估计。

在该估计方法中，使已知的高分辨率图像的像素值相加，来求出受光值{a_m0、a_{（m+1） 0}}和与该受光值对应的中间像素值

（m是零以上（包含该值）的整数）。将这些作为学习数据，通过图19所示的神经网络的学习计算来预先计算权重系数W。具体地说，预先计算权重系数W，使下式（18）所示的误差评价值E为零（包含近似为零。广义上为规定值）。该神经网络的学习方法只要采用一般的神经网络学习法即可。

然后，在根据摄影图像进行估计时，采用预先计算的权重系数W进行估计。即，通过上式（2）等所说明的方法来表示中间像素值的关系式，使未知数b_m0变化，求出下式（18）所示的误差评价值E为最小的b_m0（=α）。

[数5]

$\left(\begin{array}{c}{f}_1\\ f_2\\ f_3\end{array}\right)=\left(\begin{array}{c}{W}_{11}{W}_{12}{W}_{13}{W}_{14}{W}_{15}\\ W_{21}{W}_{22}{W}_{23}{W}_{24}{W}_{25}\\ W_{31}{W}_{32}{W}_{33}{W}_{34}{W}_{35}\end{array}\right)\left(\begin{array}{c}{b}_{m0}\\ b_{(m+1)0}\\ b_{(m+2)0}\\ a_{m0}\\ a_{(m+1)0}\end{array}\right),$

E＝W₄₁f₁+W₄₂f₂+W₄₃f₃                    …(18)

根据上述实施方式，根据已知的高分辨率图像，将像素的受光值与中间像素值模式的相似性作为预定的先见信息来取得中间像素值模式相对于像素的受光值{a_m0、a_（m+1）0}的对应关系。然后，根据所取得的先见信息，来评价根据中间像素值间的关系式表示的中间像素值模式

与所取得的像素的受光值{a_m0、a_（m+1）0}的相似性。

这样，根据基于已知高分辨率图像取得的先见信息来评价相似性，所以可进行反映了自然图像等已知图像所包含的图像信息（例如空间频率特性）的像素值估计。

例如，根据上述第4估计方法，图像处理装置具有神经网络。该神经网络采用通过基于已知高分辨率图像的学习而获得的节点的权重系数W来作为先见信息。然后，神经网络接受中间像素值模式

与像素的受光值{a_m0、a_{（m+1） 0}}，来输出相似性的评价结果E。根据来自该神经网络的相似性的评价结果E，决定中间像素值模式

的各中间像素值的值。

这样，通过采用经由学习获得的节点的权重系数W的神经网络，可根据先见信息来评价中间像素值模式与像素的受光值的相似性。

另外，根据上述第3估计方法，将相对于受光值模式发生概率高的中间像素值模式作为先见信息求出（第3决定方法）。另外，可将b₂₀相对于变化程度的组合模式ξ={δi₀、δi₁、δi₂}的发生概率分布作为先见信息求出（第4决定方法）。

这样，可将像素值的发生概率分布作为先见信息来估计像素值。由此，可将在自然图像等已知图像中发生概率高的像素值作为估计值。

7.适应噪声降低处理

在本实施方式中，可对所估计的像素值v_ij进行与像素位置相应的噪声滤波处理（广义上为滤波处理）。图20示出噪声滤波器的结构例。

例如，在利用像素移动的重叠移动采样来进行像素估计时，噪声的输出方根据最终估计像素v_ij~v_{（i+1)（j+1）}的位置而不同。因此，如图20所示对固定灰度的β图像（固定灰度图）进行摄像，并对该摄像图像进行估计处理，利用噪声比较部NH来比较所估计的不同位置的最终估计像素v_ij~v_{（i+1)（j+1）}。然后，根据所比较的结果，由滤波器系数设定部FK来设定滤波器系数，以使生成噪声大的像素位置的噪声滤波器F1~F4的噪声降低效果增强。结果，设定滤波器系数，使噪声的输出方不依赖于v_ij~v_{（i+1)（j+1）}的位置而相同（大致相同）。可通过这样进行设定了滤波器系数的滤波处理，来提高预测像素图像的图像品质。

根据上述噪声滤波处理，对由估计获得的估计像素值v_ij~v_{（i+1)（j+1）}进行根据估计像素的像素位置而不同的滤波器系数的滤波处理。

这样，即使在产生根据估计像素的像素位置而不同的噪声时，也能够通过进行与估计像素的像素位置相应的噪声滤波处理来降低该噪声。

8.第1插值方法

在本实施方式中，可直接使用经由重叠采样而取得的受光值作为用于像素值估计的受光值（a₀₀等），可使用利用插值来生成的受光值。采用图21、图22来说明本实施方式中的受光值的插值方法。图21示出第1插值方法的说明图。

此外，所谓在以下说明中使用的帧就是通过例如摄像元件来拍摄1个低分辨率图像的时机或在图像处理中处理1个低分辨率图像的时机。或者，将图像数据中的1个低分辨率图像或高分辨率图像也适当称为帧。

在该第1插值方法中，采用经由其它帧取得的受光值来对插值对象的帧的受光值进行插值（时间轴插值）。

具体地说，如图21的A₁所示，在帧fx~fx+3中，依次取得受光值a_ij、a_（i+1）j、a_{（i+1)（j+1)}、a_i（j+1)。在帧fx+4中再次取得受光值a_ij。即如A₂所示，按照每4帧利用帧fx、fx+4、fx+8、…来取得由受光值a_ij构成的低分辨率图像。如A3所示，对该受光值a_ij的时序数据进行时间轴插值滤波处理（滤波处理）。然后，如A4所示，利用该时间轴插值滤波处理来在全部帧（各个帧）中生成受光值a’_ij。

这样，按照每4帧来取得各个受光值，进行时间轴插值滤波处理，在全部帧中生成受光值a’_ij、a’_（i+1)j、a’_{（i+1）（j+1）}、a’_i（j+1）。

图22输出插值处理的时序图例。如图22的B1所示，在各个帧中，像素的设定位置每次偏移1/2像素。如B2所示，利用各个帧来拍摄融合帧F1、F2、…（低分辨率图像。fusion-frame）。如B3所示，生成低分辨率动态图像帧，并进行实时取景显示或录像。如B4所示，进行受光值的时间轴插值，采用插值后的受光值来进行像素值估计，并生成高分辨率静态图像帧。如B5所示，从对全部受光值进行了插值的第9帧起输出高分辨率静态图像或高分辨率动态图像。

另外，由于通过像素移动来依次取得低分辨率图像，所以为了取得所有用于像素值估计的受光值而需要4帧。因此，当将所拍摄的受光值直接用于像素值估计时，将不同帧的受光值用于估计，在被摄体运动的情况下有可能导致画质劣化。

关于这点，根据上述实施方式，利用各个帧fx、fx+1、…进行像素移动，通过像素移动在多个位置（例如4个位置。上述图21所示的P1~P4）上依次设定像素。然后，按照多个帧（每4帧）在相同位置上设定像素。这样，按时序取得与各个位置对应的受光值a_ij~a_{（i+1)（j+1）}，利用所取得的受光值按时序取得低分辨率图像（连续低分辨率图像）。

对所取得的连续低分辨率图像进行插补多个位置P1~P4的像素受光值a’_ij~a’_{（i+1) (j+1）}的处理。具体地说，对插值对象的帧（例如fx+1）在连续低分辨率图像中的欠缺位置（例如P1）的像素的受光值（a’_ij）被进行时间轴插值。即，采用与欠缺位置相同位置（P1）的插值对象的帧（fx+1）的前后帧（fx、fx+4）在连续低分辨率图像中的像素的受光值（a_ij）来对受光值（a’_ij）进行时间轴插值。

然后，根据经由时间轴插值所插值的连续低分辨率图像，来估计各帧fx、fx+1、…中的像素的各个像素的像素值v_ij。

这样，可利用像素移动来取得受光值，并采用所取得的受光值来对欠缺位置的受光值进行插值，并根据插值后的受光值求出最终估计像素值。由此，因为可对各个帧插补全部位置的受光值，所以根据在相同帧中的受光值进行像素值估计，这样即使在被摄体运动的情况下也能够抑制画质劣化。

例如，在上述实施方式中，通过时间轴插值滤波器来进行时间轴插值。

由此，可分别对各个位置（例如P1）的受光值（fx、fx+4的a_ij）进行时间轴插值，并生成欠缺位置（fx+1~fx+3的P1）的受光值（a’_ij）。

9.第2插值方法

在本实施方式中，可进行与被摄体的运动相应的适应性的受光值插值。采用图23、图24来说明进行适应性的受光值插值的第2插值方法。

在第2插值方法中，关于没有运动或运动小的部分（受光值），适用附近前后帧的受光值，关于具有运动或运动大的部分，在同一帧内根据接近受光值来对重叠移动的受光值进行插值估计。但是，当进行移动拍摄（panning）等时判定为在全部像素中具有运动，所以可事先进行运动补偿处理。

以下，以从图23所示的低分辨率图像帧fx~fx+4中着眼于帧fx+1生成该帧的高分辨率静态图像的情况为例进行说明。在图24中为了简化说明而示出在帧fx+1中作为摄像数据取得的受光值的一部分。在图24中利用a₁₀（x+1）、a_(-1）0（x+1）、a_{(-1） 2}（x+1）、a₁₂（x+1）来示出所取得的受光值。

如图24所示，为了求出例如构成a₁₀（x+1）的4个高分辨率像素，而需要以该a₁₀（x+1）为基准通过插值来求出仅移动像素间距p/2的3个受光值a₀₀（x+1）、a₀₁（x+1）、a₁₁（x+1）。以下，说明求出这3个受光值的方法。

首先，如图23的D1所示，比较在a₀₀（x+1）的对应位置取得的前后邻近帧fx、fx+4的a₀₀（x）和a₀₀（x+4）。然后，当其差小于规定阈值δ时，判断为在帧fx、fx+4之间被摄体（具有运动的一部分被摄体）没有通过与a₀₀（x+1）对应的像素位置。在此情况下，如D2所示，分配a₀₀（x）或a₀₀（x+4）来作为a₀₀（x+1）的值。

另一方面，当a₀₀（x）与a₀₀（x+4）之差大于规定阈值δ时，判断为在帧fx、fx+4之间被摄体通过与a₀₀（x+1）对应的像素位置。在此情况下，如D3所示，采用在同一帧内与a₀₀（x+1）接近的受光值a₁₀（x+1）和a_(-1）0（x+1）来求出插补值，作为a₀₀（x+1）的值。例如，将a₁₀（x+1）与a_(-1）0（x+1）的平均值设为a₀₀（x+1）的值。但是，在本实施方式中可采用更多的周边的受光值进行插值，而不是接近的两个受光值的平均。

当归纳上述a₀₀（x+1）的插值方法时，利用下式（19）进行表示。

在|a₀₀（x）-a₀₀（x+4）|≤δ时，

a₀₀（x+1）=a₀₀（x）=a₀₀（x+4）

在|a₀₀（x）-a₀₀（x+4）|>δ时，

a₀₀（x+1）={a₁₀（x+1）+a_(-1）0（x+1）}/2

…（19）

同样如D4、D5所示，a₁₁（x+1）利用下式（20）来插值。

在|a₁₁（x-2）-a₁₁（x+2）|≤δ时，

a₁₁（x+1）=a₁₁（x-2）=a₁₁（x+2）

在|a₁₁（x-2）-a₁₁（x+2）|>δ时，

a₁₁（x+1）={a₁₀（x+1）+a₁₂（x+1）}/2

…（20）

如D6、D7所示，a₀₁（x+1）利用下式（21）来插值。

在|a₀₁（x-1）-a₀₁（x+3）|≤δ时，

a₀₁（x+1）=a₀₁（x-1）=a₀₁（x+3）

在|a₀₁（x-1）-a₀₁（x+3）|>δ时，

a₀₁（x+1）={a₁₀（x+1）+a_（-1)2（x+1）}/2

…（21）

此外，阈值δ可评价所生成的图像品质，只要设定容许级别的阈值δ即可。例如，与是否是静态图像无关，只要设定成不会由于噪声而判定为具有运动的级别即可。

根据上述第2插值方法，求出插值对象的帧（例如fx+1）的前后帧（例如fx、fx+4）中的像素的受光值的差分值（a₀₀（x）-a₀₀（x+4））。然后，在差分值小于规定阈值δ的情况下，采用前后帧（fx、fx+4）中的与欠缺位置相同位置的像素的受光值（a₀₀（x）、a₀₀（x+4））来对插值对象帧（fx+1）中的欠缺位置（定位）的像素的受光值（a₀₀（x+1））进行插值。另一方面，当差分值大于规定阈值δ时，采用在插值对象的帧（fx+1）中取得的受光值（a₁₀（x+1）、a_(-1）0（x+1））来对插值对象帧（fx+1）中的欠缺位置的像素的受光值（a₀₀（x+1））进行插值。

这样，可根据被摄体的运动来自适应地对受光值进行插值。具体地说，在运动小的像素中采用在同一位置取得的受光值，所以能够降低位置的误差。另一方面，在运动大的像素中采用在同一帧内取得的受光值，所以能够降低时间性的误差。例如，根据受光值a₀₀（x）、a₀₀（x+4）无法知晓在帧fx与fx+4之间被摄体何时通过。因此，当由a₀₀（x）、a₀₀（x+4）进行插值时，即使是比被摄体的通过时机提前的时机也会有被摄体运动的影响。在本实施方式中，当判断为被摄体通过时，利用同一帧的受光值进行插值，所以能够正确地反映被摄体的通过时机。

另外，根据第2插值方法，可抑制运动的误检测导致的画质劣化。例如，当在4帧摄像的期间内具有超过规定阈值δ的单纯亮度的变化时，有可能将单纯亮度的变化误检测为被摄体的运动。关于这点，根据第2插值方法，即使在误检测的情况下，也仅切换为帧内插值，所以能够显著地抑制画质劣化。

此外，在上述第1、第2插值方法中，可进行基于运动补偿的受光值的插值。例如图25所示，可采用以高帧速率（1/60秒）拍摄的连续的4个融合帧，对各个融合帧进行运动补偿来生成1个静态图像（相当于以低帧速率1/15秒进行拍摄的高精细图像）。

10.摄像装置、图像处理装置

图26、图27生成进行上述估计处理或时间轴插值处理的摄像装置与图像处理装置的详细结构例。

图26示出在像素移动之前进行变焦选择的摄像装置和图像处理装置的第1详细结构例。该摄像装置10包含低通光学LPF100（LPF：低通滤波器）、普通采样部110、广通光学LPF120、变焦区域选择部130、重叠移动采样部140（读出控制部）。图像处理装置20包含抗混叠滤波器200、帧缓存器210（存储部）、时间轴像素插值部220（插值处理部）、像素值估计运算部230（估计处理部）、抗混叠滤波器240。

此外，本实施方式的摄像装置以及图像处理装置不限于此结构，可进行省略其构成要素的一部分或者追加其它构成要素等各种变形实施。另外，在图26中图示了在摄像装置10的外部设置图像处理装置20的例子，但在本实施方式中，可在摄像装置10的内部设置图像处理装置20。

摄像装置10例如是数字照相机或摄像机。另外，例如可通过图像处理引擎（IC）或PC（计算机）来实现图像处理装置20。该摄像装置10和图像处理装置20在进行广角拍摄（普通拍摄、非变焦拍摄）的第1模式与进行数字变焦拍摄的第2模式下进行动作。例如通过摄像装置10与图像处理装置20的未图示的控制部来设定这些模式。此外，以下以采用12Mpix（Mpix：兆像素）的摄像元件的情况为例进行说明。

当将摄像装置10设定为第1模式时，设定低通光学LPF100。该低通光学LPF100是具有与摄像元件的分辨率12Mpix对应的通过频带的低通滤波器。然后，普通采样部110利用普通的广角拍摄来拍摄12Mpix的图像，而不是进行像素移动摄像。例如，拍摄速率是15fps。

图像处理装置20的抗混叠滤波器200对该图像进行抗混叠处理，并输出12Mpix的静态图像或动态图像。

另一方面，当将摄像装置10设定为第2模式时，设定广通光学LPF120。该广通光学LPF120是具有与像素移动产生的高分辨率图像对应的通过频带的低通滤波器。例如，在像素移动1/2像素间距的情况下，具有能够以4×12=48Mpix的分辨率进行摄像的通过频带。然后，变焦区域选择部130设定读出区域。例如，在2倍数字变焦的情况下，设定12/4=3Mpix的读出区域。重叠移动采样部140进行像素移动控制，并且从读出区域中读出受光值。例如，拍摄速率是15×4=60fps。

图像处理装置20的帧缓存器210对插值处理所需的8帧的摄像图像进行缓存。时间轴像素插值部220根据该8帧的图像对受光值进行插值处理。然后，像素值估计运算部230根据插值处理后的受光值来求出估计像素值，并输出3×4=12Mpix的图像。抗混叠滤波器240对该图像进行抗混叠处理，并输出12Mpics的高精细的2倍数字变焦图像。

图27示出在像素移动之后进行变焦选择的摄像装置与图像处理装置的第2详细结构例。该摄像装置10包含广通光学LPF120、重叠移动采样部140。图像处理装置20包含帧缓存器210、时间轴像素插值部220、像素值估计运算部230、抗混叠滤波器240、变焦区域选择部250。

该摄像装置10与图像处理装置20在估计处理的高精细化之后进行数字变焦。具体地说，广通光学LPF120具有能够以4×12=48Mpix的分辨率进行摄像的通过频带。重叠移动采样部140一边进行像素移动控制，一边以摄像元件的像素数12Mpix进行拍摄。例如，拍摄速率是60fps。

然后，帧缓存器210对8帧的图像进行缓存，时间轴像素插值部220对受光值进行插值处理，像素值估计运算部230求出估计像素值，并输出4×12=48Mpix的图像。变焦区域选择部250根据变焦倍率来设定变焦区域，并修整该区域的图像。例如，在没有变焦的情况下，直接输出48Mpix的图像，在2倍数字变焦的情况下，修整48/4=12Mpix的图像。抗混叠滤波器240在没有变焦的情况下，利用下采样来输出12Mpix的图像，在2倍数字变焦的情况下，输出12Mpics的高精细的2倍数字变焦图像。

11.彩色图像的估计方法

在上述实施方式中虽然说明了黑白图像的像素值估计，但本实施方式还可以应用于彩色图像的像素值估计。以下，说明彩色图像的像素值估计方法。

图28是彩色图像的第1估计方法的说明图。在此方法中，未进行去马赛克处理，而是根据彩色马赛克图像直接估计高分辨率彩色图像。具体地说，如E1所示，由摄像元件取得RGB拜尔排列的受光值。如E2所示，以1/2像素间距在水平方向与垂直方向上进行3步的像素移动。如E3所示，根据重叠移动采样后的图像来估计高分辨率的估计像素值。然后，如E4所示，通过该像素值估计来生成各个色1/2像素间距的高分辨率图像。

图29是彩色图像的第2估计方法的说明图。在此方法中进行去马赛克处理，根据该去马赛克处理后的图像来估计高分辨率彩色图像。具体地说，如H1所示，对RGB拜尔排列的马赛克图像进行去马赛克处理。如H2所示，以1/2像素间距在水平方向与垂直方向上进行1步的像素移动。如H3所示，根据重叠移动采样后的图像来估计高分辨率的估计像素值。然后，如H4所示，利用该像素值估计来生成各个色1/2像素间距的高分辨率图像。

根据上述第1估计方法，在水平方向与垂直方向上进行各3步的像素移动，通过该像素移动将16帧的各颜色分量的马赛克图像作为低分辨率图像来取得。然后，根据该16帧的各颜色分量的马赛克图像按照颜色分量来估计与高分辨率图像的全部像素对应的估计像素值。

另外，根据上述第2估计方法，在水平方向与垂直方向上进行各1步的像素移动，通过该像素移动将4帧的各颜色分量的马赛克图像作为低分辨率图像来取得。然后，对该4帧的各颜色分量的马赛克图像进行去马赛克处理，并根据去马赛克处理后的图像来估计该估计像素值。

这样，在彩色摄像中，也能够以高帧速率来拍摄低分辨率图像，并根据该低分辨率图像进行像素值估计，来取得任意时机的彩色的高分辨率图像。

12.第5估计方法

在图3（A）~图20的上述第1～第4估计方法中，在水平方向与垂直方向上进行像素移动来估计像素值，但在本实施方式中，可沿着倾斜方向进行像素移动来估计像素值。采用图30（A）~图34来说明该第5估计方法。

如图30（A）所示，沿着倾斜方向以p/2间距移动像素并且取得受光值ak（k是0以上（包含该值）的整数）。这里，倾斜方向是与像素排列的水平方向以及垂直方向交叉的方向，例如是沿着矩形像素的对角线的方向。

这样在沿着倾斜方向进行像素移动时，求出倾斜方向的中间像素值b_k（3像素相加值）的关系式。如图30（B）所示，按照移动顺序将受光值设为a₀、a₁、a₂，估计像素的3个像素相加，以这种方式定义中间像素值b₀~b₂、b₁’、b₂’的受光区域。此时，如图31所示，下式（22）成立。

b₀=（未知数），

b₁’=b₀+δ₀=b₀+（a₁-a₀），

b₂’=b₁+δ₁=b₁+（a₂-a₁）…（22）

因为b₁与b₁’的受光区域的重叠部分多，所以当假定为b₁≒b₁’时，下式（23）成立。

b₀=（未知数），

b₁=b₀+δ₀=b₀+（a₁-a₀），

b₂=b₁+δ₁=b₁+（a₂-a₁）…（23）

这样，可将b₀作为未知数，将中间像素值b₁、b₂作为b₀的函数求出。这里，δ₀、δ₁是1次移动相差的采样像素值的差分值。

接着，求出倾斜方向上的未知数b₀，求出中间像素值。如图32所示，比较通过重叠移动采样来检测的采样像素值的模式{a_k}与中间像素值{b_k}的模式。然后，如图33所示，保持该误差E为最小的状态来导出并设定未知数b₀。

具体地说，利用下式（24）来求出误差Ek。然后，求出使该Ek为最小这样的未知数b₀（=γ），将b₀设定为该值。

[数6]

$e_k={(\frac{a_k}{2}-b_k)}^2+{(\frac{a_k}{2}-b_{(k+1)})}^2,$

$\mathrm{Ek}=\underset{i=0}{\overset{1}{\mathrm{\&Sigma;}}}{e}_k...\left(24\right)$

当可估计b₀的值时，通过向上式（23）代入b₀来自然而然地决定b₁、b₂。当针对其它像素也求出该值时，可导出全部中间像素值{b_k}。

如图34所示，最终的估计像素值v_k是沿着倾斜方向进行像素移动后的像素的重叠区域的像素值。关于该估计像素值下式（25）成立，通过代入上述受光值a_k与中间像素值b_k来求出估计像素值v_k。

v0=a₀-b₀，

v1=a₁-b₁…（25）

根据上述实施方式，一边沿着倾斜方向重叠像素一边进行像素移动来取得低分辨率图像（由受光值a_k构成的图像）。然后，沿着该倾斜方向进行像素移动后的像素的重叠区域的受光值v_k可估计为估计像素值。

这样，可使机械的像素移动仅为1个方向，与在水平方向与垂直方向上进行像素移动的情况相比能够容易地进行像素移动。

此外，虽然如上述这样对本实施方式进行了详细说明，但本领域技术人员能够容易理解，可进行实质上不脱离本发明的新事项以及效果的多种变形。因此，在本发明的全部范围内包含这样的变形例。例如，在说明书或附图中，至少一次与更广义或同义的不同术语（受光值，像素移动等）一起记载的术语（像素值、重叠移动采样等）在说明书或附图的任何位置都可以置换为该不同术语。另外，插值处理部、估计处理部、摄像装置、图像处理装置等的结构、动作也不限于本实施方式所说明的内容，可进行各种变形实施。

标号说明

10摄像装置，20图像处理装置，100低通光学LPF，

110普通采样部，120广通光学LPF，

130变焦区域选择部，140重叠移动采样部，

200抗混叠滤波器，210帧缓存器，

220时间轴像素插值部，230像素值估计运算部，

240抗混叠滤波器，250变焦区域选择部，

410镜头，420摄像元件，

B_k00估计处理块，Ej评价函数，F1~F4噪声滤波器，

FK滤波器系数设定部，NH噪声比较部，P1~P4位置，

W神经网络的系数，a_ij受光值，b₀未知数，

b_ij中间像素值，fx帧，p像素间距，p/2移动量，

v₀₀未知数，v_ij估计像素值，δi_i差分值，

中间像素值模式

权利要求书(按照条约第19条的修改)

1.一种图像处理装置，其特征在于，包含：

存储部，其在如下情况下存储所取得的低分辨率图像，该情况为一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为上述低分辨率图像；

估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及

图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素并使上述第1位置的像素与上述第2位置的像素重叠时，

上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述估计运算部采用上述差分值来表示第1中间像素值与第2中间像素值的关系式，上述第1中间像素值是从上述第1位置的像素中去除重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的像素中去除上述重叠区域后的第2受光区域的受光值，

采用上述关系式来估计上述第1中间像素值、第2中间像素值，采用所估计的上述第1中间像素值来求出上述估计像素值。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述估计运算部在将包括上述第1中间像素值、第2中间像素值在内的连续的中间像素值作为中间像素值模式时，采用上述像素的受光值来表示上述中间像素值模式的中间像素值间的关系式，

比较利用中间像素值间的关系式表示的上述中间像素值模式与上述像素的受光值，来评价相似性，

根据上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值，使上述相似性最高。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述估计运算部求出表示上述中间像素值模式与上述像素的受光值之间的误差的评价函数，决定上述中间像素值模式所包含的各个中间像素值，使上述评价函数的值最小，其中上述中间像素值模式由中间像素值间的关系式表示。

5.根据权利要求3所述的图像处理装置，其特征在于，

根据已知的高分辨率图像，取得上述中间像素值模式与上述像素的受光值的对应关系，作为先见信息，该先见信息预先规定上述像素的受光值与上述中间像素值模式的相似性，

上述估计运算部根据上述先见信息，来评价由中间像素值间的关系式表示的上述中间像素值模式与所取得的上述像素的受光值之间的相似性。

6.根据权利要求5所述的图像处理装置，其特征在于，

上述估计运算部具有神经网络，该神经网络采用通过学习而作为上述先见信息获得的系数，作为节点的权重系数，其中上述学习基于上述已知的高分辨率图像，

上述神经网络接收中间像素值模式与上述像素的受光值，输出上述相似性的评价结果，

上述估计运算部根据来自上述神经网络的上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值。

7.（修改后）根据权利要求1所述的图像处理装置，其特征在于，

上述图像处理装置包含插值处理部，在各个帧中进行上述像素移动，通过上述像素移动在多个位置上依次设定上述像素，按照多个帧在相同位置上设定上述像素，当上述低分辨率图像是在时序上与各个位置对应而取得的连续低分辨率图像时，该插值处理部进行对各个上述帧中的上述多个位置的像素的受光值进行插值的处理，

上述插值处理部采用插值对象帧前后的帧的上述连续低分辨率图像中的与上述欠缺位置相同的位置的像素的受光值，来对上述插值对象帧的上述连续低分辨率图像中的欠缺位置的像素的受光值进行插值，

上述估计运算部根据由上述插值处理部插值后的上述连续低分辨率图像，来估计各个上述帧中的上述估计像素值。

8.根据权利要求7所述的图像处理装置，其特征在于，

上述插值处理部通过时间轴插值滤波器来进行上述插值。

9.根据权利要求7所述的图像处理装置，其特征在于，

上述插值处理部在上述前后的帧中的像素的受光值的差分值小于规定的阈值时，采用上述前后的帧中与上述欠缺位置相同的位置的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值，

在上述前后的帧中像素的受光值的差分值大于规定阈值时，采用在上述插值对象帧中取得的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值。

10.根据权利要求1所述的图像处理装置，其特征在于，

第1像素与第2像素是邻接的像素，当上述第1位置、第2位置的上述第1像素在第1重叠区域内重叠、上述第1位置、第2位置的上述第2像素在第2重叠区域内重叠时，

上述估计运算部估计第1中间像素值和第2中间像素值，上述第1中间像素值是从上述第1位置的上述第1像素中去除上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第1像素中去除上述第1重叠区域后的第2受光区域的受光值，

将第3中间像素值作为未知数，上述第3中间像素值是从上述第1位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，

以采用上述未知数的关系式来表示第4中间像素值，该第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，

根据作为上述第2受光区域的中间像素值求出的上述第2中间像素值，来设定上述未知数的搜索范围，其中上述第2受光区域与上述第3受光区域是同一区域，

在所设定的上述搜索范围中，通过搜索求出上述未知数来估计上述第3中间像素值。

11.根据权利要求1所述的图像处理装置，其特征在于，

第1像素与第2像素是邻接的像素，当上述第1位置、第2位置的上述第1像素在第1重叠区域内重叠、上述第1位置、第2位置的上述第2像素在第2重叠区域内重叠时，

上述估计运算部估计第1中间像素值模式、第2中间像素值模式、第3中间像素值模式，

上述第1中间像素值模式是包括第1中间像素值和第2中间像素值在内的连续的中间像素值，上述第1中间像素值是从上述第1位置的上述第1像素中去除上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第1像素中去除上述第1重叠区域后的第2受光区域的受光值，

上述第2中间像素值模式是包括第3中间像素值和第4中间像素值在内的连续的中间像素值，上述第3中间像素值是从上述第1位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，上述第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，

上述第3中间像素值模式是包括第5中间像素值、且不包括上述第1中间像素值、第4中间像素值的连续的中间像素值，上述第5中间像素值是上述第2位置的上述第1像素与上述第1位置的上述第2像素的重叠区域即第5受光区域的受光值，

在上述第3受光区域、第5受光区域与上述第2受光区域是同一受光区域时，根据通过上述第1中间像素值模式~第3中间像素值模式的估计而获得的上述第2中间像素值、第3中间像素值、第5中间像素值来最终决定上述同一受光区域的中间像素值。

12.根据权利要求1所述的图像处理装置，其特征在于，

上述估计运算部对上述估计像素值根据上述估计像素值的像素位置进行不同滤波器系数的滤波处理。

13.根据权利要求1所述的图像处理装置，其特征在于，

在一边沿着倾斜方向重叠上述像素一边进行上述像素移动并取得上述低分辨率图像时，

上述估计运算部将沿着上述倾斜方向进行上述像素移动后的上述像素的重叠区域的受光值估计为上述估计像素值。

14.（修改后）根据权利要求1~12中任意一项所述的图像处理装置，其特征在于，

上述摄像元件是彩色摄像元件，当在水平方向与垂直方向上进行各3步的上述像素移动并取得16帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，

上述估计运算部根据上述16帧的各颜色分量的马赛克图像，按照每个颜色分量来估计与上述高分辨率图像的全部像素对应的上述估计像素值。

15.（修改后）根据权利要求1~12中任意一项所述的图像处理装置，其特征在于，

上述摄像元件是彩色摄像元件，当在水平方向与垂直方向上进行各1步的上述像素移动并取得4帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，

上述估计运算部对上述4帧的各颜色分量的马赛克图像进行去马赛克处理，并根据上述去马赛克处理后的图像来估计上述估计像素值。

16.一种摄像装置，其特征在于，包含：

摄像元件；

成像光学系统，其对上述摄像元件形成被摄体像；

像素移动控制部，其控制为一边重叠像素一边依次进行像素移动来对上述被摄体像进行采样；

存储部，其在一边进行上述像素移动一边利用上述摄像元件进行各摄像动作时，将通过各个上述摄像动作取得的上述像素的受光值作为低分辨率图像进行存储；

估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及

图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，

上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

17.一种程序，其特征在于，

使计算机作为以下的部件发挥功能：

存储部，其在一边重叠像素一边依次进行像素移动来采样被摄体像，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像；

估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及

图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，

上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

18.（修改后）一种图像处理方法，其特征在于，

在一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像，

根据所存储的上述多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值，

根据所估计的上述估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，并且

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，

在上述估计像素值的估计中求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

Claims (18)

1.一种图像处理装置，其特征在于，包含：

存储部，其在如下情况下存储所取得的低分辨率图像，该情况为一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为上述低分辨率图像；

估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及

图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素并使上述第1位置的像素与上述第2位置的像素重叠时，

上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述估计运算部采用上述差分值来表示第1中间像素值与第2中间像素值的关系式，上述第1中间像素值是从上述第1位置的像素中去除重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的像素中去除上述重叠区域后的第2受光区域的受光值，

采用上述关系式来估计上述第1中间像素值、第2中间像素值，采用所估计的上述第1中间像素值来求出上述估计像素值。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述估计运算部在将包括上述第1中间像素值、第2中间像素值在内的连续的中间像素值作为中间像素值模式时，采用上述像素的受光值来表示上述中间像素值模式的中间像素值间的关系式，

比较利用中间像素值间的关系式表示的上述中间像素值模式与上述像素的受光值，来评价相似性，

根据上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值，使上述相似性最高。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述估计运算部求出表示上述中间像素值模式与上述像素的受光值之间的误差的评价函数，决定上述中间像素值模式所包含的各个中间像素值，使上述评价函数的值最小，其中上述中间像素值模式由中间像素值间的关系式表示。

5.根据权利要求3所述的图像处理装置，其特征在于，

根据已知的高分辨率图像，取得上述中间像素值模式与上述像素的受光值的对应关系，作为先见信息，该先见信息预先规定上述像素的受光值与上述中间像素值模式的相似性，

上述估计运算部根据上述先见信息，来评价由中间像素值间的关系式表示的上述中间像素值模式与所取得的上述像素的受光值之间的相似性。

6.根据权利要求5所述的图像处理装置，其特征在于，

上述估计运算部具有神经网络，该神经网络采用通过学习而作为上述先见信息获得的系数，作为节点的权重系数，其中上述学习基于上述已知的高分辨率图像，

上述神经网络接收中间像素值模式与上述像素的受光值，输出上述相似性的评价结果，

上述估计运算部根据来自上述神经网络的上述相似性的评价结果，来决定上述中间像素值模式所包含的各中间像素值。

7.根据权利要求1所述的图像处理装置，其特征在于，

上述图像处理装置包含插值处理部，在各个帧中进行上述像素移动，通过上述像素移动在多个位置上依次设定上述像素，按照多个帧在相同位置上设定上述像素，当上述低分辨率图像是在时序上与各个位置对应而取得的连续低分辨率图像时，该插值处理部进行对各个上述帧中的上述多个位置的像素的受光值进行插值的处理，

上述插值处理部采用插值对象帧前后的帧的上述连续低分辨率图像中的与上述欠缺位置相同的位置的像素的受光值，来对上述插值对象帧的上述连续低分辨率图像中的欠缺位置的像素的受光值进行插值，

上述估计运算部根据由上述插值处理部插值后的上述连续低分辨率图像，来估计各个上述帧中的上述估计画值。

8.根据权利要求7所述的图像处理装置，其特征在于，

上述插值处理部通过时间轴插值滤波器来进行上述插值。

9.根据权利要求7所述的图像处理装置，其特征在于，

上述插值处理部在上述前后的帧中的像素的受光值的差分值小于规定的阈值时，采用上述前后的帧中与上述欠缺位置相同的位置的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值，

在上述前后的帧中像素的受光值的差分值大于规定阈值时，采用在上述插值对象帧中取得的像素的受光值来对上述插值对象帧中的上述欠缺位置的像素的受光值进行插值。

10.根据权利要求1所述的图像处理装置，其特征在于，

第1像素与第2像素是邻接的像素，当上述第1位置、第2位置的上述第1像素在第1重叠区域内重叠、上述第1位置、第2位置的上述第2像素在第2重叠区域内重叠时，

上述估计运算部估计第1中间像素值和第2中间像素值，上述第1中间像素值是从上述第1位置的上述第1像素中去除上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第1像素中去除上述第1重叠区域后的第2受光区域的受光值，

将第3中间像素值作为未知数，上述第3中间像素值是从上述第1位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，

以采用上述未知数的关系式来表示第4中间像素值，该第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，

根据作为上述第2受光区域的中间像素值求出的上述第2中间像素值，来设定上述未知数的搜索范围，其中上述第2受光区域与上述第3受光区域是同一区域，

在所设定的上述搜索范围中，通过搜索求出上述未知数来估计上述第3中间像素值。

11.根据权利要求1所述的图像处理装置，其特征在于，

第1像素与第2像素是邻接的像素，当上述第1位置、第2位置的上述第1像素在第1重叠区域内重叠、上述第1位置、第2位置的上述第2像素在第2重叠区域内重叠时，

上述估计运算部估计第1中间像素值模式、第2中间像素值模式、第3中间像素值模式，

上述第1中间像素值模式是包括第1中间像素值和第2中间像素值在内的连续的中间像素值，上述第1中间像素值是从上述第1位置的上述第1像素中去除上述第1重叠区域后的第1受光区域的受光值，上述第2中间像素值是从上述第2位置的上述第1像素中去除上述第1重叠区域后的第2受光区域的受光值，

上述第2中间像素值模式是包括第3中间像素值和第4中间像素值在内的连续的中间像素值，上述第3中间像素值是从上述第1位置的上述第2像素中去除上述第2重叠区域后的第3受光区域的受光值，上述第4中间像素值是从上述第2位置的上述第2像素中去除上述第2重叠区域后的第4受光区域的受光值，

上述第3中间像素值模式是包括第5中间像素值、且不包括上述第1中间像素值、第4中间像素值的连续的中间像素值，上述第5中间像素值是上述第2位置的上述第1像素与上述第1位置的上述第2像素的重叠区域即第5受光区域的受光值，

在上述第3受光区域、第5受光区域与上述第2受光区域是同一受光区域时，根据通过上述第1中间像素值模式~第3中间像素值模式的估计而获得的上述第2中间像素值、第3中间像素值、第5中间像素值来最终决定上述同一受光区域的中间像素值。

12.根据权利要求1所述的图像处理装置，其特征在于，

上述估计运算部对上述估计像素值根据上述估计像素值的像素位置进行不同滤波器系数的滤波处理。

13.根据权利要求1所述的图像处理装置，其特征在于，

在一边沿着倾斜方向重叠上述像素一边进行上述像素移动并取得上述低分辨率图像时，

上述估计运算部将沿着上述倾斜方向进行上述像素移动后的上述像素的重叠区域的受光值估计为上述估计像素值。

14.根据权利要求1~13中任意一项所述的图像处理装置，其特征在于，

上述摄像元件是彩色摄像元件，当在水平方向与垂直方向上进行各3步的上述像素移动并取得16帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，

上述估计运算部根据上述16帧的各颜色分量的马赛克图像，按照每个颜色分量来估计与上述高分辨率图像的全部像素对应的上述估计像素值。

15.根据权利要求1~13中任意一项所述的图像处理装置，其特征在于，

上述摄像元件是彩色摄像元件，当在水平方向与垂直方向上进行各1步的上述像素移动并取得4帧的各个颜色分量的马赛克图像作为上述低分辨率图像时，

上述估计运算部对上述4帧的各颜色分量的马赛克图像进行去马赛克处理，并根据上述去马赛克处理后的图像来估计上述估计像素值。

16.一种摄像装置，其特征在于，包含：

摄像元件；

成像光学系统，其对上述摄像元件形成被摄体像；

像素移动控制部，其控制为一边重叠像素一边依次进行像素移动来对上述被摄体像进行采样；

存储部，其在一边进行上述像素移动一边利用上述摄像元件进行各摄像动作时，将通过各个上述摄像动作取得的上述像素的受光值作为低分辨率图像进行存储；

估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及

图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，

上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

17.一种程序，其特征在于，

使计算机作为以下的部件发挥功能：

存储部，其在一边重叠像素一边依次进行像素移动来采样被摄体像，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像；

估计运算部，其根据上述存储部所存储的多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值；以及

图像输出部，其根据上述估计运算部所估计的估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，

上述估计运算部求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

18.一种图像处理方法，其特征在于，

在一边重叠像素一边依次进行像素移动来对被摄体像进行采样，一边进行上述像素移动一边利用摄像元件进行各个摄像动作，取得通过各个上述摄像动作获得的上述像素的受光值作为低分辨率图像时，存储所取得的上述低分辨率图像，

根据所存储的上述多个低分辨率图像，来估计像素间距比上述低分辨率图像的像素间距小的估计像素值，

根据上述估计运算部所估计的上述估计像素值，来输出分辨率比上述低分辨率图像高的高分辨率图像，并且

在第1位置与上述第1位置之后的第2位置上依次设定被进行上述像素移动的像素，在上述第1位置的像素与上述第2位置的像素重叠时，

在上述估计像素值的估计中求出上述第1位置的像素的受光值与上述第2位置的像素的受光值之间的差分值，并根据上述差分值来估计上述估计像素值。

Images