CN119485044A - 图像处理设备、图像处理方法、摄像设备、存储介质及计算机程序产品 - Google Patents

Abstract

本发明提供一种图像处理设备、图像处理方法、摄像设备、存储介质及计算机程序产品。该图像处理设备获得多帧第一图像，其中所述第一图像的视点彼此不同。该设备通过组合多帧第一图像来生成比第一图像具有更高分辨率的一帧第二图像，并且从多帧第一图像中的一帧第一图像生成具有与第二图像相同的分辨率的第三图像。该设备检测多帧第一图像之间已经变化的变化区域，并且还从第二图像、以及第三图像中的与第二图像中的同变化区域相对应的区域相对应的区域，来生成第四图像作为基于多帧第一图像的高分辨率图像。

Description

图像处理设备、图像处理方法、摄像设备、存储介质及计算机 程序产品

技术领域

本发明涉及图像处理设备、图像处理方法和摄像设备，并且特别涉及使用图像合成来增加图像的分辨率(构成图像的像素数)的技术。

背景技术

已知一种技术，该技术允许包括位置可以改变的图像传感器的数字照相机通过组合具有比像素间距小的位置差的多帧静止图像来生成分辨率超过图像传感器中的像素数的静止图像(日本特开2012-226489)。

在组合了具有位置差的多帧静止图像的情况下，表现出帧之间的位置和亮度的变化的区域在合成图像中给出不自然的印象。这对可以获得期望的合成图像的被摄体和场景施加了显著的限制。

发明内容

在本发明的一个实施例中，本发明提供能够改善使用图像合成来增加图像的分辨率的技术的上述问题的图像处理设备。

根据本发明的一个方面，提供了一种图像处理设备，其包括：获得部件，用于获得多帧第一图像，其中所述第一图像的视点彼此不同；生成部件，用于通过组合所述多帧第一图像来生成比所述第一图像具有更高分辨率的一帧第二图像，并且从所述多帧第一图像中的一帧第一图像生成具有与所述第二图像相同的分辨率的第三图像；以及检测部件，用于检测所述多帧第一图像之间已经变化的变化区域，其中，所述生成部件还从所述第二图像、以及所述第三图像中的与所述第二图像中的同所述变化区域相对应的区域相对应的区域，生成第四图像作为基于所述多帧第一图像的高分辨率图像。

根据本发明的另一方面，提供了一种图像处理方法，其由图像处理设备执行，所述图像处理方法包括：获得多帧第一图像，其中所述第一图像的视点彼此不同；通过组合所述多帧第一图像来生成比所述第一图像具有更高分辨率的一帧第二图像；从所述多帧第一图像中的一帧第一图像生成具有与所述第二图像相同的分辨率的第三图像；检测所述多帧第一图像之间已经变化的变化区域；从所述第二图像、以及所述第三图像中的与所述第二图像中的同所述变化区域相对应的区域相对应的区域，生成第四图像作为基于所述多帧第一图像的高分辨率图像。

根据本发明的又一方面，提供了一种摄像设备，包括：图像传感器；以及根据本发明的图像处理设备。

通过以下(参考附图)对典型实施例的描述，本发明的进一步特征将变得明显。

附图说明

图1是示出作为根据实施例的图像处理设备的一个示例的数字照相机的典型功能配置的框图。

图2是根据实施例的与用于增加分辨率的处理相关的流程图。

图3是示出包括变化区域的多帧低分辨率图像的示例的示意图。

图4是示出通过组合多帧低分辨率图像所获得的高分辨率图像的示意图。

图5是从一帧低分辨率图像获得的高分辨率图像的示意图。

图6是示出变化区域图的示例的示意图。

图7是示出最终获得的高分辨率图像的示例的示意图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但不对需要所有这样的特征发明进行限制，并且可以适当地组合多个这样的特征。另外，在附图中，相同的附图标记被赋予相同或类似的结构，并且省略其冗余的说明。

注意，将与本发明在摄像设备(数字照相机)上实施的情况相关地描述以下实施例。然而，摄像功能在本发明中不是必需的。本发明可以在能够处置图像数据的任何电子装置上实施。这样的电子装置不仅包括摄像设备，还包括计算机装置(个人计算机、平板计算机、媒体播放器或者PDA等)、智能电话、游戏装置、机器人、无人机、以及行驶记录仪。这些是示例，并且本发明也可以在其他电子装置上实施。

(第一实施例)

图1是示出作为根据本发明的第一实施例的图像处理设备的一个示例的数字照相机100的基本功能配置的示例的框图。除了明显只能通过硬件来实现的组件(例如，光学系统103中所包括的透镜和图像传感器等)之外，数字照相机100的各功能块可以通过软件或者通过软件和硬件的组合来实现。例如，功能块可以通过诸如ASIC等的专用硬件来实现。此外，功能块可以通过诸如CPU等的处理器执行存储器中所存储的程序来实现。注意，多个功能块可以通过相同构成要素(例如，一个ASIC)来实现。另外，用于实现特定功能块的一部分功能的硬件可被包括在用于实现其他功能块的硬件中。

控制单元101包括可以执行程序的一个或多于一个处理器(CPU和MPU等)，将例如ROM 107中存储的程序读取到RAM 108中，并使用(一个或多于一个)处理器执行程序。控制单元101通过执行程序来控制数字照相机100的各功能块的操作并实现数字照相机100的功能。此外，控制单元101执行自动焦点检测(AF)、自动曝光控制(AE)、以及根据AF和AE的结果对光学系统103和摄像单元105的操作的控制。

ROM 107是可重写非易失性存储器，并存储控制单元101所执行的程序、数字照相机100的各种类型的设置值、以及用于菜单画面和在屏显示(OSD)的图像数据(GUI数据)等。

RAM 108用作控制单元101的主存储器、临时存储所拍摄的图像数据的缓冲器、以及图像处理单元109的工作存储器等。此外，RAM 108的一部分可以用作存储显示用图像数据的视频存储器。

光学系统103包括具有可动透镜的多个透镜、快门和光圈等。可动透镜包括用于调整光学系统的聚焦距离的调焦透镜和用于调整光学系统103的焦距(视角)的变焦透镜等。通过驱动单元102中所包括的马达和致动器来驱动光学系统103中所包括的可动构件。控制单元101控制驱动单元102的操作。控制单元101可经由通信单元104获得与光学系统103的状态相关的信息(例如，调焦透镜的位置和F值等)。

光学系统103在摄像单元105的摄像面上形成被摄体的光学像。摄像单元105可以是例如包括基于原色拜耳(Bayer)排列的滤色器的已知的CCD或CMOS彩色图像传感器。

摄像单元105包括二维排列多个像素的像素阵列和用于从各像素读出信号的外围电路。各像素通过光电转换的方式累积与入射光量相对应的电荷。从各信号读出具有与在曝光时段中所累积的电荷量相对应的电压的信号；作为结果，获得表示摄像面上所形成的被摄体像的像素信号组(模拟图像信号)。模拟图像信号被供给到图像处理单元109。控制单元101控制摄像单元105的操作。

摄像单元105还被配置为能够在与光学系统103的光轴垂直的平面上在水平方向和垂直方向以及绕光轴的顺时针方向和逆时针方向中的各方向上移动预定量。控制单元101可以通过控制驱动单元102中所包括的诸如马达等的驱动构件来控制摄像单元105的位置。控制摄像单元105的位置，以实现用于校正光学像模糊的功能和用于生成高分辨率图像的功能。

通信单元104例如是控制单元101和光学系统103之间的通信接口。

抖动检测单元106输出与数字照相机100的运动相对应的信号。抖动检测单元106可包括用于检测绕包括重力方向上的轴和光轴方向上的轴的三维笛卡尔坐标系的各个轴的角速度的陀螺仪和用于检测各个轴方向上的加速度的加速度传感器。

图像处理单元109对从摄像单元105输出的模拟图像信号或者已经从记录介质111读取到RAM 108中的图像数据施加图像处理，从而生成与期望的用途相配的信号和图像数据并获得和/或生成各种类型的信息。图像处理单元109可以是例如已被设计成实现特定功能的诸如专用集成电路(ASIC)等的专用硬件电路。图像处理单元109根据期望的用途将已获得或生成的信息和数据输出到控制单元101和RAM 108。

图像处理单元109所施加的图像处理可包括例如预处理、颜色插值处理、校正处理、检测处理、数据编辑处理、评价值计算处理、以及特殊效果处理等。

预处理可包括A/D转换、降噪、信号放大、基准电平调整、以及缺陷像素校正等。

颜色插值处理是在摄像单元105包括滤色器的情况下执行并对构成图像数据的各个像素数据中不包括的颜色分量的值进行插值的处理。颜色插值处理也被称为去马赛克处理。

校正处理可包括诸如白平衡调整、色调校正、由光学系统103的光学像差所引起的图像劣化的校正(图像恢复)、光学系统103的渐晕影响的校正、以及颜色校正等的处理。颜色插值处理和校正处理可被统称为显像处理。

检测处理可包括特征区域(面部区域或人体区域等)和该区域中的运动的检测、以及用于识别人的处理等。

数据编辑处理可包括诸如区域的切出(裁切)、合成、缩放、编码和解码、以及头部(header)信息的生成(数据文件的生成)等的处理。数据编辑处理也包括显示用图像数据和记录用图像数据的生成。数据编辑处理还包括稍后将描述的高分辨率图像的生成。

评价值计算处理可包括诸如自动焦点检测(AF)中所使用的信号和评价值的生成以及自动曝光控制(AE)中所使用的评价值的生成等的处理。

特殊效果处理可包括诸如模糊效果的添加、颜色阴影的改变、以及重新照明(relighting)等的处理。

注意，这些是图像处理单元109可以施加的处理的示例，并不旨在限制图像处理单元109所施加的处理。以上所列出的处理的一部分可以作为控制单元101执行程序的结果被执行。

在本实施例中，图像处理单元109通过组合彼此具有位置差(即视点或观察点不同)的多帧低分辨率图像来进行第一分辨率增加，由此生成高分辨率图像。多帧低分辨率图像包括基准帧和相对于基准帧的视点(观察点)在特定方向上具有特定量的位置差的帧。此外，图像处理单元109进行第二分辨率增加，由此将一帧低分辨率图像转换成高分辨率图像。可以使用任何已知的方法来进行第一分辨率增加和第二分辨率增加各自。

例如，日本特开2012-226489所描述的方法、或者通过在与位置差相对应的位置处插入像素来增加像素密度的方法等可用作第一分辨率增加。另一方面，使用经训练的机器学习(ML)模型的(基于ML的)方法或者不使用机器学习模型的(非基于ML的)的方法可用作第二分辨率增加。非基于ML的方法包括但不限于最近邻方法、双线性方法、以及双三次方法等。

由于第一分辨率增加可以实现与通过减小图像传感器的像素间距所实现的有益效果相似的有益效果，因此第一分辨率增加使得能够生成比第二分辨率增加具有更高质量的高分辨率图像，只要不超过光学分辨率极限即可。

在基于ML的方法用作第二分辨率增加的情况下，向图像处理单元109提供已被配置为以预定比率增加特定大小的输入图像的分辨率并输出由此得到的图像的经训练的机器学习模型。可以通过使用例如二维卷积神经网络(CNN)来实现机器学习模型。注意，可以通过使用包括作为地面真值数据(ground truth data)的高分辨率图像和作为输入数据的从该高分辨率图像生成的低分辨率图像的训练数据训练CNN，来实现这样的机器学习模型。注意，可以基于任何其他已知的配置和方法来实现机器学习模型。

显示单元110例如设置在数字照相机100的壳体的表面上，并显示已拍摄或再现的图像、数字照相机100的信息、以及图形用户接口等。显示单元110可以是液晶或有机EL显示器。并行且连续地执行运动图像的拍摄和所拍摄的运动图像的显示允许显示单元110用作电子取景器(EVF)。使显示单元110用作EVF的操作被称为实时取景显示，并且作为实时取景而被显示的运动图像被称为实时取景图像。

记录介质111用作记录用于存储摄像单元105所拍摄的图像或图像处理单元109所处理的图像等的数据的数据文件的目的地。记录介质111可以是可附接至数字照相机100和可从数字照相机100拆卸的存储卡、或者内置在数字照相机100中的非易失性存储器等。

操作单元112是为用户向数字照相机100输入各种类型的指令而提供的输入装置(按钮、开关和拨盘等)的通用术语。此外，操作单元112可包括例如安装在容纳光学系统103的镜筒上的变焦环和聚焦环等。

构成操作单元112的输入装置具有与对其分配的功能相对应的名称。例如，操作单元112包括释放开关、运动图像记录开关、用于选择拍摄模式的拍摄模式选择拨盘、菜单按钮、方向键、以及确定键等。释放开关是用于记录静止图像的开关；控制单元101将释放开关被半按下的状态识别为拍摄准备指令，并将释放开关被完全按下的状态识别为拍摄开始指令。另外，控制单元101将在拍摄待机状态中按下运动图像记录开关识别为开始记录运动图像的指令，并将在记录运动图像期间按下运动图像记录开关识别为停止记录的指令。注意，分配给相同输入装置的功能可以是可变的。此外，输入装置可以是使用触摸显示器的软件按钮或键。另外，操作单元112可包括支持诸如语音输入和视线输入等的非接触输入方法的输入装置。

接下来，将描述根据本实施例的用于生成高分辨率图像的处理。如上所述，图像处理单元109执行用于生成高分辨率图像的处理。注意，可以在例如已设置了用于生成高分辨率图像的拍摄模式(超分辨率模式)的情况下执行高分辨率图像的生成。在已设置了超分辨率模式的情况下，控制单元101执行在第一分辨率增加中所要使用的多帧低分辨率图像的拍摄。图像处理单元109使用已拍摄的多帧低分辨率图像来生成一帧高分辨率图像。注意，高分辨率图像的生成可以在拍摄多帧低分辨率图像之后立即执行，或者可以针对已经预先记录在记录介质111中的多帧低分辨率图像来执行。

图2是与在设置了超分辨率模式的状态下已检测到静止图像的拍摄开始指令时数字照相机100所执行的操作相关的流程图。静止图像的拍摄开始指令可以是检测到释放开关的完全按下，或者可以是自拍器的待机时段到期。注意，假设在检测到拍摄开始指令之前检测到拍摄准备指令时，控制单元101已经执行用于确定拍摄条件(F值、快门速度和拍摄感光度)(AE)的处理和光学系统103的自动焦点检测(AF)的处理。注意，拍摄条件可以是用户已设置的值。此外，也可由用户手动设置光学系统103的聚焦距离。

在步骤S201中，控制单元101确定用作高分辨率图像(第二图像)的基础的低分辨率图像(第一图像)的拍摄帧数和像素偏移量。注意，低分辨率(第一分辨率)是指与最终要生成的合成图像的分辨率(第二分辨率)相比像素数小的图像。实际上，它可以是具有摄像单元105可以进行摄像的最高分辨率的静止图像。

拍摄帧数可以是预定的固定值，或者可以能够由用户从多个选项(例如，3、5和9)中选择。作为一个示例，这里假设拍摄九帧。

可以使用各种方法来确定旨在实现不同视点(观察点)的像素偏移量。该像素偏移量可以是固定值，或者可以是与拍摄帧数相对应的值。在通过合成的方式来增加像素密度的情况下，像素偏移量具有表示比像素间距小的尺度的值。像素间距是相邻像素的中心之间的距离；这里假设像素间距在水平方向和垂直方向上相同。作为一个示例，还假设像素偏移量在水平方向和垂直方向两者上都是像素间距/2。

确定拍摄帧数和像素偏移量中至少之一的方法可以根据使用哪种方法来组合多帧低分辨率图像并生成一帧高分辨率图像来改变。

注意，这里，在数字照相机100固定到三脚架等的前提下移动摄像单元105，以使低分辨率图像具有不同的视点。然而，可以利用诸如照相机抖动等的数字照相机100的运动来拍摄具有不同视点的多帧低分辨率图像。此外，尽管这里假设使用连续拍摄静止图像的功能来拍摄多帧低分辨率图像，但是许可拍摄运动图像并使用运动图像中的一帧作为低分辨率图像。在拍摄运动图像的情况下，可以考虑移动摄像单元105所需的时段来确定帧频。

从步骤S202到步骤S205，控制单元101执行用于拍摄与所确定的帧数相对应的低分辨率图像的处理。

在步骤S202中，控制单元101通过控制驱动单元102来移动摄像单元105(图像传感器)，以实现与帧相对应的像素偏移量。假设已经根据拍摄帧数预先针对各帧确定了摄像单元105的移动方向。注意，基准帧(例如，第一个帧)是在不移动摄像单元105的情况下拍摄的。

这里，为了拍摄九帧，控制单元101例如在拍摄各帧时按照如下移动摄像单元105。因此，获得具有不同视点的九帧低分辨率图像。

第一个帧：不移动

第二个帧：向右方向上的像素间距/2

第三个帧：向左方向上的像素间距/2

第四个帧：向上方向上的像素间距/2

第五个帧：向下方向上的像素间距/2

第六个帧：向右方向上的像素间距/2，向上方向上的像素间距/2

第七个帧：向右方向上的像素间距/2，向下方向上的像素间距/2

第八个帧：向左方向上的像素间距/2，向上方向上的像素间距/2

第九个帧：向左方向上的像素间距/2，向下方向上的像素间距/2

当摄像单元105的移动已经完成时，控制单元101执行步骤S203。

在步骤S203中，控制单元101通过控制光学系统103和摄像单元105来执行一帧静止图像的拍摄。

在步骤S204中，控制单元101从摄像单元105读出模拟图像信号。图像处理单元109对模拟图像信号施加A/D转换，并将由此得到的信号存储到RAM 108中。此时，图像处理单元109不执行用于增加分辨率的处理。

在步骤S205中，控制单元101确定步骤S201中所确定的帧数的拍摄是否结束；如果已确定为拍摄结束，则执行步骤S206，而如果尚未确定为拍摄结束，则执行步骤S202。

在步骤S206中，控制单元101指示图像处理单元109执行高分辨率图像的生成。响应于来自控制单元101的指令，图像处理单元109针对RAM 108中所存储的与多帧相对应的低分辨率图像数据进行第一分辨率增加。

图3以逐帧图像的形式示出RAM 108中所存储的与九帧相对应的低分辨率图像数据的示例。301表示第一个帧的图像。在第二个帧和后续帧的图像302至309中，人类被摄体310的位置已经从第一个帧图像发生改变。

使用与九帧相对应的低分辨率图像(第一图像)的数据，图像处理单元109进行使用例如日本特开2012-226489所描述的像素插入的第一分辨率增加，从而生成一帧第一高分辨率图像(第二图像)的数据。注意，用于通过组合与多帧相对应的低分辨率图像数据来生成一帧高分辨率图像的数据的方法可以是其他已知的方法。

图4示意性地示出通过组合图3所示的低分辨率图像301至309所生成的第一高分辨率图像401。如图4所示，在要组合的多帧图像中的位置变化的人类被摄体310在作为合成图像的高分辨率图像中是模糊像或重叠像。对于在要组合的多帧图像中的形状变化的被摄体也出现相似的问题。

图像处理单元109将通过第一分辨率增加所生成的第一高分辨率图像的数据存储到RAM 108中。此后，图像处理单元109执行步骤S207。

在步骤S207中，图像处理单元109针对九帧低分辨率图像(第一图像)中的一帧低分辨率图像的数据进行第二分辨率增加，从而生成一帧第二高分辨率图像(第三图像)的数据。这里假设第二分辨率增加使用用于增加输入图像的分辨率并输出由此得到的图像的经训练的机器学习模型。第二高分辨率图像具有与第一高分辨率图像相同的分辨率。注意，机器学习模型的使用需要大量的存储器和计算资源。为此原因，可以将一帧低分辨率图像分割成多个块，并且可以以块为单位来增加分辨率。在该情况下，可以通过将各个块中的高分辨率图像拼合(拼接)在一起来获得第二高分辨率图像。

假设被施加第二分辨率增加的图像例如是第一个帧的图像。这是因为，第一个帧的图像被认为是用户期望的图像。然而，可以使用第二个帧或后续帧的图像。注意，可以基于不使用机器学习模型的方法来进行第二分辨率增加。

图5示意性地示出从图3所示的低分辨率图像301生成的第二高分辨率图像501。如图5所示，由于已经增加了一帧图像的分辨率，因此人类被摄体310不是模糊像或重叠像。图像处理单元109将通过第二分辨率增加所生成的第二高分辨率图像的数据存储到RAM 108中。此后，图像处理单元109执行步骤S208。

在步骤S208中，图像处理单元109检测表现出多帧低分辨率图像之间的变化的区域(变化区域)。虽然可以使用各种方法来检测变化区域，但是以下描述使用第一高分辨率图像和第二高分辨率图像的方法。第一高分辨率图像是使用九帧低分辨率图像所生成的合成图像。另一方面，第二高分辨率图像是使用一帧低分辨率图像所生成的图像。因此，在第一高分辨率图像和第二高分辨率图像之间的差的图像中，差的绝对值等于或大于特定值的区域被视为变化区域。差可以以像素为单位来获得，或者可以以块为单位来获得。此外，差图像可以针对滤色器的各颜色平面来获得。此外，可以获得除亮度值之外的元素之间的差。

图6示出通过施加阈值对差图像进行二值化所获得的变化区域图601的示例，其中通过以像素为单位得出图4所示的第一高分辨率图像401与图5所示的第二高分辨率图像501之间的亮度值差的绝对值，来获得该差图像。注意，阈值可以例如通过实验预先获得并被存储到ROM 107或图像处理单元109中。

在变化区域图601中，黑色部分是差小于阈值且没有发生变化的区域。另一方面，白色部分是差等于或大于阈值的变化区域。可以说，变化区域图601是用于指示第一高分辨率图像中存在变化区域的位置的图像。

图像处理单元109将所生成的变化区域图601存储到RAM 108中。此后，图像处理单元109执行步骤S209。

在步骤S209中，图像处理单元109基于步骤S208中所检测到的变化区域，从第一高分辨率图像(第二图像)和第二高分辨率图像(第三图像)生成第三高分辨率图像(第四图像)。具体地，图像处理单元109通过用第二高分辨率图像替换第一高分辨率图像中的与所检测到的变化区域相对应的区域，来生成第三高分辨率图像。第三高分辨率图像是最终生成的高分辨率图像。图像处理单元109在例如使用变化区域图601作为掩模的情况下从第二高分辨率图像中切出与变化区域相对应的区域。然后，图像处理单元109用已经切出的图像替换第一高分辨率图像中的与变化区域相对应的区域。

可替代地，还可以通过为变化区域图601中的黑色区域选择第一高分辨率图像并且为其中的白色区域选择第二高分辨率图像，来生成第三高分辨率图像。

图7示出已经使用变化区域图601从第一高分辨率图像401和第二高分辨率图像501生成的第三高分辨率图像701的示例。已经在没有人类被摄体310的模糊或重叠的情况下获得了适当的高分辨率图像。

如上所述，第一高分辨率图像具有比第二高分辨率图像更高的质量。因此，用第二高分辨率图像仅替换第一高分辨率图像中的与变化区域相对应的部分，这得到了比第二高分辨率图像具有更高质量且在表现出多帧低分辨率图像之间的变化的区域中不包括缺陷的第三高分辨率图像。

注意，用第二高分辨率图像替换的区域越小，在图像质量方面越有利；然而，可以通过简化变化区域来减少与第三高分辨率图像的生成相关的处理负荷。例如，内接有变化区域的矩形区域可以是要用第二高分辨率图像替换的区域。

图像处理单元109将所生成的第三高分辨率图像的数据存储到RAM 108中。此后，图像处理单元109执行步骤S210。

在步骤S210中，图像处理单元109生成存储第三高分辨率图像的数据的数据文件，并将该数据文件记录到记录介质111中。注意，在数字照相机100可以与外部设备通信的情况下，数据文件可被输出到外部设备。

虽然这里假设仅记录第三高分辨率图像的数据，但是还可以记录第一高分辨率图像的数据和第二高分辨率图像的数据中的至少之一。此外，尽管前面的描述与高分辨率图像被记录为原始(RAW)格式的数据的情况相关，但是其可以在图像处理单元109已经对其执行了诸如显像处理和编码处理等的图像处理之后被记录。

(变形例)

现在给出在步骤S208中检测变化区域的处理的变形例的描述。可以使用低分辨率图像而不使用第一高分辨率图像和第二高分辨率图像来检测变化区域。具体地，图像处理单元109可以基于步骤S202至S205的处理所获得的多帧低分辨率图像之间的差的图像来检测变化区域。

例如，图像处理单元109将第一个帧的图像作为基准图像保存在RAM 108中，并且针对第二个帧和后续帧的图像各自生成与第一个帧的图像的差的图像。图像处理单元109可以通过将阈值施加于对八帧的差图像进行求和所获得的求和差图像、或者通过将阈值施加于将求和差图像除以帧数(8)所获得的差图像，来生成图6所示的变化区域图601。注意，在从低分辨率图像生成变化区域图601的情况下，图像处理单元109在步骤S209中在将变化区域图601放大到与高分辨率图像相同的分辨率之后使用该变化区域图601。可替代地，可以在将低分辨率图像放大到与高分辨率图像相同的分辨率之后生成差图像。第二分辨率增加可以用于这些类型的放大。由于变化区域图601是二值图像，因此在放大变化区域图601的情况下使用处理简单的非基于ML的方法。

注意，在从低分辨率图像检测变化区域的情况下，可以在执行步骤S202至S205的处理的同时生成差图像。在此情况下，可以通过在步骤S206中生成第一高分辨率图像之前执行步骤S208来检测变化区域。

根据本实施例，在通过组合多帧低分辨率图像所获得的一帧第一高分辨率图像中，表现出多帧低分辨率图像之间的变化的区域被替换为从一帧低分辨率图像获得的高分辨率图像。因此，可以获得在不变区域中具有更高质量并且在变化区域中不包括缺陷的高分辨率图像。

注意，即使没有用从一帧低分辨率图像获得的高分辨率图像完全地替换表现出多帧低分辨率图像之间的变化的区域，也可以通过使用从一帧低分辨率图像获得的高分辨率图像来提高图像质量。例如，在表现出多帧低分辨率图像之间的变化的区域中，通过组合多帧低分辨率图像所获得的一帧第一高分辨率图像可以与从一帧低分辨率图像获得的高分辨率图像进行组合。根据表现出低分辨率图像之间的变化的区域中的变化程度来设置在该组合中的比例，这就足够了；与当变化程度小时相比，当变化程度大时从一帧低分辨率图像获得的高分辨率图像在组合中的比例更大，这就足够了。以该方式，通过在表现出多帧低分辨率图像之间的变化的区域中使用基于从一帧低分辨率图像获得的高分辨率图像的图像，与不使用从一帧低分辨率图像获得的高分辨率图像的情况相比，可以提高图像质量。

其他实施例

已经与数字照相机执行作为处理序列的低分辨率图像的拍摄和高分辨率图像的生成的配置相关地描述了上述实施例。然而，也可以通过使用已经记录的低分辨率图像来生成高分辨率图像。此外，在使用已经记录的低分辨率图像的情况下，不需要摄像功能。因此，不具有摄像功能的电子装置也可以进行上述实施例。为了允许使用已经记录的低分辨率图像来执行用于生成高分辨率图像的上述处理，与已经拍摄的多帧低分辨率图像各自相关联地记录用于指示像素偏移的量和方向的信息(与视点相关的信息)，这就足够了。以该方式，可以适当地进行第一分辨率增加。可以针对例如具有最早记录时间的低分辨率图像或者像素偏移量是0的低分辨率图像来进行第二分辨率增加。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。所附权利要求书的范围应符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (15)

1.一种图像处理设备，包括：

获得部件，用于获得多帧第一图像，其中所述第一图像的视点彼此不同；

生成部件，用于通过组合所述多帧第一图像来生成比所述第一图像具有更高分辨率的一帧第二图像，并且从所述多帧第一图像中的一帧第一图像生成具有与所述第二图像相同的分辨率的第三图像；以及

检测部件，用于检测所述多帧第一图像之间已经变化的变化区域，

其中，所述生成部件还从所述第二图像、以及所述第三图像中的与所述第二图像中的同所述变化区域相对应的区域相对应的区域，生成第四图像作为基于所述多帧第一图像的高分辨率图像。

2.根据权利要求1所述的图像处理设备，其中，

所述检测部件基于所述第二图像和所述第三图像之间的差来检测所述变化区域。

3.根据权利要求1所述的图像处理设备，其中，

所述检测部件基于所述多帧第一图像之间的差来检测所述变化区域。

4.根据权利要求3所述的图像处理设备，其中，

所述检测部件将所述多帧第一图像中的各帧第一图像放大到与所述第二图像相同的分辨率，并且在检测所述变化区域时使用放大后的多帧第一图像。

5.根据权利要求1至4中任一项所述的图像处理设备，其中，

所述生成部件通过组合所述多帧第一图像以增加像素密度，来生成所述第二图像。

6.根据权利要求1至4中任一项所述的图像处理设备，其中，

所述生成部件使用已被训练以增加输入图像的分辨率并输出由此得到的图像的机器学习模型，来从所述多帧第一图像中的一帧第一图像生成所述第三图像。

7.根据权利要求1至4中任一项所述的图像处理设备，其中，

所述生成部件通过使用已经分别与所述多帧第一图像相关联地记录的与视点相关的信息组合所述多帧第一图像，来生成所述第二图像。

8.根据权利要求1至4中任一项所述的图像处理设备，其中，

所述检测部件对于所述多帧第一图像生成变化区域图，所述变化区域图具有在所述变化区域和不变区域之间不同的值，以及

所述生成部件基于所述变化区域图，从所述第二图像和所述第三图像生成所述第四图像。

9.根据权利要求1至4中任一项所述的图像处理设备，其中，

所述生成部件通过用所述第三图像中的与所述变化区域相对应的区域替换所述第二图像中的与所述变化区域相对应的区域，来生成所述第四图像。

10.一种图像处理方法，其由图像处理设备执行，所述图像处理方法包括：

获得多帧第一图像，其中所述第一图像的视点彼此不同；

通过组合所述多帧第一图像来生成比所述第一图像具有更高分辨率的一帧第二图像；

从所述多帧第一图像中的一帧第一图像生成具有与所述第二图像相同的分辨率的第三图像；

检测所述多帧第一图像之间已经变化的变化区域；

从所述第二图像、以及所述第三图像中的与所述第二图像中的同所述变化区域相对应的区域相对应的区域，生成第四图像作为基于所述多帧第一图像的高分辨率图像。

11.一种摄像设备，包括：

图像传感器；以及

根据权利要求1至9中任一项所述的图像处理设备。

12.根据权利要求11所述的摄像设备，还包括控制部件，所述控制部件用于控制所述图像传感器的位置，使得所述图像传感器的位置在所述多帧第一图像各自的拍摄时间之间不同。

13.根据权利要求11所述的摄像设备，其中，

所述摄像设备记录所述图像处理设备所生成的第四图像。

14.一种计算机可读存储介质，其存储有使计算机执行根据权利要求10所述的图像处理方法的程序。

15.一种计算机程序产品，其包括使计算机执行根据权利要求10所述的图像处理方法的程序。