[go: up one dir, main page]

CN104320596B - 超分辨率图像的获取方法和获取装置 - Google Patents

超分辨率图像的获取方法和获取装置 Download PDF

Info

Publication number
CN104320596B
CN104320596B CN201410522902.1A CN201410522902A CN104320596B CN 104320596 B CN104320596 B CN 104320596B CN 201410522902 A CN201410522902 A CN 201410522902A CN 104320596 B CN104320596 B CN 104320596B
Authority
CN
China
Prior art keywords
pixel
sub
image
offset distance
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410522902.1A
Other languages
English (en)
Other versions
CN104320596A (zh
Inventor
周梁
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Tech Co Ltd
Original Assignee
Beijing Zhigu Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Tech Co Ltd filed Critical Beijing Zhigu Tech Co Ltd
Priority to CN201410522902.1A priority Critical patent/CN104320596B/zh
Publication of CN104320596A publication Critical patent/CN104320596A/zh
Priority to PCT/CN2015/089312 priority patent/WO2016050135A1/en
Priority to US15/510,867 priority patent/US10104317B2/en
Application granted granted Critical
Publication of CN104320596B publication Critical patent/CN104320596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种超分辨率图像的获取方法和获取装置，其中一种超分辨率图像的获取方法包括：确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部；根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布；基于调节后的所述各相机分别获取待摄场景的图像；根据获取的各图像获取所述待摄场景的一超分辨率图像。本申请实施例提高了超分辨率图像中与所述第一区对应的子图像的成像质量。

Description

超分辨率图像的获取方法和获取装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种超分辨率图像的获取方法和获取装置。
背景技术
图像分辨率是评价图像质量的重要指标之一。为了提高图像分辨率，可由多张对同一场景拍摄得到的内容相似但空间(Spatio)和/或时间(Temporal)等信息不完全相同的多张低分辨率(Low-Resolution)图像进行软件处理，生成一超分辨率(Super-Resolution)图像。超分辨率图像的应用广泛，例如可应用但不限于：恢复不同采集场景中损失的高频信息，如失焦、运动模糊、非理想采样等等，甚至可用于恢复超过光学系统散射极限(Diffraction Limit)的高频空间信息。
随着成像技术的不断发展，基于相机阵列获取超分辨率图像的技术引起研究人员的高度关注。所述相机阵列也可称为阵列式相机或阵列相机，相对于传统的单个相机而言，视野更宽，通常包括多个阵列分布的相机，其中，每个相机具有独立的光学镜头和图像传感器。采用相机阵列对待摄场景进行图像采集时，相机阵列中的每个相机都可以分别拍摄该场景的一副图像，不同相机所拍摄得到的图像之间存在一定的视野偏移，这样，就得到了内容相似但具有景象视野的多幅图像，根据这些多幅图像可获取一超分辨率图像，该超分辨率的图像的分辨率均大于各相机获取的单幅图像的分辨率，例如：对于一个N×N个相机构成的相机阵列而言，假设每个相机的图像传感器的像素点为D×D个，则在理想情况下，根据所述相机阵列各相机获取的图像可生成分辨率为ND×ND。
发明内容
在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
本申请提供一种超分辨率图像的获取方法和获取装置。
一方面，本申请实施例提供了一种超分辨率图像的获取方法，包括：
确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部；
根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布；
基于调节后的所述各相机分别获取待摄场景的图像；
根据获取的各图像获取所述待摄场景的一超分辨率图像。
另一方面，本申请实施例还提供了一种超分辨率图像的获取装置，包括：
一目标偏移距离确定模块，用于确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部；
一像素点分布调节模块，用于根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布；
一图像获取模块，用于基于调节后的所述各相机分别获取待摄场景的图像；
一超分辨率图像获取模块，用于根据获取的各图像获取所述待摄场景的一超分辨率图像。
本申请实施例提供的技术方案，可充分利用相机阵列的各图像传感器的整体像素来差异化采集待摄场景稍有视野偏差的多幅图像，具体而言，可根据任两个相邻相机的图像传感器分别对应待摄场景的第一区的待调节区相应逻辑像素点的子像素级目标偏移距离，对所述相机阵列中各相机的图像传感器的像素点分布进行调整，使得在满足所述子像素级目标偏移距离的条件下各图像传感器对应所述第一区的成像区域的像素点数量更多，也就是说，将各图像传感器的像素点在满足所述子像素级目标偏移距离的情形下将像素点尽可能多的集中在所述第一区内，以使各图像传感器在满足超分辨率图像所需的子像素级偏移的基础上，增加待调节区的像素点来提高图像采集效率，从而增加各图像传感器获取的各图像中对应所述第一区的子图像的分辨率、且相邻相机获取的各图像之间存在与子像素级目标偏移距离对应的视野偏差，进而提高了获取的超分辨率图像中对应所述第一区的子图像的成像质量。
通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：
图1a为本申请实施例提供的一种超分辨率图像的获取方法流程图；
图1b为本申请实施例提供第一种像素密度可调的图像传感器的结构示意图；
图1c为本申请实施例提供第二种像素密度可调的图像传感器的结构示意图；
图1d为本申请实施例提供第三种像素密度可调的图像传感器的结构示意图；
图1e为本申请实施例提供第四种像素密度可调的图像传感器的结构示意图；
图1f为本申请实施例提供图像传感器在不均匀光场激励情形时进行像素密度调整的场景示例；
图1g为本申请实施例提供第五种像素密度可调的图像传感器的结构示意图；
图1h为本申请实施例提供第六种像素密度可调的图像传感器的结构示意图；
图1i为本申请实施例提供第七种像素密度可调的图像传感器的结构示意图；
图1j为本申请实施例提供第八种像素密度可调的图像传感器的结构示意图；
图2a为本发明实施例提供的一种相机阵列各相机的图像传感器像素分布示例；
图2b为本发明实施例提供的一种相邻相机的图像传感器相应逻辑像素点的偏移示例；
图2c为本发明实施例提供的另一种相邻相机的图像传感器相应逻辑像素点的偏移示例；
图2d为本发明实施例提供的又一种相邻相机的图像传感器相应逻辑像素点的偏移示例；
图3为本发明实施例提供的一种调节后图像传感器的像素点分布示例；
图4为本发明实施例提供的一种超分辨率图像的生成示例；
图5为本申请实施例提供的一种超分辨率图像的获取装置的逻辑框图；
图6为本申请实施例提供的另一种超分辨率图像的获取装置的逻辑框图；
图7为本申请实施例提供的一种第一区确定模块的逻辑框图；
图8为本申请实施例提供的一种像素点分布调节模块的逻辑框图；
图9为本申请实施例提供的又一种超分辨率图像的获取装置的逻辑框图。
本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
本申请发明人在实践本申请实施例的过程中发现，通常基于相机阵列进行待摄场景的图像采集时，所述相机阵列的各相机的图像传感器的像素均匀分布，基于各图像传感器采集可得到该场景稍有视野偏差的多幅图像，基于这些图像可获取一超分辨率图像。然而在某些场景下，该场景的不同区域通常对用户而言具有不同的意义和/或重要性，即用户对待摄场景不同区域的成像质量要求不尽相同。例如：在人物拍摄场景下，用户对场景中人脸的感兴趣程度要高于场景中的景物，故对获取的超分辨率图像中关于人脸部分成像的图像空间分辨率、信噪比等要求较高；等等。为此，本申请实施例提供了一种超分辨率图像的获取方法，可充分利用相机阵列的各图像传感器的整体像素来差异化采集待摄场景稍有视野偏差的多幅图像，由此更好满足用户多样化的应用需求。下面结合附图进一步说明技术方案。
图1a为本申请实施例提供的一种超分辨率图像的获取方法流程图。本申请实施例提供的超分辨率图像的获取方法的执行主体可为某一超分辨率图像的获取装置，所述超分辨率图像的获取装置可在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该超分辨率图像的获取方法进行静态或动态的图像处理控制。所述超分辨率图像的获取装置的设备表现形式不受限制，例如所述超分辨率图像的获取装置可为某一独立的部件，该部件与相机阵列配合通信；或者，所述超分辨率图像的获取装置可作为某一功能模块集成在一相机阵列中，本申请实施例对此并不限制。
具体如图1a所示，本申请实施例提供的一种超分辨率图像的获取方法包括：
S101：确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部。
所述相机阵列可包括阵列分布的N×M个相机，其中，N为大于或等于1的整数、且M为大于1的整数，或者，N为大于1的整数、且M为大于或等于1的整数。
所述相机阵列中每个相机具有独立的光学镜头和图像传感器，所述相机阵列的各相机同构或者至少部分相机异构，各相机的光学镜头可根据实际需要设置不同滤光元件，例如：蓝色滤光元件、红色滤光元件或者绿色滤光元件等等。本申请实施例不妨以多个同构相机阵列分布形成的相机阵列为例进行说明，对于异构相机阵列也存在相似的技术方案，本申请实施例在此不再赘述。
每个相机的图像传感器的每个像素点均有一个逻辑信息，所述逻辑信息也可称为像素的索引信息，用来表示该像素点是图像传感器中的哪个像素点，如是第n行的第m个像素点。相机阵列中相邻两个相机的图像传感器之间的参考线(也可称为基线，Baseline)会引入视差偏移，这样，相邻图像传感器对应待摄场景的第一区的成像区域，在两个相邻相机的图像传感器各自的成像区域的位置并非完全对应。考虑所述基线偏移后，相邻图像传感器对应的逻辑像素点即为本申请实施例所述的相应逻辑像素点，待摄场景的同一部分信息在相邻图像传感器的相应逻辑像素点分别予以记录。根据相邻图像传感器基线的偏移关系可得到相邻图像传感器各像素点的逻辑信息的对应关系，而根据所述各像素点的逻辑信息的对应关系，可确定两个相邻图像传感器中，一图像传感器与另一图像传感器的某逻辑像素点相应的逻辑像素点是哪个。例如，请参考图2a，假设两个相邻相机A、B的图像传感器的基线在X向上存在2个像素的偏移，则图像传感器A某行逻辑信息为0、1、2、3、4......的像素点，与图像传感器B相同行逻辑信息为2'、3'、4'、5'、6'......的像素点(在图2a的括号中标出了像素点逻辑或序号信息的对应关系)，分别为相应逻辑像素点；如图2a所示，相机A和B各自的图像传感器分别对应待摄场景相同部分的成像区域a、b也存在一定的偏移。
为了获取高于所述相机阵列中某单个相机采集到的图像的分辨率的图像，也即超分辨率图像，所述相机阵列中任两个相邻相机的图像传感器的相应逻辑像素点之间需要按照某一子像素级距离偏移的方式分布。
图像传感器调节前的任两个相邻像素点中心之间的距离称为一个像素距离(pixel pitch)d，所述“子像素级距离”就是小于像素距离d的某一距离，如其中，m＞1。不妨将相机阵列的行向和列向分别表示为X向和Y向。所述相机阵列中任两个相邻相机(如所述相机阵列相同行的任意两个相邻相机，或者相同列的任意两个相邻相机)的图像传感器相应逻辑像素点，在X向和Y向中的至少一个方向上存在一子像素级偏移距离。不妨以2个相机按照1×2阵列分布组成的相机阵列为例进行说明，如果不考虑或消除了相机阵列中的2个相机(相机A和相机B)的图像传感器的基线偏移，相机阵列中的2个相机的图像传感器的相应逻辑像素点的相对坐标存在一个子像素级距离的偏移，图2b示出了在X向相应逻辑像素点(如各图像传感器的第1行第1个像素)存在距离偏移的可选情形，图2c示出了在Y向相应逻辑像素点(如各图像传感器的第1行第1个像素)存在距离偏移的可选情形，图2d示出了在X向和Y向相应逻辑像素点(如各图像传感器的第1行第1个像素)存在距离偏移的可选情形。这样，基于相机阵列对待摄场景进行图像采集时，所述相机阵列的各相机可获得该场景内容相似但不完全相同的各图像，获取的各图像对该场景采集到的信息不完全相同，某一图像没有采集到的场景中的信息，可能在另一图像中被采集，故根据相机阵列一次拍摄得到的各图像可生成一超分辨率图像。
所述子像素级目标偏移距离通常用来表征用户或设备对待摄场景的第一区的图像清晰度的相对预期，在实际应用中，所述子像素级目标偏移距离可根据但不限于超分辨率图像的期望增益确定。例如，如果对超分辨率图像中与所述第一区对应的子图像的期望增益较高，要求该子图像可获取较高的图像分辨率，则可设置与所述第一区对应的区域(即所述待调节区)较小的子像素级目标偏移距离，以使各图像传感器在满足超分辨率图像所需的子像素级偏移的基础上增加待调节区的像素点，从而增加各图像传感器获取的各图像中对应所述第一区的子图像的分辨率、且相邻相机获取的各图像之间存在与子像素级目标偏移距离对应的视野偏差，进而提高了获取的超分辨率图像中对应所述第一区的子图像的成像质量。
S102：根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布。
本申请实施例中的图像传感器为像素密度可调的图像传感器，可包括但不限于柔性图像传感器，所述柔性图像传感器包括柔性衬底以及在所述柔性衬底上形成的多个图像传感器像素，其中所述柔性衬底在满足一定条件时可以发生伸缩、弯曲等变化来调整其像素密度分布。结合所述图像传感器像素密度分布可调的这一特性，本申请实施例对各所述图像传感器的像素点分布进行调整，使得所述相机阵列中相邻相机的图像传感器内相应逻辑像素点的实际坐标偏移等于或尽可能接近所述子像素级目标偏移距离。调节前的图像传感器的像素点是均匀分布的。调节后的图像传感器的像素点分布并不是均匀的，而是非均匀分布，即：任一图像传感器对应所述第一区图像采集的成像区域的像素点数量较多、相邻像素点的间距较小；而该图像传感器的其他成像区域的像素点数量较少、相邻像素点的间距也较大，如图3所示。
S103：基于调节后的所述各相机分别获取待摄场景的图像。
在完成所述相机阵列中各相机的图像传感器的调节之后，可进行一次曝光，所述相机阵列的各相机的图像传感器即分别获取到被摄场景的图像。由于所述相机阵列的任两个相邻相机的图像传感器内，相应逻辑像素点存在等于或尽可能接近所述子像素级目标偏移距离，因此，不同图像传感器获取的被摄场景的图像内容相似但存在一定的差异，某一图像传感器对被摄场景的某对象没有采集到的信息，可能被另一图像传感器采集。
S104：根据获取的各图像获取所述待摄场景的一超分辨率图像。
在获取所述相机阵列各图像传感器采集的各图像之后，可根据各图像获得一超分辨率图像。例如，可根据所述超分辨率图像的增益预期生成一个新的网格，该网格的各点与各图像传感器的像素点之间存在某种预定的对应关系，可将各图像传感器获取的图像中各像素点的图像信息插入该网格的相应点，如图4所示，由此得到一超分辨率图像。由于相机阵列的各相机的图像传感器对应所述第一区图像采集的成像区域的像素点数量较多、且相邻图像传感器相应逻辑像素点的实际像素偏移距离等于或尽可能接近所述子像素级目标偏移，因此，各图像传感器采集到的图像对应所述第一区的部分细节较为丰富且具有一定的视野偏差，据此生成的超分辨率图像对应所述第一区的子图像的分辨率、信噪比等性能均有所改善。
本申请实施例提供的技术方案，可充分利用相机阵列的各图像传感器的整体像素来差异化采集待摄场景稍有视野偏差的多幅图像，具体而言，可根据任两个相邻相机的图像传感器分别对应待摄场景的第一区的待调节区相应逻辑像素点的子像素级目标偏移距离，对所述相机阵列中各相机的图像传感器的像素点分布进行调整，使得在满足所述子像素级目标偏移距离的条件下各图像传感器对应所述第一区的成像区域的像素点数量更多，也就是说，将各图像传感器的像素点在满足所述子像素级目标偏移距离的情形下将像素点尽可能多的集中在所述第一区内，以使各图像传感器在满足超分辨率图像所需的子像素级偏移的基础上，增加待调节区的像素点来提高图像采集效率，从而增加各图像传感器获取的各图像中对应所述第一区的子图像的分辨率、且相邻相机获取的各图像之间存在与子像素级目标偏移距离对应的视野偏差，进而提高了获取的超分辨率图像中对应所述第一区的子图像的成像质量。
可选的，所述获取方法还包括：获取所述任两个相邻相机的图像传感器中相应逻辑像素点的缺省子像素级偏移距离；相应的，确定所述子像素级目标偏移距离，包括：至少根据所述缺省子像素级偏移距离确定所述子像素级目标偏移距离，以使所述子像素级目标偏移距离小于所述缺省子像素级偏移距离。对于相机阵列而言，为了根据各相机的图像传感器获取的同一场景的各图像能够获取一超分辨率图像，除了相机阵列中各相机的布置位置、基线偏移等因素引入一定的拍摄视野差异之外，所述相机阵列中任两个相邻相机的图像传感器的相应逻辑像素点之间还存在一特定的子像素级的偏移距离，即为本申请实施例所述的“缺省子像素级偏移距离”。该方案在确定所述子像素级目标像素偏移距离时考虑了相机阵列已有的缺省子像素级偏移距离，确定的所述子像素级目标偏移距离小于所述缺省子像素级偏移距离，使得相邻图像传感器各自对应所述第一区的成像区域的相应逻辑像素点之间的偏移距离小于所述缺省子像素级偏移距离，例如，所述缺省子像素级偏移距离为任一相机的图像传感器相邻像素点中心之间的距离的一半则所述子像素级目标偏移距离小于根据该子像素级目标偏移距离调整图像传感器的像素点分布，使得相邻相机的图像传感器各自对应所述第一区的成像区域的相应逻辑像素点之间的偏移小于也就是说，在满足子像素偏移距离的条件下调整后各图像传感器对应所述第一区的成像区域的像素点的数量增加了，不同图像传感器在各自对应所述第一区的成像区域内的相应逻辑像素点之间的偏移减小了，由此通过将各图像传感器的像素点进行重新分布，使得各图像传感器能有更多的像素点来采集待摄场景的所述第一区的图像信息，提高各图像传感器单独采集到的图像的针对性和效率，也提高了基于各个图像获取的超分辨率图像中与所述第一区对应的子图像的分辨率和信噪比，进而更好满足用户或设备等主体的多样化应用需求。
可选的，确定所述子像素级目标偏移距离，包括：至少根据一个或多个相机的图像传感器任两个相邻像素点中心之间的距离，确定所述子像素级目标偏移距离。在基于相机阵列对待摄场景进行图像采集的应用中，如果基于相机阵列一次曝光后所述相机阵列的各相机的图像传感器获取的各图像，能采集到所述第一区越多的细节，则基于这些图像生成的超分辨率图像对应所述第一区的子图像的细节也就更为丰富，信噪比较高。而对所述相机阵列任两个相邻相机来说，假设同行的两个相邻相机的图像传感器的相应逻辑像素点在X向上存在距离偏移，请参考图2b，在进行超分辨率网格的像素填充的过程中，每出现m个像素点，这两个图像在超分辨率网格上就会对应一个重复的像素点，重复的像素点对提高超分辨图像的成像质量往往没有帮助，因此，我们希望这些重复的像素点尽可能少些，以便得到有利于提高超分辨率图像质量的更多的像素点。
为此，可至少根据一个或多个相机的图像传感器任两个相邻像素点中心之间的距离确定所述子像素级目标偏移距离，其中，任一相机的图像传感器的两个相邻像素点中心之间的距离，可包括：该图像传感器任一行中任两个相邻像素点中心之间的距离，和/或，该图像传感器任一列中任两个相邻像素点中心之间的距离。
不妨以至少根据一个或多个相机的图像传感器任一行中任两个相邻像素点中心之间的距离，确定所述子像素级目标偏移距离为例进行说明。假设同行的两个相邻相机的图像传感器L、R的相应逻辑像素点在X向上存在距离偏移。
图像传感器L在该行上各像素点的相对坐标可表示如下：
XLi＝XL0+idL.................................................................................................(1)
其中，XL0表示图像传感器L在某行第0个像素点的相对坐标，dL表示图像传感器L在某行任两个相邻像素点中心之间的距离，i为大于0且小于N-1的整数，N为图像传感器L该行的像素点总数,XLi表示图像传感器L在某行第i个像素点的相对坐标。
图像传感器R在该行上各像素点的相对坐标可表示如下：
XRj＝XR0+jdR＝XL0+Δd+jdR.................................................................(2)
其中，XR0表示图像传感器R在某行第0个像素点的相对坐标，dR表示图像传感器R在某行任两个相邻像素点中心之间的距离，j为大于0且小于N-1的整数，N为图像传感器R该行的像素点总数，XRj表示图像传感器R在某行第j个像素点的相对坐标；Δd表示图像传感器L、R的相应逻辑像素点的子像素级目标偏移距离。
为了减少这两个图像传感器L、R各自获取的图像在超分辨率网格上对应相同的像素点的概率，需要满足；
|XLi-XRj|≠0......................................................................................................(3)
结合上述式(1)-(3)，可得：
Δd≠idL-jdR.........................................................................................................(4)
由于Δd是子像素级的偏移距离，即：
Δd＜d,d＝min(dL,dR)........................................................................................(5)
对于两个图像传感器L、R是同构图像传感器的情形下，dL＝dR。当同时满足式(4)和式(5)，则可减少这两个图像传感器L、R各自获取的图像在超分辨率网格上对应相同的像素点的概率。
如此处理，有利于获得更多的有效像素点信息来获取一超分辨率图像，由此提高所述超分辨率图像对应所述第一区的子图像的图像质量。
可以理解，确定所述子像素级目标偏移距离也可结合所述缺省子像素级偏移距离、一个或多个相机的图像传感器任两个相邻像素点中心之间的距离等多种因素确定，本申请实施例对此并不限制。
可选的，本申请实施例提供的技术方案中，所述超分辨率图像的获取方法还包括：确定所述第一区。该方案可根据实际需要预先确定当前待摄场景的局部(如图像空间分辨率要求较高的区域，或者，图像空间分辨率要求较低的区域)为所述第一区，可更好满足用户个性化的应用需求。
所述第一区的确定方式非常灵活，本申请实施例对此并不限制。一种可选的实现方式，可根据所述相机阵列获取的所述待摄场景的预览图像确定所述第一区，该方案基于所述预览图像确定所述第一区，可提高用户使用的方便性。
基于所述预览图像确定所述第一区的具体实现方式也非常灵活。
例如，可根据所述预览图像的感兴趣区(Region of Interest，简称ROI)信息确定所述第一区，即：可基于所述相机阵列关于所述待摄场景的预览图像获取感兴趣区确定信息；确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。所述感兴趣区可包括但不限于以下一种或多种：用户选择的所述预览图像的至少一个区域(即所述预览图像的用户选择区)、用户注视的所述预览图像的至少一个区域(即所述预览图像的用户注视区)、相机阵列对所述预览图像自动检测得到的感兴趣区。该方案根据所述预览图像的感兴趣区确定待摄场景中与之对应的局部为所述第一区，使得所述第一区的确定与实际用户需求更为吻合，可更好满足用户个性化的应用需求。
又例如，可根据所述预览图像的图像分析结果自动确定所述第一区，即：可对所述相机阵列关于所述待摄场景的预览图像进行图像分析；根据所述图像分析结果确定所述第一区。一种可选的场景中，可对所述预览图像进行人脸识别，根据识别结果将待摄场景与人脸图像对应的人脸区确定为所述第一区。该方案可根据所述预览图像的图像分析结果确定待摄场景中与之对应的区域为所述第一区，使得所述第一区的确定更为智能，提高所述第一区确定的效率和普适性。
确定好所述第一区后，可确定相机阵列各相机的图像传感器中分别与所述第一区对应的各成像区域，为各相机的图像传感器各自的待调节区。根据所述相机阵列中各相邻相机的图像传感器相应逻辑像素点的子像素级目标偏移距离，分别调节各图像传感器的像素点分布。例如，可将各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离等于所述子像素级目标偏移距离，该方案使得调节结果和用户或设备等主体的期望吻合。或者，又例如，所述待调节区内调节后相应逻辑像素点的实际像素偏移距离与所述子像素级目标偏移距离的差值，落入预定容许误差范围。该方案使得调节结果尽可能接近用户或设备等主体吻合。
实际应用中，对各相机的图像传感器的像素点分布的调节方式可根据实际需要选择，本申请实施例对此并不限制。一种可选的实现方式，根据所述子像素级目标偏移距离确定所述各相机的图像传感器的可控变形材料部的形变控制信息；根据所述形变控制信息控制各所述可控变形材料部发生形变，以通过各所述可控变形材料部的形变相应调整所述各相机的图像传感器的像素点分布。该方案通过控制可控变形材料部的形变来调节所述图像传感器的像素点分布，方案简单易实现。
所述可控变形材料部即为通过改变作用其上的某外部作用因素(如外场)可使其发生形变，在作用其上的外场撤销或改变时，该可控变形材料部的形变可以恢复。
图1b为本申请实施例提供一种像素密度可调的图像传感器的结构示意图。如图1b所示，本申请实施例提供的像素密度可调的图像传感器包括：多个图像传感器像素11和一可控变形材料部12，其中，图像传感器通过图像传感器像素11进行图像采集，多个图像传感器像素11呈阵列分布，可控变形材料部12分别与多个图像传感器像素11连接；可控变形材料部12在外场作用下可发生形变、并通过可控变形材料部12的形变相应调节多个图像传感器像素11的分布。
本申请实施例提供的技术方案中，所述可控变形材料部为通过改变该可控变形材料部上的某外场作用因素可使其发生形变，在某外场作用因素撤销或改变时，该可控变形材料部的形变可以恢复，所述外场可针对所述可控变形材料部的形变特性选择作用于其上的相应控制外场，例如所述外场包括但不限于外部电场、磁场、光场等等。图像传感器像素可包括但不限于至少一光电转换单元。各图像传感器像素与可控变形材料部之间可采用但不限于粘接等方式进行紧密连接，这样，当所述可控变形材料部发生形变，就会相应调整各图像传感器像素之间的间距，由此改变图像传感器的像素点分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素密度分布的效果。
实际应用中，可将不均匀分布的外场作用在所述可控变形材料部的不同区域，使得所述可控变形材料部不同部分区域发生不同程度的变形，由此调整图像传感器像素的整体分布。可选的，可将所述外场作用在所述可控变形材料部与多个所述图像传感器像素不重叠的区域，这样可使得所述可控变形材料部与所述图像传感器像素重叠的区域不发生形变，而是通过所述可控变形材料部的其他部分的形变来改变图像传感器像素点分布，该方案有利于避免因可控变形材料部的形变对所述图像传感器像素造成的损坏。
实际应用中，可根据需要选择合适的至少一种可控变形材料来制备所述可控变形材料部，以使所述可控变形材料部具有可变形且变形可恢复的特性。可选的，所述可控变形材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材料。
所述压电材料可以因电场作用产生机械变形。采用所述压电材料制备的可控变形材料部以下称为压电材料部。利用所述压电材料的这一物理特性，本申请实施例可根据但不限于所述子像素级目标偏移距离确定用于使压电材料部发生相应机械形变所需的电场控制信息，根据所述电场控制信息控制作用在压电材料部的电场，使得所述压电材料部发生相应的机械形变，通过所述压电材料部的机械形变相应调整图像传感器的像素点分布，由此达到根据所述子像素级目标偏移距离调整所述图像传感器的像素密度分布的目的。所述压电材料可包括但不限于以下至少之一：压电陶瓷、压电晶体。该方案可充分利用压电材料的物理特性来调整图像传感器的像素点分布。
所述电活性聚合物(Electroactive Polymers，简称EAP)是一类能够在电场作用下改变其形状或大小的聚合物材料。采用所述电活性聚合物制备的可控变形材料部以下称为电活性聚合物部。利用所述电活性聚合物的这一物理特性，本申请实施例可根据但不限于所述子像素级目标偏移距离确定用于使电活性聚合物部发生相应形变所需的电场控制信息，根据所述电场控制信息控制作用在电活性聚合物层的电场，使得所述电活性聚合物层发生相应的形变，通过所述电活性聚合物层的形变相应调整图像传感器的像素点分布，由此达到根据所述子像素级目标偏移距离调整图像传感器的像素点分布的目的。所述电活性聚合物可包括但不限于以下至少之一：电子型电活性聚合物、离子型电活性聚合物；所述电子型电活性聚合物包括以下至少之一：铁电体聚合物(如聚偏氟乙烯等)、电致伸缩接枝弹性体、液晶弹性体；所述离子型电活性聚合物包括以下至少之一：电流变液、离子聚合物-金属复合材料等。该方案可充分利用电活性聚合物的物理特性来调整图像传感器的像素点分布。
所述光致形变材料是一类能够在光场作用下改变其形状或大小的高分子材料。采用所述光致形变材料制备的可控变形材料部以下称为光致形变材料部。利用所述光致形变材料的这一物理特性，本申请实施例可根据但不限于所述子像素级目标偏移距离确定光致形变材料部发生相应形变所需的光场控制信息，根据所述光场控制信息控制作用在所述光致形变材料部的光场，使得所述光致形变材料部发生相应的形变。通过所述光致形变材料部的形变相应调整图像传感器的像素点分布，由此达到根据所述子像素级目标偏移距离调整所述图像传感器的像素点分布的目的。所述光致形变材料可包括但不限于以下至少之一：光致伸缩铁电陶瓷、光致形变聚合物；所述光致伸缩铁电陶瓷包括但不限于锆钛酸铅镧(PLZT)陶瓷，光致形变聚合物包括但不限于光致形变液晶弹性体)。该方案可充分利用光致形变材料的物理特性来调整图像传感器的像素点分布。
所述磁致伸缩材料是一类能够在磁场作用下改变其磁化状态，进而使其尺寸发生变化的磁性材料。采用所述磁致形变材料制备的可控变形材料部以下称为磁致形变材料部。利用所述磁致伸缩材料的这一物理特性，本申请实施例可根据但不限于所述子像素级目标偏移距离确定磁致伸缩材料发生相应形变所需的磁场控制信息，根据所述磁场控制信息控制作用在所述磁致形变材料部的磁场，使得所述磁致形变材料部发生相应的形变。通过所述磁致形变材料部的形变相应调整图像传感器的像素点分布，由此达到根据所述子像素级目标偏移距离调整所述图像传感器的像素点分布的目的。所述磁致形变材料可包括但不限于稀土超磁致伸缩材料，如以(Tb,Dy)Fe2化合物为基体的合金Tbo0.3Dy0.7Fe1.95材料等。该方案可充分利用磁致形变材料的物理特性来调整图像传感器的像素点分布。
本申请实施例提供的技术方案中，各图像传感器像素和可控变形材料部的具体结构和连接方式可根据实际需要确定，实际方式非常灵活。
一种可选的实现方式，如图1b所示，所述可控变形材料部12包括：一可控变形材料层121，多个所述图像传感器像素11阵列分布且连接在所述可控变形材料层121的一面。可选的，可根据实际工艺条件选择将多个所述图像传感器像素直接形成于所述可控变形材料层12上，或者，多个所述图像传感器像素与所述可控变形材料层12可分别制备且二者可采用但不限于粘接的方式紧密连接。该方案结构简单、易实现。
另一种可选的实现方式，如图1c所示，所述可控变形材料部12包括多个可控变形材料连接子部122，多个所述可控变形材料连接子部122阵列分布，以对应连接阵列分布的多个所述图像传感器像素11，即阵列分布的多个所述图像传感器像素通过阵列分布的多个所述可控变形材料连接子部连接为一体。可选的，可根据实际工艺在图像传感器像素阵列的像素的间隔区域形成多个所述可控变形材料连接子部，多个所述可控变形材料连接子部与相应图像传感器像素可以采用但不限于抵接、粘接等方式连接。通过控制多个所述可控变形材料连接子部的形变即可调整图像传感器的像素点分布，结构简单，易实现。
进一步，如图1d和图1e所示，所述图像传感器还可包括：形变控制部13，形变控制部13用于调节作用到所述可控变形材料部12的所述外场的分布，以控制所述可控变形材料部12发生相应的形变，这样，当所述可控变形材料部12发生形变，就会相应调整各图像传感器像素11之间的间距，由此改变图像传感器11的像素点分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素点分布的效果。
可选的，如图1d所示，所述形变控制部可包括光场控制部131，光场控制部131用于调节作用到所述可控变形材料部12的外部光场分布，以控制所述可控变形材料部12发生相应的形变。该情形下，所述可控变形材料部12可包括至少由光致形变材料制备而成的光致形变材料部，如所述光致形变材料部可包括至少由所述光致形变材料制备而得的光致形变材料层，或者，所述可控变形材料部可包括至少由所述光致形变材料制备而得的多个光致形变材料连接子部。光场控制部131通过改变作用在所述光致形变材料部的光场分布(图1d中通过箭头疏密表示作用在所述可控变形材料部12不同强度分布的光场)，来激励所述可控变形材料部12的不同区域发生不同程度的形变，并通过所述可控变形材料部12的形变相应各图像传感器像素11之间的间距，由此改变图像传感器11的像素点分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素点分布的效果。
可选的，如图1e所示，所述形变控制部可包括电场控制部132，电场控制部132用于调节作用到所述可控变形材料部的外部电场分布，以控制所述可控变形材料部发生相应的形变。该情形下，所述可控变形材料部12可包括至少由压电材料制备而成的压电材料部(如压电材料层或者压电材料连接子部，等等)，或者，所述可控变形材料部12可包括至少由电活性聚合物制备而成的电活性聚合物部(如电活性聚合物层或者电活性聚合物连接子部，等等)。如图1e所示，可通过控制线连接电场控制部和可控变形材料，电场控制部132通过改变作用在所述可控变形材料部的电场分布，来激励所述可控变形材料部12的不同区域发生不同程度的形变。如果作用在所述可控变形材料部12电场为零电场，则所述可控变形材料部不发生形变(不妨称为零电场激励)；如果改变作用在所述可控变形材料部12的电场强弱分布(如图中所示的“+”正电场激励和“-”负电场激励)，使得作用在所述可控变形材料部12不同区域的电场强度有所差异，如图1f所示，这样，所述可控变形材料部的不同区域可发生不同程度的形变，并通过所述可控变形材料部12的形变相应调整各图像传感器像素11之间的间距，由此改变图像传感器的整体像素点分布，达到可根据实际需要赋予图像传感器不同区域以差异化像素点分布的效果。
本申请实施例中所述可控变形部与形变控制部可直接连接，也可间接连接。所述形变控制部可作为所述图像传感器的一部分，或者，所述形变控制部也可不作为所述图像传感器的一部分，所述图像传感器也可预留管脚、接口等方式与所述形变控制部连接。作用在所述可控变形材料部上的外场可包括但不限于电场、磁场、光场等。用于产生电场的硬件、软件结构，用于产生磁场的硬件、软件结构、以及用于产生光场的硬件、软件结构等，可根据实际需要采用相应的现有技术实现，本申请实施例在此不再赘述。
可选的，所述图像传感器还可包括柔性衬底，所述柔性衬底可包括但不限于柔性塑料衬底，其具有一定的柔性，可根据需要改变柔性衬底的形状。图像传感器像素、可控变形材料部可设柔性衬底的同侧或不同侧。例如：如图1g所示，多个所述图像传感器像素11连接于柔性衬底14的一面，可控变形材料部(如可控变形材料层121)连接于柔性衬底14的另一面。又例如：如图1h所示，多个所述图像传感器像素11连接于柔性衬底14的一面，可控变形材料部(如可控变形材料连接子部122)连接相应的图像传感器像素且与所述图形传感器像素11位于所述柔性衬底14的同一面。该方案不仅可以通过作用在可控变形材料部的外场控制其发生形变来间接调整图像传感器的整体像素点分布，实现图像传感器的像度密度可调，还可因其采用了柔性衬底灵活改变图像传感器的形状，如将平面的图像传感器弯曲一定角度以得到曲面的图像传感器，由此满足多样化图像采集、装饰等应用需求。
图1i为本申请实施例提供第七种像素密度可调的图像传感器的结构示意图。如图1i所示的图像传感器中，所述可控变形材料部12包括：柔性衬底123和多个导磁材料部124；多个图像传感器像素11分别与柔性衬底123连接，至少部分图像传感器像素11上连接有多个导磁材料部124，通过改变作用在导磁材料部124的磁场使柔性衬底123发生相应形变、并通过所述形变相应调整多个所述图像传感器像素11的密度分布。例如：可在每个图像传感器像素的侧面设置一导磁材料部124，可选的，图像传感器像素11分别与柔性衬底123和导磁材料部124粘接。所述导磁材料部可包括导磁材料制备的磁极，所述导磁材料可以但不限于使用软磁性材料、硅钢片，坡莫合金，铁氧体，非晶态软磁合金、超微晶软磁合金等中的一种或多种。采用软磁性材料作制备的所述导磁材料部导磁性能较好，磁场撤销后剩磁很小便于下一次调整。
进一步，可选的，本申请实施例所述的形变控制部13还可包括：磁场控制部133，磁场控制部133用于调节作用到所述可控变形材料部的外部磁场分布，以控制所述可控变形材料部发生相应的形变。例如，当磁场控制部133控制作用在导磁材料部124上的磁场(即激励磁场)发生变化时，如图1i所示的相邻图像传感器像素之间施加一定磁场强弱分布的同磁极(NN或SS)排斥磁场或异磁极(NS或SN)吸引磁场，磁极之间会相应产生排斥力或吸引力，该磁力作用传递到柔性衬底123使柔性衬底123发生伸缩等变形，进而导致相应图像传感器像素之间的间距发生改变，实现调整图像传感器像素点分布的目的。该方案结合柔性衬底的可伸缩等形变特性以及磁场控制原理，实现图像传感器上的像素点分布可调。
图1j为本申请实施例提供第八种像素密度可调的图像传感器的结构示意图。如图1j所示的图像传感器中，所述可控变形材料部12包括：柔性衬底123和多个导磁材料部124；多个导磁材料部124的一面分别与所述柔性衬底123连接，多个所述导磁材料部124的相对面分别对应连接多个所述图像传感器像素11，通过改变作用在所述导磁材料部124的磁场使所述柔性衬底11发生相应形变、并通过所述形变相应调整多个所述图像传感器像素11的密度分布。可选的，导磁材料部124与柔性衬底123粘接、图像传感器像素11与导磁材料部124粘接，当柔性衬底123发生当作用在导磁材料部124上的磁场发生变化时，磁力作用传递到柔性衬底123使柔性衬底123发生伸缩等变形，进而实现调整图像传感器像素点分布的目的。该方案结合柔性衬底的可伸缩等形变特性以及磁场控制原理，实现图像传感器上的像素点分布可调。
本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。
图5为本申请实施例提供的一种超分辨率图像的获取装置的逻辑框图。如图5所示，本申请实施例提供的一种超分辨率图像的获取装置包括：一目标偏移距离确定模块51、一像素点分布调节模块52、一图像获取模块53和一超分辨率图像获取模块54。
目标偏移距离确定模块51用于确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部。
像素点分布调节模块52用于根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布。各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离等于所述子像素级目标偏移距离，或者，各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离与所述子像素级目标偏移距离的差值，落入预定容许误差范围。
图像获取模块53用于基于调节后的所述各相机分别获取待摄场景的图像。
超分辨率图像获取模块54用于根据获取的各图像获取所述待摄场景的一超分辨率图像。
本申请实施例提供的超分辨率图像的获取装置可在但不限于拍照、摄像、摄影、视频监控等应用过程中通过执行该超分辨率图像的获取方法进行静态或动态的图像处理控制。所述超分辨率图像的获取装置的设备表现形式不受限制，例如所述超分辨率图像的获取装置可为某一独立的部件，该部件与相机阵列配合通信；或者，所述超分辨率图像的获取装置可作为某一功能模块集成在一相机阵列中，本申请实施例对此并不限制。
本申请实施例提供的技术方案，可充分利用相机阵列的各图像传感器的整体像素来差异化采集待摄场景稍有视野偏差的多幅图像，具体而言，可根据任两个相邻相机的图像传感器分别对应待摄场景的第一区的待调节区相应逻辑像素点的子像素级目标偏移距离，对所述相机阵列中各相机的图像传感器的像素点分布进行调整，使得在满足所述子像素级目标偏移距离的条件下各图像传感器对应所述第一区的成像区域的像素点数量更多，也就是说，将各图像传感器的像素点在满足所述子像素级目标偏移距离的情形下将像素点尽可能多的集中在所述第一区内，以使各图像传感器在满足超分辨率图像所需的子像素级偏移的基础上，增加待调节区的像素点来提高图像采集效率，从而增加各图像传感器获取的各图像中对应所述第一区的子图像的分辨率、且相邻相机获取的各图像之间存在与子像素级目标偏移距离对应的视野偏差，进而提高了获取的超分辨率图像中对应所述第一区的子图像的成像质量。
可选的，如图6所示，所述获取装置还包括：一缺省偏移距离获取模块55。缺省偏移距离获取模块55用于获取所述任两个相邻相机的图像传感器中相应逻辑像素点的缺省子像素级偏移距离。该情形下，所述目标偏移距离确定模块51包括：第一目标偏移距离确定子模块511；第一目标偏移距离确定子模块511用于至少根据所述缺省子像素级偏移距离确定所述子像素级目标偏移距离，以使所述子像素级目标偏移距离小于所述缺省子像素级偏移距离。该方案在确定所述子像素级目标像素偏移距离时考虑了相机阵列已有的缺省子像素级偏移距离，确定的所述子像素级目标偏移距离小于所述缺省子像素级偏移距离，使得各图像传感器对应所述第一区的成像区域的任两个相邻像素点的中心距离小于所述缺省子像素级偏移距离，也就是说，在满足子像素偏移距离的条件下调整后各图像传感器对应所述第一区的成像区域的相邻像素点的数量增加了，相邻像素点的间距减小了，由此可将各图像传感器的像素点进行重新分布，使得各图像传感器能有更多的像素点来采集待摄场景的所述第一区的图像信息，提高各图像传感器单独采集到的图像的针对性和效率，也提高了基于各个图像获取的超分辨率图像中与所述第一区对应的子图像的分辨率和信噪比，由此更好满足用户或设备等主体的多样化应用需求。
可选的，所述目标偏移距离确定模块51包括：一第二目标偏移距离确定子模块512；第二目标偏移距离确定子模块512用于至少根据一个或多个相机的图像传感器任两个相邻像素点中心之间的距离，确定所述子像素级目标偏移距离。该方案有利于获得更多的有效像素点信息来获取一超分辨率图像，由此提高所述超分辨率图像对应所述第一区的子图像的图像质量。
可选的，所述获取装置还包括：一第一区确定模块56。第一区确定模块56用于确定所述第一区。该方案可根据实际需要预先确定当前待摄场景的局部为所述第一区，可更好满足用户个性化的应用需求。
可选的，如图7所示，所述第一区确定模块56包括：一感兴趣区确定信息获取子模块561和一感兴趣区确定子模块562。感兴趣区确定信息获取子模块561用于基于所述相机阵列关于所述待摄场景的预览图像获取感兴趣区确定信息；感兴趣区确定子模块562用于确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。该方案根据所述预览图像的感兴趣区确定待摄场景中与之对应的局部为所述第一区，使得所述第一区的确定与实际用户需求更为吻合，可更好满足用户个性化的应用需求。
可选的，所述第一区确定模块56包括：一图像分析子模块563和一第一区确定子模块564。图像分析子模块563用于对所述相机阵列关于所述待摄场景的预览图像进行图像分析；第一区确定子模块564用于根据所述图像分析结果确定所述第一区。该方案可根据所述预览图像的图像分析结果确定待摄场景中与之对应的区域为所述第一区，使得所述第一区的确定更为智能，提高所述第一区确定的效率和普适性。
可选的，如图8所示，所述像素点分布调节模块52包括：一形变控制信息确定子模块521和一形变控制子模块522。形变控制信息确定子模块521用于根据所述子像素级目标偏移距离确定所述各相机的图像传感器的可控变形材料部的形变控制信息；形变控制子模块522用于根据所述形变控制信息控制各所述可控变形材料部发生形变，以通过各所述可控变形材料部的形变相应调整所述各相机的图像传感器的像素点分布。该方案通过控制可控变形材料部的形变来调节所述图像传感器的像素点分布，方案简单易实现。所述可控变形材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材料。
图9为本申请实施例提供的另一种光场采集控制装置的结构框图，本申请具体实施例并不对光场采集控制装置900的具体实现方式做限定。如图9所示，光场采集控制装置900可以包括：
处理器(Processor)910、通信接口(Communications Interface)920、存储器(Memory)930、以及通信总线940。其中：
处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。
通信接口920，用于与比如具有通信功能的设备、外部光源等通信。
处理器910，用于执行程序932，具体可以执行上述任一光场采集控制方法实施例中的相关步骤。
例如，程序932可以包括程序代码，所述程序代码包括计算机操作指令。
处理器910可能是一个中央处理器(Central Processing Unit，简称CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器930，用于存放程序932。存储器930可能包含随机存取存储器(RandomAccess Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile memory)，例如至少一个磁盘存储器。
例如，在一种可选的实现方式中，处理器910通过执行程序932可执行以下步骤：确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为所述待摄场景的至少局部；根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布；基于调节后的所述各相机分别获取待摄场景的图像；根据获取的各图像获取所述待摄场景的一超分辨率图像。
在其他可选的实现方式中，处理器910通过执行程序932还可执行上述其他任一实施例提及的步骤，在此不再赘述。
程序932中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
可选的，所述相机阵列中任一相机的图像传感器可采用上文所述的柔性图像传感器。或者，所述图像传感器还可包括：阵列分布的多个图像传感器像素；一可控变形材料部，分别与多个所述图像传感器像素连接；所述可控变形材料部在外场作用下可发生形变、并通过所述形变相应调整多个所述图像传感器像素的密度分布；所述外场由所述成像控制装置控制。
有关所述图像传感器的结构可参见图1b-图1j的相应记载，所述超分辨率图像的获取装置可直接控制所述外场来控制所述可控变形材料部的形变，进而调整相应图像传感器的像素点分布；或者，所述超分辨率图像的获取装置可通过控制所述形变控制部来间接控制外场，使得所述可控变形材料部发生相应形变以相应调整所述图像传感器的像素点分布；等等。所述图像传感器像素和所述变形材料部的物理连接方式，可根据实际需要确定，只要满足在所述变形材料部发生形变时可调整所述图像传感器的像素密度分布即可，本申请实施例对此并不限制，具体实现方式可参见上文的相应记载，在此不再赘述。
在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (20)

1.一种超分辨率图像的获取方法，其特征在于，包括：
确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为待摄场景的至少局部；
根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布，所述图像传感器为像素密度可调的图像传感器；
基于调节后的所述各相机分别获取待摄场景的图像；
根据获取的各图像获取所述待摄场景的一超分辨率图像。
2.根据权利要求1所述的获取方法，其特征在于，
所述获取方法还包括：获取所述任两个相邻相机的图像传感器中相应逻辑像素点的缺省子像素级偏移距离；
确定所述子像素级目标偏移距离，包括：至少根据所述缺省子像素级偏移距离确定所述子像素级目标偏移距离，以使所述子像素级目标偏移距离小于所述缺省子像素级偏移距离。
3.根据权利要求2所述的获取方法，其特征在于，确定所述子像素级目标偏移距离，包括：至少根据一个或多个相机的图像传感器任两个相邻像素点中心之间的距离，确定所述子像素级目标偏移距离。
4.根据权利要求1或2所述的获取方法，其特征在于，所述获取方法还包括：确定所述第一区。
5.根据权利要求4所述的获取方法，其特征在于，确定所述第一区，包括：
基于所述相机阵列关于所述待摄场景的预览图像获取感兴趣区确定信息；
确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
6.根据权利要求4所述的获取方法，其特征在于，确定所述第一区，包括：
对所述相机阵列关于所述待摄场景的预览图像进行图像分析；
根据所述图像分析结果确定所述第一区。
7.根据权利要求1-3任一所述的获取方法，其特征在于，各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离等于所述子像素级目标偏移距离。
8.根据权利要求1-3任一所述的获取方法，其特征在于，各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离与所述子像素级目标偏移距离的差值，落入预定容许误差范围。
9.根据权利要求1所述的获取方法，其特征在于，根据所述子像素级目标偏移距离调节所述各相机的图像传感器的像素点分布，包括：
根据所述子像素级目标偏移距离确定所述各相机的图像传感器的可控变形材料部的形变控制信息；
根据所述形变控制信息控制各所述可控变形材料部发生形变，以通过各所述可控变形材料部的形变相应调整所述各相机的图像传感器的像素点分布。
10.根据权利要求9所述的获取方法，其特征在于，所述可控变形材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材料。
11.一种超分辨率图像的获取装置，其特征在于，包括：
一目标偏移距离确定模块，用于确定相机阵列的任两个相邻相机的图像传感器各自的待调节区内，相应逻辑像素点的子像素级目标偏移距离，各所述待调节区为各图像传感器分别对应第一区的成像区域，所述第一区为待摄场景的至少局部；
一像素点分布调节模块，用于根据所述子像素级目标偏移距离调节所述相机阵列中各相机的图像传感器的像素点分布，所述图像传感器为像素密度可调的图像传感器；
一图像获取模块，用于基于调节后的所述各相机分别获取待摄场景的图像；
一超分辨率图像获取模块，用于根据获取的各图像获取所述待摄场景的一超分辨率图像。
12.根据权利要求11所述的获取装置，其特征在于，
所述获取装置还包括：一缺省偏移距离获取模块，用于获取所述任两个相邻相机的图像传感器中相应逻辑像素点的缺省子像素级偏移距离；
所述目标偏移距离确定模块包括：第一目标偏移距离确定子模块，用于至少根据所述缺省子像素级偏移距离确定所述子像素级目标偏移距离，以使所述子像素级目标偏移距离小于所述缺省子像素级偏移距离。
13.根据权利要求11所述的获取装置，其特征在于，
所述目标偏移距离确定模块包括：一第二目标偏移距离确定子模块，用于至少根据一个或多个相机的图像传感器任两个相邻像素点中心之间的距离，确定所述子像素级目标偏移距离。
14.根据权利要求11-13任一所述的获取装置，其特征在于，所述获取装置还包括：
一第一区确定模块，用于确定所述第一区。
15.根据权利要求14所述的获取装置，其特征在于，所述第一区确定模块包括：
一感兴趣区确定信息获取子模块，用于基于所述相机阵列关于所述待摄场景的预览图像获取感兴趣区确定信息；
一感兴趣区确定子模块，用于确定所述待摄场景中与所述感兴趣区确定信息对应的区域为所述第一区。
16.根据权利要求14所述的获取装置，其特征在于，所述第一区确定模块包括：
一图像分析子模块，用于对所述相机阵列关于所述待摄场景的预览图像进行图像分析；
一第一区确定子模块，用于根据所述图像分析结果确定所述第一区。
17.根据权利要求11-13任一所述的获取装置，其特征在于，各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离等于所述子像素级目标偏移距离。
18.根据权利要求11-13任一所述的获取装置，其特征在于，各所述待调节区内调节后相应逻辑像素点的实际像素偏移距离与所述子像素级目标偏移距离的差值，落入预定容许误差范围。
19.根据权利要求11所述的获取装置，其特征在于，所述像素点分布调节模块包括：
一形变控制信息确定子模块，用于根据所述子像素级目标偏移距离确定所述各相机的图像传感器的可控变形材料部的形变控制信息；
一形变控制子模块，用于根据所述形变控制信息控制各所述可控变形材料部发生形变，以通过各所述可控变形材料部的形变相应调整所述各相机的图像传感器的像素点分布。
20.根据权利要求19所述的获取装置，其特征在于，所述可控变形材料部至少由以下一种或多种可控变形材料制备而成：压电材料、电活性聚合物、光致形变材料、磁致伸缩材料。
CN201410522902.1A 2014-09-30 2014-09-30 超分辨率图像的获取方法和获取装置 Active CN104320596B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410522902.1A CN104320596B (zh) 2014-09-30 2014-09-30 超分辨率图像的获取方法和获取装置
PCT/CN2015/089312 WO2016050135A1 (en) 2014-09-30 2015-09-10 Super-resolution image acquisition methods and acquisition apparatus
US15/510,867 US10104317B2 (en) 2014-09-30 2015-09-10 Super-resolution image acquisition methods and acquisition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410522902.1A CN104320596B (zh) 2014-09-30 2014-09-30 超分辨率图像的获取方法和获取装置

Publications (2)

Publication Number Publication Date
CN104320596A CN104320596A (zh) 2015-01-28
CN104320596B true CN104320596B (zh) 2017-11-21

Family

ID=52375759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410522902.1A Active CN104320596B (zh) 2014-09-30 2014-09-30 超分辨率图像的获取方法和获取装置

Country Status (3)

Country Link
US (1) US10104317B2 (zh)
CN (1) CN104320596B (zh)
WO (1) WO2016050135A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320596B (zh) 2014-09-30 2017-11-21 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置
CN106604000A (zh) * 2015-10-16 2017-04-26 惠州Tcl移动通信有限公司 拍摄装置和拍摄方法
EP3411424B1 (en) 2016-02-05 2024-01-10 Stratasys Ltd. Three-dimensional inkjet printing using polyamide-forming materials
US11079388B2 (en) * 2016-04-26 2021-08-03 Ultivue, Inc. Super-resolution immunofluorescence with diffraction-limited preview
WO2018127611A1 (en) 2017-04-06 2018-07-12 Dsm Ip Assets B.V. Self-guiding integration construct (sgic)
CN107767341A (zh) * 2017-11-08 2018-03-06 北方工业大学 基于阵列镜头的图像超分辨率重建方法
CN107945110A (zh) * 2017-11-17 2018-04-20 杨俊刚 一种针对光场阵列相机的盲深度超分辨率计算成像方法
CN112088215A (zh) 2018-05-09 2020-12-15 帝斯曼知识产权资产管理有限公司 Crispr瞬时表达构建体(ctec)
CN110035206B (zh) * 2019-03-26 2020-12-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112874437B (zh) * 2019-11-29 2022-10-11 上海汽车集团股份有限公司 一种图像显示系统及机动车辆
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
CN114009005A (zh) * 2020-06-29 2022-02-01 深圳市大疆创新科技有限公司 红外图像处理方法、电子设备及计算机可读存储介质
WO2023274404A1 (en) * 2021-07-01 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Application of super resolution
CN117206423B (zh) * 2023-11-02 2024-04-05 江苏富松模具科技有限公司 一种电机定转子的多工位进模管控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129411A (ja) * 2004-11-01 2006-05-18 Hiroshi Arai リコンフィギュラブル・イメージセンサ
CN102037717A (zh) * 2008-05-20 2011-04-27 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
CN102201422A (zh) * 2011-04-26 2011-09-28 格科微电子（上海）有限公司 凹面cmos图像传感器及其制造方法
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN103999123A (zh) * 2011-12-16 2014-08-20 特斯托股份公司 用于生成图像分辨率更佳的超分辨率图像的方法及测量装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7420592B2 (en) * 2004-06-17 2008-09-02 The Boeing Company Image shifting apparatus for enhanced image resolution
US7742090B2 (en) 2006-12-22 2010-06-22 Palo Alto Research Center Incorporated Flexible segmented image sensor
IL188825A0 (en) * 2008-01-16 2008-11-03 Orbotech Ltd Inspection of a substrate using multiple cameras
US9288395B2 (en) * 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization
CN104320596B (zh) * 2014-09-30 2017-11-21 北京智谷技术服务有限公司 超分辨率图像的获取方法和获取装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129411A (ja) * 2004-11-01 2006-05-18 Hiroshi Arai リコンフィギュラブル・イメージセンサ
CN102037717A (zh) * 2008-05-20 2011-04-27 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
CN102201422A (zh) * 2011-04-26 2011-09-28 格科微电子（上海）有限公司 凹面cmos图像传感器及其制造方法
CN103999123A (zh) * 2011-12-16 2014-08-20 特斯托股份公司 用于生成图像分辨率更佳的超分辨率图像的方法及测量装置
CN103489173A (zh) * 2013-09-23 2014-01-01 百年金海科技有限公司 一种视频图像超分辨率重建方法
CN103489173B (zh) * 2013-09-23 2016-08-17 百年金海科技有限公司 一种视频图像超分辨率重建方法

Also Published As

Publication number Publication date
CN104320596A (zh) 2015-01-28
US20170280070A1 (en) 2017-09-28
US10104317B2 (en) 2018-10-16
WO2016050135A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
CN104320596B (zh) 超分辨率图像的获取方法和获取装置
CN105530423B (zh) 超分辨率图像的获取方法和获取装置
CN104159025B (zh) 图像采集控制方法和装置、图像采集设备
CN104363380B (zh) 图像采集控制方法和装置
US10341594B2 (en) Light field capture control methods and apparatuses, light field capture devices
CN104157660B (zh) 像素密度可调的图像传感器及其像素密度调整方法
US10356349B2 (en) Light field capture control methods and apparatuses, light field capture devices
CN104301605B (zh) 数码变焦图像的成像控制方法和装置、成像设备
CN104363381B (zh) 图像采集控制方法和装置
US10283092B2 (en) Image display control methods and apparatus, and display devices
US20180033356A1 (en) Display control methods and apparatuses, display devices
CN105450924A (zh) 超分辨率图像的获取方法和装置
CN104159038B (zh) 浅景深效果图像的成像控制方法和装置及成像设备
CN104459987A (zh) 像素密度可调的显示器及显示像素密度调整方法
CN104486555A (zh) 图像采集控制方法和装置
WO2016112819A1 (en) Time division display control methods and apparatuses and display devices
CN104410845A (zh) 光通信发送方法和装置、接收方法和装置、光通信系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant