[go: up one dir, main page]

CN118828207A - 一种图像防抖方法及防抖系统 - Google Patents

一种图像防抖方法及防抖系统 Download PDF

Info

Publication number
CN118828207A
CN118828207A CN202411289273.2A CN202411289273A CN118828207A CN 118828207 A CN118828207 A CN 118828207A CN 202411289273 A CN202411289273 A CN 202411289273A CN 118828207 A CN118828207 A CN 118828207A
Authority
CN
China
Prior art keywords
frame image
displacement
image
jitter
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202411289273.2A
Other languages
English (en)
Other versions
CN118828207B (zh
Inventor
刘征
姚平
宋小民
谢超平
李怡
杨俊�
虞建
王友全
王玮
王曼
吴成志
李毅
姚玉立
刘彬
张咔
郑慧明
孙忠武
邓义斌
李新宇
王正雄
陆俊
郭竹修
郭建兵
赵周丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Guochuang Innovation Vision Ultra Hd Video Technology Co ltd
Original Assignee
Sichuan Guochuang Innovation Vision Ultra Hd Video Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Guochuang Innovation Vision Ultra Hd Video Technology Co ltd filed Critical Sichuan Guochuang Innovation Vision Ultra Hd Video Technology Co ltd
Priority to CN202411289273.2A priority Critical patent/CN118828207B/zh
Publication of CN118828207A publication Critical patent/CN118828207A/zh
Application granted granted Critical
Publication of CN118828207B publication Critical patent/CN118828207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像防抖方法及防抖系统,涉及图像处理技术领域,包括对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,第一帧图像和第二帧图像间具有重叠区域;对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,位移包括相机移动的物理位移和抖动产生的抖动位移;基于所有匹配的特征点对估计第一帧图像和第二帧图像间的全局变换矩阵;基于第一帧图像和第二帧图像间的全局变换从位移中剥离物理位移,并根据完成剥离后的抖动位移对第二帧图像进行位移补偿,本发明通过优化特征点匹配算法、增强全局运动估计的鲁棒性,并引入精确的抖动位移计算方法,实现了更加准确、高效的图像防抖效果。

Description

一种图像防抖方法及防抖系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像防抖方法及防抖系统。
背景技术
在数字图像处理领域,特别是在视频捕捉和实时传输过程中,图像防抖技术是一项至关重要的技术。随着高清乃至超高清视频内容的普及,用户对于视频质量的要求日益提高,尤其是在手持拍摄或运动拍摄场景中,相机的抖动往往会导致视频画面模糊、抖动,严重影响观看体验。因此,如何有效减少或消除因相机抖动引起的图像不稳定,成为当前图像处理领域亟待解决的技术问题。
传统的图像防抖方法主要依赖于硬件手段,如通过机械或光学防抖装置来减少相机在拍摄过程中的物理抖动。然而,这类方法存在成本高、结构复杂、难以在小型设备上实现等局限性。
因此,有必要提供一种图像防抖方法及防抖系统解决上述技术问题。
发明内容
为解决上述技术问题,本发明提供一种图像防抖方法及防抖系统,通过优化特征点匹配算法、增强全局运动估计的鲁棒性,并引入精确的抖动位移计算方法,实现了更加准确、高效的图像防抖效果。
本发明提供了一种图像防抖方法,所述防抖方法包括以下步骤:
S1:对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,所述第一帧图像和所述第二帧图像间具有重叠区域;
S2:对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,所述位移包括相机移动的物理位移和抖动产生的抖动位移;
S3:基于所有匹配的特征点对估计所述第一帧图像和所述第二帧图像间的全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和所述第二帧图像间由于相机移动而产生的物理位移;
S4:基于所述第一帧图像和所述第二帧图像间的全局变换从所述位移中剥离所述物理位移,并根据完成剥离后的抖动位移对所述第二帧图像进行位移补偿。
优选的,步骤S1包括以下步骤:
S11:对所述第一帧图像和所述第二帧图像进行预处理,其中,所述预处理包括灰度化、降噪和图像增强;
S12:采用特征点检测算法在所述第一帧图像和所述第二帧图像中分别检测特征点;
S13:利用特征描述符对检测到的特征点进行描述,并通过特征描述符间的相似度匹配,以在所述第一帧图像和所述第二帧图像间建立至少一个特征点对。
优选的,步骤S2包括以下步骤:
S21:对于每一对匹配的特征点对,计算特征点对在所述第一帧图像和所述第二帧图像中的坐标位置;
S22:基于所述坐标位置,利用几何变换计算得到特征点对间的位移。
优选的,步骤S3包括以下步骤:
S31:采用鲁棒性估计方法从所有匹配的特征点对中筛选出符合全局变换的内点;
S32:基于筛选出的内点,利用最小二乘法估计全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和第二帧图像间由于相机移动而产生的物理位移。
优选的,步骤S4包括以下步骤:
S41:对于每个匹配的特征点对,使用所述全局变换矩阵将计算得到的位移中的物理位移去除,保留抖动位移;
S42:根据所有特征点对剥离后的抖动位移计算出偏移量;
S43:根据所述偏移量对第二帧图像进行反方向的位移变换,以补偿由于抖动产生的位移,使第二帧图像在视觉上与第一帧图像保持对齐。
优选的,所述偏移量计算方法为:
对于所有匹配的特征点对,计算每个点对在X方向和Y方向上的抖动位移,并取所有抖动位移在X方向和Y方向上的平均值,以作为所述偏移量。
优选的,还包括:
将防抖处理后的所述第二帧图像与第一帧图像进行合成,以生成稳定的视频流。
本发明还提供了一种图像防抖系统,应用于一种图像防抖方法,所述防抖系统包括:
特征点匹配模块,用于对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,所述第一帧图像和所述第二帧图像间具有重叠区域;
位移计算模块,用于对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,所述位移包括相机移动的物理位移和抖动产生的抖动位移;
矩阵估计模块,用于基于所有匹配的特征点对估计所述第一帧图像和所述第二帧图像间的全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和所述第二帧图像间由于相机移动而产生的物理位移;
位移补偿模块,用于基于所述第一帧图像和所述第二帧图像间的全局变换从所述位移中剥离所述物理位移,并根据完成剥离后的抖动位移对所述第二帧图像进行位移补偿。
与相关技术相比较,本发明提供的一种图像防抖方法及防抖系统具有如下有益效果:
本发明通过特征点匹配技术,在连续帧图像间建立特征点对,这些特征点对能够准确反映图像间的对应关系,随后,通过计算特征点对间的位移,并结合全局变换矩阵的估计,将相机移动产生的物理位移与抖动产生的位移分离开来,最后,基于剥离后的抖动位移对图像进行位移补偿,从而实现图像的稳定。
本发明的图像防抖方法不仅提高了防抖的精度和效果,还能够在复杂场景下保持较高的稳定性和鲁棒性。
附图说明
图1为本发明提供的一种图像防抖方法的流程图;
图2为本发明提供的一种图像防抖方法的模块结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以互相组合。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序地处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
本发明提供了一种图像防抖方法,参考图1所示,所述防抖方法包括以下步骤:
S1:对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,所述第一帧图像和所述第二帧图像间具有重叠区域。
在本实施例中,步骤S1包括以下步骤:
S11:对所述第一帧图像和所述第二帧图像进行预处理,其中,所述预处理包括灰度化、降噪和图像增强。
在本实施例中,步骤S11是对第一帧图像和第二帧图像进行预处理,确保后续特征点检测与匹配准确性,预处理包括以下几个主要环节:
灰度化:将彩色图像转换为灰度图像,这一步骤能够减少图像处理的计算量,因为灰度图像仅包含亮度信息,而不包含颜色信息,同时,灰度化还能去除颜色对特征点检测的干扰,提高检测的准确性。
降噪:采用高斯滤波器对灰度图像进行降噪处理,降噪的目的是去除图像中的噪声点,这些噪声点可能会干扰特征点的检测,降噪处理能够提升图像的信噪比,使得特征点检测更加稳定可靠。
图像增强:对降噪后的图像进行增强处理,以提高图像的对比度和清晰度,这通常包括直方图均衡化、锐化等操作。图像增强能够突出图像中的边缘和纹理信息,使得特征点检测算法更容易找到稳定的特征点。
经过预处理后,图像的质量得到了显著提升,噪声得到了有效抑制,特征信息得到了增强。这为后续的特征点检测与匹配提供了良好的输入数据,有助于提高防抖处理的准确性和鲁棒性。
S12:采用特征点检测算法在所述第一帧图像和所述第二帧图像中分别检测特征点。
在本实施例中,采用特征点检测算法(包括但不限于SIFT、SURF、ORB)在第一帧图像和第二帧图像中分别检测特征点,特征点检测算法能够自动识别图像中的关键点,这些点通常是图像中局部信息变化较大的区域,如角点、边缘点等。
通过特征点检测,能够在第一帧图像和第二帧图像中分别找到一系列稳定的特征点,这些特征点将成为后续特征匹配和位移计算的基础,对于防抖处理至关重要。
S13:利用特征描述符对检测到的特征点进行描述,并通过特征描述符间的相似度匹配,以在所述第一帧图像和所述第二帧图像间建立至少一个特征点对。
在本实施例中,利用特征描述符对检测到的特征点进行描述,特征描述符是一种高维向量,用于表示特征点周围的局部图像信息,然后,通过计算特征描述符之间的相似度(可以采用包括但不限于欧氏距离和汉明距离来表示),在第一帧图像和第二帧图像之间建立特征点对。
特征点匹配能够找到两帧图像之间具有相似局部信息的特征点对,这些特征点对不仅包含了相机的物理位移信息,还包含了由于抖动产生的微小位移信息,通过特征点匹配,为后续计算位移和估计全局变换矩阵提供了可靠的数据基础。
S2:对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,所述位移包括相机移动的物理位移和抖动产生的抖动位移。
在本实施例中,步骤S2包括以下步骤:
S21:对于每一对匹配的特征点对,计算特征点对在所述第一帧图像和所述第二帧图像中的坐标位置。
在本实施例中,对于每一对通过特征描述符匹配得到的特征点对,首先需要确定这些特征点在各自所属帧(即第一帧图像和第二帧图像)中的具体坐标位置,具体为遍历已检测到的特征点列表,并利用特征点检测算法提供的位置信息来实现,其中,位置信息为像素坐标。
具体来说,可以使用以下步骤进行:
读取坐标:从特征点检测算法的输出中读取每个特征点的坐标值(xy)。
配对关联:根据特征点对匹配的结果,将第一帧图像中的特征点坐标与第二帧图像中对应匹配的特征点坐标进行关联。
存储坐标:将配对后的特征点对坐标存储起来,以便后续进行位移计算。
通过S21步骤,准确地获取了每一对匹配特征点在两帧图像中的具体坐标位置,这是后续计算特征点对间位移的基础,对于确保位移计算的精确性和准确性至关重要,准确的坐标信息能够反映出由于相机移动和抖动引起的真实图像变化,为后续的全局变换矩阵估计和抖动位移剥离提供了可靠的数据支持。
S22:基于所述坐标位置,利用几何变换计算得到特征点对间的位移。
在本实施例中,基于S21步骤得到的特征点对坐标位置,利用几何变换原理计算特征点对间的位移,具体为计算两点之间在二维空间中的欧几里得距离或向量差,以得出特征点在X方向和Y方向上的相对移动距离。
具体来说,可以使用以下步骤进行:
计算向量差:对于每一对特征点对,计算其在第二帧图像中的坐标与在第一帧图像中坐标的向量差。
确定位移:将向量差作为该特征点对间的位移,这个位移同时包含了相机移动的物理位移和抖动产生的抖动位移。
存储位移:将计算得到的每一对特征点对的位移存储起来,供后续步骤使用。
通过S22步骤计算出了每一对匹配特征点对间的位移,这个位移既包含了相机移动引起的物理位移,也包含了由于抖动产生的微小位移。这为后续的全局变换矩阵估计提供了必要的数据,同时也为剥离物理位移、保留抖动位移以便进行位移补偿打下了基础。
S3:基于所有匹配的特征点对估计所述第一帧图像和所述第二帧图像间的全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和所述第二帧图像间由于相机移动而产生的物理位移。
在本实施例中,步骤S3包括以下步骤:
S31:采用鲁棒性估计方法从所有匹配的特征点对中筛选出符合全局变换的内点。
在本实施例中,为了从所有匹配的特征点对中筛选出真正符合全局变换(即主要由相机移动引起的物理位移)的内点,本发明采用了鲁棒性估计方法,包括但不限于随机抽样一致性算法(RANSAC)和最大似然估计(MLESAC),这些方法能够有效地处理数据中的噪声和异常值,提高全局变换矩阵估计的准确性和鲁棒性。
示例性的,RANSAC算法会随机选取一小部分特征点对作为初始样本,假设这些点对都符合某个全局变换模型,并根据这些点对计算出初始的全局变换矩阵,然后,计算剩余特征点对在该变换矩阵下的误差(即实际位移与预测位移之间的差异),并将误差小于某个阈值的点对视为内点,认为它们真正符合全局变换,这个过程会重复多次,每次选取不同的初始样本,最终选择内点数量最多或误差总和最小的变换矩阵作为最终结果。
通过筛选出符合全局变换的内点,可以排除由于误匹配、噪声或抖动等原因产生的异常值,从而提高全局变换矩阵估计的准确性。
S32:基于筛选出的内点,利用最小二乘法估计全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和第二帧图像间由于相机移动而产生的物理位移。
在本实施例中,基于步骤S31筛选出的内点,采用最小二乘法来估计全局变换矩阵,具体的,最小二乘法是一种数学优化技术,它通过最小化误差的平方和来寻找数据的最佳函数匹配,在这里,误差是指内点在实际变换与假设的全局变换之间的位移差异。
具体实现时,首先根据内点的坐标位置构建一个超定方程组(即方程数量多于未知数的方程组),其中未知数是全局变换矩阵的参数,然后,利用最小二乘法求解该方程组,得到全局变换矩阵的最优估计。
通过最小二乘法估计全局变换矩阵,可以精确地量化第一帧图像和第二帧图像之间由于相机移动而产生的物理位移;同时,准确的全局变换矩阵为后续从位移中剥离物理位移提供了坚实的基础,使得抖动位移的计算更加精确,从而优化防抖效果。
S4:基于所述第一帧图像和所述第二帧图像间的全局变换从所述位移中剥离所述物理位移,并根据完成剥离后的抖动位移对所述第二帧图像进行位移补偿。
在本实施例中,步骤S4包括以下步骤:
S41:对于每个匹配的特征点对,使用所述全局变换矩阵将计算得到的位移中的物理位移去除,保留抖动位移。
在本实施例中,对于每一对已经匹配并计算了位移的特征点对,使用之前步骤S3中估计得到的全局变换矩阵来分解这些位移。全局变换矩阵精确地描述了由相机移动(如平移、旋转等)引起的物理位移。通过将每个特征点对的位移向量与全局变换矩阵进行运算,可以从中剥离出由于相机物理移动导致的位移部分,而保留下仅由相机抖动产生的位移,即抖动位移。
通过该步骤使得后续步骤能够专注于对抖动位移的补偿,而不受相机物理移动的影响,通过精确剥离物理位移,提高了抖动位移估计的准确性和后续补偿的精度,从而增强了图像防抖的效果。
S42:根据所有特征点对剥离后的抖动位移计算出偏移量。
在本实施例中,基于所有特征点对剥离后的抖动位移,计算出一个整体的偏移量,这个偏移量代表了第二帧图像相对于第一帧图像由于抖动而产生的平均位移。具体计算方法是,对于所有匹配的特征点对,分别计算它们在X方向和Y方向上的抖动位移,然后对这些抖动位移在各自方向上取平均值,得到最终的偏移量。
通过计算偏移量,将复杂的抖动位移简化为一个统一的、易于处理的向量,为后续的图像位移补偿提供了直接依据,这个偏移量准确地反映了第二帧图像需要移动的距离和方向,以便与第一帧图像在视觉上保持对齐。
S43:根据所述偏移量对第二帧图像进行反方向的位移变换,以补偿由于抖动产生的位移,使第二帧图像在视觉上与第一帧图像保持对齐。
在本实施例中,根据步骤S42计算得到的偏移量,对第二帧图像进行反方向的位移变换。具体来说,就是将第二帧图像按照偏移量的相反方向移动相同的距离,以补偿由于抖动产生的位移。
通过位移补偿,第二帧图像中的像素被重新定位到它们在无抖动情况下应有的位置,从而在视觉上与第一帧图像保持对齐。这不仅消除了由于相机抖动导致的图像模糊和重影,还提高了视频的连贯性和观赏性。
此外,还包括:
将防抖处理后的所述第二帧图像与第一帧图像进行合成,以生成稳定的视频流。
本发明提供的一种图像防抖方法的工作原理如下:
首先,开始于对连续帧图像(即第一帧和第二帧)进行特征点匹配,这一步骤中,首先对图像进行预处理,包括灰度化以减少计算量、降噪以去除图像噪声干扰,以及图像增强以突出特征点,便于后续检测,随后,采用特征点检测算法在两帧图像中分别检测关键点,并通过特征描述符描述这些关键点,利用描述符间的相似度匹配在第一帧和第二帧之间建立特征点对,这些特征点对是后续分析相机运动和抖动的基础。
接下来,对每一对匹配的特征点对,计算它们在两帧图像中的坐标位置差异,这一差异即为特征点对间的位移,该位移是相机移动的物理位移与抖动产生的位移的叠加。
为了从混合的位移中分离出仅由相机移动引起的物理位移,方法采用全局变换矩阵的估计,这通过鲁棒性估计方法筛选出符合全局运动模型的内点(即主要由相机移动引起的位移的特征点对),并利用这些内点通过最小二乘法计算全局变换矩阵,该矩阵准确地描述了第一帧图像到第二帧图像之间由于相机移动而产生的物理位移。
一旦获得全局变换矩阵,就可以用它来从每对特征点对的位移中剥离出物理位移,从而保留仅由抖动产生的位移。这一步是防抖处理的核心,为后续补偿抖动位移提供了精确的数据。
随后,根据所有特征点对剥离后的抖动位移,计算出一个整体的偏移量,这个偏移量代表了第二帧图像相对于第一帧图像由于抖动而产生的平均位移,最后,使用这个偏移量对第二帧图像进行反方向的位移变换,以补偿抖动产生的位移,使第二帧图像在视觉上与第一帧图像保持对齐,从而达到防抖的效果。
最后,将防抖处理后的第二帧图像与第一帧图像进行合成,可以生成更为稳定的视频流,这一过程循环应用于连续的视频帧,能够显著提升视频的稳定性和观赏性。
实施例二
本发明还提供了一种图像防抖系统,应用于一种图像防抖方法,参考图2所示,所述防抖系统包括:
特征点匹配模块100,用于对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,所述第一帧图像和所述第二帧图像间具有重叠区域。
位移计算模块200,用于对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,所述位移包括相机移动的物理位移和抖动产生的抖动位移。
矩阵估计模块300,用于基于所有匹配的特征点对估计所述第一帧图像和所述第二帧图像间的全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和所述第二帧图像间由于相机移动而产生的物理位移。
位移补偿模块400,用于基于所述第一帧图像和所述第二帧图像间的全局变换从所述位移中剥离所述物理位移,并根据完成剥离后的抖动位移对所述第二帧图像进行位移补偿。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框,以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一种计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器,或者能够用于携带或存储数据的计算机可读的任何其他介质。
还需要说明的是,术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者还是包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (8)

1.一种图像防抖方法,其特征在于,所述防抖方法包括以下步骤:
S1:对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,所述第一帧图像和所述第二帧图像间具有重叠区域;
S2:对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,所述位移包括相机移动的物理位移和抖动产生的抖动位移;
S3:基于所有匹配的特征点对估计所述第一帧图像和所述第二帧图像间的全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和所述第二帧图像间由于相机移动而产生的物理位移;
S4:基于所述第一帧图像和所述第二帧图像间的全局变换从所述位移中剥离所述物理位移,并根据完成剥离后的抖动位移对所述第二帧图像进行位移补偿。
2.根据权利要求1所述的一种图像防抖方法,其特征在于,步骤S1包括以下步骤:
S11:对所述第一帧图像和所述第二帧图像进行预处理,其中,所述预处理包括灰度化、降噪和图像增强;
S12:采用特征点检测算法在所述第一帧图像和所述第二帧图像中分别检测特征点;
S13:利用特征描述符对检测到的特征点进行描述,并通过特征描述符间的相似度匹配,以在所述第一帧图像和所述第二帧图像间建立至少一个特征点对。
3.根据权利要求2所述的一种图像防抖方法,其特征在于,步骤S2包括以下步骤:
S21:对于每一对匹配的特征点对,计算特征点对在所述第一帧图像和所述第二帧图像中的坐标位置;
S22:基于所述坐标位置,利用几何变换计算得到特征点对间的位移。
4.根据权利要求3所述的一种图像防抖方法,其特征在于,步骤S3包括以下步骤:
S31:采用鲁棒性估计方法从所有匹配的特征点对中筛选出符合全局变换的内点;
S32:基于筛选出的内点,利用最小二乘法估计全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和第二帧图像间由于相机移动而产生的物理位移。
5.根据权利要求4所述的一种图像防抖方法,其特征在于,步骤S4包括以下步骤:
S41:对于每个匹配的特征点对,使用所述全局变换矩阵将计算得到的位移中的物理位移去除,保留抖动位移;
S42:根据所有特征点对剥离后的抖动位移计算出偏移量;
S43:根据所述偏移量对第二帧图像进行反方向的位移变换,以补偿由于抖动产生的位移,使第二帧图像在视觉上与第一帧图像保持对齐。
6.根据权利要求5所述的一种图像防抖方法,其特征在于,在步骤S42中,所述偏移量计算方法为:
对于所有匹配的特征点对,计算每个点对在X方向和Y方向上的抖动位移,并取所有抖动位移在X方向和Y方向上的平均值,以作为所述偏移量。
7.根据权利要求6所述的一种图像防抖方法,其特征在于,还包括:
将防抖处理后的所述第二帧图像与第一帧图像进行合成,以生成稳定的视频流。
8.一种图像防抖系统,应用于如权利要求1至7任意一项所述的一种图像防抖方法,其特征在于,所述防抖系统包括:
特征点匹配模块,用于对第一帧图像和第二帧图像进行特征点匹配,得到至少一个特征点对,其中,所述第一帧图像和所述第二帧图像间具有重叠区域;
位移计算模块,用于对匹配的所有特征点对进行位移计算,得到特征点对间的位移,其中,所述位移包括相机移动的物理位移和抖动产生的抖动位移;
矩阵估计模块,用于基于所有匹配的特征点对估计所述第一帧图像和所述第二帧图像间的全局变换矩阵,其中,所述全局变换矩阵表征所述第一帧图像和所述第二帧图像间由于相机移动而产生的物理位移;
位移补偿模块,用于基于所述第一帧图像和所述第二帧图像间的全局变换从所述位移中剥离所述物理位移,并根据完成剥离后的抖动位移对所述第二帧图像进行位移补偿。
CN202411289273.2A 2024-09-14 2024-09-14 一种图像防抖方法及防抖系统 Active CN118828207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411289273.2A CN118828207B (zh) 2024-09-14 2024-09-14 一种图像防抖方法及防抖系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411289273.2A CN118828207B (zh) 2024-09-14 2024-09-14 一种图像防抖方法及防抖系统

Publications (2)

Publication Number Publication Date
CN118828207A true CN118828207A (zh) 2024-10-22
CN118828207B CN118828207B (zh) 2024-11-29

Family

ID=93073281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411289273.2A Active CN118828207B (zh) 2024-09-14 2024-09-14 一种图像防抖方法及防抖系统

Country Status (1)

Country Link
CN (1) CN118828207B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877790A (zh) * 2010-05-26 2010-11-03 广西大学 一种面向全景视频编码的快速全局运动估计方法
CN102780846A (zh) * 2012-07-11 2012-11-14 清华大学 一种基于惯导信息的电子稳像方法
CN104144282A (zh) * 2014-07-17 2014-11-12 西北工业大学 一种适用于空间机器人视觉系统的快速数字稳像方法
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN111314604A (zh) * 2020-02-19 2020-06-19 Oppo广东移动通信有限公司 视频防抖方法和装置、电子设备、计算机可读存储介质
US20200258240A1 (en) * 2019-02-08 2020-08-13 Stmicroelectronics S.R.L. Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product
CN111680263A (zh) * 2020-06-01 2020-09-18 北京中安智能信息科技有限公司 一种激光雷达晃动误差补偿方法
CN112287819A (zh) * 2020-10-28 2021-01-29 武汉三力通信有限责任公司 一种用于摄录设备的高速多路实时稳像方法
CN116366976A (zh) * 2023-03-22 2023-06-30 浙江大学 一种基于自适应卡尔曼滤波的实时视频稳像方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877790A (zh) * 2010-05-26 2010-11-03 广西大学 一种面向全景视频编码的快速全局运动估计方法
CN102780846A (zh) * 2012-07-11 2012-11-14 清华大学 一种基于惯导信息的电子稳像方法
CN104144282A (zh) * 2014-07-17 2014-11-12 西北工业大学 一种适用于空间机器人视觉系统的快速数字稳像方法
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
US20200258240A1 (en) * 2019-02-08 2020-08-13 Stmicroelectronics S.R.L. Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product
CN111314604A (zh) * 2020-02-19 2020-06-19 Oppo广东移动通信有限公司 视频防抖方法和装置、电子设备、计算机可读存储介质
CN111680263A (zh) * 2020-06-01 2020-09-18 北京中安智能信息科技有限公司 一种激光雷达晃动误差补偿方法
CN112287819A (zh) * 2020-10-28 2021-01-29 武汉三力通信有限责任公司 一种用于摄录设备的高速多路实时稳像方法
CN116366976A (zh) * 2023-03-22 2023-06-30 浙江大学 一种基于自适应卡尔曼滤波的实时视频稳像方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
尹丽华: "基于自适应补偿的电子稳像方法", 《激光与红外》, vol. 47, no. 11, 15 November 2017 (2017-11-15), pages 2 - 3 *
尹丽华;李范鸣;刘士建;: "基于自适应补偿的电子稳像方法", 激光与红外, no. 11, 20 November 2017 (2017-11-20), pages 2 - 3 *
庞洵;李威;高小伟;: "基于特征匹配与仿射变换的视频防抖算法", 微计算机信息, no. 12, 25 April 2008 (2008-04-25) *
谢征;崔少辉;: "飞行移动平台成像匹配的电子稳像技术研究", 计算机仿真, no. 02, 15 February 2016 (2016-02-15) *
谢征;崔少辉;李金伦;: "基于特征匹配的快速鲁棒数字稳像", 应用光学, no. 06, 15 November 2015 (2015-11-15) *

Also Published As

Publication number Publication date
CN118828207B (zh) 2024-11-29

Similar Documents

Publication Publication Date Title
US8498498B2 (en) Apparatus and method of obtaining high resolution image
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
US9615039B2 (en) Systems and methods for reducing noise in video streams
EP2164040B1 (en) System and method for high quality image and video upscaling
KR101524548B1 (ko) 영상 정합 장치 및 방법
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
KR102697687B1 (ko) 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
Kejriwal et al. A hybrid filtering approach of digital video stabilization for uav using kalman and low pass filter
CN117011137B (zh) 基于rgb相似度特征匹配的图像拼接方法、装置及设备
Choi et al. Robust video stabilization to outlier motion using adaptive RANSAC
CN113592706B (zh) 调整单应性矩阵参数的方法和装置
CN118828207B (zh) 一种图像防抖方法及防抖系统
CN103618904B (zh) 基于像素的运动估计方法及装置
WO2013011797A1 (ja) 劣化復元システム、劣化復元方法およびプログラム
Gurrala et al. Enhancing Safety and Security: Face Tracking and Detection in Dehazed Video Frames Using KLT and Viola-Jones Algorithms.
CN114463434B (zh) 基于一维图像信息实时测量动态摄像头移动参数的方法
US20250045955A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
Hussain et al. A robust video stabilization algorithm for global motion estimation using block matching
JP2019097004A (ja) 画像生成装置、画像生成方法及び画像生成プログラム
Mohanna et al. Digital image stabilization for video images
TW202338734A (zh) 用於處理影像資料的方法及影像處理器單元
Dai et al. Digital stabilization method for old movies based on mobilesam and optical flow
CN119417888A (zh) 一种计算机视觉物体定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant