[go: up one dir, main page]

CN113269086A - 一种vlog剪辑方法和剪辑系统 - Google Patents

一种vlog剪辑方法和剪辑系统 Download PDF

Info

Publication number
CN113269086A
CN113269086A CN202110564551.0A CN202110564551A CN113269086A CN 113269086 A CN113269086 A CN 113269086A CN 202110564551 A CN202110564551 A CN 202110564551A CN 113269086 A CN113269086 A CN 113269086A
Authority
CN
China
Prior art keywords
frame
nth
motion vector
vlog
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110564551.0A
Other languages
English (en)
Inventor
文振海
叶飞
陈欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Ruidong Technology Development Co ltd
Original Assignee
Suzhou Ruidong Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Ruidong Technology Development Co ltd filed Critical Suzhou Ruidong Technology Development Co ltd
Priority to CN202110564551.0A priority Critical patent/CN113269086A/zh
Publication of CN113269086A publication Critical patent/CN113269086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及视频剪辑技术领域，公开了一种vlog剪辑方法和剪辑系统，vlog剪辑方法包括S1：根据用户的输入选定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧；S2：确定第N尾帧与第N+1首帧的图像相似度；S3：判断图像相似度是否落入预设相似度区间，若是，执行S4，若否，执行S5；S4：连接第N尾帧与第N+1首帧；S5：判断图像相似度是否小于预设相似度区间最小值，若是，执行S6，若否，执行S7；S6：生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧；S7：删除第N+1首帧、将其后第一个视频帧设定为新的第N+1首帧或者删除第N尾帧、将其之前的第一个视频帧设定为新的第N尾帧，重新执行S2；本发明使vlog在连接点处没有明显剪辑痕迹，提高观看体验。

Description

一种vlog剪辑方法和剪辑系统
技术领域
本发明涉及视频剪辑技术领域，具体涉及一种vlog剪辑方法和剪辑系统。
背景技术
vlog(video log)，中文名称为视频博客，是一种以创作者的日常生活作为素材拍摄、加工形成的视频形式，人物的动作、行为其主要内容。在vlog的创作过程中，视频往往不能一次录制成功，而是需要将同一个场景中的人或物的动作分成多段进行录制，然后在多段视频中寻找合适的剪辑点，将多段视频剪辑、合成一段完整的长视频。由于剪辑点前后的两帧图像不是连续拍摄形成的，容易出现剪辑点前后的视频帧中人或物的动作变化与连续拍摄的相邻视频帧中的动作变化相比差别较大，如果变化过大，则动作不连贯；如果变化过小，则动作缓慢迟滞、不自然。这些都会使剪辑点处的片段与视频其它部分的节奏不匹配，使最终获得的vlog视频剪辑痕迹明显，用户观看体验较差。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种vlog剪辑方法和剪辑系统，该vlog剪辑方法和剪辑系统能够解决vlog视频在剪辑处不连贯及节奏变慢的问题。
为了实现上述目的，本发明提供如下技术方案：
一种vlog剪辑方法，包括：S1：根据用户的输入选定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，提取第N首帧至第N尾帧的若干视频帧、第N+1首帧至第N+1尾帧的若干视频帧；S2：确定第N尾帧与第N+1首帧的图像相似度；S3：判断所述图像相似度是否落入预设相似度区间，若是，则执行S4，若否，则执行S5；S4：连接第N尾帧与第N+1首帧，生成合并vlog视频；S5：判断所述图像相似度是否小于预设相似度区间的最小值，若是，则执行S6，若否，则执行S7；S6：根据第N尾帧和第N+1首帧生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧，生成合并vlog视频；S7：删除第N+1首帧、将第N+1首帧之后的第一个视频帧设定为新的第N+1首帧或者删除第N尾帧、将第N尾帧之前的第一个视频帧设定为新的第N尾帧，然后重新执行S2。
本发明中，优选的，S6中所述根据第N尾帧和第N+1首帧生成过渡帧包括：S601：利用第N尾帧和第N+1首帧确定双向运动矢量；S602：根据双向运动矢量，插值构造过渡帧。
本发明中，优选的，所述S601包括：S6011：通过前向运动矢量估计法确定第N尾帧向第N+1首帧的初始运动矢量；S6012：利用初始运动矢量，通过双向运动矢量估计法确定双向运动矢量。
本发明中，优选的，所述S602包括：S6021：检测双向运动矢量中是否存在异常部分，若存在，则对异常部分进行修正；S6022：根据检测、修正后的双向运动矢量，通过重叠块运动补偿技术进行插值计算，获得过渡帧。
本发明中，优选的，所述S2包括：S201：生成第N尾帧和第N+1首帧的灰度图；S202：计算第N尾帧的灰度图与第N+1首帧的灰度图的相似度，即为所述图像相似度。
本发明中，优选的，所述图像相似度是利用第N尾帧的灰度图与第N+1首帧的灰度图的互信息得出的。
一种vlog剪辑系统，包括：选定及提取模块，用于根据用户的输入确定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，提取第N首帧至第N尾帧的若干视频帧、第N+1首帧至第N+1尾帧的若干视频帧；相似度确定模块，用于确定第N尾帧与第N+1首帧的图像相似度；第一判断模块，用于判断所述图像相似度是否落入预设相似度区间；第一生成模块，用于连接第N尾帧与第N+1首帧，生成合并vlog视频；第二判断模块，用于判断所述图像相似度是否小于所述相似度区间的最小值；第二生成模块，用于根据第N尾帧和第N+1首帧生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧，生成合并vlog视频；重选模块，用于删除第N+1首帧，将第N+1首帧之后的视频帧设定为第N+1首帧。
本发明中，优选的，所述第二生成模块包括：双向运动矢量确定子模块，用于利用第N尾帧和第N+1首帧确定双向运动矢量；构造子模块，用于根据双向运动矢量，插值构造过渡帧。
本发明中，优选的，所述双向运动矢量确定子模块包括：初始运动矢量确定单元，用于通过前向运动矢量估计法确定第N尾帧向第N+1首帧的初始运动矢量；双向运动矢量确定单元，用于利用初始运动矢量，通过双向运动矢量估计法确定双向运动矢量；所述构造子模块包括：检测及修正单元，用于检测双向运动矢量中是否存在异常部分，若存在，则对异常部分进行修正；插值计算单元，用于根据检测、修正后的双向运动矢量，通过重叠块运动补偿技术进行插值计算，获得过渡帧。
本发明中，优选的，所述相似度确定模块包括：转化子模块，用于生成第N尾帧和第N+1首帧的灰度图；相似度计算子模块，用于计算第N尾帧的灰度图与第N+1首帧的灰度图的相似度，即为所述图像相似度。
与现有技术相比，本发明的有益效果是：
本发明的vlog剪辑方法及剪辑系统对需要连接两个视频片段在连接点前后的两个视频帧进行图像相似度计算，然后图像相似度与预设相似度区间的位置关系确定视频合并策略：若图像相似度落入预设相似度区间，则将两个视频片段直接连接；若图像相似度小于预设相似度区间的最小值，则需要根据连接点前后的两个视频帧生成过渡帧，利用过渡帧将两个视频片段连接起来；若图像相似度大于预设相似度区间的最大值，则连接点前后的两个视频帧过于相似，重新选定下一视频帧作为连接点后的视频帧，进行相似度计算以及连接等工作。通过上述区别处理过程，可以实现生成的完整vlog在连接点处没有明显的剪辑痕迹，使vlog视频的画面能够更加连贯，视频播放更加流畅，提高了观看体验；采用双向运动矢量构造过渡帧，并对双向运动矢量进行一定的修正，可以使构造的过渡帧的图像质量更高，与剪辑点前、后的视频帧衔接更加流畅、自然。
附图说明
图1为本发明的vlog剪辑方法的流程图。
图2为本发明的vlog剪辑方法中S6的流程图。
图3为本发明的vlog剪辑方法中S601的流程图。
图4为本发明的vlog剪辑方法中S602的流程图。
图5为本发明的vlog剪辑方法中S2的流程图。
图6为本发明的vlog剪辑系统的结构示意图。
图7为本发明的vlog剪辑系统中第二生成模块的结构示意图。
图8为本发明的vlog剪辑系统中双向运动矢量确定子模块和构造子模块的结构示意图。
图9为本发明的vlog剪辑系统中相似度确定模块的结构示意图。
附图中：1-选定及提取模块、2-相似度确定模块、21-转化子模块、22-相似度计算子模块、3-第一判断模块、4-第一生成模块、5-第二判断模块、6-第二生成模块、61-双向运动矢量确定子模块、611-初始运动矢量确定单元、612-双向运动矢量确定单元、62-构造子模块、621-检测及修正单元、622-插值计算单元、7-重选模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请同时参见图1至图5，本发明一较佳实施方式提供一种vlog剪辑方法，包括：
S1：根据用户的输入选定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，提取第N首帧至第N尾帧的若干视频帧、第N+1首帧至第N+1尾帧的若干视频帧。
vlog视频可以为各种现有的视频格式，将其导入到视频处理软件中(如视频剪辑工具、播放器等)，vlog视频被分解为若干个视频帧的序列，每一个视频帧能够显示缩略画面和正常画面，用户通过观察各视频帧的缩略画面和正常画面来明确各视频帧的内容，然后通过向视频处理软件中输入特定的内容来选定将要截取、合并的视频片段。
设被截取的视频片段为N和N+1，将视频片段N的尾部和视频片段N+1的首部连接起来，即可合成最终想要的vlog视频。视频片段N的第一个视频帧为第N首帧，最后一个视频帧为第N尾帧，视频片段N+1的第一个视频帧为第N+1首帧，最后一个视频帧为第N+1尾帧。用户通过输入特点定内容选定了第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，即可确定被截取的视频为从第N首帧到第N尾帧的若干视频帧组成的序列和从第N+1首帧到第N+1尾帧的若干视频帧组成的序列，即视频片段N和N+1。视频片段N和N+1的提取过程即将从第N首帧到第N尾帧的若干视频帧组成的序列和从第N+1首帧到第N+1尾帧的若干视频帧组成的序列复制，以备后续的处理。
S2：确定第N尾帧与第N+1首帧的图像相似度。
在剪辑时，用户选择的第N+1首帧与第N尾帧的关系可能是连贯的画面，也可能是不连贯的画面。当画面不连贯时，第N+1首帧与第N尾帧直接连接即可，不属于本发明的方法使用的场景。第N+1首帧和第N尾帧的画面连贯时，第N+1首帧与第N尾帧具有较高的图像相似度，由于第N+1首帧与第N尾帧不是连续拍摄的画面，第N+1首帧与第N尾帧的图像相似度可能与实际的连续的两个视频帧的图像相似度的差距较大，因此可以比较第N+1首帧与第N尾帧，确定二者的图像相似度，通过该指标来考量第N+1首帧与第N尾帧是否具有较好的连贯性，从而决定后续的措施。其中，相似度可以用灰度方差、互信息、相关系数、联合熵等方式来表达。
具体的，如图5所示，S2包括：
S201：生成第N尾帧和第N+1首帧的灰度图。
视频帧通常为RGB三通道彩色图，这种图像的复杂度较高，不便于处理，因此生成第N尾帧和第N+1首帧的灰度图。将RGB三通道彩色图转化为灰度图算法可以是浮点算法(Gray＝R0.3+G0.59+B0.11)、整数方法(Gray＝(R30+G59+B11)/100)、平均值法(Gray＝(R+G+B)/3)等。
S202：计算第N尾帧的灰度图与第N+1首帧的灰度图的相似度，即为所述图像相似度。
转化为灰度图以后，第N尾帧的灰度图与第N+1首帧的灰度图的相似度也就是第N尾帧与第N+1首帧的图像相似度。
在相似度的各种表达方式中，互信息具有较高的准确性和稳健性，因此本实施方式优选利用互信息来表达第N尾帧的灰度图与第N+1首帧的灰度图之间的相似度。互信息可以反映两个系统之间的统计依赖关系，表明一个系统包含另一系统信息量的多少。
两个随机变量A和B之间的互信息可表示为：
Figure BDA0003080445160000071
式中，pAB(a,b)为随机变量A和B联合概率密度分布，pA(a)和pB(b)分别为随机变量A和B的边缘概率密度分布。
互信息也可以用信息熵来描述，根据信息熵的定义，有：
Figure BDA0003080445160000072
Figure BDA0003080445160000073
Figure BDA0003080445160000074
其中，H(A)和H(B)分别为随机变量A和B的信息熵，H(A,B)是A和B的联合熵，H(A|B)和H(B|A)分别为已知B的条件下A的条件熵以及已知A的条件下B的条件熵。信息熵表达的是一个系统平均不确定性或信息量的量度，即：H(A)表示随机变量A的平均不确定度；H(A|B)表示已知B后，A仍存在的平均不确定度；H(A)与H(A|B)的差值表示已知B后，A不确定度的减少量，即在B中所包含的A的信息量。因此，两个随机变量A和B之间的互信息可以表示为：
I(A,B)＝H(A)-H(A|B)＝H(B)-H(B|A)＝H(A)+H(B)-H(A,B) (5)
如果A、B相互独立，则pAB(a,b)＝pA(a)pB(b)，此时I(A,B)＝0；如果A、B完全依赖，则pAB(a,b)＝pA(a)＝pB(b)，即H(A,B)＝H(A)＝H(B)，此时I(A,B)最大。
第N尾帧与第N+1首帧可以被认为是它们关于图像灰度的两个随机变量A和B，可以通过归一化联合灰度直方图得到：
Figure BDA0003080445160000081
其中，i和j为图像A和B中像素的灰度值，h(i,j)是两幅图像重叠部分灰度值为(i,j)的像素对数，∑h(i,j)为两幅图像重叠部分的像素总数，由此边缘概率分布可表示为：
Figure BDA0003080445160000082
Figure BDA0003080445160000083
将式(6)、(7)、(8)代入式(1)，即可计算出A和B的互信息I(A,B)。
由于I(A,B)所表示的互信息对相似度的表示不够直观，因此可以采用一个相对的值S(A,B)来表示B相对于A的相似度：
Figure BDA0003080445160000084
S(A,B)的值介于0～1之间，本发明中，A为第N尾帧，B为第N+1首帧，由于第N尾帧与第N+1首帧必然具有较高的相似度，所以S(A,B)应当大致在0.5～1之间。
S3：判断所述图像相似度是否落入预设相似度区间，若是，则执行S4，若否，则执行S5。
其中，预设相似度区间是正常的两个连续的视频帧的相似度的可能的值的范围，通常在0.75至0.95之间。如前所述，如果S(A,B)落入预设相似度区间，则说明第N尾帧与第N+1首帧的图像相似度与正常的连续两个视频帧无异，二者连接后不会出现画面不连贯或节奏减慢的情况，没有明显的剪辑痕迹，因此可以直接执行S4。
S4：连接第N尾帧与第N+1首帧，生成合并vlog视频。
此时，第N尾帧之前直到第N首帧的所有视频帧与第N+1首帧之后直到第N+1尾帧的所有视频帧连接在一起，通过后续的视频压缩等操作，即可生成合并vlog视频。
S5：判断图像相似度是否小于预设相似度区间的最小值，若是，则执行S6，若否，则执行S7。
图像相似度没有落入预设相似度区间可以分为两种情况：图像相似度小于预设相似度区间的最小值或图像相似度大于预设相似度区间的最大值。
图像相似度小于预设相似度区间的最小值时，说明第N尾帧与第N+1首帧的图像相似度小于正常的连续帧的相似度，第N尾帧与第N+1首帧差别较大，直接连接容易出现视频不连贯的情况，因此，需要执行S6来生成过渡帧，填补到第N尾帧与第N+1首帧之间，将二者连接起来，使合并后的视频变得流畅。
S6：根据第N尾帧和第N+1首帧生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧，生成合并vlog视频。
根据第N尾帧和第N+1首帧，可以通过运动补偿插帧法来生成过渡帧。其基本思路是：根据第N尾帧和第N+1首帧建立运动模型，将第N尾帧向第N+1首帧之间变化的趋势定义为运动矢量，并根据二者的差距对运动矢量进行估计，然后根据该运动矢量在第N尾帧和第N+1首帧的基础上构造过渡帧。估计运动矢量可以采用基于光流方程的方法(根据时空图像灰度值梯度估算得到一个光流场，并联合使用恰当的时空平滑条件)、块运动模型(将图像分为一定大小的块，假设统一块中像素具有相同的运动矢量，依据当前的块搜索第N+1首帧和/或第N尾帧一定大小范围内的最佳匹配块，根据之前的相对位移来获取运动矢量)、像素递归法(像素预测值为第N尾帧相应像素位置处的运动矢量估计值或当前像素邻域内像素点的线性组合，依据该像素预测值与实际值差异较小原则进一步修正像素预测模型)等方法。
获得过渡帧以后，将过渡帧填补到第N尾帧和第N+1首帧之间，将二者连接起来，此时，第N尾帧之前直到第N首帧的所有视频帧与第N+1首帧之后直到第N+1尾帧的所有视频帧都通过过渡帧连接在一起，通过后续的视频压缩等操作，即可生成制作者需要的一整段完整的合并vlog视频。
S7：删除第N+1首帧、将第N+1首帧之后的第一个视频帧设定为新的第N+1首帧或者删除第N尾帧、将第N尾帧之前的第一个视频帧设定为新的第N尾帧，然后重新执行S2。
第N尾帧与第N+1首帧的图像相似度大于预设相似度区间的最大值时，第N+1首帧与第N尾帧的相似度极高，将二者直接相连形成的视频在该处显示出仿佛画面停滞的效果，使视频在此处的节奏减慢，剪辑痕迹明显。因此，可以将这两个视频帧之一抛弃，重新组织视频帧序列的连接。此处以抛弃第N+1首帧为例，将第N+1首帧删除后，在选定视频片段N+1中，原第N+1首帧后的第一个视频帧为新的第N+1首帧，然后从S2开始，重新执行S2及其以后的步骤，判断第N尾帧与第N+1首帧是否满足相似度的要求，若满足就直接连接生成合并vlog视频；若相似度过小则生成过渡帧，用过渡帧连接第N尾帧和第N+1首帧生成合并vlog视频；若相似度过大则继续抛弃第N+1首帧，选定新的第N+1首帧，重复上述过程，直到能够生成没有明显剪辑痕迹的合并vlog视频。
本实施方式中，如图2所示，优选的，S6包括：
S601：利用第N尾帧和第N+1首帧确定双向运动矢量。
S602：根据双向运动矢量，插值构造过渡帧。
采用块匹配运动模型来估计运动矢量，其基本原理是将视频序列的每一帧分成许多互不重叠的块，并认为块内所有像素的位移量都相同，然后对每个块到参考帧的给定搜索范围内根据一定的块匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。其中，块匹配准则可以采用SAD(绝对误差准则)，计算公式为：
Figure BDA0003080445160000111
其中，匹配的块的大小为M×M，(dx,dy)代表候选的运动矢量，Ft(m,n)是当前帧像素点(m,n)处的灰度值，Ft表示当前帧，Ft-1表示参考帧，本实施方式中可以将第N尾帧或第N+1首帧作为参考帧。
为避免空洞和重叠的问题，本实施方式采用的运动矢量为双向运动矢量。这种方法将过渡帧划分为若干个块，每个块中有两个运动矢量，一个指向第N尾帧，另一个指向第N+1首帧，过渡帧中的块的像素是通过这两个运动矢量插值得到的。基于双向运动矢量估计的运动补偿插帧法进行插值恢复，其计算公式为：
Figure BDA0003080445160000112
其中，vx、vy为根据双向运动矢量估计得到的前一帧Ft-1和后一帧Ft+1之间x、y方向的运动矢量，第N尾帧和第N+1首帧可分别作为Ft-1和Ft+1。
可利用双向运动矢量估计法得到双向运动矢量，在该方法中，对于过渡帧的某个块，通过比较第N尾帧中一定位移处的块和第N+1首帧中相反位移处的块，找到使第N尾帧和第N+1首帧中两块最匹配的位移作为过渡帧内块的运动矢量。用Bi表示过渡帧中的一个块，假设运动矢量搜索范围为[-a,a]。对这个搜索范围内的每一个候选运动矢量
Figure BDA0003080445160000121
计算该块在第N尾帧中相应位置移动
Figure BDA0003080445160000122
在第N+1首帧中相应位置移动
Figure BDA0003080445160000123
第N尾帧和第N+1首帧对应块内每个像素的绝对差值之和为：
Figure BDA0003080445160000124
其中
Figure BDA0003080445160000125
为块中的像素点位置。在[-a,a]内搜索到绝对差值之和最小的
Figure BDA0003080445160000126
即为过渡帧中该块的运动矢量估计值。
本实施方式中，如图3所示，优选的，S601包括：
S6011：通过前向运动矢量估计法确定第N尾帧向第N+1首帧的初始运动矢量。
先将第N尾帧划分为M×M个块，选取第N+1首帧相应位置的块和上下左右一定数量的像素点作为搜索范围，采用SAD作为判别准则，对第N尾帧的每一块到第N+1首帧的搜索范围中找到匹配块，及SAD值最小的块，然后由当前块和匹配块的相对位移计算得到第N尾帧的前向运动矢量
Figure BDA0003080445160000127
除以2即可得到第N尾帧和第N+1首帧中间的过渡帧的初始运动矢量，记为
Figure BDA0003080445160000128
初始的前向运动矢量为
Figure BDA0003080445160000129
后向运动矢量为
Figure BDA00030804451600001210
S6012：利用初始运动矢量，通过双向运动矢量估计法确定双向运动矢量。
在确定了初始的双向运动矢量并经过第一次运动矢量调整得到
Figure BDA0003080445160000131
后，以其为初始运动矢量在一个小的搜索范围内使用双向运动矢量估计法对初始运动矢量进行调整，基本过程为：过渡帧中的块Bi的一个像素点为
Figure BDA0003080445160000132
根据经过修正的初始运动矢量
Figure BDA0003080445160000133
在第N尾帧和第N+1首帧中分别找到块Bi相应的匹配块B1和B2。将块B1和B2的周围1～3层像素点范围作为搜索范围。像素点
Figure BDA0003080445160000134
在块B1和B2的相应位置为点
Figure BDA0003080445160000135
和
Figure BDA0003080445160000136
分别通过初始运动矢量
Figure BDA0003080445160000137
计算如下：
Figure BDA0003080445160000138
Figure BDA0003080445160000139
假设图像中物体的运动是匀速的，则两个匹配块B1和B2的运动是同步对称的，即如果块B1往左移动时，阈值相对应的块B2会往右移动相应的步数。对搜索范围[-2,2]内的每一个候选运动矢量
Figure BDA00030804451600001310
按照双向运动矢量估计法的思想，计算第N尾帧和第N+1首帧中对应块中每个像素的绝对差值之和，公式如下：
Figure BDA00030804451600001311
然后找出SAD最小的情况即最匹配的情况，对初始运动矢量进行调整，得到双向运动矢量
Figure BDA00030804451600001312
本实施方式中，如图4所示，优选的，S602包括：
S6021：检测双向运动矢量中是否存在异常部分，若存在，则对异常部分进行修正。
在有些情况下，物体只在第N尾帧或第N+1首帧中存在，这通常发生在旧物体消失或是新物体出现的时候。这种情况下不需要用两帧的加权来对过渡帧进行恢复，只需要从物体存在的帧中根据相应的运动矢量得到即可。为适应这种情况，还需对上述双向运动矢量进行修正。
在图像消失或出现区域，由于只在一帧中存在而在另一帧中不存在，导致两帧之间的相应匹配块的残差值SAD较大。根据这一特点，可以根据矢量之间的相关性检测出其中的异常部分，该异常部分为孤立的运动矢量(如果某块的运动矢量和邻近块运动矢量不一致，它被认为是孤立的运动矢量)，然后可以对孤立运动矢量进行修正。
检测孤立运动矢量，首先分别计算待检测块运动矢量与其相邻的八个块的运动矢量的绝对差值，公式为：
dx,i＝|vx-vx,i|,dy,i＝|vy-vy,j| (16)
当检测到孤立的运动矢量后，首先对当前块周围八个块的运动矢量大小排序，找到两个中间值，然后使用两个中间值的平均值来代替原运动矢量。
之后，还可以进一步对运动矢量进行平滑处理：对过渡帧中的块B和其周围的若干邻近块Ni，
Figure BDA0003080445160000141
和
Figure BDA0003080445160000142
中相应的双向运动矢量，用SADB表示通过双向运动矢量
Figure BDA0003080445160000143
得到的当前块B在第N尾帧和第N+1首帧相应块的像素值差。计算公式如下：
Figure BDA0003080445160000144
然后块B经过调整的双向运动矢量
Figure BDA0003080445160000145
可以通过下式得到：
Figure BDA0003080445160000146
S6022：根据检测、修正后的双向运动矢量，通过重叠块运动补偿技术进行插值计算，获得过渡帧。
给定一个M×M大小的块B，一个小的重叠宽度w，原始块大小扩展为(N+2w)×(N+2w)。周围相邻八个块Ni，i＝1,2...,8，扩展为同样的尺寸，则会产生三种不同的区域R1(没有重叠)，R2(两块重叠)和R3(四块重叠)。让
Figure BDA0003080445160000151
代表根据公式(11)使用双向运动矢量
Figure BDA0003080445160000152
得到的
Figure BDA0003080445160000153
点的运动补偿值。然后针对块B中的不同区域利用下面一系列的块重叠策略来得到OBMC(重叠块运动补偿)的结果：
在区域R1中，
Figure BDA0003080445160000154
在区域R2中，
Figure BDA0003080445160000155
在区域R3中，
Figure BDA0003080445160000156
其中Sk定义如下：
Figure BDA0003080445160000157
Figure BDA0003080445160000158
Figure BDA0003080445160000159
Figure BDA00030804451600001510
经上述计算过程，即可获得过渡帧。
请同时参照图6至图9，本发明一较佳实施例还提供一种vlog剪辑系统，包括：选定及提取模块，用于根据用户的输入确定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，提取第N首帧至第N尾帧的若干视频帧、第N+1首帧至第N+1尾帧的若干视频帧；相似度确定模块，用于确定第N尾帧与第N+1首帧的图像相似度；第一判断模块，用于判断所述图像相似度是否落入预设相似度区间；第一生成模块，用于连接第N尾帧与第N+1首帧，生成合并vlog视频；第二判断模块，用于判断所述图像相似度是否小于所述相似度区间的最小值；第二生成模块，用于根据第N尾帧和第N+1首帧生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧，生成合并vlog视频；重选模块，用于删除第N+1首帧，将第N+1首帧之后的视频帧设定为第N+1首帧。
其中，如图7所示，第二生成模块包括：双向运动矢量确定子模块，用于利用第N尾帧和第N+1首帧确定双向运动矢量；构造子模块，用于根据双向运动矢量，插值构造过渡帧。
双向运动矢量确定子模块包括：初始运动矢量确定单元，用于通过前向运动矢量估计法确定第N尾帧向第N+1首帧的初始运动矢量；双向运动矢量确定单元，用于利用初始运动矢量，通过双向运动矢量估计法确定双向运动矢量，如图8所示。
构造子模块包括：检测及修正单元，用于检测双向运动矢量中是否存在异常部分，若存在，则对异常部分进行修正；插值计算单元，用于根据检测、修正后的双向运动矢量，通过重叠块运动补偿技术进行插值计算，获得过渡帧，如图8所示。
相似度确定模块包括：转化子模块，用于生成第N尾帧和第N+1首帧的灰度图；相似度计算子模块，用于计算第N尾帧的灰度图与第N+1首帧的灰度图的相似度，即为所述图像相似度，如图9所示。
上述各模块、单元，均为模块化功能实体，具体是依靠计算机装置来实现的。该计算机装置包括处理器、存储器、输入输出设备以及总线；总线分别与处理器、存储器、输入输出设备连接；处理器用于执行上述各种功能。其中，处理器和存储器的数量可以是一个或多个。存储器可以选用易失性存储器或持久存储器。
上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属于本发明所涵盖专利范围。

Claims (10)

1.一种vlog剪辑方法，其特征在于，包括：
S1：根据用户的输入选定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，提取第N首帧至第N尾帧的若干视频帧、第N+1首帧至第N+1尾帧的若干视频帧；
S2：确定第N尾帧与第N+1首帧的图像相似度；
S3：判断所述图像相似度是否落入预设相似度区间，若是，则执行S4，若否，则执行S5；
S4：连接第N尾帧与第N+1首帧，生成合并vlog视频；
S5：判断所述图像相似度是否小于预设相似度区间的最小值，若是，则执行S6，若否，则执行S7；
S6：根据第N尾帧和第N+1首帧生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧，生成合并vlog视频；
S7：删除第N+1首帧、将第N+1首帧之后的第一个视频帧设定为新的第N+1首帧或者删除第N尾帧、将第N尾帧之前的第一个视频帧设定为新的第N尾帧，然后重新执行S2。
2.根据权利要求1所述的一种vlog剪辑方法，其特征在于，S6中所述根据第N尾帧和第N+1首帧生成过渡帧包括：
S601：利用第N尾帧和第N+1首帧确定双向运动矢量；
S602：根据双向运动矢量，插值构造过渡帧。
3.根据权利要求2所述的一种vlog剪辑方法，其特征在于，所述S601包括：
S6011：通过前向运动矢量估计法确定第N尾帧向第N+1首帧的初始运动矢量；
S6012：利用初始运动矢量，通过双向运动矢量估计法确定双向运动矢量。
4.根据权利要求3所述的一种vlog剪辑方法，其特征在于，所述S602包括：
S6021：检测双向运动矢量中是否存在异常部分，若存在，则对异常部分进行修正；
S6022：根据检测、修正后的双向运动矢量，通过重叠块运动补偿技术进行插值计算，获得过渡帧。
5.根据权利要求1所述的一种vlog剪辑方法，其特征在于，所述S2包括：
S201：生成第N尾帧和第N+1首帧的灰度图；
S202：计算第N尾帧的灰度图与第N+1首帧的灰度图的相似度，即为所述图像相似度。
6.根据权利要求5所述的一种vlog剪辑方法，其特征在于，所述图像相似度是利用第N尾帧的灰度图与第N+1首帧的灰度图的互信息得出的。
7.一种vlog剪辑系统，其特征在于，包括：
选定及提取模块，用于根据用户的输入确定vlog视频中的第N首帧、第N尾帧、第N+1首帧和第N+1尾帧，提取第N首帧至第N尾帧的若干视频帧、第N+1首帧至第N+1尾帧的若干视频帧；
相似度确定模块，用于确定第N尾帧与第N+1首帧的图像相似度；
第一判断模块，用于判断所述图像相似度是否落入预设相似度区间；
第一生成模块，用于连接第N尾帧与第N+1首帧，生成合并vlog视频；
第二判断模块，用于判断所述图像相似度是否小于所述相似度区间的最小值；
第二生成模块，用于根据第N尾帧和第N+1首帧生成过渡帧，利用过渡帧连接第N尾帧和第N+1首帧，生成合并vlog视频；
重选模块，用于删除第N+1首帧，将第N+1首帧之后的视频帧设定为第N+1首帧。
8.根据权利要求7所述的一种vlog剪辑系统，其特征在于，所述第二生成模块包括：
双向运动矢量确定子模块，用于利用第N尾帧和第N+1首帧确定双向运动矢量；
构造子模块，用于根据双向运动矢量，插值构造过渡帧。
9.根据权利要求8所述的一种vlog剪辑系统，其特征在于，所述双向运动矢量确定子模块包括：
初始运动矢量确定单元，用于通过前向运动矢量估计法确定第N尾帧向第N+1首帧的初始运动矢量；
双向运动矢量确定单元，用于利用初始运动矢量，通过双向运动矢量估计法确定双向运动矢量；
所述构造子模块包括：
检测及修正单元，用于检测双向运动矢量中是否存在异常部分，若存在，则对异常部分进行修正；
插值计算单元，用于根据检测、修正后的双向运动矢量，通过重叠块运动补偿技术进行插值计算，获得过渡帧。
10.根据权利要求7所述的一种vlog剪辑方法，其特征在于，所述相似度确定模块包括：
转化子模块，用于生成第N尾帧和第N+1首帧的灰度图；
相似度计算子模块，用于计算第N尾帧的灰度图与第N+1首帧的灰度图的相似度，即为所述图像相似度。
CN202110564551.0A 2021-05-24 2021-05-24 一种vlog剪辑方法和剪辑系统 Pending CN113269086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564551.0A CN113269086A (zh) 2021-05-24 2021-05-24 一种vlog剪辑方法和剪辑系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564551.0A CN113269086A (zh) 2021-05-24 2021-05-24 一种vlog剪辑方法和剪辑系统

Publications (1)

Publication Number Publication Date
CN113269086A true CN113269086A (zh) 2021-08-17

Family

ID=77232413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564551.0A Pending CN113269086A (zh) 2021-05-24 2021-05-24 一种vlog剪辑方法和剪辑系统

Country Status (1)

Country Link
CN (1) CN113269086A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679605A (zh) * 2022-03-25 2022-06-28 腾讯科技（深圳）有限公司 视频过渡方法、装置、计算机设备、存储介质
CN114866839A (zh) * 2022-07-11 2022-08-05 深圳市鼎合丰科技有限公司 基于重复分帧图像归并的视频编辑软件系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152566A (zh) * 2013-02-22 2013-06-12 华中科技大学 一种视频帧率提升方法
WO2016187776A1 (zh) * 2015-05-25 2016-12-01 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
CN108509917A (zh) * 2018-03-30 2018-09-07 北京影谱科技股份有限公司 基于镜头类相关性分析的视频场景分割方法和装置
CN111294644A (zh) * 2018-12-07 2020-06-16 腾讯科技（深圳）有限公司 视频拼接方法、装置、电子设备及计算机存储介质
CN111327945A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN112584196A (zh) * 2019-09-30 2021-03-30 北京金山云网络技术有限公司 视频插帧方法、装置及服务器
CN112700516A (zh) * 2020-12-23 2021-04-23 杭州群核信息技术有限公司 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152566A (zh) * 2013-02-22 2013-06-12 华中科技大学 一种视频帧率提升方法
WO2016187776A1 (zh) * 2015-05-25 2016-12-01 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
CN108509917A (zh) * 2018-03-30 2018-09-07 北京影谱科技股份有限公司 基于镜头类相关性分析的视频场景分割方法和装置
CN111294644A (zh) * 2018-12-07 2020-06-16 腾讯科技（深圳）有限公司 视频拼接方法、装置、电子设备及计算机存储介质
CN111327945A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN112584196A (zh) * 2019-09-30 2021-03-30 北京金山云网络技术有限公司 视频插帧方法、装置及服务器
CN112700516A (zh) * 2020-12-23 2021-04-23 杭州群核信息技术有限公司 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679605A (zh) * 2022-03-25 2022-06-28 腾讯科技（深圳）有限公司 视频过渡方法、装置、计算机设备、存储介质
CN114679605B (zh) * 2022-03-25 2023-07-18 腾讯科技（深圳）有限公司 视频过渡方法、装置、计算机设备、存储介质
CN114866839A (zh) * 2022-07-11 2022-08-05 深圳市鼎合丰科技有限公司 基于重复分帧图像归并的视频编辑软件系统

Similar Documents

Publication Publication Date Title
CN106210449B (zh) 一种多信息融合的帧率上变换运动估计方法及系统
KR100981003B1 (ko) 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
US8045620B2 (en) Image processing apparatus, image processing method and computer readable medium
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
US8274602B2 (en) Image processing apparatus and image processing method with redundant frame detection
US9672866B2 (en) Automated looping video creation
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
CN113269086A (zh) 一种vlog剪辑方法和剪辑系统
Philip et al. A comparative study of block matching and optical flow motion estimation algorithms
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2003203237A (ja) 画像マッチング方法と装置、および画像符号化方法と装置
CN103618904B (zh) 基于像素的运动估计方法及装置
JP2017515372A (ja) 動きフィールド推定
Wang et al. Pixel-wise video stabilization
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
KR100343780B1 (ko) 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및분할방법
JP5334241B2 (ja) フレーム画像の動きベクトル推定装置及びプログラム
JP4378801B2 (ja) 画像処理方法および画像処理装置
KR101534776B1 (ko) 깊이 정보를 이용한 템플릿 매칭 기반 고속 얼굴 추적 방법
Ren et al. An unsupervised video stabilization algorithm based on gyroscope image fusion
JP2007287006A (ja) 移動物体追跡装置及びプログラム
JP5026152B2 (ja) ディゾルブ検出装置及びプログラム
Ouyang et al. Interactive key frame selection model
CN113556546A (zh) 一种两阶段多假设预测视频压缩感知重构方法
Lin et al. Key-frame-based depth propagation for semi-automatic stereoscopic video conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817