[go: up one dir, main page]

CN110446107B - 一种适用于缩放运动和明暗变化的视频帧率上变换方法 - Google Patents

一种适用于缩放运动和明暗变化的视频帧率上变换方法 Download PDF

Info

Publication number
CN110446107B
CN110446107B CN201910752518.3A CN201910752518A CN110446107B CN 110446107 B CN110446107 B CN 110446107B CN 201910752518 A CN201910752518 A CN 201910752518A CN 110446107 B CN110446107 B CN 110446107B
Authority
CN
China
Prior art keywords
frame
video
image
feature
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910752518.3A
Other languages
English (en)
Other versions
CN110446107A (zh
Inventor
邬震宇
唐泽凌
余小倩
张奇臣
孙福友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910752518.3A priority Critical patent/CN110446107B/zh
Publication of CN110446107A publication Critical patent/CN110446107A/zh
Application granted granted Critical
Publication of CN110446107B publication Critical patent/CN110446107B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种适用于缩放运动和明暗变化的视频帧率上变换方法，其根据该类视频帧信号的内容特征分三个阶段完成缩放系数、平移系数、明暗变化参数的估计，最后进行基于缩放和明暗变化的运动补偿实现帧率上采样。本发明对缩放系数、平移系数、明暗变化等参数的估计较传统的基于块匹配运动矢量估计补偿法有显著的预测精度提升，处理速度较基于全搜索、三步搜索、菱形搜素的块匹配运动估计补偿法有大幅度提高。

Description

一种适用于缩放运动和明暗变化的视频帧率上变换方法
技术领域
本发明属于信号处理领域，具体涉及一种适用于缩放运动和明暗变化的视频帧率上变换方法。
背景技术
数字视频以其独具的实时性、形象性和直观性被视为提供新闻、体育、娱乐、教育和信息的主要方式之一。高清晰度电视、科学实验以及特技制作等等要求视频的帧率不断提高达到高速和超高速。
帧率上变换算法作为视频后处理模块中的重要技术，在实际应用中有着不可替代的作用。该技术通过在原始视频序列中插入预测帧来提高视频信号的时间分辨率。在传输网络带宽有限的情况下该技术可以实现低比特率的高清视频显示；在高清晰度电视领域，尤其是液晶电视，播放视频时常出现鬼影和运动模糊等现象，当画面中存在快速运动的物体时，这种现象更严重。而简单的提高显示视频的帧率可显著减少这些现象，提高画面质量。在视频非线性处理尤其是特技处理领域，帧率上变换可以实现甚至超高速摄像机(>1000帧/秒)的拍摄效果，实现视频的艺术特写、还原人眼忽略的细节部分为体育比赛、侦探和各种科学实验提供可视依据。
目前常用的帧率上变换方法有帧平均、帧重复以及基于块匹配的多种搜索机制的运动矢量补偿法。其中基于块匹配的运动矢量补偿法复杂度最高效果最好。根据运动矢量的类型，运动矢量补偿方法可以分为两种：
一种为基于单向运动矢量场的运动补偿，其中基于单向运动矢量场的运动补偿算法可以获得更好的插值效果，但需要额外解决重叠和空洞问题，大大增加了整个算法的计算复杂度。该方法目前仍无法解决遮挡暴露区域的插值问题。
另一种是基于双向运动矢量的运动补偿则不存在重叠和空洞问题，且获得的内插帧的质量也较高。但该方法在相似背景对插值的影响下，容易出现模糊和块效应。
但是帧平均、帧重复方法处理具有缩放运动和明暗变化的视频帧率上变换质量很差；基于视频块的运动矢量补偿法处理该类视频时由于未知缩放参数和明暗变化参数，盲目搜索整像素、1/2像素、1/4像素、1/8像素精度的最佳匹配块，使得计算复杂度高、处理速度慢且质量仍然不尽人意。
发明内容
针对现有技术中的上述不足，本发明提供的一种适用于缩放运动和明暗变化的视频帧率上变换方法解决了现有方法处理具有缩放运动和明暗变化的视频帧率上变换质量差的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种适用于缩放运动和明暗变化的视频帧率上变换方法，其包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换。
进一步地，步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
Figure BDA0002167641770000031
δ＝kp·δ0,p＝0,1,2,3,4；
Figure BDA0002167641770000032
x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像
Figure BDA0002167641770000033
p＝0,1,2,3,4和与后帧对应的5个差分图像
Figure BDA0002167641770000034
p＝0,1,2,3,4；
Figure BDA0002167641770000035
为卷积运算；Ft1表示前帧视频图像；Ft2表示后帧视频图像；
S1-3、分别对
Figure BDA0002167641770000036
进行行列隔点降采样后与L相卷积，分别得到与前帧对应的5个差分图像
Figure BDA0002167641770000037
和与后帧对应的5个差分图像
Figure BDA0002167641770000038
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像
Figure BDA0002167641770000039
和
Figure BDA00021676417700000310
其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
Figure BDA0002167641770000041
获取最接近尺度值为δ的高斯图像LL；
Figure BDA0002167641770000042
δ＝kp·δ0,p＝0,1,2,3,4；
Figure BDA0002167641770000043
x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
进一步地，步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
进一步地，步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
Figure BDA0002167641770000051
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
进一步地，步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
Figure BDA0002167641770000061
Figure BDA0002167641770000062
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
进一步地，步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
Figure BDA0002167641770000063
Figure BDA0002167641770000071
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
Figure BDA0002167641770000072
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
Figure BDA0002167641770000081
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
Figure BDA0002167641770000082
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
进一步地，步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
Figure BDA0002167641770000083
获取帧间商
Figure BDA0002167641770000087
其中
Figure BDA0002167641770000084
为前帧视频图像的平均像素值；
Figure BDA0002167641770000085
为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
Figure BDA0002167641770000086
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
进一步地，步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：
根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
本发明的有益效果为：本发明根据该类视频帧信号的内容特征分三个阶段完成缩放系数、平移系数、明暗变化参数的估计，最后进行基于缩放和明暗变化的运动补偿实现帧率上采样。本发明对缩放系数、平移系数、明暗变化等参数的估计较传统的基于块匹配运动矢量估计补偿法有显著的预测精度提升，处理速度较基于全搜索、三步搜索、菱形搜素的块匹配运动估计补偿法有大幅度提高。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该适用于缩放运动和明暗变化的视频帧率上变换方法包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换。
步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
Figure BDA0002167641770000101
δ＝kp·δ0,p＝0,1,2,3,4；
Figure BDA0002167641770000102
x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像
Figure BDA0002167641770000103
p＝0,1,2,3,4和与后帧对应的5个差分图像
Figure BDA0002167641770000104
p＝0,1,2,3,4；
Figure BDA0002167641770000105
为卷积运算；Ft1表示前帧视频图像；Ft2表示后帧视频图像；
S1-3、分别对
Figure BDA0002167641770000106
进行行列隔点降采样后与L相卷积，分别得到与前帧对应的5个差分图像
Figure BDA0002167641770000107
和与后帧对应的5个差分图像
Figure BDA0002167641770000108
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像
Figure BDA0002167641770000111
和
Figure BDA0002167641770000112
其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
Figure BDA0002167641770000113
获取最接近尺度值为δ的高斯图像LL；
Figure BDA0002167641770000114
δ＝kp·δ0,p＝0,1,2,3,4；
Figure BDA0002167641770000115
x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
Figure BDA0002167641770000121
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
Figure BDA0002167641770000131
Figure BDA0002167641770000132
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
Figure BDA0002167641770000141
Figure BDA0002167641770000142
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
Figure BDA0002167641770000143
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
Figure BDA0002167641770000151
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
Figure BDA0002167641770000152
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
Figure BDA0002167641770000153
获取帧间商
Figure BDA0002167641770000157
其中
Figure BDA0002167641770000154
为前帧视频图像的平均像素值；
Figure BDA0002167641770000155
为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
Figure BDA0002167641770000156
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
在本发明的一个实施例中，将本发明与基于块匹配的全搜索法和基于块匹配的三步搜索法进行比较，比较所采用的视频类型和处理结果如表1所示。
表1：视频类型和处理结果
Figure BDA0002167641770000161
由表1可知，在每个测试视频类型中，本方法的帧率上变换质量均高于其余两种方法，且在具有全局明暗变化的视频中，本方法的处理质量更是接近现有方法的10倍。并且，本方法在处理速度上，比基于块匹配的全搜索法快60倍左右。
综上所述，本发明适用于具有缩放运动和明暗变化的视频流的帧率上变换，较传统的帧平均、帧重复和基于块匹配的运动矢量补偿法能快速高质量地实现帧率上变换。相对于传统的基于块匹配的运动矢量补偿法，本发明能实现具有任意比例尤其是大比例缩放运动的视频流的帧率上变换。

Claims (7)

1.一种适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，包括以下步骤：
S1、读取待处理视频流中相邻两帧视频图像，搜索该相邻两帧视频图像的所有特征点，并为每个特征点生成一个特征矢量；
S2、根据特征矢量对原始视频流中相邻两帧视频图像的特征点进行匹配，得到相邻两帧之间的特征匹配对的坐标；
S3、根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数和平移系数；
S4、根据缩放系数和平移系数对视频帧图像的每个区域进行缩放平移运动补偿，得到预测帧；
S5、获取连续两帧视频图像的帧间商，根据帧间商和相匹配的特征点的像素值获取明暗变化参数，并判断明暗变化参数是否等于1，若是则进入步骤S7，否则进入步骤S6；
S6、根据明暗变化参数调整预测帧的像素值得到上变换插入帧，将上变换插入帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S7、直接将预测帧插入与其对应的连续两帧视频图像之间，进入步骤S8；
S8、采用与步骤S1至步骤S7相同的方法对待处理视频流进行遍历，完成对待处理视频流的视频帧上变换；
所述步骤S5的具体方法包括以下子步骤：
S5-1、根据公式
Figure FDA0002424428740000011
获取帧间商
Figure FDA0002424428740000012
其中
Figure FDA0002424428740000013
为前帧视频图像的平均像素值；
Figure FDA0002424428740000014
为后帧视频图像的平均像素值；./表示两矩阵对应元素相除；
S5-2、根据公式
Figure FDA0002424428740000021
计算变化参数valuescaler{i}；其中vt1{i}为前帧视频图像中第i个具有匹配对的特征点的像素值；vt2{i}为后帧视频图像中与vt1{i}所对应特征点相匹配的特征点的像素值；M为特征点匹配对的个数；
S5-3、将变化参数valuescaler{i}和与其对应的特征点所在区域的帧间商的聚类中心值作为该区域明暗变化参数。
2.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S1的具体方法包括以下子步骤：
S1-1、根据公式
L(x,y,δ)＝G(x,y,kδ)-G(x,y,δ)
生成差分离散尺度空间核函数L；其中
Figure FDA0002424428740000022
δ＝kp·δ0,p＝0,1,2,3,4；
Figure FDA0002424428740000023
x和y分别为横纵坐标值；
S1-2、将前后两帧视频图像分别与L相卷积，分别得到与前帧对应的5个差分图像
Figure FDA0002424428740000024
和与后帧对应的5个差分图像
Figure FDA0002424428740000025
Figure FDA0002424428740000026
为卷积运算；Ft1表示前帧视频图像；Ft2表示后帧视频图像；
S1-3、分别对
Figure FDA0002424428740000027
进行行列隔点降采样后与L相卷积，分别得到与前帧对应的5个差分图像
Figure FDA0002424428740000028
和与后帧对应的5个差分图像
Figure FDA0002424428740000029
S1-4、将最新得到的差分图像通过与步骤S1-3相同的方法获取差分图像
Figure FDA00024244287400000210
和
Figure FDA00024244287400000211
其中q＝2,3,4,5；
S1-5、将步骤S1-2、步骤S1-3和步骤S1-4中得到的差分图像进行组合得到与每帧图像相对应的6组不同尺寸的差分图像组，其中每组包括5个尺寸相同、离散尺度δ不同的差分图像；
S1-6、搜索同组相邻差分图像的极值点，剔除其中低于设定阈值的点和边缘点，将剩余极值点作为该尺寸的特征点；其中设定阈值为图像像素点最大值的3％；
S1-7、对于每一个特征点，根据公式
Figure FDA0002424428740000031
获取最接近尺度值为δ的高斯图像LL；
Figure FDA0002424428740000032
δ＝kp·δ0,p＝0,1,2,3,4；
Figure FDA0002424428740000033
x和y分别为横纵坐标值；Ftl,l＝1,2表示前后两帧视频图像；
S1-8、以该特征点为中心，计算以3×1.5δ为半径的邻域内高斯图像LL梯度的幅度和角度，并采用直方图统计邻域内像素的梯度方向和幅度；其中梯度方向直方图将0°～360°的范围平分为36个方向；梯度方向直方图的峰值代表该特征点处邻域内图像梯度的主方向，即该特征点的主方向θ；
S1-9、以该特征点为中心将特征点邻域图像的梯度和方向旋转一个方向角θ后，以该特征点为中心取大小为mδB×mδB的图像区域；其中m＝3，B＝4；
S1-10、将该mδB×mδB图像区域等分成B×B个子区域，将每个子区域等分为8个方向的梯度方向，其中每个方向为45°；
S1-11、计算一个子区域内每个梯度方向中的像元个数和，得到8个数据，遍历B×B个子区域得到B×B×8个数据，将B×B×8个数据记为该特征点的特征矢量。
3.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S2的具体方法包括以下子步骤：
S2-1、计算前帧视频图像中某个特征点A的特征矢量与后帧视频图像中所有特征矢量之间的欧氏距离，判断最小的欧氏距离是否小于次最小欧式距离的ρ％，若是则将前帧视频图像中的特征点A与后帧视频图像中与特征点A欧氏距离最小的特征点A'记为最佳匹配对；否则认为后帧视频图像中无与特征点A相匹配的特征点；其中ρ＝50；
S2-2、采用与步骤S2-1相同的方法遍历前帧视频图像中的所有特征点，完成两帧视频图像特征点的匹配，并获取两帧之间的特征匹配对的坐标。
4.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的缩放系数的具体方法包括以下子步骤：
S3-1-1、以每个特征匹配对为一个计算单元，根据公式
Figure FDA0002424428740000041
获取该视频帧的缩放系数集；其中zoomscalerx{i}为x方向的缩放系数集；zoomscalery{i}为y方向的缩放系数集；Δxt1为前帧视频图像中相邻两个特征点之间横坐标的欧氏距离；Δxt2为与Δxt1中两个特征点相对应的两个特征点之间横坐标的欧氏距离；Δyt1为前帧视频图像中相邻两个特征点之间纵坐标的欧氏距离；Δyt2为与Δyt1中两个特征点相对应的两个特征点之间纵坐标的欧氏距离；M为特征点匹配对的个数；
S3-1-2、分别对缩放系数集zoomscalerx{i}和zoomscalery{i}进行k均值聚类，剔除孤立参数，获取聚类中心值，将整个视频帧分为N1个缩放区域，以聚类中心值作为该视频帧图像每个缩放区域的横向缩放系数zoomscalerX{j}和纵向缩放系数zoomscalerX{j}，其中j＝1,2,...,N1。
5.根据权利要求4所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S3中根据特征匹配对的坐标计算视频帧图像每个区域的平移系数的具体方法包括以下子步骤：
S3-2-1、以每个特征匹配对为一个计算单元，根据公式
Figure FDA0002424428740000051
Figure FDA0002424428740000052
计算各个特征匹配对的平移系数集；其中translatx{i}为x方向的平移系数集；translaty{i}为y方向的平移系数集；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在缩放区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在缩放区域的纵向缩放系数；
S3-2-2、分别对平移系数集translatx{i}和translaty{i}进行k均值聚类，剔除孤立参数，将视频帧分为N2个平移区域，以聚类中心值作为各平移区域的横向平移系数translatX{j}和纵向平移系数translatY{j}，j＝1,2,...,N2；
S3-2-3、根据约束条件N3≥max(N1,N2)将整个视频帧重新调整为N3个区域，使视频帧图像每个区域内的像素具有相同的缩放参数和平移参数；当N3＝1时将整个视频帧图像视为一个区域；其中max(·)为取最大值函数。
6.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S4的具体方法包括以下子步骤：
S4-1、以视频帧的每个区域为一个计算单元，根据公式
Figure FDA0002424428740000061
Figure FDA0002424428740000062
计算待插入帧的区域缩放系数；其中zoomSx{j}为待插入帧在x方向的区域缩放系数；zoomSy{j}为待插入帧在y方向的区域缩放系数；zoomscalerX{j}为特征点(xt1{i},yt1{i})所在区域的横向缩放系数；zoomscalerY{j}为特征点(xt1{i},yt1{i})所在区域的纵向缩放系数；xt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的横坐标；xt2{i}为后帧视频图像中与xt1{i}相匹配的特征点的横坐标；yt1{i}为前帧视频图像中第i个具有最佳匹配对特征点的纵坐标；yt2{i}为后帧视频图像中与yt1{i}相匹配的特征点的纵坐标；n为当前连续两帧视频图像之间待插入帧的总数，由目标帧率与待处理视频流的帧率计算得到；
S4-2、根据公式
Translx{j}＝translatX{j}/(n+1)
Transly{j}＝translatY{j}/(n+1)
j＝1,2,...,N3
计算待插入帧的区域平移系数；其中Translx{j}为待插入帧在x方向的区域平移系数；Transly{j}为待插入帧在y方向的区域平移系数；translatX{j}为该区域的横向平移系数；translatY{j}为该区域的纵向平移系数；
S4-3、根据公式
Figure FDA0002424428740000063
对待插入帧的每个区域进行上采样后得到预测帧集合frameS{t}，frameS{j}{t}∈frameS{t}；其中t＝1,2,...,n；ix＝max(1,Translx{j}×t×zoomSx{j}+1)；max(·)表示取最大值；
Figure FDA0002424428740000071
iy＝max(1,Transly{j}×t×zoomSy{j}+1)；
Figure FDA0002424428740000072
upscale(f,a,b)表示采用双cubic插值法将参考图像区域f放大a×b倍；Ft1{j}(ix:ox,iy:oy)和Ft2{j}(ix:ox,iy:oy)为待插入视频帧的某个图像区域在原始视频流中对应的前帧和后帧图像区域。
7.根据权利要求1所述的适用于缩放运动和明暗变化的视频帧率上变换方法，其特征在于，所述步骤S6中根据明暗变化参数调整预测帧的像素值得到上变换插入帧的具体方法为：
根据公式
frame{t}＝frameS{j}{t}×Valuescaler{j}
调整预测帧各个区域的像素值得到上变换插入帧frame{t}；其中frameS{j}{t}为第t帧预测帧的第j区域；Valuescaler{j}为第j区域的明暗变化参数。
CN201910752518.3A 2019-08-15 2019-08-15 一种适用于缩放运动和明暗变化的视频帧率上变换方法 Expired - Fee Related CN110446107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752518.3A CN110446107B (zh) 2019-08-15 2019-08-15 一种适用于缩放运动和明暗变化的视频帧率上变换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752518.3A CN110446107B (zh) 2019-08-15 2019-08-15 一种适用于缩放运动和明暗变化的视频帧率上变换方法

Publications (2)

Publication Number Publication Date
CN110446107A CN110446107A (zh) 2019-11-12
CN110446107B true CN110446107B (zh) 2020-06-23

Family

ID=68435626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752518.3A Expired - Fee Related CN110446107B (zh) 2019-08-15 2019-08-15 一种适用于缩放运动和明暗变化的视频帧率上变换方法

Country Status (1)

Country Link
CN (1) CN110446107B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022183325A1 (zh) * 2021-03-01 2022-09-09 京东方科技集团股份有限公司 视频块处理方法及装置、神经网络的训练方法和存储介质
CN116366886B (zh) * 2023-02-27 2024-03-19 泰德网聚(北京)科技股份有限公司 基于平滑处理的视频快编系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101023678A (zh) * 2004-07-21 2007-08-22 高通股份有限公司 运动矢量分配的方法和装置
CN101189882A (zh) * 2004-07-20 2008-05-28 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
CN104301736A (zh) * 2014-10-13 2015-01-21 上海交通大学 一种减少存储带宽需求的超高清帧率上变换系统
CN104915966A (zh) * 2015-05-08 2015-09-16 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN106210449A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种多信息融合的帧率上变换运动估计方法及系统
CN106331723A (zh) * 2016-08-18 2017-01-11 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及系统
CN109068174A (zh) * 2018-09-12 2018-12-21 上海交通大学 基于循环卷积神经网络的视频帧率上变换方法及系统
CN109379550A (zh) * 2018-09-12 2019-02-22 上海交通大学 基于卷积神经网络的视频帧率上变换方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110032331A1 (en) * 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
US9384568B2 (en) * 2014-09-03 2016-07-05 General Electric Company Method and system for enhanced frame rate upconversion in ultrasound imaging
EP3451664A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Motion compensation at a finer precision than motion vector differential

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189882A (zh) * 2004-07-20 2008-05-28 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
CN101023678A (zh) * 2004-07-21 2007-08-22 高通股份有限公司 运动矢量分配的方法和装置
CN104301736A (zh) * 2014-10-13 2015-01-21 上海交通大学 一种减少存储带宽需求的超高清帧率上变换系统
CN104915966A (zh) * 2015-05-08 2015-09-16 上海交通大学 基于卡尔曼滤波的帧率上变换运动估计方法及系统
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN106210449A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种多信息融合的帧率上变换运动估计方法及系统
CN106331723A (zh) * 2016-08-18 2017-01-11 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及系统
CN109068174A (zh) * 2018-09-12 2018-12-21 上海交通大学 基于循环卷积神经网络的视频帧率上变换方法及系统
CN109379550A (zh) * 2018-09-12 2019-02-22 上海交通大学 基于卷积神经网络的视频帧率上变换方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
任政.《帧速率上变换算法研究》.《中国优秀硕士学位论文全文数据库》.2012,全文. *
李贵锐.《超高清视频的低复杂度帧率上变换算法研究》.《中国优秀硕士论文全文数据库》.2017,全文. *
路庆春.《视频帧率上变换算法研究》.《中国优秀硕博士学位论文全文数据库》.2015,全文. *
郭勇.《帧率上变换算法与实现研究》.《中国优秀硕博士学位论文全文数据库》.2016,全文. *

Also Published As

Publication number Publication date
CN110446107A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
US10600157B2 (en) Motion blur simulation
Kim et al. Video deraining and desnowing using temporal correlation and low-rank matrix completion
Grundmann et al. Discontinuous seam-carving for video retargeting
CN105517671B (zh) 一种基于光流法的视频插帧方法及系统
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
US7092016B2 (en) Method and system for motion image digital processing
CN109934772B (zh) 一种图像融合方法、装置及便携式终端
KR102315471B1 (ko) 영상 처리 방법과 장치
Gal et al. Progress in the restoration of image sequences degraded by atmospheric turbulence
CN110446107B (zh) 一种适用于缩放运动和明暗变化的视频帧率上变换方法
CN110135576A (zh) 一种用于视频去模糊的无监督学习方法
Simonyan et al. Fast video super-resolution via classification
CN101969568B (zh) 面向帧速率上变换的运动估计方法
Lee et al. Smartgrid: Video retargeting with spatiotemporal grid optimization
WO2023040298A1 (zh) 视频表征自监督对比学习方法和装置
CN104363384B (zh) 一种视频融合中基于行的硬件缝合方法
CN103327261B (zh) 一种简单快速的视频重定向方法
Kiess et al. GPU video retargeting with parallelized SeamCrop
CN102339625A (zh) 视频对象级时域编辑方法及系统
Stergiou Lavib: A large-scale video interpolation benchmark
Zhou et al. Multiframe interpolation for video using phase features
CN117710250B (zh) 一种消除纤维镜成像蜂窝状结构的方法
KR101028449B1 (ko) 영상 크기 조정 장치 및 방법
Moriyama et al. An Edge-Enhanced Branch for Multi-Frame Motion Deblurring
CN108364258A (zh) 一种提高图像分辨率的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623

CF01 Termination of patent right due to non-payment of annual fee