[go: up one dir, main page]

CN108040217B - 一种视频解码的方法、装置及相机 - Google Patents

一种视频解码的方法、装置及相机 Download PDF

Info

Publication number
CN108040217B
CN108040217B CN201711385671.4A CN201711385671A CN108040217B CN 108040217 B CN108040217 B CN 108040217B CN 201711385671 A CN201711385671 A CN 201711385671A CN 108040217 B CN108040217 B CN 108040217B
Authority
CN
China
Prior art keywords
optical flow
frame image
frame
flow field
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711385671.4A
Other languages
English (en)
Other versions
CN108040217A (zh
Inventor
谢亮
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201711385671.4A priority Critical patent/CN108040217B/zh
Publication of CN108040217A publication Critical patent/CN108040217A/zh
Priority to EP18891343.8A priority patent/EP3731518A4/en
Priority to JP2020530657A priority patent/JP7159320B2/ja
Priority to PCT/CN2018/115852 priority patent/WO2019120012A1/zh
Priority to US16/770,945 priority patent/US11509859B2/en
Application granted granted Critical
Publication of CN108040217B publication Critical patent/CN108040217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明适用于视频处理领域，提供了一种视频解码的方法、装置及相机。所述方法包括：加载视频，并从视频中解码出每一帧图像；对任意相邻的两帧图像，计算第一光流场；根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。本发明消除或减缓了运动不连续的现象，达到了更流畅的视觉观看效果。

Description

一种视频解码的方法、装置及相机
技术领域
本发明属于视频处理领域，尤其涉及一种视频解码的方法、装置及相机。
背景技术
相机拍摄运动物体，尤其是高速运动物体的视频中，由于视频帧率不足，物体可能会出现运动不连续现象，当降低播放速度查看慢动作时，这种运动不连续的现象尤为明显。
发明内容
本发明的目的在于提供一种视频解码的方法、装置、计算机可读存储介质及相机，旨在解决视频中运动物体因帧率不足引起的运动不连续现象的问题。
第一方面，本发明提供了一种视频解码的方法，所述方法包括：
加载视频，并从视频中解码出每一帧图像；
对任意相邻的两帧图像，计算第一光流场；
根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
第二方面，本发明提供了一种视频解码的装置，所述装置包括：
解码模块，用于加载视频，并从视频中解码出每一帧图像；
第一计算模块，用于对任意相邻的两帧图像，计算第一光流场；
第二计算模块，用于根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
插值模块，用于利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
重组模块，用于将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视频解码的方法的步骤。
第四方面，本发明提供了一种相机，包括：一个或多个处理器、存储器、以及一个或多个计算机程序，其中所述处理器和所述存储器通过总线连接，所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的视频解码的方法的步骤。
在本发明中，由于对任意相邻的两帧图像，计算第一光流场；根据第一光流场，计算待插入帧图像的位置的第二光流场；利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起。因此重新组成高帧率视频，从而消除或减缓了运动不连续的现象，达到了更流畅的视觉观看效果。
附图说明
图1是本发明实施例一提供的视频解码的方法的流程图。
图2是本发明实施例二提供的视频解码的装置的功能模块框图。
图3是本发明实施例四提供的相机的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的视频解码的方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的视频解码的方法并不以图1所示的流程顺序为限。
S101、加载视频，并从视频中解码出每一帧图像。
S102、对任意相邻的两帧图像，计算第一光流场。
在本发明实施例一中，S102具体可以包括：
对任意相邻的两帧图像进行降采样，降到合适的分辨率；
对降采样后的相邻的两帧图像计算光流，得到降分辨率的第一光流场；
对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场。
在本发明实施例一中，所述对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场之后，所述方法还可以包括以下步骤：
对原始图像的分辨率的第一光流场做平滑处理以保证连续性，具体可以是将原始图像的分辨率的第一光流场的光流值乘以采样系数以保证光流在原始图像的分辨率下正确。
S103、根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间。
在本发明实施例一中，S103具体可以为：
记相邻的两帧图像中的第一帧图像I1到相邻的两帧图像中的第二帧图像I2的第一光流场为M1，当在第一帧图像I1和第二帧图像I2中间插入一帧图像时，记插入的帧图像到第一帧图像I1的第二光流场为M，则：M(x+dx，y+dy)＝-M1(x，y)/2，其中(dx，dy)＝M1(x，y)，为第一帧图像I1中(x，y)坐标到第二帧图像I2的运动向量。
由于第二光流场M可能存在空洞，即存在无效坐标。因此在本发明实施例一中，计算待插入位置的第二光流场后，所述方法还可以包括以下步骤：
针对第二光流场中存在的无效坐标，在无效坐标周围取一最小区域(例如正方形、长方形等)，使该区域包含有效坐标，然后将有效坐标的光流均值填到无效坐标上以填补光流空洞，最后对第二光流场M做平滑处理。
S104、利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上。
本发明实施例一中，S104具体可以为：
记插入的帧图像为I，第二光流场为M，计算插入的帧图像I中每个坐标(x，y)在相邻的两帧图像中的第一帧图像I1中的位置(x+dx，y+dy),其中(dx，dy)＝M(x，y)为从插入的帧图像I到第一帧图像I1在坐标(x，y)处的运动向量；
对插入的帧图像I的每个像素赋值，具体公式为：I(x，y)＝I1(x+dx，y+dy)。
S105、将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
本发明实施例一中，S105具体可以为：
记从视频中解码出来的帧图像序列为Ii、li+1……，利用光流在帧图像Ii和Ii+1中插入的帧图像为I′i，将这些帧按I1、I′1、I2、I′2……顺序编码成视频流，形成高帧率视频。
实施例二：
请参阅图2，本发明实施例二提供的视频解码的装置包括：
解码模块11，用于加载视频，并从视频中解码出每一帧图像；
第一计算模块12，用于对任意相邻的两帧图像，计算第一光流场；
第二计算模块13，用于根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
插值模块14，用于利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
重组模块15，用于将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
本发明实施例二提供的视频解码的装置及本发明实施例一提供的视频解码的方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的视频解码的方法的步骤。
实施例四：
图3示出了本发明实施例四提供的相机的具体结构框图，一种相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的视频解码的方法的步骤。
在本发明中，由于对任意相邻的两帧图像，计算第一光流场；根据第一光流场，计算待插入帧图像的位置的第二光流场；利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起。因此重新组成高帧率视频，从而消除或减缓了运动不连续的现象，达到了更流畅的视觉观看效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频解码的方法，其特征在于，所述方法包括：
加载视频，并从视频中解码出每一帧图像；
对任意相邻的两帧图像，计算第一光流场；
根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
2.如权利要求1所述的方法，其特征在于，所述对任意相邻的两帧图像，计算第一光流场具体包括：
对任意相邻的两帧图像进行降采样，降到合适的分辨率；
对降采样后的相邻的两帧图像计算光流，得到降分辨率的第一光流场；
对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场。
3.如权利要求2所述的方法，其特征在于，所述对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场之后，所述方法还包括：
对原始图像的分辨率的第一光流场做平滑处理以保证连续性。
4.如权利要求1至3任一项所述的方法，其特征在于，所述根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间具体为：
记相邻的两帧图像中的第一帧图像I1到相邻的两帧图像中的第二帧图像I2的第一光流场为M1，当在第一帧图像I1和第二帧图像I2中间插入一帧图像时，记插入的帧图像到第一帧图像I1的第二光流场为M，则：M(x+dx,y+dy)＝-M1(x,y)/2，其中(dx,dy)＝M1(x,y)，(dx,dy)为第一帧图像I1中(x,y)坐标到第二帧图像I2的运动向量。
5.如权利要求4所述的方法，其特征在于，所述计算待插入位置的第二光流场后，所述方法还包括：
针对第二光流场中存在的无效坐标，在无效坐标周围取一最小区域，使该区域包含有效坐标，然后将有效坐标的光流均值填到无效坐标上以填补光流空洞，最后对第二光流场M做平滑处理。
6.如权利要求1至3任一项所述的方法，其特征在于，所述利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上具体为：
记插入的帧图像为I，第二光流场为M，计算插入的帧图像I中每个坐标(x,y)在相邻的两帧图像中的第一帧图像I1中的位置(x+dx,y+dy)，其中(dx,dy)＝M(x,y)，(dx,dy)为从插入的帧图像I到第一帧图像I1在坐标(x,y)处的运动向量；
对插入的帧图像I的每个像素赋值，具体公式为：I(x,y)＝I1(x+dx,y+dy)。
7.如权利要求1至3任一项所述的方法，其特征在于，所述将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频具体为：
记从视频中解码出来的帧图像序列为Ii、Ii+1……，利用光流在帧图像Ii和Ii+1中插入的帧图像为I′i，将这些帧按I1、I′1、I2、I′2……顺序编码成视频流，形成高帧率视频。
8.一种视频解码的装置，其特征在于，所述装置包括：
解码模块，用于加载视频，并从视频中解码出每一帧图像；
第一计算模块，用于对任意相邻的两帧图像，计算第一光流场；
第二计算模块，用于根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
插值模块，用于利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
重组模块，用于将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频解码的方法的步骤。
10.一种相机，包括：一个或多个处理器、存储器、以及一个或多个计算机程序，其中所述处理器和所述存储器通过总线连接，所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频解码的方法的步骤。
CN201711385671.4A 2017-12-20 2017-12-20 一种视频解码的方法、装置及相机 Active CN108040217B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711385671.4A CN108040217B (zh) 2017-12-20 2017-12-20 一种视频解码的方法、装置及相机
EP18891343.8A EP3731518A4 (en) 2017-12-20 2018-11-16 VIDEO AND CAMERA DECODING PROCESS
JP2020530657A JP7159320B2 (ja) 2017-12-20 2018-11-16 ビデオ復号化方法及びカメラ
PCT/CN2018/115852 WO2019120012A1 (zh) 2017-12-20 2018-11-16 一种视频解码的方法及相机
US16/770,945 US11509859B2 (en) 2017-12-20 2018-11-16 Video decoding method and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711385671.4A CN108040217B (zh) 2017-12-20 2017-12-20 一种视频解码的方法、装置及相机

Publications (2)

Publication Number Publication Date
CN108040217A CN108040217A (zh) 2018-05-15
CN108040217B true CN108040217B (zh) 2020-01-24

Family

ID=62100190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711385671.4A Active CN108040217B (zh) 2017-12-20 2017-12-20 一种视频解码的方法、装置及相机

Country Status (5)

Country Link
US (1) US11509859B2 (zh)
EP (1) EP3731518A4 (zh)
JP (1) JP7159320B2 (zh)
CN (1) CN108040217B (zh)
WO (1) WO2019120012A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040217B (zh) * 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
CN109803175B (zh) * 2019-03-12 2021-03-26 京东方科技集团股份有限公司 视频处理方法及装置、设备、存储介质
CN110267098B (zh) * 2019-06-28 2022-05-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
CN115104125B (zh) * 2020-02-19 2024-12-20 华为技术有限公司 光流获取方法和装置
CN111327908B (zh) * 2020-03-05 2022-11-11 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN111586321B (zh) * 2020-05-08 2023-05-12 Oppo广东移动通信有限公司 视频生成方法、装置、电子设备和计算机可读存储介质
CN113660443B (zh) * 2020-05-12 2024-07-02 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质
CN111372087B (zh) * 2020-05-26 2020-08-28 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质
CN111901598B (zh) * 2020-06-28 2023-10-13 华南理工大学 视频解码与编码的方法、装置、介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541667A (en) * 1992-02-28 1996-07-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for lost block substitution in a moving picture receiving system
CN101325044A (zh) * 2007-06-12 2008-12-17 奇景光电股份有限公司 用于帧升频转换的帧内插方法
CN101399950A (zh) * 2007-09-30 2009-04-01 上海携昌电子科技有限公司 一种基于图像轮廓匹配的帧频加倍的方法
CN102509071A (zh) * 2011-10-14 2012-06-20 江南大学 光流计算系统和方法
CN103139524A (zh) * 2011-12-05 2013-06-05 联想(北京)有限公司 视频优化方法以及信息处理设备
CN103888767A (zh) * 2014-03-31 2014-06-25 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN104933416A (zh) * 2015-06-26 2015-09-23 复旦大学 基于光流场的微表情序列特征提取方法
CN105847804A (zh) * 2016-05-18 2016-08-10 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044963A1 (en) * 2008-10-15 2010-04-22 Innovative Technology Distributors Llc Digital processing method and system for determination of optical flow
JP4692913B2 (ja) 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
KR20150014496A (ko) * 2012-05-14 2015-02-06 루카 로사토 지원 정보에 기반한 잔차 데이터의 인코딩 및 복원
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
SG10201406217VA (en) * 2014-05-30 2015-12-30 Paofit Technology Pte Ltd Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation
US9626770B2 (en) * 2015-04-10 2017-04-18 Apple Inc. Generating synthetic video frames using optical flow
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10977809B2 (en) * 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
CN108040217B (zh) * 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541667A (en) * 1992-02-28 1996-07-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for lost block substitution in a moving picture receiving system
CN101325044A (zh) * 2007-06-12 2008-12-17 奇景光电股份有限公司 用于帧升频转换的帧内插方法
CN101399950A (zh) * 2007-09-30 2009-04-01 上海携昌电子科技有限公司 一种基于图像轮廓匹配的帧频加倍的方法
CN102509071A (zh) * 2011-10-14 2012-06-20 江南大学 光流计算系统和方法
CN103139524A (zh) * 2011-12-05 2013-06-05 联想(北京)有限公司 视频优化方法以及信息处理设备
CN103888767A (zh) * 2014-03-31 2014-06-25 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN104933416A (zh) * 2015-06-26 2015-09-23 复旦大学 基于光流场的微表情序列特征提取方法
CN105847804A (zh) * 2016-05-18 2016-08-10 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征光流的角点匹配快速算法;杨常清 等;《光电工程》;20060430;第33卷(第4期);第85-88页 *

Also Published As

Publication number Publication date
US11509859B2 (en) 2022-11-22
CN108040217A (zh) 2018-05-15
EP3731518A4 (en) 2021-09-15
JP2021506160A (ja) 2021-02-18
WO2019120012A1 (zh) 2019-06-27
JP7159320B2 (ja) 2022-10-24
US20210185274A1 (en) 2021-06-17
EP3731518A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
CN108040217B (zh) 一种视频解码的方法、装置及相机
Altunbasak et al. Super-resolution still and video reconstruction from MPEG-coded video
CN108205804B (zh) 图像处理方法、装置及电子设备
CN103220488B (zh) 一种视频帧率上转换装置及方法
US20080232716A1 (en) Video Processing Method and Device for Depth Extraction
US20100067818A1 (en) System and method for high quality image and video upscaling
TW200937946A (en) Full-frame video stabilization with a polyline-fitted camcorder path
GB2544375A (en) Dehazing photos and videos using visual artifact suppression
US20130235155A1 (en) Method of converting 2d into 3d based on image motion information
CN106791279B (zh) 基于遮挡检测的运动补偿方法及系统
US20230138053A1 (en) Systems and methods for optical flow estimation
WO2018113224A1 (zh) 一种图像缩小方法及装置
US20180374218A1 (en) Image processing with occlusion and error handling in motion fields
US9652886B2 (en) Rendering processing device and rendering processing method using interpolation rendering result
CN105933714B (zh) 一种基于深度引导扩展块匹配的三维视频帧率提升方法
KR20130101829A (ko) 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
EP4425422A1 (en) Video processing method and apparatus, and device, storage medium and program product
CN107155096B (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
CN116503263A (zh) 渲染图降噪方法、模型渲染方法、装置、设备及存储介质
CN110322405B (zh) 一种基于自编码器的视频去马赛克方法及相关装置
KR101970787B1 (ko) 안드로이드 플랫폼 기반 듀얼 메모리를 이용한 비디오 디코딩 장치 및 방법
CN115375539A (zh) 图像分辨率增强、多帧图像超分辨率系统和方法
KR102236473B1 (ko) 영상 처리 방법 및 그 장치
CN115914834A (zh) 视频处理方法及装置
CN107172426B (zh) 基于双MIC的OpenCL并行帧率上转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee after: Yingshi Innovation Technology Co.,Ltd.

Address before: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee before: SHENZHEN ARASHI VISION Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180515

Assignee: Yingshi innovation (Zhongshan) Technology Co.,Ltd.

Assignor: Yingshi Innovation Technology Co.,Ltd.

Contract record no.: X2020980009894

Denomination of invention: A video decoding method, device and camera

Granted publication date: 20200124

License type: Common License

Record date: 20201224

EE01 Entry into force of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Yingshi innovation (Zhongshan) Technology Co.,Ltd.

Assignor: Yingshi Innovation Technology Co.,Ltd.

Contract record no.: X2020980009894

Date of cancellation: 20230705

EC01 Cancellation of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180515

Assignee: Yingshi innovation (Zhongshan) Technology Co.,Ltd.

Assignor: Yingshi Innovation Technology Co.,Ltd.

Contract record no.: X2023980038081

Denomination of invention: A method, device, and camera for video decoding

Granted publication date: 20200124

License type: Common License

Record date: 20230714

EE01 Entry into force of recordation of patent licensing contract