CN101222604B - 运算移动估计值与估算图像的移动向量的方法 - Google Patents
运算移动估计值与估算图像的移动向量的方法 Download PDFInfo
- Publication number
- CN101222604B CN101222604B CN2008100057288A CN200810005728A CN101222604B CN 101222604 B CN101222604 B CN 101222604B CN 2008100057288 A CN2008100057288 A CN 2008100057288A CN 200810005728 A CN200810005728 A CN 200810005728A CN 101222604 B CN101222604 B CN 101222604B
- Authority
- CN
- China
- Prior art keywords
- pixel
- vector
- value
- pixel value
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012360 testing method Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 239000013256 coordination polymer Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明为一种运算移动估计值与估算图像的移动向量的方法，其中运算移动估计值的方法包含：于包含有第二待估计像素点的第二类的交错图场中定义出一个区块，所述区块中包含有原始像素点；将第一类的第一交错图场与第一类的第二交错图场内的像素点进行预先插补运算而形成第一与第二预解交错图场；根据所述区块于所述第二类的交错图场中位置的第二坐标以及一组待选向量，在所述第一与所述第二预解交错图场中分别定义出第一与第二待选区块；以及运算出对应所述组待选向量的移动估计值，所述移动估计值至少由第一数值与第二数值累加而成。本发明可有效改善已知手段中产生误判而导致画面失真的问题。
Description
技术领域
本发明涉及一种运算移动估计值与估算图像的移动向量的方法，特别涉及于应用于解交错处理的运算移动估计值与估算图像的移动向量的方法。
背景技术
在图像信号格式中，交错式(interlaced)与非交错式(Non-interlaced或称progressive)的图像格式被广泛应于图像显示、图像处理等各种图像系统中，因此图像信号在各系统间进行传送与显示时，便经常有机会对交错式与非交错式的格式进行转换。
请参见图1(a)，其为解交错(deinterlacing)处理的示意图，其中左侧是表示出两张交错式图像图场(field)-奇图场11与偶图场12(虚线表示不存在的扫描线)。而经过解交错运算13，将原本不存在的扫描线推算出来，便可以相对应得到如图所示的两张具有完整扫描线的非交错式图框(frame)14与15。
而上述的解交错运算13较常见方式为利用同一图场中上下相邻扫描线上的像素点来推算出原本不存在的扫描线上的像素点的数值内插方法，但此种方法很容易造成画面失真甚至产生闪烁(flicker)等缺陷，因此，一种基于区块移动估计(Block based Motion estimation)来进行的解交错方法便被发展出来。而为能对移动估计有初步的了解，略说明如下。
由于在连续播放的动态图像中，前后两相邻画面间通常存在相当高的相似性，而区块移动估计主要就是在前后两相邻画面间，利用区块(例如8×8个像素点所构成的小方块)为单位，计算出目前画面n中的特定区块与前一画面n-1的搜寻视窗中所包含的所有候选区块间的多个差异值后，再从搜寻视窗中选出对应最小差异值的候选区块，并以其与所述特定区块所形成的向量来代表所述特定区块的最适合的移动向量(motion vector)。如图1(b)所示，以目前画面n的特定区块18为基准，在前一画面n-1的搜寻视窗17所包含的所有候选区块中，根据所述特定区块与所述候选区块间的差异值大小，找出对应所述特定区块18的一个最佳匹配区块19，进而推算出最适合的移动向量16。
而特定区块18与前一画面n-1中搜寻视窗17中的某一区块间的差异值通常是利用两区块中同样相对位置的像素点的像素值差值(以下简称像素差值)的绝对值总和来决定，而所述像素值可为色彩值(color value，例如RGB值)。但是由于交错式图像格式的相邻画面间彼此缺乏相同位置的像素点数据，因此将移动估计应用于解交错方法的过程中，便有许多种计算区块间的差异值的方法被发展出来。
请参见图2(a)与图2(b)，其为公知解交错方法中两种用于计算区块间的差异值的方法示意图。在图2(a)中，n-1与n分别代表两个相邻的交错式图场，而y-3到y+3是分别代表图场中某一条垂直线上的相邻像素点的位置。其中坐标(n，y)的像素点(以三角形代表)就是原本不存在而待推算的一个像素点，因此，移动估计方法必须求出相对应于所述像素点(n，y)所在区块的最适合的移动向量。于是，根据所述像素点(n，y)所在区块与前一图场n-1中的搜寻视窗内的所有区块，计算出差异值并找出最小值，便可对应出最佳匹配区块以及最适合的移动向量。而如上所述，差异值通常是利用两区块中同样相对位置的像素点的像素差值的绝对值总和来决定，但在本情况中，所述像素点(n，y)所在区块(未绘示)中仅取出如图所示的圆形实线像素点(原始就存在的像素点)来进行运算，但仍会与前一图场n-1中的搜寻视窗内中的y-3、y-1、y+1、y+3等像素点进行运算，例如图中箭头CP所示，但因前一图场n-1中的y-3、y-1、y+1、y+3等以圆形虚线表达的像素点原本是不存在的，而是利用解交错的方法来推算而得，因此本身已存在着误差，利用此方法推算出来的移动向量将会有极大的机会将此误差累积下去，最后造成画面失真。
图2(b)的方法以图场n的像素点(n，y)为基准，在前一图场n-1与下一图场n+1中各找出候选区块，两候选区块中心位置的连线通过像素点(n，y)，然后计算两区块中同样相对位置的像素点的像素差值的绝对值总和，并找出总和最小的对候选区块及所述对候选区块所对应的移动向量。由于本方法完全忽略目前图场n的像素点来进行移动向量的估计，因此当有存在于目前图场n的图像数据并未出现于前一图场n-1与下一图场n+1之中时，便极容易产生误判而导致画面失真。因此，如何解决上述问题便成为以后发展的主要目的。
发明内容
本发明的目的在于提出一种运算移动估计值与估算图像的移动向量的方法，以克服已知手段中产生误判而导致画面失真的缺陷。
本发明为一种运算移动估计值的方法，包含下列步骤：于包含有第二待估计像素点的第二类的交错图场中定义出一个区块，所述区块中包含有所述第二待估计像素点以及至少一个原始像素点；将第一类的第一交错图场与第一类的第二交错图场内的像素点进行预先插补运算，以得到属于所述第一类的第一交错图场的多个第一待估计像素点的预估像素值以及属于所述第一类的第二交错图场的多个第三待估计像素点的预估像素值，进而形成第一预解交错图场与第二预解交错图场；根据所述区块于所述第二类的交错图场中位置的第二坐标以及一组待选向量，在所述第一预解交错图场与所述第二预解交错图场中分别定义出第一待选区块与第二待选区块；以及运算出对应所述组待选向量的移动估计值，所述移动估计值至少由第一数值与第二数值累加而成，所述第一数值至少包含有代表所述区块中的所述原始像素点与位于所述第一待选区块中的第一比较像素点间的像素差值绝对值，所述第二数值则至少包含有代表分别位于所述第一待选区块中与所述第二待选区块中的第二比较像素点与第三比较像素点间的像素差值绝对值。
如上所述的运算移动估计值的方法，其中所述第一类交错图场为奇图场，而所述第二类交错图场为偶图场。
如上所述的运算移动估计值的方法，其中所述组待选向量至少包含：第一向量，其由所述第二坐标指向所述第一待选区块于所述第一预解交错图场中位置的第一坐标；以及第二向量，其由所述第一坐标指向所述第二待选区块于所述第二预解交错图场中位置的第三坐标，且所述第一向量与所述第二向量平行。
如上所述的运算移动估计值的方法，其中所述组待选向量还包含第三向量，所述第三向量与所述第一向量为反向，其由所述第二坐标指向所述第三坐标。
如上所述的移动估计值运算方法，其中所述移动估计值由所述第一数值、所述第二数值以及第三数值累加而成，所述第一数值为所述区块中的多个原始像素点与位于所述第一待选区块中的多个第一比较像素点间的像素差值绝对值的总合，所述第二数值则为分别位于所述第一待选区块中与所述第二待选区块中的多个第二比较像素点与多个第三比较像素点间的像素差值绝对值的总合，而所述第三数值为所述区块中的多个原始像素点与位于所述第二待选区块中的多个第四比较像素点间的像素差值绝对值的总合。
如上所述的运算移动估计值的方法，其中所述多个第一比较像素点与第二比较像素点从所述第一待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出，所述多个第三比较像素点与第四比较像素点从所述第二待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出。
如上所述的运算移动估计值的方法，其可运用于移动向量估算方法中，所述移动向量估算方法包含下列步骤：改变所述组待选向量的大小或方向，进而运算出对应多组待选向量的多个移动估计值；以及由多个移动估计值中选取移动估计值，并以被选取的移动估计值所对应的向量为最适合的移动向量。
如上所述的移动估计值运算方法，其中由多个移动估计值中选取最小的所述移动估计值，并以被选取的移动估计值所对应的向量为所述最适合的移动向量。
本发明的另一方面为一种估算图像的移动向量的方法，包含有：从图像信号中选取第一图像画面、第二图像画面以及第三图像画面，其中所述第一图像画面包含有多个第一原始像素，所述第二图像画面包含有多个第二原始像素，所述第三图像画面包含有多个第三原始像素；进行插补运算以在所述第一图像画面与所述第三图像画面中分别产生多个第一插补像素以及多个第三插补像素；在所述第二图像画面上产生第二比对视窗，所述第二比对视窗包含多个所述第二原始像素；从多个候选向量中选取测试向量；根据所述第二比对视窗的位置以及所述测试向量，在所述第一图像画面上产生第一比对视窗，所述第一比对视窗包含有多个所述第一原始像素以及多个所述第一插补像素；根据所述第二比对视窗的位置以及所述测试向量，在所述第三图像画面上产生第三比对视窗，所述第三比对视窗包含有多个所述第三原始像素以及多个所述第三插补像素；根据所述第一比对视窗内像素的像素值以及所述第二比对视窗内像素的像素值，来产生第一像素差值；根据所述第二比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第二像素差值；根据所述第一比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第三像素差值；以及根据所述第一、第二以及第三像素差值来决定是否以所述测试向量作为所述图像的所述移动向量。
如上所述的方法，其中所述第一比对视窗的位置为所述第二比对视窗的位置沿所述测试向量移动后，投影于所述第一图像画面的位置。
如上所述的方法，其中所述第三比对视窗的位置为所述第二比对视窗的位置沿所述测试向量的相反方向移动所述测试向量的距离后，投影于所述第三图像画面的位置。
如上所述的方法，其中所述第一、第二、第三图像画面为在时间上连续的图像画面。
如上所述的方法，其中所述第一、第三图像画面同为奇图场或偶图场，而所述第二图像画面为与所述第一、第三图像画面相异的另一种类的图场。
如上所述的方法，其中所述第一像素差值为多个所述第一插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第二像素差值为多个所述第三插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第三像素差值为多个所述第一原始像素的像素值与多个所述第三原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第一像素差值为多个所述第一原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
如上所述的方法，其中所述第二像素差值为多个该第三原始像素的像素值与多个该第二原始像素的像素值的差值绝对值的总合。
综上所述，本发明的方法完整利用目前图场n、前一图场n-1与下一图场n+1的像素点来进行移动向量的估计，因此可有效改善已知手段中产生误判而导致画面失真的问题。
附图说明
图1(a)为解交错(deinterlacing)处理的示意图。
图1(b)为移动向量的示意图。
图2(a)与图2(b)为解交错方法中两种用于计算区块间的差异值的已知方法示意图。
图3为本发明用于运算出移动估计值的示意图。
图4为8×8区块的像素点示意图。
图5为本发明用于估算图像的移动向量的方法流程图。
并且，上述附图中的各附图标记说明如下：
11 奇图场
12 偶图场
13 解交错运算
14 第一非交错式图框
15 第二非交错式图框
16 最适合的移动向量
17 搜寻视窗
18 特定区块
19 最佳匹配区块
31 第一类的第一交错图场
32 第二类的交错图场
33 第一类的第二交错图场
320 区块
310 第一待选区块
330 第二待选区块
CP 第一向量
CB 第二向量
CN 第三向量
3100 第一坐标
3200 第二坐标
3300 第三坐标
具体实施方式
为能改善上述已知手段的缺陷，本发明便发展出一个新的运算移动估计值的方法，为了方便说明，请参见图3，首先定义出交错式动态图像信号中至少包含于时间轴上连续的三个图场(field)：第一类的第一交错图场31、第二类的交错图场32以及第一类的第二交错图场33，举例来说，所述第一类交错图场可为奇图场，而所述第二类交错图场可为偶图场；或是所述第一类交错图场可为偶图场，而所述第二类交错图场可为奇图场。
而本发明用以运算出移动估计值的方法则主要包含下列步骤：
(i)于包含有多个第二待估计像素点的所述第二类的交错图场32中定义出区块320，所述区块中包含有所述多个第二待估计像素点以及多个原始像素点。举例来说，当交错式动态图像信号的图框(frame)尺寸为800×600个像素点时，所述第二类的交错图场可为交错式动态图像信号中的偶(奇)图场，因此它仅具有800×300个像素点。而于其中定义出的所述区块的尺寸可为4×4、8×8或16×16个像素点，但所述区块中却只具有4×2、8×4、16×8个原始像素点，另外一半则是所述多个第二待估计像素点。
(ii)接着，将第一类的第一交错图场31与第一类的第二交错图场33内的像素点进行预先插补运算，以得到属于所述第一类的第一交错图场的多个第一待估计像素点的预估像素值以及属于所述第一类的第二交错图场的多个第三待估计像素点的预估像素值，进而形成第一预解交错图场与第二预解交错图场。沿用上例来说，所述第一类的交错图场可为交错式动态图像信号中的奇(偶)图场，因此它仅具有800×300个像素点，于是便进行预先插补运算来得到另外800×300个待估计像素点的预估像素值。而所述预先插补运算可为数值内插运算，其可以将所述第一类的第一交错图场与所述第一类的第二交错图场中上下相邻像素点的色彩值相加再平均后所得到的色彩值来做为所述第一预解交错图场与所述第二预解交错图场中所述多个待估计像素点的预估色彩值。而此类运算相当多种类且为一般公知技术，故不一一赘述。
(iii)接着，根据所述区块320于所述第二类的交错图场中位置的第二坐标3200(例如所述区块左上角像素点的坐标)以及一组待选向量(CP、CB、CN)，在所述第一预解交错图场与所述第二预解交错图场中分别定义出第一待选区块310与第二待选区块330。而所述组待选向量中的第一向量CP，其由所述第二坐标3200指向所述第一待选区块310于所述第一预解交错图场中位置的第一坐标3100，而第二向量CB，其由所述第一坐标3100指向所述第二待选区块330于所述第二预解交错图场中位置的第三坐标3300，而从图可看出，所述第一向量CP与所述第二向量CB平行，至于所述第三向量CN与所述第一向量CP为反向，其由所述第二坐标3200指向所述第三坐标3300。而为能减少运算量，当然也可只选用所述组待选向量(CP、CB、CN)中的任两个向量来当代表即可。
(iv)接着，运算出对应所述组待选向量(CP、CB、CN)的移动估计值，而所述移动估计值可由三种数值所累加而成，其中第一数值为所述区块320中至少一个但最佳是全部的原始像素点与位于所述第一待选区块310中同样相对位置的至少一个但最佳是多个的第一比较像素点间的像素差值绝对值的总合；第二数值则为位于所述第一待选区块310中至少一个但最佳是多个的第二比较像素点与所述第二待选区块330中同样相对位置的至少一个但最佳是多个的第三比较像素点间的像素差值绝对值的总合；第三数值为所述区块320中至少一个但最佳是全部的原始像素点与位于所述第二待选区块330中同样相对位置的至少一个但最佳是多个的第四比较像素点间的像素差值绝对值的总合。而为能减少运算量，当然也可只选用所述组待选向量(CP、CB、CN)中的任两个向量来当代表，如此可以少算某一种数值但却仍可估计出相当准确的所述移动估计值。
至于上述的第一比较像素点与第二比较像素点可从所述第一待选区块310中具有预估像素值的待估计像素点与原始像素点中，因应所述区块320中原始像素点的位置而对应选出；所述多个第三比较像素点与第四比较像素点则可从所述第二待选区块330中的具有预估像素值的待估计像素点与原始像素点中，因应所述区块320中原始像素点的位置而对应选出。而图4便是以8×8的区块为例的像素点示意图，其中所述第一待选区块310与所述第二待选区块330中的待估计像素点以方形代表，而所述区块320、所述第一待选区块310与所述第二待选区块330中的原始像素点则以圆形代表，而所述区块320中所缺少的像素点则以三角形代表。其中所述第一待选区块310与所述第二待选区块330中的待估计像素点与原始像素点的分布位置会随第一坐标3100与第三坐标3300改变而对调，例如待估计像素点变成偶数条，而原始像素点变成奇数条，但是第一待选区块310与所述第二待选区块330会是一起变化。至于所述区块320中的三角形与圆形的分布位置也会随第二坐标3200的改变而对调。
而上述运算移动估计值的方法，还可进一步运用于移动向量估算方法中，而所述移动向量估算方法则包含下列步骤：
(i)改变所述组待选向量的大小或方向，进而运算出对应多组待选向量的多个移动估计值；以及
(ii)由多个移动估计值中选取移动估计值，并以被选取的移动估计值所对应的向量为最适合的移动向量。而最佳者由多个移动估计值中选取最小的所述移动估计值，并以被选取的移动估计值所对应的向量为所述最适合的移动向量。
因此本发明公开了一种估算图像的移动向量的方法，其包含有如图5所示的步骤流程图：
步骤(a)：从图像信号中选取第一图像画面、第二图像画面以及第三图像画面，其中所述第一图像画面包含有多个第一原始像素，所述第二图像画面包含有多个第二原始像素，所述第三图像画面包含有多个第三原始像素，而所述第一、第二、第三图像画面为在时间上连续的图像画面。当然，所述第一、第二、第三图像画面可各代表交错式图像图场，其中所述第一、第三图像画面同为奇图场或偶图场，而所述第二图像画面为与所述第一、第三图像画面相异的另一种类的图场。
步骤(b)：进行插补运算以在所述第一图像画面与所述第三图像画面中分别产生多个第一插补像素以及多个第三插补像素；
步骤(c)：在所述第二图像画面上产生第二比对视窗，所述第二比对视窗包含多个所述第二原始像素；
步骤(d)：从多个候选向量中选取测试向量；
步骤(e)：根据所述第二比对视窗的位置以及所述测试向量，在所述第一图像画面上产生第一比对视窗，所述第一比对视窗包含有多个所述第一原始像素以及多个所述第一插补像素，而所述第一比对视窗的位置为所述第二比对视窗的位置沿所述测试向量移动后，投影于所述第一图像画面的位置，而所述第一插补像素根据所述第一原始像素及/或与所述第一图像画面时间轴上相邻的图像画面的像素来产生；
步骤(f)：根据所述第二比对视窗的位置以及所述测试向量，在所述第三图像画面上产生第三比对视窗，所述第三比对视窗包含有多个所述第三原始像素以及多个所述第三插补像素，而所述第三比对视窗的位置为所述第二比对视窗的位置沿所述测试向量的相反方向移动所述测试向量的距离后，投影于所述第三图像画面的位置，而所述第三插补像素根据所述第三原始像素及/或与所述第三图像画面时间轴上相邻的图像画面的像素来产生；
步骤(g)：根据所述第一比对视窗内像素的像素值以及所述第二比对视窗内像素的像素值，来产生第一像素差值，而所述第一像素差值可为多个所述第一插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合，或是所述第一像素差值可为多个所述第一原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合；
步骤(h)：根据所述第二比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第二像素差值，而所述第二像素差值可为多个所述第三插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合，或是所述第二像素差值可为多个所述第三原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合；
步骤(i)：根据所述第一比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第三像素差值，而所述第三像素差值为多个所述第一原始像素的像素值与多个所述第三原始像素的像素值的差值绝对值的总合；以及
步骤(j)：根据所述第一、第二以及第三像素差值来决定是否以所述测试向量作为所述图像的所述移动向量。
综上所述，本发明的方法完整利用目前图场n、前一图场n-1与下一图场n+1的像素点来进行移动向量的估计，因此可有效改善已知手段中产生误判而导致画面失真的问题。因此，本发明技术手段可解决已知缺陷，进而实现发展本发明的主要目的。
Claims (18)
1.一种运算移动估计值的方法，包含下列步骤：
于包含有第二待估计像素点的第二类的交错图场中定义出一个区块，所述区块中包含有所述第二待估计像素点以及至少一个原始像素点；
将第一类的第一交错图场与第一类的第二交错图场内的像素点进行预先插补运算，以得到属于所述第一类的第一交错图场的多个第一待估计像素点的预估像素值以及属于所述第一类的第二交错图场的多个第三待估计像素点的预估像素值，进而形成第一预解交错图场与第二预解交错图场；
根据所述区块于所述第二类的交错图场中位置的第二坐标以及一组待选向量，在所述第一预解交错图场与所述第二预解交错图场中分别定义出第一待选区块与第二待选区块；以及
运算出对应所述组待选向量的移动估计值，所述移动估计值至少由第一数值与第二数值累加而成，所述第一数值至少包含有代表所述区块中的所述原始像素点与位于所述第一待选区块中的第一比较像素点间的像素差值绝对值，所述第二数值则至少包含有代表分别位于所述第一待选区块中与所述第二待选区块中的第二比较像素点与第三比较像素点间的像素差值绝对值。
2.如权利要求1所述的运算移动估计值的方法，其中所述第一类交错图场为奇图场，而所述第二类交错图场为偶图场。
3.如权利要求1所述的运算移动估计值的方法，其中所述组待选向量至少包含：
第一向量，其由所述第二坐标指向所述第一待选区块于所述第一预解交错图场中位置的第一坐标；以及
第二向量，其由所述第一坐标指向所述第二待选区块于所述第二预解交错图场中位置的第三坐标，且所述第一向量与所述第二向量平行。
4.如权利要求3所述的运算移动估计值的方法，其中所述组待选向量还包含第三向量，所述第三向量与所述第一向量为反向，其由所述第二坐标指向所述第三坐标。
5.如权利要求4所述的移动估计值运算方法，其中所述移动估计值由所述第一数值、所述第二数值以及第三数值累加而成，所述第一数值为所述区块中的多个原始像素点与位于所述第一待选区块中的多个第一比较像素点间的像素差值绝对值的总合，所述第二数值则为分别位于所述第一待选区块中与所述第二待选区块中的多个第二比较像素点与多个第三比较像素点间的像素差值绝对值的总合，而所述第三数值为所述区块中的多个原始像素点与位于所述第二待选区块中的多个第四比较像素点间的像素差值绝对值的总合。
6.如权利要求5所述的运算移动估计值的方法，其中所述多个第一比较像素点与第二比较像素点从所述第一待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出，所述多个第三比较像素点与第四比较像素点从所述第二待选区块中多个具有预估像素值的待估计像素点与多个原始像素点中选出。
7.如权利要求1所述的运算移动估计值的方法，其可运用于移动向量估算方法中，所述移动向量估算方法包含下列步骤：
改变所述组待选向量的大小或方向，进而运算出对应多组待选向量的多个移动估计值；以及
由多个移动估计值中选取移动估计值，并以被选取的移动估计值所对应的向量为最适合的移动向量。
8.如权利要求7所述的移动估计值运算方法，其中由多个移动估计值中选取最小的所述移动估计值，并以被选取的移动估计值所对应的向量为所述最适合的移动向量。
9.一种估算图像的移动向量的方法，包含有：
从图像信号中选取第一图像画面、第二图像画面以及第三图像画面，其中所述第一图像画面包含有多个第一原始像素，所述第二图像画面包含有多个第二原始像素，所述第三图像画面包含有多个第三原始像素；
进行插补运算以在所述第一图像画面与所述第三图像画面中分别产生多个第一插补像素以及多个第三插补像素；
在所述第二图像画面上产生第二比对视窗，所述第二比对视窗包含多个所述第二原始像素；
从多个候选向量中选取测试向量；
根据所述第二比对视窗的位置以及所述测试向量，在所述第一图像画面上产生第一比对视窗，所述第一比对视窗包含有多个所述第一原始像素以及多个所述第一插补像素；
根据所述第二比对视窗的位置以及所述测试向量，在所述第三图像画面上产生第三比对视窗，所述第三比对视窗包含有多个所述第三原始像素以及多个所述第三插补像素；
根据所述第一比对视窗内像素的像素值以及所述第二比对视窗内像素的像素值，来产生第一像素差值；
根据所述第二比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第二像素差值；
根据所述第一比对视窗内像素的像素值以及所述第三比对视窗内像素的像素值，来产生第三像素差值；以及
根据所述第一、第二以及第三像素差值来决定是否以所述测试向量作为所述图像的所述移动向量。
10.如权利要求9所述的方法，其中所述第一比对视窗的位置为所述第二比对视窗的位置沿所述测试向量移动后，投影于所述第一图像画面的位置。
11.如权利要求9所述的方法，其中所述第三比对视窗的位置为所述第二比对视窗的位置沿所述测试向量的相反方向移动所述测试向量的距离后，投影于所述第三图像画面的位置。
12.如权利要求9所述的方法，其中所述第一、第二、第三图像画面为在时间上连续的图像画面。
13.如权利要求9所述的方法，其中所述第一、第三图像画面同为奇图场或偶图场，而所述第二图像画面为与所述第一、第三图像画面相异的另一种类的图场。
14.如权利要求9所述的方法，其中所述第一像素差值为多个所述第一插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
15.如权利要求9所述的方法，其中所述第二像素差值为多个所述第三插补像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
16.如权利要求9所述的方法，其中所述第三像素差值为多个所述第一原始像素的像素值与多个所述第三原始像素的像素值的差值绝对值的总合。
17.如权利要求9所述的方法，其中所述第一像素差值为多个所述第一原始像素的像素值与多个所述第二原始像素的像素值的差值绝对值的总合。
18.如权利要求9所述的方法，其中所述第二像素差值为多个该第三原始像素的像素值与多个该第二原始像素的像素值的差值绝对值的总合。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US90994507P | 2007-04-04 | 2007-04-04 | |
| US60/909,945 | 2007-04-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101222604A CN101222604A (zh) | 2008-07-16 |
| CN101222604B true CN101222604B (zh) | 2010-06-09 |
Family
ID=39632150
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008100057288A Expired - Fee Related CN101222604B (zh) | 2007-04-04 | 2008-02-04 | 运算移动估计值与估算图像的移动向量的方法 |
| CN2008100911502A Expired - Fee Related CN101272451B (zh) | 2007-04-04 | 2008-04-07 | 图像处理方法与图像处理装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008100911502A Expired - Fee Related CN101272451B (zh) | 2007-04-04 | 2008-04-07 | 图像处理方法与图像处理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US8644387B2 (zh) |
| CN (2) | CN101222604B (zh) |
| TW (3) | TWI373696B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090060373A1 (en) * | 2007-08-24 | 2009-03-05 | General Electric Company | Methods and computer readable medium for displaying a restored image |
| KR100939917B1 (ko) * | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
| US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
| US20100232511A1 (en) * | 2009-03-12 | 2010-09-16 | Himax Media Soltuions, Inc. | Motion compensator, motion compensating method, and motion-compensated video decoder implementing the same |
| GB2484071B (en) * | 2010-09-23 | 2013-06-12 | Imagination Tech Ltd | De-interlacing of video data |
| US20130235274A1 (en) * | 2010-11-17 | 2013-09-12 | Mitsubishi Electric Corporation | Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method |
| US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
| US8891627B1 (en) * | 2011-04-18 | 2014-11-18 | Google Inc. | System and method for coding video using color segmentation |
| CN102932581B (zh) * | 2011-08-08 | 2016-03-30 | 联咏科技股份有限公司 | 图像处理电路及图像处理方法 |
| US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
| US9277168B2 (en) * | 2012-06-29 | 2016-03-01 | Advanced Micro Devices, Inc. | Subframe level latency de-interlacing method and apparatus |
| TWI571828B (zh) * | 2013-01-02 | 2017-02-21 | 奇高電子股份有限公司 | 光學導航方法以及相關裝置 |
| US9392272B1 (en) | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
| US9578324B1 (en) | 2014-06-27 | 2017-02-21 | Google Inc. | Video coding using statistical-based spatially differentiated partitioning |
| US20160345018A1 (en) * | 2015-05-19 | 2016-11-24 | Microsoft Technology Licensing, Llc | Video encoding and decoding |
| CN106550238B (zh) * | 2015-09-16 | 2019-09-13 | 福州瑞芯微电子股份有限公司 | 一种图像处理方法及系统 |
| CN117041560A (zh) | 2016-12-07 | 2023-11-10 | 株式会社Kt | 对图像信号进行解码或编码的方法和存储视频数据的设备 |
| EP3296749B1 (en) * | 2017-01-27 | 2019-01-23 | Sick IVP AB | Motion encoder |
| US10612951B2 (en) * | 2017-05-31 | 2020-04-07 | Pixart Imaging Inc. | Optical flow sensor, methods, remote controller device, and rotatable electronic device |
| CN111623810A (zh) | 2019-02-27 | 2020-09-04 | 多方科技(广州)有限公司 | 移动侦测方法及其电路 |
| CN118587415B (zh) * | 2024-05-22 | 2025-01-24 | 广州新华学院 | 一种基于人工智能的视频目标检测跟踪方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1343342A (zh) * | 1999-03-08 | 2002-04-03 | 汤姆森许可贸易公司 | 估计编码图像的方法及装置 |
| CN1452409A (zh) * | 2002-04-18 | 2003-10-29 | 华为技术有限公司 | 一种图像运动估计方法 |
| CN1578464A (zh) * | 2003-07-14 | 2005-02-09 | 致伸科技股份有限公司 | 在数字影像压缩中决定动态向量的方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US200619A (en) * | 1878-02-26 | Improvement in boot and shoe holders | ||
| EP0697788A3 (en) * | 1994-08-19 | 1997-03-26 | Eastman Kodak Co | Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing |
| US6633677B1 (en) * | 1999-12-30 | 2003-10-14 | Stmicroelectronics, Inc. | Method and apparatus for processing an image in an image compression/decompression system that uses hierachical coding |
| JP4765194B2 (ja) * | 2001-05-10 | 2011-09-07 | ソニー株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
| JP4114859B2 (ja) * | 2002-01-09 | 2008-07-09 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
| JP4130783B2 (ja) * | 2002-04-23 | 2008-08-06 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
| EP2227018A1 (en) * | 2002-07-02 | 2010-09-08 | Panasonic Corporation | Motion vector deriving method and image encoding method |
| EP1574995A1 (en) * | 2004-03-12 | 2005-09-14 | Thomson Licensing S.A. | Method for encoding interlaced digital video data |
| TWI237496B (en) * | 2004-03-24 | 2005-08-01 | Realtek Semiconductor Corp | Method and apparatus for de-interlacing video data through utilizing motion compensation |
| TWI255643B (en) * | 2005-02-24 | 2006-05-21 | Weltrend Semiconductor Inc | Method for defining chromaticity regions according to luminance levels and adjusting chromaticity of images accordingly |
| TWI273512B (en) | 2005-03-01 | 2007-02-11 | Weltrend Semiconductor Inc | Luminance-based video's saturation adjusting method |
| US7567294B2 (en) * | 2005-03-28 | 2009-07-28 | Intel Corporation | Gradient adaptive video de-interlacing |
| US20080018788A1 (en) * | 2006-07-20 | 2008-01-24 | Samsung Electronics Co., Ltd. | Methods and systems of deinterlacing using super resolution technology |
-
2008
- 2008-02-04 TW TW097104197A patent/TWI373696B/zh not_active IP Right Cessation
- 2008-02-04 CN CN2008100057288A patent/CN101222604B/zh not_active Expired - Fee Related
- 2008-04-03 TW TW097112250A patent/TWI408963B/zh not_active IP Right Cessation
- 2008-04-03 US US12/061,938 patent/US8644387B2/en not_active Expired - Fee Related
- 2008-04-03 TW TW101125577A patent/TWI504267B/zh not_active IP Right Cessation
- 2008-04-04 US US12/062,765 patent/US8199252B2/en not_active Expired - Fee Related
- 2008-04-07 CN CN2008100911502A patent/CN101272451B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1343342A (zh) * | 1999-03-08 | 2002-04-03 | 汤姆森许可贸易公司 | 估计编码图像的方法及装置 |
| CN1452409A (zh) * | 2002-04-18 | 2003-10-29 | 华为技术有限公司 | 一种图像运动估计方法 |
| CN1578464A (zh) * | 2003-07-14 | 2005-02-09 | 致伸科技股份有限公司 | 在数字影像压缩中决定动态向量的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8199252B2 (en) | 2012-06-12 |
| TW200841142A (en) | 2008-10-16 |
| US20080246884A1 (en) | 2008-10-09 |
| CN101272451B (zh) | 2010-10-13 |
| US8644387B2 (en) | 2014-02-04 |
| CN101222604A (zh) | 2008-07-16 |
| TWI373696B (en) | 2012-10-01 |
| TWI504267B (zh) | 2015-10-11 |
| US20080246885A1 (en) | 2008-10-09 |
| TWI408963B (zh) | 2013-09-11 |
| CN101272451A (zh) | 2008-09-24 |
| TW200841735A (en) | 2008-10-16 |
| TW201306586A (zh) | 2013-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101222604B (zh) | 运算移动估计值与估算图像的移动向量的方法 | |
| US8144778B2 (en) | Motion compensated frame rate conversion system and method | |
| US5012337A (en) | Motion dependent video signal processing | |
| EP1708492A2 (en) | Noise reducing apparatus and noise reducing method | |
| JP5164351B2 (ja) | 物体検出装置および物体検出方法 | |
| CN101444094A (zh) | 用于对输入图像序列的先前和后继图像插值的方法 | |
| US7321396B2 (en) | Deinterlacing apparatus and method | |
| US20060045365A1 (en) | Image processing unit with fall-back | |
| CN103369208A (zh) | 自适应去隔行方法及装置 | |
| US20120008689A1 (en) | Frame interpolation device and method | |
| EP0395266B1 (en) | Motion dependent video signal processing | |
| CN101588444B (zh) | 视频数据的去隔行方法、去隔行装置及视频处理系统 | |
| JP2000253422A (ja) | ２次元映像からの立体映像生成方法 | |
| JP3604752B2 (ja) | 動きベクトル検出装置および方法 | |
| CN101069416B (zh) | 在数字视频中的赝像减少 | |
| CN101316365A (zh) | 运动矢量检测设备、运动矢量检测方法及内插帧创建设备 | |
| CN101247472B (zh) | 一种基于运动补偿的去隔行处理方法 | |
| CN105007495A (zh) | 一种基于多层3drs的差异估计方法及装置 | |
| CN102509311A (zh) | 运动检测方法和装置 | |
| CN201222771Y (zh) | 一种高速边缘自适应的去隔行插值装置 | |
| US10587840B1 (en) | Image processing method capable of deinterlacing the interlacing fields | |
| US7379120B2 (en) | Image processing device and image processing method | |
| JP5114290B2 (ja) | 信号処理装置 | |
| CN107124617A (zh) | 运动估计运动补偿中随机矢量的生成方法及系统 | |
| US8200032B2 (en) | Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211028 Address after: Hsinchu, Taiwan, China Patentee after: MEDIATEK Inc. Address before: Hsinchu County, Taiwan, China Patentee before: MSTAR SEMICONDUCTOR Inc. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 |