[go: up one dir, main page]

CN102984435B - 影像处理装置、影像处理方法及影像播放系统 - Google Patents

影像处理装置、影像处理方法及影像播放系统 Download PDF

Info

Publication number
CN102984435B
CN102984435B CN201110270668.4A CN201110270668A CN102984435B CN 102984435 B CN102984435 B CN 102984435B CN 201110270668 A CN201110270668 A CN 201110270668A CN 102984435 B CN102984435 B CN 102984435B
Authority
CN
China
Prior art keywords
image
image block
block
intermediate image
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110270668.4A
Other languages
English (en)
Other versions
CN102984435A (zh
Inventor
钟家豪
陈仲怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MSTAR SEMICONDUCTOR CO Ltd
MStar Software R&D Shenzhen Ltd
Original Assignee
MSTAR SEMICONDUCTOR CO Ltd
MStar Software R&D Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MSTAR SEMICONDUCTOR CO Ltd, MStar Software R&D Shenzhen Ltd filed Critical MSTAR SEMICONDUCTOR CO Ltd
Priority to CN201110270668.4A priority Critical patent/CN102984435B/zh
Publication of CN102984435A publication Critical patent/CN102984435A/zh
Application granted granted Critical
Publication of CN102984435B publication Critical patent/CN102984435B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种影像处理装置、影像处理方法及影像播放系统。本发明提供的影像处理装置是用以根据一前画面与一后画面产生包含复数个中间影像区块之一中间画面。每一中间影像区块各自对应于一移动向量。该影像处理装置包含判断模块及选择模块。根据该前画面与该后画面,该判断模块针对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求。根据各插补影像是否达到正确度要求,该选择模块决定将选择该插补影像或是另一替代影像代表该中间影像区块。

Description

影像处理装置、影像处理方法及影像播放系统
技术领域
本发明是与影像处理技术相关,并且尤其与产生插补影像的技术相关。
背景技术
近年来,随着各种电子产品的蓬勃发展,家庭剧院等多媒体系统日益普及。在多数多媒体系统中,最重要的硬件装置就属影像显示设备。如何提升影像画面的品质以吸引消费者,一直是影像显示设备制造者关注的议题。
在某些应用中,提供至影像显示设备的动态影像的画面变换频率低于影像显示设备本身设定的画面更新频率。举例而言,原始动态影像的画面变换频率可能为60赫兹,而影像显示设备的画面更新频率可能为120赫兹。在这样的情况下,影像显示设备通常会根据每秒60张的原始画面另外产生60张新增画面,使输出至屏幕上的画面为每秒120张。最简单但较粗糙的做法是将每一张原始画面重复播放两次;这种方式的缺点在于可能会令观看者感觉画面不够流畅。另外一种常见的做法则是根据前后两张原始画面插补(interpolate)产生一张新增画面,并且在两张原始画面之间播放插补画面。
近年来,基于移动向量(motionvector)所发展出的移动估测(motionestimation)和移动补偿(motioncompensation)技术被广泛应用在影像压缩软件/硬件中。同样地,需要产生插补画面时,影像显示设备也可利用两张原始画面间的移动向量产生插补影像。在根据移动向量产生插补影像前,须先判断两张原始画面间的移动向量为何。实务上,影像处理装置可将每张画面区分为多个区块,分别估算各区块的移动向量。以各区块的尺寸为8像素*8像素的情况为例,假设A画面中的A1区块与B画面中的B1区块两者平面座标相同,影像处理装置可以B1区块为中心,比对其周边32像素*32像素的范围的内哪一个大小为8像素*8像素的区域和A1区块最相近,借此找出A1区块和B1区块间的移动向量。
理论上,上述比对范围愈广,正确判断出移动向量的几率愈高。然而,受限于运算时间,影像处理装置通常无法将比对范围设定的太大。若原本在A1区块中的物体移动极快,在B画面中的位置已超出该比对范围,影像处理装置在搜寻该比对范围时,无论如何也没办法正确找出A1、B1两区块间的移动向量。或者,若被拍摄的物体在短时间内剧烈变化,导致A1、B1两区块间存在强烈差异的情况,影像处理装置通常也会误判其移动向量。
也就是说,不可避免地,移动向量有时可能会被错估,进而造成错误的插补结果。举例而言,插补影像中的天空画面可能会有一部分被错置为树影,与周边格格不入。人类的眼睛对于这类突兀的变化特别敏感,因此很容易便会发现错误。
有鉴于此,目前已发展出与插补错误相关的补救措施。现行的做法是在判定整张画面中的可能错误量总和已高于某一门槛值时,便放弃以插补影像做为新增影像,改用原始画面(例如A画面或B画面)做为新增影像,等同于重复播放原始画面。这种做法的缺点在于,即便整张插补画面中只包含几个存在严重错误的区块,却可能迫使影像处理装置放弃其他插补结果正确的区块,致使画面的整体流畅度因重复播放原始画面而下降。
发明内容
针对上述问题,本发明提出一种可在新增画面中局部采用移动向量做为插补依据的方案。更明确地说,根据本发明的影像处理装置、影像处理方法及影像播放系统是以区块为单位来决定是否采用根据移动向量产生的插补影像。若采用移动向量做为插补依据在某些区块可能出现错误时,根据本发明的影像处理装置、影像处理方法及影像播放系统仅将这些影像区块替换为非采用移动向量做为插补依据的影像。
不同于先前技术将整张新增画面替换为原始画面,根据本发明的影像处理装置最终产生的新增画面中,可能有某些影像区块是根据移动向量产生的插补影像,有些则是不同于根据移动向量产生的插补影像的替代影像。根据本发明的做法除了可降低将错误的插补结果呈现在观看者面前的几率,相较于先前技术,实际动态播放影像时的流畅度亦较理想。
根据本发明的一具体实施例为一影像处理装置,用以根据一前画面与一后画面产生包含多个中间影像区块的一中间画面。每一中间影像区块各自对应于一移动向量。该影像处理装置包含判断模块及选择模块。根据该前画面与该后画面,该判断模块针对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求。针对该插补影像达到该正确度要求的中间影像区块,该选择模块选择以该插补影像表示该中间影像区块。针对该插补影像未达到该正确度要求的中间影像区块,该选择模块选择以不同于该插补影像的一替代影像表示该中间影像区块。
根据本发明的另一具体实施例为一种影像处理方法,用以根据一前画面与一后画面产生包含多个中间影像区块的一中间画面。每一中间影像区块各自对应于一移动向量。该方法包含下列步骤:(a)根据该前画面与该后画面,针对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求;以及(b)针对该插补影像达到该正确度要求的中间影像区块,选择以该插补影像表示该中间影像区块;针对该插补影像未达到该正确度要求的中间影像区块,选择以不同于该插补影像的一替代影像表示该中间影像区块。
根据本发明的另一具体实施例为一种影像播放系统,其中包含接收模块、判断模块、选择模块及显示器。接收模块用以接收一前画面与一后画面。一中间画面包含多个中间影像区块。每一中间影像区块各自对应于一移动向量。根据该前画面与该后画面,该判断模块针对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求。针对该插补影像达到该正确度要求的中间影像区块,该选择模块选择以该插补影像表示该中间影像区块。针对该插补影像未达到该正确度要求的中间影像区块,该选择模块选择以不同于该插补影像的一替代影像表示该中间影像区块。显示器用以依序呈现该前画面、该中间画面及该后画面。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明,其中:
图1为根据本发明的一具体实施例中的影像处理装置的方块图。
图2呈现根据本发明的判断模块的实施范例。
图3为前画面、后画面与中间画面的相对关系范例。
图4~图7进一步呈现本发明的影像处理装置中用以产生替代影像的硬件方块。
图8为根据本发明的一具体实施例中的影像处理方法的流程图。
图9为根据本发明的一具体实施例中的影像播放系统的方块图。
主要元件符号说明:
100:影像处理装置10:存储器
12:判断模块12A:差异计算单元
12B:比较单元14:选择模块
16:混合模块18:插补模块
20:加权模块22:权重决定模块
22A:第一运算单元22B:第二运算单元
22C:第三运算单元S81~S82:流程步骤
30:接收模块32:显示器
具体实施方式
根据本发明的一具体实施例为一影像处理装置,用以根据一前画面F1与一后画面F2产生至少一中间画面F。于实际应用中,前画面F1与后画面F2可以是一视频串流中在时间顺序上相邻的两张画面,但不以此为限。如图1所示,本实施例中的影像处理装置100包含判断模块12及选择模块14。实务上,影像处理装置100可被整合于电视、DVD播放器或电脑等具备影像放映功能的系统中,亦可单独存在。中间画面F被视为包含多个中间影像区块,例如多个大小为8像素*8像素且互不重叠的影像区块。
每一中间影像区块各自对应于一移动向量,但此移动向量在一开始为未知数。根据前画面F1与后画面F2,判断模块12负责针对每一中间影像区块判断根据移动向量产生的一插补影像是否达到一正确度要求。图2绘有判断模块12的一实施范例。于此范例中,判断模块12包含差异计算单元12A和比较单元12B。差异计算单元12A用以根据前画面F1与后画面F2计算每一中间影像区块的一最小绝对差异总和(sumofabsolutedifference,SAD)。以下说明差异计算单元12A的详细运作方式。
请参阅图3。假设大小为8像素*8像素的中间影像区块BF的中心在中间画面F中的平面座标为(100,100),其外围定义有一大小为32像素*32像素的范围R,同样以座标(100,100)为中心。如图3所示,于前画面F1与后画面F2中亦可标示出平面位置相同的范围R。差异计算单元12A可于范围R内寻找中间影像区块BF的最小SAD。举例而言,前影像区块BF1和后影像区块BF2的座标、大小皆与BF相同,因此可将两者间的移动向量视为(0,0)。差异计算单元12A可首先判断前影像区块BF1和后影像区块BF2的SAD。易言之,差异计算单元12A首先找出的是对应于移动向量(0,0)的SAD。随后,差异计算单元12A可再继续寻找在范围R内对应于其他不同移动向量的SAD。
须说明的是,各影像区块的大小不以8像素*8像素为限,范围R的大小亦不以32像素*32像素为限。此外,差异计算单元12A计算SAD时的比较基准可以是两影像区块各自的RGB灰度值或YUV值,但不以这两种数值为限。
以范围R的大小为32像素*32像素的情况为例,上述移动向量的范围在(-15,-15)到(16,16)之间,而差异计算单元12A总共可找出1024个SAD。接着,差异计算单元12A可由这些SAD中选出最小的一个SAD。于此例中,影像区块BFX和影像区块BFY最相似,根据这两个影像区块找出的SAD因此即为中间影像区块BF的最小SAD。此外,影像区块BFX、BFY间的座标相对关系可被视为中间影像区块BF所对应的移动向量MV。
当影像区块BFX、BFY间的差异过大,表示该移动向量MV很可能是错误的;若选择以根据此移动向量MV产生的插补影像代表影像区块BF,观看者很可能察觉其中有错误存在。因此,中间影像区块BF的最小SAD可做为判断根据移动向量MV产生的插补影像是否达到一正确度要求的依据。比较单元12B负责比较该最小SAD与一门槛值。如果中间影像区块BF的最小SAD大于该门槛值,比较单元12B即判定根据移动向量MV产生的插补影像将无法达到该正确度要求。相对地,如果中间影像区块BF的最小SAD小于等于该门槛值,比较单元12B即判定根据移动向量MV产生的插补影像将足以达到该正确度要求。实务上,设计者可自行决定该门槛值的大小,不以特定值为限。
依照同样的方式,差异计算单元12A可找出各个中间影像区块的最小SAD。比较单元12B也可针对各中间影像区块判断根据移动向量产生的插补影像是否能达到正确度要求。由以上说明可知,判断模块12只要决定中间影像区块的最小SAD即可判断根据移动向量产生的插补影像是否能达到正确度要求,不一定要实际找出移动向量的大小。
随后,针对根据移动向量产生的插补影像能达到正确度要求的中间影像区块,选择模块14即选择以根据移动向量产生的插补影像代表该中间影像区块。相对地,针对根据移动向量产生的插补影像无法达到正确度要求的中间影像区块,选择模块14会选择以不同于该插补影像的一替代影像代表该中间影像区块。以图3所示的中间影像区块BF为例,若判断模块12认定以根据移动向量MV所产生的插补影像来代表影像区块BF很可能是错误的,选择模块14便不会选择以根据移动向量MV产生的插补影像来代表影像区块BF。于一实施例中,中间影像区块BF的替代影像是前影像区块BF1或后影像区块BF2
由以上说明可看出,根据本发明的影像处理装置100是以区块为单位来决定是否采用根据移动向量产生的插补影像。若采用移动向量做为插补依据在某些区块可能出现错误时,根据本发明的影像处理装置仅替换这些影像区块,而非如先前技术将整张中间画面替换为原始画面。在最终产生的中间画面F中,可能有某些影像区块是根据移动向量产生的插补影像,有些则是不同于根据移动向量产生的插补影像的替代影像。根据本发明的做法除了可降低将错误的插补结果呈现在观看者面前的几率,相较于先前技术,实际播放影像时的流畅度亦较理想。
如图4所示,于另一实施例中,根据本发明的影像处理装置进一步包含存储器10和混合模块16。存储器10负责接收并暂存前画面F1和后画面F2,供移动向量模块12和混合模块16参考。如上所述,每一个中间影像区块会对应于前画面F1中的一前影像区块及后画面F2中的一后影像区块。混合模块16负责依一比例将该前影像区块和该后影像区块中的影像资料混合,以产生该中间影像区块所对应的替代影像。举例而言,该比例可为50%/50%,亦即将前影像区块和后影像区块的影像资料取平均。相较于直接选择前影像区块或后影像区块做为替代影像,本实施例的做法可更进一步提升影像流畅度。
如图5所示,于另一实施例中,根据本发明的影像处理装置包含混合模块16、插补模块18和加权模块20。以中间影像区块BF为例,混合模块16是用以将前影像区块BF1和后影像区块BF2的影像资料混合,以产生一混合影像。如先前所述,差异计算单元12A在寻找中间影像区块BF的最小SAD时,也可一并决定对应于中间影像区块BF的移动向量MV。如图5所示,此移动向量MV被提供至插补模块18。插补模块18负责根据移动向量MV、前画面F1及后画面F2为中间影像区块BF产生一插补影像。
加权模块20负责将该混合影像的影像资料乘以第二权重W2并将该插补影像中的影像资料乘以第一权重W1后相加,以产生目标影像区块BF的替代影像。第一权重W1和第二权重W2的总和可被设计为定值。举例而言,第一权重W1为0.7,第二权重W2为0.3,其总和为1。如图5所示,选择模块14的功能在本实施例中是由加权模块20实现,且比较单元12B的输出信号是提供至加权模块20。更明确地说,若比较单元12B根据目标影像区块BF的最小SAD判定插补模块18产生的插补影像未达到正确度要求,加权模块20可令第二权重W2为1、第一权重W1为0。相对地,若比较单元12B根据目标影像区块BF的最小SAD判定插补模块18产生的插补影像能达到正确度要求,加权模块20可令第二权重W2为0、第一权重W1为1。图5所示的架构的好处在于,其替代影像为平均影像和根据移动向量产生的插补影像的综合结果,可平衡两种影像各自的优缺点。
实务上,上述第一权重W1和第二权重W2可被设计为与中间影像区块的邻近影像区域的状况相关。请参阅图6,图6绘示了根据本发明的影像处理装置进一步包含一权重决定模块22的实施例。于此实施例中,选择模块14的功能是由权重决定模块22实现。权重决定模块22负责决定供加权模块20使用的第一权重W1及第二权重W2。除了参考比较单元12B的判断结果,权重决定模块22亦选择性地令这些权重与中间影像区块的邻近影像区域相关。举中间影像区块BF为例,其邻近影像区域可以是与中间影像区块BF中心点相同,而大小为16像素*16像素或32像素*32像素的范围,但不以此为限。
在图7中可看到权重决定模块22的详细实施范例。此范例中的权重决定模块22包含第一运算单元22A、第二运算单元22B和第三运算单元22C,且中间影像区块BF的邻近影像区域包含且大于中间影像区块BF。于此实施例中,除了决定中间影像区块BF的最小SAD(以下表示为SAD1)的外,差异计算单元14A亦协助决定该邻近影像区域的最小SAD(以下表示为SAD2)。
于此范例中,比较单元12B的功能是由第一运算单元22A实现。如图7所示,第一运算单元22A包含一减法器,首先自第一绝对差异总和SAD1减去第一补偿量O1。第一补偿量O1可被设定为先前所述的比较单元12B采用的门槛值。若第一绝对差异总和SAD1小于等于第一补偿量O1,该减法器的输出结果被设定为0。也就是说,若第一绝对差异总和SAD1够小,足以使相对应的插补影像达到正确度标准,第一运算单元22A的输出结果就会是0;第一权重W1会因此较低,相对应地减少混合影像的权重。
第一运算单元22A亦包含一乘法器,用以将减去第一补偿量O1后的相减结果乘以第一增益G1,以产生一第一运算值。此乘法器的作用在于视需要调整相减结果的大小,例如将该相减结果标准化(normalize)。相似地,第二运算单元22B也包含一减法器及一乘法器,用以自第二绝对差异总和SAD2减去一第二补偿量O2,再将相减结果乘以第二增益G2,以产生一第二运算值。第三运算单元22C负责将该第一运算值与该第二运算值相加,以产生第一权重W1。实务上,这些减法器的功能亦可转由差异计算单元12A实现。
在图7显示的架构中,绝对差异总和SAD1及/或SAD2愈大,对应于平均影像的第一权重W1就愈大。邻近影像区域的SAD2可反应出中间影像区块BF周边的影像变化趋势。一般而言,邻近区域的SAD2愈高,不适于选择根据移动向量产生的插补影像的几率就愈高。实际上,有可能发生在该邻近影像区域(包含中间影像区块BF)出现大幅变化,但中间影像区块BF本身的SAD1并未超过门槛值(亦即第一补偿量O1)的情况。选择尺寸较小的中间影像区块虽可较精细地反应影像变化,但在上述情况发生时,却很容易导致误判。图7所显示的架构即可弥补此问题。
于其他实施例中,根据本发明的影像处理装置可同时考虑两种以上不同大小的邻近区域的状况,给予多个不同范围的影像区域不同的权重,再将所有加权结果相加,以产生第一权重W1。举例而言,于一实施例中,影像处理装置同时考虑大小为8像素*8像素、16像素*16像素以及32像素*32像素的范围,分别产生SAD1、SAD2以及SAD3,以分别产生第一、第二以及第三运算值后相加以产生第一权重W1。第一权重W1被送至加权模块20做为插补模块18的乘数,且第二权重W2为第一权重W1的补数(亦即1-W1=W2)。加权模块20将该混合影像的影像资料乘以第二权重W2并将该插补影像中的影像资料乘以第一权重W1后相加,以产生目标影像区块BF的替代影像。
根据本发明的另一具体实施例为一种影像处理方法,用以根据一前画面与一后画面产生包含多个中间影像区块的一中间画面,图8为其流程图。每一中间影像区块各自对应于一移动向量。首先,步骤S81根据该前画面与该后画面,针对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求。步骤S82为针对该插补影像达到该正确度要求的中间影像区块,选择以该插补影像表示该中间影像区块;针对该插补影像未达到该正确度要求的中间影像区块,选择以不同于该插补影像的一替代影像表示该中间影像区块。如先前所述,步骤S82中采用的替代画面有多种可能性,不以原始画面中的影像区块为限。此外,步骤S81中用以判断插补影像是否达到正确度要求的方式,可以是计算各中间影像区块的最小SAD,其详细实施方式请参考先前的说明,于此不再赘述。
根据本发明的另一具体实施例为一种影像播放系统,图9为其功能方块图。除了先前已出现于图1中的判断模块12及选择模块14之外,此影像播放系统还包含一接收模块30与一显示器32。接收模块30是用以接收将用以产生中间画面之前画面与后画面。显示器32则是用以依序呈现该前画面、该中间画面及该后画面。实务上,接收模块30可为先前所介绍的存储器10,但不以此为限。此外,该影像播放系统可采用图4、图5或图7所呈现的方式产生替代影像。此实施例中各模块的详细实施方式及变化型态可参考先前的说明,不再赘述。
如上所述,根据本发明的影像处理装置、影像处理方法及影像播放系统是以区块为单位来决定是否采用根据移动向量产生的插补影像。若采用移动向量做为插补依据在某些区块可能出现错误时,根据本发明的影像处理装置、影像处理方法及影像播放系统仅将这些影像区块替换为非采用移动向量做为插补依据的影像。根据本发明的做法除了可降低将错误的插补结果呈现在观看者面前的几率,相较于先前技术,实际动态播放影像时的流畅度亦较理想。
须说明的是,本发明的构想并未限定于只能产生一张中间画面的情况。易言之,根据本发明的影像处理装置、影像处理方法及影像播放系统亦可用于根据一前画面与一后画面产生多张中间画面。
虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的修改和完善,因此本发明的保护范围当以权利要求书所界定的为准。

Claims (15)

1.一种影像处理装置,用以根据一前画面与一后画面产生包含多个中间影像区块的一中间画面,每一中间影像区块各自对应于一移动向量,该影像处理装置包含:
一判断模块,根据该前画面与该后画面,对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求;以及
一选择模块,对该插补影像达到该正确度要求的中间影像区块,该选择模块选择以该插补影像表示该插补影像达到该正确度要求的中间影像区块;对该插补影像未达到该正确度要求的中间影像区块,该选择模块选择以不同于该插补影像的一替代影像表示该插补影像未达到该正确度要求的中间影像区块;
其中该判断模块包含:
一差异计算单元,用以根据该前画面与该后画面计算每一中间影像区块的一最小绝对差异总和;以及
一比较单元,针对其最小绝对差异总和大于一门槛值的中间影像区块,该比较单元判定该中间影像区块所对应的该插补影像未达到该正确度要求。
2.如权利要求1所述的影像处理装置,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块,且该中间影像区块所对应的该替代影像为该前影像区块或该后影像区块。
3.如权利要求1所述的影像处理装置,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块;该影像处理装置进一步包含:
一混合模块,用以依一比例将该前影像区块和该后影像区块中的影像资料混合,以产生该中间影像区块所对应的该替代影像。
4.如权利要求1所述的影像处理装置,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块;该影像处理装置进一步包含:
一插补模块,用以根据对应于该中间影像区块的该移动向量,产生对应于该中间影像区块的该插补影像;
一混合模块,用以依一比例将该前影像区块和该后影像区块中的影像资料混合,以产生一混合影像;以及
一加权模块,用以将该混合影像的影像资料乘以一第一权重并将该插补影像的影像资料乘以一第二权重后相加,以产生该中间影像区块所对应的该替代影像。
5.如权利要求4所述的影像处理装置,其特征在于,该中间影像区块具有一邻近影像区域;该影像处理装置进一步包含:
一权重决定模块,用以决定该第一权重及该第二权重,其特征在于,该第二权重与该邻近影像区域相关。
6.如权利要求5所述的影像处理装置,其特征在于,该邻近影像区域包含且大于该中间影像区块,该权重决定模块包含:
一差异计算单元,用以决定该中间影像区块的一第一绝对差异总和与该邻近影像区域的一第二绝对差异总和;
一第一运算单元,用以自该第一绝对差异总和减去一第一补偿量后,将相减结果乘以一第一增益,以产生一第一运算值;
一第二运算单元,用以自该第二绝对差异总和减去一第二补偿量后,将相减结果乘以一第二增益,以产生一第二运算值;以及
一第三运算单元,用以将该第一运算值与该第二运算值相加,以产生该第二权重,其中该第一权重与该第二权重间为补数关系。
7.一种影像处理方法,用以根据一前画面与一后画面产生包含多个中间影像区块的一中间画面,每一中间影像区块各自对应于一移动向量,该方法包含:
(a)根据该前画面与该后画面,针对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求;以及
(b)对该插补影像达到该正确度要求的中间影像区块,选择以该插补影像表示该插补影像达到该正确度要求的中间影像区块;对该插补影像未达到该正确度要求的中间影像区块,选择以不同于该插补影像的一替代影像表示该插补影像未达到该正确度要求的中间影像区块,
步骤(a)包含:
根据该前画面与该后画面计算每一中间影像区块的一最小绝对差异总和;以及
对该最小绝对差异总和大于一门槛值的中间影像区块,判定该中间影像区块所对应的该插补影像未达到该正确度要求。
8.如权利要求7所述的影像处理方法,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块,且该中间影像区块所对应的该替代影像为该前影像区块或该后影像区块。
9.如权利要求7所述的影像处理方法,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块;该方法进一步包含:
若该中间影像区块的该插补影像未达到该正确度要求,依一比例将该前影像区块和该后影像区块中的影像资料混合,以产生该中间影像区块所对应的该替代影像。
10.如权利要求7所述的影像处理方法,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块;若该中间影像区块的该插补影像未达到该正确度要求,该方法进一步包含:
根据对应于该中间影像区块的该移动向量,产生对应于该中间影像区块的该插补影像;
依一比例将该前影像区块和该后影像区块中的影像资料混合,以产生一混合影像;以及
将该混合影像的影像资料乘以一第一权重并将该插补影像的影像资料乘以一第二权重后相加,以产生该中间影像区块所对应的该替代影像。
11.如权利要求10所述的影像处理方法,其特征在于,该中间影像区块具有一邻近影像区域,且该第二权重与该邻近影像区域相关。
12.如权利要求11所述的影像处理方法,其特征在于,该邻近影像区域包含且大于该中间影像区块;该方法进一步包含:
决定该中间影像区块的一第一绝对差异总和及该邻近影像区域的一第二绝对差异总和;
自该第一绝对差异总和减去一第一补偿量后,将相减结果乘以一第一增益,以产生一第一运算值;
自该第二绝对差异总和减去一第二补偿量后,将相减结果乘以一第二增益,以产生一第二运算值;以及
将该第一运算值与该第二运算值相加,以产生该第二权重。
13.一种影像播放系统,包含:
一接收模块,用以接收一前画面与一后画面;
一判断模块,处理包含多个中间影像区块的一中间画面,每一中间影像区块各自对应于一移动向量,根据该前画面与该后画面,该判断模块对每一中间影像区块判断根据该移动向量产生的一插补影像是否达到一正确度要求,其中该判断模块包含一差异计算单元及一比较单元,该差异计算单元用以根据该前画面与该后画面计算每一中间影像区块的一最小绝对差异总和,该比较单元针对其最小绝对差异总和大于一门槛值的中间影像区块,判定该中间影像区块所对应的该插补影像未达到该正确度要求;
一选择模块,对该插补影像达到该正确度要求的中间影像区块,该选择模块选择以该插补影像表示该插补影像达到该正确度要求的中间影像区块;对该插补影像未达到该正确度要求的中间影像区块,该选择模块选择以不同于该插补影像的一替代影像表示该插补影像未达到该正确度要求的中间影像区块;以及
一显示器,用以依序呈现该前画面、该中间画面及该后画面。
14.如权利要求13所述的影像播放系统,其特征在于,所述中间影像区块中的每一中间影像区块是对应于该前画面中的一前影像区块及该后画面中的一后影像区块;该影像播放系统进一步包含:
一插补模块,用以根据对应于该中间影像区块的该移动向量,产生对应于该中间影像区块的该插补影像;
一混合模块,用以依一比例将该前影像区块和该后影像区块中的影像资料混合,以产生一混合影像;以及
一加权模块,用以将该混合影像的影像资料乘以一第一权重并将该插补影像的影像资料乘以一第二权重后相加,以产生该中间影像区块所对应的该替代影像。
15.如权利要求14所述的影像播放系统,其特征在于,该中间影像区块具有一邻近影像区域,该邻近影像区域包含且大于该中间影像区块;该影像播放系统进一步包含:
一权重决定模块,用以决定该第一权重及该第二权重,且包含:
一差异计算单元,用以决定该中间影像区块的一第一绝对差异总和与该邻近影像区域的一第二绝对差异总和;
一第一运算单元,用以自该第一绝对差异总和减去一第一补偿量后,将相减结果乘以一第一增益,以产生一第一运算值;
一第二运算单元,用以自该第二绝对差异总和减去一第二补偿量后,将相减结果乘以一第二增益,以产生一第二运算值;以及
一第三运算单元,用以将该第一运算值与该第二运算值相加,以产生该第二权重。
CN201110270668.4A 2011-09-02 2011-09-02 影像处理装置、影像处理方法及影像播放系统 Expired - Fee Related CN102984435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110270668.4A CN102984435B (zh) 2011-09-02 2011-09-02 影像处理装置、影像处理方法及影像播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110270668.4A CN102984435B (zh) 2011-09-02 2011-09-02 影像处理装置、影像处理方法及影像播放系统

Publications (2)

Publication Number Publication Date
CN102984435A CN102984435A (zh) 2013-03-20
CN102984435B true CN102984435B (zh) 2016-02-17

Family

ID=47858144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110270668.4A Expired - Fee Related CN102984435B (zh) 2011-09-02 2011-09-02 影像处理装置、影像处理方法及影像播放系统

Country Status (1)

Country Link
CN (1) CN102984435B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616247A (zh) * 2008-06-26 2009-12-30 晨星软件研发(深圳)有限公司 决定移动向量的方法及其装置
CN101631241A (zh) * 2008-07-14 2010-01-20 晨星软件研发(深圳)有限公司 影像处理方法及装置
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
CN101753795A (zh) * 2008-12-16 2010-06-23 晨星软件研发(深圳)有限公司 用以决定插补画面的移动向量的影像处理方法及其相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616247A (zh) * 2008-06-26 2009-12-30 晨星软件研发(深圳)有限公司 决定移动向量的方法及其装置
CN101631241A (zh) * 2008-07-14 2010-01-20 晨星软件研发(深圳)有限公司 影像处理方法及装置
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
CN101753795A (zh) * 2008-12-16 2010-06-23 晨星软件研发(深圳)有限公司 用以决定插补画面的移动向量的影像处理方法及其相关装置

Also Published As

Publication number Publication date
CN102984435A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
US10984583B2 (en) Reconstructing views of real world 3D scenes
US11526970B2 (en) System and method for video processing with enhanced temporal consistency
US20090268097A1 (en) Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames
JP5081898B2 (ja) 補間画像生成方法及びシステム
CN110392282A (zh) 一种视频插帧的方法、计算机存储介质及服务器
JP2006504175A (ja) フォールバックを用いる画像処理装置
CN114554285B (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN101674448A (zh) 视频信号处理装置、视频信号处理方法和视频信号处理程序
JP2005528709A (ja) 現動きベクトルを推定するユニット及び方法
TWI493978B (zh) 影像處理裝置、影像處理方法及影像播放系統
US8385430B2 (en) Video signal processing apparatus and video signal processing method
US20120274845A1 (en) Image processing device and method, and program
CN102984435B (zh) 影像处理装置、影像处理方法及影像播放系统
KR20060103430A (ko) 작고 고속으로 움직이는 오브젝트들을 추적하기 위한움직임 벡터 필드들 정제 방법
TWI466550B (zh) 多媒體裝置及其移動偵測方法
CN116405612A (zh) 运动估计与运动补偿方法及其视频处理器
US9373039B2 (en) Detection of graphics added to a video signal
CN114697598A (zh) 用于视频数据的帧率上转换的系统和方法
US20170187985A1 (en) Apparatus and method for frame rate conversion
US8482574B2 (en) System, method, and computer program product for calculating statistics associated with a surface to be rendered utilizing a graphics processor
TWI419570B (zh) 多媒體裝置及其移動補償方法
CN114004756A (zh) 图像处理装置与图像处理方法
JP3948616B2 (ja) 画像のマッチング装置
CN102655590B (zh) 多媒体装置及其移动估测方法
CN119648544A (zh) 图像帧的生成方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217

Termination date: 20190902