[go: up one dir, main page]

CN101467178B - 基于移动矢量缩放图像 - Google Patents

基于移动矢量缩放图像 Download PDF

Info

Publication number
CN101467178B
CN101467178B CN200780021177.8A CN200780021177A CN101467178B CN 101467178 B CN101467178 B CN 101467178B CN 200780021177 A CN200780021177 A CN 200780021177A CN 101467178 B CN101467178 B CN 101467178B
Authority
CN
China
Prior art keywords
image
convergent
divergent
function
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780021177.8A
Other languages
English (en)
Other versions
CN101467178A (zh
Inventor
P·G·梅维森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
TP Vision Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Vision Holding BV filed Critical TP Vision Holding BV
Publication of CN101467178A publication Critical patent/CN101467178A/zh
Application granted granted Critical
Publication of CN101467178B publication Critical patent/CN101467178B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Control Of Multiple Motors (AREA)
  • Control Of Eletrric Generators (AREA)
  • Diaphragms For Electromechanical Transducers (AREA)

Abstract

目前，各种电视标准采用不同宽高比。例如，与现有的使用4:3宽高比的TV广播相比，16:9的宽屏宽高比正在流行。以均匀或非均匀缩放比率水平地缩放图像的方法称为“全景缩放”。公开了通过基于所述图像102的至少一部分的移动矢量101生成的缩放函数121来缩放图像102的装置100和方法800。所述装置100可用于将具有第一宽高比的第一图像转换为第二宽高比的第二图像的图像处理设备或图像显示设备中。所公开的装置100在降低由全景缩放引起的可视失真方面，特别是在正在场景中移动对象的情况下是有用的。

Description

基于移动矢量缩放图像
本发明涉及图像处理方法，尤其涉及缩放属于图像视频序列的图像的方法。
图像的宽高比(aspect ratio)为其显示的宽度除以其高度(通常表示为“X:Y”)。当前，各种电视标准采用不同的宽高比。相对于现有的采用4:3宽高比的TV广播，宽高比为16：9的宽屏正在获得流行。这导致了对宽高比转换的需求。用于宽高比转换的一些通常方法为，在侧边增加黑色条、仅仅水平地缩放图像、以及水平和垂直地缩放图像。缩放涉及改变视频数据的图像帧的分辨率。以非均匀缩放函数水平地缩放图像的方法称为“全景缩放”。非均匀缩放导致在侧边的对象比在中央的那些具有更大的失真。一般地，全景缩放对于静止图像是可接受的，但在例如由相机摇摄导致的图像移动的情况下，对象会显示出具有变化的尺寸，这是因为它们在不同空间位置上经受不同的缩放。这导致了可能很讨厌的对象可视失真。
期望有一种对属于图像视频序列的图像进行缩放的改进方法。
因此，这里公开了一种对属于图像视频序列的图像进行缩放的改进方法，该方法包括：基于移动矢量缩放图像，该移动矢量描述了在对象在第一图像中的第一位置和该对象在第二图像中的第二位置之间的对象位置改变，所述图像属于图像视频序列。
在一个优选实施例中，对图像进行缩放包括基于移动矢量生成缩放函数；以及通过将该缩放函数应用到图像的一个或更多个像素上而获得经缩放的图像的一个或更多个像素。
还期望的是有一种用于对属于图像视频序列的图像进行改进缩放的装置。
相应地，在这里公开的一种用于对图像进行改进缩放的装置中，该装置包括：第一接收器，能够接收移动矢量，所述移动矢量描述在对象在第一图像中的第一位置和所述对象在第二图像中的第二位置之间的所述对象的位置改变，所述图像属于图像视频序列；第一生成器，能够基于所述移动矢量生成缩放函数；以及图像缩放器，能够通过将所述缩放函数应用到所述图像的一个或更多个像素上而获得经缩放图像的一个或更多个像素。
还期望的是有一种用于对图像进行改进的缩放的图像处理设备，其中该缩放基于预定义的宽高比。
相应地，在这里公开的一种用于对图像进行的改进的缩放的图像处理设备中，该图像处理设备包括：用于接收图像序列的第二接收器；能够估算移动矢量的移动估算单元，所述移动矢量描述在对象在第一图像中的第一位置和所述对象在第二图像中的第二位置之间的所述对象的位置改变，所述图像属于图像视频序列；以及能够对属于图像视频序列的图像进行缩放的装置，其中所述缩放基于预定义的宽高比。
还期望的是有一种用于对图像进行改进缩放并显示该图像的图像显示设备。
相应地，在这里公开的一种图像显示设备中，该设备包括图像处理设备和显示装置。图像处理设备设置成用于对属于图像视频序列的图像进行改进缩放，而显示器设置成用于显示经缩放的图像。
还期望的是有一种用于执行基于移动矢量对图像进行缩放的方法的步骤的计算机程序以及计算机程序产品。
相应地，这里公开了一种计算机程序和计算机程序产品，计算机程序和计算机程序产品包括用于基于移动矢量生成缩放函数的指令，以及用于通过将所述缩放函数应用到属于图像视频序列的图像的一个或更多个像素上而获得经缩放图像的一个或更多个像素的指令。
这些和其他方面将在此后通过例子、在以下实施例的基础上并参考附图进行详细描述，其中：
图1说明了基于移动矢量的图像缩放方法的示例。
图2说明了根据基本函数生成缩放函数的方法的示例。
图3说明了通过限制至少一个参数值而生成缩放函数的方法的示例。
图4说明了基于可靠性值选择缩放函数的方法的示例。
图5说明了基于场景变化信号选择缩放函数的方法的示例。
图6说明了生成定时函数的方法的示例。
图7说明了通过限制至少一个参数值来生成定时函数的方法的示例。
图8说明了基于可靠性值选择定时函数的方法的示例。
图9说明了基于场景变化信号选择定时函数的方法的示例。
图10示意性地示出了包括M×N像素块的图像。
图11示意性地示出了用于缩放图像的装置的实施例。
图12示意性地示出了图像处理设备的实施例。
图13示意性地示出了图像显示设备的实施例。
图14示意性地示出了用于缩放图像的可靠装置的实施例。
用于各图的相应图号表示图中的相应元件。
视频数据包括由以行和列布置的像素组成的图像序列。图像可称为帧。例如，视频数据可每秒具有30帧或者具有30幅单独图像构成一秒视频数据。随着数字电视和流媒体的到来，已经开发了若干新技术以便能够实现各种媒体格式和显示格式的兼容性和互通性。通过缩放图像进行图像宽高比的转换是一种重要技术。例如，包含640x480个像素(NTSC分辨率)、宽高比为4:3的图像可以被缩放至包含1920x1080个像素(HDTV分辨率)的宽高比16:9。当图像被缩放时，在缩放图像中的每个新像素的值基于一个或更多个在原始图像中的像素。每个新像素的计算可通过缩放函数来公式化。最简单的缩放函数是线性方程。通过应用线性方程，图像根据固定的水平缩放比和垂直缩放比均匀地在水平和垂直方向二者上拉伸以获得所需要的像素数目。更加通常的是，水平缩放比率不等于垂直缩放比率，例如当将NTSC分辨率转换为HDTV分辨率时就是如此。用不相等的水平和垂直缩放比率缩放图像可导致可视失真，这是因为在缩放图像中的对象要么在水平方向要么在垂直方向显示为被拉长了。非均匀全景缩放一般用于降低这种失真。根据该技术，图像中的行像素根据取决于空间位置而变化的缩放比率进行缩放。例如，水平缩放比率从全景图像的水平中央至各边渐渐增加。但是，该技术也导致了特别是在正在移动场景中的可视失真。当对象跨场景移动或当相机跨场景摇摄时，因为对象显示为不断改变其宽度，所以可视失真变得更加明显。期望有一种降低可视失真、特别是在正移动场景中降低可视失真的全景缩放。
图1说明了基于移动矢量101缩放图像102的方法100的一种可能实现。在步骤120生成缩放函数121，在步骤130通过在图像102的一个或更多个像素应用缩放函数121而获得缩放图像131。
移动矢量101一般根据移动估算方法获得。移动矢量描述了在对象在第一图像中的第一位置和对象在第二图像中的第二位置之间的对象的位置改变，所述图像属于图像视频序列。第一和第二图像随时间而移位并描述了正在移动的场景。
为了降低可视失真，可根据对象在场景中的移动速度进行非均匀缩放。根据移动矢量，获得了与在图像中的移动相适应的自适应缩放函数。换句话说，将非均匀缩放应用于静态场景、将近似均匀的缩放应用于正在快速移动的场景、而将中度的非均匀缩放应用于取决于移动幅度的图像。随着场景中的对象速度接近预定速度，非均匀缩放趋于均匀缩放。
对于图像序列中的每个图像，计算基于移动矢量的新缩放函数。可以将不同缩放比率应用于每个图像。在每个图像中，缩放比率根据位置可以是非均匀的。对缩放函数的非线性进行调整以使得在不同空间位置获得不同缩放比率。例如对于因对象在场景中的快速运动而导致的较大幅度的移动矢量，生成了基本上线性的缩放函数，并应用该函数以使得观看者察觉不出强烈的“谐波”效应(“harmonica”effect)。因此，将基本上均匀的缩放比率应用于图像中的像素。另一方面，对于较小幅度的移动矢量，例如从基本静态的场景获得的移动矢量，则生成了产生基本上非均匀缩放比率的缩放函数。这例如对于其中一些人出现在部分图像中而对四周区域进行缩放的要求不很迫切的场景是有用的。结果，基本上非均匀的缩放比率用于缩放基本上静态的场景的图像。因此，根据移动矢量的幅度对缩放进行调整并将缩放应用于不同的空间位置。缩放根据空间和时间进行分配，因而基本上降低了可视失真。
用于本公开装置的有用的移动矢量估算器包括，但不限于，块匹配和递归类型的移动矢量估算器，如G.de Haan在“Progress inMotion Esti mation for Consumer Video Format Conversion”，IEEETransactions on Consumer Electronics，volc.46，no.3，第449-459页，(2000年8月)中描述的那样。本领域技术人员可通过若干已知技术从图像序列中获得至少一部分图像的移动矢量。另外，用于当前装置的有用的移动估算器包括如上描述的移动矢量估算单元，它不仅可在块上进行操作还可在包括块和像素的任何种类形状的区域进行操作。
在方法100的另一个实现中，使用了描述在图像102和第二图像之间的全局变化的全局移动矢量101。全局移动矢量可根据移动模型确定。全局移动估算是在整个图像中的移动的度量值，即带有或多或少相同移动的大的或多个对象的平均或主要移动。移动模型可用于对对象或相机的摇动(即平移)进行检测。移动模型有时称为“摇摄-变焦距模型”。为了最优化缩放要求，也可推导出用于不同模型(例如旋转场景)的缩放函数，从而最小化可视伪影。基于全局移动矢量的缩放函数可有利地用于生成可有利地用于缩放整个图像的缩放函数。
估算图像的全局移动矢量的技术是本领域周知的。例如，在文章“An efficient true-motion estimator using candidate vectorsfrom a panoramic motion model”中(作者G.de Haan等人，in IEEEcircuits and systems for video technology，vol8，no.1，第85-91页，1998年3月)，描述了根据移动模型估算全局移动矢量的方案。使用这种方法，在本装置的一个实施例中，可大体上估算出来并使用全局移动矢量。
在方法100的另一个实现中，通过基于移动矢量101的一个分量改变缩放函数120的至少一个参数来生成缩放函数120。缩放函数120被设计成在图像102的各种空间位置产生不同的缩放比率。可将随空间改变的非-线性变换函数选为缩放函数。例如，考虑方程(1)所示的二次函数
f(x)＝ax2+bx+c，{a≠0}         (1)
二次函数(1)为抛物线形而抛物线的顶点出现在x坐标为b/2a的曲线点上。将二次函数应用到要变换的像素行上以使得在中央的像素采用均匀缩放比率进行变换，而侧边处的像素利用递增的非均匀缩放比率进行变换。作为这个变换的结果，中央的对象将显示为正常而侧边的对象将显示为被拉长和变形。可通过改变参数a的值获得不同形状的抛物线，而参数a可由从移动矢量导出的值来控制。导出的值可以是移动矢量的分量中的水平分量或垂直分量或移动矢量的分量的均方根值。为了增加稳定性，导出的值可在0到1的范围内进行正规化。这样控制变量以使得对于越大幅度的移动矢量，抛物线具有越小的深度，从而获得均匀的缩放比率。另一方面，越小幅度的移动矢量导致了具有相对越大深度的抛物线。根据不同形状的抛物线，可以控制缩放比率的非均匀性。
在方法100的另一个实现中，可使用例如基于几个函数组合的多模型函数。一个示例可以是在不同位置处产生重叠的抛物线形状的二次函数的组合。例如，可能描述某些动作的图像中央区域和包含某些背景的图像周围区域可利用从不同二次函数获得的不同形状的抛物线进行缩放。
在经缩放的图像中，典型地当水平缩放比率不等于垂直缩放比率时，对象显示出形状失真。存在两种可能性：第一种可能性是水平缩放比率大于垂直缩放比率；而第二种可能性是垂直缩放比率大于水平缩放比率。在第一种情况下，水平缩放函数一般地可基于移动矢量的水平分量生成；而在第二种情况下，垂直缩放函数一般地可基于移动矢量的垂直分量生成。水平缩放函数应用于像素行而垂直缩放函数应用于像素列。当显示画面的高度大于宽度时，例如为手持装置中的显示器时，可应用垂直缩放函数。这样可根据应用生成垂直或水平缩放函数，并选择性地应用该缩放函数。
现在更加详细地描述根据本方法的一个可能实现的使用水平缩放函数执行的水平缩放。考虑宽高比为4:3的、每行包括640个像素且每列包括480个像素的输入图像。要对该输入图像进行缩放以获得符合宽高比16:9的1920x1080像素的输出图像。在该示例中，水平缩放比率大于垂直缩放比率。根据本方法的一个实现，将非均匀水平缩放函数和均匀垂直缩放函数应用于输入图像。这种情况下，通过应用非均匀的水平缩放函数，在属于输入图像的行的特别部分中的K个像素用于在属于输出图像的行的相应部分中生成L个像素，K≠L。L个输出像素可通过一种众所周知的插值方法生成。而非均匀性根据非线性函数获得，该函数的参数由移动矢量的水平分量所控制。这样就提供了一种通过应用与移动相关的非均匀缩放函数来缩放图像从而转换图像宽高比的方法。
在该方法的另一个实现中，图像102可被划分为一般是矩形的像素块。具有适当非线性的缩放函数可用于包含连续移动的图像的每个部分，因而导致了较少的可视失真。
图2说明了设置成根据基本函数生成缩放函数的方法200的一个可能实现。在步骤120生成缩放函数121，并且在步骤130通过在图像102的一个或更多个像素上应用缩放函数121而获得缩放图像131。在步骤120中，可从两个可能的函数组270和280中选择和使用函数260。提供了非-线性函数集合270和分段线性函数集合280。所选择的非-线性函数的至少一个参数可根据从移动矢量101导出的值而改变。例如，考虑方程(1)所示的函数。非-线性函数集合可通过改变参数a生成。另外，基本上线性的函数f(x)＝bx+c也可通过选择a＝0而获得。非-线性函数的一些例子为二次函数、指数函数和对数函数。这些函数的任何一个可选择为基本函数。在数字计算装置中，为了更加容易地进行操作和运算，将非-线性函数表示为分段线性函数通常是很方便的。例如，通常采用查找表形式的输入-输出变换来表示非-线性变换。分段线性函数对于表示可能不符合方程的输入-输出值也是有用的。
图3说明了通过限制至少一个参数值来生成缩放函数321的方法300的示例。除了用于生成缩放函数的步骤320之外，还包括限制步骤325。移动矢量101的动态范围通常大于缩放函数321的允许参数范围。因此，有利地是将缩放函数的至少一个参数限制在许可范围之内。在步骤325中，将所生成的缩放函数的至少一个参数基本上限制在参数的预定范围之内，由此增加了装置300的总体稳定性。限制参数是有利的，这是因为在用于获得缩放图像的步骤330中，该设置通过避免饱和或逸出(runaway)状态增加了可靠性。缩放函数321的参数范围可以是设计参数，或者它可在获得缩放图像331的步骤330中根据允许输入范围而决定。
图4说明了基于可靠性值403选择缩放函数的方法400的示例。每个移动矢量101可以可选地与可靠性值403相关联。方法400包括用于基于可靠性值403选择要么通过步骤120生成的缩放函数121要么预定义的缩放函数426的选择步骤425。预定义缩放函数的示例是简单的线性函数。在图1说明中描述的摇摄-变焦距模型中，可得到所估算的移动矢量的可靠性值。当场景具有正在不同方向上移动的多个对象(例如无秩序场景)时，可靠性值可能是低的。仅当由可靠性值所指示的所估算的移动矢量为可靠时，才应用基于移动矢量的缩放。在步骤130中使用所选择的缩放函数427以获取缩放图像131。
图5说明了基于场景变化信号503选择缩放函数的方法500的示例。场景变化信号503可以可选地通过用于估算移动矢量101的方法或装置生成。其他几种获取场景变化信号的方法是本领域已知的。方法500包括基于场景变化信号503选择通过步骤120生成的缩放函数121或预定义缩放函数526的步骤525。只要没有场景变化，就在生成缩放图像的步骤130中应用所生成的缩放函数525。当有场景变化时，先前场景的缩放函数121的继续应用可导致可视失真。当新图像序列变得稳定时，在过渡期间可有利地应用可重新设定缩放函数的参数的预定缩放函数526。例如，具有预定参数集的二次函数可用于新场景。在步骤130应用所选择的缩放函数527以生成缩放图像131。由于这个设置，相对减少了场景变化造成的可视伪影而增加了方法500的鲁棒性。
图6说明了生成定时函数641的方法600的示例。除了用于生成缩放函数121的步骤120之外，该方法还包括用于根据移动矢量101生成定时函数的步骤640。定时函数641在用于获得缩放图像631的步骤630中使用。定时函数641决定了将缩放函数121应用于图像102的速率。猛然间改变缩放比率可导致输出图像331中的冲击(jerk)和可视伪影。在缩放函数121控制了缩放比率的改变量的同时，定时函数641一次一个图像帧地控制将该改变量应用于该图像序列的速率。因此，在额外的维度即时间上控制该缩放。在移动矢量幅度方面的快速而频繁的变化可导致在缩放函数121上的相应变化，当瞬时应用缩放函数121时，可能导致在输出图像631中不期望的冲击和失真。在实现缩放函数121的渐变上，定时函数641是有用的。例如，可选择线性时间函数用于放慢缩放函数的应用。结果，在输出图像631中的对象显示为经过更加平滑的转变。缩放比率的变化在空间-时间上分散，这导致了更少的可视失真。
图7说明了通过限制至少一个参数值生成定时函数751的方法700的示例。限制步骤750包含在定时函数生成步骤740中。移动矢量101的动态范围通常大大大于定时函数的预定义参数范围。因此有利的是将由定时函数生成的值限制在许可范围之内。所生成的定时函数751的参数基本上限制在预定范围之内，因而增加了总体方法700的稳定性。限制定时函数的参数是有利的，这是因为该设置通过在步骤700中避免饱和或逸出状态而增加了可靠性。用于定时函数的参数的预定范围可以是设计特征。该范围可通过在缩放图像102的步骤630中的允许输入来决定。
图8说明了基于可靠性值803选择定时函数的方法800的示例。可以可选地接收每个具有可靠性值803的移动矢量101。方法800包括选择步骤850，该步骤用于基于可靠性值803选择由步骤640生成的定时函数641或者预定义定时函数860。仅当可靠性值803超出预定义阈值时，所生成的定时函数641才在生成缩放图像631的步骤630中使用。当发现所估算的移动矢量803不可靠时，就选择预定义的定时函数860(如固定时间值或线性时间函数)，且在图像102的缩放中使用所选择的时间函数851。
图9说明了基于场景变化信号903选择定时函数的方法900的示例。场景变化信号903可以可选地由用于估算移动矢量101的方法或装置生成。其他几个获得场景变化信号的方法是本领域已知的。方法900包括基于场景变化信号903选择由步骤640生成的定时函数641或预定义定时函数960的步骤950。只要没有场景变化，在生成缩放图像631的步骤630中就使用所生成的定时函数641。如前面解释过的，在以期望的速率应用缩放函数121方面，所选择的定时函数951是有用的。当有场景变化时，先前场景的缩放函数的持续应用可导致可视失真。预定定时函数960可在过渡阶段中应用，直至新图像序列变得稳定为止。由于该布置，场景变化造成的失真相对降低了，而方法900的鲁棒性增强了。
图10示意性地示出了包括M×N个像素块的图像102。在图像102中，每个块可包括m×n个像素。在图像中有M行和N列的块。在每个块中有m行和n列的像素。一般地m≠n且M≠N，但在所提供的装置中也不排除M＝N以及m＝n的特殊情况。在众所周知的视频压缩方案例如MPEG中，为每个块估算移动矢量并将该移动矢量指定给属于该块的每个像素。可利用M×N个块来根据移动模型确定全局移动矢量。全局移动矢量可用于生成图像的缩放函数。在另一个实现中，可估算分别与M×1块或1×N块相对应的M或N个移动矢量并分别用于生成M或N个缩放函数。M个缩放函数可应用于缩放分别属于每个有m个像素宽的M个水平条的像素。类似地，N个缩放函数可应用于缩放分别属于每个有n个像素宽的N个条的像素。这样，可用不同缩放函数缩放图像的每个条或部分，由此为图像的每个部分独立地控制缩放比率。在其中一个或更多个水平条可包含连续移动例如行情显示(ticker tape)的应用中，该方案特别地有用。
图11示意性地说明了用于对属于图像序列的图像102进行缩放的装置1100。该缩放基于描述对象在图像102中的位置改变的移动矢量101。可选地，移动矢量101可描述背景区的变化。装置1100包括用于接收移动矢量101的第一接收器1110，用于生成缩放函数121的第一生成器1120和用于通过在图像102的一个或更多个像素上应用缩放函数121而获得缩放图像131的图像缩放器1130。
当装置1100在操作中时，第一接收器1110典型地从移动估算单元接收移动矢量101。移动矢量101描述对象的移动或描述第一图像的至少一部分和第二图像的对应部分的变化，第一和第二图像随时间移位并属于描述正在移动的场景的图像序列。移动矢量101的导出值111耦合至第一生成器1120。导出值111可以是分量之一，如移动矢量的垂直或水平分量或从移动矢量的均方根值导出的结果幅度。导出值111可以是在某个范围例如0到1内标准化的值。第一生成器1120基于导出值111生成缩放函数121。图像缩放器1130将缩放函数121应用于图像102的一个或更多个像素上。图像缩放器1130能够将缩放函数121应用于属于图像102的至少一部分或整个图像102的一个或更多个像素上。图像缩放器例如能够只缩放包含行情显示文本的图像的子区域，而让图像的其余部分不受影响。图像缩放器可配置成用黑色条或从时间相邻的图像中获得的‘填充物’来填充图像的未受影响部分。
图12示意性地说明了图像处理设备1200的实施例。设备1200包括第二接收器1210、移动矢量估算单元1220和图像缩放器1230。在操作中，第二接收器1210接收属于图像序列的图像1201。移动矢量估算单元1220估算图像1201的至少一部分的移动矢量1221。移动矢量估算单元1220使用本领域已知方法之一估算图像至少一部分的移动矢量1221。在一个实施例中，移动矢量估算单元1220被设置成估算图像1201的全局移动矢量。通常，对于移动矢量的估算，采用两个随时间位移并属于图像序列的图像。在一个实施例中，移动矢量单元1220可使用三个属于图像序列的连续图像。移动矢量估算单元1220可选地包括用于估算全局移动矢量的另外的移动模型单元，该全局移动矢量描述了在图像和先前图像之间或图像和后续图像之间的全局变化。提供了用于图像的宽高比转换的自适应缩放函数及相应缩放比率。图像处理设备可以是例如PC，机顶盒，VCR/VCP(盒式磁带录象机/播放器)，卫星调谐器，或DVD(数字化多用途盘)播放器/记录器或在摄影棚里的专业视频处理站或网络操作者的链接站的转换装置。
图13示意性地示出了图像显示设备1300的实施例。图像显示设备1300包括图像处理设备1200和显示装置1320。图像显示设备能够接收图像视频序列1202并显示它们。显示设备1320可具有宽屏的宽高比如16:9。总的来说，可从所公开的图像处理设备1200获得用于宽屏显示设备的任何宽高比。在某些手持装置如卫星导航系统和移动电话中，图像的显示高度可等于其宽度。显示设备1300对于显示宽高比小于或大于4:3的图像也是有用的。显示设备1300可以是具有显示宽度大于高度的宽屏TV、具有宽屏显示器的PC、媒体中心、或具有显示高度大于宽度的手持装置。
图14示意性地示出了用于基于移动矢量缩放图像的装置1400的实施例。装置1400包括第一接收器1410、第一生成器1420，第二生成器1440、第一可靠性单元1450、第二可靠性单元1460和图像缩放器1430。在操作中，第一接收器1410接收图像102的至少一部分的移动矢量101、与移动矢量101相关联的可靠性值1403和场景变化值1405。可靠性值1403和场景变化值1405可以可选地由移动矢量估算单元生成。独立地或者从移动矢量估算单元获得来自图像序列的场景变化值的技术是本领域已知的。输入101、1403和1405可由第一接收器1410独立处理。第一接收器1410的输出包括移动矢量101的导出值111、从可靠性值1403导出的可靠性信号1413和从场景变化值1405导出的场景变化信号1415。在装置1400的一个实施例中，可在第一接收器1410中应用用于获得可靠性信号和场景变化信号的预定义阈值。在装置1400的另一个实施例中，可在相应的可靠性单元1450和1460中应用预定义阈值。
在操作中，第一可靠性单元1450选择两个缩放函数即第一预定缩放函数1445或所生成的缩放函数121之一，该选择受可靠性信号1413的影响。如果移动矢量的可靠性值1403超出预定义阈值，则由图像缩放单元1430使用所生成的缩放函数121。第一可靠性单元1450也被设置成以类似方式切换所生成的定时函数341或第一预定定时函数1447。在一个实施例中，第一预定缩放函数1445可以是当可靠性值1403小于预定义阈值时的时刻应用的函数。类似地，第一预定定时函数1447可以是当可靠性值1403变成小于预定义阈值时的时刻应用的函数。
当场景变化值1405超出预定义阈值时，在接收器1410中生成场景变化信号1415。可能的是直接从外部源接收场景变化检测信号1415。第二可靠性单元1460的功能是选择第二预定缩放函数1455或者可在第一可靠性单元1450的输出处得到的缩放函数1451，该选择由场景变化检测信号1415控制。只要没有场景变化，就将在第一可靠性单元1450的输出可得到的缩放函数1451和定时函数1453耦合到图像缩放单元1430。因此，使所选择的缩放函数1461和所选择的定时函数1463可用于图像缩放器1430。当有场景变化信号时，指定给先前场景的缩放函数和定时函数可导致可视失真。因此第二可靠性单元被设置成切换至第二预定缩放函数1455和第二预定定时函数1457。在装置1400的一个实施例中，将第二预定缩放函数1455和第二预定定时函数1457都重新设定为初始设定值。由于该布置，场景变化造成的失真相对降低了而装置1400的鲁棒性增加了。
用于对图像的一个或更多个像素进行基于移动矢量的缩放的装置1100和图像处理设备1200和图像显示设备1300可通过数字硬件或通过由数字信号处理器或通用计算机执行的软件来实现。
除了仅识别诸如全局相机摇摄之类的全局移动的简单实施例之外，可以分析独立对象，通常为前景对象的移动，而且缩放可考虑这些对象。例如，为了跟随单个人或前景对象的运动，可细调单个缩放函数。可根据移动矢量本身容易地分割前景对象。然而，可执行对前景对象的进一步分析如纹理分析或面部检测，以对对象进行分类并选择合适的缩放函数。
在一次拍摄中，可考虑该拍摄中的所有相关移动来选择并修改最优缩放函数。因此通过考虑正在移动的人的变形和背景的变形的各种严格条件，可达到最优平衡。例如，如果伪影出现在人像周围，则一些变形可能还不是太不好，而对于较大的摇摄速度，变形可能就更为不好了。可选择合适的背景缩放函数如部分地用来自周边画面的适合外插数据进行补充的第二二次函数。
虽然移动矢量可实时确定，但是移动矢量可以是已经嵌于图像序列中，或可选地作为补充图像序列的元数据。通过在离线情况下为序列计算移动矢量一次，处理要求降低了。另外，为了提高最后得到的移动矢量的质量，可使用采用先进的分段技术的高质量算法。
移动矢量信息还可包括其它离线确定的、提供移动矢量生成的质量的系数。该信息可包括例如：拍摄边界、拍摄类型，并包括例如描述摇摄或变焦距序列的参数。
可选地，元数据可包括用于生成缩放函数本身的实际系数。专业从事内容创作的艺术家可将至少一个缩放函数的系数或其他数据规定为电视信号的保留数据部分(如作为压缩电视信号的辅助增强信息，或在电视文本线中的数据部分等。)，以使得显示器将创造最优效果，而艺术家甚至可为若干个显示器上这样做(如从小到大的投影仪)，显示器识别哪种缩放类型是最合适的。
也可能的是使用几个缩放函数(如抛物线)的级联，例如在场景中围绕中心动作的第一抛物线，以及用于接近图像边界的背景区域的第二抛物线。可选地，这样的缩放函数可实现为分段线性缩放函数。
也可能的是在图像的各部分例如潜台词区域上应用几个缩放函数，而保持图像的其余部分不被缩放，且在不受影响的部分还有额外的画面如时钟、标识，商业信息、滚动栏文本，或黑色条。
本发明的范围不限于明确公开的实施例。本发明包含在每个新特征和这些特征的每个组合中。任何参考符号不限制权利要求的范围。单词“包括”不排除除了列于权利要求中的部件或步骤之外的那些部件或者步骤的存在。在一个部件前的单词“一”或“一个”的使用不排除多个这样的部件的存在。所描述的所有装置单元和方法步骤可组合并实现为一个或几个硬件单元或软件单元实现，而且这样分布于网络、指令等。

Claims (22)

1.一种对属于图像视频序列的图像进行处理的方法，包括基于移动矢量缩放图像，所述移动矢量描述了对象在第一图像中的第一位置和该对象在第二图像中的第二位置之间的对象位置改变，所述第一图像和所述第二图像属于图像视频序列，所述缩放包括水平缩放，其中缩放所述图像(102)包括：
基于所述移动矢量(101)生成(120)缩放函数(121)，所述缩放函数包括非均匀水平缩放，其中根据移动幅度进行非均匀水平缩放；以及
通过将所述缩放函数(121)应用到所述图像(102)的一个或更多个像素上来获得(130)经缩放图像(131)的一个或更多个像素。
2.如权利要求1所述的方法，其中生成(120)所述缩放函数(121)包括：
对于从静态场景获得的移动矢量，生成具有非均匀缩放比率的缩放函数；以及
对于具有较大幅度的移动矢量，生成具有线性缩放比例的缩放函数。
3.如权利要求1所述的方法，包括基于全局移动矢量缩放所述图像，所述全局移动矢量描述在所述第一图像和所述第二图像之间的全局变化。
4.如权利要求3所述的方法(100)，其中生成(120)所述缩放函数(121)包括基于所述移动矢量(101)的水平分量改变所述缩放函数(121)的至少一个参数值，而获得(130)所述经缩放图像(131)的一个或更多个像素包括通过将所述缩放函数应用到属于所述图像(102)的像素行的一个或更多个像素上来获得属于所述经缩放图像的相应像素行的一个或更多个像素。
5.如权利要求3所述的方法(100)，其中生成(120)所述缩放函数(121)包括基于所述移动矢量(101)的垂直分量改变所述缩放函数(121)的至少一个参数值，而获得(130)所述经缩放图像(131)的一个或更多个像素包括通过将所述缩放函数应用到属于所述图像(102)的像素列的一个或更多个像素上来获得属于所述经缩放图像的相应像 素列的一个或更多个像素。
6.如权利要求3所述的方法(100)，其中生成所述缩放函数(131)包括从包含非-线性函数(270)和分段线性函数(280)的组中选择基本函数(260)，以及使用所述基本函数(260)生成所述缩放函数(121)。
7.如权利要求3所述的方法(100)，其中生成所述缩放函数包括选择二次函数以及基于从所述移动矢量计算的幅度值改变所述二次函数的参数。
8.如权利要求5或6所述的方法(300)，其中生成(320)所述缩放函数(321)进一步包括将所述缩放函数(321)的至少一个参数值限制(325)在参数值的基本预定义范围之内。
9.如权利要求3所述的方法(400)，进一步包括在将所述缩放函数(427)应用到所述图像(102)的一个或更多个像素上之前，基于与所述移动矢量(101)相关联的可靠性值(403)选择(425)第一预定缩放函数(426)或所生成的缩放函数(121)。
10.如权利要求3所述的方法(500)，进一步包括在将所述缩放函数(527)应用到所述图像的一个或更多个像素之前，基于场景变化信号(503)选择(525)第二预定缩放函数(526)或所生成的缩放函数(121)。
11.如权利要求3所述的方法(600)，进一步包括基于所述移动矢量(101)生成(640)定时函数(641)以控制用于不同时刻的缩放，而获得(630)所述经缩放图像(631)的一个或更多个像素包括根据所述定时函数(641)将所述缩放函数(121)应用到所述图像的一个或更多个像素上。
12.如权利要求11所述的方法(600)，其中生成(640)所述定时函数(641)包括基于从所述移动矢量(101)计算的幅度值来控制所述定时函数(641)的至少一个参数值。
13.如权利要求12所述的方法(700)，其中生成(740)所述定时函数(751)进一步包括将所述定时函数(751)的至少一个参数值限制(750)在参数值的基本预定义范围之内。
14.如权利要求11所述的方法(800)，进一步包括在根据所选择的定时函数(851)将所述缩放函数(121)应用到所述图像(102)的一个或更多个像素上之前，基于与所述移动矢量(101)相关联的可靠性值 (803)选择(850)第一预定定时函数(860)或所生成的定时函数(641)。
15.如权利要求11所述的方法(900)，进一步包括在根据所选择的定时函数(951)将所述缩放函数应用到所述图像的一个或更多个像素上之前，基于场景变化信号(903)选择(950)第二预定定时函数(960)或所生成的定时函数(641)。
16.如权利要求1所述的方法，其中所述图像(102)包括M×N个像素块而其中对所述图像的一个或更多个像素进行缩放包括：
基于与所述M×N块相关联的相应的一个或更多个移动矢量(101)生成一个或更多个缩放函数(121)；以及
通过将所述一个或更多个缩放函数(121)应用到所述图像(102)的相应M×N块中的一个或更多个像素上来获得所述经缩放图像(131)的一个或更多个像素。
17.如权利要求1、3-7或者9-16中任何一项所述的方法，其中通过其图像特性之一来检测至少一个前景对象，而所述缩放考虑了所述至少一个前景对象的时空位置。
18.一种用于对属于图像视频序列的图像(102)进行缩放的装置(1110)，所述缩放包括水平缩放，所述装置包括：
第一接收器(1110)，能够接收移动矢量(101)，所述移动矢量(101)描述在对象在第一图像中的第一位置和所述对象在第二图像中的第二位置之间的所述对象的位置改变，所述第一图像和所述第二图像属于所述图像视频序列；
第一生成器(1120)，能够基于所述移动矢量(101)生成缩放函数(121)，所述缩放函数包括非均匀水平缩放，其中根据移动幅度进行非均匀水平缩放；以及
图像缩放器(1130)，能够通过将所述缩放函数(121)应用到所述图像(102)的一个或更多个像素上而获得经缩放的图像(131)的一个或更多个像素。
19.如权利要求18所述的装置，其中生成所述缩放函数(121)包括：
对于从静态场景获得的移动矢量，生成具有非均匀缩放比率的缩放函数；以及
对于具有较大幅度的移动矢量，生成具有线性缩放比例的缩放函 数。
20.一种图像处理设备(1200)，包括：
第二接收器(1210)，能够接收图像视频序列(1201)；
移动估算单元(1220)，能够估算移动矢量(1201)，所述移动矢量(1201)描述在对象在第一图像中的第一位置和所述对象在第二图像中的第二位置之间的所述对象的位置改变，所述第一图像和所述第二图像属于所述图像视频序列(1202)；
如权利要求18所述的装置(1230)，能够缩放属于所述图像视频序列的图像(1202)，其中所述缩放基于预定义宽高比。
21.一种图像显示设备(1300)，包括：
如权利要求20所述的图像处理设备(1200)，能够基于预定义宽高比获得所述经缩放图像(1231)；以及
显示装置(1320)，能够显示所述经缩放图像(1231)。
22.如权利要求21所述的图像显示设备(1300)，其中所述显示设备包括在从以下组中选择的设备中，该组包括：宽屏电视、手持装置、移动电话、导航接收器、画中画电视、具有多屏幕的计算机显示器和媒体中心。 
CN200780021177.8A 2006-06-06 2007-05-23 基于移动矢量缩放图像 Expired - Fee Related CN101467178B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06114985.2 2006-06-06
EP06114985 2006-06-06
PCT/IB2007/051940 WO2007141693A2 (en) 2006-06-06 2007-05-23 Scaling an image based on a motion vector

Publications (2)

Publication Number Publication Date
CN101467178A CN101467178A (zh) 2009-06-24
CN101467178B true CN101467178B (zh) 2013-07-03

Family

ID=38626962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780021177.8A Expired - Fee Related CN101467178B (zh) 2006-06-06 2007-05-23 基于移动矢量缩放图像

Country Status (7)

Country Link
US (1) US8462989B2 (zh)
EP (1) EP2030440B1 (zh)
JP (1) JP5107349B2 (zh)
CN (1) CN101467178B (zh)
AT (1) ATE508583T1 (zh)
DE (1) DE602007014361D1 (zh)
WO (1) WO2007141693A2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219735B2 (ja) * 2008-10-24 2013-06-26 キヤノン株式会社 画像処理装置、方法及びプログラム
US20100123822A1 (en) * 2008-11-14 2010-05-20 General Instrument Corporation Method for Converting Between Display Information Scales
US20110262055A1 (en) * 2008-12-23 2011-10-27 Koninklijke Philips Electronics N.V. Image scaling curve generation
EP2411961B1 (en) * 2009-03-26 2012-10-31 TP Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
GB2470942B (en) * 2009-06-11 2014-07-16 Snell Ltd Detection of non-uniform spatial scaling of an image
CN102473288A (zh) * 2009-07-30 2012-05-23 皇家飞利浦电子股份有限公司 分布式图像重定向
CN101635803B (zh) * 2009-08-14 2011-05-11 四川虹微技术有限公司 在宽屏上显示传统图像的方法
KR20110024525A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 장면 인식 영상 설정 방법 및 이를 실현하는 디지털 촬영 장치
CN101783900A (zh) * 2010-03-10 2010-07-21 华为终端有限公司 一种图像分区缩放的方法和装置
US8670070B2 (en) * 2010-07-15 2014-03-11 Broadcom Corporation Method and system for achieving better picture quality in various zoom modes
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US20120287031A1 (en) 2011-05-12 2012-11-15 Apple Inc. Presence sensing
KR20140002034A (ko) 2011-05-12 2014-01-07 애플 인크. 존재 감지
US9767642B2 (en) * 2011-10-14 2017-09-19 Bally Gaming, Inc. System and method for cross platform persistent gaming sessions using a mobile device
US9659437B2 (en) 2012-09-28 2017-05-23 Bally Gaming, Inc. System and method for cross platform persistent gaming sessions using a mobile device
US9672688B2 (en) 2011-10-14 2017-06-06 Bally Gaming, Inc. System and method for cross platform persistent gaming sessions using a mobile device
US9148571B2 (en) * 2012-09-14 2015-09-29 Apple Inc. Image distortion correction in scaling circuit
CN103679632A (zh) * 2012-09-18 2014-03-26 英业达科技有限公司 以不同缩放比例缩放影像中不同区域的系统及方法
JP2014225718A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 画像処理装置および画像処理方法
CN103402135A (zh) * 2013-07-26 2013-11-20 北京小米科技有限责任公司 显示宽频数据的方法、终端及设备
DE102014210739A1 (de) * 2014-06-05 2015-12-17 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Drehratensensors und elektrisches Gerät
US10817594B2 (en) 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
KR102642927B1 (ko) * 2018-11-16 2024-03-04 삼성전자주식회사 영상 처리 장치 및 그 동작방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671018A (en) * 1995-02-07 1997-09-23 Texas Instruments Incorporated Motion adaptive vertical scaling for interlaced digital image data
EP1643442B1 (en) * 2003-12-10 2011-06-29 Sony Corporation Image processing method and apparatus, and program

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04156088A (ja) * 1990-10-19 1992-05-28 Pioneer Electron Corp 画像表示方式
JPH06350868A (ja) 1993-06-07 1994-12-22 Matsushita Electric Ind Co Ltd ワイドテレビジョンと水平走査補正方法
US6075906A (en) * 1995-12-13 2000-06-13 Silicon Graphics Inc. System and method for the scaling of image streams that use motion vectors
US6191820B1 (en) 1998-04-28 2001-02-20 Lg Electronics Inc. Device and method for converting aspect ratio of video signal
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
WO2002013507A2 (en) * 2000-08-04 2002-02-14 Moxi Digital Inc. System and method for scaling a video signal
JP2003204528A (ja) * 2002-01-08 2003-07-18 Sharp Corp 走査線変換装置
EP1714477A1 (en) 2004-02-03 2006-10-25 Koninklijke Philips Electronics N.V. Changing the aspect ratio of images to be displayed on a screen
US7411628B2 (en) 2004-05-07 2008-08-12 Micronas Usa, Inc. Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671018A (en) * 1995-02-07 1997-09-23 Texas Instruments Incorporated Motion adaptive vertical scaling for interlaced digital image data
EP1643442B1 (en) * 2003-12-10 2011-06-29 Sony Corporation Image processing method and apparatus, and program

Also Published As

Publication number Publication date
CN101467178A (zh) 2009-06-24
US8462989B2 (en) 2013-06-11
JP5107349B2 (ja) 2012-12-26
US20090190846A1 (en) 2009-07-30
WO2007141693A2 (en) 2007-12-13
ATE508583T1 (de) 2011-05-15
DE602007014361D1 (de) 2011-06-16
JP2009540652A (ja) 2009-11-19
EP2030440B1 (en) 2011-05-04
WO2007141693A3 (en) 2008-11-06
EP2030440A2 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
CN101467178B (zh) 基于移动矢量缩放图像
US8265426B2 (en) Image processor and image processing method for increasing video resolution
US9094657B2 (en) Electronic apparatus and method
CN101646033B (zh) 图像处理装置和图像处理方法
US8855195B1 (en) Image processing system and method
US20170162171A1 (en) Display apparatus and control method thereof
EP2151997A2 (en) Image processing apparatus and image processing method
CN102224545B (zh) 相同事件的视频和静态画面基于该视频的全局运动矢量的合并
CN102265607A (zh) 图像缩放曲线生成
US20120120311A1 (en) Distributed image retargeting
JP2015521322A (ja) パノラマピクチャの処理
US20150170338A1 (en) Image processing method and apparatus
JP6134267B2 (ja) 画像処理装置、画像処理方法、および記録媒体
JP2019149785A (ja) 映像変換装置及びプログラム
US11930207B2 (en) Display device, signal processing device, and signal processing method
US7936936B2 (en) Method of visualizing a large still picture on a small-size display
US20230196700A1 (en) Image processing apparatus and image processing method
EP1848203B1 (en) Method and system for video image aspect ratio conversion
WO2005076599A1 (en) Changing the aspect ratio of images to be displayed on a screen
US8817191B2 (en) Image processing apparatus and image processing method
US7310451B2 (en) Sub-pixel image shifting in display device
Knee et al. Aspect ratio problems in television today and some new solutions
Lee et al. Video frame rate conversion for mobile devices
Knee New-generation scalable motion processing from mobile to 4K and beyond

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TP VISION HOLDING B.V.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS N.V.

Effective date: 20120821

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120821

Address after: Holland Ian Deho Finn

Applicant after: Tp Vision Holding B. V.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130703

Termination date: 20140523