CN100346420C - 基于关键帧的播放位置的选择方法和系统 - Google Patents
基于关键帧的播放位置的选择方法和系统 Download PDFInfo
- Publication number
- CN100346420C CN100346420C CNB028012925A CN02801292A CN100346420C CN 100346420 C CN100346420 C CN 100346420C CN B028012925 A CNB028012925 A CN B028012925A CN 02801292 A CN02801292 A CN 02801292A CN 100346420 C CN100346420 C CN 100346420C
- Authority
- CN
- China
- Prior art keywords
- key frame
- scroll zones
- current
- image sequence
- occupies
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
允许选择图像序列中的位置的方法和系统。优选地,通过自动抽取关键帧获得该图像序列的临时排序的关键帧集合(300)。在滚动区域(201)中显示该集合的一部分。可以驱动现在占据播放区域(212)的当前关键帧(303)以启动从相应于当前关键帧的位置播放所述图像序列。在驱动现在占据前进区域(213)的下一关键帧(304)时,在前进方向上滚动关键帧集合通过滚动区域(201),在驱动现在占据后退区域(211)的前一关键帧(302)时,在后退方向上滚动关键帧集合通过滚动区域(201)。
Description
技术领域
本发明涉及一种允许选择图像序列中的位置的方法。
本发明另外涉及一种允许选择图像序列中的位置的系统。
背景技术
当观看图像序列诸如视频流时,常常希望能够定位到该图像序列中的特定位置。这样就允许观看者跳过序列中不感兴趣的部分,或重复非常感兴趣的部分。对于这一点,常规视频播放系统提供快进和快倒按钮,它们允许用户提高在前进和后退方向上的速度。
另外可选择的方案是,某些视频点播系统为每一电影包括快进和快倒流,称为特效(trick)播放系统。当用户希望在电影中快进或快倒时,他选择快进或快倒选项,然后,代替正常的播放流,各快进或快倒特效播放流在用户曾正在观看的适当点传输给用户。以这种方式模拟正被观看的电影的快进或快倒版本。
可以借助关键帧给用户提供图像序列中关于当前位置的反馈。关键帧是这样的一些帧,它们代表图像序列的一部分。例如,视频流中新情景的第一帧用于表示该情景的关键帧。这样,关键帧序列提供图像序列的概观。当用户按压遥控器上的快进或快倒按钮时,该图像序列的关键帧集合在显示器上滚动。当表示该图像序列中希望位置的关键帧出现时,用户可以按压他的遥控器上的播放按钮,然后系统开始从由希望的关键帧表示的序列中的一点播放图像序列。
然而,这一过程意味着,用户必须从他观看的滚动关键帧的屏幕转移视线到他能够控制滚动的关键帧的遥控器。但是,当用户正在观看他的遥控器时,希望的关键帧可能滚动过去,在他有机会回过来看显示器前从他的视线消失。另外,这一方法不直观的。在屏幕上滚动的关键帧集合提供与图像序列直接交互的新的可能性。应该利用这些可能性来方便用户。
发明内容
本发明的一个目的是提供一种根据前言的方法,该方法比已知方法更直观。
根据本发明,这一目的以下面的方法实现,所述方法包括:
-获得图像序列的临时排序的关键帧集合,
-在滚动区域内显示该集合的一部分,所述滚动区域包括播放区域、前进区域和后退区域,
-当从该集合中驱动作为现在占据播放区域的关键帧的当前帧时,选择图像序列中的该位置作为由该当前关键帧表示的位置,
-当从该集合中驱动作为现在占据前进区域的关键帧的下一关键帧时,以第一速度在前进方向上滚动该集合通过滚动区域,
-当从该集合中驱动作为现在占据后退区域的关键帧的前一关键帧时,以第二速度在后退方向上滚动该集合通过滚动区域。
使用这一方法,用户可以在关键帧出现在滚动区域上时直接操作它们,他不需要在遥控器和显示器之间切换。当他看见希望的关键帧出现在播放区域上时,他可以简单地驱动该关键帧,然后选择图像序列中的该位置作为由当前关键帧表示的位置。在一种实施例中,该图像序列的播放可以从由该当前关键帧表示的序列中的一点开始。
另外,前进和后退区域提供一种直观的方式以便启动通过滚动区域滚动关键帧。当前占据前进区域的下一关键帧相应于视频流中的一点,其位于距当前关键帧更远的位置。所以,直观上,驱动下一关键帧应该把图像序列中的当前位置向更远移动,换句话说,关键帧集合应该在前进方向上滚动。同样的道理适合前一关键帧。在前进和后退方向上的滚动速度可以不同,也可以相同。
在一种实施例中,滚动区域另外包括快进区域,该方法另外包括,在从集合中驱动作为当前占据快进区域的关键帧的再下一关键帧时,以比第一速度更高的第三速度在前进方向上滚动该集合通过滚动区域。
在另外一种实施例中,滚动区域另外包括快倒区域,该方法另外包括,在从集合中驱动作为当前占据快倒区域的关键帧的再前一关键帧时,以比第二速度更高的第四速度在后退方向上滚动该集合通过滚动区域。
有时,希望能够以比“正常”滚动速度更高的速度向前或向后滚动。根据这两个实施例,可以另外提供快进区域或快倒区域。驱动当前占据所述区域的关键帧导致以比第一或第二速度更高的速度滚动。不必同时提供快进和快倒两个区域。经常是,用户在图像序列的开头处开始,寻找位于图像序列中更远处的位置。在这种场合,他在前进方向上比在后退方向上需要更多的前后关联,并且常常希望前进时的速度比他希望后退的速度更高。在这种场合,大部分向后倒退时间是因为用户错过了希望的关键帧而需要倒回去一点儿。
在另一种实施例中,当选择当前占据后退区域和前进区域之一的关键帧时,图像序列的播放从该序列中由选择的关键帧表示的一点处开始。必须驱动当前的关键帧以便开始播放并不总是切合实际的。当表示希望位置的关键帧展示在后退或前进区域中时,用户也许希望选择该关键帧,并从该位置开始播放。这一选择可以实现,例如通过高亮显示希望的关键帧并按压遥控器上的“播放”按钮,或通过双击希望的关键帧。
在另外一种实施例中,当前关键帧基本上以全屏方式显示。关键帧通常以缩小的尺寸表示,特别当同时显示多个关键帧时。因为它在尺寸上缩小,对观看者来说可能很难识别细节。因此,他能够以基本全屏的分辨率观看当前关键帧是十分有利的。当可能希望还要在屏幕上保持滚动区域时,显示器不需要完全满屏。当然,关键帧的表示也可以与以全屏方式显示的当前关键帧重叠。
在另外一种实施例中,图像序列组成视频流。因为视频流的平均长度,选择视频流中的位置特别困难,所以在图像序列组成视频流时根据本发明的方法十分有利。
在另外一种实施例中,通过从视频流自动产生多个关键帧获得关键帧的连接。对于通常是非常大的视频流,手工产生表示该视频流的关键帧集合是困难而麻烦的。已经开发出各种从视频流中自动识别和抽取关键帧的技术,它们在本领域中是公知的。通过使用这样一种技术来获得关键帧集合,根据本发明的方法可以应用于任何视频流,甚至当事先未识别到关键帧时。
本发明的另一个目的是提供一种按照前言的系统,它允许比已知系统更直观的方式选择。
根据本发明,这一目的是以这样的一种系统实现的,所述系统包括:
-定序设备,用于获得图像序列的临时排序的关键帧集合,
-显示设备,用于在滚动区域内显示该集合的一部分,所述滚动区域包括播放区域、前进区域和后退区域,
-当前关键帧选择设备,用于当从所述集合中驱动作为现在占据播放区域的关键帧的当前关键帧时,选择图像序列中的该位置作为所述当前关键帧,以及
-滚动设备,用于当从所述集合中驱动作为现在占据前进区域的关键帧的下一关键帧时,以第一速度在前进方向上滚动该集合通过滚动区域,和当从该集合中驱动前一关键帧作为现在占据后退区域的关键帧时,以第二速度在后退方向上滚动该集合通过滚动区域。
本发明另外涉及一种计算机程序产品,它能使可编程设备用作根据本发明的系统。
附图说明
参考附图中表示的实施例,本发明的这些方面以及其它方面将十分明显,附图中:
图1原理表示一种包括根据本发明的系统的电视接收机;
图2原理表示上述电视接收机在根据本发明的系统的操作期间显示的实施例;
图3A-E原理表示根据本发明的系统的操作。
在全部附图中,同样的参考数字指示相似或相应的特征。附图中指示的某些特征通常以软件实现,所述软件指软件实体,诸如软件模块或对象。
具体实施方式
图1原理表示包括根据本发明的系统的电视接收机。在射频(RF)信号上调制的数字广播流通过以太从天线1或另外可选从电缆网络接收。该广播流例如可以按照数字视频广播(DVB)标准格式化。调谐器2包括标准的模拟RF接收设备,它能够接收所述RF信号并选择其一输出到解调器3。调谐器2依赖于从中央处理单元(CPU)5接收的控制数据选择该信号。解调器3根据从CPU 5接收的控制信号变换模拟信号为数字包流。然后把这一包流输出到多路分配器4,它根据从CPU 5接收的控制数据选择属于特定程序的包,并分解该包流为基本音频、视频或数据流。虽然下面参考视频流讨论本系统,但是一般可以也使用任何的图像序列。
除了广播信号,也可以使电视接收机适应从其它源接收信号,例如从(数字)录像机或DVD播放机,从因特网,或从数字订户线。节目和节目属性不需要从同一源得到。例如,与广播节目有关的属性和属性值可以从因特网网站得到。
视频处理器8解码从多路分配器4或从CPU 5接收的视频流。然后把解码的视频数据传输到显示屏幕9。音频处理器6解码从多路分配器4接收的音频流。然后把解码的音频数据传输到扬声器系统7。
多路分配器4给CPU 5输出基本数据流。基本数据流有两类数据:控制数据和内容数据。内容例如指交互程序;控制指多路转换中的表,它们规定像多路转换的结构、以之调制通道的(RF)频率、可以据之找到各种内容部件和在多路转换中的(其它)表的地址的事项。CPU 5包括一个或者多个微处理器,它们能够执行存储在只读存储器(ROM)12中的程序指令。另外可选,程序指令可以存储在随机存取存储器中,诸如硬盘。这些程序指令包括软件模块部分,除别的外,包括命令模块13和首选项概要文件模块14。由所述软件模块处理的数据,例如DVB-SI数据和首选项概要文件信息可以存储在非易失存储器11中。命令模块13能够控制电视接收机的功能,像调谐和多路分配一种选择、传输数据给视频处理器8以便在显示屏幕9上显示。
用户命令单元10接收用户命令,例如通过遥控器(未示出),和传送它们到命令模块13以便处理。例如,当用户输入频道号码时,命令模块13控制调谐器2和多路分配器4选择相应的广播流和其中的数据包,和发送图形数据给视频处理器8以便在显示屏幕9上显示反馈,例如显示几秒钟当前号码、频道名。
首选项概要文件模块14解释程序属性,例如作为DVB-SI数据从多路分配器4接收,以便收集关于在接收的广播流中可用的频道,即用DVB术语来说“服务”的信息,和关于为这些频道安排的节目,即用DVB术语来说“事件”的信息。可以安排首选项概要文件模块14从用户的观看行为学习。例如,首选项概要文件模块14可以从命令模块13接收命令和从该命令决定用户对哪些节目感兴趣。首选项概要文件模块14记录用户的首选项和为一个用户对首选项概要文件的兴趣。首选项概要文件模块14可以维护一个首选项概要文件的集合。
定序模块15为视频流获得临时排序的关键帧集合。关键帧是这样的一些帧,它们代表图像序列的一部分。例如,视频流中的新情景的第一帧可以用作表示该情景的关键帧。另外可选,可以手工产生代表图像,而不是从图像序列中作为图像选择。
对于某些视频流,例如DVD,连同视频流提供关于该视频流的关键帧集合。于是该集合现成可用。然而,常常不是这种情形,甚至当是这种情形时,在这种序列中的关键帧的数目将非常有限,而在根据本发明的方法中没有多大用处。
因此,优选地定序模块15自动产生关键帧集合,通过从视频流中自动检测多个代表性的关键帧。通过分析组成视频流的帧,可以检测和选择表示有意义的流的帧。然后可以把表示这种情景的视为关键帧并加在该集合中。为此目的,在国际专利申请WO 98/55942中(律师卷宗号PHA 23253)和国际专利申请WO 98/55943中(律师卷宗号PHA23252)分别公开了两种合适的技术。
WO 98/55942公开了一种视频检索系统,它分析源视频的内容和使用选择的图像产生视觉内容表。分析源视频以检测从一个情景到另一情景的视频剪辑和静态情景。为每一有意义的情景选择关键帧。关键帧过滤过程过滤掉不太希望的帧,例如包括单色帧或具有作为基本焦点或基本焦点之一的同一对象的那些帧。在从关键帧过滤后剩余的帧中产生视觉索引,将其存储以备检索。
WO 98/55943公开了一种用于检测有意义情景的系统,它根据DCT系数和宏块检测从一个情景到另一情景的视频剪辑和静态情景。关键帧过滤过程过滤掉不太希望的帧,例如包括单色帧,或具有作为基本焦点或基本焦点之一同一对象的那些帧。
现有技术中还公知从视频流中自动抽取关键帧的其它适合的技术,并很容易用于本发明。在抽取后,关键帧临时排序,亦即,如果第一关键帧在集合中比第二关键帧出现较晚,则该第一关键帧在图像序列中也比第二关键帧出现较晚。
定序模块15把关键帧集合供给滚动器模块16,后者滚动地把该集合显示在显示屏幕9上。通常,滚动器模块16从该集合中选择一部分,并把它供给视频处理器8,处理器8为在显示屏幕9上显示而处理该部分。
图2较详细地原理表示电视接收机的显示屏幕9的一种实施例。显示屏幕9包括显示区域200和滚动区域201,在正常操作期间,显示区域200占据显示屏幕9的整个屏幕,使得可以在显示区域200内把视频流展示给用户。当用户给出合适的命令时,例如通过按压他的遥控器上的按钮,滚动区域201出现。滚动区域201可以以一种不完全透明的方式出现,使得显示区域200原本发暗的一部分仍能显示。
滚动区域201分成几个其它区域。滚动区域201至少包括后退区域211、播放区域212和前进区域213,优选地,以这一顺序彼此相邻排列。另外,可以提供快倒区域210和快进区域214。还可以有开始区域220和结束区域221。优选地,所有提供的区域210-214、220、221以条形彼此相邻排列,如图2所示。
滚动器模块16在滚动区域201内的显示屏幕9上滚动地呈现关键帧的集合。某些呈现的关键帧将占据210-214的某些区域。当滚动集合通过滚动区域201时,当前占据所述区域201-214之一的关键帧将改变。
为说明本发明,将使用下面的定义。当前占据播放区域212的关键帧将称为当前关键帧。当前占据前进区域213的关键帧将称为下一关键帧。当前占据后退区域211的关键帧将称为前一关键帧。在滚动区域201另外包括快倒区域210和/或快进区域214的实施例中,当前占据快倒区域210的关键帧将称为再前一关键帧。当前占据快进区域214的关键帧将称为再下一关键帧。
在所述集合的显示的部分的下面把视频流表示为水平条可能十分有利。可以给该水平条增加彩色,或以其它方式指示。在这一水平条上,然后表示视频流中当前位置的指示符。可以使用被呈现的视频流的长度指示进一步增强该水平条,例如通过在该条的右边显示该视频流的总长度,或通过在该条下面提供时间标度。这提供用户在该视频流中当前位置的指示。随着关键帧集合的滚动,指示符沿水平条移动,以表示由当前关键帧表示的在视频流中的位置。
以用户可驱动的方式显示占据所述区域的关键帧。在显示屏幕9上提供指针230,它可以由用户移动。可以给用户的遥控器提供前进和后退按钮、四路光标、慢进梭、滚动轮、激光指针或某些其它输入机制,以指示指针230要移动的方向。另外可选,可以安排用户命令单元10通过声音命令接收输入,和可以配置指针230响应适当的声音命令在显示屏幕9上移动。如果根据本发明的系统在计算机系统上实现,则可以使用诸如鼠标或键盘上的光标键的输入设备在显示屏幕9上放置指针230。
虽然在图2中指针230表示为箭头,但是指针230当然可以采用任何形状。特别地,以可以由用户沿显示屏幕9移动的十字丝光标实现指针230十分有利。作为电视屏幕上的光标或指针的十字丝的概念和实现在国际专利申请WO 00/48395(律师卷宗号PHN 17361)中公开,该申请的申请人和本发明相同。
在占据区域210-214之一的关键帧上面放置指针230可以认为是对该关键帧的驱动。然而,在一些系统中,尤其是计算机系统,通常需要一些额外的用户动作,诸如点击鼠标上的一个按键,来证实指针230放置在其上的关键帧是要被驱动的关键帧。相反,在电视系统中,在关键帧上放置指针230足以认为是一个驱动动作。
现在参考图3A-E说明根据本发明的系统的操作,图3A-E较为详细地表示在各种操作方式下的显示屏幕9。
在这些图中,使用类十字丝光标。用户可以通过简单地移动该十字丝到所涉及的关键帧上来驱动在区域210-214之一内的关键帧。十字丝光标表示为水平条和垂直条,它们的交叉作为高亮黑方块指示。
在这一实施例中,先前已经得到集合300。集合300在滚动区域201内可滚动显示。如上所述,一些呈现的关键帧占据一些区域210-214。表示出的是占据区域210的关键帧301、占据区域211的关键帧302、占据区域212的关键帧303、占据区域213的关键帧304和占据区域214的关键帧305。这使关键帧301为再前一关键帧,关键帧302为前一关键帧,关键帧303为当前关键帧,关键帧304为下一关键帧和关键帧305为再下一关键帧。
在驱动区域210-214之一中的关键帧301-305之一时激活滚动器模块16。滚动器模块16采取的动作依赖于被驱动的关键帧。
图3A表示在‘暂停’操作方式下显示屏幕9上的输出。由于十字丝光标230放置在当前关键帧303上,因此它被驱动。于是当前关键帧303在显示区域200内以基本全屏方式呈现。这里注意,滚动区域201放在显示区域200上面,滚动区域201不用的区域以透明方式呈现。以这种方式,当前关键帧303基本全屏呈现的部分也出现在滚动区域201内。
当驱动当前关键帧303时,选择视频流中要开始播放的位置作为由当前关键帧303表示的位置。如果当前关键帧303实际上是来自视频流中的一帧,则播放可以从当前关键帧303占据视频流中的位置处开始。如果当前关键帧303不是像上述那样出现在视频流中,则需要决定当前关键帧303表示视频流中的哪一个位置。
在驱动当前关键帧303时可以自动开始播放视频流。然而,在本实施例中,需要进一步驱动当前关键帧303开始播放。如果当滚动区域201出现在屏幕上时已经在播放视频流,则当前关键帧303的驱动将停止视频流的播放。
图3B表示在‘播放’操作方式下显示屏幕9上的输出。当十字丝光标230停留在当前关键帧303上的同一位置一定时间时,比如说3秒,则系统从‘暂停’方式前进到‘播放’方式。这由‘播放’图标320出现在显示屏幕9的右下角指示。在这一方式下,视频流以基本全屏方式播放,从由当前关键帧303表示的位置开始。
在播放期间,滚动器模块16可以同时以正比于视频流的正常播放速度的速度滚动关键帧集合300通过滚动区域201。以这种方式,滚动器模块16保证当前关键帧303每当在显示屏幕9上呈现在视频流中出现的新关键帧时更新。然后当前关键帧303总表示当前正在显示屏幕9上显示的视频流的情景或其一部分。
用户可以移动十字丝光标230从当前关键帧303离开和再次后退使系统返回到‘暂停’操作方式,或移动十字丝光标230到当前正被显示的另一个关键帧以便把系统切换到另一种操作方式。
可以限制视频流的播放只播放视频流的一段,该段将在视频流中由下一关键帧304表示的位置处结束。
图3C表示在‘向前滚动’操作方式下显示屏幕9上的输出。移动十字丝光标230到下一关键帧304上以便驱动下一关键帧304。在驱动下一关键帧304时,滚动器模块16以第一速度在前进方向上滚动集合300通过滚动区域201。然后更新在区域210-214内出现的关键帧。这一向前滚动操作由‘向前滚动’图标321在显示屏幕9的右下角的出现指示。
视频流的播放被挂起,直到用户使用十字丝光标230驱动当前关键帧303以便把切换系统到‘暂停’操作方式。
在前进方向上的滚动期间,优选地,以基本全屏方式在显示区域200内显示下一关键帧304。在滚动操作期间以这一方式显示使用户更好地观看关键帧,甚至离开一定距离。当根据本发明的系统在电视接收机中实现时,这一点特别有用,因为用户经常位于离电视接收机数米之遥,使得对他来说很难在滚动区域201中观看关键帧。这些关键帧经常以减小的尺寸显示,以便把它们全部安放在滚动区域201之内。
如果用户识别下一关键帧304是希望的关键帧的话,则他可以移动十字丝光标到当前关键帧303的位置,以便驱动它,这把系统切换到‘暂停’或‘播放’操作方式。识别关键帧和移动十字丝光标230到其上需要一些时间。在当前关键帧303被驱动之前为止,滚动器模块16将滚动该集合到更远。这意味着当前关键帧303是希望的关键帧,于是可以从该希望的位置播放。
另外可选,可以不在显示区域200内显示当前关键帧303。该选择依赖于用户期望多快地操作十字丝光标230。
在相似于上面说明的一种方式,系统在驱动前一关键帧302时切换到‘向后滚动’操作方式。在该方式下,滚动器模块16以第二速度在后退方向上滚动集合300通过滚动区域201。以这种方式使用前一和下一关键帧,使得用户不需操作遥控器上的任何特殊的前进和后退按钮。他可以简单地选择前一或下一关键帧在适当的方向上滚动。
通过滚动区域201滚动集合的速度可以例如是每秒一帧。虽然通常第一速度和第二速度一样,但是在某些场合,以快于第二速度的速度向前滚动更好,因为在许多场合用户在视频流的开头开始,寻找视频流中前进方向上的位置,所以希望用相对较快的向前滚动速度。然而,如果视频流中希望的位置然后出现并随之在用户能够驱动它之前滚出滚动区域201之外,则希望以较慢的速度向后滚动再次找到它。
图3D表示在‘快进’操作方式下显示屏幕9上的输出。移动十字丝光标230到再下一关键帧305将驱动再下一关键帧304。在驱动该再下一关键帧时,滚动器模块16以高于第一速度的第三速度在前进方向上滚动集合通过滚动区域201。驱动再下一关键帧305的实现和驱动下一关键帧304的效果相同,除了现在的滚动速度更高,允许较快浏览集合中的关键帧。这通过显示屏幕9右下角出现的‘快进’图标322表征。
相似地,驱动再前一关键帧301引起滚动器模块16以高于第二速度的第四速度在后退方向上滚动集合通过滚动区域201。第三和第四速度可以例如是每秒3帧。以这种方式,再下一关键帧和再前一关键帧用作快进和快倒按钮。用户现在可以使用再前一和再下一关键帧迅速地定位到希望的关键帧的适当位置,然后使用前一和下一关键帧精确找到该位置。如果希望的关键帧然后出现在区域212内,则他可以驱动当前关键帧303并在该希望的位置启动播放。
为说明滚动过程,应该注意,图3D中集合300的显示的部分不同于图3C中显示的部分。再下一关键帧305现在是和图3C中的再下一关键帧305不同的关键帧。
滚动器模块16在一定数目的帧滚过滚动区域201后或在一定时间过去后,可以停止滚动集合通过滚动区域201。以这种方式,可以实现,如果用户被中断,则自动结束通过滚动区域201滚动关键帧。然后用户需要再次驱动区域210-214之一中的关键帧以便继续。
图3E表示在‘跳到末尾’操作方式下显示屏幕9上的输出。为允许用户迅速跳到视频流的开头或末尾,提供开始区域220和结束区域221。在驱动结束区域221时系统切换到‘跳到末尾’方式,它引起滚动器模块16基本立即滚动该集合到末尾。相似地,在驱动开始区域220时系统切换到‘跳到开始’方式,它引起滚动器模块16基本立即滚动该集合到开头。于是,如果希望的位置靠近视频流的末尾,则用户可以简单地驱动结束区域221,然后使用前一关键帧或再前一关键帧向后滚动到希望的位置。
跳到末尾操作用在显示屏幕9的右下角出现的‘跳到末尾’图标323表征。在图3E中,十字丝光标230已经移动到结束区域221,以致驱动结束区域。集合300显示的部分包括集合300的最后5个关键帧。换句话说,滚动器模块16已经滚动到集合300到末尾。
然后可以在快进区域214或在播放区域212中呈现该集合的最后的关键帧。虽然在播放区域212中呈现最后关键帧可能看上去更符合逻辑,但是这意味着前进区域213和快进区域214当前为空,这可能使用户迷惑。应该使他清楚,当前关键帧303那时是集合300的最后的关键帧,并且他可以继续向前滚动。
在一种实施例中,用户可以选择当前占据区域210-214之一的任何关键帧。当表示希望位置的关键帧正滚过时,用户可以直接选择该关键帧而从这一位置开始播放。这一选择例如可以通过高亮显示希望的关键帧并按压遥控器上的“播放”按钮实现,或通过双击该希望的关键帧实现。图像序列的播放于是从由该选择的关键帧表示的序列中的一点处开始。
优选地,用户可以放置指针230到在滚动区域201中显示的关键帧之上而选择它,然后“拖动”该选择的关键帧到显示区域200。选择和拖动例如可以通过放置十字丝光标230到关键帧上、按压和保持遥控器上的按钮实现,并且当保持遥控器上的按钮时,移动指针到显示区域200,然后释放遥控器上的该按钮而实现。
应该注意区别选择动作和驱动动作。例如,如果希望的关键帧当前占据快进区域213,则显然不希望驱动该关键帧,因为这将切换系统到‘快进’方式,引起希望的关键帧从视野迅速消失。为防止这一问题,滚动器模块16可以在执行适当的动作前等待一会儿,使得用户有时间发出信号表示他希望执行选择动作而不是驱动动作。
如果通过在一个关键帧上放置指针230实现驱动该关键帧,则按压按钮足以作为一个选择动作。如果,除把指针230放置到所述关键帧之外,需要按压按钮驱动该关键帧,则可以使用重复按压该按钮来启动从该关键帧播放视频流。例如,在计算机系统中,移动光标到关键帧上面,并单击鼠标上的按键驱动该关键帧,将引起系统切换到‘暂停’方式,双击鼠标上的按键切换系统到‘播放’方式,从该关键帧开始播放。
另外可选,移动指针230到一个关键帧上面,随之按压遥控器上的播放按钮用作切换到‘播放’方式和启动从相应于该关键帧的位置播放视频流的信号。
根据本发明的系统可以作为加载有适当软件的电视接收机、机顶盒、录像机、或计算机实现。可以借助计算机程序实现该系统,所述计算机程序可以存储在诸如软盘或CD-ROM的存储介质中,或通过网络从文件服务器获取。所述计算机程序当加载到可编程设备中时,引起在所述设备中的处理器执行根据本发明的方法。这样,该计算机程序就能使可编程设备根据本发明的系统而发挥作用。
Claims (8)
1.一种能够选择图像序列中的位置的方法,包括:
-获得该图像序列的临时排序的关键帧集合(300),
-在滚动区域(201)内显示该集合的一部分,所述滚动区域(201)包括播放区域(212)、前进区域(213)和后退区域(211),
-当从该集合(300)中驱动作为现在占据播放区域(212)的关键帧的一个当前关键帧(303)时,选择图像序列中的该位置作为由当前关键帧(303)表示的位置,
-当从该集合(300)中驱动作为当前占据前进区域(213)的关键帧的下一关键帧(304)时,以第一速度在前进方向上滚动该集合(300)通过滚动区域(201),
-当从该集合(300)中驱动作为当前占据后退区域(211)的关键帧的前一关键帧(302)时,以第二速度在后退方向上滚动该集合(300)通过滚动区域(201)。
2.如权利要求1所述方法,其中,滚动区域(201)另外包括快进区域(214),所述方法另外包括,在从该集合(300)中驱动作为当前占据快进区域(214)的关键帧的再下一关键帧(305)时,以比第一速度更高的第三速度在前进方向上滚动该集合(300)通过滚动区域(201)。
3.如权利要求1所述方法,其中,滚动区域(201)另外包括快倒区域(210),所述方法另外包括,在从该集合(300)中驱动作为当前占据快倒区域(210)的关键帧的再前一关键帧(301)时,以比第二速度更高的第四速度在后退方向上滚动该集合(300)通过滚动区域(201)。
4.如权利要求1所述方法,其中,当选择当前占据后退区域(211)和前进区域(213)之一的关键帧时,图像序列的播放从该序列中由选择的关键帧表示的一点处开始。
5.如权利要求1所述方法,它另外包括以基本全屏方式显示当前关键帧(303)。
6.如权利要求1所述方法,其中,图像序列组成视频流。
7.如权利要求6所述方法,其中,通过从视频流中自动产生多个关键帧得到关键帧集合(300)。
8.一种允许在图像序列中选择位置的系统,包括:
-定序装置(15),用于获得图像序列的临时排序的关键帧集合(300),
-显示装置(9),用于在滚动区域(201)内显示该集合(300)的一部分,滚动区域(201)包括播放区域、前进区域和后退区域,
-当前关键帧(303)选择装置,用于当从该集合(300)中驱动作为当前占据播放区域(212)的关键帧的当前关键帧(303)时,选择图像序列中的该位置作为当前关键帧(303),以及
-滚动装置,用于当从该集合(300)中驱动作为当前占据前进区域(213)的关键帧的下一关键帧(304)时,以第一速度在前进方向上滚动该集合(300)通过滚动区域(210),和当从该集合(300)中驱动作为当前占据后退区域(211)的关键帧的前一关键帧(302)时,以第二速度在后退方向上滚动该集合(300)通过滚动区域(201)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01201422.1 | 2001-04-19 | ||
EP01201422A EP1251515A1 (en) | 2001-04-19 | 2001-04-19 | Method and system for selecting a position in an image sequence |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1461483A CN1461483A (zh) | 2003-12-10 |
CN100346420C true CN100346420C (zh) | 2007-10-31 |
Family
ID=8180176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028012925A Expired - Lifetime CN100346420C (zh) | 2001-04-19 | 2002-04-09 | 基于关键帧的播放位置的选择方法和系统 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20020167540A1 (zh) |
EP (2) | EP1251515A1 (zh) |
JP (1) | JP3993106B2 (zh) |
KR (1) | KR101073528B1 (zh) |
CN (1) | CN100346420C (zh) |
AT (1) | ATE381099T1 (zh) |
DE (1) | DE60224024T2 (zh) |
ES (1) | ES2298360T3 (zh) |
WO (1) | WO2002086897A1 (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840905B1 (en) | 2003-01-06 | 2010-11-23 | Apple Inc. | Creating a theme used by an authoring application to produce a multimedia presentation |
US7546544B1 (en) * | 2003-01-06 | 2009-06-09 | Apple Inc. | Method and apparatus for creating multimedia presentations |
US7694225B1 (en) * | 2003-01-06 | 2010-04-06 | Apple Inc. | Method and apparatus for producing a packaged presentation |
KR100998899B1 (ko) * | 2003-08-30 | 2010-12-09 | 엘지전자 주식회사 | 썸네일 영상 서비스 방법 및 방송 수신기 |
JP4061285B2 (ja) * | 2004-03-31 | 2008-03-12 | 英特維數位科技股▲ふん▼有限公司 | 画像編集装置、プログラムおよび記録媒体 |
FR2877452A1 (fr) * | 2004-10-28 | 2006-05-05 | Thomson Licensing Sa | Procede de selection d'un bouton dans une barre graphique, et recepteur mettant en oeuvre le procede |
DE102004056445A1 (de) * | 2004-11-23 | 2006-05-24 | Siemens Ag | Verfahren zum Auffinden einer gesuchten Bildsequenz in einer Videodatei bei einem mobilen Kommunikationsendgerät und dafür ausgeführtes Kommunikationsendgerät |
FR2880495A1 (fr) | 2005-01-06 | 2006-07-07 | Thomson Licensing Sa | Procede de selection d'un element dans une liste par deplacement d'une distinction graphique et appareil mettant en oeuvre le procede |
US8085318B2 (en) | 2005-10-11 | 2011-12-27 | Apple Inc. | Real-time image capture and manipulation based on streaming data |
US20060284895A1 (en) * | 2005-06-15 | 2006-12-21 | Marcu Gabriel G | Dynamic gamma correction |
US7663691B2 (en) | 2005-10-11 | 2010-02-16 | Apple Inc. | Image capture using display device as light source |
KR100725411B1 (ko) * | 2006-02-06 | 2007-06-07 | 삼성전자주식회사 | 컨텐츠 검색을 위한 사용자 인터페이스, 사용자 인터페이스제공 방법, 및 컨텐츠 검색 장치 |
US7962942B1 (en) | 2006-02-28 | 2011-06-14 | Rovi Guides, Inc. | Systems and methods for enhanced trick-play functions |
AU2013203320B2 (en) * | 2006-02-28 | 2015-06-04 | Rovi Guides, Inc. | Systems and Methods for Enhanced Trick-Play Functions |
US8745526B2 (en) | 2006-03-14 | 2014-06-03 | Blackberry Limited | Screen display in application switching |
EP1835383B1 (en) | 2006-03-14 | 2013-12-04 | BlackBerry Limited | Screen display in application switching |
US20080104655A1 (en) * | 2006-10-31 | 2008-05-01 | General Instrument Corporation | Digital Video Recorder Having a Pause Feature Displaying the First Frame of a Program |
CN101076111B (zh) * | 2006-11-15 | 2010-09-01 | 腾讯科技(深圳)有限公司 | 一种获取视频流中关键帧段定位信息的方法 |
US20080155627A1 (en) * | 2006-12-04 | 2008-06-26 | O'connor Daniel | Systems and methods of searching for and presenting video and audio |
CN1976440B (zh) * | 2006-12-11 | 2011-03-30 | 中山大学 | 一种在iptv中精确定位播放进度的方法及系统 |
EP2137962A1 (en) * | 2007-04-24 | 2009-12-30 | Tte Technology, Inc. | System and method for remote control of a television with a manually actuatable element |
US8122378B2 (en) * | 2007-06-08 | 2012-02-21 | Apple Inc. | Image capture and manipulation |
US20080303949A1 (en) * | 2007-06-08 | 2008-12-11 | Apple Inc. | Manipulating video streams |
US8059865B2 (en) * | 2007-11-09 | 2011-11-15 | The Nielsen Company (Us), Llc | Methods and apparatus to specify regions of interest in video frames |
US8365235B2 (en) * | 2007-12-18 | 2013-01-29 | Netflix, Inc. | Trick play of streaming media |
JP4752900B2 (ja) * | 2008-11-19 | 2011-08-17 | ソニー株式会社 | 画像処理装置、画像表示方法および画像表示プログラム |
JP4811452B2 (ja) * | 2008-11-19 | 2011-11-09 | ソニー株式会社 | 画像処理装置、画像表示方法および画像表示プログラム |
US20110169732A1 (en) * | 2009-11-06 | 2011-07-14 | Research In Motion Limited | Methods and electronic devices for previewing videos |
GB2477800A (en) | 2010-02-16 | 2011-08-17 | Nds Ltd | Video trick mode playback |
KR101656520B1 (ko) | 2010-05-07 | 2016-09-22 | 톰슨 라이센싱 | 디지털 컨텐츠에서 최적의 재생 위치를 결정하기 위한 방법 및 디바이스 |
US8595773B1 (en) * | 2012-07-26 | 2013-11-26 | TCL Research America Inc. | Intelligent TV shopping system and method |
KR101919796B1 (ko) * | 2013-01-11 | 2018-11-19 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어 방법 |
TWI505113B (zh) * | 2014-03-18 | 2015-10-21 | Vivotek Inc | 監視系統及其影像搜尋方法 |
US12154133B2 (en) | 2014-04-01 | 2024-11-26 | DoubleVerify, Inc. | System and method for identifying online advertisement laundering and online advertisement injection |
US20150346969A1 (en) * | 2014-05-30 | 2015-12-03 | Rowan Technology Solutions, LLC | Interactive media object development system and method |
CN104105003A (zh) * | 2014-07-23 | 2014-10-15 | 天脉聚源(北京)科技有限公司 | 视频播放方法及装置 |
US10440076B2 (en) | 2015-03-10 | 2019-10-08 | Mobitv, Inc. | Media seek mechanisms |
CN105306961B (zh) * | 2015-10-23 | 2018-11-20 | 无锡天脉聚源传媒科技有限公司 | 一种抽帧的方法及装置 |
KR20180071725A (ko) * | 2016-12-20 | 2018-06-28 | 삼성전자주식회사 | 디스플레이 장치 및 방법 |
US11627350B2 (en) | 2016-12-30 | 2023-04-11 | Tivo Solutions Inc. | Advanced trick-play modes for streaming video |
CN106937160B (zh) * | 2017-03-28 | 2019-12-24 | 青岛海信电器股份有限公司 | 一种针对终端的录制文件在快进快退时的显示方法和装置 |
US20190087060A1 (en) * | 2017-09-19 | 2019-03-21 | Sling Media Inc. | Dynamic adjustment of media thumbnail image size based on touchscreen pressure |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998034182A2 (en) * | 1997-02-03 | 1998-08-06 | Koninklijke Philips Electronics N.V. | A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel |
WO1999005865A1 (en) * | 1997-07-22 | 1999-02-04 | The Board Of Trustees Of The University Of Illinois | Content-based video access |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5513306A (en) * | 1990-08-09 | 1996-04-30 | Apple Computer, Inc. | Temporal event viewing and editing system |
US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
EP0715731B1 (en) * | 1994-06-24 | 2000-08-30 | Microsoft Corporation | Method and system for scrolling through data |
US6549948B1 (en) * | 1994-10-18 | 2003-04-15 | Canon Kabushiki Kaisha | Variable frame rate adjustment in a video system |
US5574845A (en) * | 1994-11-29 | 1996-11-12 | Siemens Corporate Research, Inc. | Method and apparatus video data management |
US5884056A (en) * | 1995-12-28 | 1999-03-16 | International Business Machines Corporation | Method and system for video browsing on the world wide web |
US8107015B1 (en) * | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
KR100194923B1 (ko) * | 1996-06-21 | 1999-06-15 | 윤종용 | 동영상 정보 검색장치 및 방법 |
WO1998034181A2 (en) * | 1997-02-03 | 1998-08-06 | Koninklijke Philips Electronics N.V. | A method and device for keyframe-based video displaying using a video cursor frame in a multikeyframe screen |
JPH10228758A (ja) * | 1997-02-12 | 1998-08-25 | Sony Corp | 記録再生装置および方法 |
US6233015B1 (en) * | 1997-06-27 | 2001-05-15 | Eastman Kodak Company | Camera with user compliant browse and display modes |
US6363380B1 (en) * | 1998-01-13 | 2002-03-26 | U.S. Philips Corporation | Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser |
GB9815638D0 (en) * | 1998-07-20 | 1998-09-16 | Danmere Limited | Identification of video storage media |
US6366296B1 (en) * | 1998-09-11 | 2002-04-02 | Xerox Corporation | Media browser using multimodal analysis |
KR100347710B1 (ko) * | 1998-12-05 | 2002-10-25 | 엘지전자주식회사 | 등장인물들의관계중심동영상검색데이터구성방법및검색방법 |
US6711587B1 (en) * | 2000-09-05 | 2004-03-23 | Hewlett-Packard Development Company, L.P. | Keyframe selection to represent a video |
-
2001
- 2001-04-19 EP EP01201422A patent/EP1251515A1/en not_active Withdrawn
-
2002
- 2002-04-09 CN CNB028012925A patent/CN100346420C/zh not_active Expired - Lifetime
- 2002-04-09 JP JP2002584325A patent/JP3993106B2/ja not_active Expired - Lifetime
- 2002-04-09 AT AT02720384T patent/ATE381099T1/de not_active IP Right Cessation
- 2002-04-09 DE DE60224024T patent/DE60224024T2/de not_active Expired - Lifetime
- 2002-04-09 EP EP02720384A patent/EP1382040B1/en not_active Expired - Lifetime
- 2002-04-09 KR KR1020027017261A patent/KR101073528B1/ko active IP Right Grant
- 2002-04-09 WO PCT/IB2002/001293 patent/WO2002086897A1/en active IP Right Grant
- 2002-04-09 ES ES02720384T patent/ES2298360T3/es not_active Expired - Lifetime
- 2002-04-16 US US10/123,790 patent/US20020167540A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998034182A2 (en) * | 1997-02-03 | 1998-08-06 | Koninklijke Philips Electronics N.V. | A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel |
WO1999005865A1 (en) * | 1997-07-22 | 1999-02-04 | The Board Of Trustees Of The University Of Illinois | Content-based video access |
Also Published As
Publication number | Publication date |
---|---|
DE60224024T2 (de) | 2008-11-06 |
WO2002086897A1 (en) | 2002-10-31 |
JP2004524777A (ja) | 2004-08-12 |
KR20030017998A (ko) | 2003-03-04 |
DE60224024D1 (de) | 2008-01-24 |
EP1382040B1 (en) | 2007-12-12 |
KR101073528B1 (ko) | 2011-10-17 |
US20020167540A1 (en) | 2002-11-14 |
JP3993106B2 (ja) | 2007-10-17 |
EP1382040A1 (en) | 2004-01-21 |
EP1251515A1 (en) | 2002-10-23 |
CN1461483A (zh) | 2003-12-10 |
ES2298360T3 (es) | 2008-05-16 |
ATE381099T1 (de) | 2007-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100346420C (zh) | 基于关键帧的播放位置的选择方法和系统 | |
US9998792B2 (en) | Electronic program guide for indicating availability of past programs | |
CN1127849C (zh) | 具有浏览显示区的节目指南系统 | |
US20020186234A1 (en) | Method and system for selecting a position in an image sequence | |
US8381246B2 (en) | Methods and apparatus for providing electronic program guides | |
US8505050B2 (en) | Electronic program guide for indicating availability of past programs in the future | |
WO2003043318A1 (en) | Program guide data selection device | |
CN1536881A (zh) | 可视频道预览向导 | |
CN1507276A (zh) | 数字电视及其频道编辑方法 | |
CN1294745C (zh) | 电子节目指南显示控制设备 | |
CN101057208A (zh) | 用于多媒体设备的触摸屏遥控装置 | |
CN1573664A (zh) | 屏幕键盘中的智能默认选择 | |
CN1536886A (zh) | 图像记录和重现装置及方法 | |
CN1332927A (zh) | 具有相关节目搜索功能的电子节目指南 | |
CN1430851A (zh) | 具有观看节目表的交互式电视应用 | |
CN1520169A (zh) | 带有翻转和浏览广告的节目指南系统 | |
CN106576194A (zh) | 电视用户界面 | |
CN1612611A (zh) | 快速电子节目指南导航 | |
CN1682533A (zh) | 视频记录器装置以及操作视频记录器装置的方法 | |
CN1732685A (zh) | 视频内容动态搜索的方法和装置 | |
MX2011002417A (es) | Sistemas y metodos para el control de graficos de caracteristicas de interfaz de usuario proporcionadas por un receptor de television. | |
CN1946161A (zh) | 图像处理装置及其控制方法 | |
JP2007180967A (ja) | 録画番組管理装置 | |
JP2008067271A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20071031 |