CN101094407B - 视频电路、视频系统及其视频处理方法 - Google Patents
视频电路、视频系统及其视频处理方法 Download PDFInfo
- Publication number
- CN101094407B CN101094407B CN 200710126493 CN200710126493A CN101094407B CN 101094407 B CN101094407 B CN 101094407B CN 200710126493 CN200710126493 CN 200710126493 CN 200710126493 A CN200710126493 A CN 200710126493A CN 101094407 B CN101094407 B CN 101094407B
- Authority
- CN
- China
- Prior art keywords
- video
- sequence
- video data
- subframe
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000005520 cutting process Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 abstract description 11
- 230000003044 adaptive effect Effects 0.000 description 70
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种视频处理系统,对视频数据应用子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列和视频数据子帧第二序列由元数据定义。该处理电路将视频数据子帧第一序列和视频数据子帧第二序列合并,生成视频数据子帧第三序列。自适应视频处理电路接收编码源视频数据、原始源视频数据、相似显示屏元数据、目标显示屏元数据和/或目标显示屏信息。自适应视频处理电路处理其输入信息生成一个或多个输出,其中包括剪裁后的元数据、编码目标显示屏视频数据、目标显示屏视频数据和数字权限管理/计费信号。
Description
技术领域
本发明涉及视频处理设备,更具体地说,涉及准备将要在视频播放器上显示的视频信息。
背景技术
影片和其它视频内容通常使用35mm胶片以16:9的纵横比拍摄。在影片进入一级市场时,将对35mm胶片进行复制然后分发给各个电影院,从而将影片卖给观众。例如,电影院通常将影片投射在“大屏幕”上以供付费观众观看,这是通过使用高流明光束透射35mm胶片来实现的。一旦影片离开“大屏幕”,便进入二级市场,通过销售包含影片的影碟或影带(例如VHS影带、DVD、高清(HD)-DVD、蓝光DVD和其它录制媒体)来将影片分发给个人观众。其它用于在二级市场中分发影片的方法,还包括通过互联网下载和通过电视网络提供商广播。
为能通过二级市场分发,35mm胶片上的内容将以每胶片帧为单位转换为原始(raw)数字视频。要想达到HD的清晰度,每个胶片帧至少需要1920×1080像素,对于一部两小时长的影片,这种原始数字视频需要大约25GB存储空间。为避免这种存储要求,通常使用编码器来编码和压缩原始数字视频,以此来显著的降低存储要求。编码标准包括例如但不限于运动图象专家组(MPEG)-1、MPEG-2、用于HD的增强型MPEG-2、MPEG-4AVC、H.261、H.263和电影和电视工程师学会(SMPTE)VC-1。
为了能够满足在电话机、个人数字助理(PDA)和其它手持设备上显示影片的要求,压缩的数字视频数据通常通过互联网下载、上传或存储到手持设备上,然后由手持设备对视频数据进行解压、解码,以便显示在手持设备的视频显示屏上,从而展示给用户。然而,这种手持设备的尺寸通常会限制其上的视频显示屏(屏幕)的尺寸。例如,手持设备上的小屏幕通常只有2英寸(5.08cm)长(对角线)。相比之下,电视机的屏幕通常为30—60英寸(76.2cm—152.4cm)(对角线测量)或更大。屏幕尺寸上的差异对观众所能感觉得到的图象质量有着较大的影响。
例如,常见的传统PDA和高端电话机屏幕有着与人眼相同的宽高比。在小屏幕上,人眼往往无法察觉细小的细节,例如文本、面部特征和远处的物体。例如,在电影院中,对于包含位于远处的演员和铁路标记的全景画面来说,观众可以轻易识别出演员的面部表情和阅读标记上的文字。在HD电视机屏幕上,观众也有可能做到这一点。但是,在转换到手持设备的小屏幕上时,由于人眼的限制,将不再可能识别面部特征和文字。
无论屏幕有多大,其清晰度不是受技术限制,就是受人眼的限制。但是,在小屏幕上,这种限制更加明显。例如,常见的传统PDA和高端电话机屏幕的宽高比为4:3,通常能够显示分辨率为320×240像素的QVGA视频。相比之下,HD电视机屏幕的宽高比通常为16:9,通常能够显示分辨率高达1920×1080像素的视频。在对HD视频进行转换、以便使其适合在像素上少很多的小屏幕上显示的过程中,像素数据将进行合并,视频细节的损失会很多。将小屏幕像素数增加至HD电视机的水平能够避免上述转换过程,但是,正如前面提到的那样,受到人眼本身的限制,视频的细节仍会损失。
通常使用视频编码转换和编辑系统将视频从一种格式和清晰度转换到另一种格式和清晰度,以便在特定的屏幕上进行回放。例如,输入这种系统的可能是DVD视频,而在转换过程之后,输出的视频将在QVGA屏幕上重新播放。转换过程中还可使用交互编辑功能来生成编辑和转换后的输出视频。为了能够支持多种不同的屏幕尺寸、清晰度和编码标准,需要生成多种输出视频流或文件。
视频通常是以“大屏幕”格式拍摄的,这种格式在供电影院观看时会收到良好的效果。因为视频随后将进行编码转换,所以“大屏幕”格式视频可能不足以支持转换到小屏幕尺寸。在这种情况下,还没有一种转换过程能够生成可供小屏幕显示的合适视频。通过本文的介绍并参考附图,与本发明技术方案相比,现有和传统方法的局限性和缺点对于本领域的技术人员来说将变得更加明显。
发明内容
本发明涉及一种装置和操作方法,在附图说明、具体实施方式和权利要求中进行了详细的描述。
根据本发明的一个方面,提供了一种视频电路,其接收编码视频,所述编码视频代表视频数据全帧序列,所述视频电路包括:
处理电路,用于对所述编码视频应用解码和子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列;
所述视频数据子帧第一序列在视频数据全帧序列中对应的区域不同于所述视频数据子帧第二序列;
所述处理电路将所述视频数据子帧第一序列和所述视频数据子帧第二序列合并,生成视频数据子帧第三序列。
在本发明所述的视频电路中,所述处理电路对所述视频数据子帧第三序列进行编码。
在本发明所述的视频电路中,所述处理电路按顺序应用所述解码和子帧处理。
在本发明所述的视频电路中,所述处理电路同时应用所述解码和子帧处理。
在本发明所述的视频电路中,所述处理电路基于子帧元数据实施所述子帧处理。
在本发明所述的视频电路中,在实施所述子帧处理之前,所述处理电路基于目标显示设备的特点剪裁所述子帧元数据。
在本发明所述的视频电路中,所述处理电路基于目标显示设备的特点剪裁所述视频数据子帧第三序列。
在本发明所述的视频电路中,所述处理电路包括数字权限管理。
在本发明所述的视频电路中,所述处理电路包括计费管理。
根据本发明的一个方面,提供了一种视频系统,其接收代表视频数据全帧序列的视频,所述视频系统包括:
处理电路,用于对所述视频应用子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列;
所述视频数据子帧第一序列由至少第一参数定义,所述视频数据子帧第二序列由至少第二参数定义,所述至少第一参数和所述至少第二参数共同组成元数据;
所述处理电路接收所述元数据,以便进行所述子帧处理;
所述处理电路将所述视频数据子帧第一序列和所述视频数据子帧第二序列合并,生成视频数据子帧第三序列。
在本发明所述的视频系统中,所述处理电路通过通信链路接收所述元数据。
在本发明所述的视频系统中,所述处理电路从可移动存储设备中接收所述元数据。
在本发明所述的视频系统中,所述元数据包括元数据文件,所述元数据文件包括至少一个视频调整参数,该参数与所述视频数据子帧第一序列中的至少一部分相关联。
在本发明所述的视频系统中,发送所述视频数据子帧第三序列以便在目标显示屏上显示。
在本发明所述的视频系统中,在执行所述子帧处理之前,所述处理电路对所述元数据进行剪裁。
在本发明所述的视频系统中,所述剪裁包括对所述视频数据子帧第三序列进行调整,以便在目标显示屏上显示。
在本发明所述的视频系统中,所述目标显示屏处于不同于所述视频系统的另一位置。
根据本发明的一个方面,提供了一种进行视频处理的方法,包括:
接收代表视频数据全帧序列的视频数据;
对所述视频数据进行子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列,所述视频数据子帧第一序列由至少第一参数定义,所述视频数据子帧第二序列由至少第二参数定义,所述至少第一参数和所述至少第二参数共同组成元数据;
将所述视频数据子帧第一序列和所述视频数据子帧第二序列合并,生成视频数据子帧第三序列。
在本发明所述的方法中,
所述视频数据子帧第一序列对应所述视频数据全帧序列中的第一区域;
所述视频数据子帧第二序列对应所述视频数据全帧序列中的第二区域;
所述第一区域不同于所述第二区域。
在本发明所述的方法中,还包括对所述视频数据进行解码。
在本发明所述的方法中,对所述视频数据的解码发生在对所述视频数据的子帧处理之前。
在本发明所述的方法中,还包括对所述视频数据子帧第三序列进行编码。
在本发明所述的方法中,还包括在对所述视频数据进行子帧处理之前,基于目标视频显示设备的特点对所述元数据进行剪裁。
在本发明所述的方法中,还包括基于目标显示设备的特点对所述视频数据子帧第三序列进行剪裁。
在本发明所述的方法中,还包括对所述视频数据、所述元数据和所述视频数据子帧第三序列其中的至少一个应用数字权限管理。
在本发明所述的方法中,还包括对所述视频数据、所述元数据和所述视频数据子帧第三序列其中的至少一个应用计费管理操作。
在本发明所述的方法中,还包括通过通信链路接收所述元数据。
在本发明所述的方法中,还包括通过可移动存储设备接收所述元数据。
在本发明所述的方法中,所述元数据包括元数据文件,所述元数据文件包括至少一个视频调整参数,该参数与所述视频数据子帧第一序列中的至少一部分相关联。
在本发明所述的方法中,还包括将所述视频数据子帧第三序列发往目标显示屏进行显示。
通过下面参考附图对本发明进行的具体描述,本发明的多个方面和优点将变得更加清晰。
附图说明
图1是依据本发明一实施例的自适应视频处理系统的结构示意图;
图2是依据本发明实施例的自适应视频处理系统和子帧元数据生成系统多个实施例的结构示意图;
图3是依据本发明一实施例的视频拍摄/子帧元数据生成系统的结构示意图;
图4是示范性原始视频帧和对应子帧的示意图;
图5是提供包含用于创建子帧的视频编辑工具的图形用户接口的视频处理系统一实施例的结构示意图;
图6是示范性原始视频帧和对应子帧的示意图;
图7是子帧序列的示范性子帧元数据的对应表;
图8是包含子帧编辑信息的示范性子帧元数据的对应表;
图9是依据本发明一实施例的视频处理电路的示意图;
图10是依据本发明一实施例的自适应视频处理电路结构及操作的示意图;
图11是依据本发明的自适应视频处理电路第一具体实施例的功能框图;
图12是依据本发明的自适应视频处理电路第二具体实施例的功能框图;
图13是依据本发明的自适应视频处理电路第三具体实施例的功能框图;
图14是依据本发明的自适应视频处理电路第四具体实施例的功能框图;
图15是依据本发明一实施例的视频处理过程的流程图。
具体实施方式
图1是依据本发明一实施例的自适应视频处理系统的结构示意图。自适应视频处理系统10包括解码器22、编码器24、元数据处理电路26、目标显示屏剪裁电路28和管理电路30。管理电路30具有与视频处理操作、数字权限管理操作和计费操作有关的功能。自适应视频处理电路10可以是硬件、软件或硬件和软件和结合。在各种实施例中,自适应视频处理电路10可以是通用微处理器、专用微处理器、数字信号处理器、应用专用集成电路或可用于执行软件指令并处理数据以便完成图1—图15中所述功能的其它数字逻辑。
自适应视频处理电路10接收一个或多个输入,生成一个或多个输出。通常,自适应视频处理电路10接收视频数据11全帧序列、元数据15和目标显示屏信息20。视频数据11全帧序列可以是编码源视频12或原始源视频14。视频数据全帧序列可能是由视频摄像机或拍摄系统所拍摄,下文将参考图3—图9进行详细描述。可直接从这种摄像机中接收视频数据11全帧序列,也可从存储器例如服务器中接收视频数据11全帧序列。
自适应视频处理电路10可通过有线或无线连接直接从摄像机接收视频数据11全帧序列,也可通过有线或无线连接从存储设备中接收视频数据11全帧序列。这种有线或无线连接可由无线局域网(WLAN)、广域网(WAN)、互联网、局域网(LAN)、卫星网、有线网相互组合或上述网络其中之一来提供。在收到视频数据11全帧序列之后,自适应视频处理电路10可将视频数据全帧序列存储在存储器中,或者需要时使用临时存储器直接对视频数据11全帧序列进行操作。
自适应视频处理电路10可能收到的第二输入为元数据15。元数据15包括相似显示屏元数据16或目标显示屏元数据18。通常,如下文将要参考图2—图9进行详细描述的那样,元数据是这样一种信息,自适应视频处理电路10用元数据来调整视频数据全帧序列,生成输出,以供在一个或多个目标视频设备上进行显示。使用元数据15来调整视频数据11全帧序列的方式将具体参考图6—图15进行详细描述。从相似显示屏元数据16和目标显示屏元数据18的名称中可以看出,自适应视频处理电路10所接收的具体元数据将发往特定的目标显示屏,或者发往一组目标显示屏。例如,相似显示屏元数据16可包括用于一组相似显示屏的特定数据。这种相似的显示屏具有相同的屏幕分辨率、相同的纵横比和/或与组中其它显示屏相同的其它特征。目标显示屏元数据18对应于目标视频播放器的特定目标显示屏。目标显示屏元数据18专门进行了剪裁,用于调整视频数据11全帧序列,以便生成目标显示屏视频。
自适应视频处理电路10可能收到的另一输入是目标显示屏信息20。目标显示屏信息20可包括目标视频播放器的目标显示屏的屏幕分辨率、目标视频播放器的目标显示屏的纵横比、目标视频播放器的目标显示屏将要接收的视频数据的信息格式或目标视频播放器的目标显示屏专用的其它信息。自适应视频处理电路10可使用目标显示屏信息进一步处理视频数据全帧序列和/或元数据15,以便按照目标视频播放器的特定目标显示屏进行剪裁。
在其各种操作中,自适应视频处理电路10生成两种视频输出31、33,以及数字权限管理(DRM)/计费信号38。第一种输出31包括编码源视频12、原始源视频14和剪裁后的元数据32。编码源视频12仅流经自适应视频处理电路10,构成一个输出。同理,原始源视频14仅流经自适应视频处理电路10,构成一个输出。然而,剪裁后的元数据32是由自适应视频处理电路10对相似显示屏元数据16、目标显示屏元数据18和目标显示屏信息20中的一个或多个进行处理来生成的。剪裁后的显示屏元数据32将由具有目标显示屏的目标视频设备使用,以创建按照目标显示屏进行剪裁的视频。目标视频播放器可使用剪裁后的元数据32,结合编码源视频12和原始源视频14中的一个或多个,为目标显示设备创建显示信息。
自适应视频处理电路10生成的第二种输出是目标显示屏视频33,其中包括编码目标显示屏视频34和/或目标显示屏视频36。这些输出34和36由自适应视频处理电路10创建,以便在目标视频播放器的目标显示屏上进行显示。编码目标视频数据34和36中的每一个都是基于视频输入11、元数据15和目标显示屏信息20来创建的。编码目标显示屏视频34和目标显示屏视频36的创建方式是由自适应视频处理电路10的具体操作决定的。自适应视频处理电路10的这些具体操作将参考图11—图15进行详细描述。
在自适应视频处理电路10的一个操作实例中,自适应视频处理电路10接收编码源视频12。自适应视频处理电路10随后使用解码器22对编码源视频12进行解码。自适应视频处理电路10随后使用元数据15和/或目标显示屏信息20来操作解码源视频,生成目标显示屏视频。随后,自适应视频处理电路10使用编码器24创建编码目标显示屏视频34。编码目标显示屏视频34是专门为在目标显示屏上显示而生成的。因此,目标显示屏元数据18和/或目标显示屏信息20用于处理未编码源视频,按照特定目标视频设备及其对应的目标显示屏的需要对其进行裁减,生成目标显示屏视频。
在自适应视频处理电路10的另一操作实例中,自适应视频处理电路10接收原始源视频14。原始源视频14包括视频数据全帧序列。自适应视频处理电路10应用元数据15和/或目标显示屏信息32来创建目标显示屏视频36。相比于创建编码目标显示屏视频34的操作,自适应视频处理电路10并未对调整后的视频进行编码,以此来生成目标显示屏视频36。
在图1自适应视频处理电路10的另一项操作中,自适应视频处理电路10接收相似显示屏元数据16,以及目标显示屏信息20。自适应视频处理电路10收到的相似显示屏元数据16并不是专门为目标视频播放器的目标显示屏生成的。因此,自适应视频处理电路10使用其元数据处理电路26,基于目标显示屏信息20来调整相似显示屏元数据16,生成剪裁后的元数据32。
在图1自适应视频处理电路10的另一项操作中,使用目标显示屏剪裁电路28来创建编码目标显示屏视频34和目标显示屏视频36之中的一个或多个。目标显示屏剪裁电路28使用目标显示屏信息20进一步调整数据帧,专门按照目标视频播放器的目标显示屏来剪裁输出33。
自适应视频处理电路10的管理电路30执行视频处理管理操作,创建目标显示屏视频33或剪裁后的元数据32。自适应视频处理电路10中的管理电路30中的数字权限电路执行其操作,不仅为进站源视频11和进站元数据15,还为输出31和33来执行数字权限管理。管理电路30的数字权限管理电路可与远端服务器或其它设备一起来确保对包含视频数据全帧的源视频的操作是经过授权的。
当用户通过自适应视频处理电路10执行操作时,管理电路30的计费操作用于对用户计费。例如,目标视频设备的用户请求自适应视频处理电路10从原始源视频14中准备目标显示屏视频36。管理电路30首先判断用户是否有权访问用来创建目标显示屏视频36的原始源视频14、元数据15和目标显示屏信息20。在通过执行数字权限管理操作确定用户有权访问源视频14之后,管理电路30启动计费操作。这些计费操作将对用户进行计费,或者通知用户将要扣除的费用。
自适应视频处理电路10可由硬件、软件或硬件和软件的组合来实现。自适应视频处理电路10可由个人计算机、服务器计算机、机顶盒或其它设备上的软件应用程序来实现。图1中自适应视频处理电路10的其它/额外的操作将参考图2—图15进行描述。
图2是依据本发明实施例的自适应视频处理系统和子帧元数据生成系统多个实施例的结构示意图。图2中描述的架构包括自适应视频处理(AVP)系统和子帧元数据生成(SMG)系统。通常,SMG系统和AVP系统可分布在通信架构中的一个、两个或多于两个的部件上。
子帧元数据生成系统100包括摄影机110和/或计算系统140。将要参考图3—图9来详细描述的摄像机110拍摄视频数据全帧原始序列。随后,计算系统140和/或摄像机110基于用户输入所指定的子帧生成元数据。这些基于用户输入所指定的子帧用于指示将使用全帧视频数据代表的画面中的哪些子部分来专门为目标视频播放器创建视频。这些目标视频播放器可包括视频播放器144、146、148和150。
图2中展示的AVG系统用于从视频数据全帧序列和元数据中创建视频数据子帧序列,其中元数据是由SMG系统生成的。拍摄系统100的AVG系统和/或SMG系统可存储在服务器152、数字计算机142或视频显示播放器144、146、148和/或150中。若元数据和源视频存储在图2中的系统中,AVP可在稍后执行。作为选择,还可在摄像机110拍摄完源视频,并且摄像机110的SMG、计算系统140和/或计算系统142的应用程序生成完元数据之后,立即执行AVP。
通信系统154包括通信架构156和/或物理介质158中的一个或多个。通信架构156支持前文参考图1描述的源视频11、元数据15、目标显示屏信息20、输出31、显示屏视频33和DRM/计费信号38的交换。如图所示,通信架构156可包括互联网和其它数据网。作为选择,可将视频数据和其它输入输出写入物理媒体158中,从而通过物理媒体158分发。可在视频出租商店中将物理媒体158出租给用户,用户将其应用到物理媒体视频播放器中。
本发明将要详述的自适应视频处理操作使用元数据和其它输入对视频数据全帧进行操作,生成目标视频数据,以便在视频播放器144、146、148和/或150上显示。用来为播放器144、146、148和150创建目标显示屏视频的视频数据11、元数据15和目标视频显示信息20可从单个源或多个源处接收。例如,在服务器152上存储元数据15,而源视频11存储在不同的地方。作为选择,源视频11、元数据15和目标显示屏信息20还可一同存储在服务器152或另一单个设备上。
本发明的自适应视频处理操作可由计算系统142、摄像机110、计算系统140、播放器144、146、148和/或150和服务器152中的一个或多个来执行。正如将要参考图10—图15所详述的那样,这些操作为特定目标视频播放器创建目标显示屏视频。
图3是依据本发明一实施例的视频拍摄/子帧元数据生成系统的结构示意图。图3中的视频拍摄/子帧元数据生成系统100包括摄像机110和SMG系统120。视频摄像机110拍摄与画面102有关的视频数据的原始全帧序列。视频摄像机110还可通过麦克风111a和111b来获取音频。视频摄像机110可将视频数据的全帧发往控制台140或交由SMG系统120执行。视频摄像机110或控制台140的SMG系统120通过用户输入设备121或123从用户处接收输入。根据用户的输入,SMG系统120在视频显示屏上显示一个或多个子帧,该视频显示屏上同样显示视频数据的全帧序列。根据从用户输入和其它信息创建的子帧,SMG系统120创建元数据15。视频拍摄/子帧元数据生成系统100的视频数据输出是一个或多个编码源视频12或原始源视频14。视频拍摄/子帧元数据生成系统100还输出元数据15,该元数据可以是相似显示屏元数据16和/或目标显示屏元数据18。视频拍摄/子帧元数据生成系统100还可输出目标显示屏信息20。
摄像机110拍摄的原始视频帧序列为画面102。画面102可以是摄像机110拍摄的任一种画面。例如,画面102可以是一大幅风景,且画面含有很多细节。此外,画面102还可以是互相对话的演员的头部照。另外,画面102还可以是狗追球的动作画面。在拍摄原始视频帧的过程中,画面102的类型通常会随时间发生变化。
在现有的视频拍摄系统中,用户操作摄像机110来拍摄画面102的原始视频帧,这些帧进行了优化,以适应“幕”格式。在本发明中,这些原始视频帧随后才会进行转换,以便最终由配有各自的视频显示屏的目标视频播放器显示出来。因为子帧元数据生成系统120会随时间拍摄不同类型的画面,对所拍摄的视频进行转换以生成用于在目标视频播放器上观看的子帧的方式也会随时间发生变化。“大屏幕”格式并不总是能够很好的转换为小屏幕类型上。因此,本发明的子帧元数据生成系统120支持这样一种原始视频帧拍摄方式,即在转换到较小格式时,这种方式可以提供高质量的视频子帧,以供显示在目标视频播放器的一个或多个视频显示屏上。
编码源视频12可使用基于离散余弦变换(DCT)的编码/压缩格式(例如MPEG-1、MPEG-2、用于HD的增强型MPEG-2、MPEG-4AVC、H.261和H.263)中的一种或几种来编码,使用运动向量来从相邻帧或场(field)构建基于帧或场的预测,这是通过通常存在的帧间或场间的运动来实现的。例如,在使用MPEG编码标准时,原始视频帧序列将被编码为由三种不同类型的帧组成的序列:“I”帧、“B”帧和“P”帧。“I”帧是帧内编码的,“P”帧和“B”帧是帧间编码的。因此,“I”帧是独立的,也就是说它们在重建过程中无需参考其它帧,而“P”帧和“B”帧是相关的,也就是说,它们需要依靠其它帧来进行重建。具体来说,P帧是从上一I帧或P帧向前预测的,B帧是从上一/下一I帧或P帧向前预测和向后预测的。IPB帧序列将使用DCT进行压缩,将“I”、“P”或“B”帧中的N×N(N通常设置为8)像素数据块转换到DCT域,以便更容易进行量化。随后对量化后的比特流应用游程编码和熵编码,生成压缩比特流,与原始的未压缩视频数据相比,压缩比特流的比特率明显降低。
图4是示范性原始视频帧和对应子帧的示意图。如图所示,视频显示屏400包含一个可视区域,其中显示了代表图3中画面102的原始视频帧序列。根据图4所示的实施例,SMG系统120还用于响应代表用户输入的其它信号,除子帧402以外,在视频显示屏400上还显示与原始视频帧序列相关联的其它子帧404和406。这些子帧402中的每一个都具有与多个目标视频显示屏其中之一相对应的纵横比和尺寸。此外,SMG系统120生成与每一个子帧402、404和406相关的元数据15。子帧元数据生成系统120所生成的与子帧402、404和406相关的元数据15使得对应的目标视频显示屏在其视频显示屏上生成对应的显示画面。在图4所示的实施例中,SMG系统120包括单个视频显示屏400,每个子帧402、404和406正是通过该显示屏显示出来的。在另一实施例中,视频处理系统生成的多个子帧中的每一个将独立地显示在对应的目标视频播放器上。
在图4所示的实施例中,在子帧组中至少有两个子帧404和406与原始视频帧序列中的单个帧相对应。因此,例如,在特定的目标视频播放器中,子帧404和406以及其中包含的相关视频信息将会在不同的时间显示在单个目标视频播放器上。在图4所示的实施例中,目标视频播放器所显示视频的第一部分展示的是子帧404中包含的狗追球的画面,而目标视频播放器所显示视频的第二部分展示的是子帧406中描述的反弹球的画面。因此,在本实施例中,目标视频播放器中在时间上相邻的视频序列是由单个原始视频帧序列生成的。
此外,在图4所示的实施例中,在子帧组中至少有两个子帧包含空间位置随原始视频帧序列变化的物体。在这种帧中,显示狗的子帧404的空间位置会随与显示反弹球的子帧406有关的原始视频帧序列变化。此外,在图4所示的实施例中,在子帧组中的两个子帧可对应于原始视频帧序列中的至少两个不同的帧。在该实施例中,子帧404和406会对应显示在视频显示屏400上的原始视频帧序列中的不同帧。在该实施例中,在第一时间段,选择子帧404以便在一段时间内显示狗的图象。此外,在该实施例中,子帧406对应不同的时间段,用于显示反弹球。在该实施例中,子帧组404和406中的至少一部分对应由原始视频帧序列所描述画面的一个子画面。所描述的序列可在整个显示屏400上显示,也可在子帧402中显示。
图5是提供包含用于创建子帧的视频编辑工具的图形用户接口(GUI)的视频处理系统一实施例的结构示意图。视频处理显示屏502上显示的是当前帧504及其子帧506。子帧506包括由用户指定的感兴趣区域内的视频数据。一旦指定了子帧506,用户便可使用通过GUI508提供给用户的一种或多种视频编辑工具来编辑子帧506。例如,如图5所示,通过点击或选择GUI508中的一种编辑工具,用户可对子帧506应用滤光镜、色彩修正、叠加或其它编辑工具。此外,GUI508还可使得用户在原始帧和/或子帧之间移动,以便观看和比较原始子帧序列和子帧序列。
图6是示范性原始视频帧和对应子帧的示意图。在图6中,第一画面602由原始视频帧606的第一序列604描述,第二画面608由原始视频帧606的第二序列610描述。因此,每个画面602和608包含原始视频帧606的各自序列604和610,通过顺序的显示原始视频帧606的各序列604和610中的每个原始视频帧606来观看。
但是,要想在小视频显示屏上显示每个画面602和608,而又不会降低观众所能感觉得到的视频质量,每个画面602和608可分割为分开显示的子画面。例如,如图6所示,在第一画面602中,存在两个子画面612和614,在第二画面608中,存在一个子画面616。如同每个画面602和608可以通过顺序显示原始视频帧606的各自序列604和610来观看一样,每个子画面612、614和616也可通过显示各自的子帧618(618a、618b和618c)序列来观看。
例如,来看原始视频帧第一序列604中的第一帧606a,用户可指定两个子帧618a和618b,每一个子帧包含代表不同子画面612和614的视频数据。假设子画面612和614连续贯穿于原始视频帧的606第一序列604之中,用户可进一步在原始视频帧606的第一序列604中随后的每个原始视频帧606a中为每个子画面612和614分别指定两个子帧618a和618b。这样便得到子帧618a第一序列620,其中包含的每个子帧618a都包含代表子画面612的视频内容;还可得到子帧618b第二序列630,其中包含的每个子帧618b都包含代表子画面614的视频内容。子帧618a和618b的各序列620和630可顺序显示。例如,按顺序交叉显示对应于第一子画面612的每个子帧618a和对应于第二子画面614序列30的每个子帧618b。通过这种方式,影片仍能保持画面602的逻辑流,并且能让观众看到画面602的细微细节。
同理,来看原始视频帧606第二序列610中的第一帧606b,用户可指定对应子画面616的子帧618c。再次假设子画面616连续贯穿于原始视频帧606第二序列610,用户可进一步在原始视频帧606第二序列610中的后续每个原始视频帧606中指定包含子画面616的子帧618c。这样便得到子帧618c序列640,其中的每个子帧618c都包含代表子画面616的视频内容。
图7是子帧序列的示范性子帧元数据的对应表。图7中展示的子帧元数据150中包含的是顺序排列的元数据700,用于指示子帧的顺序(也就是显示顺序)。例如,顺序排列的元数据700可标识子画面序列和各子画面的子帧序列。使用图7中展示的例子,顺序排列的元数据700可分成子帧元数据150的多个组720,其中每个组720对应特定的子画面。
例如,在第一个组720中,顺序排列的元数据700开始于子帧第一序列(例如序列620)中的第一子帧(例如子帧618a),其后是第一序列620中的各其它子帧。在图7中,第一序列中的第一子帧被标记为原始视频帧A的子帧A,第一序列中的最后一个子帧被标记为原始视频帧F的子帧F。在第一序列620的最后一个子帧之后,顺序排列的元数据700延续到第二个组720,其开始于子帧第二序列(例如序列630)中的第一子帧(例如子帧618b),结束于第二序列630的最后一个子帧。在图7中,第二序列中的第一子帧被标记为原始视频帧A的子帧G,第二序列中的最后一个子帧被标记为原始视频帧F的子帧L。最后一个组720开始于子帧第三序列(例如序列640)的第一子帧(例如子帧618c),结束于第三序列640中的最后一个子帧。在图7中,第三序列中的第一子帧被标记为原始视频帧G的子帧M,第三序列中的最后一个子帧被标记为原始视频帧I的子帧P。
每个组720中包含的是该组720中每一个单独子帧的子帧元数据。例如第一个组720包括子帧第一序列620中每个子帧的子帧元数据150。在一个示范性实施例中,子帧元数据150可组成其中包含一定数量的条目710的元数据文本文件。元数据文本文件中的每个条目710包括该特定子帧的子帧元数据150。因此,元数据文本文件中的每个条目710包含标识与该元数据相关联的特定子帧的子帧标识符,并引用原始视频帧序列中的一个帧。
编辑信息包括但不限于,摇摄方向(pan direction)和摇摄率(pan rate)、缩放率、对比度调整、亮度调整、滤光镜参数和视频效果参数。具体来说,与子帧相关联,存在几种类型可以应用的编辑信息,它们与下列内容有关:a)视觉调整,例如亮度、滤光、视频效果、对比度和色彩调整;b)运动信息,例如摇摄、加速、速率、子帧在原始帧序列上的移动方向;c)尺寸调整信息,例如子帧在原始帧序列上的缩放(包括放大、缩小和缩放比例);d)与原始视频数据落入子帧中的那些部分相关联、合并或被其叠加的任何类型的补充媒介(例如叠加的文本或图形或补充的音频)。
图8是包含子帧编辑信息的示范性子帧元数据的对应表。子帧元数据包括元数据报头802。元数据报头802包括元数据(MD)参数、数字权限管理(DRM)参数和计费管理参数。元数据参数包括与该元数据有关的信息,如创建日期、过期日期、创建者标识、目标视频设备种类(category/categories)、目标视频设备类别(class/classes)、源视频信息和通常与所有元数据有关的其它信息。元数据报头802中的数字权限管理部分包括用于判断子帧元数据是否可用以及将该子帧元数据可用到何种程度的信息。元数据报头802中的计费管理参数包括在元数据开始使用时用于启动计费操作的信息。
子帧元数据包含在子帧文本文件的条目804中。每个子帧的子帧元数据150包括子帧常规信息806,例如分配给该子帧的子帧标识符(SF ID)、与从中提取除该子帧的原始视频帧相关联的信息(OF ID、OF计数、播放偏移量)、子帧位置和尺寸(SF位置、SF尺寸)以及将要显示该子帧的显示屏的纵横比(SF比)。此外,如图8所示,特定子帧的子帧信息804可包括用于编辑该子帧的编辑信息806。图8中所示的编辑信息806的例子包括摇摄方向和摇摄率、缩放比例、色彩调整、滤光镜参数、对图像或视频序列的补充以及其它视频效果和相关参数。
图9是依据本发明一实施例的视频处理电路的示意图。视频处理电路900支持前面参考图1一图8描述的本发明SMG或AVP系统。视频处理电路900包括处理电路910和本地存储器930,二者共同存储和执行软件指令并处理数据。处理电路910可以是微处理器、数字信号处理器、应用专用集成电路或能够用于处理数据和执行软件操作的其它类型的电路。本地存储器930是随机访问存储器、只读存储器、硬盘驱动器、光驱和/或能够存储数据和软件程序的其它存储器中的一种或多种。
视频处理电路900还包括显示屏接口920、一个或多个用户接口917、一个或多个输出接口980和视频摄像机/摄像机接口990。在执行SMG系统时,视频处理电路900包括摄像机和/或视频摄像机接口。视频处理电路900接收视频数据全帧序列。若视频处理电路900中包含视频摄像机,则由视频摄像机拍摄视频数据全帧序列。视频数据全帧序列作为原始视频帧115存储在本地存储器930中。显示屏接口920连接到一个或多个显示屏,这些显示屏由视频处理电路900直接服务。用户输入接口917连接到一个或多个用户输入设备,例如键盘、鼠标或其它用户输入设备。通信接口980可连接到数据网络、DVD刻录机或可将信息发往视频处理电路900和从视频处理电路900中读取信息的其它通信链路。
本地存储器930存储有可由处理电路910执行的操作系统940。同理,本地存储器930存储有用于实现SMG功能和/或AVP功能950的软件指令。当处理电路910执行SMG和/或AVP软件指令950后,视频处理电路900就可执行SMG功能和/或AVP功能的操作。
视频处理电路900还可在子帧元数据150生成过程中或者生成完成之后对其进行存储。当视频处理电路900执行SMG系统时,视频处理电路900创建元数据15,并将其作为子帧元数据150存储在本地存储器中。视频处理电路900执行AVP系统,视频处理电路900可通过通信接口980接收子帧元数据15,以便将其用于处理同样通过通信接口980收到的源视频11。视频处理电路900还在本地存储器930中存储有执行后便可实现编码器和/或解码器操作960的软件指令。视频处理电路900执行SMG和/或AVP系统的方式参考图1—图8以及图10—图15进行介绍。
现在来看图1、3、4和9,在一项具体操作过程中,处理电路910在编码视频14上应用解码和子帧处理操作,同时生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列在视频数据全帧序列中对应的区域不同于视频数据子帧第二序列。此外,处理电路910将视频数据子帧第一序列和视频数据子帧第二序列合并,生成视频数据子帧第三序列。
处理电路910可对视频数据子帧第三序列进行编码。处理电路910可顺次和/或同时应用解码和子帧处理操作。处理电路可根据子帧元数据15来实施子帧处理。处理电路910可基于目标显示设备的特点来剪裁子帧元数据,然后实施子帧处理。处理电路910可基于目标视频设备的特点来剪裁视频数据子帧第三序列。
根据另一项操作,处理电路910对视频应用子帧处理操作,生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列由至少第一参数来定义,视频数据子帧第二序列由至少第二参数来定义。所述至少第一参数和至少第二参数共同构成元数据。处理电路910接收元数据,进行子帧处理,将视频数据子帧第一序列和视频数据子帧第二序列合并,生成视频数据子帧第三序列。视频数据子帧第三序列将发往目标显示屏显示。在执行子帧处理之前,处理电路910可先对元数据进行剪裁。处理电路910还可对视频数据子帧第三序列进行修改,以便在目标显示屏上显示。
图10是依据本发明一实施例的自适应视频处理电路结构及操作的示意图。图中展示了自适应处理电路1000的一种具体实现方式。自适应处理电路1000包括解码器1002、元数据处理电路1004、元数据剪裁电路1006和管理电路1008。自适应处理电路1000还可包括目标显示屏剪裁电路1010和编码器1012。自适应处理电路1000接收原始源视频16、编码源视频14、相似显示屏元数据16和/或目标显示屏信息20。
自适应处理电路1000的解码器1002接收编码源视频14,对其进行解码,生成原始视频。作为选择,自适应处理电路接收的原始源视频16将作为原始视频直接提供给自适应处理电路1000。元数据剪裁电路1006接收相似显示屏元数据16,管理电路接收目标显示屏信息20。
在其操作过程中,元数据处理电路1004对原始视频和元数据15进行操作,生成输出发往目标显示屏剪裁电路1010。元数据剪裁电路1006接收相似显示屏元数据16,基于从管理电路1008收到的接口数据,生成剪裁后的元数据32。管理电路1008接收目标显示屏信息20,生成输出,发往元数据剪裁电路1006、解码器1002、元数据处理电路1004和目标显示屏剪裁电路1010中的一个或多个。元数据处理电路1004基于从元数据剪裁电路1006收到的剪裁后的元数据32处理原始视频,生成输出,该输出将进一步由目标显示屏剪裁电路1010进行剪裁,生成目标显示屏视频36。目标显示屏视频36可由编码器1012编码,生成编码目标显示屏视频34。
图10中自适应处理电路1000的每个部件都可基于其收到的任意或所有输入来执行操作。例如,解码器1002可基于从管理电路1008收到的信息剪裁其操作,对编码源视频14进行编码。这一操作可基于目标显示屏信息20来进行。此外,元数据剪裁电路1006可基于从管理电路1008收到的信息,修改相似显示屏元数据16,生成剪裁后的元数据32。元数据剪裁电路1006从管理电路1008收到的信息是基于目标显示屏信息20的。相似显示屏元数据16可对应具有相似特性的一组或一类目标显示屏。但是,自适应处理电路1000生成对应特定目标显示屏的剪裁后的元数据32。因此,元数据剪裁电路1006基于目标显示屏信息20和由管理电路1008生成的相关信息来修改相似显示屏元数据16,生成剪裁后的元数据32。
元数据处理电路1004可基于相似显示屏元数据16来修改原始视频,生成显示屏视频。作为选择,元数据处理电路1004基于剪裁后的元数据32处理原始视频,生成输出。但是,元数据处理电路1004还可以不生成最终形式的显示屏视频。因此,目标显示屏剪裁电路1010可使用管理电路1008提供给他的其它信息(基于目标显示屏信息20)进一步剪裁显示屏视频,生成目标显示屏视频36。目标显示屏剪裁电路1010执行的剪裁还表现在编码器1012生成的编码目标显示屏视频34中。
图11是依据本发明的自适应视频处理电路第一具体实施例的功能框图。在本实施例中,解码器1102接收编码源视频12,生成未编码视频1104。元数据处理电路1106接收未编码视频1104或原始源视频14。基于目标显示屏元数据18,元数据处理电路1106处理原始源视频14和/或未编码视频1104,生成输出视频数据。元数据处理电路1106还可从目标显示屏元数据剪裁电路1112接收输入。目标显示屏元数据剪裁电路1112接收相似显示屏元数据16和目标显示屏信息20。基于相似显示屏元数据16和目标显示屏信息20,目标显示屏元数据剪裁电路1112生成剪裁后的元数据32。因此,元数据处理电路1106使用目标显示屏元数据18和/或剪裁后的元数据32来处理其输入视频,生成输出。
对于目标视频播放器的目标显示屏而言,元数据处理电路1106的输出所接受的处理可能并不充分。因此,补充目标显示屏剪裁电路1108接收元数据处理电路1106的输出,基于目标显示屏信息20进一步处理输入视频,生成目标显示屏视频36。目标显示屏视频36是专门按照目标视频播放器的目标显示屏进行剪裁的。编码器1110也从补充目标显示屏剪裁电路1108接收输出,对输出进行编码,生成编码目标显示屏视频34。编码目标显示屏视频34是遵循目标视频播放器可接收的视频数据的格式进行编码的。目标视频播放器接收编码目标视频34,基于这种视频34在其显示屏上显示视频画面。
图12是依据本发明的自适应视频处理电路第二具体实施例的功能框图。与图11中的结构相比,集成的解码和元数据处理电路1202接收编码源视频12、原始源视频14、目标显示屏元数据18,并从目标显示屏元数据剪裁电路1208接收剪裁后的元数据32。目标显示屏元数据剪裁电路1208基于相似显示屏元数据16和目标显示屏信息20生成剪裁后的元数据32。
集成的解码和元数据处理电路1202对其输入进行处理,生成作为输出的显示屏视频。在任意时刻,发往集成的解码和元数据处理电路1202的所有输入并不同时出现。例如,若出现编码源视频12,则集成的解码和元数据处理电路1202对编码源视频12进行解码,然后使用目标显示屏元数据18和/或剪裁后的元数据32对未编码源视频进行处理,生成视频输出。当然,当集成的解码和元数据处理电路1202接收原始源视频14时,其无需在执行元数据处理操作之前对原始源视频14进行解码。
集成的解码和元数据处理电路1202的输出将由补充目标剪裁电路1204接收。补充目标剪裁电路1204还接收目标显示屏信息20。补充目标剪裁电路1204基于目标显示屏信息20对其从集成的解码和元数据处理电路1202收到的视频数据进行处理,生成目标显示屏视频36。作为选择,补充目标剪裁电路1204生成输出并发往编码器1206,后者对输入的数据进行编码,生成编码目标显示屏视频34。目标显示屏视频36和编码目标显示屏视频34都是专门应用于目标视频播放器的特定目标显示屏的。
图13是依据本发明的自适应视频处理电路第三具体实施例的功能框图。在图13所示的结构中,集成的解码、目标剪裁和元数据处理电路1302接收编码源视频12、原始源视频14、目标显示屏元数据18、相似显示屏元数据16和目标显示屏信息20。基于其所接收的有效且存在的信号,集成的解码、目标剪裁和元数据处理电路1302执行解码操作、目标剪裁操作和元数据处理操作中的一种或多种,生成发往补充目标剪裁电路1304的视频数据和/或剪裁后的元数据32。
补充目标剪裁电路1304接收集成的解码、目标剪裁和元数据处理电路1302的输出,以及目标显示屏信息20。基于其输入数据,补充目标剪裁电路1304生成目标显示屏视频36和/或发往编码器1306的输出。编码器1306从补充目标剪裁电路1304接收输入数据,生成编码目标显示屏视频34。
图14是依据本发明的自适应视频处理电路第四具体实施例的功能框图。在图14所示的实施例中,生成的编码源视频12发往解码器1402进行解码,生成未编码视频1104。集成的目标剪裁和元数据处理电路1404接收未编码视频1104、原始源视频14、目标显示屏元数据18、相似显示屏元数据16和目标显示屏信息20。基于其输入及具体的操作模式,集成的目标剪裁和元数据处理电路1404生成输出并发往补充目标剪裁电路1406,同时还会生成剪裁后的元数据32。
补充目标剪裁电路1406接收集成的目标剪裁和元数据处理电路1404的输出,并将其作为自己的输入,同时还接收目标显示屏信息20。作为其输出,补充目标剪裁电路1406生成目标显示屏视频36,并将其发往编码器1408。编码器1408对其输入进行编码,生成编码目标显示屏视频34。目标显示屏视频36和编码目标显示屏视频34是专门应用于所选择的包含目标视频显示屏的目标视频播放器的。
图11—图14中的每个结构都可由图10中的自适应视频处理电路1000来实现。此外,图10中自适应视频处理电路1000的结构和操作以及图11—图14中的多种实施例还可通过图2中具有自适应视频处理功能的一个或多个设备来完成。因此,图11—图14中的各种操作可由一个、两个或两个以上的特定处理部件/设备来实现。将这些特定处理操作分布设置在一个、两个或多个处理部件/设备上时所采用的方式可基于处理效率、资源位置、数据位置、用户位置、服务提供商位置或其它资源位置来选择。
图15是依据本发明一实施例的视频处理过程的流程图。根据本发明,视频处理电路的操作1500开始于接收视频数据(步骤1510)。当接收的视频数据为编码格式时,视频处理电路对视频数据进行解码(步骤1512)。视频处理电路随后接收元数据(步骤1514)。该元数据可以是本文所描述的普通元数据、相似元数据或剪裁后的元数据。当收到的是相似元数据或普通元数据时,图15中的操作包括基于目标显示屏信息对元数据进行剪裁(步骤1516)。步骤1516是可选的。
随后,图15中的操作包括基于元数据对视频数据进行子帧处理(步骤1518)。随后的操作包括基于目标显示屏信息20剪裁在步骤1518生成的视频数据子帧输出序列(步骤1520)。步骤1520的操作生成剪裁后的视频数据子帧输出序列。随后,可选的,该视频数据子帧输出序列将进行编码(步骤1522)。最后,视频数据子帧序列将输出到存储器中存储、通过网络输出到目标设备或者以其它方式输出或者输出到其它位置(步骤1524)。
根据图15中展示的一个特定实施例,视频处理系统接收代表视频数据全帧序列的视频数据。视频处理系统随后对视频数据进行子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列。视频数据子帧第一序列由至少第一参数来定义,视频数据子帧第二序列由至少第二参数来定义,该至少第一参数和至少第二参数共同组成元数据。通过将视频数据子帧第一序列和视频数据子帧第二序列合并,视频处理系统随后生成视频数据子帧第三序列。
在本实施例中,视频数据子帧第一序列可对应视频数据全帧序列中的第一区域,视频数据子帧第二序列可对应视频数据全帧序列中的第二区域,其中第一区域不同于第二区域。
本领域一般技术人员知悉,此处使用的术语“通讯连接”,包括无线和有线,直接连接和通过其它的元件、组件、电路或模块的间接连接。本领域一般技术人员也知悉,推断连接(inferred coupling,例如,一个元件被推断连接到另一个元件)包括与“通讯连接”一样的方式在两个元件中的有线和无线,直接与间接连接。
以上借助于说明指定的功能和关系的方法步骤对本发明进行了描述。为了描述的方便,这些功能组成模块和方法步骤的界限和顺序在此处被专门定义。然而,只要给定的功能和关系能够适当地实现,界限和顺序的变化是允许的。任何上述变化的界限或顺序应被视为在权利要求保护的范围内。
以上还借助于说明某些重要功能的功能模块对本发明进行了描述。为了描述的方便,这些功能组成模块的界限在此处被专门定义。当这些重要的功能被适当地实现时,变化其界限是允许的。类似地,流程图模块也在此处被专门定义来说明某些重要的功能,为广泛应用,流程图模块的界限和顺序可以被另外定义,只要仍能实现这些重要功能。上述功能模块、流程图功能模块的界限及顺序的变化仍应被视为在权利要求保护范围内。
本领域技术人员也知悉此处所述的功能模块,和其它的说明性模块、模组和组件,可以如示例或由分立元件、特殊功能的集成电路、带有适当软件的处理器及类似的装置组合而成。
此外,虽然描述细节的目的是清楚和明白上述实施例,本发明并不限于这些实施例。任何本领域技术人员知悉的、对这些特征和实施例进行各种改变或等效替换而得的技术方案,都属于本发明的保护范围。
Claims (8)
1.一种用于接收编码视频的视频电路,所述编码视频代表视频数据全帧序列,其特征在于,所述视频电路包括:
处理电路,用于对所述编码视频应用解码和子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列;基于目标显示设备的特点剪裁用于调整视频数据全帧序列的元数据,所述子帧处理基于剪裁后的元数据;
所述视频数据子帧第一序列在视频数据全帧序列中对应的区域不同于所述视频数据子帧第二序列;
所述处理电路将所述视频数据子帧第一序列和所述视频数据子帧第二序列合并,生成视频数据子帧第三序列,并按照目标显示设备的特点来剪裁所述视频数据子帧第三序列。
2.根据权利要求1所述的视频电路,其特征在于,所述处理电路对所述视频数据子帧第三序列进行编码。
3.根据权利要求1所述的视频电路,其特征在于,所述处理电路按顺序应用所述解码和子帧处理。
4.根据权利要求1所述的视频电路,其特征在于,所述处理电路同时应用所述解码和子帧处理。
5.一种视频系统,用于接收代表视频数据全帧序列的视频,其特征在于,所述视频系统包括:
处理电路,用于对所述视频应用子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列;
所述视频数据子帧第一序列由至少第一参数定义,所述视频数据子帧第二序列由至少第二参数定义,所述至少第一参数和所述至少第二参数共同组成元数据;
所述处理电路接收所述元数据,基于目标显示设备的特点剪裁所述元数据以调整视频数据全帧序列,并基于剪裁后的元数据对所述视频数据进行所述子帧处理;
所述处理电路将所述视频数据子帧第一序列和所述视频数据子帧第二序列合并,生成视频数据子帧第三序列。
6.根据权利要求5所述的视频系统,其特征在于,所述处理电路通过通信链路接收所述元数据。
7.一种用于进行视频处理的方法,其特征在于,包括:
接收代表视频数据全帧序列的视频数据;
基于目标显示设备的特点剪裁元数据以调整视频数据全帧序列,并基于剪裁后的元数据对所述视频数据进行子帧处理,生成视频数据子帧第一序列和视频数据子帧第二序列,所述视频数据子帧第一序列由至少第一参数定义,所述视频数据子帧第二序列由至少第二参数定义,所述至少第一参数和所述至少第二参数共同组成所述元数据;
将所述视频数据子帧第一序列和所述视频数据子帧第二序列合并,生成视频数据子帧第三序列;
按照目标显示设备的特点来剪裁所述视频数据子帧第三序列。
8.根据权利要求7所述的方法,其特征在于,
所述视频数据子帧第一序列对应所述视频数据全帧序列中的第一区域;
所述视频数据子帧第二序列对应所述视频数据全帧序列中的第二区域;
所述第一区域不同于所述第二区域。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/474,032 US20070268406A1 (en) | 2006-05-22 | 2006-06-23 | Video processing system that generates sub-frame metadata |
US11/474,032 | 2006-06-23 | ||
US11/491,051 | 2006-07-20 | ||
US11/491,051 US20080007649A1 (en) | 2006-06-23 | 2006-07-20 | Adaptive video processing using sub-frame metadata |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101094407A CN101094407A (zh) | 2007-12-26 |
CN101094407B true CN101094407B (zh) | 2011-09-28 |
Family
ID=38992380
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710126493 Expired - Fee Related CN101094407B (zh) | 2006-06-23 | 2007-06-20 | 视频电路、视频系统及其视频处理方法 |
CN 200710128027 Pending CN101106704A (zh) | 2006-06-23 | 2007-06-21 | 视频摄像机、视频处理系统及其方法 |
CN 200710128026 Active CN101106717B (zh) | 2006-06-23 | 2007-06-21 | 一种视频播放器电路及视频显示方法 |
CN 200710128031 Expired - Fee Related CN101098479B (zh) | 2006-06-23 | 2007-06-22 | 处理视频数据的方法及设备 |
CN 200710128029 Pending CN101106684A (zh) | 2006-06-23 | 2007-06-22 | 视频处理设备及方法 |
Family Applications After (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710128027 Pending CN101106704A (zh) | 2006-06-23 | 2007-06-21 | 视频摄像机、视频处理系统及其方法 |
CN 200710128026 Active CN101106717B (zh) | 2006-06-23 | 2007-06-21 | 一种视频播放器电路及视频显示方法 |
CN 200710128031 Expired - Fee Related CN101098479B (zh) | 2006-06-23 | 2007-06-22 | 处理视频数据的方法及设备 |
CN 200710128029 Pending CN101106684A (zh) | 2006-06-23 | 2007-06-22 | 视频处理设备及方法 |
Country Status (1)
Country | Link |
---|---|
CN (5) | CN101094407B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5332369B2 (ja) * | 2008-07-18 | 2013-11-06 | ソニー株式会社 | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
JP5420381B2 (ja) * | 2009-11-25 | 2014-02-19 | オリンパスイメージング株式会社 | 撮影機器及びこの撮影機器に着脱可能なアクセサリ機器 |
CN102891951B (zh) * | 2011-07-22 | 2016-06-01 | 锋厚科技股份有限公司 | 影像信号传送装置、接收装置、传输系统及其方法 |
CA3105905A1 (en) * | 2018-07-27 | 2020-01-30 | Appario Global Solutions (AGS) AG | Method and system for dynamic image content replacement in a video stream |
JP7625902B2 (ja) * | 2021-03-08 | 2025-02-04 | セイコーエプソン株式会社 | 表示システム |
CN113990355A (zh) * | 2021-09-18 | 2022-01-28 | 赛因芯微(北京)电子科技有限公司 | 音频节目元数据和产生方法、电子设备及存储介质 |
CN113891105B (zh) * | 2021-09-28 | 2025-03-21 | 广州繁星互娱信息科技有限公司 | 画面显示方法和装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010047517A1 (en) * | 2000-02-10 | 2001-11-29 | Charilaos Christopoulos | Method and apparatus for intelligent transcoding of multimedia data |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
JP2005531971A (ja) * | 2002-07-01 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ信号処理システム |
EP1559275A1 (en) * | 2002-11-01 | 2005-08-03 | Nokia Corporation | A method and device for transcoding images |
CN1595946A (zh) * | 2004-06-23 | 2005-03-16 | 深圳市彩秀科技有限公司 | 将网站图片发至手机的方法 |
-
2007
- 2007-06-20 CN CN 200710126493 patent/CN101094407B/zh not_active Expired - Fee Related
- 2007-06-21 CN CN 200710128027 patent/CN101106704A/zh active Pending
- 2007-06-21 CN CN 200710128026 patent/CN101106717B/zh active Active
- 2007-06-22 CN CN 200710128031 patent/CN101098479B/zh not_active Expired - Fee Related
- 2007-06-22 CN CN 200710128029 patent/CN101106684A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010047517A1 (en) * | 2000-02-10 | 2001-11-29 | Charilaos Christopoulos | Method and apparatus for intelligent transcoding of multimedia data |
Non-Patent Citations (2)
Title |
---|
JP平3-135673A 1991.06.10 |
同上. |
Also Published As
Publication number | Publication date |
---|---|
CN101106717A (zh) | 2008-01-16 |
CN101106704A (zh) | 2008-01-16 |
CN101098479A (zh) | 2008-01-02 |
CN101094407A (zh) | 2007-12-26 |
CN101106684A (zh) | 2008-01-16 |
CN101106717B (zh) | 2013-03-20 |
CN101098479B (zh) | 2010-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100909440B1 (ko) | 서브-프레임 메타데이터 분배 서버 | |
KR100904649B1 (ko) | 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어 | |
KR100906957B1 (ko) | 서브-프레임 메타데이터를 이용한 적응 비디오 프로세싱 | |
KR100912599B1 (ko) | 풀 프레임 비디오 및 서브-프레임 메타데이터를 저장하는이동가능한 미디어의 프로세싱 | |
TWI477143B (zh) | 視頻攝像機、視頻處理系統及其方法 | |
CN101094407B (zh) | 视频电路、视频系统及其视频处理方法 | |
KR100915367B1 (ko) | 서브-프레임 메타데이터를 생성하는 영상 처리 시스템 | |
CN1372759A (zh) | 用于客户机顶设备储存应用的转码 | |
Van Tassel | Digital TV over broadband: Harvesting bandwidth | |
Alforova et al. | Impact of digital technologies on the development of modern film production and television | |
Beach et al. | Video compression handbook | |
CN100587793C (zh) | 视频处理方法、电路和系统 | |
Browne | High Definition Postproduction: Editing and Delivering HD Video | |
Ochiva | Entertainment technologies: past, present and future | |
Thompson | Investigations With Prototype Workflows and Specialist Cameras for Wider Target Platform Coverage Reduced Complexity and Universal Distribution | |
Thompson | Travails with My Camera: Investigations with Prototype Workflows and Specialist Cameras for Wider Target Platform Coverage, Reduced Complexity, and Universal Distribution | |
Fair | The impact of digital technology upon the filmmaking production process | |
Danielsen | MPEG-4 for DTV | |
Hurt et al. | Vodcasting for Everyone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1115703 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1115703 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110928 Termination date: 20170620 |