CN101715047B - 超高分辨率视频处理设备和方法 - Google Patents
超高分辨率视频处理设备和方法 Download PDFInfo
- Publication number
- CN101715047B CN101715047B CN200910174136.3A CN200910174136A CN101715047B CN 101715047 B CN101715047 B CN 101715047B CN 200910174136 A CN200910174136 A CN 200910174136A CN 101715047 B CN101715047 B CN 101715047B
- Authority
- CN
- China
- Prior art keywords
- zoning
- pixel data
- video
- data
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
- H04N7/0152—High-definition television systems using spatial or temporal subsampling
- H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
- H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本发明提供了一种超高分辨率视频处理设备和方法。该视频处理设备划分视频数据,然后在处理划分的视频数据的当前划分区域时,通过参照在相邻的划分区域中的像素来处理当前划分区域,从而在随后合并处理后的划分区域时,使沿划分区域之间的边界的伪像产生最少化。
Description
本申请要求于2008年10月8日在韩国知识产权局提交的第10-2008-0098841号韩国专利申请的权益,通过引用将该申请的公开包含于此。
技术领域
一个或多个实施例涉及处理视频数据,更具体地说,涉及通过划分视频数据来处理视频数据以及参照在相邻的划分区域中的像素来处理划分的视频数据。参照在相邻的划分区域中的视频数据来处理的划分的视频数据可使伪像(artifact)产生最少化。
背景技术
随着数字电影视频处理(Digital Cinema video processing)及紧随其后的用于1920×1080的全高清(Full High Definition,HD)的处理技术的发展,已经进行了用于处理更高分辨率视频(如超高分辨率视频)的技术的开发。当实时处理这种超高分辨率视频时,应该将处理大量数据所需要的更高的时钟速度与在系统中产生的热、电耗等问题一起考虑。具体地讲,在超高分辨率视频(如4096×2160数字电影视频或3840×2160超高清(UHD)视频)的处理过程中,目前需要具有用于将大量的视频数据传输到显示装置以更好地容纳大数据量的大带宽容量的接口。例如,对于数字电影,需要具有4096像素×2160像素×60Hz=530MHz的带宽的接口。
因此,在处理超高分辨率视频的过程中,在处理之前对这种超高分辨率视频进行划分以提高处理速度。
在此,视频的划分部分中的每个划分部分均可被视为独立的视频并可作为独立的视频被处理,例如,它们可被并行处理。在并行处理之后,可将视频的划分部分合并然后显示。
然而,因为可将视频的划分部分作为独立的视频处理,所以在将视频的划分部分合并或连续显示时,沿视频的划分部分之间的边界区域(即,视频的这些划分部分的合并处)会产生伪像。例如,单个视频的处理和显示将不导致这样的伪像产生,然而,当合并并显示多个划分的视频时,会沿边界区域产生伪像。
发明内容
根据一个或多个实施例,本发明可提供一种超高分辨率视频的处理设备,所述超高分辨率视频处理设备,包括:视频划分单元,将视频数据划分成至少两个区域;视频处理单元,通过参照在划分区域的相邻区域中的像素数据来处理划分的视频数据。
根据一个或多个实施例,可提供一种超高分辨率视频处理设备,所述设备包括:视频划分单元,将视频数据划分成至少两个划分区域的视频数据;视频处理单元,处理划分的视频数据,其中,处理划分的视频数据包括:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据。
根据一个或多个实施例,提供一种超高分辨率视频处理方法,所述方法包括如下步骤:将视频数据划分成视频数据的至少两个划分区域;处理划分的视频数据:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据。
附图说明
通过结合附图,从以下的描述中,示例性实施例的这些和/或其他的方面、特征和优点将变得清楚和更加容易理解,附图中:
图1示出根据一个或多个实施例的视频处理设备的构造;
图2示出根据一个或多个实施例的沿长度方向(lengthwise direction)的视频数据的划分;
图3示出根据一个或多个实施例的视频处理方法;
图4示出根据一个或多个实施例的视频处理方法。
具体实施方式
现在,将详细地说明实施例,其示例在附图中示出,附图中相同的标号始终代表相同的元件。就此而言,本发明的实施例可以以多种不同形式实施,而且不应解释为限于这里所阐述的实施例。因此,以下仅是通过参照图来描述实施例,以解释本发明的各方面。
图1示出根据一个或多个实施例的视频处理设备100的构造。在此,贯穿下面的描述,术语设备应被认为与物理系统的元件同义,不限于单个封装或在所有的实施例中以单个对应的封装实现的所有描述的单元,而是相反,根据实施例,术语设备是开放性的,从而通过不同的元件一起实现或在不同的封装和/或位置中单独地实现。仅作为另一示例,各个设备/系统或方法也可通过一个或多个处理元件/装置来控制,或通过分布式网络来实施,注意的是,另外的和可选的实施例同样可用。
参照图1,例如,根据一个或多个实施例的视频处理设备100可包括视频划分单元110、数据存储单元120和视频处理单元130。
视频划分单元110可接收视频数据并将输入的视频数据划分成至少两个区域。
例如,视频划分单元110可基于预定方向将视频数据划分成至少两个区域。在这种实施例中,当预定方向是长度方向(例如,视频数据的时间方向(time-wise direction))时,视频划分单元110可基于长度方向将视频数据划分成至少两个区域。
在实施例中,当预定方向是高度方向(heightwise direction)时,视频划分单元110可基于高度/水平方向将视频数据划分成至少两个区域。
在另一实施例中,当预定方向是长度方向和高度方向时,视频划分单元110可沿长度方向将视频数据划分成至少两个区域,并可沿高度方向再次将视频数据划分成至少两个区域。这里,简单说明的是,所述控制方向的长度或高度划分不应解释为限制实施例,而是作为可选的划分。
在实施例中,数据存储单元120可分别存储为至少两个区域中的每个区域的像素数据,每个区域中均具有与每个对应的区域相邻区域的像素数据,即,当仅有第一划分区域和第二划分区域时,第一划分区域的存储的数据应包括第二划分区域的选择的像素数据,而且/或者第二划分区域的存储的数据应包括第一划分区域的选择的像素数据。因此,在实施例中,例如,数据存储单元120可包括用于视频数据的至少两个划分区域的N个帧缓冲器(120-1至120-n)。此外,帧缓冲器120-1至120-n中的每个帧缓冲器可分别存储相应的划分区域像素数据,并可存储与每个相应的划分区域相邻的不同划分区域的部分像素数据。
例如,图2示出根据一个或多个实施例的沿长度方向得视频数据200的划分。在此,例如,图1的视频划分单元110可接收(V×H)大小的视频数据200并沿长度方向将视频数据200划分成N个区域200-1至200-N。因而,在实施例中,第一帧缓冲器120-1可存储第一区域200-1的像素数据和第二区域200-2的与第一区域200-1相邻的部分210-2的像素数据。同样地,第二帧缓冲器120-2可存储第二区域200-2的像素数据和第一区域200-1的与第二区域200-2相邻的部分210-1的像素数据。
因此,通过参照在至少两个划分区域中的每个划分区域中的像素数据和与相邻的划分区域相应的预定量的部分像素数据,视频处理单元130可处理在至少两个划分区域之间的划分边界周围的像素数据(例如,在距划分边界限定的距离或像素/块单元内的像素数据)。
作为示例,通过基于在相邻的划分区域中的部分像素数据对在至少两个划分区域的划分边界周围的像素数据进行过滤,视频处理单元130可处理划分的视频数据。
作为另一示例,通过基于在相邻的划分区域中的部分像素数据搜索划分边界周围的块的运动矢量,视频处理单元130可处理划分的视频数据。
例如,视频处理单元130可包括可与帧缓冲器120-1至120-n中的每个帧缓冲器匹配的图像处理器,如图像处理器130-1至130-n,通过参照储存在帧缓冲器120-1至120-n中与各个图像处理器130-1至130-n匹配的每个帧缓冲器中的相邻的划分区域中的部分像素数据,视频处理单元130可利用相邻的划分区域的像素数据来处理当前划分区域的像素数据,例如,当处理当前划分区域时,帧缓冲器120-1可存储当前划分区域的像素数据和相邻的划分区域的部分像素数据。即,通过参照储存在各个帧缓冲器120-1至120-n中与各个图像处理器130-1至130-n匹配的每个帧缓冲器中的相邻的划分区域的部分像素数据,视频处理单元130可并行地处理在划分的视频数据的不同划分边界周围的像素数据。虽然已经描述了利用存储用于当前划分区域的像素数据和相邻区域的部分像素数据的当前划分区域的帧缓冲器的实施例,但是实施例不限于此,而且可做出用于相邻区域的部分像素数据的可选存储布置。
如上所述,图2示出根据一个或多个实施例的通过图1的视频划分单元110沿长度方向的划分视频数据,其中,视频划分单元110接收示例(V×H)大小的视频数据200并将视频数据200沿长度方向划分为N个区域200-1至200-N。
在上述的实施例中,数据存储单元120可将在第一区域200-1中的像素数据和与第一区域200-1相邻的第二区域200-2的像素数据的部分210-2(数量为(V×d)存储在第一帧缓冲器120-1中,其数量为(V×(H/N+d))。
同样地,数据存储单元120可将在第二区域200-2中的像素数据、与第二区域200-2相邻的第一区域200-1的像素数据的部分210-1(数量为(V×d))和与第二区域200-2相邻的第三区域200-3的像素数据的部分210-3(数量为(V×d))存储在第二帧缓冲器120-2中,其数量为(V×(H/N+2d))。
如另一示例所示,数据存储单元120可将在第N-1区域200-N-1中的像素数据、与第N-1区域200-N-1相邻的第N-2区域的像素数据的部分(数量为(V×d))和与第N-1区域200-N-1相邻的第N区域200-N的像素数据的部分(数量为(V×d))存储在第N-1帧缓冲器中,其数量为(V×(H/N+2d))。
如另一示例所示,数据存储单元120可将在第N区域200-N中的像素数据和与第N区域200-N相邻的第N-1区域200-N-1的像素数据的部分(数量为(V×d))存储在第N帧缓冲器120-n中,其数量为(V×(H/N+d))。
因此,通过参照在这种相邻区域中的部分像素数据,视频处理单元130可处理划分的视频数据的划分边界周围的像素数据,所述相邻区域中的部分像素数据存储在与N个图像处理器130-1至130-n分别匹配的帧缓冲器120-1至120-n中的每个帧缓冲器中。
作为示例,当处理在第一区域200-1中的视频数据时,通过参照与第一区域200-1相邻的第二区域200-2的像素数据的部分210-2(数量为(V×d)),视频处理单元130可处理第一区域的划分边界周围的像素数据,所述与第一区域200-1相邻的第二区域200-2的的像素数据的部分210-2(数量为(V×d))和第一区域200-1中的像素数据一起存储在第一帧缓冲器120-1中。
作为另一示例,当处理在第二区域200-2中的视频数据时,通过参照在与第二区域200-2相邻的第一区域200-1中的像素数据的部分210-1和在与第二区域200-2相邻的第三区域200-3中的像素数据的部分210-3,视频处理单元130可通过第二图像处理器130-2来处理第二区域200-2的划分边界周围的像素数据,所述在与第二区域200-2相邻的第一区域200-1中的像素数据的部分210-1和在与第二区域200-2相邻的第三区域200-3中的像素数据的部分210-3以及第二区域200-2的像素数据一起存储在第二帧缓冲器120-2中。
作为另一示例,当处理在第N-1区域200-N-1中的视频数据时,通过参照在与第N-1区域200-N-1相邻的第N-2区域中的像素数据的部分和在与第N-1区域200-N-1相邻的第N区域200-N中的像素数据的部分,视频处理单元130可通过第N-1图像处理器来处理第N-1区域200-N-1的划分边界周围的像素数据,在与第N-1区域200-N-1相邻的第N-2区域中的像素数据的部分和在与第N-1区域200-N-1相邻的第N区域200-N中的像素数据的部分以及第N-1区域200-N-1的像素数据一起存储在第N-1帧缓冲器中。
作为另一例,当处理在第N区域200-N中的视频数据时,通过参照在与第N区域200-N相邻的第N-1区域200-N-1中的像素数据的部分,视频处理单元130可通过第N图像处理器130-n来处理第N区域200-N的划分边界周围的像素数据,所述在与第N区域200-N相邻的第N-1区域200-N-1中的像素数据的部分和第N区域200-N的像素数据一起存储在第N帧缓冲器120-n中。
如上所述,视频处理设备100可通过视频划分单元110来划分(例如,超高分辨率的)视频,并参照属于其它划分区域的存储在数据存储单元120中的包括各个帧缓冲器120-1至120-n中的像素数据来处理各个划分区域。因此,在这样布置的情况下,通过包括在视频处理单元130中的图像处理器130-1至130-n,可并行地处理不同划分区域的像素数据,因此,视频处理设备100可在大量的划分区域的情况下快速地处理视频,而且在划分边界周围不出现伪像,再次注意,可选的实施例同样可用。
图3示出根据一个或多个实施例的视频处理方法。
参照图3,在操作S310中,可将视频数据划分成至少两个区域。即,在操作S310中,例如,可基于预定方向将视频数据划分成至少两个区域。在实施例中,当预定方向是长度方向时,在操作S310中,可沿长度方向将视频数据划分成至少两个区域。在另一实施例中,当预定方向是高度方向时,可沿高度方向将视频数据划分成至少两个区域。在另一实施例中,当预定方向是长度方向和高度方向时,可沿长度方向将视频数据划分成至少两个区域,再沿高度方向将视频数据划分成至少两个区域。这里,不同的预定划分方向以及它们的不同组合的其它实施例同样可用。
在操作S320中,通过参照在与正进行处理的一个划分区域相邻的划分区域中的像素数据,可处理所述划分区域的划分的视频数据。即,在操作S320中,通过参照在各个正进行处理的区域中的像素数据和相邻区域中的部分像素数据(例如,预定量),视频处理设备可处理划分区域的划分边界周围的像素数据。
因此,在实施例中,在操作S320中,可通过基于在相邻的划分区域中的部分像素数据对正进行处理的划分区域和相邻的划分区域对应的划分边界周围的像素数据进行过滤,来处理划分的视频数据。
在实施例的操作S320中,可通过基于在相邻的划分区域中的部分像素数据搜索与正进行处理的划分区域和相邻的划分区域对应的划分边界周围的一个或多个块的运动矢量,来处理划分的视频数据。
如上所述,在一个或多个实施例中,这种视频处理方法可克服在划分边界周围产生伪像,这是因为在将视频数据划分成划分区域之后,可通过参照包括在其它划分区域中的像素来处理当前进行处理的划分的视频数据。
图4示出根据一个或多个实施例的视频处理方法。在此,虽然方法实施例可与图1中示出的示例设备的顺序处理对应,但是实施例不限于此,具有不同顺序的可选的实施例同样可用。尽管如此,现将结合图1和图2简要地描述这种实施例,并省略了其中重复的描述。
参照图1、图2和图4,在操作S410中,视频处理设备100可将视频数据划分成至少两个划分区域。即,在操作S410中,视频处理设备100可通过视频划分单元110基于预定方向将输入的视频数据划分成至少两个划分区域。
例如,在实施例中,当预定方向是长度方向时,视频处理设备100可通过视频划分单元110基于长度方向将输入的视频数据划分成至少两个划分区域。如图2所示,在实施例中,当输入的视频数据是(V×H)大小的视频数据200时,视频处理单元110可通过视频处理设备100基于长度方向将视频数据200划分成N个区域200-1至200-N。
在实施例中,当预定方向是高度方向时,视频处理设备100可基于高度方向将输入的视频数据划分成至少两个划分区域。
在另一实施例中,当预定方向是高度方向和长度方向时,视频处理设备100可基于高度方向和长度方向将输入的视频数据划分成至少两个划分区域。
例如,在操作S420中视频处理设备100可通过数据存储单元120分别存储划分区域的像素数据和相邻的划分区域的部分像素数据。即,在实施例中,视频处理设备100可将划分区域的像素数据和与相邻的划分区域的边界区域对应的部分像素数据存储在数据存储单元120的各个帧缓冲器120-1至120-n中。
在实施例中,如图2所示,在操作S420中,视频处理设备100可将从视频数据200中划分的第一区域200-1的像素数据(V×H/N)和与第一划分区域200-1相邻的第二区域200-2的预定量(V×d)的像素数据的部分210-2一起存储在第一帧缓冲器120-1中,其数量为(V×(H/N+d))。
在实施例中,如图2所示的,在操作S420中,视频处理设备100可将从视频数据200中划分的第二区域200-2的像素数据(V×H/N)、与第二划分区域200-2相邻的第一区域200-1的预定量(V×d)的像素数据的部分210-1和从视频数据200中划分的与第二划分区域200-2相邻的第三区域200-3的预定量(V×d)的像素数据的部分210-3一起存储在第二帧缓冲器120-2中,其数量为(V×(H/N+2d))。
在实施例中,如图2所示的操作S420中,视频处理设备100可进一步将从视频数据200中划分的第N-1区域200-N-1的像素数据、与第N-1划分区域200-N-1相邻的第N-2区域的预定量(V×d)的部分像素数据和与第N-1区域200-N-1相邻的第N区域200-N的预定量(V×d)的部分像素数据一起存储在第N-1帧缓冲器中,其数量为(V×(H/N+2d))。
在另一实施例中,如图2所示,在操作S420中,视频处理设备100可将从视频数据200中划分的第N区域200-N的像素数据和与第N区域200-N相邻的第N-1区域200-N-1的预定量(V×d)的部分像素数据一起存储在第N帧缓冲器120-n中,其数量为(V×(H/N+d))。
例如,在操作S430中,视频处理设备100可通过参照存储在数据存储单元120中的相邻的划分区域的部分像素数据,通过视频处理单元130来处理划分的视频数据的区域。在操作S430中,视频处理设备100可通过参照存储在数据存储单元120中的相邻区域的预定量的部分像素数据来进一步处理划分区域与相邻的划分区域的划分边界周围的像素数据。
例如,在实施例中,在操作S430中,通过基于存储在数据存储单元120中的相邻的划分区域的部分像素数据对划分区域的划分边界周围的像素数据进行过滤,视频处理设备100可通过视频处理单元130来处理划分的视频数据的区域。
例如,在另一实施例中,在操作S430中,视频处理设备100可通过参照存储在数据存储单元120中的相邻的划分区域的部分像素数据搜索划分区域的划分边界周围的一个或多个块的运动矢量,通过视频处理单元130来处理划分的视频数据的区域。
如上所述,在一个或多个实施例中,因为在处理过程中将视频(例如,超高分辨率视频)数据划分成至少两个划分区域并且参照各个划分区域的像素数据和与各个划分区域相邻的划分区域的像素数据,所以视频数据处理方法可处理划分的视频数据,同时使划分的视频数据的划分边界周围的伪像产生最少化。
注意,在操作S430中,通过参照存储在数据存储单元120中所包括的各个帧缓冲器120-1至120-n中的在相邻区域中的部分像素数据,视频处理设备100可处理在划分区域中的各个像素数据,其中,帧缓冲器120-1到120-n中的每个帧缓冲器分别对应于图像处理器130-1到130-n。在操作S430中,通过参照存储在用于存取每个划分区域的像素数据且分别与图像处理器130-1到130-n对应的相同帧缓冲器120-1到120-n的部分像素数据,视频处理设备100可针对划分的视频数据的每个划分区域并行地处理每个划分区域的划分边界周围的像素数据。
在实施例中,在操作S430中,当处理第一区域200-1的视频数据时,通过参照存储在第一帧缓冲器120-1中的与第一区域200-1相邻的第二区域200-2的预定量的像素数据的部分210-2和第一区域200-1的像素数据,视频处理设备100可通过包括在视频处理单元130中的第一图像处理器130-1来处理第一区域200-1的划分边界周围的像素数据。
同样地,在实施例中,在操作S430中,当处理第二区域200-2的视频数据时,通过参照存储在第二帧缓冲器120-2中的与第二区域200-2相邻的第一区域200-1的像素数据的部分210-1和与第二区域200-2相邻的第三区域200-3的像素数据的部分210-3以及200-2的像素数据,视频处理设备100可通过包括在视频处理单元130中的第二图像处理器130-2来处理第二区域200-2的划分边界周围的像素数据。
在另一实施例中,在操作S430中,当处理第N-1区域200-N-1的视频数据时,通过参照存储在第N-1帧缓冲器中的与第N-1区域200-N-1相邻的第N-2区域中的部分像素数据和与第N-1区域200-N-1相邻的第N区域200-N中的部分像素数据以及第N-1区域200-N-1的像素数据,视频处理设备100可通过包括在视频处理单元130中的第N-1图像处理器(未示出)来处理第N-1区域200-N-1的划分边界周围的像素数据。
在另一实施例中,在操作S430中,当处理第N区域200-N的视频数据时,通过参照存储在第N帧缓冲器120-n中的与第N区域200-N相邻的第N-1区域200-N-1中的预定量的部分像素数据和第N区域200-N的像素数据,视频处理设备100可通过在视频处理单元130中的第N图像处理器130-n来处理第N区域200-N的划分边界周围的像素数据。
如上所述,在一个或多个实施例中,视频处理方法可在大量的划分区域的情况下快速地处理视频,同时使在划分区域之间的划分边界周围伪像的产生最少化,因此通过参照包括在其它划分区域中但是对于当前进行处理的划分区域可存取的像素,可并行处理划分区域。
除了上述实施例之外,也可以通过在介质(例如,计算机可读介质)中/上的计算机可读代码/指令来实现实施例,以控制至少一个处理装置来实现任何上述的实施例。介质可对应于允许存储和/或传输计算机可读代码的任何限定的、可测量的和具体的结构。
可将计算机可读代码记录在介质(如计算机可读介质)中/上,例如,计算机可读代码可包括程序指令以实现通过处理装置(如处理器或计算机)实施的多种操作。例如,介质也可包括与计算机可读代码结合的数据文件、数据结构等。计算机可读介质的实施例包括磁性介质(如硬盘、软盘和磁带)、光学介质(如CDROM盘和DVD)、磁光介质(如光盘)和被专门配置以存储并实现程序指令的硬件装置(如,只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等)。例如,计算机可读代码的示例包括(如由编译器生成的)机器代码和包含可通过计算机利用解释器来执行的高级代码的文件。介质同样可以是分布式网络,从而可以以分布式方式存储并执行计算机可读代码。此外,仅作为示例,处理元件可包括上述的处理器或计算机,可将处理元件分布和/或包括在单个装置中。
虽然已参照本发明不同的实施例具体地示出并描述了本发明的各方面,但是应该理解,这些示例性实施例仅应被视为描述性的而并非出于限制的目的。在每个实施例内所描述的特征或方面通常应被视为对其余实施例中的其它相似的特征或方面来说是可用的。
因此,尽管在另外的实施例同样可用的情况下示出和描述了一些实施例,但是本领域技术人员应该理解,在不脱离本发明的原理和精神下,可对这些实施例进行改变,本发明的范围由权利要求及其等同物限定。
Claims (14)
1.一种超高分辨率视频处理设备,所述设备包括:
视频划分单元,将视频数据划分成独立的至少两个划分区域的视频数据;
视频处理单元,处理划分的视频数据,其中,处理划分的视频数据包括:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据;
数据存储单元,包括多个帧缓冲器,其中,所述多个帧缓冲器中的第一帧缓冲器存储所述一个划分区域的像素数据和所述相邻的划分区域的选择的像素数据,所述多个帧缓冲器中的第二帧缓冲器存储所述一个划分区域的部分像素数据和所述相邻的划分区域的像素数据。
2.如权利要求1所述的设备,其中,通过参照在所述一个划分区域中的像素数据和所述相邻的划分区域的预定量的部分像素数据,所述视频处理单元处理所述一个划分区域的在所述一个划分区域和所述相邻的划分区域之间的划分边界周围的像素数据。
3.如权利要求2所述的设备,其中,通过参照所述相邻的划分区域的部分像素数据,对所述一个划分区域的划分边界周围的像素数据进行过滤,所述视频处理单元处理所述一个划分区域的划分边界周围的像素数据。
4.如权利要求2所述的设备,其中,通过参照所述相邻的划分区域搜索所述一个划分区域的划分边界周围的块的运动矢量,所述视频处理单元处理所述一个划分区域的划分边界周围的像素数据。
5.如权利要求1所述的设备,其中,所述第一帧缓冲器和所述第二帧缓冲器被包括在包括各个帧缓冲器的所述数据存储单元中,在所述数据存储单元中的帧缓冲器的数量等于所述划分的视频数据的所述至少两个划分区域的数量,每个帧缓冲器存储对应的划分区域的像素数据和另一划分区域的预定量的部分像素数据,所述另一划分区域的像素数据被存储在不同的帧缓冲器中。
6.如权利要求5所述的设备,其中,视频处理单元包括分别与对应的帧缓冲器匹配的对应的图像处理器,每个图像处理器处理所述至少两个划分区域中的选择的划分区域,并且一个图像处理器通过参照存储在所述第一帧缓冲器中的所述相邻的划分区域的选择的像素数据来处理存储在所述第一帧缓冲器中的所述一个划分区域的像素数据,另一图像处理器处理所述相邻的划分区域的像素数据。
7.如权利要求5所述的设备,其中,视频处理单元并行处理在所述至少两个划分区域中的各个划分区域之间的划分边界周围的所述各个划分区域的像素数据,对所述各个划分区域的处理均包括参照对与所述各个划分区域相邻的另一划分区域的部分像素数据。
8.一种超高分辨率视频处理方法,所述方法包括如下步骤:
将视频数据划分成视频数据的独立的至少两个划分区域;
处理划分的视频数据:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据;
将所述一个划分区域的像素数据和所述相邻的划分区域的选择的像素数据存储在数据存储单元的多个帧缓冲器中的第一帧缓冲器中;
将所述一个划分区域的部分像素数据和所述相邻的划分区域的像素数据存储在数据存储单元的多个帧缓冲器中的第二帧缓冲器中。
9.如权利要求8所述的方法,其中,通过参照在所述一个划分区域中的像素数据和所述相邻的划分区域的预定量的部分像素数据,处理所述划分的视频数据的步骤处理所述一个划分区域的在所述一个划分区域和所述相邻的划分区域之间的划分边界周围的像素数据。
10.如权利要求9所述的方法,其中,通过参照所述相邻的划分区域的部分像素数据,对所述一个划分区域的划分边界周围的像素数据进行过滤,处理所述划分的视频数据的步骤处理所述一个划分区域的划分边界周围的像素数据。
11.如权利要求9所述的方法,其中,通过参照所述相邻的划分区域搜索所述一个划分区域的划分边界周围的块的运动矢量,处理所述划分的视频数据的步骤处理所述一个划分区域的划分边界周围的像素数据。
12.如权利要求8所述的方法,所述方法还包括:将所述划分区域的每个划分区域的对应的像素数据存储在对应匹配的帧缓冲器中,包括将对应的划分区域的像素数据和另一划分区域的预定量的部分像素数据存储在每个帧缓冲器中,其中,帧缓冲器的数量等于所述划分的视频数据的所述至少两个划分区域的数量。
13.如权利要求8所述的方法,其中,处理所述划分的视频数据的步骤并行处理在所述至少两个划分区域中的各个划分区域之间的划分边界周围的所述各个划分区域的像素数据,对所述各个划分区域的处理均包括参照对与所述各个划分区域相邻的另一划分区域的部分像素数据。
14.如权利要求12所述的方法,其中,处理所述划分的视频数据的步骤还包括在各个划分区域的不同的处理操作中同时处理在各个划分区域之间的划分边界周围的像素数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080098841A KR101499498B1 (ko) | 2008-10-08 | 2008-10-08 | 초고해상도 비디오 처리 장치 및 방법 |
KR10-2008-0098841 | 2008-10-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101715047A CN101715047A (zh) | 2010-05-26 |
CN101715047B true CN101715047B (zh) | 2014-10-22 |
Family
ID=41276716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910174136.3A Active CN101715047B (zh) | 2008-10-08 | 2009-09-30 | 超高分辨率视频处理设备和方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US8666192B2 (zh) |
EP (1) | EP2175415A1 (zh) |
KR (1) | KR101499498B1 (zh) |
CN (1) | CN101715047B (zh) |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9557885B2 (en) | 2011-08-09 | 2017-01-31 | Gopro, Inc. | Digital media editing |
US9185387B2 (en) | 2012-07-03 | 2015-11-10 | Gopro, Inc. | Image blur based on 3D depth information |
KR102136848B1 (ko) | 2013-07-15 | 2020-07-22 | 삼성전자 주식회사 | 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법 |
JP2015138417A (ja) * | 2014-01-22 | 2015-07-30 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2015134537A1 (en) | 2014-03-04 | 2015-09-11 | Gopro, Inc. | Generation of video based on spherical content |
US20150281710A1 (en) * | 2014-03-31 | 2015-10-01 | Gopro, Inc. | Distributed video processing in a cloud environment |
US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
US20160026874A1 (en) | 2014-07-23 | 2016-01-28 | Gopro, Inc. | Activity identification in video |
CN104219529B (zh) * | 2014-09-02 | 2018-09-25 | 广东威创视讯科技股份有限公司 | 图像缩放方法、系统及装置 |
US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
US9679605B2 (en) | 2015-01-29 | 2017-06-13 | Gopro, Inc. | Variable playback speed template for video editing application |
WO2016187235A1 (en) | 2015-05-20 | 2016-11-24 | Gopro, Inc. | Virtual lens simulation for video and photo cropping |
US9894393B2 (en) | 2015-08-31 | 2018-02-13 | Gopro, Inc. | Video encoding for reduced streaming latency |
US10204273B2 (en) | 2015-10-20 | 2019-02-12 | Gopro, Inc. | System and method of providing recommendations of moments of interest within video clips post capture |
US9721611B2 (en) | 2015-10-20 | 2017-08-01 | Gopro, Inc. | System and method of generating video from video clips based on moments of interest within the video clips |
US9639560B1 (en) | 2015-10-22 | 2017-05-02 | Gopro, Inc. | Systems and methods that effectuate transmission of workflow between computing platforms |
US10095696B1 (en) | 2016-01-04 | 2018-10-09 | Gopro, Inc. | Systems and methods for generating recommendations of post-capture users to edit digital media content field |
US10109319B2 (en) | 2016-01-08 | 2018-10-23 | Gopro, Inc. | Digital media editing |
US9871994B1 (en) | 2016-01-19 | 2018-01-16 | Gopro, Inc. | Apparatus and methods for providing content context using session metadata |
US9787862B1 (en) | 2016-01-19 | 2017-10-10 | Gopro, Inc. | Apparatus and methods for generating content proxy |
US10078644B1 (en) | 2016-01-19 | 2018-09-18 | Gopro, Inc. | Apparatus and methods for manipulating multicamera content using content proxy |
US9812175B2 (en) | 2016-02-04 | 2017-11-07 | Gopro, Inc. | Systems and methods for annotating a video |
US10129464B1 (en) | 2016-02-18 | 2018-11-13 | Gopro, Inc. | User interface for creating composite images |
US9972066B1 (en) | 2016-03-16 | 2018-05-15 | Gopro, Inc. | Systems and methods for providing variable image projection for spherical visual content |
US10402938B1 (en) | 2016-03-31 | 2019-09-03 | Gopro, Inc. | Systems and methods for modifying image distortion (curvature) for viewing distance in post capture |
US9838731B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing with audio mixing option |
US9838730B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing |
US9794632B1 (en) | 2016-04-07 | 2017-10-17 | Gopro, Inc. | Systems and methods for synchronization based on audio track changes in video editing |
US10229719B1 (en) | 2016-05-09 | 2019-03-12 | Gopro, Inc. | Systems and methods for generating highlights for a video |
US9953679B1 (en) | 2016-05-24 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a time lapse video |
US10250894B1 (en) | 2016-06-15 | 2019-04-02 | Gopro, Inc. | Systems and methods for providing transcoded portions of a video |
US9922682B1 (en) | 2016-06-15 | 2018-03-20 | Gopro, Inc. | Systems and methods for organizing video files |
US9998769B1 (en) | 2016-06-15 | 2018-06-12 | Gopro, Inc. | Systems and methods for transcoding media files |
US9967515B1 (en) | 2016-06-15 | 2018-05-08 | Gopro, Inc. | Systems and methods for bidirectional speed ramping |
US10045120B2 (en) | 2016-06-20 | 2018-08-07 | Gopro, Inc. | Associating audio with three-dimensional objects in videos |
US10185891B1 (en) | 2016-07-08 | 2019-01-22 | Gopro, Inc. | Systems and methods for compact convolutional neural networks |
US10469909B1 (en) | 2016-07-14 | 2019-11-05 | Gopro, Inc. | Systems and methods for providing access to still images derived from a video |
US10395119B1 (en) | 2016-08-10 | 2019-08-27 | Gopro, Inc. | Systems and methods for determining activities performed during video capture |
JP6873627B2 (ja) * | 2016-08-22 | 2021-05-19 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US9953224B1 (en) | 2016-08-23 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a video summary |
US9836853B1 (en) | 2016-09-06 | 2017-12-05 | Gopro, Inc. | Three-dimensional convolutional neural networks for video highlight detection |
US10268898B1 (en) | 2016-09-21 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video via segments |
US10282632B1 (en) | 2016-09-21 | 2019-05-07 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video |
US10397415B1 (en) | 2016-09-30 | 2019-08-27 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US10044972B1 (en) | 2016-09-30 | 2018-08-07 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US11106988B2 (en) | 2016-10-06 | 2021-08-31 | Gopro, Inc. | Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle |
US10002641B1 (en) | 2016-10-17 | 2018-06-19 | Gopro, Inc. | Systems and methods for determining highlight segment sets |
US10284809B1 (en) | 2016-11-07 | 2019-05-07 | Gopro, Inc. | Systems and methods for intelligently synchronizing events in visual content with musical features in audio content |
US10262639B1 (en) | 2016-11-08 | 2019-04-16 | Gopro, Inc. | Systems and methods for detecting musical features in audio content |
US10534966B1 (en) | 2017-02-02 | 2020-01-14 | Gopro, Inc. | Systems and methods for identifying activities and/or events represented in a video |
US9916863B1 (en) | 2017-02-24 | 2018-03-13 | Gopro, Inc. | Systems and methods for editing videos based on shakiness measures |
US10339443B1 (en) | 2017-02-24 | 2019-07-02 | Gopro, Inc. | Systems and methods for processing convolutional neural network operations using textures |
US10127943B1 (en) | 2017-03-02 | 2018-11-13 | Gopro, Inc. | Systems and methods for modifying videos based on music |
US10185895B1 (en) | 2017-03-23 | 2019-01-22 | Gopro, Inc. | Systems and methods for classifying activities captured within images |
US10083718B1 (en) | 2017-03-24 | 2018-09-25 | Gopro, Inc. | Systems and methods for editing videos based on motion |
US10360663B1 (en) | 2017-04-07 | 2019-07-23 | Gopro, Inc. | Systems and methods to create a dynamic blur effect in visual content |
US10187690B1 (en) | 2017-04-24 | 2019-01-22 | Gopro, Inc. | Systems and methods to detect and correlate user responses to media content |
US10395122B1 (en) | 2017-05-12 | 2019-08-27 | Gopro, Inc. | Systems and methods for identifying moments in videos |
US10402698B1 (en) | 2017-07-10 | 2019-09-03 | Gopro, Inc. | Systems and methods for identifying interesting moments within videos |
US10614114B1 (en) | 2017-07-10 | 2020-04-07 | Gopro, Inc. | Systems and methods for creating compilations based on hierarchical clustering |
US10402656B1 (en) | 2017-07-13 | 2019-09-03 | Gopro, Inc. | Systems and methods for accelerating video analysis |
US11502003B2 (en) * | 2017-08-24 | 2022-11-15 | Semiconductor Energy Laboratory Co., Ltd. | Image processing method |
KR20210004702A (ko) | 2019-07-05 | 2021-01-13 | 삼성전자주식회사 | Ai 프로세서 및 이의 신경망 연산 수행 방법 |
US11924415B2 (en) * | 2021-05-11 | 2024-03-05 | Tencent America LLC | Method and apparatus for boundary handling in video coding |
US12262115B2 (en) | 2022-01-28 | 2025-03-25 | Gopro, Inc. | Methods and apparatus for electronic image stabilization based on a lens polynomial |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1300047A (zh) * | 1999-12-10 | 2001-06-20 | 精工爱普生株式会社 | 电光学装置及其驱动方法、图像处理电路及电子机器 |
US6356589B1 (en) * | 1999-01-28 | 2002-03-12 | International Business Machines Corporation | Sharing reference data between multiple encoders parallel encoding a sequence of video frames |
US6388711B1 (en) * | 1999-10-01 | 2002-05-14 | Lg Electronics, Inc. | Apparatus for converting format for digital television |
CN1713732A (zh) * | 2004-06-25 | 2005-12-28 | 松下电器产业株式会社 | 运动矢量检测设备和检测运动矢量的方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5870109A (en) * | 1997-06-06 | 1999-02-09 | Digital Equipment Corporation | Graphic system with read/write overlap detector |
JP2000312311A (ja) * | 1999-04-27 | 2000-11-07 | Nippon Hoso Kyokai <Nhk> | 信号処理装置 |
US7738551B2 (en) * | 2002-03-18 | 2010-06-15 | International Business Machines Corporation | System and method for processing a high definition television (HDTV) image |
JP4403396B2 (ja) | 2004-07-13 | 2010-01-27 | ソニー株式会社 | 撮像装置及び撮像素子の集積回路 |
KR100763624B1 (ko) | 2006-01-23 | 2007-10-05 | (주)컴아트시스템 | 고해상도 화면 분할장치 |
JP4027398B1 (ja) | 2006-08-24 | 2007-12-26 | 三菱電機株式会社 | 動きベクトル検出装置 |
JP2008085474A (ja) | 2006-09-26 | 2008-04-10 | Victor Co Of Japan Ltd | 画像データ処理装置 |
-
2008
- 2008-10-08 KR KR1020080098841A patent/KR101499498B1/ko active Active
-
2009
- 2009-05-27 US US12/453,935 patent/US8666192B2/en active Active
- 2009-09-21 EP EP09170798A patent/EP2175415A1/en not_active Ceased
- 2009-09-30 CN CN200910174136.3A patent/CN101715047B/zh active Active
-
2014
- 2014-01-14 US US14/154,739 patent/US9471843B2/en active Active
-
2016
- 2016-07-11 US US15/206,953 patent/US10063808B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6356589B1 (en) * | 1999-01-28 | 2002-03-12 | International Business Machines Corporation | Sharing reference data between multiple encoders parallel encoding a sequence of video frames |
US6388711B1 (en) * | 1999-10-01 | 2002-05-14 | Lg Electronics, Inc. | Apparatus for converting format for digital television |
CN1300047A (zh) * | 1999-12-10 | 2001-06-20 | 精工爱普生株式会社 | 电光学装置及其驱动方法、图像处理电路及电子机器 |
CN1713732A (zh) * | 2004-06-25 | 2005-12-28 | 松下电器产业株式会社 | 运动矢量检测设备和检测运动矢量的方法 |
Non-Patent Citations (2)
Title |
---|
Ishfaq Ahmad ,Yong He, Ming L. Liou.Video compression with parallel processing.《Parallel Computing》.2002,第28卷 |
Ishfaq Ahmad,Yong He, Ming L. Liou.Video compression with parallel processing.《Parallel Computing》.2002,第28卷 * |
Also Published As
Publication number | Publication date |
---|---|
US20140126837A1 (en) | 2014-05-08 |
US20100086216A1 (en) | 2010-04-08 |
KR20100039758A (ko) | 2010-04-16 |
KR101499498B1 (ko) | 2015-03-06 |
EP2175415A1 (en) | 2010-04-14 |
CN101715047A (zh) | 2010-05-26 |
US20160323537A1 (en) | 2016-11-03 |
US9471843B2 (en) | 2016-10-18 |
US10063808B2 (en) | 2018-08-28 |
US8666192B2 (en) | 2014-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101715047B (zh) | 超高分辨率视频处理设备和方法 | |
KR101639852B1 (ko) | 그래픽 프로세싱을 위한 픽셀 값 압축 | |
US12056591B2 (en) | Method and apparatus for processing convolution operation in neural network | |
US9769516B2 (en) | Application sharing by dynamic partitioning | |
US20140285483A1 (en) | Image processing apparatus, image processing method, and program | |
Kowalczyk et al. | Real-time implementation of contextual image processing operations for 4K video stream in Zynq ultrascale+ MPSoC | |
US20200193563A1 (en) | Image processing apparatus and method, and related circuit | |
CN106101712A (zh) | 一种视频流数据的处理方法及装置 | |
US6411652B1 (en) | Motion estimation | |
US9123278B2 (en) | Performing inline chroma downsampling with reduced power consumption | |
Akin et al. | Dynamically adaptive real-time disparity estimation hardware using iterative refinement | |
CN105427235A (zh) | 一种图像浏览方法及系统 | |
CN104618717A (zh) | 行与块的整合转换方法及其计算机可读取存储介质 | |
CN100481880C (zh) | 寻找像素中值的方法 | |
Kumar et al. | Parallel blob extraction using the multi-core Cell processor | |
TWI417810B (zh) | 影像增強方法、影像增強裝置及影像處理電路 | |
Hsia et al. | Real-time 2D to 3D image conversion algorithm and VLSI architecture for natural scene | |
Hwang et al. | Frame rate up-conversion technique using hardware-efficient motion estimator architecture for motion blur reduction of TFT-LCD | |
JP4264666B2 (ja) | 画像処理装置および方法、並びにプログラム | |
Zhang et al. | A hardware-oriented histogram of oriented gradients algorithm and its VLSI implementation | |
US8261034B1 (en) | Memory system for cascading region-based filters | |
CN112017112B (zh) | 图像处理方法、装置和系统以及计算机可读存储介质 | |
CN115297273B (zh) | 视频处理方法、装置、系统、电子设备及存储介质 | |
Shah et al. | Register array‐based sum of absolute difference processor with parallel memory system for fast motion estimation | |
CN115412760A (zh) | 视频帧图像的显示装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |