[go: up one dir, main page]

CN101715047B - 超高分辨率视频处理设备和方法 - Google Patents

超高分辨率视频处理设备和方法 Download PDF

Info

Publication number
CN101715047B
CN101715047B CN200910174136.3A CN200910174136A CN101715047B CN 101715047 B CN101715047 B CN 101715047B CN 200910174136 A CN200910174136 A CN 200910174136A CN 101715047 B CN101715047 B CN 101715047B
Authority
CN
China
Prior art keywords
zoning
pixel data
video
data
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200910174136.3A
Other languages
English (en)
Other versions
CN101715047A (zh
Inventor
李在濬
李权柱
朴斗植
任一淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101715047A publication Critical patent/CN101715047A/zh
Application granted granted Critical
Publication of CN101715047B publication Critical patent/CN101715047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • H04N7/0152High-definition television systems using spatial or temporal subsampling
    • H04N7/0155High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明提供了一种超高分辨率视频处理设备和方法。该视频处理设备划分视频数据,然后在处理划分的视频数据的当前划分区域时,通过参照在相邻的划分区域中的像素来处理当前划分区域,从而在随后合并处理后的划分区域时,使沿划分区域之间的边界的伪像产生最少化。

Description

超高分辨率视频处理设备和方法
本申请要求于2008年10月8日在韩国知识产权局提交的第10-2008-0098841号韩国专利申请的权益,通过引用将该申请的公开包含于此。
技术领域
一个或多个实施例涉及处理视频数据,更具体地说,涉及通过划分视频数据来处理视频数据以及参照在相邻的划分区域中的像素来处理划分的视频数据。参照在相邻的划分区域中的视频数据来处理的划分的视频数据可使伪像(artifact)产生最少化。
背景技术
随着数字电影视频处理(Digital Cinema video processing)及紧随其后的用于1920×1080的全高清(Full High Definition,HD)的处理技术的发展,已经进行了用于处理更高分辨率视频(如超高分辨率视频)的技术的开发。当实时处理这种超高分辨率视频时,应该将处理大量数据所需要的更高的时钟速度与在系统中产生的热、电耗等问题一起考虑。具体地讲,在超高分辨率视频(如4096×2160数字电影视频或3840×2160超高清(UHD)视频)的处理过程中,目前需要具有用于将大量的视频数据传输到显示装置以更好地容纳大数据量的大带宽容量的接口。例如,对于数字电影,需要具有4096像素×2160像素×60Hz=530MHz的带宽的接口。
因此,在处理超高分辨率视频的过程中,在处理之前对这种超高分辨率视频进行划分以提高处理速度。
在此,视频的划分部分中的每个划分部分均可被视为独立的视频并可作为独立的视频被处理,例如,它们可被并行处理。在并行处理之后,可将视频的划分部分合并然后显示。
然而,因为可将视频的划分部分作为独立的视频处理,所以在将视频的划分部分合并或连续显示时,沿视频的划分部分之间的边界区域(即,视频的这些划分部分的合并处)会产生伪像。例如,单个视频的处理和显示将不导致这样的伪像产生,然而,当合并并显示多个划分的视频时,会沿边界区域产生伪像。
发明内容
根据一个或多个实施例,本发明可提供一种超高分辨率视频的处理设备,所述超高分辨率视频处理设备,包括:视频划分单元,将视频数据划分成至少两个区域;视频处理单元,通过参照在划分区域的相邻区域中的像素数据来处理划分的视频数据。
根据一个或多个实施例,可提供一种超高分辨率视频处理设备,所述设备包括:视频划分单元,将视频数据划分成至少两个划分区域的视频数据;视频处理单元,处理划分的视频数据,其中,处理划分的视频数据包括:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据。
根据一个或多个实施例,提供一种超高分辨率视频处理方法,所述方法包括如下步骤:将视频数据划分成视频数据的至少两个划分区域;处理划分的视频数据:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据。
附图说明
通过结合附图,从以下的描述中,示例性实施例的这些和/或其他的方面、特征和优点将变得清楚和更加容易理解,附图中:
图1示出根据一个或多个实施例的视频处理设备的构造;
图2示出根据一个或多个实施例的沿长度方向(lengthwise direction)的视频数据的划分;
图3示出根据一个或多个实施例的视频处理方法;
图4示出根据一个或多个实施例的视频处理方法。
具体实施方式
现在,将详细地说明实施例,其示例在附图中示出,附图中相同的标号始终代表相同的元件。就此而言,本发明的实施例可以以多种不同形式实施,而且不应解释为限于这里所阐述的实施例。因此,以下仅是通过参照图来描述实施例,以解释本发明的各方面。
图1示出根据一个或多个实施例的视频处理设备100的构造。在此,贯穿下面的描述,术语设备应被认为与物理系统的元件同义,不限于单个封装或在所有的实施例中以单个对应的封装实现的所有描述的单元,而是相反,根据实施例,术语设备是开放性的,从而通过不同的元件一起实现或在不同的封装和/或位置中单独地实现。仅作为另一示例,各个设备/系统或方法也可通过一个或多个处理元件/装置来控制,或通过分布式网络来实施,注意的是,另外的和可选的实施例同样可用。
参照图1,例如,根据一个或多个实施例的视频处理设备100可包括视频划分单元110、数据存储单元120和视频处理单元130。
视频划分单元110可接收视频数据并将输入的视频数据划分成至少两个区域。
例如,视频划分单元110可基于预定方向将视频数据划分成至少两个区域。在这种实施例中,当预定方向是长度方向(例如,视频数据的时间方向(time-wise direction))时,视频划分单元110可基于长度方向将视频数据划分成至少两个区域。
在实施例中,当预定方向是高度方向(heightwise direction)时,视频划分单元110可基于高度/水平方向将视频数据划分成至少两个区域。
在另一实施例中,当预定方向是长度方向和高度方向时,视频划分单元110可沿长度方向将视频数据划分成至少两个区域,并可沿高度方向再次将视频数据划分成至少两个区域。这里,简单说明的是,所述控制方向的长度或高度划分不应解释为限制实施例,而是作为可选的划分。
在实施例中,数据存储单元120可分别存储为至少两个区域中的每个区域的像素数据,每个区域中均具有与每个对应的区域相邻区域的像素数据,即,当仅有第一划分区域和第二划分区域时,第一划分区域的存储的数据应包括第二划分区域的选择的像素数据,而且/或者第二划分区域的存储的数据应包括第一划分区域的选择的像素数据。因此,在实施例中,例如,数据存储单元120可包括用于视频数据的至少两个划分区域的N个帧缓冲器(120-1至120-n)。此外,帧缓冲器120-1至120-n中的每个帧缓冲器可分别存储相应的划分区域像素数据,并可存储与每个相应的划分区域相邻的不同划分区域的部分像素数据。
例如,图2示出根据一个或多个实施例的沿长度方向得视频数据200的划分。在此,例如,图1的视频划分单元110可接收(V×H)大小的视频数据200并沿长度方向将视频数据200划分成N个区域200-1至200-N。因而,在实施例中,第一帧缓冲器120-1可存储第一区域200-1的像素数据和第二区域200-2的与第一区域200-1相邻的部分210-2的像素数据。同样地,第二帧缓冲器120-2可存储第二区域200-2的像素数据和第一区域200-1的与第二区域200-2相邻的部分210-1的像素数据。
因此,通过参照在至少两个划分区域中的每个划分区域中的像素数据和与相邻的划分区域相应的预定量的部分像素数据,视频处理单元130可处理在至少两个划分区域之间的划分边界周围的像素数据(例如,在距划分边界限定的距离或像素/块单元内的像素数据)。
作为示例,通过基于在相邻的划分区域中的部分像素数据对在至少两个划分区域的划分边界周围的像素数据进行过滤,视频处理单元130可处理划分的视频数据。
作为另一示例,通过基于在相邻的划分区域中的部分像素数据搜索划分边界周围的块的运动矢量,视频处理单元130可处理划分的视频数据。
例如,视频处理单元130可包括可与帧缓冲器120-1至120-n中的每个帧缓冲器匹配的图像处理器,如图像处理器130-1至130-n,通过参照储存在帧缓冲器120-1至120-n中与各个图像处理器130-1至130-n匹配的每个帧缓冲器中的相邻的划分区域中的部分像素数据,视频处理单元130可利用相邻的划分区域的像素数据来处理当前划分区域的像素数据,例如,当处理当前划分区域时,帧缓冲器120-1可存储当前划分区域的像素数据和相邻的划分区域的部分像素数据。即,通过参照储存在各个帧缓冲器120-1至120-n中与各个图像处理器130-1至130-n匹配的每个帧缓冲器中的相邻的划分区域的部分像素数据,视频处理单元130可并行地处理在划分的视频数据的不同划分边界周围的像素数据。虽然已经描述了利用存储用于当前划分区域的像素数据和相邻区域的部分像素数据的当前划分区域的帧缓冲器的实施例,但是实施例不限于此,而且可做出用于相邻区域的部分像素数据的可选存储布置。
如上所述,图2示出根据一个或多个实施例的通过图1的视频划分单元110沿长度方向的划分视频数据,其中,视频划分单元110接收示例(V×H)大小的视频数据200并将视频数据200沿长度方向划分为N个区域200-1至200-N。
在上述的实施例中,数据存储单元120可将在第一区域200-1中的像素数据和与第一区域200-1相邻的第二区域200-2的像素数据的部分210-2(数量为(V×d)存储在第一帧缓冲器120-1中,其数量为(V×(H/N+d))。
同样地,数据存储单元120可将在第二区域200-2中的像素数据、与第二区域200-2相邻的第一区域200-1的像素数据的部分210-1(数量为(V×d))和与第二区域200-2相邻的第三区域200-3的像素数据的部分210-3(数量为(V×d))存储在第二帧缓冲器120-2中,其数量为(V×(H/N+2d))。
如另一示例所示,数据存储单元120可将在第N-1区域200-N-1中的像素数据、与第N-1区域200-N-1相邻的第N-2区域的像素数据的部分(数量为(V×d))和与第N-1区域200-N-1相邻的第N区域200-N的像素数据的部分(数量为(V×d))存储在第N-1帧缓冲器中,其数量为(V×(H/N+2d))。
如另一示例所示,数据存储单元120可将在第N区域200-N中的像素数据和与第N区域200-N相邻的第N-1区域200-N-1的像素数据的部分(数量为(V×d))存储在第N帧缓冲器120-n中,其数量为(V×(H/N+d))。
因此,通过参照在这种相邻区域中的部分像素数据,视频处理单元130可处理划分的视频数据的划分边界周围的像素数据,所述相邻区域中的部分像素数据存储在与N个图像处理器130-1至130-n分别匹配的帧缓冲器120-1至120-n中的每个帧缓冲器中。
作为示例,当处理在第一区域200-1中的视频数据时,通过参照与第一区域200-1相邻的第二区域200-2的像素数据的部分210-2(数量为(V×d)),视频处理单元130可处理第一区域的划分边界周围的像素数据,所述与第一区域200-1相邻的第二区域200-2的的像素数据的部分210-2(数量为(V×d))和第一区域200-1中的像素数据一起存储在第一帧缓冲器120-1中。
作为另一示例,当处理在第二区域200-2中的视频数据时,通过参照在与第二区域200-2相邻的第一区域200-1中的像素数据的部分210-1和在与第二区域200-2相邻的第三区域200-3中的像素数据的部分210-3,视频处理单元130可通过第二图像处理器130-2来处理第二区域200-2的划分边界周围的像素数据,所述在与第二区域200-2相邻的第一区域200-1中的像素数据的部分210-1和在与第二区域200-2相邻的第三区域200-3中的像素数据的部分210-3以及第二区域200-2的像素数据一起存储在第二帧缓冲器120-2中。
作为另一示例,当处理在第N-1区域200-N-1中的视频数据时,通过参照在与第N-1区域200-N-1相邻的第N-2区域中的像素数据的部分和在与第N-1区域200-N-1相邻的第N区域200-N中的像素数据的部分,视频处理单元130可通过第N-1图像处理器来处理第N-1区域200-N-1的划分边界周围的像素数据,在与第N-1区域200-N-1相邻的第N-2区域中的像素数据的部分和在与第N-1区域200-N-1相邻的第N区域200-N中的像素数据的部分以及第N-1区域200-N-1的像素数据一起存储在第N-1帧缓冲器中。
作为另一例,当处理在第N区域200-N中的视频数据时,通过参照在与第N区域200-N相邻的第N-1区域200-N-1中的像素数据的部分,视频处理单元130可通过第N图像处理器130-n来处理第N区域200-N的划分边界周围的像素数据,所述在与第N区域200-N相邻的第N-1区域200-N-1中的像素数据的部分和第N区域200-N的像素数据一起存储在第N帧缓冲器120-n中。
如上所述,视频处理设备100可通过视频划分单元110来划分(例如,超高分辨率的)视频,并参照属于其它划分区域的存储在数据存储单元120中的包括各个帧缓冲器120-1至120-n中的像素数据来处理各个划分区域。因此,在这样布置的情况下,通过包括在视频处理单元130中的图像处理器130-1至130-n,可并行地处理不同划分区域的像素数据,因此,视频处理设备100可在大量的划分区域的情况下快速地处理视频,而且在划分边界周围不出现伪像,再次注意,可选的实施例同样可用。
图3示出根据一个或多个实施例的视频处理方法。
参照图3,在操作S310中,可将视频数据划分成至少两个区域。即,在操作S310中,例如,可基于预定方向将视频数据划分成至少两个区域。在实施例中,当预定方向是长度方向时,在操作S310中,可沿长度方向将视频数据划分成至少两个区域。在另一实施例中,当预定方向是高度方向时,可沿高度方向将视频数据划分成至少两个区域。在另一实施例中,当预定方向是长度方向和高度方向时,可沿长度方向将视频数据划分成至少两个区域,再沿高度方向将视频数据划分成至少两个区域。这里,不同的预定划分方向以及它们的不同组合的其它实施例同样可用。
在操作S320中,通过参照在与正进行处理的一个划分区域相邻的划分区域中的像素数据,可处理所述划分区域的划分的视频数据。即,在操作S320中,通过参照在各个正进行处理的区域中的像素数据和相邻区域中的部分像素数据(例如,预定量),视频处理设备可处理划分区域的划分边界周围的像素数据。
因此,在实施例中,在操作S320中,可通过基于在相邻的划分区域中的部分像素数据对正进行处理的划分区域和相邻的划分区域对应的划分边界周围的像素数据进行过滤,来处理划分的视频数据。
在实施例的操作S320中,可通过基于在相邻的划分区域中的部分像素数据搜索与正进行处理的划分区域和相邻的划分区域对应的划分边界周围的一个或多个块的运动矢量,来处理划分的视频数据。
如上所述,在一个或多个实施例中,这种视频处理方法可克服在划分边界周围产生伪像,这是因为在将视频数据划分成划分区域之后,可通过参照包括在其它划分区域中的像素来处理当前进行处理的划分的视频数据。
图4示出根据一个或多个实施例的视频处理方法。在此,虽然方法实施例可与图1中示出的示例设备的顺序处理对应,但是实施例不限于此,具有不同顺序的可选的实施例同样可用。尽管如此,现将结合图1和图2简要地描述这种实施例,并省略了其中重复的描述。
参照图1、图2和图4,在操作S410中,视频处理设备100可将视频数据划分成至少两个划分区域。即,在操作S410中,视频处理设备100可通过视频划分单元110基于预定方向将输入的视频数据划分成至少两个划分区域。
例如,在实施例中,当预定方向是长度方向时,视频处理设备100可通过视频划分单元110基于长度方向将输入的视频数据划分成至少两个划分区域。如图2所示,在实施例中,当输入的视频数据是(V×H)大小的视频数据200时,视频处理单元110可通过视频处理设备100基于长度方向将视频数据200划分成N个区域200-1至200-N。
在实施例中,当预定方向是高度方向时,视频处理设备100可基于高度方向将输入的视频数据划分成至少两个划分区域。
在另一实施例中,当预定方向是高度方向和长度方向时,视频处理设备100可基于高度方向和长度方向将输入的视频数据划分成至少两个划分区域。
例如,在操作S420中视频处理设备100可通过数据存储单元120分别存储划分区域的像素数据和相邻的划分区域的部分像素数据。即,在实施例中,视频处理设备100可将划分区域的像素数据和与相邻的划分区域的边界区域对应的部分像素数据存储在数据存储单元120的各个帧缓冲器120-1至120-n中。
在实施例中,如图2所示,在操作S420中,视频处理设备100可将从视频数据200中划分的第一区域200-1的像素数据(V×H/N)和与第一划分区域200-1相邻的第二区域200-2的预定量(V×d)的像素数据的部分210-2一起存储在第一帧缓冲器120-1中,其数量为(V×(H/N+d))。
在实施例中,如图2所示的,在操作S420中,视频处理设备100可将从视频数据200中划分的第二区域200-2的像素数据(V×H/N)、与第二划分区域200-2相邻的第一区域200-1的预定量(V×d)的像素数据的部分210-1和从视频数据200中划分的与第二划分区域200-2相邻的第三区域200-3的预定量(V×d)的像素数据的部分210-3一起存储在第二帧缓冲器120-2中,其数量为(V×(H/N+2d))。
在实施例中,如图2所示的操作S420中,视频处理设备100可进一步将从视频数据200中划分的第N-1区域200-N-1的像素数据、与第N-1划分区域200-N-1相邻的第N-2区域的预定量(V×d)的部分像素数据和与第N-1区域200-N-1相邻的第N区域200-N的预定量(V×d)的部分像素数据一起存储在第N-1帧缓冲器中,其数量为(V×(H/N+2d))。
在另一实施例中,如图2所示,在操作S420中,视频处理设备100可将从视频数据200中划分的第N区域200-N的像素数据和与第N区域200-N相邻的第N-1区域200-N-1的预定量(V×d)的部分像素数据一起存储在第N帧缓冲器120-n中,其数量为(V×(H/N+d))。
例如,在操作S430中,视频处理设备100可通过参照存储在数据存储单元120中的相邻的划分区域的部分像素数据,通过视频处理单元130来处理划分的视频数据的区域。在操作S430中,视频处理设备100可通过参照存储在数据存储单元120中的相邻区域的预定量的部分像素数据来进一步处理划分区域与相邻的划分区域的划分边界周围的像素数据。
例如,在实施例中,在操作S430中,通过基于存储在数据存储单元120中的相邻的划分区域的部分像素数据对划分区域的划分边界周围的像素数据进行过滤,视频处理设备100可通过视频处理单元130来处理划分的视频数据的区域。
例如,在另一实施例中,在操作S430中,视频处理设备100可通过参照存储在数据存储单元120中的相邻的划分区域的部分像素数据搜索划分区域的划分边界周围的一个或多个块的运动矢量,通过视频处理单元130来处理划分的视频数据的区域。
如上所述,在一个或多个实施例中,因为在处理过程中将视频(例如,超高分辨率视频)数据划分成至少两个划分区域并且参照各个划分区域的像素数据和与各个划分区域相邻的划分区域的像素数据,所以视频数据处理方法可处理划分的视频数据,同时使划分的视频数据的划分边界周围的伪像产生最少化。
注意,在操作S430中,通过参照存储在数据存储单元120中所包括的各个帧缓冲器120-1至120-n中的在相邻区域中的部分像素数据,视频处理设备100可处理在划分区域中的各个像素数据,其中,帧缓冲器120-1到120-n中的每个帧缓冲器分别对应于图像处理器130-1到130-n。在操作S430中,通过参照存储在用于存取每个划分区域的像素数据且分别与图像处理器130-1到130-n对应的相同帧缓冲器120-1到120-n的部分像素数据,视频处理设备100可针对划分的视频数据的每个划分区域并行地处理每个划分区域的划分边界周围的像素数据。
在实施例中,在操作S430中,当处理第一区域200-1的视频数据时,通过参照存储在第一帧缓冲器120-1中的与第一区域200-1相邻的第二区域200-2的预定量的像素数据的部分210-2和第一区域200-1的像素数据,视频处理设备100可通过包括在视频处理单元130中的第一图像处理器130-1来处理第一区域200-1的划分边界周围的像素数据。
同样地,在实施例中,在操作S430中,当处理第二区域200-2的视频数据时,通过参照存储在第二帧缓冲器120-2中的与第二区域200-2相邻的第一区域200-1的像素数据的部分210-1和与第二区域200-2相邻的第三区域200-3的像素数据的部分210-3以及200-2的像素数据,视频处理设备100可通过包括在视频处理单元130中的第二图像处理器130-2来处理第二区域200-2的划分边界周围的像素数据。
在另一实施例中,在操作S430中,当处理第N-1区域200-N-1的视频数据时,通过参照存储在第N-1帧缓冲器中的与第N-1区域200-N-1相邻的第N-2区域中的部分像素数据和与第N-1区域200-N-1相邻的第N区域200-N中的部分像素数据以及第N-1区域200-N-1的像素数据,视频处理设备100可通过包括在视频处理单元130中的第N-1图像处理器(未示出)来处理第N-1区域200-N-1的划分边界周围的像素数据。
在另一实施例中,在操作S430中,当处理第N区域200-N的视频数据时,通过参照存储在第N帧缓冲器120-n中的与第N区域200-N相邻的第N-1区域200-N-1中的预定量的部分像素数据和第N区域200-N的像素数据,视频处理设备100可通过在视频处理单元130中的第N图像处理器130-n来处理第N区域200-N的划分边界周围的像素数据。
如上所述,在一个或多个实施例中,视频处理方法可在大量的划分区域的情况下快速地处理视频,同时使在划分区域之间的划分边界周围伪像的产生最少化,因此通过参照包括在其它划分区域中但是对于当前进行处理的划分区域可存取的像素,可并行处理划分区域。
除了上述实施例之外,也可以通过在介质(例如,计算机可读介质)中/上的计算机可读代码/指令来实现实施例,以控制至少一个处理装置来实现任何上述的实施例。介质可对应于允许存储和/或传输计算机可读代码的任何限定的、可测量的和具体的结构。
可将计算机可读代码记录在介质(如计算机可读介质)中/上,例如,计算机可读代码可包括程序指令以实现通过处理装置(如处理器或计算机)实施的多种操作。例如,介质也可包括与计算机可读代码结合的数据文件、数据结构等。计算机可读介质的实施例包括磁性介质(如硬盘、软盘和磁带)、光学介质(如CDROM盘和DVD)、磁光介质(如光盘)和被专门配置以存储并实现程序指令的硬件装置(如,只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等)。例如,计算机可读代码的示例包括(如由编译器生成的)机器代码和包含可通过计算机利用解释器来执行的高级代码的文件。介质同样可以是分布式网络,从而可以以分布式方式存储并执行计算机可读代码。此外,仅作为示例,处理元件可包括上述的处理器或计算机,可将处理元件分布和/或包括在单个装置中。
虽然已参照本发明不同的实施例具体地示出并描述了本发明的各方面,但是应该理解,这些示例性实施例仅应被视为描述性的而并非出于限制的目的。在每个实施例内所描述的特征或方面通常应被视为对其余实施例中的其它相似的特征或方面来说是可用的。
因此,尽管在另外的实施例同样可用的情况下示出和描述了一些实施例,但是本领域技术人员应该理解,在不脱离本发明的原理和精神下,可对这些实施例进行改变,本发明的范围由权利要求及其等同物限定。

Claims (14)

1.一种超高分辨率视频处理设备,所述设备包括:
视频划分单元,将视频数据划分成独立的至少两个划分区域的视频数据;
视频处理单元,处理划分的视频数据,其中,处理划分的视频数据包括:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据;
数据存储单元,包括多个帧缓冲器,其中,所述多个帧缓冲器中的第一帧缓冲器存储所述一个划分区域的像素数据和所述相邻的划分区域的选择的像素数据,所述多个帧缓冲器中的第二帧缓冲器存储所述一个划分区域的部分像素数据和所述相邻的划分区域的像素数据。
2.如权利要求1所述的设备,其中,通过参照在所述一个划分区域中的像素数据和所述相邻的划分区域的预定量的部分像素数据,所述视频处理单元处理所述一个划分区域的在所述一个划分区域和所述相邻的划分区域之间的划分边界周围的像素数据。
3.如权利要求2所述的设备,其中,通过参照所述相邻的划分区域的部分像素数据,对所述一个划分区域的划分边界周围的像素数据进行过滤,所述视频处理单元处理所述一个划分区域的划分边界周围的像素数据。
4.如权利要求2所述的设备,其中,通过参照所述相邻的划分区域搜索所述一个划分区域的划分边界周围的块的运动矢量,所述视频处理单元处理所述一个划分区域的划分边界周围的像素数据。
5.如权利要求1所述的设备,其中,所述第一帧缓冲器和所述第二帧缓冲器被包括在包括各个帧缓冲器的所述数据存储单元中,在所述数据存储单元中的帧缓冲器的数量等于所述划分的视频数据的所述至少两个划分区域的数量,每个帧缓冲器存储对应的划分区域的像素数据和另一划分区域的预定量的部分像素数据,所述另一划分区域的像素数据被存储在不同的帧缓冲器中。
6.如权利要求5所述的设备,其中,视频处理单元包括分别与对应的帧缓冲器匹配的对应的图像处理器,每个图像处理器处理所述至少两个划分区域中的选择的划分区域,并且一个图像处理器通过参照存储在所述第一帧缓冲器中的所述相邻的划分区域的选择的像素数据来处理存储在所述第一帧缓冲器中的所述一个划分区域的像素数据,另一图像处理器处理所述相邻的划分区域的像素数据。
7.如权利要求5所述的设备,其中,视频处理单元并行处理在所述至少两个划分区域中的各个划分区域之间的划分边界周围的所述各个划分区域的像素数据,对所述各个划分区域的处理均包括参照对与所述各个划分区域相邻的另一划分区域的部分像素数据。
8.一种超高分辨率视频处理方法,所述方法包括如下步骤:
将视频数据划分成视频数据的独立的至少两个划分区域;
处理划分的视频数据:通过参照所述至少两个划分区域中的相邻的划分区域的选择的像素数据,与处理所述相邻的划分区域的包括选择的像素数据的像素数据分开来处理所述至少两个划分区域中的一个划分区域的像素数据;
将所述一个划分区域的像素数据和所述相邻的划分区域的选择的像素数据存储在数据存储单元的多个帧缓冲器中的第一帧缓冲器中;
将所述一个划分区域的部分像素数据和所述相邻的划分区域的像素数据存储在数据存储单元的多个帧缓冲器中的第二帧缓冲器中。
9.如权利要求8所述的方法,其中,通过参照在所述一个划分区域中的像素数据和所述相邻的划分区域的预定量的部分像素数据,处理所述划分的视频数据的步骤处理所述一个划分区域的在所述一个划分区域和所述相邻的划分区域之间的划分边界周围的像素数据。
10.如权利要求9所述的方法,其中,通过参照所述相邻的划分区域的部分像素数据,对所述一个划分区域的划分边界周围的像素数据进行过滤,处理所述划分的视频数据的步骤处理所述一个划分区域的划分边界周围的像素数据。
11.如权利要求9所述的方法,其中,通过参照所述相邻的划分区域搜索所述一个划分区域的划分边界周围的块的运动矢量,处理所述划分的视频数据的步骤处理所述一个划分区域的划分边界周围的像素数据。
12.如权利要求8所述的方法,所述方法还包括:将所述划分区域的每个划分区域的对应的像素数据存储在对应匹配的帧缓冲器中,包括将对应的划分区域的像素数据和另一划分区域的预定量的部分像素数据存储在每个帧缓冲器中,其中,帧缓冲器的数量等于所述划分的视频数据的所述至少两个划分区域的数量。
13.如权利要求8所述的方法,其中,处理所述划分的视频数据的步骤并行处理在所述至少两个划分区域中的各个划分区域之间的划分边界周围的所述各个划分区域的像素数据,对所述各个划分区域的处理均包括参照对与所述各个划分区域相邻的另一划分区域的部分像素数据。
14.如权利要求12所述的方法,其中,处理所述划分的视频数据的步骤还包括在各个划分区域的不同的处理操作中同时处理在各个划分区域之间的划分边界周围的像素数据。
CN200910174136.3A 2008-10-08 2009-09-30 超高分辨率视频处理设备和方法 Active CN101715047B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080098841A KR101499498B1 (ko) 2008-10-08 2008-10-08 초고해상도 비디오 처리 장치 및 방법
KR10-2008-0098841 2008-10-08

Publications (2)

Publication Number Publication Date
CN101715047A CN101715047A (zh) 2010-05-26
CN101715047B true CN101715047B (zh) 2014-10-22

Family

ID=41276716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910174136.3A Active CN101715047B (zh) 2008-10-08 2009-09-30 超高分辨率视频处理设备和方法

Country Status (4)

Country Link
US (3) US8666192B2 (zh)
EP (1) EP2175415A1 (zh)
KR (1) KR101499498B1 (zh)
CN (1) CN101715047B (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
KR102136848B1 (ko) 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
JP2015138417A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 画像処理装置および画像処理方法
WO2015134537A1 (en) 2014-03-04 2015-09-11 Gopro, Inc. Generation of video based on spherical content
US20150281710A1 (en) * 2014-03-31 2015-10-01 Gopro, Inc. Distributed video processing in a cloud environment
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US20160026874A1 (en) 2014-07-23 2016-01-28 Gopro, Inc. Activity identification in video
CN104219529B (zh) * 2014-09-02 2018-09-25 广东威创视讯科技股份有限公司 图像缩放方法、系统及装置
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
US9894393B2 (en) 2015-08-31 2018-02-13 Gopro, Inc. Video encoding for reduced streaming latency
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US9639560B1 (en) 2015-10-22 2017-05-02 Gopro, Inc. Systems and methods that effectuate transmission of workflow between computing platforms
US10095696B1 (en) 2016-01-04 2018-10-09 Gopro, Inc. Systems and methods for generating recommendations of post-capture users to edit digital media content field
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US9871994B1 (en) 2016-01-19 2018-01-16 Gopro, Inc. Apparatus and methods for providing content context using session metadata
US9787862B1 (en) 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
US10078644B1 (en) 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
US10129464B1 (en) 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US10229719B1 (en) 2016-05-09 2019-03-12 Gopro, Inc. Systems and methods for generating highlights for a video
US9953679B1 (en) 2016-05-24 2018-04-24 Gopro, Inc. Systems and methods for generating a time lapse video
US10250894B1 (en) 2016-06-15 2019-04-02 Gopro, Inc. Systems and methods for providing transcoded portions of a video
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US9998769B1 (en) 2016-06-15 2018-06-12 Gopro, Inc. Systems and methods for transcoding media files
US9967515B1 (en) 2016-06-15 2018-05-08 Gopro, Inc. Systems and methods for bidirectional speed ramping
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US10469909B1 (en) 2016-07-14 2019-11-05 Gopro, Inc. Systems and methods for providing access to still images derived from a video
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
JP6873627B2 (ja) * 2016-08-22 2021-05-19 キヤノン株式会社 画像処理装置、画像処理方法
US9953224B1 (en) 2016-08-23 2018-04-24 Gopro, Inc. Systems and methods for generating a video summary
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10397415B1 (en) 2016-09-30 2019-08-27 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10044972B1 (en) 2016-09-30 2018-08-07 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US11106988B2 (en) 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US9916863B1 (en) 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US10360663B1 (en) 2017-04-07 2019-07-23 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
US10402656B1 (en) 2017-07-13 2019-09-03 Gopro, Inc. Systems and methods for accelerating video analysis
US11502003B2 (en) * 2017-08-24 2022-11-15 Semiconductor Energy Laboratory Co., Ltd. Image processing method
KR20210004702A (ko) 2019-07-05 2021-01-13 삼성전자주식회사 Ai 프로세서 및 이의 신경망 연산 수행 방법
US11924415B2 (en) * 2021-05-11 2024-03-05 Tencent America LLC Method and apparatus for boundary handling in video coding
US12262115B2 (en) 2022-01-28 2025-03-25 Gopro, Inc. Methods and apparatus for electronic image stabilization based on a lens polynomial

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1300047A (zh) * 1999-12-10 2001-06-20 精工爱普生株式会社 电光学装置及其驱动方法、图像处理电路及电子机器
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
US6388711B1 (en) * 1999-10-01 2002-05-14 Lg Electronics, Inc. Apparatus for converting format for digital television
CN1713732A (zh) * 2004-06-25 2005-12-28 松下电器产业株式会社 运动矢量检测设备和检测运动矢量的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870109A (en) * 1997-06-06 1999-02-09 Digital Equipment Corporation Graphic system with read/write overlap detector
JP2000312311A (ja) * 1999-04-27 2000-11-07 Nippon Hoso Kyokai <Nhk> 信号処理装置
US7738551B2 (en) * 2002-03-18 2010-06-15 International Business Machines Corporation System and method for processing a high definition television (HDTV) image
JP4403396B2 (ja) 2004-07-13 2010-01-27 ソニー株式会社 撮像装置及び撮像素子の集積回路
KR100763624B1 (ko) 2006-01-23 2007-10-05 (주)컴아트시스템 고해상도 화면 분할장치
JP4027398B1 (ja) 2006-08-24 2007-12-26 三菱電機株式会社 動きベクトル検出装置
JP2008085474A (ja) 2006-09-26 2008-04-10 Victor Co Of Japan Ltd 画像データ処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
US6388711B1 (en) * 1999-10-01 2002-05-14 Lg Electronics, Inc. Apparatus for converting format for digital television
CN1300047A (zh) * 1999-12-10 2001-06-20 精工爱普生株式会社 电光学装置及其驱动方法、图像处理电路及电子机器
CN1713732A (zh) * 2004-06-25 2005-12-28 松下电器产业株式会社 运动矢量检测设备和检测运动矢量的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ishfaq Ahmad ,Yong He, Ming L. Liou.Video compression with parallel processing.《Parallel Computing》.2002,第28卷
Ishfaq Ahmad,Yong He, Ming L. Liou.Video compression with parallel processing.《Parallel Computing》.2002,第28卷 *

Also Published As

Publication number Publication date
US20140126837A1 (en) 2014-05-08
US20100086216A1 (en) 2010-04-08
KR20100039758A (ko) 2010-04-16
KR101499498B1 (ko) 2015-03-06
EP2175415A1 (en) 2010-04-14
CN101715047A (zh) 2010-05-26
US20160323537A1 (en) 2016-11-03
US9471843B2 (en) 2016-10-18
US10063808B2 (en) 2018-08-28
US8666192B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
CN101715047B (zh) 超高分辨率视频处理设备和方法
KR101639852B1 (ko) 그래픽 프로세싱을 위한 픽셀 값 압축
US12056591B2 (en) Method and apparatus for processing convolution operation in neural network
US9769516B2 (en) Application sharing by dynamic partitioning
US20140285483A1 (en) Image processing apparatus, image processing method, and program
Kowalczyk et al. Real-time implementation of contextual image processing operations for 4K video stream in Zynq ultrascale+ MPSoC
US20200193563A1 (en) Image processing apparatus and method, and related circuit
CN106101712A (zh) 一种视频流数据的处理方法及装置
US6411652B1 (en) Motion estimation
US9123278B2 (en) Performing inline chroma downsampling with reduced power consumption
Akin et al. Dynamically adaptive real-time disparity estimation hardware using iterative refinement
CN105427235A (zh) 一种图像浏览方法及系统
CN104618717A (zh) 行与块的整合转换方法及其计算机可读取存储介质
CN100481880C (zh) 寻找像素中值的方法
Kumar et al. Parallel blob extraction using the multi-core Cell processor
TWI417810B (zh) 影像增強方法、影像增強裝置及影像處理電路
Hsia et al. Real-time 2D to 3D image conversion algorithm and VLSI architecture for natural scene
Hwang et al. Frame rate up-conversion technique using hardware-efficient motion estimator architecture for motion blur reduction of TFT-LCD
JP4264666B2 (ja) 画像処理装置および方法、並びにプログラム
Zhang et al. A hardware-oriented histogram of oriented gradients algorithm and its VLSI implementation
US8261034B1 (en) Memory system for cascading region-based filters
CN112017112B (zh) 图像处理方法、装置和系统以及计算机可读存储介质
CN115297273B (zh) 视频处理方法、装置、系统、电子设备及存储介质
Shah et al. Register array‐based sum of absolute difference processor with parallel memory system for fast motion estimation
CN115412760A (zh) 视频帧图像的显示装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant