CN114928730B

CN114928730B - 图像处理方法和图像处理装置

Info

Publication number: CN114928730B
Application number: CN202210720492.6A
Authority: CN
Inventors: 林剑森; 杨艳
Original assignee: Hunan Goke Microelectronics Co Ltd
Current assignee: Hunan Goke Microelectronics Co Ltd
Priority date: 2022-06-23
Filing date: 2022-06-23
Publication date: 2023-08-22
Anticipated expiration: 2042-06-23
Also published as: CN114928730A

Abstract

本申请提供了一种图像处理方法、处理装置和显示系统，该方法包括：获取原始YUV图像数据，原始YUV图像数据包括第一流明数据和第一色度数据；通过图像后处理功能模块分别对第一流明数据和第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，图像后处理功能模块的输入输出数据格式为预设RGB格式。该方法解决现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题。

Description

图像处理方法和图像处理装置

技术领域

本申请涉及电子电路及半导体领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和处理器。

背景技术

YUV的图像处理在嵌入式领域的图像处理中非常频繁。数字视频常以YUV格式进行编码，广泛应用于各个行业。

YUV与RGB视频信号相比,最大的优点是数据量小，因此对系统带宽的压力更小，同样的图像，YUV格式只需占用RGB格式一半甚至更少的带宽。而RGB的优势在于显示方便，目前主流的显示系统都是RGB格式输出。因此，YUV格式在图像处理方面有更大的优势。

图像处理除格式编码外，平移、旋转、缩放等图像后处理功能普遍被需要，如图1所示为常用的图像处理场景。然而，现有的主流平台如android/windows/ios等主要是基于第三方库如(OpenGL开放式图形库或openCL)完成的平移、旋转、缩放等图像后处理功能，已有的第三方库支持格式一般为RGB格式数据，很少对YUV格式数据进行直接处理，主要原因是现有软件方法或硬件(GPU)模块都是输出RGB格式。因此，若采用已有方案，在对YUV数据进行图像后处理时需要先将其转换成RGB数据后方能使用现有方案，一定程度上增加了系统额外开销且费时。

基于上述背景，亟需一种新的图像处理方法，解决在对YUV数据进行图像后处理时需要先将其转换成RGB数据现有技术出现的问题。

发明内容

本申请的主要目的在于提供一种图像处理方法、图像处理装置、计算机可读存储介质和处理器，以解决现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题。

根据本发明实施例，提供了一种图像处理方法，所述方法包括：获取原始YUV图像数据，所述原始YUV图像数据包括第一流明数据和第一色度数据；通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，所述图像后处理功能模块的输入输出数据格式为预设RGB格式。

可选地，所述图像处理装置包括原始缓存区间，所述方法包括：根据所述第一流明数据和所述第一色度数据，将所述原始缓存区间划分为第一缓存区间和第二缓存区间，所述第一缓存区间和所述第二缓存区间分别存储所述第一流明数据和所述第一色度数据。

可选地，所述图像处理装置包括两个DMA通道，所述通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据之后，所述方法还包括：通过所述两个DMA通道分别将所述第二流明数据和所述第二色度数据传输至所述第一缓存区间和所述第二缓存区间，以覆盖所述第一流明数据和所述第一色度数据。

可选地，所述分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，包括：分别获取第一流明数据和第一色度数据，根据预设图像处理方式对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，将所述第二流明数据和第二色度数据按照所述预设RGB格式输出。

可选地，所述两个DMA通道并行处理。

根据本发明实施例的又一方面，还提供了一种图像处理装置，所述图像处理装置包括：获取模块，用于获取原始YUV图像数据，所述原始YUV图像数据包括第一流明数据和第一色度数据；数据处理模块，用于通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，所述图像后处理功能模块的输入输出数据格式为预设RGB格式。

可选地，所述图像处理装置包括原始缓存区间，所述装置还包括：区间处理模块，用于根据所述第一流明数据和所述第一色度数据，将所述原始缓存区间划分为第一缓存区间和第二缓存区间，所述第一缓存区间和所述第二缓存区间分别存储所述第一流明数据和所述第一色度数据。

可选地，所述图像处理装置包括：两个DMA通道，用于分别将所述第二流明数据和所述第二色度数据传输至所述第一缓存区间和所述第二缓存区间，以覆盖所述第一流明数据和所述第一色度数据。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的方法。

根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的方法。

在本发明实施例中，上述图像处理方法中，首先，获取原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；通过图像后处理功能模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。由于对YUV格式的视频数据进行图像处理时，图像处理后输出的RGB格式的视频数据，因此需要将其转换成YUV格式的视频数据进行显示，该方法通过将上述第一流明数据和上述第一色度数据依次按照预设RGB格式输入图像后处理功能模块，输出的预设RGB格式的数据按照输入时预设RGB格式提取的顺序依次排列，即可得到YUV格式的第二流明数据和第二色度数据，从而可以直接输出显示，无需进行格式转换，保证图像处理的流畅输出，解决了现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题，主要是在芯片无内置图像后处理功能的情况下，使用本方案的方法可以满足现有高码率高帧率的场景下时间短、CPU带宽冲击小的需求。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了根据本申请的一种的实施例的图像处理方法的流程图；

图2示出了根据本申请的一种的实施例的YUV的数据分布以及图像处理的数据走向的示意图；

图3示出了根据本申请的另一种的实施例的图像处理方法的流程图；

图4示出了根据本申请的再一种的实施例的图像处理方法的流程图；

图5示出了现有技术显示装置的示意图；

图6示出了根据本申请的一种的实施例的显示装置的示意图；

图7示出了根据本申请的一种的实施例的图像处理装置的示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。

正如背景技术中所说的，现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种图像处理方法、图像处理装置、计算机可读存储介质和处理器。

根据本申请的实施例，提供了一种图像处理方法，上述方法应用于图像处理装置。

图1是根据本申请实施例的图像处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；

步骤S102，通过图像后处理功能模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。

上述图像处理方法中，首先，获取原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；通过图像后处理功能模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。

由于对YUV格式的视频数据进行图像处理时，图像处理后输出的RGB格式的视频数据，因此需要将其转换成YUV格式的视频数据进行显示，该方法通过将上述第一流明数据和上述第一色度数据依次按照预设RGB格式输入图像后处理功能模块，输出的预设RGB格式的数据按照输入时预设RGB格式提取的顺序依次排列，即可得到YUV格式的第二流明数据和第二色度数据，从而可以直接输出显示，无需进行格式转换，保证图像处理的流畅输出，解决了现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题，使用本方案的方法可以满足现有高码率高帧率的场景下时间短、CPU带宽冲击小的需求。

在具体的实施例中，上述图像处理装置可以不包括图像后处理模块，当图像处理装置不包括图像后处理模块时，通过外置的图像后处理模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述外置的图像后处理模块的输入输出数据格式为预设RGB格式。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的一种可选的实施例中，通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，包括：按照RGB格式依次提取上述第一流明数据，得到多个第一四维向量，一个上述第一四维向量包括四个上述第一流明数据；按照RGB格式依次提取上述第一色度数据，得到多个第二四维向量，一个上述第二四维向量包括两个上述第一色度数据，对上述第一四维向量和上述第二四维向量进行预设图像处理，得到上述第二流明数据和上述第二色度数据。具体的，每个单元四维向量vec4(r,g,b,a)，表示为一个像素点，该点在RGBA的格式下是(4：4：4：4)的关系，对于32bit的深度为例，即每个像素点为4个bytes组成，其中r,g,b,a各点一个byte。第一YUV图像数据以NV12为例，排布是Y1Y2Y3Y4-U1V1U2V2，存储数据上，第一YUV图像数据中，第一流明数据Y和第一色度数据UV转换后的结构如下：其中，Y1、Y2、Y3和Y4为四个第一流明数据，U1V1和U2V2为两个第一色度数据。

需要说明的是，对于较低版本的opengles和GLSL，如version2.0,数据的输出是gl_FragColor，gl_FragColor为片元着色器的2.0版本的唯输出，gl_FragColor是GLSL的内置变量主要用来设置片元像素的颜色，内置变量gl_FragColor的值是四维向量vec4(r,g,b,a),前三个参数表示片元像素颜色值RGB，第四个参数是片元像素透明度A，1.0表示不透明,0.0表示完全透明。可知此类版本的opengles只针对RGBA做了设计输出。

本申请的一种可选的实施例中，上述图像处理装置包括原始缓存区间，上述方法包括：根据上述第一流明数据和上述第一色度数据，将上述原始缓存区间划分为第一缓存区间和第二缓存区间，上述第一缓存区间和上述第二缓存区间分别存储上述第一流明数据和上述第一色度数据。具体地，上述第一流明数据和上述第一色度数据分别存储在不同的缓存区间，即可将YUV分为两部分分别进行预设图像处理，分别从第一缓存区间和第二缓存区间提取数据进行预设图像处理。

本申请的一种实施例中，对上述第一四维向量和上述第二四维向量进行预设图像处理，得到上述第二流明数据和上述第二色度数据包括：根据多个原始坐标计算得到多个处理后坐标，上述原始坐标为上述原始YUV图像数据对应的像素点的坐标，上述处理后坐标为上述第二流明数据和上述第二色度数据组成的YUV图像数据对应的像素点的坐标；将上述第一四维向量依次排布，得到多个第二流明数据，将上述第二四维向量依次排布，得到多个第二色度数据，上述第二流明数据与上述处理后坐标一一对应，上述第二色度数据与上述处理后坐标一一对应；上述处理后坐标和对应的上述第二流明数据以及对应的上述第二色度数据合成处理后图像数据。该方法通过变换矩阵和原始坐标计算得到多个上述处理后坐标，例如，旋转90度：rotPos＝vPosition*mat2(0,-1,1,0)，gl_Position＝vec4(rotPos，1.0,1.0)，其中vPosition来源于通过对Y或UV纹理的某种精度的采样得到的纹理对应坐标，通过mat2矩阵的转换完成坐标的旋转。如图2所示，虽然当前opengles的框架固定输出RGB，但该图像处理方式可以将内容按照对应的方式填充NV12数据。虽然输出的格式是RGB，但是对应的排布内容经过了调整，达到真正写入DDR的数据却是NV12这样的效果。

本申请的一种可选的实施例中，上述图像处理装置包括两个DMA通道，上述通过图像后处理功能模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据之后，上述方法还包括：通过上述两个DMA通道分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据。

具体地，一个DMA通道将上述第二流明数据传输至上述第一缓存区间，以覆盖上述第一流明数据，另一个DMA通道将上述第二色度数据传输至上述第二缓存区间，以覆盖上述第一色度数据，两个DMA通道传输不同的数据，使得第一流明数据进行预设图像处理后不用等待第一色度数据进行预设图像处理，或者第一色度数据进行预设图像处理后也不用等待第一流明数据进行预设图像处理，提高了图像处理的效率。

本申请的一种实施例中，上述图像处理装置与上述显示器通信连接，获取图像的图像数据，包括：获取上述原始YUV图像数据并存储在上述原始缓存区间中，形成缓存队列；将上述缓存队列中的上述图像数据发送至上述图像后处理功能模块，在通过上述两个DMA通道分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据之后，上述方法还包括：发送上述第二流明数据和上述第二色度数据至上述显示器进行显示，并接收上述显示器的反馈信息并存储在上述第二缓冲器中，上述方法通过上述两个DMA通道分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据，相比于现有技术中在显示器中另外开辟存储空间用于保存处理后图像数据，由该存储空间发送处理后图像数据至显示器进行显示，导致显示器的反馈无法返回上述第二缓冲器，无法清理缓存队列，破坏显示的连贯性，该方法保持图像显示流程的原有架构，使得上述第二缓冲器发送目标YUV图像数据至显示器进行显示，保证显示器的反馈可以返回原始缓存区间，从而根据反馈信息及时清理缓存队列。

该实施例中，如图3所示，将上述原始缓存区间，按已知当前的NV12分辨率划分为两块，分别用于接收和存储上述第二流明数据Y和接收和存储上述第二色度数据UV，并作为独立的两块纹理加载到opengles里面。使用FBO(OpenGL帧缓存对象(FBO：Frame BufferObject))，挂载缓冲器，缓冲器用于接收和存储上述第二流明数据Y和接收和存储上述第二色度数据UV，调用上述图像后处理功能模块对上述流明数据Y进行图像处理，得到上述第二流明数据Y并覆盖原始缓存区间第一流明数据，调用上述GPU对上述色度数据UV进行图像处理，得到上述第二色度数据UV并覆盖原始缓存区间第一色度数据。

本申请的一种可选的实施例中，上述两个DMA通道并行处理，通过上述两个DMA通道分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据，包括：在接收到上述第二流明数据的情况下，触发第一任务，上述第一任务用于调用一个上述DMA通道将上述第二流明数据传输至上述第一缓存区间，以覆盖上述第一流明数据；在接收到上述第二色度数据的情况下，触发第二任务，上述第二任务用于调用另一个上述DMA将上述第二色度数据传输至上述第二缓存区间，以覆盖上述第一色度数据。该实施例中，如图4所示，图像后处理功能模块先完成对上述流明数据Y的图像处理后，在开启对上述色度数据UV的图像处理同时，也使能DMA通道1进行将上述第二流明数据Y搬运到上述第一缓存区间。这样图像后处理功能模块对上述色度数据UV进行图像处理处理的时候，上述第二流明数据Y也同时被DMA通道1发送至上述第二流明数据Y至上述第一缓存区间。因为上述流明数据Y已经处理完毕，可以不需要保存，直接进行发送即可。图像后处理功能模块对上述色度数据UV进行处理完后，开启DMA通道2来完成上述第二色度数据UV发送至上述上述色度数据UV在上述第二缓存区间置，如图3所示，1，2，3，4为上述流明数据Y经图像后处理功能模块处理并经DMA发送过程，2-1，2-2，2-3，2-4为上述色度数据UV经图像后处理功能模块处理并经DMA发送过程。

需要说明的是，如图5所示，现有技术上述YUV图像数据只需要一次搬运，如图6所示，而上述YUV图像数据整体处理和搬运会有两次数据的搬运，这会额外的增加时间开销，上述第二流明数据Y和上述色度数据UV分开处理和搬运通过DMA来解决这项操作带来的时间上的影响。具体时间计算过程如下：

上述Y UV图像数据整体处理和搬运的总时间T_Total＝T_YR+T_YM+T_UVR+T_UVM，其中，T_YR为上述第二流明数据Y处理时间,T_UVR为上述色度数据UV处理时间，T_YM为上述第二流明数据Y搬运时间，T_UVM为上述第二色度数据UV搬运时间，上述第二流明数据Y和上述色度数据UV分开处理和搬运的总时间T_Total＝T_YR+T_UVR+max(T_YMDMA1,T_UVMDMA2)，T_YMDMA1为上述第二流明数据Y搬运使用DMA 通道1所用的时间，T_UVMDMA2为上述第二色度数据UV搬运使用DMA通道2所用的时间，且使用DMA通道进行搬运，使得T_YMDMA1<T_YMT_UVMDMA2<T_UVM，搬运的时间取决是用DMA对上述第二流明数据Y和上述第二色度数据UV进行搬运的最大时间，上述第二流明数据Y和上述色度数据UV分开处理和搬运的总时间T_Total可以控制在10ms以内。

还需要说明的是，使用FBO(OpenGL帧缓存对象(FBO：Frame Buffer Object))，挂载缓冲器，上述缓冲器被分为用于接收和存储上述第二流明数据Y和接收和存储上上述第二色度数据UV。上述第一缓冲器的申请需要能知道对应的物理地址，可以参考能通过CMA(linux的内存管理的连续内存分配器)或类似方式获取。DMA发送上述第二流明数据Y和上述第二色度数据UV的时候大多需要物理地址。

本申请的一种可选的实施例中，上述原始YUV图像数据还包括显示信息，上述显示信息包括未显示和已显示，接收上述显示器的反馈信息并存储在上述原始缓存区间中，包括：接收上述显示器的反馈信息；根据上述反馈信息将上述第二流明数据和上述第二色度数据对应的的显示信息修改为已显示。该实施例中，如图4所示，现有技术中在显示器中另外开缓冲区间用于保存处理后图像数据，由另开的缓存区间发送处理后图像数据至显示器进行显示，导致显示器的反馈无法返回上述原始缓存区间，相比较而言，如图6所示，该方法保持图像显示流程的原有架构，使得上述原始缓存区间发送处理后图像数据至显示器进行显示，保证显示器的反馈可以返回上述原始缓存区间。

本申请的一种可选的实施例中，根据上述反馈信息清理上述缓存队列中的上述图像数据，包括：清除上述缓存队列中上述显示信息为已显示的上述图像数据。该实施例中，如图5所示，现有技术中在显示器中另外开缓存区间用于保存处理后图像数据，由另外开缓存区间发送处理后图像数据至显示器进行显示，导致显示器的反馈无法返回上述原始缓存区间，无法清理缓存队列，破坏了缓存队列管理，相比较而言，如图6所示，该方法保持图像显示流程的原有架构，使得上述原始缓存区间发送处理后图像数据至显示器进行显示，保证显示器的反馈可以返回上述原始缓存区间，从而根据反馈信息及时清理缓存队列，将解决了现有技术中数据处理破坏缓存队列管理的问题。

本申请实施例还提供了一种图像处理装置，需要说明的是，本申请实施例的图像处理装置可以用于执行本申请实施例所提供的用于图像处理方法。以下对本申请实施例提供的图像处理装置进行介绍。

图7示出了根据本申请的一种的实施例的图像处理装置的示意图，如图7所示，该装置包括：

获取模块10，用于获取原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；

数据处理模块20，用于通过图像后处理功能模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。

上述图像处理装置中，获取模块10，用于获取原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；图像后处理功能模块20，与上述存储模块通信连接，上述图像后处理功能模块用于分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。由于对YUV格式的视频数据进行图像处理时，图像处理后输出的RGB格式的视频数据，因此需要将其转换成YUV格式的视频数据进行显示，该装置通过将上述第一流明数据和上述第一色度数据依次按照预设RGB格式输入图像后处理功能模块，输出的预设RGB格式的数据按照输入时预设RGB格式提取的顺序依次排列，即可得到YUV格式的第二流明数据和第二色度数据，从而可以直接输出显示，无需进行格式转换，保证图像处理的流畅输出，解决了现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题，主要是在芯片无内置图像后处理功能的情况下，使用本方案的方法可以满足现有高码率高帧率的场景下时间短、CPU带宽冲击小的需求。

本申请的一种可选的实施例中，上述图像后处理功能模块按照RGB格式依次提取上述第一流明数据，得到多个第一四维向量，一个上述第一四维向量包括四个上述第一流明数据；上述图像后处理功能模块按照RGB格式依次提取上述第一色度数据，得到多个第二四维向量，一个上述第二四维向量包括两个上述第一色度数据，上述图像后处理功能模块对上述第一四维向量和上述第二四维向量进行预设图像处理，得到上述第二流明数据和上述第二色度数据。具体的，每个单元四维向量vec4(r,g,b,a)，表示为一个像素点，该点在RGBA的格式下是(4：4：4：4)的关系，对于32bit的深度为例，即每个像素点为4个bytes组成，其中r,g,b,a各点一个byte。第一YUV图像数据以NV12为例，排布是Y1Y2Y3Y4-U1V1U2V2，存储数据上，第一YUV图像数据中，第一流明数据Y和第一色度数据UV转换后的结构如下：其中，Y1、Y2、Y3和Y4为四个第一流明数据，U1V1和U2V2为两个第一色度数据。

本申请的一种可选的实施例中，上述存储模块包括原始缓存区间，上述装置还包括区间处理模块，上述区间处理模块用于根据上述第一流明数据和上述第一色度数据，将上述原始缓存区间划分为第一缓存区间和第二缓存区间，上述第一缓存区间和上述第二缓存区间分别存储上述第一流明数据和上述第一色度数据。具体地，上述第一流明数据和上述第一色度数据分别存储在不同的缓存区间，即可将YUV分为两部分分别进行预设图像处理，分别从第一缓存区间和第二缓存区间提取数据进行预设图像处理。

本申请的一种实施例中，上述图像后处理功能模块根据多个原始坐标计算得到多个处理后坐标，上述原始坐标为上述原始YUV图像数据对应的像素点的坐标，上述处理后坐标为上述第二流明数据和上述第二色度数据组成的YUV图像数据对应的像素点的坐标；上述图像后处理功能模块将上述第一四维向量依次排布，得到多个第二流明数据，将上述第二四维向量依次排布，得到多个第二色度数据，上述第二流明数据与上述处理后坐标一一对应，上述第二色度数据与上述处理后坐标一一对应；上述处理后坐标和对应的上述第二流明数据以及对应的上述第二色度数据合成处理后图像数据。该方法通过变换矩阵和原始坐标计算得到多个上述处理后坐标，例如，旋转90度：rotPos＝vPosition*mat2(0,-1,1,0)，gl_Position＝vec4(rotPos，1.0,1.0)，其中vPosition来源于通过对Y或UV纹理的某种精度的采样得到的纹理对应坐标，通过mat2矩阵的转换完成坐标的旋转。如图2所示，虽然当前opengles的框架固定输出RGB，但该图像处理方式可以将内容按照对应的方式填充NV12数据。虽然输出的格式是RGB，但是对应的排布内容经过了调整，达到真正写入DDR的数据却是NV12这样的效果。

本申请的一种可选的实施例中，上述图像处理装置包括两个DMA通道，分别与上述存储模块通信连接，上述两个DMA通道用于分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据。具体地，一个DMA通道将上述第二流明数据传输至上述第一缓存区间，以覆盖上述第一流明数据，另一个DMA通道将上述第二色度数据传输至上述第二缓存区间，以覆盖上述第一色度数据，两个DMA通道传输不同的数据，使得第一流明数据进行预设图像处理后不用等待第一色度数据进行预设图像处理，或者第一色度数据进行预设图像处理后也不用等待第一流明数据进行预设图像处理，提高了图像处理的效率。

本申请的一种实施例中，上述图像处理装置与上述显示器通信连接，上述图像处理装置还用于获取上述原始YUV图像数据并存储在上述原始缓存区间中，形成缓存队列；将上述缓存队列中的上述图像数据发送至上述图像后处理功能模块，在通过上述两个DMA通道分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据之后，上述图像处理装置还用于发送上述第二流明数据和上述第二色度数据至上述显示器进行显示，并接收上述显示器的反馈信息并存储在上述第二缓冲器中，上述方法通过上述两个DMA通道分别将上述第二流明数据和上述第二色度数据传输至上述第一缓存区间和上述第二缓存区间，以覆盖上述第一流明数据和上述第一色度数据，相比于现有技术中在显示器中另外开辟存储空间用于保存处理后图像数据，由该存储空间发送处理后图像数据至显示器进行显示，导致显示器的反馈无法返回上述第二缓冲器，无法清理缓存队列，破坏显示的连贯性，该方法保持图像显示流程的原有架构，使得上述第二缓冲器发送目标YUV图像数据至显示器进行显示，保证显示器的反馈可以返回原始缓存区间，从而根据反馈信息及时清理缓存队列。

还需要说明的是，本发明采用的存储方式为Planar方式，Packeted方式类似RGB的存储方式，以像素矩阵为存储方式。Planar方式将YUV图像数据分别存储到矩阵，每一个数据矩阵称为一个平面，上述第二流明数据Y与上述第二色度数据UV可划分成两个独立部分。

本申请的一种可选的实施例中，上述两个DMA通道并行处理，上述图像后处理功能模块在接收到上述第二流明数据的情况下，触发第一任务，上述第一任务用于调用一个上述DMA通道将上述第二流明数据传输至上述第一缓存区间，以覆盖上述第一流明数据；上述图像后处理功能模块在接收到上述第二色度数据的情况下，触发第二任务，上述第二任务用于调用另一个上述DMA将上述第二色度数据传输至上述第二缓存区间，以覆盖上述第一色度数据。该实施例中，如图4所示，图像后处理功能模块先完成对上述流明数据Y的图像处理后，在开启对上述色度数据UV的图像处理同时，也使能DMA通道1进行将上述第二流明数据Y搬运到上述第一缓存区间。这样图像后处理功能模块对上述色度数据UV进行图像处理处理的时候，上述第二流明数据Y也同时被DMA通道1发送至上述第二流明数据Y至上述第一缓存区间。因为上述流明数据Y已经图像处理完毕，可以不需要保存，直接进行发送即可。图像后处理功能模块对上述色度数据UV进行图像处理处理完后，开启DMA通道2来完成上述第二色度数据UV发送至上述上述色度数据UV在上述第二缓存区间置，如图3所示，1，2，3，4为上述流明数据Y经GPU处理并经DMA发送过程，2-1，2-2，2-3，2-4为上述色度数据UV经图像后处理功能模块处理并经DMA发送过程。

需要说明的是，如图5所示，现有技术上述YUV图像数据只需要一次搬运，如图6所示，而上述YUV图像数据整体处理和搬运会有两次数据的搬运，这会额外的增加时间开销，上述第二流明数据Y和上述色度数据UV分开处理和搬运通过DMA来解决这项操作带来的时间上的影响。

本申请的一种可选的实施例中，上述原始YUV图像数据还包括显示信息，上述显示信息包括未显示和已显示，上述图像处理装置还用于接收上述显示器的反馈信息；上述图像处理装置还用于根据上述反馈信息将上述上述第二流明数据和上述第二色度数据对应的的显示信息修改为已显示。该实施例中，如图4所示，现有技术中在显示器中另外开缓冲区间用于保存处理后图像数据，由另开的缓存区间发送处理后图像数据至显示器进行显示，导致显示器的反馈无法返回上述原始缓存区间，相比较而言，如图6所示，该方法保持图像显示流程的原有架构，使得上述原始缓存区间发送处理后图像数据至显示器进行显示，保证显示器的反馈可以返回上述原始缓存区间。

本申请的一种可选的实施例中，上述图像处理装置还用于清除上述缓存队列中上述显示信息为已显示的上述图像数据。该实施例中，如图5所示，现有技术中在显示器中另外开缓存区间用于保存处理后图像数据，由另外开缓存区间发送处理后图像数据至显示器进行显示，导致显示器的反馈无法返回上述原始缓存区间，无法清理缓存队列，破坏了缓存队列管理，相比较而言，如图6所示，该方法保持图像显示流程的原有架构，使得上述原始缓存区间发送处理后图像数据至显示器进行显示，保证显示器的反馈可以返回上述原始缓存区间，从而根据反馈信息及时清理缓存队列，将解决了现有技术中数据处理破坏缓存队列管理的问题。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述图像处理方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述图像处理方法。

具体地，处理器执行程序时实现至少以下步骤：

步骤S101，获取原始YUV图像数据，所述原始YUV图像数据包括第一流明数据和第一色度数据；

步骤S102，通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，所述图像后处理功能模块的输入输出数据格式为预设RGB格式。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的图像处理方法中，首先，获取原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；通过图像后处理功能模块分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。由于对YUV格式的视频数据进行图像处理时，图像处理后输出的RGB格式的视频数据，因此需要将其转换成YUV格式的视频数据进行显示，该方法通过将上述第一流明数据和上述第一色度数据依次按照预设RGB格式输入图像后处理功能模块，输出的预设RGB格式的数据按照输入时预设RGB格式提取的顺序依次排列，即可得到YUV格式的第二流明数据和第二色度数据，从而可以直接输出显示，无需进行格式转换，保证图像处理的流畅输出，解决了现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题，主要是在芯片无内置图像后处理功能的情况下，使用本方案的方法可以满足现有高码率高帧率的场景下时间短、CPU带宽冲击小的需求。

2)、本申请的图像处理装置中，存储模块存储原始YUV图像数据，上述原始YUV图像数据包括第一流明数据和第一色度数据；图像后处理功能模块20，与上述存储模块通信连接，上述图像后处理功能模块用于分别对上述第一流明数据和上述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，上述图像后处理功能模块的输入输出数据格式为预设RGB格式。由于对YUV格式的视频数据进行图像处理时，图像处理后输出的RGB格式的视频数据，因此需要将其转换成YUV格式的视频数据进行显示，该装置通过将上述第一流明数据和上述第一色度数据依次按照预设RGB格式输入图像后处理功能模块，输出的预设RGB格式的数据按照输入时预设RGB格式提取的顺序依次排列，即可得到YUV格式的第二流明数据和第二色度数据，从而可以直接输出显示，无需进行格式转换，保证图像处理的流畅输出，解决了现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题，主要是在芯片无内置图像后处理功能的情况下，使用本方案的方法可以满足现有高码率高帧率的场景下时间短、CPU带宽冲击小的需求。

3)、本申请的显示系统中，包括：图像处理装置和显示器，一个或多个处理器，存储器以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行上述图像处理方法。该显示系统解决了现有技术中在对YUV数据进行图像后处理时需要先将其转换成RGB数据的问题。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始YUV图像数据，所述原始YUV图像数据包括第一流明数据和第一色度数据；

通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，所述图像后处理功能模块的输入输出数据格式为预设RGB格式，通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，包括：按照RGB格式依次提取所述第一流明数据，得到多个第一四维向量，一个所述第一四维向量包括四个所述第一流明数据；按照RGB格式依次提取所述第一色度数据，得到多个第二四维向量，一个所述第二四维向量包括两个所述第一色度数据，对所述第一四维向量和所述第二四维向量进行预设图像处理，得到所述第二流明数据和所述第二色度数据，所述图像后处理功能模块输出的所述预设RGB格式的所述第二流明数据和所述第二色度数据按照输入时所述预设RGB格式提取的顺序依次排列。

2.根据权利要求1所述的方法，其特征在于，图像处理方法应用的图像处理装置包括原始缓存区间，所述方法包括：

根据所述第一流明数据和所述第一色度数据，将所述原始缓存区间划分为第一缓存区间和第二缓存区间，所述第一缓存区间和所述第二缓存区间分别存储所述第一流明数据和所述第一色度数据。

3.根据权利要求2所述的方法，其特征在于，所述图像处理装置包括两个DMA通道，所述通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据之后，所述方法还包括：

通过所述两个DMA通道分别将所述第二流明数据和所述第二色度数据传输至所述第一缓存区间和所述第二缓存区间，以覆盖所述第一流明数据和所述第一色度数据。

4.根据权利要求3所述的方法，其特征在于，所述两个DMA通道并行处理。

5.根据权利要求1所述的方法，其特征在于，所述分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，包括：

分别获取第一流明数据和第一色度数据，根据预设图像处理方式对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，将所述第二流明数据和第二色度数据按照所述预设RGB格式输出。

6.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，用于获取原始YUV图像数据，所述原始YUV图像数据包括第一流明数据和第一色度数据；

数据处理模块，用于通过图像后处理功能模块分别对所述第一流明数据和所述第一色度数据进行预设图像处理，得到第二流明数据和第二色度数据，所述图像后处理功能模块的输入输出数据格式为预设RGB格式，所述图像后处理功能模块按照RGB格式依次提取所述第一流明数据，得到多个第一四维向量，一个所述第一四维向量包括四个所述第一流明数据；所述图像后处理功能模块按照RGB格式依次提取所述第一色度数据，得到多个第二四维向量，一个所述第二四维向量包括两个所述第一色度数据，所述图像后处理功能模块对所述第一四维向量和所述第二四维向量进行预设图像处理，得到所述第二流明数据和所述第二色度数据，所述图像后处理功能模块输出的所述预设RGB格式的所述第二流明数据和所述第二色度数据按照输入时所述预设RGB格式提取的顺序依次排列。

7.根据权利要求6所述的装置，其特征在于，所述图像处理装置包括原始缓存区间，所述装置还包括：

区间处理模块，用于根据所述第一流明数据和所述第一色度数据，将所述原始缓存区间划分为第一缓存区间和第二缓存区间，所述第一缓存区间和所述第二缓存区间分别存储所述第一流明数据和所述第一色度数据。

8.根据权利要求7所述的装置，其特征在于，所述图像处理装置包括：

两个DMA通道，用于分别将所述第二流明数据和所述第二色度数据传输至所述第一缓存区间和所述第二缓存区间，以覆盖所述第一流明数据和所述第一色度数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的方法。