CN118540494A - 一种图像数据处理的装置和方法 - Google Patents

Abstract

本申请实施例公开了一种图像处理的装置和方法，该图像处理的装置包括：应用处理器AP、显示驱动集成电路DDIC和传输接口，AP对原始待显示图像进行子像素渲染SPR和编码之后发送给DDIC，DDIC解码之后得到SPR图像，该SPR图像可以直接显示在SPA显示屏上，由于AP对数据进行SPR处理之后，图像数据量大大减小，将图像数据从AP传输到DDIC所需的带宽和功耗也大大降低，进一步的，DDIC处理的数据量以及DDIC侧的存储空间都极大减小，大大提高了图像处理装置的性能。

Description

一种图像数据处理的装置和方法

本申请是分案申请，原申请的申请号是201980092287.6，原申请日是2019年03月22日，原申请的全部内容通过引用结合在本申请中。

技术领域

本申请涉及显示技术领域，尤其涉及一种图像数据处理的装置和方法。

背景技术

为了给用户提供更好的体验，当前市场对显示面板的要求越来越高，例如要求显示面板具有高分辨率、高对比度、广色域，还要求显示面板反应速度更快、更轻薄、功耗更低以及可折叠等。在显示装置中图像处理和图像显示通常是由不同的模块来完成的，处理之后的图像数据需要从图像处理模块发送到图像显示模块进行显示。随着显示面板的显示分辨率的提高，待显示图像的数据量也大幅度提高，因此将待显示的图像数据从图像处理模块传输到图像显示模块所需的带宽和功耗也随之增加。

如何在显示高分辨率图像的情况下尽可能降低显示装置的功耗对于提升用户体验，满足用户需求至关重要。

发明内容

本申请实施例提供一种图像数据处理的装置和方法，用于减少图像数据传输的带宽和功耗。

本申请第一方面提供了一种图像数据处理的装置，该装置包括：应用处理器AP、显示驱动器集成电路DDIC和传输接口；该AP，用于对原始待显示图像进行子像素渲染SPR，得到SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；该AP，还用于对该SPR图像进行编码，得到第一数据流；该AP，还用于通过该传输接口将该第一数据流发送给该DDIC；该DDIC，用于解码该第一数据流，得到解码图像。

具有高质量图像或视频显示需求的电子设备为了满足不断提升的分辨率要求，通常会采用SPA显示屏，原始输入的三分量的图像数据必须经过SPR处理才可以在SPA显示屏上正确显示。本申请实施例提出的图像处理装置的架构中，由于AP对数据进行SPR处理之后，图像数据每个像素包含的子像素个数变小，图像数据量大大减小，示例性的，如果SPR处理后的图像数据为RGBG排布或者RGB delta排布的数据，则SPR处理后的数据是原始图像数据的2/3；如果SPR处理后的图像数据为SPR1.5排布的数据，则SPR处理后的数据是原始图像数据的1/2。由于SPR处理后的图像数据量大大减小，对图像数据进行编码之后的数据量也大大减小，将图像数据从AP传输到DDIC所需的带宽和功耗也大大降低，进一步的，DDIC处理的数据量以及DDIC侧的存储空间都极大减小，大大提高了图像处理装置的性能。并且对于SPR处理核来说，由于SOC侧的集成度更高，SPR处理核占用的硬件逻辑的面积更小，SPR处理核或者说SPR知识产权(Intellectual Property，IP)核本身的成本和功耗也会减少。

应当理解，AP和DDIC侧都包括传输接口，传输接口包括发送接口和接收接口，AP将图像数据发送给DDIC，则AP侧的传输接口为发送接口，DDIC侧的传输接口为接收接口。

在一种可能的实施方式中，该AP包括：SPR集成电路或SPR固化硬件逻辑，该SPR集成电路或SPR固化硬件逻辑，具体用于对该原始待显示图像进行子像素渲染SPR，得到该SPR图像。

在一种可能的实施方式中，该SPR图像为RGBG图像，该AP还包括4个处理通道，用于：对该RGBG图像的4个分量R、G、B、G分别进行编码处理，得到该第一数据流，其中，该4个处理通道中的每个处理通道分别处理一个分量。

在一种可能的实施方式中，该AP具体用于：将该RGBG图像转换为亮色分离的SPR图像，该亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，该U和该V为色度信号分量，该Y为亮度信号分量；该4个处理通道，具体用于对该亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理，得到该第一数据流，其中，该4个处理通道中的每个处理通道分别处理一个分量。

在本申请实施例中，将RGBG转换到亮色分离的色彩空间中，进一步降低了图像数据的数据量，节省了传输带宽；并且，由于降低了图像的亮度与色度的相关性，在相同的压缩比下，减少了由压缩和解码导致的图像失真，使得解码获得的图像显示效果更好、失真更少。

在一种可能的实施方式中，该亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

在一种可能的实施方式中，该解码图像包括该4个分量U、Y、V和Y，该DDIC还用于：将该解码图像的四个分量U、Y、V和Y转换为RGBG图像的四个分量R、G、B、G。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该AP具体用于：对该RGBdelta图像进行格式映射，得到映射RGB图像，该映射RGB图像的子像素的个数等于该RGBdelta图像的子像素的个数；将该RGB图像转换到亮色分离的YCoCg颜色空间，得到YCoCg图像，该YCoCg图像包括3个分量Y、Co、Cg；对该YCoCg图像进行编码，得到该第一数据流。

在一种可能的实施方式中，该AP包括4条处理通道，该4个处理通道中的3个处理通道，用于对该RGB图像的3个分量R、G、B分别进行编码处理，得到该第一数据流，其中，一个处理通道处理一个分量；或者，该4个处理通道中的3个处理通道，用于对该YCoCg图像的3个分量Y、Co、Cg分别进行编码处理，得到该第一数据流，其中，一个处理通道处理一个分量。

AP的4条处理通道既可以对4分量的数据同时进行编码处理，也可以对3分量的数据同时进行编码处理，当对3分量的数据进行编码处理时，4条通道中的任意3条处理通道同时对图像的3个分量分别进行编码处理。

在一种可能的实施方式中，该解码图像为该YCoCg图像，该DDIC还用于：将该YCoCg图像的三个分量Y、Co、Cg转换为该RGB图像的三个分量R、G、B；将该RGB图像转换为能够在该SPA显示屏上显示的RGB delta图像。

在一种可能的实施方式中，该AP集成在系统芯片SOC上，该DDIC在该SOC之外。

在一种可能的实施方式中，该装置还包括：折叠屏，该折叠屏包括第一显示屏和第二显示屏；该DDIC包括：第一DDIC和第二DDIC，该第一DDIC用于驱动该第一显示屏，该第二DDIC用于驱动该第二显示屏。

对于多折叠屏的图像处理装置存在多个DDIC，由于SPR处理需要参考周围的像素，如果SPR处理在DDIC中，折叠屏交界处的像素在进行SPR处理时，需要参考相邻显示屏的像素，因此多个DDIC之间存在数据交互，本申请实施例将SPR处理放在AP侧，避免了多个DDIC之间存在数据交互，减少了芯片间的数据交互和数据处理，避免了电磁干扰(Electromagnetic Interference，EMI)和静电放电(Electrostatic Discharge，ESD)问题。

在一种可能的实施方式中，该传输接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

本申请第二方面提供了一种图像数据处理的装置，该装置包括：应用处理器AP和显示驱动器集成电路DDIC；该AP包括子像素渲染处理核，编码器和发送接口，该DDIC包括接收接口和解码器；该子像素渲染处理核，用于对原始待显示图像进行子像素渲染SPR，得到SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；该编码器，用于对该SPR图像进行编码，得到第一数据流；该发送接口，用于将该第一数据流发送给该DDIC的接收接口；该解码器，用于解码该第一数据流，得到解码SPR图像。

具有高质量图像或视频显示需求的电子设备为了满足不断提升的分辨率要求，通常会采用SPA显示屏，原始输入的三分量的图像数据必须经过SPR处理才可以在SPA显示屏上正确显示。本申请实施例提出的图像处理装置的架构中，SPR处理在AP中完成，由于SPR处理之后的图像数据每个像素包含的子像素个数变小，图像数据量大大减小，示例性的，如果SPR处理后的图像数据为RGBG排布或者RGB delta排布的数据，则SPR处理后的数据是原始图像数据的2/3；如果SPR处理后的图像数据为SPR1.5排布的数据，则SPR处理后的数据是原始图像数据的1/2。由于SPR处理后的图像数据量大大减小，对图像数据进行编码之后的数据量也大大减小，将图像数据从AP传输到DDIC所需的带宽和功耗也大大降低，DDIC处理的数据量以及DDIC侧的存储空间都极大减小，大大提高了图像处理装置的性能。并且对于SPR处理核来说，由于AP侧的集成度更高，SPR处理核占用的硬件逻辑的面积更小，SPR处理核或者说SPR知识产权(Intellectual Property，IP)核本身的成本和功耗也会减少。

在一种可能的实施方式中，该子像素渲染处理核为专用集成硬件电路或专用固化硬件核。

在一种可能的实施方式中，该DDIC还包括：驱动器，用于驱动显示屏显示该解码SPR图像。

在一种可能的实施方式中，该AP还包括：第一颜色空间转换模块，用于将该SPR图像转换到亮色分离的颜色空间中，得到亮色分离的SPR图像；该编码器，具体用于对该亮色分离的SPR图像进行编码，得到该第一数据流。

在本申请实施例中，将RGBG转换到亮色分离的色彩空间中，进一步降低了图像数据的数据量，节省了传输带宽；并且，由于降低了图像的亮度与色度的相关性，在相同的压缩比下，减少了由压缩和解码导致的图像失真，使得解码获得的图像显示效果更好、失真更少。

在一种可能的实施方式中，该第一颜色空间转换模块，用于对该SPR图像进行拉伸旋转。

在一种可能的实施方式中，该第一颜色空间转换模块，具体用于基于颜色空间转换矩阵对该SPR图像进行颜色空间转换。

在一种可能的实施方式中，该解码SPR图像位于该亮色分离的颜色空间，该DDIC还包括：第二颜色空间转换模块，用于将该解码SPR图像从该亮色分离的颜色空间转换到该SPR图像所在的颜色空间。

在一种可能的实施方式中，该SPR图像为RGBG图像，该亮色分离的颜色空间为YUV颜色空间，该第一颜色空间转换模块具体用于：将该RGBG图像转换到该YUV颜色空间，得到该亮色分离的SPR图像，该亮色分离的SPR图像包括4个分量P0、P1、P2和P3，该4个分量P0、P1、P2和P3中包含两个亮度信号分量和两个色度信号分量。

在一种可能的实施方式中，该亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

在一种可能的实施方式中，该解码SPR图像位于该YUV颜色空间，该解码SPR图像包含该4个分量P0、P1、P2和P3，该第二颜色空间转换模块具体用于：将该解码SPR图像的四个分量P0、P1、P2和P3转换为RGBG图像的四个分量R、G、B、G。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该亮色分离的颜色空间为YCoCg颜色空间，该AP还包括：第一格式映射模块，用于将该RGB delta图像转换为RGB图像；该第一颜色空间转换模块具体用于：将该RGB图像转换到该YCoCg颜色空间，得到YCoCg图像，该YCoCg图像包括3个分量Y、Co、Cg。

在一种可能的实施方式中，该解码SPR图像为该YCoCg图像，该第二颜色空间转换模块具体用于：将该YCoCg图像的三个分量Y、Co、Cg转换为该RGB图像的三个分量R、G、B；该DDIC还包括：第二格式映射单元，用于将该RGB图像转换为该RGB delta图像。

在一种可能的实施方式中，该编码器包括：4个处理通道；该SPR图像为RGBG图像，该4个处理通道，用于对RGBG图像的4个分量R、G、B、G分别进行编码处理，得到该第一数据流，其中，一个处理通道处理一个分量；或者，该SPR图像为RGB delta图像，该装置还包括：第一格式映射单元，用于将该RGB delta图像转换为RGB图像；该4个处理通道中的3个处理通道，对该RGB图像的3个分量R、G、B分别进行编码处理，得到该第一数据流，其中，一个处理通道处理一个分量。

在一种可能的实施方式中，该编码器包括：4个处理通道；该4个处理通道，用于对该4个分量P0、P1、P2和P3分别进行编码处理，得到该第一数据流；或者，该4个处理通道中的3个处理通道，用于对该YCoCg图像的3个分量Y、Co、Cg分别进行编码处理，得到该第一数据流。

在一种可能的实施方式中，该AP集成在系统芯片SOC上，该DDIC在该SOC之外。

在一种可能的实施方式中，该传输接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

在一种可选的实施方式中，该传输接口包括HDMI或V-By-One接口。

在一种可能的实施方式中，该DDIC还包括：屏幕亮度补偿器，用于对该解码SPR图像进行Demura处理，得到目标显示的SPR图像。

在一种可能的实施方式中，该AP还包括：封装模块，用于对该第一数据流进行格式封装，得到第二数据流，该第二数据流为与该发送接口和该接收接口相匹配的数据流；该发送接口，具体用于将该第二数据流发送给该DDIC的接收接口。该DDIC还包括：解封装模块，用于对该接收接口接收的该第二数据流进行解封装，得到该第一数据流。

在一种可能的实施方式中，该发送接口，用于对该第一数据流进行格式封装，得到第二数据流，该第二数据流为与该发送接口和该接收接口相匹配的数据流；该发送接口，还用于将该第二数据流发送给该DDIC的接收接口；该接收接口，用于对该第二数据流进行解封装，得到该第一数据流。

本申请第三方面提供了一种图像数据处理的装置，该装置包括：处理器和传输接口；该处理器用于：对原始待显示图像进行子像素渲染SPR，得到SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；对该SPR图像进行编码，得到第一数据流；通过该传输接口发送该第一数据流。

应当理解，该传输接口可以认为是处理器的一部分，该处理器通过传输接口发送或接收数据。当该图像数据处理装置为一种具有图像数据处理功能的芯片时，该处理器和传输接口共同构成该芯片，该处理器为芯片中具有运算处理功能的固化硬件电路和/或固化硬件逻辑，这些硬件电路或硬件逻辑中固化有驱动程序和其他程序指令、该传输接口为芯片中接收或发送数据的接口。

在一种可能的实时方式中，该处理器通过该传输接口将该第一数据流发送给显示驱动器集成电路DDIC。

在一种可能的实施方式中，该SPR图像为RGBG图像，该处理器还包括4个处理通道，用于对该RGBG图像的4个分量R、G、B、G分别进行编码处理，得到该第一数据流，其中，该4个处理通道中的每个处理通道分别处理一个分量。

在一种可能的实施方式中，该处理器具体用于：将该RGBG图像转换为亮色分离的SPR图像，该亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，该U和该V为色度信号分量，该Y为亮度信号分量；该4个处理通道，具体用于对该亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理，得到该第一数据流，其中，该4个处理通道中的每个处理通道分别处理一个分量。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该处理器具体用于：对该RGB delta图像进行格式映射，得到映射RGB图像，该映射RGB图像的子像素的个数等于该RGB delta图像的子像素的个数；将该RGB图像转换到亮色分离的YCoCg颜色空间，得到YCoCg图像，该YCoCg图像包括3个分量Y、Co、Cg；对该YCoCg图像进行编码，得到该第一数据流。

在一种可能的实施方式中，该处理器集成在系统芯片SOC上，该DDIC在该SOC之外。

在一种可能的实施方式中，该传输接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

在一种可能的实施方式中，该处理器包括4条处理通道，该4个处理通道中的3个处理通道，用于对该RGB图像的3个分量R、G、B分别进行编码处理，得到该第一数据流，其中，一个处理通道处理一个分量；或者，该4个处理通道中的3个处理通道，用于对该YCoCg图像的3个分量Y、Co、Cg分别进行编码处理，得到该第一数据流，其中，一个处理通道处理一个分量。

本申请第四方面提供了一种显示驱动器集成电路DDIC，该DDIC包括：解码器和传输接口；该传输接口，用于接收第一数据流，该第一数据流中包括子像素渲染SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；该解码器，用于解码该第一数据流，得到解码图像数据。

在一种可能的实施方式中，该第一数据流为应用处理器AP发送来的。

在一种可能的实施方式中，该SPR图像为RGBG图像，该解码图像数据包括4个分量U、Y、V和Y，其中，该U和该V为色度信号分量，该Y为亮度信号分量，该DDIC还包括第一颜色空间转换处理集成电路；该颜色空间转换处理集成电路，用于将该解码图像的四个分量U、Y、V和Y转换为RGBG图像的四个分量R、G、B、G。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该解码图像数据为RGB图像，该DDIC还包括：格式映射处理集成电路或格式映射处理固化硬件逻辑；该格式映射处理集成电路或格式映射处理固化硬件逻辑，用于对该RGB图像进行格式映射，得到该RGBdelta图像。

在一种可能的实施方式中，该解码器包括4条处理通道。

在一种可能的实施方式中，该DDIC包括第一子DDIC和第二子DDIC，该第一子DDIC和该第二子DDIC耦合。

在一种可能的实施方式中，该AP集成在系统芯片SOC上，该DDIC在该SOC之外。

在一种可能的实施方式中，该传输接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

本申请第五方面提供了一种图像数据处理的方法，该方法包括：对原始待显示图像进行子像素渲染SPR，得到SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；对该SPR图像进行编码，得到第一数据流；通过传输接口发送该第一数据流。

在一种可能的实施方式中，该SPR图像为RGBG图像，该对该SPR图像进行编码，得到第一数据流，具体包括：对该RGBG图像的4个分量R、G、B、G分别进行编码处理，得到该第一数据流。

在一种可能的实施方式中，该对该SPR图像进行编码，得到第一数据流，具体包括：将该RGBG图像转换为亮色分离的SPR图像，该亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，该U和该V为色度信号分量，该Y为亮度信号分量；对该亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理，得到该第一数据流。

在一种可能的实施方式中，该亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该对该SPR图像进行编码，得到第一数据流，具体包括：对该RGB delta图像进行格式映射，得到映射RGB图像，该映射RGB图像的子像素的个数等于该RGB delta图像的子像素的个数；将该RGB图像转换到亮色分离的YCoCg颜色空间，得到YCoCg图像，该YCoCg图像包括3个分量Y、Co、Cg；对该YCoCg图像进行编码，得到该第一数据流。

本申请第六方面提供了一种图像数据处理的方法，该方法包括：接收第一数据流，该第一数据流中包括子像素渲染SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；解码该第一数据流，得到解码图像数据。

在一种可能的实施方式中，该SPR图像为RGBG图像，该解码图像数据包括4个分量U、Y、V和Y，其中，该U和该V为色度信号分量，该Y为亮度信号分量，该方法还包括：将该解码图像的四个分量U、Y、V和Y转换为RGBG图像的四个分量R、G、B、G。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该解码图像数据为RGB图像，该方法还包括：对该RGB图像进行格式映射，得到该RGB delta图像。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该解码图像数据为该YCoCg图像，该方法还包括：将该YCoCg图像的三个分量Y、Co、Cg转换为该RGB图像的三个分量R、G、B；将该RGB图像转换为能够在该SPA显示屏上显示的RGB delta图像。

本申请第七方面提供了一种图像数据处理的方法，该方法包括：AP对原始待显示图像进行子像素渲染SPR，得到SPR图像，该SPR图像能够在子像素排布SPA显示屏上显示，该SPA显示屏的物理子像素的个数小于该原始待显示图像的子像素的个数，该SPR图像的子像素的个数小于该原始待显示图像的子像素的个数；该AP对该SPR图像进行编码，得到第一数据流；AP将该第一数据流发送给DDIC；该DDIC解码该第一数据流，得到解码SPR图像。

在一种可能的实施方式中，该方法还包括：该DDIC驱动显示屏显示该解码SPR图像。

在一种可能的实施方式中，该AP对该SPR图像进行编码，得到第一数据流，具体包括：该AP将该SPR图像转换到亮色分离的颜色空间中，得到亮色分离的SPR图像；该AP对该亮色分离的SPR图像进行编码，得到该第一数据流。

在本申请实施例中，将RGBG转换到亮色分离的色彩空间中，进一步降低了图像数据的数据量，节省了传输带宽；并且，由于降低了图像的亮度与色度的相关性，在相同的压缩比下，减少了由压缩和解码导致的图像失真，使得解码获得的图像显示效果更好、失真更少。

在一种可能的实施方式中，该AP将该SPR图像转换到亮色分离的颜色空间中，具体包括：该AP基于颜色空间转换矩阵将该SPR图像转换到亮色分离的颜色空间中。

在一种可能的实施方式中，该解码SPR图像位于该亮色分离的颜色空间，该方法还包括：DDIC将该解码SPR图像从该亮色分离的颜色空间转换到该SPR图像所在的颜色空间。

在一种可能的实施方式中，该SPR图像为RGBG图像，该亮色分离的颜色空间为YUV颜色空间，该AP将该SPR图像转换到亮色分离的颜色空间中，具体包括：该AP将该RGBG图像转换到该YUV颜色空间，得到该亮色分离的SPR图像，该亮色分离的SPR图像包括4个分量P0、P1、P2和P3，该4个分量P0、P1、P2和P3中包含两个亮度信号分量和两个色度信号分量。

在一种可能的实施方式中，该亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

在一种可能的实施方式中，该解码SPR图像位于该YUV颜色空间，该解码SPR图像包含该4个分量P0、P1、P2和P3，该DDIC将该解码SPR图像从该亮色分离的颜色空间转换到该SPR图像所在的颜色空间，具体包括：该DDIC将该解码SPR图像的四个分量P0、P1、P2和P3转换为RGBG图像的四个分量R、G、B、G。

在一种可能的实施方式中，该SPR图像为RGB delta图像，该亮色分离的颜色空间为YCoCg颜色空间，该AP将该SPR图像转换到亮色分离的颜色空间中，具体包括：该AP将该RGB delta图像转换为RGB图像；该AP将该RGB图像转换到该YCoCg颜色空间，得到YCoCg图像，该YCoCg图像包括3个分量Y、Co、Cg。

在一种可能的实施方式中，该解码SPR图像为该YCoCg图像，该DDIC将该解码SPR图像从该亮色分离的颜色空间转换到该SPR图像所在的颜色空间，具体包括：该DDIC将该YCoCg图像的三个分量Y、Co、Cg转换为该RGB图像的三个分量R、G、B；该DDIC将该RGB图像转换为该RGB delta图像。

在一种可能的实施方式中，该方法还包括：该DDIC对该解码SPR图像进行Demura处理，得到目标显示的SPR图像。

在一种可能的实施方式中，该方法还包括：该AP对该第一数据流进行格式封装，得到第二数据流，该第二数据流为与该发送接口和该接收接口相匹配的数据流；将该第二数据流发送给该DDIC的接收接口；该DDIC对该接收接口接收的该第二数据流进行解封装，得到该第一数据流。

本申请第八方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第五方面或者其任一种可能的实施方式中该的方法。

本申请第九方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第六方面或者其任一种可能的实施方式中该的方法。

本申请第十方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第七方面或者其任一种可能的实施方式中该的方法。

本申请第十一方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第五方面或者其任一种可能的实施方式中该的方法。

本申请第十二方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第六方面或者其任一种可能的实施方式中该的方法。

本申请第十三方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得该计算机或处理器执行如上述第七方面或者其任一种可能的实施方式中该的方法。

附图说明

图1a为本申请实施例提供的一种示例性的传统显示屏常用的像素排布方式RGBStripe显示屏；

图1b为本申请实施例提供的一种示例性的SPA排布显示屏；

图1c为本申请实施例提供的另一种示例性的SPA排布显示屏；

图1d为本申请实施例提供的另一种示例性的SPA排布显示屏；

图2a为本申请实施例提供的一种示例性的图像处理装置的架构示意图；

图2b为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图3为本申请实施例提供的一种示例性的对SPR图像数据进行编码的示例；

图4a为本申请实施例提供的另一种对SPR图像数据进行编码的示例；

图4b为本申请实施例提供的另一种对SPR图像数据进行编码的示例；

图5a为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图5b为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图5c为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图6a为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图6b为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图6c为本申请实施例提供的另一种示例性的图像处理装置的架构示意图；

图7为本申请实施例提供的一种示例性的颜色空间转换的输入输出示意图；

图8为本申请实施例提供的另一种示例性的颜色空间转换的输入输出示意图；

图9为本申请实施例提供的一种示例性的图像处理装置的硬件架构示意图；

图10为本申请实施例提供的一种图像处理的方法流程示意图；

图11为本申请实施例提供的另一种图像处理的方法流程示意图。

具体实施方式

本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

首先，为了便于理解本申请实施例，对本申请实施例涉及的一些概念或术语进行解释。

视频电子标准协会(Video Electronics Standards Association，VESA)：制定计算机和小型工作站视频设备标准的国际组织，图像压缩方面的标准工作组之一，VESA在2014年发布了显示数据流压缩(Display Stream Compression，DSC)算法。

DSC：图像压缩方面的标准压缩算法之一，2014年由VESA发布，具备实时编码解码的特性、固定的压缩比例、低成本和高显示质量等特点。DSC压缩算法与传统的压缩算法相比，不需要更多帧数据，在多媒体芯片内部无需更多的存储资源，并且与显示接口兼容。DSC主要针对高端电子设备的高质量音视频传输需求，示例性的，DSC压缩算法适用于对基于移动产业处理器接口(Mobile Industry Processor Interface，MIPI)传输音视频数据时对音视频数据进行编码。

颜色空间(Color Space)：颜色可以是眼睛对于不同频率的光线的不同感受，也可以表示客观存在的不同频率的光。颜色空间是人们建立起用来表示色彩的坐标系统所定义的色彩范围。色域与色彩模型一起定义一个颜色空间。其中，色彩模型是用一组颜色成分表示颜色的抽象数学模型。色彩模型例如可以包括三原色光模式(red green blue，RGB)、印刷四色模式(cyan magenta yellow key plate，CMYK)。色域是指一个系统能够产生的颜色的总合。示例性的，Adobe RGB和sRGB是两个基于RGB模型的不同的颜色空间。

RGB颜色空间(Red Green Blue color space)：RGB定义了红色、绿色与蓝色三原色的颜色，其中，三原色中一个颜色的色彩值取最大值，且其它两个颜色的色彩值都为零时所对应的颜色表示该取最大值的颜色。示例性的，红色、绿色与蓝色三原色中，色彩值R、G和B的取值均为0-255，则当R、G取值均为零时，B取值为255时所对应的颜色表示蓝色。RGB格式的图像中每个像素包含R、G、B三个子像素。

YUV：为一种亮色分离的颜色空间，YUV格式的图像中每个像素包含一个亮度分量Y、一个色度分量U、一个色度分量V，其中，Y表示明亮度(Luminance、Luma)，U和V表示色度(Chroma)。

YCoCg：为一种亮色分离的颜色空间，具有良好的变换编码增益。YCoCg格式的图像中每个像素包含一个亮度值Y，两个色度值Co和Cg，其中Co表示橙色色度(chrominanceorange),Cg表示绿色色度(chrominance green)。RGB颜色空间和YCoCg颜色空间转换关系如公式1所示：

UYVY：属于YUV颜色空间的一种数据格式，UYVY格式的图像中每2个像素包含两个Y分量，一个U分量和一个V分量。

表1

如表1所示，P0-P3表示4个像素，当这4个像素在RGB颜色空间中时，每个像素包含一个R、G、B，当这4个像素在YUV颜色空间中时，每个像素包含一个Y、U、V，当这4个像素在UVYV颜色空间中时，每2个像素包含两个Y，一个U和一个V。

每英寸的像素数(Pixels Per Inch，PPI)越高的显示面板能够提供更加细腻精美的画面，提升客户观看的视觉效果。PPI越高，显示面板包含的像素就越多，显示分辨率就越高。然而显示装置的显示面板的尺寸往往是有限制的，想要在尽量不扩展显示面板尺寸的情况下提升显示面板的分辨率，这大大提升了显示面板的工艺难度和制造成本。为了克服该问题，业界采用子像素排布(sub-pixel arrangement)的显示面板，SPA显示面板的物理子像素个数比要显示的图像的子像素的个数少。

如图1a所示，为本申请实施例提供的一种传统显示屏常用的像素排布方式RGBStripe显示屏，在RGB Stripe显示屏中，每个像素包含三个子像素，分别为红色子像素R、绿色子像素G和蓝色子像素B。

如图1b所示，为本申请实施例提供的一种示例性的SPA显示屏，图1b中的SPA显示屏采用RGBG排布，每个像素包含两个子像素，图1b中第a行中的像素1包含R、G两个子像素，像素2包含B、G两个子像素，像素3包含R、G两个子像素，像素4包含B、G两个子像素，以RG、BG的组合交替出现。

如图1c所示，为本申请实施例提供的另一种示例性的SPA显示屏，图1c中的SPA显示屏采用RGB delta排布，每个像素均包含RGB三个子像素，相邻两个像素存在共用的子像素，以图1c中的第a行为例，像素1和像素2共用一个蓝色子像素B2，像素2和像素3共用红色子像素R2和绿色子像素G3。

可以看出，在RGB Stripe排布的显示屏中，三个像素由9个子像素组成；在RGBG排布的显示屏中，三个像素由6个子像素组成；在RGB delta排布的显示屏中，三个像素由6个子像素组成。因此，当像素个数相同时，RGBG排布和RGB delta排布比RGB Stripe排布所需的子像素个数更少。示例性的，假如待显示图像的尺寸为3840*2160*3，RGBG排布的SPA显示屏只需要有3840*2160*2个子像素就可以正常显示待显示图像，在保证分辨率的前提下大大降低了显示屏的子像素的个数。但是，原始图像数据必须经过子像素渲染(Sub-pixelRendering，SPR)处理才可以在SPA屏上正常显示。SPR技术是通过专有子像素呈现算法使得高分辨率的图像可以显示在低分辨率的显示面板上的技术。应当理解，RGB和RGBG都属于RGB颜色空间。

RGBG排布和RGB delta排布为两种示例性的SPA显示屏的排布方式，且这两种排布方式像素个数与子像素个数的比例都是1:2，可选的，还存在其他排布方式的SPA显示屏，在一些SPA显示屏中，一个像素包含的子像素个数也可以小于2，例如一个像素可以只包含1.75个子像素或者一个像素只包含1.5个子像素，如图1d所示，为一种示例性的SPA排布方式SPR1.5，在SPR1.5排布中，一个像素包含1.5个子像素，在该显示面板中，有4个像素，6个子像素，相当于每个像素包含1.5个子像素。

随着显示屏的显示分辨率越来越高，图像处理模块与图像显示模块之间的数据传输量也越来越大，因此传输图像数据的带宽和功耗都随之增加。本申请实施例提出一种图像处理装置的新架构，在本申请实施例提供的图像处理装置中，图像处理模块传到图像显示驱动模块的数据量大大减小，从而降低图像数据从图像处理模块传到图像显示驱动模块所需的传输带宽和功耗。本申请实施例提出的架构适用于有源矩阵有机发光二极体(Active-matrix organic light emitting diode，AMOLED)、液晶显示器(Liquid CrystalDisplay，LCD)、为发光二极管显示器(Micro Light Emitting Diode Display,microLED)等显示屏，并且适用的产品形态不局限于手机、平板电脑、照相机、摄像机等可移动终端，同时可适用于电脑、电视等具有显示屏的电子设备。示例性的，本申请实施例提出的架构尤其适用于有高质量图像或视频显示需求的电子设备。

如图2a所示，为本申请实施例提供的一种示例性的图像处理装置的架构示意图。

该图像处理装置200包括系统芯片(System on Chip，SOC)201，显示驱动集成电路(Display Driving Integrated Circuit，DDIC)202，以及显示屏203。图2a所示的架构中，SOC和DDIC是两个独立的芯片，待显示的图像数据在SOC 201中处理之后，传送到DDIC 202处理，最终显示在显示屏203上。DDIC是显示屏的集成电路芯片，是显示屏成像系统的主要部分，DDIC 202用于驱动显示屏203，还可以用于控制驱动电流，可选的，图像处理装置可以包含多个DDIC。示例性的，显示屏203可以是LCD、AMOLED、microLED、发光二级管(LightEmitting Diode，LED)显示器，有机发光二极管(Organic Light-Emitting Diode，OLED)显示屏、阴极射线管(Cathode Ray Tube，CRT)显示屏等。显示屏203为SPA显示屏，其排布方式包括但不限于RGBG排布、RGB delta排布或SPR1.5排布等。

SOC 201包括子像素渲染模块2011、编码器2012和发送接口2013。

子像素渲染模块2011，用于对待显示图像进行子像素渲染SPR处理，得到SPR图像数据。

由于显示屏203为SPA显示屏，显示屏包含的物理子像素的个数小于原始的待显示图像的子像素的个数，原始的待显示图像不经过SPR处理，无法显示在具有较低分辨率的显示屏203上。子像素渲染模块2011对待显示图像进行SPR处理之后，得到SPR图像数据，该SPR图像数据的子像素个数以及子像素的排布方式符合显示屏203，因此SPR数据可以正确显示在显示屏203上。示例性的，得到的SPR图像数据可以为RGBG排布的图像数据或者RGB delta排布的图像数据。SPR处理包括现有的各种子像素渲染处理，例如可以为申请号为201810281666.7，发明名称为《像素处理方法及装置》的中国专利申请中的SPR处理。示例性的，子像素渲染模块2011为SOC内专用的固化硬件逻辑或专用的硬件集成电路，例如可以是GPU内的一个固化硬件核。在一种可选的方案中，子像素渲染模块也可以是跑在处理器上的软件模块。

编码器2012，用于对2011处理得到的SPR数据进行编码压缩，得到压缩图像数据。

在一种可选的方案中，编码器2012包括4个处理通道，编码器2012可以对4个输入分量的图像数据进行编码压缩，也可以对小于4个输入分量的图像数据进行编码压缩，例如可以对3个输入分量进行编码。当编码器2012对3个输入分量进行编码时，输入分量与通道之间无对应性，从编码器的4个通道中任选3个通道即可。

如图3所示，为本申请实施例提供的一种对SPR图像数据进行编码的示例。SPR图像数据为RGB delta排布的数据，编码器包括4个通道：通道一、通道二、通道三和通道四。在编码器对RGB delta排布的数据进行编码压缩之前，对RGB delta数据进行格式映射得到映射RGB数据，映射RGB数据每个像素包含三个分量R、G、B，应当理解，映射前后，子像素个数保持不变，将RGB delta图像进行格式映射到RGB图像不会导致数据量增加。在图3中，R分量由通道一处理，G分量由通道二处理，B分量由通道三处理，通道四闲置，应当理解，图3中的通道分配方式只是一种示例，可选的，闲置的通道可以是4个通道中的任一个通道，且通道与数据分量之间也没有对应性，例如可以由通道一处理G分量，通道二处理B分量，通道三处理R分量，本申请实施例对此不做限定。

在一种可选的方案中，编码器中还包括颜色空间转换(Color Space Conversion，CSC)模块，示例性的，该CSC模块可以由专用的硬件集成电路或硬件逻辑实现。CSC模块用于将RGB数据转换为YUV或YCoCg数据，YUV或YCoCg数据包含3个子分量，每个子分量各由一个通道来处理。可选的，该CSC模块还可以在编码器外部，CSC模块将YUV或者YCoCg数据送给编码器处理。

如图4a所示，为本申请实施例提供的另一种对SPR图像数据进行编码的示例。

SPR图像数据为RGBG排布的数据，编码器也包括4个通道：通道一、通道二、通道三和通道四，可以同时处理四个输入分量的图像数据。RGBG排布的数据，每两个像素具有4个分量R、G、B、G，分别由编码器的通道一至通道四处理，得到压缩数据。应当理解，输入分量与通道之间不具有对应性，图4a只示出了输入分量与通道的一种示例性的对应形式，还可以存在其他对应形式，本申请对此不作限定。

在一种可选的方案中，如图4b所示，在编码器对RGBG数据进行编码之前，将RGBG数据经过颜色空间转换CSC得到UYVY数据，UYVY数据每两个像素包含4个分量：一个U分量、一个V分量、2个Y分量，将这4个分量分别送给编码器的4个通道，每个通道处理一路分量数据，得到压缩数据。在一种可选的方案中，格式映射或颜色空间转换也可以在编码器内实现，此时编码器还包括CSC模块。

示例性的，编码器2012使用的编码算法可以为DSC1.2，DSC1.2为VESA提出的一种压缩算法，DSC1.2具有4条处理通道，可以对UVYV数据、RGBG排布或RGB delta排布的SPR图像数据进行编码处理。编码器2012也可以采用DSC1.1压缩算法对SPR数据进行编码，但是由于DSC1.1只能对三分量图像数据进行编码，在采用DSC1.1对SPR数据进行编码之前，需要对SPR图像数据进行上采样，使得处理后的SPR图像数据中每个像素也包含3个分量。应当理解，三分量数据是指1个像素包含3个子像素的图像数据，

发送接口2013，用于将编码器2012得到的压缩数据发送给DDIC 202。

示例性的，发送接口2013可以为MIPI发送接口(或者说MIPI发送器)、MIPI标准化的显示串行接口(Display Serial Interface，DSI)或者VESA标准化的嵌入式显示端口(Embedded Display Port，eDP)。在一种可选的情况中，发送接口2013也可以是高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)或者V-By-One接口，V-By-One接口是一种面向图像传输开发的数字接口标准。

在一种可选的方案中，编码器2012压缩编码得到的压缩数据与发送接口2013相匹配，或者说压缩数据的格式符合发送接口2013的格式要求。

在一种可选的方案中，系统芯片201还包括封装模块，用于对编码器得到的压缩数据进行格式封装，封装数据流符合发送接口2013的格式要求。应当理解，封装模块可以为固化的硬件逻辑或专用的集成电路。

在一种可选的方案中，发送接口2013发出的数据流配合发送接口的传输协议传送到DDIC的接收接口，示例性的，该传输协议为MIPI的D-phy或者C-phy。

应当理解，虽然图中未示出，SOC 201还可以包括以下中的至少一项：存储器、微处理器和微控制器(Microcontroller Unit，MCU)、应用处理器(Application Processor，AP)、图像数据处理器(Image Signal Processor，ISP)、数字信号处理器(Digital SignalProcessor、DSP)、图形处理单元(Graphics Processing Unit，GPU)或者具有图像或视频处理功能的集成电路等。SOC 201还可以包括清晰度处理模块，对比度处理模块和颜色校正模块等，应当理解，清晰度处理模块，对比度处理模块和颜色校正模块等均可以为固化的硬件逻辑或专用的集成电路。子像素渲染模块2011可以位于AP、ISP、GPU或者其他通用处理器中，本申请实施例对子像素渲染模块的位置不做限定。

DDIC 202包括接收接口2021和解码器2022，可选的，DDIC202还可以包括屏幕亮度补偿器2023。

接收接口2021，用于接收发送接口2013发送过来的压缩数据。

示例性的，接收接口可以为MIPI接收器、MIPI标准化的DSI、VESA标准化的eDP、HDMI接收器或者V-By-One接口，接收接口2021与发送接口2013是相匹配的，当发送接口2013是MIPI发送器时，接收接口2021是MIPI接收器，当发送接口2013是HDMI发送器时，接收接口2021是HDMI接收器，以此类推。

在一种可选的方案中，接收接口2021接收的压缩数据与接收接口2021的格式要求相匹配。

在一种可选的方案中，DDIC 202还包括解封装模块，用于对接收的压缩数据进行格式解封装，得到解码器可以识别的压缩数据。

解码器2022，用于对压缩图像数据进行解码，得到SPR图像数据。

应当理解，解码器2022与编码器2012相匹配，解码器2022可以识别编码器2012得到的编码压缩数据，并可以将编码压缩数据解压为压缩前的SPR图像数据，SPR图像数据包含色彩信息，可以在显示屏上显示。示例性的，当编码器2012采用DSC1.2压缩算法，对应的，解码器2022采用DCS1.2对应的解码算法。

屏幕亮度补偿器2023，用于对SPR图像数据进行亮度补偿，以补偿屏幕的亮度不一致的问题。

应当理解，显示屏幕能够做到单独控制每个子像素的开关，由于制作工艺的局限性，每个子像素的显示单元并不是完全一致，各种类型的显示屏或多或少都会出现一种亮度不均匀的现象，业内也称为Mura现象。所谓Mura现象是指在为每个子像素的显示单元设定相同的像素值情况下，每个子像素显示单元显示的亮度却是不一致的，所以人眼看上去显示面板的亮度是不均匀的。

示例性的，该屏幕亮度校正模块为Demura模块，Demura技术通过检测Mura区域、获取Mura区域的像素点的补偿数据，并基于这些补偿数据对Mura区域的像素进行补偿，以消除显示屏工艺限制带来的亮度不均匀现象。Demura模块，用于对SPR图像数据进行Demura，以补偿屏幕Mura现象带来的亮度不均匀问题。

可选的，DDIC 202还包括伽马Gamma校正器，用于对显示屏203进行gamma校正。

应当理解，图像数据在显示屏幕上显示时，由于人眼对不同亮度的敏感度不一致和屏幕自身的光电特性，屏幕显示出的图像亮度与图像的原始亮度之间存在着一定偏差。因此，屏幕显示出的图像和输入图像相比存在失真。屏幕显示器的物理特性决定了如果输入的灰阶值是线性变化的，输出的亮度值就不是线性的，对屏幕进行Gamma校正，可以消除屏幕显示出的图像与输入图像之前的偏差。应当理解，在一种可选的情况中，伽马校正器也可以在SOC的AP中。

可选的，DDIC 202还包括数模转换器(Digital to analog converter，DAC)，用于将数字图像转换为模拟信号，示例性的，该模拟信号为驱动电流，DDIC根据数字图像的像素值控制驱动电流的大小，使得不同像素值的像素在显示屏上显示出不同的亮度值。

可选的，DDIC 202还包括存储器，例如可以包括静态随机存储器(Static RandomAccess Memory，SRAM)。由于SPR处理之后的图像数据量极大减小，在DDIC侧占用的存储空间也变小。

DDIC 202将经过Demura和gamma校正的SPR图像数据发送给显示屏203进行显示。

具有高质量图像或视频显示需求的电子设备为了满足不断提升的分辨率要求，通常会采用SPA显示屏，原始输入的三分量的图像数据必须经过SPR处理才可以在SPA显示屏上正确显示。现有技术中，对图像数据适应显示屏的SPR处理是在DDIC中完成的，本申请实施例提出的图像处理装置的架构中，SPR处理在SOC中完成，由于SPR处理之后的图像数据每个像素包含的子像素个数变小，图像数据量大大减小，示例性的，如果SPR处理后的图像数据为RGBG排布或者RGB delta排布的数据，则SPR处理后的数据是原始图像数据的2/3；如果SPR处理后的图像数据为SPR1.5排布的数据，则SPR处理后的数据是原始图像数据的1/2。由于SPR处理后的图像数据量大大减小，对图像数据进行编码之后的数据量也大大减小，将图像数据从SOC传输到DDIC所需的带宽和功耗也大大降低，DDIC处理的数据量以及DDIC侧的存储空间都极大减小，大大提高了图像处理装置的性能。

并且对于SPR模块来说，由于SOC侧的集成度更高，SPR模块占用的硬件逻辑的面积更小，SPR模块或者说SPR知识产权(Intellectual Property，IP)核本身的成本和功耗也会减少。

进一步的，本申请实施例的编码器包含4条处理通道，可以对小于或等于4分量输入的图像数据进行编码处理，因此可以对SPR处理后的RGBG和RGB delta数据直接进行编码处理，并得到符合传输接口格式和传输协议的压缩数据。

在一种可选的方案中，图像处理装置也可以包括SOC和DDIC，而不包括显示屏，显示屏为图像处理装置外侧的显示设备的显示屏，如图2b所示。关于系统芯片和显示驱动芯片请参考图2a部分的描述，此处不再赘述。显示屏300为图像处理装置200之外的电子设备的显示屏。示例性的，这种情况下，该图像处理装置可以为手机中包含SOC和DDIC的集成芯片或处理器产品，显示屏300为手机的显示屏，此时，图像处理装置200和显示屏300共同构成手机或其他具有显示屏的终端。

如图5a所示，为本申请实施例提供的另一种示例性的图像处理装置的架构示意图。图像处理装置500包括应用处理器AP 501、显示驱动集成电路DDIC 502和显示屏503，其中AP 501和DDIC 502集成在系统芯片SOC内部。AP 501包括子像素渲染模块5011、编码器5012和发送接口5013，DDIC 502包括接收接口5021、解码器5022和屏幕亮度补偿器5023。可选的，应用处理器AP 501还可以包括封装模块，DDIC 502还可以包括解封装模块、gamma校正器和存储器等。对于子像素渲染模块5011、编码器5012、发送接口5013、接收接口5021、解码器5022、屏幕亮度补偿器5023、封装模块、解封装模块、gamma校正器请参考前述实施例，此处不再赘述。DDIC的存储器用于存储接收接口的编码压缩的数据流，或者解码器解码得到的SPR图像数据。显示屏503为SPA显示屏，显示屏503的种类包括但不限于LCD、AMOLED、microLED、LED、OLED以及CRT等。

待显示图像数据在AP 501进行子像素渲染和编码压缩处理之后，通过发送接口将压缩图像数据传送给DDIC 502，接收接口接收到压缩的图像数据之后，进行解码处理，得到屏幕可以显示的SPR图像数据，进一步的，屏幕亮度补偿器5023对解码得到的SPR图像数据进行亮度补偿，以补偿屏幕的亮度不均匀问题。示例性的，5023对SPR图像数据进行Demura处理，以补偿屏幕的Mura现象带来的亮度不均匀问题。可选的，DDIC 502还包括DAC，用于将图像数据转换为驱动电流，DDIC驱动显示屏503，将图像显示在显示屏上。可选的，AP 501对图像数据的处理还可以包括预处理模块，预处理模块用于对数据图像进行清晰度处理、对比度调整、颜色增强、颜色校正、缩放处理等。

在一种可能的方案中，AP 501集成在SOC内部，DDIC 502位于SOC之外，为独立集成的芯片，如图5b所示。

在一种可能的方案中，图像处理装置500包括AP 501和DDIC 502，但是不包括显示屏503，如图5c所示。

在一种可能的方案中，图像处理装置可以包括AP，但是不包括DDIC和显示屏。

如图6a所示，为本申请实施例提供的另一种图像处理装置的架构示意图。

图像处理装置600包括系统芯片SOC 601、显示驱动集成电路DDIC 602和显示屏603。

SOC 601包括：

子像素渲染模块6011：用于对待显示图像进行子像素渲染SPR处理，得到SPR图像数据，SPR图像数据为可以在SPA屏上正常显示的图像数据。示例性的，子像素渲染模块6011为SOC内专用的固化硬件逻辑或专用的硬件集成电路，例如可以是GPU内的一个固化硬件核。

具体请参考对子像素渲染模块2011的描述，此处不再赘述。

颜色空间转换模块6012：用于将SPR图像转换到亮色分离的颜色空间中，得到亮色分离的SPR图像。

示例性的，该SPR图像可以属于RGB颜色空间，该SPR图像可以为RGBG图像或者RGBdelta图像，该亮色分离的颜色空间可以为YUV颜色空间或者YCoCg颜色空间。

示例性的，该SPR图像为RGBG图像，该亮色分离的颜色空间为YUV颜色空间。

此时，颜色空间转换模块6012：具体用于将RGBG图像转换到YUV颜色空间，得到该亮色分离的SPR图像，该亮色分离的SPR图像包括4个分量P0、P1、P2和P3，该4个分量P0、P1、P2和P3中包含两个亮度信号分量和两个色度信号分量。示例性的，P0、P1、P2和P3可以为：U、Y、V和Y。该亮色分离的SPR图像包括但不限于：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

示例性的，该SPR图像为RGB delta图像，该亮色分离的颜色空间为YCoCg颜色空间。此时，SOC 601还包括第一格式映射模块，用于将RGB delta图像转换为RGB图像，应当理解，将RGB delta图像进行格式映射到映射RGB图像，映射前后数据的子像素的个数保持不变，将RGB delta图像进行格式映射到RGB图像不会导致数据量增加；示例性的，如图1c所示为RGB delta排布，第a行包含像素1、像素2、像素3共3个像素，其中像素1包含(R1、G1、B2)，像素2包含(R2、G3、B2)，像素3包含(R2、G3、B3)，像素1和像素2共用一个蓝色子像素B2，像素2和像素3共用红色子像素R2和绿色子像素G3。对RGB delta图像进行格式映射后得到的映射RGB图像子像素个数不变，第a行包含2个像素，分别为(R1、G1、B2)、(R2、G3、B3)，格式映射前后，子像素的个数并没有发生变化。

颜色空间转换模块6012：具体用于将RGB图像转换到YCoCg颜色空间，得到YCoCg图像，YCoCg图像包括3个分量Y、Co、Cg。

将SPR图像转换到亮色分离的颜色空间中进一步降低了图像数据的数据量，节省了传输带宽；并且，在相同的压缩比下，减少了由压缩和解码导致的图像失真，使得解码获得的图像显示效果更好。

示例性的，颜色空间转换模块6012为SOC内专用的固化硬件逻辑或专用的硬件集成电路，可选的，6012可以为AP中的固化硬件逻辑或固化硬件核，或者可以为GPU中的固化硬件逻辑或固化硬件核。

示例性的，颜色空间转换模块6012中包括一个4*4的颜色空间转换系数矩阵，该颜色空间转换系数矩阵包括16个去相关系数：X0-X15，输入为RGBG图像的四个分量R、G、B、G，输出同样为四个分量P0、P1、P2和P3，如图7所示。此时，该颜色空间转换矩阵被固化在硬件逻辑或硬件核中，与输入的R、G、B、G相比，输出的P0、P1、P2、P3之间的亮度和色度之间的相关性大大减小。

编码器6013：用于对去相关处理后的SPR图像数据进行编码，得到压缩的图像数据。

具体请参考对编码器2012的描述，此处不再赘述。

发送接口6014，用于将压缩的图像数据发送给DDIC 602。具体请参考对发送接口2013的描述，此处不再赘述。

可选的，SOC 601还包括封装模块、图像预处理模块等。

DDIC 602包括：

接收接口6021，用于接收发送接口6015发送过来的压缩的图像数据。具体请参考对接收接口2021的描述，此处不再赘述。

解码器6022，用于对压缩的图像数据进行解码，得到解码SPR图像数据。具体请参考对解码器2022的描述，此处不再赘述。

颜色空间转换模块6023，用于将解码器得到的解码SPR图像数据转换到SPR图像数据所在的颜色空间。

解码器得到的解码SPR图像数据位于YUV颜色空间，解码SPR图像包含4个分量P0、P1、P2和P3，示例性的，该解码SPR图像数据可以包括但不限于：UYVY图像、YVYU图像、YUYV图像或VYUY图像。此时，颜色空间转换模块6023，具体用于将解码SPR图像的四个分量P0、P1、P2和P3转换为RGBG图像的四个分量R、G、B、G。

解码SPR图像为YCoCg图像时，颜色空间转换模块6023，具体用于将YCoCg图像的三个分量Y、Co、Cg转换为所述RGB图像的三个分量R、G、B。此时，DDIC还包括第二格式映射单元，用于将RGB图像转换为RGB delta图像。应当理解，第二格式映射单元为第一格式映射单元中格式映射的逆映射，第一格式映射单元将RGB delta数据映射为RGB数据，第二格式映射单元将RGB数据映射为RGB delta数据，在此过程中，图像的子像素个数保持不变。

示例性的，颜色空间转换模块6023为SOC内专用的固化硬件逻辑或专用的硬件集成电路，可选的，6023可以为AP中的固化硬件逻辑或固化硬件核，或者可以为GPU中的固化硬件逻辑或固化硬件核。

示例性的，颜色空间转换模块6023中也包括一个4*4的颜色空间转换矩阵，该矩阵包括16个系数：Y0-Y15，输入为四个像素分量P0、P1、P2和P3，输出为RGBG图像的四个像素分量R、G、B、G，如图8所示。此时，该矩阵被固化在硬件逻辑或硬件核中。示例性的，该矩阵为颜色空间转换模块6012中的颜色空间转换矩阵的逆矩阵，可选的，该矩阵不是6012中的颜色空间转换矩阵的逆矩阵，例如可以对去颜色空间转换矩阵的逆矩阵进行微调或者更换若干个系数得到6023中的矩阵。

屏幕亮度补偿器6024，用于对SPR图像数据进行亮度补偿，以消除屏幕亮度不一致的问题。具体请参考对屏幕亮度补偿器2023的描述，此处不再赘述。

可选的，DDIC 602还包括伽马Gamma校正器、DAC和存储器，具体请参考前述实施例的描述，此处不再赘述。

在SOC侧对待显示的图像数据进行子像素渲染SPR处理，大大降低了要传输的数据量，降低了将图像数据从SOC发送到DDIC所需的带宽和功耗，同时，也降低了DDIC侧处理的数据量和存储空间，降低了图像处理装置的功耗，提升了装置性能。进一步的，本申请实施例在SOC侧进行颜色空间转换，将SPR图像转换到亮色分离的SPR图像，进一步降低了图像的数据量，节省传输带宽，并且降低了图像的亮度与色度的相关性，减少了由压缩和解码导致的图像失真，在保证相同压缩比的前提下，解码之后得到的图像显示到显示屏上效果更好，失真更少。

并且对于SPR模块来说，由于SOC侧的集成度更高，SPR模块占用的硬件逻辑的面积更小，SPR模块或者说SPR知识产权(Intellectual Property，IP)核本身的成本和功耗也会减少。

在一种可选的方案中，图像处理装置600包含系统芯片601和DDIC 602，但是不包括显示屏603，如图6b所示，此时，图像处理装置600的产品形态可以是处理器芯片，处理器芯片和显示屏共同构成电子设备或移动终端，如智能手机、相机或者电视机等。

在一种可选的方案中，子像素渲染模块、颜色空间转换模块、编码器和发送接口均集成在AP内部，AP和DDIC集成在SOC中，如图6c所示。

在一种可能的方案中，图像处理装置包括折叠屏，例如图像处理装置的折叠屏包括第一显示屏和第二显示屏，第一显示屏和第二显示屏耦合，且第一显示屏和第二显示屏能够共同用于显示同一个图像；图像处理装置还包括第一DDIC和第二DDIC，其中，第一DDIC用于驱动第一显示屏，第二DDIC用于驱动第二显示屏，多个显示屏之间基于多个DDIC进行数据传输和沟通，由于SPR处理需要参考周围的像素，如果SPR处理在DDIC中，则对于多折叠屏的图像处理装置，多个DDIC之间存在数据交互，本申请实施例将SPR处理放在SOC侧，避免了多个DDIC之间存在数据交互，减少了芯片间的数据交互和数据处理，避免了电磁干扰(Electromagnetic Interference，EMI)和静电放电(Electrostatic Discharge，ESD)问题。

如图9所示，为本申请实施例提供的一种示例性的图像处理装置的硬件架构示意图。图像处理装置900的硬件架构可以适用于SOC和AP。

示例性的，该图像处理装置900包括至少一个中央处理单元(Central ProcessingUnit，CPU)、至少一个存储器、GPU、解码器、专用的视频或图形处理器、接收接口和发送接口等。可选的，图像处理装置900还可以包括微处理器和微控制器MCU等。在一种可选的情况中，图像处理装置900的上述各个部分通过连接器相耦合，应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线或总线等相连，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它形式的接口，本实施例对此不做限定。在一种可选的情况中，上述各部分集成在同一个芯片上；在另一种可选的情况中，CPU、GPU、解码器、接收接口以及发送接口集成在一个芯片上，该芯片内部的各部分通过总线访问外部的存储器。专用视频/图形处理器可以与CPU集成在同一个芯片上，也可以作为单独的处理器芯片存在，例如专用视频/图形处理器可以为专用ISP。在本申请实施例中涉及的芯片是以集成电路工艺制造在同一个半导体衬底上的系统，也叫半导体芯片，其可以是利用集成电路工艺制作在衬底(通常是例如硅一类的半导体材料)上形成的集成电路的集合，其外层通常被半导体封装材料封装。所述集成电路可以包括各类功能器件，每一类功能器件包括逻辑门电路、金属氧化物半导体(Metal-Oxide-Semiconductor，MOS)晶体管、双极晶体管或二极管等晶体管，也可包括电容、电阻或电感等其他部件。每个功能器件可以独立工作或者在必要的驱动软件的作用下工作，可以实现通信、运算、或存储等各类功能。

可选的，CPU可以是一个单核(single-CPU)处理器或多核(multi-CPU)处理器；可选的，CPU可以是多个处理器构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。在一种可选的情况中，对于图像信号或视频信号的处理一部分由GPU完成，一部分由专用视频/图形处理器完成，还有可能由跑在通用CPU或GPU上的软件代码完成。

存储器，可用于存储计算机程序指令，包括操作系统(Operation System，OS)、各种用户应用程序、以及用于执行本申请方案的程序代码在内的各类计算机程序代码；存储器还可以用于存储视频数据、图像数据等；CPU可以用于执行存储器中存储的计算机程序代码，以实现本申请实施例中的方法。可选的，存储器可以是非掉电易失性存储器，例如是嵌入式多媒体卡(Embedded Multi Media Card，EMMC)、通用闪存存储(Universal FlashStorage，UFS)或只读存储器(Read-Only Memory，ROM)，或者是可存储静态信息和指令的其他类型的静态存储设备，还可以是掉电易失性存储器(volatile memory)，例如随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的程序代码并能够由计算机存取的任何其他计算机可读存储介质，但不限于此。

该接收接口可以为处理器芯片的数据输入的接口，在一种可选的情况下，该接收接口可以是MIPI、HDMI或Display Port(DP)等。

如图10所示，为本申请实施例提供的一种图像处理的方法流程示意图。在图10对应的方法示例中，输入的图像的格式为RGB，子像素渲染之后得到的SPR图像数据为RGBG图像，显示屏为SPA显示屏，应当理解，本申请实施例并不对对输入的图像格式、SPR处理之后的图像格式等构成限定，例如输入的图像格式还可以为YUV、YCoCg、原始格式的图像raw图像等，SPR数据还可以是RGB delta或SPR1.5等。

该方法包括：

步骤一、对待显示图像进行子像素渲染SPR处理，得到SPR图像数据，该SPR图像数据为能够在SPA显示屏上正常显示的图像。示例性的，该待显示图像为RGB图像，SPR处理得到的图像为RGBG图像，RGBG图像每2个像素包含4个分量：一个R分量，一个B分量，两个G分量，RGBG图像包含的子像素个数小于RGB图像包含的子像素个数。

步骤二、对RGBG图像进行编码，得到第一数据流，示例性的，该第一数据流为比特流，第一数据流的数据量小于输入的RGBG图像的数据量；编码由编码器完成，编码器包含4个处理通道，对RGBG的2个像素的4个分量同时进行编码，每个通道处理一个分量，4个通道的处理结果共同构成第一数据流。

步骤三、对第一数据流进行封装，得到第二数据流。该第二数据流为与传输接口(包括AP的发送接口和DDIC的接收接口)以及传输协议相匹配的数据流。例如，当发送接口为MIPI发送器，接收接口为MIPI接收器，传输协议为MIPI标准的C-phy协议，则第二数据流为符合MIPI标准的数据流。示例性的，封装可以由AP的发送接口完成，也可以由封装模块完成，该封装模块可以为AP内一个专用的固化硬件逻辑。

步骤四、将第二数据流发送给DDIC。示例性的，通过AP的发送接口发送给DDIC的接收接口。

步骤五、对该第二数据流进行解封装，得到该第一数据流。示例性的，解封装可以由DDIC的接收接口完成，也可以由解封装模块完成，该解封装模块可以为DDIC内一个专用的固化硬件逻辑。解封装得到的第一数据流为解码器可以处理或识别的数据流。

步骤六、对第一数据流进行解码，得到能够在显示屏上显示的RGBG图像数据。

由于显示屏制造工艺的限制，显示屏存在mura现象，为了补偿显示屏的mura现象，可选的，该方法还包括：

步骤七、对解码得到的RGBG图像数据进行屏幕亮度补偿处理，得到补偿处理后的RGBG图像数据。示例性的，对解码得到的RGBG图像数据进行Demura处理，基于补偿数据对mura区域的像素进行补偿。

步骤八、驱动SPA显示屏，将补偿处理后的RGBG图像数据显示在显示屏上。

图10对应的方法实施例中，步骤一-步骤三由AP侧完成，步骤四由AP和DDIC配合完成，步骤五-步骤八由DDIC完成。

在一种可选的情况中，经过SPR处理后的图像为RGB delta图像。

对SPR图像进行编码，得到第一数据流，具体包括：

对RGB delta图像进行格式映射，得到映射RGB图像，应当理解，这里的格式映射前后，图像的子像素数的总量不会发生改变，并不会导致图像的数据量增加；

将RGB图像进行颜色空间转换，将RGB图像转换到亮色分离的YCoCg颜色空间，得到YCoCg图像，YCoCg图像包括3个分量Y、Co、Cg；

对YCoCg图像进行编码，得到该第一数据流。

此时，AP侧的编码器可以只有三个处理通道，该三个处理通道分别对3个分量Y、Co、Cg同时进行编码处理；或者AP侧的编码器有4个处理通道，该4个处理通道中的任意3个处理通道分别对3个分量Y、Co、Cg同时进行编码处理。

在一种可选的情况中，AP将第一数据流通过传输接口发送给DDIC；

对应的，DDIC在通过传输接口收到第一数据流之后，对第一数据流进行解码，得到的解码图像为YCoCg图像，该方法还包括：

DDIC将YCoCg图像的三个分量Y、Co、Cg转换为RGB图像的三个分量R、G、B；

将RGB图像转换为能够在SPA显示屏上显示的RGB delta图像。

本申请实施例中，当AP侧的编码器有4个处理通道时，即可以对4分量的输入同时进行编码处理，也可以对3分量的输入同时进行编码处理。

如图11所示，为本申请实施例提供的另一种图像处理的方法流程示意图。与图10所示的方法实施例相比，图11对应的方法实施例在AP中对子像素渲染得到的RGBG数据进行颜色空间转换，将RGBG数据转换到亮色分离的颜色空间，进一步降低了图像的数据量，节省传输带宽，且降低了图像的亮度和色度之间的相关性，在对图像进行编码、解码之后得到的图像失真更少，显示效果更佳。

该方法包括：

步骤一、对待显示图像进行子像素渲染处理，得到SPR图像数据。

示例性的，该待显示图像为RGB图像，该SPR图像为RGBG图像。应当理解，该待显示图像还可以是YUV、YCoCg、raw等格式，此时，可以对待显示图像进行颜色空间转换得到RGB图像，该SPR图像数据可以是RGB delta或者SPR1.5图像。可选的，步骤一可以由AP完成，或者可以由SOC上的其他通用或专用处理器完成，或者也可以由前述的子像素渲染模块、子像素渲染处理核或者子像素渲染处理固化硬件逻辑完成。

步骤二、对RGBG图像数据进行颜色空间转换，将RGBG图像转换到亮色分离的颜色空间，得到4个输出分量P0、P1、P2、P3，4个输出分量包括两个亮度信号和两个色度信号。应当理解，每2个像素对应4个输入分量和4个输出分量，以2个像素为一组输入，输入包括R、G、B、G四个输入分量，输出包括P0、P1、P2和P3四个输出分量，示例性的，可以将RGBG图像转换到YUV空间中，此时，4个输出分量为：U、Y、V、Y，颜色空间转换的结果可以为UYVY图像、YVYU图像、YUYV图像或VYUY图像等。可选的，步骤二可以由AP、SOC上的其他通用或专用处理器完成，或者可以由前述的颜色空间转换模块、专用的颜色空间转换集成电路、专用的颜色空间转换固化硬件核完成。

输出图像为亮度色度分离的图像信号，若色度信号在传输过程中受到干扰，在还原到RGB空间进行显示的时候不会影响图像的亮度，降低了图像的色度和亮度信号的相关性，并且转换之后的图像的数据量进一步减小，从而可进一步节省带宽。

步骤三、对4个输出分量进行编码，得到第一数据流。

编码由AP的编码器实现，编码器包括4条处理通道，分别用于处理RGBG图像的4个分量R、G、B和G，其中，一条通道处理一个分量。具体请参考图10中步骤二的描述，此处不再赘述。

可选的，该方法还可以包括：

步骤四、对第一数据流进行封装，得到第二数据流。具体请参考图10中步骤三的描述，此处不再赘述。可选的，封装可以由AP侧的发送接口完成，或者由AP侧的封装模块或专用的封装集成电路完成。

步骤五、将第二数据流发送给DDIC。示例性的，通过AP的发送接口发送给DDIC的接收接口。

示例性的，AP的发送接口请参考对发送接口2013的描述，此处不再赘述。

可选的，该方法还可以包括：

步骤六、对该第二数据流进行解封装，得到该第一数据流。具体请参考图10中步骤五的描述，此处不再赘述。可选的，解封装可以由DDIC的接收接口完成，或者由DDIC侧的解封装模块或者解封装专用集成电路完成。

步骤七、对第一数据流进行解码，得到解码图像，该解码图像位于亮色分离的颜色空间，该解码图像包括4个分量P0、P1、P2和P3。示例性的，该解码图像可以为UYVY图像、YVYU图像、YUYV图像或VYUY图像等。可选的，解码由DDIC侧的解码器完成。

步骤八、对该解码图像进行颜色空间转换，得到RGBG图像，RGBG图像可以显示在SPA显示屏上。可选的，该颜色空间转换可以由DDIC侧的颜色空间转换模块完成，该颜色空间转换模块为专用的集成电路或者专用的固化硬件逻辑。

可选的，该方法还可以包括：

步骤九、对RGBG图像数据进行屏幕亮度补偿处理，得到补偿处理后的RGBG图像数据。示例性的，对解码得到的RGBG图像数据进行Demura处理，基于补偿数据对mura区域的像素进行补偿。可选的，屏幕亮度补偿处理可以由DDIC侧的屏幕亮度补偿器完成。

步骤十、驱动SPA显示屏，将补偿处理后的RGBG图像数据显示在显示屏上。可选的，步骤十由DDIC侧的驱动器完成。

应当理解，为了便于理解，图10、11对应的方法实施例以步骤的形式对方法进行描述，但是在某些情况下，可以以不同于此处的顺序执行所描述的步骤。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行本申请实施例提供的方法中的部分或全部功能。

本申请实施例还提供一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得计算机或处理器执行本申请实施例提供的任一个方法。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (42)

1.一种图像数据处理的装置，其特征在于，包括：系统芯片SOC和显示驱动器集成电路DDIC；所述SOC包括应用处理器AP，所述应用处理器AP包括：子像素渲染模块、编码器和发送接口；所述DDIC包括接收接口、解码器和屏幕亮度补偿器；所述DDIC用于驱动子像素排布SPA显示屏；

所述子像素渲染模块用于对原始待显示图像进行子像素渲染SPR，得到RGBG图像，所述RGBG图像能够在所述SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述编码器包括4个处理通道，用于对所述RGBG图像的4个分量R、G、B、G分别进行编码处理，得到第一数据流，其中，所述4个处理通道中的每个处理通道分别处理一个分量；

所述发送接口用于将所述第一数据流发送给所述接收接口；

所述解码器用于解码所述第一数据流，得到所述RGBG图像；

所述屏幕亮度补偿器用于对所述RGBG图像进行亮度补偿。

2.根据权利要求1所述的装置，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏；

所述DDIC包括：第一DDIC和第二DDIC，所述第一DDIC用于驱动所述第一显示屏，所述第二DDIC用于驱动所述第二显示屏。

3.根据权利要求1或2所述的装置，其特征在于，所述子像素渲染模块为固化硬件逻辑或硬件集成电路。

4.根据权利要求1至3任一项所述的装置，其特征在于，所述发送接口和所述接收接口均为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

5.一种图像数据处理的装置，其特征在于，包括：系统芯片SOC和显示驱动器集成电路DDIC；所述SOC包括：子像素渲染模块、编码器和发送接口；所述DDIC包括接收接口、解码器和屏幕亮度补偿器；所述DDIC用于驱动子像素排布SPA显示屏；

所述子像素渲染模块用于对原始待显示图像进行子像素渲染SPR，得到RGBG图像，所述RGBG图像能够在所述SPA显示屏上显示，所述SPA显示屏的物理子像素的个数小于所述原始待显示图像的子像素的个数，所述RGBG图像的子像素的个数小于所述原始待显示图像的子像素的个数；

所述编码器用于将所述RGBG图像转换为亮色分离的SPR图像，所述亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，所述U和所述V为色度信号分量，所述Y为亮度信号分量；

所述编码器包括4个处理通道，用于对所述亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理，得到第一数据流，其中，所述4个处理通道中的每个处理通道分别处理一个分量；

所述发送接口将所述第一数据流发送给所述接收接口；

所述解码器用于解码所述第一数据流，得到解码图像，所述解码图像包括所述4个分量U、Y、V和Y；

所述解码器还用于将所述解码图像的四个分量U、Y、V和Y转换为所述RGBG图像的四个分量R、G、B、G；

所述屏幕亮度补偿器用于对所述RGBG图像进行亮度补偿。

6.根据权利要求5所述的装置，其特征在于，所述亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

7.根据权利要求5或6所述的装置，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏；

所述DDIC包括：第一DDIC和第二DDIC，所述第一DDIC用于驱动所述第一显示屏，所述第二DDIC用于驱动所述第二显示屏。

8.根据权利要求5至7任一所述的装置，其特征在于，所述子像素渲染模块为固化硬件逻辑或硬件集成电路。

9.根据权利要求5至8任一项所述的装置，其特征在于，所述发送接口和所述接收接口均为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

10.一种系统芯片SOC，其特征在于，所述SOC包括应用处理器AP，所述应用处理器AP包括：子像素渲染模块、编码器和发送接口；

所述子像素渲染模块用于对原始待显示图像进行子像素渲染SPR，得到RGBG图像，所述RGBG图像能够在子像素排布SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述编码器包括4个处理通道，用于对所述RGBG图像的4个分量R、G、B、G分别进行编码处理，得到第一数据流，其中，所述4个处理通道中的每个处理通道分别处理一个分量；

所述发送接口用于发送所述第一数据流。

11.根据权利要求10所述的SOC，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏。

12.根据权利要求10或11所述的SOC，其特征在于，所述子像素渲染模块为固化硬件逻辑或硬件集成电路。

13.根据权利要求10至12任一项所述的SOC，其特征在于，所述发送接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

14.一种系统芯片SOC，其特征在于，所述SOC包括应用处理器AP，所述应用处理器AP包括：子像素渲染模块、编码器和发送接口；

所述子像素渲染模块用于对原始待显示图像进行子像素渲染SPR，得到RGBG图像，所述RGBG图像能够在子像素排布SPA显示屏上显示，所述SPA显示屏的物理子像素的个数小于所述原始待显示图像的子像素的个数，所述RGBG图像的子像素的个数小于所述原始待显示图像的子像素的个数；

所述编码器用于将所述RGBG图像转换为亮色分离的SPR图像，所述亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，所述U和所述V为色度信号分量，所述Y为亮度信号分量；

所述编码器包括4个处理通道，用于对所述亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理，得到第一数据流，其中，所述4个处理通道中的每个处理通道分别处理一个分量；

所述发送接口用于发送所述第一数据流。

15.根据权利要求14所述的SOC，其特征在于，所述亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

16.根据权利要求14或15所述的SOC，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏。

17.根据权利要求14至16任一所述的SOC，其特征在于，所述子像素渲染模块为固化硬件逻辑或硬件集成电路。

18.根据权利要求14至17任一项所述的SOC，其特征在于，所述发送接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

19.一种显示驱动器集成电路DDIC，其特征在于，所述DDIC包括：接收接口、解码器和屏幕亮度补偿器；所述DDIC用于驱动子像素排布SPA显示屏；

所述传输接口，用于接收第一数据流，所述第一数据流由RGBG图像的4个分量R、G、B、G分别进行编码处理得到，所述RGBG图像由原始待显示图像进行子像素渲染SPR得到；所述RGBG图像能够在所述SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述解码器用于解码所述第一数据流，得到所述RGBG图像；

所述屏幕亮度补偿器用于对所述RGBG图像进行亮度补偿。

20.根据权利要求19所述的DDIC，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏；

所述DDIC包括：第一DDIC和第二DDIC，所述第一DDIC用于驱动所述第一显示屏，所述第二DDIC用于驱动所述第二显示屏。

21.根据权利要求19或20所述的DDIC，其特征在于，所述接收接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

22.一种显示驱动器集成电路DDIC，其特征在于，所述DDIC包括：接收接口、解码器和屏幕亮度补偿器；所述DDIC用于驱动子像素排布SPA显示屏；

所述传输接口，用于接收第一数据流，所述第一数据流由亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理得到，所述亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，所述U和所述V为色度信号分量，所述Y为亮度信号分量；所述亮色分离的SPR图像由RGBG图像转换得到；所述RGBG图像由原始待显示图像进行子像素渲染SPR得到；所述RGBG图像能够在所述SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述解码器用于解码所述第一数据流，得到解码图像，所述解码图像包括所述4个分量U、Y、V和Y；

所述解码器还用于将所述解码图像的四个分量U、Y、V和Y转换为所述RGBG图像的四个分量R、G、B、G；

所述屏幕亮度补偿器用于对所述RGBG图像进行亮度补偿。

23.根据权利要求22所述的DDIC，其特征在于，所述亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

24.根据权利要求22或23所述的DDIC，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏；

所述DDIC包括：第一DDIC和第二DDIC，所述第一DDIC用于驱动所述第一显示屏，所述第二DDIC用于驱动所述第二显示屏。

25.根据权利要求22至24任一所述的DDIC，其特征在于，所述接收接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

26.一种图像数据处理的方法，其特征在于，所述方法由系统芯片SOC执行，所述SOC包括应用处理器AP，所述应用处理器AP包括：子像素渲染模块、编码器和发送接口；所述编码器包括4个处理通道；所述方法包括：

所述子像素渲染模块对原始待显示图像进行子像素渲染SPR，得到RGBG图像，所述RGBG图像能够在子像素排布SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述编码器的4个处理通道对所述RGBG图像的4个分量R、G、B、G分别进行编码处理，得到第一数据流，其中，所述4个处理通道中的每个处理通道分别处理一个分量；

所述发送接口发送所述第一数据流。

27.根据权利要求26所述的方法，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏。

28.根据权利要求26或27所述的方法，其特征在于，所述子像素渲染模块为固化硬件逻辑或硬件集成电路。

29.根据权利要求26至28任一项所述的方法，其特征在于，所述发送接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

30.一种图像数据处理的方法，其特征在于，所述方法由系统芯片SOC执行，所述SOC包括应用处理器AP，所述应用处理器AP包括：子像素渲染模块、编码器和发送接口；所述编码器包括4个处理通道，所述方法包括：

所述子像素渲染模块对原始待显示图像进行子像素渲染SPR，得到RGBG图像，所述RGBG图像能够在子像素排布SPA显示屏上显示，所述SPA显示屏的物理子像素的个数小于所述原始待显示图像的子像素的个数，所述RGBG图像的子像素的个数小于所述原始待显示图像的子像素的个数；

所述编码器将所述RGBG图像转换为亮色分离的SPR图像，所述亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，所述U和所述V为色度信号分量，所述Y为亮度信号分量；

所述编码器的4个处理通道对所述亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理，得到第一数据流，其中，所述4个处理通道中的每个处理通道分别处理一个分量；

所述发送接口发送所述第一数据流。

31.根据权利要求30所述的方法，其特征在于，所述亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

32.根据权利要求30或31所述的方法，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏。

33.根据权利要求30至32任一所述的方法，其特征在于，所述子像素渲染模块为固化硬件逻辑或硬件集成电路。

34.根据权利要求30至33任一项所述的方法，其特征在于，所述发送接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

35.一种图像数据处理的方法，其特征在于，所述方法由显示驱动器集成电路DDIC执行，所述DDIC包括：接收接口、解码器和屏幕亮度补偿器；所述DDIC用于驱动子像素排布SPA显示屏；所述方法包括：

所述传输接口接收第一数据流，所述第一数据流由RGBG图像的4个分量R、G、B、G分别进行编码处理得到，所述RGBG图像由原始待显示图像进行子像素渲染SPR得到；所述RGBG图像能够在所述SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述解码器解码所述第一数据流，得到所述RGBG图像；

所述屏幕亮度补偿器对所述RGBG图像进行亮度补偿。

36.根据权利要求35所述的方法，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏；

所述DDIC包括：第一DDIC和第二DDIC，所述第一DDIC用于驱动所述第一显示屏，所述第二DDIC用于驱动所述第二显示屏。

37.根据权利要求35或36所述的方法，其特征在于，所述接收接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

38.一种图像数据处理的方法，其特征在于，所述方法由显示驱动器集成电路DDIC执行，所述DDIC包括：接收接口、解码器和屏幕亮度补偿器；所述DDIC用于驱动子像素排布SPA显示屏；所述方法包括：

所述传输接口接收第一数据流，所述第一数据流由亮色分离的SPR图像的4个分量U、Y、V和Y分别进行编码处理得到，所述亮色分离的SPR图像包括4个分量U、Y、V和Y，其中，所述U和所述V为色度信号分量，所述Y为亮度信号分量；所述亮色分离的SPR图像由RGBG图像转换得到；所述RGBG图像由原始待显示图像进行子像素渲染SPR得到；所述RGBG图像能够在所述SPA显示屏上显示，所述SPA显示屏的物理子像素的个数和所述RGBG图像的子像素的个数均小于所述原始待显示图像的子像素的个数；

所述解码器解码所述第一数据流，得到解码图像，所述解码图像包括所述4个分量U、Y、V和Y；

所述解码器将所述解码图像的四个分量U、Y、V和Y转换为所述RGBG图像的四个分量R、G、B、G；

所述屏幕亮度补偿器对所述RGBG图像进行亮度补偿。

39.根据权利要求38所述的方法，其特征在于，所述亮色分离的SPR图像包括：UYVY图像、YVYU图像、YUYV图像或VYUY图像。

40.根据权利要求38或39所述的方法，其特征在于，所述SPA显示屏为折叠屏，所述SPA显示屏包括第一显示屏和第二显示屏；

所述DDIC包括：第一DDIC和第二DDIC，所述第一DDIC用于驱动所述第一显示屏，所述第二DDIC用于驱动所述第二显示屏。

41.根据权利要求38至40任一所述的方法，其特征在于，所述接收接口为移动产业处理器接口MIPI、MIPI标准化的显示串行接口DSI或者视频电子标准协会VESA标准化的嵌入式显示端口eDP。

42.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令；

当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求26至29任一项所述的方法；

或者，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求30至34任一项所述的方法；

或者，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求35至37任一项所述的方法；

或者，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求38至41任一项所述的方法。