CN114416009A

CN114416009A - 图像处理方法、装置、存储介质及电子设备

Info

Publication number: CN114416009A
Application number: CN202011173507.9A
Authority: CN
Inventors: 李志林
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2022-04-29

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括：获取所述第一显示区与所述第二显示区邻接处的多个第一像素；将所述邻接处的多个第一像素分别拆分成预设数量虚拟像素；获取所述第一显示区与所述第二显示区邻接处的多个第二像素；将所述邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染。本申请可以改善具有屏下摄像头的全面屏电子设备主副屏分界线明显的问题。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于电子设备技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

随着通信技术的发展，诸如智能手机等电子设备越来越普及。在电子设备的使用过程中，电子设备可以采用其显示屏显示画面。为了更好的显示效果和用户体验，显示屏的尺寸越来越大，但是电子设备的尺寸过大就会很难握持，因此提高电子设备的屏占比越来越重要。

相关技术中，将电子设备的显示屏划分为主副屏区域并提高副屏区域的光透过率、将前置摄像头和接近传感器等元件设置在副屏下方从而使前置摄像头和接近传感器等元件可以通过副屏区域传输光信号，是实现全面屏的最有效方法。但是上述方法中，电子设备的主副屏分界处存在明显的分界线，导致显示屏的显示效果不好。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以改善具有屏下摄像头的全面屏电子设备主副屏分界线明显的问题。

第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备包括第一显示区和第二显示区，所述第二显示区与所述第一显示区邻接，所述第一显示区包括多个第一像素，所述第二显示区包括多个第二像素，所述第一像素的分布密度小于所述第二像素的分布密度，所述图像处理方法包括：

获取所述第一显示区与所述第二显示区邻接处的多个第一像素；

将所述邻接处的多个第一像素分别拆分成预设数量虚拟像素；

获取所述第一显示区与所述第二显示区邻接处的多个第二像素；

将所述邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染。

第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述电子设备包括第一显示区和第二显示区，所述第二显示区与所述第一显示区邻接，所述第一显示区包括多个第一像素，所述第二显示区包括多个第二像素，所述第一像素的分布密度小于所述第二像素的分布密度，所述图像处理装置包括：

第一获取模块，用于获取所述第一显示区与所述第二显示区邻接处的多个第一像素；

拆分模块，用于将所述邻接处的多个第一像素分别拆分成预设数量虚拟像素；

第二获取模块，用于获取所述第一显示区与所述第二显示区邻接处的多个第二像素；

渲染模块，用于将所述邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。

第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器以及摄像模组，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程，所述摄像模组设置在所述电子设备内，用于获取透过所述第一显示区的外界光信号进行成像。

本申请实施例中，电子设备可以获取第一显示区与第二显示区邻接处的多个第一像素；并将邻接处的多个第一像素分别拆分成预设数量虚拟像素。然后，电子设备获取第一显示区与第二显示区邻接处的多个第二像素。之后，电子设备将邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染。即，本申请实施例中，电子设备调用了第一显示区和第二显示区两侧的像素，在显示的过程中，可以杜绝主副屏两侧算法不一致，造成的显示分界线明显的问题。因此，本申请实施例可以改善具有屏下摄像头的全面屏电子设备主副屏分界线明显的问题。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1为本申请实施例提供的电子设备的结构示意图。

图2为本申请实施例提供的显示装置的结构示意图。

图3为图2所示显示装置沿P1-P1方向的剖视图。

图4为图2所示显示装置的一种局部示意图。

图5为图2所示显示装置的另一种局部示意图。

图6为本申请实施例提供的显示装置的另一结构示意图。

图7为图6所示显示装置沿P2-P2方向的剖视图。

图8为图7所示显示装置的局部示意图。

图9为本申请实施例提供的图像处理方法的一种流程示意图。

图10为本申请实施例提供的采用SPR算法处理后子像素的排布示意图。

图11为相关技术中RGB Stipe排列结构的示意图。

图12为相关技术中RGBG排列结构的示意图。

图13为相关技术中RGB Delta排列结构的示意图。

图14为图11、图12和图13中三种像素排列结构的对比示意图。

图15为本申请实施例提供的图像处理方法的另一种流程示意图。

图16为本申请实施例提供的子像素渲染(Sub Pixel Rendering，SPR)算法的原理示意图。

图17为本申请实施例提供的通过SPR算法处理的一种场景示意图。

图18为本申请实施例提供的SPR算法借像素的局部示意图。

图19为本申请实施例提供的图像处理装置的结构示意图。

图20是本申请实施例提供的电子设备的结构示意图。

图21是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像模组的电子设备。

请参阅图1，图1是本申请实施例提供的电子设备的结构示意图。可以理解的是，本申请实施方式的电子设备10包括但不限于手机、平板电脑等移动终端或者其它便携式电子设备。在本文中，以电子设备10为手机为例进行说明。

在本实施方式中，电子设备10包括显示装置20，显示装置20可以显示画面。显示装置20可以为有机发光二极管显示装置(Organic Light-Emitting Diode，OLED)。显示装置20的显示面可以具有较大的显示区域和较窄的非显示区域，或者说显示装置20具有较窄的黑边。当然，显示装置20的显示面也可以均为显示区域，而不设置非显示区域，即显示装置20可以为全面屏。可使用显示装置覆盖层诸如透明玻璃层、透光塑料、蓝宝石、或其他透明电介质层来保护显示装置20。

其中，显示装置20可以呈规则形状，如矩形、圆角矩形或圆形。当然，在一些其它可能的实施方式中，显示装置20也可以呈非规则形状，本申请实施例对此不作限定。

请参阅图2，图2为本申请实施例提供的显示装置的结构示意图。显示装置20可以包括第一显示区210和第二显示区220，第一显示区210和第二显示区220均可以显示画面，第一显示区210和第二显示区220可以显示相同的画面，也可以显示不同的画面。

第一显示区210和第二显示区220可以邻接。比如第一显示区210的周缘全部被第二显示区220围绕；再比如第一显示区210的边缘一部分被第二显示区220围绕，即第一显示区210位于显示装置20的端面位置或端面连接位置。可以理解的是，显示装置20的端面连接位置是显示装置20两个端面相互连接的位置，其可以包括相互连接的两个端面的一部分。需要说明的是，第一显示区210可以为一个，也可以为多个。当第一显示区210为多个时，多个第一显示区210可以位于显示装置20的同一个端面，也可以位于显示装置20的多个端面，还可以位于显示装置20的多个端面连接位置，或者多个第一显示区210中的一部分位于显示装置20的端面连接位置、一部分位于显示装置20的端面位置。

应当理解的是，在本文中提及的“多个”是指是两个或两个以上。

本申请实施例可以设置第一显示区210的显示区域面积小于第二显示区220的显示区域面积，第一显示区210可以作为显示装置20的辅助显示区域，或者说是功能显示区域，第二显示区220可以作为显示装置20的主要显示区域。例如可以将第一显示区210的透光率设置大于第二显示区220的透光率，从而在第一显示区210的非显示状态下可以大大提高第一显示区210的透光率，可以将电子设备10的功能器件诸如摄像头30、传感器等器件设置在电子设备10内部与第一显示区210对应的位置，以提高摄像头30、传感器等器件通过第一显示区210实现光信号传输的质量。

需要说明的是，在一些实施方式中，可以设置第一显示区210的显示区域面积等于第二显示区220的显示区域面积，还可以设置第一显示区210的显示区域面积大于第二显示区220的显示区域面积。

本申请实施例可以在第一显示区210位置例如第一显示区210的下方设置摄像头30、传感器等器件，第一显示区210在非显示状态下摄像头30、传感器等器件可以通过第一显示区210进行光信号传输，例如采集图像。同时，第一显示区210还可以根据需求显示画面，以实现显示装置20的完整性以及显示区域的完整性。不仅实现摄像头30、传感器等器件的隐藏式设计，而且还可以提高电子设备10的屏占比。

需要说明的是，电子设备10的功能器件例如摄像头30、传感器设置的位置并不限于第一显示区210的下方，还可以将其设置远离第一显示区210，并在功能器件例如摄像头30、传感器与第一显示区210之间设置导光柱，以实现光信号的传输。其中，导光柱可以将摄像头30、传感器等功能器件发出的光信号传输到第一显示区210并通过第一显示区210传输到电子设备10外界，导光柱还可以将通过第一显示区210的外界光信号传输到摄像头30、传感器等功能器件。导光柱可以为圆柱体结构，也可以为多段式结构。当导光柱为多段式结构时，其可以具有至少一个导光面，以实现光信号的反射。

请参阅图3，图3为图2所示显示装置沿P1-P1方向的剖视图。显示装置20可包括依次层叠设置的上基板240、显示层250、驱动层260和下基板270。显示装置20可以通过驱动层260驱动显示层250实现画面的显示。其中，上基板240和下基板270均可以采用透明材料，例如透明玻璃。上基板240可被定义为第一基板，下基板270可以作为第二基板。

显示层250可以包括多个像素。其中，显示层250包括位于第一显示区210的第一显示部251和位于第二显示区220的第二显示部252，即显示层250可以包括位于第一显示区210的多个第一像素211和位于第二显示区220的多个第二像素221。多个第一像素211和多个第二像素221均可以呈矩阵排布。第一显示区210的第一像素221的排列方式可以为标准RGB排列、Pentile排列或Delta排列中的一种，第二显示区220的第二像素221的排列方式可以为标准RGB排列、Pentile排列或Delta排列中的一种。需要说明的是，第一显示区210中第一像素211还可以采用其他排列方式、第二显示区220中第二像素221也可以采用其他排列方式，第一显示区210中第一像素211与第二显示区220中第二像素221的排列方式可以相同、第一显示区210中第一像素211与第二显示区220中第二像素221的排列方式也可以不同。

为了提高第一显示区210的透光率，本申请实施例可以设置多个第一像素211的单体大小大于多个第二像素221的单体大小，并将多个第一像素211的排布得比多个第二像素221排布得更加稀疏，即可以使第一像素211的分布密度小于第二像素221的分布密度。另外，第一显示区210的第一像素211可以采用透光材料，进一步提高第一显示区210的透光率。

驱动层260可以包括多个驱动单元，每个驱动单元可以驱动一个像素。其中，驱动层260包括用于驱动第一显示区210的多个第一驱动单元216和用于驱动第二显示区220的多个第二驱动单元226。每个第一驱动单元216可以与一个第一像素211电性连接，可以驱动一个第一像素211。每个第二驱动单元226可以与一个第二像素221电性连接，可以驱动一个第二像素221。驱动层260可包括位于第一显示区210的第一驱动部261和位于第二显示区220的第二驱动部262，多个第一驱动单元216可以设置在第一驱动部261内，多个第二驱动单元226可以设置在第二驱动部262内。

其中，驱动单元可以采用2T1C、5T1C、7T1C等驱动电路中的一种。比如第一驱动单元216可以采用2T1C、5T1C、7T1C中的一种，第二驱动单元226可以采用2T1C、5T1C、7T1C中的一种。其中，T表示薄膜晶体管，C表示电容。为了提高第一显示区210的透光率，设置在第一显示区210的第一驱动单元216可以为比设置在第二显示区220的第二驱动单元226简略的驱动电路，比如第一驱动单元216包括的薄膜晶体管的数量少于第二驱动单元226包括的薄膜晶体管的数量。例如第一驱动单元216可以采用2T1C、5T1C中的一种，第二驱动单元226可以采用7T1C。第一驱动单元216中不透光的薄膜晶体管的数量更少，则第一显示区210中不透光的部分更少，可以提高第一显示区210的透光率。

为了使第一显示区210的透光率大于第二显示区220的透光率，本申请实施例可以将显示装置20中驱动第一显示区210的第一驱动单元216设置在第一显示区210外。比如将驱动第一显示区210的第一驱动单元216设置在显示装置20中驱动第二显示区220的驱动层结构中，再比如将驱动第一显示区210的第一驱动单元216设置在显示装置20的侧边或者周缘，又比如将驱动第一显示区210的第一驱动单元216设置在显示装置20的非显示区，还比如在显示装置20中设置双层驱动层结构，采用过孔的方式将驱动第一显示区210的第一驱动单元216设置在与第二显示区220对应的驱动层结构中。

请参阅图4，图4为图2所示显示装置的一种局部示意图。第一显示区210的第一像素211与第二显示区220的第二像素221的排布方式可以相同，或者说第一显示区210与第二显示区220可以具有相同的像素排布方式。需要说明的是，第一显示区210的分辨率高于第二显示区220的分辨率。具体地，可以将第一显示区210的第一像素211与第二显示区220的第二像素221的尺寸设置得不同，第一显示区210的第一像素211的尺寸大于第二显示区220的第二像素221的尺寸，以使同等面积的第一显示区210中包含的第一像素211的数量少于同等面积的第二显示区220中包含的第二像素221的数量。即第一显示区210的第一像素的分布密度小于第二显示区220的第二像素的分布密度。需要说明的是，图4仅示出显示装置20的部分像素，且图4中所示出的第一像素211排布所形成的区域与第二像素221排布所形成的区域大小大致相同。

第一显示区210可以具有多个第一像素集合212，每个第一像素集合212可以包括多个并联连接的第一像素211。其中，一个第一像素集合212可以包括至少两个第一像素211，其可以包括至少两个相同颜色的第一像素211，诸如红色的第一像素211。一个第一像素集合212也可以包括至少两个不同颜色的第一像素211，诸如红色的第一像素211和绿色的第一像素212。一个第一像素集合212中的多个第一像素211可以通过多条信号线连接在一起，该信号线可以采用透光材料。

请参阅图5，图5为图2所示显示装置的另一种局部示意图。图5示出第一显示区210的多个第一驱动单元216和第二显示区220的多个第二驱动单元226。其中，每个第一驱动单元216可以与一个第一像素集合212电性连接，一个第一驱动单元216可以驱动一个第一像素集合212，即一个第一驱动单元216可以驱动一个第一像素集合212内的所有第一像素211。其中，每个第二驱动单元226可以与一个第二像素221电性连接，一个第二驱动单元226可以驱动一个第二像素221。相比一个驱动单元驱动一个像素，本申请实施例将多个第一像素211并联成一个第一像素集合212，并通过一个第一驱动单元216驱动一个第一像素集合212内的所有第一像素211，可以减少第一驱动单元216的个数。本申请实施例可以将第一驱动单元216设置在第一显示区210诸如第一驱动部261，本申请实施例也可以将第一驱动单元216设置在第二显示区220诸如第二驱动部262。由于采用较少的第一驱动单元216即可实现对第一显示区210中多个第一像素211的驱动，可以进一步提高第一显示区210的透光率。需要说明的是，图5仅示出显示装置20的部分第一驱动单元216和部分第二驱动单元226，且图5中所示出的第一驱动单元216排布所形成的区域与第二驱动单元226排布所形成的区域大小大致相同。

请参阅图6，图6为本申请实施例提供的显示装置的另一结构示意图。显示装置20还可以包括第三显示区230，也可以将其称为过渡区。第三显示区230可以连接第一显示区210与第二显示区220，第三显示区230可以设置在第一显示区210与第二显示区220之间。本申请实施例中，第三显示区230可以将第一显示区210与第二显示区220间隔开，使第一显示区210与第二显示区220不直接相连。本申请实施例中，第三显示区230也可以连接第一显示区210与第二显示区220的一部分，而第一显示区210与第二显示区220的另一部分也可以直接连接。第三显示区230的尺寸可以远小于第二显示区220的尺寸，第一显示区210和第三显示区230可以共同形成显示装置20的辅助显示区，在此可以将第一显示区210和第三显示区230定义为辅助显示区，或者副屏区域。

请参阅图7，图7为图6所示显示装置沿P2-P2方向的剖视图。显示层250还可以包括位于第三显示区230的第三显示部253。第三显示部253可以排布有多个第三像素231，第三像素231的排列方式可以为标准RGB排列、Pentile排列或Delta排列中的一种，当然，第三像素231也可以采用其他排列方式。驱动层260还可以包括第三驱动部263，第三驱动部263可以设置多个驱动单元，诸如第三驱动部263设置多个第三驱动单元，一个第三驱动单元可以与一个第三像素231电性连接，一个第三驱动单元可以驱动一个第三像素231。第三驱动单元可以采用2T1C、5T1C、7T1C中的一种，比如第三驱动单元采用5T1C。本申请实施例中，第一显示区210可以采用2T1C、第二显示区220可以采用7T1C、第三显示区230可以采用5T1C，以使第二显示区220显示画面的质量高于第三显示区230显示画面的质量、第三显示区230显示画面的质量高于第一显示区210显示画面的质量，从而使得第一显示区210与第二显示区220之间呈现过渡。

当然，第一显示区210、第二显示区220和第三显示区230的驱动方式并不限于此。诸如，第一显示区210和第三显示区230均采用5T1C、第二显示区220采用7T1C。

请参阅图8，图8为图6所示显示装置的第一种局部示意图。第三显示区230的第三像素231的排布可以与第二显示区220的第二像素221或第一显示区210的第一像素211的排布相同，第三显示区230的第三像素231的排布也可以与第二显示区220的第二像素221或第一显示区210的第一像素211的排布不同。需要说明的是，第三显示区230的分辨率高于第一显示区210的分辨率且低于第二显示区220的分辨率，以使第一显示区210至第三显示区230至第二显示区220的过渡较为自然。具体地，可以将第一显示区210的第一像素211、第二显示区220的第二像素221及第三显示区230的第三像素231的尺寸设置得不同，第三显示区230的第三像素231的尺寸小于第一显示区210的第一像素211的尺寸且大于第二显示区220的第二像素221的尺寸，以使同等面积的第三显示区230中包含的第三像素231的数量多于同等面积的第一显示区210中包含的第一像素211的数量且少于同等面积的第二显示区220中包含的第二像素221的数量。需要说明的是，图8仅示出显示装置20的部分像素，且图8中所示出的第一像素211排布所形成的区域、第二像素221排布所形成的区域及第三像素231排布所形成的区域三者大小大致相同。

本申请实施例可以将用于驱动第一显示区210的所有第一驱动单元216设置在第三显示区230，诸如将第一驱动单元216设置在第三驱动部263内，可以使得第一显示区210的驱动层结构无第一驱动单元216，诸如第一显示区210的第一驱动部261无薄膜晶体管，从而大大提高第一显示区210的透光率。同时可以避免因在第一显示区210设置第一驱动单元216而带来的其他问题，例如周期性排列的第一驱动单元216会对摄像头30成像造成的衍射问题，第一驱动单元216反射、折射对摄像头30成像造成的杂光问题。

需要说明的是，由于第三显示区230设置有多个第三驱动单元，多个第三驱动单元会占用第三驱动部263的空间，本申请实施例将第一驱动单元216设置在第三驱动部263也会占用第三驱动部263的空间，而且布线也会占用第三驱动部263的空间。为了确保第一驱动单元216可以设置在第三驱动部263，可以将第三驱动部263的布线设置更细，以减小单个信号线对空间的占用，以容纳更多信号线的排布。当然，本申请实施例不改变第三驱动部263中布线的粗细也可以将第一驱动单元216设置在第三驱动部263内且可以满足布线，比如减少第三显示区230的第三驱动单元个数。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。

请参阅图9，图9是本申请实施例提供的图像处理方法的一种流程示意图。该图像处理方法可以应用于电子设备。该图像处理方法的流程可以包括：

101、获取第一显示区与第二显示区邻接处的多个第一像素。

相关技术中，将电子设备的显示屏划分为主副屏区域并提高副屏区域的光透过率、将前置摄像头和接近传感器等元件设置在副屏下方从而使前置摄像头和接近传感器等元件可以通过副屏区域传输光信号，是实现全面屏的最有效方法。

目前屏下摄像的技术方案中，一般是通过减少像素或者改变像素排布增加空隙，从而增加透过的光量。基于这样的设计，副屏屏下摄像区域与主屏区域的像素结构以及像素排布是不同的，因此在全屏显示时，会看到比较明显的两个区域，在过渡区会对比更强烈。电子设备的主副屏分界处存在明显的分界线，由于主副屏两侧的像素结构完全不同，且明显的界限，在显示的时候就会出现过渡线的现象。

另外，在调用显示算法的时候，副屏区域的显示算法是real RGB显示的，跟主屏区域采用子像素渲染算法的方式不同，这样的因素会导致左右两侧明显的过渡区，在显示图像时，过渡区的表现愈加明显。此外，分界线(即过渡区)上的像素存在缺失，导致显示屏的显示效果不好。需要通过方法和手段优化。

需要说明的是，在本申请实施例中，该电子设备包括显示装置，该显示装置包括第一显示区和第二显示区，第二显示区与第一显示区邻接，第一显示区包括多个第一像素，第二显示区包括多个第二像素，第一像素的分布密度小于所述第二像素的分布密度，其中，第一显示区作为副屏区域，第二显示区作为主屏区域。该显示装置如图1至图8中的显示装置20。

由于第一显示区与第二显示区邻接，则第一显示区与第二显示区邻接处即是第一显示区与第二显示区的交界处，也可以理解为第一显示区与第二显示区之间的过渡区，第一显示区与第二显示区邻接处既包含第一像素，也包含第二像素。邻接处的第一像素和第二像素的整体分布密度与位于第一显示区的第一像素的分布密度是不同的，与位于第二显示区的第二像素的分布密度也是不同的。一般地，邻接处的第一像素和第二像素的整体分布密度大于第一显示区的第一像素的分布密度，且小于第二显示区的第二像素的分布密度。

在本申请实施例中，电子设备可以获取第一显示区与第二显示区邻接处的多个第一像素，即第一显示区与第二显示区的交界处的所有第一像素。在获取第一显示区与第二显示区邻接处的多个第一像素时，可以通过电子设备上安装的应用程序获取，可以通过电子设备自带的操作系统获取，还可以通过电子设备自带的操作系统中内嵌的应用程序获取。

102、将邻接处的多个第一像素分别拆分成预设数量虚拟像素。

比如，在获取到第一显示区与第二显示区邻接处的多个第一像素后，将邻接处的每个第一像素分别拆分成预设数量虚拟像素，可以理解为第一显示区中位于邻接处的第一像素拆分成预设数量虚拟小像素，即将大像素模拟拆分成小像素处理。例如，预设数量可以为4个，可以认为邻接处的每个第一像素可以模拟拆分成4个小像素，用该第一像素分别乘以4个不同的距离因子K_i来表征模拟出的4个小像素。可以理解的是，在其它可能的实施方式中，预设数量可以根据具体需求进行相应调整，本申请实施例对预设数量的具体大小不做限制。

103、获取第一显示区与第二显示区邻接处的多个第二像素。

比如，在将邻接处的多个第一像素分别拆分成预设数量虚拟像素后，电子设备获取第一显示区与第二显示区邻接处的多个第二像素，即第一显示区与第二显示区的交界处的所有第二像素，也可以理解为第二显示区中位于邻接处的所有第二像素。在获取第一显示区与第二显示区邻接处的多个第二像素时，可以通过电子设备上安装的应用程序获取，可以通过电子设备自带的操作系统获取，还可以通过电子设备自带的操作系统中内嵌的应用程序获取。

104、将邻接处的多个第二像素与虚拟像素使用预设像素渲染算法进行像素渲染。

比如，将邻接处的多个第二像素与虚拟像素使用预设像素渲染算法进行像素渲染。例如，该预设像素渲染算法可以是SPR算法，通过SPR算法可以用更少的子像素来实现相同分辨率的显示。例如原来2个像素要6个子像素，使用SPR算法后需要4个子像素，因此相同分辨率的显示屏使用SPR算法后物理子像素只有原来的2/3。用4个子像素来达到6个子像素的显示效果，基于三色原理，就必须从旁边的子像素借色。请参阅图10，图10为本申请实施例提供的采用SPR算法处理后子像素的排布示意图。可以理解为，每个像素由2个子像素构成，它们以“红+绿”或“绿+蓝”或“蓝+红”顺序周期排列而成。

比如，请参阅图11至图14，图11为相关技术中RGB Stipe排列结构的示意图。图12为相关技术中RGBG排列结构的示意图。图13为相关技术中RGB Delta排列结构的示意图。图14为图11、图12和图13中三种像素排列结构的对比示意图。其中，H为水平方向像素的数量，V为竖直方向像素的数量。可见，RGB Stipe排列结构中，每个像素由3个子像素构成，而经过SPR算法处理后的RGBG排列结构与RGB Delta排列结构中，每个像素只由2个子像素构成。对于RGB Delta排列结构，每个像素节省了1/3的子像素，对于RGBG排列结构，每个像素包含RG或BG分量的子像素，每个像素也节省了1/3的子像素。若RGBG排列结构或RGB Delta排列结构要达到与RGB Stipe排列结构相同的分辨率时，则需要采用SPR算法从旁边的子像素借色。通过图14中的对比可知，SPR算法的处理方式可以减少子像素个数，降低制作工艺难度。可以减少驱动芯片的设计复杂度，从而降低成本。在实际应用中，需要根据具体的排列结构设计合适的SPR驱动演算法来减弱或消除由于子像素减少导致的分辨率降低与颜色混叠等问题。

比如，如果图像数据的像素排列结构为Real RGB排列结构，显示屏显示图像的分辨率与Real RGB排列结构的分辨率相等，显示屏显示图像的子像素可以与Real RGB排列结构中的子像素一一对应，显示屏可以正常显示图像数据。而在SPR排列下，则需要对要图像数据通过SPR算法进行借子像素处理后，显示屏才可以正常显示图像数据。

本申请实施例中，在第一显示区与第二显示区的邻接处使用SPR算法，将第一显示区中位于邻接处的第一像素(可以认为是大像素)与第二显示区中位于邻接处的第二像素(可以认为是小像素)做近似的SPR算法处理，由于该SPR算法调用了主屏区域和副屏区域两侧的像素，因此，在显示的过程中，可以杜绝主副屏两侧算法不一致，造成的显示分界线明显的问题，从而减弱以及消除过渡区的分界线。因此，本申请实施例可以改善具有屏下摄像头的全面屏电子设备主副屏分界线明显的问题。

需要说明的是，对于第一显示区与第二显示区邻接处的两侧，即第一显示区的边缘与第二显示区的边缘处，仍然按照正常的SPR算法对主副屏图像做处理，即对于第一显示区的边缘处的第一像素单独按照正常的SPR算法对主副屏图像做处理，不需要对其进行像素模拟拆分，对于第二显示区的边缘处的第二像素独按照正常的SPR算法对主副屏图像做处理。

比如，在一种实施方式中，邻接处可以包括邻接线，此时第一显示区与第二显示区之间的交界处是邻接线，说明第一显示区与第二显示区之间的过渡区比较窄，是一条邻接线。步骤101中电子设备获取的第一显示区与第二显示区邻接处的多个第一像素即是邻接线上的多个第一像素，步骤103中电子设备获取的第一显示区与第二显示区邻接处的多个第二像素即是邻接线上的多个第二像素。

比如，在一种实施方式中，邻接处包括第三显示区，此时第一显示区与第二显示区之间的交界处是第三显示区，说明第一显示区与第二显示区之间的过渡区略宽，是具有一定宽度的区域，第三显示区包括多个第三像素，第三像素的分布密度大于第一显示区中第一像素的分布密度且小于第二显示区中第二像素的分布密度，多个第三像素包含第一像素和第二像素，即第三显示区中的像素既有第一像素，也有第二像素。步骤101中电子设备获取的第一显示区与第二显示区邻接处的多个第一像素即是第三显示区中的多个第一像素，步骤103中电子设备获取的第一显示区与第二显示区邻接处的多个第二像素即是第三显示区中的多个第二像素。

请参阅图15，图15为本申请实施例提供的图像处理方法的另一种流程示意图。该图像处理方法可以应用于电子设备。该图像处理方法的流程可以包括：

201、获取第一显示区与第二显示区邻接处的多个第一像素。

比如，当第一显示区与第二显示区邻接处为邻接线时，获取该邻接线处的多个第一像素，或者，当第一显示区与第二显示区邻接处为第三显示区时，获取该第三显示区中的多个第一像素。步骤201的具体实施可参见步骤101的实施例，在此不再赘述。

202、将邻接处的多个第一像素分别乘以预设数量不同的距离因子，分别得到预设数量虚拟像素。

比如，预设数量为4个，即邻接线或第三区域中的每个第一像素可以拆分成4个模拟像素，将4个不同的距离因子分别表示为K₁、K₂、K₃、K₄，则将其中一个第一像素分别乘以K₁、K₂、K₃、K₄，则得到将该第一像素拆分成的4个模拟像素。

比如，在一种实施方式中，所述将邻接处的多个第一像素分别乘以预设数量的不同距离因子，分别得到预设数量虚拟像素，可以包括：

分别获取邻接处的多个第一像素的子像素；

将邻接处的多个第一像素的子像素分别乘以预设数量不同的距离因子，分别得到预设数量虚拟像素的子像素。

例如，每个像素都有子像素，比如：红色子像素R、绿色子像素G和蓝色子像素B，对于邻接处的第一像素，一般1个第一像素由2个子像素构成，比如：按照红色子像素R₁和绿色子像素G₁、绿色子像素G₁+蓝色子像素B₁、蓝色子像素B₁+红色子像素R₁等顺序周期排列而成。将邻接处的每个第一像素的子像素分别乘以预设数量不同的距离因子，例如当预设数量为4个时，对于邻接处的第一像素，一般可以大致认为是4合1，也就是大概4个子像素合成1个大的子像素，因此可以用此大的子像素加一个距离因子Ki来分别表征本来应该存在的4个子像素，即将一个大的子像素与4个不同距离因子进行相乘，近似表征虚拟的子像素。

比如，将第一像素中的红色子像素R₁和绿色子像素G₁分别乘以4个不同的距离因子，如K₁R₁、K₂R₁、K₃R₁、K₄R₁，K₁G₁、K₂G₁、K₃G₁、K₄G₁，这样得到4个虚拟像素的子像素，其中第一个虚拟像素的子像素为K₁R₁和K₁G₁，第二个虚拟像素的子像素为K₂R₁和K₂G₁，第三个虚拟像素的子像素为K₃R₁和K₃G₁，第四个虚拟像素的子像素为K₄R₁和K₄G₁。或者，将第一像素中的绿色子像素G₁和蓝色子像素B₁分别乘以4个不同的距离因子，同理可以得到K₁G₁、K₂G₁、K₃G₁、K₄G₁，K₁B₁、K₂B₁、K₃B₁、K₄B₁，其中，第一个虚拟像素的子像素为K₁G₁和K₁B₁，第二个虚拟像素的子像素为K₂G₁和K₂B₁，第三个虚拟像素的子像素为K₃G₁和K₃B₁，第四个虚拟像素的子像素为K₄G₁和K₄B₁，或者，将第一像素中的蓝色子像素B₁和红色子像素R₁分别乘以4个不同的距离因子，同理可以得到K₁B₁、K₂B₁、K₃B₁、K₄B₁，K₁R₁、K₂R₁、K₃R₁、K₄R₁，其中，第一个虚拟像素的子像素为K₁B₁和K₁R₁，第二个虚拟像素的子像素为K₂B₁和K₂R₁，第三个虚拟像素的子像素为K₃B₁和K₃R₁，第四个虚拟像素的子像素为K₄B₁和K₄R₁。

在一种实施方式中，距离因子K_i为系数与距离的乘积，其中，距离为当前子像素与目标子像素的距离，目标子像素为虚拟的子像素，比如，系数为k_i为系数，l_i为当前子像素与第i个虚拟的子像素之间的距离，即K_i＝k_i×l_i。

由于对于邻接处的第一像素，一般1个第一像素由2个子像素构成，通过将一个大的子像素虚拟成4个小的子像素，即将4个虚拟的子像素的信息经过折算保留在一个大的子像素上，这样就可以将去除的子像素的信息通过距离折算保留到一个大的子像素上，在显示的过程中，该大的子像素会保留其它已经去除的子像素的信息，不会出现信息丢失的情况。

203、获取第一显示区与第二显示区邻接处的多个第二像素的子像素。

比如，当第一显示区与第二显示区邻接处为邻接线时，获取该邻接线处的多个第二像素，或者，当第一显示区与第二显示区邻接处为第三显示区时，获取该第三显示区中的多个第二像素。步骤203的具体实施可参见步骤101的实施例，在此不再赘述。

204、将邻接处的多个第二像素的子像素与虚拟像素的子像素使用预设像素渲染算法进行像素渲染。

比如，其中第二像素的子像素为红色子像素R₂、绿色子像素G₂和蓝色子像素B₂，由于邻接处既有第一像素，也有第二像素，当将邻接处的第一像素拆分成虚拟像素后，在调用邻接处的第一像素和第二像素时，相当于调用的是邻接处的虚拟的子像素及第二像素的子像素进行SPR算法处理，即将中心位置像素的信息，借由周围的像素显示部分信息，通过借像素后每个第一像素就相当于包含RGB子像素了，屏幕就可以正常显示图像数据。

例如，请参阅图16，图16为本申请实施例提供的子像素渲染算法的原理示意图，即SPR算法的原理示意图。对于九宫格中的9个RGB像素，有可能是邻接处的第二像素，也有可能是邻接处的第一像素模拟后的模拟像素，子像素没做具体显示，对于图中5号像素的显示信息，通过1号、2号、3号、4号、6号、7号、8号和9号像素的换算，将应该由5号像素显示的信息通过其他周边像素的信息做距离换算得出，在显示过程中联动周围像素的子像素，从而可以实现比较匀滑的显示效果。公式如下

式中k代表系数，l代表距离，R代表红色子像素或红色分量，G代表绿色子像素或绿色分量，B代表蓝色子像素或蓝色分量。比如，l₁代表5号像素与1号像素之间的距离，l₂代表5号像素与2号像素之间的距离，l₃代表5号像素与3号像素之间的距离，l₄代表5号像素与4号像素之间的距离，l₆代表5号像素与6号像素之间的距离，l₇代表5号像素与7号像素之间的距离，l₈代表5号像素与8号像素之间的距离，l₉代表5号像素与9号像素之间的距离，R₁代表1号像素的红色子像素或红色分量，G₁代表1号像素的绿色子像素或绿色分量，B₁代表1号像素的蓝色子像素或蓝色分量，其它以此类推。

通过上述公式调用邻接处第二像素的子像素，以及邻接处第一像素拆分后的模拟像素的子像素，将邻接处第二像素的子像素与邻接处第一像素拆分后的模拟像素的子像素做SPR算法的累加和调用，该过程是虚拟计算的过程。通过上述公式，实现将中心位置像素的信息，借由周围的像素显示部分信息。将全部9个像素点的信息保留在5号像素中，由于图像的生成是多像素共同作用的效果，因此采用如上的处理方式，在宏观上感受是图像变得模糊了一些，但是对于信息予以保留。因此通过上述的处理可以保留图像信息，并优化显示效果。

请参阅图17，图17为本申请实施例提供的通过SPR算法处理的一种场景示意图。从图17中可以看出，经过SPR算法处理后可以减少像素使用，每个像素中的红色子像素和蓝色子像素均有减少，子像素排布按照RGBG排列结构进行排列。

请参阅图18，图18为本申请实施例提供的SPR算法借像素的局部示意图，图8仅仅示意了局部部分的图，实际上，有很多行和列。上面两行为借像素前的排列结构，下面两行为借像素后的排列结构，即上面两行通过借像素后，就可以得到下面两行的排列结构。借像素后，每个像素可以包含RGB子像素，屏幕可以正常显示图像。在实际应用中，第一显示区中的第一像素的排列结构可以有多种，针对不同的排列结构，可以设计合适的SPR算法，来减弱或消除由于子像素减少导致的分辨率降低与颜色混叠等问题。

本申请实施例针对屏下摄像方案中，由于主副屏区域的器件和像素结构以及像素排列设计不一致，会造成显示过程中主副屏存在明显的过渡线。本申请实施例针对过渡区域，利用SPR算法，对邻接处的主副屏区域的子像素进行抽取，通过过渡区两侧的像素组成一个RGB像素的方法，在邻接处通过子像素之间的互相借位显示，从而保持屏幕显示的整体一致性，从而消除或者减弱主副屏之间的过渡区，实现主副屏显示的一致性，从而提升显示效果。

请参阅图19，图19为本申请实施例提供图像处理装置的结构示意图。该图像处理装置可以应用于电子设备，该电子设备包括显示装置，所述显示装置包括第一显示区和第二显示区，第二显示区与第一显示区邻接，第一显示区包括多个第一像素，第二显示区包括多个第二像素，第一像素的分布密度小于所述第二像素的分布密度。图像处理300可以包括：第一获取模块301、拆分模块302、第二获取模块303以及渲染模块304。

第一获取模块301，用于获取所述第一显示区与所述第二显示区邻接处的多个第一像素；

拆分模块302，用于将所述邻接处的多个第一像素分别拆分成预设数量虚拟像素；

第二获取模块303，用于获取所述第一显示区与所述第二显示区邻接处的多个第二像素；

渲染模块304，用于将所述邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染。

在一种实施方式中，所述拆分模块302用于：将所述邻接处的多个第一像素分别乘以预设数量不同的距离因子，分别得到预设数量虚拟像素。

在一种实施方式中，所述拆分模块302用于：分别获取所述邻接处的多个第一像素的子像素；将所述邻接处的多个第一像素的子像素分别乘以预设数量不同的距离因子，分别得到所述预设数量虚拟像素的子像素。

在一种实施方式中，所述第二获取模块303用于：获取所述第一显示区与所述第二显示区邻接处的多个第二像素的子像素。

在一种实施方式中，所述渲染模块304用于：将所述邻接处的多个第二像素的子像素与所述虚拟像素的子像素使用预设像素渲染算法进行像素渲染。

在一种实施方式中，所述预设数量为4个。

在一种实施方式中，所述距离因子为系数与距离的乘积，所述距离为当前子像素与目标子像素的距离。

在一种实施方式中，所述邻接处包括邻接线。

在一种实施方式中，所述邻接处包括第三显示区，所述第三显示区包括多个第三像素，所述第三像素的分布密度大于所述第一显示区中第一像素的分布密度且小于所述第二显示区中第二像素的分布密度，所述多个第三像素包含第一像素和第二像素。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图20，图20为本申请实施例提供的电子设备的结构示意图。

该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解，图20中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像模组401设置在电子设备内，用于获取透过第一显示区的外界光信号进行成像。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：

请参阅图21，电子设备400可以包括摄像模组401、存储器402、处理器403、电池404、麦克风405、扬声器406等部件。

电池404可用于为电子设备的各个模块和部件供应电力。

麦克风405可用于拾取周围环境中的声音信号，例如接收用户发出的语音指令等。

扬声器406可以用于播放声音信号。

在一种实施方式中，处理器403执行所述将所述邻接处的多个第一像素分别拆分成预设数量虚拟像素时，可以执行：将所述邻接处的多个第一像素分别乘以预设数量不同的距离因子，分别得到预设数量虚拟像素。其中，所述预设数量可以为4个所述距离因子可以为系数与距离的乘积，所述距离为当前子像素与目标子像素的距离。

其中，在一种实施方式中，所述邻接处可以包括邻接线。

在另一种实施方式中，所述邻接处包括第三显示区，所述第三显示区包括多个第三像素，所述第三像素的分布密度大于所述第一显示区中第一像素的分布密度且小于所述第二显示区中第二像素的分布密度，所述多个第三像素包含第一像素和第二像素。

在一种实施方式中，处理器403执行所述将所述邻接处的多个第一像素分别乘以预设数量的不同距离因子，分别得到预设数量虚拟像素时，可以执行：分别获取所述邻接处的多个第一像素的子像素；将所述邻接处的多个第一像素的子像素分别乘以预设数量不同的距离因子，分别得到所述预设数量虚拟像素的子像素。

在一种实施方式中，处理器403执行所述获取所述第一显示区与所述第二显示区邻接处的多个第二像素时，可以执行：获取所述第一显示区与所述第二显示区邻接处的多个第二像素的子像素。

在一种实施方式中，处理器403执行所述将所述邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染时，可以执行：将所述邻接处的多个第二像素的子像素与所述虚拟像素的子像素使用预设像素渲染算法进行像素渲染。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括显示装置，所述显示装置包括第一显示区和第二显示区，所述第二显示区与所述第一显示区邻接，所述第一显示区包括多个第一像素，所述第二显示区包括多个第二像素，所述第一像素的分布密度小于所述第二像素的分布密度，所述图像处理方法包括：

2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述邻接处的多个第一像素分别拆分成预设数量虚拟像素，包括：

将所述邻接处的多个第一像素分别乘以预设数量不同的距离因子，分别得到预设数量虚拟像素。

3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述邻接处的多个第一像素分别乘以预设数量的不同距离因子，分别得到预设数量虚拟像素，包括：

分别获取所述邻接处的多个第一像素的子像素；

将所述邻接处的多个第一像素的子像素分别乘以预设数量不同的距离因子，分别得到所述预设数量虚拟像素的子像素。

4.根据权利要求3所述的图像处理方法，其特征在于，所述获取所述第一显示区与所述第二显示区邻接处的多个第二像素，包括：

获取所述第一显示区与所述第二显示区邻接处的多个第二像素的子像素。

5.根据权利要求4所述的图像处理方法，其特征在于，所述将所述邻接处的多个第二像素与所述虚拟像素使用预设像素渲染算法进行像素渲染，包括：

将所述邻接处的多个第二像素的子像素与所述虚拟像素的子像素使用预设像素渲染算法进行像素渲染。

6.根据权利要求1所述的图像处理方法，其特征在于，所述预设数量为4个。

7.根据权利要求2所述的图像处理方法，其特征在于，所述距离因子为系数与距离的乘积，所述距离为当前子像素与目标子像素的距离。

8.根据权利要求1所述的图像处理方法，其特征在于，所述邻接处包括邻接线。

9.根据权利要求1所述的图像处理方法，其特征在于，所述邻接处包括第三显示区，所述第三显示区包括多个第三像素，所述第三像素的分布密度大于所述第一显示区中第一像素的分布密度且小于所述第二显示区中第二像素的分布密度，所述多个第三像素包含第一像素和第二像素。

10.一种图像处理装置，应用于电子设备，其特征在于，所述电子设备包括显示装置，所述显示装置包括第一显示区和第二显示区，所述第二显示区与所述第一显示区邻接，所述第一显示区包括多个第一像素，所述第二显示区包括多个第二像素，所述第一像素的分布密度小于所述第二像素的分布密度，所述图像处理装置包括：

11.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至9中任一项所述的方法。

12.一种电子设备，包括存储器，处理器以及摄像模组，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至9中任一项所述的方法，所述摄像模组设置在所述电子设备内，用于获取透过所述第一显示区的外界光信号进行成像。