CN108495032B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN108495032B CN108495032B CN201810254539.8A CN201810254539A CN108495032B CN 108495032 B CN108495032 B CN 108495032B CN 201810254539 A CN201810254539 A CN 201810254539A CN 108495032 B CN108495032 B CN 108495032B
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- shooting
- virtual model
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种图像处理方法、装置、存储介质及电子设备,该图像处理方法应用于第一电子设备,包括:启动图像拍摄功能,并获取当前拍摄图像;在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到;根据该三维图像生成该目标拍摄物的虚拟模型;将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中,从而无需通过后期抠图得到异地用户的合照,方法简单,灵活性高。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着终端技术的发展,终端所能够支持的功能越来越强大。例如,终端具有摄像头,从而能够支持拍照功能等。
在很多场景下,用户可以使用终端的拍摄功能拍摄照片。例如,当用户去旅游或者与朋友聚会时,可以通过终端的拍摄功能记录当时的情景,此时,终端会将拍摄的图像存储到相册中,从而当用户想要回忆美好时光时,可以从相册中查看图像。但目前对于异地用户并没有很好的合照拍摄方式,比较常见的做法是先单独拍取两张人物照,后期通过抠图方式将这两张人物照中的人物合成到一张图像中,这种合成方式由于是对图片后期处理实现的,故合照中双方拍照姿势和位置都是固定的,无法根据实际拍摄情况进行调整,合照效果差。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,能较好的完成异地用户的合照拍摄,拍摄效果好。
本申请实施例提供了一种图像处理方法,应用于第一电子设备,包括:
启动图像拍摄功能,并获取当前拍摄图像;
在当前拍摄图像的拍摄过程中,接收第二电子设备发送的三维图像,所述三维图像为所述第二电子设备对目标拍摄物拍摄得到;
根据所述三维图像生成所述目标拍摄物的虚拟模型;
将所述虚拟模型投影在当前拍摄图像上,以生成合成图像,并将所述合成图像显示在预览框中。
本申请实施例还提供了一种图像处理装置,应用于第一电子设备,包括:
获取模块,用于启动图像拍摄功能,并获取当前拍摄图像;
接收模块,用于在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,所述三维图像为所述第二电子设备对目标拍摄物拍摄得到;
生成模块,用于根据所述三维图像生成所述目标拍摄物的虚拟模型;
投影模块,用于将所述虚拟模型投影在当前拍摄图像上,以生成合成图像,并将所述合成图像显示在预览框中。
本申请实施例还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述任一项图像处理方法。
本申请实施例还提供了一种电子设备,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于上述任一项所述的图像处理方法中的步骤。
本申请提供的图像处理方法、装置、存储介质及电子设备,应用于第一电子设备,启动图像拍摄功能,并获取当前拍摄图像,接着,在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到,并根据该三维图像生成该目标拍摄物的虚拟模型,之后将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中,从而后期无需抠图即可得到异地用户的合照,方法简单,且由于是利用真实用户图像生成的虚拟模型,故由该虚拟模型生成的合照逼真度高,合照效果好。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的图像处理系统的应用场景示意图。
图2为本申请实施例提供的图像处理方法的流程示意图。
图3为本申请实施例提供的图像处理方法的另一流程示意图。
图4为本申请实施例提供的第一电子设备中预览框的示意图。
图5为本申请实施例提供的投影区域的示意图。
图6为本申请实施例提供的人物C投射在牛身前的合成过程示意图。
图7为本申请实施例提供的人物C投射在牛身后的示意图。
图8为本申请实施例提供的图像处理装置的结构示意图。
图9为本申请实施例提供的投影模块40的结构示意图。
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。
请参阅图1,图1提供了一种图像处理系统,该图像处理系统可以包括本申请实施例提供的任一种图像处理装置,该图像处理装置可以集成在第一电子设备和第二电子设备中,该第一电子设备和第二电子设备可以包括智能手机、平板电脑等具有拍摄功能的设备。
其中第一电子设备可以启动图像拍摄功能,并获取当前拍摄图像,接着,在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到,并根据该三维图像生成该目标拍摄物的虚拟模型,之后将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中。
譬如,在图1中,该第一电子设备和第二电子设备均为智能手机,其具备摄像头和显示屏,该摄像头主要用于拍摄图像,该显示屏用于显示合成图像,其中,第二电子设备的摄像头为双摄像头。具体的,当第一电子设备的用户点击了显示界面上的“合照”按键时,其会生成摄像头启动指令,该指令会同时传送至自身摄像头和第二电子设备的双摄像头中,以控制它们进行图像拍摄,其中,第一电子设备拍摄的图像作为真实场景图像,第二电子设备拍摄的三维图像用于第一电子设备生成虚拟模型,之后第一电子设备会将生成的虚拟模型投射在真实场景图像中,以实现真实场景与异地现实物体之间的合照拍摄。
如图2所示,图2是本申请实施例提供的图像处理方法的流程示意图,其应用于第一电子设备,具体流程可以如下:
101、启动图像拍摄功能,并获取当前拍摄图像。
本实施例中,用户可以通过点击某个按键,比如“合照”按键,或者通过语音或指定手势开启异地合照功能,以启动第一电子设备进行图像拍摄。
102、在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到。
本实施例中,该第一电子设备是主设备,第二电子设备是从设备,当需要进行异地合照时,主设备和从设备提前建立通信连接,之后通过主设备启动合照拍摄功能,此时,从设备也会同时进行图像拍摄,并实时将自身拍摄的三维图像传送给主设备,其中,该三维图像是从设备的双摄像头拍摄的,比如双摄像头同时对目标拍摄物进行拍摄,得到两张图像,之后根据双摄像头彼此间的固定距离、以及这两张图像中的灰度差计算目标拍摄物的景深信息,根据景深信息生成三维图像。
103、根据该三维图像生成该目标拍摄物的虚拟模型。
本实施例中,可以根据三维图像所包含的纹理信息和景深信息生成对应的虚拟模型。需要说明的是,该虚拟模型的生成操作可以是第一电子设备执行,也可以是第二电子设备执行,此处不做限定,并且由于单张三维图像只能生成对应拍摄视角的三维模型,若要生成目标拍摄物的整个虚拟模型,可以从多个角度拍摄三维图像,比如前视角和后视角,或者左视角和右视角,之后根据多张三维图像生成整个虚拟模型。
104、将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中。
本实施例中,用户可以自己设定投影位置和投影视角,比如通过语音、触摸或者手势等方式进行指定,之后按照该投影视角将该虚拟模型投影到该投影位置处。当然,为进一步增加逼真度,避免虚拟模型的投影尺寸和真实场景人物尺寸相差较大导致产生严重违和感,上述步骤104进一步可以包括:
1-1、检测当前拍摄图像中至少一个被拍摄对象的拍摄距离。
本实施例中,该当前拍摄图像也可以是三维图像,也即第一电子设备中的摄像头也可以是双摄像头,利用双摄像头可以计算出被拍摄物的拍摄距离(也即景深)。
1-2、确定该虚拟模型在当前拍摄图像上的投影点。
本实施例中,当前拍摄图像可以实时显示在预览框中,用户可以通过点击等方式在预览框中选择所需的投影点,当然,在选择之前,第一电子设备可以生成一个提示框,以提示用户做好选择准备。
1-3、根据该拍摄距离和投影点将该虚拟模型投影在当前拍摄图像上。
例如,上述步骤1-3具体可以包括:
1-3-1、从该至少一个被拍摄对象中确定目标拍摄对象,并将该目标拍摄对象的拍摄距离确定为第一距离。
本实施例中,该被拍摄对象可以是人、动物或者非生命物体。对于单个被拍摄对象,可以直接将该被拍摄对象的拍摄距离作为第一距离,而对于多个被拍摄对象,由于通常每个被拍摄对象与第一电子设备的间距不同,故用户可以自由选择某个被拍摄对象的拍摄距离作为虚拟模型的投影距离对虚拟模型进行尺寸缩放,该选择方式可以是点击、语音、手势等任意一种。
1-3-2、根据该第一距离对该虚拟模型的尺寸进行调整。
本实施例中,可以获取该第一距离对应的调整比例,利用该调整比例对虚拟模型进行缩放,其中该调整比例应当是用户提前设定好的,比如,用户提前在本地库中将各种拍摄距离与对应的调整比例进行关联存储,该调整比例可以根据物体的真实大小和图像显示大小来确定。
1-3-3、以该投影点作为投影中心,对调整后的该虚拟模型进行投影。
本实施例中,考虑到若对真实环境里前后站立的两个人物进行拍照,站在前面的人通常会遮挡站在后面的人的部分甚至全部图像,故为增加逼真度,在对虚拟模型进行投影时,也可以考虑该遮挡问题,也即,上述步骤1-3-3具体可以包括:
以该投影点作为投影中心,确定调整后的该虚拟模型在当前拍摄图像上的投影区域;
检测是否存在与该投影区域发生重叠的被拍摄对象;
若存在,则将发生重叠的被拍摄对象的拍摄距离作为第二距离,并获取重叠区域;
根据该第一距离、第二距离和重叠区域确定该投影区域中的可显示区域;
将该可显示区域对应的虚拟模型进行投影。
本实施例中,可以将投影点作为投影中心进行投影,还可以将投影点作为虚拟模型的其他点,比如虚拟模型最高点或最低点,进行投影,等等。该重叠区域是指被拍摄对象和虚拟模型在显示时发生重叠的区域,该重叠区域的显示内容需根据被拍摄对象和虚拟模型的拍摄距离而定,该可显示区域指虚拟模型能进行正常显示的区域。
例如,上述步骤“根据该第一距离、第二距离和重叠区域从该投影区域中确定可显示区域”具体可以包括:
当该第一距离小于第二距离时,将该投影区域中除该重叠区域之外的区域,作为可显示区域;
当该第一距离不大于第二距离时,将该投影区域作为可显示区域。
本实施例中,当被拍摄对象与虚拟模型发生显示重叠时,可以根据两者的拍摄距离确定哪个在前,哪个在后,位于后面的物体在显示时会被前面的物体遮挡一部分,该遮挡部分也即两者在图像上的重叠区域,当虚拟物体在前面时,可以正常投影,也即整个投影区域均为可显示区域,而当虚拟物体在后面时,虚拟物体只会在未被遮挡的区域进行投影,也即重叠区域为非显示区域,剩余区域为可显示区域。
容易理解的是,该合成图像不仅会在第一电子设备的预览框中显示,也可以在第二电子设备的预览框中显示,也即,在上述步骤104之后,该图像处理方法还可以包括:
生成携带有该合成图像的显示指令,该显示指令用于指示显示该合成图像;
将该显示指令发送至该第二电子设备。
本实施例中,在结束异地合照拍摄之前,比如第一电子设备用户未点击拍照确认按钮时,第二电子设备不仅需要实时向第一电子设备传送其拍摄的图像,还需要实时接收并显示第一电子设备返回的合成图像,从而方便双方用户同时查看合照。
由上述可知,本实施例提供的图像处理方法,应用于第一电子设备,通过启动图像拍摄功能,并获取当前拍摄图像,接着,在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到,并根据该三维图像生成该目标拍摄物的虚拟模型,之后将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中,从而后期无需抠图即可得到异地用户的合照,方法简单,且由于是利用真实用户图像生成的虚拟模型,故由该虚拟模型生成的合照逼真度高,合照效果好。
在本实施例中,将从图像处理装置的角度进行描述,具体将以该图像处理装置集成在第一电子设备和第二电子设备中,该第一电子设备和第二电子设备的摄像头均为双摄像头为例进行详细说明。
请参见图3,一种图像处理方法,具体流程可以如下:
201、第一电子设备启动图像拍摄功能,并获取当前拍摄图像。
202、第一电子设备在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到。
譬如,请参见图1,当第一电子设备的用户A点击了显示界面上的“合照”按键时,其会生成合照指令,该合照指令会同时传送至自身摄像头和第二电子设备的摄像头中,以触发它们进行图像拍摄,且第二电子设备会将其拍摄的三维图像传送到第一电子设备中。
203、第一电子设备根据该三维图像生成该目标拍摄物的虚拟模型。
譬如,第一电子设备根据该三维图像所包含的纹理信息和景深信息生成对应的虚拟模型。
204、第一电子设备检测当前拍摄图像中至少一个被拍摄对象的拍摄距离,并确定该虚拟模型在当前拍摄图像上的投影点。
譬如,请参见图4,当前拍摄图像上可以有牛、人物A和人物B三个被拍摄对象,该虚拟模型可以为人物C的三维模型,具体的,当将拍摄图像显示在预览框中时,用户可以对预览框进行点击,并将该点击位置对应的图像位置作为投影点。
205、第一电子设备从该至少一个被拍摄对象中确定目标拍摄对象,并将该目标拍摄对象的拍摄距离确定为第一距离,之后根据该第一距离对该虚拟模型的尺寸进行调整。
206、第一电子设备以该投影点作为投影中心,确定调整后的该虚拟模型在当前拍摄图像上的投影区域。
譬如,第一电子设备会根据目标拍摄对象的拍摄距离确定调整比例,并利用该调整比例对人物C的三维模型进行尺寸缩放。具体的,用户可以通过点击、语音、手势等方式选择目标拍摄对象,同时也可以设定投影方向(默认的投影方向为正面拍摄方向),之后在以投影点作为投影中心进行投影时,需结合该投影方向确定投影区域。
207、第一电子设备检测是否存在与该投影区域发生重叠的被拍摄对象,若存在,则执行下述步骤208,若不存在,则将该投影区域作为可显示区域。
譬如,请参见图5,若投影区域以虚线表示,则当投影点为M1时,牛所在的显示位置明显会与投影区域存在重叠部分,而当投影点为M2时,明显没有被拍摄对象与投影区域重叠。
208、第一电子设备将发生重叠的被拍摄对象的拍摄距离作为第二距离,并获取重叠区域,当该第一距离小于第二距离时,将该投影区域中除该重叠区域之外的区域,作为可显示区域;当该第一距离不大于第二距离时,将该投影区域作为可显示区域。
209、第一电子设备将该可显示区域对应的虚拟模型进行投影,以生成合成图像。
譬如,当投影点为M1时,若用户想将人物C的虚拟模型投射在牛的前面,则可以以B的拍摄距离作为第一距离,投射后的合成图像请参见图6,若用户想将人物C的虚拟模型投射在牛的后面,则可以以A的拍摄距离作为第一距离,投射后的合成图像请参见图7。
210、第一电子设备将该合成图像显示在预览框中,并生成携带有该合成图像的显示指令,之后将该显示指令发送至该第二电子设备,该显示指令用于指示显示该合成图像。
譬如,在合成图像生成并显示之后,当用户点击预览框中的“确认”按键时,第一电子设备会将该合成图像保存在相册中,与此同时,也可以将其发送至第二电子设备进行显示。
由上述可知,本实施例提供的图像处理方法,应用于第一电子设备和第二电子设备,其中第一电子设备可以启动图像拍摄功能,并获取当前拍摄图像,在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到,接着,获取当前拍摄图像,并接收第二电子设备拍摄的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到,接着,根据该三维图像生成该目标拍摄物的虚拟模型,接着,根据该三维图像所包含的纹理信息和景深信息生成对应的虚拟模型,接着,检测当前拍摄图像中至少一个被拍摄对象的拍摄距离,并确定该虚拟模型在当前拍摄图像上的投影点,接着,从该至少一个被拍摄对象中确定目标拍摄对象,并将该目标拍摄对象的拍摄距离确定为第一距离,之后根据该第一距离对该虚拟模型的尺寸进行调整,接着,以该投影点作为投影中心,确定调整后的该虚拟模型在当前拍摄图像上的投影区域,之后,检测是否存在与该投影区域发生重叠的被拍摄对象,若存在,则将发生重叠的被拍摄对象的拍摄距离作为第二距离,并获取重叠区域,当该第一距离小于第二距离时,将该投影区域中除该重叠区域之外的区域,作为可显示区域;当该第一距离不大于第二距离时,将该投影区域作为可显示区域,接着,将该合成图像显示在预览框中,并生成携带有该合成图像的显示指令,之后将该显示指令发送至该第二电子设备,该显示指令用于指示显示该合成图像,从而后期无需抠图即可得到异地用户的合照,方法简单,且由于是利用真实用户图像生成的虚拟模型,故由该虚拟模型生成的合照逼真度高,合照效果好。
根据上述实施例所描述的方法,本实施例将从图像处理装置的角度进一步进行描述,该图像处理装置具体可以作为独立的实体来实现,也可以集成在电子设备,比如终端中来实现,该终端可以包括手机、平板电脑等。
请参阅图8,图8具体描述了本申请实施例提供的图像处理装置,应用于第一电子设备,该图像处理装置可以包括:启动模块10、接收模块20、生成模块30和投影模块40,其中:
(1)启动模块10
启动模块10,用于启动图像拍摄功能,并获取当前拍摄图像。
本实施例中,用户可以通过点击某个按键,比如“合照”按键,或者通过语音或指定手势开启异地合照功能,以启动第一电子设备进行图像拍摄。
(2)接收模块20
接收模块20,用于在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到。
本实施例中,该第一电子设备是主设备,第二电子设备是从设备,当需要进行异地合照时,主设备和从设备提前建立通信连接,之后通过主设备启动合照拍摄功能,此时,从设备也会同时进行图像拍摄,并实时将自身拍摄的三维图像传送给主设备,其中,该三维图像是从设备的双摄像头拍摄的,比如双摄像头同时对目标拍摄物进行拍摄,得到两张图像,之后根据双摄像头彼此间的固定距离、以及这两张图像中的灰度差计算目标拍摄物的景深信息,根据景深信息生成三维图像。
(3)生成模块30
生成模块30,用于根据该三维图像生成该目标拍摄物的虚拟模型。
本实施例中,可以根据三维图像所包含的纹理信息和景深信息生成对应的虚拟模型。需要说明的是,该虚拟模型的生成操作可以是第一电子设备执行,也可以是第二电子设备执行,此处不做限定,并且由于单张三维图像只能生成对应拍摄视角的三维模型,若要生成目标拍摄物的整个虚拟模型,可以从多个角度拍摄三维图像,比如前视角和后视角,或者左视角和右视角,之后根据多张三维图像生成整个虚拟模型。
(4)投影模块40
投影模块40,用于将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中。
本实施例中,用户可以自己设定投影位置和投影视角,比如通过语音、触摸或者手势等方式进行指定,之后按照该投影视角将该虚拟模型投影到该投影位置处。当然,为进一步增加逼真度,避免虚拟模型的投影尺寸和真实场景人物尺寸相差较大导致产生严重违和感,请参见图9,该投影模块40具体可以包括:
检测子模块41,用于检测当前拍摄图像中至少一个被拍摄对象的拍摄距离。
本实施例中,该当前拍摄图像也可以是三维图像,也即第一电子设备中的摄像头也可以是双摄像头,利用双摄像头可以计算出被拍摄物的拍摄距离(也即景深)。
确定子模块42,用于确定该虚拟模型在当前拍摄图像上的投影点;
本实施例中,当前拍摄图像可以实时显示在预览框中,用户可以通过点击等方式在预览框中选择所需的投影点,当然,在选择之前,第一电子设备可以生成一个提示框,以提示用户做好选择准备。
投影子模块43,用于根据该拍摄距离和投影点将该虚拟模型投影在当前拍摄图像上。
例如,该投影子模块43具体可以用于:
1-3-1、从该至少一个被拍摄对象中确定目标拍摄对象,并将该目标拍摄对象的拍摄距离确定为第一距离。
本实施例中,该被拍摄对象可以是人、动物或者非生命物体。对于单个被拍摄对象,可以直接将该被拍摄对象的拍摄距离作为第一距离,而对于多个被拍摄对象,由于通常每个被拍摄对象与第一电子设备的间距不同,故用户可以自由选择某个被拍摄对象的拍摄距离作为虚拟模型的投影距离对虚拟模型进行尺寸缩放,该选择方式可以是点击、语音、手势等任意一种。
1-3-2、根据该第一距离对该虚拟模型的尺寸进行调整。
本实施例中,可以获取该第一距离对应的调整比例,利用该调整比例对虚拟模型进行缩放,其中该调整比例应当是用户提前设定好的,比如,用户提前在本地库中将各种拍摄距离与对应的调整比例进行关联存储,该调整比例可以根据物体的真实大小和图像显示大小来确定。
1-3-3、以该投影点作为投影中心,对调整后的该虚拟模型进行投影。
本实施例中,考虑到若对真实环境里前后站立的两个人物进行拍照,站在前面的人通常会遮挡站在后面的人的部分甚至全部图像,故为增加逼真度,在对虚拟模型进行投影时,也可以考虑该遮挡问题,也即,该投影子模块43可以用于:
以该投影点作为投影中心,确定调整后的该虚拟模型在当前拍摄图像上的投影区域;
检测是否存在与该投影区域发生重叠的被拍摄对象;
若存在,则将发生重叠的被拍摄对象的拍摄距离作为第二距离,并获取重叠区域;
根据该第一距离、第二距离和重叠区域从该投影区域中确定可显示区域;
将该可显示区域对应的虚拟模型进行投影。
本实施例中,可以将投影点作为投影中心进行投影,还可以将投影点作为虚拟模型的其他点,比如虚拟模型最高点或最低点,进行投影,等等。该重叠区域是指被拍摄对象和虚拟模型在显示时发生重叠的区域,该重叠区域的显示内容需根据被拍摄对象和虚拟模型的拍摄距离而定,该可显示区域指虚拟模型能进行正常显示的区域。
进一步地,该投影子模块43可以用于:
当该第一距离小于第二距离时,将该投影区域中除该重叠区域之外的区域,作为可显示区域;
当该第一距离不大于第二距离时,将该投影区域作为可显示区域。
本实施例中,当被拍摄对象与虚拟模型发生显示重叠时,可以根据两者的拍摄距离确定哪个在前,哪个在后,位于后面的物体在显示时会被前面的物体遮挡一部分,该遮挡部分也即两者在图像上的重叠区域,当虚拟物体在前面时,可以正常投影,也即整个投影区域均为可显示区域,而当虚拟物体在后面时,虚拟物体只会在未被遮挡的区域进行投影,也即重叠区域为非显示区域,剩余区域为可显示区域。
容易理解的是,该合成图像不仅会在第一电子设备的预览框中显示,也可以在第二电子设备的预览框中显示,也即,该投影模块40在将该合成图像显示在预览框中之后,还可以用于:
生成携带有该合成图像的显示指令,该显示指令用于指示显示该合成图像;
将该显示指令发送至该第二电子设备。
本实施例中,在结束异地合照拍摄之前,比如第一电子设备用户未点击拍照确认按钮时,第二电子设备不仅需要实时向第一电子设备传送其拍摄的图像,还需要实时接收并显示第一电子设备返回的合成图像,从而方便双方用户同时查看合照。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上述可知,本实施例提供的图像处理装置,应用于第一电子设备,通过启动模块10启动图像拍摄功能,并获取当前拍摄图像,接着,在当前拍摄图像的获取过程中,接收模块20接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到,生成模块30根据该三维图像生成该目标拍摄物的虚拟模型,之后投影模块40将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中,从而后期无需抠图即可得到异地用户的合照,方法简单,且由于是利用真实用户图像生成的虚拟模型,故由该虚拟模型生成的合照逼真度高,合照效果好。
另外,本申请实施例还提供了一种电子设备,该电子设备可以是智能手机、平板电脑等设备。图10所示,电子设备900包括处理器901、存储器902、显示屏903以及控制电路904。其中,处理器901分别与存储器902、显示屏903、控制电路904电性连接。
处理器901是电子设备900的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器902内的应用程序,以及调用存储在存储器902内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备900中的处理器901会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器902中,并由处理器901来运行存储在存储器902中的应用程序,从而实现各种功能:
启动图像拍摄功能,并获取当前拍摄图像;
在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,该三维图像为该第二电子设备对目标拍摄物拍摄得到;
根据该三维图像生成该目标拍摄物的虚拟模型;
将该虚拟模型投影在当前拍摄图像上,以生成合成图像,并将该合成图像显示在预览框中。
存储器902可用于存储应用程序和数据。存储器902存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器901通过运行存储在存储器902的应用程序,从而执行各种功能应用以及数据处理。
显示屏903可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路904与显示屏903电性连接,用于控制显示屏903显示信息。
在一些实施例中,如图10所示,电子设备900还包括:射频电路905、输入单元906、音频电路907、传感器908以及电源909。其中,处理器901分别与射频电路905、输入单元906、音频电路907、传感器908以及电源909电性连接。
射频电路905用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
输入单元906可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元906可以包括指纹识别模组。
音频电路907可通过扬声器、传声器提供用户与终端之间的音频接口。
电子设备900还可以包括至少一种传感器908,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
电源909用于给电子设备900的各个部件供电。在一些实施例中,电源909可以通过电源管理系统与处理器901逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图10中未示出,电子设备900还可以包括摄像头、蓝牙模块等,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像处理方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
综上该,虽然本申请已以优选实施例揭露如上,但上述优选实施例并非用以限制本申请,本领域的普通技术人员,在不脱离本申请的精神和范围内,均可作各种更动与润饰,因此本申请的保护范围以权利要求界定的范围为准。
Claims (8)
1.一种图像处理方法,应用于第一电子设备,其特征在于,包括:
启动图像拍摄功能,并获取当前拍摄图像;
在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,所述三维图像为所述第二电子设备对目标拍摄物拍摄得到;
根据所述三维图像生成所述目标拍摄物的虚拟模型;
将所述虚拟模型投影在当前拍摄图像上,以生成合成图像,并将所述合成图像显示在预览框中;其中,将所述虚拟模型投影在当前拍摄图像上,包括:检测当前拍摄图像中至少一个被拍摄对象的拍摄距离;确定所述虚拟模型在当前拍摄图像上的投影点;根据所述拍摄距离和投影点将所述虚拟模型投影在当前拍摄图像上;其中,被拍摄对象的拍摄距离指的是被拍摄对象的景深。
2.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述拍摄距离和投影点将所述虚拟模型投影在当前拍摄图像上,包括:
从所述至少一个被拍摄对象中确定目标拍摄对象,并将所述目标拍摄对象的拍摄距离确定为第一距离;其中,目标拍摄对象的拍摄距离指的是目标拍摄对象的景深;
根据所述第一距离对所述虚拟模型的尺寸进行调整;
以所述投影点作为投影中心,对调整后的所述虚拟模型进行投影。
3.根据权利要求2所述的图像处理方法,其特征在于,所述以所述投影点作为投影中心,对调整后的所述虚拟模型进行投影,包括:
以所述投影点作为投影中心,确定调整后的所述虚拟模型在当前拍摄图像上的投影区域;
检测是否存在与所述投影区域发生重叠的被拍摄对象;
若存在,则将发生重叠的被拍摄对象的拍摄距离作为第二距离,并获取重叠区域;其中,被拍摄对象的拍摄距离指的是被拍摄对象的景深;
根据所述第一距离、第二距离和重叠区域从所述投影区域中确定可显示区域;
将所述可显示区域对应的虚拟模型进行投影。
4.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述第一距离、第二距离和重叠区域确定所述投影区域中的可显示区域,包括:
当所述第一距离小于第二距离时,将所述投影区域中除所述重叠区域之外的区域,作为可显示区域;
当所述第一距离不大于第二距离时,将所述投影区域作为可显示区域。
5.一种图像处理装置,应用于第一电子设备,其特征在于,包括:
获取模块,用于启动图像拍摄功能,并获取当前拍摄图像;
接收模块,用于在当前拍摄图像的获取过程中,接收第二电子设备发送的三维图像,所述三维图像为所述第二电子设备对目标拍摄物拍摄得到;
生成模块,用于根据所述三维图像生成所述目标拍摄物的虚拟模型;
投影模块,用于将所述虚拟模型投影在当前拍摄图像上,以生成合成图像,并将所述合成图像显示在预览框中;
其中,所述投影模块包括:
检测子模块,用于检测当前拍摄图像中至少一个被拍摄对象的拍摄距离;其中,被拍摄对象的拍摄距离指的是被拍摄对象的景深;
确定子模块,用于确定所述虚拟模型在当前拍摄图像上的投影点;
投影子模块,用于根据所述拍摄距离和投影点将所述虚拟模型投影在当前拍摄图像上。
6.根据权利要求5所述的图像处理装置,其特征在于,所述投影子模块具体用于:
从所述至少一个被拍摄对象中确定目标拍摄对象,并将所述目标拍摄对象的拍摄距离确定为第一距离;其中,目标拍摄对象的拍摄距离指的是目标拍摄对象的景深;
根据所述第一距离对所述虚拟模型的尺寸进行调整;
以所述投影点作为投影中心,对调整后的所述虚拟模型进行投影。
7.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1至4任一项所述的图像处理方法。
8.一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于执行权利要求1至4任一项所述的图像处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810254539.8A CN108495032B (zh) | 2018-03-26 | 2018-03-26 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810254539.8A CN108495032B (zh) | 2018-03-26 | 2018-03-26 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108495032A CN108495032A (zh) | 2018-09-04 |
CN108495032B true CN108495032B (zh) | 2020-08-04 |
Family
ID=63337879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810254539.8A Expired - Fee Related CN108495032B (zh) | 2018-03-26 | 2018-03-26 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108495032B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110944109B (zh) | 2018-09-21 | 2022-01-14 | 华为技术有限公司 | 一种拍照方法、装置与设备 |
CN110060355B (zh) * | 2019-04-29 | 2023-05-23 | 北京小米移动软件有限公司 | 界面显示方法、装置、设备及存储介质 |
CN112511815B (zh) * | 2019-12-05 | 2022-01-21 | 中兴通讯股份有限公司 | 图像或视频生成方法及装置 |
CN113012042B (zh) * | 2019-12-20 | 2023-01-20 | 海信集团有限公司 | 显示装置、虚拟合照生成方法及存储介质 |
CN113436301B (zh) * | 2020-03-20 | 2024-04-09 | 华为技术有限公司 | 拟人化3d模型生成的方法和装置 |
CN111401459A (zh) * | 2020-03-24 | 2020-07-10 | 谷元(上海)文化科技有限责任公司 | 一种动画人物形态变化视觉捕捉系统 |
CN111901518B (zh) * | 2020-06-23 | 2022-05-17 | 维沃移动通信有限公司 | 显示方法、装置和电子设备 |
CN112381949B (zh) * | 2020-11-03 | 2024-11-01 | 恒信东方文化股份有限公司 | 一种虚拟三维影像创建方法及其系统 |
CN112887601B (zh) * | 2021-01-26 | 2022-09-16 | 维沃移动通信有限公司 | 拍摄方法、装置及电子设备 |
CN113805701A (zh) * | 2021-09-16 | 2021-12-17 | 北京百度网讯科技有限公司 | 确定虚拟形象显示范围的方法、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1687970A (zh) * | 2005-04-27 | 2005-10-26 | 蔡涛 | 三维图像体重建部分体选择的交互控制方法 |
CN103308452A (zh) * | 2013-05-27 | 2013-09-18 | 中国科学院自动化研究所 | 一种基于景深融合的光学投影断层成像图像获取方法 |
CN105187709A (zh) * | 2015-07-28 | 2015-12-23 | 努比亚技术有限公司 | 一种实现异地拍摄的方法及终端 |
CN106296574A (zh) * | 2016-08-02 | 2017-01-04 | 乐视控股(北京)有限公司 | 三维照片生成方法和装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002083285A (ja) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
JP5235798B2 (ja) * | 2009-06-22 | 2013-07-10 | 富士フイルム株式会社 | 撮影装置及びその制御方法 |
CN101605211B (zh) * | 2009-07-23 | 2011-01-05 | 杭州镭星科技有限公司 | 将虚拟三维建筑与现实环境实拍视频无缝合成的方法 |
CN102110299A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特(北京)视频技术有限公司 | 在三维模型中应用畸变的投影方法及装置 |
CN102111561A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特(北京)视频技术有限公司 | 一种模拟真实场景的三维模型投影方法及装置 |
US9269219B2 (en) * | 2010-11-15 | 2016-02-23 | Bally Gaming, Inc. | System and method for augmented reality with complex augmented reality video image tags |
CN102831401B (zh) * | 2012-08-03 | 2016-01-13 | 樊晓东 | 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统 |
CN103167232B (zh) * | 2012-10-26 | 2016-04-20 | 苏州比特速浪电子科技有限公司 | 摄像装置、图像合成装置及图像处理方法 |
CN104143212A (zh) * | 2014-07-02 | 2014-11-12 | 惠州Tcl移动通信有限公司 | 基于穿戴设备的增强现实方法及系统 |
CN107092774B (zh) * | 2017-03-10 | 2020-03-13 | 昆山华大智造云影医疗科技有限公司 | 一种提供参考信息的方法及装置 |
CN107451953A (zh) * | 2017-08-07 | 2017-12-08 | 珠海格力电器股份有限公司 | 一种合影照片生成方法及其装置、电子设备 |
-
2018
- 2018-03-26 CN CN201810254539.8A patent/CN108495032B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1687970A (zh) * | 2005-04-27 | 2005-10-26 | 蔡涛 | 三维图像体重建部分体选择的交互控制方法 |
CN103308452A (zh) * | 2013-05-27 | 2013-09-18 | 中国科学院自动化研究所 | 一种基于景深融合的光学投影断层成像图像获取方法 |
CN105187709A (zh) * | 2015-07-28 | 2015-12-23 | 努比亚技术有限公司 | 一种实现异地拍摄的方法及终端 |
CN106296574A (zh) * | 2016-08-02 | 2017-01-04 | 乐视控股(北京)有限公司 | 三维照片生成方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108495032A (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108495032B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
RU2715797C1 (ru) | Способ и устройство для синтеза объектов виртуальной реальности | |
CN109167950B (zh) | 视频录制方法、视频播放方法、装置、设备及存储介质 | |
CN110012209B (zh) | 全景图像生成方法、装置、存储介质及电子设备 | |
CN108632543B (zh) | 图像显示方法、装置、存储介质及电子设备 | |
CN110865754B (zh) | 信息展示方法、装置及终端 | |
CN110493538A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN105554372B (zh) | 一种拍摄方法以及装置 | |
CN110196673B (zh) | 图片交互方法、装置、终端及存储介质 | |
KR20170040385A (ko) | 파노라마 이미지 획득을 위한 방법 및 단말기 | |
CN110839174A (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
CN111586431B (zh) | 进行直播处理的方法、装置、设备及存储介质 | |
CN111083526B (zh) | 视频转场方法、装置、计算机设备及存储介质 | |
CN111065001A (zh) | 视频制作的方法、装置、设备及存储介质 | |
CN113763228A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110086998B (zh) | 一种拍摄方法及终端 | |
WO2022237839A1 (zh) | 拍摄方法、装置及电子设备 | |
CN114009003A (zh) | 图像采集方法、装置、设备及存储介质 | |
CN110798621A (zh) | 一种图像处理方法及电子设备 | |
CN108924422B (zh) | 一种全景拍照方法及移动终端 | |
CN109618192B (zh) | 播放视频的方法、装置、系统和存储介质 | |
CN111447365B (zh) | 一种拍摄方法及电子设备 | |
CN114245148A (zh) | 直播互动方法、装置、终端、服务器及存储介质 | |
CN113592874A (zh) | 图像显示方法、装置和计算机设备 | |
CN113485596A (zh) | 虚拟模型的处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200804 |
|
CF01 | Termination of patent right due to non-payment of annual fee |