[go: up one dir, main page]

CN106534211A - 一种数据传输方法及电子设备 - Google Patents

一种数据传输方法及电子设备 Download PDF

Info

Publication number
CN106534211A
CN106534211A CN201611246735.8A CN201611246735A CN106534211A CN 106534211 A CN106534211 A CN 106534211A CN 201611246735 A CN201611246735 A CN 201611246735A CN 106534211 A CN106534211 A CN 106534211A
Authority
CN
China
Prior art keywords
image
video image
display
electronic equipment
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611246735.8A
Other languages
English (en)
Inventor
李汶隆
邱吉刚
吴新勇
刘念林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jiuzhou Electric Group Co Ltd
Original Assignee
Sichuan Jiuzhou Electric Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Jiuzhou Electric Group Co Ltd filed Critical Sichuan Jiuzhou Electric Group Co Ltd
Priority to CN201611246735.8A priority Critical patent/CN106534211A/zh
Publication of CN106534211A publication Critical patent/CN106534211A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种数据传输方法及电子设备,用于解决电子设备的数据传输能力较差的技术问题。该方法包括:确定第一电子设备在第一时刻采集的与当前视频通信对应的第一视频图像;将第一视频图像与初始视频图像进行比对,确定第一视频图像包括的显示对象中是否存在与初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,初始视频图像为在第一视频图像之前采集的图像至少一个显示对象为在第一视频图像中所处的位置与在初始视频图像中所处的位置不相同的显示对象;将至少一个显示对象对应的目标图像数据发送给与第一电子设备连接的第二电子设备,以使第二电子设备生成与第一视频图像对应的显示图像。

Description

一种数据传输方法及电子设备
技术领域
本发明涉及视频传输领域,特别涉及一种数据传输方法及电子设备。
背景技术
随着科学技术的不断发展,电子技术也得到了飞速的发展,电子设备的性能及外观都得到了大力提升,成为学习和生活中不可缺少的一部分。用户利用电子设备可以做的事也越来越多,如:用户可以通过电子设备进行网络直播、查看视频、播放音乐、拍摄图像等等。
目前,在直播过程中,例如视频会议时,通常需要电子设备实时将视频的图像信号实时传传送到相应的显示终端进行显示,然而,在对视频的图像信号进行传输过程中,由于受网络带宽和速度的限制,例如大量的流量可能会导致网络拥塞,从而出现丢包,导致网络服务质量下降,无法保证视频通话质量。
发明内容
本发明实施例提供一种数据传输方法及电子设备,用于解决现有技术中电子设备的数据传输能力较差影响视频数据传输效果的技术问题。
第一方面,本发明实施例提供一种数据处理方法,包括以下步骤:
确定所述第一电子设备在第一时刻采集的与当前视频通信对应的第一视频图像;
将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,所述初始视频图像为在所述第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,所述至少一个显示对象为在所述第一视频图像中所处的位置与在所述初始视频图像中所处的位置不相同的显示对象;
将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,以使所述第二电子设备通过第二显示单元显示基于所述目标图像数据及上一显示图像生成与所述第一视频图像对应的显示图像。
可选的,所述将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象,包括:
将所述第一视频图像与所述初始视频图像进行背景差分处理,获得所述第一视频图像的当前图像处理块的绝对误差均值;其中,所述绝对误差均值为所述当前图像处理块与所述处理视频图像中对应的图像块之间的像素差值的绝对均值;
若确定所述绝对误差均值大于预设阈值,确定所述当前图像处理块对应的显示对象为与所述初始视频图像中初始显示对象存在差异的至少一个显示对象;否则,确定所述当前图像处理块对应的显示对象与相应的初始显示对象一致。
可选的,所述将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,包括:
从所述第一视频图像中提取所述至少一个显示对象对应的目标部分图像;
对所述目标对象图像对应的目标图像数据进行编码;
基于编码后的目标图像数据生成第一数据包,将所述第一数据包发送给所述第二电子设备。
可选的,所述对所述目标对象图像对应的目标图像数据进行编码,包括:
确定所述目标对象图像在所述第一视频图像中对应的等级参数,所述等级参数用于表征所述目标对象图像对应的显示对象的受关注程度;
基于所述可用带宽及所述等级参数,设置所述目标图像数据的编码参数,所述编码参数能够表征所述目标图像数据编码后所对应的码率;
基于所述编码参数,对所述目标图像数据进行编码。
可选的,所述方法还包括:
接收来自所述第二电子设备的第二数据包,所述第二数据包中包括所述第二电子设备确定的其采集的第二视频图像与预设视频图像之间存在差异的运动对象图像,及所述运动对象图像在所述当前视频图像中的像素坐标;
确定所述第一电子设备在当前时刻的前一时刻显示的与所述第二电子设备对应的视频图像对应的第一显示画面,所述第一显示画面与所述预设视频图像相应;
解析所述第二数据包,获得所述运动对象图像及相应的像素坐标;
确定所述第一显示图像中与所述运动对象图像对应的显示对象图像;
删除所述显示对象图像并基于所述像素坐标,将所述运动对象图像更新到所述第一显示图像,生成与当前时刻对应的第二显示图像,所述第二显示图像与所述第二视频图像相应。
第二方面,本发明实施例还提供一种电子设备,包括:
第一确定模块,用于确定所述第一电子设备在第一时刻采集的与当前视频通信对应的第一视频图像;
操作模块,用于将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,所述初始视频图像为在所述第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,所述至少一个显示对象为在所述第一视频图像中所处的位置与在所述初始视频图像中所处的位置不相同的显示对象;
发送模块,用于将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,以使所述第二电子设备通过第二显示单元显示基于所述目标图像数据及上一显示图像生成与所述第一视频图像对应的显示图像。
可选的,所述操作模块用于:
将所述第一视频图像与所述初始视频图像进行背景差分处理,获得所述第一视频图像的当前图像处理块的绝对误差均值;其中,所述绝对误差均值为所述当前图像处理块与所述处理视频图像中对应的图像块之间的像素差值的绝对均值;
若确定所述绝对误差均值大于预设阈值,确定所述当前图像处理块对应的显示对象为与所述初始视频图像中初始显示对象存在差异的至少一个显示对象;否则,确定所述当前图像处理块对应的显示对象与相应的初始显示对象一致。
可选的,所述发送模块用于:
从所述第一视频图像中提取所述至少一个显示对象对应的目标部分图像;
对所述目标对象图像对应的目标图像数据进行编码;
基于编码后的目标图像数据生成第一数据包,将所述第一数据包发送给所述第二电子设备。
可选的,所述发送模块用于:
确定所述目标对象图像在所述第一视频图像中对应的等级参数,所述等级参数用于表征所述目标对象图像对应的显示对象的受关注程度;
基于所述可用带宽及所述等级参数,设置所述目标图像数据的编码参数,所述编码参数能够指示所述目标图像数据编码后所对应的码率;
基于所述编码参数,对所述目标图像数据进行编码。
可选的,所述电子设备还包括:
接收模块,用于接收来自所述第二电子设备的第二数据包,所述第二数据包中包括所述第二电子设备确定的其采集的第二视频图像与预设视频图像之间存在差异的运动对象图像,及所述运动对象图像在所述当前视频图像中的像素坐标;
第二确定模块,用于确定所述第一电子设备在当前时刻的前一时刻显示的与所述第二电子设备对应的视频图像对应的第一显示画面,所述第一显示画面与所述预设视频图像相应;
获取模块,用于解析所述第二数据包,获得所述运动对象图像及相应的像素坐标;
第三确定模块,用于确定所述第一显示图像中与所述运动对象图像对应的显示对象图像;
所述操作模块,用于删除所述显示对象图像并基于所述像素坐标,将所述运动对象图像更新到所述第一显示图像,生成与当前时刻对应的第二显示图像,所述第二显示图像与所述第二视频图像相应。
本发明实施例中,通过获取第一电子设备采集的与当前视频通信对应的第一视频图像,所述第一视频图像包括至少一个显示对象,所述至少一个显示对象包括背景图对象和用户对象,将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,所述初始视频图像为在所述第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,该至少一个显示对象为在所述第一视频图像中所处的位置与在初始视频图像中所处的位置不相同的显示对象,进而将至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,以使第二电子设备显示基于所述目标图像数据及上一显示图像生成与所述第一视频图像对应的显示图像,从而在视频通信过程中传输视频图像数据时,仅需将第一视频图像中与初始视频图像(例如前一帧视频图像)中初始显示对象不同的至少一个显示对象对应的视目标图像数据发送至第二电子设备即可,而无需将整个视频图像进行发送,故能够有效降低数据传输码率,从而节省带宽,以适应当前带宽,避免出现丢包等情况,提高数据传输的安全性。
附图说明
图1为本发明实施例中数据传输方法的流程示意图;
图2A-图2B为本发明实施例中确定视频图像中运动对象的示意图;
图3A-图3B为本发明实施例中电子设备中显示图像的示意图;
图4为本发明实施例中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,电子设备可以是PC(个人计算机)、笔记本电脑、PAD(平板电脑)、手机等不同的设备,本发明对此不作限制。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
如图1所示,本发明实施例提供一种数据传输方法,应用于电子设备中,该方法的过程可以描述如下。
S11:获取第一电子设备采集的与当前视频通信对应的第一视频图像;
S12:将第一视频图像与初始视频图像进行比对,确定第一视频图像包括的显示对象中是否存在与初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,初始视频图像为在第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,至少一个显示对象为在第一视频图像中所处的位置与在初始视频图像中所处的位置不相同的显示对象;
S13:将至少一个显示对象对应的目标图像数据发送给与第一电子设备连接的第二电子设备,以使第二电子设备显示基于目标图像数据及上一显示图像生成与第一视频图像对应的显示图像。
本发明实施例中,第一电子设备可以是处于视频通信状态,则通过获取第一电子设备当前采集的第一视频图像,进而可以将第一视频图像与初始视频图像进行比对,从而接口确定第一视频图像中存在差异的至少一个显示对象,该至少一个显示对象即可为运动的对象,故其在第一视频图像中所处的位置与其在初始视频图像中所处的位置不相同,此时,提取第一视频图像中的至少一个显示对象对应的目标图像数据,并件该部分数据发送到第二电子设备,以通过第二电子设备基于目标图像数据和上一显示图像生成与所述第一视频图像对应的显示图像,故在视频过程中,无需传输整个图像,仅需将当前采集的视频图像与上一帧视频图像存在差异的显示对象的目标图像数据传输到第二电子设备即可,从而降低码率,节省带宽,降低带宽对数据传输的限制,提高通信质量。
可选的,第一视频图像可以是第一电子设备在视频通信过程中实时采集的图像,每个采集的视频图像可以对应有相应的采集时刻,例如第一视频图像对应的采集时刻可以是第一时刻,在第一视频图像之后采集的第二视频图像可以对应于第二时刻,等等。第一视频图像中可以包括有一个多个显示对象,该显示对象可以是背景图对象、用户对象等等,其中背景图对象可以是指视频图像采集过程中对应的背景图部分,例如若用户1在房间内进行视频直播,且背靠墙壁,那么,采集的视频图像中相应的显示对象即为用户1,相应的背景图部分即为视频图像中相应的墙壁部分。
初始视频图像可以是在采集过程中位于第一视频图像之前的视频图像,即第一时刻的前一时刻采集的视频图像,其可以包括当前视频通信对应的视频图像的背景部分图像的图像。例如,初始视频图像可以是用户在使用录像设备进行视频直播时,由摄像头采集的第一帧图像即可是初始视频图像,则该第一帧图像中即可包括相应的用户和背景图,例如背景图是直播室,用户可以是主持人及嘉宾等。
因此,在获得第一电子设备当前采集的第一视频图像后,可以将其与第一电子设备在前一时刻采集的初始视频图像进行比对,从而确定第一视频图像中相对于初始视频图像存在差异的至少一个显示对象。
可选的,在进行S12时,其过程可以包括:将第一视频图像与初始视频图像进行背景差分处理,获得所述第一视频图像的当前图像处理块的绝对误差均值;其中,所述绝对误差均值为所述当前图像处理块与所述处理视频图像中对应的图像块之间的像素差值的绝对均值;若确定所述绝对误差均值大于预设阈值,确定所述当前图像处理块对应的显示对象为与所述初始视频图像中初始显示对象存在差异的至少一个显示对象;否则,确定所述当前图像处理块对应的显示对象与相应的初始显示对象一致。
通常来说,在视频通信过程中,采集装置的位置通常较为固定,其采集的多个视频图像中对应的背景图部分通常不会改变。故在实时采集过程中,通过将当前采集的第一视频图像与前一帧视频图像(即初始视频图像)进行背景差分处理,便可确定出第一视频图像相对于初始视频图像存在差异的部分,即检测出视频过程中在第一视频图像中所处的位置与在初始视频图像中所处的位置不相同的运动物体及相应的区域,例如进行位置变动或肢体语言变化的用户。
背景差分法是利用当前图像与背景图像的差分来检测出运动区域的一种技术,其可以选取背景中的一幅或几幅图像的平均作为背景图像,然后把以后的序列图像当前帧和背景图像相减,进行背景消去。
在处理过程中将图像进行进行相减时,通常是需要将当前视频图像(即第一视频图像)划分为多个图像处理块,例如可以按照像素点进行划分,如8*8或16*16等,相应的,初始视频图像也将是按照相同方式划分为相应数量的块,并逐个将两个视频图像中分别对应的图像处理块中的像素值相减,进而获得当前处理块的绝对误差均值。进而确定绝对误差均值是否大于预设阈值,例如1.5或其它数值,在实际应用中,本领域技术人员可以基于实际需求对预设阈值进行设置,本发明实施例对此不作具体限制。
若确定绝对误差均值是否大于预设阈值,则表明当前图像处理块对应的显示对象与初始视频图像中对应的处理块中的初始显示对象存在差异,此时即可当前图像处理块中的显示对象即为确定存在差异的至少一个显示对象。否则,可以认为初始显示对象的位置或形态等未发生变化。则在实际应用中,通过对视频图像中各图像处理块的绝对误差均值的计算,即可确定被监控场景(即视频采集区域)中是否有运动物体,从而得到运动目标,例如至少一个显示对象。
例如,如图2A所示的图像为第一时刻(例如12:01:22)的前一时刻(例如12:01:20)采集的初始视频图像,图2B所示的图像为第一时刻采集的第一视频图像,其中,第一视频图像中包括背景图、用户a和用户b,用户a处于图像中的位置1、用户b处于位置2,初始视频图像中包括背景图、用户a和用户b,用于a处于位置1、用户b处于位置3,位置2和位置3不相同,则可以第一视频图像中相对于初始视频图像确定存在差异(视频过程中进行运动)的运动对象为即为用户b,故存在差异的图像不部分即为用户b在第一视频图像中对应的图像部分。
进一步,在确定出至少一个显示对象后,可以将其从第一视频图像中提取出来,并将这部分图像传输给对应的第二电子设备,该过程可以是:从所述第一视频图像中提取所述至少一个显示对象对应的目标部分图像,进而对目标对象图像对应的目标图像数据进行编码,并将编码后的目标图像数据发送给第二电子设备。
其中,第二电子设备可以是与第一电子设备建立连接且具有显示单元的设备,例如其可以是独立的显示器,或者,也可以是与第一电子设备相同的具有采集单元(例如摄像头、麦克风等)和显示单元(如触控/非触控显示屏)的设备,例如笔记本、PAD、录像设备等等,本发明实施例对此不作具体限制。
可选的,在提取至少一个显示对象在第一视频图像中对应的目标部分图像时,还可以记录目标部分图像部分在第一视频图像中对应的像素坐标,进而再对目标对象图像的目标图像数据进行编码,并将编码后的目标图像数据发送给第二电子设备。
其中,在对目标图像数据进行编码时,可以确定目标对象图像在第一视频图像中对应的等级参数,该等级参数可以用于表征目标对象图像对应的显示对象的受关注程度,例如可将视频通信(如视频会议)中越重要的通话对象对应的图像的等级设置得较高,如将视频画面中对应于主讲人(如董事长)的画面部分设置为最高等级参数,如一级,甚至还可以设置其它级,如将参与会议的人对应的图像部分设置为二级,服务人员设置为三级,等等。
进而可以基于可用带宽及等级参数,设置目标图像数据的编码参数,该编码参数能够指示目标图像数据编码后所对应的码率,即与编码后的数据的传输码率相关。可选的,在视频图像中相应的图像部分等级参数越高,则表明其为关键的人物或物体,需要保证其视频指令,即可以通过设置编码参数来保证其流畅性。
本发明实施例中,编码参数可以是量化参数,例如量化比特数,量化参数能够用于表征图像对应的精度。在实际应用中,目标图像数据对应的目标对象图像的等级参数越大,相应设置的量化参数可以越大,所表征的该目标对象图像对应的精度也就越高,相应的数据量也越大,编码后产生的码率也就越大,但不能超过当前可用带宽对应的最大码率。相应的,目标图像数据对应的目标对象图像的等级参数越低,相应设置的量化参数可以较小,所表征的该目标对象图像对应的精度也就越小,编码后产生的码率也就越小,对带宽要求更低,也不会超过当前可用带宽。
其中,码率就是数据传输时单位时间传送的数据位数,一般用的单位是Kbps即千位每秒,Kbps指的是网络速度,也就是每秒钟传送多少个千位的信息(K表示千位,Kb表示的是多少千个位),为了在直观上显得网络的传输速度较快,一般公司都使用kb(千位)来表示,1KB/S=8Kbps。非对称数字用户环路(Asymmetric Digital Subscriber Line,ADSL)上网时的网速是512Kbps,如果转换成字节,就是512/8=64KB/S(即64千字节每秒)。通常来说,如果是1M的宽带,在网上只能看不超过125Kbps的视频,超过125Kbps的视频只能等视频缓冲才能顺利观看。
本发明实施例中,由于在视频传输过程中传输的仅是存在差异的至少一个显示对象对应的目标对象图像,故相对于现有技术中需要传输整个视频图像的码率要低得多。例如,若使用1M的带宽传输数据量为1.5M的视频图像时,对应的码率可能是125kbps,而通过将该视频图像与背景图像部分进行背景差分处理,确定需要传输的存在差异的图像部分的数据量可能仅为250kb,则其相应传输的码率可以是25kbps,或其它数值,通常来说基于设置的量化参数对应的码率不会超过带宽的最大码流,例如125kbps。
相应的,第二电子设备在接收到第一电子设备发送的目标图像数据后,可对其进行解码,进而将解码后的目标对象对象与其显示的上一显示画面,该显示画面即为与第一视频图像相应的显示画面。
因此,本发明实施例中,在视频会议过程时,能够基于视频内容的重要性以及当前带宽,在确保会议质量(包括关键人物或关键物体等对应的图像的视频质量,以及视频和声音的流畅性)的前提下,实现对当前视频的码率的自动调整,即基于确定的存在差异的目标对象图像的不同,其对应编码后的码率也会不同,从而基于存在差异的部分对应的等级参数和当前可用带宽能够动态的调整码率,提高传输的灵活性。
可选的,在视频通信过程中,第一电子设备也可以接收来自第二电子设备的视频数据,进而通过自身得显示单元显示相应的画面。
该过程可以包括:接收来自第二电子设备的第二数据包,第二数据包中包括第二电子设备确定的其采集的第二视频图像与预设视频图像之间存在差异的运动对象图像,及运动对象图像在当前视频图像中的像素坐标。
进而,可以确定第一电子设备中显示单元在当前时刻的前一时刻显示的与第二电子设备对应的视频图像对应的第一显示画面,该第一显示画面可以与预设视频图像相应,即第一电子设备中前一时刻显示的显示画面与对端的第二电子设备的预设视频图像相应。
在实际应用中,该预设视频图像可以是第二电子设备在采集第二视频图像的当前时刻的前一时刻所采集的视频图像,从视觉效果上来说,第一电子设备显示的第一显示画面与预设视频图像可以是相同的。
同理,第二电子设备也可以按照上述数据传输方法确定存在差异的运动对象图像,并将其编码后发送给第一电子设备,第一电子设备在获得第二数据包后,可以对运动对象图像进行解码,获得运动对象图像及相应的像素坐标,并确定第一显示图像中与运动对象图像对应的显示对象图像。
例如,若运动对象对象为用户b的头部对应的图像(即当前时刻用户b的头部图像),则确定的第一显示图像中的显示对象图像即为用户b的头部对于的图像,即上一时刻用户b的头部图像。
进而,可以将第一显示图像与运动对象图像进行组合,生成当前时刻对应显示的第二显示图像,则第二显示图像即为基于第二电子设备传输的部分数据生成的与第二视频图像相应的显示图像。
具体的,在生成第二显示图像时,可以将第一显示图像中相应的显示对象图像转换为背景图部分,进而可以基于像素坐标,将运动对象图像更新到第一显示图像,即可生成与当前时刻对应的第二显示图像。
下面通过举例说明本发明实施例中数据传输方法的应用场景。
用户A使用视频设备1与使用视频设备2的用户B进行视频通信,其通信带宽为10M,在第一时刻,视频设备1在时刻1采集的第一帧视频图像(即初始视频图像)为如图2B所示,在时刻1之后的时刻2采集的第二帧视频图像如图2A所示,同时,在视频设备2中的显示单元中显示的画面即为与第一帧视频图像相同的第一显示图像。则视频设备通过对第一帧视频图像与第二帧视频图像进行背景差分处理,确定相应的运动对象对应的目标对象图像,并基于当前的编码,以及运动对象的受关注程度,对目标对象图像进行编码并设置相应的量化参数,并请编码后的目标对象发送给视频设备2,请参见图3A,此时,视频设备2对应的显示画面为第一显示画面。
进而,视频设备基于对接收的运动对象的图像数据及其像素位置,可以对第一显示画面中与该运动对应的图像进行替换,并基于像素位置,确定运动对象在第二显示图像中所处的位置,从而生成相应的第二显示画面,如图3B所示。
其中,视频设备1和视频设备2可以具有相同的功能,即两设备均可执行上述数据传输及处理过程。
如图4所示,基于同一发明构思,本发明实施例还提供一种电子设备,其包括第一确定模块201、操作模块202和发送模块203。
其中,第一确定模块201可以用于确定所述第一电子设备在第一时刻采集的与当前视频通信对应的第一视频图像。
操作模块202可以用于将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,所述初始视频图像为在所述第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,所述至少一个显示对象为在所述第一视频图像中所处的位置与在所述初始视频图像中所处的位置不相同的显示对象;
发送模块203可以用于将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,以使所述第二电子设备通过第二显示单元显示基于所述目标图像数据及上一显示图像生成与所述第一视频图像对应的显示图像。
可选的,所述操作模块202可以用于:将所述第一视频图像与所述初始视频图像进行背景差分处理,获得所述第一视频图像在处理过程中所产生的至少一个图像处理块中每个图像处理块对应的绝对误差均值;其中,所述绝对误差均值为所述第一视频图像中相应的图像处理块与所述处理视频图像中对应的图像块之间的像素差值的绝对值;若确定所述绝对误差均值大于预设阈值,确定相应的图像处理块对应的显示对象为与所述初始视频图像中初始显示对象存在差异的至少一个显示对象;否则,确定所述绝对误差均值相应的图像处理块对应的显示对象与相应的初始显示对象一致。
可选的,所述发送模块203可以用于:
从所述第一视频图像中提取所述至少一个显示对象对应的目标部分图像;
对所述目标对象图像对应的目标图像数据进行编码;
基于编码后的目标图像数据生成第一数据包,将所述第一数据包发送给所述第二电子设备。
可选的,所述发送模块203还可以用于:
确定所述目标对象图像在所述第一视频图像中对应的等级参数,所述等级参数用于表征所述目标对象图像对应的显示对象的受关注程度;
基于所述可用带宽及所述等级参数,设置所述目标图像数据的编码参数,所述编码参数用于指示所述目标图像数据编码后所对应的码率;
基于所述编码参数,对所述目标图像数据进行编码。
可选的,所述电子设备还包括:
接收模块,用于接收来自所述第二电子设备的第二数据包,所述第二数据包中包括所述第二电子设备确定的其采集的第二视频图像与预设视频图像之间存在差异的运动对象图像,及所述运动对象图像在所述当前视频图像中的像素坐标;
第二确定模块,用于确定所述第一电子设备在当前时刻的前一时刻显示的与所述第二电子设备对应的视频图像对应的第一显示画面,所述第一显示画面与所述预设视频图像相应;
获取模块,用于解析所述第二数据包,获得所述运动对象图像及相应的像素坐标;
第三确定模块,用于确定所述第一显示图像中与所述运动对象图像对应的显示对象图像;
所述操作模块,用于删除所述显示对象图像并基于所述像素坐标,将所述运动对象图像更新到所述第一显示图像,生成与当前时刻对应的第二显示图像,所述第二显示图像与所述第二视频图像相应。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据传输方法,应用于一第一电子设备中,其特征在于,包括:
确定所述第一电子设备在第一时刻采集的与当前视频通信对应的第一视频图像;
将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,所述初始视频图像为在所述第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,所述至少一个显示对象为在所述第一视频图像中所处的位置与在所述初始视频图像中所处的位置不相同的显示对象;
将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,以使所述第二电子设备通过第二显示单元显示基于所述目标图像数据及上一显示图像生成与所述第一视频图像对应的显示图像。
2.如权利要求1所述的方法,其特征在于,所述将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象,包括:
将所述第一视频图像与所述初始视频图像进行背景差分处理,获得所述第一视频图像的当前图像处理块的绝对误差均值;其中,所述绝对误差均值为所述当前图像处理块与所述处理视频图像中对应的图像块之间的像素差值的绝对均值;
若确定所述绝对误差均值大于预设阈值,确定所述当前图像处理块对应的显示对象为与所述初始视频图像中初始显示对象存在差异的至少一个显示对象;否则,确定所述当前图像处理块对应的显示对象与相应的初始显示对象一致。
3.如权利要求1或2所述的方法,其特征在于,所述将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,包括:
从所述第一视频图像中提取所述至少一个显示对象对应的目标部分图像;
对所述目标对象图像对应的目标图像数据进行编码;
基于编码后的目标图像数据生成第一数据包,将所述第一数据包发送给所述第二电子设备。
4.如权利要求3所述的方法,其特征在于,所述对所述目标对象图像对应的目标图像数据进行编码,包括:
确定所述目标对象图像在所述第一视频图像中对应的等级参数,所述等级参数用于表征所述目标对象图像对应的显示对象的受关注程度;
基于所述可用带宽及所述等级参数,设置所述目标图像数据的编码参数,所述编码参数能够表征所述目标图像数据编码后所对应的码率;
基于所述编码参数,对所述目标图像数据进行编码。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
接收来自所述第二电子设备的第二数据包,所述第二数据包中包括所述第二电子设备确定的其采集的第二视频图像与预设视频图像之间存在差异的运动对象图像,及所述运动对象图像在所述当前视频图像中的像素坐标;
确定所述第一电子设备在当前时刻的前一时刻显示的与所述第二电子设备对应的视频图像对应的第一显示画面,所述第一显示画面与所述预设视频图像相应;
解析所述第二数据包,获得所述运动对象图像及相应的像素坐标;
确定所述第一显示图像中与所述运动对象图像对应的显示对象图像;
删除所述显示对象图像并基于所述像素坐标,将所述运动对象图像更新到所述第一显示图像,生成与当前时刻对应的第二显示图像,所述第二显示图像与所述第二视频图像相应。
6.一种电子设备,其特征在于,包括:
第一确定模块,用于确定所述第一电子设备在第一时刻采集的与当前视频通信对应的第一视频图像;
操作模块,用于将所述第一视频图像与初始视频图像进行比对,确定所述第一视频图像包括的显示对象中是否存在与所述初始视频图像包括的初始显示对象存在差异的至少一个显示对象;其中,所述初始视频图像为在所述第一视频图像之前采集的图像,其包括当前视频通信对应的视频图像的背景部分图像的图像,所述至少一个显示对象为在所述第一视频图像中所处的位置与在所述初始视频图像中所处的位置不相同的显示对象;
发送模块,用于将所述至少一个显示对象对应的目标图像数据发送给与所述第一电子设备连接的第二电子设备,以使所述第二电子设备通过第二显示单元显示基于所述目标图像数据及上一显示图像生成与所述第一视频图像对应的显示图像。
7.如权利要求6所述的电子设备,其特征在于,所述操作模块用于:
将所述第一视频图像与所述初始视频图像进行背景差分处理,获得所述第一视频图像的当前图像处理块的绝对误差均值;其中,所述绝对误差均值为所述当前图像处理块与所述处理视频图像中对应的图像块之间的像素差值的绝对均值;
若确定所述绝对误差均值大于预设阈值,确定所述当前图像处理块对应的显示对象为与所述初始视频图像中初始显示对象存在差异的至少一个显示对象;否则,确定所述当前图像处理块对应的显示对象与相应的初始显示对象一致。
8.如权利要求6或7所述的电子设备,其特征在于,所述发送模块用于:
从所述第一视频图像中提取所述至少一个显示对象对应的目标部分图像;
对所述目标对象图像对应的目标图像数据进行编码;
基于编码后的目标图像数据生成第一数据包,将所述第一数据包发送给所述第二电子设备。
9.如权利要求8所述的电子设备,其特征在于,所述发送模块用于:
确定所述目标对象图像在所述第一视频图像中对应的等级参数,所述等级参数用于表征所述目标对象图像对应的显示对象的受关注程度;
基于所述可用带宽及所述等级参数,设置所述目标图像数据的编码参数,所述编码参数能够表征所述目标图像数据编码后所对应的码率;
基于所述编码参数,对所述目标图像数据进行编码。
10.如权利要求6所述的电子设备,其特征在于,所述电子设备还包括:
接收模块,用于接收来自所述第二电子设备的第二数据包,所述第二数据包中包括所述第二电子设备确定的其采集的第二视频图像与预设视频图像之间存在差异的运动对象图像,及所述运动对象图像在所述当前视频图像中的像素坐标;
第二确定模块,用于确定所述第一电子设备在当前时刻的前一时刻显示的与所述第二电子设备对应的视频图像对应的第一显示画面,所述第一显示画面与所述预设视频图像相应;
获取模块,用于解析所述第二数据包,获得所述运动对象图像及相应的像素坐标;
第三确定模块,用于确定所述第一显示图像中与所述运动对象图像对应的显示对象图像;
所述操作模块,用于删除所述显示对象图像并基于所述像素坐标,将所述运动对象图像更新到所述第一显示图像,生成与当前时刻对应的第二显示图像,所述第二显示图像与所述第二视频图像相应。
CN201611246735.8A 2016-12-29 2016-12-29 一种数据传输方法及电子设备 Pending CN106534211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611246735.8A CN106534211A (zh) 2016-12-29 2016-12-29 一种数据传输方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611246735.8A CN106534211A (zh) 2016-12-29 2016-12-29 一种数据传输方法及电子设备

Publications (1)

Publication Number Publication Date
CN106534211A true CN106534211A (zh) 2017-03-22

Family

ID=58339215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611246735.8A Pending CN106534211A (zh) 2016-12-29 2016-12-29 一种数据传输方法及电子设备

Country Status (1)

Country Link
CN (1) CN106534211A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147768A (zh) * 2017-05-26 2017-09-08 黄晓咏 一种用于远程面试的通讯记录系统
CN108737862A (zh) * 2018-05-23 2018-11-02 浙江大华技术股份有限公司 一种生成视频码流片段的方法和装置
CN111988520A (zh) * 2020-07-07 2020-11-24 北京文香信息技术有限公司 一种画面切换方法、装置、电子设备及存储介质
CN112073801A (zh) * 2019-08-26 2020-12-11 合肥宏晶微电子科技股份有限公司 一种图像处理方法、电子设备及连接器
CN112291563A (zh) * 2020-10-22 2021-01-29 咪咕视讯科技有限公司 一种视频编码方法、设备及计算机可读存储介质
CN112866573A (zh) * 2021-01-13 2021-05-28 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN113329054A (zh) * 2021-04-27 2021-08-31 杭州壹悟科技有限公司 一种设备监控动画显示优化方法及装置
CN116208623A (zh) * 2023-05-04 2023-06-02 腾讯科技(深圳)有限公司 信息同步方法、装置、引擎服务器及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101025862A (zh) * 2007-02-12 2007-08-29 吉林大学 基于视频的混合交通流参数的检测方法
CN101031071A (zh) * 2006-02-28 2007-09-05 中兴通讯股份有限公司 一种移动视频监控系统及方法
CN101141559A (zh) * 2007-07-24 2008-03-12 浙江大学 串行输入并行输出的视频图像亮度插值的方法和装置
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
CN103281539A (zh) * 2013-06-07 2013-09-04 华为技术有限公司 一种图像编、解码处理的方法、装置及终端
CN103313061A (zh) * 2013-06-28 2013-09-18 汕头大学 一种自适应背景更新的视频压缩传输方法及系统
CN103327169A (zh) * 2012-02-07 2013-09-25 Lg电子株式会社 移动终端及其控制方法
CN203416351U (zh) * 2013-05-31 2014-01-29 江西省电力设计院 电站厂房视频监控系统
CN203482319U (zh) * 2013-05-31 2014-03-12 江西省电力设计院 一种电站厂房视频监控分析系统
US20140194163A1 (en) * 2013-01-04 2014-07-10 Apple Inc. Fine-Tuning an Operation Based on Tapping
US20150103916A1 (en) * 2013-10-11 2015-04-16 Canon Kabushiki Kaisha Method and apparatus for displacement vector component transformation in video coding and decoding
CN106131421A (zh) * 2016-07-25 2016-11-16 乐视控股(北京)有限公司 一种视频图像的调整方法和电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031071A (zh) * 2006-02-28 2007-09-05 中兴通讯股份有限公司 一种移动视频监控系统及方法
CN101025862A (zh) * 2007-02-12 2007-08-29 吉林大学 基于视频的混合交通流参数的检测方法
CN101141559A (zh) * 2007-07-24 2008-03-12 浙江大学 串行输入并行输出的视频图像亮度插值的方法和装置
CN103327169A (zh) * 2012-02-07 2013-09-25 Lg电子株式会社 移动终端及其控制方法
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
US20140194163A1 (en) * 2013-01-04 2014-07-10 Apple Inc. Fine-Tuning an Operation Based on Tapping
CN203416351U (zh) * 2013-05-31 2014-01-29 江西省电力设计院 电站厂房视频监控系统
CN203482319U (zh) * 2013-05-31 2014-03-12 江西省电力设计院 一种电站厂房视频监控分析系统
CN103281539A (zh) * 2013-06-07 2013-09-04 华为技术有限公司 一种图像编、解码处理的方法、装置及终端
CN103313061A (zh) * 2013-06-28 2013-09-18 汕头大学 一种自适应背景更新的视频压缩传输方法及系统
US20150103916A1 (en) * 2013-10-11 2015-04-16 Canon Kabushiki Kaisha Method and apparatus for displacement vector component transformation in video coding and decoding
CN106131421A (zh) * 2016-07-25 2016-11-16 乐视控股(北京)有限公司 一种视频图像的调整方法和电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147768A (zh) * 2017-05-26 2017-09-08 黄晓咏 一种用于远程面试的通讯记录系统
CN108737862A (zh) * 2018-05-23 2018-11-02 浙江大华技术股份有限公司 一种生成视频码流片段的方法和装置
CN112073801A (zh) * 2019-08-26 2020-12-11 合肥宏晶微电子科技股份有限公司 一种图像处理方法、电子设备及连接器
CN112073801B (zh) * 2019-08-26 2021-06-18 合肥宏晶微电子科技股份有限公司 一种图像处理方法、电子设备及连接器
CN111988520A (zh) * 2020-07-07 2020-11-24 北京文香信息技术有限公司 一种画面切换方法、装置、电子设备及存储介质
CN112291563A (zh) * 2020-10-22 2021-01-29 咪咕视讯科技有限公司 一种视频编码方法、设备及计算机可读存储介质
CN112866573A (zh) * 2021-01-13 2021-05-28 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN112866573B (zh) * 2021-01-13 2022-11-04 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN113329054A (zh) * 2021-04-27 2021-08-31 杭州壹悟科技有限公司 一种设备监控动画显示优化方法及装置
CN116208623A (zh) * 2023-05-04 2023-06-02 腾讯科技(深圳)有限公司 信息同步方法、装置、引擎服务器及存储介质

Similar Documents

Publication Publication Date Title
CN106534211A (zh) 一种数据传输方法及电子设备
US9210372B2 (en) Communication method and device for video simulation image
US20020054032A1 (en) Data transmission method, apparatus using same, and data transmission system
US20100208139A1 (en) Method and system for processing a composite video image
US20050208962A1 (en) Mobile phone, multimedia chatting system and method thereof
CN110049324A (zh) 视频编码方法、系统、设备及计算机可读存储介质
CN109168013B (zh) 一种抽帧的方法、装置、设备及计算机可读存储介质
EP2523145A1 (en) Method for dynamically adapting video image parameters for facilitating subsequent applications
EP2986020B1 (en) Method and apparatus for adjusting video quality based on network environment
US7425979B2 (en) Communication system
US7508413B2 (en) Video conference data transmission device and data transmission method adapted for small display of mobile terminals
CN105516638B (zh) 一种视频通话方法、装置和系统
CN106791699A (zh) 一种远程头戴交互式视频共享系统
CN103957391A (zh) 在可视对讲中多方通话时同时显示各方视频的方法及系统
CN112203126B (zh) 投屏方法、投屏装置及存储介质
CN107332818B (zh) 媒体数据的处理方法、装置和系统、存储介质及处理器
JP2002051315A (ja) データ伝送方法およびその装置、並びにデータ伝送システム
CN109640030A (zh) 一种视频会议系统的音视频外设扩展装置及方法
US20220053167A1 (en) Mobile Terminal And Hub Apparatus For Use In A Video Communication System
KR101630018B1 (ko) 촬영 단말기 및 그 제어방법, 촬영 단말기와 통신하는 그룹 영상 관리 시스템 및 그 제어방법과 이를 위한 기록 매체
US20090089442A1 (en) Method of transmitting data in a communication system
JP2013046319A (ja) 画像処理装置及び、画像処理方法
US8432429B2 (en) Multimedia effect processing device for videophone and related method
CN113160342B (zh) 基于反馈的编码方法及装置、存储介质、电子设备
TWI410137B (zh) 一種視頻幀流控裝置及視頻幀的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322

RJ01 Rejection of invention patent application after publication