[go: up one dir, main page]

CN117478686A - 共享方法、电子设备及系统 - Google Patents

共享方法、电子设备及系统 Download PDF

Info

Publication number
CN117478686A
CN117478686A CN202210867898.7A CN202210867898A CN117478686A CN 117478686 A CN117478686 A CN 117478686A CN 202210867898 A CN202210867898 A CN 202210867898A CN 117478686 A CN117478686 A CN 117478686A
Authority
CN
China
Prior art keywords
data
interface
electronic device
sharing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210867898.7A
Other languages
English (en)
Inventor
贾银元
张利
王良
许浩维
王志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210867898.7A priority Critical patent/CN117478686A/zh
Priority to PCT/CN2023/108156 priority patent/WO2024017296A1/zh
Priority to EP23842358.6A priority patent/EP4542964A4/en
Publication of CN117478686A publication Critical patent/CN117478686A/zh
Priority to US19/022,530 priority patent/US20250156135A1/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供了一种共享方法、电子设备及系统,该方法应用于第一设备,该方法包括:显示第一界面,第一界面用于指示当前和第二设备进行运营商通话;和第二设备进行运营商通话时,显示第一应用的第二界面;接收作用于第二界面的用户操作;向第二设备发送第一数据,第一数据用于第二设备输出第二界面相关的多媒体数据。本申请能够让用户以更加简单快捷的操作方式和通话对方实现一起看、一起听等实时共享功能,有效满足用户的需求,提升用户体验。

Description

共享方法、电子设备及系统
技术领域
本申请涉及计算机技术领域,尤其涉及一种共享方法、电子设备及系统。
背景技术
目前无法实现实时共享音频流、视频流等多媒体数据流的功能,例如,用户在电话中往往通过口述来分享内容,通话对方无法观看/收听到相关内容,或者,用户通过蓝牙、近距离无线通信技术(near field communication,NFC)等近场通信技术实现的是文件式的分享。
发明内容
本申请公开了一种共享方法、电子设备及系统,能够让用户以更加简单快捷的操作方式和至少一个通话对方、附近用户等实现一起看、一起听、一起玩和一起编辑等实时共享功能。
第一方面,本申请提供了一种共享方法,应用于第一设备,该方法包括:显示第一界面,所述第一界面用于指示当前和第二设备进行运营商通话;和所述第二设备进行所述运营商通话时,显示第一应用的第二界面;接收作用于所述第二界面的第一用户操作;向所述第二设备发送第一数据,所述第一数据用于所述第二设备输出所述第二界面相关的多媒体数据。
在上述方法中,第一设备和第二设备进行运营商通话时,第一设备可以根据接收到的第一用户操作,将作为前台应用的第一应用相关的第一数据发送给第二设备,以使第二设备输出第一应用的界面相关的多媒体数据,解决了运营商通话的场景下无法实时共享多媒体数据流的问题,让用户以更加简单快捷的操作方式和通话对方实现一起看、一起听,满足用户需求,提升用户体验。
在一种可能的实现方式中,所述第一界面和所述第二界面包括第一悬浮窗,所述第一用户操作为作用于所述第一悬浮窗中的分享控件的用户操作;或者,所述第一用户操作为以第一轨迹滑动的用户操作。
在上述方法中,用于触发向第二设备发送第一数据的第一用户操作的类型可以有多种,用户可以根据需求自行选择执行哪种类型的第一用户操作,满足不同的用户需求,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据之前,所述方法还包括:显示所述第二界面时,抓取所述第二界面相关的多媒体数据,所述第一数据包括所述第二界面相关的多媒体数据。
在上述方法中,第一数据包括第一设备抓取的本设备输出的第二界面相关的音频流、视频流等多媒体数据,因此,第二设备接收到第一数据后可以直接输出第二界面相关的多媒体数据,无需安装第一应用或适配第一应用,即可以实时共享任意应用的多媒体数据,拓宽了应用场景,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:通过所述运营商通话的主链路向所述第二设备发送所述运营商通话的通话数据和所述第一数据。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:通过所述运营商通话的主链路向所述第二设备发送所述运营商通话的通话数据,通过所述运营商通话的数据通路向所述第二设备发送所述第一数据。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:通过所述运营商通话的主链路向所述第二设备发送所述运营商通话的通话数据,通过辅助链路向所述第二设备发送所述第一数据。
例如,辅助链路是网络地址转换NAT的穿越链路或者中继链路。
例如,辅助链路的物理通道为蜂窝通信链路、无线保真Wi-Fi链路、蓝牙BT链路、点对点D2D链路或者卫星链路。
在上述方法中,第一设备和第二设备进行运营商通话时,第一设备可以通过和该运营商通话的主链路、数据通路或相关的辅助链路发送实时分享的第一数据,因此,第一设备和第二设备无需安装聊天应用、会议应用等用于实现实时共享多媒体数据的应用程序,用户可以基于当前进行的运营商通话快捷地实时共享多媒体数据,拓宽了应用场景,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据之前,所述方法还包括:向网络设备发送第一请求消息,所述第一请求消息包括所述第二设备的标识信息;接收所述网络设备基于所述第一请求消息发送的所述第二设备的会话标识;根据所述第二设备的会话标识和所述第二设备建立所述辅助链路。
例如,标识信息包括电话号码、过顶OTT标识ID、网络账号。
在上述方法中,即使第一设备原本未存储第二设备的会话标识,也可以通过已有的第二设备的标识信息获取第二设备的会话标识,从而和第二设备建立辅助链路,标识信息的类型多种多样,提升了成功建立辅助链路的概率,应用场景更广泛。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:显示第三界面,所述第三界面包括多个设备的信息;接收作用于所述多个设备中的所述第二设备的第二用户操作;向所述第二设备发送所述第一数据。
在上述方法中,和第一设备进行实时分享的被分享设备(即第二设备)可以是响应于用户操作确定的,用户使用更加灵活,提升用户体验。
例如,所述第二设备为通过近场通信方式和所述第一设备连接的设备。这样解决了近场通信的场景下无法实时共享多媒体数据流的问题,让用户以更加简单快捷的操作方式和附近设备实现一起看、一起听,满足用户需求,提升用户体验。
在一种可能的实现方式中,所述多个设备包括以下至少一项:发现的设备、连接的设备、最近一次进行过运营商通话的设备、存储有标识信息的设备、根据拍摄的图像识别的设备。
例如,所述连接的设备包括所述第二设备、通过近场通信方式连接的设备、通过远场通信方式连接的设备。例如,所述发现的设备包括通过近场通信方式发现的设备、通过远场通信方式发现的设备。例如,所述拍摄的图像包括所述第一设备拍摄的图像,和/或所述第一设备连接的设备拍摄的图像。
在上述方法中,可供用户选择的被分享设备的类型多种多样,满足用户向不同设备实时分享多媒体数据的需求,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:显示第四界面,所述第四界面包括多个窗口的信息;接收作用于所述多个窗口中的第一窗口的第三用户操作,所述第一窗口包括所述第二界面的内容;向所述第二设备发送所述第一数据。
在上述方法中,第一设备实时分享的内容(即第一数据)可以是响应于用户操作确定的,用户使用更加灵活,提升用户体验。
在一种可能的实现方式中,所述多个窗口包括以下至少一项:前台应用的窗口、后台应用的窗口、所述第一设备已安装但未运行的应用的窗口。
在上述方法中,可供用户选择的待分享内容可以为前台应用的多媒体数据,也可以为后台应用的多媒体数据,还可以为第一设备已安装但未运行的应用的多媒体数据,满足用户实时分享不同多媒体数据的需求,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:显示第五界面,所述第五界面包括多个共享方式;接收作用于所述多个共享方式中的第一方式的第四用户操作;显示第六界面,所述第六界面包括多个窗口和多个设备的信息,所述多个窗口和所述多个设备是根据所述第一方式确定的;接收作用于所述多个窗口中的第二窗口的第五用户操作,接收作用于所述多个设备中的所述第二设备的第六用户操作,所述第二窗口包括所述第二界面的内容;根据所述第五用户操作和所述第六用户操作,向所述第二设备发送所述第一数据。
例如,所述第一方式为一起看,所述多个窗口包括视频应用的窗口,所述多个设备包括配置有显示屏的设备(例如手机、平板电脑)。例如,所述第一方式为一起听,所述多个窗口包括音乐应用的窗口,所述多个设备包括配置有扬声器的设备(例如耳机、音箱)。
在上述方法中,第一设备显示的可供用户选择的被分享设备和待分享内容,可以是根据用户选择的共享方式确定的,从而过滤掉用户不想要选择的被分享设备和待分享内容,避免这些信息影响用户选择,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据之前,所述方法还包括:接收第七用户操作;响应于所述第七用户操作,确定共享数据的类型为第一类型;其中,当所述第一类型为音频时,所述第一数据包括所述第二界面相关的音频数据;当所述第一类型为图像时,所述第一数据包括所述第二界面相关的视频数据;当所述第一类型为音频和图像时,所述第一数据包括所述第二界面相关的音频数据和视频数据。
在上述方法中,用户可以选择分享内容的类型,即选择第一数据的类型为音频、图像或者音频和图像,满足用户的个性化需求,提升用户体验。
在一种可能的实现方式中,所述第一数据包括所述第二界面相关的视频数据;所述方法还包括:接收作用于所述第二界面且以第二轨迹滑动的第八用户操作;向所述第二设备发送第二数据,所述第二数据包括所述第二界面相关的音频数据。
例如,所述第一轨迹为W的轨迹,所述第二轨迹为L的轨迹。
在上述方法中,用户可以通过执行不同的用户操作触发分享不同类型的内容,操作更加简单方便,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据之前,所述方法还包括:接收用于选择所述第二界面中的第一区域的第九用户操作,所述第一数据包括所述第一区域相关的多媒体数据。
在上述方法中,用户可以选择分享第二界面中的部分区域相关的多媒体数据,即让用户可以做到快捷地分享任意区域的多媒体数据,满足用户的个性化需求,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据之前,所述方法还包括:接收用于选择所述第二界面中的第一图层的第十用户操作,所述第一数据包括所述第一图层相关的多媒体数据。
在上述方法中,用户可以选择分享第二界面中的部分图层相关的多媒体数据,即让用户可以做到快捷地分享任意图层的多媒体数据,满足用户的个性化需求,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:当所述第一应用不为预设应用时,向所述第二设备发送所述第一数据,所述预设应用的安全等级高于第一等级。
例如,所述预设应用包括所述第一设备响应于用户操作确定的应用。例如,所述预设应用包括所述第一设备按照预设规则确定的应用。例如,所述预设应用包括银行应用和/或支付应用。
在上述方法中,第一设备可以不分享安全等级高于第一等级的预设应用的多媒体数据,有效保障用户的隐私安全。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:识别到所述第二界面中的第二区域相关的数据的安全等级高于第二等级;向所述第二设备发送所述第一数据,所述第一数据不包括所述第二区域相关的数据。
例如,所述第二区域相关的数据包括所述第一设备响应于用户操作确定的数据。例如,所述第二区域相关的数据包括所述第一设备按照预设规则确定的数据。例如,所述第二区域相关的数据包括用户名、密码、账户名、登录名、身份证号码、银行卡号、账户余额。
在上述方法中,第一设备可以不分享安全等级高于第二等级的数据,有效保障用户的隐私安全。
在一种可能的实现方式中,所述显示第一应用的第二界面,包括:接收网络设备发送的第一频道的广播数据;根据所述第一频道的广播数据显示所述第二界面。
在一种可能的实现方式中,所述方法还包括:接收所述网络设备发送的第二频道的广播数据,所述第一设备显示的用户界面和所述第二频道的广播数据无关;接收第十一用户操作;向第三设备发送所述第二频道的广播数据,所述第二频道的广播数据用于所述第三设备输出所述第二频道的音频和/或视频。
在上述方法中,第一设备可以不输出接收到的第二频道的广播数据,而是响应于用户操作,直接将第二频道的广播数据发送给第三设备,第一设备的应用处理器无需被唤醒来处理第二频道的广播数据,从而减小设备功耗。并且,第一设备无需具备解码和播放广播数据的能力,拓宽应用场景,用户体验更好。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:向所述第二设备发送所述第一数据和第三数据,所述第三数据包括所述第一设备通过麦克风采集到的音频数据和/或所述第一设备通过摄像头采集到的图像数据。
在上述方法中,第一设备向第二设备发送的多媒体数据可以叠加麦克风采集的音频数据和/或摄像头采集的图像数据,使用第二设备的用户可以一边看/听应用数据,一边看对方情况和/或一边听对方讲解,满足用户的个性化需求,提升用户体验。
在一种可能的实现方式中,所述方法还包括:接收第十二用户操作;响应于所述第十二用户操作,确定不授予所述第二设备保存所述第一数据的权限和转发所述第一数据的权限;接收所述第二设备发送的第二请求消息,所述第二请求消息用于请求保存和/或转发所述第一数据;根据所述第二请求消息显示第一提示信息。
在上述方法中,第一设备可以设置不允许第二设备保存和转发第一数据,第二设备需要保存第一数据或者转发第一数据时,可以请求第一设备允许,从而避免在使用第一设备的用户不知情的情况下,第二设备二次传播第一设备分享的第一数据,提升对用户的隐私安全的保护。
在一种可能的实现方式中,所述方法还包括:接收所述第二设备发送的第三请求消息,所述第三请求消息用于请求向所述第一设备实时分享多媒体数据;根据所述第三请求消息显示第二提示信息;接收第十三用户操作,所述第十三用户操作用于接受所述第二请求消息指示的请求;接收所述第二设备发送的第四数据;输出所述第四数据。
在上述方法中,第一设备向第二设备分享第一数据时,第二设备也可以向第一设备分享多媒体数据,即实现双向分享,满足用户个性化的实时共享需求,提升用户体验。
在一种可能的实现方式中,所述输出所述第四数据,包括:根据所述第四数据显示第七界面,所述第一设备显示所述第七界面时,所述第二设备显示所述第二界面的内容;或者,所述输出所述第四数据,包括:分屏显示所述第二界面和第八界面,所述第八界面是根据所述第四数据确定的。
在上述方法中,第一设备显示第二设备分享的内容时,第二设备也可以显示第一设备分享的内容,即“你看我的,我看你的”,或者,第一设备也可以分屏显示本设备分享的内容和第二设备分享的内容,显示方式灵活多样,满足用户在不同场景下的不同需求。
在一种可能的实现方式中,所述接收所述第二设备发送的第四数据之后,所述方法还包括:接收第十四用户操作;向第四设备发送所述第四数据,以使所述第四设备输出所述第四数据。
在上述方法中,第一设备可以将第二设备分享的第四数据再分享给其他设备,满足用户个性化的实时共享需求,提升用户体验。
在一种可能的实现方式中,所述向所述第二设备发送第一数据,包括:通过第一链路和第二链路向所述第二设备发送所述第一数据,所述第一链路为蜂窝通信链路或辅助链路,所述第二链路包括以下至少一项:蓝牙链路、无线保真Wi-Fi链路、V2X链路、卫星链路、点对点D2D链路、蜂窝通信链路和辅助链路,所述第一链路和所述第二链路不同。
在上述方法中,第一设备可以通过不同通信方式的不同传输路径一起传输第一数据,例如,通过第一链路传输一次第一数据,通过第二链路再传输一次第一数据,可以理解为是实现冗余补包,避免某个链路不稳定造成第二设备无法接收到有效的第一数据,提升传输质量。
在一种可能的实现方式中,所述方法还包括:显示第九界面,所述第九界面包括所述第一设备运行的多个用户界面的信息;接收作用于所述第九界面中的第一控件的第十五用户操作,所述第一控件和所述多个用户界面中的第十界面相关;向第五设备发送第五数据,所述第五数据用于所述第五设备输出所述第十界面相关的多媒体数据。
例如,所述第九界面为多任务列表的用户界面。
在上述方法中,用户可以基于多任务列表的用户界面触发分享其中一个任务(第十界面)相关的多媒体数据,触发实时分享的方式多种多样,满足用户在不同场景下的不同需求,提升用户体验。
在一种可能的实现方式中,所述方法还包括:显示第十一界面,所述第十一界面包括控制中心的多个功能的信息;接收作用于所述第十一界面中的第二控件的第十六用户操作,所述第二控件和所述多个功能中的分享功能相关;向第六设备发送第六数据,所述第六数据用于所述第六设备输出所述第一设备的前台应用的多媒体数据。
例如,所述第十一界面为所述第一设备响应于从屏幕上侧边缘往下滑动的用户操作,显示的控制中心的用户界面。
在上述方法中,用户可以基于控制中心的用户界面触发实时分享,触发方式多种多样,满足用户在不同场景下的不同需求,提升用户体验。
第二方面,本申请提供了又一种共享方法,应用于第一设备,该方法包括:显示第一界面,所述第一界面包括所述第一设备运行的多个窗口的信息;接收作用于所述第一界面中的第一控件的第一用户操作,所述第一控件和所述多个窗口中的第一应用的第一窗口相关;向第二设备发送第一数据,所述第一数据用于所述第二设备输出所述第一窗口相关的多媒体数据。
例如,所述第一界面为多任务列表的用户界面。
例如,所述第二设备为和所述第一设备进行运营商通话的设备。例如,所述第二设备为和所述第一设备通过近场通信方式连接的设备。例如,所述第二设备为和所述第一设备通过远场通信方式连接的设备。
在上述方法中,用户可以基于多任务列表的用户界面触发分享其中一个任务(第一窗口)相关的多媒体数据,分享的第二设备可以是通话对方或附近设备,解决了运营商通话和近场通信的场景下无法实时共享多媒体数据流的问题,让用户以更加简单快捷的操作方式和通话对方、附近设备、远场设备实现一起看、一起听,满足用户需求,提升用户体验。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:显示第二界面,所述第二界面包括多个设备的信息;接收作用于所述多个设备中的所述第二设备的第二用户操作;向所述第二设备发送所述第一数据。
在一种可能的实现方式中,所述多个设备包括以下至少一项:发现的设备、连接的设备、最近一次进行过运营商通话的设备、存储有标识信息的设备、根据拍摄的图像识别的设备。
例如,所述连接的设备包括当前进行运营商通话的设备、通过近场通信方式连接的设备、通过远场通信方式连接的设备。
在一种可能的实现方式中,所述显示第二界面之前,所述方法还包括:显示第三界面,所述第三界面包括多个共享方式;接收作用于所述多个共享方式中的第一方式的第三用户操作,所述多个设备是根据所述第一方式确定的。
例如,所述第一方式为一起看,所述多个设备包括配置有显示屏的设备(例如手机、平板电脑)。例如,所述第一方式为一起听,所述多个设备包括配置有扬声器的设备(例如耳机、音箱)。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收第四用户操作;响应于所述第四用户操作,确定共享数据的类型为第一类型;其中,当所述第一类型为音频时,所述第一数据包括所述第一窗口相关的音频数据;当所述第一类型为图像时,所述第一数据包括所述第一窗口相关的视频数据;当所述第一类型为音频和图像时,所述第一数据包括所述第一窗口相关的音频数据和视频数据。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收作用于所述第一窗口中的第一区域的第五用户操作,所述第一数据包括所述第一区域相关的多媒体数据。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收作用于所述第一窗口中的第一图层的第六用户操作,所述第一数据包括所述第一图层相关的多媒体数据。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:当所述第一应用不为预设应用时,向所述第二设备发送所述第一数据,所述预设应用的安全等级高于第一等级。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:识别到所述第一窗口中的第二区域相关的数据的安全等级高于第二等级;向所述第二设备发送所述第一数据,所述第一数据不包括所述第二区域相关的数据。
在一种可能的实现方式中,所述显示第一界面,包括:接收网络设备发送的第一频道的广播数据;根据所述第一频道的广播数据显示所述第一界面中的所述第一窗口。
在一种可能的实现方式中,所述方法还包括:接收所述网络设备发送的第二频道的广播数据,所述第一设备显示的用户界面和所述第二频道的广播数据无关;接收第七用户操作;向所述第二设备发送所述第二频道的广播数据,所述第二频道的广播数据用于所述第二设备输出所述第二频道的音频和/或视频。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:向所述第二设备发送所述第一数据和第二数据,所述第二数据包括所述第一设备通过麦克风采集到的音频数据和/或所述第一设备通过摄像头采集到的图像数据。
在一种可能的实现方式中,所述方法还包括:接收第八用户操作;响应于所述第八用户操作,确定不授予所述第二设备保存所述第一数据的权限和转发所述第一数据的权限;接收所述第二设备发送的第一请求消息,所述第一请求消息用于请求保存和/或转发所述第一数据;根据所述第一请求消息显示第一提示信息。
在一种可能的实现方式中,所述方法还包括:接收所述第二设备发送的第二请求消息,所述第二请求消息用于请求实时分享;根据所述第二请求消息显示第二提示信息;接收第九用户操作,所述第九用户操作用于接受所述第二请求消息指示的请求;接收所述第二设备发送的第三数据;输出所述第三数据。
在一种可能的实现方式中,所述输出所述第三数据,包括:根据所述第三数据显示第四界面,所述第一设备显示所述第四界面时,所述第二设备显示所述第一窗口的内容;或者,所述输出所述第三数据,包括:分屏显示第五界面和第六界面,所述第五界面包括所述第一窗口的内容,所述第六界面是根据所述第三数据确定的。
在一种可能的实现方式中,所述接收所述第二设备发送的第三数据之后,所述方法还包括:接收第十用户操作;向第三设备发送所述第三数据,以使所述第三设备输出所述第三数据。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:通过第一链路和第二链路向所述第二设备发送所述第一数据,所述第一链路和所述第二链路包括以下至少一项:蜂窝通信链路、辅助链路、蓝牙链路、无线保真Wi-Fi链路、V2X链路、卫星链路、点对点D2D链路,所述第一链路和所述第二链路不同。
第三方面,本申请提供了又一种共享方法,应用于第一设备,该方法包括:显示第一界面,所述第一界面包括控制中心的多个功能的信息;接收作用于所述第一界面中的第一控件的第一用户操作,所述第一控件和所述多个功能中的分享功能相关;向第二设备发送第一数据,以使所述第二设备输出所述第一数据。
例如,所述第一界面为所述第一设备响应于从屏幕上侧边缘往下滑动的用户操作,显示的控制中心的用户界面。
例如,所述第二设备为和所述第一设备进行运营商通话的设备。例如,所述第二设备为和所述第一设备通过近场通信方式连接的设备。例如,所述第二设备为和所述第一设备通过远场通信方式连接的设备。
在上述方法中,用户可以基于控制中心的用户界面触发实时分享,分享的第二设备可以是通话对方或附近设备,解决了运营商通话和近场通信的场景下无法实时共享多媒体数据流的问题,让用户以更加简单快捷的操作方式和通话对方、附近设备、远场设备实现一起看、一起听,满足用户需求,提升用户体验。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:显示第二界面,所述第二界面包括多个设备的信息;接收作用于所述多个设备中的所述第二设备的第二用户操作;向所述第二设备发送所述第一数据。
在一种可能的实现方式中,所述多个设备包括以下至少一项:发现的设备、连接的设备、最近一次进行过运营商通话的设备、存储有标识信息的设备、根据拍摄的图像识别的设备。
例如,所述连接的设备包括当前进行运营商通话的设备、通过近场通信方式连接的设备、通过远场通信方式连接的设备。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:显示第三界面,所述第三界面包括多个窗口的信息;接收作用于所述多个窗口中的第一窗口的第三用户操作,所述第一数据包括所述第一窗口相关的多媒体数据;向所述第二设备发送所述第一数据。
在一种可能的实现方式中,所述多个窗口包括以下至少一项:前台应用的窗口、后台应用的窗口、所述第一设备已安装但未运行的应用的窗口。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收作用于所述第一窗口中的第一区域的第四用户操作,所述第一数据包括所述第一区域相关的多媒体数据。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收作用于所述第一窗口中的第一图层的第五用户操作,所述第一数据包括所述第一图层相关的多媒体数据。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:当所述第一数据对应的应用不为预设应用时,向所述第二设备发送所述第一数据,所述预设应用的安全等级高于第一等级。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:识别到所述第一窗口中的第二区域相关的数据的安全等级高于第二等级;向所述第二设备发送所述第一数据,所述第一数据不包括所述第二区域相关的数据。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:显示第四界面,所述第四界面包括多个共享方式;接收作用于所述多个共享方式中的第一方式的第六用户操作;显示第五界面,所述第五界面包括多个窗口和多个设备的信息,所述多个窗口和所述多个设备是根据所述第一方式确定的;接收作用于所述多个窗口中的第二窗口的第七用户操作,接收作用于所述多个设备中的所述第二设备的第八用户操作,所述第一数据包括所述第二窗口相关的多媒体数据;根据所述第七用户操作和所述第八用户操作,向所述第二设备发送所述第一数据。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收第九用户操作;响应于所述第九用户操作,确定共享数据的类型为第一类型;其中,当所述第一类型为音频时,所述第一数据包括音频数据;当所述第一类型为图像时,所述第一数据包括视频数据;当所述第一类型为音频和图像时,所述第一数据包括音频数据和视频数据。
在一种可能的实现方式中,所述向第二设备发送第一数据之前,所述方法还包括:接收网络设备发送的第一频道的广播数据;根据所述第一频道的广播数据显示第六界面,所述第一数据包括所述第六界面相关的多媒体数据。
在一种可能的实现方式中,所述方法还包括:接收所述网络设备发送的第二频道的广播数据,所述第一设备显示的用户界面和所述第二频道的广播数据无关,所述第一数据包括所述第二频道的广播数据,所述第一数据用于所述第二设备输出所述第二频道的音频和/或视频。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:向所述第二设备发送所述第一数据和第二数据,所述第二数据包括所述第一设备通过麦克风采集到的音频数据和/或所述第一设备通过摄像头采集到的图像数据。
在一种可能的实现方式中,所述方法还包括:接收第十用户操作;响应于所述第十用户操作,确定不授予所述第二设备保存所述第一数据的权限和转发所述第一数据的权限;接收所述第二设备发送的第一请求消息,所述第一请求消息用于请求保存和/或转发所述第一数据;根据所述第一请求消息显示第一提示信息。
在一种可能的实现方式中,所述方法还包括:接收所述第二设备发送的第二请求消息,所述第二请求消息用于请求实时分享;根据所述第二请求消息显示第二提示信息;接收第十一用户操作,所述第十一用户操作用于接受所述第二请求消息指示的请求;接收所述第二设备发送的第三数据;输出所述第三数据。
在一种可能的实现方式中,所述输出所述第三数据,包括:根据所述第三数据显示第七界面,所述第一设备显示所述第七界面时,所述第二设备显示所述第一数据包括的视频数据;或者,所述输出所述第三数据,包括:分屏显示第八界面和第九界面,所述第八界面是根据所述第一数据确定的,所述第九界面是根据所述第三数据确定的。
在一种可能的实现方式中,所述方法还包括:接收第十二用户操作;向第三设备发送所述第三数据,以使所述第三设备输出所述第三数据。
在一种可能的实现方式中,所述向第二设备发送第一数据,包括:通过第一链路和第二链路向所述第二设备发送所述第一数据,所述第一链路和所述第二链路包括以下至少一项:蜂窝通信链路、辅助链路、蓝牙链路、无线保真Wi-Fi链路、V2X链路、卫星链路、点对点D2D链路,所述第一链路和所述第二链路不同。
第四方面,本申请提供了一种电子设备,包括收发器、处理器和存储器,上述存储器用于存储计算机程序,上述处理器调用上述计算机程序,用于执行上述任一方面任一项可能的实现方式中的共享方法。
第五方面,本申请提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时,实现上述任一方面任一项可能的实现方式中的共享方法。
第六方面,本申请提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行上述任一方面任一项可能的实现方式中的共享方法。
第七方面,本申请提供一种电子设备,该电子设备包括执行本申请任一实现方式所介绍的方法或装置。上述电子设备例如为芯片。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实现方式中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实现方式中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实现方式。进而,还可以任何适当的方式组合本申请中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实现方式的一个或多个特定的技术特征、技术方案或有益效果即可实现本申请。在其他实现方式中,还可在没有体现本申请的特定实现方式中识别出额外的技术特征和有益效果。
附图说明
以下对本申请用到的附图进行介绍。
图1A是本申请提供的一种共享系统的架构示意图;
图1B是本申请提供的又一种共享系统的架构示意图;
图1C是本申请提供的又一种共享系统的架构示意图;
图2A是本申请提供的一种电子设备的硬件结构示意图;
图2B是本申请提供的一种电子设备的软件架构示意图;
图2C是本申请提供的又一种电子设备的软件架构示意图;
图2D是本申请提供的又一种电子设备的软件架构示意图;
图2E是本申请提供的又一种共享系统的架构示意图;
图3、图4A-图4C、图5A-图5D、图6A-图6D、图7A-图7C、图8A-图8C、图9A-图9C、图10A-图10B、图11A-图11D、图12A-图12D、图13、图14A-图14D、图15A-图15D、图16A-图16E、图17A-图17I、图18A-图18D、图19A-图19G、图20A-图20D、图21A-图21E、图22A-图22E、图23A-图23C、图24A-图24C是本申请提供的一些用户界面的示意图;
图25是本申请提供的一种共享方法的流程示意图;
图26A是本申请提供的一种音频传输方式的示意图;
图26B是本申请提供的又一种音频传输方式的示意图;
图26C是本申请提供的又一种音频传输方式的示意图;
图27是本申请提供的又一种共享系统的架构示意图;
图28是本申请提供的一种辅助链路的建立过程的流程示意图;
图29是本申请提供的一种通信地图的示意图;
图30是本申请提供的一种预测建链的流程示意图;
图31是本申请提供的一种数据传输的示意图;
图32A是本申请提供的一种音频流和/或视频流传输的架构示意图;
图32B是本申请提供的一种数据包的示意图;
图33是本申请提供的又一种数据传输的示意图;
图34是本申请提供的又一种共享系统的架构示意图;
图35是本申请提供的一种设备发现和连接的流程示意图;
图36是本申请提供的又一种数据传输的示意图;
图37是本申请提供的一种组播组成员离开的流程示意图;
图38是本申请提供的又一种组播组成员离开的流程示意图;
图39是本申请提供的又一种数据包的示意图;
图40是本申请提供的又一种共享系统的架构示意图;
图41是本申请提供的又一种共享系统的架构示意图;
图42是本申请提供的又一种数据传输的示意图;
图43是本申请提供的一种密码传输过程的流程示意图;
图44是本申请提供的一种多设备同步过程的流程示意图;
图45A-图45D是本申请提供的一些多级分享的场景示意图;
图46A-图46C是本申请提供的一些新无线接入NR通信系统的架构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
目前的分享功能可以通过以下三种方式实现:
方式一:使用手机的用户在电话(也可称为运营商通话)中往往通过口述来分享在手机上看到的内容,通话对方无法观看到该内容。
方式二:用户通过蓝牙、近距离无线通信技术(near field communication,NFC)等近场通信技术实现的是文件式的分享,例如可以将图片文件分享给附近用户,无法实时分享音频流/视频流等多媒体数据流,存在二次传播的可能性,无法有效保障用户的隐私安全。
方式三:用户通过电子设备上安装的聊天应用或会议应用实时共享其他应用的多媒体数据流。但这样仍然无法实现运营商通话和近场通信的场景下的实时共享。并且,分享设备和被分享设备都需要安装聊天应用或者会议应用,以及待共享的应用,甚至可能要求被分享设备注册和/或登录到该待共享的应用。待共享的应用还需要和聊天应用或会议应用进行适配,未适配的应用的多媒体数据流无法被实时分享。应用场景限定,无法满足用户的需求。
本申请提供了一种共享方法,可以提供更加简洁和方便的用户体验操作序列,让分享设备和一个或多个通话对方、附近设备、远场设备等被分享设备,实现一起看、一起听、一起玩和一起编辑等实时共享、协同的功能,解决了运营商通话和近场通信的场景下无法实时共享的问题,无需安装聊天应用或会议应用、待共享的应用,也无需适配待共享的应用,大大拓宽了应用场景,让用户可以做到快捷地分享任意应用、任意区域的多媒体数据流,有效满足用户的需求,提升用户体验。并且,实时分享可以减少二次传播的可能性,提升对用户的隐私安全的保护。
本申请中,实时共享可以是分享设备/分享用户向至少一个被分享设备/被分享用户分享多媒体数据流等分享数据,分享设备/分享用户和至少一个被分享设备/被分享用户可以一起观看/收听多媒体数据流。其中,多媒体数据流可以包括图像数据(多帧图像可称为视频流)和音频数据(多帧音频可以称为音频流)。分享设备是发起实时共享/实时分享的设备,也可称为分享发起方,在一种实施方式中,分享设备可以提供分享内容(也可称为分享数据,例如上述任意应用、任意区域的多媒体数据流)。被分享设备是接收上述发起的实时共享/实时分享的设备,也可称为是分享接收方,被分享设备可以接收分享内容和输出分享内容。分享用户和被分享用户的描述类似,分享用户可以使用分享设备向使用被分享设备的被分享用户实时共享分享数据。对于分享设备/分享用户而言,被分享设备/被分享用户可以简称为分享对象。本申请中的实时分享属于实时共享,可以是以分享设备的角度说明实时共享的描述。
可以理解地,分享设备/分享用户和被分享设备/被分享用户是相对的角色概念,而非物理概念,一个设备/用户在不同的分享场景下可以是不同的角色。例如,设备1/用户1在时间1可以作为分享设备/分享用户给其他设备/用户实时分享多媒体数据流,在时间2可以作为被分享设备接收其他分享设备实时分享的多媒体数据流。例如,设备1/用户1可以给设备2/用户2实时分享多媒体数据流,同时,设备2/用户2还可以给设备3/用户3多媒体数据流,在这种情况下,对于设备1而言,设备2是被分享设备,但对于设备3而言,设备2是分享设备。
本申请中,一起看、一起听、一起玩和一起编辑可以是四种不同的实时共享方式。例如,一起看可以是实时共享可被观看的内容(例如视频应用的图像),一起听可以是实时共享可被收听的内容(例如音乐应用的音频),一起玩可以是实时共享游戏相关的内容(例如游戏应用的图像和/或音频),一起编辑可以是实时共享文档(可被编辑,例如word格式、表格(excel)格式和演示文稿(powerpoint,PPT)格式的文档等)相关的内容。在一种实施方式中,用户可以选择实时共享的方式,但可以理解地,用户选择的实时共享方式不会对实际实时分享的内容构成限定,例如,用户先选择了一起看的实时共享方式,但在实际实时分享时,用户可以使用分享设备向其他被分享设备发送可被收听的内容、游戏相关的内容和/或文档相关的内容等,如视频应用的音频流和视频流。在另一种实施方式中,电子设备也可以自行确定实时共享的方式,例如默认设置一种实时共享方式,或者按照预设规则确定实时共享方式。不限于上述示例的情况,还可以有其他实时共享的方式。本申请对实时共享方式的具体内容和确定方式不作限定。
本申请中,电子设备可以运行至少一个应用,这至少一个应用中用户可见且可交互的应用程序可称为前台应用,电子设备可以显示前台应用的用户界面,也可称为是电子设备在前台运行该应用。这至少一个应用中用户不可见且不可交互的应用程序可称为后台应用,电子设备不会显示后台应用的用户界面,但仍然会运行后台应用,也可称为是电子设备在后台运行该应用。可以理解地,前台应用和后台应用是角色概念,而非物理概念,一个应用在不同场景下可以是不同的角色。例如,电子设备显示应用1的用户界面时(此时应用1为前台应用,应用2为后台应用),可以响应于用户操作显示应用2的用户界面(此时应用2为前台应用,应用1为后台应用)。
本申请中,附近设备是电子设备可以通过蓝牙、无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi))、点对点通信(device todevice communication,D2D)、近距离无线通信技术(near field communication,NFC)、超宽带(ultra wide band,UWB)、红外线等近场通信技术进行通信的设备。附近设备可以包括电子设备发现但未连接的设备,和/或电子设备已连接的设备。本申请对近场通信技术的具体内容不作限定。
本申请中,远场设备是电子设备可以通过WLAN、卫星、蜂窝通信等远场通信技术进行通信的设备。远场设备可以包括电子设备发现但未连接的设备,和/或电子设备已连接的设备。本申请对远场通信技术的具体内容不作限定。
本申请中的触摸操作可以但不限于包括:单击、双击、长按、单指长按、多指长按、单指滑动、多指滑动、指关节滑动等多种形式。其中,滑动形式的触摸操作可以简称为滑动操作,滑动操作例如但不限于为左右滑动、上下滑动、往第一特定位置滑动、按照特定轨迹滑动等,本申请对滑动操作的轨迹不作限定。在一些实施方式中,该触摸操作可以作用于电子设备上的第二特定位置。上述特定位置可以位于电子设备的显示屏上,例如图标等控件所在的位置或显示屏的边缘等,或者,该特定位置也可以位于电子设备的侧边、背面等其他位置,例如音量键、电源键等按键的位置。其中,上述特定位置为电子设备预设的,或者,该特定位置为电子设备响应于用户操作确定的。上述特定轨迹为电子设备预设的,或者,该特定轨迹为电子设备响应于用户操作确定的。
下面介绍本申请实施例涉及的共享系统10。
图1A示例性示出了一种共享系统10的架构示意图。
如图1A所示,共享系统10可以包括电子设备11,电子设备11可以通过不同的通信方式和不同的电子设备进行通信,具体示例如下所述:
在一些实施例中,电子设备11可以通过蜂窝通信网络(也可称为通过蜂窝通信方式)和至少一个电子设备进行通信,可选地实现运营商通话(即电话)。图1A以这至少一个电子设备包括电子设备12为例进行说明。电子设备11、蜂窝通信网络和这至少一个电子设备可以构成蜂窝通信系统,该蜂窝通信系统例如但不限于为全球移动通讯系统(globalsystem for mobile communications,GSM)、码分多址接入(code division multipleaccess,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、时分同步码分多址(time division synchronous code division multiple ac,TD-SCDMA)、长期演进(long term evolution,LTE)、新无线接入(new radio,NR)或其他未来网络系统。其中,蜂窝通信网络例如但不限于包括基站、核心网和通信线路。基站是一种部署在无线接入网(radio access network,RAN)中用于提供无线通信功能的设备。在不同的无线接入系统中,基站的名称可能不同,例如但不限于,GSM或CDMA中的基站收发台(base transceiverstation,BTS),WCDMA中的节点B(node B,NB),LTE中的演进型基站(evolved node B,eNodeB),NR中的下一代基站(g node B,gNB),或者其他未来网络系统中的基站。核心网为蜂窝通信系统中的关键控制节点,主要负责信令处理功能,例如但不限于用于实现接入控制、移动性管理、会话管理等功能。核心网设备例如但不限于包括接入和移动性管理功能(access and mobility management function,AMF)实体、会话管理功能(sessionmanagement function,SMF)实体、用户面功能(user plane function,UPF)实体等。通信线路例如但不限于包括双绞线、同轴电缆、光纤。在一些示例中,电子设备11可以通过空中接口(简称空口)和蜂窝通信网络中的基站1连接,电子设备12可以通过空中接口和蜂窝通信网络中的基站2连接,基站1和基站2可以连接到核心网。不限于上述示例,在另一些示例中,基站1和基站2也可以为同一个基站。
在一些实施例中,电子设备11可以通过近场通信技术和至少一个电子设备进行通信,近场通信技术例如但不限于包括蓝牙、WLAN(如Wi-Fi)、D2D、NFC、UWB、红外线等。图1A以这至少一个电子设备包括电子设备13、电子设备14和电子设备15为例进行说明,电子设备11通过WLAN和电子设备13进行通信,通过蓝牙和电子设备14进行通信,通过D2D和电子设备15进行通信,电子设备11和电子设备15进行通信的示例可参见下图1B。
近场通信方式的WLAN例如包括对等网络(Peer to Peer,P2P)直连,或者,连接了同一个WLAN信号源的两个设备(此时处于同一个局域网)可以通过近场的WLAN进行通信。不限于此,在另一些示例中,WLAN也可以为远场通信方式,例如,属于不同局域网的两个设备可以通过远场的WLAN进行通信。
在一些实施例中,电子设备11还可以通过车用无线通信(vehicle to X,V2X)技术和至少一个车辆进行通信,图1A以这至少一个车辆包括车辆16为例进行说明。在一些示例中,电子设备11可以通过蜂窝通信网络和车辆16进行通信,可以理解为是通过蜂窝通信网络实现V2X。在另一些示例中,电子设备11可以直接和车辆16进行通信。不限于上述示例的情况,在另一些示例中,电子设备11还可以通过V2X技术和车载设备等其他设备进行通信。
在一些实施例中,电子设备11还可以通过卫星和至少一个电子设备进行通信,卫星系统例如但不限于包括北斗、天通、星链等。图1A这至少一个电子设备包括电子设备12为例进行说明。在一些示例中,电子设备11可以连接卫星,再通过卫星连接蜂窝通信网络,最后通过蜂窝通信网络连接电子设备12,可参见下图1C所示的示例。
不限于此,在另一些实施例中,电子设备11还可以和至少一个电子设备实现过顶(over the top,OTT)通话,在一些示例中,OTT通话可以是越过运营商发展基于开放互联网的各种视频等数据服务的业务,例如通过Wi-Fi实现,在另一些示例中,OTT通话可以基于运营商的蜂窝数据业务实现。
图1B示例性示出又一种共享系统10的架构示意图。
如图1B所示,共享系统10包括电子设备11和电子设备15,电子设备11和电子设备15之间基于空口(例如PC5)和通信链路(例如侧行链路(sidelink))实现D2D通信,其中,不同于蜂窝通信链路区分上行链路(uplink)和下行链路(downlink),sidelink可以体现通信两端的对等性。D2D通信提供了直连发现(direct discovery)功能和直连通信(directcommunication)功能,其中,direct discovery可以提供给电子设备A发现周围有可以直连的电子设备B的功能,direct communication可以提供给电子设备A和周围的电子设备B进行数据交互的功能,例如,电子设备A为电子设备11,电子设备B为电子设备15,或者,电子设备A为电子设备15,电子设备B为电子设备11。在一些实施例中,可以通过D2D技术在电子设备11和电子设备15这两端进行直连发现和直连通信,从而实现一起看、一起听、一起玩、一起编辑等实时共享的功能。
图1C示例性示出又一种共享系统10的架构示意图。
如图1C所示,共享系统10包括电子设备11、卫星、地面接收站、基站1、核心网设备1、数据网络(Data Network)、核心网设备2、基站2和电子设备12。在一些实施例中,电子设备11和电子设备12可以通过共享系统10实现一起看、一起听、一起玩、一起编辑等实时共享的功能,以电子设备11为分享设备,电子设备12为被分享设备为例进行说明:
电子设备11可以连接至卫星,将分享内容发送至卫星。卫星可以将分享内容发送至地面接收站。在一种实施方式中,地面接收站可以经由基站1接入核心网设备1,通过基站1将分享内容发送至核心网设备1,在另一种实施方式中,地面接收站也可以直接连接至核心网设备1,直接将分享内容发送至核心网设备1。然后,核心网设备1可以通过DataNetwork将分享内容发送至核心网设备2。电子设备12可以经由基站2接入核心网设备2,核心网设备2可以通过基站2将分享内容发送至电子设备12输出。
不限于上述示例的情况,在另一种实施方式中,卫星和电子设备12之间可以有更多或更少的设备,例如,地面接收站可以经过至少一个接入转换的网关设备连接至核心网设备1。
不限于上述示例的情况,在另一种实施方式中,电子设备12也可以不是通过蜂窝通信的网络设备(如基站2和核心网设备2)接入Data Network,而是通过WLAN(如Wi-Fi)方式接入Data Network,本申请对电子设备12接入Data Network的方式不作限定。
在一些实施例中,分享设备和被分享设备之间可以通过多种通信方式实现多连接,例如通过不同通信方式的不同传输路径进行冗余补包,从而保障实时共享的传输质量(例如实时性和/或稳定性)。上述多种通信方式例如但不限于包括上图1A、图1B和图1C所述的通信方式。本申请中的补包可以是在传输某一个数据包时,再传输至少一次该数据包的部分或全部内容,每次传输的内容可以相同或不同(例如包括三种情况:完全相同、部分相同和完全不同),每次传输的时间可以相同或不同。例如,在时间1通过卫星传输数据包1的全部内容、通过蜂窝通信方式传输数据包1的片段1,在时间2通过卫星传输数据包1的片段2,在时间3通过蜂窝通信方式传输数据包1的全部内容、通过蓝牙传输数据包1的片段2。
需要说明的是,图1A、图1B和图1C所示的电子设备11、12、13、14、15,车辆16,卫星,蜂窝通信网络,地面接收站,基站1、2,核心网设备1、2,Data Network的形态和数量仅用于示例,本申请实施例对此不作限定。
不限于上述示例的情况,在另一种实施方式中,上述基站也可以是其他接入网设备,例如用户设备(user equipment,UE)、接入热点(access point,AP),收发点(transmission and receiver point,TRP),中继设备,或者具备基站的功能的其他网络设备等。
接下来介绍本申请实施例提供的示例性的电子设备100。在一些实施例中,电子设备100可以是共享系统10中的任意一个电子设备。
本申请中,电子设备100可以是手机、平板电脑、手持计算机、桌面型计算机、膝上型计算机、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、蜂窝电话、个人数字助理(personal digital assistant,PDA),以及智能大屏、智智能音箱等智能家居设备,智能手环、智能手表、智能眼镜等可穿戴设备,增强现实(augmented reality,AR)、虚拟现实(virtual reality,VR)、混合现实(mixed reality,MR)等扩展现实(extended reality,XR)设备,车载设备或智慧城市设备,本申请实施例对电子设备的具体类型不作特殊限制。
图2A示例性示出了一种电子设备100的硬件结构示意图。
应理解的是,图2A所示电子设备100仅是一个范例,并且电子设备100可以具有比图2A中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图2A中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
如图2A所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器(modem),图形处理器(graphicsprocessing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一种实施方式中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一种实施方式中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现,例如传输实时分享的音频流/视频流。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一种实施方式中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一种实施方式中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一种实施方式中,调制解调处理器可以是独立的器件。在另一种实施方式中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR),D2D,V2X等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一种实施方式中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband codedivision multiple access,WCDMA),时分码分多址(time-division code divisionmultiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能,例如显示实时共享的视频流。
GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。显示屏194(也可称为屏幕)用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organiclight-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一种实施方式中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能,例如可以拍摄人像,以用于和应用的视频流一起实时分享给其他设备。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一种实施方式中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一种实施方式中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能,例如播放实时分享的音频流。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一种实施方式中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐或其他实时分享的音频流,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一种实施方式中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一种实施方式中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。例如,麦克风170C实时采集的音频可以和应用的音频流一起实时分享给其他设备。
耳机接口170D用于连接有线耳机。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一种实施方式中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。在另一种实施方式中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
压力传感器180A和/或触摸传感器180K用于检测作用于其上或附近的触摸操作。压力传感器180A和/或触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。距离传感器180F,用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。环境光传感器180L用于感知环境光亮度。指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。
接下来示例性说明电子设备100的软件系统。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。例如,分层架构的软件系统可以是安卓(Android)系统,也可以是鸿蒙(harmony)操作系统(operating system,OS),或其它软件系统。
图2B示例性示出一种电子设备100的软件架构示意图。图2B以分层架构的Android系统为例,示例性说明电子设备100的软件架构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一种实施方式中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2B所示,应用程序包可以包括通讯录,图库,蓝牙,WLAN,通话,短信息,浏览器,音乐、分享、短视频和视频等应用程序。其中,分享应用可以提供和一个或多个通话对方、附近设备、远场设备等被分享设备一起看、一起听、一起编辑、一起玩等实时共享功能。分享可以为独立的应用程序,也可以是通话、蓝牙、WLAN等其他应用程序封装的功能组件,本申请对此不作限定。本申请中,应用程序包也可以替换为小程序等其他形式的软件。以下实施例以通话、蓝牙和WLAN集成了分享的功能组件为例进行说明。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2B所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器和分享模块等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
分享模块可以用于实现一起看、一起听、一起编辑、一起玩等实时共享功能,例如但不限于包括用户体验(user experience,UX)显示、提供用户交互功能(例如接收并响应用户输入的操作)、业务功能和服务逻辑等,UX显示例如但不限于包括:发起一起看、一起听、一起编辑、一起玩等实时分享操作的显示界面(包括触发实时分享操作的控件),播放实时共享的多媒体数据流的显示界面,选择分享内容的显示界面,选择被分享设备/被分享用户(也可称为分享对象)的显示界面。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4、H.264、H.265等视频编码格式,MP3、AAC、AMR、SBC、LC3、aptX、LDAC、L2HC、WAV、FLAC等音频编码格式,JPG、PNG、BMP、GIF等图片编码格式。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合接听电话的场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为通话应用的接听控件为例,通话应用调用应用框架层的接口,进而通过调用内核层启动音频驱动,通过受话器170B播放通话对方的语音信息和/或通过麦克风170C获取当前用户的语音信息。
在一些实施例中,电子设备100的软件系统可以包括应用处理器系统(application processor,AP)和无线通信系统。其中:
无线通信系统可以但不限于包括以下至少一项:蜂窝通信系统(例如2G/3G/4G/5G/6G等)、卫星系统(例如北斗、天通、星链等)、Wi-Fi、BT、NFC、D2D等。在一种实施方式中,无线通信系统可以包括协处理器(CoProcessor,CP)和/或数字信号处理器(digitalsignal processor,DSP),其中,CP在终端中可以为基带芯片加协处理器或者多媒体加速器,CP可以包括与网络通信所需的数字组件,CP可以包括一个基于精简指令集计算机(reduced instruction set computer,RISC)微处理器(advanced RISC machines,ARM)的处理器和一个DSP。CP可以具有操作系统,可以通过高速(high speed,HS)串行连接和运行Android、IOS、Windows等操作系统的应用处理器进行通信。CP可以实现VR、AR、图像处理、高保真(highfidelity,HiFi)、高速数据传输(high data rate,HDR)、传感器管理等处理逻辑。不限于此,CP也可以是蜂窝调制解调器(cellular processor,CP)。
应用系统用于实现用户界面的渲染和呈现,用户操作的输入和响应,业务功能以及音频/视频等多媒体数据的播放等控制逻辑。该软件系统的具体示例可参见下图2C-图2E。
图2C示例性示出又一种电子设备100的软件架构示意图。
如图2C所示,电子设备100的应用系统包括分享模块、发现模块、抓取模块、新通话(NewTalk)功能模块、Wi-Fi功能模块、BT功能模块、D2D功能模块、卫星(Satellite)功能模块、NewTalk链路(Link)模块、Wi-Fi链路模块、BT链路模块、D2D链路模块、卫星链路模块。其中:
分享模块可以理解为是一起看(View)、一起听(Listen)、一起玩(Play)和一起编辑(Edit)等实时共享的核心功能模块,分享模块例如称为Together(View/Listen/Play/Edit)。分享模块可以用于UX显示,例如但不限于包括:发起一起看、一起听、一起编辑、一起玩等实时分享操作的显示界面(包括触发实时分享操作的控件),播放实时共享的多媒体数据流的显示界面,选择分享内容的显示界面,选择被分享设备/被分享用户(也可称为分享对象)的显示界面。不限于此,分享模块还可以用于提供实时共享的用户交互功能、提供实时共享的相关业务功能和实现实时共享的服务逻辑等,本申请对此不作限定。
发现模块用于通过Wi-Fi、BT、D2D等近场通信技术发现附近设备,发现模块例如称为Nearby。不限于此,也可以通过蜂窝通信技术、卫星等远场通信技术发现设备,本申请对发现设备的通信技术不作限定。
抓取模块用于抓取分享数据。在一些示例中,抓取模块可以基于应用和/或系统的接口获取解码后的多媒体数据流(可直接播放)或者解码前的多媒体数据流(例如生成的原始数据),例如,解码后的多媒体数据流是针对特定的电子设备100、处理得到的可直接播放的数据,为了保证分享数据在被分享设备上的播放效果,抓取模块可以抓取解码前的多媒体数据流以用于实时分享。在另一些示例中,抓取模块可以在系统层直接抓取解码前的多媒体数据流,例如,电子设备100通过3G/4G/5G/6G广播模块接收到基站发送的广播数据后,可以通过内核层的蜂窝通信网卡(未示出)上报到系统层,电子设备100可以不播放该广播数据,而是由抓取模块获取该广播数据以用于实时分享。
NewTalk功能模块用于基于NewTalk实现实时分享的功能,其中,NewTalk可以但不限于为运营商通话和/或OTT通话,NewTalk例如但不限于通过蜂窝通信方式实现。在一种实施方式中,NewTalk功能模块可以基于正在通话(可简称为通话态)的NewTalk实现实时共享,在另一种实施方式中,NewTalk功能模块可以基于未通话(可简称为非通话态)的NewTalk实现实时共享。
Wi-Fi功能模块用于基于Wi-Fi实现实时共享,其中,可以使用单播(unicast)、广播(broadcast)或组播(multicast)(也可称为多播)等传输方式实现Wi-Fi通信。
BT功能模块用于基于BT实现实时共享,其中,可以使用单播、广播或组播等传输方式实现BT通信。
D2D功能模块用于基于D2D实现实时共享。
卫星功能模块用于基于通信卫星实现实时共享。
NewTalk链路模块用于管理NewTalk的链路,例如但不限于包括链路的建立、释放、数据的传输等。在一种实施方式中,NewTalk的链路可以包括主链路和辅助链路。
Wi-Fi链路模块用于管理Wi-Fi的链路,例如但不限于包括链路的建立、释放、数据的传输等。
BT链路模块用于管理BT的链路,例如但不限于包括链路的建立、释放、数据的传输等。
D2D链路模块用于管理D2D的链路,例如但不限于包括链路的建立、释放、数据的传输等。
卫星链路模块用于管理通信卫星的链路,例如但不限于包括链路的建立、释放、数据的传输等。
如图2C所示,电子设备100的无线通信系统包括蜂窝通信模块、Wi-Fi通信模块、BT通信模块和卫星通信模块,其中:
蜂窝通信模块(modem)包括网际互联协议(internet protocol,IP)多媒体系统(IP multimedia subsystem,IMS)通信模块、电路交换(circuited switched,CS)通信模块和3G/4G/5G/6G广播模块,其中,IMS通信模块可以但不限于实现LTE语音通话(voice overLTE,VoLTE)、LTE视频通话(video over LTE,ViLTE)、NR语音通话(voice over NR,VoNR)、NR视频通话(video over NR,ViNR)、Wi-Fi语音通话(voice over Wi-Fi,VoWiFi)、Wi-Fi视频通话(video over Wi-Fi,ViWiFi)、演进分组系统回退(evolved packet system-Fallback,EPS-Fallback)等基于IMS协议的通话。CS通信模块可以提供CS Fallback的功能。
3G/4G/5G/6G广播模块可以用于监听3G/4G/5G/6G的广播信道。电子设备100可以处于至少一个基站的覆盖区域内,这至少一个基站中的任意一个基站可以通过广播信道向处于覆盖区域的电子设备(包括电子设备100)发送广播数据(例如音频流/视频流等多媒体数据),任意一个基站可以维护至少一个频道,不同频道对应的广播数据可以不同。在一些示例中,用户可以通过电子设备100选择接收的广播数据对应的频道。在一些示例中,电子设备100可以通过3G/4G/5G/6G广播模块接收基站发送的广播数据,3G/4G/5G/6G广播模块可以通过内核层的蜂窝通信网卡(未示出)上报到系统层进行处理。在一些示例中,电子设备100可以通过系统应用(例如通话)或第三方应用(例如聊天应用、会议应用)播放接收到的广播数据,电子设备100可以将播放的内容分享给其他设备。在另一些示例中,电子设备100可以不播放接收到的广播数据,而是将接收到的广播数据直接分享给其他设备,或者将处理后的广播数据分享给其他设备。
Wi-Fi通信模块可以包括WiFi通信的硬件模块,例如固件和芯片。
BT通信模块可以包括BT通信的硬件模块,例如固件和芯片。
卫星通信模块可以包括卫星通信的硬件模块,例如固件和芯片。
如图2C所示,基于NewTalk、卫星等远场通信方式和Wi-Fi、BT、D2D等近场通信方式的实时共享功能统一由分享模块实现。在一种实施方式中,近场通信方式和远场通信方式的各种无线电接入技术(radio access technology,RAT)可以仅负责通信链路的管理,例如由这些通信方式的链路模块负责通信链路的管理,部分服务(service)功能(例如但不限于安全、编码/解码等)可以由分享模块实现。不限于此,在另一种实施方式中,部分服务(service)功能(例如但不限于安全、编码/解码等)也可以由对应的通信方式的功能模块实现。
不限于图2C所示的软件架构示意图,在另一些实施例中,电子设备100的软件架构示意图可参见图2D,图2D和图2C类似,区别在于,图2D中,基于NewTalk、卫星等远场通信方式和Wi-Fi、BT、D2D等近场通信方式的一起看、一起听、一起玩、一起编辑等实时共享功能各自独立,这些通信方式的功能模块可以分别集成分享模块。
以上说明了电子设备的硬件结构和软件架构,接下来结合图2E示例性说明分享设备和被分享设备的通信架构,图2E中的部分模块的功能和可能实现可参考前述实施例中的电子设备的软件架构的描述,例如图2C所示的电子设备100的说明。
图2E示例性示出又一种共享系统10的架构示意图。
如图2E所示,共享系统10可以包括电子设备100、电子设备200和网络设备300,其中,电子设备100和电子设备200之间可以进行一起看、一起听、一起玩和一起编辑等实时共享。网络设备300可以包括至少一个服务器,例如,网络设备300是多个服务器组成的服务器集群。其中,任意一个服务器可以为硬件服务器,也可以为云服务器,例如,网页服务器、后台服务器、应用服务器、下载服务器等。
以电子设备100为例说明电子设备的软件系统架构,电子设备200的说明类似。
在一种实施方式中,如图2E所示,电子设备100的应用系统(AP)可以分为三层,从上至下分别为应用程序框架层(framework,FW)、硬件抽象层(hardware abstract layer,HAL)和内核层(kernel)。应用程序框架层包括分享模块、发现模块、抓取模块、NewTalk功能模块、Wi-Fi功能模块、BT功能模块、D2D功能模块、卫星功能模块。分享模块可以包括一起看(View)的功能模块、一起听(Listen)的功能模块、一起玩(Play)的功能模块、一起编辑(Edit)的功能模块、链路管理模块、安全模块、成员管理模块、质量模块、编解码模块、抓流模块、传输模块、数据处理模块和播放模块,其中:
链路管理(Link Manager)模块用于统一管理NewTalk、卫星等远场通信方式和Wi-Fi、BT、D2D等近场通信方式的链路,例如但不限于包括对一个或多个物理链路进行建立、维系、销毁等操作,这一个或多个物理链路可以包括以下至少一个链路:NewTalk的主链路、NewTalk的辅助链路、卫星链路、D2D链路、BT广播链路、BT单播链路、Wi-Fi广播链路、Wi-Fi单播链路。
安全(Security)模块可以但不限于用于实现证书认证、加密/解密等安全功能。
成员管理(Member Manager)模块用于管理进行实时共享的成员(设备/用户),在一些示例中,可以添加、删除进行实时共享的成员。例如,电子设备100为分享设备时,可以选择对哪些设备/用户进行分享、查看正在播放分享内容的设备/用户,取消分享给某些设备/用户等。成员管理模块可以但不限于通过设备的地址信息、用户的名称信息等标识信息来管理进行实时共享的成员。
质量模块用于管控进行实时共享的用户的体验质量(quality of experience,QoE)。
编解码模块(Codec)用于实现音频(Audio)、视频(Video)、语音(Speech)等数据的编码和解码。
抓流(CaptureStream)模块为抓流功能的适配模块,可以但不限于用于抓取音频、视频和语音等数据流。
传输模块用于管理NewTalk、卫星等远场通信方式和Wi-Fi、BT、D2D等近场通信方式的传输功能。
数据处理模块可以实现至少一种数据处理策略,例如但不限于包括分片(Slice)、聚合(Aggregation)和冗余(Redundancy)。
播放(PlayStream)模块为播放功能的适配模块,可以但不限于用于播放音频、视频和语音等数据流。
HAL可以包括NewTalk服务模块、Wi-Fi协议栈、D2D协议栈、BT协议栈、卫星服务模块和辅助链路模块。其中,Wi-Fi协议栈可以实现Wi-Fi单播、组播和广播通信。BT协议栈可以实现BT单播、组播和广播通信。在一种实施方式中,辅助链路模块可以包括网络地址转换(network address translation,NAT)穿越和/或中继的端侧服务模块,例如称为NATService,其中,穿越(session traversal utilities for NAT,STUN)可以理解为是一种P2P技术,用于在两点之间直接通信。中继(traversal using relays around NAT,TURN)可以由服务器等网络设备负责通信双方的数据的转发,从而实现两点之间的通信。不限于此,辅助链路模块还可以包括即时通信(real time communication,RTC)的服务模块,该服务模块例如通过即时网络(real time networks,RTN)实现辅助链路的数据传输,进一步提升传输效率和质量。
内核层可以包括传输协议栈、Wi-Fi网卡(network interface controller,NIC)、Wi-Fi驱动(driver)、蜂窝通信网卡、A核数据服务(A-core data service,ADS)、D2D驱动、蓝牙驱动和卫星驱动。其中,传输协议栈可以但不限于包括传输控制协议(transmissioncontrol protocol,TCP)/IP协议栈。蜂窝通信网卡的英文全称可以是remote(wirelesswide area)network,可以简称为RMNET。RMNET可以是一种modem或其他外部设备作为操作系统提供的远程网卡,可以在操作系统内核形成虚拟网卡设备,例如,modem芯片可以采用这种端侧组网方式和网卡设备。蓝牙驱动例如为蓝牙低能耗(bluetooth low energy,BLE)控制(Control)模块,用于控制BLE的信令。
网络设备300可以包括寻址(wiseFunction)模块、(NAT)穿越(STUN)模块和(NAT)中继(TURN)模块。其中:
寻址模块用于为建立链路进行身份认证和寻址,例如,电子设备100的NewTalk功能模块可以通过网络设备300的寻址模块实现访问令牌(access token,AT)认证和NAT穿越的会话身份(Session)标识(identity document,ID)的交换,电子设备100可以获取到电子设备200的SessionID。类似地,电子设备200的NewTalk功能模块也可以通过网络设备300的寻址模块实现AT认证和NAT穿越的SessionID的交换,电子设备200可以获取到电子设备100的SessionID。SessionID可以用于建立链路,例如NAT穿越链路或NAT中继链路。
(NAT)穿越模块用于实现NAT穿越链路的建立和信令传输,例如,电子设备100的辅助链路模块和电子设备200的辅助链路模块可以通过网络设备300的NAT穿越模块建立P2P穿越链路(辅助链路)和基于该链路进行信令传输。
(NAT)中继模块用于实现NAT中继链路的建立和信令传输,例如,电子设备100的辅助链路模块和电子设备200的辅助链路模块可以通过网络设备300的NAT中继模块建立中继链路(辅助链路)和基于该链路进行信令传输。
如图2E所示,电子设备100和电子设备200之间的通信链路可以包括以下至少一个:
链路1:NewTalk链路,其中,NewTalk链路可以包括IMS通信链路和CS通信链路,IMS通信链路可以但不限于是Qos类标识符(QoS class identifier,QCI)1/QCI2的多媒体通路,或者数据通路(Data channel)。在一些示例中,NewTalk链路可以通过电子设备100的蜂窝通信模块和电子设备200的蜂窝通信模块建立,例如,电子设备100的蜂窝通信模块和基站1连接,基站1和基站2连接,基站2和电子设备200的蜂窝通信模块连接,NewTalk链路为电子设备100的蜂窝通信模块和电子设备200的蜂窝通信模块之间的通信链路。在一些示例中,NewTalk链路用于实现运营商通话(例如通过上述蜂窝通信实现)和/或OTT通话。
链路2:Wi-Fi链路,其中,Wi-Fi链路可以包括单播链路、组播链路和/或广播链路。在一些示例中,Wi-Fi链路可以通过电子设备100的Wi-Fi通信模块和电子设备200的Wi-Fi通信模块建立。在一些示例中,Wi-Fi链路用于实现Wi-Fi通信。
链路3:BT链路,其中,BT链路可以包括单播链路、组播链路和/或广播链路。在一些示例中,BT链路可以通过电子设备100的BT通信模块和电子设备200的BT通信模块建立。在一些示例中,BT链路用于实现BT通信。
链路4:D2D链路。在一些示例中,D2D链路可以通过电子设备100的蜂窝通信模块和电子设备200的蜂窝通信模块建立。在另一些示例中,D2D链路可以通过电子设备100的Wi-Fi通信模块和电子设备200的Wi-Fi通信模块建立。在另一些示例中,D2D链路可以通过电子设备100的无线通信系统中的D2D通信模块(未在图2E示出),以及电子设备200的无线通信系统中的D2D通信模块(未在图2E示出)建立。在一些示例中,D2D链路用于实现D2D通信。
链路5:卫星链路。在一些示例中,卫星链路可以通过电子设备100的卫星通信模块和电子设备200的卫星通信模块建立。在一些示例中,卫星链路用于实现卫星通信。
链路6:辅助链路,辅助链路可以是NAT穿越(P2P直传)和/或NAT中继。在一些示例中,辅助链路在通话态时建立,在另一些示例中,辅助链路在非通话态时建立。辅助链路的物理通道可以但不限于是NewTalk链路、Wi-Fi链路、BT链路、D2D链路、卫星链路等通信链路,具体建立方式可参见上述链路1-链路5的说明,不再赘述。在一些示例中,辅助链路用于实现运营商通话和/或OTT通话。
在一些实施例中,电子设备100和电子设备200可以根据传输场景的需求,选择建立上述链路1-链路5中的至少一种链路(任意一种链路或者多种链路的组合),例如,电子设备100和电子设备200距离较近时可以建立链路3和链路4,建立多条链路可以避免一条链路异常时无法通信或通信质量较差的情况,提升通信的稳定性。
基于图2E所示的电子设备的软件系统,示例性说明不同通信链路的上行/下行数据流,以下示例以电子设备100为分享设备,电子设备200为被分享设备为例进行说明。
示例一,NewTalk链路的上行数据流(在电子设备100的软件系统中的数据流向):抓取模块->分享模块(抓流模块->编解码模块(例如用于编码)->数据处理模块(例如用于封包)->传输模块(例如用于分流))->NewTalk功能模块->NewTalk服务模块->传输协议栈->蜂窝通信网卡->ADS->蜂窝通信模块->空口。NewTalk链路的下行数据流(在电子设备200的软件系统中的数据流向):空口->蜂窝通信模块->ADS->蜂窝通信网卡->传输协议栈->NewTalk服务模块->NewTalk功能模块->分享模块(传输模块(例如用于聚合)->数据处理模块(例如用于解包)->编解码模块(例如用于解码)->播放模块)。
示例二,Wi-Fi链路的上行数据流(在电子设备100的软件系统中的数据流向):抓取模块->分享模块(抓流模块->编解码模块(例如用于编码)->数据处理模块(例如用于封包)->传输模块(例如用于分流))->Wi-Fi功能模块->Wi-Fi协议栈->传输协议栈->Wi-Fi网卡->Wi-Fi驱动->Wi-Fi通信模块->空口。Wi-Fi链路的下行数据流(在电子设备200的软件系统中的数据流向):空口->Wi-Fi通信模块->Wi-Fi驱动->Wi-Fi网卡->传输协议栈->Wi-Fi协议栈->Wi-Fi功能模块->分享模块(传输模块(例如用于聚合)->数据处理模块(例如用于解包)->编解码模块(例如用于解码)->播放模块)。
示例三,BT链路的上行数据流(在电子设备100的软件系统中的数据流向):抓取模块->分享模块(抓流模块->编解码模块(例如用于编码)->数据处理模块(例如用于封包)->传输模块(例如用于分流))->BT功能模块->BT协议栈->BT驱动->BT通信模块->空口。BT链路的下行数据流(在电子设备200的软件系统中的数据流向):空口->BT通信模块->BT驱动->BT协议栈->BT功能模块->分享模块(传输模块(例如用于聚合)->数据处理模块(例如用于解包)->编解码模块(例如用于解码)->播放模块)。
示例四,D2D链路的上行数据流(在电子设备100的软件系统中的数据流向):抓取模块->分享模块(抓流模块->编解码模块(例如用于编码)->数据处理模块(例如用于封包)->传输模块(例如用于分流))->D2D功能模块->D2D协议栈->D2D驱动->蜂窝通信模块/Wi-Fi通信模块->空口。D2D链路的下行数据流(在电子设备200的软件系统中的数据流向):空口->蜂窝通信模块/Wi-Fi通信模块->D2D驱动->D2D协议栈->D2D功能模块->分享模块(传输模块(例如用于聚合)->数据处理模块(例如用于解包)->编解码模块(例如用于解码)->播放模块)。不限于此,在另一些示例中,D2D链路的上行数据流中的D2D驱动也可以替换为:传输协议栈->蜂窝通信网卡->ADS,此时蜂窝通信模块/Wi-Fi通信模块具体为蜂窝通信模块。D2D链路的下行数据流中的D2D驱动也可以替换为:ADS->蜂窝通信网卡->传输协议栈,此时蜂窝通信模块/Wi-Fi通信模块具体为蜂窝通信模块。在另一些示例中,D2D链路的上行数据流中的D2D驱动也可以替换为:传输协议栈->Wi-Fi网卡->Wi-Fi驱动,此时蜂窝通信模块/Wi-Fi通信模块具体为Wi-Fi通信模块。D2D链路的下行数据流中的D2D驱动也可以替换为:Wi-Fi驱动->Wi-Fi网卡->传输协议栈,此时蜂窝通信模块/Wi-Fi通信模块具体为Wi-Fi通信模块。在另一些示例中,D2D链路的上行/下行数据流中的蜂窝通信模块/Wi-Fi通信模块可以调换为D2D通信模块(未在图2E示出),D2D通信模块可以包括D2D通信的硬件模块,例如固件和芯片。
示例五,卫星链路的上行数据流(在电子设备100的软件系统中的数据流向):抓取模块->分享模块(抓流模块->编解码模块(例如用于编码)->数据处理模块(例如用于封包)->传输模块(例如用于分流))->卫星功能模块->卫星服务模块->卫星驱动->卫星通信模块->空口。卫星链路的下行数据流(在电子设备200的软件系统中的数据流向):空口->卫星通信模块->卫星驱动->卫星服务模块->卫星功能模块->分享模块(传输模块(例如用于聚合)->数据处理模块(例如用于解包)->编解码模块(例如用于解码)->播放模块)。
示例六,辅助链路的上行数据流(在电子设备100的软件系统中的数据流向):抓取模块->分享模块(抓流模块->编解码模块(例如用于编码)->数据处理模块(例如用于封包)->传输模块(例如用于分流))->NewTalk功能模块->NewTalk服务模块->辅助链路模块->NewTalk/Wi-Fi/BT/D2D/卫星传输模块->空口。辅助链路的下行数据流(在电子设备200的软件系统中的数据流向):空口->NewTalk/Wi-Fi/BT/D2D/卫星传输模块->辅助链路模块->NewTalk服务模块->NewTalk功能模块->分享模块(传输模块(例如用于聚合)->数据处理模块(例如用于解包)->编解码模块(例如用于解码)->播放模块)。其中:
在一种实施方式中,辅助链路的物理通道为NewTalk链路。辅助链路的上行数据流中的NewTalk传输模块为:传输协议栈->蜂窝通信网卡->ADS->蜂窝通信模块,辅助链路的下行数据流中的NewTalk传输模块为:蜂窝通信模块->ADS->蜂窝通信网卡->传输协议栈。
在另一种实施方式中,辅助链路的物理通道为Wi-Fi链路。辅助链路的上行数据流中的Wi-Fi传输模块为:传输协议栈->Wi-Fi网卡->Wi-Fi驱动->Wi-Fi通信模块,辅助链路的下行数据流中的Wi-Fi传输模块为:Wi-Fi通信模块->Wi-Fi驱动->Wi-Fi网卡->传输协议栈。
在另一种实施方式中,辅助链路的物理通道为BT链路。辅助链路的上行数据流中的BT传输模块为:BT驱动->BT通信模块,辅助链路的下行数据流中的BT传输模块为:BT通信模块->BT驱动。
在另一种实施方式中,辅助链路的物理通道为D2D链路。辅助链路的上行数据流中的D2D传输模块为:D2D驱动->蜂窝通信模块/Wi-Fi通信模块/D2D通信模块,辅助链路的下行数据流中的D2D传输模块为:蜂窝通信模块/Wi-Fi通信模块/D2D通信模块->D2D驱动,D2D驱动还可以替换为上述示例四所述的其他模块,具体可参见上述示例四的说明。
在另一种实施方式中,辅助链路的物理通道为卫星链路。辅助链路的上行数据流中的卫星传输模块为:卫星驱动->卫星通信模块,辅助链路的下行数据流中的卫星传输模块为:卫星通信模块->卫星驱动。
下面示例性介绍本申请实施例涉及的应用场景以及该场景下的用户界面(userinterface,UI)示例。以下示例以电子设备100为分享设备为例进行说明。
图3示例性示出一种通话界面的示意图。
如图3所示,电子设备100(用户A,电话号码1)和电子设备200(用户B,电话号码2)之间可以进行运营商通话/OTT通话等NewTalk。如图3的(A)所示,电子设备100可以显示通话应用的用户界面310(可简称为通话界面310),通话界面310包括通话信息311和悬浮窗312,通话信息311包括通话对方的信息(联系人名称“用户B”和通讯号码“电话号码2”),以及通话时长“1秒”。悬浮窗312包括多个选项,例如切换通话模式的选项312A、发送位置信息的选项312B、发送文件的选项312C和分享选项312D。如图3的(B)所示,电子设备200可以显示通话应用的用户界面320,用户界面320和通话界面310类似,也包括通话信息321和悬浮窗322,通话信息321包括通话对方的信息(联系人名称“用户A”和通讯号码“电话号码1”)以及通话时长“1秒”,悬浮窗322和悬浮窗312一致,悬浮窗322也包括分享选项322A。
在一种实施方式中,电子设备100在通话界面310显示悬浮窗312预设时长(图3以10秒为例进行示意)后,可以取消显示悬浮窗312的详细信息,而是显示悬浮窗312的图标,可以称为是悬浮窗312在通话界面310停留预设时长后收起,例如可以靠屏幕左、右、上或下侧边缘收起,具体示例可参见图3的(C)所示的用户界面330。电子设备100显示的用户界面330中,悬浮窗312在屏幕左侧边缘以图标形式显示。在一种实施方式中,电子设备100可以响应于针对图3的(C)所示的用户界面330中的悬浮窗312的触摸操作(例如点击操作),显示悬浮窗312的详细信息,例如显示图3的(A)所示的通话界面310。
在一种实施方式中,在图3的(A)和图3的(B)之后,通话态的电子设备100可以显示其他应用的用户界面,该应用的多媒体数据流可以实时分享给通话对方、附近设备,具体示例可参见图4A(图4A以将短视频应用的多媒体数据流实时分享给通话对方:电子设备200为例进行示意)。
如图4A所示,电子设备100可以显示短视频应用的用户界面410,用户界面410可以包括位于顶部的通话控件411、短视频的播放窗口412和悬浮窗312。通话控件411可以表征当前电子设备100处于通话态,且通话时长为33秒。播放窗口412用于显示播放的短视频,例如当前正在播放“用户1”发布的名称为“主题1”的短视频1。在一些示例中,悬浮窗312中的分享选项312D用于触发将前台应用(图4A以短视频应用为例进行示意)的多媒体数据流实时分享给通话对方(电子设备200/用户B)。
在一种实施方式中,电子设备100可以响应于针对图4A所示的用户界面410中的分享选项312D的触摸操作(例如点击操作),向电子设备200发送分享请求。电子设备200接受该分享请求后,电子设备100可以通过蜂窝通信方式将和播放窗口412相关的音频流(例如短视频1的音频和/或麦克风采集的音频)和/或视频流(例如短视频1的图像和/或摄像头采集的图像)发送至电子设备200。电子设备100可以显示图4B所示的用户界面420。相比图4A所示的用户界面410,用户界面420不包括悬浮窗312,并且,用户界面420中的播放窗口412为选中状态,可以表征当前正在分享播放窗口412相关的音频流和/或视频流(即为分享内容)。用户界面420还包括分享控制选项421,分享控制选项421用于触发显示分享菜单,分享菜单例如但不限于包括暂停/退出分享、变更分享内容、变更被分享设备等功能选项。
在一些示例中,电子设备100向电子设备200发送分享请求的通信方式可以是蜂窝通信方式,在另一些示例中,也可以是近场通信方式等其他通信方式。
在一种实施方式中,电子设备100可以响应于针对图4B所示的用户界面420中的分享控制选项421的触摸操作(例如点击操作),显示分享菜单,例如显示图4C所示的用户界面430。相比图4B所示的用户界面420,用户界面430还包括分享菜单431,分享菜单431可以包括多个选项,例如选项431A、选项431B、选项431C、选项431D、选项431E和选项431F。其中,选项431A包括字符“仅当前应用(画面+音频)”,用于设置分享内容为前台应用(图4B以短视频应用为例进行示意)的图像和音频(例如播放窗口412播放的短视频1的图像和音频)。选项431B包括字符“仅当前应用(音频)”,用于设置分享内容为前台应用的音频(例如播放窗口412播放的短视频1的音频)。选项431C包括字符“仅当前应用(画面)”,用于设置分享内容为前台应用的图像(例如播放窗口412播放的短视频1的图像)。选项431D包括字符“整个屏幕”,用于设置分享内容为电子设备100的屏幕的显示内容(例如用户界面430相关的图像/音频)。选项431E包括字符“暂停分享”,用于取消/暂停/停止实时分享。选项431F包括字符“更多”,用于触发显示更多的功能选项,例如是否分享麦克风采集的音频,是否分享摄像头采集的图像,是否允许保存,是否允许转发等。
在一种实施方式中,在图4A之后,电子设备200接收到电子设备100发送的分享请求时,可以显示提示信息,例如显示图5A所示的用户界面510。用户界面510和图3的(B)所示的用户界面320类似,区别在于,用户界面510不包括悬浮窗322,但包括提示信息511。提示信息511包括分享内容(以图4A所示的用户界面410中的播放窗口412播放的短视频1的音频流/视频流为例)所属的短视频应用的图标511A,字符“用户A邀请您一起看”,以及接受控件511B。
在一种实施方式中,电子设备200可以响应于针对图5A所示的用户界面510中的接受控件511B的触摸操作(例如点击操作),通过蜂窝通信方式接收电子设备100发送的分享内容,并显示该分享内容,例如显示图5B所示的用户界面520。用户界面520可以包括位于顶部的通话控件521、分享内容的播放窗口522、分享控制选项523和提示框524。通话控件521可以表征当前电子设备200处于通话态,且通话时长为35秒。提示框524包括字符“正在观看用户A分享的内容”。播放窗口522用于显示分享内容,例如图4A所示的用户界面410中的播放窗口412显示的图像。分享控制选项523用于触发显示分享菜单,分享菜单例如但不限于包括暂停/退出播放分享内容的选项。
在一种实施方式中,电子设备200可以响应于针对图5B所示的用户界面520中的分享控制选项523的触摸操作(例如点击操作),显示图5C所示的用户界面530。相比图5B所示的用户界面520,用户界面530还包括分享菜单531,分享菜单531可以包括多个选项,例如选项531A和选项531B。其中,选项531A包括字符“退出观看”,用于暂停/退出分享内容的播放界面。选项531B包括字符“更多”,用于触发显示更多的功能选项,例如用于触发向其他用户实时分享音频流/视频流的选项。电子设备200可以响应于针对选项531A的触摸操作(例如点击操作),退出观看当前播放的分享内容,例如显示图3的(B)所示的用户界面320。在一些示例中,电子设备200再次接收到电子设备100发送的分享请求时,可以响应于用户操作,接受该分享请求,再次播放分享内容,例如显示图5B所示的用户界面520。
在一种实施方式中,电子设备200可以响应于针对图5B所示的用户界面520中的通话控件521的触摸操作(例如点击操作),返回显示通话界面,例如显示图3的(B)所示的用户界面320。在上述实施方式中,电子设备200可以但不限于按照以下三种情况工作:
情况1:电子设备200接收到针对图5B所示的用户界面520中的通话控件521的触摸操作后,不向电子设备100发送通知消息,因此,电子设备100会继续向电子设备200发送分享内容。在一些示例中,电子设备200可以基于接收到的分享内容,在后台运行分享内容的播放界面。
情况2:电子设备200接收到针对图5B所示的用户界面520中的通话控件521的触摸操作后,向电子设备100发送通知消息,电子设备100接收到该通知消息后,不向电子设备200发送分享内容。
情况3:电子设备200接收到针对图5B所示的用户界面520中的通话控件521的触摸操作后,向电子设备100发送通知消息,电子设备100接收到该通知消息(例如与分辨率和/或帧率相关)后,降低分享内容的传输带宽(例如通过降低分享内容的分辨率、帧率、码率等实现),从而节省设备功耗和传输资源。在一些示例中,电子设备200可以基于接收到的降低传输带宽后的分享内容,在后台运行分享内容的播放界面。
不限于上述实施方式,在另一种实施方式中,电子设备200可以响应于针对图5B所示的用户界面520中的通话控件521的触摸操作(例如点击操作),分屏显示通话界面(例如图3的(B)所示的用户界面320)和分享内容的播放界面(例如图5B所示的用户界面520),不限于此,在另一种实施方式中,电子设备200可以响应于针对图5B所示的用户界面520中的通话控件521的触摸操作(例如点击操作),显示通话界面,并且在通话界面以悬浮小窗的形式显示分享内容的播放界面,本申请对具体显示方式不作限定。在上述两种实施方式中,电子设备200可以但不限于按照上述三种情况工作,在一些示例中,在上述情况1下,电子设备200接收到分享内容后,需要先对分享内容进行处理(例如降低分辨率、降低帧率等),再以分屏形式或悬浮小窗的形式显示处理后的分享内容。
在一种实施方式中,电子设备200返回显示通话界面(假设为图3的(B)所示的用户界面320)后,电子设备200可以响应于针对用户界面320所示的悬浮窗322中的分享选项322A的触摸操作(例如点击操作),重新播放分享内容,例如显示图5B所示的用户界面520。不限于此,在另一种实施方式中,电子设备200可以响应于针对上述通话界面的触摸操作(例如从下往上滑动),显示多任务窗口/多任务列表的用户界面,例如显示图5D所示的用户界面540。用户界面540用于显示窗口列表,窗口列表包括电子设备200上运行的至少一个窗口,例如短信息应用的窗口541、实时共享的窗口542和通话应用的窗口543。实时共享的窗口542上显示有实时共享功能的图标和字符“一起看”542A,实时共享的窗口542用于指示分享内容的播放窗口。电子设备200可以响应于针对窗口542的触摸操作(例如点击操作),重新播放分享内容。可以理解为是,上述电子设备200返回显示通话界面时,电子设备200在后台运行分享内容的播放界面,上述电子设备200重新播放分享内容可以是将分享内容切换为在前台运行分享内容的播放界面。
在一些示例中,在上述情况1下,电子设备200可以直接基于接收到的分享内容,重新播放分享内容。在另一些示例中,在上述情况2下,电子设备200可以响应于上述针对用户界面320所示的悬浮窗322中的分享选项322A的触摸操作,或者上述针对窗口542的触摸操作,向电子设备100发送通知消息,电子设备100接收到该通知消息后,向电子设备200发送分享内容以用于电子设备200重新播放分享内容。在另一些示例中,在上述情况3下,电子设备200可以响应于上述针对用户界面320所示的悬浮窗322中的分享选项322A的触摸操作,或者上述针对窗口542的触摸操作,向电子设备100发送通知消息,电子设备100接收到该通知消息后,增大分享内容的传输带宽(例如通过增大分享内容的分辨率、帧率、码率等实现),电子设备200可以基于接收到的增大传输带宽后的分享内容,重新播放分享内容。
在一种实施方式中,电子设备200分屏显示通话界面和分享内容的播放界面时,可以响应于针对分享内容的播放界面的用户操作(例如拖动分屏界面中通话界面和分享内容的播放界面之间的拖动条),全屏显示分享内容的播放界面,例如显示图5B所示的用户界面520,具体示例和上述电子设备200返回显示通话界面后的示例类似,不再赘述。
在一种实施方式中,电子设备200在通话界面以悬浮小窗的形式显示分享内容的播放界面时,可以响应于针对悬浮小窗的用户操作,全屏显示分享内容的播放界面,例如显示图5B所示的用户界面520,具体示例和上述电子设备200返回显示通话界面后的示例类似,不再赘述。
不限于图4A-图4B所示的实施方式(通过悬浮窗触发实时分享功能),在另一种实施方式中,还可以通过滑动操作触发实时分享功能,例如,该滑动操作为上下滑动、左右滑动或以特定轨迹滑动等,具体示例可参见图6A所示的用户界面610。
如图6A所示,用户界面610和图4A所示的用户界面410类似,区别在于,用户界面610中的悬浮窗312为收起状态,例如在屏幕左侧边缘以图标形式显示。电子设备100可以响应于针对用户界面610的滑动操作(图6A以该滑动操作为指关节按照“W”的特定轨迹滑动为例进行说明),显示分享内容和分享对象的选择界面,例如显示图6B所示的用户界面620。
如图6B所示,用户界面620包括可选择的分享内容的列表621和可选择的分享对象的列表622。其中,列表621可以包括选项621A、选项621B和选项621C。选项621A下显示有字符“共享短视频应用”,选项621A用于指示前台应用(图6B以短视频应用为例进行示意)的窗口。选项621B下显示有字符“共享屏幕”,选项621B用于指示电子设备100的屏幕的显示内容。选项621C下显示有字符“共享视频应用”,选项621C用于指示后台应用(图6B以视频应用为例进行示意)的窗口。不限于上述示例的情况,在另一些示例中,电子设备100的后台应用可以更少或者更多,例如,电子设备100未运行视频应用,则列表621不包括选项621C,或者,电子设备100还运行了其他后台应用(例如短信息应用),则列表621还可以包括指示短信息应用的窗口的选项。在一些示例中,电子设备100可以响应于针对列表621的触摸操作(例如左右滑动),显示列表621包括的其他选项。
在一种实施方式中,电子设备100可以响应于针对列表621中的任意一个选项的触摸操作(例如点击操作),选择该选项相关的音频流/视频流为分享内容,或者取消该选择。例如,电子设备100可以响应于针对选项621A的触摸操作(例如点击操作),选择短视频应用的音频流/视频流为分享内容,此时选项621A可以为图6B所示的选中状态,选项621B和选项621C可以为图6B所示的未选中状态。如图6B所示,列表621上可以显示有提示信息623,提示信息623可以指示选择的分享内容的数量,例如当前为“已选择1项”,可以表征当前已选择了1个分享内容(即上述短视频应用的音频流/视频流)。例如,电子设备100可以响应于针对选项621B的触摸操作(例如点击操作),选择电子设备100的屏幕的显示内容,可选地以及电子设备100的扬声器的播放内容为分享内容,在这种情况下,电子设备100显示图6A所示的用户界面610时实时分享用户界面610相关的音频流/视频流,电子设备100响应于用户操作将显示界面切换为图3的(A)所示的通话界面310时,实时分享通话界面310相关的音频流/视频流。
不限于上述示例的情况,在另一些示例中,用户可以基于列表621选择多个分享内容,电子设备100可以将用户选择的多个分享内容发送给被分享设备。在一种情况下,被分享设备可以分屏显示上述多个分享内容,界面示例和图21E类似。不限于此,在另一种情况下,被分享设备也可以响应于用户操作确定显示的分享内容,例如,被分享设备可以默认显示上述多个分享内容中的一个分享内容,接收到用于切换分享内容的用户操作时,显示上述多个分享内容中的其他分享内容。在另一种情况下,被分享设备可以通过连接的设备一起显示上述多个分享内容,例如,被分享设备可以显示一个分享内容,和被分享设备连接的设备显示另一个分享内容。本申请对被分享设备显示多个分享内容的方式不作限定。在一些示例中,电子设备100可以响应于用户操作,向被分享设备发送上述多个分享内容中的N个分享内容的音频数据,不向被分享设备发送其他分享内容的音频数据,N为正整数。在另一些示例中,被分享设备接收到电子设备100发送的多个分享内容的音频数据后,可以响应于用户操作,播放其中M个分享内容的音频数据,M为正整数,从而避免多个音频数据一起播放影响用户体验。
如图6B所示,列表622包括指示通话对方(即用户B/电子设备200)的选项622A和指示附近设备的多个选项,选项622A包括字符“电话号码2(通话中)”,其中电话号码2为通话对方的通讯号码。指示附近设备的多个选项例如包括选项622B、选项622C、选项622D、选项622E、选项622F。选项622B包括字符“用户C的手机”,用于指示设备类型为“手机”、相关的用户名称为“用户C”的附近设备。选项622C包括字符“我的笔记本”,用于指示设备类型为“笔记本”,相关的用户名称为使用电子设备100的用户A的附近设备。其他选项类似,选项622D包括字符“用户D的平板电脑”,选项622E包括字符“用户C的耳机”,选项622F包括字符“用户E”的音箱。列表622还包括选项622G,选项622G用于触发显示更多的功能选项,例如查看更多的附近设备,选择列表622示出的全部选项(即将这些选项指示的附近设备设置为分享对象)等。不限于上述示例的情况,在另一些示例中,附近设备可以更多或更少,相应地,列表622包括的选项可以更多或更少。
在一种实施方式中,电子设备100可以响应于针对列表622中的任意一个选项的触摸操作(例如点击操作),选择该选项指示的设备为分享对象,或者取消该选择。
在一些示例中,电子设备100可以响应于针对列表622中的选项622A的触摸操作(例如点击操作),选择选项622A指示的通话对方(即电子设备200)为分享对象,在一些示例中,电子设备100接收到针对选项622A的触摸操作(例如点击操作)之后,选项622A可以为选中状态,具体示例可参见图6C所示的用户界面630,用户界面630中的选项622A包括的字符为“用户B(电话号码2)正在观看”。
在一些示例中,电子设备100可以响应于针对选项622A的触摸操作(例如点击操作),向选项622A指示的通话对方(即电子设备200)发送分享请求,具体说明和图4A-图4C、图5A-图5D所示的实施方式类似,其中,在一种情况下,电子设备100向电子设备200发送分享请求后,可以继续显示分享内容和分享对象的选择界面,例如显示图6C所示的用户界面630,电子设备100可以响应于针对用户界面630中的收起选项631的触摸操作(例如点击操作或者上下滑动),返回显示上一级界面,例如图6A所示的用户界面610。不限于此,在另一种情况下,用户基于列表621选择的分享内容为后台应用(假设为视频应用)的音频流/视频流,电子设备100可以将视频应用切换至前台运行,并将视频应用的音频流/视频流分享给电子设备200。电子设备100可以响应于上述针对用户界面630中的收起选项631的触摸操作,显示视频应用的用户界面。
不限于上述示例的情况,在另一些示例中,用户可以基于列表622选择多个分享对象,电子设备100可以将分享内容发送给用户选择的多个分享对象。例如,电子设备100可以依次接收针对列表622中的选项622A、选项622B、选项622C、选项622D、选项622E和选项622F的触摸操作(例如点击操作),此时,电子设备100可以显示图6D所示的用户界面640,在用户界面640中,选项622A、选项622B、选项622C、选项622D、选项622E和选项622F均为选中状态,可以表征用户已选择选项622A、选项622B、选项622C、选项622D、选项622E和选项622F指示的设备为分享对象。选项622A包括的字符为“用户B(电话号码2)正在观看”,选项622B包括的字符为“用户C(手机)正在观看”,选项622C包括的字符为“我的笔记本正在播放”,选项622D包括的字符为“用户D(平板电脑)正在观看”,选项622E包括的字符为“用户C(耳机)正在收听”,选项622F包括的字符为“用户E(音箱)正在收听”。
在另一种实施方式中,还可以通过多任务列表/多任务窗口的用户界面触发实时分享功能,例如,电子设备100可以响应于针对图4A所示的用户界面410的触摸操作(例如从下往上滑动),显示多任务列表/多任务窗口的用户界面,具体示例可参见图7A所示的用户界面710。
如图7A所示,用户界面710用于显示窗口列表,窗口列表包括电子设备100上运行的至少一个窗口,例如通话应用的窗口711、短视频应用的窗口712和视频应用的窗口713。任意一个窗口上可以显示有应用程序的图标和名称,以及用于触发实时分享该应用的音频流/视频流的分享控件,例如,短视频应用的窗口712上显示有短视频应用的图标和名称“短视频”712A,以及分享控件712B。在一些示例中,电子设备100可以响应于针对分享控件712B的触摸操作(例如点击操作),显示可选择的分享对象的列表,例如显示图7B所示的用户界面720。
如图7B所示,用户界面720和图7A所示的用户界面710类似,区别在于,用户界面720还包括可选择的分享对象的列表721,并且,短视频应用的窗口712为选中状态,分享控件712B为选中状态。列表721和图6B所示的用户界面620中的列表622类似,包括指示通话对方(即用户B/电子设备200)的选项721A和指示附近设备的多个选项,指示附近设备的多个选项例如包括选项721B(包括字符“用户C的手机”)、选项721C(包括字符“我的笔记本”)和选项721D(包括字符“用户D的平板电脑”)。在一种实施方式中,电子设备100可以响应于针对列表721中的任意一个选项的触摸操作(例如点击操作),选择该选项指示的设备为分享对象,或者取消该选择,具体示例和上述电子设备100响应于针对图6B所示的用户界面620包括的列表622中的任意一个选项的触摸操作的示例类似。不限于此,在另一些示例中,用户可以基于列表721选择多个分享对象,电子设备100可以将分享内容发送给用户选择的多个分享对象。例如,电子设备100可以显示图7C所示的用户界面730,在用户界面730中,列表721中的选项721A、选项721B、选项721C和选项721D均为选中状态,可以表征:用户已选择选项721A、选项721B、选项721C和选项721D指示的设备为分享对象。选项721A包括的字符为“用户B(电话号码2)正在观看”,选项721B包括的字符为“用户C(手机)正在观看”,选项721C包括的字符为“我的笔记本正在播放”,选项721D包括的字符为“用户D(平板电脑)正在观看”。
在一些示例中,电子设备100选择分享对象后,可以接收针对图7B所示的用户界面720或图7C所示的用户界面730中的短视频应用的窗口712的触摸操作(例如点击操作),显示分享内容的播放界面,例如显示图4B所示的用户界面420。
不限于上述示例的情况,在另一些示例中,被分享设备显示的多任务列表/多任务窗口还包括实时共享内容的显示窗口,该显示窗口上也可以显示有分享控件,该分享控件用于触发将上述实时共享内容再分享给其他设备。例如,实时共享内容的显示窗口可以为图5D所示的用户界面540中的窗口542,窗口542上可以显示图7A所示的用户界面710中的分享控件712B。
在另一种实施方式中,还可以通过通知界面触发实时分享功能,例如,电子设备100可以响应于针对图4A所示的用户界面410的触摸操作(例如从上往下滑动),显示通知界面,具体示例可参见图8A所示的用户界面810。
如图8A所示,用户界面810包括后台应用(图8A以视频应用为例进行示意)的通知栏811、Wi-Fi功能的控件812、蓝牙功能的控件813和菜单814。控件812可以用于开启或关闭电子设备100的Wi-Fi功能,还可以用于选择连接的Wi-Fi信号源(图8A以已连接名称为“信号源1”的Wi-Fi信号源为例进行示意)。控件813可以用于开启或关闭电子设备100的蓝牙功能,还可以用于选择电子设备100通过蓝牙连接的设备(图8A以已连接名称为“耳机1”的设备为例进行示意)。菜单814可以包括多个功能的控件,例如手电筒的控件、飞行模式的控件、移动数据的控件814A、自动旋转的控件、即时分享的控件814B、定位功能的控件、截屏功能的控件、静音功能的看空间、屏幕录制的控件和NFC的控件等。其中,控件814A用于开启或关闭电子设备100的移动数据(也可称为是开启或关闭蜂窝通信功能)。控件814B下显示有字符“即时分享”814C和控件814D,控件814B可以用于开启或关闭电子设备100的即时分享功能,控件814D可以触发显示即时分享功能的更多功能信息,例如选择即时分享的方式。用户界面810中的控件812、控件813和控件814A均为开启状态,并且,用户界面810中位于顶部的状态信息815包括“5G”、Wi-Fi和蓝牙的标识,可以表征电子设备100当前已开启移动数据、Wi-Fi功能和蓝牙功能。在一些示例中,电子设备100可以响应于针对控件814B的触摸操作(例如点击操作),显示分享内容和分享对象的选择界面,例如显示图6B所示的用户界面620。
以上示例可以通过悬浮窗中的按钮、滑动操作、多任务列表/多任务窗口、通知界面中的按钮触发实现通话中一起看、一起听等实时共享功能,使用方便灵活,用户体验感好。
不限于上述实施方式,在另一种实施方式中,进行通信的多个设备还可以通过摄像头采集用户的人脸图像,并将采集的图像共享给其他用户,其中,该图像可以是设备当前采集的,也可以是设备之前采集的(例如进行通信之前采集的),本申请对此不作限定。对于其中一个用户而言,使用的电子设备可以显示至少一个窗口,每个窗口可以显示一个用户的图像,例如图15C所示的用户界面1540中的控件1541。在一些示例中,分享用户可以选择电子设备显示的至少一个窗口,从而选择这至少一个窗口对应的设备/用户为分享对象,例如,上述可选择的分享对象的列表可以包括显示有用户的图像的至少一个窗口。在另一种实施方式中,设备1发现其他任意一个设备(假设为设备2)时,设备2可以响应设备1,并在响应设备1时将使用设备2的用户的头像(例如联系人中的头像、即时分享中的头像或聊天应用中的图像等)发送给设备1,设备1显示的分享对象的列表可以包括该头像,该头像可以用于触发向设备2进行实时共享。本申请对分享对象的显示方式不作限定。类似地,上述可选择的分享内容的列表也可以包括图标,本申请对分享内容的显示方式不作限定。
不限于上述实施方式(用户基于电子设备100显示的分享对象的列表选择分享对象),在另一种实施方式中,用户也可以通过电子设备100的扫一扫功能自定义添加分享对象。在一些示例中,电子设备100可以响应于针对图6B所示的用户界面620中的选项622G的触摸操作,显示选择设备的选项,电子设备100可以响应于针对该选项的触摸操作,通过摄像头拍摄附近的电子设备和/或用户,并从拍摄的图像中选择电子设备和/或用户作为分享对象进行实时分享,具体示例可参见图8B和图8C。
如图8B所示,电子设备100可以显示用户界面820,用户界面820可以包括通过扫一扫功能拍摄到的图像821,图像821可以包括电子设备100的使用者选中的用户821A和用户821B,用户界面820还可以包括电子设备100根据选中用户识别到的具体设备:用户821A对应的设备822(包括字符“用户M的手机”)和用户821B对应的设备823(包括字符“用户N的手机”),在一些示例中,电子设备100可以响应于针对用户界面820包括的任意一个设备/用户的触摸操作,向该设备/该用户对应的设备实时分享。用户界面820还包括扫一扫的控件824,控件824可以触发重新通过摄像头拍摄图像。
在一种实施方式中,电子设备100根据拍摄图像中的选中用户识别对应的设备之前,用户(例如上述用户821A)需要将人体特征信息(例如人脸)录入到使用的电子设备(例如上述设备822)上,或者,电子设备实时/周期性(例如每天2次)/不定期(例如用户每次使用相机时)采集和提取使用者的人体特征信息(例如人脸)。在一种实施方式中,电子设备100的使用者选择通过扫一扫功能拍摄到的图像中的至少一个用户后,电子设备100可以识别得到这至少一个用户的特征信息,例如但不限于包括:性别、头发长度、预测年龄、肤色、是否佩戴眼镜、服装类型、服装颜色、人脸数据等。电子设备100可以广播(例如通过Wi-Fi或BT)识别到的特征信息的原始数据或者关键数据,其他设备接收到广播消息后,可以将存储的人体特征信息和广播消息中的数据进行匹配,若匹配成功则向广播发送方(即电子设备100)发送响应消息。电子设备100可以根据响应消息显示选中用户对应的设备(例如上述设备822和设备823),以供使用者选择分享对象。可以理解地,仅广播关键数据可以减小数据传输量,更加高效地识别选中用户对应的设备。不限于上述实施方式,在另一种实施方式中,电子设备100也可以通过第三方设备(例如附近的电子设备、服务器等网络设备)识别选中用户对应的设备。例如,电子设备100可以将选中用户的特征信息和/或电子设备100的位置信息(例如但不限于包括定位信息、蜂窝小区的信息、Wi-Fi ID等)发送给第三方设备,第三方设备可以根据接收到的信息进行匹配查询,将查询到的和选中用户匹配的设备信息返回给电子设备100。
在一些示例中,电子设备100可以响应于针对图8B所示的用户界面820中的任意一个用户的触摸操作,取消选择该用户。在一些示例中,电子设备100可以响应于针对图8B所示的用户界面820中的任意一个设备的触摸操作,删除该设备。例如,取消选择用户821A或者删除设备822时,电子设备100取消显示图像821中的用户821A外部的圆圈,同时取消显示用户界面820中的设备822。
如图8C所示,电子设备100可以显示用户界面830,用户界面830可以包括通过扫一扫功能拍摄到的图像831,图像831可以包括电子设备100的使用者选中的设备831A和设备831B,用户界面830还可以包括根据选中设备识别到的具体设备:设备831A对应的设备832(包括字符“用户S的笔记本”)和设备831B对应的设备833(包括字符“用户T的眼镜”)。在一些示例中,电子设备100可以响应于针对用户界面830包括的任意一个设备的触摸操作,向该设备实时分享。用户界面830还包括扫一扫的控件834,控件834可以触发重新通过摄像头拍摄图像。
在一种实施方式中,电子设备100根据拍摄的图像中的选中设备识别对应的具体设备时,可以识别以下至少一项:图像中的选中设备的类型(例如为笔记本或者手机),图像中的选中设备的设备制造商/品牌(例如通过图像中的选中设备的商标(logo)识别),设备的外观特征(例如颜色)。电子设备100可以将识别到的特征以广播方式或者通过第三方设备进行匹配查询,以获取到并显示选中设备对应的具体设备(例如上述设备832和设备833),以供使用者选择分享对象。以广播方式进行匹配查询、通过第三方设备进行匹配查询的说明可参见上述电子设备100根据拍摄图像中的选中用户识别对应的设备中,广播识别选中用户对应的设备、通过第三方设备识别选中用户对应的设备的说明。
在一些示例中,电子设备100也可以响应于针对图8C所示的用户界面830中的任意一个设备的触摸操作,取消选择该设备/删除该设备,具体说明和图8B的说明类似,不再赘述。
不限于上述示例的情况,在另一些示例中,用户A也可以从和电子设备100通信的其他电子设备(假设为电子设备200)拍摄的图像中选择电子设备和/或用户作为分享对象进行实时分享,这样即使用户A和上述选择的分享对象的距离较远,也可以通过电子设备200拍摄的图像自定义添加上述选择的分享对象。例如,用户A使用电子设备100和使用电子设备200的用户B进行NewTalk时,用户B可以操作电子设备200开启摄像头并拍摄附近的电子设备和/或用户,拍摄的图像可以分享给电子设备100显示(例如通过图15C所示的用户界面1540中的控件1541显示电子设备200拍摄的图像)。假设用户A从该图像中选择了用户C和用户D作为分享对象,电子设备100可以将分享数据发送给电子设备200,电子设备200再将分享数据转发给用户C使用的电子设备和用户D使用的电子设备。
不限于上述实施方式,在另一种实施方式中,用户A也可以通过电子设备100的碰一碰功能(例如通过NFC实现)获取到附近电子设备和/或用户的信息,并基于获取到的信息自定义添加至少一个设备为分享对象以进行实时分享,本申请对自定义添加分享对象的方式不作限定。
上述针对图4A所示的用户界面410包括的悬浮窗312中的分享选项312D的触摸操作,上述针对图6A所示的用户界面610的滑动操作(图6A示例的该滑动操作为指关节按照“W”的特定轨迹滑动),上述针对图7A所示的用户界面710中的分享控件712B的触摸操作,以及上述针对图8A所示的用户界面810中的控件814B的触摸操作,可以统称为用于触发实时分享功能/实时共享功能的用户操作。不限于此,用于触发实时分享功能的用户操作还可以有其他形式,例如针对图3的(A)所示的通话界面310中的分享选项312D的触摸操作(例如点击操作),语音输入,手势等,本申请对此不作限定。
不限于上述实施方式,在另一种实施方式中,电子设备100也可以在非通话态下接收用于触发实时分享功能的用户操作,该实时分享功能可以通过近场通信技术实现。
在一些示例中,电子设备100可以响应于该用户操作,显示分享内容和分享对象的选择界面。例如,电子设备可以显示图9A所示的用户界面910,用户界面910和图6B所示的用户界面620类似,区别在于,用户界面910中位于顶部的状态栏不包括通话图标,表征电子设备100当前处于非通话态。并且,用户界面910中的可选择的分享对象的列表911不包括指示通话对方的选项,仅包括指示附近设备的多个选项。不限于此,在另一些示例中,分享内容和分享对象的选择界面也可以为图9B所示的用户界面920,用户界面920和图7B所示的用户界面720类似,区别在于,用户界面920中位于顶部的状态栏不包括通话图标,表征电子设备100当前处于非通话态,并且,用户界面920中的可选择的分享对象的列表921不包括指示通话对方的选项,仅包括指示附近设备的选项多个。
在一些示例中,电子设备100可以接收针对上述指示附近设备的多个选项中的任意一个选项(以选项622B为例进行示意)的触摸操作,向选项622B指示的电子设备400(即“用户C”的“手机”)发送分享请求。电子设备400接收到电子设备100发送的分享请求时,可以显示提示信息,例如显示图9C所示的用户界面930。用户界面930可以为电子设备400的桌面,用户界面930中位于顶部的状态信息931包括“5G”和蓝牙的标识,可以表征电子设备100当前已开启移动数据和蓝牙功能。用户界面930还包括提示信息932,提示信息932包括分享内容(以图4A所示的用户界面410中的播放窗口412播放的短视频1的音频流/视频流为例)所属的短视频应用的图标932A,字符“用户A邀请您一起看”,以及接受控件932B。在一些示例中,电子设备400可以响应于针对接受控件932B的触摸操作(例如点击操作),通过近场通信技术(例如蓝牙)接收电子设备100发送的分享内容,并显示该分享内容,例如显示图5B所示的用户界面520中的播放窗口522。
在一些示例中,电子设备100向电子设备400发送分享请求的通信方式可以是蓝牙,在另一些示例中,也可以是Wi-Fi或者蜂窝通信方式等其他通信方式,也就是说,电子设备100向电子设备400发送分享请求的通信方式,和电子设备100向电子设备400发送分享内容的通信方式,可以相同,也可以不同。
在一些示例中,电子设备100实时分享任意一个内容时,向不同被分享设备发送的该分享内容的多媒体数据流可以相同,也可以不同。例如,电子设备100实时分享短视频应用的多媒体数据流时,电子设备100可以向通过蓝牙连接的至少一个被分享设备发送短视频应用的音频流,向通过Wi-Fi连接的至少一个被分享设备发送短视频应用的音频流和视频流。
不限于上述示例的情况,电子设备100也可以在通话态下通过近场通信技术实现实时分享功能,本申请对此不作限定。
以上示例可以实现附近蓝牙设备等近场通信场景中的一起看、一起听等实时共享功能,应用场景更加广泛,用户体验感更好。
不限于上述示例的情况,在另一些示例中,还可以在卫星、D2D、V2X等通信场景下实现一起看、一起听等实时共享功能,本申请对实现实时共享功能的通信方式不作限定。
可以理解地,分享设备接收到用于触发实时分享功能的用户操作后,可以但不限于按照以下任意一种方式确定分享对象和分享内容:
方式1,预设分享对象和预设分享内容,例如图4A-图4B所示的示例中,电子设备100直接将通话对方(即电子设备200)设置为分享对象,以及将前台应用(即短视频应用)的音频流/视频流设置为分享内容。
方式2:预设分享对象和根据接收到的用户操作确定分享内容,例如,电子设备100响应于针对图4A所示的用户界面410中的分享选项312D的触摸操作(例如点击操作),显示分享内容的选择界面,例如显示图6B所示的用户界面620中的可选择的分享内容的列表621,电子设备100可以根据用户基于分享内容的选择界面输入的操作确定分享内容,并且,电子设备100可以直接将通话对方(即电子设备200)设置为分享对象。
方式3:预设分享内容和根据接收到的用户操作确定分享对象,例如图7A-图7C所示的示例中,电子设备100可以直接将用于触发实时分享功能的用户操作针对的短视频应用的音频流/视频流设置为分享内容,并且,电子设备100可以根据用户基于分享对象的选择界面(即图7B所示的用户界面720)输入的操作确定分享对象。
方式4:根据接收到的用户操作确定分享内容和分享对象,例如图6A-图6D所示的示例中,电子设备100可以根据用户基于分享内容和分享对象的选择界面(即图6B所示的用户界面620)输入的操作确定分享内容和分享对象。
在一种实施方式中,电子设备100作为分享设备进行实时分享时,可以管理被分享设备,在一种实施方式中,电子设备100作为分享设备进行实时分享时,可以改变分享内容,具体示例如下所述:
电子设备100显示分享内容的播放界面(例如图4B所示的用户界面420)时,可以响应于针对用户界面420中的分享控制选项421的触摸操作(例如点击操作),显示分享菜单,例如显示图10A所示的用户界面1010。相比图4B所示的用户界面420,用户界面1010还包括分享菜单1011,分享菜单1011可以包括多个选项,例如选项1011A、选项1011B和选项1011C。其中,选项1011A包括字符“变更分享内容/分享对象”。选项1011B包括字符“暂停分享”,用于取消/暂停/停止实时分享。选项1011C包括字符“更多”,用于触发显示更多的功能选项。电子设备100可以响应于针对选项1011A的触摸操作(例如点击操作),显示分享内容和/或分享内容的管理界面,例如显示图6D所示的用户界面640。
在一些示例中,电子设备100可以响应于针对图6D所示的用户界面640中的列表621包括的选项621A(选中状态)的触摸操作(例如点击操作),取消分享选项621A指示的短视频应用的音频流/视频流。电子设备100可以响应于针对列表621中的选项621C的触摸操作(例如点击操作),选择选项621C指示的视频应用的音频流/视频流为分享内容,电子设备100可以向已选择的分享对象(即用户界面640中的列表622包括的选中状态的选项指示的设备)分享上述已选择的分享内容。可以理解为是,电子设备100响应于用户操作,将分享内容从短视频应用的音频流/视频流变更为视频应用的音频流/视频流。在一些示例中,电子设备100可以响应于针对列表622中的任意一个选项(选中状态)的触摸操作(例如点击操作),取消向该选项指示的设备发送分享内容,例如,该选项为列表622中的选项622A,则电子设备100不向选项622A指示的通话对方(即电子设备200)发送分享内容。可以理解为是,电子设备100响应于用户操作,删除已有的被分享设备。例如,经过上述过程后,电子设备100可以显示图10B所示的用户界面1020,用户界面1020和图6B所示的用户界面620类似,区别在于,在用户界面1020中,列表621中的选项621A为未选中状态,选项621C为选中状态,列表622中的选项622A为未选中状态。
以上示例实现了实时共享过程中的成员管理、内容管理,可以满足用户的个性化需求,提升用户体验感。
不限于上述实施方式,在另一种实施方式中,电子设备100可以和多个电子设备进行运营商通话/OTT通话等NewTalk,电子设备100可以向这多个电子设备中的至少一个电子设备实时分享音频流/视频流。在一些示例中,电子设备100可以响应于用于触发实时分享功能的用户操作,向多个通话对方(即上述多个电子设备)分享前台应用的音频流/视频流。在另一些示例中,电子设备100可以响应于用于触发实时分享功能的用户操作,在分享对象的选择界面上显示上述多个电子设备的信息,以用于用户选择是否向其中至少一个设备实时分享音频流/视频流。例如,电子设备100可以显示图11A所示的用户界面1110,用户界面1110和图6B所示的用户界面620类似,区别在于,在用户界面1110中,可选择的分享对象的列表
1111还包括选项1111A,选项1111A包括字符“电话号码3(通话中)”,用于指示通讯号码
为“电话号码3”的通话对方。列表622中的选项622A和选项1111A可以表征电子设备100当
前和通讯号码为“电话号码2”的设备、通讯号码为“电话号码3”的设备进行运营商通话/OTT通话等NewTalk。电子设备100可以响应于针对选项622A和/或选项1111A的触摸操作(例如点击操作),向通讯号码为“电话号码2”的设备和/或通讯号码为“电话号码3”的设备实时分享音频流/视频流。
以上示例中,不仅可以实现单播类型的实时共享功能(一个被分享设备),而且可以实现广播或组播类型的实时分享功能(多个被分享设备),可以根据具体场景自适应调整,满足用户在不同场景下的不同需求,提升用户体验感。
不限于上述实施方式,在另一种实施方式中,电子设备100也可以在非通话态下接收用于触发实时分享功能的用户操作。在一些示例中,电子设备100可以响应于该用户操作,在分享对象的选择界面上显示最近通信的至少一个设备,以用于用户选择是否向这至少一个设备实时分享音频流/视频流。可选地,这至少一个设备可以是预设的时间范围(例如1小时、1天或1周)内和电子设备100通信的设备,可选地,这至少一个设备的数量可以是电子设备100预设的,例如小于或等于3,可选地,这至少一个设备可以是通过预设应用和电子设备100通信的设备,例如,预设应用为实现运营商通话、OTT通话和/或网络聊天的应用。本申请对上述最近通信的至少一个设备的具体类型不作限定。示例性地,电子设备100可以显示图11B所示的用户界面1120,用户界面1120和图6B所示的用户界面620类似,区别在于,在用户界面1120中,可选择的分享对象的列表1121不包括用户界面620中的选项621A,列表1121还包括选项1121A。选项1121A包括字符“电话号码2(最近联系人)”,用于指示通讯号码为“电话号码2”、电子设备100最近进行运营商通话/OTT通话等NewTalk的用户/设备。电子设备100可以响应于针对选项1121A的触摸操作(例如点击操作),向通讯号码为“电话号码2”的设备发送NewTalk的呼叫请求,通讯号码为“电话号码2”的设备接受呼叫请求后,电子设备100可以和该设备进行NewTalk,电子设备100可以基于该NewTalk向该设备实时分享音频流/视频流。
在另一些示例中,电子设备100可以响应于用于触发实时分享功能的用户操作,在分享对象的选择界面上显示联系人的图标,以用于用户选择是否向电子设备100存储的至少一个联系人实时分享音频流/视频流,可选地,这至少一个联系人可以是预设应用中的联系人,例如,预设应用为实现运营商通话、OTT通话和/或网络聊天的应用,本申请对联系人的具体类型不作限定。示例性地,电子设备100可以显示图11C所示的用户界面1130,用户界面1130和图6B所示的用户界面620类似,区别在于,在用户界面1130中,可选择的分享对象的列表1131不包括用户界面620中的选项621A,列表1131还包括选项1131A,选项1131A包括字符“联系人”。电子设备100可以响应于针对选项1131A的触摸操作(例如点击操作),显示电子设备100存储的至少一个联系人的信息,例如显示图11D所示的用户界面1140。用户界面1140可以包括标题1141(“联系人”)、搜索框1142、联系人列表1143和确定控件1144。联系人列表1143可以包括多个联系人的信息,例如名称为“亲友1”的联系人的信息1143A,信息1143A右侧还显示有选择控件1143B,选择控件1143B用于选择信息1143A指示的联系人“亲友1”或者取消该选择,其他联系人的信息类似,不再赘述。电子设备100可以响应于针对确定控件1144的触摸操作(例如点击操作),向联系人列表1143中已选择的联系人(例如信息1143A指示的联系人“亲友1”)对应的设备发送NewTalk的呼叫请求,该设备接受呼叫请求后,电子设备100可以和该设备进行NewTalk,电子设备100可以基于该NewTalk向该设备实时分享音频流/视频流。
不限于上述示例的情况,在另一些示例中,电子设备100可以通过存储的联系人(例如上述最近联系人、联系人列表中的联系人)的标识信息(例如上述电话号码、上述网络聊天的账号)获取到该联系人对应的设备的通信ID,例如通过网络设备300进行寻址。电子设备100和该联系人对应的设备寻址完成后,可以基于获取到的对方的通信ID建立连接,电子设备100可以基于建立的连接向该联系人对应的设备实时分享音频流/视频流,其中,上述建立的连接例如但不限于为蓝牙连接、Wi-Fi连接或NewTalk连接等。
不限于上述实施方式,在另一种实施方式中,电子设备100可以响应于用户操作确定实时分享的方式,例如,选择一起看、一起听、一起编辑或者一起玩等实时分享方式。以下示例以可被选择的实时分享方式包括一起看和一起听为例进行示意。
在一些示例中,电子设备100可以响应于用于触发实时分享功能的用户操作(例如针对图8A所示的用户界面810中的控件814D的触摸操作),显示实时分享方式的选择界面,例如显示图12A所示的用户界面1210,用户界面1210包括提示框1211,提示框1211包括一起看的选项1211A和一起听的选项1211B。在一些示例中,用户选择的实时分享方式不同时,电子设备100显示的分享内容和/或分享对象的选择界面也可以不同。例如,电子设备100可以响应于针对用户界面1210中的一起看的选项1211A的触摸操作(例如点击操作),显示图12B所示的用户界面1220。用户界面1220和图6B所示的用户界面620类似,用户界面1220中的可选择的分享内容的列表1221包括多个指示可被观看的分享内容的选项,例如共享短视频应用的图像的选项621A、共享电子设备100的屏幕的显示内容的选项621B、共享视频应用的图像的选项621C。用户界面1220中的可选择的分享对象的列表1222包括多个指示可显示图像的设备的选项,例如指示通讯号码为“电话号码2”的电子设备200(例如手机)的选项622A、指示“用户C”的“手机”的选项622B、指示“用户A”的“笔记本”的选项622C和指示“用户D”的“平板电脑”的选项622D。电子设备100可以响应于针对用户界面1210中的一起听的选项1211B的触摸操作(例如点击操作),显示图12C所示的用户界面1230。用户界面1230和图6B所示的用户界面620类似,用户界面1230中的可选择的分享内容的列表1231包括多个指示可被收听的分享内容的选项,例如共享短视频应用的音频的选项621A、共享视频应用的音频的选项621C、共享音乐应用的音频的选项1231A。用户界面1230中的可选择的分享对象的列表1232包括多个指示可播放音频的设备的选项,例如指示通讯号码为“电话号码2”的电子设备200(例如手机)的选项622A、指示“用户C”的“耳机”的选项622E和指示“用户E”的“音箱”的选项622F。不限于上述示例的情况,在另一些示例中,用户界面1230中的可选择的分享对象的列表1232还包括选项622B、选项622C、选项622D,本申请对此不作限定。
在另一些示例中,电子设备100可以根据用于触发实时分享功能的用户操作确定实时共享的方式,也就是说,不同的用于触发实时分享功能的用户操作对应不同的实时共享方式。例如,电子设备100可以响应于针对图6A所示的用户界面610的第一滑动操作(例如图6A所示的指关节按照“W”的特定轨迹滑动),显示上图12B所示的用户界面1220。电子设备100可以响应于针对图6A所示的用户界面610的第二滑动操作(例如图12D所示的用户界面1240中,指关节按照“L”的特定轨迹滑动),显示上图12C所示的用户界面1230。
可以理解地,分享设备进行实时分享时,不仅可以实时分享已运行的应用(例如前台应用和/或后台应用)的音频流/视频流,而且可以实时分享未运行的应用的音频流/视频流。例如,图12C所示的用户界面1230中,可选择的分享内容的列表1231包括共享短视频应用(前台应用)的音频的选项621A、共享视频应用(后台应用)的音频的选项621B和共享音乐应用(未运行的应用)的音频的选项1231A。电子设备100可以响应于针对选项1231A的触摸操作(例如点击操作),启动音乐应用,并向已选择的分享对象实时分享音乐应用的音频流/视频流。
不限于上述实施方式,在另一种实施方式中,电子设备100可以响应于用户操作确定可选择的分享对象的类型。
在一些示例中,电子设备100可以响应于用于触发实时分享功能的用户操作,显示用于选择分享对象的类型的用户界面,然后显示和选择的类型一致的分享对象的选择界面。例如,电子设备100可以先显示图13所示的用户界面1310,用户界面1310包括提示框1311,提示框1311包括选项1311A(包括字符“分享给联系人”)、选项1311B(包括字符“分享给Wi-Fi设备”)和选项1311C(包括字符“分享给蓝牙设备”)。电子设备100响应于针对选项1311A的触摸操作(例如点击操作)显示的可选择的分享对象为:和电子设备100通过运营商通话/OTT通话等NewTalk进行通信的设备,例如图6B所示的用户界面620中的选项622A指示的设备。电子设备100响应于针对选项1311B的触摸操作(例如点击操作)显示的可选择的分享对象为:和电子设备100通过Wi-Fi进行通信的设备,例如图6B所示的用户界面620中的选项622C、选项622D指示的设备。电子设备100响应于针对选项1311C的触摸操作(例如点击操作)显示的可选择的分享对象为:和电子设备100通过蓝牙进行通信的设备,例如图6B所示的用户界面620中的选项622B、选项622E和选项622F指示的设备。
不限于上述实施方式,在另一种实施方式中,被分享设备接收到分享请求后,可以通过扬声器等音频模块播放该分享请求对应的提示信息,本申请对电子设备输出提示信息的方式不作限定。
在一些示例中,上述被分享设备为耳机。如图14A的(1)所示,电子设备100可以显示用户界面1410,用户界面1410和图12C所示的用户界面1230类似,区别在于,用户界面1410中的选项622E为选中状态,可以表征选项622E指示的电子设备500(即“用户C”的“耳机”)为选择的分享对象。用户界面1410中的选项621A也为选中状态,可以表征选项621A指示的短视频应用的音频为选择的分享内容。电子设备100可以向电子设备500发送分享请求,电子设备500接收到该分享请求后可以播放提示音,例如图14A的(2)所示的“嘟嘟嘟”。电子设备500可以响应于用户操作(例如点击操作)接受该分享请求,接受该分享请求后,电子设备500可以接收电子设备100发送的分享内容,并播放该分享内容,即上述短视频应用的音频,具体示例可参见图14A的(3)。
在另一些示例中,上述被分享设备为音箱。如图14B的(1)所示,电子设备100可以显示用户界面1420,用户界面1420和图12C所示的用户界面1230类似,区别在于,用户界面1420中的选项622F为选中状态,可以表征选项622F指示的电子设备600(即“用户E”的“音箱”)为选择的分享对象。用户界面1420中的选项621A也为选中状态,可以表征选项621A指示的短视频应用的音频为选择的分享内容。电子设备100可以向电子设备600发送分享请求,电子设备600接收到该分享请求后可以播放提示音,例如图14B的(2)所示的“用户A邀请您收听音频”。电子设备600可以响应于用户操作(例如针对电子设备600的播放按键的点击操作)接受该分享请求,接受该分享请求后,电子设备600可以接收电子设备100发送的分享内容,并播放该分享内容,即上述短视频应用的音频,具体示例可参见图14B的(3)。
不限于上述实施方式,在另一种实施方式中,被分享设备接收到分享请求后,也可以不输出提示信息,而是直接接受该分享请求。在一些示例中,如图14C的(1)所示,电子设备100可以显示用户界面1430,用户界面1430和图12B所示的用户界面1220类似,区别在于,用户界面1430中的选项622C为选中状态,可以表征选项622F指示的电子设备700(即“我”的“笔记本”)为选择的分享对象,其中,电子设备700的登录帐号和电子设备100的登录帐号相同(即名称为“用户A”)。用户界面1430中的选项621A也为选中状态,可以表征选项621A指示的短视频应用的图像为选择的分享内容。电子设备100可以向电子设备700发送分享请求,电子设备700接收到该分享请求后可以直接接受该分享请求,接收并显示电子设备100发送的分享内容,具体示例可参见图14C的(2),电子设备700可以显示用户界面1440,用户界面1440用于显示上述短视频应用的图像。
不限于上述实施方式,在另一种实施方式中,分享设备可以向和被分享设备连接的其他设备发送针对该被分享设备的分享请求,该分享请求用于请求向该被分享设备实时分享音频流/视频流,上述其他设备接收到该分享请求后,可以输出提示信息,用户可以通过上述其他设备接受或拒绝上述针对该被分享设备的分享请求,本申请对分享设备发送分享请求的方式不作限定。在一些示例中,如图14D的(1)所示,电子设备100可以显示用户界面1450,用户界面1450和图6B所示的用户界面620类似,区别在于,用户界面1450中的选项622E为选中状态,可以表征选项622E指示的电子设备500(即“用户C”的“耳机”)为选择的分享对象。用户界面1450中的选项621A也为选中状态,可以表征选项621A指示的短视频应用的图像为选择的分享内容。假设电子设备500和用户界面1450中的选项622B指示的电子设备400(即“用户C”的“手机”)已连接,电子设备100可以向电子设备400发送针对电子设备500的分享请求,电子设备400接收到该分享请求后,可以显示提示信息,例如显示图14D的(2)所示的用户界面1460。用户界面1460可以为电子设备400的桌面,可以包括提示信息1461,提示信息1461包括提示语1461A(包括字符“用户A邀请您通过耳机一起听”,其中,“耳机”即为电子设备500)、确定控件1461B(用于接受上述针对电子设备500的分享请求)和取消控件1461C(用于拒绝上述针对电子设备500的分享请求)。电子设备400可以响应于针对确定控件1461B的触摸操作(例如点击操作),接受上述针对电子设备500的分享请求。接受该分享请求后,电子设备500可以接收并播放电子设备100发送的分享内容,即上述短视频应用的音频,具体示例可参见图14D的(3)。
不限于上述示例的情况,在另一些示例中,分享设备可以通过和被分享设备连接的其他设备向被分享设备发送针对该被分享设备的分享内容,可以理解为是通过“第三方设备”(即上述其它设备)转发数据。例如,图14D所示的示例中,电子设备100作为分享设备向电子设备500实时分享短视频应用的音频时,可以将短视频应用的音频发送给和电子设备500连接的电子设备400,电子设备400可以将接收到的短视频应用的音频转发给电子设备500,由电子设备500播放。
不限于图4C所示的实施方式,在另一种实施方式,还可以通过分享菜单中的更多选项设置分享内容的类型(例如音频、图像、或者音频和图像),本申请对分享内容的类型的设置方式不作限定。
在一些示例中,电子设备100可以响应于针对图4B所示的用户界面420中的分享控制选项421的触摸操作(例如点击操作),显示分享菜单,例如显示图15A的(1)所示的用户界面1510。用户界面1510中的分享菜单1511可以包括多个选项,例如,用于分享当前应用(图15A以短视频应用为例进行示意)的音频流/视频流的选项1511A、用于分享电子设备100的屏幕的显示内容的选项1511B、用于取消/暂停/停止实时分享的选项1511C和用于触发更多功能选项的选项1511D。电子设备100可以响应于针对选项1511D的触摸操作(例如点击操作),显示图15A的(2)所示的用户界面1520。用户界面1520可以包括设置窗口1521,设置窗口1521可以包括设置名称1521A(包括字符“音视频设置”)和多个设置选项,多个设置选项例如包括选项1521B、选项1521C和选项1521D。其中,选项1521B包括字符“音频+画面”,用于设置分享内容的类型为图像和音频。选项1521C包括字符“音频”,用于设置分享内容的类型为音频。选项1521D包括字符“画面”,用于设置分享内容的类型为图像。用户界面1520还包括重置控件1522和保存控件1523,重置控件1522用于将设置窗口1521中的预设选项(例如选项1521B)设置为选中状态,保存控件1523用于保存设置窗口1521的当前内容,例如,用户界面1520所示的设置窗口1521中的选项1521B为选中状态,电子设备100可以响应于针对保存控件1523的触摸操作(例如点击操作),将分享内容设置为选项1521B指示的图像和音频。
在一种实施方式中,电子设备100可以设置在实时分享系统和/或应用的音频流/视频流时,是否同时分享麦克风采集的音频和/或摄像头采集的图像。
在一些示例中,电子设备100可以响应于针对图15A的(1)所示的用户界面1510中的选项1511D的触摸操作(例如点击操作),显示图15B所示的用户界面1530。用户界面1530可以包括设置窗口1531、重置控件1532和保存控件1533,设置窗口1531可以包括设置名称1531A(包括字符“混音画设置”)和多个设置选项,多个设置选项例如包括选项1531B、选项1531C、选项1531D和选项1531E。其中,选项1531B包括字符“无混合”,用于设置仅实时分享系统和/或应用的音频流/视频流,不实时分享麦克风采集的音频和摄像头采集的图像。选项1531C包括字符“叠加MIC”,用于设置实时分享系统和/或应用的音频流时也实时分享麦克风采集的音频,实时分享系统和/或应用的视频流时不实时分享摄像头采集的图像。选项1531D包括字符“叠加Camera”,用于设置实时分享系统和/或应用的音频流时不实时分享麦克风采集的音频,实时分享系统和/或应用的视频流时也实时分享摄像头采集的图像。选项1531E包括字符“叠加MIC和Camera”,用于设置实时分享系统和/或应用的音频流时也实时分享麦克风采集的音频,实时分享系统和/或应用的视频流时也实时分享摄像头采集的图像。重置控件1532用于将设置窗口1531中的预设选项(例如选项1531B)设置为选中状态,保存控件1533用于保存设置窗口1531的当前内容。
例如,选项1531C或者选项1531E为选中状态时,分享设备可以向被分享设备发送分享内容和分享设备的麦克风采集的音频,被分享设备可以同时播放分享内容和分享设备的麦克风采集的音频。
例如,选项1531D或者选项1531E为选中状态时,分享设备可以向被分享设备发送分享内容和分享设备的摄像头采集的图像,被分享设备可以同时显示分享内容和分享设备的摄像头采集的图像。示例性地,电子设备200(被分享设备)接收到电子设备100(分享设备)发送的短视频应用的视频流(分享内容)和麦克风采集的图像后,可以显示图15C所示的用户界面1540。用户界面1540和图5B所示的用户界面520类似,区别在于,用户界面1540还包括控件1541,控件1541用于显示电子设备100的摄像头采集的人脸图像。
不限于上述示例的情况,在另一些示例中,还可以通过分享设备的系统设置功能或应用设置功能设置是否实时分享麦克风采集的音频和/或摄像头采集的图像,本申请对此不作限定。
不限于上述实施方式,在另一种实施方式中,分享设备还可以预先设置进行实时分享时默认分享或者不分享麦克风采集的音频和/或摄像头采集的图像,例如,分享设备接收到用于触发实时分享的用户操作时,先显示图15B所示的用户界面1530,本申请对此不作限定。
以上示例中,可以同时分享麦克风采集的音频和系统级/应用级/背景的音频(也可称为混音),和/或,同时分享摄像头采集的图像和系统级/应用级的图像,让分享用户可以“边看边讲解”,被分享用户可以“边看边听讲解”,分享用户和被分享用户还可以对话,满足用户的个性化需求,体验感更好。
在一种实施方式中,电子设备100可以设置被分享设备基于分享内容的相关权限。可选地,该相关权限包括保存权限,例如包括录屏/截屏的权限,和/或保存分享内容的文件的权限,可选地,该相关权限包括二次传播权限,例如包括即时传播权限和/或延后传播权限,其中,即时传播权限是被分享设备在播放分享设备实时分享的内容时是否可以将该实时分享的内容转发给其它设备的权限,延后传播权限是被分享设备保存分享设备发送的分享内容后是否可以将保存的分享内容转发给其它设备的权限。
在一些示例中,电子设备100可以响应于针对图15A的(1)所示的用户界面1510中的选项1511D的触摸操作(例如点击操作),显示图15D所示的用户界面1550。用户界面1550可以包括设置窗口1551、重置控件1552和保存控件1553,设置窗口1551可以包括设置名称1551A(包括字符“权限设置”)和多个设置选项,多个设置选项例如包括选项1551B、选项1551C和选项1551D。其中,选项1551B包括字符“阅后即焚(不可保存、不可转发)”,用于设置不授予被分享设备保存权限和二次传播权限。选项1551C包括字符“可保存、可截屏”,用于设置授予被分享设备保存权限,但不授予二次传播权限。选项1551D包括字符“可转发”,用于设置授予被分享设备二次传播权限,但不授予保存权限。重置控件1552用于将设置窗口1551中的预设选项(例如选项1551B)设置为选中状态,保存控件1553用于保存设置窗口1551的当前内容。不限于图15D示例的情况,在另一些示例中,设置窗口1551中的权限设置也可以更精细,例如但不限于包括以下至少一项设置选项:用于设置不授予被分享设备保存权限和二次传播权限(这种情况下即为即时传播权限)的选项1,用于设置不授予被分享设备保存权限、但授予二次传播权限(这种情况下即为即时传播权限)的选项2,用于设置授予被分享设备保存权限、但不授予二次传播权限(包括即时传播权限和延后传播权限)的选项3,用于设置授予被分享设备保存权限和即时传播权限、但不授予延后传播权限的选项4,用于设置授予被分享设备保存权限和延后传播权限、但不授予即时传播权限的选项5,用于设置授予被分享设备保存权限和二次传播权限(包括即时传播权限和延后传播权限)的选项6等。本申请对具体设置内容不作限定。
接下来示例性说明上述基于分享内容的相关权限的应用场景以及该场景下的UI示例。
在一种实施方式中,具备即时传播权限的被分享设备播放分享设备实时分享的内容1时,可以响应于用于触发实时分享功能的用户操作,向其它设备实时分享上述内容1,具体说明可参见上述电子设备100作为分享设备向其它被分享设备实时分享的实施方式,不再赘述。
在另一种实施方式中,不具备即时传播权限的被分享设备播放分享设备实时分享的内容1时,可以响应于用于触发实时分享功能的用户操作,向分享设备请求获取内容1的即时传播权限。在一些示例中,电子设备200可以显示图5B所示的用户界面520,用户界面520用于播放电子设备100实时分享的短视频应用的音频流/视频流。电子设备200可以响应于针对用户界面520的滑动操作(例如指关节按照“W”的特定轨迹滑动),显示图16A所示的用户界面1610。用户界面1610包括提示框1611,提示框1611包括提示信息1611A(包括字符“没有权限给其他人一起看/听,是否请求对方授权”)、请求控件1611B和取消控件1611C。
在一些示例中,电子设备200可以响应于针对取消控件1611C的触摸操作(例如点击操作),取消向其它设备实时分享短视频应用的音频流/视频流,例如返回显示图5B所示的用户界面520。
在一些示例中,电子设备200可以响应于针对请求控件1611B的触摸操作(例如点击操作),向分享设备发送请求消息,以请求获取当前播放的分享内容(简称当前分享内容,即短视频应用的音频流/视频流)的即时传播权限,此时的电子设备100和电子设备200例如可参见图16B。如图16B的(1)所示,电子设备200可以显示用户界面1620,用户界面1620包括提示信息1621(包括字符“等待授权中”)。如图16B的(2)所示,电子设备100可以显示用户界面1630,用户界面1630可以包括提示框1631,提示框1631包括提示信息1631A(包括字符“是否授权用户B,允许给其它人一起看/听”)、同意控件1631B和拒绝控件1631C。同意控件1631B用于授予电子设备200当前分享内容的即时传播权限,拒绝控件1631C用于拒绝授予电子设备200当前分享内容的即时传播权限。不限于上述示例的情况,在另一些示例中,同意控件1631B也可以用于授予电子设备200任意分享内容的即时传播权限,同意控件1631B也可以用于授予电子设备200当前分享内容的即时传播权限和延后传播权限。
在一些示例中,电子设备100接收到电子设备200发送的用于请求获取当前分享内容的即时传播权限的请求消息后,可以响应于用户操作,向电子设备200发送响应消息。在一种情况下,电子设备100响应于针对图16B的(2)所示的用户界面1630中的同意控件1631B的触摸操作(例如点击操作),向电子设备200发送指示接受请求的响应消息,电子设备200接收到该响应消息后,可以向其它设备实时分享当前分享内容(即短视频应用的音频流/视频流),电子设备200例如输出指示授权成功的提示信息。电子设备200作为分享设备向其他设备实时分享音频流/视频流的说明和上述电子设备100作为分享设备实时分享音频流/视频流的说明类似,例如,电子设备200接收到上述响应消息后,可以显示分享对象和/或分享内容的选择界面。在另一种情况下,电子设备100响应于针对图16B的(2)所示的用户界面1630中的拒绝控件1631C的触摸操作(例如点击操作),向电子设备200发送指示拒绝请求的响应消息,电子设备200接收到该响应消息后,可以取消向其它设备实时分享当前分享内容(即短视频应用的音频流/视频流),电子设备200例如输出指示授权失败的提示信息。
不限于上述示例的情况,在另一些示例中,电子设备100接收到电子设备200发送的用于请求获取当前分享内容的即时传播权限的请求消息后,也可以不输出提示信息,根据预设规则直接拒绝或接收该请求消息,其中,该预设规则可以是电子设备100预设的,也可以是响应于用户操作确定的,本申请对此不作限定。
在另一种实施方式中,不具备即时传播权限的被分享设备播放分享设备实时分享的内容1时,可以响应于用于触发实时分享功能的用户操作,显示提示信息,该提示信息指示被分享设备不具备即时传播权限,例如包括字符“没有权限给其他人一起看/听”。不限于此,也可以不响应触发实时分享功能的用户操作,本申请对此不作限定。
在一种实施方式中,被分享设备显示的分享内容的播放界面可以包括保存控件,保存控件用于将该分享内容保存到被分享设备中。在一些示例中,电子设备200可以响应于针对图5B所示的用户界面520中的分享控制选项523的触摸操作(例如点击操作),显示图16C所示的用户界面1640。用户界面1640包括分享菜单1641,分享菜单1641可以包括多个选项,例如用于暂停/退出分享内容的播放界面的选项1641A、用于保存分享内容的选项1641B和用于触发更多功能选项的选项1641C。在一种情况下,具备保存权限的电子设备200可以响应于针对选项1641B的触摸操作(例如点击操作),保存电子设备100已发送的分享内容(例如当前播放的短视频应用的音频流/视频流),此时例如显示提示信息(指示保存成功)。在另一种情况下,不具备保存权限的电子设备200可以响应于针对选项1641B的触摸操作(例如点击操作),显示提示信息(指示电子设备200不具备保存权限),或者向电子设备100请求获取当前分享内容的保存权限,具体示例和图16A和图16B类似,不再赘述。不限于此,也可以不响应针对选项1641B的触摸操作,本申请对此不作限定。
不限于上述示例的情况,在另一些示例中,还可以通过其它操作触发保存分享内容,例如,语音输入,特定的滑动操作等,本申请对此不作限定。
不限于上述示例的情况,在另一些示例中,电子设备200也可以选择保存已播放的分享内容(可以是电子设备100发送的分享内容的全部或部分),本申请对具体保存的分享内容不作限定。
在一种实施方式中,被分享设备保存分享内容后,可以触发向其它设备分享保存的分享内容。在一些示例中,电子设备200可以显示分享内容的文件的分享界面,例如图16D所示的用户界面1650,用户界面1650包括文件信息1651,文件信息1651包括字符“用户A分享的内容1”,用于指示电子设备100实时分享的内容的文件1。文件信息1651的左侧还显示有选择控件1652,用于选择文件信息1651指示的文件或者取消该选择,当选择控件1652为选中状态时,用户界面1650中的提示信息1653可以包括字符“已选择1项”。用户界面1650还包括取消控件1654和已选择的文件的分享方式的选择框1655,取消控件1654用于取消向其他设备发送上述已选择的文件1。选择框1655可以包括指示不同分享方式的多个选项,例如包括字符“即时分享”的选项1655A(指示基于即时分享的分享方式),包括字符“最近联系人(电话号码4)”的选项1655B(指示基于运营商通话/OTT通话等NewTalk的分享方式,其中分享对象为通讯号码为电话号码4的设备),包括字符“WLAN直连”的选项1655C(指示基于WLAN的分享方式),包括字符“蓝牙”的选项1655D(指示基于蓝牙的分享方式),包括字符“发送给朋友”的选项1655E(指示基于聊天应用的分享方式),包括字符“电子邮件”的选项1655F(指示基于邮箱/电子邮件的分享方式)。在一种情况下,具备延后传播权限的电子设备200可以响应于针对上述多个选项中的任意一个选项的触摸操作(例如点击操作),通过该选项指示的分享方式向其他设备发送上述已选择的文件1。在另一种情况下,不具备延后传播权限的电子设备200可以响应于针对上述多个选项中的任意一个选项的触摸操作(例如点击操作),显示提示信息(指示电子设备200不具备延后传播权限)。
不限于上述示例的情况,在另一些示例中,不具备延后传播权限的电子设备200也可以向电子设备100请求获取上述已选择的文件1的延后传播权限,具体示例和图16A和图16B类似,不再赘述。在另一些示例中,不具备延后传播权限的电子设备200也可以不响应针对上述多个选项中的任意一个选项的触摸操作。在另一些示例中,不具备延后传播权限的电子设备200保存的分享内容的文件可以是经过加密的,并且用于解密该文件的密钥为动态密钥。电子设备200每次打开该文件都需要向电子设备100请求获取动态密钥,该动态密钥是有时效性的(例如1分钟内有效或者前3次有效等),电子设备200根据获取到的动态密钥解密该文件后才能进行播放。即使电子设备200成功向其他设备(以电子设备400为例说明)发送分享内容的文件,但由于电子设备400无法获取到动态密钥,因此也无法解密和播放该文件,从而达到保护分享用户的隐私安全的效果。在另一些示例中,不具备延后传播权限的电子设备200保存的分享内容的文件可以是经过加密的,并且用于解密该文件的密钥是将电子设备200的设备ID作为因子之一得到的,因此,电子设备200才能使用密钥解密该文件,其他设备即使获取到了密钥和文件,也无法使用密钥解密该文件,进一步保证了分享内容的安全性。其中,设备ID例如但不限于为介质访问控制地址(media access controladdres,MAC)、序列号(serial number,SN)或国际移动设备识别码(international mobileequipment identity,IMEI)等。本申请对如何禁止不具备延后传播权限的电子设备向其他设备发送分享内容的文件不作限定。
在另一些示例中,电子设备200播放分享内容的文件时,例如显示图16E所示的用户界面1660,用户界面1660可以包括标题1661和播放框1662,标题1661包括播放框1622中播放的文件的名称“用户A分享的内容1”,播放框1622可以包括播放/暂停控件1662A和进度条控件1662B。在一种情况下,具备延后传播权限的电子设备200可以响应于用于触发实时分享的用户操作(图16E以该用户操作为指关节按照“W”的特定轨迹在显示屏上滑动为例进行示意),向其他设备实时分享当前播放的音频流/视频流。电子设备200作为分享设备向其他设备实时分享音频流/视频流的说明和上述电子设备100作为分享设备实时分享音频流/视频流的说明类似,例如,电子设备200响应于用于触发实时分享的用户操作,显示分享对象的选择界面。在另一种情况下,不具备延后传播权限的电子设备200可以响应于用于触发实时分享的用户操作(图16E以该用户操作为指关节按照“W”的特定轨迹在显示屏上滑动为例进行示意),显示提示信息(指示电子设备200不具备延后传播权限)。不限于上述示例的情况,在另一些示例中,不具备延后传播权限的电子设备200也可以向电子设备100请求获取当前播放的文件的延后传播权限,具体示例和图16A和图16B类似,不再赘述。在另一些示例中,不具备延后传播权限的电子设备200也可以不响应用于触发实时分享的用户操作,本申请对此不作限定。
不限于上述示例的情况,在另一些示例中,电子设备100也可以自动识别分享数据是否符合预设条件,当分享数据符合预设条件时,不授予电子设备200基于该分享数据的保存权限和/或二次传播权限。
在一些示例中,上述预设条件为分享数据为预设应用的应用数据,例如,电子设备100可以预置预设应用的信息(可以理解为是黑名单),该黑名单可以包括以下至少一项应用信息:应用类型、应用程序的名称、包名、应用标识等。预设条件为分享数据为预设应用的应用数据,可以包括:分享数据对应的应用信息和黑名单中的应用信息一致。其中,预设应用可以包括响应于用户操作确定的应用程序,也可以包括自动识别的应用程序,例如,电子设备100可以识别应用程序的类型,将银行、支付等类型的应用设置为预设应用。
在一些示例中,上述预设条件为分享数据包括预设内容,预设内容可以包括响应于用户操作确定的内容,也可以包括自动识别的内容。预设内容例如但不限于为文本类型、图片类型或视频类型。预设内容例如但不限于为用户名、密码、账户名、登录名、身份证号码、银行卡号、账户余额等。
以上示例可以实现被分享设备基于分享内容的权限管理,有效保证分享用户的隐私安全。
不限于上述实施方式(实时分享整个应用或者整个显示屏的显示内容),在另一种实施方式中,电子设备100可以响应于用户操作确定显示屏上的至少一个区域,上述确定的区域相关的音频流/视频流用于进行实时分享。
在一些示例中,电子设备100可以响应于针对图4B所示的用户界面420中的分享控制选项421的触摸操作(例如点击操作),显示分享菜单,例如显示图17A所示的用户界面1710。用户界面1710中的分享菜单1711可以包括多个选项,例如,用于分享当前应用(图17A以短视频应用为例进行示意)的音频流/视频流的选项1711A、选项1711B、用于分享电子设备100的屏幕的显示内容的选项1711C、用于取消/暂停/停止实时分享的选项1711D和用于触发更多功能选项的选项1711E。选项1711B包括字符“选择区域(栅格)”,用于通过栅格方式选择实时分享的区域。
在一些示例中,电子设备100可以响应于针对图17A所示的用户界面1710中的选项1711B的触摸操作(例如点击操作),显示图17B所示的用户界面1720。用户界面1720和图4B所示的用户界面420类似,区别在于,用户界面1720中的短视频的播放窗口1721被多条分割线划分为多个区域(区域也可称为栅格),图17B以播放窗口1721被三条分割线(纵向的分割线1721A、横向的分割线1721B和分割线1721C)划分为2×3=6个栅格为例进行示意。播放窗口1721中的任意一个栅格可以被选中,选中的栅格可以作为实时分享的区域。
在一些示例中,电子设备100可以响应于用户操作,在分享内容的播放窗口中移动分割线。例如,电子设备100可以响应于针对图17B所示的用户界面1720包括的播放窗口1721中的分割线1721A的触摸操作,将纵向的分割线1721A向左或向右移动,具体示例可参见图17C所示的用户界面1730,图17C以该触摸操作为向左滑动为例进行示意,用户界面1730示出了移动前的分割线1721A和移动后的分割线1721A。不限于此,还可以将播放窗口1721中的纵向的分割线向上或向下移动。
在一些示例中,电子设备100可以响应于用户操作,在分享内容的播放窗口中新增分割线。例如,电子设备100可以响应于针对图17C所示的用户界面1730包括的播放窗口1721的左侧边缘或者右侧边缘的触摸操作,新增纵向的分割线并将该分割线向右或向左移动,具体示例可参见图17D所示的用户界面1740,图17D以该触摸操作为从屏幕右侧边缘向屏幕中间滑动(向左滑动)为例进行示意,用户界面1740示出了新增的纵向的分割线1721D。不限于此,还可以响应于针对播放窗口1721的上侧边缘或者下侧边缘的触摸操作,新增横向的分割线。
在一些示例中,电子设备100可以响应于用户操作,在分享内容的播放窗口中删除分割线。例如,电子设备100可以响应于针对图17B所示的用户界面1720包括的播放窗口1721中的分割线1721A的触摸操作(例如左右滑动),将纵向的分割线1721A移动至屏幕左侧或者右侧边缘,此时播放窗口1721可以不显示分割线1721A,可以理解为是删除分割线1721A。不限于此,还可以将播放窗口中的横向的分割线移动至屏幕上侧或者下侧边缘,以此删除该分割线。
在一些示例中,电子设备100可以响应于用户操作,在分享内容的播放窗口中选择任意一个栅格(作为实时分享的区域)。例如,电子设备100可以响应于针对图17D所示的用户界面1740包括的播放窗口1721中位于中间的栅格的触摸操作(例如单击操作、双击操作或者长按操作),选中该栅格。此时,电子设备100可以显示图17E所示的用户界面1750,用户界面1750所示的播放窗口1721中位于中间的栅格1721E为选中状态。用户界面1750还包括完成控件1751,完成控件1751用于保存当前选中的栅格(即上述栅格1721E)为实时分享的区域。
可以理解地,在分享内容的播放窗口中移动、删除和新增分割线后,该播放窗口包括的栅格的大小和/个数会发生变化,例如,图17B所示的用户界面1720中的6个栅格的大小(经过图17C和图17D所示的移动分割线和新增分割线之前),和图17E所示的用户界面1750中的6个栅格的大小不同(经过图17C和图17D所示的移动分割线和新增分割线之后)。
在一些示例中,电子设备100可以响应于用户操作,在分享内容的播放窗口中选择多个栅格(作为实时分享的区域)。例如,电子设备100可以依次接收针对图17D所示的用户界面1740包括的播放窗口1721中位于底部的三个栅格的触摸操作(例如单击操作、双击操作或者长按操作),响应于这些触摸操作,选中这三个栅格,具体示例和图17E类似。不限于此,电子设备100也可以先接收针对这三个栅格中任意一个栅格的触摸操作(例如单击操作、双击操作或者长按操作),选中该栅格,例如,电子设备100可以显示图17F所示的用户界面1760,用户界面1760中的栅格1721F为选中状态。如图17F所示,用户执行上述触摸操作后可以保持手指触摸电子设备100的显示屏,并向左滑动至用户界面1760中和栅格1721F相邻的栅格1721G。电子设备100可以响应于上述用户操作,选中栅格1721G,此时可以显示图17G所示的用户界面1770,用户界面1770中的栅格1771为选中状态,栅格1771是合并栅格1721F和栅格1721G得到的。如图17G所示,用户可以继续保持手指触摸电子设备100的显示屏,并向左滑动至用户界面1760中和栅格1721G相邻的栅格1721H。电子设备100可以响应于上述用户操作,选中栅格1721H,此时可以显示图17H所示的用户界面1780,用户界面1780中的栅格1781为选中状态,栅格1781是合并栅格1721F、栅格1721G和栅格1721H得到的。
在一些示例中,电子设备100确定实时分享的区域后,可以将和该区域相关的视频流/音频流实时分享给其他设备。例如,电子设备100可以响应于针对图17H所示的用户界面1780中的完成控件1751的触摸操作(例如点击操作),将已选中的栅格1721E和栅格1781设置为实时分享的区域,并将相关的视频流/音频流实时分享给电子设备200。例如,电子设备200可以显示图17I所示的用户界面1790,用户界面1790和图5B所示的用户界面520类似,区别在于,用户界面1790所示的分享内容的播放窗口522中,仅显示上述已选中的栅格1721E和栅格1781中的内容1791,不显示其他区域中的内容。
不限于上图17B-图17H所示的选择实时分享的区域的方式,在另一些示例中,电子设备100可以响应于针对图17A所示的用户界面1710中的选项1711B的触摸操作(例如点击操作),显示图18A所示的用户界面1810。用户界面1810和图4B所示的用户界面420类似,区别在于,用户界面1810中的短视频的播放窗口412中还显示有选中框1811,可选地,选中框1811默认包括播放窗口412中的全部显示内容。选中框1811所在的区域可以作为实时分享的区域。
在一些示例中,电子设备100可以调整分享内容的播放窗口中的选中框的大小和/或位置。例如,电子设备100可以接收针对图18A所示的用户界面1810中的选中框1811的右下角的触摸操作(例如上下滑动、左右滑动、斜向上或斜向下滑动),图18B以该触摸操作为从右下角向左上角滑动为例进行示意,电子设备100可以响应于该触摸操作缩小选中框1811,图18B所示的用户界面1820示出了调整前的选中框1811和调整后的选中框1811。电子设备100可以继续接收针对图18B所示的用户界面1820中的选中框1811的左上角的触摸操作(例如上下滑动、左右滑动、斜向上或斜向下滑动),图18C以该触摸操作为从左上角向右下角滑动为例进行示意,电子设备100可以响应于该触摸操作缩小选中框1811,图18C所示的用户界面1830示出了调整前的选中框1811和调整后的选中框1811。用户界面1830还包括完成控件1831,完成控件1831用于保存当前的选中框1811(即调整后的选中框1811)所在的区域为实时分享的区域。
在一些示例中,电子设备100确定选中框所在的区域为实时分享的区域后,可以将和该区域相关的视频流/音频流实时分享给其他设备。例如,电子设备100可以响应于针对图18C所示的用户界面1830中的完成控件1831的触摸操作(例如点击操作),将选中框1811所在的区域设置为实时分享的区域,并将相关的视频流/音频流实时分享给电子设备200。例如,电子设备200可以显示图18D所示的用户界面1840,用户界面1840和图5B所示的用户界面520类似,区别在于,用户界面1840所示的分享内容的播放窗口522中,仅显示选中框1811中的内容1841,不显示其他区域中的内容。
不限于上述示例的选择实时分享的区域的方式,在另一些示例中,电子设备100可以响应于针对图4B所示的用户界面420中的分享控制选项421的触摸操作(例如点击操作),显示图19A所示的用户界面1910。用户界面1910和图17A所示的用户界面1710类似,区别在于,用户界面1910中的分享菜单1911不包括选项1711B,而是包括选项1911A,选项1911A包括字符“选择区域(手绘)”,用于通过手绘方式选择实时分享的区域。
在一些示例中,电子设备100可以响应于针对图19A所示的用户界面1910中的1911A的触摸操作(例如点击操作),显示图19B所示的用户界面1920,用户界面1920和图4B所示的用户界面420类似。电子设备100可以响应于针对用户界面1920中的短视频的播放窗口412的触摸操作,从播放窗口412中选择出和该触摸操作相关的区域,图19B以该触摸操作为按照顺时针方向滑动为例进行示意,和该触摸操作相关的区域为用户界面1920中的区域1921。用户界面1920还包括返回控件1922和完成控件1923,返回控件1922用于取消最近一次的操作结果,例如取消选择上述区域1921。完成控件1923用于保存当前选择的区域(例如区域1921)为实时分享的区域。不限于此,用户还可以选择多个区域,例如,图19B之后,电子设备100可以响应于针对短视频的播放窗口412的触摸操作,再从播放窗口412中选择出和该触摸操作相关的区域,图19C以该触摸操作为按照顺时针方向滑动为例进行示意,和该触摸操作相关的区域为图19C所示的用户界面1930中的区域1931。
在一些示例中,电子设备100确定用户手绘选择的区域为实时分享的区域后,可以将和该区域相关的视频流/音频流实时分享给其他设备。例如,电子设备100可以响应于针对图19C所示的用户界面1930中的完成控件1923的触摸操作(例如点击操作),将用户手绘选择的区域1921和区域1931设置为实时分享的区域,并将相关的视频流/音频流实时分享给电子设备200。例如,电子设备200可以显示图19D所示的用户界面1940,用户界面1940和图5B所示的用户界面520类似,区别在于,用户界面1940所示的分享内容的播放窗口522中,仅显示上述区域1921中的内容1941和上述区域1931中的内容1942,不显示其他区域中的内容。
不限于上图19B和图19C示例的选择实时分享的区域的方式,在另一些示例中,电子设备100可以响应于针对图19A所示的用户界面1910中的选项1911A的触摸操作(例如点击操作),显示图19E所示的用户界面1950。用户界面1950和图4B所示的用户界面420类似,包括短视频的播放窗口412。电子设备100可以依此接收针对用户界面1950中的位置1951和位置1952的触摸操作(例如点击操作),响应于这些触摸操作,在用户界面1950上显示端点为位置1951和位置1952的点的边界线1953(实线形式)。然后,电子设备100可以接收针对用户界面1950中的位置1954的触摸操作,用户手指保持触摸位置1954时,可以在用户界面1950上显示端点为位置1952和位置1954的点的边界线1955(虚线形式,表征可调整)。用户可以保持手指触摸显示屏并从位置1954移动至位置1956,电子设备100可以响应于该用户操作,在用户界面1950上取消显示边界线1955,并且显示端点为位置1952和位置1956的点的边界线1957(实线形式),可以理解为是,将边界线1955调整为边界线1957。然后,电子设备100可以依次接收针对图19F所示的用户界面1960中的位置1961、位置1962和位置1951的触摸操作(例如点击操作),响应于这些触摸操作,在用户界面1960上显示:端点为位置1956和位置1961的点的边界线1963(实线形式)、端点为位置1961和位置1962的点的边界线1964(实线形式)、端点为位置1962和位置1951的点的边界线1965(实线形式)。上述边界线1953、1957、1963、1964、1965可以构成用户界面1960中的(用户选择的)区域1966。用户界面1960还包括返回控件1967和完成控件1968,返回控件1967用于取消最近一次的操作结果,例如取消显示上述边界线1965。电子设备100可以响应于针对完成控件1968的触摸操作(例如点击操作),将用户手绘选择的区域1966设置为实时分享的区域,并将相关的视频流/音频流实时分享给电子设备200。例如,电子设备200可以显示图19G所示的用户界面1970,用户界面1970和图5B所示的用户界面520类似,区别在于,用户界面1970所示的分享内容的播放窗口522中,仅显示上述区域1966中的内容1971,不显示其他区域中的内容。
不限于上述示例的情况,在另一些示例中,电子设备100可以不实时分享预设应用的任意应用数据(例如被分享设备上用于显示分享内容的界面为黑色),例如,电子设备100可以预置预设应用的信息(可以理解为是黑名单),该黑名单可以包括以下至少一项应用信息:应用程序的名称、包名、应用标识等,当电子设备100识别到分享数据对应的应用信息和黑名单中的应用信息一致时,可以不实时分享该分享数据(例如但不限于为:电子设备100输出指示无法实时分享的提示信息,或者被分享设备上用于显示分享数据的窗口为黑色)。其中,预设应用可以包括响应于用户操作确定的应用程序,也可以包括自动识别的应用程序,例如,电子设备100可以识别应用程序的类型,将银行、支付等类型的应用设置为预设应用。在另一些示例中,电子设备100可以不实时分享应用程序的某个界面(例如被分享设备显示分享内容时,若播放至该界面相关的视频流则显示界面为黑色,若播放其他的视频流则显示的界面正常),例如,当电子设备100识别到待分享的用户界面包括预设内容时,不实时分享该界面。在另一些示例中,电子设备100也可以不实时分享用户界面中的某个区域(具体示例和图19D和图19G类似),例如,当电子设备100识别到待分享的用户界面包括预设内容时,不实时分享该界面中显示有该预设内容的区域。其中,预设内容可以包括响应于用户操作确定的内容,也可以包括自动识别的内容。预设内容例如但不限于为文本类型、图片类型或视频类型。预设内容例如但不限于为用户名、密码、账户名、登录名、身份证号码、银行卡号、账户余额等。
不限于上述实施方式(实时分享整个应用、整个显示屏或者用户选择的区域的显示内容),在另一种实施方式中,电子设备100可以响应于用户操作,确定用户界面中的至少一个图层,上述确定的图层相关的音频流/视频流用于进行实时分享。
在一些示例中,电子设备100可以响应于针对图4B所示的用户界面420中的分享控制选项421的触摸操作(例如点击操作),显示分享菜单,例如显示图20A所示的用户界面2010。用户界面2010和图17A所示的用户界面1710类似,区别在于,用户界面2010中的分享菜单2011不包括选项1711B,而是包括选项2011A,选项2011A包括字符“选择图层”,用于触发选择用于进行实时分享的图层。
在一些示例中,电子设备100可以响应于针对图20A所示的用户界面2010中的选项2011A的触摸操作(例如点击操作),显示图层选择界面,例如显示图20B所示的用户界面2020。用户界面2020可以包括图层示意界面2021,图层示意界面2021可以包括图层2021A、图层2021B和图层2021C,这些图层可以是对图4B所示的用户界面420中的短视频的播放窗口412(假设还显示有收起状态的悬浮窗312)进行图层划分得到的。其中,图层2021A可以包括短视频应用的内容和悬浮窗312,图层2021B可以包括短视频应用的内容(可以理解为是播放窗口412播放的短视频1的具体内容),图层2021C可以包括短视频应用的内容(可以理解为是短视频应用的相关控件)。电子设备100可以响应于针对图层示意界面2021中的任意一个图层的触摸操作(例如点击操作、双击操作或长按操作),选中该图层。电子设备100可以将和选中的图层相关的音频流/视频流分享给其他设备,例如将图层2021B相关的短视频1的音频流/视频流分享给电子设备200,电子设备200此时例如显示图19G所示的用户界面1970,用户界面1970中的播放窗口522仅显示图层2021B中的内容1971,不显示其他图层的内容。
不限于上述示例的情况,在另一些示例中,电子设备100显示的图层选择界面也可以为图20C所示的用户界面2030。用户界面2030可以包括图层示意界面2031,图层示意界面2031可以包括图层2031A和图层2031B,这些图层可以是对视频应用的播放界面(该播放界面上显示有短信息应用的悬浮窗口)进行图层划分得到的。其中,图层2031A可以包括视频应用中的视频内容2031C和短信息应用的内容2031D,图层2031B可以包括视频应用中的播放控件、进度条等内容。电子设备100可以响应于针对图层示意界面2031中的任意一个图层的触摸操作(例如点击操作、双击操作或长按操作),选中该图层。电子设备100可以将和选中的图层相关的音频流/视频流分享给其他设备。
在另一些示例中,电子设备100显示的图层选择界面也可以为图20D所示的用户界面2040。用户界面2040可以包括图层示意界面2041,图层示意界面2041可以包括图层2041A、图层2041B和图层2041C,这些图层可以是对视频应用和短信息应用的分屏界面进行图层划分得到的。其中,图层2041A可以包括视频应用的内容和短信息应用的内容(可以理解为包括整个分屏界面的内容,也可理解为是包括图层2041B和图层2041C中的内容,),图层2041B可以包括视频应用中的视频内容,图层2041C可以包括短信息应用中的短信息。电子设备100可以响应于针对图层示意界面2041中的任意一个图层的触摸操作(例如点击操作、双击操作或长按操作),选中该图层。电子设备100可以将和选中的图层相关的音频流/视频流分享给其他设备。
不限于上述示例的情况,在另一些示例中,可以划分得到更多或更少的图层,例如,图20C所示的用户界面2030中的图层示意界面2031还包括图层2031D,图层2031D包括短信息应用的内容。本申请对图层划分方式不作限定。
不限于上述示例的情况,在另一些示例中,一个图层还可以包括更多或更少的应用的内容,例如,一个图层仅包括电子设备的系统内容(不包括任意应用的内容),或者,一个图层包括两个或两个以上的应用的内容,本申请对图层包括的内容不作限定。
以上示例中,可以按任意应用、按任意区域(规则或不规则)、全屏幕等多种方式来进行实时分享,前台应用、后台应用和未运行的应用均可以进行实时分享,也就是说,分享内容无限制,使用场景更加广泛,有效满足用户的需求,提升用户体验感。
不限于上述实施方式,在另一种实施方式中,电子设备100作为分享设备向其他设备实时分享第一内容时,上述其他设备中的任意一个设备也可以作为分享设备向电子设备100等设备分享第二内容,也就是说可以实现双向分享,上述其他设备作为分享设备实时分享的说明和电子设备100作为分享设备实时分享的说明类似,下面示例性示出一些场景,但还可以有其他和电子设备100作为分享设备实时分享的场景类似的场景,不应构成限定。
在一些示例中,在图5B之后,电子设备200可以将电子设备100实时分享的内容的播放界面(例如图5B所示的用户界面520中的播放窗口522)切换至后台显示(也可称为是将实时分享的内容对应的应用程序切换至后台运行),在前台显示其他应用的用户界面(也可称为是在前台运行其他应用),例如图21A所示的短视频应用的用户界面2110,用户界面2110可以包括位于顶部的通话控件2111和短视频的播放窗口2112,通话控件2111可以表征当前电子设备200处于通话态且通话时长为36秒。播放窗口2112用于显示播放的短视频,例如当前正在播放“用户2”发布的名称为“主题2”的短视频2。电子设备200可以响应于用于触发实时分享的用户操作,例如图21A所示的指关节按照“W”的特定轨迹滑动的用户操作,显示分享对象和分享内容的选择界面,例如图21B所示的用户界面2120。用户界面2120可以包括可选择的分享内容的列表2121和可选择的分享对象的列表2122,列表2121可以包括用于共享前台应用(图21B以短视频应用为例进行示意)的显示内容的选项2121A、用于共享电子设备200的屏幕的显示内容的选项2121B、用于共享后台应用(图21B以浏览器应用为例进行示意)的显示内容的选项2121C。列表2122可以包括指示通话对方(即通讯号码为“电话号码1”的电子设备100)的选项2122A和多个指示附近设备的选项。
不限于图21B所示的可选择的分享对象的列表,在另一些示例中,可选择的分享内容的列表可以包括用于共享电子设备100实时分享的内容的选项,可选地,具备即时传播权限的电子设备200可以显示用于共享电子设备100实时分享的内容的选项,不具备即时传播权限的电子设备200可以不显示用于共享电子设备100实时分享的内容的选项。例如,电子设备200显示的分享对象和分享内容的选择界面为图21C所示的用户界面2130,用户界面2130和图21B所示的用户界面2120类似,区别在于,用户界面2130中的可选择的分享内容的列表2121还包括选项2121D,选项2121D下显示有字符:共享“一起看”,用于共享电子设备100实时分享的内容,例如图5B所示的用户界面520中的播放窗口522播放的短视频1的音频流/视频流。
在一些示例中,电子设备200可以响应于针对图21B所示的用户界面2120或者图21C所示的用户界面2130中的选项2122A的触摸操作(例如点击操作),向选项2122A指示的电子设备100实时分享选中状态的选项2121A指示的短视频应用的音频流/视频流(具体为短视频2的音频流/视频流)。也即是说,电子设备100向电子设备200实时分享短视频1的音频流/视频流时,电子设备200也可以向电子设备100实时分享短视频2的音频流/视频流。在一种情况下,电子设备200可以在前台播放电子设备100实时分享的短视频1的音频流/视频流,例如显示图5B所示的用户界面520。同时,电子设备100也可以在前台播放电子设备200实时分享的短视频2的音频流/视频流,例如显示图21D所示的用户界面2140,用户界面2140可以包括提示框2141和播放窗口2142,提示框2141包括字符“正在观看用户B分享的内容”,播放窗口2142用于显示分享内容(例如图21A所示的用户界面2110中的播放窗口2112显示的图像)。不限于上述情况,在另一种情况下,电子设备100和电子设备200可以均在前台播放电子设备200实时分享的短视频2的音频流/视频流,例如,电子设备100显示图21D所示的用户界面2140,电子设备200显示图21A所示的用户界面2110。或者,电子设备和电子设备200可以均在前台播放电子设备100实时分享的短视频1的音频流/视频流,例如,电子设备100显示图4B所示的用户界面420,电子设备200显示图5B所示的用户界面520。不限于上述情况,在另一种情况下,电子设备100或电子设备200可以分屏显示电子设备100实时分享的内容和电子设备200实时分享的内容,例如,电子设备200显示图21E所示的用户界面2150,用户界面2150可以包括分屏显示的短视频的播放窗口2151和电子设备100实时分享的内容的播放窗口2152,播放窗口2151和播放窗口2152之间可以显示有控件2153,控件2153用于调整播放窗口2151和播放窗口2152的显示区域的大小。播放窗口2151用于显示图21A所示的用户界面2110中的播放窗口2112显示的图像,播放窗口2151中显示有控件2151A,控件2151A的说明可参见图4B所示的用户界面420中的分享控制选项421的说明。播放窗口2152用于显示图5B所示的用户界面520中的播放窗口522显示的图像,播放窗口2152中显示有控件2152A,2152A的说明可参见用户界面520中的分享控制选项523的说明。电子设备100显示的界面和图21E所示的用户界面2150类似,不再赘述。本申请对双向分享的具体显示方式不作限定。
不限于上述示例,在另一些示例中,电子设备100和电子设备200可以同时作为分享设备向电子设备400实时分享音频流和/或视频流,电子设备400可以按照上述示例的任意一种情况或其他情况显示电子设备100实时分享的内容和/或电子设备200实时分享的内容,例如,电子设备400可以显示图21E所示的用户界面2150,此时,用户界面2150中的播放窗口2151也包括提示信息“正在观看用户B分享的内容”。
不限于上述示例,在另一些示例中,还可以有更多设备可以同时作为分享设备进行实时分享,其中任意两个设备的说明和上述电子设备100和电子设备200进行双向分享的说明类似,不再赘述。
不限于上述示例,在另一些示例中,电子设备200作为分享设备向电子设备100和/或其他设备实时分享电子设备100实时分享的内容时,可以根据是否具备即时传播权限执行不同的操作,例如,具备即时传播权限的电子设备200可以响应于针对图21C所示的用户界面2130中的选项2121D的触摸操作(例如点击操作),实时分享选项2121D指示的内容。或者,不具备即时传播权限的电子设备200可以响应于针对图21C所示的用户界面2130中的选项2121D的触摸操作(例如点击操作),向电子设备100请求获取选项2121D指示的内容的即时传播权限,具体可参见图16A-图16C的示例,不再赘述。不限于此,不具备即时传播权限的电子设备200也可以直接显示指示不具备即时传播权限的提示信息,或者直接不响应上述触摸操作。
在一种实施方式中,电子设备100可以默认开启以上实施方式中的实时分享功能。在另一种实施方式中,电子设备100可以响应于用户操作,开启以上实施方式中的实时分享功能,下面示例性示出一些用于设置实时分享功能的用户界面。
在一些示例中,如图22A所示,电子设备100可以显示用户界面2210,用户界面2210包括设置名称2211(包括字符“一起看/听”),可以表征用户界面2210为实时分享功能的设置界面。例如,电子设备100可以响应于针对设置菜单中的“更多连接”选项下的“一起看/听”选项的触摸操作(如点击操作),显示用户界面2210。用户界面2210可以包括功能名称2212(包括字符“一起看,一起听”),功能名称2212右侧还显示有对应的开关控件2212A,开关控件2212A用于开启或关闭功能名称2212指示的实时分享功能,开关控件2212A可以理解为是实时分享功能的总开关。用户界面2210还包括分享对象的设置菜单:标题2213(包括字符“分享菜单”)下显示的多个设置选项,例如设置选项2214(包括字符“允许和电话对方一起看/听”)和设置选项2215(包括字符“允许和附近设备一起看/听”)。设置选项2214右侧还显示有对应的开关控件2214A,开关控件2214A用于开启或关闭设置选项2214指示的通过运营商通话/OTT通话等NewTalk实现实时分享的功能。设置选项2215右侧还显示有对应的开关控件2215A,开关控件2215A用于开启或关闭设置选项2215指示的通过近场通信技术实现实时分享的功能。不限于此,还可以包括指示通过卫星方式实现实时分享的功能的选项,指示和车载设备实现实时分享的功能的选项等,或者,仅包括设置选项2214或设置选项2215,本申请对此不作限定。
在一些示例中,如图22B所示,电子设备100可以显示用户界面2220,用户界面2220包括设置名称2221(包括字符“新通话”),可以表征用户界面2220为NewTalk功能的设置界面。例如,电子设备100可以响应于针对“电话”选项下的设置菜单中的“新通话(NewTalk)”选项的触摸操作(如点击操作),显示用户界面2220。用户界面2220可以包括功能名称2222(包括字符“新通话”),功能名称2222右侧还显示有对应的开关控件2222A,开关控件2222A用于开启或关闭功能名称2222指示的NewTalk功能,开关控件2222A可以理解为是NewTalk功能的总开关。用户界面2220还包括NewTalk功能中的多个子功能的信息,例如子功能2223、子功能2224和子功能2225。其中,子功能2223包括功能名称:“智能增加通话质量”,子功能2223下还显示有对应的功能说明2223A(包括字符“允许使用蜂窝移动数据,确保流畅的通话体验”)。子功能2224包括功能名称:“通话中信息分享”,子功能2224下还显示有对应的功能说明2224A(包括字符“允许通话中接收信息,如图片、位置、文件、链接等”),子功能2224例如通过图3的(A)所示的通话界面310中的悬浮窗312包括的选项312B和选项312C实现。子功能2225包括功能名称:“一起看/听”,子功能2225下还显示有对应的功能说明2225A(包括字符“允许发起或者接受通话的双方一起看、一起听等”),用于指示通过运营商通话/OTT通话等NewTalk实现实时分享的功能,例如通过图3的(A)所示的通话界面310中的悬浮窗312包括的选项312D实现。
不限于图22B所示的示例,在另一些示例中,NewTalk功能中的任意一个子功能可以独立开启或关闭,例如图22C所示,电子设备100可以显示用户界面2230,用户界面2230包括设置名称2231(包括字符“新通话”),例如,电子设备100可以响应于针对“电话”选项下的设置菜单中的“新通话(NewTalk)”选项的触摸操作(如点击操作),显示用户界面2230。用户界面2230可以包括NewTalk功能中的多个子功能的选项,例如子功能2232、子功能2233和子功能2234,其中,子功能2232包括功能名称:“通话质量增强”,下侧还显示有对应的说明2232A(包括字符“开启后,通话允许使用蜂窝移动数据,确保流畅的通话体验,实际消耗的流量以运营统计为准”),右侧还显示有对应的开关控件2232B,开关控件2232B用于开启或关闭子功能2232。子功能2233包括功能名称:“允许通话中接收信息”,下侧还显示有对应的说明2233A(包括字符“开启后将允许通话中接收信息,如图片、位置、文件、链接等”),右侧还显示有对应的开关控件2233B,开关控件2233B用于开启或关闭子功能2233。子功能2234包括功能名称:“允许和电话对方一起看/听”,下侧还显示有对应的说明2234A(包括字符“开启后将允许发起或者接受通话的双方一起看、一起听等”),右侧还显示有对应的开关控件2234B,开关控件2234B用于开启或关闭子功能2234,即通过运营商通话/OTT通话等NewTalk实现实时分享的功能。
在一些示例中,如图22D所示,电子设备100可以显示用户界面2240,用户界面2240包括设置名称2241(包括字符“华为分享”),设置名称2241下还显示有对应的说明2241A(包括字符“无需流量,与附近设备极速分享图片、视频、应用、文件等”),可以表征用户界面2240为华为分享(本申请也可称为即时分享)功能的设置界面。例如,电子设备100可以响应于针对设置菜单中的“更多连接”选项下的“华为分享”选项的触摸操作(如点击操作),显示用户界面2240。用户界面2240可以包括功能名称2242(包括字符“华为分享”)和功能名称2243(包括字符“允许获取华为账号权限”),其中,功能名称2242下侧还显示有对应的功能说明2242A(包括字符“本服务使用蓝牙、WLAN进行数据和多媒体流传输,使用NFC进行设备触碰,调用存储权限读取或保存分享的文件和一起看一起听,即使关闭蓝牙、WLAN、NFC,华为分享也可继续使用蓝牙、WLAN、NFC功能的能力。打开开关,即表示您同意上述内容”),可以表征通过蓝牙、WLAN、NFC等近场通信技术分享文件以及实时分享音频流/视频流的华为分享功能。功能名称2242右侧还显示有对应的开关控件2242B,开关控件2242B用于开启或关闭功能名称2242指示的华为分享功能,开关控件2242B可以理解为是华为分享功能的总开关。功能名称2242指示的华为分享功能例如通过图8A所示的用户界面810中的控件814B/控件814D实现。功能名称2243下侧还显示有对应的功能说明2243A(包括字符“允许获取本机华为账号昵称和头像,并在发送方设备中缓存,以便发送方更容易识别您”),右侧还显示有对应的开关控件2243B,开关控件2243B用于开启或关闭功能名称2243指示的功能,例如,图6B所示的用户界面620中的可选择的分享对象的列表622示出的用户名称可以是通过功能名称2243指示的功能获取到的。
不限于图22D所示的示例,在另一些示例中,通过华为分享实现实时分享的功能可以独立于华为分享功能开启或关闭,例如图22E所示,电子设备100可以显示的用户界面2250,用户界面2250和图22D所示的用户界面2240类似,区别在于,用户界面2250中的功能名称2242下显示的功能说明2251不同,功能说明2251包括字符“本服务使用蓝牙、WLAN进行数据和多媒体流传输,使用NFC进行设备触碰,调用存储权限读取或保存分享的文件,即使关闭蓝牙、WLAN、NFC,华为分享也可继续使用蓝牙、WLAN、NFC功能的能力。打开开关,即表示您同意上述内容”,可以表征通过蓝牙、WLAN、NFC等近场通信技术分享文件的华为分享功能。并且,用户界面2250还包括功能名称2252(包括字符“允许和附近设备一起看、一起听”),功能名称2252下侧还显示有对应的功能说明2252A(包括字符“允许附近设备通过华为分享一起看、一起听”),可以表征通过华为分享实现实时分享的功能,例如通过蓝牙、WLAN、NFC等近场通信技术实现实时分享的功能。功能名称2252右侧还显示有对应的开关控件2252B,开关控件2252B用于开启或关闭功能名称2252指示的功能。功能名称2252指示的功能例如通过图8A所示的用户界面810中的控件814B/控件814D实现。
不限于上述实施方式所示的实时共享场景(“一起看”和/或“一起听”),在另一种实施方式中,实时共享场景还可以包括“一起玩”。接下来以进行运营商通话/OTT通话等NewTalk的电子设备100和电子设备200为例说明“一起玩”的实时共享场景。
在一些示例中,电子设备100可以响应于用于触发实时分享的用户操作,例如,针对图3的(A)所示的通话界面310中的分享选项312D的触摸操作,向通话对方:电子设备200发送“一起玩”的请求,电子设备200接受该请求后,电子设备100和电子设备200可以同时显示游戏界面,例如图23A所示,电子设备100可以显示图23A的(1)所示的用户界面2310,电子设备200可以显示图23A的(2)所示的用户界面2320。用户界面2310可以包括位于顶部的通话图标2311和游戏窗口2312,通话图标2311可以表征当前电子设备100处于通话态,且通话时长为33秒,游戏窗口2312用于显示“一起玩”的游戏内容。其中,游戏窗口2312可以包括游戏名称2312A(包括字符“一起算题中”)和题目信息2312B(包括字符“15+23=”),题目信息2312B右侧还显示有用于接收用户输入内容的输入框2312C,题目信息2312B下侧还显示有键盘2312D,键盘2312D用于用户在输入框2312C中输入相应的字符。键盘2312D可以包括确定控件2312E,确定控件2312E用于将输入框2312C中的内容作为题目信息2312B对应的答案提交至审核设备,以使审核设备审核答案是否正确。游戏窗口2312还可以包括控制选项2313和切换选项2314,控制选项2312用于触发显示控制菜单,控制菜单例如但不限于包括暂停/退出“一起玩”的选项,切换选项2314用于切换题目信息2312B包括的内容。用户界面2320和用户界面2310类似,区别在于,用户界面2320所示的游戏窗口2321中的题目信息2321A和用户界面2310中的题目信息2312B不同。不限于上述示例的情况,在另一些示例中,电子设备100和电子设备200显示的题目信息也可以相同,例如,用户界面2320中的题目信息为用户界面2310中的题目信息2312B。
在一些示例中,在图23A之后,电子设备100可以接收用户在图23A的(1)所示的用户界面2310中的输入框2312C输入的字符“38”,并接收针对用户界面2310中的确定控件2312E的触摸操作(例如点击操作)。响应于该触摸操作,电子设备100可以将输入框2312C中的内容(即字符“38”)发送给服务器。服务器确定该内容即为用户界面2310中的题目信息2312B对应的答案(也可称为是确定答案正确)时,可以指示电子设备100显示提示信息,该提示信息表征当前游戏胜利,以及指示电子设备200显示提示信息,该提示信息表征当前游戏失败,例如图23B所示,电子设备100可以显示图23B的(1)所示的用户界面2330,电子设备200可以显示图23B的(2)所示的用户界面2340。用户界面2330和图23A的(1)所示的用户界面2310类似,区别在于,用户界面2330所示的游戏窗口2312中的输入框2312C显示有用户输入的字符“38”,并且,游戏窗口2312中还显示有提示信息2331,提示信息2331包括字符“本人赢”,用于指示当前游戏胜利。用户界面2340和图23A的(2)所示的用户界面2320类似,区别在于,用户界面2340所示的游戏窗口2321中还显示有提示信息2341,提示信息2341包括字符“对方赢”,用于指示当前游戏失败。
在一些示例中,在图23B之后,电子设备100可以响应于针对图23B的(1)所示的用户界面2330中的切换选项2314的触摸操作(例如点击操作),向服务器请求获取新一轮游戏的游戏内容。服务器接收到该请求后,可以向电子设备100和电子设备200发送游戏内容,例如游戏窗口中的题目信息。在另一些示例中,电子设备100也可以在显示图23B的(1)所示的用户界面2330中的提示信息2331后的预设时长(例如10秒),向服务器请求获取新一轮游戏的游戏内容。不限于上述示例的情况,在另一些示例中,也可以是电子设备200向服务器请求获取新一轮游戏的游戏内容,本申请对此不作限定。
不限于上述示例的情况(审核设备为服务器),在另一些示例中,审核设备也可以是电子设备100、电子设备200或其他网络设备。在一种情况下,审核设备是电子设备100。电子设备100可以自行判断图23B的(1)所示的用户界面2330中的输入框2312C中的内容(即字符“38”)是否为用户界面2330中的题目信息2312B对应的答案,当判断结果为是时,可以显示表征当前游戏胜利的提示信息,并且指示电子设备200显示表征当前游戏失败的提示信息。在另一种情况下,审核设备是电子设备200。电子设备100可以向电子设备200发送图23B的(1)所示的用户界面2330中的输入框2312C中的内容(即字符“38”),由电子设备200判断该内容是否为用户界面2330中的题目信息2312B对应的答案,当判断结果为是时,电子设备200可以显示表征当前游戏失败的提示信息,并指示电子设备100显示表征当前游戏胜利的提示信息。
以上示例中,提供“一起玩”的游戏内容的设备为服务器,可以理解为是,服务器为主设备/分享设备,电子设备100和电子设备200为从设备/被分享设备。不限于此,在另一些示例中,提供“一起玩”的游戏内容的设备也可以是电子设备100、电子设备200或其他网络设备。接下来以提供“一起玩”的游戏内容的设备是电子设备100为例说明,电子设备100向电子设备200实时分享游戏内容可以但不限于包括以下三种分享方式:
方式一:不传输音频流/视频流等被分享设备可直接输出的多媒体数据流,而是仅传输游戏数据,游戏数据例如为图23A和图23B所示的题目信息2321A,不限于此,还可以包括得分等游戏状态的数据,本申请对此不作限定。
方式二:传输频流/视频流等被分享设备可直接输出的多媒体数据流,但不携带遮挡的画布。例如,电子设备100开始实时分享之后,可以在图23A和图23B所示的题目信息2312B上显示新的图层(可称为画布),画布用于遮挡题目信息2312B,让用户无法看到题目信息2312B。电子设备100在预设的传输时长后取消显示画布,预设的传输时长可以为电子设备100向电子设备200发送多媒体数据流的时延和电子设备200播放多媒体数据流之前的处理时延(例如解码和渲染的时延),预设的传输时长例如是电子设备100在预设的测量时长内(例如最近一次的传输过程内)的测量值、平均值或者估算值。
方式三:传输频流/视频流等被分享设备可直接输出的多媒体数据流,也携带遮挡的画布。例如,电子设备100和电子设备200可以在预设的游戏开始时间之前,在图23A和图23B所示的题目信息2312B和题目信息2321A上显示画布,在预设的游戏开始时间取消显示画布。
可以理解地,采用方式一进行实时共享时,设备的数据传输量较小,对流量、带宽等网络环境要求较低,可以很好地适用于流量较小或网络质量较差的场景,减小设备的数据传输量和减少设备功耗。
不限于上述示例的情况,在另一些示例中,提供“一起玩”的游戏内容的设备可以有多个,例如电子设备100可以为电子设备200提供游戏数据,电子设备200可以为电子设备100提供游戏数据,本申请对此不作限定。
在一些示例中,从设备/被分享设备可以浏览、操作游戏,但可以不运行游戏,而是运行“一起玩”的播放窗口。不限于此,在另一些示例中,从设备/被分享设备也可以根据接收到的游戏内容运行游戏,例如接收到一个完整的游戏应用,本申请对此不作限定。
不限于上述示例的游戏内容,在另一些示例中,也可以是“一起玩”其他游戏,例如图23C所示,电子设备100可以显示图23C的(1)所示的用户界面2350,电子设备200可以显示图23C的(2)所示的用户界面2360。用户界面2350中的游戏窗口2351可以包括用于显示电子设备100的游戏内容的窗口2351A、用于显示游戏对方(即电子设备200)的游戏内容的窗口2351B、游戏得分2351C、电子设备100的道具信息2351D。类似地,用户界面2360中的游戏窗口2361可以包括用于显示电子设备200的游戏内容的窗口2361A、用于显示游戏对方(即电子设备100)的游戏内容的窗口2361B、游戏得分2361C、电子设备200的道具信息2361D。可以理解地,电子设备100或电子设备200可以将本设备上更新后的游戏内容发送至通话对方,以用于通话对方更新显示的用户界面。例如,电子设备200可以将用户界面2360中的窗口2361A的内容发送给电子设备100,以用于电子设备100在用户界面2350中更新窗口2351B的显示内容,其中,电子设备200可以直接向电子设备100发送游戏内容,也可以先向服务器发送游戏内容再由服务器转发给电子设备200(可称为是间接发送)。类似地,电子设备100可以直接或间接地将用户界面2350中的窗口2351A的内容发送给电子设备200,以用于电子设备200在用户界面2360中更新窗口2361B的显示内容。不限于此,例如,当电子设备100的游戏分数发生变化时,可以直接或间接地向电子设备200发送最新的游戏分数,以用于电子设备200在用户界面2360中更新游戏得分2361C的显示内容。类似地,当电子设备200的游戏分数发生变化时,可以直接或间接地向电子设备100发送最新的游戏分数,以用于电子设备100在用户界面2350中更新游戏得分2351C的显示内容。
不限于上述实施方式所示的实时共享场景(“一起看”和/或“一起听”),在另一种实施方式中,实时共享场景还可以包括“一起编辑”。接下来以进行运营商通话/OTT通话等NewTalk的电子设备100和电子设备200为例说明“一起编辑”的实时共享场景。
在一些示例中,电子设备100(用户A)可以作为分享设备向通话对方:电子设备200(用户B)实时分享文档(例如word格式)的内容,电子设备100和电子设备200可以同时显示该文档的具体内容。例如图24A所示,电子设备100可以显示图24A的(1)所示的用户界面2410,电子设备200可以显示图24A的(2)所示的用户界面2420。用户界面2410可以包括文档1的编辑窗口2411,编辑窗口2411可以包括文档1的具体内容和编辑功能列表2411A,编辑功能列表2411A例如包括保存文档的控件、撤销最近一次输入的控件、恢复最近一次撤销的输入的控件、退出编辑的控件等。用户界面2420和用户界面2410类似,也包括文档1的编辑窗口2421。如图24A的(1)所示,电子设备100可以响应于针对编辑窗口2411中的文本2411B(“文本1”)的触摸操作,在文本2411B右侧显示光标2411C以及在文本2411B所在的区域显示编辑标识2411D,光标2411C和编辑标识2411D用于指示用户A当前使用电子设备100编辑文本2411B。同时,如图24A的(2)所示,电子设备200可以在编辑窗口2421中的文本2411B所在的区域显示编辑标识2421A和提示信息2421B(包括字符“用户A同步编辑中”),用于指示通话对方(用户A)当前正在编辑文本2411B。类似地,如图24A的(2)所示,用户B使用电子设备200编辑编辑窗口2421中的文本2421C(“文本3”)时,编辑窗口2421中的文本2421C右侧可以显示光标2421D,文本2421C所在的区域可以显示编辑标识2421E。同时,如图24A的(1)所示,编辑窗口2411中的文本2421C所在的区域可以显示编辑标识2411E和提示信息2411F(包括字符“用户B同步编辑中”)。
可以理解地,电子设备100或电子设备200可以将本设备上更新后的文档内容发送至通话对方,以用于通话对方更新显示的文档内容,例如,用户A在图24A的(1)所示的用户界面2410中将文本2411B从“文本1”更改为“文本1包括”,则图24A的(2)所示的用户界面2420中的文本2411B也会更新为“文本1包括”。
不限于上述示例的情况,在另一些示例中,文档也可以是表格(excel)格式的。例如图24B所示,电子设备100可以显示用户界面2440,用户界面2440可以包括表格1的编辑窗口2441,编辑窗口2441可以包括表格1的具体内容和编辑功能列表。编辑窗口2441中的内容2441A右侧显示有光标2441B,并且内容2441A所在的区域显示有编辑标识2441C,用于指示用户A当前使用电子设备100编辑内容2441A。编辑窗口2441中的内容2441D所在的区域显示有编辑标识2441E和提示信息2441F(包括字符“用户B同步编辑中”),用于指示通话对方(用户B)当前正在编辑内容2441D。电子设备200显示的界面和用户界面2440类似,具体说明和图24B的说明类似,不再赘述。
不限于上述示例的情况,在另一些示例中,文档也可以是PPT格式的。例如图24C所示,电子设备100可以显示用户界面2430,用户界面2430可以包括PPT1的编辑窗口2431,编辑窗口2431可以包括幻灯片内容的显示窗口2432和PPT1包括的幻灯片内容的列表2433,列表2433中的选项2433A为选中状态,可以表征显示窗口2432用于显示选项2433A指示的幻灯片内容。显示窗口2432中的内容2432A右侧显示有光标2432B,并且内容2432A所在的区域显示有编辑标识2432C,用于指示用户A当前使用电子设备100编辑内容2432A。显示窗口2432中的内容2432D所在的区域显示有编辑标识2432E和提示信息2432F(包括字符“用户B同步编辑中”),用于指示通话对方(用户B)当前正在编辑内容2432D。电子设备200显示的界面和用户界面2430类似,具体说明和图24C的说明类似,不再赘述。
以上示例中,电子设备100用于提供“一起编辑”的文档,可以理解为是,电子设备100为主设备/分享设备,电子设备200为从设备/被分享设备。在一些示例中,从设备/被分享设备可以浏览、编辑文档,但可以不运行文档,而是运行“一起编辑”的播放窗口。不限于此,在另一些示例中,从设备/被分享设备也可以根据接收到的文档内容运行文档,例如接收到一个完整的文档,本申请对此不作限定。
不限于上述示例的情况,在另一些示例中,电子设备100也可以向电子设备200实时分享画图、白板、注释等,例如,用户A可以在电子设备100显示的画图的窗口/白板上输入内容1,电子设备200显示的画画的窗口/白板上可以显示用户A输入的内容1,不限于此,也可以删除或修改内容,本申请对编辑的具体方式不作限定。例如,用户A可以在电子设备100显示的视频流上添加注释,电子设备100可以将该视频流和注释内容一起作为分享数据发送给电子设备200显示,方便分享用户和被分享用户之间的沟通。本申请对共享的内容不作限定。
不限于上述示例的情况(将更新后的游戏、文档、图画等内容发送给实时共享的其他设备,以用于其他设备更新输出的内容),在另一些示例中,还可以将用户操作事件(例如触摸操作时间)和相关的信息(例如触摸操作的发生时间)发送给实时共享的其他设备,以使其他设备将该用户操作事件作为本设备的输入事件,其他设备可以响应该用户操作事件,可以理解为是“远程控制”的实时共享场景。
以上示例中,不仅可以实现一起看、一起听的实时共享,还可以实现一起玩(游戏)、一起编辑(文档)、远程控制的实时共享,大大拓宽了使用场景,满足用户的多样化需求,用户体验感更好。
不限于上述示例的电子设备,在另一些示例中,分享设备和被分享设备也可以为配置有可折叠的显示屏(可以称为折叠屏)的电子设备(可简称为可折叠电子设备),例如,图20D所示的用户界面2040中的图层2041B和图层2041C可以分别在可折叠电子设备的两个显示屏上显示,例如,图21E所示的用户界面2150中的播放窗口2151和播放窗口2152可以分别在可折叠电子设备的两个显示屏上显示。
基于以上实施例介绍本申请涉及的共享方法。该方法可以应用于图1A所示的共享系统10。该方法可以应用于图1B所示的共享系统10。该方法可以应用于图1C所示的共享系统10。该方法可以应用于图2E所示的共享系统10。
请参见图25,图25是本申请实施例提供的一种共享方法的流程示意图。
分享设备可以但不限于执行如下步骤:
S11:分享设备显示分享入口。
在一种实施方式中,分享设备可以响应于针对分享入口的用户操作,进行实时分享过程,具体可参见S12-S17的说明,该用户操作可以理解为是用于触发实时分享功能/实时分享过程的用户操作。
接下来示出一些分享入口以及用于触发实时分享功能的用户操作的示例。
在一些示例中,分享入口为图3的(A)所示的通话界面310或者图4A所示的用户界面410中的悬浮窗312包括的分享选项312D,用于触发实时分享功能的用户操作例如为针对分享选项312D的触摸操作(例如点击操作)。
在一些示例中,分享入口为图6A所示的短视频应用的用户界面610,用于触发实时分享功能的用户操作例如为针对用户界面610的触摸操作,该触摸操作例如为单指滑动、多指滑动或指关节滑动(例如图6A所示的指关节按照“W”的特定轨迹滑动)等滑动操作。
在一些示例中,分享入口为图7A所示的多任务列表/多任务窗口的用户界面710中的分享控件712B,用于触发实时分享功能的用户操作例如为针对分享控件712B的触摸操作(例如点击操作)。
在一些示例中,分享入口为图8A所示的用户界面810中的即时分享的控件814B或者控件814D,用于触发实时分享功能的用户操作例如为针对控件814B或者控件814D的触摸操作(例如点击操作)。
S12:分享设备选择目标分享内容。
在一种实施方式中,分享设备可以按照预设规则确定目标分享内容,可选地,分享设备可以根据分享入口确定目标分享内容为:和分享入口相关的应用程序的多媒体数据流。
在一些示例中,分享设备接收到针对图4A所示的用户界面410中的悬浮窗312包括的分享选项312D的触摸操作时,由于用户界面410是短视频应用的用户界面,因此,分享设备可以确定目标分享内容为短视频应用的多媒体数据流。
在一些示例中,分享设备接收到针对图6A所示的用户界面610的触摸操作时,由于用户界面610是短视频应用的用户界面,因此,分享设备可以确定目标分享内容为短视频应用的多媒体数据流。
在一些示例中,分享设备接收到针对图7A所示的用户界面710中的分享控件712B时,由于分享控件712B是用户界面710中和短视频应用的窗口712相关的控件,因此,分享设备可以确定目标分享内容为短视频应用的多媒体数据流。
在另一种实施方式中,分享设备可以响应于用户操作确定目标分享内容,可选地,分享设备接收用于触发实时分享功能的用户操作后,可以显示分享内容的选择界面,分享设备可以响应于针对该选择界面中的任意一个分享内容的用户操作,确定该分享内容为目标分享内容。
在一些示例中,图6B所示的用户界面620为分享内容的选择界面,用户界面620中的列表621示出了多个可选择的分享内容的选项,这多个分享内容可以分别为前台应用(如短视频应用)的多媒体数据流、电子设备100(分享设备)的屏幕的显示内容、后台应用(如视频应用)的多媒体数据流。
在一些示例中,图12C所示的用户界面1230为分享内容的选择界面,用户界面1230中的列表1231示出了多个可选择的分享内容的选项,这多个分享内容可以分别为前台应用(如短视频应用)的多媒体数据流、后台应用(如视频应用)的多媒体数据流、电子设备100(分享设备)上未运行的应用(如音乐应用)的多媒体数据流。
S13:分享设备选择目标分享对象(即被分享设备)。
在一种实施方式中,分享设备选择目标分享对象之前,可以先发现可选择/可实时分享的设备/对象,再从发现的设备/对象中选择出目标分享对象。其中,分享设备例如但不限于通过蜂窝通信技术、近场通信技术、卫星通信技术、D2D等通信技术发现可选择/可实时分享的设备/对象。
在一种实施方式中,分享设备可以按照预设规则确定目标分享对象,可选地,分享设备可以根据分享入口确定目标分享对象为:和分享入口相关的设备。
在一些示例中,电子设备100(分享设备)接收到针对图4A所示的用户界面410中的悬浮窗312包括的分享选项312D的触摸操作时,由于悬浮窗312是和NewTalk相关的控件(具体可参见图3的(A)的说明),同时电子设备100当前和电子设备200进行NewTalk,因此,电子设备100可以确定目标分享对象为通话对方:电子设备200。
在另一种实施方式中,分享设备可以响应于用户操作确定目标分享对象,可选地,分享设备接收用于触发实时分享功能的用户操作后,可以显示分享对象的选择界面,该选择界面可以包括发现的可选择/可实时分享的设备/对象。分享设备可以响应于针对该选择界面中的任意一个分享对象的用户操作,确定该分享对象为目标分享对象。
在一些示例中,图6B所示的用户界面620为分享对象的选择界面,用户界面620中的列表622示出了多个可选择的分享对象的选项,这多个分享对象可以包括一个通话对方和至少一个附近设备。
在一些示例中,图11A所示的用户界面1110为分享对象的选择界面,用户界面1110中的列表1111示出了多个可选择的分享对象的选项,这多个分享对象可以包括多个通话对方和至少一个附近设备。
在一些示例中,图11B所示的用户界面1120为分享内容的选择界面,用户界面1120中的列表1121示出了多个可选择的分享对象的选项,这多个分享对象可以包括至少一个最近联系人和至少一个附近设备。
在一些示例中,图11C所示的用户界面1130为分享内容的选择界面,用户界面1130中的列表1131示出了多个可选择的分享对象的选项,这多个分享对象可以包括联系人和至少一个附近设备,联系人的具体示例可参见图11D。
其中,S12和S13的顺序不作限定,例如可以是同时执行的。
在一种实施方式中,分享设备接收用于触发实时分享功能的用户操作后,可以先显示实时分享方式的选择界面。分享设备可以响应于针对该选择界面中的任意一个实时分享方式的用户操作,显示分享内容和/或分享对象的选择界面(其中显示的分享内容和/或分享对象与该实时分享方式相关)。在一些示例中,图12A所示的用户界面1210为实时分享方式的选择界面。分享设备可以响应于针对用户界面1210中的一起看的选项1211A的用户操作,显示图12B所示的用户界面1220,用户界面1220中的列表1221示出了多个可被观看的分享内容的选项,用户界面1220中的列表1222示出了多个可显示图像的设备的选项。分享设备可以响应于针对用户界面1210中的一起听的选项1211B的用户操作,显示图12C所示的用户界面1230,用户界面1230中的列表1231示出了多个可被收听的分享内容的选项,用户界面1230中的列表1232示出了多个可播放音频的设备的选项。
在另一种实施方式中,分享设备可以根据接收到的用于触发实时分享功能的用户操作确定实时分享方式,然后显示分享内容和/或分享对象的选择界面(其中显示的分享内容和/或分享对象与该实时分享方式相关)。在一些示例中,用于触发实时分享功能的用户操作为针对图6A所示的用户界面610的第一滑动操作(例如图6A所示的指关节按照“W”的特定轨迹滑动)时,分享内容的选择界面为图12B所示的用户界面1220。用于触发实时分享功能的用户操作为针对用户界面610的第二滑动操作(例如图12D所示的指关节按照“L”的特定轨迹滑动)时,分享内容的选择界面为图12C所示的用户界面1230。
S14:分享设备选择目标通信链路。
在一些示例中,目标通信链路可以但不限于包括图2E所示的链路1-链路6、V2X链路中的一个或多个链路。在一种实施方式中,分享设备可以按照预设规则确定目标通信链路。
在一些示例中,分享设备可以根据目标分享对象确定目标通信链路。例如,电子设备100(分享设备)确定的目标分享对象为通话对方:电子设备200时,目标通信链路可以是和电子设备100和电子设备200之间已建立的通话链路相关的链路,例如NewTalk链路或辅助链路。
在另一些示例中,分享设备可以根据分享入口确定目标通信链路为:和分享入口相关的设备。例如,电子设备100(分享设备)接收到针对图8A所示的用户界面810中的即时分享的控件814D的触摸操作时,目标通信链路可以为和即时分享功能相关的链路,例如Wi-Fi链路或BT链路。
在另一种实施方式中,分享设备可以响应于用户操作确定目标通信链路,在一些示例中,分享设备接收用于触发实时分享功能的用户操作后,可以显示图13所示的用户界面1310,用户界面1310可以包括分享给联系人的选项1311A、分享给Wi-Fi设备的选项1311B和分享给蓝牙设备的选项1311C。选项1311A对应的目标通信链路例如为NewTalk链路或辅助链路,选项1311B对应的目标通信链路例如为Wi-Fi链路,选项1311C对应的目标通信链路例如为蓝牙链路。
其中,S14和S11-S13中任一项的顺序不作限定,例如,S13和S14可以是同时执行的。
S15:分享设备和被分享设备建立目标通信链路。
其中,S15和S11-S13中任一项的顺序不作限定,例如,S15在S11之前已经执行。
在一些示例中,目标通信链路为远场形式的Wi-Fi链路,例如,处于不同局域网的分享设备和被分享设备可以建立远场形式的Wi-Fi链路。在另一些示例中,目标通信链路为近场形式的Wi-Fi链路,例如,连接了同一个Wi-Fi信号源的分享设备和被分享设备(此时处于同一个局域网)可以建立近场形式的Wi-Fi链路。
S16:分享设备抓取分享数据。
在一种实施方式中,分享设备可以抓取和目标分享内容相关的分享数据。在一些示例中,目标分享内容为应用1的多媒体数据流时,分享设备可以抓取应用1的图层等内容,以生成应用1的图像和/或音频等多媒体数据流(分享数据)。在一些示例中,目标分享内容为分享设备的屏幕的显示内容和/或相关的音频数据时,分享设备可以抓取分享设备显示的图层等内容,以生成系统的图像和/或音频等多媒体数据流(分享数据)。
不限于上述示例的情况,在另一些示例中,目标分享内容也可以不是分享设备在前台或后台输出的数据,而是分享设备未输出的数据,例如,分享数据可以通过3G/4G/5G/6G广播信道接收基站发送的频道的广播数据,不输出该广播数据,但将该广播数据作为分享数据以用于进行实时分享。
在另一些示例中,分享设备也可以不是抓取本设备的应用级和/或系统级的多媒体数据作为分享数据,而是生成和目标分享内容相关的分享数据发送给被分享设备。例如,假设目标分享内容的类型为游戏,则分享设备可以生成游戏类型的分享数据发送给被分享设备。
在另一些示例中,分享设备也可以抓取接收到的用户操作事件和相关信息(例如发生时间)。例如,分享设备可以通过系统提供的接口(例如,该接口用于提供给应用程序集成和调用)抓取用户操作事件和相关信息,该接口例如但不限于包括以下至少一项:包括发现(Discovery)接口(例如用于发现成员(Member))、链路管理(Link Manager,LinkMgr)接口、传输(Transmit)接口(例如用于发送(send)和/或接收(receive,recv))。
也就是说,本申请对分享数据的具体内容不作限定。
在一种实施方式中,分享设备抓取分享数据后,可以对分享数据进行编码、封包和分流等处理,处理后的分享数据可以用于发送给被分享设备,即用于执行S17。
S17:分享设备向被分享设备发送分享数据。
在一种实施方式中,分享设备可以通过目标通信链路向被分享设备发送分享数据。可以理解地,由于分享设备和被分享设备之间是进行实时分享,分享数据实际为数据流,因此,分享设备可以在实时分享期间持续向被分享设备发送分享数据流(例如音频流/视频流)。
不限于上述示例的情况,在另一些示例中,分享设备还可以抓取分享设备的屏幕上的任意区域相关的多媒体数据,并发送给被分享设备。可选地,分享设备可以响应于用户操作,确定待分享的区域,具体示例可参见图17A-图17I、图18A-图18D、图19A-图19G。在另一些示例中,分享设备还可以抓取分享设备的屏幕上的任意图层相关的多媒体数据,并发送给被分享设备。可选地,分享设备可以响应于用户操作,确定待分享的图层,具体示例可参见图20A-图20D。
被分享设备可以但不限于执行如下步骤:
S21:被分享设备接收分享请求。
在一种实施方式中,被分享设备可以持续监听是否接收到分享请求。
在一种实施方式中,被分享设备接收到分享请求后,可以按照预设规则接受该分享请求,例如,分享设备为正在通信、通信过或者已发现的设备时,被分享设备可以默认接受该分享请求。在另一种实施方式中,被分享设备也可以响应于用户操作,接受该分享请求,例如,电子设备200(被分享设备)接收到电子设备100(分享设备)发送的分享请求后,可以显示图5A所示的用户界面510中的提示信息511,电子设备200可以响应于针对提示信息511中的接受控件511B的触摸操作(例如点击操作),接受该分享请求。被分享设备接受分享设备发送的分享请求后,可以和分享设备建立目标通信链路。
其中,S21和上述S11-S16中任一项的顺序不作限定,例如,电子设备100(分享设备)接收到针对图6B所示的用户界面620中的选项622A的触摸操作(例如点击操作)之后,可以确定目标分享对象为选项622A指示的电子设备200(被分享设备)(即执行S13),并向电子设备200发送分享请求,电子设备200可以接收该分享请求(即执行S21)。
S22:被分享设备和分享设备建立目标通信链路。
在一种实施方式中,S22和上述S15同时执行。
其中,S22和S21的顺序不作限定。
S23:被分享设备接收分享设备发送的分享数据。
在一种实施方式中,上述S17之后,被分享设备可以执行S23。
在一种实施方式中,被分享设备接收到分享数据后,可以对分享数据进行聚合、解包和解码等处理,处理后的分享数据可以用于输出给用户,即用于执行S24。
S24:被分享设备输出分享数据。
在一些示例中,被分享设备可以通过显示屏显示分享数据中的图像和/或通过扬声器播放分享数据中的音频,具体示例可参见图5B、图14A、图14B和图14C,本申请对被分享设备输出分享数据的方式不作限定。
不限于上述示例的情况,在另一些示例中,分享设备也可以向和被分享设备连接的其他设备发送针对该被分享设备的分享请求,上述其他设备接收到该分享请求后,可以输出提示信息,用户可以通过上述其他设备接受或拒绝针对被分享设备的分享请求,具体示例可参见图14D。
不限于上述示例的情况,在另一些示例中,分享设备和被分享设备可以不直接建立通信链路,而是通过第三方设备“中转”建立通信链路,并通过第三方设备“中转”传输分享数据,具体示例可参见图14D。
在一种实施方式中,S24之后,进行实时共享的任意一个设备显示分享数据时可以接收用户操作,响应于该用户操作对分享数据进行处理,例如将某一内容设置为编辑状态、更新内容等。该设备可以将处理信息(例如编辑的位置、更新后的内容、和更新后的内容相关的信息)发送给进行实时共享的其他设备,以用于其他设备更新本设备显示的分享数据。
在一些示例中,在图23B所示的“一起玩”的实时共享场景中,分享数据为游戏内容。用户A使用电子设备100在用户界面2330中的输入框2312C输入字符“38”后,电子设备100确定输入框2312C中的内容(即字符“38”)为用户界面2330中的题目信息2312B对应的答案后,可以显示提示信息2331,并且可以向电子设备200发送指示当前游戏失败的信息(可以理解为是和更新后的内容相关的信息),电子设备200接收到该信息后可以显示用户界面2340中的提示信息2341。
在一些示例中,在图23C所示的“一起玩”的实时共享场景中,分享数据为游戏内容。电子设备100可以响应于用户操作更新用户界面2350中的窗口2351A和游戏得分2351C,并将更新后的内容发送给电子设备200,电子设备200可以根据更新后的窗口2351A显示用户界面2360中的窗口2361B,根据更新后的游戏得分2351C显示用户界面2360中的游戏得分2361C。
在一些示例中,在图24A所示的“一起编辑”的实时共享场景中,分享数据为word格式的文档1。用户A使用电子设备100编辑用户界面2410中的文本2411B(“文本1”)时,电子设备100可以向电子设备200发送当前正在编辑的位置:文本2411B(由于当前未修改文本2411B包括的字符,因此可以不发送更新后的内容),因此,电子设备200可以在用户界面2420中的文本2411B所在的区域显示编辑标识2421A和提示信息2421B。不限于此,分享数据也可以为其他格式的文档,具体示例可参见图24B和图24C。
不限于上述示例的情况,在另一些示例中,也可以不是由分享设备提供分享数据,而是由服务器等网络设备提供分享数据,此时分享设备可以理解为是发起实时共享的设备,但不是提供分享数据的设备。例如,分享设备可以向网络设备发送共享请求,网络设备基于共享请求向被分享设备发送分享数据,其中,该网络设备例如为分享数据对应的应用的应用服务器。在一些示例中,网络设备还可以向分享设备发送分享数据,网络设备向分享设备发送的分享数据和向被分享设备发送的分享数据可以相同,也可以不同,例如,图23A-图23B所示的“一起玩”的实时共享场景下,服务器可以分别向电子设备100和电子设备200发送不同的题目信息,电子设备100显示的用户界面2310所示的游戏窗口2312和电子设备200显示的用户界面2320所示的游戏窗口2321不同(其中的题目信息不同)。服务器还可以作为审核设备验证电子设备100或电子设备200发送的答案是否正确。本身请对提供分享数据的设备不作限定。
在一种实施方式中,分享设备可以管理被分享设备,例如取消向某一设备实时分享(也可称为是删除该设备),具体示例可参见图10A-图10B。
在一种实施方式中,分享设备可以改变分享内容,具体示例可参见图10A-图10B。
在一种实施方式中,分享设备可以设置被分享设备基于分享内容的相关权限,例如但不限于保存的权限和转发的权限,具体示例可参见图15A-图15D、图16A-图16E。
在一种实施方式中,分享设备向被分享设备实时分享第一内容时,被分享设备也可以向分享设备实时分享第二内容,也就是说可以实现双向分享,被分享设备向分享设备实时分享的说明和上述分享设备向被分享设备实时分享的说明类似,不再赘述,具体示例可参见图21A-图21E。
在一种实施方式中,电子设备可以默认开启以上实施方式中的实时分享功能。在另一种实施方式中,电子设备可以响应于用户操作,开启以上实施方式中的实时分享功能,具体示例可参见图22A-图22E。
图25以分享设备和一个被分享设备进行实时共享为例进行示意,在另一些示例中,分享设备可以和多个被分享设备进行实时共享,分享设备和这多个被分享设备中的任意一个被分享设备进行实时共享的说明可参见图25的说明。
本申请提供的共享方法的应用示例可参见图3、图4A-图4C、图5A-图5D、图6A-图6D、图7A-图7C、图8A-图8C、图9A-图9C、图10A-图10B、图11A-图11D、图12A-图12D、图13、图14A-图14D、图15A-图15D、图16A-图16E、图17A-图17I、图18A-图18D、图19A-图19G、图20A-图20D、图21A-图21E、图22A-图22E、图23A-图23C、图24A-图24C所示的实施方式。
本申请可以通过一次针对分享入口的用户操作,让分享设备和一个或多个通话对方、附近设备等被分享设备,实现一起看、一起听、一起玩和一起编辑等实时共享、协同的功能,提供了更加简洁和方便的用户体验操作序列,解决了运营商通话和近场通信的场景下无法实时共享的问题,无需安装聊天应用或会议应用、待共享的应用,也无需适配待共享的应用,大大拓宽了应用场景,让用户可以做到快捷地分享任意应用、任意区域、任意图层的多媒体数据流,有效满足用户的需求,提升用户体验。并且,实时分享可以减少二次传播的可能性,提升对用户的隐私安全的保护。
在一种实施方式中,分享设备可以将摄像头采集的第一图像/视频和实时分享的第二图像/视频(可以是应用级和/或系统级的图像/视频)发送给被分享设备一起显示/播放,让被分享用户可以同时观看实时分享的内容和对方所处的实际场景,满足用户的个性化需求。
在一种实施方式中,分享设备可以将麦克风采集的第一音频和实时分享的第二音频(可以是应用级/系统级/背景的音频)发送给被分享设备一起播放,即实现混音播放,让被分享用户可以同时收听实时分享的音频和对方的声音,满足用户的个性化需求。第一音频和第二音频的传输方式可以但不限于包括以下三种:
方式一:如图26A所示,在分享设备侧,分享设备通过麦克风采集第一音频后,可以对采集的第一音频进行3A处理并得到处理后的第一音频,其中,3A处理可以包括回波抵消(acoustic echo cancellation,AEC)、背景噪声抑制(adaptive noise suppression,ANS)和自动增益控制(automatic gain control,AGC)。分享设备还可以获取分享的第二音频(例如抓取生成第二音频)。本申请对分享设备获取处理后的第一音频和获取第二音频的顺序不作限定。分享设备可以将处理后的第一音频和获取的第二音频混合,并对混合后的音频进行统一编码(可简称为混合编码),以得到第三音频。分享设备可以将第三音频发送至被分享设备。在被分享设备侧,被分享设备可以不分离第三音频,直接对第三音频进行解码和播放。
方式二:如图26B所示,在分享设备侧的处理方式和方式一一致,区别在于被分享设备侧,被分享设备可以对第三音频进行分离和解码以得到第一音频和第二音频,被分享设备可以对第一音频进行3A处理。被分享设备可以同时播放3A处理后的第一音频和第二音频。
方式三:如图26C所示,在分享设备侧的处理方式和方式一类似,区别在于,分享设备不会将处理后的第一音频和获取的第二音频进行混合编码,而是分别编码,并且,分别编码后的第一音频和第二音频可以通过不同的链路传输至被分享设备。在被分享设备侧,被分享设备可以分别对接收到的第一音频和第二音频进行解码,被分享设备可以对解码后的第一音频进行3A处理,被分享设备可以同时播放3A处理后的第一音频和解码后的第二音频。
不限于上述方式三示例的情况,在另一些示例中,分别编码后的第一音频和第二音频也可以通过同一个链路传输至被分享设备。
在一种实施方式中,被分享设备可以对接收到的第一音频和第二音频(例如是对第一音频和第二音频进行混合编码得到的第三音频)进行统一降噪,在另一种实施方式中,被分享设备也可以仅对接收到的第一音频进行降噪,不对第二音频进行降噪,本申请对降噪的具体方式不作限定。
接下来示例性说明通过NewTalk(例如运营商通话或OTT通话等通话)进行实时共享的实现方式。
请参见图27,图27示例性示出又一种共享系统10的架构示意图。在一些示例中,图27所示的共享系统10可以应用于通过NewTalk进行实时共享的场景。以下示例以实时共享音频为例进行说明。
图27所示的部分模块的功能和可能实现可参见前述实施例中的电子设备的软件架构的描述,例如图2E所示的共享系统10的说明。
如图27所示,共享系统10中的电子设备100和电子设备200之间可以通过NewTalk进行一起看、一起听、一起玩和一起编辑等实时共享。不限于上述示例的单播场景,在另一些示例中,还可以有更多设备进行实时共享,即可以应用于组播或广播场景,本申请对此不作限定。
以电子设备100为例说明电子设备的软件系统架构,电子设备200的说明类似。
在一种实施方式中,如图27所示,电子设备100的应用系统可以分为三层,从上至下分别为应用程序框架层、硬件抽象层和内核层。应用程序框架层包括分享模块、NewTalk功能模块、通信管理模块、音频框架模块和多路径传输管理模块。硬件抽象层包括无线接口层(radio interface layer,RIL)、音频抽象模块、通信地图和辅助链路模块。内核层包括移动接口模块和音频核心模块。其中:
通信管理模块用于管理NewTalk的接听、挂断等功能。不限于此,在一些示例中,通信管理模块还可以用于管理短信息、网络通话的相关功能,本申请对此不作限定。在一些示例中,NewTalk功能模块可以通过通信管理模块和RIL进行交互,以实现电子设备100和电子设备200之间的NewTalk。RIL是用于和无线通信系统进行连接/交互的接口层。通信管理模块可以和RIL进行交互,例如,通信管理模块可以通过内核层中的NewTalk服务模块和RIL进行交互。在一些示例中,RIL可以通过移动接口模块和电子设备100的无线通信系统中的蜂窝通信系统进行交互。移动接口模块例如包括移动调制解调器(mobile station modem,MSM)接口(interface),以及用于管理注意命令(attention command,AT)的模块,其中,注意命令(AT)指令集可以是终端设备(terminal equipment,TE)或者数据终端设备(dataterminal equipment,DTE)向终端适配器(terminal adapter,TA)或数据电路终端设备(data circuit terminal equipment,DCE)发送的,TE或DTE可以通过发送注意命令(AT)来控制移动台(mobile station,MS)的功能,从而和网络业务进行交互。
音频框架模块、音频抽象模块和音频核心模块分别在应用程序框架层、硬件抽象层和内核层负责管理音频功能。在一些示例中,音频框架模块可以通过音频抽象模块和音频核心模块进行交互,音频核心模块可以和无线通信系统中的数字信号处理模块进行交互,以实现音频的处理过程。其中,音频框架模块也可称为是音频框架(Audio Framework),音频抽象模块也可称为是音频硬件层(Audio Hardware Layer,Audio HAL)。音频核心模块可以是高级声音架构(advanced Linux sound architecture,ALSA)和/或片上ALSA系统(ALSA system on chip,ASoC)的核心(CORE)层,其中,ALSA可以提供音频和音乐设备数字化接口(musical instrument digital interface,MIDI)的支持。ASoC可以是建立在ALSA之上,为了更好支持嵌入式系统和应用于移动设备的音频编解码(codec)的软件系统,ASoC可以依赖于标准ALSA驱动的框架。ALSACORE可以向上提供逻辑设备系统调用,向下驱动硬件设备,逻辑设备例如但不限于包括PCM设备、控制(control,CTL)设备、MIDI设备和定时器(Timer)设备等,硬件设备例如但不限于包括机械(Machine)设备、I2S设备、直接存储器访问(direct memory access,DMA)设备和编解码(codec)设备等。无线通信系统中的数字信号处理模块例如为音频数字信号处理系统(audio digital signal processing,ADSP)(例如用于进行音频解码),数字信号处理模块例如包括PCM模块。
多路径传输管理模块可以负责通过多条不同的路径建立连接和传输数据(例如称为是四网+),以及用于负责基于多条路径高效地传输数据(例如称为是华为公有云网络平面(Huawei Open Network,HON),其中,HON可以融入云服务未来极简网络,整合端、管、云协同优势,构建最优网络通信体验)。
通信地图可以包括通用的通信地图,可选地以及个性化的通信地图。通信地图可以用于进行预测建链,例如但不限于包括预测是否建立通信链路、建立通信链路的时间、建立的通信链路的类型、建立通信链路的位置等。
在一些示例中,电子设备100作为分享设备向通话对方(即电子设备200)实时分享系统级/应用级/背景的音频流时,NewTalk功能模块可以通过音频框架模块、音频抽象模块、音频核心模块和数字信号处理模块处理实时分享的音频流。在一些示例中,处理后的实时分享的音频流可以通过数字信号处理模块发送至蜂窝通信模块,蜂窝通信模块可以同时传输NewTalk的通话数据流和实时分享的音频流至电子设备200。不限于此,在另一些示例中,实时分享的音频流也可以通过无线通信模块中的蓝牙通信模块、卫星通信模块或Wi-Fi通信模块等其他通信模块传输至电子设备200。
在一些示例中,电子设备100作为分享设备向通话对方(即电子设备200)实时分享系统级/应用级/背景的音频流时,NewTalk功能模块可以和辅助链路模块进行交互,以和电子设备200建立辅助链路,辅助链路可以用于传输实时分享的音频流。
网络设备300可以包括认证模块。认证模块用于提供身份信息,该身份信息可以为用户级别的身份信息(例如访问令牌(AT))或者设备级别的身份信息(例如华为证书)。在一些示例中,电子设备100的NewTalk功能模块可以通过网络设备300的认证模块获取电子设备100的身份信息,在一些示例中,网络设备300的认证模块可以为登录有华为账号的电子设备100提供对应的身份信息。不限于此,在一些示例中,认证模块还用于唤醒处于空闲态或休眠态的电子设备。
在一些示例中,电子设备100的NewTalk功能模块可以通过网络设备300的寻址模块实现身份信息(例如上述访问令牌(AT)或华为证书)的认证,认证通过后网络设备300可以生成电子设备100的P2P-TOKEN,P2P-TOKEN可以用于NAT穿越或NAT中继。不限于此,在一些示例中,网络设备300的寻址模块还可以用于通话双方交换各自的SessionID。在一些示例中,网络设备300的寻址模块还可以用于和推送(PUSH)服务器对接,通过PUSH服务器唤醒处于空闲态或休眠态的电子设备。
在一些示例中,唤醒后的电子设备可以和网络设备300连接,并通过网络设备300的认证模块和寻址模块实现身份信息的认证和寻址。
在一种实施方式中,电子设备100和电子设备200进行NewTalk时,可以通过图27所示的NewTalk链路传输NewTalk的数据流(也可称为通话数据流),NewTalk链路可以称为是主链路。NewTalk链路的说明可参见图2E中的链路1的说明。
在一种实施方式中,电子设备100和电子设备200通过NewTalk进行实时共享时,用于传输实时分享的多媒体数据流的通信链路可以是NewTalk链路(主链路),不限于此,在另一种实施方式中,也可以是NewTalk的数据通路(Data channel),在另一种实施方式中,也可以是辅助链路,在一些示例中,辅助链路可以是NAT穿越链路,或者服务器中转链路(例如NAT中继链路),辅助链路的说明可参见图2E中的链路6的说明。
接下来示例性说明通过NewTalk进行实时共享时的发现、建链和传输等过程。
发现:分享设备/分享发起方发现一个或多个候选的被分享设备/分享接收方的行为。
在一种实施方式中,发现可以便于分享设备/分享发起方向上述一个或多个候选的被分享设备/分享接收方中的指定设备发起实时分享过程。在一些示例中,在通过NewTalk进行实时共享的场景下,由于NewTalk建立时已经明确了通话双方(对应两方通话场景)或者多方(对应多方通话场景),因此发现过程在NewTalk建立时已完成。在一些示例中,在两方通话场景下,通话中的任意一方作为分享设备/分享发起方发起实时分享时,通话的另一方即为被分享设备/分享接收方。在另一些示例中,在多方通话场景下,通话中的任意一方作为分享设备/分享发起方发起实时分享时,通话中的其他多方可以为候选的被分享设备/分享接收方。
建链:建立用于传输实时分享的多媒体数据流的通信链路。
在一种实施方式中,基于功耗、资费等多重因素的考虑,建链可以包括但不限于以下三种情况:始终建链、预测建链和按需建链,其中,始终建链是NewTalk开始时就建立有通信链路。预测建链是按照预测内容建立通信链路,例如,按照预测的在时刻A且到达区域A时建立通信链路,预测内容例如是根据通信地图得到的。按需建链是在有数据传输需求时建立通信链路。
在一种实施方式中,建立的用于传输实时分享的多媒体数据流的通信链路可以包括一条或多条通信链路,例如,可以一直维系一条低功耗的通信链路,并按需拉起一条高速稳定的通信链路。
在一种实施方式中,建链的时间可以但不限于为以下任意一种情况:
情况1,在NewTalk开始之后,实时分享之前的任意一个时间点发起建链。例如,图6A-图6C所示的实施方式中,电子设备100和电子设备200进行运营商通话/OTT通话之后,电子设备100响应针对图6B所示的用户界面620中的选项622A的触摸操作之前,电子设备100(分享设备)可以向电子设备200(被分享设备)发起建链,其中,电子设备100可以响应于上述触摸操作,向选项622A指示的电子设备200发起实时分享。
情况2,分享设备选择目标分享对象后发起建链。例如,图6A-图6C所示的实施方式中,电子设备100(分享设备)响应针对图6B所示的用户界面620中的选项622A的触摸操作,确定选项622A指示的电子设备200为目标分享对象之后,电子设备100可以向电子设备200发起建链,并基于建立的链路进行实时分享。
情况3,分享设备选择目标分享对象和选择目标分享内容后发起建链。例如,图6A-图6C所示的实施方式中,电子设备100(分享设备)响应针对图6B所示的用户界面620中的选项622A的触摸操作,确定选项622A指示的电子设备200为目标分享对象,以及确定用户界面620中的选中状态的选项621A指示的短视频应用的音频流/视频流为目标分享内容后,电子设备100可以向电子设备200发起建链,并基于建立的链路进行实时分享。
情况4,建立NewTalk链路时一起建立用于传输实时分享的多媒体数据流的通信链路。例如,用于传输实时分享的多媒体数据流的通信链路包括NewTalk链路。
情况5,建立NewTalk链路之前建立用于传输实时分享的多媒体数据流的通信链路。
情况6,由于通话补包、文件共享、链接共享等通信场景已建立有通信链路,因此可以直接使用已建立的通信链路作为用于传输实时分享的多媒体数据流的通信链路,建链的时间为上述已建立的通信链路的建立时间。
情况7,根据通信地图等信息进行预测建链,建链的时间根据预测结果确定。
在一种实施方式中,建链的方式可以但不限于为以下任意一种:
方式一,复用NewTalk链路(主链路)。在一些示例中,通话数据流和实时分享的多媒体数据流可以共用NewTalk链路(主链路)进行传输。在一些示例中,可以先通过NewTalk链路(主链路)传输通话数据流,然后再传输实时分享的多媒体数据流。在一些示例中,通话数据流和实时分享的多媒体数据流的头部字段可以不同。在一些示例中,NewTalk为基于IMS协议的通话(可称为IMS通话),因此可以在原有的实时传输协议(real-time transportprotocol,RTP)报文中扩展增加,例如通话数据流和实时分享的多媒体数据流的RTP头部不同。在一些示例中,方式一下核心网处于透传模式,不会对实时分享的多媒体数据流的报文进行过滤和转码。
方式二,使用NewTalk的Data channel。其中,Data channel是基于IMS专有承载上,相对于通话的信令QCI5、多媒体通路QCI1/QCI2以外的数据传输通道。
方式三,建立辅助链路。在一些示例中,通话数据流可以使用NewTalk链路(主链路)进行传输,实时分享的多媒体可以使用辅助链路进行传输。
在一种实施方式中,通过NewTalk链路(主链路)中传输的报文进行建链协商,以建立辅助链路。在一些示例中,分享设备可以在主链路传输的实时传输控制协议(real-timecontrol protocol,RTCP)报文中携带用于建立辅助链路的信息,以此在通话过程中向通话对方请求建立辅助链路。在一些示例中,分享设备可以在RTCP报文包括的源描述项(sourcedescription items,SDES)字段中携带用于建立辅助链路的信息,SDES字段例如用于对发送RTCP报文的源进行描述。在一些示例中,分享设备可以将用于NAT穿透的通信ID(如SessionID)、地址信息(如IP地址)等信息按照文本化编码的方式存储在SDES字段中,该SDES字段例如为终端标志(canonical name,CNAME)。在一些示例中,进行协商后,分享设备可以调用NAT的接口进行穿越或中继,以建立辅助链路。
不限于上述示例的情况,在另一些示例中,分享设备还可以通过会话初始协议(session initialization protocol,SIP)的消息进行建链协商以建立辅助链路,例如,在建立NewTalk时,分享设备可以在邀请(INVITE)消息中携带通信ID(如SessionID)等信息,以和被分享设备交换各自的通信ID(用于后续建立辅助链路)。或者,在通话过程中,分享设备可以在重邀请(reINVITE)消息或更新(UPDATE)消息中携带通信ID(如SessionID)等信息,以和被分享设备交换各自的通信ID(用于后续建立辅助链路)。本申请对此不作限定。
在另一种实施方式中,也可以不借助NewTalk链路(主链路)建立辅助链路,而是通过网络设备300进行寻址以建立辅助链路。在一些示例中,通话中的任意一方可以在网络设备300上进行参数绑定,可选地,具体为将电话号码、OTTID等标识信息和通信ID(如SessionID)绑定/设置为关联。在一些示例中,任意一个设备在网络设备300上进行参数绑定后,其他设备可以通过网络设备300,根据该设备的电话号码、OTTID等标识信息寻址到该设备的通信ID。
请参见图28,图28示例性示出一种辅助链路的建立过程的流程示意图。图28以进行NewTalk的电子设备100和电子设备200通过网络设备300进行寻址以建立辅助链路为例进行说明。该建立过程可以但不限于包括以下步骤:
1.电子设备100将电子设备100的第一标识信息和电子设备100的第一通信ID绑定,注册和/或登录到网络设备300上(可称为是绑定操作)。
在一些示例中,第一标识信息为电话号码或OTTID等通讯号码。第一通信ID为SessionID。
在一些示例中,绑定操作之前,网络设备300可以对电子设备100进行身份认证,例如验证电子设备100的访问令牌(AT)或华为证书是否符合要求。当电子设备100的身份认证通过时,网络设备300可以生成电子设备100的P2P-TOKEN,P2P-TOKEN例如携带了密钥标识(keyid),并且使用了私钥签名。
在一些示例中,电子设备100的身份认证通过后,才可以执行绑定操作。
在一些示例中,绑定操作可以包括:电子设备100向网络设备300发送电子设备100的第一标识信息,网络设备300可以返回电子设备100的第一通信ID。其中,第一标识信息可以包括电子设备100的一个或多个标识信息,例如,第一标识信息包括电话号码1和电话号码2,则电子设备100可以向网络设备300发送经过哈希处理的电话号码1和电话号码2,可以表征为:HASH(电话号码1)+HASH(电话号码2)。
在一些示例中,当电子设备100的标识信息和/或通信ID发生变化,则电子设备100可以执行刷新(Refresh)操作,刷新操作和绑定操作类似,区别在于,绑定的标识信息和通信ID为变化后的标识信息和通信ID。
在一些示例中,电子设备100执行绑定操作后,网络设备300可以存储有电子设备100的第一标识信息,以及和第一标识信息关联的第一通信ID,也可称为是建立有绑定关系。
2.电子设备200将电子设备200的第二标识信息和电子设备200的第二通信ID绑定,注册和/或登录到网络设备300上。
图28的2和图28的1类似,具体可参见图28的1的说明,不再赘述。
3.电子设备100根据电子设备200的第二标识信息向网络设备300获取电子设备200的第二通信ID(可称为是寻址操作)。
在一些示例中,电子设备100已知电子设备200的第二标识信息中的至少一个标识信息的情况下,电子设备100可以向网络设备300发送查询请求,该查询请求用于查询电子设备200的通信ID,该查询请求可以携带电子设备100已知的电子设备200的至少一个标识信息。网络设备300接收到该查询请求后,可以获取和这至少一个标识信息关联的第一通信ID返回给电子设备100。
在一些示例中,图28的3之后,电子设备100可以通过提供的会话结束接口向网络设备300主动释放,解除图28的1实现的绑定关系。在另一些示例中,图28的3之后,网络设备300可以在预设时长(例如10分钟)后自动释放,解除图28的1实现的绑定关系,可称为是超时自动清理绑定关系。
4.电子设备200根据电子设备100的第一标识信息向网络设备300获取电子设备100的第一通信ID。
图28的4和图28的3类似,具体可参见图28的3的说明,不再赘述。
5.电子设备100和电子设备200根据第一通信ID和第二通信ID建立辅助链路。
在一些示例中,电子设备100可以通过电子设备200的第二通信ID和电子设备200完成建链协商,例如但不限于为IP直连、通过NAT穿越或者通过服务器中继(例如NAT中继),从而建立辅助链路。
其中,图28的1和2的顺序不作限定,图28的3和4的顺序不作限定。
不限于图28示例的情况,在另一些示例中,在上述3之前,电子设备200也可以不执行2(即不执行绑定操作)。在这种情况下,电子设备100执行寻址操作时,网络设备300无法匹配到和电子设备200的第二标识信息关联的通信ID。在一些示例中,网络设备300可以通过对接的PUSH服务器唤醒电子设备200,例如,唤醒后的电子设备200可以和网络设备300连接,并通过网络设备300(例如其中的认证模块和寻址模块)进行身份认证和寻址(例如为寻址到电子设备100),在另一些示例中,网络设备300可以不唤醒电子设备200,因此可以向电子设备100返回寻址失败的指示信息(例如包括原因“未唤醒”),在另一些示例中,网络设备300无法成功唤醒电子设备200,因此可以向电子设备100返回寻址失败的指示信息(例如包括原因“唤醒失败”)。不限于此,在另一些示例中,在上述4之前,电子设备100也可以不执行绑定操作,具体说明和上述类似,不再赘述。
在另一种实施方式中,也可以不借助NewTalk链路(主链路)建立辅助链路,而是通过周边设备建立辅助链路,其中,该周边设备可以但不限于是通过近场通信方式和分享设备通信的设备,通过蜂窝通信方式、卫星等远场通信方式和分享设备通信的设备,分享设备已知的设备(如存储有该设备的信息)或者分享设备未知的设备(如未存储有该设备的任何信息)。在一些示例中,电子设备100是不具备寻址能力的设备,电子设备100可以通过周边设备建立和电子设备200之间的辅助链路,例如,电子设备100为智能手表(如modem下电)、平板电脑(如没有SIM卡接口)、智能音箱或耳机等设备,电子设备100可以通过和电子设备100连接的智能手机建立和电子设备200之间的辅助链路。
在一种实施方式中,上述方式三下建立的辅助链路是分享设备和被分享设备之间的辅助链路,在另一种实施方式中,上述方式三下建立的辅助链路包括分享设备和中继设备之间的辅助链路1,以及中继设备和被分享设备之间的辅助链路2。在一些示例中,电子设备100是不具备直接建立辅助链路的能力的设备,电子设备100可以通过中继设备和电子设备200进行通信,例如,电子设备100为智能手表(如modem下电)、平板电脑(如没有SIM卡接口)、智能音箱或耳机等设备,电子设备100可以通过和电子设备100连接的智能手机建立和电子设备200之间的辅助链路。
需要说明的是,处于通话态的分享设备可以使用上述方式一、方式二或方式三建链,处于空闲态的分享设备可以使用上述方式二或方式三建链。
接下来示例性介绍通信地图和如何根据通信地图进行预测建链。
在一种实施方式中,通信地图可以包括通用的通信地图,通用的通信地图可以包括多个电子设备的进行众包数据,例如但不限于包括以下至少一种数据:服务集标识(service set identifier,SSID)(也可称为是Wi-FiID)、蜂窝小区ID(CELLID)、信号强度参数(例如参考信号接收功率(reference signal receiving power,RSRP))、信号质量参数(例如参考信号接收质量(reference signal receiving quality,RSRQ))、通话QoE参数(例如丢包率、时延、断续次数等)、链路传输质量参数(例如丢包率、时延、抖动等)、时间周期、GNSS定位的经纬度信息、GNSS定位的绝对位置信息、GNSS定位的室内的相对位置信息、通话对象的信息(例如电话号码等)。
在一些示例中,根据通用的通信地图进行预测建链可以是:根据多个电子设备的进行众包数据在云端(例如服务器)进行数据分析,以得到通信链路在空间和时间的特征,得到的特征可以用于确定以下至少一项:建链的时间、建链的地点和建立的链路的类型等,建立的链路可以包括物理链路和/或逻辑链路,其中,通过不同通信方式建立的物理链路不同,通过同一种通信方式建立的多个逻辑链路可以不同,例如,通过电子设备的不同端口建立的同一种通信方式的逻辑链路可以不同,例如,通过蜂窝通信方式或Wi-Fi通信方式建立的中继链路和穿越链路可以为不同的逻辑链路。可以理解为是,电子设备可以通过云端判断在某个时间段、某个地点建立某种链路是否稳定,其中,稳定时通信质量较好,不稳定时通信质量较差,通信质量例如但不限于通过丢包率、时延、抖动、带宽等来确定。也可以理解为是,电子设备可以使用其他电子设备的通信情况来指导本设备的建链行为,例如,在时间段1内,处于地点1的其他电子设备建立的蜂窝通信链路的通信质量较差,因此本设备可以不在时间段1内、处于地点1时建立蜂窝通信链路,以此保证通话质量,无需本设备逐个时间逐个地点逐个链路学习,有效节省功耗。
在一种实施方式中,通信地图可以包括个性化的通信地图,个性化的通信地图可以是学习使用习惯、操作行为等个人信息得到的后续可能执行的用户操作。在一些示例中,个性化的通信地图可以包括上述多个电子设备的进行众包数据。在一些示例中,个性化的通信地图可以包括私人数据,例如但不限于包括以下至少一种数据:每个通话对象的亲昵程度(例如通过通话时长、通话时段、通讯录标注的备注/关系、通话时的心情愉悦程度等表征)、和每个通话对象进行实时分享的信息(例如时间、地点、频度等)、通话过程中同时观看/收听视频/音频的情况、通话过程中传输链接和文件等数据的情况、通话过程中用户的操作习惯和行为序列(例如常用按键、触摸方式、触摸位置等)、历史通话的预测建链的准确度等。
在一些示例中,电子设备或云端(例如服务器)可以根据个性化的通信地图标记高频的实时分享对象(可简称为高频对象),例如,将预设周期内(例如一周内)进行实时分享的次数最多的N个对象(N为正整数)标记为高频对象,和/或,将按照实时分享的时间从晚到早排列的前M个对象标记为高频对象。上述标记的高频对象可以用于进行预测建链。
在一些示例中,电子设备或云端(例如服务器)可以根据个性化的通信地图标记亲昵对象,例如,将通讯录中备注/关系为家人、领导、朋友、同事等类型的联系人标记为亲昵对象,和/或,将通话记录中通话较为频繁(例如通话次数较多和/或通话时间较近)的联系人标记为亲昵对象。上述标记的亲昵对象以及和亲昵对象进行实时分享的信息(例如时间、地点、频度等)可以用于进行预测建链。
在一些示例中,电子设备或云端(例如服务器)可以根据个性化的通信地图预测操作行为,例如,根据通话过程中同时观看/收听视频/音频的情况、通话过程中传输链接和文件等数据的情况、通话过程中用户的操作习惯(例如常用按键、触摸方式、触摸位置等)预测用户的操作行为。预测的操作行为可以用于进行预测建链。
在一种实施方式中,预测建链可以用于实现以下至少一个功能:
第一,最优链路的选择。例如,当可以建立多个链路时,可以选择出这多个链路中最优/较优/相对最优的至少一个链路,建立这至少一个链路,不建立这多个链路中的其他链路。
第二,确定建立链路的最优时间。例如,当前时段内可建立的链路都较差时,可以选择之后的某个最优/较优/相对最优的时间点建立链路。
第三,按照预测的用户意图来建立链路。例如,通过个性化的通信地图学习用户的操作行为,从而预测用户后续的操作行为,当预测到用户下一步操作的意图是进行实时共享时,建立链路。
在一种实施方式中,上述示例的通信地图可以是以网格的形式来划片区分,例如图29所示的规格为20米×20米的网格。在一些示例中,通用的通信地图经过数据清洗和分析后,可以得到每个网格中的各种链路的拥塞状态和建链的最佳时期等。在一些示例中,个性化的通信地图在电子设备的本地或者云端过滤掉用户的隐私信息后,可以根据模型预测用户是否有建链的需求,可选地以及需要建链的时间。不限于上述示例的情况,在另一些示例中,也可以是不规则的形状,在另一些示例中,也可以是携带有海拔等三维信息的形式,本申请对通信地图的具体形式不作限定。
图30示例性示出一种预测建链的流程示意图。如图30所示,分享设备可以在发起实时分享之前,记录操作行为和序列,例如,记录通话过程中的操作行为和序列。分享设备可以根据记录的操作行为和序列,以及通信地图进行预测建链。分享设备可以根据预测建链的结果和实际是否发起实时分享的结果判断预测建链是否正确。在一些示例中,当预测是否建链的结果为是,以及实际是否发起实时分享的结果为是时,预测正确。在另一些示例中,当预测是否建链的结果为是,以及实际是否发起实时分享的结果为否时,预测不正确。在另一些示例中,当预测是否建链的结果为否,以及实际是否发起实时分享的结果为是时,预测不正确。在另一些示例中,当预测是否建链的结果为否,以及实际是否发起实时分享的结果为否时,预测正确。在一种实施方式中,分享设备可以记录实际是否发起实时分享的操作行为和序列,以用于后续进行预测建链。在一种实施方式中,分享设备可以记录预测建链是否正确的结果,并将该结果反馈至预测建链的系统,以用于后续进行预测建链。
不限于上述示例的情况,在另一些示例中,预测建链可以由云端服务器或其他网络设备执行,减少电子设备的处理压力,节省功耗。
以上示例以分享设备发起建链为例进行说明,在另一些示例中,也可以是被分享设备发起建链,本申请对此不作限定。
传输是在分享设备和至少一个被分享设备之间传输实时分享的数据流。
在一种实施方式中,分享设备和被分享设备之间可以直接点对点的传输数据流,例如图31所示,分享设备可以直接向被分享设备1发送数据流1,分享设备可以直接向被分享设备2发送数据流2。在另一种实施方式中,分享设备和被分享设备之间可以通过中继设备(例如服务器等网络设备)传输数据流,例如图31所示,分享设备可以通过中继设备向被分享设备1发送数据流3,也就是说,数据流3可以经过中继设备中转。数据流3可以经过分享设备和中继设备之间的链路,以及中继设备和被分享设备之间的链路。分享设备可以通过中继设备向被分享设备2发送数据流4,具体说明和上述说明类似,不再赘述。
在一种实施方式中,数据流是分层传输的,例如图32A所示的音频流/视频流的传输架构,从上往下可以依次为:数据层(例如音频数据/视频数据),编码层(例如使用H.265、H.264等音频/视频编码标准,例如使用Opus等声音编码格式),传输层(例如使用RTP、实时流传输协议(real time streaming protocol,RTSP)),网络层(例如使用TCP/IP协议,或者使用用户数据报协议(user datagram protocol,)UDP),物理层(例如使用蜂窝通信/Wi-Fi/BT/D2D/卫星等物理链路的协议)。
在一种实施方式中,基于图32A所示的频流/视频流的传输架构,传输的数据包的格式例如为图32B所示,该数据包可以包括网络协议头部(例如IPHead)、传输协议头部(例如RTPHead)、编码信息头部(例如H.265Head/Opus Head)和原始数据(RAW Data)等字段。
在一种实施方式中,当存在多条用于传输实时分享的数据流的通信链路时,分享设备可以按照预设的传输规则对实时分享的数据流进行分流(例如通过图27所示的多路径传输管理模块中的四网+实现),该传输规则可以但不限于包括以下至少一种:
规则1:音频流和视频流分离传输。音频流和视频流分别编码/独立编码,音频流通过链路A传输,视频流通过链路B传输,例如,链路A为低时延和/或低抖动的较为稳定的通信链路,链路B为大带宽和/或低资费或无资费的通信链路。
规则2:音频流和视频流分离传输。应用级/系统级/背景的音频流和通话数据流进行混音编码(具体可参见图26A的分享设备侧的说明),混音编码后的音频流通过链路A传输,视频流通过链路B传输。
规则3:音频流和视频流分离传输。基础的音频流1和基础的视频流1通过链路A传输,丰富的音频流2和丰富的视频流2通过链路B传输。
规则4:音频流和基础的视频流1通过链路A传输,丰富的视频流2通过链路B传输。
其中,数据流为基础的数据流或丰富的数据流和编码(如分层编码)相关,编码程度较高的数据流可以为丰富的数据流,编码程度较低的数据流可以为基础的数据流,例如,对于同一张图像而言,该图像的缩略图为基础的数据,该图像的原图为丰富的数据。
规则5:音频流和视频流一起传输。相同时间戳的音频流和视频流一起编码,在一些示例中,可以在同一条连路上传输,在另一些示例中,也可以根据链路质量的变化动态迁移到其他链路上,以确保传输的最优效果。
规则6:音频流和/或视频流冗余补包。在一些示例中,补包可以在相同的链路上传输,例如每次携带相邻两帧的编码数据,在另一些示例中。补包可以通过其他至少一条链路上传输。在一些示例中,音频流和/或视频流可以部分冗余补包,在另一些示例中,也可以全部冗余补包。
在一种实施方式中,为了确保接收端(被分享设备)接收一组数据包的时间最短,分享设备可以在发送一组数据包时,根据多条通信链路的传输时延和抖动情况进行分流传输(例如通过图27所示的多路径传输管理模块中的HON实现),接收端(被分享设备)可以在接收到分享设备发送的这组数据包的全部后进行组包,具体示例可参见下图33。其中,不同链路之间存在差别,因此不同链路的传输时延和抖动情况可以不同,可选地,物理链路之间存在差别,例如蓝牙链路和Wi-Fi链路的传输时延和抖动情况不同,可选地,逻辑链路之间存在差别,例如,使用不同端口建立的多条Wi-Fi链路的传输时延和抖动情况不同,例如,直接建立的Wi-Fi链路和通过中继设备建立的Wi-Fi链路的传输时延和抖动情况不同。
图33示例性示出一种分流传输的示意图。
如图33所示,分享设备可以包括端口1、端口2和端口3,被分享设备可以包括端口4和端Wi-Fi口5,其中,端口1和端口4之间建立有链路1,端口2和端口4之间建立有链路2,端口2和端口5之间建立有链路3,端口3和端口5之间建立有链路4。假设这四条链路按照时延从高到低依次为:链路1、链路2、链路3和链路4,则分享设备在发送数据包1、数据包2和数据包3这一组数据包时,可以依次执行:通过链路4发送数据包1,通过链路3传输数据包2,通过链路2传输数据包2,通过链路1传输数据包1,其中,链路2传输的数据包2可以为补包。因此,被分享设备可以在相近的时刻接收到上述数据包1、数据包2和数据包3,并进行组包,避免部分数据包到达被分享设备的时刻远远晚于其他数据包到达被分享设备的时刻,减少被分享设备接收一组数据包的时间,传输效率更高。
接下来示例性说明通过Wi-Fi进行实时共享的实现方式。
请参见图34,图34示例性示出又一种共享系统10的架构示意图。在一些示例中,图34所示的共享系统10可以应用于通过Wi-Fi进行实时共享的场景。
图34所示的部分模块的功能和可能实现可参见前述实施例中的电子设备的软件架构的描述,例如图2E所示的共享系统10的说明。
如图34所示,共享系统10中的电子设备100和电子设备200之间可以通过Wi-Fi进行一起看、一起听、一起玩和一起编辑等实时共享。
以下示例中,以电子设备100为发送实时分享的数据流的分享设备,电子设备200为接收实时分享的数据流的被分享设备为例进行说明,并且,以下示例以组播场景为例进行说明。在组播场景下,电子设备100也可称为是组播发送方(source),电子设备200也可称为是组播接收方(sink),其中,电子设备200为多个组播接收方中的任意一个,不限于此,也可以应用于单播或广播场景,本申请对此不作限定。
在一种实施方式中,如图34所示,电子设备100的软件系统可以分为四层,从上至下分别为应用程序框架层、内核层、固件层和硬件层。应用程序框架层包括分享模块、发现模块和抓取模块。内核层包括传输协议栈、编码模块、组播管理协议、组播控制算法和组播密钥管理。固件层包括组播帧发送和组播帧加密。硬件层包括Wi-Fi的基带和射频。其中:
抓取模块可以用于抓取分享数据,例如抓取应用级/系统级/背景的音频和/或图像,并对抓取的音频和/或图像进行编码,以生成音频/视频的源数据。
编码模块可以用于在发送音频/视频的数据报文之前对该数据报文进行编码(例如喷泉编码),从而提高传输的可靠性,降低空口信道丢包的概率。
组播管理协议可以用于管理Wi-Fi组播组的成员,例如成员的加入和离开。
组播控制算法可以用于动态控制组播报文的聚合调度、调制编码策略(modulation and coding scheme)的信号调制等级等。
组播密钥管理可以用于管理组播密钥,例如组播密钥的动态生成和分发。
组播帧发送可以用于将音频/视频数据封装为Wi-Fi的组播数据帧(可简称为Wi-Fi组播帧),并通过空口(向电子设备200等Wi-Fi组播组的成员)发送Wi-Fi组播帧。
组播帧加密可以用于基于组播密钥对Wi-Fi组播帧进行加密,可选地,组播帧发送通过空口发送的Wi-Fi组播帧具体为加密后的Wi-Fi组播帧。
Wi-Fi的基带和射频用于发送/接收W-Fi组播帧。
在一种实施方式中,如图34所示,电子设备200的软件系统可以分为四层,从上至下分别为应用程序框架层、内核层、固件层和硬件层。应用程序框架层包括分享模块、发现模块和播放模块。内核层包括传输协议栈、解码模块、组播管理协议和组播密钥管理。固件层包括组播帧过滤和组播帧解密。硬件层包括Wi-Fi的基带和视频。具体说明和上述电子设备100的软件系统的说明类似,接下来主要说明电子设备200中和电子设备100的模块不同的模块。
播放模块可以用于对音频/视频数据进行解码,并输出解码后的音频/视频数据。
解码模块可以用于对接收到的音频/视频的数据报文进行解码(例如喷泉解码),以恢复丢失的数据报文。
组播帧过滤可以用于在空口接收到Wi-Fi组播帧后,基于电子设备200已加入的组播组的地址信息进行过滤,将不属于该组播组的Wi-Fi组播帧丢弃,保留属于该组播组的Wi-Fi组播帧。
组播帧解密可以用于在空口接收到Wi-Fi组播帧后,基于组播密钥对接收到的Wi-Fi组播帧进行解密。
接下来示例性说明通过Wi-Fi进行实时共享时的发现、连接、传输和离开等过程。
在一种实施方式中,分享设备(组播发送方)可以作为Wi-Fi组播组的源设备,通过广播消息搜索附近设备以完成设备的发现。在一种实施方式中,分享设备(组播发送方)完成设备的发现之后,可以向被分享设备(组播接收方)发送实时分享的请求,被分享设备接受该请求后可以和分享设备完成组播地址、组播密钥等信息的协商,从而完成连接。
请参见图35,图35示例性示出一种设备发现和连接的流程示意图。
如图35所示,设备的发现可以但不限于包括以下步骤:
1.电子设备100(分享设备/组播发送方)向电子设备200(被分享设备/组播接收方)发送广播消息,以搜索附近设备。其中,广播消息例如但不限于为Wi-Fi广播消息或者蓝牙广播消息。
2.电子设备200响应于接收到的广播消息,向电子设备100发送电子设备200的通讯信息。其中,通讯信息例如但不限于包括电子设备200的ID、MAC地址等信息。
3.电子设备100和电子设备200之间完成设备的认证。
在一些示例中,电子设备100的发现模块和电子设备200的发现模块可以完成设备的发现,例如图35的1-3。
如图35所示,设备连接可以但不限于包括以下步骤:
4.电子设备100向电子设备200发送实时分享的请求。例如,电子设备100响应于以上实施例所述的用于触发实时分享功能的用户操作,向电子设备200发送实时分享的请求。
5.电子设备200接受电子设备100发送的实时分享的请求。例如,电子设备200响应于用户操作,接受该实时分享的请求。
6.电子设备100和电子设备200传输组播地址和协商组播密钥。
在一些示例中,电子设备100的组播管理协议和电子设备200的组播管理协议可以完成连接,例如图35的4-6。
在一种实施方式中,设备的发现和连接之后,分享设备(组播发送方)和多个被分享设备(组播接收方)之间可以传输实时分享的数据流。
请参见图36,图36示例性示出一种通过Wi-Fi传输实时分享的数据流的示意图。该传输过程可以但不限于包括如下步骤:
1.电子设备100抓取并生成实时分享的数据流(简称分享数据流)。
在一些示例中,电子设备100(例如包括的抓取模块)抓取应用图层/系统图层/背景图层的图像和/或音频,并对抓取的图像和/或音频进行编码,以生成音频/视频的源数据(即上述分享数据流)。
2.电子设备100对分享数据流进行切片,并封装为组播数据帧。
在一些示例中,电子设备100(例如包括的传输协议栈)对音频/视频的源数据进行切片,并封装为组播数据帧。
3.电子设备100对组播数据帧进行编码。
在一些示例中,电子设备100(例如包括的编码模块)对组播数据帧进行喷泉编码,增加冗余信息。
4.电子设备100对组播数据帧进行加密。
在一些示例中,电子设备100(例如包括的组播帧加密)基于协商的组播密钥对组播数据帧进行加密。
5.电子设备100向电子设备200发送组播数据帧。
在一些示例中,电子设备100(如包括的组播帧发送)基于Wi-Fi数据组播协议,在空口向电子设备200等组播组成员发送组播帧。
6.电子设备200过滤接收到的组播数据帧。
在一些示例中,电子设备200在空口接收到组播数据帧后,电子设备200(例如包括的组播帧过滤)可以将不属于电子设备200所在的组播组的组播数据帧丢弃,保留属于该组播组的组播数据帧。
7.电子设备200对组播数据帧进行解密。
在一些示例中,电子设备200(例如包括的组播帧解密)基于协商的组播密钥对组播数据帧进行解密。
8.电子设备200对组播数据帧进行解码。
在一些示例中,电子设备200(例如包括的解码模块)对组播数据帧进行喷泉解码,基于冗余信息恢复丢失的数据帧。
9.电子设备200对组播数据帧进行解封装和重组,以得到分享数据流。
在一些示例中,电子设备200(例如包括的传输协议栈)将组播数据帧进行解封装和重组,以恢复为音频流/视频流(即分享数据流)。
10.电子设备200播放分享数据流。
在一些示例中,电子设备200(例如包括的播放模块)对分享数据流进行解码,并在前台显示和/或播放解码后的视频流/音频流。
在一些示例中,用于实时分享的音频流/视频流的传输流向可以为:电子设备100的源应用/源系统(用于产生实时分享的音频流/视频流)->电子设备100的抓取模块->电子设备100的传输协议栈->电子设备100的编码模块->电子设备100的组播帧加密->电子设备100的组播帧发送->电子设备200的组播帧过滤->电子设备200的组播帧解密->电子设备200的解码模块->电子设备200的传输协议栈->电子设备200的播放模块->电子设备200的目标应用/目标系统(用于输出实时分享的音频流/视频流)。
在一种实施方式中,分享设备(组播发送方)和多个被分享设备(组播接收方)中的任意一个设备可以退出当前的实时共享,可以理解为是该设备可以离开当前的组播组。
在一些示例中,任意一个组播接收方(例如电子设备200)接收到退出当前的实时共享的指令时,可以通知组播发送方(电子设备100),组播发送方可以在组播组中删除该成员(即上述组播接收方),具体示例可参见图37。
图37示例性示出一种组播接收方离开的流程示意图。该离开过程可以但不限于包括以下步骤:
1.电子设备200(组播接收方)接收退出实时共享的指令。例如,电子设备200接收针对图5C所示的用户界面530中的“退出观看”的选项531A的触摸操作(例如点击操作)。
2.电子设备200向电子设备100(组播发送方)发送离开的通知消息,例如,该通知消息为组播信令帧。
3.电子设备100删除组播组成员:电子设备200。
4.电子设备100向电子设备200发送确认离开的响应消息,例如,该响应消息为组播信令帧。
在一些示例中,组播发送方接收到退出当前的实时共享的指令时,可以通知其他组播组成员(多个组播接收方)离开当前组播组,并删除当前组播组,具体示例可参见图38。
图38示例性示出一种组播发送方离开的流程示意图。该离开过程可以但不限于包括以下步骤:
1.组播发送方接收退出实时共享的指令。例如,电子设备100(组播发送方)接收针对图4C所示的用户界面430中的“暂停分享”的选项431E的触摸操作(例如点击操作)。
2.组播发送方通知所有组播组成员退出。具体地,组播发送方分别向多个组播接收方(组播接收方1、…、组播接收方N,N为大于1的正整数)发送退出组播组的通知消息,例如,该通知消息为组播信令帧。
3.多个组播接收方(组播接收方1、…、组播接收方N)向组播发送方发送确认退出的响应消息,例如,该响应消息为组播信令帧。
在一些示例中,电子设备100的组播管理协议和电子设备200的组播管理协议可以完成组播组成员的维护,例如实现图37所示的组播接收方离开和/或图38所示的组播发送方离开。
在一种实施方式中,组播信令帧的格式例如为图39所示,组播信令帧可以包括:目的地址(destination address,DestAddr)、源地址(source address,SrcAddr)、类型/长度(Type/Length)、实际目标地址(ActualDestAddr)、实际源地址(ActualSrcAddr)、控制编号(Control ID)、发送窗口下沿(transport lower,TXLE)、有效载荷(Payload)等字段(fields),其中:
目标地址(6字节(octets))属于组播地址,是组播信令帧在以太网头和MAC头对应的接收地址。
源地址(6字节)属于组播地址,是组播信令帧在以太网头和MAC头对应的发送地址。
可以理解地,通过属于组播地址的目标地址和源地址可以避免攻击者按照实际源地址和/或实际目标地址获取组播密钥的情况,提升数据传输的安全性。
类型/长度(2字节)可以包括组播类型(Multicast Type)和子类型(Subtype),其中,组播帧类型(10比特(bit))用于表征组播帧的类型,例如,组播信令帧中的类型字段为0x1FF。子类型(6bit)用于表征组播帧的子类型。
实际目标地址(6字节)是实际接收组播信令帧的组播MAC地址,在一些示例中,组播MAC地址可以是组播地址段,实际接收组播信令帧的多个设备的MAC地址可以在该组播地址段内。
实际源地址(6字节)是实际发送组播信令帧的设备的MAC地址。
控制编号(1字节)是控制信令帧的编码,可以用于重传。
发送窗口下沿(1字节)用于指示接收端对接收窗口进行移位。
有效载荷是具体的控制信令信息,有效载荷的大小在不同情况下可以不同,即为变量(Variable)。
在一些示例中,组播信令帧可以是WLAN的原始组播帧。不限于此,在另一些示例中,组播信令帧也可以是通过华为万磁链接(Huawei Magneto Link,HML)确定的,这样可以满足更低功耗、WLAN并发场景。
接下来示例性说明通过蓝牙进行实时共享的实现方式。以下示例以实时共享音频为例进行说明。
请参见图40,图40示例性示出又一种共享系统10的架构示意图。在一些示例中,图40所示的共享系统10可以应用于通过蓝牙进行实时共享的场景。
图40所示的部分模块的功能和可能实现可参见前述实施例中的电子设备的软件架构的描述,例如图2E所示的共享系统10的说明。
如图40所示,共享系统10中的电子设备100和电子设备200之间可以通过蓝牙进行一起看、一起听、一起玩和一起编辑等实时共享。以下示例中,以电子设备100为发送实时分享的数据流的分享设备(也可称为源设备),电子设备200为接收实时分享的数据流的被分享设备(也可称为接收设备)为例进行说明。可以理解地,通过蓝牙进行实时共享可以应用于单播、组播或广播场景,在组播或广播场景下,电子设备200可以为多个接收设备中的任意一个。
在一种实施方式中,在组播或广播场景下,源设备可以同时向多个接收设备发送音频数据,多个接收设备接收到音频数据后同时播放音频数据。
在一种实施方式中,如图40所示,电子设备100的软件系统可以分为上层,从上至下分别为应用程序框架层、原生层(Native)和内核层。应用程序框架层包括源应用/源系统、音频框架模块、分享模块和分享服务,其中,分享服务包括设备管理和密钥管理。原生层包括音频抽象模块和蓝牙堆栈,其中,蓝牙堆栈包括编码模块、蓝牙协议栈、传输标准和时间戳同步。内核层包括蓝牙芯片/驱动(例如为Hi110x),蓝牙芯片/驱动包括蓝牙低功耗控制器(BLE Controller)。其中:
源应用/源系统用于产生实时分享的音频流,例如为音乐应用、视频应用或游戏应用。
音频框架模块(Audio Framework)和音频抽象模块(Audio HAL)分别在应用程序框架层和原生层负责管理音频功能。在一些示例中,源应用/源系统产生的音频数据可以发送至音频框架模块,经音频框架模块处理后发送至音频抽象模块,音频抽象模块可以将处理后的音频数据发送至蓝牙堆栈处理。
设备管理可以用于管理通过蓝牙进行实时共享的设备,例如设备的加入和离开。
密钥管理可以用于管理蓝牙密钥,例如蓝牙密钥的生成,该蓝牙密钥例如为广播同步流(broadcast isochronous streams,BIS)协议的密钥。
编码模块可以用于对音频抽象模块发送的音频数据进行编码,例如L3编码。
蓝牙协议栈例如为BIS协议栈。
传输标准可以为用于传输音频单播/组播/广播的配置参数的标准,例如但不限于包括广播音频扫描服务(broadcast audio scan service,BASS)、基础音频配置(basicaudio profile,BAP)、通用属性配置文件(generic attribute profile,GATT)。
时间戳同步可以用于和其他接收设备同步时间,以方便后续多个接收设备接收到音频数据后同时播放音频数据。
蓝牙芯片/驱动可以用于将蓝牙堆栈处理后的音频数据发送至接收设备。
在一种实施方式中,如图40所示,电子设备200的软件系统可以包括蓝牙模块和音频模块,其中,蓝牙模块包括时间戳同步、密钥管理、广播模块(例如用于实现BIS广播)、传输标准和蓝牙低功耗控制器。音频模块包括音频队列、解码模块、音频同步和编解码器,具体说明和上述电子设备100的软件系统的说明类似,接下来主要说明电子设备200中和电子设备100的模块不同的模块。
蓝牙模块可以用于接收并处理源设备发送的音频数据,并将处理后的音频数据发送至音频模块。
音频队列可以用于缓存蓝牙模块处理后的音频数据。当音频队列缓存的音频数据的大小大于或等于预设阈值时,音频模块可以处理音频队列中的音频数据。
解码模块可以用于对音频队列中的数据进行解码,例如L3解码。
音频同步可以用于和其他接收设备约定播放音频数据的时刻,以方便后续多个接收设备接收到音频数据后在上述约定的时刻同时播放音频数据。
编解码器可以用于对音频/视频数据进行解码,并得到原始的音频数据。接收设备可以在和其他设备约定的时刻播放原始的音频数据,即多个接收设备可以同时播放原始的音频数据。
在一种实施方式中,用于实时分享的音频流在图40所示的软件系统中的传输流向例如图41所示。首先,源设备(电子设备100)选择音源(例如源应用)和接收设备(假设包括电子设备200)后,电子设备100可以和电子设备200建立蓝牙连接并传输蓝牙密钥。上述音源的音频数据可以从源应用依次传输至音频框架模块、音频抽象模块、编码模块。编码模块可以对上述音源的PCM原始音频数据进行编码(例如L3编码),编码后的音频数据可以从编码模块传输至蓝牙协议栈,蓝牙协议栈可以根据上述传输的蓝牙密钥对编码后的音频数据进行加密,加密后的音频数据可以传输至蓝牙芯片,电子设备100可以通过蓝牙芯片将音频数据发送至电子设备200。电子设备200可以通过蓝牙芯片接收音频数据,并将该音频数据传输至蓝牙协议栈,蓝牙协议栈可以基于上述传输的蓝牙密钥对该音频数据进行解密。解密后的音频数据可以依次传输至解码模块(例如使用L3解码)、编解码器进行解码,解码后得到的原始音频数据可以用于进行播放(例如通过扬声器播放)。
在一种实施方式中,一起听等实时共享音频流的场景下,源设备可以通过蓝牙广播实现音频数据的分发(可简称为数据分发)。在一些示例中,数据分发可以采用BLE AudioBIS技术。在一些示例中,数据分发的原理是在固定的传输间隔(例如BIS的传输间隔)上,以顺序或者交错的方式重复发送音频数据,以提高广播接收的成功率,接收设备可以无需和源设备建立连接就能单向接收和播放源设备发送的音频数据,具体示例可参见下图42。
图42示例性示出一种音频数据的发送过程的示意图。图42以传输间隔(interval)为20毫秒(ms),每个数据包重复发送3次为例进行说明。
如图42所示,在传输周期1(时长为传输间隔:20ms)的起始时刻,源设备开始发送数据包,例如每隔150微秒发送一次,依次发送了:数据包1的左(left)声道部分(可简称为数据包1-L)、数据包1的右(right)声道部分(可简称为数据包1-R)、数据包1-L、数据包1-R、数据包2-L、数据包2-R,也就是说,源设备在6.9ms内传输了2次数据包1和1次数据包2。在传输周期2(时长为传输间隔:20ms)的起始时刻(即传输周期1的终止时刻),源设备再次发送数据包,例如每隔150微秒发送一次,依次发送了:数据包2-L、数据包2-R、数据包2-L、数据包2-R、数据包3-L、数据包3-R,也就是说,源设备在6.9ms内传输了2次数据包2和1次数据包3。
在一种实施方式中,源设备可以选择多个接收设备进行一起听等实时共享音频流,例如上图6D所示的实施方式,源设备可以向上述选择的多个接收设备传输用于加密音频流的广播密码。在一些示例中,源设备可以通过BLE和上述选择的多个接收设备进行连接,并发起安全管理协议配对(security manager protocol,SMP),以进行链路加密,然后,源设备可以通过加密后的链路向上述选择的多个接收设备传输广播密码(BroadcastCode)。源设备可以依次向上述选择的多个接收设备传输广播密码,当前接收设备完成广播密码的接收后源设备可以和该接收设备断开连接,以向下一个接收设备传输广播密码,具体示例可参见下图43。
图43示例性示出一种密码传输过程的流程示意图。图43以源设备选择了N个设备(设备1、…、设备N,N为大于1的正整数)中的两个设备进行实时共享为例进行说明,该过程可以但不限于包括如下步骤:
1.源设备接收到实时共享的指令后高占空比扫描(设备)。
2.N个设备(设备1、…、设备N)持续向源设备发送蓝牙广播消息(例如BLE广播)。
其中,图43的1和2的顺序不作限定,例如可以是同时执行的。
3.源设备选择设备1和设备N。例如,源设备响应于用户操作,选择设备1和设备N。
4.源设备向设备1请求建立蓝牙连接。在一些示例中,设备1接受源设备的请求后,源设备和设备1建立蓝牙连接(例如BLE连接)。
5.源设备基于SMP和设备1进行配对和加密源设备和设备1之间的蓝牙链路。
6.源设备通过加密的蓝牙链路向设备1发送广播密码。
7.源设备和设备1之间断开蓝牙连接。
上述4-7之后,源设备可以向下一个接收设备(设备N)传输广播密码,即执行图43中的8-11,8-11和说明和上述4-7类似,不再赘述。
在一种实施方式中,一起听等实时共享音频流的场景下,可以通过蓝牙广播(例如BIS广播)实现多个接收设备的同步机制,即多个接收设备同时播放源设备发送的音频数据。在一些示例中,多个接收设备可以通过源设备的广播公告服务(Broadcast AudioAnnouncement Service,BAP)获取第一参数(例如延迟参数(Presentation_Delay)),并在接收到源设备发送的音频数据后延时第一时长播放该音频数据,其中,第一时长可以是根据第一参数确定的,例如第一时长即为第一参数,具体示例可参见下图44。
图44示例性示出一种多设备同步过程的流程示意图。图44以多个接收设备为设备1和设备2为例进行说明,该过程可以但不限于包括如下步骤:
1.源设备基于BAP向设备1和设备2发送Presentation_Delay。
2.源设备向设备1和设备2发送音频报文1(也可称为是广播音频报文1)。
3.设备1接收到音频报文1后延时Presentation_Delay播放音频报文1。
4.设备2接收到音频报文1后延时Presentation_Delay播放音频报文1。
其中,图44的3和4可以是同时执行的。
可以理解地,基于蓝牙广播机制,多个接收设备可以同时接收到源设备发送的某个音频数据报文,多个接收设备可以在接收到该音频数据报文后延时第一时长再播放,以达到多个接收设备同时播放该音频数据报文的目的,用户体验感更好。
以上实施例以一级分享的场景(即一个分享设备向至少一个被分享设备分享第一多媒体数据流)为例进行说明,在另一些实施例中,还可以应用于多级分享的场景,例如应用于二级分享的场景:上述至少一个被分享设备中的任意一个设备可以再作为分享设备向至少一个设备分享第二多媒体数据流,其中,第二多媒体数据流和第一多媒体数据流可以相同或不同。多级分享的场景下的任意一级分享可参见以上实施例所示的一级分享的说明。
接下来示例性示出一些多级分享的场景。
图45A示例性示出一种二级分享场景的示意图。图45A以第一级分享通过Wi-Fi实现,第二级分享通过蓝牙实现为例进行示意。
如图45A所示,电子设备401(第一级设备)可以通过Wi-Fi广播向电子设备402、电子设备403等第二级设备实时分享,电子设备402可以通过蓝牙单播向电子设备404(第三级设备)实时分享音频流/视频流,电子设备403可以通过蓝牙广播向电子设备405、电子设备406等第三级设备实时分享。
图45B示例性示出又一种二级分享场景的示意图。图45B以第一级分享和第二级分享均通过Wi-Fi实现为例进行示意。
如图45B所示,电子设备411(第一级设备)可以通过Wi-Fi广播向电子设备412、电子设备413等第二级设备实时分享,电子设备413可以通过Wi-Fi广播向电子设备414、电子设备415等第三级设备实时分享,可以理解为是Wi-Fi级联中继的场景。
图45C示例性示出又一种二级分享场景的示意图。图45C以第一级分享和第二级分享均通过蓝牙实现为例进行示意。
如图45C所示,电子设备421(第一级设备)可以通过蓝牙广播向电子设备422、电子设备423等第二级设备实时分享,电子设备422可以通过蓝牙单播向电子设备424(第三级设备)实时分享,电子设备423可以通过蓝牙广播向电子设备425、电子设备426等第三级设备实时分享。
图45D示例性示出一种三级分享场景的示意图。图45D以第一级分享通过NewTalk、卫星等远场通信方式实现,第二级分享和第三级分享通过WiFi、D2D、BT等近场通信方式实现为例进行示意。
如图45D所示,电子设备431(第一级设备)可以通过NewTalk链路或辅助链路单播向电子设备432(第二级设备)实时分享。电子设备432可以通过D2D单播向电子设备433(第三级设备)实时分享,同时也可以通过蓝牙广播向电子设备434等第三级设备实时分享。电子设备434(第三级设备)可以通过Wi-Fi广播向电子设备435、电子设备436等第四级设备实时分享。
不限于图45D示例的远场分享(第一级分享)+近场分享(第二级分享)+近场分享(第三级分享)的三级分享场景,在另一些示例中,也可以是远场分享+远场分享+近场分享,在另一些示例中,也可以是远场分享+近场分享+远场分享,在另一些示例中,也可以是近场分享+远场分享+近场分享,在另一些示例中,也可以是近场分享+近场分享+远场分享,在另一些示例中,也可以是近场分享+远场分享+远场分享,本申请对此不作限定。
不限于上述示例的多级分享的场景,在另一些示例中,图45A中,电子设备401(第一级设备)可以通过Wi-Fi单播向电子设备402(第二级设备)实时分享。本申请中的多级分享的场景中,任意一级分享可以是单播、组播或广播。
在一种实施方式中,进行实时共享的电子设备可以根据网络环境调整编码/解码实时分享的多媒体数据的码率,例如,当网络带宽较大时,码率可以较大,当网络带宽较小时,码率可以较小,即支持音频/视频的动态码率,可以自适应网络。不限于此,在另一种实施方式中,还可以根据电子设备的电量/功耗、对输出效果的要求等来调整编码/解码实时分享的多媒体数据的码率,本申请对此不作限定。这样可以在各种场景下平衡用户体验和设备功耗,提升设备可用性。
在一种实施方式中,分享设备可以实时共享3G/4G/5G/6G广播数据,例如,通过图2C-图2E所示的3G/4G/5G/6G广播模块实现。接下来以5G/NR通信系统中的组播广播业务(multicast and broadcast service,MBS)为例进行说明,其他情况类似。
在NRMBS中,NR广播/组播(组播也可称为多播)技术可以通过共享无线和传输资源,以点对多点的方式传输用户业务,让一份业务流覆盖尽可能多的用户,从而在有效提升网络资源利用率的同时,也提升用户的业务体验,减少资源拥堵造成的业务体验差的问题。
请参见图46A,图46A是本申请提供的一种NR通信系统的架构示意图。图46A示例性示出了NR广播/组播的通信场景和NR单播的通信场景。
图46A所示的NR通信系统可以包括广播平台4611、核心网设备4612、核心网设备4613、基站4614、基站4615、多个用户设备(UE)4616以及多个UE4617。其中,广播平台4611、核心网设备4612、基站4614和多个UE4616可以实现单播通信。广播平台4611、核心网设备4613、基站4615和多个UE4617可以实现广播/组播通信。广播平台4611可以是网络设备,例如为提供5G广播数据和相关服务的业务服务器,广播平台4611也可称为是广播业务服务器。任意一个UE的说明可参见以上实施例所示的电子设备的说明。
如图46A所示,广播平台4611可以通过核心网设备4612、基站4614和多个UE4616中的任意一个UE(以UE4616A为例进行说明)进行单播通信。在下行方向,广播平台4611可以通过核心网设备4612向基站4614发送数据,基站4614接收到该数据后再向UE4616A发送该数据,即以点对点的方式进行下行传输。广播平台4611可以和多个UE4616分别进行单播通信,此时,多个UE4616可以分别使用不同的承载,例如,3个UE4616使用3个承载。在一些示例中,UE4616A也可以以点对点的方式和基站4614、核心网设备4612或广播平台4611进行上行传输,具体说明类似,不再赘述。在一些示例中,进行单播通信时,广播平台4611、核心网设备4612、基站4614中至少一个设备可以感知UE4616A。
如图46A所示,广播平台4611可以通过核心网设备4613、基站4615和多个UE4617进行广播通信或者组播通信。在下行方向,广播平台4611可以通过核心网设备4613向基站4615发送数据,基站4615接收到该数据后可以向多个UE4617发送数据,即以点对多点的方式进行下行传输。此时,多个UE4617可以使用相同的承载,例如,3个UE4617共用1个承载。在一些示例中,进行广播通信时,可以不进行上行传输,在一些示例中,进行广播通信时,广播平台4611、核心网设备4613和基站4615可以不感知多个UE4617。在一些示例中,进行组播通信时,可以进行上行传输,例如,UE4616A可以以点对点的方式和基站4615、核心网设备4613或广播平台4611进行上行传输。在一些示例中,进行组播通信时,广播平台4611、核心网设备4613和基站4615中至少一个设备可以感知多个UE4617。
在一种实施方式中,和广播平台4611进行广播/组播通信的多个UE4617中的任意一个UE可以向其他至少一个UE实时分享接收到的广播/组播数据,例如图46A所示,UE4617A可以将基站4615发送的广播/组播数据分享给UE4618,可以理解地,UE4617A具备接收3G/4G/5G/6G广播数据的能力(例如UE4617A包括modem),而UE4618可以具备接收3G/4G/5G/6G广播数据的能力,也可以不具备接收3G/4G/5G/6G广播数据的能力,UE4618例如但不限于为以下任意一种情况:
情况1:UE4618具备接收3G/4G/5G/6G广播数据的能力,但UE4618所在的基站不具备接收3G/4G/5G/6G广播数据的能力。
情况2:UE4618具备接收3G/4G/5G/6G广播数据的能力,但UE4618所在的基站和UE4617A所在的基站不同(例如属于不同的运营商)。
情况3:UE4618具备接收3G/4G/5G/6G广播数据的能力,但UE4618所在的基站和UE4617A所在的基站(例如属于同一个运营商)距离较远。
情况4:UE4618不具备接收3G/4G/5G/6G广播数据的能力。
以上4种情况下,UE4618无法接收和播放UE4617A能接收到的频道数据,但UE4617A可以将接收到的频道数据实时分享给UE4618,让UE4618的使用者可以观看/收听到UE4617A能接收到的频道,不受环境和设备的限制,使用场景更加广泛,用户体验感更好。
需要说明的是,图46A所示的广播平台、核心网设备、基站和UE的形态和数量仅用于示例,本申请实施例对此不作限定。
接下来示例性介绍广播/组播通信场景。
请参见图46B,图46B是本申请提供的又一种NR通信系统的架构示意图。
图46B所示的NR通信系统可以包括广播业务服务器(例如为图46A所示的广播平台4611)、核心网、无线接入网(RAN)和n个UE(UE1、UE2、…、UEn,n为大于1的正整数)。其中,核心网可以包括至少一个核心网设备,例如包括图46A所示的核心网设备4612和核心网设备4613。RAN可以包括至少一个接入网设备,例如包括图46A所示的基站4614和基站4615。任意一个UE的说明可参见以上实施例所示的电子设备的说明。
如图46B所示,(1)广播业务服务器可以通知核心网广播(broadcast)启动,(2)核心网可以通知RAN广播启动,例如但不限于发送业务ID、小区列表(celllist)等信息,(3)RAN可以向核心网返回广播响应,(4)RAN可以通过多播控制信道(multicast controlchannel,MCCH)实现n个UE的广播频道配置。其中,配置的频道可以为一个或多个,不同频道对应的广播数据可以不同,UE可以接收已配置频道对应的广播数据。
如图46B所示,假设已配置了频道1和频道2。(5)广播业务服务器可以通过核心网向RAN发送频道1对应的广播数据(可简称为频道1数据),RAN可以通过多播业务信道(multicast trafficechannel,MTCH)向n个UE发送频道1数据。(6)广播业务服务器也可以通过核心网向RAN发送频道2数据,RAN可以通过MTCH向n个UE发送频道2数据。其中,频道1数据的广播过程和频道2数据的广播过程的顺序不作限定。在一些示例中,RAN向n个UE发送频道1数据时使用的MTCH和发送频道2数据时使用的MTCH可以不同。
在一种实施方式中,对于上述n个UE中的任意一个UE而言,可以响应于用户操作确定接收的频道数据,例如,用户可以选择让UE接收频道1数据但不接收频道2数据。
在一种实施方式中,上述n个UE中的任意一个UE可以将接收到的频道数据实时分享给其他至少一个UE。
请参见图46C,图46C是本申请提供的又一种NR通信系统的架构示意图。
图46C所示的NR通信系统可以包括图46A中的UE4617A和UE4618,UE4617A可以向UE4618实时分享3G/4G/5G/6G广播数据,为了方便说明,以3G/4G/5G/6G广播数据为频道1数据为例进行说明。
如图46C所示,UE4617A可以包括应用处理器(AP)、调制解调处理器(modem)和无线通信模块,图46C以无线通信模块包括蜂窝通信模块、Wi-Fi通信模块、蓝牙通信模块、卫星通信模块为例进行说明,在具体实现中,无线通信模块可以包括更多或更少的通信模块。
其中:
应用处理器可以包括广播/组播应用程序(APP)、分享传输模块、传输协议栈、广播/组播网卡(MBS network,MBSNET)、A核数据服务(ADS)、显示驱动、播放驱动和抓取模块。广播/组播APP可以是用于实现MBS的APP(例如通话),可以包括用于提供用户体验(UI/UX)显示的模块、用于提供服务逻辑的模块、传输模块和编解码模块,其中,传输模块可以用于从传输协议栈接收3G/4G/5G/6G广播数据并发送至编解码模块,编解码模块可以用于对接收到3G/4G/5G/6G广播数据进行编码或者解码,解码后的数据可以在广播/组播APP上播放。分享传输模块可以用于实现向其他UE实时分享多媒体数据流。传输协议栈例如为TCP/IP协议栈。显示驱动可以用于调用显示屏等显示模块实现显示功能。播放驱动可以用于调用扬声器等音频模块实现音频播放功能。抓取模块可以用于抓取解码后、可直接播放的多媒体数据流,例如抓取正在播放的多媒体数据流。
调制解调处理器可以包括NR协议栈、C核数据服务(C-core data service,CDS)和广播/组播业务(MBS),其中,NR协议栈可以包括媒体接入控制(medium access control,MAC)层、无线链路控制(radio link control,RLC)层、分组数据汇聚协议(packet dataconvergence protocol,PDCP)层。
如图46C所示,UE4617A可以通过蜂窝通信模块中的3G/4G/5G/6G广播模块接收频道1数据,然后,3G/4G/5G/6G广播模块可以将频道1数据发送给调制解调处理器。在调制解调处理器中,频道1数据可以依次传输至MAC层、RLC层、PDCP层,PDCP层再将频道1数据发送给CDS,由CDS将频道1数据发送至应用处理器。在应用处理器中,频道1数据可以依次传输至ADS、MBSNET、传输协议栈。
在一种实施方式中,UE4617A可以从应用处理器中获取频道1数据,并将频道1数据实时共享给UE4618,其中,UE4617A从应用处理器中获取频道1数据的方式可以但不限于包括以下三种:
获取方式1:UE4617A可以从广播/组播APP中获取解码后的频道1数据。在一些示例中,频道1数据传输至传输协议栈后,传输协议栈可以将频道1数据发送至广播/组播APP中的传输模块,传输模块再将频道1数据发送至编解码模块进行解码,解码后的频道1数据可以发送至分享传输模块,由分享传输模块实时共享给UE4618。
获取方式2:UE4617A可以直接从传输协议栈获取解码前的频道1数据。在一些示例中,频道1数据传输至传输协议栈后,传输协议栈可以将频道1数据发送至分享传输模块,由分享传输模块实时共享给UE4618。
获取方式3:UE4617A可以通过抓取模块抓取解码后的、显示和/或播放的频道1数据。在一些示例中,频道1数据传输至传输协议栈后,传输协议栈可以将频道1数据发送至广播/组播APP中的传输模块,传输模块再将频道1数据发送至编解码模块进行解码,解码后的频道1数据可以发送至显示驱动和/或播放驱动进行输出(显示和/或播放)。抓取模块抓取输出的多媒体数据流并传输至分享传输模块,由分享传输模块实时共享给UE4618。
在一种实施方式中,在上述获取方式2下,调制解调处理器可以将发送至分享传输模块的频道1数据在CDS进行路由,以通过对应的通信方式将频道1数据发送给UE4618。在一些示例中,UE4617A和UE4618通过蜂窝通信方式通信,此时可以使用图46C所示的传输方式1将频道1数据发送给UE4618,例如,在传输方式1下,CDS可以对频道1数据进行IP组包和IP头的替换,处理后的频道1数据再依次通过PDCP层、RLC层和MAC层,最后由蜂窝通信模块将频道1数据发送至UE4618。在另一些示例中,UE4617A和UE4618通过Wi-Fi方式通信,此时可以使用图46C所示的传输方式2将频道1数据发送给UE4618,例如,在传输方式2下,CDS可以将频道1数据发送给Wi-Fi通信模块(例如包括Wi-Fi芯片),Wi-Fi通信模块可以对频道1数据进行IP头的替换和IP组包,并将处理后的频道1数据发送至UE4618。或者,CDS可以对频道1数据进行IP组包和IP头的替换,再将处理后的频道1数据发送至Wi-Fi通信模块,由Wi-Fi通信模块发送给UE4618。不限于上述示例的情况,在另一些示例中,UE4617A和UE4618通过蓝牙通信方式通信时,可以使用图46C所示的传输方式3将频道1数据发送给UE4618,在另一些示例中,UE4617A和UE4618通过蓝牙通信方式通信时,可以使用图46C所示的传输方式4将频道1数据发送给UE4618,传输方式3和传输方式4的说明和传输方式2类似,不再赘述。UE4617A和UE4618还可以通过其他通信方式通信,可以使用对应的传输方式传输频道1数据,本申请对此不作限定。
可以理解地,在上述获取方式2下,分享设备的应用处理器可以无需被唤醒(例如无需对3G/4G/5G/6G广播数据进行解码、播放3G/4G/5G/6G广播数据等),直接通过调制解调处理器将接收到的3G/4G/5G/6G广播数据发送给被分享设备,即可以提供低功耗传输模式,减少设备功耗,提升设备可用性。并且,无需分享设备在前台运行广播/组播APP(用于播放3G/4G/5G/6G广播数据),也无需分享设备具备解码和播放3G/4G/5G/6G广播数据的能力,拓宽应用场景,用户体验更好。
接下来示例性示出一些实时共享的场景,但不应构成限定。
场景一:朋友间进行运营商通话时,一方看到一个有趣的视频(如电影、电视、短视频)或音频(如音乐),想要和通话对方一起看该视频或一起听该音频,可以发起实时共享,这样通话双方可以边看/边听边讨论,具体示例可参见上述一起看的实时共享场景的说明。解决了目前运营商通话中无法实时分享音频流/视频流的问题,提升用户体验。
场景二:下属和领导间进行运营商通话时,下属需要向领导汇报/分享文档材料(例如word格式、excel格式或PPT格式等),对文档材料的内容进行逐行/逐页的说明,并基于领导的意见进行修改,领导希望同步看到修改的结果,但下属又不希望领导看到下属使用的手机等电子设备上的其他应用的画面/音频,因此,下属可以仅实时共享文档材料的应用,领导不仅可以同步看到修改结果,还可以执行对文档材料进行修改,具体示例可参见上述一起编辑的实时共享场景的说明,使用更加灵活。
场景三:消费者打电话向客服咨询购买物品的使用方法时,客服可以发起实时共享,将指导的视频、图片或文档分享给消费者,减少电话沟通时花费的时间和精力。
场景四:子女上网课时,上班的父母希望能在公司午休时间或者上下班途中等时间看到子女上网课的样子,远程监督一下子女,以及看到网课的画面,可以针对子女有疑问的部分进行讲解和点评,远程指导一下子女,则子女可以通过电话实时共享网课应用的音频流/视频流,同时分享麦克风采集的声音和摄像头采集的人脸图像,具体示例可参见图15A和图15B。
场景五:家里的老人不会使用某些东西,例如使用手机时无法上网,需要外地的子女通过电话远程指导,外地的子女可以主动发起实时共享的请求,家里的老人接受请求后就会自动共享老人手机屏幕的画面,更加方便快捷地指导老人。
场景六:在家庭聚餐时用户可以通过Wi-Fi等近场通信方式向附近的多个用户共享应用的实时画面,可以理解为是近场一对任意(1toany)的实时共享场景。
场景七:在朋友聚会时用户可以通过近场通信方式向附近的多个用户共享游戏应用的实时画面,和/或一起玩同一个游戏(具体示例可参见图23A-图23C),可以理解为是近场一对任意(1toany)的实时共享场景。
场景八:在同一个会议室进行商务会议时,用户可以通过近场通信方式向附近的多个用户共享文档材料的内容,甚至可以一起编辑文档材料,可以理解为是近场一对任意(1toany)的实时共享场景。
场景九:在近场一对任意(1toany)的实时共享场景下,以场景六为例进行说明,分享用户出于自身的隐私安全考虑,希望将视频的部分或全部内容共享给其他人,但不希望将视频的源文件发送给其他人,因此,分享用户可以在自己的设备上播放视频,当播放到想要共享的内容时通过近场通信方式进行实时共享,当播放到不想要共享的内容时停止实时共享。而且分享用户可以不允许被分享用户保存和转发实时共享的视频,具体示例可参见图15D、图16A-图16E。
场景十:可以一对一实时共享音频,也可以一对多将一个音频共享到多个耳机上播放,从而实现一起听,而无需发送音频文件。并且分享用户可以不允许被分享用户保存和转发实时共享的音乐,保障音乐的版权。
场景十一:户外派对(Party)或户外广场舞,可以通过近场广播方式将一个音频共享到多个音箱设备上播放,避免一个大音箱大音量播放导致的扰民,避免冷场。
场景十二:领导向下属电话,想将文档材料实时共享给该下属和该下属附近的同事,当又不方便直接发送文档材料,因此,领导可以实时共享文档材料的应用给该下属,该下属再实时共享给附近的同事,让附近的同事可以通过自己的设备观看,无需多人聚集在该下属周边共用该下属的设备(例如手机等较小的移动终端)观看,具体示例可参见图45C,这样可以大大提升用户的观看体验。
本申请中的“显示”均可以替换为其它输出方式,例如通过扬声器播放。类似地,本申请中的“播放”也可以替换为其他输出方式,例如通过显示屏显示。
本申请中的输出不仅包括通过设备本身的显示屏等输出模块执行,而且包括通过和设备连接的其它设备的显示屏等输出模块执行。
本申请中的麦克风可以替换为其他可以采集音频/语音/声音的模块。
本申请中的摄像头可以替换为其他可以拍摄/采集图像的模块。
本申请各实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,DWD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD)等。以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (30)

1.一种共享方法,其特征在于,应用于第一设备,所述方法包括:
显示第一界面,所述第一界面用于指示当前和第二设备进行运营商通话;
和所述第二设备进行所述运营商通话时,显示第一应用的第二界面;
接收作用于所述第二界面的第一用户操作;
向所述第二设备发送第一数据,所述第一数据用于所述第二设备输出所述第二界面相关的多媒体数据。
2.如权利要求1所述的方法,其特征在于,所述第一界面和所述第二界面包括第一悬浮窗,所述第一用户操作为作用于所述第一悬浮窗中的分享控件的用户操作;或者,
所述第一用户操作为以第一轨迹滑动的用户操作。
3.如权利要求1或2所述的方法,其特征在于,所述向所述第二设备发送第一数据之前,所述方法还包括:
显示所述第二界面时,抓取所述第二界面相关的多媒体数据,所述第一数据包括所述第二界面相关的多媒体数据。
4.如权利要求1-3任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
通过所述运营商通话的主链路向所述第二设备发送所述运营商通话的通话数据和所述第一数据。
5.如权利要求1-3任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
通过所述运营商通话的主链路向所述第二设备发送所述运营商通话的通话数据,通过所述运营商通话的数据通路向所述第二设备发送所述第一数据。
6.如权利要求1-3任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
通过所述运营商通话的主链路向所述第二设备发送所述运营商通话的通话数据,通过辅助链路向所述第二设备发送所述第一数据。
7.如权利要求6所述的方法,其特征在于,所述向所述第二设备发送第一数据之前,所述方法还包括:
向网络设备发送第一请求消息,所述第一请求消息包括所述第二设备的标识信息;
接收所述网络设备基于所述第一请求消息发送的所述第二设备的会话标识;
根据所述第二设备的会话标识和所述第二设备建立所述辅助链路。
8.如权利要求1-7任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
显示第三界面,所述第三界面包括多个设备的信息;
接收作用于所述多个设备中的所述第二设备的第二用户操作;
向所述第二设备发送所述第一数据。
9.如权利要求8所述的方法,其特征在于,所述多个设备包括以下至少一项:发现的设备、连接的设备、最近一次进行过运营商通话的设备、存储有标识信息的设备、根据拍摄的图像识别的设备。
10.如权利要求1-9任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
显示第四界面,所述第四界面包括多个窗口的信息;
接收作用于所述多个窗口中的第一窗口的第三用户操作,所述第一窗口包括所述第二界面的内容;
向所述第二设备发送所述第一数据。
11.如权利要求10所述的方法,其特征在于,所述多个窗口包括以下至少一项:前台应用的窗口、后台应用的窗口、所述第一设备已安装但未运行的应用的窗口。
12.如权利要求1-7任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
显示第五界面,所述第五界面包括多个共享方式;
接收作用于所述多个共享方式中的第一方式的第四用户操作;
显示第六界面,所述第六界面包括多个窗口和多个设备的信息,所述多个窗口和所述多个设备是根据所述第一方式确定的;
接收作用于所述多个窗口中的第二窗口的第五用户操作,接收作用于所述多个设备中的所述第二设备的第六用户操作,所述第二窗口包括所述第二界面的内容;
根据所述第五用户操作和所述第六用户操作,向所述第二设备发送所述第一数据。
13.如权利要求1-12任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据之前,所述方法还包括:
接收第七用户操作;
响应于所述第七用户操作,确定共享数据的类型为第一类型;其中,
当所述第一类型为音频时,所述第一数据包括所述第二界面相关的音频数据;
当所述第一类型为图像时,所述第一数据包括所述第二界面相关的视频数据;
当所述第一类型为音频和图像时,所述第一数据包括所述第二界面相关的音频数据和视频数据。
14.如权利要求1-12任一项所述的方法,其特征在于,所述第一数据包括所述第二界面相关的视频数据;所述方法还包括:
接收作用于所述第二界面且以第二轨迹滑动的第八用户操作;
向所述第二设备发送第二数据,所述第二数据包括所述第二界面相关的音频数据。
15.如权利要求1-14任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据之前,所述方法还包括:
接收用于选择所述第二界面中的第一区域的第九用户操作,所述第一数据包括所述第一区域相关的多媒体数据。
16.如权利要求1-14任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据之前,所述方法还包括:
接收用于选择所述第二界面中的第一图层的第十用户操作,所述第一数据包括所述第一图层相关的多媒体数据。
17.如权利要求1-14任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
当所述第一应用不为预设应用时,向所述第二设备发送所述第一数据,所述预设应用的安全等级高于第一等级。
18.如权利要求1-14任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
识别到所述第二界面中的第二区域相关的数据的安全等级高于第二等级;
向所述第二设备发送所述第一数据,所述第一数据不包括所述第二区域相关的数据。
19.如权利要求1-18任一项所述的方法,其特征在于,所述显示第一应用的第二界面,包括:
接收网络设备发送的第一频道的广播数据;
根据所述第一频道的广播数据显示所述第二界面。
20.如权利要求1-18任一项所述的方法,其特征在于,所述方法还包括:
接收所述网络设备发送的第二频道的广播数据,所述第一设备显示的用户界面和所述第二频道的广播数据无关;
接收第十一用户操作;
向第三设备发送所述第二频道的广播数据,所述第二频道的广播数据用于所述第三设备输出所述第二频道的音频和/或视频。
21.如权利要求1-20任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
向所述第二设备发送所述第一数据和第三数据,所述第三数据包括所述第一设备通过麦克风采集到的音频数据和/或所述第一设备通过摄像头采集到的图像数据。
22.如权利要求1-21任一项所述的方法,其特征在于,所述方法还包括:
接收第十二用户操作;
响应于所述第十二用户操作,确定不授予所述第二设备保存所述第一数据的权限和转发所述第一数据的权限;
接收所述第二设备发送的第二请求消息,所述第二请求消息用于请求保存和/或转发所述第一数据;
根据所述第二请求消息显示第一提示信息。
23.如权利要求1-22任一项所述的方法,其特征在于,所述方法还包括:
接收所述第二设备发送的第三请求消息,所述第三请求消息用于请求向所述第一设备实时分享多媒体数据;
根据所述第三请求消息显示第二提示信息;
接收第十三用户操作,所述第十三用户操作用于接受所述第二请求消息指示的请求;
接收所述第二设备发送的第四数据;
输出所述第四数据。
24.如权利要求23所述的方法,其特征在于,所述输出所述第四数据,包括:根据所述第四数据显示第七界面,所述第一设备显示所述第七界面时,所述第二设备显示所述第二界面的内容;或者,
所述输出所述第四数据,包括:分屏显示所述第二界面和第八界面,所述第八界面是根据所述第四数据确定的。
25.如权利要求23或24所述的方法,其特征在于,所述接收所述第二设备发送的第四数据之后,所述方法还包括:
接收第十四用户操作;
向第四设备发送所述第四数据,以使所述第四设备输出所述第四数据。
26.如权利要求1-25任一项所述的方法,其特征在于,所述向所述第二设备发送第一数据,包括:
通过第一链路和第二链路向所述第二设备发送所述第一数据,所述第一链路为蜂窝通信链路或辅助链路,所述第二链路包括以下至少一项:蓝牙链路、无线保真Wi-Fi链路、V2X链路、卫星链路、点对点D2D链路、蜂窝通信链路和辅助链路,所述第一链路和所述第二链路不同。
27.如权利要求1-26任一项所述的方法,其特征在于,所述方法还包括:
显示第九界面,所述第九界面包括所述第一设备运行的多个用户界面的信息;
接收作用于所述第九界面中的第一控件的第十五用户操作,所述第一控件和所述多个用户界面中的第十界面相关;
向第五设备发送第五数据,所述第五数据用于所述第五设备输出所述第十界面相关的多媒体数据。
28.如权利要求1-27任一项所述的方法,其特征在于,所述方法还包括:
显示第十一界面,所述第十一界面包括控制中心的多个功能的信息;
接收作用于所述第十一界面中的第二控件的第十六用户操作,所述第二控件和所述多个功能中的分享功能相关;
向第六设备发送第六数据,所述第六数据用于所述第六设备输出所述第一设备的前台应用的多媒体数据。
29.一种电子设备,其特征在于,包括收发器、处理器和存储器,所述存储器用于存储计算机程序,所述处理器调用所述计算机程序,用于执行如权利要求1-28任一项所述的方法。
30.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1-28任一项所述的方法。
CN202210867898.7A 2022-07-22 2022-07-22 共享方法、电子设备及系统 Pending CN117478686A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210867898.7A CN117478686A (zh) 2022-07-22 2022-07-22 共享方法、电子设备及系统
PCT/CN2023/108156 WO2024017296A1 (zh) 2022-07-22 2023-07-19 共享方法、电子设备及系统
EP23842358.6A EP4542964A4 (en) 2022-07-22 2023-07-19 SHARING METHOD, ELECTRONIC DEVICE AND SYSTEM
US19/022,530 US20250156135A1 (en) 2022-07-22 2025-01-15 Sharing Method, Electronic Device, and System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210867898.7A CN117478686A (zh) 2022-07-22 2022-07-22 共享方法、电子设备及系统

Publications (1)

Publication Number Publication Date
CN117478686A true CN117478686A (zh) 2024-01-30

Family

ID=89617128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210867898.7A Pending CN117478686A (zh) 2022-07-22 2022-07-22 共享方法、电子设备及系统

Country Status (4)

Country Link
US (1) US20250156135A1 (zh)
EP (1) EP4542964A4 (zh)
CN (1) CN117478686A (zh)
WO (1) WO2024017296A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134150A2 (ko) * 2011-03-29 2012-10-04 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
US10057305B2 (en) * 2014-09-10 2018-08-21 Microsoft Technology Licensing, Llc Real-time sharing during a phone call
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US9967520B1 (en) * 2017-06-30 2018-05-08 Ringcentral, Inc. Method and system for enhanced conference management
CN113452945A (zh) * 2020-03-27 2021-09-28 华为技术有限公司 分享应用界面的方法、装置、电子设备及可读存储介质
CN114584734A (zh) * 2020-12-01 2022-06-03 华为技术有限公司 通话方法及电子设备
CN113489937B (zh) * 2021-07-02 2023-06-20 北京字跳网络技术有限公司 视频共享方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2024017296A1 (zh) 2024-01-25
US20250156135A1 (en) 2025-05-15
EP4542964A1 (en) 2025-04-23
EP4542964A4 (en) 2025-04-23

Similar Documents

Publication Publication Date Title
WO2022100304A1 (zh) 应用内容跨设备流转方法与装置、电子设备
CN111316598B (zh) 一种多屏互动方法及设备
JP6324625B2 (ja) ライブインタラクティブシステム、情報の送信方法、情報の受信方法及び装置
JP6339226B2 (ja) リアルタイムトランスポートプロトコルのためのストリーミング制御
ES2690080T3 (es) Aparato para adaptar comunicaciones de vídeo
US20150019694A1 (en) Method for Screen Sharing, Related Device, and Communications System
WO2022121775A1 (zh) 一种投屏方法及设备
KR20190086517A (ko) 생방송방 비디오 스트림 전송 제어방법, 해당 서버 및 이동단말
US20120173622A1 (en) Social screen casting
CN111416794A (zh) 一种数据传输方法及电子设备
WO2015117513A1 (zh) 视频会议控制方法和系统
CN116489268A (zh) 一种设备识别方法及相关装置
JP7181990B2 (ja) データ伝送方法及び電子デバイス
WO2023030099A1 (zh) 跨设备交互的方法、装置、投屏系统及终端
US10778742B2 (en) System and method for sharing multimedia content with synched playback controls
WO2016095705A1 (zh) 流媒体传输的方法、装置及系统
US11374992B2 (en) Seamless social multimedia
CN108874258A (zh) 分享录屏视频的方法及装置
WO2019165960A1 (zh) 一种媒体数据实时传输控制方法、系统及存储介质
WO2021155702A1 (zh) 通信处理方法、装置、终端、服务器及存储介质
CN113676902B (zh) 一种提供无线上网的系统、方法及电子设备
WO2022222691A1 (zh) 一种通话处理方法及相关设备
US20220417813A1 (en) Methods and apparatus for application service relocation for multimedia edge services
WO2022267640A1 (zh) 视频共享方法、电子设备及存储介质
CN114244955B (zh) 服务的分享方法、系统、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination