CN116917917A - 自动控制针对虚拟会议的参与者指示请求 - Google Patents
自动控制针对虚拟会议的参与者指示请求 Download PDFInfo
- Publication number
- CN116917917A CN116917917A CN202280018750.4A CN202280018750A CN116917917A CN 116917917 A CN116917917 A CN 116917917A CN 202280018750 A CN202280018750 A CN 202280018750A CN 116917917 A CN116917917 A CN 116917917A
- Authority
- CN
- China
- Prior art keywords
- participant
- meeting
- indication
- context
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
提供了用于基于会议的上下文自动控制参与者指示请求的系统和方法。参与者指示请求的控制包括自动放下已举起的手。上下文确定器基于包括视频、音频、背景声学数据和聊天消息传递的会议数据来确定会议的上下文。上下文确定器使用全局参与者指示模型来确定会议参与者中共同使用的上下文。个体参与者指示模型捕获特定于参与者的确定上下文的规则。会议状态管理器基于上下文确定会议状态。会议状态包括主持人演示、参与者演示、对话和轮询。参与者指示控制器基于所确定的上下文和会议状态的组合自动放下已举起的手。
Description
背景技术
由于经济和社会因素,越来越多的会议在远程位置举行,虚拟会议系统变得更加流行。虚拟会议通常包括通过包括互联网在内的各种网络传输视频和音频内容。一些传统的虚拟会议系统除了提供主要的视频或音频通信外,还提供了参与者之间相互交流的特征。例如,参与者通过聊天特征交换文本消息,并通过举手向其他参与者发送警报,以寻求关注的焦点。虚拟会议的参与者期望这些附加特征通过视频和音频与虚拟会议的进展保持同步,以便视频会议的参与者有效地使用这些特征。因此,开发一种技术,以满足在虚拟会议期间改善参与者之间的交互的需要是可取的。
本文所公开的方面已经作出关于这些和其他一般性考虑。此外,尽管可以讨论相对具体的问题,但应当理解,这些示例不应局限于解决在背景技术中或本公开中的其他地方标识的特定问题。
发明内容
根据本公开,通过在虚拟会议期间基于虚拟会议的上下文和状态自动更新单个参与者的参与者指示请求来解决以上和其他问题。在各方面中,“虚拟会议”指的是参与者之间通过网络进行的远程会议的会话。远程会议可以使用视频、音频或两者。
本公开涉及在虚拟会议期间自动控制参与者的参与者指示请求。所公开的技术使用会议状态和对话模型来基于会议数据来确定虚拟会议的个体参与者的上下文。会议数据包括视频、音频和声学数据。所公开的技术依次使用所确定的上下文来确定会议状态。在各方面中,会议状态描述了虚拟会议的各种状态。会议状态包括但不限于,单向演示、对话、轮询等。对话模型包括用于对参与虚拟会议的上下文进行建模的全局模型,其在虚拟会议的所有参与者中是通用的。附加地或备选地,对话模型包括虚拟会议的个体参与者的个体模型。
上下文确定器确定虚拟会议的上下文以及虚拟会议的个体参与者的上下文。上下文确定器标识接收到的会议数据(例如,视频、音频和声学数据)中的个体,并且还通过基于面部表情、手势和话语确定由个体作出的各种提示来确定虚拟会议中的个体的上下文。
会议状态管理器基于所确定的上下文来确定和更新虚拟会议的状态。例如,当虚拟会议的主持人主要以单向通信向参与者提供演示时,状态可以是主持人演示。参与者可以在主持人发言期间举手要求主持人注意力焦点,并让参与者发言提问。当主持人通过虚拟会议的参与者举手对响应进行轮询时,示例状态可以是轮询。参与者可以举手以对一个或多个可供选择的方案进行投票。
参与者指示控制器控制虚拟会议的相应参与者的参与者指示请求的状态。例如,参与者指示控制器可以通过举起或放下虚拟会议的选定参与者的手来控制参与者指示请求。在各方面中,举手可以被显示为图形用户界面中的图形指示符和/或图标(例如,手),该图形用户界面与主持人的图形用户界面中的参与者和虚拟会议的其他参与者相关联。
在各方面中,术语“参与者指示请求”指的是由虚拟会议的参与者中的一个参与者提出的请求,以引起至少会议主持人的注意或关注。例如,举手特征是虚拟会议应用系统中参与者指示请求的一种类型。当参与者向主持人提问或需要主持人给予关注时,参与者可以举手。附加地或备选地,当主持人通过响应以选择一个或多个选项来对某些主题进行轮询时,参与者可以举手。
当参与者忘记或忽略放下已举起的手时,即使在参与者已经发言或提问之后,也可能会出现问题。举起并无意中保持举起的手可能会引起主持人不必要的关注,从而中断虚拟会议。也可能存在这样一种情况,即手可能一直被举起,因为参与者想继续提问。
提供本发明内容是为了以简化形式介绍一组概念,这将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在用来限制所要求保护的主题的范围。示例的附加方面、特征和/或优点将部分地在下面的描述中阐述,并且部分地将从本公开的描述中显而易见,或者可以通过本公开的实践来了解。
附图说明
参考下面的附图描述非限制性和非穷举的示例。
图1示出了根据本公开的各方面的用于自动控制参与者指示请求的示例系统的概述。
图2示出了根据本公开的各方面的参与者指示模型的示例。
图3示出了根据本公开的各方面的会议状态的示例。
图4A示出了根据本公开的各方面的处理参与者指示请求的自动控制的示例。
图4B示出了根据本公开的各方面的处理参与者指示请求的自动控制的示例。
图5示出了根据本公开的各方面的虚拟会议应用的交互式用户界面的示例。
图6A示出了根据本公开的各方面的用于自动控制参与者指示请求的方法的示例。
图6B示出了根据本公开的各方面的用于自动控制参与者指示请求的方法的示例。
图7是示出可用于实践本公开的各方面的计算设备的示例物理组件的框图。
图8A是可用于实践本公开的各方面的移动计算设备的简图。
图8B是可用于实践本公开的各方面的移动计算设备的另一简化框图。
具体实施方式
下面参考附图更全面地描述本公开的各个方面,附图形成本公开的一部分,并且示出了具体的示例方面。然而,本公开的不同方面可以以许多不同的方式实现,并且不应被解释为限于本文陈述的方面;相反,提供这些方面使得本公开将是彻底和完整的,并且将向本领域技术人员充分传达这些方面的范围。各方面可以作为方法、系统或设备来实施。因此,各方面可以采取硬件实现、完全软件实现或结合软件和硬件方面的实现的形式。因此,下面的详细描述不是在限制意义上理解的。
本申请涉及用于自动控制虚拟会议中的参与者指示请求的系统和方法。参与者指示控制器可以响应于检测到来自虚拟会议的主持人和参与者的视觉和声学(acoustic)数据而举起或放下参与者指示请求。具体地,上下文确定器可以基于与虚拟会议相关联的数据来确定正在进行的虚拟会议的上下文。数据可以包括虚拟会议参与者之间的视频、音频语音、声学数据以及聊天文本和图像。
上下文确定器使用全局参与者指示模型和个体参与者指示模型。参与者指示模型表示描述会议中的个体或个体组的模型,作为全局、通用或个体化模型。例如,全局参与者指示模型可以指示会议参与者向远离相机的预定角度的方向看去、麦克风是静音的、并且与某人交谈的时间超过预定时间段的视频场景。该模型可以定义视频场景被转换成参与者至少没有演示的上下文。该模型还可以预测指示放下与该参与者相关联的手的参与者指示请求。在一些方面中,该模型基于虚拟会议的一个或多个属性以一个或多个置信度水平来预测会议上下文。在一些其他方面中,参与者指示模型是可以至少使用虚拟会议的相应参与者的会议数据来训练的。附加地或备选地,可以使用来自先前会议的会议数据来训练参与者指示模型。在各方面中,先前会议可以包括具有与参与者相关联的对话的先前虚拟会议。
如下文更详细讨论的,本公开涉及用于自动控制虚拟会议中的参与者指示请求的系统和方法。参与者指示请求可以包括系统的举手特征。例如,虚拟会议的参与者可能想要吸引来自虚拟会议主持人的注意力焦点以提问。参与者可以通过激活举手特征来发出参与者指示请求。激活参与者指示请求(例如,举手)可以使得系统至少在会议主持人的屏幕上显示代表参与者的手的图形表示(例如,图标)。这样,主持人就会注意到举手,并允许参与者提问。在一些方面中,该系统为参与者或主持人提供了一种方法,一旦主持人允许参与者在虚拟会议上发言并讲话,该方法就手动放下参与者的手。
本技术解决了参与者忽略去激活(deactivate)参与者指示请求(例如,放下已举起的手)的问题,即使例如在参与者有机会吸引主持人的注意力焦点并提问之后,或者当参与者不再对注意力焦点感兴趣时(例如,对话的主题改变)。
图1示出根据本公开的各方面的用于自动控制参与者指示请求的示例系统100的概述。系统100表示用于通过网络在远程位置处的一个或多个主持人和参与者之间进行虚拟会议的系统。系统100包括客户端设备102A-B、应用服务器110和虚拟会议服务器120。客户端设备102A-B与应用服务器110通信,应用服务器110包括作为应用在客户端设备102A-B上执行的一个或多个指令集。客户端设备102A包括交互式界面104A。客户端设备102A可以由虚拟会议的主持人使用。客户端设备102B包括交互式界面104B。客户端设备102B可以由虚拟会议的参与者使用。虚拟会议服务器120包括会议数据接收器122(视频/音频)、聊天控制器124(文本/图像)、上下文确定器126(视频/音频/UI)、会议状态管理器128、参与者指示控制器130和参与者指示模型132。参与者指示模型132包括个体参与者指示模型134和全局参与者指示模型136。
客户端设备102A(主持人)经由网络150与应用服务器110连接,以执行包括通过交互式界面104A的用户交互的应用。客户端设备102A(主持人)中的交互式界面104A包括交互式虚拟会议应用和/或交互式浏览器,以供客户端交互地参与虚拟会议。客户端设备102B(参与者)经由网络150与应用服务器110连接,以执行包括通过交互式界面104B的用户交互的应用。客户端设备102B(参与者)中的交互式界面104B包括用于客户端交互地参与虚拟会议的交互式虚拟会议应用和/或交互式浏览器。应用服务器110经由网络150与客户端设备102A(主持人)、客户端设备102B(参与者)和虚拟会议服务器120交互,以执行虚拟会议应用服务。在各方面中,虚拟会议包括在系统的用户之间使用远程位置处的客户端设备之间的视频和/或音频数据馈送的远程会议。在一些方面中,虚拟会议可以包括附加特征,包括聊天特征。聊天特征使虚拟会议的参与者能够直接在特定用户之间或在会议发言区交换文本和图像。聊天可以在举行视频/音频会议的同时进行。
客户端设备102A(主持人)和客户端设备102B(参与者)是计算机设备。计算机设备例如分别经由交互式界面104A和交互式界面104B提供用户输入能力。计算机设备通过网络150通用执行虚拟会议。在一些方面中,虚拟会议的主持人使用客户端设备102A(主持人)。虚拟会议的参与者使用客户端设备102B(参与者)。在各方面中,“主持人”组织和促进虚拟会议。例如,响应于对虚拟会议的邀请,“参与者”可以加入虚拟会议。
应用服务器110是使用户(例如,主持人和参与者)能够分别在客户端设备102A(主持人)和客户端设备102B(参与者)上交互使用系统100的服务器。应用服务器110可以包含包括虚拟会议应用112的应用。虚拟会议应用112可以提供虚拟会议的各种特征的呈现以供用户查看和交互。
在各方面中,虚拟会议应用112可以与执行虚拟会议服务的虚拟会议服务器120连接。虚拟会议服务器120用作虚拟会议应用服务的服务器。在各方面中,虚拟会议应用112通过网络150与虚拟会议服务器120的会议数据接收器122通信。虚拟会议应用112还可以与虚拟会议服务器120的聊天控制器124通信,以在用户之间的虚拟会议期间发送和接收用于聊天消息传递的文本和图像数据。在各方面中,虚拟会议可以具有多于一个的主持人和多于一个的参与者。
虚拟会议服务器120通过控制相应虚拟会议、通过网络150分别向客户端设备102A(主持人)和客户端设备102B(参与者)接收和发送视频和声学数据来执行虚拟会议。虚拟会议服务器120还提供用于虚拟会议的各种附加特征。例如,虚拟会议服务器120可以在虚拟会议期间接收和发送文本和图像数据作为聊天消息传递特征的一部分。
会议数据接收器122(视频/音频)在虚拟会议期间从客户端设备102A(主持人)和客户端设备102B(参与者)接收会议数据。会议数据可以包括主持人和参与者的视频流和音频话语数据以及音频话语。在各方面中,会议数据接收器122(视频/音频)还可以接收背景声音的声学数据。在一些方面中,会议数据接收器122(视频/音频)可以接收用于主持人和参与者之间的屏幕共享的数据。
聊天控制器124(文本/图像)控制虚拟会议应用的聊天消息传递特征。聊天消息使虚拟会议的主持人和参与者能够在虚拟会议期间交换文本和图像数据作为聊天消息。聊天消息可以直接在特定主持人和参与者之间(包括主持人之间、参与者之间)。聊天消息传递可以在主持人和参与者举行视频和/或音频实时远程会议时发生。
上下文确定器126确定虚拟会议的个体主持人和参与者的上下文。在一个示例中,上下文确定器126对接收到的会议数据使用参与者指示模型132来确定上下文。在各方面中,上下文确定器126使用特定于特定主持人或参与者的个体参与者指示模型134来确定情境。例如,个体参与者指示模型134之一对应于在系统自动去激活参与者指示请求之后的预定时间段内例行地重新激活参与者指示请求(例如,举手)的参与者。参与者在发言结束后手动去激活参与者指示请求,并且主持人开始发言。因此,参与者的模型可能已经基于使用模式进行学习,以防止参与者指示控件被自动去激活,直到主持人在参与者停止讲话之后立即开始发言。在一些方面中,上下文确定器126包括自然语言识别以识别主持人和参与者所说的词语。
在一些其他方面中,全局参与者指示模型136包括虚拟会议的所有主持人和参与者通用的模型。例如,当接收到的会议数据包括主持人在使用虚拟会议的轮询特征之后改变演示或讨论的主题的话语时,可以存在去激活虚拟会议的所有参与者的参与者指示请求的通用模型。
在一些方面中,参与者指示模型的输出包括预测的置信度水平的值。在各方面中,预测的置信度水平的值可以与预测的备选方案的概率分布相关联。例如,当预测的可能性越高时,预测的置信度水平的值就越高。
会议状态管理器128基于所确定的虚拟会议的相应主持人和参与者的上下文来确定会议状态。在各方面中,会议状态可以包括主持人演示状态、参与者演示状态、对话状态和轮询状态。例如,当所确定的虚拟会议的用户的上下文指示主持人发言超过预定时间时,会议状态管理器128可以将主持人演示状态确定为会议状态。类似地,当所确定的虚拟会议的用户的上下文指示发言超过预定时间的参与者时,会议状态管理器128可以将参与者演示状态确定为会议状态。当所确定的上下文指示主持人提到进行轮询时,会议状态管理器128可以将轮询确定为会议状态。
参与者指示控制器130自动控制针对虚拟会议的主持人和参与者的参与者指示请求。在各方面中,参与者指示请求可以指寻求虚拟会议的主持人和参与者的注意力焦点的通知。例如,举手特征可以表示一些虚拟会议应用的参与者指示特征。在各方面中,参与者指示控制器130基于特定用户的所确定的上下文来更新该特定用户的参与者指示请求(例如,举起或放下手)的状态。在一些其他方面中,参与者指示控制器130可以响应于会议状态的改变来更新特定用户的参与者指示请求。例如,当会议状态从轮询状态改变到另一状态时,参与者指示控制器130可以去激活虚拟会议的用户的活动参与者指示请求。轮询状态使用参与者指示请求作为用户表达用于轮询的相应选项的手段。
在各方面中,当基于参与者指示模型的输出的预测的置信度水平小于预定义阈值时,参与者指示控制器130可以向参与者发送警报。该警报可以包括当参与者不再有兴趣举手以获得虚拟会议的焦点时请求参与者放下手的消息。当置信度水平高于阈值时,参与者指示控制器130可以自动去激活参与者指示请求并放下手。
如将理解的,参考图1描述的各种方法、设备、应用、特征等并不旨在将系统100限制为由所描述的特定应用和特征来执行。因此,可以使用附加的控制器配置来实践本文的方法和系统,和/或可以在不偏离本文公开的方法和系统的情况下排除所描述的特征和应用。
图2示出了根据本公开的各方面的参与者指示模型的示例。示例200包括参与者指示模型202。参与者指示模型202包括全局参与者指示模型204和一组个体参与者指示模型206A-C。在各方面中,全局参与者指示模型204使得能够确定跨虚拟会议的用户通用的上下文。例如,全局参与者指示模型包括虚拟会议中的发言者将话语的主题从一个主题改变到另一个主题的场景。来自针对该场景的全局参与者指示模型的输出可以是由于主题的改变而去激活虚拟会议的所有参与者的参与者指示请求。
特定于会议的参与者指示模型208允许确定特定于一个或多个虚拟会议的上下文。例如,特定于会议的参与者指示模型208可以特定于特定人群的一系列每周工作人员会议。特定于组织的参与者指示模型210使得能够确定特定于至少组织的组的上下文。例如,特定于组织的参与者指示模型210可以特定于由组织的产品营销小组举行的虚拟会议。
在一些方面中,个体参与者指示模型134包括特定于主持人或参与者的模型。例如,个体参与者指示模型134可以捕捉个体用户的一些习惯,这些用户倾向于在其他人在预定时间内讲话时忘记放下手和手动放下手。该场景下的个体参与者指示模型134指定当主持人或参与者结束讲话然后其他人开始讲话时去激活针对主持人或参与者的参与者指示请求。
图3示出了根据本公开的各方面的会议状态的示例。示例300示出了一组会议状态302。该组会议状态302可以包括但不限于主持人演示304、参与者演示306、对话308和轮询310。每个会议状态302表示虚拟会议的不同状态。例如,主持人演示304对应于其中主持人话语并提供演示而其他人收听主持人的虚拟会议的状态。主持人演示304状态可以适应参与者激活相应的参与者指示请求(例如,举手)和提问。类似地,参与者演示306状态表示虚拟会议的参与者提供演示和/或主要发言超过预定时间的情况。在参与者演示306期间,主持人和其他参与者可以激活参与者指示请求以从主持人和发言参与者请求注意力焦点以提问。
对话308状态表示多于一个用户正在交互地发言而没有他们中的任何一个主导的情况。例如,虚拟会议期间的Q&A会话和自由讨论可以对应于对话308状态。在各方面中,对话308状态可以允许参与者在相应的参与者希望引起主持人的注意力焦点时激活参与者指示请求,并给参与者发言权以提问。在一些其他方面中,对话308状态可以与参与者高度交互,每次交谈少于预定的话语持续时间。因此,在一些方面中,对话308状态可以禁用所有参与者指示请求,并鼓励参与者在视频屏幕上发言或挥手。
轮询状态310表示主持人正在对虚拟会议的主持人和参与者进行轮询的情况。在各方面中,虚拟会议服务器可以接收由主持人作出的话语语音,以请求参与者对给定问题的一个或多个选项或答案进行投票。因此,参与者可以激活参与者指示请求(例如,举手)以响应来自主持人的问题进行投票。主持人可以计算选票数以确定轮询的结果。
在各方面中,当虚拟会议的状态从一个改变到另一个时,会议状态管理器(例如,图1中的会议状态管理器128)可以确定和更新虚拟会议的会议状态。当状态改变时,参与者指示控制器130可以去激活虚拟会议的一个或多个参与者的活动参与者指示请求。例如,当会议状态在轮询310状态和任何其他状态之间改变时,参与者指示控制器130可以自动去激活虚拟会议的所有参与者的参与者指示请求。在轮询期间使用参与者指示请求的目的是投票,这不同于在任何其他会议状态下向主持人请求注意力焦点以提问。在一些其他方面中,当会议状态从对话308模式改变到主持人演示304状态时,参与者指示控制器130可以去激活虚拟会议的主持人的活动参与者指示请求。当会议状态是主持人演示304时,主持人具有发言权的控制权。
图4A示出了根据本公开的各方面的在虚拟会议期间自动控制参与者指示请求的示例。示例400A示出了虚拟会议系统中的操作序列。客户端设备402(会议主持人)发送虚拟会议主持人的语音话语420,以通过开始回放陈述“如果你同意请举手”来征集投票以用于轮询。上下文确定器408基于主持人的自然语言话语来确定将轮询作为上下文。会议状态管理器410将轮询设置为会议状态。轮询开始424。当听到主持人请求投票时,客户端设备404(参与者)通过图形用户界面交互地激活参与者指示请求(例如,举手)。会议数据接收器406接收用户界面选择的改变。然后,会议数据接收器406向上下文确定器408发送作为接收到的用户交互命令的“举手”428。上下文确定器408相应地结合参与者指示模型的使用来确定该上下文将激活针对该参与者的参与者指示请求。因此,上下文确定器408发送命令430以激活针对参与者的参与者指示请求。参与者指示控制器412进而发送命令432以在客户端设备404(参与者)中显示活动参与者指示(例如,举手),以及另一命令434以在客户端设备402(会议主持人)中显示活动参与者指示。
在轮询结束之后,使用客户端设备402的会议主持人(会议主持人)可以发出话语436“让我们结束轮询”。基于该话语,上下文确定器408可以确定会议的上下文是结束轮询。基于所确定的结束轮询的上下文,会议状态管理器410可以结束轮询440并开始主持人演示452作为新会议状态。因此,上下文确定器408向参与者指示控制器412发送用于去激活参与者指示请求442的命令。参与者指示控制器412然后向客户端设备404(参与者)发送命令以显示不活动参与者指示(例如,放下手)444,并向客户端设备402(会议主持人)发送另一命令以显示不活动参与者指示(例如,放下手)446。随后,主持人开始发言,并且客户端设备402(会议主持人)将主持人话语448发送到上下文确定器408。上下文确定器408基于该话语和参与者指示模型来确定新的上下文是主持人演示。会议状态管理器410基于所确定的上下文将会议状态更新450为主持人演示。
图5示出了根据本公开的客户端设备上的虚拟会议应用的示例用户界面。具体地,示例500示出了在主持人504、参与者A 506和参与者B 508之间发生的虚拟会议的示例。会议标题502是“每周会议”。示例500是如左下角所示的参与者A 510的应用屏幕。示例500示出了虚拟会议中相应用户的三个图标:主持人504、参与者A 506和参与者B 508。针对参与者A 506的图标包括手形图标的图形指示符,其表示参与者成为虚拟会议焦点的兴趣。在各方面中,图形指示的显示状态基于参与者A做出的参与者指示请求。
示例500指示用于控制加入呼叫的参与者A的设置的图标。在该示例中,A的视频开启512,并且A的麦克风开启514。例如,用于改变参与者指示请求的图标,手形图标516(举手)指示激活请求是活动的(例如,举手)。在各方面中,参与指示请求的活动状态可以通过参与者A的图形表示506的图形表示的附近区域中的手形图标516和手的指示来图形显示。如果用户选择了离开会议518按钮,则结束会议。
图6A是根据本公开的各方面的用于自动控制参与者指示请求的方法的示例。图6A中示出了方法600A的操作的一般顺序。一般而言,方法600A以开始操作602开始,并以结束操作618结束。方法600A可以包括更多或更少的步骤,或者可以与图6A中所示的步骤不同地排列步骤的顺序。方法600A可以作为由计算机系统执行并被编码或存储在计算机可读介质上的一组计算机可执行指令来执行。此外,方法600A可以由与处理器、ASIC、FPGA、SOC或其他硬件设备相关联的门或电路来执行。下文中,将参考结合图1、图2、图3、图4、图5、图6B、图7和图8A-图8B描述的系统、组件、设备、模块、软件、数据结构、数据特性表示、信令图、方法等来解释方法600A。
在开始操作602之后,方法600从接收操作604开始,该接收操作604从客户端设备接收虚拟会议的会议数据。会议数据可以包括视频数据、音频数据和背景声学数据。例如,会议数据可以包括由主持人的发出的话语作为音频数据。在各方面中,接收操作604可以接收虚拟会议的参与者对参与者兴趣的指示。参与者兴趣包括参与虚拟会议中的对话。例如,指示可以是一种或多种形式,包括视频数据、音频数据、计时器(例如,虚拟会议的剩余时间)、聊天文本或图像数据。
激活操作606激活针对虚拟会议的参与者的参与者指示请求。在各方面中,激活操作606可以响应于参与者交互地选择虚拟会议应用中的图标之一(例如,图5中的手形图标516),以激活参与者指示请求(例如,举手)。附加地或备选地,激活操作606可以包括从参与者指示请求的先前状态更新参与者指示请求的更新操作。
接收操作608从客户端设备接收与虚拟会议相关联的后续会议数据。后续会议数据可以在先前已经在激活操作606中接收以更新参与者指示请求的会议数据之后。会议数据可以包括视频数据、音频数据和背景声学数据。例如,会议数据可以包括由主持人的发出的话语作为音频数据。在各方面中,接收操作608可以接收视频数据、音频数据、计时器(例如,虚拟会议的剩余时间)、聊天文本或图像数据。
确定操作610使用全局参与者指示模型来确定全局会议上下文。在各方面中,全局参与者指示模型包括用于确定虚拟会议的主持人和参与者之间可能通用的上下文的条件。例如,确定操作610可以确定演示的主题已经结束并且在分配给虚拟会议的时间中没有更多剩余时间。在各方面中,话题结束和剩余时间不多的组合可以对应于自动去激活针对虚拟会议的至少一个参与者的活动参与者指示请求。在一些其他方面中,确定操作610分析接收到的视频提示和信号。确定操作610确定特定参与者看起来走神,目光移开,并且对主持人和其他参与者没有反应。确定操作608还确定针对该特定参与者的参与者指示请求是活动的。因此,确定操作610确定上下文是参与者没有参与会议,并且因此去激活针对该参与者的参与者指示请求是适当的。
确定操作612确定虚拟会议的相应主持人和参与者的个体会议上下文。具体地,确定操作612可以针对特定主持人或参与者使用全局参与者指示模型和个体参与者指示模型的组合。在各方面中,个体参与者指示模型是特定于个体的。例如,可以基于这样的事实来训练针对参与者的个体参与者指示模型:一旦轮询完成之后系统自动去激活参与者指示请求,参与者通常手动激活参与者指示请求。因此,即使系统去激活针对虚拟会议的其余参与者的活动参与者指示请求,确定操作612也可以确定保留活动参与者指示请求。在一些方面中,确定操作612可以包括通过改变上下文中的权重来聚合全局会议上下文和个体会议上下文,并生成聚合的会议上下文。在一些方面中,权重可以基于包括虚拟会议和参与者的属性和话题的属性。
确定操作614确定虚拟会议的会议状态。具体地,确定操作614可以使用所确定的会议上下文来确定会议状态。例如,会议状态可以是以下之一:主持人演示、参与者演示、对话和轮询。主持人演示表示主持人向虚拟会议的参与者进行演示,主要是以与主持人单向的方式。参与者可以通过激活参与者指示请求(例如,举手)向主持人提问。参与者演示表示在虚拟会议中向其他人进行演示的参与者之一。虚拟会议允许通过激活参与者指示请求来提问。对话状态表示虚拟会议参与者之间的自由双向或多向对话。在没有正式的发言队列的情况下,自发话语可能很普遍。例如,轮询状态表示主持人使用虚拟会议的举手特征对特定话题进行轮询。在一些方面中,确定操作614可以基于聚合的会议上下文来确定会议状态。
更新操作616基于所确定的会议上下文和/或会议状态自动更新参与者指示请求。具体地,更新操作616可以激活或去激活参与者指示请求(例如,举起或放下手)。更新操作616使与虚拟会议相关联的相应客户端设备以更新状态显示参与者指示请求。结束操作618结束方法600A。
如应该理解的,操作602-618是为了说明本方法和系统的目的而描述的,并且不旨在将本公开限于特定的步骤序列,例如,可以以不同的顺序执行步骤,可以执行额外的步骤,并且可以在不脱离本公开的情况下排除所公开的步骤。
图6B是根据本公开的各方面的用于自动控制参与者指示请求的方法的示例。图6B中示出了方法600B的操作的一般顺序。通常,方法600B以开始操作640开始,并以结束操作652结束。方法600B可以包括更多或更少的步骤,或者可以与图6B中所示的步骤不同地排列步骤的顺序。方法600B可以作为由计算机系统执行并被编码或存储在计算机可读介质上的一组计算机可执行指令来执行。此外,方法600B可以由与处理器、ASIC、FPGA、SOC或其他硬件设备相关联的门或电路来执行。下文中,将参考结合图1、图2、图3、图4、图5、图6A、图7和图8A-图8B描述的系统、组件、设备、模块、软件、数据结构、数据特性表示、信令图、方法等来解释方法600B。
在开始操作640之后,方法600B从接收操作642开始,接收操作642接收虚拟会议的参与者的会议数据。在各方面中,会议数据可以包括例如参与虚拟会议的参与者的视频流、来自参与者的音频数据和/或来自参与者的背景声学数据。在各方面中,接收操作642以同步方式接收参与者的会议数据以及虚拟会议的所有其他参与者的会议数据,以用于多路复用相应的会议数据并将其发送到相应的客户端设备。
接收操作644接收针对虚拟会议的参与者的聊天消息。在各方面中,虚拟会议应用服务器向虚拟会议的主持人和参与者提供聊天消息传递特征,以在他们经由视频和音频参与虚拟会议时交换文本和图像。在一些方面中,参与者可以使用聊天消息传递来发送和接收使用视频和音频数据流补充虚拟会议的评论和信息。
标识操作646标识上下文指示需要自动更新参与者指示请求的提示。提示是会议数据(视频/音频/背景声学数据等)中的一些指示。该提示具有隐含用于自动控制参与者指示请求的上下文的某种含义。在各方面中,标识操作646基于针对参与者的参与者指示请求的状态和参与者发送聊天消息的定时的组合来标识提示。例如,作为自动禁用参与者指示请求的原因的提示可以包括条件的组合。例如,该组合可以包括具有活动参与者指示请求和主动发送(或接收)聊天消息的参与者。
附加地或备选地,提示可以包括背景声音(例如,电话铃声、与参与者交谈的另一个人、以及来自虚拟会议的其他音频数据和声学信号数据)中的特定噪声或声音中的一个或多个。该提示还可以包括使用消息传递的文本对话、语音话语、隐藏字幕数据、客户端设备(例如,客户端设备102B(参与者))上的鼠标/指针移动、与参与者相关联的眼睛注视、以及与参与者相关联的相机信息。该提示还可以包括与参与者相关联的面部信息、与参与者相关联的指示或可推断关于放下举起的手的手势信息、以及与用户举起或放下手的偏好相关联的预定义信息。例如,具有在背景声音中检测到的另一个人正在与参与者交谈的提示可以放下手,因为尽管参与者已经通过举手请求主持人的注意力焦点,但是参与者并不专注于参与虚拟会议。
确定操作648基于全局参与者指示模型和个体参与者指示模型来确定针对个体的动作的上下文。在各方面中,确定操作648使用全局参与者指示模型来确定与虚拟会议的其他参与者通用的上下文。确定操作648使用个体参与者指示模型来确定特定于该参与者的上下文。例如,确定操作648可以如下确定包括参与者具有活动参与者指示请求和主动发送(或接收)聊天消息的条件组合的提示:参与者正专注于聊天消息传递,可能提问,并且不再对保持举手感兴趣。在另一示例中,个体参与者指示模型可能已被训练为即使在频繁聊天消息传递正在发生时也保持参与者指示请求活动。
去激活操作650响应于参与者使用聊天消息主动与其他参与者通信的所确定的上下文,自动去激活针对该参与者的参与者指示请求。在各方面中,虚拟会议服务器解释为当参与者举手但通过聊天消息传递进行通信时,参与者可能不再对参与者指示请求感兴趣。去激活操作650更新显示在用于虚拟会议的所有客户端设备上放下的参与者指示请求(例如,手)。附加地或备选地,去激活操作650可以向参与者发送通知。如果参与者不再有参与兴趣或者不再需要举手,可以通知参与者放下手。结束操作652结束方法600B。
如应该理解的,操作640-652是为了说明本方法和系统的目的而描述的,并且不旨在将本公开限于特定的步骤序列,例如,可以以不同的顺序执行步骤,可以执行额外的步骤,并且可以在不脱离本公开的情况下排除所公开的步骤。
图7是示出计算设备700的物理组件(例如,硬件)的框图,可以利用该物理组件(例如,硬件)来实践本公开的各方面。下面描述的计算设备组件可以适用于上述计算设备。在基本配置中,计算设备700可以包括至少一个处理单元702和系统存储器704。根据计算设备的配置和类型,系统存储器704可以包括但不限于易失性存储器(例如,随机存取存储器)、非易失性存储器(例如,只读存储器)、闪存或这些存储器的任何组合。系统存储器704可以包括操作系统705和适合于执行本文公开的各个方面的一个或多个程序工具706。例如,操作系统705可以适合于控制计算设备700的操作。此外,本公开的各方面可以结合图形库、其他操作系统或任何其他应用程序来实施,并且不限于任何特定应用或系统。该基本配置在图7中由虚线708内的那些组件示出。计算设备700可以具有附加特征或功能。例如,计算设备700还可以包括附加数据存储设备(可移除和/或不可移除),例如磁盘、光盘或磁带。这种附加存储在图7中由可移除存储设备709和不可移除存储设备710示出。
如上所述,多个程序工具和数据文件可以存储在系统存储器704中。当在至少一个处理单元702上执行时,程序工具706(例如,应用720)可以执行包括但不限于本文描述的方面的处理。应用720包括会议数据接收器722、聊天控制器724、上下文确定器726、会议状态管理器728和参与者指示控制器730,如参考图1更详细地描述的。根据本公开的各方面可以使用的其他程序工具可以包括电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、绘图或计算机辅助应用程序等。
此外,本公开的各方面可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路、或在包含电子元件或微处理器的单个芯片上实现。例如,本公开的各方面可以通过片上系统(SOC)来实现,其中图7中所示的每个或许多组件可以集成到单个集成电路上。这种SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能,所有这些都作为单个集成电路集成(或烧录)到芯片衬底上。当通过SOC操作时,本文相对于客户端切换协议的能力所描述的功能可以经由与计算设备700的其他组件集成在单个集成电路(芯片)上的专用逻辑来操作。本公开的各方面也可以使用能够执行逻辑运算的其他技术来实现,例如,与、或和非,包括但不限于机械、光学、流体和量子技术。此外,本公开的各方面可以在通用计算机内或在任何其他电路或系统中实施。
计算设备还可以具有一个或多个输入设备712,例如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。还可以包括(多个)输出设备714,例如显示器、扬声器、打印机等。上述设备是示例,也可以使用其他设备。计算设备700可以包括允许与其他计算设备750通信的一个或多个通信连接716。合适的通信连接716的示例包括但不限于射频(RF)发送器、接收器和/或收发机电路;通用串行总线(USB)、并行和/或串行端口。
本文使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质,诸如计算机可读指令、数据结构或程序工具。系统存储器704、可移除存储设备709和不可移除存储设备710都是计算机存储介质示例(例如,存储器存储设备)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、盒式磁带、磁带、磁盘存储或其他磁存储设备、或可用于存储信息并可由计算设备700访问的任何其他制造产品。任何这样的计算机存储介质可以是计算设备700的一部分。计算机存储介质不包括载波或其他传播或调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序工具或调制数据信号中的其他数据来实现,例如载波或其他传输机制,并且包括任何信息递送介质。术语“调制数据信号”可以描述这样的信号,该信号具有以编码信号中的信息的方式设置或改变的一个或多个特性。作为示例而非限制,通信介质可以包括诸如有线网络或直接有线连接的有线介质,以及诸如声学、射频(RF)、红外和其他无线介质的无线介质。
图8A和图8B示出了计算设备或移动计算设备800,例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机等,可以用它们来实践本公开的各方面。在一些方面中,用户(例如,图1中的客户端设备102的用户)使用的客户端可以是移动计算设备。参考图8A,示出了用于实现这些方面的移动计算设备800的一个方面。在基本配置中,移动计算设备800是具有输入元件和输出元件两者的手持式计算机。移动计算设备800通常包括显示器805和允许用户将信息输入到移动计算设备800中的一个或多个输入按钮810。移动计算设备800的显示器805还可以用作输入设备(例如,触摸屏显示器)。如果作为可选输入元件被包括,则侧输入元件815允许进一步的用户输入。侧输入元件815可以是旋转开关、按钮或任何其他类型的手动输入元件。在备选方面中,移动计算设备800可以并入更多或更少输入元件。例如,在某些方面,显示器805可以不是触摸屏。在另一个可选方面,移动计算设备800是便携式电话系统,例如蜂窝电话。移动计算设备800还可以包括可选小键盘835。可选小键盘835可以是物理小键盘或在触摸屏显示器上生成的“软”小键盘。在各个方面,输出元件包括用于示出图形用户界面(GUI)的显示器805、视觉指示符820(例如,发光二极管)和/或音频换能器825(例如,扬声器)。在一些方面中,移动计算设备800结合了用于向用户提供触觉反馈的振动换能器。在又一个方面,移动计算设备800结合了输入和/或输出端口,诸如用于向外部设备发送信号或从外部设备接收信号的音频输入(例如麦克风插孔)、音频输出(例如耳机插孔)和视频输出(例如HDMI端口)。
图8B是示出计算设备、服务器(例如,图1中的应用服务器110和虚拟会议服务器120)、移动计算设备等的一个方面的架构的框图。也就是说,移动计算设备800可以结合系统802(例如,系统架构)来实现一些方面。系统802可以被实现为能够运行一个或多个应用(例如,浏览器、电子邮件、日历、联系人管理器、消息传递客户端、游戏和介质客户端/播放器)的“智能电话”。在一些方面中,系统802被集成为计算设备,诸如集成数字助理(PDA)和无线电话。
一个或多个应用程序866可被加载到存储器862中并在操作系统864上运行或与操作系统864相关联地运行。应用程序的示例包括电话拨号器程序、电子邮件程序、信息管理(PIM)程序、字处理程序、电子表格程序、互联网浏览器程序、消息传递程序等。系统802还包括存储器862内的非易失性存储区域868。非易失性存储区域868可用于存储在系统802断电时不应丢失的持久信息。应用程序866可以使用非易失性存储区域868中的信息并将其存储在非易失性存储区域868中,例如电子邮件或电子邮件应用使用的其他消息等。同步应用程序(未示出)也驻留在系统802上,并且被编程为与驻留在主计算机上的对应同步应用程序交互,以保持存储在非易失性存储区域868中的信息与存储在主计算机处的对应信息同步。如应该理解的,可以将其他应用加载到存储器862中并在本文描述的移动计算设备800上运行。
系统802具有可实现为一个或多个电池的电源870。电源870还可以包括外部电源,诸如AC适配器或对电池进行补充或充电的带电对接底座。
系统802还可以包括执行发送和接收射频通信的功能的无线电接口层872。无线电接口层872通过通信运营商或服务提供商促进系统802与“外部世界”之间的无线连接。去往和来自无线电接口层872的传输在操作系统864的控制下进行。换句话说,由无线电接口层872接收的通信可以经由操作系统864传播到应用程序866,反之亦然。
视觉指示符820(例如,LED)可用于提供视觉通知,和/或音频接口874可用于经由音频换能器825产生可听通知。在所示配置中,视觉指示符820是发光二极管(LED),而音频换能器825是扬声器。这些设备可以直接耦合到电源870,从而当被激活时,即使处理器860和其他组件可能为了节省电池电量而关闭,它们也在通知机制规定的持续时间内保持开启。LED可以被编程为无限期地保持亮起,直到用户采取行动指示设备的通电状态。音频接口874用于向用户提供可听信号并从用户接收可听信号。例如,除了耦合到音频换能器825之外,音频接口874还可以耦合到麦克风以接收声音输入,例如以便于电话交谈。根据本公开的各方面,麦克风还可以用作音频传感器以便于控制通知,如下所述。系统802还可以包括视频接口876,其使得机载相机830能够操作以记录静止图像、视频流等。
实现系统802的移动计算设备800可以具有附加特征或功能。例如,移动计算设备800还可以包括附加数据存储设备(可移动和/或不可移动),诸如磁盘、光盘或磁带。这种附加存储在图8B中由非易失性存储区域868示出。
如上所述,由移动计算设备800生成或捕获并经由系统802存储的数据/信息可被本地存储在移动计算设备800上,或者数据可被存储在可由设备经由无线电接口层872或经由移动计算设备800与移动计算设备800相关联的单独计算设备之间的有线连接访问的任意数量的存储介质上,例如分布式计算网络中的服务器计算机,诸如因特网。应当理解,这种数据/信息可以经由移动计算设备800经由无线电接口层872或经由分布式计算网络来访问。类似地,根据公知的数据/信息传输和存储装置,包括电子邮件和协作数据/信息共享系统,这种数据/信息可以容易地在计算设备之间传输以用于存储和使用。
本申请中提供的对一个或多个方面的描述和说明并不旨在以任何方式限制或限制根据权利要求所要求的公开内容的范围。所要求保护的公开不应被解释为限于任何方面,例如,或本申请中提供的细节。无论是结合还是分开示出和描述,各种特征(结构和方法两者)旨在被选择性地包括或省略,以产生具有特定特征集的实施例。已经向本申请提供了对本申请的描述和说明,本领域的技术人员可以设想在本申请中体现的一般发明概念的更广泛的方面的精神内的变化、修改和替换方面,其不偏离所要求保护的公开的更广泛的范围。
本公开涉及至少根据以下各节中提供的示例,自动更新虚拟会议中的参与者指示请求的系统和方法。该方法包括:接收参与者对成为虚拟会议的焦点的兴趣的指示;在接收到该指示之后,使得显示与参与者的兴趣相关联的图形指示符;在使得显示图形指示符之后,接收对应于虚拟会议的会议数据;基于会议数据,使用参与者指示模型来确定会议上下文,其中,参与者指示模型基于虚拟会议的一个或多个属性,以一个或多个置信度水平来预测会议上下文;以及基于所确定的会议上下文,自动去激活参与者的参与者指示。该方法还包括:至少基于所确定的会议上下文自动更新虚拟会议的参与者的参与者指示请求,其中参与者指示请求包括放下手;以及基于更新的参与者指示请求使得显示图形指示符,其中图形指示符对应于所放下的所述手。会议数据包括以下至少一项:一个或多个文本对话、音频数据、声学信号数据、语音话语、隐藏字幕数据、背景声音、鼠标/指针移动数据、与参与者相关联的眼睛注视、与参与者相关联的面部信息、与参与者相关联的手势信息、或与用户举起或放下手偏好相关联的预定义信息。参与者指示模型先前使用先前会议数据来训练,其中先前会议数据对应于与一个或多个先前虚拟会议相关联的一个或多个会议数据。基于来自参与者指示模型的输出的置信度水平,自动去激活参与者指示请求对应于以下至少一项:向参与者发送通知,其中该通知请求参与者在不再旨在参与时放下所述手,或者使得显示表示放下的手的图形指示符。参与者指示模型包括全局参与者指示模型和个体参与者指示模型,该方法还包括:至少基于全局参与者指示模型来确定通用会议上下文,其中通用会议上下文适用于虚拟会议的多个参与者;以及至少基于个体参与者指示模型来确定参与者的个体会议上下文。该方法还包括:接收从参与者发送的聊天消息;以及至少基于接收到的聊天消息和参与者的参与者指示请求的状态来确定会议上下文,其中参与者指示请求的状态为活动的。会议状态包括轮询,并且该方法还包括使用参与者指示模型确定会议上下文,其中会议上下文对应于轮询结束;以及基于所确定的会议上下文自动去激活虚拟会议的多个参与者的参与者指示请求。参与者指示模型包括特定于会议的参与者指示模型和特定于组织的参与者指示模型,该方法还包括至少基于特定于会议的参与者指示模型来确定通用会议上下文,其中通用会议上下文适用于虚拟会议和先前举行的虚拟会议的组合的多个参与者,其中多个参与者包括参与者;以及至少基于特定于组织的参与者指示模型来确定通用会议上下文,其中通用会议上下文适用于来自组织的多个参与者,其中组织包括参与者。
该技术的另一方面涉及一种用于自动更新虚拟会议中的参与者指示请求的系统。该系统包括:处理器;以及存储计算机可执行指令的存储器,计算机可执行指令当由处理器执行时,使得该系统:接收参与者对成为虚拟会议的焦点的兴趣的指示;在接收到该指示之后,使得显示与参与者的兴趣相关联的图形指示符;在使得显示图形指示符之后,接收对应于虚拟会议的会议数据;基于会议数据,使用参与者指示模型来确定会议上下文,其中参与者指示模型基于虚拟会议的一个或多个属性以一个或多个置信度水平来预测会议上下文;以及基于所确定的会议上下文自动去激活参与者的参与者指示。计算机可执行指令当被执行时,还使得该系统:至少基于所确定的会议上下文自动更新虚拟会议的参与者的参与者指示请求。其中参与者指示请求包括放下手;以及基于更新的参与者指示请求使得显示图形指示符,其中图形指示符对应于所放下的所述手。会议数据包括以下至少一项:一个或多个文本对话、音频数据、声学信号数据、语音话语、隐藏字幕数据、背景声音、鼠标/指针移动数据、与参与者相关联的眼睛注视、与参与者相关联的面部信息、与参与者相关联的手势信息、或与用户举起或放下手偏好相关联的预定义信息。参与者指示模型先前使用先前会议数据来训练,其中先前会议数据对应于与一个或多个先前虚拟会议相关联的一个或多个会议数据。基于来自参与者指示模型的输出的置信度水平,自动去激活参与者指示请求对应于以下至少一项:向参与者发送通知,其中该通知请求参与者在不再旨在参与时放下手,或者使得显示表示放下手的图形指示符。计算机可执行指令当被执行时,还使得该系统:接收从参与者发送的聊天消息;以及基于接收到的聊天消息和参与者的参与者指示请求的状态来确定会议上下文,其中参与者指示请求的状态是活动的。
本技术的另一方面涉及一种存储计算机可执行指令的计算机可读介质。一种存储计算机可执行指令的计算机可读记录介质,计算机可执行指令当由处理器执行时,使得计算机系统:接收参与者对成为虚拟会议的焦点的兴趣的指示;在接收到该指示之后,使得显示与参与者的兴趣相关联的图形指示符;在使得显示图形指示符之后,接收与虚拟会议相对应的会议数据;基于会议数据,使用参与者指示模型来确定会议上下文,其中参与者指示模型基于虚拟会议的一个或多个属性以一个或多个置信度水平来预测会议上下文;以及基于所确定的会议上下文自动去激活该参与者的参与者指示。计算机可执行指令当被执行时,还使得该系统:至少基于所确定的会议上下文自动更新虚拟会议的参与者的参与者指示请求。其中参与者指示请求包括放下手;以及基于更新的参与者指示请求使得显示图形指示符,其中图形指示符对应于所放下的所述手。会议数据包括以下至少之一:一个或多个文本对话、音频数据、声学信号数据、语音话语、隐藏字幕数据、背景声音、鼠标/指针移动数据、与参与者相关联的眼睛注视、与参与者相关联的面部信息、与参与者相关联的手势信息、或与用户举起或放下手偏好相关联的预定义信息。参与者指示模型先前使用先前会议数据来训练,其中先前会议数据包括与先前虚拟会议中的参与者相关联的先前对话。基于来自参与者指示模型的输出的置信度水平,自动去激活参与者指示请求对应于以下至少之一:向参与者发送通知,其中该通知请求参与者在不再旨在参与时放下手,或者使得显示表示放下手的图形指示符。
上述一个或多个方面中的任何一个方面与一个或多个方面中的任何其他方面相结合。本文描述的一个或多个方面中的任何一个。
Claims (15)
1.一种自动更新虚拟会议中的参与者指示请求的计算机实现的方法,所述方法包括:
接收参与者对成为所述虚拟会议的焦点的兴趣的指示;
在接收到所述指示之后,使得显示与所述参与者的兴趣相关联的图形指示符;
在使得显示所述图形指示符之后,接收对应于所述虚拟会议的会议数据;
基于所述会议数据,使用参与者指示模型来确定会议上下文,其中所述参与者指示模型基于所述虚拟会议的一个或多个属性以一个或多个置信度水平来预测所述会议上下文;以及
基于所确定的所述会议上下文自动去激活所述参与者的参与者指示。
2.根据权利要求1所述的计算机实现的方法,所述方法还包括:
至少基于所确定的所述会议上下文自动更新所述虚拟会议的所述参与者的所述参与者指示请求,其中所述参与者指示请求包括放下手;以及
基于更新的所述参与者指示请求,使得显示所述图形指示符,其中所述图形指示符对应于所放下的所述手。
3.根据权利要求1所述的计算机实现的方法,其中所述会议数据包括以下至少一项:
一个或多个文本对话,
音频数据,
声学信号数据,
语音话语,
隐藏字幕数据,
背景声音,
鼠标/指针移动数据,
与所述参与者相关联的眼睛注视,
与所述参与者相关联的面部信息,
与所述参与者相关联的手势信息,或者
与举起或放下手的用户偏好相关联的预定义信息。
4.根据权利要求1所述的计算机实现的方法,其中所述参与者指示模型先前使用先前会议数据而被训练,其中所述先前会议数据对应于与一个或多个先前虚拟会议相关联的一个或多个会议数据。
5.根据权利要求1所述的计算机实现的方法,其中自动去激活所述参与者指示请求基于来自所述参与者指示模型的输出的置信度水平,对应于以下至少一项:
向所述参与者发送通知,其中所述通知请求所述参与者在不再旨在参与时放下所述手,或者
使得显示表示放下的手的图形指示符。
6.根据权利要求1所述的计算机实现的方法,其中所述参与者指示模型包括全局参与者指示模型和个体参与者指示模型,所述方法还包括:
至少基于所述全局参与者指示模型来确定通用会议上下文,其中所述通用会议上下文适用于所述虚拟会议的多个参与者;以及
至少基于所述个体参与者指示模型来确定针对所述参与者的个体会议上下文。
7.根据权利要求1所述的计算机实现的方法,所述方法还包括:
接收从所述参与者发送的聊天消息;以及
至少基于接收到的所述聊天消息和所述参与者的所述参与者指示请求的状态来确定所述会议上下文,其中所述参与者指示请求的所述状态是活动的。
8.根据权利要求1所述的计算机实现的方法,其中所述会议状态包括轮询,所述方法还包括:
使用参与者指示模型确定会议上下文,其中所述会议上下文对应于所述轮询的结束;以及
基于所确定的所述会议上下文,自动去激活所述虚拟会议的多个参与者的参与者指示请求。
9.根据权利要求1所述的计算机实现的方法,其中所述参与者指示模型包括特定于会议的参与者指示模型和特定于组织的参与者指示模型,所述方法还包括:
至少基于所述特定于会议的参与者指示模型来确定通用会议上下文,其中所述通用会议上下文适用于所述虚拟会议和先前举行的虚拟会议的组合的多个参与者,其中所述多个参与者包括所述参与者;以及
至少基于所述特定于组织的参与者指示模型来确定,其中所述通用会议上下文适用于来自组织的多个参与者,其中所述组织包括所述参与者。
10.一种用于自动更新虚拟会议中的参与者指示请求的系统,所述系统包括:
处理器;以及
存储器,存储计算机可执行指令,所述计算机可执行指令在由所述处理器执行时,使所述系统:
接收参与者对成为所述虚拟会议的焦点的兴趣的指示;
在接收到所述指示之后,使得显示与所述参与者的兴趣相关联的图形指示符;
在使得显示所述图形指示符之后,接收对应于所述虚拟会议的会议数据;
基于所述会议数据,使用参与者指示模型来确定会议上下文,其中所述参与者指示模型基于所述虚拟会议的一个或多个属性以一个或多个置信度水平来预测所述会议上下文;以及
基于所确定的所述会议上下文自动去激活所述参与者的参与者指示。
11.根据权利要求10所述的系统,其中所述计算机可执行指令在被执行时,还使得所述系统:
至少基于所确定的所述会议上下文,自动更新所述虚拟会议的所述参与者的所述参与者指示请求,其中所述参与者指示请求包括放下手;以及
基于更新的所述参与者指示请求,使得显示所述图形指示符,其中所述图形指示符对应于所放下的所述手。
12.根据权利要求10所述的系统,其中所述会议数据包括以下至少一项:
一个或多个文本对话,
声学数据,
声音信号数据,
语音话语,
隐藏字幕数据,
背景声音,
鼠标/指针移动数据,
与所述参与者相关联的眼睛注视,
与所述参与者相关联的面部信息,
与所述参与者相关联的手势信息,或者
与举起或放下手的用户偏好相关联的预定义信息。
13.一种计算机可读记录介质,存储计算机可执行指令,所述计算机可执行指令在由处理器执行时,使得计算机系统:
接收参与者对成为所述虚拟会议的焦点的兴趣的指示;
在接收到所述指示之后,使得显示与所述参与者的兴趣相关联的图形指示符;
在使得显示所述图形指示符之后,接收对应于所述虚拟会议的会议数据;
基于所述会议数据,使用参与者指示模型来确定会议上下文,其中所述参与者指示模型基于所述虚拟会议的一个或多个属性以一个或多个置信度水平来预测所述会议上下文;以及
基于所确定的所述会议上下文自动去激活所述参与者的参与者指示。
14.根据权利要求13所述的计算机可读记录介质,其中所述计算机可执行指令在被执行时,还使所述系统:
至少基于所确定的所述会议上下文,自动更新所述虚拟会议的所述参与者的所述参与者指示请求,其中所述参与者指示请求包括放下手;以及
基于更新的所述参与者指示请求,使得显示所述图形指示符,其中所述图形指示符对应于所放下的所述手。
15.根据权利要求13所述的计算机可读记录介质,其中所述会议数据包括以下至少一项:
一个或多个文本对话,
声学数据,
声音信号数据,
语音话语,
隐藏字幕数据,
背景声音,
鼠标/指针移动数据,
与所述参与者相关联的眼睛注视,
与所述参与者相关联的面部信息,
与所述参与者相关联的手势信息,或者
与举起或放下手的用户偏好相关联的预定义信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/191,822 | 2021-03-04 | ||
US17/191,822 US11558212B2 (en) | 2021-03-04 | 2021-03-04 | Automatically controlling participant indication request for a virtual meeting |
PCT/US2022/017594 WO2022187062A1 (en) | 2021-03-04 | 2022-02-24 | Automatically controlling participant indication request for a virtual meeting |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116917917A true CN116917917A (zh) | 2023-10-20 |
Family
ID=80738811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280018750.4A Pending CN116917917A (zh) | 2021-03-04 | 2022-02-24 | 自动控制针对虚拟会议的参与者指示请求 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11558212B2 (zh) |
EP (1) | EP4302251A1 (zh) |
CN (1) | CN116917917A (zh) |
WO (1) | WO2022187062A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114124591B (zh) * | 2021-11-22 | 2024-04-05 | 抖音视界有限公司 | 发言用户选定方法、装置、电子设备及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9277021B2 (en) * | 2009-08-21 | 2016-03-01 | Avaya Inc. | Sending a user associated telecommunication address |
US20120182384A1 (en) * | 2011-01-17 | 2012-07-19 | Anderson Eric C | System and method for interactive video conferencing |
US8954330B2 (en) * | 2011-11-28 | 2015-02-10 | Microsoft Corporation | Context-aware interaction system using a semantic model |
EP2704429B1 (en) * | 2012-08-29 | 2015-04-15 | Alcatel Lucent | Video conference systems implementing orchestration models |
US10356363B2 (en) * | 2013-06-26 | 2019-07-16 | Touchcast LLC | System and method for interactive video conferencing |
JP2016189534A (ja) | 2015-03-30 | 2016-11-04 | ブラザー工業株式会社 | プログラム及びサーバ装置 |
WO2016205748A1 (en) * | 2015-06-18 | 2016-12-22 | Jie Diao | Conveying attention information in virtual conference |
US10395220B2 (en) | 2016-04-20 | 2019-08-27 | International Business Machines Corporation | Auto-generation of actions of a collaborative meeting |
US10250849B2 (en) * | 2016-12-30 | 2019-04-02 | Akamai Technologies, Inc. | Dynamic speaker selection and live stream delivery for multi-party conferencing |
US12052391B2 (en) * | 2020-10-28 | 2024-07-30 | Capital One Services, Llc | Methods and systems for automatic queuing in conference calls |
NL2027060B1 (en) * | 2020-12-07 | 2022-07-07 | Microsoft Technology Licensing Llc | Automatically turning off a visual interruption symbol in a virtual meeting |
US12009937B2 (en) * | 2021-01-08 | 2024-06-11 | Microsoft Technology Licensing, Llc | Queue management for visual interruption symbols in a virtual meeting |
-
2021
- 2021-03-04 US US17/191,822 patent/US11558212B2/en active Active
-
2022
- 2022-02-24 CN CN202280018750.4A patent/CN116917917A/zh active Pending
- 2022-02-24 EP EP22710235.7A patent/EP4302251A1/en active Pending
- 2022-02-24 WO PCT/US2022/017594 patent/WO2022187062A1/en active Application Filing
- 2022-12-12 US US18/079,193 patent/US12143235B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP4302251A1 (en) | 2024-01-10 |
US12143235B2 (en) | 2024-11-12 |
US20220286313A1 (en) | 2022-09-08 |
US11558212B2 (en) | 2023-01-17 |
US20230110274A1 (en) | 2023-04-13 |
WO2022187062A1 (en) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10602321B2 (en) | Audio systems and methods | |
US11863336B2 (en) | Dynamic virtual environment | |
US10176808B1 (en) | Utilizing spoken cues to influence response rendering for virtual assistants | |
US20140229866A1 (en) | Systems and methods for grouping participants of multi-user events | |
CN111147357B (zh) | 数字助手在通信中的使用 | |
US9276802B2 (en) | Systems and methods for sharing information between virtual agents | |
US9679300B2 (en) | Systems and methods for virtual agent recommendation for multiple persons | |
US9262175B2 (en) | Systems and methods for storing record of virtual agent interaction | |
MX2008008855A (es) | Sistema de interaccion social. | |
US9917756B2 (en) | Systems and methods for visualizing a call over network with a caller readiness dialog box | |
US20140164312A1 (en) | Systems and methods for informing virtual agent recommendation | |
US20140164953A1 (en) | Systems and methods for invoking virtual agent | |
US20140164509A1 (en) | Systems and methods for providing input to virtual agent | |
EP2912567A1 (en) | System and methods for virtual agent recommendation for multiple persons | |
US12143235B2 (en) | Automatically controlling participant indication request for a virtual meeting | |
US12242364B2 (en) | Engagement-based communication session management | |
US20250039007A1 (en) | Web conferencing with conversation groups | |
CN116781441A (zh) | 会议对象的管理方法、装置、电子设备和存储介质 | |
CN118556245A (zh) | 用于社交体验的虚拟大厅 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |