[go: up one dir, main page]

CN116761212B - 图像传输控制方法、装置、终端设备及存储介质 - Google Patents

图像传输控制方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN116761212B
CN116761212B CN202310939591.8A CN202310939591A CN116761212B CN 116761212 B CN116761212 B CN 116761212B CN 202310939591 A CN202310939591 A CN 202310939591A CN 116761212 B CN116761212 B CN 116761212B
Authority
CN
China
Prior art keywords
ros
node
terminal
ros node
signaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310939591.8A
Other languages
English (en)
Other versions
CN116761212A (zh
Inventor
文林风
杜坤
刘凯
尚子涵
易鹏
丁松
白忠星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Robot Technology Co Ltd
Original Assignee
Beijing Xiaomi Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Robot Technology Co Ltd filed Critical Beijing Xiaomi Robot Technology Co Ltd
Priority to CN202310939591.8A priority Critical patent/CN116761212B/zh
Publication of CN116761212A publication Critical patent/CN116761212A/zh
Application granted granted Critical
Publication of CN116761212B publication Critical patent/CN116761212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0053—Allocation of signalling, i.e. of overhead other than pilot signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开是关于一种图像传输控制方法、装置、终端设备及存储介质，该方法应用于安装有机器人操作系统ROS的第一终端，所述ROS中包含第一ROS节点和第二ROS节点；所述方法包括：响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题；响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接。本公开可以提高户外适用性，避免传输图像的延时，提升传输图像的实时性。

Description

图像传输控制方法、装置、终端设备及存储介质
技术领域
本公开涉及通讯技术领域，尤其涉及一种图像传输控制方法、装置、终端设备及存储介质。
背景技术
随着移动互联网和智能硬件的快速发展，视频技术从独立应用普及到了嵌入式应用中，无论是智能硬件、手机应用或是Web程序中的许多模块都越来越依赖于视频技术。
相关技术中，可以基于具有摄像头的机器人实时采集图像，并传输至智能手机等终端设备，以实现即时视频通讯。具体地，机器人可以将采集的图像数据传输至服务器进行缓存，进而终端设备可以基于协议从服务器获取视频流。
然而，上述方案由于需要依赖服务器，若机器人无法访问外网，则无法使用该方案。而且，由于图像数据经过缓存，因而会增加传输图像的延时，进而导致终端设备从服务器获取视频流的实时性降低。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种图像传输控制方法、装置、终端设备及存储介质，用以解决相关技术中的缺陷。
根据本公开实施例的第一方面，提供一种图像传输控制方法，应用于安装有机器人操作系统ROS的第一终端，所述ROS中包含第一ROS节点和第二ROS节点；
所述方法包括：
响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题；
响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接。
在一些实施例中，所述控制信令用于开始图像采集与传输。
在一些实施例中，所述通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集之前，还包括：
通过所述第二ROS节点基于所述控制信令生成相应的应答信令，并将所述应答信令发布为第二ROS话题；
响应于通过所述第一ROS节点接收到所述第二ROS话题，通过所述第一ROS节点将所述应答信令发送至所第二终端。
在一些实施例中，所述通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，包括：
通过所述第二ROS节点调用预设的第一ROS服务，所述第一ROS服务用于启动所述相机模块进行图像采集。
在一些实施例中，所述基于预先建立的点对点连接对所采集图像的传输进行控制，包括：
对所采集图像进行编码，得到编码图像数据；
基于所述点对点连接对所述编码图像数据进行传输。
在一些实施例中，所述点对点连接包括WebRTC连接；
所述方法还包括预先基于以下方式建立所述点对点连接：
响应于通过所述第一ROS节点接收到所述第二终端发送的第一候选地址信令，通过所述第一ROS节点将所述第一候选地址信令发布为第三ROS话题，所述第一候选地址信令中携带有第一候选地址，所述第一候选地址为所述第二终端的候选连接地址；
响应于通过所述第二ROS节点接收到所述第三ROS话题，通过所述第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题，所述第二候选地址信令中携带有第二候选地址，所述第二候选地址为所述第二ROS节点的候选连接地址；
响应于通过所述第一ROS节点接收到所述第四ROS话题，通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端；
响应于所述第一候选地址满足连接建立条件，通过所述第二ROS节点基于所述第一候选地址建立所述WebRTC连接。
在一些实施例中，所述控制指令为所述第二终端基于gRPC请求发送的指令；
所述通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端，包括：
通过所述第一ROS节点将所述第二候选地址信令转换成gRPC请求，并发送至所述第二终端。
在一些实施例中，所述控制信令用于结束图像采集与传输。
在一些实施例中，所述通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，包括：
通过所述第二ROS节点调用预设的第二ROS服务，所述第二ROS服务用于停止所述相机模块进行图像采集。
在一些实施例中，所述基于预先建立的点对点连接对所采集图像的传输进行控制，包括：
断开所述点对点连接，以停止对所采集图像的传输。
在一些实施例中，所述方法还包括：
通过所述第二ROS节点生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题；
响应于通过所述第一ROS节点接收到所述第五ROS话题，通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端。
在一些实施例中，所述通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端，包括：
通过所述第一ROS节点将所述图像停止采集消息转换成gRPC请求，并发送至所述第二终端。
根据本公开实施例的第二方面，提供一种图像传输控制方法，应用于安装有目标应用程序的第二终端，所述方法包括：
响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，所述控制指令用于供所述第一终端的第二ROS节点控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接；
基于所述点对点连接接收所述第二ROS节点传输的所采集图像。
根据本公开实施例的第三方面，提供一种图像传输控制装置，应用于安装有机器人操作系统ROS的第一终端，所述ROS中包含第一ROS节点和第二ROS节点；
所述装置包括：
第一话题发布模块，用于响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题；
图像传输控制模块，用于响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接。
在一些实施例中，所述控制信令用于开始图像采集与传输。
在一些实施例中，所述装置还包括应答信令发送模块；
所述应答信令发送模块，包括：
第二话题发布单元，用于通过所述第二ROS节点基于所述控制信令生成相应的应答信令，并将所述应答信令发布为第二ROS话题；
应答信令发送单元，用于响应于通过所述第一ROS节点接收到所述第二ROS话题，通过所述第一ROS节点将所述应答信令发送至所第二终端。
在一些实施例中，所述图像传输控制模块还用于通过所述第二ROS节点调用预设的第一ROS服务，所述第一ROS服务用于启动所述相机模块进行图像采集。
在一些实施例中，所述图像传输控制模块还包括：
图像编码单元，用于对所采集图像进行编码，得到编码图像数据；
图像传输单元，用于基于所述点对点连接对所述编码图像数据进行传输。
在一些实施例中，所述点对点连接包括WebRTC连接；
所述装置还包括连接建立模块；
所述连接建立模块，包括：
第三话题发布单元，用于响应于通过所述第一ROS节点接收到所述第二终端发送的第一候选地址信令，通过所述第一ROS节点将所述第一候选地址信令发布为第三ROS话题，所述第一候选地址信令中携带有第一候选地址，所述第一候选地址为所述第二终端的候选连接地址；
第四话题发布单元，用于响应于通过所述第二ROS节点接收到所述第三ROS话题，通过所述第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题，所述第二候选地址信令中携带有第二候选地址，所述第二候选地址为所述第二ROS节点的候选连接地址；
第二地址发送单元，用于响应于通过所述第一ROS节点接收到所述第四ROS话题，通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端；
连接建立单元，用于响应于所述第一候选地址满足连接建立条件，通过所述第二ROS节点基于所述第一候选地址建立所述WebRTC连接。
在一些实施例中，所述控制指令为所述第二终端基于gRPC请求发送的指令；
所述第二地址发送单元还用于通过所述第一ROS节点将所述第二候选地址信令转换成gRPC请求，并发送至所述第二终端。
在一些实施例中，所述控制信令用于结束图像采集与传输。
在一些实施例中，所述图像传输控制模块还用于通过所述第二ROS节点调用预设的第二ROS服务，所述第二ROS服务用于停止所述相机模块进行图像采集。
在一些实施例中，所述图像传输控制模块还用于断开所述点对点连接，以停止对所采集图像的传输。
在一些实施例中，所述装置还包括停采消息发送模块；
所述停采消息发送模块，包括：
第五话题发布单元，用于通过所述第二ROS节点生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题；
停采消息发送单元，用于响应于通过所述第一ROS节点接收到所述第五ROS话题，通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端。
在一些实施例中，所述停采消息发送单元还用于通过所述第一ROS节点将所述图像停止采集消息转换成gRPC请求，并发送至所述第二终端。
根据本公开实施例的第四方面，提供一种图像传输控制装置，应用于安装有目标应用程序的第二终端，所述装置包括：
信令发送模块，用于响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，所述控制指令用于供所述第一终端的第二ROS节点控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接；
图像接收模块，用于基于所述点对点连接接收所述第二ROS节点传输的所采集图像。
根据本公开实施例的第五方面，提供一种终端设备，安装有机器人操作系统ROS，所述ROS中包含第一ROS节点和第二ROS节点，
所述设备还包括：
处理器以及用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时，实现上述第一方面中任一种图像传输控制方法。
根据本公开实施例的第六方面，提供一种终端设备，所述设备安装有目标应用程序，
所述设备还包括：
处理器以及用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时，实现上述第二方面中所述的图像传输控制方法。
根据本公开实施例的第七方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述第一方面或第二方面中任一种图像传输控制方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开通过响应于通过第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题，以及响应于通过第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接，可以实现由第二终端控制第一终端进行图像采集与传输，由于无需依赖服务器，因而在第一终端无法访问外网的情况下也可实现本公开，而由于无需将采集的图像缓存于服务器，因而可以避免传输图像的延时，从而可以提升第一终端向第二终端传输图像的实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1A是根据本公开一示例性实施例示出的一种图像传输控制方法的流程图；
图1B是根据本公开一示例性实施例示出的一种图像传输控制方法的应用场景示意图；
图2是根据本公开一示例性实施例示出的如何发送应答信令的流程图；
图3是根据本公开一示例性实施例示出的如何基于预先建立的点对点连接对所采集图像的传输进行控制的流程图；
图4是根据本公开一示例性实施例示出的如何建立所述点对点连接的流程图；
图5是根据本公开一示例性实施例示出的如何发送图像停止采集消息的流程图；
图6是根据本公开一示例性实施例示出的又一种图像传输控制方法的流程图；
图7是根据本公开一示例性实施例示出的启动图像传输的流程图；
图8是根据本公开一示例性实施例示出的停止图像传输的流程图；
图9是根据本公开一示例性实施例示出的一种图像传输控制装置的框图；
图10是根据本公开一示例性实施例示出的又一种图像传输控制装置的框图；
图11是根据本公开一示例性实施例示出的另一种图像传输控制装置的框图；
图12是根据本公开一示例性实施例示出的一种终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1A是根据一示例性实施例示出的一种图像传输控制方法的流程图；本实施例的方法可以由图像传输控制装置来执行，该图像传输控制装置可以配置在安装有(机器人操作系统，Robot Operating System)ROS的第一终端中，该ROS中包含第一ROS节点和第二ROS节点。
上述第一终端例如为服务器、工作站、个人电脑、移动终端(如手机、平板电脑等)、可穿戴设备(如眼镜、手表等)等。具体地，如图1A所示，该方法包括以下步骤S101-S102：
在步骤S101中，响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题。
本实施例中，第一终端可以响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题。
其中，上述控制指令可以用于开始图像采集与传输，或者可以用于结束图像采集与传输。举例来说，图1B是根据本公开一示例性实施例示出的一种图像传输控制方法的应用场景示意图；如图1B所示，该应用场景100中包括用户101、装有目标应用程序(如，图像传输控制APP)的第二终端102、第一终端103以及拍摄场景104。具体地，当用户101通过第二终端102的APP发出开启图传的指令后，第一终端103在收到该指令后开始采集拍摄场景104的图像，并回传图像给第二终端102的APP；同理，用户101可以通过第二终端102的APP发出停止图传的指令后，第一终端103在收到该指令后停止图像采集和回传。其中，上述第二终端可以为智能手机、平板电脑等终端设备。
在一些实施例中，上述控制指令可以为第二终端基于gRPC(Google RemoteProcedure Call，谷歌远程过程调用)请求发送的指令。示例性地，第一ROS节点可以集成有gRPC的服务端，第二终端的目标应用程序中可以集成有gPRC的客户端。进而，第二终端的用户可以在目标应用程序中触发预设操作(即上述用户操作)，以通过目标应用程序的gRPC客户端向第一ROS节点的gRPC的服务端发送携带有上述控制指令的gRPC请求。
在步骤S102中，响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制。
本实施例中，当响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题后，第一终端可以通过第二ROS节点接收所述第一ROS话题，以及通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，进而基于预先建立的点对点连接对所集图像的传输进行控制。其中，上述点对点连接为所述第二ROS节点与所述第二终端之间的连接。
第二ROS节点可以预先订阅第一ROS节点发布的ROS话题，进而当第一ROS节点发布上述第一ROS话题后，可以接收到该第一ROS话题。
在一些实施例中，上述点对点连接可以包括WebRTC(Web Real-Timecommunication，网络实时通信)连接。也即，上述第二ROS节点可以集成有WebRTC组件和ROS组件，进而该第二ROS节点可以通过ROS话题与第一ROS节点对接信令，并基于信令控制相机模块进行图像采集，进而通过WebRTC连接向第二终端传输所采集的图像。示例性地，上述第二ROS节点可以通过调用预设的第一ROS服务，以启动所述相机模块进行图像采集，其中，该第一ROS服务可以为用于启动所述相机模块进行图像采集的ROS服务。
由上述描述可知，本实施例的方法通过响应于通过第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题，以及响应于通过第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接，可以实现由第二终端控制第一终端进行图像采集与传输，由于无需依赖服务器，因而在第一终端无法访问外网的情况下也可实现本公开，而由于无需将采集的图像缓存于服务器，因而可以避免传输图像的延时，从而可以提升第一终端向第二终端传输图像的实时性。
在上述控制信令用于开始图像采集与传输的情况下，该控制信令可以为offersdp信令。进而，上述图像传输控制方法中在通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集之前，还可以包括由第二ROS节点发送应答信令，如answer sdp信令。具体地，图2是根据本公开一示例性实施例示出的如何发送应答信令的流程图；如图2所示，本实施例发送应答信令的过程包括以下步骤S201-S202：
在步骤S201中，通过所述第二ROS节点基于所述控制信令生成相应的应答信令，并将所述应答信令发布为第二ROS话题。
本实施例中，当第一终端通过第二ROS节点接收到所述第一ROS话题后，可以通过所述第二ROS节点基于所述控制信令生成相应的应答信令(即上述answer sdp信令)，并将所述应答信令发布为第二ROS话题。
在步骤S202中，响应于通过所述第一ROS节点接收到所述第二ROS话题，通过所述第一ROS节点将所述应答信令发送至所第二终端。
本实施例中，第一ROS节点可以预先订阅第二ROS节点发布的ROS话题，进而当第二ROS节点发布上述第二ROS话题后，可以接收到该第二ROS话题，进而可以将上述应答信令发送至所第二终端。
在一些实施例中，第一ROS节点可以基于gRPC请求将上述应答信令发送至所第二终端，即可以将上述应答信令转换成gRPC请求，并发送至所述第二终端。
示例性地，第一ROS节点可以集成有gRPC的客户端，第二终端的目标应用程序中可以集成有gPRC的服务端。进而，第一ROS节点的gRPC的客户端可以向目标应用程序的gPRC的服务端发送携带有上述应答信令的gRPC请求。
由上述描述可知，本实施例通过所述第二ROS节点基于所述控制信令生成相应的应答信令，并将所述应答信令发布为第二ROS话题，进而响应于通过所述第一ROS节点接收到所述第二ROS话题，通过所述第一ROS节点将所述应答信令发送至所第二终端，可以实现第一终端向第二终端发送应答信令，进而可以为后续控制相机模块进行图像采集奠定基础。
图3是根据本公开一示例性实施例示出的如何基于预先建立的点对点连接对所采集图像的传输进行控制的流程图；本实施例在上述实施例的基础上以如何基于预先建立的点对点连接对所采集图像的传输进行控制为例进行示例性说明。
如图3所示，上述步骤S102中所述的基于预先建立的点对点连接对所采集图像的传输进行控制，可以包括以下步骤S301-S302：
在步骤S301中，对所采集图像进行编码，得到编码图像数据。
本实施例中，当第二ROS节点控制相机模块进行图像采集后，可以对所采集图像进行编码，得到编码图像数据。
仍以点对点连接为WebRTC连接为例，则第二ROS节点可以通过WebRTC组件对所采集图像进行编码，得到编码图像数据，即WebRTC视频流。
在步骤S302中，基于所述点对点连接对所述编码图像数据进行传输。
本实施例中，当对所采集图像进行编码，得到编码图像数据后，可以基于所述点对点连接对所述编码图像数据进行传输。
仍以点对点连接为WebRTC连接为例，则第二ROS节点通过WebRTC组件对所采集图像进行编码，得到WebRTC视频流后，可以基于WebRTC连接，将上述WebRTC视频流直接传输至第二终端，而无需依赖于云端服务器进行中转，且可以降低图像数据的传输带宽。
由上述描述可知，本实施例通过对所采集图像进行编码，得到编码图像数据，并基于所述点对点连接对所述编码图像数据进行传输，可以实现基于预先建立的点对点连接对编码图像数据进行传输，可以降低图像数据的传输带宽，进而可以拓宽本公开图像传输控制方案的适用范围，有利于应用于更多的APP和/或相同通信域的ROS节点。
图4是根据本公开一示例性实施例示出的如何建立所述点对点连接的流程图；本实施例在上述实施例的基础上以如何建立所述点对点连接为例进行示例性说明。
如图4所示，本实施例的图像传输控制方法还可以包括基于以下步骤S401-S404建立所述点对点连接：
在步骤S401中，响应于通过所述第一ROS节点接收到所述第二终端发送的第一候选地址信令，通过所述第一ROS节点将所述第一候选地址信令发布为第三ROS话题。
其中，上述第一候选地址信令中携带有第一候选地址，该第一候选地址可以为所述第二终端的候选连接地址(如，IP地址等)。
在一些实施例中，上述第一候选地址信令可以为第二终端的Ice Candidate。
在步骤S402中，响应于通过所述第二ROS节点接收到所述第三ROS话题，通过所述第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题。
本实施例中，上述第二候选地址信令中携带有第二候选地址，该第二候选地址为所述第二ROS节点的候选连接地址(如，IP地址等)。
在一些实施例中，上述第二候选地址信令可以为第一终端的Ice Candidate。
在步骤S403中，响应于通过所述第一ROS节点接收到所述第四ROS话题，通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端。
本实施例中，当第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题后，第一ROS节点可以接收所述第四ROS话题，并将所述第二候选地址信令发送至所述第二终端。
在一些实施例中，第一ROS节点可以基于gRPC请求发送所述第二候选地址信令，也即将所述第二候选地址信令转换成gRPC请求，并发送至所述第二终端。
在步骤S404中，响应于所述第一候选地址满足连接建立条件，通过所述第二ROS节点基于所述第一候选地址建立所述WebRTC连接。
本实施例中，第二ROS节点接收到所述第三ROS话题后，可以确定第一候选地址是否满足连接建立条件，进而当检测到第一候选地址满足连接建立条件时，基于所述第一候选地址建立所述WebRTC连接。
值得说明的是，上述确定第一候选地址是否满足连接建立条件的方式可以包括对第一候选地址进行连通性测试，若通过该测试，则可以认为第一候选地址满足连接建立条件；相反，若未通过该测试，则可以认为第一候选地址不满足连接建立条件。其中，关于连通性测试的具体方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。
由上述描述可知，本实施例通过响应于通过所述第一ROS节点接收到所述第二终端发送的第一候选地址信令，通过所述第一ROS节点将所述第一候选地址信令发布为第三ROS话题，然后响应于通过所述第二ROS节点接收到所述第三ROS话题，通过所述第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题，以及响应于通过所述第一ROS节点接收到所述第四ROS话题，通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端，进而响应于所述第一候选地址满足连接建立条件，通过所述第二ROS节点基于所述第一候选地址建立所述WebRTC连接，可以实现建立第二ROS节点与所述第二终端之间的点对点连接，进而可以实现后续基于该点对点连接对所采集图像的传输进行控制，而无需依赖服务器，因而在第一终端无法访问外网的情况下也可实现本方案，以及可以提升第一终端向第二终端传输图像的实时性。
在上述控制信令用于结束图像采集与传输的情况下，第二ROS节点可以通过调用预设的第二ROS服务，以停止所述相机模块进行图像采集，其中，该第二ROS服务可以包括用于停止所述相机模块进行图像采集的ROS服务。同时，第二ROS节点可以断开所述点对点连接(如，WebRTC连接)，以停止对所采集图像的传输。
在此基础上，上述图像传输控制方法中在停止对所采集图像的传输之后，还可以包括由第二ROS节点发送图像停止采集消息。具体地，图5是根据本公开一示例性实施例示出的如何发送图像停止采集消息的流程图；如图5所示，本实施例发送图像停止采集消息的过程包括以下步骤S501-S502：
在步骤S501中，通过所述第二ROS节点生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题。
本实施例中，当第二ROS节点通过调用预设的第二ROS服务等方式停止所述相机模块进行图像采集后，第二ROS节点可以生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题。
在步骤S502中，响应于通过所述第一ROS节点接收到所述第五ROS话题，通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端。
本实施例中，当第二ROS节点将所述图像停止采集消息发布为第五ROS话题后，第一ROS节点可以接收该第五ROS话题，并将所述图像停止采集消息发送至所述第二终端。
在一些实施例中，所述第一ROS节点可以将所述图像停止采集消息转换成gRPC请求，并发送至所述第二终端。
由上述描述可知，本实施例通过所述第二ROS节点生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题，并响应于通过所述第一ROS节点接收到所述第五ROS话题，通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端，可以实现在图像停止采集后由第一终端向第二终端发送反馈消息，从而使用户知晓图像停止采集的结果，进而可以提升用户的体验。
图6是根据本公开一示例性实施例示出的又一种图像传输控制方法的流程图；本实施例的方法可以应用于第二终端，例如服务器、工作站、个人电脑、移动终端(如手机、平板电脑等)、可穿戴设备(如眼镜、手表等)等。
具体地，如图6所示，该方法包括以下步骤S601-S602：
在步骤S601中，响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令。
其中，所述控制指令用于供所述第一终端的第二ROS节点控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接。具体可以参见上述图1A所示实施例，在此不进行赘述。
在步骤S602中，基于所述点对点连接接收所述第二ROS节点传输的所采集图像。
本实施例中，当第二终端基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，如用于开始图像采集与传输的信令后，可以基于所述点对点连接接收所述第二ROS节点传输的所采集图像。而若上述信令用于结束图像采集与传输，则第二终端可以接收第一终端基于第一ROS节点转发的图像停止采集消息。具体可以参见上述图5所示实施例，在此不进行赘述。
由上述描述可知，本实施例的方法通过响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，并基于所述点对点连接接收所述第二ROS节点传输的所采集图像，可以实现操控所述第一终端进行图像采集与传输，由于无需依赖服务器，因而在第一终端无法访问外网的情况下也可进行图像传输，提高了户外适用性，而由于无需将采集的图像缓存于服务器，因而可以避免传输图像的延时，从而可以提升第一终端向第二终端传输图像的实时性。
下面以一些具体的实施例说明本公开的启动图像传输的流程以及停止图像传输的流程，但不用于限定本公开的范围。下述实施例中以ROS系统为ROS2为例进行说明，故第一ROS节点与第二ROS节点之间传递的话题为ROS2话题，第二ROS节点调用的服务为ROS2服务。
图7是根据本公开一示例性实施例示出的启动图像传输的流程图；本实施例以如何启动图像传输过程为例进行示例性说明。如图7所示，本实施例的启动图像传输的流程包括：
7.1、用户通过第二终端(如，手机等)上的APP启动图传功能，APP通过gRPC请求发送offer sdp信令到第一ROS节点；
7.2、第一ROS节点将offer sdp信令转成ROS2话题发送给第二ROS节点；
7.3、第二ROS节点根据offer sdp信令生成相应的answer sdp信令，通过ROS2话题发送answer sdp信令给第一ROS节点；
7.4、第一ROS节点将answer sdp信令转成gRPC请求发送给APP；
7.5、第二ROS节点在发送完answer sdp信令之后调用ROS2服务以启动相机进行图像采集并返回结果(即，所采集的图像)；
7.6、APP生成自身的ice candidate信令通过gRPC请求发送给第一ROS节点；
7.7、第一ROS节点将上述ice candidate信令转成ROS2话题发送给第二ROS节点；
7.8、第二ROS节点生成自身的ice candidate信令，并通过ROS2话题发送该icecandidate信令给第一ROS节点；
7.9、第一ROS节点将上述ice candidate信令转成gRPC请求发送给APP，以建立WebRTC点对点连接；
7.10、相机启动图像采集后，向第二ROS节点传递原始图像；
7.11、第二ROS节点通过WebRTC插件将相机传递来的原始图像编码，并以点对点传输的形式将编码后的数据(即，WebRTC视频流)传输给APP。
图8是根据本公开一示例性实施例示出的停止图像传输的流程图；如图8所示，本实施例的停止图像传输的流程包括：
8.1、用户通过手机APP停止图传功能，APP通过gRPC请求发送停止指令到第一ROS节点；
8.2、第一ROS节点将停止指令转化成ROS2话题发送给第二ROS节点；
8.3、第二ROS节点停止WebRTC的点对点连接，通过ROS2服务停止相机图像采集；
8.4、相机停止采集相机的图像并返回停止结果(即，图像停止采集消息)；
8.5、第二ROS节点接收到停止结果后，用ROS2话题发送停止结果给第一ROS节点；
8.6、第一ROS节点将停止结果转成gRPC请求发送给APP。
由上述描述可知，本实施例通过利用gRPC和ROS实现APP与第二ROS节点之间的视频流传输，可以避免使用云端资源和代理服务器，可以实现不依赖外网的图像传输，而且可以避免视频流在流媒体服务器中缓存，可以有效降低传输延时。
图9是根据本公开一示例性实施例示出的一种图像传输控制装置的框图；本实施例的装置可以应用于安装有机器人操作系统ROS的第一终端(如，机器人、无人机等)，所述ROS中包含第一ROS节点和第二ROS节点。
具体地，如图9所示，该装置可以包括：第一话题发布模块110和图像传输控制模块120，其中：
第一话题发布模块110，用于响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题；
图像传输控制模块120，用于响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接
由上述描述可知，本实施例的装置通过响应于通过第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题，以及响应于通过第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接，可以实现由第二终端控制第一终端进行图像采集与传输，由于无需依赖服务器，因而在第一终端无法访问外网的情况下也可进行图像传输，提高了户外适用性，而由于无需将采集的图像缓存于服务器，因而可以避免传输图像的延时，从而可以提升第一终端向第二终端传输图像的实时性。
图10是根据本公开一示例性实施例示出的又一种图像传输控制装置的框图；本实施例的装置可以应用于安装有机器人操作系统ROS的第一终端(如，机器人、无人机等)，所述ROS中包含第一ROS节点和第二ROS节点。其中，第一话题发布模块210和图像传输控制模块220与前述图9所示实施例中的第一话题发布模块110和图像传输控制模块120的功能相同，在此不进行赘述。
在一些实施例中，上述控制信令可以用于开始图像采集与传输。
在此基础上，上述装置还可以包括应答信令发送模块230；
应答信令发送模块230，可以包括：
第二话题发布单元231，用于通过所述第二ROS节点基于所述控制信令生成相应的应答信令，并将所述应答信令发布为第二ROS话题；
应答信令发送单元232，用于响应于通过所述第一ROS节点接收到所述第二ROS话题，通过所述第一ROS节点将所述应答信令发送至所第二终端。
在一些实施例中，上述图像传输控制模块220还可以用于通过所述第二ROS节点调用预设的第一ROS服务，所述第一ROS服务用于启动所述相机模块进行图像采集。
在一些实施例中，上述图像传输控制模块220还可以包括：
图像编码单元221，用于对所采集图像进行编码，得到编码图像数据；
图像传输单元222，用于基于所述点对点连接对所述编码图像数据进行传输。
在一些实施例中，上述点对点连接可以包括WebRTC连接；
进而，上述装置还可以包括连接建立模块240；
连接建立模块240，可以包括：
第三话题发布单元241，用于响应于通过所述第一ROS节点接收到所述第二终端发送的第一候选地址信令，通过所述第一ROS节点将所述第一候选地址信令发布为第三ROS话题，所述第一候选地址信令中携带有第一候选地址，所述第一候选地址为所述第二终端的候选连接地址；
第四话题发布单元242，用于响应于通过所述第二ROS节点接收到所述第三ROS话题，通过所述第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题，所述第二候选地址信令中携带有第二候选地址，所述第二候选地址为所述第二ROS节点的候选连接地址；
第二地址发送单元243，用于响应于通过所述第一ROS节点接收到所述第四ROS话题，通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端；
连接建立单元244，用于响应于所述第一候选地址满足连接建立条件，通过所述第二ROS节点基于所述第一候选地址建立所述WebRTC连接。
在一些实施例中，上述控制指令可以为所述第二终端基于gRPC请求发送的指令；
进而，第二地址发送单元243还可以用于通过所述第一ROS节点将所述第二候选地址信令转换成gRPC请求，并发送至所述第二终端。
在另一些实施例中，控制信令可以用于结束图像采集与传输。
在此基础上，图像传输控制模块220还可以用于通过所述第二ROS节点调用预设的第二ROS服务，所述第二ROS服务用于停止所述相机模块进行图像采集。
在一些实施例中，上述图像传输控制模块220还可以用于断开所述点对点连接，以停止对所采集图像的传输。
在一些实施例中，上述装置还可以包括停采消息发送模块250；
进而，停采消息发送模块250，可以包括：
第五话题发布单元251，用于通过所述第二ROS节点生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题；
停采消息发送单元252，用于响应于通过所述第一ROS节点接收到所述第五ROS话题，通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端。
在一些实施例中，上述停采消息发送单元252还可以用于通过所述第一ROS节点将所述图像停止采集消息转换成gRPC请求，并发送至所述第二终端。
图11是根据本公开一示例性实施例示出的另一种图像传输控制装置的框图；本实施例的装置可以配置在第二终端中，例如服务器、工作站、个人电脑、移动终端(如手机、平板电脑等)、可穿戴设备(如眼镜、手表等)等。具体地，如图11所示，该装置可以包括：信令发送模块310和图像接收模块320，其中：
信令发送模块310，用于响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，所述控制指令用于供所述第一终端的第二ROS节点控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接；
图像接收模块320，用于基于所述点对点连接接收所述第二ROS节点传输的所采集图像。
由上述描述可知，本实施例的装置通过响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，并基于所述点对点连接接收所述第二ROS节点传输的所采集图像，可以实现操控所述第一终端进行图像采集与传输，由于无需依赖服务器，因而在第一终端无法访问外网的情况下也可进行图像传输，提高了户外适用性，而由于无需将采集的图像缓存于服务器，因而可以避免传输图像的延时，从而可以提升第一终端向第二终端传输图像的实时性。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种终端设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图12，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的图像传输控制方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示面板和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示面板和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述的图像传输控制方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像传输控制方法，其特征在于，应用于安装有机器人操作系统ROS的第一终端，所述ROS中包含第一ROS节点和第二ROS节点；
所述方法包括：
响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题，所述控制信令为所述第二终端基于谷歌远程过程调用gRPC请求发送的指令；
响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接。
2.根据权利要求1所述的方法，其特征在于，所述控制信令用于开始图像采集与传输。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集之前，还包括：
通过所述第二ROS节点基于所述控制信令生成相应的应答信令，并将所述应答信令发布为第二ROS话题；
响应于通过所述第一ROS节点接收到所述第二ROS话题，通过所述第一ROS节点将所述应答信令发送至所第二终端。
4.根据权利要求2所述的方法，其特征在于，所述通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，包括：
通过所述第二ROS节点调用预设的第一ROS服务，所述第一ROS服务用于启动所述相机模块进行图像采集。
5.根据权利要求2所述的方法，其特征在于，所述基于预先建立的点对点连接对所采集图像的传输进行控制，包括：
对所采集图像进行编码，得到编码图像数据；
基于所述点对点连接对所述编码图像数据进行传输。
6.根据权利要求1所述的方法，其特征在于，所述点对点连接包括网络实时通信WebRTC连接；
所述方法还包括预先基于以下方式建立所述点对点连接：
响应于通过所述第一ROS节点接收到所述第二终端发送的第一候选地址信令，通过所述第一ROS节点将所述第一候选地址信令发布为第三ROS话题，所述第一候选地址信令中携带有第一候选地址，所述第一候选地址为所述第二终端的候选连接地址；
响应于通过所述第二ROS节点接收到所述第三ROS话题，通过所述第二ROS节点生成第二候选地址信令，并将所述第二候选地址信令发布为第四ROS话题，所述第二候选地址信令中携带有第二候选地址，所述第二候选地址为所述第二ROS节点的候选连接地址；
响应于通过所述第一ROS节点接收到所述第四ROS话题，通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端；
响应于所述第一候选地址满足连接建立条件，通过所述第二ROS节点基于所述第一候选地址建立所述WebRTC连接。
7.根据权利要求6所述的方法，其特征在于，
所述通过所述第一ROS节点将所述第二候选地址信令发送至所述第二终端，包括：
通过所述第一ROS节点将所述第二候选地址信令转换成gRPC请求，并发送至所述第二终端。
8.根据权利要求1所述的方法，其特征在于，所述控制信令用于结束图像采集与传输。
9.根据权利要求8所述的方法，其特征在于，所述通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，包括：
通过所述第二ROS节点调用预设的第二ROS服务，所述第二ROS服务用于停止所述相机模块进行图像采集。
10.根据权利要求8所述的方法，其特征在于，所述基于预先建立的点对点连接对所采集图像的传输进行控制，包括：
断开所述点对点连接，以停止对所采集图像的传输。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
通过所述第二ROS节点生成图像停止采集消息，并将所述图像停止采集消息发布为第五ROS话题；
响应于通过所述第一ROS节点接收到所述第五ROS话题，通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端。
12.根据权利要求11所述的方法，其特征在于，所述通过所述第一ROS节点将所述图像停止采集消息发送至所述第二终端，包括：
通过所述第一ROS节点将所述图像停止采集消息转换成gRPC请求，并发送至所述第二终端。
13.一种图像传输控制方法，其特征在于，应用于安装有目标应用程序的第二终端，所述方法包括：
响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，所述控制信令用于触发所述第一终端的第二ROS节点控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接，所述控制信令为所述第二终端基于谷歌远程过程调用gRPC请求发送的指令，所述第一ROS节点通过将所述控制信令发布为第一ROS话题，使得所述第二ROS节点通过接收所述第一ROS话题来接收所述控制信令；
基于所述点对点连接接收所述第二ROS节点传输的所采集图像。
14.一种图像传输控制装置，其特征在于，应用于安装有机器人操作系统ROS的第一终端，所述ROS中包含第一ROS节点和第二ROS节点；
所述装置包括：
第一话题发布模块，用于响应于通过所述第一ROS节点接收到第二终端发送的控制信令，通过所述第一ROS节点将所述控制信令发布为第一ROS话题，所述控制信令为所述第二终端基于谷歌远程过程调用gRPC请求发送的指令；
图像传输控制模块，用于响应于通过所述第二ROS节点接收到所述第一ROS话题，通过所述第二ROS节点基于所述控制信令控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接。
15.一种图像传输控制装置，其特征在于，应用于安装有目标应用程序的第二终端，所述装置包括：
信令发送模块，用于响应于接收到在所述目标应用程序中触发的设定指令，基于所述目标应用程序向第一终端的第一ROS节点发送控制信令，所述控制信令用于供所述第一终端的第二ROS节点控制相机模块进行图像采集，并基于预先建立的点对点连接对所采集图像的传输进行控制，所述点对点连接为所述第二ROS节点与所述第二终端之间的连接，所述控制信令为所述第二终端基于谷歌远程过程调用gRPC请求发送的指令，所述第一ROS节点通过将所述控制信令发布为第一ROS话题，使得所述第二ROS节点通过接收所述第一ROS话题来接收所述控制信令；
图像接收模块，用于基于所述点对点连接接收所述第二ROS节点传输的所采集图像。
16.一种终端设备，其特征在于，安装有机器人操作系统ROS，所述ROS中包含第一ROS节点和第二ROS节点，
所述设备还包括：
处理器以及用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时，实现权利要求1至12中任一项所述的图像传输控制方法。
17.一种终端设备，其特征在于，所述设备安装有目标应用程序，
所述设备还包括：
处理器以及用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时，实现权利要求13所述的图像传输控制方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至13中任一项所述的图像传输控制方法。
CN202310939591.8A 2023-07-27 2023-07-27 图像传输控制方法、装置、终端设备及存储介质 Active CN116761212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310939591.8A CN116761212B (zh) 2023-07-27 2023-07-27 图像传输控制方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310939591.8A CN116761212B (zh) 2023-07-27 2023-07-27 图像传输控制方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN116761212A CN116761212A (zh) 2023-09-15
CN116761212B true CN116761212B (zh) 2024-04-23

Family

ID=87949855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310939591.8A Active CN116761212B (zh) 2023-07-27 2023-07-27 图像传输控制方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN116761212B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933833A (zh) * 2018-07-17 2018-12-04 同济大学 一种基于WebRTC的无人机操控系统及连接建立方法
CN108927808A (zh) * 2018-08-15 2018-12-04 京东方科技集团股份有限公司 一种ros节点的通信方法、认证方法及装置
CN112153140A (zh) * 2020-09-23 2020-12-29 Oppo广东移动通信有限公司 远程控制方法、装置、设备、存储介质及系统
EP3806422A1 (en) * 2018-08-01 2021-04-14 Siemens Aktiengesellschaft Interconnection device, communication method and system comprising robot
CN113311825A (zh) * 2021-05-05 2021-08-27 温州大学 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法
CN114281190A (zh) * 2021-12-14 2022-04-05 Oppo广东移动通信有限公司 一种信息控制方法、装置、系统、设备和存储介质
CN114546672A (zh) * 2022-01-10 2022-05-27 北京三快在线科技有限公司 一种无人驾驶通信方法、装置、设备及存储介质
CN114815859A (zh) * 2022-05-06 2022-07-29 哈尔滨工程大学 一种便携式自主水下机器人系统及其控制系统
CN114815654A (zh) * 2022-03-01 2022-07-29 北京理工大学 一种面向无人车控制的数字孪生系统及其搭建方法
CN115022656A (zh) * 2022-05-24 2022-09-06 山东新一代信息产业技术研究院有限公司 一种基于机器人操作系统的远程支援方法及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933833A (zh) * 2018-07-17 2018-12-04 同济大学 一种基于WebRTC的无人机操控系统及连接建立方法
EP3806422A1 (en) * 2018-08-01 2021-04-14 Siemens Aktiengesellschaft Interconnection device, communication method and system comprising robot
CN108927808A (zh) * 2018-08-15 2018-12-04 京东方科技集团股份有限公司 一种ros节点的通信方法、认证方法及装置
CN112153140A (zh) * 2020-09-23 2020-12-29 Oppo广东移动通信有限公司 远程控制方法、装置、设备、存储介质及系统
CN113311825A (zh) * 2021-05-05 2021-08-27 温州大学 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法
CN114281190A (zh) * 2021-12-14 2022-04-05 Oppo广东移动通信有限公司 一种信息控制方法、装置、系统、设备和存储介质
CN114546672A (zh) * 2022-01-10 2022-05-27 北京三快在线科技有限公司 一种无人驾驶通信方法、装置、设备及存储介质
CN114815654A (zh) * 2022-03-01 2022-07-29 北京理工大学 一种面向无人车控制的数字孪生系统及其搭建方法
CN114815859A (zh) * 2022-05-06 2022-07-29 哈尔滨工程大学 一种便携式自主水下机器人系统及其控制系统
CN115022656A (zh) * 2022-05-24 2022-09-06 山东新一代信息产业技术研究院有限公司 一种基于机器人操作系统的远程支援方法及设备

Also Published As

Publication number Publication date
CN116761212A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US11388453B2 (en) Method for processing live-streaming interaction video and server
CN106488335B (zh) 直播控制方法及装置
WO2018184266A1 (zh) 直播频道中的通信方法、装置及系统
WO2016101482A1 (zh) 连接方法及装置
US9736518B2 (en) Content streaming and broadcasting
US9756373B2 (en) Content streaming and broadcasting
KR20170012178A (ko) 동영상 내용을 획득하기 위한 방법 및 장치
CN111092898B (zh) 报文传输方法及相关设备
CN106713127B (zh) 即时聊天记录的获取及处理方法和装置
EP3226432A1 (en) Method and device for sharing media data between terminals
EP3163805B1 (en) Method and device for processing information
WO2021155702A1 (zh) 通信处理方法、装置、终端、服务器及存储介质
CN104202561A (zh) 播放流媒体数据的方法及装置
JP6686125B1 (ja) 通信装置、その制御方法、およびそのプログラム
CN109729438B (zh) 一种发送视频包、接收视频包的方法及装置
CN114272600A (zh) 一种控制权切换系统、方法、装置、设备及存储介质
CN116761212B (zh) 图像传输控制方法、装置、终端设备及存储介质
CN106535194B (zh) 屏幕内容共享方法、装置及系统
CN110224991B (zh) 视联网终端通讯方法及装置
CN110290224B (zh) 资源上传、转发方法及装置、移动终端、网关和存储介质
CN114286425B (zh) 一种长连接建立系统、方法、装置、电子设备及存储介质
JP6441481B2 (ja) 情報照会方法、装置、プログラム及び記録媒体
CN111901634B (zh) 流媒体的点播方法、设备以及计算机可读存储介质
CN110213531B (zh) 监控录像处理方法及装置
CN112187854B (zh) 一种任务处理方法、装置和用于任务处理的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant