[go: up one dir, main page]

CN112936348B - 一种用于智能机器人rgb-d-t信息感知的传感器集成装置 - Google Patents

一种用于智能机器人rgb-d-t信息感知的传感器集成装置 Download PDF

Info

Publication number
CN112936348B
CN112936348B CN202110239875.7A CN202110239875A CN112936348B CN 112936348 B CN112936348 B CN 112936348B CN 202110239875 A CN202110239875 A CN 202110239875A CN 112936348 B CN112936348 B CN 112936348B
Authority
CN
China
Prior art keywords
rgb
camera
motor
flange
synchronous belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110239875.7A
Other languages
English (en)
Other versions
CN112936348A (zh
Inventor
赵立军
桂茜春
王珂
江欣恺
李瑞峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Shenzhen
Original Assignee
Harbin Institute of Technology Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Shenzhen filed Critical Harbin Institute of Technology Shenzhen
Priority to CN202110239875.7A priority Critical patent/CN112936348B/zh
Publication of CN112936348A publication Critical patent/CN112936348A/zh
Application granted granted Critical
Publication of CN112936348B publication Critical patent/CN112936348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

一种用于智能机器人RGB‑D‑T信息感知的传感器集成装置，所述装置包括括固定座、RGB‑D相机舱、RGB‑D相机、水平旋转件和俯仰件；所述固定座与RGB‑D相机舱相连，RGB‑D相机舱的一端设置有开口，RGB‑D相机固定设置在舱内，RGB‑D相机的镜头向开口方向设置；RGB‑D相机舱上有水平旋转件，俯仰件设置在水平旋转件上，水平旋转件带动装置做水平旋转件运动，俯仰件带动装置做俯仰件运动；本发明有效部署深度视觉传感器与热红外传感器，组成一体化装置，易于与移动机器人集成，有效解决服务机器人在RGB‑D‑T多模态信息融合，有效解决在机器人上使用的热红外相机和RGB‑D相机的视场角差异大、匹配尺度不一致问题，提升智能机器人环境感知能力和服务作业水平。

Description

一种用于智能机器人RGB-D-T信息感知的传感器集成装置
技术领域
本发明属于智能机器人领域，具体地，涉及一种用于智能机器人RGB-D-T信息感知的传感器集成装置。
背景技术
随着智能机器人技术和深度、红外等传感器发展，要求服务机器人在白天和夜晚等环境全天候工作，如家庭火灾防控、行人检测和环境建模等，需要对多种信息深度融合处理，赋予机器人精准感知的能力，满足机器人对环境三维建模和红外信息融合、机器人对环境目标温度检测与定位等要求。目前机器人上配置可见光、深度视觉如Kinect，Xtion等与热红外等传感器成为代表性配置器件，开展机器人基于目标的RGB-D-T多模态信息融合的环境感知技术成为主流技术。
然而目前在机器人上使用的热红外传感器和RGB-D传感器存在视场角、观测范围差异大对，导致机器人进行环境建模、定位和感知无法形成一致性的深度、红外环境描述；固定式RGB-D与T信息无法进行基于特定目标的环境建模目标红外信息和全场三维信息与红外信息对应建模。为此发明RGB-D-T传感器装置，实现机器人对环境的RGB-D-T全覆盖、实现RGB-D视场内任意目标红外T信息描述。
发明内容
本发明为了让智能服务机器人搭载的热红外传感器能够使用云台回转和俯仰功能，进行红外传感器小市场信息与RGB-D视场的全场覆盖，提出了一种用于智能机器人RGB-D-T信息感知的传感器集成装置。
本发明是通过以下方法实现的：
一种用于智能机器人RGB-D-T信息感知的传感器集成装置，所述集成装置包括固定座1、RGB-D相机舱2、RGB-D相机、水平旋转件和俯仰件；
所述固定座1与RGB-D相机舱2固连，RGB-D相机舱2的一端设置有开口，RGB-D相机固定在RGB-D相机舱2内，且RGB-D相机的镜头向开口方向设置，RGB-D相机舱2和RGB-D相机通过螺栓固连；RGB-D相机舱2上方设置水平旋转件；
所述水平旋转件包括第一法兰3、同步带轮4、角接触球轴承5、孔用挡圈6、轴用挡圈7、同步带8、同步带轮9、第一电机10和第一电机安装板11；所述第一法兰3的一体旋转轴和同步带轮4通过平键连接在一起，RGB-D相机舱2顶部设糟，糟内放置角接触球轴承5，并用孔用挡圈6固定，角接触球轴承5内圈与同步带轮4旋转轴轴肩接触，法兰旋转轴的末端用轴用挡圈7固定；第一电机10架在第一电机安装板11上，通过螺栓固定链接，同步带轮9的安装孔和第一电机10轴进行配合，用顶丝压紧；同步带轮9通过同步带8和同步带轮4进行传动；
所述俯仰件设置在所述水平旋转件的同步带轮4上，所述俯仰件包括第二电机12、第二电机安装座13、第二法兰14和热红外红传感器15；第二电机12与第二电机安装座13通过螺栓固定连接，第二电机安装座13与第一法兰3固连，第二法兰14轴套在第二电机轴上通过螺纹顶丝固定，热红外传感器15安装在第二法兰14上。
进一步地，同步带8的张紧程度是以第一电机安装板11在RGB-D相机舱2上的位置决定。
进一步地，RGB-D相机舱2承载水平旋转件和俯仰件的重量。
进一步地，带有编码器的第一电机10带动同步带轮9转动，同步带轮9通过同步带8将转矩传递到同步带轮4上及第一法兰3上，第一法兰3带动俯仰件做水平转动，第二电机12带动热红外传感器15做俯仰运动。
进一步地，将RGB-D相机的光心、热红外传感器15的光心和同步带轮9的圆心处于同一竖直平面上。
进一步地，所述第一电机10为步进电机，第二电机12为直驱电机。
进一步地，热红外传感器15与第二法兰14固定连接，做水平旋转和俯仰运动。
本发明有益效果
1本发明提出了一种用于智能机器人RGB-D-T信息感知的传感器集成装置，结构设计合理、结构紧凑、安装使用方便、操作便捷；
2在服务机器人上，采用上述传感器集成装置，机器人在家庭环境下进行环境感知时，可以通过第一电机10带动同步带轮9，与此同时，同步带轮传动带动俯仰件回转，而热红外成像又放置在俯仰件上，因此热红外传感器具备水平旋转和俯仰两个自由度。RGB-D相机则固定在相机舱内，通过此装置可使热红外传感器旋转到RGB-D相机视野遍及的地方，从而解决热红外传感器和RGB-D相机视场角存在差异的问题，也使得机器人对环境有更加全面的感知并认识，大大解决了服务机器人在感知环境方面的难题。
附图说明
图1为本发明的本发明的总体结构示意图；
图2为本发明的立体结构局部剖视图；
图3为本发明的立体结构剖视图；
图4为本发明的RGB-D相机和热红外传感器视野范围示意图；
图5为本发明的立体结构俯视图；
图6为本发明的立体结构左视图；
图7为本发明当目标物体在热红外传感器正下方时工作示意图；
图8为本发明当目标物体在热红外传感器正右方时工作示意图；
图9为本发明当目标物体在热红外传感器右下方时工作示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于智能机器人RGB-D-T信息感知的传感器集成装置，如图1、图2、图3所示，所述集成装置包括固定座1、RGB-D相机舱2、RGB-D相机、水平旋转件和俯仰件；
所述固定座1与RGB-D相机舱2固连，RGB-D相机舱2的一端设置有开口，RGB-D相机固定在RGB-D相机舱2内，且RGB-D相机的镜头向开口方向设置，RGB-D相机舱2和RGB-D相机通过螺栓固连；RGB-D相机舱2上方设置水平旋转件；
所述水平旋转件包括第一法兰3、同步带轮4、角接触球轴承5、孔用挡圈6、轴用挡圈7、同步带8、同步带轮9、第一电机10和第一电机安装板11；所述第一法兰3的一体旋转轴和同步带轮4通过平键连接在一起，RGB-D相机舱2顶部设糟，糟内放置角接触球轴承5，并用孔用挡圈6固定，角接触球轴承5内圈与同步带轮4旋转轴轴肩接触，法兰旋转轴的末端用轴用挡圈7固定；第一电机10架在第一电机安装板11上，通过螺栓固定链接，同步带轮9的安装孔和第一电机10轴进行配合，用顶丝压紧；同步带轮9通过同步带8和同步带轮4进行传动；
所述俯仰件设置在所述水平旋转件的同步带轮4上，所述俯仰件包括第二电机12、第二电机安装座13、第二法兰14和热红外红传感器15；第二电机12与第二电机安装座13通过螺栓固定连接，第二电机安装座13与第一法兰3固连，第二法兰14轴套在第二电机轴上通过螺纹顶丝固定，热红外传感器15安装在第二法兰14上。
同步带8的张紧程度是以第一电机安装板11在RGB-D相机舱2上的位置决定。
RGB-D相机舱2承载水平旋转件和俯仰件的重量，以防止重力对RGB-D相机造成损害。
带有编码器的第一电机10带动同步带轮9转动，同步带轮9通过同步带8将转矩传递到同步带轮4上及第一法兰3上，第一法兰3带动俯仰件做水平转动，第二电机12带动热红外传感器15做俯仰运动。
将RGB-D相机的光心、热红外传感器15的光心和同步带轮9的圆心处于同一竖直平面上。
所述第一电机10为步进电机，第二电机12为直驱电机。
热红外传感器15与第二法兰14固定连接，做水平旋转和俯仰运动。
如图4所示为RGB-D相机和热红外传感器15固定位置时的视场角拍摄范围的示意图。此装置的第一电机10带动同步带轮9转动，转矩通过同步带传递同步到带轮4，从而同步带轮4和第一法兰3进行传动，第一法兰3带动俯仰件可做水平转动；
如图5所示，俯仰件上的热红外传感器15水平旋转角度可达±60°，第二电机12带动热红外传感器15可做俯仰转动；如图6所示，俯仰角度可达±45°。通过此装置可以补偿热红外传感器拍摄范围小的问题。
本发明的具体工作过程如下：首先按顺序依次安装好各部件，并将本发明的云台装置固定在机器人本体上，同时将机器人所需要的多相机放在本发明上；
智能机器人在工作时，RGB-D相机和热红外传感器打开，若可见光相机中未出现目标物体，云台装置不工作，热红外相机任然保持工作状态，正常执行任务；若可见光相机视野中出现目标物体，但并未出现在热红外传感器视野中，则有以下三种工作状态：
1)若目标物体处于热红外传感器15视野的正下方，如图7所示，方块A为目标物体，那么此时则会根据机器人视野中的反馈，向第二电机12发送指令，此时第一电机10不工作，第二电机12直接带动热红外传感器15向下旋转，直至目标物体在热红外传感器15中都能拍摄到，至此，第二电机12反向旋转，带动热红外传感器15复位。
2)若目标物体处于热红外传感器15视野的正右方，如图8所示，方块A为目标物体，那么此时则会根据机器人视野中的反馈，向第一电机10发送指令，此时第一电机12不工作，第一电机10带动同步带轮9顺时针旋转，进而同步轮带4顺时针旋转，通过和第一法兰3固连的第二电机安装座13带动俯仰件上的热红外传感器15也顺时针旋转，直至目标物体在热红外传感器15中都能拍摄到，至此，第一电机10输出反方向转矩，带动俯仰件复位。
3)若目标物体处于热红外传感器视野的右下方，如图9所示，方块A为目标物体，那么此时则会根据机器人视野中的反馈，向第一电机10，第二电机12分别发送指令，此时第一电机10带动同步带轮9顺时针旋转，进而同步轮带4顺时针旋转，进而俯仰件也顺时针旋转，至目标物体处于热红外传感器15视野的正下方时，第一电机10停止工作，第二电机12直接带动热红外传感器向下旋转，直至目标物体在热红外传感器15中都能拍摄到。至此，第一电机10和第二电机12反向工作，带动水平旋转件和俯仰件复位。
以上对本发明所提出的一种用于智能机器人RGB-D-T信息感知的传感器集成装置，进行了详细介绍，本文中应用了数值模拟算例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种用于智能机器人RGB-D-T信息感知的传感器集成装置，其特征在于：所述集成装置包括固定座(1)、RGB-D相机舱(2)、RGB-D相机、水平旋转件和俯仰件；
所述固定座(1)与RGB-D相机舱(2)固连，RGB-D相机舱(2)的一端设置有开口，RGB-D相机固定在RGB-D相机舱(2)内，且RGB-D相机的镜头向开口方向设置，RGB-D相机舱(2)和RGB-D相机通过螺栓固连；RGB-D相机舱(2)上方设置水平旋转件；
所述水平旋转件包括第一法兰(3)、第一同步带轮(4)、角接触球轴承(5)、孔用挡圈(6)、轴用挡圈(7)、同步带(8)、第二同步带轮(9)、第一电机(10)和第一电机安装板(11)；所述第一法兰(3)的一体旋转轴和第一同步带轮(4)通过平键连接在一起，RGB-D相机舱(2)顶部设糟，糟内放置角接触球轴承(5)，并用孔用挡圈(6)固定，角接触球轴承(5)内圈与第一同步带轮(4)旋转轴轴肩接触，法兰旋转轴的末端用轴用挡圈(7)固定；第一电机(10)架在第一电机安装板(11)上，通过螺栓固定链接，第二同步带轮(9)的安装孔和第一电机(10)轴进行配合，用顶丝压紧；第二同步带轮(9)通过同步带(8)和第一同步带轮(4)进行传动；
所述俯仰件设置在所述水平旋转件的第一同步带轮(4)上，所述俯仰件包括第二电机(12)、第二电机安装座(13)、第二法兰(14)和热红外传感器(15)；第二电机(12)与第二电机安装座(13)通过螺栓固定连接，第二电机安装座(13)与第一法兰(3)固连，第二法兰(14)轴套在第二电机轴上通过螺纹顶丝固定，热红外传感器(15)安装在第二法兰(14)上；
将RGB-D相机的光心、热红外传感器(15)的光心和第二同步带轮(9)的圆心处于同一竖直平面上。
2.根据权利要求1所述的传感器集成装置，其特征在于：同步带(8)的张紧程度是以第一电机安装板(11)在RGB-D相机舱(2)上的位置决定。
3.根据权利要求1所述的传感器集成装置，其特征在于：RGB-D相机舱(2)承载水平旋转件和俯仰件的重量。
4.根据权利要求1所述的传感器集成装置，其特征在于：带有编码器的第一电机(10)带动第二同步带轮(9)转动，第二同步带轮(9)通过同步带(8)将转矩传递到第一同步带轮(4)上及第一法兰(3)上，第一法兰(3)带动俯仰件做水平转动，第二电机(12)带动热红外传感器(15)做俯仰运动。
5.根据权利要求1所述的传感器集成装置，其特征在于：所述第一电机(10)为步进电机，第二电机(12)为直驱电机。
6.根据权利要求1所述的传感器集成装置，其特征在于：热红外传感器(15)与第二法兰(14)固定连接，做水平旋转和俯仰运动。
CN202110239875.7A 2021-03-04 2021-03-04 一种用于智能机器人rgb-d-t信息感知的传感器集成装置 Active CN112936348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110239875.7A CN112936348B (zh) 2021-03-04 2021-03-04 一种用于智能机器人rgb-d-t信息感知的传感器集成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110239875.7A CN112936348B (zh) 2021-03-04 2021-03-04 一种用于智能机器人rgb-d-t信息感知的传感器集成装置

Publications (2)

Publication Number Publication Date
CN112936348A CN112936348A (zh) 2021-06-11
CN112936348B true CN112936348B (zh) 2022-11-18

Family

ID=76247572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110239875.7A Active CN112936348B (zh) 2021-03-04 2021-03-04 一种用于智能机器人rgb-d-t信息感知的传感器集成装置

Country Status (1)

Country Link
CN (1) CN112936348B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447096A (zh) * 2018-02-09 2018-08-24 西南科技大学 kinect深度相机与热红外相机的信息融合方法
CN210344843U (zh) * 2019-09-04 2020-04-17 山东金惠新达智能制造科技有限公司 一种回转云台机构及具有回转云台机构的巡检机器人
CN111064933A (zh) * 2019-12-27 2020-04-24 成都英飞睿技术有限公司 一种红外全景监控系统
US10694097B1 (en) * 2016-11-28 2020-06-23 Emergent Machines, Inc. Method, apparatus and system for an autonomous robotic photo booth
CN111813106A (zh) * 2020-06-16 2020-10-23 深圳供电局有限公司 用于变电站巡检的探沟装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103512579B (zh) * 2013-10-22 2016-02-10 武汉科技大学 一种基于热红外摄像机和激光测距仪的地图构建方法
US10735659B2 (en) * 2016-03-17 2020-08-04 Flir Systems, Inc. Rotation-adaptive video analytics camera and method
CN106799732A (zh) * 2016-12-07 2017-06-06 中国科学院自动化研究所 用于双目头眼协调运动的控制系统及其定位方法
CN106842350B (zh) * 2016-12-26 2020-04-10 首都师范大学 同平台不同分辨率传感器联合动目标检测系统及检测方法
CN209063080U (zh) * 2018-10-25 2019-07-05 中国南方电网有限责任公司超高压输电公司大理局 一种应用于高处巡视的智能巡检机器人
CN109227606A (zh) * 2018-10-26 2019-01-18 深圳市朗驰欣创科技股份有限公司 一种变电站巡检机器人用云台
CN109974853B (zh) * 2018-12-28 2020-12-04 北京信息科技大学 基于多光谱复合的仿生视觉目标检测与跟踪方法
CN110238831B (zh) * 2019-07-23 2020-09-18 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
CN211606618U (zh) * 2020-04-14 2020-09-29 北京都是科技有限公司 基于冷靴的可见光和热红外的双光融合相机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694097B1 (en) * 2016-11-28 2020-06-23 Emergent Machines, Inc. Method, apparatus and system for an autonomous robotic photo booth
CN108447096A (zh) * 2018-02-09 2018-08-24 西南科技大学 kinect深度相机与热红外相机的信息融合方法
CN210344843U (zh) * 2019-09-04 2020-04-17 山东金惠新达智能制造科技有限公司 一种回转云台机构及具有回转云台机构的巡检机器人
CN111064933A (zh) * 2019-12-27 2020-04-24 成都英飞睿技术有限公司 一种红外全景监控系统
CN111813106A (zh) * 2020-06-16 2020-10-23 深圳供电局有限公司 用于变电站巡检的探沟装置

Also Published As

Publication number Publication date
CN112936348A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
WO2018107337A1 (zh) 云台及其操作方法、控制方法，及使用其的可移动设备
BR112018072581B1 (pt) Formação de imagem pelo uso de vários veículos aéreos não tripulados
US9160907B2 (en) Tracking apparatus
US11519784B2 (en) Thermal imaging radar
CN204272255U (zh) 立式全景摄像机系统
CN113978746B (zh) 一种搭载直升机的独立工作的光电吊舱装置
CN206389471U (zh) 一种全景监控预警系统
CN110076801A (zh) 一种全地形环境探险平台
CN106742005A (zh) 一种电力巡线用光电吊舱及无人直升机
CN104796590A (zh) 一种公路高速运动成像仪
CN104197926A (zh) 一种采用主动视觉方式的机器人导航装置
CN112936348B (zh) 一种用于智能机器人rgb-d-t信息感知的传感器集成装置
CN208102365U (zh) 一种无人机倾斜摄像拍照装置
CN108087679A (zh) 一种智能球机云台
WO2016054825A1 (zh) 旋转摄像装置及系统
CN204906574U (zh) 监控装置及其系统
CN106550225A (zh) 一种基于物联网的网络安全监控系统
CN203574758U (zh) 球状侦测传感装置
CN106227241A (zh) 一种运动平台双视场双回路扫描跟踪系统及其方法
Li et al. Development of a remote-controlled mobile robot with binocular vision for environment monitoring
CN207698023U (zh) 无人机用视频吊舱设备
CN111121826A (zh) 一种三轴航空相机轴系误差和指向误差的测量方法及装置
CN115649443A (zh) 基于热成像技术的无人机追踪系统
CN108321983B (zh) 一种轻小型云台框架力矩电机与光电码盘组合式连接装置
CN212341741U (zh) 一种基于红外传感器开发的自动云台设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant