CN110154053A - 一种基于ocr的室内讲解机器人及其讲解方法 - Google Patents

Abstract

本发明公开了一种基于OCR的室内讲解机器人及其讲解方法，包括超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块、数据存储模块和中央控制单元。本发明采用图像处理和文本识别技术增强了机器人的智能性，按略讲和精讲两个层次进行讲解，帮助不方便阅读展品的介绍文字和想要专心观赏展品的游客了解展品，在室内环境下比现阶段基于GPS的导游APP更加精准；比自动讲解耳机更加卫生、方便和生动；机器人在略讲展品之后，会询问游客是否要一步了解该展品的详细介绍，如果需要则进行精讲，这种可选择的讲解方式，满足了不同游客的需求，更加人性化；在一定程度上节省了导游行业的人力资源，降低了人力成本。

Description

一种基于OCR的室内讲解机器人及其讲解方法

技术领域

本发明属于智能机器人技术领域，具体涉及一种基于OCR的室内讲解机器人及其讲解方法。

背景技术

国内目前有用于室内导游的机器人，但智能化程度还不高。随着科学技术的不断进步和机器人技术的不断发展，智能机器人已逐渐走入千家万户，市场上也出现了不少智能机器人给人们的生活带来便利和乐趣，其中，交互机器人作为智能机器人的一种，能够和人们互动，给人们的生活，尤其是给老人或孩子的生活增添了许多乐趣。随着社会生产力的发展和生活水平的提高，人们将越来越多的时间用于休闲和娱乐，从而极大的促进了旅游业的发展。近年来，游览博物馆、名人故居等文化圣地成为一种时尚，游客数量剧增。为了获得更佳的游览体验，通常需要讲解员向游客介绍各种物品、遗迹并对相关的历史故事进行讲解。由于游客数量众多，需分批进入，因此讲解员必须完成多次重复的讲解工作，浪费了时间和人力，增加了工作成本。同时由于人脑的记忆力有限，讲解员有时不能清楚完整的解答游客提出的问题。

现有技术中CN103699126中公开了一种智能导游机器人的导游方法，但这种导游机器人主要根据WIFI实现导航定位，通过识别物品来讲解等，但这种导游机器人场景模式受到很大限制，由于WIFI布局会涉及到大量的网点，其面对于大场景模式时，需要投入大量的网点布局，当面对一个网络环境不好或范围较小的场景，其无法实现精准识别和定位，从而无法完成讲解工作。

因此，需要一种基于OCR的室内讲解机器人及其讲解方法。

发明内容

本发明目的在于提供一种基于OCR的室内讲解机器人及其讲解方法，来解决目前用于室内导游的机器人面对一个网络环境不好或范围较小的场景，其无法实现精准识别和定位，从而无法完成讲解工作的问题。

为实现上述目的，本发明所采用的技术方案是：

一种基于OCR的室内讲解机器人，包括超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块、数据存储模块和中央控制单元，所述中央控制单元分别与所述超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块和数据存储模块连接；所述超声波传感器、红外传感器和倾角传感器配合使用，用于讲解机器人采集与展位之间的距离并建立语义地图；所述OCR识别模块用于识别展位上的文本信息；所述音频输入模块用于讲解机器人接收并识别音频信息，所述音频输出模块用于讲解机器人输出相应展位的讲解音频信息，所述移动执行模块用于讲解机器人完成相应的移动，所述数据存储模块用于存储讲解机器人所需要讲解的展位内容信息以及讲解机器人所采集的信息；所述中央控制单元用于整个控制讲解机器人的工作。

优选的，所述OCR识别模块采用Tesseract-OCR引擎。

优选的，所述中央控制单元采用ARM核心处理器的单片机系统。

优选的，还包括摄像头，所述摄像头与所述中央控制单元连接。

优选的，还包括无线通信模块，所述无线通信模块与所述中央控制单元连接。

一种基于OCR的室内讲解机器人的讲解方法，包括以下步骤：

S1：通过超声波传感器、红外传感器、摄像头和倾角传感器采集的数据生成讲解机器人负责讲解的室内展位环境语义地图，并存储到讲解机器人的数据存储模块中；

S2：讲解机器人通过音频输出模块询问游客的参观方式并通过音频输入模块接收游客指令，若游客选择顺序参观，讲解机器人则带领游客顺序参观，若游客指定展位参观，讲解机器人则规划一条路径带领游客到指定展位；

S3：讲解机器人通过OCR识别模块识别当前展位信息，并通过音频输出模块为游客略讲当前展位的概括内容；同时根据展位信息进行位置校正；S4：讲解机器人通过音频输出模块询问游客是否需要了解当前展位的详细内容并通过音频输入模块接收游客指令，若游客需要了解当前展位的详细内容，讲解机器人则调用数据存储模块中存储的当前展位的详细内容，若游客不需要了解当前展位的详细内容，则进入步骤S5；

S5：讲解机器人通过音频输出模块询问游客是否结束参观并通过音频输入模块接收游客指令，若游客结束参观，讲解机器人则结束本次导游，若游客不结束参观，则返回至步骤S2。

优选的，步骤S1还包括一下子步骤：

S101：首先进行边界检测；将栅格地图初始化为0，启动设置在讲解机器人左右两侧的声纳并开始边界检测，读取相应声纳值；如果左声值和右声值均小于0.35米时，表明前方有障碍物，讲解机器人根据内旋法算法左转或右转，否则讲解机器人直行；完成边界检测后，则准备进行展位检测；

S102：当讲解机器人完成边界检测后，开始接近展位，当讲解机器人距离展位等于或小于0.5m时将发射其声纳并读取实际距离值，根据这个距离值，讲解机器人的中央控制单元控制讲解机器人安全靠近展位，然后朝向展位沿顺时针开始展位检测；

S103：讲解机器人完成障碍物检测在进行展位检测的过程中，通过摄像头采集展位信息图片，调用OCR识别出展位的语义信息，从而生成讲解机器人负责讲解的室内展位环境语义地图。

优选的，在步骤S3中，讲解机器人每到达一个展位，可利用展位信息进行定位校正，或者当机器人被人为地移动到某个位置时，需要重新定位，定位的具体步骤如下：

S301：讲解机器人在当前位置旋转一周，若发现展位，则讲解机器人向该展位靠近，若未发现展位，则讲解机器人随机移动一段距离直至发现展位；

S302：讲解机器人通过OCR识别模块识别该展位信息；

S303：讲解机器人根据该展位信息匹配室内展位环境语义地图，从而完成自身定位。

本发明的有益技术效果是：(1)当一个机器人进入一个新环境时，它需要首先熟悉环境，就像仆人更好地服务。

(2)本发明采用图像处理和文本识别技术增强了机器人的智能性。机器人首先按游客的参观要求将他们带到相应的展品前，然后按略讲和精讲两个层次进行讲解，帮助不方便阅读展品的介绍文字和想要专心观赏展品的游客了解展品，无需游客分心，达到一种视听结合的良好参观效果。

(3)本发明在室内环境下比现阶段基于GPS的导游APP更加精准；比自动讲解耳机更加卫生、方便和生动；机器人在略讲展品之后，会询问游客是否要一步了解该展品的详细介绍，如果需要则进行精讲，这种可选择的讲解方式，满足了不同游客的需求，更加人性化；在一定程度上节省了导游行业的人力资源，降低了人力成本。

(4)当机器人被人为移动时，可通过OCR识别展位信息进行定位；机器人讲解时每到达一个展位，利用展位信息进行位置校正，可减少机器人行走过程产生的累积误差。

附图说明

图1为本发明的一个实施例讲解机器人工作流程示意图。

图2为本发明的一个实施例讲解机器人结束本次导游后进行自身定位的流程示意图。

图3为本发明的一个实施例讲解机器人的实际环境图。

图4为本发明的一个实施例讲解机器人生成的语义地图。

图5为本发明的一个实施例的结构示意图。

具体实施方式

下面结合本发明的附图1-5，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图5所示，一种基于OCR的室内讲解机器人，包括超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块、数据存储模块和中央控制单元，所述中央控制单元分别与所述超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块和数据存储模块连接；所述超声波传感器、红外传感器和倾角传感器配合使用，用于讲解机器人采集与展位之间的距离并建立语义地图；所述OCR识别模块用于识别展位上的文本信息；所述音频输入模块用于讲解机器人接收并识别音频信息，所述音频输出模块用于讲解机器人输出相应展位的讲解音频信息，所述移动执行模块用于讲解机器人完成相应的移动，所述数据存储模块用于存储讲解机器人所需要讲解的展位内容信息以及讲解机器人所采集的信息；所述中央控制单元用于整个控制讲解机器人的工作。

在本实施例中优选的，所述OCR识别模块采用Tesseract-OCR引擎。Tesseract-OCR引擎目前是业内准确率较高的识别引擎之一。利用jTessBoxEditor工具训练自己的样本库，使得在想要应用的领域上识别准确率更高。

在本实施例中优选的，所述中央控制单元采用ARM核心处理器的单片机系统。并运行Linux操作系统的嵌入方案。其内核主频可到1.0GHZ、具有32/64位内部总线结构，32/32KB的数据/指令1级cache，512KB的2级cache，可以实现每秒2亿条指令的运算能力。单片机核心板具有512MDDR2内存和NandFLASH存储器，采用5V直流电源供电。单片机扩展板上集成MFC多媒体硬件编码器，支持MPEG-1/2/4，H.263，H.264等格式视频的编解码，支持模拟和数字TV输出，用以处理视频输出数据，此外还集成了JPEG硬件图像编码器，最大可编解码8192*8192分辨率的图片，用以对摄像头捕捉的图像进行硬件编码。为了连接摄像头和无线通信模块，单片机扩展板上还继承了USB芯片和三个USB接口。其中一个USB接口连接摄像头，其中一个USB接口连接无线通信模块，，其中一个USB接口连接作为系统调试终端接口。单片机扩展板上还设置有45pin的液晶显示器接口，连接器采用0.5mmFFC/FPC扁平电缆插座。单片机扩展板设置有声卡芯片，声卡芯片与音频输出电路连接以完成图像识别的声音反馈。

在本实施例中优选的，还包括摄像头，所述摄像头与所述中央控制单元连接。

在本实施例中优选的，还包括无线通信模块，所述无线通信模块与所述中央控制单元连接。

实施例2：

如图1所示，一种基于OCR的室内讲解机器人的讲解方法，包括以下步骤：

S1：通过超声波传感器、红外传感器、摄像头和倾角传感器采集的数据生成讲解机器人负责讲解的室内展位环境语义地图，并存储到讲解机器人的数据存储模块中；

S2：讲解机器人通过音频输出模块询问游客的参观方式并通过音频输入模块接收游客指令，若游客选择顺序参观，讲解机器人则带领游客顺序参观，若游客指定展位参观，讲解机器人则规划一条路径带领游客到指定展位；

S3：讲解机器人通过OCR识别模块识别当前展位信息，并通过音频输出模块为游客略讲当前展位的概括内容；同时根据展位信息进行位置校正；S4：讲解机器人通过音频输出模块询问游客是否需要了解当前展位的详细内容并通过音频输入模块接收游客指令，若游客需要了解当前展位的详细内容，讲解机器人则调用数据存储模块中存储的当前展位的详细内容，若游客不需要了解当前展位的详细内容，则进入步骤S5；

S5：讲解机器人通过音频输出模块询问游客是否结束参观并通过音频输入模块接收游客指令，若游客结束参观，讲解机器人则结束本次导游，若游客不结束参观，则返回至步骤S2。

优选的，步骤S1还包括一下子步骤：

S101：首先进行边界检测；将栅格地图初始化为0，启动设置在讲解机器人左右两侧的声纳并开始边界检测，读取相应声纳值；如果左声值和右声值均小于0.35米时，表明前方有障碍物，讲解机器人根据内旋法算法左转或右转，否则讲解机器人直行；完成边界检测后，则准备进行展位检测；

S102：当讲解机器人完成边界检测后，开始接近展位，当讲解机器人距离展位等于或小于0.5m时将发射其声纳并读取实际距离值，根据这个距离值，讲解机器人的中央控制单元控制讲解机器人安全靠近展位，然后朝向展位沿顺时针开始展位检测；

S103：讲解机器人完成障碍物检测在进行展位检测的过程中，通过摄像头采集展位信息图片，调用OCR识别出展位的语义信息，从而生成讲解机器人负责讲解的室内展位环境语义地图。

优选的，在步骤S3中，讲解机器人每到达一个展位，可利用展位信息进行定位校正，或者当机器人被人为地移动到某个位置时，需要重新定位，定位的具体步骤如下：

S301：讲解机器人在当前位置旋转一周，若发现展位，则讲解机器人向该展位靠近，若为发现展位，则讲解机器人随机移动一段距离直至发现展位；

S302：讲解机器人通过OCR识别模块识别该展位信息；

S303：讲解机器人根据该展位信息匹配室内展位环境语义地图，从而完成自身定位。

其中，首先，讲解机器人通过其左右两侧的两个声纳进行边界检测。然后，讲解机器人被红色球跟踪器带到了障碍物的前方。当讲解机器人通过摄像头跟踪红球时，它可以获得球的距离和角度。该算法包括三个部分：边界检测，障碍物检测和给定的语义信息。边界检测和障碍物检测用于识别环境边界和所有障碍物，而语义信息用于获取障碍物的名称。

第一部分：边界检测。

当讲解机器人进入未知环境时，它将首先执行边界检测。基于Nao机器人的软件平台，用Python编写程序代码。伪代码如下所示：

步骤1：将栅格图初始化为0。

map＝[[0表示范围内(行)]表示b范围(列)

步骤2：启动声纳并开始边界检测。

sonarProxy＝ALProxy(“ALSonar”，IP，PORT)

memoryProxy＝ALProxy(“ALMemory”，IP，PORT)

步骤3：读取声纳的值。

lvalue＝memoryProxy.getData(“Device/SubDeviceList/US/Left/Sensor/Value”)

rvalue＝memoryProxy.getData(“Device/SubDeviceList/US/Right/Sensor/Value”)

步骤4：如果左值和右值都小于0.35米，机器人将根据内旋法算法左转或右转，转弯加1，否则直行。

if(左值<0.35，右值<0.35)：

self.motionProxy.walkTo(0,0，-math.pi/2.0)#左转

self.motionProxy.walkTo(0.08,0,0)

countTurn＝countTurn+1

其他：

self.motionProxy.walkTo(0.08,0,0)#直行

步骤5：如果没有完成边界检测，转到步骤3，否则转到步骤6并准备好进行障碍物检测。

if(map[x][y]＝＝1和countTurn>＝3)：

borderFinish＝真

步骤6：结束。

第二部分和第三部分：障碍物检测和给定的语义信息。

当讲解机器人完成边界检测时，红球会将其引向障碍物的前方。在讲解机器人接近障碍之前，讲解机器人继续跟随红球。当讲解机器人足够接近障碍物时(我们将阈值设置为0.5m)，红球将被快速移除。如果讲解机器人无法在30秒内检测到红球，它将发射其声纳并读取声纳值，根据这个值，讲解机器人计算应该行走多少步才能足够接近障碍物。当它到达安全距离(0.25米)时，它将顺时针朝向障碍物并开始障碍物检测。当讲解机器人完成障碍物的边界检测时，它将通过OCR识别展位信息从而获得障碍物的语义信息。为了减少噪音的影响，如果红球角度的绝对值小于30度，我们让讲解机器人继续直行。另一方面，当角度大于30度时，讲解机器人将向左转，否则当角度小于-30度时，讲解机器人将向右转。伪代码如下：

步骤1：启动红球跟踪并跟随红球并自由行走trackerProxy＝ALProxy(“ALRedBallTracker”，IP，PORT)#launch红球检测

trackerProxy.startTracker()

if(abs(redBallAngle)<math.radians(30))：

motionProxy.walkTo(0.08,0,0)#直行

elif(redBallAngle>＝math.radians(30))：

motionProxy.walkTo(0,0，math.pi/2.0)#左转

motionProxy.angleInterpolation(“HeadYaw”，0,1.0，True)#将头转为0弧度

motionProxy.walkTo(0.08,0,0)

elif(redBallAngle<＝-math.radians(30))：

motionProxy.walkTo(0,0，-math.pi/2.0)#右转

motionProxy.angleInterpolation(“HeadYaw”，0,1.0，True)

motionProxy.walkTo(0.08,0,0)

步骤2：如果红球丢失30秒，讲解机器人将发射其声纳。

sonarProxy＝ALProxy(“ALSonar”，IP，PORT)

memoryProxy＝ALProxy(“ALMemory”，IP，PORT)

sonarProxy.subscribe('Test_sonar')

步骤3：读取声纳的值

lvalue＝memoryProxy.getData(“Device/SubDeviceList/US/Left/Sensor/Value”)

rvalue＝memoryProxy.getData(“Device/SubDeviceList/US/Right/Sensor/Value”)

步骤4：如果声纳值小于0.5米，说明前方有障碍物，机器人首先计算要行走多少步到达与障碍物的距离小于0.25米，然后转入障碍物检测状态；否则，表示地图构建结束，转到步骤910。

if(左值<0.5或右值<0.5)：

步骤数＝INT(最小值(左值-0.25，右值-0.25)/0.08)#机器人的步长为0.08m

motionProxy.walkTo(步骤数*0.08,0.0,0.0)

countTurn＝0

障碍＝真

obstacleFinish＝假

步骤5：如果左值和小值都小于0.25米，表示讲解机器人正面向障碍物，此时用摄像头采集一帧信息，然后调用OCR进行识别，如果有代表展位的文字信息，则存贮到变量result，做为当前障碍物的语义信息，即展位信息，否则忽略本次识别。如果声纳值不小于0.25米，表示讲解机器人位于障碍物的拐角处，讲解机器人将在行走两步后向右转。

if(左值>0.25)：

对于范围内的j(2)：

self.motionProxy.walkTo(0,0.1,0.0)

self.motionProxy.walkTo(0,0.0，-math.pi/2.0)#右转

对于范围内的k(2)：

self.motionProxy.walkTo(0,0.1,0.0)

其他：

self.motionProxy.walkTo(0,0.1,0)#保持向左走

步骤6：重复步骤5，直到当前障碍物检测完成。

步骤7：讲解机器人将步骤5识别的单词result填入索引表t，并且索引变量Scount加1。

Scount+＝1

t.no＝Scount

t.name＝result#展位标题

步骤8：转到第1步。

步骤9：结束。

讲解机器人根据上述算法完成所有障碍物检测。如果讲解机器人在30秒内无法检测到红球，同时它的声纳无法检测到障碍，讲解机器人会说“超时，结束！”。

在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

Claims (8)

1.一种基于OCR的室内讲解机器人，其特征在于，包括超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块、数据存储模块和中央控制单元，所述中央控制单元分别与所述超声波传感器、红外传感器、倾角传感器、OCR识别模块、音频输出模块、音频输入模块、移动执行模块和数据存储模块连接；所述超声波传感器、红外传感器和倾角传感器配合使用，用于讲解机器人采集与展位之间的距离并建立语义地图；所述OCR识别模块用于识别展位上的文本信息；所述音频输入模块用于讲解机器人接收并识别音频信息，所述音频输出模块用于讲解机器人输出相应展位的讲解音频信息，所述移动执行模块用于讲解机器人完成相应的移动，所述数据存储模块用于存储讲解机器人所需要讲解的展位内容信息以及讲解机器人所采集的信息；所述中央控制单元用于整个控制讲解机器人的工作。

2.根据权利要求1所述的一种基于OCR的室内讲解机器人，其特征在于，所述OCR识别模块采用Tesseract-OCR引擎。

3.根据权利要求1所述的一种基于OCR的室内讲解机器人，其特征在于，所述中央控制单元采用ARM核心处理器的单片机系统。

4.根据权利要求1所述的一种基于OCR的室内讲解机器人，其特征在于，还包括摄像头，所述摄像头与所述中央控制单元连接。

5.根据权利要求1所述的一种基于OCR的室内讲解机器人，其特征在于，还包括无线通信模块，所述无线通信模块与所述中央控制单元连接。

6.根据权利要求1所述的一种基于OCR的室内讲解机器人的讲解方法，其特征在于，包括以下步骤：

S1：通过超声波传感器、红外传感器、摄像头和倾角传感器采集的数据生成讲解机器人负责讲解的室内展位环境语义地图，并存储到讲解机器人的数据存储模块中；

S2：讲解机器人通过音频输出模块询问游客的参观方式并通过音频输入模块接收游客指令，若游客选择顺序参观，讲解机器人则带领游客顺序参观，若游客指定展位参观，讲解机器人则规划一条路径带领游客到指定展位；

S3：讲解机器人通过OCR识别模块识别当前展位信息，并通过音频输出模块为游客略讲当前展位的概括内容；同时根据展位信息进行位置校正；

S4：讲解机器人通过音频输出模块询问游客是否需要了解当前展位的详细内容并通过音频输入模块接收游客指令，若游客需要了解当前展位的详细内容，讲解机器人则调用数据存储模块中存储的当前展位的详细内容，若游客不需要了解当前展位的详细内容，则进入步骤S5；

S5：讲解机器人通过音频输出模块询问游客是否结束参观并通过音频输入模块接收游客指令，若游客结束参观，讲解机器人则结束本次导游，若游客不结束参观，则返回至步骤S2。

7.根据权利要求6所述的一种基于OCR的室内讲解机器人的讲解方法，其特征在于，步骤S1还包括一下子步骤：

S101：首先进行边界检测；将栅格地图初始化为0，启动设置在讲解机器人左右两侧的声纳并开始边界检测，读取相应声纳值；如果左声值和右声值均小于0.35米时，表明前方有障碍物，讲解机器人根据内旋法算法左转或右转，否则讲解机器人直行；完成边界检测后，则准备进行展位检测；

S102：当讲解机器人完成边界检测后，开始接近展位，当讲解机器人距离展位等于或小于0.5m时将发射其声纳并读取实际距离值，根据这个距离值，讲解机器人的中央控制单元控制讲解机器人安全靠近展位，然后朝向展位沿顺时针开始展位检测；

S103：讲解机器人完成障碍物检测在进行展位检测的过程中，通过摄像头采集展位信息图片，调用OCR识别出展位的语义信息，从而生成讲解机器人负责讲解的室内展位环境语义地图。

8.根据权利要求6所述的一种基于OCR的室内讲解机器人的讲解方法，其特征在于，在步骤S3中，讲解机器人每到达一个展位，可利用展位信息进行定位校正，或者当机器人被人为地移动到某个位置时，需要重新定位，定位的具体步骤如下：

S301：讲解机器人在当前位置旋转一周，若发现展位，则讲解机器人向该展位靠近，若未发现展位，则讲解机器人随机移动一段距离直至发现展位；

S302：讲解机器人通过OCR识别模块识别该展位信息；

S303：讲解机器人根据该展位信息匹配室内展位环境语义地图，从而完成自身定位。