CN116017160A - 一种基于图像处理系统的智能化选矿方法 - Google Patents

Abstract

本发明公开了智能化选矿技术领域的一种基于图像处理系统的智能化选矿方法，包括有图像服务器、巡检机器人、DTU、PLC控制箱、电动推杆组件、交换机与AP模块；巡检机器人采集摇床的图像数据通过WIFI传输给图像服务器，图像服务器采用深度学习算法标注出矿粒与杂质的分界线，图像处理算法：基于深度学习的方法完成矿线的标注，精确度高，效果好；模块化的系统结构：系统结构采用模块化设计，可重构性强，拓展性和兼容性好；先进性与经济性：采用成熟、主流的设备构建系统，系统建设充分利用当前最新的视音频、数据、网络等技术，充分兼顾需求和技术的不断变化。系统整体配置性能高，价格合理，建设成本和投入较低。

Description

一种基于图像处理系统的智能化选矿方法

技术领域

本发明涉及智能化选矿技术领域，具体为一种基于图像处理系统的智能化选矿方法。

背景技术

传统的锡矿摇床分矿后需要人工移动托盘进行接矿，由于分矿的时间长，摇床的数量多，需要大量的人力成本和时间成本。为了相应国家号召，需要将落后的人工方式替换成先进的智能化方式，基于此，本发明设计了一种基于图像处理系统的智能化选矿方法以解决上述问题。

发明内容

本发明的目的在于提供一种基于图像处理系统的智能化选矿方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于图像处理系统的智能化选矿方法，包括有图像服务器、巡检机器人、DTU、PLC控制箱、电动推杆组件、交换机与AP模块；

巡检机器人采集摇床的图像数据通过WIFI传输给图像服务器，图像服务器采用深度学习算法标注出矿粒与杂质的分界线，然后根据分界线位置输出相应的控制信号，控制信号经过DTU模块的转发到PLC控制箱，PLC控制箱控制电动推杆组件自动追踪矿线位置完成接矿任务；

接矿控制策略方法：

1)建立坐标系，

以摇床的出水侧边界线与摇床接矿侧边界线交点为坐标原点O，以平行于接矿侧边界线，逆水流方向为正方向建立坐标系；

2)图像识别数据，

图像算法按照不同的筛选精度进行标定分界线，并计算各锡矿分界线与坐标系交点的位置X1，X2，X3；图像算法同时会尝试检测托盘的中心线在坐标系上的位置X0，这一过程可使用目标检测框选出托盘位置，或者在设计时在托盘上人为标记中线位置方便图像识别；

3)移动控制算法，

1.每次启动后托盘回到坐标原点0位置；

2.服器采集第n个时间段的分界线坐标X1_n，X2_n，X3_n以及X0_n的值；同时服务器还应该记录上一次的分界线坐标X1_n-1，X2_n-1，X3_n-1的值；

3.按照工况要求选择采用那个分界线坐标Xi_n，i为分界线索引，n为时间段索引，若可以得到X0_n值，则控制器的移动距离d_n＝Xi_n-X0_n，若无法得到X0_n，则控制器的移动距离d_n＝Xi_n-Xi_n-1；

4.服务器下发控制指令，

服务器计算出d_n后即可下发指定给DTU，在服务器内添加自定义脚本，实现将“移动d_n”转化为推杆控制器可以识别的控制指令；自定义脚本支持Python，JavaScript，Java，Rust，C/C++，Lua，Groovy等语言，支持二次开发，提供API接口，高兼容性，高拓展性。

DTU接收到服务器发来的控制指令后直接转发给接矿设备控制器，实现自动化、智能化接矿操作。

优选的，在所述摇床组上方搭设龙门架，用于吊装轨道，在过道两边加设三角支撑柱，提高龙门架的结构稳定性，以及避让导轨。

上场区：设定摄像机在每个摇床前停留10秒，用于采集图像信息，24个摇床一共需要停留240秒；移动路径为：左端→右端→左端；总行程72米，设定移动摄像机运行速度为5米/分钟，完成一个循环大约需要20分钟。

优选的，下场区：设定摄像机在每个摇床前停留10秒，用于采集图像信息，22个摇床一共需要停留220秒；移动路径为：左端→右端→左端；总行程72米，设定移动摄像机运行速度为5米/分钟，完成一个循环大约需要20分钟，摇床与水泥墙连接。

优选的，水泥围栏上加装一层U型支架，卡在水泥墙上，在U型支架上设置两排安装孔，与电缸的导轨的安装尺寸相对应；电缸的滑块与分流板连接，电缸滑块带动分流板实现左右移动；分流板采用钣金件。

优选的，所述电缸通电后，会反馈给控制器当前滑块的位置信息，摄像机对摇床进行拍照，经过图像处理后，得到水流分界线位置信息，服务器将水流分线位置信息发送到电缸控制器，控制器给电缸发送位置信息指令，电缸的滑块进行移动，并带动分流板移动至指定位置。

优选的，所述图像识别模型的建立需要大量的图像数据信息，基本模型建立至少需要50000张图片；为了尽可能多的识别信息，不仅需要客户提供大量的现场图像信息，还需要在加工现场实时采集图像进行训练；为此系统提供专门的训练模式，在训练模式下，巡检机器人在环形轨道上对各个云锡矿摇床进行巡检拍照，将位置信息和图像信息发送到服务器监控管理软件平台，监控管理软件调用图像模型处理软件对图像模型进行训练。

优选的，所述监控管理软件平台接收到巡检机器人的拍照图片之后，图像标注软件会在图像上进行标注，需要人工核查标注是否准确，如果标注正确则图片进入训练库，如果标注错误，需要人工修正之后，图片再进入训练库。

优选的，所述图像模型处理软件定期使用训练库，对图像模型进行训练，强化模型的识别准确率。

优选的，所述图像采集的识别流程为：

(1)巡检机器人上设置的摄像机模块对目标区域进行30s摄像采集，设定在采集位置光线的强度小于一定值时，自动打开摄像机旁边的灯光对拍摄位置进行照射补光，避免某一部分位置的角度光线的问题造成拍摄图片的不清晰，不便于后续工作人员对图片进行观察，影响后续判断的结果，且较小部件拍摄的过程中，经过系统判断可自动将摄像头对比尺寸放大，对拍摄的位置进行放大处理拍摄，对后续工作人员的查看具有一定的帮助，可直接观察，不需要工作人员对图片进行其他操作，更快的加速的工作的进行，较为实用；

(2)将采集的目标区域图像数据和定位信息数据传输到服务器中；

(3)服务器接收存储目标区域图像数据和定位信息数据、拍摄时间，以及图像拍摄位置数据；

(4)服务器将目标区域图像数据进行标注。

与现有技术相比，本发明的有益效果是：

图像处理算法：基于深度学习的方法完成矿线的标注，精确度高，效果好。

模块化的系统结构：系统结构采用模块化设计，可重构性强，拓展性和兼容性好。

先进性与经济性：采用成熟、主流的设备构建系统，系统建设充分利用当前最新的视音频、数据、网络等技术，充分兼顾需求和技术的不断变化。系统整体配置性能高，价格合理，建设成本和投入较低。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明整体结构示意图；

图2为本发明上场区龙门架示意图；

图3为本发明下场区龙门架示意图一；

图4为本发明下场区龙门架示意图二；

图5为本发明三角架示意图；

图6为本发明摇床和水泥墙的连接示意图；

图7为本发明水泥墙和U型支架连接示意图；

图8为本发明坐标系选择托盘示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1至图8，本发明提供一种基于图像处理系统的智能化选矿方法技术方案：包括有图像服务器、巡检机器人、DTU、PLC控制箱、电动推杆组件、交换机与AP模块；

巡检机器人采集摇床的图像数据通过WIFI传输给图像服务器，图像服务器采用深度学习算法标注出矿粒与杂质的分界线，然后根据分界线位置输出相应的控制信号，控制信号经过DTU模块的转发到PLC控制箱，PLC控制箱控制电动推杆组件自动追踪矿线位置完成接矿任务；

接矿控制策略方法：

1)建立坐标系，

以摇床的出水侧边界线与摇床接矿侧边界线交点为坐标原点O，以平行于接矿侧边界线，逆水流方向为正方向建立坐标系；

2)图像识别数据，

图像算法按照不同的筛选精度进行标定分界线，并计算各锡矿分界线与坐标系交点的位置X1，X2，X3；图像算法同时会尝试检测托盘的中心线在坐标系上的位置X0，这一过程可使用目标检测框选出托盘位置，或者在设计时在托盘上人为标记中线位置方便图像识别；

3)移动控制算法，

1.每次启动后托盘回到坐标原点0位置；

2.服器采集第n个时间段的分界线坐标X1_n，X2_n，X3_n以及X0_n的值；同时服务器还应该记录上一次的分界线坐标X1_n-1，X2_n-1，X3_n-1的值；

3.按照工况要求选择采用那个分界线坐标Xi_n，i为分界线索引，n为时间段索引，若可以得到X0_n值，则控制器的移动距离d_n＝Xi_n-X0_n，若无法得到X0_n，则控制器的移动距离d_n＝Xi_n-Xi_n-1；

4.服务器下发控制指令，

服务器计算出d_n后即可下发指定给DTU，在服务器内添加自定义脚本，实现将“移动d_n”转化为推杆控制器可以识别的控制指令；自定义脚本支持Python，JavaScript，Java，Rust，C/C++，Lua，Groovy等语言，支持二次开发，提供API接口，高兼容性，高拓展性。

DTU接收到服务器发来的控制指令后直接转发给接矿设备控制器，实现自动化、智能化接矿操作。

优选的，在所述摇床组上方搭设龙门架，用于吊装轨道，在过道两边加设三角支撑柱，提高龙门架的结构稳定性，以及避让导轨。

上场区：设定摄像机在每个摇床前停留10秒，用于采集图像信息，24个摇床一共需要停留240秒；移动路径为：左端→右端→左端；总行程72米，设定移动摄像机运行速度为5米/分钟，完成一个循环大约需要20分钟，下场区：设定摄像机在每个摇床前停留10秒，用于采集图像信息，22个摇床一共需要停留220秒；移动路径为：左端→右端→左端；总行程72米，设定移动摄像机运行速度为5米/分钟，完成一个循环大约需要20分钟，摇床与水泥墙连接，水泥围栏上加装一层U型支架，卡在水泥墙上，在U型支架上设置两排安装孔，与电缸的导轨的安装尺寸相对应；电缸的滑块与分流板连接，电缸滑块带动分流板实现左右移动；分流板采用钣金件，所述电缸通电后，会反馈给控制器当前滑块的位置信息，摄像机对摇床进行拍照，经过图像处理后，得到水流分界线位置信息，服务器将水流分线位置信息发送到电缸控制器，控制器给电缸发送位置信息指令，电缸的滑块进行移动，并带动分流板移动至指定位置，所述图像识别模型的建立需要大量的图像数据信息，基本模型建立至少需要50000张图片；为了尽可能多的识别信息，不仅需要客户提供大量的现场图像信息，还需要在加工现场实时采集图像进行训练；为此系统提供专门的训练模式，在训练模式下，巡检机器人在环形轨道上对各个云锡矿摇床进行巡检拍照，将位置信息和图像信息发送到服务器监控管理软件平台，监控管理软件调用图像模型处理软件对图像模型进行训练，所述监控管理软件平台接收到巡检机器人的拍照图片之后，图像标注软件会在图像上进行标注，需要人工核查标注是否准确，如果标注正确则图片进入训练库，如果标注错误，需要人工修正之后，图片再进入训练库，所述图像模型处理软件定期使用训练库，对图像模型进行训练，强化模型的识别准确率，所述图像采集的识别流程为：

(1)巡检机器人上设置的摄像机模块对目标区域进行30s摄像采集，设定在采集位置光线的强度小于一定值时，自动打开摄像机旁边的灯光对拍摄位置进行照射，避免某一部分位置的角度光线的问题造成拍摄图片的不清晰，不便于后续工作人员对图片进行观察，影响后续判断的结果；

(2)将采集的目标区域图像数据和定位信息数据传输到服务器中；

(3)服务器接收存储目标区域图像数据和定位信息数据、拍摄时间，以及图像拍摄位置数据；

(4)服务器将目标区域图像数据进行标注。

本发明所提供的产品型号只是为本技术方案依据产品的结构特征进行的使用，其产品会在购买后进行调整与改造，使之更加匹配和符合本发明所属技术方案，其为本技术方案一个最佳应用的技术方案，其产品的型号可以依据其需要的技术参数进行替换和改造，其为本领域所属技术人员所熟知的，因此，本领域所属技术人员可以清楚的通过本发明所提供的技术方案得到对应的使用效果。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于图像处理系统的智能化选矿方法，其特征在于，包括有图像服务器、巡检机器人、DTU、PLC控制箱、电动推杆组件、交换机与AP模块；

巡检机器人采集摇床的图像数据通过WIFI传输给图像服务器，图像服务器采用深度学习算法标注出矿粒与杂质的分界线，然后根据分界线位置输出相应的控制信号，控制信号经过DTU模块的转发到PLC控制箱，PLC控制箱控制电动推杆组件自动追踪矿线位置完成接矿任务；

接矿控制策略方法：

1)建立坐标系，

以摇床的出水侧边界线与摇床接矿侧边界线交点为坐标原点O，以平行于接矿侧边界线，逆水流方向为正方向建立坐标系；

2)图像识别数据，

图像算法按照不同的筛选精度进行标定分界线，并计算各锡矿分界线与坐标系交点的位置X1，X2，X3；图像算法同时会尝试检测托盘的中心线在坐标系上的位置X0，这一过程可使用目标检测框选出托盘位置，或者在设计时在托盘上人为标记中线位置方便图像识别；

3)移动控制算法，

1.每次启动后托盘回到坐标原点0位置；

2.服器采集第n个时间段的分界线坐标X1_n，X2_n，X3_n以及X0_n的值；同时服务器还应该记录上一次的分界线坐标X1_n-1，X2_n-1，X3_n-1的值；

3.按照工况要求选择采用那个分界线坐标Xi_n，i为分界线索引，n为时间段索引，若可以得到X0_n值，则控制器的移动距离d_n＝Xi_n-X0_n，若无法得到X0_n，则控制器的移动距离d_n＝Xi_n-Xi_n-1；

4.服务器下发控制指令，

服务器计算出d_n后即可下发指定给DTU，在服务器内添加自定义脚本，实现将“移动d_n”转化为推杆控制器可以识别的控制指令；自定义脚本支持Python，JavaScript，Java，Rust，C/C++，Lua，Groovy等语言。

2.根据权利要求1所述的一种基于图像处理系统的智能化选矿方法，其特征在于：在所述摇床组上方搭设龙门架，用于吊装轨道，在过道两边加设三角支撑柱。

上场区：设定摄像机在每个摇床前停留10秒，用于采集图像信息，24个摇床一共需要停留240秒；移动路径为：左端→右端→左端；总行程72米，设定移动摄像机运行速度为5米/分钟，完成一个循环大约需要20分钟。

3.根据权利要求2所述的一种基于图像处理系统的智能化选矿方法，其特征在于：下场区：设定摄像机在每个摇床前停留10秒，用于采集图像信息，22个摇床一共需要停留220秒；移动路径为：左端→右端→左端；总行程72米，设定移动摄像机运行速度为5米/分钟，完成一个循环大约需要20分钟，摇床与水泥墙连接。

4.根据权利要求3所述的一种基于图像处理系统的智能化选矿方法，其特征在于：水泥围栏上加装一层U型支架，卡在水泥墙上，在U型支架上设置两排安装孔，与电缸的导轨的安装尺寸相对应；电缸的滑块与分流板连接，电缸滑块带动分流板实现左右移动；分流板采用钣金件。

5.根据权利要求4所述的一种基于图像处理系统的智能化选矿方法，其特征在于：所述电缸通电后，会反馈给控制器当前滑块的位置信息，摄像机对摇床进行拍照，经过图像处理后，得到水流分界线位置信息，服务器将水流分线位置信息发送到电缸控制器，控制器给电缸发送位置信息指令，电缸的滑块进行移动，并带动分流板移动至指定位置。

6.根据权利要求1所述的一种基于图像处理系统的智能化选矿方法，其特征在于：所述图像识别模型的建立需要大量的图像数据信息，基本模型建立至少需要50000张图片；在训练模式下，巡检机器人在环形轨道上对各个云锡矿摇床进行巡检拍照，将位置信息和图像信息发送到服务器监控管理软件平台，监控管理软件调用图像模型处理软件对图像模型进行训练。

7.根据权利要求6所述的一种基于图像处理系统的智能化选矿方法，其特征在于：所述监控管理软件平台接收到巡检机器人的拍照图片之后，图像标注软件会在图像上进行标注，需要人工核查标注是否准确，如果标注正确则图片进入训练库，如果标注错误，需要人工修正之后，图片再进入训练库。

8.根据权利要求7所述的一种基于图像处理系统的智能化选矿方法，其特征在于：所述图像模型处理软件定期使用训练库，对图像模型进行训练，强化模型的识别准确率。

9.根据权利要求6所述的一种基于图像处理系统的智能化选矿方法，其特征在于：所述图像采集的识别流程为：

(1)巡检机器人上设置的摄像机模块对目标区域进行30s摄像采集，设定在采集位置光线的强度小于一定值时，自动打开摄像机旁边的灯光对拍摄位置进行照射；

(2)将采集的目标区域图像数据和定位信息数据传输到服务器中；

(3)服务器接收存储目标区域图像数据和定位信息数据、拍摄时间，以及图像拍摄位置数据；

(4)服务器将目标区域图像数据进行标注。

Images