CN117269620A

CN117269620A - 一种电子皮肤传感阵列数据采集与感知系统的设计方法

Info

Publication number: CN117269620A
Application number: CN202311136455.1A
Authority: CN
Inventors: 许景波; 秦聪; 赵博亮
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2023-09-04
Filing date: 2023-09-04
Publication date: 2023-12-22

Abstract

一种电子皮肤传感阵列数据采集与感知系统的设计方法，属于电子皮肤传感阵列数据采集领域。现有的大规模的传感阵列在进行数据采集的过程中，存在信号干扰、采集速度慢的问题。本发明的上位机与下位机之间通过USB接口实现数据通信；进行电容矩阵测量；通过QT软件开发上位机人机交互界面，实时监测电容值，具有数据保存功能、可视化观察按压区域、显示图形识别结果；利用上位机将数据处理，转化为20*16的矩阵，之后利用深度学习算法提取特征，对接触的零件的形状进行分类；识别目标类型后，确定末端执行器与目标间的作用状态，以使末端执行器决策下一步动作。本发明方法提高了传感器数据采集效率，提高物体识别效率。

Description

一种电子皮肤传感阵列数据采集与感知系统的设计方法

技术领域

本发明涉及电子皮肤传感阵列数据采集与感知系统的设计领域，特别涉及一种电子皮肤传感阵列数据采集与感知系统的设计方法。

背景技术

对于机器人系统而言，触觉是实现外界探索的一种基本感官模式，其主要应用于对目标物体的抓取和操控等作业。机器人从外界环境中感知信息的主要方式是利用触觉传感器与目标对象的直接接触来对物体特性进行感知，并将获取到的接触信息传送给计算机。利用计算机构建算法模型对这些接触信息进行表征和识别处理，从而使得机器人具有对未知物体进行鉴别的能力。

随着应用于电子皮肤的传感器阵列的规模越来越大、密度越来越高、传感器网络种类越来越丰富。在大面积电子皮肤下，行列复用式的传感器阵列能够有效地减少引线的数量，是目前实现大规模布局的常用传感器阵列结构。但是行列复用式阵列传感器在采集时会存在信号串扰，以及在采集规模越来越大的情况下，采集速度会降低的问题。这些问题一直制约着传感器阵列应用的扩展，因此，需要解决阵列式传感器的串扰问题、信号处理问题以及采集速度、精度与规模之间的矛盾问题，才能搭建适用于各类传感器的数据测试系统，这对实现大规模传感器在电子皮肤中的广泛应用是至关重要的。目前各个领域针对压电式柔性阵列传感器的设计阵列规模越来越大已成为重要的趋势。目前针对阵列化传感器的研究主要在机器人电子皮肤实现触觉信号等的获取领域居多。而对传感器阵列的采集大多仍采用单通道的采集方式，只能实现小规模的采集，导致数据采集的规模很难提高。

在自动化装配线中，机器人操作需要物体信息(例如形状和方向)。基于接收到的信息，机器人可以以自动化的方式使用物体或零件组装产品。以前，基于视觉的传感技术(例如CCD相机)经常被用于识别自动化生产线中物体的形状和方向信息。尽管这种方法可以提供物体的良好的时间和空间分辨率，但其识别精度很容易受到环境因素(如照明条件)的影响。当机器人在黑暗环境中操作时，视觉感知质量变差。相反，当环境变亮时，尤其是当要组装的物体由金属制成时，视觉传感方法可能会受到光反射的影响。相比之下，触觉感应对这些条件不太敏感。因此，基于触觉图像的对象识别越来越受到研究人员和工程师的关注。当采用触觉传感方法时，将由多个传感元件组成的二维触觉传感阵列附接到机器人的手中，当机器人触摸物体时，触觉阵列中的每个感测元件测量施加在物体的特定小区域上的接触力或压力。然后，感测元件的压力值被变换为[0-255]范围内的整数，从而形成其中灰度值是变换后的压力值的图像。基于触觉图像，系统可以识别物体的形状、边缘方向和轮廓，识别结果可以指导自动装配任务的机器人作业。

大规模电容传感器具有分辨率高的优势，非常适合用于自动装配领域实现更精准的元件识别。但是大规模的传感阵列在进行数据采集的过程中，会存在信号干扰、采集速度慢等问题。针对上述问题，本发明设计电子皮肤传感阵列高速采集与感知系统，该系统解决了大规模电容阵列采集速度慢的问题，同时实现了对于装配元件的识别分类，对于大规模传感阵列在机器人装配领域的应用具有一定应用价值。

发明内容

本发明的目的是为了解决现有的大规模的传感阵列在进行数据采集的过程中，存在信号干扰、采集速度慢的问题，而提出一种电子皮肤传感阵列数据采集与感知系统的设计方法。

上述目的通过以下的技术方案实现：

一种电子皮肤传感阵列数据采集与感知系统的设计方法，所述方法通过以下步骤实现：

步骤一、设计整体系统，包括下位机、上位机和电容阵列传感器，上位机与下位机之间通过USB接口实现数据通信；

下位机包括选通电路、供电电路、USB数据转换、CDC转换、数据采集处理；

上位机使用windows系统计算机作为上位机硬件平台，实现数据处理、数据可视化、形状识别；

柔性电容阵列传感器是基于FPGA作为从机的控制部分，进行数据采集；并使用Verilog HDL语言设计FPGA程序，以进行双通道并行方式采集电容阵列容值数据；

步骤二、进行电容矩阵测量；

被测电容和一个参考电容连接到同一个放电电阻，组成一个低通滤波，被测电容首先被充电到电源电压，然后通过电阻进行放电，放电到可控制阚值电压的水平，芯片内部的时间数字转换器TDC记录电压水平；测量过程在传感器和参考电容上重复交错进行，应用同样的电阻；计算的结果是测量的比值结果，是与电阻和比较器温度相关性有关；

步骤三、通过QT软件开发上位机人机交互界面，以通过监测窗口实时监测电容值，同时设计数据保存功能、设计可视化界面观察按压区域、设计显示图形识别处理结果；

步骤四、设计工件识别算法：

将柔性电容阵列传感器数据传输至上位机，上位机将数据处理，转化为20*16的矩阵，进而将其转化为灰度图，将图形预处理后，利用深度学习算法提取特征，对接触的零件的形状进行感知、分类；

步骤五、识别目标类型后，进一步确定末端执行器与目标间的作用状态，以使末端执行器决策下一步动作；其中，末端执行器与目标间的作用状态包括接触状态和运动状态以及相对位置，接触状态指末端执行器与目标物间的静态动作，运动状态为末端执行器与目标物间的动态行为。

进一步地，步骤一所述的使用Verilog HDL语言设计FPGA程序，以进行双通道并行方式采集电容阵列容值数据的过程，具体为：

基于分时采集的原理，分别采用行、列信号进行逐点扫描，再通过后续相应的采集电路的设计，分离出单个的柔性传感单元进行采集；

基于分时测量基本原理，使用多个电容转换芯片增加采集通道，利用FPGA的并行特征，实现多通道并行采集；具体步骤是，A和B电容采集芯片启动采集状态，通过选题电路分别选中三个电容，然后依次完成对这三个电容的数据采集；然后行选通电路切换到下一行，重复上述步骤，直至完成三列数据的采集，然后通过列选通电路切换到下一列，重复上述补步骤，直至完成A和B区域的所有电容的采集；其中，在最后一列采集时，采集芯片只需要一个通道；当A和B区域采集完成后，切换C和D电容采集芯片进行采集，步骤同上，即可完成C和D区域的电容采集。

进一步地，步骤一所述的上位机与下位机之间通过USB接口实现数据通信的步骤中，是选用USB2.0接口实现的。

进一步地，步骤三所述的通过QT软件开发上位机人机交互界面的步骤中，是以Qt为开发平台设计上位机软件，通过XML的Qt Designer能拖拽控件；上位机结构包括串口通信、数据显示、控制组件三个部分，串口通信部分具有串口参数配置功能，用于为用户提供需要连接的串口序号，并且具有数据处理功能，数据显示部分主要提供电容原始值、按压强度图以及识别结果反馈，控制组件包括清空当前数据以及强度图归零的功能，控制采集的启停，以及断开下位机连接。

本发明的有益效果为：

本发明基于工业自动化与信息化快速发展和融合的背景，针对电子皮肤测试与识别系统的发展与需求，在保证精度、实时性的前提下，提高整套系统的传感器数据采集效率，提高物体识别效率，设计一套电子皮肤电容矩阵高速采集与识别系统，实时高速获取传感器的数值，并识别按压物体的形状。用FPGA实现传感器数据的采集，并在计算机平台进行图像处理，通过深度学习的方式进行物体形状识别。

电子皮肤应用的优越性能不仅仅体现在传感器件的柔性，在很大程度上也取决于数据采集的可靠性。阵列式传感器的串扰问题、信号处理问题以及采集速度、精度与规模之间的矛盾问题一直制约着阵列式传感器应用的扩展，同时传统研究目标多小规模电容传感器，传感数量少，分辨率低。因此搭建适用于各类传感器的数据采集与感知系统对实现大规模传感器在电子皮肤中的广泛应用是至关重要的。本发明围绕大规模电容传感阵列在机器人暗光环境下的装配工作的应用，具体效果体现为：

1.基于FPGA平台，利用其并行处理特性，实现双通道电容传感矩阵采集。利用模拟开关芯片设计选通电路，实现电容的分时扫描，提高了电容测量的效率。选用PCap01AD芯片设计了电容检测系统，解决了电子皮肤应用场景下电容式传感器输出信号属于高精度微电容，难以测量的问题。

2.基于windows系统计算机，使用QT软件开发上位机平台，为用户提供良好的人机交互界面。在上位机实现数据的实时传输、数据显示和存储功能。

3.对按压容值信息进行特征提取，转化为灰度值图形。基于深度学习图形识别的方法，结合基础形状数据集进行训练，实现对于接触零件的形状感知，进而对零件类型进行分类。具有精确度高、鲁棒性强等特性。充分利用了大规模高密度电子皮肤电容传感阵列分辨率高的特点。

附图说明

图1是本发明涉及的算法流程图；

图2是本发明涉及的分时采集示意图；

图3是本发明涉及的并行采集实现方法；

图4是本发明涉及的上位机处理流程图示；

图5是本发明方法进行仿真实验的24路电容采集系统上位机采集效果图示；

图6是本发明涉及的FPGA最小系统设计原理图；

图7是本发明涉及的Flash存储电路图；

图8是本发明涉及的时钟电路；

图9是本发明涉及的使用U2TLV62130RGTR芯片，将5V转化为3.3V，其原理图；

图10是本发明涉及的使用U7TLV62130RGTR芯片，将5V转为1.2V，原理图；

图11是本发明涉及的使用U7TLV62130RGTR芯片，将5V转为2.5V的原理图；

图12是本发明涉及的选通电路设计图示；

图13是本发明涉及的并行采集电路原理图示；

图14是本发明涉及的上位机运行界面显示示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

具体实施方式一：

本实施方式的一种电子皮肤传感阵列数据采集与感知系统的设计方法，如图1所示，所述方法通过以下步骤实现：

柔性电容阵列传感器是基于FPGA作为从机的控制部分，控制部分包括驱动和数据采集单元，进行数据采集；并使用Verilog HDL语言设计FPGA程序，以进行双通道并行方式采集电容阵列容值数据；其中，柔性电容阵列传感器采用微小电容采集方法，PCap01AD是一款专门进行电容测量的电容数字转换器，测量范围几fF到几百nF，速率500KHz，具有8个通道。芯片自己带有DSP处理单元，测量范围广，适合几μA以下的超低功耗测量。

使用PCap01AD的单一传感器的漂移模式，以确保电容精度。

电容测量公式：其中τ_N表示待测电容的放电时间，τ_ref表示参考电容的放电时间，C_N表示待测电容的容值，τ_ref表示参考电容的容值。

采集速度理论分析：

PCap01AD测量的时间常数为τ＝RC，在本发明中选用阻值为10K的电阻，即R＝10K。本发明的目标传感器容值为40pF，即C＝40pF。由此可得τ＝400ns＝0.4us。在测量容值时，单个PCap01AD芯片测量包括十个时间常数，因此10τ＝4us。又因为本芯片的最小cycletime为5us，大于十倍的时间常数4us。因此选取cycle time为5us，则block＝(4×3+1)×cycle time＝65us。由于本传感器为320路双路采集，因此需要采集64个block时间，即4.16ms。因此采集频率约为240Hz。

步骤二、进行电容矩阵测量；

被测电容和一个参考电容连接到同一个放电电阻，组成一个低通滤波，被测电容首先被充电到电源电压，然后通过电阻进行放电，放电到可控制阚值电压的水平，芯片内部的高精度时间数字转换器TDC记录电压水平；测量过程在传感器和参考电容上重复交错进行，应用同样的电阻；计算的结果是测量的比值结果，是与电阻和比较器温度相关性有关；传感器和参考电容数值的选择应该为统一范围来降低增益偏移；

步骤四、设计工件识别算法：

视觉传感技术在光线不良的情况下，识别效率低下，而柔性触觉传感器具有直接接触的优势，对光线没有要求。本发明充分利用大规模电容传感器分辨率高的特点，运用图像识别的方式，实现对工件形状的感知。本发明将柔性电容阵列传感器数据传输至上位机，上位机将数据处理，转化为20*16的矩阵，进而将其转化为灰度图，将图形预处理后，利用深度学习算法提取特征，对接触的零件的形状进行感知、分类，提高机器人装配暗光作业的效率；

步骤五、识别目标类型后，进一步确定末端执行器与目标间的作用状态，以使末端执行器决策下一步动作；其中，末端执行器与目标间的作用状态包括接触状态和运动状态以及相对位置，接触状态指末端执行器与目标物间的静态动作，运动状态为末端执行器与目标物间的动态行为。相较与传统的手动特征提取和匹配算法，机器学习更好的理解传感器信息和实现分类和回归任务。基于深度学习的特征提取和分类方法，可以实现复杂的非线性映射，具有精确度高、鲁棒性强等特性。

具体实施方式二：

本实施方式的一种电子皮肤传感阵列数据采集与感知系统的设计方法，与具体实施方式一不同的是，步骤一所述的使用Verilog HDL语言设计FPGA程序，以进行双通道并行方式采集电容阵列容值数据的过程，具体为：

对于柔性电容式压力传感器阵列的数据采集系统，采用与压电相同的线路复用方式，也可以通过选通控制使每个传感单元的上下电极依次连接到电容采集模块的输入端来实现分时复用式的测量。其实现原理如图所示，也是整个系统进行搭建的最基本原理，简单易行。柔性压电与电容传感器阵列大多属于线路复用式传感器，所以其采集需要配以对应原理的采集系统才能够实现快速有效地测量。如图2所示，所以系统的工作也要基于分时采集的原理，分别采用行、列信号进行逐点扫描，再通过后续相应的采集电路的设计，分离出单个的柔性传感单元进行采集；这种复用式的传感器阵列的引线较为简单，行与列只需单独引出接线口，体积也比较小。

如图3所示，基于分时测量基本原理，使用多个电容转换芯片增加采集通道，利用FPGA的并行特征，实现多通道并行采集；具体步骤是，A和B电容采集芯片启动采集状态，通过选题电路分别选中三个电容，然后依次完成对这三个电容的数据采集；然后行选通电路切换到下一行，重复上述步骤，直至完成三列数据的采集，然后通过列选通电路切换到下一列，重复上述补步骤，直至完成A和B区域的所有电容的采集；其中，在最后一列采集时，采集芯片只需要一个通道；当A和B区域采集完成后，切换C和D电容采集芯片进行采集，步骤同上，即可完成C和D区域的电容采集。

FPGA最小系统设计

FPGA主控模块作为整个系统的核心控制部分，主要完成与计算机数据通信和对电容阵列传感器采集的控制功能，本发明选用的主控芯片时英特尔公司的Cyclone10系列的FPGA芯片，型号位10CL006,其内具有6000个逻辑单元，可用引脚为176个，FPGA最小系统包括时钟、下载、Flash和供电电路，其最小系统示意图如6图所示；

Flash存储电路

在本发明中使用M25P16作为存储芯片，M25P16具有16Mb的存储容量，可以轻松存储大量的数据并实现数据的快速读写。采用串行接口通信，与FPGA的SPI接口配合使用，可以避免使用大量的I/O口，节省芯片外部空间。因此，M25P16是一种非常适合与FPGA结合使用的存储器芯片，可以为系统提供高速、大容量、低功耗、安全可靠的数据存储方案。Flash存储电路如图7所示。

接下来是时钟电路，时钟电路是用来给电路提供基准的模块，就像计时需要一个钟。时钟电路为板子提供一个基准，就是电路板的心脏，不断提供能量。时钟电路最主要的部分是晶振，其质量的好坏直接决定了电路的稳定性。其电路图如图8所示。

首先是电源电路，使用FPGA作为核心的主控芯片，其电源的稳定性非常重要，FPGA器件内部除了集成了可配置的逻辑资源，还有其他各种功能的模块，因此所需要的电源比较多，因此，在电源电路部分，外部电源为5V，共设计了3个不同的电压的电源供系统使用，分别有5V，2.5V和1.2V。

使用U2TLV62130RGTR芯片，将5V转化为3.3V，其原理图如图9所示。

使用U7TLV62130RGTR芯片，将5V转为1.2V，原理图如图10。

使用U7TLV62130RGTR芯片，将5V转为2.5V，原理图如图11。

选通电路设计如图12所示。

根据并行采集方案的设计要求，需要有六个八选一选通开关用于行选通，以及六个四选一开关用于列选通。在本发明中，选取六片德州仪器的SN74CBTLV3251PWR芯片作为行选通芯片，该芯片是8选1高速FET多路复用器/多路分解器，具有低延迟、高性能、小封装的特点。选用三片德州仪器的SN74CBTLV3253PWR作为列选通芯片，该芯片是一款双4选1高速FET多路复用器和多路信号分离器。此开关具有低导通状态电阻，可以在最短传播延迟情况下建立连接。因此选用三片即可满足本发明行选通的要求。

将选通芯片的通道端与传感器的触点相连接，由FPGA控制选通芯片的使能与通道切换。

具体实施方式三：

本实施方式的一种电子皮肤传感阵列数据采集与感知系统的设计方法，与具体实施方式二不同的是，步骤一所述的上位机与下位机之间通过USB接口实现数据通信的步骤中，下位机的数据不能使用直接传送数据的方式将设置信息没有任何加工的发送至上位机，需要对传输的数据进行加工，例如将参数传递设置为报文的方式。FT232H是FTDI公司的一款单通道USB2.0高速收发器芯片，可以配置成多种工作模式。此芯片在片上完全完成USB2.0的协议，不需要额外进行USB协议相关的编程。它支持480Mbit/s高速传输及12Mbits/s全速传输。这里采用了USB到同步245并行FIFO操作模式，其最高速率可达40Mbytes/s。Mini-USB作为USB2.0的接口。由于FT232H的配置需要一块存储芯片，存储配置信息，因此系统选用93LC56为FT232H的配置芯片，因此，是选用USB2.0接口实现的。

具体实施方式四：

本实施方式的一种电子皮肤传感阵列数据采集与感知系统的设计方法，与具体实施方式三不同的是，步骤二所述的进行电容矩阵测量的步骤中，对于电容式传感器阵列，其采集时存在串扰的解决、速率的提高、规模的扩大、精度的保证等问题。对于数据采集模块，目前对于微小电容的测量原理方法有调频法、开关充放电法、运算放大法与交流激励法。但是采用分立元件进行电容采集转换电路的设计，会使电路结构变得复杂，从而影响测量精度，不能适应阵列化电容的采集需求。但是随着电子技术的进步，一些公司专门针对这些问题开发了电容数字转化芯片。所以本发明选用电容数字转换器(CDC)进行数据采集模块的设计，选用的芯片型号为PCap01AD。

PCap01AD芯片有四种连接方式来实现与传感器的连接，分别为单一传感器的漂移模式、单一传感器的接地模式、差分传感器的漂移模式与差分传感器的接地模式为实现并行采集，本发明使用四颗PCap01AD用于实现并行采集。并行采集电路原理图示如图13所示。

具体实施方式五：

本实施方式的一种电子皮肤传感阵列数据采集与感知系统的设计方法，与具体实施方式四不同的是，

步骤三所述的通过QT软件开发上位机人机交互界面的步骤中，是以Qt为开发平台设计上位机软件，通过XML的Qt Designer能拖拽控件，便于查看界面效果，减小代码量，缩短开发周期；上位机流程如图4所示。包括串口通信、数据显示、控制组件三个部分，串口通信部分具有串口参数配置功能，用于为用户提供需要连接的串口序号，并且具有数据处理功能，数据显示部分主要提供电容原始值、按压强度图以及识别结果反馈，控制组件包括清空当前数据以及强度图归零的功能，控制采集的启停，以及断开下位机连接。

仿真效果页面如图5所示，基于双PCap01AD采集芯片方案，选用STM32作为控制部分，数据上传至windows系统的计算机，使用Labview开发上位机软件。在此系统中，电容采集灵敏、反应迅速、数值准确。上位机可以实现数据的保存、显示按压力度的三位图形、曲线图等信息，运行界面显示示意如图14所示。

本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims

1.一种电子皮肤传感阵列数据采集与感知系统的设计方法，其特征在于：所述方法通过以下步骤实现：

柔性电容阵列传感器是基于FPGA作为从机的控制部分，进行数据采集；并使用VerilogHDL语言设计FPGA程序，以进行双通道并行方式采集电容阵列容值数据；

步骤二、进行电容矩阵测量；

步骤四、设计工件识别算法：

2.根据权利要求1所述的一种电子皮肤传感阵列数据采集与感知系统的设计方法，其特征在于：步骤一所述的使用Verilog HDL语言设计FPGA程序，以进行双通道并行方式采集电容阵列容值数据的过程，具体为：

3.根据权利要求1或2所述的一种电子皮肤传感阵列数据采集与感知系统的设计方法，其特征在于：步骤一所述的上位机与下位机之间通过USB接口实现数据通信的步骤中，是选用USB2.0接口实现的。

4.根据权利要求3所述的一种电子皮肤传感阵列数据采集与感知系统的设计方法，其特征在于：步骤三所述的通过QT软件开发上位机人机交互界面的步骤中，是以Qt为开发平台设计上位机软件，通过XML的Qt Designer能拖拽控件；上位机结构包括串口通信、数据显示、控制组件三个部分，串口通信部分具有串口参数配置功能，用于为用户提供需要连接的串口序号，并且具有数据处理功能，数据显示部分主要提供电容原始值、按压强度图以及识别结果反馈，控制组件包括清空当前数据以及强度图归零的功能，控制采集的启停，以及断开下位机连接。