CN111223261B - 一种复合智能生产安防系统及其安防方法 - Google Patents
一种复合智能生产安防系统及其安防方法 Download PDFInfo
- Publication number
- CN111223261B CN111223261B CN202010326764.5A CN202010326764A CN111223261B CN 111223261 B CN111223261 B CN 111223261B CN 202010326764 A CN202010326764 A CN 202010326764A CN 111223261 B CN111223261 B CN 111223261B
- Authority
- CN
- China
- Prior art keywords
- voice
- image
- danger area
- terminal
- image sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 32
- 239000002131 composite material Substances 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000002159 abnormal effect Effects 0.000 claims abstract description 26
- 230000009429 distress Effects 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 19
- 230000002996 emotional effect Effects 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 17
- 230000008451 emotion Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 5
- 230000009545 invasion Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种复合智能生产安防系统及其安防方法，复合智能生产安防系统特征在于：包括图像传感终端，用于实时采集核心危险区周围图像数据并进行处理分析；语音识别终端，用于实时采集核心危险区周围语音数据并进行处理分析；控制器，用于接收来自图像传感器终端和语音识别终端实时采集的信息数据、以计算人员相对核心危险区的距离和识别异常呼救信号，及用于向生产设备发送控制指令；所述图像传感终端和/或语音识别终端通过有线和/或无线方式与控制器沟通互联。本系统基于图像传感和语音识别复合智能解决生产安防问题，满足灵活机动的布局要求，能识别区分人和物，定位精度高，误报漏报几率低，性能稳定可靠。
Description
技术领域
本发明涉及一种生产防护系统，具体是一种复合智能生产安防系统及其安防方法。
背景技术
当前对工厂生产区域的防护主要有以下两种方式：一种是设置物理围栏将人隔离在生产区域之外，另一种是使用较多的光栅电子围栏。物理围栏是指设置护栏、罩笼等隔离物，以防止人员进入生产区域，其具有以下弊端：①不方便在停工状态下工作人员和物料进出生产区域，②防护边界不能灵活变更造成空间利用率低。参见图1，光栅电子围栏是由脉冲发生器（主机）和物理围栏组合的智能型周界系统、是主动红外对射的一种，即采用多束红外光对射，发射器向接收器以“低频发射、时分检测”方式发出红外光，一旦有人或物体挡住发射器发出的任何相邻两束以上红外光超过30ms，接收器立即输出报警信号，这种光栅电子围栏具有较高的灵敏度；但光栅电子围栏具有以下不足：①部件布局占用空间较大，安装位置不方便；②防护区域只能是一个平面区域或者由多个平面区域组合的空间，不能灵活变换，导致用户无法定义任意形状（如：圆弧形等）的生产区域空间；③容易受阳光干扰产生误报，当环境光反射或折射过来的光波段和光栅光源波段相近时，容易发生误报漏报，存在一定的安全隐患；④无法区分人和物，光栅的原理是有遮挡即触发报警，灵敏度无法调节，所以不论是人或物都将被系统无差别对待；⑤无法量化入侵程度，即无法度量人到危险核心区域的距离，不管入侵程度如何，系统将统一关停生产设备，导致正常生产受到一定的影响。
因此，有必要对现有生产区域的防护做进一步改进。
发明内容
本发明的目的在于克服上述现有技术存在的不足，而提供一种复合智能生产安防系统及其安防方法，本系统基于图像传感和语音识别复合智能解决生产安防问题，满足灵活机动的布局要求，能识别区分人和物，定位精度高，误报漏报几率低，性能稳定可靠。
本发明的目的是这样实现的：
一种复合智能生产安防系统，其特征在于：包括
图像传感终端，用于实时采集核心危险区周围图像数据并进行处理分析；
语音识别终端，用于实时采集核心危险区周围语音数据并进行处理分析；
控制器，用于接收来自图像传感器终端和语音识别终端实时采集的信息数据、以计算人员相对核心危险区的距离和识别异常呼救信号，及用于向生产设备发送控制指令；
所述图像传感终端和/或语音识别终端通过有线和/或无线方式与控制器沟通互联。
所述图像传感终端包括用于摄录核心危险区周围影像信息的图像传感模块、用于将影像信息转换成相应图像数据的图像处理模块、及用于将图像数据发送至控制器的图像传输模块；所述图像传感模块、图像处理模块和图像传输模块依次连接；所述图像传输模块有线和/或无线连接控制器。
所述图像处理模块上设置有基于HOG特征检测技术的人体识别程序。
所述语音识别终端包括用于录入核心危险区周围语音信息的语音输入模块、用于区分语音信息为“正常”情绪语音或“惊恐”情绪语音的情绪分类模块、用于将“惊恐”情绪语音相应的语音信息转换成语音数据的语音处理模块、及用于将语音数据发送至控制器的语音传输模块；所述语音输入模块、情绪分类模块、语音处理模块和语音传输模块依次连接；所述语音传输模块有线和/或无线连接控制器。
本复合智能生产安防系统还包括驱动器、继电器和执行器；所述控制器分别连接驱动器和继电器，驱动器分别连接继电器和执行器。
上述复合智能生产安防系统的安防方法，其特征在于：包括以下步骤
a、通过图像传感终端对核心危险区做空间定位、及安装好语音识别终端；
b、通过图像传感终端实时检测人员相对核心危险区的距离；通过语音识别终端识别核心危险区周围是否有异常呼救信号；
c、控制器根据图像传感终端和语音识别终端反馈的检测结果执行相应预先制定的决策。
对核心危险区做空间定位：首先在核心危险区范围内和/或边缘设置若干标定板，然后用图像传感终端拍照定位并记录；所述标定板为明显区别于周围环境的物件。
检测人员相对核心危险区的距离：当人员进入图像传感终端的摄录范围时，图像传感终端计算出人体各关节点在2D RGB图像上的坐标，然后将2D RGB图像与深度图像耦合、得到人体轮廓在深度图像上的投影、从而计算出人体轮廓的3D坐标，最后通过各轮廓点计算人员离核心危险区的距离。
对异常呼救信号的识别：首先采集外来的声音信号；然后语音识别终端检测区分语音信息和非语音信息，并确定语音信息的起始点和终止点以对语音信息进行分帧处理，而后对语音信息每帧进行声学特征提取；最后对提取的声学特征进行情绪分类，以判定语音信息为“正常”情绪语音或“惊恐”情绪语音，其中“惊恐”情绪语音默认为异常呼救信号。
所述控制器上预先制定的决策包括
当人员相对核心危险区的距离大于安全距离、无异常呼救信号时，生产设备正常生产；
当人员相对核心危险区的距离小于安全距离、无异常呼救信号时，生产设备降速生产、同时发出警笛；
当人员相对核心危险区的距离大于安全距离、有异常呼救信号时，生产设备中断生产、同时发出警笛；
当人员相对核心危险区的距离小于安全距离、有异常呼救信号时，生产设备断电急停、同时发出警笛。
本发明涉及的复合智能生产安防系统具有以下有益效果：
1. 综合使用图像传感终端和语音识别终端来做出报警防护的决策；即通过图像传感终端可有效计算人员相对核心危险区的距离，通过语音识别终端识别核心危险区周围是否出现异常呼救信号，综合两种终端采集的信息数据，控制器根据实际情况及时采取相应的决策措施；图像传感终端和语音识别终端相互配合工作可大大降低安防系统误报漏报概率，使安防效果更加稳定可靠；
2.通过标定确定核心危险区、并通过人体关节点的坐标计算人员到核心危险区距离，可见本安防系统避免了传统需要繁琐设置防护区域/护栏的操作，同时可根据人员到核心危险区距离来量化入侵程度，以便根据入侵程度的轻重采取相应轻重的决策措施，在保证人员安全的基础上，可降低正常生产受到的影响；
3.因为图像传感终端和语音识别终端分别与控制器之间可无线通讯连接、且图像传感和语音识别均属于无空间约束的非接触传感技术，所以各器件的布局安装具有最大灵活性，可适应不同的生产区域，通用性和适应性强，解决了传统光栅电子围栏安装位置不灵活的问题；
4.由于本安防系统可通过图像采集相关信息，所以可轻易准确的区分人和物，以便系统根据进入核心危险区的人或物实施相应的决策措施。
附图说明
图1为现有技术中光栅电子围栏的工作原理示意图。
图2为本发明一实施例中复合智能生产安防系统的架构图。
图3为本发明一实施例中控制器所要执行决策的图表。
图4为本发明一实施例中复合智能生产安防系统的控制原理图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述。
参见图2-图4，本复合智能生产安防系统包括
图像传感终端，用于实时采集核心危险区周围图像数据并进行处理分析；
语音识别终端，用于实时采集核心危险区周围语音数据并进行处理分析；
控制器，用于接收来自图像传感器终端和语音识别终端实时采集的信息数据、以计算人员相对核心危险区的距离和识别异常呼救信号，及用于向生产设备发送控制指令；
图像传感终端和语音识别终端分别通过有线和/或无线方式与控制器沟通互联，有效摆脱空间限制，以适应不同区域的布局。
进一步地，图像传感终端包括用于摄录核心危险区周围影像信息的图像传感模块、用于将影像信息转换成相应图像数据的图像处理模块、及用于将图像数据发送至控制器的图像传输模块；图像传感模块、图像处理模块和图像传输模块依次通讯连接，图像传输模块利用有线和/或无线连接技术与控制器通讯连接；图像传感模块为2D和/或3D摄录器。
进一步地，图像处理模块上设置有基于HOG特征检测技术的人体识别程序。HOG为“Histogram of Oriented Gradient”的简称，中文翻译为“方向梯度直方图”；HOG特征检测技术是一种在计算机视觉和图像处理中用来进行物体检测的技术，其通过计算和统计图像局部区域的梯度方向直方图来构成特征，即利用边缘的朝向和强度信息有效检测物体边缘特征；HOG被广泛应用于车辆检测、车牌检测、行人检测等领域。具体地，HOG的做法是固定大小的图像先计算梯度，然后进行网格划分，计算每个点处的梯度朝向和强度，然后形成网格内的所有像素的梯度方向分分布直方图，最后汇总起来，形成整个直方图特征，进而达到图像检测/识别效果。
进一步地，语音识别终端包括用于录入核心危险区周围语音信息的语音输入模块、用于区分语音信息为“正常”情绪语音或“惊恐”情绪语音的情绪分类模块、用于将“惊恐”情绪语音相应的语音信息转换成语音数据的语音处理模块、及用于将语音数据发送至控制器的语音传输模块；语音输入模块、情绪分类模块、语音处理模块和语音传输模块依次通讯连接，语音传输模块利用有线和/或无线连接技术与控制器通讯连接；情绪分类模块可以是SVM（SVM为“Support Vector Machine”的简称，中文翻译为“支持向量机”，SVM是常见的一种判别方法；在机器学习领域，SVM是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析）、KNN（KNN为“k-NearestNeighbor”的简称，中文翻译为“邻近算法”，KNN是数据挖掘分类技术中最简单的方法之一）等分类器，也可以是基于深度神经网络的识别模型，以便于对语音信号进行情绪分类（惊恐情绪、正常情绪等）。
进一步地，本复合智能生产安防系统还包括驱动器、继电器和执行器；控制器分别连接驱动器和继电器，驱动器分别连接继电器和执行器。其中，驱动器的作用是根据控制器接收到的功率控制信号，来控制执行器运动的速度。继电器的作用是用小电流输入量控制大功率电路的通断，在本实施例中，继电器根据控制器接收到的电源控制信号状态（当检测到安全威胁时，该信号被激活），来控制执行系统（执行器+驱动器）电源的通断。执行器是执行生产加工任务的机电设备（例如：工业机器人、焊接机、冲压机、磨床等）。
上述复合智能生产安防系统的安防方法，包括以下步骤
a、通过图像传感终端对核心危险区做空间定位、及安装好语音识别终端，保证图像传感终端和语音识别终端分别与控制器有线和/或无线通信调通；
b、通过图像传感终端实时检测人员相对核心危险区的距离：即图像传感模块对着监控区域（这里的监控区域覆盖核心危险区）持续拍摄，并把图像数据传输给图像处理模块，图像处理模块执行图像处理流程，即在RGB图像上利用HOG特征检测技术识别人员；
通过语音识别终端识别核心危险区周围是否有异常呼救信号：即语音识别终端对着监控区域（这里的监控区域覆盖核心危险区）持续录制，并把语音数据传输给情绪分类模块，情绪分类模块将“惊恐”情绪语音传输给语音处理模块，语音处理模块执行语音处理流程；
c、控制器根据图像传感终端和语音识别终端反馈的检测结果执行相应预先制定的决策。
进一步地，对核心危险区做空间定位：首先在核心危险区范围内和/或边缘设置若干标定板，然后用图像传感终端拍照定位并记录；当核心危险区范围较大时，可进行多次拍照，系统将记录所有位置的集合；标定板为明显区别于周围环境的物件。
进一步地，检测人员相对核心危险区的距离：当人员进入图像传感终端的摄录范围时，图像传感终端计算出人体各关节点在2D RGB图像上的坐标，然后将2D RGB图像与深度图像耦合、得到人体轮廓在深度图像上的投影、从而计算出人体轮廓的3D坐标，最后通过各轮廓点计算人员离核心危险区的距离，进而有效判断人员是否进入核心危险区；具体是，将实际距离与事先设定的安全距离做比较，实际距离大于安全距离的人员未进入核心危险区，实际距离小于安全距离的人员进入核心危险区。
进一步地，当人员意识到危险迫近时，会下意识的发出“震惊”“尖叫”等惊恐声音，所以需要对人员发出的声音进行识别；对异常呼救信号的识别：首先采集外来的声音信号；然后语音识别终端检测区分语音信息和非语音信息，并确定语音信息的起始点和终止点以对语音信息进行分帧处理，而后对语音信息每帧进行声学特征提取；最后对提取的声学特征进行情绪分类，以判定语音信息为“正常”情绪语音或“惊恐”情绪语音，其中“惊恐”情绪语音默认为异常呼救信号，如果检测到“惊恐”情绪语音、语音识别终端立即启动相应的防护决策并发送至控制器，如果检测到“正常”情绪语音、语音识别终端则结合图像信号做一次“图像是否检测到人员”的判断、如果确认有人则按照图像检测执行相应决策、如果检测为没有人则说明图像传感终端可能失效、语音识别终端立即启动相应的防护决策并发送至控制器。分帧处理是将语音时段区分割成一定时长的片段（一个片段为一帧），并允许重叠（如：每个片段时长0.4秒，重叠率50%即0.2秒）。
进一步地，语音识别终端上的声学特征提取方法包括LPC技术、CEP技术、MEL技术、MFCC技术等，具体是
LPC技术：LPC为“linear predictive coding”的简称，中文翻译为“线性预测编码”；LPC是一种编码方法，从原理上讲，LPC是通过分析话音波形来产生声道激励和转移函数的参数，对声音波形的编码实际就转化为对这些参数的编码，这就使声音的数据量大大减少；在语音识别终端使用LPC分析得到的参数，通过话音合成器重构话音（其中，话音合成器是一个离散的随时间变化的时变线性滤波器，它代表人的话音生成系统模型；这里的时变线性滤波器既可当作预测器使用、又可当作话音合成器使用，当分析话音波形时当作预测器使用，当合成话音时当作话音生成器使用）。具体地，LPC技术的线性预测分析从人的发声机理入手，通过对声道的短管级联模型的研究，认为系统的传递函数符合全极点数字滤波器的形式，从而n 时刻的信号可以用前若干时刻的信号的线性组合来估计；通过使实际语音的采样值和线性预测采样值之间达到均方差最小LMS（LMS为“Learning ManagementSystem”的简称，中文翻译为“学习管理系统”），即可得到线性预测系数LPC；对 LPC的计算方法有自相关法（德宾Durbin法）、协方差法、格型法等；计算上的快速有效保证了这一声学特征的广泛使用；与LPC这种预测参数模型类似的声学特征还有线谱对LSP、反射系数等等。
CEP技术：CEP是软件“Cool edit pro”的缩写，它是美国 Adobe Systems 公司开发的一款功能强大、效果出色的多轨录音和音频处理软件；CEP技术即利用同态处理方法，对语音信号求离散傅立叶变换DFT后取对数，再求反变换iDFT得到倒谱系数；对LPC倒谱（LPCCEP），在获得滤波器的线性预测系数后，可以用一个递推公式计算得出；实验表明，使用倒谱可以提高特征参数的稳定性。
Mel技术：Mel为Maya埋入式语音；不同于LPC技术等通过对人的发声机理的研究而得到的声学特征，Mel倒谱系数MFCC和感知线性预测 PLP是受人的听觉系统研究成果推动而导出的声学特征；对人的听觉机理的研究发现，当两个频率相近的音调同时发出时，人只能听到一个音调；临界带宽指的就是这样一种令人的主观感觉发生突变的带宽边界，当两个音调的频率差小于临界带宽时，人就会把两个音调听成一个，这称之为屏蔽效应；Mel刻度是对这一临界带宽的度量方法之一。
MFCC技术：MFCC为“Mel Frequency Cepstral Coefficents”的简称，MFCC是一种在自动语音和说话人识别中广泛使用的特征；MFCC原理是，首先用FFT将时域信号转化成频域，然后对其对数能量谱用依照Mel刻度分布的三角滤波器组进行卷积，最后对各个滤波器的输出构成的向量进行离散余弦变换（DCT），取前N个系数；PLP仍用德宾法去计算LPC参数，但在计算自相关参数时用的也是对听觉激励的对数能量谱进行离散余弦变换（DCT）的方法。
进一步地，参见图3，当控制器接收到图像传感终端和/或语音识别终端的输出信号时，控制器根据预先装载的逻辑决策执行相应的措施，使生产设备减缓或中断生产，即本系统可根据人员入侵程度执行相应轻重措施，有效避免当出现轻度入侵时就关停生产设备而大大影响生产的现象；具体是，控制器上预先制定的决策包括
当人员相对核心危险区的距离大于安全距离、无异常呼救信号时，生产设备正常生产；
当人员相对核心危险区的距离小于安全距离、无异常呼救信号时，生产设备降速50%生产、同时发出警笛；需要说明的是，这里的减速数值可根据实际情况进行相应的调整，可减速范围为10%-90%。
当人员相对核心危险区的距离大于安全距离、有异常呼救信号时，生产设备中断生产、同时发出警笛；
当人员相对核心危险区的距离小于安全距离、有异常呼救信号时，生产设备断电急停、同时发出警笛。
上述为本发明的优选方案，显示和描述了本发明的基本原理、主要特征和本发明的优点。本领域的技术人员应该了解本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。
Claims (8)
1.一种复合智能生产安防系统的安防方法，
所述复合智能生产安防系统包括
图像传感终端，用于实时采集核心危险区周围图像数据并进行处理分析；
语音识别终端，用于实时采集核心危险区周围语音数据并进行处理分析；
控制器，用于接收来自图像传感器终端和语音识别终端实时采集的信息数据、以计算人员相对核心危险区的距离和识别异常呼救信号，及用于向生产设备发送控制指令；
所述图像传感终端和/或语音识别终端通过有线和/或无线方式与控制器沟通互联；
所述安防方法特征在于：包括以下步骤：
a、通过图像传感终端对核心危险区做空间定位、及安装好语音识别终端；
b、通过图像传感终端实时检测人员相对核心危险区的距离；通过语音识别终端识别核心危险区周围是否有异常呼救信号；
c、控制器根据图像传感终端和语音识别终端反馈的检测结果执行相应预先制定的决策；
所述控制器上预先制定的决策包括：
当人员相对核心危险区的距离大于安全距离、无异常呼救信号时，生产设备正常生产；
当人员相对核心危险区的距离小于安全距离、无异常呼救信号时，生产设备降速生产、同时发出警笛；
当人员相对核心危险区的距离大于安全距离、有异常呼救信号时，生产设备中断生产、同时发出警笛；
当人员相对核心危险区的距离小于安全距离、有异常呼救信号时，生产设备断电急停、同时发出警笛。
2.根据权利要求1所述复合智能生产安防系统的安防方法，其特征在于：所述图像传感终端包括用于摄录核心危险区周围影像信息的图像传感模块、用于将影像信息转换成相应图像数据的图像处理模块、及用于将图像数据发送至控制器的图像传输模块；所述图像传感模块、图像处理模块和图像传输模块依次连接；所述图像传输模块无线连接控制器。
3.根据权利要求2所述复合智能生产安防系统的安防方法，其特征在于：所述图像处理模块上设置有基于HOG特征检测技术的人体识别程序。
4.根据权利要求1所述复合智能生产安防系统的安防方法，其特征在于：所述语音识别终端包括用于录入核心危险区周围语音信息的语音输入模块、用于区分语音信息的情绪分类模块、用于将语音信息转换成语音数据的语音处理模块、及用于将语音数据发送至控制器的语音传输模块；所述语音输入模块、情绪分类模块、语音处理模块和语音传输模块依次连接；所述语音传输模块无线连接控制器。
5.根据权利要求1所述复合智能生产安防系统的安防方法，其特征在于：还包括驱动器、继电器和执行器；所述控制器分别连接驱动器和继电器，驱动器分别连接继电器和执行器。
6.根据权利要求1所述复合智能生产安防系统的安防方法，其特征在于：对核心危险区做空间定位：首先在核心危险区范围内和/或边缘设置若干标定板，然后用图像传感终端拍照定位并记录；所述标定板为明显区别于周围环境的物件。
7.根据权利要求1所述复合智能生产安防系统的安防方法，其特征在于：检测人员相对核心危险区的距离：当人员进入图像传感终端的摄录范围时，图像传感终端计算出人体各关节点在2D RGB图像上的坐标，然后将2D RGB图像与深度图像耦合、得到人体轮廓在深度图像上的投影、从而计算出人体轮廓的3D坐标，最后通过各轮廓点计算人员离核心危险区的距离。
8.根据权利要求1所述复合智能生产安防系统的安防方法，其特征在于：对异常呼救信号的识别：首先采集外来的声音信号；然后语音识别终端检测区分语音信息和非语音信息，并确定语音信息的起始点和终止点以对语音信息进行分帧处理，而后对语音信息每帧进行声学特征提取；最后对提取的声学特征进行情绪分类，以判定语音信息为“正常”情绪语音或“惊恐”情绪语音，其中“惊恐”情绪语音默认为异常呼救信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010326764.5A CN111223261B (zh) | 2020-04-23 | 2020-04-23 | 一种复合智能生产安防系统及其安防方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010326764.5A CN111223261B (zh) | 2020-04-23 | 2020-04-23 | 一种复合智能生产安防系统及其安防方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111223261A CN111223261A (zh) | 2020-06-02 |
| CN111223261B true CN111223261B (zh) | 2020-10-27 |
Family
ID=70826446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010326764.5A Active CN111223261B (zh) | 2020-04-23 | 2020-04-23 | 一种复合智能生产安防系统及其安防方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223261B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364696B (zh) * | 2020-10-13 | 2024-03-19 | 特斯联科技集团有限公司 | 一种利用家庭监控视频提高家庭安全的方法及系统 |
| CN112349296A (zh) * | 2020-11-10 | 2021-02-09 | 胡添杰 | 一种基于声音识别的地铁站台安全监测方法 |
| CN112598651A (zh) * | 2020-12-24 | 2021-04-02 | 武汉吉电科技有限公司 | 一种智能机器人加工生产检测系统 |
| WO2022183372A1 (zh) * | 2021-03-02 | 2022-09-09 | 中国科学院深圳先进技术研究院 | 控制方法、控制装置及终端设备 |
| CN112632399B (zh) * | 2021-03-09 | 2021-06-08 | 四川万网鑫成信息科技有限公司 | 一种基于空间位置的拓扑关系获取方法、装置和存储介质 |
| CN114023328A (zh) * | 2022-01-06 | 2022-02-08 | 南京速冠信息技术有限公司 | 一种生产线优化的工业物联网数字信息传输系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08237637A (ja) * | 1995-02-24 | 1996-09-13 | Clarion Co Ltd | 色検出装置および警告装置 |
| CN202422353U (zh) * | 2012-01-10 | 2012-09-05 | 广汽本田汽车有限公司 | 视频报警系统 |
| CN102982634A (zh) * | 2012-11-13 | 2013-03-20 | 上海交通大学 | 音视频融合的人员入侵检测方法 |
| WO2013105264A1 (ja) * | 2012-01-13 | 2013-07-18 | 三菱電機株式会社 | リスク測定システム |
| CN104284143A (zh) * | 2013-07-03 | 2015-01-14 | 智原科技股份有限公司 | 图像监控系统及其方法 |
| CN105554474A (zh) * | 2016-02-01 | 2016-05-04 | 福建省计量科学研究院 | 一种安全监控系统及方法 |
| CN105632145A (zh) * | 2015-12-30 | 2016-06-01 | 中国神华能源股份有限公司 | 一种采掘移动设备人员接近保护方法及系统 |
| CN106128475A (zh) * | 2016-07-12 | 2016-11-16 | 华南理工大学 | 基于异常情绪语音辨识的可穿戴智能安全设备及控制方法 |
| CN110425005A (zh) * | 2019-06-21 | 2019-11-08 | 中国矿业大学 | 矿井下皮带运输人员人机交互行为安全监控与预警方法 |
-
2020
- 2020-04-23 CN CN202010326764.5A patent/CN111223261B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08237637A (ja) * | 1995-02-24 | 1996-09-13 | Clarion Co Ltd | 色検出装置および警告装置 |
| CN202422353U (zh) * | 2012-01-10 | 2012-09-05 | 广汽本田汽车有限公司 | 视频报警系统 |
| WO2013105264A1 (ja) * | 2012-01-13 | 2013-07-18 | 三菱電機株式会社 | リスク測定システム |
| CN102982634A (zh) * | 2012-11-13 | 2013-03-20 | 上海交通大学 | 音视频融合的人员入侵检测方法 |
| CN104284143A (zh) * | 2013-07-03 | 2015-01-14 | 智原科技股份有限公司 | 图像监控系统及其方法 |
| CN105632145A (zh) * | 2015-12-30 | 2016-06-01 | 中国神华能源股份有限公司 | 一种采掘移动设备人员接近保护方法及系统 |
| CN105554474A (zh) * | 2016-02-01 | 2016-05-04 | 福建省计量科学研究院 | 一种安全监控系统及方法 |
| CN106128475A (zh) * | 2016-07-12 | 2016-11-16 | 华南理工大学 | 基于异常情绪语音辨识的可穿戴智能安全设备及控制方法 |
| CN110425005A (zh) * | 2019-06-21 | 2019-11-08 | 中国矿业大学 | 矿井下皮带运输人员人机交互行为安全监控与预警方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度信息的人体动作识别研究综述;陈万军等;《西安理工大学学报》;20150331;第31卷(第3期);第253-264页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111223261A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223261B (zh) | 一种复合智能生产安防系统及其安防方法 | |
| US11620898B2 (en) | Visual-acoustic monitoring system for event detection, localization and classification | |
| US8164484B2 (en) | Detection and classification of running vehicles based on acoustic signatures | |
| CN102737480B (zh) | 一种基于智能视频的异常语音监控系统及方法 | |
| Li et al. | A microphone array system for automatic fall detection | |
| US11217076B1 (en) | Camera tampering detection based on audio and video | |
| US8965068B2 (en) | Apparatus and method for discriminating disguised face | |
| KR101270074B1 (ko) | 소리 기반 공간지도를 이용한 상황인식 장치 및 방법 | |
| JP2017062349A (ja) | 検知装置及びその制御方法、コンピュータプログラム | |
| WO2010118233A2 (en) | Cadence analysis of temporal gait patterns for seismic discrimination | |
| CN110634506A (zh) | 一种语音数据的处理方法及装置 | |
| Xia et al. | Csafe: An intelligent audio wearable platform for improving construction worker safety in urban environments | |
| WO2008038288A2 (en) | System and method for reducing power consumption in a detection system | |
| KR101736466B1 (ko) | 음향 정보 기반 상황 인식 장치 및 방법 | |
| CN111476102A (zh) | 一种安全防护方法、中控设备及计算机存储介质 | |
| CN112382051B (zh) | 一种基于区块链的智慧住宅安防系统 | |
| CN118629217B (zh) | 一种高速公路声音识别事故检测系统 | |
| CN105812721A (zh) | 一种跟踪监控方法及跟踪监控设备 | |
| CN117523807B (zh) | 一种电力设施防外破警示灯的数据处理方法及系统 | |
| KR101794260B1 (ko) | 음성인식을 이용한 보안등 및 보안시스템 | |
| KR101670801B1 (ko) | 이상 음원 감지 방법 및 시스템 | |
| JP2005092727A (ja) | 車両周辺監視システム | |
| Vogelbacher et al. | Deep learning for recognizing bat species and bat behavior in audio recordings | |
| Wan et al. | Recognition of potential danger to buried pipelines based on sounds | |
| KR101882309B1 (ko) | 음성인식을 이용한 보안등 및 보안시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |