CN106339094B - 基于增强现实技术的交互式远程专家协作检修系统及方法 - Google Patents
基于增强现实技术的交互式远程专家协作检修系统及方法 Download PDFInfo
- Publication number
- CN106339094B CN106339094B CN201610801442.5A CN201610801442A CN106339094B CN 106339094 B CN106339094 B CN 106339094B CN 201610801442 A CN201610801442 A CN 201610801442A CN 106339094 B CN106339094 B CN 106339094B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- target
- sent
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000008439 repair process Effects 0.000 title claims abstract description 17
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 11
- 238000012423 maintenance Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000012706 support-vector machine Methods 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 32
- 239000002245 particle Substances 0.000 claims description 31
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000002844 melting Methods 0.000 claims 2
- 230000008018 melting Effects 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于增强现实技术的交互式远程专家协作检修系统及方法；现场客户端对待检测维修的设备进行视频采集或图像拍摄，传输给远程服务端，远程服务端接收现场客户端发来的视频或图像，接收专家对视频或图像的勾画处理，将勾画的目标区域图像发送给现场客户端；现场客户端接收后通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，检测器找到目标区域图像，由跟踪器对目标进行跟踪，通过P‑N Learning不断提高检测器的检测精度，在现场视频图像中目标区域的位置处叠加标记图案或文字批注，当前设备的状态信息，生成增强现实影像视频；利用增强现实技术合成增强现实视频，在专家的协作下完成现场设备的故障诊断与检修。
Description
技术领域
本发明涉及一种基于增强现实技术的交互式远程专家协作检修系统及方法。
背景技术
增强现实技术(Augmented Reality，简称AR)通过计算机系统提供的信息增加用户对现实世界感知，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而达到对现实的增强效果。这种技术的目标是在屏幕上把虚拟世界植入现实世界并进行互动。目前，利用AR技术比较成熟的产品是美国微软公司的Hololens眼镜，但Hololens仅支持将计算机生成的效果叠加于现实世界之上，提供给单个使用者进行查看或与之互动，却不能实现多个使用者之间的互动。而且现有的利用AR技术的产品多用于生活、社交等消费类领域，很少甚至没有面向工业系统检测维修方面的应用。
现阶段，大型工业系统设备早已分布在国内外各个角落，以美国波音公司的777客机为例，截止2012年3月，已生产超过800架，分布在中国、美国、英国、日本等世界各地。飞机发动机、机翼、机身、驾驶室均由专业人员进行设计制造，涉及电子、物理学、动力学、信息科技、人工智能、模式识别等多学科知识。当飞机出现问题，必须由专门的专家到达现场进行检测维修，不仅增加了产品维修的时间也大大增加了服务商的运营成本。
发明内容
本发明的目的就是为了解决上述问题，提供一种基于增强现实技术的交互式远程专家协作检修系统及方法，它利用增强现实技术，将专家反馈信息、现场客户采集视频或图像和当前设备的状态信息合成增强现实视频，解放客户双手，帮助客户快速找到问题。
为了实现上述目的，本发明采用如下技术方案：
基于增强现实技术的交互式远程专家协作检修系统，包括：现场客户端和远程服务端；
所述现场客户端用于对待检测维修的设备进行视频采集或图像拍摄，将采集的信息传输给远程服务端，并接收远程服务端的勾画的目标区域图像，将勾画的目标区域图像与现场采集的视频进行合成，在现场客户端实时显示待检测维修的目标位置；
所述远程服务端用于接收现场客户端发来的视频或图像，接收专家对视频或图像的勾画处理，将勾画的目标区域图像发送给现场客户端。
现场客户端，包括：
视频采集单元，用于对待检测维修的设备进行视频采集或图像拍摄；获得待检测维修的设备的视频流或图像；将采集的待检测维修的设备视频流或图像发送给第一通信单元；
第一通信单元，用于接收视频流或图像，通过无线网络将视频流或图像发送给远程服务端，并接收远程服务端的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
AR处理单元，用于对远程服务端发来的反馈信息、视频采集单元发来的采集信息和当前设备的状态信息合成增强现实视频；合成后发送给第一显示单元；视频采集单元发来的采集信息包括待检测维修的设备视频流或图像；
第一显示单元，用于对AR处理单元的处理结果进行显示。
远程服务端，包括：
第二通信单元，用于接收第一通信单元发送的视频流或图像；将接收的视频流或图像发送给视频图像合成单元；接收视频图像合成单元反馈信息，将反馈信息发送给第一通信单元；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
视频图像合成单元，用于将勾画批注信息与图像进行合成，将带勾画批注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像发送给第二通信单元；
第二显示单元，用于显示第一通信单元发送过来的视频流或图像，同时还用于显示视频图像合成单元的处理结果；
第二输入单元，用于接收勾画标注信息和语音信息，并将勾画标注信息和语音信息送入视频图像合成单元。
基于增强现实技术的交互式远程专家协作检修方法，包括如下步骤：
步骤(1)：对待检测维修的设备进行视频采集或图像拍摄，获得待检测维修设备视频流或图像；
步骤(2)：现场客户端将采集的待检测维修设备视频流或图像发送给远程服务端；
步骤(3)：远程服务端接收所述视频流或图像并显示，接收专家对疑似检测维修部位进行勾画批注的信息；接收维修提示的语音信息；
步骤(4)：远程服务端将勾画批注信息与图像进行合成，将带勾画批注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像和语音信息发送给现场客户端。
步骤(5)：现场客户端接收远程服务端发送过来的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
步骤(6)：现场客户端对带勾画标注信息的目标区域图像，通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，在现场视频图像中目标区域的位置处叠加标记图案或文字批注，并叠加当前设备的状态信息，从而生成增强现实影像视频；
步骤(7)：现场客户端将增强现实影像视频显示出来。
现场客户端，包括：
视频采集单元，用于对待检测维修的设备进行视频采集或图像拍摄；获得待检测维修设备的视频流或图像；将采集的待检测维修设备视频流或图像发送给第一通信单元；
第一通信单元，用于接收视频流或图像，通过无线网络将视频流或图像发送给远程服务端，并接收远程服务端的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
AR处理单元，用于对远程服务端发来的反馈信息、视频采集单元发来的采集信息和当前设备的状态信息合成增强现实视频；合成后发送给第一显示单元；视频采集单元发来的采集信息包括待检测维修的设备视频流或图像；
第一显示单元，用于对AR处理单元的处理结果进行显示。
所述AR处理单元包括：
粒子滤波跟踪器，用于跟踪目标，得到目标区域的位置和大小；
支持向量机分类器，用于检测出所有可能的目标；
学习子单元，用于利用P-N Learning学习策略完成支持向量机分类器的在线更新，使支持向量机分类器的分类精度逐步提高；
目标模型，用于与待分类的样本进行匹配，找到匹配度最高的样本；
融合子单元，用于将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合，得到目标的位置。
优选的，所述视频采集单元是摄像机。
进一步的，现场客户端，还包括：第一输入单元。
优选的，所述第一输入单元包括第一触控面板和第一语音模块，所述第一语音模块包括第一麦克风和第一扬声器。
进一步的，现场客户端，还包括：第一供电单元。
优选的，所述现场客户端是智能手机、平板电脑或者可穿戴设备。
优选的，所述可穿戴设备是AR智能眼镜。
远程服务端，包括：
第二通信单元，用于接收第一通信单元发送的视频流或图像；将接收的视频流或图像发送给视频图像合成单元；接收视频图像合成单元反馈信息，将反馈信息发送给第一通信单元；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
视频图像合成单元，用于将勾画批注信息与图像进行合成，将带勾画批注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像发送给第二通信单元；
第二显示单元，用于显示第一通信单元发送过来的视频流或图像，同时还用于显示视频图像合成单元的处理结果；
第二输入单元，用于接收勾画标注信息和语音信息，并将勾画标注信息和语音信息送入视频图像合成单元。所述勾画标注信息是指专家对目标区域的圈点勾画和对维修建议的文字批注。
所述视频图像合成单元包括：
合成子单元，用于对勾画的目标区域图像与批注信息进行合成；
剪裁子单元，用于对合成的图像信息进行剪裁，得到所需的目标图像信息。
进一步的，远程服务端，还包括：第二输入单元；
优选的，所述第二输入单元包括第二触控面板和第二语音模块，所述第二语音模块包括第二麦克风和第二扬声器。
进一步的，远程服务端，还包括：第二供电单元。
现场客户端的检修方法，包括如下步骤：
步骤(a-1)：对待检测维修的设备进行视频采集或图像拍摄，获得待检测维修设备的视频流或图像；
步骤(a-2)：将采集的待检测维修设备的视频流或图像发送给远程服务端；
步骤(a-3)：接收由远程服务端发送过来的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
步骤(a-4)：通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，在现场视频图像中目标区域的位置处叠加标记图案或文字批注，并叠加当前设备的状态信息，从而生成增强现实影像视频；
步骤(a-5)：将增强现实影像视频显示出来。
所述步骤(a-4)物体跟踪算法步骤如下：
步骤(a-4-1)：在视频图像中识别追踪处理的第1帧；载入带勾画标注信息的目标区域图像作为跟踪目标P；
步骤(a-4-2)：初始化支持向量机分类器和粒子滤波跟踪器；
步骤(a-4-3)：在视频的后续帧处理中，载入第i帧视频图像，i的取值范围是2～n，n表示视频中帧的个数；利用支持向量机分类器检测出所有可能的目标P＝{P1,P2,...,Pn}，利用粒子滤波跟踪器跟踪目标，得到目标区域的位置和大小；
步骤(a-4-4)：将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合；融合之后得到检测定位的目标位置；进入步骤(a-4-6)；
步骤(a-4-5)：利用P-N Learning学习策略完成支持向量机分类器的在线更新，返回步骤(a-4-3)；
步骤(a-4-6)：判断视频是否已经达到第n帧，若是，则结束；否则，i＝i+1；转入步骤(a-4-3)。
所述步骤(a-4-4)融合共有五种可能：
第一种，支持向量机分类器和粒子滤波跟踪器都有图像块作为输出，但支持向量机分类器有多个相似的图像块被判定出来，所述多个是指大于一个；而粒子滤波跟踪器仅找到一个目标位置，以归一化的相关系数对检测结果进行最近邻分类，选择与上一帧目标相似度最高的图像块作为最后的检测结果；
第二种，粒子滤波跟踪器没有图像块输出，而支持向量机分类器有图像块输出，那么检测结果以归一化的相关系数进行聚类再分割，采用第一个聚类分割结果作为融合结果；
第三种，粒子滤波跟踪器没有图像块输出，而支持向量机分类器有图像块输出，如果聚类决策结果是最大的相关系数所对应的决策结果，但是决策结果超过设定的阈值范围，则采用决策结果作为融合结果，然后对粒子滤波跟踪器重新进行初始化，并丢掉原来认为正确的样本；
第四种，粒子滤波跟踪器有图像块输出，而支持向量机分类器没有输出图像块，那么采用粒子滤波跟踪器的输出结果作为融合结果；
第五种，如果支持向量机分类器和粒子滤波跟踪器都没有图像块输出，则认为目标消失。
所述步骤(a-4-5)支持向量机分类器的在线更新过程是：
在P-N Learning中，定义P-expert和N-expert；
P-expert寻找视频序列中的时域上的结构性特征：时间结构，并假设目标是沿着轨迹线移动的；
P-expert找出被分类器分类为negative但是根据结构性约束要求类别应该为positive的样本；
N-expert寻找视频序列中的空间域上的结构性特征：空间结构，并假设目标在一个视频帧中只可能出现在一个位置；
N-expert找出被分类器分类为positive但是根据结构性约束要求类别应该为negative的样本；
P-N Learning通过P-expert和N-expert生成训练样本，形成新的已标注的训练样本集，并把新的已标注的训练样本集加入到支持向量机分类器中，更新在线目标模型和支持向量机分类器。
所述在线目标模型随着时间的推移不断进行模型的更新，训练样本不断增加，模型不断更新，分类准确率越来越高，获得的目标就越准确，目标位置也就确定了。
所述步骤(a-3)反馈的标定的图像信息或视频信息包括标定的疑似检测维修部位的图像、视频或语音提示信息。
所述步骤(a-4)当前设备的状态信息包括：设备的采购时间或维保记录等；
所述步骤(a-4)当前设备的状态信息，是现场客户端与现场设备控制器或智能网管通过无线通讯获取的实时设备的状态信息。
远程服务端的检修方法，包括如下步骤：
步骤(b-1)：接收视频流或图像并显示；
步骤(b-2)：接收专家对疑似检测维修部位进行勾画批注的信息；接收维修提示的语音信息；
步骤(b-3)：将勾画批注信息与图像进行合成，将带勾画批注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像和语音信息发送给现场客户端。
本发明的有益效果：
1利用增强现实技术，将专家反馈信息、现场客户采集视频或图像和当前设备的状态信息合成增强现实视频，解放客户双手，帮助客户快速找到问题。
2客户在观看视频的同时，可以与远程端专家进行实时的语音交互，将现场临时出现的问题及时反馈给远程端专家，并及时得到远程端专家的提示和指导。
附图说明
图1为本发明算法的结构示意图；
图2为本发明的结构示意图；
图3为现场客户端的结构示意图；
图4为现场客户端流程图；
图5为远程服务端流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示，图1是算法的结构示意图，首先要获得目标的位置，也就是在视频跟踪处理的第一帧圈定目标，随着视频流的不断输入，检测器不断的检测目标，跟踪器不断跟踪目标，通过学习使得检测器的精度越来越高，最后将跟踪器与检测器的结果进行融合获得目标的位置。
如图2所示，远程专家协作检修系统包括现场客户端和远程服务端，所述的现场客户端和远程服务端通过无线网络进行数据通信。
所述的现场客户端包括摄像机、AR处理单元、无线通信模块、触控面板、显示器、语音模块(包括客户端麦克风和客户端扬声器)、供电模块，如图3所示，所述的现场客户端可以是智能手机、平板电脑或者可穿戴设备(如AR智能眼镜)，所述的客户端通信模块通信连接至现场客户端，并通过远程网络连接至服务端。
所述的现场客户端AR处理单元，用于所述增强现实的计算与处理。
所述的现场客户端通信单元，用于向远程服务端发送所述视频流或图像，接收所述远程服务端返回的专家反馈信息。
所述的现场客户端显示单元，用于显示远程服务端返回的专家标定的图像信息或视频信息。
所述的远程服务端包括视频图像合成单元、服务端无线通信模块、显示器、语音模块(包括服务端麦克风和服务端扬声器)，所述的服务端通信模块通信连接着服务端主机，并通过远程网络连接至客户端。
所述的远程服务端视频图像合成单元，用于专家在视频图像疑似检测维修部位勾画标注图像合成。
所述的远程服务端通信单元，用于接收客户端发送的视频流或图像，并向所述现场客户端发送专家反馈信息。
所述的远程服务端显示单元，用于显示所述视频或图像信息。
实施步骤如下所示：
首先，检修人员在现场利用现场客户端的摄像机对现场场景进行视频采集或图像拍摄，现场客户端将获得的视频或图像通过无线通讯传送给远程服务端；
其次，专家在远程服务端实时查看现场客户端传送来的视频，并使用鼠标在视频或图像疑似检修部位进行勾画标注，并可以通过语音与现场检修人员进行语音交互；
最后，远程服务端将专家标注的反馈信息返回到现场客户端，协助检修人员完成对设备的检修工作。
具体实施步骤如下：
步骤(1)：如图4第一框所示，检修人员在现场利用现场客户端对待检测维修的设备进行视频采集或图像拍摄，获得远程服务端专家所需的视频流或图像；所述现场客户端包括智能手机、平板电脑以及AR智能眼镜等移动可穿戴设备；
步骤(2)：如图4第二框所示，现场客户端将所述视频流或图像通过无线传输给远程服务端；
步骤(3)：如图5第一、二框所示，远程服务端接收所述视频流或图像并显示。专家可以在远程服务端根据需要对图像或视频进行缩放观察，并通过语音与现场人员了解情况，专家根据先验知识给出维修指导意见。不失一般性说明，专家查看客户端发来的视频或图像信息，在疑似检测维修部位进行勾画标注，也可以通过麦克风与现场客户进行实时语音交互，实时指导检测维修工作；
步骤(4)：如图5第三框所示，远程服务端将专家标定的疑似检测维修部位的视频或图像和所述的语音提示信息发送给现场客户端；
步骤(5)：如图4第三框所示，现场客户端接收由远程服务端返回的专家反馈信息，所述专家反馈信息包括专家标定的疑似检测维修部位的图像或视频和专家语音提示信息；
步骤(6)：如图4第四框所示，所述增强现实处理单元将接收专家反馈信息以及客户端现场的影像视频，通过物体跟踪算法完成专家标定物体与现场视频中物体的识别、定位与跟踪，在影像中物体的位置处叠加远程专家标定的标记图案或文字批注，并叠加当前设备的状态信息，如设备的采购时间、维保记录等，生成增强现实影像视频；所述的当前设备的状态信息，是现场客户端与现场设备控制器或智能网管通过无线通讯获取的实时设备的状态信息。
步骤(7)：如图4第五框所示，最后将增强现实影像视频同步显示在现场人员所佩戴的现场客户端设备上。
通过上述实施步骤，以达到基于增强现实技术的交互式远程专家协作检修的目的。
所述步骤(6)物体跟踪算法步骤如下：
步骤(6-1)：在视频图像中识别追踪处理的第1帧；载入带勾画标注信息的目标区域图像作为跟踪目标P；
步骤(6-2)：初始化支持向量机分类器和粒子滤波跟踪器；
步骤(6-3)：在视频的后续帧处理中，载入第i帧视频图像，i的取值范围是2～n，n表示视频中帧的个数；利用支持向量机分类器检测出所有可能的目标P＝{P1,P2,...,Pn}，利用粒子滤波跟踪器跟踪目标，得到目标区域的位置和大小；
步骤(6-4)：将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合；融合之后得到检测定位的目标位置；进入步骤(6-6)；
步骤(6-5)：利用P-N Learning学习策略完成支持向量机分类器的在线更新，返回步骤(a-4-3)；
步骤(6-6)：判断视频是否已经达到第n帧，若是，则结束；否则，i＝i+1；转入步骤(6-3)。
所述步骤(6-4)融合共有五种可能：
第一种，支持向量机分类器和粒子滤波跟踪器都有图像块作为输出，但支持向量机分类器有多个相似的图像块被判定出来，所述多个是指大于一个；而粒子滤波跟踪器仅找到一个目标位置，以归一化的相关系数对检测结果进行最近邻分类，选择与上一帧目标相似度最高的图像块作为最后的检测结果；
第二种，粒子滤波跟踪器没有图像块输出，而支持向量机分类器有图像块输出，那么检测结果以归一化的相关系数进行聚类再分割，采用第一个聚类分割结果作为融合结果；
第三种，粒子滤波跟踪器没有图像块输出，而支持向量机分类器有图像块输出，如果聚类决策结果是最大的相关系数所对应的决策结果，但是决策结果超过设定的阈值范围，则采用决策结果作为融合结果，然后对粒子滤波跟踪器重新进行初始化，并丢掉原来认为正确的样本；
第四种，粒子滤波跟踪器有图像块输出，而支持向量机分类器没有输出图像块，那么采用粒子滤波跟踪器的输出结果作为融合结果；
第五种，如果支持向量机分类器和粒子滤波跟踪器都没有图像块输出，则认为目标消失。
所述步骤(6-5)支持向量机分类器的在线更新过程是：
在P-N Learning中，定义P-expert和N-expert。
P-expert寻找视频序列中的时域上的结构性特征即时间结构，并假设目标是沿着轨迹线移动的，即相邻视频帧之间的移动很小，且存在一定的相关性。
P-expert找出那些被分类器分类为negative但是根据结构性约束要求其类别应该为positive的样本。
N-expert寻找视频序列中的空间域上的结构性特征即空间结构，并假设目标在一个视频帧中只可能出现在一个位置。
N-expert找出那些被分类器分类为positive但是根据结构性约束要求其类别应该为negative的样本。
P-N Learning通过P-expert和N-expert生成有效的训练样本，形成新的已标注的训练样本集，并把该样本集加入到支持向量机分类器中，更新在线目标模型和支持向量机分类器。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.现场客户端，其特征是，包括：
视频采集单元，用于对待检测维修的设备进行视频采集或图像拍摄；获得待检测维修设备的视频流或图像；将采集的待检测维修设备视频流或图像发送给第一通信单元；
第一通信单元，用于接收视频流或图像，通过无线网络将视频流或图像发送给远程服务端，并接收远程服务端的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
AR处理单元，用于对远程服务端发来的反馈信息、视频采集单元发来的采集信息和当前设备的状态信息合成增强现实视频；合成后发送给第一显示单元；视频采集单元发来的采集信息包括待检测维修的设备视频流或图像；
所述AR处理单元包括：
粒子滤波跟踪器，用于跟踪目标，得到目标区域的位置和大小；
支持向量机分类器，用于检测出所有可能的目标；
学习子单元，用于利用P-N Learning学习策略完成支持向量机分类器的在线更新，使支持向量机分类器的分类精度逐步提高；
目标模型，用于与待分类的样本进行匹配，找到匹配度最高的样本；
融合子单元，用于将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合，得到目标的位置；
第一显示单元，用于对AR处理单元的处理结果进行显示。
2.如权利要求1所述的现场客户端所采用的检修方法，其特征是，包括如下步骤：
步骤(a-1)：对待检测维修的设备进行视频采集或图像拍摄，获得待检测维修设备的视频流或图像；
步骤(a-2)：将采集的待检测维修设备的视频流或图像发送给远程服务端；
步骤(a-3)：接收由远程服务端发送过来的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
步骤(a-4)：通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，在现场视频图像中目标区域的位置处叠加标记图案或文字批注，并叠加当前设备的状态信息，从而生成增强现实影像视频；
步骤(a-5)：将增强现实影像视频显示出来。
3.如权利要求2所述的方法，其特征是，所述步骤(a-4)物体跟踪算法步骤如下：
步骤(a-4-1)：在视频图像中识别追踪处理的第1帧；载入带勾画标注信息的目标区域图像作为跟踪目标P；
步骤(a-4-2)：初始化支持向量机分类器和粒子滤波跟踪器；
步骤(a-4-3)：在视频的后续帧处理中，载入第i帧视频图像，i的取值范围是2～n，n表示视频中帧的个数；利用支持向量机分类器检测出所有可能的目标P＝{P1,P2,...,Pn}，利用粒子滤波跟踪器跟踪目标，得到目标区域的位置和大小；
步骤(a-4-4)：将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合；融合之后得到检测定位的目标位置；进入步骤(a-4-6)；
步骤(a-4-5)：利用P-N Learning学习策略完成支持向量机分类器的在线更新，返回步骤(a-4-3)；
步骤(a-4-6)：判断视频是否已经达到第n帧，若是，则结束；否则，i＝i+1；转入步骤(a-4-3)。
4.基于增强现实技术的交互式远程专家协作检修系统，其特征是，包括：现场客户端和远程服务端；
所述现场客户端用于对待检测维修的设备进行视频采集或图像拍摄，将采集的信息传输给远程服务端，并接收远程服务端的勾画的目标区域图像，将勾画的目标区域图像与现场采集的视频进行合成，在现场客户端实时显示待检测维修的目标位置；
所述远程服务端用于接收现场客户端发来的视频或图像，接收专家对视频或图像的勾画处理，将勾画的目标区域图像发送给现场客户端；
现场客户端，包括：
视频采集单元，用于对待检测维修的设备进行视频采集或图像拍摄；获得待检测维修的设备的视频流或图像；将采集的待检测维修的设备视频流或图像发送给第一通信单元；
第一通信单元，用于接收视频流或图像，通过无线网络将视频流或图像发送给远程服务端，并接收远程服务端的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
AR处理单元，用于对远程服务端发来的反馈信息、视频采集单元发来的采集信息和当前设备的状态信息合成增强现实视频；合成后发送给第一显示单元；视频采集单元发来的采集信息包括待检测维修的设备视频流或图像；
所述AR处理单元包括：
粒子滤波跟踪器，用于跟踪目标，得到目标区域的位置和大小；
支持向量机分类器，用于检测出所有可能的目标；
学习子单元，用于利用P-N Learning学习策略完成支持向量机分类器的在线更新，使支持向量机分类器的分类精度逐步提高；
目标模型，用于与待分类的样本进行匹配，找到匹配度最高的样本；
融合子单元，用于将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合，得到目标的位置；
第一显示单元，用于对AR处理单元的处理结果进行显示。
5.如权利要求4所述的检修系统，其特征是，远程服务端，包括：
第二通信单元，用于接收第一通信单元发送的视频流或图像；将接收的视频流或图像发送给视频图像合成单元；接收视频图像合成单元反馈信息，将反馈信息发送给第一通信单元；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
视频图像合成单元，用于将勾画批注信息与图像进行合成，将带勾画批注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像发送给第二通信单元；
第二显示单元，用于显示第一通信单元发送过来的视频流或图像，同时还用于显示视频图像合成单元的处理结果；
第二输入单元，用于接收勾画标注信息和语音信息，并将勾画标注信息和语音信息送入视频图像合成单元。
6.如权利要求4所述系统所采用的检修方法，其特征是，包括如下步骤：
步骤(1)：对待检测维修的设备进行视频采集或图像拍摄，获得待检测维修设备视频流或图像；
步骤(2)：现场客户端将采集的待检测维修设备视频流或图像发送给远程服务端；
步骤(3)：远程服务端接收所述视频流或图像并显示，接收专家对疑似检测维修部位进行勾画批注的信息；接收维修提示的语音信息；
步骤(4)：远程服务端将勾画批注信息与图像进行合成，将带勾画批注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像和语音信息发送给现场客户端；
步骤(5)：现场客户端接收远程服务端发送过来的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；
步骤(6)：现场客户端对带勾画标注信息的目标区域图像，通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，在现场视频图像中目标区域的位置处叠加标记图案或文字批注，并叠加当前设备的状态信息，从而生成增强现实影像视频；步骤(7)：现场客户端将增强现实影像视频显示出来。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610801442.5A CN106339094B (zh) | 2016-09-05 | 2016-09-05 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610801442.5A CN106339094B (zh) | 2016-09-05 | 2016-09-05 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106339094A CN106339094A (zh) | 2017-01-18 |
| CN106339094B true CN106339094B (zh) | 2019-02-26 |
Family
ID=57823708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610801442.5A Active CN106339094B (zh) | 2016-09-05 | 2016-09-05 | 基于增强现实技术的交互式远程专家协作检修系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106339094B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024083623A1 (en) * | 2022-10-19 | 2024-04-25 | Koninklijke Philips N.V. | Video-processing for equipment maintenance |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018152685A1 (en) * | 2017-02-22 | 2018-08-30 | Tencent Technology (Shenzhen) Company Limited | Image processing in a vr system |
| CN107274431A (zh) * | 2017-03-07 | 2017-10-20 | 阿里巴巴集团控股有限公司 | 视频内容增强方法及装置 |
| CN108628661B (zh) * | 2017-03-24 | 2021-11-26 | 郑芳田 | 云制造服务的自动建置方法、云制造系统 |
| CN109218794B (zh) * | 2017-06-30 | 2022-06-10 | 全球能源互联网研究院 | 远程作业指导方法及系统 |
| CN107277429A (zh) * | 2017-07-14 | 2017-10-20 | 福建铁工机智能机器人有限公司 | 一种利用ar进行远程会议的方法 |
| CN107241579A (zh) * | 2017-07-14 | 2017-10-10 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程医疗会诊的方法及设备 |
| CN107277450A (zh) * | 2017-07-14 | 2017-10-20 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程指挥现场救灾的方法及设备 |
| CN107240317A (zh) * | 2017-07-14 | 2017-10-10 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程教育的方法及设备 |
| CN107277451A (zh) * | 2017-07-14 | 2017-10-20 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程指导现场排查故障的方法及设备 |
| CN107333063A (zh) * | 2017-07-14 | 2017-11-07 | 福建铁工机智能机器人有限公司 | 一种利用ar拍摄电影的方法 |
| CN107426508A (zh) * | 2017-07-14 | 2017-12-01 | 福建铁工机智能机器人有限公司 | 一种利用ar实现远程安保巡查的方法 |
| CN107454365A (zh) * | 2017-07-14 | 2017-12-08 | 福建铁工机智能机器人有限公司 | 一种利用ar进行特种侦察的方法 |
| CN107329268A (zh) * | 2017-08-03 | 2017-11-07 | 福建铁工机智能机器人有限公司 | 一种利用ar眼镜实现景点共享的方法 |
| CN107547554A (zh) * | 2017-09-08 | 2018-01-05 | 北京枭龙科技有限公司 | 一种基于增强现实的智能设备远程协助系统 |
| CN107578110A (zh) * | 2017-09-19 | 2018-01-12 | 北京枭龙科技有限公司 | 一种基于增强现实的维修信息可视化方法 |
| CN107977716A (zh) * | 2017-11-21 | 2018-05-01 | 北京恒华伟业科技股份有限公司 | 一种隐患点显示的方法及系统 |
| CN107957778A (zh) * | 2017-11-21 | 2018-04-24 | 北京恒华伟业科技股份有限公司 | 一种隐患点标记的方法及系统 |
| CN107872655A (zh) * | 2017-11-21 | 2018-04-03 | 北京恒华伟业科技股份有限公司 | 一种确定隐患点的方法及系统 |
| CN107948591A (zh) * | 2017-11-21 | 2018-04-20 | 北京恒华伟业科技股份有限公司 | 一种桥梁信息处理方法及系统 |
| CN108200331A (zh) * | 2017-12-16 | 2018-06-22 | 苏州晨本智能科技有限公司 | 一种基于自动跟随技术和vr技术的远程讲解互动机器人 |
| CN108170273A (zh) * | 2017-12-28 | 2018-06-15 | 南京华讯方舟通信设备有限公司 | 一种基于hololens眼镜的专家远程指导系统及实现方法 |
| CN110097573A (zh) * | 2018-01-31 | 2019-08-06 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的混合跟踪方法和系统 |
| CN110494887A (zh) * | 2018-02-23 | 2019-11-22 | 弗隆蒂斯株式会社 | 在基于增强现实、虚拟现实或混合现实的一般物体识别中基于二叉搜索树支持军用装备维修的服务器、方法及可穿戴设备 |
| WO2019164057A1 (ko) * | 2018-02-23 | 2019-08-29 | (주)프론티스 | 상호 연관성 규칙 마이닝을 적용한 증강현실 기술에서 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스 |
| CN108965791B (zh) * | 2018-04-04 | 2021-08-24 | 广州高新兴机器人有限公司 | 一种通过机器人ar摄像头与物联网设备交互方法及系统 |
| CN108632379A (zh) * | 2018-05-11 | 2018-10-09 | 厦门柏讯信息科技有限公司 | 一种基于全景vr直播的汽车远程诊断与维修系统 |
| CN108776444B (zh) * | 2018-05-25 | 2021-09-03 | 江西博异自动化科技有限公司 | 适用于cps自动化控制系统的增强现实人机交互系统 |
| CN108769517B (zh) * | 2018-05-29 | 2021-04-16 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实进行远程辅助的方法与设备 |
| CN109034404B (zh) * | 2018-06-27 | 2021-07-13 | 上海擎测机电工程技术有限公司 | 一种基于ar眼镜的火电厂多人协同检修系统、方法及一种ar眼镜 |
| CN108986556A (zh) * | 2018-08-22 | 2018-12-11 | 高海龙 | 一种飞机远程技术放行方法、装置及智能设备 |
| CN109300112A (zh) * | 2018-08-27 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 基于ar的器械维护方法及装置 |
| CN109635957A (zh) * | 2018-11-13 | 2019-04-16 | 广州裕申电子科技有限公司 | 一种基于ar技术的设备维修辅助方法和系统 |
| CN109725247B (zh) * | 2018-12-18 | 2020-11-20 | 蒂姆维澳(上海)网络技术有限公司 | 一种电路板远程维护保障方法及系统 |
| CN111381918A (zh) * | 2018-12-29 | 2020-07-07 | 中兴通讯股份有限公司 | 一种实现远程协助的方法及相关设备 |
| CN109714575A (zh) * | 2018-12-29 | 2019-05-03 | 广州德毅维才软件技术有限公司 | 一种基于互联网远程指挥的检修方法 |
| CN111614922A (zh) * | 2019-02-22 | 2020-09-01 | 中国移动通信有限公司研究院 | 一种信息交互方法、网络端及终端 |
| CN116866336A (zh) * | 2019-03-29 | 2023-10-10 | 亮风台（上海）信息科技有限公司 | 一种进行远程协助的方法与设备 |
| CN110174423A (zh) * | 2019-04-26 | 2019-08-27 | 云南电网有限责任公司电力科学研究院 | 一种用于x射线检测的远程监控指导系统 |
| CN110061755B (zh) * | 2019-04-30 | 2021-04-16 | 徐州重型机械有限公司 | 作业辅助方法和系统、可穿戴设备及工程车辆 |
| CN112399125B (zh) * | 2019-08-19 | 2022-06-10 | 中国移动通信集团广东有限公司 | 一种远程协助方法、装置和系统 |
| CN111526118B (zh) * | 2019-10-29 | 2023-06-30 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于混合现实的远程操作引导系统及方法 |
| CN111031284A (zh) * | 2019-12-12 | 2020-04-17 | 国网浙江余姚市供电有限公司 | 基建现场管控方法、系统及终端 |
| CN111260084B (zh) * | 2020-01-09 | 2024-03-15 | 长安大学 | 基于增强现实协同装配维修的远程系统及方法 |
| CN111050112A (zh) * | 2020-01-10 | 2020-04-21 | 北京首翼弘泰科技有限公司 | 通过在屏幕上显示标记进行远程操作指挥或指导的方法 |
| CN113360057A (zh) * | 2020-03-03 | 2021-09-07 | 中国移动通信集团贵州有限公司 | 基于增强现实的远程交互方法、系统及电子设备 |
| CN111294568B (zh) * | 2020-03-13 | 2020-12-04 | 北京维卓致远医疗科技发展有限责任公司 | 一种医疗远程控制实现视频融合的方法 |
| CN113542332B (zh) * | 2020-04-22 | 2023-04-07 | 中移智行网络科技有限公司 | 基于定位标注的客服视频交互方法和设备 |
| CN111784005A (zh) * | 2020-06-17 | 2020-10-16 | 北京中铁电梯工程有限公司 | 基于物联网的电梯维保方法、维保装置、维保系统及计算机可读存储介质 |
| CN111950506A (zh) * | 2020-08-25 | 2020-11-17 | 中山大学 | 一种基于ar技术的mocvd设备维修辅助方法及系统 |
| CN112130666A (zh) * | 2020-09-16 | 2020-12-25 | 博彦科技（上海）有限公司 | 数据处理方法及系统 |
| WO2022061858A1 (en) * | 2020-09-28 | 2022-03-31 | Orange | Method for assisting a first user provided with a terminal at a scene |
| CN113780706A (zh) * | 2020-10-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 一种基于视觉增强的现场运维作业方法及装置 |
| CN112565844B (zh) * | 2020-12-04 | 2023-05-12 | 维沃移动通信有限公司 | 视频通信方法、装置和电子设备 |
| CN112509148B (zh) * | 2020-12-04 | 2024-12-24 | 全球能源互联网研究院有限公司 | 一种基于多特征识别的交互方法、装置及计算机设备 |
| CN112492281A (zh) * | 2020-12-10 | 2021-03-12 | 郑州捷安高科股份有限公司 | 远程辅助检修方法、装置、设备及存储介质 |
| CN113674426A (zh) * | 2021-07-19 | 2021-11-19 | 中国电建集团西北勘测设计研究院有限公司 | 使用ar技术的设备检修方法及装置 |
| CN114063954A (zh) * | 2021-11-11 | 2022-02-18 | 广西电网有限责任公司崇左供电局 | 一种通信运检作业远程协作的交互系统 |
| CN115776577A (zh) * | 2022-10-27 | 2023-03-10 | 中电信数智科技有限公司 | 一种远程协作场景中基于自由圈画的ar动态标注方法 |
| CN119152405A (zh) * | 2024-11-13 | 2024-12-17 | 广东电网有限责任公司中山供电局 | 双向视频融合互动的检修ar眼镜系统及检修方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015060393A1 (ja) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | 遠隔行動誘導システム及びその処理方法 |
| CN104834379A (zh) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | 一种基于ar技术的维修向导系统 |
| CN105814500A (zh) * | 2013-06-27 | 2016-07-27 | Abb技术有限公司 | 用于协助远程用户提供指令的方法及数据演示装置 |
-
2016
- 2016-09-05 CN CN201610801442.5A patent/CN106339094B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105814500A (zh) * | 2013-06-27 | 2016-07-27 | Abb技术有限公司 | 用于协助远程用户提供指令的方法及数据演示装置 |
| WO2015060393A1 (ja) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | 遠隔行動誘導システム及びその処理方法 |
| CN104834379A (zh) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | 一种基于ar技术的维修向导系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024083623A1 (en) * | 2022-10-19 | 2024-04-25 | Koninklijke Philips N.V. | Video-processing for equipment maintenance |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106339094A (zh) | 2017-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106339094B (zh) | 基于增强现实技术的交互式远程专家协作检修系统及方法 | |
| US12175618B2 (en) | Image processing method and apparatus, electronic device, and computer-readable storage medium | |
| CN112132197B (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
| CN109657609A (zh) | 人脸识别方法及系统 | |
| CN112116008B (zh) | 基于智能决策的目标检测模型的处理方法、及其相关设备 | |
| CN108960090A (zh) | 视频图像处理方法及装置、计算机可读介质和电子设备 | |
| CN107808004A (zh) | 模型训练方法和系统、服务器、存储介质 | |
| CN104838420B (zh) | 基于图像内容进行图像旋转以修正图像取向 | |
| CN109903392A (zh) | 增强现实方法和装置 | |
| CN111813910B (zh) | 客服问题的更新方法、系统、终端设备及计算机存储介质 | |
| CN112633409B (zh) | 纵向联邦学习和横向联邦学习的模型训练方法 | |
| CN110109535A (zh) | 增强现实生成方法及装置 | |
| CN108491823A (zh) | 用于生成人眼识别模型的方法和装置 | |
| CN112307886A (zh) | 行人重识别方法和装置 | |
| CN110009059A (zh) | 用于生成模型的方法和装置 | |
| CN117970823B (zh) | 一种数字化多媒体展厅的中控系统 | |
| CN110827602A (zh) | 一种基于vr+ar技术的电缆接头制作和运维技能培训装置及方法 | |
| CN117315132A (zh) | 一种基于元宇宙的云展厅系统 | |
| CN110516598A (zh) | 用于生成图像的方法和装置 | |
| CN110390724B (zh) | 一种带有实例分割的slam方法 | |
| CN113965550B (zh) | 智能交互式远程辅助视频系统 | |
| CN110334620A (zh) | 教学质量的评估方法、装置、存储介质及电子设备 | |
| Shen et al. | Fast adaptive optimization of weighted vector median filters | |
| CN110009407A (zh) | 一种广告推送方法、装置、广告播放终端及存储介质 | |
| CN111665930A (zh) | 一种融合云和边缘计算的多模态情绪识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shao Peng Inventor after: Zhang Zhen Inventor after: Zhu Chunjian Inventor after: Zhang Guodong Inventor after: Zhang Yan Inventor after: Liang Bo Inventor before: Zhang Zhen Inventor before: Zhu Chunjian Inventor before: Zhang Guodong Inventor before: Zhang Yan Inventor before: Liang Bo |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250103 room 1-101, office building, 2269 development road, high tech Zone, Ji'nan, Shandong Patentee after: Shandong Wanteng Digital Technology Co.,Ltd. Address before: 250103 room 1-101, office building, 2269 development road, high tech Zone, Ji'nan, Shandong Patentee before: SHANDONG WANTENG ELECTRONIC TECHNOLOGY CO.,LTD. |