[go: up one dir, main page]

CN113326761A - 一种基于ar辅助的汽车工件装配图像识别方法及系统 - Google Patents

一种基于ar辅助的汽车工件装配图像识别方法及系统 Download PDF

Info

Publication number
CN113326761A
CN113326761A CN202110579767.4A CN202110579767A CN113326761A CN 113326761 A CN113326761 A CN 113326761A CN 202110579767 A CN202110579767 A CN 202110579767A CN 113326761 A CN113326761 A CN 113326761A
Authority
CN
China
Prior art keywords
module
image
workpiece
glasses
holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110579767.4A
Other languages
English (en)
Inventor
黄建新
谢建文
周鹏程
刘文忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU SAIBAO LIANRUI INFORMATION TECHNOLOGY CO LTD
Original Assignee
GUANGZHOU SAIBAO LIANRUI INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU SAIBAO LIANRUI INFORMATION TECHNOLOGY CO LTD filed Critical GUANGZHOU SAIBAO LIANRUI INFORMATION TECHNOLOGY CO LTD
Priority to CN202110579767.4A priority Critical patent/CN113326761A/zh
Publication of CN113326761A publication Critical patent/CN113326761A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及汽车零件装配技术领域，公开了一种基于AR辅助的汽车工件装配图像识别方法及系统，包括全息影像眼镜和计算机，所述全息影像眼镜内部安装有图像采集控制模块、图像处理分析模块和图像显示模块，所述计算机内部安装有FTP服务器，本发明通过设置的图像识别方法采用了计算机和全息影像眼镜，计算机和全息影像眼镜使用同一个网络，数据相通，识别精度高、范围广，通过计算机中的FTP服务器可以识别大量的汽车工件，通过全息影像眼镜识别工件后会显示工件信息，使用者可以很直观的看到汽车工件装配中的每一个工件的形状、尺寸和安装事项等，可以减少使用者实际安装时的失误，避免使用者思考良久，从而提高了工作效率。

Description

一种基于AR辅助的汽车工件装配图像识别方法及系统
技术领域
本发明涉及汽车零件装配技术领域，具体是一种基于AR辅助的汽车工件装配图像识别方法及系统。
背景技术
汽车在生产时需要将一个部件的多种零件拿出来进行单独组装，最后将组装好的多个部件再次进行整体组装，从而完成一辆汽车的组装，在组装部件前，由于零件较多需要使用合适的图像识别方法来识别每一个零件的尺寸、颜色和安装注意事项等，以减少或避免后期的实物安装失误。
但是，现有的图像识别方法没有AR辅助功能，识别起来不够精确，且现有的图像识别方法识别工件后的工件信息不够详细，无法较大程度的减少使用者的实际操作失误。因此，本领域技术人员提供了一种基于AR辅助的汽车工件装配图像识别方法及系统，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供一种基于AR辅助的汽车工件装配图像识别方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于AR辅助的汽车工件装配图像识别系统，包括全息影像眼镜和计算机，所述全息影像眼镜内部安装有图像采集控制模块、图像处理分析模块和图像显示模块，所述计算机内部安装有FTP服务器。
作为本发明再进一步的方案：所述全息影像眼镜和计算机在同一网络环境下，该网络环境为互联网或者局域网，所述全息影像眼镜配套有全息鼠标，所述计算机安装有NET框架。
作为本发明再进一步的方案：所述图像采集控制模块和图像显示模块均与图像处理分析模块电性连接。
作为本发明再进一步的方案：所述图像采集控制模块通过全息影像眼镜上的光学透镜来选中工件实物，所述图像采集控制模块内部安装有A/D转换芯片，用于将模拟信号转换为和数字信号。
一种基于AR辅助的汽车工件装配图像识别方法，包括以下步骤：
S1、使用者打开计算机和全息影像眼镜并将计算机和全息影像眼镜连接在同一个网络环境下，该网络环境为互联网或局域网均可，接着在计算机中安装好NET框架和FTP服务器；
S2、使用者将全息影像眼镜戴在头部，将全息鼠标戴在食指处，通过上下滑动拇指进行操作；
S3、全息影像眼镜的界面上会显示定位模块、分装模块、工件模块和锁定模块这四个模块，使用者转动头部使光标落在工件模块选项上，上下滑动拇指即可选中工件模块，选中工件模块后全息影像眼镜的界面靠近中间处会出现一个方形窗口；
S4、使用者将工件实物拿在手上，转动头部使得全息影像眼镜中出现的方形窗口对准该工件实物，全息影像眼镜中的图像采集控制模块会扫描该工件实物并将该工件实物的形状、颜色等数据信息传送到全息影像眼镜中的图像处理分析模块中，图像处理分析模块会在计算机的FTP服务器中搜索该工件实物，搜索到后会通过图像显示模块将该工件实物的照片、编号、安装事项等显示在全息影像眼镜中，让使用者可以清楚地看到，从而完成图像识别；
S5、在操作过程中使用者可以使用者通过S3中方法选中锁定模块，点击后界面不会随着视野运动，防止部分操作时对视野的遮挡。
作为本发明再进一步的方案：所述S3中的定位模块包括图像定位、空间定位和姿态调整三个选项。
作为本发明再进一步的方案：所述S3中的分装模块包括模型加载选项。
与现有技术相比，本发明的有益效果是：
本发明通过设置的图像识别方法采用了计算机和全息影像眼镜，计算机和全息影像眼镜使用同一个网络，数据相通，识别精度高、范围广，通过计算机中的FTP服务器可以识别大量的汽车工件，通过全息影像眼镜识别工件后会显示工件信息，使用者可以很直观的看到汽车工件装配中的每一个工件的形状、尺寸和安装事项等，可以减少使用者实际安装时的失误，避免使用者思考良久，从而提高了工作效率。
附图说明
图1为一种基于AR辅助的汽车工件装配图像识别系统的示意图；
图2为一种基于AR辅助的汽车工件装配图像识别方法的示意图；
具体实施方式
请参阅图1，本发明实施例中，一种基于AR辅助的汽车工件装配图像识别系统，包括全息影像眼镜和计算机，全息影像眼镜内部安装有图像采集控制模块、图像处理分析模块和图像显示模块，计算机内部安装有FTP服务器，全息影像眼镜和计算机在同一网络环境下，该网络环境为互联网或者局域网，全息影像眼镜配套有全息鼠标，计算机安装有NET框架，图像采集控制模块和图像显示模块均与图像处理分析模块电性连接，图像采集控制模块通过全息影像眼镜上的光学透镜来选中工件实物，图像采集控制模块内部安装有A/D转换芯片，用于将模拟信号转换为和数字信号。
在图2中，
一种基于AR辅助的汽车工件装配图像识别方法，包括以下步骤：
S1、使用者打开计算机和全息影像眼镜并将计算机和全息影像眼镜连接在同一个网络环境下，该网络环境为互联网或局域网均可，接着在计算机中安装好NET框架和FTP服务器；
S2、使用者将全息影像眼镜戴在头部，将全息鼠标戴在食指处，通过上下滑动拇指进行操作；
S3、全息影像眼镜的界面上会显示定位模块、分装模块、工件模块和锁定模块这四个模块，使用者转动头部使光标落在工件模块选项上，上下滑动拇指即可选中工件模块，选中工件模块后全息影像眼镜的界面靠近中间处会出现一个方形窗口；
S4、使用者将工件实物拿在手上，转动头部使得全息影像眼镜中出现的方形窗口对准该工件实物，全息影像眼镜中的图像采集控制模块会扫描该工件实物并将该工件实物的形状、颜色等数据信息传送到全息影像眼镜中的图像处理分析模块中，图像处理分析模块会在计算机的FTP服务器中搜索该工件实物，搜索到后会通过图像显示模块将该工件实物的照片、编号、安装事项等显示在全息影像眼镜中，让使用者可以清楚地看到，从而完成图像识别；
S5、在操作过程中使用者可以使用者通过S3中方法选中锁定模块，点击后界面不会随着视野运动，防止部分操作时对视野的遮挡。
优先的，S3中的定位模块包括图像定位、空间定位和姿态调整三个选项。
优先的，S3中的分装模块包括模型加载选项。
为了更好地说明本发明的技术效果，通过下述试验进行阐述：
将汽车中的排气系统中的每一个工件按照该图像识别方法进行识别，排气系统由排气歧管衬垫、下进气歧管、EGR阀、EGR导管、左排气歧管、排气跨接管、右排气歧管和加热氧传感器组成，识别步骤如下：
步骤1、首先使用者先在计算机中安装好NET框架和FTP服务器，该FTP服务器中包含排气系统的文件数据，打开计算机和全息影像眼镜并将计算机和全息影像眼镜连接同一个无线局域网络；
步骤2、将全息鼠标戴在右手食指处，右手大拇指则上下滑动用于选定，戴上全息影像眼镜，此时画面中显示定位模块、分装模块、工件模块和锁定模块这四个选项，使用者转动头部使光标落在工件模块上，再上下滑动大拇指选定工件模块，此时画面中会出现一个方形框，类似于手机拍照时出现的人脸锁定框；
步骤3、任意拿一个工件，如EGR阀，转动头部或者用手移动该EGR阀使其位于步骤2中的方形框中，使用者再上下滑动大拇指选定该EGR阀，类似于手机拍照一样，该EGR阀就会锁定在这个方形框中，此时方形框中还会显示一个不断转动的圆圈，这是图像处理分析模块正在在FTP服务器中搜寻该EGR阀，搜寻完成后，在画面中就会显示该EGR阀，且该EGR阀旁边还有其具体的尺寸、颜色、安装位置和安装注意事项等，例如颜色：白色，安装位置：左侧下端靠近文字处与下进气歧管连接，远离文字的另一端与EGR导管连接，安装注意事项：安装时要使用生料带保持器密封性，安装后要进行密封性检测；至此完成该EGR阀的识别；
步骤4、使用者可以再任意拿一个工件进行识别，如排气跨接管，转动头部或者用手移动该排气跨接管使其位于步骤2中的方形框中，使用者再上下滑动大拇指选定该排气跨接管，类似于手机拍照一样，该排气跨接管就会锁定在这个方形框中，此时方形框中还会显示一个不断转动的圆圈，这是图像处理分析模块正在在FTP服务器中搜寻该排气跨接管，搜寻完成后，在画面中就会显示该排气跨接管，且该排气跨接管旁边还有其具体的尺寸、颜色、安装位置和安装注意事项等，例如形状：波纹长条中空管，颜色：黑色，安装位置：左端左排气歧管连接，右端与右排气歧管连接，安装注意事项：安装时要使用生料带保持器密封性，安装后要进行密封性检测；至此完成该排气跨接管的识别；
步骤5、使用者可以按照上述方法识别该排气系统中的任意一个工件。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于AR辅助的汽车工件装配图像识别系统，包括全息影像眼镜和计算机，其特征在于，所述全息影像眼镜内部安装有图像采集控制模块、图像处理分析模块和图像显示模块，所述计算机内部安装有FTP服务器。
2.根据权利要求1所述的一种基于AR辅助的汽车工件装配图像识别系统，其特征在于，所述全息影像眼镜和计算机在同一网络环境下，该网络环境为互联网或者局域网，所述全息影像眼镜配套有全息鼠标，所述计算机安装有NET框架。
3.根据权利要求1所述的一种基于AR辅助的汽车工件装配图像识别系统，其特征在于，所述图像采集控制模块和图像显示模块均与图像处理分析模块电性连接。
4.根据权利要求1所述的一种基于AR辅助的汽车工件装配图像识别系统，其特征在于，所述图像采集控制模块通过全息影像眼镜上的光学透镜来选中工件实物，所述图像采集控制模块内部安装有A/D转换芯片，用于将模拟信号转换为和数字信号。
5.一种基于AR辅助的汽车工件装配图像识别方法，其特征在于，包括以下步骤：
S1、使用者打开计算机和全息影像眼镜并将计算机和全息影像眼镜连接在同一个网络环境下，该网络环境为互联网或局域网均可，接着在计算机中安装好NET框架和FTP服务器；
S2、使用者将全息影像眼镜戴在头部，将全息鼠标戴在食指处，通过上下滑动拇指进行操作；
S3、全息影像眼镜的界面上会显示定位模块、分装模块、工件模块和锁定模块这四个模块，使用者转动头部使光标落在工件模块选项上，上下滑动拇指即可选中工件模块，选中工件模块后全息影像眼镜的界面靠近中间处会出现一个方形窗口；
S4、使用者将工件实物拿在手上，转动头部使得全息影像眼镜中出现的方形窗口对准该工件实物，全息影像眼镜中的图像采集控制模块会扫描该工件实物并将该工件实物的形状、颜色等数据信息传送到全息影像眼镜中的图像处理分析模块中，图像处理分析模块会在计算机的FTP服务器中搜索该工件实物，搜索到后会通过图像显示模块将该工件实物的照片、编号、安装事项等显示在全息影像眼镜中，让使用者可以清楚地看到，从而完成图像识别；
S5、在操作过程中使用者可以使用者通过S3中方法选中锁定模块，点击后界面不会随着视野运动，防止部分操作时对视野的遮挡。
6.根据权利要求5所述的一种基于AR辅助的汽车工件装配图像识别方法，其特征在于，所述S3中的定位模块包括图像定位、空间定位和姿态调整三个选项。
7.根据权利要求5所述的一种基于AR辅助的汽车工件装配图像识别方法，其特征在于，所述S3中的分装模块包括模型加载选项。
CN202110579767.4A 2021-05-26 2021-05-26 一种基于ar辅助的汽车工件装配图像识别方法及系统 Pending CN113326761A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110579767.4A CN113326761A (zh) 2021-05-26 2021-05-26 一种基于ar辅助的汽车工件装配图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110579767.4A CN113326761A (zh) 2021-05-26 2021-05-26 一种基于ar辅助的汽车工件装配图像识别方法及系统

Publications (1)

Publication Number Publication Date
CN113326761A true CN113326761A (zh) 2021-08-31

Family

ID=77416881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110579767.4A Pending CN113326761A (zh) 2021-05-26 2021-05-26 一种基于ar辅助的汽车工件装配图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN113326761A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150156803A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for look-initiated communication
CN105184276A (zh) * 2015-09-28 2015-12-23 大连楼兰科技股份有限公司 智能眼镜维保过程中的零件识别方法
CN107239140A (zh) * 2017-05-25 2017-10-10 北京小米移动软件有限公司 Vr场景的处理方法、装置和终端
CN109089098A (zh) * 2017-11-21 2018-12-25 苏州乐轩科技有限公司 虚拟现实装置及虚拟现实装置的操作方法
CN111653076A (zh) * 2020-05-06 2020-09-11 宇龙计算机通信科技(深圳)有限公司 Ar眼镜的控制方法、装置、存储介质及终端
US20200388056A1 (en) * 2019-06-06 2020-12-10 Shmuel Ur Innovation Ltd. Markers for Augmented Reality

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150156803A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for look-initiated communication
CN105184276A (zh) * 2015-09-28 2015-12-23 大连楼兰科技股份有限公司 智能眼镜维保过程中的零件识别方法
CN107239140A (zh) * 2017-05-25 2017-10-10 北京小米移动软件有限公司 Vr场景的处理方法、装置和终端
CN109089098A (zh) * 2017-11-21 2018-12-25 苏州乐轩科技有限公司 虚拟现实装置及虚拟现实装置的操作方法
US20200388056A1 (en) * 2019-06-06 2020-12-10 Shmuel Ur Innovation Ltd. Markers for Augmented Reality
CN111653076A (zh) * 2020-05-06 2020-09-11 宇龙计算机通信科技(深圳)有限公司 Ar眼镜的控制方法、装置、存储介质及终端

Similar Documents

Publication Publication Date Title
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN102214000B (zh) 用于移动增强现实系统的目标物体混合注册方法及系统
CN110202573B (zh) 全自动手眼标定、工作平面标定方法及装置
CN113902783B (zh) 一种融合三模态图像的显著性目标检测系统及方法
CN109919331A (zh) 一种机载设备智能维修辅助系统及方法
CN106017458B (zh) 移动机器人组合式导航方法及装置
CN101145091A (zh) 基于红外线摄像的触摸屏及其定位检测方法
CN113674402B (zh) 植物三维高光谱点云模型生成方法、校正方法及其装置
CN111077093A (zh) 一种基于多光谱技术的煤矸石快速检测的方法与装置
CN1877247A (zh) 三轴气浮台姿态角测量装置及其测量方法
CN111860142A (zh) 一种面向投影增强的基于机器视觉的手势交互方法
CN1305143A (zh) 用于计算机坐标与控制信息输入的系统及方法
CN112907571A (zh) 基于多光谱图像融合识别的目标判定方法
Liangjun et al. MSFA-YOLO: A multi-scale SAR ship detection algorithm based on fused attention
KR0151235B1 (ko) 형상검출방법
CN117830786A (zh) 目标和语义感知的图像融合模型、训练方法及使用方法
CN110176041B (zh) 一种基于双目视觉算法的新型列车辅助装配方法
CN113326761A (zh) 一种基于ar辅助的汽车工件装配图像识别方法及系统
CN113762122A (zh) 一种基于频闪照片的雨滴检测算法
CN110232677B (zh) 一种用于干涉条纹分析的手机app
CN117671541A (zh) 用于无人机集群任务的多模态融合的3d-bev目标检测方法及系统
CN111751839B (zh) 一种水下智能扫描微分激光尺
CN111460941B (zh) 一种穿戴式导航装备中视觉导航特征点提取与匹配方法
CN112419409A (zh) 一种基于实时视频的位姿估计方法
CN113963335B (zh) 基于图像和点云数据的路面障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination