KR20170083807A - Virtual training system for disassemble and assemble a pipe - Google Patents
Virtual training system for disassemble and assemble a pipe Download PDFInfo
- Publication number
- KR20170083807A KR20170083807A KR1020160003136A KR20160003136A KR20170083807A KR 20170083807 A KR20170083807 A KR 20170083807A KR 1020160003136 A KR1020160003136 A KR 1020160003136A KR 20160003136 A KR20160003136 A KR 20160003136A KR 20170083807 A KR20170083807 A KR 20170083807A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- training system
- virtual training
- remote
- pipe
- Prior art date
Links
- 238000012549 training Methods 0.000 claims abstract description 72
- 239000003550 marker Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 34
- 238000012544 monitoring process Methods 0.000 claims description 18
- 230000007123 defense Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 네트워크로 연결된 원격 다중 훈련자가 참여하여 파이프 분해조립에 대한 가상 훈련을 수행하는 파이프 분해조립 가상 훈련 시스템에 관한 것으로, 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템으로 전송하는 워크벤치형 가상 훈련 시스템과, 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송하는 케이브형 가상 훈련 시스템을 포함함을 특징으로 한다.The present invention relates to a pipe disassembly assembly virtual training system in which a network-connected remote multiple trainer participates to perform a virtual training on pipe disassembly assembly, wherein a motion of an actual tool equipped with a marker is sensed through a plurality of vision cameras, A workbench type virtual training system for displaying the movement and matching of the tool object on the disassembly assembly training contents and transmitting the motion sensing data of the tool to the cave type virtual training system through the remote interlocking network middleware, A virtual cave-like virtual training system that recognizes the hand and arm movement of the training object and displays the matching and matching of the tool object movement on the training content and transmits the recognized handler and arm motion sensing data to the workbench virtual training system via the remote interlocking network middleware Includes training system It characterized.
Description
본 발명은 가상 훈련 시스템에 관한 것으로, 특히 네트워크로 연결된 원격 다중 훈련자가 참여하여 파이프 분해조립에 대한 가상 훈련을 수행하는 파이프 분해조립 가상 훈련 시스템에 관한 것이다.The present invention relates to a virtual training system, and more particularly to a pipe disassembly assembly virtual training system in which a networked remote multiple trainer participates to perform virtual training for pipe disassembly assembly.
가상 현실은 인공적으로 만들어낸 가상의 현실로 가상 현실 기술의 대표적인 목적은 가상의 경험을 사용자가 얻을 수 있도록 하는 것이다. 즉, 현실의 상황과 동일하거나 물리적으로 불가능한 가상의 시나리오를 사용자가 체험할 수 있도록 하는 것이다.VIRTUAL REALITY is a virtual reality created artificially, and the main purpose of virtual reality technology is to enable users to get virtual experience. That is, the user can experience a virtual scenario that is the same as the actual situation or physically impossible.
실제 도구를 이용한 기존의 훈련 방법은 소모성 재료의 사용, 제한된 훈련 공간, 부대 시설 관리 문제, 초보자의 안전사고 위험 및 훈련에 대한 소극적 대응 등 많은 어려움이 존재한다. 즉, 현장에서는 고도의 숙련된 작업자를 요구하고 있지만, 앞에서 열거한 문제점들은 효율적인 훈련 과정 수행에 걸림돌이 되고 있다. 이러한 문제점들을 해결하기 위해, 실제 작업 환경과 동일한 가상의 환경을 조성하고, 조성된 가상의 환경에서 상기한 문제점들로 인해 발생하는 어려움을 최소화하면서 작업자가 훈련을 수행할 수 있도록 하는 가상 훈련 시스템들이 각 산업분야에서 활발히 도입되고 있다.Existing training methods using actual tools have many difficulties such as the use of consumable materials, limited training space, management problems of facilities, risk of safety accidents for beginners, and passive responses to training. In other words, the field requires highly skilled workers, but the problems listed above are obstacles to the efficient training process. In order to solve these problems, a virtual training system which enables the operator to perform the training while minimizing the difficulties caused by the above problems in the virtual environment, which is created in the same virtual environment as the actual work environment, It is actively being introduced in each industrial field.
이러한 가상 훈련 시스템은 초기에는 단일 훈련자 위주로 사용할 수 있는 시스템으로 개발되었으나, 기술발전과 적용 분야의 확장으로 인해 다자간 협업을 필요로 하는 기술 혹은 산업 분야에 접목하기 위한 가상 훈련 시스템들도 개발되기에 이르렀다.This virtual training system was originally developed as a system that can be used by a single trainee, but due to technological advancement and expansion of applications, virtual training systems have been developed to incorporate technologies or industries requiring multilateral collaboration .
하지만, 국방 분야의 가상 훈련 시스템은 LVC(Live-Virtual-Constructive) 기반의 다자 훈련 모델 및 시스템이 다양하게 존재하는데 반하여, 민간 분야, 예를 들면 수송체 운전 훈련, 기계조립/조작 훈련 등 대부분의 산업 분야에서는 아직도 단일 사용자 위주의 가상 훈련 시스템이 주를 이루고 있다.However, in the field of defense, the virtual training system has a variety of models and systems based on Live-Virtual-Constructive (LVC), while the private sector, for example, In the industrial sector, a single user-oriented virtual training system still dominates.
이에 원격에 위치하는 다수의 훈련자가 하나의 훈련 콘텐츠를 공유하며 상호작용 방식을 통해 가상 훈련을 진행하는 원격 다중 훈련자 참여형 가상 훈련 시스템의 개발이 필요하다.Therefore, it is necessary to develop a virtual training system for participating remote multiple trainees, in which a plurality of trainees located remotely share one training content and conduct virtual training through an interactive method.
이에 본 발명의 목적은 상술한 필요성에 따라 창안된 발명으로서, 원격의 다중 훈련자가 참여하여 공동으로 수행할 수 있는 파이프 분해조립 가상 훈련 시스템을 제공함에 있으며,Accordingly, an object of the present invention is to provide a virtual disassembly assembly system for a pipe disassembly assembly which can be jointly performed by a plurality of remote trainees participating in the invention,
더 나아가 본 발명의 또 다른 목적은 국방 분야의 가상 훈련 시스템 규격에 기반한 네트워크 연동방식을 통하여, 마커 장착한 실제 공구를 사용하는 훈련자(움직임 인식기반 워크벤치형 가상 훈련 시스템 훈련자)와 동작인식 기반 훈련자(케이브형 가상 훈련 시스템 훈련자) 간에 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 수행할 수 있는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템을 제공함에 있다.Still another object of the present invention is to provide a method and apparatus for training a trainer (a motion recognition-based workbench type virtual training system trainer) and a motion recognition-based trainee (Cave-type virtual training system trainer) to perform a virtual pipe disassembly assembly training by interacting with one virtual training contents while sharing the virtual training contents.
또한 본 발명의 다른 목적은 HMD 장치를 착용한 교수자가 원격으로 훈련자들의 파이프 분해조립 가상 훈련 상황을 모니터할 수 있는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템을 제공함에 있다.It is another object of the present invention to provide a remote multi-trainer participant pipe disassembly assembly virtual training system capable of remotely monitoring trainee's pipe disassembly assembly virtual training situation by wearing a HMD device.
상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 원격 네트워크를 통해 상호 연결 가능한 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템을 포함하되,According to an aspect of the present invention, there is provided a remote multi-trainer-participant pipe disassembly assembly virtual training system including a workbench-type virtual training system and a cave-type virtual training system which are interconnectable through a remote network,
상기 워크벤치형 가상 훈련 시스템은 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 케이브형 가상 훈련 시스템으로 전송하며,The work bench type virtual training system senses the movement of an actual tool equipped with a marker through a plurality of vision cameras and displays the motion sensing data corresponding to a tool object movement on a pipe disassembly assembly training content and displays the motion sensing data of the tool in a remote interworking network middleware To the cave-type virtual training system,
상기 케이브형 가상 훈련 시스템은 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송함을 특징으로 한다.The cave-type virtual training system recognizes the hand and arm movement of the trainee in front of the screen through the motion recognition sensor, displays the matching and matching of the tool object motion on the training content, and outputs the hand and arm movement sensing data of the recognized trainee to the remote interlocking network middleware To the workbench type virtual training system.
변형 가능한 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템으로서 상술한 구성 외에 상기 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템과 케이브형 가상 훈련 시스템 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시하는 교수자 모니터링 시스템을 더 포함함을 또 다른 특징으로 한다.A deformable remote multiple trainer participant pipe disassembly assembly virtual training system, which is connectable to the remote network in addition to the configuration described above, and which, via the remote interlocking network middleware, is capable of detecting movement of the tool in each of the workbench type virtual training system and the cave type virtual training system And a teacher monitoring system for receiving the training data including the data of the hand and arm motion sensing data of the trainee and displaying the training content execution status information.
상기 교수자 모니터링 시스템은 HMD(Head Mount Display) 기반의 모니터링 시스템임을 특징으로 하며,The faculty monitoring system is characterized by being a HMD (Head Mount Display) based monitoring system,
상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture) RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어임을 특징으로 한다.The remote interworking network middleware is a remote interworking network middleware based on a HLA (High Level Architecture) RTI (Run Time Infrastructure) standard, which is an interworking standard of a defense field virtual training system.
또한 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함함을 특징으로 한다.Wherein the pipe disassembly assembly training content includes a plurality of training procedures for pipe disassembly assembly, wherein the plurality of training procedures include training procedures for a cave type virtual training system using a trainee hand and a workbench type virtual training system And a training sequence for the training.
상술한 과제 해결 수단에 따르면, 본 발명은 국방 분야의 가상 훈련 시스템 규격에 기반한 네트워크 연동방식을 통하여, 원격에 위치하는 공동의 훈련자들이 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 수행할 수 있는 효과가 있으며,According to the above-mentioned problem solving means, the present invention can be applied to a network training system based on a virtual training system standard in a defense field, so that a common trainee located remotely can interact with a virtual training content, There is an effect that training can be performed,
HMD 장치를 착용한 교수자 역시 원격으로 훈련자들의 파이프 분해조립 가상 훈련 상황을 실시간 모니터할 수 있는 효과가 있다.The instructor who wears the HMD device also has the effect of remotely monitoring the training situation of the trainees by the pipe disassembly assembly.
도 1은 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차 예시도.Brief Description of the Drawings Fig. 1 is an illustration of a configuration of a remote multiple trainer participant pipe disassembly assembly virtual training system in accordance with an embodiment of the present invention. Fig.
2 is an illustration of a pipe disassembly assembly virtual training procedure of a virtual training system in accordance with an embodiment of the present invention.
이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1은 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템의 구성도를 예시한 것이며, 도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차를 예시한 것이다.FIG. 1 illustrates a block diagram of a remote multiple trainer participant pipe disassembly assembly virtual training system in accordance with an embodiment of the present invention. FIG. 2 illustrates a virtual disassembly assembly training procedure of a virtual training system in accordance with an embodiment of the present invention. It is.
도 1에 도시한 바와 같이 본 발명의 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 원격 네트워크를 통해 연결 가능한 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200)을 포함한다. 변형 가능한 실시예에 따른 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템은 교수자 모니터링 시스템(300)을 더 포함할 수 있다.As shown in FIG. 1, a remote multiple trainer participant pipe disassembly assembly virtual training system according to an embodiment of the present invention includes a workbench type virtual training system 100 and a cave type virtual training system 200 connectable via a remote network . A remote multiple trainer participant pipe disassembly assembly virtual training system in accordance with a variant embodiment may further include a trainer monitoring system 300.
워크벤치형 가상 훈련 시스템(100)은 복수, 예를 들면 3대의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템(200) 혹은 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송한다.The workbench type virtual training system 100 senses the movement of an actual tool equipped with a marker through a plurality of, for example, three vision cameras, and displays a matching and matching operation of a tool object on a pipe disassembly assembly training content. Sensed data to the cave-type virtual training system 200 or the cave-type virtual training system 200 and the instructor monitoring system 300 through the remote interworking network middleware.
케이브형 가상 훈련 시스템(200)은 동작인식 센서(Kinect2)를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템(100) 혹은 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송한다.The cave-type virtual training system 200 recognizes the hand and arm movement of the trainee in front of the screen through the motion recognition sensor (Kinect2), displays and matches the movement of the tool object on the training content, To the workbench type virtual training system 100 or the workbench type virtual training system 100 and the instructor monitoring system 300 via the remote interworking network middleware.
교수자 모니터링 시스템(300)은 원격 네트워크에 연결 가능하며 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200) 각각에서 상기 공구의 움직임 센싱 데이터와 훈련자의 손과 팔 동작 센싱 데이터를 포함하는 훈련 데이터를 수신하여 훈련 콘텐츠 실행 상황정보를 표시한다. 이러한 교수자 모니터링 시스템(300)은 HMD(Head Mount Display) 기반의 모니터링 시스템일 수 있다.The instructor monitoring system 300 can be connected to the remote network and is capable of receiving the movement sensing data of the tool and the hands of the trainee in the workbench virtual training system 100 and the cave type virtual training system 200 via the remote interworking network middleware, And training data including arm motion sensing data and displays the training content execution status information. Such a teacher monitoring system 300 may be a HMD (Head Mount Display) based monitoring system.
상기 원격 연동 네트워크 미들웨어는 국방분야 가상 훈련 시스템의 연동 규격인 HLA(High Level Architecture)/RTI(Run Time Infrastructure) 규격에 기반하는 원격 연동 네트워크 미들웨어이다.The remote interworking network middleware is a remote interworking network middleware based on a High Level Architecture (HLA) / RTI (Run Time Infrastructure) standard, which is an interworking standard of a defense field virtual training system.
아울러 상기 파이프 분해조립 훈련 콘텐츠는 파이프 분해조립을 위한 복수(본 실시예에서는 12단계)의 훈련절차를 포함하며, 상기 복수의 훈련절차는 훈련자 손을 이용하는 케이브형 가상 훈련 시스템용 훈련절차들과 공구를 이용하는 워크벤치형 가상 훈련 시스템용 훈련절차들을 포함한다.In addition, the pipe disassembly assembly training contents include a plurality of training procedures (12 steps in this embodiment) for pipe disassembly assembly, and the plurality of training procedures include training procedures and tools for a cave type virtual training system using a trainee hand And training procedures for a workbench-type virtual training system that utilizes the same.
상기 워크벤치형 가상 훈련 시스템용 훈련절차는 손으로 밸브를 잠금, 손으로 파이프 교체, 손으로 밸브 개방, 손으로 파이프 밸브 잠금, 손으로 파이프 밸브개방 중 하나 이상의 훈련절차를 포함하며, 상기 케이브형 가상 훈련 시스템용 훈련절차는 드라이버로 파이프 거치대 나사 제거, 톱으로 이음새 절단, 망치로 가격, 드릴로 구멍 뚫음, 드라이버로 나사 삽입, 렌치로 너트 제거, 렌치로 너트 조임 중 하나의 이상의 훈련절차를 포함한다.Wherein the training procedure for the workbench type virtual training system includes at least one training procedure of locking the valve by hand, changing the pipe by hand, opening the valve by hand, opening the pipe valve by hand, opening the pipe by hand, The training procedures for the virtual training system include one or more training procedures, such as removing the pipe holder screw with a screwdriver, cutting with a saw, cutting with a hammer, drilling with a hammer, drilling with a drill, screwing with a screwdriver, removing a nut with a wrench, tightening a nut with a wrench do.
이하 도 2를 참조하여 상술한 파이프 분해조립 훈련 콘텐츠에 따른 파이프 분해조립 가상 훈련 시스템의 동작을 부연 설명하기로 한다.The operation of the pipe disassembling assembly virtual training system according to the pipe disassembly assembly training contents described above with reference to FIG. 2 will be further described below.
도 2는 본 발명의 실시예에 따른 가상 훈련 시스템의 파이프 분해조립 가상 훈련 절차를 예시한 것이다. 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자는 원격 네트워크를 통해 공동으로 파이프 분해조립 훈련을 실시할 수 있다.2 illustrates a pipe disassembly assembly virtual training procedure of a virtual training system in accordance with an embodiment of the present invention. A trainer using the workbench type virtual training system 100 and the cave type virtual training system 200 can jointly perform pipe disassembly assembly training through a remote network.
도 2를 참조하면, 훈련 단계 "0"부터 "12"는 일련의 파이프 분해조립 훈련절차를 순서적으로 나열한 것이다. 이러한 훈련 단계 중 손으로 밸브를 잠금(단계 1), 손으로 파이프 교체(단계 5), 손으로 밸브 개방(단계 8), 손으로 T 파이프 밸브 잠금(단계 9), 손으로 T 파이프 밸브개방(단계 12)는 워크벤치형 가상 훈련 시스템용 훈련절차를 나타낸 것이며, 드라이버로 파이프 거치대 나사 제거(단계 2), 톱으로 이음새 절단(단계 3), 망치로 가격(단계 4), 드릴로 구멍 뚫음(단계 6), 드라이버로 나사 삽입(단계 7), 렌치로 너트 제거(단계 10), 렌치로 너트 조임(단계 11)은 케이브형 가상 훈련 시스템용 훈련절차를 나타낸 것이다.Referring to Fig. 2, training steps "0" to "12 " are a sequence listing of a series of pipe disassembly assembly training procedures. During this training phase, manually open the valve (step 1), replace the hand pipe (step 5), open the valve by hand (step 8), hand T pipe valve lock (step 9) Step 12 shows the training procedure for the workbench type virtual training system and includes the steps of removing the pipe holder screw (step 2) with the screwdriver, cutting the joint with the saw (step 3), pricing with the hammer (step 4) Step 6), screw insertion with a screwdriver (step 7), removal of a nut with a wrench (step 10), and tightening a nut with a wrench (step 11) are training procedures for a cave type virtual training system.
보다 구체적으로, 파이프 분해조립 가상 훈련을 수행하는 공동의 훈련자는 각 시스템에 설치된 훈련 콘텐츠를 실행시켜 시작버튼을 클릭(단계 0)한다.More specifically, a co-trainer performing a pipe disassembly assembly virtual drill runs the training content installed in each system and clicks the start button (step 0).
첫 번째 훈련 단계(단계 1)를 수행하기 위해 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자는 동기화 항목인 밸브 애니메이션을 보고 손으로 밸브를 잠그는 행위를 취한다. 이러한 동작은 동작인식센서에 의해 인식되며, 인식된 훈련자의 손과 팔 동작 센싱 데이터는 원격 연동 네트워크 미들웨어를 통해 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송된다.The trainer using the cave-type virtual training system 200 to perform the first training step (step 1) takes the action of locking the valve by hand in view of the synchronization item valve animation. This operation is recognized by the motion recognition sensor, and the hand and arm motion sensing data of the recognized trainee is transmitted to the workbench type virtual training system 100 and the instructor monitoring system 300 through the remote interlocking network middleware.
밸브 잠금이 완료되면 파이프 거치대의 나사를 제거하기 위한 단계 2가 수행된다. 이러한 경우 워크벤치형 가상 훈련 시스템(100)을 이용하는 훈련자는 공구인 드라이버를 이용하여 파이프 거치대의 나사를 제거하는 행위를 한다. 이때 워크벤치형 가상 훈련 시스템(100)은 비젼 카메라를 통해 마커 표시된 드라이버의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송한다.When the valve lock is completed, step 2 is performed to remove the screw of the pipe holder. In this case, the trainee using the workbench type virtual training system 100 acts to remove the screw of the pipe cradle by using a driver, which is a tool. At this time, the workbench type virtual training system 100 senses the movement of the marker marked by the marker through the vision camera, displays and matches the movement of the tool object on the pipe disassembly assembly training content, and displays the motion sensing data of the tool on the remote interworking network middleware To the cave-type virtual training system (200) and the instructor monitoring system (300).
이에 케이브형 가상 훈련 시스템(200) 훈련자 및 교수자는 각각 원격에 위치하는 공동 참여 훈련자의 훈련 단계 수행행위를 관찰할 수 있으며, 자신이 수행해야 하는 훈련 단계에 대해 훈련을 단계적으로 수행한다.Thus, the cave type virtual training system (200) trainee and the instructor can observe the training phase of the cooperative participant trainee who is located remotely and perform the training step by step for the training phase to be performed by himself / herself.
즉, 워크벤치형 가상 훈련 시스템(100)을 이용하는 훈련자는 지시하는 훈련 단계에 맞춰 드라이버로 파이프 거치대 나사를 제거(단계 2), 톱으로 이음새 절단(단계 3), 망치로 파이프를 2회 가격(단계 4), 거치대 나사 구멍을 생성하기 위해 드릴로 구멍 뚫음(단계 6), 거치대 나사를 삽입하기 위해 드라이버로 나사 삽입(단계 7), T자형 파이프의 너트를 제거하기 위해 렌치로 너트 제거(단계 10), T자형 파이프 너트를 삽입하기 위해 렌치로 너트 조임(단계 11)과 같은 훈련 절차를 수행하며, 이때의 훈련절차 수행행위에 따른 공구의 움직임 센싱 데이터는 각각 케이브형 가상 훈련 시스템(200)과 교수자 모니터링 시스템(300)으로 전송되어 공유된다.That is, the trainee using the workbench-type virtual training system 100 can remove the pipe holder screw (step 2) with a screwdriver in accordance with the instructing training step, cut the joint into a saw (step 3) (Step 6), screw into the screwdriver to insert the mounting screw (step 7), remove the nut with a wrench to remove the nut of the tee (step 4), drill with a drill to create a mounting screw hole 10), and tightening a nut with a wrench (step 11) in order to insert a T-shaped pipe nut. The movement sensing data of the tool according to the training procedure performing action at this time are respectively transmitted to the cave- And the instructor monitoring system 300, respectively.
한편, 케이브형 가상 훈련 시스템(200)을 이용하는 훈련자 역시 지시하는 훈련 단계에 맞춰 손으로 밸브를 잠금(단계 1), 손상된 파이프를 교체하기 위해 손으로 파이프 교체(단계 5), 밸브를 풀기 위해 손으로 밸브 개방(단계 8), T파이프 밸브를 잠그기 위해 손으로 T 파이프 밸브 잠금(단계 9), T파이프 밸브를 개방하기 위해 손으로 T 파이프 밸브개방(단계 12)과 같은 훈련 절차를 수행한다. 각 훈련 절차 수행시 발생되는 훈련자의 손과 팔 동작 센싱 데이터는 앞서 설명한 바와 같이 워크벤치형 가상 훈련 시스템(100)과 교수자 모니터링 시스템(300)으로 전송되어 공유된다.On the other hand, the trainee using the cave-type virtual training system 200 can also lock the valve by hand (step 1), manually replace the pipe (step 5) to replace the damaged pipe (step 5) (Step 8), hand T pipe valve lock (step 9) to lock the T pipe valve, and manual T pipe valve opening (step 12) to open the T pipe valve. The hand and arm motion sensing data generated during the execution of each training procedure are transmitted and shared to the workbench type virtual training system 100 and the instructor monitoring system 300 as described above.
이로써, 교수자는 HMD 기반의 모니터링 시스템(300)을 통해 원격 공동 참여한 훈련자들의 파이프 분해조립 훈련상황을 실시간 모니터링 할 수 있으며, 워크벤치형 가상 훈련 시스템(100)과 케이브형 가상 훈련 시스템(200) 훈련자들은 하나의 가상 훈련 콘텐츠를 공유하면서 상호 작용하여 가상의 파이프 분해조립 훈련을 정상적으로 수행할 수 있게 되는 것이다.Thus, the professor can real-time monitor the pipe disassembly assembly training situation of the remote co-participating trainee through the HMD-based monitoring system 300, and the trainee of the workbench type virtual training system 100 and the cave type virtual training system 200 They can interact with each other by sharing one virtual training content and perform a virtual pipe disassembly assembly training normally.
이상은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.While the invention has been shown and described with reference to certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Accordingly, the true scope of the present invention should be determined only by the appended claims.
Claims (6)
상기 워크벤치형 가상 훈련 시스템은 복수의 비전 카메라를 통해 마커가 장착된 실제 공구의 움직임을 센싱하여 파이프 분해조립 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 상기 공구의 움직임 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 케이브형 가상 훈련 시스템으로 전송하며,
상기 케이브형 가상 훈련 시스템은 동작인식 센서를 통해 스크린 앞 훈련자의 손과 팔 동작을 인식하여 상기 훈련 콘텐츠 상의 공구 객체 움직임과 매칭 표시하며, 인식된 훈련자의 손과 팔 동작 센싱 데이터를 원격 연동 네트워크 미들웨어를 통해 상기 워크벤치형 가상 훈련 시스템으로 전송함을 특징으로 하는 원격 다중 훈련자 참여형 파이프 분해조립 가상 훈련 시스템.
A remote multiple trainer participant pipe disassembly assembly virtual training system in which a workbench type virtual training system and a cave type virtual training system are connected via a remote network,
The work bench type virtual training system senses the movement of an actual tool equipped with a marker through a plurality of vision cameras and displays the motion sensing data corresponding to a tool object movement on a pipe disassembly assembly training content and displays the motion sensing data of the tool in a remote interworking network middleware To the cave-type virtual training system,
The cave-type virtual training system recognizes the hand and arm movement of the trainee in front of the screen through the motion recognition sensor, displays the matching and matching of the tool object motion on the training content, and outputs the hand and arm movement sensing data of the recognized trainee to the remote interlocking network middleware To the workbench-type virtual training system via the network.
The method of claim 1, further comprising the step of obtaining motion sensing data of the tool and hand and arm motion sensing data of the tool in each of the workbench virtual training system and the cave type virtual training system through the remote interworking network middleware, And displaying a training content execution status information by receiving the training data from the remote training trainer.
The system of claim 2, wherein the staff monitoring system is a HMD (Head Mount Display) based monitoring system.
The remote interworking network middleware according to any one of claims 1 to 3, wherein the remote interworking network middleware is a remote interworking network middleware based on a High Level Architecture (RTI) (Run Time Infrastructure) standard, which is an interworking standard of a defense field virtual training system Remote multiple trainer participatory pipe disassembly assembly virtual training system.
The method of any one of claims 1 to 3, wherein the pipe disassembly assembly training content comprises a plurality of training procedures for pipe disassembly assembly, wherein the plurality of training procedures comprise a training procedure for a cave type virtual training system And training procedures for a workbench type virtual training system using tools and tools.
6. The method of claim 5, wherein the training procedure for the workbench type virtual training system includes at least one of training procedures for locking the valve by hand, changing the pipe by hand, opening the valve by hand, opening the pipe valve by hand, opening the pipe by hand And the training procedure for the cave type virtual training system is as follows: a screwdriver with a screwdriver to remove a pipe holder, a saw with a saw to cut, a hammer with a hammer, a drill with a drill, a screw with a screwdriver, a nut with a wrench, Wherein the remote training includes a training procedure.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160003136A KR102113997B1 (en) | 2016-01-11 | 2016-01-11 | Virtual training system for disassemble and assemble a pipe |
| PCT/KR2016/015001 WO2017122944A1 (en) | 2016-01-11 | 2016-12-21 | Remote multi-trainee participation-type pipe assembly/disassembly virtual training system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160003136A KR102113997B1 (en) | 2016-01-11 | 2016-01-11 | Virtual training system for disassemble and assemble a pipe |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170083807A true KR20170083807A (en) | 2017-07-19 |
| KR102113997B1 KR102113997B1 (en) | 2020-05-22 |
Family
ID=59311214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160003136A KR102113997B1 (en) | 2016-01-11 | 2016-01-11 | Virtual training system for disassemble and assemble a pipe |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102113997B1 (en) |
| WO (1) | WO2017122944A1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11749129B2 (en) | 2017-02-01 | 2023-09-05 | Adga Group Consultants Inc. | System and method for virtual reality vehicle training field |
| CN112771472B (en) * | 2018-10-15 | 2022-06-10 | 美的集团股份有限公司 | System and method for providing real-time product interactive assistance |
| CN110267028B (en) * | 2019-06-24 | 2021-04-30 | 中冶智诚(武汉)工程技术有限公司 | Signal synchronous display system for five-surface LED-CAVE |
| CN111564086A (en) * | 2020-05-26 | 2020-08-21 | 江西电力职业技术学院 | Teaching dismouting device of pump |
| KR102594249B1 (en) | 2020-11-18 | 2023-10-26 | 한국전자통신연구원 | Method and apparatus for Virtual training based on tangible interaction |
| CN112908081B (en) * | 2021-01-29 | 2022-10-18 | 武汉烽火技术服务有限公司 | Network teaching practical training system based on virtualization slice and use method thereof |
| DE102021212928B4 (en) * | 2021-11-17 | 2024-05-16 | Volkswagen Aktiengesellschaft | Method, computer program and device for testing an installation or removal of at least one component |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100086128A (en) * | 2009-01-22 | 2010-07-30 | 서경대학교 산학협력단 | Mixed Reality Situation Training System |
| KR20120052783A (en) * | 2010-11-16 | 2012-05-24 | 한국전자통신연구원 | Apparatus for managing a reconfigurable platform for virtual reality based training simulator |
| KR101401656B1 (en) | 2012-12-27 | 2014-06-02 | 전자부품연구원 | Motion recongnition based virtual training system and methods |
| KR20150132681A (en) * | 2014-05-15 | 2015-11-26 | 리치앤타임(주) | Virtual network training processing unit included client system of immersive virtual training system that enables recognition of respective virtual training space and collective and organizational cooperative training in shared virtual workspace of number of trainees through multiple access and immersive virtual training method using thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099698A (en) * | 2001-09-21 | 2003-04-04 | Toshiba Corp | Simulation system |
| KR101207901B1 (en) * | 2010-11-08 | 2012-12-04 | 국방과학연구소 | Real time simulation auto analyzer of battle system of naval vessel and method thereof |
| KR101333147B1 (en) * | 2012-06-19 | 2013-11-26 | 에이알비전 (주) | Support system for group training of indoor using mixed reality |
-
2016
- 2016-01-11 KR KR1020160003136A patent/KR102113997B1/en active IP Right Grant
- 2016-12-21 WO PCT/KR2016/015001 patent/WO2017122944A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100086128A (en) * | 2009-01-22 | 2010-07-30 | 서경대학교 산학협력단 | Mixed Reality Situation Training System |
| KR20120052783A (en) * | 2010-11-16 | 2012-05-24 | 한국전자통신연구원 | Apparatus for managing a reconfigurable platform for virtual reality based training simulator |
| KR101401656B1 (en) | 2012-12-27 | 2014-06-02 | 전자부품연구원 | Motion recongnition based virtual training system and methods |
| KR20150132681A (en) * | 2014-05-15 | 2015-11-26 | 리치앤타임(주) | Virtual network training processing unit included client system of immersive virtual training system that enables recognition of respective virtual training space and collective and organizational cooperative training in shared virtual workspace of number of trainees through multiple access and immersive virtual training method using thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102113997B1 (en) | 2020-05-22 |
| WO2017122944A1 (en) | 2017-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170083807A (en) | Virtual training system for disassemble and assemble a pipe | |
| Jeelani et al. | Development of immersive personalized training environment for construction workers | |
| Dalle Mura et al. | An integrated environment based on augmented reality and sensing device for manual assembly workstations | |
| Obermair et al. | Maintenance with augmented reality remote support in comparison to paper-based instructions: Experiment and analysis | |
| US9538131B2 (en) | Remote behavior navigation system and processing method thereof | |
| CN110379239B (en) | Operation training system | |
| KR20170019577A (en) | Safety training method using a virtual experience | |
| JP6969807B2 (en) | Work support system | |
| KR20180030362A (en) | Maintenance system and its control method using augmented reality | |
| KR20210086207A (en) | Method for providng work guide based augmented reality and evaluating work proficiency according to the work guide | |
| Wolf et al. | Case study on mobile virtual reality construction training | |
| James et al. | Tele-operation of a mobile mining robot using a panoramic display: an exploration of operators sense of presence | |
| KR101917434B1 (en) | Furnace process virtual reality training system | |
| Ikeda et al. | An AR debugging tool for robotics programmers | |
| JP6275011B2 (en) | Work support system and program | |
| WO2016151533A4 (en) | Method of progressive evaluation of capacity to execute a task, and implementational platform | |
| CN107644457A (en) | A kind of monitoring method applied to industry spot | |
| WO2010137165A1 (en) | Technique managing device, and technique managing method | |
| EP3214586A1 (en) | Method for maintenance support and maintenance support system | |
| CN113674569A (en) | Remote relay protection test training system and training method based on VR | |
| RU2606148C1 (en) | Simulator for training combat tracked vehicles crews without own software | |
| JP7200414B1 (en) | Information processing equipment and maintenance support system | |
| JP6320270B2 (en) | Driving training simulator system | |
| Angangan et al. | DEVELOPMENT AND EVALUATION OF ELECTRICAL INSTALLATION, FIRE DETECTION AND ALARM SYSTEM, AND CLOSED-CIRCUIT TELEVISION (CCTV) SYSTEM TRAINER | |
| JP2015005206A (en) | Work procedure display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20160111 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20190108 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20160111 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200312 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200507 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200518 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200519 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240326 Start annual number: 5 End annual number: 5 |