KR20190056935A - 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법 - Google Patents

Abstract

휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법이 개시된다. 일 실시 예에 따른 휴대단말은 작업자의 현재 시점에서 촬영되는 실제영상을 획득하는 영상 획득부와, 획득된 실제영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하면서 작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를, 트래킹된 작업대상을 포함한 실제영상에 정합하여 증강현실 콘텐츠를 생성하는 프로세서와, 생성된 증강현실 콘텐츠를 출력하는 출력부를 포함한다.

Description

휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법 {Mobile terminal providing augmented reality based maintenance guidance, remote managing apparatus and method for remote guidance using the same}

본 발명은 증강현실 기반 영상분석 및 원격제어 기술에 관한 것이다.

장비의 유지관리를 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장비 도입시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 정비 절차를 숙지하고 있을 수가 없고, 언제 어떤 정비 요구가 발생할지 예측하기가 어렵다. 이에 따라, 정비사들은 장비 유지 보수를 위한 매뉴얼을 항상 휴대하여, 유지보수 업무를 수행하여 왔다.

유지 보수를 위한 매뉴얼은 일반적으로 책으로 제작되어 있거나, 2D 이미지로 제작되어 있다. 책으로 제작된 매뉴얼의 문제점은 1개의 부품이라도 고장 날 경우에 해당 페이지를 일일이 찾아야 하고 매뉴얼이 오래되면 색이 변질되거나 손상이 심해지는 문제점이 있다. 항공기 등과 같이 복잡한 형태의 기계 장비의 경우에는 수십만 가지 상의 매뉴얼이 필요하기 때문에, 그 양이 방대하여 휴대가 불가능하다.

이러한 유지 보수 등의 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.

일 실시 예에 따라, 복잡한 구조의 장비일지라도 또는 숙련된 작업자가 아닐지라도 증강현실에 기반하여 제공되는 순차적인 지시에 따라 쉽고 빠르게 작업할 수 있도록 하는 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법을 제안한다.

일 실시 예에 따른 휴대단말은, 작업자의 현재 시점에서 촬영되는 실제영상을 획득하는 영상 획득부와, 획득된 실제영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하면서 작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를, 트래킹된 작업대상을 포함한 실제영상에 정합하여 증강현실 콘텐츠를 생성하는 프로세서와, 생성된 증강현실 콘텐츠를 출력하는 출력부를 포함한다.

프로세서는, 증강현실 기반 영상분석과 기계학습을 이용하여 실제영상에서 객체를 인식하는 객체 인식부와, 인식된 객체의 움직임을 트래킹하는 트래킹부와, 트래킹된 객체를 포함한 실제환경과 가상환경 간의 상호작용을 계산하고 계산결과를 반영하여 실제환경에 가상환경을 결합한 증강현실 콘텐츠를 생성함에 따라 증강현실을 기반으로 작업 가이던스 정보를 제공하는 증강현실 처리부와, 증강현실 처리부를 통해 생성된 증강현실 콘텐츠를 출력부에 제공하는 가시화부를 포함할 수 있다.

휴대단말은, 원격관리장치와 네트워크 연결되어 통신하되, 영상 획득부를 통해 획득된 실제영상을 원격관리장치와 공유하고 휴대단말의 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격관리장치에 전송하며 원격관리장치로부터 기계학습을 통해 인식된 객체정보를 수신하는 통신부를 더 포함하며, 객체 인식부는 증강현실 기반 객체 인식결과에 통신부를 통해 수신된 원격관리장치의 기계학습 기반 객체 인식결과를 반영하여 객체를 인식할 수 있다.

증강현실 처리부는, 실제객체와 가상객체와의 상호작용을 계산하고 계산결과를 반영하여 실제영상에 가상객체를 결합한 후 렌더링하거나 가상객체를 렌더링한 후 실제영상에 결합하여 증강현실 콘텐츠를 생성하되, 실제영상에서 작업 가이던스 정보를 표현할 가상객체 위치를 선정하고 선정된 가상객체 위치에 작업순서에 맞게 작업 가이던스 정보를 배치할 수 있다.

증강현실 처리부는, 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 가공할 수 있는 스크립팅 툴을 통해 미리 제작된 작업 가이던스 정보를 입력받아 이를 증강현실 콘텐츠 생성에 사용할 수 있다.

프로세서는, 원격관리장치에 원격제어를 요청하고 원격관리장치의 원격제어에 따라 원격으로 휴대단말 화면을 공유하는 원격제어 처리부와, 원격관리장치의 제어요청을 처리하는 디바이스 제어부를 더 포함할 수 있다.

출력부는, 작업대상을 식별하기 위한 가상객체를 화면에 표시하는 식별자 표시부와, 작업대상의 상태를 알려주는 가상객체를 화면에 표시하는 상태 표시부와, 순차적인 작업순서를 안내하는 가상객체를 화면에 표시하는 작업순서 표시부와, 작업에 필요한 도구를 알려주는 가상객체를 화면에 표시하는 작업도구 표시부를 포함할 수 있다.

다른 실시 예에 따른 원격관리장치는, 작업 현장에서 작업자에 의해 촬영된 실제영상에 증강현실 기반 작업 가이던스 정보를 결합하여 제공하는 휴대단말을 관리하는 클라이언트 관리부와, 휴대단말로부터 실제영상을 수신하여 공유하고 휴대단말의 증강현실에 기반한 영상분석을 통해 인식된 객체정보를 수신하며 기계학습 기반 객체 인식결과를 휴대단말에 전송하는 네트워크 연결부와, 수신된 실제영상을 대상으로 기계학습 기반 학습 데이터를 이용하여 객체를 인식하는 데이터 처리부를 포함한다.

클라이언트 관리부는 작업 현장 내 장비들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장비에 대한 에러를 처리하기 위한 작업 명령을 생성하며, 네트워크 연결부는 생성된 작업 명령을 휴대단말에 전송할 수 있다.

원격관리장치는, 휴대단말로부터 원격제어 요청을 수신하고 원격으로 휴대단말의 화면을 공유하며 원격 제어명령을 휴대단말에 전송하여 원격 엔지니어링을 수행하는 원격 제어부를 더 포함할 수 있다.

원격관리장치는, 클라우드에 기반하여 동작할 수 있다.

본 발명의 또 다른 실시 예에 따른 휴대단말을 이용한 원격 가이던스 방법은, 휴대단말이 작업자의 현재 시점에서 촬영되는 실제영상을 획득하는 단계와, 획득된 실제영상에서 작업대상을 인식하는 단계와, 인식된 작업대상을 트래킹하는 단계와, 작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를, 트래킹된 작업대상을 포함한 실제영상에 정합하여 증강현실 콘텐츠를 생성하는 단계와, 생성된 증강현실 콘텐츠를 출력하는 단계를 포함한다.

작업대상을 인식하는 단계는, 촬영된 실제영상을 네트워크 연결된 원격관리장치와 공유하는 단계와, 증강현실 기반 영상분석을 통해 실제영상 내 객체를 1차 인식하는 단계와, 원격관리장치와의 협업을 기초로 하여, 증강현실 기반 영상분석을 통한 객체 인식 결과에, 원격관리장치에서의 기계학습을 통한 객체 인식 결과를 반영하여 객체를 2차 인식하는 단계를 포함한다.

객체를 2차 인식하는 단계는, 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격관리장치에 전송하는 단계와, 원격관리장치로부터 기계학습을 통해 인식된 객체정보를 수신하는 단계와, 원격관리장치로부터 수신된 객체정보와 휴대단말을 통해 인식된 객체정보를 비교하여, 상이하면 재차 객체인식을 수행할 것을 원격관리장치에 요청하는 단계와, 기계학습 기반 객체인식 수행결과를 원격관리장치로부터 수신하는 단계와, 수신된 객체인식 수행결과를 반영하여 휴대단말의 객체인식 결과를 수정하는 단계를 포함한다.

일 실시 예에 따르면, 작업자는 작업 현장에서 휴대단말만 소지하고 있으면, 장비에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다. 또한, 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 필요없다.

증강현실에 기반하여 원격 엔지니어링을 제공함에 따라, 더 실감나는 화면을 제공할 수 있어서 작업자가 보다 직관적으로 작업을 수행할 수 있다. 나아가, 증강현실 기반 영상분석과 기계학습을 이용하여 영상 내 객체를 인식함에 따라 객체 인식 정확도를 높일 수 있다.

또한, 증강현실 기반 작업 가이던스 정보를 제작하고자 하는 사용자를 위해 이를 쉽게 제작하기 위한 스크립팅 툴과 템플릿을 제공하여 추가적인 증강현실 매뉴얼 제작비용 없이도 제작 가능하다.

휴대단말을 이용한 원격 가이던스는 공장이나 빌딩과 같은 산업현장뿐만 아니라, 가정집이나 일반 가전기기 등으로 확장될 수 있다. 또한, 스마트 빌딩, 스마트 팩토리, 스마트 홈 등에서 사용하는 다수의 IoT 기기들뿐만 아니라, IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)까지도 확장될 수 있다.

나아가, 다수의 기기들에 대해 에러(error)를 사전에 예측하고 에러 예측 기반 사전 서비스(before service)를 제공하는 경우, 기기의 에러를 사전에 예측하고 이를 기기 사용자에 알리면, 사용자는 사용자가 소지한 휴대단말을 이용하여 원격 가이던스를 제공받아 쉽게 에러를 사전에 해결할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 원격 가이던스 시스템의 구성도,
도 2는 본 발명의 일 실시 예에 따른 원격 가이던스의 개념을 설명하기 위한 원격 가이던스 시스템의 구성도,
도 3은 본 발명의 다른 실시 예에 따른 원격 가이던스의 개념을 설명하기 위한 원격 가이던스 시스템의 구성도,
도 4는 본 발명의 일 실시 예에 따른 휴대단말의 구성도,
도 5는 본 발명의 일 실시 예에 따른 도 4의 프로세서의 세부 구성도,
도 6은 본 발명의 일 실시 예에 따른 도 4의 출력부의 세부 구성도,
도 7은 본 발명의 일 실시 예에 따른 원격관리장치의 구성도,
도 8은 본 발명의 일 실시 예에 따른 원격관리장치와 휴대단말 간의 협업을 통한 객체 인식 프로세스를 도시한 흐름도,
도 9는 본 발명의 일 실시 예에 따른 휴대단말에 작업 가이던스 정보가 표시되는 예를 설명하기 위한 휴대단말 화면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 원격 가이던스 시스템의 구성도이다.

도 1을 참조하면, 원격 가이던스 시스템(1)은 원격관리장치(2)와 휴대단말(3)을 포함한다. 원격 가이던스 시스템(1)은 작업 현장에서 작업이 필요한 장비를 대상으로 작업자가 소지하고 있는 휴대단말(3)을 통해 증강현실 기반으로 작업순서를 안내한다. 따라서, 작업자는 장비에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다. 여기서, 장비는 작업 현장에 설치된 기계, 설비, 장치 등을 포함하며, 하나의 장비를 구성하는 부품, 모듈 등을 포함할 수 있다. 작업은 수리, 정비, 유지 보수, 조정, 조작 등을 포함한다. 예를 들어, 작업은 문제가 발생한 장비에 대한 정비나, 문제가 발생할 가능성이 있는 장비에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.

작업 현장은 공장이나 빌딩과 같은 산업현장이 될 수도 있으며, 가정 집이 될 수도 있다. 산업현장을 예로 들면, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기, 화재 시스템을 대상으로 원격 가이던스를 제공할 수 있다. 원격관리장치(2)를 통해 건물 전체의 상황을 종합적으로 제어 및 감시하면서 기계설비, 조명, 전력, 출입통제, 방재, 주차관리, 시설관리가 가능하며, 모니터링 중에 작업이 필요한 경우 이를 작업자에게 알리며, 작업자는 휴대단말(3)을 통해 원격 가이던스를 제공받아 전문가의 도움 없이도 원활하게 작업을 수행할 수 있다.

다른 실시 예에 따르면, 원격 가이던스 시스템(1)은 가정을 대상으로 운용될 수 있다. 예를 들어, 원격관리장치(1)를 통해 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락, 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격으로 조정 가능하다. 또한 해당 가정기기에 문제가 발생한 경우, 소비자가 휴대단말(3)만 가지고 있으면 문제 해결을 위한 원격 가이던스를 제공받을 수 있으므로 쉽게 기기의 문제를 해결할 수 있다. 이 경우, 소비자는 소비자 센터에 연락하여 전문가를 부르거나 출장 비용을 별도로 부담할 필요도 없으며, 시간 낭비도 방지할 수 있다. 또한, 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 필요 없다.

원격 가이던스 시스템(1)은 스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 다수의 IoT 기기들을 대상으로 원격 가이던스를 제공할 수 있다. IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE, 드론(drone) 등일 수 있다. 다른 실시 예에 따른 원격 가이던스 시스템(1)은 IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 작업 가이던스를 제공할 수도 있다. 예를 들어, 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 레거시 기기를 대상으로도 휴대단말(3)을 이용한 원격 가이던스를 제공할 수 있다.

일 실시 예에 따른 원격 가이던스 시스템(1)은 다수의 기기들에 대해 에러(error)를 사전에 예측하고 에러 예측 기반 사전 서비스(before service)를 제공한다. 사전 서비스는 기기들을 대상으로 발생 가능한 에러를 사전에 예측하고, 에러가 발생하기 이전에, 에러를 관리 및 처리하는 서비스이다. 예를 들어, 원격관리장치(2)를 통해 기기의 에러를 사전에 예측한 경우, 이를 기기 사용자에 알리면, 사용자는 사용자가 소지한 휴대단말(3)을 이용하여 원격 가이던스를 제공받아 쉽게 에러를 사전에 해결할 수 있게 된다.

증강현실 기반 작업 가이던스에 대한 실시 예를 들면, 작업 현장에 위치하는 작업자가 휴대단말(3)의 카메라와 같은 영상 획득부를 통해 작업 현장을 촬영한다. 그러면, 휴대단말(3) 화면의 촬영 영상에, 자동으로 작업순서를 안내하는 가상의 작업 가이던스 정보를 결합하여 보여준다.

휴대단말(3)은 카메라와 같은 영상 획득부와, 화면을 출력할 수 있는 출력부와, 증강현실 기반 영상분석를 위한 증강현실 엔진인 프로세서를 포함한다. 휴대단말(3)은 영상 획득부를 통해 작업 현장 내 실제영상을 획득하며, 획득된 실제영상에 가상의 작업 가이던스 정보를 결합한 증강현실 콘텐츠를 출력부를 통해 표시한다. 화면에 표시되는 가상의 작업 가이던스 정보는 작업대상에 대한 식별자 정보, 위치정보, 상태정보, 작업순서 정보, 작업도구 정보 등을 포함한다. 식별자 정보는 작업대상을 식별하기 위한 가상객체이다. 예를 들어, 작업대상을 점선이나 블록 등과 같은 표시자로 알려준다. 위치정보는 작업대상의 위치를 알려주기 위한 가상객체이다. 예를 들어, 작업이 필요한 장비나 장비 내 부품의 위치를 가상의 손가락 등으로 알려준다. 작업순서 정보는 순차적 작업순서에 따른 안내정보를 알려주기 위한 가상객체이다. 작업도구 정보는 작업에 필요한 도구를 알려주기 위한 가상객체이다. 예를 들어 드라이버, 망치 등과 같이 작업에 필요한 모든 가상도구를 표시한다. 화면에 표시되는 작업 가이던스 정보의 실시 예는 도 2, 도 3 및 도 9를 참조로 하여 후술한다.

일 실시 예에 따른 휴대단말(3)은 실시간으로 촬영되는 실제영상에 증강현실을 적용하기 위해, 객체 인식→객체 트래킹→객체 렌더링의 순차적인 프로세스를 반복하여 실제영상에 가상객체를 연동시킨다. 예를 들어, 휴대단말(3)은 실제영상에서 실제객체를 인식하고, 인식된 실제객체를 트래킹하며, 트래킹되는 실제객체에 대해 증강현실 기반 작업 가이던스 정보에 해당하는 가상객체를 결합하여 렌더링하거나, 가상객체를 렌더링한 후 이를 실제객체에 결합하여 증강현실 콘텐츠를 생성하는 일련의 프로세스를 반복한다. 카메라를 통해 포착된 실제영상은, 고정된 것이 아니라 작업자의 움직임 등으로 인해 계속 움직이므로, 실제영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업이 필요한데, 이를 "객체 트래킹"이라 한다. "객체 렌더링"은 2차원의 영상에 광원·위치·색상 등 외부의 정보를 고려하여 사실감을 불어넣어 3차원 영상을 만드는 과정이다. 와이어 프레임(wire frame), 레이 트레이싱(ray tracing) 렌더링 방법 등이 있다. 렌더링은 휴대단말(3)에서 이루어질 수 있지만, 분산 환경의 경우, 원격관리장치에서 렌더링이 수행되고 수행결과를 휴대단말(3)에 전송하는 방식으로 이루어질 수도 있다.

일 실시 예에 따른 원격 가이던스 시스템(1)은 객체를 인식할 때, 증강현실 기반 영상분석과 기계학습(machine learning)을 함께 사용한다. 실제영상에서 인식해야 하는 장비의 상태는 정상상태, 일부 녹이 슨 상태, 찌그러진 상태 등 다양할 수 있다. 따라서, 증강현실에서 사용되는 엔진만으로는 인식 정확도가 떨어질 수 있다. 따라서, 이를 기계학습으로 보완하여 객체 인식률을 높인다. 기계학습 기반 객체인식은 원격관리장치(2)에 이루어질 수 있고, 증강현실 기반 객체인식은 휴대단말(3)에서 이루어질 수 있다. 또는 구현 예에 따라 원격관리장치(2)나 휴대단말(3) 내에서 모두 이루어질 수도 있다. 분산된 환경에서는, 원격관리장치(2)에서 기계학습을 통해 인식된 장비의 상태를 휴대단말(3)에서 인식한 장비의 상태와 비교하여 정확도를 높이는 협상(Negotiation) 프로세스를 가질 수 있다. 협상 프로세스에 대한 실시 예는 도 8을 참조로 하여 후술한다.

일 실시 예에 따른 원격 가이던스 시스템(1)은 증강현실 기반 작업 가이던스 정보를 제작하고자 하는 사용자를 위해, 이를 쉽게 제작하기 위한 스크립팅 툴(scripting tool)을 제공한다. 이에 따라, 추가적인 증강현실 매뉴얼 제작비용 없이도 제작 가능하다. 스크립팅 툴을 제공할 때 분야별로 적용샘플이 될 수 있는 다수의 템플릿(template)을 제공할 수 있다. 제작자는 소규모 사업자 및 장비 공급자들일 수 있다. 예를 들어, 제작자는 사용자 단말, 예를 들어, 데스크톱을 가지고 스크립팅 툴에 기본으로 제공되는 템플릿을 이용하여 증강현실 기반 작업 가이던스 정보를 쉽게 제작한다. 휴대단말(3)은 이런 방식으로 제작된 증강현실 기반 작업 가이던스 정보를 입력받아 이를 증강현실 콘텐츠 생성에 사용할 수 있다.

휴대단말(3)은 사용자가 소지한 스마트폰, 태블릿 PC 등 휴대 가능한 모든 사용자 단말을 포함한다. 작업자는 스마트 글래스(smart glass)와 같은 기존의 별도의 하드웨어가 필요한 몰입형 디스플레이가 필요없이 휴대단말(3)을 통해 작업 가이던스를 제공받을 수 있다. 물론, 작업자가 몰입형 디스플레이를 착용한 경우 이를 연동하여 작업도 가능하다.

원격관리장치(2)는 작업 현장에 위치한 장비를 모니터링하며 작업이 필요한 장비를 대상으로 원격 엔지니어링(remote engineering)을 수행한다. 이때, 원격관리장치(2)는 소정의 장비에 에러가 발생하면, 에러 해결을 위해 원격 엔지니어링을 수행할 수 있다. 다른 예로, 작업 현장의 각 장비를 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장비에 대한 에러를 처리하기 위해 원격 엔지니어링을 수행할 수 있다. 원격 엔지니어링의 예로는 영상통화, 채팅, 원격화면 공유, 원격제어 등이 있다. 휴대단말(3)을 통해 제공되는 증강현실 기반 작업 가이던스 정보를 통해 작업자가 문제를 해결하지 못하는 경우, 휴대단말(3)은 원격관리장치(2)와 연결하여, 전문가로부터 원격 제어를 지원받을 수 있다. 원격관리장치(2)는 서버 형태일 수 있으며, 확장성을 고려하여 클라우드 플랫폼을 기반으로 설계될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 원격 가이던스의 개념을 설명하기 위한 원격 가이던스 시스템의 구성도이다.

도 2를 참조하면, 원격 가이던스 시스템은 휴대단말(3)의 증강현실 기반 영상분석과 원격관리장치(2)의 기계학습을 이용하여 실제영상 내 작업대상이 되는 객체를 인식한다. 이를 위해, 휴대단말(3)은 촬영된 실제영상을 원격관리장치(2)와 공유한다. 원격관리장치(2)는 사전에 기계학습을 통해 축적된 학습 데이터를 이용하여 실제영상 내 객체를 인식한다. 기계학습 기반 객체 인식결과는 휴대단말(3)에 전송되는데, 인식된 객체 식별자(ID)가 포함될 수 있다. 예를 들어, 원격관리장치(2)는 실제영상에서 기계학습을 통해 인식된 객체 식별자인 ID1: 전력반 커버, ID2: 브레이커, ID3: 파워서플라이를 휴대단말(3)에 전송한다. 휴대단말(3)은 증강현실 기반 영상분석을 통해 실제영상 내에서 객체를 인식하며, 원격관리장치(2)의 기계학습 기반 객체 인식결과를 증강현실 기반 인식결과에 반영하여 객체인식의 정확도를 높인다.

휴대단말(3)은 인식된 객체를 포함한 실제영상에 작업 가이던스 정보를 결합하여 증강현실 콘텐츠를 화면에 표시한다. 예를 들어, 도 2에 도시된 바와 같이, 전력반 내 파워서플라이의 전력공급에 문제가 발생하면, 휴대단말 화면에는 "전력반의 파워서플라이의 파워가 역치값을 넘었으므로 파워를 줄여야 한다" 라는 경고 메시지와 같은 상태정보(102)가 표시된다. 그리고 문제가 발생한 전력반 커버를 대상으로 블록 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 전력반 커버가 작업대상임을 인식시킨다. 식별정보(100)는 작업순서에 따라 그 대상이 변경될 수 있다.

또한, 화면에는 작업순서(104)가 함께 표시한다. 예를 들어, "1. 전력반 커버를 연다. 2. 브레이커를 내린다. 3. 파워서플라이를 교체한다. 4. 브레이커를 올린다."와 같이 작업 매뉴얼에 따라 미리 설정된 작업순서가 화면에 표시된다. "1. 전력반 커버를 연다."에서는 실제영상 내 전력반 커버의 손잡이가 점선 등으로 식별 가능하게 표시될 수 있다. "2. 브레이커를 내린다."에서는 실제영상 내 브레이커가 점선 등으로 식별 가능하게 표시될 수 있다. " 3. 파워서플라이를 교체한다."에서는 실제영상 내 파워서플라이가 점선 등으로 식별 가능하게 표시될 수 있다.

전술한 작업 가이던스 정보는 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 편집 가능한 스크립팅 툴(106)을 통해 미리 제작될 수 있다. 작업자가 증강현실 기반 작업 가이던스 정보를 이용하여 문제를 해결하지 못하는 경우, 휴대단말(3)은 원격관리장치(2)와 네트워크 연결되어 전문가로부터 원격관리(108)를 통해 원격 엔지니어링을 지원받을 수 있다. 원격 엔지니어링은 영상통화, 채팅, 원격화면 공유, 원격제어 등을 포함한다.

도 3은 본 발명의 다른 실시 예에 따른 원격 가이던스의 개념을 설명하기 위한 원격 가이던스 시스템의 구성도이다.

도 3을 참조하면, 작업 대상이 엔진(engine)인 경우, 원격관리장치(2)는 기계학습 기반 객체 인식결과를 휴대단말(3)에 전송한다. 예를 들어, 원격관리장치(2)는 실제영상에서 기계학습을 통해 인식된 객체 식별자인 ID1: 라디에이터 팬, ID2: 타이밍 벨트, ID3: 점화 플러그를 휴대단말(3)에 전송한다. 휴대단말(3)은 증강현실 기반 영상분석을 통해 실제영상 내에서 객체를 인식하며, 원격관리장치(2)의 기계학습 기반 객체 인식결과를 증강현실 기반 인식결과에 반영하여 객체인식의 정확도를 높인다.

휴대단말(3)은 인식된 객체를 포함한 실제영상에 작업 가이던스 정보를 결합하여 증강현실 콘텐츠를 화면에 표시한다. 예를 들어, 도 3에 도시된 바와 같이, 엔진에 문제가 발생하면, 엔진을 대상으로 점선의 네모 형태 등의 식별자와 같은 식별정보(100)를 화면에 표시하여 작업자에게 엔진이 작업대상임을 인식시킨다. 식별정보(100)는 작업순서에 따라 그 대상이 변경될 수 있다.

화면에는 작업순서(104)가 함께 표시한다. 예를 들어, "1. 본넷을 연다. 2. 타이밍 벨트 장력을 확인한다. 3. 라디에이터 팬 회전을 확인한다. 4. 점화 플러그를 확인한다."와 같이 작업 매뉴얼에 따라 미리 설정된 작업순서가 화면에 표시된다. 작업자가 본넷을 연 후에는, 실제영상 내 타이밍 벨트가 점선 등으로 식별 가능하게 표시될 수 있다. 작업자가 타이밍 벨트의 장력을 확인한 후에는, 실제영상 내 라디에이터가 점선 등으로 식별 가능하게 표시될 수 있다. 작업자가 라디에이터 팬 회전을 확인한 후에는, 실제영상 내 점화 플러그가 점선 등으로 식별 가능하게 표시될 수 있다.

전술한 작업 가이던스 정보는 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 편집 가능한 스크립팅 툴(106)을 통해 미리 제작될 수 있다. 예를 들어, 데스크톱과 같은 사용자 단말(4)을 통해 사용자가 스크립팅 툴(106)을 이용하여 작업 매뉴얼에 따라 작업 가이던스 정보를 제작할 수 있다. 스크립팅 툴(106)은 사용자가 증강현실 기반 작업 가이던스 정보를 쉽게 제작하기 위한 도구로서, 추가적인 증강현실 매뉴얼 제작비용 없이도 제작이 가능하도록 한다. 스크립팅 툴(106)을 제공할 때 분야별로 적용샘플이 될 수 있는 다수의 템플릿을 제공할 수 있다. 사용자는 소규모 사업자 및 장비 공급자들일 수 있다. 예를 들어, 사용자는 사용자 단말(4)을 가지고 스크립팅 툴에 기본으로 제공되는 템플릿을 이용하여 증강현실 기반 작업 가이던스 정보를 쉽게 제작한다. 휴대단말(3)은 이런 방식으로 제작된 증강현실 기반 작업 가이던스 정보를 입력받아 이를 증강현실 콘텐츠 생성에 사용할 수 있다. 템플릿에는 가상 제어 영역을 도식화한 템플릿 도면(40)이 제어 화면에 표시될 수 있다. 템플릿 도면에는 가상도구를 나타내는 그래픽 오브젝트가 배치될 수 있다.

작업자가 증강현실 기반 작업 가이던스 정보를 이용하여 문제를 해결하지 못하는 경우, 원격관리장치(2)와 네트워크 연결되어 전문가로부터 원격관리(108)를 통해 원격 엔지니어링을 지원받을 수 있다. 원격 엔지니어링은 영상통화, 채팅, 원격화면 공유, 원격제어 등을 포함한다.

도 4는 본 발명의 일 실시 예에 따른 휴대단말의 구성도이다.

도 4를 참조하면, 휴대단말(3)은 영상 획득부(30), 입력부(31), 프로세서(32), 출력부(33), 통신부(34) 및 메모리(35)를 포함한다.

영상 획득부(30)는 작업자의 현재 시점에서 촬영된 실제영상을 실시간으로 획득하여 이를 프로세서(32)에 전달한다. 영상 획득부(30)는 예를 들어, 카메라, 영상센서 등일 수 있다. 이때 추가적으로 사용자의 동작이나 휴대단말(3)의 움직임을 감지하는 센서 등이 추가로 구비될 수 있다.

입력부(31)는 사용자의 키(key) 입력에 의해 입력되는 신호를 수신하여 이를 프로세서(32)에 전달한다. 키는 예를 들어, 실제영상을 촬영하기 위한 촬영버튼, 작업 가이던스 정보를 제어하기 위한 메뉴 키, 휴대단말(3)의 전원구동을 위한 전원버튼 등이 있다.

출력부(33)는 프로세서(32)를 통해 처리된 정보를 출력한다. 일 실시 예에 따른 출력부(33)는 프로세서(32)를 통해 생성된 증강현실 콘텐츠를 출력한다. 출력의 예로는 화면에 영상을 표시할 수 있고, 스피커를 통해 음성을 출력할 수도 있다.

통신부(34)는 원격관리장치와 네트워크 연결되어, 유무선통신을 수행한다. 통신부(34)는 원격관리장치와 상호 작용하여 네트워크의 항상성 유지를 담당한다. 휴대단말(3)은 통신부(34)를 통해 원격관리장치와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다. 일 실시 예에 따른 통신부(34)는 원격관리장치로부터 작업명령을 수신함에 따라 작업 가이던스를 시작한다. 예를 들어, 원격관리장치가 작업 현장 내 장비들을 모니터링하고 있다가 에러가 발생하거나 에러가 발생할 가능성이 있는 장비를 검출하면 해당 장비에 대한 작업 요청명령을 휴대단말에 전송하여 작업자에게 알린다.

일 실시 예에 따른 통신부(34)는 영상 획득부(30)를 통해 획득된 실제영상을 원격관리장치에 전송하여 공유한다. 그리고 휴대단말의 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격관리장치에 전송하며, 원격관리장치로부터 기계학습을 통해 인식된 객체정보를 수신할 수 있다.

메모리(35)는 데이터를 저장한다. 데이터는 작업 현장의 장비들의 고유정보, 위치정보, 장비들의 도면, 작업 가이던스 정보, 장비 내 부품정보, 작업 스케줄 정보 등일 수 있다. 이러한 정보는 원격관리장치로부터 다운로드 받아 저장될 수도 있고, 입력부(31)를 통해 사용자로부터 입력받을 수도 있다. 메모리(35)는 하드디스크(Hard Disk), 플래시 메모리(Flash Memory)와 같은 내장형 메모리뿐만 아니라, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multi-Media Card), 또는 메모리 스틱(Memory Stick) 등과 같은 이동시 메모리로서 휴대단말의 내부에 구현될 수 있고, 별도의 장치에 구비되어 있을 수도 있다.

프로세서(32)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 프로세서(32)는 영상 획득부(30)를 통해 획득된 실제영상을 대상으로 객체 인식, 트래킹 및 렌더링을 반복적으로 수행한다. 예를 들어, 실제영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하면서 작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를 실제영상에 정합한 후 렌더링하거나, 가상의 작업 가이던스 정보를 렌더링한 후 실제영상에 정합하여 증강현실 콘텐츠를 생성한다. 일 실시 예에 따른 프로세서(32)는 원격관리장치의 원격제어를 위한 명령을 처리한다. 예를 들어, 휴대단말 화면을 원격관리장치에 공유한다.

일 실시 예에 따른 프로세서(32)는 객체 인식을 위해 증강현실 기반 영상분석과 학습 데이터 기반 기계학습을 이용한다. 영상분석은 획득된 실제영상 내에서 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.

기계학습은 인공지능(Artificial Intelligence)에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 프로세서(32)는 이러한 기계학습을 이용한 객체 인식을 증강현실 기반 영상분석의 보조수단으로 활용함에 따라 객체인식의 정확성을 높이고자 한다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.

휴대단말(3)이 원격관리장치와 연결되는 경우, 휴대단말(3)은 원격관리장치로부터 수신된 제어명령을 수행하는 에이전트(Agent)가 된다. 휴대단말(3)은 원격 가이던스를 위해 애플리케이션을 실행할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다.

도 5는 본 발명의 일 실시 예에 따른 도 4의 프로세서의 세부 구성도이다.

도 4 및 도 5를 참조하면, 프로세서(32)는 영상 처리부(320), 원격제어 처리부(324) 및 디바이스 제어부(326)를 포함한다. 영상 처리부(320)는 객체 인식부(3200), 트래킹부(3202), 증강현실 처리부(3204) 및 가시화부(3206)를 포함한다.

객체 인식부(3200)는 실제영상에 대한 증강현실 기반 영상분석과 학습 데이터를 이용한 기계학습을 이용하여 실제영상에서 객체를 인식한다. 일 실시 예에 따른 객체 인식부(3200)는 증강현실 기반 객체 인식결과에 통신부(34)를 통해 수신된 원격관리장치의 기계학습 기반 객체 인식결과를 반영하여 객체를 인식한다.

트래킹부(3202)는 객체 인식부(3200)에서 인식된 객체의 움직임을 트래킹한다. 카메라를 통해 포착된 실제영상은 고정된 것이 아니라 작업자의 움직임 등으로 인해 계속 움직이므로, 트래킹부(3202)는 실제영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업을 수행한다.

증강현실 처리부(3204)는 실제환경과 가상환경 간의 상호작용을 계산하고 계산결과를 반영하여 증강현실 콘텐츠를 생성한다. 증강현실 콘텐츠는 실제환경에 가상환경이 결합한 것이다. 이에 따라 증강현실을 기반으로 작업 가이던스 정보를 제공할 수 있다. 일 실시 예에 따른 증강현실 처리부(3204)는 실제객체와 가상객체와의 상호작용을 계산하고 계산결과를 반영하여 실제영상에 가상객체를 결합한 후 렌더링하거나, 가상객체를 렌더링한 후 이를 실제영상에 결합하여 증강현실 콘텐츠를 생성한다. 이때, 실제영상에서 작업 가이던스 정보를 표현할 가상객체 위치를 선정하고 선정된 가상객체 위치에 작업순서에 맞게 작업 가이던스 정보를 배치할 수 있다. 일 실시 예에 따른 증강현실 처리부(3204)는 미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 가공할 수 있는 스크립팅 툴을 통해 미리 제작된 작업 가이던스 정보를 입력받아 이를 증강현실 콘텐츠 생성에 사용한다. 가시화부(3206)는 증강현실 처리부(3204)를 통해 생성된 증강현실 콘텐츠를 출력부(33)에 제공한다.

원격제어 처리부(324)는 원격관리장치에 원격제어를 요청하고 원격관리장치의 제어에 따라 원격으로 화면을 공유한다. 디바이스 제어부(326)는 원격관리장치의 제어요청을 처리한다.

도 6은 본 발명의 일 실시 예에 따른 도 4의 출력부의 세부 구성도이다.

도 6을 참조하면, 출력부(33)는 식별자 표시부(330), 상태 표시부(332), 작업순서 표시부(334) 및 작업도구 표시부(336)를 포함한다.

식별자 표시부(330)는 작업대상을 식별하기 위한 가상객체를 화면에 표시한다. 예를 들어, 화살표, 선, 블록 등의 식별자를 화면에 표시한다. 이때, 작업대상은 작업순서에 맞게 변경될 수 있다. 실시간으로 촬영되는 실제화면은 계속 움직이므로 식별자 역시 움직이는 작업대상에 맞게 이동한다. 식별자 표시부(330)는 작업대상의 위치를 알려줄 수도 있다. 예를 들어, 손 모양 등으로 작업이 필요한 부품을 가리킨다.

상태 표시부(332)는 작업대상의 제어 상태, 고장 상태, 동작 상태, 시간정보, 장비 내 작업이 필요한 제어 파라미터 등 장비에 관한 각종 상태정보를 표시한다. 이때, 작업대상의 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 장비가 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 장비가 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다. 상태 표시부(332)는 작업이 필요한 장비를 대상으로 자동으로 상태정보를 표시할 수 있지만, 작업자의 요청에 따라 상태정보를 표시할 수도 있다. 예를 들어, 작업자가 화면 내에서 소정의 장비를 선택하면, 선택된 장비에 대한 각종 상태정보를 화면에 표시할 수 있다.

작업순서 표시부(334)는 순차적인 작업순서를 알려주기 위한 가상객체를 화면에 표시한다. 이때, 작업순서에 맞게 작업이 필요한 장비 또는 장비 내 부품을 식별자 표시부(330)를 통해 함께 작업자에 알려줄 수 있다. 작업도구 표시부(336)는 작업에 필요한 도구를 알려주기 위한 가상객체를 화면에 표시한다. 작업도구는 예를 들어, 망치, 드라이버, 손 등이 있다.

도 7은 본 발명의 일 실시 예에 따른 원격관리장치의 구성도이다.

도 7을 참조하면, 원격관리장치(2)는 인증 관리부(Verification Management Module: VMM)(20), 모니터링부(Monitoring Screen Module: MSM)(21), 네트워크 연결부(Network Handling Module: NHM)(22), 원격 제어부(Remote Access & Control Module: RCM)(23), 데이터 처리부(Data Processing Module: DPM)(24), 클라이언트 관리부(Device & App Monitoring Module: DMM)(25), 프로토콜 처리부(Messaging Protocol Stack: MPS)(26) 및 데이터 분석부(Bigdata Statistics Engine: BSE)(27)를 포함한다. 원격관리장치(2)는 확장성을 고려하여 클라우드 플랫폼 기반으로 설계될 수 있다.

인증 관리부(20)는 요청받은 작업자의 사용자 정보의 유효성을 검증하며 필요에 따라 원격관리장치(2)로 수신되는 요구사항의 주체가 누구인지를 인증한다. 모니터링부(21)는 원격에 있는 작업자의 휴대단말 화면을 모니터링한다. 이때, 기술자 및 관리자의 단말을 통해 모니터링하거나 조작을 돕는 기능을 제공한다.

네트워크 연결부(22)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 네트워크 연결부(22)는 작업자의 휴대단말과 정보를 송수신한다. 예를 들어, 네트워크 연결부(22)는 휴대단말로부터 실제영상을 수신하여 공유하고, 휴대단말의 증강현실에 기반한 영상분석을 통해 인식된 객체정보를 수신하며, 기계학습 기반 객체 인식결과를 휴대단말에 전송한다. 원격 제어부(23)는 휴대단말로부터 원격제어 요청을 수신하면 휴대단말의 화면을 공유하며, 원격 제어명령을 휴대단말에 전송한다. 이때, 필요한 프로세스 조정 기능을 제공한다.

데이터 처리부(24)는 네트워크 연결부(22)를 통해 휴대단말로부터 수신된 실제영상을 대상으로 학습 데이터에 기반하여 기계학습을 통해 객체를 인식한다. 클라이언트 관리부(25)는 클라이언트의 상태를 확인하고 클라이언트가 정상적으로 작동하는지 작동하지 않으면 어떤 문제가 있는지 파악 후 처리한다. 클라이언트는 작업자가 소지한 휴대단말, 휴대단말에서 실행되는 애플리케이션, 작업 현장 내 각종 장비일 수 있다. 휴대단말은 작업자에 의해 촬영된 실제영상에 증강현실 기반 작업 가이던스 정보를 결합하여 제공한다. 일 실시 예에 따른 클라이언트 관리부(25)는 작업 현장 내 장비들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장비에 대한 에러를 처리하기 위한 작업 명령을 생성한다. 생성된 작업 명령은 네트워크 연결부(22)를 통해 작업자의 휴대단말에 전송된다.

프로토콜 처리부(26)는 클라이언트의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다. 데이터 분석부(27)는 다수의 클라이언트에 대한 이상징후를 파악하여 안정된 서비스를 할 수 있도록 클라이언트로부터 수신된 데이터를 분석한다. 이때, 분석된 데이터를 미리 설정된 역치값과 비교하여 이상징후를 파악할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 원격관리장치와 휴대단말 간의 협업을 통한 객체 인식 프로세스를 도시한 흐름도이다.

도 8을 참조하면, 휴대단말(3)은 촬영된 실제영상을 원격관리장치(2)와 공유(700)한 후, 증강현실 기반 영상분석을 통해 실제영상 내 객체를 1차 인식한다(710). 그리고 원격관리장치(2)와의 협업을 기초로 하여, 증강현실 기반 영상분석을 통한 객체 인식 결과에, 원격관리장치에서의 기계학습을 통한 객체 인식 결과를 반영하여 객체를 2차 인식한다.

원격관리장치(2)와 휴대단말(3)의 협업은, 원격관리장치(2)에서 기계학습을 통해 인식된 장비의 상태와, 휴대단말(3)에서 인식한 장비의 상태와 비교하여 정확도를 높이는 프로세스이다. 이하, 도 8을 참조로 하여 원격관리장치(2)와 휴대단말(3) 간 협상 프로세스를 설명한다.

우선, 휴대단말(3)이 카메라(70)를 통해 실제영상을 촬영하면, 촬영된 실제영상을 원격관리장치(2)와 공유한다(700). 이때, 휴대단말(3)은 영상 처리부에서 증강현실 기반 영상분석을 통해 실제영상 내 객체를 인식한다(710). 원격관리장치(2)는 데이터 처리부에서 기계학습을 통해 학습된 학습 데이터를 이용하여 실제영상 내 객체를 인식한다(720). 휴대단말(3)은 객체 인식(710)과 함께 인식된 객체를 계속해서 트래킹한다(740). 이어서, 가상의 작업 가이던스 정보를 렌더링(750)하여 트래킹된 객체를 포함한 실제환경에 결합하거나, 트래킹된 객체를 포함한 실제환경에 가상의 작업 가이던스 정보를 결합한 후 이를 렌더링(750)하여 증강 콘텐츠를 생성하여 이를 화면에 출력한다. 객체 인식, 트래킹 및 렌더링 작업은 반복 수행될 수 있다.

이하, 원격관리장치(2)와의 협업을 통한 객체 인식 프로세스에 대해 설명하면, 휴대단말(3)은 인식된 객체정보를 원격관리장치(2)에 전송한다(730). 예를 들어, 인식된 객체 식별자인 ID: 002를 전송하면서, 객체 인식이 맞는지를 문의한다. 휴대단말(3)로부터 인식된 객체정보를 수신한 원격관리장치(2)는 기계학습을 통해 인식한 객체정보를 휴대단말(3)에 전송한다(732). 예를 들어, 기계학습을 통해 인식된 객체 식별자인 ID: 001을 휴대단말(3)에 전송한다. 객체 식별자 ID: 001를 수신한 휴대단말(3)은 자신이 인식된 객체 식별자와 상이하므로 다시 한 번 객체인식을 수행할 것(Retry)을 원격관리장치(2)에 요청한다(734). 그러면, 원격관리장치(2)는 다시 한 번 기계학습 기반 객체인식을 수행하며, 수행결과에 따라 인식한 객체 식별자인 ID: 001을 휴대단말(3)에 다시 전송한다(736). 객체 식별자 ID: 001을 수신한 휴대단말(3)은 인식 객체 식별자를 ID: 001로 수정하고 원격관리장치(2)에 OK 응답 메시지를 전송한다(738).

도 9는 본 발명의 일 실시 예에 따른 휴대단말에 작업 가이던스 정보가 표시되는 예를 설명하기 위한 휴대단말 화면이다.

도 9를 참조하면, 휴대단말 화면에는 작업대상을 식별하기 위한 식별자(900)가 표시된다. 이때, 작업대상 내 작업이 필요한 부품을 식별하기 위한 식별자(910)를 더 표시할 수 있다. 이때, 휴대단말 화면에는 작업대상의 상태를 알려주는 상태정보와, 순차적인 작업순서(904)와, 작업에 필요한 작업도구(906) 등이 함께 표시될 수 있다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1: 원격 가이던스 시스템 2: 원격관리장치
3: 휴대단말 20: 인증 관리부
21: 모니터링부 22: 네트워크 연결부
23: 원격 제어부 24: 데이터 처리부
25: 클라이언트 관리부 26: 프로토콜 처리부
27: 데이터 분석부 30: 영상 획득부
31: 입력부 32: 프로세서
33: 출력부 34: 통신부
35: 메모리 320: 영상 처리부
324: 원격제어 처리부 326: 디바이스 제어부
330: 식별자 표시부 332: 상태 표시부
334: 작업순서 표시부 336: 작업도구 표시부
3200: 객체 인식부 3202: 트래킹부
3204: 증강현실 처리부 3206: 가시화부

Claims (14)

1. 작업자의 현재 시점에서 촬영되는 실제영상을 획득하는 영상 획득부;
   획득된 실제영상에서 작업대상을 인식하고 인식된 작업대상을 트래킹하면서 작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를, 트래킹된 작업대상을 포함한 실제영상에 정합하여 증강현실 콘텐츠를 생성하는 프로세서; 및
   생성된 증강현실 콘텐츠를 출력하는 출력부;
   를 포함하는 것을 특징으로 하는 휴대단말.
2. 제 1 항에 있어서, 프로세서는
   증강현실 기반 영상분석과 기계학습을 이용하여 실제영상에서 객체를 인식하는 객체 인식부;
   인식된 객체의 움직임을 트래킹하는 트래킹부;
   트래킹된 객체를 포함한 실제환경과 가상환경 간의 상호작용을 계산하고 계산결과를 반영하여 실제환경에 가상환경을 결합한 증강현실 콘텐츠를 생성함에 따라 증강현실을 기반으로 작업 가이던스 정보를 제공하는 증강현실 처리부; 및
   증강현실 처리부를 통해 생성된 증강현실 콘텐츠를 출력부에 제공하는 가시화부;
   를 포함하는 것을 특징으로 하는 휴대단말.
3. 제 2 항에 있어서, 휴대단말은
   원격관리장치와 네트워크 연결되어 통신하되, 영상 획득부를 통해 획득된 실제영상을 원격관리장치와 공유하고 휴대단말의 증강현실 기반 영상분석을 통해 인식된 객체정보를 원격관리장치에 전송하며 원격관리장치로부터 기계학습을 통해 인식된 객체정보를 수신하는 통신부; 를 더 포함하며,
   객체 인식부는 증강현실 기반 객체 인식결과에 상기 통신부를 통해 수신된 원격관리장치의 기계학습 기반 객체 인식결과를 반영하여 객체를 인식하는 것을 특징으로 하는 휴대단말.
4. 제 2 항에 있어서, 증강현실 처리부는
   실제객체와 가상객체와의 상호작용을 계산하고 계산결과를 반영하여 실제영상에 가상객체를 결합한 후 렌더링하거나 가상객체를 렌더링한 후 실제영상에 결합하여 증강현실 콘텐츠를 생성하되, 실제영상에서 작업 가이던스 정보를 표현할 가상객체 위치를 선정하고 선정된 가상객체 위치에 작업순서에 맞게 작업 가이던스 정보를 배치하는 것을 특징으로 하는 휴대단말.
5. 제 2 항에 있어서, 증강현실 처리부는
   미리 정의된 템플릿에 기초하여 작업 매뉴얼에 따라 동적으로 가공할 수 있는 스크립팅 툴을 통해 미리 제작된 작업 가이던스 정보를 입력받아 이를 증강현실 콘텐츠 생성에 사용하는 것을 특징으로 하는 휴대단말.
6. 제 2 항에 있어서, 프로세서는
   원격관리장치에 원격제어를 요청하고 원격관리장치의 원격제어에 따라 원격으로 휴대단말 화면을 공유하는 원격제어 처리부; 및
   원격관리장치의 제어요청을 처리하는 디바이스 제어부;
   를 더 포함하는 것을 특징으로 하는 휴대단말.
7. 제 1 항에 있어서, 출력부는
   작업대상을 식별하기 위한 가상객체를 화면에 표시하는 식별자 표시부;
   작업대상의 상태를 알려주는 가상객체를 화면에 표시하는 상태 표시부;
   순차적인 작업순서를 안내하는 가상객체를 화면에 표시하는 작업순서 표시부; 및
   작업에 필요한 도구를 알려주는 가상객체를 화면에 표시하는 작업도구 표시부;
   를 포함하는 것을 특징으로 하는 휴대단말.
8. 작업 현장에서 작업자에 의해 촬영된 실제영상에 증강현실 기반 작업 가이던스 정보를 결합하여 제공하는 휴대단말을 관리하는 클라이언트 관리부;
   휴대단말로부터 실제영상을 수신하여 공유하고 휴대단말의 증강현실에 기반한 영상분석을 통해 인식된 객체정보를 수신하며 기계학습 기반 객체 인식결과를 휴대단말에 전송하는 네트워크 연결부; 및
   수신된 실제영상을 대상으로 기계학습 기반 학습 데이터를 이용하여 객체를 인식하는 데이터 처리부;
   를 포함하는 것을 특징으로 하는 원격관리장치.
9. 제 8 항에 있어서,
   상기 클라이언트 관리부는 작업 현장 내 장비들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장비에 대한 에러를 처리하기 위한 작업 명령을 생성하며,
   상기 네트워크 연결부는 생성된 작업 명령을 휴대단말에 전송하는 것을 특징으로 하는 원격관리장치.
10. 제 8 항에 있어서, 원격관리장치는
    휴대단말로부터 원격제어 요청을 수신하고 원격으로 휴대단말의 화면을 공유하며 원격 제어명령을 휴대단말에 전송하여 원격 엔지니어링을 수행하는 원격 제어부;
    를 더 포함하는 것을 특징으로 하는 원격 가이던스 시스템.
11. 제 8 항에 있어서, 상기 원격관리장치는
    클라우드에 기반하여 동작하는 것을 특징으로 하는 원격관리장치.
12. 휴대단말을 이용한 원격 가이던스 방법에 있어서, 휴대단말이:
    작업자의 현재 시점에서 촬영되는 실제영상을 획득하는 단계;
    획득된 실제영상에서 작업대상을 인식하는 단계;
    인식된 작업대상을 트래킹하는 단계;
    작업대상에 대한 작업을 돕기 위한 가상의 작업 가이던스 정보를, 트래킹된 작업대상을 포함한 실제영상에 정합하여 증강현실 콘텐츠를 생성하는 단계; 및
    생성된 증강현실 콘텐츠를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 원격 가이던스 방법.
13. 제 12 항에 있어서, 상기 작업대상을 인식하는 단계는
    촬영된 실제영상을, 네트워크 연결된 원격관리장치와 공유하는 단계;
    증강현실 기반 영상분석을 통해 실제영상 내 객체를 1차 인식하는 단계;
    원격관리장치와의 협업을 기초로 하여, 증강현실 기반 영상분석을 통한 객체 인식 결과에, 원격관리장치에서의 기계학습을 통한 객체 인식 결과를 반영하여 객체를 2차 인식하는 단계;
    를 포함하는 것을 특징으로 하는 원격 가이던스 방법.
14. 제 13 항에 있어서, 상기 객체를 2차 인식하는 단계는
    증강현실 기반 영상분석을 통해 인식된 객체정보를 원격관리장치에 전송하는 단계;
    원격관리장치로부터 기계학습을 통해 인식된 객체정보를 수신하는 단계;
    원격관리장치로부터 수신된 객체정보와 휴대단말을 통해 인식된 객체정보를 비교하여, 상이하면 재차 객체인식을 수행할 것을 원격관리장치에 요청하는 단계;
    기계학습 기반 객체인식 수행결과를 원격관리장치로부터 수신하는 단계;
    수신된 객체인식 수행결과를 반영하여 휴대단말의 객체인식 결과를 수정하는 단계;
    를 포함하는 것을 특징으로 하는 원격 가이던스 방법.

Images