KR20110136035A

KR20110136035A - Reality Adaptive Augmented Reality Device

Info

Publication number: KR20110136035A
Application number: KR1020100055793A
Authority: KR
Inventors: 김재형; 홍종철; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2011-12-21

Abstract

본 발명은 실제현실 적응형 증강현실 장치에 관한 것으로, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부를 구비한다.The present invention relates to an augmented reality adaptive augmented reality device, and when the object to display the virtual reality data from the reality data is recognized, a real reality check unit for checking the hue / saturation value (1) around the recognized object; And a virtual reality checking unit for checking texture data to be mapped / rendered to polygon data of virtual reality data to be displayed on the object, and checking a color / saturation value (2) of the texture data, and the color / saturation value (1). Virtual reality correction unit for correcting the contrast of the hue / saturation value (2) to increase with reference to) and the texture data including the corrected hue / saturation value (2) to the polygon data to virtualize And a virtual reality component that constitutes the reality data.

Description

Adaptive Augmented Reality Device to Real World

본 발명은 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 증강현실 장치를 제공하는 것이다.
The present invention provides an augmented reality device configured to output a contrast of the color / saturation of the virtual reality data to be displayed on the object based on the color / saturation around the object on the reality data.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
The reality displayed through the display device is divided into real reality, which photographs the real world through a camera, and virtual reality, which does not exist in the real world but represents a virtual world created by a computer. Fiction) Chroma-Key Reality is a combination of virtual reality filmed in front of a blue screen according to a predetermined scene scenario like a movie, and Chroma-key reality belongs to virtual reality by classification.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
Recently, with the continuous development of information and communication technology, Augmented Reality, which displays virtual reality data in real time on objects in real reality, has been proposed. Augmented reality is distinguished from chromakey reality in that there is no pre-determined scene scenario like a science fiction movie, and the real reality is not photographed in front of a blue screen.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
The method of determining an object to display the virtual reality data on the real reality in the augmented reality, a marker method for displaying the virtual reality data on the marker after displaying a marker (Marker) in the real reality to recognize the marker Augmented reality and markerless augmented reality exist for displaying virtual reality data by directly recognizing objects on the reality without displaying a marker on the reality. Currently, there are several demonstration services for marker augmented reality using each marker. However, there is no standardization of marker composition, and markerless augmented reality uses the reality of shooting a predetermined object in a studio. Except for this, the instability of object recognition has not been demonstrated.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
In addition, as a method of displaying virtual reality data in the augmented reality in the augmented reality, the object is recognized in a marker / markerless method from a real reality captured by the camera and stored in the storage medium and the virtual reality data on the recognized object And a method of recognizing an object in a marker / markerless manner and displaying virtual reality data on the recognized object from a real reality photographed in real time through a camera. It uses transparent objects (e.g. glasses, goggles, windows, etc.) that the human eye looks beyond the real reality without photographing the reality as a transparent display, and through the sensor technology, the human eye sees objects beyond the transparent display. There is a theoretical method for recognizing and displaying virtual reality data on the transparent display. .

한편 상기 실제현실 데이터에 표시하는 가상현실 데이터의 색상/채도가 항상 일정한 경우, 상기 실제현실 데이터의 색상/채도가 상기 가상현실 데이터의 색상/채도와 유사하면 상기 실제현실 데이터 상에 상기 가상현실 데이터가 명확하게 표시되지 않을 수 있다.
Meanwhile, when the color / saturation of the virtual reality data displayed on the reality data is always constant, when the color / saturation of the virtual reality data is similar to the color / saturation of the virtual reality data, the virtual reality data is displayed on the virtual reality data. May not be clearly displayed.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하고, 상기 객체에 표시할 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)을 확인한 후, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하여 가상현실 데이터를 구성하는 증강현실 장치를 제공하는 것이다.
An object of the present invention for solving the above problems, when the object to display the virtual reality data from the real data is recognized, the color / saturation value (1) around the recognized object is confirmed and displayed on the object After checking the hue / saturation value (2) of the texture data constituting the virtual reality data to be corrected, the virtual reality data is corrected to increase the contrast of the hue / saturation value (2) based on the hue / saturation value (1). It is to provide an augmented reality device to configure.

본 발명에 따른 실제현실 적응형 증강현실 장치는, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부를 구비한다.
In accordance with an embodiment of the present invention, the apparatus for augmented reality of augmented reality may include: a reality checking unit for checking a color / saturation value (1) around the recognized object when an object to display virtual reality data is recognized from the reality data; A virtual reality checking unit for checking texture data to be mapped / rendered to polygon data of virtual reality data to be displayed on the object, and checking a color / saturation value (2) of the texture data, and the color / saturation value (1) Virtual reality correction unit for correcting to increase the contrast of the hue / saturation value (2) on the basis of the reference, and mapping / rendering the texture data including the corrected hue / saturation value (2) to the polygon data And a virtual reality configuration unit for constructing data.

본 발명에 따르면, 상기 실제현실 적응형 증강현실 장치의 실제현실 확인부는, 상기 실제현실 데이터의 색상/채도 값을 추출하여 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는 상기 실제현실 데이터 상의 광원 위치를 추적하여 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는 상기 실제현실 데이터가 촬영된 시간과 장소를 확인하여 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
According to the present invention, the real reality confirmation unit of the real reality adaptive augmented reality device, to check the color / saturation value (1) around the object by extracting the color / saturation value of the real reality data, or the real reality By tracking the position of the light source on the data to check the color / saturation value (1) around the object based on the position and the amount of light of the light source, or the color around the object by checking the time and place where the actual reality data was taken You can check the saturation value (1).

본 발명에 따르면, 상기 실제현실 적응형 증강현실 장치의 가상현실 구성부는, 상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링할 수 있다.
According to the present invention, the virtual reality component of the AR adaptive augmented reality device, the color / saturation value (1) around the object is darker than a predetermined reference color / saturation value, or the amount of light on the real data When the actual amount of light is smaller than the preset reference light or when the actual reality is photographed outdoors at night, the light amount for rendering the virtual reality data may be set to be larger than the reference light amount for rendering.

본 발명에 따르면, 가상현실 데이터가 표시될 실제현실 데이터가 입력되는 시간과 장소 또는 광원의 위치와 광량에 상관 없이 상기 가상현실 데이터가 상기 실제현실 데이터와 명확하게 구별되도록 출력하는 이점이 있다.
According to the present invention, the virtual reality data may be output so that the virtual reality data is clearly distinguished from the real data regardless of the time and place where the virtual reality data is to be displayed or the position and amount of light of the light source.

도 1은 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
도 6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.1 is a diagram illustrating a configuration of a reality adaptable augmented reality device according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of an augmented reality adaptive augmented reality system according to an embodiment of the present invention.
3 is an exemplary diagram for correcting virtual reality data according to an exemplary embodiment of the present invention.
4 is an exemplary diagram for correcting virtual reality data according to another exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating a process of correcting color / saturation of virtual reality data according to color / saturation around an object according to one embodiment of the present invention.
FIG. 6 is a diagram illustrating a process of correcting color / saturation of virtual reality data according to color / saturation around an object according to another exemplary embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, with reference to the accompanying drawings and description will be described in detail the operating principle of the preferred embodiment of the present invention. However, the drawings and the following description shown below are for the preferred method among various methods for effectively explaining the features of the present invention, the present invention is not limited only to the drawings and description below. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or custom. Therefore, the definition should be made based on the contents throughout the present invention.

아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 말미에 "(숫자)"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
In addition, in the embodiments shown below, in order to more clearly explain the technical features of the present invention will be described by attaching an identification code of the form of "(number)" at the end of each term, the identification code is to describe each term It is to be clarified that the identification code is for identification purposes only and is not intended to distinguish or limit each term to perform a different function or role.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention pertains. It is only.

도면1은 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 장치(100) 구성을 도시한 도면이다.
1 is a view showing the configuration of the reality-adaptive augmented reality device 100 according to an embodiment of the present invention.

보다 상세하게 본 도면1은 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 증강현실 장치(100) 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 1 illustrates a configuration of an augmented reality apparatus 100 configured to output a color / saturation contrast of virtual reality data to be displayed on the object based on the surrounding color / saturation of the object on the real data. As those skilled in the art to which the present invention pertains, various implementation methods (e.g., some components may be omitted) may be omitted by referring to and / or modifying the present invention. It is possible to infer a subdivided or combined implementation method), but the present invention includes all the implementation methods inferred above, and the technical features are not limited to the implementation method shown in FIG.

본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체(또는 실제현실 데이터 상의 가상현실 데이터 표시 위치)를 결정하는 기능 및 상기 실제현실 데이터 상의 객체(또는 위치)에 상기 획득된 가상현실 데이터를 표시하여 출력하는 기능을 적어도 하나 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다.
The augmented reality device 100 of the present invention has a function of acquiring real data, a function of acquiring virtual reality data, an object (or virtual reality data display position on the real data) to display virtual reality data from the real data. A generic term for a device having at least one function of determining a function and displaying and outputting the obtained virtual reality data on an object (or a location) on the real data, the method of acquiring the reality data, the virtual reality data It is not limited to the method of obtaining the method, the method of determining the object, and the method of displaying virtual reality data on the object.

예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성될 수 있다. 상기 실제현실 데이터 상에 상기 가상현실 데이터를 표시할 객체(또는 위치)는 마커/마커리스 방식 중 어느 하나를 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도를 판독하여 결정될 수 있다. 상기 결정된 실제현실 데이터 상의 객체(또는 위치)에 상기 가상현실 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하거나, 실제현실 계층(Layer)와 하나 이상의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 상기 가상현실 계층에 각각의 가상현실 데이터를 상기 결정된 객체(또는 위치)와 매칭하여 출력할 수 있으며, 상기 실제현실 데이터가 투명 디스플레이인 경우 상기 투명 디스플레이에는 상기 결정된 객체(또는 위치)와 매칭하여 가상현실 데이터만 출력할 수 있다.
For example, the reality data may be obtained in real time through a camera, from a memory in the augmented reality device 100, or may be received through a communication network. The virtual reality data is obtained from a memory in the augmented reality device 100, or is received through a communication network, or the texture (Texture) data to the combineable polygon (Polygon) data stored in the memory or received through the communication network It can be generated in real time by mapping / rendering. The object (or location) to display the virtual reality data on the reality data may be determined through any one of marker / markerless methods, or by reading the color / saturation of the reality data. The method of displaying the virtual reality data on the determined object (or location) on the real data may generate one output data combining the real data and the virtual reality data, or may include one or more virtual reality layers and one or more virtual images. After configuring the output data having the reality layer and outputting the reality data to the reality layer of the output data and at the same time each virtual reality data to the virtual reality layer to match the determined object (or location) to output When the real data is a transparent display, only the virtual data may be output on the transparent display by matching the determined object (or location).

또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.
In addition, the augmented reality device 100 is not limited by the field of use of the device and the appearance (or structure) and the communication network to be connected.

예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
For example, the augmented reality device 100 is in the form of a stand-alone device with each component unit integrated in one case, the form of an interlocking device provided separately from each component connected to two or more devices, installed in a specific object / building / space It may be implemented in the form and the like.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135) 및 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(130)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(120)를 더 구비하고, 가상현실 데이터가 표시될 실제현실 데이터 상의 객체(또는 위치)를 결정하는 방식에 따라 센서부(125)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.
Referring to FIG. 1, the augmented reality device 100 includes a control unit 105, a memory unit 135, and an output unit 110. The augmented reality device 100 includes a camera unit 130 according to a method of acquiring real data. Further, the communication unit 120 is further provided according to a method of acquiring virtual reality data, and the sensor unit 125 is further provided according to a method of determining an object (or a position) on the reality data on which the virtual reality data is to be displayed. And an operation unit 115 for user operation.

상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
The control unit 105 physically includes a processor, an execution memory, and a bus, and functionally records a function of processing a program included in the augmented reality device 100 to be loaded into the execution memory and operated by the processor. To perform. 1 will be described with reference to the program component provided in the augmented reality device 100 in the controller 105 for convenience.

상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
The memory unit 135 includes a nonvolatile memory and functionally stores a program medium to be loaded into the control unit 105 and a storage medium for storing and maintaining a data set used by the program code. Here, the program code includes a system program code for operating / controlling the basic operations of the augmented reality device 100, and an application program code for providing various application services provided in the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
According to an embodiment of the present invention, the memory unit 135 may store the reality data, and in this case, the memory unit 135 may perform a function of the reality acquisition means for acquiring the reality data. have.

본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the memory unit 135 may store the virtual reality data, and in this case, the memory unit 135 may perform a function of a virtual reality acquiring means for acquiring the virtual reality data. have.

상기 출력부(110)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
The output unit 110 may include an output device for displaying virtual reality data on an object on the real data, and may include any one of a general output device such as an LCD and a transparent output device such as glasses, goggles, and glass windows. .

상기 카메라부(130)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(130)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
The camera unit 130 includes a device for real-time acquisition of raster-based real reality data in a bitmap manner from a camera composed of an optical unit and a charge coupled device (CCD). In this case, the reality data may include image data or video data. That is, the camera unit 130 may perform a function of real reality acquiring means for acquiring real reality data in real time from the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 상기 센서부(125)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(125)의 기능을 수행할 수 있다.
According to an exemplary embodiment of the present invention, the camera unit 130 interlocks with the sensor unit 125 to selectively acquire only specific data necessary for sensor input, or to acquire sensing data in the form of an image (or video). The function of the unit 125 may be performed.

예를들어, 상기 카메라부(130)와 센서부(125)가 연동하는 경우, 상기 카메라부(130)는 상기 센서부(125)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(130)와 센서부(125)의 시선 방향이 일치되도록 설정된다.
For example, when the camera unit 130 and the sensor unit 125 are interlocked, the camera unit 130 may selectively acquire only actual reality data of an area sensed by the sensor unit 125. To this end, the camera line 130 and the sensor unit 125 are set to coincide with each other.

또는, 상기 카메라부(130)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(125)의 기능을 수행할 수 있다.
Alternatively, the camera unit 130 may perform the function of the sensor unit 125 that acquires real data and at the same time reads the real data and senses image (or video) data of a specified sensing target. .

상기 통신부(120)는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
The communication unit 120 includes a communication module connected to the communication network based on any one of communication standards and protocols according to a wired (or wireless) communication network to which the augmented reality device 100 is connected, and a server on the communication network ( Or a communication channel) and a communication channel with another augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to an embodiment of the present invention, the communication unit 120 performs a function of a reality acquisition means for receiving reality data from a server (or device) on a communication network, or a virtual stored in a server (or device) on the communication network. The virtual reality acquiring means for receiving the reality data may be performed.

상기 센서부(125)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(125)는 상기 카메라부(130)와 통합될 수 있다.
The sensor unit 125 includes a sensor module that obtains a sensing signal in the form of an analog signal or a digital signal from at least one sensor provided in the augmented reality device 100 and converts it into sensing data capable of data processing. Here, the sensor is an electrical signal sensor for generating an electrical signal (for example, resistance, current, voltage) in accordance with environmental changes, and while obtaining the real data, such as the camera and at the same time the specific input required for the sensor input from the real data It may include a camera sensor to selectively acquire only data. If the sensor includes a camera sensor, the sensor unit 125 may be integrated with the camera unit 130.

상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(110)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(130) 또는 센서부(125)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
The manipulation unit 115 includes an input module for receiving the user manipulation when the augmented reality device 100 requires user manipulation. The operation unit 115 includes a key input module including a key button to receive information required for user operation and a touch screen module to receive information required for user operation through interworking with the output unit 110. The electronic device may further include a user recognition module configured to recognize any one of a user's hand motion, a body motion, and an eye movement in cooperation with the camera unit 130 or the sensor unit 125 to receive information necessary for user operation.

도면1을 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(140)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(145)와, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부(150)를 구비한다.
Referring to FIG. 1, the augmented reality device 100 includes a real reality input unit 140 for inputting real data through at least one real reality acquisition means, and an object to output virtual reality data from the real data. The object recognition unit 145 to recognize, and the reality check unit 150 to check the hue / saturation value (1) around the recognized object.

상기 실제현실 입력부(140)는 상기 카메라부(130)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(135)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부(120)를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 출력부(110)를 통해 출력되거나 또는 상기 증강현실 출력부(180)로 전달된다.
The real reality input unit 140 inputs real reality data in real time through the camera unit 130, or inputs real reality data stored in the memory unit 135, or real reality through the communication unit 120. Receiving data, the input reality data is output through the output unit 110 or is transmitted to the augmented reality output unit 180.

상기 실제현실 데이터가 입력되면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체(또는 위치)를 인식한다.
When the reality data is input, the object recognizing unit 145 reads the reality data to recognize one or more objects (or locations) to output the virtual reality data.

본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
According to the exemplary embodiment of the present invention, the object recognition unit 145 reads the actual reality data to extract a hue / saturation value, reads the extracted hue / saturation value, and detects a predefined marker. The location where the marker is detected may be recognized as an object (or location) to output virtual reality data. Here, the marker may include any one of a predefined symbol, sign, or pattern.

본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터에 포함된 객체를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체를 인식할 수 있다.
According to another exemplary embodiment of the present invention, the memory unit 135 may store object recognition information for recognizing an object included in the reality data, and in this case, the object recognition unit 145 may store the reality data. Read the extracted color / saturation value, read the extracted color / saturation value to detect the boundary line of the area divided by the hue / saturation, and connect and combine the detected boundary line to recognize the geometric structure Or after recognizing the color / saturation distribution pattern in the boundary line, comparing the recognized geometry and distribution pattern with the geometry and distribution pattern of the objects predefined in the object recognition information to determine the object included in the real data. I can recognize it.

여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 객체가 무엇인지 판별할 수 있도록 미리 정의된 객체들의 기하학 구조와 분포 패턴을 포함한다.
Here, the hue / saturation value may be extracted through a determinant for converting RGB (Red, Green, Blue) palette values into hue / saturation, and the object recognition information may be obtained by reading hue / saturation of the real data. When the geometric structure information on the saturation and the distribution pattern information of the hue / saturation are obtained, the geometric structure and distribution pattern of the predefined objects may be determined to determine what objects correspond to the obtained geometric structure and distribution pattern. Include.

본 발명의 또다른 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다.
According to another exemplary embodiment of the present invention, the object recognition unit 145 transmits the reality data to a server (or device) that recognizes the marker, or a server (or device) having the object recognition information. ) To be recognized as an object (or location) to output the virtual reality data on the real data.

한편, 상기 실제현실 데이터가 카메라부(130)를 통해 실시간 입력되는 경우, 상기 객체 인식부(145)는 상기 센서부(125)와 카메라부(130)의 시선 방향을 일치시킨 후, 상기 카메라부(130)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(125)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다.
On the other hand, when the real data is input in real time through the camera unit 130, the object recognition unit 145 matches the eye direction of the sensor unit 125 and the camera unit 130, the camera unit An object (or location) that outputs virtual reality data to a coordinate value where a specific sensing signal is detected by matching a coordinate system of the actual reality data input through the sensor 130 with a coordinate system of the sensing signal sensed by the sensor unit 125. Can be recognized.

또는, 상기 실제현실 데이터가 상기 메모리부(135)에 저장되거나 또는 통신부(120)를 통해 수신되고 상기 실제현실 데이터에 상기 객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 객체 인식부(145)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체(또는 위치)를 인식할 수 있다.
Alternatively, the object recognition when the reality data is stored in the memory unit 135 or received through the communication unit 120 and the meta data for determining the object position is included (or linked) in the reality data. The unit 145 may recognize an object (or location) to output the virtual reality data by referring to the metadata included in (or linked to) the real data.

상기 객체 인식부(145)를 통해 상기 실제현실 데이터 상의 객체가 인식되면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터에 대한 상기 객체 주변의 색상/채도 값(1)을 확인한다.
When the object on the reality data is recognized through the object recognition unit 145, the reality checking unit 150 checks the color / saturation value 1 around the object with respect to the reality data.

본 발명의 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 <수학식>과 같은 색상/채도 산출 행렬식을 통해 상기 실제현실 데이터에 대한 색상/채도 값을 추출한 후, 상기 객체 인식부(145)를 통해 인식된 객체 주변의 픽셀에 대한 색상/채도 값(1)을 확인할 수 있다.
According to an exemplary embodiment of the present invention, the reality checking unit 150 extracts a color / saturation value for the reality data through a color / saturation calculation matrix such as <Equation>, and then recognizes the object recognition unit ( The color / saturation value 1 of the pixels around the recognized object may be checked through 145.

<수학식>&Lt; Equation &

여기서, x, y는 실제현실 데이터 상의 픽셀 좌표 값이고, 상기 Y’(1, y)는 픽셀 좌표 (1, y)에 대한 색상 값이고, U(1, y), V(1, y)는 픽셀 좌표 (1, y)에 대한 채도 값이다. 상기와 같이 실제현실 데이터의 색상/채도 값을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 가장 직관적으로 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 상기 실제현실 데이터가 동영상인 경우에 각 프레임 별로 상기 <수학식>을 계산해야 한다.
Here, x and y are pixel coordinate values on the real data, Y '(1, y) is the color value for the pixel coordinate (1, y), U (1, y), V (1, y) Is the saturation value for the pixel coordinate (1, y). As described above, the method of checking the hue / saturation value (1) around the object based on the hue / saturation value of the real reality data is most intuitively able to check the hue / saturation value (1) around the object. When the real data is a moving picture, the <mathematical formula> should be calculated for each frame.

본 발명의 다른 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터 상의 광원 위치를 추적하고, 상기 광원 위치와 광량을 기반으로 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 상기와 같이 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 상기 객체가 검출된 시점에 <수학식>을 한번 계산한 후 상기 객체가 상기 광원의 영향 범위에 존재하는 동안 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 상기 실제현실 데이터의 색상/채도 값을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식보다 객체 주변의 색상/채도 값(1)이 부정확해질 수 있다.
According to another exemplary embodiment of the present invention, the reality checking unit 150 tracks the position of the light source on the reality data, and checks the color / saturation value 1 around the object based on the position of the light source and the amount of light. Can be. As described above, the method of confirming the hue / saturation value (1) around the object based on the position of the light source and the amount of light includes calculating the Equation once at the time when the object is detected, and then the object influences the light source. While the color / saturation value (1) around the object can be checked while being in a range, the object is compared to the method of checking the color / saturation value (1) around the object based on the color / saturation value of the reality data. The ambient hue / saturation value 1 may be inaccurate.

예를들어, 상기 실제현실 확인부(150)는 상기 <수학식>을 통해 추출된 실제현실 데이터의 색상/채도 값을 판독하여 특정 색상/채도에 대한 그라데이션(Gradation) 효과가 발생하는 필셀 영역을 확인하고, 상기 그라데이션 방향을 기반으로 상기 실제현실 데이터 상의 광원 위치를 추적할 수 있다. 상기 광원의 위치가 추적되면, 상기 그라데이션의 가장 밝은 부분의 명암을 기반으로 상기 광원의 광량을 산출하고, 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
For example, the real reality checker 150 reads the color / saturation value of the real data extracted through Equation < Desc / Clms Page number 5 > to determine a fill cell region in which a gradation effect is generated for a specific color / saturation. The position of the light source on the reality data may be tracked based on the gradient direction. When the position of the light source is tracked, the light quantity of the light source is calculated based on the contrast of the brightest part of the gradation, and the color / saturation value (1) around the object can be confirmed based on the position and the light quantity of the light source. have.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터가 촬영된 시간과 장소를 확인한 후, 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 상기와 같이 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 상기 실제현실 데이터로부터 색상/채도 값을 추출하지 않고도 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 정확성이 다소 떨어질 수 있다.
According to another exemplary embodiment of the present invention, the reality checking unit 150 confirms the time and place where the reality data was captured, and then, based on the time and place, the color / saturation value around the object ( 1) can be confirmed. As described above, the method of checking the color / saturation value (1) around the object based on time and place is performed by extracting the color / saturation value (1) around the object without extracting the color / saturation value from the real data. You can check, but the accuracy may be less.

예를들어, 상기 실제현실 데이터가 상기 카메라를 통해 실시간 입력되는 경우, 상기 실제현실 확인부(150)는 상기 실제현실 데이터가 입력되는 시점의 시간이 야간인지 주간인지, 상기 실제현실 데이터가 입력되는 장소가 실내인지 실외인지 확인하고, 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 만약 상기 실제현실 데이터가 상기 메모리부(135)에 저장되어 있거나, 또는 통신부(120)를 통해 수신되는 경우라도 메타 정보 형태로 상기 실제현실 데이터가 촬영된 시점의 시간과 장소가 포함되어 있다면, 상기 실제현실 확인부(150)는 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
For example, when the real data is input in real time through the camera, the real reality checker 150 is a night time or a day of the time when the real data is input, the real data is input It is possible to check whether the place is indoor or outdoor, and check the color / saturation value 1 around the object based on the time and place. If the reality data is stored in the memory unit 135 or received through the communication unit 120, if the time and place of the time when the reality data was captured in the form of meta information is included, The reality checking unit 150 may check the color / saturation value 1 around the object based on the time and place.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(155)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가상현실 데이터를 입력하는 가상현실 입력부(160)와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부(165)와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부(170)와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부(175)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(110)를 통해 출력하는 증강현실 출력부(180)를 구비한다.
Referring to FIG. 1, the augmented reality device 100 inputs the determined virtual reality data through a virtual reality determiner 155 that determines virtual reality data to be displayed on the object, and one or more virtual reality acquisition means. The virtual reality input unit 160 to check the texture data to be mapped / rendered to the polygon data of the virtual reality data to be displayed on the object, and to check the color / saturation value (2) of the texture data ( 165), a virtual reality correction unit 170 that corrects the contrast of the hue / saturation value 2 based on the hue / saturation value 1, and the corrected hue / saturation value 2. The virtual reality configuration unit 175 configured to map and render texture data including the polygon data to the polygon data, and display the virtual reality data on an object on the real data to display the image through the output unit 110. It is provided with an augmented reality output unit 180 for outputting.

상기 가상현실 결정부(155)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가상현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(155)는 상기 고정된 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
The virtual reality determiner 155 determines virtual reality data to be displayed on the object detected from the real data. If the virtual reality data to be displayed on the object on the reality data is fixed to any one of the virtual reality data, the virtual reality determination unit 155 to the object recognized through the fixed object recognition unit 145 You can decide which virtual data to display.

본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(155)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(155)는 상기 객체 인식부(145)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.
According to an exemplary embodiment of the present invention, when the object is recognized through a marker, the virtual reality determiner 155 reads the marker shape / shape / color / structure to determine virtual reality data to be displayed on the object. Can be. If the marker includes information encoded for determining the virtual reality data, the virtual reality determiner 155 recognizes and reads the encoded information included in the marker recognized by the object recognizer 145. The virtual reality data to be displayed on the object may be determined.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(155)는 상기 객체 인식부(145)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
According to another exemplary embodiment of the present invention, the virtual reality determiner 155 reads the shape / shape / color / structure of the object recognized by the object recognizer 145 to display the virtual reality data to be displayed on the object. Can be determined. Alternatively, when the virtual reality data includes a separate display for determining the virtual reality data, the virtual reality data to be displayed on the object recognized by the object recognition unit 145 may be read by reading the display.

한편, 상기 실제현실 데이터가 메모리부(135)에 저장되어 있거나 또는 통신부(120)를 통해 수신되고 상기 실제현실 데이터에 상기 객체 인식부(145)를 통해 인식된 객체(또는 위치)에 표시할 가상현실 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상현실 결정부(155)는 상기 메타 데이터를 참조하여 상기 객체(또는 위치)에 표시할 가상현실 데이터를 결정할 수 있다.
Meanwhile, the virtual reality data is stored in the memory unit 135 or received through the communication unit 120, and the virtual reality data to be displayed on the object (or location) recognized by the object recognition unit 145. When meta data for determining reality data is included (or linked), the virtual reality determiner 155 may determine the virtual reality data to be displayed on the object (or location) with reference to the metadata.

상기 가상현실 입력부(160)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(155)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
The virtual reality input unit 160 stores the virtual reality data stored in the memory, received through a communication network, or generated in real time through the virtual reality determiner 155 of the virtual reality data object of the real reality data Enter the virtual reality data to be displayed in.

본 발명의 일 실시 방법에 따르면, 상기 메모리부(135)에 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 저장된 경우, 상기 가상현실 입력부(160)는 상기 메모리부(135)로부터 폴리곤 데이터와 텍스쳐 데이터를 추출한다.
According to the exemplary embodiment of the present invention, when the polygon data and the texture data corresponding to the determined virtual reality data are stored in the memory unit 135, the virtual reality input unit 160 generates polygon data from the memory unit 135. Extract texture data.

상기 폴리곤 데이터와 텍스쳐 데이터가 추출되면, 상기 가상현실 확인부(165)는 상기 추출된 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정부(170)는 상기 객체 주변의 색상/채도 값(1)을 기준으로 상기 텍스쳐 데이터의 색상/채도 값(2)의 대비가 증가하도록 색상/채도를 보정하고, 가상현실 구성부(175)는 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한다.
When the polygon data and the texture data are extracted, the virtual reality checking unit 165 checks the color / saturation value 2 of the extracted texture data, and the virtual reality correcting unit 170 checks the vicinity of the object. Based on the hue / saturation value (1), the hue / saturation is corrected to increase the contrast of the hue / saturation value (2) of the texture data, and the virtual reality component 175 adjusts the corrected hue / saturation value (2). The virtual data is configured by mapping / rendering texture data including) to the polygon data.

상기 가상현실 구성부는 상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링할 수 있다.
The virtual reality component may be configured such that the color / saturation value 1 around the object is darker than a preset reference color / saturation value, or the amount of light on the reality data is smaller than a preset reference light amount, or the reality is at night. When the camera is photographed outdoors, the light amount for rendering the virtual reality data may be set to be larger than the reference light amount for rendering.

여기서, 상기 가상현실 보정부(170)가 상기 식생/채도의 대비를 증가시키는 방식은, 상기 색상/채도 값(1)의 명암을 고정한 상태에서 상기 색상/채도 값(1)과 명암 대비가 증가하도록 색상/채도 값(2)의 명암을 보정하거나, 또는 상기 색상/채도 값(1)의 색상을 고정한 상태에서 상기 색상/채도 값(2)의 색상을 색상/채도 값(1)과 보색관계의 색상으로 쉬프트(Shift) 시켜 보정할 수 있다.
Here, the method of increasing the contrast of the vegetation / saturation by the virtual reality correction unit 170, the contrast of the hue / saturation value (1) and the contrast increases in a fixed state of the hue / saturation value (1) To correct the contrast of the hue / saturation value (2), or to fix the color of the hue / saturation value (1) to the color / saturation value (1) and complementary color It can be corrected by shifting to the color of.

본 발명의 다른 일 실시 방법에 따르면, 상기 통신망을 통해 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 수신되는 경우, 상기 가상현실 입력부(160)는 상기 폴리곤 데이터와 텍스쳐 데이터를 요청하는 가상현실 요청 정보를 구성하여 통신망 상의 증강현실 운영 서버(200)로 전송하고, 기 증강현실 운영 서버(200)로부터 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 수신한다.
According to another exemplary embodiment of the present invention, when polygon data and texture data corresponding to the determined virtual reality data are received through the communication network, the virtual reality input unit 160 requests the polygon data and the texture data. Configure the reality request information and transmit it to the augmented reality operating server 200 on the communication network, and receives the polygon data and texture data corresponding to the virtual reality request information from the augmented reality operating server 200.

여기서, 상기 가상현실 요청 정보는 상기 결정된 가상현실 데이터에 대응하는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
Here, the virtual reality request information may include a tag information, an object information, and object recognition information corresponding to the determined virtual reality data, or may include a tag, a keyword, and a string to describe the virtual reality data. It may include an address for requesting the actual data and a data identification code.

상기 폴리곤 데이터와 텍스쳐 데이터가 수신되면, 상기 가상현실 확인부(165)는 상기 추출된 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정부(170)는 상기 객체 주변의 색상/채도 값(1)을 기준으로 상기 텍스쳐 데이터의 색상/채도 값(2)의 대비가 증가하도록 색상/채도를 보정하고, 가상현실 구성부(175)는 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한다.
When the polygon data and the texture data are received, the virtual reality checking unit 165 checks the color / saturation value 2 of the extracted texture data, and the virtual reality correcting unit 170 checks the vicinity of the object. Based on the hue / saturation value (1), the hue / saturation is corrected to increase the contrast of the hue / saturation value (2) of the texture data, and the virtual reality component 175 adjusts the corrected hue / saturation value (2). The virtual data is configured by mapping / rendering texture data including) to the polygon data.

본 발명의 또다른 일 실시 방법에 따르면, 상기 통신망을 통해 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터에 텍스쳐 데이터가 매핑/렌더링된 가상현실 데이터가 수신되는 경우, 상기 가상현실 입력부(160)는 상기 폴리곤 데이터에 텍스쳐 데이터가 매핑/렌더링된 가상현실 데이터를 요청하는 가상현실 요청 정보를 구성하여 통신망 상의 증강현실 운영 서버(200)로 전송하고, 상기 증강현실 운영 서버(200)로부터 가상현실 요청 정보에 대응하는 가상현실 데이터를 수신한다.
According to another exemplary embodiment of the present invention, when the virtual reality data to which texture data is mapped / rendered to the polygon data corresponding to the determined virtual reality data is received through the communication network, the virtual reality input unit 160 may be configured to perform the above-mentioned operation. Configure virtual reality request information for requesting virtual reality data to which texture data is mapped / rendered on polygon data, and transmit the same to the augmented reality operating server 200 on a communication network, and transmit the virtual reality request information from the augmented reality operating server 200 to the virtual reality request information. Receive corresponding virtual reality data.

여기서, 상기 가상현실 요청 정보는 상기 결정된 가상현실 데이터에 대응하는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 상기 태그, 키워드, 문자열을 포함하거나 또는 상기 주소, 데이터식별코드를 포함할 수 있으며, 상기 실제현실 확인부(150)에 의해 확인된 상기 객체 주변의 색상/채도 값(1)을 더 포함한다.
The virtual reality request information may include marker information, object information, and object recognition information corresponding to the determined virtual reality data, or may include the tag, a keyword, a string, or may include the address and a data identification code. The apparatus further includes a hue / saturation value (1) around the object identified by the reality checking unit 150.

또는, 상기 가상현실 요청 정보는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터를 더 포함할 수 있다.
Alternatively, the virtual reality request information may further include reality data input through the reality input unit 140.

상기 색상/채도 값(1) 또는 실제현실 데이터를 포함하는 가상현실 요청 정보에 통해 상기 증강현실 운영 서버(200)로부터 수신되는 가상현실 데이터는 상기 증강현실 운영 서버(200)에서 상기 텍스쳐 데이터의 색상/채도 값(2)은 상기 객체 주변의 색상/채도 값(1)을 기준으로 대비가 증가하도록 보정된 색상/채도를 포함하여 폴리곤 데이터에 매핑/렌더링된 가상현실 데이터를 포함한다.
The virtual reality data received from the augmented reality operating server 200 through the virtual reality request information including the color / saturation value (1) or the reality data is the color of the texture data in the augmented reality operating server 200. The / saturation value 2 includes virtual reality data mapped / rendered to the polygon data, including the color / saturation corrected to increase the contrast based on the color / saturation value 1 around the object.

상기 텍스쳐 데이터의 색상/채도 값(2)은 상기 객체 주변의 색상/채도 값(1)을 기준으로 대비가 증가하도록 보정된 색상/채도를 포함하는 가상현실 데이터가 구성되면, 상기 증강현실 출력부(180)는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체(또는 위치)에 상기 가상현실 입력부(160)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(110)를 통해 출력한다.
The hue / saturation value 2 of the texture data is the augmented reality output unit when the virtual reality data including the hue / saturation corrected to increase is increased based on the hue / saturation value 1 around the object. In operation 180, the virtual reality data input through the virtual reality input unit 160 is displayed on an object (or a location) on the real data input through the reality input unit 140, and then the output unit 110 is displayed. Output via

본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(110)를 통해 출력할 수 있다.
According to an exemplary embodiment of the present invention, the augmented reality output unit 180 generates augmented reality data by superimposing virtual reality data including a transparent area on the object on the reality data, the augmented reality data to the It can be output through the output unit 110.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(110)를 통해 출력할 수 있다.
According to another exemplary embodiment of the present invention, the augmented reality output unit 180 configures an augmented reality data format including a reality layer and a virtual reality layer, and then the reality in the reality layer of the augmented reality data format The virtual reality data may be output to the virtual reality layer corresponding to the object position of the real data, and output through the output unit 110.

본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(110)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(180)는 상기 객체 인식부(145)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
According to another exemplary embodiment of the present invention, when the output unit 110 includes a transparent display, the augmented reality output unit 180 is located at an object position on the transparent display determined by the object recognition unit 145. Only the virtual reality data may be displayed and output.

도면2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
2 is a diagram illustrating a configuration of an augmented reality adaptive augmented reality system according to an exemplary embodiment of the present invention.

보다 상세하게 본 도면2는 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 처리하는 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
More specifically, Figure 2 illustrates a system configuration for processing to increase the contrast of the color / saturation of the virtual reality data to be displayed on the object based on the color / saturation around the object on the real data, the present invention Those skilled in the art can refer to and / or modify this drawing 2 to infer various implementation methods (e.g., some implementations are omitted, subdivided, or combined) for the augmented reality system configuration. Although the present invention may be performed, the present invention includes all the implementation methods inferred, and the technical features are not limited only to the implementation method shown in FIG.

예컨대, 본 도면2는 편의상 상기 증강현실 시스템을 구성하는 각각의 수단을 증강현실 운영 서버(200)에 구비되는 구성요소 형태로 구성하여 상기 증강현실 운영 서버(200) 내에 도시하였으나, 상기 수단들이 증강현실 운영 서버(200)의 구성요소로 한정되는 것은 결코 아니며, 당업자의 의도에 따라 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 일부 수단은 서버 형태로 구현되고 나머지 수단은 증강현실 운영 서버(200)의 구성요소 형태로 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
For example, FIG. 2 shows each means constituting the augmented reality system in the form of a component provided in the augmented reality operating server 200 for convenience, but the means are augmented in the augmented reality operating server 200. It is by no means limited to the components of the real operation server 200, each means is implemented in a separate server form, or a combination of two or more means in the form of a server, or some means is server form according to the intention of those skilled in the art The remaining means may be implemented in the form of components of the augmented reality operating server 200, and it will be apparent that the present invention is not limited by the manner of implementation of the means.

본 발명에 따르면, 상기 증강현실 시스템은, 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체(또는 실제현실 데이터 상의 가상현실 데이터 표시 위치)를 결정하는 기능 및 상기 실제현실 데이터 상의 객체(또는 위치)에 상기 획득된 가상현실 데이터를 표시하여 출력하는 기능을 구비한 증강현실 장치(100)와, 상기 증강현실 장치(100)와 통신 연결되어 상기 증강현실 장치(100)로 가상현실 데이터를 전송하되, 상기 가상현실 데이터의 색상/채도가 상기 실제현실 데이터 상의 객체 주변 색상/채도와 대비가 증가하도록 처리하는 증강현실 운영 서버(200)를 포함하여 이루어진다.
According to the present invention, the augmented reality system, the function of acquiring the reality data, the function of acquiring the virtual reality data, the object (or virtual reality data display position on the reality data to display the virtual reality data from the reality data) Augmented reality device (100) having a function of determining a) and a function of displaying and outputting the obtained virtual reality data on an object (or location) on the reality data, and a communication connection with the augmented reality device (100) The augmented reality operating server 200 for transmitting the virtual reality data to the augmented reality device 100, the color / saturation of the virtual reality data processing to increase the color / saturation and contrast around the object on the real data It is made to include.

도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)가 상기 실제현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하여 획득하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 실제현실 데이터를 저장하는 실제현실 D/B(270)를 구비하거나, 또는 통신 연결하여 운영한다.
Referring to FIG. 2, when the augmented reality operating server 200 receives the augmented reality device 100 from the augmented reality operating server 200 and obtains the augmented reality device 100, the augmented reality device 100 may be used. Equipped with a real reality D / B 270 for storing one or more real reality data to be provided, or operates by communication connection.

상기 실제현실 데이터는 실제 세계를 카메라를 통해 촬영한 이미지 파일 또는 동영상 파일을 포함한다.
The reality data includes an image file or a video file of the real world photographed through a camera.

본 발명의 실시 방법에 따르면, 상기 실제현실 데이터는 해당 실제현실 데이터를 설명하는 태그, 키워드, 문자열을 포함하는 실제현실 메타 정보와 연계되어 상기 실제현실 D/B(270)에 저장될 수 있다.
According to the exemplary embodiment of the present invention, the reality data may be stored in the reality D / B 270 in association with reality metadata including tags, keywords, and strings describing the reality data.

도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)가 가상현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하여 획득하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 가상현실 데이터를 저장하는 가상현실 D/B(275)를 구비하거나, 또는 통신 연결하여 운영한다.
Referring to FIG. 2, when the augmented reality operating server 200 receives the virtual reality data from the augmented reality operating server 200 and obtains the augmented reality operating server 200, the augmented reality operating server 200 moves to the augmented reality apparatus 100. A virtual reality D / B 275 for storing one or more virtual reality data to be provided is provided or operated in communication connection.

상기 가상현실 데이터는 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터의 조합으로 구성되며, 결합 가능한 폴리곤 데이터와 텍스쳐 데이터를 포함하고 상기 폴리곤 데이터에 상기 텍스쳐 데이터를 매핑하여 렌더링하기는 매핑/렌더링 정보를 포함하는 데이터 파일, 결합 가능한 폴리곤 데이터와 텍스쳐 데이터를 포함하고 상기 매핑/렌더링 정보는 상기 증강현실 장치(100)에서 동적으로 결정되도록 설정된 데이터 파일 중 적어도 하나를 포함한다.
The virtual reality data is composed of a combination of polygon data and texture data. The virtual reality data includes combineable polygon data and texture data, and mapping and rendering the texture data onto the polygon data renders mapping / rendering information. It includes a data file, including the combineable polygon data and texture data, and the mapping / rendering information comprises at least one of the data file is set to be determined dynamically in the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 가상현실 데이터는 해당 가상현실 데이터를 식별하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(275)에 저장될 수 있으며, 상기 가상현실 메타 정보는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(275)에 저장될 수 있다.
According to an embodiment of the present invention, the virtual reality data may be stored in the virtual reality D / B 275 in association with the virtual reality meta information for identifying the virtual reality data, and the virtual reality meta information is marker information. , And may be stored in the virtual reality D / B 275 in association with the virtual reality meta information including the tag information, the object information, or the object recognition information.

본 발명의 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터로부터 인식된 마커 정보를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 마커 정보와 매칭되는 마커 정보를 포함하거나, 또는 상기 수신되는 마커 정보를 판별하는 태그, 키워드, 문자열을 포함할 수 있다.
When the augmented reality device 100 transmits the marker information recognized from the real data to request the virtual reality data according to an exemplary embodiment of the present invention, the virtual reality meta information matches the received marker information. It may include the marker information, or may include a tag, a keyword, a character string for determining the received marker information.

본 발명의 다른 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터로부터 인식된 객체 정보를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 객체 정보와 매칭되는 객체 정보를 포함하거나, 상기 수신되는 객체 정보를 판별하는 태그, 키워드, 문자열을 포함할 수 있다.
According to another exemplary embodiment of the present invention, when the augmented reality device 100 transmits the object information recognized from the real data to request the virtual reality data, the virtual reality meta information is equal to the received object information. It may include matching object information, or may include a tag, a keyword, and a string for determining the received object information.

여기서, 상기 객체 정보는 상기 증강현실 장치(100)에서 실제현실 데이터의 색상/채도를 판독하여 획득한 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보 중 적어도 하나를 포함하거나, 또는 상기 기하학 구조와 분포 패턴 중 적어도 하나를 통해 추정된 객체를 식별(또는 지정)하는 객체 식별 정보를 포함한다.
Here, the object information includes at least one of geometric structure information on color / saturation obtained by reading color / saturation of real data from the augmented reality device 100 and distribution pattern information of color / saturation, or Object identification information for identifying (or designating) an object estimated through at least one of the geometry and the distribution pattern.

본 발명의 또다른 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 실제현실 데이터를 판독하여 객체를 인식하는 객체 인식 정보를 포함하고, 상기 객체 인식 정보를 통해 인식된 객체에 대응하는 객체 정보를 더 포함하거나, 상기 인식된 객체를 판별하는 태그, 키워드, 문자열을 더 포함할 수 있다.
According to another exemplary embodiment of the present invention, when the augmented reality device 100 transmits the reality data to request the virtual reality data, the virtual reality meta information reads the received reality data and an object. It includes object recognition information for recognizing, and may further include object information corresponding to the object recognized through the object recognition information, or may further include a tag, a keyword, a string for determining the recognized object.

여기서, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 객체가 무엇인지 판별할 수 있도록 미리 정의된 객체들의 기하학 구조와 분포 패턴을 포함하며, 상기 실제현실 데이터로부터 획득되는 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체를 인식할 수 있게 된다.
Here, the object recognition information corresponds to the obtained geometric structure and distribution pattern when the geometric structure information on the color / saturation and the distribution pattern information of the color / saturation are obtained by reading the color / saturation of the real reality data. It includes the geometry and distribution patterns of the predefined objects to determine what the object is, and the geometry and distribution patterns of the objects predefined in the object recognition information, the geometry and distribution pattern obtained from the real data In comparison with the above, the object included in the real data can be recognized.

도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 실제현실 요청 정보를 수신하는 실제현실 요청 정보 수신수단(205)과, 상기 수신된 실제현실 데이터 요청 정보를 판독하거나 또는 상기 실제현실 D/B(270)에 저장된 실제현실 메타 정보와 상기 실제현실 데이터 요청 정보를 비교하여 상기 증강현실 장치(100)로 전송할 실제현실 데이터를 결정 및 추출하는 실제현실 데이터 추출수단(210)과, 상기 추출된 실제현실 데이터를 상기 증강현실 장치(100)로 전송하는 실제현실 데이터 전송수단(220)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 구비된 카메라를 통해 실제현실 데이터를 직접 획득하거나, 또는 상기 증강현실 장치(100)에 투명 디스플레이가 구비된 경우 상기 증강현실 장치(100)로 실제현실 데이터를 전송하는 상기 수단들은 생략 가능하다.
2, the augmented reality operating server 200, the reality request information receiving unit 205 for receiving the reality request information from the augmented reality device 100, and the received reality data request information Or extracting the reality data to determine and extract the reality data to be transmitted to the augmented reality device 100 by comparing the reality data stored in the reality D / B 270 and the reality data request information Means 210 and the real data transmitting means 220 for transmitting the extracted real data to the augmented reality device 100 may be provided. If the AR device 100 directly acquires the real data through the camera, or if the AR device 100 is provided with a transparent display, the AR data is transmitted to the AR device 100. The above means can be omitted.

여기서, 상기 실제현실 요청 정보는 상기 실제현실 D/B(270)에 저장된 실제현실 데이터 중 어느 하나의 실제현실 데이터와 실제현실 메타 정보와 매칭되는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 실제현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
Here, the reality request information may include a tag, a keyword, a character string matched with any one of the reality data stored in the reality D / B 270 and the reality meta information. Depending on the specific reality data may include an address, a data identification code.

도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단(225)과, 상기 수신된 가상현실 데이터 요청 정보를 판독하거나 또는 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보와 상기 가상현실 데이터 요청 정보를 비교하여 상기 증강현실 장치(100)로 전송할 가상현실 데이터를 추출하는 가상현실 데이터 추출수단(230)과, 상기 추출된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하는 가상현실 데이터 전송수단(235)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 가상현실 데이터가 저장되어 있거나 또는 다른 서버로부터 가상현실 데이터를 수신하는 경우 상기 증강현실 장치(100)로 가상현실 데이터를 전송하는 상기 수단들은 생략 가능하다.
Referring to FIG. 2, the augmented reality operating server 200 may include virtual reality request information receiving means 225 for receiving virtual reality request information from the augmented reality device 100, and the received virtual reality data request information. Virtual reality data extraction means for extracting virtual reality data to be transmitted to the augmented reality device 100 by reading or comparing the virtual reality meta information stored in the virtual reality D / B 275 and the virtual reality data request information ( 230 and a virtual reality data transmission means 235 for transmitting the extracted virtual reality data to the augmented reality device 100. If the virtual reality data is stored in the augmented reality device 100 or receives the virtual reality data from another server, the means for transmitting the virtual reality data to the augmented reality device 100 can be omitted.

본 발명의 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
According to an exemplary embodiment of the present invention, the virtual reality request information may include the tag information, the object information, the object recognition information, or may include a tag, a keyword, and a string describing the same, and according to the implementation method, a specific virtual It may include an address for requesting the actual data and a data identification code.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 상기 태그, 키워드, 문자열을 포함하거나 또는 상기 주소, 데이터식별코드를 포함할 수 있으며, 상기 실제현실 확인부(150)에 의해 확인된 상기 객체 주변의 색상/채도 값(1)을 더 포함한다.
According to another exemplary embodiment of the present invention, the virtual reality request information may include the marker information, object information, object recognition information, or may include the tag, keyword, string, or the address and data identification code. It may further include a hue / saturation value (1) around the object confirmed by the reality check unit 150.

본 발명의 또다른 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 증강현실 장치(100)에서 입력된 실제현실 데이터를 포함할 수 있다.
According to another exemplary embodiment of the present invention, the virtual reality request information may include real reality data input from the augmented reality device 100.

상기 가상현실 요청 정보 수신수단(225)을 통해 증강현실 장치(100)로부터 가상현실 요청 정보가 수신되면, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)로부터 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 추출한다.
When the virtual reality request information is received from the augmented reality device 100 through the virtual reality request information receiving means 225, the virtual reality data extracting means 230 is the virtual reality from the virtual reality D / B (275) The virtual reality data corresponding to the request information is extracted.

본 발명의 일 실시 방법에 따라 상기 가상현실 요청 정보에 마커 정보가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 마커 정보(또는 상기 마커 정보를 판별하는 태그, 키워드, 문자열)와 상기 가상현실 요청 정보에 포함된 마커 정보를 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
According to an embodiment of the present invention, when the virtual reality request information includes marker information, the virtual reality data extracting unit 230 may include marker information of the virtual reality meta information stored in the virtual reality D / B 275 ( Alternatively, the polygon data and texture data corresponding to the virtual reality request information may be extracted by comparing the marker information included in the virtual reality request information with the tag, keyword, and string for determining the marker information.

본 발명의 다른 일 실시 방법에 따라 상기 가상현실 요청 정보에 객체 정보가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 정보(또는 상기 객체 정보를 판별하는 태그, 키워드, 문자열)와 상기 가상현실 요청 정보에 포함된 객체 정보를 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
According to another embodiment of the present invention, when the virtual reality request information includes the object information, the virtual reality data extracting unit 230 is the object information of the virtual reality meta information stored in the virtual reality D / B (275) Polygon data and texture data corresponding to the virtual reality request information may be extracted by comparing the object information included in the virtual reality request information with a tag, a keyword, and a string for determining the object information.

본 발명의 또다른 일 실시 방법에 따라 상기 가상현실 요청 정보에 실제현실 데이터가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 인식 정보를 통해 상기 실제현실 데이터에 포함된 객체를 인식하고, 상기 실제현실 데이터로부터 인식된 객체 정보와 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 정보(또는 상기 객체 정보를 판별하는 태그, 키워드, 문자열)을 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
According to another exemplary embodiment of the present invention, when the virtual reality request information includes the reality data, the virtual reality data extracting unit 230 is configured to store the virtual reality meta information stored in the virtual reality D / B 275. Recognizes an object included in the reality data through object recognition information, and object information (or the object information) of the object information recognized from the reality data and the virtual reality meta information stored in the virtual reality D / B 275. Tags, keywords, and character strings for determining the number of pieces of data may be compared to extract polygon data and texture data corresponding to the virtual reality request information.

상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 추출되면, 상기 가상현실 데이터 전송수단(235)은 상기 추출된 폴리곤 데이터와 텍스쳐 데이터를 포함하는 가상현실 데이터를 상기 증강현실 장치(100)로 전송한다.
When polygon data and texture data corresponding to the virtual reality request information are extracted, the virtual reality data transmitting unit 235 sends the virtual reality data including the extracted polygon data and texture data to the augmented reality device 100. send.

한편, 본 발명의 다른 실시 방식에 따라 상기 증강현실 운영 서버(200)에서 상기 추출된 폴리곤 데이터에 텍스쳐 데이터를 매핑/렌더링한 가상현실 데이터를 구성하는 경우, 상기 증강현실 운영 서버(200)는, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인수단(245)과, 상기 가상현실 요청 정보에 포함된 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정수단(260)과, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성수단(265)을 구비하며, 상기 가상현실 요청 정보에 실제현실 데이터가 포함된 경우, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 인식하고, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인수단(240)을 더 구비할 수 있다.
Meanwhile, when the augmented reality operating server 200 configures virtual reality data in which texture data is mapped / rendered to the extracted polygon data according to another embodiment of the present invention, the augmented reality operating server 200 may include: The virtual reality checking means 245 for checking the hue / saturation value 2 of the texture data and the hue / saturation value 2 based on the hue / saturation value 1 included in the virtual reality request information. VR configuration means for compensating for increasing the contrast 260 and virtual reality configuration means for constructing virtual reality data by mapping / rendering texture data including the corrected hue / saturation values (2) to the polygon data ( 265), and when the virtual reality request information includes real reality data, recognizes an object to display the virtual reality data from the real reality data, and colors / saturation around the recognized object. It may be further provided with a reality checking means 240 for confirming the value (1).

본 발명의 어느 일 실시 방법에 따라 상기 가상현실 요청 정보에 상기 증강현실 장치(100)로 입력된 실제현실 데이터가 포함되거나, 또는 상기 실제현실 D/B(270)에 저장된 실제현실 데이터 상에 가상현실 데이터를 표시하는 경우, 상기 실제현실 확인수단(240)은 상기 실제현실 데이터에 포함된 객체를 인식하고, 상기 객체 주변의 색상/채도 값(1)을 확인한다. 상기 실제현실 확인수단(240)이 상기 객체를 인식하는 구성은 상기 도면1의 객체 인식부(145) 구성을 참조하고, 상기 객체 주변의 색상/채도 값(1)을 확인하는 구성은 상기 도면1의 실제현실 확인부(150) 구성을 참조하기로 한다.
According to one embodiment of the present invention, the virtual reality request information includes the reality data input to the augmented reality device 100, or is virtual on the reality data stored in the reality D / B (270) When displaying the reality data, the reality checking means 240 recognizes an object included in the reality data and checks the hue / saturation value 1 around the object. The configuration of the reality checking means 240 to recognize the object is referred to the configuration of the object recognition unit 145 of FIG. 1, and the configuration of checking the color / saturation value 1 around the object is illustrated in FIG. 1. Reference will be made to the configuration of the actual reality check unit 150.

상기 실제현실 확인수단(240)을 통해 상기 객체 주변의 색상/채도 값(1)이 확인되거나, 또는 상기 가상현실 요청 정보를 통해 상기 색상/채도 값(1)이 포함되어 수신된 경우, 상기 가상현실 확인수단(245)은 상기 가상현실 데이터 추출수단(230)을 통해 가상현실 D/B(275)로부터 추출된 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정수단(260)은 상기 가상현실 요청 정보에 포함된 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고, 상기 가상현실 구성수단(265)은 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하며, 상기 가상현실 데이터 전송수단(235)은 상기 구성된 가상현실 데이터를 상기 증강현실 장치(100)로 전송한다.
When the color / saturation value 1 around the object is confirmed through the reality checking means 240 or the color / saturation value 1 is received through the virtual reality request information, the virtual / saturation value 1 is received. The reality checking means 245 confirms the color / saturation value 2 of the texture data extracted from the virtual reality D / B 275 through the virtual reality data extracting means 230, and the virtual reality correcting means 260. ) Is corrected to increase the contrast of the hue / saturation value (2) based on the hue / saturation value (1) included in the virtual reality request information, and the virtual reality configuration means (265) The virtual reality data is configured by mapping / rendering texture data including chroma values to the polygon data, and the virtual reality data transmitting unit 235 transmits the configured virtual reality data to the augmented reality device 100. send.

도면3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
3 is an exemplary diagram for correcting virtual reality data according to an exemplary embodiment of the present invention.

보다 상세하게 본 도면3은 시간과 장소를 기반으로 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링되는 텍스쳐 데이터의 색상/채도 값(2)를 보정한 것을 예시한 것이다.
In more detail, FIG. 3 illustrates an example of correcting a color / saturation value 2 of texture data mapped / rendered to polygon data of virtual reality data based on time and place.

도면3의 (a)는 텍스쳐 데이터의 색상/채도 값(2)를 보정하지 않고 가상현실 데이터를 구성한 경우를 예시한 것이고, 도면3의 (b)는 상기 실제현실 데이터가 입력되는 시간이 주간인 경우에 상기 도면3의 (a)에 예시된 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)를 상기 객체 주변의 색상/채도 값(1)과 대비가 증가하도록 보정한 것을 예시한 것이고, 도면3의 (c)는 상기 실제현실 데이터가 입력되는 시간이 야간인 경우에 상기 도면3의 (a)에 예시된 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)를 상기 객체 주변의 색상/채도 값(1)과 대비가 증가하도록 보정한 것을 예시한 것이다.
(A) of FIG. 3 illustrates a case where the virtual reality data is configured without correcting the hue / saturation value (2) of the texture data, and (b) of FIG. 3 shows that the time for inputting the reality data is weekly. In this case, the color / saturation value (2) of the texture data constituting the virtual reality data illustrated in (a) of FIG. 3 is corrected to increase the contrast with the color / saturation value (1) around the object. (C) of FIG. 3 shows the color / saturation value (2) of the texture data constituting the virtual reality data illustrated in (a) of FIG. 3 when the time at which the actual reality data is input is night. For example, the correction is performed to increase the contrast with the hue / saturation value (1) around the object.

도면4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
4 is an exemplary diagram for correcting virtual reality data according to another exemplary embodiment of the present invention.

보다 상세하게 본 도면4는 객체 주변의 색상/채도 값(1)과 텍스쳐 데이터의 색상/채도 값(2)의 색상을 기반으로 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링되는 텍스쳐 데이터의 색상/채도 값(2)를 보정한 것을 예시한 것이다.
In detail, FIG. 4 illustrates the color / saturation of texture data mapped / rendered to polygon data of virtual reality data based on the color of the color / saturation value (1) and the color / saturation value (2) of texture data around the object. The correction of the value 2 is illustrated.

도면4의 (a)는 텍스쳐 데이터의 색상/채도 값(2)를 보정하지 않고 가상현실 데이터를 구성한 경우를 예시한 것이고, 도면4의 (b)는 상기 텍스쳐 데이터의 색상/채도 값(2)을 상기 객체 주변의 색상/채도 값(1)과 보색 관계의 색상으로 쉬프트 시켜 보정한 것을 예시한 것이다.
(A) of FIG. 4 illustrates a case where virtual reality data is configured without correcting the hue / saturation value (2) of the texture data, and (b) of FIG. 4 shows the hue / saturation value (2) of the texture data. Is corrected by shifting the color / saturation value (1) around the object to the color of the complementary color relationship.

도면5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
5 is a diagram illustrating a process of correcting color / saturation of virtual reality data according to color / saturation around an object according to an exemplary embodiment of the present invention.

보다 상세하게 본 도면5는 상기 도면1에 도시된 증강현실 장치(100)에서 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 색상/채도 보정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 5 is configured to increase the contrast of the hue / saturation of the virtual reality data to be displayed on the object based on the hue / saturation of the object in the augmented reality device 100 shown in FIG. As shown in the drawings, a person having ordinary skill in the art to which the present invention pertains may refer to and / or modify the drawing 5 to perform various methods (eg, some steps) for the color / saturation correction process. May be omitted, or the order may be changed), but the present invention includes all the inferred implementation methods, and the technical features are not limited to the implementation method illustrated in FIG.

도면5를 참조하면, 증강현실 장치(100)는 실제현실 데이터가 입력되면(500), 상기 실제현실 데이터 상의 객체를 인식하고(505), 상기 인식된 객체 주변의 색상/채도 값(1)을 확인한다(510).
Referring to FIG. 5, when the reality data is input (500), the augmented reality device 100 recognizes an object on the reality data (505), and calculates a color / saturation value (1) around the recognized object. Check (510).

상기 객체 주변의 색상/채도 값(1)이 확인되면(515), 상기 증강현실 장치(100)는 상기 객체에 표시할 가상현실 데이터를 결정하고(520), 메모리부(135)로부터 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출하거나, 또는 상기 도면2에 도시된 증강현실 운영 서버(200)로 폴리곤 데이터와 텍스쳐 데이터를 요청하는 가상현실 요청 정보를 전송하여 상기 증강현실 운영 서버(200)로부터 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 수신한다(525).
When the hue / saturation value 1 around the object is confirmed (515), the augmented reality device 100 determines the virtual reality data to be displayed on the object (520), and the determined virtual from the memory unit 135 Extract the polygon data and the texture data corresponding to the reality data, or transmit the virtual reality request information for requesting the polygon data and texture data to the augmented reality operating server 200 shown in FIG. In operation 525, polygon data and texture data corresponding to the determined virtual reality data are received.

상기 폴리곤 데이터와 텍스쳐 데이터가 추출(또는 수신)되면, 상기 증강현실 장치(100)는 상기 텍스쳐 데이터의 색상/채도 값(2)를 확인한다(530).
When the polygon data and the texture data are extracted (or received), the augmented reality device 100 checks the color / saturation value 2 of the texture data (530).

만약 상기 텍스쳐 데이터의 색상/채도 값(2)이 확인되면(530), 상기 증강현실 장치(100)는 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고(535), 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한 후(540), 상기 구성된 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 출력한다(545).
If the hue / saturation value 2 of the texture data is confirmed 530, the augmented reality device 100 increases the contrast of the hue / saturation value 2 based on the hue / saturation value 1. After the data is corrected (535), the texture data including the corrected color / saturation value (2) is mapped / rendered onto the polygon data to configure virtual reality data (540), and the configured virtual reality data is converted into the real reality data. Output to the object on the data (545).

도면6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
FIG. 6 is a diagram illustrating a process of correcting color / saturation of virtual reality data according to color / saturation around an object according to another exemplary embodiment of the present invention.

보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)에서 상기 도면2에 도시된 증강현실 운영 서버(200)를 통해 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 색상/채도 보정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 6, the augmented reality apparatus 100 illustrated in FIG. 1 is applied to the object based on the hue / saturation of the object on the reality data through the augmented reality operating server 200 illustrated in FIG. 2. The process of configuring and outputting the contrast of the hue / saturation of the virtual reality data to be displayed is shown. If a person of ordinary skill in the art belongs to the present invention, the present invention will be described with reference to FIG. Various implementation methods (e.g., some steps may be omitted, or the order may be changed) for the hue / saturation correction process may be inferred, but the present invention includes all the implementation methods inferred from this figure. The technical features are not limited only to the implementation method shown in FIG.

예컨대, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조하여 상기 증강현실 장치(100)에서 실제현실 데이터를 상기 증강현실 운영 서버(200)로 전송하여 상기 가상현실 데이터의 색상/채도의 대비가 증가시키는 과정을 유추할 수 있을 것이며, 본 발명은 상기 유추 가능한 모든 실시 방법을 포함함을 명백하게 밝혀두는 바이다.
For example, a person having ordinary knowledge in the art to which the present invention pertains may transmit the virtual reality data from the augmented reality apparatus 100 to the augmented reality operating server 200 with reference to FIG. 6. It may be inferred that the process of increasing the contrast of hue / saturation of the present invention will be apparent, and the present invention includes all such inferred methods of implementation.

도면6을 참조하면, 증강현실 장치(100)는 실제현실 데이터가 입력되면(600), 상기 실제현실 데이터 상의 객체를 인식하고(605), 상기 인식된 객체 주변의 색상/채도 값(1)을 확인한다(610).
Referring to FIG. 6, when the reality data is input (600), the augmented reality device 100 recognizes an object on the reality data (605), and adjusts the color / saturation value (1) around the recognized object. Check (610).

상기 객체 주변의 색상/채도 값(1)이 확인되면(615), 상기 증강현실 장치(100)는 상기 객체에 표시할 가상현실 데이터를 결정하고(620), 상기 확인된 객체 주변의 색상/채도 값(1)을 포함하는 가상현실 요청 정보를 상기 도면2에 도시된 증강현실 운영 서버(200)로 전송한다(625).
When the color / saturation value (1) around the object is confirmed (615), the augmented reality device 100 determines the virtual reality data to be displayed on the object (620), the color / saturation around the identified object The virtual reality request information including the value (1) is transmitted to the augmented reality operating server 200 shown in FIG. 2 (625).

이후, 상기 증강현실 운영 서버(200)는 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 확인하고(630), 상기 텍스쳐 데이터의 색상/채도 값(2)를 확인한다(635).
Thereafter, the augmented reality operating server 200 checks the polygon data and the texture data corresponding to the virtual reality request information (630), and checks the color / saturation value (2) of the texture data (635).

만약 상기 텍스쳐 데이터의 색상/채도 값(2)이 확인되면(640), 상기 증강현실 운영 서버(200)는 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고(645), 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한 후(650), 상기 구성된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하며(655), 이에 대응하여 상기 증강현실 장치(100)는 상기 수신된 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 출력한다(660).
If the hue / saturation value (2) of the texture data is confirmed (640), the augmented reality operating server 200 has a contrast of the hue / saturation value (2) based on the hue / saturation value (1) Correcting to increase (645), and mapping / rendering texture data including the corrected hue / saturation values (2) to the polygon data to configure virtual reality data (650), and then augmenting the configured virtual reality data. The augmented reality device 100 outputs the received virtual reality data to an object on the real data in response to the real device 100 (655).

100 : 증강현실 장치 140 : 실제현실 입력부
145 : 객체 인식부 150 : 실제현실 확인부
155 : 가상현실 결정부 160 : 가상현실 입력부
165 : 가상현실 확인부 170 : 가상현실 보정부
175 : 가상현실 구성부 180 : 증강현실 출력부100: augmented reality device 140: real reality input unit
145: object recognition unit 150: real reality confirmation unit
155: virtual reality determination unit 160: virtual reality input unit
165: virtual reality check unit 170: virtual reality correction unit
175: virtual reality component 180: augmented reality output unit

Claims

A reality checking unit for identifying a color / saturation value (1) around the recognized object when an object to display virtual reality data is recognized from the reality data;
A virtual reality checking unit which checks texture data to be mapped / rendered to polygon data of virtual reality data to be displayed on the object, and checks a color / saturation value (2) of the texture data;
A virtual reality correction unit correcting the contrast of the hue / saturation value 2 to increase based on the hue / saturation value 1;
And a virtual reality component configured to map and render texture data including the corrected color / saturation values (2) to the polygon data to form virtual reality data. 2. .

The method of claim 1, wherein the reality checking unit,
Extract the color / saturation value of the real data to check the color / saturation value (1) around the object, or
Track the position of the light source on the real data to confirm the hue / saturation value (1) around the object based on the position of the light source and the amount of light, or
And a color / saturation value (1) around the object by checking the time and place where the real data was captured.

The method of claim 1, wherein the virtual reality configuration unit,
The hue / saturation value 1 around the object is darker than a preset reference hue / saturation value, or the amount of light on the real data is smaller than the preset reference light amount, or the reality is taken outdoors at night. In this case, the augmented reality adaptive augmented reality device, characterized in that for setting the amount of light to render the virtual reality data larger than the reference light amount.