KR102537147B1 - System and method for providing certified augmented reality content - Google Patents
System and method for providing certified augmented reality content Download PDFInfo
- Publication number
- KR102537147B1 KR102537147B1 KR1020210009906A KR20210009906A KR102537147B1 KR 102537147 B1 KR102537147 B1 KR 102537147B1 KR 1020210009906 A KR1020210009906 A KR 1020210009906A KR 20210009906 A KR20210009906 A KR 20210009906A KR 102537147 B1 KR102537147 B1 KR 102537147B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- target object
- server
- augmented reality
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims description 50
- 239000003550 marker Substances 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000003416 augmentation Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25816—Management of client data involving client authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Computer Security & Cryptography (AREA)
- Public Health (AREA)
- Computer Graphics (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 인증된 증강 현실 콘텐츠의 제공 시스템으로, 임의의 타겟 객체에 대한 증강 현실 콘텐츠를 등록하기 위하여 콘텐츠 등록 요청을 전송하는 콘텐츠 제공자 장치, 상기 콘텐츠 등록 요청을 전송한 콘텐츠 제공자의 인증 정보와 기저장된 콘텐츠 제공자 정보들을 비교하여, 상기 콘텐츠 제공자를 인증하는 인증 서버 및 상기 콘텐츠 등록 요청이 수신되면, 상기 인증 서버를 통하여 상기 콘텐츠 제공자의 인증이 성공하는 경우에, 상기 타겟 객체에 대한 정보 및 상기 증강 현실 콘텐츠를 등록하는 등록 서버를 포함하는 시스템에 관한 것이다.The present invention is a system for providing authenticated augmented reality content, wherein a content provider device transmits a content registration request to register augmented reality content for an arbitrary target object, authentication information of the content provider transmitting the content registration request, and An authentication server that compares stored content provider information to authenticate the content provider and when the content registration request is received, if authentication of the content provider succeeds through the authentication server, the information on the target object and the augmentation A system including a registration server for registering real content.
Description
본 발명은 인증된 증강 현실 콘텐츠의 제공 시스템 및 방법으로, 보다 구체적으로 타겟 객체에 대해 인증된 사용자의 증강 현실 콘텐츠를 등록하고 제공하는 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for providing authenticated augmented reality content, and more particularly, to a system and method for registering and providing augmented reality content of an authenticated user for a target object.
최근 3차원 영상 처리 기술이 급속도로 발전하면서, 영화, 게임, 인테리어 등 다양한 분야에 가상 현실(Virtual Reality; VR) 또는 증강 현실(Augmented Reality; AR)을 이용한 가상 환경 서비스가 제공되고 있다. 이 중에서 증강 현실은 현실의 영상과 가상의 증강 현실 콘텐츠를 합성하여 표시함으로써, 사용자에게 현실과 가상 세계의 경계가 없는 영상을 제공하는 기술이다. Recently, with the rapid development of 3D image processing technology, virtual environment services using virtual reality (VR) or augmented reality (AR) are provided in various fields such as movies, games, and interiors. Among them, augmented reality is a technology that provides a user with an image without a boundary between the real world and the virtual world by synthesizing and displaying a real image and virtual augmented reality content.
이러한 가상 환경 서비스는 원격 의료 진단, 건축 설계, 제조 공정 관리 등 다양한 분야에서 활용하고 있다. 예를 들어, 사용자가 의료 장비를 카메라로 촬영하면, 해당 의료 장비에 대응하는 증강 현실 콘텐츠가 의료 장비 영상에 합성되어 표시될 수 있다. 이러한 가상 환경 서비스를 통해 사용자는 의료 장비를 올바르고 적합하게 사용할 수 있다.These virtual environment services are used in various fields such as remote medical diagnosis, architectural design, and manufacturing process management. For example, when a user photographs a medical device with a camera, augmented reality content corresponding to the medical device may be combined with an image of the medical device and displayed. Through these virtual environment services, users can properly and appropriately use medical equipment.
이때, 의료 장비와 같이 전문적으로 가이드되어야 하는 대상에 대하여는, 인증된 관리자만이 증강 현실 콘텐츠를 제공할 수 있어야 한다. In this case, only an authorized manager should be able to provide augmented reality content to an object to be professionally guided, such as medical equipment.
본 발명은 타겟 객체에 대하여 인증된 콘텐츠 제공자의 증강 현실 콘텐츠를 선별하여 등록 및 관리하는 증강 현실 콘텐츠의 제공 시스템 및 방법을 제공한다.The present invention provides an augmented reality content providing system and method for selecting, registering, and managing augmented reality content of a content provider authenticated with respect to a target object.
또한, 본 발명은 인증된 콘텐츠 제공자의 증강 현실 콘텐츠를 타겟 객체의 사용자에게 전달하여, 사용자가 타겟 객체의 현실 영상에 인증된 증강 현실 콘텐츠를 합성한 증강 현실 영상을 재생할 수 있게 하는 증강 현실 콘텐츠의 제공 시스템 및 방법을 제공한다.In addition, the present invention is an augmented reality content that delivers augmented reality content from an authenticated content provider to a user of a target object so that the user can reproduce an augmented reality image obtained by synthesizing the authenticated augmented reality content with a reality image of the target object. A provision system and method are provided.
일 실시 예에 따른 증강 현실 콘텐츠의 제공 시스템은, 임의의 타겟 객체에 대한 증강 현실 콘텐츠를 등록하기 위하여 콘텐츠 등록 요청을 전송하는 콘텐츠 제공자 장치, 상기 콘텐츠 등록 요청을 전송한 콘텐츠 제공자의 인증 정보와 기저장된 콘텐츠 제공자 정보들을 비교하여, 상기 콘텐츠 제공자를 인증하는 인증 서버 및 상기 콘텐츠 등록 요청이 수신되면, 상기 인증 서버를 통하여 상기 콘텐츠 제공자의 인증이 성공하는 경우에, 상기 타겟 객체에 대한 정보 및 상기 증강 현실 콘텐츠를 등록하는 등록 서버를 포함할 수 있다. A system for providing augmented reality content according to an embodiment includes a content provider device that transmits a content registration request to register augmented reality content for an arbitrary target object, authentication information of the content provider that transmitted the content registration request, and An authentication server that compares stored content provider information to authenticate the content provider and when the content registration request is received, if authentication of the content provider succeeds through the authentication server, the information on the target object and the augmentation It may include a registration server that registers real content.
상기 타겟 객체에 대한 정보는, 상기 타겟 객체에 할당된 식별자 및 상기 타겟 객체의 영상으로부터 획득될 수 있는 인식 정보를 포함하고, 상기 인식 정보는, 상기 타겟 객체에 마련되는 마커, 상기 타겟 객체의 형태로부터 추출되는 특징점, 상기 타겟 객체의 위치, 상기 타겟 객체와 연계하여 상기 타겟 객체를 지시하는 임의의 인체 또는 물체에 관한 정보 중 적어도 하나를 포함할 수 있다.The information on the target object includes an identifier assigned to the target object and recognition information obtained from an image of the target object, wherein the recognition information includes a marker provided on the target object and a shape of the target object. It may include at least one of a feature point extracted from , a location of the target object, and information about any human body or object indicating the target object in association with the target object.
상기 인증 서버는, 상기 등록 서버로부터 상기 콘텐츠 제공자의 상기 인증 정보가 수신되면, 상기 인증 정보와 상기 기저장된 콘텐츠 제공자 정보들을 비교하고, 상기 인증 정보가 상기 기저장된 콘텐츠 제공자 정보들 중 어느 하나와 일치하면 상기 인증이 성공한 것으로 판단하여 상기 등록 서버로 인증 결과를 전송할 수 있다. When the authentication information of the content provider is received from the registration server, the authentication server compares the authentication information with the pre-stored content provider information, and the authentication information matches any one of the pre-stored content provider information. If so, it is determined that the authentication is successful and an authentication result can be transmitted to the registration server.
상기 시스템은, 상기 등록 서버로부터 상기 타겟 객체에 대한 정보를 수신하여 저장하는 타겟 서버 및 상기 등록 서버로부터 상기 증강 현실 콘텐츠를 수신하여 저장하는 콘텐츠 서버를 더 포함할 수 있다. The system may further include a target server receiving and storing information on the target object from the registration server and a content server receiving and storing the augmented reality content from the registration server.
상기 콘텐츠 서버는, 상기 증강 현실 콘텐츠를 상기 타겟 객체의 식별자와 연계하여 저장할 수 있다.The content server may store the augmented reality content in association with the identifier of the target object.
상기 시스템은, 상기 타겟 객체에 대한 현실 영상을 촬영하여 상기 타겟 서버로 전송하고, 상기 타겟 객체에 대응하는 상기 증강 현실 콘텐츠가 수신되면, 상기 현실 영상 상에 상기 증강 현실 콘텐츠를 합성하여 증강 현실 영상을 표시하는 단말을 더 포함할 수 있다. The system captures a reality image of the target object and transmits it to the target server, and when the augmented reality content corresponding to the target object is received, the augmented reality image is synthesized on the reality image. It may further include a terminal displaying.
상기 타겟 서버는, 상기 단말로부터 상기 현실 영상이 수신되면, 상기 현실 영상으로부터 인식 정보를 추출하고, 상기 인식 정보에 대응하는 타겟 객체의 식별자를 상기 콘텐츠 서버 또는 상기 단말로 전송할 수 있다. When the real image is received from the terminal, the target server may extract recognition information from the real image and transmit an identifier of a target object corresponding to the recognition information to the content server or the terminal.
상기 단말은, 상기 타겟 서버로부터 수신된 상기 타겟 객체의 식별자를 상기 콘텐츠 서버로 전송할 수 있다.The terminal may transmit the identifier of the target object received from the target server to the content server.
상기 콘텐츠 서버는, 상기 타겟 서버 또는 상기 단말로부터 수신된 상기 타겟 객체의 식별자에 대응하여 기저장된 증강 현실 콘텐츠를 상기 단말로 전송할 수 있다. The content server may transmit pre-stored augmented reality content corresponding to the identifier of the target object received from the target server or the terminal to the terminal.
상기 단말은, 상기 증강 현실 콘텐츠의 그래픽 객체 및 파일 객체 중 적어도 하나를 상기 증강 현실 콘텐츠의 위치 정보에 따라 상기 현실 영상 내의 특정 위치에 합성하여 표시할 수 있다.The terminal may synthesize and display at least one of a graphic object and a file object of the augmented reality content at a specific location in the reality image according to location information of the augmented reality content.
상기 타겟 객체는, 의료 장비를 포함하고, 상기 증강 현실 콘텐츠는, 상기 의료 장비의 사용법을 안내하기 위한 정보를 포함할 수 있다. The target object may include medical equipment, and the augmented reality content may include information for guiding how to use the medical equipment.
일 실시 예에 따른 증강 현실 콘텐츠의 제공 방법은, 콘텐츠 제공자 장치가 임의의 타겟 객체에 대한 증강 현실 콘텐츠를 등록하기 위하여 콘텐츠 등록 요청을 등록 서버로 전송하는 단계, 상기 등록 서버가 상기 콘텐츠 제공자 장치로부터 수신된 콘텐츠 제공자의 인증 정보를 인증 서버로 전송하는 단계, 상기 인증 서버가 기저장된 콘텐츠 제공자 정보와 상기 인증 정보를 비교하여 상기 콘텐츠 제공자를 인증하는 단계 및 상기 등록 서버가 상기 인증 서버에 의해 상기 콘텐츠 제공자의 인증이 성공하면, 상기 타겟 객체에 대한 정보 및 상기 증강 현실 콘텐츠를 등록하는 단계를 포함할 수 있다. A method of providing augmented reality content according to an embodiment includes transmitting, by a content provider device, a content registration request to a registration server in order to register augmented reality content for a target object, the registration server from the content provider device. Transmitting the received authentication information of the content provider to an authentication server, the authentication server authenticating the content provider by comparing the authentication information with pre-stored content provider information, and the registration server performing the authentication of the content provider by the authentication server. If authentication of the provider succeeds, registering information on the target object and the augmented reality content may be included.
상기 타겟 객체에 대한 정보는, 상기 타겟 객체에 할당된 식별자 및 상기 타겟 객체의 영상으로부터 획득될 수 있는 인식 정보를 포함하고, 상기 인식 정보는, 상기 타겟 객체에 마련되는 마커, 상기 타겟 객체의 형태로부터 추출되는 특징점, 상기 타겟 객체의 위치, 상기 타겟 객체와 연계하여 상기 타겟 객체를 지시하는 임의의 인체 또는 물체에 관한 정보 중 적어도 하나를 포함할 수 있다. The information on the target object includes an identifier assigned to the target object and recognition information obtained from an image of the target object, wherein the recognition information includes a marker provided on the target object and a shape of the target object. It may include at least one of a feature point extracted from , a location of the target object, and information about any human body or object indicating the target object in association with the target object.
상기 타겟 객체에 대한 정보 및 상기 증강 현실 콘텐츠를 등록하는 단계는, 타겟 서버가 상기 등록 서버로부터 수신된 상기 타겟 객체에 대한 정보를 저장하는 단계 및 콘텐츠 서버가 상기 등록 서버로부터 수신된 상기 증강 현실 콘텐츠를 저장하는 단계를 포함할 수 있다. Registering the information on the target object and the augmented reality content may include storing the information on the target object received from the registration server by a target server and the augmented reality content received by a content server from the registration server. It may include the step of storing.
상기 증강 현실 콘텐츠를 저장하는 단계는, 상기 콘텐츠 서버가 상기 증강 현실 콘텐츠를 상기 타겟 객체의 식별자와 연계하여 저장할 수 있다. In the storing of the augmented reality content, the content server may store the augmented reality content in association with the identifier of the target object.
상기 방법은, 단말이 상기 타겟 객체에 대한 현실 영상을 촬영하여 상기 타겟 서버로 전송하는 단계, 상기 타겟 서버가 상기 현실 영상으로부터 인식 정보를 추출하는 단계 및 상기 타겟 서버가 상기 인식 정보에 대응하는 타겟 객체의 식별자를 상기 콘텐츠 서버 또는 상기 단말로 전송하는 단계를 더 포함할 수 있다. The method includes the step of capturing a real image of the target object by a terminal and transmitting the image to the target server, the step of extracting recognition information from the real image by the target server, and the step of allowing the target server to capture a target object corresponding to the recognition information. The method may further include transmitting an object identifier to the content server or the terminal.
상기 방법은, 상기 타겟 서버가 상기 인식 정보에 대응하는 상기 타겟 객체의 식별자를 상기 단말로 전송하는 단계 이후에, 상기 단말이 상기 타겟 서버로부터 수신된 상기 타겟 객체의 식별자를 상기 콘텐츠 서버로 전송하는 단계를 더 포함할 수 있다. In the method, after the step of the target server transmitting the identifier of the target object corresponding to the recognition information to the terminal, the terminal transmits the identifier of the target object received from the target server to the content server. Further steps may be included.
상기 방법은, 상기 콘텐츠 서버가 상기 타겟 서버 또는 상기 단말로부터 수신된 상기 타겟 객체의 식별자에 대응하여 기저장된 증강 현실 콘텐츠를 상기 단말로 전송하는 단계를 더 포함할 수 있다. The method may further include transmitting, by the content server, pre-stored augmented reality content corresponding to the identifier of the target object received from the target server or the terminal to the terminal.
상기 방법은, 상기 단말이 상기 현실 영상 상에 상기 증강 현실 콘텐츠를 합성하여 증강 현실 영상을 표시하는 단계를 더 포함할 수 있다. The method may further include displaying, by the terminal, an augmented reality image by synthesizing the augmented reality content on the reality image.
본 발명에 따른 증강 현실 콘텐츠의 제공 시스템 및 방법은, 타겟 객체에 대해 인증된 콘텐츠 제공자의 증강 현실 콘텐츠만을 등록 및 제공할 수 있게 함으로써, 증강 현실 서비스를 이용한 안전한 장비 가이드를 가능하게 한다. A system and method for providing augmented reality content according to the present invention enable a safe equipment guide using an augmented reality service by registering and providing only augmented reality content of an authenticated content provider for a target object.
본 발명에 따른 증강 현실 콘텐츠의 제공 시스템 및 방법은, 의료 장비 등과 같은 전문 지식을 요하는 제품에 공식 인증된 콘텐츠를 제공할 수 있다. The system and method for providing augmented reality content according to the present invention can provide officially certified content to products requiring specialized knowledge, such as medical equipment.
도 1은 일 실시 예에 따른 증강 현실 콘텐츠의 제공 시스템의 구조를 나타낸 도면이다.
도 2는 일 실시 예에 따른 증강 현실 콘텐츠 등록 방법을 나타낸 흐름도이다.
도 3은 일 실시 예에 따른 증강 현실 콘텐츠 제공 방법을 나타낸 흐름도이다.
도 4는 일 실시 예에 따른 서버의 구조를 나타낸 블록도이다.
도 5는 일 실시 예에 따른 단말의 구조를 나타낸 블록도이다.1 is a diagram showing the structure of a system for providing augmented reality content according to an embodiment.
2 is a flowchart illustrating a method for registering augmented reality content according to an embodiment.
3 is a flowchart illustrating a method of providing augmented reality content according to an embodiment.
4 is a block diagram showing the structure of a server according to an embodiment.
5 is a block diagram showing the structure of a terminal according to an embodiment.
본 명세서의 실시 예를 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명은 생략될 수 있다. In describing the embodiments of the present specification, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present specification, the detailed description may be omitted.
본 명세서에서 사용되는 "포함한다," "포함할 수 있다." 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 명세서에서, "포함하다." 또는 "가지다." 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. "Includes," "may include," as used herein. Expressions such as the like indicate the presence of the disclosed functions, operations, components, etc., and do not limit one or more additional functions, operations, components, etc. Also, in this specification, "comprising." or "to have." The terms such as are intended to specify that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features or numbers, steps, operations, components, parts, or It should be understood that it does not preclude the possibility of existence or addition of combinations thereof.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.In this specification, singular expressions include plural expressions unless the context clearly dictates otherwise.
이하, 첨부된 도면을 참조하여 본 발명을 설명한다. Hereinafter, the present invention will be described with reference to the accompanying drawings.
도 1은 일 실시 예에 따른 증강 현실 콘텐츠의 제공 시스템의 구조를 나타낸 도면이다.1 is a diagram showing the structure of a system for providing augmented reality content according to an embodiment.
도 1을 참조하면, 본 발명에 따른 시스템(1)은 타겟 객체(T)에 대한 증강 현실 콘텐츠를 제작하고 이를 타겟 객체(T)의 사용자에게 제공하는 콘텐츠 제공자 장치(10), 증강 현실 콘텐츠의 등록 서비스를 제공하는 등록 서버(20), 사용자를 인증하는 인증 서버(30), 타겟 객체에 관한 정보를 저장하고 관리하는 타겟 서버(40), 타겟 객체에 대응하는 증강 현실 콘텐츠를 저장하고 관리하는 콘텐츠 서버(50) 및 타겟 객체(T)를 사용하는 사용자의 단말(60)을 포함할 수 있다.Referring to Figure 1, the system 1 according to the present invention produces augmented reality content for a target object (T) and provides it to the user of the target object (T)
콘텐츠 제공자 장치(10)는 임의의 타겟 객체(T)에 대한 증강 현실 콘텐츠를 제작할 수 있다. 일 실시 예에서, 타겟 객체(T)는 후술되는 증강 현실 서비스를 활성화하기 위한 트리거가 되는 사물, 또는 특별한 마커일 수 있다. 콘텐츠 제공자 장치(10)를 통해 증강 현실 콘텐츠를 제공하는 사용자(즉, 콘텐츠 제공자)는 해당 타겟 객체(T)의 제조자, 판매자 및/또는 관리자일 수 있다. 또한, 콘텐츠 제공자는 사람이거나 기관일 수 있다. 그러나 본 실시 예가 이로써 한정되지 않는다. The
콘텐츠 제공자 장치(10)는 이러한 콘텐츠 제공자의 요청 및 입력에 따라, 타겟 객체(T)를 위한 증강 현실 콘텐츠를 생성한다. 일 실시 예에서, 증강 현실 콘텐츠는 타겟 객체(T)에 대한 사용법에 관한 것일 수 있다. 예를 들어, 증강 현실 콘텐츠는 타겟 객체(T)의 사용법에 관한 것으로 구성 요소의 이동 방향, 입력 인터페이스의 조작 방법, 조작 타이밍 등에 관한 것일 수 있다. The
콘텐츠 제공자 장치(10)는 휴대폰, 스마트 폰, PDA(personal digital assistants), 태블릿, 컴퓨터, 노트북과 같은 전자 장치일 수 있으나, 이로써 한정되지 않는다. 또는 헤드 마운트 디스플레이(Head Mounted Display; HMD), 와치, 스마트 글래스 등과 같은 웨어러블 장치일 수 있다. The
등록 서버(20)는 콘텐츠 제공자 장치(10)의 사용자, 즉 콘텐츠 사용자를 인증하고, 인증이 성공한 콘텐츠 사용자에 대하여 증강 현실 콘텐츠의 등록을 허용하기 위해 마련된다. 등록 서버(20)는 본 실시 예에 따른 증강 현실 서비스의 제공자에 의해 운영되는 네트워크 서버, 애플리케이션 서버, 도메인 서버 등일 수 있다. The
콘텐츠 제공자 장치(10)로부터 타겟 객체(T)에 대한 콘텐츠 등록 요청이 수신되면, 등록 서버(20)는 인증 서버(30)를 통해 해당 콘텐츠 제공자 장치(10)를 사용하는 콘텐츠 제공자가 타겟 객체(T)에 대해 인증된 콘텐츠 제공자인지 인증할 수 있다. 인증이 성공하는 경우에, 등록 서버(20)는 콘텐츠 제공자 장치(10)로부터 수신되는 타겟 객체(T)에 대한 정보와 증강 현실 콘텐츠를 타겟 서버(40)와 콘텐츠 서버(50)에 각각 저장할 수 있다. When a content registration request for the target object T is received from the
인증 서버(30)는 콘텐츠 제공자의 인증을 수행하고, 인증 결과를 등록 서버(20)로 제공하기 위해 마련된다. 인증은 콘텐츠 제공자가 타겟 객체(T)에 대해 증강 현실 콘텐츠의 등록이 허용된 콘텐츠 제공자인지 여부를 검증하는 과정을 의미할 수 있다. The
이를 위하여, 인증 서버(30)는 적어도 하나의 타겟 객체(T)에 각각에 대하여 증강 현실 콘텐츠의 등록이 허용된 적어도 하나의 콘텐츠 제공자에 대한 정보를 미리 저장할 수 있다. 인증 서버(30)는 미리 저장된 타겟 객체(T)와 그에 대응하는 콘텐츠 제공자에 대한 정보를, 등록 서버(20)로부터 수신된 인증 정보와 대조하여 콘텐츠 제공자를 검증할 수 있다. To this end, the
인증 서버(30)는 타겟 객체(T)에 대해 기등록된 아이디/패스워드, 공인인증서, OTP(One Time Password) 등을 등록 서버(20)로부터 수신된 정보와 비교하는 지식 기반 인증 방법, 또는 타겟 객체(T)에 대해 기등록된 지문, 홍채, 음성, 얼굴 이미지 등의 생체 정보를 수신된 정보와 비교하는 생체 정보 기반 인증 방법을 이용하여 콘텐츠 제공자를 인증할 수 있다. 다만, 인증 방식이 상술할 것으로 한정되지 않는다. The
타겟 서버(40)는 등록 서버(20)로부터 수신되는 타겟 객체(T)에 대한 정보를 저장하고 관리하기 위해 마련된다. 타겟 객체(T)의 정보는 해당 타겟 객체(T)를 식별하기 위한 식별자를 포함할 수 있다. The
또한, 타겟 객체(T)의 정보는 타겟 객체(T)의 현실 영상 내에서 추출되는 인식 정보를 더 포함할 수 있다. 인식 정보는, 예를 들어, 타겟 객체(T)에 마련되는 마커(예를 들어, QR 코드 등), 타겟 객체(T)의 형태로부터 추출되는 특징점에 관한 정보, 타겟 객체(T)의 위치 정보 중 적어도 하나를 포함할 수 있다. 일 실시 예에서, 인식 정보는 타겟 객체(T) 자체에 관한 것이 아닐 수 있으며, 타겟 객체(T)와 연계하여 타겟 객체(T)를 지시할 수 있는 임의의 사람, 인체, 물체, 위치 등의 정보이면 어느 것이든 가능하다.In addition, the information of the target object T may further include recognition information extracted from a real image of the target object T. Recognition information is, for example, a marker provided on the target object T (eg, a QR code, etc.), information about feature points extracted from the shape of the target object T, and location information of the target object T. may include at least one of them. In one embodiment, the recognition information may not be related to the target object T itself, and may indicate any person, human body, object, location, etc. that may indicate the target object T in association with the target object T. Any information is possible.
타겟 서버(40)는 후술되는 단말(60)로부터 현실 영상이 수신될 때, 현실 영상 내에서 추출되는 인식 정보로부터 타겟 객체(T)를 식별하고, 식별된 타겟 객체(T)의 식별자를 단말(60) 또는 콘텐츠 서버(50)로 전송할 수 있다. 이를 위하여 타겟 서버(40)는 영상 분석을 통해 현실 영상으로부터 적어도 하나의 마커 또는 특징점을 획득하고, 이를 기저장된 타겟 객체(T)들의 정보와 비교하여 타겟 객체(T)를 식별할 수 있다. 타겟 서버(40)는 식별된 타겟 객체(T)의 식별자를 단말(60) 또는 콘텐츠 서버(50)로 전송할 수 있다. When a real image is received from the terminal 60 described later, the
콘텐츠 서버(50)는 등록 서버(20)로부터 수신되는 타겟 객체(T)에 대응하는 증강 현실 콘텐츠를 저장하고 관리하기 위해 마련된다. 증강 현실 콘텐츠는, 타겟 객체(T)를 포함하는 영상 내에 합성될 텍스트, 궤적, 이미지, 이모티콘 등과 같은 그래픽 객체 및/또는 이들 중 적어도 하나를 포함하는 파일 객체를 포함할 수 있다. 증강 현실 콘텐츠는, 그래픽 객체 및/또는 파일 객체가 영상 내에서 결합될 시간 및 위치에 관한 정보를 포함할 수 있다. The
콘텐츠 서버(50)는 증강 현실 콘텐츠를 해당 증강 현실 콘텐츠에 대응하는 타겟 객체(T)의 식별자를 함께 저장할 수 있다. 콘텐츠 서버(50)는 이러한 식별자를 이용하여 타겟 객체(T)에 대응하는 증강 현실 콘텐츠를 선택할 수 있다. The
콘텐츠 서버(50)는 타겟 서버(40) 또는 단말(60)로부터 타겟 객체(T)에 대한 정보, 예를 들어 타겟 객체(T)의 식별자가 수신될 때, 수신된 타겟 객체(T)에 대응하는 증강 현실 콘텐츠를 단말(60)로 전송할 수 있다.When the
단말(60)은 타겟 서버(40)와 콘텐츠 서버(50)를 통해 증강 현실 서비스를 제공받을 수 있다. 예를 들어, 단말(60)은 타겟 객체(T)에 대한 현실 영상을 촬영하고 촬영된 영상을 실시간으로 타겟 서버(40)에 전송할 수 있다. The terminal 60 may receive an augmented reality service through the
일 실시 예에서, 단말(60)은 상기 현실 영상의 전송에 응답하여 타겟 서버(40)로부터 수신되는 타겟 객체(T)의 식별자를, 콘텐츠 서버(50)로 전달할 수 있다. 다른 실시 예에서, 타겟 서버(40)가 콘텐츠 서버(50)로 직접 타겟 객체(T)의 식별자를 전달할 수도 있다. In one embodiment, the terminal 60 may transmit the identifier of the target object T received from the
단말(60)은 상기 타겟 객체(T)의 식별자의 전송에 응답하여 콘텐츠 서버(50)로부터 타겟 객체(T)에 대응하는 증강 현실 콘텐츠를 수신할 수 있다. 단말(60)은 증강 현실 콘텐츠의 시간 및 위치 정보에 기초하여 증강 현실 콘텐츠 내의 그래픽 객체 및/또는 파일 객체를 촬영 중인 현실 영상에 실시간으로 합성할 수 있다. 단말(60)은 이와 같이 생성된 증강 현실 영상을 표시하여, 사용자에게 타겟 객체(T)에 대한 사용법 등을 가이드할 수 있다. The terminal 60 may receive augmented reality content corresponding to the target object T from the
단말(60)은 휴대폰, 스마트 폰, PDA(personal digital assistants), 태블릿, 컴퓨터, 노트북과 같은 전자 장치 또는 헤드 마운트 디스플레이(Head Mounted Display; HMD), 와치, 스마트 글래스 등과 같은 웨어러블 장치일 수 있다. The terminal 60 may be an electronic device such as a mobile phone, smart phone, personal digital assistants (PDAs), tablets, computers, and notebooks, or a wearable device such as a head mounted display (HMD), a watch, and smart glasses.
일 실시 예에서, 단말(60)의 사용자는 타겟 객체(T)의 사용자 및/또는 구매자일 수 있다. 그러나 본 실시 예가 이로써 한정되지 않는다. In one embodiment, the user of the terminal 60 may be a user and/or a purchaser of the target object T. However, this embodiment is not limited thereto.
상술한 실시 예에서, 등록 서버(20), 타겟 서버(40) 및 콘텐츠 서버(50)는 각각 별개의 서버인 것으로 도시되었다. 그러나 본 실시 예는 이로써 한정되지 않으며, 등록 서버(20), 타겟 서버(40) 및 콘텐츠 서버(50) 중 적어도 두 개의 장치가 하나의 장치로 통합될 수 있다. In the above-described embodiment, the
인증 서버(30)는 인증 기관에 의해 운영되는 독립적인 서버일 수 있으나, 본 실시 예가 이로써 한정되지 않는다. 즉, 인증 서버(30)는 본 실시 예에 따른 증강 현실 서비스를 제공하는 기관에 의해 운영되는 것으로, 등록 서버(20), 타겟 서버(40) 및 콘텐츠 서버(50) 중 하나 또는 둘 이상과 통합되어 운영될 수 있다.The
도 2는 일 실시 예에 따른 증강 현실 서비스 제공 방법을 나타낸 흐름도이다. 2 is a flowchart illustrating a method of providing an augmented reality service according to an embodiment.
도 2를 참조하면, 먼저 콘텐츠 제공자 장치(10)는 콘텐츠 제공자를 통해 등록할 증강 현실 콘텐츠를 직접 입력받거나 요청에 따라 증강 현실 콘텐츠를 생성할 수 있다. 콘텐츠 제공자 장치(10)는 등록할 증강 현실 콘텐츠에 대응하는 타겟 객체(T)에 대한 정보를 함께 입력받을 수 있다. 콘텐츠 제공자 장치(10)는 타겟 객체(T)에 대한 정보와 해당 타겟 객체(T)에 대해 등록하고자 하는 증강 현실 콘텐츠를 포함하여, 콘텐츠 등록 요청을 등록 서버(20)로 전송할 수 있다(101).Referring to FIG. 2 , first, the
콘텐츠 등록 요청이 수신되면, 등록 서버(20)는 콘텐츠 제공자를 인증하기 위한 인증 정보를 콘텐츠 제공자 장치(10)로 요청하여 수신할 수 있다. 또한, 등록 서버(20)는 인증 서버(30)를 통해 콘텐츠 제공자를 검증할 수 있다. When the content registration request is received, the
이를 위해, 등록 서버(20)는 콘텐츠 제공자 장치(10)로부터 수신된 타겟 객체(T)에 대한 정보와 인증 정보를 포함하여, 인증 요청을 인증 서버(30)로 전송할 수 있다(102).To this end, the
인증 서버(30)는 적어도 하나의 타겟 객체(T)에 각각에 대하여 증강 현실 콘텐츠의 등록이 허용된 적어도 하나의 콘텐츠 제공자에 대한 정보를 미리 저장할 수 있다. 인증 서버(30)는 인증 요청에 의해 요청된 타겟 객체(T)에 대하여 미리 저장된 콘텐츠 제공자의 정보를, 등록 서버(20)로부터 수신된 인증 정보와 대조할 수 있다. 기저장된 콘텐츠 제공자의 정보와 수신된 인증 정보가 일치하면, 인증 서버(30)는 인증 성공을 알리는 인증 결과를 등록 서버(20)로 전송할 수 있다(103). 반대로, 기저장된 콘텐츠 제공자의 정보와 수신된 인증 정보가 일치하지 않으면, 인증 서버(30)는 인증 실패를 알리는 인증 결과를 등록 서버(20)로 전송할 수 있다(103).The
인증이 실패하면, 등록 서버(20)는 콘텐츠 제공자 장치(10)로 인증 실패를 알리고, 콘텐츠 등록 절차를 종료할 수 있다. 인증이 성공하면, 등록 서버(20)는 콘텐츠 제공자 장치(10)로부터 수신된 타겟 객체(T)에 관한 정보와 증강 현실 콘텐츠를 등록할 수 있다.If the authentication fails, the
예를 들어, 등록 서버(20)는 타겟 객체(T)에 대한 정보를 타겟 서버(40)로 전송하고(104), 증강 현실 콘텐츠를 콘텐츠 서버(50)로 전송할 수 있다(105). 타겟 서버(40)는 등록 서버(20)로부터 수신된 타겟 객체(T)의 정보로, 예를 들어 해당 타겟 객체(T)의 식별자 및 타겟 객체(T)의 현실 영상에서 추출되는 인식 정보를 저장할 수 있다. For example, the
콘텐츠 서버(50)는 등록 서버(20)로부터 수신되는 증강 현실 콘텐츠를 타겟 객체(T)의 정보와 매핑하여 함께 저장할 수 있다. 여기서, 증강 현실 콘텐츠는, 타겟 객체(T)를 포함하는 영상 내에 합성될 텍스트, 궤적, 이미지, 이모티콘 등과 같은 그래픽 객체 및/또는 이들 중 적어도 하나를 포함하는 파일 객체를 포함할 수 있다. 증강 현실 콘텐츠는, 그래픽 객체 및/또는 파일 객체가 영상 내에서 결합될 시간 및 위치에 관한 정보를 포함할 수 있다. The
도 3은 일 실시 예에 따른 증강 현실 콘텐츠 제공 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a method of providing augmented reality content according to an embodiment.
도 3을 참조하면, 단말(60)은 현실 영상을 촬영하고, 촬영된 현실 영상을 타겟 서버(40)에 실시간으로 전송할 수 있다(201). 일 실시 예에서, 현실 영상은 타겟 객체(T)의 영상을 포함할 수 있다. Referring to FIG. 3 , the terminal 60 may capture a real image and transmit the captured reality image to the
타겟 서버(40)는 단말(60)로부터 수신된 현실 영상을 분석하여 타겟 객체(T)의 인식 정보를 획득할 수 있다. 예를 들어, 타겟 서버(40)는 영상 내에서 마커(예를 들어, QR 코드 등), 특징점, 위치 정보 중 적어도 하나를 추출할 수 있다. 타겟 서버(40)는 캐니 엣지 검출(Canny edge detector) 알고리즘, 해리스 코너(Harris corner) 검출 알고리즘, 하르 기반 특징 알고리즘(Haar-like feature), HOG(Histogram of Oriented Gradient) 알고리즘 또는 딥러닝에 기반한 알고리즘 등과 같은 다양한 객체 검출 알고리즘을 통해 인식 정보를 획득할 수 있다. The
일 실시 예에서, 인식 정보는 단말(60)에 의해 추출될 수 있다. 즉, 단말(60)은 실시간으로 촬영되는 현실 영상을 분석하여 인식 정보를 추출하고, 인식 정보를 타겟 서버(40)로 전송할 수 있다. In one embodiment, identification information may be extracted by the terminal 60 . That is, the terminal 60 may extract recognition information by analyzing a real image captured in real time, and transmit the recognition information to the
타겟 서버(40)는 기저장된 타겟 객체(T)들의 정보로부터 수신된 인식 정보에 대응하는 타겟 객체(T)를 식별할 수 있다. 타겟 서버(40)는 식별된 타겟 객체(T)의 식별자를 단말(60)로 전송할 수 있다(202). The
단말(60)은 수신된 타겟 객체(T)의 식별자를 콘텐츠 서버(50)로 전달한다(203). 일 실시 예에서, 타겟 서버(40)는 타겟 객체(T)의 식별자를 콘텐츠 서버(50)로 직접 전달할 수도 있다. The terminal 60 transfers the received identifier of the target object T to the content server 50 (203). In one embodiment, the
콘텐츠 서버(50)는 수신된 타겟 객체(T)의 식별자에 대응하여 기저장된 증강 현실 콘텐츠를 단말(60)로 전송한다(204). 단말(60)은 콘텐츠 서버(50)로부터 수신된 증강 현실 콘텐츠를 단말(60)에서 촬영되는 현실 영상에 실시간으로 합성하여 증강 현실 영상을 생성하고, 이를 표시할 수 있다. 이와 같은 방법을 통해, 단말(60)의 사용자는 의료 장비 등과 같은 타겟 객체(T)에 대해 증강 현실 콘텐츠를 통한 가이드를 제공받을 수 있다. The
도 4는 일 실시 예에 따른 서버의 구조를 나타낸 블록도이다. 도 4에 도시된 서버(1000)는, 상술하여 설명한 등록 서버(20), 인증 서버(30) 또는 타겟 서버(40)일 수 있다. 또는, 도 4에 도시된 서버(1000)는 등록 서버(20), 인증 서버(30) 또는 타겟 서버(40)의 기능을 통합하여 수행하는 하나의 중개 서버일 수 있다. 4 is a block diagram showing the structure of a server according to an embodiment. The
도 4를 참조하면, 서버(1000)는 통신부(1100), 제어부(1200) 및 저장부(1300)를 포함하여 구성될 수 있다. Referring to FIG. 4 , a
통신부(1100)는 네트워크를 통해 외부의 다른 장치, 예를 들어 도 1을 참조하여 설명한 콘텐츠 제공자 장치(10), 단말(60) 및/또는 다른 서버와 통신을 수행할 수 있다. 통신부(1100)는 유선 통신 방식 또는 Wibro, HSDPA, GSM, CDMA, Wi-Fi, 3G 4G LTE, 5G 등과 같은 무선 통신 방식을 이용하여 외부와 통신할 수 있다. The
통신부(1100)는 제어부(1200)를 통하여 전송 지시된 데이터를 전송 가능한 형태의 아날로그 신호로 변환하여 외부로 전송하고, 외부로부터 수신된 데이터를 디지털 형태로 처리하여 제어부(1200)로 전달할 수 있다. The
제어부(1200)는 서버(1000)의 전반적인 동작을 제어할 수 있다. The
일 실시 예에서, 제어부(1200)는 콘텐츠 제공자 장치(10)로부터 콘텐츠 등록 요청이 수신되면, 콘텐츠 등록 요청에 포함된 인증 정보를 인증 서버(30)로 전송하고, 인증 서버(30)로부터 인증 결과를 획득할 수 있다. 제어부(1200)는 인증이 성공하는 경우에, 콘텐츠 등록 요청에 포함된 타겟 객체(T)에 대한 정보와 증강 현실 콘텐츠를 타겟 서버(40)와 콘텐츠 서버(50)에 각각 전송할 수 있다.In one embodiment, when a content registration request is received from the
일 실시 예에서, 제어부(1200)는 외부에서 수신되는 타겟 객체(T)에 대한 정보 및/또는 증강 현실 콘텐츠를 저장부(1300)에 임시 또는 영구적으로 저장할 수 있다. 타겟 객체(T)에 대한 정보는 타겟 객체(T)에 할당된 식별자 및 타겟 객체(T)의 영상 내에서 추출되는 인식 정보를 포함할 수 있다. 증강 현실 콘텐츠는 그래픽 객체 및/또는 파일 객체를 포함할 수 있고, 영상 내에서 그래픽 객체 및/또는 파일 객체가 합성되어야 할 시간 및 위치에 관한 정보를 포함할 수 있다.In one embodiment, the
일 실시 예에서, 제어부(1200)는 외부에서 수신되는 현실 영상을 분석하여 인식 정보를 획득하고, 인식 정보에 대응하는 타겟 객체(T)의 정보를 판단할 수 있다. 제어부(1200)는 판단된 타겟 객체(T)의 정보를 기초로, 대응되는 증강 현실 콘텐츠를 선택하여 단말(60) 등으로 전송할 수 있다. In an embodiment, the
저장부(1300)는 제어부(1200)의 제어에 따라 데이터를 저장할 수 있다. 저장부(1300)는 서버(1000)를 구동하기 위해 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다. 또한, 저장부(1300)는 제어부(1200)의 제어에 따라, 타겟 객체(T)에 대한 정보 및 그에 대응하는 증강 현실 콘텐츠를 저장할 수 있다. 이를 위해, 저장부(1300)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The
도 5는 일 실시 예에 따른 단말의 구조를 나타낸 블록도이다. 도 5에 도시된 단말(2000)은, 상술하여 설명한 콘텐츠 제공자 장치(10) 또는 단말(60)일 수 있다. 5 is a block diagram showing the structure of a terminal according to an embodiment. The terminal 2000 shown in FIG. 5 may be the above-described
도 5를 참조하면, 단말(2000)은 카메라부(2100), 입력부(2200), 표시부(2300), 통신부(2400), 제어부(2500) 및 저장부(2600)를 포함하여 구성될 수 있다. Referring to FIG. 5 , a terminal 2000 may include a
카메라부(2100)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 본 발명의 다양한 실시 예에서, 카메라부(2100)는 사용자의 현실 공간(피사체)의 형태와 깊이감을 식별할 수 있는 깊이 카메라(depth camera)를 포함하여 구성될 수 있다. 처리된 화상 프레임은 표시부(2300)에 표시되거나 저장부(2600)에 저장될 수 있다. The
일 실시 예에서, 카메라부(2100)는 사용자의 요청에 따라 현실 세계의 영상을 촬영한다. 촬영된 영상 내에는 의료 장비, 가전 기기, 운동 기기와 같은 적어도 하나의 타겟 객체가 포함될 수 있다. In one embodiment, the
입력부(2200)는 사용자의 다양한 입력을 수신한다. 입력부(2200)는 마우스, 키보드, 터치 패드, 키 패드, 조그 다이얼, 돔 스위치, 버튼 등의 기계식 입력 수단 또는 표시부(2300) 상에 표시되는 가상 입력 수단을 포함할 수 있다. 가상 입력 수단은 예를 들어, 그래픽, 텍스트, 아이콘, 비디오 또는 이들의 조합으로 이루어질 수 있다. The input unit 2200 receives various user inputs. The input unit 2200 may include a mechanical input unit such as a mouse, a keyboard, a touch pad, a key pad, a jog dial, a dome switch, and a button, or a virtual input unit displayed on the
일 실시 예에서, 입력부(2200)는 증강 현실 콘텐츠를 등록하거나 카메라부(2100)를 통해 촬영 중인 현실 영상 내의 타겟 객체에 대한 증강 현실 콘텐츠를 획득하기 위해 사용자 입력을 수신할 수 있다. In an embodiment, the input unit 2200 may receive a user input to register augmented reality content or obtain augmented reality content for a target object in a reality image being captured through the
표시부(2300)는 단말(2000)에서 처리되는 다양한 정보들을 시각적으로 표시할 수 있다. 표시부(2300)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED) 디스플레이, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The
통신부(2400)는 네트워크를 통해 외부의 다른 장치, 예를 들어 도 4를 참조하여 설명한 서버(1000)와 통신을 수행할 수 있다. 예를 들어, 통신부(2400)는 유선 통신 방식 또는 Wibro, HSDPA, GSM, CDMA, Wi-Fi, 3G 4G LTE, 5G 등과 같은 무선 통신 방식을 이용하여 외부와 통신할 수 있다. The
통신부(2400)는 제어부(2500)를 통하여 전송 지시된 데이터를 전송 가능한 형태의 아날로그 신호로 변환하여 외부로 전송하고, 외부로부터 수신된 데이터를 디지털 형태로 처리하여 제어부(2500)로 전달할 수 있다. The
제어부(2500)는 본 발명에 따른 증강 현실 서비스를 제공받기 위하여, 단말(2000)의 각 구성 요소들을 제어하도록 구성된다.The
일 실시 예에서, 제어부(2500)는 단말(2000)에서 생성되거나 외부로부터 입력된 증강 현실 콘텐츠를 인증 정보 등과 함께 외부의 서버 등에 전송할 수 있다. 또한, 제어부(2500)는 카메라부(2100)를 통해 촬영되는 현실 세계의 영상과 외부에서 수신되는 증강 현실 콘텐츠를 합성하여 증강 현실 영상을 생성할 수 있다. 제어부(2500)는 증강 현실 콘텐츠에 대한 시간 정보 및 위치 정보를 이용하여 영상의 지시된 위치에 증강 현실 콘텐츠를 합성하여 증강 현실 영상을 생성할 수 있다. In one embodiment, the
저장부(2600)는 제어부(2500)의 제어에 따라 데이터를 저장할 수 있다. 저장부(2600)는 단말(2000)을 구동하기 위해 필요한 운영 체제, 프로그램, 소프트웨어 등을 저장할 수 있다. 저장부(2600)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. Those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. And the embodiments disclosed in this specification and drawings are only presented as specific examples to easily explain the content of the present invention and aid understanding, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modifications derived based on the technical idea of the present invention in addition to the embodiments disclosed herein.
1: 시스템 10: 콘텐츠 제공자 장치
20: 등록 서버 30: 인증 서버
40: 타겟 서버 50: 콘텐츠 서버
60: 단말1: system 10: content provider device
20: registration server 30: authentication server
40: target server 50: content server
60: Terminal
Claims (19)
임의의 타겟 객체에 대한 증강 현실 콘텐츠를 등록하기 위하여 콘텐츠 등록 요청을 전송하는 콘텐츠 제공자 장치;
상기 타겟 객체에 대하여 증강 현실 컨텐츠의 등록이 허용된 적어도 하나의 콘텐츠 제공자에 대한 콘텐츠 제공자 정보들을 기저장하고, 상기 콘텐츠 등록 요청을 전송한 콘텐츠 제공자의 인증 정보와 상기 기저장된 콘텐츠 제공자 정보들을 비교하여, 상기 콘텐츠 제공자가 상기 타겟 객체에 대하여 상기 증강 현실 컨텐츠의 등록이 허용된 콘텐츠 제공자인지 인증하는 인증 서버; 및
상기 콘텐츠 등록 요청이 수신되면, 상기 인증 서버를 통하여 상기 콘텐츠 제공자의 인증이 성공하는 경우에, 상기 타겟 객체에 대한 정보 및 상기 증강 현실 콘텐츠를 등록하는 등록 서버를 포함하는, 시스템. As an augmented reality content providing system,
a content provider device that transmits a content registration request to register augmented reality content for an arbitrary target object;
Pre-stored content provider information on at least one content provider permitted to register augmented reality content with respect to the target object, and compare authentication information of the content provider that transmitted the content registration request with the pre-stored content provider information , Authentication server for authenticating whether the content provider is a content provider permitted to register the augmented reality content with respect to the target object; and
When the content registration request is received, a registration server registering information on the target object and the augmented reality content when authentication of the content provider succeeds through the authentication server.
상기 타겟 객체에 할당된 식별자 및 상기 타겟 객체의 영상으로부터 획득될 수 있는 인식 정보를 포함하고,
상기 인식 정보는,
상기 타겟 객체에 마련되는 마커, 상기 타겟 객체의 형태로부터 추출되는 특징점, 상기 타겟 객체의 위치, 상기 타겟 객체와 연계하여 상기 타겟 객체를 지시하는 임의의 인체 또는 물체에 관한 정보 중 적어도 하나를 포함하는, 시스템.The method of claim 1, wherein the information on the target object,
Includes identification information that can be obtained from an identifier assigned to the target object and an image of the target object,
The recognition information,
At least one of a marker provided on the target object, a feature point extracted from the shape of the target object, a location of the target object, and information about any human body or object indicating the target object in association with the target object , system.
상기 등록 서버로부터 상기 콘텐츠 제공자의 상기 인증 정보가 수신되면, 상기 인증 정보와 상기 기저장된 콘텐츠 제공자 정보들을 비교하고, 상기 인증 정보가 상기 기저장된 콘텐츠 제공자 정보들 중 어느 하나와 일치하면 상기 인증이 성공한 것으로 판단하여 상기 등록 서버로 인증 결과를 전송하는, 시스템. The method of claim 2, wherein the authentication server,
When the authentication information of the content provider is received from the registration server, the authentication information is compared with the pre-stored content provider information, and if the authentication information matches any one of the pre-stored content provider information, the authentication is successful. A system that determines that it is, and transmits an authentication result to the registration server.
상기 등록 서버로부터 상기 타겟 객체에 대한 정보를 수신하여 저장하는 타겟 서버; 및
상기 등록 서버로부터 상기 증강 현실 콘텐츠를 수신하여 저장하는 콘텐츠 서버를 더 포함하는, 시스템. According to claim 3,
a target server receiving and storing information on the target object from the registration server; and
The system further comprises a content server that receives and stores the augmented reality content from the registration server.
상기 증강 현실 콘텐츠를 상기 타겟 객체의 식별자와 연계하여 저장하는, 시스템.The method of claim 4, wherein the content server,
A system for storing the augmented reality content in association with an identifier of the target object.
상기 타겟 객체에 대한 현실 영상을 촬영하여 상기 타겟 서버로 전송하고, 상기 타겟 객체에 대응하는 상기 증강 현실 콘텐츠가 수신되면, 상기 현실 영상 상에 상기 증강 현실 콘텐츠를 합성하여 증강 현실 영상을 표시하는 단말을 더 포함하는, 시스템. According to claim 5,
A terminal for capturing a reality image of the target object, transmitting the image to the target server, and displaying the augmented reality image by synthesizing the augmented reality content on the reality image when the augmented reality content corresponding to the target object is received. Further comprising a system.
상기 단말로부터 상기 현실 영상이 수신되면, 상기 현실 영상으로부터 인식 정보를 추출하고, 상기 인식 정보에 대응하는 타겟 객체의 식별자를 상기 콘텐츠 서버 또는 상기 단말로 전송하는, 시스템. The method of claim 6, wherein the target server,
When the real image is received from the terminal, recognition information is extracted from the real image, and an identifier of a target object corresponding to the recognition information is transmitted to the content server or the terminal.
상기 타겟 서버로부터 수신된 상기 타겟 객체의 식별자를 상기 콘텐츠 서버로 전송하는, 시스템.The method of claim 7, wherein the terminal,
Transmitting the identifier of the target object received from the target server to the content server.
상기 타겟 서버 또는 상기 단말로부터 수신된 상기 타겟 객체의 식별자에 대응하여 기저장된 증강 현실 콘텐츠를 상기 단말로 전송하는, 시스템. The method of claim 7, wherein the content server,
Transmitting pre-stored augmented reality content to the terminal corresponding to the identifier of the target object received from the target server or the terminal.
상기 증강 현실 콘텐츠의 그래픽 객체 및 파일 객체 중 적어도 하나를 상기 증강 현실 콘텐츠의 위치 정보에 따라 상기 현실 영상 내의 특정 위치에 합성하여 표시하는, 시스템.The method of claim 9, wherein the terminal,
A system that synthesizes and displays at least one of a graphic object and a file object of the augmented reality content at a specific location in the reality image according to location information of the augmented reality content.
의료 장비를 포함하고,
상기 증강 현실 콘텐츠는,
상기 의료 장비의 사용법을 안내하기 위한 정보를 포함하는, 시스템. The method of claim 1, wherein the target object,
including medical equipment;
The augmented reality content,
A system comprising information for guiding how to use the medical equipment.
인증 서버가 각각의 타겟 객체에 대해 증강 현실 컨텐츠의 등록이 허용된 적어도 하나의 콘텐츠 제공자에 대한 콘텐츠 제공자 정보들을 기저장하는 단계;
콘텐츠 제공자 장치가 임의의 타겟 객체에 대한 증강 현실 콘텐츠를 등록하기 위하여 콘텐츠 등록 요청을 등록 서버로 전송하는 단계;
상기 등록 서버가 상기 콘텐츠 제공자 장치로부터 수신된 콘텐츠 제공자의 인증 정보를 상기 인증 서버로 전송하는 단계;
상기 인증 서버가 상기 기저장된 콘텐츠 제공자 정보와 상기 인증 정보를 비교하여 상기 콘텐츠 제공자가 상기 타겟 객체에 대하여 상기 증강 현실 컨텐츠의 등록이 허용된 콘텐츠 제공자인지 인증하는 단계; 및
상기 등록 서버가 상기 인증 서버에 의해 상기 콘텐츠 제공자의 인증이 성공하면, 상기 타겟 객체에 대한 정보 및 상기 증강 현실 콘텐츠를 등록하는 단계를 포함하는, 방법. As a method of providing augmented reality content,
pre-storing, by an authentication server, content provider information about at least one content provider permitted to register augmented reality content for each target object;
transmitting, by a content provider device, a content registration request to a registration server to register augmented reality content for an arbitrary target object;
transmitting, by the registration server, authentication information of a content provider received from the content provider device to the authentication server;
authenticating, by the authentication server, whether the content provider is a content provider permitted to register the augmented reality content with respect to the target object by comparing the pre-stored content provider information with the authentication information; and
and registering, by the registration server, information on the target object and the augmented reality content when authentication of the content provider by the authentication server succeeds.
상기 타겟 객체에 할당된 식별자 및 상기 타겟 객체의 영상으로부터 획득될 수 있는 인식 정보를 포함하고,
상기 인식 정보는,
상기 타겟 객체에 마련되는 마커, 상기 타겟 객체의 형태로부터 추출되는 특징점, 상기 타겟 객체의 위치, 상기 타겟 객체와 연계하여 상기 타겟 객체를 지시하는 임의의 인체 또는 물체에 관한 정보 중 적어도 하나를 포함하는, 방법. The method of claim 12, wherein the information on the target object,
Includes identification information that can be obtained from an identifier assigned to the target object and an image of the target object,
The recognition information,
At least one of a marker provided on the target object, a feature point extracted from the shape of the target object, a location of the target object, and information about any human body or object indicating the target object in association with the target object , method.
타겟 서버가 상기 등록 서버로부터 수신된 상기 타겟 객체에 대한 정보를 저장하는 단계; 및
콘텐츠 서버가 상기 등록 서버로부터 수신된 상기 증강 현실 콘텐츠를 저장하는 단계를 포함하는, 방법. The method of claim 13, wherein registering information on the target object and the augmented reality content comprises:
storing, by a target server, information about the target object received from the registration server; and
and a content server storing the augmented reality content received from the registration server.
상기 콘텐츠 서버가 상기 증강 현실 콘텐츠를 상기 타겟 객체의 식별자와 연계하여 저장하는, 방법. 15. The method of claim 14, wherein storing the augmented reality content comprises:
The content server stores the augmented reality content in association with the identifier of the target object.
단말이 상기 타겟 객체에 대한 현실 영상을 촬영하여 상기 타겟 서버로 전송하는 단계;
상기 타겟 서버가 상기 현실 영상으로부터 인식 정보를 추출하는 단계; 및
상기 타겟 서버가 상기 인식 정보에 대응하는 타겟 객체의 식별자를 상기 콘텐츠 서버 또는 상기 단말로 전송하는 단계를 더 포함하는, 방법. According to claim 15,
photographing a real image of the target object by a terminal and transmitting the image to the target server;
extracting, by the target server, recognition information from the real image; and
The method further comprising transmitting, by the target server, an identifier of a target object corresponding to the identification information to the content server or the terminal.
상기 단말이 상기 타겟 서버로부터 수신된 상기 타겟 객체의 식별자를 상기 콘텐츠 서버로 전송하는 단계를 더 포함하는, 방법. The method of claim 16, after the step of the target server transmitting the identifier of the target object corresponding to the recognition information to the terminal,
The method further comprises transmitting, by the terminal, the identifier of the target object received from the target server to the content server.
상기 콘텐츠 서버가 상기 타겟 서버 또는 상기 단말로부터 수신된 상기 타겟 객체의 식별자에 대응하여 기저장된 증강 현실 콘텐츠를 상기 단말로 전송하는 단계를 더 포함하는, 방법. According to claim 16,
The method further comprising transmitting, by the content server, pre-stored augmented reality content corresponding to the identifier of the target object received from the target server or the terminal to the terminal.
상기 단말이 상기 현실 영상 상에 상기 증강 현실 콘텐츠를 합성하여 증강 현실 영상을 표시하는 단계를 더 포함하는, 방법. According to claim 18,
The method further comprising displaying, by the terminal, an augmented reality image by synthesizing the augmented reality content on the reality image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210009906A KR102537147B1 (en) | 2021-01-25 | 2021-01-25 | System and method for providing certified augmented reality content |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210009906A KR102537147B1 (en) | 2021-01-25 | 2021-01-25 | System and method for providing certified augmented reality content |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220107363A KR20220107363A (en) | 2022-08-02 |
KR102537147B1 true KR102537147B1 (en) | 2023-05-26 |
Family
ID=82845533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210009906A Active KR102537147B1 (en) | 2021-01-25 | 2021-01-25 | System and method for providing certified augmented reality content |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102537147B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024136189A1 (en) * | 2022-12-20 | 2024-06-27 | 주식회사 아티젠스페이스 | Portable terminal and system |
KR102771916B1 (en) * | 2023-03-24 | 2025-02-25 | 주식회사 아티젠스페이스 | Mobile terminal and system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101568295B1 (en) * | 2015-04-29 | 2015-11-12 | 주식회사 인솔엠앤티 | Information output method of augmented reality |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101180278B1 (en) | 2010-02-25 | 2012-09-07 | 연세대학교 산학협력단 | User manual providing terminal, server and method using augmented reality |
KR20120099814A (en) | 2011-01-27 | 2012-09-12 | 리얼타임비쥬얼(주) | Augmented reality contents service system and apparatus and method |
KR20150001551A (en) | 2013-06-27 | 2015-01-06 | 국민대학교산학협력단 | Method of providing expanded support for target image handling in augmented reality by database multi-mounting in a single memory, and computer-readable recording medium for the same |
KR101615171B1 (en) * | 2014-01-22 | 2016-05-12 | 단국대학교 산학협력단 | system and method for providing collaborative contents service based on augmented reality |
KR20190124045A (en) * | 2018-04-25 | 2019-11-04 | 한길씨앤씨 주식회사 | System for training and education using augmented reality and method for training and education using therof |
-
2021
- 2021-01-25 KR KR1020210009906A patent/KR102537147B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101568295B1 (en) * | 2015-04-29 | 2015-11-12 | 주식회사 인솔엠앤티 | Information output method of augmented reality |
Also Published As
Publication number | Publication date |
---|---|
KR20220107363A (en) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10884597B2 (en) | User interface customization based on facial recognition | |
US9531710B2 (en) | Behavioral authentication system using a biometric fingerprint sensor and user behavior for authentication | |
US9904808B2 (en) | Numeric keypad encryption for augmented reality devices | |
US11790064B2 (en) | Motion-based credentials using magnified motion | |
US10789353B1 (en) | System and method for augmented reality authentication of a user | |
KR20150122123A (en) | Systems and methods for authenticating a user based on a biometric model associated with the user | |
US10217009B2 (en) | Methods and systems for enhancing user liveness detection | |
CN108446638A (en) | Auth method, device, storage medium and electronic equipment | |
US20180357400A1 (en) | Electronic device and method for providing user information | |
EP2605167A1 (en) | Private/Public Gesture Security system and method of operation thereof | |
US20200366670A1 (en) | A system and method for authenticating a user | |
KR102537147B1 (en) | System and method for providing certified augmented reality content | |
EP3786820B1 (en) | Authentication system, authentication device, authentication method, and program | |
Chabbi et al. | Dynamic array PIN: A novel approach to secure NFC electronic payment between ATM and smartphone | |
KR102014408B1 (en) | Method and computer program for user authentication using image touch password | |
US20200201977A1 (en) | Method for authenticating a first user and corresponding first device and system | |
US20240214208A1 (en) | Techniques for providing a digital keychain for physical objects | |
EP3877878B1 (en) | Device and method to control access to protected functionality of applications | |
KR102425846B1 (en) | augmented reality system and method operating based on scenario | |
CN110895688A (en) | System and method for identifying user identity | |
EP3270313A1 (en) | Optical authorization method for programs and files | |
KR20140070677A (en) | Image information transfer method, camera device and computer-readable storage using fingerprint | |
JP2018195141A (en) | Visual-line-based entrance management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20210125 |
|
PA0201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220729 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230329 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230523 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20230524 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration |