KR20220148543A

KR20220148543A - Method and apparatus for providing augmented reality content

Info

Publication number: KR20220148543A
Application number: KR1020210055732A
Authority: KR
Inventors: 김주영; 박상헌; 이병규; 정성욱
Original assignee: 한국전자통신연구원
Priority date: 2021-04-29
Filing date: 2021-04-29
Publication date: 2022-11-07

Abstract

증강 현실 콘텐츠 제공 방법 및 장치가 개시된다. 서비스 서버에서 수행되는 증강 현실 콘텐츠 제공 방법은 사용자 단말로부터 사용자의 신체를 포함하는 이미지 데이터 및 이미지 데이터 상에서 사용자의 관절 위치의 좌표 정보 중 적어도 하나를 수신하는 단계, 관절 위치의 좌표 정보에 기초하여 이미지 데이터로부터 바닥면의 좌표 정보를 결정하는 단계, 바닥면의 좌표 정보 및 관절 위치의 좌표 정보 중 적어도 하나를 콘텐츠 생성 서버에 전송하는 단계, 전송에 응답하여 콘텐츠 생성 서버로부터 증강 현실 콘텐츠를 수신하는 단계 및 수신한 증강 현실 콘텐츠를 사용자 단말에 전송하는 단계를 포함할 수 있다.A method and apparatus for providing augmented reality content are disclosed. The augmented reality content providing method performed in the service server includes receiving at least one of image data including the user's body and coordinate information of the user's joint position on the image data from the user terminal, an image based on the coordinate information of the joint position Determining the coordinate information of the floor surface from the data, transmitting at least one of the coordinate information of the floor surface and the coordinate information of the joint position to the content generating server, receiving the augmented reality content from the content generating server in response to the transmission and transmitting the received augmented reality content to the user terminal.

Description

Augmented reality content providing method and apparatus {METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY CONTENT}

아래 실시예들은 증강 현실 콘텐츠 제공 기술에 관한 것이다.The following embodiments relate to augmented reality content providing technology.

증강 현실 기술은 실제 환경에 가상 객체를 합성하여 보여주는 기술로 현실감이 높아 대중들의 높은 관심과 더불어 빠르게 기술이 발전하고 있는 분야이다. 대중들의 높은 관심으로 시장은 비약적으로 성장하고 있으며 관련 콘텐츠의 수도 급격히 증가하고 있다. 이에 따라, 실제 배경에 가상 객체만 더해지는 1차원적인 증강 현실 콘텐츠에서 사용자가 직접 콘텐츠를 꾸미고, 콘텐츠에 등장하는 가상 객체도 사용자가 직접 배치할 수 있는 증강 현실 콘텐츠로의 발전이 필요한 상황에 이르렀다. 증강 현실 콘텐츠의 다양한 활용을 위해서 콘텐츠에 변화를 줄 수 있고, 사용자와 상호 작용하는 것과 같이, 증강 현실 콘텐츠의 활용성을 높일 수 있는 콘텐츠 저작 도구에 대한 니즈가 증대되고 있다.Augmented reality technology is a technology that synthesizes and displays virtual objects in a real environment, and is a field in which the technology is rapidly developing with high public interest due to its high sense of reality. Due to the high interest of the public, the market is growing rapidly, and the number of related contents is also rapidly increasing. Accordingly, it is necessary to develop into augmented reality content in which the user directly decorates the content from one-dimensional augmented reality content in which only virtual objects are added to the real background, and the user can directly place virtual objects appearing in the content. For various uses of augmented reality content, there is an increasing need for a content authoring tool that can change the content and increase the usability of the augmented reality content, such as interacting with a user.

일 실시예에 따른 서비스 서버에서 수행되는 증강 현실 콘텐츠 제공 방법은, 사용자 단말로부터 사용자의 신체를 포함하는 이미지 데이터 및 상기 이미지 데이터 상에서 상기 사용자의 관절 위치의 좌표 정보 중 적어도 하나를 수신하는 단계; 상기 관절 위치의 좌표 정보에 기초하여 상기 이미지 데이터로부터 바닥면의 좌표 정보를 결정하는 단계; 상기 바닥면의 좌표 정보 및 상기 관절 위치의 좌표 정보 중 적어도 하나를 콘텐츠 생성 서버에 전송하는 단계; 상기 전송에 응답하여 상기 콘텐츠 생성 서버로부터 증강 현실 콘텐츠를 수신하는 단계; 및 상기 수신한 증강 현실 콘텐츠를 상기 사용자 단말에 전송하는 단계를 포함할 수 있다.The augmented reality content providing method performed in the service server according to an embodiment comprises the steps of: receiving, from a user terminal, at least one of image data including the user's body and coordinate information of the user's joint position on the image data; determining the coordinate information of the floor surface from the image data based on the coordinate information of the joint position; transmitting at least one of the coordinate information of the floor surface and the coordinate information of the joint position to a content creation server; receiving augmented reality content from the content creation server in response to the transmission; and transmitting the received augmented reality content to the user terminal.

상기 콘텐츠 생성 서버는, 상기 바닥면의 좌표 정보에 기초하여 상기 이미지 데이터를 공간 영역 및 바닥 영역으로 구분할 수 있다.The content generation server may divide the image data into a spatial area and a floor area based on the coordinate information of the floor surface.

상기 콘텐츠 생성 서버는, 상기 공간 영역 및 상기 바닥 영역으로 구분된 이미지 데이터 및 상기 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 상기 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성할 수 있다.The content generating server may generate augmented reality content in which a virtual object is projected onto the image data based on at least one of image data divided into the spatial region and the floor region and coordinate information of the joint position.

상기 바닥 영역은, 관절 위치 중 무릎 위치의 좌표 정보를 기준으로 아래에 위치한 영역을 포함하고, 상기 공간 영역은 상기 무릎 위치의 좌표 정보를 기준으로 위에 위치한 영역을 포함할 수 있다.The floor area may include an area located below the knee position based on the coordinate information of the knee position among joint positions, and the space region may include an area located above the knee position based on the coordinate information of the knee position.

상기 사용자 단말은, 상기 서버로부터 수신한 증강 현실 콘텐츠를 상기 사용자 단말의 화면을 통해 출력할 수 있다.The user terminal may output the augmented reality content received from the server through the screen of the user terminal.

상기 바닥면의 좌표 정보를 결정하는 단계는, 상기 이미지 데이터와 상기 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 상기 이미지 데이터로부터 바닥면을 추출하는 단계; 상기 바닥면을 월드 좌표에 대응시켜 좌표 정보를 결정하는 단계; 및 상기 바닥면의 깊이를 추정하는 단계를 포함할 수 있다.The determining of the coordinate information of the floor surface may include: extracting the floor surface from the image data based on at least one of the image data and the coordinate information of the joint position; determining coordinate information by matching the floor surface with world coordinates; and estimating the depth of the bottom surface.

일 실시예에 따른 사용자 단말에서 수행되는 증강 현실 콘텐츠 제공 방법은, 사용자의 신체를 포함하는 이미지 데이터를 수집하는 단계; 상기 이미지 데이터에 기초하여 상기 이미지 데이터로부터 상기 사용자의 관절 위치를 추출하는 단계; 상기 관절 위치의 좌표 정보와 상기 이미지 데이터 중 적어도 하나를 서비스 서버에 전송하는 단계; 상기 전송에 응답하여 상기 서비스 서버로부터 증강 현실 콘텐츠를 수신하는 단계; 및 상기 증강 현실 콘텐츠를 출력하는 단계를 포함할 수 있다.An augmented reality content providing method performed in a user terminal according to an embodiment includes: collecting image data including a user's body; extracting the user's joint position from the image data based on the image data; transmitting at least one of the coordinate information of the joint position and the image data to a service server; receiving augmented reality content from the service server in response to the transmission; and outputting the augmented reality content.

상기 서비스 서버는, 상기 사용자 단말로부터 수신한 상기 관절 위치의 좌표 정보와 상기 이미지 데이터 중 적어도 하나에 기초하여 상기 이미지 데이터로부터 바닥면을 추출하고, 상기 바닥면의 좌표 정보를 결정할 수 있다.The service server may extract a floor surface from the image data based on at least one of the image data and the coordinate information of the joint position received from the user terminal, and determine the coordinate information of the floor surface.

상기 서비스 서버는, 상기 추출한 바닥면의 좌표 정보, 상기 사용자 단말로부터 수신한 상기 관절 위치의 좌표 정보 및 상기 이미지 데이터 중 적어도 하나를 콘텐츠 생성 서버에 전송할 수 있다.The service server may transmit at least one of the extracted coordinate information of the floor surface, the coordinate information of the joint position received from the user terminal, and the image data to the content creation server.

상기 콘텐츠 생성 서버는, 상기 바닥면의 좌표 정보, 상기 관절 위치의 좌표 정보 및 상기 이미지 데이터 중 적어도 하나에 기초하여, 가상의 객체를 상기 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성하고, 상기 증강 현실 콘텐츠를 상기 서비스 서버에 전송할 수 있다.The content generation server generates augmented reality content in which a virtual object is projected onto the image data based on at least one of the coordinate information of the floor surface, the coordinate information of the joint position, and the image data, and the augmented reality Content may be transmitted to the service server.

일 실시예에 따른 콘텐츠 생성 서버에서 수행되는 증강 현실 콘텐츠 제공 방법은, 서비스 서버로부터, 이미지 데이터에 기초하여 결정된 바닥면의 좌표 정보 및 상기 관절 위치의 좌표 정보 중 적어도 하나를 수신하는 단계; 상기 바닥면의 좌표 정보에 기초하여 상기 이미지 데이터를 바닥 영역 및 공간 영역으로 구분하는 단계; 상기 구분된 이미지 데이터 및 상기 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 상기 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성하는 단계; 및 상기 생성한 증강 현실 콘텐츠를 상기 서비스 서버에 전송하는 단계를 포함할 수 있다.The augmented reality content providing method performed in the content generating server according to an embodiment comprises: receiving, from a service server, at least one of coordinate information of a floor surface determined based on image data and coordinate information of the joint position; dividing the image data into a floor area and a space area based on the coordinate information of the floor surface; generating augmented reality content in which a virtual object is projected onto the image data based on at least one of the divided image data and coordinate information of the joint position; and transmitting the generated augmented reality content to the service server.

상기 바닥 영역은, 상기 이미지 데이터에서 상기 바닥면을 포함하는 영역을 나타내고, 상기 공간 영역은, 상기 이미지 데이터에서 상기 바닥 영역을 제외한 영역을 나타낼 수 있다.The bottom area may represent an area including the bottom surface in the image data, and the spatial area may represent an area excluding the bottom area in the image data.

일 실시예에 따른 서비스 서버는 사용자 단말로부터 사용자의 신체를 포함하는 이미지 데이터 및 상기 이미지 데이터 상에서 상기 사용자의 관절 위치의 좌표 정보 중 적어도 하나를 수신하고, 바닥면의 좌표 정보 및 상기 관절 위치의 좌표 정보 중 적어도 하나를 콘텐츠 생성 서버에 전송하고, 상기 전송에 응답하여 상기 콘텐츠 생성 서버로부터 증강 현실 콘텐츠를 수신하고, 상기 수신한 증강 현실 콘텐츠를 상기 사용자 단말에 전송하는 통신부; 및 상기 관절 위치의 좌표 정보에 기초하여 상기 이미지 데이터로부터 바닥면의 좌표 정보를 결정하는 바닥면 추출부를 포함할 수 있다.The service server according to an embodiment receives at least one of image data including the user's body and coordinate information of the user's joint position on the image data from the user terminal, and the coordinate information of the floor surface and the coordinates of the joint position a communication unit for transmitting at least one piece of information to a content generating server, receiving augmented reality content from the content generating server in response to the transmission, and transmitting the received augmented reality content to the user terminal; and a floor extractor configured to determine the coordinate information of the floor from the image data based on the coordinate information of the joint position.

상기 콘텐츠 생성 서버는, 상기 바닥면의 좌표 정보에 기초하여 상기 이미지 데이터를 공간 영역 및 바닥 영역으로 구분하고, 상기 공간 영역 및 상기 바닥 영역으로 구분된 이미지 데이터 및 상기 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 상기 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성할 수 있다.The content generation server divides the image data into a spatial area and a floor area based on the coordinate information of the floor surface, and at least one of image data divided into the spatial area and the floor area and coordinate information of the joint position Augmented reality content in which a virtual object is projected on the image data may be generated based on the .

상기 바닥면 추출부는, 상기 이미지 데이터와 상기 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 상기 이미지 데이터로부터 바닥면을 추출하고, 상기 바닥면을 월드 좌표에 대응시켜 좌표 정보를 결정하고, 상기 바닥면의 깊이를 추정할 수 있다.The floor extraction unit extracts a floor surface from the image data based on at least one of the image data and the coordinate information of the joint position, determines the coordinate information by matching the floor surface to world coordinates, and the floor surface depth can be estimated.

일 실시예에 따른 사용자 단말은, 사용자의 신체를 포함하는 이미지 데이터를 수집하는 이미지 데이터 수집부; 상기 이미지 데이터에 기초하여 상기 이미지 데이터로부터 상기 사용자의 관절 위치를 추출하는 관절 위치 추출부; 상기 관절 위치의 좌표 정보와 상기 이미지 데이터 중 적어도 하나를 서비스 서버에 전송하고, 상기 전송에 응답하여 상기 서비스 서버로부터 증강 현실 콘텐츠를 수신하는 통신부; 및 상기 증강 현실 콘텐츠를 출력하는 출력부를 포함할 수 있다.A user terminal according to an embodiment includes: an image data collecting unit for collecting image data including a user's body; a joint position extraction unit for extracting the user's joint position from the image data based on the image data; a communication unit for transmitting at least one of the coordinate information of the joint position and the image data to a service server, and receiving augmented reality content from the service server in response to the transmission; and an output unit for outputting the augmented reality content.

일 실시예에 따른 콘텐츠 생성 서버는 서비스 서버로부터, 이미지 데이터에 기초하여 결정된 바닥면의 좌표 정보 및 상기 관절 위치의 좌표 정보 중 적어도 하나를 수신하고, 증강 현실 콘텐츠를 상기 서비스 서버에 전송하는 통신부; 상기 바닥면의 좌표 정보에 기초하여 상기 이미지 데이터를 바닥 영역 및 공간 영역으로 구분하는 영역 구분부; 및 상기 구분된 이미지 데이터 및 상기 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 상기 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성하는 콘텐츠 생성부를 포함할 수 있다.The content generation server according to an embodiment includes, from a service server, a communication unit for receiving at least one of the coordinate information of the joint position and the coordinate information of the floor surface determined based on image data, and transmitting the augmented reality content to the service server; a region dividing unit dividing the image data into a floor region and a space region based on coordinate information of the floor surface; and a content generating unit generating augmented reality content in which a virtual object is projected onto the image data based on at least one of the divided image data and the coordinate information of the joint position.

상기 바닥 영역은, 상기 이미지 데이터에서 상기 바닥면을 포함하는 영역을 나타내고,상기 공간 영역은, 상기 이미지 데이터에서 상기 바닥 영역을 제외한 영역을 나타낼 수 있다.The bottom area may represent an area including the bottom surface in the image data, and the spatial area may represent an area excluding the floor area from the image data.

일 실시예에 따르면 이미지 데이터에 기초하여 사용자의 관절 위치를 추출하고, 추출된 관전 위치에 기초하여 공간 정보를 추정하며, 공간 정보에 기초하여 이미지 데이터에 가상의 객체를 배치시켜 증강 현실 콘텐츠를 생성할 수 있다.According to an embodiment, the user's joint position is extracted based on image data, spatial information is estimated based on the extracted spectating position, and augmented reality content is generated by placing a virtual object in the image data based on the spatial information. can do.

일 실시예에 따르면 원격의 사용자 공간에 기초하여 가상 객체를 배치하고, 공간에 따라 다양한 콘텐츠를 변형하여 제공할 수 있다.According to an embodiment, a virtual object may be arranged based on a remote user space, and various contents may be modified and provided according to the space.

일 실시예에 따르면 사용자의 증강 현실 콘텐츠의 체험 공간 크기를 추정하여, 가상 객체의 이동에 따른 사실감과 입체감을 제공할 수 있다.According to an embodiment, by estimating the size of the user's experience space of the augmented reality content, realism and three-dimensional effect according to the movement of the virtual object may be provided.

일 실시예에 따르면 사용자의 신체에 기초하여 사용자가 증강 현실 콘텐츠를 체험하는 공간의 크기를 추정함으로써, 보다 높은 퀄리티의 증강 현실 콘텐츠를 제공할 수 있다.According to an embodiment, by estimating the size of a space in which the user experiences augmented reality content based on the user's body, higher quality augmented reality content may be provided.

도 1은 일 실시예에 따른 증강 현실 콘텐츠 제공 시스템의 전체적인 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 서비스 서버에서 수행되는 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 사용자 단말에서 수행되는 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 콘텐츠 생성 서버에서 수행되는 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 관절 위치를 추출하는 일례를 도시하는 도면이다.
도 6은 일 실시예에 따른 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.
도 7 및 도 8은 일 실시예에 따른 바닥면을 추출하는 일례를 도시하는 도면들이다.
도 9는 일 실시예에 따른 바닥 영역 및 공간 영역이 구분된 이미지 데이터의 일례를 도시하는 도면이다.
도 10은 일 실시예에 따른 증강 현실 콘텐츠의 일례를 도시하는 도면이다.
도 11은 일 실시예에 따른 서비스 서버의 구성을 도시하는 도면이다.
도 12는 일 실시예에 따른 콘텐츠 생성 서버의 구성을 도시하는 도면이다.
도 13은 일 실시예에 따른 사용자 단말의 구성을 도시하는 도면이다.1 is a diagram illustrating an overall outline of an augmented reality content providing system according to an embodiment.
2 is a flowchart illustrating a method of providing augmented reality content performed by a service server according to an exemplary embodiment.
3 is a flowchart illustrating an augmented reality content providing method performed in a user terminal according to an embodiment.
4 is a flowchart illustrating an augmented reality content providing method performed by a content generating server according to an embodiment.
5 is a diagram illustrating an example of extracting a joint position according to an embodiment.
6 is a flowchart illustrating a method of providing augmented reality content according to an embodiment.
7 and 8 are diagrams illustrating an example of extracting a bottom surface according to an embodiment.
9 is a diagram illustrating an example of image data in which a floor area and a space area are divided according to an exemplary embodiment.
10 is a diagram illustrating an example of augmented reality content according to an embodiment.
11 is a diagram illustrating a configuration of a service server according to an embodiment.
12 is a diagram illustrating a configuration of a content generation server according to an embodiment.
13 is a diagram illustrating a configuration of a user terminal according to an embodiment.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the actual implementation form is not limited to the specific embodiments disclosed, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit described in the embodiments.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted.

도 1은 일 실시예에 따른 증강 현실 콘텐츠 제공 시스템의 전체적인 개요를 도시하는 도면이다.1 is a diagram illustrating an overall outline of an augmented reality content providing system according to an embodiment.

증강 현실 콘텐츠 제공 시스템은 이미지 데이터에 포함된 사용자의 관절 위치에 기초하여 사용자가 증강 현실 콘텐츠를 제공받고 있는 공간 정보를 추정하고, 증강 현실 콘텐츠를 생성할 시에, 가상의 객체를 이미지 데이터 상에 배치하는 증강 현실 콘텐츠 제공 방법을 제공할 수 있다.The augmented reality content providing system estimates spatial information in which the user is provided with the augmented reality content based on the user's joint position included in the image data, and when generating the augmented reality content, a virtual object is placed on the image data It is possible to provide a method for providing augmented reality content to be arranged.

도 1을 참조하면 사용자 단말(130)은 사용자의 전신이 포함된 이미지 데이터를 촬영하여 관절 위치를 추출할 수 있다. 사용자 단말(130)은 관절 위치의 좌표 정보와 이미지 데이터를, 네트워크(120)를 통해 서비스 서버(110)에 전송할 수 있다. 서비스 서버(110)는 관절 위치의 좌표 정보와 이미지 데이터에 기초하여 바닥면을 추출할 수 있다. 서비스 서버(110)는 네트워크(120)를 통해, 관절 위치의 좌표 정보, 이미지 데이터 및 바닥면의 좌표 정보를 콘텐츠 생성 서버(140)에 전송할 수 있다. 콘텐츠 생성 서버(140)는 관절 위치의 좌표 정보, 이미지 데이터 및 바닥면의 좌표 정보에 기초하여 가상의 객체를 이미지 데이터라 배치함으로써 증강 현실 콘텐츠를 생성할 수 있다. 콘텐츠 생성 서버(140)는 사용자의 움직임에 기초하여 가상의 객체가 변형되도록 하는 상호 작용 요소를 포함하는 증강 현실 콘텐츠를 생성할 수도 있다. 콘텐츠 생성 서버(140)는 콘텐츠 저작 서버라고도 지칭될 수 있고, 콘텐츠 생성 서버(140)는 증강 현실 콘텐츠를 저작할 수 있다.Referring to FIG. 1 , the user terminal 130 may extract the joint position by photographing image data including the user's whole body. The user terminal 130 may transmit coordinate information and image data of the joint position to the service server 110 through the network 120 . The service server 110 may extract the floor surface based on the coordinate information of the joint position and the image data. The service server 110 may transmit the coordinate information of the joint position, image data, and the coordinate information of the floor surface to the content creation server 140 through the network 120 . The content creation server 140 may generate augmented reality content by arranging the virtual object as image data based on the coordinate information of the joint position, the image data, and the coordinate information of the floor surface. The content creation server 140 may generate augmented reality content including an interaction element that allows a virtual object to be deformed based on a user's movement. The content generating server 140 may also be referred to as a content authoring server, and the content generating server 140 may author augmented reality content.

도 2는 일 실시예에 따른 서비스 서버에서 수행되는 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method of providing augmented reality content performed by a service server according to an exemplary embodiment.

도 2를 참조하면, 단계(210)에서 서비스 서버는 사용자 단말로부터 사용자의 신체를 포함하는 이미지 데이터 및 이미지 데이터 상에서 사용자의 관절 위치의 좌표 정보 중 적어도 하나를 수신할 수 있다. 사용자 단말은 내장 카메라 또는 외장 카메라를 이용하여 사용자의 신체 일부 또는 전신을 포함하는 이미지 데이터를 수집할 수 있다. 실시예에 따라 사용자 단말은 사용자의 신체 일부 또는 전신을 포함하는 비디오 데이터를 수집할 수도 있다.Referring to FIG. 2 , in step 210 , the service server may receive at least one of image data including the user's body and coordinate information of the user's joint position on the image data from the user terminal. The user terminal may collect image data including a body part or whole body of the user by using a built-in camera or an external camera. According to an embodiment, the user terminal may collect video data including the user's body part or whole body.

단계(220)에서 서비스 서버는 관절 위치의 좌표 정보에 기초하여 이미지 데이터로부터 바닥면의 좌표 정보를 결정할 수 있다. 일 실시예에서 서비스 서버는 이미지 데이터와 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 이미지 데이터로부터 바닥면을 추출할 수 있다. 서비스 서버는 바닥면을 월드 좌표에 대응시켜 좌표 정보를 결정하고, 바닥면의 깊이를 추정할 수 있다. 서비스 서버가 바닥면을 추출하고 바닥면의 깊이를 추정하는 것에 대한 특징은 도 7 및 도 8에서 보다 상세히 설명될 수 있다.In step 220, the service server may determine the coordinate information of the floor surface from the image data based on the coordinate information of the joint position. In an embodiment, the service server may extract the floor surface from the image data based on at least one of the image data and the coordinate information of the joint position. The service server may determine coordinate information by matching the floor surface to world coordinates, and may estimate the depth of the floor surface. Features of the service server extracting the floor surface and estimating the depth of the floor surface may be described in more detail with reference to FIGS. 7 and 8 .

단계(230)에서 서비스 서버는 바닥면의 좌표 정보 및 관절 위치의 좌표 정보 중 적어도 하나를 콘텐츠 생성 서버에 전송할 수 있다.In step 230, the service server may transmit at least one of the coordinate information of the floor surface and the coordinate information of the joint position to the content creation server.

콘텐츠 생성 서버는 수신한 바닥면의 좌표 정보에 기초하여 이미지 데이터를 공간 영역 및 바닥 영역으로 구분할 수 있다. 바닥 영역은, 관절 위치 중 무릎 위치의 좌표 정보를 기준으로 아래에 위치한 영역을 포함하고, 공간 영역은 무릎 위치의 좌표 정보를 기준으로 위에 위치한 영역을 포함할 수 있다. 이미지 데이터를 공간 영역 및 바닥 영역으로 구분하는 것에 대한 특징은 도 9에서 보다 상세히 설명될 수 있다.The content generating server may divide the image data into a spatial area and a floor area based on the received coordinate information of the floor surface. The floor region may include a region located below the joint position based on coordinate information of the knee position, and the space region may include an region located above the joint position based on coordinate information of the knee position. Characteristics of dividing the image data into a spatial region and a floor region may be described in more detail with reference to FIG. 9 .

콘텐츠 생성 서버는 공간 영역 및 바닥 영역으로 구분된 이미지 데이터 및 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성할 수 있다.The content generating server may generate augmented reality content in which a virtual object is projected onto the image data based on at least one of image data divided into a spatial region and a floor region and coordinate information of a joint position.

단계(240)에서 서비스 서버는 단계(230)에서의 전송에 응답하여 콘텐츠 생성 서버로부터, 콘텐츠 생성 서버가 생성한 증강 현실 콘텐츠를 수신할 수 있다. 단계(250)에서 서비스 서버는 수신한 증강 현실 콘텐츠를 사용자 단말에 전송할 수 있다. 사용자 단말은 서버로부터 수신한 증강 현실 콘텐츠를 사용자 단말의 화면을 통해 출력할 수 있다.In step 240 , the service server may receive the augmented reality content generated by the content generating server from the content generating server in response to the transmission in step 230 . In step 250, the service server may transmit the received augmented reality content to the user terminal. The user terminal may output the augmented reality content received from the server through the screen of the user terminal.

도 3은 일 실시예에 따른 사용자 단말에서 수행되는 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating an augmented reality content providing method performed in a user terminal according to an embodiment.

도 3을 참조하면 단계(310)에서 사용자 단말은 사용자의 신체를 포함하는 이미지 데이터를 수집할 수 있다. 단계(320)에서 사용자 단말은 이미지 데이터에 기초하여 이미지 데이터로부터 사용자의 관절 위치를 추출할 수 있다. 추출된 사용자의 관절 위치는 예를 들어 도 5와 같을 수 있다. 도 5는 일 실시예에 따른 관절 위치를 추출하는 일례를 도시하는 도면이다. 도 5를 참조하면 사용자 단말은 이미지 데이터에 대한 분석을 수행하여, 이미지 데이터에 포함된 사용자의 전신으로부터 머리(또는 코), 목, 어깨, 팔꿈치, 손목, 골반, 무릎 및 발목을 포함하는 관절 위치를 추출할 수 있다. 사용자 단말은 각 관절 위치에 대해 좌표 정보를 결정할 수 있다.Referring to FIG. 3 , in step 310 , the user terminal may collect image data including the user's body. In step 320, the user terminal may extract the user's joint position from the image data based on the image data. The extracted user's joint position may be, for example, as shown in FIG. 5 . 5 is a diagram illustrating an example of extracting a joint position according to an embodiment. Referring to FIG. 5 , the user terminal performs analysis on image data, and joint positions including the head (or nose), neck, shoulders, elbows, wrists, pelvis, knees and ankles from the user's whole body included in the image data can be extracted. The user terminal may determine coordinate information for each joint position.

다시 도 3을 참조하면, 단계(330)에서 사용자 단말은 관절 위치의 좌표 정보와 이미지 데이터 중 적어도 하나를 서비스 서버에 전송할 수 있다. 서비스 서버는 사용자 단말로부터 수신한 관절 위치의 좌표 정보와 이미지 데이터 중 적어도 하나에 기초하여 이미지 데이터로부터 바닥면을 추출하고, 바닥면의 좌표 정보를 결정할 수 있다. 서비스 서버는 추출한 바닥면의 좌표 정보, 사용자 단말로부터 수신한 관절 위치의 좌표 정보 및 이미지 데이터 중 적어도 하나를 콘텐츠 생성 서버에 전송할 수 있다.Referring back to FIG. 3 , in step 330 , the user terminal may transmit at least one of coordinate information and image data of the joint position to the service server. The service server may extract the floor surface from the image data based on at least one of the image data and the coordinate information of the joint position received from the user terminal, and determine the coordinate information of the floor surface. The service server may transmit at least one of the extracted coordinate information of the floor surface, coordinate information of the joint position received from the user terminal, and image data to the content creation server.

콘텐츠 생성 서버는 바닥면의 좌표 정보, 관절 위치의 좌표 정보 및 이미지 데이터 중 적어도 하나에 기초하여, 가상의 객체를 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성할 수 있다. 콘텐츠 생성 서버는 증강 현실 콘텐츠를 서비스 서버에 전송할 수 있다.The content generating server may generate augmented reality content in which a virtual object is projected onto the image data based on at least one of the coordinate information of the floor surface, the coordinate information of the joint position, and the image data. The content generating server may transmit the augmented reality content to the service server.

단계(340)에서 사용자 단말은 전송에 응답하여 서비스 서버로부터 증강 현실 콘텐츠를 수신할 수 있다. 단계(350)에서 사용자 단말은 사용자 단말의 화면과 같은 디스플레이를 통해 증강 현실 콘텐츠를 출력하여 증강 현실 콘텐츠를 가시화할 수 있다.In step 340, the user terminal may receive the augmented reality content from the service server in response to the transmission. In step 350, the user terminal may visualize the augmented reality content by outputting the augmented reality content through a display such as a screen of the user terminal.

실시예에 따라 사용자 단말이 이미지 데이터를 수집하여 관절 위치의 좌표 정보를 추출하고, 이미지 데이터와 관절 위치의 좌표 정보를 서비스 서버에 전송하며, 서비스 서버가 바닥면을 추출하고, 바닥면의 좌표 정보, 관절 위치의 좌표 정보 및 이미지 데이터를 콘텐츠 생성 서버에 전송하고, 콘텐츠 생성 서버가 증강 현실 콘텐츠를 생성하여 서비스 서버를 통해 사용자 단말에 전송하며 사용자 단말이 증강 현실 콘텐츠를 출력하는 일련의 과정은 반복적이고 실시간으로 이루어질 수 있다.According to an embodiment, the user terminal collects image data to extract the coordinate information of the joint position, transmits the image data and the coordinate information of the joint position to the service server, the service server extracts the floor surface, and the coordinate information of the floor surface , the coordinate information of the joint position and image data are transmitted to the content generating server, the content generating server generates the augmented reality content and transmits it to the user terminal through the service server, and a series of processes in which the user terminal outputs the augmented reality content is repeated and can be done in real time.

도 4는 일 실시예에 따른 콘텐츠 생성 서버에서 수행되는 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating an augmented reality content providing method performed by a content generating server according to an embodiment.

도 4를 참조하면 콘텐츠 생성 서버는 단계(410)에서 서비스 서버로부터, 이미지 데이터에 기초하여 결정된 바닥면의 좌표 정보 및 관절 위치의 좌표 정보 중 적어도 하나를 수신할 수 있다. 콘텐츠 생성 서버는 단계(420)에서 바닥면의 좌표 정보에 기초하여 이미지 데이터를 바닥 영역 및 공간 영역으로 구분할 수 있다. 일 실시예에서 바닥 영역은 사용자의 관절 위치들 중에서 무릎 위치의 좌표 정보를 기준으로 아래 부분을 나타낼 수 있고, 공간 영역은 무릎 위치의 좌표 정보를 기준으로 위의 부분을 나타낼 수 있다. 다른 실시예에서 바닥 영역은 이미지 데이터에서 바닥면을 포함하는 영역을 나타내고, 공간 영역은, 이미지 데이터에서 바닥 영역을 제외한 영역을 나타낼 수도 있다.Referring to FIG. 4 , the content generating server may receive, from the service server in step 410 , at least one of the coordinate information of the floor surface and the coordinate information of the joint position determined based on the image data. The content generating server may divide the image data into a floor area and a space area based on the coordinate information of the floor surface in step 420 . In an embodiment, the floor area may represent a lower part based on coordinate information of the knee position among the user's joint positions, and the space area may represent an upper part based on coordinate information of the knee position. In another embodiment, the floor area may represent an area including the floor in the image data, and the spatial area may represent an area except the floor area in the image data.

단계(430)에서 콘텐츠 생성 서버는 구분된 이미지 데이터 및 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성할 수 있다. 단계(440)에서 콘텐츠 생성 서버는 생성한 증강 현실 콘텐츠를 서비스 서버에 전송할 수 있다. 서비스 서버는 증강 현실 콘텐츠를 사용자 단말에 전송할 수 있다.In step 430 , the content generating server may generate augmented reality content in which a virtual object is projected onto the image data based on at least one of the divided image data and coordinate information of the joint position. In step 440 , the content generating server may transmit the generated augmented reality content to the service server. The service server may transmit the augmented reality content to the user terminal.

실시예에 따라 이미지 데이터에 포함된 관절 위치의 좌표 정보나 바닥면의 좌표 정보에 변화가 발생한 경우, 콘텐츠 생성 서버는 변형된 관절 위치의 좌표 정보 및 바닥면의 좌표 정보 중 적어도 하나에 기초하여 증강 현실 콘텐츠에 포함된 가상 객체를 변형시킬 수 있다. 예를 들어, 콘텐츠 생성 서버는 관절 위치의 좌표 정보 및 바닥면의 좌표 정보 중 적어도 하나의 변화에 기초하여 증강 현실 콘텐츠에 포함된 가상 객체의 위치를 이동시키거나 형태를 변형시킬 수 있다. 이에 따라, 사용자는 사용자의 움직임에 기초하여 가상 객체와 상호작용을 하는 것과 같은 증강 현실 콘텐츠를 제공받을 수 있다.According to an embodiment, when a change occurs in the coordinate information of the joint position or the coordinate information of the floor surface included in the image data, the content creation server is augmented based on at least one of the coordinate information of the deformed joint position and the coordinate information of the floor surface Virtual objects included in real content can be transformed. For example, the content generating server may move the position or change the shape of the virtual object included in the augmented reality content based on a change in at least one of the coordinate information of the joint position and the coordinate information of the floor surface. Accordingly, the user may be provided with augmented reality content such as interacting with the virtual object based on the user's movement.

도 6은 일 실시예에 따른 증강 현실 콘텐츠 제공 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of providing augmented reality content according to an embodiment.

도 6을 참조하면, 단계(620)에서 사용자 단말(605)은 사용자 단말(605)의 내장 또는 외장 카메라를 이용하여 이미지 데이터를 수집할 수 있다. 여기서 이미지 데이터는 사용자의 전신이나 신체 일부가 포함되어 있을 수 있다. 단계(625)에서 사용자 단말(605)은 이미지 데이터로부터 사용자의 관절 위치를 추출할 수 있다.Referring to FIG. 6 , in step 620 , the user terminal 605 may collect image data using an internal or external camera of the user terminal 605 . Here, the image data may include the user's whole body or a part of the user's body. In step 625, the user terminal 605 may extract the user's joint position from the image data.

단계(630)에서 사용자 단말(605)은 서비스 서버(610)에 관절 위치의 좌표 정보 및 이미지 데이터를 전송할 수 있다. 서비스 서버(610)는 단계(635)에서 관절 위치의 좌표 정보 및 이미지 데이터에 기초하여 이미지 데이터의 바닥면의 좌표 정보를 결정할 수 있다. 서비스 서버(610)는 단계(640)에서 콘텐츠 생성 서버(615)로 바닥면의 좌표 정보 및 관절 위치의 좌표 정보를 전송할 수 있다. 콘텐츠 생성 서버(615)는 단계(645)에서 이미지 데이터로부터 바닥 영역과 공간 영역을 구분할 수 있다. 콘텐츠 생성 서버(615)는 단계(650)에서 바닥 영역 및 공간 영역이 구분된 이미지 데이터에 기초하여 증강 현실 콘텐츠를 생성할 수 있다.In step 630 , the user terminal 605 may transmit coordinate information and image data of the joint position to the service server 610 . The service server 610 may determine the coordinate information of the floor surface of the image data based on the coordinate information of the joint position and the image data in step 635 . The service server 610 may transmit the coordinate information of the floor surface and the coordinate information of the joint position to the content generation server 615 in step 640 . The content generation server 615 may distinguish a floor area and a space area from the image data in operation 645 . The content generation server 615 may generate augmented reality content based on the image data in which the floor area and the space area are divided in step 650 .

콘텐츠 생성 서버(615)는 단계(655)에서 증강 현실 콘텐츠를 서비스 서버(610)에 전송할 수 있다. 서비스 서버(610)는 단계(660)에서 사용자 단말(605)에 증강 현실 콘텐츠를 전송할 수 있다. 사용자 단말(605)는 단계(665)에서 증강 현실 콘텐츠를 출력하여 사용자에게 제공할 수 있다.The content generating server 615 may transmit the augmented reality content to the service server 610 in step 655 . The service server 610 may transmit the augmented reality content to the user terminal 605 in step 660 . The user terminal 605 may output augmented reality content and provide it to the user in step 665 .

도 7 및 도 8은 일 실시예에 따른 바닥면을 추출하는 일례를 도시하는 도면들이다.7 and 8 are diagrams illustrating an example of extracting a bottom surface according to an embodiment.

서비스 서버는 관절 위치의 좌표 정보 및 이미지 데이터에 기초하여 이미지 데이터로부터 바닥면을 추출하고, 추출된 바닥면이 월드 좌표계에 대응하는 위치를 추출하여 바닥면의 깊이를 추정할 수 있다. 도 7을 참조하면, 서비스 서버는 사용자 단말로부터 증강 현실 콘텐츠를 체험할 공간의 꼭짓점 네 군데 이상에서 수집된 이미지 데이터들을 수신할 수 있고, 네 점에서 수집된 이미지 데이터들로부터 관절 위치의 좌표 정보를 추출할 수 있다. 서비스 서버는 발목 위치의 좌표 정보를 꼭짓점 좌표로 놓고, 도 7과 같이 이미지 데이터로부터 이미지 좌표계에서 추정된 바닥면(710)을 추출할 수 있다. 월드 좌표계의 점 X, Y, Z는 이미지 좌표계 x, y로 아래 수학식 1과 같이 변환이 가능할 수 있다. 아래 수학식 1에서 K는 카메라 내부 파라미터이고, [R|t]는 카메라 외부 파라미터일 수 있다.The service server may extract the floor surface from the image data based on the coordinate information and image data of the joint position, and extract the location of the extracted floor surface corresponding to the world coordinate system to estimate the depth of the floor surface. Referring to FIG. 7 , the service server may receive image data collected from four or more vertices of a space to experience augmented reality content from the user terminal, and coordinate information of joint positions from the image data collected at the four points can be extracted. The service server may set the coordinate information of the ankle position as the vertex coordinates, and extract the floor surface 710 estimated in the image coordinate system from the image data as shown in FIG. 7 . The points X, Y, and Z of the world coordinate system may be converted to the image coordinate system x and y as shown in Equation 1 below. In Equation 1 below, K may be a camera internal parameter, and [R|t] may be an external camera parameter.

발목 위치의 월드 좌표를 추출하기 위하여 Z의 값을 0으로 할 수 있고, Z에 값에 0을 대입하면 [R|t] 매트릭스가 3열이 없는 3X3 매트릭스 형태로 바뀔 수 있다. 이에 따라, (K[R|t])^-1 가 존재하게 되고, 이 경우 서비스 서버는 월드 좌표의 X, Y 값을 구할 수 있게 될 수 있다. 월드 좌표계 임의의 회전축 u=(u_x, u_y, u_z)는 u_x ² + u_y ² + u_z ² = 1 조건을 만족하고 회전축을 중심으로 각도 θ 만큼 회전한 행렬이 R이 될 수 있다. R은 수학식 2와 같을 수 있다. 월드 좌표계에서 원점은 임의의 한 점이 될 수 있다.In order to extract the world coordinates of the ankle position, the value of Z can be set to 0, and if 0 is assigned to the value of Z, the [R|t] matrix can be transformed into a 3X3 matrix without 3 columns. Accordingly, (K[R|t]) ^-1 exists, and in this case, the service server may be able to obtain the X and Y values of the world coordinates. Any rotation axis u=(u _x , u _y , u _z ) in the world coordinate system satisfies the condition u _x ² + u _y ² + u _z ² = 1, and a matrix rotated by an angle θ around the rotation axis can be R. have. R may be as in Equation (2). In the world coordinate system, the origin can be any point.

서비스 서버는 이미지 좌표계에 도 7의 네 점 (x₁,y₁), (x₂,y₂), (x₃,y₃), (x₄,y₄)를 대입하여 (x₁,y₁), (x₂,y₂), (x₃,y₃), (x₄,y₄)를 도8과 같이 월드 좌표계에서 바닥 영역(810)에 대한 네 점인 (X₁, Y₁,0), (X₂, Y₂,0), (X₃, Y₃,0), (X₄, Y₄,0)으로 변환하고, 증강 현실 콘텐츠의 체험 공간에서 바닥면의 깊이(820)를 구할 수 있다.The service server substitutes the four points (x ₁ ,y ₁ ), (x ₂ ,y ₂ ), (x ₃ ,y ₃ ), (x ₄ ,y ₄ ) in the image coordinate system to (x ₁ ,y ₁ ), (x ₂ ,y ₂ ), (x ₃ ,y ₃ ), (x ₄ ,y ₄ ) are four points (X ₁ , Y ₁ , 0), (X ₂ , Y ₂ ,0), (X ₃ , Y ₃ ,0), (X ₄ , Y ₄ ,0), and the depth of the floor in the experience space of augmented reality content (820) can be obtained

도 9는 일 실시예에 따른 바닥 영역 및 공간 영역이 구분된 이미지 데이터의 일례를 도시하는 도면이다. 도 9를 참조하면 일 실시예에서 바닥 영역(920)은, 관절 위치 중 무릎 위치의 좌표 정보를 기준으로 아래에 위치한 영역을 포함하고, 공간 영역(910)은 무릎 위치의 좌표 정보를 기준으로 위에 위치한 영역을 포함할 수 있다. 실시예에 따라 이미지 데이터를 바닥 영역(920) 및 공간 영역(910)을 구분하는 기준은 무릎 위치의 좌표 정보뿐만 아니라 다른 관절 위치의 좌표 정보가 될 수도 있다. 콘텐츠 생성 서버는 이미지 데이터에 투영될 가상의 객체들 중에서 미리 정해진 기준에 기초하여 바닥 영역(920)에 배치될 가상의 객체와 공간 영역(910)에 배치될 가상의 객체를 구분할 수 있다. 예를 들어, 공간 영역(910)에 배치될 가상 객체는 새와 나비 등과 같은 가상의 객체를 포함할 수 있다. 콘텐츠 생성 서버는 바닥 영역(920)에 배치되어야 하는 가상의 객체는 바닥 영역(920)에 배치하고, 공간 영역에 배치하고, 이미지 데이터에 가상의 객체들을 투영시켜 도 10과 같은 증강 현실 콘텐츠를 생성할 수 있다.9 is a diagram illustrating an example of image data in which a floor area and a space area are divided according to an exemplary embodiment. Referring to FIG. 9 , in one embodiment, the floor area 920 includes an area located below based on the coordinate information of the knee position among the joint positions, and the space region 910 is located above based on the coordinate information of the knee position. It may include an area in which it is located. According to an embodiment, the criterion for dividing the image data into the floor region 920 and the spatial region 910 may be coordinate information of a knee position as well as coordinate information of another joint position. The content creation server may distinguish between a virtual object to be disposed on the floor area 920 and a virtual object to be disposed on the space area 910 based on a predetermined criterion among virtual objects to be projected on the image data. For example, the virtual object to be arranged in the space region 910 may include virtual objects such as birds and butterflies. The content generation server generates augmented reality content as shown in FIG. 10 by placing virtual objects to be placed on the floor area 920 on the floor area 920, arranging them in the space area, and projecting the virtual objects on the image data. can do.

도 10은 일 실시예에 따른 증강 현실 콘텐츠의 일례를 도시하는 도면이다.10 is a diagram illustrating an example of augmented reality content according to an embodiment.

도 10을 참조하면 가상의 객체들이 사용자의 전신을 포함하는 이미지 데이터 상에 배치되어 있을 수 있다. 도 10에서 풍선과 같이 일반적으로 공중에 떠있는 요소를 나타내는 가상의 객체는 이미지 데이터의 공간 영역에 배치되어 있을 수 있다. 또한, 도 10에서 고양이나 강강수월래를 하는 사람들처럼 일반적으로 지상에 위치하는 요소를 나타내는 가상의 객체는 이미지 데이터의 바닥 영역에 배치되어 있을 수 있다. 일 실시예에서 이미지 데이터에 투영된 가상의 객체들은 사용자의 움직임 또는 미리 설정된 기준에 기초하여 도 10에 도시된 점선들을 따라서 이동할 수 있다.Referring to FIG. 10 , virtual objects may be disposed on image data including the user's whole body. In FIG. 10 , a virtual object representing an element generally floating in the air, such as a balloon, may be disposed in a spatial region of image data. Also, in FIG. 10 , a virtual object representing an element that is generally located on the ground, such as a cat or a person who travels through rivers, may be disposed in the bottom area of the image data. According to an embodiment, the virtual objects projected on the image data may move along the dotted lines shown in FIG. 10 based on a user's movement or a preset criterion.

도 11은 일 실시예에 따른 서비스 서버의 구성을 도시하는 도면이다.11 is a diagram illustrating a configuration of a service server according to an embodiment.

도 11을 참조하면 서비스 서버(1100)는 통신부(1110) 및 바닥면 추출부(1120)을 포함할 수 있다. 여기서, 서비스 서버(1100)는 본 명세서에서 설명하는 서비스 서버에 대응할 수 있다.Referring to FIG. 11 , the service server 1100 may include a communication unit 1110 and a floor extraction unit 1120 . Here, the service server 1100 may correspond to the service server described herein.

통신부(1110)는 사용자 단말로부터 사용자의 신체를 포함하는 이미지 데이터 및 이미지 데이터 상에서 사용자의 관절 위치의 좌표 정보 중 적어도 하나를 수신할 수 있다.The communication unit 1110 may receive from the user terminal at least one of image data including the user's body and coordinate information of the user's joint position on the image data.

바닥면 추출부(1120)는 관절 위치의 좌표 정보에 기초하여 이미지 데이터로부터 바닥면의 좌표 정보를 결정할 수 있다. 바닥면 추출부(1120)는 이미지 데이터와 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 이미지 데이터로부터 바닥면을 추출하고, 바닥면을 월드 좌표에 대응시켜 좌표 정보를 결정하고, 바닥면의 깊이를 추정할 수 있다.The floor extractor 1120 may determine the coordinate information of the floor from the image data based on the coordinate information of the joint position. The floor extraction unit 1120 extracts the floor surface from the image data based on at least one of the image data and the coordinate information of the joint position, determines the coordinate information by matching the floor surface to the world coordinates, and determines the depth of the floor surface. can be estimated

통신부(1110)는 바닥면의 좌표 정보 및 관절 위치의 좌표 정보 중 적어도 하나를 콘텐츠 생성 서버에 전송하고, 전송에 응답하여 콘텐츠 생성 서버로부터 증강 현실 콘텐츠를 수신하고, 수신한 증강 현실 콘텐츠를 사용자 단말에 전송할 수 있다.The communication unit 1110 transmits at least one of the coordinate information of the floor surface and the coordinate information of the joint position to the content generating server, receives the augmented reality content from the content generating server in response to the transmission, and transmits the received augmented reality content to the user terminal can be sent to

도 12는 일 실시예에 따른 콘텐츠 생성 서버의 구성을 도시하는 도면이다.12 is a diagram illustrating a configuration of a content generation server according to an embodiment.

도 12를 참조하면 콘텐츠 생성 서버(1200)는 통신부(1210), 영역 구분부(1220) 및 콘텐츠 생성부(1230)을 포함할 수 있다. 여기서, 콘텐츠 생성 서버(1200)는 저작 도구 또는 본 명세서에서 설명하는 콘텐츠 생성 서버에 대응할 수 있다.Referring to FIG. 12 , the content generating server 1200 may include a communication unit 1210 , a region dividing unit 1220 , and a content generating unit 1230 . Here, the content generating server 1200 may correspond to an authoring tool or a content generating server described herein.

통신부(1210)는 서비스 서버로부터, 이미지 데이터에 기초하여 결정된 바닥면의 좌표 정보 및 관절 위치의 좌표 정보 중 적어도 하나를 수신하고, 증강 현실 콘텐츠를 서비스 서버에 전송할 수 있다. 영역 구분부(1220)는 바닥면의 좌표 정보에 기초하여 이미지 데이터를 바닥 영역 및 공간 영역으로 구분할 수 있다. 콘텐츠 생성부(1230)는 구분된 이미지 데이터 및 관절 위치의 좌표 정보 중 적어도 하나에 기초하여 가상의 객체를 이미지 데이터에 투영시킨 증강 현실 콘텐츠를 생성할 수 있다.The communication unit 1210 may receive, from the service server, at least one of the coordinate information of the floor surface and the coordinate information of the joint position determined based on the image data, and transmit the augmented reality content to the service server. The area divider 1220 may divide the image data into a floor area and a space area based on coordinate information of the floor surface. The content generator 1230 may generate augmented reality content in which a virtual object is projected onto the image data based on at least one of the divided image data and the coordinate information of the joint position.

도 13은 일 실시예에 따른 사용자 단말의 구성을 도시하는 도면이다.13 is a diagram illustrating a configuration of a user terminal according to an embodiment.

도 13을 참조하면 사용자 단말(1300)은 이미지 데이터 수집부(1310), 관절 위치 추출부(1320), 통신부(1330) 및 출력부(1340)를 포함할 수 있다. 여기서, 사용자 단말(1300)은 본 명세서에서 설명하는 사용자 단말에 대응할 수 있다.Referring to FIG. 13 , the user terminal 1300 may include an image data collection unit 1310 , a joint position extraction unit 1320 , a communication unit 1330 , and an output unit 1340 . Here, the user terminal 1300 may correspond to the user terminal described herein.

이미지 데이터 수집부(1310)는 사용자의 신체를 포함하는 이미지 데이터를 수집할 수 있다. 이미지 데이터 수집부(1310)는 카메라를 포함할 수 있다.The image data collection unit 1310 may collect image data including the user's body. The image data collection unit 1310 may include a camera.

관절 위치 추출부(1320)는 이미지 데이터에 기초하여 이미지 데이터로부터 사용자의 관절 위치를 추출할 수 있다. 통신부(1330)는 관절 위치의 좌표 정보와 이미지 데이터 중 적어도 하나를 서비스 서버에 전송하고, 전송에 응답하여 서비스 서버로부터 증강 현실 콘텐츠를 수신할 수 있다. 출력부(1340)는 증강 현실 콘텐츠를 출력할 수 있고, 디스플레이를 포함할 수 있다.The joint position extraction unit 1320 may extract the user's joint position from the image data based on the image data. The communication unit 1330 may transmit at least one of coordinate information and image data of the joint position to the service server, and may receive augmented reality content from the service server in response to the transmission. The output unit 1340 may output augmented reality content and may include a display.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using a general purpose computer or special purpose computer. The processing device may execute an operating system (OS) and a software application running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in a computer-readable recording medium.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium are specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. may be Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, a person skilled in the art may apply various technical modifications and variations based thereon. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

110, 610, 1100: 서비스 서버
120: 네트워크
130, 605, 1300: 사용자 단말
140, 615, 1200: 콘텐츠 생성 서버
1110: 통신부 1120: 바닥면 추출부
1210: 통신부 1220: 영역 구분부
1230: 콘텐츠 생성부 1310: 이미지 데이터 수집부
1320: 관절 위치 추출부 1330: 통신부
1340: 출력부110, 610, 1100: service server
120: network
130, 605, 1300: user terminal
140, 615, 1200: content creation server
1110: communication unit 1120: bottom surface extraction unit
1210: communication unit 1220: area division unit
1230: content generation unit 1310: image data collection unit
1320: joint position extraction unit 1330: communication unit
1340: output unit

Claims

In the augmented reality content providing method performed in the service server,
Receiving at least one of image data including the user's body and coordinate information of the user's joint position on the image data from the user terminal;
determining the coordinate information of the floor surface from the image data based on the coordinate information of the joint position;
transmitting at least one of the coordinate information of the floor surface and the coordinate information of the joint position to a content creation server;
receiving augmented reality content from the content creation server in response to the transmission; and
Augmented reality content providing method comprising the step of transmitting the received augmented reality content to the user terminal.

According to claim 1,
The content creation server,
Augmented reality content providing method for dividing the image data into a spatial area and a floor area based on the coordinate information of the floor surface.

3. The method of claim 2,
The content creation server,
Augmented reality content providing method for generating augmented reality content in which a virtual object is projected onto the image data based on at least one of image data divided into the spatial region and the floor region and coordinate information of the joint position.

3. The method of claim 2,
The floor area includes an area located below the joint position based on the coordinate information of the knee position,
The method for providing augmented reality content, wherein the spatial region includes an upper region based on the coordinate information of the knee position.

According to claim 1,
The user terminal is
Augmented reality content providing method for outputting the augmented reality content received from the server through the screen of the user terminal.

According to claim 1,
The step of determining the coordinate information of the floor surface,
extracting a floor surface from the image data based on at least one of the image data and coordinate information of the joint position;
determining coordinate information by matching the floor surface with world coordinates; and
Augmented reality content providing method comprising the step of estimating the depth of the floor surface.

In the augmented reality content providing method performed in the user terminal,
collecting image data including the user's body;
extracting the user's joint position from the image data based on the image data;
transmitting at least one of the coordinate information of the joint position and the image data to a service server;
receiving augmented reality content from the service server in response to the transmission; and
Augmented reality content providing method comprising the step of outputting the augmented reality content.

8. The method of claim 7,
The service server,
Augmented reality content providing method for extracting a floor surface from the image data based on at least one of the image data and the coordinate information of the joint position received from the user terminal, and determining the coordinate information of the floor surface.

9. The method of claim 8,
The service server,
Augmented reality content providing method for transmitting at least one of the extracted coordinate information of the floor surface, the coordinate information of the joint position received from the user terminal, and the image data to a content generation server.

10. The method of claim 9,
The content creation server,
Based on at least one of the coordinate information of the floor surface, the coordinate information of the joint position, and the image data, generating augmented reality content in which a virtual object is projected onto the image data,
Augmented reality content providing method for transmitting the augmented reality content to the service server.

In the augmented reality content providing method performed in the content creation server,
Receiving at least one of the coordinate information of the joint position and the coordinate information of the floor surface determined based on the image data from the service server;
dividing the image data into a floor area and a space area based on the coordinate information of the floor surface;
generating augmented reality content in which a virtual object is projected onto the image data based on at least one of the divided image data and coordinate information of the joint position; and
Augmented reality content providing method comprising the step of transmitting the generated augmented reality content to the service server.

12. The method of claim 11,
The bottom area represents an area including the bottom surface in the image data,
The spatial region is an augmented reality content providing method representing a region excluding the floor region from the image data.

In the service server,
Receives at least one of image data including the user's body and coordinate information of the user's joint position on the image data from the user terminal, and generates at least one of the coordinate information of the floor surface and the coordinate information of the joint position on the content generation server a communication unit for transmitting to, receiving the augmented reality content from the content generating server in response to the transmission, and transmitting the received augmented reality content to the user terminal; and
A service server comprising a floor extraction unit for determining the coordinate information of the floor surface from the image data based on the coordinate information of the joint position.

14. The method of claim 13,
The content creation server,
dividing the image data into a spatial area and a floor area based on the coordinate information of the floor surface;
A service server for generating augmented reality content in which a virtual object is projected onto the image data based on at least one of image data divided into the spatial region and the floor region and coordinate information of the joint position.

14. The method of claim 13,
The bottom surface extraction unit,
A service for extracting a floor surface from the image data based on at least one of the image data and coordinate information of the joint position, determining coordinate information by matching the floor surface to world coordinates, and estimating the depth of the floor surface server.

In the user terminal,
an image data collection unit that collects image data including the user's body;
a joint position extraction unit for extracting the user's joint position from the image data based on the image data;
a communication unit for transmitting at least one of the coordinate information of the joint position and the image data to a service server, and receiving augmented reality content from the service server in response to the transmission; and
User terminal including an output unit for outputting the augmented reality content.

17. The method of claim 16,
The service server,
A user terminal for extracting a floor surface from the image data based on at least one of the image data and the coordinate information of the joint position received from the user terminal, and determining the coordinate information of the floor surface.

18. The method of claim 17,
The service server,
A user terminal for transmitting at least one of the extracted coordinate information of the floor surface, the coordinate information of the joint position received from the user terminal, and the image data to a content creation server.

In the content creation server,
a communication unit for receiving, from the service server, at least one of the coordinate information of the joint position and the coordinate information of the floor surface determined based on the image data, and transmitting the augmented reality content to the service server;
a region dividing unit dividing the image data into a floor region and a space region based on coordinate information of the floor surface; and
and a content generating unit configured to generate augmented reality content in which a virtual object is projected onto the image data based on at least one of the divided image data and the coordinate information of the joint position.

20. The method of claim 19,
The bottom area represents an area including the bottom surface in the image data,
The spatial area is a content generation server representing an area excluding the floor area from the image data.