[go: up one dir, main page]

KR102184766B1 - 3차원 모델 복원 시스템 및 방법 - Google Patents

3차원 모델 복원 시스템 및 방법 Download PDF

Info

Publication number
KR102184766B1
KR102184766B1 KR1020130124152A KR20130124152A KR102184766B1 KR 102184766 B1 KR102184766 B1 KR 102184766B1 KR 1020130124152 A KR1020130124152 A KR 1020130124152A KR 20130124152 A KR20130124152 A KR 20130124152A KR 102184766 B1 KR102184766 B1 KR 102184766B1
Authority
KR
South Korea
Prior art keywords
resolution
depth
depth map
model
change information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130124152A
Other languages
English (en)
Other versions
KR20150044730A (ko
Inventor
손우람
오한
윤병훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130124152A priority Critical patent/KR102184766B1/ko
Priority to EP14156980.6A priority patent/EP2863336A3/en
Priority to US14/219,224 priority patent/US9574874B2/en
Publication of KR20150044730A publication Critical patent/KR20150044730A/ko
Application granted granted Critical
Publication of KR102184766B1 publication Critical patent/KR102184766B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 모델 복원 시스템 및 방법을 개시한다.
본 발명의 3차원 모델 복원 시스템은, 깊이 카메라가 장면을 스캔하여 획득한 깊이 맵을 저해상도의 제2 깊이 맵으로 변환하고, 상기 제2 깊이 맵을 처리하여 상기 깊이 카메라의 포즈 변화 정보를 추출하고, 저해상도 3차원 모델을 실시간으로 복원하는 저해상도 복원부; 및 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 상기 깊이 맵을 처리하여 고해상도 3차원 모델을 복원하는 고해상도 복원부;를 포함할 수 있다.

Description

3차원 모델 복원 시스템 및 방법{System and method for 3D model reconstruction}
본 발명은 3차원 모델 복원 시스템 및 방법에 관한 것이다.
촬영된 일련의 장면들로부터 카메라의 정확한 움직임을 추적하는 것은 3차원의 가상현실 또는 로보틱스 등과 같은 분야의 큰 관심사이다. 카메라의 움직임을 추적하는 다양한 방법들 중 깊이 카메라(depth camera)를 통해 얻은 거리정보를 이용하는 방법이 우수한 성능을 보이며 3차원 스캐너에서 널리 사용되고 있다.
본 발명의 실시예는 임베디드 시스템에서 실시간으로 3차원 모델을 복원하는 방법을 제공한다.
본 발명의 일 실시예에 따른 3차원 모델 복원 시스템은, 깊이 카메라가 장면을 스캔하여 획득한 깊이 맵을 저해상도의 제2 깊이 맵으로 변환하고, 상기 제2 깊이 맵을 처리하여 상기 깊이 카메라의 포즈 변화 정보를 추출하고, 저해상도 3차원 모델을 실시간으로 복원하는 저해상도 복원부; 및 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 상기 깊이 맵을 처리하여 고해상도 3차원 모델을 복원하는 고해상도 복원부;를 포함할 수 있다.
상기 저해상도 복원부는, 상기 깊이 맵을 다운 사이징한 상기 제2 깊이 맵을 생성하는 스케일 조정부; 상기 제2 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 제1맵변환부; 상기 제2 깊이 맵의 점군 데이터와 이전 제2 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출하는 제1센서추적부; 및 상기 추출한 깊이 카메라의 포즈 변화 정보를 기초로, 상기 제2 깊이 맵들의 점군 데이터를 통합하여 실시간으로 저해상도 3차원 볼륨을 생성하는 제1볼륨구성부;를 포함할 수 있다.
상기 저해상도 복원부는, 상기 저해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 제1맵추정부;를 더 포함할 수 있다.
상기 추정된 깊이 맵은 사용자 시점을 기준으로 시각화되어 표시되고, 상기 이전 제2 깊이 맵으로서 저장될 수 있다.
상기 고해상도 복원부는, 상기 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 제2맵변환부; 상기 깊이 맵의 점군 데이터와 이전 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출하는 제2센서추적부; 및 상기 추출한 깊이 카메라의 포즈 변화 정보를 기초로, 상기 깊이 맵들의 점군 데이터를 통합하여 고해상도 3차원 볼륨을 생성하는 제2볼륨구성부;를 포함하고, 상기 제2센서추적부는 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 ICP 알고리즘을 적용할 수 있다.
상기 고해상도 복원부는, 상기 고해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 제2맵추정부;를 더 포함할 수 있다.
상기 제2센서추적부는, 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 중복하는 깊이 맵을 제외하고, 선택된 각 깊이 맵에 대해 상기 ICP 알고리즘을 적용할 수 있다.
상기 추정된 깊이 맵은 상기 이전 깊이 맵으로서 저장될 수 있다.
상기 고해상도 복원부는, 상기 깊이 카메라의 스캔이 완료된 후 또는 스캔 중에, 상기 저해상도 복원부로부터 상기 깊이 맵 시퀀스 및 깊이 카메라의 포즈 변화 정보를 수신하여 고해상도 3차원 모델을 복원할 수 있다.
상기 저해상도 복원부는 임베디드 시스템이고, 상기 고해상도 복원부는 클라우드 서버이고, 상기 임베디드 시스템은 상기 클라우드 서버로 상기 깊이 맵 시퀀스 및 깊이 카메라의 포즈 변화 정보를 업로드하고, 상기 클라우드 서버로부터 상기 고해상도 3차원 모델을 다운로드할 수 있다.
본 발명의 일 실시예에 따른 3차원 모델 복원 방법은, 깊이 카메라가 장면을 스캔하여 획득한 깊이 맵을 저해상도의 제2 깊이 맵으로 변환하고, 상기 제2 깊이 맵을 처리하여 상기 깊이 카메라의 포즈 변화 정보를 추출하고, 실시간으로 저해상도 3차원 모델을 복원하는 단계; 및 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 상기 깊이 맵을 처리하여 고해상도 3차원 모델을 복원하는 단계;를 포함할 수 있다.
상기 저해상도 3차원 모델 복원 단계는, 상기 깊이 맵을 다운 사이징한 제2 깊이 맵을 생성하는 단계; 상기 제2 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 단계; 상기 제2 깊이 맵의 점군 데이터와 이전 제2 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 상기 깊이 카메라의 포즈 변화 정보를 추출하는 단계; 및 상기 깊이 카메라의 포즈 변화 정보를 기초로, 제2 깊이 맵들의 점군 데이터를 통합하여 실시간으로 저해상도 3차원 볼륨을 생성하는 단계;를 포함할 수 있다.
상기 저해상도 3차원 모델 복원 단계는, 상기 저해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 단계;를 더 포함할 수 있다.
상기 추정된 깊이 맵은 사용자 시점을 기준으로 시각화되어 표시되고, 상기 이전 제2 깊이 맵으로서 저장될 수 있다.
상기 고해상도 3차원 모델 복원 단계는, 상기 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 단계; 상기 깊이 맵의 점군 데이터와 이전 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 상기 깊이 카메라의 포즈 변화 정보를 추출하는 단계; 및 상기 깊이 카메라의 포즈 변화 정보를 기초로, 깊이 맵들의 점군 데이터를 통합하여 고해상도 3차원 볼륨을 생성하는 단계;를 포함하고, 상기 깊이 카메라의 포즈 변화 정보 추출 단계는, 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 ICP 알고리즘을 적용할 수 있다.
상기 고해상도 3차원 모델 복원 단계는, 상기 고해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 단계;를 더 포함할 수 있다.
상기 고해상도 3차원 모델 복원 단계는, 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 중복하는 깊이 맵을 제외하고, 선택된 각 깊이 맵에 대해 상기 ICP 알고리즘을 적용하는 단계;를 포함할 수 있다.
상기 추정된 깊이 맵의은 상기 이전 깊이 맵으로서 저장될 수 있다.
상기 고해상도 3차원 모델 복원 단계는, 상기 깊이 카메라의 스캔이 완료된 후 또는 스캔 중에, 상기 깊이 맵 시퀀스 및 깊이 카메라의 포즈 변화 정보를 이용하여 고해상도 3차원 모델을 복원하는 단계;를 포함할 수 있다.
상기 저해상도 3차원 모델 복원 단계는, 복수의 임베디드 시스템이 각각 저해상도 3차원 모델을 복원하는 단계;를 포함하고, 상기 고해상도 3차원 모델 복원 단계는, 클라우드 서버가 각 임베디드 시스템으로부터 수신한 상기 깊이 카메라의 포즈 변화 정보를 이용하여 상기 장면에 대해 고해상도 3차원 모델을 복원하는 단계;를 포함하고, 상기 방법은, 복수의 임베디드 시스템 각각이 클라우드 서버로부터 상기 고해상도 3차원 모델을 다운로드하는 단계;를 더 포함할 수 있다.
본 발명의 실시예는 다중 해상도의 깊이 맵을 이용하여 임베디드 시스템에서도 실시간으로 깊이 카메라의 위치를 탐색하며 3차원 모델을 복원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델 복원 시스템을 개략적으로 도시한 블록도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 3차원 모델 복원 시스템(1)의 3차원 모델 복원 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 저해상도 복원부를 개략적으로 도시한 블록도이다.
도 5는 도 4의 저해상도 복원부의 3차원 모델 복원 방법을 개략적으로 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 고해상도 복원부를 개략적으로 도시한 블록도이다.
도 7은 도 6의 고해상도 복원부의 3차원 모델 복원 방법을 개략적으로 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 3차원 모델 복원 시스템의 예를 도시한 도면이다.
도 9는 도 8의 모바일 단말의 구성을 개략적으로 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 멀티 스캐닝에 의한 3차원 모델 복원 시스템을 설명하는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 실시예들에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 실시예들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델 복원 시스템을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 3차원 모델 복원 시스템(1)은 깊이 카메라(10), 저해상도 복원부(30) 및 고해상도 복원부(50)를 포함할 수 있다.
깊이 센서 또는 깊이 카메라(10)는 주변 환경 또는 장면(공간)을 촬영하고, 장면 내에 존재하는 다양한 개체(예를 들어, 벽, 장애물 등의 정적 물체나 사람, 동물 등의 동적 물체)를 포함하여 장면의 3차원 정보를 실시간으로 획득하는 스캐닝 장치이다.
깊이 카메라(10)는 주변 환경 또는 장면을 스캔하고 깊이 맵 시퀀스(depth map sequence)를 생성한다. 깊이 카메라(10)는 소정 프레임율로 깊이 맵(depth map) 시퀀스를 생성할 수 있다. 깊이 맵 시퀀스의 각 깊이 맵은 각 픽셀이 깊이 데이터를 갖는 2차원 이미지이다. 깊이 데이터는 깊이 카메라(10)와 촬영된 장면 내 각 개체 간의 거리 정보이다. 깊이 데이터는 특정의 측정 단위를 갖는 절대 값 또는 상대적인 깊이 데이터일 수 있다. 깊이 카메라(10)는 사람이 휴대 또는 착용하거나, 로봇 또는 차량과 같이 이동 가능한 물체에 장착 가능하여, 이동하면서 주변 환경 또는 장면을 촬영할 수 있다.
저해상도 복원부(30)는 깊이 카메라(10)를 포함하는 디바이스일 수 있다. 디바이스는 깊이 카메라(10)가 그 내부에 집적화된 노트북, 핸드헬드 장치, 스마트폰, 탭 등의 모바일 단말, 또는 이러한 디바이스를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 디바이스일 수 있다.
저해상도 복원부(30)는 깊이 카메라(10)가 스캔할 때마다 생성되는 깊이 맵을 수신하고, 실시간으로 깊이 맵을 처리하여 저해상도 3차원 모델을 복원할 수 있다. 저해상도 복원부(30)는 깊이 맵을 저해상도 깊이 맵으로 변환하고, 저해상도 깊이 맵을 이전 깊이 맵과 정합하여 깊이 카메라(10)의 포즈 변화 정보를 추출할 수 있다. 저해상도 복원부(30)는 추출된 깊이 카메라의 포즈 변화 정보를 기초로 저해상도 깊이 맵들을 정렬 및 통합하여 저해상도 3차원 볼륨을 생성함으로써 저해상도 3차원 모델을 복원할 수 있다. 저해상도 복원부(30)는 이전에 복원된 저해상도 3차원 볼륨으로부터 추정된 깊이 맵과 새로 입력된 저해상도 깊이 맵을 정렬 및 통합하여 새로운 저해상도 3차원 모델을 복원할 수 있다. 3차원 모델은 깊이 카메라(10)가 촬영한 주변 환경 또는 공간 내에 존재하는 다양한 개체에 대한 3차원 모델이다. 깊이 카메라의 포즈 변화 정보는 한 쌍의 깊이 맵 간의 정합 결과 추출된 깊이 맵의 변위 데이터로서, 깊이 카메라(10)의 위치 및 방향에 대한 정보를 나타낸다. 깊이 카메라(10)로부터 수신한 깊이 맵 시퀀스 및 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보는 메모리에 저장될 수 있다.
저해상도 복원부(30)는 깊이 맵 시퀀스와 각 깊이 맵에 대해 추출된 깊이 카메라(10)의 포즈 변화 정보를 실시간으로 또는 깊이 카메라(10)가 스캔을 완료한 후에 고해상도 복원부(50)로 전송할 수 있다.
고해상도 복원부(50)는 저해상도 복원부(30)가 구현된 디바이스 내에 함께 구현될 수 있다. 또는 고해상도 복원부(50)는 저해상도 복원부(30)와 데이터를 송수신할 수 있는 다른 노트북, 핸드헬드 장치, 스마트폰, 탭 등의 디바이스, 디지털 텔레비전, 데스크 탑 컴퓨터, 또는 임의의 다른 적절한 디바이스일 수 있다. 또는 고해상도 복원부(50)는 인터넷 상의 클라우드 서버일 수 있다.
고해상도 복원부(50)는 저해상도 복원부(30)로부터 저해상도 3차원 모델 복원 결과를 수신하고, 수신한 복원 결과를 이용하여 고해상도 3차원 모델을 복원할 수 있다. 고해상도 복원부(50)는 저해상도 복원부(30)로부터 깊이 맵 시퀀스와 저해상도 깊이 맵으로부터 추출한 깊이 카메라(10)의 포즈 변화 정보를 수신할 수 있다. 고해상도 복원부(50)는 수신한 깊이 센서의 포즈 변화 정보를 이용하여 중복하는 깊이 맵을 제외하고 선택된 깊이 맵들을 정합 및 통합하여 고해상도 3차원 모델을 복원할 수 있다.
고해상도 복원부(50)는 실시간으로 깊이 맵 시퀀스와 깊이 카메라(10)의 포즈 변화 정보를 수신하여, 저해상도 3차원 모델이 복원되는 중에 함께 고해상도 3차원 모델을 복원할 수 있다. 또는 고해상도 복원부(50)는 깊이 카메라(10)가 스캔을 완료한 후에 깊이 맵 시퀀스와 깊이 카메라(10)의 포즈 변화 정보를 수신하여, 고해상도 3차원 모델을 복원할 수 있다. 고해상도 복원부(50)는 복원된 고해상도 3차원 모델을 메모리에 저장할 수 있다.
고해상도 복원부(50)가 클라우드 서버에 구현된 경우, 고해상도 복원부(50)는 저해상도 복원부(30)가 업로드한 깊이 맵 시퀀스와 깊이 카메라(10)의 포즈 변화 정보를 이용하여 고해상도 3차원 모델을 복원하여 저장하고, 저해상도 복원부(30)는 저장된 고해상도 3차원 모델을 다운로드할 수 있다. 저해상도 복원부(30)는 실시간으로 저해상도 3차원 모델 복원 중에 또는 저해상도 3차원 모델 복원 완료 후에 깊이 맵 시퀀스와 깊이 카메라(10)의 포즈 변화 정보를 업로드할 수 있다.
저해상도 복원부(30) 및/또는 고해상도 복원부(50)는 3차원 모델을 이용하는 여러 가지 시스템과 연동될 수 있고, 고해상도 3차원 모델은 애니메이션 영화, 게임, 캐릭터를 이용한 여러 가지 어플리케이션 시스템에 이용될 수 있다.
본 발명의 실시예에 따른 3차원 모델 복원 시스템(1)은 저해상도 3차원 모델 복원과 고해상도 3차원 모델 복원 과정을 분리하는 하이브리드 3차원 모델 복원 시스템이다. 고해상도 3차원 모델을 생성하는 과정은 많은 연산량과 연산 시간이 소요되므로 실시간 확인이 어렵다. 그리고, 고해상도 3차원 모델을 실시간으로 생성하기 위해서는 고성능 시스템이 필요하다.
본 발명의 실시예는 저해상도 깊이 맵을 이용하여 실시간으로 저해상도 3차원 모델을 복원하여 실시간성을 확보하고, 고해상도 깊이 맵과 저해상도 3차원 모델 복원 결과를 이용하여 고해상도 3차원 모델을 복원함으로써, 고성능 시스템이 아닌 임베디드 시스템에도 적용할 수 있도록 한다.
사용자는 복원된 저해상도 3차원 모델을 2차원 이미지 형태로 임베디드 시스템의 화면에 디스플레이하고 실시간 확인하면서 미완성된 부분을 점진적으로 완성해 나갈 수 있어 사용자 편의성이 증대될 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 3차원 모델 복원 시스템(1)의 3차원 모델 복원 방법을 설명하는 도면이다.
도 2를 참조하면, 깊이 카메라(10)가 주변 환경 또는 장면을 실시간 스캔한다(S61). 깊이 카메라(10)는 스캔한 장면에 대해 소정 프레임율로 깊이 맵 시퀀스를 생성한다.
저해상도 복원부(30)는 깊이 카메라(10)로부터 입력되는 깊이 맵 시퀀스를 실시간 처리하고, 실시간으로 저해상도 3차원 모델을 복원할 수 있다(S62).
저해상도 복원부(30)는 깊이 카메라(10)가 스캔할 때마다 저해상도 3차원 모델을 복원하여 실시간 디스플레이할 수 있다(S63). 저해상도 복원부(30)는 복원된 저해상도 3차원 모델로부터 2차원 데이터를 추정하고, 추정된 2차원 데이터를 가시화한 저해상도 이미지를 화면에 디스플레이할 수 있다. 사용자는 실시간으로 화면 상에 디스플레이되는 저해상도 이미지를 확인하면서 3차원 모델을 완성해 갈 수 있다.
깊이 카메라(10)는 저해상도 3차원 모델 복원이 완료될 때까지 스캔을 계속 수행할 수 있다(S64). 저해상도 복원부(30)는 깊이 카메라(10)가 스캔을 완료하면, 깊이 카메라(10)로부터 수신한 깊이 맵 시퀀스 및 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보를 고해상도 복원부(50)로 전달할 수 있다.
고해상도 복원부(50)는 깊이 맵 시퀀스 및 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보를 수신하고, 고해상도 3차원 모델을 복원할 수 있다(S65). 고해상도 복원부(50)는 깊이 카메라의 포즈 변화 정보를 기초로 깊이 카메라의 포즈 변화가 없는 깊이 맵, 즉 이전 깊이 맵과 중복하는 깊이 맵의 처리를 생략할 수 있기 때문에, 카메라의 포즈 변화 정보 추출 범위를 줄일 수 있고, 따라서 고해상도 3차원 모델 복원에 필요한 연산량 및 연산 시간을 줄일 수 있다.
고해상도 복원부(50)는 복원 완료된 고해상도 3차원 모델을 메모리에 저장할 수 있다(S66). 저장된 고해상도 3차원 모델은 애니메이션 영화, 게임, 캐릭터를 이용한 여러 가지 어플리케이션 시스템에 이용될 수 있다.
도 3을 참조하면, 깊이 카메라(10)가 주변 환경 또는 장면을 실시간 스캔한다(S71). 깊이 카메라(10)는 스캔한 장면에 대해 소정 프레임율로 깊이 맵 시퀀스를 생성한다.
저해상도 복원부(30)는 깊이 카메라(10)로부터 입력되는 깊이 맵 시퀀스를 실시간 처리하고, 실시간으로 저해상도 3차원 모델을 복원할 수 있다(S72).
저해상도 복원부(30)는 깊이 카메라(10)가 스캔할 때마다 저해상도 3차원 모델을 복원하여 실시간 디스플레이할 수 있다(S73). 저해상도 복원부(30)는 복원된 저해상도 3차원 모델로부터 2차원 데이터를 추정하고, 추정된 2차원 데이터를 가시화한 저해상도 이미지를 화면에 디스플레이할 수 있다. 사용자는 실시간으로 화면 상에 디스플레이되는 저해상도 이미지를 확인하면서 3차원 모델을 완성해 갈 수 있다.
깊이 카메라(10)는 저해상도 3차원 모델 복원이 완료될 때까지 스캔을 계속 수행할 수 있다(S74). 저해상도 복원부(30)는 깊이 카메라(10)가 스캔할 때마다 깊이 카메라(10)로부터 수신한 깊이 맵 시퀀스 및 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보를 고해상도 복원부(50)로 실시간으로 전달할 수 있다.
고해상도 복원부(50)는 깊이 맵 시퀀스 및 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보를 실시간으로 수신하고, 고해상도 3차원 모델을 복원할 수 있다(S75). 고해상도 복원부(50)는 여유의 시스템 자원을 이용하여 저해상도 3차원 모델이 복원되는 중에 고해상도 3차원 모델을 복원할 수 있다. 고해상도 복원부(50)는 실시간으로 또는 비-실시간으로 3차원 모델을 복원할 수 있다.
고해상도 복원부(50)는 깊이 카메라의 포즈 변화 정보를 기초로 깊이 카메라의 포즈 변화가 없는 깊이 맵의 처리를 생략할 수 있기 때문에, 카메라의 포즈 변화 정보 추출 범위를 줄일 수 있고, 따라서 고해상도 3차원 모델 복원에 필요한 연산량 및 연산 시간을 줄일 수 있다.
고해상도 복원부(50)는 복원 완료된 고해상도 3차원 모델을 메모리에 저장할 수 있다(S76). 저장된 고해상도 3차원 모델은 애니메이션 영화, 게임, 캐릭터를 이용한 여러 가지 어플리케이션 시스템에 이용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 저해상도 복원부를 개략적으로 도시한 블록도이다. 도 5는 도 4의 저해상도 복원부의 3차원 모델 복원 방법을 개략적으로 도시한 흐름도이다.
도 4 및 도 5를 함께 참조하면, 저해상도 복원부(30)는 스케일 조정부(31), 제1 맵 변환부(32), 제1 센서 추적부(33), 제1 볼륨 구성부(34) 및 제1 맵 추정부(35)를 포함할 수 있다. 저해상도 복원부(30)는 저장부(37) 및 디스플레이부(39)를 더 포함할 수 있다.
스케일 조정부(31)는 깊이 맵을 다운 사이징하여 저해상도의 제2 깊이 맵을 생성할 수 있다(S301). 스케일 조정부(31)는 깊이 맵을 실시간성을 확보할 수 있는 사이즈로 스케일 다운(scale down) 처리하여 해상도를 줄일 수 있다. 본 발명의 실시예에서 스케일 다운 방법은 특별히 한정되지 않고 다양한 방법들이 사용될 수 있다.
제1 맵 변환부(32)는 제2 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군(Point Cloud) 데이터로 변환할 수 있다(S302). 점군(Point Cloud) 데이터는 3차원 좌표 상의 점 형태의 집합체이다.
제1 센서 추적부(33)는 제2 깊이 맵의 점군 데이터와 기준 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출할 수 있다(S303). 깊이 카메라의 포즈 변화 정보는 깊이 카메라의 위치 정보 및 자세 정보를 포함한다. 위치정보는 임의의 절대 좌표계에서 깊이 카메라가 어느 지점 위치하는가를 의미하며, 자세정보는 절대 좌표축을 기준으로 깊이 카메라가 얼마나 회전되었는가를 의미한다. 깊이 카메라가 생성한 각 깊이 맵에 대하여 ICP 알고리즘을 이용하여 깊이 카메라의 위치정보 및 자세정보 계산을 계속 반복 수행하여 장면 내에서의 깊이 카메라의 움직임을 추적할 수 있다. 본 발명의 실시예는 저해상도의 깊이 맵을 이용함으로써 깊이 카메라의 움직임을 실시간 추적할 수 있다.
깊이 카메라의 n번째 스캔이 완료된 시점에서의 깊이 카메라의 포즈 변화 정보를 추출하기 위해 ICP(Iterative Closet Point or Iterative Corresponding Point) 알고리즘이 이용된다. ICP 알고리즘은 한 쌍의 깊이 맵, 즉 기준 깊이 맵과 새로 입력된 깊이 맵 간에 가장 근접한 포인트(Closet Point) 또는 대응되는 포인트(Corresponding Point)를 반복적으로 비교하여, 한 쌍의 깊이 맵 간의 상대적인 강체 변환(rigid transformation) 데이터를 구할 수 있는 알고리즘이다.
n번째 스캔이 완료된 시점에서의 깊이 카메라의 포즈 변화 정보를 추출하기 위해 필요한 기준 깊이 맵은 n번째 스캔 이전에 임의 번째의 스캔에 의해 획득된 깊이 맵일 수 있다. 예를 들어, n번째 깊이 맵의 기준 깊이 맵은 n-1번째 스캔에 의해 획득된 깊이 맵일 수 있다. 또는, 기준 깊이 맵은 n-1번째 스캔 완료 후 복원된 3차원 모델로부터 추정된 깊이 맵일 수 있다. 이하에서는 기준 깊이 맵으로 사용되는 현재 깊이 맵 이전에 획득된 깊이 맵, 또는 복원된 3차원 모델로부터 추정된 깊이 맵을 이전 깊이 맵이라 하겠다.
제1 센서 추적부(33)는 각 제2 깊이 맵과 이전 깊이 맵의 점군 데이터에 ICP(Iterative Closest Point) 알고리즘을 적용하여 정합할 수 있다. 제1 센서 추적부(33)가 이용하는 이전 깊이 맵은 제2 깊이 맵에 대응하도록 다운 사이징된 깊이 맵(이하 '이전 제2 깊이 맵'이라 함)이다.
제1 볼륨 구성부(34)는 깊이 카메라의 포즈 변화 정보를 기초로, 순차로 입력되는 제2 깊이 맵들의 점군 데이터를 통합(머징)하여 실시간으로 저해상도 3차원 볼륨을 생성할 수 있다(S304). 제1 볼륨 구성부(34)는 제2 깊이 맵들의 점군 데이터를 정합 결과에 따라 정렬 및 누적하여 3차원 볼륨을 생성함으로써 저해상도 3차원 모델을 복원할 수 있으며, 이때 볼륨 사이즈를 조절하여 해상도를 줄일 수 있다.
제1 맵 추정부(35)는 저해상도 3차원 볼륨으로부터 깊이 맵을 추정할 수 있다(S305). 제1 맵 추정부(35)는 레이 캐스팅(Ray casting) 기법을 적용하여 3차원 볼륨으로부터 2차원의 깊이 맵을 추정할 수 있다. 추정된 깊이 맵은 이전 제2 깊이 맵으로서 저장부(37)에 저장되고, 다음으로 입력되는 깊이 맵에 대해 ICP를 수행할 때 기준 깊이 맵으로 사용될 수 있다.
저장부(37)는 기준 깊이 맵, 깊이 맵들 및 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보를 저장할 수 있다. 저장부(37)는 입출력되는 데이터들의 임시 저장을 수행하는 메모리 등과 같은 저장 매체일 수 있다.
디스플레이부(39)는 2차원 데이터인 추정된 깊이 맵을 사용자 시점을 기준으로 시각화하여 표시할 수 있다(S306). 이로써 사용자는 디스플레이부(39)의 화면으로 실시간 3차원 모델을 확인할 수 있다.
도 6은 본 발명의 일 실시예에 따른 고해상도 복원부를 개략적으로 도시한 블록도이다. 도 7은 도 6의 고해상도 복원부의 3차원 모델 복원 방법을 개략적으로 도시한 흐름도이다.
도 6 및 도 7을 함께 참조하면, 고해상도 복원부(50)는 제2 맵 변환부(51), 제2 센서 추적부(53), 제2 볼륨 구성부(55), 제2 맵 추정부(57)를 포함할 수 있다. 고해상도 복원부(50)는 저장부(59)를 더 포함할 수 있다.
고해상도 복원부(50)는 해상도 감소 없이 원본 깊이 맵으로부터 고해상도 3차원 모델을 복원한다.
제2 맵 변환부(51)는 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환할 수 있다(S501). 점군(Point Cloud) 데이터는 3차원 좌표 상의 점 형태의 집합체이다.
제2 센서 추적부(53)는 깊이 맵의 점군 데이터와 이전 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출할 수 있다(S503). 깊이 카메라의 포즈 변화 정보는 깊이 카메라의 위치 정보 및 자세 정보를 포함한다.
제2 센서 추적부(53)는 저해상도 복원부(30)로부터 수신한 깊이 맵들 중 깊이 카메라의 포즈 변화 정보를 기초로 중복하는 깊이 맵을 제외하고, 선택된 깊이 맵들에 대해 ICP 알고리즘을 적용할 수 있다. 이에 따라 제2 센서 추적부(53)는 수신한 모든 깊이 맵에 대해 깊이 카메라의 포즈 변화 정보를 추출할 필요가 없어 연산량 및 연산 시간을 줄일 수 있다. 또한 제2 센서 추적부(53)는 ICP 알고리즘을 적용하면서 저해상도 복원부(30)로부터 수신한 깊이 카메라의 포즈 변화 정보를 이용함으로써 한 쌍의 깊이 맵 간에 가장 근접한 포인트(Closet Point) 또는 대응되는 포인트(Corresponding Point)를 탐색하는 과정이 줄어들어 연산량 및 연산 시간을 줄일 수 있다.
또는, 제2 맵 변환부(51)가 중복하는 깊이 맵의 데이터 변환을 생략하고, 제2 센서 추적부(53)는 제2 맵 변환부(51)로부터 수신한 깊이 맵에 대해서만 ICP 알고리즘을 적용할 수 있다.
제2 볼륨 구성부(55)는 깊이 카메라의 포즈 변화 정보를 기초로, 순차로 입력되는 깊이 맵들의 점군 데이터를 통합하여 고해상도 3차원 볼륨을 생성할 수 있다(S505). 제2 볼륨 구성부(55)는 깊이 맵들의 점군 데이터를 정합 결과에 따라 정렬 및 누적하여 고해상도 3차원 볼륨을 생성함으로써 고해상도 3차원 모델을 복원할 수 있다.
제2 맵 추정부(57)는 고해상도 3차원 볼륨으로부터 2차원의 깊이 맵을 추정할 수 있다(S507). 추정된 깊이 맵은 이전 깊이 맵으로서 저장부(59)에 저장되고, 다음으로 입력되는 깊이 맵에 대해 ICP를 수행할 때 기준 깊이 맵으로 사용될 수 있다.
저장부(59)는 복원된 최종 고해상도 3차원 모델을 저장할 수 있다(S509). 저장부(59)는 기준 깊이 맵, 깊이 맵들, 각 깊이 맵에 대해 추출된 깊이 카메라의 포즈 변화 정보 및 고해상도 3차원 모델을 저장할 수 있다. 저장부(59)는 입출력되는 데이터들의 임시 저장을 수행하는 메모리 등의 저장 매체일 수 있다.
도 8은 본 발명의 일 실시예에 따른 3차원 모델 복원 시스템의 예를 도시한 도면이다. 도 9는 도 8의 모바일 단말의 구성을 개략적으로 도시한 블록도이다.
도 8을 참조하면, 모바일 단말(100)은 실시간으로 저해상도 3차원 모델을 복원하고, 컴퓨팅 디바이스(200)는 저해상도 3차원 모델 복원 결과를 이용하여 고해상도 3차원 모델을 복원할 수 있다. 모바일 단말(100)과 컴퓨팅 디바이스(200)는 유선 또는 무선으로 서로 통신하며 데이터를 송수신할 수 있다.
모바일 단말(100)은 저해상도 3차원 모델을 복원하는 임베디드 시스템이고, 컴퓨팅 디바이스(200)는 고해상도 3차원 모델을 복원하는 고성능 시스템일 수 있다.
도 9를 참조하면, 모바일 단말(100)은 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 깊이 카메라(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 모바일 단말(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(123) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(123)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(113)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린(touch screen)이라 부를 수 있다. 본 발명의 일 실시예에서 모바일 단말(100)은 사용자 입력부(130)를 통해 사용자로부터 3차원 모델 생성을 요청받을 수 있다.
깊이 카메라(140)는 사용자 입력부(130)를 통해 사용자로부터 3차원 모델 생성을 요청받은 경우, 주변 환경 또는 장면을 스캔하여 깊이 맵을 생성하기 위한 정보를 수집할 수 있다. 깊이 카메라(140)는 소정 프레임율로 깊이 맵(depth map) 시퀀스를 생성할 수 있다.
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호를 출력한다. 출력부(150)에는 디스플레이부(151), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등이 포함될 수 있다.
디스플레이부(151)는 모바일 단말(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 모바일 단말(100)이 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 모바일 단말(100)이 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다. 디스플레이부(151)는 3차원 모델 생성 모드인 경우, 깊이 카메라(140)로부터의 깊이 맵을 실시간 처리하여 복원된 저해상도 3차원 모델 또는 복원된 저해상도 3차원 모델로부터 추정된 깊이 맵 형태의 2차원 이미지를 표시할 수 있다.
한편, 전술한 바와 같이, 디스플레이부(151)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(151)가 터치 스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.
디스플레이부(151)는 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 전기 영동 디스플레이(EPD), 플렉서블 디스플레이, 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 모바일 단말(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다.
음향출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(153)은 모바일 단말(100)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다.
알람부(155)는 모바일 단말(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 모바일 단말(100)에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 이러한 알람부(155)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 모바일 단말(100)에서 이벤트 발생 알림을 위한 신호는 디스플레이부(151)나 음향출력 모듈(153)를 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)은 진동, 접촉 피부 면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열이 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈(157)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근감각을 통해 촉각효과를 느낄 수 있도록 구현할 수도 있다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 모바일 단말(100)은 인터넷(internet) 상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다. 모바일 단말(100)은 웹 스토리지로 저해상도 3차원 모델 복원 결과를 업로드하고, 클라우드 서버(200)가 복원한 고해상도 3차원 모델을 웹 스토리지로부터 다운로드할 수 있다.
인터페이스부(170)는 모바일 단말(100)에 연결되는 모든 외부 기기와의 인터페이스 역할을 수행한다. 모바일 단말(100)에 연결되는 외부 기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드 (Memory card), SIM/UIM card 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 모바일 단말(100) 내부의 각 구성 요소에 전달할 수 있고, 모바일 단말(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(180)는 모바일 단말(100)의 전반적인 동작을 제어하며, 각 구성 요소의 동작을 제어하기 위해 각 구성 요소와 제어 신호를 주고받거나 데이터 처리 등의 기능을 수행한다. 예를 들어, 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 저해상도 3차원 모델을 복원하기 위한 저해상도 3차원 모델 복원부(181)를 구비할 수도 있다. 저해상도 3차원 모델 복원부(181)는 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어나 회로들로 구성될 수도 있다.
저해상도 3차원 모델 복원부(181)는 깊이 카메라(140)로부터 제공받은 깊이 맵을 다운 사이징하여 해상도를 줄이고, ICP 알고리즘을 이용하여 깊이 맵들을 정합한 결과인 깊이 카메라 포즈 변화 정보를 추출하고, 깊이 맵들을 누적하여 저해상도의 3차원 볼륨을 생성함으로써 저해상도 3차원 모델을 복원할 수 있다. 저해상도 3차원 모델 복원부(181)는 도 4에 도시된 스케일 조정부(31), 제1 맵 변환부(32), 제1 센서 추적부(33), 제1 볼륨 구성부(34) 및 제1 맵 추정부(35)에 대응하는 구성 요소를 구비하고, 도 5에 도시된 바와 같이 저해상도 3차원 모델을 복원하기 위한 각각의 동작을 수행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급한다. 전원 공급부(190)는 충전가능한 배터리를 포함한다.
다시 도 8을 참조하면, 깊이 맵 카메라(140)가 장착된 모바일 디바이스(100)는 3차원 공간상에서 자유롭게 움직이며 장면을 촬영하여 저해상도 3차원 모델을 복원할 수 있다.
컴퓨팅 디바이스(200)는 고해상도 3차원 모델 복원부(201)를 구비할 수 있다. 고해상도 3차원 모델 복원부(201)는 컴퓨팅 디바이스(200) 내에 하드웨어로 구성될 수도 있고, 소프트웨어 또는 회로들로 구성될 수도 있다. 고해상도 3차원 모델 복원부(201)는 도 6에 도시된 제2 맵 변환부(51), 제2 센서 추적부(53), 제2 볼륨 구성부(55) 및 제2 맵 추정부(57)에 대응하는 구성 요소를 구비하고, 도 7에 도시된 바와 같이 고해상도 3차원 모델을 복원하기 위한 각각의 동작을 수행할 수 있다.
깊이 맵을 통합하여 3차원 모델을 복원하기 위해서는, 자유롭게 움직이는 깊이 카메라(즉 모바일 단말)의 공간상 3차원 좌표와 스캔 방향을 실시간으로 탐색(Tracking)하는 것이 필요하다. 이를 위해서는 실시간 깊이 맵을 처리하여야 한다. 기존 모바일 단말의 실시간 탐색기법은 영상처리를 기반하고 있어 계산량이 매우 복잡하다. 또한 모바일 단말과 같은 임베디드 시스템에서는 계산용량 부족으로 실시간 깊이 맵을 처리하기 어렵다.
본 발명의 실시예에서는 실시간성을 확보하기 위해 모바일 단말(100)은 저해상도 3차원 모델을 실시간 복원하고, 컴퓨팅 디바이스(200)가 그 결과를 이용하여 고해상도 3차원 모델을 복원할 수 있다. 컴퓨팅 디바이스(200)는 실시간 또는 스캔 완료 후 저해상도 3차원 모델 복원 결과를 수신하여 고해상도 3차원 모델을 복원할 수 있다. 모바일 단말(100)은 복원된 고해상도 3차원 모델을 컴퓨팅 디바이스(200)로부터 제공받을 수 있다.
컴퓨팅 디바이스(200)가 클라우드 서버에 구현된 경우, 모바일 단말(100)은 실시간 또는 스캔 완료 후 저해상도 3차원 모델 복원 결과를 클라우드 서버로 업로드하고, 컴퓨팅 디바이스(200)는 그 결과를 이용하여 고해상도 3차원 모델을 복원하여 저장할 수 있다. 모바일 단말(100)은 복원된 고해상도 3차원 모델을 클라우드 서버로부터 다운로드할 수 있다.
도 10은 본 발명의 일 실시예에 따른 멀티 스캐닝에 의한 3차원 모델 복원 시스템을 설명하는 도면이다.
도 10을 참조하면, 3차원 모델 복원 시스템(1)은 제1 내지 제n 깊이 카메라(10a, 10b, ..., 10n), 제1 내지 제n 모바일 단말(100a, 100b, ..., 100n) 및 클라우드 서버(300)를 포함할 수 있다. 제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)은 인터넷과 같은 네트워크를 통해, 또는 임의의 적절한 방식으로 무선으로 클라우드 서버(300)와 통신할 수 있다.
제1 내지 제n 깊이 카메라(10a, 10b, ..., 10n)는 각각 동일 장면에 대해 다른 시점 및 시야에서 장면을 스캔하여 깊이 맵 시퀀스를 생성한다.
제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)은 각각 대응하는 제1 내지 제n 깊이 카메라(10a, 10b, ..., 10n)로부터 깊이 맵을 수신하고, 저해상도 3차원 모델을 복원한다.
제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)은 각각 수신한 깊이 맵과 저해상도 3차원 모델 복원 시에 추출한 깊이 카메라의 포즈 변화 정보를 클라우드 서버(300)로 업로드한다. 깊이 맵은 압축되거나 압축되지 않은 2차원 이미지로 업로드될 수 있다.
클라우드 서버(300)는 제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)로부터 업로드된 깊이 맵과 깊이 카메라의 포즈 변화 정보를 기초로 고해상도 3차원 모델을 복원한다. 클라우드 서버(300)는 제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)이 업로드한 깊이 맵을 공통 포맷으로 변환하여 하나의 고해상도 3차원 모델을 복원할 수 있다. 클라우드 서버(300)는 복원된 고해상도 3차원 모델을 저장한다.
제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)은 각각 클라우드 서버(300)로부터 복원된 고해상도 3차원 모델을 다운로드한다. 제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)은 자신의 저해상도 3차원 모델에 다운로드한 고해상도 3차원 모델을 병합한다. 이에 따라 제1 내지 제n 모바일 단말(100a, 100b, ..., 100n)은 다른 모바일 단말이 스캔한 장면이 모두 반영된 3차원 모델을 실시간 확인할 수 있다.
전술한 3차원 모델 복원 과정은 3차원 모델 복원 시스템에 의해 자동으로 수행되며, 개체를 스캐닝하고, 스캐닝에 의해 생성된 깊이 맵 이미지 데이터를 가공하여 입체감 있는 3차원 모델로 신속하게 자동 변환할 수 있다.
본 발명의 실시예는 게임 분야 외에 의료용 3차원 인체 형상 복원, 각종 전자 상거래 업체, 디자인 및 주요 정밀 부품 생산 업체, 연구소, 군수 장비 등에 활용됨으로써 이용자들에게 편리함을 제공할 수 있다.
본 발명의 실시예에 따른 시스템은 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
10: 깊이 카메라
30: 저해상도 복원부
50: 고해상도 복원부

Claims (20)

  1. 깊이 카메라가 장면을 스캔하여 획득한 깊이 맵을 저해상도의 제2 깊이 맵으로 변환하고, 상기 제2 깊이 맵을 처리하여 상기 깊이 카메라의 포즈 변화 정보를 추출하고, 저해상도 3차원 모델을 실시간으로 복원하는 저해상도 복원부; 및
    상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 상기 깊이 맵을 처리하여 고해상도 3차원 모델을 복원하는 고해상도 복원부;를 포함하고,
    상기 고해상도 복원부는,
    상기 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 제2맵변환부;
    상기 깊이 맵의 점군 데이터와 이전 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출하는 제2센서추적부; 및
    상기 깊이 카메라의 포즈 변화 정보를 기초로, 상기 깊이 맵들의 점군 데이터를 통합하여 고해상도 3차원 볼륨을 생성하는 제2볼륨구성부;를 포함하고,
    상기 제2센서추적부는 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 ICP 알고리즘을 적용하는, 3차원 모델 복원 시스템.
  2. 제1항에 있어서, 상기 저해상도 복원부는,
    상기 깊이 맵을 다운 사이징한 상기 제2 깊이 맵을 생성하는 스케일 조정부;
    상기 제2 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 제1맵변환부;
    상기 제2 깊이 맵의 점군 데이터와 이전 제2 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출하는 제1센서추적부; 및
    상기 추출한 깊이 카메라의 포즈 변화 정보를 기초로, 상기 제2 깊이 맵들의 점군 데이터를 통합하여 실시간으로 저해상도 3차원 볼륨을 생성하는 제1볼륨구성부;를 포함하는 3차원 모델 복원 시스템.
  3. 제2항에 있어서, 상기 저해상도 복원부는,
    상기 저해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 제1맵추정부;를 더 포함하는 3차원 모델 복원 시스템.
  4. 제3항에 있어서,
    상기 추정된 깊이 맵은 사용자 시점을 기준으로 시각화되어 표시되고, 상기 이전 제2 깊이 맵으로서 저장되는 3차원 모델 복원 시스템.
  5. 삭제
  6. 제1항에 있어서, 상기 고해상도 복원부는,
    상기 고해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 제2맵추정부;를 더 포함하는 3차원 모델 복원 시스템.
  7. 제1항에 있어서, 상기 제2센서추적부는,
    상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 중복하는 깊이 맵을 제외하고, 선택된 각 깊이 맵에 대해 상기 ICP 알고리즘을 적용하는 3차원 모델 복원 시스템.
  8. 제6항에 있어서,
    상기 추정된 깊이 맵은 상기 이전 깊이 맵으로서 저장되는 3차원 모델 복원 시스템.
  9. 제1항에 있어서, 상기 고해상도 복원부는,
    상기 깊이 카메라의 스캔이 완료된 후 또는 스캔 중에, 상기 저해상도 복원부로부터 상기 깊이 맵 시퀀스 및 깊이 카메라의 포즈 변화 정보를 수신하여 고해상도 3차원 모델을 복원하는 3차원 모델 복원 시스템.
  10. 제1항에 있어서,
    상기 저해상도 복원부는 임베디드 시스템이고,
    상기 고해상도 복원부는 클라우드 서버이고,
    상기 임베디드 시스템은 상기 클라우드 서버로 상기 깊이 맵 시퀀스 및 깊이 카메라의 포즈 변화 정보를 업로드하고, 상기 클라우드 서버로부터 상기 고해상도 3차원 모델을 다운로드하는 3차원 모델 복원 시스템.
  11. 깊이 카메라가 장면을 스캔하여 획득한 깊이 맵을 저해상도의 제2 깊이 맵으로 변환하고, 상기 제2 깊이 맵을 처리하여 상기 깊이 카메라의 포즈 변화 정보를 추출하고, 실시간으로 저해상도 3차원 모델을 복원하는 단계; 및
    상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 상기 깊이 맵을 처리하여 고해상도 3차원 모델을 복원하는 단계;를 포함하고,
    상기 고해상도 3차원 모델 복원 단계는,
    상기 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 단계;
    상기 깊이 맵의 점군 데이터와 이전 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출하는 단계; 및
    상기 깊이 카메라의 포즈 변화 정보를 기초로, 깊이 맵들의 점군 데이터를 통합하여 고해상도 3차원 볼륨 데이터를 생성하는 단계;를 포함하고,
    상기 깊이 카메라의 포즈 변화 정보 추출 단계는, 상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 ICP 알고리즘을 적용하는, 3차원 모델 복원 방법.
  12. 제11항에 있어서, 상기 저해상도 3차원 모델 복원 단계는,
    상기 깊이 맵을 다운 사이징한 상기 제2 깊이 맵을 생성하는 단계;
    상기 제2 깊이 맵의 깊이 데이터를 3차원 공간 좌표 상의 점군 데이터로 변환하는 단계;
    상기 제2 깊이 맵의 점군 데이터와 이전 제2 깊이 맵의 점군 데이터를 ICP(Iterative Closest Point) 알고리즘을 이용하여 정합하고, 정합 결과에 따른 깊이 카메라의 포즈 변화 정보를 추출하는 단계; 및
    상기 추출한 깊이 카메라의 포즈 변화 정보를 기초로, 제2 깊이 맵들의 점군 데이터를 통합하여 실시간으로 저해상도 3차원 볼륨을 생성하는 단계;를 포함하는 3차원 모델 복원 방법.
  13. 제12항에 있어서, 상기 저해상도 3차원 모델 복원 단계는,
    상기 저해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 단계;를 더 포함하는 3차원 모델 복원 방법.
  14. 제13항에 있어서,
    상기 추정된 깊이 맵은 사용자 시점을 기준으로 시각화되어 표시되고, 상기 이전 제2 깊이 맵으로서 저장되는 3차원 모델 복원 방법.
  15. 삭제
  16. 제11항에 있어서, 상기 고해상도 3차원 모델 복원 단계는,
    상기 고해상도 3차원 볼륨으로부터 깊이 맵을 추정하는 단계;를 더 포함하는 3차원 모델 복원 방법.
  17. 제11항에 있어서, 상기 깊이 카메라의 포즈 변화 정보 추출 단계는,
    상기 제2 깊이 맵으로부터 추출한 깊이 카메라의 포즈 변화 정보를 이용하여 중복하는 깊이 맵을 제외하고, 선택된 각 깊이 맵에 대해 상기 ICP 알고리즘을 적용하는 단계;를 포함하는 3차원 모델 복원 방법.
  18. 제16항에 있어서,
    상기 추정된 깊이 맵은 상기 이전 깊이 맵으로서 저장되는 3차원 모델 복원 방법.
  19. 제11항에 있어서, 상기 고해상도 3차원 모델 복원 단계는,
    상기 깊이 카메라의 스캔이 완료된 후 또는 스캔 중에, 상기 깊이 맵 시퀀스 및 깊이 카메라의 포즈 변화 정보를 이용하여 고해상도 3차원 모델을 복원하는 단계;를 포함하는 3차원 모델 복원 방법.
  20. 제11항에 있어서,
    상기 저해상도 3차원 모델 복원 단계는, 복수의 임베디드 시스템이 각각 저해상도 3차원 모델을 복원하는 단계;를 포함하고,
    상기 고해상도 3차원 모델 복원 단계는, 클라우드 서버가 각 임베디드 시스템으로부터 수신한 상기 깊이 카메라의 포즈 변화 정보를 이용하여 상기 장면에 대해 고해상도 3차원 모델을 복원하는 단계;를 포함하고,
    상기 복수의 임베디드 시스템 각각이 클라우드 서버로부터 상기 고해상도 3차원 모델을 다운로드하는 단계;를 더 포함하는 3차원 모델 복원 방법.
KR1020130124152A 2013-10-17 2013-10-17 3차원 모델 복원 시스템 및 방법 Active KR102184766B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130124152A KR102184766B1 (ko) 2013-10-17 2013-10-17 3차원 모델 복원 시스템 및 방법
EP14156980.6A EP2863336A3 (en) 2013-10-17 2014-02-27 System and method for reconstructing 3d model
US14/219,224 US9574874B2 (en) 2013-10-17 2014-03-19 System and method for reconstructing 3D model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130124152A KR102184766B1 (ko) 2013-10-17 2013-10-17 3차원 모델 복원 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150044730A KR20150044730A (ko) 2015-04-27
KR102184766B1 true KR102184766B1 (ko) 2020-11-30

Family

ID=50241090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130124152A Active KR102184766B1 (ko) 2013-10-17 2013-10-17 3차원 모델 복원 시스템 및 방법

Country Status (3)

Country Link
US (1) US9574874B2 (ko)
EP (1) EP2863336A3 (ko)
KR (1) KR102184766B1 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113043B1 (en) * 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
WO2014152254A2 (en) 2013-03-15 2014-09-25 Carnegie Robotics Llc Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US9373190B2 (en) * 2014-07-09 2016-06-21 Google Inc. High-quality stereo reconstruction featuring depth map alignment and outlier identification
DE102014011821A1 (de) * 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
US9928412B2 (en) * 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics
KR101671649B1 (ko) * 2014-12-22 2016-11-01 장석준 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템
US9924157B2 (en) * 2015-04-08 2018-03-20 Canon Kabushiki Kaisha Image processing device, image pickup apparatus, image processing method, and storage medium
CN107534764B (zh) * 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US9934590B1 (en) 2015-06-25 2018-04-03 The United States Of America As Represented By The Secretary Of The Air Force Tchebichef moment shape descriptor for partial point cloud characterization
CN114863059A (zh) * 2015-09-25 2022-08-05 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
US9892552B2 (en) 2015-12-15 2018-02-13 Samsung Electronics Co., Ltd. Method and apparatus for creating 3-dimensional model using volumetric closest point approach
KR102016413B1 (ko) * 2016-01-05 2019-09-02 한국전자통신연구원 아이템 스캐닝 장치 및 방법
EP3408848A4 (en) 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
US20170359561A1 (en) * 2016-06-08 2017-12-14 Uber Technologies, Inc. Disparity mapping for an autonomous vehicle
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
WO2018144315A1 (en) * 2017-02-01 2018-08-09 Pcms Holdings, Inc. System and method for augmented reality content delivery in pre-captured environments
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
BR112019016833A2 (pt) * 2017-06-15 2020-04-07 Dolby Int Ab método para processar conteúdo de mídia para reprodução por um primeiro aparelho, sistema e primeiro e segundo aparelhos
US10600199B2 (en) * 2017-06-27 2020-03-24 Toyota Research Institute, Inc. Extending object detection and identification capability for an object sensor device
CN116721203A (zh) * 2017-09-27 2023-09-08 虹软科技股份有限公司 一种用于测量三维模型的方法、装置和存储介质
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
KR102357355B1 (ko) 2017-10-23 2022-01-28 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
CN107909643B (zh) * 2017-11-06 2020-04-24 清华大学 基于模型分割的混合场景重建方法及装置
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
CN111788611B (zh) 2017-12-22 2021-12-03 奇跃公司 密集3d重建数据的缓存和更新
CN109961504B (zh) * 2017-12-25 2023-07-21 宏达国际电子股份有限公司 三维模型重建方法、电子装置及非暂态电脑可读取记录媒体
JPWO2019167760A1 (ja) * 2018-02-27 2021-02-04 シャープ株式会社 画像処理装置、表示装置、画像処理方法、制御プログラム及び記録媒体
CN108537878B (zh) 2018-03-26 2020-04-21 Oppo广东移动通信有限公司 环境模型生成方法、装置、存储介质及电子设备
US10902260B2 (en) * 2018-11-29 2021-01-26 International Business Machines Corporation Estimating a height of a cloud depicted in an image
KR102181859B1 (ko) * 2018-12-12 2020-11-23 한국전자기술연구원 홀로포테이션 제공 시스템 및 방법
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109934909B (zh) * 2019-03-04 2023-05-23 深圳市迷你玩科技有限公司 重构3d模型的方法、装置、电子设备及存储介质
EP3973513A4 (en) 2019-05-21 2023-06-28 Magic Leap, Inc. Caching and updating of dense 3d reconstruction data
EP3991091A4 (en) 2019-06-26 2023-11-08 Magic Leap, Inc. Caching and updating of dense 3d reconstruction data
JP2022537817A (ja) 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
CN112396686B (zh) * 2019-07-31 2024-08-06 富联精密电子(天津)有限公司 三维场景工程模拟与实景融合系统及方法
CN112785682A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 模型的生成方法、模型的重建方法及装置
CN111145339B (zh) * 2019-12-25 2023-06-02 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
WO2021231261A1 (en) 2020-05-11 2021-11-18 Magic Leap, Inc. Computationally efficient method for computing a composite representation of a 3d environment
CN114519763A (zh) * 2020-11-19 2022-05-20 中兴通讯股份有限公司 3d深度图构建方法、装置及ar眼镜
CN112581598B (zh) * 2020-12-04 2022-08-30 深圳市慧鲤科技有限公司 三维模型构建方法、装置、设备及存储介质
CN112530014B (zh) * 2020-12-18 2023-07-25 北京理工大学重庆创新中心 一种多无人机室内场景三维重建方法及装置
CN113160287B (zh) * 2021-03-17 2022-04-22 华中科技大学 一种基于特征融合的复杂构件点云拼接方法及系统
US20230041814A1 (en) * 2021-08-06 2023-02-09 Lenovo (Singapore) Pte. Ltd. System and method for demonstrating objects at remote locations
US20230073587A1 (en) * 2021-09-09 2023-03-09 The Boeing Company Automated volumetric image capture of an object to support general visual inspection
US11967024B2 (en) * 2021-11-03 2024-04-23 Nvidia Corporation Extracting triangular 3-D models, materials, and lighting from images
CN114332125A (zh) * 2021-12-30 2022-04-12 科大讯飞股份有限公司 点云重建方法、装置、电子设备和存储介质
CN114565689B (zh) * 2022-02-28 2024-02-02 燕山大学 一种面向轴对称类三维模型数据压缩重建方法
CN114862908A (zh) * 2022-04-22 2022-08-05 浙江大学 一种基于深度相机的动态目标追踪方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195471A1 (en) 2011-01-31 2012-08-02 Microsoft Corporation Moving Object Segmentation Using Depth Images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951637B1 (ko) * 2007-12-17 2010-04-09 한국전자통신연구원 스테레오 비전 시스템 및 이의 영상 처리 방법
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
KR101563729B1 (ko) * 2008-10-10 2015-10-27 삼성전자주식회사 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
WO2011008066A2 (en) * 2009-07-17 2011-01-20 Samsung Electronics Co., Ltd. Apparatus and method for converting image in an image processing system
JP5858381B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 多視点画像合成方法及び多視点画像合成システム
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195471A1 (en) 2011-01-31 2012-08-02 Microsoft Corporation Moving Object Segmentation Using Depth Images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tommi Tykkälä et al., "Direct Iterative Closest Point for real-time visual odometry", COMPUTER VISION WORKSHOPS (ICCV WORKSHOPS), 2011 IEEE INTERNATIONAL CONFERENCE ON, IEEE, (2011.11.06.)*

Also Published As

Publication number Publication date
EP2863336A2 (en) 2015-04-22
US20150109415A1 (en) 2015-04-23
EP2863336A3 (en) 2017-05-10
KR20150044730A (ko) 2015-04-27
US9574874B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
KR102184766B1 (ko) 3차원 모델 복원 시스템 및 방법
US11989350B2 (en) Hand key point recognition model training method, hand key point recognition method and device
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
CN112927362B (zh) 地图重建方法及装置、计算机可读介质和电子设备
US20180101966A1 (en) Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3d model and update a scene based on sparse data
CN111445583B (zh) 增强现实处理方法及装置、存储介质和电子设备
US11170552B2 (en) Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
KR102455468B1 (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
CN109754464B (zh) 用于生成信息的方法和装置
KR20150018468A (ko) 하이브리드 비쥬얼 커뮤니케이션
CN104081434A (zh) 经配置以基于运动传感器数据计算3d模型的移动装置
CN110706339B (zh) 三维人脸重建方法及装置、电子设备和存储介质
CN114445562A (zh) 三维重建方法及装置、电子设备和存储介质
KR20230078777A (ko) 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기
CN111259841A (zh) 一种图像处理方法及相关设备
WO2022088819A1 (zh) 视频处理方法、视频处理装置和存储介质
CN114677350A (zh) 连接点提取方法、装置、计算机设备及存储介质
CN116188724A (zh) 动画渲染的方法、装置、设备及存储介质
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN110956571A (zh) 基于slam进行虚实融合的方法及电子设备
CN112183217A (zh) 手势识别方法、基于手势识别的交互方法与混合现实眼镜
JP2013008137A (ja) 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
CN113724393B (zh) 三维重建方法、装置、设备及存储介质
CN111626258B (zh) 一种签到信息展示方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131017

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20181015

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20131017

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200220

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200824

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230907

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240903

Start annual number: 5

End annual number: 5