[go: up one dir, main page]

KR101992044B1 - 정보 처리 장치, 방법, 및 컴퓨터 프로그램 - Google Patents

정보 처리 장치, 방법, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101992044B1
KR101992044B1 KR1020177035740A KR20177035740A KR101992044B1 KR 101992044 B1 KR101992044 B1 KR 101992044B1 KR 1020177035740 A KR1020177035740 A KR 1020177035740A KR 20177035740 A KR20177035740 A KR 20177035740A KR 101992044 B1 KR101992044 B1 KR 101992044B1
Authority
KR
South Korea
Prior art keywords
feature
image
distribution
added
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020177035740A
Other languages
English (en)
Other versions
KR20180008575A (ko
Inventor
유이치로 히로타
게이스케 다테노
마사히로 스즈키
다이스케 고타케
아키히로 가타야마
마사카즈 후지키
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Priority claimed from PCT/JP2016/002365 external-priority patent/WO2016185704A1/en
Publication of KR20180008575A publication Critical patent/KR20180008575A/ko
Application granted granted Critical
Publication of KR101992044B1 publication Critical patent/KR101992044B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

특징의 설정 작업에 요하는 시간을 단축하기 위해, 정보 처리 장치는, 촬상 디바이스에 의해 촬상되는 화상으로부터 촬상 디바이스의 위치 자세를 도출하기 위해 사용되는 특징을 취득하도록 구성된 취득 유닛, 화상에 포함되는 복수의 부분 영역을, 특징을 추가해야 할 복수의 후보 영역으로서 설정하도록 구성된 설정 유닛, 설정된 복수의 후보 영역을 평가하도록 구성된 평가 유닛, 평가된 복수의 후보 영역에 기초하여 새롭게 추가해야 할 특징의 위치 및/또는 방향을 결정하도록 구성된 결정 유닛, 및 결정된 위치 및/또는 방향을 출력하도록 구성된 출력 유닛을 포함한다.

Description

정보 처리 장치, 방법, 및 컴퓨터 프로그램
본 발명은 촬상한 화상 내의 특징에 기초하여 카메라 위치 자세를 산출하는 기술에 관한 것이다.
카메라에 의해 촬상된 화상에 나타나는 특징(즉, 자연 특징점 또는 마커)에 기초하여 카메라의 위치 자세를 산출하는 기술은 혼합 현실(mixed reality)(MR) 시스템 또는 증강 현실(augmented reality)(AR) 시스템에서 널리 사용되고 있다.
일반적으로, 전술한 기술에 의해 산출된 카메라의 위치 자세의 정밀도는 장면 내의 특징의 배치 상태에 의해 변동된다. 따라서, 원하는 정밀도로 카메라의 위치 자세를 산출하기 위해서는 사전에 카메라의 위치 자세의 계산 정밀도가 향상되도록 특징의 배치를 조정할 필요가 있다. 그러나 카메라의 위치 자세의 계산 정밀도를 향상시킬 수 있는 특징의 배치를 사용자가 결정하는 것은 어렵다.
따라서, 카메라의 위치 자세의 계산 정밀도를 향상시키기 위해 특징을 배치하는 작업을 보조하는 기술이 개발되고 있다. 특허문헌 1에는 마커를 특징으로서 사용하여 카메라의 위치 자세를 추정할 때, 마커(즉, 식별자가 소정의 기하학적 패턴으로 코딩된 인쇄물)의 배치를 보조하는 기술이 기재되어 있다. 이 기술에 따르면, 카메라 위치 자세가 현재 마커 배치에서 고정밀도로 계산될 수 있는 공간 영역이 가시화된다. 사용자는, 카메라 위치 자세가 고정밀도로 계산될 수 있는 공간 영역을 확인하면서, 이 공간 영역이 원하는 영역을 커버하도록 대화식으로 마커를 추가한다.
일본 특허출원 공개공보 제2006-127468호
E.Rosten and T.Drummond(May 2006). "Machine learning for high-speed corner detection". European Conference on Computer Vision.
그러나 전술한 방법에서는 시행 착오의 프로세스, 즉 마커를 임시 배치하고 그 결과를 확인하는 것이 반복적으로 실행될 필요가 있기 때문에, 특징의 설정 작업에 시간이 소요된다.
본 발명의 양태에 따르면, 정보 처리 장치는, 촬상 디바이스에 의해 촬상되는 화상으로부터 촬상 디바이스의 위치 자세를 도출하기 위해 사용되는 특징을 취득하도록 구성된 취득 유닛, 화상에 포함되는 복수의 부분 영역을, 특징을 추가하기 위한 복수의 후보 영역으로서 설정하도록 구성된 설정 유닛, 설정된 복수의 후보 영역을 평가하도록 구성된 평가 유닛, 평가된 복수의 후보 영역에 기초하여 새롭게 특징을 추가해야 할 위치 및/또는 방향을 결정하도록 구성된 결정 유닛, 및 결정된 위치 및/또는 방향을 출력하도록 구성된 출력 유닛을 포함한다.
본 발명에 따르면, 특징의 설치 작업에 요하는 시간을 단축할 수 있다.
본 발명의 추가의 특징은 첨부된 도면을 참고한 예시적인 실시예에 대한 이하의 설명으로부터 명확해질 것이다.
도 1은 본 발명에 따른 정보 처리 장치의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 정보 처리 장치의 처리 모듈의 구성을 도시한 블록도이다.
도 3은 본 발명에 따른 흐름도이다.
도 4a는 본 발명에 따른 취득 화상의 일례를 도시한 도면이다.
도 4b는 본 발명에 따른 특징 검출 결과를 도시한 도면이다.
도 5는 본 발명에 따른 특징 추가 위치의 결정 방법을 예시하는 흐름도이다.
도 6은 본 발명에 따른 특징 추가 위치를 제시하는 화면의 일례를 도시한 도면이다.
도 7은 본 발명에 따른 정보 처리 장치의 처리 모듈의 구성을 도시한 블록도이다.
도 8은 본 발명에 따른 특징 추가 위치의 결정 방법을 예시하는 흐름도이다.
도 9a는 본 발명에 따른 특징 추가 위치를 제시하는 화면의 일례를 도시한 도면이다.
도 9b는 본 발명에 따른 특징 물체의 추가 위치 자세를 제시하는 화면의 일례를 도시한 도면이다.
도 10a은 본 발명에 따른 특징 추가 위치 후보를 설정하는 화면의 일례를 도시한 도면이다.
도 10b는 본 발명에 따른 특징 물체 추가 위치 자세 후보를 설정하는 화면의 일례를 도시한 도면이다.
도 10c는 본 발명에 따른 특징이 추가될 수 있는 영역을 설정하는 화면의 일례를 도시한 도면이다.
도 11a는 본 발명에 따른 취득 화상의 일례를 도시한 도면이다.
도 11b는 본 발명에 따른 특징 검출 결과의 일례를 도시한 도면이다.
도 11c는 본 발명에 따른 제거될 특징을 제시하는 화면의 일례를 도시한 도면이다.
본 발명의 예시적 실시예를 설명하기에 앞서, 예시적 실시예들 각각에 설명되는 정보 처리 장치가 실장되는 하드웨어 구성은 도 1을 참조하여 설명될 것이다.
도 1은 본 발명에 따른 정보 처리 장치(200)의 하드웨어 구성을 도시한 도면이다. 도 1에서, 중앙 처리 유닛(CPU)(110)은 버스(100)를 통해 접속되는 각 디바이스를 일반적으로 제어한다. CPU(110)는 판독 전용 메모리(ROM)(120)에 저장된 처리 단계나 프로그램을 판독해서 실행한다. 운영 체제(OS), 본 발명에 따른 각 처리 프로그램, 및 디바이스 드라이버는 ROM(120)에 저장되고, 랜덤 액세스 메모리(RAM)(130)에 일시 저장되고, CPU(110)에 의해 적절히 실행된다. 또한, 입력 인터페이스(I/F)(140)는 외부 디바이스(예를 들어, 표시 디바이스나 조작 디바이스)로부터 정보 처리 장치(200)에 의해 처리 가능한 형태로 입력 신호를 수신한다. 또한, 출력 I/F(150)는 표시 디바이스에 의해 처리 가능한 형태로 출력 신호를 외부 디바이스(표시 디바이스)에 출력한다.
제1 예시적 실시예
제1 예시적 실시예에서는, 카메라 위치 자세에 기초하여 현실 세계의 화상에 가상 콘텐츠를 중첩 표시하는 MR 시스템의 사전 셋업에 관한 본 발명의 예시적 실시예에 대한 설명이 주어질 것이다. 본 MR 시스템에서는, 헤드 장착형 디스플레이(이하, "헤드 장착형 표시 장치(head-mounted display apparatus)" 또는 "HMD)에 탑재된 카메라에 의해 장면의 화상이 촬상되고(화상 촬상), 코너 점(corner point)이 화상으로부터 특징으로서 검출된다. 그 후, 시계열로 촬상된 화상에서의 코너 점들 간의 대응관계에 기초하여 카메라의 위치 자세가 산출되고, 카메라 위치 자세에 기초하여 가상 콘텐츠가 촬상된 화상 상에 중첩되어 표시된다. 본 예시적 실시예에서는, 방법에 의해 사용자가 MR 시스템을 사용하는 장면을 HMD를 장착해서 관찰하고, 관찰한 장면에서 특징 추가 위치를 제시한다. 특징 추가 위치는 카메라의 위치 자세를 고정밀도로 계산하기에 바람직한 위치, 즉 코너 점의 검출을 가능하게 하는 패턴이 추가돼야 할 위치이다.
본 예시적 실시예에서는, 카메라에 의해 관측 가능한 특징의 분포로서 화상 내의 코너 점의 위치 분포가 사용자에 의해 HMD를 장착해서 촬상한 화상으로부터 취득된다. 코너 점의 검출 위치가 화상 내에 균일하게 분포하고 있다면 카메라의 위치 자세는 고정밀도로 계산될 수 있다. 따라서, 코너 점의 분포의 적합성은 코너 점의 분포의 균일성을 나타내는 평가 값으로서 평가되고, 평가 값이 향상되도록 특징 추가 위치가 결정되고, 결정된 특징 추가 위치가 HMD의 디스플레이(표시 유닛) 상에 출력된다. 이하 본 예시적 실시예의 상세가 설명될 것이다.
도 2는 본 예시적 실시예에 따른 정보 처리 장치(200)의 모듈 구성과 외부 디바이스로서 기능하는 HMD(210) 간의 접속을 도시한 도면이다.
HMD(210)에는 촬상 디바이스(211)로서 기능하는 화상을 촬상할 수 있는 카메라와 표시 디바이스(212)로서 기능하는 액정 디스플레이가 탑재되어 있다.
특징 분포 취득 유닛(201)은 카메라에 의해 관측 가능한 특징의 분포를 취득하는 모듈로서 기능한다. 특징 분포 취득 유닛(201)은 HMD(210)의 촬상 디바이스(211)에 의해 촬상된 화상으로부터 코너 점을 검출함으로써 검출 위치의 분포를 취득한다.
특징 추가 위치 결정 유닛(202)은 특징 분포 취득 유닛(201)에 의해 취득된 특징의 분포에 기초하여 특징이 추가돼야 할 위치를 결정하는 모듈로서 기능한다. 특징 추가 위치 결정 유닛(202)은 특징 분포에 대한 평가 값을 크게 향상시키게 하는 특징 추가 위치를 산출한다.
특징 추가 위치 출력 유닛(203)은 특징 추가 위치 결정 유닛(202)에 의해 결정된 특징 추가 위치를 출력하는 모듈로서 기능한다. 특징 추가 위치 출력 유닛(203)은 특징 추가 위치를 HMD(210)의 표시 디바이스(212)에 출력한다.
전술한 각 기능 유닛은 CPU(110)에 의해 ROM(120)에 저장된 프로그램을 RAM(130)에 로딩하고 후술하는 각 흐름도에 따른 처리를 실행함으로써 실현된다. 또한, 예를 들어 CPU(110)를 사용하는 소프트웨어 처리의 대안으로서 하드웨어가 구성되는 경우, 본 예시적 실시예에 설명되는 각 기능 유닛의 처리에 대응하는 연산 유닛 및 회로가 구성될 수 있다.
다음으로, 본 예시적 실시예에 따른 처리의 상세는 도 3의 흐름도를 참조하여 설명될 것이다.
(단계 S301)
단계 S301에서, 특징 분포 취득 유닛(201)은 카메라에 의해 관측 가능한 특징의 분포를 취득한다. 본 예시적 실시예에서, HMD(210)에 포함된 촬상 디바이스(211)로부터 화상이 취득되고, 취득 화상으로부터 코너 점 특징을 검출하여 취득될 수 있는 코너 점의 좌표값 리스트는 카메라에 의해 관측 가능한 특징의 분포로서 지정된다. 도 4a는 취득 화상의 일례를 도시한 도면이고, 도 4b는 취득 화상으로부터 검출된 코너 점을 도시한 도면이다. 검출된 코너 점은 도 4b에서 흑색 도트에 의해 표현된다. 코너 점을 검출하는 방법으로서 다양한 방법이 제안되어 있지만, 본 예시적 실시예에서는 비특허문헌 1에서 논의된 코너 점 검출 방법이 이용된다.
(단계 S302)
단계 S302에서, 특징 추가 위치 결정 유닛(202)은 특징의 분포, 구체적으로는 화상에서의 코너 점의 위치 분포에 기초하여, 특징 추가 위치를 결정한다. 단계 S302에서 실행된 처리의 상세는 도 5를 참조하여 후술될 것이다.
(단계 S303)
단계 S303에서, 특징 추가 위치 출력 유닛(203)은 단계 S302에서 결정된 특징 추가 위치를 도시하는 화상, 구체적으로는 단계 S302에서 산출된 특징 추가 위치에 대응하는 직사각형 영역에 반투명한 색을 부여한 화상을 생성하고, 그 화상을 HMD(210)의 표시 디바이스(212)에 출력한다. HMD(210)는 촬상 디바이스(211)에 의해 촬상된 화상에 특징 추가 위치를 도시하는 화상을 중첩해서 최종 화상을 표시 디바이스(212)에 출력함으로써, 특징 추가 위치를 제시한다. 도 6은 도 4a에서 도시된 화상이 촬상 디바이스(211)에 의해 촬상되었을 때 특징 추가 위치를 제시하는 화면의 일례를 도시한 도면이다. 특징이 추가돼야 할 위치는 착색된 분할 영역(601) 각각에 의해 표시된다. 예를 들어, 특징이 추가돼야 할 위치는 착색된 분할 영역 대신에 영역 또는 화살표를 둘러싸는 원이나 벌룬과 같은 도형으로 표시될 수 있다. 또한, 단계 S302에서 결정되는 특징이 추가돼야 할 위치가 하나도 없는 경우, HMD(210)는 특징을 추가하지 않아도 카메라 위치 자세의 계산 품질이 충분히 높음을 나타내는 정보를 표시할 수 있다.
다음으로, 단계 S302에서 실행되는 처리는 도 5에 예시된 흐름도를 참조하여 설명될 것이다.
(단계 S501)
단계 S501에서, 특징 추가 위치 결정 유닛(202)은 단계 S301에서 취득된 특징 분포의 적합성을 평가하는 평가 값을 산출해서 저장한다. 평가 값은 화상에서의 코너 점의 위치 분포 균일도를 나타내는 값이며, 다음 수순에서 임의의 특징 분포에 대해 산출될 수 있다. 보다 구체적으로, 화상은 서로 중첩하지 않는 소정 크기의 직사각형 영역으로 분할되고, 하나 이상의 코너 점이 분할된 직사각형 영역 중 하나에 포함되는 경우 평가 값에 값 "1"이 가산되어, 취득된 합이 평가 값으로서 할당된다. 즉, 각각의 직사각형 영역마다 코너 점의 수를 카운트하고, 하나의 직사각형 영역에 포함되는 코너 점의 수가 1 이상이면 평가 값을 "1"만큼 증가시킨다. 직사각형 영역의 크기와 관련하여, 크기가 작을수록 특징 분포가 더 정확하게 평가될 수 있다. 그러나 크기는 적어도 코너 점이 검출될 수 있는 크기일 필요가 있다. 연산 부하가 증가하기 때문에 화상을 너무 많은 직사각형 영역으로 분할하는 것은 바람직하지 않다. 한편, 화상 전체에 대해 직사각형 영역의 크기가 너무 크면, 직사각형 영역의 수가 너무 적어지게 되어(예를 들어, 5 이하), 카메라 위치 자세 계산의 정밀도가 불안정하게 된다. 따라서, 직사각형 영역의 크기는 전술한 사항을 고려하여 결정될 수 있다.
(단계 S502)
단계 S502에서, 특징 추가 위치 결정 유닛(202)은 특징이 추가될 수 있는 복수의 위치를, 특징 추가 위치 후보로서 생성한다. 보다 구체적으로, 단계 S501과 유사하게, 화상은 서로 중첩하지 않는 소정의 수의 직사각형 영역으로 분할되고, 각 직사각형 영역의 중심을 특징 추가 위치 후보로서 저장한다.
(단계 S503)
단계 S503에서, 특징 추가 위치 결정 유닛(202)은 단계 S502에서 생성된 각 특징 추가 위치 후보에 대한 루프 처리를 실행한다.
(단계 S504)
단계 S504에서, 특징 추가 위치 결정 유닛(202)은, 단계 S501에서 실행된 처리와 마찬가지로, 단계 S301에서 취득된 특징의 분포의 특징 추가 위치 후보에 특징이 추가될 때 취득되는 특징의 분포에 대한 평가 값을 산출하고 저장한다.
(단계 S505)
단계 S505에서, 특징 추가 위치 결정 유닛(202)은 단계 S502에서 생성된 특징 추가 위치 후보 중에서, 특징 추가 위치 후보에 특징이 추가될 때 평가 값의 향상량(단계 S501에서 산출된 평가 값으로부터 단계 S504에서 산출된 평가 값에서의 증분)이 소정 값 이상인 특징 추가 위치 후보를 추출한다. 본 예시적 실시예의 단계 S501에서 설명된 방법에 의해 평가 값이 계산될 때, 평가 값의 향상량은 "0" 또는 "1"이다. 여기서, 전술한 소정의 값은 "1"로서 설정되고, 평가 값의 향상량이 "1"인 특징 추가 위치 후보가 추출된다.
카메라 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징이 추가돼야 할 위치를 결정하고 그 위치를 사용자에게 제시하는 방법에 대한 설명이 주어졌다. 이 방법을 통해, 사용자는 시행 착오의 프로세스 없이 특징이 추가될 위치를 알 수 있으므로, 특징의 설치 작업에 필요한 시간을 단축할 수 있다.
제2 예시적 실시예
제1 예시적 실시예에서, 특징 추가 위치는 특징의 분포로서 화상에서의 2차원 위치의 분포를 취득하여 결정된다. 제2 예시적 실시예에서는, 특징 추가 위치가 특징의 3차원 위치의 분포를 취득하여 결정된다. 본 예시적 실시예는 제1 예시적 실시예와 특징의 분포 산출 방법 및 특징 추가 위치의 결정 방법이 다르다. 본 예시적 실시예에서, HMD(210)는 3차원 정보 계측 디바이스를 더 포함함으로써, 촬상 디바이스(211)로부터 취득된 화상으로부터 검출된 코너 점의 3차원 위치 정보가 취득된다. 그 후, 코너 점의 3차원 위치의 분포 균일도를 나타내는 평가 값이 산출되고, 이 평가 값을 향상시키는 특징 추가 위치가 결정된다. 이하, 본 예시적 실시예에 따른 처리의 상세가 설명될 것이다.
도 7은 본 예시적 실시예에 따른 정보 처리 장치(700)의 모듈 구성과 외부 디바이스로서 기능하는 HMD(710) 간의 접속을 도시한 도면이다. 본 예시적 실시예에서, 3차원 정보 계측 디바이스(711)는 제1 예시적 실시예에 설명된 HMD(210)의 구성에 추가된다. 3차원 정보 계측 디바이스(711)는 소정의 패턴의 적외선을 투광하는 디바이스와 적외선 화상을 촬상하는 디바이스를 내부에 포함하고, 액티브 스테레오법에 의해 HMD(710)의 촬상 디바이스(211)에 의해 촬상되는 화상의 각 픽셀의 거리값을 계측한다.
본 예시적 실시예의 처리의 상세는 도 3에 도시된 흐름도를 참조하여 설명될 것이다.
(단계 S301)
단계 S301에서, 특징 분포 취득 유닛(201)은 사용자가 장착하고 있는 HMD(710)에 의해 관측 가능한 특징의 분포를 취득한다. 본 예시적 실시예에서, 특징 분포 취득 유닛(201)은 HMD(710)에 의해 관측되는 코너 점의 3차원 위치의 분포를 취득한다. 보다 구체적으로, HMD(710)에 포함된 촬상 디바이스(211)로부터 화상을 취득하고, 그 화상으로부터 코너 점을 취득한다. 그 후, 검출된 코너 점 특징의 픽셀의 거리 값은 3차원 정보 계측 디바이스(711)로부터 취득됨으로써, 촬상 디바이스(211)로부터 본 코너 점의 3차원 위치를 산출한다.
(단계 S302)
단계 S302에서, 특징 추가 위치 결정 유닛(202)은 특징의 분포, 구체적으로는 촬상 디바이스(211)로부터 본 코너 점의 3차원 위치의 분포에 기초하여, 특징 추가 위치를 결정한다. 단계 S302에서 실행된 처리의 상세는 도 5를 참조하여 후술될 것이다.
(단계 S303)
단계 S303에서, 특징 추가 위치 출력 유닛(203)은 단계 S302에서 결정된 특징 추가 위치를 도시하는 화상을 생성하고 그 화상을 HMD(710)의 표시 디바이스(212)에 출력함으로써 단계 S302에서 결정된 특징 추가 위치를 제시한다. 보다 구체적으로, 특징 추가 위치는 제1 예시적 실시예에 설명된 방법과 마찬가지의 방법에 의해 제시된다.
다음으로, 단계 S302에서 실행되는 처리는 도 5에 도시된 흐름도를 참조하여 설명될 것이다.
(단계 S501)
단계 S501에서는, 단계 S301에서 취득된 특징 분포의 적합성을 평가하는 평가 값을 산출해서 저장한다. 평가 값은 화상 내의 코너 점의 3차원 위치의 분포 균일도를 나타내는 값이며, 다음 수순을 통해 임의의 특징 분포에 대해 산출될 수 있다.
구체적으로, 촬상 디바이스(211)에 의해 관측 가능한 공간을 분할하여 복셀 공간(voxel space)을 생성한다. 복셀 공간이 생성되는 범위는, MR 시스템에서 카메라 위치 자세의 계산에 사용되는 특징이 존재할 수 있는 범위에 대응한다. 하나 이상의 코너 점이 각각의 복셀 공간에 포함되고 취득된 값이 평가 값으로서 할당되면 평가 값에 "1"이 가산된다.
(단계 S502)
단계 S502에서, 특징 추가 위치 결정 유닛(202)은 특징이 추가될 수 있는 복수의 위치를, 특징 추가 위치 후보로서 생성한다. 구체적으로, 화상은 서로 중첩하지 않는 소정 크기의 직사각형 영역으로 분할된다. 그 후, 3차원 정보 계측 디바이스(711)로부터 각각의 직사각형 영역에 속하는 픽셀의 3차원 위치를 취득하고, 그 평균을 취하여 3차원 위치를 산출한다. 산출된 3차원 위치 중에서, 촬상 디바이스(211)로부터 본 거리가 소정 범위 내에 있는 3차원 위치는 특징 추가 위치 후보로서 저장된다. 제1 예시적 실시예에서와 유사한 방식으로 화상을 직사각형 영역들로 분할할 수 있다.
(단계 S503)
단계 S503에서, 특징 추가 위치 결정 유닛(202)은 단계 S502에서 생성된 각각의 특징 추가 위치 후보에 대한 루프 처리의 실행을 개시한다.
(단계 S504)
단계 S504에서, 특징 추가 위치 결정 유닛(202)은 단계 S501에서의 처리와 마찬가지로, 단계 S301에서 취득된 특징의 분포에 대하여, 특징 추가 위치 후보 각각에 특징이 추가될 때의 분포에 대한 평가 값을 산출하여 저장한다.
(단계 S505)
단계 S505에서, 특징 추가 위치 결정 유닛(202)은 단계 S502에서 생성된 특징 추가 위치 후보 중에서, 특징 추가 위치 후보 각각에 특징이 추가될 때 평가 값의 향상량(단계 S501에서 산출된 평가 값으로부터 단계 S504에서 산출된 평가 값에서의 증분)이 소정 값 이상인 특징 추가 위치 후보를 추출한다. 본 예시적 실시예의 단계 S501에서 설명된 방법에 의해 평가 값을 산술한 경우, 평가 값의 향상량(증대량)은 "0" 또는 "1"이다. 여기서, 전술한 소정 값을 "1"로 설정함으로써, 평가 값의 향상량이 "1"인 특징 추가 위치 후보가 추출된다.
카메라 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징이 추가돼야 할 위치를 결정하는 방법에 대한 설명이 주어졌다. 전술한 바와 같이, 3차원의 특징 분포를 고려함으로써, 카메라 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징이 추가돼야 할 위치를 보다 정확하게 결정할 수 있다.
변형예 2-1
(분포의 균일성 외에도 분산된 특징의 수가 고려되는 평가 값을 정의한다.)
제2 예시적 실시예에서, 단계 S302에서 코너 점 특징을 이용하여 카메라 위치 자세를 계산할 때, 코너 점의 위치가 공간 내에서 균일하게 분포되는 것이 코너 점의 바람직한 분포로 간주된다. 그러나 코너 점의 위치가 공간 내에서 균일하고 다수로 분포되어 있는 코너 점의 분포는 코너 점의 바람직한 분포로 간주될 수 있다. 카메라 위치 자세를 계산하는 경우, 다른 특징 분포보다 큰 분포 특징의 수를 갖는 하나의 특징 분포는, 제2 예시적 실시예에서 정의된 분포의 균일성을 나타내는 하나의 특징 분포에 대한 평가 값이 다른 특징 분포의 것과 동일한 경우 대응 점들 사이의 거리에서 발생하는 랜덤 에러에 의해 영향을 받기 어려워진다. 따라서, 분포된 특징의 수가 또한 고려되면, 특징 추가 위치가 보다 적절하게 결정될 수 있다.
본 변형예에서는, 분포의 균일성 및 분포된 특징의 다수성을 나타내는 평가 값 "e"는 다음과 같이 정의된다.
Figure 112017123486556-pct00001
여기서, 심벌 "r", "R" 및 "cr"은 각각, 각 복셀, 모든 복셀의 클래스, 및 각 복셀 "r"에 포함된 코너 점의 수를 나타내며, 심벌 "α" 및 "β"는 각각 카메라 위치 자세의 정밀도에 대한 특징 분포의 정도의 영향과 분포된 특징의 수의 영향 사이의 밸런스를 결정하는 정(positive)의 실수의 파라미터이다. 제2 예시적 실시예의 단계 S501에서 사용된 평가 값의 정의는 위에서 설명된 평가 값의 정의로 치환된다.
또한, 상기 평가 값은 제1 예시적 실시예에도 마찬가지로 적용 가능하다. 그 경우, 제1 예시적 실시예의 단계 S502에서 생성된 각 직사각형 영역을 "r"로 할당하고, 제1 예시적 실시예의 단계 S502에서 생성된 모든 직사각형 영역의 클래스를 "R"로 할당함으로써 화상 내의 코너 점의 위치의 균일성이 평가된다.
전술한 바와 같이, 특징 분포의 균일성에 더하여 분포된 특징의 다수성이 고려될 때, 카메라 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징을 추가해야 할 위치를 보다 정확하게 결정할 수 있다.
변형예 2-2
(방향 분포의 균일성도 고려해서 특징 추가 위치를 결정한다.)
제2 예시적 실시예에서는 특징의 3차원 위치의 분포에 기초하여 특징의 분포를 평가했지만, 특징 방향의 분포도 고려해서 특징의 추가 위치와 추가 방향을 결정하고 제시할 수도 있다. 본 변형예 2-2에서는, 제2 예시적 실시예에서 설명된 디바이스 구성에서, 특징이 존재하는 평면의 법선 방향을 특징의 방향으로서 산출하고, 특징의 3차원 위치와 특징 방향의 분포가 균일하게 되도록 특징의 추가 위치와 방향을 결정하는 방법에 대한 설명이 주어질 것이다. 전술한 처리 내용과 다른 처리 내용이 설명될 것이다.
(단계 S301)
단계 S301에서, 특징 분포 취득 유닛(201)은 MR 시스템이 사용되는 장면에서 촬상 디바이스(211)에 의해 관측 가능한 특징의 분포를 취득한다. 보다 구체적으로, 특징 분포 취득 유닛(201)은 코너 점의 3차원 위치의 분포 및 코너 점의 방향의 분포를 취득한다. 검출된 코너 점의 픽셀의 거리 값은 3차원 정보 계측 디바이스(711)로부터 취득되고, 그 코너 점의 3차원 위치가 계산된다. 3차원 정보 계측 디바이스(711)로부터 취득된 검출된 코너 점의 근방 픽셀의 거리 값으로부터 계산된 평면의 법선 방향은 코너 점의 방향으로 할당된다.
(단계 S302)
단계 S302에서, 특징 추가 위치 결정 유닛(202)은 코너 점의 3차원 위치의 분포 및 코너 점의 방향의 분포가 균일하게 되도록 특징 추가 위치 및 방향을 결정한다.
우선, 제2 예시적 실시예에서 단계 S505까지의 처리를 통해 추출된 특징 추가 위치 후보는 특징의 위치에 기초하는 특징 추가 후보로서 저장되고, 이들 특징 추가 후보는 특징의 방향에 기초하여 추가로 평가된다. 먼저, 특징 위치에 기초하는 각 특징 추가 후보에 대해, 단계 S301에서 설명된 방법과 마찬가지의 방법에 의해, 근방 픽셀의 거리 값으로부터 특징 추가 위치의 방향이 산출된다. 다음에, 각 특징 추가 후보에 코너 점을 추가했을 때의 코너 점의 방향의 분포의 균일성에 대한 평가 값이 산출된다. 구체적으로는, 각각이 단계 S301에서 산출되고 관측된 특징의 방향 또는 특징 추가 후보의 방향으로 연장되고 원점을 기점으로 하는 직선들과, 단위 구면의 교점을 각각 3차원 좌표 값으로서 산출하고, 산출된 전체 3차원 좌표 값에 대해 주성분 분석을 실행함으로써 3축의 기여율을 산출한다. 상기 기여율 중, 최저 기여율의 값을 최대 기여율의 값으로 나눈 값이 평가 값으로 할당된다. 이 평가 값이 높을 때 코너 점의 방향이 보다 균일하게 분포된다. 특징의 위치에 기초하여 산출된 각 특징 추가 후보에 대해, 전술한 방법을 통해 특징의 방향의 균일성을 나타내는 평가 값을 산출하고, 특징 방향의 평가 값이 높은 특징 추가 후보가 추출된다.
또한, 본 변형예에서는, 제2 예시적 실시예에서의 단계 S504까지의 처리에 의해 특징의 위치 분포를 평가한 후에 특징의 방향을 추가로 평가하는 방법을 설명하였지만, 특징의 위치 분포를 평가하기 전에 특징의 분포가 먼저 평가될 수 있다. 또한, 특징의 분포에 대한 평가 값과, 소정 값으로 가중된 특징의 방향의 분포에 대한 평가 값의 합이 평가 값으로서 동시에 평가될 수 있고, 또는 특징의 방향만으로 평가가 실행될 수도 있다. 특징의 방향만으로 평가가 실행될 때, 단위 구(unit sphere)의 원점으로부터 구면을 소정의 수로 샘플링하여 생성된 점을 나타내는 복수의 방향 벡터는 특징 추가 방향의 후보로 사용된다. 각각의 특징 추가 방향 후보에 대해, 그 방향에 특징이 추가될 때의 특징의 방향의 균일성에 대한 평가 값이 산출되고, 높은 평가 값을 갖는 특징 추가 방향 후보가 추출된다.
특징의 위치 분포 및 특징의 방향 분포가 모두 균일하게 되는 특징 추가 위치의 결정 방법이 상술되었다. 이 방법을 통해, 카메라의 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징을 추가해야 할 위치를 보다 정확하게 결정할 수 있다.
제3 예시적 실시예
(분포 범위의 정도를 평가 값으로 할당한다.)
제1 예시적 실시예에서는, 단계 S302에서 코너 점의 위치의 분포 또는 코너 점의 방향의 분포가 균일하게 되도록 특징 추가 위치가 결정된다. 그러나 제3 예시적 실시예에서는 코너 점들의 위치 또는 방향이 화상 내에 광범위하게 분포되도록 특징 추가 위치가 결정된다. 이것은, 코너 점의 위치 또는 방향이 집중적으로 분포되기보다는 광범위하게 분포된다면 카메라 위치 자세가 보다 정확하게 산출될 수 있기 때문이다. 이상의 관점에서, 본 예시적 실시예에서는, 코너 점의 분포 범위의 정도를 나타내는 평가 값으로 코너 점의 분포의 적합성을 평가한다. 보다 구체적으로, 제1 예시적 실시예에서의 단계 S501에서 설명된 특징 분포의 적합성을 평가하는 평가 값은 화상 내의 코너 점의 2차원 위치의 분산으로 정의된다.
본 예시적 실시예에서 설명된 평가 값이 사용될 때, 단계 S505에서 산출된 평가 값의 향상량(증대량)은 제1 또는 예시적 제2 실시예에서는 0 또는 1의 이산 값을 취할지라도, 연속적인 값을 취한다. 따라서 제1 예시적 실시예에서 설명된 바와 같이, 도 6에 도시된 화면을 통해 특징 추가 위치를 사용자에게 제시할 때에는, 특징 추가 위치를 나타내는 영역(601)에, 특징 추가 위치에 특징이 추가될 때의 평가 값의 향상량(또는 향상량의 순위)이 추가로 표시된다. 이 방법을 통해, 사용자는 특징 추가 위치 후보의 중요도도 파악할 수 있다.
본 예시적 실시예에서는 화상 내의 특징의 위치의 분포 범위의 정도에 기초하여 특징 추가 위치를 결정하는 방법이 설명되었지만, 특징을 추가하기 위한 3차원 위치는 공간 내의 특징의 3차원 위치의 분포의 정도에 기초하여 결정될 수 있다. 구체적으로, 제2 예시적 실시예의 단계 S501에서 설명된 특징 분포의 적합성을 평가하는 평가 값은 화상 내의 코너 점의 3차원 위치의 분산으로서 정의된다. 또한, 공간 내의 특징 방향의 분포의 정도에 기초하여 특징이 추가돼야 할 방향이 결정될 수 있다. 구체적으로, 변형예 2-2에서 설명된 특징 방향의 분포의 적합성을 평가하는 평가 값은 특징 방향의 분산으로서 정의된다. 여기서, 방향의 분산에 대해서는, 각 분포된 특징의 방향이 "1"의 반경을 갖는 반구면을 나타내는 단위 벡터로 변환되고, 모든 단위 벡터의 합 벡터의 크기를 요소 수로 나눠 취득한 값을 "R"로 설정함으로써 분산이 "1-R"로 할당된다.
특징의 분포 범위의 정도에 기초하여 특징 추가 위치를 결정하는 방법은 상술하였다. 이 방법에 의하면, 분포 범위가 넓어지도록 특징 추가 위치를 제시할 수 있다.
제4 예시적 실시예
3차원 오차 전파로부터 산출된 정밀도가 평가 값으로서 할당된다.
제1 내지 제3 예시적 실시예에서는, 특징의 분포로서 화상 내 또는 3차원 공간 내에서의 위치나 방향의 분포를 취득하고, 카메라 위치 자세의 산출에 사용된 특징의 분포의 적합성을 나타내는 평가 값은 분포의 균일도 또는 분포 범위의 정도에 기초하여 정의된다.
제4 예시적 실시예에서, 카메라 위치 자세가 현재 특징의 분포에서 계산될 때의 위치 자세 계산 정밀도는 평가 값으로 정의되고, 이 평가 값이 향상되도록 특징 추가 위치가 결정된다. 보다 구체적으로, 3차원 위치의 분포와 화상 내의 검출 위치의 정밀도 분포가 취득된다. 그 후, 특징의 위치 분포와 검출 위치의 정밀도 분포에 기초하여, 카메라 위치 자세가 계산(도출)될 때의 계산 정밀도가 산출되어 현재 특징의 분포의 평가 값으로 할당되고, 이 평가 값이 향상되게 하는 특징 추가 위치가 결정된다. 이하, 제2 예시적 실시예와 마찬가지의 장치 구성에서 실행되는 본 예시적 실시예의 처리 내용 중, 전술한 예시적 실시예에서 설명된 처리 내용과 다른 처리 내용에 대해서는 도 3에 도시된 흐름도를 참조하여 설명될 것이다.
(단계 S301)
단계 S301에서, 특징 분포 취득 유닛(201)은 사용자가 장착하고 있는 HMD의 촬상 디바이스(211)에 의해 관측 가능한 특징의 분포, 구체적으로는 코너 점의 3차원 위치와 그 검출 정밀도를 나타내는 공분산 행렬(covariance matrix)의 분포를 취득한다. 코너 점의 3차원 위치에 대해서는 제2 예시적 실시예에서 설명된 방법과 마찬가지의 방법에 의해 취득된다. 코너 점의 검출 정밀도를 나타내는 공분산 행렬에 대해서는, 화상의 양자화 오차에 기인하는 각 코너 점의 화상 내의 검출 위치의 최대 오차 0.5 px가 표준 편차 "3σ"의 가우스 분포로 근사화되고, 분산 "σ2"가 그것의 대각 성분에 포함된다. 검출 위치의 최대 오차의 요인으로서 양자화 오차 이외의 요인이 고려돼야 할 때, 정지 상태에서 촬상 디바이스(211)에 의해 촬상된 복수의 화상으로부터 특징을 검출함으로써 검출 위치의 변화를 산출할 수 있다.
(단계 S302)
단계 S302에서, 특징 추가 위치 결정 유닛(202)은 특징의 분포, 예를 들어 코너 점의 3차원 위치와 그 검출 정밀도를 나타내는 공분산 행렬의 분포에 기초하여 특징 추가 위치를 결정한다. 단계 S302에서의 처리 내용의 상세에 대해서는 후술한다.
(단계 S303)
단계 S303에서, 특징 추가 위치 출력 유닛(203)은 단계 S302에서 결정된 특징 추가 위치를 도시하는 화상을 생성하고 HMD의 표시 디바이스(212)에 출력한다. 구체적으로, 특징 추가 위치는 제2 예시적 실시예에 설명된 방법과 마찬가지의 방법에 의해 제시된다.
다음으로, 도 5에 도시된 흐름도를 참조하여 단계 S302의 처리 내용이 설명될 것이다.
(단계 S501)
단계 S501에서, 단계 S301에서 취득된 특징 분포의 적합성을 평가하는 평가 값을 산출하고 저장한다. 평가 값은 코너 점의 3차원 위치와 그 검출 정밀도를 나타내는 공분산 행렬의 분포에 기초하여 카메라 위치 자세가 계산될 때의 계산 정밀도를 나타내는 값이며, 다음 수순을 통해 임의의 특징 분포에 대해 산출될 수 있다. 즉, 다음 수학식 2에 의해 산출된 카메라 위치 자세의 계산 정밀도를 나타내는 공분산 행렬 "S"를 평가 값으로 할당한다.
Figure 112017123486556-pct00002
여기서 심벌 "N"은 코너 점의 총 수를 나타낸다.
Figure 112017123486556-pct00003
수학식 3에 예시된 각각의 분산은 ｎ번째 코너 점의 ｘ축 성분 및 ｙ축 성분의 분산을 나타낸다. 심벌 "J+"는 자코비안 행렬(Jacobian matrix) "Ｊ"의 의사 역행렬이다. 카메라 위치 자세의 자코비안 행렬 "Ｊ"는 카메라 위치 자세를 나타내는 병진 이동과 회전의 6개의 파라미터에 의해 화상에서 관측되는 각 코너 점의 위치를 편미분하여 취득되는 계수 행렬이다.
(단계 S502)
단계 S502에서, 특징이 추가될 수 있는 복수의 위치는 특징 추가 위치 후보로서 생성된다(복수의 특징 부가 위치 후보의 생성). 구체적으로, 화상은 서로 중첩하지 않는 소정 크기의 직사각형 영역으로 분할된다. 그 후, 3차원 정보 계측 디바이스(711)로부터 각각의 직사각형 영역에 속하는 픽셀의 3차원 위치를 취득하고, 그 평균을 취하여 3차원 위치를 산출한다. 산출된 3차원 위치 중에서, 촬상 디바이스(211)로부터 본 거리가 소정 범위 내에 있는 3차원 위치는 특징 추가 위치 후보로서 저장된다.
(단계 S503)
단계 S503에서, 루프 처리는 단계 S502에서 생성된 각각의 특징 추가 위치 후보에 대해 실행된다.
(단계 S504)
단계 S504에서, 단계 S301에서 취득된 특징 분포의 특징 추가 위치 후보 각각에 특징이 추가될 때의 분포에 대해서는, 단계 S501과 마찬가지의 방법을 통해 평가 값을 산출하고 저장한다.
(단계 S505)
단계 S505에서는, 단계 S502에서 생성된 특징 추가 위치 후보 중에서, 특징 추가 위치 후보에 특징이 추가될 때 소정의 값 이상의 평가 값의 향상량을 갖는 특징 추가 위치 후보가 추출된다. 본 예시적 실시예에서, 향상량은 다음의 계산을 통해 평가 값으로 간주되는 카메라 위치 자세의 계산 정밀도를 나타내는 공분산 행렬로부터 스칼라 값을 취득함으로써 산출된다. 먼저, 카메라 위치 자세의 계산 정밀도를 나타내는 공분산 행렬 "S"는, 소정의 위치에 존재하는 가상 기준점이 산출된 카메라 위치 자세에 기초하여 촬상 디바이스(211)에 의해 촬상된 화상에 중첩될 때, 묘화 위치의 공분산 행렬로 변환된다. 다음으로, 변환된 공분산 행렬의 최대 고유 값의 제곱근을 산출하고, 평가 값의 향상량으로서 특징 추가 전후의 값의 차를 취득한다.
촬상 디바이스(211)에 의해 관측 가능한 특징의 3차원 위치 분포 및 검출 정밀도에 기초하여 산출된 카메라 위치 자세의 계산 정밀도가 향상되도록 특징 추가 위치를 결정하는 방법을 설명하였다. 이 방법을 통해, 카메라의 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징을 추가해야 할 위치를 보다 정확하게 결정할 수 있다.
제5 예시적 실시예
제1 내지 제4 예시적 실시예에서는, 단계 S302에서 특징 분포의 평가 값에 기초하여 특징 추가 위치를 결정할 때, 평가 값의 향상량이 소정의 값보다 큰 특징 추가 위치가 추출된다. 본 예시적 실시예에서는, 다른 추출 기준으로서, 특징 추가 위치 후보 중에서 최상위로부터 평가 값의 큰 향상량을 갖는 소정 수의 특징 추가 위치를 추출하는 방법, 및 목표 평가 값을 개별적으로 취득하고 특징 추가 위치 후보 중에서 작은 수의 특징을 추가한 목표 평가 값을 달성하는데 필요한 특징 추가 위치를 추출하는 방법에 대한 설명이 주어질 것이다.
(특징 추가 위치 후보 중에서 최상위로부터 평가 값의 큰 향상량을 갖는 소정 수의 특징 추가 위치를 추출하여 제시한다.)
특징 추가 위치 후보는 특징 추가 위치 후보에 대해 산출된 평가 값으로 정렬되고, 소정 수의 특징 추가 위치 후보는 추출되어 최상위로부터 제시된다. 사용자에 의해 입력된 값은 최상위로부터 소정 수로서 사용될 수 있다.
(목표 평가 값을 개별적으로 설정하고, 작은 수의 특징을 추가한 목표 평가 값을 달성하기 위해 필요한 특징 부가 위치를 특징 추가 위치 후보로부터 추출한다.)
목표 평가 값이 현재의 특징 분포로 충족되지 않으면, 적은 수의 특징을 추가한 목표 평가 값을 충족시키기 위해 필요한 특징 추가 위치를 추출하면서 소정의 목표 평가 값을 설정한다.
이 방법에서는 사용자 인터페이스(UI)를 통해 사용자에 의해 미리 입력된 목표 평가 값이 취득된다. 그 후, 단계 S302에서의 처리 내용을 후술하는 도 8에 도시하는 흐름도로 변경함으로써 특징 추가 위치가 결정된다. 이하, 도 8에 도시된 흐름도를 참조하여 처리 내용을 설명한다.
단계 S801
단계 S801에서, 복수의 특징 추가 위치를 저장하기 위한 특징 추가 위치 리스트는 빈 리스트로 초기화되고, 특징 분포는 단계 S301에서 취득된 특징의 분포로 초기화된다.
단계 S802
단계 S802에서는, 평가 값이 목표 평가 값을 충족시킬 때까지 단계 S301에서 취득된 현재 특징 분포에서의 특징 분포에 대한 평가 값을 반복하여 산출하는 루프 처리가 실행된다. 평가 값은 전술한 주어진 예시적 실시예의 단계 S501에 설명된 방법을 통해 산출된다.
(단계 S502)
단계 S502에서는, 특징을 추가할 수 있는 복수의 위치를 특징 추가 위치 후보로서 생성한다. 구체적인 방법은 전술한 각각의 예시적 실시예의 도 5에서의 단계 S502에서의 방법과 마찬가지이다.
(단계 S503)
단계 S503에서, 루프 처리는 단계 S502에서 생성된 각각의 특징 추가 위치 후보에 대해 실행된다.
(단계 S504)
단계 S504에서, 현재의 특징 분포의 각 특징 추가 위치 후보에 특징을 추가할 때의 분포에 대해서는, 전술한 각각의 예시적 실시예에서 설명된 단계 S501의 방법과 마찬가지의 방법을 통해 평가 값을 산출하여 저장한다.
단계 S803
단계 S803에서는, 특징 추가 위치 후보 중에서 평가 값이 가장 높은 특징 추가 위치 후보가 추출되고, 특징 추가 위치 리스트에 추가된다.
단계 S804
단계 S804에서는, 단계 S803에서 추가된 평가 값이 가장 높은 특징 추가 위치 후보가 현재의 특징 분포에 추가된다.
단계 S805
단계 S805에서, 특징 추가 위치 리스트에 나열된 모든 특징 추가 위치 후보가 단계 S303에서 제시될 특징 추가 위치로서 추출된다.
도 9a는 전술한 방법에 의해 특징 추가 위치가 결정될 때 특징 추가 위치를 사용자에게 제시하는 화면의 일례를 도시한 도면이다. 특징 추가 위치가 중첩되는 촬상 디바이스(211)에 의해 촬상된 화상이 영역(900) 상에 표시된다. 사용자에 의해 설정된 목표 평가 값은 영역(901)에 표시된다. HMD의 촬상 디바이스(211)에 의해 관측된 특징의 분포에 대해 산출된 평가 값은 영역(902)에 표시된다. 영역(903 내지 905)은 목표 평가 값을 달성하기 위한 특징 추가 위치를 나타내고, 영역(903 내지 905) 내에 표시되는 수치는 특징 추가 위치가 단계 S803에서 특징 추가 리스트에 추가되는 순서를 나타낸다. 더 작은 수치는 평가 값을 향상시키는데 더 효율적인 특징 추가 위치를 나타낸다. 또한, 평가 값이 이미 목표 평가 값보다도 크고, 따라서 사용자가 특징을 추가할 필요가 없을 때, 그 상태를 나타내는 메시지가 화면에 표시된다.
또한, 각 영역(903 내지 905)에 표시되는 수치는 평가 값 그 자체일 수도 있거나, 평가 값을 추가한 경우 특징을 추가하기 전에 평가 값에 대한 향상량일 수도 있다. 또한, 수치를 사용하는 대신에, 색이나 투명도를 사용한 표시 방법이 사용될 수 있다. 제시된 영역(903 내지 905)에 특징이 추가될 때의 평가 값은 영역(906)에 표시된다. 각 영역(903 내지 905)이 마우스 커서(907)로 선택될 때 영역(908)에는 속성 정보가 표시될 것이다.
본 예시적 변형예에서, 사용자는 목표 평가 값을 직접 수치로 직접 설정했다. 그러나 사용자가 목표 평가 값을 정하기 쉽게 하기 위해, 사용자는 MR 시스템에 의해 묘화되는 컴퓨터 그래픽(CG) 콘텐츠의 허용 진동량을 나타내는 픽셀 수와, 사용자가 CG 콘텐츠에 가장 가까워졌을 때의 거리를 입력할 수 있고, 그래서 그 입력 값을 제4 예시적 실시예에서 정의된 평가 값으로 간주되는 카메라 위치 자세의 계산 정밀도로 변환할 수 있다. 또한, 그때의 진동량으로 CG 콘텐츠가 진동하는 상태를 확인하여 사용자가 진동량을 조정할 수 있게 하는 UI가 제공될 수 있다. 이런 구성에 의해, 사용자는 직감적으로 이해하기 쉬운 방법을 통해 평가 값을 설정할 수 있다.
본 예시적 실시예에서는, 사용자가 목표 평가 값을 설정했지만, 사용자에게 목표 평가 값을 설정할 것을 요구하지 않고 미리 결정된 목표 평가 값을 저장해 두고 그 값을 취득할 수 있다. 그런 미리 결정된 목표 평가 값은 실패 없이 카메라 위치 자세를 계산하기 위한 목표 평가 값으로서 할당될 수 있다.
본 예시적 실시예에서는, 특징 추가 위치 후보가 단계 S804에서 가장 높은 평가 값을 갖는 특징 추가 위치 후보로부터 평가 값의 순서대로 특징 추가 위치 리스트에 추가된다. 그러나 이 방법에 한정되는 것은 아니다. 예를 들어, 소정 수의 특징은 더 높은 평가 값의 순서대로 통합해서 특징 추가 위치 리스트에 추가될 수 있다.
전술한 방법을 통해, 원하는 목표 값을 적은 추가량으로 달성하는데 필요한 특징 추가 위치를 제시할 수 있다.
제6 예시적 실시예
(분포의 취득 방법의 변동. 실측 화상이 아니라 3차원 정보로부터 생성된 화상으로부터 분포를 취득한다.)
제1 내지 제5 예시적 실시예에서는, 단계 S301에서 특징의 분포를 HMD에 의해 촬상된 관측된 화상으로부터 취득했지만, 제6 예시적 실시예에서는 특징의 분포를 장면의 3차원 정보와 카메라 위치 자세에 기초하여 생성되는 화상으로부터 취득한다. 본 예시적 실시예에 따른 단계 S301에서 실행되는 처리가 설명될 것이다.
먼저 MR 시스템에 사용되는 장면의 3차원 정보가 취득된다. 구체적으로, 장면은 적-녹-청/깊이(RGB-D) 스캐너로 완전히 스캐닝되고, 장면의 색 정보와 연관된 거리 정보가 취득된다. 다음에, 사용자가 설정된 특징 추가 위치를 확인하고 싶은 시점에 대응하는 카메라 위치 자세가 취득된다. 취득된 카메라 위치 자세에서 관측되는 화상 면에 장면의 3차원 정보가 투영되어, 설정된 카메라 위치 자세에서 실제로 장면이 관측될 때 취득해야 하는 화상이 생성된다. 그 후, 이 화상으로부터 코너 점을 검출하여 코너 점의 분포를 취득한다.
본 예시적 실시예에서, 장면의 3차원 정보는 스캐닝을 통해 취득된다. 그러나 사용자가 특징 추가 위치를 확인하고 싶은 시점에서 관측되어야 하는 화상을 생성하기 위한 장면의 3차원 정보를 취득할 수 있으면, 스캐닝은 반드시 필요한 것은 아니다. 예를 들어, 3차원(3D) 모델링 소프트웨어를 통해 사용자에 의해 생성된 장면의 3차원 모델이 사용될 수 있다.
장면의 3차원 정보 및 카메라 위치 자세로부터 생성된 화상으로부터 특징의 분포를 취득하는 방법을 설명하였다. 이 방법에 의해, 사용자가 특징 추가 위치를 확인하고 싶은 임의의 카메라 위치 자세에서 특징의 추가 위치가 결정되고 제시될 수 있다.
제7 예시적 실시예
제1 내지 제6 예시적 실시예에서는, 특징이 추가될 위치가 결정되어 단일 카메라 시점에 제시된다. 제7 예시적 실시예에서는, MR 시스템이 사용되는 장면에서 HMD에 의해 취할 수 있는 복수의 카메라 시점에 특징을 추가해야 할 위치를 결정해서 제시하는 방법을 설명한다.
본 예시적 실시예에서는, 제1 내지 제5 예시적 실시예와 마찬가지로, MR 시스템이 사용되는 장면의 3차원 정보가 취득되지 않는 예시적 실시예에 대한 상세를 설명한다. 사용자는 실제로 장면을 돌아다니고 HMD에 의해 취할 수 있는 위치 자세의 범위를 지정하며, 이에 대응하여 제1 내지 제5 예시적 실시예에서 설명된 어느 하나의 방법을 통해 지정된 복수의 시점에서 특징 추가 위치를 결정한다. 단계 S303에서 취득한 결정된 특징 추가 위치를 제시하는 화상은 사용자가 장면을 돌아다니는 중에 바로 HMD의 표시 디바이스(212)에 제시될 수 있거나, 사용자가 장면을 돌아다닌 후에 화상을 일람할 수 있도록 통합해서 제시될 수도 있다.
MR 시스템이 사용될 장면에서 HMD에 의해 취해질 수 있는 복수의 카메라 시점에 특징이 추가될 위치를 결정하고 제시하는 방법이 설명되었다. 이 방법에 의해, MR 시스템이 사용되는 장면에서 HMD에 의해 취할 수 있는 위치 자세의 범위에 따라 특징 추가 위치를 제시할 수있다.
변형예 7-1
제7 예시적 실시예에서는, MR 시스템이 사용되는 장면의 3차원 정보가 취득되지 않을 때, 복수의 카메라 시점에 각각 특징을 추가해야 할 위치를 결정했다. 변형예 7-1에서는, 장면의 3차원 정보가 제6 예시적 실시예에 설명된 바와 같이 취득될 때 위치 자세의 범위 전체를 고려해서 특징을 추가해야 할 위치를 결정하고 제시하는 방법을 설명한다.
본 변형예에서는, 단계 S301의 처리 이전에, 장면의 3차원 정보와 장면 내에서 HMD의 촬상 디바이스(211)에 의해 취할 수 있는 위치 자세의 범위가 취득될 것이다. 장면의 3차원 정보는 제6 예시적 실시예에서 설명한 방법에 의해 취득될 것이다. UI를 통해 사용자에 의해 수치적으로 설정된 카메라 위치 자세에 의해 취할 수 있는 6개의 파라미터의 범위는 장면 내에서 촬상 디바이스(211)에 의해 취할 수 있는 위치 자세의 범위로서 취득된다. 취득된 카메라 위치 자세의 범위는 소정의 간격에서 샘플링되고, 촬상 디바이스(211)에 의해 취할 수 있는 복수의 위치 자세가 생성된다. 이후, 처리는 이하에 설명되는 도 3에서 도시한 흐름도에 따라 실행된다.
단계 S301에서, 특징 분포 취득 유닛(201)은 전술한 샘플링을 통해 생성된 각각의 카메라 위치 자세에서 촬상 디바이스(211)에 의해 관측이 실행될 때에 취득해야 하는 화상을 생성한다. 그 후, 이 화상으로부터 코너 점을 검출하고 코너 점의 분포를 취득하여 저장한다. 그 결과, 샘플링된 각 카메라 위치 자세의 특징 분포가 저장된다.
단계 S302에서, 특징 추가 위치 결정 유닛(202)은 각 카메라 위치 자세의 저장된 특징 분포에 기초하여 특징 추가 위치를 결정한다. 먼저, 특징 추가 위치 후보는 장면의 3차원 공간에 생성된다. 장면의 3차원 공간은 복셀로 분할되고, 장면의 3차원 정보에 포함된 거리 점 또는 모델 정보가 포함되는 각 복셀의 중심에 있는 3차원 위치가 특징 추가 위치 후보로서 저장된다. 다음으로, 단계 S301에서 저장된 각 카메라 위치 자세에서, 상기 예시적 실시예에서 설명한 도 5의 단계 S501, S503 및 S504에서의 처리를 실행하여, 평가 값을 산출하여 저장한다. 그 결과, 카메라 위치 자세와 특징 추가 위치 후보의 모든 조합에 대하여 평가 값이 저장된다. 이어서, 저장되어 있는 평가 값의 클래스에 대해, 각 특징 추가 위치 후보에서 평가 값이 합산되고, 각각의 취득된 합이 각 특징 추가 위치 후보에 대한 평가 값으로서 저장된다. 그 후, 특징 추가 위치 후보 중에서 높은 평가 값을 갖는 특징 추가 위치 후보가 추출된다. 이런 추출 기준 자체는 각각의 예시적 실시예에서 설명한 도 5의 단계 S505와 마찬가지이다.
전술한 바와 같이, HMD가 취할 수 있는 위치 자세의 범위 전체를 고려함으로써, 카메라 위치 자세의 고정밀도 산출을 가능하게 하기 위해 특징이 추가돼야 할 위치를 보다 정확하게 결정할 수 있다.
제8 예시적 실시예
제1 내지 제7 예시적 실시예에서는 특징 추가 위치 후보가 자동으로 생성된다. 제8 예시적 실시예에서는, 사용자가 수동으로 설정한 복수의 특징 추가 위치 후보 중에서 특징 분포에 대한 평가 값을 향상하기 위한 특징 추가 위치를 결정하는 방법을 설명한다. 본 예시적 실시예에서는, 사용자가 HMD의 촬상 디바이스(211)에 의해 촬상 및 취득된 화상에서 특징 추가 위치 후보를 지정할 수 있게 하는 방법에 대해 설명한다.
본 예시적 실시예에서는, 단계 S301의 처리 이전에, HMD의 촬상 디바이스(211)에 의해 촬상 및 취득된 화상이 화면에 표시되므로, 사용자는 마우스를 조작하여 화상에 특징이 추가될 수 있는 복수의 영역을 지정한다. 후속 처리는 제1 내지 제7 예시적 실시예의 단계 S502에서 생성된 특징 추가 위치 후보에 대응하는 특징 추가 위치 후보로서 이러한 지정된 영역을 취함으로써 실행될 것이다.
도 10a는 본 예시적 실시예에 따른 특징 추가 위치 후보를 설정하는 화면의 일례를 도시한 도면이다. 영역(1000)은 HMD의 촬상 디바이스(211)에 의해 촬상된 화상 상에서 특징 추가 위치 후보를 설정하는 영역이다. 특징 추가 위치 후보(1001 및 1002) 중에서, 마우스 커서(1003)에 의해 특징 추가 위치 후보(1001)가 선택된다. 이 때 선택된 특징 추가 위치 후보의 위치는 속성 정보로서 영역(1004)에 표시되고, 삭제 버튼(1005)이 눌러지면 선택된 특징 추가 위치 후보는 삭제된다. 버튼(1006)은 특징 추가 위치 후보를 추가하기 위한 버튼이다. 엔터 버튼(1007)은 현재의 특징 추가 위치 후보를 확인하기 위한 버튼이다. 엔터 버튼(1007)이 눌러질 때, 화면은 도 9a에 도시된 특징 추가 위치를 제시하는 화면으로 천이된다.
본 예시적 실시예에서는, 도 10a의 특징 추가 위치 후보 설정 화면과 도 9a의 특징 추가 위치 제시 화면이 별도로 제공된다. 그러나 영역(906)에 표시되어 있는 현재 특징 추가 위치 후보에 특징이 추가될 때의 평가 값은 특징 추가 위치 후보 설정 화면에 표시될 수 있다.
사용자에 의해 설정된 특징 추가 위치 또는 위치 자세의 복수의 후보 중에서 특징 분포에 대한 평가 값을 향상시키기 위한 특징 추가 위치 또는 위치 자세를 결정하는 방법에 대해 설명하였다. 이런 방법에 의해, 환경의 제약에 의해 관측 가능한 공간 내에서 특징을 추가할 수 있는 위치가 한정되어 있는 상황에서도, 사용자가 환경의 제약을 고려하면서 특징 추가 위치를 결정 및 제시할 수 있다.
변형예 8-1
제8 예시적 실시예에서는, HMD의 촬상 디바이스(211)에 의해 촬상된 화상에서의 특징 추가 위치는 2차원으로 지정된다.
변형예 8-1에서는, 소정의 자립 간판 형상의 물체(이하, "특징 물체"라고 칭함)가 장면에 새롭게 추가 배치되는 경우, 복수의 추가 위치 자세 후보를 지정하여 적절한 추가 위치 자세를 취득하는 방법에 대해 설명하지만, 그 장면의 3차원 정보는 제6 예시적 실시예에서 설명된 바와 같이 취득된다.
본 변형예에서는, 단계 S301의 처리 이전에, 제6 예시적 실시예에서 설명된 방법과 마찬가지의 방법으로 취득되는, MR 시스템을 이용한 장면의 3차원 정보와, 특징 물체의 모델 정보 및 카메라 위치 자세가 취득될 것이다. 사용자는 UI를 통해 장면 내의 특징 물체가 배치될 수 있는 복수의 위치 자세를 특징 물체의 추가 위치 자세 후보로서 설정한다. 단계 S503에서는 루프 처리가 특징 물체가 배치될 수 있는 추가 위치 자세 후보 각각에 대해 실행되고, 단계 S504에서는 장면의 3차원 정보에 기초하여 루프 처리의 대상으로 간주되는 추가 위치 자세 후보에 특징 물체가 배치될 때, 촬상 디바이스(211)에 의해 관측되어야 한다고 가정되는 화상이 장면의 3차원 정보, 장면에서의 카메라 위치 자세, 및 특징 물체의 위치 자세 후보에 기초하여 생성된다. 생성된 화상으로부터 특징 분포가 취득되고, 특징 분포에 대한 평가 값이 산출되고 저장된다. 단계 S505에서는, 저장된 평가 값을 갖는 특징 물체의 추가 위치 자세 후보 중에서, 높은 평가 값을 갖는 추가 위치 자세 후보가 선택된다.
도 10b는 높은 평가 값을 갖는 선택된 위치 자세 후보에 특징 물체를 표시한 화면의 일례를 도시하는 도면이다. 사용자는 이 화면을 조작함으로써 특징 물체를 배치하는 추가 위치 자세를 결정한다.
영역(1010)은 사용자가 장면의 3차원 정보를 보면서 추가 위치 자세 후보를 설정하는 화면 영역이다. 3차원 정보가 표시되는 시점은 마우스 커서(1014)에 의해 임의의 시점에 조작되고 설정될 수 있다. 영역(1011, 1012 및 1013)은 특징 물체의 추가 위치 자세 후보를 나타내고 있다. 도 10b의 예에서는, 특징 물체로서 영역(1011, 1012)에 나타낸 간판 형상의 물체와 영역(1013)에 나타낸 포스터 형상의 물체가 배치된다. 전술한 바와 같이, 특징 물체로서 복수의 타입의 물체를 설정할 수 있다. 상기 특징 물체 중에서, 마우스 커서(1014)에 의해 선택된 영역(1011) 내의 특징 물체는 실선으로 표시되고, 영역(1011)에서의 선택된 특징 물체의 위치 자세는 영역(1015)에 표시된다. 엔터 버튼(1016)은 특징 물체의 현재의 특징 추가 위치 자세 후보를 확정하기 위한 버튼이다. 엔터 버튼(1016)이 눌러질 때, 화면은 도 9b에 도시한 특징 물체의 추가 위치 자세를 제시하는 화면으로 천이된다.
도 9b는 특징 물체의 추가 위치 자세를 제시하는 화면의 일례를 도시한 도면이다. 특징 물체의 추가 자세 자세는 장면의 3차원 정보에 중첩되어 영역(910)에 표시된다. 3차원 정보가 표시되어야 하는 시점은 마우스 커서(913)에 의해 임의의 시점으로 조작되어 설정될 수 있다. 물체(911 및 912)는 목표 평가 값을 달성하기 위한 특징 물체의 추가 위치 자세를 나타내고, 물체(911 및 912)에 표시된 수치는 추가 위치 자세가 도 8의 단계 S803에서 특징 추가 리스트에 추가되는 순서를 나타낸다. 화면 상에 표시되는 다른 요소는 도 9a에 도시된 것과 동일하다.
사용자에 의해 설정된 특징 물체의 복수의 추가 위치 자세 후보를 취득하고, 취득된 추가 위치 자세 후보 중에서 특징 분포에 대한 평가 값을 향상시키기 위한 특징 물체의 추가 위치 자세를 결정하는 방법에 대해 설명하였다. 이 방법을 통해, 카메라의 위치 자세의 고정밀도 산출을 가능하게 하기 위해 추가해야 할 특징 물체의 위치 자세를 결정 및 제시할 수 있다.
변형예 8-2
(특징 추가 가능 영역 및 특징 추가 불가능 영역을 가상 공간에서 지정한다.)
제8 예시적 실시예에서는, 특징 추가 위치 후보를 각각 사용자가 지정했지만, 변형예 8-2에서는 사용자가 특징을 추가할 수 있는 영역을 지정하는 방법을 설명한다.
특징을 추가할 수 있는 영역은 HMD의 촬상 디바이스(211)에 의해 촬상된 화상 내의 영역 또는 장면의 3차원 정보 중의 영역으로서 지정된다. 도 5의 단계 S502에서, 특징 추가 위치 후보는 특징이 추가될 수 있는 지정된 영역에서 생성된다.
도 10c는 HMD의 촬상 디바이스(211)에 의해 촬상된 화상 내에서 특징을 추가할 수 있는 영역을 설정하는 화면의 일례를 도시한 도면이다. 영역(1021)은 마우스 커서(1022)에 의해 지정되는, 특징을 추가할 수 있는 영역이다. 특징이 추가될 수 있는 지정된 영역의 속성은 영역(1023)에 표시된다. 도 10c에서는, 화상 내의 영역의 중심 위치를 속성으로서 표시하고 있다. 버튼(1024)은 특징이 추가될 수 있는 현재 지정된 영역을 삭제하기 위한 버튼이고, 버튼(1025)은 특징을 추가할 수 있는 영역을 추가하기 위한 버튼이다. 본 변형예에서는, 특징을 추가할 수 있는 영역을 거기에 설정했지만, 특징 추가 불가능 영역 이외의 영역에 특징 추가 위치 후보를 생성하도록 특징을 추가할 수 없는 영역을 설정할 수 있다.
사용자가 특징을 추가할 수 있는 영역을 지정하고 그 영역 내의 특징 추가 위치를 결정할 수 있게 하는 방법이 설명되었다. 이 방법에 의하면, 환경 제한을 고려한 채 특징의 추가 위치 또는 특징 물체의 추가 위치 자세를 결정하고 제시할 수 있다.
제9 예시적 실시예
제8 예시적 실시예의 변형예 8-1에서, 사용자는 특징 물체의 모델 타입 및 위치 자세를 지정하여 특징 물체의 추가 위치 자세의 후보를 설정한다.
제9 예시적 실시예에서는, 사용자가 특징 물체의 위치 자세만을 설정할 수 있게 하면서 복수의 사전 등록된 모델 중에서 적절한 타입의 모델을 자동으로 결정하고 제시하는 방법을 설명한다. 구체적으로는, 각 등록 모델이 특징 물체의 특정 추가 위치 자세 후보에 배치될 때의 평가 값을 산출하여 저장하고, 특징 물체의 추가 위치 자세 후보와 높은 평가 값을 갖는 모델의 타입의 조합을 결정하고 제시한다.
이 방법에 의해, 카메라의 위치 자세의 고정밀도 산출을 가능하게 하기 위해 추가해야 할 특징 물체의 타입도 제시할 수 있다.
제10 예시적 실시예
전술한 예시적 실시예에서는 특징을 추가해야 할 위치가 제시된다. 제10 예시적 실시예에서는 특징이 이동돼야 할 위치를 제시하는 방법이 설명된다.
본 예시적 실시예에 따른 장치 구성으로서 제2 예시적 실시예에 설명된 도 7의 장치 구성이 사용될 것이다. 먼저, 환경 내에 있는 이동 가능한 특징을 갖는 포스터를 미리 등록하고, 템플릿으로서 저장한다. 그 후, HMD의 촬상 디바이스(211)에 의해 촬상된 화상 내에서, 미리 등록한 포스터의 템플릿 매칭을 실행함으로써 포스터의 현재의 위치를 인식한다. 또한, 포스터의 이동처가 될 수 있는 벽면은 3차원 정보 계측 디바이스(711)에 의해 계측된 거리 점 그룹 정보 중에서 평면 검출을 실행함으로써 식별된다. 그 후, 검출된 벽면 내의 영역의 샘플링을 실행함으로써, 인식된 포스터의 복수의 이동처 후보를 생성한다. 다음으로, 포스터가 포스터의 이동처 후보 각각으로 이동될 때의 특징 분포에 대한 평가 값은 각각의 예시적 실시예에서 설명된 도 5의 단계 S501의 방법과 유사한 방법에 의해 계산된다. 그 후, 평가 값이 상위에 순위되는 포스터의 소정의 수의 이동처를 평가 값의 순위와 함께 도시한다.
전술한 방법을 통해, 이미 설정되어 있는 특징의 위치를 이동시키는 경우에 그 특징의 이동처를 제시할 수 있다.
제11 예시적 실시예
전술한 예시적 실시예에서는, 특징을 추가해야 할 위치를 식별하고 사용자에게 제시하는 방법을 설명하였다. 제11 예시적 실시예에서는, 코너 점의 분포, 구체적으로는 코너 점의 밀집도에 기초하여 카메라 위치 자세의 계산 정밀도를 향상시키기 위해 제거해야 할 특징을 결정하고 제시하는 방법을 설명한다.
본 예시적 실시예에서는, 하나의 화상 내의 하나의 코너 점과 그 하나의 코너 점과 연관된 3차원 점 또는 다른 화상 내의 다른 코너 점 사이의 거리를 최소화함으로써 카메라 위치 자세가 계산되는 것으로 가정한다. 이 경우, 소정의 범위에 존재하는 코너 점이 너무 많으면, 하나의 코너 점이 그와 연관되어서는 안 되는 다른 코너 점과 잘못 연관될 수 있어, 카메라 위치 자세의 계산 정밀도가 저하될 수 있다. 따라서, 코너 점이 너무 밀집해서 배치되는 경우, 밀집한 코너 점의 일부를 제거해야 할 코너 점으로서 제시한다. 본 예시적 실시예에서는, 취득 화상으로부터 검출된 대응점의 소정의 범위 내에서의 분포 밀도를 계산하고, 그 범위의 코너 점으로부터 필요한 수의 코너 점을 선택하고, 분포 밀도가 소정 값보다 높은 경우에는 제거해야 할 코너 점으로서 제시한다. 이 방법의 상세에 대해서는 후술한다.
우선, 제1 예시적 실시예와 마찬가지로 HMD의 촬상 디바이스(211)로부터 화상을 취득하여 코너 점을 검출한다. 도 11a는 취득 화상의 일례를 도시한 도면이며, 도 11b는 취득 화상에서 코너 점의 검출 결과를 도시한 도면이다. 다음에, 취득 화상을 소정의 범위에서 샘플링하고, 각 범위에서의 코너 점의 분포 밀도를 산출한다. 각 범위에 존재하는 코너 점의 개수가 기준 개수보다 큰 경우에는, 초과하는 코너 점의 개수만큼 코너 점을 제거해야 한다고 결정된다. 전술한 바와 같이, 각 범위로부터 제거해야 할 코너 점을 추출하여 제시한다. 도 11c는 제시 화면의 일례를 도시한 도면이다. 제거될 코너 점은 흰색 도트로 표시된다.
전술한 바와 같이, 카메라 위치 자세를 고정밀도로 계산하기 위해 제거해야 할 특징을 제시한다. 상술한 방법을 통해, 사용자는 시행 착오의 프로세스를 수행하지 않고 제거해야 할 특징을 알게 되어, 특징의 제거 작업을 효율적으로 수행할 수 있다.
예시적 실시예의 다른 변동
(마커, 블로브 특징, 에지 특징, 또는 큰 휘도 구배를 갖는 픽셀과 같은 특징을 사용한다.)
제1 내지 제10 예시적 실시예에서는 코너 점이 특징으로 사용된다. 그러나 검출 위치를 속성으로 취득할 수 있는 상태에서 카메라의 위치 자세를 산출할 수 있는 것이면, 임의의 특징을 이용하여 유사한 방법을 통해 본 발명을 실시할 수 있다. 예를 들어, 특허문헌 1에 설명된 식별자를 마커로 코딩하여 특징으로 사용할 수 있다.
이 경우, 단계 S301에서, 화상으로부터 코너 점을 검출하는 대신에 마커를 검출하여 화상에서의 마커 검출 위치의 분포를 취득함으로써, 제1 내지 제10 예시적 실시예에서 설명한 방법을 통해 마커가 추가되어야 할 위치를 유사하게 결정하고 제시할 수 있다. 또한, 특징으로부터 유사하게 위치를 검출할 수 있는 한, 에지 특징, SIFT(scale invariant feature transform) 특징량과 같은 블로브 특징, 또는 높은 휘도 구배를 갖는 픽셀이 특징으로 사용되더라도, 단계 S301의 처리에 의해 검출 위치의 분포를 취득함으로써 본 발명을 실시할 수 있다. 또한 화상의 에지 특징을 사용하는 경우, 에지 특징이 검출되는 위치 및 방향을 사용해서, [변형예 2-2]에서 설명한 방법과 마찬가지의 방법을 통해 에지 특징의 위치 및 방향이 균일해 지도록 특징 추가 위치를 결정할 수 있다. 전술한 바와 같이, 본 발명은 코너 점 특징 이외의 특징을 사용한 카메라 위치 자세의 계산을 실행하는 시스템에도 넓게 적용 가능하다.
직사각형 영역을 샘플링하는 대신 세그멘테이션을 통해 특징 추가 위치 후보를 생성한다.
제1 내지 제7 예시적 실시예에서, 단계 S501에서 생성되거나 사용자에 의해 지정되는 특징 추가 위치 후보는 화상을 직사각형 영역에서 샘플링해서 생성하였다. 그러나 본 발명은 특징을 추가할 수 있는 위치의 복수의 후보를 완전히 생성할 수 있는 경우 다른 방법으로 실행될 수 있다. 예를 들어, 색 정보를 사용하는 화상의 세그멘테이션으로부터 취득된 세그먼트 중에서, 소정의 크기를 갖는 세그먼트의 중앙을 특징 추가 위치의 후보로 지정할 수 있다. 또한, 제6 예시적 실시예에서 설명한 바와 같이 장면의 목적지 정보를 취득할 수 있는 경우, 목적지 정보로부터 취득된 세그먼트 중에서 평면과의 세그먼테이션을 통해, 소정 크기를 갖는 세그먼트의 중앙을 특징 추가 위치의 후보로서 지정할 수 있다. 전술한 바와 같이, 소정 크기를 갖는 세그먼트의 중앙을 특징 추가 위치 후보로서 지정함으로써 특징을 추가하는 특징 추가 위치가 용이하게 제시될 수 있다.
제시된 결과에 기초하여 카메라 위치 조정을 수행하여 결과를 제시한다.
제1 내지 제9 예시적 실시예에서는, 카메라에 의해 촬상된 화상으로부터 검출된 특징에 기초하여, 카메라 위치 자세를 계산하는 디바이스 상에, 특징을 추가해야 할 위치 또는 위치 자세를 제시하는 기능을 탑재할 수 있다. 이런 구성에 의해, 사용자가 장면을 걸어다니는 것에 의해 카메라 위치 자세를 계산할 때 계산 결과가 만족스럽지 않은 경우에, 카메라 위치 자세의 계산 결과를 향상시키기 위해 추가해야 할 특징의 위치 또는 위치 자세를 적절하게 제시할 수 있다.
다른 예시적 실시예
또한, 본 발명은 이하의 처리를 실행함으로써 실현될 수 있다. 즉, 상술한 예시적 실시예의 기능을 실현하는 소프트웨어(프로그램)는 네트워크 또는 각종 저장 매체를 통해서 시스템 또는 장치에 공급되어, 시스템 또는 장치의 컴퓨터(또는 CPU 또는 마이크로 프로세싱 유닛(MPU))는 프로그램을 판독하고 실행한다.
정의
본 발명에 따른 특징 분포 취득 유닛은 카메라에 의해 관측 가능한 특징의 분포가 취득될 수 있는 한 임의의 유닛일 수 있다. 제1 내지 제4 예시적 실시예 중 어느 하나에서 설명되는, 카메라에 의해 촬상된 화상으로부터 특징의 분포가 취득되는 방법이 예로서 주어진다. 대안적으로, 제6 예시적 실시예에서 설명한 바와 같이, 장면의 3차원 정보와 카메라 위치 자세에 기초하여 카메라에 의해 관측될 화상을 생성할 수 있고, 그 화상으로부터 특징의 분포를 취득할 수 있다.
본 발명에 따른 특징 추가 위치 및/또는 방향을 결정하도록 구성된 결정 유닛은, 특징의 분포가 카메라 위치 자세의 계산에 적합하도록 특징 추가 위치 및/또는 방향을 결정하는 임의의 유닛일 수 있다. 결정 유닛의 구성 요소는, 특징 추가 위치 및/또는 방향의 후보를 생성하는 방법, 카메라 위치 자세의 계산에 대한 특징 추가 위치 및/또는 방향의 후보에 특징을 추가했을 때의 특징의 분포의 적합성 정도를 평가하는 평가 척도, 평가 척도에 의해 산출된 평가 값에 기초하여 특징 추가 위치 및/또는 방향의 후보 중에서 제시될 특징 추가 위치 및/또는 방향을 추출하는 기준을 포함한다.
카메라에 의해 촬상된 화상 또는 카메라에 의해 관측 가능한 3차원 공간을 직사각형 영역 또는 복셀로 분할하여 각각의 영역의 2차원 위치 또는 3차원 위치를 특징 추가 위치 후보로 할당하는 제1, 제2 또는 제7 예시적 실시예에서 설명한 방법은, 특징 추가 위치 및/또는 방향의 후보를 생성하는 방법의 일례로서 주어진다. 대안적으로, [예시적 실시예의 다른 변동]에서 설명한 바와 같이, 카메라에 의해 촬상된 화상이나 장면의 3차원 정보의 세그멘테이션을 실행하고, 각 세그먼트를 특징 추가 위치 후보로 할당할 수 있다. 또한, 제8 예시적 실시예에서 설명한 바와 같이, 사용자에 의해 설정된 특징 추가 위치 및/또는 방향의 후보를 취득할 수 있다.
평가 척도의 일례가 제1 예시적 실시예에서 설명한 특징 분포의 균일성이다. 대안적으로, 제2 예시적 실시예에서 설명한 바와 같이, 특징의 분포의 정도를 평가 척도로 할당할 수 있다. 또한, 제4 예시적 실시예에서 설명한 바와 같이, 그 분포에서 카메라 위치 자세를 계산할 때의 계산 정밀도를 산출해서 평가 척도로 할당할 수 있다.
제1 예시적 실시예에서 설명한, 특징이 추가될 때 평가 값의 높은 향상량을 갖는 특징 추가 위치를 추출하는 방법은, 특징 추가 위치 및/또는 방향의 후보 중에서 제시될 특징 추가 위치 및/또는 방향을 추출하는 기준의 일례로서 주어진다. 대안적으로, 제5 예시적 실시예에서 설명한 바와 같이, 큰 향상량의 평가 값을 갖는 최상위로부터의 소정 수의 특징 추가 위치가 추출될 수 있다. 마찬가지로, 제5 예시적 실시예에서 설명한 바와 같이, 목표 평가 값을 달성하기 위해 필요한 특징 추가 위치를 추출할 수 있다.
본 발명에 따른 특징 추가 위치 및/또는 방향을 제시하기 위한 유닛은 결정된 특징 추가 위치를 제시하는 임의의 유닛일 수 있다. 제1 예시적 실시예에서 설명한 화상에 특징 추가 위치를 중첩하여 특징 추가 위치를 제시하는 방법을 예로 들 수 있다. 대안적으로, 제8 예시적 실시예에서 설명한 바와 같이, 추가 및 배열될 특징 물체의 위치 자세가 장면의 3차원 정보에 중첩되어 제시될 수 있다.
기타 실시예들
본 발명의 실시예(들)는, 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체(보다 완전하게는 '비일시적 컴퓨터 판독가능 저장 매체'라 칭할 수도 있음)에 기록된 컴퓨터 실행가능 명령어(예를 들어, 하나 이상의 프로그램)를 판독 및 실행하고, 그리고/또는 전술한 실시예(들) 중 하나 이상의 기능을 실행하는 하나 이상의 회로(예를 들어, 주문형 집적 회로(ASIC))를 포함하는 시스템 또는 디바이스의 컴퓨터에 의해, 그리고 예를 들어 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 저장 매체로부터 컴퓨터 실행가능 명령어를 판독 및 실행함으로써 그리고/또는 전술한 실시예(들) 중 하나 이상의 기능을 실행하기 위해 하나 이상의 회로를 제어함으로써 상기 시스템 또는 디바이스의 컴퓨터에 의해 실행되는 방법에 의해 실현될 수도 있다. 컴퓨터는 하나 이상의 프로세서(예를 들어, 중앙 처리 유닛(CPU), 마이크로 프로세싱 유닛(MPU))를 포함할 수 있고 컴퓨터 실행가능 명령어를 판독 및 실행하기 위한 별도의 컴퓨터 또는 별도의 프로세서의 네트워크를 포함할 수 있다. 컴퓨터 실행가능 명령어는, 예를 들어 네트워크 또는 저장 매체로부터 컴퓨터에 제공될 수 있다. 저장 매체는, 예를 들어 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(예를 들어, 콤팩트디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)(상표)), 플래시 메모리 디바이스, 메모리 카드 등 중 하나 이상을 포함할 수 있다.
본 발명을 예시적인 실시예를 참고하여 설명하였지만, 본 발명은 개시된 예시적인 실시예로 한정되지 않음을 이해해야 한다. 이하의 청구항의 범위는 이러한 모든 변형과 동등한 구조 및 기능을 포함하도록 최광의로 해석되어야 한다.
본 출원은 2015년 5월 20일자로 출원된 일본 특허 출원 제2015-102825호 및 2016년 4월 7일자로 출원된 제2016-077328호의 이익을 주장하며, 이들의 전체가 본원에 참고로 포함된다.

Claims (19)

  1. 정보 처리 장치이며,
    촬상 디바이스에 의해 촬상되는 화상으로부터, 상기 촬상 디바이스의 위치 자세를 도출하기 위해 사용되는 특징들을 취득하도록 구성된 취득 유닛;
    상기 화상에 포함되는 복수의 부분 영역을, 상기 화상에 존재하지 않는 새로운 특징을 추가하기 위한 복수의 후보 영역으로서 설정하도록 구성된 설정 유닛;
    설정된 상기 복수의 후보 영역을 평가하도록 구성된 평가 유닛;
    평가된 상기 복수의 후보 영역에 기초하여, 상기 새로운 특징을 추가해야 할 위치, 방향, 또는 양자 모두를 결정하도록 구성된 결정 유닛; 및
    결정된 상기 위치, 상기 방향, 또는 양자 모두를 나타내는 정보를 상기 화상에 중첩하여 출력하도록 구성된 출력 유닛을 포함하는, 정보 처리 장치.
  2. 제1항에 있어서,
    취득된 상기 특징들에 기초하여 상기 화상 내의 상기 특징들의 분포를 취득하도록 구성된 분포 취득 유닛을 더 포함하는, 정보 처리 장치.
  3. 제2항에 있어서,
    상기 결정 유닛은 상기 분포가 보다 균일하게 되도록 상기 위치, 상기 방향, 또는 양자 모두를 결정하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 결정 유닛은, 상기 후보 영역들 각각에 대해 취득된 상기 특징들의 수를 카운트하고, 상기 후보 영역들 각각에 대해 카운트된 상기 특징들의 수에 기초하여, 상기 화상 내의 상기 특징들의 분포가 보다 균일하게 되도록 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두를 결정하는, 정보 처리 장치.
  5. 제1항에 있어서,
    상기 특징들의 3차원 위치들을 취득하도록 구성된 유닛을 더 포함하고,
    상기 결정 유닛은 상기 특징들의 3차원 위치들의 분포가 보다 균일하게 되도록 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두를 결정하는, 정보 처리 장치.
  6. 제2항에 있어서,
    상기 결정 유닛은 취득된 상기 특징들의 분포가 보다 확대되도록 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두를 결정하는, 정보 처리 장치.
  7. 제2항에 있어서,
    상기 결정 유닛은, 취득된 상기 특징들의 분포에 상기 새로운 특징을 추가해서 취득되는 분포에 기초하여 도출되는 상기 촬상 디바이스의 위치 자세의 정밀도가 향상되도록, 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두를 결정하는, 정보 처리 장치.
  8. 제2항에 있어서,
    상기 특징들의 분포에 대한 평가 값을 취득하도록 구성된 평가 유닛을 더 포함하는, 정보 처리 장치.
  9. 제8항에 있어서,
    상기 결정 유닛은 상기 평가 값이 증대되도록 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두를 결정하는, 정보 처리 장치.
  10. 제8항에 있어서,
    상기 평가 값의 목표 값을 취득하도록 구성된 유닛을 더 포함하고,
    상기 결정 유닛은 상기 평가 값이 상기 목표 값을 초과하는 특징의 위치, 방향, 또는 양자 모두를, 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두로서 결정하는, 정보 처리 장치.
  11. 제8항에 있어서,
    상기 결정 유닛은 상기 평가 값의 향상량이 미리정해진 값보다도 큰 특징의 위치, 방향, 또는 양자 모두를, 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두로서 결정하는, 정보 처리 장치.
  12. 제1항에 있어서,
    상기 결정 유닛은 상기 새로운 특징을 추가해야 할 위치를 결정하고,
    상기 정보 처리 장치는 상기 새로운 특징이 실제 장면으로부터 추가될 수 있는 영역을 설정하도록 구성된 설정 유닛을 더 포함하고,
    상기 결정 유닛은 설정된 상기 영역으로부터 상기 새로운 특징을 추가해야 할 상기 위치를 결정하는, 정보 처리 장치.
  13. 제1항에 있어서,
    상기 결정 유닛은 상기 새로운 특징을 추가해야 할 위치를 결정하고,
    상기 정보 처리 장치는 상기 새로운 특징이 실제 장면으로부터 추가되지 않는 영역을 설정하도록 구성된 제2 설정 유닛을 더 포함하고,
    상기 결정 유닛은, 상기 제2 설정 유닛에 의해 설정된 상기 영역 이외의 영역들 중에서, 상기 새로운 특징을 추가해야 할 상기 위치를 결정하는, 정보 처리 장치.
  14. 제1항에 있어서,
    상기 출력 유닛은 추가해야 할 상기 새로운 특징의 위치, 방향, 또는 양자 모두에 관한 정보를 상기 촬상 디바이스에 의해 촬상된 화상에 중첩하고 결과 화상을 외부 표시 유닛 상에 표시하는, 정보 처리 장치.
  15. 제1항에 있어서,
    상기 촬상 디바이스는 헤드 장착형 표시 장치 상에 제공되는, 정보 처리 장치.
  16. 제1항에 있어서,
    상기 특징들에 기초하여 상기 촬상 디바이스의 위치 자세를 도출하도록 구성된 도출 유닛을 더 포함하는, 정보 처리 장치.
  17. 정보 처리 장치이며,
    촬상 디바이스에 의해 촬상되는 실제 장면에 포함되고 상기 촬상 디바이스의 위치 자세를 도출하기 위해 사용되는 특징들을 취득하도록 구성된 유닛;
    취득된 상기 특징들의 분포에 기초하여, 상기 실제 장면에 포함되는 특징들 중에서 새롭게 삭제해야 할 특징을 결정하도록 구성된 유닛; 및
    결정된 상기 특징을 출력하도록 구성된 유닛을 포함하는, 정보 처리 장치.
  18. 정보 처리 방법이며,
    촬상 디바이스에 의해 촬상되는 화상으로부터 상기 촬상 디바이스의 위치 자세를 도출하기 위해 사용되는 특징들을 취득하는 단계;
    상기 화상에 포함되는 복수의 부분 영역을, 상기 화상에 존재하지 않는 새로운 특징을 추가해야 할 복수의 후보 영역으로서 설정하는 단계;
    설정된 상기 복수의 후보 영역을 평가하는 단계;
    평가된 상기 복수의 후보 영역에 기초하여, 상기 새로운 특징을 추가해야 할 위치, 방향, 또는 양자 모두를 결정하는 단계; 및
    결정된 상기 위치, 상기 방향, 또는 양자 모두를 나타내는 정보를 상기 화상에 중첩하여 출력하는 단계를 포함하는, 정보 처리 방법.
  19. 컴퓨터를 정보 처리 장치의 각각의 유닛으로서 기능시키게 하기 위한, 기록 매체에 저장된 컴퓨터 프로그램이며,
    상기 정보 처리 장치는,
    촬상 디바이스에 의해 촬상되는 화상으로부터, 상기 촬상 디바이스의 위치 자세를 도출하기 위해 사용되는 특징들을 취득하도록 구성된 취득 유닛;
    상기 화상에 포함되는 복수의 부분 영역을, 상기 화상에 존재하지 않는 새로운 특징을 추가하기 위한 복수의 후보 영역으로서 설정하도록 구성된 설정 유닛;
    설정된 상기 복수의 후보 영역을 평가하도록 구성된 평가 유닛;
    평가된 상기 복수의 후보 영역에 기초하여, 상기 새로운 특징을 추가해야 할 위치, 방향, 또는 양자 모두를 결정하도록 구성된 결정 유닛; 및
    결정된 상기 위치, 상기 방향, 또는 양자 모두를 나타내는 정보를 상기 화상에 중첩하여 출력하도록 구성된 출력 유닛을 포함하는, 컴퓨터 프로그램.
KR1020177035740A 2015-05-20 2016-05-13 정보 처리 장치, 방법, 및 컴퓨터 프로그램 Active KR101992044B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015102825 2015-05-20
JPJP-P-2015-102825 2015-05-20
JP2016077328A JP6723798B2 (ja) 2015-05-20 2016-04-07 情報処理装置、方法、プログラム
JPJP-P-2016-077328 2016-04-07
PCT/JP2016/002365 WO2016185704A1 (en) 2015-05-20 2016-05-13 Information processing apparatus, method, and program

Publications (2)

Publication Number Publication Date
KR20180008575A KR20180008575A (ko) 2018-01-24
KR101992044B1 true KR101992044B1 (ko) 2019-06-21

Family

ID=57578734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035740A Active KR101992044B1 (ko) 2015-05-20 2016-05-13 정보 처리 장치, 방법, 및 컴퓨터 프로그램

Country Status (4)

Country Link
US (1) US10430967B2 (ko)
EP (1) EP3298590B1 (ko)
JP (1) JP6723798B2 (ko)
KR (1) KR101992044B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
CN116863107A (zh) * 2017-03-06 2023-10-10 连株式会社 增强现实提供方法、装置以及非暂时性计算机可读介质
CN117373636A (zh) 2017-05-08 2024-01-09 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
JP7341736B2 (ja) 2019-06-06 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN113642925B (zh) * 2021-08-31 2023-12-12 重庆电子工程职业学院 基于mr混合现实的智慧物流规划布局方案评价系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127468A (ja) * 2004-09-28 2006-05-18 Canon Inc 情報処理方法および装置
JP2013141049A (ja) 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
EP1540640A2 (en) * 2002-09-12 2005-06-15 Koninklijke Philips Electronics N.V. Transflective liquid crystal display with reduced flicker
JP4367926B2 (ja) 2004-05-17 2009-11-18 キヤノン株式会社 画像合成システムおよび画像合成方法、および画像合成装置
JP4926817B2 (ja) 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
KR101188588B1 (ko) * 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP5269707B2 (ja) * 2009-07-01 2013-08-21 富士フイルム株式会社 画像合成装置及び方法
KR101622110B1 (ko) 2009-08-11 2016-05-18 삼성전자 주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8965107B1 (en) * 2012-05-18 2015-02-24 Google Inc. Feature reduction based on local densities for bundle adjustment of images
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
JP2014123230A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US9406137B2 (en) * 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127468A (ja) * 2004-09-28 2006-05-18 Canon Inc 情報処理方法および装置
JP2013141049A (ja) 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末

Also Published As

Publication number Publication date
EP3298590A1 (en) 2018-03-28
US10430967B2 (en) 2019-10-01
EP3298590A4 (en) 2019-01-02
JP6723798B2 (ja) 2020-07-15
EP3298590B1 (en) 2021-01-06
US20180144497A1 (en) 2018-05-24
JP2016220198A (ja) 2016-12-22
KR20180008575A (ko) 2018-01-24

Similar Documents

Publication Publication Date Title
KR101992044B1 (ko) 정보 처리 장치, 방법, 및 컴퓨터 프로그램
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US11189041B2 (en) Image processing apparatus, control method of image processing apparatus, and non-transitory computer-readable storage medium
EP3343515A1 (en) Setting apparatus to set movement path of virtual viewpoint, setting method, and program
JPWO2020179065A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20170206676A1 (en) Information processing apparatus and control method thereof
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
EP3236424A2 (en) Information processing apparatus and method of controlling the same
JP2019114103A (ja) 物体認識処理装置、物体認識処理方法及びプログラム
EP3309750B1 (en) Image processing apparatus and image processing method
CN110832542A (zh) 识别处理设备、识别处理方法和程序
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
US20220383487A1 (en) Image processing apparatus, image processing method, and image processing program
JP2020537790A (ja) 画像処理およびオブジェクトの視点決定の方法ならびにシステム
WO2017187935A1 (en) Information processing apparatus, information processing method, and program
US20210174541A1 (en) Image-capturing control apparatus, image-capturing control method, and storage medium
WO2016185704A1 (en) Information processing apparatus, method, and program
JP4986934B2 (ja) 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体
JP4966946B2 (ja) 時空間画像分離装置、時空間画像分離方法および時空間画像分離プログラム
JP2023039338A (ja) 画像処理装置、画像処理方法、システムおよびプログラム
JP2020188361A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20171212

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180914

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190326

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190617

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190617

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220520

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240527

Start annual number: 6

End annual number: 6