[go: up one dir, main page]

KR101865886B1 - 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템 - Google Patents

근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템 Download PDF

Info

Publication number
KR101865886B1
KR101865886B1 KR1020160167526A KR20160167526A KR101865886B1 KR 101865886 B1 KR101865886 B1 KR 101865886B1 KR 1020160167526 A KR1020160167526 A KR 1020160167526A KR 20160167526 A KR20160167526 A KR 20160167526A KR 101865886 B1 KR101865886 B1 KR 101865886B1
Authority
KR
South Korea
Prior art keywords
reflectivity
geometry
estimating
function
estimator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160167526A
Other languages
English (en)
Inventor
권인소
최경민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160167526A priority Critical patent/KR101865886B1/ko
Application granted granted Critical
Publication of KR101865886B1 publication Critical patent/KR101865886B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서, 광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들을 입력받고, 상기 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 초기 기하 구조를 추정하는 기하 구조 추정부, 그리고 상기 기하 구조 추정부로부터 추정된 상기 물체의 기하 구조로부터 상기 물체의 반사도 함수를 추정하고, 상기 물체의 반사도 함수를 상기 기하 구조 추정부로 입력하는 절차를 일정 횟수 반복하는 반사도 추정부를 포함한다. 상기 기하 구조 추정부는 상기 반사도 추정부로부터 입력받은 반사도 함수를 기초로 상기 물체의 기하 구조를 재추정하며, 상기 기하 구조 추정부와 상기 반사도 추정부 각각은 상기 일정 횟수 동안 추정한 결과를 서로 주고 받으면서 상기 물체의 최종 기하 구조와 최종 반사도를 출력한다.

Description

근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템{METHOD AND SYSTEM FOR ESTIMATING SURFACE GEOMETRY AND REFLECTANCE}
본 발명은 물체 표현의 기하 구조 및 반사도 추정에 관한 것이다.
물체의 양방향 반사분포함수(Bidirectional reflectance distribution function, BRDF)(간단히, 반사도 또는 반사도 함수라고 함)는 파라메트릭(parametric) 방법과 애널리틱(analytic) 방법으로 구할 수 있다. 파라메트릭 방법은 광학적 모델을 수학적으로 만들어 내는 것이고, 애널리틱 방법은 여러 물체에 대해 실제로 실험해서 모델을 계산해 내는 것이다. 파라메트릭 방법은 대부분의 물체를 포괄하는 모델을 잘 만들어야 하는 특성이 있고, 애널리틱 방법은 몇 가지 물체들을 골라서 그 물체에 특화된 모델을 실험적으로 계산하는 특성이 있다.
애널리틱 방법의 대표적인 기존 기술은 Merl(K. J. Dana, B. Van Ginneken, S. K. Nayar, and J. J. Koenderink, Reflectance and texture of real-world surfaces, ACM Transactions on Graphics (TOG), 1999)과 Curet(W. Matusik, H. Pfister, M. Brand, and L. McMillan, A data-driven reflectance model, ACM Transactions on Graphics (TOG), 2003)이 있다. Merl은 매끈한 구형 물체 표면에 다양한 재료의 페인트를 발라서 반사도를 측정한다. 완벽한 구 형태로 가정하므로 표면 법선 벡터는 알고 있다고 가정한다. 하지만, Merl은 매끈한 구형 물체 표면에 바를 수 있는 페인트 종류에 한계가 있고 페인트가 고루 발려야 하므로, 데이터 샘플을 취득하는 것이 굉장히 어렵다. Curet은 구 형태가 아니라 통상적으로 일상 속에 있는 다양한 기하 구조의 샘플을 취득하는데, 표면 법선 벡터를 계산하지 않고 표면을 평면으로 가정하고, 표면에서 얻은 반사도값을 평균낸다. 하지만, 평면처럼 보이는 현실의 대부분의 물체는 다양한 표면 기하 구조를 갖기 때문에 Curet은 한계가 있다.
한편, 지금까지의 물체의 반사도 측정 방법은 가시광 대역에서 주로 연구되었다. 하지만, 가시광 영상을 이용한 반사도 측정 방법은 실내 조명이 다 꺼진 암실 환경에서 실험해야 하므로 실험 과정이 굉장히 불편하다.
최근 몇 년 간 마이크로소프트 키넥트 센서 등과 같은 3차원 깊이 센서들이 출시되면서 근적외선 영상은 상당히 인기를 얻고 있다. 도 1을 참고하면, 근적외선 영상은 일반적인 가시광 영상에 비해 물체 표면의 무늬가 적게 관측되는데, 이런 특성은 광학적 컴퓨터 비전 기법에서 굉장한 이점이다. 또한 대부분의 실내 조명이 가시광 대역의 빛을 방사하기 때문에 근적외선 카메라를 사용하게 되면 실내 조명 변화에 무관한, 강인한 촬영이 가능하다. 이러한 근적외선 카메라의 장점에도 불구하고 지금까지 근적외선 영상으로부터 물체의 미세한 3차원 표면 기하구조를 찾고 반사도를 측정하는 방법이 연구되지 않은 상태이다.
본 발명이 해결하고자 하는 과제는 애널리틱 방법으로 근적외선 카메라를 이용하여 광학적으로 물체의 미세한 3차원 표면 기하 구조 및 반사도를 추정하는 방법 및 시스템을 제공하는 것이다.
한 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서, 광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들을 입력받고, 상기 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 초기 기하 구조를 추정하는 기하 구조 추정부, 그리고 상기 기하 구조 추정부로부터 추정된 상기 물체의 기하 구조로부터 상기 물체의 반사도 함수를 추정하고, 상기 물체의 반사도 함수를 상기 기하 구조 추정부로 입력하는 절차를 일정 횟수 반복하는 반사도 추정부를 포함하고, 상기 기하 구조 추정부는 상기 반사도 추정부로부터 입력받은 반사도 함수를 기초로 상기 물체의 기하 구조를 재추정하며, 상기 기하 구조 추정부와 상기 반사도 추정부 각각은 상기 일정 횟수 동안 추정한 결과를 서로 주고 받으면서 상기 물체의 최종 기하 구조와 최종 반사도를 출력한다.
상기 반사도 추정부는 상기 초기 기하 구조를 기초로 화소별로 관측된 화소별 반사도값을 계산하고, 상기 화소별 반사도값을 표면 법선 벡터의 각도에 따라 피팅하여 상기 물체의 초기 반사도 함수를 추정할 수 있다.
상기 반사도 추정부는 반-각 좌표계(half angle coordinates)에서 입사각과 반사각의 반-벡터(half vector)로 파라미터화된 각도를 이용하여 상기 화소별 반사도값을 피팅할 수 있다.
상기 기하 구조 추정부는 관측된 인텐시티와 기하 구조 및 추정된 반사도로 렌더링된 인텐시티의 차이에 관계된 에너지 데이터항과, 이웃 표면 법선 벡터들의 차이에 관계된 에너지 평활화항을 최소화하는 표면 법선 벡터를 구할 수 있다.
상기 시스템은 상기 반사도 추정부에서 추정한 상기 물체의 반사도 함수를 상기 물체를 구성하는 물질의 종류에 매핑하여 저장하는 데이터베이스부, 그리고 임의 물체를 촬영한 타겟 근적외선 영상을 입력받으면, 상기 임의 물체를 구성하는 물질의 반사도값을 상기 데이터베이스부에서 추출하고, 추출한 상기 임의 물체의 반사도값으로부터 표면 법선 벡터를 추정하여 상기 임의 물체의 기하 구조를 추정하는 3차원 모델 추정부를 더 포함할 수 있다.
상기 3차원 모델 추정부는 균일한 알베도를 가정하고 음영으로부터의 모양 추정(Shape from Shading) 방법을 사용하여 상기 임의 물체의 반사도로부터 표면 법선 벡터를 추정할 수 있다.
다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 시스템이 물체의 기하 구조 및 반사도를 추정하는 방법으로서, 광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 표면 법선 벡터 지도를 추정하는 단계, 상기 표면 법선 벡터 지도로부터 상기 물체의 초기 반사도 함수를 추정하는 단계, 그리고 음영으로부터의 모양 추정(Shape from Shading) 방법을 사용하여 상기 초기 반사도 함수로부터 상기 물체의 기하 구조를 업데이트하고, 업데이트한 기하 구조로부터 상기 물체의 반사도 함수를 업데이트하는 절차를 일정 횟수 반복하여 상기 물체의 최종 기하 구조와 최종 반사도를 획득하는 단계를 포함한다.
상기 초기 반사도 함수를 추정하는 단계는 화소별로 관측된 화소별 반사도값을 각 표면 법선 벡터의 각도에 따라 피팅하여 상기 물체의 초기 반사도 함수를 추정할 수 있다.
상기 초기 반사도 함수를 추정하는 단계는 반-각 좌표계(half angle coordinates)에서 입사각과 반사각의 반-벡터(half vector)로 파라미터화된 각도를 이용하여 상기 화소별 반사도값을 피팅할 수 있다.
상기 최종 기하 구조와 최종 반사도를 획득하는 단계는 광원 방향에 따라 상기 물체의 반사도 함수를 계산하고, 상기 물체의 반사도 함수를 상기 물체를 구성하는 물질의 종류에 매핑하여 데이터베이스에 저장할 수 있다.
상기 방법은 타겟 근적외선 영상을 입력받는 단계, 상기 타겟 근적외선 영상에 포함된 임의 물체를 구성하는 물질과 광원 방향을 확인하는 단계, 상기 데이터베이스에서 상기 임의 물체를 구성하는 물질과 광원 방향에 해당하는 반사도값을 추출하는 단계, 그리고 상기 임의 물체의 반사도값으로부터 표면 법선 벡터를 추정하여 상기 임의 물체의 기하 구조를 추정하는 단계를 더 포함할 수 있다.
또 다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서, 복수의 샘플 물체들을 촬영한 근적외선 영상들로부터 추정된 물체별 반사도 함수를 저장하는 데이터베이스부, 그리고 타겟 근적외선 영상을 입력받으면, 상기 타겟 근적외선 영상에 포함된 타겟 물체의 종류를 확인하고, 상기 데이터베이스부에서 상기 타겟 물체에 해당하는 반사도값을 참조하여 상기 타겟 물체의 표면 법선 벡터를 추정하며, 추정한 표면 법선 벡터로부터 상기 타겟 물체의 기하 구조를 획득하는 3차원 모델 추정부를 포함한다. 상기 물체별 반사도 함수는 각 샘플 물체의 초기 기하 구조부터 추정되고, 각 샘플 물체의 초기 기하 구조는 각 샘플 물체를 촬영한 근적외선 영상들로부터 추정된다.
상기 반사도 함수는 광원 방향과 시점(view angle)을 가변하여 각 샘플 물체를 촬영한 근적외선 영상들로부터 획득될 수 있다.
상기 물체별 반사도 함수는 추정된 현재의 반사도 함수로부터 기하 구조를 추정하는 제1 절차와 추정된 현재의 기하 구조로부터 반사도 함수를 추정하는 제2 절차를 일정 횟수 반복하여 획득될 수 있다.
본 발명의 실시예에 따르면 실내 조명 변화에 강인한 근적외선 영상을 이용하여 물체의 표면의 미세한 기하 구조 및 반사도를 정밀하게 추정할 수 있다. 본 발명의 실시예에 따르면 암실 환경이 아니더라도 간편하고 저렴하게 근적외선 영상을 촬영할 수 있어 활용성이 높다.
도 1은 가시광 영상과 근적외선 영상을 비교하는 도면이다.
도 2는 본 발명의 한 실시예에 따른 기하 구조 및 반사도 추정 시스템의 구성도이다.
도 3은 본 발명의 한 실시예에 따른 촬영 장치의 설치 환경의 예시이다.
도 4는 본 발명의 한 실시예에 따른 데이터베이스 구축용으로 촬영된 다양한 종류의 근적외선 영상의 예시이다.
도 5는 본 발명의 한 실시예에 따른 근적외선 영상으로부터 추출한 3차원 기하 구조 모델의 예시이다.
도 6은 본 발명의 한 실시예에 따른 반사도 추정에 사용되는 좌표계를 설명하는 도면이다.
도 7은 본 발명의 한 실시예에 따라 근적외선 영상으로부터 추정된 물체별 반사도 함수의 예시이다.
도 8은 본 발명의 한 실시예에 따른 반사도 데이터베이스 구축 방법의 흐름도이다.
도 9는 본 발명의 한 실시예에 따른 데이터베이스 기반 3차원 모델 추정 방법의 흐름도이다.
도 10은 본 발명의 한 실시예에 따른 데이터베이스 기반 3차원 모델 추정 결과의 예시이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 2는 본 발명의 한 실시예에 따른 기하 구조 및 반사도 추정 시스템의 구성도이고, 도 3은 본 발명의 한 실시예에 따른 촬영 장치의 설치 환경의 예시이고, 도 4는 본 발명의 한 실시예에 따른 데이터베이스 구축용으로 촬영된 다양한 종류의 근적외선 영상의 예시이며, 도 5는 본 발명의 한 실시예에 따른 근적외선 영상으로부터 추출한 3차원 기하 구조 모델의 예시이다.
도 2를 참고하면, 기하 구조 및 반사도 추정 시스템(간단히, 시스템이라고 한다)(10)은 근적외선 카메라로 샘플 물체들을 촬영하는 촬영부(100), 촬영부(100)에서 촬영된 근적외선 영상을 기초로 샘플 물체들의 기하 구조 및 반사도 추정하는 데이터베이스 구축부(200), 데이터베이스 구축부(200)에서 추정한 샘플 물체들의 반사도를 기초로 촬영된 타겟 물체의 3차원 모델을 추정하는 3차원 모델 추정부(300)를 포함한다. 구체적으로 데이터베이스 구축부(200)는 기하 구조 추정부(210), 반사도 추정부(230), 그리고 데이터베이스부(250)를 포함한다. 시스템(10)은 적어도 하나의 프로세서와 적어도 하나의 메모리를 포함하고, 프로세서와 메모리를 이용하여 본 발명에서 설명한 동작을 구현한 프로그램을 구동한다.
촬영부(100)는 물체를 촬영하는 근적외선 카메라(110), 그리고 물체 주변에 설치되는 복수의 적외선 LED 조명들(130)을 포함한다. 도 3의 (a)를 참고하면, 조명들은 예를 들면, 12가지의 서로 다른 광원 방향을 제공하도록 설치될 수 있다. 크롬 볼에 반사된 조명들의 위치를 확인해보면 도 3의 (b)와 같다. 도 3의 (c)를 참고하면, 물체는 서로 다른 각도로 기울어져 촬영되는데, 예를 들면, 한 광원 방향에서 9가지의 서로 다른 각도(시점)로 촬영될 수 있다. 이 경우, 촬영부(100)는 샘플 물체별로 총 108장(=12가지의 광원 변화*9가지의 시점 변화)의 근적외선 영상을 촬영할 수 있다. 근적외선 영상은 가시광 영상에 비하여 훨씬 적은 표면 무늬(texture)를 보인다(도 1 참고). 영상의 해상도는 가로 1600, 세로 1200 화소를 갖는다고 가정한다.
도 4를 참고하면, 촬영부(100)에서 촬영된 샘플 물체의 종류는 면, 폴리에스테르, 가죽, 사틴 등의 다양한 섬유 소재, 나뭇잎이나 나무 밑둥 등의 유기 소재, 플라스틱, 돌, 콘크리트 등의 무기 소재 등 다양할 수 있다.
데이터베이스 구축부(200)는 촬영부(100)에서 촬영된 샘플 물체별 근적외선 영상들을 기초로 각 샘플 물체의 기하 구조 및 반사도 추정한다.
도 5를 참고하면, 데이터베이스 구축부(200)는 광학 스테레오(photometric stereo)를 이용하여 획득한 화소별 표면 법선 벡터(surface normal vector)를 기초로 미세한 3차원 기하 구조를 추정한다. 광학 스테레오는 물체에 조명들을 조사하여 취득한 정보를 이용하여 물체의 3차원 형상을 디지털화하는 기법으로, 조명 상태를 가변하면서 한 대의 카메라로 물체의 표면 법선 정보를 획득할 수 있다. 본 발명에서 사용하는 샘플 물체들은 전반사(specular)가 심하지 않으므로 광학 스테레오 방법을 적용하여 표면 법선 정보를 획득할 수 있다.
데이터베이스 구축부(200)는 초기값으로 찾은 기하 구조를 이용하여 물체 표면의 반사도를 추정한다. 반사도 추정부(230)는 기하 구조 추정과 반사도 추정을 반복적으로 수행하여 기하 구조 및 반사도의 정확도를 높일 수 있다. 여기서, 반사도는 양방향 반사분포함수(Bidirectional reflectance distribution function, BRDF)이다.
데이터베이스 구축부(200)는 샘플 물체들의 반사도를 데이터베이스에 저장한다.
3차원 모델 추정부(300)는 데이터베이스 구축부(200)에서 추정한 샘플 물체들의 반사도를 기초로 타겟 물체를 촬영한 영상의 3차원 모델을 추정한다. 3차원 모델 추정부(300)는 광원의 방향 벡터와 타겟 물체를 구성하는 물질을 알고 있다면, 데이터베이스 구축부(200)에서 구축한 다양한 물질들의 반사도에서 타겟 물체의 반사 특성을 추출할 수 있다. 그리고, 3차원 모델 추정부(300)는 음영으로부터의 모양 추정(Shape from Shading) 방법을 이용하여 타겟 물체의 반사 특성을 기초로 모양을 추정한다.
다음에서 데이터베이스 구축부(200)와 3차원 모델 추정부(300)의 구체적인 동작 방법에 대해 설명한다.
도 6은 본 발명의 한 실시예에 따른 반사도 추정에 사용되는 좌표계를 설명하는 도면이고, 도 7은 본 발명의 한 실시예에 따라 근적외선 영상으로부터 추정된 물체별 반사도 함수의 예시이다.
도 2를 참고하면, 데이터베이스 구축부(200)는 기하 구조 추정부(210), 반사도 추정부(230), 그리고 데이터베이스부(250)를 포함한다.
기하 구조 추정부(210)는 광학 스테레오를 이용하여 화소별 표면 법선 벡터를 구한다. 이때, 기하 구조 추정부(210)는 반사도 추정에 필요한 초기 기하 구조를 추정하기 위해 물체 표면이 램버시안 반사율(Lambertian reflectance)을 가진다고 가정하고 광학 스테레오 방법을 적용하여, 화소별 표면 법선 벡터를 구한다.
먼저, 화소 밝기(intensity, I)는 수학식 1과 같이 반사도(BRDF)
Figure 112016120924739-pat00001
, 표면 법선 벡터 N x, 광원의 세기 L의 관계로 모델링된다. 반사도
Figure 112016120924739-pat00002
는 특정 물질
Figure 112016120924739-pat00003
에 대한 입사각(incident angle)
Figure 112016120924739-pat00004
와 반사각(outgoing angle)
Figure 112016120924739-pat00005
의 함수이다.
Figure 112016120924739-pat00006
Figure 112016120924739-pat00007
가 1이라고 램버시안 가정하면, 수학식 1은 수학식 2와 같이 정리된다. 수학식 2에서,
Figure 112016120924739-pat00008
는 알베도(albedo)이고, N은 표면 법선 벡터 N x의 집합(
Figure 112016120924739-pat00009
)이며, S는 입사각
Figure 112016120924739-pat00010
의 집합이다.
Figure 112016120924739-pat00011
기하 구조 추정부(210)는 수학식 2를 N에 대하여 풀어서 화소별 표면 법선 벡터를 구한다. 기하 구조 추정부(210)는 화소별 표면 법선 벡터를 기초로 표면 법선 벡터 지도(normal map)를 구하고, 표면 법선 벡터 지도로부터 물체의 3차원 기하 구조를 추정한다. 기하 구조 추정부(210)는 도 5와 같이, 샘플 물체들의 3차원 기하 구조 모델을 획득할 수 있다.
반사도 추정부(230)는 기하 구조 추정부(210)에서 초기값으로 찾은 기하 구조를 이용하여 물체 표면의 반사도를 추정한다.
먼저, 반사도 추정부(230)는 표면 법선 벡터의 각도들에 따라 표면 반사도를 피팅한다. 이때, 반사도 추정부(230)는 관측된 화소값을 반-각 좌표계(half angle coordinates)를 이용하여 파라미터화된 각도에 매핑한다. 즉, 반사도 추정부(230)는 반사도 함수를 위해, 도 6의 (a)와 같은 입사각
Figure 112016120924739-pat00012
와 반사각
Figure 112016120924739-pat00013
에 대한 표준 좌표계 대신, (b)와 같은 반-각 좌표계를 사용한다. 표준 좌표계에서의 입사각
Figure 112016120924739-pat00014
와 반사각
Figure 112016120924739-pat00015
에 대한 반사도는 수학식 3과 같이, 반-각 좌표계에서의 파라미터들(
Figure 112016120924739-pat00016
,
Figure 112016120924739-pat00017
)에 대한 함수[
Figure 112016120924739-pat00018
]로 변환된다. 반-각 좌표계에서 h(half angle)는 입사각
Figure 112016120924739-pat00019
와 반사각
Figure 112016120924739-pat00020
의 반-벡터(half vector)이다.
Figure 112016120924739-pat00021
Figure 112016120924739-pat00022
,
Figure 112016120924739-pat00023
반사도 추정부(230)는 알베도 로 원본 근적외선 영상(I)을 정규화(normalize)하고, 수학식 4와 같이 모든 화소 i에 대한 반사도값
Figure 112016120924739-pat00025
를 계산한다.
Figure 112016120924739-pat00026
반사도 추정부(230)는 수학식 3에서 설명한 반-각 좌표계를 기초로 화소별 반사도값을 간단한 저차원 파라메터 모델로 변환한다. 반사도 추정부(230)는
Figure 112016120924739-pat00027
의 각 절편(slice)에 대해 반사도
Figure 112016120924739-pat00028
를 구한다. 카메라가 고정되고, 물체가 9가지의 시점으로 회전하는 경우, 108x1200x1600 개의
Figure 112016120924739-pat00029
와 9개의
Figure 112016120924739-pat00030
를 얻을 수 있다.
Figure 112016120924739-pat00031
는 수학식 5와 같이 계산될 수 있다. 수학식 5에서, 최적의
Figure 112016120924739-pat00032
,
Figure 112016120924739-pat00033
,
Figure 112016120924739-pat00034
는 RANSAC 알고리즘으로 찾을 수 있다.
Figure 112016120924739-pat00035
반사도 추정부(230)와 기하 구조 추정부(210) 각각은 추정된 결과를 서로 주고 받으면서 반사도와 기하 구조를 업데이트한다. 반사도 추정부(230)는 초기값으로 찾은 기하 구조로부터 초기 반사도를 추정하고, 기하 구조 추정부(210)는 추정한 반사도로부터 최적의 법선 벡터를 구하고, 반사도 추정부(230)는 업데이트된 법선 벡터로부터 반사도를 추정하는 단계를 반복하여 최종 기하 구조 및 최종 반사도의 획득한다.
기하 구조 추정부(210)는 수학식 6과 같은 비용 함수를 기초로 에너지를 최소화하는 표면 법선 벡터 N *을 찾는다. 수학식 6에서 데이터항 Ep와 평활화항 Es는 수학식 7과 같다. 데이터항 Ep은 관측된 화소 인텐시티(Ii)와 수학식 1을 기초로 기하 구조 및 추정된 반사도로 렌더링된 인텐시티의 차이를 최소화하도록 모델링된다. 평활화항 Es는 이웃 법선 벡터 사이의 차이를 최소화하도록 모델링된다.
Figure 112016120924739-pat00036
Figure 112016120924739-pat00037
Figure 112016120924739-pat00038
수학식 7에서, 반사도
Figure 112016120924739-pat00039
는 수학식 5와 같이 정의되고, Mi는 화소i의 이웃 화소들이다.
기하 구조 추정부(210)는 수학식 8과 같이, 현재 상태의 비용 함수를 최소화하는 법선 벡터 N *를 기초로 이전 법선 벡터(N t - 1)로부터 업데이트된 법선 벡터(N t)를 추정할 수 있다. 반사도 추정부(230)는 업데이트된 법선 벡터(N t)의 각도에 따라 반사도를 피팅한다.
Figure 112016120924739-pat00040
데이터베이스부(250)는 샘플 물체들의 반사도 함수를 저장한다.반사도 함수는 광원 방향별로 추정되고 저장된다.
도 7을 참고하면, (a)는 샘플 물체들을 촬영한 근적외선 영상이고, (b)는 기하 구조 추정부(210)가 근적외선 영상으로부터 계산한 표면 법선 벡터 지도이다. (c)는 표면 법선 벡터 지도로부터 추정한 3차원 기하 구조이다. (d)는 알베도이다. (e)는
Figure 112016120924739-pat00041
= 34도인 절편에서 각도(
Figure 112016120924739-pat00042
)(x축)에 따라 피팅된 반사도[
Figure 112016120924739-pat00043
] (y축)이다. (e)에서 추정된 값이 붉은색 커브이고, 관찰된 값이 파란색 포인트들로 표시되어 있다.
도 8은 본 발명의 한 실시예에 따른 반사도 데이터베이스 구축 방법의 흐름도이다.
도 8을 참고하면, 데이터베이스 구축부(200)는 샘플 물체를 촬영한 근적외선 영상들을 입력받는다(S110). 데이터베이스 구축부(200)는 샘플 물체별로 서로 다른 광원 방향과 서로 다른 각도(시점)에서 촬영된 근적외선 영상 셋트를 입력받는다.
데이터베이스 구축부(200)는 광학 스테레오를 이용하여 근적외선 영상들로부터 각 샘플 물체에 대한 표면 법선 벡터 지도(기하 구조)를 추정한다(S120).
데이터베이스 구축부(200)는 반-각 좌표계에서 표면 법선 벡터의 각도들에 따라 반사도를 피팅하여 초기 반사도 함수(initial BRDF)를 획득한다(S130). 데이터베이스 구축부(200)는 도 6의 반-각 좌표계의 특정
Figure 112016120924739-pat00044
에서
Figure 112016120924739-pat00045
의 변화에 따른 반사도
Figure 112016120924739-pat00046
를 구한다. 반사도 함수
Figure 112016120924739-pat00047
는 도 7의 (e)와 같이 커브 형태로 추정된다.
데이터베이스 구축부(200)는 초기 반사도 함수를 기초로 기하 구조 추정과 반사도 추정을 반복적으로 수행하여 각 샘플 물체에 대한 최종 기하 구조 및 최종 반사도 함수를 획득한다(S140). 데이터베이스 구축부(200)는 반사도 함수로부터 광학 스테레오 기반의 음영으로부터의 모양 추정 방법을 이용하여 기하 구조를 추정하고, 추정한 기하 구조로부터 표면 법선 벡터의 각도에 따라 반사도를 피팅하여 반사도 함수를 업데이트하는 절차를 일정 횟수 반복한다.
도 9는 본 발명의 한 실시예에 따른 데이터베이스 기반 3차원 모델 추정 방법의 흐름도이고, 도 10은 본 발명의 한 실시예에 따른 데이터베이스 기반 3차원 모델 추정 결과의 예시이다.
도 9를 참고하면, 3차원 모델 추정부(300)는 근적외선 영상을 입력받는다(S210).
3차원 모델 추정부(300)는 근적외선 영상에 포함된 타겟 물체를 구성하는 물질과 광원 방향을 확인한다(S220).
3차원 모델 추정부(300)는 데이터베이스 구축부(200)에서 구축된 다양한 물질들의 반사도 함수에서, 타겟 물체를 구성하는 물질과 광원 방향에 해당하는 반사도값을 가져온다(S230). 3차원 모델 추정부(300)는 타겟 물체를 구성하는 물질들이 다양한 경우, 각 부분에 해당하는 반사도 값을 가져온다.
3차원 모델 추정부(300)는 반사도 값을 기초로 에너지를 최소화하는 표면 법선 벡터를 찾는다(S240). 3차원 모델 추정부(300)는 수학식 6과 수학식 7을 이용하여 에너지를 최소화하는 표면 법선 벡터 N *을 찾을 수 있다.
3차원 모델 추정부(300)는 표면 법선 벡터를 기초로 타겟 물체의 3차원 모델을 생성한다(S250).
이와 같이, 3차원 모델 추정부(300)는 구축된 100가지 물체에 대한 반사도 데이터베이스를 이용해, 임의의 물체를 촬영하였을 때 3차원 모델을 추정하는 음영으로부터의 모양 추정(Shape from Shading) 방법에 적용할 수 있다. 근적외선 영상은 가시광 영상과 달리 고른 질감(uniform texture)으로 표현되므로, 주름과 같은 기하학적 에지(geometric edges)를 가진다. 따라서, 근적외선 영상에서 균일한 알베도를 가정하여 음영으로부터의 모양 추정 방법을 적용할 수 있다.
도 10을 참고하면, 근적외선 카메라에 의해 촬영된 타겟 물체는 다양한 물질로 구성될 수 있는데, 예를 들면, 면과 폴리에스테르 혼방의 스웨터, 데님 바지, 100% 면의 체크 셔츠, 100% 가죽의 자켓, 폴리에스테르, 면, 레이온 혼방의 후디가 촬영될 수 있다.
도 10에서 첫 번째 열은 가시광 영상이고, 두 번째 열은 근적외선 영상이다. 세 번째 열은 근적외선 영상으로부터 획득한 법선 벡터 지도이고, 네 번째 열은 데이터베이스 구축부(200)에서 구축한 다양한 물질들의 반사도 함수를 기초로 추정된 3차원 모델이다.
이와 같이, 본 발명의 실시예에 따르면 실내 조명 변화에 강인한 근적외선 영상을 이용하여 물체의 표면의 미세한 기하 구조 및 반사도를 정밀하게 추정할 수 있다. 본 발명의 실시예에 따르면 암실 환경이 아니더라도 간편하고 저렴하게 근적외선 영상을 촬영할 수 있어 활용성이 높다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서,
    광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들을 입력받고, 상기 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 초기 기하 구조를 추정하는 기하 구조 추정부, 그리고
    상기 기하 구조 추정부로부터 추정된 상기 물체의 기하 구조로부터 상기 물체의 반사도 함수를 추정하고, 상기 물체의 반사도 함수를 상기 기하 구조 추정부로 입력하는 절차를 일정 횟수 반복하는 반사도 추정부를 포함하고,
    상기 기하 구조 추정부는 상기 반사도 추정부로부터 입력받은 반사도 함수를 기초로 상기 물체의 기하 구조를 재추정하며,
    상기 기하 구조 추정부와 상기 반사도 추정부 각각은 상기 일정 횟수 동안 추정한 결과를 서로 주고 받으면서 상기 물체의 최종 기하 구조와 최종 반사도를 출력하고,
    상기 반사도 추정부는
    상기 초기 기하 구조를 기초로 화소별로 관측된 화소별 반사도값을 계산하고, 상기 화소별 반사도값을 표면 법선 벡터의 각도에 따라 피팅하여 상기 물체의 초기 반사도 함수를 추정하는, 시스템.
  2. 삭제
  3. 제1항에서,
    상기 반사도 추정부는
    반-각 좌표계(half angle coordinates)에서 입사각과 반사각의 반-벡터(half vector)로 파라미터화된 각도를 이용하여 상기 화소별 반사도값을 피팅하는, 시스템.
  4. 적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서,
    광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들을 입력받고, 상기 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 초기 기하 구조를 추정하는 기하 구조 추정부, 그리고
    상기 기하 구조 추정부로부터 추정된 상기 물체의 기하 구조로부터 상기 물체의 반사도 함수를 추정하고, 상기 물체의 반사도 함수를 상기 기하 구조 추정부로 입력하는 절차를 일정 횟수 반복하는 반사도 추정부를 포함하고,
    상기 기하 구조 추정부는 상기 반사도 추정부로부터 입력받은 반사도 함수를 기초로 상기 물체의 기하 구조를 재추정하며,
    상기 기하 구조 추정부와 상기 반사도 추정부 각각은 상기 일정 횟수 동안 추정한 결과를 서로 주고 받으면서 상기 물체의 최종 기하 구조와 최종 반사도를 출력하고,
    상기 기하 구조 추정부는
    관측된 인텐시티와 기하 구조 및 추정된 반사도로 렌더링된 인텐시티의 차이에 관계된 에너지 데이터항과, 이웃 표면 법선 벡터들의 차이에 관계된 에너지 평활화항을 최소화하는 표면 법선 벡터를 구하는, 시스템.
  5. 적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서,
    광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들을 입력받고, 상기 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 초기 기하 구조를 추정하는 기하 구조 추정부,
    상기 기하 구조 추정부로부터 추정된 상기 물체의 기하 구조로부터 상기 물체의 반사도 함수를 추정하고, 상기 물체의 반사도 함수를 상기 기하 구조 추정부로 입력하는 절차를 일정 횟수 반복하는 반사도 추정부,
    상기 반사도 추정부에서 추정한 상기 물체의 반사도 함수를 상기 물체를 구성하는 물질의 종류에 매핑하여 저장하는 데이터베이스부, 그리고
    임의 물체를 촬영한 타겟 근적외선 영상을 입력받으면, 상기 임의 물체를 구성하는 물질의 반사도값을 상기 데이터베이스부에서 추출하고, 추출한 상기 임의 물체의 반사도값으로부터 표면 법선 벡터를 추정하여 상기 임의 물체의 기하 구조를 추정하는 3차원 모델 추정부를 포함하고,
    상기 기하 구조 추정부는 상기 반사도 추정부로부터 입력받은 반사도 함수를 기초로 상기 물체의 기하 구조를 재추정하며,
    상기 기하 구조 추정부와 상기 반사도 추정부 각각은 상기 일정 횟수 동안 추정한 결과를 서로 주고 받으면서 상기 물체의 최종 기하 구조와 최종 반사도를 출력하는, 시스템.
  6. 제5항에서,
    상기 3차원 모델 추정부는
    균일한 알베도를 가정하고 음영으로부터의 모양 추정(Shape from Shading) 방법을 사용하여 상기 임의 물체의 반사도로부터 표면 법선 벡터를 추정하는, 시스템.
  7. 적어도 하나의 프로세서에 의해 동작하는 시스템이 물체의 기하 구조 및 반사도를 추정하는 방법으로서,
    광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 표면 법선 벡터 지도를 추정하는 단계,
    상기 표면 법선 벡터 지도로부터 상기 물체의 초기 반사도 함수를 추정하는 단계, 그리고
    음영으로부터의 모양 추정(Shape from Shading) 방법을 사용하여 상기 초기 반사도 함수로부터 상기 물체의 기하 구조를 업데이트하고, 업데이트한 기하 구조로부터 상기 물체의 반사도 함수를 업데이트하는 절차를 일정 횟수 반복하여 상기 물체의 최종 기하 구조와 최종 반사도를 획득하는 단계를 포함하며,
    상기 초기 반사도 함수를 추정하는 단계는
    화소별로 관측된 화소별 반사도값을 각 표면 법선 벡터의 각도에 따라 피팅하여 상기 물체의 초기 반사도 함수를 추정하는 방법.
  8. 삭제
  9. 제7항에서,
    상기 초기 반사도 함수를 추정하는 단계는
    반-각 좌표계(half angle coordinates)에서 입사각과 반사각의 반-벡터(half vector)로 파라미터화된 각도를 이용하여 상기 화소별 반사도값을 피팅하는 방법.
  10. 적어도 하나의 프로세서에 의해 동작하는 시스템이 물체의 기하 구조 및 반사도를 추정하는 방법으로서,
    광원 방향과 시점을 가변하여 물체를 촬영한 근적외선 영상들에 광학 스테레오를 적용하여 상기 물체의 표면 법선 벡터 지도를 추정하는 단계,
    상기 표면 법선 벡터 지도로부터 상기 물체의 초기 반사도 함수를 추정하는 단계, 그리고
    음영으로부터의 모양 추정(Shape from Shading) 방법을 사용하여 상기 초기 반사도 함수로부터 상기 물체의 기하 구조를 업데이트하고, 업데이트한 기하 구조로부터 상기 물체의 반사도 함수를 업데이트하는 절차를 일정 횟수 반복하여 상기 물체의 최종 기하 구조와 최종 반사도를 획득하는 단계를 포함하고,
    상기 최종 기하 구조와 최종 반사도를 획득하는 단계는
    광원 방향에 따라 상기 물체의 반사도 함수를 계산하고, 상기 물체의 반사도 함수를 상기 물체를 구성하는 물질의 종류에 매핑하여 데이터베이스에 저장하는 방법.
  11. 제10항에서,
    타겟 근적외선 영상을 입력받는 단계,
    상기 타겟 근적외선 영상에 포함된 임의 물체를 구성하는 물질과 광원 방향을 확인하는 단계,
    상기 데이터베이스에서 상기 임의 물체를 구성하는 물질과 광원 방향에 해당하는 반사도값을 추출하는 단계, 그리고
    상기 임의 물체의 반사도값으로부터 표면 법선 벡터를 추정하여 상기 임의 물체의 기하 구조를 추정하는 단계
    를 더 포함하는 방법.
  12. 적어도 하나의 프로세서에 의해 동작하는 기하 구조 및 반사도 추정 시스템으로서,
    복수의 샘플 물체들을 촬영한 근적외선 영상들로부터 추정된 물체별 반사도 함수를 저장하는 데이터베이스부, 그리고
    타겟 근적외선 영상을 입력받으면, 상기 타겟 근적외선 영상에 포함된 타겟 물체의 종류를 확인하고, 상기 데이터베이스부에서 상기 타겟 물체에 해당하는 반사도값을 참조하여 상기 타겟 물체의 표면 법선 벡터를 추정하며, 추정한 표면 법선 벡터로부터 상기 타겟 물체의 기하 구조를 획득하는 3차원 모델 추정부
    를 포함하고,
    상기 물체별 반사도 함수는 각 샘플 물체의 초기 기하 구조부터 추정되고,
    각 샘플 물체의 초기 기하 구조는 각 샘플 물체를 촬영한 근적외선 영상들로부터 추정되는, 시스템.
  13. 제12항에서,
    상기 반사도 함수는
    광원 방향과 시점(view angle)을 가변하여 각 샘플 물체를 촬영한 근적외선 영상들로부터 획득되는 시스템.
  14. 제12항에서,
    상기 물체별 반사도 함수는
    추정된 현재의 반사도 함수로부터 기하 구조를 추정하는 제1 절차와 추정된 현재의 기하 구조로부터 반사도 함수를 추정하는 제2 절차를 일정 횟수 반복하여 획득되는, 시스템.
KR1020160167526A 2016-12-09 2016-12-09 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템 Expired - Fee Related KR101865886B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167526A KR101865886B1 (ko) 2016-12-09 2016-12-09 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167526A KR101865886B1 (ko) 2016-12-09 2016-12-09 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템

Publications (1)

Publication Number Publication Date
KR101865886B1 true KR101865886B1 (ko) 2018-06-08

Family

ID=62599831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167526A Expired - Fee Related KR101865886B1 (ko) 2016-12-09 2016-12-09 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템

Country Status (1)

Country Link
KR (1) KR101865886B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20200040194A (ko) * 2018-10-08 2020-04-17 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
CN117132634A (zh) * 2023-10-26 2023-11-28 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质
US12361639B2 (en) 2020-10-12 2025-07-15 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034274A (ko) * 2001-09-14 2003-05-09 박보건 혼성 반사 모델에서의 포토 메트릭 스테레오 방법
KR20130002760A (ko) * 2011-06-29 2013-01-08 국립대학법인 울산과학기술대학교 산학협력단 중간시점 영상 생성기를 갖는 표면 거칠기 측정 장치 및 방법
JP2015232483A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2015232476A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置、検査方法およびプログラム
KR20160098814A (ko) * 2015-02-11 2016-08-19 한국과학기술원 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034274A (ko) * 2001-09-14 2003-05-09 박보건 혼성 반사 모델에서의 포토 메트릭 스테레오 방법
KR20130002760A (ko) * 2011-06-29 2013-01-08 국립대학법인 울산과학기술대학교 산학협력단 중간시점 영상 생성기를 갖는 표면 거칠기 측정 장치 및 방법
JP2015232483A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2015232476A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 検査装置、検査方法およびプログラム
KR20160098814A (ko) * 2015-02-11 2016-08-19 한국과학기술원 깊이 센서와 적외선 음영 영상을 이용한 고품질 3차원 정보 획득 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020076026A1 (ko) * 2018-10-08 2020-04-16 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR20200040194A (ko) * 2018-10-08 2020-04-17 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
KR102287472B1 (ko) 2018-10-08 2021-08-09 한국과학기술원 인공조명 사진을 이용한 3차원 객체 획득 방법 및 그 장치
US12361639B2 (en) 2020-10-12 2025-07-15 Samsung Electronics Co., Ltd. Electronic device and control method thereof
CN117132634A (zh) * 2023-10-26 2023-11-28 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质
CN117132634B (zh) * 2023-10-26 2024-01-23 深圳市华汉伟业科技有限公司 一种物体形貌的估计方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11869139B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US11182961B2 (en) Method and system for representing a virtual object in a view of a real environment
JP7542070B2 (ja) 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
Herbort et al. An introduction to image-based 3D surface reconstruction and a survey of photometric stereo methods
Johnson et al. Shape estimation in natural illumination
Oxholm et al. Multiview shape and reflectance from natural illumination
Quéau et al. A non-convex variational approach to photometric stereo under inaccurate lighting
EP3051793B1 (en) Imaging apparatus, systems and methods
Brostow et al. Video normals from colored lights
Logothetis et al. Semi-calibrated near field photometric stereo
US12067080B2 (en) Method and system for generating training data
KR101865886B1 (ko) 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템
Lombardi et al. Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images
EP3629303B1 (en) Method and system for representing a virtual object in a view of a real environment
Choe et al. Refining geometry from depth sensors using IR shading images
Logothetis et al. A cnn based approach for the near-field photometric stereo problem
Logothetis et al. Near-field photometric stereo in ambient light
Angelopoulou et al. Evaluating the effect of diffuse light on photometric stereo reconstruction
Ramakrishnan et al. Shadow compensation for outdoor perception
JP5441752B2 (ja) 環境内の３ｄ物体の３ｄ姿勢を推定する方法及び装置
CN114270403A (zh) 用于检索多光谱brdf参数的计算机实施的方法和系统
Richter et al. A discriminative approach to perspective shape from shading in uncalibrated illumination
JP7463697B2 (ja) 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
Fujimura 3D Reconstruction in Scattering Media
Lenoch Image-based 3D reconstruction of surfaces with highly complex reflectance properties

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161209

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171013

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180314

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180601

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180601

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210601

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220620

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20250312