KR102516823B1 - 3차원 스캔 시스템, 및 그 동작 방법 - Google Patents
3차원 스캔 시스템, 및 그 동작 방법 Download PDFInfo
- Publication number
- KR102516823B1 KR102516823B1 KR1020210010848A KR20210010848A KR102516823B1 KR 102516823 B1 KR102516823 B1 KR 102516823B1 KR 1020210010848 A KR1020210010848 A KR 1020210010848A KR 20210010848 A KR20210010848 A KR 20210010848A KR 102516823 B1 KR102516823 B1 KR 102516823B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- light source
- light
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000001186 cumulative effect Effects 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000011017 operating method Methods 0.000 abstract description 9
- 238000003860 storage Methods 0.000 description 27
- 238000003062 neural network model Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 210000000214 mouth Anatomy 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000000740 bleeding effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 239000007943 implant Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004195 gingiva Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000011505 plaster Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910052602 gypsum Inorganic materials 0.000 description 1
- 239000010440 gypsum Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00172—Optical arrangements with means for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0615—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for radial illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
- A61B1/247—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
3차원 스캔 시스템 및 그 동작 방법을 제공한다. 본 개시의 일 실시예는, 광이 조사된 대상체를 촬영함으로써 획득한 적어도 하나의 이미지로부터 대상체의 특성 정보를 분석하고, 분석된 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 자동으로 변경하는 방법 및 3차원 스캔 시스템을 제공한다.
Description
본 개시는 3차원 스캔 시스템 및 그 동작 방법에 관한 것으로서, 보다 구체적으로는 대상체에 조사되는 광원의 컬러를 자동으로 변경하는 방법 및 장치에 관한 것이다.
치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용 CAD/CAM(Dental Computer Aided Design/Computer Aided Manufacturing) 기술이 널리 사용되고 있다. CAD/CAM을 이용한 치과 치료에서 가장 중요한 것은 환자의 치아, 잇몸, 턱뼈 등의 대상체의 형상에 대하여 정교한 3차원 이미지를 획득하는 것이다. 치과 치료를 수행함에 있어서, 대상체로부터 획득된 3차원 이미지를 이용하면, 컴퓨터에 의하여 정확한 계산이 수행될 수 있다는 장점이 있다.
치과 CAD/CAM 분야에서는 광학식 3차원 스캐너가 많이 사용되고 있다. 일 예시로, 광학식 3차원 스캐너는 대상체에 광을 조사하고, 적어도 하나 이상의 카메라를 이용하여 대상체로부터 반사되는 광을 촬영하여 복수의 2차원 이미지 들을 획득하고, 복수의 2차원 이미지를 이미지 처리함으로써, 대상체의 3차원 표면 형상 정보를 획득할 수 있다.
한편, 빛의 파장이 짧을수록 대상체에 투과율이 높지 않고, 표면 반사율이 높기 때문에, 대상체의 표면 윤곽을 스캐닝하는 광학식 스캐너에서는 주로 파란 색의 B 광원(Blue)을 주로 사용한다. 특히, 치아와 같이 반투명한 대상체를 스캔하는 경우, B 광원이 R 광원(Red) 또는 G 광원(Green) 보다는 표면 반사율이 높은 특징이 있다. 그러나, R, G, 및 B 광원 중 어느 하나의 광원만을 사용하여 대상체를 스캔하는 경우, 대상체의 컬러, 타입, 또는 재질 등 특성에 따라 특정 컬러의 광원을 반사하지 못하여 이미지를 획득하지 못하는 문제점이 있다. 예를 들어, B 광원을 조사하여 치아를 스캔하는 경우, 치아에 출혈(bleeding)이 있는 경우 출혈 부분은 빨간 색 부분이어서 B 광원을 반사하지 못하고, 따라서 출혈 부분에 관한 이미지를 획득하지 못하는 문제가 발생될 수 있다. 대상체의 특성에 따른 광원을 사용하지 않는 경우, 이미지의 누락, 미획득 등으로 인하여 스캔된 이미지의 품질이 저하될 수 있다.
본 개시는 대상체를 스캔하여 3차원 이미지를 획득하는데 있어서, 대상체에 관한 적어도 하나의 이미지로부터 획득한 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 자동으로 변경하는 방법 및 3차원 스캔 시스템을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 대상체에 광을 조사하는 광 조사부, 상기 대상체에 관한 적어도 하나의 이미지를 획득하는 촬영부, 상기 적어도 하나의 이미지로부터 대상체에 관한 특성 정보를 분석하는 데이터 분석부, 및 상기 분석된 특성 정보에 기초하여 광원의 컬러를 변경하도록 광 조사부를 제어하는 제어부를 포함하는 3차원 스캔 시스템을 제공한다.
또한 본 개시의 일 실시 예에서, 상기 특성 정보는 상기 대상체의 컬러, 및 형상 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 광 조사부는 R, G 및 B 광원, 또는 백색 광원을 이용하여 상기 대상체에 R, G 및 B 광, 또는 백색 광을 조사하고, 상기 촬영부는 상기 대상체로부터 반사되는 광을 촬영함으로써 이미지를 획득하고, 상기 제어부는 상기 이미지를 분석함으로써 상기 대상체의 컬러에 관한 정보를 획득할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 제어부는 상기 적어도 하나의 이미지로부터 컬러 히스토그램을 획득하고, 상기 컬러 히스토그램을 분석하여 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 관한 정보를 획득하며, 상기 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 대응되는 광원으로 변경하도록 상기 광 조사부를 제어할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 촬영부는 상기 대상체를 촬영함으로써, 복수의 2차원(2D) 이미지 프레임을 획득하고, 상기 제어부는 상기 복수의 2D 이미지 프레임을 획득한 이후 상기 R, G, 및 B 광을 조사하도록 상기 광 조사부를 제어하고, 상기 촬영부를 통해 상기 R, G, 및 B 각각에 대응되는 상기 복수의 이미지를 획득할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 촬영부는 상기 대상체를 촬영함으로써 복수의 이미지 프레임을 획득하고, 상기 제어부는 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 분석함으로써, 상기 대상체의 형상을 검출하고, 상기 검출된 대상체의 형상에 기초하여, 상기 광원의 컬러를 변경하도록 상기 광 조사부를 제어할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 광원의 컬러는 상기 대상체의 형상에 따라 미리 결정되어 있을 수 있다.
또한 본 개시의 일 실시 예에서, 상기 제어부는 상기 복수의 이미지 프레임 내에 설정된 관심 영역(Region of Interest)에 포함되는 대상체 중 최대 면적 비율을 갖는 대상체의 형상을 인식할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 광원을 이용하여 대상체에 광을 조사하고, 상기 대상체에 관한 적어도 하나의 이미지를 획득하는 단계, 획득된 상기 적어도 하나의 이미지로부터 상기 대상체에 관한 특성 정보를 분석하는 단계, 및 상기 분석된 특성 정보에 기초하여, 상기 대상체에 조사되는 광원의 컬러를 변경하는 단계를 포함하는 3차원 스캔 시스템의 동작 방법을 제공한다.
또한 본 개시의 일 실시 예에서, 상기 특성 정보는 상기 대상체의 컬러, 및 형상 중 적어도 하나에 관한 정보를 포함할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 적어도 하나의 이미지를 획득하는 단계는, R, G 및 B 광원 또는 백색 광원을 이용하여 상기 대상체에 R, G 및 B 광 또는 백색 광을 조사함으로써, 이미지를 획득하고, 상기 특성 정보를 분석하는 단계는, 상기 이미지를 분석함으로써 상기 대상체의 컬러에 관한 정보를 획득할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 특성 정보를 분석하는 단계는 상기 이미지로부터 컬러 히스토그램을 획득하는 단계, 및 상기 컬러 히스토그램을 분석하여 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 관한 정보를 획득하는 단계를 포함하고, 상기 광원의 컬러를 변경하는 단계는 상기 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 대응되는 광원으로 변경할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 방법은 대상체를 촬영함으로써, 복수의 2D 이미지 프레임을 획득하는 단계를 더 포함하고, 상기 R, G 및 B 각각에 대응되는 복수의 이미지를 획득하는 단계는 상기 복수의 2D 이미지 프레임이 획득된 이후 수행될 수 있다.
또한 본 개시의 일 실시 예에서, 상기 방법은 상기 대상체를 촬영함으로써 복수의 이미지 프레임을 획득하는 단계, 및 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 분석함으로써, 상기 대상체의 형상을 검출하는 단계를 더 포함하고, 상기 광원의 컬러를 변경하는 단계는 상기 검출된 대상체의 형상에 기초하여, 상기 광원의 컬러를 변경할 수 있다.
또한 본 개시의 일 실시 예에서, 상기 광원의 컬러는 상기 대상체의 형상에 따라 미리 결정되어 있을 수 있다.
또한 본 개시의 일 실시 예에서, 상기 대상체의 형상을 검출하는 단계는 상기 적어도 하나의 이미지 프레임 내에 설정된 관심 영역(Region of Interest)에 포함되는 대상체 중 최대 면적 비율을 갖는 대상체의 형상을 인식할 수 있다.
개시된 실시 예에 따른 3차원 스캔 시스템 및 그 동작 방법은, 대상체의 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 자동으로 변경함으로써, 미획득 또는 누락되는 이미지를 감소시키고, 3차원 이미지의 품질 및 정밀도를 향상시킬 수 있다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 3차원 스캔 시스템의 동작 방법을 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 3차원 스캔 시스템의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체의 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 3차원 스캔 시스템의 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체에 관한 이미지를 분석하여 RGB 컬러 히스토그램을 획득하는 방법을 도시한 도면이다.
도 6은 본 개시의 3차원 스캔 시스템이 광원의 컬러를 변경하는 시점을 설명하기 위한 타임 테이블이다.
도 7은 본 개시의 3차원 스캔 시스템이 디스플레이되는 2차원 이미지로부터 대상체의 타입을 검출하는 실시예를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체의 형상에 기초하여 광원을 변경하는 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 신경망 모델을 이용하여 구강 이미지로부터 대상체의 형상을 검출하는 방법을 설명하기 위한 도면이다.
도 1은 본 개시의 일 실시예에 따른 3차원 스캔 시스템의 동작 방법을 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 3차원 스캔 시스템의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체의 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 3차원 스캔 시스템의 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체에 관한 이미지를 분석하여 RGB 컬러 히스토그램을 획득하는 방법을 도시한 도면이다.
도 6은 본 개시의 3차원 스캔 시스템이 광원의 컬러를 변경하는 시점을 설명하기 위한 타임 테이블이다.
도 7은 본 개시의 3차원 스캔 시스템이 디스플레이되는 2차원 이미지로부터 대상체의 타입을 검출하는 실시예를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체의 형상에 기초하여 광원을 변경하는 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 신경망 모델을 이용하여 구강 이미지로부터 대상체의 형상을 검출하는 방법을 설명하기 위한 도면이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에서 '이미지'는 대상체에 대한 2차원 이미지 또는 대상체를 입체적으로 나타내는 3차원 이미지가 될 수 있다. 상기 3차원 이미지는 포인트 클라우드 형태 또는 폴리곤 메쉬 형태일 수 있다.
또한 본 개시에서 '이미지'는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 카메라를 이용하여 획득된 로우 데이터(raw data)를 의미할 수 있다. 구체적으로, 로우 데이터는 대상체의 3차원 이미지를 생성하기 위해서 획득되는 2차원 또는 3차원 데이터로, 3차원 스캐너(scanner)를 이용하여 대상체를 스캔(scan)할 때 스캐너에 포함되는 적어도 하나 이상의 카메라에서 획득되는 데이터(일 실시예로, 2차원 데이터)가 될 수 있다.
본 개시에서 '3차원 스캐너'는 구강 스캐너, 테이블 스캐너, CT 스캐너 등을 포함할 수 있다.
본 개시에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 대상체 상에 부착 가능하거나 대상체 내에 삽입 가능한 인공 구조물, 또는 팬텀(phantom) 등을 포함할 수 있다. 이하에서는, 대상체로서 적어도 하나의 치아를 포함하는 구강 또는 석고모델에 대한 3차원 이미지를 획득하는 경우를 예로 들어 설명하였다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 그러나, 본 개시는 구강에 대한 3차원 이미지를 획득하는 경우에 제한되지 않으며, 다양한 대상체에 대한 3차원 이미지를 획득하기 위해 적용될 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)의 동작 방법을 개략적으로 설명하기 위한 개념도이다.
도 1에 도시된 실시예에서, 본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)은, 3차원 스캐너(1010) 및 프로세싱 디바이스(1020)를 포함할 수 있다.
3차원 스캐너(1010)는 광 조사부(1100)를 이용하여 대상체에 광을 조사(project)하고, 적어도 하나의 카메라를 이용하여 광이 조사된 대상체를 스캔함으로써, 대상체에 관한 적어도 하나의 이미지를 획득할 수 있다.
도 1을 참조하면, 3차원 스캐너(1010)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 3차원 모델을 생성하는 구강 스캐너(intraoral scanner)일 수 있다. 3차원 스캐너(1010)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 이미지 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다. 3차원 스캐너(1010)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어 등을 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터(raw data)로 획득할 수 있다.
도 1에는 3차원 스캐너(1010)가 구강 스캐너로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 3차원 스캐너(1010)는 테이블 스캐너로 구성될 수도 있다.
3차원 스캐너(1010)를 통해 획득된 이미지는 유선 또는 무선 통신 네트워크를 통하여 연결되는 프로세싱 디바이스(1020)로 전송될 수 있다.
3차원 스캐너(1010)와 프로세싱 디바이스(1020)는 유선 또는 무선 통신 방법으로 서로 연결될 수 있다. 일 실시예에서, 3차원 스캐너(1010)는 유선 랜, 이더넷(Ethernet) 또는 기가 이더넷(Gigbit Ehernet; GigE) 중 어느 하나의 통신 방식으로 프로세싱 디바이스(1020)와 전기적 및/또는 물리적으로 연결될 수 있다. 그러나, 이에 한정되는 것은 아니고, 3차원 스캐너(1010)는 USB 2.0 또는 USB 3.0 규격의 USB(Universal Serial Bus) 연결 방식을 이용하여 프로세싱 디바이스(1020)와 연결될 수도 있다.
프로세싱 디바이스(1020)는 3차원 스캐너(1010)로부터 전달받은 이미지를 이용하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 데이터를 생성할 수 있다. 프로세싱 디바이스(1020)는, 수신된 이미지에 기초하여, 대상체에 대한 3차원 데이터 또는 3차원 이미지를 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 프로세싱 디바이스(1020)는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.
3차원 스캔 시스템(1000)은 3차원 스캐너(1010)를 통해 획득한 적어도 하나의 이미지로부터 대상체의 특성 정보를 분석하고, 분석된 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 변경하도록 광 조사부(1100, 도 2 참조)를 제어할 수 있다.
보다 구체적으로, 3차원 스캐너(1010)는 적어도 하나의 카메라(예를 들어, 광학 카메라)를 이용하여 광이 투영된 대상체의 표면을 촬영함으로써, 대상체에 관한 적어도 하나의 이미지를 획득할 수 있다. 일 실시예에서, 3차원 스캐너(1010)는 적어도 하나의 카메라를 이용하여 R, G, 및 B 광원이 순차적으로 조사된 대상체를 촬영함으로써, R 이미지(110), G 이미지(120), 및 B 이미지(130)를 획득할 수 있다. 여기서, 'R 이미지(110), G 이미지(120), 및 B 이미지(130)'는 각각 R 광원이 조사된 대상체를 촬영하고, G 광원이 조사된 대상체를 촬영하며, B 광원이 조사된 대상체를 촬영하여 획득한 2차원(2D) 이미지이다.
다른 실시예에서, 3차원 스캐너(1010)는 대상체에 백색 광을 조사하고, 적어도 하나의 카메라를 이용하여 백색 광이 조사된 대상체를 촬영함으로써, 컬러 이미지를 획득할 수 있다.
일 실시예에서, 3차원 스캐너(1010)는 적어도 하나의 이미지로부터 대상체의 특성 정보를 분석하고, 분석된 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 변경할 수 있다. 3차원 스캔 시스템(1000)에 포함되는 구성 요소 및 각 구성 요소의 동작 및/또는 기능에 대해서는 도 2에서 상세하게 설명하기로 한다.
도 2는 본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)의 구성 요소를 도시한 블록도이다.
도 2를 참조하면, 3차원 스캔 시스템(1000)은 광 조사부(1100), 촬영부(1200), 데이터 분석부(1300), 제어부(1400), 및 저장부(1500)를 포함할 수 있다. 일 실시예에서, 3차원 스캔 시스템(1000)은 디스플레이부(1600, 도 1 참조)를 더 포함할 수 있다.
도 2에 도시된 광 조사부(1100), 촬영부(1200), 데이터 분석부(1300), 제어부(1400), 및 저장부(1500)는 3차원 스캐너(1010, 도 1 참조)에 포함될 수도 있다. 그러나, 이에 한정되는 것은 아니고, 광 조사부(1100)와 촬영부(1200)가 3차원 스캐너(1010)에 포함되고, 데이터 분석부(1300), 제어부(1400) 및 저장부(1500)는 프로세싱 디바이스(1020)에 포함될 수 있다.
광 조사부(1100)는 대상체에 광을 투영(project)할 수 있다. 일 실시예에서, 광 조사부(1100)는 R(Red), G(Green), 및 B(Blue) 컬러의 광원을 이용하여 대상체에 R, G, 및 B 광을 순차적으로 조사할 수 있다. 그러나, 이에 한정되는 것은 아니고, 광 조사부(1100)는 백색 광을 대상체에 조사할 수도 있다. 광 조사부(1100)는 LED 광을 조사하는 프로젝터로 구성될 수 있다. 예를 들어, 광 조사부(1100)는 DLP 프로젝터(Digital Light Processing projector), LCD 프로젝터(projector) 또는 레이저 프로젝터 중 어느 하나로 구성될 수 있다.
일 실시예에서, 광 조사부(1100)는 서로 다른 복수의 패턴 광(구조 광, structured light)을 대상체에 투영할 수 있다. 예를 들어, 12개 내지 14개의 서로 다른 패턴 광을 대상체에 투영할 수 있다. 그러나, 패턴 광의 개수가 상기 예시로 한정되는 것은 아니다. 다른 실시예에서, 광 조사부(1100)는 패턴 또는 구조가 없는 광을 대상체에 조사할 수도 있다.
촬영부(1200)는 광 조사부(1100)에 의해 RGB 컬러 광이 투영된 대상체를 촬영함으로써 적어도 하나의 이미지를 획득할 수 있다. 촬영부(1200)는 하나 또는 복수의 카메라를 포함할 수 있다. 상기 카메라는 광의 컬러에 관한 정보를 획득할 수 없고, 광의 밝기 정보만을 획득하는 모노 카메라(mono camera)일 수 있다. 일 실시예에서, 적어도 하나의 카메라는 R, G, 및 B 광원이 순차적으로 투영된 대상체를 촬영함으로써, R, G, 및 B 각각의 이미지를 획득할 수 있다. 여기서, 'R, G, 및 B 이미지'는 각각 R 광원이 조사된 대상체를 촬영하고, G 광원이 조사된 대상체를 촬영하며, B 광원이 조사된 대상체를 촬영하여 획득한 2차원(2D) 이미지이다. R, G, 및 B 이미지는 각각 R 광원, G 광원 및 B 광원에 의해 대상체로부터 반사된 광을 촬영한 이미지로서, 그레이 스케일 이미지(grayscale image)일 수 있다. 제어부(1400)는 상기 R, G, 및 B 각각의 이미지를 병합함으로써 컬러 이미지를 획득할 수 있다.
다른 실시예에서, 상기 카메라는 컬러 카메라일 수도 있고 이 경우, 촬영부(1200)는 광 조사부(1100)에 의해 백색 광이 조사된 대상체를 촬영함으로써, 컬러 이미지를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니고, 제어부(1400)는 컬러 카메라를 통해 백색 광이 조사된 대상체를 촬영한 이미지들을 이용하여, 컬러 이미지를 획득할 수 있다.
데이터 분석부(1300)는 촬영부(1200)로부터 획득한 적어도 하나의 이미지를 분석함으로써 대상체의 특성 정보를 획득한다. 여기서, '특성 정보'는 대상체의 컬러, 재질, 및 형상 중 적어도 하나에 관한 정보를 포함할 수 있다.
일 실시예에서, 데이터 분석부(1300)는 적어도 하나의 이미지를 분석하여, 대상체의 컬러 히스토그램을 획득할 수 있다. 본 명세서에서 '컬러 히스토그램'이란, 이미지 내 픽셀들이 가지고 있는 색상 정보를 색상 모델 상에 표현한 그래프를 의미한다. 상기 색상 모델은 RGB 모델, HSV 모델, YCbCr 모델 및 CMYK 모델로 이루어진 군으로부터 선택된 1종 이상의 유채색 계열의 색상 모델일 수 있다.
구체적 일 실시예로, 상기 색상 모델이 RGB 모델인 경우, R, G 및 B 컬러 각각에 대해 가로 축이 밝기 값(0-255)이고, 세로 축이 픽셀을 카운팅한 픽셀 수일 수 있다. 또는, 상기 색상 모델이 HSV 모델인 경우, 가로 축이 H(Hue; 색조), S(Saturation; 채도) 또는 V(Value; 명도)일 수 있고, 세로 축이 픽셀을 카운팅한 픽셀 수일 수 있다.
다른 일 실시예에서, 데이터 분석부(1300)는 적어도 하나의 이미지를 분석하여 대상체의 형상을 검출할 수 있다. 보다 구체적으로, 데이터 분석부(1300)는 기학습된 심층 신경망 모델(pre-trained deep neural network)과 같은 인공지능 모델(Artificial Intelligence)을 이용한 기계 학습을 통해 대상체의 이미지로부터 대상체의 형상을 검출할 수 있다.
'대상체의 형상'은 대상체의 신체 부위의 모양, 형태를 의미하고, 모양 및 형태에 따라 특정 타입(type)으로 분류될 수 있다. 예를 들어, 대상체의 형상은 치아, 잇몸, 혀, 입술, 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등), 또는 피 중 적어도 하나로 분류될 수 있다. 여기서, '기 학습된 심층 신경망 모델'은 가중치(weight) 및 편향(bias)을 갖는 복수의 레이어를 포함하고, 기 획득된 복수의 구강 이미지를 입력으로 적용하고, 치아, 잇몸, 혀, 입술, 인공 구조물 및 피 각각에 대응되는 라벨값(label)을 출력으로 적용하는 지도 학습(supervised learning)을 수행함으로써, 트레이닝된 인공지능 모델이다. 기 학습된 심층 신경망 모델에 대해서는 도 9에서 상세하게 설명하기로 한다.
제어부(1400)는 광 조사부(1100), 촬영부(1200) 및 데이터 분석부(1300)의 동작 및/또는 기능을 제어한다. 제어부(1400)는 데이터 분석부(1300)에 의해 분석된 대상체의 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 변경하도록 광 조사부(1100)를 제어할 수 있다.
일 실시예에서, 제어부(1400)는 대상체에 관한 적어도 하나의 이미지로부터 획득된 컬러 히스토그램에서 가장 많이 카운팅된 픽셀 수를 갖는 색상을 인식하고, 인식된 색상에 대응되는 컬러의 광원으로 변경하도록 광 조사부(1100)를 제어할 수 있다. 도 1에 도시된 예시를 함께 참조하면, 컬러 히스토그램(200, 도 1 참조)의 분석 결과 R 컬러의 이미지 픽셀의 누적 분포 비율이 최대인 경우, 제어부(1400)는 R 광원을 조사하도록 광 조사부(1100)를 제어할 수 있다. 다른 예를 들어, 컬러 히스토그램(200)의 분석 결과 R 컬러의 이미지 픽셀과 B 컬러의 이미지 픽셀의 누적 분포 비율이 유사하고, G 컬러의 이미지 픽셀은 상대적으로 분포 비율이 낮은 경우, 제어부(1400)는 R 광원과 B 광원을 조합하여 보라색 광원을 조사하거나, 또는 R 광원을 1번 B 광원을 1번 총 2번 조사하도록 광 조사부(1100)를 제어할 수 있다.
제어부(1400)는 적어도 하나의 이미지로부터 검출된 대상체의 형상에 기초하여 광원의 컬러를 변경하도록 광 조사부(1100)를 제어할 수 있다. 일 실시예에서, 제어부(1400)는 검출된 대상체의 형상에 따라 미리 결정된 광원의 컬러로 광을 조사하도록 광 조사부(1100)를 제어할 수 있다. 일 실시예에서, 대상체의 형상과 광원의 컬러의 매칭 관계에 관한 데이터는 룩 업 테이블(Look up table; LUT) 형태로 저장부(1500)에 저장될 수 있다. 제어부(1400)는 저장부(1500)에 저장된 룩 업 테이블에 액세스하여 대상체의 형상에 따라 미리 결정된 광원의 컬러에 관한 정보를 획득하고, 광 조사부(1100)에 의해 대상체에 조사되는 광원의 컬러를 변경할 수 있다. 대상체의 형상과 광원의 컬러 간의 매칭 관계는, 대상체의 형상에 따른 재질, 반사율, 명도, 및 채도 중 적어도 하나를 포함하는 특성에 따라 미리 결정될 수 있다. 예를 들어, 이미지로부터 검출되는 대상체가 '치아'인 경우, 제어부(1400)는 치아에 관하여 미리 결정된 광원의 컬러인 B 광원으로 광을 조사하도록 광 조사부(1100)를 제어할 수 있다.
룩 업 테이블을 검색한 결과 대상체의 형상과 매칭되는 광원의 컬러가 룩 업 테이블에 저장되어 있지 않은 경우, 제어부(1400)는 디폴트(default)로 설정된 컬러의 광원으로 광을 조사하도록 광 조사부(1100)를 제어할 수 있다. 디폴트 컬러는 예를 들어, 표면 반사율이 높은 B 광원일 수 있다. 예를 들어, 적어도 하나의 이미지로부터 검출되는 대상체가 '석고 모델로 구성된 치아'인 경우, 제어부(1400)는 룩 업 테이블의 검색 결과 '석고 모델'에 매칭되는 광원의 컬러에 관한 정보를 획득할 수 없고, 따라서 디폴트 광원인 B 광원으로 광을 조사하도록 광 조사부(1100)를 제어할 수 있다.
일 실시예에서, 제어부(1400)는 적어도 하나의 이미지로부터 대상체의 컬러 정보 및 형상 정보를 모두 획득하되, 광원의 컬러를 변경 또는 선택하기 위해서 컬러 정보에 가중치를 적용할 수 있다. 예를 들어, 대상체의 컬러 정보에 기초하는 경우 R 광원으로 변경하는 것으로 결정되지만, 대상체의 형상 정보에 기초하는 경우 B 광원으로 변경하는 것으로 결정되는 경우, 제어부(1400)는 컬러 정보에 가중치를 적용하여 R 광원으로 광원의 컬러를 변경하도록 결정할 수 있다.
제어부(1400)는 변경된 광원의 컬러에 따른 광을 조사하도록 광 조사부(1100)를 제어하고, 촬영부(1200)를 이용하여 대상체에 관한 스캐닝을 수행할 수 있다. 제어부(1400)는 촬영부(1200)에서 획득한 적어도 하나 이상의 이미지들을 조합하여 대상체의 3차원 데이터를 생성할 수 있다. 제어부(1400)는 상기 3차원 데이터를 렌더링함으로써, 대상체의 3차원 이미지를 생성할 수 있다.
일 실시예에서, 제어부(1400)는 적어도 하나 이상의 이미지들을 조합하여 제1 프레임의 3차원 이미지를 렌더링하는 동안 컬러 정보를 획득하고, 광원의 컬러를 변경할 수 있다. 여기서, '적어도 하나 이상의 이미지'는 촬영부(1200)를 통해 획득된 복수 개의 이미지 프레임일 수 있다. 상기 복수 개는 예를 들어 12개 내지 14개일 수 있으며, 이에 한정되지 않는다.
상기 복수 개의 이미지 프레임은 대상체의 패턴 정보를 획득하기 위한 복수 개의 이미지 및 컬러 정보를 획득하기 위한 R, G, 및 B 광원 조사 시 획득되는, R 이미지, G 이미지 및 B 이미지를 포함할 수 있다. 제어부(1400)는 기 획득된 제1 프레임 이후, 제2 프레임의 3차원 이미지를 렌더링하기 위한 복수의 이미지 프레임을 촬영하기 위하여 변경된 광원을 대상체에 조사하도록 광 조사부(1100)를 제어할 수 있다. 예를 들어, 제1 프레임의 3차원 이미지를 생성하기 위하여 획득된 복수의 2차원 이미지 프레임을 획득하는데 소요되는 시간 주기를 제1 주기라 하면, 제어부(1400)는 제1 시간 주기 동안 획득된 대상체의 특성 정보를 분석하고, 상기 특성 정보에 기초하여 변경된 광원을 대상체에 조사하도록 광 조사부(1100)를 제어하여 제2프레임의 3차원 이미지를 생성할 수 있다. 제2 프레임의 3차원 이미지는 변경된 광원이 조사된 결과 획득되는 복수의 2차원 이미지 프레임들을 조합하여 렌더링함으로써, 획득될 수 있다.
일 실시예에서, 제어부(1400)는 복수의 이미지 프레임 획득 시, 패턴 정보를 획득하기 위한 복수의 이미지 프레임을 먼저 획득하고, 컬러 정보를 획득하기 위한 R, G, 및 B 이미지는 복수의 이미지 프레임이 획득된 이후에 획득하도록 광 조사부(1100)을 제어할 수 있다. 제어부(1400)는 상기 획득된 R, G, 및 B 이미지로부터 컬러 정보를 획득하여 제2 프레임의 3차원 이미지를 형성하기 위한 광원의 컬러를 변경하도록 광 조사부(1100)을 제어할 수 있다. R, G, 및 B 이미지를 획득하는 순서 및 프레임 별 광원 컬러 변경의 구체적인 실시예에 대해서는 도 6에서 상세하게 설명하기로 한다.
데이터 분석부(1300) 및 제어부(1400)는 각각 프로세서와 메모리를 포함하는 하드웨어 장치로 구현될 수 있다. 메모리에는 3차원 스캔 시스템(1000)의 동작 및/또는 기능과 관련된 적어도 하나의 명령어(instruction) 또는 프로그램 코드(program code)가 저장되고, 메모리에 저장된 적어도 하나의 명령어 또는 프로그램 코드는 프로세서에 의해 실행될 수 있다. 프로세서는 적어도 하나의 명령어 또는 프로그램 코드를 수행하여, 의도하는 동작 및/또는 기능을 수행하도록 3차원 스캔 시스템(1000)에 포함되는 구성들을 제어할 수 있다. 프로세서는 코어(Core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(Microprocessor), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수도 있다.
저장부(1500)는 데이터(예를 들어, 대상체 스캔을 통하여 획득된 로우 데이터, 컬러 이미지, 2차원 이미지, 3차원 이미지 등)를 저장하는 저장 매체이다. 저장부(1500)는 대상체를 3차원적으로 나타내는 3차원 이미지를 저장할 수 있다. 일 실시예에서, 저장부(1500)는 대상체의 형상과 광원의 컬러 간의 미리 결정된 매칭 관계에 관한 데이터를 룩 업 테이블(LUT) 형태로 저장할 수 있다.
저장부(1500)는 비휘발성 메모리로 구성될 수 있다. 비휘발성 메모리(Non-volatile memory)는 전원이 공급되지 않은 상태에서도 정보를 저장 및 유지하고, 전원이 공급되면 다시 저장된 정보를 사용할 수 있는 기억 매체를 의미한다. 비휘발성 메모리는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), SSD(Solid State Drive), 롬(Read Only Memory; ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나를 포함할 수 있다.
도 2에서 저장부(1500)는 3차원 스캔 시스템(1000) 내에 포함되는 구성 요소로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 저장부(1500)는 3차원 스캔 시스템(1000)에 포함되지 않는 외부 구성 요소로서, 예를 들어 외부 메모리 형태(예를 들어, 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등))로 구성되거나, 또는 서버 내에 포함되는 구성 요소로 구현될 수 있다.
도 2에는 도시되지 않았지만, 3차원 스캔 시스템(1000)은 디스플레이부(1600, 도 1 참조)를 더 포함할 수 있다. 디스플레이부(1600)는 제어부(1400)의 제어에 따라 소정 화면을 디스플레이 할 수 있다. 일 실시예에서, 디스플레이부(1600)는 제어부(1400)에 의해 생성된 대상체의 3차원 이미지를 디스플레이할 수 있다. 또한, 디스플레이부(1600)는 3차원 이미지를 포함하는 사용자 인터페이스(User Interface) 화면을 디스플레이 할 수 있다. 또는, 디스플레이부(1600)는 대상체에 대한 진단 및 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다.
디스플레이부(1600)는, 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나로 구성될 수 있다.
한편 종래 기술에서는, 대상체의 표면 윤곽을 스캐닝하는 광학식 스캐너에서는 주로 파란 색의 B 광원을 주로 사용하였다. 특히, 치아와 같이 반투명한 대상체를 스캔하는 경우, B 광원이 R 광원(Red) 또는 G 광원(Green) 보다는 표면 반사율이 높기 때문에, 표면 반사가 잘 되는 B 컬러의 광원을 사용하여 광을 조사하고, 대상체에 관한 3차원 이미지를 획득하였다. 그러나, R, G, 및 B 광원 중 어느 하나의 광원만을 사용하여 대상체를 스캔하는 경우, 대상체의 컬러, 타입, 또는 재질 등 특성에 따라 특정 컬러의 광원을 반사하지 못하여 이미지를 획득하지 못하는 문제점이 있다. 예를 들어, B 광원을 조사하여 치아를 스캔하는 경우, 치아에 출혈(bleeding)이 있는 경우 출혈 부분은 빨간 색 부분이어서 B 광원을 반사하지 못하고, 따라서 출혈 부분에 관한 이미지를 획득하지 못하는 문제가 발생될 수 있다. 대상체의 특성에 따른 광원을 사용하지 않는 경우, 이미지의 누락, 미획득 등으로 인하여 스캔된 이미지의 품질이 저하될 수 있다.
본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)은 대상체에 관한 적어도 하나의 이미지로부터 대상체의 특성 정보를 분석하고, 특성 정보에 기초하여 광원의 컬러를 자동으로 변경하는 바, 광의 컬러에 따른 표면 반사율에 의해 이미지의 누락 또는 미획득을 방지하고, 최종 렌더링된 3차원 이미지의 품질 및 정밀도를 향상시킬 수 있다. 또한, 본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)은 인공지능 모델을 이용하여 대상체의 형상을 검출하고, 검출된 대상체의 형상에 따라 미리 결정된 컬러의 광원으로 변경하여 대상체를 스캔함으로써, RGB 이미지 픽셀의 누적 분포가 유사하거나, 또는 표면 반사율이 모든 컬러에 대하여 균일한 경우, 컬러 정보만 이용하는 방법 대비 높은 품질의 이미지를 획득할 수 있다.
도 3은 본 개시의 일 실시예에 따라 광학식 3차원 스캐너(1010)가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따라 3차원 스캐너(1010)를 이용하여 대상체의 표면에 대한 3차원 데이터를 획득하기 위해서는, 양안시 구조광(structured light with stereo vision) 방식이 이용될 수 있다. 그러나, 이는 3차원 데이터 획득 방식의 일 예시이고, 본 개시의 실시예에 따른 3차원 데이터 획득 방식이 양안시 구조광 방식으로 한정되는 것은 아니다.
일 실시 예에 따른 3차원 스캐너(1010)는 적어도 하나의 카메라(1210, 1220)와 구조광(structured light)(또는, 패턴 광)(300)을 조사할 수 있는 적어도 하나의 광 조사부(1100)로 구성될 수 있다. 도 2에서, 3차원 스캐너(1010)는 두 개의 카메라(1210, 1220)를 포함하는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 3차원 스캐너(1010)는 하나의 카메라를 포함하거나, 또는 3개 이상의 복수의 카메라를 포함할 수도 있다.
일 실시예에서, 광 조사부(1100)는 DLP 프로젝터(Digital Light Processing projector), LCD 프로젝터(projector) 또는 레이저 프로젝터 중 어느 하나로 구성될 수 있다. 일 실시 예에 따른 3차원 스캐너(1010)는, 대상체(10)에게 구조광(300)을 조사하고, 좌안 시야(Left Field of View)에 대응되는 제1 카메라(1210)와 우안 시야(Right Field of View)에 대응되는 제2 카메라(1220) 각각에서 좌안 시야에 대응되는 L 영상(310) 및 우안 시야에 대응되는 R 영상(320)을 획득할 수 있다. 3차원 스캐너(1010)는 대상체(10)에 대한 L 영상(310) 및 R 영상(320)을 포함하는 이미지를 연속적으로 획득할 수 있다. 3차원 스캐너(1010) 또는 프로세싱 디바이스(1020)는, L 영상(310) 및 R 영상(320)을 포함하는 이미지 로부터 대상체의 표면 형상을 나타내는 3차원 이미지 프레임을 재구성할 수 있다.
3차원 스캐너(1010) 또는 프로세싱 디바이스(1020)는, 복수의 이미지 들로부터 복수의 3차원 이미지 프레임들을 획득할 수 있다.
프로세싱 디바이스(1020)는, 복수의 이미지들을 조합하고, 조합된 이미지에 대하여 광 삼각화 연산(optical triangulation)을 수행함으로써 대상체 전체에 대한 3차원 데이터를 재구성할 수 있다. 프로세싱 디바이스(1020)는 3차원 데이터를 렌더링함으로써 3차원 이미지를 생성하고, 디스플레이부(1600, 도 1 참조) 상에 디스플레이할 수 있다.
도 3에서는 광 삼각화 연산의 방법을 이용해서 3차원 데이터를 재구성하는 것을 개시하였으나, 이에 한정하지 않고 공초점(confocal) 방식을 이용하여 3차원 데이터를 재구성할 수 있다.
도 4는 본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)의 동작 방법을 도시한 흐름도이다.
단계 S410에서, 3차원 스캔 시스템(1000)은 광원을 이용하여 대상체에 광을 조사하고, 대상체에 관한 적어도 하나의 이미지를 획득한다. 일 실시예에서, 3차원 스캔 시스템(1000)은 R, G 및 B 컬러를 갖는 광원을 이용하여 대상체에 광을 조사하고, 대상체로부터 반사되는 광을 촬영함으로써 R, G, 및 B 각각의 이미지를 획득하고, 상기 이미지들을 병합하여 컬러 이미지를 획득할 수 있다. 그러나, 이에 한정되는 것은 아니고, 3차원 스캔 시스템(1000)은 대상체에 백색 광을 조사하고, 컬러 카메라를 이용하여 대상체를 촬영함으로써 컬러 이미지를 획득할 수도 있다.
단계 S420에서, 3차원 스캔 시스템(1000)은 적어도 하나의 이미지로부터 대상체에 관한 특성 정보를 분석한다. 일 실시예에서, 3차원 스캔 시스템(1000)은 R, G, 및 B 이미지를 분석하여 컬러 정보를 획득할 수 있다. 3차원 스캔 시스템(1000)은 R, G, 및 B 이미지를 분석함으로써, R, G 및 B 컬러 각각의 이미지 픽셀 값에 따른 누적 분포를 나타내는 컬러 히스토그램을 획득할 수 있다. 일 실시예에서, 컬러 히스토그램은 R 이미지에서 R 컬러의 이미지 픽셀의 누적 분포를 나타내는 R 히스토그램, G 이미지에서 G 컬러의 이미지 픽셀의 누적 분포를 나타내는 G 히스토그램, 및 B 이미지에서 B 컬러의 이미지 픽셀의 누적 분포를 나타내는 B 히스토그램을 포함할 수 있다. 다른 실시예에서, 3차원 스캔 시스템(1000)은 컬러 카메라를 이용하여 촬영한 컬러 이미지로부터 R, G, 및 B 컬러 각각의 컬러 히스토그램을 획득할 수도 있다. 3차원 스캔 시스템(1000)은 컬러 히스토그램을 분석함으로써, R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 관한 정보를 획득할 수 있다.
일 실시예에서, 3차원 스캔 시스템(1000)은 획득된 2차원 이미지 프레임을 분석하여, 대상체의 형상을 검출할 수 있다. 일 실시예에서, 3차원 스캔 시스템(1000)은 기 학습된 심층 신경망 모델(pre-trained deep neural network)을 이용한 기계 학습을 통해 대상체의 2D 이미지 프레임으로부터 대상체의 형상을 검출할 수 있다. '대상체의 형상'은 대상체의 신체 부위의 모양, 형태를 의미하고, 모양 및 형태에 따라 특정 타입(type)으로 분류될 수 있다. 예를 들어, 대상체의 형상은 치아, 잇몸, 혀, 입술, 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등), 또는 피 중 적어도 하나로 분류될 수 있다.
단계 S430에서, 3차원 스캔 시스템(1000)은 분석된 특성 정보에 기초하여 대상체에 조사되는 광원의 컬러를 변경한다. 일 실시예에서, 3차원 스캔 시스템(1000)은 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 대응되는 광원의 컬러로 변경할 수 있다. 예를 들어, 컬러 히스토그램의 분석 결과 R 컬러의 이미지 픽셀의 누적 분포 비율이 최대인 경우, 3차원 스캔 시스템(1000)은 광원의 컬러를 R 광원으로 변경하고, 변경된 R 광원을 조사하도록 광 조사부(1100, 도 1 및 도 2 참조)를 제어할 수 있다.
일 실시예에서, 3차원 스캔 시스템(1000)은 검출된 대상체의 형상에 따라 미리 결정된 광원의 컬러로 광을 조사할 수 있다. 일 실시예에서, 대상체의 형상과 광원의 컬러의 매칭 관계에 관한 데이터는 미리 결정되고, 저장부(1500, 도 2 참조)에 저장될 수 있다. 3차원 스캔 시스템(1000)는 저장부(1500)에 저장된 룩 업 테이블에 액세스하여 대상체의 형상에 따라 미리 결정된 광원의 컬러에 관한 정보를 획득하고, 획득된 정보를 이용하여 대상체에 조사되는 광원의 컬러를 변경할 수 있다.
단계 S430 이후, 3차원 스캔 시스템(1000)은 변경된 광원을 이용하여 대상체에 관한 스캐닝을 수행한다. 일 실시예에서, 3차원 스캔 시스템(1000)은 변경된 컬러의 광원을 대상체에 조사하고, 대상체를 스캔함으로써 이전 이미지 프레임의 데이터에서의 노이즈를 대체하거나, 또는 미획득된 데이터를 추가로 획득할 수 있다.
도 5는 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 대상체의 컬러 이미지를 분석하여 RGB 컬러 히스토그램을 획득하는 방법을 도시한 도면이다.
도 5를 참조하면, 3차원 스캔 시스템은 대상체에 광을 조사하고, 대상체의 표면으로부터 반사되는 광을 촬영함으로써 대상체의 컬러 이미지(500)를 획득할 수 있다. 일 실시예에서, 컬러 이미지(500)는 R 광원을 조사하여 획득한 R 이미지, G 광원을 조사하여 획득한 G 이미지, 및 B 광원을 조사하여 획득한 B 이미지를 병합하여 생성한 2차원 이미지일 수 있다. 그러나, 이에 한정되는 것은 아니다. 다른 실시예에서, 컬러 이미지(500)는 대상체에 백색 광을 조사하고, 컬러 카메라를 이용하여 대상체를 촬영함으로써 획득한 2차원 이미지일 수 있다.
3차원 스캔 시스템(1000)의 데이터 분석부(1300, 도 2 참조)는 컬러 이미지(500) 또는 획득한 R 이미지, G 이미지 및 B 이미지를 분석함으로써, R, G 및 B 컬러 각각의 이미지 픽셀 값에 따른 누적 분포를 나타내는 컬러 히스토그램(510)을 획득할 수 있다. '컬러 히스토그램(510)'은 x축에 이미지 픽셀의 밝기 값을, y축에 픽셀 값에 따른 이미지 픽셀의 누적 개수를 나타내는 좌표에 이미지의 컬러 특정을 표시한 그래프이다. 일 실시예에서, 컬러 히스토그램(510)은 R 이미지에서 R 컬러의 이미지 픽셀의 누적 분포를 나타내는 R 히스토그램(520), G 이미지에서 G 컬러의 이미지 픽셀의 누적 분포를 나타내는 G 히스토그램(530), 및 B 이미지에서 B 컬러의 이미지 픽셀의 누적 분포를 나타내는 B 히스토그램(540)을 포함할 수 있다.
데이터 분석부(1300)는 컬러 히스토그램(510)을 분석함으로써, R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 관한 정보를 획득할 수 있다.
제어부(1400)는 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 대응되는 광원의 컬러로 변경하도록 광 조사부(1100, 도 2 참조)를 제어할 수 있다.
도 6은 본 개시의 3차원 스캔 시스템(1000)이 광원의 컬러를 변경하는 시점을 설명하기 위한 타임 테이블이다.
도 6을 참조하면, 촬영부(1200)는 대상체를 스캔함으로써, 복수 개의 이미지 프레임(i1-1 내지 i2-3)을 획득할 수 있다. 복수 개의 이미지 프레임(i1-1 내지 i2-3)은 대상체의 패턴 정보를 획득하기 위한 복수 개의 이미지(i1-1 내지 i1-n) 및 대상체의 컬러 정보를 획득하기 위한 R 이미지(i1-R), G 이미지(i1-G), B 이미지(i1-B)를 포함할 수 있다. 복수 개의 이미지 프레임(i1-1 내지 i1-n, i1-R, i1-G, i1-B)은 1개 프레임의 3차원 이미지를 형성하기 위한 2차원 이미지일 수 있다. 도 6에 도시된 실시예에서, 복수 개의 이미지 프레임(i1-1 내지 i1-n, i1-R, i1-G, i1-B)은 제1 3차원 이미지(i1)를 형성하기 위한 2차원 이미지들이고, i1-B 이후에 획득되는 복수 개의 이미지 프레임(i2-1, i2-2, i2-3, ...)은 제2 3차원 이미지(i2)를 형성하기 위한 2차원 이미지들이다.
R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)는 대상체의 패턴 정보를 획득하기 위한 복수 개의 이미지(i1-1 내지 i1-n)가 획득된 이후에 획득될 수 있다. 촬영부(1200)는 상기 R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)를 병합함으로써 컬러 이미지를 획득할 수 있다.
1개 프레임의 3차원 이미지를 형성하기 위한 복수 개의 이미지 프레임(i1-1 내지 i1-n, i1-R, i1-G, i1-B)은 예를 들어, 12개 내지 14개일 수 있으나, 이에 한정되지 않는다.
대상체의 패턴 정보를 획득하기 위한 복수 개의 이미지 프레임(i1-1 내지 i1-n)은 광 조사부(1100)에 의해 제1 광원이 조사된 대상체를 스캔함으로써 획득된 이미지이다. 제1 광원은 기 설정된 디폴트 광원이거나, 또는 제1 3차원 이미지(i1)를 형성하기 전에 획득한 RGB 이미지에 기초하여 결정된 컬러의 광원일 수 있다. 도 6에 도시된 실시예에서, 제1 광원은 B 광원일 수 있으나, 이는 예시적인 것이고 도면에 도시된 바와 같이 한정되는 것은 아니다.
데이터 분석부(1300)는 R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)를 분석함으로써, 대상체의 컬러 정보를 획득할 수 있다. 일 실시예에서, 데이터 분석부(1300)는 R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B) 각각의 컬러 히스토그램을 분석함으로써, 컬러 정보를 획득할 수 있다. 데이터 분석부(1300)는 컬러 정보를 제어부(1400)에 제공한다.
제어부(1400)는 데이터 분석부(1300)로부터 획득한 컬러 정보에 기초하여 광원의 컬러를 변경하도록 광 조사부(1100)를 제어할 수 있다. 제어부(1400)는 제1 3차원 이미지(i1)를 형성하기 위한 R 이미지(i1-R), G 이미지(i1-G), B 이미지(i1-B)가 획득된 이후 제2 3차원 이미지(i2)를 획득하기 위한 복수 개의 이미지 프레임(i2-1, i2-2, i2-3, ...)을 스캔하기 위하여 광원의 컬러를 변경할 수 있다. 예를 들어, 제1 3차원 이미지(i1)를 형성하는 동안 데이터 분석부(1300)로부터 제공받은 대상체의 컬러 히스토그램에서 R 컬러의 이미지 픽셀의 누적 분포 비율이 최대인 경우, 제어부(1400)는 광원의 컬러를 R 광원으로 변경하도록 결정하고, 제2 3차원 이미지(i2)를 형성하기 위한 스캔 과정에서는 R 광원을 조사하도록 광 조사부(1100)를 제어할 수 있다.
도 6에는 제1 3차원 이미지(i1)가 형성된 이후, 제어부(1400)가 광원의 컬러를 변경하고, 변경된 광원의 컬러를 이용하여 제2 3차원 이미지(i2)를 획득하기 위한 복수 개의 이미지 프레임(i2-1, i2-2, i2-3,...)를 스캔하는 것으로 도시되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 촬영부(1200)로부터 복수 개의 이미지 프레임(i1-1 내지 i1-n), R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)를 전송받는 시간 및 데이터 분석부(1300)에 의해 컬러 정보를 분석하는 시간이 소요되므로, 제어부(1400)는 촬영부(1200)에 의해 제2 3차원 이미지(i2)를 위한 복수 개의 이미지 프레임(i2-1, i2-2, i2-3, ...)의 스캔이 시작된 이후에 비로소 광원 컬러 변경 신호를 광 조사부(1100)에 전송할 수 있다. 제어부(1400)에 의해 변경된 광원의 컬러는 제2 3차원 이미지(i2) 이후 획득되는 제3 3차원 이미지(미도시)의 스캔에 적용될 수 있다. 즉, 제어부(1400)에 의한 광원의 컬러 변경이 실시간으로 이루어지는 것은 아니고, 3차원 이미지 기준으로 1 프레임 이상의 지연(delay)이 발생될 수 있다.
도 6에 도시된 바와는 달리, 본 개시의 일 실시예에서 촬영부(1200)는 R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)를 먼저 획득하고, 이후에 복수 개의 이미지 프레임(i1-1 내지 i1-n)을 획득할 수도 있다. 이 경우, 제어부(1400)는 제1 3차원 이미지(i1)를 형성한 이후 연속으로 제2 3차원 이미지(i2)를 형성하게 되고, 제1 3차원 이미지(i1) 형성 시 이용되는 R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)에 기초하여 컬러 정보를 획득하는바, 광원의 컬러 변경은 제3 3차원 이미지(미도시)의 스캔에 적용될 수 있다. 제3 3차원 이미지를 스캔하기 전에 제1 3차원 이미지(i1) 및 제2 3차원 이미지(i2)가 모두 획득 완료되므로, 이 경우에는 3차원 이미지 기준으로 2 프레임 이상의 지연이 발생될 수 있다. 따라서, 도 6에 도시된 실시예가 R 이미지(i1-R), G 이미지(i1-G), 및 B 이미지(i1-B)를 먼저 획득하고 이후에 복수 개의 이미지 프레임(i1-1 내지 i1-n)을 획득하는 실시예 보다 딜레이가 적고, 광원 컬러 변경에 소요되는 시간도 짧은 장점이 있다.
도 7은 본 개시의 3차원 스캔 시스템(1000)이 디스플레이되는 2차원 이미지(710)로부터 대상체의 타입을 검출하는 실시예를 도시한 도면이다.
도 7을 참조하면, 3차원 스캔 시스템(1000)은 대상체의 3차원 이미지(700)를 디스플레이부(1600) 상에 디스플레이할 수 있다. 일 실시예에서, 3차원 스캔 시스템(1000)의 제어부(1400, 도 2 참조)는 대상체의 전체 영역 중 관심 영역(Region of Interest)(700R)을 설정하고, 관심 영역(700R) 내에 포함되는 영역을 촬영함으로써 획득된 이미지(710)를 디스플레이부(1600) 상의 일 영역에 디스플레이할 수 있다. 관심 영역(700R)에 관한 이미지는 라이브 뷰 이미지(710)로서, 적어도 하나의 카메라를 이용하여 실시간으로 대상체를 촬영함으로써 획득한 복수의 2차원 이미지를 조합함으로써 생성될 수 있다.
3차원 스캔 시스템(1000)은 디스플레이되는 라이브 뷰 이미지(710)에 포함되는 대상체의 형상을 검출할 수 있다. 일 실시예에서, 3차원 스캔 시스템(1000)은 공지의 이미지 프로세싱(image processing) 또는 객체 인식 모델을 이용하여, 라이브 뷰 이미지(710)로부터 대상체의 형상을 검출할 수 있다. 그러나, 이에 한정되는 것은 아니고, 3차원 스캔 시스템(1000)은 기 학습된 심층 신경망 모델(pre-trained deep neural network)과 같은 인공지능 모델(Artificial Intelligence)을 이용한 학습을 통해 라이브 뷰 이미지(710)로부터 대상체의 형상을 검출할 수 있다.
일 실시예에서, 3차원 스캔 시스템(1000)은 라이브 뷰 이미지(710)에 포함되는 대상체의 형상이 복수개로 인식되는 경우, 복수의 대상체 형상 중 라이브 뷰 이미지(710) 내에서 가장 높은 영역 비율을 갖는 대상체의 형상을 검출할 수 있다. 예를 들어, 라이브 뷰 이미지(710) 내에 치아, 잇몸, 및 인공 구조물이 모두 포함되고, 치아의 영역이 최대 영역을 갖는 경우, 3차원 스캔 시스템(1000)은 최대 영역을 갖는 '치아'를 대상체의 타입으로써 검출할 수 있다.
도 8은 본 개시의 일 실시예에 따른 3차원 스캔 시스템(1000)이 대상체의 형상에 기초하여 광원을 변경하는 방법을 도시한 흐름도이다.
단계 S810에서, 3차원 스캔 시스템(1000)은 대상체에 관한 복수의 2차원(2D) 이미지 프레임을 획득한다. 구체적인 이미지 프레임 획득 방법은 전술한 바와 동일하므로 중복되는 기재는 생략하도록 한다.
단계 S820에서, 3차원 스캔 시스템(1000)은 복수의 2차원 이미지 프레임 중 적어도 하나의 2차원 이미지 프레임을 분석함으로써, 대상체의 형상을 검출한다. 일 실시예에서, 3차원 스캔 시스템(1000)은 복수의 2차원 이미지 중 라이브 뷰 이미지(710, 도 7 참조)에 포함되는 대상체의 형상을 검출할 수 있다.
일 실시예에서, 3차원 스캔 시스템(1000)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)과 같은 인공지능 모델(Artificial Intelligence)을 이용한 학습을 통해 라이브 뷰 이미지(710)로부터 대상체의 타입을 검출할 수 있다. 심층 신경망 모델을 이용하여 대상체의 형상을 검출하는 구체적인 실시예는 도 9에서 상세하게 설명하기로 한다.
단계 S830에서, 3차원 스캔 시스템(1000)은 검출된 대상체의 형상에 기초하여, 광원의 컬러를 변경한다. 일 실시예에서, 대상체의 형상에 매칭되는 광원의 컬러는 미리 결정되어 있을 수 있다. 일 실시예에서, 대상체의 형상과 광원의 컬러 간의 매칭 관계는, 대상체의 타입에 따른 재질, 반사율, 명도, 및 채도 중 적어도 하나를 포함하는 특성에 따라 미리 결정될 수 있다.
일 실시예에서, 대상체의 타입과 광원의 컬러의 매칭 관계에 관한 데이터는 룩 업 테이블(Look up table; LUT) 형태로 저장부(1500, 도 2 참조)에 저장될 수 있다. 일 실시예에서, 라이브 뷰 이미지(710)로부터 검출된 대상체가 '치아'인 경우, 3차원 스캔 시스템(1000)은 저장부(1500)에 저장된 룩 업 테이블에 액세스하여 치아에 관하여 미리 결정된 광원의 컬러인 B 광원으로 광을 조사하도록 광 조사부(1100)를 제어할 수 있다.
도 9는 본 개시의 일 실시예에 따른 3차원 스캔 시스템이 심층 신경망 모델(900)을 이용하여 대상체의 형상을 검출하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 심층 신경망 모델(DNN: Deep Neural Network)(900)은 구강 내부에 관하여 기 획득된 대상체 이미지가 입력되면, 대상체 이미지에 포함되는 대상체의 형상 정보를 출력으로 제공하는 인공지능 모델일 수 있다. 일 실시예에서, 심층 신경망 모델(900)은 컨볼루션 신경망 모델(CNN: Convolution Neural Network)로 구성될 수 있다. 여기서, '컨볼루션 신경망 모델'은 컨볼루션 연산에 근거한 연산을 수행하는 신경망을 지칭하는 것으로, 컨볼루션 연산 및 다른 방식의 연산을 종합적으로 수행하는 단일 신경망 또는 복수개의 신경망이 결합된 형태의 신경망이 될 수 있다.
일 실시예에서, 심층 신경망 모델(900)은 입력 이미지(910)로부터 픽셀 와이즈(pixel-wise)한 분할(segmentation)을 실행하여 대상체의 형상에 관한 데이터(912)를 출력하기 위한 컨볼루션(convolution) 연산을 수행하는 심층 신경망(DNN: Deep neural network)이 될 수 있다. 예를 들어, 심층 신경망 모델(900)은 Deeplab-Mobilenet을 기반으로 하는 신경망이 될 수 있다. 이하에서는, Deeplab-Mobilenet을 기반의 신경망을 'Deeplab 모델' 이라고 칭하도록 한다.
그러나, 이에 한정되는 것은 아니고, 심층 신경망 모델(900)은 예를 들어, 순환 신경망 모델(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 3차원 스캔 시스템은 신경망을 통하여 데이터 인식 모델을 구현하고, 구현된 데이터 인식 모델을 학습 데이터를 이용하여 학습(training)시킬 수 있다. 여기서, '학습 데이터'는 구강 내의 특정 타입으로 분류될 수 있는 형상들을 포함하는 이미지들과 이미지들이 분류되는 형상의 라벨값(label)을 포함할 수 있다. 구강 내 대상체의 형상은 예를 들어, 치아, 잇몸, 혀, 입술, 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등), 또는 피 중 적어도 하나의 타입으로 분류될 수 있다. 심층 신경망 모델(900)은 복수의 이미지들을 입력으로 적용하고, 치아, 잇몸, 혀, 입술, 인공 구조물 및 피 각각에 대응되는 라벨값을 정답값(groundtruth)으로 적용하는 지도 학습(supervised learning)을 수행함으로써, 트레이닝된 인공지능 모델일 수 있다.
도 9에 도시된 실시예에서, 심층 신경망 모델(900)은 3개의 숨은 계층(hidden layers)을 포함하고 있으나, 이는 예시적인 것이고, 숨은 계층의 개수가 도시된 바와 같이 한정되는 것은 아니다.
도 9을 참조하면, 심층 신경망 모델(900)은 입력 계층(920), 숨은 계층(hidden layer)(930) 및 출력 계층(970)을 포함한다. 구체적으로, 심층 신경망 모델(900)을 형성하는 복수개의 계층들 각각은 데이터를 수신하는 복수개의 노드(node)(예를 들어, 921)들을 포함할 수 있다. 그리고, 인접한 두 개의 계층들은 도시된 바와 같이 복수개의 엣지(edge)(예를 들어, 925)들로 연결된다. 각각의 노드들은 대응되는 가중치 값(weight)을 가지고 있다. 그에 따라서, 심층 신경망 모델(900)은 입력된 신호와 가중치 값을 연산(예를 들어, 컨볼루션 연산 등)한 값에 근거하여, 출력 데이터를 획득할 수 있다.
학습 과정에서, 심층 신경망 모델(900)을 통하여 출력된 출력 데이터(912)의 정확도를 높이기 위하여, 출력 계층(970)에서 입력 계층(920) 방향으로 학습(training)을 수행하며, 출력 데이터(912)의 정확도가 높아지도록 심층 신경망 모델(900)을 형성하는 노드들(예를 들어, 921)의 가중치값들을 수정할 수 있다. 따라서, 심층 신경망 모델(900)는 입력 이미지(910)가 입력되기 이전에, 구강을 스캔하여 획득된 복수개의 구강 이미지들을 학습하여, 대상체의 형상의 검출 정확도가 높아지는 방향으로 각 노드들의 가중치 값을 수정할 수 있다.
심층 신경망 모델(900)의 입력 계층(920)에 포함되는 복수개의 노드들은 입력 이미지(910)에 대응되는 복수개의 데이터들을 수신한다. 여기서, 복수개의 데이터들은 입력 이미지(910)는 분할하는 필터 처리를 하여 생성된 복수개의 부분 이미지들이 될 수 있다.
숨은 계층(930)에 포함되는 복수개의 계층들(940, 950, 960)에서의 연산을 통하여, 출력 계층(970)에서는 입력 이미지(910)를 분석한 결과 검출된 대상체의 형상에 관한 데이터(912)를 출력할 수 있다. 출력된 데이터(912)는 입력 이미지(910)를 분석한 결과 검출된 대상체의 형상에 대한 라벨값 및 특정 라벨값으로 예측될 수 있는 확률값을 출력할 수 있다. 도 9에 도시된 실시예에서, 입력 이미지(910)가 치아에 관한 2차원 이미지이고, 심층 신경망 모델(900)이 입력 이미지(910)를 분석함으로써 출력한 데이터(912)는 치아에 대응되는 라벨값과 치아로 예측될 수 있는 확률값(도 9에서는 0.8), 잇몸에 대응되는 라벨값과 잇몸으로 예측될 수 있는 확률값(도 9에서는 0.15), 혀에 대응되는 라벨값과 혀로 예측될 수 있는 확률값(도 9에서는 0.05)을 포함할 수 있다. 도 9에 도시된 실시예에서, 출력된 데이터(912)를 참조하면 확률값이 가장 높은 '치아'가 입력 이미지(910)로부터 검출된 대상체의 형상으로 결정될 수 있다.
본 개시의 일 실시 예에 따른 3차원 스캔 시스템(1000)의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령어 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예에 따르면, 3차원 스캔 시스템(1000)의 동작 방법을 실행하는 적어도 하나의 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 제공될 수 있다.
상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 코드를 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 3차원 스캔 시스템(100)의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또 다른 실시예에서, 상기 3차원 스캔 시스템(1000)의 동작 방법은 애플리케이션 스토어(예: 플레이 스토어TM 또는 앱 스토어TM 등)를 통해 사용자 디바이스(예: 스마트 폰)에 직접, 또는 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다.
이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
1000: 3차원 스캔 시스템, 1010: 3차원 스캐너, 1020: 프로세싱 디바이스, 1100: 광 조사부, 1200: 촬영부, 1210: 제1 카메라, 1220: 및 제2 카메라, 1300: 데이터 분석부, 1400: 제어부, 1500: 저장부, 1600: 디스플레이부
Claims (16)
- 대상체에 광을 조사하는 광 조사부;
상기 대상체로부터 반사되는 광을 촬영하여 상기 대상체에 관한 적어도 하나의 이미지를 획득하는 촬영부;
상기 적어도 하나의 이미지를 분석하여 상기 대상체의 컬러 및 형상에 관한 정보를 획득하는 데이터 분석부; 및
상기 획득된 대상체의 컬러 및 형상에 관한 정보에 기초하여 광원의 컬러를 변경하도록 광 조사부를 제어하는 제어부;
를 포함하는 3차원 스캔 시스템.
- 삭제
- 제1 항에 있어서,
상기 광 조사부는 R, G, B 광원, 또는 백색 광원을 이용하여 상기 대상체에 R, G, B 광, 또는 백색 광을 조사하고,
상기 촬영부는 상기 대상체로부터 반사되는 광을 촬영함으로써 상기 적어도 하나의 이미지를 획득하고,
상기 제어부는 상기 적어도 하나의 이미지를 분석함으로써 상기 대상체의 컬러에 관한 정보를 획득하는, 3차원 스캔 시스템.
- 제3 항에 있어서,
상기 제어부는,
상기 적어도 하나의 이미지로부터 컬러 히스토그램을 획득하고, 상기 컬러 히스토그램을 분석하여 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 관한 정보를 획득하며,
상기 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 대응되는 광원으로 변경하도록 상기 광 조사부를 제어하는, 3차원 스캔 시스템.
- 제3 항에 있어서,
상기 촬영부는 상기 대상체를 촬영함으로써, 복수의 2차원(2D) 이미지 프레임을 획득하고,
상기 제어부는, 상기 복수의 2D 이미지 프레임을 획득한 이후 상기 R, G, 및 B 광을 조사하도록 상기 광 조사부를 제어하고, 상기 촬영부를 통해 상기 R, G, 및 B 각각에 대응되는 상기 복수의 이미지를 획득하는, 3차원 스캔 시스템.
- 제1 항에 있어서,
상기 촬영부는 상기 대상체를 촬영함으로써 복수의 이미지 프레임을 획득하고,
상기 제어부는 상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 분석함으로써, 상기 대상체의 형상을 검출하고,
상기 검출된 대상체의 형상에 기초하여, 상기 광원의 컬러를 변경하도록 상기 광 조사부를 제어하는, 3차원 스캔 시스템.
- 제6 항에 있어서,
상기 광원의 컬러는 상기 대상체의 형상에 따라 미리 결정되어 있는, 3차원 스캔 시스템.
- 제6 항에 있어서,
상기 제어부는,
상기 복수의 이미지 프레임 내에 설정된 관심 영역(Region of Interest)에 포함되는 대상체 중 최대 면적 비율을 갖는 대상체의 형상을 인식하는, 3차원 스캔 시스템.
- 광원을 이용하여 대상체에 광을 조사하고, 상기 대상체로부터 반사되는 광을 촬영하여 상기 대상체에 관한 적어도 하나의 이미지를 획득하는 단계;
획득된 상기 적어도 하나의 이미지를 분석하여 상기 대상체의 컬러 및 형상에 관한 정보를 획득하는 단계; 및
상기 획득된 대상체의 컬러 및 형상에 관한 정보에 기초하여, 상기 대상체에 조사되는 광원의 컬러를 변경하는 단계;
를 포함하는, 3차원 스캔 시스템의 동작 방법.
- 삭제
- 제9 항에 있어서,
상기 적어도 하나의 이미지를 획득하는 단계는,
R, G, B 광원 또는 백색 광원을 이용하여 상기 대상체에 R, G, B 광 또는 백색 광을 조사함으로써, 상기 적어도 하나의 이미지를 획득하고,
특성 정보를 분석하는 단계는, 상기 적어도 하나의 이미지를 분석함으로써 상기 대상체의 컬러에 관한 정보를 획득하는, 3차원 스캔 시스템의 동작 방법.
- 제11 항에 있어서,
상기 특성 정보를 분석하는 단계는,
상기 이미지로부터 컬러 히스토그램을 획득하는 단계; 및
상기 컬러 히스토그램을 분석하여 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 관한 정보를 획득하는 단계;
를 포함하고,
상기 광원의 컬러를 변경하는 단계는,
상기 R, G 및 B 중 이미지 픽셀의 누적 분포 비율이 최대인 컬러에 대응되는 광원으로 변경하는, 3차원 스캔 시스템의 동작 방법.
- 제11 항에 있어서,
상기 대상체를 촬영함으로써, 복수의 2D 이미지 프레임을 획득하는 단계;
를 더 포함하고,
상기 R, G 및 B 각각에 대응되는 복수의 이미지를 획득하는 단계는 상기 복수의 2D 이미지 프레임이 획득된 이후 수행되는, 3차원 스캔 시스템의 동작 방법.
- 제9 항에 있어서,
상기 대상체를 촬영함으로써 복수의 이미지 프레임을 획득하는 단계; 및
상기 복수의 이미지 프레임 중 적어도 하나의 이미지 프레임을 분석함으로써, 상기 대상체의 형상을 검출하는 단계;
를 더 포함하고,
상기 광원의 컬러를 변경하는 단계는,
상기 검출된 대상체의 형상에 기초하여, 상기 광원의 컬러를 변경하는, 3차원 스캔 시스템의 동작 방법.
- 제14 항에 있어서,
상기 광원의 컬러는 상기 대상체의 형상에 따라 미리 결정되어 있는, 3차원 스캔 시스템의 동작 방법.
- 제14 항에 있어서,
상기 대상체의 형상을 검출하는 단계는,
상기 적어도 하나의 이미지 프레임 내에 설정된 관심 영역(Region of Interest)에 포함되는 대상체 중 최대 면적 비율을 갖는 대상체의 형상을 인식하는, 3차원 스캔 시스템의 동작 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210010848A KR102516823B1 (ko) | 2021-01-26 | 2021-01-26 | 3차원 스캔 시스템, 및 그 동작 방법 |
| EP22746229.8A EP4285864A4 (en) | 2021-01-26 | 2022-01-26 | THREE-DIMENSIONAL SCANNING SYSTEM AND METHOD OF OPERATING THE SAME |
| PCT/KR2022/001405 WO2022164203A1 (ko) | 2021-01-26 | 2022-01-26 | 3차원 스캔 시스템, 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210010848A KR102516823B1 (ko) | 2021-01-26 | 2021-01-26 | 3차원 스캔 시스템, 및 그 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220107774A KR20220107774A (ko) | 2022-08-02 |
| KR102516823B1 true KR102516823B1 (ko) | 2023-04-03 |
Family
ID=82654797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210010848A Active KR102516823B1 (ko) | 2021-01-26 | 2021-01-26 | 3차원 스캔 시스템, 및 그 동작 방법 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4285864A4 (ko) |
| KR (1) | KR102516823B1 (ko) |
| WO (1) | WO2022164203A1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012152333A (ja) * | 2011-01-25 | 2012-08-16 | Fujifilm Corp | 内視鏡システム及びその光源制御方法 |
| WO2020173955A1 (en) | 2019-02-27 | 2020-09-03 | 3Shape A/S | Scanner device with replaceable scanning-tips |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101124269B1 (ko) * | 2010-07-30 | 2012-03-27 | 주식회사 엠지비엔도스코피 | 객체간 알지비 색상차이를 최대화하는 내시경용 엘이디 최적 조명장치 |
| US11122180B2 (en) * | 2014-05-02 | 2021-09-14 | Dentsply Sirona Inc. | Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan |
| KR102595753B1 (ko) * | 2016-07-27 | 2023-10-30 | 얼라인 테크널러지, 인크. | 치아 진단 기능이 있는 구강 내 스캐너 |
| KR102394308B1 (ko) * | 2017-03-10 | 2022-05-04 | (주)제노레이 | 스캐너 |
-
2021
- 2021-01-26 KR KR1020210010848A patent/KR102516823B1/ko active Active
-
2022
- 2022-01-26 EP EP22746229.8A patent/EP4285864A4/en active Pending
- 2022-01-26 WO PCT/KR2022/001405 patent/WO2022164203A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012152333A (ja) * | 2011-01-25 | 2012-08-16 | Fujifilm Corp | 内視鏡システム及びその光源制御方法 |
| WO2020173955A1 (en) | 2019-02-27 | 2020-09-03 | 3Shape A/S | Scanner device with replaceable scanning-tips |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4285864A1 (en) | 2023-12-06 |
| WO2022164203A1 (ko) | 2022-08-04 |
| EP4285864A4 (en) | 2025-03-05 |
| KR20220107774A (ko) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11730569B2 (en) | Generation of synthetic post treatment images of teeth | |
| US12086964B2 (en) | Selective image modification based on sharpness metric and image domain | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| JP6573907B2 (ja) | ３ｄスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体 | |
| CN1501325A (zh) | 伪三维图像生成设备 | |
| CN111937038A (zh) | 自动选择扫描策略的3d扫描 | |
| KR102534778B1 (ko) | 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 | |
| US20230401804A1 (en) | Data processing device and data processing method | |
| KR102516823B1 (ko) | 3차원 스캔 시스템, 및 그 동작 방법 | |
| KR20230002049A (ko) | 구강 이미지 처리 장치 및 구강 이미지 처리 방법 | |
| US20250160616A1 (en) | Method of generating a training data set for determining periodontal structures of a patient | |
| US20240398519A1 (en) | Systems and methods for generating a digital representation of a 3d object | |
| KR102781489B1 (ko) | 구강 이미지를 처리하는 데이터 처리 장치 및 구강 이미지 처리 방법 | |
| KR102632338B1 (ko) | 데이터 처리 방법 | |
| KR20220059908A (ko) | 데이터 처리 장치 및 데이터 처리 방법 | |
| US20230298270A1 (en) | Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method | |
| KR102444195B1 (ko) | 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 | |
| KR102810452B1 (ko) | 이미지 처리 장치, 및 이미지 처리 방법 | |
| EP4287202A1 (en) | Digital dental impressions | |
| JP2025509666A (ja) | コンピュータ化された歯科視覚化 | |
| JP2024029382A (ja) | データ生成装置、データ生成方法、およびデータ生成プログラム | |
| KR20230166012A (ko) | 3차원 스캐너의 스캔 이미지 처리 방법, 장치 및 명령을 기록한 기록매체 | |
| CN118511197A (zh) | 用于生成3d对象的数字表示的系统和方法 | |
| FI20235483A1 (en) | Device and method for imaging teeth |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20210126 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220913 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230324 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230328 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230329 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |