KR101256194B1 - Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination - Google Patents
Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination Download PDFInfo
- Publication number
- KR101256194B1 KR101256194B1 KR1020100104329A KR20100104329A KR101256194B1 KR 101256194 B1 KR101256194 B1 KR 101256194B1 KR 1020100104329 A KR1020100104329 A KR 1020100104329A KR 20100104329 A KR20100104329 A KR 20100104329A KR 101256194 B1 KR101256194 B1 KR 101256194B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- reference point
- label
- coordinate synchronization
- image registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000003550 marker Substances 0.000 title claims abstract description 12
- 238000005070 sampling Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000004519 manufacturing process Methods 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 238000001356 surgical procedure Methods 0.000 claims abstract description 5
- 238000003325 tomography Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 abstract description 5
- 210000000988 bone and bone Anatomy 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이종영상정합 또는 좌표동기화에 관련된 것으로, 더욱 상세하게는 마커 등 표지물을 이용하여 이종의 영상을 정합하고 이종의 기기간의 좌표동기화를 수행하되 표지물의 영상에서 기준점을 지정하고 지정된 기준점으로부터 영상정합 또는 좌표동기화를 위한 참조점을 추출하는 방법에 대한 것이다.
본 발명의 영상정합 또는 좌표동기화용 참조점 추출방법은 구강내 시술에 이용되는 보철물, 교정기구물, 구강외과시술 가이드의 제작, 가공, 위치이송을 위한 영상정합 또는 좌표동기화 방법에 있어서, 상기 영상정합 또는 좌표동기화의 대상물 및 이와 고정된 표지물의 영상정보를 획득하는 단계; 상기 획득된 영상에서 상기 표지물의 이미지에서 복수개의 기준점을 지정하는 단계; 상기 지정단계에서 지정된 기준점으로부터 상기 표지물을 대표하는 참조점을 추출하고, 추출된 참조점을 이용하여 영상정합 또는 좌표동기화에 활용하는 단계를 포함한다.
본 발명에 따른 영상정합 또는 좌표동기화용 참조점 추출방법은 구강내 시술에 이용되는 보철물, 교정장치, 구강외과적 시술장치, 시술유도장치의 가공 또는 제작을 위한 영상정합 또는 좌표동기화를 위한 마커를 나타내는 참조점을 보다 정확히 추출할 수 있고, 지정된 복수의 기준점을 이용한 3점호, 최소자승법에 따른 참조점 추출에 따라 슬라이스 간격에 구애받지 않는 효과가 있으며, 별도의 통계적 보정이 별도로 존재하지 않고 참조점 추출과정에서 통계적 보정이 이루어지는 효과가 있다.The present invention relates to heterogeneous image registration or coordinate synchronization, and more particularly, to match heterogeneous images using markers such as markers and to perform coordinate synchronization between heterogeneous devices, but to designate a reference point in the image of the cover image and to designate an image from a specified reference point. A method of extracting a reference point for registration or coordinate synchronization.
In the image registration or coordinate synchronization reference point extraction method of the present invention in the image registration or coordinate synchronization method for the production, processing, position transfer of the prosthesis, orthodontic appliance, oral surgery guide used in the oral procedure, the image registration Or obtaining image information of an object of coordinate synchronization and a label fixed thereto; Designating a plurality of reference points in the image of the label in the acquired image; And extracting a reference point representative of the label from the reference point designated in the designation step, and using the extracted reference point for image registration or coordinate synchronization.
The reference point extraction method for image registration or coordinate synchronization according to the present invention is a marker for image registration or coordinate synchronization for processing or fabricating a prosthesis, orthodontic device, oral surgical device, or surgical guide device used for intraoral procedures. It is possible to extract the reference point more accurately, and it is effective regardless of the slice interval by extracting the three point arc using a plurality of designated reference points and the reference point according to the least-squares method, and there is no separate statistical correction. Statistical correction is performed during the extraction process.
Description
본 발명은 이종영상정합 또는 좌표동기화에 관련된 것으로, 더욱 상세하게는 마커 등 표지물을 이용하여 이종의 영상을 정합하고 이종의 기기간의 좌표동기화를 수행하되 표지물의 영상에서 기준점을 지정하고 지정된 기준점으로부터 영상정합 또는 좌표동기화를 위한 참조점을 추출하는 방법에 대한 것이다.
The present invention relates to heterogeneous image registration or coordinate synchronization, and more particularly, to match heterogeneous images using markers such as markers and to perform coordinate synchronization between heterogeneous devices, but to designate a reference point in the image of the cover image and to designate an image from a specified reference point. A method of extracting a reference point for registration or coordinate synchronization.
디지털 영상기술이 발전하면서 3차원 진단영상을 통해 획득한 환자의 해부학적 영상을 분석하여 이를 환자의 시술에 사용되는 다양한 장치, 보철물, 장착물 등의 제작에 활용하는 사례가 늘고 있다. As digital imaging technology develops, an increasing number of cases of analyzing anatomical images of patients acquired through three-dimensional diagnostic images and using them in the production of various devices, prostheses, and fittings used in the treatment of patients are increasing.
이 가운데에 특히 구강내 시술 중 보철, 교정, 외과시술분야에 대하여 기존의 기공공정과 환자의 영상을 활용한 디지털공정을 융합하기 위한 시도가 활발히 이루어지고 있으며, 이를 위해서는 환자의 CT, MRI 등과 같은 영상과 이보다 정밀도가 높은 구강내 스캔영상 또는 인상모델에 대한 영상의 정합이 필요한 경우가 있다. In particular, attempts have been actively made to fuse existing pore processes and digital processes using patient images in the areas of prosthetics, correction, and surgical procedures. In some cases, it is necessary to match the image with a higher-precision intraoral scan or impression model.
위의 영상정합은 결국 구강내에 장착가능한 외과시술유도장착물, 보철물, 교정기구물 등의 정밀한 제작을 위해 필요하며, 이들을 제작, 가공하는 기기인 교합기, 위치이송기, 가공기(이하 수행기기) 등에 이들의 제작, 가공을 위해 구강내장착물 또는 인상모델 등을 장착해야 하는 필요성도 있을 수 있다. The image registration is necessary for the precise manufacturing of surgical guides, prosthetics, and orthodontic appliances that can be installed in the oral cavity, and the production of them in articulators, position transfer machines, and processing machines (hereinafter, performed devices). It may also be necessary to mount an oral fixture or impression model for processing.
더욱 상세하게는, 위 제작, 가공, 이송 과정을 위해 구강내 장착물 또는 인상모델에 마커를 부착 내지는 형성하거나 구강내 장착물 또는 인상모델과 상보결합하는 매개물에 마커를 부착내지는 형성한 뒤, 이에 대한 3차원 입체정보를 획득하고, 획득한 3차원 입체정보에 포함된 마커로부터 참조정보를 추출하고, 이들 참조정보로부터 형성 가능한 좌표계(영상에서의 마커 및 제작 가공의 위치를 나타내기 위한 기준점)와 상기에서 언급한 제작 또는 가공 또는 위치이송을 위한 기기에 부여된 기기좌표계(제작, 가공의 수행을 위한 기준점)를 동기화하는 좌표동기화가 활발히 시도되어 왔다. More specifically, the marker is attached to or formed on the intraoral attachment or impression model for the production, processing, and transport of the stomach, or the marker is attached to the medium that is complementary to the intraoral attachment or impression model. Obtaining coordinate information about the 3D stereoscopic information, extracting reference information from the markers included in the acquired 3D stereoscopic information, and forming a coordinate system (a reference point for indicating the position of the marker and the manufacturing process in the image) Coordinate synchronization has been actively attempted to synchronize the machine coordinate system (the reference point for the production and the processing) given to the apparatus for manufacturing or processing or position transfer mentioned above.
이러한 제작, 가공, 위치이송을 위한 정밀한 좌표동기화 또는 영상정합을 위해 마커로부터 참조점을 추출하는 방법은 다양하게 시도되어 왔으나, 참조점 추출에 사람의 인식이 개입되어 정밀도가 떨어지는 문제가 있어 왔다.There have been various attempts to extract reference points from markers for precise coordinate synchronization or image registration for fabrication, processing, position transfer, and the like.
통상의 방법 중, 하나의 십자선으로 시뮬레이션 소프트웨어상 단면영상에 대해 기준점을 입력토록 한 뒤 90도 위상관계를 갖는 단면영상에 대해 그 값을 보정토록 하여, 상기 기준점으로부터 참조점을 추출하는 방식은 주관성이 개입될 가능성이 매우 큰 문제를 지닌다.Among the conventional methods, a method of extracting a reference point from the reference point by inputting a reference point for the cross-sectional image on the simulation software with one crosshair and then correcting the value of the cross-sectional image having a 90 degree phase relationship is subjective. The possibility of this intervention is very large.
또한, 복수개의 각 마커에 대해 단면 또는 3차원 재건영상에 대해 하나의 기준점을 단순히 지정하여 이를 참조점하여, 상기 방법으로 지정된 복수개의 참조점을 영상정합 또는 좌표동기화에 사용함으로써 부정확한 정보의 통계적 처리가 갖는 오류를 범하였다.
In addition, by simply specifying one reference point for the cross-section or three-dimensional reconstruction image for each of the plurality of markers and referencing them, the statistical information of the inaccurate information is obtained by using the plurality of reference points designated by the above method for image registration or coordinate synchronization. Violated error in processing.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 영상정합 또는 좌표동기화의 정밀도를 높이기 위해, 영상촬영시 구강내 적용되어 촬영되는 마커 상에서 기준점을 간명하게 지정하되 지정된 기준점으로부터 각 표지물의 상대적 위치값을 정확히 나타낼 수 있는 참조점을 추출하는 방법을 제공함에 있다.
The present invention is to solve the above problems, an object of the present invention, in order to increase the accuracy of image registration or coordinate synchronization, to specify a reference point on the marker that is applied in the oral cavity during the image taking, but from each designated reference point It is to provide a method for extracting a reference point that can accurately represent the relative position value of the label.
상기와 같은 목적을 달성하기 위해 본 발명의 영상정합 또는 좌표동기화용 참조점 추출방법은 구강내 시술에 이용되는 보철물, 교정기구물, 구강외과시술 가이드의 제작, 가공, 위치이송을 위한 영상정합 또는 좌표동기화 방법에 있어서, 상기 영상정합 또는 좌표동기화를 위한 표지물이 포함된 영상을 획득하는 단계; 상기 획득된 영상에 포함된 상기 표지물의 이미지에서 복수개의 기준점을 지정하는 단계; 상기 지정단계에서 지정된 기준점으로부터 상기 표지물을 대표하는 참조점을 추출하고, 추출된 참조점을 이용하여 영상정합 또는 좌표동기화를 수행하는 단계를 포함한다.In order to achieve the above object, the image registration or coordinate synchronization reference point extraction method of the present invention is used for oral prosthesis, orthodontic appliance, oral surgery guide, the image registration or coordinates for the positioning, processing, position transfer A synchronization method, comprising: obtaining an image including a label for the image registration or coordinate synchronization; Designating a plurality of reference points in the image of the cover sheet included in the obtained image; Extracting a reference point representative of the label from the reference point designated in the designation step, and performing image registration or coordinate synchronization using the extracted reference point.
또한, 상기 표지물이 포함된 영상을 획득하는 단계에서, 상기 영상은 단층촬영을 통해 획득된 영상인 것을 특징으로 한다.In addition, in the obtaining of the image including the label, the image is characterized in that the image obtained through tomography.
또한, 상기 표지물에서 지정될 기준점을 모두 포함하는 기준면이 상기 표지물의 영상을 표현하는 고유 좌표계에 기초하여 생성한 슬라이스단면과 일치하거나 나란한 경우, 상기 표지물의 이미지에서 참조점 추출을 위해 복수개의 기준점을 지정하는 단계는 상기 표지물의 슬라이스 이미지에서 표지물 외곽경계부에 복수개의 기준점을 지정하여 참조점을 추출하는 것을 특징으로 한다.In addition, when a reference plane including all reference points to be designated in the label is identical to or parallel to a slice section generated based on a unique coordinate system representing an image of the label, a plurality of reference points may be selected for extracting reference points from the image of the label. The specifying step may include extracting a reference point by designating a plurality of reference points in the outer perimeter of the label in the slice image of the label.
또한, 상기 표지물의 외곽경계부는 다각형 또는 원이고, 상기 기준점은 다각형의 꼭지점 또는 원호 상에서 지정하는 것을 특징으로 한다.In addition, the outer boundary of the label is a polygon or circle, the reference point is characterized in that the designation on the vertex or arc of the polygon.
또한, 상기 표지물에서 지정될 기준점을 모두 포함하는 기준면이 상기 표지물의 영상을 표현하는 고유 좌표계에 기초하여 생성한 슬라이스단면과 소정의 기울기를 갖는 경우, 상기 표지물의 이미지에서 참조점 추출을 위해 복수개의 기준점을 지정하는 단계는 복수의 슬라이스면상에 나타난 상기 표지물의 단면 이미지에서 현과 폐곡선의 경계점, 선분과 선분 또는 곡선과 곡선의 경계점을 기준점으로 선택하는 것을 특징으로 한다.In addition, when a reference plane including all reference points to be designated in the label has a predetermined cross section and a slice section generated based on an intrinsic coordinate system representing an image of the label, a plurality of reference points may be extracted to extract reference points from the image of the label. The step of designating a reference point is characterized by selecting the boundary point of the chord and the closed curve, the line segment and the line segment or the boundary point of the curve and the curve as the reference point in the cross-sectional image of the label on the plurality of slice surfaces.
또한, 상기 단층촬영을 통해 획득된 영상을 3차원 영상으로 재건하는 단계를 더 포함하고, 상기 표지물의 이미지에서 복수개의 기준점을 지정하는 단계는 상기 3차원으로 재건된 영상내의 상기 표지물의 이미지에서 곡면과 평면의 경계부에서 기준점을 선택하는 것을 특징으로 한다.The method may further include reconstructing the image acquired through the tomography into a 3D image, and designating a plurality of reference points in the image of the cover material includes curved surfaces of the image of the cover material in the 3D image. Selecting a reference point at the boundary of the and plane.
또한, 상기 표지물의 기준점을 추출하는 단계는 상기 외곽경계부에서 선택된 복수개의 기준점으로부터 3점호 또는 최소자승법을 통해 원을 계산하고, 그 원의 중심을 참조점으로 추출하는 것을 특징으로 한다.The extracting of the reference point of the label may include calculating a circle from a plurality of reference points selected by the outer boundary unit using a three-point arc or a least-square method, and extracting the center of the circle as a reference point.
또한, 상기 표지물의 이미지에서 참조점 추출을 위해 복수개의 기준점을 지정하는 단계는 서로 다른 2개 이상의 슬라이스 단면 상에서 상기 지정과정을 실행하는 것을 특징으로 한다.
In addition, the step of designating a plurality of reference points for extracting a reference point from the image of the label is characterized in that for performing the designation process on two or more different slice cross-sections.
이상과 같은 구성의 본 발명은 구강내 시술에 이용되는 보철물, 교정장치, 구강외과적 시술장치, 시술유도장치의 가공 또는 제작을 위한 영상정합 또는 좌표동기화를 위한 마커를 나타내는 참조점을 보다 정확히 추출할 수 있다. The present invention having the above-described configuration more accurately extracts a reference point representing a marker for image registration or coordinate synchronization for processing or fabrication of a prosthesis, orthodontic device, oral surgical device, or surgical guide device used in an oral procedure. can do.
또한, 지정된 복수의 기준점을 이용한 3점호, 최소자승법에 따른 참조점 추출에 따라 슬라이스 간격에 구애받지 않는 효과가 있다. In addition, there is an effect that regardless of the slice interval according to the three-point arc using the specified plurality of reference points, the reference point extraction according to the least-squares method.
또한, 별도의 통계적 보정이 별도로 존재하지 않고 참조점 추출과정에서 통계적 보정이 이루어지는 효과가 있다. In addition, there is no separate statistical correction, there is an effect that the statistical correction is performed in the reference point extraction process.
또한, 마커의 경계부 등에서 기준점을 지정함에 따라 보다 인식이 분명하고 용이하게 기준점을 지정할 수 있어 마커의 위치에 대한 추정정밀도가 높아지는 장점이 있다.
In addition, by specifying a reference point at the boundary of the marker, etc., the recognition point can be more clearly and easily specified, and thus, the estimation precision of the position of the marker is increased.
도 1은 본 발명의 일실시예에 따른 영상정합 또는 좌표동기화용 참조점 추출방법의 흐름도이고,
도 2 내지 5는 본 발명의 참조점 추출방법에 따른 다양한 추출과정을 도시한 도면이고,
도 6은 본 발명의 일실시예에 따른 추출방법에 따라 지정된 기준점을 이용한 참조점을 추출과정을 나타내는 도면이다.1 is a flowchart of a method of extracting a reference point for image registration or coordinate synchronization according to an embodiment of the present invention;
2 to 5 are views illustrating various extraction processes according to the reference point extraction method of the present invention,
6 is a diagram illustrating a process of extracting a reference point using a designated reference point according to an extraction method according to an embodiment of the present invention.
이하에서 도면을 참조하여 본 발명에 따른 영상정합 또는 좌표동기화용 참조점 추출방법에 대해 상세히 설명한다.Hereinafter, a reference point extraction method for image registration or coordinate synchronization according to the present invention will be described in detail.
최근 임플란트 등 구강내 시술을 수행함에 있어서 피시술자의 CT 영상 등을 활용하여 시술계획을 미리 시뮬레이션한 후 구강내 시술유도 장착물(surgical guide)을 통해 치조골을 천공하는 방법이 많이 이용되고 있다.Recently, in performing an intraoral procedure such as an implant, a method of perforating the alveolar bone through a surgical guide after simulating a procedure plan in advance using a CT image of a subject has been widely used.
위와 같은 영상을 이용한 시술은 피시술자의 영상을 이용하여 결정된 치조골의 천공 위치, 방향, 깊이 등 구강내 시술유도 장착물의 제작, 가공에 대한 정보를 이를 제작 가공할 가공장치에 정확히 전달하는 것이 매우 중요한데 이러한 정보의 전달과정에는 이종의 영상을 정합하는 과정과 영상에서 결정된 가공정보를 나타내는 좌표계와 가공장치의 좌표계를 동기화하는 좌표동기화 과정이 필수적이다.In the procedure using the above image, it is very important to accurately transmit the information about the fabrication and processing of the oral procedure-guided attachment such as the puncture location, direction, and depth of the alveolar bone determined using the image of the subject to the processing apparatus to be manufactured and processed. In the transfer of information, a process of matching heterogeneous images and a coordinate synchronization process for synchronizing the coordinate system representing the processing information determined from the image and the coordinate system of the processing apparatus are essential.
이종의 영상 정합간의 정합은 임플란트 시술의 경우를 예로 들어 설명하면 시술계획의 시뮬레이션은 피시술자의 치조골 등의 정보를 알 수 있는 CT 단층촬영 영상을 통해 이루어지고 피시술자에 적용할 시술정보 또한 CT 영상 내에 포함되게 된다. 영상 내의 시술정보를 구강내 시술유도 장착물에 반영하여 가공하기 위해서 시술정보를 가공장치에 여러 가지 방법을 통해 전달하게 되는데 어떤 방법이든 피시술자에게 마커 등 표지물이 포함된 구강내 장착물을 장착시킨 상태에서 CT 단층영상을 얻고 표지물이 포함된 CT 영상에서의 표지물 위치를 인식하는 것이 필요하다. 표지물의 인식하는 이유는 표지물을 매개로 CT 영상에서 얻어진 시술정보를 다른 기기로 전달하기 때문이다.For example, registration of heterogeneous image registration is explained using the case of implant procedure. Simulation of the treatment plan is performed through CT tomography image that can know information about alveolar bone of the subject, and the procedure information to be applied to the subject is also included in the CT image. Will be. In order to reflect the treatment information in the image to the oral procedure induction fixture, the treatment information is transmitted to the processing apparatus through various methods.In any method, the intraoral attachment including the marker and the like is attached to the subject. It is necessary to obtain a CT tomography image and to recognize the position of the label in the CT image including the label. The reason for the recognition of the label is that the procedure information obtained from the CT image is transferred to another device through the label.
종래 표지물의 인식과정에 사람의 인식이 과도하게 개입되고, 위치 인식 자체가 매우 부정확 하거나 통계적 처리에 따른 오류가 있어 정확한 인식이 어려운 문제가 있음은 앞서 언급한 바와 같다.As mentioned above, there is a problem that the recognition of a human being is excessively involved in the recognition process of a conventional label, and the location recognition itself is very inaccurate or an error due to statistical processing is difficult.
본 발명의 영상정합 또는 좌표동기화용 참조점 추출방법은 우선 영상정합 또는 좌표동기화를 위한 표지물의 이미지가 포함된 영상을 획득한다.(S100) 획득되는 영상은 다양한 종류가 있을 수 있으나 구강내 시술의 경우 피시술자의 두개악안면부가 포함된 영상이며 통상 CT 영상이 사용된다.In the image registration or coordinate synchronization reference point extraction method of the present invention, first, an image including an image of a label for image registration or coordinate synchronization is obtained. (S100) The obtained image may have various types, In this case, the image includes the craniofacial part of the subject and a CT image is usually used.
획득된 CT 영상은 시술을 위한 시뮬레이션에도 활용되며 시술정보의 전달을 위해 다른 종류의 영상과 정합되거나 가공장치의 좌표계와 동기화에도 활용된다. 영상 정합이든 좌표동기화든 간에 획득된 영상에서 참조점을 추출하는 과정 즉, 영상내에서 표지물의 위치를 인식하는 과정은 필요하며 본 발명은 획득된 영상에 포함된 표지물의 이미지에서 복수의 기준점을 지정하고(S110), 지정된 기준점으로부터 표지물을 대표하는 다시 말하면 표지물의 위치정보를 나타내는 참조점을 추출하고 추출된 참조점을 이용하여 영상정합 또는 좌표동기화를 수행한다.(S120)The acquired CT image is used for simulation for the procedure, and it is also used for matching with other kinds of images or for synchronizing with the coordinate system of the processing device to transfer the procedure information. Regardless of image registration or coordinate synchronization, a process of extracting a reference point from the acquired image, that is, a process of recognizing the position of the label in the image is required, and the present invention designates a plurality of reference points in the image of the cover material included in the acquired image. (S110), that is, a reference point representing the label information from the designated reference point is extracted, and image registration or coordinate synchronization is performed using the extracted reference point (S120).
위 기준점 지정 및 참조점 추출과정을 도 2 내지 도 6을 참조하여 이하에서 상세히 설명한다. 기준점의 지정 등이 다양한 것은 표지물이 포함된 영상에서 표지물의 위치, 형상 등이 다양히 존재하기 때문이다. 또한, 기준점은 표지물의 일 단면 예컨대 표지물이 기둥의 형상인 경우 상부면 또는 하부면에서 기준점을 지정하는 것이 정확한 위치인식 및 정밀한 영상정합과 좌표동기화를 수행함에 있어서 바람직하다. 이하에서 기준면은 위 상부면 또는 하부면 등 지정되는 기준점을 모두 포함하는 평면을 말한다. 또한, 기준점 추출의 정확성 및 용이성을 위해 표지물은 단면이 원 또는 다각형인 것이 바람직하다.The reference point designation and reference point extraction process will be described in detail below with reference to FIGS. 2 to 6. The designation of the reference point is various because the location, shape, etc. of the label are variously present in the image including the label. In addition, the reference point is preferably in one cross section of the label, for example, when the label is in the shape of a column, to designate the reference point on the upper surface or the lower surface in performing accurate position recognition and precise image registration and coordinate synchronization. Hereinafter, the reference plane refers to a plane including all of the designated reference points, such as the upper or lower surface. In addition, it is preferable that the label is circular or polygonal in cross section for accuracy and ease of reference point extraction.
도 2는 표지물이 단층촬영된 영상의 슬라이스면에 비스듬히 위치한 경우 기준점을 산출하는 과정을 도시한 것이다. 더 정확히는 슬라이스면이 표지물의 기준면을 단절하며 만들어지는 단면이 직선을 포함하는 곡선의 형태로 표현되는 경우이다. 슬라이스면의 이동에 따른 표지물의 단층영상을 차례로 나타낸 것으로 슬라이스면은 기준면을 따라 이동된다. 슬라이스 면이 표지물의 기준면에 비스듬히 위치한 경우 하나의 슬라이스면에서 모든 기준점을 지정하는 것보다 복수의 슬라이스면에서 지정하는 것이 더 정확한 참조점을 추출할 수 있다. 표지물의 형상이 원기둥인 경우 슬라이스면에 비스듬히 위치한 관계로 현이 포함된 폐곡선의 형상을 나타내며 슬라이스면의 이동에 따라 조금씩 폐곡선의 길이가 변화하게 되는 특징이 있다. 이 경우 표지물의 기준점으로는 폐곡선과 현이 만나는 에지점을 지정하는 것이 바람직하고 지정된 기준점들을 이용하여 표지물의 참조점을 산출할 수 있고 도 2에서 선택된 3개 또는 3개 이상의 복수개의 참조점은 도 6의 왼쪽 그림상에 도시되어 있다. 선택된 3개 또는 3개 이상의 복수개의 점을 모두 통과하는 원을 계산한 후 그 원의 중심점을 표지물의 참조점을 삼는다. 원을 계산하는 방법은 여러 종류가 있겠지만 계산 및 정확성 측면에서 3점호 내지는 최소자승법을 이용하는 것이 바람직하다. 이렇게 하면 3개 또는 3개 이상의 복수개의 기준점으로부터 원을 만들어내는 과정에서 이미 통계적인 수학공정이 포함되어 보정된 기준점을 추출할 수 있으므로, 3차원 공간상에 위치한 표지물의 위치를 정확히 표현할 수 있고 영상정합을 위해 점대점 매칭을 이용하더라도 오정합의 확률이 매우 작아진다.2 illustrates a process of calculating a reference point when the label is obliquely positioned on the slice surface of the tomography image. More precisely, the slice plane cuts off the reference plane of the label and the cross section created is expressed in the form of a curve including a straight line. A tomographic image of the label according to the movement of the slice plane is shown in order. The slice plane is moved along the reference plane. When the slice plane is positioned obliquely to the reference plane of the label, it is possible to extract the reference point more accurately by specifying in the plurality of slice planes than by designating all the reference points in one slice plane. In the case where the shape of the label is a cylinder, the shape of the closed curve including the string is shown as being obliquely positioned on the slice surface, and the length of the closed curve is changed little by little as the slice surface moves. In this case, it is preferable to designate an edge point where the closed curve and the string meet as a reference point of the label, and the reference point of the label may be calculated using the designated reference points, and three or more reference points selected from FIG. It is shown on the left figure of. Calculate a circle passing through all three or more points selected and use the center point of the circle as the reference point for the label. There are many ways to calculate the circle, but from the point of view of calculation and accuracy, it is preferable to use the three-point arc or the least-square method. In this way, the process of creating circles from three or more than three reference points can extract the corrected reference point by including the statistical mathematical process, so that the position of the label placed in the three-dimensional space can be accurately represented and the image Even if you use point-to-point matching for matching, the probability of mismatch is very small.
도 3은 도 2와 동일한 형상의 표지물이 슬라이스면과 나란이 위치한 경우이다. 이 경우에는 하나의 표지물에 대해 단일 슬라이스면에 기준점을 선택하되 표지물 단면 중 표지물의 상면과 같이 슬라이스 이동 도중 가장 최초 또는 최후에 나타난 원형의 에지를 따라 참조점을 선택한다. 만약 표지물의 옆면이 테이퍼져 있다면, 표지물 단면이 가장 넓거나 가장 좁은 부분과 같이 참조점이 존재하는 면에 해당하는 면적을 참조하여 외곽형상에 기준점을 선택하여야 할 것이다. 이렇게 선택된 기준점은 도 2와 동일하게 도 6에 도시되어 있고, 계산된 원의 중심을 표지물의 기준점을 삼는다.3 is a case where the label having the same shape as that of FIG. 2 is located parallel to the slice surface. In this case, a reference point is selected on a single slice surface for one label, but a reference point is selected along a circular edge that is shown first or last during slice movement, such as the top surface of the label in the label section. If the sides of the label are tapered, the reference point should be selected on the outline by referring to the area corresponding to the surface where the reference point exists, such as the widest or narrowest section of the label. The selected reference point is shown in FIG. 6 in the same manner as in FIG. 2 and uses the center of the calculated circle as the reference point of the label.
도 4는 슬라이스면에 의해 표지물이 잘리는 경우를 나타낸 것으로, 더 정확히는 슬라이스면에 의한 표지물 단면이 그 면의 각도에 의해 4각형 또는 사다리꼴로 나타나는 경우를 말한다. 이 경우 표지물 상의 기준점을 추출하는 면과 표지물지지면과의 경계부는 4각형 내지는 사다리꼴 중 가장 예각인 두 꼭지점이 되므로, 슬라이스면을 이동하며 나타나는 예각 꼭지점을 기준점으로 선택하되, 슬라이스면의 이동에 따라 위 또는 아래로 교차하여 선택해주는 것이 바람직하다. 4 shows a case in which the label is cut by the slice surface, and more precisely, the cross section of the label by the slice surface is represented by a square or trapezoid by the angle of the surface. In this case, the boundary between the surface extracting the reference point on the label and the surface of the label is the two sharpest corners of the quadrilateral or trapezoid, so select an acute vertex that appears while moving the slice surface as a reference point. It is preferable to select up or down.
도 5는 CT단면에서 기준점을 선택하지 않고 3차원 영상으로 재구성한 뒤 3차원 영상에서 상부 또는 하부의 외곽선 상에서 기준점을 선택하는 경우로서 외곽선이 원인 경우 원주상에서 임의로 3점을 선택하되 되도록 점간의 간격이 크도록 선택하고, 외곽선이 다각형인 경우 꼭지점을 선택하는 것이 바람직하다. 선택된 3점에 의한 처리는 도 2의 경우와 동일하다.Figure 5 is a case of selecting a reference point on the upper or lower outline in the three-dimensional image after reconstructing into a three-dimensional image without selecting the reference point in the CT cross-section. It is preferable to select this to be large and to select a vertex when the outline is a polygon. The processing by the selected three points is the same as in the case of FIG.
위와 같이 외곽선으로부터 3개의 점을 추출한 후에는 3점을 모두 통과하는 원을 생성하고 그 중심을 표지물의 참조점으로 삼아 영상정합 등에 활용한다. 이렇게 기준점을 산출하여 활용하는 경우 종래의 이미지 매칭을 통한 영상정합과정에 비해 처리과정이 매우 간단하고 점대점(point to point)으로 영상을 매칭함에 따라 그 정밀도가 종래에 비해 매우 현저히 상승하는 효과가 있다.After extracting three points from the outline as above, a circle that passes all three points is created and the center is used as a reference point for the label to be used for image registration. In the case of calculating and using the reference point, the processing is much simpler than the image matching process through the conventional image matching, and the accuracy is significantly increased compared to the conventional one by matching the image by point to point. have.
추출된 기준점을 활용한 좌표동기화 방법을 예를 들어 설명하면 임플란트에 활용되는 구강내 시술유도 장착물를 가공할 때 피시술자의 구강내 인상정보를 포함하는 인상모델을 활용할 수도 있는데 이 경우 구강내 시술유도 장착물은 인상모델에 결합된 후 그 가공을 위한 장치의 고정부 등에 인상모델을 설치한다. 이때 고정부는 가공장치에 마련된 구성으로 가공장치의 좌표원점가 위치되도록 하는 것이 일반적인데 CT 영상과 피시술자의 인상모델을 정합하고, 가공장치의 고정부와 상보적으로 결합되는 인상모델의 하부 형상 이미지를 본 발명의 참조점 추출방법을 통해 기준점을 추출한다면 고정부와 결합 후 인상모델의 기준점과 좌표원점 사이의 위치관계를 알 수 있으므로 영상에서의 좌표계과 가공장치에서의 좌표계를 동기화 할 수 있게 된다. 물론 위에 설명한 좌표동기화의 일예에 한정되는 것은 아니다.For example, the coordinate synchronization method using the extracted reference point can be described using an impression model including the intraoral impression information of the subject when processing the oral procedure induction fitting used for the implant. In this case, the intraoral procedure is also installed. After the water is combined with the impression model, the impression model is installed in a fixed part of the device for processing. At this time, it is common that the fixed part is positioned so that the coordinate origin of the processing device is positioned by the configuration provided in the processing device. If the reference point is extracted through the method of extracting the reference point of the invention, the positional relationship between the reference point and the coordinate origin of the impression model can be known after coupling with the fixed part, so that the coordinate system in the image and the coordinate system in the processing apparatus can be synchronized. Of course, it is not limited to the example of the coordinate synchronization described above.
Claims (8)
단층촬영을 통해 상기 영상정합 또는 좌표동기화를 위한 표지물이 포함된 영상을 획득하는 단계;
상기 획득된 단층촬영 영상에 포함된 상기 표지물의 슬라이스 이미지에서 복수개의 기준점을 지정하는 단계; 및
상기 지정단계에서 지정된 복수개의 기준점으로부터 3점호 또는 최소자승법을 통해 원을 계산하고, 그 원의 중심을 상기 표지물을 대표하는 참조점으로 추출하고, 상기 추출된 참조점을 이용하여 영상정합 또는 좌표동기화를 수행하는 단계;
를 포함하는 영상정합 또는 좌표동기화를 위한 참조점 추출방법.
In the reference point extraction method for image registration or coordinate synchronization for the production, processing or position transfer of the prosthesis, orthodontic appliance, oral surgery guide used in the oral procedure,
Acquiring an image including a marker for image registration or coordinate synchronization through tomography;
Designating a plurality of reference points in the slice image of the label included in the acquired tomography image; And
Computing a circle from a plurality of reference points specified in the designation step through a three-point arc or a least square method, extracting the center of the circle as a reference point representing the label, and image registration or coordinate synchronization using the extracted reference point Performing;
Reference point extraction method for image registration or coordinate synchronization comprising a.
상기 표지물에서 지정될 기준점을 모두 포함하는 기준면이 상기 표지물의 영상을 표현하는 고유 좌표계에 기초하여 생성한 슬라이스단면과 일치하거나 나란한 경우,
상기 표지물의 슬라이스 이미지에서 참조점 추출을 위해 복수개의 기준점을 지정하는 단계는 상기 표지물의 슬라이스 이미지에서 표지물의 외곽경계부에 복수개의 기준점을 지정하여 참조점을 추출하는 것을 특징으로 하는 영상정합 또는 좌표동기화를 위한 참조점 추출방법.
The method according to claim 1,
When a reference plane including all reference points to be designated in the label is identical to or parallel to a slice section generated based on a unique coordinate system representing an image of the label,
In the step of designating a plurality of reference points for extracting reference points from the slice image of the label, image registration or coordinate synchronization may be performed by extracting reference points by designating a plurality of reference points on the outer boundary of the label from the slice image of the label. Reference point extraction method for.
상기 표지물의 외곽경계부는 다각형 또는 원이고, 상기 기준점은 다각형의 꼭지점 또는 원호 상에서 지정하는 것을 특징으로 하는 영상정합 또는 좌표동기화를 위한 참조점 추출방법.
The method according to claim 3,
The outer boundary of the label is a polygon or a circle, and the reference point is a reference point extraction method for image registration or coordinate synchronization, characterized in that the designation on the vertex or arc of the polygon.
상기 표지물에서 지정될 기준점을 모두 포함하는 기준면이 상기 표지물의 영상을 표현하는 고유 좌표계에 기초하여 생성한 슬라이스단면과 소정의 기울기를 갖는 경우,
상기 표지물의 슬라이스 이미지에서 참조점 추출을 위해 복수개의 기준점을 지정하는 단계는 상기 슬라이스단면상에 나타난 상기 표지물의 슬라이스 이미지에서 현과 폐곡선의 경계점, 선분과 선분 또는 곡선과 곡선의 경계점을 기준점으로 선택하는 것을 특징으로 하는 영상정합 또는 좌표동기화를 위한 참조점 추출방법.
The method according to claim 1,
When the reference plane including all reference points to be designated in the label has a predetermined cross section and a slice section generated based on the intrinsic coordinate system representing the image of the label,
The step of designating a plurality of reference points for extracting a reference point from the slice image of the label includes selecting a boundary point of a chord and a closed curve, a line segment and a line segment, or a boundary point of a curve and a curve as a reference point in the slice image of the label displayed on the slice section. Reference point extraction method for image registration or coordinate synchronization.
상기 표지물의 슬라이스 이미지에서 참조점 추출을 위해 복수개의 기준점을 지정하는 단계는 서로 다른 2개 이상의 슬라이스 단면상에서 상기 복수개의 기준점을 지정하는 것을 특징으로 하는 영상정합 또는 좌표동기화를 위한 참조점 추출방법.
The method according to claim 5,
The step of designating a plurality of reference points for extracting the reference point from the slice image of the label, characterized in that the reference point extraction method for image registration or coordinate synchronization, characterized in that for designating the plurality of reference points on two or more different slice cross-sections.
단층촬영을 통해 상기 영상정합 또는 좌표동기화를 위한 표지물이 포함된 영상을 획득하는 단계;
상기 단층촬영을 통해 획득된 영상을 3차원 영상으로 재건하는 단계;
상기 3차원으로 재건된 표지물의 이미지에서 곡면과 평면의 경계부에서 복수개의 기준점을 선택하여 지정하는 단계; 및
상기 지정단계에서 지정된 복수개의 기준점으로부터 3점호 또는 최소자승법을 통해 원을 계산하고, 그 원의 중심을 상기 표지물을 대표하는 참조점으로 추출하고, 상기 추출된 참조점을 이용하여 영상정합 또는 좌표동기화를 수행하는 단계;
를 포함하는 영상정합 또는 좌표동기화를 위한 참조점 추출방법.
In the reference point extraction method for image registration or coordinate synchronization for the production, processing or position transfer of the prosthesis, orthodontic appliance, oral surgery guide used in the oral procedure,
Acquiring an image including a marker for image registration or coordinate synchronization through tomography;
Reconstructing the image acquired through the tomography into a 3D image;
Selecting and specifying a plurality of reference points at a boundary between a curved surface and a plane in the image of the three-dimensionally reconstructed label; And
Computing a circle from a plurality of reference points specified in the designation step through a three-point arc or a least square method, extracting the center of the circle as a reference point representing the label, and image registration or coordinate synchronization using the extracted reference point Performing;
Reference point extraction method for image registration or coordinate synchronization comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100104329A KR101256194B1 (en) | 2010-10-26 | 2010-10-26 | Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100104329A KR101256194B1 (en) | 2010-10-26 | 2010-10-26 | Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120043173A KR20120043173A (en) | 2012-05-04 |
| KR101256194B1 true KR101256194B1 (en) | 2013-04-19 |
Family
ID=46263405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100104329A Active KR101256194B1 (en) | 2010-10-26 | 2010-10-26 | Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101256194B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017146351A1 (en) * | 2016-02-22 | 2017-08-31 | 박성원 | Indicator for improving scanning precision, composition for improving scanning precision, and method for improving scanning precision of article |
| KR20210094732A (en) | 2020-01-22 | 2021-07-30 | 이태경 | Registration method of two similar 3D images on the display interface |
| US11232323B2 (en) | 2020-04-29 | 2022-01-25 | Samsung Electronics Co., Ltd. | Method of merging images and data processing device |
| KR20220035813A (en) | 2020-09-14 | 2022-03-22 | 이태경 | How to classify multiple images and extract landmarks |
| US11580617B2 (en) | 2020-07-03 | 2023-02-14 | Samsung Electronics Co., Ltd. | Method of matching images to be merged and data processing device performing the same |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404345B1 (en) * | 2013-03-13 | 2014-06-09 | 서울여자대학교 산학협력단 | Automatic contouring system and the method for diagnosis image |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07311834A (en) * | 1994-05-19 | 1995-11-28 | Toshiba Medical Eng Co Ltd | Image processor and its aid |
| JP2000311244A (en) | 1999-04-27 | 2000-11-07 | Hitachi Ltd | Image matching method |
-
2010
- 2010-10-26 KR KR1020100104329A patent/KR101256194B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07311834A (en) * | 1994-05-19 | 1995-11-28 | Toshiba Medical Eng Co Ltd | Image processor and its aid |
| JP2000311244A (en) | 1999-04-27 | 2000-11-07 | Hitachi Ltd | Image matching method |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017146351A1 (en) * | 2016-02-22 | 2017-08-31 | 박성원 | Indicator for improving scanning precision, composition for improving scanning precision, and method for improving scanning precision of article |
| US10398535B2 (en) | 2016-02-22 | 2019-09-03 | Sung Won Park | Indicator for improving scanning precision, composition for improving scanning precision, and method for improving scanning precision of article |
| KR20210094732A (en) | 2020-01-22 | 2021-07-30 | 이태경 | Registration method of two similar 3D images on the display interface |
| US11232323B2 (en) | 2020-04-29 | 2022-01-25 | Samsung Electronics Co., Ltd. | Method of merging images and data processing device |
| US11580617B2 (en) | 2020-07-03 | 2023-02-14 | Samsung Electronics Co., Ltd. | Method of matching images to be merged and data processing device performing the same |
| KR20220035813A (en) | 2020-09-14 | 2022-03-22 | 이태경 | How to classify multiple images and extract landmarks |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120043173A (en) | 2012-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101744080B1 (en) | Teeth-model generation method for Dental procedure simulation | |
| KR101256194B1 (en) | Sampling Method of Reference Point from Marker for Image Merging and Synchronization of Coordination | |
| KR101444727B1 (en) | method for manufacturing guide stent of dental implant | |
| EP2785272B1 (en) | Dental preparation guide | |
| US11020204B2 (en) | Virtually designing a customized healing abutment | |
| KR101710022B1 (en) | Method for digitizing dento-maxillofacial objects | |
| KR20190065590A (en) | Apparatus and method for determining area of detal implant placement | |
| EP1486900A1 (en) | Method and system for manufacturing a surgical guide | |
| KR101631258B1 (en) | manufacturing method for 3D oral confirm model using digital scan body | |
| KR101812484B1 (en) | Image Generation System for implant Diagnosis and the same | |
| KR101872393B1 (en) | Personalized tooth modeling method | |
| JP6801117B2 (en) | Mobile interlocking implant diagnostic system | |
| US10481587B2 (en) | Orthosis | |
| KR101249688B1 (en) | Image matching data creation method for orthognathic surgery and orthodontic treatment simulation and manufacturing information providing method for surgey device using the same | |
| KR20120042192A (en) | Intraoral apparatus with marker for merging oromaxillofaical image and synchronization of coordination | |
| KR101877895B1 (en) | Image Generation System for implant Diagnosis and the same | |
| US20230355367A1 (en) | Method for dynamically guiding a dental oral and maxillofacial prosthesis using a 3d dataset | |
| US20210137537A1 (en) | Surgical guides with removable inserts | |
| CN103976756A (en) | Real-time three-dimensional reconstruction method in spine posterior approach operation | |
| KR20130008236A (en) | Image matching data creation method for orthognathic surgery and method for the orthognathic simulation surgery using the same | |
| CN108056829A (en) | A kind of method for being used to that tooth to be promoted to reposition dental treatment | |
| KR101227645B1 (en) | Tooth prosthesis with Reference Fitures for Image Process and Multiple Image Merging Method using the same | |
| KR20110138125A (en) | Marker Tray for Matching Heterogeneous Image Images and Head and Neck Image Registration | |
| Gao et al. | Automatic tooth region separation for dental CT images | |
| KR20120130563A (en) | Apparatus and method for registering images at coordinate space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20101026 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20111222 Patent event code: PE09021S01D |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20120120 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| PG1501 | Laying open of application | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20120724 Patent event code: PE09021S02D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20130111 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20130412 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20130415 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20160412 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160412 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171012 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171012 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181001 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181001 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190916 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190916 Start annual number: 7 End annual number: 7 |