KR102189951B1 - 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 - Google Patents
이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 Download PDFInfo
- Publication number
- KR102189951B1 KR102189951B1 KR1020180142589A KR20180142589A KR102189951B1 KR 102189951 B1 KR102189951 B1 KR 102189951B1 KR 1020180142589 A KR1020180142589 A KR 1020180142589A KR 20180142589 A KR20180142589 A KR 20180142589A KR 102189951 B1 KR102189951 B1 KR 102189951B1
- Authority
- KR
- South Korea
- Prior art keywords
- ship
- painting
- image
- unit
- guide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/8422—Investigating thin films, e.g. matrix isolation method
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/8422—Investigating thin films, e.g. matrix isolation method
- G01N2021/8427—Coatings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
본 발명은 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템은 선박의 외관을 촬영하여 이미지를 획득하는 카메라, 선박의 표면에 도장된 도막의 두께를 측정하는 도막두께 측정기, 상기 카메라가 획득한 이미지를 분석하여 선박의 도장상태를 판단하는 검사부 및 상기 분석부의 분석 결과를 표시하는 표시부를 포함하되, 상기 검사부는 심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝 기술을 통해 상기 선박의 도장상태를 판단하는 것을 특징으로 할 수 있다.
본 발명에 의하면, 딥러닝(Deep Learning)을 이용한 이미지 분석을 통해 선박의 도장상태를 정확하고 효율적으로 검사할 수 있고, 선박의 도장상태에 대한 검사 결과에 따라 현재 수행해야 할 도장작업에 대한 가이드를 제공함으로써, 효율적인 도장작업이 이루어질 수 있도록 할 수 있다.
본 발명에 의하면, 딥러닝(Deep Learning)을 이용한 이미지 분석을 통해 선박의 도장상태를 정확하고 효율적으로 검사할 수 있고, 선박의 도장상태에 대한 검사 결과에 따라 현재 수행해야 할 도장작업에 대한 가이드를 제공함으로써, 효율적인 도장작업이 이루어질 수 있도록 할 수 있다.
Description
본 발명은 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법에 관한 것으로, 보다 상세하게는 딥러닝(Deep-Learning) 기술을 이용해 선박의 외관을 촬영하여 획득한 이미지를 분석하여 선박의 도장상태를 판단하고, 판단 결과에 따른 가이드를 사용자에게 제공하는 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법에 관한 것이다.
일반적으로 선박의 건조 단계에서는 공기 또는 물의 접촉에 따른 선체의 부식을 방지하기 위하여 선박의 표면에 대한 도장공정이 수행된다. 선박의 표면에 대한 도장공정은 그 수행 상태에 따라 선박의 수명이 달라지는 만큼 매우 중요한 공정에 해당하고, 이에 따라 선박 도장 표면의 상태 또는 품질을 검사할 수 있는 기술이 요구된다.
종래에는 이러한 도장상태 또는 품질을 검사함에 있어서, 손의 감각 또는 육안과 같이 검사자의 감각에 의존하는 방법을 이용하거나, 혹은 도장의 깊이 등을 측정할 수 있는 장치를 이용해왔다. 그러나 이와 같은 종래 기술에 따른 검사 방법은 검사자에 의한 수작업으로 행하여지므로 오류의 가능성이 클 뿐만 아니라 검사자 마다 기준이 서로 상이하여 일괄적인 도장상태 또는 품질 관리에 어려움이 있고, 검사자가 거대한 선박의 모든 도장 표면을 일일이 검사해야 하므로 매우 비효율적이라는 문제점이 있다.
이러한 종래 기술의 문제점에 따라, 효율적이면서 정확하게 선박의 도장상태에 대한 검사를 수행하여 선박을 관리할 수 있는 기술이 요구된다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로, 딥러닝(Deep Learning)을 이용한 이미지 분석을 통해 선박의 도장상태를 정확하고 효율적으로 검사할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 선박의 도장상태에 대한 검사 결과에 따라 현재 수행해야 할 도장작업에 대한 가이드를 제공함으로써, 효율적인 도장작업이 이루어질 수 있도록 하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템은, 선박의 외관을 촬영하여 이미지를 획득하는 카메라, 선박의 표면에 도장된 도막의 두께를 측정하는 도막두께 측정기, 상기 카메라가 획득한 이미지를 분석하여 선박의 도장상태를 판단하는 검사부 및 상기 분석부의 분석 결과를 표시하는 표시부를 포함하되, 상기 검사부는 심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝 기술을 통해 상기 선박의 도장상태를 판단할 수 있다.
일 실시 예에 따르면, 상기 검사부는, 도장의 완료 여부, 도장 표면의 결함 여부 또는 도장 품질 중 어느 하나 이상을 포함하여 도장상태를 판단할 수 있다.
일 실시 예에 따르면, 상기 검사부는, 도장상태에 따른 선박 도장 표면의 이미지 또는 도막의 두께를 수집하여 저장하는 저장부 상기 저장부에 저장된 이미지를 이용해 선박 도장상태에 따른 이미지 패턴을 학습하는 학습부 및 상기 학습 결과에 따라 상기 카메라 또는 도막두께 측정기로부터 획득한 선박의 도장상태를 판단하는 분석부를 포함할 수 있다.
일 실시 예에 따르면, 상기 학습부는, 상도, 중도, 하도 각 단계에 따른 선박 도장 표면의 이미지를 학습할 수 있다.
일 실시 예에 따르면, 상기 학습부는, 선박 도장 표면의 결함 이미지를 학습할 수 있다.
일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템은, 상기 검사부의 분석 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공하는 가이드부를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 가이드부는, 상기 분석부의 분석 결과 도장이 미완료된 것으로 판단되는 경우 도장 작업 완료를 위한 가이드를 제공할 수 있다.
일 실시 예에 따르면, 상기 가이드부는, 상기 분석부의 분석 결과 선박 도장 표면에 결함 있는 것으로 판단되는 경우 결함 제거를 위한 가이드를 제공할 수 있다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법은, 카메라가 선박의 외관을 촬영하는 단계, 도막두께 측정기가 선박의 표면에 도장된 도막의 두께를 측정하는 단계, 검사부가 상기 카메라가 획득한 이미지를 분석하여 도장상태를 판단하는 단계, 및 표시부가 상기 분석 결과를 표시하는 단계를 포함하되, 상기 도장상태를 판단하는 단계는, 심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝 기술을 통해 상기 선박의 도장상태를 판단할 수 있다.
일 실시 예에 따르면, 상기 도장상태를 판단하는 단계는, 도장상태에 따른 선박 도장 표면의 이미지 또는 도막의 두께를 수집하여 저장하는 단계, 상기 저장한 이미지를 이용해 선박 도장상태에 따른 이미지 패턴을 학습하는 단계, 및 상기 학습 결과에 따라 상기 카메라 또는 도막두께 측정기로부터 획득한 선박의 도장상태를 판단하는 단계를 포함할 수 있다.
일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법은, 분석 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 가이드를 제공하는 단계는, 상기 분석 결과 도장이 미완료된 것으로 판단되는 경우 도장 작업 완료를 위한 가이드를 제공할 수 있다.
일 실시 예에 따르면, 상기 가이드를 제공하는 단계는, 상기 분석 결과 선박 도장 표면에 결함 있는 것으로 판단되는 경우 결함 제거를 위한 가이드를 제공할 수 있다.
본 발명에 의하면, 딥러닝(Deep Learning)을 이용한 이미지 분석을 통해 선박의 도장상태를 정확하고 효율적으로 검사할 수 있는 시스템 및 방법을 제공할 수 있다.
또한, 본 발명에 의하면 선박의 도장상태에 대한 검사 결과에 따라 현재 수행해야 할 도장작업에 대한 가이드를 제공함으로써, 효율적인 도장작업이 이루어질 수 있도록 할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 심층신경망(DNN: Deep Neural Network)의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 학습부의 구성을 나타낸 도면이다.
도 4는 도 1에 도시된 선박 도장상태 검사 시스템의 각 구성요소의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 검사부가 도장상태를 판단하는 과정을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 심층신경망(DNN: Deep Neural Network)의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 학습부의 구성을 나타낸 도면이다.
도 4는 도 1에 도시된 선박 도장상태 검사 시스템의 각 구성요소의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 검사부가 도장상태를 판단하는 과정을 나타낸 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. 그리고, 어떤 부분이 어떤 구성 요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에서 기술한 “부”란, 특정 기능을 수행하는 하나의 단위 또는 블록을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)은 카메라(100), 도막두께 측정기(200), 검사부(300), 표시부(400), 가이드부(500) 및 제어부(600)를 포함할 수 있다.
카메라(100)는 도장상태를 판단하고자 하는 선박의 외관을 촬영하여 해당 선박의 도장 표면을 포함한 이미지를 획득할 수 있다.
본 명세서에 있어서 이미지라 함은 2차원 또는 3차원의 화면에 재생 및 표시되는 시각 정보를 의미하는 것으로, 대상 물체의 일시적인 형상을 나타내는 사진 이미지 또는 일정 시간 동안 대상 물체를 촬영한 영상 이미지를 모두 포함할 수 있다. 또한, 카메라(100)는 대상에 대한 촬영 이미지를 획득할 수 있는 모든 광학기기를 포함할 수 있으며, 그 종류 및 설치 방법 등에는 제한이 없다.
도막두께 측정기(200)는 선박의 표면에 도장된 도막의 두께를 측정할 수 있다. 도막두께 측정기(200)는, 선박 표면의 일 지점에 대한 도막의 두께를 측정할 수 있고, 또는 횡 방향 또는 종 방향으로 배열된 다수 지점에 대한 도막의 두께를 측정하여 그 최대, 최소값 또는 평균 값을 측정할 수 있다.
검사부(300)는 카메라(100)가 획득한 이미지 또는 도막두께 측정기(200)가 측정한 도막의 두께를 분석하여 선박의 도장상태를 판단할 수 있다.
일 실시 예에 따르면, 검사부(300)가 카메라(100)가 획득한 이미지를 분석함에 있어서, 심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝(Deep Learning)을 통해 카메라(100)가 획득한 이미지를 분석하여 이미지 내 포함된 선박의 도장상태를 판단할 수 있다.
심층신경망(DNN)은 기 학습된 데이터를 기반으로 입력받은 데이터를 분류하는 딥러닝(Machine Learning)의 모델 중 하나로서, 하나 이상의 컴퓨터 내에 복수개의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다.
도 2는 본 발명의 일 실시 예에 따른 심층 신경망(DNN)의 구성을 나타낸 도면이다.
도 2를 참조하면, 심층신경망(DNN)은 입력 레이어(input layer), 하나 이상의 히든 레이어(hidden layer) 및 출력 레이어(output layer)로 구성될 수 있다.
입력 레이어(input layer)에는 학습을 위한 데이터가 입력되고, 히든 레이어(hidden layer)와 출력 레이어(output layer)를 통해 계산된 결과 값을 실제값(Ground truth)과 비교하여, 가중치(weight)의 값을 역으로 업데이트 한다. 모든 학습이 끝난 뒤에, 예측이 필요한 정보를 입력하여 결과 값을 얻을 수 있다.
일 실시 예에 따르면, 히든 레이어(hidden layer)는 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 풀리 커넥티드 레이어(fully connected layer)를 포함할 수 있다.
컨볼루션 레이어(convolution layer)는, 입력 레이어(input layer)에 입력된 이미지에 대해 특징맵을 추출하고 컨볼루션 연산을 수행할 수 있다.
풀링 레이어(pooling layer)는 컨볼루션 레이어와 연결되어 컨볼루션 레이어의 출력에 대한 서브샘플링을 수행할 수 있다.
풀리 커넥티드 레이어(fully connected layer)는 풀링 레이어와 연결되어 서브샘플링 된 풀링 레이어의 출력을 학습하여 출력 레이어(output layer)에 출력될 카테고리에 따라 학습할 수 있다.
본 발명의 일 실시 예에 따른 심층신경망(DNN)은 컨볼루션 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 또는 이와 유사한 구조를 가진 인공신경망일 수 있다.
도 3은 본 발명의 일 실시 예에 따른 검사부(300)의 구성을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 검사부(300)는 저장부(310), 학습부(320) 및 분석부(330)를 포함할 수 있다.
저장부(310)는 도장상태에 따른 선박 도장 표면에 대한 이미지 및 도막의 두께 수치를 수집하여 저장할 수 있다.
저장부(310)에 저장되는 이미지는, 후술할 학습부(320)를 이용한 딥러닝에 이용되는 것으로, 다양한 도장상태에 따른 이미지를 포함할 수 있으며, 카메라(100)에 의해 직접 촬영된 이미지 또는 외부 서버로부터 수신한 이미지를 포함할 수 있다.
일 실시 예에 따르면, 저장부(310)는 도장의 완료 여부, 도장 표면의 결함 여부 및 도장의 두께를 포함한 도장 품질 등에 따라 다양한 도장상태에 따른 선박 도장 표면에 대한 이미지를 수집하여 저장할 수 있다. 즉, 저장부(310)는 도장 작업의 각 단계에 대한 이미지, 도장 표면에 발생한 결함에 대한 이미지 및 도막의 두께를 포함한 도장 품질 등에 따른 이미지를 포함한 선박 도장 표면의 이미지를 저장하고, 후술할 학습부(320)는 이를 입력 데이터로 하여 도장상태에 따른 이미지 패턴을 학습할 수 있다.
예를 들어, 저장부(310)는 선박 표면을 도장하는 단계에 있어서 하도, 중도 및 상도 각 단계에 따른 선박 도장 표면의 이미지를 수집하여 저장하거나, 선박 도장 표면에 발생한 다양한 결함 이미지를 수집하여 저장할 수 있다. 또한, 저장부(310)는 도장의 상술한 각 도장 단계에 따른 도장 표면의 평균적인 도막의 두께에 대한 수치를 수집하여 저장할 수 있다.
학습부(320)는 심층신경망(DNN)을 이용하여 저장부(310)에 저장된 이미지를 이용해 선박 도장상태에 따른 이미지 패턴을 학습할 수 있다.
보다 구체적으로, 학습부(320)는 심층신경망(DNN) 상의 입력 레이어(input layer)에 저장부(310)에 저장된 이미지를 입력하고, 히든 레이어(hidden layer)를 거쳐 출력 레이어(output layer)에서 출력된 결과 값을 실제 도장상태와 비교하여, 가중치(weight)를 업데이트 함으로써 선박 도장상태에 따른 이미지 패턴을 학습할 수 있다.
일 실시 예에 따르면, 학습부(320)는 지도학습(supervised-learning) 또는 강화학습(reinforcement-learning) 중 어느 하나의 방법을 이용해 입력 데이터에 대한 학습을 수행할 수 있다. 지도학습(supervised-learning) 및 강화학습(reinforcement-learning)은 머신러닝의 일종으로, 입력 데이터와 함께 그에 대응하여 출력되어야 할 목표 데이터를 함께 입력하여 학습을 수행한 후, 학습이 완료된 신경망에 예측하고자 하는 데이터를 입력하여 적절한 결과를 출력하는 기술이다.
이와 같이, 학습부(320)는 학습을 위해 입력되는 이미지에 대한 실제 도장상태의 데이터를 함께 입력받고, 입력 데이터에 대응하여 실제 도장상태의 데이터가 출력되도록 심층신경망(DNN)을 구성하는 각 선들의 가중치를 업데이트 함으로써 선박 도장상태에 따른 이미지 패턴을 학습할 수 있다.
예를 들어, 사용자는 도장작업 진행 단계를 일정 기준에 따라 미리 분류해두고, 각 이미지를 입력하였을 때 실제 사용자가 분류한 도장작업 진행 단계에 대응되는 데이터가 출력되도록 가중치를 업데이트 할 수 있다.
또 다른 예로서, 사용자는 일정한 기준에 따라 도장상태에 따른 도장 품질을 미리 분류해두고, 각 이미지를 입력하였을 때 실제 사용자가 분류한 도장 품질에 대응되는 데이터가 출력되도록 가중치를 업데이트 할 수 있다.
다만 이는 예시를 위한 것일 뿐 학습부(230)는 이와 동일한 방법을 이용해 사용자가 임의로 분류한 선박의 도장상태에 대하여 학습을 수행할 수 있다.
분석부(330)는 학습부(320)의 학습 결과를 이용해 카메라(100)가 촬영하거나 혹은 도막두께 측정기(200)가 도막의 두께를 측정한 선박의 도장상태를 판단할 수 있다.
일 실시 예에 따르면, 분석부(330)는 선박의 도장 완료 여부, 도장 표면의 결함 여부, 도장 품질 및 도막의 두께 등에 따른 도장상태를 판단할 수 있다.
보다 구체적으로, 분석부(330)는 카메라(100)로부터 획득한 이미지 내 포함된 선박의 도장작업이 완료되었는지, 또는 완료되지 않았다면 현재 어느 단계의 작업이 진행 중인지 여부를 판단할 수 있다. 예를 들어, 분석부(330)는 이미지 내 선박이 현재 하도 작업이 완료된 상태인지, 중도 작업이 완료된 상태인지, 혹은 상도 작업까지 모두 완료된 상태인지 여부를 판단하여, 현재 도장 작업의 진행 상태를 판단할 수 있는 것이다. 다만 이와 같은 하도, 중도, 상도 각 단계에 따른 분류는 예시를 위한 것일 뿐 본 발명의 실시 예를 한정하는 것은 아니며, 사용자의 설정에 따라 다양한 단계로 분류될 수 있음은 물론이다.
또한, 분석부(330)는 카메라(100)로부터 획득한 이미지 내 포함된 선박의 도장 표면에 결함이 존재하는지 여부를 판단할 수 있다. 이에 더하여, 분석부(330)는 이미지 내 선박의 도장 표면에 결함이 존재하는 경우, 해당 결함의 종류, 위치 및 크기 등을 포함한 정보들을 분석할 수 있다.
또한, 분석부(330)는 카메라(100)로부터 획득한 이미지 내 포함된 선박의 도장 품질을 판단할 수 있다. 도장 품질은 일정 기준에 따라 사용자에 의해 임의로 분류될 수 있는 것으로, 분석부(330)는 학습부(320)에 의해 미리 학습된 이미지 및 이에 대한 도장 품질 분류를 기초로 하여 획득한 이미지 내 포함된 선박의 도장 품질을 판단할 수 있는 것이다.
또한, 분석부(330)는 도막두께 측정기(200)가 측정한 선박 도막의 두께를 이용하여 현재 도장 단계 또는 결함 여부를 포함한 선박 도장상태를 판단할 수 있다. 예를 들어, 도막두께 측정기(200)가 선박 표면의 다수 지점에 대하여 측정한 도막의 두께가 균일한 경우, 분석부(330)는 상기 균일한 도막의 두께에 대응되는 도장 단계가 진행되고 있는 것으로 판단할 수 있다. 또는, 도막두께 측정기(200)가 선박 표면의 다수 지점 중 도막의 두께가 균일하지 않은 부분이 있는 경우, 해당 부분에 결함이 존재하거나 혹은 아직 도장이 완료되지 않은 것으로 판단할 수 있다.
다시 도 1에 대한 설명으로 돌아가, 도장상태 검사 시스템(10)의 나머지 구성에 대하여 설명하도록 한다.
표시부(400)는 카메라(100)가 획득한 이미지 및 이에 대한 검사부(300)의 분석 결과를 표시할 수 있다.
가이드부(500)는 검사부(300)의 분석 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공할 수 있다. 즉, 가이드부(500)는 검사부(300)의 분석 결과 카메라(100)가 획득한 이미지 내 포함된 선박의 도장이 완료되지 않은 상태인 것으로 판단되거나, 혹은 결함이 존재하는 것으로 판단되는 경우 등과 같이 현재 수행해야 할 도장작업이 있는 경우, 사용자가 이를 적절한 방법에 따라 수행할 수 있도록 가이드를 제공할 수 있다.
일 실시 예에 따르면, 가이드부(500)는 상기 검사부(300)의 분석 결과 도장이 미완료된 것으로 판단되는 경우 도장 작업 완료를 위한 가이드를 제공할 수 있다. 즉, 검사부(300)의 분석을 통해 현재 선박의 도장상태를 판단한 후, 아직 도장이 완료되지 않은 상태라면 가이드부(500)는 이를 완료하기 위하여 다음에 수행해야 할 작업에 대한 정보를 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 가이드부(500)는 상기 검사부(300)의 분석 결과 선박 도장 표면에 결함이 있는 것으로 판단되는 경우 결함 제거를 위한 가이드를 제공할 수 있다. 이 경우, 가이드부(500)는 결함의 종류, 위치 및 크기 등에 대한 정보 및 이를 제거하기 위해 수행해야 할 작업공정에 대한 정보를 제공할 수 있다.
일 실시 예에 따르면, 가이드부(500)가 제공하는 가이드는 표시부(400)에 의해 사용자에게 표시되도록 할 수 있다.
제어부(600)는 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)의 전반적인 동작을 제어할 수 있다.
도 4는 위에서 설명한 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)의 각 구성요소들의 동작을 개략적으로 도식화한 도면이다.
도 4를 참조하면, 저장부(310)는 선박 도장 표면을 포함한 다수의 이미지를 수집하여 저장하고, 학습부(320)는 이를 이용하여 도장상태에 따른 이미지 패턴을 학습한다.
이와 같이 학습부(320)를 이용한 학습이 완료된 후, 카메라(100)는 검사하고자 하는 선박을 촬영하여 이미지를 획득하고, 이를 분석부(330)로 전송한다.
분석부(330)는 학습부(320)의 학습 결과를 바탕으로 상기 카메라(100)가 획득한 이미지 내 선박의 도장상태를 판단하고, 가이드부(500)는 상기 분석부(330)의 분석 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공할 수 있다.
표시부(400)는 카메라(100)가 획득한 선박의 이미지, 분석부(330)의 분석 결과 및 가이드부(500)의 가이드 정보를 사용자에게 표시할 수 있다.
전술한 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)의 각 구성은 제어부(600)에 의하여 제어될 수 있다.
한편, 전술한 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)을 이용한 선박 도장상태 검사 방법이 제공될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법은, 카메라(100)가 선박의 외관을 촬영하는 단계(S510), 도막두께 측정기(200)가 선박의 표면에 도장된 도막의 두께를 측정하는 단계(S520), 검사부(300)가 상기 카메라(100)가 획득한 이미지 및 도막두께 측정기(200)가 측정한 도막의 두께를 분석하여 도장상태를 판단하는 단계(S530) 및 표시부(400)가 상기 분석 결과를 표시하는 단계(S540)를 포함할 수 있다.
일 실시 예에 따르면, 상기 도장상태를 판단하는 단계는, 심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝 기술을 통해 상기 선박의 도장상태를 판단할 수 있다.
심층신경망(DNN)과 관련하여는 앞서 도장상태 검사 시스템(10)을 설명함에 있어서 상세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 검사부(300)가 카메라(100)가 획득한 이미지를 이용해 도장상태를 판단하는 과정을 나타낸 순서도이다.
일 실시 예에 따르면, 상기 상기 도장상태를 판단하는 단계(S520)는, 도장상태에 따른 선박 도장 표면의 이미지 또는 도막의 두께를 수집하여 저장하는 단계(S610), 상기 저장한 이미지를 이용해 선박 도장상태에 따른 이미지 패턴을 학습하는 단계(S620) 및 상기 학습 결과에 따라 상기 카메라(100) 또는 도막두께 측정기(200)로부터 획득한 선박의 도장상태를 판단하는 단계(S630)를 포함할 수 있다.
한편, 일 실시 예에 따른 이미지 분석을 이용한 도장상태 검사 방법은, 분석 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 가이드를 제공하는 단계는, 상기 분석 결과 도장이 미완료된 것으로 판단되는 경우 도장 작업 완료를 위한 가이드를 제공할 수 있다. 즉, 도장상태를 판단하는 단계(S520) 이후, 판단 결과 아직 도장이 완료되지 않은 상태라면 이를 완료하기 위하여 다음에 수행해야 할 작업에 대한 정보를 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 상기 가이드를 제공하는 단계는, 상기 분석 결과 선박 도장 표면에 결함 있는 것으로 판단되는 경우 결함 제거를 위한 가이드를 제공할 수 있다. 즉, 도장상태를 판단하는 단계(S520) 이후, 판단 결과 선박 도장 표면에 결함이 있는 것으로 판단되는 경우 결함 제거를 위한 가이드를 제공할 수 있다. 이 경우, 가이드부(500)는 결함의 종류, 위치 및 크기 등에 대한 정보 및 이를 제거하기 위해 수행해야 할 작업공정에 대한 정보를 제공할 수 있다.
이상 본 발명의 일 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법에 대하여 설명하였다. 본 발명에 의하면, 딥러닝(Deep Learning)을 이용한 이미지 분석을 통해 선박의 도장상태를 정확하고 효율적으로 검사할 수 있고, 선박의 도장상태에 대한 검사 결과에 따라 현재 수행해야 할 도장작업에 대한 가이드를 제공함으로써, 효율적인 도장작업이 이루어질 수 있도록 할 수 있다.
또한, 이미지 분석을 이용한 선박 도장상태 검사 방법의 각 단계는, 선박 도장상태 검사 시스템(10)의 각 구성요소들에 의하여 수행될 수 있으며, 방법을 설명함에 있어서 상세히 기재하지 않았더라도 앞서 상술한 이미지 분석을 이용한 선박 도장상태 검사 시스템(10)의 각 구성요소들이 수행하는 기능들을 이용한 다양한 실시 예에 따른 이미지 분석을 이용한 선박 도장상태 검사 방법이 제공될 수 있음은 물론이다.
위에서 설명된 본 발명의 실시 예들은 예시의 목적을 위해 개시된 것이며, 이들에 의하여 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 대한 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 사상과 범위 안에서 다양한 수정 및 변경을 가할 수 있을 것이며, 이러한 수정 및 변경은 본 발명의 범위에 속하는 것으로 보아야 할 것이다.
10: 선박 도장상태 검사 시스템
100: 카메라 200: 도막두께 측정기
300: 검사부 310: 저장부
320: 학습부 330: 분석부
400: 표시부 500: 가이드부
600: 제어부
100: 카메라 200: 도막두께 측정기
300: 검사부 310: 저장부
320: 학습부 330: 분석부
400: 표시부 500: 가이드부
600: 제어부
Claims (13)
- 선박의 외관을 촬영하여 이미지를 획득하는 카메라;
선박의 표면에 도장된 도막의 두께를 측정하는 도막두께 측정기;
상기 카메라가 획득한 이미지와 도막두께 측정기가 측정한 도막의 두께를 분석하여 선박의 도장상태를 판단하는 검사부;
상기 검사부의 판단 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공하는 가이드부; 및
상기 카메라가 획득한 이미지, 상기 검사부의 판단 결과 및 상기 가이드부가 제공하는 가이드를 표시하는 표시부;
를 포함하되,
상기 검사부는,
도장상태에 따른 선박 도장 표면의 이미지와 도막의 두께를 수집하여 저장하는 저장부와, 상기 저장부에 저장된 이미지를 이용해 선박 도장상태에 따른 이미지 패턴을 학습하는 학습부와, 상기 학습 결과에 따라 상기 카메라 및 도막두께 측정기로부터 획득한 선박의 도장상태를 판단하는 분석부를 포함하고, 도장의 완료 여부 및 도장 표면의 결함 여부를 포함하여 도장상태를 판단하며,
상기 분석부는,
심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝 기술을 통해 상기 선박의 도장상태를 판단하고,
상기 학습부는,
하도, 중도, 상도 각 단계에 따른 선박 도장 표면의 이미지를 학습하고,
선박 도장 표면의 결함 이미지를 학습하며,
상기 가이드부는,
상기 분석부가 도장이 미완료된 것으로 판단한 경우 도장 작업 완료를 위한 가이드를 제공하고, 상기 분석부가 선박 도장 표면에 결함이 있는 것으로 판단한 경우 결함의 종류, 위치 및 크기 정보와 결함 제거를 위한 가이드를 제공하는 것을 특징으로 하는,
이미지 분석을 이용한 선박 도장상태 검사 시스템.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 카메라가 선박의 외관을 촬영하여 이미지를 획득하는 단계;
도막두께 측정기가 선박의 표면에 도장된 도막의 두께를 측정하는 단계;
검사부가 상기 카메라가 획득한 이미지와 상기 도막두께 측정기가 측정한 도막의 두께를 분석하여 선박의 도장상태를 판단하는 단계;
가이드부가 상기 검사부의 판단 결과에 따라 사용자에게 도장작업을 위한 가이드를 제공하는 단계; 및
표시부가 상기 카메라가 획득한 이미지, 상기 검사부의 판단 결과 및 상기 가이드부가 제공하는 가이드를 표시하는 단계;
를 포함하되,
상기 도장상태를 판단하는 단계는,
심층신경망(DNN: Deep Neural Network)를 이용한 딥러닝 기술을 통해 상기 선박의 도장상태를 판단하고,
도장상태에 따른 선박 도장 표면의 이미지 및 도막의 두께를 수집하여 저장하는 단계와, 상기 저장한 이미지를 이용해 선박 도장상태에 따른 이미지 패턴을 학습하는 단계와, 상기 학습 결과에 따라 상기 카메라 또는 도막두께 측정기로부터 획득한 선박의 도장상태를 판단하는 단계를 포함하며,
상기 학습하는 단계는,
하도, 중도, 상도 각 단계에 따른 선박 도장 표면의 이미지를 학습하고,
선박 도장 표면의 결함 이미지를 학습하며,
상기 가이드를 제공하는 단계는,
상기 검사부가 도장이 미완료된 것으로 판단한 경우 도장 작업 완료를 위한 가이드를 제공하고, 상기 검사부가 선박 도장 표면에 결함 있는 것으로 판단한 경우 결함의 종류, 위치 및 크기 정보와 결함 제거를 위한 가이드를 제공하는 것을 특징으로 하는,
이미지 분석을 이용한 선박 도장상태 검사 방법. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180142589A KR102189951B1 (ko) | 2018-11-19 | 2018-11-19 | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180142589A KR102189951B1 (ko) | 2018-11-19 | 2018-11-19 | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200063302A KR20200063302A (ko) | 2020-06-05 |
| KR102189951B1 true KR102189951B1 (ko) | 2020-12-11 |
Family
ID=71088849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180142589A Active KR102189951B1 (ko) | 2018-11-19 | 2018-11-19 | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102189951B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220160384A (ko) | 2021-05-27 | 2022-12-06 | 한국광기술원 | 선박의 도막 검사 장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102594602B1 (ko) * | 2022-06-30 | 2023-10-26 | 진기철 | 차량 도장 시스템 및 방법 |
| KR102511798B1 (ko) * | 2022-07-04 | 2023-03-20 | 주식회사 흥미로운 | 공방 환기시스템을 이용한 모형물 스프레이 작업대 |
| KR102733898B1 (ko) * | 2024-04-09 | 2024-11-26 | 사단법인 한국선급 | Psc 점검 지원 서비스 제공 서버 및 이의 실행 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354251A (ja) | 2003-05-29 | 2004-12-16 | Nidek Co Ltd | 欠陥検査装置 |
| JP2010032511A (ja) | 2008-06-30 | 2010-02-12 | Denro Corp | 塗装劣化診断方法および装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1145337A (ja) * | 1997-07-28 | 1999-02-16 | Matsushita Electric Works Ltd | 塗装システム |
| KR20130029600A (ko) * | 2011-09-15 | 2013-03-25 | 대우조선해양 주식회사 | 선체 시편의 평균 도막 두께 측정 장치 및 방법 |
| KR20140140828A (ko) | 2013-05-30 | 2014-12-10 | 현대중공업 주식회사 | 도장상태 검사장치 |
-
2018
- 2018-11-19 KR KR1020180142589A patent/KR102189951B1/ko active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004354251A (ja) | 2003-05-29 | 2004-12-16 | Nidek Co Ltd | 欠陥検査装置 |
| JP2010032511A (ja) | 2008-06-30 | 2010-02-12 | Denro Corp | 塗装劣化診断方法および装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220160384A (ko) | 2021-05-27 | 2022-12-06 | 한국광기술원 | 선박의 도막 검사 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200063302A (ko) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | Instance-level recognition and quantification for concrete surface bughole based on deep learning | |
| KR102189951B1 (ko) | 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법 | |
| KR102256181B1 (ko) | 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 | |
| CN109871895B (zh) | 电路板的缺陷检测方法和装置 | |
| CN111815572B (zh) | 一种基于卷积神经网络对锂电池焊接质量的检测方法 | |
| CN113592828B (zh) | 基于工业内窥镜的无损检测方法及系统 | |
| CN108257114A (zh) | 一种基于深度学习的输电设备缺陷自动识别方法 | |
| CN109060817B (zh) | 人工智能复检系统及其方法 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
| KR102346676B1 (ko) | 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법 | |
| JP2019095217A (ja) | 外観検査装置 | |
| CN110009614A (zh) | 用于输出信息的方法和装置 | |
| JP2021515885A (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
| CN116664846B (zh) | 基于语义分割实现3d打印桥面施工质量监测方法及系统 | |
| CN113516651A (zh) | 基于残差网络的焊接接头缺陷检测方法及装置 | |
| JP2020042668A (ja) | 検査装置及び機械学習方法 | |
| CN114743102A (zh) | 一种面向家具板材的瑕疵检测方法、系统及装置 | |
| JP2020042669A (ja) | 検査装置及び機械学習方法 | |
| JP2022045688A (ja) | 欠陥管理装置、方法およびプログラム | |
| CN108827200A (zh) | 一种船体分段智能检测系统及方法 | |
| CN114324401A (zh) | 基于环形多波束声呐的全覆盖式管道探测系统 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN116465315A (zh) | 一种网版质量自动化检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181119 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200211 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| PG1501 | Laying open of application | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20201027 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20200211 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20201027 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20200323 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20201127 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20201123 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20201027 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20200323 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201204 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201207 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20230906 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240909 Start annual number: 5 End annual number: 5 |