KR20240053954A

KR20240053954A - 환경적응형 머신비전장치 및 그 장치의 구동방법

Info

Publication number: KR20240053954A
Application number: KR1020220134108A
Authority: KR
Inventors: 나종근; 윤진; 임재승; 권기선; 전영태
Original assignee: 주식회사 스누아이랩; (주) 엠브이텍
Priority date: 2022-10-18
Filing date: 2022-10-18
Publication date: 2024-04-25

Abstract

본 발명은 환경적응형 머신비전장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 환경적응형 머신비전장치는, 검수 제품의 촬영 데이터를 수신하는 통신 인터페이스부, 및 수신한 촬영 데이터를 분석하여 분석 결과를 근거로 제품의 비양호 상태(NG)의 비율 변화를 감지하며, 감지한 결과에 따라 검수 제품의 촬영 환경 변화를 판단하여 판단 결과를 근거로 분석 결과를 보정하는 제어부를 포함할 수 있다.

Description

환경적응형 머신비전장치 및 그 장치의 구동방법{Apparatus for Environment Adaptive Machine Vision and Driving Method Thereof}

본 발명은 환경적응형 머신비전장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 공장 등 생산라인에서 제품 검수를 위해 많이 사용하는 머신비전 분야에서 제품 검수 과정 때 양호(OK)와 비양호(NG)의 분포 변화를 인지하여 (환경) 변화를 감지하고 제품 검수시 환경 변화의 감지 결과를 근거로 적응적(혹은 탄력적)으로 머신비전 기술을 구현하려는 환경적응형 머신비전장치 및 그 장치의 구동방법에 관한 것이다.

최근 들어 자동차, 전자기기, 디스플레이, 반도체, 식음료, 스포츠 등 산업 분야 전반에, 머신 비전(machine vision), 로봇, 센서, PLC, 컴퓨터 등의 요소가 결합되어 산업 자동화(industrial automation)가 점차 가속화되고 있다. 산업 분야 전반에 걸쳐 산업 자동화가 가속화됨에 따라 대량으로 생산되는 제품들이, 출하되기 이전에 수행되는 정밀검사 과정을 자동화하기 위한 다양한 기술들이 도입되고 있다. 이와 같은 정밀검사 중 하나인 비전검사(머신비전 검사)는 사람이 육안으로 판단하던 기존 방식을 대신하여 카메라에 의해 촬영되는 이미지를 통해서 예컨대, 제품의 라벨링 상태나 포장지의 인쇄 상태, 바코드의 인쇄 상태 등을 검사한다.

구체적으로, 비전 검사는 검사대상물의 표면을 촬영하여 표면 이미지를 획득하고, 획득된 표면 이미지를 기준 이미지와 비교하여 검사대상물의 불량 유무를 검사하는 방식으로 수행된다. 비전 검사를 위한 장치는, 공정라인 상의 곳곳에 설치되어, 공정라인을 따라 이동하는 제품(이하, 검사대상물)에 대해 비전 검사를 수행하고 있다. 즉, 제조업체에서는 대규모 생산라인을 형성하고 있고, 각 생산라인마다 IP 카메라 등 다수 개의 비전 장비를 설치하여 각 공정별 불량률이나 품질 검사를 수행한다.

그런데 종래의 비전 검사는 조명의 세기나 위치 등 제품 검수의 환경이 달라지는 경우 기존의 모델 즉 검수 프로그램의 정확도를 보장할 수 없는 문제가 있다. 따라서 현장 작업자가 임의로 조처를 취해야 하지만, 이 또한 명확한 기준이 없기 때문에 기존 모델의 정확도를 보장하기 어렵다.

또한, 종래에는 비전 검사의 환경이 변화하면 변한 환경에 맞춰 새로운 모델을 학습해야 하지만, 이는 비용의 측면에서 부담이 되는 문제가 있다.

한국등록특허공보 제10-2022496호(2019.09.10) 한국공개특허공보 제10-2022-0085115호(2022.06.22) 한국공개특허공보 제10-2022-0085589호(2022.06.22)

본 발명의 실시예는 가령 공장 등 생산라인에서 제품 검수를 위해 많이 사용하는 머신비전 분야에서 제품 검수 과정 때 양호(OK)와 비양호(NG)의 분포 변화를 인지하여 (환경) 변화를 감지하고 제품 검수시 환경 변화의 감지 결과를 근거로 적응적(혹은 탄력적)으로 머신비전 기술을 구현하려는 환경적응형 머신비전장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 환경적응형 머신비전장치는, 검수 제품의 촬영 데이터를 수신하는 통신 인터페이스부, 및 상기 수신한 촬영 데이터를 분석하여 분석 결과를 근거로 제품의 비양호 상태(NG)의 비율 변화를 감지하며, 상기 감지한 결과에 따라 상기 검수 제품의 촬영 환경 변화를 판단하여 판단 결과를 근거로 상기 분석 결과를 보정하는 제어부를 포함한다.

상기 제어부는, 기설정된 임계값을 기준으로 상기 비양호 상태를 판단하며, 상기 판단 결과를 근거로 상기 기설정된 임계값을 자동으로 조절하여 상기 분석 결과를 보정할 수 있다.

상기 제어부는, 상기 비양호 상태의 비율이 높아지면 상기 기설정된 임계값보다 임계값을 높게 자동 설정하고, 상기 비양호 상태의 비율이 낮아지면 상기 기설정된 임계값보다 임계값을 낮게 자동 설정할 수 있다.

상기 제어부는, 상기 촬영 환경 변화로서 제품의 검수가 이루어지는 공간의 조명의 세기나 위치 또는 제품의 위치 변화를 고려하여 환경 변화를 판단해 기설정된 임계값을 자동 조절할 수 있다.

상기 제어부는, 상기 수신한 촬영 데이터의 분석 결과를 점수값(score)으로 계산하고, 상기 계산한 점수값을 기설정된 임계값과 비교하여 상기 비양호 상태를 판단할 수 있다.

또한, 본 발명의 실시예에 따른 환경적응형 머신비전장치의 구동방법은, 통신 인터페이스부가, 검수 제품의 촬영 데이터를 수신하는 단계, 및 제어부가, 상기 수신한 촬영 데이터를 분석하여 분석 결과를 근거로 제품의 비양호 상태(NG)의 비율 변화를 감지하며, 상기 감지한 결과에 따라 상기 검수 제품의 촬영 환경 변화를 판단하여 판단 결과를 근거로 상기 분석 결과를 보정하는 단계를 포함한다.

상기 보정하는 단계는, 기설정된 임계값을 기준으로 상기 비양호 상태를 판단하며, 상기 판단 결과를 근거로 상기 기설정된 임계값을 자동으로 조절하여 상기 분석 결과를 보정할 수 있다.

상기 보정하는 단계는, 상기 비양호 상태의 비율이 높아지면 상기 기설정된 임계값보다 임계값을 높게 자동 설정하고, 상기 비양호 상태의 비율이 낮아지면 상기 기설정된 임계값보다 임계값을 낮게 자동 설정할 수 있다.

상기 보정하는 단계는, 상기 촬영 환경 변화로서 제품의 검수가 이루어지는 공간의 조명의 세기나 위치 또는 제품의 위치 변화를 고려하여 환경 변화를 판단해 기설정된 임계값을 자동 조절할 수 있다.

상기 보정하는 단계는, 상기 수신한 촬영 데이터의 분석 결과를 점수값(score)으로 계산하고, 상기 계산한 점수값을 기설정된 임계값과 비교하여 상기 비양호 상태를 판단할 수 있다.

본 발명의 실시예에 따르면, 머신비전 현장에서 제품 검사가 이루어지는 공간의 조명 세기나 위치 또 제품의 위치와 같은 제품 검수의 환경이 달라지더라도 제품 검수의 정확도를 보장할 수 있을 것이다.

또한 본 발명의 실시예는 제품 검수의 변화한 환경에 맞춰 새로운 모델 즉 딥러닝 프로그램 등을 새로운 학습 없이도 다양한 환경에 사용이 가능할 수 있다.

도 1은 본 발명의 실시예에 따른 환경 적응형 머신비전 시스템을 나타내는 도면,
도 2는 도 1의 환경적응형 머신비전장치의 세부구조를 예시한 블록다이어그램,
도 3 내지 도 5는 환경 적응형 머신비전 동작 과정의 흐름도, 그리고
도 6은 도 1의 환경적응형 머신비전장치의 구동과정을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 환경 적응형 머신비전 시스템을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 환경 적응형 머신비전 시스템(90)은 촬영장치(100), 통신망(110) 및 환경적응형 머신비전장치(120)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 촬영장치(100)와 환경적응형 머신비전장치(120)가 다이렉트 통신(예: P2P 등)을 수행하거나 환경적응형 머신비전장치(120)를 구성하는 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬영장치(100)는 머신비전 동작을 수행하기 위하여 공장 등 생산라인에서 제품 검수를 위해 설치되는 다양한 유형의 카메라 등을 포함할 수 있다. 여기서, 촬영장치(100)는 CCD의 고해상도 카메라를 사용함으로써 제품 검수시 정확도를 높일 수 있다. 여기서, 머신비전은 이미지 기반의 자동 검사 및 분석을 위한 방법이다. 본 발명의 실시예에 따른 촬영장치(100)는 가령 제품 검수가 이루어지는 생산 라인의 컨베이어벨트상에 위치하여 컨베이어벨트에 적재되어 검수 대상이 되는 제품이 위치 이동할 때 임의 위치의 상측에 설치되는 카메라에 의해 촬영 동작을 수행할 수 있다.

이의 과정에서 촬영장치(100)는 촬영된 제품의 촬영 이미지를 도 1의 통신망(110)을 경유하여 환경적응형 머신비전장치(120)로 제공할 수 있다. 물론 촬영장치(100)는 그 주변이나 가령 컨베이어벨트의 주변에 설치되는 에지장치(미도시)와 연동할 수도 있다. 에지장치는 촬영장치(100)의 촬영 이미지를 분석하여 가령 배경에 해당하는 화소 데이터의 분석을 생략하고, 제품에 해당하는 부분만 추출하여 제공하거나 분석 결과를 환경적응형 머신비전장치(120)로 제공할 수 있다. 이의 경우 통신망(110)의 데이터 처리 부하가 줄어들게 되므로 환경적응형 머신비전장치(120)에서 데이터 처리 속도가 빠르게 증가할 수 있다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동 통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트를 포함할 수도 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 환경적응형 머신비전장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

환경적응형 머신비전장치(120)는 도 1의 촬영장치(100)에서 제공하는 제품 촬영 이미지 또는 해당 촬영 이미지의 분석 결과를 토대로 제품 검수 과정에서 양호(OK)나 비양호(NG)의 분포 변화를 인지하여 환경 변화 등을 감지한다. 여기서 환경은 가령 촬영장치(100)가 생산라인에 설치되어 제품 검수가 이루어지는 곳의 환경을 의미하며, 환경 변화란 해당 공간의 제품의 세기나 위치, 또 컨베이어벨트 등에 위치하는 제품 위치 변화 등을 의미할 수 있다. 예를 들어 환경적응형 머신비전장치(120)는 상대적으로 민감한 NG(No Good) 비율 변화를 감지한다. 또한, 환경적응형 머신비전장치(120)는 바뀐 환경에 맞춰 자동적으로 임계(threshold)값을 조절한다. 예를 들어 NG 비율이 높아지면 임계값을 상승시킬 수 있으며, NG 비율이 낮아지면 임계값을 하강시킬 수 있다. 즉 기설정된 임계값을 기준으로 임계값의 크기를 높이거나 낮을 수 있는 것이다. 이와 같이 환경적응형 머신비전장치(120)는 환경 변화가 감지된 부분의 결과부터 새로운 임계값 즉 환경에 적응하여 변화된 상태의 임계값으로 결과를 재판단하는 것이다. 이에 따라 딥러닝 프로그램 등의 새로운 학습 없이도 다양한 환경에서 활용이 가능할 수 있다.

이후에 자세히 다루겠지만, 환경적응형 머신비전장치(120)는 촬영장치(100)로부터 제공되는 촬영 이미지, 이러한 촬영 이미지는 한 장이 될 수 있지만, 복수의 촬영 이미지를 제공받을 수 있다. 물론 동영상이 될 수도 있다. 환경적응형 머신비전장치(120)는 수신된 촬영 이미지를 분석하는 과정에서 제품 부위의 이미지를 추출하여 분석할 수 있다. 그리고, 제품의 기준이 되는 이미지와 더 정확하게는 해당 기준 이미지의 화소 데이터 등과 비교하여 비교 결과를 생성할 수 있다. 여기서, 비교 결과는 점수로 계산될 수 있다. 예를 들어, 점수를 계산할 때 총 점수를 10이나 100으로 하여 화소 데이터의 비교 결과를 근거로 해당 제품의 점수를 산출하고, 그 점수를 기준 임계값과 비교하여 양호와 비양호를 판단하게 된다.

그리고 환경적응형 머신비전장치(120)는 그 양호와 비양호의 비율이 얼마나 되는지 또한 계산한다. 구체적으로 환경적응형 머신비전장치(120)는 양호와 비양호의 비율에 대해서도 기준값을 설정할 수 있으며, 따라서 비양호 비율이 기준값을 초과하거나 제품 검수가 이루어지는 공간의 환경 변화 여부를 판단한다. 예를 들어, 환경적응형 머신비전장치(120)는 조명의 특성을 판단할 수 있으며, 제품의 위치를 판단할 수 있다. 가령 조명의 경우는 입력된 촬영 이미지의 배경을 판단할 수 있으며, 이를 위하여 배경의 컬러나 계조값 등을 판단하여 현재 조명 환경이 변화되었는지를 판단할 수 있다. 물론 이는 조명의 세기 등에 관계된다. 또한, 조명의 설치 위치 등이 변경되었는지도 판단할 수 있다.

간단하게는 조명(장치)이 IoT 기술을 구현함으로써 블루투스 등의 근거리 통신이 가능한 경우 환경 변화를 판단하는 시점에 촬영장치(100)에서 조명장치로 통신을 시도하여 위치정보 등의 값을 수신함으로써 환경적응형 머신비전장치(120)는 촬영장치(100)나 조명장치에서 제공하는 조명장치의 위치정보를 이용할 수 있다. 뿐만 아니라, 환경적응형 머신비전장치(120)는 가령 컨베이어벨트상에 위치하는 검수 대상의 제품들에 대한 위치를 판단할 수 있다. 예를 들어, 촬영 이미지를 분석해 일정 시간이나 기준 횟수를 초과하여 제품의 위치가 변경되었다고 판단될 때 컨베이어벨트의 동작 상태에 이상이 있다고 판단할 수도 있다. 따라서, 환경적응형 머신비전장치(120)는 컨베이어벨트의 고장이 아닌 이상 비정상 동작 상태를 반영하여 정확한 제품 검수가 이루어지도록 조치할 수 있다. 앞서 언급한 바와 같이 비양호 상태의 비율이 증가하므로 임계값을 상승시킨다.

물론 생산 라인의 실환경에서 제품에 따라 생산 과정에서 도메인(domain) 즉 제품 위치 영역 변화의 양상이 다양하게 나타나 해당 부분을 정량적으로 정의하기 어려울 수 있다. 또한 같은 제품에서도 예측하기 어려운 다양한 요인에 의해 도메인이 변하기도 하는데 예를 들면 반도체 공정에서는 환경 요인(예: 조명이나 소모품의 교환 등) 외에도 단순히 웨이퍼의 컨디션에 따라서도 촬영되는 이미지의 양상이 변할 수 있다. 따라서 이러한 도메인 변화의 양상을 모두 대응하기 어렵기 때문에 본 발명의 실시예에 따른 환경적응형 머신비전장치(120)는 단순히 추론(inference) 또는 추리 결과의 통계치를 이용하여 임계값을 추론하는 방법을 수행할 수 있다. 또한 변화가 자주 일어날 수 있기 때문에 자동적으로 통계치를 계산하여 변화를 감지하고 조절할 수 있다.

본 발명의 실시예에 따른 환경적응형 머신비전장치(120)는 위의 동작을 수행하기 위하여 우선 전체 NG 비율을 계산할 수 있으며, 또 현재 NG의 비율을 계산할 수 있다. 그리고 전체 NG 비율과 현재 NG 비율을 통해 도메인 변화 여부를 판단할 수 있다. 즉 도메인과 같은 환경 변화가 있는 경우 환경적응형 머신비전장치(120)는 기설정된 임계값을 자동으로 조절하여 NG 비율이 증가한 경우에는 환경 변화에 따라 기설정된 임계값을 상승시킨다. 즉 기준 임계값보다 크게 설정할 수 있다. 또한, NG 비율이 감소한 경우 환경 변화에 따라 기설정된 임계값을 낮춘다.

상기의 구성 결과 본 발명의 실시예는 가령 제품 검수(혹은 검사)가 이루어지는 생산라인 등의 임의 공간에서 환경이 달라지는 경우에도 그 변하는 환경에 적응적으로 대처하여 제품 검수의 정확도를 높일 수 있다. 또한 기존에 구비하는 머신비전 프로그램의 경우 가령 인공지능 딥러닝 프로그램의 경우 새로운 학습 없이도 가령 프로그램의 간단한 개발을 통해 다양한 환경에서도 지속적으로 사용이 가능할 수 있을 것이다.

도 2는 도 1의 환경적응형 머신비전장치의 세부구조를 예시한 블록다이어그램,

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 환경적응형 머신비전장치(120)는 통신 인터페이스부(200), 제어부(210), 환경적응형 머신비전부(220) 및 저장부(230)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(230)와 같은 일부 구성요소가 생략되어 환경적응형 머신비전장치(120)가 구성되거나 환경적응형 머신비전부(220)와 같은 일부 구성요소가 제어부(210)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(200)는 도 1의 통신망(110)을 경유하여 다수의 촬영장치(100)와 각각 통신한다. 여기서 다수의 촬영장치(100)는 제품을 검수하기 위하여 생산라인 등 다양한 장소에 설치되는 카메라를 포함할 수 있다. 통신 인터페이스부(200)는 통신을 수행하는 과정에서 변/복조, 인코딩/디코딩, 먹싱/디먹싱 등의 동작을 수행할 수 있다. 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다.

예를 들어, 통신 인터페이스부(200)는 촬영장치(100)에 영상을 분석하는 장치를 포함하거나, 또는 에지장치와 같은 별도의 영상 분석 장치를 연동시키는 경우에는 해당 장치로부터 촬영장치(100)의 촬영 이미지를 수신할 수 있다. 물론, 비전 검사는 한 장의 정지 이미지일 수 있지만, 실시간으로 촬영되는 동영상 형태의 이미지일 수도 있다. 통신 인터페이스부(200)는 해당 이미지들을 수신하여 또는 해당 이미지들의 분석 결과를 수신하여 제어부(210)에 제공한다.

제어부(210)는 도 1의 환경적응형 머신비전장치(120)를 구성하는 도 2의 통신 인터페이스부(200), 환경적응형 머신비전부(220) 및 저장부(230)의 전반적인 제어 동작을 담당한다. 대표적으로 제어부(210)는 통신 인터페이스부(200)에서 제공되는 제품 검수와 관련한 촬영 이미지 또는 해당 이미지의 분석 결과를 수신하여 저장부(230)에 임시 저장한 후 불러내어 환경적응형 머신비전부(220)에 제공한다.

또한, 제어부(210)는 환경적응형 머신비전부(220)의 요청에 따라 지정 포맷으로 가공된 데이터를 도 1의 DB(120a)에 저장시키기 위하여 통신 인터페이스부(200)를 제어한다. 또 제어부(210)는 환경적응형 머신비전부(220)의 요청에 따라 도 1의 촬영장치(100) 또는 조명장치 등으로부터 제품 검수가 이루어지는 공간의 환경 변화와 관련한 다양한 데이터를 더 제공받아 이를 환경적응형 머신비전부(220)에 제공한다. 예를 들어, 환경적응형 머신비전장치(120)에서 직접 조명장치로 요청이 있는 경우 해당 조명장치는 자신의 현재 위치정보나 자세정보 등을 제공할 수 있다.

환경적응형 머신비전부(220)는 생산 라인 등에서 제품의 검수가 육안보다는 빠르고 정확하게 이루어지도록 머신비전 기술을 적용해 제품 검수 동작을 수행한다. 환경적응형 머신비전부(220)는 도 1의 촬영장치(100)에서 촬영되는 제품의 이미지를 분석해 분석 결과를 통해 점수를 계산할 수 있다. 그리고 그 계산한 점수를 기준값과 비교해 제품의 양호나 비양호를 판단할 수 있다. 다시 말해, 기준값을 넘으면 양호가 될 수 있고, 계산값이 기준값을 넘지 못하면 비양호가 될 수 있다.

제품 검수가 이루어지는 공간의 환경은 간헐적으로 변경이 이루어질 수 있다. 대표적으로 검수 공간의 조명 특성이 변경될 수 있고, 또 컨베이어벨트로 제품을 이동하면서 제품 검수가 이루어지는 경우 컨베이어벨트의 동작 상태도 환경 변화에 영향을 미칠 수 있다. 따라서, 환경적응형 머신비전부(220)는 단순히 양호나 비양호의 판단뿐 아니라, 양호와 비양호의 비율 즉 분포를 확인한다. 따라서 어느 시점부터 비양호의 비율이 증가하는 경우, 환경 변화 여부를 판단하게 된다. 예를 들어, 수신된 촬영 이미지를 통해서는 배경 영상의 화소 데이터 등을 분석하여 조명의 상태를 판단할 수 있다. 또는 촬영장치(100)의 자세와 관련한 데이터를 수신하여 촬영장치(100)의 촬영 자세를 판단할 수 있다. 나아가, 조명장치로부터 또는 촬영장치(100)를 경유하여 조명장치의 위치정보나 동작상태 등과 관련한 다양한 데이터를 제공받아 이를 근거로 제품 검수 공간의 환경을 판단할 수 있다.

물론 본 발명의 실시예에서는 해당 공간의 환경을 주기적으로 모니터링한다기보다는 기설정된 임계값을 근거로 제품의 양호와 비양호를 분류하면서 동시에 그 비중 다시 말해 분포 비율을 감시하며, 감시를 통해 어느 시점부터 비양호가 증가하기 시작할 때 이를 근거로 제품 검수 공간의 환경 변화를 판단한다. 물론, 이러한 과정에서 환경 변화의 판단 시점은 인공지능 등의 프로그램을 적용함으로써 그 판단 시점을 더 정확하게 예측하는 것도 얼마든지 가능할 수 있다. 예를 들어 컨베이어벨트의 노후화로 제품의 위치가 자꾸 변경되는 경우라면 컨베이어장치의 동작데이터를 학습함으로써 노후화를 예측할 수 있고 이로 인해 검수 제품의 위치가 변경될 수도 있으므로, 예측을 통해 사전에 미리 적절한 조치를 취할 수 있다.

본 발명의 실시예에 따른 환경적응형 머신비전부(220)는 어느 시점에서 즉 제품의 검수 결과 비양호의 비율이 (갑자기) 증가할 때 환경 변화 여부를 판단하고, 판단 결과 환경이 변화되었다고 판단될 때 기설정되어 있는 양호와 비양호의 판단 기준 임계값을 조절한다. 다시 말해, 양호와 비양호를 나누는 기준을 전체 10으로 볼 때, 5에 기준값이 설정되어 있었다면 6으로 기준값을 상향 조정함으로써 비양호의 범주에 포함되는 제품들을 양호의 범주에 들어가도록 할 수 있는 것이다. 물론 기설정된 기준값 즉 임계값의 자동 조절은 실험에 의해 또는 데이터를 수집하고 분석에 의해 변수별로 서로 다르게 자동 조절되도록 할 수 있다. 가령, 벨트의 노후화의 문제로 기준값을 6으로 자동 조절하였으면, 조명의 경우에는 7로 자동 조절하는 것 등이 그 예일 수 있다.

저장부(230)는 제어부(210)의 제어하에 처리되는 다양한 유형의 데이터를 임시 저장한다. 예를 들어 저장부(230)는 촬영장치(100)의 촬영 이미지에 대한 화소 데이터를 저장할 수 있지만, 촬영장치(100)의 장치식별정보 등도 임시 저장할 수 있다. 이에 따라 특정 제품은 어떤 촬영장치(100)에서 촬영된 것인지 판단이 이루어질 수 있으며, 따라서 촬영장치(100)의 문제로 판단될 때에는 교체가 이루어질 수도 있다. 이와 같은 측면에서 장치식별정보가 사용될 수 있다.

상기한 내용 이외에도 도 2의 통신 인터페이스부(200), 제어부(210), 환경적응형 머신비전부(220) 및 저장부(230)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

본 발명의 실시예에 따른 도 2의 통신 인터페이스부(200), 제어부(210), 환경적응형 머신비전부(220) 및 저장부(230)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(230)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.

한편, 본 발명의 다른 실시예로서 제어부(210)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 환경적응형 머신비전장치(120)의 동작 초기에 환경적응형 머신비전부(220)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.

도 3 내지 도 5는 환경 적응형 머신비전 동작 과정의 흐름도이다.

설명의 편의상 도 3 내지 도 5를 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 환경적응형 머신비전장치(120)는 촬영장치(100)에서 제공하는 검수 제품의 촬영 이미지 또는 영상을 수신한다(S300).

이어 환경적응형 머신비전장치(120)는 수신한 촬영 이미지 또는 영상을 분석하여 기설정된 방식에 따라 점수를 계산한다(S310). 예를 들어, 촬영 이미지에서 제품에 해당하는 영역(domain, region)만 추출한 후 그 추출한 영역의 제품에 대한 화소 데이터를 분석할 수 있다. 검수 제품에 대한 기준 화소 데이터는 기저장되어 있으므로 화소들의 화소값을 기준값과 비교함으로써 서로 일치하지 않는 화소의 개수를 계산할 수 있고 이러한 화소의 개수를 근거로 점수를 계산할 수 있다. 그리고 환경적응형 머신비전장치(120)는 수신한 제품 이미지의 계산 점수를 기준 임계값과 비교하여 해당 제품의 양호 또는 비양호를 판단한다(S320).

또한, 환경적응형 머신비전장치(120)는 제품의 양호 또는 비양호와 관련한 결과를 생산 라인 등에 있는 관리자 등에게 전송해 줄 수 있다(S330). 생산라인에 모니터가 있는 경우 해당 모니터로 특정 제품의 비양호를 통지할 수 있다.

이와 별도로 환경적응형 머신비전장치(120)는 양호와 비양호 제품의 비율을 계산할 수 있다. 좀더 구체적으로 환경적응형 머신비전장치(120)는 전체 NG 비율을 계산하고, 또 현재 NG의 비율을 계산한다(S350, S360). 전체 NG 비율은 추론 결과를 바탕으로 OK/NG의 개수 측정 및 NG의 비율 즉 RN을 계산한다. 이는 <수학식 1>과 같이 표현할 수 있다.

<수학식 1>은 RN = NG_all/(OK_all + NG_all)의 형태로 표현될 수도 있다.

또한, 현재 NG 비율은 최근 1k개의 추론 결과를 측정하여 OK/NG의 개수 및 NG의 비율(=Rn)을 계산하는 것이다. <수학식 2>와 같이 표현될 수 있다.

<수학식 2>는 Rn = NG_1k / 1000으로 표현될 수도 있다.

상기의 전체 NG 비율 및 현재 NG 비율을 근거로 환경적응형 머신비전장치(120)는 환경 변화 여부를 판단한다(S370).

예를 들어 환경적응형 머신비전장치(120)는 Rn / RN > 1.5인 경우 환경 변화로 NG가 실제보다 많이 발생하는 상황으로 판단할 수 있으며, Rn / RN < 0.66인 경우 환경 변화로 NG가 실제보다 적게 발생하는 상황으로 판단할 수 있다. 물론 이러한 상황 판단은 실험을 통해 기준이 설정될 수 있으며, 또는 빅데이터 수집을 통해 이를 딥러닝 프로그램 등을 통해 분석하여 분석 결과를 근거로 기준값(예: 1.5, 0.66 등)을 얻어내는 것도 얼마든지 가능할 수 있다.

나아가 환경적응형 머신비전장치(120)는 환경 변화 여부 판단에 따라 임계값 조절 및 결과값 보정 동작을 수행한다(S340). 다시 말해 환경적응형 머신비전장치(120)는 최근 1k개의 추론 결과의 점수값을 이용하여 Rn = RN이 되는 임계값을 계산하며, 새로운 임계값을 적용하여 최근 1k개의 추론 결과를 업데이트한다. 예를 들어 최근 1k개의 추론 결과를 점수값 순으로 정렬 후 RN × 1000번째 이미지의 점수를 임계값으로 변경할 수 있다.

상기한 내용 이외에도 도 1의 촬영장치(100) 및 환경적응형 머신비전장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

도 6은 도 1의 환경적응형 머신비전장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 6을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 환경적응형 머신비전장치(120)는 검수 제품의 촬영 데이터를 수신한다(S600). 촬영장치(100)로부터 제공되는 촬영 이미지나 영상은 압축 즉 인코딩되어 전송될 수 있고, 환경적응형 머신비전장치(120)는 해당 압축 영상을 복원해내는 디코딩 동작을 수행할 수 있지만, 본 발명의 실시예에서는 그 복원된 상태 즉 디코딩 상태의 촬영 데이터인 화소 데이터를 의미할 수 있다.

또한, 환경적응형 머신비전장치(120)는 수신한 촬영 데이터를 분석하여 분석 결과를 근거로 제품의 비양호 상태(NG: No Good)의 비율 변화를 감지하며, 감지한 결과에 따라 검수 제품의 촬영 환경 변화를 판단하여 판단 결과를 근거로 분석 결과를 보정한다(S610).

여기서, 보정한다는 것은 다양한 의미를 가질 수 있으며, 예를 들어, 기설정된 임계값을 변경하는 것뿐 아니라, 임계값은 고정하고, 그 보정치만큼 화소 데이터를 보정하여 점수를 계산하고 이를 기준 임계값과 비교해 OK 또는 NG 제품을 구분하는 것이다. 다만, 본 발명의 실시예에서는 기설정된 임계값의 높낮이를 조절할 수 있으며, 이의 과정에서 조절 이전의 데이터에 대하여 보정이 필요한 경우에는 보정 동작이 이루어질 수 있다.

상기한 내용 이외에도 도 1의 환경적응형 머신비전장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 촬영장치 110: 통신망
120: 환경적응형 머신비전장치 200: 통신 인터페이스부
210: 제어부 220: 환경적응형 머신비전부
230: 저장부

Claims

검수 제품의 촬영 데이터를 수신하는 통신 인터페이스부; 및
상기 수신한 촬영 데이터를 분석하여 분석 결과를 근거로 제품의 비양호 상태(NG)의 비율 변화를 감지하며, 상기 감지한 결과에 따라 상기 검수 제품의 촬영 환경 변화를 판단하여 판단 결과를 근거로 상기 분석 결과를 보정하는 제어부;를
포함하는 환경적응형 머신비전장치.
제1항에 있어서,
상기 제어부는, 기설정된 임계값을 기준으로 상기 비양호 상태를 판단하며, 상기 판단 결과를 근거로 상기 기설정된 임계값을 자동으로 조절하여 상기 분석 결과를 보정하는 환경적응형 머신비전장치.
제2항에 있어서,
상기 제어부는, 상기 비양호 상태의 비율이 높아지면 상기 기설정된 임계값보다 임계값을 높게 자동 설정하고, 상기 비양호 상태의 비율이 낮아지면 상기 기설정된 임계값보다 임계값을 낮게 자동 설정하는 환경적응형 머신비전장치.
제2항에 있어서,
상기 제어부는, 상기 촬영 환경 변화로서 제품의 검수가 이루어지는 공간의 조명의 세기나 위치 또는 제품의 위치 변화를 고려하여 환경 변화를 판단해 기설정된 임계값을 자동 조절하는 환경적응형 머신비전장치.
제1항에 있어서,
상기 제어부는, 상기 수신한 촬영 데이터의 분석 결과를 점수값(score)으로 계산하고, 상기 계산한 점수값을 기설정된 임계값과 비교하여 상기 비양호 상태를 판단하는 환경적응형 머신비전장치.
통신 인터페이스부가, 검수 제품의 촬영 데이터를 수신하는 단계; 및
제어부가, 상기 수신한 촬영 데이터를 분석하여 분석 결과를 근거로 제품의 비양호 상태(NG)의 비율 변화를 감지하며, 상기 감지한 결과에 따라 상기 검수 제품의 촬영 환경 변화를 판단하여 판단 결과를 근거로 상기 분석 결과를 보정하는 단계;를
포함하는 환경적응형 머신비전장치의 구동방법.
제6항에 있어서,
상기 보정하는 단계는,
기설정된 임계값을 기준으로 상기 비양호 상태를 판단하며, 상기 판단 결과를 근거로 상기 기설정된 임계값을 자동으로 조절하여 상기 분석 결과를 보정하는 환경적응형 머신비전장치의 구동방법.
제7항에 있어서,
상기 보정하는 단계는,
상기 비양호 상태의 비율이 높아지면 상기 기설정된 임계값보다 임계값을 높게 자동 설정하고, 상기 비양호 상태의 비율이 낮아지면 상기 기설정된 임계값보다 임계값을 낮게 자동 설정하는 환경적응형 머신비전장치의 구동방법.
제7항에 있어서,
상기 보정하는 단계는,
상기 촬영 환경 변화로서 제품의 검수가 이루어지는 공간의 조명의 세기나 위치 또는 제품의 위치 변화를 고려하여 환경 변화를 판단해 기설정된 임계값을 자동 조절하는 환경적응형 머신비전장치의 구동방법.
제6항에 있어서,
상기 보정하는 단계는,
상기 수신한 촬영 데이터의 분석 결과를 점수값(score)으로 계산하고, 상기 계산한 점수값을 기설정된 임계값과 비교하여 상기 비양호 상태를 판단하는 환경적응형 머신비전장치의 구동방법.