KR20200100086A - 생산 라인 검사의 설정을 위한 시스템 및 방법 - Google Patents

Abstract

본 발명은 제조된 물품에 대한 가시적 결함을 검출하기 위한 자동 검사 프로세스를 제공한다. 프로세스는 동일한 유형의 무결함 품목의 이미지는 얻어지지만, 동일한 유형의 결함이 있는 품목의 이미지는 얻어지지 않는 설정 모드, 및 동일한 유형의 무결함 품목 및 동일한 유형의 결함이 있는 품목 둘 모두의 이미지가 얻어지며 결함이 검출되는 검사 모드를 포함한다. 동일한 유형의 무결함 품목의 이미지가 분석되고 분석에 의존하여 프로세스가 검사 모드로 전환된다.

Description

생산 라인 검사의 설정을 위한 시스템 및 방법

본 발명은 육안 검사 프로세스, 예를 들어, 생산 라인의 품목의 검사에 관한 것이다.

생산 프로세스 동안의 검사는 결함을 식별하고 이러한 검출에 따라 작동함으로써 예를 들어, 그들을 바로잡거나 결함이 있는 부품을 폐기함으로써 제품의 품질을 제어하는데 도움이 되고, 따라서 생산성 개선, 결함률 감소, 및 재작동 및 폐기물 감소에 유용하다.

자동화된 육안 검사 방법은 생산 라인에서 제조된 부분의 무결성에 기능적 또는 미학적 영향을 줄 수 있는 시각적으로 검출가능한 이상을 식별하기 위해 사용된다. 오늘날 시중에 나와 있는 생산 라인을 위한 기존의 육안 검사 해결책은 전형적으로 매우 고가이며 하드웨어 및 소프트웨어 구성요소의 전문적인 통합뿐만 아니라, 검사 해결책 및 생산 라인의 수명 동안 이들의 전문적인 유지 보수를 요구하는 맞춤형 자동화된 육안 검사 시스템에 의존한다.

시스템의 초기의 고 비용에 더하여, 각각의 새로운 제조된 물품 또는 새로운 식별된 결함은 프로젝트가 효율적으로서 사용될 때까지 그것이 개시되는 시간 사이에, 몇 개월 내에 측정될 수 있는 다운타임(downtime)을 야기한다. 중간 기간 동안, 공장은 고가의 내부/외부 인력을 사용하여 품질 보증(QA), 게이팅, 분류 또는 다른 업무를 수행하거나, 공장 생산 라인의 하나 이상의 부분에서 이들 중 임의의 것을 수행하지 않을 위험 및/또는 생산 저하를 감수하도록 강요된다.

일부 자동화된 육안 검사 해결책은 검사된 물품의 이미지를 결함이 없는 물품의 이미지와 비교하고/하거나 가능한 결함의 이미지의 데이터베이스를 사용하며, 그에 의해 검사된 물품에서 결함을 검출한다. 결함의 데이터베이스를 생성하고 업데이트하는 부담은 별도로 하고, 이미징 환경(예컨대, 조명 조건)은 이미징된 물품의 시각적 표현에 크게 영향을 미치고, 그에 의해 이들 해결책을 종종 단지 특정 품목, 특정 결함에 그리고 특정 이미징 환경에 관련되게 한다.

다른 자동화된 육안 검사 해결책은 단일 물품의 일례에 기초하여 측정 또는 이상 검출에 의존할 수 있지만, 여전히 주변 환경, 카메라 장치 및 촬영 파라미터 및 소프트웨어를 설정하는데 전문적인 개입 부담이 있으며, 해결책이 설정된 특정 결함 및 특정 이미징 환경으로 또한 제한된다.

한편으로, 산업 공장의 민첩성 및 개선의 필요성과 다른 한편으로, 동시대의 검사 해결책의 번거롭고 값비싼 설정 프로세스 사이에 불일치가 증가하고 있다.

본 발명의 실시형태는 제조된 품목에 대한 가시적 결함을 검출하기 위한 프로세스의 단순한 설정을 제공한다.

하나의 실시형태에서, 검사 라인 프로세스는 검사 단계 이전의 설정 단계를 포함한다. 설정 단계에서, 어떠한 결함도 갖지 않은 제조된 품목(무결함 품목(defect free item))의 샘플은 검사 라인, 동일한 검사 라인 또는 검사 단계를 위해 사용되는 것과 유사한 설정 파라미터를 가지는 검사 라인에 이미징된다. 이미지는 프로세서에 의해 분석되고 그 다음, 검사 단계에서 실행된 기계 학습 알고리즘에 대해 참조 이미지로서 사용된다.

검사 단계에서, 검사된 품목(결함에 대해 검사될 제조된 품목)이 이미징되고 각각의 검사된 품목으로부터 수집된 이미지 데이터는 각각의 검사된 품목에 대해 하나 이상의 결함을 검출하기 위해 기계 학습 프로세스와 같은 컴퓨터 비전 알고리즘에 의해 분석된다.

설정 단계에서, 프로세서는 무결함 품목의 이미지의 파라미터 예를 들어, 이미징 파라미터(예로서, 노출 시간, 초점 및 조명), 공간 속성 및 이미지에서 무결함 품목의 고유하게 표현하는 특징을 학습한다. 이들 파라미터는 예를 들어, 상이한 이미징 파라미터를 사용하여 무결함 품목의 이미지를 분석함으로써 그리고 동일한 유형의 무결함 품목의 상이한 이미지 사이의 관계를 분석함으로써 학습될 수 있다.

설정 단계 동안 상이한 이미징 파라미터를 사용하는 이 분석은 새로운 이미지의 이미징 환경에 관계없이, 새로운 이미지에서 동일한 유형의 품목(결함이 없거나 결함을 갖는)을 구별되게 검출하는 것을 가능하게 한다.

게다가, 설정 단계 동안의 분석은 검사 단계 동안, 이 동일한 품목에 대한 최적의 이미징 조건을 찾기 위해 이미징 파라미터가 변조되어야 하고 어떤 이미징 파라미터가 변조되어야 하는지를 결정하는 것을 가능하게 한다. 설정 단계의 이 기능은 상이한 이미징 환경으로 인한 결함의 잘못된 검출을 방지하는데 도움을 줄 수 있다.

부가적으로, 설정 단계에서의 분석은 다음 품목이 긍정 오류(false positives)를 생성하지 않거나 검사될 새로운 품목의 존재를 검출하는 것을 누락하지 않고 결함에 대해 분석할 수 있도록 통계적 신뢰 레벨을 성취하기 위해 무결함 품목이 충분히 샘플링된 때를 결정하는 것을 가능하게 한다.

게다가, 설정 단계 동안의 분석은 카메라의 시야 내에서 검출의 낮은 신뢰 레벨이 존재하는 품목의 위치를 결정하는 것을 가능하게 한다.

단지 결함이 없는 샘플(사용자가 승인한 대로)을 사용하여 수행되는 설정 단계에서의 이들 자동 분석 프로세스는 생산 라인에서 제조된 품목에 대한 자동 검사 프로세스를 크게 간소화하고, 용이하게 하며 단순화하는데, 이는 그들이 검사 단계를 실행하기 이전에 사용자에게 피드백을 제공하는 것을 가능하게 하고, 그에 의해 시간 낭비 및 사용자의 불만을 회피하기 때문이다. 예를 들어, 사용자에 대한 피드백은 설정 단계가 완료되고 검사 단계가 시작될 수 있을 때를 사용자에게 조언하는 것을 포함할 수 있다. 사용자에 대한 피드백은 사용자에게 설정 품목의 위치를 정정하거나 품목의 유형이 검사 프로세스를 위해 적합하지 않다고 조언하는 통보를 또한 포함할 수 있다.

검사 시스템으로부터 일반적으로, 현재 검사 시스템이 제공되지 않는 사용자로의 이 피드백은 설정 프로세스를 크게 단순화하고 검사 라인 조작자의 사용자 경험을 증진시키며, 검사 라인 조작자는 그렇지 않으면, 검사 단계 동안 양호한 결과를 성취하기 위해 설정 단계를 완료하는 방법을 알 수 없다.

본 발명의 실시형태에서, 결함의 어떠한 데이터베이스도 사용되지 않으며, 설정 단계 동안 무결함 품목만 분석된다. 따라서, 검사 단계 동안 이전에 알려지지 않았거나 예상되지 않은 결함이 검출될 수 있다.

따라서, 본 발명의 하나의 양태에서 검사 라인 시스템이 제공된다. 시스템은 사용자 인터페이스 및 카메라와 통신하는 프로세서를 포함한다. 프로세서는 검사된 품목에 결함이 있거나 결함이 없는지를 검사 라인의 검사된 품목의 이미지로부터 결정한다. 하나의 실시형태에서, 프로세서는 검사된 품목과 동일한 유형의 무결함 품목의 이미지를 분석하고 분석에 기초하여, 카메라의 시야 내에서 또 다른 동일한 유형의 품목의 배치에 관한 사용자에 대한 지시를 사용자 인터페이스에 디스플레이하기 위한 신호를 생성한다.

하나의 실시형태에서, 프로세서는 무결함 품목의 이미지로부터, 구성 속성(예로서, 무결함 품목의 공간 분해(예로서, 이미징된 품목의 가능한 이동, 회전, 및 스케일 변경) 및/또는 무결함 품목의 이미지 사이의 등록)을 분석한다.

하나의 실시형태에서, 프로세서는 다음 이미지에서 동일한 유형의 무결함 품목이 결함이 없는 것으로 결정될 것으로 결정할 확률을 산출하고, 확률에 기초하여, 프로세서는 디스플레이할 신호를 생성한다.

일부 경우에, 상이한 동일한 유형의 무결함 품목의 적어도 2개의 이미지가 프로세서에 의해 분석되고, 분석에 기초하여, 상기 설명된 바와 같은, 신호가 생성된다.

하나의 실시형태에서, 프로세서는 카메라의 시야 내에 동일한 유형의 무결함 품목 또는 동일한 유형의 검사된 품목을 배치하기 위해 사용자에게 지시를 디스플레이하기 위한 신호를 생성한다. 일부 실시형태에서, 프로세서는 동일한 유형의 품목이 검사될 수 없음을 나타내는 오류 통지를 사용자에게 디스플레이하기 위한 신호를 생성한다(따라서, 지시는 카메라의 시야 내에 임의의 동일한 유형의 품목을 배치하지 않을 수 있다).

일부 실시형태에서, 프로세서는 카메라의 시야 내에서, 동일한 유형의 무결함 품목의 위치 또는 방향에 관한 지시를 사용자에게 디스플레이하기 위한 신호를 생성한다.

일부 실시형태에서, 프로세서는 무결함 품목의 이미지에서 관심영역(region of interest)을 제한하기 위한 지시를 디스플레이하기 위한 신호를 생성한다.

일부 실시형태에서, 프로세서는 예로서, 이미징된 품목으로부터 카메라의 거리를 조정하기 위해 또는 이미지가 얻어지는 동안 카메라 및/또는 이미징된 품목이 이동하고 있지 않는지를 확인하기 위해 카메라와 관련된 지시를 디스플레이하기 위한 신호를 생성한다.

일부 실시형태에서, 프로세서는 사용자 인터페이스를 통해 사용자 입력을 수신할 수 있고 사용자 입력에 기초하여 신호를 생성할 수 있다. 사용자 입력은 예를 들어, 시스템으로부터 요구된 원하는 레벨의 정확도, 또는 무결함 품목의 이미지에서 관심영역일 수 있다.

일부 실시형태에서, 검사 세션은 설정 품목 및 검사된 품목이 동시에 이미징되도록 동일한 검사 라인에서 수행된 설정 단계 및 검사 단계를 포함한다. 그러나, 일부 실시형태에서, 설정 단계 및 검사 단계는 단일 검사 세션에서 수행되지 않는다. 이 경우에, 설정 단계 동안 사용된 설정 파라미터(예로서, 카메라로부터의 품목의 거리 및/또는 시야 내의 품목의 위치)는 검사된 품목의 이미지를 얻기 위해 저장되고 검사 단계에서 나중에 사용될 수 있다.

본 발명의 또 다른 양태는 자동 생산 라인 검사 프로세스를 위한 방법을 제공한다. 프로세스는 동일한 유형의 무결함 품목의 이미지는 얻어지지만 동일한 유형의 결함이 있는 품목의 이미지는 얻어지지 않는 설정 모드, 및 동일한 유형의 무결함 품목 및 동일한 유형의 결함이 있는 품목 둘 모두의 이미지가 얻어지고 결함이 검출되는 검사 모드를 포함한다.

하나의 실시형태에서, 방법은 동일 유형의 무결함 품목의 이미지를 분석하는 단계 및 분석의 결과에 기초하여 검사 모드로 전환하는 단계를 포함한다.

방법은 분석의 결과에 기초하여 사용자에게 출력을 제공하기 위한 신호를 생성하는 단계를 더 포함할 수 있다. 출력은 동일한 유형의 무결함 품목에 관한 정보 또는 지시 예를 들어, 검사 라인에서의 무결함 품목의 배치에 관한 사용자에 대한 지시, 또는 프로세스에 관한 사용자에 대한 정보를 포함할 수 있다.

본 발명은 본 발명이 더 완전하게 이해될 수 있도록 하기의 예시적인 도면을 참조하여 특정 예 및 실시형태와 관련하여 이제 설명될 것이다. 도면에서:
도 1a, 도 1b 및 도 1c는 본 발명의 실시형태에 따라 동작가능한, 생산 라인 검사를 위한 시스템을 개략적으로 도시한 도면;
도 1d는 본 발명의 실시형태에 따른, 생산 라인 검사를 위한 시스템에서 설정 단계의 방법을 개략적으로 도시한 도면;
도 2는 본 발명의 실시형태에 따른, 검사 프로세스를 개략적으로 도시한 도면;
도 3은 본 발명의 일 실시형태에 따른, 원근 왜곡을 사용하는 검사 프로세스의 설정 단계를 개략적으로 도시한 도면;
도 4는 본 발명의 일 실시형태에 따른, 이미지 등록을 사용하는 검사 프로세스의 설정 단계를 개략적으로 도시한 도면;
도 5는 본 발명의 일 실시형태에 따른, 검사 프로세스의 설정 단계 동안 설정 이미지의 분석을 개략적으로 도시한 도면; 및
도 6은 본 발명의 일 실시형태에 따른, 검사 프로세스의 설정 단계에서 ROI를 사용하는 것을 개략적으로 도시한 도면.

본 발명의 하나의 실시형태에 따른 생산 라인 검사 프로세스를 실행하는 생산 라인 육안 검사 시스템이 도 1a 및 도 1b에 개략적으로 도시된다. 전형적으로 제조 공장에서 발생하는 생산 라인 검사 프로세스는 설정 단계(도 1a) 및 검사 단계(도 1b)를 포함한다.

설정 단계에서, 어떠한 결함도 갖지 않은 동일한 유형의 제조된 품목 예로서, 결함이 없는 샘플 품목(2 및 2')의 2개 이상의 샘플은 (하나 이상의) 카메라(3)의 시야(FOV(3')) 내에 연속적으로 배치된다. 예를 들어, 결함이 없는 샘플 품목(2 및 2')은 컨베이어 벨트(5)의 이동이 먼저 품목(2)을 FOV(3')로 운반하고 그 다음, 품목(2')을 FOV(3')로 운반하도록 컨베이어 벨트(5)를 포함하는 검사 라인에 배치될 수 있다.

각각의 결함이 없는 샘플 품목(2 및 2')은 카메라(3)에 의해 이미징된다. 설정 이미지로서 간주될 수 있는 이들 이미지는 각각의 이미지에 카메라(3)의 상이한 이미징 파라미터 예를 들어, 상이한 초점 및 노출 시간을 사용함으로써 얻어진다. 설정 이미지는 이미징되는 유형의 품목의 공간적 속성 및 식별 특징과 같은 정보를 수집하기 위해 분석된다. 공간 속성은 예를 들어, 품목의 2D 형상 및 3D 특성을 포함할 수 있다. 식별 특징은 전형적으로, 품목에 고유하고 이미지에서 품목과 배경 사이를 식별하기 위해 사용할 수 있는 디지털 이미지 특징(예컨대, 객체 인식 알고리즘에 의해 사용된 것)을 포함한다.

일단 설정 이미지의 분석에 기초하여, 품목에 관한 충분한 정보가 얻어지는 것으로 결정되면, 설정 단계는 컨베이어 벨트(5)에 샘플(샘플 품목(2 및 2'))을 배치하는 것을 중단하기 위해 그리고/또는 컨베이어 벨트(5)에 검사된 품목(4, 4' 및 4")(예컨대, 도 1b에 도시)을 배치하기 위해 종료될 수 있고 통보는 사용자 인터페이스(6)를 통해 사용자에게 디스플레이되거나 그렇지 않으면 제공된다.

설정 단계 다음의 검사 단계(도 1b)에서, 샘플 품목(2 및 2')과 동일한 유형이며 결함을 가질 수 있거나 가질 수 없는 검사 품목(4, 4' 및 4")은 카메라(3)에 의해 연속적으로 이미징되고 검사 이미지로서 간주될 수 있는 이들 이미지는 품목(4, 4' 및 4")에서 결함을 검출하기 위해 컴퓨터 비전 기술(예로서, 기계 학습 프로세스)을 사용하여 분석된다. 도 1b에 도시된 예에서, 품목(4')은 결함(7)을 포함하는 반면, 품목(4 및 4")은 결함이 없다.

결함은 예를 들어, 품목의 표면의 가시적인 흠(flaw), 품목 또는 품목의 일부의 바람직하지 않은 크기, 형상 또는 색, 품목의 일부의 바람직하지 않은 수, 그것의 인터페이스의 잘못되거나 누락된 어셈블리, 파손되거나 타버린 부품, 품목 또는 품목의 일부의 잘못된 정렬, 잘못되었거나 결함이 있는 바코드, 및 일반적으로 이미지로부터 사용자 즉, 생산 라인에서의 인간 검사자에게 분명할 결함이 없는 샘플과 검사된 품목 사이의 임의의 차를 포함할 수 있다. 일부 실시형태에서, 결함은 확대 또는 고 해상도 이미지 예로서, 현미경 또는 다른 특수화된 카메라에 의해 얻어진 이미지에서만 보여지는 흠을 포함할 수 있다.

용어 "동일한 유형의 품목"은 동일한 물리적 구성을 가지며 형상 및 치수 및 가능하게 색 및 다른 물리적 특징이 서로 유사한 품목을 언급한다. 전형적으로, 그것의 생산 라인에서 단일 생산 시리즈 품목, 동일한 유형의 품목의 무리(batch) 또는 그것의 생산 라인에서 동일한 단계에서의 품목의 무리는 "동일한 유형의 품목"일 수 있다. 예를 들어, 검사된 품목이 위생 제품이면, 동일한 무리의 상이한 싱크볼(sink bowl)은 동일한 유형의 품목이다.

하나의 예에서, 결함이 없는 샘플 품목(2 및 2') 및 검사된 품목(4, 4' 및 4")은 위생 도기 제품 또는 싱크와 같은, 위생 도기 제품의 일부를 포함한다. 검출된 흠은 예를 들어, 싱크의 표면의 흠집, 싱크의 변색, 싱크의 드레인 홀의 부정확한 크기 및/또는 형상, 드레인 홀의 부정확한 위치, 싱크 볼의 바람직하지 않은 형상, 싱크에 걸렸거나 나사로 조여진 잘못 위치되거나 잘못된 크기의 구성요소 등, 및 일반적으로 - 인간 검사자에 의해 결함으로서 검출될, 결함이 없는 싱크 샘플의 이미지와 검사된 싱크의 이미지 사이의 임의의 차를 포함한다.

또 다른 예에서, 결함이 없는 샘플 품목(2 및 2') 및 검사된 품목(4, 4' 및 4")은 캔디 박스를 포함할 수 있고 검출된 흠은 박스에서 사탕의 잘못된 수, 박스에서 하나 이상의 캔디의 잘못된 색, 박스에서 하나 이상의 사탕의 잘못된 위치, 사탕 또는 사탕 박스의 잘못된 라벨링, 바코드 및 가격표의 누락 등, 및 일반적으로 인간 검사자에 의해 결함으로서 검출될, 사탕 박스 설정 샘플의 이미지와 검사된 사탕 박스의 이미지 사이의 임의의 차를 포함할 수 있다.

본 발명의 일 실시형태에 따른, 도 1a 및 도 1b에 도시된 프로세스에서 동작가능할 수 있는 생산 라인 검사를 위한 시스템은 도 1c에 개략적으로 도시된다.

다음의 설명에서, 본 발명의 상이한 양태가 설명될 것이다. 설명의 목적을 위해, 본 발명의 완전한 이해를 제공하기 위해 특정 구성 및 상세가 제시된다. 그러나, 본 발명이 본 명세서에서 제공된 특정 상세 없이 실시될 수 있다는 것이 당업자에게 또한 명백할 것이다. 또한, 본 발명을 모호하게 하지 않기 위해 잘 알려진 특징은 생략되거나 단순화될 수 있다.

다르게 구체적으로 언급되지 않는 한, 다음의 논의로부터 명백한 바와 같이, 명세서 전반에 걸쳐 "분석", "프로세싱", "계산", "산출", "결정", "검출", "식별" 등과 같은 용어를 활용하는 논의가 컴퓨터 또는 컴퓨팅 시스템, 또는 컴퓨팅 시스템의 레지스터 및/또는 메모리 내의 전자적 수량과 같은 물리적으로서 표현된 데이터를 조작하고/하거나 컴퓨팅 시스템의 메모리, 레지스터 또는 다른 이러한 정보 저장장치, 송신 또는 디스플레이 디바이스 내의 물리적 수량으로서 유사하게 표현된 다른 데이터로 전환하는 유사한 전자 컴퓨팅 디바이스의 조치 및/또는 프로세스를 언급함이 인식된다. 다르게 언급되지 않는 한, 이들 용어는 인간 조작자의 임의의 조치와 무관하게 또는 임의의 조치가 없는, 프로세서의 자동 조치를 언급한다.

하나의 실시형태에서, 도 1c에서 예시화된 시스템은 이미지 데이터를 분석하기 위해 그리고 신호를 사용자 인터페이스(6)에 출력하기 위해 카메라(3)와 같은 하나 이상의 이미지 센서로부터 검사 라인의 이미지 데이터를 수신하기 위한 프로세서(102)를 포함한다.

이 설명의 맥락에서, 이미지 데이터는 부분 또는 전체 이미지 또는 비디오뿐만 아니라, 반사된 광의 세기를 표현하는 픽셀 값과 같은 데이터를 포함할 수 있다.

프로세서(102)는 예를 들어, 하나 이상의 프로세서를 포함할 수 있고 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP), 필드 프로그래밍가능한 게이트 어레이(FPGA), 마이크로프로세서, 제어기, 칩, 마이크로칩, 집적 회로(IC), 또는 임의의 다른 적합한 다중 목적 또는 특수 프로세서 또는 제어기일 수 있다. 프로세서(102)는 국소적으로 내장되거나 원격일 수 있다.

프로세서(102)는 전형적으로 메모리 유닛(112)과 통신한다. 하나의 실시형태에서, 메모리 유닛(112)은 프로세서(102)에 의해 실행될 때, 하기에 설명된 바와 같이, 프로세서(102)의 동작의 수행을 용이하게 하는 실행가능한 지시를 저장한다. 메모리 유닛(112)은 카메라(3)로부터 수신된 이미지 데이터의 적어도 일부를 또한 저장할 수 있다.

메모리 유닛(112)은 예를 들어, 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 플래시 메모리, 휘발성 메모리, 비 휘발성 메모리, 캐시 메모리, 버퍼, 단기 메모리 유닛, 장기 메모리 유닛, 또는 다른 적합한 메모리 유닛 또는 저장 유닛을 포함할 수 있다.

프로세서(102)는 (하나 이상의 카메라(3)로부터) 검사 라인에 결함이 없는 동일한 유형의 품목의 하나, 또는 일부 실시형태에서, 적어도 2개의 설정 이미지를 수신한다. 프로세서(102)는 그 다음, 설정 이미지를 분석하고 분석에 기초하여, 검사 라인에 샘플 품목 또는 검사된 품목을 부가하는 것에 관한 사용자에 대한 지시를 사용자 인터페이스(6)에 디스플레이하기 위한 신호를 생성한다.

하나의 실시형태에서, 프로세서(102)는 단일 설정 이미지를 수신하고 예를 들어, 이미징된 품목의 전형적인 특징을 식별하고/하거나 이미지의 상이한 부분을 비교하기 위해 이미지를 분석할 수 있다. 또 다른 실시형태에서, 프로세서(102)는 복수의 설정 이미지, 즉 결함이 없는 동일한 유형의 샘플 품목(예로서, 품목(2 및 2'))의 이미지를 수신한다. 프로세서(102)는 품목의 유형에 관한 충분한 정보가 얻어지는지를 결정하기 위해 설정 이미지(들)를 분석하여 동일한 유형의 품목이 새로운 이미지에서 예로서, 검사 이미지에서, 즉 검사된 품목(예로서, 검사된 품목(4, 4', 4"))의 이미지에서 검출될 수 있게 한다. 부가적으로, 프로세서(102)는 새로운 이미지에서 동일한 유형의 품목이 검출될 수 있고 동일한 유형 무결함 품목의 새로운 이미지에서 어떠한 긍정 오류도 검출되지 않을 것이라는 충분한 통계적 신뢰가 성취되는지를 결정하기 위해 설정 이미지를 분석한다. 예를 들어, 본 명세서에서 설명된 바와 같이, 원근 왜곡을 보여주는 어떠한 이미지도 없다고 결정하는 것, 이미지의 정렬을 결정하는 것, 무결함 품목의 정확한 검출을 결정하는 것 등을 위해, 설정 이미지를 서로 비교하는 것에 기초하여 통계적 신뢰가 성취될 수 있다.

설정 이미지의 분석에 기초하여 충분한 정보 및/또는 통계적 신뢰가 얻어지면, 프로세서(102)는 "검사 모드로의 전환" 신호를 생성하여 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 할 수 있어서 사용자가 검사 라인에 샘플 품목을 배치하는 것을 중단하고/하거나 검사 라인에 검사된 품목을 배치하는 것을 시작하는 것이 가능함을 알 수 있게 한다.

설정 이미지의 분석에 기초하여, 프로세서(102)가 더 많은 정보가 필요하다고 결정하면, 프로세서(102)는 "설정 모드로 계속" 신호를 생성하여 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 할 수 있어서 사용자가 그가 FOV(3') 내에 더 많은 샘플 품목을 배치해야 한다는 것을 알 수 있게 한다.

프로세서(102)는 FOV(3') 내의 특정 위치 또는 위치 또는 방향에서 샘플 품목을 위치시키거나 배치하거나 지향시키기 위해 사용자에게 지시를 디스플레이하거나 그렇지 않으면 제공하기 위한 신호를 또한 생성할 수 있다.

설정 이미지의 분석에 기초하여, 프로세서(102)가 충분한 정보가 얻어질 수 없다고 결정하면, 프로세서(102)는 관심영역을 업데이트하기(예로서, 제한하거나 변경하기) 위해, 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 하기 위한 신호를 생성할 수 있다. 일부 실시형태에서, 프로세서(102)는 "오류" 신호를 생성하여 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 할 수 있어서 사용자가 이 유형의 품목이 검사될 수 없음을 알 수 있게 한다. "충분한 정보를 얻을 수 없는" 경우는 예를 들어, 이미지의 정렬이 얻어지지 않을 수 있어서, 시스템으로 하여금 결함이 없는 것으로 알려지는 품목에서 결함을 (거짓으로) 검출하게 하는 경우를 포함할 수 있다.

일부 경우에, 프로세서(102)는 설정 이미지의 분석에 기초하여, 충분한 광이 없다고(예로서, 평활화된 이미지 및 롤링 셔터 아티팩트와 같은 장 노출 문제를 겪지 않고 짧은 충분한 노출을 생성하기에 충분한 광이 아님) 결정할 수 있다. 이 경우에, 프로세서(102)는 예로서, 조명 레벨을 증가시키기 위해 카메라 및/또는 조명을 이미징된 품목에 더 가깝게 하도록 카메라를 조정하기 위해, 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 하기 위한 신호를 생성할 수 있다.

일부 경우에, 프로세서(102)는, 설정 이미지의 분석에 기초하여, (예를 들어, 연속적인 이미지의 조밀한(픽셀 단위) 등록을 수행하고 이미징된 품목의 전체 또는 일부에서 이동을 검사함으로써) 품목의 정적 이미지가 얻어질 수 없는 것으로 결정할 수 있다. 이 경우에, 프로세서(102)는 카메라가 잘 고정되어 있는지를 확인하기 위해; 다음 품목으로 이동하기 전에 검사 라인에서 품목이 완전히 정적인지를 확인하기 위해 그리고/또는 다음 품목으로 이동하기 전에 품목의 모든 이동하는 부분이 완전히 정적인지를 확인하기 위해, 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 하기 위한 신호를 생성할 수 있다.

설정 이미지의 분석은 예를 들어, (상기 설명된 바와 같은) 상이한 이미징 파라미터를 사용하는 것, 설정 이미지에서 샘플 품목의 식별 특징을 검출하는 것, 샘플 품목의 (상기 설명된 바와 같은) 공간 분해를 분석하는 것 및 상이한 결함이 없는 설정 이미지 사이에 적용될 때 얻어진 결함 검출 결과를 분석하는 것을 포함할 수 있다.

분석은 최적 초점과 같은 파라미터를 결정하는 것, 이미지의 등록에 의해 정렬된 이미지를 얻는 것, 품목의 외부 경계를 검출하는 것 등을 위해 사용될 수 있다. 따라서, 설정 이미지의 등록은 이미지 사이에 최상의 정렬을 가능하게 하도록 최적의 파라미터를 찾기 위해 분석될 수 있다.

일단 이미징된 품목의 공간 속성 및 상기 언급된 파라미터의 이해를 제공하기 위해 충분한 이미지가 얻어지고 충분히 높은 레벨의 신뢰가 성취되면, 설정 모드로부터 검사 모드로 전환하기 위한, 즉 샘플 품목보다 오히려 검사된 품목을 검사 라인에 부가하기 위한 지시가 디스플레이될 수 있다. 그러나, 예를 들어, 분석에 기초하여, 최적의 초점이 확립될 수 없고/없거나 상이한 이미지 사이의 정렬이 달성될 수 없고/없거나 이미징된 품목의 일부가 포화되고/되거나 품목의 외부 경계가 식별가능하지 않고/않거나 시스템에 의해 실행된 결함 검출 알고리즘이 결함이 없는 이미지에 결함이 없는 검출을 제공하기 위해 수렴할 수 없다고 결정되면, 프로세서(102)는 "오류" 신호를 생성하여 통보로 하여금 사용자 인터페이스(6)에 의해 디스플레이되거나 그렇지 않으면 제공되게 할 수 있어서 사용자가 이 유형의 품목이 검사될 수 없음을 알 수 있게 한다.

예를 들어, 사용자 인터페이스(6)는 모니터 또는 스크린을 포함할 수 있고 통보는 시각적(예로서, 모니터에 디스플레이된 텍스트 또는 다른 콘텐트)일 수 있다. 또 다른 예에서, 사용자 인터페이스(6)는 프로세서(102)에 의해 생성된 신호에 기초하여 점등되거나 색을 변화시킬 수 있는 광을 포함할 수 있다. 여전히 또 다른 예에서, 사용자 인터페이스(6)는 프로세서(102)에 의해 생성된 신호에 기초하여 사운드를 방출하는 오디오 플레이어를 포함한다. 또 다른 실시형태에서, 사용자 인터페이스(6)는 사용자와 통신하기 위한 다른 적합한 매체를 포함할 수 있다.

일부 실시형태에서, 사용자 인터페이스(6)는 사용자 입력을 수용하도록 설계된다. 예를 들어, 사용자 인터페이스(6)는 사용자가 설정 이미지에서 관심영역을 정의하는 것을 가능하게 하기 위해, 모니터 및 키보드 및/또는 마우스를 포함할 수 있다. 따라서, 설정 이미지는 모니터의 사용자에게 디스플레이될 수 있고 사용자는 그 다음, 디스플레이된 설정 이미지에 관심영역을 표시하기 위해 키보드 또는 마우스 또는 다른 입력 디바이스를 사용할 수 있다. 이 사용자 입력에 기초하여, 프로세서(102)는 분석을 표시된 관심영역으로 제한하거나 그 영역에 초점을 맞출 수 있고, 그에 의해 설정 단계를 용이하게 한다.

일부 실시형태에서, 이미징 파라미터가 최적화될 수 없거나, 설정 이미지의 등록 또는 정렬이 달성되지 않으면, 프로세서(102)는 설정 이미지에서 관심영역을 제한하거나 그렇지 않으면 수정하기 위한 지시를 디스플레이하기 위한 신호를 생성한다. 사용자는 그 다음, 사용자 인터페이스(6)를 통해, 프로세서(102)가 분석할 설정 이미지에서 관심 있는 새롭거나 상이한 영역을 나타낼 수 있다.

일부 실시형태에서, 사용자는 사용자 인터페이스(6)를 통해, 검사 프로세스의 원하는 결과 예로서, 검사 프로세스로부터 요구된 원하는 정확도 레벨을 입력할 수 있으며, 이는 프로세서(102)에 의한 설정 이미지의 분석 동안 고려된다.

사용자 인터페이스(6)는 결함을 갖는 것으로 밝혀진 검사 품목에 관해 사용자에게 통보하기 위해 검사 단계(도 1b)에서 더 사용될 수 있다. 일부 실시형태에서, 사용자 인터페이스(6)는 설정 단계 동안 및/또는 검사 단계 동안 사용자 입력을 수용할 수 있다. 예를 들어, 사용자는 예로서, 시스템을 구성하기 위해, 예로서, 검사된 품목의 상이한 부분에서 검출된 결함에 대해 상이한 경고를 디스플레이하거나 출력하기 위한 지시를 입력할 수 있다.

또 다른 실시형태에서, 사용자는 심지어 시스템이 결함을 보고하더라도 특정 검사 품목에 결함이 없음을 사용자 인터페이스(6)를 통해 나타낼 수 있다. 이 사용자 입력은 시스템에 의해 설정 정보를 업데이트하고 개선하기 위해 (예로서, 하기에 설명된 바와 같이) 사용될 수 있다.

검사 라인에 배치된 품목이 FOV(3') 내에 있도록 검사 라인(예로서, 컨베이어 벨트(5))과 관련하여 설치되거나 배치되는 하나 이상의 카메라(들)(3)는 CCD 또는 CMOS 또는 다른 적절한 칩 및 광학 시스템을 포함할 수 있다. 카메라(3)는 2D 또는 3D 카메라일 수 있다. 일부 실시형태에서, 카메라(3)는 예를 들어, 스마트 폰 또는 태블릿과 같은 모바일 디바이스가 제공된 표준 카메라를 포함할 수 있다. 일부 실시형태에서, 사용자 인터페이스(6)는 스마트 폰, 태블릿 또는 개인용 컴퓨터와 같은 다중 목적 디바이스의 일부일 수 있다.

일부 실시형태에서, 시스템은 광원 예로서, LED 또는 다른 알려진 광원을 포함할 수 있다. 광원은 검사 라인의 품목을 조명하기 위해 카메라(3)에 부착되고/되거나 카메라를 둘러싸거나 그렇지 않으면 카메라에 관해 고정될 수 있다. 카메라(3)의 광학 시스템은 예를 들어, 렌즈 및 광 편광기를 포함할 수 있다. 광 편광기는 카메라에 내장되거나 렌즈 외부에 장착될 수 있고 편광 각도를 전환하는 것을 가능하게 하기 위해 모터가 공급될 수 있다.

일부 실시형태에서, 카메라(3)로부터의 이미지 데이터는 원격 디바이스(8) 예로서, 클라우드의 서버 또는 제조 공장에서의 서버 또는 중앙 제어기에 업로드될 수 있다.

일부 실시형태에서, 설정 단계에 관한 및/또는 품목의 유형에 관한 정보는 장래에 검색될 로컬 저장 디바이스의 및/또는 원격 디바이스(8)의 설정 데이터베이스에 저장될 수 있다.

설정 단계에 관한 정보는 전형적으로, 카메라로부터의 설정 품목의 위치 및/또는 거리와 같은 설정 파라미터를 포함한다.

품목의 유형에 관한 정보는 예를 들어, 무결함 품목의 공간 및 구성 속성, 품목의 특성(예로서, ID, 설명, 바코드 등), 품목의 유형에 대해 수행된 설정 단계의 날짜 및 지속기간 등을 포함할 수 있다.

전형적으로, 원격 디바이스(8)에서 데이터베이스는 설정 파라미터의 정보 및 특정 유형의 품목(예로서, 싱크 모델(X) 및 캔디 박스(Y))이 식별가능하고 프로세서(102)에 의해 검색되고 사용될 수 있도록 배열된다. 예를 들어, 라인의 문제로 인해 제조된 품목의 검사 단계가 중단된 경우에, 품목에 관한 정보 및/또는 그 유형의 품목의 설정 단계로부터 저장된 설정 파라미터를 사용함으로써, 설정 단계를 반복하지 않고 문제가 해결된 후에 검사 단계가 재개될 수 있다.

본 발명의 실시형태에 따른 프로세스는 원격 디바이스(8) 및/또는 국소적으로 발생할 수 있다.

도 1c에서 설명된 시스템의 구성요소의 전부 또는 일부는 유선 또는 무선 통신 중일 수 있으며, 적합한 포트 및/또는 네트워크 허브를 포함할 수 있다. 일부 실시형태에서, 프로세서(102)는 예로서, 데이터 처리, 저장, 프로세싱 능력 및 통신 능력을 위해 제조 프로세스에서 전형적으로 사용된, 프로그래밍가능한 논리 제어기(PLC)와 같은 제어기를 통해 원격 디바이스(8) 및/또는 사용자 인터페이스(6)와 같은 디바이스와 통신할 수 있다. 제어기는 USB, 이더넷, 적절한 케이블링 등을 통해 시스템의 프로세서(102) 및/또는 다른 구성요소와 통신할 수 있다. 일부 구성요소 예로서, 카메라(3)는 적합한 네트워크 허브를 포함할 수 있다.

도 1c에서 설명된 시스템에 의해 실행된 검사 프로세스의 설정 단계의 일 실시형태는 도 1d에 개략적으로 도시된다. 하기에서 설명된 프로세스는 간략화를 위해, "이미지"를 언급하지만, 본 명세서에서 설명된 프로세스가 전체 이미지 이외의 또는 그에 더하여 이미지 데이터에 대해 실행될 수 있음을 인식해야 한다.

하나의 실시형태에서, 제1 및 제2 설정 이미지는 프로세서(102)에서 (예로서, 카메라(3)로부터) 수신된다(122). 설정 이미지의 각각은 하나의 결함이 없는 샘플 품목을 포함한다. 제1 설정 이미지는 제2 설정 이미지와 동일한 유형의 품목(그러나, 동일한 품목 자체는 아님)의 결함이 없는 샘플 품목을 포함한다.

제1 및 제2 설정 이미지가 분석되고(124) 분석에 기초하여, 신호가 생성된다. 신호는 분석 결과에 기초하여 상이한 출력으로 하여금 사용자에게 디스플레이되게 할 수 있다(125). 분석이 제1 결과(결과 A)를 제공하면, 제1 출력(출력 A)이 디스플레이된다(126). 분석이 제2 결과(결과 B)를 제공하면, 제2 출력(출력 B)이 디스플레이된다(128). 제3 결과(결과 C)는 제3 출력(출력 C)으로 하여금 디스플레이되게 할 것(129) 등이다. 출력은 사용자 인터페이스(6)에 디스플레이될 수 있다.

상이한 출력은 사용자에 대한 지시(또는 지시가 없음) 또는 통보 또는 사용자와의 다른 유형의 통신을 포함할 수 있다.

본 발명의 실시형태에 따른 시스템 및 방법은 검사 단계 이전에(그리고 동안에), 사용자에게 피드백을 제공하는 것을 가능하게 하고, 이는 사용자로부터 낭비되는 시간 및 불만을 회피하고, 그에 의해 육안 검사 프로세스를 크게 증진한다.

본 발명의 실시형태에 따르면, 생산 라인 검사 프로세스는 결함이 없는 동일한 유형의 품목이 이미징되는 설정 단계 및 동일한 유형의 제조된 품목이 이미징되는 검사 단계를 포함한다.

하나의 실시형태에서, 방법은 제1 및 제2 설정 이미지의 분석에 기초하여, 설정 모드에서 프로세서를 동작시키는 단계(결함이 없는 동일한 유형의 품목의 제1 및 제2 설정 이미지를 분석하는 단계를 포함함) 및 설정 모드로 계속하거나 검사 모드로 전환하는 단계(검사 품목의 이미지에서 결함을 검출하기 위해 기계 학습 프로세스를 실행하는 단계를 포함함)를 포함한다.

도 2에 개략적으로 도시되는 일 예시적인 실시형태에서, 제1 및 제2 설정 이미지는 프로세서(102)에서(예로서, 카메라(3)로부터) 수신된다(202). 설정 이미지의 각각은 하나의 결함이 없는 샘플 품목을 포함한다. 제1 설정 이미지는 제2 설정 이미지와 동일한 유형의 품목(그러나, 동일한 품목 자체는 아님)의 결함이 없는 샘플 품목을 포함한다.

제1 및 제2 설정 이미지가 분석되고(204) 분석에 기초하여, 신호가 생성된다. 상기 설명된 바와 같이, 신호는 분석 결과에 기초하여, 상이한 출력으로 하여금 사용자에게 디스플레이되게 할 수 있다.

하나의 실시형태에서, 신호는 설정 품목 또는 검사된 품목을 검사 라인에 부가하는 것에 관한 사용자에 대한 지시를 사용자 인터페이스에 디스플레이하게 할 수 있다. 따라서, 제1 및 제2 설정 이미지의 분석에 기초하여, 프로세서가 설정 모드로 계속되면, 샘플 품목을 검사 라인에 부가하기 위한 지시를 디스플레이하기 위한 신호가 생성된다. 제1 및 제2 설정 이미지의 분석에 기초하여, 프로세서가 검사 모드로 전환되면, 검사된 품목을 검사 라인에 부가하기 위한 지시를 디스플레이하기 위한 신호가 생성된다.

일부 실시형태에서, 프로세서가 설정 모드로 계속되는 한 어떠한 지시도 디스플레이되지 않지만, 프로세서가 검사 모드로 전환되면 지시가 디스플레이된다. 대안적으로, 프로세서가 설정 모드에 있는 동안 지시가 디스플레이될 수 있지만 일단 프로세서가 검사 모드로 전환되면 어떠한 지시도 디스플레이되지 않는다.

하나의 실시형태에서, 분석은 동일한 유형의 품목이 새로운 이미지에서 검출될 수 있고 동일한 유형의 무결함 품목의 새로운 이미지에서 어떠한 긍정 오류도 검출되지 않을 확률(통계 신뢰)을 산출하는 것을 포함한다. 확률이 낮으면 예로서, 임계치(205) 미만이면, 프로세서는 설정 모드로 계속되고, 사용자 인터페이스로의 프로세서의 출력은 지시의 디스플레이로 하여금 샘플 품목을 검사 라인(206)에 부가하게 한다. 확률이 높으면 예로서, 임계치(205)를 초과하면, 프로세서는 검사 모드로 전환할 수 있고 사용자 인터페이스로의 프로세서의 출력은 지시의 디스플레이로 하여금 검사된 품목을 검사 라인(208)에 부가하게 한다.

설정 모드는 전형적으로, 프로세서가 그것에 제공된 품목의 유형을 분석하고 있고 선택적으로 더 많은 무결함 품목의 샘플을 수집하고 있음을 의미한다. 설정 모드에서, 프로세서는 일반적으로, 검출된 결함에 관한 정보를 출력하지 않은 반면에, 검사 모드는 전형적으로, 프로세서가 품목에서 검출된 결함에 관한 정보를 출력함을 의미한다.

샘플 이미지의 분석은 예를 들어, 공간적 속성 예로서, 품목의 가능한 2D 형상 및 3D 특성(예로서, 검사 라인에서의 회전)에 관한 정보를 수집하기 위해 또는 샘플 이미지 사이에 보존된 바와 같이, 품목의 고유한 식별 특징 및 이들 고유한 특징 사이의 공간적 관계를 찾기 위해 일 유형의 품목의 본질적으로 완전한 표현을 생성하기 위해 사용된다. 샘플, 무결함 품목으로부터 수집된 정보에 기초하여, 프로세서(예로서, 프로세서(102))는 심지어 제2 품목이 이전에 제공되지 않았어도 동일한 유형의 제2 품목을 검출할 수 있다. 이것은 프로세서가 (동일한 유형의) 새로운 품목이 이미징되는 때를 검출하고 그 다음, 샘플 품목의 분석에 기초하여 새로운 품목을 분석하여 그것이 허용된 위치(하기에 설명된 바와 같은)에 있는지를 결정하고 검사된 품목에서 결함을 검색하는 것을 허용한다.

하나의 실시형태에서, 설정 이미지의 분석은 공간 범위를 결정하기 위해 사용되며, 여기서 결함이 없는 샘플 품목은 어떠한 원근 왜곡도 보여주지 않는다. 예를 들어, 설정 이미지 사이에 대응하는 특징을 갖지 않는 품목의 영역을 검출함으로써, 관심 있는 품목의 경계 또는 품목의 표시된 영역 사이의 교차 위치 및 각도를 분석함으로써, 등에 의해 샘플 사이의 원근 왜곡의 레벨이 분석될 수 있다. 공간 범위의 경계는 (샘플 품목이 상이하게 배치되고/되거나 지향될 수 있는) 2개(또는 그 이상)의 설정 이미지를 비교하고 이미지 중 어느 것이 원근 왜곡을 보여주고 그렇지 않은지를 결정함으로써 산출될 수 있다.

산출된 범위는 그 다음, 장소의 경계 및/또는 여기서 방향, 스케일 또는 다른 배치를 결정하기 위해 사용될 수 있고, 검사된 품목은 왜곡을 회피하기 위해 검사 라인에 배치될 수 있다. 부가적으로, 설정 이미지의 세트를 서로에 대한 참조로서 사용함으로써, 프로세서는 유사한 공간 분해를 가지는 이미지를 검출할 수 있고 이미지의 이 세트는 그 다음, 검사 라인의 각각의 가능한 위치에 대한 등록, 결함 검출 및 다른 분석을 허용하기에 충분히 유사한 설정 이미지가 존재하는지를 확인하기 위해 분석될 수 있다. 이 분석에 기초하여, 프로세서는 설정 모드로 계속하거나 검사 모드로 전환할 수 있다(그리고 그에 따라 사용자에게 표시를 생성할 수 있다).

도 3에 개략적으로 도시되는 일 예시적인 실시형태에서, 제1 및 제2 설정 이미지는 예로서, 프로세서(102)에서 수신된다(302). 제1 및 제2 이미지는 설정된 이미지가 어떠한 원근 왜곡도 보여주지 않는 공간 범위를 결정하기 위해 비교된다(304). 제3 설정 이미지는 제1 및 제2 설정 이미지에 비해 제3 이미지에서 품목의 원근 왜곡을 결정하기 위해 제1 및 제2 설정 이미지와 비교된다(306). 제3 설정 이미지의 품목이 범위 내에 있으면(307), 그것은 또 다른 설정 이미지가 필요한지의 여부를 결정하기 위해 더 분석되고(309), 이 경우에 프로세서는 설정 모드로 계속될 것이거나(312), 또 다른 설정 이미지가 필요하지 않다고 결정되면, 프로세서는 검사 모드로 전환할 수 있다(314).

제3 설정 이미지의 품목이 범위 내에 있지 않으면(307), 품목을 이동시키거나(310) 유사한 원근으로 더 많은 기준 이미지를 부가하라는 경고가 사용자에게 발행된다. 아마도 경고는 품목을 배치하거나 그 위치를 찾는 방법, 또는 더 많은 품목을 배치할 위치에 대한 지시를 포함하여 제3 이미지가 유사한 원근을 보여주게 할 것이다.

일부 실시형태에서, 프로세서(102)는 범위를 넓히기 위해 FOV(3')의 영역에 또 다른 샘플 품목/들을 위한 요구조건이 존재함을 검출할 수 있어서, FOV에서 그 영역 근처에 배치된 샘플이 원근 왜곡을 보여주는 것으로서 검출되지 않게 할 것이다. 프로세서(102)는 누락된 정보를 얻기 위해 샘플이 그 영역에 배치되도록 요청하기 위한 신호를 생성할 수 있다. 따라서, 예를 들어, 검사 라인의 이미지로 하여금 (예로서, 사용자 인터페이스(6)에) 위치 및/또는 방향의 표시와 함께 디스플레이되게 하기 위한 신호가 생성될 수 있어서 사용자가 제3(또는 다음) 결함이 없는 샘플 품목을 그에게 디스플레이된 이미지에 표시된 위치 및/또는 방향에 있는 생산 라인에 배치할 수 있게 한다.

일부 실시형태에서, 샘플 이미지의 비교에 기초하여 생성된 신호는 지시보다 오히려 통보로 하여금 사용자에게 디스플레이되거나 그렇지 않으면 제공되게 할 수 있다. 예를 들어, 새로운 이미지에서 동일한 유형의 품목이 검출될 수 있고 동일한 유형의 무결함 품목의 새로운 이미지에서 어떠한 긍정 오류도 검출되지 않을 확률에 의존하여 단계(309)에서 또 다른 설정 이미지가 필요되도록 결정된다. 확률이 임계치 미만이면, 설정 모드로 하여금 계속되게 하기 위한 신호가 생성될 수 있고(312), 가능하게 사용자에게 어떠한 통보 및/또는 지시도 디스플레이되지 않는다. 산출된 확률이 임계치를 초과하면, 검사 모드로 전환하기 위한 신호가 생성될 수 있고(314) 가능하게 검사 단계가 시작될 수 있다는 통보가 디스플레이될 것이다.

임계치는 미리 결정될 수 있거나(예로서, 미리 설정된 확률) 조정가능하거나 동적일 수 있다. 예를 들어, 사용자는 검사 시스템으로부터 요구된 원하는 정확도의 레벨을 입력할 수 있고(예로서, 사용자 인터페이스(6)를 통해) 어떠한 긍정 오류도 검출되지 않을 확률에 대한 임계치는 사용자 입력에 따라 설정된다.

상기 논의된 바와 같이, 설정 모드로부터 검사 모드로 전환(및 검사 라인에 샘플 품목 또는 검사된 품목을 배치하기 위한 지시를 디스플레이하기 위한 신호를 생성)하는 결정은 품목의 구성 속성 예로서, 이미징된 품목의 가능한 이동, 회전 및 스케일 변경의 분석에 기초할 수 있다. 하나의 실시형태에서, 제1 설정 이미지의 결함이 없는 샘플 품목은 제2 설정 이미지의 품목이 제1 설정 이미지의 품목과 비교하여 회전되거나, 이동되거나 상이하게 조정될 수 있도록, 제2 설정 이미지의 품목과 상이하게 FOV(3') 내에 배치되거나 위치될 수 있다. 이 차에 기초하여 품목의 변환 매트릭스가 생성될 수 있고 변환 매트릭스는 이미징된 품목의 가능한 이동 및 회전 및 스케일 변경의 이해를 제공하기 위해 분해될 수 있다.

품목의 구성 속성의 분석의 일부로서, 설정 이미지의 등록이 수행될 수 있다. 등록 결과의 분석은 예를 들어, 허용될 수 없는 공간 이동에 대한 전형적인 원근 왜곡(예로서, 모든 이미징된 설정 품목의 영역에서 이미지의 정렬을 가능하게 하지 않고/않거나 품목의 새로운 영역을 노출시키거나 품목의 일부 영역을 숨기는 왜곡)을 발견할 수 있다. 결과적으로, 이 분석은 왜곡을 회피하기 위해 그리고 품목의 전체 영역에서 결함의 정렬 및 검출을 가능하게 하기 위해 "허용된" 범위를 정의할 수 있다. 너무 적은 설정 이미지가 정렬이 달성될 수 없도록 허용된 범위에 속하면, 시스템은 이 간격을 메우기 위해 더 많은 설정 이미지를 요구할 것이다.

하나의 실시형태에서, 프로세서(예로서, 프로세서(102))는 구성 속성 및 결함 검출의 분석이 전체 이미지에 대해서보다 오히려 하나 이상의 관심영역(region of interest: ROI)에 대해 행해지도록, 전형적으로 전체 이미지의 더 제한된 영역인 ROI를 나타내는 입력을 (예로서, 사용자로부터) 수신한다.

ROI는 다각형, 경계 박스, 원을 사용하고/하거나 위의 모든 것에 구멍을 부가함으로써 생성될 수 있다. 또 다른 실시형태에서, 픽셀 레벨 세분화가 사용될 수 있거나 자동 세분화가 이미지를 상이한 객체로 분할하고 사용자가 관심영역을 표현하는 세그먼트를 선택하는 것을 허용하기 위해 사용될 수 있다. 일부 실시형태에서, 사용자 표시 및 자동 알고리즘 둘 모두는 ROI를 생성하기 위해 사용될 수 있고 예로서, 사용자는 경계 박스를 표시할 수 있고 자동 알고리즘은 그 다음, 경계 박스에 가장 가까운 품목 경계로 좁혀진 다각형을 생성하거나, 알고리즘은 사용자가 선택한 세그먼트 등으로부터 다각형을 생성할 수 있다.

도 4에 개략적으로 도시되는 하나의 예시적인 실시형태에서, 제1 및 제2 설정 이미지가 예로서, 프로세서(102)에서 수신되고(402) 등록이 이미지(404)에 대해 수행된다. 정렬이 달성되면(406) 그리고 가능하게, 또 다른 설정 이미지가 필요하지 않다고 결정되면(408), 프로세서는 검사 모드로 진행할 수 있다(410)(그리고 예로서, 검사 라인에 검사 품목을 배치하기 위한 지시를 디스플레이하기 위한 신호를 생성할 수 있다). 또 다른 설정 이미지가 요구된다고 결정되면(408), 프로세서는 설정 모드로 계속되고(412) 예로서, 검사 라인에 샘플 품목을 배치하기 위한 지시를 디스플레이하기 위한 신호를 생성한다.

제1 및 제2 이미지의 정렬이 달성되지 않으면(406), 프로세서는 동일한 유형의 객체가 검사될 수 없다는 표시를 디스플레이하기 위한 신호를 생성할 수 있다.

하나의 실시형태에서, 제1 및 제2 이미지의 정렬이 달성되지 않으면(406), 프로세서는 설정 이미지에서 관심영역을 제한하거나 수정하기 위한 지시를 디스플레이하기 위한 신호를 생성한다(414).

제한된 ROI의 정렬이 달성되지 않으면(416), 프로세서는 동일한 유형의 객체가 검사될 수 없다는 메시지 예로서, 오류 통지를 디스플레이하기 위한 신호를 생성한다(418). 제한된 ROI의 정렬이 달성되면(416), 프로세서는 가능하면 또 다른 설정 이미지가 요구되는지를 결정한 후에, 검사 모드로 진행할 수 있다(408).

도 5에 개략적으로 도시되는 또 다른 실시형태에서, 설정 이미지의 분석은 무결함 품목이 어떻게 보이는지를 더 양호하게 이해하고, 미래의 이미지에서 품목을 검출할 확률을 높이며 품목에서 결함을 검출할 확률을 높이기 위해 사용된다.

도 5에 도시된 예에서, 제1 및 제2(또는 그 이상) 설정 이미지는 프로세서(예로서, 프로세서(102))에서 수신되고(502) 비교된다(504). 제2 설정 이미지는 그것과 가장 유사한 하나 이상의 설정 이미지(들)(예를 들어, 제2 이미지와 동일한 원근을 가지는 이미지)와 비교될 수 있으며, 하나 이상의 설정 이미지(들)는 제1 설정 이미지 또는 다른 설정 이미지를 포함할 수 있다. 제1 및 제2 설정 이미지 둘 모두가 무결함 품목을 포함한다고 가정하면, 제1 설정 이미지와 비교하여, 제2 설정 이미지가 품목의 결함을 보여주면, 제2 설정 이미지에서 결함이 부정확하게 식별되는 것으로 추론될 수 있다. 그에 따라, 무결함 품목의 더 많은 이미지가 결함을 정확하게 식별할 확률을 높이기 위해 프로세서에 공급되어야 한다.

따라서, 결함이 제2 이미지(505)에서 검출되면, 설정 모드로 계속하기 위한 그리고 가능하게, 지시 또는 통보로 하여금 디스플레이되게 하기 위한 신호가 생성될 수 있다(506). 제2 이미지에서 어떠한 결함도 검출되지 않으면(505), 검사 모드로 전환하기 위한 그리고 가능하게 지시 또는 통보로 하여금 디스플레이되게 하기 위한 신호가 생성될 수 있다(508).

그의 일례가 도 6에 개략적으로 도시되는 하나의 실시형태에서, 설정 이미지를 비교하는 동안 결함이 발견되면, 프로세서는 이미징되는 품목의 유형이 검사될 수 없고 오류 신호가 사용자에 통보하기 위해 생성될 수 있다고 결정할 수 있다.

도 6에 도시된 예에서, 제1 및 제2(또는 그 이상의) 설정 이미지는 프로세서(예로서, 프로세서(102))에서 수신된다(602). 설정 이미지는 이미지 사이의 등록을 검출하기 위해 비교된다(604). 제1 및 제2 이미지 사이의 등록이 검출되고(605), 제2 설정 이미지에서 결함이 검출되면(607), 이것은 품목이 결함이 아니지만 이동 부분(예로서, 품목의 이동가능한 부분)과 같은, 프로세서에 의해 결함으로서 감지되는 흠을 포함한다는 것을 의미할 수 있다. 예를 들어, 이동가능한 부분의 변환 매트릭스는 이동 부분이 위치되는 전체 품목 또는 품목의 영역의 변환 매트릭스와 상이할 수 있으며, 설정 단계에서 프로세서에 의해 인식되지 않을 수 있다. 설정 이미지에 이동 부분을 포함하는 것은 이 예에서 정렬되지 않은 이동 부분에 대해 긍정 오류 결함 검출을 초래할 수 있다. 이 경우에, 예로서, 품목에서 이동가능한 영역을 포함하지 않는 관심영역을 선택하기 위한 지시로 하여금 디스플레이되게 하는 신호가 생성될 수 있다(608). 따라서, 사용자는 이미지 프로세싱 산출을 표시된 관심영역으로 제한하거나 그 영역에 초점을 맞추기 위해 설정 이미지에서 결함이 없는 샘플에 ROI를 (예로서, 사용자 인터페이스(6)를 통해) 표시할 수 있다.

일부 실시형태에서, 지시로 하여금 디스플레이되게 하는 대신에, 생성된 신호(608)는 이미징되는 품목의 유형이 검사될 수 없음을 나타내는 "오류" 통보로 하여금 (예로서, 사용자 인터페이스(6)를 통해) 디스플레이되게 한다.

그러나, 제1 및 제2 설정 이미지 사이의 등록이 검출되지 않으면(605), 이것은 이미징된 품목의 유체, 매끄럽거나 포화된 부분으로 인한 것일 수 있고 프로세서는 이미징되는 품목의 유형이 검사될 수 없음을 나타내는 "오류" 통보로 하여금 디스플레이되게 하기 위한 신호를 (예로서, 사용자 인터페이스(6)를 통해) 생성한다(606).

제1 및 제2 설정 이미지 사이의 등록이 검출되고(605), 제2 설정 이미지에서 어떠한 결함도 검출되지 않으면(607), 이것은 충분한 설정 이미지가 수집되었고 프로세서가 검사 모드로 진행될 수 있음(610)을 나타낼 수 있다.

본 발명의 실시형태에 따른 생산 라인 검사를 위한 방법은 검사 프로세스를 크게 촉진하고 단순화하는 설정 단계를 제공한다. 본 발명의 실시형태에 따르면, 설정 단계는 제조 공장이 가능하게 임의의 카메라 및 조명을 사용하여, 공장에서 일반적인 이미징 환경에서 자동 검사 프로세스를 설정하는 것을 가능하게 한다. 부가적으로, 제조된 품목이 용이하게(또는 전혀) 검사될 수 없는 경우에 사용자의 불만 및 시간 낭비가 회피될 수 있다.

Claims (21)

1. 검사 라인 시스템으로서,
   사용자 인터페이스 및 카메라와 통신하는 프로세서를 포함하되,
   상기 프로세서는 검사 라인의 검사된 물품의 이미지로부터 상기 검사된 물품에 결함이 있거나 결함이 없는지를 결정하기 위한 것이며,
   상기 시스템은, 상기 프로세서가,
   상기 검사된 품목과 동일한 유형의 무결함 품목(defect free item)의 이미지를 분석하고,
   상기 분석에 기초하여, 상기 사용자 인터페이스를 통해, 사용자에게 지시를 제공하기 위한 신호를 생성하는 것을 특징으로 하는, 검사 라인 시스템.
2. 제1항에 있어서, 상기 프로세서는, 상기 무결함 품목의 이미지로부터, 상기 무결함 품목의 구성 속성을 분석하는, 검사 라인 시스템.
3. 제2에 있어서, 상기 프로세서는 결함이 없는 샘플 품목이 어떠한 원근 왜곡도 보여주지 않는 공간 범위를 결정하는, 검사 라인 시스템.
4. 제2항에 있어서, 상기 프로세서는 상기 무결함 품목의 이미지의 등록을 분석하는, 검사 라인 시스템.
5. 제1항에 있어서, 상기 프로세서는,
   동일한 유형의 무결함 품목의 새로운 이미지에서 어떠한 긍정 오류(false positive)도 검출되지 않을 확률을 산출하고;
   상기 확률에 기초하여, 상기 신호를 생성하는, 검사 라인 시스템.
6. 제1항에 있어서, 상기 프로세서는,
   상이한 동일한 유형의 무결함 품목의 적어도 2개의 이미지를 분석하는, 검사 라인 시스템.
7. 제1항에 있어서, 상기 프로세서는 상기 카메라의 시야 내에 동일한 유형의 무결함 품목 또는 동일한 유형의 검사된 품목을 배치하기 위한 지시를 상기 사용자에게 디스플레이하기 위한 신호를 생성하는, 검사 라인 시스템.
8. 제1항에 있어서, 상기 프로세서는 상기 동일한 유형의 품목이 검사될 수 없음을 나타내는 통지를 상기 사용자에게 디스플레이하기 위한 신호를 생성하는, 검사 라인 시스템.
9. 제1항에 있어서, 상기 프로세서는 상기 카메라의 시야 내에서, 동일한 유형의 무결함 품목의 위치 또는 방향에 관한 지시를 상기 사용자에게 디스플레이하기 위한 신호를 생성하는, 검사 라인 시스템.
10. 제1항에 있어서, 상기 프로세서는 상기 무결함 품목의 이미지에서 관심영역(region of interest)을 조정하기 위한 지시를 디스플레이하기 위한 신호를 생성하는, 검사 라인 시스템.
11. 제1항에 있어서, 상기 프로세서는 상기 카메라를 조정하기 위한 지시를 디스플레이하기 위한 신호를 생성하는, 검사 라인 시스템.
12. 제1항에 있어서, 상기 프로세서는 상기 무결함 품목이 정적임을 확인하기 위한 지시를 디스플레이하기 위한 신호를 생성하는, 검사 라인 시스템.
13. 제1항에 있어서, 상기 프로세서는 상기 사용자 인터페이스를 통해 사용자 입력을 수용하고 상기 프로세서는 상기 사용자 입력에 기초하여, 디스플레이할 신호를 생성하는, 검사 라인 시스템.
14. 제13항에 있어서, 상기 사용자 입력은 상기 무결함 품목의 이미지에서의 관심영역을 포함하는, 검사 라인 시스템.
15. 자동 생산 라인 검사 프로세스를 위한 방법으로서, 상기 프로세스는 단지 동일한 유형의 무결함 품목의 이미지가 얻어지는 설정 모드, 및 동일한 유형의 무결함 품목 및 동일한 유형의 결함이 있는 품목 둘 모두의 이미지가 얻어지는 검사 모드를 포함하고, 상기 방법은,
    상기 동일한 유형의 무결함 품목의 이미지를 분석하는 단계; 및
    상기 동일한 유형의 무결함 품목의 이미지의 분석의 결과에 기초하여, 결함 있는 품목을 검출하기 위해 상기 검사 모드로 전환하는 단계
    를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.
16. 제15항에 있어서, 상기 분석의 결과에 기초하여 사용자에게 출력을 제공하기 위한 신호를 생성하는 단계를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.
17. 제16항에 있어서, 상기 출력은 상기 동일한 유형의 무결함 품목에 관한 정보 또는 지시를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.
18. 제16항에 있어서, 상기 출력은 검사 라인에서의, 무결함 품목의 배치에 관한 상기 사용자에 대한 지시, 또는 상기 프로세스에 관한 상기 사용자에 대한 정보를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.
19. 제15항에 있어서, 상기 동일한 유형의 무결함 품목의 이미지를 분석하는 단계는 상기 동일한 유형의 무결함 품목이 어떠한 원근 왜곡도 보여주지 않는 공간 범위를 결정하는 단계를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.
20. 제15항에 있어서, 상기 동일한 유형의 무결함 품목의 이미지를 분석하는 단계는 상기 이미지의 등록을 수행하는 단계를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.
21. 제15항에 있어서, 상기 동일한 유형의 무결함 품목의 이미지를 분석하는 단계는 상기 동일한 유형의 무결함 품목의 새로운 이미지에서 어떠한 긍정 오류도 검출되지 않을 확률을 결정하는 단계를 포함하는, 자동 생산 라인 검사 프로세스를 위한 방법.

Images