KR20220151602A - 하나 이상의 물질들의 특성화를 수행하기 위한 방법 및 시스템 - Google Patents
하나 이상의 물질들의 특성화를 수행하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220151602A KR20220151602A KR1020227023006A KR20227023006A KR20220151602A KR 20220151602 A KR20220151602 A KR 20220151602A KR 1020227023006 A KR1020227023006 A KR 1020227023006A KR 20227023006 A KR20227023006 A KR 20227023006A KR 20220151602 A KR20220151602 A KR 20220151602A
- Authority
- KR
- South Korea
- Prior art keywords
- objects
- data representing
- segmented
- energy
- materials
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
하나 이상의 물질들의 특성화를 수행하기 위한 방법 및 시스템. 하나 이상의 물질들은 적어도 저에너지 X선 이미지 및 고에너지 X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하는 감지 시스템에 의해 스캔된다. 감지 시스템에 의해 획득되는 이미지들은 분할되고, 각 분할되는 객체에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도를 나타내는 데이터 및 원자 번호를 나타내는 데이터가 결정되고, 영역 밀도 및 원자 번호를 나타내는 데이터는 보정되는 모델에 의해 결정된다. 분할되는 객체들의 각각의 영역 밀도를 나타내는 데이터 및 영역을 나타내는 데이터에 기반하여 질량을 나타내는 데이터가 계산된다. 원자 번호를 나타내는 데이터는 훈련된 신경망에 대한 입력으로서 제공되고, 여기서, 훈련된 신경망은 각 분할되는 객체를 레이블링하도록 구성되며, 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결된다.
Description
본 발명은 하나 이상의 물질들(materials)의 특성화(characterization)를 수행하기 위한 방법 및 시스템에 관한 것이다. 또한, 본 발명은 컴퓨터 프로그램 제품에 관한 것이다. 더욱이, 본 발명은 폐기물 스트림(waste stream)을 분류하도록 구성되는 재활용 장치에 관한 것이다.
하나 이상의 물질들의 특성화는, 예컨대, 재활용 공정들, 농업 공정들, 식품 생산 공정들 등에서, 여러 중요한 적용 분야들을 갖는다. 특성화는, 예컨대, 품질 관리, 가치 평가, 및 공정 엔지니어링 및 제어를 위해, 사용될 수 있다. 예를 들어, 폐기물 처리의 경우, 일반적으로 특성화 데이터의 부족으로 인해 많은 폐기물 스트림들이 차선으로 재활용된다. 물질 흐름들(예: 벌크 고형 폐기물 스트림들)에 대한 적절한 특성화 기술이 필요하다.
폐기물 특성화에 대한 기존의 접근 방식은 여전히 일반적으로 사람에 의해, 예컨대, 특수 시설에서 일하는 공장 직원에 의해, 객체들(objects)을 수동 검사하는 것이다. 이러한 접근 방식은 느리고, 주관적이며, 비용이 많이 들고, 결국에는 폐기물 스트림의 입자들에 대한 정보가 거의 없다. 일부 기존의 방법들에서, 샘플들이 채취되어, 예컨대, 실험실에서, 테스트/분석된다. 이러한 프로세스는 시간이 너무 많이 소요될 수 있으며(화학적 분석이 며칠, 몇 주에서 몇 달이 소요됨), 비용 증가를 초래할 수 있다. 게다가, 물질들/객체들의 총량 중 극히 일부만이 특성화된다. 일반적으로, 많은 물질 스트림들은, 물질들의 품질이 측정하기에 어렵기 때문에, 차선으로 재활용된다.
보다 상세한 수준에서 데이터를 제공하는 빠르고, 객관적이며, 및/또는 자동화된 방법이 필요하다.
본 발명의 목적은 상술된 단점들 중 적어도 하나를 제거하는 방법 및 시스템을 제공하는 것이다.
추가적으로 또는 대안적으로, 본 발명의 목적은 하나 이상의 물질들에 대한 개선된 물질 특성화를 제공하는 것이다.
추가적으로 또는 대안적으로, 본 발명의 목적은 개선된 물질 특성화를 제공하는 것이다.
이에, 본 발명은 하나 이상의 물질들의 특성화를 수행하는 방법을 제공하며, 이 방법은 적어도 저에너지(lower-energy) X선 이미지 및 고에너지(higher-energy) X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하는 감지 시스템에 의해, 하나 이상의 물질들을 스캔하는 단계; 이미지들에서 하나 이상의 별개의 객체들을 분리하기 위해 감지 시스템에 의해 획득되는 이미지들의 분할을 수행하는 단계 - 분할되는 객체들의 영역을 나타내는 데이터가 결정됨 -; 분할되는 객체들의 각각에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도(area density)를 나타내는 데이터 및 원자 번호(atom number)를 나타내는 데이터를 결정하는 단계 - 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 다른 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정됨 -; 분할되는 객체들의 각각에 대해, 분할되는 객체들의 각각의 영역 밀도를 나타내는 데이터 및 영역을 나타내는 데이터에 기반하여, 질량(mass)을 나타내는 데이터를 계산하는 단계; 및 분할되는 객체들의 각각에 대해, 훈련된 신경망에 대한 입력으로서 적어도 원자 번호를 나타내는 데이터를 제공하는 단계를 포함하고, 여기서, 훈련된 신경망은 각 분할되는 객체를 레이블링하도록(to label) 구성되고, 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결된다.
물질 스트림 내의 객체들이 식별되고 특성화될 수 있다. 각 개별 객체의 특성화는 상이한 특성화 파라미터들을 제공할 수 있다. 이는 상이한 물질 클래스들에서 객체를 구별하는 것을 가능하게 한다. 추가적으로 또는 대안적으로, 질량 균형(mass balance)이 결정될 수 있다. 이러한 파생 정보는 특성화되는 객체들의 물리적 속성들을 사용하는 포스트-모델링(post-modelling)을 위해 사용될 수 있다. 추가적으로 또는 대안적으로, 예컨대, 기하학적 구조(geometry), 직경, 형상, 화학적 성질(chemistry) 등과 같은, 각 분할되는 객체들의 특정 속성들이 결정될 수 있다.
본 발명은 비균질의(heterogeneous) 물질 흐름들을 효과적으로 분석하는 것을 가능하게 할 수 있다. 이는 광범위한 자원들(작업 부하, 시간 등) 없이 수행될 수 있다. 비균질의 물질 흐름들의 질량 균형도 효과적으로 결정될 수 있는 한편, 물질 흐름 내의 객체들 및/또는 물질들은 아직 분류되지 않는다.
본 발명은 폐기물 스트림과 같은 물질 스트림을 분류하는 데 있어서 상당한 이점들을 제공한다. 그러나, 본 발명은 물질 분류 이외의 다른 적용 분야들에서 사용될 수 있다. 예를 들어, 물질 스트림의 값을 결정하기 위해 사용될 수 있다. 물질 흐름 내의 상이한 컴포넌트들의 특성들을 식별함으로써, 값이 추정될 수 있다. 물질 스트림(예: 폐기물 스트림)의 샘플링에는 너무 많은 시간과 노력이 소요될 수 있다. 본 발명에 따른 시스템은 질량 균형 및 값 추정을 결정하는 것을 가능하게 한다.
질량은 적어도 하나의 에너지 준위를 갖는 X선 이미지를 사용하는 X선 모델에 기반하여 추정될 수 있다. 영역 밀도는 주로 높은(high(er) 에너지 흡수에 의해 결정된다. 높은 에너지 흡수만을 고려함으로써, 두 개 이상의 에너지 준위 X선 이미지들(참조: 저에너지 준위 X선 이미지 및 고에너지 준위 X선 이미지) 없이도 질량의 추정이 가능하다. 추정은 하나의 X선 에너지 범위만을 고려하여 제공될 수 있다. 그러나, 실제 경우들에서는, 적어도 두 개의 X선 에너지 준위들이 이용될 수 있다.
질량은 적어도 두 개의 상이한 에너지 준위들을 갖는 X선 이미지들을 사용하는 X선 모델에 기반하여 예측될 수 있다(단일 X선 이미지(하나의 에너지 준위)만을 기반으로 하는 추정도 가능함). 두 개 이상의 X선 에너지 준위들을 갖는 다중-스펙트럼 X선 이미징도 이용될 수 있음이 이해될 것이다. X선 이미지들은 동일한 X선 이미징 장치에 의해 획득될 수 있다. 그러나, 다수의 X선 이미징 장치들을 사용하는 것도 가능하다.
일부 예들에서, 저에너지 X선 이미지 및 고에너지 X선 이미지가 하나 이상의 물질들(예: 물질 스트림)에 대해 촬영되고, 모델은 하나 이상의 물질들에 대한 두 개의 X선 이미지들로부터 영역 밀도 및 원자 번호를 계산하기 위해 사용된다. 질량은 결정되는 모든 영역 밀도들의 합에 기반하여 계산될 수 있다. 분할되는 객체의 질량은 분할되는 객체의 모든 픽셀들의 합에 기반하여, 밀도들로부터 직접 계산될 수 있다. 원자 번호는 물질의 화학적 조성과 관련된 추가 정보를 제공한다. 각 개별 분할되는 객체/컴포넌트의 원자 번호에 대한 지식은 화학적 조성을 고려하여 상당히 개선된 물질 특성화를 제공할 수 있다. 원자 번호는 개별 분할되는 객체/컴포넌트들의 질량을 계산하는 데 필요하지 않을 수 있다.
영역 밀도는 단위 면적당 질량으로 볼 수 있으며, 질량은 영역 및 영역 밀도에 기반하여 결정될 수 있다. 분할되는 객체들의 각각의 영역은 이미징 데이터의 분할을 기초로 식별될 수 있다.
저에너지 X선 이미지 및 고에너지 X선 이미지가 촬영되어, 스펙트럼의 두 범위들에 대한 정보를 제공할 수 있다. 일부 예들에서, 적어도 두 개의 X선 이미지들은 동시에 촬영될 수 있다. X선 이미징에서, 적어도 두 개의 값들이 공간 내의 각 지점에 대해 획득될 수 있다(적어도 저에너지 및 고에너지). 일부 예들에서, X선 센서들은 서로의 위에 배치된다. 상부 서브-센서는 저에너지에 민감할 수 있고, 하부 서브-센서는 고에너지에 민감할 수 있다. 일부 예들에서, 다중-에너지 X선 이미징은, 각 픽셀이 두 개 이상의 값들에 연결되도록, 수행될 수 있다. 일부 예들에서, 각 픽셀은 두 개의 값들, 즉, 이중 에너지 X선 이미징을 위한 저에너지 및 고에너지에 연결될 수 있다.
유리하게는, 본 발명은 훈련된 인공 신경망을 사용하여 개선된 레이블링(labeling)을 제공할 수 있다. 이러한 방식으로, 분석되는 하나 이상의 물질들의 객체들/컴포넌트들에 대한 더 나은 결정이 얻어질 수 있다. 예를 들어, 물질의 스트림의 물질 조성에 대한 더 나은 결정이 달성될 수 있다. 분할되는 객체들의 레이블들(labels)은 또한, 예컨대, 일반적인 사용자 인터페이스에 의해, 사용자에게 표시할 수 있는 추가 특성화 데이터로서 간주될 수 있다. 일부 예들에서, 결정되는 데이터는 가상 모델(하나 이상의 물질들, 예컨대, 물질 스트림의 디지털 트윈(digital twin))을 작성하는 데 사용되어, 가상 실험 또는 모델링을 가능하게 한다. 일부 예들에서, 분할되는 객체들의 결정되는 특징들/특성들은 일반적인다. 레이블들은 더 많은 적용 분야별 정보를 제공할 수 있다(예: 배터리들; 목재 및 플라스틱; 소나무; 참나무; 플라스틱; 철 재료들; 비철 재료들; 광물; 전기 컴포넌트들; 금속 스트랩; 콘크리트 등의 등급들에 대한 레이블들). 데이터는 상이한 방식들로 사용될 수 있고 많은 상이한 용도들이 예상된다는 것이 이해될 것이다. 예를 들어, 레이블은 또한 가격, 품질 유형, 화학적 조성 및/또는 함량 등일 수 있다.
특징들/특성들은 측정 가능한 양들(객관적인 판단을 가능하게 함)로 간주될 수 있다. 레이블은 주관적인 고려 사항들(예: 가격, 인지된 품질, 숙성(ripeness) 등)을 고려할 수 있다. 본 발명은, 그 안의 개별 컴포넌트들/객체들이 서로로부터 구별되는 매우 다양한 물질들 또는 물질 스트림의 혼합물에 사용될 수 있다. 선택적으로, 물질들 또는 물질 스트림들의 혼합물은 구별이 이루어져야 하는 적어도 한 유형의 물질을 포함한다.
상이한 알고리즘들이 이미지들에서 객체들/컴포넌트들의 분할을 제공하기 위해 사용될 수 있다. 예를 들어, 방법은 객체 검출 알고리즘들을 포함할 수 있다. 객체 검출 알고리즘들의 예들로는 신경망들에 의한 스레시홀딩(thresholding), 워터셰드(watershed), 시맨틱(semantic) 또는 인스턴트(instant) 분할이 있다. 다른 알고리즘들도 특징들/컴포넌트들을 분할하는 것이 가능하다. 분할되는 객체들은 잘라지고, 특징/특성 추출을 위해 개별적으로 평가될 수 있다.
선택적으로, 분할되는 객체들은 훈련된 신경망을 사용하여 분류를 제공하기 위해 개별적으로 처리된다. 이 작업은 또한 적어도 부분적으로 병렬로 수행될 수 있다. 또한, 복수의 훈련된 신경망들이 사용되는 것으로 예상된다.
선택적으로, X선 센서는 이중 에너지 X선 센서이다. 이중 에너지 X선 이미징은 다중-에너지 X선 이미징보다 저렴할 수 있다. 그러나, X선 센서에 다중-에너지 X선 센서를 사용하는 것도, 이러한 방식으로 보다 정확한 결과들이 획득될 수 있으므로, 가능하다.
선택적으로, 감지 시스템은 분할되는 객체들의 부피(volume)를 나타내는 데이터를 결정하기 위한 깊이 이미징 유닛(depth imaging unit)을 더 포함한다.
상이한 유형들의 깊이 이미징 유닛들이 사용될 수 있다. 부피를 나타내는 값은 하나 이상의 물질들을 특성화하기 위한 중요한 메트릭(metric)일 수 있다.
선택적으로, 깊이 이미징 유닛은 3차원 레이저 삼각 측량 유닛 또는 3차원 카메라 중 적어도 하나를 포함한다.
다른 유형들의 깊이 이미징 유닛들도 가능하다.
선택적으로, 감지 시스템은 분할되는 객체들의 컬러 이미지들을 촬영하도록 구성되는 컬러 이미징 유닛(color imaging unit)을 더 포함한다.
복수의 센서들이 폐기물을 분류하기 위해 사용될 수 있다. 일부 예들에서, 제1 센서는 무엇보다도 영역 밀도에 대한 인디케이션(indication)을 얻는 데 사용되고(예: X선을 이용함), 제2 센서는 무엇보다도 부피에 대한 인디케이션을 얻는 데 사용된다(예: 3D 카메라, 레이저 삼각 측량 등). 컬러 카메라와 같은 다른 센서들도 더 많은 정보를 수집하는 데 사용될 수 있다. 유리한 실시예에서, 기록되는 센서 데이터가 훈련된 신경망에 공급되기 전에, 다수의 전처리 단계들이 수행된다. 이미지들이 정렬되고, 검출되는 객체들이 분할된다. 이미지들을 정렬하는 것은 이동(shifting), 크기 조정(scaling), 전단(shearing), 원근 변경(changing perspective) 등 중 적어도 하나를 포함할 수 있다. 이는, 정렬되는 이미지들을 획득하기 위해 이미지들에 대한 임의의 다른 왜곡 보정들을 포함할 수 있다. 질량, 부피, 원자 번호, 밀도, 형상 등과 같은 다수의 속성들이 각 객체에 대해 결정된다. 그런 다음, 이 데이터는 신경망에 대한 입력으로서 사용된다. 이는 상이한 물질들을 더 잘 구별할 수 있으므로 폐기물 재활용 분야에서 폐기물 그룹들을 구별할 수 있는 신경망을 얻을 수 있게 한다. 이러한 방식으로 보다 효율적인 신경망이 또한 얻어질 수 있다.
선택적으로, 감지 시스템의 상이한 서브시스템들로부터의 데이터는 하나 이상의 분할되는 객체들의 각각에 대한 특성적 특징들(characteristic features)을 결정하기 전에 정렬된다.
일부 예들에서, X선 이미징은 분할되는 객체들의 각각에 대한 질량 및 원자 번호를 결정하기 위해 사용된다. 선택적으로, 상이한 센서들로부터의 이미지들은 데이터 융합(data fusion)을 위해 정렬된다. 예를 들어, 이미징을 위한 센서들 및/또는 디텍터들(detectors)은 상이한 시야, 상이한 왜곡들(distortions), 배율들(magnifications) 등을 가질 수 있다. 정렬은 복수의 센서들/디텍터들로부터 수신되는 복수의 이미징 데이터에 대해 정렬 또는 변환 알고리즘들을 수행함으로써 수행될 수 있다.
일부 예들에서, 예컨대, 적-녹-청 이미지 데이터, 저에너지 X선, 고에너지 X선, 높이(3D 카메라)와 같은, 상이한 이미징 센서들/디텍터들로부터의 데이터는 복수의 '이미지 레이어들(image layers)'을 갖는 3D 매트릭스에 넣을 수 있다. 또한, 원자 번호, 표면 밀도 이미지, 밀도와 관련된 파생 이미지들과 같은 추가 데이터가 포함될 수 있다(예: 부피와 표면 밀도를 결합함으로써, 밀도가 분할되는 객체들/컴포넌트들의 각각에 대해 결정될 수 있음).
선택적으로, 하나 이상의 분할되는 객체들의 각각에 대해, 부피, 치수(dimension), 직경, 형상, 질감, 색상, 또는 편심(eccentricity) 중 적어도 하나와 관련된 추가적인 특성적 특징들이 결정된다. 또한, 상이한 센서 이미지들, 예컨대, X선 흡수, 높이, 컬러 등 및 파생 이미지들의 객체 픽셀 값들, 예컨대, 원자 번호, 영역 밀도, 밀도, 화학적 조성 및 기울기들(gradients)의 평균, 표준 편차, 3차 이상 모멘트들, 히스토그램들 등과 같은, 다른 특성적 특징들이 결정될 수 있다. 결정될 수 있는 일부 예시적인 형상 파라미터들로는, 둘레(perimeter), 강도(solidity), 면적(area), 볼록한 면적, 볼록도, 진원도(roundness), 직진도(straightness), 굴곡도(curliness), 구형도, 종횡비, 페렛 직경(ferret diameter), 등가 직경(equivalent diameter), 단축 및 장축 길이, 최대 및 최소 현 길이, 다른 직경 정의들이 있다. 상술된 특성적 특징들의 임의의 조합 또한 가능하다는 것이 이해될 것이다.
분할되는 객체들의 각각에 대해 복수의 특성들이 결정됨에 따라, 객체들은 다차원 공간에 배열될 수 있다. 이는, 예컨대, 하나 이상의 물질들의 결정되는 특성들을 다루는 컴퓨터 프로그램 제품의 일반적인 사용자 인터페이스를 통해, 물질 스트림의 향상된 개요를 제공할 수 있다.
선택적으로, 하나 이상의 물질들이 물질 스트림을 형성하는 컨베이어(conveyor) 상에서 이동되고, 물질 스트림은 물질 스트림 내의 객체들의 특성화를 위해 감지 시스템에 의해 스캔된다.
일부 예들에서, 먼저, 물질 스트림 내의 객체들(예: 컴포넌트들, 입자들)이 분할된다. 이러한 방식으로, 객체들이 쉽게 잘라지고, 분리 및/또는 격리될 수 있다. 객체들은 서로 닿아 있어도 분리될 수 있다. 다음 단계에서, 각 입자의 일련의 특징들/특성들이 식별될 수 있다. 그런 다음, 이 특징들/특성들은 인공 신경망과 같은 기계 학습 모델로 공급될 수 있다.
입자들의 질량, 부피, 직경, 형상, 질감, 윤곽들(contours) 등은 즉시 또는 실시간으로 결정될 수 있다. 객체들의 질량은 비접촉 측정들을 사용하여 계산될 수 있다(참조: X선). 개별 객체들의 질량은 X선 물리학을 기반으로 하는 물리적 모델을 사용하여 계산될 수 있다. 이는, 분류를 위해 신경망에 이미징 데이터를 공급하기 전의 전처리 단계로 간주될 수 있다. 개별 객체들의 질량을 결정하기 위해 다른 기술들도 사용될 수 있다. 일부 예들에서, 기계 학습 모델이 이용된다.
선택적으로, 하나 이상의 분할되는 객체들의 특성적 특징들은 디지털 트윈 모델을 구축하기 위해 저장된다.
본 발명은 물질 스트림의 성분 수준에서 특성화를 가능하게 한다. 이러한 방식으로, 디지털 트윈 모델이 설정될 수 있다. 그런 다음, 가상 테스트들 및 시뮬레이션들이 디지털 트윈 모델을 사용하여 수행될 수 있다.
물리적 물질 스트림은 스캔되고, '디지털 트윈'이라고도 지칭되는 가상 표현으로 변환될 수 있다. 이 디지털 대응물은 질량, 부피, 밀도, 형상, 크기, 재료, 시각적 외관, 질감 등과 같은 스트림 내의 모든 입자들의 물리적 속성들뿐 아니라 상이한 카메라들로 촬영된 원본 이미지들을 포함한다. 디지털 트윈은 가상 실험(예: 실험실에서 손을 더럽히지 않고 컴퓨터 데이터에 기반하여 체질 실험들(sieving experiments)을 수행함), 입자 기반 공정 시뮬레이션을 허용하고, 새로운 통찰력을 얻기 위해 물질 스트림을 파헤치는 접근 가능하고 직관적인 방법을 제공한다.
선택적으로, 하나 이상의 물질들은 운송 전에 제1 디지털 식별 마커를 결정하기 위해 특성화되고, 후속적으로 원격 위치로 운송 후에, 하나 이상의 물질들은 제2 디지털 식별 마커를 결정하기 위해 특성화되며, 여기서, 제1 및 제2 디지털 식별 마커들은 운송 중 내용물의 변화를 판단하기 위해 서로 비교된다.
일부 예들에서, 컨테이너 또는 화물(cargo)은 비균질의 물질들을 포함한다. 화물은 먼 거리에 걸쳐 운동되어 재특성화될 수 있다. 상세한 특성화가 제공될 수 있으므로, 디지털 핑거프린팅(digital fingerprinting)이 상세한 수준에서 수행될 수 있다. 출발지와 도착지를 기준으로 하면, 컨테이너 또는 화물이 훼손되었는 지 판단될 수 있다. 그 내용물을 포함하는 컨테이너/화물이 동일한 지 확인될 수 있다. 또한, 추가되거나 제거된 것에 대한 세부 사항들이 식별될 수 있다.
선택적으로, 하나 이상의 물질들은 비균질(non-homogeneous)이다.
물질 스트림은 물질들의 흐름으로서 정의될 수 있음이 이해될 것이다. 일부 예들에서, 스트림은 특정 방식으로 전환되는 특정 물질 카테고리일 수 있다. 일부 예들에서, 스트림은 특정 방식으로 전환되는 여러 물질 카테고리들의 혼합물일 수 있다. 물질 스트림들의 예들로는, 재사용 시장으로 보내진 해체된 물질들, 혼합 폐기물 재활용 시설로 보내진 혼합 폐기물 등이 있다.
선택적으로, 하나 이상의 물질들은 고형 폐기물, 생산된 제품들 또는 컴포넌트들, 농산물, 또는 배터리들로 구성되는 군으로부터 선택된다.
본 발명은 폐 배터리들의 분류에 적용될 때 상당한 이점들을 제공한다. 배터리들은 동일한 모양을 가질 수 있다(예: 외부에서, 일부 배터리들은 종종 동일하게 보일 수 있음). 다양한 배터리 유형들을 포함하는 배터리들의 스트림은 컨베이어 벨트를 따라 안내될 수 있다. 상이한 유형들의 배터리들은 본 발명에 따른 방법을 사용하여 서로로부터 효과적으로 구별될 수 있다. 예를 들어, 알카라인 배터리들과 리튬 이온 배터리들이 구분될 수 있다. 또한, 크기, 형상, 배열(예: 배터리 팩)과 같은 특징들도 배터리 스트림의 상이한 배터리들을 구분하기 위해 사용될 수 있다. 식별되는/분할되는 배터리들에 포함되는 물질, 예컨대, 배터리에 수용되는 캐소드 물질(예: 코발트-니켈, ??)을 식별하는 것도 가능하다.
일부 예들에서, 방법은 농업 공정들의 특성화를 위해 사용된다. 예를 들어, 배들(또는 다른 과일)의 흐름이 특성화될 수 있다. 제1 특징은 배의 외부 표면에 있는 작은 도트들(dots)의 (상대적) 양을 나타내는 값으로서 정의될 수 있고, 제2 특징은 배의 외부 표면에 얼마나 많은 큰 스폿들(spots)이 존재하는 지 나타내는 값으로서 정의될 수 있으며, 제3 특징은 배의 부피를 나타내는 값으로서 정의될 수 있다. 그런 다음, 예를 들어, 레이블은 개별적으로 분할되는 배의 상업적 가치로 정의될 수 있다. 이 예에서, 다른 특징들/특성들 및/또는 레이블들도 정의될 수 있음이 이해될 것이다. 예컨대, 식품 스트림의 특성화와 같은, 다른 적용 분야들도 가능하다.
일부 예들에서, 이 방법은 다음의 단계들 중 적어도 일부를 포함할 수 있다: 적어도 하나의 이미지를 획득하기 위해 하나 이상의 물질들을 이미징(예: X-선 스캔)하는 단계; 그 이미지로부터 컴포넌트들을 분할하고 잘라내는(clipping) 단계; 예컨대, 질량(예: 이중 또는 다중 에너지 X선 이미징을 기반으로 함), 부피(예: 3D 이미지를 기반으로 함), 원자 번호, 형상, 편심, 치수들 등과 같은, 개별 분할되는 컴포넌트들에 대한 특징들 및/또는 특성들을 식별하는 단계.
선택적으로, 벌크 고형 폐기물 스트림들에 대한 직접적인, 인라인 특성화 시스템이 제공된다.
일 양태에 따르면, 본 발명은 하나 이상의 물질들의 특성화를 수행하기 위한 시스템을 제공하고, 이 시스템은 하나 이상의 물질들을 스캔하도록 배치되는 감지 유닛을 포함하고, 감지 유닛은 적어도 저에너지 X선 이미지 및 고에너지 X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하고, 이 시스템은, 이미지들에서 하나 이상의 별개의 객체들을 분리하기 위해 감지 시스템에 의해 획득되는 이미지들의 분할을 수행하는 단계 - 분할되는 객체들의 영역을 나타내는 데이터가 결정됨 -; 분할되는 객체들의 각각에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도를 나타내는 데이터 및 원자 번호를 나타내는 데이터를 결정하는 단계 - 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 다른 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정됨 -; 분할되는 객체들의 각각에 대해, 분할되는 객체들의 각각의 상기 영역 밀도를 나타내는 데이터 및 영역을 나타내는 데이터에 기반하여, 질량을 나타내는 데이터를 계산하는 단계; 및 분할되는 객체들의 각각에 대해, 훈련된 신경망에 대한 입력으로서 적어도 원자 번호를 나타내는 데이터를 제공하는 단계를 수행하도록 구성되는 컨트롤러를 포함하고, 여기서, 훈련된 신경망은 각 분할되는 객체를 레이블링하도록 구성되고, 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결된다.
폐기물 분류의 수동 프로세스는 많은 시간과 자원들을 필요로 한다. 수동 분류는 비효율적일 뿐만 아니라 오류들이 발생하기 쉽다. 본 발명은 일부 예들에서 분류 시스템에 이용될 수 있는 개선된 특성화 시스템을 제공한다. 각 컴포넌트, 객체 또는 입자에 대한 정보를 특성화하고 추적하는 것이 가능하다. 본 발명은 또한, 예컨대, 농업 및/또는 식품 처리 분야들과 같은, 다른 적용 분야들에 사용될 수 있다. 예를 들어, 딸기들의 배치(batch) 또는 스트림은 품질 결정을 위해 상세한 방식으로 특성화될 수 있다. 추가적으로, 특성화에 기반하여, 딸기들의 배치 또는 스트림의 값이 추정될 수 있다.
본 발명은 또한, 예컨대, 분리 공장(폐기물 재활용 공장)의 공정 제어를 위한, 다른 적용 분야들에 사용될 수 있다. 일부 예들에서, 이러한 공장은 하나 이상의 물리적 분리 유닛들(예: 체(sieve), 와전류(eddy current), 자기 분리기(magnetic separator), 진동 분리기(vibration separator) 등)을 포함한다. 하나 이상의 분리 유닛들의 효율성은 즉시 및/또는 실시간으로 평가될 수 있다. 이는 품질 관리에 기반하여 디바이스들이 최적화되고 조정될 수 있게 할 수 있다. 예를 들어, 분리되는 입자들 또는 부분들이 값보다 커지면, 더 작은 입자들 또는 부분들을 분리하기 위해 특정 간격이 조정되어야 할 수 있다. 이는, 기존의 솔루션들에서는 샘플들을 채취하고 특성화 측정들을 수행하기 위해 전체 공정이 중지되어야 하므로, 불가능하다.
유리하게는, 전처리 및 특징 추출 단계들은 객체들을 레이블링하기 위한 훈련된 인공 신경망에 데이터를 공급하기 전에 수행될 수 있다. 복수의 특징들/특성들은 분할되는 객체별로 결정될 수 있다. 그런 다음, 레이블이 각 객체에 할당될 수 있다. 훈련된 신경망은, 분할되는 객체에 연결되는 복수의 결정되는 특징들/특성들을 고려하여, 각 분할되는 객체와 연관되는 레이블의 자동 결정을 위해 사용될 수 있다. 본 발명에 따르면, 신경망에 이미징 데이터를 직접 공급하는 대신에, 특징들/특성들이 훈련된 신경망에 공급되는 개별 컴포넌트들을 식별하기 위해, 이미징 데이터가 분할된다. 선택적으로, 상이한 센서들/디텍터들로부터의 이미징 데이터는 정렬되어 데이터 융합을 가능하게 한다. 이러한 방식으로 훨씬 더 정확한 결과들이 획득될 수 있다. 훈련된 신경망에 이미징 데이터를 추가로 입력하는 것도 가능하다. 따라서, 이미지의 픽셀들을 입력으로서 제공하는 대신에, 객체들의 각각에 연결되는 특징들/특성들이 입력으로서 제공된다. 이는 각 객체에 대해 효과적으로 수행될 수 있다. 훈련된 신경망으로의 입력은, 예컨대(참조: 신경망의 첫 번째 레이어에 있는 입력 노드들), 질량, 부피, 원자 번호, 편심과 같은 형상 파라미터들 등을 수 있다. 신경망의 출력은 분할되는 객체의 분류를 제공할 수 있다.
시스템은 비교적 높은 처리량으로, 하나 이상의 물질들(예: 물질 스트림)의 효율적이고 효과적인 특성화를 제공할 수 있다.
일 양태에 따르면, 본 발명은, 컨트롤러 상에서 실행될 때, 본 발명에 따른 방법의 단계들을 수행하도록 구성되는 컴퓨터 프로그램 제품을 제공한다.
일 양태에 따르면, 본 발명은 폐기물 스트림을 분류하도록 구성되는 재활용 장치를 제공하며, 여기서, 재활용 장치는 폐기물 스트림 내의 상이한 물질들을 구별하기 위해 청구범위의 제12 항에 따른 시스템을 포함한다.
선택적으로, 재활용 장치는 폐기물 스트림 내의 구별되는 상이한 물질들과 관련된 정보에 기반하여 공정 파라미터들을 제어하도록 구성된다.
방법은 분할 단계 없이도 잘 정의되는 서브-분획들(sub-fractions)의 실시간 질량 균형들을 제공하는 것이 가능하며, 따라서, 예를 들어, 완전한 가치 평가가 가능하다. 이는, 분석 실험실들에서의 화학적 분석과 결합되어 몇 주에서 최대 3 개월에 이르는 산업 분석들의 표준 리드 타임으로, 재활용 공장들이 비용이 많이 들고 노동 집약적인 샘플링 절차들을 줄이고, 결국에는 완전히 건너뛰고, 불확실성을 줄이도록 허용한다.
일 양태에 따르면, 본 발명은 하나 이상의 물질들의 특성화를 위한 시스템의 사용과 관련된다.
일 양태에 따르면, 본 발명은 복잡한 비균질의 물질 스트림들의 인라인 특성화에 적합한 인라인 특성화 시스템을 제공한다. 시스템은, 예컨대, 최대 1 m/s의 속도로 움직이는 1 m 너비의, 컨베이어 벨트 위에 위치되는 다수의 센서들을 구비할 수 있다. 물질들은 벨트 상에 단층으로 존재할 수 있다. 선택적으로, 단층을 보장하기 위한 수단이 제공된다. 설치된 센서들은 평균 원자 번호 및 질량을 직접 측정하고 기본적으로 '물질들을 통과하여 보도록' 허용하는 이중-에너지 X선 투과(dual-energy x-ray transmission; DE-XRT); 정확한 부피 및 형상을 결정하도록 허용하는 선택적인 3d 레이저 삼각 측량(3d laser triangulation; 3D-LT); 및 선택적인 고해상도 컬러 카메라를 포함한다. 이러한 센서들로부터의 데이터는 컨트롤러에 의해 처리될 수 있다. 컨트롤러는 벨트 상의 개별 객체들/컴포넌트들을 검출, 분류 및 측정하기 위해, 상이한 센서들/디텍터들의 수신되는 데이터를 정렬 및 융합할 뿐 아니라 인공 지능 및 기계 학습을 기반으로 하는 모델들 및 알고리즘들을 적용하도록 구성될 수 있다.
인라인 특성화 시스템은 표면층 뿐 아니라 물질들을 통과하여 '보기' 위해 X선을 사용하도록 구성될 수 있다. 이는 복합 물질들, 예컨대, 값이 보호층 또는 먼지 아래에 숨겨져 있는 물질들을 식별하게 한다. 더욱이, 통합된 이중-에너지 X선 투과(DE-XRT) 기술은 직접 무게를 달지 않고도 객체들의 질량을 직접 측정하게 한다. 또한, 이는 평균 원자 번호를 직접 측정한다. 객체 부피 및 3D 형상 측정(3D 레이저 삼각 측량(3D-LT)을 사용함)에 의한 보완으로, 밀도도 도출될 수 있다. 추가적으로 또는 대안적으로, 고해상도 컬러 카메라가 설치되어, 예컨대, 기계 학습 모델들(예: 심층 학습 알고리즘들)을 사용하여, 구조들, 패턴들, 색상들, 형상들, 텍스트들 등을 식별하게 한다. 상이한 원근들에서 기록되는 센서 데이터의 정확한 정렬을 위해 기하학적 알고리즘들이 사용될 수 있다.
일 양태에 따르면, 본 발명은 하나 이상의 물질들의 특성화를 수행하는 방법 및 시스템을 제공하며, 여기서, 하나 이상의 물질들은 적어도 저에너지 X선 이미지 및 고에너지 X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하는 감지 시스템에 의해, 스캔된다. 또한, 이미지들에서 하나 이상의 별개의 객체들을 분리하기 위해 감지 시스템에 의해 획득되는 이미지들의 분할이 수행될 수 있으며, 여기서, 분할되는 객체들의 영역을 나타내는 데이터가 결정된다. 게다가, 분할되는 객체들의 각각에 대해, 영역 밀도를 나타내는 데이터 및 원자 번호를 나타내는 데이터가 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 결정될 수 있으며, 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 다른 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정된다. 더욱이, 분할되는 객체들의 각각에 대해, 적어도 원자 번호를 나타내는 데이터가 훈련된 신경망에 대한 입력으로서 제공될 수 있으며, 여기서, 훈련된 신경망은 각 분할되는 객체를 레이블링하도록 구성된다.
방법의 관점에서 설명된 임의의 양태들, 특징들 및 옵션들이 시스템과 설명되는 재활용 장치 및 컴퓨터 프로그램 제품에 동일하게 적용된다는 것이 이해될 것이다. 또한, 상기 양태들, 특징들 및 옵션들 중 하나 이상이 조합될 수 있음이 명백할 것이다.
본 발명은 도면에 나타내는 예시적인 실시예들에 기반하여 더 설명될 것이다. 예시적인 실시예들은 비제한적인 예시로서 주어진다. 도면들은 비제한적인 예로서 제공되는 본 발명의 실시예들의 개략적인 표현들일 뿐이라는 점에 유의한다.
도면에서,
도 1은 일 실시예의 시스템에 대한 개략도를 도시한다;
도 2는 일 실시예의 시스템에 대한 개략도를 도시한다;
도 3은 특성화되는 물질들에 대한 개략도를 도시한다;
도 4는 데이터 융합에 대한 개략도를 도시한다;
도 5는 그래프에 대한 개략도를 도시한다;
도 6은 분할되는 이미지들에 대한 개략도를 도시한다;
도 7은 방법에 대한 개략도를 도시한다;
도 8은 그래프에 대한 개략도를 도시한다;
도 9는 그래프에 대한 개략도를 도시한다;
도 10a 및 도 10b는 그래프들에 대한 개략도를 도시한다;
도 11a 및 도 11b는 그래프들에 대한 개략도를 도시한다;
도 12는 일 실시예의 시스템에 대한 개략도를 도시한다; 그리고
도 13은 방법에 대한 개략도를 도시한다.
도면에서,
도 1은 일 실시예의 시스템에 대한 개략도를 도시한다;
도 2는 일 실시예의 시스템에 대한 개략도를 도시한다;
도 3은 특성화되는 물질들에 대한 개략도를 도시한다;
도 4는 데이터 융합에 대한 개략도를 도시한다;
도 5는 그래프에 대한 개략도를 도시한다;
도 6은 분할되는 이미지들에 대한 개략도를 도시한다;
도 7은 방법에 대한 개략도를 도시한다;
도 8은 그래프에 대한 개략도를 도시한다;
도 9는 그래프에 대한 개략도를 도시한다;
도 10a 및 도 10b는 그래프들에 대한 개략도를 도시한다;
도 11a 및 도 11b는 그래프들에 대한 개략도를 도시한다;
도 12는 일 실시예의 시스템에 대한 개략도를 도시한다; 그리고
도 13은 방법에 대한 개략도를 도시한다.
도 1은 하나 이상의 물질들(3)의 특성화를 수행하기 위한 일 실시예의 시스템(1)에 대한 개략도를 도시하고 있으며, 시스템(1)은 하나 이상의 물질들(3)을 스캔하도록 배치되는 감지 유닛(5)을 포함한다. 감지 유닛(5)은 적어도 저에너지 X선 이미지 및 고에너지 X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함한다. 시스템(1)은, 이미지들에서 하나 이상의 별개의 객체들을 분리하기 위해 감지 시스템(5)에 의해 획득되는 이미지들의 분할을 수행하는 단계 - 여기서, 분할되는 객체들의 영역을 나타내는 데이터가 획득됨 -; 분할되는 객체들의 각각에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도를 나타내는 데이터 및 원자 번호를 나타내는 데이터를 결정하는 단계 - 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 상이한 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정됨 -; 분할되는 객체들의 각각에 대해, 분할되는 객체들의 각각의 영역 밀도를 나타내는 데이터 및 영역을 나타내는 데이터에 기반하여, 질량을 나타내는 데이터를 계산하는 단계; 및 분할되는 객체들의 각각에 대해, 훈련된 신경망에 대한 입력으로서 적어도 원자 번호를 나타내는 데이터를 제공하는 단계를 수행하도록 구성되는 컨트롤러를 포함하고, 여기서, 훈련된 신경망은 각 분할되는 객체를 레이블링하도록 구성되며, 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결된다. 이 예에서, 감지 유닛(5) 및 하나 이상의 물질들(3)은 화살표(A)로 표시되는 바와 같이 서로에 대해 이동 가능하다. 이러한 방식으로, 감지 유닛은 하나 이상의 물질들(3)을 스캔할 수 있다. 예를 들어, 컨베이어 벨트가 감지 유닛(5)을 따라 하나 이상의 물질들(3)을 안내하기 위해 사용될 수 있다. 그러나, 감지 유닛(5)이 하나 이상의 물질들(3)에 대해 이동되는 것도 가능하다.
본 발명은 각 분할되는 객체에 질량을 할당하는 것을 가능하게 한다. 이는 총 질량 균형이 객체들의 클래스별로 할당될 수 있음을 의미한다.
일부 예들에서, 질량은 훈련된 신경망에 대한 입력으로서 제공될 수 있다. 질량과 화학적 속성들(참조: 원자 번호)의 조합은 훈련된 인공 신경망에 의해 레이블에 대한 좋은 예측을 제공한다.
일부 예들에서, 훈련된 신경망을 사용하여 분할되는 객체들의 각각에 분류가 할당된 후에, 질량은 적어도 출력에서 사용되며, 질량은 질량 균형을 생성하는 데 사용된다.
도 2는 일 실시예의 시스템(1)에 대한 개략도를 도시하고 있다. 이 예에서, 선택적인 (컬러) 카메라(7) 또는 선택적인 3D 레이저 삼각 측량 유닛(9) 중 적어도 하나가 분할되는 객체들의 각각에 연결되는 추가 특성들을 결정하는 것을 가능하게 하기 위해 배치된다. 따라서, 일부 예들에서, 물질 유형, 질량 등과 관련된 특징들/특성들 다음으로, 크기, 형상, 색상, 질감, 비주얼 인사이트(visual insight) 등 중 적어도 하나에 기반하여 식별 및/또는 분할되는 객체들을 구별하는 것도 가능하다. 이러한 정보는 가상 실험을 가능하게 할 수도 있다. 이 예에서, 감지 유닛(5)은 이중-에너지 X선 이미징을 수행하기 위한 두 개의 X선 서브-유닛들(11a, 11b)을 갖는 X선 센서(11)를 포함한다. 또한, 카메라(7) 및 3D 레이저 삼각 측량 유닛(9)은 감지 유닛(5)에 통합된다. 이러한 방식으로, 감지 유닛(5)은, 예컨대, 컴퓨터 유닛(13)에 의해, 정령 및/또는 융합될 수 있는 복수의 이미지들을 제공한다. 상이한 카메라들/디텍터들로부터 획득되는 이미징 데이터의 정렬 및/또는 융합은 분할되는 객체들의 특징들/특성들의 더 나은 결정을 가능하게 할 수 있다. 하나 이상의 물질들이 분할되고, 개별 분할되는 객체들(3i)이 그 관련 특징들/특성들을 결정하기 위해 분석된다. 이 예에서, 다음의 특징들(15)이 각 분할되는 객체에 대해 결정된다: 밀도, 재료, 형상, 크기 및 질량. 다른 세트들의 특징들도 가능하다는 것이 이해될 것이다. 데이터로부터, 분할되는 객체들의 각각의 (상대적인) 가중치(백분율)을 도출하는 것도 가능하다.
본 발명에 따른 시스템은 하나 이상의 물질들의 특성화에 있어서 더 빠르고 더 자율적일 수 있는 한편, 인간들로부터 적은(덜 노동 집약적인) 입력을 요구한다. 시스템은 폐기물 특성화의 적용에 있어서 중요한 이점들을 제공할 수 있다.
상이한 폐기물 입자들(의 이미지들)을 인식하고 이를 상이한 카테고리들로 분류하는 모델을 개발하기 위해, 기계 학습 모델이 많은 이미지들을 보여줌으로써 훈련될 수 있고, 각 이미지는 그 안에 무엇이 있는지 설명하는 레이블을 동반한다. 모든 데이터가 미리 레이블링되는 기존의 접근 방식은 지도 학습(supervised learning)으로 알려져 있다. 이 레이블링된 데이터는 기계 학습 알고리즘들의 연료(fuel)를 나타낸다. 폐기물 특성화 기술의 경우, 레이블링된 데이터는 일반적으로 물리적으로 "순수한" 단일-물질 스트림들을 스캔함으로써 생성될 수 있으며, 이 스트림들은 종종 비균질의 폐기물 스트림으로부터 수천 개의 개별 입자들을 세심하게 선택함으로써 수동으로 준비된다.
폐기물의 특성화는 재활용 산업에서 여러 중요한 적용 분야들을 갖는다. 이는 가치 평가를 위해 사용될 수 있다. 완전한 물질 스트림들의 빠르고 신뢰할 수 있는 가치 평가는 상품 주식 시장의 변동성에 노출될 위험을 줄인다. 또한, 이는 품질 관리를 위해 사용될 수 있다. 순환 경제에서, 재활용 제품들의 품질이 보정되는 것이 바람직하다. 특성화 기술은 시장의 신뢰를 구축하는 데 도움이 된다. 게다가, 이는 공정 엔지니어링을 위해 사용될 수 있다. 가상 실험에 의해 폐기물 재활용 공정들 및 새로운 공정들의 설계의 기술적 및 경제적 타당성이 평가될 수 있다. 더욱이, 이는 온라인 공정 최적화를 위해 사용될 수 있다. 분류 공정들은 즉시 측정, 제어 및 최적화될 수 있다.
본 발명은 물질들을 정성적으로(물질 유형, 화학적 성질, 순도, ??) 그리고 정량적으로(질량 균형들, 물리적 속성들, ??) 평가하는 직접적인, 인라인 특성화 기술을 제공할 수 있다. 이러한 인라인 특성화 시스템은 비균질의 그리고 복잡한 물질 스트림들을 완전히 평가하도록 구성될 수 있어, 서브샘플링에 대한 필요를 제거한다. 또한, 질량 균형들은 즉시 생성될 수 있다. 실제로, 각 물질 객체에 대해, 가상 방식으로 추가적으로 평가될 수 있는 디지털 트윈이 생성될 수 있다.
도 3은 본 발명에 따른 방법을 사용하여 특성화되는 물질들에 대한 개략도를 도시하고 있다. 상이한 객체들(3i)이 분할되고, 관련 특성들/특징들이 결정된다. 정보는, 예컨대, 일반적인 사용자 인터페이스를 사용하여, 표시될 수 있다. 이 예에서, 특징들은 질량, 부피, 직경, 형상, 및 질감을 포함한다. 또한, 훈련된 신경망에 의해 결정되는 레이블들(17)이 제공될 수도 있다. 이 예에서, 두 개의 레이블들(17), 즉, 객체 유형(예: 병, 카메라, 헤드폰 등) 및 물질(예: PET, 재료들의 조성 등)이 제공된다. 다른 특징들 및/또는 레이블들도 가능하다는 것이 이해될 것이다.
도 4는 데이터 융합에 대한 개략도를 도시하고 있다. 이 예에서, 감지 유닛(5)은 복수의 이미징 센서들, 즉, RGB 컬러 카메라, 높이 센서(예: 레이저 삼각 측량, 또는 3D 카메라), 및 X선 센서(예: 저에너지 X선 이미지 및 고에너지 X선 이미지를 제공하는 이중-에너지 X선 센서)를 포함한다. 두 개의 개별 센서들을 사용하는 대신에 두 개의 개별 센서들을 통합하는 것이 가능하다는 것이 이해될 것이다. 예를 들어, 3D 카메라는 높이 정보와 RGB 컬러 이미지들을 모두 제공하기 위해 사용될 수 있다. 융합된 이미지(19)는 이미징 유닛(5)의 상이한 센서들 또는 서브유닛들로부터의 이미지들로부터 획득될 수 있다.
X선들의 흡수는 X선 이미징에 의해 측정된다. X선들의 흡수는 특정 물질의 질량에 비례할 수 있다. 그러나, 흡수율이 높은 비교적 얇은 물질(예: 납)은 흡수율이 거의 없는 매우 두꺼운 물질과 유사한 X선 이미지를 제공할 수 있다. 저에너지 이미지 및 고에너지 이미지는 이러한 경우들을 구별하기 위해 사용될 수 있어, 물질 식별을 가능하게 한다.
다수의 센서들(예: XRT 및 3DLT)을 조합함으로써, 분할되는 객체들의 물리적/화학적 속성들이 결정되거나 직접 측정될 수 있다. 측정 및/또는 결정되는 특성들은 레이블을 제공하기 위한 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 복잡한 비균질의 물질 스트림들의 값 및 조성이 정량화될 수 있어, 현재 샘플링 및 분석 절차들에 비해 재활용 회사들을 위해 시간 및 비용 절감을 초래할 수 있다.
도 5는 상이한 물질 유형들에 대한 실제 질량 대 예측 질량이 표시되는 그래프에 대한 개략도를 도시하고 있다. 저에너지 X선 이미지 및 고에너지 X선 이미지에 기반하여 질량을 결정하기 위한 모델이 정확한 결과들을 제공함을 알 수 있다. 질량 상대 오차는 15 % 미만이다.
도 6은 분할되는 이미지들에 대한 개략도를 도시하고 있다. 객체들(3i)의 분할은 바운딩 박스들(bounding boxes)(20)에 의해 시각화된다. 박스들(20)은 이 예에서 직사각형이지만, 다른 형상들도 가능하다. 다른 분할 기술들도 가능하다. 예를 들어, 식별되는 객체들(3i)의 윤곽들을 분할하는 것도 가능하다. 분할되는 객체들(3i)의 각각에 대해, 하나 이상의 특징들/특성들이 결정될 수 있다. 이 특성들은 적용 분야별 레이블을 제공하기 위해 훈련된 신경망에 공급될 수 있다.
도 7은 방법(30)에 대한 개략도를 도시하고 있다. 제1 단계(31)에서, 하나 이상의 물질들의 객체들 또는 컴포넌트들이 식별되고 분할된다. 이는 객체-검출 알고리즘들 및/또는 분할 알고리즘들에 의해 수행될 수 있다. 이미지는 감지 유닛(5)을 사용하여 획득된다. 분할되는 획득되는 이미지는, 예컨대, 감지 유닛(5)의 상이한 센서들 또는 서브-유닛들로부터 오는 상이한 이미지들의 정렬 및/또는 융합을 수행한 후에 획득되는 것도 가능하다. 이 예에서, 박스들(20)은 분할되는 객체들(3i) 주위에 제공된다. 제2 단계(33)에서, 특성들/특징들(15)은 분할되는 객체들(3i)의 각각에 대해 결정된다. 이 예에서, 질량, 부피 및 원자 번호가 결정된다. 데이터는 출력으로서 레이블(17)을 획득하기 위해, 훈련된 신경망(25)에 대한 입력으로서 제공될 수 있다. 이 예에서, 훈련된 신경망은 심층 학습 모델이다. 그러나, 다른 기계 학습 모델들도 사용될 수 있다. 일부 예들에서, 대안적인 회귀 모델(regression model)이 인공 신경망 대신에 사용된다.
도 8은 그래프에 대한 개략도를 도시하고 있다. 복수의 식별되는 분할되는 객체들(3i)은, 각 클러스터가 유사한 특징들 및/또는 특성들을 갖는 컴포넌트들을 포함하도록, 하나 이상의 클러스터들로 구분될 수 있다. 이러한 방식으로, 객체들은 함께 그룹화될 수 있어, 하나 이상의 물질들(예: 폐기물 스트림)의 조성에 더 많은 통찰력들을 제공할 수 있다. 이 예에서, 2D 클러스터는 밀도 및 원자 번호를 고려하여 제공된다. 다양한 다른 클러스터 그래프들이 가능하다는 것이 이해될 것이다.
본 발명은 객체/컴포넌트 수준에서 물질 스트림 특성화를 가능하게 한다. 입자 크기 분포 또는 질량 균형 외에도, 맞춤형 품질 메트릭들이 하나 이상의 물질들(예: 물질 스트림)의 개별 객체들의 (직접 측정된) 물리적 속성들에 기반하여 정의될 수 있다. 이를 통해, 이 기술은 물리적 물질 스트림의 디지털 트윈을 구축하여, 가상 실험, 새로운 통찰력들 및 더 나은 가치 평가를 가능하게 한다. 본 발명은 분류 단계의 필요 없이 높은 분류 정확도들 및 정확한 질량 균형들로 비균질의 폐기물 스트림들의 분류를 가능하게 한다.
도 9는 도 8과 유사한 그래프에 대한 개략도를 도시하고 있다. 이 예에서, 복수의 식별되는 분할되는 객체들(3i)이 그래프에 도시되어 있어, 특성화되는 하나 이상의 물질들의 조성에 대한 보다 시각적인 통찰력을 가능하게 한다.
도 10a 및 도 10b는 이중 및 다중-에너지 X선 투과와 관련된 그래프들에 대한 개략도를 도시하고 있다. 그래프들에서, 투과율은 상이한 분할되는 객체들(3i)에 대한 에너지에 대해 표시된다.
(X선) 광자들이 물질을 통과할 때, 일 부분은 물질과 상호 작용하지만, 다른 부분은 그렇지 않다. 이 마지막 부분은, 즉, 투과된 부분은, 디텍터가 X선 투과(XRT) 이미징에서 캡처하는 것이다. 이미징될 객체는 소스와 디텍터의 사이에 위치된다.
특정 물질을 투과하는 X선들의 양은, 1) 물질(화학적 조성, 원자 번호), 2) 밀도(ρ), 3) 두께(d) 및 4) 광자의 에너지(E)에 따라 다르다.
이는 상이한 물질들의 경우, 광자들의 투과율이 X선 광자 에너지에 대해 표시되는 위의 도 10a에 반영된다. 물질들의 상이한 스펙트럼 투과 덕분에, 여러 에너지들을 사용하여 물질들을 이미징할 때, 상이한 물질들을 구별할 수 있다.
예를 들어, 이중 에너지 XRT(DE-XRT)의 경우, 각 센서 픽셀은 에너지 스펙트럼의 두 부분들에서 민감하므로, 저에너지 신호 및 고에너지 신호를 생성할 것이다. 저에너지 신호는 특정 임계값 아래의 모든 광자들을 통합하는 한편, 고에너지 신호는 X선을 임계값 이상의 에너지와 통합한다. 에너지 스펙트럼의 낮은 부분과 높은 부분의 투과율들을 측정함으로써, 평균 원자 번호(Z) 및 영역 밀도(ρd)(밀도와 두께의 곱)를 계산할 수 있다.
도면에서 볼 수 있는 바와 같이, 특정 물질들의 투과 스펙트럼은 뚜렷한 강하들을 보인다(피크들도 갖지만, 이들은 도시되지 않음). 이 강하들의 위치들(X선 광자 에너지)은 화학 원소들에 대한 특성이며, 드롭의 높이는 그 물질의 양에 해당한다. 따라서, 다수의 에너지 빈들(두 개 이상)을 도입하고 다중-에너지 X선 투과를 수행함으로써, 이 강하들의 일부 또는 전부에 초점을 맞추는 것이 가능하게 되며, 따라서, 강하들의 위치 및 높이를 연구하여 스캔되는 물질의 화학적(원소) 조성을 정량적으로 결정할 수 있다.
이중 에너지는 특정 범위(원자 번호 40까지) 내에서 평균 원자 번호를 측정할 수 있다. 그러나, 다중-에너지 전송은 이 범위를 더 높은 원자 번호들까지 크게 확장할 수 있다. 또한, 특정 강하들에 초점을 맞춤으로써, 다중-에너지 XRT는 특정 화학 원소들에 초점을 맞추고, 물질 내에 존재하는 그 원소의 양을 정량적으로 결정할 수 있다. 이에 대해 알려진 기술들 중 하나가 K-에지(edge) 이미징이다.
도 10b에서, 영역 밀도(ρd)(밀도와 두께의 곱)의 효과가 도시되어 있다. 밀도가 높거나 물질이 두꺼울수록, 투과율은 더 낮다. 그러나, 강하의 위치는 동일하게 유지된다. 강하의 상대적인 높이도 매우 유사하다.
도 11a 및 도 11b는 이중 및 다중-에너지 X선 투과와 관련된 그래프들에 대한 개략도를 도시하고 있다. 도 11a에는, 저에너지 이미지 및 고에너지 이미지가 도시되어 있다. 도 11b에는, 상이한 분할되는 객체들(3i)에 대해 저에너지 투과에 대한 고에너지 투과가 표시되고 있다.
도 11a에서, Pb 함량 증가의 영향을 볼 수 있다. 강하의 위치는 일정하게 유지되지만, 강하의 높이는 Pb 함량 증가와 함께 증가한다. 이 효과는 다중-에너지 이미징, 예컨대, k-에지 이미징을 사용하여 물질의 화학적 조성을 정량적으로 결정하게 한다. DE-XRT 보정 스캔에 기반하여, LE, HE 및 Z 사이의 다음 관계가 도출될 수 있다. 이는, 도 11b에 도시된 바와 같이, LE 및 HE의 측정에 기반하여, 평균 원자 번호를 도출하게 한다. 이와 유사하게, ρd와의 관계가 도출될 수 있다.
보정 동안, 원자 번호 및 물질들의 밀도가 알려진 물질들이 이용될 수 있다. 그래프는 저에너지 및 고에너지 X선 이미지들에 대해 원자 번호와 표면 밀도가 무언인지 보여준다. 분할되는 객체에 대한 영역 밀도가 통합되거나 추가되는 경우, 객체의 질량이 계산될 수 있다.
도 12는 일 실시예의 시스템(100)에 대한 개략도를 도시하고 있다. 시스템(100)은 폐기물 스트림에서 구별되는 상이한 물질들과 관련된 정보에 기반하여 공정 파라미터들을 제어하도록 구성될 수 있다. 시스템(100)은 공정 관리를 위한 실시간 공정 정보를 제공하도록 구성될 수 있다. 예를 들어, 공정 내에서, 구분 선(dividing line)이 존재하는 특정화 단계 후에, 복수의 상이한 물리적 분리 단계들을 포함한다. 그런 다음, 들어오는 입력을 기준으로, 파라미터들(예: 속도 대역들, 기계들 설정들)이 더 나은 분리를 달성하기 위해 입력으로서 제공되는 것을 기반으로 조정될 수 있다.
본 발명은 벌크 고형 폐기물 스트림들에 대한 직접적인, 인라인 특성화 기술을 제공할 수 있다. 특성화는 산업적으로 관련된 분석들과 결합되는 하나 이상의 물질들(예: 물질 스트림)의 객체/컴포넌트 수준에서 빅 데이터를 제공하기 위해 상이한 센서들(X선들, 3D 레이저 및 컬러) 및 인공 지능을 사용할 수 있다.
도 13은 하나 이상의 물질들의 특성화를 수행하기 위한 방법(1000)에 대한 개략도를 도시하고 있다. 제1 단계(100)에서, 하나 이상의 물질들이 적어도 저에너지 X선 이미지 및 고에너지 X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하는 감지 시스템에 의해 스캔된다. 제2 단계(1002)에서, 이미지에서 하나 이상의 별개의 객체들을 분리하기 위해 감지 시스템에 의해 획득되는 이미지들의 분할이 수행되며, 여기서, 분할되는 객체들의 영역을 나타내는 데이터가 결정된다. 제3 단계(1003)에서, 분할되는 객체들의 각각에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도를 나타내는 데이터 및 원자 번호를 나타내는 데이터가 결정되고, 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 다른 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정된다. 제4 단계(1004)에서, 분할되는 객체들의 각각에 대해, 분할되는 객체들의 각각의 영역 밀도를 나타내는 데이터 및 영역을 나타내는 데이터에 기반하여, 질량을 나타내는 데이터가 계산된다. 제5 단계(1005)에서, 분할되는 객체들의 각각에 대해, 훈련된 신경망에 대한 입력으로서 적어도 원자 번호를 나타내는 데이터가 제공되고, 여기서, 훈련된 신경망은 각 분할되는 객체를 레이블링하도록 구성되고, 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결된다.
X선 이미징 유닛을 사용하여 질량과 관련된 지식을 보유하는 것은, 물질 특성화에 있어서 충분한 이점들을 가져올 수 있다. 이러한 특성화는 복잡한 비균질의 스트림들(예: 폐기물 물질 스트림의 분류의 적용 분야)에서도 수행될 수 있다.
다양한 신경망 모델들 및/또는 신경망 아키텍처들이 사용될 수 있다. 신경망은 센서 데이터 및/또는 전처리 데이터(참조: 분할되는 객체들의 결정되는 특징들/특성들)를 처리하는, 예컨대, 분류하는 능력을 갖는다. 신경망은 컴퓨터 시스템에서 구현될 수 있다. 신경망들은 복잡한 데이터 입력들을 처리하기 위한 다양한 기계 학습 알고리즘들의 프레임워크로서 역할을 할 수 있다. 이러한 신경망 시스템들은, 일반적으로 임의의 태스크별 룰들로 프로그래밍되지 않고, 예들을 고려하여 태스크들을 수행하도록 "학습"할 수 있다. 신경망은 뉴런들(neurons)이라고 지칭되는 연결된 유닛들 또는 노드들의 모음을 기반으로 할 수 있다. 각 연결은 신경망의 한 뉴런에서 다른 뉴런으로 신호를 전송할 수 있다. 신호를 수신하는 뉴런은 신호를 처리한 다음, 그에 연결된 다른 뉴런들에 신호를 보낼 수 있다(참조: 활성화). 각 뉴런의 출력은 일반적으로 그 입력들의 합계에 대한 일부 비선형 암수에 의해 계산된다. 연결들은 학습이 진행됨에 따라 조정되는 각각의 가중치들을 가질 수 있다. 바이어스들(biases)과 같은 다른 파라미터들도 있을 수 있다. 일반적으로, 뉴런들은 레이어들로 집계된다. 상이한 레이어들은 그 입력들에 대해 상이한 종류들의 변환들을 수행하여, 심층 신경망을 형성할 수 있다.
심층 학습 신경망은, 원시 입력을 시작으로 한 수준의 표현을 더 높고 약간 더 추상적인 수준의 표현으로 각각 변환하는 단순하지만 비선형적인 모듈들을 구성함으로써 획득될 수 있는, 복수의 수준들의 표현을 갖는 표현-학습 방법으로 볼 수 있다. 신경망은 기존의 또는 고전적인 방법들을 사용하여 보기 어려운 패턴들을 식별할 수 있다. 따라서, 특정 인쇄 조건들에서 구조를 인쇄하는 문제와 관련된 사용자 지정 코드를 작성하는 대신에, 망은, 예컨대, 분류 알고리즘을 사용하여, 상이한 및/또는 변화하는 구조 인쇄 조건들을 다룰 수 있도록 훈련될 수 있다. 훈련 데이터는 인쇄 프로세스를 효율적으로 제어하기 위한 분류 로직을 결정할 수 있도록 신경망에 공급될 수 있다.
방법의 특정 단계가 다른 단계 뒤인 것으로 언급되는 경우, 달리 명시되지 않는 한, 이는 상기 다른 단계에 바로 이어지거나, 특정 단계를 수행하기 전에 하나 이상의 중간 단계들이 수행될 수 있음이 이해될 것이다. 마찬가지로, 신경망의 뉴런들과 같은 컴포넌트들 사이의 연결이 설명될 때, 이 연결은 달리 지정되지 않거나 컨텍스트에서 제외되지 않는 한, 직접 또는 다른 뉴런들이나 논리 연산들과 같은 중간 컴포넌트들을 통해 설정될 수 있음이 이해될 것이다.
방법은 컴퓨터 구현 단계들을 포함할 수 있음이 이해될 것이다. 상술된 모든 단계들은 컴퓨터 구현 단계들일 수 있다. 실시예들은 컴퓨터 장치를 포함할 수 있으며, 여기서, 프로세스들은 컴퓨터 장치 내에서 수행된다. 또한, 본 발명은 컴퓨터 프로그램들, 특히, 본 발명을 실행하도록 구성되는 캐리어 상의 또는 캐리어 내의 컴퓨터 프로그램들로 확장된다. 프로그램은 소스 또는 목적 코드의 형태이거나, 본 발명에 따른 프로세스들의 구현에 사용하기에 적합한 다른 형태일 수 있다. 캐리어는 프로그램을 전달할 수 있는 임의의 엔티티 또는 디바이스일 수 있다. 예를 들어, 캐리어는 롬(ROM), 예컨대, 반도체 롬 또는 하드 디스크와 같은 저장 매체를 포함할 수 있다. 또한, 캐리어는 전기 또는 광 케이블을 통해, 또는 무선 또는 다른 수단, 예컨대, 인터넷 또는 클라우드를 통해, 전달될 수 있는 전기 또는 광학 신호와 같은 전송 가능한 캐리어일 수 있다.
예를 들어, 일부 실시예들은, 기계에 의해 실행되는 경우, 기계가 실시예들에 따른 방법 및/또는 동작들을 수행하게 하는 명령어 또는 명령어들의 세트를 저장할 수 있는 기계 또는 유형의 컴퓨터-판독 가능 매체를 사용하여, 구현될 수 있다.
다양한 실시예들은 하드웨어 요소들, 소프트웨어 요소들, 또는 이들의 조합을 사용하여 구현될 수 있다. 하드웨어 요소들의 예들로는, 프로세서들, 마이크로프로세서들, 회로, 주문형 집적 회로(application specific integrated circuits; ASIC), 프로그램 가능 논리 디바이스들(programmable logic devices; PLD), 디지털 신호 프로세스들(digital signal processors; DSP), 필드 프로그램 가능 게이트 어레이(field programmable gate array; FPGA), 논리 게이트들, 레지스터들; 반도체 소자, 마이크로칩들, 칩셋들 등이 있다. 소프트웨어의 예들로는, 소프트웨어 컴포넌트들, 프로그램들, 애플리케이션들, 컴퓨터 프로그램들, 애플리케이션 프로그램들, 시스템 프로그램들, 머신 프로그램들, 운영 체제 소프트웨어, 모바일 앱들, 미들웨어, 펌웨어, 소프트웨어 모듈들, 루틴들, 서브루틴들, 기능들, 컴퓨터 구현 방법들, 절차들, 소프트웨어 인터페이스들, 애플리케이션 프로그램 인터페이스들(application program interfaces; API), 방법들, 명령어 세트들, 컴퓨팅 코드, 컴퓨터 코드 등이 있다.
그래픽 및/또는 이미지/비디오 처리 기술들은 다양한 하드웨어 아키텍처들에서 구현될 수 있다. 그래픽 기능은 칩셋 내에 통합될 수 있다. 대안적으로, 개별 그래픽 프로세서가 사용될 수 있다. 예를 들어, 이미지들(스틸 또는 비디오)의 처리는 그래픽 처리 유닛(graphics processing unit; GPU) 또는 시각적 처리 유닛(visual processing unit; VPU)과 같은 그래픽 서브시스템에 의해 수행될 수 있다. 다른 실시예로서, 그래픽 또는 이미지/비디오 처리 기능들은, 예컨대, 멀티-코어 프로세서를 포함하는, 범용 프로세서에 의해 구현될 수 있다. 또 다른 실시예에서, 기능들은 소비자 전자 디바이스들에서 구현될 수 있다. 상이한 하드웨어 아키텍처들의 조합을 사용하는 실시예들도 가능하다.
여기에서, 본 발명은 본 발명의 실시예들의 특정 예들을 참조하여 설명된다. 그러나, 본 발명의 본질에서 벗어나지 않으면서 다양한 수정들, 변형들, 대안들 및 변경들이 이루어질 수 있음이 명백할 것이다. 명료함과 간결한 설명을 위해, 특징들은 동일하거나 별도의 실시예들의 일부로서 여기에 설명되지만, 이러한 별도의 실시예들에 설명되는 특징들의 전부 또는 일부의 조합을 갖는 대안적인 실시예들도 청구범위에 의해 개략되는 바와 같이 프레임워크 내에 속하는 것으로 구상되고 이해된다. 따라서, 상세한 설명, 도면 및 예들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명은 첨부된 청구범위의 사상 및 범위에 속하는 모든 대안들, 수정들 및 변형들을 포함하도록 의도된다. 또한, 설명되는 많은 요소들은 임의의 적절한 조합 및 위치에서 개별 또는 분산된 다른 컴포넌트들로, 또는 다른 컴포넌트들과 함께 구현될 수 있는 기능적인 개체들이다.
청구범위에서, 괄호 사이에 있는 참조 기호들은 청구범위를 제한하는 것으로 해석되어서는 안된다. 단어 '포함'은 청구범위에 나열된 것 이외의 다른 특징들 또는 단계들의 존재를 배제하지 않는다. 또한, 단어들 '일' 및 '하나'는 '단 하나'로 한정되는 것으로 해석되어서는 안되고, '적어도 하나'의 의미로 사용되며, 복수를 배제하지 않는다. 특정 조치들이 상이한 청구항들에 인용되었다는 단순한 사실이 이러한 조치들의 조합이 유리하게 사용될 수 없다는 것을 나타내지는 않는다.
Claims (16)
- 하나 이상의 물질들(materials)의 특성화(characterization)를 수행하는 컴퓨터 구현 방법에 있어서,
상기 방법은,
적어도 저에너지(lower-energy) X선 이미지 및 고에너지(higher-energy) X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하는 감지 시스템에 의해, 상기 하나 이상의 물질들을 스캔하는 단계;
이미지들에서 하나 이상의 별개의 객체들(objects)을 분리하기 위해 상기 감지 시스템에 의해 획득되는 이미지들의 분할을 수행하는 단계 - 분할되는 객체들의 영역을 나타내는 데이터가 결정됨 -;
상기 분할되는 객체들의 각각에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도(area density)를 나타내는 데이터 및 원자 번호(atom number)를 나타내는 데이터를 결정하는 단계 - 상기 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 다른 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정됨 -;
상기 분할되는 객체들의 각각에 대해, 상기 분할되는 객체들의 각각의 상기 영역 밀도를 나타내는 데이터 및 상기 영역을 나타내는 데이터에 기반하여, 질량(mass)을 나타내는 데이터를 계산하는 단계; 및
상기 분할되는 객체들의 각각에 대해, 훈련된 신경망에 대한 입력으로서 적어도 상기 원자 번호를 나타내는 데이터를 제공하는 단계
를 포함하고,
상기 훈련된 신경망은 각 분할되는 객체를 레이블링하도록(to label) 구성되고,
상기 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결되는,
방법.
- 제1 항에 있어서,
계산되는 질량은 상기 훈련된 신경망에 대한 입력으로서 제공되는,
방법.
- 제1 항 또는 제2 항에 있어서,
상기 감지 시스템은 분할되는 객체들의 부피를 나타내는 데이터를 결정하기 위한 깊이 이미징 유닛(depth imaging unit)을 더 포함하는,
방법.
- 제3 항에 있어서,
상기 깊이 이미징 유닛은 3차원 레이저 삼각 측량 유닛 또는 3차원 카메라 중 적어도 하나를 포함하는,
방법.
- 제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 감지 시스템은 상기 분할되는 객체들의 컬러 이미지들을 촬영하도록 구성되는 컬러 이미징 유닛(color imaging unit)을 더 포함하는,
방법.
- 제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 감지 시스템의 상이한 서브시스템들로부터의 데이터는 상기 하나 이상의 분할되는 객체들의 각각에 대한 특성적 특징들(characteristic features)을 결정하기 전에 정렬되는,
방법.
- 제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 하나 이상의 분할되는 객체들의 각각에 대해, 부피, 치수(dimension), 직경, 형상, 질감, 색상, 또는 편심(eccentricity) 중 적어도 하나와 관련된 추가적인 특성적 특징들이 결정되는,
방법.
- 제1 항 내지 제7 항 중 어느 한 항에 있어서,
상기 하나 이상의 물질들은 물질 스트림을 형성하는 컨베이어(conveyor) 상에서 이동되고,
상기 물질 스트림은 상기 물질 스트림 내의 객체들의 특성화를 위해 상기 감지 시스템에 의해 스캔되는,
방법.
- 제1 항 내지 제8 항 중 어느 한 항에 있어서,
상기 하나 이상의 분할되는 객체들의 특성적 특징들은 디지털 트윈 모델(digital twin model)을 구축하기 위해 저장되는,
방법.
- 제1 항 내지 제9 항 중 어느 한 항에 있어서,
상기 하나 이상의 물질들은 운송 전에 제1 디지털 식별 마커를 결정하기 위해 특성화되고,
후속적으로 원격 위치로 운송 후에, 상기 하나 이상의 물질들은 제2 디지털 식별 마커를 결정하기 위해 특성화되고,
상기 제1 및 제2 디지털 식별 마커들은 운송 중 내용물(contents)의 변화를 판단하기 위해 서로 비교되는,
방법.
- 제1 항 내지 제10 항 중 어느 한 항에 있어서,
상기 하나 이상의 물질들은 비균질(non-homogeneous)인
방법.
- 제1 항 내지 제11 항 중 어느 한 항에 있어서,
상기 하나 이상의 물질들은 고형 폐기물, 생산된 제품들 또는 컴포넌트들, 농산물, 또는 배터리들로 구성되는 군으로부터 선택되는,
방법.
- 하나 이상의 물질들의 특성화를 수행하기 위한 시스템에 있어서,
상기 시스템은,
상기 하나 이상의 물질들을 스캔하도록 배치되는 감지 유닛
을 포함하고,
상기 감지 유닛은 적어도 저에너지 X선 이미지 및 고에너지 X선 이미지를 획득하기 위해 다중-에너지 이미징을 수행하도록 구성되는 X선 센서를 포함하고,
상기 시스템은,
이미지들에서 하나 이상의 별개의 객체들을 분리하기 위해 상기 감지 시스템에 의해 획득되는 이미지들의 분할을 수행하는 단계 - 분할되는 객체들의 영역을 나타내는 데이터가 결정됨 -;
상기 분할되는 객체들의 각각에 대해, 저에너지 X선 이미지 및 고에너지 X선 이미지의 분석에 의해 영역 밀도를 나타내는 데이터 및 원자 번호를 나타내는 데이터를 결정하는 단계 - 상기 영역 밀도 및 원자 번호를 나타내는 데이터는 알려진 영역 밀도들 및 원자 번호들을 갖는 다른 물질들로 다중-에너지 X선 이미징을 수행함으로써 보정되는 모델에 의해 결정됨 -;
상기 분할되는 객체들의 각각에 대해, 상기 분할되는 객체들의 각각의 상기 영역 밀도를 나타내는 데이터 및 상기 영역을 나타내는 데이터에 기반하여, 질량을 나타내는 데이터를 계산하는 단계; 및
상기 분할되는 객체들의 각각에 대해, 훈련된 신경망에 대한 입력으로서 적어도 상기 원자 번호를 나타내는 데이터를 제공하는 단계
를 수행하도록 구성되는 컨트롤러
를 포함하고,
상기 훈련된 신경망은 각 분할되는 객체를 레이블링하도록 구성되고,
상기 질량을 나타내는 데이터는 레이블링되는 분할되는 객체들의 각각에 연결되는,
시스템.
- 컨트롤러 상에서 실행될 때, 제1 항 내지 제12 항에 따른 상기 방법의 단계들을 수행하기 위한, 프로그램 명령어들이 저장된 하나 이상의 컴퓨터 판독 가능 저장 장치들을 포함하는,
컴퓨터 프로그램 제품.
- 폐기물 스트림을 분류하도록 구성되는 재활용 장치에 있어서, 상기 재활용 장치는 상기 폐기물 스트림 내의 상이한 물질들을 구별하기 위해 제13 항에 따른 상기 시스템을 포함하는,
재활용 장치.
- 제15 항에 있어서,
상기 장치는 상기 폐기물 스트림 내의 구별되는 상이한 물질들과 관련된 정보에 기반하여 공정 파라미터들을 제어하도록 구성되는,
재활용 장치.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19217631.1 | 2019-12-18 | ||
EP19217631.1A EP3839886A1 (en) | 2019-12-18 | 2019-12-18 | A method and system for performing characterization of one or more materials |
PCT/EP2020/087063 WO2021123197A1 (en) | 2019-12-18 | 2020-12-18 | A method and system for performing characterization of one or more materials |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220151602A true KR20220151602A (ko) | 2022-11-15 |
Family
ID=68965669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227023006A Pending KR20220151602A (ko) | 2019-12-18 | 2020-12-18 | 하나 이상의 물질들의 특성화를 수행하기 위한 방법 및 시스템 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11756201B2 (ko) |
EP (3) | EP3839886A1 (ko) |
JP (1) | JP7600241B2 (ko) |
KR (1) | KR20220151602A (ko) |
CN (1) | CN113474814A (ko) |
CA (1) | CA3192571A1 (ko) |
WO (1) | WO2021123197A1 (ko) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3920082A1 (en) * | 2020-06-04 | 2021-12-08 | TOMRA Sorting GmbH | Method and system for training a neural network-implemented sensor system to classify objects in a bulk flow |
EP4163821A1 (en) * | 2021-10-08 | 2023-04-12 | Vito NV | A method and system for performing characterization of one or more materials |
EP4163626A1 (en) | 2021-10-11 | 2023-04-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for assigning a material value score to a waste printed circuit board or a portion thereof and system for sorting waste printed circuit boards |
CN114707255B (zh) * | 2021-12-17 | 2025-03-28 | 中国矿业大学 | 一种基于数字孪生的工业筛分效果动态评价方法 |
JP7642575B2 (ja) | 2022-02-07 | 2025-03-10 | アンリツ株式会社 | 検査装置、学習モデル生成方法および検査方法 |
FR3134320B1 (fr) * | 2022-04-07 | 2024-06-14 | Suez | Procédé d’estimation de la qualité d’un flux d’objets dans une ligne de tri. |
CN114782400B (zh) * | 2022-05-17 | 2023-06-20 | 东风本田发动机有限公司 | 金属物料渣点检测方法、装置、设备、介质和程序产品 |
IT202200026829A1 (it) * | 2022-12-23 | 2024-06-23 | Santorsola S C A | Metodo di ispezione di qualità di un prodotto ortofrutticolo |
US20240300539A1 (en) * | 2023-03-07 | 2024-09-12 | Gm Cruise Holdings Llc | Systems and techniques for sensor fusion |
CN116577358B (zh) * | 2023-05-18 | 2024-01-23 | 杭州宇称电子技术有限公司 | 基于x射线k-吸收边的书画文物颜料成像方法及其应用 |
CN117132828B (zh) * | 2023-08-30 | 2024-03-19 | 常州润来科技有限公司 | 一种铜管加工过程固体废料的自动分类方法及系统 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US978585A (en) | 1909-09-10 | 1910-12-13 | Clemence Huber | Can-top fastener and opener. |
DE4305006A1 (de) | 1992-03-23 | 1993-09-30 | Buehler Ag | Verfahren zum automatischen Sortieren von Abfallmaterial und Verfahren zur Spektralanalyse von Stoffen sowie Einrichtungen zur Durchführung der Verfahren |
CH685807A5 (de) | 1992-10-23 | 1995-10-13 | Buehler Ag | Verfahren zur Spektralanalyse und Vorrichtung hiefür. |
CH683674A5 (de) | 1992-03-23 | 1994-04-29 | Buehler Ag | Verfahren zum automatischen Sortieren von Abfallmaterial und Einrichtung zur Durchführung des Verfahrens. |
US7856081B2 (en) | 2003-09-15 | 2010-12-21 | Rapiscan Systems, Inc. | Methods and systems for rapid detection of concealed objects using fluorescence |
DE102004001790A1 (de) * | 2004-01-12 | 2005-08-04 | Commodas Daten- Und Systemtechnik Nach Mass Gmbh | Vorrichtung zur Trennung von Schüttgütern |
US7564943B2 (en) | 2004-03-01 | 2009-07-21 | Spectramet, Llc | Method and apparatus for sorting materials according to relative composition |
US7801348B2 (en) | 2005-07-18 | 2010-09-21 | Analogic Corporation | Method of and system for classifying objects using local distributions of multi-energy computed tomography images |
US20080029445A1 (en) | 2006-08-03 | 2008-02-07 | Louis Padnos Iron And Metal Company | Sorting system |
WO2011159269A1 (en) | 2010-06-17 | 2011-12-22 | Spectramet, Llc | Sorting pieces of material based on optical and x - ray photon emissions |
DE102011082908A1 (de) * | 2011-09-19 | 2013-03-21 | Deere & Company | Verfahren und Anordnung zur optischen Beurteilung von Erntegut in einer Erntemaschine |
JP5811159B2 (ja) | 2013-11-14 | 2015-11-11 | オムロン株式会社 | 電子機器分析装置、ライブラリ提供システム |
CN104897053A (zh) | 2014-03-05 | 2015-09-09 | 泰科电子(上海)有限公司 | 可编程数字化机器视觉检测平台 |
DE102014205447A1 (de) | 2014-03-24 | 2015-09-24 | Smiths Heimann Gmbh | Detektion von Gegenständen in einem Objekt |
PL408691A1 (pl) | 2014-06-29 | 2016-01-04 | Amateo Spółka Z Ograniczoną Odpowiedzialnością | Sortownik odpadów |
US9733385B2 (en) * | 2014-07-15 | 2017-08-15 | Rapiscan Systems, Inc. | Systems and methods for the automatic detection of lithium batteries in cargo, baggage, parcels, and other containers |
NL2013925B1 (en) | 2014-12-05 | 2016-10-11 | Urban Mining Corp Bv | Sensor separation apparatus and method. |
SE538957C2 (sv) | 2014-12-17 | 2017-03-07 | Envac Optibag Ab | Sorting system with multiple sorting devices |
DE202015000612U1 (de) | 2015-01-27 | 2015-04-17 | CHM Automatisierungstechnik GmbH | Vorrichtung zur Abteilung von Produkten |
US9707595B2 (en) | 2015-12-16 | 2017-07-18 | Waste Repurposing International, Inc. | Household hazardous waste recovery |
FR3048369B1 (fr) | 2016-03-01 | 2018-03-02 | Pellenc Selective Technologies | Machine et procede d'inspection d'objets defilant en flux |
DE102016208320B3 (de) | 2016-05-13 | 2017-03-09 | Bruker Axs Gmbh | Vorrichtung zur Sortierung von Materialien, insbesondere Schrottpartikeln, mittels Röntgenfluoreszenz |
WO2017220079A1 (de) | 2016-06-21 | 2017-12-28 | Polysecure Gmbh | Verfahren zur identifikation von materialien |
DE102016214792A1 (de) | 2016-08-09 | 2018-02-15 | Gunther Krieg | Vorrichtung und Verfahren zur Identifikation von Stoffen eines Materials mittels Spektroskopie |
WO2018200866A1 (en) | 2017-04-26 | 2018-11-01 | UHV Technologies, Inc. | Material sorting using a vision system |
JP2018203480A (ja) | 2017-06-07 | 2018-12-27 | 株式会社東芝 | 仕分装置および仕分システム |
EP3658600A4 (en) * | 2017-07-28 | 2021-06-02 | Phillips 66 Company | HIGH PERFORMANCE POLYMERS WITH A WIDE GAP FOR ORGANIC PHOTOVOLTAICS |
US11504749B2 (en) | 2017-09-19 | 2022-11-22 | Intuitive Robotics, Inc. | Systems and methods for waste item detection and recognition |
WO2019089825A1 (en) | 2017-11-02 | 2019-05-09 | AMP Robotics Corporation | Systems and methods for optical material characterization of waste materials using machine learning |
FR3081355B1 (fr) * | 2018-05-24 | 2020-06-12 | Solystic | Procede de tri de bagages en aeroport avec videocodage optimise |
US12236329B2 (en) * | 2018-09-05 | 2025-02-25 | International Business Machines Corporation | Estimate ore content based on spatial geological data through 3D convolutional neural networks |
-
2019
- 2019-12-18 EP EP19217631.1A patent/EP3839886A1/en not_active Withdrawn
-
2020
- 2020-12-18 WO PCT/EP2020/087063 patent/WO2021123197A1/en unknown
- 2020-12-18 CA CA3192571A patent/CA3192571A1/en active Pending
- 2020-12-18 US US17/345,388 patent/US11756201B2/en active Active
- 2020-12-18 JP JP2022537883A patent/JP7600241B2/ja active Active
- 2020-12-18 EP EP20824945.8A patent/EP3874452B1/en active Active
- 2020-12-18 KR KR1020227023006A patent/KR20220151602A/ko active Pending
- 2020-12-18 EP EP23154740.7A patent/EP4198891A1/en active Pending
- 2020-12-18 CN CN202080007041.7A patent/CN113474814A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023507490A (ja) | 2023-02-22 |
US20220215554A1 (en) | 2022-07-07 |
CA3192571A1 (en) | 2021-06-24 |
JP7600241B2 (ja) | 2024-12-16 |
EP3839886A1 (en) | 2021-06-23 |
EP3874452C0 (en) | 2023-08-23 |
EP4198891A1 (en) | 2023-06-21 |
WO2021123197A1 (en) | 2021-06-24 |
EP3874452B1 (en) | 2023-08-23 |
EP3874452A1 (en) | 2021-09-08 |
CN113474814A (zh) | 2021-10-01 |
US11756201B2 (en) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3874452B1 (en) | A method and system for performing characterization of one or more materials | |
CN105808555B (zh) | 检查货物的方法和系统 | |
CN110020647B (zh) | 一种违禁品目标检测方法、装置及计算机设备 | |
Liming et al. | Automated strawberry grading system based on image processing | |
US20230169751A1 (en) | A method and system for training a machine learning model for classification of components in a material stream | |
Kroell et al. | Sensor-based particle mass prediction of lightweight packaging waste using machine learning algorithms | |
Kroell et al. | Near-infrared-based determination of mass-based material flow compositions in mechanical recycling of post-consumer plastics: Technical feasibility enables novel applications | |
Kandlbauer et al. | Sensor-based particle size determination of shredded mixed commercial waste based on two-dimensional images | |
Alikhanov et al. | Design and performance of an automatic egg sorting system based on computer vision | |
WO2022144722A1 (en) | Machine learning-based generation of rule-based classification recipes for inspection system | |
Pan et al. | RETRACTED: Artificial neural network for defect detection in CT images of wood | |
Coenen et al. | Learning to sieve: prediction of grading curves from images of concrete aggregate | |
Kauppinen | Development of a color machine vision method for wood surface inspection | |
Kroell et al. | Near-infrared-based quality control of plastic pre-concentrates in lightweight-packaging waste sorting plants | |
Procházka et al. | Collection of plastic packaging of various types: Sorting of fractions of plastic waste using both automated and manual modes | |
Wooten et al. | Discrimination of bark from wood chips through texture analysis by image processing | |
CN114863426B (zh) | 一种目标特征注意力与金字塔相耦合的微小目标检测方法 | |
Ooms et al. | A sorting optimization curve with quality and yield requirements | |
CN119654654A (zh) | 评估分拣线物品流的质量的方法 | |
Hena et al. | Automated Defect Detection through Flaw Grading in Non-Destructive Testing Digital X-ray Radiography | |
Kılcı et al. | Automated Classification of Biscuit Quality Using YOLOv8 Models in Food Industry | |
Kroell | 4 Novel SBMC applications | |
Yong et al. | Tomato Quality Identifier Applying Color-Based Segmentation Using MATLAB with K-Means Clustering and Pixel Area Subtraction | |
KR20090112421A (ko) | 미립 품위 판별 시스템 및 그 방법 | |
Thammachot et al. | COMPUTER VISION FOR SPLENDID SQUID SIZE AND SPECIES CLASSIFICATION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20220705 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application |