[go: up one dir, main page]

KR20190057426A - 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치 - Google Patents

유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20190057426A
KR20190057426A KR1020197014157A KR20197014157A KR20190057426A KR 20190057426 A KR20190057426 A KR 20190057426A KR 1020197014157 A KR1020197014157 A KR 1020197014157A KR 20197014157 A KR20197014157 A KR 20197014157A KR 20190057426 A KR20190057426 A KR 20190057426A
Authority
KR
South Korea
Prior art keywords
particles
container
particle
image
imagers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020197014157A
Other languages
English (en)
Other versions
KR102050202B1 (ko
Inventor
그레이엄 에프. 밀른
에르빈 프로인트
라이언 엘. 스미쓰
Original Assignee
암젠 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47008675&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20190057426(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 암젠 인크 filed Critical 암젠 인크
Publication of KR20190057426A publication Critical patent/KR20190057426A/ko
Application granted granted Critical
Publication of KR102050202B1 publication Critical patent/KR102050202B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/1463—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/51—Scattering, i.e. diffuse reflection within a body or fluid inside a container, e.g. in an ampoule
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/90—Investigating the presence of flaws or contamination in a container or its contents
    • G01N21/9018—Dirt detection in containers
    • G01N21/9027—Dirt detection in containers in containers after filling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/15—Medicinal preparations ; Physical properties thereof, e.g. dissolubility
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1425—Optical investigation techniques, e.g. flow cytometry using an analyser being characterised by its control arrangement
    • G01N15/1427—Optical investigation techniques, e.g. flow cytometry using an analyser being characterised by its control arrangement with the synchronisation of components, a time gate for operation of components, or suppression of particle coincidences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1027—Determining speed or velocity of a particle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1029—Particle size
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup
    • G01N2015/1445—Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1452—Adjustment of focus; Alignment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N2015/1472—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle with colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1477—Multiparameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dispersion Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Accessories For Mixers (AREA)

Abstract

본 명세서에 개시된 장치, 방법 및 컴퓨터 프로그램 제품은, 이들에 한정되는 것은 아니지만 약물을 함유하는 유체와 같은, 용기 내의 유체 내의 유리 박판 및/또는 단백질 응집체와 같은 미용해된 입자를 비파괴적으로 검출하는데 사용될 수 있다.

Description

유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치 {METHODS AND APPARATI FOR NONDESTRUCTIVE DETECTION OF UNDISSOLVED PARTICLES IN A FLUID}
다양한 유형의 입자들 사이의 구별은 약물 제품의 소정의 제형의 품질을 특정화하기 위해 중요하다. 예를 들어, 구별시에 낮은 특이성(specificity)은 단백질성 미립자 물질에 대한 유리 박판(glass lamella)과 같은 대상물을 혼동하게 하는 잠재성을 갖는다. 구별 시스템의 높은 특이성이 제형을 판정할 때 정확한 판정을 제공하기 위해 요구된다. 특정 약물 제품 내 입자의 유형(들)에 대한 정보가 없으면, 약물 제품을 적절하게 조제하는 것이 곤란할 수도 있다.
불행하게도, 통상의 입자 검출 기술은 단백질 응집체 및 다른 소형 및/또는 섬세한 입자를 검출하기에 부적합하다. 인간 검사자는 일반적으로 약 100 마이크로미터 미만의 입자를 검출할 수 없다. 자동 검사 기술은 통상적으로 파괴적인데, 즉 이들 기술은 그 용기로부터 검사되는 유체를 제거하는 것을 수반하는데, 이러한 것은 일반적으로 유체를 치료용으로 부적합하게 한다. 게다가, 통상의 비파괴적 검사 시스템은 입자가 존재하는지 여부를 판정하기 위해 단지 용기의 단일 스냅샷(snapshot)만을 사용하는데, 이는 종종 부정확한 입자 크기 측정 및/또는 입자 계수(particle count)를 유도한다. 통상의 검사 기술은 또한 단백질 응집체와 같은 더 섬세한 입자의 파괴를 수반할 수도 있다. 예를 들어, 유체로 충전된 바이얼을 고속으로 (예를 들어, 수초 동안 2000 rpm 이상) 스핀시키는 것은 유체 내의 단백질 응집체를 분열(rip apart)시킬 수도 있다.
본 명세서에 개시된 기술의 한 실시양태는 수성 유체, 에멀젼, 오일, 유기 용제와 같은 유체로 적어도 부분적으로 충전된 용기 내 입자 (즉, 미용해된 입자)의 비파괴적 검출을 위한 장치에 관한 것이다. 본 명세서에 사용될 때, 용어 "검출" 또는 "검출하는"은 입자의 존재, 수, 위치, 밀도, 크기, 형상 (예를 들어, 신율 또는 원형도), 컬러, 형광성, 콘트라스트, 흡광도, 반사도 또는 다른 특성 또는 이들 특성의 2개, 3개, 4개, 5개, 6개, 7개, 8개, 9개, 10개, 11개, 12개 이상의 조합을 검출하고, 특징화하고, 구별하고, 구분하거나 식별하는 것을 포함하는 것으로 이해되어야 한다. 예시적인 실시양태에서, 장치는 유체 내 입자의 궤적을 표시하는 시계열 데이터(time-series data)를 획득하기 위한 영상화기를 포함한다. 영상화기에 작동가능하게 결합된 메모리는 시계열 데이터를 저장하고, 메모리에 작동가능하게 결합된 프로세서는 입자를 검출하고/거나 식별한다. 보다 구체적으로, 프로세서는 시계열 데이터의 시간 순서를 역전시켜 역전된 시계열 데이터를 형성하고, 역전된 시계열 데이터로부터 입자의 궤적으로 추정하고, 상기 궤적에 기초하여 입자의 존재 또는 유형을 결정한다. 본 명세서에 규정될 때, 역전된 시계열 데이터는 최종 발생 이벤트가 최초인 것처럼 보이도록 (및 그 반대의 경우도 마찬가지임) 역연대순으로 배열되어 있는 시계열 데이터의 프레임을 포함한다.
다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 상응 컴퓨터 프로그램 제품을 포함한다. 방법을 구현하는 것은 예를 들어 컴퓨터 프로그램 제품의 비휘발성 메모리 내에 인코딩된 명령을 실행하는 프로세서에 의해, 유체 내 입자의 궤적을 표시하는 시계열 데이터의 시간 순서를 역전시켜 역전된 시계열 데이터를 형성하는 단계를 포함한다. 방법은 역전된 시계열 데이터로부터 입자의 궤적을 추정하고, 이어서 상기 궤적에 기초하여 입자를 검출하고/거나 식별하는 단계를 더 포함한다.
다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내 미용해된 입자의 비파괴적 검출을 위한 장치이며, 장치는
(a) 상이한 관점(perspective)으로부터 입자를 영상화하도록 위치된 적어도 2개의 영상화기로서, 그 각각이 유체 내 입자의 하나 이상의 2차원 영상을 획득하도록 구성된 것인 적어도 2개의 영상화기,
(b) 영상화기에 작동가능하게 결합되고 시계열을 저장하도록 구성된 메모리, 및
(c) 메모리에 작동가능하게 결합되고,
(i) 적어도 3개의 영상화기로부터의 2차원 영상을 조합하여 용기 내 입자의 위치를 지시하는 3차원 데이터를 결정하고,
(ii) 상기 3차원 데이터에 적어도 부분적으로 기초하여 입자를 검출
함으로써 입자를 검출하도록 구성된 프로세서
를 포함한다.
유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 방법이 또한 포함되며, 방법은
(a) 상이한 관점으로부터 입자를 영상화하는 적어도 2개의 영상화기를 사용하여, 그 각각으로부터 유체 내 입자의 각각의 하나 이상의 2차원 영상을 획득하는 단계,
(b) 상기 적어도 2개의 영상화기로부터의 2차원 영상을 조합하여 용기 내 입자의 위치를 지시하는 3차원 데이터를 결정하는 단계, 및
(c) 상기 3차원 데이터에 적어도 부분적으로 기초하여 입자를 결정하는 단계
를 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 (하나 이상의) 투명 또는 반사 물체 (예를 들어, 유리 박판)의 비파괴적 검출을 위한 장치, 방법 및 컴퓨터 프로그램 제품을 포함한다. 영상화기는 용기 내의 다수의 공간 위치로부터 반사된 광을 시간의 함수로서 표시하는 데이터를 획득하고 영상화기에 작동가능하게 결합된 메모리 내에 데이터를 저장한다. 메모리에 작동가능하게 결합된 프로세서는 가능하게는 데이터에 의해 나타내어진 다수의 위치의 각각의 위치에 대한 반사된 광의 각각의 최대량을 식별함으로써 데이터에 기초하여, 컴퓨터 프로그램 제품 내에 인코딩된 명령에 응답하여 물체 (예를 들어, 유리 박판)를 검출한다. 프로세서는 이어서 그 반사된 광의 각각의 최대량이 예정된 값을 초과하는 공간 위치의 수에 기초하여 용기 내의 물체 (예를 들어, 유리 박판)의 존재 또는 부재를 결정한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 계수 및 크기분류(sizing) 방법이다. 방법은
(a) 지정된 영상화 조건 하에 얻어진, 상기 용기 내 입자의 적어도 하나의 영상을 수신하는 단계,
(b) 상기 적어도 하나의 영상에 기초하여, 입자를 검출하고 영상 내의 상기 검출된 입자의 겉보기 크기를 지시하는 정보를 결정하는 단계,
(c) 상기 검출된 입자의 겉보기 입자 크기 분포를 지시하는 겉보기 입자 크기 집단 정보를 결정하는 단계, 및
(d) (i) 겉보기 입자 크기 집단 정보 및
(ii) 지정된 영상화 조건에 상응하는 조건 하에 영상화된 표준 크기분류된 입자의 하나 이상의 세트의 겉보기 크기 분포를 지시하는 칼리브레이션 집단 정보
에 기초하여, 상기 검출된 입자의 실제 입자 크기 분포를 지시하는 실제 입자 크기 집단 정보를 결정하는 단계
를 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 계수 및 크기분류를 위한 장치이며, 장치는
(a) 지정된 영상화 조건 하에 얻어진, 상기 용기 내 입자의 적어도 하나의 영상을 수신하고,
(b) 상기 적어도 하나의 영상에 기초하여, 입자를 검출하고 영상 내의 상기 검출된 입자의 겉보기 크기를 지시하는 정보를 결정하고,
(c) 상기 검출된 입자의 겉보기 입자 크기 분포를 지시하는 겉보기 입자 크기 집단 정보를 결정하고,
(d) (i) 겉보기 입자 크기 집단 정보 및
(ii) 지정된 영상화 조건에 상응하는 조건 하에 영상화된 표준 크기분류된 입자의 하나 이상의 세트의 겉보기 크기 분포를 지시하는 칼리브레이션 집단 정보
에 기초하여, 상기 검출된 입자의 실제 입자 크기 분포를 지시하는 실제 입자 크기 집단 정보를 결정하도록 구성된 적어도 1개의 프로세서를 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자를 비파괴적 계수 및 크기분류를 위한 컴퓨터 프로그램 제품이며, 컴퓨터 프로그램 제품은, 프로세서에 의해 실행될 때 프로세서가
(a) 지정된 영상화 조건 하에 얻어진, 상기 용기 내 입자의 적어도 하나의 영상을 수신하게 하고,
(b) 상기 적어도 하나의 영상에 기초하여, 입자를 검출하고 영상 내의 상기 검출된 입자의 겉보기 크기를 지시하는 정보를 결정하게 하고,
(c) 상기 검출된 입자의 겉보기 입자 크기 분포를 지시하는 겉보기 입자 크기 집단 정보를 결정하게 하고,
(d) (i) 겉보기 입자 크기 집단 정보 및
(ii) 지정된 영상화 조건에 상응하는 조건 하에 영상화된 표준 크기분류된 입자의 하나 이상의 세트의 겉보기 크기 분포를 지시하는 칼리브레이션 집단 정보
에 기초하여, 상기 검출된 입자의 실제 입자 크기 분포를 지시하는 실제 입자 크기 집단 정보를 결정하게 하는 비휘발성 머신-판독가능 명령을 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 방법이며, 방법은
(a) 적어도 1개의 영상화기를 사용하여 입자를 영상화하는 단계,
(b) 영상을 프로세싱하여, 용기 내 입자의 위치를 지시하는 위치 데이터를 결정하는 단계,
(c) 용기의 서브 영역 내 입자의 존재를 식별하는 것을 포함하는, 위치 데이터에 적어도 부분적으로 기초하여 입자를 검출하는 단계,
(d) 센서를 사용하여, 입자가 용기의 서브 영역 내에 위치될 때 입자의 특성을 결정하는 단계,
(e) 상기 결정된 특성을 지시하는 입자 특성 데이터를 생성하는 단계, 및
(f) 상기 입자 특성 데이터를 입자를 식별하는 데이터와 연계하는 단계
를 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 장치이며, 장치는
(a) 입자를 영상화하도록 위치된 적어도 1개의 영상화기,
(b) 입자가 용기의 서브 영역 내에 위치될 때 입자의 특성을 결정하도록 구성된 적어도 1개의 센서,
(b) 적어도 1개의 영상화기 및 센서 각각에 작동가능하게 결합되고,
영상을 프로세싱하여, 용기 내 입자의 위치를 지시하는 위치 데이터를 결정하고,
위치 데이터에 적어도 부분적으로 기초하여 입자를 검출하고 용기의 서브 영역 내 입자의 존재를 식별하고,
센서로부터의 신호를 사용하여, 입자가 용기의 서브 영역 내에 위치될 때 입자의 특성을 결정하고,
상기 결정된 특성을 지시하는 입자 특성 데이터를 생성하고,
상기 입자 특성 데이터를 입자를 식별하는 데이터와 연계하도록
구성된 적어도 1개의 프로세서
를 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 장치로서, 상기 용기는 종축 주위에 배치된 투명한 관형 용기벽을 포함하는 것인 장치이며, 이 장치는 센서 상에 입자를 영상화하도록 위치된 적어도 1개의 영상화 광학 요소를 포함하는, 유체 내 입자의 하나 이상의 영상을 획득하도록 구성된 영상화기, 및 용기의 종축에 실질적으로 직교하며 용기를 통해 통과하는 평면 내에 적어도 부분적으로 위치되는 조명의 공급원으로서, 이 공급원으로부터 방출되는 광선 중에서 용기벽의 표면으로부터 반사 또는 굴절되고 적어도 1개의 광학 요소에 의해 센서 상에 영상화되는 광선의 존재는 실질적으로 없도록 배열된 조명 공급원을 포함한다.
본 발명의 다른 실시양태는 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 방법으로서, 상기 용기는 종축 주위에 배치된 투명한 관형 용기벽을 포함하는 것인 방법이며, 이 방법은 센서 상에 입자를 영상화하도록 위치된 적어도 1개의 영상화 광학 요소를 포함하는 영상화기를 사용하여 유체 내 입자의 하나 이상의 영상을 획득하는 단계, 및 상기 용기를 용기의 종축에 실질적으로 직교하며 용기를 통해 통과하는 평면 내에 적어도 부분적으로 위치되는 조명의 공급원으로 조명하는 단계로서, 상기 조명 공급원은 이 공급원으로부터 방출되는 광선 중에서 용기벽의 표면으로부터 반사 또는 굴절되고 적어도 1개의 광학 요소에 의해 센서 상에 영상화되는 광선의 존재는 실질적으로 없도록 배열된 것인 단계를 포함한다.
다른 입자 검출 시스템 및 기술과는 달리, 본 발명의 시스템 및 기술은 비파괴적으로 작동하는데 - 용기 내의 입자를 검출하고, 계수하고, 식별하기 위해 용기로부터 유체를 제거할 필요가 없다. 그 결과, 본 발명의 시스템 및 기술은 장시간 기간, 예를 들어 분, 시간, 일, 월 또는 년에 걸쳐 입자, 유체 및 용기 사이의 변화 및 상호작용을 연구하는데 사용될 수 있다. 게다가, 본 발명의 시스템 및 기술은 용기 내의 소형 단백질 응집체와 같은 더욱 더 섬세한 입자의 파괴를 반드시 수반하거나 야기하는 것은 아니다. 이들은 또한 시계열 데이터, 즉 이동 유체 내 입자의 궤적을 표시하는 데이터를 캡처한다. 본 발명의 시스템은 용기의 단일 프레임 스냅샷 대신에 시계열 데이터를 사용하기 때문에, 이들은 용기 내 입자의 수 및 입자 크기를 더 정확하게 추정할 수 있다. 이들은 또한 환자의 운동으로부터 입자 형태학 및 입자 조성과 같은 각각의 입자에 대한 더 많은 정보를 유도할 수 있다. 예를 들어, 낙하하는 입자는 상승하는 입자보다 더 조밀한 경향이 있다.
상기 요약은 단지 예시적인 것이고, 임의의 방식으로 제한으로 의도되는 것은 아니다. 전술된 예시적인 태양, 실시양태 및 특징에 추가하여, 추가의 태양, 실시양태 및 특징은 이하의 도면 및 상세한 설명을 참조하여 명백해질 것이다.
본 명세서에 합체되어 그 부분을 구성하는 첨부 도면은 개시된 기술의 실시양태를 도시하고 있고, 상세한 설명과 함께 개시된 기술의 원리를 설명하는 기능을 한다.
도 1a 내지 도 1c는 적어도 부분적으로 유체로 충전되는 컨테이너 (container) 내의 입자를 검출하고 식별하는데 각각 사용될 수 있는 시각적 검사 유닛, 시각적 검사 영상화 모듈 및 시각적 검사 플랫폼을 각각 도시한다.
도 2a는 도 1a 내지 도 1c에 도시된 시각적 검사 시스템의 샘플 준비, 로딩 및 동작을 도시한다.
도 2b는 용기(vessel) 내의 이동 유체 내 입자 및 이들의 궤적의, 예시적인 시각적 검사 시스템에 의해 캡처된, 프로세싱된 영상을 도시한다.
도 3a 내지 도 3c는 입자 검출 및 식별로부터 준비시에 유체 및 하나 이상의 입자를 함유하는 3개의 유형의 교반 용기, 즉 원통형 용기의 회전 (도 3a), 주사기의 반전 및 회전 (도 3b) 및 주사기의 진탕 (도 3c)을 도시한다.
도 4는 원통형 용기를 영상화하는데 사용된 텔레센트릭(telecentric) 렌즈의 광선 광학 다이어그램이다.
도 5a는 유체를 함유하는 원통형 용기 내의 유체 메니스커스(meniscus) 및 기록된 체적을 도시한다.
도 5b는 컨테이너의 형상에 의해 생성된 원통형 컨테이너 내의 왜곡 및 블라인드 스팟(blind spot)을 도시한다.
도 5c 및 도 5d는 원통형 용기를 영상화할 때 왜곡 및 블라인드 스팟을 보상하기 위한 기술을 도시한다.
도 5e는 컨테이너 내의 다양한 위치에서 입자에 대한 컨테이너의 형상에 의해 생성된 원통형 컨테이너 내의 왜곡 및 블라인드 스팟을 도시한다.
도 5f는 원통형 컨테이너에 의해 유발된 왜곡에 대한 이론적 모델을 도시하고, 각각의 모델은 동일한 컨테이너에 상응하지만 상이한 굴절률을 갖는 유체로 충전된다. 이 도면은 또한 이론적 모델을 확인하는 상응 실험 측정을 도시한다.
도 5g는 컨테이너의 형상에 의해 생성된 원통형 컨테이너 내의 왜곡을 보정하기 위한 보정용 광학 요소의 사용을 도시한다.
도 5h는 도 5g의 보정용 광학 요소의 상세도이다.
도 5i는 다수의 보정용 광학 요소 중 하나를 선택하기 위한 디바이스를 도시한다.
도 6a 내지 도 6d는 다수의 각도로부터 (도 6a 및 도 6b), 동일한 각도로부터 더 높은 프레임 속력에서 (도 6c) 그리고 동일한 각도로부터 상이한 공간 분해능에서 (도 6d) 이동 입자의 시계열 데이터를 캡처하기 위한 다중 영상화기를 갖는 입자 추적 시스템을 도시한다.
도 7a 및 도 7b는 이중 센서 영상화기로 입자를 영상화하기 위한 영상 획득 및 조명의 촉발을 도시한다.
도 8은 검사되는 용기의 앞, 뒤, 아래에 위치된 광원을 포함하는 가요성 다용도 조명 구성의 개략 다이어그램이다.
도 9a 내지 도 9c는 도 8에 도시된 광원을 사용하여 상이한 입자종들 사이를 구별하기 위한 상이한 각도로부터의 조명을 도시한다.
도 9d는 상이한 다양한 입자종들 사이를 구별하기 위해 도 9a 내지 도 9c의 구성을 사용하기 위한 조명 시퀀스 및 타이밍 다이어그램을 도시한다.
도 10a 내지 도 10c는 유체로 부분적으로 충전된 용기로부터의 섬광 (도 10a) 및 용기의 종축에 대해 영상화기를 회전시켜 규정되는 구역 외부의 광원의 위치 설정 (도 10b 및 도 10c)을 도시한다.
도 10d 내지 도 10e는 용기로부터 섬광을 감소하거나 배제하기 위한 대안적인 조명 방안을 도시한다.
도 11은 편광 (예를 들어, 키랄) 입자를 영상화하기 위해 적합한 영상화 구성의 개략 다이어그램이다.
도 12는 형광 입자를 여기하고 영상화하기 위해 적합한 영상화 구성의 개략 다이어그램이다.
도 13a 및 도 13b는 예시적인 시각적 검사 시스템으로 획득된 유리 박판(도 13a) 및 단백질 (도 13b)의 최대 강도 투영 영상을 도시한다.
도 14는 상이한 전체 입자 검출 및 식별 프로세스 뿐만 아니라 영상 사전프로세싱, 입자 추적 및 통계적 분석 서브프로세스를 도시하는 흐름도를 포함한다.
도 15a 및 도 15b는 배경 제거 전 (도 15a) 및 후 (도 15b)의 시계열 데이터의 프레임을 도시한다.
도 16a는 8-비트 그레이스케일 (좌측에 도시됨)로 도시된 입자의 시계열 데이터 프레임이다.
도 16b는 도 16b에 도시된 시계열 데이터 프레임의 확대도이다.
도 16c 및 도 16d는 각각 도 16a 및 도 16b에 도시된 시계열 데이터 프레임의 임계화된 버전이다.
도 17a 내지 도 17d는 시계열 데이터의 한 쌍의 연속적인 프레임 (17a)이 어떻게 예측 추적을 수행하는데 (도 17b 내지 도 17d) 사용될 수 있는지를 도시한다.
도 18a는 다수의 입자를 도시하는 그레이스케일 시계열 데이터 프레임을 도시한다.
도 18b는 입자의 기하학적 중심을 위치 확인하는데 사용되는 도 18a의 임계화된 버전이다.
도 19는 입자 충돌/가려짐을 도시하는 연속적인 시계열 데이터 프레임을 도시한다.
도 20a는 강조된 영역 내부에서 서로 옆에 있는 쌍 또는 입자를 갖는 시계열 데이터의 프레임을 도시한다.
도 20b 내지 도 20e는 도 20a의 강조된 영역 내의 입자가 서로를 지나 전파할 때 입자 가려짐을 명백하게 도시하는 시계열 데이터의 연속적인 프레임이다.
도 21a 내지 도 21c는 직선형 궤적 (도 21a), 곡선형 궤적 (도 21b) 및 포물선형 궤적 (도 21c)에 대한 용기의 벽 상의 스크래치 또는 먼지 조각과 같은 아티팩트(artifact)의 배경 제거에 의해 발생된 이동 입자의 겉보기(apparent) 가려짐을 도시한다.
도 22a 내지 도 22c는 역전된 시계열 데이터를 사용하는 불규칙적 형상의 입자의 질량 중심의 위치 (도 22b 및 도 22c) 및 입자 궤적을 결정하기 위한 질량 중심 위치의 사용 (도 22a)을 도시한다.
도 23a 내지 도 23d는 원통형 용기 내에 관찰되고 모델링된 유체 역학을 도시하고, 도 23a는 메니스커스의 형상의 변화를 도시하고, 도 23b 및 도 23c는 유체-충전된 용기 내부의 와류(vortex) 형성을 도시하고, 도 23d는 예시적인 와류 내의 입자 궤적을 도시한다.
도 24a 및 도 24b는 입자 충돌이 정확하게 분석되지 않은 역전된 시계열 데이터의 연속적인 프레임의 확대도 (도 24a) 및 에러 보정 후의 동일한 플롯 (도 24b)을 도시한다.
도 25a 내지 도 25e는 입자 이동에 기인하는 입자 크기 측정의 시간 의존적을 도시한다.
도 25f는 도 25c에 도시된 입자에 대한 시간 의존적 페레 직경(Feret diameter)의 그래프이다.
도 26a는 상이한 입자 궤적을 지시하는 자취를 갖는 상이한 간격에서 프로세싱된 시계열 데이터의 프레임을 도시한다.
도 26b는 도 26a의 입자 궤적으로부터 다수의 시간 의존적 입자 특성의 예시적인 측정을 도시한다.
도 27a 내지 도 27f는 후방각 조명을 사용하는 관심 영역의 검출을 도시하고, 도 27a는 에지 검출 (도 27b), 그레이스케일 임계화 (도 27c), 메니스커스 및 바이얼-기부의 식별 (도 27d), 관심 영역 (도 27e에 점선에 의해 경계 형성됨)의 결정 및 크로핑(cropping)(도 27f)이 실시되어 컨테이너 내에서 가시적인 유체의 영상을 생성하는 원본 영상(original image)(시계열 데이터의 프레임)을 도시한다.
도 28a 내지 도 28c는 백라이트 바이얼의 충전 체적 검출을 도시하고, 도 28a는 바이얼의 원시 영상(raw image)을 도시하고, 도 28b는 임계화 및 에지 검출을 사용하여 결정된 관심 영역 (점선에 의해 경계 형성됨)을 도시하고, 바이얼의 표면 상의 결함 (도 28c에 도시됨)이 충전 체적 검출을 방해할 수도 있는 것을 도시한다.
도 29a 내지 도 29d는 아래로부터 조명하는 바이얼의 충전 체적 검출을 도시하고, 도 29a 및 도 29b는 부분적으로 충만한 용기 (도 29a) 및 비어 있는 용기 (도 29b)의 위색(false-color) 영상이다. 도 29c 및 도 29d는 부분적으로 충만한, 비어 있는 및 부분적으로 충전된 용기의 자동 메니스커스 검출을 도시한다.
도 30은 시계열 데이터를 프로세싱하기 위해 적합한 프로세서를 도시한다.
도 31은 밝은 입자 및 희미한 입자를 포함하는 영상에 대한 그레이스케일 임계화의 예를 도시한다.
도 32는 표준 크기 (100 ㎛)를 갖는 입자의 집단(population)에 대한 겉보기 입자 크기의 막대그래프를 도시한다.
도 33은 각각의 집단이 지시된 표준 크기 (㎛)를 갖는, 입자의 2개의 집단에 대한 겉보기 입자 크기 계수 곡선을 도시한다.
도 34는 각각의 집단이 지시된 표준 크기 (㎛)를 갖는, 입자의 4개의 집단에 대한 겉보기 입자 크기 계수 칼리브레이션 곡선을 도시한다.
도 35는 샘플 겉보기 입자 크기 계수 곡선에 대한 칼리브레이션 곡선의 중첩을 피팅하는 것을 도시한다.
도 36은 입자를 계수하고 크기분류하는 2개의 기술, 원시 비닝(raw binning) 및 LENS의 결과를 비교한다.
도 37은 임계 크기 미만 및 초과의 입자에 대한 상이한 크기분류 기술을 특징화하는 입자를 계수하고 크기분류하기 위한 프로세스를 도시한다.
도 38a 내지 도 38c는 다중 각도로부터 이동 입자의 시계열 데이터를 캡처하기 위한 다수의 영상화기를 갖는 입자 추적 시스템을 도시한다.
도 39는 도 38a 내지 도 38c의 입자 추적 시스템의 2개의 영상화기의 각각 (좌측 패널) 및 3개의 영상화기의 각각 (우측 패널)에 의해 수신된 컨테이너를 통한 광선의 전파를 도시한다.
도 40은 시각적 검사에 의한 인간 결과와 비교된 자동화된 입자 검출 시스템 ("APT"라 나타냄)에 대한 입자 검출 결과를 도시한다.
도 41은 자동화된 입자 검출 시스템에 대한 입자 검출 및 분류 결과를 도시한다.
도 42는 샘플 희석 및 자동화된 입자 검출 시스템의 함수로서 입자 계수의 선형성을 요약하는 차트를 도시한다.
도 43은 단백질 응집체 입자를 검출하고 계수하는데 사용된 자동화된 입자 검출 시스템의 정밀도를 도시한다.
도 44는 시각적 검사에 의한 인간 결과와 비교된 자동화된 입자 검출 시스템 ("APT"라 나타냄)에 대한 단백질 응집체 입자 검출 결과를 도시한다.
도 45는 시각적 검사 유닛과 함께 사용하기 위한 분광계를 도시한다.
상세한 설명
도 1a는 단백질 함유 약학 조성물, 약물, 생물 공학 제품, 음료 및 미국 식약청(U.S. Food and Drug Administration)에 의해 규제된 다른 반투명 유체와 같은 유체로 적어도 부분적으로 충전되는 투명한 컨테이너 (10) 내의 입자를 비파괴적으로 검출하고/거나 식별하도록 구성된 예시적인 자동화된 바이얼 검사 유닛 (100)을 도시한다.
입자의 존재 또는 부재의 검출은 통상의 실시양태에서 계수 및 크기분류와 같은 입자 특성 측정을 위해 외부가 불균일한 (예를 들어, 경사) 컨테이너의 부분을 관찰함으로써 성취될 수 있지만, 왜곡을 완화하기 위해 컨테이너의 실질적으로 균일한 수직벽을 통해 입자를 관찰할 필요가 있을 수도 있다. 이는 유닛 (100)에 가시적인 컨테이너 (10) 내의 유체의 겉보기 2차원 단면이 사용 가능한 통계를 제공하기 위해 적절한 영역을 가져야만 하기 때문에, 최소 충전 체적에 영향을 갖는다. 요구 충전 체적은 컨테이너의 원형 직경에 의존한다 (컨테이너가 작을수록, 적은 충전 체적이 요구됨). 다양한 실시양태에서, 컨테이너의 내부 체적은 적어도 1%, 적어도 5%, 적어도 10%, 적어도 20%, 적어도 30%, 적어도 40%, 적어도 50%, 적어도 60%, 적어도 70%, 적어도 80%, 적어도 90% 또는 적어도 100% 유체로 충전될 수도 있다.
다양한 실시양태에서, 본 명세서에 설명된 입자 검출 기술은 본질적으로 광학적이다. 이에 따라, 일부 실시양태에서, 컨테이너 (10)의 벽은 그 내에 함유된 액체의 시각화를 허용하기 위해 조명 파장에서 충분히 투명하다. 예를 들어, 일부 실시양태에서, 컨테이너 (10)는 투명한 보로실리케이트 유리로부터 제조될 수도 있지만, 다른 적합한 재료들이 사용될 수도 있다. 용기 내에 함유된 유체의 탁도(turbidity)가 또한 중요하고, 원하는 레벨의 시각화를 허용하기 위해 충분히 낮아야 한다. 일부 실시양태에서, 실시양태들에서, 유체는 0 내지 100 NTU (Nephelometric Turbidity Units), 바람직하게는 0 내지 20 NTU, 보다 바람직하게는 0 내지 10 NTU의 범위의 탁도를 갖는다. 탁도 측정에 대한 표준 실시는 예를 들어 문헌 [EPA Guidance Manual, Turbity Provisions, Chapter 3 (1999년 4월)]에서 발견될 수도 있다.
예시적인 시스템은 이들의 상이한 광학 특성에 기초하여 광을 굴절 및/또는 산란하는 투명 및/또는 반투명 입자 (예를 들어, 단백질 응집체, 유리 박판 또는 박판 및 오일의 덩어리), 광을 반사하는 입자 (예를 들어, 금속 박편) 및/또는 광을 흡수하는 입자 (예를 들어, 블랙 카본 및 플라스틱 입자)를 검출하고 식별할 수 있다. 일부 본 발명의 시각적 검사 유닛 (100)은 후술되는 것들과 같은 조명 시퀀스를 사용함으로써 모든 3개의 분류의 입자를 검출할 수 있다. 본 발명의 시각적 검사 유닛 (100)은 또한 치밀하게 결합된(densely bound) 응집체, 높은 수분 함량을 갖는 성기게 결합된(loosely bound) 면 모직 물질, (반사성) 크리스탈, 아교질 물질 및/또는 비정질 응집체로서 나타날 수도 있는 단백질을 검출, 식별 및/또는 추적하도록 특히 구성될 수도 있다.
용어 "폴리펩티드"와 상호 교환 가능하게 사용될 수도 있는 용어 "단백질"은 그 가장 넓은 개념에서 2개 이상의 서브유닛(subunit) 아미노산, 아미노산 유사물 또는 펩티도미메틱스(peptidomimetics)의 화합물을 칭한다. 서브유닛은 펩타이트 결합에 의해 연결될 수도 있다. 다른 실시양태에서, 서브유닛은 다른 결합, 예를 들어 에스테르, 에테르 등에 의해 연결될 수도 있다. 본 명세서에 사용될 때, 용어 "아미노산"은 글리신 및 D 및 L 광학 이성질체를 포함하는 자연 및/또는 인공 또는 합성 아미노산, 아미노산 유사물 및 펩티도미메틱스를 칭한다. 3개 이상의 아미노산의 펩티드는 펩티드 체인이 짧으면 통상적으로 올리고펩티드라 칭한다. 펩티드 체인이 길면, 펩티드는 통상적으로 폴리펩티드 또는 단백질이라 칭한다. 용어 "펩티드 단편"은 본 명세서에 사용될 때, 또한 펩티드 체인을 칭한다.
컨테이너 (10)는 유리 또는 플라스틱으로 제조된 직사각형 또는 원통형 용기 (예를 들어, 큐벳, 바이얼, 앰풀, 카트리지, 시험관 또는 주사기)일 수 있고, 영상화 파장에서 용기 내용물의 시각화를 제공하는 한, 또한 다른 형상을 가질 수 있고/거나 상이한 재료로 제조될 수 있다. 특정 실시양태는 컨테이너 내용물의 명백한 교란되지 않은 시각화를 제공하지만, 다른 실시양태는 컨테이너가 기록된 데이터의 왜곡을 보상하기 위해 교란되지 않고/거나 후프로세싱을 채용할 때 기간에 일치하도록 영상 획득을 시간 조절할 수도 있다.
유닛 (100)은 센서 상에 컨테이너 내용물의 영상을 투영하는 집광 광학계를 갖는 영상화기 (110)를 포함한다. 이 경우에, 집광 광학계는 텔레센트릭 렌즈 (114)를 포함하고, 센서는 전하 결합 소자 (CCD) (112)이다. CCD (112)에 결합된 메모리 (140)는 컨테이너 내용물을 표시하는 영상의 스트림을 기록하여 저장하고, 메모리 (140)에 결합된 프로세서 (130)는 컨테이너 (10) 내의 입자를 검출하여 식별하기 위해 후술된 바와 같이 기록된 영상 시퀀스를 분석한다. 당업자들에 의해 이해되는 바와 같이, 프로세서 (130)는 적합하게 구성된 범용 컴퓨터 (예를 들어, 인텔(Intel)
Figure pat00001
코어(Core)TMi5 또는 어드밴스드 마이크로 디바이시스 애틀론(Advanced Micro Devices Athlon)TM 프로세서를 사용하는 것), 필드 프로그램 가능 게이트 어레이 (예를 들어, 알테라(Altera)
Figure pat00002
스트라틱스(Stratix)
Figure pat00003
또는 크실링크스(Xilinx)
Figure pat00004
스파르탄(Spartan)
Figure pat00005
-6 FPGA) 또는 응용 주문형 집적 회로로 구현될 수도 있다. 메모리 (140)는 고체 상태 메모리 (예를 들어, 플래시 메모리), 광학 디스크 (예를 들어, CD 또는 DVD) 또는 자기 매체 내에 구현될 수도 있고, 임의의 적합한 크기 (예를 들어, 1 GB, 10 GB, 100 GB 또는 그 이상)가 되도록 선택될 수 있다.
컨테이너 (10) 주위에 배치된 하나 이상의 광원 (122a, 122b)을 포함하는 조명 시스템 (120)은 영상 획득 중에 컨테이너 (10) 및 그 내용물을 조명한다. 시각적 검사 유닛 (100)은 도 1b에 도시된 바와 같이, 영상화 전에 컨테이너 내용물을 스핀, 진탕 또는 다른 방식으로 교반하고 영상화 중에 컨테이너 (10)를 유지하기 위한 스핀들 (150), 진탕기, 초음파 진동기 또는 다른 교반기를 또한 포함하는 검사 모듈 (160) 내에 일체화될 수 있다.
도 1c는 하나 이상의 검사 모듈 (160-1 내지 160-5)[일반적으로, 검사 모듈 (160)], 로봇 (180) 및 개별 컨테이너 우물 내에 미검사된 및/또는 검사된 컨테이너 (10)를 유지하는 바이얼 트레이 (172)를 포함하는 중간-대-고 처리량 시각적 검사 플랫폼 (170)을 도시한다. 사용자 또는 자동 제어기 (도시 생략)로부터 명령시에, 로봇 (180)은 바이얼 트레이 (172)로부터 검사 모듈 (160)로 컨테이너 (10)를 이동시키고, 이 검사 모듈은 컨테이너 (10)를 이동하는 입자의 시계열 데이터를 캡처하여 기록한다. 로봇 (180)은 이어서 컨테이너 (10)를 바이얼 트레이 (172)로 복귀시킨다.
일부 실시예에서, 바이얼 트레이 (172)의 상부층 및/또는 컨테이너 우물의 림(rim)은 델린(Delrin)
Figure pat00006
아세탈 수지 또는 다른 유사한 재료로 제조되고, 컨테이너 우물의 내부 에지는 컨테이너가 컨테이너 우물 내로 삽입되고 그로부터 제거됨에 따라 컨테이너 (10)가 스크래치되는 것을 방지하도록 경사진다. 바이얼 트레이 (172)는 용이하게 왜곡하거나 균열되지 않는 알루미늄 또는 다른 유사한 재료로 제조된 기부층을 포함할 수도 있다. 컨테이너 우물의 벽은 트레이 (172)가 시각적 검사 플랫폼 (170)으로 및 그로부터 운반될 때 (예를 들어, 사람에 의해) 바이얼을 확실하게 유지하기 위해 통상적으로 두껍다. 그 구성에 따라, 바이얼 트레이 (170)는 마이크로미터-스케일 정밀도로 작동할 수도 있는 로봇 (180)에 의한 컨테이너 회수 및 삽입을 용이하게 하기 위해 마이크로미터-스케일 공차로 미리 규정된 위치에 컨테이너 (10)를 유지할 수도 있다.
로봇 (180)은 트레이 (172)로부터 바이얼을 취출하고, 트레이 (172) 상부로부터 스핀들 (160) 상부로 연장하는 레일 (182)을 따라 각각의 컨테이너 (10)를 이동시키고, 특정 스핀들 (160) 상에 컨테이너 (10)를 배치하는 "픽-앤드-플레이스(pick-and-place)" 시스템이다. 일부 로봇은 또한 컨테이너 (10)를 배치하기 전에 컨테이너 (10)를 스핀시키도록 구성될 수도 있어, 스핀들 (160)의 필요성을 제거한다. 대안적으로, 로봇 (180)은 컨테이너 (10)를 스핀, 진동 및/또는 진탕시킬 수 있는 (예를 들어, 후술된 "전후방" 니들 진탕을 수행함) 6-축 로봇식 아암을 포함할 수도 있는데, 이는 또한 스핀들 (160)의 필요성을 제거한다. 당업자들은 다른 로딩 및 교반 기구 및 시퀀스가 본 발명의 시각적 검사 시스템 및 프로세스와 함께 사용될 수 있다는 것을 즉시 이해할 수 있을 것이다.
시각적 검사 플랫폼 (170)은 도 2a에 도시된 바와 같이 작동한다. 단계 202에서, 검사될 컨테이너 (10)는 세척되고 (예를 들어, 적절한 용제를 사용하여 수동으로), 이어서 단계 204에서 트레이 (172) 내에 로딩된다. 로봇 (180)은 트레이 (172)로부터 컨테이너 (10)를 추출하고, 이를 스핀들 (160) 상에 배치한다. 다음에, 단계 206에서, 프로세서 (130)는 영상화기 (110)에 의해 획득된 정적 컨테이너 (10)의 영상으로부터, 메니스커스 및/또는 관심 영역 (ROI) [예를 들어, 유체로 충전된 컨테이너 (10)의 부분]의 크기 및 위치를 결정한다. 대안적으로, 사용자는 충전 체적 및 컨테이너 형상 및 체적이 충분한 확실성을 갖고 알려지면 메니스커스 및/또는 관심 영역의 위치를 지정할 수 있다. 일단 프로세서 (130)가 ROI를 위치 확인하면, 스핀들 (160)은 단계 208에서 컨테이너 (10)를 스핀시키고 정지시키는데, 이는 유체가 이동하게 하고 컨테이너 (10) 내의 입자를 이동 유체 내에 현탁시킨다. 단계 210에서, 영상화기 (110)는 규칙적으로 이격된 시간 간격에서 취한, ROI의 스냅샷을 나타내는 정적 영상 ("프레임"이라 칭함)의 시퀀스의 형태로 메모리 (140) 내에 시계열 데이터를 기록한다.
영상화기 (110)가 충분한 시계열 데이터를 획득한 후에, 프로세서 (130)는 컨테이너의 표면들 중 하나 이상 상의 먼지 및/또는 스크래치를 나타낼 수도 있는 배경 데이터를 제거한다. 프로세서는 또한 당업자들에 의해 이해되는 바와 같이 시계열 데이터로부터 노이즈를 필터링하고, 후술되는 바와 같이 강도 임계화를 수행할 수도 있다. 프로세서 (130)는 또한 시계열 데이터의 순서를 역전한다. 즉, 시계열 데이터 내의 각각의 프레임이 이것이 획득되는 순서를 지시하는 인덱스 1, 2, ..., n-1, n을 가지면, 역전된 시계열 데이터 내의 프레임은 n, n-1, ..., 2, 1로 순서화된 인덱스를 갖고 배열된다. 필요한 경우, 프로세서 (130)는 후술되는 바와 같이 분석될 데이터의 시작점 및 종료점을 또한 선택한다. [당업자들은 프로세서 (130)가 배경 제거, 노이즈 필터링, 강도 임계화, 시계열 데이터 역전 및 시작/종료점 결정을 임의의 순서로 수행할 수도 있다는 것을 즉시 이해할 수 있을 것이다.] 프로세서 (130)는 단계 212에서 유체 내에서 또는 유체와 함께 이동하는 입자를 추적하고, 이어서 단계 214에서 이들의 궤적에 기초하여 입자를 크기분류하고, 계수하고/거나 다른 방식으로 특징화한다.
각각의 검사 모듈 (160)은 동일한 유형의 검사를 수행할 수도 있어, 컨테이너 (10)의 병렬 프로세싱을 허용하고, 모듈 (160)의 수는 원하는 처리량에 따라 조정될 수 있다. 다른 실시양태에서, 각각의 모듈 (160)은 상이한 유형의 검사를 수행하도록 구성될 수도 있다. 예를 들어, 각각의 모듈 (160)은 상이한 조명 파장에서 입자를 검사할 수도 있는데, 모듈 (160-1)은 가시광 (즉, 약 390 nm 내지 약 760 nm의 파장에서의 방사선)에 응답하는 입자를 관찰할 수도 있고, 모듈 (160-2)은 근적외선 조명 (760 내지 1400 nm)을 사용하여 컨테이너를 검사할 수도 있고, 모듈 (160-2)은 단파장 적외선 조명 (1.4 내지 3.0 ㎛)을 사용하여 컨테이너를 검사할 수도 있고, 모듈 (160-4)은 자외선 파장 (10 내지 390 nm)에서 입자를 검사할 수도 있고, 모듈 (160-5)은 X선 파장 (10 nm 미만)에서 입자를 검사할 수도 있다. 대안적으로, 하나 이상의 모듈 (160)은 편광 효과 및/또는 입자 형광을 관찰할 수도 있다.
상이한 유형의 모듈 (160)을 갖는 실시양태에서, 제1 모듈 (160-1)은 예비 검사를 수행할 수도 있고, 후속의 검사는 예비 검사의 결과를 조건으로 한다. 예를 들어, 제1 모듈 (160-1)은 특정 컨테이너가 편광 감응성 입자를 함유하는 것을 제안하는 가시광 검사를 수행할 수도 있다. 프로세서 (130)는 이어서 편광 기반 측정을 수행하도록 구성된 모듈 (160-2)에 편광 감응성 입자의 존재를 확인 (또는 반증)하기 위해 컨테이너를 검사하도록 명령할 수도 있다. 모듈 (160-1)에 의해 획득된 가시광 시계열 데이터는 특정 컨테이너 (10) 내의 다수의 입자의 존재를 지시하지만, 입자의 유형은 지시하지 않을 수도 있고, 이는 프로세서 (130)를 순서로, 예를 들어 모듈 (160-3)에서의 적외선 검사로 인도할 수도 있다.
입자 이동을 유도하기 위한 컨테이너 교반
전술된 바와 같이, 컨테이너 (10)를 기계적으로 교반하는 것은 컨테이너 (10)의 저부에서 또는 컨테이너의 내부벽의 측면들 상의 입자를 컨테이너 내의 유체 내에 현탁시킨다. 특정 실시양태에서, 사용자 및/또는 시각적 검사 시스템은 컨테이너 내의 유체가 층류 체제(regime)에 진입하게 하는 교반 시퀀스를 선택하여 수행하는데, 이 체제는 유체가 층들 사이에 소용돌이(eddy), 선회류(swirl) 또는 붕괴(disruption) 없이 평행층 내에서 유동하는 체제이다. 유체 역학에서, 층류는 높은 운동량 확산 및 낮은 운동량 대류에 의해 특징화되는 유동 체제인데 - 달리 말하면, 층류는 거친 난류의 반대이다. 교반은 또한 입자를 이동 입자 내에 현탁시킨다. 결국에는, 마찰이 유체를 이동 정지하게 하고, 이 시점에 입자는 컨테이너의 벽에 고착하거나 컨테이너의 저부에 침전할 수도 있다.
난류에 비교하여, 층류는 더 원활한 입자 운동을 생성하는데, 이는 입자 궤적을 더 용이하게 추정하게 한다. (물론, 프로세서는 또한 센서 프레임 속력이 입자 궤적의 "평활한" 섹션을 캡처하도록 충분히 고속이면, 특정 난류 체제에서 마찬가지로 입자 궤적을 추정하도록 구성될 수도 있다.) 원하는 경우, 컨테이너는 실질적으로 층류를 생성하는 방식으로 교반될 수 있다. 예를 들어, 스핀들은 상이한 컨테이너 크기 및 형상 및/또는 상이한 유체 레벨 및 점도에 대한 유체 거동의 측정으로부터 결정된 바와 같은 특정 시간에 대한 특정 속도 (또는 속도 프로파일)에서 컨테이너를 회전시킬 수도 있다.
한 특정 실시양태에서, 서보 또는 스텝퍼 모터는 도 3a에 도시된 바와 같이, 원통형 컨테이너를 유지하는 스핀들을 구동하여, 컨테이너가 그 중심축 주위로 스핀되게 한다. 충분한 속력으로 컨테이너 (10)를 스핀시키는 것은 심지어 무거운 입자 (금속 박편과 같은)가 컨테이너 (10)의 저부로부터 유체 내로 상승하게 한다. 다수의 유체 및 입자에서, 모터는 약 3초 동안 300 rpm에서 컨테이너 (10)를 유지하는 스핀들을 구동한다. (더 높은 스핀 속력은 무거운 입자를 여기하도록 요구될 수도 있다.) 3초의 스핀 후에, 모터는 갑자기 정지하고, 유체는 이제-정적인 컨테이너 내에서 자유롭게 유동하게 된다. 이 시점에, 영상화기 (110)는 회전 유체의 비디오를 캡처하기 시작한다. 메모리 (140)는 정밀 조사 하에서 컨테이너의 크기에 따라 최대 약 7초 내지 15초 동안 비디오를 기록한다 [메모리 (140)는 유체가 벽 항력의 증가된 충격에 기인하여 더 소형의 컨테이너 내에서 더 신속하게 감속하기 때문에, 더 소형의 컨테이너 내의 유체의 더 적은 비디오를 기록한다].
다른 실시양태에서, 스핀들은 2-단계 교반/영상화 시퀀스에서 컨테이너 (10)를 회전시킨다. 제1 단계에서, 스핀들은 3초 동안 300 rpm에서 컨테이너 (10)를 스핀시켜, 단백질과 같은 덜 조밀한 (및 더 섬세한) 입자가 이동 유체 내에 현탁되게 한다. 영상화기 (110)는 이어서 이동 유체 내의 단백질의 비디오를 캡처한다. 일단 영상화기 (110)가 충분한 시계열 데이터를 수집하면, 제2 단계가 시작되는데, 스핀들은 1 내지 3초 동안 약 1600 내지 1800 rpm에서 컨테이너 (10)를 회전시켜, 금속 박편과 같은 더 조밀한 입자를 이동 유체 내에 현탁시키고, 영상화기 (110)는 컨테이너 (10) 내에서 이동하는 더 조밀한 입자를 나타내는 시계열 데이터를 캡처한다. 제2 단계에서 고속 회전은 단백질 응집체를 일시적으로 용해하거나 변성시키는데 충분히 강할 수도 있는데, 단백질 응집체는 유체가 감속하거나 이동을 정지한 후에 개질될 수 있다. 2-단계 동작은 저속 회전에 의해 여기되지 않을 수도 있는 조밀한 입자 및 고속 회전에 의해 변성될 수도 있는 단백질의 모두를 검출하는 것을 가능하게 한다.
본 발명의 시스템은 이하의 파라미터, 유체 점도, 유체 충전 레벨, 유체 유형, 표면 장력, 컨테이너 형상, 컨테이너 크기, 컨테이너 재료, 컨테이너 텍스처, 입자 크기(들), 입자 형상(들), 입자 유형(들) 및 입자 밀도 중 임의의 하나에 따라 (이들에 한정되는 것은 아님), 다른 회전 시퀀스를 마찬가지로 채용할 수도 있다. 예를 들어, 본 발명의 시스템은 컨테이너 내용물을 영상화하기 전에 더 긴 시간 기간 동안 더 대형의 컨테이너를 스핀시킬 수도 있다. 소정의 유체/컨테이너 조합에 대한 정확한 교반 프로파일은 정규적인 실험에 의해 컴퓨팅, 특징화 및/또는 결정될 수 있다.
시각적 검사 모듈이 우수하게 특징화된 컨테이너/유체 조합에 대한 예정된 교반 시퀀스를 사용하면, 이는 단지 유체 (및 현탁된 입자)가 층류 체제에 있을 때에만 데이터 획득을 촉발할 수도 있다. 대안적으로, 시각적 검사 모듈은 부가의 시계열 데이터를 획득할 수도 있고, 프로세서는 컨테이너/유체 조합 및/또는 교반 시퀀스에 기초하여 시작 및 종료 프레임을 자동으로 선택할 수도 있다.
일부 실시양태에서, 데이터 획득은 컨테이너 내의 유체 유동의 검출된 특성에 기초하여 촉발될 수도 있다. 예를 들어, 상세히 후술되는 바와 같이, 일부 실시양태에서, 컨테이너 내의 유체의 메니스커스를 검출하고 메니스커스의 이동을 모니터링하여 유체 내의 와류가 후-스핀(post-spin)을 이완시킬 때를 결정하는 것이 가능하다. 일부 이러한 경우에, 데이터 획득은 메니스커스의 검출된 이동이 실질적으로 안정한 상태로 복귀하였을 때 시작할 수도 있다.
전술된 시각적 검사 시스템의 임의의 하나가 또한 도 3b에 도시된 바와 같이, 약물 제품 (32) 또는 다른 유체로 적어도 부분적으로 충전된 주사기 (12) 내의 천연 입자 및 이물질 입자를 검출하고/거나 식별하는데 사용될 수 있다. 주사기 (12)는 종종 니들을 아래로 하여 보관된다. 이와 같이, 미립자가 주사기의 니들 (34) 내에 침전할 수도 있다. 이들 입자를 시각화하기 위해, 로봇 또는 사람은 주사기 (12)를 반전시키는데, - 즉 로봇 또는 사람은 니들 (34)이 상향 지향하도록 그 종축에 수직인 축에 대해 180°만큼 주사기 (12)를 회전시킨다. 니들 (34) 내에 침전되어 있는 미립자는 수직으로 낙하하여, 영상화기 (110)에 의한 시각화를 가능하게 한다. 로봇 또는 사람은 또한 플립(flip) 중에 주사기를 스핀시켜 유체를 완전히 이동하게 할 수도 있다.
다수의 주사기 (12)는 비교적 작은 내경 (예를 들어, 약 5 mm)을 갖는 배럴을 갖고, 이는 벽 항력의 효과를 극적으로 증가시킨다. 다수의 약물 제품 (32)에 대해, 벽 항력은 모든 회전 유체 운동이 대략 1초 이내에 중지되게 한다. 이는 실용적인 입자 분석에 대한 매우 짧은 시간 윈도우이다. 다행히도, 도 3c에 도시된 바와 같이, 그 종축에 수직인 축 주위로 주사기 (12)를 부드럽게 진탕시키는 것은 1초보다 길게 지속하는 입자 운동을 생성한다. 로봇에 의해 또는 수동으로 행해질 수 있는 측방향 진탕은 주사기 (12)의 운동 및 주사기 (12)의 배럴 내에서 발진하는 임의의 공기 기포(들)(30)의 운동을 통해 입자를 교반한다. 전술된 시각적 검사 모듈, 유닛 및 플랫폼은 재구성 가능하도록 설계되고, 이 대안적인 교반 방법을 수용할 수 있다.
일단 교반이 완료하면, 시각적 검사 시스템은 비디오 기록 단계를 위해 여전히 정지 상태로 유지되어야 한다. 통상적으로 채용된 영상화기의 고분해능에 기인하여, 영상화기의 공간 분해능은 매우 미세하고 (예를 들어, 약 10 마이크로미터 이하), 적어도 회절 한계만큼 미세할 수 있다. 특정 구성에서, 샘플의 작은 (예를 들어, 10 마이크로미터) 이동은 검출된 영상 내의 이동의 전체 화소에 동등하다. 이러한 운동은 정적 특징 제거 (배경 제거)의 효용성을 손상시키고, 이어서 분석 도구의 성능 및 출력 데이터의 완전성을 열화시킨다.
이러한 점을 상기하여, 진동 격리가 주요 디자인 고려 사항이다. 특정 실시양태에서, 예시적인 시각적 검사 시스템의 기부는 예를 들어 진동 완충 쇼크, 부표 및/또는 가스켓을 사용하여 연구실 환경으로부터 기계적으로 격리된다. 부가적으로, 유닛 내부에서, 컴퓨터 및 로봇 제어기와 같은 진동의 공급원은 시스템의 나머지로부터 기계적으로 격리될 수 있다. 대안적으로, 데이터 획득은 영상화기에 대해 컨테이너의 잔류 운동과 동기화되거나 화소 시프트 또는 소정의 다른 운동 보상 거동을 수행하는 카메라로 수행될 수 있다. 이러한 잔류 운동은 영상 운동의 해로운 효과를 제거하기 위해 후프로세싱을 위해 또한 기록될 수 있다.
영상화기 구성
예시적인 시각적 검사 시스템은 이들에 한정되는 것은 아니지만 전하 결합 소자 (CCD) 또는 상보형 금속 산화물 반도체 (CMOS) 어레이를 포함하는 임의의 적합한 센서를 갖는 표준형 기성품(off-the-shelf) 영상화기를 사용할 수 있다. 센서의 선택은 탄력적이고, 특정 용례의 요건에 다소 의존한다. 예를 들어, 높은 프레임 속력을 갖는 센서는 고속 이동 입자 (예를 들어, 저점도 유체 내의)의 궤적의 정확한 맵핑을 가능하게 한다. 감도 및 노이즈 성능은 또한 다수의 단백질 입자가 용액 내에서 투명하고 광을 약하게 산란시켜, 희미한 영상을 생성하기 때문에 중요하다. 노이즈 성능을 향상시키기 위해, 센서는 당업계에 이해되는 바와 같이 냉각될 수 있다. 대부분의 용례에서, 단색 센서는 컬러 카메라에 비해 약간 더 높은 분해능, 뿐만 아니라 과시적인 더 높은 감도에 기인하여 가장 우수한 성능을 제공한다. 그러나, 용례의 작은 서브세트에서, 컬러 센서는 입자의 컬러를 캡처하기 때문에 바람직할 수도 있는데, 이는 그의 공급원 (예를 들어, 의류 섬유)을 설정하는데 매우 중요할 수도 있다. 제품 품질 조사 [또한 법의학(forensics)라 알려짐]에서, 예를 들어 컬러 센서는 약물 제품을 오염시킬 수 있는 제조 설비에서 상이한 유형의 재료들 (예를 들어, 섬유들) 사이를 구별하기 위해 유용할 수 있다.
완전한 컨테이너 검사를 위해, 영상화기의 시야는 전체 유체 체적을 포함해야 한다. 동시에, 영상화기는 소형 입자를 분석하는 것이 가능해야 한다. 시각적 검사 시스템은 3296×2472 화소를 갖는 얼라이드 버전 테크놀로지 (에이브이티) 프로실리카(Allied Vision Technologies (AVT) Prosilica) GX3300 8백만 화소 CCD 센서와 같은 대형 포맷 고분해능 센서로 대형 시야 및 미세한 분해능의 모두를 성취한다. 다른 적합한 센서는 에이씨티 피키(ACT Piki) F505-B 및 바슬러 파일롯(Basler Pilot) piA2400-17gm 5백만 화소 카메라를 포함한다. 영상화 광학계가 1 ml 비디 히팍(BD Hypak) 주사기의 유체 담지체를 완전히 영상화하도록 선택될 때, 에이브이티 프로실리카(AVT Prosilica) GX3300 CCD 센서는 양 횡단 방향에서 화소당 대략 10 마이크로미터의 공간 분해능을 갖는 시계열 데이터를 캡처한다. 고속 및 고분해능의 조합은 시계열 데이터를 기록하는 것이 대형 데이터 전송율 및 대형 파일 크기를 수반할 수도 있다는 것을 암시한다. 결론으로서, 후술된 비디오 압축 기술은 특히 영상 내에 캡처된 입자의 미세한 상세의 완전성을 보존하면서 데이터 저장 요구를 감소하도록 설계된다.
센서 상에 관심 영역을 영상화하는 집광 광학계는 시스템이 가장 미세한 가능한 분해능을 갖고 작동하는 것을 보장하기 위해 센서의 화소 크기와 같거나 작은 최소 스팟 크기를 전체 체적의 선명한 영상에 제공하도록 선택되어야 한다. 게다가, 집광 광학계는 바람직하게는 전체 샘플 체적을 피팅하기 위해 충분히 큰 피사계 심도(depth-of-field)를 갖는다.
도 4에 도시된 렌즈 (114)와 같은 텔레센트릭 렌즈는 특히 이들이 피사계 심도에 민감하지 않도록 설계되기 때문에 유체 체적의 시각적 검사에 특히 우수하게 적합된다. 당업자들에 의해 이해되는 바와 같이, 텔레센트릭 렌즈는 주광선이 영상 및/또는 물체 공간 내의 광축에 평행하고 시준되는 다중 요소 렌즈이고, 이는 영상 및/또는 물체 위치에 무관하게 일정한 배율을 야기한다. 달리 말하면, 텔레센트릭 렌즈를 갖는 영상화기로부터의 특정 거리의 범위 내의 물체에 대해, 영상화기에 의해 캡처된 물체의 영상은 선명하고 영상화기로부터 물체의 거리에 무관하게 일정한 배율을 갖는다. 이는 컨테이너 (10)의 '후방'에 있는 입자들이 컨테이너 (10)의 '전방'에 있는 것들과 유사하게 보여지는 영상을 캡처하는 것을 가능하게 한다. 텔레센트릭 렌즈의 사용은 또한 균일한 어두운 배경평면이 사용되면 주위광의 검출을 감소시킨다. 적합한 텔레센트릭 렌즈 (114)는 에드먼드 옵틱스 엔티62-901 라지 포멧 텔레센트릭 렌즈(Edmund Optics NT62-901 Large Format Telecentric Lens) 및 에드먼드 옵틱스 엔티56-675 테크스펙 실버 시리즈 0.16× 텔레센트릭 렌즈(Edmund Optics NT56-675 TECHSPEC Silver Series 0.16× Telecentric Lens)이다.
컨테이너-특정 블라인드 스팟
거의 임의의 시각적 검사 시스템에 대한 하나의 목표는 100% 컨테이너 체적 검사를 제공하는 것이다. 그러나, 실제로, 도 5a에 도시된 바와 같이 입자가 검출될 수 없는 고정된 구역이 존재할 수도 있다. 첫째로, 메니스커스 주위의 액체는 메니스커스 자체가 그 위치에서 검출기를 잠재적으로 포화시키는 방식으로 광을 산란하여 임의의 입자 또는 다른 관심 특징을 불명료하게 하기 때문에 분석에 합체하는 것이 어려울 수도 있다. 둘째로, 바이얼에 대해, 컨테이너의 기부는 일반적으로 '힐(heel)'이라 칭하는 코너에서 통상적으로 만곡된다. 만곡된 힐은 바이얼의 저부에 충분히 근접하여 과감히 나아가는 임의의 입자를 왜곡하고 궁극적으로 불명료하게 하는 효과를 갖는다. 셋째로, 주사기에 대해, 고무 플러그는 컨테이너 체적 내로 약간 침입하는 중앙 원추를 특징으로 한다. 이 원추의 팁은 잠재적으로는 입자를 은폐할 수 있지만, 이는 작다. 대부분의 민감한 블라인드 스팟은 바이얼의 곡률에 기인하여 발생한다.
원통형 컨테이너는 또한 텔레센트릭 렌즈의 성능을 손상시키는 역할을 하는 도 5b에 도시된 [굴곡된 광선 (18)에 의해 지시된] 렌징 효과(lensing effect)를 발생시킬 수도 있다. 컨테이너의 만곡된 벽은 또한 블라인드 스팟 (14)을 생성한다.
도 5e는 원통형 컨테이너 (10)에 의해 발생된 렌징 효과의 예를 도시한다. 카메라/관찰자는 도면의 저부에 있다. 전술된 바와 같이, 텔레센트릭 렌즈는 입자가 컨테이너 내의 이들의 위치에 의존하지 않는 영상 내의 일관적인 외관을 갖는 것을 보장하기 위해 컨테이너 (10) 내의 입자를 영상화할 때 사용될 수도 있다. 이를 성취하기 위해, 일부 실시양태에서, 텔레센트릭 렌즈의 초점의 깊이는 유체 체적의 직경보다 크도록 선택된다. 일부 실시양태에서, 보정용 광학 요소의 부재시에, 컨테이너 곡률은 이 원리를 손상시킨다.
도시된 바와 같이, 컨테이너 (10) 내의 영상화된 입자의 형상 및 배율은 컨테이너 내의 입자의 위치에 의존할 것이다. 컨테이너의 전방 중앙에서의 입자(501)는 전혀 왜곡되지 않는다 (상부 삽화). 후방 측면에서 동일한 입자(502)는 가장 많이 왜곡된다 (하부 삽화). 원통형 컨테이너에서, 왜곡은 수평축을 따라서만 발생한다는 것(하부 삽화에서 명백한 바와 같이)을 주목하라.
이들 효과를 완화하기 위해, 보정 렌즈 (116)와 같은 선택적 보정 광학계가 도 5c에 도시된 바와 같이 텔레센트릭 렌즈 (114)와 컨테이너 (10) 사이에 배치된다. 부가의 공간 보정 광학계(118)가 도 5d에 도시된 바와 같이 컨테이너의 형상에 의해 발생된 왜곡에 대한 부가의 보상을 제공할 수도 있다. 다양한 실시양태에서, 예를 들어 컨테이너 (10)의 곡률 및/또는 유체의 굴절률에 기초하여 맞춤 제작된 임의의 적합한 보정용 광학 요소가 보정 렌즈 (116) 및 광학계 (118)에 부가하여 또는 대안적으로 사용될 수도 있다.
예를 들어, 일부 실시양태에서, 원통형 컨테이너 (10)에 의해 발생된 렌징 효과의 모델이 개발될 수도 있다. 모델은 예를 들어 컨테이너 외경, 컨테이너 내경, 컨테이너 굴절률, 액체 굴절률 및 조명광의 파장을 포함하는 광학적 왜곡을 특징화하는 적합한 파라미터의 세트에 기초할 수도 있다. 모델은 예를 들어 레이 트레이싱(ray tracing) 기술을 포함하는 당업계에 공지된 임의의 적합한 기술을 사용하여 개발될 수도 있다. 도 5f는 상응하는 물리적 상황에 대한 실험 데이터 (우측 상부, 좌측 저부)와 함께 2개의 상이한 컨테이너 파라미터의 세트 (좌측 상부, 좌측 저부)에 대한 렌징 효과에 대한 이론적 모델의 예를 도시한다. 도시된 바와 같이, 이론적 모델 및 실험 데이터는 우수하게 일치한다.
도 5g 및 도 5h를 참조하면, 보정용 광학 요소 (503)(도시된 바와 같이, 렌즈)는 전술된 렌징 효과를 보정하는데 사용된다. 보정용 광학 요소의 디자인은 컨테이너의 이론적 광학 모델, 컨테이너의 광학 특성을 지시하는 실험 데이터 또는 이들의 조합에 기초할 수도 있다. 도시된 바와 같이, 보정용 광학 요소 (503)는 원통형 전방면 및 후방면을 갖는 굴절 재료로 제조된다. 일부 실시양태에서, 렌즈의 디자인은 전방면 및 후방면의 반경, 렌즈의 두께, 렌즈의 굴절률 및 컨테이너에 대한 렌즈의 위치를 포함하는 자유 파라미터를 사용하여 결정될 수도 있다.
일부 실시양태에서, 예를 들어 포물선 또는 임의의 맞춤 형상과 같은 다른 형상이 렌즈의 전방면 및 후방면에 사용될 수 있다. 일부 실시양태에서, 표면이 원통형인 요구를 완화하는 것은 보정용 광학 요소 (503)의 디자인에 대한 파라미터 공간의 크기를 증가시켜 이에 의해 향상된 보정을 허용할 것이다.
일부 실시양태에서, 보정용 광학 요소 (503)는 다수의 요소를 포함할 수도 있어, 이에 의해 디자인 파라미터 공간을 더 증가시킨다. 일부 실시양태에서, 보정용 광학 요소 (503)는 다른 유형의 광학적 왜곡, 수차(aberration) 또는 다른 효과를 보정할 수도 있다. 예를 들어, 다수의 파장에서의 조명이 사용되는 경우에, 보정용 광학 요소 (503)는 색수차를 보정하는데 사용될 수도 있다.
일부 실시양태에서, 보정용 광학 요소 (503)는 특정 컨테이너 및/또는 유체 유형에 의해 발생된 왜곡을 보정하도록 설계될 수도 있다. 단일의 자동화된 시각적 검사 유닛 (100)은 다수의 컨테이너 유형과 함께 사용될 수도 있기 때문에, 일부 실시양태에서, 보정용 광학 요소 (503)가 검사 하의 특정 컨테이너 (10)에 일치하도록 선택적으로 변경되게 하는 것이 바람직할 수도 있다. 예를 들어, 도 5I는 다수의 보정용 광학 요소 (503)를 유지하는 래크(rack)(504)를 도시한다. 래크는 영상화기 (110)에 대한 광학 체인 내로 요소들 중 선택된 것을 배치하도록 이동될 수도 있다 (수동으로 또는 자동으로). 래크가 도시되어 있지만, 다양한 실시양태에서, 다수의 광학 요소의 세트로부터 하나의 광학 요소를 선택하기 위한 임의의 다른 적합한 기구가 사용될 수도 있다는 것을 주목하라.
대안적인 시각적 검사 시스템은 컨테이너의 곡률에 기인하여 왜곡을 보상하기 위한 적응성 광학계를 포함할 수도 있다. 예를 들어, 텔레센트릭 렌즈 (114)는 마이크로-전기-기계 시스템 (MEMS) 미러와 같은 변형 가능 미러로부터 반사된 컨테이너 (10)의 영상을 캡처하도록 구성될 수도 있다. 센서 (112)는 컨테이너 (10) 내의 표면 곡률, 표면 결함 및 다른 불완전부로부터 발생하는 수차의 성질 및 크기를 유도하기 위해 배경 데이터를 사용한다. 센서 (112)는 수차를 보상하기 위해 그 표면을 조정함으로써 응답하는 변형 가능 미러에 이 정보를 피드백한다. 예를 들어, 변형 가능 미러는 컨테이너 곡률을 보상하기 위해 일 방향으로 굴곡 또는 만곡될 수도 있다. 변형 가능 미러는 동적으로 응답하기 때문에, 각각의 개별 컨테이너 (10)에 특정한 수차를 보상하는데 사용될 수 있다.
게다가, 입자 추적은 이들 블라인드 스팟의 알려진 위치와 함께 입자 사라짐을 검출하도록 조정될 수 있어, 후술되는 바와 같이 동일한 입자가 비디오 시퀀스 내에 이후에 다시 나타날 수 있는지 여부 및 위치를 프로그램이 예측하게 된다.
블라인드 스팟 관련 문제점을 취급하기 위한 부가의 기술 (예를 들어, 다수의 영상화기)이 후술된다.
카메라 프레임 속력
후술된 최근접-일치 (그리디) 알고리즘을 사용하는 효과적인 입자 추적은 3개의 주요 인자, 카메라 캡처 속력 (프레임 속력), 입자 밀도 (2차원 영상에서) 및 통상의 입자 속도의 함수로서 고려될 수 있다. 최근접-일치 알고리즘을 사용하는 진정하게 효과적인 추적을 위해, 카메라는 바람직하게는 이하의 기준에 부합하도록 충분히 고속이어야 한다.
Figure pat00007
실제로, 3차원 체적을 2차원 영상 상에 투영할 때, 실제로 입자가 컨테이너 내에서 우수하게 이격될 때 서로 매우 근접하게 보이도록 하는 것이 가능하다 (서로 가려지더라도). 이를 고려할 때, 겉보기 최소 입자간 분리 거리를 고려하기 위해 평균 최근접 이웃 거리를 고려하는 것이 더 이치에 맞는다. 여기서 최근접 이웃 거리는 시계열 데이터의 소정의 프레임 내의 인접한 입자들 사이의 거리이고, 반면에 최근접 일치 거리는 시계열 데이터의 연속적인 프레임들 내의 단일 입자에 대해 관찰된 위치의 차이 사이의 거리를 칭한다는 것을 주목하라. 최근접 일치 거리의 견지에서 카메라 속력에 대한 기준을 다시 쓰면 이하와 같다.
Figure pat00008
대안적인 시각적 검사 시스템은 최근접 일치 (그리디) 입자 추적 기술 대신에 예측 추적 기술을 사용할 수도 있다. 예측 기술은 컨테이너의 공간 제약의 지식 및 예측된 유체 거동과 함께, 입자의 공지의 궤적의 지식을 사용하여, 후속의 프레임 내의 입자의 가장 가능한 위치를 추정하게 한다. 적절하게 구현될 때 이 접근법은 소정 속력에서 조밀하게 존재된 영상을 통해 이동하는 입자를 더 정확하게 추적할 수 있다.
비교적 대형 컨테이너 내의 매우 소형 입자를 검출하고 측정하려고 시도할 때, 영상 센서의 공간 분해능을 최대화하는 것이 유리하다. 일반적으로, 이는 센서의 최대 성취 가능한 프레임 속력을 낮추는 직접적인 효과를 갖는다.
다수의 영상화기에 의한 시각적 검사
단일의 카메라의 사용은 알려진 블라인드 스팟의 존재에 의해 손상될 수도 있다. 부가적으로, 3차원 입자 분포를 2차원 영상 상에 맵핑하는 것은 가려짐에 기인하는 모호성을 야기할 수 있다 (예를 들어, 도 5e에 도시된 바와 같이, 컨테이너의 후방 중심에서의 입자가 전방 중심에서의 입자에 의해 가려지는 경우). 대안적인 시각적 검사 시스템 (예를 들어, 도 6에 보여지는 바와 같이)은 원리적으로 2개 이상의 영상화 시스템으로부터의 결과를 상관함으로써 이 문제점을 해결할 수 있다. 2개 이상의 카메라로부터 위치 궤적 정보를 상관함으로써, 상세한 3차원 궤적 맵을 구성하는 것이 가능한데, 이는 2차원 궤적 맵보다 더 강인하고 더 적게 가려짐에 의해 발생되는 에러 (후술됨)의 경향이 있을 수도 있다.
영상화기의 공간 분해능을 증가시키는 것은 또한 소정의 입자 농도 및 입자 속력에 대한 데이터 획득 속력 (프레임 속력)을 제한한다. 알려지지 않은 컨테이너를 검사할 때, 입자 농도는 적합하게 낮을 것이라는 보장도 존재하지 않을 수 있다. 동시에, 유체 내의 유리 또는 금속과 같은 무거운 입자를 현탁하기 위해, 컨테이너 내의 회전 속력은 매우 높아야 할 수도 있어, 캡처된 비디오 스트림 내의 높은 입자 속력을 야기한다. 이 상충을 해결하기 위한 한 방법은 후술되는 신규한 영상화 하드웨어 구성을 채용하는 것이다. 가장 우수한 상업적으로 입수 가능한 센서가 미리 채용되고 컨테이너 내의 입자가 충분한 광량을 산란하는 것을 가정하면, 전용 촉발 공급원으로부터 일정하고 신뢰적인 촉발을 갖고 2개 이상의 센서를 멀티플렉싱함으로써 데이터 획득 속력을 증가시키는 것이 여전히 가능하다.
게다가, 예시적인 시각적 검사 시스템은 전체 컨테이너 검사에 대한 요구를 완화함으로써 10 마이크로미터보다 더 미세한 공간 분해능을 제공하고, 대신에 체적의 서브세트만을 고려하도록 구성될 수 있다. 일반적으로, 육안 확인 불가능한 입자, 특히 단백질 응집체에 대해, 더 소형 입자가 더 높은 수로 발생하고 체적 전체에 걸쳐 더 균질하게 분배되는 경향이 있기 때문에 이는 허용 가능하다. 대안적으로, 예시적인 시각적 검사 시스템은 넓은 영역 및 미세한 분해능 시계열 데이터의 모두를 병렬로 획득하기 위해 상이한 배율을 갖는 다수의 영상화기를 사용함으로써 전체 컨테이너 검사 및 미세한 공간 분해능의 모두를 제공할 수 있다.
대안적인 배율은 예를 들어 도 6a에서와 같이, 전체 컨테이너를 검사하기 위해 하나의 영상화기 (1102)로 그리고 더 높은 배율을 갖는 제2 영상화기 (1104)로 (예를 들어, 장거리 작동 현미경 대물렌즈) 동시에 사용될 수 있어 더 소형의 서브체적을 줌인하고 예를 들어 매우 소형의 입자 (예를 들어, 약 10 마이크로미터, 5 마이크로미터, 1 마이크로미터 이하의 직경을 갖는 입자)를 검사할 수 있다. 다른 시각적 검사 시스템은 도 6b에 도시된 바와 같이 컨테이너 (10) 위 아래에 장착된 발광 다이오드 (LED)(1120)의 하나 이상의 링에 의해 조명된 컨테이너 (10) 주위에 배치된 다수의 영상화기 (1102, 1104, 1106)를 포함할 수도 있다. 상이한 위치에 장착된 동일한 영상화기 (1102)는 쌍안 시각을 제공한다. 장거리 작동 현미경 대물렌즈를 갖는 영상화기 (1104)는 컨테이너 (10)의 서브체적에 대한 미세한 분해능을 제공하고, 대안 센서 (예를 들어, 적외선 센서, 저항 방사열계 등)를 갖는 영상화기 (1106)는 부가의 시계열 데이터를 제공한다.
도 6c 및 도 6d는 텔레센트릭 영상화의 특성을 구비한 대안적인 영상화 구성을 도시한다. 텔레센트릭 렌즈의 후방 구경에서, 50/50 빔분할 큐브 (1202)가 투영된 영상을 2개의 개별 영상화 아암으로 분할한다. 각각의 영상화 아암은 프레임 속력을 두배가 되게 하기 위해 도 6c에 도시된 바와 같이 다른 아암 내의 센서 (1222)와 인터리빙된 방식으로 동작하는 고분해능 저속 센서 (1222)를 포함할 수도 있다. 즉, 위상 오프셋에 대해 절반 사이클을 갖고 2개의 센서 (1222)를 동시에 실행시키는 것은 2의 팩터만큼 시간적 분해능을 향상시킨다. 영상 스트림은 이어서 두배의 공칭 센서 프레임 속력에서 단일의 영화를 제공하도록 조합될 수 있다.
대안적으로, 각각의 아암은 예를 들어 영상화 센서 어레이 내의 절충을 보상하기 위해 도 6d에 도시된 바와 같이 상이한 센서를 포함할 수도 있고, 카메라 분해능이 더 미세할수록, 카메라의 최대 가능한 프레임 속력이 느려진다 (예를 들어, 최대 분해능에서 초당 10 내지 50 또는 15 내지 25 프레임, 저분해능에서 초당 50 내지 200 프레임 등). 정확한 입자 추적을 위해, 지배적인 센서 성능 파라미터는 높은 시간적 분해능 (높은 프레임 속력)이다. 그러나, 정확한 입자 크기분류를 위해, 지배적인 센서 성능 파라미터는 미세한 공간 분해능이다 (영상 내에 가능한 한 많은 화소). 현재, 공간 분해능 및 데이터 전송율에 대한 주 제한 인자는 데이터 전송 버스이다. 이용 가능한 영상화기는 화소당 약 10 마이크로미터의 공간 분해능을 갖는 4-센티미터 높이 컨테이너의 시계열 데이터 및 표준 퍼스널 컴퓨터 버스 (예를 들어, 듀얼 GigE 또는 카메라링크(CameraLink) 버스)에 대한 초당 약 25개의 프레임의 데이터 전송율을 획득할 수 있다.
도 6d는 고속 프레임 속력 및 미세한 분해능을 성취하는, 즉 고분해능 저속 센서 (1222) 및 더 적당한 공간 분해능, 그러나 더 높은 프레임 속력을 갖는 센서 (1224)의 모두로 유체를 영상화하는 한 방식을 도시한다. 외부 촉발은 2개의 카메라가 적당한 방식으로 동기화되는 것을 보장할 수 있다. 카메라는 동일한 영상의 사본을 주시하기 때문에, 이들의 데이터는 향상된 입자 분석을 생성하도록 직접 상관될 수 있다.
도 7a 및 도 7b는 조명 공급원 (120) 및 다수의 카메라의 타이밍 및 제어를 도시한다. 도 7a 및 도 7b의 모두에서, 촉발 제어기 (702)는 마스터 펄스 신호를 데시메이팅(decimating)함으로써 유도된 2개의 촉발 신호 - 도 7a 및 도 7b에 ARM 1 및 ARM 2로 표기됨 - 를 방출한다. ARM 1 촉발 신호는 인터리빙 방식으로 제1 카메라 (도 7a의 1102a, 도 7b의 1222a)를 구동하고, ARM 2 촉발 신호는 제2 카메라 (도 7a의 1102b, 도 7b의 1222b)를 구동한다. 즉, 촉발 신호들은 제1 및 제2 카메라가 프레임의 교번적인 시퀀스를 획득하게 한다. 촉발 제어기 (702)는 또한 제1 또는 제2 카메라가 영상을 획득할 때마다 조명 공급원 (120)이 컨테이너를 조명하게 하는 조명 신호를 갖고 조명 공급원 (120)을 구동할 수도 있다. 다른 촉발 시퀀스가 또한 가능한데, 예를 들어 촉발 제어기 (702)는 부가의 카메라 및/또는 상이한 프레임 속력에서 영상을 획득하는 고분해능 카메라 및 저분해능 카메라의 조합을 구동할 수도 있다.
당업자들에게 명백한 바와 같이, 다른 배열이 가능하다. 예를 들어, 각각의 아암 상의 영상 센서는 서로 동등할 수도 있지만, 집광 광학계는 상이할 수도 있다. 하나의 아암은 영상의 특정 세트 상에 '줌인'하기 위한 여분의 영상 배율 광학계를 포함할 수도 있어, 동시적인 광시야의 확대된 뷰를 제공한다.
조명 구성
본 발명의 시각적 검사 시스템은 다양한 입자가 유체 담지 컨테이너 내의 입자를 검출하고 식별하기 위해 광과 상호작용하는 방식으로 장착된다. 광과 입자의 상호작용은 입자의 크기, 형상, 굴절률, 반사율 및 불투명도를 포함하는 다수의 인자의 복잡한 함수이다. 단백질성 입자는 굴절을 통해 광을 주로 산란할 수도 있고, 반면에 층류 유리 입자는 주로 광을 반사할 수도 있다. 일부 입자, 예를 들어 콜라겐 섬유가 편광의 회전과 같은 본질적인 광의 물리적 특성을 수정할 수 있다. 다양한 입자 유형들 사이의 콘트라스트를 최대화하기 위해 검출기, 입자 및 광을 맞춤 제작하는 것은 매우 정확한 검출 및 구별을 유도할 수 있다.
도 8 내지 도 12는 특정 유형의 입자, 컨테이너 및/또는 유체에 대한 상이한 조명 모드들 사이에 스위칭/작동될 수 있거나 맞춤 제작되는 다양한 조명 구성을 도시한다. 예를 들어, 광원은 입자들의 영상과 배경 사이의 콘트라스트를 최대화하기 위해 배경을 어둡게 유지하면서 입자들이 검출기를 향해 반사하거나 굴절하는 광량을 최대화하는 방식으로 입자를 조명할 수도 있다. 게다가, 공급원은 임의의 적합한 파장 또는 파장의 범위에서 방사선을 방출할 수도 있다. 예를 들어, 이들 공급원은 광대역 백색광 (390 내지 760 nm), 협대역 빔 (예를 들어, 632 nm에서) 또는 심지어 자외선 또는 X선 방사선을 방출할 수도 있다. 적합한 범위는 10 내지 3000 nm, 100 내지 390 nm (자외선), 390 내지 760 nm (가시광), 760 내지 1400 nm (근적외선) 및 1400 내지 3000 nm (중간 파장 적외선)를 포함할 수 있다. X선 방출 (<10 nm)이 또한 가능하다. 완전한 조화로서 취해질 때, 본 명세서에 개시된 조명 옵션의 어레이는 본 발명의 시각적 검사 시스템이 약물 제품 내에 잠재적으로 나타날 수 있는 입자의 전체 범위를 검출하고 식별하게 한다.
일부 입자는 단지 매우 약하게 산란하기 때문에, 가능한 한 많은 광으로 샘플을 방사선조사하는 것이 종종 유리하다. 샘플 조사의 상한은 주로 검사 하의 제품의 감광성에 의해 의도된다. 파장의 분별 있는 선택이 또한 특히 생물학적 제품에 대해 필요할 수도 있고, 정확한 선택은 조명되는 제품에 의존한다. 630 nm 주위에 집중된 단색 적색광은 '적당한 중간(happy medium)'을 나타내고, 얻어질 수 있는 광원의 견지에서 용이하게 이용 가능한 파장이다.
CCS 조명으로부터의 LDL2 시리즈 LED 어레이와 같은 LED 광선이 약학적 제품 내에서 보여지는 입자를 조명하기 위해 효과적이지만, 시준된 레이저빔이 또한 사용될 수 있다. 일부 경우에, 조명 광학계는 유체 체적 내부에 (컨테이너 외부에 대조적으로) 시준될 조명빔을 패터닝하거나 성형할 수도 있다. 대안적인 광원에서, 광원으로부터의 가열이 고려되면, 광은 도 8에 도시된 바와 같이 광학 도파관 또는 광섬유 (124)의 사용을 통해 검사 영역에 전달될 수 있다.
조명 파장은 분석되는 유체 및/또는 입자의 흡수 및/또는 반사율에 기초하여 선택될 수 있는데, 이는 감광성 약학적 제품에 특히 중요하다. 적색광 (630 nm)은 단백질에 의한 저흡수와 물에 의한 저흡수 사이의 우수한 균형을 제공한다. 시계열 데이터 획득과 동기화하여 조명을 스트로빙하는 것은 입사광으로의 제품의 노출을 최소화함으로써 감광성 약학적 제품의 완전성을 더 보호한다. 스트로빙은 2개의 추가의 장점을 갖는데, LED는 이 방식으로 실행할 때 더 효율적으로 작동하고, 스트로빙은 동작 번짐(motion blur)의 효과를 감소시키고, 이는 주목되지 않고 방치되면 후술되는 바와 같이 입자 크기 측정을 손상시킨다.
도 8은 LED, 레이저, 형광 또는 백열 전구, 플래시 램프 또는 임의의 다른 적합한 광원 또는 적합한 광원들의 조합일 수도 있는 다수의 광원 (122a 내지 122f)[집합적으로, 광원 (122)]을 포함하는 예시적인 재구성 가능한 조명 시스템 (120)을 도시한다. 광원 (122)은 가시광, 적외선 및/또는 자외선 방사선을 방출할 수도 있다. 이들은 원하는 바와 같이 협대역 또는 광대역일 수도 있고, 적절한 광섬유 또는 편광기를 사용하여 필터링될 수 있다. 도 8에서, 예를 들어, 편광기 (126)는 컨테이너를 백라이팅하는 광원 (122f)에 의해 방출된 광을 편광한다. 백라이트 (122f)에 추가하여, 조명 시스템 (120)은 컨테이너 (10) 주위의 직사각형 프리즘의 코너에 4개의 광원 (122a 내지 122d)을 포함한다. 다른 광원 (122e)은 컨테이너 (10)의 저부에 지향하는 시준기 (126)에 결합된 광섬유 (124)를 경유하여 저부로부터 컨테이너 (10)를 조명한다. 일부 경우에, 섬유 (124) 및 시준기 (126)는 용기를 회전시키는데 사용된 스핀들의 중공 샤프트 (128) 내부에 수용될 수도 있다.
도 8에 도시된 다수의 광원 (122)은 광과 입자의 소정의 상호작용에 기초하여 구별을 위해 소정의 입자의 광학 특성을 결정하는데 사용될 수 있다. 당업자들에 의해 이해되는 바와 같이, 상이한 입자는 다양한 방식으로 광과 상호작용한다. 통상의 상호작용의 모드는 표 1에 나타내는 바와 같이, 광의 편광을 산란시키거나, 반사하거나, 가리거나 또는 회전시키는 것을 포함하고, 여기서 "X"는 도 9a 내지 도 9d 및 도 11에 예시된 바와 같이 (후술됨), 이 유형의 입자가 소정의 조명 기술을 사용하여 보여질 수 있는 것을 지시한다. "M"은 이 유형의 입자가 소정의 기술을 사용하여 보여질 수 있지만, 여전히 잠재적으로는 후프로세싱 영상 분할 및 특징 식별 기술을 사용하여 검출/구별될 수 있는 것을 지시한다.
Figure pat00009
도 9a 내지 도 9c는 광 상호작용에 기초하여 입자 유형을 구별하기 위해 도 8의 조명 시스템 (120) [일부 광원 (122)은 명료화를 위해 생략되어 있음]으로 구현될 수 있는 상이한 조명 패턴을 도시한다. 도 9a에서, 광원 (122a, 122b)은 단백질 뿐만 아니라 광을 산란하는 대부분의 입자 유형을 나타내기 위해 유용한 후방각 조명을 제공한다. 도 9b에서, 광원 (122e)은 영상화기 (110)를 향해 광을 반사하는 (수평 화살표) 유리 박판과 같은 반사성 입자를 나타내기 위해 유용한 저부 라이트를 제공하고, 광을 산란하지만 반사하지 않는 입자 (예를 들어, 단백질)는 센서 상에 표시되지 않을 수도 있다 (대각선 화살표). 도 9c에서, 광원 (122f)은 금속, 어두운 플라스틱 및 섬유와 같은 광을 가리는 입자를 보여지게 하기 위해 유용한 균일한 백라이트를 제공한다. 당업자들은 다른 광원 및/또는 조명 패턴 및 시퀀스가 또한 가능하다는 것을 즉시 이해할 것이다.
도 9d는 도 9a 내지 도 9c의 조명 기술이 산란, 반사 및/또는 가리는 입자의 시계열 데이터를 어떻게 순차적으로 캡처하는지를 도시한다. 이 경우에, 균일한 백라이트, 후방각 라이트, 저부 라이트 및 단일 카메라를 포함하는 시스템은 각각의 프레임 조명을 교번하여, 단지 하나의 특정 광원 (122)[또는 광원 (122)의 조합]이 동시에 활성이게 한다. 단일의 영상화기 (도시 생략)에서, 단지 하나의 라이트의 세트만이 시계열 데이터의 획득된 프레임마다 사용된다. 이 시퀀스를 반복하는 것은 각각의 조명 구성에 대한 비디오를 제공한다.
전술된 조명 기술을 사용하여 비디오 시퀀스를 획득하는 것은 각각의 광원 (122)에 대한 거의 동시의 비디오를 제공한다. 완료시에, 이는 각각의 조명 기술에 대해 1개씩 3개의 인터리빙된 비디오를 제공한다. 각각의 비디오에서, 소정의 프레임 내의 입자는 교번 조명 기술 (프레임들 사이의 작은 시간차는 무시함)을 사용하여 다른 2개의 비디오 내의 동일한 입자와 상관할 수도 있다. 소정의 입자가 다양한 조명 기술과 상호작용하는 방식으로부터 포함된 상호 정보를 사용하여, 결론은 입자의 재료 조성에 대해 이루어질 수 있다.
이 기술은 특이성을 증가시키기 위해 다른 영상 특징 추출 정보와 조합될 수 있다. 예를 들어, 비디오는 각각의 프레임 내의 특징을 결정하도록 자동 분할될 수 있다. 각각의 조명 기술에서, 크기, 형상, 휘도, 평활도 등과 같은 정보는 각각의 특징에 대해 자동으로 결정될 수 있다. 이는 각각의 상이한 조명 기술에 가시성의 견지에서 유사한 서명을 갖는 상이한 입자 유형을 구별하는 것을 도울 수 있다.
도 10a 내지 도 10c는 광원 (122)으로부터 광의 원하지 않는 반사/굴절에 의해 발생된 섬광을 컨테이너 (10)로부터 어떻게 감소시키는지를 도시한다. 컨테이너 (10)를 조명하는 것은 그 광축이 컨테이너 표면으로부터 반사하는 광원 (122)으로부터 광의 전파 방향과 정렬되는 영상화기 (110)에 의해 캡처된 영상에 원하지 않는 섬광이 나타나게 한다. 섬광은 그렇지 않으면 검출 가능하여 센서의 영역을 포화시킬 수 있는 입자를 불명료하게 할 수도 있다. 영상화기의 광축이 컨테이너 표면으로부터 반사하는 광원 (122)에 의해 방출된 광의 광선에 일치하거나 평행하지 않도록 영상화기 (110) 또는 광원 (122)을 위치 설정하는 것은 센서에 의해 검출된 섬광을 감소시키거나 제거한다. 예를 들어, 영상화기를 컨테이너 (10)의 종축 주위로 회전시켜 규정되는 제외 구역의 외부에 광원 (들)(122)을 배치하는 것은 영상화기에 의해 캡처된 원하지 않는 반사된 및/또는 굴절된 광의 양을 감소시킨다. 대안적으로, 구역 (100)은 컨테이너의 수직벽의 높이와 동일한 두께를 갖는, 원통형 컨테이너의 중심축에 직교하는 평면으로서 정의될 수 있다. 당업계에서 이해되는 바와 같이, 오목한 측벽과 같은 더 복잡한 형상을 갖는 컨테이너는 상이한 제외 구역 및 상이한 보정 광학계를 가질 수도 있다.
구역 (1000)의 위 또는 아래로부터 또는 컨테이너 기부 바로 아래로부터 경사지게 컨테이너 측벽을 조명하는 것은 영상화기 (110)에 의해 검출된 섬광을 또한 감소시킨다. 아래로부터 컨테이너 (10)를 조명하는 것은 [예를 들어, 광원 (122e)(도 8)에 의해] 또한 광을 반사하는 입자들 (예를 들어, 유리 박판)과 광을 산란하는 입자들 (예를 들어, 단백질) 사이에 우수한 콘트라스트를 제공한다.
도 10d 내지 도 10e는 컨테이너 (10)로부터 섬광을 감소시키거나 제거하기 위한 대안적인 조명 방안을 도시하고, 여기서 하나 이상의 광원 (122)이 전술된 제외 구역 내에 [예를 들어, 컨테이너 (10)의 수평 평면 내에] 배치된다.
도 10d 내지 도 10e는 영상화기 (110)의 센서로부터 영상화기의 영상화 광학계 (도시된 바와 같이, 텔레센트릭 렌즈를 포함하는)를 통해 그리고 컨테이너 (10)를 통해 후방으로 외향으로 광선의 전파의 광선 광학계 모델을 도시한다. 센서로부터 후방 전파하는 임의의 광선을 따라 배치된 광원은 센서 상에 광을 굴절하거나 반사할 수 있어, 이에 의해 컨테이너 (10) 및 그 내용물을 잠재적으로 불명료하게 한다. 그러나, 컨테이너 (10)의 수평 평면에서 컨테이너 (10)의 외부벽에 근접하여 위치된 2개의 영역 (1001)이 존재한다는 것을 주목하라. 도 10e에 도시된 바와 같이, 하나 이상의 광원 (122)이 영역 (1001)에 배치되면, 광원으로부터의 섬광이 감소되거나 실질적으로 제거될 수도 있다.
텔레센트릭 렌즈가 도시된 예에서 사용되었지만, 단지 센서에 수직으로 입사하는 광선만이 광선 광학계 모델에서 고려될 필요가 있다는 것을 주목하라. 그러나, 유사한 접근법은 부가의 광선을 고려하여 다른 유형의 영상화 광학계를 위해 적용될 수도 있다. 예를 들어, 일부 실시양태에서, 후방 전파된 광선이 없거나 실질적으로 없는 영역을 식별하기 위해 센서로부터의 대표적인 광선의 세트 (예를 들어, 영상화 시스템의 주 광선을 포함함)를 후방 전파할 수도 있다. 조명 광원은 섬광을 회피하면서 식별된 영역 내에 배치될 수 있다.
도 11은 편광된 광으로 셀룰로스 및/또는 섬유 (천연 또는 합성)로부터 신장된 단백질 응집체를 구별하기 위한 셋업을 도시한다. 조명 시스템 (120)은 입자의 부재시에 블랙 영상을 제공하는 교차된 편광기 (900) 사이에 개재되어 있는 컨테이너 (10)를 향해 광을 방출한다. 입사광의 편광을 수정하는 (예를 들어, 회전) 입자는 영상화기 (110)에 의해 검출된 시계열 데이터 내에 백색으로 나타난다.
관심 입자가 형광성인 것으로 알려지면, 형광 영상화는 도 12에 도시된 바와 같이 입자 식별을 위해 채용될 수 있다. 이 경우에, 조명 공급원 (920)은 관심 입자를 여기하는 청색광을 방출한다. 영상화기 (110)의 전방에 배치된 협대역 (예를 들어, 녹색) 필터 (922)는 단지 여기된 입자로부터의 형광이 검출기에 도달할 것이다. 이들 조명 및 필터 파장은 특정 관심 파장에 적합하도록 선택될 수 있다.
마지막으로, 광을 산란 (굴절)하지도 않고 반사하지도 않는 흑색의 불투명 재료의 작은 부분과 같은 입자를 검출 (및 식별)하는 것이 가능하다. 이러한 불투명 입자를 위해, 샘플은 후방으로부터 직접 백라이트되어야 한다. 입자는 이어서 밝은 배경 상에 어두운 특징으로서 식별 가능하다. 불투명 입자의 영상은 원하는 경우 역전될 수 있어, 입자를 산란하고 반사하는 영상과 동일한 극성을 갖고 스케일링된 영상을 형성한다 (즉, 따라서 입자는 밝은 배경 상에 어두운 스팟 대신에 어두운 배경 상의 밝은 스팟으로서 나타남).
박판-특정 시각적 검사 플랫폼
당업자들에 의해 이해되는 바와 같이, 유리 박판은 유리 컨테이너의 내부면을 수반하는 화학 반응에 의해 형성된 유리의 얇은 가요성 부분 또는 박편이다. 본 발명의 시스템 및 기술은 (과잉량의) 유리 박판을 포함하는 약물의 투약을 방지하기 위해 유리 박판을 포함하는 약물을 투약하는 가능성을 최소화하기 위해 유리 박판을 검출하고, 식별하고, 계수하는데 사용되고/거나 맞춤 제작될 수 있다. 본 발명의 시스템 및 기술은 또한 소정의 조성의 구성에 의존하여 유리 박판 형성을 연구하도록 사용되고/거나 맞춤 제작될 수 있고 이들이 광을 반사하고 산란하는 점에서 단백질 및 다른 유형의 미립자와는 상이하다. 임의의 특정 이론에 구속되지 않고, 특정 조건은 다른 것들보다 유리 박판 형성을 촉진하거나 방해하는 가능성이 더 많다. 예를 들어, 튜빙 프로세스 및/또는 더 높은 열 하에서 제조된 유리 바이얼은 성형된 유리 바이얼보다 박판 형성에 덜 저항성이 있는 경향이 있다. 시트레이트 및 타트레이트와 같은 특정 버퍼를 갖고 높은 pH (알칼리성)로 조제된 약물 용액이 또한 박판과 연계된다. 약물 제품이 컨테이너의 내부면에 노출되어 유지되는 시간 길이 및 약물 제품 온도는 또한 유리 박판이 형성할 기회에 영향을 미친다. 부가를 위해, 예를 들어 문헌 [Advisory to Drug Manufacturers: Formation of Glass Lamellae in Certain Injectable Drugs (2011년 3월 25일)](www.fda.gov/Drugs/DrugSafety/ucm248490.htm)을 참조할 수 있고, 이는 그 전문이 본원에 참조로 포함된다.
이 원리에 기초하여 구별을 위한 시스템을 생성하기 위해, 영상화기는 통상의 방식으로 바이얼과 정렬되고 컨테이너의 저부 (카메라축에 직교하는)를 통해 입사 조명을 배향할 수 있다. 이는 산란하는 입자 (예를 들어, 단백질)로부터 매우 적은 신호 및 반사하는 입자 (예를 들어, 유리 박판)로부터 큰 신호를 생성한다. 달리 말하면, 박판이 용기를 통해 부유함에 따라, 이들은 간헐적으로 점멸하는 것으로 보인다. 이 기술은 단백질 응집체로부터 박판 입자를 구별하는데 매우 특정한 것으로 보인다. 부가적으로, 이 영상화 기술을 사용하여 얻어진 신호는 바이얼 내의 박판의 농도와 상관된다. 그 결과, 이 기술은 상업적인 제품 내의 박판의 비파괴적인 검출을 위해 사용될 뿐만 아니라, 또한 어느 제형이 증가된/감소된 박판 존재를 유도하는지를 판정하기 위한 도구로서 사용될 수 있다.
도 13a 및 도 13b는 예시적인 시각적 검사 시스템으로 획득된 유리 박판(도 13a) 및 단백질 (도 13b)의 최대 강도 투영 (MIP) 영상을 도시한다. 통상의 MIP 영상은 하나의 공간축, 예를 들어 z축을 따라 관찰된 3차원 공간을 시각화하기 위해 전산 단층 촬영에 사용된다. 통상의 MIP 영상은 시각축에 평행한 광학 광선을 따라 취해진 데이터의 최대값을 표시한다. 그러나, 이 경우에, 도 13a 및 도 13b에 도시된 MIP 영상은 2차원 영상의 시간적 전개를 나타내는 데이터의 시각화이고 - 이들은 공간축보다는 시간축을 따른 투영이다.
도 13a 및 도 13b에 도시된 MIP 영상을 생성하기 위해, 프로세서는 시계열 데이터 내의 화소의 적어도 일부의 최대값을 선택하고, 여기서 각각의 화소는 용기 내의 각각의 공간 위치로부터 반사된 (및/또는 투과된) 광량을 표시한다. 결과값을 플롯팅하는 것은 화소의 가장 밝은 이력값을 표시하는 도 13a 및 도 13b에 도시된 것들과 같은 MIP 영상을 생성한다. 프로세서는 그 값이 미리 정해진 임계값을 초과하는 MIP 영상 내의 화소의 수를 계수함으로써 MIP 영상을 스코어링한다. 스코어가 유사한 용기 내의 박판의 수를 나타내는 이력값을 초과하면, 프로세서는 용기가 통계적으로 유리 박판을 포함하는 가능성이 있는 것을 결정한다. 프로세서는 또한 MIP 영상으로부터 유리 박판의 수, 평균 크기 및/또는 크기 분포를 추정함으로써 박판 오염의 심각성을 결정할 수도 있다.
본 발명의 시스템은 또한 예를 들어 시간의 함수로서 입자에 의해 반사된 광량의 차이 및/또는 입자에 의해 투과된 광량의 차이에 기초하여 용기 내의 다른 입자로부터 유리 박판을 구별하는데 사용될 수 있다. 일부 비-박판 입자는 아래[도 8의 광원 (122e)]로부터 검출기로 용기를 조명하는 광원으로부터 광을 반사할 수도 있다. 유리 덩어리, 금속 덩어리 및 이물질 섬유가 예를 들어 저부 조명 구성을 사용하여 연속적으로 표시될 수 있다. 이들 유형의 입자는 배향 의존적인 박판에 대조적으로 이들 입자가 컨테이너를 통해 이동함에 따라 일관적으로 검출될 것이고 영상화기를 향해 광을 반사시키기 위해 자체로 정렬될 때마다 몇개의 프레임에 대해서만 가시적이다. 입자 추적은 일관적으로 가시적이지만 여전히 이동하는 미립자 물질을 추적하기 위해 저부 라이트 시계열 영상에 채용될 수 있다. 이들 트랙은 이어서 박판 스코어링을 위해 사용된 MIP 계산으로부터 제거될 수 있거나 또는 대안적으로 소정의 입자가 어떻게 다른 조명 배향과 상호작용하는지를 판정하기 위해 상호 라이트 정보 기술에 포함될 수 있다. 예를 들어, 광을 반사하는 금속 입자는 저부 조명 구성에 추적될 수도 있다. 이 동일한 입자는 백라이트 [예를 들어, 도 8의 광원 (122f)]로 조명될 때 광을 가린다. 이들 메트릭의 모두를 사용하는 것은 유리 덩어리로부터 금속 입자를 구별하는 것을 가능하게 하고, 이 유리 덩어리는 저부 조명을 반사하고 후방 조명을 가리지 않는다.
입자 검출, 추적 및 특징화
전술된 바와 같이, 도 1에 도시된 시각적 검사 유닛 (100)은 어두운 배경에 대해 영상화된 밝은 입자의 영상의 고품질 고분해능 단색 스트림 (시계열 데이터)을 기록할 수 있다. (대안적으로, 입자는 백색 배경 상의 어두운 스팟으로서 표시될 수 있다.) 약물 제품은 근본적으로 상이한 입자의 광범위한 분류를 포함할 수 있기 때문에, 시계열 데이터는 배경으로부터 영상 상의 특징을 구별하기 위해 다수의 상이한 접근법을 사용하여 분석될 수 있다. 종종, 단일의 영상 상의 입자의 외관(시계열 데이터의 프레임)은 임계적 대상 (예를 들어, 계수/크기)에 대한 진정하게 정확한 정량적 추정을 행하는데 충분하지 않다. 예를 들어, 시계열 데이터의 하나의 프레임 내의 단일의 입자인 것으로 보이는 것은 실제로 서로 충돌하거나 서로 지나치는 2개 이상의 입자일 수도 있고, 이는 정확한 입자 계수 및/또는 입자 크기의 추정을 야기할 수도 있다.
비디오 시퀀스 내의 프레임들 사이의 영상 특징들의 시간적 상관은 입자 계수 및 크기 측정의 정밀도를 향상시킨다. 각각의 입자에 대한 시간 의존적 궤적을 형성하기 위해 연속적인 프레임에서 영상 특징을 함께 연결하는 프로세스는 입자 추적, 정합 또는 할당으로서 알려져 있다. 입자 추적 기술은 다른 용례를 위해 존재한다 (특히, 유체 역학의 실험적 연구에). 그러나, 이들 용례는 통상적으로 우수하게 규정된 구형 추적자 입자를 채용한다. 원리를 약물 제품 및 다른 유체에 적용하는 것은 상당히 더 복잡한 해결책을 필요로 한다. 게다가, 일부 입자의 종에 대해, 시간적 (추적) 분석은 항상 실용적인 것은 아니다. 이러한 경우에, 통계적 접근법은 특징 측정을 생성하기 위한 대안으로서 채용될 수 있다.
도 14는 시계열 데이터의 획득 (1310)으로 시작하는 고레벨 입자 검출 및 식별 (1300)의 개요를 제공한다. 시계열 데이터 (및/또는 역전된 시계열 데이터)는 사전프로세싱되고 (1320), 사전프로세싱된 역전된 시계열 데이터는 역전된 시계열 데이터의 통계적 분석 (1340) 및/또는 입자 추적 (1350)을 포함할 수도 있는 2차원 입자 식별 및 측정 (1330)을 위해 사용된다. 전술된 바와 같이, 역전된 시계열 데이터는 그 프레임들이 역연대순으로 재순서화되어 있는 시계열 데이터이다. 입자 보고 생성 (1360)은 입자 식별 및 측정 (1330)의 완료시에 발생한다.
시계열 데이터 사전프로세싱
사전프로세싱 (1320)은 정적 특징 제거 (배경 제거)(1321), 영상 노이즈 억제/필터링 (1322) 및 강도 임계화 (1323)를 포함한다. 정적 특징 제거 (1321)는 컨테이너를 스핀시키는 것이 그 내에 함유된 유체 및 입자를 여기하는 사실을 이용한다. 이들의 동적 운동은 다른 영상화 특징으로부터 구별되게 한다. 영상 캡처는 컨테이너가 스핀을 정지한 후에 개시되기 때문에, 이동하는 모든 것은 잠재적인 입자라고 가정한다. 정적 특징은 이후에 무관하고, 영상으로부터 제거되어 명료화를 향상시킬 수 있다.
한 실시양태에서, 최소 강도 투영은 정적인 영상 내의 특징에 대한 개략적인 템플레이트를 설정한다. 이는 예를 들어, 컨테이너벽 상에 존재할 수도 있는 스크래치, 먼지 및 결함을 포함한다. 이 '정적 특징 영상'은 이어서 블랙 배경에 대해 단지 이동하는 특징만을 포함하는 새로운 비디오 시퀀스를 생성하기 위해 전체 비디오 시퀀스로부터 이후에 제거될 수 있다. 예를 들어, 도 15a 및 도 15b는 정적 특징 제거 전후에 시계열 데이터의 단일 프레임을 도시한다. 섬광, 스크래치 및 다른 정적 특징이 도 15a에 컨테이너의 부분을 불명료하게 한다. 배경 제거는 다수의 정적 특징을 제거하여, 더 명백하게 가시적인 이동 입자를 갖는 영상 (도 15b)을 남겨둔다.
이 접근법의 주의사항은 표면 스크래치와 같은 대부분의 유리 결함이 비교적 상당한 양의 광을 산란하여, 검출기 화소가 포화됨에 따라 캡처된 영상 내에서 밝은 백색으로 나타난다는 것이다. 이들 특징의 제거는 영상 내에 '사'영역을 야기할 수도 있다. 입자가 이들 조명된 결함의 후방 또는 전방에서 이동함에 따라, 이들 입자는 부분적으로 가려지거나 심지어 완전히 사라질 수도 있다. 이 문제점을 해결하기 위해, '정적 특징 영상'은 보유되고, 분석되고, 입자 크기 및 계수 데이터에 대한 표면 결함의 영향을 최소화하기 위해 입자 위치에 결함 위치를 상관하는데 사용될 수 있다. (덧붙이면, 세척 프로토콜의 적용이 표면 결함이 가능한 한 많이 제거되는 것을 보장하기 위해 시스템 작동 전에 권고된다.) 데이터는 또한 필터링될 수 있어 (1322), 예를 들어 고주파수 및/또는 저주파수 노이즈를 제거한다. 예를 들어, (역전된) 시계열 데이터에 공간 대역통과 필터를 적용하는 것은 제1 공간 주파수 또는 제2 공간 주파수를 초과하여 변하는 데이터를 제거하고/거나 억제한다.
일단 배경 특징이 제거되어 있으면, 시계열 데이터는 미리 정해진 수의 값들 중 하나에 영상 내의 각각의 화소의 강도값을 반올림함으로써 임계화된다 (1323). 좌측에 도시된 8-비트 스케일에 따라 스케일링되는 (다른 가능한 스케일은 16-비트 및 32-비트를 포함함) 도 16a 및 도 16c에 도시된 그레이스케일 영상을 고려하라. 각각의 화소는 0 내지 255의 강도값을 갖고, 여기서 0은 검출된 광이 없는 것을 나타내고, 255는 검출된 최고 광량을 나타낸다. 127 이하의 이들 강도값을 0으로, 128 이상의 값을 255로 반올림하는 것은 도 16b 및 도 16d에 도시된 흑백 영상을 생성한다. 당업자들은 다른 임계화 (및 다중 임계화)가 또한 가능하다는 것을 즉시 이해할 수 있을 것이다.
입자 검출
영상 내의 효과적인 입자 검출은 다양한 영상 프로세싱 및 분할 기술에 의존한다. 분할은 영상 내의 관심 특징이 개별의 관리 가능한 물체로 간단화되는 연산 프로세스를 칭한다. 영상으로부터 특징을 추출하기 위한 분할 방법은 예를 들어 의료 영상화 분야에서 광범위하게 사용되고, 이들 기술은 입자 식별을 위해 채용되어 있다. 간략하게, 카메라로부터 획득된 영상은 임계화, 배경 (정적 특징) 제거, 필터링 (예를 들어, 대역통과 필터링) 및/또는 콘트라스트를 최대화하기 위한 다른 기술을 사용하여 사전프로세싱된다. 완료시에, 프로세서 (130)는 영상을 분할하고, 이어서 표시 입자로서 영상의 특정 영역을 선택하고, 이에 따라 이들 영역을 분류한다. 적합한 분할은 이들에 한정되는 것은 아니지만, 신뢰-접속, 분수선, 레벨 세트, 그래프 분할, 압축 기반, 클러스터링, 영역 성장, 멀티-스케일, 에지 검출 및 막대그래프 기반 접근법을 포함한다. 영상이 획득된 후에, 분할은 입자 유형을 갖는 획득된 영상 상에 소정의 특징을 상관하기 위해 부가의 정보를 생성할 수 있다. 예를 들어, 영역, 주계, 강도, 선명도 및 다른 특징과 같은 소정의 분할된 특징에 대한 정보는 이어서 입자의 유형을 결정하는데 사용될 수 있다.
입자 추적 및 시간 역전
중대하게, 어떠한 이전에 이용 가능한 입자 식별 도구도 입자들이 바이얼 주위로 이동함에 따라 입자들의 시간적 거동을 완전히 상세하게 고려하지 않는다. 입자의 계수 및 크기분류는 단일의 "스냅샷"으로부터만 측정되면 부정확할 수 있다. 그러나, 시계열 데이터는 입자 추적 (1340)을 사용하여 분석될 수 있는 입자 거동의 더 완전한 영상을 제공하고, 이는 각각의 개별 입자에 대한 시간 의존적 스프레드시트의 생성을 가능하게 하여, 그 기본적인 특성의 훨씬 더 강인하고 정확한 측정을 가능하게 한다. 입자 추적은 비디오 현미경 검사, 뿐만 아니라 유체 역학 공학 (여기서, 이는 통상적으로 입자 추적 속력계 또는 PTV라 칭함)에서 광대하게 사용되는 기술이다.
PTV가 공지되어 있지만, 대부분의 입자 추적 해결책은 연속적인 비디오 프레임들 사이의 입자의 이동이 약간이고 소정의 영상 내의 입자들 사이의 통상의 분리 거리보다 작은 것으로 가정한다. 이러한 경우에, 이는 최근접 일치 이웃을 식별함으로써 입자 위치들을 연결하는데 충분하다. 그러나, 다수의 용례에서, 이는 적절한 모델은 아니다. 스핀 속력 (예를 들어, 약 300 rpm, 1600 rpm 및/또는 1800 rpm) 및 잠재적으로 높은 입자 농도에 기인하여, 입자는 통상의 입자간 분리 거리보다 연속적인 프레임들 사이에서 더 멀리 이동하는 것으로 예측될 수 있다. 이는 입자의 이전의 이동에 의해 예측된 영역 내의 입자를 검색하는 것을 수반하는 예측 추적의 형태를 채용함으로써 분석될 수 있다. 예측 추적은 도 17에 도시된 바와 같이, 후속의 프레임 내의 입자의 개략적인 미래 위치를 수학적으로 예측하기 위해 물리적 식의 평가를 포함한다. 향상된 성능을 위해, 예측 추적의 이 단계는 예를 들어 도 21c와 관련하여 설명되는 바와 같이, 국부적 유체 거동의 지식 (알려진 경우)과 결합될 수 있다.
소정의 궤적에 대한 정확한 예측을 형성하는 것은 궤적을 기초로 하는 일부 이전의 데이터점을 필요로 할 수도 있다. 이는 수수께끼를 제시하는데 - 영상 시퀀스의 시작시에, 입자가 최고속으로 이동할 때, 위치 예측을 기초로 하는 어떠한 이전의 데이터도 존재하지 않을 수도 있다. 그러나, 시간 경과에 따라, 컨테이너 내의 벽 항력은 회전 유체가 감속하여 최종적으로 정지되게 한다. 충분히 길게 시계열 데이터를 기록하는 것은 입자가 상당히 감속하여 심지어 정지하는 프레임을 생성한다.
입자가 초기에 정적인 것으로 나타나고 비디오가 진행함에 따라 서서히 속력 증가하도록 비디오 (1331)의 타임라인을 역전시키는 것은 궤적을 결정하기 위해 "이전의" 데이터점을 제공한다. 비디오의 시작시에, 입자가 이제 거의 이동하지 않는 경우에, 최근접 일치 원리가 각각의 궤적의 초기 단계를 구성하는데 사용될 수 있다. 적절한 시간에, 시스템은 이어서 예측 모드로 스위칭할 수 있다. 이 방식으로 획득된 데이터의 타임라인을 역전시키는 것은 성능을 극적으로 향상시킨다.
도 17은 시간 역전을 갖는 예측 추적의 개략도를 도시한다. 입자 추적의 목표는 도 17a에 도시된 바와 같이, 프레임 i 내의 입자의 위치 (ai)와 프레임 i+1 내의 그 위치 (ai+1)를 추적 연결하는 것이다. 이는 프레임들 사이의 입자의 이동이 그 가장 근접한 이웃, 입자 b까지의 거리 (d)보다 작으면 간단하다. 입자의 이동 방향이 알려지지 않거나 랜덤하면, 가장 간단한 방법론은 검색 구역 - 통상적으로 반경 (rs)의 원을 갖고, 여기서 rs는 도 17b에 도시된 바와 같이 예측된 입자 이동의 범위보다 길지만 통상의 입자간 분리 거리 (d)보다 작도록 선택된다. 영화 타임라인을 역전한 후에, 도 17c에서와 같이, 입자는 느리게 이동하기 시작하는 것으로 나타난다. 그러나, 잠시 후에, 입자는 가속되는 것으로 나타나고, 최근접 일치 검색 방법은 실패하기 시작할 수도 있다. 역전된 시계열 데이터의 첫번째 일부 프레임은 궤적으로 부분적으로 설정하여, 입자의 속도 및 가속도의 일부 지식을 생성한다. 이 정보는 도 17d에 도시된 바와 같이 프레임 i+1 내의 입자의 개략의 위치를 예측하기 위해 적절한 식에 투입될 수 있다. 이 예측 추적 방법은 특히 조밀한 및/또는 고속 이동 샘플에서 간단한 최근접 일치 추적보다 상당히 더 효과적이다.
질량 중심 검출
도 18a 및 도 18b는 임계화 후에 (역전된) 시계열 데이터 내의 입자에 대한 질량 중심 검출을 도시한다. 먼저, 프로세서 (130)는 그레이스케일 영상 (도 18a)을 임계화된 영상 (도 18b)으로 변환한다. 각각의 입자는 그 형상 및 크기가 프레임이 기록되었을 때 입자의 형상, 크기 및 배향에 의존하는 2차원 투영으로서 나타난다. 다음에, 프로세서는 임의의 적합한 방법을 사용하여 (예를 들어, 연직선법, 기하학적 분해 등에 의해) 각각의 2차원 투영 (예를 들어, 좌표 xi 및 yi에 의해 지시된 바와 같이)의 기하학적 중심 또는 도심을 컴퓨팅한다. 프로세서 (130)는 입자의 궤적을 결정하기 위해 프레임간 기초로 특정 입자의 도심의 위치를 비교할 수 있다.
입자 가려짐
본 명세서에 개시된 각각의 시각적 검사 시스템은 영상 센서의 2차원 표면 상에 3차원 체적 - 컨테이너 및 그 내용물 - 을 투영한다. 소정의 2차원 센서에 대해, 3차원 체적 내의 입자가 경로를 교차하는 것으로 나타나는 것이 가능하다. 이러한 것이 발생할 때, 하나의 입자는 도 19에 도시된 바와 같이 부분적으로 또는 완전히 다른 입자를 가릴 수도 있다. 도 19의 (1)에서, 새로운 입자가 영상 시퀀스에서 식별되고, 영상 시퀀스를 통한 입자의 추적은 도 19의 (2)에 도시된 바와 같이 일련의 순차적인 단계를 생성한다. 도 19의 (3)에 도시된 바와 같이 연속적인 프레임 내의 잠재적인 일치를 조사하기 위해 검색 구역을 채용한다. 때때로, 하나 초과의 후보 입자가 도 19의 (4)에 도시된 바와 같이 검색 구역을 점유할 것이고, 이 경우에 시스템은 가장 우수한 일치를 선택한다. 당업자들에 의해 즉시 이해되는 바와 같이, 가장 우수한 일치는 상이한 접근법들의 조합 중 임의의 하나를 사용하여 결정될 수 있다. 예를 들어, 하나의 프레임 내의 후보 입자를 표시하는 데이터는 선행 프레임 내의 입자를 표시하는 데이터와 비교하고/거나 상관될 수 있다. 이들에 한정되는 것은 아니지만 외관의 크기, 형상, 휘도 및/또는 변화를 포함하는 파라미터를 비교하고 상관하는 것은 후보 입자에 대한 일치를 유도한다. 예시적인 시각적 검사 시스템은 도 19의 (5)에 도시된 가려짐과 같은, 충돌, 가려짐 및 일시적 입자 사라짐에 대처할 수 있다. 입자가 복구될 때, 도 19의 (6)에서와 같이, 트랙은 재구성될 수 있다. 예시적인 시스템은 또한 2개의 트랙 (및 이들의 검색 구역)이 충돌할 때 발생된 충돌을 해결할 수 있어, 정확한 궤적이 도 19의 (7)에서와 같이 형성되는 것을 보장한다.
도 20은 2차원 영상에서 입자 가려짐의 다른 경우를 도시하고, 도 20a는 현탁액 내의 입자의 통상의 영상이다. 도 20b 내지 도 20e은 도 20a의 박스로 나타낸 영역의 확대도를 도시하고, 2개의 입자가 반대 방향으로부터 서로 접근한다. (역전된) 시계열 데이터 내의 다음의 프레임은 가려짐이, 2개의 입자가 허위적으로 큰 단일 입자인 것으로 보이게 하는 것을 나타낸다. 가려짐이 부분적이면 (도 20c), 이는 허위적으로 큰 단일 입자의 등장을 유도할 수 있다. 가려짐이 완전하면 (도 20d), 더 소형의 입자가 시야로부터 완전히 손실될 수도 있고 입자 계수가 1만큼 감소할 수도 있다. 이는 인공적으로 증가된 크기 측정이 규제 임계치를 초과하기에 충분할 수도 있기 때문에 약물 제품을 검사할 때, 실제로 정밀 조사 하의 제품이 단지 허용 가능한 육안 확인 불가능 입자를 포함할 때 매우 중요할 수도 있다. 도 20e에 의해, 입자는 서로를 넘어 이동되고 독립적인 추적이 계속될 수 있다. 입자 궤적 및 후속 시간 의존적 크기 프로파일을 분석함으로써, 시각적 검사 시스템은 가려짐에 기인하여 에러를 자동으로 보정할 수 있어, 더 낮은 거짓 거절율을 유도한다.
손실된 입자의 고려
설명된 바와 같이, 입자들은 다수의 이유로 소정의 비디오 시퀀스의 부분으로부터 사라질 수 있다. 이들 입자는 전술된 바와 같이 정적 특징 제거에 기인하여 '블라인드 스팟' 및/또는 '사'영역을 횡단할 수도 있다. 마지막으로, 일부 유형의 입자는 이들이 영상화 광학계에 대해 나타나고 사라지는 (점멸함) 광학 거동을 나타낼 수도 있다. 이러한 경우에, 프로세서는 이하와 같이 이들 '손실 입자'의 이동을 예측할 수 있다. 입자가 특정 타임프레임 내의 예측된 위치에서 다시 나타나야 하면, 프로세서는 궤적을 연결하고 중간 프레임에 대한 가상 입자 데이터를 내삽할 수 있다. 가상 입자 데이터가 적절하게 태그되어 이것이 진정한 측정된 입자 데이터로부터 구별될 수 있게 한다는 것을 주목하라.
도 21a 내지 도 21c는 손실된 입자, 즉 비디오 시퀀스의 도중에 걸쳐 시야로부터 일시적으로 사라지는 입자를 추적하여 복구하기 위한 한 기술을 도시한다. 사라짐은 다른 (더 대형의) 입자 뒤의 가려짐, 표면 결함 뒤의 가려짐, 알려진 블라인드 스팟을 통한 전이 또는 간단히 입자의 광학 기하학 구조의 특성 (예를 들어, 일부 유형의 입자는 단지 특정 배향에서 가시적일 수도 있음)에 기인할 수도 있다. 시야로부터 사라지는 입자의 발견 또는 복구는 입자가 검출되고 식별될 수 있는 정밀도를 향상시킨다.
도 21a는 컨테이너 표면 상의 결함에 의해 가려지는 입자를 발견하기 위한 예측 추적을 도시한다. 표면 결함은 대량의 광을 산란하여, 영상의 상응 영역을 포화시킨다. 정적 특징 제거가 채용된 후에, 이는 영상 내에 '사구역'을 생성한다. 이 구역을 횡단하는 임의의 입자가 일시적으로 사라진다. 프로세서 (130)는 유한한 수의 단계에 대한 가상 입자를 생성함으로써 '손실된' 입자를 복구할 수 있다. 입자가 다시 나타나고 검출되면, 트랙은 통합된다.
보다 구체적으로, 프로세서 (130)는 그 사라짐에 앞서 입자의 속도를 결정하기 위해 예측 추적을 사용한다. 프로세서는 또한 예측된 입자 위치를 외삽하기 위해 예측 추적 및 입자의 속도를 또한 사용할 수 있다. 입자가 예측된 위치에서 재차 나타나면, 가상 위치들이 연결되어 완전한 궤적을 형성할 수 있다. 입자가 사전 규정된 시간 윈도우 내에 다시 나타나지 않으면, 이는 영구적으로 손실되는 것처럼 신호화될 수 있고, 더 이상 추적되지 않는다.
도 21b는 시야 외에 있는 동안 방향의 변경 또는 상당한 가속도를 경험하는 입자를 어떻게 추적하는지를 도시한다. 입자 궤적을 예측하는 대신에, 프로세서 (130)는 유체의 국부적 거동의 성질을 사용하여 파단된 궤적을 소급적으로 연결한다. 이 경우에, 프로세서 (130)는 이 속력 및 스케일에서 유체의 층류 특성을 고려함으로써 궤적을 통합한다.
도 21c는 입자가 알려진 블라인드 스팟을 횡단함에 따라 어떻게 사라지고 다시 나타나는지를 도시한다. 본 실시예에서, 입자는 컨테이너의 극단 에지에서 알려진 블라인드 스팟을 횡단한다. 컨테이너 영상에 대한 블라인드 스팟의 위치에 대한 정보를 갖고 프로세서 (130)를 프로그램하는 것은 프로세서 (130)가 궤적을 재구성할 수 있게 한다.
입자 형상 불규칙성
일부 입자는 대부분의 입자 추적 기술에 의해 가정되는 바와 같이, 구형이 아니거나 점과 같은 것으로 고려되도록 충분히 작다. 실제로, 다수의 입자는 불규칙적으로 성형되고, 이들이 도 22a 내지 도 22c에 도시된 바와 같이 유체를 통해 이동함에 따라 카메라에 대해 구르고 회전할 수도 있다. 일부 경우에, 불규칙적으로 성형된 입자는 도 22b에 도시된 바와 같이 그 자신의 궤적을 각각 갖고 2개의 개별 입자로서 보여질 수도 있다. 2차원 물체의 측정된 질량 중심의 이러한 예측 불가능한 이동은 입자의 진정한 이동을 불명료하게 할 수도 있다. 이 거동은 예측 추적의 프로세스를 심각하게 복잡하게 한다. 본 명세서에 설명된 시각적 검사 시스템은 예를 들어 불규칙적으로 성형된 입자에 대해 도 22a 및 도 22c에 도시된 바와 같이 평균 궤적을 계산함으로써, 불규칙적으로 성형된 입자의 명백하게 교란된 운동에 대처하는 기능성을 포함할 수도 있다.
컨테이너/제품-특정 유체 역학
컨테이너 후-스핀시의 입자의 운동은 중력의 효과와 유체의 운동의 조합의 결과이다. 유체의 운동은 유체의 점도, 충전 체적, 컨테이너 형상 및 크기 및 초기 스핀 속력의 함수이다. 입자 추적 성능은 유동 시스템의 물리적 제약의 지식을 궤적 구성에 합체함으로써 상당히 향상될 수 있다.
통상의 컨테이너 내에서 스핀되는 액체의 유체 역학은 특정 상황 하에서 놀랍게도 복잡할 수 있다. 유체 역학 지식 (통상적으로 약물 산업에 사용된 컨테이너에 속함에 따라)을 궤적 구성에 합체하는 것은 종래 기술에 비해 신규성 및 개발의 상당한 영역을 구성한다.
도 23은 시각적 검사 플랫폼에 의해 생성된 실세계 입자 궤적에 대해 비교된 연산 모델로부터의 결과를 갖고, 통상의 컨테이너 내의 유체 거동의 예시적인 예를 도시한다. 연구는 커버되지 않은 예측되지 않은 민감도를 갖는데, 예로서 도 23d에서 본 출원인은 스핀 단계 중에 (도 23a) 생성된 와류의 이완에 기인하는 바이얼의 중심 내의 좁은 수직 칼럼을 따른 입자 이동을 볼 수 있다. 이 중심 칼럼 내의 유체가 수직으로 상향으로 이동함에 따라, 유체는 일반적으로 가라앉도록 예측될 수도 있는 무거운 입자를 상향으로 일소시킬 수 있다. 이는 예를 들어 발생하는 것으로 예측될 수 있는 식별 기포들과 컨테이너 특정 유체 운동에 기인하여 발생하는 이물질 입자 사이의 혼란을 유발할 수 있다.
예시적인 시각적 검사 시스템은 다른 방식으로 가능할 것보다 상당히 더 정확한 결과를 생성하기 위해 약물 제품의 예측된 유체 역학의 이전의 지식을 활용할 수 있다. 도 23에 도시된 것과 같은 물리적 모델을 이 방식의 입자 추적과 조합하는 것은 현존하는 기술에 비해 상당한 개량을 나타낸다.
에러 보정
본 명세서에 개시된 시각적 검사 시스템이 대부분의 실험 조건 하에서 강인하지만, 소형 3차원 체적 내에서 이동하는 다수의 입자를 추적하는 과제의 복잡성은 주로 입자들이 '충돌'할 때 연속적인 프레임들 사이에 형성되는 부정확한 궤적의 형태로 일부 에러가 도입되는 위험이 항상 존재하는 것을 의미한다. 이 현상은 도 24a에 도시된다.
시각적 검사 시스템의 물리적 제약의 이해가 장점을 갖고 채용될 수 있다. 넓게 말하면, 각각의 입자 주위의 국부적으로 유체의 지배적인 이동은 층류이다 (난류 또는 랜덤이기보다는). 이러한 것이 본질적으로 의미하는 것은, 충분히 고속 카메라로, 이 시스템 내의 자연 입자 궤적이 특히 입자가 영상 내의 컨테이너의 중심을 횡단함에 따라, 방향의 급격하고 급한 변화가 없이 원활하게 변해야 한다. 일단 초기 궤적 연결이 완료하면, 시스템은 이러한 에러에 대한 궤적을 소급하여 분석할 수 있다. 이들이 검출되면, 시스템은 더 물리적으로 일관적인 해결책이 발견될 수 있는지를 설정하기 위해 가까운 궤적들을 비교할 수 있다. 이는 도 24b에 도시된다.
정확한 입자 계수
입자 계수가 입자 검출 후에 단일 시점에 (예를 들어, 도 24a에 도시된 바와 같이) 촬영된 스냅샷 영상 내의 입자의 수를 계수함으로써 추론될 수 있고, 여기서 각각의 입자는 계수의 수로 라벨 표기된다. 이 접근법은 간단하지만, 다양한 이유로 체적 내의 입자의 수가 계통적으로 덜 계수되는 경향을 갖는다. 예를 들어, 하나 이상의 입자는 다른 입자 또는 표면 결함에 의해 가려질 수도 있다. 입자는 알려진 (또는 알려지지 않은) 블라인드 스팟 내에 있을 수도 있다. 게다가, 극단적으로 소형 또는 희미한 입자는 이들 입자가 측정 임계치를 가로질러 이동함에 따라 시야로부터 간헐적으로 나타나고 사라질 수도 있다.
본 명세서에 설명된 입자 추적의 한 장점은 이들 문제점 모두를 고려할 수 있다는 것이다. 그 결과, 강인한 입자 추적에 대해, 입자 계수는 단일의 영상 내의 입자의 수 또는 다수의 영상의 통계적 분석보다는, 개별 입자 트랙 (도 24b에서와 같이)의 수를 계수함으로써 향상될 수 있다. 단일의 프레임 (또는 전체 프레임) 내의 입자의 수보다는 입자 궤적의 수를 계수하는 것은 통상의 입자 추적 기술에 비한 상당한 향상을 나타낸다. 향상의 크기는 존재하는 입자의 수 및 크기(들)에 따라 변한다. 개략적으로 말하면, 입자의 수가 증가함에 따라, 가려짐의 기회가 증가하고 따라서 본 발명의 입자 추적의 일시적 능력에 기인하는 향상은 비례적으로 증가한다.
정확한 입자 크기분류
통상의 입자 측정 시스템은 정적 영상으로부터 입자 크기를 측정한다. 가장 통상적으로, 이는 입자의 가장 긴 단일의 치수로서 입자 크기를 규정할 수도 있는 규제 및/또는 산업 표준에 따라 도 25에 도시된 바와 같이, 입자의 가장 긴 겉보기 축의 길이 또는 페레 직경을 측정함으로써 행해진다. 이 정의 하에서, 1 mm 머리카락은 1 mm 직경을 갖는 구형 입자와 동일하게 분류된다. 이러한 점을 상기하여, 2차원 영상으로부터, 최대 페레 직경이 사용을 위해 적당한 척도이다. 그러나, 정적 영상으로부터 입자 크기의 측정은 다수의 치명적 문제점을 겪는다.
첫째로, 3차원 체적의 2차원 투영에서, 다수의 입자가 중첩하는 것이 용이하게 가능하여, 단일의 훨씬 더 대형의 입자로 보이는 것을 생성한다. 규제자가 허용 가능한 입자 크기에 매우 엄격한 상한을 설정하는 산업에서, 이는 특히 제조 용례에서 치명적인 문제점인데, 여기서 특히 조밀하게 존재하는 샘플에 대해 거짓 거절을 유도할 수도 있다.
둘째로, 불규칙적 형상의 입자는 이들이 컨테이너 주위로 유동함에 따라 예측 불가능하게 구를 수도 있다 (카메라에 대해). 단일의 2차원 스냅샷으로, 소정의 입자의 가장 긴 치수는 카메라의 시야축에 직교하는 것을 보장하는 것이 불가능할 수도 있다. 따라서, 시스템은 계통적으로 소형의 입자일 수도 있고, 이는 심하게 규제된 산업에서 비참한 결과를 가질 수 있다. 입자 추적을 통해 컨테이너 주위에 유동할 때 입자의 시간 의존적 최대 페레 직경을 검사하는 것은 입자의 가장 큰 치수의 훨씬 더 정확한 측정을 제공한다.
셋째로, 입자가 원통형 컨테이너 주위로 이동함에 따라, 이들 입자는 일반적으로 도 25a 및 도 25b에 도시된 바와 같이 주위 유체 유동의 방향과 이들의 장축을 정렬한다. 일반적으로, 원통형 컨테이너에 대해, 이는 신장된 입자가 극단 측방향 에지에서보다 영상의 중심에서 더 크게 보일 수도 있다는 것을 의미한다. 일반적으로, 영상화기는 입자가 영상 센서의 광축에 대해 직교하여 이동할 때 최대 겉보기 입자 크기 (페레 직경)을 검출한다. 단일 입자가 컨테이너 주위로 유동하는 것처럼 추적되면, 그 정확한 최대 신율은 정확하게 측정될 수 있는데 - 일부은 정적 측정 절차가 성취되는 것을 어렵게 한다.
마지막으로, 조명을 스트로빙함으로써 동작 번짐의 효과를 최소화하기 위한 노력에도 불구하고 (전술된 바와 같이), 유체 및 입자가 최고속으로 이동할 때, 영상 캡처 시퀀스의 시작시에 소정 정도의 동작 번짐이 발생하는 것이 여전히 가능할 수도 있다. 입자 크기의 시간 의존적 분석을 사용함으로써, 동작 번짐에 기인하는 데이터 내의 아티팩트 (측정된 입자 크기를 증가시키는 경향이 있음)가 식별되고 억제될 수 있다.
도 25c 내지 도 25e는 더 정확한 입자 크기 측정을 위한 입자 궤적을 추적하기 위해 시계열 데이터의 사용을 도시한다. 도 25c는 바이얼 후-스핀 주위에서 이동하는 100-마이크로미터 폴리머 마이크로구의 통상의 트랙을 도시한다. 입자는 이들의 속도가 도 25d에 도시된 바와 같이 관찰 방향에 직교할 때, 이들이 컨테이너의 중심을 교차하는 것처럼 보임에 따라 카메라에 대해 최고 속력으로 이동한다. 예를 들어, 초기 스핀 속력이 300 rpm이고 입자의 반경방향 위치 (rp)가 5 mm이면, 입자 속도 (vp)는 약 9.4 m/s이다. 이 속력에서, 단지 10 ㎲의 카메라 노출 시간은 동작 번짐에 기인하여 겉보기 입자 크기를 두배로 한다. 도 25e는 얼마나 심하게 동작 번짐이 영상에 영향을 미칠 수 있는지를 도시하고, 좌측에서 입자는 고속으로 (약 300 rpm) 이동하여 신장되고, 동일한 입자는 정지 상태에 있고 더 원형인 것처럼 보인다.
도 25f는 도 25c에 도시된 입자의 시간 의존적 페레 직경의 그래프이다. 원통형 컨테이너의 렌징 효과에 기인하여, 입자의 겉보기 크기는 컨테이너의 에지 부근에서 감소된다 (우측축 틱 D). 최대 입자 크기의 가장 우수한 추정은 적당한 속력에서 입자가 컨테이너의 중심을 향해 횡단할 때 발생한다 (우측축 틱 B). 속력이 너무 높으면 (통상적으로 컨테이너가 스핀된 후에 최초 몇초 동안 발생함), 동작 번짐은 입자 크기를 과장한다 (우축측 틱 A). 결국에는, 유체 항력에 기인하여, 입자는 함께 이동하는 것을 정지할 것이다 (우측축 틱 C). 이 경우에, 중간 범위 피크값 (우측축 틱 B)은 최대 입자 크기의 가장 정확한 판독치이다.
입자 특징화
도 26a는 입자 및 이들의 궤적의 모두를 갖는 시계열 데이터의 연속적인 프레임을 도시한다. 대략 평면형 트랙은 단백질 응집체를 모방하는 100-마이크로미터 폴리머 마이크로구의 궤적을 표시한다. 거의 중성 부력 인 이들 입자는 유체와 함께 이동하고 현저하게 가라앉거나 상승하지 않는다. 수직으로 하강하는 트랙이 100-마이크로미터 유리 비드의 궤적을 표시하고, 이 비드는 초기에 유체와 함께 회전되지만 시퀀스가 진행됨에 따라 가라앉는다. 상승하는 트랙은 양의 부력을 갖는 공기 기포 및 입자의 궤적을 표시한다.
입자 추적은 검사 하의 입자의 성질에 대해 중요한 단서를 제공할 수 있는 다수의 시간 의존적 특성의 측정을 가능하게 한다. 예를 들어, 일반적으로 규제 관점으로부터 인자한 것으로 고려될 수 있는 공기 기포는 현재 광학적 기반 검사 기계를 혼란시킬 수 있어, 거짓 긍정 및 불필요한 거절을 유도한다. 이 경우에, 입자의 시간 의존적 운동 (공기 기포는 유체가 감속함에 따라 수직으로 상승하는 경향이 있음)이 입자 추적에 의해 생성된 궤적으로부터 용이하게 식별될 수 있는 매우 명백한 특성을 유도한다. 유사하게, 중성 부력 입자는 많이 상승하거나 낙하하지 않을 수도 있고, 반면에 조밀한 입자가 컨테이너의 저부에 가라앉는다. 보다 밝은 입자는 스피닝 유체에 의해 형성된 와류 내에 일소될 수도 있고, 무거운 입자는 직선 궤적을 가질 수도 있다.
더 광범위하게는, 입자 추적 프로세스는 위치, 이동 속도, 이동 방향, 가속도, 크기 (예를 들어, 2차원 영역), 크기(최대 페레 직경), 신율, 구형도, 콘트라스트 및 휘도를 포함하는 모든 관련 파라미터의 상세를 포함하는 도 26b에 도시된 것과 같은 시간 의존적 스프레드시트를 생성한다. 이들 파라미터는 특정 종으로서 입자를 분류하는데 사용될 수 있는 서명을 제공한다. 입자 추적 해결책을 경유하여 성취 가능한 이 접근법은 대부분의 관심 입자에 대해 우수하게 작용한다. 시간 의존적 측정의 이러한 어레이에 기초하여, 입자간 기초로 입자를 분류하는 능력은 본 발명의 특정 이익이다.
비디오 압축
상대적으로 대형 컨테이너 내에 매우 소형 입자를 시각화하는 것은 매우 고분해능 영상 센서의 사용으로부터 이익을 얻는다. 영상 캡처의 속력은 또한 정확한 궤적 구성을 보장하기 위해 최대화될 필요가 있다. 이들 요구의 조합은 예를 들어 1 GB, 2 GB, 5 GB, 10 GB 또는 그 이상과 같은 극단적으로 대형 비디오 파일을 생성한다. 일부 용례에서, 분석 데이터에 추가하여 원본 비디오를 보관할 필요가 있을 수도 있다. 심지어 적당하게 치수 설정된 샘플 세트에서, 수반된 대형 파일 크기는 잠재적으로 데이터 저장 비용을 과중하게 할 수 있다.
(역전된) 시계열 데이터의 비디오 압축은 (역전된) 시계열 데이터 파일의 크기를 감소시키는데 사용될 수 있다. 입자 데이터 완전성을 보호하는 것은 무손실 비디오 압축의 사용을 필요로 할 수도 있다. 연구는 더 통상적으로 사용되는 (그리고 더 효율적인) 손실 압축 기술 (예를 들어, MPEG)이 영상을 치명적으로 왜곡시켜 교란할 수 있어, 다수의 원하지 않는 시각적 아티팩트를 도입한다.
무손실 압축은 일반적으로 손실 압축에 비교하여 상대적으로 비효율적이지만, 그 효용성을 향상시킬 수 있는 다수의 단계들이 존재한다. 시계열 데이터의 대부분의 프레임은 어두운 배경에 대한 소량의 소형의 밝은 물체를 나타낸다. 어두운 배경은 유용한 정보를 포함하지 않는다. 이는 진정하게 블랙은 아니고 - 오히려 매우 희미한 랜덤 노이즈로 이루어진다. 이 배경 노이즈를 순수 블랙 배경으로 대체하는 것은 영상을 상당히 간단화하고, 표준 무손실 압축 기술 (예를 들어, zip, Huffyuv)이 작동하게 하는 것을 훨씬 더 효율적이게 한다.
이 프로세스는 문헌의 다른 위치에 보고되어 있다. 그러나, 여기서 신규한 것은 소정의 프레임 내의 배경을 실제로 구성하는 것의 특정 판정이다. 다른 압축 프로세스는 임계 강도 레벨을 설정하고, 이 레벨 미만의 영상 내의 모든 화소가 배경의 부분인 것을 가정한다. 이는 광범위하게 효과적인 전략이지만, 보유된 입자의 크기의 약간의 감소를 야기할 수 있고, 그 휘도가 본질적인 랜덤 배경 '노이즈'의 상한과 동일한 정도인 매우 희미한 입자를 완전히 제거할 수 있다.
이들 종래의 기술은 (역전된) 시계열 데이터와 동작하지만, 예시적인 실시양태에 사용된 압축은 파괴적인 임계화의 채용에 앞서 희미한 입자에 대한 배경을 분석하는 고유의 단계를 채용한다. 이는 데이터 저장 요구에 대한 감소를 최대화하면서 데이터 완전성을 보유하는 가장 우수한 균형을 보장한다.
충전 체적/메니스커스 검출
시각적 검사 플랫폼의 자동화된 실시양태는 샘플의 충전 체적을 정확하게 검출하는데, 이는 충전 체적이 특정 런을 가로질러 일관적일 수 있는 보장이 없으면, 연구 용례에서 중요하다. 이는 특히 데이터 전송 및 저장소에 압력을 발생시키는 고분해능 영상 센서에 의해 생성된 것들과 같은 매우 대형 데이터 파일을 취급할 때 유용하다. 이 이유로, 임의의 추가의 정보가 무관하기 때문에, 단지 유체 체적만을 커버하도록 기록된 영상을 제한하는 것이 바람직할 수 있다.
예시적인 시스템은 예를 들어 도 27 내지 도 29에 도시되고 후술되는 바와 같이 영상 내의 컨테이너의 경계를 검출하기 위해 자동화된 에지 검출 또는 특징 인식 알고리즘을 채용할 수도 있다. 메니스커스 및 바이얼 기부의 모두는 단일의 고유한 특징이기 때문에, 다수의 가능한 조명 구성 및/또는 영상 프로세싱 기술이 영상 내의 이들의 위치를 정확하게 식별하기 위해 채용될 수 있다. 충전 체적을 측정하고 유체에 의해 점유된 영상의 영역을 결정하는 것은 관심 영역을 생성한다. 구체적으로, 도 8로부터, 광원 (122f)(백라이트), 122e (저부광) 및 122a 및 122b의 조합 (후방각 조명)이 후술되는 바와 같이 충전 체적을 검출하는데 모두 사용될 수 있다.
도 27a 내지 도 27f는 도 8의 후방각 조명 (122a, 122b)을 사용하는 컨테이너 내의 관심 영역의 자동 검출을 도시한다. 도 27a는 용기의 기부 및 메니스커스가 뚜렷한 밝은 물체로서 명백하게 가시화되는 컨테이너의 정적 영상을 도시한다. 예로서, 프로세서는 도 27b에 도시된 바와 같이 컨테이너의 수직벽 및 관심 영역의 폭 (w)을 식별하기 위해 에지 검출을 채용할 수 있다. 그 외관이 덜 예측 가능할 수 있는 메니스커스 및 바이얼 기부의 검출을 위해, 프로세스는 예를 들어 관심 영역 (도 27c에 도시됨)의 간단화된 영상을 제공하기 위해 강도 임계화 및 분할을 채용할 수 있다. 이 단계에서, 프로세서는 예를 들어 그 표면들이 스크래치되고/거나 먼지로 덮여진 컨테이너와 같은 입자 분석에 적합하지 않을 수도 있는 컨테이너를 자동으로 식별할 수 있다. 시스템의 효용성은 과도한 탁도, 컨테이너 표면 결함 또는 과도하게 높은 입자 농도 (이에 의해, 개별 입자가 더 이상 영상 내에서 분별될 수 없음)에 의해 손상될 수 있다. 프로세서가 컨테이너가 만족스러운 것으로 판정하면, 메니스커스 및 바이얼 기부에 상응하는 물체는 이어서 도 27d에 도시된 바와 같이 격리되고 간단화될 수 있다. 프로세서는 도 27e에 도시된 바와 같이 메니스커스의 하부 에지와 바이얼 베이스의 상부 에지 사이의 거리로서 관심 영역의 수직 높이 (h)를 규정한다. 마지막으로, 프로세서는 관심 영역의 폭 및 높이 치수를 사용하여 원본 영상 스트림을 자를 수도 있어 가시적인 유체에 의해 점유된 영상의 영역만이 도 27f에 도시된 바와 같이 기록되게 된다.
도 28a 내지 도 28c는 백라이트 구성 [예를 들어, 도 8의 광원 (122f)]을 사용하여 획득된 데이터로 수행된 유사한 메니스커스 검출 프로세스를 도시한다. 도 28a는 백라이트로 영상화된 통상의 컨테이너를 나타내는 시계열 데이터의 프레임을 도시한다. 메니스커스, 벽 및 기부는 명백하게 구별 가능하고, 도 28b에서와 같이 에지 검출을 사용하여 자동으로 식별될 수 있다. 그러나, 대형 스크래치와 같은 결함은 잠재적으로 백라이트 (도 28b) 또는 후방각 라이트 (예를 들어, 후술되는 도 29c에서와 같이)를 사용하건간에 메니스커스 위치의 정확한 검출을 잠재적으로 손상시킬 수 있다. 한 구현예에서, 본 출원인은 메니스커스 및 바이얼 기부를 식별하기 위해 영상의 강도 임계화를 사용한다. 이들은 비교적 대형 물체이기 때문에 그리고 검출기를 향한 비교적 대량의 광을 산란시키는 이들의 형상에 기인하여, 이들은 존재할 수도 있는 임의의 다른 특징으로부터 뚜렷하게 명백하게 식별될 수 있다.
도 29a 내지 도 29d는 대략 평면형 저부를 갖는 원통형 용기 내의 메니스커스의 검출을 도시한다. 자동화된 충전 체적 검출이 메니스커스를 검출하기 위해 임계화로 시작하고 (도 29a), 이는 이어서 관심 영역을 설정하고 또한 충전 체적의 척도이다. 다음에, 도 29b에서, 스크래치 (도시됨), 먼지, 지문, 유리 결함 또는 응축과 같은 경사 조명 하이라이트 표면 결함은 에지 검출을 어렵게 할 수 있다. 아래로부터 바이얼을 조명하는 것은 [예를 들어, 도 8에서와 같이 광원 (122e)을 사용하여], 도 29c에서와 같이, 표면 결함에 (비교적) 민감하지 않은 방식으로 메니스커스를 조명하는데 - 여기서, 메니스커스는 표면이 상당히 스크래치되어 있더라도 가시적이다. 아래로부터의 조명은 또한 도 29d에 도시된 바와 같이 비어 있는 바이얼과 충만한 바이얼 사이를 구별하고 이들 극단들 사이의 모든 충전 레벨에서 메니스커스 높이를 정확하게 검출하는 것을 가능하게 한다. 아래로부터 바이얼을 조명하는 것은, 이것이 스크래치 및 다른 표면 결함 (도 27c)에 기인하는 에러를 완화시키기 때문에, 메니스커스 검출의 효용성을 증가시킨다. 약간의 각도에서 용기를 조명하기 위해 광원 (122e)을 설정하는 것은 또한 표면 결함에 대한 감도를 감소시킨다. 투명 컨테이너 기부의 부재에 기인하여 아래로부터 조명하는 것이 어려울 수도 있는 주사기에 대해, 유사한 효과가 좁은 각도에서 경사지게 조명함으로써 성취될 수 있다.
전술된 메니스커스 검출과 유사한 검사 기술이 또한 유체 내에 현탁된 입자를 식별하고 분석하기 위한 임의의 후속의 시도를 손상할 특징을 스크린하기 위해 채용될 수 있다. 이는 과도하게 탁한 액체, 치명적으로 손상된 컨테이너 (과도한 스크래칭 또는 표면 부스러기를 포함하는) 및 입자 농도가 너무 높아 입자가 더 이상 분별될 수 없는 유체의 식별을 포함할 수도 있다.
프로세서 및 메모리
당업자들은 애플리케이션 프로그램 등을 실행하는 프로세싱, 저장 및 입출력 디바이스를 제공하는 임의의 적합한 디바이스를 포함할 수도 있다. 예시적인 프로세서는 집적 회로, 필드 프로그램 가능 게이트 어레이 및/또는 임의의 다른 적합한 아키텍처에서 구현될 수도 있다. 예시적인 프로세서는 또한 다른 프로세서 및/또는 서버 컴퓨터(들)를 포함하는 다른 컴퓨팅 디바이스에 통신 네트워크를 통해 연결된다. 통신 네트워크는 서로 통신하기 위해 각각의 프로토콜 (TCP/IP, 블루투스(Bluetooth) 등)을 현재 사용하는 원격 액세스 네트워크, 글로벌 네트워크 (예를 들어, 인터넷), 전세계 컴퓨터의 집합, 근거리 또는 원거리 통신망 및 게이트웨이의 부분일 수 있다. 다른 전자 디바이스/컴퓨터 네트워크 아키텍처가 또한 적합하다.
도 30은 예시적인 프로세서 (50)의 내부 구조의 다이어그램이다. 프로세서 (50)는 시스템 버스 (79)를 포함하고, 여기서 버스는 컴퓨터 또는 프로세싱 시스템의 구성 요소들 사이의 데이터 전송을 위해 사용된 하드웨어 라인의 세트이다. 버스 (79)는 본질적으로 요소들 사이의 정보의 전달을 가능하게 하는 컴퓨터 시스템의 상이한 요소 (예를 들어, 프로세서, 디스크 저장소, 메모리, 입출력 포트, 네트워크 포트 등)를 접속하는 공유된 콘딧이다. 시스템 버스 (79)에는 다양한 입력 및 출력 디바이스 (예를 들어, 키보드, 마우스, 디스플레이, 프린터, 스피커 등)를 프로세서 (50)에 접속하기 위한 I/O 디바이스 인터페이스 (82)가 부착된다. 네트워크 인터페이스 (86)는 컴퓨터가 네트워크에 부착된 다양한 다른 디바이스에 접속하게 한다. 메모리 (90)는 예시적인 시각적 검사 시스템 및 기술의 실시양태를 구현하는데 사용된 컴퓨터 소프트웨어 명령 (92) 및 데이터 (94)를 위한 휘발성 및/또는 비휘발성 저장소를 제공한다. 디스크 저장소 (95)는 예시적인 시각적 검사의 실시양태를 구현하는데 사용된 컴퓨터 소프트웨어 명령 (92) 및 데이터 (94)를 위한 (부가적인) 비휘발성 저장소를 제공한다. 중앙 프로세서 유닛 (84)이 또한 시스템 버스 (79)에 부착되고, 컴퓨터 명령의 실행을 제공한다.
한 실시양태에서, 프로세서 루틴 (92) 및 데이터 (94)는 예시적인 시각적 검사 시스템에 대한 소프트웨어 명령의 적어도 일부를 제공하는 컴퓨터 판독가능 매체 (예를 들어, 하나 이상의 DVD-ROM, CD-ROM, 디스켓, 테이프 등과 같은 이동식 저장 매체)를 포함하는 컴퓨터 프로그램 제품 (일반적으로, 도면 부호 (92)로 나타냄)이다. 컴퓨터 프로그램 제품 (92)은 당업계에 잘 알려진 바와 같이, 임의의 적합한 소프트웨어 설치 절차에 의해 설치될 수 있다. 다른 실시양태에서, 소프트웨어 명령의 적어도 일부는 케이블, 통신 및/또는 무선 접속을 통해 또한 다운로드될 수도 있다. 다른 실시양태에서, 예시적인 프로그램은 전파 매체 [예를 들어, 인터넷 또는 다른 네트워크(들)와 같은 글로벌 네트워크를 통해 전파된 무선파, 적외선파, 레이저파, 음파 또는 전기파] 상의 전파된 신호 상에 구체화된 컴퓨터 프로그램 전파된 신호 제품 (107)이다. 이러한 캐리어 매체 또는 신호는 예시적인 루틴/프로그램 (92)에 대한 소프트웨어 명령의 적어도 일부를 제공한다.
대안적인 실시양태에서, 전파된 신호는 전파된 매체 상에서 운반된 아날로그 캐리어파 또는 디지털 신호이다. 예를 들어, 전파된 신호는 글로벌 네트워크 (예를 들어, 인터넷), 원격 통신 네트워크 또는 다른 네트워크를 통해 전파된 디지털화된 신호일 수도 있다. 한 실시양태에서, 전파된 신호는 밀리초, 초, 분 또는 그 이상의 기간에 걸쳐 네트워크를 통해 패킷으로 송신된 소프트웨어 애플리케이션에 대한 명령과 같은 소정 시간 기간에 걸쳐 전파 매체를 통해 전송된 신호이다. 다른 실시양태에서, 컴퓨터 프로그램 제품 (92)의 컴퓨터 판독가능 매체는 예를 들어 컴퓨터 프로그램 전파된 신호 제품에 대해 전술된 바와 같이, 전파 매체를 수신하고 전파 매체에 구체화된 전파된 신호를 식별함으로써, 프로세서 (50)가 수신 및 판독할 수도 있는 전파 매체이다.
일반적으로 말하면, 용어 "캐리어 매체" 또는 과도 캐리어는 상기 과도 신호, 전파된 신호, 전파된 매체, 저장 매체 등을 포함한다.
센서 냉각
전술된 실시양태에서, 전자 센서가 입자의 영상을 캡처하는데 사용된다. CCD와 같은 전자 센서는 특히 낮은 신호 강도에서 측정된 신호의 완전성을 손상하는 역할을 하는 다수의 형태의 랜덤 노이즈를 받게 된다. 일부 실시양태에서, 센서는 노이즈를 감소시키도록 냉각될 수도 있다. 냉각은 예를 들어 열전 쿨러, 열교환기 (예를 들어, 극저온쿨러), 액체 질소 냉각 및 이들의 조합의 사용을 포함하는 임의의 적합한 기술을 사용하여 성취될 수도 있다.
다양한 실시양태에서, 노이즈 감소는 특히 단백질 응집체의 검출에 관한 입자 검출에 있어서 장점을 갖는다. 통상의 용례에서, 단백질 응집체는 비교적 대형일 수 있지만 (예를 들어, 최대 수백 마이크로미터의 직경), 이들 응집체 입자의 물리적 구조는 종종 매우 성기고, 낮은 밀도를 갖고 (큰 비율의 입자는 다공성일 수도 있고 주위 매체로 충전됨) 주위 매체에 대조적인 낮은 굴절률을 갖는다. 이들 물리적 특성에 기인하여, 단백질 응집체는 유리 단편 또는 섬유와 같은 다른 입자에 비교하여 비교적 소량의 광을 산란할 수 있다.
현대식 전자 영상 센서에 영향을 미치는 많은 노이즈는 사실상 열적이다. 이 노이즈는 주로 센서의 동적 범위의 하단에 영향을 미친다. 예를 들어, 일부 실시양태에서, 동적 범위의 더 낮은 X% (예를 들어, 10%)가 노이즈에 의해 점유되고, 영상 임계화 프로세스 중에 (예를 들어, 전술된 바와 같이) 제거되어야 한다. 입자 검출을 위한 임계값은 최소한, ~X%의 이 값보다 높아야 하고, 이에 의해 신호로부터 저강도 데이터를 제거한다. 이는 단백질 응집체와 같은 희미한 입자의 정확한 검출을 방지할 수도 있다. 노이즈를 감소시킴으로써, 예를 들어 센서를 냉각함으로써, 더 낮은 임계값이 사용될 수도 있어, 저강도 신호의 향상된 검출을 허용한다.
도 31은 전술된 임계화 문제점을 도시한다. 도 31의 패널 A는 본 명세서에 설명된 디바이스 및 기술을 사용하여 획득된 통상의 영상 시퀀스로부터 잘라낸 세그먼트를 도시한다. 도시된 바와 같이, 영상화기는 8-비트 그레이스케일 영상인데, 즉 각각의 화소는 0 (블랙) 내지 255 (화이트)로 선형으로 범위를 이룬 강도값을 가질 수 있다. 영상은 2개의 입자, 즉 비교적 밝은 것과 매우 희미한 것을 포함한다. 도 31의 패널 B는 '배경' - 임의의 입자를 포함하지 않는 영상 내의 박스에 상응함 - 의 강도값을 도시하는 강도 막대그래프를 도시한다.
센서는 적어도 부분적으로 열적 효과에 기인하여, 강도 막대그래프의 하단에서 가우스 배경 노이즈 곡선을 나타낸다. 이 곡선의 폭은 입자 검출을 위한 임계값을 결정한다. 요약하면, 입자는 임계화를 생존하기 위해 배경 노이즈보다 상당히 밝아야 할 필요가 있다.
도 31의 패널 C는 밝은 입자에 대한 강도 막대그래프를 도시한다. 입자 영상은 막대그래프 내의 임계값의 우측에 상당한 수의 화소를 갖고 따라서 임계화 후에 용이하게 검출 가능할 것이다.
대조적으로, 도 31의 패널 D에 도시된 바와 같이, 더 희미한 입자는 임계값을 초과하는 비교적 적은 수의 화소를 갖는데 - 이는 임계화/분할 프로세스 중에 와이핑 제거되는 가능성이 있을 것이다. 그러나, 냉각 또는 다른 기술이 노이즈 바닥을 감소시키기 위해 적용되어, 이에 의해 임계값을 좌측으로 시프팅하면, 더 희미한 입자가 검출될 수 있는 것이 가능하다.
광 기반 열거 및 비파괴적 크기분류 (LENS)
컨테이너 내의 입자의 비파괴적 크기분류 및 계수를 수행할 때, 일부 실시양태에서, 컨테이너 자체에 의해 생성된 상당한 아티팩트가 존재한다. 액체 계면은 바이얼을 통해 통과하는 광을 굴절시키고, 이는 크기분류 및 계수 절차를 위해 사용된 입자의 영상 또는 영상들 내의 상당한 왜곡을 발생한다. 그 결과, 소정의 크기의 입자는 바이얼 내의 이들의 공간 위치에 따라, 예를 들어 영상 내에서 최대 4배만큼 큰 것으로 나타난다. 원통형 컨테이너에 대해, 입자 영상은 통상적으로 바이얼의 수직축이 아니라 측방향 축을 따라서만 신장된다. (이들 효과의 도시를 위해 도 5e 참조.)
전술된 바와 같이, 일부 실시양태에서, 이들 왜곡 효과는 보정 광학 기술을 사용하여 보정될 수도 있다 (예를 들어, 완화되거나 심지어 제거됨). 그러나, 일부 실시양태에서, 이러한 광학 보정은 불완전하거나 이용 불가능할 수도 있다. 이러한 경우에, 검출기 상의 상응 영상에 입자의 크기의 직접적인 상관을 수행할 수 없다.
예를 들어, 도 32는 컨테이너로부터의 왜곡이 보정되지 않은 (도 5e에 도시된 상황에 상응함) 시스템을 사용하여 획득된 유체 내 입자 (폴리머 마이크로구)의 치수 설정된 표준의 집단에 대한 검출된 영상 크기 (도시된 바와 같이 100 ㎛ 직경)에 대한 막대 그래프를 도시한다. 컨테이너 왜곡 효과에 기인하는 겉보기 영상 크기의 상당한 편차가 명백히 도시되어 있다.
이 변형예는 각각의 크기 집단으로부터 검출기 상의 겉보기 영역 내에 실질적인 중첩이 존재할 수도 있기 때문에 상이한 크기의 입자의 집단들 사이의 구별을 어렵게 한다. 예를 들어, 도 33은 유체 내 입자의 치수 설정된 표준의 2개의 집단의 검출된 영상 크기 (도시된 바와 같이 100 ㎛ 및 140 ㎛ 직경)에 대한 막대그래프를 도시한다. 2개의 크기 집단들에 대한 막대그래프들 사이의 상당한 중첩이 명백히 도시되어 있다.
일부 실시양태에서, 프로세싱 기술은 전술된 왜곡 효과의 존재에도 정확한 크기분류 정보를 복구하도록 적용될 수도 있다. 프로세싱은 공지의 크기 표준을 사용하여 얻어진 데이터를 사용하여 칼리브레이션된다. 예를 들어, 도 34는 표준 크기 입자의 4개의 상이한 집단 (폴리머 마이크로구)에 대한 실험적으로 획득된 겉보기 크기 막대그래프를 도시한다. 4개의 칼리브레이션 곡선이 도시되어 있지만, 다양한 실시양태에서, 임의의 적합한 수가 사용될 수도 있다. 일부 실시양태에서, 적어도 2개, 적어도 3개, 적어도 4개, 적어도 5개 또는 적어도 6개의 곡선이 사용될 수도 있다. 일부 실시양태에서, 곡선의 수는 2 내지 100개, 또는 4 내지 6개와 같은 그 임의의 하위 범위이다. 일부 실시양태에서, 실험적 칼리브레이션 곡선의 세트는 내삽되어 부가의 곡선을 생성할 수 있다 (예를 들어, 실험적으로 측정된 값들 사이의 크기 값에 상응).
일부 실시양태에서, 칼리브레이션 곡선은 임의의 적합한 양, 예를 들어 적어도 1 ㎛, 적어도 5 ㎛, 적어도 10 ㎛, 적어도 20 ㎛ 이상, 예를 들어 1 ㎛ 내지 1000 ㎛의 범위 또는 그 임의의 하위 범위만큼 상이한 실제 크기를 갖는 입자 집단에 상응할 수도 있다.
일단 칼리브레이션 곡선이 결정되면, 알려지지 않은 크기를 갖는 입자를 갖는 샘플에 대한 겉보기 크기 분포 곡선이 얻어질 수도 있다 (예를 들어, 정적 영상 또는 영상들 또는 임의의 다른 적합한 기술로부터). 샘플 곡선은 동일한 또는 유사한 실험 조건 하에서 얻어질 수도 있다 (예를 들어, 동일한 또는 유사한 컨테이너 크기 및 형상, 유체 특성, 조명 조건, 영상화 조건 등). 이 샘플 곡선은 샘플 내의 입자의 크기를 지시하는 정보를 결정하기 위해 칼리브레이션 곡선에 비교된다.
예를 들어, 일부 실시양태에서, 칼리브레이션 곡선의 가중된 중첩이 샘플 곡선에 비교된다. 중첩의 가중치는 예를 들어 당업계에 공지된 임의의 적합한 피팅 기술을 사용하여 샘플 곡선에 중첩을 피팅하도록 변경된다. 샘플 곡선으로의 가장 우수한 피팅의 가중치는 이어서 샘플 내의 입자의 실제 크기에 대한 정보를 제공한다. 예를 들어, 일부 실시양태에서, 각각의 칼리브레이션 곡선이 가장 우수한 피팅 중첩에 나타나는 횟수는 샘플 내의 상응 크기 종의 계수에 상응한다.
도 35는 실험 샘플 곡선에 대한 칼리브레이션 곡선들의 중첩의 피팅을 도시한다. 이 경우에, 샘플은 입자가 75 내지 125 ㎛ 직경의 범위 내에 있는 것이 알려지도록 준비되었다. 도 36은 상응 영상으로부터 원시 겉보기 크기를 간단히 비닝함으로써 얻어진 크기 계수와 비교하여, 피팅으로부터 최종적인 크기 계수를 도시한다. 원시 데이터에 대해, 실제 75 내지 125 ㎛ 크기 범위 외의 상당한 수의 의사 계수가 존재한다. 대조적으로, 칼리브레이션 곡선의 피팅으로부터 얻어진 결과는 상당히 감소된 수의 의사 계수를 나타낸다.
샘플 데이터를 칼리브레이션 데이터에 비교하기 위한 한 가능한 접근법이 설명되었지만, 다른 적합한 기술이 사용될 수도 있다는 것을 주목하라. 예를 들어, 일부 실시양태에서, 샘플 곡선은 사인곡선 기초 함수를 사용하는 파형의 푸리에 분해와 유사한 기초 함수로서 칼리브레이션 곡선을 사용하여 분해될 수도 있다. 일반적으로, 임의의 적합한 콘볼루션, 디콘볼루션, 분해 또는 다른 기술이 사용될 수도 있다.
일부 실시양태에서, 광 기반 열거 및 비파괴적 ("LENS") 크기분류 기술이 전술된 바와 같이 입자 추적 기술과 조합하여 사용될 수도 있다. 예를 들어, LENS 기술은 입자의 형상이 칼리브레이션 데이터를 생성하는데 사용된 크기 표준에서 입자의 것에 근사할 때 더 우수하게 작동하는 경향이 있을 것이다. 부가적으로, 기술들은 입자의 수가 높을 때 (예를 들어, 10 초과, 50 초과, 100 초과 이상) 우수하게 수행되는 경향이 있어, 알고리즘이 프로세싱되게 하기 위한 더 대형의 데이터 세트를 제공한다.
그러나, 일부 용례에서, 존재하는 입자의 수는 낮을 수도 있다. 일부 용례에서, 초점은 샘플 내의 더 대형 입자에 집중될 수도 있다. 또한, 일부 용례에서, 샘플은 크기 표준 입자의 것과는 상이한 형상을 갖는 입자를 포함할 수도 있다. 예를 들어, 섬유는 표준일 수도 있는 것에 사용된 구형 형상보다는 가늘고 길 것이다. 이들 조건 하에서, LENS 기술이 효과적으로 작용할 수도 있다.
일반적으로, 임의의 수의 입자가 전술된 기술을 사용하여 계수될 수도 있다. 일부 실시양태에서, 계수될 수도 있는 입자의 수의 상한은 샘플 내의 입자/입자 중첩에 의해 결정된다. 일반적으로, 더 많은 입자가 컨테이너 내에 존재할수록, 2개가 단일의 2D 검출기에 분리되는 것으로 보여지지 않을 가능성이 많다. 이는 입자의 크기 및 체적당 입자의 함수이다. 통상적으로, 대형 입자는 검출기 상의 더 많은 영역을 차지한다 (따라서, 더 소형 입자와 비교할 때 소정의 계수/ml에 대해 더 많이 중첩함). 예를 들어, 특정 조건 하에서, 8 ml의 유체로 충전된 10 cc 바이얼 내에서, 50 ㎛의 직경을 갖는 최대 약 500개의 입자가 입자 중첩에 기인하여 덜 계수되거나 더 크게 보이는 효과가 명백해지기 전에 계수될 수도 있다.
그러나, 상기에 제시된 입자 추적 기술은 비교적 대형 입자를 계수하고 크기분류하는데 효과적일 수도 있다. 이에 따라, 일부 실시양태에서, 2개의 접근법의 하이브리드가 사용될 수도 있다. 도 37은 이러한 하이브리드 프로세스의 예시적인 실시양태를 도시한다. 단계 3701에서, 영상 시퀀스가 예를 들어 본 명세서에 설명된 임의의 기술을 사용하여 기록된다. 단계 3702에서, 영상 시퀀스가 프로세싱된다 (예를 들어, 필터링, 임계화, 분할되는 등). 단계 3703에서, 단계 3702에서 생성된 입자 데이터가 임계 크기 초과의 입자에 대해 사전 스크리닝될 수 있다. 이들 대형 입자는 데이터 세트로부터 제거될 수 있고 추적 기술을 사용하여 단계 3704에서 프로세싱될 수 있다. 이는 대형 입자의 품질 시간 의존적 크기 측정을 제공할 수도 있다. 보다 소형 입자 (크기 임계치 미만)의 배경이 존재하면, 이는 LENS 기술을 사용하여 단계 3705에서 프로세싱될 수 있다. 2개의 상이한 기술에 의해 생성된 데이터는 이어서 단계 3706에 조합되어 정밀 조사 하에서 컨테이너에 대한 단일 입자 보고를 생성할 수 있다.
다양한 실시양태에서, 어느 기술이 적용되는지를 결정하는데 사용된 크기 임계치가 약 1 ㎛ 이상, 예를 들어 입자의 폭 또는 직경의 1 내지 400 ㎛의 범위 또는 임의의 그 하위 범위, 예를 들어 약 1 내지 약 50 ㎛, 약 50 내지 약 250 ㎛ 또는 약 75 내지 약 100 ㎛의 범위의 임의의 적합한 임계치 또는 최소값으로 설정될 수도 있다. 일부 실시양태에서, 각각의 기술에 송신된 입자 데이터는 크기 이외의 기준, 예를 들어 입자의 형상에 관련된 정보를 사용하여 선택될 수도 있다. 일반적으로, 기준의 임의의 적합한 조합이 사용될 수도 있다.
3차원 영상화 및 입자 검출 기술
전술된 바와 같이, 일부 실시양태에서, 자동화된 시각적 검사 유닛 (100)은 컨테이너 (10)의 내용물의 3차원 영상화를 허용하는 2개 이상의 영상화기 (110)를 포함할 수도 있다.
예를 들어, 도 38a 내지 도 38c는 3개의 영상화기 (110)를 특징으로 하는 유닛 (100)을 도시한다. 도시된 바와 같이, 영상화기 (110)는 120도 간격으로 컨테이너 (10) 주위의 원에 위치되지만, 다양한 실시양태에서 더 많거나 적은 센서가 채용될 수 있다. 인접한 영상화 센서들 사이의 각도는 서로 동일할 필요는 없지만, 일부 실시양태에서 실제 각도 배열은 후술되는 영상 프로세싱 기술을 간단화한다.
일부 실시양태에서, 각각의 영상화기 (110)는 실질적으로 동일하다. 영상화기 (110)는 컨테이너 (10)가 각각의 영상화기의 시야 내에 중심 설정된 상태로 컨테이너 (10)에 관련하여 모두 동일한 물리적 높이에 있도록 정렬될 수도 있다.
일부 실시양태에서, 이 물리적 정렬을 최적화하기 위해 주의가 취해질 때에도, 작은 배치 에러가 발생할 수도 있다. 이를 고려하기 위해, 영상화기 (110)는 공지의 칼리브레이션 고정구를 영상화함으로써 칼리브레이션될 수도 있다. 임의의 충분하게 작은 측방향 또는 수직 정렬 편차가 이어서 이에 따라 캡처된 영상을 리샘플링 및 시프팅함으로써 고려될 수 있다. 일부 실시양태에서, 영상은 영상화기 (110)에 사용된 상이한 센서들 사이의 감도 또는 다른 성능 특성차의 변동을 보정하도록 프로세싱될 수도 있다.
도 38c는 유닛 (100)에 대한 단일의 영상화 아암을 도시한다. 상세히 전술된 바와 같이, 텔레센트릭 영상화 장치를 채용함으로써, 단지 영상화축에 실질적으로 평행한 광선이 영상화기 (110)의 센서 표면에 도달하는 것을 보장한다. 도 39에 도시된 바와 같이, 기하학적 광선 광학계 기술 (또는 다른 적합한 기술)을 사용하여, 컨테이너벽을 통해 전파하여 센서 표면에 도달할 컨테이너 (10) 내부의 광선의 모델을 설정할 수 있다.
광선 벡터가 공지되면, 2차원 영상으로부터 점 또는 영역을 취하고 강도를 컨테이너 (10) 내로 재차 전파할 수 있다. 2차원으로부터 하나의 수평열을 동시에 취하여, 컨테이너 체적 내의 2차원 수평 그리드를 맵핑 제거할 수 있다. 3개의 영상화기 (110)의 각각과 연계된 수평 그리드는 단일 맵을 생성하도록 중첩될 수도 있다. 부가의 수평 센서열에 대해 프로세스를 반복함으로써, 2차원 그리드의 수직 스택이 예를 들어 컨테이너 (10)의 전체 또는 부분 체적에 상응하는 3차원 (3D) 구조를 형성하도록 축적될 수 있다.
입자 후보는 전술된 것과 유사한 방식으로 강도 임계화를 사용하여 최종적인 3D 구조 내에서 식별될 수도 있다. 임계화는 영상화기 (110)로부터 원본 2차원 영상에 행해질 수 있고, 또는 중첩 후에 3D 구조 내에 수평 맵 상에 행해질 수 있다.
임계화된 3D 구조를 사용하여, 후보 입자를 식별하여, 이에 의해 컨테이너 (10)의 유체 체적 내의 입자의 3D 위치의 직접적인 측정을 얻을 수 있다. 통상의 용례에서, 3D 위치 측정은 대부분의 유체 체적에 대해 정확하지만, 일부 경우에 예를 들어, 영상화기 (110)가 텔레센트릭 렌즈를 포함할 때, 컨테이너 곡률 및 연계된 렌징 효과 (예를 들어, 도 39, 우측 패널에 도시된 바와 같이)에 기인하여 블라인드 스팟을 경험할 수도 있다.
120도의 각도의 3개의 영상화 아암이 사용될 때, 도시된 바와 같이, 블라인드 스팟은 쌍으로 밀접하게 상관한다 (도 39, 우측 패널 참조). 3개의 블라인드 스팟 영역 (3901) 내의 정확한 3D 위치 설정은 배제될 수도 있다. 그러나, 이들 영역에서, 위치 데이터는 가장 근접한 영상화 아암으로부터 2차원 데이터를 검사함으로써 설정될 수 있다.
다양한 실시양태에서, 블라인드 스팟 문제점은 중첩 영상화를 보장하기 위해 센서 아암의 수를 증가시킴으로써 완화되거나 제거될 수 있다.
컨테이너 (10)의 내용물에 대한 3D 정보를 결정하기 위해 다중 영상화기 (110)를 사용하는 한 예가 설명되었지만, 다른 기술이 사용될 수도 있다는 것이 이해되어야 한다. 예를 들어, 실시양태에서 2개의 영상화기를 사용하는 것은 3D 정보를 결정하기 위해 입체 영상 기술을 적용할 수 있다.
예를 들어 정적 또는 저속 이동 샘플을 특징으로 하는 것들과 같은 일부 실시양태에서, 3D 정보는 의료용 전산 단층 촬영 기계와 유사한 방식으로 회전 영상화 아암을 사용하여 얻어질 수 있다. 회전 아암은 예를 들어 의료 영상화로부터 공지된 것들과 같은 임의의 적합한 기술을 사용하여 3D 정보를 구성하는데 사용될 수 있는 다양한 관점으로부터 시계열 2D 영상을 획득할 것이다. 영상이 샘플의 동역학에 대해 고속인 속력으로 획득되면, 3D 영상은 입자 검출을 위한 정확한 3D 정보를 제공할 수도 있다.
일부 실시양태에서, 전술된 기술을 사용하여 생성된 3D 정보는 후보 입자 위치를 검출하기 위해 적합할 수도 있지만, 예를 들어 입자 크기 또는 형상과 같은 입자의 다른 특성을 설정하기 위해 이상적이지 않다. 따라서, 일부 실시양태에서, 하이브리드 접근법이 사용될 수도 있다. 예를 들어, 일부 실시양태에서, 입자의 3D 위치는 3D 정보 (예를 들어, 전술된 바와 같이 생성된 3D 구조)에 기초하여 설정된다. 일단 입자의 3차원 위치 설정이 설정되어 있으면, 일부 또는 전체 영상화기 (110)로부터 2차원 영상으로부터 얻어진 크기 및 형상 측정치를 이들 위치와 연계할 수 있다.
일부 실시양태에서, 입자 추적은 예를 들어 전술된 2차원 기술에 유사한 3D 추적 기술을 사용하여, 3D 위치 데이터 상에 행해질 수 있다.
일부 실시양태에서, 3D 추적은 특히 각각의 영상화기 (110)로부터 얻어진 2차원 영상과 조합하여 사용될 때 장점을 제공한다.
3D 추적에서, 입자-입자 가려짐 (예를 들어, 도 5e에 도시된 바와 같이)은 감소되거나 제거된다. 일부 실시양태에서, 예를 들어 진정한 3D 위치 설정이 실패하는 블라인드 스팟 내의 조밀한 샘플에 대해 가능한 가려짐이 발생할 수도 있다.
전술된 2차원 경우에서와 같이, 일부 실시예에서, 예측 추적 기술은 컨테이너 (10)로 유체 역학에 관련된 정보를 이용하는 3D 환경에서 사용될 수 있다.
일부 실시양태에서, 일단 3D 입자 위치가 추적되어 있으면, 입자의 특성 (예를 들어, 크기 및 형상)에 대한 정보가 다중 영상화기 (110)로부터 각각의 입자에 대한 다중 시간 의존적 데이터 세트로 2차원 데이터로부터 수집될 수 있다. 일부 실시양태에서, 이는 단일 영상화 센서로 가능할 것보다 개별 입자 특성 (예를 들어, 크기 및 형상)의 더 정확한 측정을 허용할 수도 있다. 예를 들어, 일부 실시양태에서, 입자의 외관이 더 이상 단일 영상화기 (110)에 대한 그 배향에 엄격하게 의존하지 않기 때문에, 이 기술은 신장된 입자의 더 명백한 검출 및 크기 측정을 허용한다.
일부 실시양태에서, 이 접근법은 컨테이너 (10)의 곡률에 의해 야기된 렌징 효과를 완화시키는데 사용될 수 있다. 입자의 3D 위치를 사용하여, 각각의 영상화기 (110)에 의해 획득된 2차원 영상상의 측정된 입자 크기는 예를 들어 렌징 효과 스케일링 팩터를 갖는 크기 측정의 측방향 (수평) 성분을 수정함으로써 렌징 효과를 보정함으로써 조정될 수 있다. 이 스케일링 팩터는 전술된 바와 같이, 컨테이너 (10)를 통한 각각의 영상화기 (110)로의 광의 전파의 광학적 모델에 기초하여 결정될 수 있다.
스펙트럼 검출
도 45는 본 명세서에 설명된 유형의 시각적 검사 유닛 (100)과 함께 사용될 수도 있는 센서 (4500)(도시된 바와 같이, 격자 분광계)를 도시한다. 예를 들어, 센서 (4500)는 도 38a에 도시된 유닛 (100)의 실시양태와 함께 사용된 제4 영상화 아암을 형성할 수도 있다.
센서 (4500)는 컨테이너 (10) 내의 하나 이상의 입자의 특성 (예를 들어, 스펙트럼 특성)을 검출하는데 사용될 수 있다. 예를 들어, 도시된 바와 같이, 컨테이너 (10)는 광대역 광원 (122)으로 조명된다. 센서 (4500)는 컨테이너 (10)로부터 왜곡 보정 광학계 (4501) (예를 들어, 전술된 임의의 유형의) 및 텔레센트릭 렌즈 (4501)를 통해 광을 수신한다. 렌즈 (4501)로부터의 광은 이후에 영상화 센서 (4504) 상에 영상화되는 광의 스펙트럼 성분을 분리하는 회전 격자 (4503) 상에 지향된다. 일부 실시양태에서, 회절 격자 (4503)는 센서 (4504)의 일 차원 (예를 들어, 수직 차원)을 따른 입사광의 위치가 광의 파장에 상응하도록 작동한다. 영상화 센서 (4504) 상의 다른 차원은 컨테이너 (10) 내의 상이한 공간 위치에 상응한다. 즉, 센서 (4500)는 예를 들어 서브 영역이 컨테이너 (10)의 수평 "슬라이스"인 것을 도시하는 구성에서, 컨테이너의 서브영역에 대한 스펙트럼 정보를 제공한다.
입자가 이 중앙, 수평 평면을 통해 통과함에 따라, 이들의 분광 서명이 기록될 수 있다. 동시에, 상세히 전술된 바와 같이, 유닛 (100)의 통상의 영상화 아암은 컨테이너 내의 입자의 위치를 추적하는데 사용될 수도 있다 (예를 들어, 3차원에서). 이 정보는 소정의 입자가 센서 (4500)에 의해 덮여진 검출 서브영역에 진입할 때를 결정하는데 사용될 수 있다. 입자가 서브영역에 진입할 때, 센서 (4500)는 입자의 특성 (예를 들어, 스펙트럼 서명)을 감지할 것이다. 유닛 (100)은 이 특성에 관련된 데이터를 생성하고, 이 데이터를 추적 데이터 내의 입자의 아이덴티티를 지시하는 데이터와 연계시킬 수 있다.
다양한 실시양태에서, 특성 데이터는 임의의 적합한 목적으로, 예를 들어 입자 유형을 식별하기 위해 사용될 수 있다. 예를 들어, 소정의 입자에 대한 스펙트럼 정보는 입자의 유형을 결정하기 위해 입자에 대한 크기, 형상, 이동 또는 다른 정보와 조합될 수 있다.
일부 실시양태에서, 센서 (4500) 및 조명 광원 (122)은 입자 형광성 또는 임의의 다른 적합한 특성을 검출하도록 수정될 수도 있다. 일반적으로, 컬러, 흡수 스펙트럼, 방출 스펙트럼 또는 투과 스펙트럼, 또는 이들의 임의의 조합을 포함하는 입자의 임의의 스펙트럼 특성이 검출될 수도 있다.
전술된 예에서, 센서 (4500)는 3개의 영상 아암을 특징으로 하는 유닛 (100) 내에 포함되지만, 다른 실시양태에서 예를 들어, 1개, 2개, 4개, 5개 이상과 같은 임의의 다른 적합한 수의 영상화 아암이 사용될 수도 있다. 단일 영상화 아암이 사용되는 일부 실시양태에서, 센서 (4500)는 예를 들어 컨테이너 (10)로부터의 광의 빔을 분할하기 위한 빔 스플리터 (도시 생략)를 사용함으로써 영상화 아암과 정렬되고, 성분들을 단일 영상화 아암 및 센서 (4500)로 지향할 수도 있다. 예를 들어 다중 영상화 아암이 사용되는 다른 실시양태에서, 센서 (4500)는 영상화기에 대해 임의의 적합한 각도에서 배향될 수도 있다.
샘플 특성의 현장 측정
일부 실시양태에서, 검사 유닛 (100)은 컨테이너 (10) 내의 유체의 굴절률을 측정하는데 사용될 수도 있는 하나 이상의 검출기 (도시 생략)를 포함할 수도 있다. 예를 들어, 일부 실시양태에서, 좁은 축외 시준된 레이저빔이 컨테이너 (10)의 유체 충전된 부분을 통해 지향되고 컨테이너 (10)를 통한 굴절에 기인하여 빔의 변위를 측정하도록 검출될 수도 있다. 컨테이너 (10)의 재료 및 기하학적 형상이 알려지면, 이 정보는 유체의 굴절률을 결정하는데 사용될 수도 있다. 다양한 실시양태에서, 임의의 다른 적합한 굴절률 검출 기술이 사용될 수도 있다.
일부 실시양태에서, 유체의 측정된 굴절률은 본 명세서에 설명된 프로세싱 방안들 [예를 들어, 컨테이너 (10)의 곡률에 의해 야기된 렌징 효과를 보상하는데 사용된 프로세싱] 중 임의의 하나에서 입력 파라미터로서 사용될 수도 있다.
일부 실시양태에서, 검사 유닛 (100)은 컨테이너 (10)의 형상을 지시하는 정보를 측정하는데 사용될 수도 있는 하나 이상의 검출기 (도시 생략)를 또한 포함할 수도 있다. 예를 들어, 일부 실시양태에서, 좁은 축외 시준된 레이저빔이 컨테이너 (10)의 공기 충전된 (예를 들어, 상부) 부분을 통해 지향되고 기준에 대한 빔의 변위를 측정하도록 검출될 수도 있다. 편향은 컨테이너의 벽의 두께를 정밀하게 측정하는데 (예를 들어, 0.25 mm 이하의 정확도로) 사용될 수도 있다. 다양한 실시양태에서, 컨테이너의 형상을 결정하기 위한 임의의 다른 적합한 기술이 사용될 수도 있다.
일부 실시양태에서, 검출된 기하학적 정보가 예를 들어 전술된 바와 같이, 컨테이너 (10) 내의 유체의 굴절률을 결정하는데 사용될 수도 있다. 일부 실시양태에서, 검출된 기하학적 정보는 본 명세서에 설명된 다양한 프로세싱 기술 [예를 들어, 컨테이너 (10)의 곡률에 의해 야기된 렌징 효과를 보상하는데 사용되는 프로세싱]을 위한 또는 임의의 다른 적합한 목적의 입력 파라미터로서 사용될 수도 있다.
침지 영상화
본 명세서에 상세히 설명되는 바와 같이, 다양한 실시양태에서, 컨테이너 (10) 내의 유체의 굴절 특성은 원하지 않는 영상 왜곡 효과를 유발할 수도 있다. 일부 실시양태에서, 이들 효과는 컨테이너 (10)와, 공기보다 유체의 굴절률에 더 밀접하게 일치하는 굴절률을 갖는 매체로 컨테이너를 영상화하기 위해 사용된 영상화기 (110) 사이의 일부 또는 모든 공간을 충전함으로써 완화될 수도 있다.
일부 실시양태에서, 굴절 왜곡은 컨테이너 내에 함유된 유체에 컨테이너 (10)의 굴절률을 일치시킴으로써 더 완화될 수도 있다.
일부 실시양태에서, 이들 침지 영상화 기술은 왜곡 (예를 들어, 상세히 전술된 렌징 효과)을 감소시키는데 사용된 보정 광학계 및/또는 프로세싱에 대한 요구를 감소시키거나 제거할 수도 있다.
샘플 온도 제어
일부 실시양태에서, 검사 유닛 (100)은 컨테이너 (10) 내의 샘플의 온도를 제어하기 위한 하나 이상의 디바이스 (도시 생략)를 포함할 수도 있다. 예를 들어, 일부 실시양태에서, 온도 제어 디바이스는 ℃ 내지 40℃, 0℃ 내지 100℃의 범위 또는 다른 적합한 범위 내에서 컨테이너의 온도를 변경하는데 사용될 수도 있다. 일부 실시양태에서, 온도 제어 디바이스는 안정한 값, 예를 들어 5℃, 2.5℃, 1℃, 0.1℃, 0.01℃ 또는 그 미만만큼 변경하는 값에서 온도를 유지할 수도 있다.
온도 제어는 온도 제거가 샘플이 검출 프로세스 중에 열화되지 않는 것을 보장하기 위해 중요한 용례에서 특히 유리할 수도 있다. 일부 실시양태에서, 제어된 방식으로 샘플의 온도를 변경함으로써, 온도 및 시간 의존적 안정성 연구가 온도 감응성 제품을 위해 행해질 수도 있다. 예를 들어, 플랫폼은 약물 제품이 예를 들어 4℃ (냉장)로부터 20℃ (실온) 또는 37℃ (인체 온도)로 온도가 제어 가능하게 증가함에 따라 단백질 응집체의 용해 (또는 일부 경우에, 형성)를 측정하는데 사용될 수 있다.
다양한 실시양태에서, 온도 제어는 임의의 적합한 기술을 사용하여 성취될 수도 있다. 일부 실시양태에서, 검사 유닛 내의 환경은 밀봉되고 열적으로 격리될 수도 있고, 온도는 예를 들어 공기 조화 유닛을 사용하여 제어된다. 일부 실시양태에서, 가열 코일 및 열전 쿨러 (예를 들어, 펠티에 쿨러)가 컨테이너 (10)에 대한 샘플 홀더 내에 일체화될 수도 있다. 다수의 컨테이너가 트레이 내에 유지되어 있는 실시양태에서, 트레이의 온도는 트레이를 통한 작동 유체의 순환적인 가열/냉각에 의해 (예를 들어, 열교환기를 통해 작동 유체를 통과시킴으로써) 제어될 수도 있다. 일반적으로, 하나 이상의 온도 센서 및/또는 서머스탯(thermostat)이 폐루프 온도 제어를 제공하도록 사용될 수도 있다.
반복적 검사 기술
일부 실시양태에서, 검사 유닛 (100)은 초기 검사 런의 결과에 기초하여 선택될 수도 있는 하나 이상의 수정된 작동 파라미터 (예를 들어, 스핀 속력)로 소정의 샘플의 검사를 재실행할 수도 있다. 이 프로세스는 검사 하의 특정 샘플에 작동 파라미터를 더 우수하게 조정하기 위해 반복적으로 반복될 수도 있다.
예를 들어, 일부 실시양태에서, 검사는 입자 검출 및 크기분류 동작의 출력이 예측된 결과의 범위 외에 있는 (초기 검사에서 에러를 지시함) 결과를 반환하면 재실행될 수 있다 (예를 들어, 수정된 스핀 속력으로).
자동 칼리브레이션을 위한 배경 기준 맵핑
상세히 전술된 바와 같이, 다양한 실시양태에서, 컨테이너 (10)를 통해 영상화기 (110)에 통과하는 광의 굴절에 의해 발생된 왜곡 효과 (예를 들어, 렌징 효과)를 특징화하는 것이 바람직하다. 일부 실시양태에서, 검사 유닛 (100) 자체는 컨테이너 (10)에 의해 발생된 왜곡을 맵핑 제거하는데 사용될 수도 있다. 이 맵은 이어서 이들 효과를 보상하기 위해 영상 프로세싱 중에 사용될 수 있다.
예를 들어, 일부 실시양태에서, 하나 이상의 칼리브레이션 표식 (예를 들어, 그리드)이 영상화기 (110)에 대한 배경으로서 컨테이너 (10)의 후방에 배치될 수도 있다. 획득된 영상 내에 이들 표식을 검출하고 (예를 들어, 에지 검출 또는 다른 적합한 특징 검출 기술을 사용하여) 공지의 실제 외관에 이들 외관을 비교함으로써, 굴절 왜곡이 검출되어 맵핑될 수도 있다.
일부 실시양태에서, 이 접근법은 비원통형 컨테이너, 예를 들어 축 주위로 회전 대칭이지만 축 주위에 가변 원주를 갖는 컨테이너 (현대의 플라스틱 소다병으로부터 친숙한 형상을 갖는 컨테이너와 같은)에 의해 발생된 왜곡을 보정하는데 사용될 수도 있다.
진동 자동 검출 및 완화
전술된 바와 같이, 일부 실시양태에서, 진동은 검사 유닛 (100)의 성능을 열화시킬 수 있다. 진동은 영상 획득 중에 다른 진동 특징 (컨테이너 표면 상의 미관적 결함과 같은)이 발진하게 한다. 이는 정적 특징 제거에 생존하고 잠재적으로 후속의 입자 검출 알고리즘에 의사 결과를 발생시키는 작지만 상당한 발진 헤일로를 생성함으로써, 정적 특징 제거 단계의 성능을 감소시킬 수도 있다. 다양한 실시양태에서, 이하의 기술들 중 하나 이상이 진동의 효과를 감소시키는데 사용될 수도 있다.
일부 실시양태에서, 제거된 정적 특징 주위에 형성하는 발진 헤일로 특징은 얇은 발진 헤일로를 포함하는 영상의 영역이 또한 입자 분석 단계에 앞서 검출되도록 검출된 정적 특징에 상응하는 영상 영역의 크기를 증가시킴으로써 (예를 들어, 하나 또는 다수의 화소의 두께만큼) 완화될 수 있다. 그러나, 일부 실시양태에서, 이 접근법은 효과적인 이용 가능한 센서 영역을 감소시키는 기능을 하는 점에서 불리할 수도 있다.
일부 실시양태에서, 발진 특징의 존재를 검출하기 위한 스크리닝 알고리즘이 있다. 예를 들어, 특징은 발진하지만 영상을 가로질러 병진하지는 않는 특징을 위치 확인하기 위해 영상을 프로세싱함으로써 검출될 수도 있다. 일부 실시양태에서, 특징은 검출된 정적 특징에 대한 이들의 근접도에 기초하여 더 식별될 수 있다.
일부 실시양태에서, 컨테이너의 진동의 특성이 예를 들어 컨테이너벽의 이동을 검출하기 위해 에지 검출을 사용하여 캡처된 영상으로부터 검출될 수도 있어, 시스템은 허용 불가능하게 높은 레벨의 환경 진동을 자동으로 검출하여 사용자에게 잠재적으로 경고할 수 있다.
일부 실시양태에서, 컨테이너의 진동의 특성이 물리적 센서를 사용하여 검출될 수도 있다. 예를 들어, 일부 실시양태에서, 검사 중에 컨테이너를 유지하고 조작하는 도구 헤드는 시스템이 설정된 임계치를 초과하는 진동 레벨에 관해 사용자에 경고를 자동으로 제공할 수 있는 피드백을 제공하는 운동 검출 디바이스 (예를 들어, 고정밀 가속도계)를 포함할 수도 있다.
실시예
이하에는 본 명세서에 설명된 유형의 자동화 시각적 검사 유닛 (100)의 실시양태에 대한 예시적인 성능 특성을 제공한다.
도 40을 참조하면, 유닛 (100)은 알려진 크기의 단지 단일 폴리머 구만을 각각 포함하는 컨테이너 (10)를 갖고 제시되었다. 다중 검출 런 (n=80)이 각각의 컨테이너 상에 수행되었고 검출 퍼센트가 측정되었다 (도면에 "APT"라 표기된 데이터 바아). 도시된 바와 같이, 시스템을 위한 검출 퍼센트는 15 내지 200 ㎛ 직경의 범위의 입자 크기에 대해 90% 초과였다. 훈련된 인간에 의해 시각적으로 수행된 동일한 작업에 대한 검출 퍼센트는 비교를 위해 제시되었다 ("인간"이라 표기된 데이터 바아). 인간 검출 능력은 200 ㎛ 미만의 크기의 입자에 대해 급속하게 낮아진다는 것을 주목하라.
도 41을 참조하면, 다른 시험에서, 유닛 (100)은 125 ㎛ 직경의 가시적 절결부 위 아래에 입자를 유지하는 컨테이너를 갖고 제시되었다. 유닛 (100)은 입자를 검출하였고 125 ㎛의 가시적 절결부 위 또는 아래에 있는 것으로서 크기에 기초하여 입자를 또한 분류하였다. 도시된 바와 같이, 시스템을 위한 검출 퍼센트는 15 내지 200 ㎛ 직경의 범위의 입자 크기에 대해 90% 초과였다. 유닛 (100)은 또한 매우 높은 정확도로 검출된 입자를 정확하게 분류하였다.
도 42를 참조하면, 희석 시리즈가 다중 크기 표준에 대해 생성되었고, 각각의 시리즈는 조성의 농도로 입자를 유지하는 컨테이너로 구성되었다. 최종적인 컨테이너는 유닛 (100)에 의해 분석되어 입자 계수를 제공하였고, 회귀가 역 희석 팩터에 대한 계수의 선형성에 대한 R-제곱 ("R^2") 값을 결정하는데 사용되었다. 도시된 바와 같이, "R^2" 값은 15 내지 200 ㎛의 범위의 입자 크기에 대해 0.95 초과였고, 우수한 선형성을 지시한다.
도 43을 참조하면, 단백질 입자를 포함하는 응력을 받은 샘플이 유닛 (100)에 의해 분석되어 입자 크기에 의해 비닝된 입자 계수를 결정하였다. 10 런에 걸쳐 취해진 각각의 빈에 대한 입자 계수의 정밀도가 도시된다. 단백질 입자는 알려지지 않은 크기를 갖는데, 이는 절대 크기 정확도 비교를 불가능하게 하지만, 도시된 바와 같이 단백질을 계수하고 크기분류하기 위한 시스템의 정밀도가 높다. 측정에 대한 정규화된 에러는 3%였고, 우수한 정밀도를 지시한다.
도 44를 참조하면, 유닛 (100)은 또한 블랭크 대 단백질 입자 함유 바이얼을 검출하는 것을 특징으로 하였다. 유닛 (100)의 성능은 동일한 바이얼의 세트를 관찰하는 인증된 시각적 검사자의 것과 비교되었다. 유닛 (100)(도면에 "APT"라 표기됨)은 3중 런으로 모든 40개의 바이얼 및 80개의 블랭크를 정확하게 검출하였다. 가시적 및 육안 확인 불가능 입자를 분류하는데 있어 자체 동의는 100%였다. 인간은 양 카테고리에서 단지 대략 85%를 기록하였다.
결론
당업자들은 비파괴적 입자 검출 및 식별 (시각적 검사를 통해 획득된 시계열 데이터의 프로세싱)을 위한 자동화된 시스템 및 방법에 수반된 프로세스가 컴퓨터 사용 가능 매체를 포함하는 제조 물품에 구체화될 수도 있다는 것을 이해한다. 예를 들어, 이러한 컴퓨터 사용 가능 매체는 컴퓨터 판독가능 프로그램 코드 세그먼트가 그 위에 저장되어 있는, 하드 드라이브 디바이스, CD-ROM, DVD-ROM, 컴퓨터 디스켓 또는 고체 상태 메모리 구성 요소 (ROM, RAM)와 같은 판독가능 메모리 디바이스를 포함할 수 있다. 컴퓨터 판독가능 매체는 프로그램 코드 세그먼트가 디지털 또는 아날로그 데이터 신호로서 그 위에서 운반되는, 광학, 유선 또는 무선인 버스 또는 통신 링크와 같은 통신 또는 전송 매체를 또한 포함할 수 있다.
흐름도가 본 명세서에 사용된다. 흐름도의 사용은 수행된 동작의 순서와 관련하여 한정인 것으로 의도되는 것은 아니다. 본 명세서에 설명된 요지는 때때로 상이한 다른 구성 요소 내에 포함되거나 관련된 상이한 구성 요소들을 예시한다. 이러한 도시된 아키텍처는 단지 예시적인 것이고, 실제로 동일한 기능성을 성취하는 다수의 다른 아키텍처가 구현될 수 있다는 것이 이해되어야 한다. 개념적인 의미에서, 동일한 기능성을 성취하기 위한 구성 요소들의 임의의 배열은 원하는 기능성이 성취되도록 효과적으로 "연계"된다. 따라서, 특정 기능성을 성취하도록 조합된 본 명세서의 임의의 2개의 구성 요소는 아키텍처 또는 중간 구성 요소에 무관하게, 원하는 기능성이 성취되도록 서로 "연계되는" 것으로서 보여질 수 있다. 마찬가지로, 이와 같이 연계된 임의의 2개의 구성 요소는 원하는 기능성을 성취하기 위해 서로 "작동가능하게 연결된" 또는 "작동가능하게 결합된" 것으로서 또한 보여질 수 있고, 이와 같이 연계될 수 있는 임의의 2개의 구성 요소는 원하는 기능성을 성취하기 위해 서로 "작동가능하게 결합 가능한" 것으로서 또한 보여질 수 있다. 작동가능하게 결합 가능한 특정 예는 물리적으로 정합 가능한 및/또는 물리적으로 상호작용하는 구성 요소 및/또는 무선으로 상호작용 가능한 및/또는 무선으로 상호작용하는 구성 요소 및/또는 논리적으로 상호작용하는 및/또는 논리적으로 상호작용 가능한 구성 요소를 포함하지만, 이들에 한정되는 것은 아니다.
본 명세서의 실질적으로 임의의 복수 및/또는 단수 용어의 사용과 관련하여, 당업자들은 문맥 및/또는 용례에 적절하게 복수를 단수로 및/또는 단수를 복수로 해석할 수 있다. 다양한 단수/복수 치환은 명료화를 위해 본 명세서에 명시적으로 설명될 수도 있다.
일반적으로 본 명세서에, 특히 첨부된 청구범위 (예를 들어, 첨부된 청구범위의 본문)에 사용된 용어는 일반적으로 "개방" 용어라는 것이 당업자들에 의해 이해될 것이다 (예를 들어, 용어 "포함하는"은 "포함하지만 이들에 한정되는 것은 아닌"으로서 해석되어야 하고, 용어 "갖는"은 "적어도 갖는"으로서 해석되어야 하고, 용어 "포함한다"는 "포함하지만 이들에 한정되는 것은 아니다"로서 해석되어야 하는 등임). 특정 수의 소개된 청구항 기재가 의도되면, 이러한 의도는 청구항 내에 명시적으로 기재될 것이고, 이러한 기재의 부재시에 어떠한 이러한 의도도 존재하지 않는다는 것이 당업자들에 의해 더 이해될 수 있을 것이다. 예를 들어, 이해의 보조로서, 이하의 첨부된 청구범위는 청구항 기재들을 소개하기 위해 소개 구문 "적어도 하나" 및 "하나 이상"의 사용을 포함할 수도 있다.
그러나, 이러한 구문의 사용은 단수 표현에 의한 청구항 기재의 소개는, 동일한 청구항이 소개 구문 "하나 이상" 또는 "적어도 하나" 및 다수 표현을 포함할 때에도 (예를 들어, 단수 표현은 통상적으로 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 해석되어야 함), 이러한 소개된 청구항 기재를 포함하는 임의의 특정 청구항을 단지 하나의 이러한 기재를 포함하는 요지로 한정하는 것을 암시하는 것으로 해석되어서는 안되며, 동일한 것이 청구항 기재를 소개하는데 사용된 다른 단수 표현의 사용에 대해서도 적용된다. 게다가, 특정 수의 소개된 청구항 기재가 명시적으로 기재되더라도, 당업자들은 이러한 기재가 통상적으로 적어도 기재된 수를 의미하도록 해석되어야 하는 것을 인식할 것이다 (예를 들어, 다른 수식어가 없는 단지 "2개의 기재"의 기재는 통상적으로 적어도 2개의 기재 또는 2개 이상의 기재를 의미함).
더욱이, "A, B 및 C 중 적어도 하나"와 유사한 규약이 사용되는 이들 경우에, 일반적으로 이러한 구성은 당업자가 규약을 이해할 수 있는 개념에서 의도된다 (예를 들어, "A, B 및 C 중 적어도 하나를 갖는 시스템"은 이들에 한정되는 것은 아니지만 A만, B만, C만, A 및 B를 함께, A 및 C를 함께, B 및 C를 함께 및/또는 A, B 및 C를 함께 갖는 등의 시스템을 포함할 것임). "A, B 또는 C 중 적어도 하나"와 유사한 규약이 사용되는 이들 경우에, 일반적으로 이러한 구성은 당업자가 규약을 이해할 수 있는 개념에서 의도된다 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템"은 이들에 한정되는 것은 아니지만 A만, B만, C만, A 및 B를 함께, A 및 C를 함께, B 및 C를 함께 및/또는 A, B 및 C를 함께 갖는 등의 시스템을 포함할 것임).
상세한 설명, 청구범위 또는 도면에 있건간에, 2개 이상의 양자 택일 용어를 표현하는 사실상 임의의 이접 단어 및/또는 구문은 용어들 중 하나, 용어들 중 어느 하나 또는 양 용어들을 포함하는 가능성을 고려하는 것으로 이해되어야 한다는 것이 당업자들에 의해 더 이해될 수 있을 것이다. 예를 들어, 구문 "A 또는 B"는 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
본 명세서에 사용될 때, 용어 광학 요소는 임의의 적합한 조합의 하나 이상의 굴절, 반사, 회절, 홀로그래픽, 편광 또는 필터링 소자를 칭할 수도 있다. 본 명세서에 사용될 때, "광", "광학" 또는 다른 관련된 용어와 같은 용어는 육안에 가시적인 광을 칭하는 것으로 이해되어야 할 뿐만 아니라, 또한 예를 들어 전자기 스펙트럼의 자외선, 가시광 및 적외선 부분의 광을 포함할 수도 있다.
예시적인 실시양태의 상기 설명은 예시 및 설명의 목적으로 제시되어 있다. 이는 개시된 정밀한 형태에 대해 철저하거나 한정적인 것으로 의도된 것은 아니고, 수정 및 변형이 상기 교시에 비추어 가능하고 또는 개시된 실시양태의 실시로부터 획득될 수도 있다. 본 발명의 범주는 여기에 첨부된 청구범위 및 이들의 등가물에 의해 규정되는 것으로 의도된다.

Claims (14)

  1. 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 장치이며,
    상이한 관점(perspective)으로부터 입자를 영상화하도록 위치된 적어도 2개의 영상화기로서, 적어도 2개의 영상화기 중 각 영상화기는 유체 내 입자의 하나 이상의 2차원 영상을 각각 획득하도록 구성된 것인 적어도 2개의 영상화기,
    영상화기에 작동가능하게 결합되고 2차원 영상을 저장하도록 구성된 메모리, 및
    메모리에 작동가능하게 결합되고,
    적어도 2개의 영상화기로부터의 2차원 영상을 조합하여 용기 내 입자의 위치를 지시하는 3차원 위치 데이터를 결정하고,
    상기 3차원 위치 데이터에 적어도 부분적으로 기초하여 입자를 검출
    함으로써 입자를 검출하도록 구성된 프로세서
    를 포함하고, 여기서 3차원 위치 데이터가 적어도 2개의 영상화기로 영상화되지 않는 용기의 영역에 상응하는 적어도 하나의 블라인드 스팟(blind spot) 영역을 포함할 때, 프로세서는 적어도 2개의 영상화기 중 하나로부터 입자의 2차원 영상의 시계열에 적어도 부분적으로 기초한 블라인드 스팟 영역 내의 입자의 경로를 지시하는 블라인드 스팟 궤적 정보를 결정하도록 구성된 것인, 장치
  2. 제1항에 있어서, 프로세서가
    3차원 데이터에 기초하여 후보 입자를 식별하고;
    영상화기 중 적어도 하나로부터의 2차원 위치 영상 데이터에 기초하여 입자에 대한 크기 또는 형상 정보를 결정
    하도록 추가로 구성된 것인 장치.
  3. 제2항에 있어서, 프로세서가
    용기에 의해 야기된 위치 의존적 광학적 왜곡을 지시하는 데이터 및 3차원 데이터에 기초하여 입자에 대하여 결정된 크기 또는 형상 정보를 보정
    하도록 추가로 구성된 것인 장치.
  4. 제1항에 있어서, 영상화기로부터의 2차원 영상의 시계열이 블라인드 스팟 영역 내의 입자의 경로를 지시하는 블라인드 스팟 궤적 정보를 결정하는데 사용되는 적어도 2개의 영상화기 중 하나가 적어도 2개의 영상화기 중 블라인드 스팟 영역에 가장 가깝게 위치된 영상화기인 장치.
  5. 제1항에 있어서, 적어도 2개의 영상화기가 적어도 3개의 영상화기를 포함하는 것인 장치.
  6. 제1항에 있어서, 적어도 2개의 영상화기 각각이
    입자의 영상을 검출하도록 구성된 센서; 및
    입자와 센서 사이에 배치되고 용기의 곡률에 의하여 야기되는 왜곡을 보상하기 위하여 구성된 보정 광학 요소
    를 포함하는 것인 장치.
  7. 제6항에 있어서, 영상화기 각각이
    센서와 용기 사이에 배치된 텔레센트릭(telecentric) 렌즈
    를 추가로 포함하고, 여기서 보정 광학 요소가 용기의 곡률에 의하여 야기되는 배율 왜곡에 대하여 실질적으로 보정하는 것인, 장치.
  8. 유체로 적어도 부분적으로 충전된 용기 내의 미용해된 입자의 비파괴적 검출을 위한 방법이며,
    상이한 관점으로부터 입자를 영상화하고 각 영상화기가 유체 내 입자의 하나 이상의 2차원 영상을 각각 획득하도록 적어도 2개의 영상화기를 사용하는 단계,
    용기 내 입자의 위치를 지시하는 3차원 데이터를 결정하도록 적어도 2개의 영상화기로부터의 2차원 영상을 조합하는 단계,
    3차원 데이터에 적어도 부분적으로 기초하여 입자를 검출하는 단계, 및
    3차원 위치 데이터가 적어도 2개의 영상화기로 영상화되지 않는 용기의 영역에 상응하는 적어도 하나의 블라인드 스팟 영역을 포함할 때, 적어도 2개의 영상화기 중 하나로부터 입자의 2차원 영상의 시계열에 적어도 부분적으로 기초한 블라인드 스팟 영역 내의 입자의 경로를 지시하는 블라인드 스팟 궤적 정보를 결정하는 단계
    를 포함하는 방법.
  9. 제8항에 있어서,
    3차원 데이터에 기초하여 후보 입자를 식별하는 단계; 및
    적어도 2개의 영상화기 중 적어도 하나로부터의 하나 이상의 2차원 영상에 기초하여 입자에 대한 크기 또는 형상 정보를 결정하는 단계
    를 추가로 포함하는 방법.
  10. 제9항에 있어서,
    용기에 의해 야기된 위치 의존적 광학적 왜곡을 지시하는 데이터 및 3차원 데이터에 기초하여 입자에 대하여 결정된 크기 또는 형상 정보를 보정하는 단계
    를 포함하는 방법.
  11. 제8항에 있어서, 영상화기로부터의 2차원 영상의 시계열이 블라인드 스팟 영역 내의 입자의 경로를 지시하는 블라인드 스팟 궤적 정보를 결정하는데 사용되는 적어도 2개의 영상화기 중 하나가 적어도 2개의 영상화기 중 블라인드 스팟 영역에 가장 가깝게 위치된 영상화기인 방법.
  12. 제8항에 있어서, 적어도 2개의 영상화기가 적어도 3개의 영상화기를 포함하는 것인 방법.
  13. 제8항에 있어서, 적어도 2개의 영상화기 각각이
    입자의 영상을 검출하도록 구성된 센서; 및
    입자와 센서 사이에 배치되고 용기의 곡률에 의하여 야기되는 왜곡을 보상하기 위하여 구성된 보정 광학 요소
    를 포함하는 것인 방법.
  14. 제13항에 있어서, 영상화기가
    센서와 용기 사이에 배치된 텔레센트릭 렌즈
    를 추가로 포함하고, 여기서 보정 광학 요소가 용기의 곡률에 의하여 야기되는 배율 왜곡에 대하여 실질적으로 보정하는 것인, 방법.
KR1020197014157A 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치 Active KR102050202B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161528589P 2011-08-29 2011-08-29
US61/528,589 2011-08-29
US201161542058P 2011-09-30 2011-09-30
US61/542,058 2011-09-30
US201261691211P 2012-08-20 2012-08-20
US61/691,211 2012-08-20
PCT/US2012/052914 WO2013033253A1 (en) 2011-08-29 2012-08-29 Methods and apparati for nondestructive detection of undissolved particles in a fluid

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147006278A Division KR101982365B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034412A Division KR102168983B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190057426A true KR20190057426A (ko) 2019-05-28
KR102050202B1 KR102050202B1 (ko) 2019-11-28

Family

ID=47008675

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020197014157A Active KR102050202B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020227027695A Active KR102558391B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020197034412A Active KR102168983B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020217026208A Active KR102433281B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020207029701A Active KR102293636B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020147006278A Active KR101982365B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020227027695A Active KR102558391B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020197034412A Active KR102168983B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020217026208A Active KR102433281B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020207029701A Active KR102293636B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
KR1020147006278A Active KR101982365B1 (ko) 2011-08-29 2012-08-29 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치

Country Status (22)

Country Link
US (7) US9418416B2 (ko)
EP (2) EP2751543B1 (ko)
JP (6) JP6018208B2 (ko)
KR (6) KR102050202B1 (ko)
CN (3) CN105136649B (ko)
AR (1) AR087733A1 (ko)
AU (2) AU2012302036B2 (ko)
BR (1) BR112014003321A2 (ko)
CA (3) CA2843016C (ko)
CL (1) CL2014000374A1 (ko)
DK (1) DK2751543T3 (ko)
EA (2) EA028127B9 (ko)
ES (1) ES2982079T3 (ko)
FI (1) FI2751543T3 (ko)
HK (1) HK1199301A1 (ko)
IL (6) IL286529B2 (ko)
MX (1) MX2014001808A (ko)
PL (1) PL2751543T3 (ko)
SG (2) SG10201806093UA (ko)
TW (6) TWI772897B (ko)
WO (1) WO2013033253A1 (ko)
ZA (1) ZA201400737B (ko)

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9316578B2 (en) 2008-10-30 2016-04-19 New York University Automated real-time particle characterization and three-dimensional velocimetry with holographic video microscopy
EP3366692A1 (en) 2009-06-22 2018-08-29 Amgen, Inc Refolding proteins using a chemically controlled redox state
MX2011013417A (es) 2009-06-25 2012-03-29 Amgen Inc Procesos de purificacion por captura para proteinas expresadas en un sistema no mamifero.
TWI772897B (zh) 2011-08-29 2022-08-01 美商安美基公司 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
US10132736B2 (en) 2012-05-24 2018-11-20 Abbvie Inc. Methods for inspection of protein particles in a liquid beneficial agent
US20140092376A1 (en) * 2012-10-01 2014-04-03 Momentive Performance Materials, Inc. Container and method for in-line analysis of protein compositions
US9406144B2 (en) * 2013-03-15 2016-08-02 Luminex Corporation Real-time tracking and correlation of microspheres
WO2014195917A2 (en) * 2013-06-07 2014-12-11 Malvern Instruments Limited Array based sample characterization
DE102014006835A1 (de) * 2014-05-13 2015-11-19 Kocher-Plastik Maschinenbau Gmbh Prüfvorrichtung zum Überprüfen von Behältererzeugnissen
WO2015187881A1 (en) * 2014-06-03 2015-12-10 The Regents Of The University Of California Nanoparticle analyzer
FI127992B (fi) * 2014-08-29 2019-07-15 Svanbaeck Sami Menetelmä ja järjestelmä aineen liukenemisominaisuuksien määrittämiseksi
EP3018483B1 (en) * 2014-11-07 2018-08-01 photrack AG Method and system for determining the velocity and level of a moving fluid surface
ES2913524T3 (es) 2014-11-12 2022-06-02 Univ New York Huellas coloidales para materiales blandos usando caracterización holográfica total
AU2014415227B2 (en) * 2014-12-27 2018-05-31 Hill's Pet Nutrition, Inc. Food processing method and system
CN106468648B (zh) 2015-08-19 2019-09-10 财团法人工业技术研究院 微粒子侦测器及筛选元件的制造方法
EP3341160B1 (en) * 2015-08-27 2023-10-04 Hubbell Incorporated Remotely activated portable hand tool
CA2996525C (en) * 2015-08-28 2024-02-20 Bayer Healthcare Llc System and method for syringe fluid fill verification and image recognition of power injector system features
CN108351288B (zh) 2015-09-18 2021-04-27 纽约大学 精密浆料中大杂质颗粒的全息检测和表征
GB2542774B (en) * 2015-09-25 2021-08-18 Smiths Heimann Sas Denoising and/or zooming of inspection images
US20170153431A1 (en) * 2015-12-01 2017-06-01 ZebraSci, Inc High-definition particle detection during centrifugation
US10467534B1 (en) * 2015-12-09 2019-11-05 Roger Brent Augmented reality procedural system
US9785150B2 (en) 2015-12-11 2017-10-10 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
US9537956B1 (en) 2015-12-11 2017-01-03 Uber Technologies, Inc. System for acquiring time-synchronized sensor data
US10101747B2 (en) 2015-12-11 2018-10-16 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
US9596666B1 (en) * 2015-12-11 2017-03-14 Uber Technologies, Inc. System for processing asynchronous sensor data
JP6726687B2 (ja) * 2015-12-18 2020-07-22 株式会社堀場製作所 粒子分析装置及び粒子分析方法
EP3408641B1 (en) * 2016-01-28 2021-05-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
ES2901608T3 (es) * 2016-02-08 2022-03-23 Univ New York Caracterización holográfica de agregados proteicos
EP3426220A4 (en) * 2016-03-07 2019-11-20 Zebrasci, Inc. MICROSTRUCTURING TECHNIQUE FOR GENERATING MORPHOLOGICALLY SPECIFIC FREESHAKEN STRUCTURES FOR USE AS STANDARDS IN THE PHARMACEUTICAL INDUSTRY
US10049444B2 (en) 2016-03-25 2018-08-14 Lockheed Martin Corporation Optical device for fuel filter debris
US10114103B2 (en) 2016-03-31 2018-10-30 Uber Technologies, Inc. System and method for sensor triggering for synchronized operation
US10670677B2 (en) 2016-04-22 2020-06-02 New York University Multi-slice acceleration for magnetic resonance fingerprinting
ES1158187Y (es) * 2016-05-13 2016-08-29 Plastic Repair System 2011 S L Producto de plastico reparado
US20190154560A1 (en) * 2016-05-16 2019-05-23 Abbvie Inc. Systems and Methods for Identifying Protein Aggregates in Biotherapeutics
US10395357B2 (en) * 2016-05-27 2019-08-27 Biomerieux, Inc. Method and apparatus for detection of foam in specimen containers
WO2018002049A1 (en) * 2016-06-28 2018-01-04 F. Hoffmann-La Roche Ag Inspection device
US9704239B1 (en) 2016-09-02 2017-07-11 Amgen Inc. Video trigger synchronization for improved particle detection in a vessel
MX2019002380A (es) * 2016-09-02 2019-07-04 Amgen Inc Sincronizacion de disparador de video para la deteccion mejorada de particulas en un recipiente.
JP6499139B2 (ja) * 2016-10-14 2019-04-10 矢崎総業株式会社 検査装置
EP3944144A1 (en) 2016-10-28 2022-01-26 Beckman Coulter, Inc. Substance preparation evaluation system
US10482559B2 (en) 2016-11-11 2019-11-19 Uatc, Llc Personalizing ride experience based on contextual ride usage data
US10337977B1 (en) * 2016-11-22 2019-07-02 Corning Incorporated Systems and methods for glass particle detection
WO2018119240A1 (en) * 2016-12-21 2018-06-28 Massachusetts Institute Of Technology Determining soil state and controlling equipment based on captured images
MX2019008166A (es) 2017-01-06 2019-09-11 Hubbell Inc Dispositivos de cableado electrico con terminales de conexion sin tornillos.
US10088660B2 (en) 2017-02-10 2018-10-02 Amgen Inc. Imaging system for counting and sizing particles in fluid-filled vessels
CN110268249A (zh) * 2017-02-10 2019-09-20 美国安进公司 用于统计充有流体的容器中的微粒的数量并确定其大小的成像系统
CN110312922B (zh) * 2017-02-16 2023-11-03 皇家飞利浦有限公司 粒子表征装置和方法
IL251140A0 (en) * 2017-03-14 2017-06-29 Harel Alex System for precise injection of nano-formulation
EP3392855B1 (de) * 2017-04-19 2021-10-13 Siemens Schweiz AG Verfahren und vorrichtung zum abgleich eines rauchmelders
US11650166B2 (en) * 2017-05-31 2023-05-16 Nipro Corporation Method for evaluation of glass container
WO2018227193A1 (en) * 2017-06-09 2018-12-13 miDiagnostics NV Systems and methods for counting particles
EP3428586B1 (en) * 2017-07-14 2020-09-09 CSEM Centre Suisse D'electronique Et De Microtechnique SA Liquid level detection in receptacles using a plenoptic camera
CN109387460A (zh) * 2017-08-14 2019-02-26 阅美测量系统（上海）有限公司 一种污染颗粒观察及测试装置及分析方法
CN111247418B (zh) 2017-10-26 2024-07-23 粒子监测系统有限公司 粒子测量系统和方法
CN107589052A (zh) * 2017-11-03 2018-01-16 大唐彬长发电有限责任公司 火电厂凝结水腐蚀产物颗粒粒度分布测试方法及其系统
KR102375624B1 (ko) * 2017-11-10 2022-03-17 세메스 주식회사 기판 처리 장치 및 약액 검사 방법
US10991264B2 (en) * 2017-11-23 2021-04-27 Omnicell, Inc. Multi-camera imaging for IV compounding
US10596319B2 (en) 2017-11-23 2020-03-24 Aesynt Incorporated Compounding device system
US11335444B2 (en) 2017-11-30 2022-05-17 Omnicell, Inc. IV compounding systems and methods
JP7027139B2 (ja) * 2017-11-30 2022-03-01 Ｔｏｙｏ Ｔｉｒｅ株式会社 ゴム材料の引き裂き挙動解析方法
US10963750B2 (en) 2018-01-04 2021-03-30 IAS Machine, LLC Procedural language and content generation environment for use in augmented reality/mixed reality systems to support laboratory and related operations
EP3765993A1 (en) * 2018-03-16 2021-01-20 inveox GmbH Automated identification, orientation and sample detection of a sample container
DE102018107689A1 (de) * 2018-03-29 2019-10-02 Krones Ag Verfahren und Vorrichtung zum Inspizieren von Behältnissen
CN111465842A (zh) * 2018-04-10 2020-07-28 日本电气硝子株式会社 玻璃板、玻璃板的制造方法以及端面检查方法
WO2019202648A1 (ja) * 2018-04-16 2019-10-24 株式会社島津製作所 光散乱検出装置
CN108710852B (zh) * 2018-05-21 2021-08-03 山东大学 一种限定拍摄深度的粒度分布图像识别方法及系统
KR102659641B1 (ko) * 2018-06-07 2024-04-22 윌코아게 액체가 부분적으로 채워진 용기에 모션을 유도하기 위한 자동 검사 시스템의 구동 메커니즘의 모니터링 장치 및 모니터링 방법
WO2020027923A1 (en) 2018-07-31 2020-02-06 Amgen Inc. Robotic system for performing pattern recognition-based inspection of pharmaceutical containers
KR102309284B1 (ko) 2018-08-03 2021-10-06 주식회사 엘지에너지솔루션 고분자 솔루션의 미용해물 측정법
US11406981B2 (en) 2018-08-22 2022-08-09 Biomerieux, Inc. Detection instruments with automated cell location selection for newly intaken specimen containers and related methods
ES2965078T3 (es) 2018-09-26 2024-04-11 Amgen Inc Muestreo de imágenes para inspección visual
US10458909B1 (en) * 2018-10-24 2019-10-29 International Business Machines Corporation MEMS optical sensor
CN109323965B (zh) * 2018-10-30 2020-11-27 广东电网有限责任公司广州供电局 用于电力用油中颗粒度检测试验的机器人
TWI668425B (zh) * 2018-11-05 2019-08-11 林瑞陽 微粒辨識計數方法及分析裝置
US11353403B2 (en) * 2018-11-30 2022-06-07 Genentech, Inc. Vial contents inspection and material identification method and apparatus
MX2021010679A (es) 2019-03-05 2021-12-10 Sacmi Aparato y metodo para inspeccionar un objeto.
EP3943922A4 (en) * 2019-03-19 2022-04-06 Nec Corporation INSPECTION DEVICE, INSPECTION PROCEDURE AND NON-VOLATILE COMPUTER READABLE MEDIA
WO2020198207A1 (en) * 2019-03-25 2020-10-01 University of Alaska Anchorage Material testing device and system
ES2938687T3 (es) * 2019-04-03 2023-04-13 Mecwins S A Procedimiento de detección óptica de biomarcadores
DE102019109185B4 (de) * 2019-04-08 2024-09-26 IMAGO Technologies GmbH Inspektionsverfahren und Inspektionssystem
US11495895B2 (en) 2019-05-01 2022-11-08 Hubbell Incorporated Terminations for electrical wiring devices
WO2020227126A1 (en) * 2019-05-03 2020-11-12 Lonza Ltd Determination of contaminants in cell-based products with flow imaging microscopy
WO2020227559A1 (en) * 2019-05-08 2020-11-12 Amgen Inc. Automated visual inspection
WO2020247357A1 (en) * 2019-06-03 2020-12-10 Amgen Inc. 3d particle imaging in pharmaceutical containers
KR102200281B1 (ko) * 2019-06-28 2021-01-08 티옵틱스 주식회사 계측 및 검사 장비용 광학 시스템 및 방법
US11593919B2 (en) 2019-08-07 2023-02-28 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
US10915992B1 (en) 2019-08-07 2021-02-09 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
US11270402B2 (en) * 2019-08-22 2022-03-08 Novanta Corporation Vial content detection using illuminated background pattern
JP7127786B2 (ja) * 2019-08-29 2022-08-30 ユアサシステム機器株式会社 変形試験器
US11543338B2 (en) 2019-10-25 2023-01-03 New York University Holographic characterization of irregular particles
WO2021079701A1 (ja) 2019-10-25 2021-04-29 パナソニックＩｐマネジメント株式会社 計数方法、計数装置、及びプログラム
US12221229B2 (en) * 2019-11-01 2025-02-11 The Boenig Company System and method for measuring localized characteristics of a transparency
CN114631125A (zh) * 2019-11-07 2022-06-14 美国安进公司 深度学习在自动视觉检查设备中的定向应用
WO2021096901A1 (en) * 2019-11-11 2021-05-20 Nirrin Technologies, Inc. Fabry perot interferometry for measuring cell viability
US11132590B2 (en) 2019-12-12 2021-09-28 Lablightar Inc. Augmented camera for improved spatial localization and spatial orientation determination
KR20220110187A (ko) * 2019-12-17 2022-08-05 암젠 인크 용기 육안 검사 조립체 및 방법
US11348236B2 (en) 2019-12-20 2022-05-31 Landing AI Automated visual inspection of syringes
JP7341881B2 (ja) * 2019-12-25 2023-09-11 株式会社クボタ 情報処理装置、情報処理方法、制御装置、水処理システム、および制御プログラム
EP3855174B1 (en) * 2020-01-23 2024-05-15 SCHOTT Pharma Schweiz AG Detection and characterization of defects in pharmaceutical cylindrical containers
RU200329U1 (ru) * 2020-02-03 2020-10-16 Акционерное общество "ПРОТОН-ЭЛЕКТРОТЕКС", АО "ПРОТОН-ЭЛЕКТРОТЕКС" Устройство контроля качества очистки поверхности кремниевых пластин
JP7432815B2 (ja) * 2020-02-07 2024-02-19 東ソー株式会社 乾燥試薬の溶解方法
US20210262849A1 (en) * 2020-02-24 2021-08-26 Des-Case Corporation Apparatuses, systems, and methods for providing a smart liquid information indicator
US11948302B2 (en) 2020-03-09 2024-04-02 New York University Automated holographic video microscopy assay
WO2021205545A1 (ja) * 2020-04-07 2021-10-14 株式会社ピリカ 推定装置、推定方法、および推定プログラム
JP2021171874A (ja) * 2020-04-24 2021-11-01 セイコーエプソン株式会社 ワーク処理方法
CN115667890B (zh) * 2020-05-20 2024-02-02 Ysi公司 基于空间梯度的荧光计
WO2021242089A1 (en) * 2020-05-28 2021-12-02 A/L Murugiah Suresh System and method for quantification of solid particles in a moving fluid
CN111610202B (zh) * 2020-06-03 2021-09-03 西安电子科技大学 基于时间反演的介质材料损伤探测系统及方法
US12197184B2 (en) 2020-06-21 2025-01-14 Hubbell Incorporated Power tool with crimp image
CN111781127B (zh) * 2020-06-22 2021-06-11 燕山大学 检测润滑油中的磨损微粒形体的视觉检测系统及检测方法
JP7553935B2 (ja) 2020-07-10 2024-09-19 株式会社カワタ 混合割合判定方法および混合割合判定装置
US12106505B2 (en) * 2020-09-02 2024-10-01 International Business Machines Corporation Reflection-based distance perception
US20220162585A1 (en) * 2020-11-23 2022-05-26 Frank Leo Spangler System and method of nucleic acid extraction
US11953431B2 (en) * 2020-12-15 2024-04-09 Axalta Coating Systems Ip Co., Llc Measuring a color of a target coating
WO2022168434A1 (ja) * 2021-02-05 2022-08-11 株式会社堀場製作所 粒子分析装置、粒子分析方法、及び、粒子分析装置用プログラム
KR102667903B1 (ko) * 2021-04-02 2024-05-20 성균관대학교산학협력단 입자 추적 장치 및 방법
CN113237842A (zh) * 2021-04-25 2021-08-10 哈尔滨工业大学 一种傅里叶红外光谱仪样品架及使用方法
CN117242336A (zh) * 2021-04-28 2023-12-15 斯特瓦纳托集团有限公司 用于检查对预定电磁辐射至少部分透明的容器的装置和方法
WO2022239158A1 (ja) * 2021-05-12 2022-11-17 日本電気株式会社 検査装置
TWI784553B (zh) * 2021-06-03 2022-11-21 瑞愛生醫股份有限公司 微粒子檢測裝置
CN113375750B (zh) * 2021-06-10 2024-04-16 陕西延长石油（集团）有限责任公司 一种非接触式油箱油量检测装置及方法
CN117501306A (zh) * 2021-07-14 2024-02-02 纳米电子成像有限公司 用于反射样品的宏观检查的系统、方法和设备
US11585754B2 (en) 2021-07-16 2023-02-21 Taiwan Redeye Biomedical Inc. Particle detection device
US12137200B2 (en) * 2021-09-14 2024-11-05 The Texas A&M University System Three dimensional strobo-stereoscopic imaging systems and associated methods
US12007334B2 (en) * 2021-10-25 2024-06-11 Applied Materials, Inc. Compact apparatus for batch vial inspection
US11530974B1 (en) * 2021-11-01 2022-12-20 Travera, Inc. Cellular measurement, calibration, and classification
KR102712830B1 (ko) * 2021-11-30 2024-10-02 주식회사 바이오티엔에스 표적 유전자의 정량 분석 방법 및 이를 이용한 디바이스
KR102612850B1 (ko) * 2021-12-02 2023-12-14 오씨아이 주식회사 카본블랙 펠렛 크기 분포 분석 방법 및 장치
KR102638903B1 (ko) * 2021-12-21 2024-02-22 공주대학교 산학협력단 연마 공구의 표면 미세 연마 입자 비전 분석 장치 및 방법
JPWO2023139741A1 (ko) * 2022-01-21 2023-07-27
GB202204100D0 (en) * 2022-03-23 2022-05-04 Univ Newcastle Three-dimensional object shape acquisition characterisation and classification
KR102723902B1 (ko) * 2022-07-19 2024-10-31 한국과학기술연구원 광학기술을 기반으로 하는 미세플라스틱 검출장치
US12241825B2 (en) 2022-07-19 2025-03-04 Korea Institute Of Science And Technology Apparatus for detecting microplastics based on differential interference contrast microscope system
NL2032976B1 (en) * 2022-09-07 2024-03-21 Luo Automation B V Container inspection device
EP4336174A1 (en) * 2022-09-09 2024-03-13 ATS Automation Tooling Systems Inc. Particle inspection for liquid containers
WO2024052440A1 (en) * 2022-09-09 2024-03-14 F. Hoffmann-La Roche Ag Inspection system and method for a closed medical container
KR20240044042A (ko) * 2022-09-28 2024-04-04 엘지이노텍 주식회사 대상체의 물질 검출 장치 및 대상체의 물질 검출 방법
WO2024095265A1 (en) * 2022-10-31 2024-05-10 Equashield Medical Ltd Improved pharmaceutical preparation methods and systems using imaging technologies
IT202200026136A1 (it) * 2022-12-20 2024-06-20 Gd Spa Sistema di ispezione di un articolo
US20240280499A1 (en) * 2023-02-16 2024-08-22 Essex Furukawa Magnet Wire Usa Llc Visual inspection systems and methods
WO2024191922A1 (en) * 2023-03-10 2024-09-19 The Johns Hopkins University Three-dimensional tracking of dense polydispersed complex-shaped particles or objects
CN116563245B (zh) * 2023-05-11 2024-09-27 中国食品药品检定研究院 一种基于粒径大小的亚可见颗粒计算方法、系统及设备
CN116540212A (zh) * 2023-07-06 2023-08-04 中国空气动力研究与发展中心超高速空气动力研究所 一种三维成像装置及方法
GB202312503D0 (en) * 2023-08-16 2023-09-27 Univ Oxford Innovation Ltd Method and system for detecting characteristics of particles or particle environments, and method of training a machine learning model

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4136930A (en) * 1977-01-10 1979-01-30 The Coca-Cola Company Method and apparatus for detecting foreign particles in full beverage containers
US5015094A (en) * 1988-10-03 1991-05-14 Otsuka Electronics Co., Ltd. Particle size measuring system
JPH07160847A (ja) * 1993-12-07 1995-06-23 Olympus Optical Co Ltd 光学像再構成装置
JPH08305852A (ja) * 1995-04-27 1996-11-22 Mitsubishi Space Software Kk 画像処理による気泡の３次元計測方法
JPH09325122A (ja) * 1996-06-04 1997-12-16 Suinku:Kk 透明容器内の異物検査方法
JP2832269B2 (ja) * 1992-09-14 1998-12-09 三井金属鉱業株式会社 三次元粒子検出方法及び装置
US6082205A (en) * 1998-02-06 2000-07-04 Ohio State University System and device for determining particle characteristics
JP2001520398A (ja) * 1997-10-17 2001-10-30 ジェニコン・サイエンスィズ・コーポレーション 微粒子標識を使用した分析物アッセイ
US20050248765A1 (en) * 2004-03-09 2005-11-10 Budd Gerald W Small container fluid dynamics to produce optimized inspection conditions

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4726198Y1 (ko) 1968-06-07 1972-08-12
US3627423A (en) * 1970-02-17 1971-12-14 Schering Corp Method and apparatus for detecting particular matter in sealed liquids
JPS501674Y2 (ko) 1971-04-09 1975-01-17
US3830969A (en) * 1971-10-14 1974-08-20 Princeton Electronic Prod System for detecting particulate matter
JPS5378195A (en) 1976-12-22 1978-07-11 Fujitsu Ltd Manufacture of electrode panel for display
JPS5510916A (en) 1978-07-07 1980-01-25 Daiichi Seiyaku Co Sticked foreign matter detecting method in vessel
SU922596A1 (ru) 1980-06-13 1982-04-23 Институт Экспериментальной Метеорологии Устройство дл измерени размеров движущихс взвешенных частиц
US4377340A (en) * 1980-10-24 1983-03-22 Hamamatsu Systems, Inc. Method and apparatus for detecting particles on a material
JPS6174724A (ja) 1984-09-20 1986-04-17 Toshiba Corp 直列配置多段式伸線装置
JPH0621854B2 (ja) * 1985-01-17 1994-03-23 住友化学工業株式会社 沈降速度測定装置
JPS62220844A (ja) * 1986-03-24 1987-09-29 Hitachi Ltd 異物検査装置
JPS6388431A (ja) * 1986-10-02 1988-04-19 Hitachi Plant Eng & Constr Co Ltd 異物検出方法並びにその装置
JPS63140949A (ja) 1986-12-03 1988-06-13 Mitsubishi Heavy Ind Ltd 異物混入容器の除去装置および異物検出方法
JPH02159539A (ja) * 1988-12-14 1990-06-19 Toshiba Corp 浄水場のフロック画像撮影装置
KR910012795A (ko) * 1989-12-01 1991-08-08 김종택 반사식 두상 투영기(반사식 ohp)
SE465140B (sv) * 1989-12-13 1991-07-29 Tesi Ab Foerfarande och anordning foer att bestaemma blods saenkningsreaktion
JP3067224B2 (ja) * 1991-02-08 2000-07-17 株式会社ブリヂストン 空気入りラジアルタイヤ
JP3283078B2 (ja) 1992-12-04 2002-05-20 興和株式会社 免疫学的測定装置
JP2939145B2 (ja) 1994-11-09 1999-08-25 澁谷工業株式会社 異物検査装置
GB9521285D0 (en) 1995-10-18 1995-12-20 Pa Consulting Services Improvements in or relating to detection of foreign objects in fluid
KR970045036U (ko) * 1995-12-18 1997-07-31 온도센서 검사장치
JP3640461B2 (ja) * 1996-04-03 2005-04-20 シスメックス株式会社 粒子分析装置
US5905586A (en) * 1996-10-31 1999-05-18 Lucent Technologies Inc. Two-way optical fiber communication system having a single light source
SE9700384D0 (sv) 1997-02-04 1997-02-04 Biacore Ab Analytical method and apparatus
DE29706425U1 (de) 1997-04-10 1998-08-06 Heuft Systemtechnik Gmbh, 56659 Burgbrohl Vorrichtung zum Erkennen von diffus streuenden Verunreinigungen in transparenten Behältern
US6097428A (en) 1997-05-23 2000-08-01 Inspex, Inc. Method and apparatus for inspecting a semiconductor wafer using a dynamic threshold
US5905568A (en) * 1997-12-15 1999-05-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Stereo imaging velocimetry
JP3731700B2 (ja) 1997-12-25 2006-01-05 興和株式会社 蛍光粒子撮像装置
JPH11326008A (ja) 1998-05-19 1999-11-26 Nippon Steel Corp 流体中の粉体の３次元空間分布の立体像および当該分布の３次元移動速度分布の簡易再構築装置
US6153873A (en) * 1998-05-20 2000-11-28 E. I. Dupont De Numours And Company Optical probe having an imaging apparatus
DE19825518C2 (de) 1998-06-08 2001-10-04 Fresenius Ag Vorrichtung zur Messung von Parameteränderungen an lichtdurchlässigen Objekten
US6154285A (en) 1998-12-21 2000-11-28 Secugen Corporation Surface treatment for optical image capturing system
JP2000304689A (ja) 1999-04-21 2000-11-02 Hiroyuki Ogawa 投影観察方法、微生物検査方法および投影検出装置
US6986993B1 (en) 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening
JP3497107B2 (ja) * 1999-10-21 2004-02-16 株式会社エム・アイ・エル 容器内浮遊物判別方法及びその装置
TW571089B (en) 2000-04-21 2004-01-11 Nikon Corp Defect testing apparatus and defect testing method
JP3518596B2 (ja) 2000-10-02 2004-04-12 株式会社スキャンテクノロジー ソフトバッグ総合検査システム
US6833542B2 (en) 2000-11-13 2004-12-21 Genoptix, Inc. Method for sorting particles
JP2002357560A (ja) * 2001-02-28 2002-12-13 Gunze Ltd 液面浮遊異物検査方法及び液面浮遊異物検査装置
JP2002267612A (ja) * 2001-03-13 2002-09-18 Hitachi Eng Co Ltd 透明容器等の充填液体中の異物検査装置及びシステム
US7907765B2 (en) 2001-03-28 2011-03-15 University Of Washington Focal plane tracking for optical microtomography
EP1565747B1 (en) * 2001-03-29 2013-11-27 Cellect Technologies Corp. Method and system for separating and sorting particles
JP4580122B2 (ja) 2001-05-21 2010-11-10 第一三共株式会社 液中異物の検出方法
WO2003009579A2 (en) 2001-07-17 2003-01-30 Amnis Corporation Computational methods for the segmentation of images of objects from background in a flow imaging instrument
US20040146917A1 (en) * 2001-08-03 2004-07-29 Nanosphere, Inc. Nanoparticle imaging system and method
JP3650811B2 (ja) 2002-02-13 2005-05-25 株式会社トプコン 空中可視像形成装置
JP4152650B2 (ja) 2002-03-18 2008-09-17 セファテクノロジー株式会社 液体試料の沈降速度測定装置および沈降速度測定方法
CN1252451C (zh) * 2002-06-05 2006-04-19 中国科学技术大学 基于激光片光成像的粒子场全场测量方法及其装置
JP3718686B2 (ja) * 2002-06-17 2005-11-24 財団法人理工学振興会 平面及び空間の時系列流体速度計測システム
JP4048848B2 (ja) * 2002-06-28 2008-02-20 株式会社日立プラントテクノロジー 容器内異物検出装置および容器内異物検出方法
JP2004077535A (ja) 2002-08-09 2004-03-11 Dainippon Printing Co Ltd フレネルレンズシート
JP2005121592A (ja) 2003-10-20 2005-05-12 Ishizuka Glass Co Ltd ボトル液内異物検査システム
WO2005071389A1 (en) * 2004-01-14 2005-08-04 Luminex Corporation Methods for altering one or more parameters of a measurement system
US8634072B2 (en) 2004-03-06 2014-01-21 Michael Trainer Methods and apparatus for determining characteristics of particles
JP4304120B2 (ja) 2004-04-30 2009-07-29 ベイバイオサイエンス株式会社 生物学的粒子をソーティングする装置及び方法
US20050248465A1 (en) 2004-05-04 2005-11-10 Flaherty Fred F Water leak alarm and method
US7982868B2 (en) * 2004-07-30 2011-07-19 Eagle Vision Systems B.V. Apparatus and method for checking of containers
EP1630550A1 (en) * 2004-08-27 2006-03-01 Moller & Devicon A/S Methods and apparatuses of detecting foreign particles or faults in a plurality of filled containers
US7391515B2 (en) * 2004-10-05 2008-06-24 Gerald Walter Budd Automated visual inspection system for the detection of microbial growth in solutions
JP4537192B2 (ja) 2004-12-21 2010-09-01 キヤノン株式会社 眼科装置
CN101147055A (zh) 2005-01-31 2008-03-19 伊利诺伊大学评议会 用于表征清澈和混浊介质中的颗粒的方法和设备
US20080226126A1 (en) * 2005-01-31 2008-09-18 Yoshinori Ohno Object-Tracking Apparatus, Microscope System, and Object-Tracking Program
JP2006209698A (ja) 2005-01-31 2006-08-10 Olympus Corp 対象追跡装置、顕微鏡システムおよび対象追跡プログラム
EP1875200A1 (en) 2005-04-29 2008-01-09 Honeywell International Inc. Cytometer cell counting and size measurement method
US7587078B2 (en) * 2005-05-02 2009-09-08 Cytyc Corporation Automated image analysis
CN101278294B (zh) * 2005-08-02 2013-04-10 卢米尼克斯股份有限公司 用于分类微粒的方法、数据结构和系统
WO2007067999A2 (en) 2005-12-09 2007-06-14 Amnis Corporation Extended depth of field imaging for high speed object analysis
DE102005061834B4 (de) 2005-12-23 2007-11-08 Ioss Intelligente Optische Sensoren & Systeme Gmbh Vorrichtung und Verfahren zum optischen Prüfen einer Oberfläche
JP2007315976A (ja) 2006-05-26 2007-12-06 Japan Aerospace Exploration Agency 微小液滴・気泡・粒子の位置・粒径・速度測定の方法と装置
NO327576B1 (no) * 2006-06-01 2009-08-17 Ana Tec As Framgangsmate og apparat for analyse av objekter
US7626158B2 (en) 2006-10-23 2009-12-01 Emhart Glass S.A. Machine for inspecting glass containers
JP5108893B2 (ja) * 2006-10-27 2012-12-26 トムソン ライセンシング ２次元画像から３次元パーティクル・システムを復元するためのシステムおよび方法
GB0701201D0 (en) 2007-01-22 2007-02-28 Cancer Rec Tech Ltd Cell mapping and tracking
US8877507B2 (en) 2007-04-06 2014-11-04 Qiagen Gaithersburg, Inc. Ensuring sample adequacy using turbidity light scattering techniques
WO2008132995A1 (ja) * 2007-04-12 2008-11-06 The University Of Electro-Communications 粒子計測装置、及び粒径計測装置
CN101435764B (zh) * 2007-11-12 2013-11-27 北京深迈瑞医疗电子技术研究院有限公司 一种粒子分析仪及粒子分析方法
EP2085797B1 (en) 2008-01-30 2016-06-01 Palo Alto Research Center Incorporated Producing Filters with Combined Transmission and/or Reflection Functions
US8090183B2 (en) 2009-03-12 2012-01-03 Visiongate, Inc. Pattern noise correction for pseudo projections
KR101624758B1 (ko) * 2008-06-30 2016-05-26 코닝 인코포레이티드 마이크로리소그래픽 투사 시스템용 텔레센트릭성 교정기
CN101354241B (zh) * 2008-07-11 2011-06-08 长安大学 集料数字图像评价方法
CN102323191B (zh) * 2008-09-26 2013-11-06 株式会社堀场制作所 颗粒物性测量装置
WO2010080340A1 (en) * 2009-01-06 2010-07-15 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining a liquid level in a container using imaging
US20110140706A1 (en) * 2009-05-07 2011-06-16 Groves John T Particle-Based Electrostatic Sensing and Detection
CN101887030A (zh) * 2009-05-15 2010-11-17 圣戈本玻璃法国公司 用于检测透明基板表面和/或其内部的缺陷的方法及系统
CN101561403A (zh) * 2009-06-01 2009-10-21 燕山大学 三维正交显微镜摄像观测装置及其图像定量方法
JP5510916B2 (ja) 2009-09-11 2014-06-04 上野精機株式会社 半導体製造装置
JP5537347B2 (ja) * 2009-11-30 2014-07-02 シスメックス株式会社 粒子分析装置
EP3425439A1 (en) 2010-01-06 2019-01-09 Ecole Polytechnique Federale De Lausanne (EPFL) EPFL-TTO Dark field optical coherence microscopy
GB201011590D0 (en) * 2010-07-09 2010-08-25 Univ Gent Method and system for dispersion measurements
EP2458367B1 (de) 2010-11-25 2015-08-05 Mettler-Toledo AG Vorrichtung und Verfahren zur Erkennung fester Substanzen in einer flüssigen Phase
CN102213669A (zh) * 2011-03-17 2011-10-12 上海理工大学 一种图像动态光散射纳米颗粒粒度测量装置及方法
US10241028B2 (en) 2011-08-25 2019-03-26 The General Hospital Corporation Methods, systems, arrangements and computer-accessible medium for providing micro-optical coherence tomography procedures
TWI772897B (zh) 2011-08-29 2022-08-01 美商安美基公司 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
WO2013072806A1 (en) 2011-11-14 2013-05-23 Koninklijke Philips Electronics N.V. Apparatus for cluster detection
US10132736B2 (en) * 2012-05-24 2018-11-20 Abbvie Inc. Methods for inspection of protein particles in a liquid beneficial agent
WO2015034505A1 (en) 2013-09-05 2015-03-12 Empire Technology Development Llc Cell culturing and tracking with oled arrays
EP3077796B1 (en) 2013-12-06 2024-09-18 IP Specialists Ltd. Optical measurements of liquids having free surface
JP6388431B2 (ja) 2014-04-25 2018-09-12 日本放送協会 信号変換装置、信号復元装置、およびそれらのプログラム
DE102014007355B3 (de) 2014-05-19 2015-08-20 Particle Metrix Gmbh Verfahren der Partikel Tracking Aalyse mit Hilfe von Streulicht (PTA) und eine Vorrichtung zur Erfassung und Charakterisierung von Partikeln in Flüssigkeiten aller Art in der Größenordnung von Nanometern
US9443631B1 (en) 2015-03-04 2016-09-13 The United States Of America As Represented By The Secretary Of The Army Optical trap using a focused hollow-beam for trapping and holding both absorbing and non-absorbing airborne particles
US10234370B2 (en) 2015-03-30 2019-03-19 National Institute Of Advanced Industrial Science And Technology Particle size measuring method and device
JP6726687B2 (ja) * 2015-12-18 2020-07-22 株式会社堀場製作所 粒子分析装置及び粒子分析方法
US9857283B1 (en) 2016-07-01 2018-01-02 MANTA Instruments, Inc. Method for calibrating investigated volume for light sheet based nanoparticle tracking and counting apparatus
US9704239B1 (en) 2016-09-02 2017-07-11 Amgen Inc. Video trigger synchronization for improved particle detection in a vessel
US10088660B2 (en) 2017-02-10 2018-10-02 Amgen Inc. Imaging system for counting and sizing particles in fluid-filled vessels

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4136930A (en) * 1977-01-10 1979-01-30 The Coca-Cola Company Method and apparatus for detecting foreign particles in full beverage containers
US5015094A (en) * 1988-10-03 1991-05-14 Otsuka Electronics Co., Ltd. Particle size measuring system
JP2832269B2 (ja) * 1992-09-14 1998-12-09 三井金属鉱業株式会社 三次元粒子検出方法及び装置
JPH07160847A (ja) * 1993-12-07 1995-06-23 Olympus Optical Co Ltd 光学像再構成装置
JPH08305852A (ja) * 1995-04-27 1996-11-22 Mitsubishi Space Software Kk 画像処理による気泡の３次元計測方法
JPH09325122A (ja) * 1996-06-04 1997-12-16 Suinku:Kk 透明容器内の異物検査方法
JP2001520398A (ja) * 1997-10-17 2001-10-30 ジェニコン・サイエンスィズ・コーポレーション 微粒子標識を使用した分析物アッセイ
US6082205A (en) * 1998-02-06 2000-07-04 Ohio State University System and device for determining particle characteristics
US20050248765A1 (en) * 2004-03-09 2005-11-10 Budd Gerald W Small container fluid dynamics to produce optimized inspection conditions

Also Published As

Publication number Publication date
EA028127B9 (ru) 2018-01-31
US20160379376A1 (en) 2016-12-29
AU2016100220B4 (en) 2016-09-29
CA3048942A1 (en) 2013-03-07
IL261825B (en) 2021-10-31
JP6018208B2 (ja) 2016-11-02
TWI582408B (zh) 2017-05-11
JP6902077B2 (ja) 2021-07-14
AU2012302036A1 (en) 2014-02-13
SG10201606760TA (en) 2016-10-28
TW201721124A (zh) 2017-06-16
KR20220116080A (ko) 2022-08-19
JP2016197131A (ja) 2016-11-24
JP2014525583A (ja) 2014-09-29
DK2751543T3 (da) 2024-07-22
IL286529B1 (en) 2023-08-01
CN106442279B (zh) 2019-06-14
TWI708052B (zh) 2020-10-21
CN105136649B (zh) 2018-07-31
CA3048942C (en) 2021-11-30
TWI840888B (zh) 2024-05-01
US20210019905A1 (en) 2021-01-21
KR102433281B1 (ko) 2022-08-16
US9418416B2 (en) 2016-08-16
CA2843016A1 (en) 2013-03-07
CA3134342A1 (en) 2013-03-07
TWI648532B (zh) 2019-01-21
CN103765191A (zh) 2014-04-30
US20230038654A1 (en) 2023-02-09
EA034584B1 (ru) 2020-02-21
JP6590876B2 (ja) 2019-10-16
ES2982079T3 (es) 2024-10-14
AR087733A1 (es) 2014-04-16
IL248337B (en) 2019-03-31
KR102293636B1 (ko) 2021-08-24
IL248338B (en) 2018-10-31
TWI654419B (zh) 2019-03-21
CL2014000374A1 (es) 2014-06-27
US20140177932A1 (en) 2014-06-26
AU2012302036B2 (en) 2015-12-03
IL286529B2 (en) 2023-12-01
EP4365836A2 (en) 2024-05-08
BR112014003321A2 (pt) 2017-03-14
US10832433B2 (en) 2020-11-10
CN105136649A (zh) 2015-12-09
IL230948A0 (en) 2014-03-31
JP2017201335A (ja) 2017-11-09
IL304646A (en) 2023-09-01
FI2751543T3 (fi) 2024-07-11
MX2014001808A (es) 2014-09-12
EP2751543B1 (en) 2024-05-01
US9842408B2 (en) 2017-12-12
JP2021167821A (ja) 2021-10-21
EP2751543A1 (en) 2014-07-09
JP6302017B2 (ja) 2018-03-28
KR102168983B1 (ko) 2020-10-22
WO2013033253A1 (en) 2013-03-07
US9922429B2 (en) 2018-03-20
KR101982365B1 (ko) 2019-05-27
SG10201806093UA (en) 2018-08-30
JP2019215376A (ja) 2019-12-19
KR102558391B1 (ko) 2023-07-24
KR20200121917A (ko) 2020-10-26
AU2016100220A4 (en) 2016-03-31
CA2843016C (en) 2019-09-17
US9892523B2 (en) 2018-02-13
JP6368341B2 (ja) 2018-08-01
US20160379378A1 (en) 2016-12-29
IL286529A (en) 2021-10-31
EA028127B1 (ru) 2017-10-31
KR20140060300A (ko) 2014-05-19
IL230948B (en) 2018-08-30
HK1199301A1 (en) 2015-06-26
TWI772897B (zh) 2022-08-01
US20180150965A1 (en) 2018-05-31
ZA201400737B (en) 2016-01-27
KR102050202B1 (ko) 2019-11-28
TW201721130A (zh) 2017-06-16
KR20210107146A (ko) 2021-08-31
US11501458B2 (en) 2022-11-15
KR20190132579A (ko) 2019-11-27
CN106442279A (zh) 2017-02-22
EA201790956A3 (ru) 2018-01-31
EA201490169A1 (ru) 2014-08-29
TW202242379A (zh) 2022-11-01
TW202119011A (zh) 2021-05-16
EP4365836A3 (en) 2024-06-19
IL261825A (en) 2018-10-31
TW201903382A (zh) 2019-01-16
TW201315992A (zh) 2013-04-16
US11803983B2 (en) 2023-10-31
EA201790956A2 (ru) 2017-09-29
PL2751543T3 (pl) 2024-08-19
JP2016197130A (ja) 2016-11-24
US20160379377A1 (en) 2016-12-29
CN103765191B (zh) 2016-09-28
JP7216146B2 (ja) 2023-01-31

Similar Documents

Publication Publication Date Title
KR101982365B1 (ko) 유체 내 미용해된 입자의 비파괴적 검출을 위한 방법 및 장치
EA044111B1 (ru) Способы и устройства для неразрушающего обнаружения нерастворенных частиц в текучей среде

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20190516

Application number text: 1020147006278

Filing date: 20140307

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20190614

Comment text: Request for Examination of Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190826

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20191121

Application number text: 1020147006278

Filing date: 20140307

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191122

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191122

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221025

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241029

Start annual number: 6

End annual number: 6