[go: up one dir, main page]

JP2015505983A - 物質解析システム、方法、および装置 - Google Patents

物質解析システム、方法、および装置 Download PDF

Info

Publication number
JP2015505983A
JP2015505983A JP2014544027A JP2014544027A JP2015505983A JP 2015505983 A JP2015505983 A JP 2015505983A JP 2014544027 A JP2014544027 A JP 2014544027A JP 2014544027 A JP2014544027 A JP 2014544027A JP 2015505983 A JP2015505983 A JP 2015505983A
Authority
JP
Japan
Prior art keywords
data
sample
descriptor
holographic intensity
holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014544027A
Other languages
English (en)
Other versions
JP2015505983A5 (ja
Inventor
ナイドー,セガラン
スワルト,ヨハン・ヘンドリク
ヒューゴ,スザンヌ
バン・ローイェン,ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Council for Scientific and Industrial Research CSIR
Original Assignee
Council for Scientific and Industrial Research CSIR
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Council for Scientific and Industrial Research CSIR filed Critical Council for Scientific and Industrial Research CSIR
Publication of JP2015505983A publication Critical patent/JP2015505983A/ja
Publication of JP2015505983A5 publication Critical patent/JP2015505983A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means
    • G01N15/0227Investigating particle size or size distribution by optical means using imaging; using holography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/012Red blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/016White blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0825Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833Look up table
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/04Transmission or communication means, e.g. internet protocol
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Hematology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Ecology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Holo Graphy (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明は、物質を解析するシステムおよび方法、ならびに物質、必ずしも排他的ではないが特にバイオマテリアルを解析するための装置に関する。本発明は、注目物質のサンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィック強度データを受信することと、画像処理アルゴリズムおよび技術を適用することによって、受信したホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を少なくとも行うことにより、好適な出力を少なくとも生成することとを伴う。

Description

発明の背景
本発明は、たとえば血液などのバイオマテリアルの解析のための物質解析方法、システム、および装置に関する。
現在、南アフリカでは全血球算定(FBC)が年間およそ800万回行われている。FBCは、外見上病気の患者に対面したときに医師が必要とする最初のかつもっとも一般的な病理テストである。南アフリカや発展途上国でのFBCでは、都市および地方のクリニック、病院、および診療所において患者の採血を行う。
テストごとに小瓶1本分の血液が抜かれ、一時的に冷蔵庫に保存され、宅配便によって最も近い臨床検査室に陸路で輸送され、そこで自動血球算定機によってFBCが行われ、その結果が病理医によって解読される。
この作業のロジスティックスは、テストのコストに著しく寄与する。極めて大多数のテスト結果は、実験室において病理医により印刷されて解読され、次いでその後患者を治療する、要請を行った医師またはクリニックに伝達され、返送される。典型的な所要時間は48時間である。
なお、試験を容易にするために、デジタルホログラフィック顕微鏡を実験室で使用してもよい場合がある。しかしこれらの装置は扱いにくく、専門のオペレータがこれを操作することを必要とし得る。
したがって、本発明の目的は、上記の問題および/または欠点に対処するもしくは少なくとも改善すること、または従来のシステム、装置、および方法の代替案を提供することである。
発明の概要
発明の第1の局面によれば、物質を解析する方法が提供され、当該方法は、注目物質のサンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィック強度データを受信することを含み、ホログラフィック強度データは、データ取込手段によって取込まれ、さらに、受信したホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を少なくとも行うことを含む。
受信したホログラフィック強度データを処理するステップは、受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するステップを少なくとも含み、ホログラフィック強度データは、データ取込手段と関連付けられた照射が伝搬してホログラフィック強度データの取込を容易にする三次元空間を含む伝搬空間における別個の場所と関連付けられ、さらに、判定されたデータキーポイントを、オブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較してマッチングを判定することによって、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするステップを少なくとも含み、オブジェクトディスクリプタは、伝搬空間不変量である。
当該方法は、複数のオブジェクトディスクリプタを供給することを含んでもよく、各オブジェクトディスクリプタは、伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含んでもよい。各ディスクリプタサブセットは、1つ以上のディスクリプタキーポイントを含んでもよい。
当該方法は、オブジェクトディスクリプタを判定する事前のステップを含んでもよく、当該ステップは、各オブジェクトについて、オブジェクトの画像を受信することと、伝搬空間全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用することによって、伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成することと、伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定することと、判定されたディスクリプタキーポイントおよび伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられたオブジェクトディスクリプタを生成することとを含んでもよい。
なお、複数の生成されたホログラフィック強度パターンは、波形伝搬方程式によって人為的に生成してもよい。当該方法は、人為的なホログラムを自動的に生成してトレーニングすることを含むが、いくつかの実施形態例では、当該方法は、複数の物理的なホログラムを手作業で生成してトレーニングすることによって、オブジェクトディスクリプタ判定のためのディスクリプタキーポイントを判定することを含んでもよいと認識される。
オブジェクトの画像は、典型的にオブジェクトの顕微鏡画像を含む。
当該方法はさらに、判定されたディスクリプタキーポイントと伝搬空間において対応する別個の場所とを関連付けることによって、オブジェクトディスクリプタサブセットを生成することと、オブジェクトに対応する各生成されたサブセットを関連付けることによって、オブジェクトと関連付けられたオブジェクトディスクリプタを生成することと、生成されたオブジェクトディスクリプタをデータベースに格納することとを含んでもよい。
一実施形態例では、オブジェクトディスクリプタは、さらにスケール空間不変量であり、当該方法はしたがって、生成されたホログラフィック強度パターンの各々にぼかしアルゴリズム(blurring algorithm)を適用し、それによりぼかし画像を生成することによって、伝搬空間全体に亘って生成された複数のホログラフィック強度パターンの各々についてスケール空間を生成することと、生成されたぼかし画像間の差異を、互いから減算することによって判定することと、極値のスケール不変キーポイントを判定された差異に配置することと、スケール不変キーポイントを用いて、スケール空間不変オブジェクトディスクリプタを生成することとを含んでもよい。
なお当該方法は、復元アルゴリズムを受信したホログラフィック強度データに適用して、受信したホログラフィック強度データを、マッチングキーポイントと関連付けられた伝搬空間における別個の場所に復元することと、伝搬空間のこの場所においてキーポイントを導出することと、新たに導出されたキーポイントをオブジェクトディスクリプタと比較して、マッチングの信頼度を判定することとによって、マッチングの精度を判定することを含んでもよい。
当該方法は、配線による方法でデータ取込手段から、または各々がデータ取込手段を含む複数の地理的に分散された解析ステーションから無線によって、ホログラフィック強度データを受信することを含んでもよい。
当該方法は、データ取込手段を制御して、サンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィックデータを生成することを含んでもよい。
当該方法は、検出および識別動作の一方または両方と関連付けられた出力データを生成することと、配線または無線データ手段によって出力データをユーザインターフェイスモジュールに送信することにより、少なくとも出力させることとを含んでもよい。
当該方法は、同様の注目オブジェクトの和を判定することによって、検出されたまたは識別された注目オブジェクトを分類することと、受信したホログラフィック強度データを復元することによって、サンプルの画像を生成することと、判定された和および生成されたサンプルの画像の一方または両方を含む出力データを生成することと、配線または無線データ手段によって出力データをユーザインターフェイスモジュールに送信することによって出力させることとを含んでもよい。
発明の第2の局面によれば物質解析システムが提供され、当該物質解析システムは、データを格納するメモリ装置と、データ取込手段とデータ通信し、データ取込手段によって取込まれた注目物質のサンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィック強度データを受信するように構成されたデータレシーバモジュールと、受信したホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出する動作および識別する動作の一方または両方を少なくとも行うように構成された画像プロセッサとを備える。
当該画像プロセッサは、受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するように構成されたキーポイント抽出モジュールを含んでもよく、ホログラフィック強度データは、データ取込手段と関連付けられた照射が伝搬してホログラフィック強度データの取込を容易にする空間を含む伝搬空間における別個の場所と関連付けられ、さらに、判定されたデータキーポイントを、メモリ装置に格納された、オブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較してマッチングを判定することによって、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするように構成されたオブジェクト分類装置を含んでもよく、オブジェクトディスクリプタは、伝搬空間不変量である。
当該メモリ装置は、複数のオブジェクトディスクリプタを格納してもよく、各オブジェクトディスクリプタは、伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含んでもよく、各ディスクリプタサブセットは、1つ以上のディスクリプタキーポイントを含んでもよい。
当該物質解析システムは、オブジェクトディスクリプタを判定するように構成されたトレーニングモジュールを備えてもよく、トレーニングモジュールは、各オブジェクトについて、オブジェクトの画像を受信し、伝搬空間全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用することによって、伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成し、伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定し、判定されたディスクリプタキーポイントおよび伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられたオブジェクトディスクリプタを生成するように構成される。
当該データレシーバモジュールは、データ取込手段と配線によってデータ通信するか、または各々がデータ取込手段を含む複数の地理的に分散された解析ステーションと無線データ通信してもよい。
当該システムは、データ取込手段または各々がデータ取込手段を含む複数の地理的に分散された解析ステーションを備えてもよく、各データ取込手段は、デジタルホログラフィック顕微鏡設備を含んでもよく、デジタルホログラフィック顕微鏡設備は、照射を生成するように構成された照射源と、使用の際、それに入射する生成された照射に応答してホログラフィック強度データを生成するように構成された画像センサとを少なくとも含んでもよく、伝搬空間は、照射源と画像形成手段との間の三次元空間の少なくとも一部を含んでもよい。
当該デジタルホログラフィック顕微鏡設備はさらに、照射源から所定の距離に配置された空間フィルタを含んでもよく、空間フィルタは、照射源からそこを通る照射の通過のために少なくとも1つの照射開口を含み、さらに、空間フィルタから所定の距離に取外し可能に配置可能なサンプルホルダを含んでもよく、サンプルホルダは、注目物質のサンプルを保持するように構成され、画像センサは、使用の際、照射源からの照射が照射源から照射開口を通り、注目物質のサンプルを保持するサンプルホルダを通り、画像センサ上に伝搬するようにサンプルホルダから離間され、画像センサは、それに対する照射入射に応答して、注目物質のサンプルのホログラフィック強度データを生成し、伝搬空間は、照射源からの照射、または照射開口およびサンプルホルダの一方または両方からの照射が伝搬して画像センサに到達することによって、ホログラフィック強度データを形成する三次元空間を含む。
当該システムは、ユーザ入力および出力を受信し、画像プロセッサモジュールによる検出の動作および識別の動作の一方または両方と関連付けられた生成された出力データを少なくともメモリ装置に格納するように構成されたユーザインターフェイスモジュールを備えてもよい。
当該システムは、人間のユーザと関連付けられたバイオマテリアルのサンプルを解析するためのバイオマテリアル解析システムであってもよく、当該システムはしたがって、システムの少なくとも一人のユーザについてユーザプロファイルをメモリ装置に生成するように構成されたユーザインタラクションモジュールを備えてもよく、ユーザプロファイルは、特定のユーザと関連付けられた生成された出力データを格納する。
発明の第3の局面によれば、物質解析装置が提供され、当該物質解析装置は、使用の際、注目物質のサンプルを担持するサンプルホルダを取外し可能に収容するように構成されたハウジングと、注目物質のサンプルのホログラフィック強度パターンを取込むためにハウジングに配置されたデータ取込手段と、データを格納するメモリ装置と、取込まれたホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出する動作および識別する動作の一方または両方を少なくとも行うことによって、動作と関連付けられた出力データを生成するように構成された画像プロセッサと、ユーザ入力を受信して、画像プロセッサによって生成された出力データを少なくとも含む情報を出力するように構成されたユーザインターフェイスとを備える。
当該画像プロセッサは、受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するように構成されたキーポイント抽出モジュールを含んでもよく、ホログラフィック強度データは、データ取込手段と関連付けられた照射が伝搬してホログラフィック強度データの取込を容易にする空間を含む伝搬空間における別個の場所と関連付けられ、さらに、判定されたデータキーポイントを、メモリ装置に格納された、オブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較してマッチングを判定することによって、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするように構成されたオブジェクト分類装置を含んでもよく、オブジェクトディスクリプタは伝搬空間不変量であり、伝搬空間における複数の所望の別個の場所にそれぞれ関連付けられた複数のディスクリプタサブセットを含み、各ディスクリプタサブセットは、1つ以上のディスクリプタキーポイントを含む。
当該データ取込手段は、デジタルホログラフィック顕微鏡設備を含んでもよく、デジタルホログラフィック顕微鏡設備は、照射を生成するように構成された照射源と、照射源から所定の距離に配置された空間フィルタとを含んでもよく、空間フィルタは、照射源からの照射がそこを通って通過するための少なくとも1つの照射開口を含み、サンプルホルダは、空間フィルタから所定の距離に取外し可能に配置可能であり、さらに、サンプルホルダから離間された画像センサを含んでもよく、画像センサは、使用の際、そこに入射する生成された照射に応答してサンプルホルダ中の注目物質のデジタルホログラフィック強度パターンを少なくとも生成するように構成され、伝搬空間は、照射源からの照射、または照射開口およびサンプルホルダの一方または両方からの伝搬が画像センサに到達することによってホログラフィック強度データを形成する空間を含む。
当該装置は、当該装置に対して無線でデータを送受信するように構成された通信モジュールを備えてもよい。
当該装置は、人間のユーザと関連付けられたバイオマテリアルのサンプルを解析するためのバイオマテリアル解析装置であってもよく、当該装置はしたがって、装置の少なくとも一人のユーザについてユーザプロファイルをメモリ装置に生成するように構成されたユーザインタラクションモジュールを備え、ユーザプロファイルは、装置の特定のユーザと関連付けられた生成された出力データを格納する。
発明の第4の局面によれば、一組の命令を含み、コンピューティング装置によって実行されると、上記の方法をコンピューティング装置に行わせる非一時的なコンピュータ読取可能な記憶媒体が提供される。
発明の実施形態例に係る物質解析システムの概略図である。 サンプルホルダが第1の位置にある、図1の解析ステーションのより詳細な正面斜視図である。 サンプルホルダが第1の位置にある、図1の解析ステーションのより詳細な背面斜視図である。 サンプルホルダが第2の位置にある、図1の解析ステーションのより詳細な正面斜視図である。 発明の実施形態例に係る物質解析システムのより詳細な概略図の少なくとも一部分を示す図である。 発明に係るデータ取込手段をより詳細に例示する、発明に係る解析ステーションの概略断面図である。 装置と関連付けられた機能的モジュールを例示する、発明の実施形態例に係る物質解析装置の概略図である。 物質のサンプル、USAFテストスライドの当初の従来の明視野顕微鏡画像例を示す図である。 (a)の生成されたホログラフィック強度パターンの画像を示す図である。 (b)のホログラフィック強度パターンの復元画像を示す図である。 デジタルインラインホログラフィ顕微鏡システムから得られた血液塗抹のホログラムを示す図である。 血液塗抹の復元画像を示す図である。 従来の明視野顕微鏡(400倍)を用いて得られた血液塗抹の画像との比較を示す図である。 血液塗抹サンプルの明視野顕微鏡画像を示す図である。 (a)に対応するホログラムを示す図である。 赤血球を合焦させるための(b)に対応する復元画像を示す図である。 白血球を合焦させるための(b)に対応する復元画像を示す図である。 白血球が1つある血液塗抹の明視野顕微鏡画像の一例を示す図である。 赤血球についての(a)の注釈付き画像を示す図である。 赤血球についての位置画像を示す図である。 白血球についての位置画像を示す図である。 サンプル中の1つの白血球を例示する画像を示す図である。 実施形態例に係る方法のハイレベルフローチャートである。 実施形態例に係る方法の別のハイレベルフローチャートである。 以下で論じる方法のいずれか1つ以上をマシンに行わせるための一組の命令が実行され得るコンピュータシステムの形態例におけるマシンの模式図である。
好ましい実施形態の説明
以下の説明では、本開示の実施形態の十分な理解をもたらすために、多くの具体的な詳細を説明の目的で記載する。しかし、本開示はこれらの具体的な詳細なしに実施され得ることが当業者にとっては明白となる。
図面の図1を参照して、発明の実施形態例に係るシステムは、全体的に参照符号10で示される。システム10は、典型的に、生物学的または非生物学的な物質、特に顕微鏡的スケールのオブジェクトを詳細に解析するための物質解析システムである。本明細書に開示される発明は、いずれかの注目物質の解析に適用され得るが、実施形態例は、システムがバイオマテリアル解析システム10である好ましい実施形態例を参照して説明される。バイオマテリアルは、植物または動物生命体と関連付けられたいずれかの注目する生物学的物質を含んでもよい。議論される本システム10の実施形態例では、バイオマテリアルは人間と関連付けられ、血液、組織等を含んでもよい。
簡潔にするために、システムによって調査され解析されている物質を注目物質と称する。システム10は、注目物質のサンプルを解析して、その中の1つ以上の注目オブジェクトを検出するかまたは識別するように構成される。注目物質が人間の血液である例では、血球(赤血球または白血球)が注目オブジェクトであり得る。白血球および赤血球は、異なる種類のオブジェクトである。
システム10は、通信ネットワーク16を介して、複数の地理的に離間されたまたは分散されたデータ取込ステーション14と無線データ通信するセントラルシステムサーバ12を含み得る。通信ネットワーク16は、無線周波数または移動体通信ネットワーク、たとえばWi−FiネットワークまたはGSM(登録商標)(Global System for Mobile Telecommunications)ネットワークであり得る。通信ネットワーク16は、パケット交換網であってもよく、インターネットの一部を形成してもよい。その代りに、通信ネットワーク16は、回線交換ネットワーク、公衆交換データネットワーク等であってもよい。
サーバ12は必ずしも1つの場所に1つのサーバを含む必要はなく、たとえば通信ネットワーク16を介して互いにデータ通信する地理的に離間された場所に移動された複数の分散ネットワークサーバに亘って分散されてもよい。しかし、説明を簡単にするために、1つのサーバを例示する。同様に、システム10は複数のステーション14を含んでもよいが、3つだけを例示する。
各データ取込ステーション14は、適切な健康管理施設等に通常はアクセス不可能な遠隔地に典型的に配置される。システム10は、したがって有利に遠隔地で使用するためのケアシステムのポイントを提供する。無線機能がこの点で支援するからである。
この点に関し、図2〜図4を参照して、ステーション14をより明確に例示する。ステーション14は、丈夫な材料で構成され、遠隔の都市化されていない地域での使用に耐える頑丈なハウジング14.1を含むことが有利である。使用を容易にするため、ハウジング14.1は、2つの対向する主面を有する平らなタブレット状である。ユーザインターフェイス29(図2)はハウジング14.1に設けられてもよく、ユーザインターフェイス29は、ハウジング14.1の一主面上に配置されたタッチスクリーン14.2を少なくとも含む。スクリーン14.2は、(インターフェイス29と関連付けられた)情報およびGUIを表示し、少なくともステーション14を制御するために、ユーザからのタッチ入力を対応して受信し得る。これらは、いずれかの従来のやり方で行われ得る。
ステーション14は携帯可能であり、したがって比較的軽量であり、かつステーション14の使用を容易にするためにグリップ形成を含む。ステーションは、実施形態例では315mm×250mm、高さ45mmの寸法を有し得る。
ハウジング14.1は、周囲光がハウジング14.1に入ることを防ぐ照射が当たらないやり方で注目物質のサンプル、たとえば血液(下記)を担持するサンプルホルダを取外し可能に収容するようにも構成される。一実施形態例では、ハウジング14は、フラップが位置の選定のために露出されるかまたはサンプルホルダをフラップ14.3から取外し可能な第1の位置と、フラップ14.3が回転して閉じ、照射が当たらないやり方でサンプルホルダをハウジング14.1に導入する第2の位置との間で回転可能なフラップ14.3を含む。
図面の図5を参照して、図1に例示したシステム10のさらなる詳細な例示を行う。例示を容易にするために、ステーション14およびサーバ12の1つのインスタンスを例示する。システム10、特にセントラルシステムサーバ10は、非一時的データを格納するデータベースまたはメモリ装置18を含む。データベース18は、1つ以上の場所に配置されているが互いにデータ通信して情報をデジタルに記憶するための手段を提供する1つ以上の好適な装置であってもよい。
なお、サーバ12は、コンピュータによって作動されてもよく、非一時的なコンピュータ読取可能な媒体、たとえば本明細書に記載されるサーバ12の動作を指示する命令またはソフトウェアを格納するデータベース18を有する1つ以上のプロセッサを含んでもよい。本明細書に開示される方法を参照して説明されるステップは、本明細書に記載される説明と関連付けられた1つ以上の処理ステップの適用によって典型的に実現される。
いずれにせよ、システム10、特にサーバ12およびステーション14は、システム10によって行われる機能的タスクに対応する複数の構成要素またはモジュールを含む。明細書の文脈において説明される構成要素、モジュール、および手段は、特定の機能、動作、処理、または処理手順を実現するためにコード、計算可能もしくは実行可能な命令、データ、または計算可能なオブジェクトの識別可能な部分を含むものと理解される。したがって、これらの構成要素、手段、またはモジュールはソフトウェアで実装する必要はなく、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組合せで実装してもよい。さらに、これらの構成要素、手段、またはモジュールは、特にサーバ12の場合は必ずしも1つの装置に一体化する必要はなく、複数の装置に亘って分散されてもよい。
サーバ12は、ステーション14のデータ取込手段22とデータ通信するデータレシーバモジュール20を含み、データレシーバモジュール20は、データ取込手段22によって取込まれた注目物質のサンプルと関連付けられたホログラフィック強度パターンまたは画像を少なくとも含むホログラフィック強度データを受信するように構成される。
図面の図6をさらに参照して、データ取込手段22は全体的にハウジング14.1内に例示される。データ取込手段22は、ハウジング14.1内に規定された光絶縁チャンバ14.4に配置されたデジタルホログラフィック顕微鏡設備を典型的に含む。例示される実施形態はインラインデジタルホログラフィック顕微鏡設備に近似するが、オフアクシス(off−axis)手法も使用され得ると認識される。したがって、提供されるデジタルホログラフィ顕微鏡設備により、スカラー回折理論を用いて説明することができる光波の伝搬および干渉を含むホログラフィの根本原理を使用することが可能となる。
ホログラフィック顕微鏡設備は、照射を生成するように構成された照射源24を含む。照射源24は、LED(発光ダイオード)光源、たとえば赤外線レーザダイオード(808nm)またはブルーレーザダイオード(408nm)を含む。平面空間フィルタ26は、照射源24から所定の距離に配置され、空間フィルタ26は、照射源24からの照射を通過させるために、直径がおよそ50μmの少なくとも1つの円形の照射開口26.1を含む。照射開口26.1の形状および/または寸法は、照射源24からの光または照射のコリメーションを向上させるように有利に選択される。換言すると、開口26.1の機能は、光波が物質のサンプルと相互作用する前に平行ビームを生成することである。これは、本実施形態例で説明される以外のやり方で行われてもよい。
いずれにせよ、フィルタ26は、照射源24からの照射の伝搬方向を横切って配置される。開口26.1から発せられた照射は、伝搬空間Zを伝搬する回折光波を典型的に含む。伝搬空間Zは、手段18からの光またはフィルタ20からの回折光が伝搬してホログラムの生成を容易にする空間として大まかに規定され得る。伝搬空間Zは、ある空間、たとえば三次元物理空間であってもよい。しかし本記載では、伝搬空間Zは照射源18からの照射または光波の伝搬の主軸に平行な1つの次元に対応してもよく、これはZでパラメータ表示することができる。
伝搬空間Zは、データ取込手段22に一意と関連付けられ得る。工業的に複製可能なステーション14では、伝搬空間Zは同様のステーション間で望ましくは同様になるように選択される。
いずれにせよ、手段22は、空間フィルタ26およびしたがって照射源24から所定の距離に上記のように取外し可能なやり方で注目物質のサンプルを保持するサンプルホルダまたはインサート28を収容するように構成される。フラップ14.3は、サンプルホルダ28を第1の位置に収容し、第2の位置において、使用の際には、手段22に対して所定のかつ所望の位置にサンプルホルダ28を動かすように構成される。このように、システム10の精度がさらに高められる。
サンプルホルダ28は、照射開口26.1からの照射の伝搬空間Zに物質のサンプルを保持するように構成される。サンプルホルダ28中の物質は、注目オブジェクト19、たとえば血球を典型的に含む。サンプルホルダ22はしたがって、ガラスで構成される透明で平坦な顕微鏡スライド28を含んでもよい。スライド28は、顕微鏡用途で使用される従来のスライドであってもよい。
最後に、手段22は、サンプルホルダ28からの照射の伝搬空間Zにおいてサンプルホルダ28から所定の距離に配置された画像センサまたは画像記録手段30を含む。画像センサ30は、伝搬空間Z全体に亘って光源24からその上への照射の入射に応答してサンプルホルダ28中の物質のデジタルホログラフィック強度パターンを少なくとも生成するように典型的に構成される。このように、手段22は、サンプルのホログラフィック強度パターンまたは画像を効果的に取込む。
画像センサ30は、照射伝搬空間Zを実質的に横切って配備される電荷結合素子(CCD)または好ましくは相補型金属酸化膜半導体(CMOS)画像センサから選択されてもよい。画像センサ30は、画素寸法が2.2μm×2.2μmの1/2.5インチの5MP CMOSデジタル画像センサ30であってもよい。
なお、伝搬空間Zは、好ましくは空間、たとえば三次元空間全体、またはいくつかの実施形態例ではZ軸を含み、その上を照射源24からの照射もしくは光波またはフィルタ26からの回折光がサンプルホルダ28を介して伝搬して、画像センサ30に到達することにより、ホログラフィック強度データの生成を容易にする。
スライド28は、第2の位置へのフラップ14.3の動作によって、光絶縁されるやり方でスライド28をチャンバ14.4に導入し、伝搬空間Z内のセンサ30に隣接して作動的に配備されるように、フラップ14.3と関連付けられたトレイ上に収容可能であり得る。トレイは、スライド28を収容するように形作られ寸法決めされ得る。この点に関して、スライド28は76mm×26mm×1mmの寸法を有し得る。また、スライド28中の物質は、たとえば血液の場合、病理医がこれを解析するために通常行うのと同様のやり方で染色してもよい。
手段22は典型的にレンズがなく、CMOS画像センサ30によって生成されたホログラフィック強度パターンを含むデジタルホログラフィック強度データは、ホログラフィック強度データと関連付けられた、画素強度等のパラメータに対応する画素値を有する画素のマトリックスを含んでもよい。いくつかの実施形態例では、画素値は、画像強調の目的で1つ以上の隣接画素の値から算出され得る。なお、画素値をより良く推定するには、隣接画素からの情報を使用することができる。超解像技術によってさらなる精度を実現することができる。この場合、超解像技術は、照射源24とセンサまたは画像センサ30との間の(単独でまたはともに)変動する位相、波長、および相対的な空間移動に基づくことができる。
ハウジング14は、チャンバ14.4を設け、かつ少なくとも手段22およびスライド28の各構成要素を安全なやり方で特定の所定の場所に配置するための手段を設けるように形作られ、寸法決めされる。これにより、高感度部材間の許容差が維持されることが有利に確実となることにより、特に、ステーション14の頑丈な構造が重要である僻地において、使用の際にステーション14の動作の精度を推進する。
必ずしも好ましい実施形態例ではないが一実施形態例では、オブジェクト平面において平面波面を確実にするために、開口26.1とサンプルホルダ28との間の距離はおよそ200mmである。サンプルホルダ28と画像センサ30との間の距離は2mmであり得る。これらの寸法は、ステーション14の寸法などといった要因に依存して変動してもよいと認識される。
図面の図5に戻り、ステーション14は、ステーション14の動作を指示するためのプロセッサ32も含む。この目的で、ステーション14は、プロセッサ32の動作を指示するための命令の組を搬送する機械読取可能な媒体、たとえばプロセッサ32のメモリ、メインメモリ、および/またはハードディスクドライブを含んでもよい。プロセッサ32は、1つ以上のマイクロプロセッサ、コントローラ、またはいずれかの他の好適なコンピューティング装置、リソース、ハードウェア、ソフトウェア、または埋込みロジックであってもよいと理解されるべきである。
また、ステーション14は、通信ネットワーク16を介するセントラルシステムサーバ12との無線通信を容易にするための通信モジュール34を含む。システムサーバ34は、ネットワーク16を介する通信を容易にするために好適にマッチングさせた通信モジュール34を含んでもよく、したがって同じ参照符号を用いてこれを示す。通信モジュール34は、無線によるネットワーク16を介した無線通信を容易にするための1つ以上のモデム、アンテナ等の装置を含んでもよい。例示されている実施形態例では、モジュール34は、レシーバモジュール20とステーション40との間の無線によるデータ結合または通信を容易にする。ステーション14はしたがって、データ取込手段22によって取込まれたホログラフィック強度データを無線でセントラルシステムサーバ12に送信することにより処理するように構成される。
サーバ12はしたがって、モジュール20を介してステーション14から受信したホログラフィック強度データを処理して、ステーション14に収容されたサンプル中の少なくとも1つの注目オブジェクトを検出する動作および識別する動作の一方または両方を少なくとも行うように構成された画像プロセッサ36を含む。
検出するステップおよび識別するステップは、医療従事者による解析のために復元されたホログラムを提供するに過ぎない多くの既存のシステムと比較して、よりロバストな解析手法を自動化されたやり方で有利に提供する。
受信したデータの処理をさらに向上させるために、画像プロセッサ36はモジュールを含み、当該モジュールは上記で定義されたものであり得る。特に、画像プロセッサ36は、受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するように構成されたキーポイント抽出モジュール38を含み、ホログラフィック強度データは、上で説明したように、データ取込手段22と関連付けられた伝搬空間Zにおける別個の場所と関連付けられている。一実施形態例では、モジュール38は、受信したホログラフィック強度画像の画素を横断し、注目強度値を有する画素、たとえば従来のやり方で極大および極小位置の配置等を選択する。なお、判定されたデータキーポイントは、モジュール38によって選択された1つ以上の注目画素に対応する。いくつかの実施形態例では、極値点はスケール空間を介して2つの隣接するスナップショットの相違から抽出されてもよい。これにより、検出されるキーポイントの数がより顕著なものに減少され得る。
画像プロセッサ36はさらに、判定されたデータキーポイントを、メモリ装置18に格納され、マッチングを判定するためにオブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較し、それによってサンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするように構成されたオブジェクト分類装置40を含む。オブジェクトディスクリプタは伝搬空間不変量である。血球をオブジェクトとすると、各種の血液細胞(赤血球および白血球)は、複数のディスクリプタサブセットを含むことによって伝搬空間不変量である特定の識別子がそれと関連付けられてもよい。各ディスクリプタサブセットは、複数のディスクリプタキーポイントと、伝搬空間Zにおける関連付けられた別個の場所を示す情報とを含む。
説明されるように、キーポイントは伝搬空間Zに亘って収集されてもよく、したがって伝搬空間Zにローカライズされる。収集されたキーポイントは、注目オブジェクトについてのオブジェクトディスクリプタを形成し得る。したがって、オブジェクトディスクリプタは伝搬空間不変量となり、伝搬空間不変のやり方で注目オブジェクトの検出および/または識別を可能にし得る一方、検出につながるキーポイントのサブセットは、伝搬空間Zにおける注目オブジェクトのローカリゼーションを追加的に可能にし得る。
たとえば、赤血球ディスクリプタは、伝搬空間Z中の別個の場所1においてディスクリプタキーポイント[X,Y,Z]と、伝搬空間Zにおける別個の場所2において[A,B,C]とを有することになる。抽出されたデータキーポイントマッチング[X,Y,Z]により、オブジェクト分類装置40が物質のサンプル(血液サンプル)中のオブジェクトが赤血球であると判定することが可能となり、次いでオブジェクトは、伝搬空間の場所1に提供される。このように、ある量のオブジェクトが計算上効率的に識別され配置される。
したがって、オブジェクトディスクリプタは伝搬空間不変量となり、伝搬空間不変のやり方で注目オブジェクトの検出および/または識別を可能にし得る一方、検出につながるキーポイントのディスクリプタサブセットは、伝搬空間Zにおける注目オブジェクトのローカリゼーションを追加的に可能にし得る。
画像プロセッサ36は、検出されたまたは識別された注目オブジェクトと関連付けられた出力データを生成するように典型的に構成される。たとえば、画像プロセッサ36は、血液の場合は血球数(赤血球または白血球)となる検出されたまたは識別されたオブジェクトの発生回数をカウントし得る。サーバ12は、生成された出力データを通信モジュール34を介してステーション14に送信して、ユーザインターフェイス29のディスプレイ14.2によって表示させるように構成され得る。ユーザは、ユーザインターフェイス29により、サーバ12に送信されるべき命令を作成して、サーバに、1つ以上の具体的なデータ項目を送信し、それによって表示するよう命令する。
画像プロセッサ36はさらに、受信したホログラムに復元アルゴリズムを適用することにより、受信したホログラムの復元画像を生成するように構成される。復元画像は、ステーション14に送信される出力データの一部を形成してもよい。画像プロセッサ36は、画像を前処理および後処理して、復元画像の品質を向上させ、その品質を改良するように構成されてもよい。この点に関して、モジュール36は、追加的なハイパスフィルタを適用することによって、画像強調を行うように構成され得る。
復元画像の解像度をさらに向上させるには、超解像などの技術を実施することができる。超解像は、複数のソースを用いるかもしくはオブジェクトの複数のビューポイントをイネーブルにすることによって、またはオブジェクトを複数の位置に置くことによって実現することができる。超解像は、オブジェクトを複数の周波数または複数の位相で観察することによって、実現することもできる。これらの技術のいずれか1つまたは組合せを用いることができる。
本発明は、遠隔地にいる少なくとも健康管理の専門家を有利に支援する。たとえば、ステーション14のみにアクセスできる遠隔地にいる専門医は、血液のサンプルの画像および採血された血液のサンプルと関連付けられた白血球数を受信することを、ユーザインターフェイス29を介して選択し得る。画像プロセッサ36は、検出されたまたは識別された白血球を従来のやり方でカウントし、受信したホログラムを復元して復元画像を生成してステーション14に送信し、ステーション14と関連付けられたディスプレイ14.2を介して専門医が観察する。このように、専門医は極めて遠方の場所でも健康管理支援を有利に提供することが許されるようになり得る。
なお、オブジェクトディスクリプタが本発明にとって重要である。この点に関して、各注目オブジェクトについてオブジェクトディスクリプタを判定するために、サーバ12は、上記したやり方で画像プロセッサ36によって使用されるオブジェクトディスクリプタを生成するためのトレーニングモジュール42を有利に含む。オブジェクトディスクリプタはサーバ12によって生成される必要はなく、外部で生成され、かつサーバ12によって使用されるだけでもよいことが理解される。
いずれにせよ、モジュール42は、オブジェクトの画像を受信するように構成される。この場合、モジュール42によって受信された画像は従来の顕微鏡画像であって、ホログラムではない。しかし、いくつかの実施形態例では、モジュール42は、従来の画像と同様のやり方で使用されるように復元され得るホログラムを受信する。
モジュール42はさらに、受信した画像に波形伝搬アルゴリズムを適用して、伝搬空間Z全体に亘る異なる別個の場所に対応する複数のホログラフィック強度パターンを生成するように構成される。特に、モジュール42は、伝搬空間Zを離散化し、離散化された伝搬空間Z全体に亘る各所望の別個の場所について波形伝搬アルゴリズムを適用することにより、伝搬空間Zの別個の場所にホログラムを生成するように構成される。
モジュール42は、たとえば計算上の効率、解像度、および精度の点などの基準に依存して、上記の目的で伝搬空間を所定数の場所またはゾーンに離散化するように構成され得る。この目的で、モジュール42は少なくとも伝搬空間Zの寸法を示す情報を受信するように有利に構成されると解釈される。
好ましい実施形態例では、波形伝搬アルゴリズムは、以下の波形伝搬式(1)によって説明される方法を典型的に行うかまたは適用する:
順方向では、ホログラム生成に使用される場合、撮像/センサ面において形成された複雑な回折パターンであるI(α′,β′)が式1によって得られる。
‐この複雑な回折パターンは、次いで参照波と組合わせられ、ホログラフィック強度パターンが得られる。
‐次いでh(x,y)が注目オブジェクトの画像として処理される。
‐E(x,y)は参照波である。
‐r′は、オブジェクトの面内の点から、ホログラムを形成するのに使用される複雑な回折パターンの面内の点までの直線距離である。
‐λは光源波長である。
‐zは伝搬軸である。
‐(x,y)は、オブジェクトが存在する面である。
‐(α′,β′)は、ホログラムを形成するのに使用される回折図形が存在する面である。
逆方向では、オブジェクトの復元に使用される場合、当初のオブジェクトがあった場所での注目オブジェクトの復元であるI(α′,β′)が式1によって得られる。
‐次いでh(x,y)がホログラフィック強度パターンとして処理される。
‐E(x,y)は参照波である。
‐r′は、ホログラムの面内の点から注目オブジェクトの面内の点までの直線距離である。
‐λは光源波長である。
‐zは伝搬軸である。
‐(x,y)は、ホログラムが存在する面である。
‐(α′,β′)は注目オブジェクトが存在する面である。
式(1)は、人為的なもしくはモデルホログラフィック強度パターンまたは伝搬空間Z全体に亘る特定の別個の場所に対応するスナップショットを生成するためにモジュール42によって使用されることにより、受信された画像を入力とする。
オブジェクトディスクリプタを判定する文脈での伝搬空間Zは、オブジェクトを識別することに関して上記した説明と実質的に同様であると理解される。換言すると、オブジェクトディスクリプタを判定する際に使用される手段22の同じハードウェアセットアップは、オブジェクトを識別する際に使用されるハードウェアセットアップと理想的には実質的に同様であってもよく、このように、伝搬空間Zの容積がサーバ12によって認識される。
モジュール42によって使用される式(1)の選択に関し、波形伝搬式(1)はある意味ではレンズとして機能すると解釈される。これによりオブジェクトを合焦させる。(典型的なレンズでのように)オブジェクトが合焦すると、光波が合焦点と一致させられる一方、他の点では、光波は互いに様々な分離度で存在する。これは、埋込まれた位相情報によって深さの復元が可能になるためであり、異なる距離にあるオブジェクトを分離することができることを意味する。
別の重要な点は、式(1)が、三次元伝搬空間内の任意の点におけるすべての光波の関係を説明していることである。伝搬光のサンプルが三次元空間のいくつかの点において取込まれた場合、式(1)により、別の場所における点の復元が可能となる。
換言すると、波形伝搬式(1)は、伝搬空間Zを通る光波の関係を第1に維持し、第2にレンズとして機能(または光波上で変形)し、光波を互いに分離し(またはそれらを合焦させ)、これらの2つの動作が組合せられ(かつ活用され)て、伝搬空間Zに変動を生じさせる。
モジュール42は、伝搬空間Z全体に亘って生成されたホログラフィック強度パターンごとに、注目ディスクリプタキーポイントまたは安定したディスクリプタキーポイントを判定するように構成されたトレーニングキーポイント抽出モジュール42をさらに含む。これは、注目キーポイントを抽出するように従来のやり方で行われ得る。たとえば、多様なサリエンシー(saliency)検出器を伝搬空間Zに対して適用してもよい。伝搬空間Z全体に亘って生じる顕著な点(salient point)は、伝搬空間Z全体に亘って変化しない点として識別される。この特定のサブセットは、検出または識別プロセスのみではあるが安定したやり方で貢献する。
モジュール42は、判定されたディスクリプタキーポイントと伝搬空間全体に亘って関連付けられた別個の場所を示す情報とを使用して、オブジェクト、たとえば赤血球と関連付けられたオブジェクトディスクリプタを生成するように構成される。これは、波形伝搬モジュール42によって生成された各スナップショットについて上記したやり方で、ベクトルによって識別されたディスクリプタキーポイントを、伝搬空間Z中のそれぞれのまたは対応する別個の場所と関連付けることによってディスクリプタサブセットを生成することによって行われ得る。伝搬空間Z全体に亘って特定のオブジェクトについて複数のディスクリプタサブセットが生成されると、モジュール42はこれをオブジェクトディスクリプタとしてデータベース18と関連付けかつ格納し、伝搬空間Z内のそれぞれの場所にかかわらず、オブジェクトをシステム12によって識別するのに使用される。
実際の用途では、本発明により、ホログラフィック復元によって再び合焦させサーチして第一にオブジェクトを見つける必要なしに、ホログラムの1つのスナップショットからオブジェクトを有利に識別することが可能となる。
サーバ12は上記の原理を用いて、統計的マシンを実装してもよい。統計的マシンは、自動的に特徴を導出し、さらにこれらを使用して、より離散的な特徴またはディスクリプタの組の導出なしに識別するためのオブジェクトディスクリプタを(自動的に)生成するようにトレーニングすることができる学習アルゴリズム、たとえばニューラルネットワークを適用するように構成される。システム10は、統計的マシンをトレーニングさせるためのホログラムを生成するように構成されてもよい。
好ましい実施形態例では、伝搬空間Zが不変であるのに加え、オブジェクトディスクリプタをスケール空間不変量とすることにより、伝搬空間およびスケール空間S全体に亘って注目オブジェクトを識別することができる。スケール空間不変量は、本発明のアドオン機能であってもよい。
画像プロセッサ36がスケール空間理論技術を使用することを可能にするには、ウェーブレットをベース機能として使用すればよく、画像情報は、異なるパルスを合計することによって表わされる。ウェーブレットによれば、画像の周波数および空間座標を同じプロット上で視覚化することが可能となる。当該システムでは、情報はスケール空間全体に亘って分散される。空間にウェーブレットを適用することで、この情報を探し出し、グループ化することが可能となる。
スケール空間内のオブジェクトと画像との間の焦点距離が変化すると、オブジェクトの画像がよりぼやけ、オブジェクトの空間表示が得られる。全空間表示に沿って、すなわちオブジェクトからの各画像点において安定点を探し出すことによって、特徴を抽出することができる。
次いで、収集したこれらの安定点をグループ化してベクトルとし、オブジェクトの分類に使用することができる。ベクトルは、オブジェクトの種類ごとに作成することができるからである。スケール空間全体に亘っていくつかの情報を収集することによって、オブジェクトを一意に識別することができる。
一実施形態例では、メモリ装置18は、システム10のユーザと関連付けられた複数のユーザプロファイルを格納し得る。ユーザプロファイルは、ユーザと関連付けられた情報、病歴、およびユーザについてシステム10によって生成された出力と関連付けられた履歴を含んでもよい。ユーザプロファイルは、ステーション14を介してユーザによって入力されたパスワードでアクセス可能であり得る。さらに例示も説明もしないが、ユーザはシステム10を使用するように登録してもよい。
システム10では、大部分の処理はリモートサーバ12で行われ、それによりステーション14によって必要とされる処理を最小化すると認識される。しかし、所望であれば、上記したシステム10の大部分を携帯機器に配置してもよい。したがって、これは、本明細書で説明される有利かつ計算上効率的な処理技術および方法の提供によって有利に実現され得る。
図面の図7を参照して、発明の好ましい実施形態例に係る物質解析装置を全体的に参照符号50で示す。
装置50は、ステーション14と実質的に同様であり、いくつかの相違点を除いて上記したそのすべての構成要素を含む。また、装置50は、ハウジング14.1内のシステム10、特にサーバ12の大部分の構成要素を追加的に含む。この理由から、同じ部分は同じ参照符号で示す。したがって、場合によっては、かつ実現可能であれば、上記の様々な構成要素の説明が図7に該当する。たとえば、サーバ12の場合のように装置50のいずれの構成要素もネットワーク中に分散されないが、任意に通信可能に互いに配線され、1つの頑丈かつロバストな携帯型ユニットに含まれることが理解される。
なお、プロセッサ32は、上で説明したようにより強力な画像プロセッサ36を含む。したがって装置50は、上記のようにステーション14よりもはるかに計算上ダイナミックである。装置50では、データレシーバモジュール20がデータ取込装置22に有利に配線され、取込まれたホログラフィック強度をデータ取込装置22から受信する。一実施形態例では、レシーバモジュール20は画像センサ30とデータ通信してもよい。
上記した画像プロセッサ36の動作は、計算上費用のかかる従来の方法と比較して、はるかに有利かつ高速に、ホログラフィック強度パターンの処理および解析を有利に可能とする。
また、ユーザインターフェイス29を介して受信されたユーザ制御入力は、画像プロセッサ36によって典型的に取扱われ、次いで画像プロセッサ36が出力データを処理し、ユーザインターフェイス、たとえばタッチスクリーンインターフェイスを介してその表示を行う。
装置50の他の動作は、システム10に関して上記したのと実質的に同様である。なお、装置50は真空で動作する必要はなく、場合によっては患者のプロフィール等を格納するサーバ12にモジュール34を介して通信してもよい。
図面の図8〜図11を参照して、上記したのと同様のインラインホログラフィック顕微鏡設備によって生成された画像例を完全を期すために例示する。
図8(a)は、CMOSセンサによってデジタルインラインホログラフィ顕微鏡プラットフォーム上に記録された、ポジ1951アメリカ空軍(USAF)ホイールパターンテストターゲットスライド(R3L1S4P、ソーラボ社)の中央領域のデジタルホログラムを示す。
生成されたデジタルホログラムを、次いでシステム10/装置50によって適用されたものと同様の画像復元アルゴリズムへの入力として使用した。アルゴリズムは第1にラプラシアンフィルタによってホログラム画像の前処理を行って、ホログラムのコントラストを強調する。復元されたUSAFスライド画像を図8(b)に示す。図8(c)は、従来の明視野顕微鏡に接続されたCMOSセンサを用いて取込まれたUSAFスライドの画像をおよそ400倍の倍率で示す。
デジタルインラインホログラフィ顕微鏡プラットフォームの機能をさらにテストするため、血液塗抹スライドを撮像した。ブルーレーザダイオードを用いて得られた小面積の血液膜スライドのホログラムを図9(a)に示す。対応する復元画像を、従来の明視野顕微鏡を用いて得られた同じ面積の血液膜の画像とおよそ400倍の倍率で比較して図9(b)に示す。図9(b)および図9(c)の円で囲まれた領域は、2つの画像において対応する領域をハイライトするのを支援する。
青色光源は、血液膜中の白血球よりも広がっている赤血球を撮像するのにより明確な成果をもたらした。これは、最適な画像復元成果のために、異なる光源からの情報を組合わせることが可能であり、さらに研究されることになることを示唆している。
いくつかの実施形態例では、異なる光源、強度、光源の開口寸法、ならびに光源24とサンプルとの間およびサンプルと画像センサ30との間の距離を変動させることによるデジタルホログラフィック顕微鏡設備の最適化によって、取込まれる生成されたホログラフィック強度データに変動が生じる。
一実施形態例では、以下のパラメータが最適であると判定された。
‐赤色レーザダイオード光源24(波長635nm)
‐光源24における30umの照射開口26.1
‐ソースとサンプルホルダ28との間の距離が20cm
‐サンプルと画像センサ30との間の距離が2mm
上記の条件下で手段22によって取込まれたホログラムについて、画像復元アルゴリズムにおいて設定された以下のパラメータで最適な画像復元が見出された。
‐画像の解像度(res)=320
‐ラプラシアンフィルタスケールファクタ(lap)=1.4
‐赤血球(RBCs)をもっとも明確に合焦させるための、サンプルホルダと画像センサ30との間の距離=2380〜2400
‐白血球(WBCs)をもっとも明確に合焦させるための、サンプルと画像センサ30との間の距離=2520〜2550
最適化された顕微鏡法設備および復元パラメータを第1の一体型システムの実装に使用した。最適化された設備を用いて得られた結果の例を図10に示す。
実験用プラットフォームを用いて得られた標準的な血液の小断面の明視野顕微鏡画像を図10(a)に示す。画像センサ30の視野全体に亘る対応するホログラムを(b)に示す。顕微鏡画像に対応する注目する小断面は、ホログラムの中心に位置決めされる。ホログラムの中心の小サブセクション(およそ300×300の画素寸法)が次いで解析され、画像が復元される。赤血球を合焦させるための画像復元を(c)に示し、白血球を目立たせ合焦させるための画像復元を(d)に示す。
手段22によって取込まれたホログラムを用いてシステム10/装置50によって生成された解析結果の一例を図11に示す。一般に白血球数が正確に算出され、赤血球の推定値が戻されて、すべての細胞を正確な場所に見出すことが分かる。
実施形態例を図12および図13を参照してさらに説明する。図12および図13に示す方法例を図1〜図11を参照して説明するが、方法例は他のシステムおよび装置(図示せず)にも適用可能であってもよいと認識される。
図12では、実施形態例に係る方法のハイレベルフローチャートが全体的に参照符号60で示される。方法60は、ユーザが発明に係る装置50を用いて血液のサンプルを解析すること、たとえば白血球の血球数を判定することを希望する実施形態例を参照して説明され得る。システム10の動作を参照する実施形態は、以下の説明から推測され得る。
ユーザはサンプルホルダ28上に血液のサンプルを導入し、サンプルホルダ28を装置40のハウジング14.1の(第1の状態にある)フラップ14.3のトレイ上に配置する。ユーザはフラップ14.3を操作して、サンプルホルダ内のサンプルをハウジング14のチャンバ14.1に導入する。次いでユーザは、GUIによってユーザインターフェイス29を操作して、装置50に画像、特にホログラフィック強度データまたはホログラムを取込むように命令する。データ取込手段22が装置50によって操作され、好適な命令をユーザインターフェイス29から受信したことに応答して、血液サンプルと関連付けられたホログラムを取込む。
方法60は、したがって、ブロック62において、取込まれたホログラムをレシーバモジュール20を介して手段22から配線によるデータ通信によって受信することを含む。ホログラムは、装置22と関連付けられた伝搬空間Z内の特定の場所と関連付けられている。
ホログラムを受信することに応答して、方法60は、ブロック64において、受信したホログラムを画像プロセッサ36によって処理することにより、1つ以上の注目オブジェクト、たとえば関連付けられたホログラムから血液のサンプル中の白血球を少なくとも検出するかまたは識別することを含む。プロセッサ36は、受信したホログラムから首尾よく検出されたまたは識別された白血球数をカウントし、血液のサンプルと関連付けられた少なくとも白血球数を含む出力データを生成し得る。
この出力データは、たとえばユーザにとってリアルタイムにまたは略リアルタイムにユーザインターフェイス29を介して典型的に表示され得る。プロセッサ36は、従来のやり方でホログラムから画像を復元し、これを出力し、任意に判定された出力データをこれに注記してもよい。
図13では、実施形態例に係る方法のハイレベルフローチャートが全体的に参照符号70で示される。方法70は、典型的に図12の方法、特に図13のステップ64に関連する。
方法70は、ブロック74において、受信したホログラフィック強度データをプロセッサ36によって処理し、可能性のある注目オブジェクト、すなわち受信したホログラフィック強度画像中の白血球のデータキーポイントを判定することを含む。いくつかの実施形態例では、データキーポイントの判定は、ガウス分布の相違からの極値点の抽出と、たとえばモジュール38による判定された注目データキーポイントごとにベクトルの生成とを伴ってもよい。
方法70は次いで、ブロック76および78において、たとえばオブジェクト分類装置40によって、判定されたデータキーポイントを、メモリ装置18に格納された少なくとも1つの所定のオブジェクトディスクリプタと比較することを含む。方法70は、マッチングを判定するために、各判定されたデータキーポイント、特にそれと関連付けられた情報を、上記の伝搬空間不変ディスクリプタのディスクリプタキーポイントと比較することを含み、ディスクリプタは伝搬空間不変量であり、任意にスケール空間不変量である。なお、方法70は、トレーニングモジュール42を上記のやり方で動作するように動作させることによって、オブジェクトディスクリプタを判定するステップ(図示せず)を含んでもよい。
比較ステップ76/78がマッチングという結果になれば、次いで方法70は、これに対応して、判定されたデータキーポイントと関連付けられたオブジェクトが白血球であることをブロック80においてモジュール40によって識別する。オブジェクトディスクリプタのマッチングするディスクリプタキーポイントは、この場合は白血球であるオブジェクトと典型的に関連付けられるからである。
方法70は、受信したホログラフィック画像の注目データキーポイントごとに繰返してもよい。
方法70はさらに、ブロック82において、判定されたデータを処理して、たとえば検出されたまたは識別されたオブジェクトをカウントし、受信したホログラムから復元画像を生成すること等によってオブジェクトを分類するために出力データを生成することを含んでもよい。
上記に詳細に説明したが、より具体的なオブジェクト識別のための特徴抽出プロセスは、伝搬軸によって規定される空間である連続空間全体に亘って注目オブジェクトに関する情報を表わすためのメカニズムとしてフレネル・キルヒホッフ変換を利用することを換言して反復する価値があり得る。
安定点の分離はこの空間全体に亘って行われ、収集された安定点を分類装置においてベクトルとして使用することが可能となる。次いで、これにより、注目する独立した別個のオブジェクトを一意の署名によって識別することが可能となり、特徴抽出の新規な方法が得られる。
安定点を探し出すには、多くの異なる方法を採用することができる。これらの技術は、限定はしないが、極大位置および極小位置または定常点の配置、フーリエディスクリプタ、モーメント不変量、および主要構成要素解析を含む。全空間に亘る情報に共通する抽出された安定点は、全空間に亘って安定し得る点を示すことになる。これらの共通の安定点を組合わせることにより、全伝搬空間に亘って注目オブジェクトを識別する安定した署名を形成する。
得られた収集された安定点は、分類装置においてベクトルとして使用することができ、その例は、限定はしないが、ニューラルネットワークを含む。これにより、伝搬軸に沿った1点のみにおいてであるが伝搬軸に沿って全空間から抽出された情報を用いて測定され取込まれた情報からの注目オブジェクトの識別を、特徴抽出プロセスが行うことが可能になる。
したがって本発明によれば、抽出されるべき特徴の安定した組を注目オブジェクトの分類に使用することが可能となる。このため、プロセスによって、ホログラム署名を得るための既存の技術よりもはるかに広い範囲を包含する全変換空間に亘って安定した特徴が見出され、伝搬軸に沿った1点または1つのスナップショットのみが使用される。ホログラム署名を抽出するためにより広い空間を使用することにより、本発明は、1つのスナップショットだけを使用するよりもよりロバストな識別子を、より高い許容差で提供する。
本発明の特徴抽出プロセスは、首尾よく実現されるべきいずれの種類の深さ測定にも有利である。当該プロセスは、オブジェクトが伝搬軸に沿って存在する場所とは無関係であるからである。ゆえに、注目オブジェクトは体積内の異なる深さまたは層に存在する可能性があるが、体積内の位置に関わらず、個別の署名をオブジェクトごとに抽出することが可能である。多層のサンプルを解析するために、本発明は、向上した、よりロバストな識別子を提供する。
本発明の情報抽出プロセスは、光学セットアップにおいて光源を変えることにより、マルチスペクトル技術を適用することによってさらに向上させることができる。異なる種類のオブジェクトは、光源の変化する波長のもとで異なるスペクトルを生成する。これは、追加的な分類メカニズムとして使用することができる。本システムについては、赤色光源のみが使用されてきたが、波長が異なる多様な他の光源を探究することができる。異なる波長でのオブジェクトについての署名は体系化することができ、異なる波長での署名を組合わせることにより、組合わせられた、より強い署名を得ることができる。
図14は、本明細書で論じた方法のいずれか1つ以上をマシンに行わせるための一組の命令が実行され得るコンピュータシステム100の例におけるマシンの模式図を示し、他の実施形態例では、マシンはスタンドアロン装置として動作するか、または他のマシンに接続(ネットワーク接続)され得る。ネットワーク接続された実施形態例では、マシンは、サーバクライアントネットワーク環境においてサーバもしくはクライアントマシンの容量で、またはピアツーピア(または分散)ネットワーク環境においてピアマシンとして動作し得る。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、ウェブ機器、ネットワークルータ、スイッチもしくはブリッジ、または当該マシンによって行われるべきアクションを特定する一組の命令(シーケンシャルなど)を実行することが可能ないずれかのマシンであり得る。さらに、便宜上1つのマシンのみが例示されているが、「マシン」という用語は、一組(または複数組)の命令を個々にまたは共同で実行して本明細書で論じた方法のいずれか1つ以上を行ういずれかのマシンの集合体を含むとも見なされるものとする。
いずれにせよ、例示的なコンピュータシステム100は、バス108を介して互いに通信するプロセッサ102(たとえば中央処理装置(CPU)、グラフィックスプロセッシングユニット(GPU)または双方)、メインメモリ104、およびスタティックメモリ106を含む。コンピュータシステム100は、映像表示装置110(たとえば液晶ディスプレイ(LCD)または陰極線管(CRT))をさらに含んでもよい。コンピュータシステム100は、文字数字入力装置112(たとえばキーボード)、ユーザインターフェイス(Ul)ナビゲーションデバイス114(たとえばマウスまたはタッチパッド)、ディスクドライブユニット116、信号発生装置118(たとえばスピーカ)、およびネットワークインターフェイスデバイス120も含む。
ディスクドライブユニット16は、本明細書で説明された方法または機能のいずれか1つ以上によって具体化または利用される一組以上の命令とデータ構造(たとえばソフトウェア124)とを格納する機械読取可能な媒体122を含む。ソフトウェア124は、コンピュータシステム100によるその実行中は、完全にまたは少なくとも部分的に、メインメモリ104内および/またはプロセッサ102内にも存在してもよい。メインメモリ104およびプロセッサ102も機械読取可能な媒体を構成する。
ソフトウェア124は、多くの周知の転送プロトコル(たとえばHTTP)のうちのいずれか1つを利用するネットワークインターフェイスデバイス120を介してネットワーク126を通じてさらに送受信されてもよい。
機械読取可能な媒体122は1つの媒体であるものとして実施形態例に示されているが、「機械読取可能な媒体」という用語は、一組以上の命令を格納する1つの媒体または複数の媒体(たとえば集中型または分散型データベース、および/または関連付けられたキャッシュおよびサーバ)を指し得る。「機械読取可能な媒体」という用語は、マシンに実行させるために一組の命令を格納し、コード化し、もしくは搬送することが可能であり、かつ本発明の方法のうちのいずれか1つ以上をマシンに行なわせるか、またはそのような一組の命令によって利用されるかもしくは関連付けられたデータ構造を格納し、コード化し、もしくは搬送することが可能ないずれかの媒体を含むものとも見なされ得る。「機械読取可能な媒体」という用語はしたがって、限定はしないが、固体記憶装置、光学および磁気媒体、および搬送波信号を含むものと見なされ得る。
本発明は、物質、特にそのサンプルを処理し解析するために好都合な方法を提供する。従来のデジタルホログラフィシステム(特に顕微鏡法用途)は、最適な、復元された、かつ合焦した画像をもたらすホログラムを得るために、システムの光学および物理的セットアップの最適化に焦点を当てていた。これらの光学系は、嵩張り、高価で、かつ複雑である可能性があり、外部/環境要因の影響を非常に受けやすい。
本発明は、計算上効率的な情報抽出技術および信号処理方法によって可能となる単純な物理的セットアップを利用する一体型であり、自立型であり、かつ接続されたシステムを提供し、したがって装置がコンパクトかつ頑丈であり、ポイントオブケア(POC)装置として理想的に適合することが可能となる。システムは自立型の携帯用POC装置であって、センサ/計測装置を含み、システムとの、かつ任意にサーバとのインターフェイスも含み、サーバにおいて計算上インテンシブな解析/処理が生じ、患者のデータが格納される。患者データベースが実装されることにより、患者の病歴および成果ファイルを格納し、世界中の至る場所からいつでもアクセスすることが可能となる。このシステムの目標は、解析および診断を高速化する目的で医療臨床環境の応用分野に向けられている。本願の統合システムは、測定時間からレポートが作成される時間までの血液解析を高速化する。これは、迅速な解析および診断時間が重要であるいずれの解析または診断用途にも適用することができる。
また、本発明は、オブジェクト識別のための極大情報を抽出する好都合な方法を提供する。これは、オブジェクト識別のための新規の特徴抽出プロセスを含む。この後者のプロセスは、全伝搬空間に亘って情報を抽出することを可能とするメカニズムとして、フレネル・キルヒホッフ変換を利用する。特徴を抽出して、調査中の異なるオブジェクトごとに固有の署名を作成することを可能とすることができる。そうすればこの情報は、オブジェクト識別のために視覚品質が高く解像度が高い復元画像を第一に得る必要なしにオブジェクトを識別するための新規な分類方法を実現するために使用することができる。
物理的なセットアップを改良して高品質な復元画像を得ることに焦点を当てるのではなく、本発明は、ホログラムから極大情報を抽出することに焦点を当てる。画像復元品質およびしたがって物理的なセットアップは焦点ではなく、むしろ利用可能な情報を使用する情報抽出が主要な関心事である。
本発明は、複雑な光学的セットアップなしに単純なハードウェアを使用してもなお、十分な注目情報の抽出が可能となるため、デジタルホログラフィに基づくシステムの正常かつロバストな実装への新しい手法を導入する。

Claims (23)

  1. 物質を解析する方法であって、前記方法は、
    注目物質のサンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィック強度データを受信することを含み、前記ホログラフィック強度データは、データ取込手段によって取込まれ、さらに、
    受信したホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を少なくとも行うことを含む、方法。
  2. 受信したホログラフィック強度データを処理するステップは、
    受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するステップを少なくとも含み、前記ホログラフィック強度データは、前記データ取込手段と関連付けられた照射が伝搬して前記ホログラフィック強度データの取込を容易にする三次元空間を含む伝搬空間における別個の場所と関連付けられ、さらに、
    判定されたデータキーポイントを、オブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較してマッチングを判定することによって、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするステップを少なくとも含み、前記オブジェクトディスクリプタは、伝搬空間不変量である、請求項1に記載の方法。
  3. 前記方法は、複数のオブジェクトディスクリプタを供給することを含み、各オブジェクトディスクリプタは、前記伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含み、各ディスクリプタサブセットは、1つ以上のディスクリプタキーポイントを含む、請求項2に記載の方法。
  4. 前記方法は、前記オブジェクトディスクリプタを判定する事前のステップを含み、前記ステップは、各オブジェクトについて、
    オブジェクトの画像を受信することと、
    前記伝搬空間全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用することによって、前記伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成することと、
    前記伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定することと、
    判定されたディスクリプタキーポイントおよび前記伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられた前記オブジェクトディスクリプタを生成することとを含む、請求項2または3に記載の方法。
  5. 前記方法は、前記データ取込手段から配線によって、または各々がデータ取込手段を含む複数の地理的に分散された解析ステーションから無線によって、ホログラフィック強度データを受信することを含む、先行する請求項のうちいずれか1項に記載の方法。
  6. 前記方法は、前記データ取込手段を制御して、サンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィックデータを生成することを含む、先行する請求項のうちいずれか1項に記載の方法。
  7. 前記方法は、
    検出動作および識別動作の一方または両方と関連付けられた出力データを生成することと、
    配線または無線データ手段によって前記出力データをユーザインターフェイスモジュールに送信することによって、少なくとも出力させることとを含む、先行する請求項のうちいずれか1項に記載の方法。
  8. 前記方法は、
    同様の注目オブジェクトの和を判定することによって、検出されたまたは識別された注目オブジェクトを分類することと、
    受信したホログラフィック強度データを復元することによって、サンプルの画像を生成することと、
    判定された和および生成されたサンプルの画像の一方または両方を含む出力データを生成することと、
    配線または無線データ手段によって前記出力データをユーザインターフェイスモジュールに送信することによって出力させることとを含む、請求項7に記載の方法。
  9. 物質解析システムであって、
    データを格納するメモリ装置と、
    データ取込手段とデータ通信し、データ取込手段によって取込まれた注目物質のサンプルと関連付けられたホログラフィック強度パターンを少なくとも含むホログラフィック強度データを受信するように構成されたデータレシーバモジュールと、
    受信したホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出する動作および識別する動作の一方または両方を少なくとも行うように構成された画像プロセッサとを備える、物質解析システム。
  10. 前記画像プロセッサは、
    受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するように構成されたキーポイント抽出モジュールを含み、前記ホログラフィック強度データは、前記データ取込手段と関連付けられた照射が伝搬して前記ホログラフィック強度データの取込を容易にする空間を含む伝搬空間における別個の場所と関連付けられ、さらに、
    判定されたデータキーポイントを、前記メモリ装置に格納された、オブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較してマッチングを判定することによって、前記サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするように構成されたオブジェクト分類装置を備え、前記オブジェクトディスクリプタは、伝搬空間不変量である、請求項9に記載の物質解析システム。
  11. 前記メモリ装置は、複数のオブジェクトディスクリプタを格納し、各オブジェクトディスクリプタは、伝搬空間における複数の所望の別個の場所とそれぞれ関連付けられた複数のディスクリプタサブセットを含み、各ディスクリプタサブセットは、1つ以上のディスクリプタキーポイントを含む、請求項10に記載の物質解析システム。
  12. 前記物質解析システムは、前記オブジェクトディスクリプタを判定するように構成されたトレーニングモジュールを備え、前記トレーニングモジュールは、各オブジェクトについて、
    オブジェクトの画像を受信し、
    前記伝搬空間全体に亘る複数の別個の場所について、受信した画像に波形伝搬アルゴリズムを適用することによって、前記伝搬空間全体に亘る別個の場所に対応する複数のホログラフィック強度パターンを生成し、
    前記伝搬空間全体に亘って生成されたホログラフィック強度パターンごとにディスクリプタキーポイントを判定し、
    判定されたディスクリプタキーポイントおよび伝搬空間全体に亘って関連付けられた別個の場所を示す情報を使用して、オブジェクトと関連付けられた前記オブジェクトディスクリプタを生成するように構成される、請求項10または11に記載の物質解析システム。
  13. 前記データレシーバモジュールは、前記データ取込手段と配線によってデータ通信するか、または各々がデータ取込手段を含む複数の地理的に分散された解析ステーションと無線データ通信する、請求項9〜12のうちいずれか1項に記載の物質解析システム。
  14. 前記システムは、前記データ取込手段または各々がデータ取込手段を含む複数の地理的に分散された解析ステーションを備え、各データ取込手段は、デジタルホログラフィック顕微鏡設備を含み、前記デジタルホログラフィック顕微鏡設備は、照射を生成するように構成された照射源と、使用の際、それに入射する生成された照射に応答してホログラフィック強度データを生成するように構成された画像センサとを少なくとも含み、前記伝搬空間は、前記照射源と画像形成手段との間の三次元空間の少なくとも一部を含む、請求項10〜13のうちいずれか1項に記載の物質解析システム。
  15. 前記デジタルホログラフィック顕微鏡設備はさらに、
    前記照射源から所定の距離に配置された空間フィルタを備え、前記空間フィルタは、前記照射源からそこを通る照射の通過のために少なくとも1つの照射開口を含み、さらに、
    前記空間フィルタから所定の距離に取外し可能に配置可能なサンプルホルダを備え、前記サンプルホルダは、注目物質のサンプルを保持するように構成され、前記画像センサは、使用の際、前記照射源からの照射が前記照射源から前記照射開口を通り、前記注目物質のサンプルを保持する前記サンプルホルダを通り、前記画像センサ上に伝搬するように前記サンプルホルダから離間され、前記画像センサは、それに対する照射入射に応答して、前記注目物質のサンプルのホログラフィック強度データを生成し、前記伝搬空間は、前記照射源からの照射、または前記照射開口およびサンプルホルダの一方または両方からの照射が伝搬して前記画像センサに到達することによって、前記ホログラフィック強度データを形成する三次元空間を含む、請求項14に記載の物質解析システム。
  16. 前記システムは、ユーザ入力および出力を受信し、前記画像プロセッサモジュールによる検出の動作および識別の動作の一方または両方と関連付けられた生成された出力データを少なくとも前記メモリ装置に格納するように構成されたユーザインターフェイスモジュールを備える、請求項9〜15のうちいずれか1項に記載の物質解析システム。
  17. 前記システムは、人間のユーザと関連付けられたバイオマテリアルのサンプルを解析するためのバイオマテリアル解析システムであり、前記システムはしたがって、前記システムの少なくとも一人のユーザについてユーザプロファイルを前記メモリ装置に生成するように構成されたユーザインタラクションモジュールを備え、前記ユーザプロファイルは、特定のユーザと関連付けられた生成された出力データを格納する、請求項16に記載の物質解析システム。
  18. 物質解析装置であって、
    使用の際、注目物質のサンプルを担持するサンプルホルダを取外し可能に収容するように構成されたハウジングと、
    前記注目物質のサンプルのホログラフィック強度パターンを取込むためにハウジングに配置されたデータ取込手段と、
    データを格納するメモリ装置と、
    前記取込まれたホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出する動作および識別する動作の一方または両方を少なくとも行うことによって、前記動作と関連付けられた出力データを生成するように構成された画像プロセッサと、
    ユーザ入力を受信して、前記画像プロセッサによって生成された出力データを少なくとも含む情報を出力するように構成されたユーザインターフェイスとを備える、物質解析装置。
  19. 物質解析装置であって、前記画像プロセッサは、
    受信したホログラフィック強度データから1つ以上のデータキーポイントを判定するように構成されたキーポイント抽出モジュールを含み、前記ホログラフィック強度データは、データ取込手段と関連付けられた照射が伝搬して前記ホログラフィック強度データの取込を容易にする空間を含む伝搬空間における別個の場所と関連付けられ、さらに、
    判定されたデータキーポイントを、前記メモリ装置に格納された、オブジェクトと関連付けられた少なくとも1つの所定のオブジェクトディスクリプタと比較してマッチングを判定することによって、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を容易にするように構成されたオブジェクト分類装置を含み、前記オブジェクトディスクリプタは伝搬空間不変量であり、前記伝搬空間における複数の所望の別個の場所にそれぞれ関連付けられた複数のディスクリプタサブセットを含み、各ディスクリプタサブセットは、1つ以上のディスクリプタキーポイントを含む、物質解析装置。
  20. 前記データ取込手段は、デジタルホログラフィック顕微鏡設備を含み、前記デジタルホログラフィック顕微鏡設備は、
    照射を生成するように構成された照射源と、
    前記照射源から所定の距離に配置された空間フィルタとを含み、前記空間フィルタは、前記照射源からの照射がそこを通って通過するための少なくとも1つの照射開口を含み、前記サンプルホルダは、前記空間フィルタから所定の距離に取外し可能に配置可能であり、さらに、
    前記サンプルホルダから離間された画像センサを含み、前記画像センサは、使用の際、そこに入射する生成された照射に応答して前記サンプルホルダ中の注目物質のデジタルホログラフィック強度パターンを少なくとも生成するように構成され、前記伝搬空間は、前記照射源からの照射、または前記照射開口および前記サンプルホルダの一方または両方からの伝搬が前記画像センサに到達することによって前記ホログラフィック強度データを形成する空間を含む、請求項18または19に記載の物質解析装置。
  21. 前記装置は、前記装置に対して無線でデータを送受信するように構成された通信モジュールを備える、請求項18〜20のうちいずれか1項に記載の物質解析装置。
  22. 前記システムは、人間のユーザと関連付けられたバイオマテリアルのサンプルを解析するためのバイオマテリアル解析装置であり、前記装置はしたがって、前記装置の少なくとも一人のユーザについてユーザプロファイルを前記メモリ装置に生成するように構成されたユーザインタラクションモジュールを備え、前記ユーザプロファイルは、前記装置の特定のユーザと関連付けられた生成された出力データを格納する、請求項18〜21のうちいずれか1項に記載の物質解析装置。
  23. 一組の命令を含み、コンピューティング装置によって実行されると、以下のステップを含む方法を前記コンピューティング装置に行わせる非一時的なコンピュータ読取可能な記憶媒体であって、以下のステップとは、
    注目物質のサンプルと関連付けられたホログラフィック強度パターンを少なくとも含み、データ取込手段によって取込まれたホログラフィック強度データを受信するステップと、
    受信したホログラフィック強度データを処理して、サンプル中の少なくとも1つの注目オブジェクトを検出するステップおよび識別するステップの一方または両方を少なくとも行うステップとである、記憶媒体。
JP2014544027A 2011-12-02 2012-11-30 物質解析システム、方法、および装置 Pending JP2015505983A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ZA2011/08880 2011-12-02
ZA201108880 2011-12-02
PCT/IB2012/056846 WO2013080163A1 (en) 2011-12-02 2012-11-30 Material analysis system, method and device

Publications (2)

Publication Number Publication Date
JP2015505983A true JP2015505983A (ja) 2015-02-26
JP2015505983A5 JP2015505983A5 (ja) 2016-01-21

Family

ID=47351893

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014544028A Pending JP2015505984A (ja) 2011-12-02 2012-11-30 ホログラム処理方法およびシステム
JP2014544027A Pending JP2015505983A (ja) 2011-12-02 2012-11-30 物質解析システム、方法、および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014544028A Pending JP2015505984A (ja) 2011-12-02 2012-11-30 ホログラム処理方法およびシステム

Country Status (7)

Country Link
US (2) US20140327944A1 (ja)
EP (2) EP2786213A1 (ja)
JP (2) JP2015505984A (ja)
CN (2) CN104115075A (ja)
BR (2) BR112014013350A2 (ja)
MX (2) MX345972B (ja)
WO (2) WO2013080164A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018517188A (ja) * 2015-03-02 2018-06-28 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 細胞画像および映像の分類
WO2018158957A1 (ja) * 2017-03-03 2018-09-07 株式会社島津製作所 細胞観察システム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102365543A (zh) 2009-01-16 2012-02-29 纽约大学 用全息视频显微术的自动实时粒子表征和三维速度计量
JP2015505984A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールCsir ホログラム処理方法およびシステム
EP3105638B1 (en) * 2014-02-12 2020-07-22 New York University Fast feature identification for holographic tracking and characterization of colloidal particles
US10614287B2 (en) 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
WO2015195609A1 (en) * 2014-06-16 2015-12-23 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
WO2016060995A1 (en) 2014-10-13 2016-04-21 New York University Machine-learning approach to holographic particle characterization
ES2913524T3 (es) 2014-11-12 2022-06-02 Univ New York Huellas coloidales para materiales blandos usando caracterización holográfica total
FR3034196B1 (fr) * 2015-03-24 2019-05-31 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede d'analyse de particules
FR3034197B1 (fr) 2015-03-24 2020-05-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de determination de l'etat d'une cellule
DE102015115342A1 (de) * 2015-09-11 2017-03-16 Leibniz-Institut für Photonische Technologien e. V. Anordnung für die individualisierte Patientenblutanalyse
EP3347691B1 (de) 2015-09-11 2022-01-12 Leibniz-Institut für Photonische Technologien e.V. Anordnung für die individualisierte patientenblutanalyse und verwendung
WO2017048960A1 (en) 2015-09-18 2017-03-23 New York University Holographic detection and characterization of large impurity particles in precision slurries
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
WO2017139279A2 (en) 2016-02-08 2017-08-17 New York University Holographic characterization of protein aggregates
FR3049348B1 (fr) * 2016-03-23 2023-08-11 Commissariat Energie Atomique Procede de caracterisation d’une particule dans un echantillon
CN105700321B (zh) * 2016-04-18 2018-02-16 中国工程物理研究院激光聚变研究中心 基于重建像强度方差的数字全息图在焦重建距离判断方法
US10670677B2 (en) 2016-04-22 2020-06-02 New York University Multi-slice acceleration for magnetic resonance fingerprinting
JP7257631B2 (ja) * 2016-05-17 2023-04-14 ケルクエスト 材料被写体の拡張認証の方法
FR3056749B1 (fr) * 2016-09-28 2018-11-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de numeration de leucocytes dans un echantillon
BR102016023757A2 (pt) * 2016-10-11 2018-05-02 Patrícia Guedes Braguine Teste diagnóstico portátil para qualificação e quantificação de diferentes tipos de células e uso
EP3460585B1 (en) * 2017-09-25 2021-07-14 Imec Vzw An imaging device for in-line holographic imaging of an object
WO2019099592A1 (en) * 2017-11-14 2019-05-23 miDiagnostics NV Classification of a population of objects by convolutional dictionary learning with class proportion data
GB2572756B (en) 2018-04-05 2020-05-06 Imagination Tech Ltd Sampling for feature detection
GB2574058B (en) * 2018-05-25 2021-01-13 Envisics Ltd Holographic light detection and ranging
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
US20210088770A1 (en) * 2019-09-24 2021-03-25 Fei Company Pose estimation using sematic segmentation
US11543338B2 (en) 2019-10-25 2023-01-03 New York University Holographic characterization of irregular particles
US11948302B2 (en) 2020-03-09 2024-04-02 New York University Automated holographic video microscopy assay
CN111537472B (zh) * 2020-07-07 2020-09-25 中国人民解放军国防科技大学 人工制备生物材料在外部环境下的遮蔽效能获取方法
KR102564448B1 (ko) * 2021-05-28 2023-08-04 경희대학교 산학협력단 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법
US12253463B2 (en) * 2023-03-14 2025-03-18 BottleVin, Inc. System and method for authenticating and classifying products using hyper-spectral imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011049965A1 (en) * 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4259015A (en) * 1979-03-28 1981-03-31 Akiyoshi Wada Method and device for measuring fine particles
US4974920A (en) * 1989-04-17 1990-12-04 General Electric Company Electronic holographic apparatus
JP2003015509A (ja) * 2001-06-27 2003-01-17 Sony Corp 画像露光記録装置及び画像露光記録方法
JP3729154B2 (ja) * 2002-05-10 2005-12-21 株式会社日立製作所 パターン欠陥検査方法及びその装置
JP2005539255A (ja) * 2002-09-12 2005-12-22 エヌライン、コーパレイシャン 複合画像を捕捉し、かつ、処理するためのシステムおよび方法複合画像を捕捉し、かつ、処理するためのシステムおよび方法
GB0415766D0 (en) * 2004-07-14 2004-08-18 Taylor Hobson Ltd Apparatus for and a method of determining a characteristic of a layer or layers
CN101346673B (zh) * 2005-12-22 2011-06-08 相位全息成像Phi有限公司 用于分析细胞的样本的方法和装置
US7616320B2 (en) * 2006-03-15 2009-11-10 Bahram Javidi Method and apparatus for recognition of microorganisms using holographic microscopy
WO2008061259A2 (en) * 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
WO2008127432A2 (en) * 2006-11-21 2008-10-23 California Institute Of Technology Method of nonlinear harmonic holography
GB0701201D0 (en) * 2007-01-22 2007-02-28 Cancer Rec Tech Ltd Cell mapping and tracking
EP2206021B1 (en) * 2007-10-30 2015-01-28 New York University Tracking and characterizing particles with holographic video microscopy
US20090262335A1 (en) * 2008-04-22 2009-10-22 Vladimir Alexeevich Ukraintsev Holographic scatterometer
JP2010067014A (ja) * 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
US9044141B2 (en) * 2010-02-10 2015-06-02 Tokitae Llc Systems, devices, and methods including a dark-field reflected-illumination apparatus
CN102003936B (zh) * 2010-09-14 2012-01-04 浙江大学 同时测量液滴位置、粒径和复折射率的方法和装置
JP2015505984A (ja) * 2011-12-02 2015-02-26 シー・エス・アイ・アールCsir ホログラム処理方法およびシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011049965A1 (en) * 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
JP2013508775A (ja) * 2009-10-20 2013-03-07 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア オンチップでの非干渉性のレンズフリーのホログラフィおよび顕微鏡法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018517188A (ja) * 2015-03-02 2018-06-28 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 細胞画像および映像の分類
WO2018158957A1 (ja) * 2017-03-03 2018-09-07 株式会社島津製作所 細胞観察システム

Also Published As

Publication number Publication date
EP2786212A1 (en) 2014-10-08
MX345972B (es) 2017-02-28
JP2015505984A (ja) 2015-02-26
CN104115074B (zh) 2017-07-04
MX2014006552A (es) 2014-10-06
CN104115075A (zh) 2014-10-22
MX2014006555A (es) 2014-07-22
US20140365161A1 (en) 2014-12-11
WO2013080164A1 (en) 2013-06-06
BR112014013351A2 (pt) 2017-06-13
BR112014013350A2 (pt) 2017-06-13
US20140327944A1 (en) 2014-11-06
WO2013080163A1 (en) 2013-06-06
EP2786213A1 (en) 2014-10-08
CN104115074A (zh) 2014-10-22
MX336678B (es) 2016-01-27

Similar Documents

Publication Publication Date Title
JP2015505983A (ja) 物質解析システム、方法、および装置
JP7261414B2 (ja) 分析方法
Kim et al. Deep transfer learning-based hologram classification for molecular diagnostics
Nakasi et al. A new approach for microscopic diagnosis of malaria parasites in thick blood smears using pre-trained deep learning models
KR20210113236A (ko) 병리학 시료의 자동화된 이미징 및 분석을 위한 컴퓨터 사용 현미경 검사 기반의 시스템 및 방법
US10083340B2 (en) Automated cell segmentation quality control
Bayraktar et al. Feature extraction from light-scatter patterns of Listeria colonies for identification and classification
JP2021500901A5 (ja)
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
EP3729053B1 (en) Fast and robust fourier domain-based cell differentiation
Pala et al. Fractal dimension-based viability analysis of cancer cell lines in lens-free holographic microscopy via machine learning
CN109557070A (zh) 一种基于空间编码光的拉曼成像系统
Kalita et al. A new deep learning model with interface for fine needle aspiration cytology image-based breast cancer detection
Mukundan et al. Early esophageal detection using hyperspectral engineering and convolutional neural network
To Deep Learning Classification of Deep Ultraviolet Fluorescence Images for Margin Assessment During Breast Cancer Surgery
Reddy et al. A Novel Deep Convolutional Neural Network For Melanoma Detection Using Dermoscopic Images
US20250052664A1 (en) Method and system for visualization of the structure of biological cells
EP4134725B1 (en) Lens-free microscopic imaging system and method, and biochemical substance detection system and method
Li et al. Multimodal Diagnostic Approach for Osteosarcoma and Bone Callus Using Hyperspectral Imaging and Deep Learning
Warshaneyan et al. Automated Pollen Recognition in Optical and Holographic Microscopy Images
Şahbaz Tumor detection in breast cancer histopathological images using convolutional neural networks
Sanders Automatic machine learning-guided methods for 3D synapse quantification in confocal neuron images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181002