[go: up one dir, main page]

JP6896971B2 - 試料の特性評価中にラベル数を決定するための方法および装置 - Google Patents

試料の特性評価中にラベル数を決定するための方法および装置 Download PDF

Info

Publication number
JP6896971B2
JP6896971B2 JP2019555833A JP2019555833A JP6896971B2 JP 6896971 B2 JP6896971 B2 JP 6896971B2 JP 2019555833 A JP2019555833 A JP 2019555833A JP 2019555833 A JP2019555833 A JP 2019555833A JP 6896971 B2 JP6896971 B2 JP 6896971B2
Authority
JP
Japan
Prior art keywords
label
sample
sample container
serum
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019555833A
Other languages
English (en)
Other versions
JP2020516894A (ja
Inventor
ティェン,ジャン
クルックナー,シュテファン
サン,シャンフィ
チャン,ヤオ−ジェン
チェン,テレンス
エス. ポラック,ベンジャミン
エス. ポラック,ベンジャミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of JP2020516894A publication Critical patent/JP2020516894A/ja
Application granted granted Critical
Publication of JP6896971B2 publication Critical patent/JP6896971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G06V30/2247Characters composed of bars, e.g. CMC-7
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173Classification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00772Type of codes mechanical or optical code other than bar code

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本開示は、試料容器および試料の特性評価のための方法および装置に関し、より詳細には、試料が溶血(H)、黄疸(I)、若しくは脂肪血症(L)、または正常(N)であるか否かを決定するための方法および装置に関する。
自動検査システムは、例えば、尿、血清、血漿、間質液、脳脊髄液など、試料中の分析物または他の成分を識別するために、1又は複数の試薬を用いて、臨床化学検査または分析検査を実施するために、使用されることがある。利便性と安全性の理由から、これらの試料は試料容器(例えば、採血管)内に含まれることがある。分析または検査の反応によって様々な変化を生じさせ、それらは、試料中に存在する分析物又は他の成分の濃度を決定するために読み取られたり、操作されることがある。そのような試料容器は、その上に1つ、場合によっては2つ以上のラベルを備えることがある。ラベルとは、製造業者のラベルおよび/または試料の識別や実施可能な検査に役立つ識別情報を含むラベルでもよい。ほとんどの場合、ラベルのうちの少なくとも1つは、識別情報をバーコードとして含む(以下、「バーコードラベル」という)。ラベルは、例えば、粘着性の裏面を有する紙ラベルであってもよい。しかし、他のラベルの種類も可能である。製造業者のラベルと1つまたは複数のバーコードラベルの組合せが存在することもある。場合によっては、遠心分離中に血清または血漿部分から沈殿した血液部分の分離を助けるために、試料容器にゲル分離器(セパレータ)を加えることもある。
自動化検査技術の進歩に伴い、分析前の試料の準備および取扱い作業、例えば、選別、バッチ処理準備、試料の成分を分離するための試料容器の遠心分離、試料へのアクセスを容易にするためのキャップ除去、およびアリコート(分割)準備が進歩しており、これらは実験室自動化システム(LAS:Laboratory Automation System)の一部として、自動化システムによって可能となっている。LASは、試料容器内の試料を、一つ以上の分析前試料処理ステーション、ならびに臨床化学分析器および/または分析機器を含む一つ以上の分析ステーション(以下、集合的に「分析器」という)までに自動的に移送することがある。
LASは、一度に複数の異なる試料の処理を扱うことができ、追跡およびルーティングのためにバーコードラベルを使用することがある。バーコードラベルは、検査指示および/または他の情報とともに病院の実験室情報システム(LIS:Laboratory Information System)に入力可能な統計情報と相関可能な受付番号(受託番号)をコード化することがある。操作員(オペレータ)は、ラベル付けされた試料容器を、LISとインタフェース接続しているLASシステム上に置くことがあり、そして1つまたは複数の分析前操作のために試料容器を自動的に移送することがある。それらの全ては、試料が実際にLASの一部であり得る1つまたは複数の分析器による臨床解析または分析に供される前に行われることがある。
分割(分取)と、その後の分析前処理の後、試料容器は適切な分析器に送られて、そこでは吸引によって血清または血漿部分を試料容器から抽出し、その血清または血漿部分を反応容器(例えば、キュベットまたは他の容器)内で1つまたは複数の試薬と組み合わせることがある。分析測定は、その後で実施されることがあるが、例えば、調査用放射ビームを使用して、又は測光若しくは蛍光測定の吸収による読み取りなどを使用して実行されることがある。測定によって、エンドポイントまたはレート値の判定を可能にし、それに基づいて分析物または他の成分の濃度が周知の技術を用いて決定可能となる。
しかしながら、患者の状態またはサンプルの処理の結果として、試料中に干渉物質(例えば、H、I、および/またはL)が存在する場合には、1つまたは複数の分析器から得られる分析物または成分の測定の検査結果に悪影響を及ぼす可能性がある。例えば、患者の病態とは無関係なことがある、試料中の溶血の存在は、患者の病態について異なる解釈をもたらすことがある。さらに、試料中に黄疸および/または脂肪血症が存在する場合には、患者の病態について異なる解釈をもたらすこともある。
従来技術のシステムでは、試料中の血清または血漿部分の完全性が、熟練した検査技師によって視覚的に検査されて、H、I若しくはLの程度(例えば、指標またはインデックスを割り当てることによって)、または正常(N)かについて評価されることがある。この場合には、既知の基準に対して血清または血漿部分の色の調査を含むことがある。正常な(N)血清または血漿部分は、淡い黄色から淡い琥珀色または褐色を呈する。溶血(H)を含む血清または血漿部分は、赤みがかった色を呈する。黄疸(I)を含む血清または血漿部分は、ビリルビンの上昇により濃い黄色または暗黄色を呈し、脂肪血症(L)を含む血清または血漿部分は、白色または乳白色の外観を呈する。色によっては、検査技師が指標値を指定することがある。しかしながら、このような人による目視検査は、非常に主観的で、労力がかかり、人為的ミスの可能性を伴う。
手動検査には上記のような問題点があるため、検査技師による目視検査を用いることなく、自動化された機械による視覚(ビジョン)検査法を用いて、分析前検査(以下「プレ・スクリーニング予備検査」という)として行われる、試料の完全性を評価するように努力がなされてきた。プレ・スクリーニングでは、分取(例えば、遠心分離による)によって全血から得られた血清または血漿部分中の、H、I、および/またはLなどの干渉物質の自動検出を含む。
しかしながら、場合によっては、上述の1つまたは複数のラベルは、試料容器に直接提供(例えば、接着)されることがある。このようなラベルは、試料の特定の側面での視点を部分的に塞いで、不明瞭にするため、血清または血漿部分を明白に視覚的に観察できるようにするため、単一の回転配向が提供されることがある。したがって、そのような分析前検査の自動化は、例えば、H、I、若しくはL、またはNについての自動化されたプレ・スクリーニングを可能にするために、試料を回転させて配向させることを含んでいる。
例えば、ミラーによるの特許文献1に記載の「臨床分析機によって分析される液体サンプルおよび容器の中の干渉物質および物理的寸法を確定するための方法ならびに装置」では、試料容器を回転させて、ラベルによって妨げられていない覗き窓(ビューウィンドウ)を見つけ、次いで、画像化が実行されている。しかしながら、そのようなシステムは自動化が容易ではなく、他の問題を有することがある。例えば、場合によっては、血清または血漿部分のわずかな部分だけが視認可能となる結果、H、I、若しくはL、またはNを決定するために血清または血漿部分について行われる任意の読み取りは、高い信頼レベルを有しないことがある。さらに、いくつかの実施形態において、複数の重なり合うラベルによって、試料容器上の試料の視界を完全に不明瞭にする(塞ぐ)ことが起こり得る(例えば、ラベルが容器の胴回りを360°で包む場合)。
米国特許第9,322,761号明細書
従って、血清または血漿部分が1または複数のラベルによって部分的または完全にふさがれて(不明瞭にされて)いる場合に、H、I、若しくはL、またはNの存在、および可能であればその程度をより正確に決定できるように、試料中の血清または血漿部分の特性評価ができる方法および装置が望まれている。
本発明の第1の態様によれば、特性評価方法を提供する。
この特性評価方法は、
試料の血清または血漿部分と1つまたは複数のラベルとを含む試料容器の画像を撮影し、
画像を処理して、ラベル含有領域の識別を含む分割データ(セグメンテーションデータ)を提供し、
畳み込みニューラルネットワークを用いて、ラベル含有領域の分割データを分類し、
畳み込みニューラルネットワークからの出力として、
ラベル厚さ数(カウント)に関するピクセル(画素)毎のデータ(またはパッチ毎のデータ)と、
予め定められたラベル構成のうちの1つまたは複数としてのラベル含有領域の特性評価と、のうち一つまたは複数を得る、各ステップを含む。
本発明の別の態様によれば、品質確認モジュールを提供する。
この品質確認モジュールは、
試料の血清または血漿部分と一つまたは複数のラベルとを含む試料容器の複数の画像を、複数の視点から撮像するように構成され、かつ撮影位置の周囲に配置された複数の画像撮像装置と、
複数の画像撮像装置とつなげられて、複数の画像の画像データ(イメージデータ)を処理することが可能なコンピュータと、
を含む。
コンピュータは、
試料容器、血清または血漿部分、および一つまたは複数のラベルの画像を取り込み、
画像を処理して、ラベル含有領域の識別を含む分割データを提供し、
畳み込みニューラルネットワークを用いて、ラベル含有領域を分類し、
畳み込みニューラルネットワークからの出力として、
ラベル厚さ数に関するピクセル毎のデータ(またはパッチ毎のデータ)と、
予め定められたラベル構成のうちの1つまたは複数としてのラベル含有領域の特性評価と、のうち一つまたは複数を得る。
本発明の別の態様では、試料容器中に収容された試料中の干渉物質の存在を決定するように構成された試料検査装置(システム)を提供する。
この試料検査装置は、
トラックと、
試料の血清または血漿部分と1つまたは複数のラベルとを含む試料容器を収容し、トラック上を移動可能に構成されたキャリアと、
トラックの周囲に配置されて、複数の視点から、試料容器、一つまたは複数のラベル、および試料の血清または血漿部分の複数の撮像データを撮影するように構成された複数の画像撮像装置と、
複数の画像撮像装置とつなげられて、複数の画像の画像データを処理することが可能なコンピュータと、を含む。
コンピュータは、
試料容器、血清または血漿部分、および一つまたは複数のラベルの画像を取り込み、
画像を処理して、ラベル含有領域の識別を含む分割データを提供し、
畳み込みニューラルネットワークを用いて、ラベル含有領域を分類し、
畳み込みニューラルネットワークからの出力として、
ラベル厚さ数に関するピクセル毎のデータ(またはパッチ毎のデータ)と、
予め定められたラベル構成のうちの1つまたは複数としてのラベル含有領域の特性評価と、のうち一つまたは複数を得る。
本開示のさらに他の態様、特徴、および利点は、本発明を実施するために企図される最良の形態を含む、多数の例示的実施形態および実装を例示することによって、以下の説明から容易に明らかになるであろう。本発明は、他の異なる実施形態も可能であり、その詳細については、本発明の範囲から逸脱することなく、様々な点で変更してもよい。本開示は、添付の特許請求の範囲内に含まれる全ての修正、均等、および代替の形態をカバーすることを意図している。
以下に記載される図面は、説明を目的とするものであり、必ずしも一定の縮尺で描かれていない。したがって、図面及び説明は、本質的に例示的であって、限定的なものではないことを理解されたい。図面は、本発明の範囲を限定するものではない。
図1は、1つまたは複数の実施形態に係る、本明細書に記載の特性評価方法を実行するように構成された、1つまたは複数の品質確認モジュールを含む試料検査装置(システム)の概略的な平面図を示す図である。 図2Aは、血清または血漿部分に干渉物質を含有する分離された試料を含むとともに、バーコードラベルを含む試料容器の側面(横からの)図を示す図である。 図2Bは、バーコードラベルと、血清または血漿部分に干渉物質を含有する分離された試料と、ゲル分離器を含む試料容器の側面図を示す図である。 図3Aは、バーコードラベルと、血清または血漿部分に干渉物質を含有する分離された試料と、ゲル分離器とを含む試料容器であって、キャリアのホルダ内で直立方向に保持された試料容器の側面図を示す図である。 図3Bは、製造業者のラベルと部分的に重なるバーコードラベルを含む試料容器の側面図を示す図である。 図3Cは、バーコードラベルと製造業者のラベルを含む試料容器の側面図を示す図である。 図3Dは、製造業者のラベルと複数のバーコードラベルを含む試料容器であって、全ての側方の視点がラベルによって完全に塞がれた試料容器(血清または血漿部分は裸眼で見えない)の前面図を示す図である。 図3Eは、製造業者のラベルと複数のバーコードラベルを含む試料容器であって、全ての側方の視点がラベルによって完全に塞がれた試料容器(血清または血漿部分は裸眼で見えない)の背面図を示す図である。 図4Aは、1つまたは複数の実施形態に係る、複数の視点を含み、複数のバックライト画像を撮影および分析して、ラベルの特性評価を可能にし、任意選択で干渉物質の存在を決定可能なように構成された、品質確認モジュールの概略的な平面図(天井を取り除いた場合)を示す図である。 1つまたは複数の実施形態に係る、図4Aの品質確認モジュールの概略側面図(前方を囲む壁を取り除いた場合)を示す図である。 図5Aは、1つまたは複数の実施形態に係る、ラベル含有領域を特性評価と、任意選択で試料中のH、I、若しくはL、またはNの存在の決定を行うように構成された品質確認モジュールの機能的構成要素のブロック線図を示す図である。 図5Bは、1つまたは複数の実施形態に係る、ラベル含有領域の特性評価と、任意選択で試料中のH、I、若しくはL、またはNの存在の決定を行うように構成された品質確認モジュールの機能構成要素の簡略化されたブロック線図を示す図である。 図5Cは、1つまたは複数の実施形態に係る、ラベル含有領域の特性評価を行うように構成された畳み込みニューラルネットワーク(CNN)の例示的な実施形態のトレーニングアーキテクチャのブロック線図を示す図である。 図5Dは、1つまたは複数の実施形態に係る、ラベル含有領域の特性評価を行うように構成されたCNNの一実施形態の単一出力アーキテクチャのブロック線図を示す図である。 図5Eは、1つまたは複数の実施形態に係る、ラベル含有領域の特性評価を行うように構成されたCNNの他の実施形態の複数出力アーキテクチャのブロック線図を示す図である。 図6Aは、1つまたは複数の実施形態に係る、セマンティックマップの第1の視点からの第1の分割化画像を示す図である。 図6Bは、1つまたは複数の実施形態に係る、セマンティックマップの第2の視点からの第2の分割化画像を示す図である。 図6Cは、1つまたは複数の実施形態に係る、セマンティックマップの第3の視点からの第3の分割化画像を示す図である。 図6Dは、1つまたは複数の実施形態に係る、様々な視点を示す概略的な平面図を示す。 図6Eは、1つまたは複数の実施形態に係る、合成視点からのセマンティック後方視界を示す図である。 図6Fは、1つまたは複数の実施形態に係る、合成視点からのセマンティック前方視界を示す図である。 図7は、1つまたは複数の実施形態に係る、特性評価方法および任意選択のHILN検出方法のフローチャートを示す図である。
試料容器に含まれる試料の予備検査または前検査(プレ・スクリーニング)の間、例えば、品質確認モジュールにおいて、試料容器および試料の様々な領域を分類する方法を提供する。特に、血清および血漿部分が識別(分類)されて、他の領域、例えば、沈殿した血液部分、ゲル分離器(使用される場合)、1つまたは複数のラベル、試料容器(例えば、チューブ)自体、空気、キャップ、またはさらにはホルダーなどの他の領域から区別されることが望ましい。1または複数のラベルを含む領域(以下、ラベル含有領域という)からの血清および血漿部分の識別は、特に面倒な問題である。なぜなら、1つ以上のラベルが試料容器の周囲を様々な程度で巻きつかれることがあり、そして1個、2個、またはさらには3個以上のラベルが互いに重なって付着する(ある程度で被覆したりまたは重なり合うことがある)ことがあるためである。場合によっては、ラベル含有領域の様々なサブ領域(小領域)で層の厚さが異なるように、ラベルが互いに重なり合うことがある。従って、ラベル含有領域のいくつかのサブ領域は、1個、2個、3個、またはそれ以上の層の厚さの数(カウント)を含むことがある。したがって、1つまたは複数のラベルは、血清または血漿部分の明瞭な視野を得ることが困難になるように、1つまたは複数の視野を不明瞭にしたり、場合によっては血清または血漿部分の全ての視野を不明瞭にすることがある。さらに、これらの不明瞭な領域は、1つまたは複数のラベルの厚さを含むことがある。
従って、血清または血漿部分の分類は、1つまたは複数のラベルとの干渉のために、相当に困難なことがあり、それらラベルの配置および数(ラベル数)は、ある試料容器と、次に予備検査される別の試料容器とでは、実質的に変化し得る。特に、1つまたは複数のラベルが、片側、互いに対向する両側、または試料容器の周囲全体に現れれたり、様々なサブ領域にて複数の層の厚さ(複数の厚さの数)を含むような場合には、1つまたは複数のラベルによる妨げのため、様々な観点から行われるスペクトル応答に対して重大な影響が及ぼされることがある。
したがって、上述の困難さを考慮すると、本開示の実施形態は、第1の広範な態様では、1つまたは複数のラベルの存在を決定し、かつその構成を特性評価するように構成された方法、装置、およびシステムを提供する。これには、ラベルの数(カウント)、すなわち、試料容器上に存在するラベルの数を識別することと、ラベル構成を識別するなど、他の観点から識別することのうち、一方または双方が含まれる。例えば、試料容器のラベル数を定量化してもよい。任意選択的または追加的に、識別されたラベル含有領域について、ただ1つだけのラベル層を含むように構成されたサブ領域が識別されてもよい。同様に、2つのラベル層を含むラベル含有領域のサブ領域、すなわち、2つのラベル層厚さカウントが存在するように重なり合うサブ領域を識別されてもよい。同様に、3つのラベルの厚さを含むラベル含有サブ領域が、3枚以上のラベルを含む試料容器上で識別されてもよい。他のラベル構成またはラベル特徴を識別することもできる。例えば、ラベルによって完全に目視(肉眼)することが塞がれた試料容器を識別することができる。さらに、ラベル貼付のレベルが、血清または血漿部分のH、I、若しくはL、またはNの特性評価の信頼性を低下させるほど実在していると、本方法によって決定される場合には、その旨が操作者に通知されるか、または試料が取り除かれ得る。この後、この方法は、試料を、より少ないラベル(例えば、1つのバーコード含有ラベル)を有する別の試料容器に移すなどの改善を行ってもよい。
さらに、ラベルが存在する場合、本方法、装置、およびシステムは、ラベルの影響がより効果的に除去されたり、または補償されるように、スペクトル応答に対する適切な調節を行い得る。例えば、特性評価の方法からの出力は、ラベル含有領域に対するピクセル(画素)毎(またはパッチ毎)のラベル数(カウント)、すなわち、各ピクセルまたはパッチごとに、ラベルの層(層の厚さカウント)がいくつ存在するかを提供することができる。本明細書で使用される用語のパッチは、スーパーピクセル、すなわち、ピクセルのグループ(例えば、11×11、5×5、3×3、2×2等の、ピクセル×ピクセルの寸法を有する)としても記述されることができる。このラベル層カウント出力データは、任意の選択された視点のバックグラウンド(背後側)および/またはフォアグラウンド(手前側)における存在するラベルの数についての強度データを考慮または調整するために、HILN分類器への全体的な表示入力の層を符号化(エンコード)するために使用されてもよい。結果として、ラベルによる障害が存在する場合、血清または血漿領域のより効果的な分類が可能となり、またラベルによって塞がれる血清または血漿部分のそれらの領域についての強度の読み取りの信頼性が改善され得る。したがって、血清または血漿部分のH、I若しくはLの決定及びその程度、またはNの決定における信頼性の改善が達成され得る。
本特性評価方法の別の態様では、CNNを使用する品質確認モジュールおよび試料検査装置によって実施され得る。CNNは、低レベルの特徴を抜き取るために、畳み込み層およびプーリング層を含み得る。低レベルの特徴は、1つまたは複数のラベルの局所的、中間的、および全体的な特徴を含み得る。完全につながった層(内側の物またはインナープロダクト)は、ラベルの部分間の相関関係を示すために用いられ得る。最後に完全につながった層の出力は、単一のラベル構成として、または出力ベクトルとして、可能な複数のラベル構成オプションのすべてにわたって分布を生成する。ラベル構成出力オプションは、例えば、製造業者のラベルが存在するかどうか、バーコードラベルが存在するかどうか、バーコードラベルと製造業者のラベルの両方が存在するかどうか、試料の血清または血漿部分が1つ以上の観点(視点)から完全に塞がれているかどうかなどを含むことができる。他の可能性については本明細書で論じる。
定義
本明細書で使用する「干渉物質」とは、試料の血清または血漿部分における溶血(H)、黄疸(I)、または脂肪血症(L)のうちの少なくとも1つの存在を意味する。溶血(H)、黄疸(I)、および脂肪血症(L)は、本明細書では、集合的に「HIL」と呼ばれる。
「溶血」は、処理中に赤血球が破壊されて、血清または血漿部分が赤みを帯びた色を呈するように、赤血球から血清または血漿部分へのヘモグロビンの放出をもたらす、血清または血漿部分における状態として定義される。溶血の程度は、溶血指数(インデックス)を割り当てることによって定量化することができる。
「黄疸」とは、胆汁色素(ビリルビン)の蓄積により、血清または血漿部分が変色して暗黄色になる血液の状態と定義される。黄疸の程度は、黄疸指数を割り当てることによって定量化することができる。
「脂肪血症」は、血清または血漿部分が白っぽいまたは乳白色状の外観を含むような、血液中に異常に高濃度の乳化脂が存在することとして定義される。脂肪血症の程度は、脂肪血症指数を割り当てることによって定量化することができる。
「血清または血漿部分」は血液の液体成分であり、分取後(例えば、遠心分離によって)沈殿した血液部分の上方に見出される。血漿及び血清は、凝固成分、主にフィブリノーゲンの含有量が異なる。血漿は凝固していない液体であるのに対して、血清は内因性酵素または外因性の構成要素の影響下で凝固した血漿を意味する。
「沈殿した血液部分」とは、白色の血球(白血球)、赤色の血球(赤血球)、血小板などの血液細胞が凝集し、血清または血漿部分から分離されて、半固形物として集められたものをいう。沈殿した血液部分は、分取後の血清または血漿部分の下方で、試料容器の底部に見出される。
「画像撮影装置」は、デジタルカメラ、CCD (Charge Coupled Device)およびCMOS (相補型金属酸化物半導体)、センサの配列など、分析用にピクセル化(画素化)された画像(例えば、デジタル画像)を取得することができる任意の装置である。
本明細書で使用される「ピクセル化された画像」とは、1つのピクセルまたは1より多いピクセルを含むスーパーピクセル若しくはイメージパッチ(パッチ)などのピクセルの集合を含む画像(イメージ)を意味する。
「ラベル」は、識別情報(すなわち、しるし)を含む、試料容器の外面上の領域として定義される。ラベルは、試料容器の外面に塗布(例えば、接着)される、不透明な紙、プラスチック、塗料、または他の材料であもよい。しるしは、バーコード、文字、数字、またはそれらの組み合わせであもよい。ラベルは、製造業者のラベルであってもよく、または瀉血士(静脈切開を施す人)によって適用されたものでもよく、またはその後の試料処理によって後で適用されるラベルであってもよく、バーコードを含み得る。
「LA」は、液体−空気の界面として定義され、血清または血漿部分と、血清または血漿部分より上の空気との間の境界線(側方から見たもの)である。
「SB」は血清−血液の界面であり、血清または血漿部分と沈殿した血液部分との間の境界線(側方から見たもの)である。
「TC」は管(チューブ)−キャップの界面であり、空気とキャップの間の界面における境界線(側方から見たもの)である。
「HT」は管(チューブ)の高さであり、管の最下部からキャップの底部までの高さとして定義される。
「HSP」は、ゲルセ分離器を使用しない場合、血清または血漿部分の高さであり、沈殿した血液部分の上部からの血清または血漿部分の上部からの高さ、すなわち、LAからSBまでの高さとして定義される。
「HSP」は、ゲル分離器が使用される場合(図2B)、血清または血漿部分の高さであり、LAにおける血清または血漿部分の上部からSGにおけるゲル分離器の上部までの高さ、すなわち、LAからSGまでの高さとして定義される。
「HSB」は、ゲル分離器を用いない場合、沈殿した血液部分の高さであり、SBにおける沈殿した血液部分の底部から沈殿した血液部分の上部までの高さとして定義される。
「HSB」は、ゲル分離器を使用する場合、沈殿した血液部分の高さであり、沈降した血液部分の底部からBGにおけるゲル分離器の底部までの高さとして定義される。
「HTOT」は、ゲル分離器を使用しない場合、試料の全高さであり、HSP+HSBに等しい。
「HTOT」は、ゲル分離器を使用する場合、試料の全高さであり、HSP+HSB+ゲル分離器の高さに等しい。
「Tw」は試料容器の壁厚である。
「W」は試料容器の外幅である。
「Wi」は試料容器の内幅である。
「キャリア」は、例えば実験室自動化システム(LAS)内で、試料容器を支持して、移送するように構成された装置である。
「VSP」は、試料容器中の血清または血漿部分の容量である。
「VSB」とは、試料容器内の沈殿した血液部分の容量である。
本明細書で使用する「溶血指数」とは、血清または血漿部分に存在する溶血の決定された含有量(程度または量)に基づいて特定の試料に与えられる等級(グレード)を意味する。
本明細書で使用する「黄疸指数」は、血清または血漿部分中に存在する黄疸の決定された含量(程度または量)に基づいて特定の試料に与えられる等級を意味する。
本明細書で使用する「脂肪血症指数」とは、血清または血漿部分に存在する脂肪血症の決定された含量(程度または量)に基づいて血清または血漿部分に与えられる等級を意味する。
上述のように、血清または血漿部分中に1つ以上の干渉物質(H、I、および/またはL)が存在すると、1つ以上の分析器によるその後の検査(例えば、臨床化学検査または分析検査)における結果の解釈に影響を及ぼす可能性がある。したがって、遠心分離後で1つ以上の分析器による分析前の、最初の可能な場合において、H、Iおよび/またはLをプレ・スクリーニング(事前のふるいわけ)する能力は、有利には、分析にとって適切な品質でない試料を分析する時間の浪費を最小限に抑えることができ、検査結果を改善し、患者の検査結果の遅延を最小限に抑えることができ、また、試料の浪費を回避することができる。さらに、1つまたは複数の実施形態では、H、I、および/またはLが見つかったプレ・スクリーニングの後に、是正処置を行うことができる。
本明細書に記載される試料は、採血管などの試料容器内に収集することができ、分取(例えば、遠心分離による分離)後に、沈殿した血液部分、ならびに血清および血漿部分を含み得る。試料容器によっては、小さなゲル分離器を用いることができ、遠心分離の間、沈殿した血液部分と、血清または血漿部分との間にゲル分離器を配置することがある。ゲル分離器は、2つの部分(液体および、半固体の、沈殿した血球)の間の物理的障壁(バリア)として働き、それらの再混合を最小限に抑えることができる。試料容器は、異なるサイズを有することができ、従って、多くの異なる構成の分析器に供給されてもよい。例えば、試料容器は、13mm×75mm、13mm×100mm、16mm×100mm、16mm×125mmなどのサイズを有していてもよい。他の適切なサイズを使用してもよい。
1つ以上の実施形態に従って、特性評価方法は、1つ以上のラベルによって定められるラベル含有領域のより詳細な特性評価を提供し得る。したがって、一態様では、この改善された特性評価を使用して、1以上のラベルによってふさがれた血清または血漿部分のより良好な特性評価を提供することができる。改善されたラベルの特性評価は、ラベル含有領域によってバックライトがふさがれる領域における血清または血漿部分のより良い分類付けを提供し、さらに、干渉物質の検出方法および干渉物質の定量化方法(すなわち、指標定量化方法)の結果を改善することが可能なように用いられる。特に、いくつかの実施形態では、特性評価方法は、ラベル含有領域の分割化(セグメンテーション)データの各ピクセル(またはパッチ)に関連付けられた複数のラベル層(ラベル厚さカウント)の情報を提供することができる。この追加データは、ラベル含有領域によってもたらされる任意の画像の妨害/ふさがれることに基づく光強度の変化を補償するように、HILN分類器がより良好に作動するのを助けるために、追加層を符号化することができる。
本方法は、いくつかの実施形態において、試料容器および血清または血漿部分の高度なダイナミックレンジ(HDR:High Dynamic Range)画像処理を使用してもよい。いくつかの実施形態において、血清または血漿部分およびラベル含有領域の物理的境界の識別は、分割化(セグメンテーション)プロセスの間に、HDR画像処理を使用する際、入力として行われてもよい。
1つまたは複数の実施形態では、品質確認モジュールは、特性評価方法を実行するように構成されてもよい。品質確認モジュールは、ロボット機構(例えば、トラックまたはグリッパーフィンガー(掴持用の指状)ロボット)が試料容器内の試料の品質確認モジュールへの移送を容易にし得る任意の適切な領域内に提供されてもよい。いくつかの実施形態において、品質確認モジュールは、試料検査装置のトラック上またはトラックに沿って提供されてもよく、そこでは、トラックは、試料のプレ・スクリーニングが正常(N)であると決定した場合には、分析(例えば、臨床化学検査または分析)のために、1つまたは複数の分析器の1つまたは複数の遠隔位置まで試料を運ぶ。いくつかの実施形態において、品質確認モジュールは、トラック上に直接提供されてもよく、それによって、試料容器がトラック上に存在するキャリア中に支持されている間に、干渉物質の存在についての特性評価方法および検査が行われ得る。実施形態では、試料容器は、キャリアの一部とすることができる試料容器ホルダ(以下、「ホルダ」という)によって直立(起立)位置に保持することができる。ホルダは、試料および試料容器の画像データの撮影中に試料容器を保持する指状または他の適切な構成要素を含んでいてもよい。
試料がH、I、およびLのうちの1つ以上を含むことが分かった場合、適当な通知をオペレータに提供することができ、または、試料の再描画と他の処理用に、存在する干渉物質の範囲をより正確に測定するために、H、I、またはLのさらなる定量化のため、オフラインにして、H、I、またはLの1つ以上を修正する改善措置を行うことができる。
試料のHILNの特性評価の品質が疑わしい(例えば、ラベルが多すぎる場合)と判定されるほど、試料容器がラベルによってふさがれていると特性評価方法が判定した場合、試料を取り出すか、さもなければ再度プレ・スクリーニングを行うために別の試料容器に移したりし、その際、再分取を含み得るように、適当な通知(警報、信号、スクリーンのプロンプト、または他の任意フラグ)によって操作者に通知することができる。
本明細書に記載の特性評価およびHILN検出方法は、画像に基づく、すなわち、ピクセル化された画像(例えば、デジタル画像)に基づく。画像は、複数の視点(例えば、側方からの視点)から画像を撮影するように配置された複数の画像取得装置によって得ることができる。複数の画像は、品質確認モジュールで得ることができ、そして異なる公称波長を有する複数のスペクトルで照明(例えば、バックライト)を提供する間、複数の露光時間で撮影することができる。照明の多重スペクトルは、例えば、赤(R)、緑(G)、青(B)、白(W)、赤外線(IR)、および近赤外線(NIR)を含み得る。いくつかの実施形態において、R、G、およびBの光源のみが使用される。照明は、バックライト照明を含むことができ、その際、画像撮影装置は、一方側に位置し、バックライト光源は、試料容器の反対側に位置する。露光時間は、使用される照明強度およびスペクトル、ならびに画像撮影装置の特徴に基づいて変化し得る。各スペクトルおよび各画像撮影装置に対して複数の露光時間を使用することができる。
特定のスペクトル(異なる露光時間)における複数の撮影された画像の各対応するピクセルについて、最適な画像強度を示すピクセルを選択することができる。結果として、各異なるスペクトル(例えば、R、G、B、W、IR、NIR、またはそれらのうちの任意の選択された小集合)に対する複数の統合されたカラー画像データのセットが得られ、その際、全てのピクセルが最適に露出される(例えば、スペクトル毎に1つの画像データセット)。統合された画像データセットからのデータは、各ピクセルに関する統計データ(例えば、平均、標準偏差、および共分散行列)を決定するために統計分析にかけられることがある。共分散とは、2つ以上のスペクトル照射ピクセルが一緒に変化する量の尺度である。この統計データは、1つ以上のデータ行列の形態で、画像データセットを所定のクラスにセグメント化(分割)するために(以下、「セグメンテーション(分割化)」という)、1つまたは複数のマルチ(複数)クラス分類器によって操作することができる。
セグメンテーションは、画像中の血清または血漿部分の領域の境界、ならびに他の領域(例えば、ラベル含有領域、沈殿した血液部分、ゲル分離器、管、キャップ、ホルダ、および/または空気)のクラスを決定し、識別し得る。マルチクラス分類器は、サポートベクトルマシン(SVM:Support Vector Machnine)または複数のトレーニングセットから事前にトレーニングされたランダムな決定木(ディシジョンツリー)でもよい。しかし、他の種類のセグメント化、例えば、畳み込み(コンボリューション)ニューラルネットワーク(CNN)を使用してもよい。任意の適切なプログラム、ツールボックス、またはセグメント化技術が、たとえば、Matlab、様々なC++ツール、またはクラウドベースのプログラムなどが、分類およびトレーニングのタスクを実行することによってセグメント化に使用することができる。セグメンテーションは、撮影された画像の画像データを処理し、少なくとも血清または血漿部分およびラベル含有部分(ラベルを含む領域)のセグメンテーション(分割化)データを得るために提供され得る。
一度ラベル含有領域が適切に識別されると、関連データは特性評価方法に従ってさらに処理され得る。特に、ラベル含有領域の更なる特性評価は、ラベル含有領域のセグメンテーションデータを、畳み込みニューラルネットワーク(CNN)で分類することによって得られる。CNNは、ラベルの厚さのカウントに関するピクセルデータごと(またはパッチデータごと)、および1つ以上のあらかじめ定義されたラベル構成についてのラベル含有領域の特性評価のうちの1つ以上を出力することができる。1つ以上の予め定義されたラベル構成は、例えば、ラベルの異なる予め定義された構造的構成を含むことができる。例えば、1以上のあらかじめ定義されたラベル構成は、製造業者のラベルを含むこと、バーコードラベルを含むこと、バーコードラベルおよび製造業者のラベルを含むこと、ラベルカウント=1(ラベル数が1)、ラベルカウント=2(ラベル数が2)、ラベルカウント=3(ラベル数が3)、ラベルによって完全にふさがれる等を含む。したがって、特性評価方法による一つの成果は、ラベル構造のより良い理解である。これらの事前に定義されたラベル構成の1つまたは複数の判定は、試料容器を拒否すること、試料を新しい容器に移すこと、最終のHILN特性評価における不確実性のレベルの指標を提供することなど、さらなる判定を行うために使用されてもよい。
別の態様において、特性評価方法は、ラベル含有領域のさらなる詳細を提供し得る。特に、特性評価方法は、ラベル厚さカウントデータ(例えば、ピクセルごと、またはパッチごと)を干渉物質の特性評価装置に提供することができる。このラベル厚さカウントデータは、セグメンテーションからの血清および血漿領域のデータと共に提供することができ、干渉物質の存在(例えば、H、I、および/またはL、または正常性(N))を直接分類するために、1つまたは複数の干渉物質の分類器によって操作することができる。1つ又は複数の干渉物質の分類器は、各ピクセル(又はパッチ)をそれぞれH、I、及び/又はL、又はNとして分類することができる個別に訓練されたバイナリモデルとすることができる。他の実施形態では、干渉物質の分類器は、マルチクラス分類器であってもよい。インターフェレント(干渉物質)分類器のモデルは、サポートベクトルマシン(SVM)またはランダム決定木であってもよい。任意選択的に、干渉物質の分類器は、CNNであってもよい。他の適切な分類器または描写を使用してもよい。
複数の視点からの画像を使用することによって、血清または血漿部分の十分な領域が視認可能となって、ラベルによってふさがれない場合には、HILNを適切に特性評価するという点で、好適に信頼度の高い結果を提供することができる。しかしながら、試料容器上の1つまたは複数のラベルの存在が、撮影された画像の強度値に悪影響を及ぼし得ることが、本明細書の発明者によって発見された。例えば、1つの視点から見て、ラベルが試料容器の裏側に位置する場合には、ラベルの存在によって、血清または血漿部分を通過し得るバックライトが不明瞭となることがあり、したがって、その視点から見た正面図において、画像撮影装置によって測定され得る画像強度に影響を及ぼし得る。本開示の実施形態は、そのようなラベルの存在を対処するだけでなく、ラベル含有領域にわたる相対的なラベルの厚さ(ラベル厚さカウント)についても対処することもできる。したがって、本開示の実施形態は、選択された視点においてラベルによるふさぎが生じた領域からの血清または血漿部分についての画像強度のより良好かつより強固な評価を提供する。この改善された特性評価によって、HILNのより正確な決定が提供され得る。
さらに、ラベル含有領域のより正確な特性評価に基づいて、様々な干渉物質の種類についての干渉物質のレベル(干渉物質の指標)の改善された判定が提供され得る。干渉物質レベル(指標)は、例えば、1つ以上の追加のモデル(例えば、1つ以上の回帰モデルまたは他のモデル)に基づくことができる。回帰モデルは、多様な干渉物質のレベルを示すサンプルHIL試料に基づいて、各干渉物質の種類について訓練することができる。2つ以上の干渉物質の種類が、干渉物質レベル検出方法によって決定されてもよく、また各干渉物質の種類(例えば、HIL)に対する干渉物質の指標が、存在する場合には、指定されてもよい。
本発明の特性評価方法、特性評価方法を実行するように構成された品質確認モジュール、および1つ以上の品質確認モジュールを含む試料検査装置(システム)のさらなる詳細は、図1−図7を参照してさらに説明される。
図1は、各々が試料212を含む複数の試料容器102(例えば、図2A−3E参照)を自動的に処理することができる試料検査装置100を示す。試料容器102は、1つ以上の分析器(例えば、試料検査装置(システム)100の周囲にそれぞれ配置された、第1、第2、および第3の分析器106、108、および/または110)への移送およびそれによる分析の前に、ローディング(装填)領域105に設けられる1つ以上のラック104に提供され得る。より多くの、またはより少ない数の分析器を使用することは可能である。分析器は、臨床化学分析器(アナライザー)および/または分析用の機器などの任意の組合せであり得る。試料容器102は、任意の適切な透明または半透明の容器とすることができ、たとえば、採血管、試験管、サンプルカップ、キュベット、または他の透明または不透明のガラスまたはプラスチック容器などであって、試料212を収容し、その画像化を可能にすることができるものでもよい。試料容器102のサイズは様々であってよい。
試料212(図2A−図3E)は、キャップ214を用いて蓋をされていてもよい試料容器102内で、試料検査装置100に提供されてもよい。キャップ214は、異なる形状および/または色(例えば、赤色、ロイヤルブルー(花紺青)色、ライトブルー(淡い青)色、緑色、灰色、黄褐色、黄色、または色の組み合わせ)を有していてもよく、これは、試料容器102が使用される検査、その中に含まれる添加剤の種類、容器がゲル分離器を含むかどうか、などに関して意味を有していてもよい。
試料容器102の各々には、バーコード、文字(アルファベット)、数字、またはそれらの組合せなどからなる識別情報218i(すなわち、しるし)を含むことができるラベル218を備えることができる。識別情報218iは、試料検査装置100の周囲の様々な位置で機械的に読み取り可能にされてもよい。その機械可読情報は、容易に撮像可能なように、ラベル材料(例えば、白色の材料)よりも暗くてもよい(例えば、黒色でもよい)。識別情報218iは、例えば、実験室情報システム(LIS)147を介して、患者の識別、ならびに試料212上で行われる検査、またはその他の情報を表示してもよく、または関係付けられていてもよい。このような識別情報218iは、管215の外面上に接着され得るか、または別の方法で提供され得るラベル218上に提供され得る。図2Aの図示の実施形態では、ラベル218は、試料容器102の周囲全体、または試料容器102の長さ全体にわたって広がるわけではなく、図示された特定の視点から、血清または血漿部分212SPの大部分(窓)が視認可能であって(図2Aに点線で示される部分)、ラベル218によって妨害されていない(塞がれていない)。
しかしながら、図3Bおよび図3Cに示されるような幾つかの実施形態において、複数のラベル218A、218B、および/または218C(試料容器102を取り扱った複数の施設からのもの)が提供されることがあり、それらは、ある程度まで互いに重なり合うことが起こり得る。図3Bに示される実施形態において、2つのラベル(例えば、製造業者のラベル218Aおよびバーコードラベル218B)は、互いに重なり合って、少なくとも1つの視点を塞ぐように示されている。図3Cでは、3つまたはそれ以上のラベル(例えば、製造業者のラベル218A、第1のバーコードラベル218B、および第2のバーコードラベル218C)が、図示のように、互いの上に備えられ、または互いに重なり合って提供されることが起こり得る。したがって、いくつかの例では、複数のラベルは、2つ以上、またはすべての側方の視点(すなわち、完全に塞がれるように)、血清又は血漿部分212SPの1つ以上の視点を塞ぐことが生じ得る。
従って、幾つかの実施形態において、ラベル218は、試料212の幾つかの部分を塞ぎ得るが、試料212の幾つかの部分、ならびに血清および血漿部分212SPは、依然として、少なくとも1つの視点から視認可能な場合があることを理解されたい(図2A−図2B、および図3Aを参照)。しかしながら、他の実施形態では、ラベル218A、218B、および/または218Cが試料容器102の周囲をより完全に、または全体的にわたって設けられることがあり、そのため、試料212の血清または血漿部分212SPのうち、部分的に若しくはさらには2つの視点を完全に塞いだり、またはさらにはより完全に若しくは全ての視点を部分的に塞ぐことがある。
いずれにせよ、本開示の別の広範な態様によれば、特性評価方法に係る実施形態では、識別されたラベル含有領域上のセグメンテーションデータを、畳み込みニューラルネットワークを用いて分類することができ、畳み込みニューラルネットワークからの出力によって、ラベル含有領域を、あらかじめ定義されたラベル構成のグループのうちの1つまたは複数として特性評価を行うことができる。あらかじめ定義されたラベル構成のグループは、1つのラベルを含むもの、2つのラベルを含むもの、3つのラベルを含むもの、製造業者のラベルを含むもの、バーコードラベルを含むもの、製造業者のラベルおよびバーコードラベルを含むもの、およびそれら以外の場合を含むことができる。検査対象の試料を含む試料容器用の特定のラベル構成を識別して、特性評価の能力は、上述のような多くの理由のため、試料検査装置100で使用されることができる。例えば、いくつかの場合において、ラベル含有領域が広範囲(全てのビューまたは視野を完全にまたはほぼ完全に塞ぐ)である場合、試料容器は、別の容器に移すために取り外されて、再度ラベルが付けられる場合がある。
再び図2Aを参照すると、試料212は、血清または血漿部分212SPと、管215内に収容された沈殿した血液部分212SBとを含むことがある。空気216は、血清および血漿部分212SPの上方にあることがあり、それらの間の境界線は、液体−空気界面(LA:Liquid−Air)として定義される。血清または血漿部分212SPと沈殿した血液部分212SBとの間の境界線は、血清−血液界面(SB:Serum−Blood)として定義される。空気216とキャップ214の間の境界は、管−キャップ境界(TC:Tube−Cap)として定義される。管の高さ(HT)は、管215の最下部からキャップ214の底部までの高さとして定義され、管のサイズを決定するために使用されることができる。血清または血漿部分212SPの高さ(HSP)は、沈殿した血液部分212SBの上部から血清または血漿部分212SPの上部からの高さとして定義され、即ち、LAからSBへとして定義される。沈殿した血液部分212SBの高さ(HSB)は、沈殿した血液部分212SBの底部からSBでの沈殿した血液部分212SBの頂部までの高さとして定義される。HTOTは、試料212の全高さであり、HSP+HSBに等しい。
ゲル分離器313が使用される場合(図2Bおよび図3A)、血清または血漿部分212SPの高さ(HSP)は、LAにおける血清または血漿部分212SPの上部から、SGにおけるゲル分離器313の上部への高さとして定義され、すなわち、LAからSGまでとして定義され、ここでSGは、血清または血漿部分212SPとゲル分離器313との間の界面である。沈殿した血液部分212SBの高さ(HSB)は、沈殿した血液部分212SBの底部からBGにおけるゲル分離器313の底部までの高さとして定義され、ここでBGは、沈殿した血液部分212SBとゲル分離器313との間の界面である。HTOTは、試料212の全高さであり、HSP+HSB+ゲル分離器313の高さに等しい。いずれの場合も、Twは壁の厚さであり、Wは外側の幅(外幅)であり、これはまた、試料容器102のサイズを決定するために使用されることがあり、また、Wiは試料容器102の内側の幅(内幅)である。
より詳細には、試料検査機器100は、トラック121が搭載され得る基盤120(例えば、ベース、フレーム、床、または他の構造)を含み得る。トラック121は、レール状トラック(例えば、モノレールまたはマルチレール)、コンベヤベルトの集合体、コンベヤチェーン、可動プラットフォーム、または任意の他の適切なタイプの搬送機構であってもよい。トラック121は、円形状または任意の他の適切な形状であってもよく、いくつかの実施形態では、閉ざされたトラック(例えば、無限トラック)であってもよい。トラック121は、動作中に、個々の試料容器102を、キャリア122内のトラック121の周囲に配置された様々な場所に輸送することができる。
キャリア122は、トラック121上に試料容器102を運ぶように構成され得る、受動的なモータ駆動されないパックであってもよく、または、任意選択的に、トラック121の周りを移動して、事前にプログラムされた位置で停止するようにプログラムされたリニアモーターのような、オンボード(搭載型)の駆動モータを含む自動キャリアであってもよい。また、キャリア122の他の構成が使用されてもよい。キャリア122はそれぞれ、定められた直立位置および方向で試料容器102を保持するように構成されたホルダ122H(図3A)を含み得る。ホルダ122Hは、試料容器102をキャリア122上に固定する複数のフィンガーまたは板バネを含んでもよいが、その際、それらの一部または全部が、異なるサイズの試料容器102を収容するために、可動または可撓性であってもよい。いくつかの実施形態では、キャリア122は、1つまたは複数のラック104から取り外された後に、ローディングエリア(装填領域)105から離れてもよい。いくつかの実施形態において、ローディングエリア105は、プレ・スクリーニングおよび/または分析が完了した後に、キャリア122から試料容器102の再装填をも可能にする、二重の機能を行ってもよい。
ロボット124は、ローディングエリア105に設けられてもよく、1つまたは複数のラック104から試料容器102を把持して、試料容器102をトラック121の入力レーンなどのようなキャリア122上に装填するように構成されていてもよい。ロボット124はまた、過剰なラベル付けを理由として試料移送のフラグが立てられた(合図がされた)場合に、分析の完了時に、試料容器102をキャリア122から1つまたは複数のラック104に再装填するように構成されていてもよい。ロボット124は、X方向(横方向)およびZ方向(図示のように紙面に対して垂直方向)、YおよびZ方向、X、Y、およびZ方向、またはr方向(半径方向)およびθ(シータ)方向(回転方向)の移動が可能な1つまたは複数(例えば、少なくとも2つ)のロボットアームまたは構成要素を含むことができる。ロボット124は、ガントリ(構台)ロボット、関節ロボット、R−シータロボット、または他の適切なロボットであってもよく、ロボット124は、試料容器102を取り出して、配置するように方向付けられ、サイズが決定され、構成されたロボット型のグリッパ状フィンガーを備えていてもよい。
トラック121上に装填されると、キャリア122によって運ばれた試料容器102は、第1のプレ・スクリーニング所125に進むことができる。例えば、第1のプレ・スクリーニング所125は、試料212の分取を行うように構成された自動遠心分離機であってもよい。試料容器102を運ぶキャリア122は、流入レーンまたは他の適切なロボットによって、第1のプレ・スクリーニング所125に迂回されてもよい。遠心分離後、試料容器102は、流出レーンから出ていくか、またはロボットによって取り除かれて、トラック121に沿って続けて移送されることができる。図示の実施形態では、キャリア122内の試料容器102は、次に、図4Aおよび図4Bを参照して説明される品質確認モジュール130に移送することができる。
品質確認モジュール130は、プレ・スクリーニングと、本明細書に記載される特性評価方法とを実行するように構成されていて、試料212に含まれるH、I、および/またはLの存在、およびその程度について、またはNについて自動的に決定するように構成されていてもよい。ここで、試料212は、正常(N)とみなすことができる程度に、H、I、および/またはLを少量含むことが分かった場合、試料212は、トラック121上を続けて移送されて、次いで、1つまたは複数の分析器(例えば、第1、第2、および第3の分析器(106、108、および/または110)によって分析されてもよい。その後、試料容器102は、1つまたは複数のラック104に再装填されるためにローディングエリア105に復帰されてもよく、その結果をLIS147に提供することができる。
いくつかの実施形態では、HILN検出に加えて、試料212の定量化を品質確認モジュール130で行うことができる(すなわち、HSP、HSB、HTOTの決定、およびSBまたはSG、およびLAの位置の決定)。いくつかの実施形態では、試料容器102の物理的属性(例えば、サイズ)の特性評価は、品質確認モジュール130で行うことができる。そのような特性評価は、HTおよびWの決定、さらに可能であればTCおよび/またはWiの決定を含み得る。この特性評価から、試料容器102のサイズを抽出することができる。さらに、品質確認モジュール130は、キャップの色および/またはキャップの種類を決定してもよく、これらは、適切な試料容器102が、LIS147を通る指示された試験に使用されたことを保証するための安全チェックとして使用されてもよい。
いくつかの実施形態において、遠隔ステーション132を、トラック121に直接的に連結されていない試料検査装置100上に設けることができる。例えば、独立したロボット133(点線で示す)は、試料容器102を遠隔ステーション132に運び、試験/前処理後にそれらを戻すことができる。任意選択的に、試料容器102は、手動で取り出されて、戻されてもよい。遠隔ステーション132は、溶血レベルのような特定の成分について試験するために使用されてもよく、または、脂血レベルを低下させるためにさらなる処理に使用されてもよく、例えば、1度以上の添加および/またはさらなる処理、または、凝血塊、気泡、もしくは泡沫を除去することなどが行われてもよい。他の試験または処理は、遠隔ステーション132において本明細書に記載される特性評価方法および/またはHILN検出方法を使用するプレ・スクリーニングを含み得る。
他のステーションは、トラック121上またはそれに沿った1つまたは複数の位置に設けることができる。追加のステーションは、脱キャッピング(キャップの取り外し)ステーション、アリコーティング(一定分量化)ステーション、1つまたは複数の追加の品質確認モジュール130などを含んでいてもよい。
試料検査装置100は、トラック121の周囲に1つまたは複数の位置に多数のセンサ116を含んでいてもよい。センサ116は、試料容器102上に設けられた識別情報218i、または各キャリア122上に提供される類似の情報(図示せず)を読み取ることによって、トラック121に沿った試料容器102の位置を検出するために使用されてもよい。近接センサなど、位置を追跡するための任意の適切な手段を使用することができる。全てのセンサ116は、各試料容器102の位置が常に適切に知られるように、コンピューター143とインタフェースで接続することができる。
プレ・スクリーニングステーションおよび1つまたは複数の分析器106、108、110は、キャリア122をトラック121から除去するように構成されたロボット機構および/または流入レーン、ならびにキャリア122をトラック121に再度流入させるように構成されたロボット機構および/または流出レーンを装備することができる。
試料検査装置100は、マイクロプロセッサベースの中央処理装置CPUまたはGPU、すなわち適切な処理能力およびメモリを有して、様々なシステム構成要素を動作させるための適切な調整電子機器およびドライバを有する、コンピュータ143によって制御されてもよい。コンピュータ143は、試料検査装置100の基部120の一部として、またはこれとは別に収容されていてもよい。コンピュータ143は、キャリア122の移動を制御して、ローディングエリア105への往復移動、トラック121での移動、第1のプレ・スクリーニング所125への往復移動、第1のプレ・スクリーニング所125(例えば、遠心分離機)の動作、品質確認モジュール130への往復移動、品質確認モジュール130の動作、各分析器106、108、110への往復移動ならびに様々な種類の試験(例えば、分析または臨床化学)を実行する各分析器106、108、110の動作を制御するように動作し得る。
品質確認モジュール130を除く全てについて、コンピュータ143は、ニューヨーク州タリータウン所在のシーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド(SIEMENS HEALTHCARE DIAGNOSTICS INC.)によって販売されているDimension(登録商標)臨床化学分析器に使用可能なソフトウェア、ファームウェア、および/またはハードウェア・コマンドまたは回路に従って、試料検査装置100を制御することができるが、そのような制御は、コンピュータ・ベースの電気機械制御プログラミングの当業者には典型的であるため、その点について本明細書ではさらに説明しない。しかしながら、他の適切な装置を使用して、試料検査装置100を制御することは可能である。本明細書に詳述されているように、本発明の特性評価方法およびHILN方法に従って、品質確認モジュール130の制御もコンピュータ143によって行うことができる。
本明細書に記載される特性評価方法およびHILN方法を実行するための画像処理に使用されるコンピュータ143は、十分な処理能力、適当なRAM、および適当な記憶装置を有する、CPU、GPU、またはそれらの組合せを含み得る。一実施形態では、コンピュータ143は、1つまたは複数のGPU、8GBまたはそれ以上のRam、およびテラバイトまたはそれ以上の記憶装置(メモリ)を備えたマルチプロセッサ装備のパーソナルコンピューター(PC)とすることができる。別の実施例において、コンピュータ143は、並列モードで動作し、8GBまたはそれ以上のRamと適切な記憶装置を備えた、GPU装備のPC、または任意選択でCPU装備のPCであってもよい。いくつかの実施形態において、複数のコンピュータを使用することができ、そのうちの1つは、CNNのトレーニングのために比較的高性能であり、また1つは、本明細書に記載されるような試験および特性評価方法およびHILN検出を実施するために用いられる。適切なプロセッサは、INTEL(登録商標)XEON(登録商標)プロセッサ、INTEL(登録商標)CORE(登録商標)プロセッサのファミリ、およびINTEL(登録商標)ATOM(登録商標)プロセッサのファミリ、またはNVIDIA(登録商標)から入手可能なARM(登録商標)CORTEX(登録商標)A9r4CPUを含むチップ(S−OC)に基づく低エネルギーTEGRA(登録商標)システムさえも含み得る。他の適切なプロセッサを使用してもよい。ウインドウズ(登録商標)、リナックス(登録商標)、OS X(登録商標)ベースのオペレーティングシステムを使用することが可能である。
本開示の実施形態は、ユーザが様々な制御及びステータス表示画面に容易且つ迅速にアクセスすることができるコンピュータインターフェースモジュール(CIM)145を使用して実施することができる。これらの制御およびステータス表示画面は、試料212の準備および分析のために使用される複数の相互に関係する自動化装置の一部またはすべての態様について、表示及び制御を可能にすることができる。CIM415を用いて複数の相互に関係する自動化装置の動作状態についての情報を提供してもよく、また、任意の試料212の位置を記述する情報及び試料212について実行するべき、又は実行されている検査のステータスを記述する情報を提供してもよい。したがって、CIM415は、オペレータと試料検査機器100との間の相互作用を容易にするように構成される。CIM415は、オペレータが試料検査装置100とインターフェース接続を行うためのアイコン、スクロールバー、ボックス、及びボタンを含むメニューを表示するように構成された表示画面を含んでいてもよい。メニューは、試料検査装置100の機能(的態様)の表示および/または動作を行うようにプログラムされた多数の機能要素を含むことができる。
次に図4A−図4Bおよび図5Aを参照して、品質確認モジュール130の第1の実施形態について示し、説明する。品質確認モジュール130は、特性評価方法を実行するように構成および適合可能であって、1つまたは複数の分析器106、108、110による分析の前に、試料212(例えば、その血清または血漿部分212SP)中の干渉物質(例えば、H、I、および/またはL)の存在について自動的にプレ・スクリーニングするために使用可能である。本明細書に記載の特性評価方法および干渉物質の検出方法に加えて、502(図5A)において、品質確認モジュール130で用意される試料容器102に含まれる試料212に対して、他の検出方法が行われてもよい。例えば、試料212を定量化するために、すなわち、試料212の特定の物理的寸法特性(例えば、LAおよびSB、および/または、HSP、HSB、またはHTOTの決定)を行うために、品質確認モジュール130において方法を実行することができる。定量化は、例えば、血清または血漿部分の容量(VSP)および/または沈殿した血液部分の容量(VSB)の推定を含むことができる。他の定量化可能な幾何学的特徴についても決定することができる。さらに、品質確認モジュール130は、試料容器102の幾何学的形状の定量化、すなわち、試料容器102のTC、HT、および/または、WまたはWiの位置など、試料容器102の特定の物理的寸法特性を定量化するために使用されてもよい。
次に、図1、図4A、図4B、および図5Aを参照すると、品質確認モジュール130の第1の実施形態は、複数の画像撮影装置440A−440Cを含むことができる。3つの画像撮影装置440A−440Cが示されており、3つの数が好ましいが、2つ若しくはそれ以上または4つ若しくはそれ以上の数を使用することができる。画像撮影装置440A−440Cは、ピクセル化画像を撮影することができる従来のデジタルカメラ、電荷結合素子(CCD:Charged Coupled Device)、光検出器の配列、1つまたは複数のCMOSセンサなどの、明確に定義されたデジタル画像を撮影するための任意の適切なデバイス(装置)とすることができる。例えば、3つの画像撮影装置440A、440B、440Cは、図4Aに示されていて、3つの異なる側方の視点(1、2、および3と示されている)から画像(撮影画像504)を撮影するように構成されている。例えば、いくつかの実施形態では、画像(イメージ)サイズは、例えば、約2560×694ピクセルであってもよい。別の実施形態では、画像撮影装置440A、440B、440Cは、例えば、約1280×387ピクセルの画像サイズを取り込むことができる。他の画像サイズおよびピクセル密度を使用してもよい。
画像撮影装置440A、440B、440Cのそれぞれは、試料容器102の少なくとも一部、および試料212の少なくとも一部の側方の画像を撮影するように構成及び動作可能であってもよい。例えば、画像撮影装置440A−440Cは、各視点1−3から、ラベル218の一部および血清または血漿部分212SPの一部または全部を撮影することができる。例えば、いくつかの場合において、視点1−3の一部が、ラベル218によって部分的に遮られることがある。いくつかの実施形態において、視点1−3のうちの1つまたは複数が完全に塞がれることがあり、すなわち、血清または血漿部分212SPの明確な視点を、1つまたは複数の視点1−3から得ることができなくなる場合がある。しかしながら、視点1−3からの側面(前面または背面)の視野が1つまたは複数のラベル218によって完全に塞がれる場合であっても、本特性評価方法によって、存在する層厚の数に応じて、1つまたは複数の塞いでいるラベルを通して、血清または血漿部分212SPの境界を区別することが可能である。例えば、3層以上の厚さでは、血清または血漿部分212SPを区別することが非常に困難になる。したがって、様々な視点1−3から存在する層の厚さを正確に評価できることによって、血清または血漿部分212を高い信頼度でHILNについて分類できるかどうかを判定するのに役立ち得る。
また、画像撮影装置440A−440Cは、キャップ214の一部または全て、および管215の一部または全てを撮影してもよい。最終的に、複数の画像およびセグメンテーション結果から、試料容器102内の試料212の複合(合成)モデルを任意選択的に発展することができる。複合モデルは、いくつかの実施形態では、3Dセマンティック(意味的)モデルであってもよく、試料212についての最終的な決定を助けるために使用されてもよい。なお、セマンティック・モデルは任意選択的であって、本特性評価方法は、1つまたは複数の視点1−3から得られた画像データのみを使用してもよい。
図示の実施形態では、複数の画像撮影装置440A、440B、440Cが、試料212の周囲に配置されていて、複数の視点1−3から撮像位置432において試料容器102および試料212の側方の画像を撮影するように構成されている。これら視点1−3は、3つの画像撮影装置440A、440B、440Cを使用する場合、図示のように、互いに約120度で、ほぼ等間隔で間隔を置くように配置されてもよい。図示のように、画像撮影装置440A、440B、440Cは、トラック121の周囲に配置されてもよい。複数の画像撮影装置440A、440B、440Cの他の構成が使用されてもよい。このようにして、試料容器102がキャリア122内に存在している間に、試料容器102内の試料212の画像を撮影することができる。画像撮影装置440A、440B、440Cによって得られる複数の画像の視野は、それらの周囲がわずかに重なり合うようにして、周囲の一部が見逃されないようにしてもよい。
1つまたは複数の実施形態では、キャリア122は、撮像位置432など、所定の位置で停止されてもよく、すなわち、画像撮影装置440A、440B、440Cのそれぞれからの法線ベクトルが互いに交差する点で停止されてもよい。キャリア122のゲートまたはリニアモーターは、撮像位置432においてキャリア122を停止させるために用意されてもよく、その結果、複数の高品質の画像がその位置で撮影されるようにしてもよい。品質確認モジュール130にゲートを設けた実施形態では、1つまたは複数のセンサ(センサ116など)を使用して、品質確認モジュール130にキャリア122が存在するか否かを判定することができる。
画像撮影装置440A、440B、440Cは、撮像位置432において画像ウィンドウを撮影するように訓練または焦点を合わせて近接して提供することができ、その際、画像ウィンドウとは、試料容器102の期待された位置を含む領域である。したがって、いくつかの実施形態では、試料容器102は、品質確認モジュール130の画像ウィンドウのほぼ中央に配置されるように停止されてもよい。撮影された画像内には、1つまたは複数の参照データ(基準)が存在してもよい。参照データは、試料212の定量化を助けることができる。参照データは、TCまたは管215の最下部、または試料容器102の既知の位置に配置されたマークであって、例えば、少なくとも1つまたは全ての視点1−3から見ることができるものでもよい。
動作中、各画像は、コンピュータ143から送られる、通信ライン443A、443B、443Cにて提供されるトリガ信号に応答して、開始されて、撮影されてもよい。撮影された画像のそれぞれは、本明細書に記載の特性評価方法に従って、コンピュータ143で処理され得る。特に有効な方法の1つでは、高データレート(HDR)処理を使用して、撮像データを取り込み、処理することができる。
より詳細には、1つまたは複数の実施形態では、1つまたは複数の異なるスペクトルで照明されている間に、複数の異なる露出時間で、品質確認モジュール130にて試料212の複数の画像が撮影される。例えば、各画像撮影装置440A、440B、440Cは、血清または血漿部分212SPを含む試料容器102の4−8つの画像を、1つまたは複数のスペクトルのそれぞれにおいて異なる露光時間で撮影することができる。他の数の画像が撮影される場合もある。
1つの実施形態において、複数のスペクトル画像は、異なるスペクトル照明を放射する異なる光源444A−444Cを使用して得られてもよい。光源444A−444Cは、試料容器102(図示)をバックライトで照らすことができる。いくつかの実施形態では、光源444A−444Cと併せて光ディフューザを使用することができる。複数の異なるスペクトル光源444A−444CはRGB光源であってもよく、たとえば、634nmプラスマイナス(+/−)35nm(赤色)、537nmプラスマイナス35nm(緑色)、および455nmプラスマイナス35nm(青色)の公称波長を発するLEDであってもよい。他の実施形態では、光源444A−444Cは、約700nm−約1200nmの公称波長を有する1つまたは複数のスペクトルを発することができる。他の実施形態では、光源444A−444Cは、白色光源であってもよい。ラベル218が複数の視点を塞ぐ場合、IRバックライトまたはNIRバックライトを使用することができる。複数のラベル(図3D−図3Eを参照)が血清または血漿部分212SP全体を塞ぐ場合、IR光源またはNIR光源とすることができる光源444A−444Cによって、ラベル218A−218Cを通してすら、血清または血漿部分212SP上に合理的なセグメンテーション情報が生成され得る。さらに、RGB光源は、少数のラベル層が存在する場合のように、ラベルによる塞ぎが存在する場合でさえも、場合に応じて使用され得る。
非限定的な一例を示すと、第1の波長で画像を撮影するために、3つの赤色光源(約634nmプラスマイナス35nmの波長)を使用して、3つの側方位置から試料212を照射することができる。光源444A−444Cからの赤色の照明は、異なる露光時間における複数の画像(例えば、4−8つの画像またはそれ以上の画像)が、各視点1−3から各画像撮影装置440A−440Cによって撮影されるときに生じ得る。いくつかの実施形態では、露光時間は、約0.1ms−256msの間でもよい。他の露光時間を使用してもよい。いくつかの実施形態では、各画像撮影装置440A−440Cでのそれぞれの画像は、例えば、連続的に撮影されてもよい。したがって、各視点1−3について、赤色スペクトルのバックライト照明および異なる露光時間のような複数(例えば、4−8)の露出での、一群の画像が得られる。撮影された画像データは、コンピュータ143のメモリに保存される。
各実施形態では、品質確認モジュール130は、外部からの光の影響を最小限に抑えるために、トラック121を少なくとも部分的に取り囲むかまたは覆うことができるハウジング446を含むことができる。試料容器102は、撮像シーケンスの間、ハウジング446の内側に位置することができる。ハウジング446は、キャリア122がハウジング446内に出入りできるように、1つまたは複数のドア446Dを含むことができる。いくつかの実施形態では、天井は、上方から移動可能なロボットフィンガーを含むロボットによって、試料容器102をキャリア122内に装填することを可能にするための開口部446Oを含んでいてもよい。
一度赤色で照明された画像が撮影されると、別の光のスペクトル、例えば、緑色のスペクトル光源444A−444Cをオンにすることができ(約プラスマイナス35nmの帯域幅(バンド幅)を有する約537nmの公称波長)、異なる露光時間における複数の画像(例えば、4−8の画像またはそれ以上の画像)を、各画像撮影装置440A、440B、440Cによって連続的に撮影することができる。このことは、青色のスペクトル光源444A−444C(約プラスマイナス35nmの帯域幅を有する、約455nmの公称波長)を用いて、各画像撮影装置440A、440B、440Cについて繰り返すことができる。所望であれば、任意に、または代替的に、他の適切なスペクトルの照明を使用してもよい。複数の公称波長スペクトル光源444A−444Cは、例えば、選択的に切替可能な(オンおよびオフにすることができる)複数のスペクトル光源(例えば、R、G、B、W、IR、および/またはNIR)のバンクを含むライトパネルによって達成されてもよい。バックライト用の他の手段が使用されてもよい。
各波長スペクトルに対して複数の露光時間で撮影された複数の画像は、迅速に連続して得ることができ、その結果、複数の視点1−3からの試料容器102および試料212の画像の全収集を、例えば、数秒未満で得ることができる。1例を挙げると、画像撮影装置440A、440B、440CおよびRGB光源444A−444Cによるバックライトを用いる、3つの視点における各スペクトルに対する4つの異なる露光画像によって、4画像xスペクトルx3視点=36画像が得られる。別の例を挙げると、画像撮影装置444A、440B、444Cおよび光源444A−444C(例えば、R、G、B、W、IR、およびNIR)を用いるバックライト(背面照明)を使用して、3つの視点における各波長スペクトルに対する4つの複数の露光画像によって、4画像x6スペクトルx3視点=72画像が得られる。
さらに、トレーニングプロセスの一部として、試料212を中に含まないラベルが付けられた試料容器102上で複数の参照画像を撮影することができる。参照画像は、数千の数であってもよく、試料容器102上に提供されるラベルによる、多くの可能なラベル構成およびラベル厚さカウントの例を構成してもよい。以下から明らかなように、CNN535は、複数の参照画像を使用してトレーニング(訓練)されてもよい。トレーニングは、CNN535からの出力可能な予め定められたラベル分類の各々について、十分な数の画像とともに参照データベースの集団をつくるすることを含む。トレーニング方法の詳細は、以下で説明する。
特性評価方法の実施形態によると、画像データの処理は、例えば、各スペクトルおよび各視点1−3について最適に露光された画像のデータセットを得られるように、各スペクトルおよび各画像撮影装置440A−440Cに対する異なる露光時間での複数の撮影された画像からの最適に露光されたピクセルの選択を含み得る。このデータ整理は、本明細書では「画像整理」と呼ぶ。
各画像撮影装置440A−440Cからの画像のそれぞれについて、対応する各ピクセル(またはパッチ)について、最適な画像強度を示すピクセル(またはパッチ)が、各視点1−3についての異なる露光時間画像のそれぞれから選択され得る。一実施形態では、最適な画像強度は、例えば、所定の強度範囲内(例えば、0−255のスケールで180−254の間)にあるピクセル(またはパッチ)であってもよい。別の実施形態では、最適な画像強度は、例えば、0−255のスケールで16−254の間であってもよい。2枚の画像の対応する位置における2つ以上のピクセル(またはパッチ)が最適に露光されていると決定される場合、その2つのうちの高い方が選択される。最適な画像強度を示す選択されたピクセル(またはパッチ)は、それぞれの露光時間によって正規化されてもよい。その結果、各画像撮影装置440A−440Cについて、照明スペクトル(例えば、R、G、B、白色光源、IR、および/またはIR、使用される組合せに基づく)についての複数の正規化および整理されたスペクトル画像データのセットが得られ、その際、ピクセル(またはパッチ)のすべてが最適に露光されている(例えば、スペクトル毎1つの画像データセット)。換言すると、各視点1−3について、コンピューター143によって実施されるデータ処理は、採用される各照明スペクトルについて1つずつ、複数の最適に露光された画像データのセットをもたらす。
次に、図5Aを参照すると、最適に露光されたピクセル(またはパッチ)を含む各画像データセットに対して、本明細書でセグメント化511と呼ばれる特性評価処理が、血清または血漿部分212SPとして分類された最適に露光された画像データセット内のピクセル(またはパッチ)を識別するために行われる。さらに、セグメント化511は、ラベル218であるピクセル(またはパッチ)の分類を行う。ラベル含有領域219を構成する血清または血漿部分212SPおよびラベル218の分類は、複数のトレーニングセットから生成されたマルチ(複数)クラス分類器515の操作に基づいて行われてもよい。
実施形態によると、分類を実行するために、各画像撮影装置440A−440Cに対して使用される異なるスペクトル(例えば、R、G、B、W、IR、および/またはNIR)における、最適に露光されたピクセル(またはパッチ)のそれぞれについて、符号514において、統計データが計算及び生成されてもよい。統計の生成514は、例えば、2次までの平均値および共分散を含み得る。計算された統計の属性は、オブジェクトクラスの特定の特性を符号化(エンコード)して、クラスラベルを割り当てることによって複数のオブジェクトクラス間の識別のために使用される。統計データは、一旦生成されると、符号516において、ピクセルクラスを識別するマルチクラス分類器515に提示されて、処理される。特に、マルチクラス分類器515は、ピクセル(またはスーパーピクセル/イメージパッチ)を分類でき、つまり、1−血清または血漿部分、2−沈殿した血液部分、3−管、4−空気、5−キャップ、6−ラベル、7−ホルダ、および/または8ゲル分離器(使用される場合)などの複数のクラスのうちの1つに属するものとして分類できる。
よって、血清および血漿部分212SPおよびラベル218、218Aおよび218B、または218A−218Cを含むラベル含有領域219を構成するピクセル(またはパッチ)は、品質確認モジュール130によるプレ・スクリーニング時に(ラベル構成に応じて)識別されてもよい。ラベル含有領域219は、例えば、1つのラベル218(例えば、図2B)、または二つの(二重)ラベル218A、218B (図3B)、または三つの(三重)ラベル218A、218B、および218C(図3C)を含むものとして識別された、1つまたは複数の視点(例えば、視点1−3)を横切って広がる領域である。
マルチクラス分類器515は、線形または非線形である、任意の適切な種類の監視(管理)された分類モデルとすることができる。例えば、マルチクラス分類器515は、線形又はカーネルベースのサポートベクトルマシン(SVM)であってもよい。任意選択で、マルチクラス分類器515は、ブースティング(急速)分類器とすることができ、たとえば、適応ブースティング分類器(例えば、AdaBoost、LogitBoostなど)、CNNなどの任意の人工ニューラルネットワーク、ツリーベースの分類器(例えば、決定木、ランダム判定森)、および分類器としてのロジスティック回帰などとすることができる。他の適切なプログラムまたはツールボックスは、血清または血漿部分212SPおよびラベル含有領域219の範囲を分類することによって、セグメント化のために使用され得る。SVM(サポートベクトルマシン)は、沈殿した血液部分212SB(半固体部分)および血清または血漿部分212SP (液体部分)を含む試料212の分析において見られるような、液体と非液体との分類に特に有効であり得る。SVMは、データを分析してパターンを認識する、学習(ラーニング)アルゴリズムと関連付けられた、監督された学習モデルである。
マルチクラス分類器515を訓練するために、複数セットのトレーニング例を使用する。マルチクラス分類器515は、様々な試料状態、ラベル218、218Aおよび218B、または218A−218Cによる塞ぎの様々な程度、ラベルカウント(数)、ホルダ122Hによる塞ぎ、血清または血漿部分212SPおよび沈殿した血液部分212SBのレベルまたは高さなどを有する、試料容器102の多数の例の分類すべき様々な領域を図式的に輪郭をつけることで訓練されてもよい。500以上の画像、さらには5,000以上の画像が、マルチクラス分類器515をトレーニングするために使用することができる。マルチクラス分類器515からの出力として求められる各クラスの訓練が行われる。
トレーニングによってマルチクラス分類器515を構築し、マルチクラス分類器515によって検査される試料容器102内の任意の新しい試料212のピクセル(またはパッチ)を割り当てる。特に、SVMは、別々のクラスの例が、可能な限り幅広の明確なギャップによって区別されるように、マップされた空間内の点として例を示す。画像データセットからの新しいピクセルは、同じ空間内にマップされ、それらが該当するギャップのいずれかの側に基づくかによって、特定のクラスに属することが予測されてもよい。いくつかの実施形態では、SVMは、いわゆるカーネルトリック(例えば、カーネルベースのSVM分類器)を使用して、それらの入力を高次元の特性空間内に暗黙的にマッピングして、非線形の分類を効率的に行うことができる。
図5A−図5Bを参照すると、符号516でのピクセルクラスのピクセル(またはパッチ)識別から、符号518にてラベル含有領域219を識別することができる。ラベル含有領域219は、例えば、任意の適切なバイナリマスクによって識別(例えば、フィルタリング)されてもよく、その際、ラベルであるとして分類されたピクセル(またはパッチ)のみが、符号525にてCNN535(図5B)による処理のために、入力ライン525Iに送られる。符号525Iのラベル含有領域219に関連する複数スペクトル、多重(複数)露光の統合された画像データのセットは、CNN535への入力として提供され、そしてデータセットは、符号525にてCNN535によって操作及び処理がされる。データライン521において、ピクセルクラス情報を含む統合された画像データは、任意選択のセマンティックマップ生成部520に提供される。データライン521でのこのデータストリーム(流れ)は、血清または血漿データと、ラベルデータとの双方を含み、さらに他のデータも含み得る。
符号525におけるCNNによるラベルデータの処理の出力は、1)出力ライン525Oにおけるラベル厚さカウントに関するピクセルデータごと(またはパッチデータごと)の1つまたは複数と、2)第2出力ライン526Oにおける、1つまたは複数の予め定められたラベル構成526としてのラベル含有区画219の特性評価との、双方または一方であってもよい。
例えば、出力ライン525Oにおいて、出力は、ラベル厚さカウントであってもよく、その際、ラベル厚さカウントは、CNN535からの1つの可能な出力として、ピクセル毎(またはパッチ毎)に生成される。したがって、各ピクセル(またはパッチ)に対して、各ピクセル(またはパッチ)に対するレイヤ(層)の符号化(コード化)のために出力されたラベル厚さカウントを提供することができ、例えば、1つのレイヤ(層)、2つのレイヤ、3つのレイヤ、またはそれ以上のレイヤに番号を付けることができる。
第2出力ライン526Oにおいて、CNN535からの出力は、複数の予め定められたラベル構成526のうちの1つまたは複数であってもよい。図5B−図5Dに最もよく示されている、予め定められたラベル構成526(複数可)は、複数の可能なラベル構成(例えば、ラベル構成1、2、3、・・・、n)を含むことができ、これらは、実際に起こり得る可能なラベル構成のうちのいずれかであってもよく、それらについては符号536にてCNN535が認識できるように訓練されている。例えば、予め定められたラベル構成526のうちの1つの構成オプションは、試料容器102が製造業者のラベルのみを含むか否かであってもよい。他の構成オプションは、試料容器が製造業者のラベルを含んでいるか否かである。予め定められたラベル構成526の別の構成オプションは、試料容器102がバーコードラベルのみを含むか否かであってもよい。予め定められたラベル構成526の別の構成オプションは、試料容器102がバーコードラベルを含むか否かであってもよい。
予め定められたラベル構成526の他の構成オプションは、例えば、上記の例に加えて、または上記の例に代えて、以下の他の1つまたは複数を含み得る。
試料容器上に製造業者のラベルと1つだけのバーコードラベルが存在するか否かの判定、
試料容器上に製造業者のラベルとバーコードラベルが存在するか否かの判定、
試料容器上に製造業者のラベルと2つのバーコードラベルが存在するか否かの判定、
血清または血漿部分がラベルによって完全に塞がれているか否かの判定、
試料容器上の全体的なラベルカウント(数)の判定(たとえば、試料容器上の全体的なラベルカウントを1ラベルとして判定、試料容器上の全体的なラベルカウントを2ラベルとして判定、および/または、試料容器上の全体的なラベルカウントを3ラベルとして判定)の判定、
1つまたは複数の視点がラベルによって完全に塞がれているか否かの判定(例えば、視点1がラベルによって完全に塞がれているか否かの判定、視点2がラベルによって完全に塞がれているか否かの判定、および/または視点3がラベルによって完全に塞がれているか否かの判定)、
試料容器上に1つのバーコードラベルが存在して、その1つのバーコードラベルが試料容器上の製造者のラベルのうち少なくとも一部を覆っているか否かの判定、
試料容器上に2つのバーコードラベルが存在して、覆われたバーコードラベルと、完全に視認できるバーコードラベルが存在し、その際、試料容器上で、完全に視認できるバーコードラベルが覆われたバーコードラベルのうちの少なくとも一部を覆い、覆われたバーコードラベルが製造者ラベルの少なくとも一部を覆っているか否かの判定、
試料容器上に3つのバーコードラベルが存在して、第1の覆われたバーコードラベルと、第2の覆われたバーコードラベルと、完全に視認できるバーコードラベルが存在し、その際、試料容器上で、完全に視認できるバーコードラベルが第2の覆われたバーコードラベルの少なくとも一部を覆い、第2の覆われたバーコードラベルが第1の覆われたバーコードラベルの少なくとも一部を覆い、その覆われたバーコードラベルが製造者ラベルの少なくとも一部を覆っているか否かの判定、
試料容器上に1つの視認できるバーコードラベルが存在し、他のラベルがその視認可能なラベルと共に、試料容器上の全周囲で血清または血漿部分を完全に塞いでいるか否かの判定。
適切に効率的な処理を提供しながら、例えば、予め定められたラベル構成のうち約20までのラベル構成オプションを含めることができる。十分な処理能力と記憶容量が可能であれば、他の数のラベルオプションを使用してもよい。また、上述のものとは異なる他のラベル構成が用いられてもよい。
プレ・スクリーニングされる任意の特定の試料容器102および試料212についてのCNN535の出力に基づいて、1つまたは複数のさらなる動作が実施されてもよい。例えば、全体のラベルカウントが予め定められた閾値のラベルカウント(例えば、≧4ラベル)以上の場合、試料容器102を取り除いてもよい。ラベルが多すぎる試料容器102は、例えば、品質確認モジュール130から取り外されて、別の試料容器102に移されて、再度ラベル付けされてもよい。
再び図5Aを参照すると、いくつかの実施形態では、符号526からのラベル構成の出力結果(単数または複数)は、干渉物質の特性評価器528への入力として提供することができる。特に、第2の出力ライン527O(点線で示す)は、干渉物質の特性評価器528の結果の信頼度についてより良好な全体的判定を可能にするデータを提供し得る。
図5Bに示されるように、CNN535はCNNトレーニング536によりトレーニングされ、その際、所望で、かつ溶液オプション(例えば、ラベル構成1−n)としてコード化された、所望の予め定められたラベル構成526のそれぞれについて、複数のラベル構成を含む試料容器102の多数のサンプルを、品質確認モジュール130で撮像する。CNNトレーニング536は、様々なラベル構成を含む試料容器102の画像を、ラベル特性評価情報とともに入力することを含んでもよい。
ラベル特性評価情報は、ラベルの数(全体的なラベルカウント)、存在する層の厚さの最大数(ラベル厚さカウント)、ラベル含有領域219の境界の識別(例えば、図式的に輪郭を描く)、製造業者のラベルである任意の領域または小(サブ)領域の識別、バーコードラベルである任意の領域または小領域の識別、バーコードラベルの数、重複領域の識別、単一厚さの領域の識別(層カウント=1層)、二重厚さ領域の識別(層カウント=2層)、および三重厚さ領域の識別(層カウント=3層)、所定の視点がラベルによって完全に塞がれているか否か、試料容器102がラベルによって完全に塞がれているか否か、などを含むことができる。他のラベル特徴情報は、ラベル構成の出力として所望なトレーニング入力として含めてもよい。
参照画像に含まれる試料容器102は、複数のラベル種類(製造者のラベルとバーコードラベル)を含む様々なサイズを含み、上述のように単一ラベル218、2つのラベル218A、218B,及び3つのラベル218A−218Cを含み、様々な回転方向とラベル構成(重なり合う度合いや塞ぎの度合い)を含む。トレーニングは、各結果において良好な信頼度を得るために、必要なだけ多くの参照例に基づいて行うことができる。
一度、サンプルのラベル付きの試料容器の最初の数が画像化されて、保存されると、CNN535は、CNN535が十分に高いレベルの信頼度で動作しているか否かを確かめるために、試験試料容器を用いて断続的に試験されてもよい。正しいラベル構成(例えば、ラベル構成1−n)を出力として決定する際にほぼ100%(例えば、>98%)の信頼度で動作していない場合、より多くのトレーニングサンプルが画像化され、関連するラベル特性評価情報と共に入力してもよい。次いで、CNN535は、CNN535がラベル構成を正しく選択しているか否かを判定するために再試験されてもよい。トレーニング536は、符号526において決定されたラベル構成の結果において、適切なレベルの信頼度が得られたときに停止されてもよい。
トレーニング段階では、定義された基準を十分に満たす小さな領域が抽出されることがある。例えば、基準は、バーコード要素および/または文字(フォント)を持たない白色領域のような、分散の小さなラベル含有領域219のみを含んでいてもよい。すなわち、しるし218iは無視されてもよい。
トレーニングは、例えば、16×16要素(エレメント)による、ラベル含有領域219への侵食操作を最初に利用することができる。1ピクセルのストライドを有するスライドウィンドウ525(例えば、64×64ピクセルのサイズ)を使用して、浸食されたラベル含有領域219を通してスキャンする。結果として生じるパッチのいくつかが、浸食されたラベル含有領域に属するピクセルにて中心である場合、それを考慮する。トレーニング画像データセットから様々なパッチをランダムにサンプリングして、ディープ・ラーニングに必要な表示を作成してもよい。特徴は、コンピュータ143の適切なデータベースに保存される。CNN535は、nクラスパッチ分類タスクで訓練されることが可能であり、ここで、nは、予め定められたラベル構成526(ラベル構成1−n)の数である。
トレーニングに用いることができるCNN535の1つの例示的アーキテクチャが、図5Cに示されているが、以下の表1にも記載されている。CNN535は、任意の適当な科学的なコンピュータ・フレームワーク、プログラム、またはツールボックスを使用してコード化することができ、例えば、バークレー・ビジョン・アンド・ラーニング・センター(BVLC)から入手可能なCaffe、Theano、多次元配列を含む数式表現の高速計算のためのPython(パイソン)フレームワーク、Google社から入手可能なTensorFlow、Torch、およびカリフォルニア州サンタクララ所在のインテル社から入手可能なMath Kernel Library(MKL)であって、例えば、CPUベースのニューラルネットワークの計算用の最適化された数学ライブラリなどである。
より詳細には、CNN535は、ディープ・ラーニングを提供するために適切な数の動作層を含むことができる。上記のトレーニング・アーキテクチャは、例えば、64×64パッチ(64ピクセル×64ピクセル)を使用する分類に使用されてもよい。しかし、31ピクセル×31ピクセルなど、他のパッチサイズを使用してもよい。ラベル計数(カウント)タスクについては、例えば、CNN535の3つの主要な動作層が選択され得る。第1の動作層538は、非常に局所的な構造の縁(エッジ)を抽出することができ、第2の動作層540は、縁の組み合わせであるテクスチャを学習することができ、第3の動作層542は、ラベル含有領域219の一部を形成することができる。CNN535の層538、540、542のそれぞれは、HDR画像処理から提供されるマルチチャネル(例えば、マルチスペクトル、マルチ露光情報)から利益を受ける。3つの入力層(例えば、HDRを含むRGBスペクトル成分)が使用される場合など、様々な入力チャネル上のこれらの計算は、本来的に処理することができ、ディープ・ラーニング・ネットワークによって表現することができる。このフレームワークは、低レベル、中レベル、および高レベルの特徴を自然に統合し、様々なラベル構成オプション526への適切なマルチ層の分類を提供するように動作可能である。
実施形態では、CNN535を含む特性評価方法は、符号526にて、1つまたは複数の動作クラス(ラベル構成)が出力として提供される際、管理されたコンセプトで動作可能である。CNN535への入力として、ラベル含有領域219の、画像統合を行ったセグメンテーションHDR画像データが提供されてもよい。1つ又は複数の実施形態では、バーコード領域又はフォント含有領域を分類から除外することができるが、何故なら、それは、実質的な信号ブロッキングに起因するアーチファクトを導入して、暗い(ダーク)からである。
利用可能な画像のスタック(すなわち、複数の露光時間で撮影されたマルチスペクトル画像)から、ラベルカウントを実行するためのラベルデータ・サブセット(符号525I内のラベル含有領域からの、マルチスペクトル、マルチ露光データ)が提供されてもよい。典型的には、光がラベル218を通過てし、識別パターンを生成することがあるため、より長い露光時間が最も妥当である。ラベルの層数が少ない場合には、ラベルの層の厚さの数が多い場合と比べて、光エネルギーの量(露光時間に相当)が少なくても、ラベルが透明に見えることがある。ホルダ122Hの構造または3つまたはそれ以上のラベルは、光を完全に遮断し得る(すなわち、これらの領域は、全ての露光時間にわたって不透明に見えることがある)。したがって、いくつかの実施形態では、3つ以上のラベルを有する領域、またはホルダ122Hとして識別された領域は、無視されて、干渉物質の分類器528への入力として提供されなくてもよい。
CNN535のアーキテクチャは、畳み込み層(Conv)、プーリング層(Pool)、および完全に接続した層(FC、本明細書では「内側の物」とも呼ばれる)の様々な組合せを含むことができる。例えば、一実施形態では、CNN535は、畳み込み層、プーリング層、及び完全に接続した層を含むアーキテクチャを含むことができる。図5DのCNN535をトレーニングするために、SoftMax(ソフトマックス)S1などの損失層を含めることができる。例えば、損失層はSoftMaxとすることができる。何故なら、CNN535のソリューションが複数のラベル構成(ラベル構成1−n)から選択される1つの分類であるため、すなわち、各チャネル出力に対して信頼度がある場合(チャネル出力はボックス1−nとして示されている)、選出スキーマが1つのラベル構成を選択する。いくつかの実施形態では、適応されたCNNアーキテクチャは、例えば、Conv−Pool−Conv−Pool−FCの順番で使用することができる。別の実施形態では、Conv−Pool−Conv−Pool−Conv−Pool−FC−FCの順番で含んでいてもよい。フィルタサイズ、ストライドなどのパラメータは、CNN535を設定する際のパラメータ調整の一部として設定することができる。
さらに、いくつかの実施形態において、CNN535は、正規化および活性化機能(ランプ機能としても知られる)であるreLUを含んでもよく、これは、ネットワークを拡張可能にする。非線形性としてのreLUの使用は、管理されていないプレ・トレーニングを必要とせずに、ディープな、管理されたニューラルネットワークのトレーニングを可能にすることが示されている。正規化線形ユニット(reLU:Rectified linear unit(s))は、試料容器および試料の画像化の場合のように、大きく複雑なデータセット上で、ディープ・ニューラル・ネットワーク・アーキテクチャの迅速かつ効果的なトレーニングを可能にする。
CNN535のアーキテクチャの特に効率的な実施形態の1つを以下の表1に示すが、これは図5Cと同じであるが、トレーニング後にSoftMax S1を使用していない。表1に示した実施形態では、4つの異なる露光時間における3つのスペクトル応答(例えば、R、G、B)を含む12チャネル入力と、64×64ピクセルのサイズ525のパッチが、5×5×12のサイズの20のフィルタを有する畳み込み層(C1)に与えられる。結果として生じる20の特徴マップは、次いで、最大プーリング(max−pooling)層(M1)に送られ、最大プーリング層(M1)は、各チャネルに対して別々に、1のストライドを伴う2×2空間近傍にわたる最大値をとる。この第1の層538の目的は、特に単純な縁のような低レベルの特徴を抽出することである。
この後に、5×5×20のサイズの20のフィルタを有する第2の畳み込み層(C2)と、2のストライドで3×3の空間的近傍にわたる最大値をとる最大プーリング層(M2)とが続く。この第2の層540の目的は、単純な縁の複数の組合せを学習して、テクスチャを形成することである。その後、結果として得られた特徴マップは、3×3×20のサイズの50のフィルタを有する畳み込み層(C3)と、2のストライドで2×2の空間近傍にわたる最大値をとる最大プーリング層(M3)に供給される。この第3の層542は、テクスチャの組合せを学習して、ラベル含有領域219の一部を形成する。上述の最大プーリング層は、局所的な置き換え(トランスレーション)に対してコンボリューションネットワークの出力をより強固にする。
最後に、内側の物(F1とF2)は完全に接続されている。すなわち、各出力ユニットはすべての入力に接続されている。これらの内側の物の層F1、F2は、ラベル含有領域219の部分間の相互関係を捉えることができる。最後の完全接続層F2の出力は、出力チャネル1−n(ここで、nは予め定められたラベル構成の数(ラベル構成1−n))への信頼を与え得る。CNN535は、可能な予め定められたラベル構成1−nにわたる分布を生成する。
表1−CNNアーキテクチャの例
Figure 0006896971
プレ・スクリーニングの間、データ準備ステップはトレーニングと全く同じである。ラベル含有領域219の各パッチがCNN535によって分類され、各パッチ523が、予め定められたラベル構成オプションのうちの1つまたは複数に対する応答を与える場合に、スライド・ウィンドウ525が使用される。次いで、候補は、選出スキーマによって、または結果ベクトルへの出力によって、予め定められたラベル構成(例えば、ラベル構成1−n)のうちの1つまたは複数として分類される。図5Dおよび図5Eに示すように、異なるラベル構成の分類結果を有する2つの異なる実施形態が提供される。
図5Cおよび図5Dの第1の実施形態では、ラベル含有領域の分類は、1つだけのラベル構成結果(出力)526と、例えば、1つに正規化された、可能性のある各結果の信頼レベルとをもたらす。各視点について1つの結果が提供される。各視点について報告されたラベル構成は、最も高い信頼レベル(CL)を有する分類である。図5CのCNN535のアーキテクチャは、1つだけの結果をもたらすCNNアーキテクチャの一例である。
図5Dに示すように、追加の処理によって、信頼レベル(1.000に正規化されて示されている)を再検討(レビュー)し、ラベル構成の結果を決定してもよい。このような場合、チャネル3の信頼度が最も高く(0.990)、選択されたラベル構成は「製造者のラベルと1つだけのバーコードラベルを含む」ものである。2つ以上の結果が比較的高い信頼レベルを有し、かつ互いにほぼ等しい場合、1つ以上の結果が真であると判断することができる。
図5Eの実施形態では、CNN535は、画像データ入力をラベル構成結果ベクトル540にマッピング(マップ化)するように動作可能である。したがって、この場合、複数のラベル構成結果が可能である。CNN535は、トレーニング中にクロス・エントロピー損失層またはユークリッド損失を含んでもよく、それらは、トレーニング中にベクトルとして入力された様々な画像データから最適マッピングを学習するために使用されてもよい。この実施形態では、トレーニングは、特徴学習(ラーニング)手順を含むことができ、その際、グラウンド・トルース・ラベルが[0,1,1,0,0,1,1,1、・・・,0]のように見える入力ベクトルを含むことができ、そこでは各要素(1または0)エンコードは、可能なラベル構成結果の特徴を示し、その際、1は、特徴が存在することを意味し、0は、そのような特徴が存在しないことを意味する。ベクトルは、ベクトル出力オプションとなり得る任意の適切な数の特徴を含んでいてもよい。この実施形態では、CNN535は、ベクトルによってエンコード(符号化)された複数の結果について選出することができる。CNN535は、画像データ内容をラベル構成結果ベクトル540に動作可能にマッピングすることができる。CNN535は、トレーニングを可能にするために追加のクロス・エントロピー損失層が追加されることを除いて、図5Cに示したものと同じでもよい。トレーニング中に、クロス・エントロピー損失は、CNN535のラベル構成結果ベクトル540と入力ベクトルとの間の距離を最小化しようと試みる。一度、適切にトレーニングされると、CNN535は、プレ・スクリーニングの一部として使用され得る。プレ・スクリーニングの間、画像データ入力は、CNN535によって操作されて、最後のFC層F2の出力上の反応にアクセスすることによって、ラベル構成結果ベクトル540を生成する。
それぞれの場合において、より信頼できる分類決定を得るために、視点ごとの結果を、複数の視点にわたって集合することができる。
再び図5Aおよび図5Bを参照すると、符号516でのクラスのピクセル(またはパッチ)の識別から、符号520でセマンティック・マップを任意選択で生成することができる。セマンティック・マップは、コンピュータ143内のデータベースに保存され得る3Dマップであってもよく、ピクセル位置(例えば、試料容器102上の半径方向および垂直方向の位置)の関数として、各視点1−3からの全ての分類(例えば、1−血清または血漿部分、2−沈殿した血液部分、3−管、4−空気、5−キャップ、6−ラベル、7−ホルダ、および8−ゲル分離器(使用される場合))を統合し得る。セマンティック・マップ生成部520によって生成されるセマンティック・マップは、いくつかの実施形態では、図式的(グラフィカル)に表示することができる。
入力行521のセマンティック・マップまたは生のセマンティック・データから、符号522で視点を選択することができる。一実施形態において、視点は、画像撮影装置440A−440Cを用いて画像が撮影される視点(例えば、1−3)のうちの1つであってもよい。別の実施形態では、任意の2つの隣接する側方の視点(例えば、図6Dに示された視点1−3)の間の側方視点である別の視点(例えば、図6Dに示された視点4)として、合成(統合的な)視点が選択されてもよい。選択された視点は、符号516にて血清または血漿部分212SPとして分類されたピクセル(またはパッチ)の最大数を含む視点であってもよい。
合成視点が選択される場合、2つの隣接する視点は、符号516にて血清または血漿部分212SPとして識別された隣接する画像部分に位置するいくつかのピクセル(またはパッチ)をそれぞれ含むことができ、それらは、サイズの点で十分に大きいか、またはほぼ等しいサイズであってもよく、それらを組み合わせることによって、血清または血漿部分212SPとして分類されるより相関的な領域(すなわち、ピクセルまたはパッチ)を提供することができる。この場合、符号521にて、各視点についてのセグメンテーションデータを統合して、それぞれの視点から血清または血漿部分212SPで分類されたピクセル(またはパッチ)を含む合成視点データを構築する。特に、以下から明らかなように、分類されたピクセル(またはパッチ)の量が比較的多いために、HILNのより良好な特性評価が実施することがある。ラベル含有領域219が2つ以上のラベルを含み得る場合、符号525Oにおける層の厚さカウントが、符号522tにおける視点を選択する際に任意選択的に考慮され得る。例えば、2つの視点がラベル含有領域219によって等しく塞がれ得るが、1つの視点がより高いラベル厚さカウントを有する場合には、より高いレベルの光強度ブロッキング(妨害)を生じ得る。したがって、この場合、符号525Oにおける層の厚さカウント出力データは、符号522における視点の選択用の入力として使用されてもよく、そのため、塞がれることがより少ない視点が選択されてもよい。
一度、符号522にて視点が選択されると、符号524において、選択された視点に対する正面図データおよび背面図セマンティック・データが識別可能となる。正面図データは、選択された視点(例えば、1、2、3、または4)からのセマンティック・データである。背面図データは、背面図の分類および対応する位置データである。背面図データは、符号511におけるセグメンテーションの間に、ラベル218または血清または血漿部分212SPとして分類されたピクセル(またはパッチ)に関するデータであってもよい。
各視点にて、光源444A−444Cから、試料容器102の背面側へのバックライトは、背面側に位置するラベル含有領域219の存在によってある程度ブロックされ得るため、ラベル含有領域219を含むバックビュー(後方視界)領域に対応するフロントビュー(前方視界)領域にて画像撮影装置440A−440Cによって撮影される前方視界の画像データの強度が影響を受けることがある。したがって、これらの領域の強度は疑わしい(例えば、人工的に低い)可能性があるため、HILN特性評価器529に対してそのまま直接的に使用されるべきではなく、むしろそれらは適切に調整および/または補償されるべきである。したがって、本開示の1つまたは複数の実施形態によると、特性評価方法は、後方視界データを考慮する。さらに、特性評価方法は、選択された視点について、ピクセル毎(またはパッチ毎)に基づくラベル厚さカウントを取り込むことによって、ラベル厚さカウントが、血清または血漿部分212SPの様々な領域における光のブロックに及ぼす影響について、より十分に補償し、考慮する。
もちろん、読み取りが疑わしいため、後方視界データを考慮する際の1つの仕方は、HILNを決定するときに、後方視界セマンティック・データにおいて、ラベル218として分類された領域上の、前方視界マンティック・データ内の対応する領域を使用しないことが挙げられる。例えば、図6Aは、画像撮影装置440A(図6D)の第1の視点1からの前方セマンティック画像640Aを示す。図示されるように、血清および血漿部分212SPのいくつかは図6Aに示され、いくつかはラベル218によって塞がれ、そして光源444A(図4A)から放射されるバックライトのいくつかは、後方視界のラベル部分218B(すなわち、図6Aの試料容器102の後方視界の一部に位置し、塞いでいるラベル218の部分)によってブロックされている。しかしながら、対応する領域を使用しないこの仕方は、いくつかの場合において、分析用に血清または血漿部分212SPとして分類される領域をほとんど残さないことがある。
図6Bは、画像撮影装置440B(図6D)の第2の視点2からの前方セマンティック画像640Bを示す。図6Bでは、血清または血漿部分212SPの一部はラベル218によって塞がれ、光源444B(図6D)から放射されるバックライトの一部は、後方視界ラベル部分218B(すなわち、図6Bの試料容器102の裏側に位置するラベル218の部分)によってブロックされている。
図6Cは、画像撮影装置440C(図6D)の視点3からの前方セマンティック画像640Cを示す。図6Cでは、血清または血漿部分212SPの全ては、視点3からラベル218によって塞がれている。したがって、特性評価方法が、符号522の視点をこれら3つの視点(1、2、または3)のうちの1つとして選択する場合、図6Bの第2の視点2が選択され得る。何故なら、視点2が、図6Bに示されるように、血清または血漿部分212SPとして分類された最も多くのピクセル(またはパッチ)を有するためであり、これは、符号524で生成されたセマンティック・マップから、または入力ライン521内の個々の画像からのセマンティック・データから決定され得る。この場合、ラベル(点線で示される領域)によってブロックされた血清または血漿部分212SPの前方セマンティック画像640Bにおける対応する領域は、以下に記載されるように、特性評価方法によって強度が調整されてもよい。
視点2Bからの仮定の後方視界セマンティック・マップ640Dを図6Eに示す。これは、視点2B(図6D)からの後方視界データを表しており、視点2(図6B)からの前方視界セマンティック画像の中の点線部分に対して、強度調整を助けるために使用される。実際には、セマンティック後方視界マップ(図6Eのような)が無く、後方視界セマンティック・データだけが特性評価方法において入力として使用されることがある。
符号522で選択された視点が、複数の視点(1−3)のうちの1つ以外の場合、他の視点の2つを集めた合成視点を選択することができる。例えば、図6Cの視点3が、ラベル218によって完全に塞がれた血清または血漿部分212SPを有する場合、視点1と視点2との間にある視点が選択され得る。図6Fに示されたこの合成視点4は、合成の前方視界である。これは、視点1および視点2を集めた物であり、したがって、血清または血漿部分212SPとして分類されるピクセルの数(示されるように)を約2倍有し、すなわち、血清または血漿部分212SPとして分類された領域またはエリアをより多く有し、したがって、分析に利用可能である。前述のように、1つの仕方では、合成の後方視界4Bからの対応する後方視界ラベル部分218B(図6Fに点線で示す)に関連するデータは、特性評価方法に従って強度を調整することができる。この場合、ラベル218Bよって塞がれた血清または血漿部分212SPとして分類された残りの領域(2つの点線領域の間)に対応するデータと、点線領域の組合せの表示は、第1の出力ライン525O内のラベルカウントと共にHILN分類器529に送ることができる。
特性評価方法の実施形態によると、符号524からの前方視界および後方視界データと、符号525Oにおける層の厚さカウントとに基づいて、全体的な表示527が提供されてもよい。いくつかの実施形態では、符号522における選択された視点は、ラベル厚さカウントに基づいてCNN535からの符号525Oにおける出力データを含むことができる。全体的な表示527は、異なるデータストリーム(データの流れ)を統合する。符号529にて行われるHIL分類の種類に基づいて、この方法は、例えば、多数の層を共に追加することができる。例えば、この方法は、符号522および524の前方側および後方側から選択された視点についてのセマンティック・データを、符号525Oでのラベル厚さカウントに関する追加データに対して、ピクセル毎ベース(またはパッチ毎ベース)で追加してもよい。これは、層の厚さの数のような追加のキュー(合図)を伴う特徴ベクトルの拡張として作用し得る。
全体的な表示527の生成は、場合によっては、血清または血漿部分212SPの前方側または後方側の一方またはその双方にある、塞いでいるラベル領域に相当するピクセル毎の特徴の記述の生成を含む。全体的な表示527の生成は、符号521における血清または血漿データの集約、および符号525Oにおけるラベル厚さカウントデータを含む、ピクセル毎(またはパッチ毎)ベースでのデータの集合を含み得る。全体的な表示527は、HILN判定において使用される。全体的な表示527は、干渉物質特性評価器(特徴付け器)528に対して、符号527における血清または血漿部分の全体的表示(塞がれた部分と塞がれていない部分の両方(もしあれば)に関するデータを含む)として供給される。
符号527における全体的な表示の生成において、ラベル含有領域219上のバーコードまたはしるしを含む任意の領域は無視されてもよい。バーコードデータ領域およびその位置は、セグメント化511および/または適当なバーコード読み取りアルゴリズムに基づいて速やかに決定することができる。もちろん、バーコードデータは、上述のように、試料212の識別のために使用されてもよい。
いくつかの実施形態において、符号527Oにおけるラベル構成出力は、干渉物質特性評価器528への入力として使用されてもよい。この追加の入力は、HIL指数(インデックス)レベル判定における信頼レベルの調整を助けることができる。
干渉物質特性評価器528は、H、I、および/またはLが血清または血漿部分212SP内に存在するか否か、または、HILが血清または血漿部分212SP内に全く存在しない、したがって正常(N)であるか否かを識別するように構成され得る、HILN分類器529を含む。干渉物質特性評価器528は、検出される任意の干渉物質(H、I、および/またはL)の指数(インデックス)を決定し得る干渉物質指数生成器530をさらに含み得る。したがって、干渉物質分類器(例えば、HILN分類器529)は、効果的に、セマンティック・データ、ラベル厚さカウントデータを含む供給された全体的な表示527に基づいて、干渉物質が血清または血漿部分212SP内に存在するか否か、または干渉物質が血清または血漿部分212SP内に存在しないか否かを、分類するように動作する。
1つまたは複数の実施形態では、HILN分類器529は、溶血を識別するように構成及び適合された溶血分類器529H、黄疸を識別するように構成及び適合された黄疸分類器529I、脂肪血症を識別するように構成及び適合された脂肪血症分類器529L、および正常性を識別するように構成及び適合された正常性分類器529Nなど、1つまたは複数の異なる干渉物質の種類の分類器として実施可能である。各分類器は、個々のバイナリ分類モデルであってもよく、または任意選択で、HILN分類器529は、SVM(サポートベクトルマシン)などのマルチクラス分類器であってもよい。全体的表示527に対する操作の結果は、血清または血漿部分212SPにおける1つまたは複数の干渉物質(H、I、および/またはL)の存在または干渉物質の欠如(N)についての判定である。
溶血の検出
別の広範な態様によると、本開示の実施形態は、遠心分離した血液の試料容器102内に含まれる試料212が溶血しているか否かを検出するために使用可能な方法および装置を対象とする。この方法は、入力として、全体的な表示527を利用するが、それは、それ以前に血清または血漿部分212SPとして分類されたピクセル(またはパッチ)に関するデータ、およびラベルの厚さカウントデータを含むラベル含有領域の塞ぎに関するデータである。このデータは、HILN分類器529によって529Hでさらに操作されて、複数の溶血の指標の多数の溶血した試料を用いて予めトレーニングされた分類器モデルに基づいて、溶血の識別を行う。HILN分類器529は、例えば、サポートベクトルマシン(SVM)、サポートベクトル回帰(SVR:Support Vector Regression)、またはCNNなどの任意の他の適当なマルチクラス分類器であってもよい。
溶血の範囲または程度は、干渉物質指標発生器530の530Hで決定される溶血指標によって特性評価されてもよい。干渉物質指標発生器530は、例えば、サポートベクトル回帰(SVR)であってもよい。本明細書で使用される「溶血指標」は、血清または血漿部分212SP内に存在する溶血の決定された含有量に基づいて、特定の試料212に与えられる等級(グレード)を意味する。観察範囲の等級スケールは、最小測定値から最大測定値まで幅があり得る。例えば、測定値は、ゼロからある有限値までの(例えば、0−4)離散測定値であってもよく、ここでゼロは、実質的に溶血が無いことを表し、4は、相当の溶血があることを表す。あるいは、等級スケールは、0−10、0−20、A−Fであってもよく、または他のグレード範囲を使用してもよい。
十分に高い溶血指標(例えば、予め定められたHの閾値を上回る)を有する試料212が、品質確認モジュール130によって判定される場合には、その試料は取り除かれ得る。通常の手順では、患者から別の試料212を再度抜き取って、良好な品質の試料212が、分析器106、108、および/または110(図1)に提供されることを確保する。したがって、比較的高い溶血指標を示す試料212は、品質確認モジュール130でのプレ・スクリーニングの後に、さらに試験されることなく、装填領域105にて拒絶されて、取り除かれてもよい。任意選択で、試料212は、品質確認モジュール130または別の場所で再試験されてもよい。指定された検査に基づいて、溶血指標は、1つまたは複数の分析器106、108、および/または110からの検査結果とともに報告されてもよい。試料212が符号530Hで十分に高い指標レベルの溶血を含むことが分かった場合には、試料検査装置100のコンピュータ143またはCIM145のディスプレイ(例えば、コンピュータのスクリーン)上に警告を表示して、検査室職員に対して、さらなる評価を指示または実施したり、試料の再度の抜き取りを指示したり、および/または試料212が潜在的に干渉する量の溶血を含むことが分かった場合はさらなる決定を行うように、警告してもよい。
溶血を含む試料212の評価を実験室職員に伝える性能を向上させるため、溶血を有する試料212を含む試料容器102の画像をコンピュータ143またはCIM145のディスプレイ上に表示してもよい。この画像は、他の関連する情報と共に表示されてもよく、例えば、種々の公知の溶血した試料の参照画像、比較のための色スペクトル、試料212の溶血の評価された指標レベル、層厚さカウント、ラベルの数(ラベルのカウント)、ラベルによって完全に塞がれているか否か、および/または検査室職員がとるべき措置についての提案などを表示してもよいが、これらに限定されない。他の関連する情報を表示することもできる。
黄疸検出
本方法の別の広範な態様によると、本開示の実施形態は、遠心分離した血液の試料容器102内に含まれる血清または血漿部分212SP中の黄疸を検出するために使用可能な方法および装置を対象とする。黄疸の干渉物質は、例えば、壊れた赤血球が脾臓でビリルビンに変換されることに起因して、過剰なビリルビンから生じることがある。2−3mg/dlを超えるビリルビン濃度は、目に見えるほど濃い、黄色がかったまたは茶色がかった色を帯びており、分析器(例えば、分析器106、108、および/または110)で実施される酵素ベースのイムノアッセイ(免疫測定法)に悪影響を及ぼす可能性がある。このような状態は、ビリルビン血症とも呼ばれる。
黄疸の検出法は、溶血の検出法と同様である。画像を撮影して、符号511におけるセグメンテーションを提供するためにピクセル化された画像の分析を実施した後、ラベルによる塞ぎとラベル厚さカウントを考慮に入れた、改善された特性評価を含む血清または血漿データについて、黄疸の存在について分析可能となる。この方法によれば、溶血検出のために操作されたものと同じデータを、黄疸の識別用に、符号529Iの黄疸分類器に供給することができる。この分析では、適切にトレーニングされた、バイナリ(二進)またはマルチクラス分類器を用いて、黄疸の存在を判定することができる。サポートベクトルマシン(SVМ)、サポートベクトル回帰(SVR)などの任意の適切な分類器、またはCNNなどの任意の他の適切な分類器を使用することができる。
黄疸が検出された場合、干渉物質レベル検出器529Iは、黄疸指標などの干渉物質レベルを決定することができる。本明細書で使用される「黄疸指標」は、存在する黄疸の決定された含有量に基づいて、特定の試料212に与えられる等級(グレード)を意味する。観察用のグレード・スケールは、たとえば、ゼロから最大値まで(例えば、0−4)のような最小値から最大値までの範囲でもよい。ここで、ゼロは実質的に黄疸が存在しないことを表し、一方、4は黄疸が相当に存在することを表す。あるいは、0−10、0−20、A−F、または他の範囲など、他のグレード・スケールを使用することができる。
脂肪血症の検出
別の広範な態様によると、本開示の実施形態は、遠心分離した血液の試料容器102内に含まれる試料212中の脂肪血症を検出するために使用可能な方法および装置を対象とする。血清または血漿部分212SP内に白色がかった外観を呈し得る脂肪血症の干渉物質は、血液中の過剰な脂質の存在から生じ得る。約50mg/dlを超える脂質レベルは、イムノアッセイ試験(免疫測定試験)における抗体結合を妨害し得るため、分析器106、108、または110からのイムノアッセイ結果に影響を及ぼす可能性がある。
脂肪血症の検出法は、溶血または黄疸の検出法と同様である。上述のセグメント化511、CNNおよび他の処理から、符号529Iにおける脂肪血症分類器を用いて、脂肪血症の存在を決定するために、全体的な表示527が操作されてもよい。この方法に従えば、溶血および黄疸の検出に用いられたものと同じセマンティック・データを操作して、脂肪血症の存在を決定することができる。この分析では、符号529Lで脂肪血症を識別するために、トレーニングされたL分類モデルを用いて、脂肪血症の干渉物質が存在するか否かを判定することができる。サポートベクトルマシン(SVМ)、サポートベクトル回帰(SVR)などの、任意の適切なバイナリまたはマルチクラス分類器、またはCNNなどの任意の他の適切な分類器などを使用することができる。
符号529Iで脂肪血症(L)が識別された場合、符号526Lにて脂肪血症指標などのような干渉物質レベルを決定することができる。脂肪血症指標は、血清または血漿部分212SP内における脂肪血症の決定された含有量に基づいて、血清または血漿部分212SPに与えられるグレード(等級)である。グレード・スケールは、最小値から最大値まで(例えば、0から4(0−4))の範囲を有し得る。ここで、ゼロは実質的に脂肪血症が存在しないことを表し、一方、4は脂肪血症が相当に存在することを表す。あるいは、0−10、0−20、A−F、または他の範囲など、他のグレード・スケールを使用することができる。脂肪血症は、特定のサンプルの品質の変色欠陥であり、特別な処理によって解決可能である。したがって、一度、品質確認モジュール130にて識別されると、試料212が分析器(例えば、分析器106、108、110)にて試験または分析がされる前に、試料212を別の場所(例えば、遠隔ステーション132)に移送して、さらなる処理を行ってもよい。
試料212に対するさらなる処理には、血清または血漿部分212SP中の脂質の量を除去または減少するための1つまたは複数の操作を含み得る。例えば、その処理は、脂肪血症の量を減らすために、溶剤(溶媒)または他の材料を導入してもよい。脂肪血症レベルを下げる(すなわち、脂肪血症指標を下げる)ためのさらなる処理に続いて、試料212をトラック121に戻すことができ、また、分析を行うために分析器(例えば、分析器106、108、110)上に直接的に配置してもよい。任意選択で、試料212は、本明細書で開示される方法に従って脂肪血症について試料を再度スクリーニングするために、品質確認モジュール130に再度送られてもよい。脂肪血症指標が十分に低く、正常(N)と判定された場合、試料は、トラック121上を直接的に移送されて、1つまたは複数の分析器(例えば、分析器106、108、または110)で分析されてもよい。その後、試料212は、装填領域105に戻されて、トラック121から取り除かれてもよい。。
正常性の検出
本発明の一態様によると、試料212は、最初に、符号529Nの正常性分類器を介した品質確認モジュール130によって、血清または血漿部分212SPが正常(N)であると識別される、すなわち、H、I、およびLの兆候がないと識別され得るか否かを判定するために処理され得る。場合によっては、方法500は、血清および血漿部分212SPが符号529Nで正常(N)であると識別された場合、H、I、およびLの分析を省略することができる。したがって、Nである場合、試料212は、その中に干渉物質が含まれていないという確信がなくとも、1つまたは複数の分析器(例えば、分析器106、108、および/または110)で適当に分析されてもよい。
方法500によると、上述のH、I、およびLの検出のために使用されたものと同じデータセットを操作して、Nの決定を行ってもよい。トレーニングされたバイナリ正常性用分類器を使用して、符号529Nにて正常性を決定することができる。任意の適切なバイナリまたはマルチクラス分類器、例えば、サポートベクトルマシン(SVM)、サポートベクトル回帰(SVR)が使用されてもよく、または任意の他の適切な分類器、例えば、CNNなどが使用されてもよい。
方法500によると、H、I、L、およびNの各々に対して個々のバイナリ分類器を使用することができ、任意選択的に、H、I、L、またはNのうちのいずれか1つまたは複数を識別するためにマルチクラス分類器を使用することができる。マルチクラス分類器(例えば、4クラス分類モデル)は、サポートベクトルマシン(SVM)、サポートベクトルネットワーク、またはブースティング・クラス・アルゴリズム、CNN、などとすることができる。
血清または血漿部分212SPが、全体として、H、I、および/若しくはL、またはNを含むと特性評価した判定は、HILN分類器529によってN、H、I、またはLであるとして分類された血清または血漿部分212SP内の多数のピクセル(またはパッチ)の追加によって達成され得る。正常(N)または干渉物質を含むものとしての分類は、各クラスにおける最大数のピクセル(またはパッチ)に基づいてなされてもよく、またはいくつかの実施形態では、適切な重み付け方式(スキーム)に基づいてなされてもよい。
したがって、一実施形態において、ピクセル(またはパッチ)の大部分がNとして分類される場合、その血清または血漿部分212SPは、正常(N)として分類可能である。また、ピクセルの大部分(またはスーパーピクセル/イメージパッチ)がHとして分類される場合、その血清または血漿部分212SPは、溶血(H)を含むものとして分類可能である。同様に、ピクセル(またはパッチ)の大部分がIまたはLとして分類される場合、その血清または血漿部分212SPは、それぞれ、黄疸(I)または脂肪血症(L)として分類可能である。他の実施形態では、重み付け多数決スキームを使用して、HILN分類器529からの確率または信頼度を重さとして使用して、試料212を分類することもできる。血清または血漿部分212SPを全体として特性評価する、他の手段が使用されてもよい。
さらに、データセットが、2つ以上の干渉物質のクラス(例えば、HおよびI、HおよびL、IおよびL、またはさらにH、IおよびL)に分類される比較的多量のピクセル(またはパッチ)を含む場合には、干渉物質検出方法は、複数の干渉物質の種類が存在することを報告できる。一度、試料212が、複数の干渉物質の種類(例えば、H、I、および/またはL)を含むと特性評価されると、血清または血漿部分212SP中の複数の干渉物質の種類についての干渉物質レベルを提供するために、干渉物質レベル検出器530が使用されてもよい。干渉物質レベル検出器530は、管理された回帰モデルなどのレベル特性評価モデルにデータセットを通すことによって、それぞれの特定の干渉物質についての干渉物質指標を得ることができる。サポートベクトル回帰(SVR)、ニューラルネットワーク回帰、ツリーベース回帰などの任意の適切な回帰モデルを使用することができる。
溶血の回帰モデル530H、黄疸の回帰モデル530I、および脂肪血症の回帰モデル530Lのような、異なる回帰モデルをそれぞれの干渉物質の種類について使用することができる。実施形態によっては、回帰モデルの各々は、SVRマシーンであって、特定の干渉物質の特定の種類(例えば、H、I、またはL)を示す液体領域を用いてトレーニングされたものでもよい。例えば、溶血の回帰モデル530Hは、予想される溶血レベルの多様な範囲にわたって溶血レベルを有する広範囲の試料212を用いてトレーニングされてもよい。同様に、黄疸の回帰モデル530Iは、予想されるレベルの多様な範囲にわたる黄疸レベルを有する広範囲の試料212を用いてトレーニングされてもよい。同様に、脂肪血症の回帰モデル530Lは、予想されるレベルの多様な範囲にわたる脂肪血症レベルを有する広範囲の試料212を用いてトレーニングされてもよい。いくつかの実施形態では、干渉物質レベルを離散化することができる。例えば、4つの離散した(別個の)レベルを使用することができる。4つより多いまたはより少ない離散レベルが用いられてもよい。モデルの干渉物質レベルが離散化されている場合、回帰モデルからの出力も、最も近い目標レベルにマッピングすることによって離散化されてもよい。いずれにしても、実施形態によれば、検出された干渉物質の種類ごとに干渉物質指標を提供することができる。
したがって、品質確認モジュール130により実施される方法によって、試料212について、正常Nであるか、または1以上の干渉物質HILを含有するかとして、迅速に特性評価することができるのが明らかである。試料212が1つまたは複数の干渉物質を含む場合、本方法は、さらに、存在する干渉物質の種類(1つまたは複数)をさらに決定してもよく、そして、存在する各干渉物質の種類についての干渉物質指標を決定してもよい。
図7は、特性評価方法700のフローチャートを示す。特性評価方法700は、本明細書に記載した品質確認モジュール130を用いて実行されてもよく、または本明細書に記載した試料検査装置100において実行されてもよく、さらにはその双方でもよい。特に、特性評価方法700は、1つまたは複数の実施形態に従って、試料212中の干渉物質を決定する方法一部またはその方法に先立つものであってよい。特性評価方法700は、符号702において、試料(例えば、試料212)の血清または血漿部分(例えば、血清または血漿部分212SP)を含む試料容器(例えば、試料容器102)の複数の視点(例えば、視点1、2、および3)から1つまたは複数の画像を撮影することを含み、その際、試料容器は、その上に1つまたは複数のラベル(例えば、ラベル218、218Aおよび218B、または218A−218C)を含むものとする。1以上の画像は、1以上の画像撮影装置(例えば、画像撮影装置440A−440C)を使用して撮影された、デジタルのピクセル化された画像であってもよい。
特性評価方法700は、符号704において、セグメンテーションを提供するために、複数の視点からの1つまたは複数の画像を処理することをさらに含む。セグメンテーション511は、複数の視点のそれぞれについて、マルチスペクトル、マルチ(多重)露光データを含むことができ、その際、セグメンテーションは、ラベル含有領域(例えば、ラベル含有領域618)の識別情報を含む。複数の画像は、異なる露光および/または異なるスペクトル(例えば、R、G、B、白色光、IR、および/または近IR、またはそれらの組み合わせ)での各視点からの複数の画像を含むことができる。例えば、実施形態によっては、同じ照明条件下ではあるものの、異なる露光時間で、4−8回またはそれ以上の異なる露光でされてもよい。実施形態によっては、一部の画像は、バックライト光源444A−444Cとして白色光を使用して撮影されてもよく、また一部の画像は、バックライト光源444A−444Cとして赤色、青色、および緑色などの複数の単一波長ピーク、狭帯域スペクトル光源を使用して撮影されてもよい。任意選択で、IRまたは近IR光源がバックライト源として使用されてもよい。
セグメンテーション・データは、本明細書に記載のHDRイメージングを使用して得ることができ、セグメンテーション(例えば、セグメンテーション511)は、本明細書に記載の分類方法のような適切なモデルベースの方法によって得ることができ、ここで、画像データは、血清または血漿部分、沈殿した血液部分、管、空気、キャップ、ラベル、ホルダ、およびゲル分離器(使用される場合)のような様々なクラスに分割される。特に、ラベルを含むラベル含有領域219は、セグメンテーション511において識別され、特性評価方法700によって使用される。
特に、特性評価方法は、符号706において、ラベル含有領域(例えば、ラベル含有領域219)をCNN (例えば、CNN535)を用いて以下の1つまたは複数として分類する。
ラベル厚さカウントに関するピクセル毎のデータ(またはパッチ毎のデータ)と、
予め定められたラベル構成の1つまたは複数としてのラベル含有領域の特性評価。
ラベル厚さカウントに関するピクセル毎のデータ(またはパッチ毎のデータ)および/またはラベル含有領域219の特性評価ならびに血清または血漿部分に関するデータを、干渉物質の特性評価器539に提供することができる。符号708では、HILN分類器529によって操作される全体的な特性評価527からのこのデータ入力に基づいて、H、Iおよび/若しくはL、またはNの決定を行うことができる。HILN判定は、ラベル含有領域219によって塞がれる血清または血漿部分212SPの部分およびそのラベル厚さカウントを考慮に入れて、HILN分類器529によって処理される、前方視界からの前方視界セマンティック・データに基づくことが明らかである。
任意選択で、符号710において、上述の干渉物質指標モデルを用いることなどによって、干渉物質レベル(例えば、H、I、および/またはL指標)を検出してもよい。したがって、上述の内容に基づいて、特性評価方法700は、1つまたは複数の視点を塞ぎ得るラベルおよびラベルの厚さの両方の存在を明らかにするために撮像データを調整することによって、血清または血漿部分212SPのより良好な特性評価を提供できることが明らかである。改良された特性評価は、試料212のH、I、および/若しくはL、またはNの存在についての迅速かつ強固な特性評価を提供するために使用されてもよく、そして干渉物質(例えば、H、I、および/またはL)が検出される場合には、干渉物質レベルの評価および報告がされてもよい。
本明細書では、種々選択された構成要素、特徴、または実施形態を個別に説明することができる。そのような構成要素、特徴、または実施形態は、実際的であるように、他の個別に記述された構成要素、特徴、または実施形態と置き換えて、あるいは本明細書で記述された他の構成要素、特徴、または実施形態と組み合わせて、使用されてもよい。本発明は、様々な変更形態および代替形態が可能だが、特定の装置、システム、および方法は、例として図面に示されており、本明細書で詳細に説明される。しかしながら、開示内容は、開示された特定の装置、システム、および方法に限定することを意図するものではなく、むしろ、添付の特許請求の範囲内に含まれる全ての修正、均等、および代替の形態を含むことを理解されたい。
100 試料検査装置(システム)
102 試料容器
106 分析器
108 分析器
110 分析器
130 品質確認モジュール
143 コンピュータ
147 実験室情報システム(LIS)
212 試料
212SP 血清または血漿部分
214 キャップ
215 管(チューブ)
218 ラベル
218A 製造業者のラベル
218B バーコードラベル
218i 識別情報
219 ラベル含有領域
700 特性評価方法
5 照明ランプ

Claims (19)

  1. 試料の血清または血漿部分と1つまたは複数のラベルとを含む試料容器の画像を撮影するステップと、
    前記画像のピクセルまたはパッチを識別する処理を行って、ラベル含有領域の識別を含む所定のクラスに分割された分割データを提供するステップと、
    さらに、畳み込みニューラルネットワークを用いて、前記ラベル含有領域の分割データを分類するステップと、
    前記畳み込みニューラルネットワークからの出力として、
    ラベルの重なり合いを示すラベル厚さ数に関するピクセル毎のデータまたはパッチ毎のデータと、
    前記試料容器上の前記試料の視界を塞ぐことに関する予め定められたラベル構成のうちの1つまたは複数としての前記ラベル含有領域の特性評価と、
    のうち一つまたは複数を出力するステップと、
    を含む方法であって、
    前記畳み込みニューラルネットワークは、畳み込み層、プーリング層、および完全に接続した層を含むアーキテクチャを含み、このアーキテクチャによって、
    局所的な構造の縁またはエッジの低レベルの特徴を抽出し、
    前記局所的な構造の縁またはエッジの複数の組合せを学習して、テクスチャの中レベルの特徴を形成し、
    前記テクスチャの組合せを学習して、前記ラベル含有領域の一部の高レベルの特徴を形成する、
    方法。
  2. 前記一つまたは複数のラベルは、製造業者のラベルと、一つまたは複数のバーコードラベルとのうち、一方または双方を含む、請求項1に記載の方法。
  3. 前記畳み込みニューラルネットワークを用いて、前記ラベル含有領域の分割データを分類するステップは、
    前記畳み込みニューラルネットワークに前記ラベル含有領域に関するデータを提供することを含む、請求項1に記載の方法。
  4. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に製造業者のラベルが存在するか否かの判断を含む、請求項1に記載の方法。
  5. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上にバーコードラベルが存在するか否かの判断を含む、請求項1に記載の方法。
  6. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に製造業者のラベルとバーコードラベルとが存在するか否かの判断を含む、請求項1に記載の方法。
  7. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に製造業者のラベルと2つのバーコードラベルとが存在するか否かの判断を含む、請求項1に記載の方法。
  8. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上の全体的なラベル数の判断を含む、請求項1に記載の方法。
  9. 前記ラベル数が、予め定められたラベル数の閾値以上の場合、前記試料容器を拒絶するステップを含む、請求項8に記載の方法。
  10. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    1つまたは複数の視点が、前記ラベル含有領域によって完全に塞がれているか否かの判断を含む、請求項1に記載の方法。
  11. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に1つのバーコードラベルが存在して、前記1つのバーコードラベルが前記試料容器上の製造業者のラベルの少なくとも一部を覆うか否かの判断を含む、請求項1に記載の方法。
  12. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に、覆われたバーコードラベルと、完全に視認可能なバーコードラベルとの2つのバーコードラベルが存在し、その際、
    前記完全に視認可能なバーコードラベルが前記覆われたバーコードラベルの少なくとも一部を覆い、かつ
    前記覆われたバーコードラベルが前記試料容器上の製造業者のラベルの少なくとも一部を覆うか否かの判断を含む、請求項1に記載の方法。
  13. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に、第1の覆われたバーコードラベルと、第2の覆われたバーコードラベルと、完全に視認可能なバーコードラベルとの3つのバーコードラベルが存在し、その際、
    前記完全に視認可能なバーコードラベルが前記第2の覆われたバーコードラベルの少なくとも一部を覆い、
    前記第2の覆われたバーコードラベルが前記第1の覆われたバーコードラベルの少なくとも一部を覆い、かつ
    前記第1の覆われたバーコードラベルが前記試料容器上の製造業者のラベルの少なくとも一部を覆うか否かの判断を含む、請求項1に記載の方法。
  14. 前記予め定められたラベル構成の一つまたは複数として前記ラベル含有領域の特性評価を行うステップは、
    前記試料容器上に1つの視認可能なバーコードラベルがあり、他のラベルが前記1つの視認可能なバーコードラベルと合わせて、前記試料容器の全周にわたって前記血清または血漿部分を完全に塞ぐか否かの判断を含む、請求項1に記載の方法。
  15. 前記1つまたは複数の画像を撮影するステップは、R、G、B、白色光、IR、および近IRのうちの1つまたは複数のスペクトルを含む光源を用いて、1つまたは複数の視点をバックライトで照らすことを含む、請求項1に記載の方法。
  16. 前記1つまたは複数の画像を撮影するステップは、複数の視点から、複数のスペクトルのそれぞれについて複数の露光で行われる、請求項1に記載の方法。
  17. 前記ラベル含有領域の前記分割データ中のバーコードデータが無視される、請求項1に記載の方法。
  18. 試料の血清または血漿部分と一つまたは複数のラベルとを含む試料容器の複数の画像を、複数の視点から撮像するように構成され、かつ撮影位置の周囲に配置された複数の画像撮像装置と、
    前記複数の画像撮像装置とつなげられて、前記複数の画像の画像データを処理することが可能なコンピュータと、
    を含む品質確認モジュールであって、
    前記コンピュータは、
    前記試料容器、前記血清または血漿部分、および前記一つまたは複数のラベルの画像を取り込み、
    前記画像ピクセルまたはパッチを識別する処理を行って、ラベル含有領域の識別をむ所定のクラスに分割された分割データを提供し、
    さらに、畳み込みニューラルネットワークを用いて、前記ラベル含有領域を分類し、
    前記畳み込みニューラルネットワークからの出力として、
    ラベルの重なり合いを示すラベル厚さ数に関するピクセル毎のデータまたはパッチ毎のデータと、
    前記試料容器上の前記試料の視界を塞ぐことに関する予め定められたラベル構成のうちの1つまたは複数としての前記ラベル含有領域の特性評価と、のうち一つまたは複数を出力する、品質確認モジュールであって、
    前記畳み込みニューラルネットワークは、畳み込み層、プーリング層、および完全に接続した層を含むアーキテクチャを含み、このアーキテクチャによって、
    局所的な構造の縁またはエッジの低レベルの特徴を抽出し、
    前記局所的な構造の縁またはエッジの複数の組合せを学習して、テクスチャの中レベルの特徴を形成し、
    前記テクスチャの組合せを学習して、前記ラベル含有領域の一部の高レベルの特徴を形成する、
    品質確認モジュール。
  19. トラックと、
    試料の血清または血漿部分と1つまたは複数のラベルとを含む試料容器を収容し、前記トラック上を移動可能に構成されたキャリアと、
    前記トラックの周囲に配置されて、複数の視点から、前記試料容器、前記一つまたは複数のラベル、および前記試料の血清または血漿部分の複数の撮像データを撮影するように構成された複数の画像撮像装置と、
    前記複数の画像撮像装置とつなげられて、前記複数の画像の画像データを処理することが可能なコンピュータと、
    を含む試料検査装置であって、
    前記コンピュータは、
    前記試料容器、前記血清または血漿部分、および前記一つまたは複数のラベルの画像を取り込み、
    前記画像のピクセルまたはパッチを識別する処理を行って、ラベル含有領域の識別を含む所定のクラスに分割された分割データを提供し、
    さらに、畳み込みニューラルネットワークを用いて、前記ラベル含有領域を分類し、
    前記畳み込みニューラルネットワークからの出力として、
    ラベルの重なり合いを示すラベル厚さ数に関するピクセル毎のデータまたはパッチ毎のデータと、
    前記試料容器上の前記試料の視界を塞ぐことに関する予め定められたラベル構成のうちの1つまたは複数としての前記ラベル含有領域の特性評価と、のうち一つまたは複数を出力する、
    試料検査装置であって、
    前記畳み込みニューラルネットワークは、畳み込み層、プーリング層、および完全に接続した層を含むアーキテクチャを含み、このアーキテクチャによって、
    局所的な構造の縁またはエッジの低レベルの特徴を抽出し、
    前記局所的な構造の縁またはエッジの複数の組合せを学習して、テクスチャの中レベルの特徴を形成し、
    前記テクスチャの組合せを学習して、前記ラベル含有領域の一部の高レベルの特徴を形成する、
    試料検査装置。
JP2019555833A 2017-04-13 2017-04-13 試料の特性評価中にラベル数を決定するための方法および装置 Active JP6896971B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/080445 WO2018188023A1 (en) 2017-04-13 2017-04-13 Methods and apparatus for determining label count during specimen characterization

Publications (2)

Publication Number Publication Date
JP2020516894A JP2020516894A (ja) 2020-06-11
JP6896971B2 true JP6896971B2 (ja) 2021-06-30

Family

ID=63792137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019555833A Active JP6896971B2 (ja) 2017-04-13 2017-04-13 試料の特性評価中にラベル数を決定するための方法および装置

Country Status (5)

Country Link
US (1) US11313869B2 (ja)
EP (1) EP3610269B1 (ja)
JP (1) JP6896971B2 (ja)
CN (1) CN110573883B (ja)
WO (1) WO2018188023A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6858243B2 (ja) * 2016-07-25 2021-04-14 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料容器の容器キャップを識別するためのシステム、方法及び装置
US11313869B2 (en) * 2017-04-13 2022-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining label count during specimen characterization
EP3610270B1 (en) * 2017-04-13 2024-05-29 Siemens Healthcare Diagnostics Inc. Methods and apparatus for label compensation during specimen characterization
JP7216069B2 (ja) * 2017-07-28 2023-01-31 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド ディープラーニングボリューム定量化方法および装置
JP7324757B2 (ja) 2018-01-10 2023-08-10 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
WO2019173283A1 (en) 2018-03-05 2019-09-12 Marquette University Method and apparatus for non-invasive hemoglobin level prediction
EP3807650B1 (en) 2018-06-15 2024-11-27 Siemens Healthcare Diagnostics Inc. Specimen container characterization using a single deep neural network in an end-to-end training fashion
AU2020284538B2 (en) 2019-05-28 2022-03-24 PAIGE.AI, Inc. Systems and methods for processing images to prepare slides for processed images for digital pathology
CN110532825B (zh) * 2019-08-21 2022-09-30 厦门壹普智慧科技有限公司 一种基于人工智能目标检测的条码识别装置与方法
JP7321514B2 (ja) * 2019-08-29 2023-08-07 あおい精機株式会社 検体処理装置及び検体処理方法
EP3798636B1 (en) * 2019-09-26 2024-11-20 Roche Diagnostics GmbH Arrangement for an in-vitro diagnostics system and method for operating
EP4051434A4 (en) * 2019-10-31 2022-12-28 Siemens Healthcare Diagnostics, Inc. DEVICE AND METHOD FOR TRAINING MODELS OF DIAGNOSTIC ANALYZERS
WO2021086719A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system
WO2021086720A1 (en) * 2019-10-31 2021-05-06 Siemens Healthcare Diagnostics Inc. Methods and apparatus for automated specimen characterization using diagnostic analysis system with continuous performance based training
CN112949343B (zh) * 2019-11-26 2024-08-02 华晨宝马汽车有限公司 车辆标签检测装置与方法
US11528259B2 (en) 2019-12-13 2022-12-13 TripleBlind, Inc. Systems and methods for providing a systemic error in artificial intelligence algorithms
US12149510B1 (en) 2019-12-13 2024-11-19 Tripleblind Holdings, Inc. Systems and methods for providing a private multi-modal artificial intelligence platform
US10924460B2 (en) 2019-12-13 2021-02-16 TripleBlind, Inc. Systems and methods for dividing filters in neural networks for private data computations
US11431688B2 (en) 2019-12-13 2022-08-30 TripleBlind, Inc. Systems and methods for providing a modified loss function in federated-split learning
US11973743B2 (en) 2019-12-13 2024-04-30 TripleBlind, Inc. Systems and methods for providing a systemic error in artificial intelligence algorithms
CN111298269B (zh) * 2020-04-07 2024-11-22 华中科技大学同济医学院附属协和医院 一种医用管道标识装置
US11507693B2 (en) 2020-11-20 2022-11-22 TripleBlind, Inc. Systems and methods for providing a blind de-identification of privacy data
JP2023554145A (ja) * 2020-12-18 2023-12-26 シェシャオ チェン 黄疸分析システム及びその方法
EP4080515A1 (en) * 2021-04-19 2022-10-26 Roche Diagnostics GmbH A method for classifying an identification tag on a sample tube containing a sample and an automated laboratory system
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
CN113592842B (zh) * 2021-08-09 2024-05-24 南方医科大学南方医院 一种基于深度学习的样本血清质量识别方法及识别设备
US11625377B1 (en) 2022-02-03 2023-04-11 TripleBlind, Inc. Systems and methods for enabling two parties to find an intersection between private data sets without learning anything other than the intersection of the datasets
US11539679B1 (en) 2022-02-04 2022-12-27 TripleBlind, Inc. Systems and methods for providing a quantum-proof key exchange
CN115631417B (zh) * 2022-11-11 2024-11-05 生态环境部南京环境科学研究所 一种基于卷积神经网络的蝴蝶图像识别方法
JP2025049901A (ja) * 2023-09-22 2025-04-04 株式会社日立ハイテク 試料状態判定装置、試料状態判定方法、および試料分析システム

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU636384B2 (en) * 1989-09-06 1993-04-29 Toa Medical Electronics Co., Ltd. Synthetic apparatus for inspection of blood
JP2947026B2 (ja) * 1993-10-27 1999-09-13 富士電気化学株式会社 電池用ラベルの巻きズレ検出方法
US6319668B1 (en) * 1995-04-25 2001-11-20 Discovery Partners International Method for tagging and screening molecules
WO2000006980A1 (en) * 1998-07-27 2000-02-10 Cedars-Sinai Medical Center Spectral topography of mammalian matter
US6276798B1 (en) * 1998-09-29 2001-08-21 Applied Spectral Imaging, Ltd. Spectral bio-imaging of the eye
US6728391B1 (en) * 1999-12-03 2004-04-27 United Parcel Service Of America, Inc. Multi-resolution label locator
EP1380005A1 (en) * 2001-04-09 2004-01-14 Lifespan Biosciences, Inc. Computer method for image pattern recognition in organic material
JP3733087B2 (ja) 2002-07-04 2006-01-11 アロカ株式会社 検体分析装置
US20040209237A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
JP4472442B2 (ja) * 2004-06-24 2010-06-02 アロカ株式会社 界面検出装置、体積計測装置及び界面検出方法
JP2008026036A (ja) * 2006-07-18 2008-02-07 Aloka Co Ltd 含有物測定装置
WO2008150840A1 (en) * 2007-05-29 2008-12-11 University Of Iowa Research Foundation Methods and systems for determining optimal features for classifying patterns or objects in images
EP2265945B1 (en) 2008-03-21 2012-11-07 Abbott Point Of Care, Inc. Method and apparatus for determining red blood cell indices of a blood sample utilizing the intrinsic pigmentation of hemoglobin contained within the red blood cells
JP5171519B2 (ja) * 2008-09-30 2013-03-27 株式会社日立ハイテクノロジーズ 粒子自動分析装置の画面表示方法
EP2439143B1 (en) * 2009-06-05 2019-03-20 Techno Medica Co., Ltd. Labeling device for automatic test-tube setting-up device
JP2011027661A (ja) * 2009-07-29 2011-02-10 Hitachi High-Technologies Corp 自動分析装置、及び検体前処理システム,検体搬送システム
WO2011019576A1 (en) 2009-08-13 2011-02-17 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining interferents and physical dimensions in liquid samples and containers to be analyzed by a clinical analyzer
US8805043B1 (en) * 2010-04-02 2014-08-12 Jasjit S. Suri System and method for creating and using intelligent databases for assisting in intima-media thickness (IMT)
WO2011161186A1 (en) * 2010-06-23 2011-12-29 Biocrates Life Sciences Ag Method for in vitro diagnosing sepsis utilizing biomarker composed of more than two different types of endogenous biomolecules
DE102010026094B4 (de) * 2010-07-05 2012-01-12 Sigeng Han Ein neues Verfahren zum Charakterisieren und multidimensionalen Darstellen des Faltungsvorgangs der Proteine
CN103649713B (zh) * 2010-11-29 2017-03-01 丹麦达科有限公司 由可编程性定量检定所处理的样本的图像分析方法和体系
JP5414707B2 (ja) 2011-01-31 2014-02-12 株式会社日立ハイテクノロジーズ 分析装置
US8818023B2 (en) * 2011-03-25 2014-08-26 Siemens Industry, Inc. Bulk region of interest learning
JP5474903B2 (ja) 2011-09-28 2014-04-16 あおい精機株式会社 検査前処理装置、検査前処理方法、及び検体処理装置
WO2014031576A1 (en) * 2012-08-20 2014-02-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for ascertaining specimen and/or sample container characteristics while in transit
JP6479676B2 (ja) * 2012-12-19 2019-03-06 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 流体サンプル中の粒子の分類のためのシステム及び方法
US10466236B2 (en) * 2013-03-29 2019-11-05 Nima Labs, Inc. System and method for detecting target substances
JP6143584B2 (ja) * 2013-07-04 2017-06-07 株式会社日立ハイテクノロジーズ 検出装置および生体試料分析装置
JP6282060B2 (ja) * 2013-08-20 2018-02-21 株式会社日立ハイテクノロジーズ 検体検査自動化システム
JP6767966B2 (ja) * 2014-04-09 2020-10-14 エントルピー インコーポレーテッドEntrupy Inc. 微視的差異からの機械学習を使用する物体の真贋鑑定
JP6453564B2 (ja) 2014-06-25 2019-01-16 株式会社日立ハイテクノロジーズ 検出装置
EP3221679A4 (en) * 2014-11-21 2018-11-14 Mutti, Christopher M. Imaging system for object recognition and assessment
DE102014224519A1 (de) * 2014-12-01 2016-06-02 Krones Ag Etikettiervorrichtung und -verfahren zur Etikettierung von Behältern
RU2014152192A (ru) * 2014-12-23 2016-07-10 Ольга Алексеевна Громова Способ поиска в базе данных молекул веществ, сходных с заданной молекулой по структуре и по биологическим свойствам
CN108139320B (zh) 2015-02-17 2023-12-22 西门子医疗保健诊断公司 用于对试样中的干扰物进行分类的基于模型的方法和装置
WO2016133908A1 (en) 2015-02-17 2016-08-25 Siemens Healthcare Diagnostics Inc. Barcode tag detection in side view sample tube images for laboratory automation
WO2016133915A1 (en) 2015-02-17 2016-08-25 Siemens Healthcare Diagnostics Inc. Classification of barcode tag conditions from top view sample tube images for laboratory automation
US10139340B2 (en) * 2015-06-29 2018-11-27 Hannu Harjunmaa Noninvasive refractometer
CN105654037B (zh) * 2015-12-21 2019-05-21 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN108738339B (zh) 2016-01-28 2022-02-01 西门子医疗保健诊断公司 用于对试样中的伪像进行分类的方法和装置
WO2017132168A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus for multi-view characterization
WO2017132166A1 (en) 2016-01-28 2017-08-03 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to quantify a specimen from multiple lateral views
US10816538B2 (en) 2016-01-28 2020-10-27 Siemens Healthcare Diagnostics Inc. Methods and apparatus for detecting an interferent in a specimen
US11042788B2 (en) 2016-01-28 2021-06-22 Siemens Healthcare Diagnostics Inc. Methods and apparatus adapted to identify a specimen container from multiple lateral views
JP6592401B2 (ja) * 2016-05-26 2019-10-16 株式会社日立ハイテクノロジーズ 試料液面位置計測装置及び試料液面位置計測方法
CN106022538B (zh) * 2016-05-31 2020-04-07 中国矿业大学 基于k均值聚类改进广义天气的光伏发电预测方法
JP6858243B2 (ja) * 2016-07-25 2021-04-14 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料容器の容器キャップを識別するためのシステム、方法及び装置
WO2018089938A1 (en) 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
CN106529605B (zh) * 2016-11-28 2019-06-11 东华大学 基于免疫理论的卷积神经网络模型的图像识别方法
CN108121982B (zh) * 2016-11-30 2020-02-07 杭州海康机器人技术有限公司 面单图像的获取方法及装置
CN110573859B (zh) * 2017-04-13 2022-07-26 美国西门子医学诊断股份有限公司 用于使用卷积神经网络的hiln表征的方法和装置
EP3610270B1 (en) * 2017-04-13 2024-05-29 Siemens Healthcare Diagnostics Inc. Methods and apparatus for label compensation during specimen characterization
US11313869B2 (en) * 2017-04-13 2022-04-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for determining label count during specimen characterization

Also Published As

Publication number Publication date
EP3610269B1 (en) 2024-11-20
CN110573883B (zh) 2023-05-30
WO2018188023A1 (en) 2018-10-18
US11313869B2 (en) 2022-04-26
CN110573883A (zh) 2019-12-13
JP2020516894A (ja) 2020-06-11
US20200158745A1 (en) 2020-05-21
EP3610269A4 (en) 2020-04-22
EP3610269A1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
JP6896971B2 (ja) 試料の特性評価中にラベル数を決定するための方法および装置
JP6879366B2 (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
JP6791972B2 (ja) 試料中のインターフェレントを検出するための方法と装置
JP6858243B2 (ja) 試料容器の容器キャップを識別するためのシステム、方法及び装置
JP7055818B2 (ja) 畳み込みニューラルネットワークを用いたhiln評価方法及び装置
JP6919139B2 (ja) 複数の側面図から試料容器を識別するように構成された方法および装置
JP6870826B2 (ja) 側方多視点から試料を定量化するように構成された方法及び装置
CN108738336B (zh) 用于多视图表征的方法和装置
JP7012746B2 (ja) 検体評価中にラベル補正する方法及び装置
JP7324757B2 (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
JP2019504996A (ja) 試料内のアーチファクトを分類する方法と装置
JP2019505802A (ja) 試料容器と試料の特徴付けのための方法及び装置
CN111052129A (zh) 深度学习体积定量方法和设备
CN112424334B (zh) 利用高级语义分割和对抗训练进行细粒度hil指数确定的方法和设备
JP7203206B2 (ja) 標本分類のための仮説および検証ネットワークおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210517

R150 Certificate of patent or registration of utility model

Ref document number: 6896971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250