[go: up one dir, main page]

JP7515144B2 - デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法 - Google Patents

デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法 Download PDF

Info

Publication number
JP7515144B2
JP7515144B2 JP2022192745A JP2022192745A JP7515144B2 JP 7515144 B2 JP7515144 B2 JP 7515144B2 JP 2022192745 A JP2022192745 A JP 2022192745A JP 2022192745 A JP2022192745 A JP 2022192745A JP 7515144 B2 JP7515144 B2 JP 7515144B2
Authority
JP
Japan
Prior art keywords
target
image
images
prioritization
slide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022192745A
Other languages
English (en)
Other versions
JP2023014305A (ja
Inventor
ゴッドリッチ ラン
スー ジリアン
グラディー レオ
フックス トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Paige AI Inc
Original Assignee
Paige AI Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Paige AI Inc filed Critical Paige AI Inc
Publication of JP2023014305A publication Critical patent/JP2023014305A/ja
Application granted granted Critical
Publication of JP7515144B2 publication Critical patent/JP7515144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • G16B40/20—Supervised data analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/04—Recognition of patterns in DNA microarrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Biotechnology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)

Description

（関連出願）
本願は、その全開示が本明細書に参照することによってその全体として本明細書に組み込まれる２０１９年５月３１日に出願された米国仮出願第６２／８５５，１９９号の優先権を主張する。
（開示の分野）
本開示の種々の実施形態は、概して、画像ベースのスライド優先順位付け、デジタル病理学ワークフローの合理化、および関連する画像処理方法に関する。より具体的に、本開示の特定の実施形態は、組織試料のスライドの画像を調製、処理、および精査するための自動的優先順位付けプロセスを提供するためのシステムおよび方法に関する。
病理学患者症例に関する組織試料の画像の精査を優先順位付けするためのいかなる標準化された、または効率的な方法も、存在しない。さらに、病理学スライドを精査するためのいかなる標準化されたプロセスも、存在しない。いくつかの学術機関では、病理学実習生は、患者症例の事前精査を実施し、症例をトリアージし、重要な所見を伴う、および／または追加の診断精密検査（例えば、免疫組織化学染色、再切断、分子研究、特殊な染色、部門内協議）を要求する症例を優先順位付けし得る。一方、患者診断は、一次診断のためにデジタル化病理学スライドを使用することを伴い得る。スライド調製プロセスを促進または合理化する方法に関する要求が、存在する。病理学スライドが、スライドが病理医によって精査されるときまでに、診断を下すために十分な情報を有することを確実にする方法に関する要求が、さらに存在する。
本開示のある側面によると、試料に対応する電子画像を処理し、スライドの処理を自動的に優先順位付けするためのシステムおよび方法が、開示される。
試料に対応する電子画像を処理し、電子画像の処理を自動的に優先順位付けするコンピュータ実装方法は、標的試料に対応するスライドの標的電子画像を受信することであって、標的試料は、患者の組織サンプルを含む、ことと、機械学習システムを使用して、標的電子画像の優先順位付け値を計算することであって、機械学習システムは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを含む、ことと、デジタル化病理学画像の一続きを出力することであって、一続きにおける標的電子画像の配置は、標的電子画像の優先順位付け値に基づく、こととを含む。
試料に対応する電子画像を処理し、電子画像の処理を自動的に優先順位付けするためのシステムは、命令を記憶している少なくとも１つのメモリと、少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、標的試料に対応するスライドの標的電子画像を受信することであって、標的試料は、患者の組織サンプルを含む、ことと、機械学習システムを使用して、標的電子画像の優先順位付け値を計算することであって、機械学習システムは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを含む、ことと、デジタル化病理学画像の一続きを出力することであって、一続きにおける標的電子画像の配置は、標的電子画像の優先順位付け値に基づく、こととを含む動作を実施するための命令を実行するように構成されている。
命令を記憶している非一過性コンピュータ読み取り可能な媒体であって、命令は、少なくとも１つのプロセッサによって実行されると、試料に対応する電子画像を処理し、画像の処理を自動的に優先順位付けする方法を少なくとも１つのプロセッサに実施させ、方法は、標的試料に対応するスライドの標的電子画像を受信することであって、標的試料は、患者の組織サンプルを含む、ことと、機械学習システムを使用して、標的電子画像の優先順位付け値を計算することであって、機械学習システムは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを含む、ことと、デジタル化病理学画像の一続きを出力することであって、一続きにおける標的電子画像の配置は、標的電子画像の優先順位付け値に基づく、こととを含む、非一過性コンピュータ読み取り可能な媒体。
前述の一般的な説明および以下の発明を実施するための形態の両方が、例示的かつ解説的にすぎず、請求されるような開示される実施形態の制限ではないことを理解されたい。
本発明はさらに、例えば、以下を提供する。
（項目１）
試料に対応する電子画像を処理し、前記電子画像の処理を自動的に優先順位付けするコンピュータ実装方法であって、前記コンピュータ実装方法は、
標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、患者の組織サンプルを備えている、ことと、
機械学習システムを使用して、前記標的電子画像の優先順位付け値を計算することであって、前記機械学習システムは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを備えている、ことと、
デジタル化病理学画像の一続きを出力することと
を含み、
前記一続きにおける前記標的電子画像の配置は、前記標的電子画像の前記優先順位付け値に基づく、コンピュータ実装方法。
（項目２）
前記標識は、さらなる調製が前記標的電子画像に関して実施される可能性に対応する調製値を備えている、項目１に記載のコンピュータ実装方法。
（項目３）
前記標識は、さらなる調製が前記標的電子画像に関して実施される可能性に対応する調製値を備え、
前記さらなる調製は、試料再切断、免疫組織化学染色、追加の診断試験、追加の協議、および／または特殊な染色のうちの少なくとも１つに基づいて、前記標的電子画像に関して実施される、項目１に記載のコンピュータ実装方法。
（項目４）
前記標識は、前記標的電子画像の診断特徴を備え、前記診断特徴は、癌の存在、癌の悪性度、治療効果、前癌病変、治療選択のためのバイオマーカ、および／または感染性生物の存在のうちの少なくとも１つを備えている、項目１に記載のコンピュータ実装方法。
（項目５）
前記標的電子画像の前記優先順位付け値は、第１のユーザに関する前記標的電子画像の第１の優先順位付け値と、第２のユーザに関する前記標的電子画像の第２の優先順位付け値とを備えている、項目１に記載のコンピュータ実装方法。
（項目６）
前記標的電子画像の前記優先順位付け値は、第１のユーザに関する前記標的画像の第１の優先順位付け値と、第２のユーザに関する前記標的電子画像の第２の優先順位付け値とを備え、
前記第１の優先順位付け値は、前記第１のユーザの選好に基づいて決定され、前記第２の優先順位付け値は、前記第２のユーザの選好に基づいて決定される、項目１に記載のコンピュータ実装方法。
（項目７）
前記標識は、走査線、欠落した組織、および／またはぼけのうちの少なくとも１つに対応するアーチファクト標識を備えている、項目１に記載のコンピュータ実装方法。
（項目８）
試料に対応する電子画像を処理し、前記電子画像の処理を自動的に優先順位付けするためのシステムであって、前記システムは、
命令を記憶している少なくとも１つのメモリと、
少なくとも１つのプロセッサと
を備え、
前記少なくとも１つのプロセッサは、
標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、患者の組織サンプルを備えている、ことと、
機械学習システムを使用して、前記標的電子画像の優先順位付け値を計算することであって、前記機械学習システムは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを備えている、ことと、
デジタル化病理学画像の一続きを出力することと
を含む動作を実施するための前記命令を実行するように構成され、
前記一続きにおける前記標的電子画像の配置は、前記標的電子画像の前記優先順位付け値に基づく、システム。
（項目９）
前記標識は、さらなる調製が前記標的電子画像に関して実施される可能性に対応する調製値を備えている、項目８に記載のシステム。
（項目１０）
前記標識は、さらなる調製が前記標的電子画像に関して実施される可能性に対応する調製値を備え、
前記さらなる調製は、試料再切断、免疫組織化学染色、追加の診断試験、追加の協議、および／または特殊な染色のうちの少なくとも１つに基づいて、前記標的電子画像に関して実施される、項目８に記載のシステム。
（項目１１）
前記標識は、前記標的電子画像の診断特徴を備え、前記診断特徴は、癌の存在、癌の悪性度、治療効果、前癌病変、治療選択のためのバイオマーカ、および／または感染性生物の存在のうちの少なくとも１つを備えている、項目８に記載のシステム。
（項目１２）
前記標的電子画像の前記優先順位付け値は、第１のユーザに関する前記標的電子画像の第１の優先順位付け値と、第２のユーザに関する前記標的電子画像の第２の優先順位付け値とを備えている、項目８に記載のシステム。
（項目１３）
前記標的電子画像の前記優先順位付け値は、第１のユーザに関する前記標的画像の第１の優先順位付け値と、第２のユーザに関する前記標的電子画像の第２の優先順位付け値とを備え、
前記第１の優先順位付け値は、前記第１のユーザの選好に基づいて決定され、前記第２の優先順位付け値は、前記第２のユーザの選好に基づいて決定される、項目８に記載のシステム。
（項目１４）
前記標識は、走査線、欠落した組織、および／またはぼけのうちの少なくとも１つに対応するアーチファクト標識を備えている、項目８に記載のシステム。
（項目１５）
命令を記憶している非一過性コンピュータ読み取り可能な媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、試料に対応する電子画像を処理し、前記画像の処理を自動的に優先順位付けする方法を前記少なくとも１つのプロセッサに実施させ、前記方法は、
標的試料に対応するスライドの標的電子画像を受信することであって、前記標的試料は、患者の組織サンプルを備えている、ことと、
機械学習システムを使用して、前記標的電子画像の優先順位付け値を計算することであって、前記機械学習システムは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを備えている、ことと、
デジタル化病理学画像の一続きを出力することと
を含み、
前記一続きにおける前記標的電子画像の配置は、前記標的電子画像の優先順位付け値に基づく、非一過性コンピュータ読み取り可能な媒体。
（項目１６）
前記標識は、さらなる調製が前記標的電子画像に関して実施される可能性に対応する調製値を備えている、項目１５に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１７）
前記標識は、さらなる調製が前記標的電子画像に関して実施される可能性に対応する調製値を備え、
前記さらなる調製は、試料再切断、免疫組織化学染色、追加の診断試験、追加の協議、および／または特殊な染色のうちの少なくとも１つに基づいて、前記標的電子画像に関して実施される、項目１５に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１８）
前記標識は、前記標的電子画像の診断特徴を備え、前記診断特徴は、癌の存在、癌の悪性度、治療効果、前癌病変、治療選択のためのバイオマーカ、および／または感染性生物の存在のうちの少なくとも１つを備えている、項目１５に記載の非一過性コンピュータ読み取り可能な媒体。
（項目１９）
前記標的電子画像の前記優先順位付け値は、第１のユーザに関する前記標的電子画像の第１の優先順位付け値と、第２のユーザに関する前記標的電子画像の第２の優先順位付け値とを備えている、項目１５に記載の非一過性コンピュータ読み取り可能な媒体。
（項目２０）
前記標的電子画像の前記優先順位付け値は、第１のユーザに関する前記標的画像の第１の優先順位付け値と、第２のユーザに関する前記標的電子画像の第２の優先順位付け値とを備え、
前記第１の優先順位付け値は、前記第１のユーザの選好に基づいて決定され、前記第２の優先順位付け値は、前記第２のユーザの選好に基づいて決定される、項目１５に記載の非一過性コンピュータ読み取り可能な媒体。
本明細書に組み込まれ、その一部を成す付随の図面は、種々の例示的実施形態を図示し、説明とともに、開示される実施形態の原理を解説する役割を果たす。
図１Ａは、本開示の例示的実施形態による、組織試料のスライドの画像を調製、処理、および精査するための自動的優先順位付けプロセスを提供するためのシステムおよびネットワークの例示的ブロック図である。
図１Ｂは、本開示の例示的実施形態による、疾患検出プラットフォーム１００の例示的ブロック図である。
図１Ｃは、本開示の例示的実施形態による、スライド優先順位付けツール１０１の例示的ブロック図である。
図１Ｄは、本開示の例示的実施形態による、病理学スライド調製、処理、および精査に関する自動的優先順位付けプロセスのための例示的システムの略図である。
図２は、本開示の例示的実施形態による、機械学習を使用して、試料に対応するスライドの画像を分析し、スライドの自動的に優先順位付けされた処理を提供する例示的方法のフローチャートである。
図３は、本開示の例示的実施形態による、病理学スライド調製、処理、および精査を自動的に優先順位付けするための例示的実施形態のフローチャートである。
図４は、本開示の例示的実施形態による、品質制御ベースの病理学スライド調製優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図５は、本開示の例示的実施形態による、品質制御に関する病理学スライド調製優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図６は、本開示の例示的実施形態による、診断特徴優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図７は、本開示の例示的実施形態による、病理学スライド処理優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図８は、本開示の例示的実施形態による、病理学スライド精査および割り当て優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図９は、本開示の例示的実施形態による、個人化された病理学スライド優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図１０は、本開示の例示的実施形態による、教育的病理学スライド優先順位付けツールを発生させ、使用する例示的実施形態のフローチャートである。
図１１は、本明細書に提示される技法を実行し得る例示的システムを描写する。
ここで、本開示の例示的実施形態が、詳細に参照され、その例が、付随の図面に図示される。可能であるときは常に、同一の参照番号は、図面全体を通して同一または同様の部分を指すように使用されるであろう。
本明細書に開示されるシステム、デバイス、および方法は、例として、図を参照して詳細に説明される。本明細書に議論される例は、例にすぎず、本明細書に説明される装置、デバイス、システム、および方法の解説を支援するために提供される。図面に示される、または下記に議論される特徴またはコンポーネントのいずれも、必須であるとして具体的に指定されない限り、これらのデバイス、システム、または方法のうちのいずれかの任意の具体的実装のために必須であるとしてとられるべきではない。
説明される任意の方法に関して、方法が、フロー図と併せて説明されるかどうかにかかわらず、文脈によって別様に規定または要求されない限り、方法の実行において実施されるステップのいかなる明示的または暗示的順序付けも、それらのステップが、提示される順序で実施されなければならないことを意味せず、代わりに、異なる順序で、または並行に実施され得ることを意味することも理解されたい。
本明細書に使用される場合、用語「例示的」は、「理想的」ではなく、「例」の意味で使用される。また、本明細書の用語「ａ」および「ａｎ」は、数量の限定を表さず、むしろ、言及されるアイテムのうちの１つ以上のものの存在を表す。
病理学は、疾患の研究を指す。より具体的に、病理学は、疾患を診断するために使用される試験および分析を実施することを指す。例えば、組織サンプルが、病理医（例えば、いずれかの異常が存在するかどうかを決定するために組織サンプルを分析することの専門家である医師）によって顕微鏡下で視認されるようにスライド上に配置され得る。すなわち、病理学試料が、複数の区分に切断され、染色され、病理医が検査し、診断を下すためのスライドとして調製され得る。スライド上の診断所見が不確かであるとき、病理医は、組織からより多くの情報を集めるために、追加の切断レベル、染色、または他の試験を指示し得る。技師が、次いで、病理医が診断を行うことにおいて使用するための追加の情報を含み得る新しいスライドを作成し得る。追加のスライドを作成するこのプロセスは、それが、組織のブロックを回収し、新しいスライドを作成するためにそれを切断し、次いで、スライドを染色することを伴い得るのみならず、それが、複数の指示に関してバッチ処理され得るので、時間がかかり得る。これは、病理医が下す最終診断を著しく遅延させ得る。加えて、遅延後であっても、新しいスライドが、診断を下すために十分な情報を有するであろういかなる保証も、依然として、存在しないこともある。
病理医は、癌および他の疾患病理学スライドを単独で評価し得る。統合されたワークフローは、癌および他の疾患の診断を改良し得る。ワークフローは、例えば、スライド評価、タスク、画像分析および癌検出人工知能（ＡＩ）、注釈、協議、および推奨を１つのワークステーションにおいて統合し得る。特に、例示的ユーザインターフェースが、病理医の作業を促進および改良するために、ワークフローのみならず、ワークフローに統合され得るＡＩツールにおいても利用可能であり得る。
例えば、コンピュータが、組織サンプルの画像を分析することによって、特定の組織サンプルについて追加の情報が必要とされ得るかどうかを迅速に識別するために、および／または病理医がより近接して見るべきであるエリアを病理医に強調するために、使用され得る。したがって、追加の染色されたスライドおよび試験を取得するプロセスは、病理医によって精査される前に自動的に行われ得る。自動的スライド分割機械および染色機械と対にされると、これは、完全に自動化されたスライド調製パイプラインを提供し得る。
病理医を補助するためにコンピュータを使用するプロセスは、計算病理学として公知である。計算病理学のために使用される計算方法は、限定ではないが、統計分析、自律的または機械学習、およびＡＩを含み得る。ＡＩは、限定ではないが、深層学習、ニューラルネットワーク、分類、クラスタリング、および回帰アルゴリズムを含み得る。計算病理学を使用することによって、命が、病理医が自身の診断正確度、信頼性、効率、およびアクセス性を改良することに役立つことによって救われ得る。例えば、計算病理学は、癌に関して疑わしいスライドの検出を支援し、それによって、病理医が、最終診断を下す前に自身の初期査定をチェックおよび確認することを可能にするために使用され得る。
組織病理学は、スライド上に配置された試料の研究を指す。例えば、デジタル病理学画像が、試料（例えば、塗抹標本）を含む顕微鏡スライドのデジタル化画像から成り得る。病理医がスライド上の画像を分析するために使用し得る一方法は、核を識別し、核が正常（例えば、良性）であるか、異常（例えば、悪性）であるかを分類することである。核を識別および分類することにおいて病理医を支援するために、組織学的染色が、細胞を可視にするために使用され得る。周期的酸シッフ反応、マッソントリクローム、ニッスルおよびメチレンブルー、およびヘマトキシリンおよびエオジン（Ｈ＆Ｅ）を含む多くの染料ベースの染色システムが、開発されている。医療診断に関して、Ｈ＆Ｅは、広く使用される染料ベースの方法であり、ヘマトキシリンが、細胞核を青色に染色し、エオジンが、細胞質および細胞外マトリクスをピンク色に染色し、他の組織領域は、これらの色の変形を帯びる。しかしながら、多くの場合、Ｈ＆Ｅ染色された組織学的調製物は、診断を支援する、または治療を誘導し得るバイオマーカを病理医が視覚的に識別するために十分な情報を提供しない。この状況では、免疫組織化学（ＩＨＣ）、免疫蛍光、インサイツハイブリダイゼーション（ＩＳＨ）、または蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）等の技法が、使用され得る。ＩＨＣおよび免疫蛍光は、例えば、組織内の特定の抗原に結合する抗体を使用し、特定の着目タンパク質を発現する細胞の視覚的検出を可能にすることを伴い、それは、Ｈ＆Ｅ染色されたスライドの分析に基づいて、訓練された病理医に確実に識別可能ではないバイオマーカを明らかにすることができる。ＩＳＨおよびＦＩＳＨは、採用されるプローブのタイプ（例えば、遺伝子コピー数のためのＤＮＡプローブおよびＲＮＡ発現の査定のためのＲＮＡプローブ）に応じて、遺伝子のコピー数または特定のＲＮＡ分子の存在量を査定するために採用され得る。これらの方法も、いくつかのバイオマーカを検出するために十分な情報を提供することができない場合、組織の遺伝子試験が、バイオマーカが存在するかどうか（例えば、腫瘍における特定のタンパク質または遺伝子産物の過剰発現、癌における所与の遺伝子の増幅）を確認するために使用され得る。
デジタル化画像が、染色された顕微鏡スライドを示すために調製され得、それは、病理医がスライド上の画像を手動で視認し、画像内の染色された異常細胞の数を推定することを可能にし得る。しかしながら、このプロセスは、時間がかかり得、いくつかの異常が検出しにくいので、異常を識別することにおいてエラーにつながり得る。計算プロセスおよびデバイスが、そうでなければ検出しにくくあり得る異常を検出することにおいて病理医を支援するために使用され得る。例えば、ＡＩが、Ｈ＆Ｅおよび他の染料ベースの方法を使用して染色された組織のデジタル画像内の突起領域からバイオマーカ（タンパク質および／または遺伝子産物の過剰発現、特定の遺伝子の増幅または突然変異等）を予測するために使用され得る。組織の画像は、スライド全体画像（ＷＳＩ）、マイクロアレイまたは組織区分内の選択された着目エリア内の組織コアの画像であり得る。Ｈ＆Ｅのような染色方法を使用すると、これらのバイオマーカは、人間が追加の試験の支援を伴わずに視覚的に検出または定量化することが困難であり得る。組織のデジタル画像からこれらのバイオマーカを推論するためにＡＩを使用することは、患者処理を改良する潜在性を有する一方、より速くもあり、あまり高価でもない。
検出されたバイオマーカまたは画像のみが、次いで、患者を治療するために使用されるべき特定の癌薬物または薬物組み合わせ療法を推奨するために使用され得、ＡＩは、検出されたバイオマーカを治療選択肢のデータベースと互いに関係付けることによって、成功する可能性が低い薬物または薬物組み合わせを識別し得る。これは、患者の特定の癌を標的とするための免疫療法薬物の自動的推奨を促進するために使用されることができる。さらに、それは、患者の特定の一部および／またはより稀少な癌タイプに関する個人化された癌治療を可能にするために使用され得る。
病理学の分野では、組織病理学ワークフロー全体を通して、病理学試料調製に関する系統的品質制御（「ＱＣ」）および診断の品質に関する品質保証（「ＱＡ」）を提供することは、困難であり得る。系統的品質保証は、それが２人の病理医による重複する労力を要求し得るので、それが、リソースおよび時間集約的であるので、困難である。品質保証のためのいくつかの方法は、（１）最初の診断癌症例の第２の精査、（２）品質保証委員会による一致しない、または変更された診断の周期的精査、および／または、（３）症例の一部のランダムな精査を含む。これらは、非網羅的であり、大部分がレトロスペクティブであり、手動である。自動化された系統的ＱＣおよびＱＡ機構では、品質が、全ての症例に関してワークフロー全体を通して確実にされることができる。実験室品質制御およびデジタル病理学品質制御は、患者試料の正常な取り込み、プロセス、診断、およびアーカイブに対して重要である。ＱＣおよびＱＡに対する手動およびサンプリングアプローチは、実質的な利益をもたらす。系統的ＱＣおよびＱＡは、効率を提供し、診断品質を改良する潜在性を有する。
上で説明されるように、本明細書に説明される例示的実施形態は、統合されたプラットフォームを提供し、統合されたプラットフォームは、実験室情報システム（ＬＩＳ）と一体化しながら、ウェブブラウザまたは他のユーザインターフェースを介して、デジタル病理学画像のデータ取り入れ、処理、および閲覧を含む完全に自動化されたプロセスを可能にする。さらに、臨床情報が、患者データのクラウドベースのデータ分析を使用して、集約され得る。データは、病院、診療所、現場の研究者等からのものであり得、複数の地理的特異性レベルにおいて健康パターンのリアルタイム監視および予想を行うために、機械学習、コンピュータビジョン、自然言語処理、および／または統計的アルゴリズムによって分析され得る。
これまで、病理学スライドの生成または分析を優先順位付けするいかなる方法も、存在していなかった。故に、本明細書に説明される例示的実施形態は、デジタル化病理学画像ベースの診断を合理化および高速化するために、スライド調製、処理、および精査を自動的に優先順位付けする。
この自動化は、少なくとも、（１）病理医がスライドを診断を行うために不十分であると決定することによって浪費される時間量を最小化すること、（２）追加の試験が指示されるときとそれらが生成されるときとの間の追加の時間を回避することによって、試料入手から診断までの時間（例えば、平均合計時間）を最小化すること、（３）より大量のスライドが、より短い時間量において病理医によって処理または精査されることを可能にすること、（４）病理医に対して追加の試験を要求する負荷を低減させることによってより情報に基づく／精密な診断に寄与すること、（５）デジタル病理学画像の（例えば、試料タイプに関連する）正しい特性を識別または検証すること、および／または、（６）病理医を訓練すること等の利益を有する。本開示は、デジタル化病理学スライドを伴う臨床デジタルワークフローに対して全ての病理学症例の自動化された検出、優先順位付け、およびトリアージを使用し、それによって、病理学スライド分析が、病理医による診断精査の前に優先順位付けされ得る。例えば、開示される実施形態は、症例レベル優先順位付けを提供し、各症例内で重要な所見を伴うスライドを優先順位付けし得る。これらの優先順位付け実施形態は、種々の設定（例えば、学術、商業的実験室、病院等）において病理学スライドのデジタル精査をより効率的にし得る。
開示される実施形態の例示的全体的出力は、画像またはスライド全体についての情報またはスライドパラメータ、例えば、描写される試料タイプ、スライドの試料の切片の全体的品質、ガラス病理学スライド自体の全体的品質、または組織形態特性を含み得る。例示的ローカル出力は、画像またはスライドの特定の領域内の情報を示し得、例えば、特定のスライド領域が、ぼけている、または関連しない試料を含むと標識化され得る。本開示は、下記にさらに詳細に説明されるように、スライド調製、処理、および精査のための開示される自動的優先順位付けプロセスを開発することおよび使用することの両方に関する実施形態を含む。
図１Ａは、本開示の例示的実施形態による、機械学習を使用して組織試料のスライドの画像を調製、処理、および精査するための自動的優先順位付けプロセスを提供するためのシステムおよびネットワークのブロック図である。
具体的に、図１Ａは、病院、実験室、および／または医師のオフィス等におけるサーバに接続され得る電子ネットワーク１２０を図示する。例えば、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５等が、各々、１つ以上のコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネット等の電子ネットワーク１２０に接続され得る。本願の例示的実施形態によると、電子ネットワーク１２０は、サーバシステム１１０にも接続され得、サーバシステム１１０は、疾患検出プラットフォーム１００を実装するように構成される処理デバイスを含み得、疾患検出プラットフォーム１００は、本開示の例示的実施形態による組織試料のスライドの画像を調製、処理、および精査するための自動的優先順位付けプロセスを提供するためのスライド優先順位付けツール１０１を含む。
医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、１つ以上の患者の細胞学試料、組織病理学試料、細胞学試料のスライド、組織病理学試料のスライドのデジタル化画像、またはそれらの任意の組み合わせの画像を作成すまたは別様に取得し得る。医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、年齢、病歴、癌治療歴、家族歴、過去の生検または細胞学情報等の患者特有情報の任意の組み合わせも取得し得る。医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５は、デジタル化スライド画像および／または患者特有情報を電子ネットワーク１２０を経由してサーバシステム１１０に伝送し得る。サーバシステム１１０は、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム（ＬＩＳ）１２５のうちの少なくとも１つから受信された画像およびデータを記憶するための１つ以上の記憶デバイス１０９を含み得る。サーバシステム１１０は、記憶デバイス１０９内に記憶された画像およびデータを処理するための処理デバイスも含み得る。サーバシステム１１０は、１つ以上の機械学習ツールまたは能力をさらに含み得る。例えば、処理デバイスは、一実施形態による疾患検出プラットフォーム１００のための機械学習ツールを含み得る。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施され得る。
医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／またはＬＩＳ１２５は、スライドの画像を精査するために病理医によって使用されるシステムを指す。病院設定では、組織タイプ情報は、ＬＩＳ１２５内に記憶され得る。本開示の例示的実施形態によると、スライドは、ＬＩＳ１２５にアクセスすることを必要とすることなく、自動的に優先順位付けされ得る。例えば、第三者が、ＬＩＳ内に記憶された対応する試料タイプ標識を伴わない画像コンテンツへの匿名アクセスを与えられ得る。加えて、ＬＩＳコンテンツへのアクセスは、その機密性コンテンツに起因して、限定され得る。
図１Ｂは、機械学習を使用して、組織試料のスライドの画像を調製、処理、および精査するための自動的優先順位付けプロセスを提供するための疾患検出プラットフォーム１００の例示的ブロック図を図示する。
具体的に、図１Ｂは、一実施形態による、疾患検出プラットフォーム１００のコンポーネントを描写する。例えば、疾患検出プラットフォーム１００は、スライド優先順位付けツール１０１と、データ取り入れツール１０２と、スライド取り込みツール１０３と、スライド走査装置１０４と、スライドマネージャ１０５と、記憶装置１０６と、閲覧アプリケーションツール１０８とを含み得る。
スライド優先順位付けツール１０１は、下記に説明されるように、例示的実施形態による、組織試料のスライドの画像を調製、処理、および精査するための自動的優先順位付けプロセスを提供するためのプロセスおよびシステムを指す。
データ取り入れツール１０２は、例示的実施形態による、デジタル病理学画像を分類および処理するために使用される種々のツール、モジュール、コンポーネント、およびデバイスへのデジタル病理学画像の転送を促進するためのプロセスおよびシステムを指す。
スライド取り込みツール１０３は、例示的実施形態による、病理学画像を走査し、それらをデジタル形態に変換するためのプロセスおよびシステムを指す。スライドは、スライド走査装置１０４を用いて走査され得、スライドマネージャ１０５は、スライド上の画像をデジタル化病理学画像に処理し、デジタル化画像を記憶装置１０６内に記憶し得る。
閲覧アプリケーションツール１０８は、例示的実施形態による、デジタル病理学画像に関連する試料特性または画像特性情報をユーザ（例えば、病理医）に提供するためのプロセスおよびシステムを指す。情報は、種々の出力インターフェース（例えば、画面、モニタ、記憶デバイス、および／またはウェブブラウザ等）を通して提供され得る。
スライド優先順位付けツール１０１およびそのコンポーネントの各々は、ネットワーク１２０を経由して、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５に、および、それらから、デジタル化スライド画像および／または患者情報を伝送および／または受信し得る。さらに、サーバシステム１１０は、スライド優先順位付けツール１０１、データ取り入れツール１０２、スライド取り込みツール１０３、スライド走査装置１０４、スライドマネージャ１０５、および閲覧アプリケーションツール１０８のうちの少なくとも１つから受信された画像およびデータを記憶するための記憶デバイスを含み得る。サーバシステム１１０は、記憶デバイス内に記憶された画像およびデータを処理するための処理デバイスも含み得る。サーバシステム１１０は、例えば、処理デバイスに起因する１つ以上の機械学習ツールまたは能力をさらに含み得る。代替として、または加えて、本開示（または本開示のシステムおよび方法の一部）は、ローカル処理デバイス（例えば、ラップトップ）上で実施され得る。
上記のデバイス、ツール、およびモジュールのうちのいずれかは、１つ以上のコンピュータ、サーバ、および／またはハンドヘルドモバイルデバイスを通して、インターネットまたはクラウドサービスプロバイダ等の電子ネットワーク１２０に接続され得るデバイス上に位置し得る。
図１Ｃは、本開示の例示的実施形態による、スライド優先順位付けツール１０１の例示的ブロック図を図示する。スライド優先順位付けツール１０１は、訓練画像プラットフォーム１３１および／または標的画像プラットフォーム１３５を含み得る。
訓練画像プラットフォーム１３１は、訓練画像取り込みモジュール１３２、標識処理モジュール１３３、および／または優先順位付けランクモジュール１３４を含み得る。
訓練画像プラットフォーム１３１は、デジタル病理学画像を効果的に分析および分類するために、機械学習モデルおよび／またはシステムを訓練するために使用される訓練画像を作成または受信し得る。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信され得る。訓練のために使用される画像は、現実ソース（例えば、ヒト、動物等）からのものであり得るか、または、合成ソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデル等）からのものであり得る。デジタル病理学画像の例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリンのみ、ＩＨＣ、分子病理学等の種々の染色を用いて染色されたデジタル化スライド、および／または、（ｂ）マイクロＣＴ等の３Ｄ撮像デバイスからのデジタル化組織サンプルを含み得る。
訓練画像取り込みモジュール１３２は、ヒト組織の画像および／またはグラフィカルにレンダリングされた画像に対応する１つ以上の訓練画像を備えているデータセットを作成または受信し得る。例えば、訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信され得る。このデータセットは、デジタル記憶デバイス上に保たれ得る。標識処理モジュール１３３は、各訓練画像に関して、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識を決定し得る。優先順位付けランクモジュール１３４は、組織の画像を処理し、各訓練画像に関する予測される優先順位付けランクを決定し得る。
一実施形態によると、標的画像プラットフォーム１３５は、標的画像取り込みモジュール１３６と、優先順位付け値モジュール１３７と、出力インターフェース１３８とを含み得る。標的画像プラットフォーム１３５は、標的画像を受信し、機械学習モデルを標的画像に適用し、標的画像に関する優先順位付け値を計算し得る。例えば、標的画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信され得る。標的画像取り込みモジュール１３６は、標的試料に対応する標的画像を受信し得る。優先順位付け値モジュール１３７は、機械学習モデルを標的画像に適用し、標的画像に関する優先順位付け値を計算し得る。
出力インターフェース１３８は、標的画像および標的試料についての情報を（例えば、画面、モニタ、記憶デバイス、ウェブブラウザ等に）出力するために使用され得る。
図１Ｄは、デジタル病理学ワークフローにおいてスライドを優先順位付けするための例示的システムおよびワークフローの概略図を描写する。このワークフローでは、機械学習モデル１４２が、入力としてデジタル化症例およびスライド１４０を受信し得る。デジタル化症例およびスライド１４０は、患者の病理学スライドの画像および／または患者特性、治療歴、患者コンテキスト、スライドデータ等に関する電子データから成り得る。患者特性は、患者の年齢、身長、体重、家族病歴、アレルギー等を含み得る。治療歴は、患者に対して実施された試験、患者に対して実施された過去の手技、患者の放射線暴露等を含み得る。症例コンテキストは、症例／スライドが臨床研究、実験的治療、フォローアップ報告等の一部であるかどうかを指し得る。スライドデータは、実施された染色、組織スライスの場所、スライドが作製された時間／日付、スライドを作製した実験室等を含み得る。
機械学習モデル１４２は、デジタル化症例およびスライド１４０を使用して訓練され得る。訓練された機械学習モデル１４２は、１つ以上の優先順位付け値予測１４４を出力し得る。例えば、訓練された機械学習モデル１４２は、選択されたデジタル化症例／スライドに関する優先順位付け値１４４を発生させ得る。選択されたデジタル化症例／スライドは、入力されたデジタル化症例およびスライド１４０内に含まれない新しいまたは追加の症例／スライドであり得る。代替として、機械学習モデル１４２は、デジタル化症例およびスライド１４０の一部であった選択されたデジタル化症例／スライドに関する優先順位付け値を出力するためにも使用され得る。
優先順位付け順序１４６が、発生させられた優先順位付け値１４４に基づいて発生させられ得る。例えば、優先順位付け値１４４は、症例／スライドの組における各症例／スライドに関して、機械学習モデル１４２によって出力され得る。優先順位付け順序１４６は、次いで、病理医が精査するための症例の一覧表または処理予定表から成り得、症例は、各症例の優先順位付け値１４４に基づく順序でリストアップされる。症例の本優先順位付けは、病理医が、自身の症例をトリアージし、より高い緊急性または優先順位の症例を最初に精査することを可能にし得る。ある場合、優先順位付け順序１４６は、病理医の精査に先立って、調節され得る。例えば、症例の優先順位付け値１４４は、症例がある時間量を過ぎて待ち行列内にあった場合、または、追加の情報がその症例について受信された場合、増加し得る。図１Ｄの方法は、下記にさらに詳細に説明される。
図２は、本開示の例示的実施形態による、試料に対応するスライドの画像を処理し、スライドの処理を自動的に優先順位付けするためのツールの例示的方法を図示するフローチャートである。例えば、例示的方法２００（例えば、ステップ２０２－２０６）が、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、スライドの処理を自動的に優先順位付けする例示的方法２００は、以下のステップのうちの１つ以上を含み得る。ステップ２０２において、方法は、標的試料に対応するスライドの標的画像を受信することを含み、標的試料は、患者の組織サンプルを備え得る。例えば、標的画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信され得る。
ステップ２０４において、方法は、機械学習モデルを使用して、標的画像の優先順位付け値を計算することを含み、機械学習モデルは、複数の訓練画像を処理することによって発生させられており、各訓練画像は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および／または分析難度のうちの少なくとも１つを特徴付ける標識とを備え得る。標識は、さらなる調製が標的電子画像に関して実施される可能性に対応する調製値を含み得る。さらなる調製は、試料再切断、免疫組織化学染色、追加の診断試験、追加の協議、および／または特殊な染色のうちの少なくとも１つに基づいて、標的画像に関して実施され得る。標識は、標的画像の診断特徴を含み、診断特徴は、癌の存在、癌の悪性度、治療効果、前癌病変、および／または感染性生物の存在のうちの少なくとも１つを備え得る。標的画像の優先順位付け値は、第１のユーザに関する標的画像の第１の優先順位付け値と、第２のユーザに関する標的画像の第２の優先順位付け値とを含み得、第１の優先順位付け値は、第１のユーザの選好に基づいて決定され得、第２の優先順位付け値は、第２のユーザの選好に基づいて決定され得る。標識は、走査線、欠落した組織、および／またはぼけのうちの少なくとも１つに対応するアーチファクト標識を含み得る。
訓練画像は、サーバシステム１１０、医師サーバ１２１、病院サーバ１２２、臨床治験サーバ１２３、研究実験室サーバ１２４、および／または実験室情報システム１２５のうちのいずれか１つまたは任意の組み合わせから受信され得る。このデータセットは、デジタル記憶デバイス上に保たれ得る。訓練のために使用される画像は、現実ソース（例えば、ヒト、動物等）からのものであり得るか、または、合成ソース（例えば、グラフィックスレンダリングエンジン、３Ｄモデル等）からのものであり得る。デジタル病理学画像の例は、（ａ）（限定ではないが）Ｈ＆Ｅ、ヘマトキシリンのみ、ＩＨＣ、分子病理学等の種々の染色を用いて染色されたデジタル化スライド、および／または、（ｂ）マイクロＣＴ等の３Ｄ撮像デバイスからのデジタル化組織サンプルを含み得る。
ステップ２０６において、方法は、デジタル化病理学画像の一続きを出力することを含み得、一続きにおける標的電子画像の配置は、標的電子画像の優先順位付け値に基づく。
機械学習アルゴリズムおよび／またはアーキテクチャを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ（サポートベクターマシン）、ＭＬＰ（多層パーセプトロン））、および／または次元削減技法（例えば、ＰＣＡ（主成分分析）、ＬＤＡ（線形判別分析）等）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施され得る。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
１つ以上の実施形態によると、上記のアルゴリズム、アーキテクチャ、方法論、属性、および／または特徴のうちのいずれかが、他のアルゴリズム、アーキテクチャ、方法論、属性、および／または特徴のうちのいずれかまたは全てと組み合わせられ得る。例えば、機械学習アルゴリズムおよび／またはアーキテクチャ（例えば、ニューラルネットワーク方法、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）等）のうちのいずれかは、訓練方法論（例えば、複数インスタンス学習、強化学習、能動学習等）のうちのいずれかを用いて訓練され得る。
下記の用語の説明は、単に、例示的であり、いかようにも用語を限定することを意図していない。
標識は、アルゴリズムが予測しようと試みている機械学習アルゴリズムへの入力についての情報を指し得る。
サイズＮ×Ｍの所与の画像に関して、セグメンテーションは、元の画像における各ピクセルに関して、そのピクセルのクラスまたはタイプを記述する番号を割り当てるサイズＮ×Ｍの別の画像であり得る。例えば、ＷＳＩにおいて、マスクにおける要素は、例えば、背景、組織、および／または未知のクラスに属するものとして入力画像内の各ピクセルを分類し得る。
スライドレベル情報は、一般に、スライドについての情報を指すが、必ずしも、スライド内のその情報の具体的場所を指すわけではないこともある。
ヒューリスティックは、入力を前提として、出力を決定論的に生成する論理ルールまたは関数を指し得る。例えば、あるスライドが別のスライドより優先されるべきであるという予測が、３２％以上の場合、１を出力し、該当しない場合、０を出力する。
埋め込みは、低次元データの概念的高次元数値表現を指し得る。例えば、ＷＳＩが、組織タイプを分類するためにＣＮＮ訓練に通される場合、ネットワークの最後の層上の数字は、スライドについての情報（例えば、組織のタイプについての情報）を含む数字のアレイ（例えば、数千のオーダー）を提供し得る。
スライドレベル予測は、全体としてのスライドについての具体的予測を指し得る。例えば、スライドレベル予測は、スライドが別のスライドより優先されるべきであることであり得る。さらに、スライドレベル予測は、定義されたクラスの組に対する個々の確率予測を指し得る。
分類器は、入力データをとり、それをカテゴリに関連付けるように訓練されたモデルを指し得る。
１つ以上の実施形態によると、機械学習モデルは、異なる方法で訓練され得る。例えば、機械学習モデルの訓練は、教師あり訓練、半教師あり訓練、教師なし訓練分類器訓練、混合訓練、および／または不確実性推定のうちのいずれか１つまたは任意の組み合わせによって実施され得る。使用される訓練のタイプは、データの量、データのタイプ、および／またはデータの品質に依存し得る。下記の表１は、いくつかのタイプの訓練および対応する特徴の非限定的リストを説明する。
教師あり訓練は、機械学習モデルに関するシードを提供するための少量のデータとともに使用され得る。教師あり訓練では、機械学習モデルは、特定のアイテム（例えば、気泡、組織ひだ等）を探し、スライドをフラグ付けし、特定のアイテムがスライド内に存在する量を定量化し得る。
一実施形態によると、例示的完全教師あり訓練は、入力としてＷＳＩをとり得、セグメンテーションの標識を含み得る。完全教師あり訓練に関するパイプラインは、（１）１；（２）１，ヒューリスティック；（３）１，４，ヒューリスティック；（４）１，４，５，ヒューリスティック；および／または、（５）１，５，ヒューリスティックを含み得る。完全教師あり訓練の利点は、（１）それがより少ないスライドを要求し得ること、および／または、（２）出力が解説可能であること（（ａ）診断に寄与した画像のエリアが把握され得、（ｂ）あるスライドが別のものより優先される理由（例えば、診断値、分析難度等）が把握され得るので）であり得る。完全教師あり訓練を使用する不利点は、それが、入手することが困難であり得る大量のセグメンテーションを要求し得ることであり得る。
一実施形態によると、例示的半教師あり（例えば、弱教師あり）学習が、入力としてＷＳＩをとり得、スライドレベル情報の標識を含み得る。半教師あり訓練に関するパイプラインは、（１）２；（２）２，ヒューリスティック；（３）２，４，ヒューリスティック；（４）２，４，５，ヒューリスティック；および／または、（５）２，５，ヒューリスティックを含み得る。半教師あり訓練を使用する利点は、（１）要求される標識のタイプが、多くの病院記録に存在し得ること、および、（２）出力が解説可能であること（（ａ）診断に最も寄与した画像の面積が把握され得、（ｂ）あるスライドが別のものより優先された理由（例えば、診断値、分析難度等）が把握され得るので）であり得る。半教師あり訓練を使用する不利点は、それが訓練しにくくあり得ることである。例えば、モデルは、決定につながるはずである情報が存在するスライド内の場所についての限定された情報が、存在するという事実を考慮するために、複数インスタンス学習、能動学習、および／または分散訓練等の訓練スキームを使用する必要があり得る。
一実施形態によると、例示的教師なし訓練は、入力としてＷＳＩをとり得、いかなる標識も要求しないこともある。教師なし訓練に関するパイプラインは、（１）３，４；および／または、（２）３，４，ヒューリスティックを含み得る。教師なし訓練の利点は、それがいかなる標識も要求しないことであり得る。教師なし訓練を使用する不利点は、（１）これが訓練しにくくあり得ることであり得る。例えば、それは、決定につながるはずである情報が存在するスライド内の場所についての限定された情報が、存在する、（２）それが、追加のスライドを要求し得る、および／または、（３）それが、予測が行われた理由を解説することなく、その予測および確率を出力し得るので、それが、あまり解説可能ではないこともあるという事実を考慮するために、複数インスタンス学習、能動学習、および／または分散訓練等の訓練スキームを使用する必要があり得る。
一実施形態によると、例示的混合訓練は、完全教師あり訓練、半教師あり訓練、および／または教師なし訓練に関して上で説明される例示的パイプラインのうちのいずれかを訓練することを含み、次いで、結果として生じるモデルを、訓練方法のうちのいずれかに関する初期点として使用し得る。混合訓練の利点は、（１）それがより少ないデータを要求し得ること、（２）それが改良された性能を有し得ること、および／または、（３）それが異なるレベルの標識（例えば、セグメンテーション、スライドレベル情報、情報なし）の混合を可能にし得ることであり得る。混合訓練の不利点は、（１）それがより複雑であること、および／または訓練することが高価であり得ること、および／または、（２）それが、潜在的バグの数および複雑性を増加させ得るより多くのコードを要求し得ることであり得る。
一実施形態によると、例示的不確実性推定は、パイプラインの末端において不確実性推定を使用して、スライドデータに関連する任意のタスクに関して、完全教師あり訓練、半教師あり訓練、および／または教師なし訓練に関して上で説明される例示的パイプラインのうちのいずれかを訓練すること含み得る。さらに、ヒューリスティックまたは分類器が、試験の予測における不確実性の量に基づいて、あるスライドが別のものより優先されるべきであるかどうかを予測するために使用され得る。不確定性推定の利点は、それが分布外データに対してロバストであることであり得る。例えば、見慣れないデータが、提示されるとき、それは、依然として、それが不確実であることを正しく予測し得る。不確定性推定の不利点は、（１）それがより多くのデータを必要とし得ること、（２）それが不良な全体的性能を有し得ること、および／または、（３）モデルが必ずしもスライドまたはスライド埋め込みが異常である程度を識別しないこともあるので、それがあまり解説可能ではないこともあることであり得る。
一実施形態によると、アンサンブル訓練は、上で説明される例示的パイプラインのうちのいずれかによって生成されるモデルを同時に実行することと、ヒューリスティックまたは分類器による出力を組み合わせ、ロバストかつ正確な結果を生成することとを含み得る。アンサンブル訓練の利点は、（１）それが分布外データに対してロバストであること、および／または、（２）それが他のモデルの利点および不利点を組み合わせ、不利点の最小化をもたらし得ること（例えば、不確定性推定モデルと組み合わせられる教師あり訓練モデル、および着信データが分布内にあるときに教師ありモデルを使用し、データが分布外にあるときに不確実性モデルを使用するヒューリスティック等）であり得る。アンサンブル訓練の不利点は、（１）それがより複雑であり得ること、および／または、（２）それが訓練および実行することが高価であり得ることであり得る。
本明細書に議論される訓練技法は、段階的にも進み得、より多くの注釈を伴う画像（それらは、より少ない注釈を有するスライドを使用するより効果的な後の訓練を可能にし得る）が、訓練のために最初に使用され、あまり監督されない、等。
訓練は、使用され得る全ての訓練スライド画像に対して、最も徹底的に注釈を付けられたスライドを使用して開始され得る。例えば、訓練は、教師あり学習を使用して開始され得る。スライド画像の第１の組が、関連付けられた注釈とともに、受信または決定され得る。各スライドは、マーキングおよび／またはマスクされた領域を有し得、スライドが別のものより優先されるべきかどうか等の情報を含み得る。スライドの第１の組は、スライドの第１の組とそれらの関連付けられた注釈との間の相関を決定し得る訓練アルゴリズム、例えば、ＣＮＮに提供され得る。
画像の第１の組を用いた訓練が、完了された後、第１の組より少ない注釈を有する、例えば、部分的注釈を伴うスライド画像の第２の組が、受信または決定され得る。一実施形態では、注釈は、スライドが診断またはこれに関連付けられた品質問題点を有することを示すのみであり得、見出され得る疾患の内容または場所等を規定しないこともある。スライド画像の第２の組は、第１のものと異なる訓練アルゴリズム、例えば、複数インスタンス学習を使用して訓練され得る。訓練データの第１の組は、システムを部分的に訓練するために使用され得、第２の訓練ラウンドを正確なアルゴリズムを生成することにおいてより効果的にし得る。
このように、訓練は、訓練スライド画像の品質およびタイプに基づいて、任意の数のアルゴリズムを使用して、任意の数の段階において進み得る。これらの技法は、様々な品質、注釈レベル、および／または注釈タイプであり得る画像の複数の訓練組が受信される状況において利用され得る。
図３は、複数の病理学スライドを分析する順序を決定する例示的方法を図示する。例えば、例示的方法３００および３２０（例えば、ステップ３０１－３２５）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、複数の病理学スライドを分析する順序を決定する例示的方法３００は、下記のステップのうちの１つ以上を含み得る。ステップ３０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたる１つ以上のデジタル化病理学画像のデータセットを作成することを含み得る。ステップ３０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。ステップ３０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。
ステップ３０７において、方法は、入力として病理学試料の１つ以上のデジタル画像をとり、各デジタル画像に関する優先順位付けランクを予測するための計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図３の機械学習アルゴリズムにも適用され得る。
スライド優先順位付けツールを使用する例示的方法３２０は、下記のステップのうちの１つ以上を含み得る。ステップ３２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ３２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法３００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。
ステップ３２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。なお別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたは組織ブロックレベルにおけるソートの可視化を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。
上で説明されるスライド優先順位付けツールは、研究および／または生産／臨床／産業設定において使用可能な特定の用途または実施形態を含み得る。実施形態は、開発および使用の種々の段階において生じ得る。ツールは、下記の実施形態のうちの１つ以上を採用し得る。
一実施形態によると、優先順位付けは、品質制御に基づき得る。品質制御問題点は、診断を下す病理医の能力に影響を及ぼし得る。言い換えると、品質制御問題点は、症例に関する検査所要時間を増加させ得る。例えば、不良に調製および走査されたスライドが、品質制御問題点が見出される前、病理医の待ち行列に送信され得る。一実施形態によると、検査所要時間は、それが病理医の待ち行列に到達する前、品質制御問題点を識別することによって短縮され、したがって、病理学診断ワークフローにおいて時間を節約し得る。例えば、本実施形態は、品質制御問題点を伴う症例／スライドを識別およびトリアージし、スライドが病理医に到達する前、問題を実験室および走査装置技師にシグナリングし得る。ワークフローにおけるより早期のこの品質制御捕捉は、効率を改良し得る。
図４は、品質制御優先順位付けツールを開発する例示的方法を図示する。例えば、例示的方法４００および４２０（例えば、ステップ４０１－４２５）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、品質制御優先順位付けツールを開発する例示的方法４００は、下記のステップのうちの１つ以上を含み得る。ステップ４０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ４０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。追加の例示的標識は、限定ではないが、走査アーチファクト（例えば、走査線、欠落した組織、ぼけ等）およびスライド調製アーチファクト（例えば、折り畳まれた組織、不良な染色、損傷したスライド、マーキング等）を含み得る。ステップ４０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。
ステップ４０７において、方法は、入力として病理学試料の１つ以上のデジタル画像をとる計算病理学ベースの機械学習アルゴリズムを訓練し、各デジタル画像に関する優先順位付けランクを予測することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図４の機械学習アルゴリズムにも適用され得る。
品質制御優先順位付けツールを使用する例示的方法４２０は、下記のステップのうちの１つ以上を含み得る。ステップ４２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ４２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法４００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。
ステップ４２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたは組織ブロックレベルにおけるソートの可視化を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。なお別の出力は、具体的品質制御問題点の識別および／または識別された品質制御問題点に対処するためのアラートを含み得る。例えば、品質制御メトリックが、各スライドに関して計算され得る。品質制御メトリックは、品質制御問題点の存在および／または重大度を示し得る。アラートは、特定の人員に伝送され得る。例えば、このステップは、識別された品質制御問題点に関連付けられた人員を識別し、識別された人員のためのアラートを発生させることを含み得る。アラートの別の側面は、品質制御問題点が診断を下すことに影響を及ぼすかどうかを判別するステップを含み得る。いくつかの実施形態では、アラートは、識別された品質制御問題点が、診断を下すことに影響を及ぼす場合にのみ発生またはプロンプトされ得る。例えば、アラートは、品質制御問題点に関連付けられた品質制御メトリックが所定の品質制御メトリック閾値を超える場合にのみ、発生させられ得る。
一実施形態によると、優先順位付けが、効率を増加させるように設計され得る。現在、殆どの機関および実験室は、各病理医に関して標準化された検査所要時間期待値を有する。時間は、病理学試料の到達の時点から、一次病理医によるサインアウトまで測定され得る。実践では、病理医は、最終診断を下す前、いくつかの症例に関するより多くの情報に関する追加の染色または再切断を指示し得る。追加の染色または再切断指示は、ある病理学下位専門領域においてより多数であり得る。追加の指示は、検査所要時間を増加させ、したがって、患者に影響を及ぼし得る。本実施形態は、例えば、追加の染色または再切断が、病理医精査に先立って順序付けられ得るように、または、病理医が、そのようなスライドをより早く精査し、追加の染色または再切断をより早く順序付けし得るように、精査のためにこれらのタイプの下位専門領域症例を優先順位付けし得る。そのような優先順位付けは、検査所要時間を短縮し、スライド精査の効率を上げ得る。
図５は、効率優先順位付けツールを開発する例示的方法を図示する。例えば、例示的方法５００および５２０（例えば、ステップ５０１－５２５）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、効率優先順位付けツールを開発する例示的方法５００は、下記のステップのうちの１つ以上を含み得る。ステップ５０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ５０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。追加の例示的標識は、限定ではないが、以下のスライド調製標識を含み得る：（１）試料再切断の可能性の高い必要性、（２）免疫組織化学染色の可能性の高い必要性、（３）追加の診断試験（例えば、ゲノム試験）の可能性の高い必要性、（４）セカンドオピニオン（協議）の可能性の高い必要性、および／または、（５）特殊な染色の可能性の高い必要性。
ステップ５０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。ステップ５０７において、方法は、入力として病理学試料の１つ以上のデジタル画像をとり、次いで、各デジタル画像に関する優先順位付けランクを予測する計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図５の機械学習アルゴリズムにも適用され得る。
効率優先順位付けツールを使用する例示的方法５２０は、下記のステップのうちの１つ以上を含み得る。ステップ５２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ５２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法５００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。
ステップ５２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたはブロックレベルにおけるソートの可視化を含み得る。なお別の出力は、染色または再切断場所推奨を含み得る。なお別の出力は、予測される染色順序、再切断順序、試験、または協議の順序または「前順序」を発生させることを含み得る。
一実施形態によると、スライド優先順位付けは、診断特徴に基づき得る。病理医は、様々な経験の年数およびタイプおよびリソースへのアクセスのレベルを有し得る。一般的な病理医は、例えば、多様な診断を伴う幅広い範囲の試料タイプを精査し得る。症例数の増加および新しい病理医の減少とともに、現場の病理医は、多様かつ大量の症例を精査することを強制され得る。以下の実施形態は、症例／スライドをトリアージすることにおいて病理医を支援するための特徴識別を含み得る。特徴識別は、そうでなければ見落とされ得る、または見過ごされ得る画像特徴であるデジタル化病理学スライド／症例画像における画像特徴に関する視覚的支援を含み得る。
図６は、診断特徴優先順位付けツールを開発する例示的方法を図示する。例えば、例示的方法６００および６２０（例えば、ステップ６０１－６２５）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、診断特徴優先順位付けツールを開発する例示的方法６００は、下記のステップのうちの１つ以上を含み得る。ステップ６０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ６０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を含み得る。追加の例示的診断特徴標識は、限定ではないが、癌の存在、癌の悪性度、外科手術マージンに近接する癌、治療効果、前癌病変、および感染性生物（例えば、ウイルス、真菌、細菌、寄生虫等）の存在を示唆する特徴を含み得る。ステップ６０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。
ステップ６０７において、方法は、入力として病理学試料の１つ以上のデジタル画像をとり、次いで、各デジタル画像に関する優先順位付けランクを予測する計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図６の機械学習アルゴリズムにも適用され得る。
診断特徴優先順位付けツールを使用する例示的方法６２０は、下記のステップのうちの１つ以上を含み得る。ステップ６２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ６２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法６００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。この症例におけるランク順序または統計値は、デジタル病理学画像内で検出される診断特徴に関連付けられた統計値を含み得る。
ステップ６２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたはブロックレベルにおけるソートの可視化を含み得る。なお別の出力は、１つ以上の識別された診断特徴に関するリスト、視覚的指示、またはアラートを含み得る。一実施形態は、ユーザが精査の優先順位付けのために診断特徴のうちの１つ（または任意の組み合わせ）を選択するためのオプションまたはメニューインターフェースを含み得る。
一実施形態によると、スライド優先順位付けは、緊急性に基づき得る。診断は、患者の医療プロセスに対して重要であり得る。症例の臨床緊急性に基づいて病理学精査／診断を優先順位付けすることは、外科医と、病理医と、臨床医と、患者との間のやり取りを合理化し得る。緊急性は、多くの臨床シナリオが、自身の身体における「腫瘤」を提示する、いかなる癌の既往歴も伴わない患者を伴うので、検出しにくくあり得る。結果は、初めての予期せぬ癌診断であり得る。いかなる知識も存在しない、または利用不可能であるような場合、「ユーザ入力」が、症例が「緊急」と見なされるときを定義し得る。例えば、臨床医が、病理医に電話し、所与の症例が緊急であることを示し得る。そのような状況では、人物／臨床医は、症例が急を要することを要求していることもある。現在、臨床医は、「急を要する」ステータスを有するものとして試料を手動で標識化し得る。試料は、新しく疑わしい癌診断を伴う患者からの「腫瘤」を備え得る。急を要するステータスは、試料／症例を取り扱う病理医に伝えられ得る。病理医が、完成されたスライドの組を受け取ると、病理医は、「急を要する」試料に関連付けられたスライドを精査することを優先し得る。
図７は、ユーザ入力ベースの優先順位付けツールを開発する例示的方法を図示する。例えば、例示的方法７００および７２０（例えば、ステップ７０１－７２５）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、ユーザ入力ベースの優先順位付けツールを開発する例示的方法７００は、下記のステップのうちの１つ以上を含み得る。ステップ７０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ７０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。追加の例示的ユーザベースの優先順位標識は、患者緊急性、臨床的問題に対する診断関連性、臨床治験登録、提示されるリスク因子、および／またはユーザ入力を含み得る。ステップ７０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。
ステップ７０７において、方法は、入力として病理学試料の１つ以上のデジタル画像をとり、次いで、各デジタル画像に関する優先順位付けランクを予測する計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は図７の機械学習アルゴリズムにも適用され得る。
ユーザ入力ベースの優先順位付けツールを使用するための例示的７２０は、下記のステップのうちの１つ以上を含み得る。ステップ７２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ７２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法７００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。この症例におけるランク順序または統計値は、デジタル病理学画像内で検出される診断特徴に関連付けられた統計値を含み得る。
ステップ７２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたはブロックレベルにおけるソートの可視化を含み得る。なお別の出力は、決定されたランク順序または統計値（例えば、ステップ７２５）に基づく、症例完了に関する時間推定値を含み得る。時間推定値は、方法７００のアルゴリズムおよびスライド調製または処理に関する待ち行列内の他のスライド／症例に基づき得る。出力は、時間推定値を医師に提供することを含み得る。さらなる実施形態は、報告、診断、またはスライド調製が完了されると、委託医師に通知することを含み得る。
図８は、本開示の例示的実施形態による、機関の要求される症例あたり検査所要時間（例えば、４８時間）、患者緊急性必要性、スタッフ配置制約等を満たすために症例を優先順位付けし、病理医に分配する例示的方法を図示する。例えば、例示的方法８００および８２０（例えば、ステップ８０１－８２５）は、自動的に、ユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、方法は、機関の要求される症例あたり検査所要時間（例えば、４８時間）、患者緊急性必要性、スタッフ配置制約等を満たすために症例を優先順位付けし、病理医に分配することを含み得る。図８に図示されるように、症例割り当て優先順位付けツールを開発する例示的方法８００は、下記のステップのうちの１つ以上を含み得る。ステップ８０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ８０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。ステップ８０３は、追加の入力、例えば、機関／実験室ネットワーク／組織学実験室／病理医要件および／または制約を受信することを含み得る。ステップ８０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。
ステップ８０７において、方法は、入力として、（１）病理学試料の１つ以上のデジタル画像、および／または、（２）システム／ワークフロー要件／制約をとり、次いで、各デジタル画像（例えば、ステップ８０７）に関して優先順位付けランクを予測する計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図８の機械学習アルゴリズムにも適用され得る。
症例割り当て優先順位付けツールを使用する例示的方法８２０は、下記のステップのうちの１つ以上を含み得る。ステップ８２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ８２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法８００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。この症例におけるランク順序または統計値は、デジタル病理学画像内で検出される診断特徴に関連付けられた統計値を含み得る。
ステップ８２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたはブロックレベルにおけるソートの可視化を含み得る。なお別の出力は、病理学または下位専門領域医療チーム内または病理医のネットワーク内で症例の分配および／または割り当てを発生させることを含み得る。さらなる実施形態は、症例を具体的病理医または病理医の組に割り当てることを含み得る。発生させられた分配または割り当ては、医師利用可能性、以前の経験レベル、医療専門分野、患者名簿、および／または機関／実験室要件および制約に基づいて、最適化され得る。
図９は、本開示の例示的実施形態による、それが病理医から学習するパターンに基づいて、優先順位付けシステムを継続的に学習および最適化する例示的方法を図示する。例えば、例示的方法９００および９２０（例えば、ステップ９０１－９２５）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。この学習および最適化プロセスは、ツールが使用されている間に行われ得る。そのような継続的学習および最適化は、病理医が、自身の選好（例えば、容易な症例の前に困難な症例を閲覧すること）および習慣（例えば、特定の試料に関してある染色の指示をすること）に合わせられた優先順位付けツールを体験することを可能にし得る。
一実施形態によると、個人化されたツールを開発する例示的方法９００は、下記のステップのうちの１つ以上を含む。ステップ９０１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ９０３において、方法は、データセットの各病理学画像に関する１つ以上の標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。ステップ９０３は、追加の入力、例えば、ユーザアクション、入力（例えば、選好）、またはパターンを受信または検出することを含み得る。ステップ９０５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。
ステップ９０７において、方法は、入力として、（１）病理学試料の１つ以上のデジタル画像、および／または、（２）ユーザアクション、入力、またはパターンをとり、次いで、各デジタル画像（例えば、ステップ９０７）に関して優先順位付けランクを予測する計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図９の機械学習アルゴリズムにも適用され得る。
ツールを使用する例示的方法９２０は、下記のステップのうちの１つ以上を含み得る。ステップ９２１において、方法は、ユーザに対応するデジタル病理学画像を受信することを含み得る。ステップ９２３において、方法は、受信されたデジタル病理学画像に関連付けられたスライドおよび／または症例に関するランク順序または統計値を決定することを含み得る。ランク順序または統計値は、訓練された計算病理学機械学習アルゴリズム（例えば、方法９００のもの）を受信された画像に適用することによって決定され得る。ランク順序または統計値は、受信された画像に関連付けられたスライドまたは受信された画像に関連付けられた症例に関する精査または追加のスライド調製を優先順位付けするために使用され得る。この症例におけるランク順序または統計値は、デジタル病理学画像内で検出される診断特徴に関連付けられた統計値を含み得る。
ステップ９２５において、方法は、ランク順序または統計値を出力することを含み得る。１つの出力は、選好、ヒューリスティック、統計、ユーザの目的（例えば、効率、難度、緊急性等）に基づく順序における１つ以上の変化の決定および／または表示を含み得る。代替として、または加えて、出力は、発生させられた順序に基づく症例レベルにおける受信された画像の視覚的ソートを含み得る。例えば、そのような視覚的ソートは、標的特徴に関する最大または最小スライド確率に基づいて、標的特徴に関する全てのスライドにわたる平均確率に基づいて、標的特徴を示すスライドの未加工の数に基づいて順序付けられる症例のソート等を備えている表示を含み得る。視覚的ソートは、ユーザによって、および／または計算的に実施され得る。別の出力は、発生させられた順序に基づく各症例内のスライドレベルまたはブロックレベルにおけるソートの可視化を含み得る。なお別の出力は、例えば、個々の病理医の選好、強み、弱み、利用可能性等に基づいて、病理医または下位専門領域医療チーム内または病理医のネットワーク内で症例の分配および／または割り当てを発生させることを含み得る。
一実施形態によると、方法は、病理医、医学生、病理学研修医、研究者等を教育および評価するために最適化することを含み得る。熟練した病理医になるために、医学生および病理学研修医は、この技能において熟達した状態になるために多くのスライドまたはスライド画像を見ることもある。本実施形態は、最も教育的な利益を提供するデジタル病理学画像をユーザに提示することによって、この学習プロセスをより効率的にすることを目標とする。例えば、提示される病理学画像は、ある疾患の原型、または疾患を検出することにおける混乱／エラーの共通点を表示し得る。本実施形態は、医師が間隔反復機構から、またはそれを使用することによって最も学習する必要性があり得る画像を予測および選択することを対象とし得る。画像に関する予測される教育的価値が、画像を分類することの困難の程度、ユーザが以前に画像の画像特性を識別することにおいて、または画像に基づく自身の診断において誤ったかどうか、ユーザがその画像に関する自身の知識を新たにするべきかどうか、機械学習モデル（例えば、能動学習またはユーザのモデル）を使用すること等の関数に基づいて計算され得る。
図１０は、本開示の例示的実施形態による、教育的病理学スライド優先順位付けツールを発生させ、使用する例示的方法を図示する。例えば、例示的方法１０００および１０２０（例えば、ステップ１００１－１０２７）は、自動的に、またはユーザ（例えば、医師、病理医等）からの要求に応答して、スライド優先順位付けツール１０１によって実施され得る。
一実施形態によると、教育的ツールを開発する例示的方法１０００は、下記のステップのうちの１つ以上を含み得る。ステップ１００１において、方法は、癌サブタイプおよび組織試料（例えば、組織学、細胞学、血液学、マイクロＣＴ等）にわたるデジタル化病理学画像のデータセットを作成することを含み得る。ステップ１００３において、方法は、データセットの各病理学画像に関する１つ以上の画像特性標識（例えば、スライド形態、診断、結果、難度等）を受信または決定することを含み得る。ステップ１００５において、方法は、デジタル記憶デバイス（例えば、ハードドライブ、ネットワークドライブ、クラウド記憶装置、ＲＡＭ等）内に各画像およびその対応する標識を記憶することを含み得る。ステップ１００７において、方法は、入力として、病理学試料の１つ以上のデジタル画像をとり、次いで、各デジタル画像に関する教育的価値を予測する計算病理学ベースの機械学習アルゴリズムを訓練することを含み得る。機械学習アルゴリズムを実装するための異なる方法は、限定ではないが、（１）ＣＮＮ（畳み込みニューラルネットワーク）、（２）ＭＩＬ（複数インスタンス学習）、（３）ＲＮＮ（回帰型ニューラルネットワーク）、（４）ＣＮＮを介した特徴集約、および／または、（５）特徴抽出を含み、アンサンブル方法（例えば、ランダムフォレスト）、線形／非線形分類器（例えば、ＳＶＭ、ＭＬＰ）、および／または次元削減技法（例えば、ＰＣＡ、ＬＤＡ）が続き得る。例示的特徴は、ＣＮＮからのベクトル埋め込み、ＣＮＮからの単一／多クラス出力、および／またはＣＮＮからの多次元出力（例えば、元の画像のマスクオーバーレイ）を含み得る。ＣＮＮは、ピクセルから直接分類タスクに関する特徴表現を学習し得、それは、より良好な診断性能につながり得る。領域またはピクセル毎の標識に関する詳細な注釈が利用可能であるとき、ＣＮＮは、大量の標識化されたデータが存在する場合、直接訓練され得る。しかしながら、標識が全体的スライドレベルにおいて、またはグループ（病理学では、「パート」と呼ばれ得る）内のスライドの集合にわたってしかないとき、ＭＩＬは、ＣＮＮまたは別のニューラルネットワーク分類器を訓練するために使用され得、ＭＩＬは、網羅的な注釈を伴わずに学習する能力につながる分類タスクに関する診断である画像領域を学習する。ＲＮＮは、それが、次いで、予測を行うために処理する複数の画像領域（例えば、タイル）から抽出される特徴上で使用され得る。他の機械学習方法、例えば、ランダムフォレスト、ＳＶＭ、および多数のその他が、ＣＮＮ、ＭＩＬを伴うＣＮＮによって学習された特徴または手作りの画像特徴（例えば、ＳＩＦＴまたはＳＵＲＦ）の使用のいずれかとともに使用され、分類タスクを行い得るが、それらは、ピクセルから直接訓練されるとき、不良に実施され得る。これらの方法は、利用可能な大量の注釈付き訓練データが存在するとき、ＣＮＮベースのシステムと比較して、不良に実施される傾向がある。次元削減技法は、言及される分類器のうちのいずれかを使用する前、前処理ステップとして使用され得、それは、利用可能なデータが殆ど存在しない場合、有用であり得る。
図２（例えば、表１および対応する説明）に関する機械学習アルゴリズムの上記説明は、図１０の機械学習アルゴリズムにも適用され得る。
教育的ツールを使用する例示的方法１０２０は、下記のステップのうちの１つ以上を含み得る。ステップ１０２１において、方法は、ユーザ（例えば、病理学実習生）に、教育的価値を有することが予測される病理学画像を表示することを含み得る。ステップ１０２３において、方法は、画像の１つ以上の特性を表すユーザ入力を受信することを含み得る。ユーザ入力は、画像特性、例えば、癌の悪性度の推定値を含み得る。ステップ１０２５において、方法は、ユーザの入力を記憶することおよび／または表示される画像に関連付けられる画像難度メトリックを改訂することを含み得る。ツールは、記憶された画像特性に対するユーザの入力のスコアをさらに記憶し得る。
ステップ１０２７において、ツールは、ユーザ入力が正しかったかどうかに関するフィードバックをユーザに提供し得る。フィードバックは、画像特性の自身の識別を改良することにおいてユーザを支援するためのインジケータをさらに含み得る。記憶された画像特性の例示的インジケータは、例えば、癌を伴う領域を強調することによって、ユーザが重要な画像特性を識別するために見るべきであった場所を表し得る。これらのインジケータは、ユーザが、ユーザが見ておくべきであった場所を学習することに役立ち得る。フィードバックはさらに、ユーザが改良を加え得る診断エリア、例えば、ユーザが一貫して重要な画像特性を識別することができない場所を識別し得る。このツール使用は、反復性であり得る。例えば、ツールは、記憶された画像特性を識別するユーザの能力（または無能）に基づいて、ユーザコマンドに基づいて、またはそれらの組み合わせのいずれかで、別の画像を表示することによってユーザを訓練し得る。
図１１に示されるように、デバイス１１００は、中央処理ユニット（ＣＰＵ）１１２０を含み得る。ＣＰＵ１１２０は、例えば、任意のタイプの専用または汎用マイクロプロセッサデバイスを含む任意のタイプのプロセッサデバイスであり得る。当業者によって理解されるであろうように、ＣＰＵ１１２０は、マルチコア／マルチプロセッサシステムにおけるシングルプロセッサでもあり、そのようなシステムは、単独で、またはクラスタまたはサーバファームにおいて動作するコンピューティングデバイスのクラスタにおいて動作し得る。ＣＰＵ１１２０は、データ通信インフラストラクチャ１１１０、例えば、バス、メッセージキュー、ネットワーク、またはマルチコアメッセージパッシングスキームに接続され得る。
デバイス１１００は、主要メモリ１１４０、例えば、ランダムアクセスメモリ（ＲＡＭ）も含み得、デバイス１１００は、二次メモリ１１３０も含み得る。二次メモリ１１３０、例えば、読み取り専用メモリ（ＲＯＭ）は、例えば、ハードディスクドライブまたはリムーバブル記憶ドライブであり得る。そのようなリムーバブル記憶ドライブは、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光学ディスクドライブ、フラッシュメモリ、または同等物を備え得る。この例におけるリムーバブル記憶ドライブは、周知の様式でリムーバブル記憶ユニットから読み取る、および／またはそれに書き込む。リムーバブル記憶ユニットは、リムーバブル記憶ドライブによって読み取られ、それに書き込まれる、フロッピー（登録商標）ディスク、磁気テープ、光学ディスク等を備え得る。当業者によって理解されるであろうように、そのようなリムーバブル記憶ユニットは、概して、その中にコンピュータソフトウェアおよび／またはデータを記憶したコンピュータ使用可能記憶媒体を含む。
代替実装では、二次メモリ１１３０は、コンピュータプログラムまたは他の命令がデバイス１１００にロードされることを可能にするための他の類似する手段を含み得る。そのような手段の例は、ソフトウェアおよびデータが、リムーバブル記憶ユニットからデバイス１１００に転送されることを可能にするプログラムカートリッジおよびカートリッジインターフェース（ビデオゲームデバイスにおいて見出されるもの等）、リムーバブルメモリチップ（ＥＰＲＯＭまたはＰＲＯＭ等）および関連付けられたソケット、および他のリムーバブル記憶ユニットおよびインターフェースを含み得る。
デバイス１１００はまた、通信インターフェース（「ＣＯＭ」）１１６０を含み得る。通信インターフェース１１６０は、ソフトウェアおよびデータが、デバイス１１００と外部デバイスとの間で転送されることを可能にする。通信インターフェース１１６０は、モデム、ネットワークインターフェース（イーサネット（登録商標）カード等）、通信ポート、ＰＣＭＣＩＡスロットおよびカード等を含み得る。通信インターフェース１１６０を介して転送されるソフトウェアおよびデータは、通信インターフェース１１６０によって受信されることが可能な電子、電磁、光学、または他の信号であり得る信号の形態であり得る。これらの信号は、例えば、ワイヤまたはケーブル、光ファイバ、電話回線、セルラー電話リンク、ＲＦリンク、または他の通信チャネルを使用して実装され得るデバイス１１００の通信経路を介して通信インターフェース１１６０に提供され得る。
デバイス１１００は、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイ等の入力および出力デバイスと接続するための入力および出力ポート１１５０も含み得る。当然ながら、種々のサーバ機能は、処理負荷を分散させるために、いくつかの類似するプラットフォーム上で分散方式で実装され得る。代替として、サーバは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装され得る。
本開示全体を通して、コンポーネントまたはモジュールの言及は、概して、機能または関連する機能の群を実施するために論理的に一緒に群化され得るアイテムを指す。同様の参照番号は、概して、同一または類似するコンポーネントを指すことを意図している。コンポーネントおよびモジュールは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせにおいて実装されることができる。
上で説明されるツール、モジュール、および機能は、１つ以上のプロセッサによって実施され得る。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る種々の半導体メモリ、テープドライブ、ディスクドライブ等、コンピュータ、プロセッサ等の有形メモリ、またはそれらの関連付けられるモジュールのうちのいずれかまたは全てを含み得る。
ソフトウェアは、インターネット、クラウドサービスプロバイダ、または他の電気通信ネットワークを通して通信され得る。例えば、通信は、１つのコンピュータまたはプロセッサから別のものにソフトウェアをロードすることが可能であり得る。本明細書に使用される場合、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「読み取り可能な媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。
前述の一般的な説明は、例示的かつ解説的にすぎず、本開示の制限ではない。本発明の他の実施形態も、本明細書の検討および本明細書に開示される本発明の実践から当業者に明白となるであろう。本明細書および例が、例示的にすぎないと見なされることを意図している。

Claims (11)

  1. プロセッサを備えるコンピュータが実行する画像処理方法であって、前記方法は、
    前記プロセッサが標的画像における複数の画像領域から抽出された微視的特徴を分析することによって、前記プロセッサが、機械学習システムを使用して、複数のスライドのうちの１つのスライドに関連付けられた前記標的画像の着目エリアを識別することであって、前記機械学習システムは、前記プロセッサが複数の訓練画像を処理することによって発生させられ、前記複数の訓練画像の各々は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および分析難度のうちの少なくとも１つを特徴付ける診断標識とを備えており、前記複数の訓練画像を処理することは、前記複数の訓練画像のうちの１つの訓練画像から標的特徴を抽出することと、前記標的特徴を分析することとを含む、ことと、
    前記プロセッサが、前記機械学習システムを使用して、前記複数のスライド内に前記標的特徴が存在する平均確率に基づいて前記標的画像の前記着目エリア内に前記標的特徴が存在する確率を決定することと、
    前記プロセッサが、前記機械学習システムを使用して、前記標的画像内に前記標的特徴が存在する前記確率に基づいて複数の優先順位付け値のうちの前記標的画像の優先順位付け値を決定することであって、前記優先順位付け値は、第１のユーザの選好に基づいて決定される第１の優先順位付け値と第２のユーザの選好に基づいて決定される第２の優先順位付け値とを備えている、ことと、
    前記プロセッサが、前記機械学習システムを使用して、複数のデジタル化病理学画像に関連付けられた前記複数の優先順位付け値に基づいて前記デジタル化病理学画像を順序付けることと
    を含み、
    前記標的画像の配置は、前記標的特徴に基づく前記標的画像の前記優先順位付け値に基づく、方法。
  2. 前記プロセッサが、さらなる調製が実施されることを示す前記標的画像内の特徴を前記標的特徴が備えていることを決定すると、前記プロセッサが、ユーザ精査に先立って前記標的画像のための新しいスライドを調製することをさらに含む、請求項１に記載の方法。
  3. 前記診断標識は、癌の存在、癌の悪性度、治療効果、前癌病変、治療選択のためのバイオマーカ、および／または感染性生物の存在のうちの少なくとも１つを備えている、請求項２に記載の方法。
  4. 前記診断標識は、走査線、欠落した組織、および／またはぼけのうちの少なくとも１つに対応するアーチファクト標識を備えている、請求項１に記載の方法。
  5. 画像処理システムであって、前記システムは、
    命令を記憶しているメモリと、
    プロセッサと
    を備え、
    前記プロセッサは、
    標的画像における複数の画像領域から抽出された微視的特徴を分析することによって、機械学習システムを使用して、複数のスライドのうちの１つのスライドに関連付けられた前記標的画像の着目エリアを識別することであって、前記機械学習システムは、複数の訓練画像を処理することによって発生させられ、前記複数の訓練画像の各々は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および分析難度のうちの少なくとも１つを特徴付ける診断標識とを備えており、前記複数の訓練画像を処理することは、前記複数の訓練画像のうちの１つの訓練画像から標的特徴を抽出することと、前記標的特徴を分析することとを含む、ことと、
    前記機械学習システムを使用して、前記複数のスライド内に前記標的特徴が存在する平均確率に基づいて前記標的画像の前記着目エリア内に前記標的特徴が存在する確率を決定することと、
    前記機械学習システムを使用して、前記標的画像内に前記標的特徴が存在する前記確率に基づいて複数の優先順位付け値のうちの前記標的画像の優先順位付け値を決定することであって、前記優先順位付け値は、第１のユーザの選好に基づいて決定される第１の優先順位付け値と第２のユーザの選好に基づいて決定される第２の優先順位付け値とを備えている、ことと、
    前記機械学習システムを使用して、複数のデジタル化病理学画像に関連付けられた前記複数の優先順位付け値に基づいて前記デジタル化病理学画像を順序付けることと
    を含む動作を実施するための前記命令を実行するように構成され、
    前記標的画像の配置は、前記標的特徴に基づく前記標的画像の前記優先順位付け値に基づく、システム。
  6. 前記診断標識は、前記標的画像の診断特徴を備えている、請求項５に記載のシステム。
  7. 前記診断特徴は、癌の存在、癌の悪性度、治療効果、前癌病変、治療選択のためのバイオマーカ、および感染性生物の存在のうちの少なくとも１つを備えている、請求項６に記載のシステム。
  8. 前記診断標識は、走査線、欠落した組織、およびぼけのうちの少なくとも１つに対応するアーチファクト標識を備えている、請求項５に記載のシステム。
  9. 命令を記憶している非一過性コンピュータ読み取り可能な媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、画像処理方法を前記少なくとも１つのプロセッサに実施させ、前記方法は、
    標的画像における複数の画像領域から抽出された微視的特徴を分析することによって、機械学習システムを使用して、複数のスライドのうちの１つのスライドに関連付けられた前記標的画像の着目エリアを識別することであって、前記機械学習システムは、複数の訓練画像を処理することによって発生させられ、前記複数の訓練画像の各々は、ヒト組織の画像と、スライド形態、診断値、病理医精査結果、および分析難度のうちの少なくとも１つを特徴付ける診断標識とを備えており、前記複数の訓練画像を処理することは、前記複数の訓練画像のうちの１つの訓練画像から標的特徴を抽出することと、前記標的特徴を分析することとを含む、ことと、
    前記機械学習システムを使用して、前記複数のスライド内に前記標的特徴が存在する平均確率に基づいて前記標的画像の前記着目エリア内に前記標的特徴が存在する確率を決定することと、
    前記機械学習システムを使用して、前記標的画像内に前記標的特徴が存在する前記確率に基づいて複数の優先順位付け値のうちの前記標的画像の優先順位付け値を決定することであって、前記優先順位付け値は、第１のユーザの選好に基づいて決定される第１の優先順位付け値と第２のユーザの選好に基づいて決定される第２の優先順位付け値とを備えている、ことと、
    前記機械学習システムを使用して、複数のデジタル化病理学画像に関連付けられた前記複数の優先順位付け値に基づいて前記デジタル化病理学画像を順序付けることと
    を含み、
    前記標的画像の配置は、前記標的特徴に基づく前記標的画像の前記優先順位付け値に基づく、非一過性コンピュータ読み取り可能な媒体。
  10. 前記診断標識は、前記標的画像の診断特徴を備え、前記診断特徴は、癌の存在、癌の悪性度、治療効果、前癌病変、治療選択のためのバイオマーカ、および／または感染性生物の存在のうちの少なくとも１つを備えている、請求項９に記載の非一過性コンピュータ読み取り可能な媒体。
  11. 前記さらなる調製は、前記プロセッサが、試料再切断、免疫組織化学染色、追加の診断試験、追加の協議、および／または特殊な染色のうちの少なくとも１つに基づいて前記標的画像のための新しいスライドを調製することによって実施され、前記少なくとも１つは、前記ユーザ精査に先立って実施される、請求項２に記載の方法。
JP2022192745A 2019-05-31 2022-12-01 デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法 Active JP7515144B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962855199P 2019-05-31 2019-05-31
US62/855,199 2019-05-31
PCT/US2020/035295 WO2020243550A1 (en) 2019-05-31 2020-05-29 Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology
JP2021570178A JP7193818B2 (ja) 2019-05-31 2020-05-29 デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021570178A Division JP7193818B2 (ja) 2019-05-31 2020-05-29 デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2023014305A JP2023014305A (ja) 2023-01-26
JP7515144B2 true JP7515144B2 (ja) 2024-07-12

Family

ID=71787099

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021570178A Active JP7193818B2 (ja) 2019-05-31 2020-05-29 デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法
JP2022192745A Active JP7515144B2 (ja) 2019-05-31 2022-12-01 デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021570178A Active JP7193818B2 (ja) 2019-05-31 2020-05-29 デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法

Country Status (10)

Country Link
US (6) US20200381122A1 (ja)
EP (1) EP3977472A1 (ja)
JP (2) JP7193818B2 (ja)
KR (3) KR102403397B1 (ja)
CN (1) CN114391168A (ja)
AU (1) AU2020283907B2 (ja)
BR (1) BR112021023713A2 (ja)
CA (2) CA3225860A1 (ja)
SG (1) SG11202112551SA (ja)
WO (1) WO2020243550A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3977472A1 (en) * 2019-05-31 2022-04-06 PAIGE.AI, Inc. Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology
KR102329546B1 (ko) * 2019-07-13 2021-11-23 주식회사 딥바이오 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
US11791035B2 (en) 2021-03-09 2023-10-17 PAIGE.AI, Inc. Systems and methods for artificial intelligence powered molecular workflow verifying slide and block quality for testing
KR102354476B1 (ko) 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템
WO2022225845A1 (en) * 2021-04-18 2022-10-27 Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic System and method for automation of surgical pathology processes using artificial intelligence
CN113111595B (zh) * 2021-06-15 2021-08-31 西南交通大学 一种边坡智能预警方法和装置
US20230024468A1 (en) * 2021-07-26 2023-01-26 PAIGE.AI, Inc. Systems and methods to process electronic images to determine histopathology quality
DE102021121635A1 (de) * 2021-08-20 2023-02-23 Carl Zeiss Microscopy Gmbh Automatisiertes trainieren eines maschinengelernten algorithmus basierend auf der überwachung einer mikroskopiemessung
CN113688266B (zh) * 2021-09-13 2024-08-27 上海联影医疗科技股份有限公司 图像优先级确定方法和图像处理方法、装置、设备、介质
AU2022410763A1 (en) * 2021-12-16 2024-05-23 PAIGE.AI, Inc. Systems and methods for image processing to determine case optimization
US20230214994A1 (en) * 2022-01-05 2023-07-06 Merative Us L.P. Medical image study difficulty estimation
KR102579826B1 (ko) * 2022-12-09 2023-09-18 (주) 브이픽스메디칼 인공지능 기반 진단 보조 정보 제공 방법, 장치 및 시스템
WO2025041680A1 (ja) * 2023-08-23 2025-02-27 富士フイルム株式会社 画像表示装置、画像表示装置の作動方法、および画像表示装置の作動プログラム
CN117936070A (zh) * 2023-12-21 2024-04-26 宁波市科技园区明天医网科技有限公司 分子病理全流程互动管理检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524775A (ja) 1999-11-04 2003-08-19 メルテック・マルチ−エピトープ−リガンド−テクノロジーズ・ゲーエムベーハー 顕微鏡画像の自動解析法
JP2016126491A (ja) 2014-12-26 2016-07-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2018504674A (ja) 2014-12-03 2018-02-15 ベンタナ メディカル システムズ， インコーポレイテッド 早期癌予知のための計算病理学システム及び方法
US20190164287A1 (en) 2017-11-27 2019-05-30 Deciphex Automated screening of histopathology tissue samples via analysis of a normal model

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404906B2 (en) * 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US20020094119A1 (en) * 2001-01-18 2002-07-18 Velayudhan Sahadevan High resolution digitized image analysis of chest x-rays for diagnosis of difficult to visualize evolving very ealrly stage lung cancer, pnumoconiosis and pulmonary diseases
JP4285623B2 (ja) * 2001-04-26 2009-06-24 富士フイルム株式会社 画像表示方法および装置並びにプログラム
US7263214B2 (en) * 2002-05-15 2007-08-28 Ge Medical Systems Global Technology Company Llc Computer aided diagnosis from multiple energy images
GB0707454D0 (en) * 2007-04-18 2007-05-23 Materialise Dental Nv Computer-assisted creation of a custom tooth set-up using facial analysis
BR112014014781B1 (pt) 2011-12-21 2021-12-21 Catherine M. Shachaf Método para imagear uma área de interesse que é uma cavidade ou tecido em uma superfície, e método para imagear uma pele do paciente para finalidade diagnóstica para detectar câncer de pele
US11126720B2 (en) 2012-09-26 2021-09-21 Bluvector, Inc. System and method for automated machine-learning, zero-day malware detection
US10332251B2 (en) * 2015-06-12 2019-06-25 Merge Healthcare Incorporated Methods and systems for automatically mapping biopsy locations to pathology results
JP6799146B2 (ja) * 2016-10-07 2020-12-09 ベンタナ メディカル システムズ， インコーポレイテッド 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
US10445462B2 (en) * 2016-10-12 2019-10-15 Terarecon, Inc. System and method for medical image interpretation
US10146768B2 (en) 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US11195274B2 (en) * 2017-08-03 2021-12-07 Nucleai Ltd Systems and methods for analysis of tissue images
US11636288B2 (en) * 2017-11-06 2023-04-25 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
CN112466439B (zh) 2018-01-23 2024-12-03 深圳科亚医疗科技有限公司 由计算机实现的医学图像调度方法、调度系统及存储介质
EP3752979A1 (en) * 2018-02-12 2020-12-23 F. Hoffmann-La Roche AG Transformation of digital pathology images
US11341649B2 (en) * 2018-02-26 2022-05-24 Mayo Foundation For Medical Education And Research Systems and methods for quantifying multiscale competitive landscapes of clonal diversity in glioblastoma
CN111819569B (zh) * 2018-03-07 2023-10-17 威里利生命科学有限责任公司 对组织切片图像的虚拟染色
EP3766000A2 (en) * 2018-03-16 2021-01-20 The United States of America as represented by the Secretary of the Department of Health and Human Services Using machine learning and/or neural networks to validate stem cells and their derivatives for use in cell therapy, drug discovery, and diagnostics
US10891731B2 (en) 2018-05-07 2021-01-12 Zebra Medical Vision Ltd. Systems and methods for pre-processing anatomical images for feeding into a classification neural network
WO2020002620A1 (en) * 2018-06-29 2020-01-02 Koninklijke Philips N.V. Biopsy prediction and guidance with ultrasound imaging and associated devices, systems, and methods
GB201812050D0 (en) * 2018-07-24 2018-09-05 Dysis Medical Ltd Computer classification of biological tissue
KR102150853B1 (ko) * 2018-10-11 2020-09-03 (주)제이엘케이 암 영역에 대한 딥러닝 모델 학습 장치 및 방법
US10930386B2 (en) 2018-12-11 2021-02-23 International Business Machines Corporation Automated normality scoring of echocardiograms
EP3977472A1 (en) * 2019-05-31 2022-04-06 PAIGE.AI, Inc. Systems and methods for processing images of slides to automatically prioritize the processed images of slides for digital pathology
US12094105B2 (en) * 2019-06-10 2024-09-17 Datma, Inc. System and method for automatic labeling of pathology images
WO2021081257A1 (en) * 2019-10-22 2021-04-29 Novateur Research Solutions LLC Artificial intelligence for personalized oncology
US11482335B2 (en) * 2019-12-18 2022-10-25 Pathomiq Inc. Systems and methods for predicting patient outcome to cancer therapy
US20210272694A1 (en) * 2020-03-02 2021-09-02 Case Western Reserve University Predicting biochemical recurrence based on computerized quantification of cribriform morphology
US11568536B2 (en) * 2020-04-29 2023-01-31 Flagship Biosciences, Inc Method for digitally generating scores for multiple diagnostic tests from tissue assayed with a single test

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524775A (ja) 1999-11-04 2003-08-19 メルテック・マルチ−エピトープ−リガンド−テクノロジーズ・ゲーエムベーハー 顕微鏡画像の自動解析法
JP2018504674A (ja) 2014-12-03 2018-02-15 ベンタナ メディカル システムズ， インコーポレイテッド 早期癌予知のための計算病理学システム及び方法
JP2016126491A (ja) 2014-12-26 2016-07-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20190164287A1 (en) 2017-11-27 2019-05-30 Deciphex Automated screening of histopathology tissue samples via analysis of a normal model

Also Published As

Publication number Publication date
US11210787B1 (en) 2021-12-28
KR20220020284A (ko) 2022-02-18
JP2023014305A (ja) 2023-01-26
WO2020243550A1 (en) 2020-12-03
KR102488986B1 (ko) 2023-01-18
US20250029709A1 (en) 2025-01-23
JP7193818B2 (ja) 2022-12-21
KR20230011504A (ko) 2023-01-20
EP3977472A1 (en) 2022-04-06
US20220328190A1 (en) 2022-10-13
KR102403397B1 (ko) 2022-05-31
AU2020283907B2 (en) 2022-02-17
CA3137860C (en) 2024-03-26
US20220012880A1 (en) 2022-01-13
US20230410986A1 (en) 2023-12-21
AU2020283907A1 (en) 2022-01-27
CN114391168A (zh) 2022-04-22
CA3137860A1 (en) 2020-12-03
BR112021023713A2 (pt) 2022-02-01
KR20220070583A (ko) 2022-05-31
US20200381122A1 (en) 2020-12-03
JP2022525256A (ja) 2022-05-11
SG11202112551SA (en) 2021-12-30
US11456077B2 (en) 2022-09-27
US20220076416A1 (en) 2022-03-10
CA3225860A1 (en) 2020-12-03
US11776681B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
JP7515144B2 (ja) デジタル病理学のためのスライドの画像を処理し、スライドの処理された画像を自動的に優先順位付けするためのシステムおよび方法
US12236365B2 (en) Systems and methods for processing images to classify the processed images for digital pathology
US11551357B2 (en) Systems and methods for processing images of slides for digital pathology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240624

R150 Certificate of patent or registration of utility model

Ref document number: 7515144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150