JP2021509713A - 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理 - Google Patents

Abstract

組織像における腫瘍の識別に畳み込みニューラルネットワーク（ＣＮＮ）が適用される。ＣＮＮは、識別対象となる複数の組織クラスの各々に割り当てられた１つのチャネルを有し、非腫瘍組織タイプおよび腫瘍組織タイプの各々に対し少なくとも１つのクラスが存在する。組織像から抽出された画像パッチに対し多段階畳み込みが実行され、次いで、入力画像パッチとサイズがマッチした層を復元するための多段階逆畳み込みが実行される。したがって、出力画像パッチは、入力画像パッチと１対１のピクセル対ピクセル対応を有し、出力画像パッチ内の各ピクセルは複数の利用可能なクラスのうちの１つを入力画像パッチに割り当てている。次いで、出力画像パッチは集められて、組織像と共に、その横にまたはオーバーレイとしてその上に重ねて同時レンダリングすることができる確率マップに構築される。次いで、確率マップは組織像とリンクして格納することができる。

Description

関連出願の相互参照
本出願は、２０１７年１２月２９日に出願された米国仮特許出願第６２／６１１，９１５号の優先権を主張し、完全に記載されているかのように参照により本明細書に組み込まれる。

本開示は、腫瘍を識別するための畳み込みニューラルネットワーク（ＣＮＮ）を用いた組織像の処理に関する。

癌は、北米の女性の主たる死亡原因の第２位である。女性における全てのタイプの癌のうち、乳癌は最も一般的であり癌による死亡原因の第２位である。そのため、乳癌治療の精度は、生涯のある時点で乳癌を発症する顕著なパーセンテージの女性における寿命およびクオリティーオブライフに大きな影響を及ぼす。

乳癌は、ある特定の遺伝子の発現に基づき種々の分子サブタイプに分類することができる。一般に使用されている分類体系は以下の通りである。

１．管腔Ａ：ＥＲ＋、ＰＲ＋、ＨＥＲ２−

２．管腔Ｂ：ＥＲ＋、ＰＲ−、ＨＥＲ２＋

３．トリプルネガティブ乳癌（ＴＮＢＣ）：ＥＲ−、ＰＲ−、ＨＥＲ２−

４．ＨＥＲ２リッチ：ＨＥＲ２＋、ＥＲ−、ＰＲ−

５．正常様

ＥＲはエストロゲン受容体の略である。ＰＲはプロゲステロン受容体の略である。ＨＥＲ２はヒト上皮成長因子受容体２の略である。

このようなサブタイプの中にはホルモン受容体陽性のもの（例えば、管腔Ａ）があり、これはホルモン療法を用いて治療することができる。乳癌にはＨＥＲ２陽性であるものもあり、これはＨＥＲ２を標的とする薬物、例えば、トラツズマブ（商品名ハーセプチン（Ｆ．Ｈｏｆｆｍａｎｎ−Ｌａ Ｒｏｃｈｅ ＡＧの登録商標））を用いて治療することができる。陽性でない癌はこのタイプの治療に応答せず、別の方法で治療する必要があるため、乳癌がＥＲ、ＰＲ、またはＨＥＲ２陽性であるかを判定することは重要である。従来、陽性の判定は、顕微鏡下でスライドガラス上の組織学的試料を検査する病理医によって行われてきた。スライドガラス上で、ホルモン特異的抗体が、免疫組織化学（ＩＨＣ）技法を用いて、患者からのホルマリン固定パラフィン包埋乳房組織切片に適用される。ＩＨＣ染色が完了した後、免疫反応性組織は褐色の沈殿物として顕微鏡下で可視化され得る。Ｃｏｌｌｅｇｅ ｏｆ Ａｍｅｒｉｃａｎ Ｐａｔｈｏｌｏｇｉｓｔｓ（ＣＡＰ）は、陽性染色された全ての腫瘍含有エリアがパーセンテージ陽性に達するように評価されることを推奨している。観察者間および観察者内再現性を向上させるため、ＣＡＰガイドラインは、画像解析を用いてパーセンテージ陽性を計算することを推奨している。パーセンテージ陽性は腫瘍細胞エリアのみに対し計算されなければならないため、現状では画像解析を実行する病理医は手作業で腫瘍エリアの輪郭を描かなければならない。輪郭描画プロセス自体は単調であり誤りを生じやすく、再現性の低下を招く恐れがある。

原理上、この問題は、セグメンテーション、境界検出などの従来的な画像処理法を用いたコンピュータ自動化、または人工知能法、詳細にはニューラルネットワークおよびディープラーニングによるコンピュータ自動化が適用可能である。それにもかかわらず、実際には、この問題は長年にわたり、求められるレベルの正確さまで、すなわち、病理医と同等以上の正確さまでコンピュータ自動化することは信じられないほど困難であることが判明している。

乳癌およびその他の癌の組織像の画像処理にＣＮＮを使用する試みが行われてきた。

Ｗａｎｇ ｅｔ ａｌ ２０１６［１］は、乳癌のリンパ節への転移を検出するＣＮＮアプローチについて説明している。

ＵＳ２０１５２１３３０２Ａ１［２］は、どのように細胞有糸分裂が癌性組織の領域内で検出されるかについて説明している。ＣＮＮを訓練した後、分類は、有糸分裂カウントを実行する自動化核検出システムに基づいて行われ、次いでこのシステムは腫瘍をグレード付けするのに使用される。

Ｈｏｕ ｅｔ ａｌ ２０１６［３］は、脳および肺癌の画像を処理している。全スライド画像（ＷＳＩ）からの画像パッチを使用して、パッチレベルＣＮＮによりもたらされるパッチレベル予測を行う。

Ｌｉｕ ｅｔ ａｌ ２０１７［４］は、ギガピクセル乳癌組織像から抽出された画像パッチをＣＮＮで処理して、腫瘍を検出および位置特定している。

Ｂｅｊｎｏｒｄｉ ｅｔ ａｌ ２０１７［５］は、２つのスタックＣＮＮを適用して、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）染色で染色された乳房組織のＷＳＩから抽出された画像パッチ内の腫瘍を分類している。Ｂｅｊｎｏｒｄｉ ｅｔ ａｌが乳癌試料に適用される他のＣＮＮベースの腫瘍分類法の概要も提供していることがさらに注目される（参考文献１０〜１３を参照）。

本開示の１つの態様によれば、組織像または組織像のセットにおける腫瘍を識別する方法が提供され、この方法は、
データリポジトリ内に格納されているレコードから組織像または組織像のセットを受信することと、
組織像または組織像のセットから画像パッチを抽出することであって、画像パッチが、ピクセル数により定義された幅および高さのサイズを有する、組織像または組織像のセットのエリア部分であることと、
重みおよび複数のチャネルを有する畳み込みニューラルネットワークを提供することであって、各チャネルが、識別対象となる複数の組織クラスのうちの１つに対応し、組織クラスのうちの少なくとも１つが非腫瘍組織を表し、組織クラスのうちの少なくとも１つが腫瘍組織を表すことと、
各画像パッチを入力画像パッチとして畳み込みニューラルネットワークに入力することと、
最小次元数の最終畳み込み層まで次元数を減らし続ける畳み込み層を生成するための多段階畳み込みを実行し、次いで、層が入力画像パッチとサイズがマッチするように復元されるまで次元数を増やし続ける逆畳み込み層を生成することにより畳み込みを反転させるための多段階転置畳み込みを実行することであって、復元された層内の各ピクセルが組織クラスの各々に属する確率を含むことと、
出力画像パッチに達する確率に基づいて、組織クラスを復元された層の各ピクセルに割り当てることと、
を含む。

当該方法はさらに、割り当てるステップの後に、出力画像パッチを集めて組織像または組織像のセットのための確率マップに構築するステップを含むことができる。

当該方法はさらに、割り当てるステップの後に、確率マップが組織像または組織像のセットにリンクするように確率マップをデータリポジトリ内のレコードに格納することを含むことができる。

本発明の実施形態では、各々の連続する畳み込み段階では、次元数が減るにつれて深さが増え、その結果、畳み込み層は、深さが増え続け、かつ次元数が減り続ける。そして、各々の連続する逆畳み込み段階では、次元数が増えるにつれて深さは減少し、その結果、逆畳み込み層は、深さが減り続け、かつ次元数が増え続ける。そして、最終畳み込み層は、最大の深さおよび最小の次元数を有する。畳み込み段階による連続的な深さの増加および逆畳み込み段階による減少のアプローチの代わりに代替となるのは、入力層および出力層以外のあらゆる層が同じ深さを有するニューラルネットワークの設計であろう。

この方法はさらに、組織像または組織像のセットを確率マップと共に、例えば、上に重ねて、または互いの横に、ディスプレイ上に表示することを含む。確率マップを使用して、どのエリアが、どのような使用されるＩＨＣスコアリングアルゴリズムによってスコア付けされるべきかを決定することができる。また、確率マップを使用して、例えば、病理医がＣＮＮにより生成された結果を評価できるようにするために、ディスプレイ内に提示させることができる腫瘍細胞の周りの輪郭のセットを生成することもできる。

ある特定の実施形態において、畳み込みニューラルネットワークは１つ以上のスキップ接続を有する。各スキップ接続は、最終畳み込み層より高次元の畳み込み層のうちの少なくとも１つからの中間結果を取り出し、結果を、ゼロでも１つでも２つ以上でもよい必要な数の転置畳み込みに供して、入力画像パッチとサイズがマッチした少なくとも１つのさらに復元された層を取得する。次いで、これらは、前述の組織クラスを各ピクセルに割り当てるステップの前に、上述の復元された層と組み合わされる。さらなる処理ステップは、復元された層をさらに復元された層の各々と組み合わせることにより、スキップ接続から取得された結果を考慮する。

ある特定の実施形態において、確率を生成するためにソフトマックス操作が使用される。

組織像（複数可）から抽出された画像パッチは、画像（複数可）の全エリアを網羅し得る。パッチは、重複しない画像タイルであっても、確率マップのスティッチングを支援するために周縁部が重複する画像タイルであってもよい。ＣＮＮは固定サイズのピクセルアレイのみを受け入れるように設計されるため、各画像パッチは、ＣＮＮにマッチするように固定ピクセル数の幅および高さを有するべきであるが、このことは、各画像パッチが組織像内の同じ物理的面積に対応しなければならないことを意味しない。というのは、組織像内のピクセルを組み合わせてより広い面積を網羅するより低解像度のパッチにできるからであり、例えば、隣接ピクセルの２×２アレイを組み合わせて１つの「スーパーピクセル」にし、組織像のネイティブ解像度で抽出したパッチの４倍の物理的面積を有するパッチを形成することができる。

当該方法は、ひとたびＣＮＮが訓練されたら予測のために実行することができる。訓練の目的は、層間接続のために適切な重み値を割り当てることである。訓練のため、使用されるレコードは、組織像または組織像のセット内の各ピクセルを組織クラスのうちの１つに割り当てるグラウンドトゥルースデータを含む。グラウンドトゥルースデータは、十分に多数の画像にアノテーションするための専門臨床医の使用に基づく。訓練はＣＮＮを反復的に適用することによって行われ、このとき各反復は、グラウンドトゥルースデータと出力画像パッチとの比較に基づいて重み値を調整することを伴う。本発明の実施形態では、重みは訓練中に勾配降下により調整される。

組織クラスを設定するための様々なオプションが存在するが、全てではないとしてもほとんどの実施形態は共通して、非腫瘍組織と腫瘍組織との間のクラスにおいて区別が行われる。非腫瘍組織クラスは、１つ、２つ、またはそれ以上のクラスを含み得る。腫瘍組織クラスも、１つ、２つ、またはそれ以上のクラスを含み得る。例えば、本発明の実施形態では３つの組織クラスがあり、１つは非腫瘍組織のクラス、２つは腫瘍組織のクラスであり、この２つの腫瘍組織クラスは浸潤性腫瘍および上皮内腫瘍に対するものである。

いくつかの実施形態において、ＣＮＮは一度に１つの組織像に対し適用される。他の実施形態において、ＣＮＮは、組織の一領域の別々に染色された隣接する切片から撮像した組織像のセットを合わせることにより形成された複合的組織像に対し適用され得る。またさらなる実施形態において、ＣＮＮは、組織の一領域の別々に染色された隣接する切片から撮像した画像のセットの画像の各々に対し並行して適用され得る。

ＣＮＮからの結果を用いて、当該方法は、ピクセル分類と、確率マップを参照してその分類から定義される腫瘍とに基づいたスコア付けプロセスを含むように拡張してもよい。例えば、当該方法はさらに、確率マップに従って腫瘍に対応する組織像内のエリアを定義することと、スコアを各腫瘍に割り当てるためのスコア付けアルゴリズムに従って各腫瘍をスコア付けすることと、スコアをデータリポジトリ内のレコードに格納することとを含むことができる。スコア付けは、このようにして組織像に対し行われるが、確率マップによって腫瘍組織として識別されたエリアに限定される。

結果は、臨床医に対しディスプレイ上に表示することができる。すなわち、組織像は、その関連する確率マップと共に、例えば、上に重ねて、または互いの横に、表示することができる。また、腫瘍スコアは、何らかの好都合な方式で、例えば、腫瘍上にもしくは腫瘍を指すテキストラベルを伴って、または画像の横に表示することもできる。

畳み込みニューラルネットワークは、完全畳み込みニューラルネットワークであってもよい。

本発明のさらなる態様は、組織像または組織像のセットにおける腫瘍を識別するためのコンピュータプログラム製品であって、上記で説明されている方法を実行するための機械可読命令を有する、コンピュータプログラム製品に関する。

本発明のまたさらなる態様は、組織像または組織像のセットにおける腫瘍を識別するためのコンピュータ装置に関するものであり、コンピュータ装置は、
データリポジトリ内に格納されているレコードから組織像または組織像のセットを受信するように操作可能な入力部と、
組織像または組織像のセットから画像パッチを抽出するように構成された前処理モジュールであって、画像パッチが、ピクセル数により定義された幅および高さのサイズを有する、組織像または組織像のセットのエリア部分である、前処理モジュールと、
重みのセットおよび複数のチャネルを有する畳み込みニューラルネットワークと、
を含み、
各チャネルが、識別対象となる複数の組織クラスのうちの１つに対応し、組織クラスのうちの少なくとも１つが非腫瘍組織を表し、組織クラスの少なくとも１つが腫瘍組織を表し、畳み込みニューラルネットワークは、
各画像パッチを入力画像パッチとして入力するように受信することと、
最小次元数の最終畳み込み層まで次元数を減らし続ける畳み込み層を生成するための多段階畳み込みを実行し、次いで、層が入力画像パッチとサイズがマッチするように復元されるまで次元数を増やし続ける逆畳み込み層を生成することにより畳み込みを反転させるための多段階転置畳み込みを実行することであって、復元された層内の各ピクセルが組織クラスの各々に属する確率を含むことと、
出力画像パッチに達する確率に基づいて、組織クラスを復元された層の各ピクセルに割り当てることと、
を行うように操作可能である。

コンピュータ装置はさらに、出力画像パッチを集めて組織像または組織像のセットのための確率マップに構築するように構成された後処理モジュールを含むことができる。その上、コンピュータ装置はさらに、確率マップが組織像または組織像のセットにリンクするように、確率マップをデータリポジトリ内のレコードに格納するように操作可能な出力部を含むことができる。装置はまたさらに、ディスプレイと、ディスプレイ出力部であって、組織像または組織像のセットおよび確率マップをディスプレイに送信して、組織像が確率マップと共に、例えば、上に重ねて、または確率マップの横に、表示されるように操作可能なディスプレイ出力部とを含むことができる。

本発明の別の態様は、臨床ネットワークであって、上記で説明されているようなコンピュータ装置と、組織像または組織像のセットを含む親データのレコードを格納するように構成されたデータリポジトリと、コンピュータ装置とデータリポジトリと、の間の患者データレコードまたはその一部の転送を可能にするネットワーク接続とを含む、臨床ネットワークである。臨床ネットワークは追加的に、組織像または組織像のセットを取得し、それらをデータリポジトリ内のレコードに格納するように操作可能な画像収集装置、例えば、顕微鏡を含むことができる。

少なくともいくつかの実施形態において、組織像（複数可）は、顕微鏡、特に、光学顕微鏡（従来的な光学顕微鏡、共焦点顕微鏡、または非染色のもしくは染色された組織試料の組織像の取得に適した任意の種類の顕微鏡であり得る）により切片組織試料から撮像した二次元画像のデジタル表現であることが理解されよう。組織像のセットの場合、組織の一領域の隣接する切片（すなわち、スライス）から撮像した一連の顕微鏡像であり得、このとき、各切片は別々に染色され得る。

以下において、本発明はさらに、単に例として、図面に示された例示的な実施形態を参照しながら説明される。

本発明の１つの実施形態によるニューラルネットワークアーキテクチャーの概略図である。 グローバルおよびローカルの特徴マップが、図１Ａのニューラルネットワークアーキテクチャー内で、どのようにして組み合わされて入力画像パッチ内の各ピクセルに対し個別クラスを予測する特徴マップを生成するかを示している。 Ｌｉｕ ｅｔ ａｌによって生成されたパッチレベル予測（左側のタイルＡは未加工画像、右側のタイルＢはＣＮＮ予測であり、暗赤色は予測腫瘍エリア）と、図１Ａおよび図１ＢのＣＮＮを用いた本発明の予測によるパッチレベル予測（左側のタイルＣは病理医の手作業によるアノテーション（赤色）およびＣＮＮ予測（ピンク色および黄色）を伴った未加工画像であり、右側のタイルＤは本発明のＣＮＮ予測であり、緑色は非腫瘍、赤色（タイルＣではピンク色）は浸潤性腫瘍、青色（タイルＣでは黄色）は非浸潤性腫瘍である）との違いを示すカラー図面である。 入力ＲＧＢ画像パッチ（左側のタイルＡ）および最終出力腫瘍確率ヒートマップ（右側のタイルＢ）の一例を示すカラー図面である。タイルＡは追加的に、病理医の手作業による浸潤性腫瘍（赤色の輪郭）の輪郭描画と、加えて、タイルＢ（それぞれ赤褐色および青色）で別個に示されているような、本発明のニューラルネットワークの予測におけるオーバーレイ（ピンク色および黄色に色付けされたエリア）とを示している。 ＣＮＮの訓練に関係するステップを示す流れ図である。 ＣＮＮを用いた予測に関係するステップを示す流れ図である。 図１Ａおよび１Ｂのニューラルネットワークの実装に関係する計算を実行するために使用され得るＴＰＵのブロック図である。 本発明の実施形態と共に使用され得るコンピュータネットワークの一例を示している。 コンピューティング装置のブロック図であり、これは例えば、図６のＴＰＵ向けのホストコンピュータとして使用することができる。

以下の詳細な説明では、限定ではなく説明の目的で、本開示のより良好な理解をもたらすために具体的な詳細が記載される。当業者には、本開示が、これらの具体的な詳細から逸脱する他の実施形態で実施されてもよいことは明らかであろう。

浸潤性の上皮内乳癌細胞核を自動的に検出し輪郭描画するコンピュータ自動化された腫瘍発見法について説明する。当該方法は、単一の入力画像（例えば、ＷＳＩ）、または入力画像のセット（例えば、ＷＳＩのセット）に適用される。各入力画像は、デジタル化された組織像（例えば、ＷＳＩ）である。入力画像のセットの場合、隣接する組織切片の別々に染色された画像であり得る。染色するという用語は、バイオマーカーによる染色および従来的なコントラスト強調染色を広く含むために使用する。

コンピュータ自動化された腫瘍の輪郭描画は手作業の輪郭描画よりもはるかに高速であるため、画像からの手作業アノテーションで選択された抽出タイルのみではなく、全体の画像の処理が可能になる。提唱される自動腫瘍輪郭描画は、このようにして、病理医が画像内の全ての腫瘍細胞における陽性（または陰性）パーセンテージを計算することを可能にし、これにより、より正確で再現可能な結果がもたらされるはずである。

提唱される腫瘍発見、輪郭描画、および分類のためのコンピュータ自動化法は、畳み込みニューラルネットワーク（ＣＮＮ）を使用してＷＳＩ上の各々の核ピクセルを発見し、次いで各々のこのようなピクセルを、本発明の実施形態の乳癌腫瘍クラスにおいては、非腫瘍クラスおよび複数の腫瘍クラスのうちの１つに分類する。

本発明の実施形態におけるニューラルネットワークは、ｈｔｔｐ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／〜ｖｇｇ／ｒｅｓｅａｒｃｈ／ｖｅｒｙ＿ｄｅｅｐ／で利用可能でありＳｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ ２０１４［６］（当該文献の全内容は参照により本明細書に援用される）で説明されているＶＧＧ−１６アーキテクチャーに設計が類似している。

入力画像は、本文書の他の箇所でより詳細に論じられているいくつかの従来的染色物質のうちのいずれか１つで染色された病理像である。ＣＮＮ用にある特定のピクセル寸法の画像パッチ、例えば、１２８×１２８、２５６×２５６、５１２×５１２、または１０２４×１０２４ピクセルの画像パッチが抽出される。画像パッチは、任意のサイズであってよく正方形である必要はないが、パッチの横列および縦列におけるピクセル数は２^ｎ（ｎは正の整数）に従うことが理解されよう。これは、このような数字が概して、適切な単一のＣＰＵ（中央処理装置）、ＧＰＵ（画像処理装置）、もしくはＴＰＵ（テンソル処理装置）、またはこれらのアレイによる直接デジタル処理により適しているためである。

「パッチ」とは、ＷＳＩから撮像された、典型的には正方形または長方形の形状を有する画像部分を指すために使用される用語であることに留意されたい。この点において、画像処理が、ＣＮＮによる処理のために管理可能なサイズ（例えば、約５００×５００ピクセル）のパッチに対し典型的に適用されるように、ＷＳＩが１０億以上のピクセル数（ギガピクセル画像）を含んでもよいことに留意されたい。このようにして、ＷＳＩは、パッチに分割し、ＣＮＮでパッチを解析し、次いで出力（画像）パッチを再び集めてＷＳＩと同じサイズの確率マップに構築することに基づいて処理される。次いで確率マップは、例えば半透過的に、ＷＳＩまたはその一部の上に重ねて、病理像および確率マップが一緒に見られるようにすることができる。その意味において、確率マップは病理像上のオーバーレイ画像として使用される。ＣＮＮによって解析されるパッチは、同じ倍率である場合もあれば、異なるサイズの物理的面積の試料組織に対応するように異なる倍率（例えば、５×、２０×、５０×など）が混在する場合もある。異なる倍率により、ＷＳＩが取得された物理的倍率や、より高い倍率（すなわち、より高い解像度）の物理的画像をデジタル縮小することから得られる有効な倍率に対応することができる。

図１Ａは、本発明のニューラルネットワークアーキテクチャーの概略図である。Ｃ１、Ｃ２、・・・Ｃ１０層は畳み込み層である。Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、およびＤ６層は転置畳み込み（すなわち、逆畳み込み）層である。ある特定の層を相互接続する線は、畳み込み（Ｃ）層と逆畳み込み（Ｄ）層との間のスキップ接続を示す。スキップ接続は、より大きい次元でより浅い深さの層（「より大きい」および「より浅い」とは、より小さい添数の畳み込み層を意味する）からのローカルな特徴が、最終（すなわち、最も小さく最も深い）畳み込み層からのグローバルな特徴と組み合わされることを可能にする。これらのスキップ接続は、より正確な輪郭を提供する。各々がパッチの幅および高さを２倍低減するのに使用されているマックスプール層は、Ｃ２、Ｃ４、およびＣ７層の後に存在し、概略図に直接的には示されていないが、パッチの結果的なサイズ低減を介した暗示により示されている。本発明のニューラルネットワークのいくつかの実施形態において、マックスプール層は、完全畳み込みネットワークをもたらす１×１畳み込みで置き換えられている。

ニューラルネットワークの畳み込み部分は以下の層を順に有する。入力層（ＲＧＢ入力画像パッチ）、２つの畳み込み層Ｃ１、Ｃ２、第１のマックスプール層（示されず）、２つの畳み込み層Ｃ３、Ｃ４、第２のマックスプール層（図示せず）、３つの畳み込み層Ｃ５、Ｃ６、Ｃ７、および、第３のマックスプール層（図示せず）。第２および第３のマックスプール層からの出力は、それぞれＣ５層およびＣ８層への通常の接続に加えて、スキップ接続を用いて逆畳み込み層に直接的に接続している。

次いで、最終畳み込み層Ｃ１０、第２のマックスプール層（すなわち、Ｃ４層の後の層）からの出力、および第３のマックスプール層（すなわち、Ｃ７層の後の層）からの出力は、それぞれ、別々の「逆畳み込み層」の配列に接続している。逆畳み込み層の配列は、これらを拡大して入力（画像）パッチと同じサイズに戻し、すなわち、畳み込み特徴マップを、入力画像パッチと同じ幅および高さを有し、かつ検出対象となる組織クラス（すなわち、非腫瘍タイプおよび１つ以上の腫瘍タイプ）の数と等しいチャネル数（すなわち、特徴マップの数）を有する特徴マップに変換する。第２のマックスプール層については、１段階のみの逆畳み込みが必要とされるため、Ｄ６層への直接リンクが見られる。第３のマックスプール層については、中間の逆畳み込み層Ｄ４を経由してＤ５層に到達するために２段階の逆畳み込みが必要とされる。最も深い畳み込み層Ｃ１０については、Ｄ１およびＤ２を経由してＤ３層に至る３段階の逆畳み込みが必要とされる。結果は、入力パッチに等しいサイズの３つのアレイＤ３、Ｄ５、Ｄ６である。

図１Ａに示されたものの簡略化された（ただし、おそらくはより低性能の）バージョンであれば、スキップ接続を省略してもよい。この場合、Ｄ４、Ｄ５、およびＤ６層は存在せず、出力パッチはＤ３層のみから計算されることになる。

図１Ｂは、図１Ａのニューラルネットワークアーキテクチャーにおける最終ステップがどのように行われるかをより詳細に示している。すなわち、グローバルな特徴マップ層Ｄ３およびローカルな特徴マップ層Ｄ５、Ｄ６は組み合わされて、入力画像パッチの各ピクセルに対する個別クラスを予測する特徴マップを生成する。具体的には、図１Ｂは、最終の３つの転置畳み込み層Ｄ３、Ｄ５、およびＤ６がどのように腫瘍クラス出力パッチに対し処理されるかを示している。

ここで、上記で説明されているプローチが、どのように現在デジタル病理学で使用されている既知のＣＮＮと異なるかについて論じる。この既知のＣＮＮは、複数の利用可能なクラスから選択された１つのクラスを各画像パッチに割り当てる。このようなタイプのＣＮＮの例は、Ｗａｎｇ ｅｔ ａｌ ２０１６［１］、Ｌｉｕ ｅｔ ａｌ ２０１７［４］、Ｃｒｕｚ−Ｒｏａ ｅｔ ａｌ ２０１７［８］、およびＶａｎｄｅｎｂｅｒｇｈｅ ｅｔ ａｌ ２０１７［９］による論文に見られる。しかし、発明者らが先ほど説明した内容は、所与の画像パッチ内で、複数の利用可能なクラスから選択された１つのクラスが、あらゆるピクセルに割り当てられるということである。そのため、各画像パッチに対し単一のクラスラベルを生成する代わりに、本発明のニューラルネットワークは所与のパッチの各個別ピクセルに対しクラスラベルを出力する。本発明の出力パッチは、入力パッチと１対１のピクセル対ピクセル対応を有し、出力パッチ内の各ピクセルは複数の利用可能なクラス（非腫瘍、腫瘍１、腫瘍２、腫瘍３など）のうちの１つを入力パッチに割り当てている。

このような既知のＣＮＮ［１、４、８、９］において、単一のクラスを各パッチに割り当てるには、一連の畳み込み層が用いられ、次いで１つまたは複数の完全接続層が用いられ、次いで検出対象のクラスと同じ数の値を有する出力ベクトルが用いられる。予測されたクラスは、出力ベクトルにおける最大値の位置により決定される。

個別ピクセルのクラスを予測するために、本発明のＣＮＮは畳み込み層の後に異なるアーキテクチャーを使用する。一連の完全接続層の代わりに、発明者らは、畳み込み層の後に一連の転置畳み込み層を加えている。完全接続層は、このアーキテクチャーから取り除かれる。各転置畳み込み層は、特徴マップの幅および高さを２倍にし、同時にチャネル数を半分にする。このようにして、特徴マップは拡大されて入力パッチのサイズに戻る。

加えて、予測を改善するために、発明者らは、Ｌｏｎｇ ｅｔ ａｌ ２０１５［１０］（当該文献の全内容は参照により本明細書に援用される）で説明されているようなスキップ接続を使用する。

スキップ接続は、最終畳み込み層Ｃ１０からの拡大によってなされた粗雑な予測を改善するために、より浅い特徴を使用する。図１ＡのＤ５層およびＤ６層に含まれるスキップ接続からのローカルな特徴は、最終畳み込み層からの図１ＡのＤ３層に含まれるグローバルな特徴を拡大することにより生成された特徴とつなぎ合わされる。次いで、グローバルおよびローカルな特徴層Ｄ３、Ｄ５、およびＤ６はつなぎ合わされて、図１Ｂに示されるような組み合わされた層になる。

図１Ｂのつなぎ合わされた層から（または代替的に、スキップ接続が使用されない場合は最終逆畳み込み層Ｄ３から）、組み合わされた層の１×１畳み込みによってチャネル数がクラス数にマッチするように減らされる。次いで、この分類層上でのソフトマックス操作が、組み合わされた層における値を確率に変換する。出力パッチ層は、Ｎ×Ｎ×Ｋ（Ｎは入力パッチの幅および高さのピクセル数、Ｋは検出されているクラス数）のサイズを有する。したがって、画像パッチ内の任意のピクセルＰに対しサイズＫの出力ベクトルＶが存在する。次いで、各ピクセルＰに対し、その対応するベクトルＶにおける最大値の位置により、一意のクラスが割り当てられ得る。

このようにして、ＣＮＮは各ピクセルに対し、非癌性である、またはいくつかの異なる癌（腫瘍）タイプのうちの１つ以上に属するものとしてラベル付けする。特に関心対象となる癌は乳癌であるが、当該方法はその他の癌、例えば、膀胱、結腸、直腸、腎臓、血液（白血病）、子宮内膜、肺、肝臓、皮膚、膵臓、前立腺、脳、脊椎、および甲状腺の癌の組織像にも適用可能である。

発明者らが知る限りでは、乳癌の輪郭描画および分類のためにこのようなアプローチがＣＮＮで使用されたのは本出願が初めてである。発明者らは、発明者らが認識する過去のコンピュータ自動化法に比べて、輪郭描画がグラウンドトゥルースとみなされる病理医の描画により近いことから、このアプローチによる性能改善が存在するものと判断した。

本発明の特定のニューラルネットワークに実施形態は、ある特定の固定ピクセル寸法を有する入力画像に対し機能するように構成されている。そのため、前処理ステップとして、訓練および予測の両方について、所望のピクセル寸法、例えば、Ｎ×Ｎ×ｎピクセルを有するＷＳＩからパッチが抽出される（各物理的位置が３原色に関連する３つのピクセルを有する場合、ｎ＝３であり、この３原色は、ＷＳＩが従来的な可視光顕微鏡により得られるカラー画像であるときは、典型的にはＲＧＢである）。（後にさらに言及されるように、「ｎ」は、２つ以上のカラーＷＳＩが組み合わされた場合、複合化されたＷＳＩの数の３倍であり得る。）さらに「ｎ」は、単一のモノクロームＷＳＩの場合、１の値を有する。訓練をより高速にするには、この段階で入力パッチのセンタリングおよび正規化も行う。

本発明の好ましいアプローチは、全体のＷＳＩ、または少なくとも組織を含むＷＳＩの全体のエリアを処理することであり、そのため、本発明の場合におけるパッチは、少なくともＷＳＩの全体の組織エリアを網羅するタイルである。タイルは、重複なしで接していてもよく、または任意の不一致を考慮してＣＮＮの出力パッチが一緒にスティッチングされるように、例えば、１、２、３、４、５、６、７、８、９、または１０ピクセル幅の重複するエッジ周縁領域を有してもよい。しかし、本発明のアプローチは、所望される場合、従来技術におけるように、または病理医によって行われ得るように、ＷＳＩ全体における同じまたは異なる倍率のパッチのランダム標本に適用することもできる。

本発明のニューラルネットワークは、Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ ２０１４［６］のＶＧＧ−１６アーキテクチャーに設計が類似している。当該アーキテクチャーは、全ての畳み込みフィルターで非常に小さな３×３カーネルを使用する。マックスプーリングは、小さな２×２ウインドウおよび２のストライドで実行される。ＶＧＧ−１６アーキテクチャーが畳み込み層の後に一連の完全接続層を有するのに対し、発明者らは、畳み込み層の後に「逆畳み込み」（より正確には転置畳み込み）の配列を加えてセグメンテーションマスクを生成する。意味上のセグメンテーションにおけるこのタイプのアップサンプリングは、Ｌｏｎｇ ｅｔ ａｌ ２０１５［１０］（当該文献の全内容が参照により本明細書に援用される）による自然画像処理で過去に使用されている。

各逆畳み込み層は、入力特徴マップの幅および高さの寸法を２倍に拡大する。これはマックスプール層の縮小効果を相殺し、その結果、入力画像と同じサイズのクラス特徴マップをもたらす。各畳み込みおよび逆畳み込み層からの出力は、非線形活性化層によって変換される。現時点では、非線形活性化層は正規化線形関数

を使用する。異なる活性化関数、例えば、ＲＥＬＵ、リーキーＲＥＬＵ、ＥＬＵなどを所望に応じて使用してもよい。

提唱される方法は、変更なしで任意の所望される数の組織クラスに適用することができる。制約は、単に、ニューラルネットワーク内で反復することが望ましい方式で分類され適切な訓練データの可用性である。さらなる乳房病態の例は、浸潤性小葉癌または浸潤性腺管癌であり、すなわち、従前の例の単一の浸潤性腫瘍クラスは、複数の浸潤性腫瘍クラスで置き換えることができる。

ソフトマックス回帰層（すなわち、多項ロジスティック回帰層）をチャネルパッチの各々に適用して、特徴マップにおける値を確率に変換する。

ソフトマックス回帰によるこの最終変換の後、最終特徴マップ内のチャネルＣの位置（ｘ，ｙ）における値は、入力画像パッチ内の位置（ｘ，ｙ）におけるピクセルが、チャネルＣにより検出される腫瘍タイプに属する確率Ｐ（ｘ，ｙ）を含む。

畳み込みおよび逆畳み込み層の数は、所望に応じて増減させることができ、またニューラルネットワークを稼働するハードウェアのメモリ制限を受けることが理解されよう。

発明者らは、ミニバッチ勾配降下を用いてニューラルネットワークを訓練する。学習率は、指数関数的減衰を用いて０．１の初期比率から減少する。発明者らは、Ｓｒｉｖａｓｔａｖａ ｅｔ ａｌ ２０１４［２０１７］（当該文献の全内容が参照により本明細書に援用される）により説明されている「ドロップアウト」手順を使用することにより、ニューラルネットワーク過学習を防止している。ネットワークの訓練は、いくつかの利用可能なディープラーニングフレームワークのうちのいずれか１つを用いてＧＰＵ、ＣＰＵ、またはＦＰＧＡ上で行うことができる。本発明の実施形態についてはＧｏｏｇｌｅ Ｔｅｎｓｏｒｆｌｏｗを使用しているが、Ｍｉｃｒｏｓｏｆｔ ＣＮＴＫのような別のディープラーニングフレームワークで同じニューラルネットワークを実装することも可能であったと考えられる。

ニューラルネットワークは、Ｎ×Ｎ×Ｋ（Ｎは入力パッチの幅および高さのピクセル数、Ｋは検出されているクラス数）のサイズの確率マップを出力する。これらの出力パッチは、共にスティッチングしてＷ×Ｈ×Ｋ（ＷおよびＨは、パッチに分割される前の元のＷＳＩの幅および高さ）のサイズの確率マップに戻される。

次いで確率マップは、ラベル画像内の各位置（ｘ，ｙ）における最大確率と共にクラスインデックスを記録することにより、Ｗ×Ｈラベル画像に折り畳むことができる。

本発明の実施形態では、本発明のニューラルネットワークは、全てのピクセルを３つのクラス、非腫瘍、浸潤性腫瘍、および、上皮内腫瘍のうちの１つに割り当てている。

複数の腫瘍クラスが使用される場合、出力画像は、非腫瘍および腫瘍（すなわち、複数の腫瘍クラスが組み合わされる）という、よりシンプルな二項分類に後処理されてもよい。二項分類は、基礎データから画像を作成する際にオプションとして使用することができ、一方で複数クラス腫瘍分類は保存データ内で保持される。

本発明の特定の実施形態に対する上記の説明では、ＣＮＮを用いた具体的なアプローチに専念してきたが、本発明のアプローチは、多種多様な異なるタイプの畳み込みネットワークで実装することができるものと理解されよう。概して、畳み込みを使用して複雑性が増大する特徴を検出し、次に、転置畳み込み（「逆畳み込み」）を使用して特徴マップを拡大し入力画像の幅および高さに戻す、任意のニューラルネットワークが適しているはずである。

実施例１

図２はカラーで示され、パッチレベル予測（例えば、ＣａｍｅｌｙｏｎコンペティションにおいてＧｏｏｇｌｅのＣＮＮソリューション（Ｌｉｕ ｅｔ ａｌ． ２０１７［４］）により生成された予測）と、本発明のＣＮＮにより生成されたピクセルレベル予測と、の間の違いを示している。

図２のタイルＡおよびＢは、Ｌｉｕ ｅｔ ａｌ ２０１７［４］の図７から複製したものであり、タイルＣおよびＤは、本発明に従う例における同等のタイルである。

タイルＡはＨ＆Ｅ染色ＷＳＩからのパッチであり、右下象限にある濃い紫色の大きめの細胞は腫瘍であり、一方濃い紫色の小さめの細胞はリンパ球である。

タイルＢは、Ｌｉｕ ｅｔ ａｌ ２０１７［４］のＣＮＮにより生成された腫瘍確率ヒートマップであり、著者は、このヒートマップが腫瘍細胞を正確に識別し、一方で結合組織およびリンパ球は無視すると述べている。

タイルＣは、本発明を具体化するＣＮＮ法が適用されている一例のＷＳＩからの未加工の画像パッチである。未加工の画像に加えて、タイルＣは、病理医により手作業で描画された輪郭（赤色実線の境界線）も示している。加えて、タイルＤに関連して、タイルＣは本発明のＣＮＮ法からの結果も示している（ピンク色の境界線を伴いピンク色で色付けされた第１のエリアは第１の腫瘍タイプ、すなわち、タイルＤにおいて赤色で示される腫瘍タイプに対応し、ピンク色の境界線を伴い黄色で色付けされた第２エリアは、第２の腫瘍タイプ、すなわち、タイルＤにおいて青色に色付けされた腫瘍タイプに対応する）。

タイルＤは、本発明のＣＮＮにより生成された腫瘍確率ヒートマップである。本発明のピクセルレベル予測アプローチが、どのように滑らかな境界輪郭を伴ったエリアを生成するかが分かる。本発明のヒートマップにおいては、異なる（恣意的に選択される）色は異なるクラスを示しており、すなわち、緑色は非腫瘍、赤色は第１の腫瘍タイプ、青色は第２の腫瘍タイプを示す。

実施例２

図３はカラーで示され、入力ＲＧＢ画像パッチ（左側のタイルＡ）の例と、最終出力腫瘍確率ヒートマップ（右側のタイルＢ）と、を示している。

タイルＡは追加的に、病理医の手作業による浸潤性腫瘍（赤色の輪郭）の輪郭描画と、加えて、タイルＢで別個に示されているような、本発明のニューラルネットワークの予測におけるオーバーレイ（ピンク色および黄色に色付けされたエリア）と、を示している。

タイルＢは、本発明のＣＮＮにより生成された腫瘍確率ヒートマップである。本発明のヒートマップにおいては、異なる（恣意的に選択される）色は異なるクラスを示しており、すなわち、緑色は非腫瘍、赤褐色は浸潤性腫瘍（タイルＡではピンク色で示されている）、青色は上皮内腫瘍（タイルＡでは黄色で示されている）を示す。ここでもまた、本発明のピクセルレベル予測アプローチが、どのように滑らかな境界輪郭を有するエリアを生成するかが分かる。さらに、どのようにＣＮＮ予測が病理医の手作業によるマーキングと両立するかが分かる。加えて、ＣＮＮは、浸潤性腫瘍と非浸潤性（上皮内）腫瘍との間のさらなる区別をもたらす。これは、病理医が行わなかったものであり、組織を、所望に応じ、かつ臨床的に意味のある任意の数の異なるタイプに分類するようにプログラムおよび訓練することができる、本発明のマルチチャネルＣＮＮ設計の本質的部分である。

取得および画像処理

当該方法の出発点は、組織試料が切片化（すなわち、スライス）され、隣接する切片が異なる染色物質で染色されていることである。隣接する切片は、厚さが薄いため非常に類似した組織構造を有するが、異なる層にあるため同一ではない。

例えば、各々が異なる染色物質（例えば、ＥＲ、ＰＲ、ｐ５３、ＨＥＲ２、Ｈ＆Ｅ、およびＫｉ−６７）を伴った５つの隣接するセクションが存在し得る。次いで、各切片の顕微鏡像を取得する。隣接する切片は非常に類似した組織形状を有するが、染色物質は異なる特徴、例えば、核、細胞質、全般的コントラスト強調による全ての特徴などを強調する。

次いで異なる画像をアラインメントし、ワープまたは別の方法で前処理して、ある画像上の任意の所与の特徴の座標を他の画像上の同じ特徴にマッピングする。マッピングは、わずかに異なる倍率、顕微鏡におけるスライドアラインメントの相違またはスライド上の組織スライスのマウントの相違による向きの相違などのような因子に起因する、画像間の任意の相違に対処する。

別々に染色された隣接する切片を含むセットにおける異なるＷＳＩ間の座標マッピングについては、ＷＳＩを単一の複合ＷＳＩにマージすることができ、この複合ＷＳＩからＣＮＮによる処理用に複合パッチを抽出することができることに留意されたい。このような複合パッチは、Ｎ×Ｎ×３ｍ（「ｍ」は、セットを形成する複合化ＷＳＩの数）の寸法を有すると考えられる。

次いで、画像に対する何らかの標準的処理が行われる。このような画像処理ステップは、ＷＳＩレベルで、または個別の画像パッチのレベルで行われ得る。ＣＮＮがカラー画像ではなくモノクロームで機能するように構成されている場合、画像はカラーからグレースケールに変換され得る。画像は、コントラスト強調フィルターを適用することにより修正することができる。次いで、何らかのセグメンテーションを実行して、画像のセットにおける共通の組織エリアを識別するか、または単に組織に関係しないバックグラウンドを拒絶する。セグメンテーションは、以下の画像処理技法のいずれかまたは全てを伴い得る。

シード組織エリアを識別するための分散ベース解析

適応閾値処理

形態学的操作（例えば、ブロブ解析）

外形識別

近接ヒューリスティック規則に基づく外形マージ

不変画像モーメントの計算

エッジ抽出（例えば、ソーベルエッジ検出）

曲率フローフィルタリング

連続切片間の強度変動を排除するヒストグラムマッチング

多重解像度剛性／アフィン画像レジストレーション（勾配降下オプティマイザー）

非剛性変形／変換

スーパーピクセルクラスタリング

また、上記の種類の画像処理ステップは、ＷＳＩ上またはパッチ抽出後の個別のパッチ上で行われ得ることが理解されよう。場合によっては、パッチ抽出の前後両方で同じタイプの画像処理を行うことが有用な場合もある。すなわち、パッチ抽出の前にＷＳＩ上で行われ得る画像処理もあれば、ＷＳＩからの抽出後のパッチ上で行われ得る画像処理もある。

このような画像処理ステップは、例として説明されるものであり、いかなる形でも本発明の範囲を限定するものとして解釈されるべきではない。例えば、十分な処理能力が利用可能であれば、ＣＮＮはカラー画像に対し直接動作できると考えられる。

訓練および予測

図４は、ＣＮＮの訓練に関係するステップを示す流れ図である。

ステップＳ４０では、腫瘍を発見し、輪郭描画し、分類するために臨床医によりアノテーションされた処理用のＷＳＩを含む訓練データが検索される。臨床医のアノテーションはグラウンドトゥルースデータを表す。

ステップＳ４１において、ＷＳＩは、ＣＮＮ向けの入力画像パッチである画像パッチに分解される。すなわち、画像パッチはＷＳＩから抽出される。

ステップＳ４２において、画像パッチは上記で説明されているように前処理される。（代替的に、または追加として、ステップＳ４１の前にＷＳＩが上記で説明されているように前処理される場合も考えられる。）

ステップＳ４３において、ＣＮＮ重み（すなわち、層間の重み）向けの初期値が設定される。

ステップＳ４４において、入力画像パッチのバッチの各々がＣＮＮに入力され、図１Ａおよび１Ｂに関連して上記でさらに説明されているように、ピクセルごとにパッチを発見し、輪郭描画し、分類するように処理される。本発明の方法は各腫瘍（腫瘍タイプ）ピクセルを識別するものであるから、ここでの輪郭描画（ｏｕｔｌｉｎｅ）という用語は、必ずしも厳密には技術的に正しい用語ではない。そのため、ＣＮＮが各腫瘍タイプにおける腫瘍エリアを決定するという方がより正確かもしれない。

ステップＳ４５において、ＣＮＮ出力画像パッチがグラウンドトゥルースデータと比較される。これはバッチごとに行われてもよい。代替的に、全体のＷＳＩを網羅するパッチが抽出された場合、これはＷＳＩレベルで行われても、パッチの連続したバッチから構成されたＷＳＩのサブエリア（例えば、ＷＳＩの１象限）において行われてもよい。このような変形形態では、出力画像パッチは再び集められて、全体のＷＳＩまたはその連続した部分のための確率マップに構築することができ、確率マップは、コンピュータによりグラウンドトゥルースデータと比較することができ、さらに、確率マップがＷＳＩに対し半透明のオーバーレイとしてディスプレイ上に提示される場合は、ユーザーにより視覚的に比較することもできる。

ステップＳ４６において、次いでＣＮＮはこの比較から学習し、例えば、勾配降下アプローチを用いて、ＣＮＮ重みが更新される。このようにして学習は、図４に示されるように、処理フロー内のリターンループによって訓練データの反復処理にフィードバックされ、ＣＮＮ重みを最適化することができる。

訓練の後、ＣＮＮは、いかなるグラウンドトゥルースデータにも依存することなく、すなわち、予測のためのライブ使用において、ＷＳＩに適用され得る。

図５は、ＣＮＮを用いた予測に関係するステップを示す流れ図である。

ステップＳ５０において、１つ以上のＷＳＩが、例えば、検査情報システム（ＬＩＳ）またはその他の組織学的データリポジトリから、処理のために検索される。ＷＳＩは（例えば、上記で説明されているように）前処理される。

ステップＳ５１において、画像パッチは各ＷＳＩから抽出される。パッチは全体のＷＳＩを網羅しても、ランダムまたは非ランダム選択であってもよい。

ステップＳ５２において、画像パッチは（例えば、上記で説明されているように）前処理される。

ステップＳ５３において、入力画像パッチのバッチの各々がＣＮＮに入力され、図１Ａおよび１Ｂに関連して上記でさらに説明されているように、ピクセルごとにパッチを発見し、輪郭描画し、分類するように処理される。次いで、出力パッチは、入力画像パッチが抽出されたＷＳＩのための確率マップとして再び集められる。確率マップは、デジタル処理においてコンピュータ装置によりＷＳＩと比較することができ、さらに、確率マップが、例えば、ＷＳＩに対する半透明のオーバーレイとして、またはＷＳＩの横に、ディスプレイ上に提示される場合は、ユーザーにより視覚的に比較することもできる。

ステップＳ５４において、腫瘍エリアはフィルタリングされ、偽陽性の可能性がある腫瘍、例えば、小さすぎるエリアまたはエッジアーティファクトの可能性があるエリアが除外される。

ステップＳ５５において、スコア付けアルゴリズムが実行される。スコア付けは細胞固有であり、スコアは、腫瘍ごとに集められ得る、および／またはさらにＷＳＩ（もしくはＷＳＩのサブエリア）ごとに集められ得る。

ステップＳ５６では、結果が、例えば、アノテーションされたＷＳＩを適切な高解像度モニターに表示することにより、診断のために病理医または他の関連技量を有する臨床医に対し提示される。

ステップＳ５７において、ＣＮＮの結果、すなわち、確率マップデータおよび任意選択でＣＮＮパラメーターに関係するメタデータは、病理医により追加された任意の追加的診断情報と共に、ＣＮＮにより処理されたＷＳＩまたはＷＳＩのセットを含む患者データファイルとリンクするような方法で保存される。このようにして、ＬＩＳまたはその他の組織学的データリポジトリ内の患者データファイルにＣＮＮ結果が供給される。

コンピューティングプラットフォーム

提唱される画像処理は、多様なコンピューティングアーキテクチャー、詳細には、ニューラルネットワーク向けに最適化された、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＦＰＧＡ、および／またはＡＳＩＣに基づき得るコンピューティングアーキテクチャー上で行うことができる。いくつかの実施形態において、ニューラルネットワークは、Ｎｖｉｄｉａ Ｃｏｒｐｏｒａｔｉｏｎ（Ｓａｎｔａ Ｃｌａｒａ，Ｃａｌｉｆｏｒｎｉａ）製のＮｖｉｄｉａ ＧＰＵ（例えば、Ｔｅｓｌａ Ｋ８０ ＧＰＵ）上で稼働するＧｏｏｇｌｅのＴｅｎｓｏｒｆｌｏｗソフトウェアライブラリを用いて実装される。他の実施形態において、ニューラルネットワークは一般のＣＰＵ上で稼働し得る。より高速な処理は、ＣＮＮ計算を実行する目的に合わせて設計されたプロセッサ、例えば、Ｊｏｕｐｐｉ ｅｔ ａｌ ２０１７［１１］（当該文献の全内容が参照により本明細書に援用される）に開示されているＴＰＵによって得ることができる。

図６はＪｏｕｐｐｉ ｅｔ ａｌ ２０１７［１１］のＴＰＵを示しており、これはＪｏｕｐｐｉの図１を簡略化して再現したものである。ＴＰＵ １００は、符合ありまたはなしの整数に対し８ビットの乗算および加算を実行することができる２５６×２５６ ＭＡＣを含むシストリック行列乗算ユニット（ＭＭＵ：ｍａｔｒｉｘ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ｕｎｉｔ）１０２を有する。ＭＭＵの重みは、重みＦＩＦＯバッファ１０４を通じて供給され、バッファ１０４は、適切なメモリインターフェイス１０８経由でオフチップ８ＧＢ ＤＲＡＭ形態のメモリ１０６からの重みを読み取る。ユニファイドバッファ（ＵＢ）１１０は、中間結果を格納するために提供される。ＭＭＵ １０２は、重みＦＩＦＯインターフェイス１０４および（シストリックデータセットアップユニット１１２経由で）ＵＢ １１０からの入力を受信するように接続し、ＭＭＵ処理の１６ビット生成物を蓄積ユニット１１４に出力する。起動ユニット１１６は、蓄積ユニット１１４内で保持されているデータに対し非線形関数を実行する。正規化ユニット１１８およびプーリングユニット１２０によるさらなる処理の後、中間結果は、データセットアップユニット１１２経由でＭＭＵ １０２に供給するためにＵＢ １１０に送信される。プーリングユニット１２０は、所望に応じて最大プーリング（すなわち、マックスプーリング）または平均プーリングを実行することができる。プログラマブルＤＭＡコントローラー１２２は、ＴＰＵのホストコンピュータおよびＵＢ １１０に対しデータを転送する、またはこれらからのデータを転送する。ＴＰＵ命令は、ホストコンピュータからホストインターフェイス１２４および命令バッファ１２６を経由してコントローラー１２２に送信される。

ニューラルネットワークの稼働に使用するコンピューティング能力は、ＣＰＵ、ＧＰＵ、またはＴＰＵに基づくか否かにかかわらず、例えば、後述される臨床ネットワーク内でローカル管理されても、データセンターでリモート管理されてもよいことが理解される。

提唱されるコンピュータ自動化法は、検査情報システム（ＬＩＳ）の文脈で機能し、この検査情報システムは、典型的にはより大きな臨床ネットワーク環境の一部、例えば、病院情報システム（ＨＩＳ）または画像保存通信システム（ＰＡＣＳ）の一部である。ＬＩＳにおいて、ＷＳＩはデータベース内で、典型的には、個別の患者の電子カルテを含む患者情報データベース内で保持される。ＷＳＩは、スライドに載せた染色された組織試料から撮像される。ＷＳＩを取得する顕微鏡はバーコードリーダーを装備しているため、このスライドは印刷バーコードラベルを有し、これによってＷＳＩは適切なメタデータでタグ付けされる。ハードウェアの観点からは、ＬＩＳは従来的なコンピュータネットワークであり、例えば、所望に応じて有線および無線の接続を有するローカルエリアネットワーク（ＬＡＮ）である。

図７は、本発明の実施形態と共に使用され得るコンピュータネットワークの一例を示している。ネットワーク１５０は、病院１５２内のＬＡＮを備える。病院１５２は複数のワークステーション１５４が装備されており、これらの各々が、ローカルエリアネットワーク経由で、関連するストレージデバイス１５８を有する病院コンピュータサーバー１５６にアクセスできる。ＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブはストレージデバイス１５８上に格納されており、アーカイブ内のデータにはワークステーション１５４のいずれからもアクセスすることができる。ワークステーション１５４のうちの１台以上は、本明細書で先に説明したような画像生成方法をコンピュータで実装するためのグラフィックスカードおよびソフトウェアにアクセスできる。ソフトウェアは、特定の１台または各々のワークステーション１５４でローカルに格納される場合もあれば、またはリモートに格納され、必要なときにネットワーク１５０を介してワークステーション１５４にダウンロードされる場合もある。他の例では、本発明を具体化する方法は、ワークステーション１５４が端末として動作するコンピュータサーバー上で実行することができる。例えば、ワークステーションは、所望の組織像データセットを定義するユーザー入力を受信し、得られた画像を表示すると同時にＣＮＮ解析がシステム内の他の場所で実行されるように構成することができる。また、複数の組織学的および他の医療用撮像装置１６０、１６２、１６４、１６６が病院コンピュータサーバー１５６に接続している。デバイス１６０、１６２、１６４、１６６で収集された画像データは、ストレージデバイス１５６上のＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブに直接格納することができる。したがって、組織像は、対応する組織像データが記録された直後に閲覧および処理することができる。ローカルエリアネットワークは、病院インターネットサーバー１７０によりインターネット１６８に接続しており、これによりＬＩＳ、ＨＩＳ、またはＰＡＣＳアーカイブへのリモートアクセスが可能になる。これは、データのリモートアクセスや、例えば、患者が転院する場合に、または外部調査の実施を可能にするために、病院間でデータを転送するのに有用である。

図８は、本明細書で説明されている様々な実施形態と共に使用され得るコンピューティング装置５００の一例を示すブロック図である。例えば、コンピューティング装置５００は、上述のＬＩＳまたはＰＡＣＳシステムにおけるコンピューティングノード、例えば、ＣＮＮ処理が適切なＧＰＵ、または図６に示されるＴＰＵと共に行われるホストコンピュータとして使用することができる。

コンピューティング装置５００は、サーバーもしくは任意の従来的なパーソナルコンピュータであってもよく、または有線もしくは無線のデータ通信が可能な任意の他のプロセッサ作動可能なデバイスであってもよい。当業者には明らかであろうように、その他のコンピューティング装置、システム、および／またはアーキテクチャーも、有線または無線のデータ通信が不可能なデバイスを含めて使用することができる。

コンピューティング装置５００は、好ましくは１つ以上のプロセッサ、例えば、プロセッサ５１０を含む。プロセッサ５１０は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵ、またはこれらのアレイもしくは組み合わせ、例えば、ＣＰＵとＴＰＵとの組み合わせ、またはＣＰＵとＧＰＵとの組み合わせであり得る。追加のプロセッサが提供されてもよく、例えば、入力／出力を管理するための補助プロセッサ、浮動小数点の数学演算を実行するための補助プロセッサ（例えば、ＴＰＵ）、信号処理アルゴリズムの高速実行に適したアーキテクチャーを有する専用マイクロプロセッサ（例えば、デジタル信号プロセッサ、画像プロセッサ）、メイン処理システムに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、デュアルもしくはマルチプロセッサシステム用の追加のマイクロプロセッサもしくはコントローラー、またはコプロセッサが提供されてもよい。このような補助プロセッサは、別々のプロセッサであっても、プロセッサ５１０と一体化していてもよい。コンピューティング装置５００と共に使用され得るＣＰＵの例は、Ｐｅｎｔｉｕｍプロセッサ、Ｃｏｒｅ ｉ７プロセッサ、およびＸｅｏｎプロセッサであり、これら全てはＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ（Ｓａｎｔａ Ｃｌａｒａ，Ｃａｌｉｆｏｒｎｉａ）から入手可能である。コンピューティング装置５００と共に使用され得るＧＰＵの一例は、Ｎｖｉｄｉａ Ｃｏｒｐｏｒａｔｉｏｎ（Ｓａｎｔａ Ｃｌａｒａ，Ｃａｌｉｆｏｒｎｉａ）のＴｅｓｌａ Ｋ８０ ＧＰＵである。

プロセッサ５１０は通信バス５０５に接続している。通信バス５０５は、コンピューティング装置５００のストレージと他の周辺構成要素との間の情報転送を容易にするためのデータチャネルを含むことができる。通信バス５０５はさらに、データバス、アドレスバス、およびコントロールバス（図示せず）を含む、プロセッサ５１０との通信に使用される信号のセットを提供することができる。通信バス５０５は、任意の標準または非標準のバスアーキテクチャーを備えることができ、例えば、ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）、ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ（ＥＩＳＡ）、Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）、ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）ローカルバス、またはＩｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）により公表された規格（ＩＥＥＥ ４８８汎用インターフェイスバス（ＧＰＩＢ）、ＩＥＥＥ ６９６／Ｓ−１００などを含む）に準拠するバスアーキテクチャーを備えることができる。

コンピューティング装置５００は、好ましくはメインメモリ５１５を含み、また二次メモリ５２０も含むことができる。メインメモリ５１５は、プロセッサ５１０上で実行するプログラム、例えば、上記で論じた機能および／またはモジュールのうちの１つ以上のための命令およびデータのストレージを提供する。メモリに格納されプロセッサ５１０により実行されるコンピュータ可読プログラム命令は、アセンブラー命令、命令セットアーキテクチャー（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定（ｓｔａｔｅ−ｓｅｔｔｉｎｇ）データ、集積回路用の構成データ、または１つ以上のプログラミング言語（以下に限定されないが、Ｓｍａｌｌｔａｌｋ、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｖｉｓｕａｌ Ｂａｓｉｃ、ＮＥＴなどを含む）の任意の組み合わせで書かれた、および／またはそこからコンパイルされたソースコードもしくはオブジェクトコードであり得ることを理解されたい。メインメモリ５１５は、典型的には、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）のような半導体ベースのメモリである。その他の半導体ベースのメモリタイプとしては、例えば、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ラムバスダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）など（リードオンリーメモリ（ＲＯＭ）を含む）が挙げられる。

コンピュータ可読プログラム命令は、ユーザーのコンピュータ上で完全に、ユーザーのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザーのコンピュータ上で部分的に、およびリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバー上で完全に実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザーのコンピュータに接続することができ、または接続は、（例えば、インターネットサービスプロバイダーを用いてインターネットを通じて）外部コンピュータに対し行うことができる。

二次メモリ５２０は、任意選択で内部メモリ５２５および／またはリムーバブル媒体５３０を含むことができる。リムーバブル媒体５３０は、任意の周知の方式で読み取られおよび／または書き込まれる。リムーバブル記憶媒体５３０は、例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、その他の光学ドライブ、フラッシュメモリドライブなどであり得る。

リムーバブル記憶媒体５３０は、コンピュータ実行可能コード（すなわち、ソフトウェア）および／またはデータを格納した非一時的コンピュータ可読媒体である。リムーバブル記憶媒体５３０に格納されたコンピュータソフトウェアまたはデータは、プロセッサ５１０による実行のためにコンピューティング装置５００に読み取られる。

二次メモリ５２０は、コンピュータプログラムまたはその他のデータもしくは命令がコンピューティング装置５００にロードされるのを可能にするための他の類似の要素を含むことができる。このような手段は、例えば、外部記憶媒体５４５と、ソフトウェアおよびデータが外部記憶媒体５４５からコンピューティング装置５００に転送されるのを可能にする通信インターフェイス５４０とを含み得る。外部記憶媒体５４５の例としては、外部ハードディスクドライブ、外部光ドライブ、外部光磁気ドライブなどが挙げられ得る。二次メモリ５２０のその他の例としては、半導体ベースのメモリ、例えば、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能リードオンリーメモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭに類似するブロック指向メモリ）が挙げられ得る。

上述のように、コンピューティング装置５００は通信インターフェイス５４０を含むことができる。通信インターフェイス５４０は、ソフトウェアおよびデータがコンピューティング装置５００と、外部デバイス（例えば、プリンター）、ネットワーク、またはその他の情報源と、の間で転送されるのを可能にする。例えば、コンピュータソフトウェアまたは実行可能コードを、通信インターフェイス５４０経由でネットワークサーバーからコンピューティング装置５００に転送することができる。通信インターフェイス５４０の例としては、ビルトインネットワークアダプタ、ネットワークインターフェイスカード（ＮＩＣ）、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインターフェイスカード（ＮＩＣ）、無線データカード、通信ポート、赤外線インターフェイス、ＩＥＥＥ １３９４ファイアワイヤー、またはシステム５５０をネットワークもしくは別のコンピューティングデバイスとインターフェイス接続させることが可能な任意の他の装置が挙げられる。通信インターフェイス５４０は、業界で公表されたプロトコル規格、例えば、イーサネットＩＥＥＥ ８０２規格、ファイバーチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、統合デジタルサービスネットワーク（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）などを実装することが好ましいが、カスタマイズされた、または非標準的なインターネットプロトコルを実装してもよい。

通信インターフェイス５４０経由で転送されるソフトウェアおよびデータは、概して電気通信信号５５５の形態をとる。このような信号５５５は、通信チャネル５５０経由で通信インターフェイス５４０にもたらされ得る。１つの実施形態において、通信チャネル５５０は、有線もしくは無線のネットワーク、または任意の多様な他の通信リンクであり得る。通信チャネル５５０は信号５５５を運搬し、多様な有線または無線の通信手段を用いて実装することができ、このような通信手段には、単にいくつかの例を挙げれば、電線もしくはケーブル、光ファイバー、従来的な電話回線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクが含まれる。

コンピュータ実行可能コード（すなわち、コンピュータプログラムまたはソフトウェア）は、メインメモリ５１５および／または二次メモリ５２０に格納される。また、コンピュータプログラムは、通信インターフェイス５４０経由で受信し、メインメモリ５１５および／または二次メモリ５２０に格納することもできる。このようなコンピュータプログラムが実行されると、コンピューティング装置５００は、本明細書の他の箇所で説明されている本開示の実施形態の様々な機能を実行することが可能になる。

本文書において、「コンピュータ可読媒体」という用語は、コンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）をコンピューティング装置５００に提供するのに使用される任意の非一時的コンピュータ可読記憶媒体を指すために使用される。このような媒体の例としては、メインメモリ５１５、二次メモリ５２０（内部メモリ５２５、リムーバブル媒体５３０、および外部記憶媒体５４５を含む）、ならびに通信インターフェイス５４０と通信可能に結合した任意の周辺デバイス（ネットワーク情報サーバーまたはその他のネットワーク装置を含む）が挙げられる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをコンピューティング装置５００に提供するための手段である。［９０］ソフトウェアを用いて実装される１つの実施形態において、ソフトウェアは、コンピュータ可読媒体上に格納し、リムーバブル媒体５３０、Ｉ／Ｏインターフェイス５３５、または通信インターフェイス５４０を介してコンピューティング装置５００にロードすることができる。このような実施形態において、ソフトウェアは、電気通信信号５５５の形態でコンピューティング装置５００にロードされる。ソフトウェアは、プロセッサ５１０によって実行されると、好ましくは、プロセッサ５１０に本明細書の他の箇所で説明されている特徴および機能を実行させる。

Ｉ／Ｏインターフェイス５３５は、コンピューティング装置５００の１つ以上の構成要素と１つ以上の入力および／または出力デバイスとの間のインターフェイスを提供する。入力デバイスの例としては、以下に限定されないが、キーボード、タッチスクリーン、またはその他のタッチセンシティブデバイス、生体検知デバイス、コンピュータマウス、トラックボール、ペン型ポインティングデバイスなどが挙げられる。出力デバイスの例としては、以下に限定されないが、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオードダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンター、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）などが挙げられる。

コンピューティング装置５００は、音声ネットワークおよび／またはデータネットワークを介して無線通信を容易にする任意選択の無線通信構成要素も含む。無線通信構成要素は、アンテナシステム５７０、無線システム５６５、およびベースバンドシステム５６０を備える。コンピューティング装置５００において、無線周波数（ＲＦ）信号は、無線システム５６５の管理下でアンテナシステム５７０により無線で送受信される。

アンテナシステム５７０は、１つ以上のアンテナと、スイッチング機能を実行してアンテナシステム５７０に送受信信号経路を提供する１つ以上のマルチプレクサー（図示せず）とを含むことができる。受信経路において、受信されたＲＦ信号は、マルチプレクサーから、受信されたＲＦ信号を増幅し、増幅された信号を無線システム５６５に送信する低雑音増幅器（図示せず）に結合させてもよい。

無線システム５６５は、様々な周波数を介し通信するように構成された１つ以上の無線機を備えることができる。１つの実施形態において、無線システム５６５は、１つの集積回路（ＩＣ）内に復調器（図示せず）と変調器（図示せず）とを組み合わせることができる。また、復調器および変調器は別々の構成要素であってもよい。入り経路において、復調器は、ＲＦ搬送波信号を取り除いてベースバンド受信音声信号を残し、ベースバンド受信音声信号は無線システム５６５からベースバンドシステム５６０に送信される。

受信信号が音声情報を含む場合、ベースバンドシステム５６０はこの信号を復号し、アナログ信号に変換する。次いで、信号は増幅されスピーカーに送信される。ベースバンドシステム５６０は、マイクロフォンからのアナログ音声信号も受信する。このようなアナログオーディオ信号はデジタル信号に変換され、ベースバンドシステム５６０によって符号化される。ベースバンドシステム５６０は、送信のためのデジタル信号も符号化し、ベースバンド送信音声信号を生成し、これは無線システム５６５の変調器部分にルーティングされる。変調器は、ベースバンド送信音声信号をＲＦ搬送波信号と混合してＲＦ送信信号を生成し、これはアンテナシステム５７０にルーティングされ、電力増幅器（図示せず）を通過し得る。電力増幅器は、ＲＦ送信信号を増幅しアンテナシステム５７０にルーティングする。信号は、アンテナシステム５７０にて送信のためのアンテナポートにスイッチングされる。

ベースバンドシステム５６０は、中央処理装置（ＣＰＵ）であり得るプロセッサ５１０にも結合している。プロセッサ５１０は、データ記憶領域５１５および５２０にアクセスできる。プロセッサ５１０は、好ましくは、メインメモリ５１５または二次メモリ５２０に格納され得る命令（すなわち、コンピュータプログラムまたはソフトウェア）を実行するように構成されている。また、コンピュータプログラムは、ベースバンドプロセッサ５６０から受信し、メインメモリ５１０または二次メモリ５２０に格納するかまたは受信時に実行することもできる。このようなコンピュータプログラムが実行されると、コンピューティング装置５００は、本開示の実施形態の様々な機能を実行することが可能になる。例えば、データ記憶領域５１５または５２０は、様々なソフトウェアモジュールを含むことができる。

コンピューティング装置はさらに、通信バス５０５に直接的に取り付けられたディスプレイ５７５を備え、これは上記で言及したＩ／Ｏインターフェイス５３５に接続した任意のディスプレイの代わりにまたはそれに加えて提供され得る。

また、主にハードウェアにおいて、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ（ＰＬＡ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなコンポーネントを用いて、様々な実施形態を実装することもできる。本明細書で説明される機能を実行可能なハードウェアステートマシンの実装も、当業者には明らかであろう。また、ハードウェアとソフトウェアの両方の組み合わせを用いて様々な実施形態を実装することもできる。

さらに、当業者は、上記で説明された図面および本明細書で開示されている実施形態と共に説明されている様々な例示的な論理ブロック、モジュール、回路、および方法ステップが、しばしば電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装され得ることを理解するであろう。このハードウェアおよびソフトウェアの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してその機能性の観点から上記で説明されている。このような機能性がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の用途や、全体のシステムに対して課される設計制約に依存する。当業者は、様々な方法で各々の特定の用途に対し、説明されている機能性を実装することができるが、このような実装の決定は、本発明の範囲からの逸脱を引き起こすものと解釈されるべきではない。加えて、モジュール、ブロック、回路、またはステップ内における機能のグループ化は、説明を容易にするためのものである。特定の機能またはステップは、本発明から逸脱することなく、あるモジュール、ブロック、または回路から別のものに移動させることができる。

さらに、本明細書で開示されている実施形態と共に説明されている様々な例示的な論理ブロック、モジュール、機能、および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、もしくはその他のプログラマブルロジックデバイス、別々のゲートもしくはトランジスターロジック、別々のハードウェア構成要素、または本明細書で説明されている機能を実行するように設計されたこれらの任意の組み合わせを用いて実装または実行することができる。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意のプロセッサ、コントローラー、マイクロコントローラー、またはステートマシンであってもよい。また、プロセッサは、コンピューティングデバイスの組み合わせとして、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアと連携した１つ以上のマイクロプロセッサの組み合わせ、または他の任意のこのような構成として実装することもできる。

追加的に、本明細書で開示されている実施形態と共に説明されている方法またはアルゴリズムのステップは、直接的にハードウェアにおいて、プロセッサにより実行されるソフトウェアモジュール内で、またはこの２つの組み合わせにおいて具体化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスター、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、またはネットワーク記憶媒体を含めた任意の他の形態の記憶媒体内に常駐することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようにプロセッサと結合され得る。代替として、記憶媒体はプロセッサと一体化していてもよい。また、プロセッサおよび記憶媒体はＡＳＩＣに常駐してもよい。

本明細書で言及されているコンピュータ可読記憶媒体は、それ自体が、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体（例えば、光ケーブルを通過する光パルス）を介し伝播する電磁波、または電線を介し送信される電気信号のような一時的信号として解釈されるべきではない。

本明細書で説明されているいずれのソフトウェア構成要素も、多様な形態をとることができる。例えば、構成要素は、スタンドアロンのソフトウェアパッケージの場合もあれば、より大きなソフトウェア製品内の「ツール」として組み込まれたソフトウェアパッケージの場合もある。構成要素は、スタンドアロン製品として、または既存のソフトウェアアプリケーションにおけるインストール用アドインパッケージとして、ネットワーク（例えば、ウェブサイト）からダウンロード可能であってもよい。また、構成要素は、クライアントサーバー型ソフトウェアアプリケーションとして、ウェブ対応のソフトウェアアプリケーションとして、および／またはモバイルアプリケーションとして利用可能であってもよい。

本発明の実施形態は、本発明の実施形態に従う方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照しながら本明細書で説明されている。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令により実装され得ることが理解されよう。

コンピュータ可読プログラム命令は、マシンを生成するための汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供することができ、これにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサ経由で実行する命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／作用を実装するための手段を作成する。また、これらのコンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、および／または他のデバイスに特定の方式で機能するように指示することができるコンピュータ可読記憶媒体に格納することもでき、これにより、命令が格納されたコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／作用の態様を実装する命令を含む製造品を備える。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードして、一連の操作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実行させてコンピュータ実装プロセスを生成することもでき、これにより、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで指定された機能／作用を実装する。

示されているフローチャートおよびブロック図は、本開示の様々な実施形態に従うシステム、方法、装置、およびコンピュータプログラム製品の考えられる実施形態のアーキテクチャー、機能性、および操作を例示している。この点において、フローチャートまたはブロック図の各ブロックは、指定された機能（複数可）を実装するための１つ以上の実行可能命令を含むモジュール、セグメント、または命令の一部に相当し得る。いくつかの代替的な実施形態において、ブロック内に記された機能は、図面内で記された順序とは異なって生じ得る。例えば、連続して示される２つのブロックが、実際には実質的に同時に実行される場合があり、またはブロックは時として、関係する機能性に応じて逆の順序で実行される場合がある。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能もしくは作用を実行する、または専用ハードウェアおよびコンピュータ命令の組み合わせを行う専用ハードウェアベースのシステムによって実装される場合があることにも留意されたい。

本発明を具体化する装置および方法は、クラウドコンピューティング環境で管理および提供が可能である。クラウドコンピューティングは、構成可能なコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域幅、サーバー、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドネットワークアクセスを可能にするためのサービス提供モデルであり、最小限の管理作業またはサービスプロバイダーとの対話により、迅速にプロビジョニングおよびリリースすることができる。このクラウドモデルは、少なくとも５つの特徴と、少なくとも３つのサービスモデルと、少なくとも４つの展開モデルとを含み得る。

特徴は以下の通りである。

オンデマンドセルフサービス：クラウド利用者は、サーバー時間およびネットワークストレージのようなコンピューティング能力の一方向的な供給を、人間がサービスプロバイダーと対話する必要なく、必要に応じて自動的に行うことができる。

幅広いネットワークアクセス：諸機能がネットワークを介して利用可能であり、混在するシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ノートパソコン、およびＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。

リソースプーリング：プロバイダーのコンピューティングリソースは、マルチテナントモデルを用いて複数の利用者に提供されるようにプールされ、異なる物理的リソースおよび仮想リソースは、需要に応じて動的に割り当ておよび再割り当てが行われる。利用者は概して、提供されるリソースの正確な位置を制御することも知ることもできないが、より高い抽象レベルでの位置（例えば、国、州、またはデータセンター）は指定することができ得るという点において、位置非依存性の感覚がある。

迅速な弾力性：諸機能は、迅速かつ弾力的に、場合によっては自動的にプロビジョニングされて速やかにスケールアウトし、迅速にリリースされて速やかにスケールインすることができる。利用者にとっては、プロビジョニングに利用可能な諸機能はしばしば無制限のように見え、いつでも任意の量で購入することができる。

測定されたサービス：クラウドシステムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブユーザーアカウント）に適した何らかの抽象化レベルにおける計測能力を活用することにより、リソース使用を自動的に制御し最適化する。リソース使用状況は監視、制御、および報告することができ、これにより、利用サービスの提供者および利用者の両方に透明性がもたらされる。

サービスモデルは以下の通りである。

サービスとしてのソフトウェア（ＳａａＳ）：利用者に提供される機能は、クラウドインフラストラクチャー上で稼働するプロバイダーのアプリケーションを使用することである。アプリケーションは、ウェブブラウザー（例えば、ウェブベースの電子メール）のようなシンクライアントインターフェイスを通じて様々なクライアントデバイスからアクセス可能である。利用者は、限定的なユーザー特化アプリケーション構成設定が考えられることを別にすれば、ネットワーク、サーバー、オペレーティングシステム、ストレージ、またはさらに個別のアプリケーション機能をも含めて、基盤となるクラウドインフラストラクチャーの管理または制御は行わない。

サービスとしてのプラットフォーム（ＰａａＳ）：利用者に提供される機能は、提供者がサポートするプログラミング言語とツールを使用して利用者が作成または取得したアプリケーションを、クラウドインフラストラクチャー上に展開することである。利用者は、ネットワーク、サーバー、オペレーティングシステム、またはストレージを含めて、基盤となるクラウドインフラストラクチャーの管理または制御は行わないが、展開したアプリケーションや、場合によってはアプリケーションホスティング環境の構成を制御することができる。

サービスとしてのインフラストラクチャー（ＩａａＳ）：利用者に提供される機能は、処理、ストレージ、ネットワーク、および他の基本的なコンピューティングリソースをプロビジョニングすることであり、利用者は、任意のソフトウェア（オペレーティングシステムおよびアプリケーションが含まれ得る）を展開し稼働させることができる。利用者は、基盤となるクラウドインフラストラクチャーの管理または制御は行わないが、オペレーティングシステム、ストレージ、展開したアプリケーションを制御することができ、場合によっては限定的に選択ネットワーキング構成要素（例えば、ホストファイアウォール）を制御することもできる。

展開モデルは以下の通りである。

プライベートクラウド：クラウドインフラストラクチャーは、１つの組織のみのために機能する。プライベートクラウドは、その組織またはサードパーティーにより管理される場合もあれば、オンプレミスまたはオフプレミスに存在する場合もある。

コミュニティークラウド：クラウドインフラストラクチャーはいくつかの組織によって共有され、共通の関心（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項）を有する特定のコミュニティーをサポートする。コミュニティークラウドは、それらの組織またはサードパーティーにより管理される場合もあれば、オンプレミスまたはオフプレミスに存在する場合もある。

パブリッククラウド：クラウドインフラストラクチャーは、一般の人々や大規模な業界団体が利用できるようになっており、クラウドサービスを販売する組織が所有する。

ハイブリッドクラウド：クラウドインフラストラクチャーは２つ以上のクラウド（プライベート、コミュニティー、またはパブリック）が合成されたものであり、これらのクラウドは固有の実体にとどまっているものの、データおよびアプリケーションのポータビリティーを可能にする標準化されたまたは独自の技術（例えば、クラウド間の負荷分散のためのクラウドバースト）によって互いに結びついている。

クラウドコンピューティング環境は、ステートレス、低結合、モジュール性、および意味的な相互運用性に焦点を当てたサービス指向型である。クラウドコンピューティングの中心にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャーである。

多くの改良および変更が、本開示の範囲から逸脱することなく、上記の例示的な実施形態になされ得ることは、当業者には明らかであろう。

参考文献

Ｗａｎｇ， Ｄａｙｏｎｇ， Ａｄｉｔｙａ Ｋｈｏｓｌａ， Ｒｉｓｈａｂ Ｇａｒｇｅｙａ， Ｈｕｍａｙｕｎ Ｉｒｓｈａｄ， ａｎｄ Ａｎｄｒｅｗ Ｈ Ｂｅｃｋ． ２０１６． “Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｄｅｎｔｉｆｙｉｎｇ Ｍｅｔａｓｔａｔｉｃ Ｂｒｅａｓｔ Ｃａｎｃｅｒ．” ＡｒＸｉｖ Ｐｒｅｐｒｉｎｔ ＡｒＸｉｖ：１６０６．０５７１８．

ＵＳ２０１５２１３３０２Ａ１ （Ｃａｓｅ Ｗｅｓｔｅｒｎ Ｒｅｓｅｒｖｅ Ｕｎｉｖｅｒｓｉｔｙ）

Ｌｅ Ｈｏｕ， Ｄｉｍｉｔｒｉｓ Ｓａｍａｒａｓ， Ｔａｈｓｉｎ Ｍ． Ｋｕｒｃ， Ｙｉ Ｇａｏ， Ｊａｍｅｓ Ｅ． Ｄａｖｉｓ， ａｎｄ Ｊｏｅｌ Ｈ． Ｓａｌｔｚ “Ｐａｔｃｈ−ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｗｈｏｌｅ Ｓｌｉｄｅ Ｔｉｓｓｕｅ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”， Ｐｒｏｃ． ＩＥＥＥ Ｃｏｍｐｕｔ Ｓｏｃ Ｃｏｎｆ Ｃｏｍｐｕｔ Ｖｉｓ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔ． ２０１６， ｐａｇｅｓ ２４２４−２４３３． ｄｏｉ：１０．１１０９／ＣＶＰＲ

Ｌｉｕ， Ｙｕｎ， Ｋｒｉｓｈｎａ Ｇａｄｅｐａｌｌｉ， Ｍｏｈａｍｍａｄ Ｎｏｒｏｕｚｉ， Ｇｅｏｒｇｅ Ｅ Ｄａｈｌ， Ｔｉｍｏ Ｋｏｈｌｂｅｒｇｅｒ， Ａｌｅｋｓｅｙ Ｂｏｙｋｏ， Ｓｕｂｈａｓｈｉｎｉ Ｖｅｎｕｇｏｐａｌａｎ， ｅｔ ａｌ． ２０１７． “Ｄｅｔｅｃｔｉｎｇ Ｃａｎｃｅｒ Ｍｅｔａｓｔａｓｅｓ ｏｎ Ｇｉｇａｐｉｘｅｌ Ｐａｔｈｏｌｏｇｙ Ｉｍａｇｅｓ．” ＡｒＸｉｖ Ｐｒｅｐｒｉｎｔ ＡｒＸｉｖ：１７０３．０２４４２．

Ｂａｂａｋ Ｅｈｔｅｓｈａｍｉ Ｂｅｊｎｏｒｄｉ， Ｇｕｉｄｏ Ｚｕｉｄｈｏｆ， Ｍａｓｃｈｅｎｋａ Ｂａｌｋｅｎｈｏｌ， Ｍｅｙｋｅ Ｈｅｒｍｓｅｎ， Ｐｅｔｅｒ Ｂｕｌｔ， Ｂｒａｍ ｖａｎ Ｇｉｎｎｅｋｅｎ， Ｎｉｃｏ Ｋａｒｓｓｅｍｅｉｊｅｒ， Ｇｅｅｒｔ Ｌｉｔｊｅｎｓ， Ｊｅｒｏｅｎ ｖａｎ ｄｅｒ Ｌａａｋ “Ｃｏｎｔｅｘｔ−ａｗａｒｅ ｓｔａｃｋｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｂｒｅａｓｔ ｃａｒｃｉｎｏｍａｓ ｉｎ ｗｈｏｌｅ−ｓｌｉｄｅ ｈｉｓｔｏｐａｔｈｏｌｏｇｙ ｉｍａｇｅｓ” １０ Ｍａｙ ２０１７， ＡｒＸｉｖ：１７０５．０３６７８ｖ１

Ｓｉｍｏｎｙａｎ ａｎｄ Ｚｉｓｓｅｒｍａｎ． ２０１４． “Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ．” ＡｒＸｉｖ Ｐｒｅｐｒｉｎｔ ＡｒＸｉｖ：１４０９．１５５６

Ｓｒｉｖａｓｔａｖａ， Ｎｉｔｉｓｈ， Ｇｅｏｆｆｒｅｙ Ｅ Ｈｉｎｔｏｎ， Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ， Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ， ａｎｄ Ｒｕｓｌａｎ Ｓａｌａｋｈｕｔｄｉｎｏｖ． ２０１４． “Ｄｒｏｐｏｕｔ： Ａ Ｓｉｍｐｌｅ Ｗａｙ ｔｏ Ｐｒｅｖｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｒｏｍ Ｏｖｅｒｆｉｔｔｉｎｇ．” Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ ｖｏｌ． １５（１）： ｐａｇｅｓ １９２９−５８．

Ａｎｇｅｌ Ｃｒｕｚ−Ｒｏａ， Ｈａｎｎａｈ Ｇｉｌｍｏｒｅ， Ａｊａｙ Ｂａｓａｖａｎｈａｌｌｙ， Ｍｉｃｈａｅｌ Ｆｅｌｄｍａｎ，Ｓｈｒｉｄａｒ Ｇａｎｅｓａｎ， Ｎａｔａｌｉｅ Ｎ．Ｃ． Ｓｈｉｈ， Ｊｏｈｎ Ｔｏｍａｓｚｅｗｓｋｉ， Ｆａｂｉｏ Ａ． Ｇｏｎｚａｌｅｚ ＆ Ａｎａｎｔ Ｍａｄａｂｈｕｓｈｉ． “Ａ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｆｏｒ ｑｕａｎｔｉｆｙｉｎｇ ｔｕｍｏｒ ｅｘｔｅｎｔ” Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ ７， Ａｒｔｉｃｌｅ ｎｕｍｂｅｒ： ４６４５０ （２０１７）， ｄｏｉ：１０．１０３８／ｓｒｅｐ４６４５０

Ｍｉｃｈｅｌ Ｅ． Ｖａｎｄｅｎｂｅｒｇｈｅ， Ｍａｒｉｅｔｔａ Ｌ． Ｊ． Ｓｃｏｔｔ， Ｐａｕｌ Ｗ． Ｓｃｏｒｅｒ， Ｍａｇｎｕｓ Ｓｏｄｅｒｂｅｒｇ， Ｄｅｎｉｓ Ｂａｌｃｅｒｚａｋ ＆ Ｃｒａｉｇ Ｂａｒｋｅｒ． “Ｒｅｌｅｖａｎｃｅ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｔｏ ｆａｃｉｌｉｔａｔｅ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ＨＥＲ２ ｓｔａｔｕｓ ｉｎ ｂｒｅａｓｔ ｃａｎｃｅｒ”． Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ ７， Ａｒｔｉｃｌｅ ｎｕｍｂｅｒ： ４５９３８ （２０１７）， ｄｏｉ：１０．１０３８／ｓｒｅｐ４５９３８

Ｌｏｎｇ， Ｊｏｎａｔｈａｎ， Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ， ａｎｄ Ｔｒｅｖｏｒ Ｄａｒｒｅｌｌ． ２０１５． “Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ．” Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐａｇｅｓ ３４３１−４０ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ｃｓ．ＣＶ）， ａｒＸｉｖ：１４１１．４０３８ ［ｃｓ．ＣＶ］

Ｊｏｕｐｐｉ， Ｙｏｕｎｇ， Ｐａｔｉｌ ｅｔ ａｌ “Ｉｎ−Ｄａｔａｃｅｎｔｅｒ Ｐｅｒｆｏｒｍａｎｃｅ Ａｎａｌｙｓｉｓ ｏｆ ａ Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ” ４４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ （ＩＳＣＡ）， Ｔｏｒｏｎｔｏ， Ｃａｎａｄａ， ２４−２８ Ｊｕｎｅ ２０１７ （ｓｕｂｍｉｔｔｅｄ １６ Ａｐｒｉｌ ２０１７）， ａｒＸｉｖ：１７０４．０４７６０ ［ｃｓ．ＡＲ］

Claims (22)

1. 組織像または前記組織像のセットにおける腫瘍を識別する方法であって、前記方法は、
   データリポジトリ内に格納されているレコードから組織像または前記組織像のセットを受信するステップと、
   前記組織像または前記組織像のセットから画像パッチを抽出するステップであって、前記画像パッチが、ピクセル数により定義された幅および高さのサイズを有する、前記組織像または前記組織像のセットのエリア部分であるステップと、
   重みのセットおよび複数のチャネルを有する畳み込みニューラルネットワークを提供するステップであって、各チャネルが識別対象となる複数の組織クラスのうちの１つに対応し、前記組織クラスのうちの少なくとも１つが非腫瘍組織を表し、前記組織クラスの少なくとも１つが腫瘍組織を表すステップと、
   各画像パッチを入力画像パッチとして前記畳み込みニューラルネットワークに入力するステップと、
   最小次元数の最終畳み込み層まで次元数を減らし続ける畳み込み層を生成するための多段階畳み込みを実行し、次いで、層が前記入力画像パッチとサイズがマッチするように復元されるまで次元数を増やし続ける逆畳み込み層を生成することにより畳み込みを反転させるための多段階転置畳み込みを実行するステップであって、前記復元された層内の各ピクセルが前記組織クラスの各々に属する確率を含むステップと、
   出力画像パッチに達する前記確率に基づいて、組織クラスを前記復元された層の各ピクセルに割り当てるステップと、
   を含む方法。
2. 前記方法は、前記出力画像パッチを集めて前記組織像または前記組織像のセットのための確率マップに構築するステップをさらに含む、
   請求項１に記載の方法。
3. 前記方法は、前記確率マップが前記組織像または前記組織像のセットにリンクするように、前記確率マップを前記データリポジトリの前記レコードに格納するステップをさらに含む、
   請求項２に記載の方法。
4. 前記方法は、前記組織像または前記組織像のセットを前記確率マップと共にディスプレイに表示するステップをさらに含む、
   請求項２に記載の方法。
5. 前記方法は、
   少なくとも１つのスキップ接続を有する前記畳み込みニューラルネットワークを提供するステップであって、前記スキップ接続の各々が、前記最終畳み込み層より高次元の前記畳み込み層のうちの少なくとも１つからの中間結果を取り出し、前記中間結果を、ゼロでも１つでも２つ以上でもよい必要な数の転置畳み込みに供して、前記入力画像パッチとサイズがマッチした少なくとも１つのさらに復元された層を取得するステップと、
   組織クラスを各ピクセルに割り当てる前記ステップの前に、前記少なくとも１つのスキップ接続を考慮する確率を再計算するために、前記復元された層を、前記少なくとも１つのさらに復元された層と組み合わせるように処理するステップと、
   をさらに含む、
   請求項１に記載の方法。
6. 前記確率を生成するためにソフトマックス操作が使用される、
   請求項１に記載の方法。
7. 前記方法は、予測のために実行され、
   前記畳み込みニューラルネットワークは、事前訓練中にその重み値を得ている、
   請求項１に記載の方法。
8. 前記方法は、訓練のために実行され、
   前記レコードは、前記組織像または前記組織像のセット内の各ピクセルを前記組織クラスのうちの１つに割り当てるグラウンドトゥルースデータを含み、
   前記方法は、反復的に実行され、
   各反復は、前記グラウンドトゥルースデータと前記出力画像パッチとの比較に基づいて、その重み値を前記畳み込みニューラルネットワークのために調整する、
   請求項１に記載の方法。
9. 訓練中の前記重みの調整は、勾配降下により実行される、
   請求項８に記載の方法。
10. 前記組織クラスは、腫瘍組織のための少なくとも２つのクラスを含む、
    請求項１に記載の方法。
11. 非腫瘍組織のための１つの組織クラスと、腫瘍組織のための２つの組織クラスと、が存在し、前記２つの組織クラスは、浸潤性腫瘍のための第１のクラスおよび上皮内腫瘍のための第２のクラスである、
    請求項１に記載の方法。
12. 前記組織像または前記組織像のセットは、組織の一領域の別々に染色された隣接切片から取得される、
    請求項１に記載の方法。
13. 前記方法は、
    前記確率マップに従って腫瘍に対応する前記組織像内のエリアを定義するステップと、
    各腫瘍にスコアを割り当てるために、スコア付けアルゴリズムに従って各腫瘍をスコア付けするステップと、
    前記データリポジトリ内の前記レコードに前記スコアを格納するステップと、
    をさらに含む、
    請求項２に記載の方法。
14. 前記方法は、前記組織像または前記組織像のセットを、前記確率マップおよび前記スコアと共にディスプレイに表示するステップをさらに含む、
    請求項２に記載の方法。
15. 組織像または前記組織像のセットにおける腫瘍を識別するためのコンピュータプログラム製品であって、請求項１に記載の方法を実行するための機械可読命令を有する、
    コンピュータプログラム製品。
16. 組織像または前記組織像のセットにおける腫瘍を識別するためのコンピュータ装置であって、前記コンピュータ装置は、
    データリポジトリ内に格納されているレコードから組織像または前記組織像のセットを受信するように操作可能な入力部と、
    前記組織像または前記組織像のセットから画像パッチを抽出するように構成された前処理モジュールであって、前記画像パッチが、ピクセル数により定義された幅および高さのサイズを有する、前記組織像または前記組織像のセットのエリア部分である前処理モジュールと、
    重みのセットおよび複数のチャネルを有する畳み込みニューラルネットワークと、
    を含み、
    各チャネルが識別対象となる複数の組織クラスのうちの１つに対応し、前記組織クラスのうちの少なくとも１つが非腫瘍組織を表し、前記組織クラスの少なくとも１つが腫瘍組織を表し、前記畳み込みニューラルネットワークは、
    ａ）各画像パッチを入力画像パッチとして入力するように受信するステップと、
    ｂ）最小次元数の最終畳み込み層まで次元数を減らし続ける畳み込み層を生成するための多段階畳み込みを実行し、次いで、層が前記入力画像パッチとサイズがマッチするように復元されるまで次元数を増やし続ける逆畳み込み層を生成することにより前記畳み込みを反転させるための多段階転置畳み込みを実行するステップであって、前記復元された層内の各ピクセルが前記組織クラスの各々に属する確率を含むステップと、
    ｃ）出力画像パッチに達する前記確率に基づいて、組織クラスを前記復元された層の各ピクセルに割り当てるステップと、
    を行うように操作可能である、
    コンピュータ装置。
17. 前記装置は、前記出力画像パッチを集めて組織像または前記組織像のセットのための確率マップに構築するように構成された後処理モジュールをさらに含む、
    請求項１６に記載の装置。
18. 前記装置は、前記確率マップが前記組織像または前記組織像のセットにリンクするように、前記確率マップを前記データリポジトリ内の前記レコードに格納するように操作可能な出力部をさらに含む、
    請求項１７に記載の装置。
19. 前記装置は、
    ディスプレイと、
    前記組織像または前記組織像のセットおよび前記確率マップを前記ディスプレイに送信して、前記組織像が前記確率マップと共に表示されるように操作可能なディスプレイ出力部と、
    をさらに含む、
    請求項１７に記載の装置。
20. 前記畳み込みニューラルネットワークは、少なくとも１つのスキップ接続を有し、前記スキップ接続の各々は、前記最終畳み込み層より高次元の前記畳み込み層のうちの少なくとも１つからの中間結果を取り出し、前記中間結果を、ゼロでも１つでも２つ以上でもよい必要な数の転置畳み込みに供して、前記入力画像パッチとサイズがマッチした少なくとも１つのさらに復元された層を取得し、
    前記畳み込みニューラルネットワークは、組織クラスを各ピクセルに割り当てる前記ステップの前に、前記少なくとも１つのスキップ接続を考慮する確率を再計算するために、前記復元された層を、前記少なくとも１つのさらに復元された層と組み合わされるように、さらに処理するように構成される、
    請求項１６に記載の装置。
21. 臨床ネットワークであって、
    請求項１６に記載のコンピュータ装置と、
    組織像または前記組織像のセットを含む親データのレコードを格納するように構成されたデータリポジトリと、
    前記コンピュータ装置と前記データリポジトリとの間の患者データレコードまたはその一部の転送を可能にするネットワーク接続と、
    を含む臨床ネットワーク。
22. 前記臨床ネットワークは、組織像または前記組織像のセットを取得し、前記組織像または前記組織像のセットを前記データリポジトリ内のレコードに格納するように操作可能な画像収集装置をさらに含む、
    請求項２１に記載の臨床ネットワーク。

Images