JP2022147328A - 細胞計数方法、細胞計数のための機械学習モデルの構築方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】細胞塊を撮像した画像から細胞数を自動的に、かつ精度よく計数する。【解決手段】本発明に係る細胞計数方法は、細胞塊を互いに異なる焦点深さで明視野撮像した、複数の画像を含む画像スタックを取得する工程と、機械学習モデルを用いて、複数の画像それぞれに対応する複数のヒートマップを作成する工程と、ヒートマップの各々からピークを検出する工程と、検出されたピークのうち、互いに異なるヒートマップに属し、かつマップ平面に沿った方向における距離および焦点深さ方向における距離のそれぞれが所定値より小さいピーク同士を相互に関連付ける工程と、関連付けられた複数のピークについては１つのピークと見なしてピークの数を計数する工程とを備える。機械学習モデルは、細胞の明視野画像である教師画像と、細胞中心部に近いほど大きくなる重みを与えたヒートマップである正解画像とを教師データとする機械学習により構築される。【選択図】図３

Description

この発明は、細胞塊を撮像した画像を解析することで、細胞塊を構成する細胞の数を自動的に計数する技術に関するものである。

病理医学や細胞培養の技術分野においては、細胞や組織の状態、例えば発達状況を判断する基準として、複数の細胞からなる細胞塊を撮像した画像内に存在する細胞の個数がしばしば用いられている。多数の細胞を目視により計数することは作業者に大きな負荷となることから、画像を解析して細胞数を自動的に計数する技術が提案されている。

例えば特許文献１に記載の技術では、細胞核を染色する染色方法で試料を染色し顕微鏡撮像して得られた画像の明暗から観察対象の形状を把握し、小核が検出された場合には主核との距離に応じて対応付けした上で核を計数することで、細胞数が求められる。また例えば特許文献２に記載の技術では、互いに近接し境界が不明瞭な細胞を区別するために、蛍光ラベルが付された試料の画像を用いて、着目画素を含む領域内の複数の画素の画素値から着目画素のスコアを算出し、そのスコアに基づいて個々の細胞の位置または個数が求められる。

特開２００１－２６９１９５号公報 国際公開第２００５／０５７４９６号

観察対象となる細胞塊が立体的な構造を有し、画像の奥行き方向に複数の細胞が重なり合っている場合には、上記した従来技術のように画像の輝度値に基づく方法では個々の細胞を分離して計数することが困難である。例えば受精卵（胚）の観察においては、多数の細胞が球状に密集しており、しかも個々の細胞は透明に近い。このため、透過光や反射光を受光することで撮像された単一の顕微鏡画像の輝度値からそれらを分離し、個別に計数することは非常に困難である。

このことから、三次元構造を有する細胞塊を構成する細胞の数を、より精度よく求めることのできる技術の確立が求められる。また、上記の従来技術では細胞に対し染色や蛍光標識の付与が施されており、生細胞の計数には適用できない。そのため、このように侵襲的な撮像方法によらない画像を用いても計数を行えることがより好ましい。

この発明は上記課題に鑑みなされたものであり、細胞塊を撮像した画像から細胞数を自動的に、かつ精度よく計数することが可能な技術を提供することを目的とする。

この発明の一の態様は、細胞塊を構成する細胞の個数を計数する細胞計数方法であって、上記目的を達成するため、前記細胞塊を互いに異なる焦点深さで明視野撮像した、複数の画像を含む画像スタックを取得する工程と、機械学習モデルを用いて、前記複数の画像それぞれに対応する複数のヒートマップを作成する工程と、前記ヒートマップの各々からピークを検出する工程と、検出された前記ピークのうち、互いに異なる前記ヒートマップに属し、かつマップ平面に沿った方向における距離および前記焦点深さ方向における距離がそれぞれ予め定められた所定の閾値より小さいピーク同士を、相互に関連付ける工程と、関連付けられた複数の前記ピークについては１つのピークと見なして前記ピークの数を計数する工程とを備えている。ここで、前記機械学習モデルは、細胞の明視野画像である教師画像と、当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心部に近いほど大きくなる重みを与えたヒートマップである正解画像とのセットを教師データとする機械学習により構築されたものである。

このように構成された発明では、細胞塊を互いに異なる焦点深さで複数回明視野撮像することで得られる、いわゆるマルチフォーカス画像に基づき細胞数の計数を行う。透明に近い細胞で構成された細胞塊の明視野撮像では、焦点深さを異ならせながら撮像を行うことで、細胞塊の表面に現れている細胞だけでなく、その背後の細胞についても複数の画像のいずれかに合焦した状態で撮像されると期待される。したがって、各画像からそれぞれ合焦した細胞を抽出すれば、それらは細胞塊を構成する細胞の全体を網羅しているものと考えられる。

ただし、撮像光学系の被写界深度や撮像時の焦点深さの変化ピッチ、細胞の大きさ等の関係から、１つの細胞が複数の画像において合焦している可能性がある。このため、単に各画像から検出された細胞を計数するだけでは、重複して計数されるケースがあり正しい計数結果を得ることができない。本発明では、以下の構成によりこの問題の解消を図っている。

第１に、各画像における細胞の特定は、機械学習モデルにより出力されるヒートマップからピークを検出するという方法により行われる。ヒートマップには、細胞の中心に近いほど大きな重みが与えられており、ピーク位置は細胞の中心位置に対応している。第２に、各画像から検出されたピークのうち相互の距離が近いものについては、それらを１つのピークと見なしてピーク数を計数する。

各画像中で細胞が占める領域を特定するだけでは、複数の画像から検出された細胞領域が互いに重複している場合にそれらが同一の細胞に対応するものか異なる細胞に対応するものかを判断することが困難である。一方で、細胞数を求めるという目的においては、画像中で細胞が占める領域を正確に特定することは必須の要件ではない。むしろ細胞の中心位置を特定する方法が適している。というのは、検出された細胞中心間の距離から、それらが同一細胞に由来するものか否かを判断することができるからである。

具体的には、細胞の大きさがある程度わかっていれば、それらの中心同士が取り得る距離の下限を推定することが可能である。したがって、複数の画像で検出された細胞中心に対応するピークのうち、そうして推定される下限よりも近い位置にあるものは同一の細胞に由来するものと見なすことができる。一方、孤立したピークについてはそれぞれが１つの細胞に対応すると考えることができる。このように、一定距離よりも近接した位置にある複数のピークについてはそれらの全体を１つのピークと見なせば、ピーク数によって細胞数を表すことができる。これにより、同一細胞を重複して計数することは回避される。

また、個々の細胞の検出は、合焦した細胞を含む画像を教師画像として構築された機械学習モデルを用いて細胞の中心位置を推定するという方法により行われる。このため、例えば細胞核を染色する等の侵襲的方法を用いていない細胞の画像を教師画像として用いて機械学習を実行すれば、計数対象となる細胞塊についても非侵襲的に撮像した画像を用いることができる。

また、この発明の他の一の態様は、細胞塊の明視野画像である教師画像を複数取得する工程と、前記教師画像の各々について、当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心部に近いほど大きくなる重みを与えた擬似的なヒートマップである正解画像を作成する工程と、前記教師画像と前記正解画像とのセットを教師データとして機械学習を実行し機械学習モデルを構築する工程とを備える、細胞計数のための機械学習モデルの構築方法である。このように構成された発明では、上記した細胞計数方法を実行するのに好適な機械学習モデルを効率的に構築することが可能である。

また、この発明の他の一の態様は、上記した細胞計数方法または細胞計数のための機械学習モデルの構築方法の各工程を、コンピューターに実行させるためのプログラムである。また、この発明の他の一の態様は、上記プログラムを非一時的に記憶したコンピューター読み取り可能な記録媒体である。このように構成された発明では、本発明の実行主体として、例えば既存のコンピューター装置を用いることが可能となる。

上記のように、本発明によれば、マルチフォーカス画像スタックの各画像から、細胞の中心ほど大きな重みが与えられたヒートマップを作成し、そのピークを細胞の中心として扱うとともに、ピーク間の距離が所定値より小さい複数のピークについては同一の細胞に由来するものと見なして計数する。このため、三次元構造を有する細胞塊であっても、それを構成する細胞の数を自動的に、かつ精度よく計数することが可能である。

本発明の細胞計数方法を適用可能な撮像装置の概略構成を示す図である。 本実施形態において生試料となる胚の構造を模式的に示す図である。 本実施形態の細胞計数処理の概要を示すフローチャートである。 機械学習モデルを構築するための処理を示すフローチャートである。 ヒートマップの作成過程を例示する図である。 ピーク点を検出する方法の一例を示す図である。 ピーク点を集約するための処理を説明する図である。 近接ピーク集約処理の第１の態様を示すフローチャートである。 図８の近接ピーク集約処理の一例を模式的に示す図である。 近接ピーク集約処理の第２の態様を示すフローチャートである。 図１０の近接ピーク集約処理の一例を模式的に示す図である。

図１は本発明に係る細胞計数方法を適用可能な撮像装置の概略構成を示す図である。この撮像装置１は、ディッシュと呼ばれる平型で上面が開口する試料容器１０に担持された細胞等の生試料を撮像する装置である。試料容器１０には、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等の生試料Ｓが、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状で試料容器１０に注入された後ゲル化するものであってもよい。

なお、ここでは撮像対象物を生試料とした場合を例示して説明するが、本発明における撮像対象物はこれに限定されるものではない。例えば、適宜の担体に担持された組織切片や病理標本等が撮像対象物とされてもよい。また、試料容器がウェルと呼ばれる窪部を複数備えた、いわゆるウェルプレートであり、各ウェルに担持された生試料が撮像対象物とされてもよい。

撮像装置１は、試料容器１０を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料容器１０の下面周縁部に当接して試料容器１０を略水平姿勢に保持する。

照明部１２は、ホルダ１１により保持された試料容器１０に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、試料容器１０内の撮像対象物が上方から照明される。

ホルダ１１により保持された試料容器１０の下方に、撮像部１３が設けられる。撮像部１３には、試料容器１０の直下位置に撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図１は側面図であり、図の上下方向が鉛直方向を表す。

撮像部１３により、試料容器１０内の撮像対象物が明視野撮像される。具体的には、照明部１２から出射され試料容器１０の上方から液体に入射した光が撮像対象物を照明し、試料容器１０の底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像（明視野像）が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。

撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３が試料容器１０に対し水平方向に移動する。また対物レンズ１３１を鉛直方向へ移動させることにより、フォーカス調整がなされる。

駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。これにより、撮像部１３が試料容器１０に対し移動する場合でも、照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、どの位置においても撮像対象物に対する照明条件を一定にして、撮像条件を良好に維持することができる。

撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。

制御部１４はさらに、画像データや演算中のデータを一時的に記憶するためのメモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのストレージ１４５とを有している。メモリ１４４はＣＰＵ１４４から高速アクセスが可能である一方、記憶容量はストレージ１４５よりも小さい。ストレージ１４５は例えばハードディスクドライブ（ＨＤＤ）であり、記憶容量は大きいが、アクセス速度はメモリ１４４よりも遅い。これらは目的に応じて使い分けられる。ＣＰＵ１４１は、ストレージ１４５に記憶された制御プログラムを呼び出し実行することにより、後述する各種の演算処理を行う。

その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザーからの操作入力の受け付けや、ユーザーへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザーからの操作入力を受け付ける入力受付部１４７と、ユーザーへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。

以下、上記のように構成された撮像装置１を用いて実行可能な、本発明に係る細胞計数方法の一実施形態について説明する。撮像装置１は、後述する細胞計数処理を実行することにより、生試料Ｓとしての細胞塊を構成する細胞の数を自動的に計数する機能を有する。ここでは、試料Ｓとして初期の受精卵（以下、単に「胚」という）を撮像し、その画像から、当該胚を構成する細胞の数を計数する処理について説明する。これにより得られたデータに基づき、ユーザー（具体的には医師または胚培養士）による胚の評価作業を効果的に支援することが可能となる。例えば不妊治療を目的とする胚の培養において、培養が良好に進行しているか否かを判断するための知見を得ることを目的として、本実施形態の細胞計数方法を適用することができる。なお、処理対象についてはこのような胚に限定されず、複数の細胞が密接する各種の細胞塊に対し本処理を適用可能である。

図２は本実施形態において生試料となる胚の構造を模式的に示す図である。既に知られているように、卵子が受精すると卵割が開始され、桑実胚と呼ばれる状態を経て胚盤胞が形成される。本実施形態の細胞計数方法は、例えば受精直後から桑実胚期の胚を構成する細胞の数を計数するのに好適である。

図２（ａ）は初期段階（例えば４細胞期から桑実胚期）の胚の構造を模式的に示すものである。胚Ｅの外形は概ね球形である。その表面は透明帯と呼ばれるゼリー状の糖タンパク質の層Ｚで覆われており、その内部に受精卵が細胞分裂することで生じる複数の細胞Ｃが含まれる。培養が良好に進行する状態では、図２（ａ）左図に示すように、透明帯Ｚの内部は比較的大きな細胞Ｃにより占められている。卵割が進むにつれて、細胞Ｃの数は増えてゆく。

このような胚Ｅを、図に点線で示す焦点深さを種々に変えながら明視野撮像を行うと、図２（ａ）右図に模式的に示す複数の画像が得られる。試料容器１０の下方に配置される撮像部１３から見た焦点深さが最も浅い、つまり焦点位置が最も下側に位置決めされた画像Ｉａでは、胚Ｅを構成する細胞Ｃのいずれにも焦点が合わず、不鮮明な像となる。

焦点位置が上方に移動し、例えば最も下方にある細胞Ｃ１に合焦した状態の画像Ｉｂでは、当該細胞Ｃ１が鮮明となる。さらに焦点位置が上方に移動した画像Ｉｃでは、焦点の合わなくなった細胞Ｃ１が不鮮明となり、焦点位置に近い位置にある細胞Ｃ２～Ｃ４がより鮮明な像として現れる。細胞Ｃ１が透明に近ければ、細胞Ｃ１を透過してその奥にある他の細胞が像に現れる。さらに焦点位置が上方に移動した画像Ｉｄでは、焦点の合わなくなった細胞Ｃ１～Ｃ４が不鮮明となり、それらを透過して、より焦点位置に近い位置にあるさらに上方の細胞Ｃ５～Ｃ７の像が現れる。

このように、焦点深さを多段階に変更設定しながら、同一試料を同一視野で複数回撮像することにより、図２（ｂ）に示すように、視野が同一で焦点深さが互いに異なる複数の画像のセットを取得することができる。この画像セットはマルチフォーカス画像スタックと称されるものである。画像スタックＳＴ内の各画像では、細胞塊（この例では胚Ｅ）を構成する細胞のうち焦点位置に近い位置にあるものが鮮明な像をなす一方、焦点位置から離れた細胞の像は不鮮明となる。また、焦点位置よりも手前（撮像部１３に近い側）にある細胞を透過して、その奥にある細胞の像が現れる。本実施形態の細胞数計数処理では、画像スタックＳＴが有するこのような特徴を利用して、細胞塊を構成する細胞の数を計数する。

図３は本実施形態の細胞計数処理の概要を示すフローチャートである。この処理および以下に説明する各処理は、ＣＰＵ１４１がストレージ１４５に予め記憶されている制御プログラムを読み出して実行し、装置各部に所定の動作を行わせることにより実現される。なお、これら各種の処理は、生試料Ｓを撮像する処理を除けば、一般的なハードウェア構成を有するコンピューター装置によっても実現可能である。このため、本実施形態は、撮像機能を有する撮像装置と、画像処理機能を有するコンピューター装置との組み合わせによって実現されてもよい。また、既に撮像された画像スタックがある場合には、その画像スタックを用いてコンピューター装置が画像処理を行うことによっても実現可能である。

最初に、処理対象物である生試料Ｓ（ここでは胚Ｅ）に対し、焦点深さを互いに異ならせて明視野撮像を複数回行うことにより取得されるマルチフォーカス画像スタックＳＴが取得される（ステップＳ１０１）。撮像部１３が撮像を行うことによって新規に取得されてもよく、また予め撮像され外部ストレージ等に保存されている画像データを、適宜の記録媒体や電気通信回線を通じて外部から取得する態様でもよい。

こうして取得された画像ストック内の各画像をヒートマップに変換する（ステップＳ１０２）。具体的には、画像ストックに含まれる複数の画像の各々を、予め機械学習により構築された機械学習モデルに入力し、その出力として、それぞれの画像に対応するヒートマップを得る。詳しくは後述するが、機械学習モデルの出力は、入力画像に細胞の鮮明な像が含まれるとき、当該細胞の輪郭内部に相当する位置でその外部より大きく、かつ細胞の中心部に近いほど大きくなるような重みが与えられたヒートマップである。

各画像に対応する複数のヒートマップのそれぞれにおいて、重みが周囲よりも大きいピーク点が検出される（ステップＳ１０３）。上記したヒートマップの特徴からわかるように、重みのピーク点は個々の細胞の中心位置を表している蓋然性が高い。したがって、各画像から検出されるピーク点の数と、細胞塊を構成する細胞の数との間に一定の相関性があると言える。

ただし、１つの細胞が焦点深さの異なる複数の画像にまたがって現れることがあり、そうすると、同一の細胞であるにもかかわらず、複数の画像でピーク点として検出されることになる。これらを重複して計数することを回避する必要がある。この目的のために、複数の画像で検出されたピーク点のうち同一細胞に由来する可能性の高いものを１つに集約する（ステップＳ１０４）。その方法については後述する。

こうして集約が行われた後のピーク点は、それぞれ１つの細胞の中心位置を表していると考えられる。そこで、ピーク点を計数し、その計数結果をもって、細胞の個数と見なす（ステップＳ１０５）。これにより、複数の画像に現れた１つの細胞を重複して計数することが回避され、細胞の自動計数を精度よく行うことが可能となる。

次に、ヒートマップを出力するための機械学習モデルを作成するための処理について説明する。前記したように、ヒートマップは、元となる画像に含まれる細胞の鮮明な像に対し、細胞の中心部に近いほど大きな重みを与える。一方、画像に細胞が含まれない、あるいはその像が不鮮明である場合には、全領域で重みがゼロとされる。

このように、細胞の画像を、細胞の中心部である蓋然性が高い領域で最も重みが大きく、その周囲では中心部から離れるほど重みが小さくなるようなヒートマップに変換する機能は、教師あり機械学習により以下のようにして構築された機械学習モデルを用いて実現することができる。

図４は機械学習モデルを構築するための処理を示すフローチャートである。また、図５はヒートマップの作成過程を例示する図である。最初に、教師画像として収集された画像が取得される（ステップＳ２０１）。教師画像は、合焦状態で撮像された細胞の、特にその輪郭が鮮明な像が含まれる複数の画像である。例えば、処理対象物である胚Ｅまたはこれと同種の試料Ｓをマルチフォーカス明視野撮像することで得られた複数の画像から、細胞が鮮明に現れている画像を熟練者が選出し、それを教師画像とすることができる。

教師画像はできるだけ多数収集されることが好ましく、また細胞の個体差に対応するためにも、複数の試料Ｓの画像が収集されることが好ましい。また、教師画像の数を増やして学習精度を向上させるために、マルチフォーカス画像スタックに含まれ焦点深さが１段階だけ異なる２つの画像を用いて、焦点深さ方向に補間された画像を作成してもよい。

このようにして収集された教師画像の画像データは、例えばストレージ１４５に保存される。そして、そのうち１つの画像が表示部１４８に表示され（ステップＳ２０２）、表示画像に対するユーザーからの教示入力を受け付ける（ステップＳ２０３）。なお、１つの画面に複数の教師画像が表示されてもよい。

教示入力は、各教師画像に含まれる、鮮明な細胞の領域を特定するために行われる。例えば図５（ａ）に示すように、表示画像Ｉｓに含まれる細胞Ｃの鮮明な輪郭を、適宜の描画ツールＴを用いてなぞることにより、ユーザーは教示入力を行うことができる。あるいは例えば、細胞Ｃの周縁部と概ね一致する円または楕円を画像に重畳して配置することにより教示を行ってもよい。このように適宜の方法でユーザーが画像中の細胞の領域を教示することで、各教師画像にラベル付けが行われる。

教師画像には、図２（ａ）に示す画像Ｉａのように、鮮明な細胞の像を含まない画像が含まれていてもよい。細胞を含まない、あるいは細胞の像が不鮮明である場合には、輪郭の教示を行わないこととする。このことは、鮮明な細胞の像が存在しないというラベルを当該画像に付与することと、技術的には等価である。また、図２（ａ）に示す画像Ｉｃのように、１つの教師画像に鮮明な細胞の像が複数含まれていてもよい。その場合、それぞれの細胞の輪郭が教示され、かつそれらを独立したものとして扱うことができるような区別がなされることが望ましい。

こうして教示された輪郭ＣＴで囲まれる領域を教師ラベルとしてラベル画像Ｉｔを作成し、さらに輪郭の内部に重み付けを行うことにより（ステップＳ２０４）、ヒートマップ画像Ｉｕが作成される。収集された教師画像の全てについて、教示入力が受け付けられる（ステップＳ２０５）。

図５（ｂ）に示すように、ヒートマップ画像Ｉｕは、教示された輪郭ＣＴの内部に、外部より大きく、かつ輪郭ＣＴで囲まれた領域の中心部ほど大きくなるような重みが与えられた画像である。なお、ここで示されるヒートマップ画像Ｉｕは、重みが大きいほど高濃度、つまり画像としては低輝度となる画像として表されているが、これとは逆に、重みが大きいほど白に近い高輝度となるように表されてもよい。

例えば、輪郭ＣＴで囲まれた領域の重心を求め、これを中心とする二次元ガウス分布に沿った重み付けを行うことができる。また、輪郭ＣＴで囲まれた領域の内部に輪郭ＣＴからの距離に応じた重みを与える距離マップにより重み付けを行ってもよい。このように、輪郭ＣＴで囲まれた領域の内部に中心部ほど重みが大きくなるような各種の重み付け手法を適用してヒートマップ画像Ｉｕを作成することが可能である。

図５（ｂ）に示されるように、輪郭ＣＴの位置で重みがゼロとなる必要は必ずしもない。要するに、輪郭ＣＴで囲まれた領域と外部の領域とを区別することができ、かつ内部領域の中心に向けて重みが増加するような重み付けがなされていればよい。この意味において、輪郭ＣＴの教示は画像中の細胞の輪郭を厳密に指定するものでなくてもよい。また、細胞の内部と外部とをより明確に区別するために、輪郭ＣＴの内部に与えられる重みに一定のオフセット値が加算されてもよい。

ヒートマップ上の各点に与えられる重みの大きさは、当該点が細胞の中心に該当する確率を相対的に表すものとなる。つまり、ヒートマップにおいて重みが極大となる位置が細胞の中心位置を表している。ここでいう細胞の中心とは、当該細胞が他の細胞等と接する場合にはそれらから最も離れた点であり、当該細胞内の構造体、例えば細胞核の位置等とは直接の関係がない。

続いて、複数の教師画像Ｉｓの各々と、それぞれに対応するヒートマップ画像Ｉｕとのセットを教師データとして機械学習を実行する（ステップＳ２０６）。機械学習のアルゴリズムとしては、教師あり機械学習法として公知の各種の方法から適宜選択して用いることができる。例えば、畳み込みニューラルネットワーク法を用いることができる。

教師画像Ｉｓを入力画像とし、それに対応するヒートマップ画像Ｉｕを正解画像として機械学習を実行することにより、機械学習モデルが構築される。こうして構築された機械学習モデルは、新たに与えられた細胞の画像に対し、当該画像から推定される細胞の中心位置を確率分布により表したヒートマップを出力する機能を獲得したことになる。すなわち、学習済みの機械学習モデルから出力されるヒートマップ画像は、入力画像における細胞の中心位置を推定するための情報を提供するものとなる。

具体的には、出力されたヒートマップ画像において、周囲領域に比べて重みの大きさが極大となるピーク点を探索し検出すれば、当該ピーク点は細胞の中心である蓋然性が最も高い位置を示していると言える。細胞の鮮明な像を含まない画像には実質的なピーク点は現れない。ピーク点の検出（ステップＳ１０３）は、例えば以下のようにして行うことができる。

図６はピーク点を検出する方法の一例を示す図である。なお、理解を容易にするため、ここではヒートマップ画像における位置と重みとの関係を一次元方向についてのみ示しているが、実際の重みは二次元の画像平面内での分布となる。

図上段に例示される、学習済みの機械学習モデルが出力したヒートマップ画像Ｉｈに対しては、以後の処理において考慮する必要のない領域を除外するための前処理が行われる。例えば、容器の外側など明らかに細胞が存在しない領域や、想定される細胞のサイズに対して有意に小さく明らかに細胞でないと見なせる領域等を二値化やマスク処理により消去する。その上で、画像ノイズ等により細かい凹凸を除去するためのフィルタ処理が行われる。例えば移動平均フィルタ処理を適用することができる。そうすると、図中段に示す曲線Ａのように、スムーズな確率分布曲線（実際には二次元画像に対応する曲面）を有するブラー画像が得られる。このブラー画像に対し最大値フィルタ処理を実行すると、曲線Ｂのように、確率分布曲線を横方向に膨らませたような最大値画像が生成される。周囲より重みの大きいピーク点では値に変化がない。

最大値画像とブラー画像との差分を取ると、図下段に示すように、重みの差分ΔＷは、細胞から遠く重みゼロの領域とピーク点とでゼロとなる。このように差分がゼロとなる点を検出することで、ピーク点を検出することができる。細胞から遠い領域とピーク点とを区別するためには、図中段に示すように重みの値に適宜の閾値Ｗｔｈを設定しておき、重みが閾値Ｗｔｈよりも大きく、かつ差分ΔＷがゼロとなる点を、ピーク点とすればよい。

こうして検出されるピーク点は、マルチフォーカス画像スタック中の各画像において比較的鮮明に現れた細胞の中心位置を表していると考えることができる。ただし、１つの細胞が複数の画像にまたがって現れているとき、同一の細胞を表すピーク点が複数の画像において検出されることとなる。このことに起因する重複計数を回避するために、この実施形態では、同一細胞に由来すると考えられるピーク点を互いに関連付け、それらを集約して１つのピークと見なす処理を実行する（ステップＳ１０４）。

図７はピーク点を集約するための処理を説明する図である。同種の細胞が集まって形成される細胞塊では、細胞の大きさはある程度揃っている。特に、状態のよい発達初期の胚は、大きさのよく揃った細胞により形成されている。このため、図７（ａ）に示すように、互いに接する細胞Ｃ，Ｃの中心間距離Ｄは、細胞Ｃの大きさに応じて決まる最小距離よりも小さくなることはないと考えられる。細胞の大きさにばらつきがある場合でも、比較的小さい細胞の大きさから導かれる最小距離を用いれば同様に考えることができる。

ヒートマップ画像Ｉｈから検出されるピーク点は、細胞の中心位置に対応するものである。したがって、複数のヒートマップ画像から検出されるピーク点は、それらがそれぞれ異なる細胞に由来するものであれば、互いの距離は上記した最小距離より小さくなることはないと言える。このことから、検出されたピーク点のうち、実空間における互いの距離が細胞サイズから想定される所定値よりも十分に小さいものは、同一細胞に由来するものと考えるのが妥当である。この考え方に基づき、検出されたピーク点の集約を行う。

図７（ｂ）を参照して、より具体的な事例を挙げて説明する。ヒートマップ画像Ｉｈから検出されたピーク点のみを抽出しマップ平面に配置した画像をピーク画像と称し、焦点深さをΔＶずつ異ならせて撮像された３つの画像から３つのピーク画像Ｉｐ１，Ｉｐ２，Ｉｐ３が得られたとする。このうちピーク画像Ｉｐからはピーク点Ｐ１，Ｐ２が、ピーク画像Ｉｐ２からはピーク点Ｐ３，Ｐ４が、ピーク画像Ｉｐ３からはピーク点Ｐ５，Ｐ６が、それぞれ検出されたとする。なお、各ピーク画像上のピーク点を明示するために、図では焦点深さ方向の距離がマップ平面に沿った方向（以下、「マップ面方向」という）の距離よりも拡大されている。

ピーク画像Ｉｐ１上のピーク点Ｐ１と、ピーク画像Ｉｐ２上のピーク点Ｐ３とは、マップ面方向において比較的近い位置にある。また、焦点深さ方向におけるこれらのピーク点間の距離はΔＶである。このように、異なるピーク画像上のピーク点であって、マップ面方向および焦点深さ方向において比較的近い位置にあるピーク点Ｐ１，Ｐ３は、同一細胞に由来するものである可能性が高い。詳しくは後述するが、ここでいう「近い」という状態は、想定される細胞のサイズとの関係から判断される概念である。

一方、ピーク画像Ｉｐ１上のピーク点Ｐ１とピーク点Ｐ２との間、ピーク画像Ｉｐ２上のピーク点Ｐ３とピーク点Ｐ４との間、ピーク画像Ｉｐ１上のピーク点Ｐ２とピーク画像Ｉｐ２上のピーク点Ｐ３，Ｐ４との間、ピーク画像Ｉｐ１上のピーク点Ｐ１とピーク画像Ｉｐ２上のピーク点Ｐ４との間は、いずれもマップ面方向において比較的大きい距離を隔てている。したがって、これらのピーク点は、互いに異なる細胞に由来するものと考えられる。

また、ピーク画像Ｉｐ１上のピーク点Ｐ１と、ピーク画像Ｉｐ３上のピーク点Ｐ５とは、マップ面方向において比較的近い位置にあるが、焦点深さ方向における距離は２ΔＶであり、比較的大きく離れている。したがって、これらのピーク点Ｐ１，Ｐ５は、互いに異なる細胞に由来するものと考えられる。同様に、ピーク画像Ｉｐ２上のピーク点Ｐ４と、ピーク画像Ｉｐ３上のピーク点Ｐ６とは、マップ面方向、焦点深さ方向のそれぞれにおいて近い距離にあり、これらは同一細胞に由来すると考えられる。

このように、マップ面方向、焦点深さ方向の両方において近接関係にあるピーク点同士、すなわちピーク点Ｐ１とピーク点Ｐ３、ピーク点Ｐ４とピーク点Ｐ６をそれぞれ互いに同一細胞に由来するものとして関連付ける。一方、マップ面方向、焦点深さ方向の少なくとも一方において他のピーク点と近接関係にない他のピーク点Ｐ２，Ｐ５については、互いに異なる細胞に由来する孤立したピーク点と見なす。

そして、相互に近接するものとして関連付けられたピーク点を集約して１つのグループとして扱う一方、孤立したピーク点についてはそれぞれを１つのグループとして扱い、集約後のグループの数を計数する（この例では４）。これにより、１つの細胞が複数の画像に現れることによる重複を回避しつつ、細胞の数を求めることが可能となる。教師画像およびそれに対する教示が適切に行われて構築された機械学習モデルにおいては、その後は人の主観的判断を要することなく、自動的に細胞数を算出することが可能である。

図８は近接ピーク集約処理の第１の態様を示すフローチャートである。また図９はこの近接ピーク集約処理の一例を模式的に示す図である。ここで、図９（ａ）は５つのピーク画像Ｉｐ１～Ｉｐ５中のピーク点Ｐ（１）～Ｐ（１０）の位置を示す図である。また、図９（ｂ）はそれらのピーク点を１つのマップ平面に配置した図であり、ピーク画像Ｉｐ１～Ｉｐ５を重畳した画像に相当する。

最初に、内部パラメータｋが１にセットされ（ステップＳ３０１）、探索点Ｐ（ｋ）が設定される（ステップＳ３０２）。この時点ではピーク点Ｐ（１）が探索点として設定される。そして、図９（ｂ）に示すマップ平面内で、探索点Ｐ（１）との距離が最も小さい近接ピーク点を探索する（ステップＳ３０３）。図９（ｂ）に示す例では、マップ平面内で探索点Ｐ（１）に最も近いピーク点Ｐ５が近接ピーク点として検出される。

探索点Ｐ（ｋ）と検出された近接ピーク点とのマップ平面内での距離が第１の閾値以下であり（ステップＳ３０４においてＹＥＳ）、かつ焦点深さ方向における距離が第２の閾値以下であるとき（ステップＳ３０５においてＹＥＳ）、当該近接ピーク点は、実空間において探索点Ｐ（ｋ）の近傍で検出されたピーク点であり、互いに同一の細胞に由来すると考えるのが妥当である。そこで、この近接ピーク点を、探索点Ｐ（ｋ）を含むクラスタｋに属するものとして扱うことで、探索点Ｐ（ｋ）と関連付ける。

マップ面方向の距離に対して適用される第１の閾値と、焦点深さ方向の距離に対して適用される第２の閾値とは、細胞のサイズに応じて適宜定めることのできる値である。具体的には、隣接する細胞の中心間の距離として想定される最小値に対応した値とすることができる。マップ面方向と焦点深さ方向とはマルチフォーカス撮像時の状況によって決まる便宜的なものであり、細胞が本質的にこれらの方向に対する異方性を有するものではないから、原理的には第１の閾値と第２の閾値とを異なる値とする必然性はない。

現実的には、マップ平面内での距離の分解能は例えば画素サイズ程度まで小さくできるから、第１の閾値については細胞サイズに応じて自由に設定することができる。一方で、焦点深さ方向の分解能は、対物レンズ１３１を含む撮像光学系の被写界深度と撮像時の焦点位置調整のピッチ設定とに依存する。また、実際の焦点位置は細胞や培地による屈折の影響を受ける。これらのことから、第２の閾値については必ずしも第１の閾値と同様に決められるとは限らない。撮像光学系の被写界深度が十分に小さいという条件であれば、例えば撮像時のピッチ設定と細胞サイズとの関係に基づき、次のようにして第２の閾値を定めることができる。

細胞塊を形成する細胞の各々に順次合焦させて撮像するというマルチフォーカス撮像の目的から、焦点位置の調整ピッチは細胞サイズと同等かこれよりも少し小さく設定されると考えられる。そうすると、１つの画像に鮮明に撮像された細胞が他の画像にも現れ得る範囲としては、焦点位置の設定が１段階だけ異なって隣り合った画像までを考えておけばよい。つまり、焦点位置の調整ピッチを第２の閾値とすればよい。同様に、例えば焦点位置の調整ピッチが細胞サイズの半分程度であれば、焦点深さが２段階異なる画像までを考慮すればよい。つまり、焦点位置の調整ピッチの２倍を第２の閾値とすればよい。

もちろん、第２の閾値を第１の閾値と同様に設定し、ステップＳ３０５では、焦点深さ方向におけるピーク間の距離を焦点位置の調整ピッチに基づいて都度算出し第２の閾値と比較しても技術的には等価である。しかしながら、上記のように、何段階までの焦点深さの違いを「近接」と判断するかを予め定めておく方が処理としても簡単であり、より現実的である。

図９（ｂ）に示す例では、第２の閾値が焦点位置の調整ピッチに設定されているものとする。そうすると、探索点Ｐ（１）の最近接ピーク点として検出されたピークＰ（５）は、それらが検出されたピーク画像Ｉｐ１，Ｉｐ３の撮像時の焦点深さが２段階異なっていることから、焦点深さ方向の距離が第２の閾値を超えている。したがって、探索点Ｐ（１）と近接ピーク点Ｐ（５）との間では関連付けは行われない。

ステップＳ３０４においてＮＯ、つまり検出された近接ピーク点が探索点Ｐ（ｋ）に対し第１の閾値より大きい距離にあるときには、当該探索点Ｐ（ｋ）と関連付けられる可能性のある他のピーク点は存在しない。そこで、内部パラメータｋを１つ増加させてステップＳ３０２に戻り（ステップＳ３１２）、別のピーク点、例えばＰ（２）を新たな探索点として同様の処理を行う。当該ピーク点が既に他のピーク点と関連付けられている場合には、探索から除外されてもよい。全てのピーク点につき探索が終了している場合には、処理は終了される（ステップＳ３１１）。

ステップＳ３０５においてＮＯ、つまり検出された近接ピーク点と探索点Ｐ（ｋ）との距離がマップ平面内では第１の閾値以下であるが焦点深さ方向には第２の閾値を超えている場合には、マップ平面内で現在の近接ピーク点に次いで探索点Ｐ（ｋ）に近い他のピーク点が探索される（ステップＳ３０３）。こうして検出されたピーク点についてもステップＳ３０４以降の処理を行う。

こうすることで、マップ平面内で探索点Ｐ（ｋ）の近傍に複数のピーク点がある場合でも、それらの全てについて評価を行うことができる。図９（ｂ）において点線は、各ピーク点を中心とし半径が第１の閾値である円を表している。各ピーク点Ｐ（ｋ）の１つを探索点としたとき、当該ピーク点を中心とする円内にある他のピーク点が順次探索され、それらの焦点深さ方向の距離が評価されることで、ピーク集約が進められる。

図９（ｂ）に示す例では、ピーク点Ｐ（５）に次いで探索点Ｐ（１）に近いピーク点はピーク点Ｐ（３）であり、探索点Ｐ（１）を含むピーク画像Ｉｐ１とピーク点Ｐ（３）を含むピーク画像Ｉｐ２とでは撮像時の焦点位置の設定が１段階異なる。したがって、探索点Ｐ（１）と他のピーク点Ｐ（３）との焦点深さ方向の距離は第２の閾値以下と判断され、両者は同一細胞に由来するものとして関連付けられる。計数時には、２つのピーク点が１つの細胞として計上される。

同様にして、各ピーク点間のマップ面方向および焦点深さ方向における距離を評価することにより、ピーク点Ｐ（４）とピーク点Ｐ（６）とが関連付けられ、ピーク点Ｐ（７）とピーク点Ｐ（９）とが関連付けられて、これらはそれぞれ１つの細胞として計上される。一方、他のピーク点と関連付けられていない孤立ピーク点Ｐ（２），Ｐ（５），Ｐ（８），Ｐ（１０）はそれぞれ１つの細胞として計上される。したがって、図９（ｂ）に示す例では、ピーク点の数は１０であるが、同一細胞に由来すると考えられるものが集約されることで、細胞数の計数結果としては７が得られる。こうして１つの細胞が重複して計数されることが回避される。

なお、マルチフォーカス画像スタック内の各画像から検出されるピーク点の数は様々であり、例えば１つの画像にピーク点が全く含まれないこともあり得る。また、検出された複数のピーク点の間で、互いに関連付けられるものが全く存在しないという状況も起こり得る。上記方法はそのような場合にも対応可能であり、細胞数を精度よく計数することが可能である。

図１０は近接ピーク集約処理の第２の態様を示すフローチャートである。また図１１はこの近接ピーク集約処理の一例を模式的に示す図である。図８に示される第１の態様と比較すると、ステップＳ３０６の後にステップＳ３０７が設けられている点が相違している。これ以外の処理内容は同じであるため、同一処理内容の処理ステップには同一番号を付して説明を省略する。

この態様では、ステップＳ３０６においてピーク点同士の関連付けが行われたとき、探索点Ｐ（ｋ）の中心が、関連付けられたピーク点が形成するクラスタの中心位置に変更設定される。図１１に示す「×」印がクラスタ中心を表している。そして、以後のマップ平面内での近接ピーク点の探索は、クラスタ中心からの距離と第１の閾値との比較に基づいて行われる。図１１の点線は、クラスタ中心を中心とし半径が第１の閾値である円を表している。

マルチフォーカス撮像により得られた各画像から上記の方法で特定されるピーク点は、当該画像における細胞の像の中心位置を指標するものであるが、検出位置が実空間における細胞の中心と一致するとは限らない。相互に関連付けられたピーク点により構成されるクラスタの中心位置を探索点とすることにより、実空間での細胞の中心により近い位置から探索を行うことが可能となる。同様に、焦点深さ方向においてもクラスタの中心位置を基準として距離の評価を行うようにしてもよい。

図８に示した第１の態様では、各ピーク点の位置をそれぞれ探索の際の中心とすることで、特に細胞が密集している場合等には隣り合うピーク点同士が連鎖的に関連付けられて大きなクラスタを形成することがあり得る。そうすると、細胞のサイズを大きく超えたサイズのクラスタが１つの細胞と見なされることが生じ得る。クラスタの中心位置を探索点とすることで、このような問題についても未然に回避することが可能である。

なお、現実問題としては、焦点位置の調整ピッチ、第１の閾値および第２の閾値がそれぞれ想定される細胞のサイズに即して適切に設定されていれば、上記のような問題は生じず、２つの処理態様の間で結果に大きな差は生じないと考えられる。

以上のように、本実施形態では、細胞塊をマルチフォーカス撮像して得られた複数の画像の各々を、予め学習された機械学習モデルを用いて、各画像における細胞の中心に近いほど重みが大きくなるようなヒートマップに変換する。そして、ヒートマップにおいて重みが極大となるピーク点を検出するとともに、ピーク点間の距離をマップ面方向および焦点深さ方向のそれぞれで評価し、同一細胞に由来する蓋然性の高いピーク点を互いに関連付けてそれらを集約する。距離の評価は、想定される細胞のサイズから定められる閾値との比較により行われる。そのため、同一細胞に由来する複数のピーク点を重複して計数することが回避され、ピーク数の計数により細胞塊を構成する細胞の数を精度よく計数することが可能となる。

機械学習モデルは、細胞の鮮明な像を含む教師画像と、その中で教示された輪郭の内部にヒートマップを配した正解画像とに基づく教師あり学習により構築される。このため、画像内での細胞の中心位置を精度よく特定することができる。そして、細胞の輪郭から特定される細胞中心間の距離に基づく評価を行うことで、例えば染色された細胞核を利用する従来技術のように細胞内部のテクスチャに影響されることなく、同一細胞に由来するピーク点と、異なる細胞に由来するピーク点とを区別することが可能である。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像装置１は、それ自体がマルチフォーカス画像スタックを取得する撮像機能と、画像を解析し細胞計数処理を実行する画像処理機能とを有するものである。しかしながら、本発明に係る細胞計数方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた画像スタックを取得したコンピューター装置によって実行することも可能である。これを可能とするために、上記した処理の各処理ステップをコンピューター装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。

このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを記録したコンピューター読み取り可能な記録媒体を配布することによっても可能である。また、例えば既存の顕微鏡撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。

また、上記実施形態では、収集された教師データに基づく機械学習モデルの構築と、構築された機械学習モデルを利用した細胞計数処理とが同一の装置で実行されているが、これらは異なる装置で実行されてもよい。例えば、演算能力の高いコンピューター装置を用いて機械学習モデルの構築を行い、その結果を撮像装置に実装すれば、演算能力が制限された撮像装置であっても、撮像と細胞計数処理とを担うことが可能となる。

また、上記実施形態のピーク集約処理では、ピーク間の距離を、マップ面方向と焦点深さ方向とのそれぞれで個別に評価しているが、これに代えて、例えば探索点を中心とする所定半径の球内にあるか否かにより、ピーク間距離を三次元的に評価するようにしてもよい。例えばＸ－ｍｅａｎｓ法などのクラスタリング手法を適用してピークの集約を行うことができる。

また、上記実施形態は、本発明の処理対象物である細胞塊として発達初期段階の胚（受精卵）を用いたものであるが、本発明の対象となる細胞塊はこれに限定されない。特に、大きさの揃った複数の細胞からなる細胞塊についてそれを構成する細胞の数を自動的に計数する目的に、本発明を好適に適用可能である。

以上、具体的な実施形態を例示して説明してきたように、本発明に係る細胞計数方法においては、互いに異なるヒートマップから検出され、かつマップ平面に沿った方向において互いの距離が第１の閾値より小さい複数のピークのうち、当該ピークが検出されたヒートマップに対応する画像が撮像されたときの焦点深さの差が第２の閾値より小さいもの同士を関連付けることができる。ここで、第１の閾値と第２の閾値とは同値であってもよい。

また、教師画像は、計数の対象となる細胞塊と同種の細胞塊を撮像した画像であることが好ましい。こうすることにより、計数の対象となる細胞塊に含まれる細胞の特徴を学習結果に効果的に反映させて、画像からの細胞の抽出を精度よく行うことが可能になる。

この場合、教師画像は、少なくとも１つの細胞の周縁部に合焦した画像を含むことが好ましい。細胞の輪郭が鮮明な画像を教師画像として機械学習を行わせることで、画像スタック中で同様に輪郭が鮮明な画像に対し、細胞の中心位置を適切に示すヒートマップを生成することが可能となる。

さらに、教師画像は、細胞塊を互いに異なる焦点深さで明視野撮像した複数の画像から選択されてもよい。多数の細胞を含む細胞塊を種々の焦点深さで撮像した画像の各々には、当該画像が撮像されたときの焦点深さに対応する位置にある細胞が鮮明な像として含まれ得る。そのような細胞の像を含む画像を教師画像とすることで、細胞塊中における細胞の形状や色味等を学習結果に効果的に反映させることができる。

また、本発明に係る、細胞計数のための機械学習モデルの構築方法においては、例えば、取得された教師画像の各々につき、当該教師画像中の細胞の輪郭を教示する教示入力を受け付け、ヒートマップでは、教示された輪郭で囲まれた領域の内部に、その外部よりも大きく、かつ当該領域の中心部に近いほど大きくなる重みを与えることができる。まず細胞の輪郭を特定し、その内部に適切な重み分布を与えることで、細胞内部のテクスチャに影響を受けず細胞の中心位置を的確に示すことが可能な機械学習モデルを構築することができる。

機械学習モデルは、他の細胞との距離を評価することができる程度の精度で細胞の中心を推定する機能を有していればよい。このため、ヒートマップにおける重み付けは、細胞の内部で外部より大きく、かつ細胞の中心部に近いほど大きくなるような任意の分布が与えられればよい。代表的な方法としては、例えば細胞中心を中心とする二次元ガウス分布に沿ったものとすることができる。

この発明は、複数の細胞が集合した細胞塊における細胞の個数を自動的にかつ精度よく計数することを可能とするものであり、例えば生殖補助医療の分野において、培養された胚（受精卵）の状態を評価する作業を効果的に支援することができる。

１ 撮像装置
１０ 試料容器
１３ 撮像部
１４ 制御部
Ｃ 細胞
Ｅ 胚（細胞塊）
Ｉｈ，Ｉｕ ヒートマップ
Ｉｓ 教師画像
Ｓ 試料
ＳＴ 画像スタック

Claims (12)

1. 細胞塊を構成する細胞の個数を計数する細胞計数方法であって、
   前記細胞塊を互いに異なる焦点深さで明視野撮像した、複数の画像を含む画像スタックを取得する工程と、
   機械学習モデルを用いて、前記複数の画像それぞれに対応する複数のヒートマップを作成する工程と、
   前記ヒートマップの各々からピークを検出する工程と、
   検出された前記ピークのうち、互いに異なる前記ヒートマップに属し、かつマップ平面に沿った方向における距離および前記焦点深さ方向における距離のそれぞれが所定値より小さいピーク同士を相互に関連付ける工程と、
   関連付けられた複数の前記ピークについては１つのピークと見なして前記ピークの数を計数する工程と
   を備え、
   前記機械学習モデルは、
   細胞の明視野画像である教師画像と、
   当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心部に近いほど大きくなる重みを与えたヒートマップである正解画像と
   のセットを教師データとする機械学習により構築されたものである、細胞計数方法。
2. 互いに異なる前記ヒートマップから検出され、かつ前記マップ平面に沿った方向において互いの距離が第１の閾値より小さい複数の前記ピークのうち、当該ピークが検出された前記ヒートマップに対応する前記画像が撮像されたときの前記焦点深さの差が第２の閾値より小さいもの同士を関連付ける、請求項１に記載の細胞計数方法。
3. 前記第１の閾値と前記第２の閾値とが同値である、請求項２に記載の細胞計数方法。
4. 前記教師画像は、計数の対象となる前記細胞塊と同種の細胞塊を撮像した画像である、請求項１ないし３のいずれかに記載の細胞計数方法。
5. 請求項１ないし４のいずれかに記載の細胞計数方法の各工程をコンピューターに実行させるための、プログラム。
6. 細胞の明視野画像である教師画像を複数取得する工程と、
   前記教師画像の各々について、当該教師画像内で合焦した細胞の輪郭の内側でその外側よりも大きく、かつ細胞中心に近いほど大きくなる重みを与えた擬似的なヒートマップである正解画像を作成する工程と、
   前記教師画像と前記正解画像とのセットを教師データとして機械学習を実行し機械学習モデルを構築する工程と
   を備える、細胞計数のための機械学習モデルの構築方法。
7. 前記教師画像は、少なくとも１つの細胞の周縁部に合焦した画像を含む、請求項６に記載の細胞計数のための機械学習モデルの構築方法。
8. 前記教師画像は、細胞塊を互いに異なる焦点深さで明視野撮像した複数の画像から選択される、請求項６または７に記載の細胞計数のための機械学習モデルの構築方法。
9. 取得された前記教師画像の各々につき、当該教師画像中の細胞の輪郭を教示する教示入力を受け付け、
   前記ヒートマップでは、教示された前記輪郭で囲まれた領域の内部に、その外部よりも大きく、かつ当該領域の中心部に近いほど大きくなる重みを与える、請求項６ないし８のいずれかに記載の細胞計数のための機械学習モデルの構築方法。
10. 前記ヒートマップにおける重み付けは、前記細胞中心を中心とする二次元ガウス分布に沿ったものである、請求項６ないし９のいずれかに記載の細胞計数のための機械学習モデルの構築方法。
11. 請求項６ないし１０のいずれかに記載の細胞計数のための機械学習モデルの構築方法の各工程をコンピューターに実行させるための、プログラム。
12. 請求項５または１１に記載のプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。

Images