JP6785947B2 - 細胞画像評価装置および方法並びにプログラム - Google Patents

Description

本発明は、細胞を撮影した撮影画像を用いて、撮影画像に含まれる細胞の状態を評価する細胞画像評価装置および方法並びにプログラムに関する。

ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備え、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。

そして、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを評価する方法が提案されている。

一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、たとえばウェルプレートなどが設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査し、観察領域毎の画像を撮影した後、その観察領域毎の画像を繋ぎ合わせる方法が提案されている。

特表２０１３−５３５０４８号公報

ここで、上述したようにウェル内の各観察領域を走査して撮影する際、各観察領域においてオートフォーカス制御が行われるが、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケた画像となる場合がある。また、たとえば顕微鏡装置における光源に印可される電圧変動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。

このようにボケた画像および暗い画像のように劣化した撮影画像については、個々の細胞の画像を高精度に抽出することができないため、たとえば個々の細胞の状態を示す特徴量を用いて評価を行うようにしたのでは、評価結果の精度が低くなり、信頼性も低い評価結果となる場合がある。すなわち、劣化した撮影画像と劣化していない撮影画像とを同じように評価したのでは正確な評価結果を得ることができない場合がある。

なお、特許文献１では、デジタル顕微鏡スライドの画像を複数の領域に分割し、各領域の品質を評価する際、適切な明るさまたはコントラストを有する分割画像のみ評価を行い、スライド全体のスコアを算出することが提案されている。しかしながら、このように適切な明るさまたはコントラストでない分割画像を全く評価しないようにしたのでは、その分割画像の情報を完全に失うことになるので、スライド全体の評価としては精度が低下する場合がある。

本発明は、上記の問題に鑑み、容器内の各観察領域の撮影画像が劣化していたとしても、より正確かつ、信頼性の高い評価を行うことができる細胞画像評価装置および方法並びにプログラムを提供することを目的とする。

本発明の一態様による細胞画像評価装置は、細胞が収容された容器内を撮影した撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する画像評価部と、撮影画像が劣化しているか否かを判別する劣化判別部とを備え、画像評価部が、劣化判別部の判別結果に応じて、撮影画像の評価方法を変更する。

また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、撮影画像が劣化していると判別された場合には、相対的に劣化に強い評価方法によって撮影画像を評価し、撮影画像が劣化していないと判別された場合には、相対的に劣化に弱い評価方法によって撮影画像を評価してもよい。

また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、撮影画像が劣化していないと判別された場合には、撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、撮影画像が劣化していると判別された場合には、画像特徴量を用いて評価してもよい。

また、上記本発明の一態様による細胞画像評価装置において、細胞の状態を示す特徴量は、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比（Nucleocytoplasmic ratio）の少なくとも１つを含んでもよい。

また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像がボケているか否かを判別してもよい。

また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像がボケているか否かを判別するボケ判別器を備えることができ、ボケ判別器は、機械学習によって生成されてもよい。

また、上記本発明の一態様による細胞画像評価装置において、ボケ判別器は、撮影画像の輝度の分散、コントラスト、および最小値と最大値の組のうちの少なくとも１つに基づいて、撮影画像がボケているか否かを判別してもよい。

また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像が、細胞領域を撮影した画像であるのか培地領域を撮影した画像であるのかを判別する領域判別器を備え、撮影画像が細胞領域を撮影した画像であると領域判別器によって判別され、かつ撮影画像がボケているとボケ判別器によって判別された場合に、撮影画像が劣化していると判別してもよい。

また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別してもよい。

また、上記本発明の一態様による細胞画像評価装置において、劣化判別部は、撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別する光量変動劣化判別器を備えることができ、光量変動劣化判別器は、機械学習によって生成されてもよい。

また、上記本発明の一態様による細胞画像評価装置において、光量変動劣化判別器は、撮影画像の平均輝度および最小値と最大値の組のうちの少なくとも１つに基づいて、撮影画像が光量変動によって劣化した画像であるか否かを判別してもよい。

また、上記本発明の一態様による細胞画像評価装置において、画像評価部は、容器内の複数の撮影画像の評価結果を統合して容器に対する評価結果を算出してもよい。

また、上記本発明の一態様による細胞画像評価装置において、撮影画像は、容器が設置されるステージおよび容器内の細胞の像を結像する結像光学系の少なくとも一方を移動させることによって、容器内の各観察領域を撮影した画像とすることができ、劣化判別部は、観察領域毎の撮影画像が劣化しているか否かを判別してもよい。

本発明の一態様による細胞画像評価方法は、細胞が収容された容器内を撮影した撮影画像が劣化しているか否かを判別し、撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する際、劣化の判別結果に応じて、撮影画像の評価方法を変更する。

本発明の一態様による細胞画像評価プログラムは、コンピュータを、細胞が収容された容器内を撮影した撮影画像に基づいて、撮影画像に含まれる細胞の状態を評価する画像評価部と、撮影画像が劣化しているか否かを判別する劣化判別部として機能させる細胞画像評価プログラムであって、画像評価部が、劣化判別部の判別結果に応じて、撮影画像の評価方法を変更する。

本発明の細胞画像評価装置および方法並びにプログラムによれば、細胞が収容された容器内を撮影した撮影画像が劣化しているか否かを判別し、撮影画像に含まれる細胞の状態を評価する際、劣化している撮影画像と劣化していない撮影画像とで異なる評価方法で評価する。これにより、劣化している画像であったとしても、その画像に適した評価方法で評価することによって、より正確かつ、信頼性の高い評価を行うことができる。

本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価システムの概略構成を示すブロック図 ウェルプレートにおける各観察領域の走査軌跡を示す図 ウェル内の各観察領域の撮影画像の一例を示す図 ウェル単位で統合された評価結果の表示例を示す図 本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価システムの作用を説明するためのフローチャート 図１に示す細胞画像評価システムの変形例の概略構成を示すブロック図 ウェル内の各観察領域の撮影画像の一例を示す図 本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価システムの概略構成を示すブロック図

以下、本発明の細胞画像評価装置および方法並びにプログラムの一実施形態を用いた細胞画像評価システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の細胞画像評価システムの概略構成を示すブロック図である。

本実施形態の細胞画像評価システムは、図１に示すように、顕微鏡装置１０と、細胞画像評価装置２０と、表示装置３０と、入力装置４０とを備えている。

顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、撮影画像を出力する。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から撮影画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。

撮影対象としては、複数の細胞が凝集した細胞コロニーでもよいし、分散して分布した複数の細胞でもよい。また、撮影対象の細胞としては、たとえばｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された臓器の細胞およびがん細胞などがある。

また、本実施形態においては、培養容器として、複数のウェルを有するウェルプレートを用いる。なお、ウェルプレートを用いる場合、各ウェルが、本発明の容器に相当する。そして、顕微鏡装置１０は、ウェルプレートが設置されるステージを備えている。ステージは、水平面内において直交するＸ方向およびＹ方向に移動する。このステージの移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮影される。観察領域毎の撮影画像は細胞画像評価装置２０に出力される。

図２は、６つのウェル５１を有するウェルプレート５０を用いた場合における各観察領域の走査軌跡を実線Ｓｃで示した図である。図２に示すように、ウェルプレート５０内の各観察領域は、ステージのＸ方向およびＹ方向の移動によって走査開始点Ｓから走査終了点Ｅまでの実線Ｓｃに沿って走査される。

また、本実施形態においては、ウェル内の各観察領域において、ステージまたは細胞の位相差像を撮像素子に結像する結像光学系を鉛直方向に移動させることによってオートフォーカス制御を行う。

なお、本実施形態においては、ステージを移動させることによってウェル内の観察領域毎の撮影画像を撮影するようにしたが、これに限らず、結像光学系をステージに対して移動させることによって観察領域毎の撮影画像を撮影するようにしてもよい。または、ステージと結像光学系の両方を移動させるようにしてもよい。

また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。

細胞画像評価装置２０は、図１に示すように、劣化判別部２１と、画像評価部２２と、表示制御部２３とを備えている。細胞画像評価装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成され、ハードディスクに本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図１に示す劣化判別部２１、画像評価部２２および表示制御部２３が機能する。なお、本実施形態においては、細胞画像評価プログラムによって、各部の機能を実行するようにしたが、これに限らず、たとえば複数のＩＣ（Integrated Circuit）、プロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびメモリなどを適宜組み合わせることによって各部の機能を実行するようにしてもよい。なお、細胞画像評価プログラムは、非一時的なコンピュータ読取り可能な記録媒体に格納され、細胞画像評価装置２０を構成するコンピュータに読み取られても良い。また、細胞画像評価プログラムは、ネットワークを介して配信されても良い。

劣化判別部２１は、顕微鏡装置１０によって撮影された観察領域毎の撮影画像が劣化しているか否かを判別する。具体的には、本実施形態の劣化判別部２１は、ボケ判別器２１ａを有し、このボケ判別器２１ａによって撮影画像がボケているか否かを判別することによって、撮影画像が劣化しているか否かを判別する。劣化判別部２１の詳細については、後述する。

画像評価部２２は、観察領域毎の撮影画像を取得し、その撮影画像に含まれる細胞の状態を評価する。細胞の状態を評価するとは、たとえば撮影画像に含まれる細胞が未分化細胞であるのか分化細胞であるのかを評価したり、共培養の際の細胞の種類ごとの細胞数をカウントしたり、撮影画像に含まれる未分化細胞と分化細胞の割合を評価したり、細胞または細胞コロニーの成長度を評価したり、または抗がん剤によるがん細胞の縮小率を評価したりすることをいう。ただし、細胞の状態の評価としては、これらに限らず、その他の評価でもよい。

また、画像評価部２２は、ボケている撮影画像とボケていない撮影画像とで異なる評価方法で細胞の状態を評価する。具体的には、画像評価部２２は、ボケていない撮影画像については、その撮影画像に含まれる細胞の状態を示す特徴量を用いて評価し、ボケている撮影画像については、画像特徴量を用いて評価する。画像評価部２２による画像評価の詳細については、後述する。

表示制御部２３は、画像評価部２２による評価結果を表示装置３０に表示させる。具体的には、本実施形態においては、上述したように画像評価部２２においてウェル単位での評価結果が算出されるので、表示制御部２３は、そのウェル単位での評価結果を表示装置３０に表示させる。図４は、６ウェルのウェルプレートを用いた場合に、ウェル単位での分化細胞の割合と未分化細胞の割合とを算出し、統合された評価結果として表示した例である。図４の例において、上段左のウェルには、分化細胞が８０％存在し、未分化細胞が２０％存在する。上段中央のウェルには、分化細胞が７０％存在し、未分化細胞が３０％存在する。上段右のウェルには、分化細胞が６０％存在し、未分化細胞が４０％存在する。下段左のウェルには、分化細胞が６０％存在し、未分化細胞が４０％存在する。下段中央のウェルには、分化細胞が３０％存在し、未分化細胞が７０％存在する。下段右のウェルには、分化細胞が４０％存在し、未分化細胞が６０％存在する。

また、表示制御部２３は、観察領域毎の撮影画像を繋ぎ合わせることによって合成画像を生成し、その合成画像を表示装置３０に表示させる。

表示装置３０は、上述したように画像評価部２２による評価結果および表示制御部２３によって生成された合成画像を表示する、たとえば液晶ディスプレイなどを備えた。また、表示装置３０をタッチパネルによって構成し、入力装置４０と兼用するようにしてもよい。

入力装置４０は、マウスやキーボードなどを備え、ユーザによる種々の設定入力を受け付ける。

次に、劣化判別部２１の詳細を説明する。本実施形態においては、上述したようにウェル内の各観察領域を走査し、各観察領域においてオートフォーカス制御を行うが、全ての観察領域において最適な焦点位置となるとは限らず、オートフォーカス制御でミスを生じ、一部の観察領域の撮影画像がボケた画像となる場合がある。このようなボケた撮影画像を、その他のボケていない撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図３は、ウェル内の各観察領域の撮影画像の一例を示す図である。図３において矩形領域で分割された各領域が各観察領域に相当する。また、図３に示す例では、点線四角で示す観察領域の撮影画像がボケている画像である。

そこで、本実施形態の細胞画像評価システムにおいては、劣化判別部２１において、観察領域毎の撮影画像がボケているか否かを判別し、その判別結果に応じて、評価方法を変更する。

具体的には、ボケ判別器２１ａは、ボケた撮影画像とボケていない撮影画像の輝度の分散、コントラスト、および最小値と最大値の組のうちの少なくとも１つを入力とし、ボケているか否かの判別結果を出力として機械学習によって生成される。機械学習の手法としては、公知な手法を用いることができ、サポートベクタマシン（ＳＶＭ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。

そして、ボケ判別器２１ａは、観察領域毎の撮影画像の入力を受け付け、その撮影画像がボケているか否かの判別結果を出力する。

なお、本実施形態においては、上述したように機械学習されたボケ判別器２１ａを用いて撮影画像がボケているか否かを判別するようにしたが、判別方法としては、これに限らず、たとえば撮影画像からエッジを検出し、エッジの量に基づいて判別するようにしてもよいし、輝度の最大値と最小値の組から判別するようにしてもよし、撮影画像の空間周波数成分を解析することによって判別するようにしてもよい。

次に、画像評価部２２による画像評価の詳細を説明する。ボケていない撮影画像については、撮影画像に含まれる細胞の画像または核もしくは核小体などの画像を高精度に認識することができる。そのため、画像評価部２２は、上述したように細胞の状態を示す特徴量を用いて評価することによって、生物学的な説明力に優れる評価結果を得ることができる。本実施形態において、細胞の状態を示す特徴量を用いた評価方法は、相対的にボケ（劣化）に弱い評価方法である。

細胞の状態を示す特徴量としては、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比の少なくとも１つを用いることができる。

個々の細胞の状態の特徴量としては、たとえば細胞の数、細胞の密度、細胞の増加率および細胞の円形度などがあるが、撮影画像に含まれる個々の細胞を認識し、その認識した細胞に基づいて算出される特徴量であればその他の特徴量でもよい。撮影画像に含まれる細胞の認識方法としては、たとえば細胞の画像のエッジを検出したり、パターンマッチング処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、細胞の円形度については、未分化細胞は円形度が相対的に高くなるが、分化細胞は、たとえば細長い形状となり、円形度が相対的に低くなる。したがって、個々の細胞の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。また、多能性幹細胞において、細胞が分化すると核内のクロマチン構造が変化し黒っぽくなるため、核を検出した後に核の輝度を評価することによって分化または未分化を評価することができる。ただし、分化細胞か未分化細胞かを評価する方法としては、これに限らず、その他の公知な手法を用いることができる。または、神経細胞を評価する場合には、個々の細胞の状態を示す特徴量として、樹状突起の長さを用いることができる。樹状突起の長さを用いることによって、神経細胞の成長度を評価することができる。

また、細胞内に含まれる核または核小体の特徴量としては、たとえば核または核小体の数、核または核小体の密度および核または核小体の増加率などがあるが、撮影画像に含まれる核または核小体を認識し、その認識した核または核小体に基づいて算出される特徴量であればその他の特徴量でもよい。撮影画像に含まれる核または核小体の認識方法としては、細胞の認識方法と同様に、エッジ検出、パターンマッチングによる検出および判別器を用いた検出などを用いることができる。

また、白すじとは、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。そして、白すじの特徴量としては、たとえば白すじの総面積、白すじの密度および白すじの分布状態などがあるが、撮影画像に含まれる白すじを認識し、その認識した白すじに基づいて算出される特徴量であればその他の特徴量でもよい。白すじの認識方法としては、たとえば撮影画像を２値化し、閾値処理によって白すじを抽出するようにしてもよいし、パターンマッチン処理を用いて検出したり、機械学習によって生成された判別器を用いて検出したりする方法があるが、その他の公知な手法を用いることができる。なお、白すじの特徴量については、たとえば細胞コロニー内に未分化細胞が多い状態では白すじは少ないが、分化が進み分化細胞が多くなると白すじの量が多くなる。したがって、白すじの特徴量に基づいて、細胞コロニーの分化度または未分化度、もしくは細胞コロニーの成長度などを評価することができる。

また、細胞のＮＣ比とは、核／細胞質面積比である。ＮＣ比については、細胞質と核のそれぞれの検出器を使用することで求めることができる。細胞質は、一般的にグレーかつフラットな見た目を有し、これに対し、核は比較的丸くかつ内部に核小体等の構造を含む。したがって、それぞれの検出器を機械学習により作成し、撮影画像に適用することによって細胞質領域と核領域とが得られる。このようにして得られた細胞質領域と核領域の面積の比を算出することによって、ＮＣ比を算出することができる。ＮＣ比は、細胞コロニー単位で算出してもよいし、予め指定された領域内でのＮＣ比を算出するようにしてもよい。

一方、ボケた撮影画像については、個々の細胞の画像または核小体の画像などの検出精度が低くなる。したがって、ボケていない撮影画像のように個々の細胞の状態を示す特徴量を用いて評価するよりも、撮影画像自体の画像特徴量を用いて評価した方が、評価精度が向上する。本実施形態において、画像特徴量を用いた評価方法は、上述した細胞の状態を示す特徴量を用いた評価方法よりも、相対的にボケ（劣化）に強い評価方法である。

ボケた撮影画像を評価する際に用いられる画像特徴量とは、撮像画像自体の特徴量であって、具体的には、撮影画像の平均輝度、撮影画像の輝度の分散、撮影画像の輝度の最大値と最小値の差、撮影画像のコントラスト、撮影画像のエントロピー、撮影画像の空間周波数分布、撮影画像の方向性および撮影画像のゼルニケ特徴などを用いることができる。

このような画像特徴量を用いて撮影画像に含まれる細胞の状態を評価する方法としては、たとえば画像特徴量とその画像特徴量に対応する評価結果との関係を予め実験などによって求めておき、撮影画像の画像特徴量と上記関係とに基づいて、評価結果を得るようにすればよい。また、画像特徴量とその画像特徴量に対応する評価結果との関係を、たとえば機械学習を用いて学習させて評価器を生成し、撮影画像の画像特徴量をその評価器に入力することによって評価結果を得るようにしてもよい。

また、本実施形態の画像評価部２２は、ウェル内の各観察領域の撮影画像の評価結果を統合して、そのウェルに対する評価結果を算出する。すなわちウェル単位での評価結果を算出する。このようにウェル単位（容器単位）での評価結果を算出することによって、継代または細胞の出荷の際などにおいてウェル単位で管理することができる。

本実施形態においては、上述したようにボケている撮影画像とボケていない撮影画像とで異なる評価方法で細胞の状態を評価するようにしたので、各観察領域の撮影画像を適切な評価方法で評価することができ、ウェル単位での評価結果としてもより正確で、かつ信頼性のある評価結果を得ることができる。

具体的には、たとえばウェル内の各観察領域の撮影画像に含まれる分化細胞の割合と未分化細胞の割合の平均値をそれぞれ算出することによって、ウェル単位での分化細胞の割合と未分化細胞の割合を求めるようにしてもよい。

または、ウェル内の各観察領域の撮影画像について細胞または細胞コロニーの成長度を評価する場合には、その各観察領域の成長度の平均値をウェル単位の成長度として求めるようにしてもよい。また、ウェル内の全観察領域のうち、成長度が閾値以上である観察領域の数の割合を算出し、その割合をウェル単位の成長度として求めるようにしてもよい。もしくは、上記割合が閾値以上である場合には、ウェル単位での評価結果を「良い」とし、閾値未満である場合には、ウェル単位での評価結果を「悪い」としてもよい。または、成長度が閾値以上である観察領域の評価結果を「良い」とし、閾値未満である観察領域の評価結果を「悪い」とし、ウェル内に含まれる評価結果が「良い」の観察領域の数が、閾値以上である場合にウェル単位での評価結果を「良い」とし、閾値未満である場合にウェル単位での評価結果を「悪い」としてもよい。

次に、本実施形態の細胞画像評価システムの作用について、図５に示すフローチャートを参照しながら説明する。

まず、細胞および培養液が収容されたウェルプレートが顕微鏡装置１０のステージ上に設置される（Ｓ１０）。そして、ステージがＸ方向およびＹ方向に移動することによって、ウェルプレートの各ウェル内の観察領域が走査され、各観察領域の撮影画像が撮影される（Ｓ１２）。

そして、顕微鏡装置１０において撮影された観察領域毎の撮影画像は、細胞画像評価装置２０に順次出力され、劣化判別部２１および表示制御部２３に順次入力される（Ｓ１２）。劣化判別部２１は、入力された観察領域の撮影画像がボケた撮影画像であるかボケていない撮影画像であるかを判別する（Ｓ１４）。

そして、劣化判別部２１によって、撮影画像がボケた撮影画像と判別された場合には、画像評価部２２は、その撮影画像について、ボケた撮影画像の評価方法を用いて評価する（Ｓ１６）。具体的には、その撮影画像について画像特徴量を算出し、その画像特徴量を用いて撮影画像に含まれる細胞の状態を評価する。

一方、劣化判別部２１によって、撮影画像がボケていない撮影画像であると判別された場合には、画像評価部２２は、その撮影画像について、ボケていない撮影画像の評価方法を用いて評価する（Ｓ１８）。具体的には、その撮影画像について、細胞の状態を示す特徴量を算出し、その特徴量を用いて撮影画像に含まれる細胞の状態を評価する。

そして、全ての観察領域が走査され、全ての観察領域の撮影画像の評価が終了するまでＳ１２〜Ｓ１８までの処理が繰り返される（Ｓ２０，ＮＯ）。

全ての観察領域の撮影画像の評価が終了した場合には（Ｓ２０，ＹＥＳ）、画像評価部２２は、各観察領域の撮影画像の評価結果をウェル単位で統合し、ウェル単位の評価結果を取得する（Ｓ２２）。

そして、表示制御部２３は、各観察画像の撮影画像を用いて合成画像を生成し、合成画像を表示装置３０に表示させ、かつウェル単位での統合評価結果を表示装置３０に表示させる（Ｓ２４）。

上記実施形態の細胞画像評価システムによれば、観察領域毎の撮影画像がボケているか否かを判別し、撮影画像に含まれる細胞の状態を評価する際、ボケた撮影画像とボケていない撮影画像とで異なる評価方法で評価するようにしたので、その撮影画像に適した評価方法で評価することができ、より正確かつ、信頼性の高い評価を行うことができる。

なお、上記実施形態においては、画像評価部２２において、ウェル内の各観察領域の撮影画像を統合して、ウェル単位での評価結果を算出するようにしたが、このように統合された評価結果を算出する際、ボケた撮影画像の評価結果とボケていない撮影画像の評価結果とに重み付けを付加するようにしてもよい。重み付けとしては、ボケていない撮影画像の評価結果に付加される重み付けが、メニスカス領域画像の評価結果に付加される重み付けよりも大きくなるように設定することが好ましい。これは、ボケていない撮影画像の方が評価結果の精度が高いと考えられるからである。

具体的には、たとえばウェル内の各観察領域の成長度の平均値をウェル単位の成長度として求める場合、ボケた撮影画像の観察領域の成長度に対して０．５よりも小さい重み付けを付加し、ボケていない撮影画像の観察領域の成長度に対して０．５以上の重み付けを付加するようにすればよい。

または、成長度が閾値以上である観察領域の評価結果を「良い」とし、閾値未満である観察領域の評価結果を「悪い」とする場合、ボケた撮影画像の観察領域の成長度に対して０．５よりも小さい重み付けを付加して「良い」または「悪い」を評価し、ボケていない撮影画像の観察領域の成長度に対して０．５以上の重み付けを付加して「良い」または「悪い」を評価するようにしてもよい。そして、上述したようにウェル内に含まれる評価結果が「良い」の観察領域の数が、閾値以上である場合にウェル単位での評価結果を「良い」とし、閾値未満である場合にウェル単位での評価結果を「悪い」としてもよい。

また、上記実施形態においては、ボケ判別器２１ａによって撮影画像がボケているか否かを判別するようにしたが、たとえばウェル内の各観察領域を撮影した撮影画像のうち、培養液などの培地の範囲の観察領域を撮影した撮影画像については、ボケた画像と輝度分布が類似しているため、ボケていないにも関わらず、ボケた画像であると誤判別される可能性がある。

そこで、図６に示すように、劣化判別部２１にさらに領域判別器２１ｂを設けるようにしてもよい。領域判別器２１ｂは、撮影画像が、細胞領域を撮影した画像であるのか培地領域を撮影した画像であるのかを判別する。

具体的には、領域判別器２１ｂは、細胞領域を撮影した撮影画像と培地領域を撮影した撮影画像を入力とし、細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかの判別結果を出力として機械学習によって生成される。機械学習の手法としては、ボケ判別器２１ａと同様に、公知な手法を用いることができる。

そして、領域判別器２１ｂは、観察領域毎の撮影画像の入力を受け付け、その撮影画像が、細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかの判別結果を出力する。

なお、本実施形態においては、上述したように機械学習された領域判別器２１ｂを用いて細胞領域を撮影した撮影画像であるか培地領域を撮影した撮影画像であるかを判別するようにしたが、判別方法としては、これに限らず、たとえば撮影画像からエッジを検出し、エッジの量に基づいて判別するようにしてもよいし、輝度の最大値と最小値の組から判別するようにしてもよし、撮影画像の空間周波数成分を解析することによって判別するようにしてもよい。

そして、撮影画像が細胞領域を撮影した画像であると領域判別器２１ｂによって判別され、かつ撮影画像がボケているとボケ判別器２１ａによって判別された場合に、撮影画像が劣化していると判別し、その撮影画像については、画像特徴量を用いて評価するようにしてもよい。一方、撮影画像がボケているとボケ判別器２１ａによって判別された場合でも、撮影画像が培地領域を撮影した画像であると領域判別器２１ｂによって判別された場合には、画像特徴量ではなく、細胞の状態を示す特徴を用いて評価するようにしてもよい。

また、上記実施形態においては、劣化判別部２１において、撮影画像がボケているか否かを判別することによって、撮影画像が劣化しているか否かを判別するようにしたが、すなわちオートフォーカス制御のミスによる撮影画像の劣化を判別するようにしたが、撮影画像の劣化要因としてはこれだけではない。

たとえば顕微鏡装置１０における光源に印可される電圧変動によって照明光の光量が変動し、撮影画像が暗い画像となってしまう場合がある。このような暗い撮影画像を、その他の正常な光量の撮影画像と同じように評価したのでは、正確な評価結果が得られない場合がある。図７は、ウェル内の各観察領域の撮影画像の一例を示す図である。図７において矩形領域で分割された各領域が各観察領域に相当する。また、図７に示す例では、点線四角で示す観察領域の撮影画像が、照明光の光量変動によって劣化した画像である。

そこで、図８に示すように、劣化判別部２１に光量変動劣化判別器２１ｃを設け、光量変動劣化判別器２１ｃにおいて、観察領域毎の撮影画像が照明光の光量変動によって劣化しているか否か判別し、その判別結果に応じて、評価方法を変更するようにしてもよい。

具体的には、光量変動劣化判別器２１ｃは、撮影画像の平均輝度および最小値と最大値の組のうちの少なくとも１つを入力とし、照明光の光量変動によって劣化しているいか否かの判別結果を出力として機械学習によって生成された。機械学習の手法としては、ボケ判別器２１ａと同様に、公知な手法を用いることができる。

そして、光量変動劣化判別器２１ｃは、観察領域毎の撮影画像の入力を受け付け、その撮影画像が、照明光の光量変動によって劣化している否かの判別結果を出力する。

なお、本実施形態においては、上述したように機械学習された光量変動劣化判別器２１ｃを用いて撮影画像が光量変動によって劣化しているか否かを判別するようにしたが、判別方法としては、これに限らず、たとえば撮影画像の平均輝度の閾値判定によって判別するようにしてもよいし、撮影画像の輝度分布を解析することによって判別するようにしてもよい。

そして、撮影画像が照明光の光量変動によって劣化していると光量変動劣化判別器２１ｃによって判別された場合には、その撮影画像については、画像特徴量を用いて評価するようにすればよい。一方、撮影画像が照明光の光量変動によって劣化していない場合には、画像特徴量ではなく、細胞の状態を示す特徴を用いて評価するようにすればよい。

なお、劣化判別部２１が、ボケ判別器２１ａと光量変動劣化判別器２１ｃとの両方を備えるようにしてもよいし、さらに領域判別器２１ｂを備えるようにしてもよい。

１０ 顕微鏡装置
２０ 細胞画像評価装置
２１ 劣化判別部
２１ａ ボケ判別器
２１ｂ 領域判別器
２１ｃ 光量変動劣化判別器
２２ 画像評価部
２３ 表示制御部
３０ 表示装置
４０ 入力装置
５０ ウェルプレート
５１ ウェル
Ｅ 走査終了点
Ｓ 走査開始点
Ｓｃ 走査軌跡を示す実線

Claims (18)

1. 細胞が収容された容器内を撮影した撮影画像に基づいて、前記撮影画像に含まれる前記細胞の状態を評価する画像評価部と、
   前記撮影画像が劣化しているか否かを判別する劣化判別部とを備え、
   前記画像評価部が、前記劣化判別部によって前記撮影画像が劣化していると判別された場合には、前記劣化判別部によって前記撮影画像が劣化していないと判別された場合よりも劣化に強い評価方法を用いて前記撮影画像を評価する細胞画像評価装置。
2. 前記画像評価部が、前記劣化判別部によって前記撮影画像が劣化していないと判別された場合には、前記劣化判別部によって前記撮影画像が劣化していると判別された場合よりも劣化に弱い評価方法を用いて前記撮影画像を評価する請求項１に記載の細胞画像評価装置。
3. 前記画像評価部が、前記撮影画像が劣化していると判別された場合には、画像特徴量を用いて評価する請求項１または２記載の細胞画像評価装置。
4. 前記画像評価部が、前記撮影画像が劣化していないと判別された場合には、前記撮影画像に含まれる細胞の状態を示す特徴量を用いて評価する請求項１から３いずれか１項記載の細胞画像評価装置。
5. 前記細胞の状態を示す特徴量が、個々の細胞の状態の特徴量、細胞内に含まれる核小体の特徴量、白すじの特徴量、細胞内に含まれる核の特徴量および細胞のＮＣ比（Nucleocytoplasmic ratio）の少なくとも１つを含む請求項４記載の細胞画像評価装置。
6. 前記劣化判別部が、前記撮影画像がボケているか否かを判別する請求項１から５いずれか１項記載の細胞画像評価装置。
7. 前記劣化判別部が、前記撮影画像がボケているか否かを判別するボケ判別器を備え、
   前記ボケ判別器が、機械学習によって生成されたものである請求項６記載の細胞画像評価装置。
8. 前記ボケ判別器が、前記撮影画像の輝度の分散、コントラスト、および最小値と最大値の組のうちの少なくとも１つに基づいて、前記撮影画像がボケているか否かを判別する請求項７記載の細胞画像評価装置。
9. 前記劣化判別部が、前記撮影画像が、細胞領域を撮影した画像であるのか培地領域を撮影した画像であるのかを判別する領域判別器を備え、
   前記撮影画像が前記細胞領域を撮影した画像であると前記領域判別器によって判別され、かつ前記撮影画像がボケていると前記ボケ判別器によって判別された場合に、前記撮影画像が劣化していると判別する請求項７または８記載の細胞画像評価装置。
10. 前記劣化判別部が、前記撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別する請求項１から５いずれか１項記載の細胞画像評価装置。
11. 前記劣化判別部が、前記撮影画像が、照明光の光量変動によって劣化した画像であるか否かを判別する光量変動劣化判別器を備え、
    前記光量変動劣化判別器が、機械学習によって生成されたものである請求項１０記載の細胞画像評価装置。
12. 前記光量変動劣化判別器が、前記撮影画像の平均輝度および最小値と最大値の組のうちの少なくとも１つに基づいて、前記撮影画像が光量変動によって劣化した画像であるか否かを判別する請求項１１記載の細胞画像評価装置。
13. 前記画像評価部が、前記容器内の複数の前記撮影画像の評価結果を統合して前記容器に対する評価結果を算出する請求項１から１２いずれか１項記載の細胞画像評価装置。
14. 前記撮影画像が、前記容器が設置されるステージおよび前記容器内の細胞の像を結像する結像光学系の少なくとも一方を移動させることによって、前記容器内の各観察領域を撮影した画像であり、
    前記劣化判別部が、前記観察領域毎の撮影画像が劣化しているか否かを判別する請求項１から１３いずれか１項記載の細胞画像評価装置。
15. 細胞が収容された容器内を撮影した撮影画像が劣化しているか否かを判別し、
    前記撮影画像に基づいて、前記撮影画像に含まれる前記細胞の状態を評価する際、前記撮影画像が劣化していると判別された場合には、前記撮影画像が劣化していないと判別された場合よりも劣化に強い評価方法を用いて前記撮影画像を評価する細胞画像評価方法。
16. 前記撮影画像が劣化していないと判別された場合には、前記撮影画像が劣化していると判別された場合よりも劣化に弱い評価方法を用いて前記撮影画像を評価する請求項１５に記載の細胞画像評価方法。
17. コンピュータを、
    細胞が収容された容器内を撮影した撮影画像に基づいて、前記撮影画像に含まれる前記細胞の状態を評価する画像評価部と、
    前記撮影画像が劣化しているか否かを判別する劣化判別部として機能させる細胞画像評価プログラムであって、
    前記画像評価部が、前記劣化判別部によって前記撮影画像が劣化していると判別された場合には、前記劣化判別部によって前記撮影画像が劣化していないと判別された場合よりも劣化に強い評価方法を用いて前記撮影画像を評価する細胞画像評価プログラム。
18. 前記画像評価部が、前記劣化判別部によって前記撮影画像が劣化していないと判別された場合には、前記劣化判別部によって前記撮影画像が劣化していると判別された場合よりも劣化に弱い評価方法を用いて前記撮影画像を評価する請求項１７に記載の細胞画像評価プログラム。