JP5513038B2 - 三次元細胞画像解析装置 - Google Patents
三次元細胞画像解析装置 Download PDFInfo
- Publication number
- JP5513038B2 JP5513038B2 JP2009192049A JP2009192049A JP5513038B2 JP 5513038 B2 JP5513038 B2 JP 5513038B2 JP 2009192049 A JP2009192049 A JP 2009192049A JP 2009192049 A JP2009192049 A JP 2009192049A JP 5513038 B2 JP5513038 B2 JP 5513038B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- dimensional
- cell image
- projection data
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1の三次元細胞画像解析システムは、三次元細胞画像撮像装置1と第一実施形態の三次元細胞画像解析装置2を有する。
三次元細胞画像撮像装置1は、例えば、コンフォーカル顕微鏡で構成されており、観察光学系1aと、撮像素子1bを有する。
観察光学系1aは、光源、照明レンズ、複数種類の励起フィルタをターレット等に備えた励起光切換手段、対物レンズ、吸収フィルタ、結像レンズ、ピンホール等、一般的なコンフォーカル蛍光顕微鏡における照明光学系及び観察光学系(図示省略)で構成され、蛍光たんぱく質又は蛍光分子で標識された特定のたんぱく質の細胞内挙動を蛍光観察可能であるとともに、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像素子1bの撮像面に結像する。
撮像素子1bは、観察光学系1aを介して結像された細胞像を撮像する。
このように構成された三次元細胞画像撮像装置1を用いて、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することにより、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像が得られる。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段2a、三次元領域構築手段2bとして機能させるように構成されている。
位置情報検出手段2aは、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する。
三次元領域構築手段2bは、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、位置情報検出手段2aが検出した夫々の細胞器官の領域の所定の位置情報を用いて、三次元の細胞器官の領域を構築する。
特徴量抽出手段2cは、三次元領域構築手段2bを介して特定された三次元座標上での各細胞内領域に対して、各蛍光の輝度の総和、輝度の平均などの蛍光情報や、大きさ、位置、丸み度などの形態情報を、三次元座標上での各細胞内領域の特徴量として抽出する。
領域分類手段2dは、特徴量抽出手段2cを介して抽出された三次元座標上での各細胞内領域の特徴量に基づき、三次元座標上での各細胞内領域を細胞膜、核、小器官などに分類する。
定量・出力手段2eは、領域分類手段2dを介して分類された細胞内器官等の各細胞内領域における蛍光量を定量し、結果の出力を行う。
全体の処理は、図2(a)に示すように、三次元細胞画像撮像装置1による細胞像の撮像(ステップS1)、三次元細胞画像解析装置2による細胞画像の解析(ステップS2)、解析結果の出力(ステップS3)の順で行われる。
撮像処理段階では、コンフォーカル顕微鏡で構成された三次元細胞画像撮像装置1の観察光学系1aが、各チャネルの蛍光ごとに、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を結像し、撮像素子1bが観察光学系1aを介して結像された細胞像を撮像する。
細胞器官の領域の位置情報の検出(ステップS2 1 )
解析処理段階では、まず、位置情報検出手段2aが、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報を検出する。
次いで、三次元領域構築手段2bが、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、位置情報検出手段2aを介して検出された夫々の細胞器官の領域の所定の位置情報を用いて、三次元座標上での細胞器官の領域を構築する。
次いで、特徴量抽出手段2cが、三次元領域構築手段2bを介して特定された三次元座標上での各細胞内領域に対して、各蛍光の輝度の総和、輝度の平均などの蛍光情報や、大きさ、位置、丸み度などの形態的な情報を、三次元座標上での各細胞内領域の特徴量として抽出する。
次いで、領域分類手段2dが、あらかじめ操作者が設定した値に基づき、三次元座標上での各細胞内領域を、細胞膜、核、小器官などの細胞内器官等に分類する。あるいは、特徴量抽出手段を介して抽出された特徴量の統計的な分布を取得し、三次元座標上での各細胞内領域の特徴量に基づき、三次元座標上での各細胞内領域を、細胞膜、核、小器官などの細胞内器官等に分類する。
次いで、定量・出力手段2eが、領域分類手段2dにより分類された細胞内器官等の各細胞内領域における蛍光量を定量する(ステップS25)。蛍光量の定量は、領域の総蛍光量、平均蛍光量、最大蛍光量、最小蛍光量や、あるいは、ドット(極小領域)として認識できる蛍光の数など、を測定することによって行う。
次いで、細胞内器官等に分類された個々の細胞内領域における蛍光情報、あるいは細胞内器官等に分類された細胞内領域ごとの特徴量の統計量(例えば、複数細胞膜の蛍光量の平均値)、さらにこれらの時間変化などを出力する(ステップS3)。
第一実施形態
図3は本発明の参考例としての第一実施形態にかかる三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図、図4は第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理手順を示すフローチャートである。図5は第一実施形態の三次元細胞画像解析装置における三次元の細胞器官の領域の構築までの処理を模式的に示す説明図で、(a)は三次元の細胞画像におけるZ方向に添う断面図、(b)は(a)の細胞画像を種類の異なる夫々の細胞器官の領域に分割した状態を示す図、(c)は(b)の状態から夫々の細胞器官の領域の中心部を検出した状態を示す図、(e)は(c)の状態から夫々の細胞器官の領域の境界部を検出した状態を示す図である。なお、第一実施形態の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図1に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
三次元細胞画像撮像装置1は、図1に示したものと同様に構成されている。
三次元細胞画像解析装置2は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段としての中心部検出手段2a1、三次元領域構築手段としての境界部検出手段2b1として機能させるように構成されている。
中心部検出手段2a1は、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、第1の輝度の閾値を用いて、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域に分割するとともに、分割した夫々の細胞器官の領域の中心部を検出するように構成されている。
境界部検出手段2b1は、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体に対して、中心部検出手段2a1が検出した夫々の細胞器官の領域の中心部からその周囲に向けて、第2の輝度の閾値を用いて、該夫々の細胞器官の領域の境界部を検出するように構成されている。
そして、第一実施形態の三次元細胞画像解析装置2では、図4に示すように、図2(b)に示した細胞器官の領域の位置情報を検出するステップ(ステップS21)において、中心部検出手段2a1が、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データを用いて個々の細胞器官の領域の中心部を検出(ステップS210)する。また、図2(b)に示した三次元の細胞器官の領域を構築するステップ(ステップS22)において、境界部検出手段2b1が、中心部検出手段2a1が検出した夫々の細胞器官の領域の中心部のデータを用いて、夫々の細胞器官の領域の境界部を検出する(ステップS221)。これにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域が構築される。
中心部検出手段2a1は、三次元の細胞画像(図5(a))を構成している、Z方向に順に蓄積された夫々の二次元の細胞画像に対して、第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれかの方向に近接する領域同士を同じ種類の細胞器官の領域として検出するとともに、第1の輝度の閾値以上であり、且つ、X,Y,Zのいずれの方向にも近接しない領域同士を異なる種類の細胞器官の領域として検出する。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行い、Z方向に順に蓄積された夫々の二次元の細胞画像において同じ種類の細胞器官として検出した領域の座標の集合体(図5(b))を用いて、三次元の細胞画像における個々の細胞器官の領域の中心部(図5(c))を検出する。
これにより、三次元細胞画像データから個々の細胞器官の領域が絞り込まれる。
これにより、三次元の細胞画像に対して、細胞自体あるいは、核、小器官など種類の異なる夫々の細胞器官の領域の所定の位置情報として、三次元の細胞画像における個々の細胞器官の領域の中心部が抽出される。
図6の例では、中心部検出手段2a1は、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS12)。次いで、抽出画像があるか否かをチェックする(ステップS13)。抽出画像がある場合、抽出した二次元細胞画像における各XY座標の輝度値を第1の輝度の閾値と比較し、第1の輝度の閾値以上のXY座標を抽出する(ステップS14)。次いで、抽出したXY座標のうち、互いに近接するXY座標同士を同じ種類の細胞器官の領域として検出する(ステップS15)。次いで、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS16)。2番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標とで、Z方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する(ステップS17)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS11〜ステップS18)。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体の重心座標を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する(ステップS19)。
図7の例では、中心部検出手段2a1は、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS12')。次いで、抽出画像があるか否かをチェックする(ステップS13')。抽出画像がある場合、抽出した二次元細胞画像における各XY座標の輝度値を所定の局所領域ごとに平均化する(ステップS14')。次いで、抽出した二次元細胞画像における各XY座標の平均化した輝度値を第1の輝度の閾値と比較し、第1の輝度の閾値以上のXY座標を抽出する(ステップS15')。
次いで、抽出したXY座標のうち、互いに近接するXY座標同士を同じ種類の細胞器官の領域として検出する(ステップS16')。次いで、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS17')。2番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標とで、Z方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する(ステップS18')。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS11'〜ステップS19')。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体の重心座標を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する(ステップS20')。
このため、中心部検出手段2a1は、例えば、図8のフローチャートに示すように、三次元の細胞画像に対して所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標領域を、三次元の細胞画像における個々の細胞器官の領域の中心部として検出するように構成するのが好ましい。
図8の例では、中心部検出手段2a1は、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS12")。次いで、抽出画像があるか否かをチェックする(ステップS13")。抽出画像がある場合、抽出した二次元細胞画像における各XY座標の輝度値を所定の局所領域ごとに平均化する(ステップS14")。次いで、抽出した二次元細胞画像における各XY座標の平均化した輝度値を第1の輝度の閾値と比較し、第1の輝度の閾値以上のXY座標を抽出する(ステップS15")。次いで、抽出したXY座標のうち、互いに近接するXY座標同士を同じ種類の細胞器官の領域として検出する(ステップS16")。次いで、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS17")。2番目以降の画像である場合、その一つ前の二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標と、現在抽出している二次元細胞画像において夫々の種類の細胞器官の領域として検出したXY座標とで、Z方向に互いに近接する座標同士を同じ種類の細胞器官の領域として検出する(ステップS18")。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS11"〜ステップS19")。次いで、検出した夫々の種類の細胞器官の領域の座標の集合体に対して所定の局所領域ごとに平均化した輝度値の変化量又は輝度値が極大又は極小となる座標又は座標の集合体を、三次元細胞画像における個々の細胞器官の領域の中心部として検出する(ステップS20")。
即ち、中心部検出手段2a1は、同一の試料を対象として経時的に得られる三次元の細胞画像を解析する場合において、異なる時間に得られた三次元の細胞画像における個々の細胞器官の領域の中心部を既に検出済みであるときに、既に検出済みのいずれかの三次元の細胞画像における個々の細胞器官の領域の中心部を、現在解析対象となっている三次元の細胞画像における個々の細胞器官の領域の中心部として検出するように構成してもよい。
このように構成すれば、時間変化によって、輝度の絶対値は変化しても、細胞器官の領域の大きさや形状を誤認識するおそれを除去することができる。また、細胞器官の領域の中心部の検出は、最初の1回(に要する時間)だけとなるので、全体の処理がさらに高速化する。
第2の輝度の閾値としては、例えば、第1の輝度の閾値と同じ値を用いることができる。
図9の例では、境界部検出手段2b1は、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部のうちの一つの細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS11”’)。次いで、抽出した二次元細胞画像における当該細胞器官の領域の中心部からその周囲に向けて順にXY座標の輝度を第2の輝度の閾値と比較し、第2の輝度の閾値以上であり、且つ、XY方向に連続する座標の領域と、第2の輝度の閾値を下回る座標の領域との境界を二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS12”’)。次いで、Z方向に順に蓄積された二次元細胞画像の集合体において、現在、抽出している二次元細胞画像データに前後して蓄積された二次元細胞画像データを抽出する(ステップS13”’)。次いで、抽出画像があるか否かをチェックする(ステップS14”’)。抽出画像がある場合、現在抽出している二次元細胞画像において、該二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部内のXY座標に対応するXY座標の領域からその周囲に向けて順にXY座標の輝度を第2の輝度の閾値と比較し、第2の輝度の閾値以上であり、且つ、XY方向に連続するとともに、その一部が現在抽出している二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部とZ方向に連続する座標の領域と、現在及び直前に抽出した二次元細胞画像における第2の輝度の閾値を下回る座標の領域との境界を現在抽出している二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS15”’)。次いで、全ての細胞器官の領域の境界部を検出したか否かをチェックする(ステップS16”’)。境界部が未検出の細胞器官の領域が存在する場合、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段が検出した個々の細胞器官の領域の中心部のうちの次の細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS17”’)。以下、全ての細胞器官の領域の境界部を検出するまで、ステップS12”’〜ステップS17”’の処理を繰り返す。
図10の例では、境界部検出手段2b1は、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段2a1が検出した個々の細胞器官の領域の中心部のうちの一つの細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS11””)。次いで、抽出した二次元細胞画像における当該細胞器官の領域の中心部からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量を第2の輝度の閾値としての輝度値の変化量の最大値と比較し、計算した輝度値の変化量が第2の輝度の閾値を下回り、且つ、XY方向に連続する座標の領域と、第2の輝度の閾値以上の座標の領域との境界を、二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS12””)。次いで、Z方向に順に蓄積された二次元細胞画像の集合体において、現在、抽出している二次元細胞画像データに前後して蓄積された二次元細胞画像データを抽出する(ステップS13””)。次いで、抽出画像があるか否かをチェックする(ステップS14””)。抽出画像がある場合、現在抽出している二次元細胞画像において、該二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部内のXY座標に対応するXY座標の領域からその周囲に向けて、1画素ずつ輝度値の変化量を計算し、計算した輝度値の変化量を第2の輝度の閾値としての輝度値の変化量の最大値と比較し、計算した輝度値の変化量が第2の輝度の閾値を下回り、且つ、XY方向に連続するとともに、その一部が現在抽出している二次元細胞画像の直前に検出した二次元細胞画像における当該細胞器官の境界部とZ方向に連続する座標の領域と、現在及び直前に抽出した二次元細胞画像における第2の輝度の閾値を下回る座標の領域との境界を、現在抽出している二次元細胞画像における当該細胞器官の領域の境界部として検出する(ステップS15””)。次いで、全ての細胞器官の領域の境界部を検出したか否かをチェックする(ステップS16””)。境界部が未検出の細胞器官の領域が存在する場合、Z方向に順に蓄積された二次元細胞画像の集合体において、中心部検出手段が検出した個々の細胞器官の領域の中心部のうちの次の細胞器官の領域の中心部に、Z座標が位置する二次元細胞画像データを抽出する(ステップS17””)。以下、全ての細胞器官の領域の境界部を検出するまで、ステップS12””〜ステップS17””の処理を繰り返す。
図11は第一実施形態の変形例にかかる三次元細胞画像解析装置を備えた三次元細胞画像解析システムの全体構成を示すブロック図である。なお、本変形例の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図3に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
特に経時的な解析を行う場合、以前検出した細胞器官の領域の重心を中心部とするなどの方法により、効率よく個々の細胞器官の領域に対する経時的な解析を行うことができる。
細胞画像内に境界部が存在するか否か?(即ち、細胞画像において領域を分割すべきか否か?)という判断は一般的に難しい。これに対し、存在するとわかっている境界部であれば、その領域内において最も輝度差が大きい画素領域等というように境界部を相対的に定義することが可能であるので、比較的容易にその境界部を探し出すことができる。
しかるに、第一実施形態の三次元細胞画像解析装置によれば、あらかじめ個々の細胞器官の領域の中心部を特定するようにしたので、個々の細胞器官の領域が近接している場合におけるこれらの細胞器官の領域の境界部を誤認識するおそれを除去することが可能となる。
図12は本発明の第二実施形態にかかる三次元細胞画像解析装置を用いた三次元細胞画像解析システムの全体構成を示すブロック図、図13は第二実施形態の三次元細胞画像装置における三次元の細胞器官の領域を構築するまでの処理手順を示すフローチャートである。
図14は第二実施形態の三次元細胞画像解析装置において作成する二次元射影データを概念的に示す説明図で、(a)は三次元の細胞画像におけるZ方向に添う断面図、図(b)は本実施形態の二次元射影データ作成手段を用いて、各XY座標に対して最大の輝度値を持つZ座標の集合体を示す射影図である。なお、第二実施形態の三次元細胞画像解析装置を用いた三次元細胞画像解析システムにおける要部以外の構成であって図1に示した三次元細胞画像解析システムと同じ構成については同じ符号を付し、説明は省略する。
三次元細胞画像撮像装置1は、図1に示したものと同様に構成されている。
三次元細胞画像解析装置2’は、コンピュータと、画像解析ソフトウェアを備えて構成されている。
画像解析ソフトウェアは、コンピュータを、位置情報検出手段としての二次元射影データ作成手段2a1’、三次元領域構築手段としての不連続領域特定手段2b1’、 サイズ検出手段2b2’、Z座標平均値算出手段2b3’として機能させるように構成されている。
二次元射影データ作成手段2a1’は、三次元の細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体を用いて各XY座標に対して所定の輝度値を持つZ座標の集合体を示す二次元射影データを作成する。
不連続領域特定手段2b1’は、二次元射影データ作成手段2a1’が作成した二次元射影データにおけるZ座標の集合体において、Z座標の値が互いにXY方向に不連続となる領域を特定する。
サイズ検出手段2b2’は、不連続領域特定手段2b1’が特定した個々の領域のXY方向への広がりを検出する。
Z座標平均値算出手段2b3’は、不連続領域特定手段2b1が特定した個々の領域のZ座標の平均値を算出する。
そして、第二実施形態の三次元細胞画像解析装置2’では、図13に示すように、図2(b)に示した細胞器官の領域の位置情報を検出するステップ(ステップS21)において、二次元射影データ作成手段2a1’が、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データを用いて二次元射影データを作成する(ステップS211’)。また、図2(b)に示した三次元の細胞器官の領域を構築するステップ(ステップS22)において、不連続領域特定手段2b1’が、二次元射影データ作成手段2a1’が作成した二次元射影データを用いて、個々の領域を特定(ステップS221’)し、次いで、サイズ検出手段2b2’が、個々の領域のXY方向への広がりを検出し(ステップS222’)、次いで、座標平均値算出手段2b3’が、個々の領域のZ座標の平均値を算出する(ステップS223’)。これにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域が構築される。
二次元射影データ作成手段2a1’は、Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、検出した輝度値を用いて各XY座標に対して所定の輝度値として最大の輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XYの点に対して最大の輝度値を持つZ座標の集合体を示す二次元射影データを作成する。
図15は三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体から二次元射影データを作成する原理を概念的に示す説明図で、(a)は図14(a)の細胞器官の領域Aの一部の局所領域(領域O)における、Y座標がY5であるときのZX面上での細胞画像の輝度値の一例を示す図、(b)は(a)におけるY座標がY5であるときのZX面上での細胞画像の輝度値の最大値をXY面上に示す図、(c)は(a)におけるY座標がY5であるときのZX面上での細胞画像の輝度値が最大値となるZ座標をXY面上に示す図である。なお、図15(a)における座標上に示される輝度値は、細胞器官Aの領域の外側の輝度値を1として相対的に示してある。また、ここでは便宜上、図15(a)に示されるZ座標に輝度の最大値が存在し、図15(a)に示されていないZ座標には輝度の最大値が存在しないものとする。
図15(a)の例の場合、同一のXY座標上における輝度の最大値は、座標(X1,Y5)においては“1”、座標(X2,Y5)においては“9”、座標(X3,Y5)においては“10”、座標(X4,Y5)においては“10”、座標(X5,Y5)においては“11”、座標(X6,Y5)においては“11”、座標(X7,Y5)においては“11”、座標(X8,Y5)においては“11”、座標(X9,Y5)においては“11”、座標(X10,Y5)においては“11”となっている。
そこで、二次元射影データ作成手段2a1’は、まず、この三次元細胞画像における各XY座標上における輝度の最大値を検出する。
検出した輝度の最大値をXY平面上に示すと図15(b)のようになる。
そこで、二次元射影データ作成手段2a1’は、次いで、この三次元細胞画像における各XY座標上において輝度値が最大となるZ座標を検出する。
検出した輝度値が最大となるZ座標をXY平面上に示すと図15(c)のようになる。
二次元射影データ作成手段は、このようなZ座標の作成を三次元細胞画像における全てのXY座標に対して行う。これにより、各XYの点に対して最大の輝度値を持つZ座標の
集合体を示す二次元射影データが作成される。
図16の例では、二次元射影データ作成手段2a1'は、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22)。次いで、抽出画像があるか否かをチェックする(ステップS23)。抽出画像がある場合、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS24)。現在抽出している二次元細胞画像が1番目の画像である場合、二次元細胞画像における各XY座標の輝度値及びZ座標を、射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットし(ステップS26)、次の二次元細胞画像データを対象として(ステップS27)、ステップS22〜ステップS24の処理を繰り返す。現在抽出している二次元細胞画像が2番目以降の画像である場合、現在抽出している二次元細胞画像における各XY座標の輝度値と、現時点で射影データ候補領域にセットされている、各XY座標における輝度値とを比較する。そして、現在抽出している二次元細胞画像における各XY座標の輝度値の方が大きい場合、そのXY座標の輝度値及びZ座標を射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットする(ステップS25)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21〜ステップS27)。次いで、射影データ候補領域にセットされている各XY座標上でのZ座標を用いて、各XY座標上に最大の輝度値を持つZ座標の集合体を示す二次元射影データを作成する(ステップS28)。
上述したように、図14は、細胞のZ方向の断面図(図14(a))と、各XY座標にお
いてZ方向に最大の輝度値を持つZ座標の位置をXY面上に射影した図(図14(b))を示している。
ここで、図14(b)に示す射影画像上のa,b,cの領域は、図14(a)に示すZ方向の断面図の特定領域A,B,Cにおける最大の輝度値を持つZ座標を射影したものである。また、図14(b)は、これらa,b,cの領域を取り囲むように細胞膜の領域dを示している。
これにより、個々の細胞器官のおおよその高さ位置を知ることができる。
すなわち、XY平面上に射影されたZ座標値を解析することで、特定小器官の存在する
おおよその領域を特定することが可能となり、この情報をもとに各領域の三次元領域の特定が可能となる。
これに対し、第二実施形態の細胞画像解析装置によれば、二次元射影データにおいて、あらかじめ細胞器官の領域のXY方向の範囲がほぼ特定できるので、このXY領域を参照
することによって細胞器官の領域を正確な大きさに特定した状態で、三次元の細胞器官の領域の構築が可能となる。
例えば、二次元射影データ作成手段2a1’は、図17のフローチャートに示すように、Z方向に順に蓄積された全ての二次元の細胞画像における輝度値を検出し、各XY座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つZ座標の集合体を示す二次元射影データを作成するようにしてもよい。
図17の例では、二次元射影データ作成手段2a1'は、三次元細胞画像データをなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体からZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22')。次いで、抽出画像があるか否かをチェックする(ステップS23')。抽出画像がある場合、現在抽出している二次元細胞画像が2番目以降の画像であるか否かをチェックする(ステップS24')。現在抽出している二次元細胞画像が1番目の画像である場合、二次元細胞画像における各XY座標の輝度値及びZ座標を、射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットし(ステップS26')、次の二次元細胞画像データを対象として(ステップS27')、ステップS22'〜ステップS24'の処理を繰り返す。現在抽出している二次元細胞画像が2番目以降の画像である場合、現在抽出している二次元細胞画像における各XY座標の輝度値と、現時点で射影データ候補領域にセットされている、各XY座標における輝度値とを、予め設定された任意の輝度値との近さの点で比較する。そして、現在抽出している二次元細胞画像における各XY座標の輝度値の方がこの任意の輝度値に近い場合、そのXY座標の輝度値及びZ座標を射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットする(ステップS25')。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21'〜ステップS27')。次いで、射影データ候補領域にセットされている各XY座標上でのZ座標を用いて、各XY座標上に任意の輝度値に最も近い輝度値を持つZ座標の集合体を示す二次元射影データを作成する(ステップS28')。
図18の例では、二次元射影データ作成手段2a1’は、三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22”)。次いで、抽出画像があるか否かをチェックする(ステップS23”)。抽出画像がある場合、現在抽出している二次元細胞画像における各XY座標の輝度値を、予め設定された任意の輝度値と比較する。そして、任意の輝度値以上の輝度値を持つXY座標の輝度値及びZ座標を、射影データ候補領域において対応するXY座標の輝度値及びZ座標の格納領域にセットする(ステップS24”)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行うことで、少なくとも一つのZ座標群を取得する(ステップS21”〜ステップS25”)。次いで、射影データ候補領域にセットされている各XY座標上での各Z座標群のうちの中心となる(代表的な)Z座標を抽出し、抽出したZ座標を用いて、各XY座標上に任意の輝度値以上の輝度値を持つ各Z座標群のうちの中心となる(代表的な)Z座標の集合体を示す二次元射影データを作成する(ステップS26”)。
図19の例では、二次元射影データ作成手段2a1’は、図18の例におけるステップS21”〜ステップS26”と同様の処理(ステップS21”’〜ステップS26”’)を行い二次元射影データを作成し、次いで、Z座標の集合体の個数を二次元射影データに付加する(ステップS27”’)。
図20は図19の例の二次元射影データ作成手段2a1’の処理を模式的に示す説明図で、(a)は三次元細胞画像においてZ方向に2つの細胞器官の領域が重なった状態を示すZ方向に沿う断面図、(b)は(a)の三次元細胞画像をなす、Z方向に順に蓄積された複数の二次元の細胞画像の集合体からZ座標の集合体を示す二次元射影データを作成した状態を示す説明図、(c)は(a)の三次元細胞画像における重なった2つの細胞器官の領域に対し同一の所定のXY座標を示す図、(d)は(c)に示すXY座標上で一定の輝度値以上の輝度値が得られたZ座標群を抽出した状態を示す図、(e)は(d)に示す各Z座標群のうちの中心となるZ座標の集合体の個数を示す二次元射影データを示す図である。
二次元射影データを用いて細胞器官の領域を構築する構成においては、細胞画像中の細胞器官の領域がZ方向に重なった場合の処理が問題となる。
また、図21(d)の例(例2)は、細胞器官の領域A,細胞器官の領域Bよりも大きさが小さく、かつ、XY座標上で細胞器官の領域Aの一部が細胞器官の領域Bの外部に位置する場合において、輝度値が最大となるZ座標の集合体a,bを射影データとして作成したときの状態を示している。
図21における例1はあるいは例2の場合は、作成された二次元射影データを用いて三次元の細胞器官を解析可能である。これらの例1,例2では、領域aと領域bとではZ座標の値が大きく異なるため、不連続領域特定手段2b1’を介して二次元射影データにおける個々の領域を検出することが可能である。これにより、これらの二次元射影データから、三次元の個々の細胞器官の領域A,Bの構築を行うことができる。
まず、図19に示す例の二次元射影データ作成手段2a1’を用いて作成した二次元射影データのうち、図20(b)に示すような、所定の輝度値以上の値を持つZ座標の集合体のうちの1つの集合体aを示す二次元射影データを用いて、不連続領域特定手段2b1’、サイズ検出手段2b2’、Z座標平均値算出手段2b3’を介して、図20(a)に示す2つの細胞器官の領域A,A’のうち、一方(例えば、図20(a)の下側)の細胞器官の領域Aを構築する。
また、図20の例においては、図19の例の二次元射影データ作成手段2a1’は、Z座標の集合体の個数として2を示す、別の射影データを作成している。Z座標の集合体の個数が2であるということは、図20(b)に二次元射影データで示される細胞器官の領域Aの上方(又は下方)に別の細胞器官の領域A’が存在していることになる。そこで、不連続領域特定手段2b1’、サイズ検出手段2b2’、Z座標平均値算出手段2b3’は、例えば、既に三次元の細胞器官の領域Aとして構築した領域のZ座標の上限(又は下限)よりも上方(又は下方)の三次元の細胞画像の領域を範囲として、XY座標に対して、例えば、輝度の最大値となるZ座標の集合体を射影データとして検出する。検出したZ座標の集合体を用いることで、上方(又は下方)の三次元の細胞器官の領域A’も構築することができる。
本例では、二次元射影データ作成手段2a1’は、まず、図22に示すように、三次元細胞画像データからZ方向に蓄積されている二次元細胞画像データを抽出する(ステップS22””)。次いで、抽出画像があるか否かをチェックする(ステップS23””)。抽出画像がある場合、現在抽出している二次元細胞画像における各XY座標の輝度値を、予め設定された任意の輝度値と比較する。そして、任意の輝度値以上の輝度値を持つZ座標を、XY座標ごとに設けられているZ座標の格納領域における当該XY座標に対応する領域にセットする(ステップS24””)。そして、これらの処理をZ方向に順に蓄積されたすべての二次元の細胞画像に対して行う(ステップS21””〜ステップS25””)。
図25の例では、二次元射影データ作成手段は、図23の例におけるステップS26””〜ステップS41””と同様の処理(ステップS26””’〜ステップS41””’)を行い、行い二次元射影データを作成し、次いで、Z座標の集合体の個数を二次元射影データに付加する(ステップS42””’)。
1a 観察光学系
1b 撮像素子
2 三次元細胞画像解析装置
2a 位置情報検出手段
2a1 中心部検出手段
2a1’ 二次元射影データ作成手段
2b 三次元領域構築手段
2b1 境界部検出手段
2b1’ 不連続領域特定手段
2b2’ サイズ検出手段
2b3’ Z座標平均値算出手段
2c 特徴量抽出手段
2d 領域分類手段
2e 定量・出力手段
Claims (7)
- 三次元細胞画像解析システムにおいて、コンフォーカル蛍光顕微鏡で構成された三次元細胞画像撮像装置とともに備えられ、該三次元細胞画像撮像装置を用いて、試料に対する合焦位置をZ方向に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することにより、試料の合焦位置がZ方向に所定ピッチで連続的に異なった状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する、コンピュータを備えた三次元細胞画像解析装置であって、
前記コンピュータを、
前記三次元の細胞画像をなす、前記Z方向に順に蓄積された複数の二次元の細胞画像の集合体を用いて、各XY座標に対して所定の輝度値を持つZ座標の集合体を示す二次元射影データを作成する二次元射影データ作成手段、
前記二次元射影データ作成手段が作成した二次元射影データにおけるZ座標の集合体において、Z座標の値が互いにXY方向に不連続となる領域を特定する不連続領域特定手段、
前記不連続領域特定手段が特定した個々の領域のXY方向への広がりを検出するサイズ検出手段、
前記不連続領域特定手段が特定した個々の領域のZ座標の平均値を算出するZ座標平均値算出手段、
として機能させる画像解析ソフトウェアを有し、
前記二次元射影データ作成手段が作成した二次元射影データを用いて、前記不連続領域特定手段が前記個々の領域を特定し、前記サイズ検出手段及び前記Z座標平均値算出手段が前記個々の領域のXY方向への広がりとZ座標の平均値を算出することにより、細胞自体あるいは、核、小器官などの三次元の細胞器官の領域を構築することを特徴とする三次元細胞画像解析装置。 - 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、検出した輝度値を用いて、各XY座標に対して前記所定の輝度値として最大の輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XYの点に対して最大の輝度値を持つZ座標の集合体を示す二次元射影データを作成することを特徴とする請求項1に記載の三次元細胞画像解析装置。
- 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、検出した輝度値を用いて、各XY座標に対して前記所定の輝度値として任意の輝度値に最も近い輝度値を持つZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して任意の輝度値に最も近い輝度値を持つZ座標の集合体を示す二次元射影データを作成することを特徴とする請求項1に記載の三次元細胞画像解析装置。
- 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、検出した輝度値を用いて、各XY座標に対して前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのZ座標群を取得し、各XY座標に対して取得した各Z座標群のうちの中心となるZ座標を抽出し、抽出した中心となるZ座標を用いて、各XY座標に対して任意の輝度値以上の輝度値を持つ各Z座標群のうちの中心となるZ座標の集合体を示す二次元射影データを作成することを特徴とする請求項1に記載の三次元細胞画像解析装置。
- 前記二次元射影データ作成手段は、前記各XY座標に対して任意の輝度値以上の輝度値を持つ各Z座標群のうちの中心となるZ座標の集合体の個数を、前記各XY座標に対して任意の輝度値以上の輝度値を持つ各Z座標群のうちの中心となるZ座標の集合体を示す二次元射影データに付加することを特徴とする請求項4に記載の三次元細胞画像解析装置。
- 前記二次元射影データ作成手段は、前記Z方向に順に蓄積された全ての二次元の細胞画像の輝度値を検出し、前記所定の輝度値として任意の輝度値以上の輝度値を持つ少なくとも一つのZ座標を取得し、取得したZ座標の範囲において各XY座標に対してZ方向に対する輝度値の変化量を算出し、算出した輝度値の変化量が極小又は極大となるZ座標を抽出し、抽出したZ座標を用いて、各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示す二次元射影データを作成することを特徴とする請求項1に記載の三次元細胞画像解析装置。
- 前記二次元射影データ作成手段は、前記各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体の個数を、前記各XY座標に対して輝度値の変化量が極小又は極大となるZ座標の集合体を示す二次元射影データに付加することを特徴とする請求項6に記載の三次元細胞画像解析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009192049A JP5513038B2 (ja) | 2009-08-21 | 2009-08-21 | 三次元細胞画像解析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009192049A JP5513038B2 (ja) | 2009-08-21 | 2009-08-21 | 三次元細胞画像解析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011044016A JP2011044016A (ja) | 2011-03-03 |
JP5513038B2 true JP5513038B2 (ja) | 2014-06-04 |
Family
ID=43831403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009192049A Active JP5513038B2 (ja) | 2009-08-21 | 2009-08-21 | 三次元細胞画像解析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5513038B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9086378B2 (en) * | 2012-09-06 | 2015-07-21 | Olympus Corporation | Method of analyzing image of cell in laminated structure and method of evaluating laminated structure for corneal transplantation |
JP2016146752A (ja) * | 2015-01-23 | 2016-08-18 | 株式会社イッコーズ | ハイコンテントアナリシス及びスクリーニングのための高呼吸性環境での3次元細胞培養モデルの生成方法 |
JP6622007B2 (ja) * | 2015-05-29 | 2019-12-18 | オリンパス株式会社 | 細胞評価方法 |
JP6971758B2 (ja) * | 2017-10-10 | 2021-11-24 | オリンパス株式会社 | 観察システム |
JP7085909B2 (ja) * | 2018-06-14 | 2022-06-17 | オリンパス株式会社 | 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム |
JP7420346B2 (ja) * | 2019-01-09 | 2024-01-23 | 国立大学法人九州大学 | 三次元形状情報生成装置、細胞判定システム |
CN115969144B (zh) * | 2023-01-09 | 2024-09-13 | 东莞市智睿智能科技有限公司 | 一种鞋底喷胶轨迹生成方法、系统、设备及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06261894A (ja) * | 1993-01-18 | 1994-09-20 | Hitachi Ltd | 骨塩定量方法 |
DE69429952T2 (de) * | 1993-07-22 | 2002-10-24 | Koninklijke Philips Electronics N.V., Eindhoven | Bildverarbeitungsverfahren und Vorrichtung zur Durchführung dieses Verfahrens |
JPH08272993A (ja) * | 1995-03-31 | 1996-10-18 | Hitachi Electron Service Co Ltd | 図形オブジェクトの深さ制御方法および深さ表示方法 |
EP1339017A4 (en) * | 2000-12-01 | 2007-08-29 | Japan Science & Tech Corp | METHOD FOR DETERMINING NUCLEAR ZONES AND METHOD FOR ESTABLISHING NUCLEAR GENEALOGY |
JP3990147B2 (ja) * | 2001-12-17 | 2007-10-10 | 富士通株式会社 | 投影制御処理装置およびコンピュータプログラム |
JP4982091B2 (ja) * | 2006-02-28 | 2012-07-25 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 放射線断層撮影装置 |
JP4997255B2 (ja) * | 2009-01-05 | 2012-08-08 | オリンパス株式会社 | 細胞画像解析装置 |
-
2009
- 2009-08-21 JP JP2009192049A patent/JP5513038B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011044016A (ja) | 2011-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5513038B2 (ja) | 三次元細胞画像解析装置 | |
US8350905B2 (en) | Microscope system, image generating method, and program for practicing the same | |
JP6594294B2 (ja) | 顕微鏡画像の画像品質評価 | |
AU2011357735B2 (en) | Fast auto-focus in microscopic imaging | |
JP6160187B2 (ja) | 分析装置、分析プログラム及び分析システム | |
JP2018180635A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5549345B2 (ja) | 画像収集装置に用いる天空検出装置及び方法 | |
JP5996334B2 (ja) | 顕微鏡システム、標本画像生成方法及びプログラム | |
US20120249770A1 (en) | Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing | |
US20190137394A1 (en) | Image processing apparatus and method of operating image processing apparatus | |
CN115060367B (zh) | 基于显微高光谱成像平台的全玻片数据立方体采集方法 | |
CN111462075A (zh) | 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统 | |
CN114663446A (zh) | 三维显微镜图像的分割的系统和方法 | |
CN117745684A (zh) | 一种基于改进型YOLOv7算法的PCB缺陷检测方法和系统 | |
WO2024088621A1 (en) | Method, processor unit and system for processing of images | |
JP5530126B2 (ja) | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 | |
US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium | |
Shuvo et al. | Multi-focus image fusion for confocal microscopy using u-net regression map | |
JP2014063019A (ja) | 撮影解析装置、その制御方法及び撮影解析装置用のプログラム | |
JP2006208339A (ja) | 領域抽出装置、顕微鏡システムおよび領域抽出プログラム | |
JP2014157158A (ja) | 細胞観察方法、三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 | |
US20220262144A1 (en) | Image processing apparatus supporting observation of object using microscope, control method therefor, and storage medium storing control program therefor | |
JP3488762B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2014142213A (ja) | 撮影パラメータ決定装置及びその制御方法 | |
CN115598822B (zh) | 智能多维度显微图像采集与处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130731 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130731 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131204 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140327 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |