JP7075773B2 - 画像処理装置、顕微鏡システム、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、顕微鏡システム、画像処理方法および画像処理プログラムに関するものである。

従来、取得された画像データを処理して、注目画素が背景色領域候補の画素であるか否かを判定し、背景色領域候補の画素の内から絵柄領域の近傍領域を除外して、注目画素が背景領域に属するか否かを判定し、背景領域に属すると判定された注目画素の画素値を一定の背景色画素値へ置換する画像処理方法が知られている（例えば、特許文献１参照。）。

特開２０１１－９０４７５号公報

しかしながら、特許文献１の画像処理方法では、背景色領域候補であるか否かを判定するために、外部から指定された画素値、背景と推定される領域の一部の画素の平均値あるいは画像の縁に相当する画素の画素値を用いるとのみ記載されており、明確ではない。また、観察対象が存在する領域（絵柄領域）に対しては、基本的に背景色画素値への置換処理を行わないため、絵柄領域であるか否かの判定を行う必要があって処理に時間がかかるという不都合がある。

本発明は、上述した事情に鑑みて成されたものであって、背景色に置換可能な画素の判定を容易にして、観察対象の存在の有無に関わらず、迅速に処理することができる画像処理装置、顕微鏡システム、画像処理方法および画像処理プログラムを提供することを目的としている。

本発明の一態様は、画像に含まれる複数の画素の画素値のヒストグラムを生成する画素値ヒストグラム生成部と、該画素値ヒストグラム生成部により生成されたヒストグラムのピーク値を用いて背景画素値を設定する背景画素値設定部と、該背景画素値設定部により設定された前記背景画素値のノイズ範囲を設定するノイズ範囲設定部と、該ノイズ範囲設定部により設定された前記ノイズ範囲に存在する画素値を任意の単一の画素値に置換する画素値置換部とを備え、前記ノイズ範囲設定部が、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する画像処理装置である。

本態様によれば、取得された画像が画素値ヒストグラム生成部に入力され、画像を構成している複数の画素の画素値のヒストグラムが生成される。生成されたヒストグラムは背景画素値設定部に入力されることによりピーク値が検出され、検出されたピーク値が背景画素値として設定される。また、ノイズ範囲設定部により背景画素値のノイズ範囲が設定され、画素値置換部においてノイズ範囲に存在する画素値が任意の単一の画素値に置換される。

すなわち、本態様によれば、背景色の中に観察対象が点在するような画像を処理する場合に、画像の背景色を表す背景画素値が、画像内に最も多く存在する画素値であることを明確にすることで、背景画素値のノイズ範囲内で変動する画素値を有する画素を背景色に置換可能な画素として容易に判定することができる。そして、そのような画像を任意の単一の画素値に置換することで、高い比率で圧縮可能な画像を生成することができる。

この場合において、背景色に置換可能な画素を背景画素値のノイズ範囲内の画素値を有することのみを条件に選択するので、観察対象であるか否かの判定を行う必要がなく、処理に要する時間を大幅に短縮することができる。

上記態様においては、任意の単一の前記画素値が、前記背景画素値設定部により設定された前記背景画素値であってもよい。
また、上記態様の参考例においては、前記ノイズ範囲設定部が、ノイズ統計量に基づいて前記ノイズ範囲を設定してもよい。
このようにすることで、背景画素値に対するノイズ範囲をノイズ統計量に基づいて簡易に設定することができる。ノイズ統計量は例えば、画像を取得したカメラが既知である場合には、カメラのノイズ標準偏差により設定してもよいし、標本なしの画像の輝度の標準偏差から求めてもよい。

また、上記態様においては、前記ノイズ範囲設定部が、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する。
このようにすることで、画素値の最大値および最小値と予め設定されている所定比率とによって簡易にノイズ範囲を設定することができる。

また、上記態様においては、２以上の前記画像が入力され、前記背景画素値設定部が、全ての前記画像に共通の前記背景画素値を設定してもよい。
このようにすることで、視野範囲をずらして取得した２以上の画像を並べて高解像広視野範囲の画像を生成するタイリングや、時間間隔をあけて取得した２以上の画像を時系列に観察するタイムラプス観察のように、２以上の画像を対比して使用する場合に、背景の明るさやコントラスト等を一致させ、観察し易さを向上することができる。

この場合において、２以上の画像において共通の背景画素値に設定する方法としては、１の画像において設定した背景画素値を他の画像にも用いることにしてもよいし、各画像において設定した背景画素値の平均値あるいは中央値を全ての画像に用いることにしてもよい。また、背景画素値の共通化は、各画像における背景画素値への置き換えの前後のいずれに行ってもよい。

また、上記態様においては、前記画像に対しシェーディング補正を行うシェーディング補正部を備え、前記画素値ヒストグラム生成部が、前記シェーディング補正部によりシェーディング補正された前記画像の前記画素値のヒストグラムを生成してもよい。
このようにすることで、画像を取得するための光学系や撮像系の特性に依存して輝度ムラが発生している場合にシェーディング補正を施して背景色を一様に補正してからヒストグラムを生成することにより、背景画素値への置き換えを精度よく行うことができる。

また、上記態様においては、前記画像は、生体試料を撮影して取得された画像であってもよい。
また、上記態様においては、前記画像は、明視野、暗視野、位相差、微分干渉、蛍光およびホフマンコントラストの少なくとも１つの観察方法によって取得された画像であってもよい。

このようにすることで、単一色の背景の中に生体試料等の観察対象が点在する画像を処理して、高い比率で圧縮可能な画像を迅速に生成することができる。タイリングやタイムラプス観察のように多数の画像を記憶することが必要な用途において、各画像を高い比率で圧縮して記憶容量の大幅な低減を図ることができる。

また、本発明の他の態様は、上記いずれかの画像処理装置を備えた顕微鏡システムである。
また、本発明の他の態様は、画像に含まれる複数の画素の画素値のヒストグラムを生成する画素値ヒストグラム生成ステップと、該画素値ヒストグラム生成ステップにより生成されたヒストグラムのピーク値を用いて背景画素値を設定する背景画素値設定ステップと、該背景画素値設定ステップにより設定された前記背景画素値のノイズ範囲を設定するノイズ範囲設定ステップと、該ノイズ範囲設定ステップにより設定された前記ノイズ範囲に存在する画素値を任意の単一の画素値に置換する画素値置換ステップとを含み、前記ノイズ範囲設定ステップが、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する画像処理方法である。

上記態様においては、任意の単一の前記画素値が、前記背景画素値設定ステップにより設定された前記背景画素値であってもよい。
また、上記態様においては、前記画像に対しシェーディング補正を行うシェーディング補正ステップを含み、前記画素値ヒストグラム生成ステップが、前記シェーディング補正ステップによりシェーディング補正された前記画像の画素値のヒストグラムを生成してもよい。

また、本発明の他の態様は、画像に含まれる複数の画素の画素値のヒストグラムを生成する画素値ヒストグラム生成ステップと、該画素値ヒストグラム生成ステップにより生成されたヒストグラムのピーク値を用いて背景画素値を設定する背景画素値設定ステップと、該背景画素値設定ステップにより設定された前記背景画素値のノイズ範囲を設定するノイズ範囲設定ステップと、該ノイズ範囲設定ステップにより設定された前記ノイズ範囲に存在する任意の単一の画素値に置換する画素値置換ステップとをコンピュータに実行させ、前記ノイズ範囲設定ステップが、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する画像処理プログラムである。

上記態様においては、任意の単一の前記画素値が、前記背景画素値設定ステップにより設定された前記背景画素値であってもよい。
また、上記態様においては、前記画素値ヒストグラム生成ステップの前に、前記画像に対しシェーディング補正を行うシェーディング補正ステップをコンピュータに実行させてもよい。

本発明によれば、背景色に置換可能な画素の判定を容易にして、観察対象の存在の有無に関わらず、迅速に処理することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムに備えられる画像処理装置の画素値ヒストグラム生成部により生成されるヒストグラムの一例を示す模式図である。 図２のヒストグラムにおける背景画素値を基準としたノイズ範囲の画素値を背景画素値に置き換えた状態のヒストグラムを示す模式図である。 図１の顕微鏡システムの画像処理装置による本発明の一実施形態に係る画像処理方法を説明するフローチャートである。 図１の画像処理装置の変形例を示すブロック図である。 図５の画像処理装置による画像処理方法を説明するフローチャートである。 図１の顕微鏡システムにより蛍光画像が取得された場合に画像処理装置の画素値ヒストグラム生成部により生成されるヒストグラムの一例を示す模式図である。 図７のヒストグラムにおける背景画素値を基準としたノイズ範囲の画素値を背景画素値に置き換えた状態のヒストグラムを示す模式図である。 図７のヒストグラムにおける背景画素値を基準とし下限をゼロとしたノイズ範囲の画素値を背景画素値に置き換えた状態のヒストグラムを示す模式図である。

本発明の一実施形態に係る画像処理装置３および顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、顕微鏡本体２と、本実施形態に係る画像処理装置３とを備えている。

画像処理装置３は、顕微鏡本体２により取得された画像（入力画像）を処理する装置であって、入力画像の全画素の画素値Ｉのヒストグラムを生成する画素値ヒストグラム生成部４と、生成されたヒストグラムに基づいて背景画素値Ａを設定する背景画素値設定部５と、設定された背景画素値Ａに基づいてノイズ範囲Ｂを設定するノイズ範囲設定部６と、設定されたノイズ範囲Ａ±Ｂ内の画素の画素値Ｉを背景画素値Ａに置換して出力画像を出力する画素値置換部７とを備えている。

画像は、例えば、細胞等の生体試料を撮影して取得された画像であり、明視野、暗視野、位相差、微分干渉、蛍光およびホフマンコントラストの少なくとも１つの観察方法によって取得された画像である。

画素値ヒストグラム生成部４は、例えば、画素値Ｉと頻度とを座標とした図２に示されるヒストグラムを生成するようになっている。
背景画素値設定部５は、図２のヒストグラムにおいて、頻度が最も高い（ヒストグラムがピーク値をとる）画素値Ｉを背景画素値Ａとして設定するようになっている。

ノイズ範囲設定部６は、画像における画素値Ｉの最大値Ｉ_ＭＡＸと最小値Ｉ_ＭＩＮとを抽出し、その差分ΔＩ＝（Ｉ_ＭＡＸ－Ｉ_ＭＩＮ）を算出するとともに、算出された差分ΔＩに所定の比率αを乗算することによりＢ＝ΔＩ・αを算出するようになっている。比率αは、例えば０．０３である。

画素値置換部７は、画像の全画素の画素値Ｉの内、背景画素値設定部５により設定された背景画素値Ａを基準としたノイズ範囲Ａ±Ｂ内に存在する画素値Ｉを全て背景画素値Ａに置換するようになっている。これにより、ヒストグラムは、図３に示されるように、背景画素値Ａの頻度が増大し、その両側に隣接するノイズ範囲Ａ±Ｂの画素値Ｉの頻度がゼロとなった画像が生成されるようになっている。

このように構成された本実施形態に係る画像処理装置３を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理方法は、図４に示されるように、顕微鏡等により取得された入力画像が入力されてくると、入力画像に対して画素値ヒストグラム生成部４により、ヒストグラムが生成される（画素値ヒストグラム生成ステップＳ１）。

次いで、画素値ヒストグラム生成ステップＳ１において生成されたヒストグラムが背景画素値設定部５に入力され、頻度が最も高くなる画素値Ｉが背景画素値Ａとして設定される（背景画素値設定ステップＳ２）。
そして、ノイズ範囲設定部６において、入力画像内の画素値Ｉの最大値Ｉ_ＭＡＸと最小値Ｉ_ＭＩＮとが抽出され、差分ΔＩが算出されるとともに、予め設定されている比率αが乗算されてノイズ範囲Ｂが算出される（ノイズ範囲設定ステップＳ３）。

この後に、画素値置換部７により、入力画像内の全画素の内、背景画素値Ａを基準としたノイズ範囲Ａ±Ｂ内に存在する画素値Ｉが全て背景画素値Ａに置換された出力画像が生成される（画素値置換ステップＳ４）。

顕微鏡等により取得された入力画像内のほぼ単一色の背景は、背景画素値Ａを中心に微小に変動している。そして、この背景画素値Ａ近辺の画素値Ｉを有する画素は、画像内に最も多く存在するにも関わらず、観察のためのデータとしての価値をほとんど持たない。
本実施形態に係る画像処理装置３、顕微鏡システム１および画像処理方法によれば、このように変動している所定のノイズ範囲Ａ±Ｂ内の画素値Ｉを同じ背景画素値Ａに置き換えることにより、見た目の画像内の背景色をほぼ変更することなく一様な背景色とすることができる。そして、画素値Ｉとして同じ値が隣接する領域は、データを圧縮する際に高い圧縮率で圧縮することができる。

したがって、本実施形態に係る画像処理装置３、顕微鏡システム１および画像処理方法によれば、背景画素値Ａを中心に微小に変動する背景色を有する画像を処理して、一様な背景画素値Ａの背景色を有する出力画像を生成することにより、高い圧縮率で圧縮可能な出力画像を取得することができるという利点がある。

この場合において、本実施形態によれば、従来のように、予め背景画素値Ａを入力する必要がなく、ヒストグラムから求めた頻度が最も高くなる画素値を背景画素値Ａとするので、照明条件や標本のコントラストが変化しても必要な信号が置き換えられてしまうことがない。また、従来のように画像の縁部の画素の画素値Ｉを背景画素値Ａとして参照することもないので、背景画素値Ａを精度よく検出することができる。特に、入力画像が生体試料を撮影して得られた画像である場合、入力画像の隅にも生体試料が存在する場合や、生体試料が時間経過とともに増殖して背景が減少していく場合であっても、精度よく背景画素値Ａを検出することができる。

また、本実施形態に係る画像処理装置３、顕微鏡システム１および画像処理方法によれば、従来のように観察対象であるか否かの判定を行う必要がなく、迅速に処理することができるという利点もある。

なお、本実施形態においては、ノイズ範囲Ｂとして予め設定された画素値Ｉの最大値Ｉ_ＭＡＸと最小値Ｉ_ＭＩＮとの差分ΔＩと比率αとを用いて算出したが、これに代えて、ノイズ統計量に基づいて設定することにしてもよい。例えば、撮影に使用されたカメラの仕様が分かっている場合に、当該カメラに固有のノイズ標準偏差σを用いて、背景画素値Ａを基準としたノイズ範囲Ａ±ｋσ（例えば、ｋ＝３）を設定することにしてもよい。

また、本実施形態においては、図５に示されるように、入力画像のシェーディングを補正するシェーディング補正部８をさらに備えていてもよい。
この場合に、図６に示されるように、シェーディング補正部８が、入力画像に対してシェーディング補正が必要か否かを判定し（ステップＳ１０）、必要であると判定された場合には、シェーディング補正を入力画像に施し（シェーディング補正ステップＳ１１）、必要でないと判定された場合には、入力画像をそのまま画素値ヒストグラム生成部４に入力すればよい。

そして、画素値ヒストグラム生成部４は、シェーディング補正部８から送られてきたシェーディング補正後の入力画像またはシェーディング補正がなされていない入力画像に対して画素値Ｉのヒストグラムを生成すればよい。
このようにすることで、入力画像にシェーディングが発生している場合には、これを補整することで、その後に行われる画素値ヒストグラム生成ステップＳ１において、背景画素値Ａを正しく表すヒストグラムを精度よく生成することができるという利点がある。

また、ノイズ範囲Ｂを設定する場合に、図６に示されるように、ノイズ統計量が既知であるか否かを判定し（ステップＳ１２）、既知である場合にはノイズ統計量を使用し（ステップＳ１３）、既知でない場合には、画素値Ｉの最大値Ｉ_ＭＡＸと最小値Ｉ_ＭＩＮとの差分からノイズ範囲Ｂを算出することにしてもよい（ステップＳ１４）。

また、カメラの視野範囲を移動させながら複数の画像を取得した後に、移動量に応じて画像をずらして貼り合わせるタイリングを行う場合や、時間間隔をあけて複数取得した画像を時系列に順次表示して観察を行うタイムラプス観察の場合のように、複数枚の画像を用いて観察を行う用途では、画像間において背景画素値Ａおよびノイズ範囲Ｂを共通化することが好ましい。

この場合には、いずれかの画像について算出された背景画素値Ａおよびノイズ範囲Ｂを全ての画像に対して使用する場合の他、各画像について算出した背景画素値Ａおよびノイズ範囲Ｂの平均値または中央値を共通の背景画素値Ａおよびノイズ範囲Ｂとして用いることにしてもよい。これにより、画像間の明るさの変動を防止して、観察し易さを向上することができる。
背景画素値Ａの共通化は、各画像における背景画素値Ａへの置き換えの前後のいずれに行ってもよい。

また、本実施形態においては、顕微鏡等により生体試料を撮影した画像を例示したが、これに限定されるものではなく、他の任意の被写体を撮影した画像に適用することにしてもよい。
また、図２および図３においては、画素値Ｉの中間位置に背景画素値Ａが存在する場合を例示した。これは、例えば、位相差観察の場合である。

これに対して、蛍光観察は、背景色がほぼ黒色であり、ヒストグラムは図７のようになる。この場合に、上記と同様にして、図８に示されるように、画素値Ｉを置き換えることにしてもよいし、図９に示されるように、ノイズ範囲Ｂの下限についてはゼロに設定して、ゼロからＡ＋Ｂの範囲まで、背景画素値Ａに置換することにしてもよい。これにより、微小なノイズもなくしてより鮮明な出力画像を得ることができる。

また、本実施形態においては、背景画素値Ａを基準としたノイズ範囲Ａ±Ｂの画素値Ｉを全て背景画素値Ａに置き換えることとしたが、これに代えて、観察対象の画素値Ｉとは明確に異なる他の画素値Ｉ（任意の単一の画素値）、例えば、ゼロに置き換えることにしてもよい。

また、本実施形態に係る画像処理方法は、回路からなる画像処理装置３によって実行される場合の他、コンピュータにより実行可能な画像処理プログラムによっても実施することができる。この場合、画像処理装置３は、ＣＰＵのようなプロセッサ、ＲＡＭ等の主記憶装置、上記処理の全てまたは一部を実現させるための画像処理プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体を備える。記憶媒体は、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または半導体メモリ等である。記憶媒体から主記憶装置に画像処理プログラムが読み出され、画像処理プログラムに従ってプロセッサが情報の加工や演算処理を実行することにより、上述の画像処理装置３と同様の処理が実現される。

１ 顕微鏡システム
３ 画像処理装置
４ 画素値ヒストグラム生成部
５ 背景画素値設定部
６ ノイズ範囲設定部
７ 画素値置換部
８ シェーディング補正部
Ａ 背景画素値
Ｂ，Ａ±Ｂ，Ａ±ｋσ ノイズ範囲
Ｉ 画素値
Ｉ_ＭＡＸ 最大値
Ｉ_ＭＩＮ 最小値
Ｓ１ 画素値ヒストグラム生成ステップ
Ｓ２ 背景画素値設定ステップ
Ｓ３ ノイズ範囲設定ステップ
Ｓ４ 画素値置換ステップ
Ｓ１１ シェーディング補正ステップ

Claims (13)

1. 画像に含まれる複数の画素の画素値のヒストグラムを生成する画素値ヒストグラム生成部と、
   該画素値ヒストグラム生成部により生成されたヒストグラムのピーク値を用いて背景画素値を設定する背景画素値設定部と、
   該背景画素値設定部により設定された前記背景画素値のノイズ範囲を設定するノイズ範囲設定部と、
   該ノイズ範囲設定部により設定された前記ノイズ範囲に存在する画素値を任意の単一の画素値に置換する画素値置換部とを備え、
   前記ノイズ範囲設定部が、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する画像処理装置。
2. 任意の単一の前記画素値が、前記背景画素値設定部により設定された前記背景画素値である請求項１に記載の画像処理装置。
3. ２以上の前記画像が入力され、前記背景画素値設定部が、全ての前記画像に共通の前記背景画素値を設定する請求項１または請求項２に記載の画像処理装置。
4. 前記画像に対しシェーディング補正を行うシェーディング補正部を備え、
   前記画素値ヒストグラム生成部が、前記シェーディング補正部によりシェーディング補正された前記画像の前記画素値のヒストグラムを生成する請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記画像は、生体試料を撮影して取得された画像である請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記画像は、明視野、暗視野、位相差、微分干渉、蛍光およびホフマンコントラストの少なくとも１つの観察方法によって取得された画像である請求項１から請求項５のいずれかに記載の画像処理装置。
7. 請求項１から請求項６のいずれかに記載の画像処理装置を備える顕微鏡システム。
8. 画像に含まれる複数の画素の画素値のヒストグラムを生成する画素値ヒストグラム生成ステップと、
   該画素値ヒストグラム生成ステップにより生成されたヒストグラムのピーク値を用いて背景画素値を設定する背景画素値設定ステップと、
   該背景画素値設定ステップにより設定された前記背景画素値のノイズ範囲を設定するノイズ範囲設定ステップと、
   該ノイズ範囲設定ステップにより設定された前記ノイズ範囲に存在する画素値を任意の単一の画素値に置換する画素値置換ステップとを含み、
   前記ノイズ範囲設定ステップが、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する画像処理方法。
9. 任意の単一の前記画素値が、前記背景画素値設定ステップにより設定された前記背景画素値である請求項８に記載の画像処理方法。
10. 前記画像に対しシェーディング補正を行うシェーディング補正ステップを含み、
    前記画素値ヒストグラム生成ステップが、前記シェーディング補正ステップによりシェーディング補正された前記画像の画素値のヒストグラムを生成する請求項８または請求項９に記載の画像処理方法。
11. 画像に含まれる複数の画素の画素値のヒストグラムを生成する画素値ヒストグラム生成ステップと、
    該画素値ヒストグラム生成ステップにより生成されたヒストグラムのピーク値を用いて背景画素値を設定する背景画素値設定ステップと、
    該背景画素値設定ステップにより設定された前記背景画素値のノイズ範囲を設定するノイズ範囲設定ステップと、
    該ノイズ範囲設定ステップにより設定された前記ノイズ範囲に存在する任意の単一の画素値に置換する画素値置換ステップとをコンピュータに実行させ、
    前記ノイズ範囲設定ステップが、前記画素値の最大値と最小値との差分に対する所定比率によって前記ノイズ範囲を設定する画像処理プログラム。
12. 任意の単一の前記画素値が、前記背景画素値設定ステップにより設定された前記背景画素値である請求項１１に記載の画像処理プログラム。
13. 前記画素値ヒストグラム生成ステップの前に、前記画像に対しシェーディング補正を行うシェーディング補正ステップをコンピュータに実行させる請求項１１または請求項１２に記載の画像処理プログラム。

Images