JP2010169596A - 画像処理システム、画像処理装置および画像処理端末 - Google Patents

Abstract

【課題】染色標本の表示画像を合成・表示するために用いるデータの送受信を、通信負荷を増大させることなく効率的に行うこと。
【解決手段】画像処理システム１、画像処理装置１０と画像処理端末２０とがネットワークＮを介して接続されて構成される。画像処理装置は、染色標本をマルチバンド撮像した染色標本画像から染色標本の色素量を推定する機能部と、推定された染色標本の色素量を画像処理端末に送信する機能部とを備える。一方、画像処理装置は、画像処理装置から送信される染色標本の色素量を受信する機能部と、受信した染色標本の色素量をもとに、所定の色素量補正係数を用いて染色標本の表示画像の画素値を算出する機能部と、染色標本の表示画像を表示する機能部とを備える。
【選択図】 図１

Description

本発明は、画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システム、この画像処理システムで用いられる画像処理装置および画像処理端末に関する。

被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。

病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。

標本の観察は、観察者の目視によるものの他、この標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理、推定した色素量をもとに画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像である表示画像が合成される。図３８は、合成された表示画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。

標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。

ここで、標本のマルチバンド画像から表示画像を合成する方法について説明する。先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。

撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。

実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。

ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）

よって、式（３）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）

次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。

ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｒ_SSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、Ｒ_NNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。

このようにして分光透過率データＴ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。

一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ₀（λ）と射出光の強度Ｉ(λ)との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。

ここで、式（７）の左辺は分光透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。

また、分光吸光度ａ（λ）は次式（９）で表される。

よって、式（８）は次式（１０）に置き換えられる。

Ｈ＆Ｅ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と称す。）である。またｄ_H，ｄ_E，ｄ_Rは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄ_H，ｄ_E，ｄ_Rはそれぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。

ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。

そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。

式（１３）において未知変数はｄ_H，ｄ_E，ｄ_Rの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ₁，λ₂，λ₃について式（１３）を連立させた場合、次式（１４）のように行列表記できる。

ここで、式（１４）を次式（１５）に置き換える。
波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄ_H，ｄ_E，ｄ_Rに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。

そして、式（１５）に従い、最小二乗法を用いて色素量ｄ_H，ｄ_E，ｄ_Rを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。
ｄ＾（ｘ）は、推定された色素量である。

色素Ｈ，色素Ｅ，色素Ｒについて色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rを推定し、式（１２）に代入すれば、復元した復元分光吸光度ａ~（ｘ，λ）は次式（１７）で求められる。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示し、ａ~は、ａの上に記号「〜」が付いていることを示す。

ここで、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元分光吸光度ａ~（ｘ，λ）とをもとに、次式（１８）で求められる。以下、ｅ（λ）を「残差スペクトル」と称す。

そして、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）,（１８）から次式（１９）で表すことができる。

ランベルト・ベールの法則は、屈折や散乱がないと仮定した場合に半透明物体を透過する光の減衰を定式化したものである。しかしながら、実際の標本では屈折や散乱が起こり得る。このため、標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、この屈折や散乱に起因する誤差が生じる。しかしながら、屈折や散乱を含めたモデルの構築は極めて困難である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルｅ（λ）を考慮することで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。

以上のようにして、色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rが求まれば、これを修正する事で、標本における色素量の変化をシミュレートする事ができる。ここで、染色法によって染色された色素量ｄ＾_H，ｄ＾_Eを修正する。赤血球本来の色であるｄ＾_Rは修正しない。すなわち、補正色素量ｄ＾_H ^*，ｄ＾_E ^*は、適当な色素量補正係数α_H，α_Eを用いて次式（２０），（２１）で求められる。

求めた補正色素量ｄ＾_H ^*，ｄ＾_E ^*を式（１２）に代入すれば、次式（２２）によって、分光吸光度ａ~^*（ｘ，λ）が得られる。なお、ａ~^*は、ａ^*の上に記号「〜」が付いていることを示す。

また、残差スペクトルｅ（λ）を含める場合には、新たな分光吸光度ａ＾^*（ｘ，λ）は、式（２３）によって求められる。なお、ａ＾^*は、ａ^*の上に記号「＾」が付いていることを示す。

この分光吸光度ａ~^*（ｘ，λ）または分光吸光度ａ＾^*（ｘ，λ）を式（１０）に代入すれば、式（２４）によって、新たな分光透過率ｔ^*（ｘ，λ）が得られる。分光吸光度ａ^*（ｘ，λ）は、分光吸光度ａ~^*（ｘ，λ）または分光吸光度ａ＾^*（ｘ，λ）のいずれかの値である。

そして、式（２４）を式（１）に代入すれば、新たな画素値ｇ^*（ｘ，ｂ）は、次式（２５）によって求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算してよい。

ここで、式（４）を、次式（２６）に置き換える。
Ｇ^*（ｘ）＝ＨＴ^*（ｘ）・・・（２６）
Ｇ^*（ｘ）は、ｇ^*（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ^*（ｘ）は、ｔ^*（ｘ，λ）に対応するＤ行１列の行列である。これによって、色素量を仮想的に変化させた標本の画素値Ｇ^*（ｘ）を合成することができる。

以上説明したように、マルチバンド画像の任意の点ｘにおける色素量を推定して標本各点における色素量を仮想的に調整し、調整後の標本の画像を合成することによって、標本の色素量を補正することができる。このとき、自動的に色正規化処理を行い、標本各点における色素量を適正な染色状態に調整することも可能である。また、適当なユーザインターフェースを用意すれば、ユーザは、この色素量の調整を手動で行うことができる。表示用に合成された表示画像は、例えば表示装置に画面表示され、医師等による病理診断等に利用される。これによれば、標本に染色ばらつきがあったとしても、適正な染色状態に調整された画像を観察することが可能となる。

特開平７−１２０３２４号公報 "Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions"，Proceedings of SPIE，Vol.4684，2002，p.1516-1523 "Color Correction of Pathological Images Based on Dye Amount Quantification"，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300

ところで、標本の染色設備がない小規模な医療施設では、染色設備をもつ医療施設に標本の染色を依頼するといったことが行われている。すなわち、依頼を受けた医療施設では、その標本を染色してマルチバンド撮像し、撮像した標本のマルチバンド画像を色正規化処理して表示画像を合成する。そして、標本の染色を依頼した医療施設では、所定のネットワークを介して表示画像のデータを取得し、病理診断等に用いる。

しかしながら、標本の染色の依頼を受けた医療施設側で表示画像を合成する場合、この表示画像を観察する医師等の観察者が色素量の補正を行うことができないという問題があった。すなわち、取得した表示画像が観察者にとって適切な染色状態の表示画像でない場合には、再度色素量を補正した表示画像の合成を依頼し、適切な染色状態の表示画像が取得できるまでこれを繰り返さなければならず、観察者にとって手間であるとともに、表示画像を送受信する回数が増えれば、通信負荷も増大する。

一方で、この問題を解決するために、染色標本のマルチバンド画像を取得する構成が考えられる。この場合には、観察者が操作する端末側で色素量を補正しながら表示画像を合成できるが、表示画像を送受信する場合と比べてデータ量が膨大となり、通信負荷が増大するという問題が生じる。さらに、観察者が操作する端末側で染色標本画像をもとにスペクトル推定を行い、色素量推定を行う必要があるため、端末の処理負荷が増大するという問題もあった。

本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本の表示画像を合成・表示するために用いるデータの送受信を、通信負荷を増大させることなく効率的に行うことができる画像処理装置システム、画像処理装置および画像処理端末を提供することを目的とする。

上記した課題を解決し、目的を達成するため、本発明にかかる画像処理システムは、画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システムであって、前記画像処理装置は、所定の色素で染色された染色標本をマルチバンド撮像した染色標本画像をもとに、該染色標本画像の画素毎に、前記染色標本の色素量を推定する色素量推定手段と、前記推定された前記染色標本の色素量を前記画像処理端末に送信する色素量送信手段と、を備え、前記画像処理端末は、前記画像処理装置から送信される前記染色標本の色素量を受信する色素量受信手段と、前記受信した染色標本の色素量をもとに、所定の色素量補正係数を用いて前記染色標本の表示画像の画素値を算出する画素値算出手段と、前記算出された前記染色標本の表示画像の画素値をもとに、前記染色標本の表示画像を表示する画像表示手段と、を備えるものである。

また、本発明にかかる画像処理装置は、画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システムの画像処理装置であって、所定の色素で染色された染色標本をマルチバンド撮像した染色標本画像をもとに、該染色標本画像の画素毎に、前記染色標本の色素量を推定する色素量推定手段と、前記推定された前記染色標本の色素量を前記画像処理端末に送信する色素量送信手段と、を備えるものである。

また、本発明にかかる画像処理端末は、画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システムの画像処理端末であって、前記画像処理装置から送信される前記染色標本の色素量を受信する色素量受信手段と、前記受信した染色標本の色素量をもとに、所定の色素量補正係数を用いて前記染色標本の表示画像の画素値を算出する画素値算出手段と、前記算出された前記染色標本の表示画像の画素値をもとに、前記染色標本の表示画像を表示する画像表示手段と、を備えるものである。

本発明によれば、画像処理装置において染色標本の色素量推定を行い、この色素量のデータを染色標本の表示画像を合成・表示するために用いるデータとして、ネットワークを介して画像処理端末に送信することができる。一方、画像処理端末では、画像処理装置から取得した色素量をもとに染色標本の表示画像の合成・表示を行うとともに、所定の色素量補正係数を用いて色素量を補正することができる。したがって、染色標本の表示画像を合成・表示するために用いるデータの送受信を、通信負荷を増大させることなく効率的に行うことができるという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、実施の形態１の画像処理システム１の全体構成の一例を示すブロック図である。図１に示すように、画像処理システム１では、画像処理装置１０と画像処理端末２０（２０−１，２０−２，・・・）とがネットワークＮを介して接続されている。画像処理装置１０および画像処理端末２０は、パソコン等のコンピュータで構成される。また、ネットワークＮは、例えば電話回線網やインターネット、ＬＡＮ、専用ネットワーク、イントラネット等の各種通信網を適宜採用して用いることができる。

画像処理装置１０は、染色標本の色素量を推定し、推定した色素量のデータをネットワークＮを介して画像処理端末２０に提供する。この画像処理装置１０は、例えば、病理標本等の生体組織標本をＨ＆Ｅ染色する染色施設をもつ医療施設側に設置される。以下では、画像処理装置１０は、染色後の標本（染色標本）を撮像したマルチバンド画像をもとに、ウィナー推定を用いて染色標本の標本各点の分光透過率スペクトルを推定し、ランベルト・ベールの法則を用いて標本各点の色素量を推定する。そして、推定した色素量のデータをネットワークＮを介して画像処理端末２０に送信する。

一方、画像処理端末２０は、例えば、画像処理装置１０が設置された医療施設に対して標本の染色を依頼する別の医療施設側に設置される。この画像処理端末２０は、画像処理装置１０にアクセスして染色を依頼した標本について推定された色素量のデータを取得する。そして、取得した色素量をもとに、標本の表示用のＲＧＢ画像（表示画像）を合成する。

先ず、画像処理装置１０および画像処理端末２０の構成について説明する。図２は、実施の形態１の画像処理装置１０の機能構成の一例を示すブロック図である。図２に示すように、画像処理装置１０は、画像取得部１１０と、入力部１２０と、表示部１３０と、通信部１４０と、演算部１５０、記憶部１６０と、装置各部を制御する制御部１７０とを備える。

画像取得部１１０は、Ｈ＆Ｅ染色された色素量の推定対象の染色標本を撮像して６バンドのマルチバンド画像を取得する。図３は、画像取得部１１０の構成を示す模式図である。図３に示すように、画像取得部１１０は、画像取得動作を行って染色標本を撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、染色標本Ｓが載置される標本保持部１１３、標本保持部１１３上の染色標本Ｓを透過照明する照明部１１５、染色標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。

ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図４は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。実施の形態１では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。

フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図５は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図６は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得された染色標本のマルチバンド画像は、染色標本画像として画像処理装置１の記憶部１６０に保持される。

この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された染色標本Ｓを透過する。そして、染色標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図７に示す。

入力部１２０は、図２に示すように、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部１７０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部１７０から入力される表示信号をもとに各種画面を表示する。通信部１４０は、ネットワークＮを介して外部とのデータ通信を行う。この通信部１４０は、モデムやＴＡ、通信ケーブルのジャックや制御回路等によって実現される。

演算部１５０は、ＣＰＵ等のハードウェアによって実現される。この演算部１５０は、スペクトル推定手段としてのスペクトル推定部１５１と、色素量推定手段としての色素量推定部１５２とを含む。スペクトル推定部１５１は、染色標本画像を構成する各画素に対応する染色標本上の各標本点におけるスペクトルとして、分光透過率を推定する。ここで、スペクトル推定部１５１によって推定される分光透過率を「推定スペクトル」と称す。色素量推定部１５２は、各画素についてそれぞれ推定した推定スペクトルをもとに、対応する各標本点の色素量を推定する。

記憶部１６０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１６０には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。

また、記憶部１６０には、画像処理プログラム１６１と、データ送信プログラム１６２と、標本情報ＤＢ１６３とが格納される。画像処理プログラム１６１は、染色標本画像から染色標本の色素量を推定して標本情報ＤＢ１６３に登録する処理（標本情報登録処理）を実現するためのプログラムである。データ送信プログラム１６２は、画像処理端末２０からの要求（色素量データ送信要求）に応答して、この画像処理端末２０に対し、要求された標本について推定した色素量のデータを送信する処理（データ送信処理）を実現するためのプログラムである。標本情報ＤＢ１６３は、画像処理端末２０が設置された医療施設等から依頼された標本に関するデータを蓄積したデータベース（ＤＢ）である。この標本情報ＤＢ１６３には、例えば標本を識別するための標本識別情報と対応付けて、この標本を染色した染色標本をマルチバンド撮像した標本画像の画像データや、この染色標本画像から推定した推定スペクトルや色素量のデータの他、染色標本のサムネイル画像や、染色を依頼した医療施設に関する情報等が適宜登録される。ここで、標本識別情報は、標本を特定するための情報であり、例えば標本名を用いてもよいし、標本に固有のＩＤを割り当ててこれを用いることとしてもよい。

制御部１７０は、ＣＰＵ等のハードウェアによって実現される。この制御部１７０は、入力部１２０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部１６０に格納されるプログラムやデータ等をもとに画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、制御部１７０は、マルチバンド画像取得制御部１７１と、色素量送信手段としてのデータ送信制御部１７２とを含む。マルチバンド画像取得制御部１７１は、画像取得部１１０の動作を制御して染色標本画像を取得する。データ送信制御部１７２は、画像処理端末２０からの色素量データ送信要求に応答し、標本情報ＤＢ１６３に登録されている要求された標本の色素量のデータを通信部１４０を介して画像処理端末２０に送信する制御を行う。

図８は、実施の形態１の画像処理端末２０の機能構成の一例を示すブロック図である。図８に示すように、画像処理端末２０は、入力部２１０と、表示部２２０と、通信部２３０と、演算部２４０と、記憶部２５０と、装置各部を制御する制御部２６０とを備える。

この画像処理端末２０において、演算部２４０は、補正色素量算出部２４１と、補正スペクトル合成手段としての補正スペクトル合成部２４２と、画素値算出手段としての画像合成部２４３とを含む。補正色素量算出部２４１は、画像処理装置１０から取得した色素量をもとに、色素量補正係数を用いて補正色素量を算出する。補正スペクトル合成部２４２は、色素Ｈ，色素Ｅの補正色素量および色素Ｒの色素量とをもとに分光透過率を合成する。ここで、補正スペクトル合成部２４２によって合成される分光透過率を「補正スペクトル」と称す。画像合成部２４３は、補正スペクトルを用いて画素値を算出し、表示画像を合成する。

記憶部２５０には、画像処理端末２０を動作させ、この画像処理端末２０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、記憶部２５０には、データ取得プログラム２５１と、画像処理プログラム２５２と、受信色素量データ２５３とが格納される。データ取得プログラム２５１は、画像処理装置１０に対して標本を指定した色素量データ送信要求を送信し、指定した標本について推定された色素量のデータを取得する処理（データ取得処理）を実現するためのプログラムである。画像処理プログラム２５２は、画像処理装置１０から取得した色素量をもとに表示画像を合成する処理（画像合成処理）を実現するためのプログラムである。受信色素量データ２５３には、画像処理装置１０から取得した色素量のデータがその標本識別情報と対応付けられて設定される。

制御部２６０は、入力部２１０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部２５０に格納されるプログラムやデータ等をもとに画像処理端末２０を構成する各部への指示やデータの転送等を行い、画像処理端末２０全体の動作を統括的に制御する。また、制御部２６０は、色素量受信手段としてのデータ取得制御部２６１と、補正係数設定手段としての色素量補正係数設定部２６２と、画像表示制御部２６３とを含む。データ取得制御部２６１は、通信部２３０を介して標本を指定した色素量データ送信要求を画像処理装置１０に送信し、色素量のデータを取得する制御を行う。色素量補正係数設定部２６２は、入力部２１０を介してユーザによる色素量補正係数の入力を受け付け、入力された値を色素量補正係数として設定し、演算部２４０の補正色素量算出部２４１に出力する。画像表示制御部２６３は、画像合成部２４３によって合成された表示画像を画像表示手段としての表示部２２０に表示する制御を行う。

次に、画像処理装置１０および画像処理端末２０が行う処理手順について説明する。先ず、画像処理装置１０と画像処理端末２０との間で色素量のデータを送受信する際の画像処理装置１０および画像処理端末２０の処理手順について説明する。図９は、実施の形態１の画像処理装置１０が行うデータ送信処理の処理手順および画像処理端末２０が行うデータ取得処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０に格納されたデータ送信プログラム１６２に従って画像処理装置１０の各部が動作するとともに、記憶部２５０に格納されたデータ取得プログラム２５１に従って画像処理端末２０の各部が動作することによって実現される。

図９に示すように、画像処理端末２０では、データ取得処理を開始すると、データ取得制御部２６１が、色素量を取得する標本の指定依頼の通知画面を表示部２２０に表示する制御を行って、標本の指定を依頼する（ステップａ１）。例えば、画像処理装置１０に対して色素量のデータ送信を要求する標本の指定を依頼する旨のメッセージの表示とともに標本識別情報を入力するための入力ボックス等を配置した通知画面を表示部２２０に表示する制御を行なう。ユーザは、入力部２１０を介して標本識別情報を入力することによって、所望の標本を指定する。ここでユーザが入力した標本識別情報は、記憶部２５０に保持される。なお、色素量を取得する標本の指定方法は、標本識別情報の入力による方法に限定されるものではない。例えば、画像処理装置１０との間で通信を行って画像処理端末２０のユーザが染色を依頼している標本の一覧を取得し、取得した標本の一覧から指定を受け付ける構成としてもよい。またこのとき、標本の一覧と併せてそのサムネイル画像を取得し、ユーザに提示するようにしてもよい。

データ取得制御部２６１は、この指定依頼の通知に対する応答に従って通信部２３０の動作を制御し、色素量データ送信要求を指定された標本の標本識別情報とともに画像処理装置１０に送信する制御を行う（ステップａ３）。なお、標本中の全画素についての色素量を取得する場合に限らず、一部の範囲（視野）を指定してこの一部の視野内の画素についての色素量を取得するといったことも可能である。この場合には、色素量データ送信要求とともに、例えば視野の大きさや中心座標といったその視野を指定する情報を併せて画像処理装置１０に送信するようにすればよい。そして、データ取得制御部２６１は、画像処理装置１０から指定した標本の色素量のデータを受信するまで待機状態となる。

一方、画像処理装置１０では、データ送信処理として先ず、データ送信制御部１７２が、通信部１４０の動作を制御して画像処理端末２０から送信された色素量データ送信要求を受信する（ステップｂ１）。続いて、データ送信制御部１７２は、色素量データ送信要求とともに送信された標本識別情報をもとに標本情報ＤＢ１６３を探索し、この標本識別情報と対応付けられた色素量のデータを取得する（ステップｂ３）。そして、データ送信制御部１７２は、通信部１４０の動作を制御し、色素量データ送信要求を送信した画像処理端末２０に対して取得した色素量のデータを送信する制御を行う（ステップｂ５）。

そして、画像処理端末２０では、データ取得制御部２６１は、画像処理装置１０から送信された色素量のデータを受信したならば（ステップａ５：Ｙｅｓ）、受信した色素量のデータを、標本識別情報と対応付けて受信色素量データ２５３に保存する（ステップａ７）。

次に、画像処理装置１０が行う標本情報登録処理の処理手順について説明する。図１０は、実施の形態１における標本情報登録処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０に格納された画像処理プログラム１６１に従って画像処理装置１０の各部が動作することによって実現される。

図１０に示すように、標本情報登録処理では、先ずマルチバンド画像取得制御部１７１が、画像取得部１１０の動作を制御して色素量の推定対象の染色標本をマルチバンド撮像し、染色標本画像を取得する（ステップｃ１）。

続いて、スペクトル推定部１５１が、取得された染色標本画像の画素値をもとに、染色標本のスペクトル（推定スペクトル）を画素毎に推定する（ステップｃ３）。具体的には、背景技術で示した次式（５）に従って、染色標本画像の各画素を順次推定対象画素とし、推定対象画素である染色標本画像上の点ｘにおける画素値の行列表現Ｇ（ｘ）から対応する染色標本上の標本点における推定分光透過率Ｔ＾（ｘ）を推定スペクトルとして算出する。得られた推定分光透過率Ｔ＾（ｘ）は、記憶部１６０に保持される。

続いて、色素量推定部１５２が、推定スペクトル（推定分光透過率Ｔ＾（ｘ））をもとに、予め測定されて記憶部１６０に記憶されている色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルを用いて染色標本の色素量を画素毎に推定する（ステップｃ５）。ここで推定の対象とする色素は、ヘマトキシリン（色素Ｈ）と、細胞質を染色したエオジン（色素Ｅ）と、赤血球を染色したエオジンまたは染色されていない赤血球の色（色素Ｒ）であり、色素量推定部１５２は、染色標本画像の各点ｘを推定対象画素として推定した画素毎の推定分光透過率Ｔ＾（ｘ）をもとに、対応する各標本点に固定された色素Ｈ，色素Ｅ，色素Ｒそれぞれの色素量を推定する。すなわち、背景技術で示した次式（１６）に従って、ｄ＾_H，ｄ＾_E，ｄ＾_Rについて解く。

そして、演算部１５０が、推定した色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rのデータを、染色標本の標本識別情報と対応付けて標本情報ＤＢ１６３に登録する（ステップｃ７）。このとき、色素量のデータだけでなく、染色標本画像の画像データや推定スペクトルのデータをその標本識別情報に対する標本情報として標本情報ＤＢ１６３に登録するようにしてもよい。なお、色素量等の標本に関するデータの管理はデータベースによる管理に限定されるものではなく、テキストデータによる管理や、色素量等のデータを記録したファイル名の管理等であってもよい。

次に、画像処理端末２０が行う画像合成処理の処理手順について説明する。図１１は、実施の形態１における画像合成処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部２５０に格納された画像処理プログラム２５２に従って画像処理端末２０の各部が動作することによって実現される。

この画像合成処理では、事前に標本識別情報の入力を依頼する等し、ユーザによる観察対象の標本の指定を受け付ける。そして先ず、図１１に示すように、色素量補正係数設定部２６２が、色素Ｈ，色素Ｅの色素量補正係数の入力依頼の通知を表示部２２０に表示する制御を行い、例えばユーザ操作に従って色素Ｈ，色素Ｅの色素量補正係数を設定して補正色素量算出部２４１に出力する（ステップｄ１）。例えば、色素量補正係数の入力を依頼する旨のメッセージの表示とともに色素Ｈの色素量補正係数α_Hおよび色素Ｅの色素量補正係数α_Eの各値を入力するための入力ボックス等を配置した通知画面を表示部２２０に表示する制御を行う。ユーザは、入力部２１０を介して所望の色素量補正係数α_Hの値を入力するとともに、所望の色素量補正係数α_Eの値を入力する。なお、色素量補正係数α_H，α_Eの各値を入力するためのスライダーを配置して入力操作を受け付けるようにしてもよい。入力された色素量補正係数α_H，α_Eは、記憶部２５０に保持される。

続いて、補正色素量算出部２４１が、画像処理装置１０から取得されて受信色素量データ２５３に記憶された観察対象の標本の色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rのデータを読み出す。そして、補正色素量算出部２４１は、色素量ｄ＾_H，ｄ＾_Eと設定された色素量補正係数α_H，α_Eとから、背景技術で示した次式（２０），（２１）に従って色素Ｈ，色素Ｅの補正色素量ｄ＾_H ^*，ｄ＾_E ^*を画素毎に算出する（ステップｄ３）。なお、補正色素量ｄ＾_H ^*，ｄ＾_E ^*の算出は、式（２０），（２１）に示す色素量ｄ＾_H，ｄ＾_Eに色素量補正係数α_H，α_Eを乗じる形式に限定されるものではなく、これらを加算して補正色素量を算出することとしてもよい。得られた補正色素量ｄ＾_H ^*，ｄ＾_E ^*は、記憶部２５０に保持される。

続いて、補正スペクトル合成部２４２が、色素Ｈ，色素Ｅの補正色素量ｄ＾_H ^*，ｄ＾_E ^*および色素Ｒの色素量ｄ＾_Rをもとに、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルｋ_H（λ），ｋ_E（λ），ｋ_R（λ）を用いて補正スペクトルを画素毎に合成する（ステップｄ５）。具体的には、先ず、背景技術で示した次式（２２）に従い、各点ｘにおける分光吸光度ａ~^*（ｘ，λ）を求める。ここで、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルは標本に依存しない値であり、これらの各値は、事前に画像処理装置１０から配信されるようになっている。画像処理端末２０は、配信された各色素の基準色素スペクトルを記憶部２５０に記憶しておき、補正スペクトルを合成する際に記憶部２５０から読み出して用いる。

続いて、背景技術で示した次式（２４）に従い、求めた分光吸光度ａ~^*（ｘ，λ）から各点ｘにおける新たな分光透過率ｔ^*（ｘ，λ）を求める。

そして、波長方向にＤ回繰り返して分光透過率ｔ^*（ｘ，λ）を求め、補正スペクトルである補正分光透過率Ｔ^*（ｘ）を得る。補正分光透過率Ｔ^*（ｘ）は、ｔ^*（ｘ，λ）に対応するＤ行１列の行列である。得られた補正分光透過率Ｔ^*（ｘ）は、記憶部２５０に保持される。

続いて、画像合成部２４３が、画素毎に合成された補正スペクトル（補正分光透過率Ｔ^*（ｘ））をＲＧＢ値に変換する処理を画像全体に亘って反復して行い、表示画像の各画素の画素値を算出することによって表示画像を合成する（ステップｄ７）。具体的には、背景技術で示した次式（２６）に従い、点ｘにおける新しい画素値Ｇ^*（ｘ）を画素毎に求める。このようにして画素値Ｇ^*（ｘ）を求めることによって合成された表示画像は、記憶部２５０に保持される。
Ｇ^*（ｘ）＝ＨＴ^*（ｘ） ・・・（２６）

続いて、画像表示制御部２６３が、合成された表示画像を表示部２２０に表示する制御を行う（ステップｄ９）。この表示画像は、医師等によって観察され、病理診断等に利用される。

以上の手順によって、画像処理端末２０では、画像処理装置１０から取得した観察対象の標本の色素量をもとに、ユーザ操作等に従って設定した色素量補正係数によって各色素の色素量を仮想的に変化させた標本の表示画像を合成・表示することができる。ここで、色素量補正係数を変更して各色素の色素量を調整（補正）し、再度表示画像を合成・表示する場合には（ステップｄ１１：Ｙｅｓ）、ステップｄ１に戻って上記した処理を繰り返す。また、表示画像による標本の観察を終了する場合には（ステップｄ１１：Ｎｏ）、本処理を終える。

以上説明したように、実施の形態１の画像処理システムによれば、画像処理装置１０において色素量の推定を行い、この色素量のデータをネットワークＮを介して画像処理端末２０に送信することができる。一方、画像処理端末２０では、画像処理装置１０から取得した色素量をもとに標本の表示画像の合成・表示を行うことができ、例えば病理診断に利用することができる。またこのとき、ユーザ操作等に従って設定した色素量補正係数によって各色素の色素量を補正しながら表示画像の合成・表示を行うことができる。この画像処理システム１によれば、表示画像の合成・表示に用いるデータを取得するための画像処理装置１０と画像処理端末２０との通信が１回で済むため、通信負荷を増大させることなく効率的に行うことができるという効果を奏する。

ここで、画像処理装置側で染色標本の表示画像を合成し、画像処理端末がこの表示画像を取得するような画像処理システムの構成では、画像処理端末は、各色素の色素量を補正しようとすると、再度画像処理装置１０にアクセスし、色素量の補正を要求して表示画像を取得し直す必要があった。これに対し実施の形態１の画像処理システム１によれば、画像処理端末２０側で色素量補正係数を変更することによって色素量の補正を行うことができるので、何度も画像処理装置１０と通信を行う必要がなく、通信負荷を低減できる。また、観察者にとってみれば、色素量補正係数を変更しながら表示画像を効率よく観察できる。一方、画像処理端末が画像処理装置から染色標本のマルチバンド画像（染色標本画像）を取得する、あるいはこのマルチバンド画像をもとに推定した推定スペクトルのデータを取得するように画像処理システムを構成し、波長方向の次元数分のスペクトルデータを送受信する場合と比べて、色素数分の色素量を送受信すればよいため、ネットワークＮを介して送受信するデータ量を削減でき、通信負荷を低減できる。また、画像処理端末２０において色素量の推定を行う必要がないので、画像処理端末２０の処理負荷を増大させることもない。

なお、補正色素量ｄ＾_H ^*，ｄ＾_E ^*および色素Ｒの色素量ｄ＾_Rのあらゆる組み合わせを想定して事前に画素値Ｇ^*（ｘ）を求めておき、色素量／画素値対応テーブルとして記憶部に格納しておくこととしてもよい。そして、画像合成部が、この色素量／画素値対応テーブルを参照して表示画像を合成することとしてもよい。この場合には、画像処理端末を、補正スペクトル合成部２４２を備えない構成として実現できる。これによれば、画像合成処理を高速化できるので、観察対象の標本を指定してから表示画像を表示するまでのユーザの待機時間を短縮することができる。

また、実施の形態１では、画像処理端末２０においてユーザに対して標本の指定を依頼し、この依頼に応答して指定された標本についての色素量のデータを画像処理装置１０から取得する場合について説明したが、１度に指定し取得する標本の数は１つに限定されるものではなく、複数の標本を指定して各標本についての色素量を一括して取得することもできる。

また、実施の形態１では、画像処理端末２０が補正スペクトルを合成する際に用いる基準色素スペクトルについて、事前に画像処理装置１０から画像処理端末２０に対して配信されているものとして説明したが、これに限定されない。すなわち、基準色素スペクトルｋ_H（λ），ｋ_E（λ），ｋ_R（λ）のデータは、それぞれ１行Ｄ列の行列データであり、色素量のデータと比較してデータ量が小さいため、画像処理装置１０から色素量を取得する際にこの色素量のデータとともに取得する構成としてもよい。この場合には、画像処理装置１０のデータ送信制御部１７２が色素スペクトル送信手段として機能するとともに、画像処理端末２０のデータ取得制御部２６１が色素スペクトル受信手段として機能する。これによれば、画像処理装置１０において染色標本の染色状態に応じた基準色素スペクトルを用いて色素量を推定し、画像処理端末２０においてその色素量の推定に用いた基準色素スペクトルを用いて推定スペクトルを合成するといったことが可能となる。また、同一の基準色素スペクトルを用いて推定した複数の標本についての色素量を一括して送信する場合であれば、各色素量のデータとともに基準色素スペクトルを送信する必要はない。例えば通信の開始時に基準色素スペクトルの送信を行い、続いて各色素量のデータを順次送信するようにしてもよい。

また、色素Ｈ，色素Ｅの色素量補正係数の設定は、ユーザ操作に従って行う場合に限らず、自動的に設定する構成としてもよい。

（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の画像処理装置１０ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１２に示すように、画像処理装置１０ｂは、画像取得部１１０と、入力部１２０と、表示部１３０と、通信部１４０と、演算部１５０ｂと、記憶部１６０ｂと、装置各部を制御する制御部１７０ｂとを備える。

そして、演算部１５０ｂは、スペクトル推定手段としてのスペクトル推定部１５１と、色素量推定手段としての色素量推定部１５２ｂと、残差スペクトル算出手段としての残差スペクトル算出部１５３ｂとを備える。残差スペクトル算出部１５３ｂは、スペクトル推定部１５１によって推定された推定スペクトルから求まる推定分光吸光度と、色素量推定部１５２ｂによって推定された色素量から復元される復元分光吸光度とをもとに、色素量推定における推定誤差である残差スペクトルを算出する。この残差スペクトルは、染色標本の表示画像を合成・表示するために用いるデータとして画像処理端末２０ｂに送信される。

また、記憶部１６０ｂには、画像処理プログラム１６１ｂと、データ送信プログラム１６２ｂと、標本情報ＤＢ１６３ｂとが格納される。画像処理プログラム１６１ｂは、染色標本画像から染色標本の色素量を推定するとともに、この推定の際に残差スペクトルを算出し、推定した色素量および算出した残差スペクトルを標本情報ＤＢ１６３ｂに登録する処理（標本情報登録処理）を実現するためのプログラムである。データ送信プログラム１６２ｂは、画像処理端末２０ｂからの要求（合成用データ送信要求）に応答して、この画像処理端末２０ｂに対し、要求された標本について推定した色素量および算出した残差スペクトルのデータを送信する処理（データ送信処理）を実現するためのプログラムである。標本情報ＤＢ１６３ｂには、標本識別情報と対応付けて、実施の形態１で説明した染色標本画像の画像データ、推定した推定スペクトルや色素量のデータ等に加えて、算出した残差スペクトルのデータが登録される。

そして、制御部１７０ｂは、マルチバンド画像取得制御部１７１と、色素量送信手段および残差スペクトル送信手段としてのデータ送信制御部１７２ｂとを含む。データ送信制御部１７２ｂは、画像処理端末２０ｂから送信される合成用データ送信要求に応答し、標本情報ＤＢ１６３ｂに登録されている要求された標本の色素量および残差スペクトルのデータである合成用データを通信部１４０を介して画像処理端末２０ｂに送信する制御を行う。

図１３は、実施の形態２の画像処理端末２０ｂの機能構成の一例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１３に示すように、画像処理端末２０ｂは、入力部２１０と、表示部２２０と、通信部２３０と、演算部２４０ｂと、記憶部２５０ｂと、装置各部を制御する制御部２６０ｂとを備える。

演算部２４０ｂは、補正色素量算出部２４１ｂと、補正スペクトル合成手段としての補正スペクトル合成部２４２ｂと、画素値算出手段および第１の補正画素値算出手段としての画像合成部２４３ｂとを含む。補正スペクトル合成部２４２ｂは、色素Ｈ，色素Ｅの補正色素量および色素Ｒの色素量と残差スペクトルとをもとに分光透過率を合成し、補正スペクトルを算出する。また、画像合成部２４３ｂは、補正スペクトル合成部２４２ｂによって合成された補正スペクトルを用いて残差スペクトルを考慮した補正画素値（第１の補正画素値）を算出し、表示画像を合成する。

また、記憶部２５０ｂには、データ取得プログラム２５１ｂと、画像処理プログラム２５２ｂと、受信合成用データ２５４ｂとが格納される。データ取得プログラム２５１ｂは、画像処理装置１０ｂに対して標本を指定した合成用データ送信要求を送信し、指定した標本について推定された色素量および算出された残差スペクトルのデータ（合成用データ）を取得する処理（データ取得処理）を実現するためプログラムである。画像処理プログラム２５２ｂは、画像処理装置１０ｂから取得した色素量をもとに、残差スペクトルを考慮した補正スペクトルの合成を行って画素値を算出し、表示画像を合成する処理（画像合成処理）を実現するためのプログラムである。受信合成用データ２５４ｂには、画像処理装置１０ｂから合成用データとして取得した色素量および残差スペクトルのデータがその標本識別情報と対応付けられて設定される。

そして、制御部２６０ｂは、色素量受信手段としてのデータ取得制御部２６１ｂと、補正係数設定手段としての色素量補正係数設定部２６２と、画像表示制御部２６３とを含む。データ取得制御部２６１ｂは、通信部２３０を介して標本を指定した合成用データ送信要求を画像処理装置１０ｂに送信し、合成用データを取得する制御を行う。

次に、画像処理装置１０ｂおよび画像処理端末２０ｂが行う処理手順について説明する。先ず、画像処理装置１０ｂと画像処理端末２０ｂとの間で合成用データを送受信する際の画像処理装置１０ｂおよび画像処理端末２０ｂの処理手順について説明する。図１４は、実施の形態２の画像処理装置１０ｂが行うデータ送信処理の処理手順および画像処理端末２０ｂが行うデータ取得処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｂに格納されたデータ送信プログラム１６２ｂに従って画像処理装置１０ｂの各部が動作するとともに、記憶部２５０ｂに格納されたデータ取得プログラム２５１ｂに従って画像処理端末２０ｂの各部が動作することによって実現される。

図１４に示すように、画像処理端末２０ｂでは、データ取得処理を開始すると、データ取得制御部２６１ｂが、合成用データを取得する標本の指定依頼の通知画面を表示部２２０に表示する制御を行って、標本の指定を依頼する（ステップｅ１）。そして、データ取得制御部２６１ｂは、この指定依頼の通知に対する応答に従って、合成用データ送信要求を指定された標本の標本識別情報とともに画像処理装置１０ｂに送信する制御を行う（ステップｅ３）。そして、データ取得制御部２６１ｂは、画像処理装置１０ｂから指定した標本の合成用データを受信するまで待機状態となる。

一方、画像処理装置１０ｂでは、データ送信処理として先ず、データ送信制御部１７２ｂが、画像処理端末２０ｂから送信された合成用データ送信要求を受信する制御を行う（ステップｆ１）。続いて、データ送信制御部１７２ｂは、合成用データ送信要求とともに送信された標本識別情報をもとに標本情報ＤＢ１６３ｂを探索し、この標本識別情報と対応付けられた色素量および残差スペクトルのデータを取得する（ステップｆ３）。そして、データ送信制御部１７２ｂは、色素量データ送信要求を送信した画像処理端末２０ｂに対して取得した色素量および残差スペクトルのデータを合成用データとして送信する制御を行う（ステップｆ５）。

そして、画像処理端末２０ｂでは、データ取得制御部２６１ｂは、画像処理装置１０ｂから送信された合成用データを受信したならば（ステップｅ５：Ｙｅｓ）、受信した合成用データを、標本識別情報と対応付けて受信合成用データ２５４ｂに保存する（ステップｅ７）。

次に、画像処理装置１０ｂが行う標本情報登録処理の処理手順について説明する。図１５は、実施の形態２における標本情報登録処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｂに格納された画像処理プログラム１６１ｂに従って画像処理装置１０ｂの各部が動作することによって実現される処理であり、図１５において、実施の形態１と同様の処理工程には同一の符号を付している。

図１５に示すように、実施の形態２の標本情報登録処理では、ステップｃ５において色素量推定部１５２ｂが染色標本の色素量を画素毎に推定した後、続いて残差スペクトル算出部１５３ｂが、ステップｃ３で推定した推定スペクトルから求まる推定分光吸光度と、ステップｃ５で推定した色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rから復元される復元分光透過率とをもとに、残差スペクトルを算出する（ステップｇ６）。すなわち先ず、背景技術で示した次式（１７）に従って、色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rから復元分光吸光度ａ~（ｘ，λ）を算出する。

そして、推定分光透過率ｔ＾（ｘ，λ）から求まる推定分光吸光度ａ＾（ｘ，λ）と復元分光吸光度ａ~（ｘ，λ）とをもとに、次式（１８）に従ってこれらの差分である残差スペクトルｅ（λ）を算出する。

続いて、演算部１５０ｂが、推定した色素量ｄ＾_H，ｄ＾_E，ｄ＾_Rのデータを染色標本の標本識別情報と対応付けて標本情報ＤＢ１６３ｂに登録する（ステップｃ７）。そして、演算部１５０ｂは、算出した残差スペクトルｅ（λ）のデータを染色標本の標本識別情報と対応付けて標本情報ＤＢ１６３ｂに登録する（ステップｇ８）。

次に、画像処理端末２０ｂが行う画像合成処理の処理手順について説明する。図１６は、実施の形態２における画像合成処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部２５０ｂに格納された画像処理プログラム２５２ｂに従って画像処理端末２０ｂの各部が動作することによって実現される処理であり、図１６において、実施の形態１と同様の処理工程には同一の符号を付している。

図１６に示すように、実施の形態２の画像合成処理では、ステップｄ１において色素量補正係数設定部２６２が色素Ｈ，色素Ｅの色素量補正係数を設定した後、補正色素量算出部２４１ｂが、画像処理装置１０ｂから取得されて受信合成用データ２５４ｂに記憶された観察対象の標本の色素量のデータを読み出し、色素Ｈ，色素Ｅの補正色素量ｄ＾_H ^*，ｄ＾_E ^*を画素毎に算出する（ステップｈ３）。

続いて、補正スペクトル合成部２４２ｂが、受信合成用データ２５４ｂに記憶された観察対象の標本の残差スペクトルのデータを読み出し、色素Ｈ，色素Ｅの補正色素量ｄ＾_H ^*，ｄ＾_E ^*および色素Ｒの色素量ｄ＾_Rと、読み出した残差スペクトルｅ（λ）とをもとに、各色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルｋ_H（λ），ｋ_E（λ），ｋ_R（λ）を用いて補正スペクトルを画素毎に合成する（ステップｈ５）。すなわち、背景技術で示した次式（２３）に従い、各点ｘにおける分光吸光度ａ＾^*（ｘ，λ）を求める。

続いて、背景技術で示した次式（２４）に従い、求めた分光吸光度ａ＾^*（ｘ，λ）から各点ｘにおける新たな分光透過率ｔ^*（ｘ，λ）を求め、補正スペクトルを合成する。

続いて、画像合成部２４３ｂが、補正スペクトルをもとに表示画像の各画素の補正画素値を算出することによって表示画像を合成し（ステップｈ７）、画像表示制御部２６３が、合成された表示画像を表示部２２０に表示する制御を行う（ステップｄ９）。

以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏する。また、画像処理装置１０ｂにおいて染色標本の色素量を推定する際に残差スペクトルを算出し、画像処理端末２０ｂからの要求に応じて色素量とともに残差スペクトルを送信することができる。一方、画像処理端末２０ｂでは、色素量を取得する際に色素量とともに残差スペクトルのデータを取得し、この残差スペクトルを考慮して表示画像を合成することができる。これによれば、合成した表示画像が色素量推定の推定誤差等によって不自然に色変動するといった事態を抑制することができ、表示画像の合成精度を向上させることができる。

なお、上記した実施の形態２では、画像処理端末２０ｂからの合成用データ送信要求に応じて色素量と残差スペクトルとを送信する場合について説明したが、残差スペクトルについては、別途画像処理端末２０ｂからの要求があった場合に送信するようにしてもよい。

ここで、本変形例における画像処理装置および画像処理端末が行う処理手順について説明する。先ず、画像処理装置と画像処理端末との間で色素量のデータを送受信する際の画像処理装置および画像処理端末の処理手順について説明する。図１７は、変形例の画像処理装置が行うデータ送信処理の処理手順および画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、本変形例における画像処理装置の記憶部に格納されるデータ送信プログラムに従って画像処理装置の各部が動作するとともに、本変形例における画像処理端末の記憶部に格納されるデータ取得プログラムに従って画像処理端末の各部が動作することによって実現される処理であり、図１７において、実施の形態１と同様の処理工程には同一の符号を付している。

図１７に示すように、本変形例では、画像処理端末は、データ取得処理のステップａ５で色素量のデータを保存した後、データ取得制御部は、残差スペクトルを取得するか否かを判定する。例えば、本変形例の画像処理端末が行う後述の画像合成処理において残差スペクトルが必要と判定された場合に、残差スペクトルを取得すると判定する。残差スペクトルを取得せずに終了する場合には（ステップｉ９：Ｎｏ→ｉ１７：Ｙｅｓ）、本処理を終える。

そして、残差スペクトルを取得すると判定したならば（ステップｉ９：Ｙｅｓ）、データ取得制御部は、ステップａ１で指定された標本の標本識別番号とともに残差スペクトル送信要求を画像処理装置に送信し（ステップｉ１１）、残差スペクトルのデータを受信するまで待機状態となる。

一方、画像処理装置では、データ送信制御部が、データ送信処理のステップｊ７において、画像処理端末から送信された残差スペクトル送信要求を受信する制御を行う。続いて、データ送信制御部は、残差スペクトル送信要求とともに送信された標本識別情報をもとに標本情報ＤＢを探索し、この標本識別情報と対応付けられた残差スペクトルのデータを取得する（ステップｊ９）。そして、データ送信制御部は、残差スペクトル送信要求を送信した画像処理端末に対して取得した残差スペクトルのデータを送信する制御を行う（ステップｊ１１）。

そして、画像処理端末では、データ取得制御部は、画像処理装置から送信された残差スペクトルのデータを受信したならば（ステップｉ１３：Ｙｅｓ）、受信した残差スペクトルのデータを、標本識別情報と対応付けて受信合成用データに保存する（ステップｉ１５）。

次に、本変形例の画像処理端末が行う画像合成処理について、図１８を参照して説明する。なお、図１８において、実施の形態１と同様の処理工程には同一の符号を付している。本変形例では、補正色素量算出部が観察対象の標本の色素量の補正色素量を画素毎に算出したならば（ステップｄ３）、続いて、補正スペクトル合成部が、受信合成用データを参照し、観察対象の標本について算出された残差スペクトルのデータが取得済みか否かを判定する。取得済みの場合には（ステップｋ４：Ｙｅｓ）、後述するステップｋ１９に移行する。一方、補正スペクトル合成部は、未取得であれば（ステップｋ４：Ｎｏ）、ステップｄ５に移行して、色素Ｈ，色素Ｅの補正色素量および色素Ｒの色素量をもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する。

そして、ステップｄ９において画像表示制御部が表示画像を表示部に表示した後で、残差スペクトルの取得の要否を判定する（ステップｋ１１）。この判定は、例えば残差スペクトルの取得の要否についての指定を依頼する通知画面を表示部に表示する制御を行う等し、ユーザ操作に従って行う。すなわち、ユーザは、より精度の高い表示画像による標本の観察を行いたい場合等に、入力部を介して残差スペクトルの取得指示を入力する。残差スペクトルの取得が不要の場合には、ステップｋ１３に移り、色素量補正係数を変更して各色素の色素量を調整し、再度表示画像を合成・表示する場合であれば（ステップｋ１３：Ｙｅｓ）、ステップｄ１に戻る。また、表示画像による標本の観察を終了する場合には（ステップｋ１４：Ｙｅｓ）、本処理を終える。

そして、残差スペクトルの取得が必要な場合には、ステップｋ１５に移り、演算部は、残差スペクトルの取得指示を制御部のデータ取得制御部に出力する。このステップｋ１５の処理の結果、上記した図１７のステップｉ９においてデータ取得制御部が残差スペクトルを取得すると判定し、ステップｉ１１に移行することとなる。この場合には、演算部は、画像処理装置からの残差スペクトルのデータの取得を完了するまで待機状態となる。すなわち、図１７のステップｉ１３で残差スペクトルのデータを受信し、ステップｉ１５で残差スペクトルのデータを保存して残差スペクトルのデータの取得を完了したならば（ステップｋ７：Ｙｅｓ）、ステップｋ１９に移る。

すなわち、ステップｋ１９では、補正スペクトル合成部が、色素Ｈ，色素Ｅの補正色素量および色素Ｒの色素量と、取得された観察対象の標本の残差スペクトルとをもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する。

続いて、画像合成部が、画素毎に合成された補正スペクトルをもとに表示画像の各画素の補正画素値を算出し、ステップｄ７で算出された画素値を補正画素値によって置き換えて表示画像を合成する（ステップｋ２１）。その後、ステップｄ９に移行して、画像表示制御部が、残差スペクトルを考慮して新たに合成された表示画像を表示部に表示する制御を行う。

本変形例によれば、実施の形態２と同様の効果を奏することができるとともに、必要に応じて残差スペクトルの取得を行うことができ、実施の形態２のように、必ず残差スペクトルの取得を行う場合と比較して通信負荷が低減できる。なお、ユーザ操作に従って残差スペクトルの取得の要否を判定することとしたが、残差スペクトルを取得するか否かを自動的に判定することとしてもよい。

（実施の形態３）
次に、実施の形態３について説明する。図１９は、実施の形態３の画像処理装置１０ｃの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１９に示すように、画像処理装置１０ｃは、画像取得部１１０と、入力部１２０と、表示部１３０と、通信部１４０と、演算部１５０ｃと、記憶部１６０ｃと、装置各部を制御する制御部１７０ｃとを備える。

そして、演算部１５０ｃは、スペクトル推定手段としてのスペクトル推定部１５１と、色素量推定手段としての色素量推定部１５２と、色素量データ分割手段としての色素量データ分割部１５４ｃとを備える。色素量データ分割部１５４ｃは、色素量推定部１５２によって推定された色素量を浮動小数点型のデータとして扱い、指数部および仮数部をそれぞれ所定の配分で上位ビットと下位ビットとに分割する。これによって、色素量データ分割部１５４ｃは、色素量を、分割された指数部の下位ビットおよび分割された仮数部の上位ビットで構成される主要浮動小数点データ部と、符号ビット、分割された指数部の上位ビットおよび分割された仮数部の下位ビットで構成される補助浮動小数点データ部とに分割する。

ここで、色素量の分割について説明する。図２０は、色素量のデータ分割の手順を説明する説明図であり、色素量のデータを、符号１ビット、指数部１１ビットおよび仮数部５２ビットで構成される８バイトの浮動少数点型（double型）で扱う場合を示している。図２１は、数値「０．１２３４」を例にとった場合の具体的なデータ分割例を示す図である。図２０，図２１に示すように、色素量データ分割部１５４ｃは、例えば、指数部を上位３ビットと下位８ビットとに分割するとともに、仮数部を上位８ビットと下位４４ビットとに分割する。そして、色素量データ分割部１５４ｃは、指数部の下位８ビットおよび仮数部の上位８ビットを組み合わせて２バイトの主要浮動小数点データ部とし、符号１ビット、指数部の上位３ビットおよび仮数部の下位４４ビットを組み合わせて６バイトの補助浮動小数点データ部とする。図２１に示す例では、「０．１２３４（３ＦＢＦ９７２４７４５３８ＥＦ３（Ｈ））」の色素量のデータが、主要浮動小数点データ部である「ＦＢＦ９（Ｈ）」と、補助浮動小数点データ部である「３７２４７４５３８ＥＦ３（Ｈ）」とに分割される。

図２２は、いくつかのデータをサンプルとして主要浮動小数点型データ部と補助浮動小数点型データ部とに分割した場合の誤差を示す図である。図２２に示すサンプルの例では、誤差は最大で０．８１０％程度となっている。

このようにして分割した主要浮動小数点データ部によれば、指数部の上位８ビットによって１０²⁵⁵の指数範囲を表現できる。また、仮数部の上位８ビットによるデータ損失量は、０．１０％程度である。実際の色素量の値と照らし合わせて鑑みるに、このようにして組み合わせた主要浮動少数点型データ部によって、色素量のデータ範囲をほぼ表現できる。

なお、指数部および仮数部のビット数の割合は、図２０に示した割合に限定されない。例えば、指数部の上位６ビットおよび仮数部の上位１０ビットを組み合わせて２バイトの主要浮動少数点型データ部としてもよい。この場合には、指数部の上位６ビットによって１０⁹の指数範囲を表現できる。また、仮数部の上位１０ビットによるデータ損失量は、０．１０％程度である。あるいは、指数部の下位５ビットおよび仮数部の上位１１ビットとを組み合わせて２バイトの主要浮動小数点型データ部としてもよい。この場合には、指数部の上位５ビットによって１０⁴の指数範囲を表現できる。また、仮数部の上位１１ビットによるデータ損失量は、０．０５％程度である。

また、記憶部１６０ｃには、画像処理プログラム１６１ｃと、データ送信プログラム１６２ｃと、標本情報ＤＢ１６３ｃとが格納される。画像処理プログラム１６１ｃは、染色標本画像から染色標本の色素量を推定するとともに、推定した色素量のデータを浮動小数点型のデータとして扱って主要浮動小数点データ部と補助浮動小数点データ部とに分割した上で、各色素量の主要浮動小数点データ部を主要色素量とし、補助浮動小数点データ部を補助色素量として標本情報ＤＢ１６３ｃに登録する処理（標本情報登録処理）を実現するためのプログラムである。データ送信プログラム１６２ｃは、画像処理端末２０ｃからの要求（色素量データ送信要求）に応答して、この画像処理端末２０ｃに対し、要求された標本について推定した色素量の主要色素量のデータを送信する処理（データ送信処理）を実現するためのプログラムである。標本情報ＤＢ１６３ｃには、実施の形態１と同様にして、標本識別情報と対応付けてその標本に関するデータが蓄積されるが、このうちの色素量のデータが、主要色素量および補助色素量の各データで構成される。

そして、制御部１７０ｃは、マルチバンド画像取得制御部１７１と、色素量送信手段としてのデータ送信制御部１７２ｃとを含む。データ送信制御部１７２ｃは、画像処理端末２０ｃから送信される色素量データ送信要求に応答し、標本情報ＤＢ１６３ｃに登録されている要求された標本の色素量の主要色素量のデータを通信部１４０を介して画像処理端末２０ｃに送信する制御を行う。

図２３は、実施の形態３の画像処理端末２０ｃの機能構成の一例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図２３に示すように、画像処理端末２０ｃは、入力部２１０と、表示部２２０と、通信部２３０と、演算部２４０ｃ、記憶部２５０ｃと、装置各部を制御する制御部２６０ｃとを備える。

演算部２４０ｃは、補正色素量算出部２４１ｃと、補正スペクトル合成手段としての補正スペクトル合成部２４２ｃと、画素値算出手段としての画像合成部２４３とを含む。補正色素量算出部２４１ｃは、画像処理装置１０ｃから取得した主要色素量をもとに、色素量補正係数を用いて補正色素量を算出する。補正スペクトル合成部２４２ｃは、色素Ｈ，色素Ｅの補正色素量および色素Ｒの主要色素量をもとに分光透過率を合成し、補正スペクトルを算出する。

また、記憶部２５０ｃには、データ取得プログラム２５１ｃと、画像処理プログラム２５２ｃと、受信主要色素量データ２５５ｃとが格納される。データ取得プログラム２５１ｃは、画像処理装置１０ｃに対して標本を指定した色素量データ送信要求を送信し、指定した標本について推定された色素量の主要色素量のデータを取得する処理（データ取得処理）を実現するためプログラムである。画像処理プログラム２５２ｃは、画像処理装置１０ｃから取得した主要色素量をもとに表示画像を合成する処理（画像合成処理）を実現するためのプログラムである。受信主要色素量データ２５５ｃには、画像処理装置１０ｃから取得した主要色素量のデータがその標本識別情報と対応付けられて設定される。

そして、制御部２６０ｃは、浮動小数点データ部受信手段としてのデータ取得制御部２６１ｃと、補正係数設定手段としての色素量補正係数設定部２６２と、画像表示制御部２６３とを含む。データ取得制御部２６１ｃは、通信部２３０を介して標本を指定した色素量データ送信要求を画像処理装置１０ｃに送信し、主要色素量のデータを取得する制御を行う。

次に、画像処理装置１０ｃおよび画像処理端末２０ｃが行う処理手順について説明する。先ず、画像処理装置１０ｃと画像処理端末２０ｃとの間で主要色素量のデータを送受信する際の画像処理装置１０ｃおよび画像処理端末２０ｃの処理手順について説明する。図２４は、実施の形態３の画像処理装置１０ｃが行うデータ送信処理の処理手順および画像処理端末２０ｃが行うデータ取得処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｃに格納されたデータ送信プログラム１６２ｃに従って画像処理装置１０ｃの各部が動作するとともに、記憶部２５０ｃに格納されたデータ取得プログラム２５１ｃに従って画像処理端末２０ｃの各部が動作することによって実現される処理であり、図２４において、実施の形態１と同様の処理工程には同一の符号を付している。

図２４に示すように、画像処理端末２０ｃでは、データ取得処理のステップａ３でデータ取得制御部２６１ｃが色素量データ送信要求を画像処理装置１０ｃに送信したならば、画像処理装置１０ｃから指定した標本の主要色素量のデータを受信するまで待機状態となる。

一方、画像処理装置１０ｃでは、データ送信制御部１７２ｃは、ステップｂ１において画像処理端末２０ｃから送信された色素量データ送信要求を受信すると、続いて、色素量データ送信要求とともに送信された標本識別情報をもとに標本情報ＤＢ１６３ｃを探索し、この標本識別情報と対応付けられた色素量のデータのうち、主要色素量のデータを取得する（ステップｍ３）。そして、データ送信制御部１７２ｃは、色素量データ送信要求を送信した画像処理端末２０ｃに対して取得した主要色素量のデータを送信する制御を行う（ステップｍ５）。

そして、画像処理端末２０ｃでは、データ取得制御部２６１ｃは、画像処理装置１０ｃから送信された主要色素量のデータを受信したならば（ステップｌ５：Ｙｅｓ）、受信した主要色素量のデータを、標本識別情報と対応付けて受信主要色素量データ２５５ｃに保存する（ステップｌ７）。

次に、画像処理装置１０ｃが行う標本情報登録処理の処理手順について説明する。図２５は、実施の形態３における標本情報登録処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｃに格納された画像処理プログラム１６１ｃに従って画像処理装置１０ｃの各部が動作することによって実現される処理であり、図２５において、実施の形態１と同様の処理工程には同一の符号を付している。

図２５に示すように、実施の形態３の標本情報登録処理では、ステップｃ５において色素量推定部１５２が染色標本の色素量を画素毎に推定した後、続いて色素量データ分割部１５４ｃが、画素毎の色素量のデータをそれぞれ浮動小数点型データとして扱い、主要浮動小数点データ部と補助浮動小数点データ部とに分割する（ステップｎ７）。

続いて、演算部１５０ｃが、分割した画素毎の色素量の主要浮動小数点データ部を主要色素量のデータとし、補助浮動小数点データ部を補助色素量のデータとして、標本情報ＤＢ１６３ｃに登録する（ステップｎ９）。

次に、画像処理端末２０ｃが行う画像合成処理の処理手順について説明する。図２６は、実施の形態３における画像合成処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｃに格納された画像処理プログラム１６１ｃに従って画像処理端末２０ｃの各部が動作することによって実現される処理であり、図２６において、実施の形態１と同様の処理工程には同一の符号を付している。

図２６に示すように、実施の形態３の画像合成処理では、ステップｄ１において色素量補正係数設定部２６２が色素Ｈ，色素Ｅの色素量補正係数を設定した後、補正色素量算出部２４１ｃが、画像処理装置１０ｃから取得されて受信主要色素量データ２５５ｃに記憶された観察対象の標本の主要色素量のデータを読み出す。そして、読み出した主要色素量から、図２０，図２１に示した処理手順と逆の手順で指数部と仮数部とを復元した上で、色素Ｈ，色素Ｅの補正色素量を画素毎に算出する（ステップｏ３）。

続いて、補正スペクトル合成部２４２ｃが、色素Ｈ，色素Ｅの補正色素量および色素Ｒの主要色素量をもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する（ステップｏ５）。補正スペクトルを合成したならば、ステップｄ７に移行する。

以上説明したように、実施の形態３によれば、実施の形態１と同様の効果を奏するとともに、画像処理装置１０ｃにおいて推定した色素量のデータを分割し、画像処理端末２０ｃからの要求に応じて主要色素量を送信することができる。したがって、画像処理装置１０ｃと画像処理端末２０ｃとの間で送受信するデータ量を削減でき、通信負荷をより低減できる。

（実施の形態４）
次に、実施の形態４について説明する。図２７は、実施の形態４の画像処理装置１０ｄの機能構成を説明するブロック図である。なお、実施の形態３で説明した構成と同一の構成については、同一の符号を付する。図２７に示すように、画像処理装置１０ｄは、画像取得部１１０と、入力部１２０と、表示部１３０と、通信部１４０と、演算部１５０ｃと、記憶部１６０ｄと、装置各部を制御する制御部１７０ｄとを備える。

そして、演算部１５０ｃは、スペクトル推定手段としてのスペクトル推定部１５１と、色素量推定手段としての色素量推定部１５２と、色素量データ分割手段としての色素量データ分割部１５４ｃとを備える。また、記憶部１６０ｄには、画像処理プログラム１６１ｃと、データ送信プログラム１６２ｄと、標本情報ＤＢ１６３ｃとが格納される。データ送信プログラム１６２ｄは、画像処理端末２０ｄからの主要色素量データ送信要求に応答して、この画像処理端末２０ｄに対し、要求された標本について推定した色素量の主要色素量のデータを送信するとともに、補助色素量データ送信要求に応答して、この標本について推定した色素量の補助色素量のデータを送信する処理（データ送信処理）を実現するためのプログラムである。

そして、制御部１７０ｄは、マルチバンド画像取得制御部１７１と、色素量送信手段および補助浮動小数点データ部送信手段としてのデータ送信制御部１７２ｄとを含む。データ送信制御部１７２ｄは、画像処理端末２０ｄから送信される主要色素量データ送信要求に応答し、標本情報ＤＢ１６３ｃに登録されている要求された標本の色素量の主要色素量のデータを通信部１４０を介して画像処理端末２０ｄに送信する制御を行う。また、データ送信制御部１７２ｄは、画像処理端末２０ｄから送信される補助色素量データ送信要求に応答し、標本情報ＤＢ１６３ｃに登録されている要求された標本の色素量の補助色素量のデータを通信部１４０を介して画像処理端末２０ｄに送信する制御を行う。

図２８は、実施の形態４の画像処理端末２０ｄの機能構成の一例を示すブロック図である。なお、実施の形態３で説明した構成と同一の構成については、同一の符号を付する。図２８に示すように、画像処理端末２０ｄは、入力部２１０と、表示部２２０と、通信部２３０と、演算部２４０ｄ、記憶部２５０ｄと、装置各部を制御する制御部２６０ｄとを備える。

演算部２４０ｄは、補正色素量算出部２４１ｄと、補正スペクトル合成手段としての補正スペクトル合成部２４２ｄと、画素値算出手段および第２の補正画素値算出手段としての画像合成部２４３ｄと、色素量復元手段としての色素量データ復元部２４４ｄとを含む。補正色素量算出部２４１ｄは、画像処理装置１０ｄから取得した主要色素量または色素量データ復元部２４４ｄによって復元された復元色素量をもとに、色素量補正係数を用いて補正色素量を算出する。補正スペクトル合成部２４２ｄは、主要色素量から求めた色素Ｈ，色素Ｅの補正色素量および色素Ｒの主要色素量をもとに分光透過率を合成し、あるいは、復元色素量から求めた色素Ｈ，色素Ｅの補正色素量および色素Ｒの復元色素量とをもとに分光透過率を合成して、補正スペクトルを算出する。画像合成部２４３ｄは、補正スペクトル合成部２４２ｄが主要色素量をもとに合成した補正スペクトルを用いて表示画像の画素値を算出する。そして、画像合成部２４３ｄは、補正スペクトル合成部２４２ｄが復元色素量をもとに補正スペクトルを合成した場合には、この補正スペクトルを用いて補正画素値（第２の補正画素値）を算出し、表示画像の画素値を置き換えて再度表示画像を合成する。色素量データ復元部２４４ｄは、画像処理装置１０ｄから取得した主要色素量および補助色素量の各データをもとに復元色素量を算出し、画像処理装置１０ｄにおいて主要浮動小数点型データ部と補助浮動小数点型データ部とに分割される前の色素量のデータを復元する。

ここで、色素量の復元について説明する。図２９は、色素量のデータ復元の手順を説明する説明図であり、実施の形態３において図２９に示して説明した色素量の主要浮動小数点型データ部と補助浮動小数点型データ部とを復元する様子を示している。図２９に示すように、色素量データ復元部２４４ｄは、補助浮動小数点型データ部の上位１ビットＰ２１を分割前の色素量のデータの符号部とする。また、色素量データ復元部２４４ｄは、補助浮動小数点型データ部の２ビット目から３ビット分Ｐ２３を抽出して分割前の色素量のデータの指数部の上位ビットとし、主要浮動小数点型データ部の上位８ビットＰ１１を抽出して分割前の色素量のデータの指数部の下位ビットとする。さらに、色素量データ復元部２４４ｄは、主要浮動小数点型データ部の下位８ビットＰ１３を分割前の色素量データの仮数部の上位８ビットとし、補助浮動小数点型データ部の下位４４ビットＰ２５を分割前の色素量データの仮数部の下位４４ビットとする。以上のようにして、色素量データ復元部２４４ｄは、画像処理装置１０ｄにおいて推定された分割前の色素量のデータを復元する。

また、記憶部２５０ｄには、データ取得プログラム２５１ｄと、画像処理プログラム２５２ｄと、受信色素量データ２５３ｄとが格納される。データ取得プログラム２５１ｄは、画像処理装置１０ｄに対して標本を指定した主要色素量データ送信要求を送信し、指定した標本について推定された色素量の主要色素量のデータを取得するとともに、別のタイミングで画像処理装置１０ｄに対して補助色素量データ送信要求を送信し、指定した標本について推定された色素量の補助色素量のデータを取得する処理（データ取得処理）を実現するためプログラムである。画像処理プログラム２５２ｄは、画像処理装置１０ｄから取得した主要色素量をもとに画素値を算出して表示画像を合成するとともに、画像処理装置１０ｄから別のタイミングで取得した補助色素量と合わせて復元した復元色素量をもとに補正画素値を算出し、画素値を置き換えて表示画像を合成する処理（画像合成処理）を実現するためのプログラムである。受信色素量データ２５３ｄには、画像処理装置１０ｄから取得した主要色素量のデータがその標本識別情報と対応付けられて設定されるとともに、別のタイミングで画像処理装置１０ｄから取得した補助色素量がさらに対応付けられて設定される。

そして、制御部２６０ｄは、浮動小数点データ部受信手段および補助浮動小数点データ部受信手段としてのデータ取得制御部２６１ｄと、補正係数設定手段としての色素量補正係数設定部２６２と、画像表示制御部２６３とを含む。データ取得制御部２６１ｄは、通信部２３０を介して標本を指定した主要色素量データ送信要求を画像処理装置１０ｄに送信し、主要色素量のデータを取得する制御を行うとともに、補助色素量データ送信要求を画像処理装置１０ｄに送信し、補助色素量のデータを取得する制御を行う。

次に、画像処理装置１０ｄおよび画像処理端末２０ｄが行う処理手順について説明する。先ず、画像処理装置１０ｄと画像処理端末２０ｄとの間で色素量のデータを送受信する際の画像処理装置１０ｄおよび画像処理端末２０ｄの処理手順について説明する。図３０は、実施の形態４の画像処理装置１０ｄが行うデータ送信処理の処理手順および画像処理端末２０ｄが行うデータ取得処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｄに格納されたデータ送信プログラム１６２ｄに従って画像処理装置１０ｄの各部が動作するとともに、記憶部２５０ｄに格納されたデータ取得プログラム２５１ｄに従って画像処理端末２０ｄの各部が動作することによって実現される処理である。

図３０に示すように、画像処理端末２０ｄでは、データ取得処理を開始すると、データ取得制御部２６１ｄが、色素量を取得する標本の指定依頼の通知画面を表示部２２０に表示する制御を行って、標本の指定を依頼する（ステップｐ１）。そして、データ取得制御部２６１ｄは、この指定依頼の通知に対する応答に従って、主要色素量データ送信要求を指定された標本の標本識別情報とともに画像処理装置１０ｄに送信する制御を行う（ステップｐ３）。そして、データ取得制御部２６１ｄは、画像処理装置１０ｄから指定した標本の主要色素量データを受信するまで待機状態となる。

一方、画像処理装置１０ｄでは、データ送信処理として先ず、データ送信制御部１７２ｄが、画像処理端末２０ｄから送信された主要色素量データ送信要求を受信する制御を行う（ステップｑ１）。続いて、データ送信制御部１７２ｄは、主要色素量データ送信要求とともに送信された標本識別情報をもとに標本情報ＤＢ１６３ｃを探索し、この標本識別情報と対応付けられた主要色素量のデータを取得する（ステップｑ３）。そして、データ送信制御部１７２ｄは、主要色素量データ送信要求を送信した画像処理端末２０ｄに対して取得した主要色素量のデータを合成用データとして送信する制御を行う（ステップｑ５）。

そして、画像処理端末２０ｄでは、データ取得制御部２６１ｄは、画像処理装置１０ｄから送信された主要色素量データを受信したならば（ステップｐ５：Ｙｅｓ）、受信した主要色素量のデータを、標本識別情報と対応付けて受信色素量データ２５３ｄに保存する（ステップｐ７）。

続いて、データ取得制御部２６１ｄは、補助色素量を取得するか否かを判定する。例えば、画像処理端末２０ｄが行う画像合成処理において補助色素量が必要と判定された場合に、補助色素量を取得すると判定する。補助色素量を取得せずに終了する場合には（ステップｐ９：ＮＯ→ｐ１７：Ｙｅｓ）、本処理を終える。

そして、補助色素量を取得すると判定したならば（ステップｐ９：Ｙｅｓ）、データ取得制御部２６１ｄは、ステップｐ１で指定された標本の標本識別番号とともに補助色素量データ送信要求を画像処理装置１０ｄに送信し（ステップｐ１１）、補助色素量のデータを受信するまで待機状態となる。

一方、画像処理装置１０ｄでは、データ送信制御部１７２ｄは、画像処理端末２０ｄから送信された補助色素量データ送信要求を受信する制御を行う（ステップｑ７）。続いて、データ送信制御部１７２ｄは、補助色素量データ送信要求とともに送信された標本識別情報をもとに標本情報ＤＢを探索し、この標本識別情報と対応付けられた補助色素量のデータを取得する（ステップｑ９）。そして、データ送信制御部は、補助色素量データ送信要求を送信した画像処理端末２０ｄに対して取得した補助色素量のデータを送信する制御を行う（ステップｑ１１）。

そして、画像処理端末２０ｄでは、データ取得制御部２６１ｄは、画像処理装置１０ｄから送信された補助色素量のデータを受信したならば（ステップｐ１３：Ｙｅｓ）、受信した補助色素量のデータを、標本識別情報と対応付けて受信色素量データ２５３ｄに保存する（ステップｐ１５）。

次に、画像処理端末２０ｄが行う画像合成処理の処理手順について説明する。図３１は、実施の形態４における画像合成処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部２５０ｄに格納された画像処理プログラム２５２ｄに従って画像処理端末２０の各部が動作することによって実現される処理であり、図３１において、実施の形態３と同様の処理工程には同一の符号を付している。

図３１に示すように、ステップｄ１において色素量補正係数設定部２６２が色素Ｈ，色素Ｅの色素量補正係数を設定すると、続いて、補正色素量算出部２４１ｄが、受信色素量データを参照し、観察対象の標本について補助色素量のデータが取得済みか否かを判定する。取得済みの場合には（ステップｒ２：Ｙｅｓ）、後述するステップｒ２１に移行する。一方、補正色素量算出部２４１ｄは、未取得であれば（ステップｒ２：Ｎｏ）、ステップｏ３に移行する。

そして、ステップｄ９において画像表示制御部２６３が表示画像を表示部２２０に表示した後で、補助色素量の取得の要否を判定する（ステップｒ１１）。この判定は、例えば補助色素量の取得の要否についての指定を依頼する通知画面を表示部２２０に表示する制御を行う等し、ユーザ操作に従って行う。すなわち、ユーザは、より精度の高い表示画像による標本の観察を行いたい場合等に、入力部２１０を介して補助色素量の取得指示を入力する。補助色素量の取得が不要の場合には、ステップｒ１３に移り、色素量補正係数を変更して各色素の色素量を調整し、再度表示画像を合成・表示する場合であれば（ステップｒ１３：Ｙｅｓ）、ステップｄ１に戻る。また、表示画像による標本の観察を終了する場合には（ステップｒ１４：Ｙｅｓ）、本処理を終える。

そして、補助色素量の取得が必要な場合には、ステップｒ１５に移り、演算部２４０ｄは、補助色素量の取得指示を制御部２６０ｄのデータ取得制御部２６１ｄに出力する。このステップｒ１５の処理の結果、上記した図３０のステップｐ９においてデータ取得制御部２６１ｄが補助色素量を取得すると判定し、ステップｐ１１に移行することとなる。この場合には、演算部２４０ｄは、画像処理装置１０ｄからの補助色素量のデータの取得を完了するまで待機状態となる。すなわち、図３０のステップｐ１３で補助色素量のデータを受信し、ステップｐ１５で補助色素量のデータを保存して補助色素量のデータの取得を完了したならば（ステップｒ１７：Ｙｅｓ）、ステップｒ１９に移る。

すなわち、ステップｒ１９では、色素量データ復元部２４４ｄが、主要色素量のデータと補助色素量のデータとから色素量のデータを復元する。続いて、補正色素量算出部２４１ｄが、復元した復元色素量をもとに、ステップｄ１で設定された色素量補正係数を用いて色素Ｈ，色素Ｅの補正色素量を画素毎に算出する（ステップｒ２１）。なお、再度色素量補正係数の設定を行ってからステップｒ２１の処理を行うこととしてもよい。そして、補正スペクトル合成部２４２ｄが、色素Ｈ，色素Ｅの補正色素量および色素Ｒの復元色素量とをもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する（ステップｒ２３）。

続いて、画像合成部２４３ｄが、画素毎に合成された補正スペクトルをもとに表示画像の各画素の補正画素値を算出し、ステップｄ７で算出された画素値を補正画素値によって置き換えて表示画像を合成する（ステップｒ２５）。その後、ステップｄ９に移行して、画像表示制御部２６３が、復元色素量をもとに新たに合成された表示画像を表示部２２０に表示する制御を行う。

以上説明したように、実施の形態４によれば、実施の形態３と同様の効果を奏することができるとともに、必要に応じて補助色素量の取得を行うことができる。したがって、通信負荷を抑えつつ、実施の形態３のように主要色素量のみを取得する場合と比較して、表示画像の合成精度を向上させることができる。なお、ユーザ操作に従って補助色素量の取得の要否を判定することとしたが、補助色素量を取得するか否かを自動的に判定することとしてもよい。

（実施の形態５）
次に、実施の形態５について説明する。図３２は、実施の形態５の画像処理装置１０ｅの機能構成を説明するブロック図である。なお、実施の形態１〜４で説明した構成と同一の構成については、同一の符号を付する。図３２に示すように、画像処理装置１０ｅは、画像取得部１１０と、入力部１２０と、表示部１３０と、通信部１４０と、演算部１５０ｅと、記憶部１６０ｅと、装置各部を制御する制御部１７０ｅとを備える。

そして、演算部１５０ｅは、スペクトル推定手段としてのスペクトル推定部１５１と、色素量推定手段としての色素量推定部１５２ｂと、残差スペクトル算出手段としての残差スペクトル算出部１５３ｂと、色素量データ分割手段としての色素量データ分割部１５４ｃとを備える。

また、記憶部１６０ｅには、画像処理プログラム１６１ｅと、データ送信プログラム１６２ｅと、標本情報ＤＢ１６３ｅとが格納される。画像処理プログラム１６１ｅは、色素量の推定、残差スペクトルの算出、色素量のデータ分割を行って主要色素量や補助色素量、残差スペクトルのデータを標本情報ＤＢ１６３ｅに登録する処理（標本情報登録処理）を実現するためのプログラムである。データ送信プログラム１６２ｅは、画像処理端末２０ｅからの要求に応答し、主要色素量データ送信要求を受信したならば色素量の主要色素量のデータを送信し、補助色素量データ送信要求を受信したならば色素量の補助色素量のデータを送信し、残差スペクトル送信要求を受信したならば残差スペクトルのデータを送信する処理（データ送信処理）を実現するためのプログラムである。標本情報ＤＢ１６３ｅには、標本識別情報と対応付けてその標本に関するデータが蓄積され、主要色素量および補助色素量の各データで構成される色素量のデータと、残差スペクトルのデータとを含む。

そして、制御部１７０ｅは、マルチバンド画像取得制御部１７１と、色素量送信手段、残差スペクトル送信手段および補助浮動小数点データ部送信手段としてのデータ送信制御部１７２ｅとを含む。データ送信制御部１７２ｅは、画像処理端末２０ｅから送信される主要色素量データ送信要求、補助色素量データ送信要求、または残差スペクトル送信要求に応答し、標本情報ＤＢ１６３ｅに登録されている要求された標本の色素量の主要色素量、補助色素量または残差スペクトルのデータを通信部１４０を介して画像処理端末２０ｅに送信する制御を行う。

図３３は、実施の形態５の画像処理端末２０ｅの機能構成の一例を示すブロック図である。なお、実施の形態３で説明した構成と同一の構成については、同一の符号を付する。図３３に示すように、画像処理端末２０ｅは、入力部２１０と、表示部２２０と、通信部２３０と、演算部２４０ｅ、記憶部２５０ｅと、装置各部を制御する制御部２６０ｅとを備える。

演算部２４０ｅは、補正色素量算出部２４１ｅと、補正スペクトル合成手段としての補正スペクトル合成部２４２ｅと、画素値算出手段、第１の補正画素値算出手段および第２の補正画素値算出手段としての画像合成部２４３ｅと、色素量復元手段としての色素量データ復元部２４４ｄとを含む。補正色素量算出部２４１ｅは、画像処理装置１０ｅから取得した主要色素量または復元色素量をもとに、色素量補正係数を用いて補正色素量を算出する。補正スペクトル合成部２４２ｅは、色素Ｈ，色素Ｅの補正色素量および色素Ｒの主要色素量をもとに分光透過率を合成し、または色素Ｈ，色素Ｅの補正色素量および色素Ｒの復元色素量をもとに分光透過率を合成し、補正スペクトルを算出する。画像合成部２４３ｅは、補正スペクトル合成部２４２ｅによって合成された補正スペクトルを用いて画素値、補正画素値（第２の補正画素値）または残差スペクトルを考慮した補正画素値（第１の補正画素値）を算出し、表示画像を合成する。

また、記憶部２５０ｅには、データ取得プログラム２５１ｅと、画像処理プログラム２５２ｅと、受信合成用データ２５４ｅとが格納される。データ取得プログラム２５１ｅは、画像処理装置１０ｅに対し、標本を指定した主要色素量データ送信要求を送信して色素量の主要色素量のデータを取得し、標本を指定した補助色素量データ送信要求を送信して色素量の補助色素量のデータを取得し、あるいは標本を指定した残差スペクトル送信要求を送信して残差スペクトルのデータを取得する処理（データ取得処理）を実現するためプログラムである。画像処理プログラム２５２ｅは、画像処理装置１０ｅから取得した主要色素量をもとに画素値を算出して表示画像を合成するとともに、画像処理装置１０ｅから別のタイミングで取得した補助色素量から復元した復元色素量をもとに補正画素値（第２の補正画素値）を算出し、画像処理装置１０ｅからさらに別のタイミングで取得した残差スペクトルを用いて補正画素値（第２の補正画素値）を算出して、画素値を置き換えて表示画像を合成する処理（画像合成処理）を実現するためのプログラムである。受信合成用データ２５４ｅには、画像処理装置１０ｅから取得した主要色素量のデータと、別のタイミングで画像処理装置１０ｅから取得した補助色素量のデータと、さらに別のタイミングで画像処理装置１０ｅから取得した残差スペクトルのデータとがその標本識別情報と対応付けられて設定される。

そして、制御部２６０ｅは、浮動小数点データ部受信手段および補助浮動小数点データ部受信手段としてのデータ取得制御部２６１ｅと、補正係数設定手段としての色素量補正係数設定部２６２と、画像表示制御部２６３とを含む。データ取得制御部２６１ｅは、通信部２３０を介して標本を指定した主要色素量データ送信要求、補助色素量データ送信要求または残差スペクトル送信要求を画像処理装置１０ｅに送信し、主要色素量、補助色素量または残差スペクトルのデータを取得する制御を行う。

次に、画像処理装置１０ｅおよび画像処理端末２０ｅが行う処理手順について説明する。先ず、画像処理装置１０ｅと画像処理端末２０ｅとの間で合成用データを送受信する際の画像処理装置１０ｅおよび画像処理端末２０ｅの処理手順について説明する。図３４は、実施の形態５の画像処理装置１０ｅが行うデータ送信処理の処理手順を示す図であり、図３５は、実施の形態５の画像処理端末２０ｅが行うデータ取得処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｅに格納されたデータ送信プログラム１６２ｅに従って画像処理装置１０ｅの各部が動作するとともに、記憶部２５０ｅに格納されたデータ取得プログラム２５１ｅに従って画像処理端末２０ｅの各部が動作することによって実現される処理である。

図３４に示すように、画像処理端末２０ｅでは、データ取得処理を開始すると、データ取得制御部２６１ｅが、主要色素量データ送信要求、補助色素量データ送信要求および残差スペクトル送信要求のいずれかのデータ要求を標本の標本識別情報とともに所定のタイミングで画像処理装置１０ｅに送信する制御を行う（ステップｓ１）。例えば、実施の形態１と同様に、色素量を取得する標本の指定依頼の通知画面を表示部２２０に表示する制御を行い、この指定依頼の通知に対する応答に従って、主要色素量データ送信要求を指定された標本の標本識別情報とともに画像処理装置１０ｅに送信する制御を行う。また、実施の形態２等と同様に、ユーザ操作に従って補助色素量や残差スペクトルの取得の要否を判定し、取得すると判定したタイミングで適宜補助色素量データ送信要求や残差スペクトル送信要求を画像処理装置１０ｅに送信する制御を行う。

そして、データ取得制御部２６１ｅは、画像処理装置１０ｅから送信された主要色素量のデータを受信し（ステップｓ３）、画像処理装置１０ｅから送信された補助色素量のデータを受信し（ステップｓ５）、画像処理装置１０ｅから送信された残差スペクトルのデータを受信する（ステップｓ７）。

一方、図３５に示すように、画像処理装置１０ｅが行うデータ送信処理では、先ず、データ送信制御部１７２ｅが、画像処理端末２０ｅから送信されたデータ要求を受信する（ステップｔ１）。続いて、データ送信制御部１７２ｅは、データ要求が主要色素量データ送信要求であれば、標本識別情報をもとに標本情報ＤＢ１６３ｅを探索し、この標本識別情報と対応付けられた主要色素量のデータを取得する（ステップｔ３）。そして、データ送信制御部１７２ｅは、データ要求を送信した画像処理端末２０ｅに対して取得した主要色素量のデータを送信する制御を行う（ステップｔ５）。また、データ送信制御部１７２ｅは、データ要求が補助色素量データ送信要求であれば、標本識別情報をもとに標本情報ＤＢ１６３ｅを探索し、この標本識別情報と対応付けられた補助色素量のデータを取得する（ステップｔ７）。そして、データ送信制御部１７２ｅは、データ要求を送信した画像処理端末２０ｅに対して取得した補助色素量のデータを送信する制御を行う（ステップｔ９）。また、データ送信制御部１７２ｅは、データ要求が残差スペクトル送信要求であれば、標本識別情報をもとに標本情報ＤＢ１６３ｅを探索し、この標本識別情報と対応付けられた残差スペクトルのデータを取得する（ステップｔ１１）。そして、データ送信制御部１７２ｅは、データ要求を送信した画像処理端末２０ｅに対して取得した残差スペクトルのデータを送信する制御を行う（ステップｔ１３）。

次に、画像処理装置１０ｅが行う標本情報登録処理の処理手順について説明する。図３６は、実施の形態５における標本情報登録処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｅに格納された画像処理プログラム１６１ｅに従って画像処理装置１０ｅの各部が動作することによって実現される。

図３６に示すように、標本情報登録処理では、先ずマルチバンド画像取得制御部１７１が、画像取得部１１０の動作を制御して色素量の推定対象の染色標本をマルチバンド撮像し、染色標本画像を取得する（ステップｕ１）。続いて、スペクトル推定部１５１が、取得された染色標本画像の画素値をもとに、染色標本のスペクトル（推定スペクトル）を画素毎に推定する（ステップｕ３）。続いて、色素量推定部１５２ｂが、推定スペクトルをもとに、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルを用いて染色標本の色素量を画素毎に推定する（ステップｕ５）。

続いて、残差スペクトル算出部１５３ｂが、推定スペクトルから求まる推定分光吸光度と、推定した色素量から復元される復元分光透過率とをもとに、残差スペクトルを算出する（ステップｕ７）。続いて、色素量データ分割部１５４ｃが、推定した画素毎の色素量のデータを、主要浮動小数点データ部と補助浮動小数点データ部とに分割する（ステップｕ９）。そして、演算部１５０ｅが、分割した画素毎の色素量の主要浮動小数点データ部を主要色素量のデータとし、補助浮動小数点データ部を補助色素量のデータとして、標本情報ＤＢ１６３ｅに登録する（ステップｕ１１）。さらに、演算部１５０ｅは、算出した残差スペクトルのデータを標本情報ＤＢ１６３ｅに登録する（ステップｕ１３）。

次に、画像処理端末２０ｅが行う画像合成処理の処理手順について説明する。図３７は、実施の形態５における画像合成処理の処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６０ｅに格納された画像処理プログラム１６１ｅに従って画像処理端末２０ｅの各部が動作することによって実現される。

先ず、図３７に示すように、色素量補正係数設定部２６２が、例えばユーザ操作に従って、色素Ｈ，色素Ｅの色素量補正係数を設定する（ステップｖ１）。続いて、補正色素量算出部２４１ｅが、画像処理装置１０ｅから取得されて受信合成用データ２５４ｅに記憶された観察対象の標本の色素Ｈ，Ｅの主要色素量と設定された色素量補正係数とから、色素Ｈ，色素Ｅの補正色素量を画素毎に算出する（ステップｖ３）。続いて、補正スペクトル合成部２４２ｅが、色素Ｈ，色素Ｅの補正色素量および色素Ｒの主要色素量をもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する（ステップｖ５）。続いて、画像合成部２４３ｅが、画素毎に合成された補正スペクトルをもとに表示画像の各画素の画素値を算出し、表示画像を合成する（ステップｖ７）。続いて、画像表示制御部２６３が、合成された表示画像を表示部２２０に表示する制御を行う（ステップｖ９）。

また、色素量データ復元部２４４ｄが、受信合成用データ２５４ｅに記憶された主要色素量のデータと補助色素量のデータとから色素量のデータを復元する（ステップｖ１０）。続いて、補正色素量算出部２４１ｅが、復元した復元色素量をもとに、ステップｖ１で設定された色素量補正係数を用いて色素Ｈ，色素Ｅの補正色素量を画素毎に算出する（ステップｖ１１）。そして、補正スペクトル合成部２４２ｅが、色素Ｈ，色素Ｅの補正色素量および色素Ｒの復元色素量をもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する（ステップｖ１３）。続いて、画像合成部２４３ｅが、補正スペクトルをもとに表示画像の各画素の補正画素値を算出し、ステップｖ７で算出された画素値を補正画素値によって置き換えて表示画像を合成する（ステップｖ１５）。そして、画像表示制御部２６３が、復元色素量をもとに新たに合成された表示画像を表示部２２０に表示する制御を行う（ステップｖ１７）。

また、補正スペクトル合成部２４２ｅが、受信合成用データ２５４ｅに記憶された観察対象の標本の色素Ｈ，Ｅの主要色素量、または補助色素量が受信済みの場合であって、色素量が復元済みの場合には、色素Ｈ，Ｅの復元色素量をもとに、ステップｖ１で設定された色素量補正係数を用いて色素Ｈ，色素Ｅの補正色素量を画素毎に算出する（ステップｖ１８）。そして、補正スペクトル合成部２４２ｅが、色素Ｈ，色素Ｅの補正色素量および色素Ｒの主要色素量または復元色素量と残差スペクトルｅとをもとに、各色素の基準色素スペクトルを用いて補正スペクトルを画素毎に合成する（ステップｖ１９）。続いて、画像合成部２４３ｅが、補正スペクトルをもとに表示画像の各画素の補正画素値を算出し、ステップｖ７で算出された画素値を補正画素値によって置き換えて表示画像を合成する（ステップｖ２１）。そして、画像表示制御部２６３が、残差スペクトルを考慮して新たに合成された表示画像を表示部２２０に表示する制御を行う（ステップｖ２３）。

以上説明したように、実施の形態５によれば、上記した実施の形態１〜４および変形例と同様の効果を奏する。

なお、上記した各実施の形態や変形例の画像処理システムでは、画像処理装置は、画像処理端末から要求された標本について推定した画素毎の色素量を、この画像処理端末に対して全画素分送信する場合について説明したが、一部の画素の色素量を送信するようにしてもよい。例えば、判定基準とする１つまたは複数の色素を予め定めておき、この色素の色素量から２次的に算出した変換値が予め設定される所定の閾値より大きい画素の画素値を送信対象としてもよい。具体的には、変換値として、判定基準とする色素の画素毎の色素量の最大値、平均値、平均値、分散等の値を算出し、閾値処理する。あるいは、基準の色素量を予め定めておき、画素毎の色素量について、その変換値と基準の色素量の変換値との比率を算出する。変換値としては、例えば色素量を構成する各色素の色素量のうちの最大値、各色素の色素量の合計値や平均値、各色素の色素量の分散を用いることができる。また、基準の色素量については、例えば各色素の色素量をそれぞれ“０”として設定しておく。そして、算出した比率が所定の閾値より大きい色素量の画素について、画素値を送信するようにしてもよい。

また、上記の実施の形態では、染色標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率や吸光度のスペクトル特徴値を推定する場合にも、同様に適用できる。

画像処理システムの全体構成の一例を示すブロック図である。 実施の形態１の画像処理装置の機能構成の一例を示すブロック図である。 画像取得部の構成を示す模式図である。 画像取得部を構成するＲＧＢカメラのカラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。 画像取得部を構成する一方の光学フィルタの分光透過率特性を示す図である。 画像取得部を構成する他方の光学フィルタの分光透過率特性を示す図である。 Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。 実施の形態１の画像処理端末の機能構成の一例を示すブロック図である。 実施の形態１の画像処理装置が行うデータ送信処理の処理手順および画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。 実施の形態１における標本情報登録処理の処理手順を示すフローチャートである。 実施の形態１における画像合成処理の処理手順を示すフローチャートである。 実施の形態２の画像処理装置の機能構成を説明するブロック図である。 実施の形態２の画像処理端末の機能構成の一例を示すブロック図である。 実施の形態２の画像処理装置が行うデータ送信処理の処理手順および画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。 実施の形態２における標本情報登録処理の処理手順を示すフローチャートである。 実施の形態２における画像合成処理の処理手順を示すフローチャートである。 変形例の画像処理装置が行うデータ送信処理の処理手順および画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。 変形例における画像合成処理の処理手順を示すフローチャートである。 実施の形態３の画像処理装置の機能構成を説明するブロック図である。 色素量のデータ分割の手順を説明する説明図である。 具体的なデータ分割例を示す図である。 所定のデータを主要浮動小数点型データ部と補助浮動小数点型データ部とに分割した場合の誤差を示す図である。 実施の形態３の画像処理端末の機能構成の一例を示すブロック図である。 実施の形態３の画像処理装置が行うデータ送信処理の処理手順および画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。 実施の形態３における標本情報登録処理の処理手順を示すフローチャートである。 実施の形態３における画像合成処理の処理手順を示すフローチャートである。 実施の形態４の画像処理装置の機能構成を説明するブロック図である。 実施の形態４の画像処理端末の機能構成の一例を示すブロック図である。 色素量のデータ復元の手順を説明する説明図である。 実施の形態４の画像処理装置が行うデータ送信処理の処理手順および画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。 実施の形態４における画像合成処理の処理手順を示すフローチャートである。 実施の形態５の画像処理装置の機能構成を説明するブロック図である。 実施の形態５の画像処理端末の機能構成の一例を示すブロック図である。 実施の形態５の画像処理装置が行うデータ送信処理の処理手順を示す図である。 実施の形態５の画像処理端末が行うデータ取得処理の処理手順を示すフローチャートである。 実施の形態５における標本情報登録処理の処理手順を示すフローチャートである。 実施の形態５における画像合成処理の処理手順を示すフローチャートである。 表示画像の一例を示す図である。

１ 画像処理システム
１０，１０ｂ，１０ｃ，１０ｄ，１０ｅ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 通信部
１５０，１５０ｂ，１５０ｃ，１５０ｅ 演算部
１５１ スペクトル推定部
１５２，１５２ｂ 色素量推定部
１５３ｂ 残差スペクトル算出部
１５４ｃ 色素量データ分割部
１６０，１６０ｂ，１６０ｃ，１６０ｄ，１６０ｅ 記憶部
１６１，１６１ｂ，１６１ｃ，１６１ｅ 画像処理プログラム
１６２，１６２ｂ，１６２ｃ，１６２ｄ，１６２ｅ データ送信プログラム
１６３，１６３ｂ，１６３ｃ，１６３ｅ 標本情報ＤＢ
１７０，１７０ｂ，１７０ｃ，１７０ｄ，１７０ｅ 制御部
１７１ マルチバンド画像取得制御部
１７２，１７２ｂ，１７２ｃ，１７２ｄ，１７２ｅ データ送信制御部
２０（２０−１，２・・・），２０ｂ，２０ｃ，２０ｄ，２０ｅ 画像処理端末
２１０ 入力部
２２０ 表示部
２３０ 通信部
２４０，２４０ｂ，２４０ｃ，２４０ｄ，２４０ｅ 演算部
２４１，２４１ｃ，２４１ｄ，２４１ｅ 補正色素量算出部
２４２，２４２ｂ，２４２ｃ，２４２ｄ，２４２ｅ 補正スペクトル合成部
２４３，２４３ｂ，２４３ｄ，２４３ｅ 画像合成部
２４４ｄ 色素量データ復元部
２５０，２５０ｂ，２５０ｃ，２５０ｄ，２５０ｅ 記憶部
２５１，２５１ｂ，２５１ｃ，２５１ｄ，２５１ｅ データ取得プログラム
２５２，２５２ｂ，２５２ｃ，２５２ｄ，２５２ｅ 画像処理プログラム
２５３，２５３ｄ 受信色素量データ
２５４ｂ，２５４ｅ 受信合成用データ
２５５ｃ 受信主要色素量データ
２６０，２６０ｂ，２６０ｃ，２６０ｄ，２６０ｅ 制御部
２６１，２６１ｂ，２６１ｃ，２６１ｄ，２６１ｅ データ取得制御部
２６２ 色素量補正係数設定部
２６３ 画像表示制御部
Ｎ ネットワーク

Claims (15)

1. 画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システムであって、
   前記画像処理装置は、
   所定の色素で染色された染色標本をマルチバンド撮像した染色標本画像をもとに、該染色標本画像の画素毎に、前記染色標本の色素量を推定する色素量推定手段と、
   前記推定された前記染色標本の色素量を前記画像処理端末に送信する色素量送信手段と、
   を備え、
   前記画像処理端末は、
   前記画像処理装置から送信される前記染色標本の色素量を受信する色素量受信手段と、
   前記受信した染色標本の色素量をもとに、所定の色素量補正係数を用いて前記染色標本の表示画像の画素値を算出する画素値算出手段と、
   前記算出された前記染色標本の表示画像の画素値をもとに、前記染色標本の表示画像を表示する画像表示手段と、
   を備えることを特徴とする画像処理システム。
2. 前記画像処理端末は、
   前記色素量補正係数を設定する補正係数設定手段を備え、
   前記画素値算出手段は、前記設定された色素量補正係数を用いて前記染色標本の表示画像の画素値を算出することを特徴とする請求項１に記載の画像処理システム。
3. 前記色素量送信手段は、前記色素量推定手段によって推定された全画素分の色素量を前記画像処理端末に送信することを特徴とする請求項１または２に記載の画像処理システム。
4. 前記色素量送信手段は、前記色素量推定手段によって推定された画素毎の色素量のうち、所定の画素の色素量を前記画像処理端末に送信することを特徴とする請求項１または２に記載の画像処理システム。
5. 前記画像処理装置は、
   前記染色標本画像をもとに、該染色標本画像の各画素に対応する前記染色標本上の位置におけるスペクトルを推定するスペクトル推定手段と、
   前記スペクトル推定手段によって推定されたスペクトルと、前記推定された前記染色標本の色素量から復元されるスペクトルとをもとに、残差スペクトルを算出する残差スペクトル算出手段と、
   前記残差スペクトルを前記画像処理端末に送信する残差スペクトル送信手段と、
   を備え、
   前記画像処理端末は、
   前記画像処理装置から送信される前記残差スペクトルを受信する残差スペクトル受信手段を備え、
   前記画素値算出手段は、前記受信した前記染色標本の色素量と前記残差スペクトルとをもとに、前記色素量補正係数を用いて第１の補正画素値を算出する第１の補正画素値算出手段を有することを特徴とする請求項１〜４のいずれか１つに記載の画像処理システム。
6. 前記画像値算出手段は、前記染色標本の表示画像の画素値を前記第１の補正画素値で置き換えることを特徴とする請求項５に記載の画像処理システム。
7. 前記画像処理装置は、
   前記推定された前記染色標本の色素量を浮動小数点型のデータとして扱い、指数部および仮数部をそれぞれ所定の配分で上位ビットと下位ビットとに分割することによって、前記色素量を、前記分割された指数部の下位ビットおよび前記分割された仮数部の上位ビットで構成される主要浮動小数点データ部と、符号ビット、前記分割された指数部の上位ビットおよび前記分割された仮数部の下位ビットで構成される補助浮動小数点データ部とに分割する色素量データ分割手段を備え、
   前記画像処理装置の前記色素量送信手段は、前記分割された色素量の主要浮動小数点データ部を前記画像処理端末に送信し、
   前記画像処理端末の前記色素量受信手段は、前記画像処理装置から送信される前記色素量の主要浮動小数点データ部を受信し、
   前記画像処理端末の前記画素値算出手段は、前記受信した前記色素量の主要浮動小数点データ部をもとに、所定の色素量補正係数を用いて前記染色標本の表示画像の画素値を算出することを特徴とする請求項１〜６のいずれか１つに記載の画像処理システム。
8. 前記画像処理装置は、
   前記分割された色素量の補助浮動小数点データ部を前記画像処理端末に送信する補助浮動小数点データ部送信手段を備え、
   前記画像処理端末は、
   前記画像処理装置から送信される前記色素量の補助浮動小数点データ部を受信する補助浮動小数点データ部受信手段と、
   前記色素量の主要浮動小数点データ部と、前記色素量の補助浮動小数点データ部とをもとに、前記染色標本の色素量を復元する色素量復元手段と、
   を備え、
   前記画素値算出手段は、前記復元された色素量をもとに、前記所定の色素量補正係数を用いて前記染色標本の表示画像の第２の補正画素値を算出する第２の補正画素値算出手段を有し、
   前記画素値算出手段は、前記染色標本の表示画像の画素値を前記第２の補正画素値で置き換えることを特徴とする請求項７に記載の画像処理システム。
9. 前記受信した染色標本の色素量と前記所定の色素量補正係数と前記色素の色素スペクトルとから前記染色標本画像の各画素に対応する前記染色標本上の標本点における補正スペクトルを合成する補正スペクトル合成手段を備え、
   前記画素値算出手段は、前記補正スペクトルをもとに前記染色標本の表示画像の画素値を算出することを特徴とする請求項１〜８のいずれか１つに記載の画像処理システム。
10. 前記補正スペクトル合成手段による補正スペクトルの合成は、ランベルト・ベールの法則を用いて行うことを特徴とする請求項９に記載の画像処理システム。
11. 前記画像処理装置は、前記補正スペクトルの合成に用いた前記色素の色素スペクトルを前記画像処理端末に送信する色素スペクトル送信手段を備え、
    前記画像処理端末は、前記画像処理装置から送信される前記色素の色素スペクトルを受信する色素スペクトル受信手段を備えることを特徴とする請求項１〜１０のいずれか１つに記載の画像処理システム。
12. 前記画像処理端末は、
    前記色素の色素量と、該色素の色素量における画素値とを対応付けた対応関係を記憶する記憶手段を備え、
    前記画素値算出手段は、前記記憶手段に記憶された対応関係をもとに前記受信した染色標本の色素量に対応する画素値を読み出して前記染色標本の表示画像の画素値とすることを特徴とする請求項１〜１１のいずれか１つに記載の画像処理システム。
13. 前記分光特性は、分光透過率、分光反射率または吸光度のいずれかのスペクトル特徴値であることを特徴とする請求項１〜１２のいずれか一つに記載の画像処理システム。
14. 画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システムの画像処理装置であって、
    所定の色素で染色された染色標本をマルチバンド撮像した染色標本画像をもとに、該染色標本画像の画素毎に、前記染色標本の色素量を推定する色素量推定手段と、
    前記推定された前記染色標本の色素量を前記画像処理端末に送信する色素量送信手段と、
    を備えることを特徴とする画像処理装置。
15. 画像処理装置と画像処理端末とがネットワークを介して接続される画像処理システムの画像処理端末であって、
    前記画像処理装置から送信される前記染色標本の色素量を受信する色素量受信手段と、
    前記受信した染色標本の色素量をもとに、所定の色素量補正係数を用いて前記染色標本の表示画像の画素値を算出する画素値算出手段と、
    前記算出された前記染色標本の表示画像の画素値をもとに、前記染色標本の表示画像を表示する画像表示手段と、
    を備えることを特徴とする画像処理端末。