JP7127288B2 - 呈色反応観察補助システム、呈色反応観察補助方法及びプログラム - Google Patents

Description

本発明は、尿検査や妊娠検査等の体外診断薬や、病原菌等を特定するシート状の簡易分析キットの呈色反応の検出を行う呈色反応観察補助システム、呈色反応観察補助方法及びプログラムに関する。

近年、体外診断薬や病原菌等を特定するシート状の簡易分析キットが、病気、妊娠、化学物質、病原菌などの判定に多用されるようになってきている。例えば、簡易検査キットの一例として、尿検査紙における一般的な例を以下に説明する。検査紙上に単一または複数の反応領域が配置されており、被検体を含む被検溶液が滴下されると、この被検体が反応領域において呈色反応を生じる。そして、被検溶液滴下後、検査対象の検査項目ごとに定められた既定の時間経過時の呈色反応結果と検査結果に対応した色凡例とを目視で確認して、被検体に対する検査結果の分析が行われる。

また、呈色反応が発生した反応領域のスペクトル吸光度を測定し、被検溶液に含まれる目的物質である被検体の濃度を測定する分析方法もある。

上述のような尿検査紙を用いて被検体の分析を行う専用装置やこの専用装置を用いた被検体の検出手法は既に存在しているが、この分析に用いられる専用装置は、専門家(医療従事者)向けの装置である。このため、上述した専用装置は、一般的に高価できわめて限られた場所にのみ設置され、かつ専門家しか分析処理の操作を行うことができない。
また、上述の専用装置を用いた検出手法は、この専用装置に組み込まれた特殊な光学装置を用いて照明し、所定の環境下で反応領域が撮影されることを前提としている(例えば、特許文献１参照)。また、尿検査紙は撮影の光学系に対して機械的に位置を制御しており、撮影時の照明条件や撮影条件が検査紙の観察・判定に理想的なものとなっている。

また、近年、”Point of Care Testing (POCT)”が提唱されており、病院の専用装置でしか処理できなかった生化学的検査項目を、生化学的な専門知識や専用装置の操作のスキルがなくても、何時でも、何処でも、かつ誰でも簡便な装置を用い、安価で容易に検査する仕組み作りが急務であり、患者にとって検査をより身近なものにしていこうとする傾向がみられる。また、医療現場においても即座に検査結果を得られ、医師が迅速な処置を施すことが出来るメリットが生まれる。この簡易検査キットを用いることで、医療現場外でも救急車内や家庭内で予備診断を簡易に行うことができ、病院に搬送された後の医療現場における対処を効率的に進めることができる。

特許第５３５１０９０号公報

しかしながら、上述の分析方法においてもなお、専用装置にて分析を行うことが前提となっている。
より広範に利用できるような分析方法を想定すると、例えば一般家庭などで専用装置を導入することはコスト面などの観点からあり得ない。また、専門知識を持たない一般のユーザが目視判定することはこれらの検査紙では想定されていない。このため、呈色反応時間の異なる検査項目の多い検査紙においては特に、どのタイミングでどの箇所を観察すればよいか煩雑すぎて分かり難いため、分析に慣れていない一般のユーザである場合、分析結果の正確な判定ができない。

例えば、上記尿検査紙の場合は、尿中の白血球、潜血、ブドウ糖等、複数の項目が検査できるようになっている。ここで、反応領域における呈色反応の時間が項目毎に異なる場合があるため、各々の検査項目ごとに定められた、それぞれの既定の時間経過時の呈色を観察する必要がある。
しかし、比色を行う反応領域は既定の時間経過後も反応が進むため、既定の時間未満または、規定の時間以上である場合、検査の項目の正確な判定結果を得ることが困難となる。したがって、被検体がどのタイミングで滴下された、また滴下されてからの経過時間が正確に判定できない状態である場合、判定結果の精度に影響を与える。

本発明は、このような状況に鑑みてなされたもので、特殊で高価な検査装置を用いることなく、かつ専門知識を持たない一般のユーザであっても、検査項目毎に設定された設定検出時間が経過した時点において、正確に上述のような検査紙における呈色反応の判定結果の観察を可能とする呈色反応観察補助システム、呈色反応観察補助方法及びプログラムを提供する。

上述した課題を解決するために、本発明の呈色反応観察補助システムは、分析キットの呈色反応領域に形成された検査項目毎の比色反応領域において、当該呈色反応領域に滴下された被検溶液に含まれる被検出対象物質による呈色反応の観察を補助する呈色反応観察補助システムであり、撮像装置から供給される撮像画像に、前記比色反応領域の各々を含む観察対象面が含まれているか否かを判定する観察対象面検出部と、前記観察対象面における前記比色反応領域の各々の位置を特定するための観察位置特定部と、前記比色反応領域の各々に対して前記被検溶液の滴下が行われたことを検出する滴下検出部と、前記滴下が行われた時点から、前記比色反応領域毎に予め設定された反応時間が経過したか否かを検出する経過時間検出部と、表示部と、前記反応時間が経過した前記比色反応領域に対するマークを前記表示部の画像に提示することで観察を促す観察反応領域指示部と、前記反応時間が経過した前記比色反応領域の呈色反応色を判定するための参照反応色パタンのうち前記反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンに対するマークを前記表示部の画像に提示する参照反応色パタン提示部とを備えることを特徴とする。

本発明の呈色反応観察補助システムは、前記撮像画像における、前記経過時間検出部が前記反応時間が経過したことを検出した比色反応領域の画像である比色反応領域画像をデータ記憶部に書き込んで記憶させる呈色反応領域画像記憶制御部をさらに備え、前記観察反応領域指示部が前記データ記憶部から前記比色反応領域画像を読み出し、前記観察対象面における対応する前記反応時間が経過した前記比色反応領域の位置に提示することを特徴とする。

本発明の呈色反応観察補助システムは、観察対象面検出部が、前記観察対象面が前記撮像画像に含まれていない場合、前記観察対象面が前記撮像画像に含まれるように、前記撮像装置による撮像を行うことを促すことを特徴とする。

本発明の呈色反応観察補助システムは、前記滴下検出部が、前記撮像画像における前記比色反応領域の各々の画像の呈色反濃色の変化により、前記比色反応領域それぞれに前記被検溶液が滴下されたことを検出することを特徴とする。

本発明の呈色反応観察補助システムは、前記撮像画像における前記比色反応領域の各々の画像の呈色反応色の変化により、前記比色反応領域それぞれに前記被検溶液が滴下されたことを検出することを特徴とする。

本発明の呈色反応観察補助システムは、前記経過時間検出部が、前記比色反応領域毎に、前記被検溶液が滴下された時点からの経過時間を計時し、前記比色反応領域の前記反応時間が経過したか否かの検出を行うことを特徴とする。

本発明の呈色反応観察補助システムは、参照反応色パタン提示部が、前記観察反応領域指示部が前記比色反応領域の観察を促した際、前記検査項目の各々前記比色反応領域の前記参照反応色パタンが記載されている呈色反応標本において、観察を促された前記比色反応領域に対応する前記参照反応色パタンを指示することを特徴とする。

本発明の呈色反応観察補助システムは、参照反応色パタン提示部が、前記参照反応色パタンが前記データ記憶部に予め書き込まれて記憶されている場合、前記観察反応領域指示部が前記比色反応領域の観察を促した際に、前記撮像画像の撮像条件に対応させて色校正した前記参照反応色パタンを提示することを特徴とする。

本発明の呈色反応観察補助システムは、前記分析キットが、前記被検出対象物質の呈色反応により前記被検出対象物質の検出を行う媒体として、少なくともｐＨ（ピーエッチ）試験紙、尿検査紙、酸化度測定紙の簡易検査紙が用いられていることを特徴とする。

本発明の呈色反応観察補助方法は、分析キットの呈色反応領域に形成された検査項目毎の比色反応領域において、当該呈色反応領域に滴下された被検溶液に含まれる被検出対象物質による呈色反応の観察を補助する呈色反応観察補助方法であり、観察対象面検出部が、撮像装置から供給される撮像画像に、前記比色反応領域の各々を含む観察対象面が含まれているか否かを判定する観察対象面検出過程と、観察位置特定部が、前記観察対象面における前記比色反応領域の各々の位置を特定するための観察位置特定過程と、滴下検出部が、前記比色反応領域の各々に対して前記被検溶液の滴下が行われたことを検出する滴下検出過程と、経過時間検出部が、前記滴下が行われた時点から、前記比色反応領域毎に予め設定された反応時間が経過したか否かを検出する経過時間検出過程と、観察反応領域指示部が、前記反応時間が経過した前記比色反応領域に対するマークを表示部の画像に提示することで観察を促す観察反応領域指示過程と、参照反応色パタン提示部が、前記反応時間が経過した前記比色反応領域の呈色反応色を判定するための参照反応色パタンのうち前記反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンに対するマークを前記表示部の画像に提示する参照反応色パタン提示過程とを含むことを特徴とする。

本発明のプログラムは、分析キットの呈色反応領域に形成された検査項目毎の比色反応領域において、当該呈色反応領域に滴下された被検溶液に含まれる被検出対象物質による呈色反応の観察を補助する呈色反応観察補助システムの機能をコンピュータに実行させるプログラムであり、前記コンピュータを、撮像装置から供給される撮像画像に、前記比色反応領域の各々を含む観察対象面が含まれているか否かを判定する観察対象面検出手段、前記観察対象面における前記比色反応領域の各々の位置を特定するための観察位置特定手段、前記比色反応領域の各々に対して前記被検溶液の滴下が行われたことを検出する滴下検出手段、前記滴下が行われた時点から、前記比色反応領域毎に予め設定された反応時間が経過したか否かを検出する経過時間検出手段、前記反応時間が経過した前記比色反応領域に対するマークを表示部の画像に提示することで観察を促す観察反応領域指示手段、前記反応時間が経過した前記比色反応領域の呈色反応色を判定するための参照反応色パタンのうち前記反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンに対するマークを前記表示部の画像に提示する参照反応色パタン提示手段として機能させるためのプログラムである。

以上説明したように、本発明によれば、特殊で高価な検査装置を用いず、かつ専門知識を持たない一般のユーザであっても、汎用的なデジタルカメラやスマートフォン、眼鏡型ディスプレイなどの簡易な撮像装置により撮像した画像により、検査項目毎の既定の時間経過後の比色反応領域を観察し、複数の検査項目それぞれに対する検査結果を正確かつ簡便に得ることが可能な呈色反応観察補助システム、呈色反応観察補助方法及びプログラムを提供することができる。

本発明の第１の実施形態による呈色反応観察補助システムの構成例を示すブロック図である。 本実施形態における呈色反応観察補助システムの解析対象の分析キットの外観の一例を示す図である。 図２の呈色反応領域内の各比色反応領域の呈色状態を照合するための比色反応標本の一例を示す図である。 呈色反応領域を撮像する際の撮像部１０１の観察角度を説明する図である。 反応時間経過後における観察対象の検査項目の参照比色部と参照比色パタンとを対応させた表示例を説明する図である。 本発明の一実施形態の呈色反応観察補助システムにおける簡易検査紙や簡易検査薬を用いた呈色反応検出対象に対する呈色反応検出処理の動作例を示すフローチャートである。 反応時間経過後における観察対象の検査項目の参照比色部と参照比色パタンとを対応させた他の表示を説明する図である。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による呈色反応観察補助システムの構成例を示すブロック図である。図１において、呈色反応観察補助システム１は、撮像部１０１、露光制御部１０２、撮像制御部１０３、対象検出部１０４、観察位置特定部１０５、滴下検出部１０６、経過時間検出部１０７、観察反応領域指示部１０８、参照反応色パタン提示部１０９、反応領域画像記憶制御部１１０、表示部１１１、照明部１１２、及びデータ記憶部１１３の各々を備えている。

撮像部１０１は、例えば、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを用いたデジタルカメラ、あるいは携帯端末に備えられた撮像装置などであり、対象物を撮像して撮像画像データを出力する。また、撮像画像データを動画として撮像してもよい。本実施形態において、撮像画像データとしては、例えば各色成分ＲＧＢの濃淡を含む動画のカラー画像を対象としている。撮像部１０１は、撮像画像データをフレーム毎に、タイムスタンプを付加してデータ記憶部１１３に対して書き込み記憶させる。

露光制御部１０２は、露光の撮像の条件として、シャッタースピード、絞り値、照明光の有無、照明光の強度などの撮像部１０１の撮像条件を制御する。また、露光制御部１０２は、呈色反応検出システム１の撮像する呈色反応領域（分析キット）の周囲の明るさに対応し、撮像時において必要に応じてフラッシュ光源のような照明光の点灯指示を、図示しない照明部に対して出力する。

図２は、本実施形態における呈色反応観察補助システムの解析対象の分析キットの外観の一例を示す図である。本実施形態が検出対象とする分析キットは、例えば、図２に示す外観を有する分析キット９００である。分析キット９００は、観察対象面９０１に呈色反応領域９０２を備えている。呈色反応領域９０２には、複数の比色反応領域として、比色反応領域９０３、９０４、９０５、９０６、…、９０７、９０８の各々が形成されている。また、これらの比色反応領域は、呈色反応領域に滴下された被検溶液に含まれる検出対象物質により呈色する領域であり、検出対象物質毎に設けられており、各々が対応する検出対象物質に対してそれぞれ反応する。
また、分析キット９００の観察対象面９０１の存在する面には、色補正用パッチ領域９０９が設けられている。色補正用パッチ領域９０９には、呈色反応領域９０２の撮像画像データの色味を補正するための色補正用パッチ１００１、１００２及び１００３が形成されている（後述）。

図３は、図２の呈色反応領域内の各比色反応領域の呈色状態を照合するための比色反応標本の一例を示す図である。参照反応色パタン標本９００’には、比色反応領域９０３、９０４、９０５、９０６、…、９０７、９０８各々が変化しうる全ての比色反応の呈色パタンが、参照比色パタン９０３’、９０４’、９０５’、９０６’、…、９０７’、９０８’の各行にそれぞれ対応して示されている。
例えば、参照比色パタン９０３’の行において、中央の「０」の文字の列に位置している参照比色部９０３’＿３は、被検溶液が滴下される前の比色反応領域の色味が示されている。また、参照比色パタン９０３’の行において、中央の参照比色部９０３’＿３から左の呈色状態の参照比色部９０３’＿２、９０３’＿１に類似した色味となるほど、比色反応領域９０３が検出する対象が陰性の可能性が大きくなることを示している。

逆に、中央の参照比色部９０３’＿３から右の呈色状態の参照比色部９０３’＿４、９０３’＿５に類似した色味になるほど、比色反応領域９０３が検出する対象が陽性の可能性が大きくなることを示している。一例として、比色反応領域９０３に対して規定されている被検溶液滴下時からの反応時間後に比色反応領域９０３の呈色状態を観察した際、その色味が参照比色パタン９０３’の行における左から２番目の参照比色部９０３’＿２の色味に一番近い場合、比色反応領域９０３が検出する対象が「Ｎ１（Ｎｅｇａｔｉｖｅ １：陰性反応レベル１）」と判断される。また、比色反応領域９０３に対して規定されている被検溶液滴下時からの反応時間後に比色反応領域９０３の呈色状態を観察した際、その色味が参照比色パタン９０３’の行における左から２番目の参照比色部９０３’＿５の色味に一番近い場合、比色反応領域９０３が検出する対象が「Ｐ２（Ｐｏｓｉｔｉｖｅ ２：陽性反応レベル２）」と判断される。
また、参照反応色パタン標本９００’には、色補正用パッチパタン９０９’が設けられている。この色補正用パッチパタン９０９’における色補正用パッチ１００１’、１００２’及び１００３’の各々は、図２における色補正用パッチ１００１、１００２、１００３それぞれに対応している。

図２に戻り、撮像制御部１０３は、撮像部１０１が分析キットの撮像画像である撮像画像データを撮像する際、焦点深度、撮像素子の感度(ＩＳＯ(International Organization for Standardization)感度)などの撮像部１０１の撮像条件を、予め設定された数値に制御する。

撮像制御部１０３は、撮像部１０１が分析キットの撮像画像である撮像画像データを撮像した際、現在の撮像画像データを解析し、分析キットの呈色反応領域の撮像画像データに対して、露光制御部１０２の指示により光源環境の影響を排除する処理を行う。また、汎用のデジタルカメラにホワイトバランス機能が備わっている場合、ホワイトバランス機能を用いて、光源環境の影響を排除する処理を行っても良い。

対象検出部１０４は、図２における呈色反応領域９０２及び色補正用パッチ領域９０９の各々が、上記撮像画像データ内に存在するかの判定を行う。この判定において、分析キット自身のデザインパタン（３次元形状モデル）の参照画像データを、データ記憶部１１３に予め記憶させておく。そして、対象検出部１０４は、データ記憶部１１３に記憶させた参照画像データと、撮像画像データ内のデザインパタンの画像データとの各々の画像特徴点同士が、三次元空間内で一致しているか否か、すなわち参照画像データと画像データとの類似度を計算して、計算した類似度が予め設定された所定の類似度の範囲内であるか否かにより、一致するか否かを判定する。

例えば、上述した判定方法は、画像特徴点近傍のウインドウマッチングをし、ウインドウ内の全ての輝度値の二乗差が予め設定した閾値以内（例えば、所定の類似度の範囲内）であれば類似度が高いため一致していると判定し、ウインドウ内の全ての輝度値の二乗差が閾値外であれば一致しないとして判定する方法である。
また、分析キット自身のデザインパタンに画像特徴が十分になければ、分析キット内の呈色反応領域９０２及び色補正用パッチ領域９０９の各々の領域外に、位置検出専用パタンを配置して、データ記憶部１１３内の参照画像データと、撮像画像データにおける画像データとの各々の位置検出専用パタン上の画像特徴点同士で、一致しているか否かを上述した計算によって判定する構成としても良い。

対象検出部１０４は、呈色反応領域９０２及び色補正用パッチ領域９０９の各々が撮像画像データ内に存在しないと判定した場合、表示部１１１の表示画面に対し、呈色反応領域９０２及び色補正用パッチ領域９０９の各々が撮像画像データ内に含まれるように、分析キット９００及び参照反応色パタン標本９００’それぞれを撮像するようにユーザに促す指示を示す通知を表示（提示）する。この通知は、撮像画像データ内に呈色反応領域９０２及び色補正用パッチ領域９０９の各々が含まれるように撮像されるまで表示し続ける。

また、対象検出部１０４は、呈色反応領域９０２及び色補正用パッチ領域９０９の各々が撮像画像データ内に存在すると判定された場合には、この撮像画像データが撮像された３次元空間において、撮像を行った撮像部１０１の位置である観察位置(座標値)と、撮像部１０１の撮像方向との各々を所定の座標変換式（後述する撮像部１０１の内部パラメタにより求めた変換式）から求める。ここで、観察位置は、３次元空間を示す３次元座標系における撮像部１０１が撮像（または観察）した座標値を示している。すなわち、データ記憶部１１３に記憶された、撮像部１０１による分析キット９００の観察位置及び撮像方向の各々を基準とした、各撮像画像データにおける呈色反応領域の呈色反応領域９０２及び色補正用パッチ領域９０９の各々の相対的な観察角度、あるいは撮像角度が推定される。

本実施形態においては、予め撮像部１０１に対して設定された所定の焦点距離により、呈色反応領域９０２及び色補正用パッチ領域９０９の各々をこの撮像部１０１により撮像し、撮像画像データとする。ここで、呈色反応領域９０２は、すでに述べたように、比色反応領域９０３から９０８を含んでいる。
そして、対象検出部１０４は、撮像した撮像画像データの画像データから、上述したように、予め設定された座標変換式を用いることにより、３次元空間における呈色反応領域９０２及び色補正用パッチ領域９０９の各々を撮像した撮像画像データの観察位置及び観察角度の各々を推定する。

上述した観察角度を求める座標変換式は、分析キット９００に設けられた呈色反応領域に対する呈色反応検出を行う前処理に用いられる。この前処理は、予め複数枚の撮像画像データ(後述するキャリブレーションボードを撮像した撮像画像データ)から３次元空間を再生した際、複数の撮像画像データの２次元座標における画素の位置と３次元空間における座標位置とを対応付ける際に生成される式である。予め生成された座標変換式は、データ記憶部１１３に対して、予め呈色反応検出対象毎に書き込んで記憶されている。ここで、呈色反応検出対象とは、分析キットの種類を示している。分析キットの形状が異なる場合、それぞれの容器形状に対応した座標変換式を準備する必要がある。

図４は、呈色反応領域を撮像する際の撮像部１０１の観察角度を説明する図である。図４において、被検溶液が呈色反応領域に滴下され、この被検溶液中に被検出対象物質がある場合、その被検出対象物質の濃度または強度に応じて各々の比色反応領域の色を変化させ、呈色反応を観察することができる。

法線４００は、撮像画像データの撮像方向の観察角度αを示すための基準線であり、呈色反応領域９０２の表面の面方向を示す法線である。観察角度αは、撮像部１０１の撮像方向１０１Ａと法線４００との成す角度である。
例えば、対象検出部１０４は、法線４００に平行な方向をｚ軸とし、呈色反応領域の辺の各々がｘ軸及びｙ軸の各々と平行となるように分析キットを３次元座標系において配置する。例えば、分析キット９００の容器の各辺により形成される頂点のいずれかが、３次元座標系の原点Ｏと一致するように、３次元座標系において、分析キットをｘ軸及びｙ軸からなる２次元平面に配置する。このため、分析キット９００の容器の厚さ方向がｚ軸に対して平行となる。この分析キット９００の容器の３次元形状は、予め既知の情報として、すでに述べた座標変換の式とともに、データ記憶部１１３に対して記憶されている。

図１に戻り、対象検出部１０４は、撮像画像データが撮像された際の観察角度を求める際、３次元座標系における分析キット９００の容器の３次元形状の各座標と、撮像画像データ（２次元座標系）の各画素（座標）とを、上記座標変換式により対応付ける。そして、対象検出部１０４は、上記対応付けにより、３次元空間の３次元座標系における撮像画像データの撮像位置と、この撮像位置からの撮像画像データの撮像方向を求める。このとき、対象検出部１０４は、すでに述べたように、３次元座標系において呈色反応領域の３次元形状のいずれかの頂点を原点とし、法線がｚ軸と平行となり、各辺がｘ軸またはｙ軸と平行となるように、分析キット９００の容器上に３次元空間を規定する。

そして、対象検出部１０４は、この分析キット９００の容器の３次元形状を基準として、３次元座標系における撮像部１０１の撮像画像データの撮像位置、及び撮像方向を求める。これにより対象検出部１０４は、すでに述べたように、法線４００と撮像部１０１の撮像方向との成す観察角度αを求める。

本実施形態においては、事前に撮像部１０１に対してカメラキャリブレーション(カメラ較正)が行われていることが前提として必要である。このカメラキャリブレーションとは、予め三次元形状が既知なキャリブレーションボードを撮像領域内で一回あるいは複数回撮像し、撮像された一枚あるいは複数の撮像画像データを用いて三次元空間の三次元座標系における座標点と、撮像画像データの２次元座標系における座標点（二次元ピクセル）の複数の座標点の対応を取る。これにより、撮像部１０１とキャリブレーションボードとの相対位置関係(以下、外部パラメタ)を示す上記座標変換式と、撮像部１０１の光学中心や各画素（２次元ピクセル）における光線入射方向ベクトル、レンズ歪みなど(以下、撮像部１０１の内部パラメタ)を推定する。

ここで、本実施形態においては、対象検出部１０４が撮像画像データの観察角度を推定するため、予め撮像部１０１で撮像した複数の異なる視点方向からキャリブレーションボードを撮像した２次元画像から、すなわち多視点の撮像画像データからグローバル座標系（３次元座標系）を再構成する。そして、同一ピクセルにおける再構成した３次元座標系における座標点と、撮像部１０１が撮像した撮像画像データの２次元座標系における座標点との対応関係を示す座標変換式を、カメラキャリブレーション時に求めておく。

上述したように、本実施形態において、観察角度の推定は、事前に撮像部１０１に対してカメラキャリブレーションが行われることにより、検出システムにおける呈色反応検出処理の実行時に撮像部１０１の内部パラメタが既知であり、かつ分析キット９００の容器及び呈色反応領域の三次元形状が既知(位置検出専用パタンを用いる場合は、そのパタンの三次元形状が既知)であることが前提である。これにより、呈色反応領域の撮像画像データを撮像し、上記座標変換式によって三次元座標系における座標点と撮像画像データの二次元座標系のピクセルとの複数の対応点情報を得て、この対応点座標から撮像部１０１と呈色反応領域との相対位置関係を推定できる。すなわち、呈色反応領域を撮像した際における、三次元座標系における撮像部１０１の観察位置及び観察角度（撮像方向）が推定できる。

観察位置特定部１０５は、対象検出部１０４で推定された呈色反応領域９０２及び色補正用パッチ領域９０９の観察位置及び観察角度の各々に基づき、データ記憶部１１３に保存されている分析キット９００における呈色反応領域９０２の三次元座標を撮像画像データに射影するため、比色反応領域９０３から９０８それぞれの座標(例えば四角形の領域であれば、４点のコーナー座標)を算出する。同様に、観察位置特定部１０５は、対象検出部１０４で推定された呈色反応領域９０２及び色補正用パッチ領域９０９の観察位置及び観察角度の各々に基づき、データ記憶部１１３に保存されている分析キット９００における色補正用パッチ領域９０９の三次元座標を撮像画像データに射影するため、色補正用パッチ１００１、１００２、１００３それぞれの座標(例えば四角形の領域であれば、４点のコーナー座標)を算出する。

上述した構成により、観察位置特定部１０５は、データ記憶部１１３に保存されている各比色反応領域の座標値と、撮像画像データ上の各比色反応領域の座標値との各々の位置対応を求める。この結果、３次元モデルにおける分析キット９００における呈色反応領域９０２の各比色反応領域が、表示部１１１に表示されている撮像画像データのどの位置に対応するかが定義できる。
観察反応領域指示部１０８は、観察位置特定部１０５が求めた位置対応に基づき、呈色反応領域９０２内における比色反応領域９０３から９０８のなかから、観察する検査項目の反応時間が経過した時刻において、その反応時間に対応する検査項目の比色反応領域がわかるようなマークを表示部１１１の画像に提示する。これにより、ユーザは呈色反応領域９０２において、反応時間が経過したことで観察する必要のある比色反応領域を容易に認識できる。

また、観察反応領域指示部１０８は、例えば、観察する反応時間が経過する時刻の所定の時間前から、上記マークを点滅表示し、反応時間が経過した時点から常時点灯状態とすることにより、事前にユーザに対して観察する対象の比色反応領域を予告する構成としても良い。これにより、ユーザは、余裕を持って、反応時間が経過した比色反応領域の観察を行うことができる。

また、後述するように、観察反応領域指示部１０８は、反応時間が経過した時点において、動画の撮像画像データからデータ反応時間が経過した時点の対応する検査項目の比色反応領域の存在するフレームの撮像画像データを抽出し、反応時間が経過した検査項目を識別する識別情報を付与して、データ記憶部１１３に対して書き込んで記憶しておく構成としても良い。この場合、観察反応領域指示部１０８は、動画におけるフレーム毎の撮像画像データを順次取得する際、撮像部１０１が時系列に、データ記憶部１１３に対して書き込む撮像画像データから、反応時間を経過した時点の検査項目に対応する撮像画像データを抽出する。このとき、観察反応領域指示部１０８は、反応時間を経過した時点の検査項目に対応する撮像画像データから、反応時間を経過した時点の検査項目の比色反応領域のみを部分画像のデータとして抽出し、表示部１１１における呈色反応領域９０２の画像における反応時間を経過した時点の比色反応領域を表示する。すなわち、観察反応領域指示部１０８は、表示部１１１における呈色反応領域９０２の画像における反応時間を経過した時点の比色反応領域の座標における画像を、反応時間が経過した時点の画像を表示し続ける。

また、観察位置特定部１０５は、参照反応色パタン標本９００’における参照比色パタン９０３’、９０４’、９０５’、９０６’、…、９０７’、９０８’の各々の行における参照比色部それぞれの座標も、データ記憶部１１３に対して記憶されている参照反応色パタン標本９００’の３次元形状と、この参照反応色パタン標本９００’に対応した座標変換式とにより算出する。
そして、観察位置特定部１０５は、データ記憶部１１３に保存されている各参照比色パタンにおける参照比色部の各々の座標値と、撮像画像データ上の参照比色部それぞれの座標値との各々の位置対応を求める。この結果、３次元モデルにおける参照反応色パタン標本９００’における各参照比色パタンにおける参照比色部の各々が、表示部１１１に表示されている撮像画像データのどの位置に対応するかが定義できる。

参照反応色パタン提示部１０９は、観察位置特定部１０５が求めた位置対応に基づき、参照反応色パタン標本９００’における参照比色パタン９０３’から９０８’のなかから、観察する検査項目の反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンの行がわかるようなマークを表示部１１１の画像に提示する。これにより、ユーザは呈色反応領域９０２において、反応時間が経過したことで観察する必要のある比色反応領域に対応した参照比色パタンを容易に認識できる。
また、参照反応色パタン提示部１０９は、例えば、観察する反応時間が経過する時刻の所定の時間前から、上記マークを点滅表示し、反応時間が経過した時点から常時点灯状態とすることにより、事前にユーザに対して観察する対象の参照比色パタンを予告する構成としても良い。これにより、ユーザは、余裕を持って、反応時間が経過した比色反応領域と比較する参照比色パタンの観察を行うことができる。

図５は、反応時間経過後における観察対象の検査項目の参照比色部と参照比色パタンとを対応させた表示例を説明する図である。
表示部１１１の表示画面１１１ａには、撮像部１０１が撮像している、分析キット９００及び参照反応色パタン標本９００’の各々を含む撮像画像データが表示される。この撮像画像データは、例えば、全ての検査項目の呈色反応において、呈色しない色の単色が用いられた階調表現で表示されている。
そして、観察反応領域指示部１０８は、検査項目に対する反応時間が経過した時点から、この検査項目に対応する比色反応領域の画像の表示色を実際に撮像される呈色の色により表示する。

また、参照反応色パタン提示部１０９は、検査項目に対する反応時間が経過した時点から、この検査項目に対応する参照比色パタンにおける参照比色部の各々の画像を、それぞれの実際に撮像される色により表示する。
上述したように、反応時間が経過して、分析キット９００及び参照反応色パタン標本９００’の各々における観察が必要となった比色反応領域９０５と、比色反応領域９０５に対応する参照比色パタン９０５’とをマーキングすることにより、ユーザは容易に反応時間を経過した検査項目の比色反応領域９０５の呈色反応の観察を行うことができる。

図１に戻り、滴下検出部１０６は、被検体が滴下されたことを検出する。例えば、滴下検出部１０６は、対象検出部１０４により正規化された撮像画像データにおける分析キット９００の比色反応領域の各々の色と、正規化された撮像画像データの撮像の開始時から任意の時間経過した撮像画像データにおける分析キット９００の比色反応領域それぞれの色とを比較する。そして、滴下検出部１０６は、撮像画像データの撮像の開始時から任意の時間経過毎に、開始時点から所定の時間経過後までの間における比色反応領域の各々における時系列的な領域の色の差分値を算出し、算出された差分値が予め設定した滴下閾値以上の場合、被検体が滴下されたことを検出する。

経過時間検出部１０７は、滴下検出部１０６から比色反応領域に被検溶液が滴下された時刻が供給された場合、この時刻からの経過時間を計数し、検査項目毎に設定された反応時間が経過したか否かの検出を行う。
そして、経過時間検出部１０７は、反応時間が経過した検査項目を、観察反応領域指示部１０８及び参照反応色パタン提示部１０９の各々に対して出力する。
これにより、観察反応領域指示部１０８及び参照反応色パタン提示部１０９の各々は、それぞれの検査項目の反応時間が経過した時点において、上述したように、比色反応領域、参照比色パタンそれぞれをマーキングすることにより、観察を行うことをユーザに促す。

すなわち、ユーザが撮像部１０１により、分析キット９００及び参照反応色パタン標本９００’の各々を撮像することにより、対象検出部１０４により呈色反応領域９０２における比色反応領域及び参照比色パタンの各々が検出され、かつ観察位置及び撮像方向の各々が推定される。そして、観察位置特定部１０５がこの観察位置及び撮像方向から呈色反応領域９０２における比色反応領域及び参照比色パタンの各々の撮像画像上の座標を算出する。観察反応領域指示部１０８及び参照反応色パタン提示部１０９の各々は、その座標値内の輝度値をハイライトした状態（マーキングした状態）で表示部１１１に、分析キット９００、参照反応色パタン標本９００’それぞれを提示することにより、当該比色反応領域の観察タイミングと観察箇所を、反応時間経過時点でリアルタイムにユーザに対して示唆することが可能となる。

上述した構成により、本実施形態によれば、分析キット９００における比色反応領域と、紙面上に印刷された参照反応色パタン標本９００’の比色反応領域に対応する参照比色パタンとを撮像画像内で比較する際に、観察すべき比色反応領域とともに、それに対応する参照比色パタンの撮像画像内での座標値を算出し、その座標値内の輝度値をハイライトした表示形態（図５参照）のように表示部１１１に対して提示する。これにより、ユーザが観察対象の比色反応領域の観察箇所と、この比色反応領域に対応する参照比色パタンの観察箇所とを同時に把握できるため、比色反応領域や参照比色パタンの数が多数の場合においても、容易に観察対象の比色反応領域の呈色反応を観察することが可能となる。

また、検査項目の種類によっては、複数の検査項目において反応時間が近接している場合が存在する。このため、観察反応領域指示部１０８は、反応時間が経過した時点において、反応時間が経過した検査項目の比色反応領域の部分画像のデータを、反応領域画像記憶制御部１１０がデータ記憶部１１３に対して書き込んで記憶させておく構成としても良い。また、動画で撮像画像データを取得する場合、撮像部１０１が時系列に、データ記憶部１１３に対して書き込む撮像画像データを用いて、この撮像画像データから反応時間を経過した時点の検査項目に対応する比色反応領域の部分画像のデータを抽出して用いる構成としても良い。観察反応領域指示部１０８は、データ記憶部１１３から比色反応領域の部分画像のデータを読み出し、読み出した部分画像のデータを、表示部１１１における表示画面１１１ａにおける反応時間が経過した比色反応領域の位置に提示する。

そして、ユーザが表示部１１１の表示画面１１１ａ上において、反応時間が経過してマーキングされた比色反応領域の中から観察対象の比色反応領域を選択することにより、選択された比色反応領域以外の比色反応領域を、すでに述べた単色表示とする。そして、観察反応領域指示部１０８は、選択された比色反応領域の検査項目を参照反応色パタン提示部１０９に出力する。
これにより、参照反応色パタン提示部１０９は、供給された検査項目に対応する参照比色パタンをマーキングする。
この構成により、反応時間が近接している検査項目を急ぐことなく、要望する順番に落ち着いてユーザが観察することができ、またユーザが離席していても、反応時間を経過した時点の呈色反応の画像がデータ記憶部１１３に書き込まれて記憶されているため、必要に応じて検査項目の呈色反応の観察を行うことができる。

次に、色補正用パッチによる比色反応領域の各々の色補正を説明する。上述した説明においては、分析キット９００及び参照反応色パタン標本９００’の各々を同一の画像データとなるように撮像した例を説明した。しかしながら、参照反応色パタン標本９００’を先に撮像し、その後、分析キット９００における検査項目の各々の比色反応領域の呈色反応を観察する場合のように、分析キット９００、参照反応色パタン標本９００’それぞれを異なる撮像画像データとして撮像することがある。この構成では、図５の表示部１１１の表示画面１１１ａにおいて、分析キット９００の撮像画像データと参照反応色パタン標本の９００’の撮像画像データとが並べて表示される。
この場合、分析キット９００及び参照反応色パタン標本９００’の各々の撮像環境が異なり、例えば照明光が異なる場合に、分析キット９００、参照反応色パタン標本９００’それぞれの撮像画像データにおける色味が異なり、検査項目に対する判定が正確に行えなくなる。

そこで、検査項目に対する判定を正確に行うため、以下に示すように、分析キット９００の撮像画像データの色味に、参照反応色パタン標本９００’の撮像画像データの色味を合わせる必要がある。
撮像制御部１０３は、例えば、所定の光源下で撮像された撮像画像データにおける色補正用パッチパタン９０９’の色味がＣ_ｇｔ（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）と算出される。また、撮像制御部１０３は、色補正用パッチパタン９０９’と異なる光源下で撮像された撮像画像データにおける色補正用パッチ領域９０９の色味がＣ_ｉｎ（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）と算出する。た場合、色味Ｃ_ｇｔと色味Ｃ_ｉｎとの間には、最も簡単な色補正の変換式を一例として適用した場合、以下の（１）式が成り立つ。

この（１）式において、上述したように、Ｃ_ｇｔは参照反応色パタン標本９００’の撮像画像データが撮像された光源下における色補正用パッチパタン９０９’の色味であり、色成分ＲＧＢで記載すると（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）である。また、Ｃ_ｉｎは分析キット９００の撮像画像データが撮像された光源下における色補正用パッチ９０９の色味であり、色成分ＲＧＢで記載すると（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）である。
これにより、上記（１）式は、以下の（２）式で表される。

参照反応色パタン標本９００’及び分析キット９００における各々の色味が異なる３個の色補正用パッチを用いることにより、参照反応色パタン標本９００’の撮像画像データにおける色補正用パッチ色味と、分析キット９００の撮像画像データにおける色補正用パッチの色味との組み合わせを３対以上得ることにより、（２）式における行列Ａが得られる。
ここで、撮像制御部１０３は、データ記憶部１１３から参照反応色パタン標本９００’の３種類の色補正用パッチ１００１’、１００２’及び１００３’の各々の色味Ｃ_ｇｔ（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）と、（２）式とを読み出す。そして、撮像制御部１０３は、分析キット９００の撮像画像データから、３種類の色補正用パッチの色味Ｃ_ｉｎ（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）を抽出し、参照反応色パタン標本９００’の色補正用パッチの色味Ｃ_ｇｔ（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）を用いて、３種類の色補正用パッチ１００１、１００２及び１００３の各々に対応させた（２）式を用いて、色味を変換するための行列Ａを算出する。撮像制御部１０３は、算出した行列Ａを用いて（２）式により、参照反応色パタン標本９００’と異なる光源下で撮像された分析キット９００の撮像画像データの各画素の色味を、参照反応色パタン標本９００’の色味に変換する。

上述したように、行列Ａを求めて、（２）式を用いることにより、任意の光源下で撮像された参照反応色パタン標本９００’の撮像画像データの色味を、異なる光源下で撮像された分析キット９００の撮像画像データの色味に変換することが可能となる。これにより、異なる光源下で撮像された分析キット９００及び参照反応色パタン標本９００’の各々の撮像画像データにおける、比色反応領域と対応する参照比色パタンとを、同一の光源下で撮像された撮像画像データとして統一された光源の状態で比較することができる。すなわち、異なる光源下において撮像された、分析キット９００及び参照反応色パタン標本９００’の各々の撮像画像データにおいて、比色反応領域と参照比色パタンとのそれぞれを比較するため、分析キット９００及び参照反応色パタン標本９００’の撮像画像データ間から照明（光源環境下）の影響を排除することが可能となり、検査項目の呈色反応を高い精度で観察し、呈色反応の検出処理を行うことができる。

図６は、本発明の一実施形態の呈色反応観察補助システムにおける簡易検査紙や簡易検査薬を用いた呈色反応検出対象に対する呈色反応観察補助処理の動作例を示すフローチャートである。
ステップＳ１：
撮像制御部１０３は、撮像部１０１における呈色反応検出対象である呈色反応領域の現在の撮像条件を検出、例えば観察角度、露光条件などを検出する。

ステップＳ２：
撮像制御部１０３は、露光条件などの撮像条件の全てが、比色反応領域と参照比色パタンとにおいて呈色反応の比較が行えることが可能な画像の画質として、分析キット９００及び参照反応色パタン標本９００’の各々の撮像画像データを撮像できる撮像条件であるか否かの判定を行う。
このとき、撮像制御部１０３は、呈色反応の比較が行えることが可能な画像の画質として、分析キット９００及び参照反応色パタン標本９００’の各々の撮像画像データを撮像できる撮像条件である場合、処理をステップＳ３へ進める。一方、撮像制御部１０３は、呈色反応の比較が行えることが可能な画像の画質として、分析キット９００及び参照反応色パタン標本９００’の各々の撮像画像データを撮像できる撮像条件でない場合、処理をステップＳ４へ進める。

ステップＳ３：
対象検出部１０４は、撮像画像データにおける呈色反応領域９０２及び参照反応色パタン標本９００’の各々の撮像位置を抽出する。すなわち、撮像制御部１０３は、撮像部１０１の撮像範囲内における呈色反応領域９０２及び参照反応色パタン標本９００’の各々の３次元形状を得る。そして、撮像制御部１０３は、得られた分析キット９００及び参照反応色パタン標本９００’の各々の３次元形状と、予めデータ記憶部１１３に書き込まれて記憶されている分析キット９００、参照反応色パタン標本９００’それぞれの３次元形状とを比較し、撮像部１０１の撮像範囲内における呈色反応領域９０２を抽出する。

ステップＳ４：
撮像制御部１０３は、撮像条件において満たされていない条件を表示部１１１の表示画面に表示し、ユーザに対して撮像条件における満たされていない条件の調整を示唆する。

ステップＳ５：
対象検出部１０４は、撮像部１０１の撮像画像データにおける呈色反応領域９０２及び参照反応色パタン標本９００’の各々と、予め記憶されている分析キット９００の容器の３次元形状における呈色反応領域９０２、参照反応色パタン標本９００’それぞれとを比較する。そして、対象検出部１０４は、呈色反応領域９０２全体及び参照反応色パタン標本９００’全体の各々が撮像画像データに含まれているか否か、すなわち観察領域内に呈色反応領域９０２の呈色反応を観察するための呈色反応領域９０２全体及び参照反応色パタン標本９００’全体が撮像画像データに含まれているか否かの判定を行う。
このとき、対象検出部１０４は、呈色反応領域９０２全体及び参照反応色パタン標本９００’全体が撮像画像データに含まれている場合、処理をステップＳ６へ進める。一方、対象検出部１０は、呈色反応領域９０２全体及び参照反応色パタン標本９００’全体が撮像画像データに含まれていない場合、処理をステップＳ７へ進める。

ステップＳ６：
対象検出部１０４は、呈色反応領域９０２及び参照反応色パタン標本９００’の撮像方向、すなわち観察角度と、観察位置との推定処理を観察位置特定部１０５に行わせる。
これにより、観察位置特定部１０５は、撮像部１０１の撮像範囲における撮像画像データから得られる分析キット９００の容器及び参照反応色パタン標本９００’の各々の３次元形状と、予め記憶されている３次元座標系における分析キット９００の容器、参照反応色パタン標本９００’それぞれの３次元形状とを比較することにより、呈色反応領域９０２、参照反応色パタン標本９００’の撮像方向に対する観察角度を推定する。ここで、対象検出部１０４は、上記比較により、撮像部１０１が分析キット９００及び参照反応色パタン標本９００’の各々が撮像された撮像画像データの撮像方向を求める。そして、対象検出部１０４は、３次元座標系における分析キット９００の呈色反応領域９０２が添付されている面（分析キット９００の上面あるいは下面の呈色反応領域９０２が添付されているいずれかの面）の法線と、撮像部１０１の撮像方向とのなす角度を観察角度として求める。

ステップＳ７：
対象検出部１０４は、撮像部１０１の撮像範囲内に呈色反応領域９０２の領域が全て含まれるように、撮像部１０１の撮像する撮像位置を調整することを表示部１１１の表示画面に表示し、ユーザに対して撮像位置の変更を示唆する。

ステップＳ８：
滴下検出部１０６は、最初に撮像された撮像画像データにおける比色反応領域の初期呈色反応色と、その後に時系列に撮像される撮像画像データにおける比色反応領域の呈色反応色との差分値を求める。
そして、滴下検出部１０６は、求めた差分値が滴下閾値以上であるか否かの判定を行う。このとき、滴下検出部１０６は、求めた差分値が滴下閾値以上である場合、被検溶液の滴下の検出が行われたとして、検出信号を経過時間検出部１０７に対して出力した後、処理をステップＳ９へ進める。これにより、経過時間検出部１０７は、反応時間を検出するための経過時間の計時を開始する。
一方、滴下検出部１０６は、求めた差分値が滴下閾値未満である場合、被検溶液の滴下の検出が行われていないとして、ステップＳ８の処理を繰り返す。

ステップＳ９：
経過時間検出部１０７は、計数している経過時間が、いずれかの検査項目の反応時間以上となったか否かの判定を行う。
このとき、経過時間検出部１０７は、経過時間がいずれかの検査項目の反応時間以上となった場合、呈色反応領域内の上記検査項目の比色反応領域における被検溶液に基づく呈色反応色の観察時間となったこと示す制御信号を、観察反応領域指示部１０８及び参照反応色パタン提示部１０９に対して出力する。

ステップＳ１０：
そして、観察反応領域指示部１０８及び参照反応色パタン提示部１０９の各々は、反応時間が経過した検査項目の情報を含む制御信号が供給された時点に、表示部１１１の表示画面に表示された呈色反応領域９０２及び参照反応色パタン標本９００’の各々において、上記検査項目に対応する比色反応領域、参照比色パタンそれぞれに対するマーキングの表示を行い、呈色反応の観察、すなわち検査項目に対する判定を行うことをユーザに促す。

ステップＳ１１：
経過時間検出部１０７は、現在判定している検査項目以外に、ユーザが未観察である、すなわち呈色反応の観察を促していない他の検査項目の有無を検出する。
このとき、経過時間検出部１０７は、呈色反応の観察を促していない他の検査項目が有る場合、すなわち反応時間の検出を行っている検査項目が残っている場合、処理をステップＳ９へ進める。一方、経過時間検出部１０７は、呈色反応の観察を促していない他の検査項目が無い場合、すなわち反応時間の検出を行っている検査項目が残っていない場合、処理を終了する。

図７は、反応時間経過後における観察対象の検査項目の参照比色部と参照比色パタンとを対応させた他の表示を説明する図である。
図７においては、観察反応領域指示部１０８は、表示部１１１の表示画面１１１ａに対して、比色反応領域９０３から９０８の各々をリアルタイムに撮像される色により表示する。そして、参照反応色パタン提示部１０９は、表示部１１１の表示画面１１１ａにおける観察対象の検査項目の比色反応領域９０５の画像と並べて、この検査項目に対応する参照比色パタン９０５’の画像を表示する。

これにより、ユーザは分析キット９００呈色反応領域９０２における観察対象の比色反応領域９０５と、この比色反応領域９０５に対応した参照比色パタン９０５’における観察箇所とを同時に把握できる。
このため、図５の場合と同様に、比色反応領域及びこの比色反応領域に対応する参照比色パタンの数が多くても、ユーザが容易に観察対象の比色領域を観察し、検査項目の判定を行うことが可能となる。

また、表示部１１１は、液晶ディスプレイなどの表示装置であり、観察反応領域指示部１０８及び参照反応色パタン提示部１０９の各々制御により、分析キット９００の画像及び参照反応色パタン標本９００’の画像の表示、マーキングなどの表示を行う。
または、プリンタなどの印刷装置から、反応時間を経過した検査項目の比色反応領域及びこの検査項目の参照比色パタンの各々を印刷した印刷物を出力するように構成してもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して説明する。
第２の実施形態は、図１に示す第１の実施形態による呈色反応観察補助システムの構成例と同様の構成をしている。以下、第１の実施形態と異なる動作について、以下に説明する。第２の実施形態においては、標準的な光源(例えばＤ６５の光源)の環境下で参照反応色パタン標本９００’における参照比色パタン９０３’、９０４’、９０５’、９０６’、…、９０７’、９０８’の各々を参照画像データとして撮像し、データ記憶部１１３に予め書き込んで記憶させている。

この第２の実施形態の構成により、観察すべき比色反応領域の撮像画像データを用いた検査項目毎の呈色反応の観察において、第１の実施形態のように、紙面上に印刷された色補正用パッチパタン９０９’が存在しなくとも、検査項目の判定を行う比色反応領域に対応する参照比色パタンをデータ記憶部１１３から読み出し、観察対象の比色反応領域に併置して表示部１１１の表示画面に表示することで、ユーザが容易に呈色反応を観察することが可能となる。

また、すでに説明した（１）式及び（２）式の関係において、標準的な光源で撮像され、データ記憶部１１３に記憶されている参照反応色パタン標本９００’を用いる場合、異なる光源下の環境となるため、色味の変換が必要となる。
撮像制御部１０３は、データ記憶部１１３から参照反応色パタン標本９００’の３種類の色補正用パッチ１００１’、１００２’、１００３’を読み出し、それぞれの色味を、Ｃ_ｇｔ（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）と算出する。また、撮像制御部１０３は、撮像画像データにおける色補正用パッチ領域９０９の色補正用パッチ１００１、１００２及び１００３の３種類の色味がＣ_ｉｎ（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）と算出する。この場合、色味Ｃ_ｇｔと色味Ｃ_ｉｎとの間には、最も簡単な色補正の変換式を一例として適用した場合、以下の（１）式が成り立つ。

そして、撮像制御部１０３は、色味Ｃ_ｇｔと色味Ｃ_ｉｎと（１）式において、上述したように、色味Ｃ_ｇｔは、標準的な光源下で撮像された参照反応色パタン標本９００’の色味であり、色成分ＲＧＢで記載すると（Ｒ_ｇｔ,Ｇ_ｇｔ,Ｂ_ｇｔ）である。
一方、色味Ｃ_ｉｎは、撮像画像データにおける色補正用パッチ領域９０９の各色補正用パッチの色味であり、色成分ＲＧＢで記載すると（Ｒ_ｉｎ,Ｇ_ｉｎ,Ｂ_ｉｎ）である。

表示部１１１の表示画面１１１ａに表示する際、分析キット９００及び参照反応色パタン標本９００’の各々の色味を、異なる３個の色補正用パッチ１００１、１００２、１００３と、色補正用パッチ１００１’、１００２’、１００３’とを用いることにより、標準的な光源で撮像された参照反応色パタン標本９００’の色味と、撮像画像データにおける分析キット９００の色味との組み合わせが３対以上得ることができ、（２）式で用いる行列Ａが得られる。

ここで、撮像制御部１０３は、データ記憶部１１３から３種類の色補正用パッチパタン９０９’の色味Ｃ_ｇｔ（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）と、（２）式とを読み出す。そして、撮像制御部１０３は、撮像画像データから、３種類の色補正用パッチ９０９の色味Ｃ_ｉｎ（Ｒ_ｉｎ，Ｇ_ｉｎ，Ｂ_ｉｎ）を抽出し、色補正用パッチパタン９０９’の色味Ｃ_ｇｔ（Ｒ_ｇｔ，Ｇ_ｇｔ，Ｂ_ｇｔ）を用いて、３種類の色補正用パッチの各々に対応させた（２）式を用いて行列Ａを算出する。撮像制御部１０３は、算出した行列Ａを用いて（２）式により、標準的な光源下で撮像される色味を、任意の光源下で撮像した撮像画像データの各画素の色味に変換する。

上述したように、行列Ａを求めて、（２）式を用いることにより、標準的な光源下で撮像される色味を、任意の光源下で撮像した撮像画像データの色味に変換することが可能となる。これにより、比色反応領域観察結果と、これに対応する参照比色パタンを撮像時の照明条件に統一された状態で比較することができる。この処理により、比色反応領域観察時と、参照比色パタン撮像時の照明（光源環境下）の違いの影響を排除し、高精度な呈色反応の観察を行うことができる。

なお、本発明における図１の呈色反応観察補助システム１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、呈色反応検出における呈色反応の観察を補助する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…呈色反応観察補助システム
１０１…撮像部
１０１Ａ…撮像方向
１０２…露光制御部
１０３…撮像制御部
１０４…対象検出部
１０５…観察位置特定部
１０６…滴下検出部
１０７…経過時間検出部
１０８…観察反応領域指示部
１０９…参照反応色パタン提示部
１１０…反応領域画像記憶制御部
１１１…表示部
１１２…照明部
１１３…データ記憶部
４００…法線
９００…分析キット
９００’…参照反応色パタン標本
９０１…観察対象面
９０２…呈色反応領域
９０３，９０４，９０５，９０６，９０７，９０８…比色反応領域
９０３’，９０４’，９０５’，９０６’，９０７’，９０８’…参照比色パタン
１００１，１００２，１００３，１００１’，１００２’，１００３’…色補正用パッチ

Claims (11)

1. 分析キットの呈色反応領域に形成された検査項目毎の比色反応領域において、当該呈色反応領域に滴下された被検溶液に含まれる被検出対象物質による呈色反応の観察を補助する呈色反応観察補助システムであり、
   撮像装置から供給される撮像画像に、前記比色反応領域の各々を含む観察対象面が含まれているか否かを判定する観察対象面検出部と、
   前記観察対象面における前記比色反応領域の各々の位置を特定するための観察位置特定部と、
   前記比色反応領域の各々に対して前記被検溶液の滴下が行われたことを検出する滴下検出部と、
   前記滴下が行われた時点から、前記比色反応領域毎に予め設定された反応時間が経過したか否かを検出する経過時間検出部と、
   表示部と、
   前記反応時間が経過した前記比色反応領域に対するマークを前記表示部の画像に提示することで観察を促す観察反応領域指示部と、
   前記反応時間が経過した前記比色反応領域の呈色反応色を判定するための参照反応色パタンのうち前記反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンに対するマークを前記表示部の画像に提示する参照反応色パタン提示部と
   を備えることを特徴とする呈色反応観察補助システム。
2. 前記撮像画像における、前記経過時間検出部が前記反応時間が経過したことを検出した比色反応領域の画像である比色反応領域画像をデータ記憶部に書き込んで記憶させる呈色反応領域画像記憶制御部
   をさらに備え、
   前記観察反応領域指示部が前記データ記憶部から前記比色反応領域画像を読み出し、前記観察対象面における対応する前記反応時間が経過した前記比色反応領域の位置に提示する
   ことを特徴とする請求項１に記載の呈色反応観察補助システム。
3. 参照反応色パタン提示部が、
   前記参照反応色パタンが前記データ記憶部に予め書き込まれて記憶されている場合、前記観察反応領域指示部が前記比色反応領域の観察を促した際に、前記撮像画像の撮像条件に対応させて色校正した前記参照反応色パタンを提示する
   ことを特徴とする請求項２に記載の呈色反応観察補助システム。
4. 観察対象面検出部が、前記観察対象面が前記撮像画像に含まれていない場合、前記観察対象面が前記撮像画像に含まれるように、前記撮像装置による撮像を行うことを促す
   ことを特徴とする請求項１または請求項２に記載の呈色反応観察補助システム。
5. 前記滴下検出部が、
   前記撮像画像における前記比色反応領域の各々の画像の呈色反応色の変化により、前記比色反応領域それぞれに前記被検溶液が滴下されたことを検出する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の呈色反応観察補助システム。
6. 前記経過時間検出部が、
   前記比色反応領域毎に、前記被検溶液が滴下された時点からの経過時間を計時し、前記比色反応領域の前記反応時間が経過したか否かの検出を行う
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の呈色反応観察補助システム。
7. 前記観察反応領域指示部が、
   前記呈色反応領域における前記反応時間が経過した前記比色反応領域を指示する画像を表示することで、当該比色反応領域の観察を促す
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の呈色反応観察補助システム。
8. 参照反応色パタン提示部が、
   前記観察反応領域指示部が前記比色反応領域の観察を促した際、前記検査項目の各々前記比色反応領域の前記参照反応色パタンが記載されている呈色反応標本において、観察を促された前記比色反応領域に対応する前記参照反応色パタンを指示する
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の呈色反応観察補助システム。
9. 前記分析キットが、前記被検出対象物質の呈色反応により前記被検出対象物質の検出を行う媒体として、少なくともｐＨ（ピーエッチ）試験紙、尿検査紙、酸化度測定紙の簡易検査紙が用いられていること
   を特徴とする請求項１から請求項８のいずれか一項に記載の呈色反応観察補助システム。
10. 分析キットの呈色反応領域に形成された検査項目毎の比色反応領域において、当該呈色反応領域に滴下された被検溶液に含まれる被検出対象物質による呈色反応の観察を補助する呈色反応観察補助方法であり、
    観察対象面検出部が、撮像装置から供給される撮像画像に、前記比色反応領域の各々を含む観察対象面が含まれているか否かを判定する観察対象面検出過程と、
    観察位置特定部が、前記観察対象面における前記比色反応領域の各々の位置を特定するための観察位置特定過程と、
    滴下検出部が、前記比色反応領域の各々に対して前記被検溶液の滴下が行われたことを検出する滴下検出過程と、
    経過時間検出部が、前記滴下が行われた時点から、前記比色反応領域毎に予め設定された反応時間が経過したか否かを検出する経過時間検出過程と、
    観察反応領域指示部が、前記反応時間が経過した前記比色反応領域に対するマークを表示部の画像に提示することで観察を促す観察反応領域指示過程と、
    参照反応色パタン提示部が、前記反応時間が経過した前記比色反応領域の呈色反応色を判定するための参照反応色パタンのうち前記反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンに対するマークを前記表示部の画像に提示する参照反応色パタン提示過程と
    を含むことを特徴とする呈色反応観察補助方法。
11. 分析キットの呈色反応領域に形成された検査項目毎の比色反応領域において、当該呈色反応領域に滴下された被検溶液に含まれる被検出対象物質による呈色反応の観察を補助する呈色反応観察補助システムの機能をコンピュータに実行させるプログラムであり、
    前記コンピュータを、
    撮像装置から供給される撮像画像に、前記比色反応領域の各々を含む観察対象面が含まれているか否かを判定する観察対象面検出手段、
    前記観察対象面における前記比色反応領域の各々の位置を特定するための観察位置特定手段、
    前記比色反応領域の各々に対して前記被検溶液の滴下が行われたことを検出する滴下検出手段、
    前記滴下が行われた時点から、前記比色反応領域毎に予め設定された反応時間が経過したか否かを検出する経過時間検出手段、
    前記反応時間が経過した前記比色反応領域に対するマークを表示部の画像に提示することで観察を促す観察反応領域指示手段、
    前記反応時間が経過した前記比色反応領域の呈色反応色を判定するための参照反応色パタンのうち前記反応時間が経過した時刻において、その反応時間に対応する検査項目の参照比色パタンに対するマークを前記表示部の画像に提示する参照反応色パタン提示手段
    として機能させるためのプログラム。

Images