JP2021528169A - 生物学的情報を取得するための装置及び方法 - Google Patents

Abstract

生物学的情報を取得するための装置及び方法が提供される。生物学的情報を取得するための方法は、非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと；第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するステップと；検出した個々の脈波同士の間のシフト量を計算するステップと；シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するステップと；を含む。

Description

本開示は、イメージングフォトプレチスモグラフィ（ｉＰＰＧ）によって心臓血管系に関する生理学的パラメータを取得するための装置及び方法に関する。

被検体を画像化することによって被検体の画像を取得し、この画像から脈波伝播速度（pulse wavelength velocity）を計算する装置が知られている。例えば、被検体の顔を画像化し、顔画像内の２つの異なるターゲット領域を特定し、且つ両方の領域の脈波のシフト量から脈波伝播速度を計算する装置が公に知られている。

上記の状況下で、生物学的情報を取得するための装置及び方法を説明する本開示の実施形態によって、技術的利点が提供される。

一実施形態の第１の態様は、以下の方法を提供する。

生物学的情報を取得するための方法であって、この方法は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
検出した個々の脈波同士の間のシフト量を計算するステップと、
シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するステップと、を含む。

第１の態様によれば、信頼性の高い指標情報が提供される。

実施形態の第１の態様は、
動脈部分の深度情報を含む第２の画像を取得するステップと、
第２の画像に含まれる深度情報に基づいて、シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
指標情報を計算するステップは、動脈部分同士の間の計算した距離及びシフト量を用いて指標情報を計算するステップを含む。

この第１の態様によれば、指標情報を計算するために、動脈部分までの距離が取得される。

実施形態の第２の態様は、以下の装置を提供する。

生物学的情報を取得するための装置であって、この装置は、
非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
第１の画像に基づいて、動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む。

第２の態様によれば、信頼性の高い指標情報が提供される。

実施形態の第２の態様は、
動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
第２の画像に含まれる深度情報に基づいて、シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
指標情報計算ユニットは、動脈部分同士の間の計算した距離及びシフト量を用いて指標情報を計算するように構成される。

この第２の態様によれば、指標情報を計算するために、動脈部分までの距離が取得される。

実施形態の第３の態様は、以下の装置を提供する。

装置であって、この装置は、
第２の態様の装置と、
第１の画像を画像化するように構成された近赤外線カメラと、
指標情報を取得し、複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む。

第３の態様によれば、信頼性の高い指標情報が提供される。

実施形態の第４の態様は、コンピュータが実施形態による方法の第１の態様を実行するのを可能にするためのプログラムを記録するコンピュータ可読記憶媒体を提供する。

第４の態様によれば、信頼性の高い指標情報が提供される。

実施形態の第５の態様は、コンピュータが実施形態による方法の第１の態様を実行するのを可能にするためのコンピュータプログラムを提供する。

第５の態様によれば、信頼性の高い指標情報が提供される。

実施形態における技術的解決策をより明確に説明するために、以下では、本実施形態を説明するために必要な添付の図面について簡単に説明する。明らかに、以下の説明の添付図面は、可能な実施形態のほんの一部を示しており、当業者は、創造的な努力なしに、これらの添付図面から他の図面をさらに導き出し得る。
一実施形態による装置の構成の一例を示す概略図である。 一実施形態による、近赤外（ＮＩＲ）光源からの光が装置内の被検体で反射される場合の態様を説明するための図である。 一実施形態による、装置内のＮＩＲ画像及び深度画像を取得するための態様を説明するための図である。 照射光の波長とその透過深度との間の関係を説明するための図である。 一実施形態に係る装置により実施される、指標情報計算プロセスの概要を説明するための図である。 一実施形態による、装置内の２つの関心領域（ＲＯＩ）の間の距離を説明するための図である。 一実施形態による、装置内の画素サイズを説明するための図である。 図６Ａの画素サイズの一例を示す図である。 一実施形態に係る装置の機能構成の一例を示す図である。 一実施形態に係る装置における全体的な指標情報計算プロセスの一例を示すフローチャートである。 一実施形態に係る装置内の検出ターゲットとしての動脈部分同士の間の距離を算出するために実行されるプロセスの一例を示すフローチャートである。 図９のステップＳ２２の計算プロセスを示すフローチャートである。 図１０のステップＳ２２１の分離プロセスを説明するための図である。 動脈部分同士の間の距離を計算するために動脈部分の位置を推定する態様を説明するための図である。 橈骨動脈を検出する場合の検出範囲を示す図である。

以下では、本開示の実施形態の添付図面を参照して、本開示の実施形態の技術的解決策について明確に説明する。明らかに、説明する実施形態は、本開示の実施形態の全てではなく、ほんの一部である。創造的な努力なしに本開示の実施形態に基づいて当業者によって取得され得る他の全ての実施形態は、本開示の実施形態の保護範囲内に含まれるものとすることに留意されたい。

実施形態の装置１０は、非接触方式で画像化される被検体のビデオ画像から被検体の生物学的情報（すなわち、心臓血管系に関する生理学的パラメータ）を取得するように構成される。
［装置１０の構成］

図１は、一実施形態による装置１０のハードウェア構成の一例を示す概略図である。

図１に示されるように、装置１０は、処理ユニット１１、ＲＯＭ（読取り専用メモリ）１２、ＲＡＭ（ランダムアクセスメモリ）１３、表示装置１４、入力装置１５、及びＴｏＦ（飛行時間）カメラ２０を含む。ＴｏＦカメラ２０は、近赤外線（ＮＩＲ）センサ３０、ＮＩＲ光源３１、及び深度センサ４０を含む。この実施形態では、装置１０は、例えば、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルコンピュータ、ロボット、測定機器、又はゲーム機等である。

処理ユニット１１は、バスによって個々の構成要素に接続されて、制御信号及びデータを転送する。処理ユニット１１は、装置１０の一般的な動作を実施するための様々な種類のプログラムを実行し、算術演算及びタイミング制御等を実行する。前述したプログラムは、ＤＶＤ（デジタル多用途ディスク）−ＲＯＭ（読取り専用メモリ）、又はＣＤ（コンパクトディスク）−ＲＯＭ（読取り専用メモリ）等のコンピュータ可読記憶媒体に記憶させることができる。

装置１０全体の動作を制御するために必要なオペレーティングシステム用のプログラム及び様々な種類のデータは、ＲＯＭ１２に格納される。

ＲＡＭ１３には、データ及びプログラムを一時的に記憶するための記憶領域が設けられており、ここに、装置１０の動作に必要なプログラム及びデータ並びに他のデータが記憶される。

表示装置１４は、例えば、液晶ディスプレイ又はＥＬ（エレクトロルミネセンス）ディスプレイ等のフラットパネルディスプレイであり得る。入力装置１５は、操作ボタン、タッチパネル、入力ペン、及びセンサ等を含む。

ＴｏＦカメラ２０に取り付けられたＮＩＲカメラ３０は、ＮＩＲ光源３１からの光が被検体で反射された光を受け取る。こうして、後述する近赤外（ＮＩＲ）画像（第１の画像）ｄ１０を取得することができる。

深度センサ４０はまた、ＮＩＲ光源３１からの光が被検体で反射された光を受け取る。こうして、ＴｏＦカメラ２０では、被検体までの距離が、ＮＩＲカメラ３０からの照射光が深度センサ４０に戻る時間及び光速（３×１０^８ｍ／ｓ）から画素毎に計算される。従って、被検体までの距離を表す深度情報を画素毎に含む、後述する深度画像（第２の画像）ｄ２０が取得される。ＮＩＲ画像ｄ１０と深度画像ｄ２０とは両方とも、非接触方式で取得するように設計され構造化される。

図２Ａは、ＮＩＲ光源３１からの光が被検体１００で反射される場合の態様を示す。図２Ａに示される例では、ＮＩＲ光源３１からの光が被検体１００に放射され、次に、ＮＩＲカメラ３０と深度センサ４０とは両方とも、被検体１００で反射された光を受け取る。従って、ＮＩＲカメラ３０及び深度センサ４０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０をそれぞれ取得する。

図２Ｂは、ＮＩＲ画像ｄ１０及び深度画像ｄ２０を取得するための態様を示す。図２Ｂに示される例では、ＮＩＲ画像ｄ１０及び深度画像ｄ２０は、同じ撮像点Ｐから取得した同じ画角の画像である。この場合に、撮像点Ｐは、ＮＩＲカメラ３０と深度センサ４０との両方の撮像点である。

画像ｄ１０、ｄ２０は、フレームフォーマットで同時に処理ユニット１１に定期的に出力される。このような同期タイミングには、例えば、ＮＩＲ光源３１から被検体１００にパルス光が放射されるタイミングが含まれる。ＮＩＲ画像ｄ１０及び深度画像ｄ２０の取得により、後述する脈波伝播速度（ＰＷＶ）を取得するプロセスを実行することが可能になる。

なお、ＴｏＦカメラ２０は、装置１０に外部から取り付けることができることに留意されたい。さらに、装置１０は、ハードディスク又は光ディスク等の外部記憶装置を用いて、ＲＯＭ１２、又はＲＡＭ１３等と同じ機能を実現するように構成することができる。

ＴｏＦカメラ２０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０を取得できる限り、他の代替スキームによって実施してもよい。例えば、ステレオカメラで深度を測定する場合に、ステレオカメラに含まれるカメラがＮＩＲ画像を取得することがある。深度カメラで深度を測定する場合に、深度カメラで取得した画像をＮＩＲ画像ｄ１０として扱うことができる。
［指標情報計算プロセスの概要］

次に、装置１０によって実施される、血流に関連する指標を示す情報としてＰＷＶを計算するプロセスの概要を、図１〜図６Ｂを参照して説明する。図３は、照射光の波長とその透過深度との間の関係を説明するための図である。図４は、測定の概要を説明するための図である。図５は、２つの関心領域（ＲＯＩ）の間の距離を説明するための図である。図６Ａは、画素サイズを説明するための図である。図６Ｂは、図６Ａに示される１つの画素ｇのサイズを例示する図である。

図３に示されるように、体表面から深部までの光の透過距離は、光の波長ｄ１〜ｄ８（約８００ｎｍ〜４００ｎｍの波長）によって変化する。波長が長くなると、光の深部までの透過距離が長くなる。ｄ１〜ｄ８は、赤紫色の波長から紫色の波長までの波長範囲を示す。

この装置１０は、波長ｄ１〜ｄ８のうち、深部までの最長距離を有する波長ｄ１の赤紫色の波長範囲を有する近赤外光を使用する。波長ｄ１は、例えば、約７５０ｎｍ〜８００ｎｍであるが、検出される人体の深部を含むＮＩＲ画像ｄ１０を取得することができれば、この波長に限定されない。

図３に示される例では、波長ｄ１の近赤外光は、検出ターゲットとして、人体の深部（皮膚から３．０ｍｍ以上の深さ）に位置する動脈に透過的に到達する。その結果、装置１０は、動脈で反射された赤外光を用いて、動脈を流れる血流（動脈流）の変化に応じた輝度を表す、後述するＮＩＲ画像ｄ１０を生成し、ＮＩＲ画像ｄ１０の評価結果に基づいて、被検者又は被検体１００の動脈流に関する指標情報ｄ４０を計算する。

波長ｄ１は、動脈での反射を可能にするだけでよく、赤紫色を表す前述した近赤外光の波長以外の波長が利用可能であり得る。

実施形態の装置１０によって処理される指標情報ｄ４０は、例えば、脈波伝播速度（ＰＷＶ）であるが、これに限定されない。ＰＷＶは、動脈硬化の進行率の指標として使用される。例えば、ＰＷＶの値が大きいほど、心筋梗塞が発生する可能性が高くなる。

実施形態の装置１０が、上記のようにその波長の光透過深度が大きい近赤外光を使用しているため、毛細血管内の血流からではなく、動脈血管内の血流の変化に応じて被検者の指標情報ｄ４０を取得することができる。この指標情報ｄ４０は、動脈血管を流れる血流の変化の反映に相当し、指標情報ｄ４０の信頼性を高める。

図４に示されるように、この装置１０は、同じ視点で撮像したＮＩＲ画像ｄ１０及び深度画像ｄ２０（図２Ｂ）を、ＴｏＦカメラ２０から処理ユニット１１に同期して出力する。

図４では、例えば、ＴｏＦカメラ２０の深度センサ４０は、ＮＩＲ光源３１から放射され、後に被検体１００で反射された光を取得し、それにより、被検体１００の深度画像ｄ２０を提供する。さらに、ＮＩＲカメラ３０が、深度センサ４０による深度画像ｄ２０の取得期間中に被検体１００を撮像するので、被検体１００のＮＩＲ画像ｄ１０が取得される。例えば、図４に示されるように、ＮＩＲ画像ｄ１０は、被検者の頸部領域を含む画像であり、この画像（フレーム画像）は、ＴｏＦカメラ２０から順番に取得される。

ＮＩＲ画像ｄ１０を取得した処理ユニット１１は、検出ターゲットとして、処理されるＮＩＲ画像ｄ１０に含まれる被検者の頸部に位置する動脈部分に２つの関心領域（ＲＯＩ）１及び２を設定する。図４の例では、ＲＯＩ １は心臓から遠い動脈部分を含み、ＲＯＩ ２は心臓に近い動脈部分を含む。この場合に、動脈部分は、例えば、橈骨動脈の一部である。従って、頸動脈内の動脈流の変化を反映した指標情報が取得され、指標情報の可用性が向上する。

ＲＯＩ １及び２を設定する１つの方法は、それら（心臓から遠い動脈部分と心臓に近い動脈部分と）の間の予め設定した間隔でＲＯＩ １及び２を設定することができるが、これに限定されないことに留意されたい。例えば、動脈部分の形状又は位置を装置１０において事前に登録することができる。こうして、処理ユニット１１は、動脈部分を特定した後に、登録された情報からＲＯＩ １及び２を設定することができる。

さらに、処理ユニット１１は、ＮＩＲ画像ｄ１０に含まれる２つのＲＯＩ １及び２内の動脈部分を流れる動脈流に応じて変化する時系列信号ｆ（ｔ）及びｇ（ｔ）を検出する。この場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）は、フォトプレチスモグラフィ（ＰＰＧ）をＮＩＲ画像ｄ１０から取得するように抽出される。時系列信号ｆ（ｔ）及びｇ（ｔ）において、横方向は時間ｔを表し、縦方向は対応するＲＯＩ内の全ての画素の輝度の平均値を表す。

前述した時系列信号ｆ（ｔ）及びｇ（ｔ）は、Ｎ×アップサンプリング（例えば、Ｎ＝８）を受け得る。この場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）の値を表すサンプル数が増大する。こうして、時系列信号ｆ（ｔ）及びｇ（ｔ）の値をより正確に与えることができる。

相互相関関数１１１は、２つの時系列信号の畳み込みを計算するための関数である。２つの時系列信号の相関度を示すコヒーレンスは、時系列信号の位相を変化させることによって計算される。次に、時系列信号の位相偏差と時系列信号の周期性の類似性とを結果から評価する。２つの同一の時系列信号が相互相関関数１１１に入力されると、次に相互相関関数は自己相関関数と同等になり、最大値を示す。この実施形態では、処理ユニット１１は、相互相関関数１１１の値が、位相遅延（位相オフセット）ｄ３０として最大値を示すときの時系列信号ｇ（ｔ）の位相遅延のサンプル数を示す「ｍ」の値を次のステージに出力する。

相互相関関数１１１は、例えば、以下の式（１）で表すことができる。

式（１）において、ｎは、時系列信号ｆ（ｔ）及びｇ（ｔ）の長さ（例えば、２サイクル）を表し、ｍは、時系列信号ｇ（ｔ）の位相遅延のサンプル数を表す。

さらに、図４では、処理ユニット１１は、計算プロセス１１２を介して、深度画像ｄ２０から２つのＲＯＩ １と２との間の距離を取得する。図５では、例えば、ＲＯＩ １の中心Ｆ_０とＲＯＩ ２の中心Ｇ_０との間の距離Ｌは、２つのＲＯＩ １と２との間の距離として設定される。ＲＯＩ １及び２は、ＮＩＲ画像ｄ１０に示されているものと同じである。

距離Ｌは、図５に例示された値とは異なる値に設定され得る。例えば、２つのＲＯＩ １と２との間の最大距離又は最小距離、或いは２つのＲＯＩ １と２の間の予め設定された画素数の距離を距離Ｌとして使用できる。

この実施形態では、２つのＲＯＩ １と２との間の距離Ｌは、検出ターゲットとしての動脈部分同士の間の距離として設定される。

図４では、視野（ＦＯＶ）及び解像度が、処理ユニット１１の設定ユニット１１３に設定される。さらに、処理ユニット１１は、深度画像ｄ２０の各画素のスケールを、取得プロセス１１４を介して取得する。深度センサ４０の撮像点Ｐからの水平視野がｈ^０で垂直視野がｖ^０の深度画像（幅６００画素、高さ３６０画素の画像）ｄ２０が、図６Ａに示されるように取得された場合に、例えば、画素（図６Ａに示される「ｇ」）あたりのサイズ（Ｌｈ、Ｌｖ）（図６Ｂ）は、次の式（２）で表される。

Ｌｈ＝２・ｄ・ｔａｎ（ｈ／２）／６００
Ｌｖ＝２・ｄ・ｔａｎ（ｖ／２）／３６０ （２）

式（２）において、ｄは、撮像点Ｐから深度画像ｄ２０までの距離を表す。対応するＲＯＩまでの平均距離（ＲＯＩ内の全ての画素の間の平均距離）が、実施形態の装置１０における距離ｄの一例として使用されるが、後述するように、距離は異なる値をとることができる。式（２）は、画素あたりのサイズの例を示しているに過ぎず、変更される可能性があることを理解されたい。サイズの値Ｌｈ及びＬｖは、解像度の値に応じて表示され得る。

処理ユニット１１は、式（２）に示される画素サイズ（Ｌｈ、Ｌｖ）から、ＲＯＩ １と２との間の距離Ｌ（図５）の値を取得する。例えば、１０個の画素の垂直方向の距離Ｌが示される場合に、「Ｌ」の値はＬｖ×１０で与えられる。

さらに、図４では、処理ユニット１１は、被検体の動脈流に関連する指標情報ｄ４０としてＰＷＶを計算して出力する。指標情報ｄ４０としてのＰＷＶは、例えば、以下の式（３）により取得される。

ＰＷＶ＝Ｌ／Ｄ （３）

式（３）において、Ｌは、ＲＯＩ １と２との間の距離（図５）を表し、Ｄは、前述した位相遅延ｄ３０の時間を示す。この場合に、ｄはｍ／（ｒ×Ｎ）によって与えられ、ここで、ｍは、位相遅延ｄ３０によって示される時系列信号ｇ（ｔ）の位相遅延のサンプル数を表し、ｒは、ＮＩＲカメラ３０のフレームレートを表し、Ｎは、アップサンプリング数を表す。

上で説明したように、実施形態の装置１０は、ＮＩＲ画像ｄ１０及び深度画像ｄ２０から指標情報ｄ４０を取得する。
［装置１０の機能構成］

図７は、図１に示されるハードウェア構成で実現された装置１０の機能構成の一例を示す図である。次に、図７を参照して装置１０の機能構成を説明する。図７に示されるように、装置１０は、第１の取得ユニット１０１、検出ユニット１０２、シフト量計算ユニット１０３、第２の取得ユニット１０４、計算ユニット１０５、指標情報計算ユニット１０６、及び出力ユニット１０７を含む。

これらの構成要素は、図１に示される処理ユニット１１によって実装され、以下のように構成される。

第１の取得ユニット１０１は、非接触方式で被検体の動脈部分を画像化することによって取得したＮＩＲ画像ｄ１０を取得する。

検出ユニット１０２は、ＮＩＲ画像ｄ１０に基づいて、動脈部分の複数の位置に対応する個々の脈波（図４の時系列信号ｆ（ｔ）及びｇ（ｔ））を検出する。

シフト量計算ユニット１０３は、検出ユニット１０２によって検出した個々の脈波同士の間のシフト量（図４の位相遅延ｄ３０）を計算する。

第２の取得ユニット１０４は、動脈部分の深度情報を含む深度画像ｄ２０を取得する。

計算ユニット１０５は、深度画像ｄ２０に含まれる深度情報に基づいて、シフト量計算ユニット１０３によって計算されたシフト量に関連する動脈部分同士の間の距離（図５のＲＯＩ １と２の間の距離Ｌ）を計算する。

指標情報計算ユニット１０６は、シフト量を用いて、生物学的情報として、被検体の動脈流に関する指標情報（ＰＷＶ）を計算する。さらに、指標情報計算ユニット１０６は、計算ユニット１０５により計算された動脈部分同士の間の距離及びシフト量を用いて指標情報ｄ４０を計算することができる。

出力ユニット１０７は、指標情報ｄ４０を出力する。

図７に示される個々のユニット１０１〜１０７の構成要素は、ＡＳＩＣ（特定用途向け集積回路）又はＦＧＡ（フィールドプログラマブルゲートアレイ）等によって実現され得る。これらの構成要素は、必要に応じて、装置１０の動作の以下の説明において参照される。
［装置１０の動作］

以下では、図１〜図８を参照して、装置１０の一般的な処理を説明する。この実施形態の処理ユニット１１は、プログラムに従って、後述する様々な処理を実行することができる。

図８は、指標情報ｄ４０を計算する一般的なプロセスの一例を示すフローチャートである。

図８では、被検体１００がＴｏＦカメラ２０のＮＩＲカメラ３０によって画像化されると、処理ユニット１１は、被検体１００のＮＩＲ画像ｄ１０を取得する（ステップＳ１１）。図４では、例えば、被検体の頸部の範囲を含むＮＩＲ画像ｄ１０が取得される。

このステップでは、処理ユニット１１は、第１の取得ユニット１０１として実施される。

処理ユニット１１は、ＮＩＲ画像ｄ１０に基づいて、被検体の動脈部分の複数の位置に対応する個々の脈波を検出する（ステップＳ１２）。検出した脈波は、図４に例示されるように時系列信号ｆ（ｔ）及びｇ（ｔ）として示される。例えば、図４は、時間の経過に伴うＲＯＩ １に位置する動脈部分を流れる動脈流の変化が時系列信号ｆ（ｔ）によって表される例を示す。図４は、時間の経過に伴うＲＯＩ ２に位置する動脈部分を流れる動脈流の変化が時系列信号ｇ（ｔ）によって表される例も示す。ＲＯＩ １及び２は、ＮＩＲ画像ｄ１０における検出ターゲットとして動脈部分の位置に対応して設定される。

ステップＳ１２において、処理ユニット１１は、時系列信号ｆ（ｔ）及びｇ（ｔ）をアップサンプリングすることによって検出を行うことができる。例えば、８×アップサンプリングの場合に、時系列信号ｆ（ｔ）及びｇ（ｔ）のサンプルは、ｔ＝０〜１の間隔に亘って、ｔ＝０．１２５、０．２５、０．３７５、０．６２５、０．７５、及び０．８７５のタイミングで補間される。こうして、時系列信号ｆ（ｔ）及びｇ（ｔ）がより正確に示される。

このステップでは、処理ユニット１１は、検出ユニット１０２として実施される。

次に、処理ユニット１１は、前述した脈波同士の間の位相遅延ｄ３０を計算する（ステップＳ１３）。図４の例では、２つの時系列信号ｆ（ｔ）及びｇ（ｔ）を参照して、処理ユニット１１は、式（１）に示される相互相関関数１１１の値が、時系列信号ｇ（ｔ）の位相をシフトすることによって最大になることを示すかどうかを判定する。相互相関関数１１１の値が最大値を示すと判定されたときに、処理ユニット１１は、時系列信号ｇ（ｔ）の位相遅延ｄ３０を計算する（例えば、「ｍ」の値は、相互相関関数１１１の値が最大値を示すときの時系列信号ｇ（ｔ）の位相遅延のサンプル数を示す）。

このステップでは、処理ユニット１１は、シフト量計算ユニット１０３として実施される。

処理ユニット１１は、位相遅延ｄ３０を用いて、生物学的情報として、被検体の動脈部分の指標情報ｄ４０（図８のＰＷＶ）を計算する（ステップＳ１４）。さらに、処理ユニット１１は、指標情報ｄ４０を出力する（ステップＳ１５）。従って、指標情報ｄ４０は視覚的に提供され得る。

ステップＳ１４において、処理ユニット１１は、指標情報計算ユニット１０６として実施される。さらに、ステップＳ１５において、処理ユニット１１は、出力ユニット１０７として実施される。

ステップＳ１４において、指標情報ｄ４０としてのＰＷＶは、前述した式（３）で表されるＰＷＶ＝Ｌ／Ｄから取得される（ここで、Ｌは、ＲＯＩ １と２との間の距離であり、Ｄは、ステップＳ１３の計算による位相遅延ｄ３０に対応する時間である）。式（３）の「Ｌ」の値を取得するプロセスを図９のフローチャートに示す。

上述した「Ｌ」の値は、入力装置１５を介して入力することができる。この場合でも、式（３）から指標情報ｄ４０を取得することもできる。

図９は、式（３）において距離Ｌを計算するプロセスの一例を示すフローチャートである。

図９では、処理ユニット１１は、ＴｏＦカメラ２０から、ＮＩＲ画像ｄ１０と同期した、ＮＩＲ画像ｄ１０と同じ視点を有する深度画像ｄ２０を取得する（ステップＳ２１）。この例では、深度画像ｄ２０は、画素毎に被検体までの距離を表す深度情報を含む。

このステップでは、処理ユニット１１は、第２の取得ユニット１０４として実施される。

次に、処理ユニット１１は、深度画像ｄ２０に基づいて、検出ターゲットとしての動脈部分までの距離を計算する（ステップＳ２２）。このプロセスは、後で説明する図１０のフローチャートに詳細に示される。

また、処理ユニット１１は、ステップＳ２２の計算結果から、動脈部分同士の間の距離を計算する（ステップＳ２３）。図５では、例えば、ＲＯＩ １の中心Ｆ_０とＲＯＩ ２の中心Ｇ_０との間の距離Ｌは、ステップＳ２３における動脈部分同士の間の距離として計算される。

ステップＳ２２及びＳ２３において、処理ユニット１１は、計算ユニット１０５として実施される。

以下では、図１０及び図１１を参照して、ステップＳ２２の計算プロセスの例を説明する。図１０は、図９のステップＳ２２の計算プロセスを示すフローチャートである。図１１は、図１０のステップＳ２２１の分離プロセスを説明するための図である。

図１０では、処理ユニット１１は、図９のステップＳ２１で取得した深度画像ｄ２０から前景及び背景を分離する（ステップＳ２２１）。図１１では、前景Ｇ１及び背景Ｇ２は、例えば、ターゲットとして深度画像ｄ２０に含まれる深度情報の値（撮像点Ｐからターゲットまでの距離）が閾値以上であるかどうかを判定することによって実行されるフィルタによって区別される。次に、閾値以上の値を有する画素領域が、撮像点Ｐから遠く離れた背景Ｇ３として除去される。

図１１では、エッジＧ２が、アクティブな動きの一部を表し、前景Ｇ１から排除される。エッジ検出の例には、例えば、勾配を計算する閾値処理が含まれる。

この実施形態では、図４に示されるＲＯＩ １及び２は、ステップＳ２２１の分離プロセスによって前景として指定される。

次に、図１０では、処理ユニット１１は、ターゲットとして、ＲＯＩ １及び２（図４）の深度情報によって示される距離を含むヒストグラム（画素の特徴量）を作成する（ステップＳ２２２）。次に、処理ユニット１１は、ステップＳ２２２で作成したヒストグラムに基づいて、各ＲＯＩ １及び２までの距離として、各ＲＯＩ １及び２の全画素の距離（深度情報で示される距離）の平均値を計算する（ステップＳ２２３）。この場合に、例えば、作成したヒストグラムの分布において、ターゲット画素の値が他の値と閾値以上の差がある場合に、処理ユニット１１は、その値を不適合値として排除してから、平均値を計算する。

この実施形態では、ステップＳ２２３で計算した平均値は、撮像点Ｐから各ＲＯＩの動脈部分までの距離ｄ（図６）として設定される。その結果、画素毎のサイズ（Ｌｈ、Ｌｖ）は式（２）から取得される。さらに、動脈部分同士の間の距離は、図９のステップＳ２３で計算される。すなわち、動脈部分同士の間の距離としての２つのＲＯＩ １と２との間の距離Ｌ（図５）は、式（２）から取得した画素サイズ（Ｌｈ、Ｌｖ）から計算される。図５では、例えば、１０個の画素の垂直方向の距離Ｌが示される場合に、例えば、「Ｌ」の値は、Ｌｖ×１０によって与えられる。

その結果、処理ユニット１１は、図９のステップＳ２３で計算した「Ｌ」の値を、図８のステップＳ１４の式（３）に示されるＰＷＶ＝Ｌ／Ｄに代入して、指標情報ｄ４０としてのＰＷＶの値を計算する。

図８のステップＳ１４において、処理ユニット１１は、予め設定したサイクル（例えば、５サイクル、１０サイクル等）の時系列信号ｆ（ｔ）及びｇ（ｔ）について、式（３）に示されるＰＷＶを計算することができる。この場合に、例えば、ＰＷＶの平均値、最大値、又は最小値を指標情報ｄ４０として使用することもできる。従って、あるタイミングで時系列信号ｆ（ｔ）及びｇ（ｔ）からＰＷＶを正しく計算できない場合であっても、前述したサイクルの時系列信号ｆ（ｔ）及びｇ（ｔ）から取得したＰＷＶの平均値等を用いて適切な指標情報ｄ４０が得られる。

実施形態によれば、上記のように、撮像点Ｐから各ＲＯＩ内の動脈部分までの距離は、深度画像ｄ２０、及びＲＯＩ １同士の間の実際の距離Ｌ等に基づいて取得され、検出ターゲットのｗは、この距離ｄに基づいて計算される。このようにして、直接観察できない皮膚下の動脈部分までの距離ｄは、検出ターゲットとしての動脈部分の画像に基づいて、時系列信号ｆ（ｔ）及びｇ（ｔ）を取得するときに取得される。従って、検出した脈波の時系列信号は、実際の脈波を適切に反映することができる。皮膚表面の色の変化に基づいて脈波の時系列信号を取得する関連技術によれば、皮膚表面近くの毛細血管の脈波が測定される。こうして、ＰＷＶ等の指標を正確に取得することはできない。対照的に、動脈の脈波を取得することにより血流に関する指標を正確に取得する本実施形態は、上記の方法で距離ｄを取得することにより、動脈部分を確実に特定することができる。

被検体の毛細血管を流れる血流の変化を反映する情報とは異なり、指標情報ｄ４０は、動脈血管を流れる血流の変化を反映するように計算される。これにより、指標情報の信頼性を高めることができる。

さらに、動脈部分同士の間の距離（図５のＲＯＩ １と２との間の距離Ｌ）は、深度画像ｄ２０から取得され、こうして距離Ｌを入力する操作の必要性を排除する。これは、入力値のエラーを排除する。こうして、正しい指標情報ｄ４０を取得することができる。

さらに、同じ視野のＮＩＲ画像ｄ１０及び深度画像ｄ２０は、互いに同期してＴｏＦカメラ２０から処理ユニット１１に出力される。こうして、処理ユニット１１は、図９のステップＳ２１〜Ｓ２３を介して、互いに同期して指標情報ｄ４０を取得することができる。

２つのＲＯＩ １と２との間の距離Ｌ（図５）を、例として動脈部分同士の間の距離として説明しているが、距離は、必要に応じて変更され得る。例えば、図１２は、動脈部分７１が図４に示されるＲＯＩ １及び２に位置している場合に、動脈部分７１の位置が推定されて、推定の結果に従って動脈部分７１同士の間の距離を計算するという態様を例示している。図１２では、処理ユニット１１は、被検体の頸部の周りの動脈部分までの距離パターンを事前に登録し、深度画像ｄ２０に含まれる深度情報を登録した距離情報パターンと比較して、動脈部分７１の位置を推定する。次に、処理ユニット１１は、動脈部分７１の推定位置に沿った動脈部分７１の全長を距離Ｌ１として計算する。その結果、動脈部分７１同士の間のより正確な距離Ｌ１を取得でき、より正確な指標情報ｄ４０を計算することができる。例えば、動脈部分の位置を推定するプロセスとして、動脈部分の形状を事前にパターン化することができ、そのパターンから、深度画像ｄ２０に含まれる動脈部分の位置を推定することができる。

検出ターゲットとしての前述した動脈部分は、図４に示される被検体１００の部分に限定されない。例えば、図１３は、被検体の腕範囲８１内の橈骨動脈が、検出ターゲットである場合を例示する。この場合でも、腕の橈骨動脈の血流の変化を反映した指標情報ｄ４０が取得される。

装置関連の実施形態及び方法関連の実施形態は、同じ概念に基づいているので、装置関連の実施形態によってもたらされる技術的利点も、方法関連の実施形態によってもたらされるものと同じである。特定の原理については、装置の実施形態の前述した説明を参照すべきであり、その詳細はここでは繰り返さない。

前述した実施形態及び本発明の特許請求の範囲内で行われる同等の修正例を実施するプロセスの全部又は一部もまた、本発明の範囲内にあることが当業者によって理解されるであろう。

Claims (23)

1. 生物学的情報を取得するための方法であって、当該方法は、
   非接触方式で画像化された被検体の動脈部分の第１の画像を取得するステップと、
   該第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するステップと、
   前記検出した個々の脈波同士の間のシフト量を計算するステップと、
   該シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するステップと、を含む、
   方法。
2. 前記動脈部分の深度情報を含む第２の画像を取得するステップと、
   該第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するステップと、をさらに含み、
   前記指標情報を計算するステップは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算する、請求項１に記載の方法。
3. 前記動脈部分同士の間の前記距離を計算するステップは、
   前記第２の画像から前景及び背景を分離するステップと、
   前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算するステップと、
   該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２に記載の方法。
4. 前記動脈部分同士の間の前記距離を計算するステップは、
   前記深度情報に基づいて、前記動脈部分が位置する位置を推定するステップと、
   該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するステップと、を含む、請求項２又は３に記載の方法。
5. 前記脈波を検出するステップは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するステップを含む、請求項１乃至４のいずれか一項に記載の方法。
6. 前記指標情報を出力するステップをさらに含む、請求項１乃至５のいずれか一項に記載の方法。
7. 前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１乃至６のいずれか一項に記載の方法。
8. 前記動脈部分は頸動脈の一部である、請求項１乃至７のいずれか一項に記載の方法。
9. 前記第１の画像は、近赤外線カメラを用いて取得される、請求項１乃至８のいずれか一項に記載の方法。
10. 前記第２の画像は、深度センサを用いて取得される、請求項２乃至４のいずれか一項に記載の方法。
11. 生物学的情報を取得するための装置であって、当該装置は、
    非接触方式で画像化された被検体の動脈部分の第１の画像を取得するための第１の取得ユニットと、
    前記第１の画像に基づいて、前記動脈部分の複数の位置に対応する個々の脈波を検出するための検出ユニットと、
    前記検出した個々の脈波同士の間のシフト量を計算するためのシフト量計算ユニットと、
    前記シフト量を用いて、前記生物学的情報として、前記被検体の動脈流に関する指標情報を計算するための指標情報計算ユニットと、を含む、
    装置。
12. 前記動脈部分の深度情報を含む第２の画像を取得するための第２の取得ユニットと、
    前記第２の画像に含まれる前記深度情報に基づいて、前記シフト量に関連する動脈部分同士の間の距離を計算するための計算ユニットと、をさらに含み、
    前記指標情報計算ユニットは、前記計算した動脈部分同士の間の距離及び前記シフト量を用いて前記指標情報を計算するように構成される、請求項１１に記載の装置。
13. 前記計算ユニットは、前記第２の画像から前景及び背景を分離し、前記前景の前記画像内の画素の特徴量に基づいて、検出ターゲットとしての前記動脈部分までの距離を計算し、該計算した距離を用いて前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２に記載の装置。
14. 前記計算ユニットは、前記深度情報に基づいて、検出ターゲットとしての前記動脈部分が位置する位置を推定し、該推定の結果を用いて、前記動脈部分同士の間の前記距離を計算するように構成される、請求項１２又は１３に記載の装置。
15. 前記検出ユニットは、前記第１の画像に含まれる前記動脈部分が位置する前記位置に対応する時系列信号をアップサンプリングすることによって前記脈波を検出するように構成される、請求項１１乃至１４のいずれか一項に記載の装置。
16. 前記指標情報を出力するための出力ユニットをさらに含む、請求項１１乃至１５のいずれか一項に記載の装置。
17. 前記指標情報は脈波伝播速度（ＰＷＶ）である、請求項１１乃至１６のいずれか一項に記載の装置。
18. 前記動脈部分は頸動脈の一部である、請求項１１乃至１７のいずれか一項に記載の装置。
19. 前記第１の画像は、近赤外線カメラを用いて取得される、請求項１１乃至１８のいずれか一項に記載の装置。
20. 前記第２の画像は、深度センサを用いて取得される、請求項１２から１４のいずれか一項に記載の装置。
21. 装置であって、当該装置は、
    請求項１１乃至２０のいずれか一項に記載の装置と、
    前記第１の画像を画像化するように構成された近赤外線カメラと、
    前記指標情報を取得し、前記複数の動脈部分の深度情報を取得するために使用される深度センサと、を含む、
    装置。
22. コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのプログラムを記録する、コンピュータ可読記憶媒体。
23. コンピュータが、請求項１乃至１０のいずれか一項に記載の方法を実行するのを可能にするためのコンピュータプログラム。

Images