JP7229676B2

JP7229676B2 - 生体情報検出装置および生体情報検出方法

Info

Publication number: JP7229676B2
Application number: JP2018096701A
Authority: JP
Inventors: 伸宏福田; 雅史木口
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2018-05-21
Filing date: 2018-05-21
Publication date: 2023-02-28
Anticipated expiration: 2038-05-21
Also published as: US10881338B2; US20190350505A1; JP2019201674A

Description

本発明は、生体に関する情報を検出する技術に関する。

肺炎の重症度や呼吸不全、心不全等の判定に使用される医療機器としてパルスオキシメータがある。パルスオキシメータは、指先に装着して、指の上から赤外光（ＩＲ）及び赤色光を照射し、ヘモグロビンの吸収量をセンサで計測し、動脈血酸素飽和度（ＳｐＯ２）を取得する接触型の機器である。

近年生体情報を取得する手法として、マイクロ波やカメラを使用した非接触でリアルタイムに検出できる技術がある。特にカメラを用いた脈拍検出は、近年、カメラモジュールの小型化が進み、スマートフォンを含む携帯端末に搭載され、普及が進んでいる。

撮像による脈拍検出を行う技術として、顔映像中のＲＧＢ信号のうち、特にＧ信号をトレースし、脈拍を検出する手法がある（非特許文献１）。さらに時系列信号のスペクトル分布から脈拍信号を特定する手法がある（特許文献１）。

特開２０１２－２３９６６１号公報

Ｖｅｒｋｒｕｙｓｓｅ，Ｗｉｍ，ＬａｒｓＯ．Ｓｖａａｓａｎｄ，Ｊ．ＳｔｕａｒｔＮｅｌｓｏｎ， " Ｒｅｍｏｔｅｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃｉｍａｇｉｎｇｕｓｉｎｇａｍｂｉｅｎｔｌｉｇｈｔ．"，Ｏｐｔｉｃｓｅｘｐｒｅｓｓ１６．２６（２００８）：２１４３４－２１４４５.

前記技術は、被験者に負荷をかけない計測方法として期待されている。このような中、運転中のドライバや、在宅の高齢者の呼吸器疾患や心不全等による容態急変をモニタリングする技術として、カメラを用いて離れた位置より非接触にてＳｐＯ２を計測する技術が重要となる。

本発明の好ましい一側面は、可視光および赤外光により画像を取得するカメラと、可視光による画像の時間的な波長の変化を検出して第１の波長差分データ信号を生成する第１の波長揺らぎ検出部と、第１の波長差分データ信号の振幅を検出する第１の振幅検出部と、赤外光による画像の時間的な波長の変化を検出して第２の波長差分データ信号を生成する第２の波長揺らぎ検出部と、第２の波長差分データ信号の振幅を検出する第２の振幅検出部と、第１の波長差分データ信号の振幅と第２の波長差分データ信号の振幅の比率を算出する比率算出部と、算出された振幅の比率に基づいて酸素飽和濃度を算出する酸素飽和濃度算出部と、を備える生体情報検出装置である。

本発明の他の好ましい一側面は、可視光により生体の画像を取得する第１のステップ、赤外光により生体の画像を取得する第２のステップ、可視光による画像の時間的な波長の変化を検出して第１の波長差分データ信号を生成する第３のステップ、第１の波長差分データ信号の振幅を検出する第４のステップ、赤外光による画像の時間的な波長の変化を検出して第２の波長差分データ信号を生成する第５のステップ、第２の波長差分データ信号の振幅を検出する第６のステップ、第１の波長差分データ信号の振幅と第２の波長差分データ信号の振幅の比率を算出する第７のステップ、算出された振幅の比率に基づいて生体の情報を推定する第８のステップ、を備える生体情報検出方法である。

本発明によれば、カメラを用いて離れた位置より非接触にてＳｐＯ２を計測する技術を提供することができる。

実施例１の生体情報検出装置の構成ブロック図。実施例１に於けるカラーカメラモジュールの一例を説明するブロック図。実施例１に於けるＩＲカメラモジュールの一例を説明するブロック図。赤色から近赤外波長に於けるヘモグロビンの吸収を説明するグラフ図。赤色及び近赤外波長の振幅とＳｐＯ２の関係を説明する表図。実施例１に於ける映像入力部の一例を説明するブロック図。実施例１に於ける検出領域信号生成部の一例を説明するブロック図。実施例１に於ける空間フィルタの動作概念を表す模式図。ＨＳＶ色空間及び部分色空間の指定範囲を表す概念図。実施例１に於けるスペクトル算出部の一例を説明するブロック図。実施例１に於ける波長揺らぎ検出部の一例を説明するブロック図。実施例１に於ける脈拍検出部の一例を説明するブロック図。実施例１に於けるＳｐＯ２検出部の一例を説明するブロック図。比率信号と酸素飽和濃度の関係を示すテーブルの例を示す表図。実施例２の生体情報検出装置の構成ブロック図。実施例２に於けるＲＧＢ－ＩＲカメラモジュールの一例を説明するブロック図。実施例３の生体情報検出装置の構成ブロック図。実施例３に於ける検出領域信号生成部の一例を説明するブロック図。実施例３に於けるＳｐＯ２検出部の一例を説明するブロック図。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号（例えば数字）に異なる添字（例えばアルファベット）を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

以下で詳細に説明される実施例のうちの一例では、撮像された赤外及び可視光映像信号を利用する。そして赤外及び可視光映像信号に対して、１フレーム前の各映像信号とのフレーム間差分により、映像の揺らぎを検出する波長揺らぎ検出部と、検出された揺らぎより脈波を推定し、脈波の振幅を算出する脈波検出部と、を備えるスペクトル検出部をそれぞれ備える。そして、生成された２つの脈波の振幅の大きさの比率を算出し、算出された振幅の比率と酸素飽和濃度との関係を示す相関テーブルより動脈血酸素飽和度に変換するＳｐＯ２算出部を備え、非接触で計測を可能としている。

本実施例では、カメラを用いて顔映像からＳｐＯ２を検出する生体情報検出装置の例を説明する。本実施例で顔映像とは、人の顔と判定される領域であるが、ＳｐＯ２を測定するためには手や腕などの他の部分でも良い。また、人以外の動物の肌の露出した領域でも良い。測定するための領域を便宜的に「顔領域」、「顔領域等」ということがある。

図１は、本実施例による生体情報検出装置の構成図である。本実施例における生体情報検出装置は、カラーカメラ２００ａと赤外線（infrared：ＩＲ）カメラ２００ｂを備えている。

カラーカメラ２００ａには、第１の映像入力部３００ａが接続されている。第１の映像入力部３００ａは、カラー撮像データ信号１０１ａを入力信号とし、遅延カラーデータ信号１０２ａを出力とする。第１の映像入力部３００ａは、検出領域信号生成部４００に接続される。検出領域信号生成部４００は、遅延カラーデータ信号１０２ａを入力とする。検出領域信号生成部４００からは、第１の波長データ信号（カラー信号）１０５ａとレベル信号１０４が、第１のスペクトル算出部５００ａに入力されている。

ＩＲカメラ２００ｂには、第２の映像入力部３００ｂが接続されている。第２の映像入力部３００ｂは、ＩＲ撮像データ信号１０１ｂを入力信号とし、遅延ＩＲ信号１０２ｂを出力とする。第２の映像入力部３００ｂは、空間フィルタ１０３に接続される。空間フィルタ１０３は、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＩＲ信号１０２ｂを入力とし、例えば注目画素の周りを加重平均し、平滑化した第２の波長データ信号（ＩＲ信号）１０５ｂを出力する。

第１の波長データ信号１０５ａとレベル信号１０４は、第２のスペクトル算出部５００ｂに入力される。第１のスペクトル算出部５００ａの出力である第１の振幅信号（カラー信号）１０６ａと、第２のスペクトル算出部５００ｂの出力である第２の振幅信号（ＩＲ信号）１０６ｂとは、ＳｐＯ２算出部６００に入力される。ＳｐＯ２算出部６００は、ＳｐＯ２を算出し、データ表示部１０８に結果を表示する。

カメラ２００は例えば一般的な固体撮像素子を用いたカメラでよい。データ表示部１０８は例えば一般的な液晶ディスプレイでよい。光学系以外のカメラ２００、映像入力部３００、検出領域信号生成部４００、空間フィルタ１０３、スペクトル算出部５００、ＳｐＯ２算出部６００は、マイクロコンピュータ（図示せず）でソフトウェアを実行させて制御を行なうことで構成できる。あるいは、ソフトウェアで構成する機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウェアでも実現できる。また、ソフトウェアやデータの格納や実行のため、半導体メモリなどの記憶装置（図示せず）を備える。

図２Ａは、図１のカラーカメラ２００ａの一例を説明する図である。カラーカメラ２００ａは、レンズを通過した光がフィルタ（ＩＲカットフィルタ及びカラーフィルタ）２０１ａを通して、例えばＲＧＢの三色に分解されＣＣＤ（Charge Coupled Device）２０２ａに照射される。ここでカラーフィルタをＲＧＢ（レッド、グリーン、ブルー）として説明したが、補色関係にあるＹＣＭ（イエロー、シアン、マゼンダ）でもよい。この光を光電変換して得られる電気信号２０３ａが、ＡＤ（Analog Digital）コンバータ２０４ａによりデジタル化される。デジタル化されたままのＲＡＷデータ信号２０５ａは、映像補正部２０６ａに入力される。映像補正部２０６ａは、例えば１画素毎のＲＧＢをコンポーネントに持つカラー撮像データ信号１０１ａを出力する。ここで、カラーコンポーネントをＲＧＢとして説明したが、色差信号であるＹＣｂＣｒ等でもよい。

図２Ｂは、図１のＩＲカメラ２００ｂの一例を説明する図である。ＩＲカメラ２００ｂは、レンズを通過した光がフィルタ（バンドパスもしくはローパスフィルタ）２０１ｂを通して、例えば赤外光がＣＣＤ２０２ｂに照射される。この光を光電変換して得られる電気信号２０３ｂが、ＡＤコンバータ２０４ｂによりデジタル化される。デジタル化されたままのＲＡＷデータ信号２０５ｂは、映像補正部２０６ｂに入力される。映像補正部２０６ｂは、例えば１画素毎のＩＲをコンポーネントに持つＩＲ撮像データ信号１０１ｂを出力する。

図３は、赤色から近赤外波長に於ける、血液中のヘモグロビンの吸収を説明する図である。酸化ヘモグロビンＨｂＯ２に関するグラフを実線で、還元ヘモグロビンＨＨｂに関するカーブを点線で示している。図に示すように波長８００ｎｍ以下の赤色側の吸収係数は、ＨｂＯ２に比べＨＨｂが大きい。この両者の吸収の差を検出するためには、ＩＲカメラ２００ｂのフィルタ２０１ｂは、波長８００ｎｍより上の帯域を通過させるのが良い。

赤色光を血液に当てると、酸化ヘモグロビンＨｂＯ２では吸収が少ないため、ＣＣＤ２０２ａが受け取る光の量が多くなる。また、還元ヘモグロビンＨＨｂでは吸収が多いため、ＣＣＤ２０２ａが受け取る光の量が少なくなる。よって生体において、酸化ヘモグロビンＨｂＯ２が増え還元ヘモグロビンＨＨｂが減れば、ＣＣＤ２０２ａが受け取る赤色光の量が多くなる。

一方、赤外光では、還元ヘモグロビンＨＨｂでは吸収が少ないため、ＣＣＤ２０２ｂが受け取る光の量が多くなる。また、酸化ヘモグロビンＨｂＯ２では吸収が多いため、ＣＣＤ２０２ｂが受け取る光の量が少なくなる。よって生体において、酸化ヘモグロビンＨｂＯ２が増え還元ヘモグロビンＨＨｂが減れば、ＣＣＤ２０２ｂが受け取る赤外光の量が少なくなる。

以上のように酸化ヘモグロビンＨｂＯ２と還元ヘモグロビンＨＨｂの状態は、電気信号２０３ａと２０３ｂに反映される。よって、電気信号２０３ａと２０３ｂの比からＨｂＯ２とＨＨｂの比率、即ち酸素飽和度が推定できる。以上は、パルスオキシメータの基本的な原理である。心臓から送り出される血液は脈波の形で血管内を移動する。パルスオキシメータでは、脈動する動脈血の厚みの変化に伴って、検出される透過光信号には周期的な強度変化が見られる。

図４は、赤色及び近赤外波長の検出信号の振幅と、ＳｐＯ２の関係を説明する図である。生体の循環器系の脈動、特に動脈の動きに伴って、生体の反射あるいは透過光強度が脈動する。その際に、生体の酸素飽和濃度および光の波長により、検出信号の振幅が変化する。この図で示すように、ＳｐＯ２の値が低い場合は「赤色波長振幅＞赤外波長振幅」、高い場合は「赤色波長振幅＜赤外波長振幅」と、波長により振幅が異なる。この性質を利用し、「赤色波長振幅／赤外波長振幅」をＳｐＯ２を求める指標として利用する。

パルスオキシメータでは、上記のように透過光の強度変化による信号波形の振幅を利用するが、本実施例では非接触の検出を可能とするために、撮像した生体の色変化（波長揺らぎ）から信号波形を得て振幅を検出する。

図５は、図１の映像入力部３００の一例を説明する図である。第１の映像入力部３００ａの場合は、カラー撮像データ信号１０１ａを入力信号とし、映像のＲＧＢ信号３０２ａを出力する映像取得部３０１ａを備える。そして、１フレーム分のＲＧＢ信号３０２ａを入力信号とし、例えばＲＧＢ等の遅延カラーデータ信号１０２ａを出力する映像データ記憶部３０３ａを備える。また、ＩＲに対する第２の映像入力部３００ｂの場合は、カラー撮像データ信号１０１ａの代わりにＩＲ撮像データ信号１０１ｂを、遅延カラーデータ信号１０２ａの代わりに遅延ＩＲ信号１０２ｂを置き換えればよい。

図６は、図１の検出領域信号生成部４００の一例を説明する図である。検出領域信号生成部４００は、画素毎の映像処理を行なう。検出領域信号生成部４００は、コンボリューションカーネルのタップ分のライン遅延を持つ遅延カラーデータ信号１０２ａを入力とし、例えば注目画素の周りを加重平均し、平滑化したＲＧＢ信号４０２を出力する空間フィルタ４０１を備える。また、平滑化したＲＧＢ信号４０２をＲ、Ｇ、Ｂ信号に分解したアンパック信号４０３を入力とし、Ｈ信号（色相）すなわち第１の波長データ信号１０５ａ、Ｓ信号（彩度）４０５、Ｖ信号（明度）４０６へと変換するＨＳＶ変換部４０４を備える。また、Ｈ信号（色相）１０５ａ、Ｓ信号（彩度）４０５、Ｖ信号（明度）４０６を入力とし、肌色領域を示すレベル信号１０４を出力する肌色領域検出部４０７と、を備える。

図７は図６に於ける空間フィルタ４０１の処理の一例を表す図である。空間フィルタ４は、一般に中心画素とその周辺画素の輝度に重み付けを行い、積和演算又は非線形演算によって求めた値をその中心画素の値とする。図７は、縦横３タップすなわち３×３のコンボリューションカーネルを画像に適用した例で、画像の注目画素を中心にカーネルと畳み込み演算を施した値が平滑化したＲＧＢ信号４０２となる。カーネルの値は加重平均の係数で、合計値は１．０になればよく、例えば平滑化は平均値分布でもガウシアン分布でもよい。

空間フィルタ４０１による平滑化処理により、画像中のノイズの影響を低減することができる。例えば、撮像中は生体は静止していないため、前後のフレーム映像が画素単位で一致することはない。このため、毛やごみなどが一種のノイズになるため、映像を空間的に平滑（平均）化することは、波長揺らぎ検出部５５０以降で色変化により情報を検出する上で有効である。

図８は図６に於けるＨＳＶ変換部４０４で、ＨＳＶ色空間及び部分色空間の指定範囲を表す図である。図はＨＳＶ色空間を円柱座標で表現している。縦軸はＶａｌｕｅすなわち明度で色の明るさを表し、半径方向の軸はＳａｔｕｒａｔｉｏｎすなわち彩度で色の濃さを示す。回転角がＨｕｅすなわち色相となる。色相は、強さや濃さとは独立で、撮像が光の反射を捉えていると考えると、反射光の波長成分に相当すると考えられる。同様に、明度は特定波長の強度を示すと考えることができる。尚、肌色領域検出部４０７は、このＨＳＶ色空間に於いて図８の５００のように部分色空間を用いて肌色領域を指定し、ＨＳＶ値が肌色領域に含まれる場合にはレベル信号１０４に“１”、含まれない場合には“０”を出力すればよい。

部分色空間の設定方法としては、例えば、色相の０度＝３６０度は赤色、１２０度は緑色、２４０度は青色で、色１と色２で指定した区間が該当範囲とする。また、彩度は０％を淡色、１００％を濃色、明度は０％を暗色、１００％を明色とし、同様に範囲を指定すればよい。

以上のようにして、肌色領域検出部４０７は、当該画素が人肌の部分であるか否かを、判定することができる。なお、本明細書では、肌色領域検出部４０７により人肌の部分と判定され、レベル信号１０４が“１”となった画素により構成される領域を肌色領域と称している。肌色領域は上述した範囲指定によって任意に定義できるため、「肌色」と称してはいるが必ずしも特定の色に限定されるものではない。一般には、生体情報を取得するのに適した、人または動物の露出した肌の色に対応する領域を検出することになる。

図９は図１のスペクトル算出部５００の一例を説明する図である。第１のスペクトル算出部５００ａは、レベル信号１０４及び第１の波長データ信号（カラー信号）１０５ａを入力とし、積算波長差分データ信号５０１ａを出力する波長揺らぎ検出部５５０ａと、積算波長差分データ信号５０１ａを入力とし、第１の振幅信号（カラー信号）１０６ａを出力する第１の脈拍検出部５８０ａとを備える。また、ＩＲ信号に対する第２のスペクトル算出部５００ｂとしては、第１の波長データ信号（カラー信号）１０５ａの代わりに第２の波長データ信号（ＩＲ信号）１０５ｂを、第１の振幅信号（カラー信号）１０６ａの代わりに第２の振幅信号（ＩＲ信号）１０６ｂを置き換えれば良い。

図１０は図９の波長揺らぎ検出部５５０の一例を説明する図である。波長揺らぎ検出部５５０では、被写体の肌色の領域における、平均的な色の変化を検出する。第１のスペクトル算出部５００ａの第１の波長揺らぎ検出部５５０ａは、波長データ記憶部５５１ａと、波長差分算出部５５３ａと、肌色面積算出部５５７と、波長差分積算部５５５ａと、平均波長差分算出部５５９ａを備える。

波長差分算出部５５３ａは、肌色領域を示すレベル信号１０４と、第１の波長データ信号１０５ａとを入力とする。さらに波長差分算出部５５３ａは、第１の波長データ信号１０５ａを、波長データ記憶部５５１ａにてフレーム毎に記憶し、フレーム遅延した遅延波長データ信号５５２ａを入力とする。波長差分算出部５５３ａは、肌色領域内画素について、第１の波長データ信号１０５ａと遅延波長データ信号５５２ａの波長差分データ信号５５４ａを出力し、領域外は“０”値を出力する。

肌色面積算出部５５７ａは、肌色領域を示すレベル信号１０４を入力とし、フレーム毎に肌色領域の画素数をカウントし、肌色面積信号５５８ａを出力する。

波長差分積算部５５５ａは、肌色領域画素の波長差分データ信号５５４ａを入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号５５６ａを出力する。

平均波長差分算出部５５９ａは、肌色面積信号５５８ａと積算波長差分データ信号５５６を入力とし、積算波長差分データと肌色面積の除算にて、１フレーム内の肌色領域の全画素について、平均した積算波長差分データ信号５０１を出力する。

第２のスペクトル算出部５００ｂの第２の波長揺らぎ検出部５５０ｂは、第１の波長データ信号（カラー信号）１０５ａの代わりに第２の波長データ信号（ＩＲ信号）１０５ｂを、平均した積算波長差分データ信号（カラー信号）５０１ａの代わりに平均した積算波長差分データ信号（ＩＲ信号）５０１ｂを、置き換えれば良い。

図１１は図９の脈拍検出部５８０の一例を説明する図である。脈拍検出部５８０はフレーム毎の映像処理を行なう。脈拍検出部５８０は、平滑化フィルタ５８３と、差分データ記憶部５８１と、傾き検出部５８７と、平滑データ記憶部５８５と、振幅検出部５９１と、符号データ記憶部５８９を備える。第１の脈拍検出部５８０ａ、第２の脈拍検出部５８０ｂとも同様の構成でよい。

差分データ記憶部５８１は、平均した積算波長差分データ信号５０１を入力とし、所定の遅延を持つ遅延波長差分データ信号５８２を出力する。

平滑化フィルタ５８３は、平均した積算波長差分データ信号５０１及び遅延波長差分データ信号５８２を入力とし、連続時間軸上で複数フレーム分の波長データより平滑化した波長差分データ信号５８４を出力する。平滑化フィルタ５８３は、例えば想定される人間の脈拍の周波数より十分高い周波数成分を阻止するように構成する。この構成により、検出信号中のノイズを除去する。

平滑データ記憶部５８５は、平滑化した波長差分データ信号５８４を入力とし、複数フレーム分の波長差分データを保持し、平滑化した遅延波長差分データ信号５８６を出力する。

傾き検出部５８７は、平滑化した波長差分データ信号５８４及び平滑化した遅延波長差分データ信号５８６を入力とし、連続する２フレームデータ、もしくは連続する近傍の数フレームの平均フレーム間の差分を求め、傾きの符号を求める。

符号データ記憶部５８９は、符号データ信号５８８を入力とし、複数フレーム分の符号データを保持し、遅延符号データ信号５９０を出力する。

振幅検出部５９１は、符号データ信号５８８及び遅延符号データ信号５９０を入力とし、傾きの符合変化を正値から負値へ変化したフレームを極大、負値から正値へ変化したフレームを極小とすることで極値を求め、例えば極大値を脈拍信号１０６として出力する。脈拍信号１０６は、例えば図４で示した波形の振幅に対応する。

上記のように平滑化フィルタ５８３が積算波長差分データ信号５０１を平滑化することによって、ノイズ等に起因する差分データ信号の微細な変動による脈拍の誤検出が防止される。傾き検出部５８７が隣接するフレーム間の差分データの変化（傾き）を検出し、その結果に基づいて振幅検出部５９１が差分データの極大値又は極小値を検出することによって、精度よく振幅を測定することができる。また、傾き検出部５８７が連続する近傍の複数フレームの平均フレーム間の差分を求める場合には、平滑化フィルタと同様に、脈拍の誤検出が防止される。

図１２は、図１のＳｐＯ２算出部６００の一例を説明する図である。ＳｐＯ２算出部６００は、比率算出部６０１と酸素飽和度算出部６０３を備える。

比率算出部６０１は、第１の振幅信号（カラー信号）１０６ａと、第２の振幅信号（ＩＲ信号）１０６ｂとを入力とし、第１の振幅信号（カラー信号）１０６ａが０の時は０信号を、それ以外は振幅信号（カラー信号）／振幅信号（ＩＲ信号）もしくは振幅信号（ＩＲ信号）／（振幅信号（カラー信号）＋振幅信号（ＩＲ信号））等の比率により比率信号６０２を出力する。

酸素飽和度算出部６０３は、比率算出部６０１と、比率信号６０２を入力とし、例えば酸素飽和度との相関テーブルにより紐づけられたＳｐＯ２信号１０７を出力する。

図１３は、相関テーブルの一例である。相関テーブルは、酸素飽和度算出部６０３から読み取り可能なメモリに記憶しておく。相関テーブルの酸素飽和濃度の数値は、生体により測定した比率信号６０２の値に対して、例えば当該生体からの採血で測定した酸素飽和濃度を対応付けておく。比率信号６０２の値は、装置の感度や増幅率に依存して定まる。

以上の構成によれば、カメラを用いたＳｐＯ２検出により、非接触にて被験者の呼吸器疾患や心不全等による容態急変を検出するモニタリング手法を提供することができる。

実施例１では、２台のカメラを用いて顔などの生体映像から赤外及び赤色波長の脈拍を検出し、振幅の比により、ＳｐＯ２を求める技術を説明した。実施例２では、１台のカメラでＳｐＯ２を測定する生体情報検出装置を説明する。

近年では例えばＲＧＢ等のカラーコンポーネントに近赤外フィルタを加え、１画素あたり４コンポーネントの画素を持つカメラが登場している。本実施例ではこのカメラを利用し、コンパクトな構成で実現する手法を説明する。

図１４は、実施例２に於ける生体情報検出装置の構成図の例である。図１の例と比較し、同様の構成には同じ符号を付して説明を省略する。本実施例における生体情報検出装置は、1台のカメラとしてＩＲ－カラーカメラ２００ｃを備え、また、ＩＲ－カラー撮像データ信号１０１ｃを入力信号とする映像入力部３００ｃを備えている。

図１５は、図１４のＩＲ－カラーカメラ２００ｃの一例を説明する図である。ＩＲ－カラーカメラ２００ｃは、レンズを通過した光がフィルタ（ＩＲ－カラーフィルタ）２０１ｃを通して、例えばＲＧＢ、ＩＲの４色に分解されＣＣＤ２０２ｃに照射される。ここでカラーフィルタをＲＧＢとして説明したが、補色関係にあるＹＣＭでもよい。この光を光電変換して得られる電気信号２０３ｃが、ＡＤコンバータ２０４ｃによりデジタル化される。デジタル化されたままのＲＡＷデータ信号２０５ｃは、映像補正部２０６ｃに入力される。映像補正部２０６ｃでは、例えば１画素毎のＲＧＢをコンポーネントに持つカラー撮像データ信号１０１ａとＩＲ撮像データ信号１０１ｂを出力する。カラー撮像データ信号１０１ａとＩＲ撮像データ信号１０１ｂを総括して、図１４のＩＲ－カラー撮像データ信号１０１ｃと称している。ここで、カラーコンポーネントをＲＧＢとして説明したが、ＹＣｂＣｒ等でもよい。

以上の構成によれば、１台のカメラを用いて顔映像から赤外及び赤色波長の脈拍を検出し、振幅の比により、ＳｐＯ２検出を求める技術を提供することができる。

実施例２では、１台のカメラを用いて顔などの生体映像から赤外及び赤色波長の脈拍を検出し、振幅の比により、ＳｐＯ２検出を求める技術を説明した。実施例３では、外光によるＳｐＯ２の補正を行う生体情報検出装置を説明する。

一般的なパルスオキシメータは赤外波長及び赤色波長の光源により、いつでも同条件で光を照射できる。実施例１～実施例２で説明した、カメラ技術を使用したＳｐＯ２検出の場合も、照明を用意することで安定した条件で測定することも可能である。しかし、いつも外光が入らない環境条件を準備できるわけではない。そこで、外光の明るさによって補正を行える手法を提供する。

図１６は、実施例３に於ける生体情報検出装置の構成図の例である。図１の例と比較し、同様の構成には同じ符号を付して詳細説明を省略する。実施例３では、図１の検出領域信号生成部４００とＳｐＯ２算出部６００が、検出領域信号生成部４００ｄとＳｐＯ２算出部６００ｄに置き換えられている。

図１７は、図１６の検出領域信号生成部４００ｄの一例を説明する図である。図６の検出領域信号生成部４００と比較し、同様の構成には同じ符号を付して説明を省略する。実施例３の検出領域信号生成部４００ｄは、Ｖ信号（明度）４０６を出力とする。

図１８は、図１６のＳｐＯ２算出部６００ｄの一例を説明する図である。図１２のＳｐＯ２算出部６００と比較し、同様の構成には同じ符号を付して説明を省略する。実施例３のＳｐＯ２算出部６００ｄでは、比率算出部６０１ｄは、第１の振幅信号（カラー信号）１０６ａと第２の振幅信号（ＩＲ信号）１０６ｂとに加えて、Ｖ信号（明度）４０６を入力とする。

比率算出部６０１ｄでは、入力されるＶ信号（明度）４０６によって、外光変化を検知し比率の算出を補正する。比率算出部６０１ｄは、振幅信号（カラー信号）が０の時は０信号を、それ以外は振幅信号（カラー信号）／振幅信号（ＩＲ信号）もしくは振幅信号（ＩＲ信号）／（振幅信号（カラー信号）＋振幅信号（ＩＲ信号））等の比率計算を行なう。ここで例えば、振幅信号（カラー信号）に対し、定数をｋ及びＶ０としてｋ（Ｖ信号／Ｖ０）を加えることで、比率を補正することができる。

上記の例では、Ｖ信号（明度）４０６による寄与を比率演算として説明した。別の方式としては、第１の振幅信号（カラー信号）１０６ａと、第２の振幅信号（ＩＲ信号）１０６ｂと、Ｖ信号（明度）４０６を入力とし、一意に定まる比率を導出する３次元配列をテーブルとして保持し、当該テーブルを参照して比率を求めてもよい。また、振幅信号（カラー信号）／振幅信号（ＩＲ信号）もしくは振幅信号（ＩＲ信号）／（振幅信号（カラー信号）＋振幅信号（ＩＲ信号））等の比率と、Ｖ信号（明度）４０６とを入力とし、一意に定まる比率を導出する２次元配列をテーブルとして保持し、当該テーブルを参照して比率を求めてもよい。

補正の設定は、インターフェースとして、外光補正機能を有効にするスイッチと、補正感度を決めるレベル調整機能を持つことで可能である。レベル調整機能により、上述の定数やテーブルを選択可能とすることができる。以上の構成により、外光による影響を加味した補正を行うことができ、ＳｐＯ２算出時の誤差を減らすことができる。

以上説明したように、一般のパルスオキシメータは、指先に装着して、指の上から赤外光（ＩＲ）及び赤色光を照射し、ヘモグロビンの吸収量をセンサで計測し、動脈血酸素飽和度（ＳｐＯ２）を取得する接触型の機器であるが、車の運転中や日常生活の中で装着しつづけながら計測するのは困難であった。上記実施例に拠れば、赤外及び可視光カメラにより撮像された各映像信号と、１フレーム前の各映像信号とのフレーム間差分により、２つの脈波を推定する脈波検出部と、生成された２つの脈波の振幅の大きさの比率を算出し、算出された振幅の比率と酸素飽和濃度との関係を示す相関テーブルより酸素飽和濃度に変換するＳｐＯ２算出部とを備えることで、非接触にて計測可能にする。よって、非接触にて被験者の呼吸器疾患や心不全等による容態急変を検出するモニタリング手法を提供することができる。

２０１ａフィルタ（ＩＲカットフィルタ及びカラーフィルタ）
２０１ｂフィルタ（バンドパスもしくはローパスフィルタ）
３００ａ第１の映像入力部（カラー）
３００ｂ第２の映像入力部（ＩＲ）
４００検出領域信号生成部
１０３空間フィルタ
５００スペクトル算出部
６００ＳｐＯ２算出部

Claims

可視光および赤外光により画像を取得するカメラと、
前記可視光による画像の時間的な波長の変化を検出して第１の波長差分データ信号を生成する第１の波長揺らぎ検出部と、
前記第１の波長差分データ信号の振幅を検出する第１の振幅検出部と、
前記赤外光による画像の時間的な波長の変化を検出して第２の波長差分データ信号を生成する第２の波長揺らぎ検出部と、
前記第２の波長差分データ信号の振幅を検出する第２の振幅検出部と、
前記第１の波長差分データ信号の振幅と前記第２の波長差分データ信号の振幅の比率を算出する比率算出部と、
前記算出された振幅の比率に基づいて酸素飽和濃度を算出する酸素飽和濃度算出部と、
を備え、
前記第１の波長揺らぎ検出部は、前記可視光による画像から得られるカラーデータ信号をＨＳＶ信号に変換して得られるＨ信号を第１の波長データ信号として入力とし、前記第１の波長データ信号と該第１の波長データ信号を遅延させた第１の遅延波長データ信号の差分を前記第１の波長差分データ信号とし、
前記第２の波長揺らぎ検出部は、前記赤外光による画像から得られるカラーデータ信号をＨＳＶ信号に変換して得られるＨ信号を第２の波長データ信号として入力とし、前記第２の波長データ信号と該第２の波長データ信号を遅延させた第２の遅延波長データ信号の差分を前記第２の波長差分データ信号とする、
生体情報検出装置。
前記酸素飽和濃度算出部は、
算出された振幅の比率と酸素飽和濃度との関係を示す相関テーブルに基づいて、前記比率を酸素飽和濃度に変換する、
請求項１記載の生体情報検出装置。
可視光により取得された画像に基づいて特定の色領域を検出する、検出領域信号生成部を備え、
前記第１の波長揺らぎ検出部は、前記特定の色領域を波長の変化検出の対象領域とする、
請求項１記載の生体情報検出装置。
前記第２の波長揺らぎ検出部も、前記特定の色領域を波長の変化検出の対象領域とする、
請求項３記載の生体情報検出装置。
前記検出領域信号生成部は、
カメラにより撮像された映像信号を、映像の波長とスペクトル強度へと分解する、
請求項３記載の生体情報検出装置。
前記検出領域信号生成部は、
映像の波長とスペクトル強度への分解を、映像信号をＨＳＶ色空間に変換し、色相を波長とし、明度をスペクトル強度とすることにより行なう、
請求項５記載の生体情報検出装置。
前記カメラとして赤外及び可視光の個別の複数台のカメラではなく、１台のカメラで赤外および可視光を同時に取得できるフィルタを有するカメラを使用し、画素値より赤外及び可視光成分を抽出する、
請求項１記載の生体情報検出装置。
前記検出領域信号生成部は、
映像の波長とスペクトル強度への分解を、映像信号をＨＳＶ色空間に変換し、色相を波長とし、明度をスペクトル強度とすることにより行ない、
前記酸素飽和濃度算出部は、
前記明度を光の強度を表す信号として用い、酸素飽和濃度の算出を補正する、
請求項５記載の生体情報検出装置。
可視光により生体の画像を取得する第１のステップ、
赤外光により生体の画像を取得する第２のステップ、
前記可視光による画像の時間的な波長の変化を検出して第１の波長差分データ信号を生成する第３のステップ、
前記第１の波長差分データ信号の振幅を検出する第４のステップ、
前記赤外光による画像の時間的な波長の変化を検出して第２の波長差分データ信号を生成する第５のステップ、
前記第２の波長差分データ信号の振幅を検出する第６のステップ、
前記第１の波長差分データ信号の振幅と前記第２の波長差分データ信号の振幅の比率を算出する第７のステップ、
前記算出された振幅の比率に基づいて生体の情報を推定する第８のステップ、
を備え、
前記第３のステップは、前記可視光による画像から得られるカラーデータ信号をＨＳＶ信号に変換して得られるＨ信号を第１の波長データ信号とし、前記第１の波長データ信号と該第１の波長データ信号を遅延させた第１の遅延波長データ信号の差分を前記第１の波長差分データ信号とし、
前記第５のステップは、前記赤外光による画像から得られるカラーデータ信号をＨＳＶ信号に変換して得られるＨ信号を第２の波長データ信号とし、前記第２の波長データ信号と該第２の波長データ信号を遅延させた第２の遅延波長データ信号の差分を前記第２の波長差分データ信号とする、
生体情報検出方法。
前記可視光による画像から、前記生体の特定の色の領域を検出する第９のステップを備え、
前記第３のステップおよび前記第５のステップにおいて、時間的な波長の変化を検出する領域を、前記生体の特定の色の領域に限定する、
請求項９記載の生体情報検出方法。
前記振幅の比率と酸素飽和濃度を対応付けたテーブルを記憶したメモリを用い、
前記第８のステップでは、前記テーブルを参照することにより、酸素飽和濃度を推定する、
請求項９記載の生体情報検出方法。
前記可視光により取得された生体の画像から明るさの情報を取得し、該明るさの情報に基づいて、前記第８のステップにおける生体の情報の推定処理を補正する、
請求項９記載の生体情報検出方法。