JP4554739B2 - 無侵襲生体計測装置および無侵襲生体計測方法 - Google Patents
無侵襲生体計測装置および無侵襲生体計測方法 Download PDFInfo
- Publication number
- JP4554739B2 JP4554739B2 JP20662699A JP20662699A JP4554739B2 JP 4554739 B2 JP4554739 B2 JP 4554739B2 JP 20662699 A JP20662699 A JP 20662699A JP 20662699 A JP20662699 A JP 20662699A JP 4554739 B2 JP4554739 B2 JP 4554739B2
- Authority
- JP
- Japan
- Prior art keywords
- captured image
- living body
- feature pattern
- analysis region
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 13
- 238000004458 analytical method Methods 0.000 claims description 72
- 210000004204 blood vessel Anatomy 0.000 claims description 50
- 238000005259 measurement Methods 0.000 claims description 32
- 238000011156 evaluation Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 7
- 239000012503 blood component Substances 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 102000001554 Hemoglobins Human genes 0.000 description 7
- 108010054147 Hemoglobins Proteins 0.000 description 7
- 239000000306 component Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006213 oxygenation reaction Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000005534 hematocrit Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6825—Hand
- A61B5/6826—Finger
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/683—Means for maintaining contact with the body
- A61B5/6838—Clamps or clips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
【発明の属する技術分野】
本発明は、生体に光を照射し生体から得られた画像情報を解析し生体の形態や生体成分濃度などの生体情報を得る無侵襲生体計測装置および無侵襲生体計測方法に関するものである。
【0002】
【従来の技術】
採血することなく(無侵襲的に)ヘモグロビンなどの生体成分を計測しようとする装置として国際公開第WO97/24066号公報に開示されたものがある。その装置の場合、検出部に指を配置し指の透過画像を得、その画像中に解析領域(コントラストのよい血管部位)を設定し、その解析領域を解析しヘモグロビン濃度を算出している。
【0003】
【発明が解決しようとする課題】
検出部から指を抜き出して、再度指を配置すると指の位置が先程とは異なってしまう。すると得られる撮像画像が左右あるいは上下にずれた画像となるので、同一の生体部位を計測することが難しくなる。このことは、ある特定の血管部位について血管幅や生体成分濃度の経時変化を計測しようとする場合に不都合を生じさせる。
【0004】
例えば、特開平7−21373号公報には撮像された血管像から得られた血管パターンから特徴点(端点と分岐点)をピックアップし、その特徴点の位置的な配列、血管の方向ベクトル、特徴点間の連結状態、あるいはこれらの組合せを特徴量とし、個人識別を行う装置が開示されているが、無侵襲生体計測装置における生体の位置ずれという問題に対する解決策については何ら開示されていない。
ただ、「登録時と照合時とで指の方向がずれる場合も予想されるため、比較の際には所定の許容範囲を設けてもよい。」との記載があるのみである。
【0005】
一方、画像処理技術として、濃度むらが生じている画像からその特徴を抽出しようとして画像の2値化を行うことも知られているが、上記無侵襲生体計測装置における生体の位置ずれの問題と関連づけて説明されたものは知られていない。
【0006】
本発明は、装置に対する生体の配置位置が異なっても同一生体に対して同一部位を計測することができる無侵襲生体計測装置を提供することを課題とする。
【0007】
【課題を解決するための手段】
本発明の無侵襲生体計測装置は、生体の一部を照明する光源部と、照明された生体の一部を撮像する撮像部と、撮像画像中に設定された解析領域を解析し生体情報を得るデータ処理部と、得られた生体情報を出力する出力部と、各種操作等を行うための操作部と備え、データ処理部は、撮像画像の特徴パターンを抽出する機能を備え、第1解析領域が設定済の第1撮像画像の特徴パターンを解析領域未設定の第2撮像画像の特徴パターンに対して相対移動させながら特徴パターンの一致の程度を表す評価値を算出し、その評価値を所定の条件に合致させるために必要な特徴パターンの相対移動量に基いて、第1解析領域に含まれる生体部位と同一の生体部位を含む第2解析領域を第2撮像画像中に設定する機能、および、第1解析領域および第2解析領域を解析することにより得られた生体情報の時系列変化を表示する表示画面を出力部に表示させる機能を備えることを特徴とする。
また、本発明の無侵襲生体計測方法は、生体の一部を照明する照明ステップと、照明された生体の一部を撮像し、撮像画像を取得する撮像ステップと、撮像ステップにおいて取得した第2撮像画像の特徴パターンを抽出する抽出ステップと、第1解析領域が設定済である第1撮像画像の特徴パターンをメモリーから読み出す読出ステップと、抽出ステップにおいて抽出した特徴パターンを読出ステップにおいてメモリーから読み出した特徴パターンに対して相対移動させながら特徴パターンの一致の程度を表す評価値を算出し、その評価値を所定の条件に合致させるために必要な特徴パターンの相対移動量に基いて、撮像ステップにおいて取得した第2撮像画像中に、第1解析領域に含まれる生体部位と同一の生体部位を含む第2解析領域を設定する解析領域設定ステップと、第1解析領域および第2解析領域を解析することにより得られた生体情報の時系列変化を表示する表示画面を表示する表示ステップと、を有することを特徴とする。
【0008】
わかりやすく説明する。
第1の撮像画像G1と第2の撮像画像G2があり、第1の撮像画像G1については解析領域A1が設定されていて、第2の撮像画像については解析領域が設定されていないとする。各撮像画像G1、G2について特徴パターンH1、H2を抽出し、両特徴パターンH1、H2のパターンをよく一致させるために必要な相対移動量Δを求める。第1撮像画像G1における解析領域A1の位置と上記相対移動量Δとから第2の撮像画像G2における解析領域A2の位置を決定することができる。
【0009】
このようにして同一生体に対して得られた異なる撮像画像に対して同一の生体部位を解析領域として設定し計測することができ、このことにより、生体情報の再現性の向上や経時変化の測定が可能となる。
【0010】
【発明の実施の形態】
この発明の無侵襲生体計測装置において、生体の一部とは生体(好適例としては哺乳類)から分離した組織ではなく生体のありのままの組織の一部であり、計測に適する部分であればよい。ヒトの場合には指や耳朶などがその一例である。
ラットやマウスの場合には尻尾であってもよい。生体情報とは生体組織の形態(形状や大きさや数など)や生体成分の濃度等に関する情報である。具体的には血管の寸法や血液成分の濃度(例えば、ヘモグロビン、ヘマトクリット等)や血液成分の濃度比(例えば、血液の酸素化率等)などである。
【0011】
操作や取り扱いの利便性の観点から、本装置は生体から画像情報を得る検出部(検出ユニット、検出装置)と得られた画像情報を解析する解析部(解析ユニット、解析装置)とに分離的に構成されていることが好ましい。両者はコネクタあるいはケーブル等の情報伝送手段により接続される。検出部は光源部及び撮像部を備え、解析部には生体情報を解析するデータ処理部、出力部及び操作部を備えることができる。
【0012】
光源部には、半導体レーザ(LD)やLEDやハロゲンランプなどの光源が使用でき、光源からの光を生体に直接、あるいは光ファイバなどを介して照射する。照射する光の波長としては生体組織を透過し、水の吸収が大きくない600〜950nmの範囲にあることが好ましい。
【0013】
撮像部は、レンズなどの光学素子とCCDなどの撮像素子により構成することができる。生体からの画像情報は撮像素子により生成される。
【0014】
より好適な画像情報を得るために、検出部に生体の一部を光学系に対して保持する保持部材を備えることが好ましい。生体の一部が例えばヒトの手の指である場合には、保持部材として光源部と撮像部との間において指を離脱可能に圧迫することなく保持するものを使用することができる。例えば、可動片で指を両側から挟持する方式のものを用いることができる。
【0015】
解析部としては、CPU、ROM、RAMおよびI/Oポートからなるマイクロコンピュータあるいは市販のパーソナルコンピュータを利用することができ、撮像画像から生体情報を解析するデータ処理部、各種データを入力したり各種操作を行ったりする操作部及び生体の画像情報の解析結果を出力する出力部を備えてもよい。出力部としてはCRTや液晶ディスプレイなどの表示装置やプリンタ等の印字装置を使用でき、操作部としてはキーボードやテンキーやタッチキーなど使用することができる。
【0016】
データ処理部は、撮像画像の特徴パターンを抽出する機能と、特徴パターン同士をよく一致させるために必要な特徴パターンの相対移動量に基いて解析領域未設定の撮像画像の解析領域を設定する機能を備えている。このことにより、同一の生体について所定時間置いて(所定日数置く場合も含む)再配置され得られた複数の撮像画像に対して同一部位に解析領域を設定し、その解析領域における生体情報を計測することができる。すなわち、同一生体に対して得られた異なる撮像画像に対して同一の部位を計測することができるので生体情報の精度や再現性を向上させることができる。また、生体情報の経時変化(経日変化を含む)を計測することも可能となる。各解析領域が同一血管部位に設定される場合には、生体情報としてその血管部位の血管寸法やその血管部位を流れる血液成分の濃度を得ることができる。
【0017】
上記特徴パターン同士をよく一致させるに必要な相対移動量を決定するについて、一方の特徴パターンを他方の特徴パターンに対して相対移動させながらその都度特徴パターンの一致の程度を表わす評価値を算出しその評価値に基いて決定するようにすることが実用的である。
【0018】
なお、特徴パターンの一致度が所定以上とならない場合には警告を発することが好ましい。
【0019】
濃度むらのある撮像画像からより好ましく特徴パターンを抽出するために、撮像画像を構成する着目画素ごとにその着目画素を中心とする局所領域の平均的濃度を算出しこれら各平均的濃度を用いて各着目画素を2値化していくことにより撮像画像の特徴パターンを抽出するものであることが好ましい。
【0020】
さらに、処理の簡略化、高速化の観点から、各局所領域の平均的濃度を算出する際、その局所領域から選出された一部の画素についてそれらの平均濃度を算出しその平均濃度をその局所領域の平均的濃度とすることが好ましい。
【0021】
また、撮像画像の特徴パターンとして、血管部分を抽出して得られた血管パターンであっても良い。血管パターンは、撮像画像を構成する輝度に着目し、その輝度が周囲に比べて低くなっている点を結ぶことにより得ることができる。
【0022】
【実施例】
図1は本発明の無侵襲生体計測装置の一実施例の外観図であり、マウス様の検出部1をノート型パソコン様の解析部3の載置部4に載置した状態を示している。図2は図1の無侵襲生体計測装置を機能的に表現した全体ブロック図である。
【0023】
載置部3に載置された検出部1は、検出部1側のコネクタ7と解析部3側のコネクタ8とで電気的にまた機構的にも連結されている。計測や取り扱いの自由度を得るために検出部1を解析部3の載置部4から取り外し、コネクタ付き接続コードで検出部1と解析部3とを接続して使用することも可能である。
【0024】
検出部1はアーム5とアーム5に対して回転移動できるハウジング6とからなり、アーム5の内側に光源部11が内蔵され、アーム5に対向するハウジング6の内側に撮像部12を内蔵している。アーム5とハウジング6の間にヒトの指14を保持し、指14の第2関節部分において指の背側に光を照射し指の腹側からその透過光像を撮像する。指は指の両側から弾性的に挟持されている。
【0025】
光源部11は、波長の異なる複数のLEDを備えた発光素子からなる。第1のLEDとして、中心波長830nm、半値幅40nmのL3989(浜松ホトニクス(株)製)を使用し、第2のLEDとして中心波長890nm、半値幅50nmのL25656(同上製)を使用している。血管幅を計測する際は第1のLEDのみを点灯させ、血液成分濃度を計測する際は第1及び第2のLEDを点灯させている。
【0026】
解折部3はデータ処理部2、出力部(液晶モニター)10及び操作部(複数のキー)9からなる。解析部3には外部記憶媒体であるフロッピーディスクの挿入口13が設けられ測定情報等を外部記憶することができる。
【0027】
図2は本実施例の無侵襲生体計測装置の全体ブロック図である。
解析部3のデータ処理部2の実体は、CPU、メモリを備えるコンピュータであり、検出部1の撮像部12で得られた指14の撮像画像の特徴パターン生成する特徴抽出機能、特徴パターンを記憶する機能、異なる撮像画像の特徴パターン同士をよく一致させるに必要な特徴パターンの相対移動量を決定する機能、その相対移動量に基づき撮像画像に対して同一の血管部位を解析領域として設定する解析領域設定機能、解析領域内の血管部分の濃度分布を濃度プロファィルとして抽出する濃度プロファイル抽出機能、抽出された濃度プロファイルの形態的特徴を定量化する定量化機能、定量化された特徴に基づいて血管寸法や血液成分濃度などの生体情報を演算する演算機能などを備える。
【0028】
図3、4、5のフローチャートを参照しつつ、具体的に血管幅の計測手順を説明する。図4、図5はそれぞれ解析領域設定、相対移動量算出のフローチャートである。ここでは一つの波長を使って同一人の指を経時的に複数回撮像し、同一血管部位における血管幅の経時変化を計測している。
【0029】
まず、第1のLED(第1波長)によって指14を照明して撮像し、図6に示すように、指14の皮膚表面に存在する血管(静脈)像を合む画像(x軸方向640画素×y軸方向480画素)を得る(ステップS1)。
【0030】
本装置は被検者ごとに記憶ファイルを有している。この被検者について過去に計測が行われていなければ(つまり記憶ファイルがない、あるいは記憶ファイルがあっても該当データがない)、第1回目の測定であるとし(ステップS31)、その撮像画像G1(x,y)中から血管が最もコントラストよく写っている領域を探索しその血管を含む領域を解析領域A1(x,y)として設定する(ステップS32)。解析領域A1(x,y)は通常、自動設定されるが、使用者が出力部10に表示されるモニタ像を見ながら操作部9を操作し手動的に設定してもよい。
【0031】
次に、撮像画像G1(x,y)の特徴パターンを抽出し(ステップS33)、特徴パターンをメモリに記憶する。解折領域A1(x,y)の位置情報も解析領域A1(x,y)の領域境界である四角形の各頂点P、Q、R、Sの座標(p1,p2)、(q1,q2)、(r1,r2)、(s1,s2)としてメモリに記憶する(ステップS34)。
この被検者について第1回目の計測であれば処理はこれで終了する。
【0032】
ところで、画像の特徴パターンを抽出するため画像を2値化するのであるが、撮像画像G1(x,y)は光の照射むらや生体の厚みや特性の違い等により濃度むらの大きい画像となっているので、一定の閾値で2値化すると画像の特徴をよく捉えることができない。
【0033】
そこで画像の各画素ごとに異なる閾値を設定することによりその画像が特徴的に有している二次元パターンを抽出する。すなわち、図10に示すように着目画素(x,y)(黒色で示す)に対してその着目画素(x,y)を中心とする局所領域D(x,y)を想定し、その局所領域D(x,y)の平均的濃度Dxyを着目画素(x,y)の閾値とする。本実施例では、局所領域D(x,y)を17画素×17画素の領域とし、さらに、高速処理を行うため1画素置きに選んだ、着目画素を含む81個の画素(灰色で示す)の濃度の平均値を局所領域D(x,y)の平均的濃度としている(選択画素は{(x−i,y−j)|i,j=0,±2,±4,±6,±8})。ところで、本実施例では局所領域としては9画素×9画素から33画素×33画素が適していた。
【0034】
すべての画素について各着目画素(x,y)の濃度と各閾値Dxyの大小比較を行うことにより、図8に示すような、撮像画像G1(x,y)の特徴がよく現れた特徴パターンを得ている。この特徴パターンには血管や指のしわなどの形態が現れている。この特徴パターンは640画素×480画素の全領域ではなく明るさ中心付近のx軸方向240画素×y軸方向260画素の領域を特徴パターンH1(x,y)としてを記憶するようにしている。これは処理の高速化に寄与している。図8中にこの特徴パターンH1(x,y)の領域を大きい方の長方形の線で示し、特徴パターンH1(x,y)の領域内に設定される解析領域A1(x,y)の領域を小さい方の長方形の線で示した。
【0035】
ここで、明るさ中心付近は、輝度重心を中心にした指定領域とした。輝度重心を求める式は、数1、数2で示され、輝度重心は(XG,YG)と表示される。
【数1】
【数2】
【0036】
さて、次に、計測がその人にとって2回目であるときには(ステップS31)、図7に示すような撮像画像G2(x,y)が得られると(ステップS1)、前記と同様にして図9のごとくx軸方向640画素×y軸方向480画素の特徴パターンH2(x,y)を得る(ステップS36)。なお、図7は図6より指が少し左側にシフトしているときに得られる画像である。
【0037】
次に、上記第1の特徴パターンH1(x,y)をメモリから読み出し(ステップS37)、図11に示すように、第2の特徴パターンH2(x,y)との比較を行うことにより両特徴パターンがよく一致する相対移動量を求める(ステップS38)。具体的には第2の特徴パターンH2(x,y)に対して第1の特徴パターンH1(x,y)を移動させ特徴パターンがよく一致するときの相対移動量Δx、Δyを求める。そして、第1の撮像画像G1(x,y)における解析領域A1(x,y)の位置と上記相対移動量Δx、Δyとから第2の撮像画像G2(x、y)における解析領域A2(x,y)の位置を決定する。
【0038】
図5を参照し、上記特徴パターンH1(x,y)、H2(x,y)の比較について具体的に説明する。
第1の特徴パターンH1(x,y)を第2の特徴パターンH2(x,y)に対してx軸方向にΔx、y軸方向にΔyだけ相対移動させ(ステップS42)、そのときの両パターンの一致度合いを反映する評価値EΔxΔyを算出する(ステップS43)。評価値EΔxΔyはそれぞれ対応する2つの画素について値(1か0)が一致しているか否かを調べ、一致している画素の総数としている。この処理を相対移動量を予め設定された範囲内で少しずつ変えながら評価値EΔxΔyの算出を行い(ステップS41、S46)、評価値EΔxΔyが最大となったx軸方向の移動量Δx及びy軸方向の移動量Δyを記憶する(ステップS44、45)。なお、指は指の軸方向(x軸方向)にずれて配置されやすいので、評価値EΔxΔyの算出プロセスにおいてx軸方向には数画素置きに相対移動させながら計算を繰り返すことが高速化の点で好ましい。
【0039】
ここで、図21、図22を用いて、第1の特徴パターンH1(x,y)を第2の特徴パターンH2(x,y)に対してX軸方向△x、Y軸方向に△yだけ相対移動させる方法について、詳しく説明する。
【0040】
第1の特徴パターンH1(x,y)は第2の特徴パターンH2(x,y)に対して図21に示すように移動される。図22のaの状態、すなわち、第1の特徴パターンH1(x,y)をX軸方向に△x=−140、Y軸方向に△y=−30移動させたときの位置をスタートとする。そして、X軸方向に数画素ずつ右側にずらして行き、X軸方向に△x=140、Y軸方向に△y=−30まで移動させる(b)。次に、X軸方向に△x=−140まで戻し、Y軸方向に数画素だけ下側にずらした後、X軸方向に数画素ずつ右側にずらしていく。これを繰り返し行い、X軸方向に△x=−140、Y軸方向に△y=30移動させ(c)、X軸方向△x=140、Y軸方向に△y=30移動させる(d)。移動はこれで完了する。このように、第1の特徴パターンH1(x,y)を第2の特徴パターンH2(x,y)に対して数画素ずつ移動させ、その都度、評価値を求め、その評価値が最大になるときの相対移動量△x、△yを特徴パターンがよく一致するときの相対移動量Δx、Δyとして求めることができる。
【0041】
本実施例では、相対移動量Δx=63、Δy=−7であり、そのときの特徴パターンの一致度は62.1%であった。一致度とは一方の特徴パターンを他方の特徴パターンに対して所定量相対移動させたときの評価値を、両パターンが完全に一致する場合の評価値で割った割合である。
【0042】
以上のような処理の結果、まだ解析領域が設定されていない第2の撮像画像G2(x、y)における解析領域A2(x,y)の頂点P’、Q’、R’、S’の座標はそれぞれ(p1+Δx,q1+Δy)、(p2+Δx,q2+Δy)、(p3+Δx,q3+Δy)(p4+Δx,q4+Δy)とすることができる(ステップS39)。このようにして、第2の撮像画像G2(x,y)に対して第1の撮像画像G1(x,y)で設定したのと同一の血管部位を解析領域として設定することができる。一人の被検者の指について時系列的(例えば、2時間おき)にn回撮像し毎回その撮像画像の相対位置が異なってても、常に同一の血管部位を解析領域A1,A2,・・・,Anとして設定することができる。
【0043】
次に、図3のステップS3おいて、設定された解析領域において血管に垂直な方向の濃度プロファイル(図12)を作成し、濃度プロファイルをベースラインで規格化することにより、図13に示すように入射光量に依存しない規格化濃度プロファイルを得る(ステップS4)。
【0044】
この規格化した濃度プロファイル(図13)の形態的特徴であるピーク高さh1、(1/2)h1における分布輻(半値輻)w1を算出し(ステップS5)、生体情報を求め記憶する。ここでは半値幅w1を血管幅として算出した(ステップS6)。
【0045】
計測が完了すると、算出した血管幅からその時系列的変化を表わすグラフや表を作成して表示する(ステップS7、S8)。
【0046】
以上、1波長を使って血管幅を計測する例を紹介したが、複数波長を使えばヘモグロビン濃度を計測することができる。すなわち、各波長に対して得られた規格化された濃度プロファイルの形態からヘモグロビン濃度を算出することができる。詳細は国際公開第WO97/24066号公報等を参考にすることができるので、ここでは説明は省略する。
【0047】
図14は出力部10(液晶ディスプレイ)の表示例である。表示画面はグラフ表示領域51、測定データ表示領域52、測定情報領域53、メッセージ領域54、データ表示形式切替領域55、コマンド領域56を備える。
【0048】
グラフ表示領域51には、計測された生体情報であるヘモグロビン濃度HGBや血管幅が時系列のグラフとして表示されている。
【0049】
測定データ表示領域52には、上記グラフ上の測定時点の測定データが表示される。測定情報領域53には、測定番号、測定者名、生年月日、性別等の測定者情報が表示される。メッセージ領域54はシステムの状態を示すメッセージや、測定者に動作を促すメッセージが表示される。
【0050】
データ表示形式切替領域55にはデータ表示形式(グラフ、データ一覧表、撮像画像)を切り替えるためのアイコンが表示される。撮像画像を表示するときは解析領域も示すことが好ましい。
【0051】
コマンド領域56は、各種コマンドを実行するアイコンが表示され、アイコン選択によりPCカードへの測定データの記録、ファイルの削除設定、データの転送、印刷、メンテナンス等が実行できる。
【0052】
図15のグラフ領域51に示されたグラフは、同一の被験者について、毎日の運動前に計測して得られた血管幅、ヘモグロビンHGB、酸素化率VOIと、別途入力されたタイムトライアルの成績(計測毎にデータを入力)の時系列グラフである。また、「カーソル」キーで時系列データのグラフ上の計測点を示すバー(破線で示す)を動かすことができ、該当する測定日、測定時間、測定結果、コメントを表示領域52に表示することができる。
【0053】
次に、前記に説明した特徴パターンとは異なる特徴パターンを使用する例について説明する。
【0054】
まず、画像の特徴パターンとして、輝度が周囲に比べて低く谷状になっている点を結んだ折れ線(血管パターン)を抽出し、記録する。
すなわち、図15(A)に示すように着目画素(x,y)に対してy軸方向に±10画素、つまり(x,y−10)から(x,y+10)の間の範囲における輝度の平均値の95%を下回る点を抽出して、血管候補点とする。つまり、y軸方向の連続する21個の画素集団において、その画素集団の輝度が平均輝度の95%以下となる画素を血管候補点として選択する。そして、その画素集団をy軸方向に1画素ずつ、ずらしていき、y軸方向の端から端まで血管候補点の抽出を繰り返す。次ぎに、x軸方向に1画素分ずらし、前記操作を繰り返し、撮像画像G1(x,y)の全領域において血管候補点の抽出を行う。
【0055】
次ぎに、図15(B)に示すように±10画素の範囲内で輝度が最も低い血管候補点、輝度最下点(a1、b1)(黒色で示す)を抽出する。ここで、斜線部は血管候補点を示している。隣列において、輝度最下点(a1、b1)に対応する点(a2,b1)対して±10画素の範囲内で輝度が最も低い輝度最下点(a2、b2)(黒色で示す)を抽出し、輝度最下点(a1、b1)と(a2、b2)を連結する。撮像画像G1(x,y)の全領域において、前記の操作を繰り返し、血管パターンを形成する。
【0056】
このようにして、撮像画像G1(x,y)は図18に太い破線示した血管パターンとして表される。この特徴パターンは、第1の実施例と同様に、明るさ中心付近の領域を特徴パターンH1(x,y)として記憶している。図18中にこの特徴パターンH1(x,y)の領域を大きい方の長方形の破線で示し、特徴パターンH1(x,y)の領域内に設定される解析領域A1(x,y)の領域を小さい方の長方形の破線で示した。
2回目の計測のときに得られる撮像画像G2(x,y)は、前記と同様にして図19のごとくx軸方向640画素×y軸方向480画素の特徴パターンH2(x,y)を得る。
【0057】
次ぎに、図16、17を参照し、特徴パターンH1(x,y)、H2(x,y)の比較について具体的に説明する。
第1の特徴パターンH1(x,y)を第2の特徴パターンH2(x,y)に対してx軸方向にΔx、y軸方向にΔyだけ相対移動させ、両パターンの一致度合いを反映する評価値FΔxΔyを算出する(ステップS52、S53)。図16に示したように、y軸方向においてH1(x,y)の血管パターン上の点と、H2(x,y)の血管パターン上の点との距離を調べ、距離が最短となる点間の最短距離の2乗値を求める。そして、これを全てのパターン上の点における最短距離(図16中の矢印で示した部分)の2乗値を求め、合計することにより、評価値FΔxΔyを得る。この処理を相対移動量を予め設定された範囲内で少しずつ変えながら評価値FΔxΔyの算出を行い(ステップS51、S56)、評価値FΔxΔyが最小となったx軸方向の移動量Δx及びy軸方向の移動量Δyを記憶する(ステップS54、55)。
【0058】
このようにして、第1の特徴パターンH1(x,y)と第2の特徴パターンH2(x,y)が最もよく一致する位置が得られる(図20)。
【0059】
【発明の効果】
各撮像画像について特徴パターンを抽出し、両特徴パターンをよく一致させるに必要な相対移動量を用いて解析領域未設定の撮像画像に対して同一生体部位に解析領域を設定することができる。異なる撮像画像に対しても同一生体部位を解析領域として設定し計測することができるので、生体情報計測の再現性の向上や経時変化の測定が可能となる。
【0060】
上記特徴パターン同士をよく一致させるに必要な相対移動量を決定するについて、一方の特徴パターンを他方の特徴パターンに対して相対移動させながらその都度特徴パターンの一致の程度を表わす評価値を算出しその評価値に基いて決定するようにすれば実用的である。
【0061】
特徴パターンを得るについて、着目画素ごとにその着目画素を中心とする局所領域の平均的濃度を算出しこれら各平均的濃度を用いて各着目画素を2値化していく場合には、撮像画像G1(x,y)が濃度むらのある画像であっても画像の特徴をよく捉えることができる。
【0062】
また、撮像画像の特徴パターンが、撮像画像を構成する輝度に着目し、その輝度が周囲に比べて低くなっている点を結んだ血管パターンであることから、撮像画像G1(x,y)の画素数が少ないので、特徴パターンの比較において高速化できる。
【図面の簡単な説明】
【図1】この発明の実施例の外観を示す斜視図である。
【図2】この発明の実施例のブロック図である。
【図3】この発明の実施例の動作を示すフローチャートである。
【図4】この発明の実施例の動作を示すフローチャートである。
【図5】この発明の実施例の動作を示すフローチャートである。
【図6】この発明の実施例により得られる画像の一例である。
【図7】この発明の実施例により得られる画像の一例である。
【図8】図6の画像の特徴パターンである。
【図9】図7の画像の特徴パターンである。
【図10】着目画素と局所領域の説明図である。
【図11】特徴パターンの比較の説明図である。
【図12】濃度プロファイルを示す説明図である。
【図13】正規化された濃度プロファイルを示す説明図である。
【図14】この発明の表示例を示す説明図である。
【図15】この発明の血管パターンを求める方法の説明図である。
【図16】この発明の実施例の評価値を求める方法の説明図である。
【図17】この発明の実施例の動作を示すフローチャートである。
【図18】1回目に撮像した画像の特徴パターンである。
【図19】2回目に撮像した画像の特徴パターンである。
【図20】この発明の特徴パターンを一致させた図である。
【図21】この発明の特徴パターンの移動方法の説明図である。
【図22】この発明の特徴パターンの移動方法の説明図である。
【符号の説明】
1 検出部
2 データ処理部
3 解析部
9 操作部
10 出力部
11 光源部
12 撮像部
14 ヒトの指
Claims (6)
- 生体の一部を照明する光源部と、照明された生体の一部を撮像する撮像部と、撮像画像中に設定された解析領域を解析し生体情報を得るデータ処理部と、得られた生体情報を出力する出力部と、各種操作等を行うための操作部と備え、
データ処理部は、撮像画像の特徴パターンを抽出する機能を備え、第1解析領域が設定済の第1撮像画像の特徴パターンを解析領域未設定の第2撮像画像の特徴パターンに対して相対移動させながら特徴パターンの一致の程度を表す評価値を算出し、その評価値を所定の条件に合致させるために必要な特徴パターンの相対移動量に基いて、第1解析領域に含まれる生体部位と同一の生体部位を含む第2解析領域を第2撮像画像中に設定する機能、および、第1解析領域および第2解析領域を解析することにより得られた生体情報の時系列変化を表示する表示画面を出力部に表示させる機能を備えることを特徴とする無侵襲生体計測装置。 - 上記データ処理部の機能として、第1撮像画像の特徴パターンを第2撮像画像の特徴パターンに対して所定距離ずつ相対移動させ、その都度特徴パターンの一致の程度を表す評価値を算出する機能を有することを特徴とする請求項1記載の無侵襲生体計測装置。
- 撮像画像の特徴パターンを抽出する機能が、撮像画像を構成する着目画素ごとにその着目画素を中心とする局所領域の平均的濃度を算出しこれら各平均的濃度を用いて各着目画素を2値化していくことにより撮像画像の特徴パターンを抽出するものであることを特徴とする請求項1記載の無侵襲生体計測装置。
- 撮像画像の特徴パターンが、血管部分を抽出して得られた血管パターンであることを特徴とする請求項1記載の無侵襲生体計測装置。
- 各解析領域は同一の生体に対して同一の血管部位に設定され、生体情報として血管寸法又は血液成分濃度に関する情報を計測することを特徴とする請求項1記載の無侵襲生体計測装置。
- 生体の一部を照明する照明ステップと、
照明された生体の一部を撮像し、撮像画像を取得する撮像ステップと、
撮像ステップにおいて取得した第2撮像画像の特徴パターンを抽出する抽出ステップと、
第1解析領域が設定済である第1撮像画像の特徴パターンをメモリーから読み出す読出ステップと、
抽出ステップにおいて抽出した特徴パターンを読出ステップにおいてメモリーから読み出した特徴パターンに対して相対移動させながら特徴パターンの一致の程度を表す評価値を算出し、その評価値を所定の条件に合致させるために必要な特徴パターンの相対移動量に基いて、撮像ステップにおいて取得した第2撮像画像中に、第1解析領域に含まれる生体部位と同一の生体部位を含む第2解析領域を設定する解析領域設定ステップと、
第1解析領域および第2解析領域を解析することにより得られた生体情報の時系列変化を表示する表示画面を表示する表示ステップと、を有することを特徴とする無侵襲生体計測方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20662699A JP4554739B2 (ja) | 1998-10-23 | 1999-06-15 | 無侵襲生体計測装置および無侵襲生体計測方法 |
US09/422,798 US6349227B1 (en) | 1998-10-23 | 1999-10-22 | Non-invasive living body measuring apparatus and method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34093198 | 1998-10-23 | ||
JP10-340931 | 1998-10-23 | ||
JP20662699A JP4554739B2 (ja) | 1998-10-23 | 1999-06-15 | 無侵襲生体計測装置および無侵襲生体計測方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000189391A JP2000189391A (ja) | 2000-07-11 |
JP2000189391A5 JP2000189391A5 (ja) | 2006-06-15 |
JP4554739B2 true JP4554739B2 (ja) | 2010-09-29 |
Family
ID=26515768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20662699A Expired - Fee Related JP4554739B2 (ja) | 1998-10-23 | 1999-06-15 | 無侵襲生体計測装置および無侵襲生体計測方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6349227B1 (ja) |
JP (1) | JP4554739B2 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7627145B2 (en) * | 2000-09-06 | 2009-12-01 | Hitachi, Ltd. | Personal identification device and method |
JP3558025B2 (ja) * | 2000-09-06 | 2004-08-25 | 株式会社日立製作所 | 個人認証装置及び方法 |
JP2002092616A (ja) * | 2000-09-20 | 2002-03-29 | Hitachi Ltd | 個人認証装置 |
US8384885B2 (en) | 2000-09-20 | 2013-02-26 | Hitachi, Ltd. | Personal identification system |
JP3617476B2 (ja) * | 2001-07-19 | 2005-02-02 | 株式会社日立製作所 | 指認証装置 |
JP2003075135A (ja) * | 2001-08-31 | 2003-03-12 | Nec Corp | 指紋画像入力装置および指紋画像による生体識別方法 |
KR101044029B1 (ko) | 2002-05-09 | 2011-06-23 | 소니 주식회사 | 혈관 인증 장치 및 혈관 인증 방법 |
JP4307877B2 (ja) * | 2003-03-20 | 2009-08-05 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
JP2005031369A (ja) * | 2003-07-11 | 2005-02-03 | Toshiba Corp | 映像表示装置及び映像表示方法 |
JP4207717B2 (ja) * | 2003-08-26 | 2009-01-14 | 株式会社日立製作所 | 個人認証装置 |
EP1708135B1 (en) * | 2004-01-13 | 2011-05-11 | Fujitsu Ltd. | Authenticator using organism information |
CA118497S (en) * | 2006-06-02 | 2008-04-09 | Mevitec Gmbh | Measuring instrument |
JP4933914B2 (ja) * | 2007-02-08 | 2012-05-16 | 日立オムロンターミナルソリューションズ株式会社 | 認証装置 |
JP5016978B2 (ja) * | 2007-05-30 | 2012-09-05 | ローレル精機株式会社 | 運動支援システム |
WO2011040599A1 (ja) | 2009-10-02 | 2011-04-07 | シャープ株式会社 | 血管状態モニタリング装置およびモニタリング方法 |
US9173604B2 (en) | 2010-03-19 | 2015-11-03 | Sharp Kabushiki Kaisha | Measurement device, measurement method, measurement result processing device, measurement system, measurement result processing method, control program, and recording medium |
TWI474215B (zh) * | 2011-11-17 | 2015-02-21 | Pixart Imaging Inc | 鍵盤模組及顯示系統 |
JP5752175B2 (ja) * | 2013-04-24 | 2015-07-22 | 株式会社日立製作所 | 血管画像撮影装置 |
JP5789691B2 (ja) * | 2014-03-28 | 2015-10-07 | 株式会社日立製作所 | 個人認証装置、及び血管画像撮影装置 |
JP2016073483A (ja) | 2014-10-07 | 2016-05-12 | セイコーエプソン株式会社 | 生体情報取得装置 |
EP3392824A4 (en) * | 2015-12-18 | 2019-10-23 | Hitachi, Ltd. | DEVICE AND SYSTEM FOR BIOMETRIC AUTHENTICATION |
US10874305B2 (en) | 2018-01-15 | 2020-12-29 | Microsoft Technology Licensing, Llc | Sensor device |
CN110532957B (zh) * | 2019-08-30 | 2021-05-07 | 北京市商汤科技开发有限公司 | 人脸识别方法及装置、电子设备和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997024066A1 (fr) * | 1995-12-27 | 1997-07-10 | Toa Medical Electronics Co., Ltd. | Appareil pour examen sanguin non invasif |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5974338A (en) * | 1997-04-15 | 1999-10-26 | Toa Medical Electronics Co., Ltd. | Non-invasive blood analyzer |
US6128525A (en) * | 1997-07-29 | 2000-10-03 | Zeng; Haishan | Apparatus and method to monitor photodynamic therapy (PDT) |
-
1999
- 1999-06-15 JP JP20662699A patent/JP4554739B2/ja not_active Expired - Fee Related
- 1999-10-22 US US09/422,798 patent/US6349227B1/en not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997024066A1 (fr) * | 1995-12-27 | 1997-07-10 | Toa Medical Electronics Co., Ltd. | Appareil pour examen sanguin non invasif |
Also Published As
Publication number | Publication date |
---|---|
JP2000189391A (ja) | 2000-07-11 |
US6349227B1 (en) | 2002-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4554739B2 (ja) | 無侵襲生体計測装置および無侵襲生体計測方法 | |
JP4038280B2 (ja) | 無侵襲生体成分計測装置 | |
JP5384453B2 (ja) | 測定装置、測定システム、測定方法、制御プログラム、および、記録媒体 | |
CN101384211B (zh) | 图像分析装置 | |
US20070038118A1 (en) | Subcutaneous tissue imager | |
KR101492803B1 (ko) | 촉각 영상 및 근적외선 영상의 정합을 이용한 유방촬영용 영상진단기기 및 유방조직 영상획득방법 | |
US20150374210A1 (en) | Photometric stereo endoscopy | |
US20100135550A1 (en) | Method, device and system for thermography | |
CN107708521A (zh) | 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序 | |
JP4570970B2 (ja) | 被検査者の皮膚検査方法および装置 | |
CN106999116A (zh) | 用于皮肤检测的设备和方法 | |
JP2004321793A (ja) | 皮膚画像のコンピュータ解析のための方法およびシステム | |
WO1997047235A1 (en) | Dermal diagnostic analysis system and method | |
CN103458765B (zh) | 图像处理装置 | |
Hasan et al. | Smartphone-based human hemoglobin level measurement analyzing pixel intensity of a fingertip video on different color spaces | |
JP7335157B2 (ja) | 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置 | |
JP4371461B2 (ja) | 無侵襲生体計測装置 | |
Díaz et al. | An instrument for accurate and non-invasive screening of skin cancer based on multimodal imaging | |
KR20070024715A (ko) | 피하 혈류 측정에 근거하는 개인 인증 방법 및 개인 인증장치 | |
Paquit et al. | Combining near-infrared illuminants to optimize venous imaging | |
JP2010075354A (ja) | 毛細血管血流測定装置、毛細血管血流測定方法およびプログラム | |
JP4282841B2 (ja) | 無侵襲生体分析装置 | |
Taylor-Williams et al. | Multispectral imaging of nailfold capillaries using light-emitting diode illumination | |
JP4505102B2 (ja) | 無侵襲生体検査用装置 | |
JP4554736B2 (ja) | 無侵襲血液分析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060411 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100715 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |