JP4495513B2 - Fluorescence endoscope device - Google Patents
Fluorescence endoscope device Download PDFInfo
- Publication number
- JP4495513B2 JP4495513B2 JP2004141549A JP2004141549A JP4495513B2 JP 4495513 B2 JP4495513 B2 JP 4495513B2 JP 2004141549 A JP2004141549 A JP 2004141549A JP 2004141549 A JP2004141549 A JP 2004141549A JP 4495513 B2 JP4495513 B2 JP 4495513B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescence
- image
- excitation light
- video signal
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、内視鏡の鉗子チャンネルを通じてプローブを挿通し、このプローブを介して被検部に励起光を照射するとともに蛍光を測定する蛍光内視鏡装置に関する。 The present invention relates to a fluorescence endoscope apparatus that inserts a probe through a forceps channel of an endoscope, irradiates a test portion with excitation light through the probe, and measures fluorescence.
生体組織に対して青〜紫外帯域の光を励起光として照射すると、励起光の波長よりも長波長側にスペクトルを有する蛍光が生体組織から発せられることは良く知られている(この蛍光は「自家蛍光」と言われる)。また、自家蛍光の強度(特に、緑光領域の強度)は生体の病変組織(腫瘍,癌)から発生するものの方が正常組織から発生するものよりも低いので、画像として表されると、悪性の腫瘍が発生した病変部が正常組織のみからなる正常部位よりも暗く表示されることも、知られている。これは、悪性の腫瘍によって細胞組織が肥大化すると、血流が悪くなるためであると考えられている。 It is well known that when a biological tissue is irradiated with light in the blue to ultraviolet band as excitation light, fluorescence having a spectrum longer than the wavelength of the excitation light is emitted from the biological tissue. Autofluorescence "). In addition, the intensity of autofluorescence (particularly the intensity of the green light region) is lower in those that are generated from living tissue (tumor, cancer) than those that are generated from normal tissue. It is also known that a lesion where a tumor has occurred is displayed darker than a normal site consisting of only normal tissue. This is considered to be because blood flow becomes worse when cellular tissue is enlarged by a malignant tumor.
このような知識をベースに、内視鏡の鉗子チャンネルを通じてライトプローブ(以下、単に「プローブ」という)を被検者の体腔内に導入し、その先端を被検部(体腔内壁)に押し当てた状態で励起光を射出し、この励起光によって生じた蛍光を同プローブを通じて体腔外に導き、その蛍光の分光測定を行う蛍光内視鏡装置が、提案されている。このような蛍光内視鏡装置を用いて検査した場合には、検査結果の記録のために、体腔内壁のどの箇所について蛍光分光測定をしたのかが判るように、内視鏡観察画像(内視鏡を通じて得られる画像)を保存しなければならない。この場合、プローブを被検部に押し当てた状態で内視鏡画像を保存することも考えられるが、プローブ自体の陰になる為に、被検部全体が良く見えないという問題がある。 Based on this knowledge, a light probe (hereinafter simply referred to as “probe”) is introduced into the body cavity of the subject through the forceps channel of the endoscope, and the tip is pressed against the portion to be examined (inner wall of the body cavity). There has been proposed a fluorescence endoscope apparatus that emits excitation light in a state in which the light is emitted, guides fluorescence generated by the excitation light outside the body cavity through the probe, and performs spectroscopic measurement of the fluorescence. When an examination is performed using such a fluorescence endoscope apparatus, an endoscopic observation image (endoscopy) is used so that it is possible to know which part of the inner wall of the body cavity has been subjected to fluorescence spectroscopy measurement in order to record the examination result. The image obtained through the mirror) must be preserved. In this case, it is conceivable to store the endoscope image in a state where the probe is pressed against the test part. However, since it is behind the probe itself, there is a problem that the entire test part cannot be seen well.
そこで、従来、蛍光分光測定後に、内視鏡を動かさずにプローブを鉗子チャンネルから引き抜き、代わりに鉗子チャネルに挿入した処置具により測定対象箇所にマーキング(着色,タグの取付,等)を施した上で、この処置具を鉗子チャンネルから引き抜いた後の内視鏡画像を撮影して、保存(プリントアウト,映像信号のフリーズ,等)していた。
しかしながら、上記方法によると、蛍光分光測定を完了してからマーキングを施すまでの間に、プローブを鉗子チャンネルから完全に引き抜いてからマーキングのための処置具を挿入し直すという煩雑な作業が必要であるので、内視鏡先端の位置が意に反してずれてしまう等の要因によって、測定対象箇所を見失う蓋然性が高かった。しかも、着色によってマーキングする場合には、内視鏡画像を保存するまでの間に着色塗料が流れてしまう問題があるし、タグを取り付けることによってマーキングする場合には、タグを回収しなければならないと言う問題がある。 However, according to the above method, it is necessary to perform a complicated operation of completely removing the probe from the forceps channel and reinserting the treatment tool for marking between the completion of the fluorescence spectroscopic measurement and the marking. Therefore, there is a high probability of losing sight of the measurement target due to factors such as the position of the endoscope tip being displaced unexpectedly. Moreover, when marking by coloring, there is a problem that the colored paint flows before the endoscope image is stored, and when marking by attaching a tag, the tag must be recovered. There is a problem to say.
そこで、本発明は、蛍光分光測定の対象箇所自体には物理的なマーキングを施すことなく、内視鏡画像上に測定対象箇所を示すマークを表示することができる蛍光内視鏡装置の提供を、課題とする。 Therefore, the present invention provides a fluorescence endoscope apparatus capable of displaying a mark indicating a measurement target location on an endoscopic image without physically marking the target location of the fluorescence spectroscopy measurement itself. Let's take a challenge.
上記の課題を解決するために案出された本発明による蛍光内視鏡装置は、体腔内の被検部の生体組織に励起光を照射し、この生体組織が発する蛍光を分光測定する蛍光内視鏡装置であって、その先端に対物光学系及び照明窓を備えるとともにその基端と先端とを通じる中空のチャンネルが内蔵された体腔内挿入部を有する内視鏡と、前記対物光学系によって形成された被検部の像を逐次撮像して、映像信号に変換して出力する撮像装置と、術者によって操作される操作部材と、前記操作部材が操作された後の所定期間を除き、前記照明窓を通じて前記被検部に可視光を照射する照明手段と、前記チャンネルに挿通され、その基端から導入された光をその先端から射出する光プローブと、前記所定期間内のみ、生体組織を励起して蛍光を発光させる波長帯域の励起光を前記光プローブの基端に導入する励起光源と、前記光プローブの先端に設けられ、前記励起光を受けて蛍光を発光する蛍光部材と、前記蛍光を分光測定する分光測定手段と、前記所定期間内に出力されるものを除き、前記撮像装置が出力する映像信号を逐次一時記憶する第1記憶手段と、前記所定期間内に前記撮像装置が出力する映像信号を記憶する第2記憶手段と、前記第2記憶手段に記憶されている映像信号が示す画像中における輝点の位置を特定する輝点位置検出手段と、前記第1記憶手段に記憶されている映像信号が示す画像に、前記輝点位置検出手段が特定する位置に対応した位置を示すマークを付加する画像合成手段と、前記画像合成手段によって得られた画像を表示するモニタとを、備えたことを特徴とする。
The fluorescence endoscope apparatus according to the present invention devised to solve the above-described problems is a fluorescence endoscopic apparatus that irradiates a living tissue of a test portion in a body cavity with excitation light and spectroscopically measures the fluorescence emitted by the living tissue. An endoscope apparatus having an objective optical system and an illumination window at a distal end thereof, and an endoscope having a body cavity insertion portion in which a hollow channel passing through a proximal end and a distal end thereof is incorporated, and the objective optical system. Except for a predetermined period after an imaging device that sequentially captures an image of the formed test part, converts it into a video signal and outputs it, an operation member operated by an operator, and the operation member is operated, Illuminating means for irradiating the test portion with visible light through the illumination window, an optical probe that is inserted into the channel and that emits light introduced from the proximal end thereof from the distal end, and living tissue only within the predetermined period Excites the fluorescent light An excitation light source excitation light in a wavelength band introduced into the proximal end of the optical probe, provided at a tip of the optical probe, and a fluorescent member which emits fluorescence by receiving the excitation light, spectrally measuring the fluorescence spectroscopy that Except for the measurement means and the one output within the predetermined period, the first storage means for sequentially and temporarily storing the video signals output by the imaging device, and the video signal output by the imaging apparatus within the predetermined period Second storage means, a bright spot position detection means for specifying the position of a bright spot in an image indicated by the video signal stored in the second storage means, and a video signal stored in the first storage means the image indicating that the image combining means for adding a mark indicating a position corresponding to a position where said bright spot position detection means for identifying, and a monitor for displaying an image obtained by said image image synthesizing means comprises a Features To.
このように構成されると、操作部材が操作される前においては、照明手段が、内視鏡の体腔内挿入部の先端に形成された照明窓を通じて、被検部に対して照明光を照射する。この照明光によって照明された被検物は対物光学系及び撮像素子によって撮像され、この撮像素子から出力された映像信号が、逐次第1記憶記憶手段に一時記憶される。この時点においては、第2記憶手段に映像信号が記憶されていないために、輝点位置検出手段は輝点の位置を特定しておらず、よって、画像合成手段は、第1記憶手段に記憶されている映像信号が示す画像を、そのままモニタ上に表示させる。そして、術者が内視鏡の体腔内挿入部のチャネルにプローブを挿入させた後に操作部材を操作すると、その操作後の所定期間内のみ、照明手段が照明光の照射中断し、励起光源が励起光をプローブの基端に導入し、撮像素子から出力された映像信号が第2記憶手段に記憶され、励起光によって励起された被検部の生体組織が発した蛍光を分光測定手段が分光測定する。この時、第2記憶手段に記憶されている映像は、プローブの先端から射出された励起光に起因するものであるので、プローブの先端のみが輝点となっている画像を示すものである。従って、輝点位置特定手段は、この第2記憶手段に記憶されている映像信号が示す画像中の輝点の位置を検出し、その輝点の位置を画像合成手段に通知する。すると、以後、画像合成手段は、第1記憶手段から読み出した画像信号が示す画像に、輝点位置特定手段によって特定された輝点の位置に対応した位置を示すマークを付加して、モニタ上に表示させる。従って、術者がプローブの先端を内視鏡の体腔内挿入部の先端に引き込んだ後でも、モニタ上に表示されている画面には、当該マークによって、プローブ先端が存在していた位置,即ち、蛍光分光測定の対象箇所が示されている。従って、術者は、分光測定手段による分光測定結果の元となった蛍光分光測定対象箇所を、一目で知ることができる。 If comprised in this way, before an operation member is operated, an illumination means will irradiate a to-be-tested part with illumination light through the illumination window formed in the front-end | tip of the insertion part in the body cavity of an endoscope. To do. The test object illuminated by the illumination light is imaged by the objective optical system and the image sensor, and the video signal output from the image sensor is temporarily stored in the first storage means. At this time, since the video signal is not stored in the second storage means, the bright spot position detection means does not specify the position of the bright spot. Therefore, the image synthesis means stores the bright spot position in the first storage means. The image indicated by the video signal being displayed is displayed on the monitor as it is. Then, when the operator operates the operation member after inserting the probe into the channel of the body cavity insertion portion of the endoscope, the illumination unit interrupts irradiation of the illumination light only during a predetermined period after the operation, and the excitation light source Excitation light is introduced into the proximal end of the probe, the video signal output from the image sensor is stored in the second storage means, and the spectroscopic measurement means splits the fluorescence emitted from the living tissue of the test part excited by the excitation light. taking measurement. At this time, since the video stored in the second storage means is caused by the excitation light emitted from the tip of the probe, it shows an image in which only the tip of the probe is a bright spot. Accordingly, the bright spot position specifying means detects the position of the bright spot in the image indicated by the video signal stored in the second storage means, and notifies the image composition means of the position of the bright spot. Thereafter, the image composition means adds a mark indicating the position corresponding to the position of the bright spot specified by the bright spot position specifying means to the image indicated by the image signal read from the first storage means, and displays it on the monitor. To display. Therefore, even after the operator pulls the tip of the probe into the tip of the endoscope body cavity insertion portion, the position displayed on the monitor on the screen is the position where the probe tip is located, that is, The target part of the fluorescence spectroscopic measurement is shown. Therefore, the surgeon can know at a glance the fluorescent spectroscopic measurement target portion from which the spectroscopic measurement result obtained by the spectroscopic measurement means is based.
以上に説明したように、本発明の蛍光内視鏡装置によれば、蛍光分光測定の対象箇所自体には物理的なマーキングを施すことなく、内視鏡の体腔内挿入部の先端に設けられた対物光学系及び撮像装置によって撮像されてモニタ上に表示されている画像上に、測定対象箇所を示すマークを表示することができる。 As described above, according to the fluorescence endoscope apparatus of the present invention, the target portion of the fluorescence spectroscopic measurement itself is provided at the distal end of the insertion portion in the body cavity of the endoscope without performing physical marking. The mark indicating the measurement target location can be displayed on the image captured by the objective optical system and the imaging device and displayed on the monitor.
次に、添付図面に基づいて、本発明を実施するための形態を説明する。 Next, an embodiment for carrying out the present invention will be described based on the attached drawings.
図1は、本発明による蛍光内視鏡装置の実施の形態である内視鏡システムの外観図である。図1に示されるように、この内視鏡システムは、内視鏡10,ライトプローブP,光源プロセッサ装置20,蛍光分光測定装置30,プリンタ50及びモニタ60を、備えている。
<内視鏡>
内視鏡10は、通常の電子内視鏡そのものであり、図2に示すように、体腔内に挿入されるために細長く形成されている体腔内挿入部10a,その体腔内挿入部10aの先端部分を湾曲操作するためのアングルノブ等を有する操作部10b,操作部10bと光源プロセッサ装置20とを接続するためのライトガイド可撓管10e,及び、このライトガイド可撓管10eの基端に設けられたコネクタ10dを、備えている。
FIG. 1 is an external view of an endoscope system that is an embodiment of a fluorescence endoscope apparatus according to the present invention. As shown in FIG. 1, the endoscope system includes an endoscope 10, a light probe P, a light source processor device 20, a fluorescence spectrometer 30, a printer 50, and a monitor 60.
<Endoscope>
The endoscope 10 is a normal electronic endoscope itself. As shown in FIG. 2, the endoscope 10 has an elongated body cavity insertion portion 10a that is formed to be inserted into the body cavity, and the distal end of the body cavity insertion portion 10a. An operation unit 10b having an angle knob or the like for bending the portion, a light guide flexible tube 10e for connecting the operation unit 10b and the light source processor device 20, and a base end of the light guide flexible tube 10e A provided connector 10d is provided.
図1に示すように、体腔内挿入部10aの先端面には、配光レンズ11及び対物レンズ12が夫々嵌め込まれた照明窓及び撮影窓が形成されている。そして、この体腔内挿入部10aの内部には、対物レンズ(対物光学系)12によって形成された被写体の像を撮影する撮像素子(カラーCCD,撮像装置に相当)13が、組み込まれている。 As shown in FIG. 1, an illumination window and a photographing window into which a light distribution lens 11 and an objective lens 12 are fitted are formed on the distal end surface of the body cavity insertion portion 10a. An imaging element (a color CCD, corresponding to an imaging device) 13 that captures an image of a subject formed by an objective lens (objective optical system) 12 is incorporated in the body cavity insertion portion 10a.
撮像素子13から出力された画像信号を伝送するための信号ケーブル(各走査線に沿ってR[赤],G[緑],B[青]の各画素から夫々読み出したRGBの各画像信号を夫々伝送するための3系統の信号線を含む信号ケーブル)18は、体腔内挿入部10a,操作部10b及びライトガイド可撓管10e内を引き通されて、コネクタ10dの端面に設けられた電気コネクタ10gに接続されている。この信号ケーブル18と並行して、体腔内挿入部10a,操作部10b及びライトガイド可撓管10e内には、ライトガイドファイババンドル(以下、単に「ライトガイド」という)16が引き通されている。このライトガイド16の先端は、体腔内挿入部10aの先端部内において配光レンズ11に対向し、その基端は、コネクタ10dの端面から突出した金属製のパイプ19内に挿入されて固定されている。 A signal cable for transmitting an image signal output from the image sensor 13 (RGB image signals read from each pixel of R [red], G [green], and B [blue] along each scanning line) A signal cable 18 including three signal lines for transmission) is passed through the body cavity insertion portion 10a, the operation portion 10b, and the light guide flexible tube 10e, and is provided on the end face of the connector 10d. It is connected to the connector 10g. In parallel with the signal cable 18, a light guide fiber bundle (hereinafter simply referred to as “light guide”) 16 is passed through the body cavity insertion portion 10 a, the operation portion 10 b, and the light guide flexible tube 10 e. . The distal end of the light guide 16 faces the light distribution lens 11 in the distal end portion of the body cavity insertion portion 10a, and the proximal end thereof is inserted into a metal pipe 19 protruding from the end face of the connector 10d and fixed. Yes.
また、体腔内挿入部10a内には、その先端面に開口した中空の鉗子チャネル10eが内蔵されており、この鉗子チャンネル10eの基端は、操作部10bの側面から突出している鉗子口10fに連通している。従って、操作部10bの外部より、この鉗子口10fからこの鉗子チャンネル10e内に鉗子類(後述するライトプローブP等)を挿入し、その先端を体腔内挿入部10aの先端面から突出させることができる。
<ライトプローブ>
ライトプローブPは、特開2003−180614号にて開示したものを多少改変したものである。図3は、ライトプローブPの概略構成を側面から示す図であり、図4は図3におけるIII−III線に沿った横断面図である。この図4に示すように、ライトプローブPは、生体組織を励起して自家蛍光を発生せるための励起光を導く第1の光ファイバF1,及び,生体組織から発した蛍光を導くための第2の光ファイバF2を、いずれも多数備えている。
In addition, a hollow forceps channel 10e opened in the distal end surface is built in the body cavity insertion portion 10a, and the proximal end of the forceps channel 10e is connected to a forceps port 10f protruding from the side surface of the operation portion 10b. Communicate. Therefore, forceps (such as a light probe P described later) are inserted into the forceps channel 10e from the forceps port 10f from the outside of the operation portion 10b, and the tip of the forceps protrudes from the tip surface of the body cavity insertion portion 10a. it can.
<Light probe>
The light probe P is a slight modification of that disclosed in Japanese Patent Application Laid-Open No. 2003-180614. 3 is a diagram showing a schematic configuration of the light probe P from the side, and FIG. 4 is a transverse sectional view taken along line III-III in FIG. As shown in FIG. 4, the light probe P has a first optical fiber F1 for guiding excitation light for exciting the living tissue to generate autofluorescence, and a first optical fiber for guiding fluorescence emitted from the living tissue. A number of the two optical fibers F2 are provided.
そして、図3に示すように、両光ファイバF1,F2はその先端から過半の領域において、横断面が円形の複合バンドルとして束ねられている。これら光ファイバF1,F2,及びこれらを被覆するチューブが、複合部P0を構成している。具体的には、複合部P0においては、チューブTの中心軸周辺の領域に第2の光ファイバF2が多数充填され、その外側に第1の光ファイバF1が多数充填されている。 And as shown in FIG. 3, both optical fiber F1, F2 is bundled as a composite bundle with a circular cross section in the area | region of the majority from the front-end | tip. These optical fibers F1, F2, and tubes covering them constitute a composite part P0. Specifically, in the composite part P0, a large number of second optical fibers F2 are filled in a region around the central axis of the tube T, and a large number of first optical fibers F1 are filled outside thereof.
ライトプローブPの複合部P0の先端には、リング状部材PRが嵌められている。図4の(A)は、このリング状部材PRを示す斜視図であり、同図(B)は、このリング状部材PRが嵌められている複合部P0先端の縦断面図である。これら各図に示されるように、リング状部材PRは、扁平な円筒状に形成された蛍光アクリル等の部材から構成されており、その先端側の端面には、反射膜Mが蒸着されている。このリング状部材PRの外径は、複合部P0の外径と同じであり、その内径は、複合部P0における第1の光ファイバF1の束の外径よりも小さい。そのため、第1の光ファイバF1における最外周のものは
、複合部P0の先端まで達することなく、リング状部材PRの基端側の端面に当接したところで途切れている。従って、これら第1の光ファイバF1における最外周のものを通じてその基端側の端面から励起光によって照らされることによって、このリング状部材PRが蛍光を発光するのである。
A ring-shaped member PR is fitted to the tip of the composite portion P0 of the light probe P. 4A is a perspective view showing the ring-shaped member PR, and FIG. 4B is a vertical cross-sectional view of the tip of the composite portion P0 to which the ring-shaped member PR is fitted. As shown in each of these drawings, the ring-shaped member PR is composed of a member such as fluorescent acrylic formed in a flat cylindrical shape, and a reflection film M is deposited on the end surface on the tip side. . The outer diameter of the ring-shaped member PR is the same as the outer diameter of the composite part P0, and the inner diameter is smaller than the outer diameter of the bundle of the first optical fibers F1 in the composite part P0. Therefore, the outermost peripheral fiber in the first optical fiber F1 does not reach the distal end of the composite part P0, and is interrupted when it comes into contact with the end face on the proximal end side of the ring-shaped member PR. Therefore, the ring-shaped member PR emits fluorescence when illuminated from the end face on the base end side through the outermost periphery of the first optical fiber F1 by the excitation light .
一方、図3に示されるように、第1の光ファイバF1及び第2の光ファイバF2は、その基端側において相互に分岐して夫々束ねられ、夫々チューブによって被覆されている。ここで、第1の光ファイバF1の束を内包する分岐を「第1分岐部P1」と称し、第2の光ファイバF2の束を内包する分岐を「第2分岐部P2」と称するものとする。 On the other hand, as shown in FIG. 3, the first optical fiber F1 and the second optical fiber F2 are branched from each other on the base end side and bundled, and each is covered with a tube. Here, the branch including the bundle of the first optical fibers F1 is referred to as “first branch portion P1”, and the branch including the bundle of the second optical fibers F2 is referred to as “second branch portion P2”. To do.
このプローブPは、その複合部P0が内視鏡10の鉗子チャンネル10eに挿通されるとともに、各分岐部P1,P2の基端が夫々診断用補助装置3内に挿入された状態で、使用される。
<蛍光分光測定装置>
蛍光分光測定装置30は、ライトプローブPの第1分岐部P1に対して励起光を導入するとともに、その第2分岐部P2から射出された蛍光を分光測定する装置である。この蛍光分光測定装置30の筐体の正面のパネルには、ライトプローブPの各分岐部P1,P2が夫々挿入されて夫々保持する一対のソケットが形成されている。
The probe P is used in a state where the composite portion P0 is inserted into the forceps channel 10e of the endoscope 10 and the proximal ends of the branch portions P1 and P2 are inserted into the diagnostic auxiliary device 3, respectively. The
<Fluorescence spectrometer>
The fluorescence spectrometer 30 is an apparatus that introduces excitation light into the first branch part P1 of the light probe P and spectroscopically measures the fluorescence emitted from the second branch part P2. The front panel of the casing of the fluorescence spectrometer 30 is formed with a pair of sockets into which the branch portions P1 and P2 of the light probe P are inserted and held, respectively.
そして、一方のソケットに保持された第1分岐部P1の中心軸の延長線上には、順番に、集光レンズ31及び励起光源32が配置されている。そして、励起光源32は駆動回路33に接続されている。この駆動回路33は、後述する光源プロセッサ装置20(システムコントロール回路26)からの制御に従って、励起光源32に対して駆動電流を供給する。 And the condensing lens 31 and the excitation light source 32 are arrange | positioned in order on the extension line of the central axis of the 1st branch part P1 hold | maintained at one socket. The excitation light source 32 is connected to the drive circuit 33. The drive circuit 33 supplies a drive current to the excitation light source 32 in accordance with control from the light source processor device 20 (system control circuit 26) described later.
励起光源32は、駆動回路33によって電源電流が供給されて特定波長帯域(例えば、紫外波長帯域)の励起光を含む光を発光する電球又は半導体レーザ(図示略)と、この電球から発した光を平行光にするためのリフレクター又はレンズ(図示略)と、この光から上記特定波長帯域の励起光のみを透過させる励起光透過フィルター(図示略)とを、備えている。よって、励起光源32は、励起光を、集光レンズ31の光軸に沿った平行光として、集光レンズ31に向けて射出する。 The excitation light source 32 is a light bulb or semiconductor laser (not shown) that emits light including excitation light in a specific wavelength band (for example, ultraviolet wavelength band) when a power source current is supplied by the drive circuit 33, and light emitted from the light bulb. Are provided with a reflector or lens (not shown) for making the light into parallel light, and an excitation light transmission filter (not shown) that transmits only the excitation light of the specific wavelength band from this light. Therefore, the excitation light source 32 emits the excitation light toward the condenser lens 31 as parallel light along the optical axis of the condenser lens 31.
集光レンズ31は、その光軸に沿って励起光源32側から入射してきた励起光を、ソケットに挿入された第1分岐部P1内の光ファイバ(第1の光ファイバF1)の束の基端面に、集光して入射させる。これら駆動回路33,励起光源32及び集光レンズ31が、励起光源に相当する。 The condensing lens 31 is a base of a bundle of optical fibers (first optical fibers F1) in the first branching section P1 inserted into the socket for the excitation light incident from the excitation light source 32 side along the optical axis. The light is collected and incident on the end face. The drive circuit 33, the excitation light source 32, and the condenser lens 31 correspond to the excitation light source.
その結果として、光プローブP内の第1の光ファイバF1を通じて励起光が導光され、その一部は上述したようにリング状部材PRを発光させるとともに、その残りが複合部P0の先端面から射出される。従って、この複合部P0の先端が生体に押し当てられている場合には、その励起光によって生体組織が励起されて蛍光を発する。この蛍光の一部は、直接、複合部における第2の光ファイバF2の先端面に入射して、この第2の光ファイバF2を通じて第2分岐部P2の基端まで導光される。 As a result, the excitation light is guided through the first optical fiber F1 in the optical probe P, and a part thereof causes the ring-shaped member PR to emit light as described above, and the rest from the front end surface of the composite part P0. It is injected. Therefore, when the tip of the composite part P0 is pressed against the living body, the living tissue is excited by the excitation light and emits fluorescence. A part of this fluorescence is directly incident on the distal end surface of the second optical fiber F2 in the composite portion, and is guided to the base end of the second branching portion P2 through the second optical fiber F2.
蛍光分光測定装置30における他方のソケットに保持された第2分岐部P2の中心軸の延長線上には、順番に、コリメートレンズ34,拡散板35,励起光カットフィルタ36及び分光器37が、配置されている。そして、分光器37には、信号処理分析器38が接続されている。 A collimating lens 34, a diffusion plate 35, an excitation light cut filter 36, and a spectroscope 37 are arranged in this order on the extension line of the central axis of the second branch P2 held in the other socket in the fluorescence spectrometer 30. Has been. A signal processing analyzer 38 is connected to the spectrometer 37.
コリメートレンズ34は、第2分岐部P2内の光ファイバ(第2の光ファイバF2)の束の基端面から射出された蛍光を平行光にするレンズである。拡散板35は、コリメートレンズ34から射出された蛍光を拡散することによって、その光路断面の全域において分光スペクトルを均一にする。励起光カットフィルタ36は、上記励起光と同じ波長帯域の光を遮断する光フィルタであり、拡散板35から発した蛍光に混入している励起光を除去する。 The collimating lens 34 is a lens that converts fluorescence emitted from the base end face of the bundle of optical fibers (second optical fiber F2) in the second branching portion P2 into parallel light. The diffusion plate 35 diffuses the fluorescence emitted from the collimating lens 34 to make the spectral spectrum uniform over the entire area of the optical path cross section. The excitation light cut filter 36 is an optical filter that blocks light in the same wavelength band as the excitation light, and removes excitation light mixed in the fluorescence emitted from the diffusion plate 35.
図6は、この励起光カットフィルタ36の透過波長領域を、励起光源32から射出される励起光の波長帯域と対比して示すグラフである。このグラフから明らかなように、励起光の波長帯域は紫外域にあり、励起光カットフィルタ36は、励起光と同じ波長帯域の成分を遮断すると同時に、励起光の波長帯域よりも長波長側の成分を透過する。従って、この励起光カットフィルタ36は、この励起光によって生じた蛍光のみを透過させることができるのである。 FIG. 6 is a graph showing the transmission wavelength region of the excitation light cut filter 36 in comparison with the wavelength band of the excitation light emitted from the excitation light source 32. As is apparent from this graph, the wavelength band of the excitation light is in the ultraviolet range, and the excitation light cut filter 36 blocks components in the same wavelength band as the excitation light and at the same time has a longer wavelength than the wavelength band of the excitation light. Permeates the ingredients. Therefore, the excitation light cut filter 36 can transmit only the fluorescence generated by the excitation light.
分光器37は、その受光面に設置された光センサにより検出した光のうちの幾つかの波長の強度を測定し(以下、「分光測定」という)、測定結果を電子情報(分光スペクトル信号)として出力する機器である。信号処理分析器38は、分光器37によって入力された分光スペクトル信号を分析することによって、横軸に波長をとるとともに縦軸に強度をとる分光スペクトルグラフのイメージデータに変換し、このイメージデータを後述する光源プロセッサ装置20(映像信号処理回路27)に入力する。コリメートレンズ34,拡散板35,励起光カットフィルタ36,分光器37及び信号処理分析器38が、分光測定手段に相当する。
<光源プロセッサ装置>
光源プロセッサ装置20は、内視鏡10のライトガイド16の端面に白色光を導入するとともに、内視鏡10の電気コネクタ10g及び電気ソケット20b(後述)を通じて駆動回路15から受信した画像信号に対して画像処理を行うことによってビデオ信号を生成してモニタ60へ出力する装置である。
The spectroscope 37 measures the intensity of several wavelengths of light detected by an optical sensor installed on its light receiving surface (hereinafter referred to as “spectral measurement”), and the measurement result is electronic information (spectral spectrum signal). As a device that outputs as The signal processing analyzer 38 analyzes the spectral signal input by the spectroscope 37, thereby converting the spectral data into image data of a spectral spectrum graph having a wavelength on the horizontal axis and an intensity on the vertical axis. It inputs into the light source processor apparatus 20 (video signal processing circuit 27) mentioned later. The collimating lens 34, the diffusion plate 35, the excitation light cut filter 36, the spectroscope 37, and the signal processing analyzer 38 correspond to spectroscopic measurement means.
<Light source processor device>
The light source processor device 20 introduces white light to the end face of the light guide 16 of the endoscope 10 and outputs an image signal received from the drive circuit 15 through the electrical connector 10g and the electrical socket 20b (described later) of the endoscope 10. This is a device that generates a video signal by performing image processing and outputs it to the monitor 60.
この光源プロセッサ装置20の筐体の正面のパネルには、内視鏡10のパイプ19がその外面側から挿入される筒であるソケット20aが、設けられている。このソケット20aに穿たれた貫通孔は、光源プロセッサ装置20の内部空間に通じている。この光源プロセッサ装置20の内部空間内には、ソケット20aの中心軸(即ち、ソケット20aに挿入されたパイプ19内のライトガイドファイババンドル16の中心軸)の延長線に沿って順番に、集光レンズ21,シャッタ22,及び、ランプ24が、配置されている。 The front panel of the housing of the light source processor device 20 is provided with a socket 20a which is a cylinder into which the pipe 19 of the endoscope 10 is inserted from the outer surface side. The through hole formed in the socket 20a communicates with the internal space of the light source processor device 20. In the inner space of the light source processor device 20, light is collected in order along the extension line of the central axis of the socket 20a (that is, the central axis of the light guide fiber bundle 16 in the pipe 19 inserted into the socket 20a). A lens 21, a shutter 22, and a lamp 24 are arranged.
集光レンズ21は、その光軸に沿ってランプ24側から入射してきた平行光をソケット20aに挿入されたパイプ19内のライトガイドファイババンドル16の基端面に集光するレンズである。 The condensing lens 21 is a lens that condenses parallel light incident from the lamp 24 side along the optical axis on the base end surface of the light guide fiber bundle 16 in the pipe 19 inserted into the socket 20a.
ランプ24は、ランプ用電源25によって電源電流が供給されて紫外光を含む白色光を発光する電球(図示略)と、この電球から発した白色光を平行光にするためのレンズ又はリフレクター(図示略)とを備えている。その結果として、ランプ24は、白色光を、集光レンズ21の光軸に沿った平行光として、集光レンズ21に向けて射出する。 The lamp 24 is supplied with a power supply current from the lamp power supply 25 and emits white light including ultraviolet light (not shown), and a lens or reflector (illustrated) for making the white light emitted from the light bulb parallel light. Abbreviation). As a result, the lamp 24 emits white light toward the condenser lens 21 as parallel light along the optical axis of the condenser lens 21.
これらランプ24と集光レンズ21との間に介在しているシャッタ22は、図7の正面図に示されるように、集光レンズ21に入射する白色光の光路の断面よりも大きい略扇形の羽根であり、白色光の光路外に配置されたモータ28により、白色光の光路に対して選択的に挿入されて白色光を遮断する。 As shown in the front view of FIG. 7, the shutter 22 interposed between the lamp 24 and the condenser lens 21 has a substantially fan shape larger than the cross section of the optical path of white light incident on the condenser lens 21. It is a blade and is selectively inserted into the white light path by a motor 28 disposed outside the white light path to block the white light.
光源プロセッサ装置20の筐体の正面側パネルには、パイプ19がソケット20aに挿入された状態において電気コネクタ31を構成する各端子と夫々導通する多数の電極からなる電気ソケット20bと、外部から操作される複数のスイッチ(図2においては、測定開始スイッチ23a,表示選択スイッチ23b,フリーズスイッチ23cのみ図示)を有する操作パネル23が、設けられている。そして、操作パネル23上の各スイッチ23a〜cは、夫々、システムコントロール回路26に接続されている。その結果、操作パネル23上の各スイッチ23a〜cに対する操作によって生じた操作信号は、夫々、システムコントロール回路26に入力される。 The front panel of the housing of the light source processor device 20 has an electrical socket 20b made up of a number of electrodes each conducting with each terminal constituting the electrical connector 31 when the pipe 19 is inserted into the socket 20a, and an external operation. An operation panel 23 having a plurality of switches (in FIG. 2, only the measurement start switch 23a, the display selection switch 23b, and the freeze switch 23c are shown) is provided. The switches 23a to 23c on the operation panel 23 are connected to the system control circuit 26, respectively. As a result, operation signals generated by operations on the switches 23a to 23c on the operation panel 23 are input to the system control circuit 26, respectively.
このシステムコントロール回路26は、その内部においてタイミング信号(個々のフレームの先頭タイミングを示す垂直同期信号)を発生することにより、光源プロセッサ装置20内部及び蛍光分光測定装置30の同期制御を行っている。 The system control circuit 26 controls the synchronization of the light source processor device 20 and the fluorescence spectrometer 30 by generating a timing signal (vertical synchronization signal indicating the start timing of each frame) inside the system control circuit 26.
そして、このシステムコントロール回路26は、上述したモータ28及びランプ用電源25に接続されており、これらを制御するための信号を出力する。具体的には、システムコントロール回路26は、主電源投入後には、ランプ用電源制御回路25に対してランプ24から白色光を射出させるとともに、測定開始スイッチ23aが投入されない限り、シャッタ33を白色光の光路外へ待避させたままにしておく。これにより、内視鏡のライトガイド16へは、常時白色光が導入されることになる。これらシステムコントロール回路26,ランプ用電源制御回路25,ランプ24,シャッタ22,集光レンズ21,ライトガイド16及び配光レンズ11が、照明手段に相当する。 The system control circuit 26 is connected to the motor 28 and the lamp power supply 25 described above, and outputs signals for controlling them. Specifically, after the main power supply is turned on, the system control circuit 26 causes the lamp power supply control circuit 25 to emit white light from the lamp 24, and the shutter 33 is set to white light unless the measurement start switch 23a is turned on. Keep away from the light path. Thereby, white light is always introduced into the light guide 16 of the endoscope. The system control circuit 26, the lamp power supply control circuit 25, the lamp 24, the shutter 22, the condenser lens 21, the light guide 16, and the light distribution lens 11 correspond to illumination means.
ライトガイド16及び配光レンズ11を通じて被写体に照射された白色光は、被検部の表面で反射され、対物レンズ12により、撮像素子13の撮像面上に被検部の像を形成し、1フレーム毎に更新される映像信号(インターレース方式に従って個々のフレームが夫々2フィールドから構成される映像信号)に変換される。 The white light irradiated to the subject through the light guide 16 and the light distribution lens 11 is reflected by the surface of the test part, and the objective lens 12 forms an image of the test part on the imaging surface of the image sensor 13. It is converted into a video signal that is updated for each frame (a video signal in which each frame is composed of two fields according to the interlace method).
また、システムコントロール回路26は、ライトガイド16に白色光を導入させている間に操作部材としての測定開始スイッチ23aが投入されると、図8に示すように、その測定開始スイッチ23aが投入された時点が含まれるフレームの次のフレームにおける第2フィールドに相当する期間(操作部材が操作された後の所定期間)だけ、一時的にシャッタ22を白色光の光路へ侵入させることにより、白色光のライトガイド16への入射を遮断する。システムコントロール回路26は、シャッタ22を白色光の光路へ侵入させている間(上記第2フィールドに相当する期間)だけ、蛍光分光測定装置30の駆動回路33を起動することによって、励起光を励起光源32から射出させて、ライトプローブPの第1分岐部P1(第1の光ファイバF1)の基端面に入射させる。第1の光ファイバF1の基端面に入射した励起光は、被検部に照射され、被検部の生体組織から蛍光を放射させる。その結果、上述したように、この蛍光の一部が複合部P0の先端面から第2の光ファイバF2に入射し、この第2の光ファイバF2を通じて蛍光分光測定装置30内に導かれて、分光器37によって分光測定され、その分光スペクトルグラフのイメージデータが信号処理分析器38から出力される。 Further, when the measurement start switch 23a as the operation member is turned on while the white light is being introduced into the light guide 16, the system control circuit 26 turns on the measurement start switch 23a as shown in FIG. White light by temporarily intruding the shutter 22 into the optical path of white light for a period corresponding to the second field in the next frame of the frame including the time point (a predetermined period after the operation member is operated). Is blocked from entering the light guide 16. The system control circuit 26 activates the excitation light by activating the drive circuit 33 of the fluorescence spectrometer 30 only while the shutter 22 enters the optical path of white light (period corresponding to the second field). The light is emitted from the light source 32 and is incident on the base end face of the first branch portion P1 (first optical fiber F1) of the light probe P. The excitation light incident on the base end face of the first optical fiber F1 is irradiated to the test part and radiates fluorescence from the living tissue of the test part. As a result, as described above, a part of the fluorescence enters the second optical fiber F2 from the front end surface of the composite part P0, and is guided into the fluorescence spectrometer 30 through the second optical fiber F2. Spectroscopic measurement is performed by the spectroscope 37, and image data of the spectroscopic spectrum graph is output from the signal processing analyzer 38.
この時、第1の光ファイバF1によって導光された励起光の一部は、リング状部材PRに入射されて、このリング状部材PRから蛍光を発光させる。これら励起光及び蛍光は、反射部材Mによって遮光されている前方を除き、あらゆる方向へ発散される。このようにして発散した光の一部は、内視鏡10の対物レンズ12に直接入射して、撮像素子13の撮像面にリング状部材PRの像を形成する。この際、仮に白色光が配光レンズ11から射出されていたならば、対物レンズ12から光プローブPの複合部P0の先端を見ると、図10に示すような構図となる。実際には、測定開始スイッチ23aが投入されて、その測定開始スイッチ23aが投入された時点が含まれるフレームの次のフレームにおける第2フィールドに相当する期間だけ、シャッタ22の白色光の光路への侵入により、白色光のライトガイド16への入射が遮断され、リング状部材PRのみから光が放射しているので、撮像素子13の撮像面に形成される像は、図10におけるリング部材PRのみが暗闇から浮き上がったものとなる。そして、撮像素子13は、そのフレームにおける第2フィールドの映像信号として、このリング状部材PRを撮像することによって取得した映像信号を出力する。 At this time, a part of the excitation light guided by the first optical fiber F1 is incident on the ring-shaped member PR and emits fluorescence from the ring-shaped member PR. These excitation light and fluorescence are diverged in all directions except the front where the light is blocked by the reflecting member M. A part of the diverging light directly enters the objective lens 12 of the endoscope 10 to form an image of the ring-shaped member PR on the imaging surface of the imaging element 13. At this time, if white light is emitted from the light distribution lens 11, the composition as shown in FIG. 10 is obtained when the tip of the composite portion P 0 of the optical probe P is viewed from the objective lens 12. Actually, the measurement start switch 23a is turned on, and only the period corresponding to the second field in the next frame of the frame including the time point when the measurement start switch 23a is turned on is applied to the optical path of the white light of the shutter 22. Since the entrance of white light to the light guide 16 is blocked by the intrusion and light is emitted only from the ring-shaped member PR, the image formed on the imaging surface of the imaging element 13 is only the ring member PR in FIG. Will emerge from the darkness. Then, the imaging device 13 outputs a video signal acquired by imaging the ring-shaped member PR as a video signal of the second field in the frame.
なお、システムコントロール回路26は、一旦、シャッタ22を白色光の光路へ侵入させた後は、白色光をライトガイド16に導入させ続ける状態に復帰する。 The system control circuit 26 returns to the state where the white light is continuously introduced into the light guide 16 after the shutter 22 has once entered the optical path of the white light.
さらに、システムコントロール回路26は、映像信号処理回路27に接続されており、この映像信号処理回路27に対しても、タイミング信号を入力するとともに、シャッタ22の動作,表示切替スイッチ23b及びフリーズスイッチ23cの状態を通知する。 Further, the system control circuit 26 is connected to the video signal processing circuit 27. The timing signal is also input to the video signal processing circuit 27, and the operation of the shutter 22, the display changeover switch 23b, and the freeze switch 23c. Notify the status of.
この映像信号処理回路27には、また、電気ソケット20bを構成する各電極が接続されている。よって、内視鏡10内の撮像素子13から出力されたRGBの各映像信号は、電気コネクタ10g及び電気ソケット20bを通じて、映像信号処理回路27に入力される。また、この映像信号処理回路27には、プリンタ50及びモニタ60が接続されている。映像信号処理回路27は、内視鏡10の撮像素子13から入力された各映像信号を処理することによって、カラー画像上に蛍光分光測定対象箇所を示すキャラクタをスーパーインポーズしてなる画像を、モニタ60上に表示するとともに、プリンタ50から出力する。 The video signal processing circuit 27 is also connected to each electrode constituting the electrical socket 20b. Therefore, the RGB video signals output from the imaging device 13 in the endoscope 10 are input to the video signal processing circuit 27 through the electrical connector 10g and the electrical socket 20b. The video signal processing circuit 27 is connected to a printer 50 and a monitor 60. The video signal processing circuit 27 processes each video signal input from the image pickup device 13 of the endoscope 10 to superimpose an image formed by superimposing a character indicating a fluorescent spectroscopic measurement target portion on a color image. The image is displayed on the monitor 60 and output from the printer 50.
図9は、この映像信号処理回路27の内部構造を示すブロック図である。この図9に示されるように、映像信号処理回路27内において、撮像素子13から出力された映像信号は、前段映像信号処理回路271に入力される。この前段映像信号処理回路271はRGBメモリ272に接続されている。このRGBメモリ272の内部は、前段映像信号処理回路271によって処理された各フレームの第1フィールドに相当する映像信号(R,G,Bの各映像信号)を記憶する第1フィールド通常カラー画像記憶領域272a,同じく各フィールドの第2フィールドに相当する映像信号を記憶する第2フィールド通常カラー画像記憶領域272b,及び、励起光輝点用記憶領域272cに、区分されている。そして、第1フィールド通常カラー画像記憶領域272a及び第2フィールド通常カラー画像記憶領域272bはスキャンコンバータ273に、励起光輝点用記憶領域272cは輝点位置検出回路274に、夫々接続されている。この輝点位置検出回路274は、スキャンコンバータ273に接続されているとともに上述したシステムコントロール回路26に接続されている。スキャンコンバータ273には、更に、信号処理分析器38及び後段映像信号処理回路275が接続されている。この後段映像信号処理回路275は、更に、キャプチャ回路276及び上述したモニタ60に接続されている。キャプチャ回路276は、更に、プリンタ50に接続されている。 FIG. 9 is a block diagram showing the internal structure of the video signal processing circuit 27. As shown in FIG. 9, in the video signal processing circuit 27, the video signal output from the image sensor 13 is input to the previous-stage video signal processing circuit 271. This pre-stage video signal processing circuit 271 is connected to the RGB memory 272. The RGB memory 272 includes a first field normal color image storage for storing video signals (R, G, and B video signals) corresponding to the first field of each frame processed by the preceding video signal processing circuit 271. The area 272a is divided into a second field normal color image storage area 272b for storing a video signal corresponding to the second field of each field and an excitation bright spot storage area 272c. The first field normal color image storage area 272a and the second field normal color image storage area 272b are connected to the scan converter 273, and the excitation light bright spot storage area 272c is connected to the bright spot position detection circuit 274, respectively. The bright spot position detection circuit 274 is connected to the scan converter 273 and to the system control circuit 26 described above. The scan converter 273 is further connected to a signal processing analyzer 38 and a post-stage video signal processing circuit 275. The post-stage video signal processing circuit 275 is further connected to the capture circuit 276 and the monitor 60 described above. The capture circuit 276 is further connected to the printer 50.
以下、映像信号処理回路27を構成する各ブロックの機能を、図8乃至図12の説明図を参照しながら、説明する。 Hereinafter, the function of each block constituting the video signal processing circuit 27 will be described with reference to the explanatory diagrams of FIGS.
前段映像信号処理回路271は、撮像素子13から送られてくるRGBの各映像信号信号に対して、フィールド単位で所定の処理を施すための回路である。この前段映像信号処理回路271が各映像信号に施す処理としては、高周波成分除去,増幅,ブランキング,クランピング,ホワイトバランス,ガンマ補正,アナログデジタル変換がある。前段映像信号処理回路271は、システムコントロール回路26によってシャッタ22が白色光を遮断することが通知されるまでは、システムコントロール回路26によって通知されたタイミング信号に基づいて、各フレームの第1フィールドに相当する映像信号を、上記処理後に第1フィールド通常カラー画像記憶領域272aに格納し、各フレームの第2フィールドに相当する映像信号を、上記処理後に第2フィールド通常カラー画像領域272bに格納する。即ち、これら第1フィールド通常カラー画像記憶領域272a及び第2フィールド通常カラー画像領域272bが、第1記憶手段に相当する。また、前段映像信号処理回路271は、システムコントロール回路26によってシャッタ22が白色光を遮断することが通知されると、その直後に入力される第2フィールドに相当する映像信号を励起光輝度用記憶領域272cに格納する。即ち、この励起光輝度用記憶領域272cが、第2記憶手段に相当する。なお、各記憶領域272a〜cに格納された映像信号は、新たな映像信号によって上書きされるまで、保持される。 The pre-stage video signal processing circuit 271 is a circuit for performing predetermined processing in units of fields on the RGB video signal signals sent from the image sensor 13. The processing performed by the pre-stage video signal processing circuit 271 on each video signal includes high-frequency component removal, amplification, blanking, clamping, white balance, gamma correction, and analog-digital conversion. The pre-stage video signal processing circuit 271 outputs the first field of each frame based on the timing signal notified by the system control circuit 26 until the system control circuit 26 notifies that the shutter 22 blocks white light. The corresponding video signal is stored in the first field normal color image storage area 272a after the above processing, and the video signal corresponding to the second field of each frame is stored in the second field normal color image area 272b after the above processing. That is, the first field normal color image storage area 272a and the second field normal color image area 272b correspond to the first storage means. When the system control circuit 26 notifies that the shutter 22 blocks the white light, the pre-stage video signal processing circuit 271 stores the video signal corresponding to the second field input immediately after that for the excitation light luminance storage. Store in area 272c. That is, the excitation light luminance storage area 272c corresponds to the second storage means. Note that the video signals stored in the storage areas 272a to 272c are held until overwritten by a new video signal.
輝点位置検出回路274は、励起光輝点用記憶領域272cから読み出した輝度信号に対してマトリックス演算を施すことにより、画素毎に輝度値を抽出して、輝度値のみからなるモノクロ画像信号に変換する。そして、このモノクロ画像信号を各ライン毎に走査して、所定の閾値以上の輝度値を有する画素を抽出する。この抽出処理を全ラインに対して実行することによって抽出された画素が一つであれば、輝点位置検出回路247は、当該画素の座標(水平及び垂直方向の夫々における原点から当該画素までの画素数)を算出する。また、抽出された画素が複数であれば、輝度位置検出回路247は、水平方向及び垂直方向におけるそれらの画素群の中央の座標を算出する。輝度位置検出回路274は、システムコントロール回路26からシャッタ22が白色光を遮断したことが通知された後、表示切り替えスイッチ23bが操作されるまでの間、このような座標の算出をし続け、算出した座標値をスキャンコンバータ273に入力し続ける。即ち、この輝点位置検出回路274が、輝点位置検出手段に相当する。 The bright spot position detection circuit 274 extracts a brightness value for each pixel by performing a matrix operation on the brightness signal read from the excitation light bright spot storage area 272c, and converts it to a monochrome image signal consisting of only the brightness value. To do. Then, the monochrome image signal is scanned for each line to extract pixels having a luminance value equal to or higher than a predetermined threshold. If there is one pixel extracted by executing this extraction process for all lines, the bright spot position detection circuit 247 determines the coordinates of the pixel (from the origin in the horizontal and vertical directions to the pixel in question). The number of pixels) is calculated. If there are a plurality of extracted pixels, the luminance position detection circuit 247 calculates the coordinates of the center of those pixel groups in the horizontal direction and the vertical direction. The luminance position detection circuit 274 continues to calculate such coordinates until the display changeover switch 23b is operated after the system control circuit 26 is notified that the shutter 22 blocks white light. The coordinate value thus entered is continuously input to the scan converter 273. That is, the bright spot position detection circuit 274 corresponds to a bright spot position detection unit.
スキャンコンバータ273は、システムコントロール回路26から入力されるタイミング信号に基づいて、各フレームに相当する期間毎に、その時点において第1フィールド通常カラー画像格納領域272a及び第2フィールド通常カラー画像格納領域272bに夫々格納されている映像信号を、夫々、第1フィールドの映像信号及び第2フィールドの映像信号として読み出る(その結果、シャッタ22が閉じているために映像信号が励起光輝点用記憶領域272cに格納された場合には、第2フィールド通常カラー映像信号領域272bから同じ映像信号が2度読み出されて映像信号の欠落を補完することになる)。また、スキャンコンバータ273は、輝点位置検出回路274から座標値が入力されている間は、上記各映像信号における当該座標値が示す位置に、分光測定箇所を示すキャラクタ(図12におけるXマーク)をスーパーインポーズする。さらに、スキャンコンバータ273は、上記各映像信号(場合に依っては分光測定箇所を示すキャラクタがスーパーインポーズされた映像信号)に対して、夫々、蛍光分光測定装置30の信号処理分析器38から入力された分光スペクトルグラフのイメージデータ,及び、図示せぬキャラクタ生成回路から入力されたキャラクタデータ(被験者の特定情報等の文字情報を表示させるためのイメージデータ)を更に結合し、結合後の各映像信号を順番(第1フィールド、第2フィールドの順)に出力することによって、図12に示すようなレイアウトの画面を表示するための映像信号を後段映像信号処理回路275に渡す。即ち、このスキャンコンバータ273が、画像合成手段に相当する。 Based on the timing signal input from the system control circuit 26, the scan converter 273 has a first field normal color image storage area 272a and a second field normal color image storage area 272b for each period corresponding to each frame. Are read out as a first-field video signal and a second-field video signal, respectively (as a result, the shutter 22 is closed, so that the video signal is stored in the excitation bright spot storage area 272c. In the second field normal color video signal area 272b, the same video signal is read twice to compensate for the lack of the video signal). In addition, while the coordinate value is input from the bright spot position detection circuit 274, the scan converter 273 is a character (X mark in FIG. 12) indicating the spectroscopic measurement position at the position indicated by the coordinate value in each video signal. Superimpose. Further, the scan converter 273 receives the signal from the signal processing analyzer 38 of the fluorescence spectrometer 30 for each video signal (a video signal in which a character indicating a spectroscopic measurement location is superimposed in some cases). The combined spectral data graph image data and character data input from a character generation circuit (not shown) (image data for displaying character information such as subject specific information) are further combined, By outputting the video signals in order (in order of the first field and the second field), a video signal for displaying a screen having a layout as shown in FIG. 12 is passed to the subsequent video signal processing circuit 275. That is, the scan converter 273 corresponds to an image composition unit.
後段映像信号処理回路275は、入力された映像信号に対して、デジタルアナログ変換,エンコーディング,及び、インピーダンスマッチング等の処理を施してモニタ60及び276へ出力する。その結果、モニタ60上には、撮像素子13によって撮像された画像及び文字情報を示す画面(測定開始スイッチ23aが投入されてから表示切替スイッチが投入されるまでの間においては、当該画像上に蛍光測定箇所を示すキャラクタがスーパーインポーズされてなる画像,文字情報及び分光スペクトルグラフを示す画面)が、表示される。 The post-stage video signal processing circuit 275 performs processing such as digital-analog conversion, encoding, impedance matching, etc. on the input video signal, and outputs the result to the monitors 60 and 276. As a result, on the monitor 60, an image captured by the image sensor 13 and a screen showing character information (on the image until the display changeover switch is turned on after the measurement start switch 23a is turned on) A screen showing an image, character information, and a spectral spectrum graph) in which a character indicating a fluorescence measurement location is superimposed is displayed.
キャプチャ回路276は、フリーズスイッチ23cが投入された時点で入力されている一フレーム分の映像信号を静止画のイメージデータ(ビットマップデータ等)に変換して、プリンタ50に出力する。その結果、当該イメージデータを用紙上に印刷した出力紙が、このプリンタ50から出力される。
<使用例>
以上のように構成された内視鏡システムを用いる術者は、まず、光源プロセッサ装置20及び蛍光分光測定装置30に主電源を投入する。すると、内視鏡10の体腔内挿入部10aの先端(配光レンズ11)からは常時白色光が射出され、モニタ60上には対物レンズ12を通じて撮像された画像が、被験者についての文字情報とともに表示される。そこで、術者は、このモニタ60上に表示された画像を見ながら、内視鏡10を操作して、その体腔内挿入部10aを被験者の体腔内に挿入して、被検部に導いていく。
The capture circuit 276 converts the video signal for one frame inputted when the freeze switch 23 c is turned on into still image data (bitmap data or the like) and outputs the image data to the printer 50. As a result, an output sheet obtained by printing the image data on the sheet is output from the printer 50.
<Usage example>
The surgeon who uses the endoscope system configured as described above first turns on the main power to the light source processor device 20 and the fluorescence spectrometer 30. Then, white light is always emitted from the distal end (light distribution lens 11) of the body cavity insertion portion 10a of the endoscope 10, and an image captured through the objective lens 12 is displayed on the monitor 60 together with character information about the subject. Is displayed. Therefore, the surgeon operates the endoscope 10 while viewing the image displayed on the monitor 60, inserts the body cavity insertion portion 10a into the body cavity of the subject, and guides it to the subject. Go.
そして、画像内に被検部を捕捉すると、術者は、内視鏡10の鉗子チャンネル10eにプローブPの複合部P0を挿入して、その先端面を測定対象箇所に押しつける。しかる後に、術者は、測定開始スイッチ272aを投入する。すると、その測定開始スイッチ272aの投入タイミングの次のフレームにおける第2フィールドを撮像するタイミングにおいて、シャッタ22が閉じられて白色光の照射が中断されると同時に、蛍光分光測定器30から導入された励起光がプローブPの複合部P0の先端面から射出される。すると、この励起光によって測定対象箇所の生体組織から生じた蛍光がこのプローブPを通じて蛍光分光測定器30に導かれる。すると、この蛍光に基づいて、分光器37及び信号処理分析器38が分光スペクトルグラフのイメージデータを生成し、映像信号処理回路27(スキャンコンバータ273)に入力する。 Then, when the portion to be examined is captured in the image, the operator inserts the composite portion P0 of the probe P into the forceps channel 10e of the endoscope 10 and presses the distal end surface against the measurement target portion. Thereafter, the operator turns on the measurement start switch 272a. Then, at the timing of imaging the second field in the next frame after the start timing of the measurement start switch 272a, the shutter 22 is closed and the irradiation of white light is interrupted, and at the same time, the fluorescence spectrometer 30 introduced Excitation light is emitted from the distal end surface of the composite portion P0 of the probe P. Then, the fluorescence generated from the biological tissue at the measurement target location by the excitation light is guided to the fluorescence spectrometer 30 through the probe P. Then, based on this fluorescence, the spectroscope 37 and the signal processing analyzer 38 generate image data of the spectroscopic spectrum graph and input it to the video signal processing circuit 27 (scan converter 273).
一方、励起光の一部によって照らされた上記複合部P0先端のリング状部材PRは、撮像素子13によって、撮像される。すると、その映像信号に基づいて、基点位置検出回路274が、画像中における当該リング状部材PRの像の位置を示す座標値を算出し、スキャンコンバータ273に入力する。 On the other hand, the ring-shaped member PR at the tip of the composite part P0 illuminated by a part of the excitation light is imaged by the imaging element 13. Then, based on the video signal, the base position detection circuit 274 calculates a coordinate value indicating the position of the image of the ring-shaped member PR in the image and inputs the coordinate value to the scan converter 273.
その結果、スキャンコンバータ273及び後段映像信号処理回路275により、モニター50上には、当該画像上に蛍光測定箇所を示すキャラクタがスーパーインポーズされてなる画像が、文字情報及び分光スペクトルグラフとともに、表示される。但し、この時点の画像は、プローブP0の先端が測定対象箇所に押し当てられた状態のものである。 As a result, the scan converter 273 and the post-stage video signal processing circuit 275 display on the monitor 50 an image in which the character indicating the fluorescence measurement location is superimposed on the image together with the character information and the spectral spectrum graph. Is done. However, the image at this time is a state in which the tip of the probe P0 is pressed against the measurement target portion.
そこで、術者は、内視鏡10の体腔内挿入部10aの先端を動かすことなく、プローブPを体腔内挿入部10a内に引き込む。この時点では、白色光の照射が再開されているので、モニタ60上の画像からは、プローブP0が見えなくなる。但し、その間も、分光処理分析部38及び輝点位置検出回路274は、夫々分光スペクトルグラフの映像信号及び座標値をスキャンコンバータ273に入力しているので、モニタ60上の画像にスーパーインポーズされているキャラクタは移動することなく表示されたままであり、分光スペクトルグラフもそのまま表示され続けている。 Therefore, the operator pulls the probe P into the body cavity insertion portion 10a without moving the distal end of the body cavity insertion portion 10a of the endoscope 10. At this point, since the white light irradiation has been resumed, the probe P0 cannot be seen from the image on the monitor 60. However, in the meantime, the spectral processing analysis unit 38 and the bright spot position detection circuit 274 are superimposed on the image on the monitor 60 because the video signal and the coordinate value of the spectral spectrum graph are input to the scan converter 273, respectively. The character is still displayed without moving, and the spectral spectrum graph continues to be displayed as it is.
そこで、術者は、フリーズスイッチ23cを投入する。すると、その時点において後段映像信号処理回路275から出力されている映像信号がキャプチャ回路276によって静止画像信号に変換され、その時点においてモニタ60に表示されている画面がプリンタ50から出力される。 Therefore, the surgeon turns on the freeze switch 23c. Then, the video signal output from the subsequent-stage video signal processing circuit 275 at that time is converted into a still image signal by the capture circuit 276, and the screen displayed on the monitor 60 at that time is output from the printer 50.
その後、術者は、表示切替スイッチ23bを投入する。すると、輝点位置検出回路274がリセットされて、モニタ60上の画像からキャラクタが消える。 Thereafter, the surgeon turns on the display changeover switch 23b. Then, the bright spot position detection circuit 274 is reset and the character disappears from the image on the monitor 60.
10 内視鏡
11 配光レンズ
12 対物レンズ
13 撮像素子
16 ライトガイド
20 光源プロセッサ装置
22 シャッタ
23 操作パネル
25 ランプ
26 システムコントロール回路
27 映像信号処理回路
30 蛍光分光測定装置
32 励起光源
37 分光器
38 信号処理分析器
272 メモリ
273 スキャンコンバータ
274 輝点位置検出回路
P プローブ
DESCRIPTION OF SYMBOLS 10 Endoscope 11 Light distribution lens 12 Objective lens 13 Image pick-up element 16 Light guide 20 Light source processor apparatus 22 Shutter 23 Operation panel 25 Lamp 26 System control circuit 27 Image | video signal processing circuit 30 Fluorescence spectroscopy measuring apparatus 32 Excitation light source 37 Spectroscope 38 Signal Processing analyzer 272 Memory 273 Scan converter 274 Bright spot position detection circuit P probe
Claims (5)
その先端に対物光学系及び照明窓を備えるとともにその基端と先端とを通じる中空のチャンネルが内蔵された体腔内挿入部を有する内視鏡と、
前記対物光学系によって形成された前記被検部の像を逐次撮像して、映像信号に変換して出力する撮像装置と、
術者によって操作される操作部材と、
前記操作部材が操作された後の所定期間を除き、前記照明窓を通じて前記被検部に可視光を照射する照明手段と、
前記チャンネルに挿通され、その基端から導入された光をその先端から射出する光プローブと、
前記所定期間内のみ、前記生体組織を励起して前記蛍光を発光させる波長帯域の励起光を前記光プローブの基端に導入する励起光源と、
前記光プローブの先端に設けられ、前記励起光を受けて蛍光を発光する蛍光部材と、
前記蛍光を分光測定する分光測定手段と、
前記所定期間内に出力されるものを除き、前記撮像装置が出力する映像信号を逐次一時記憶する第1記憶手段と、
前記所定期間内に前記撮像装置が出力する映像信号を記憶する第2記憶手段と、
前記第2記憶手段に記憶されている映像信号が示す画像中における輝点の位置を特定する輝点位置検出手段と、
前記第1記憶手段に記憶されている映像信号が示す画像に、前記輝点位置検出手段が特定する位置に対応した位置を示すマークを付加する画像合成手段と、
前記画像合成手段によって得られた画像を表示するモニタと
を備えたことを特徴とする蛍光内視鏡装置。 A fluorescence endoscope apparatus for irradiating a living tissue of a test part in a body cavity with excitation light and performing spectroscopic measurement of fluorescence emitted from the living tissue excited by the excitation light,
An endoscope having an intra-body-cavity insertion portion that includes an objective optical system and an illumination window at its distal end and has a hollow channel that passes through its proximal end and distal end;
An imaging device that sequentially captures an image of the test portion formed by the objective optical system, converts the image into a video signal, and outputs the video signal;
An operation member operated by an operator;
Except for a predetermined period after the operation member is operated, illumination means for irradiating the test part with visible light through the illumination window;
An optical probe that is inserted into the channel and emits light introduced from its proximal end from its distal end;
An excitation light source that introduces excitation light in a wavelength band that excites the biological tissue and emits the fluorescence only within the predetermined period, to the proximal end of the optical probe;
A fluorescent member that is provided at the tip of the optical probe and emits fluorescence in response to the excitation light;
A spectrometric means for spectroscopically measuring the fluorescence;
First storage means for sequentially and temporarily storing video signals output by the imaging device, except for those output within the predetermined period;
Second storage means for storing a video signal output by the imaging device within the predetermined period;
Bright spot position detecting means for specifying the position of a bright spot in an image indicated by the video signal stored in the second storage means;
Image combining means for adding a mark indicating a position corresponding to the position specified by the bright spot position detecting means to the image indicated by the video signal stored in the first storage means;
Fluorescence endoscope apparatus characterized by comprising a monitor for displaying an image obtained by said image image synthesizing means.
前記画像合成手段は、前記分光測定手段による分光測定結果を前記画像に結合する
ことを特徴とする請求項1記載の蛍光内視鏡装置。 The spectroscopic measurement means spectroscopically measures the fluorescence guided from the distal end to the proximal end of the optical probe,
The fluorescence endoscope apparatus according to claim 1, wherein the image synthesizing unit combines the spectral measurement result obtained by the spectroscopic measurement unit with the image.
ことを特徴とする請求項1記載の蛍光内視鏡装置。 The fluorescence endoscope apparatus according to claim 1, wherein an excitation light cut filter for blocking light having the same wavelength as the excitation light is inserted between a proximal end of the optical probe and the spectrometer.
ことを特徴とする請求項1記載の蛍光内視鏡装置。 The fluorescence endoscope apparatus according to claim 1, wherein a ring-shaped member as the fluorescent member that emits fluorescence upon receiving the excitation light is fitted to a tip of the optical probe.
ことを特徴とする請求項1記載の蛍光内視鏡装置。 2. The fluorescence endoscope according to claim 1, wherein a base end of the optical probe is branched into a first branch portion into which the excitation light is introduced and a second branch portion from which the fluorescence is emitted. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004141549A JP4495513B2 (en) | 2004-05-11 | 2004-05-11 | Fluorescence endoscope device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004141549A JP4495513B2 (en) | 2004-05-11 | 2004-05-11 | Fluorescence endoscope device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005319212A JP2005319212A (en) | 2005-11-17 |
JP4495513B2 true JP4495513B2 (en) | 2010-07-07 |
Family
ID=35466922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004141549A Expired - Fee Related JP4495513B2 (en) | 2004-05-11 | 2004-05-11 | Fluorescence endoscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4495513B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108982539A (en) * | 2018-07-13 | 2018-12-11 | 浙江大学 | A kind of two-sided three-proofing coating coating quality detection system of PCB and method |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4596267B2 (en) * | 2006-02-14 | 2010-12-08 | 日亜化学工業株式会社 | Light emitting device |
US8908740B2 (en) | 2006-02-14 | 2014-12-09 | Nichia Corporation | Light emitting device |
JP2008113967A (en) * | 2006-11-07 | 2008-05-22 | Pentax Corp | Endoscope processor, endoscope, endoscope system |
JP5242252B2 (en) * | 2008-06-25 | 2013-07-24 | オリンパス株式会社 | Heart observation device |
EP2522269B1 (en) | 2010-01-08 | 2016-07-27 | Konica Minolta Advanced Layers, Inc. | Probe |
EP2561795A4 (en) | 2010-04-23 | 2013-09-25 | Konica Minolta Advanced Layers | Probe |
CN102469920B (en) * | 2010-06-25 | 2016-03-09 | 柯尼卡美能达精密光学株式会社 | Probe, the diagnostic equipment and using method thereof |
JP2012217781A (en) * | 2011-04-14 | 2012-11-12 | Fujifilm Corp | Endoscope apparatus |
JP6042073B2 (en) * | 2012-01-30 | 2016-12-14 | 黎明 李 | Laparoscopic diagnostic equipment |
EP2702924A4 (en) * | 2012-02-10 | 2015-07-15 | Olympus Medical Systems Corp | CONTROL DEVICE, BIOLOGICAL OPTICAL MEASURING DEVICE, AND ENDOSCOPE SYSTEM |
EP3123921A4 (en) * | 2014-07-09 | 2018-01-03 | Olympus Corporation | Endoscopic device |
CN111803013A (en) * | 2020-07-21 | 2020-10-23 | 深圳市博盛医疗科技有限公司 | Endoscope imaging method and endoscope imaging system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01280448A (en) * | 1988-05-02 | 1989-11-10 | Olympus Optical Co Ltd | Through endoscope spectral diagnosing device |
JPH08224240A (en) * | 1995-02-22 | 1996-09-03 | Olympus Optical Co Ltd | Fluorescent diagnosing device |
JPH09248281A (en) * | 1996-03-14 | 1997-09-22 | Olympus Optical Co Ltd | Endoscope spectrometer |
JP2003180614A (en) * | 2001-12-14 | 2003-07-02 | Pentax Corp | Probe and endoscope system |
JP2003180616A (en) * | 2001-12-19 | 2003-07-02 | Pentax Corp | Fluorescence diagnostic system |
-
2004
- 2004-05-11 JP JP2004141549A patent/JP4495513B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01280448A (en) * | 1988-05-02 | 1989-11-10 | Olympus Optical Co Ltd | Through endoscope spectral diagnosing device |
JPH08224240A (en) * | 1995-02-22 | 1996-09-03 | Olympus Optical Co Ltd | Fluorescent diagnosing device |
JPH09248281A (en) * | 1996-03-14 | 1997-09-22 | Olympus Optical Co Ltd | Endoscope spectrometer |
JP2003180614A (en) * | 2001-12-14 | 2003-07-02 | Pentax Corp | Probe and endoscope system |
JP2003180616A (en) * | 2001-12-19 | 2003-07-02 | Pentax Corp | Fluorescence diagnostic system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108982539A (en) * | 2018-07-13 | 2018-12-11 | 浙江大学 | A kind of two-sided three-proofing coating coating quality detection system of PCB and method |
Also Published As
Publication number | Publication date |
---|---|
JP2005319212A (en) | 2005-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100411631B1 (en) | Fluorescence endoscope apparatus and a method for imaging tissue within a body using the same | |
US6678398B2 (en) | Dual mode real-time screening and rapid full-area, selective-spectral, remote imaging and analysis device and process | |
US6821245B2 (en) | Compact fluorescence endoscopy video system | |
EP3590413A1 (en) | Endoscope system and method for operating same | |
EP2979618B1 (en) | Image processing device for operating endoscope system | |
US20060293556A1 (en) | Endoscope with remote control module or camera | |
EP2979617B1 (en) | Image processing device, and method for operating endoscope system | |
JPH08224240A (en) | Fluorescent diagnosing device | |
JPH0785135B2 (en) | Endoscope device | |
WO1999001749A1 (en) | Fluorescence imaging system | |
JP2006263044A (en) | Fluorescence detecting system | |
JPH07222712A (en) | Fluorescent endoscope system | |
JP4495513B2 (en) | Fluorescence endoscope device | |
JP4298151B2 (en) | Fluorescent image display method and apparatus | |
JP2004024656A (en) | Fluorescent endoscope equipment | |
WO2016152346A1 (en) | Endoscopic diagnosis device, image processing method, program and recording medium | |
JP4520216B2 (en) | Fluorescence observation endoscope device | |
JP4459709B2 (en) | Fluorescence observation endoscope device | |
JP2002345739A (en) | Image display device | |
JP4731225B2 (en) | Fluorescence observation apparatus and light source apparatus | |
JP4459710B2 (en) | Fluorescence observation endoscope device | |
JP2004305382A (en) | Special light observation system | |
JP2001128925A (en) | Method and device for fluorescent character display | |
JP6266559B2 (en) | Endoscope diagnosis apparatus, image processing method, program, and recording medium | |
JP2003180617A (en) | Fluorescence diagnostic system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070411 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100304 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100409 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |