JP3886757B2 - Electronic endoscope device - Google Patents
Electronic endoscope device Download PDFInfo
- Publication number
- JP3886757B2 JP3886757B2 JP2001295273A JP2001295273A JP3886757B2 JP 3886757 B2 JP3886757 B2 JP 3886757B2 JP 2001295273 A JP2001295273 A JP 2001295273A JP 2001295273 A JP2001295273 A JP 2001295273A JP 3886757 B2 JP3886757 B2 JP 3886757B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- blood vessel
- color
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000004204 blood vessel Anatomy 0.000 claims description 50
- 230000004069 differentiation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 210000004400 mucous membrane Anatomy 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000003623 enhancer Substances 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は電子内視鏡装置、特に被観察体内の毛細血管等を詳細に表示することができる電子内視鏡の画像処理に関する。
【0002】
【従来の技術】
電子内視鏡装置は、照明光を照射して対物光学系を介して捉えられた被観察体を、CCD(Charge Coupled Device)等の撮像素子で撮像し、この被観察体像をモニタ等に表示するものであるが、近年、この種の電子内視鏡装置では、上記対物光学系に変倍機構を組み込み、被観察体像を光学的に拡大して表示することが行われる。従って、モニタ等に表示された拡大画像により、注目部位の細部が良好に観察できるようになっている。
【0003】
【発明が解決しようとする課題】
ところで、電子内視鏡装置では、撮像対象が消化器官等、生体内であることが多く、図5に示されるように、拡大された被観察体画像1(モニタ等の表示)においては粘膜2の中に血管(毛細血管)3が存在しており、この血管3の走行状態やこの血管(血液)3の集中状況は、病巣の診断、癌組織の特定等において重要な観察対象となる。一方、生体内は桃色或いは赤みを帯びた色で構成されることから、血管3と粘膜2等の他の組織との区別が不明瞭になる傾向がある。従って、血管3を粘膜2と対比させて明確に表示できれば、生体内の観察、診断に役立つ情報を提供することが可能となる。
【0004】
本発明は上記問題点に鑑みてなされたものであり、その目的は、血管を粘膜等の他の組織に対して高いコントラストにより明確に画像表示することができる電子内視鏡装置を提供することにある。
【0005】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明に係る電子内視鏡装置は、撮像素子で得られた信号に基づき所定の色信号を形成する色信号形成回路と、この色信号形成回路にて得られた赤色以外の所定の色信号を微分処理して微分信号を生成する微分回路と、この微分回路から出力された微分信号を増幅するゲイン回路と、このゲイン回路から出力された微分信号に基づき上記所定色信号以外の少なくとも赤信号を増幅して血管を強調する血管強調回路と、を含んでなることを特徴とする。
請求項2に係る発明は、上記色信号形成回路では、赤,緑,青の色信号を形成し、上記微分回路では、緑信号に対し微分処理を施し、上記血管強調回路では、赤色と青色の信号を微分信号により増幅することを特徴とする。
【0006】
上記の構成によれば、色信号形成回路によりR(赤),G(緑),B(青)の色信号が形成され、例えばG信号(B信号でもよい)が微分回路にて微分処理される。このG信号ではレベルの低い信号部分(黒い部分)に血管が存在し、その他の部分に粘膜が存在することになり、このレベルの低い部分においてある程度急激に変化する場所を微分処理で検出することにより、血管の位置(存在)を抽出する。即ち、本願発明は、血管の主要色である赤色以外の画像信号を微分処理することにより血管の位置を検出する。
【0007】
次に、上記微分回路によって得られた微分信号は、所定の増幅率で増幅された後に、血管強調回路に供給されており、ここではこの微分信号をゲイン信号として上記のR,B信号(又はR信号のみ)を増幅し、このR,B信号と微分信号を与えないG信号により被観察体画像が形成される。即ち、上記微分信号の急激な変化レベルに応じて増幅されたR,B信号と、微分回路直前のG信号によって画像が形成されることになり、この結果、粘膜の中にある血管が高いコントラストで表示される。
【0008】
【発明の実施の形態】
図1には、実施形態に係る電子内視鏡装置の一部の構成が示されており、この電子内視鏡装置は例えば同時式とされ、スコープ、プロセッサ装置、光源装置、モニタ及び記録装置等を有する。この図1において、撮像素子であるCCD10がスコープ先端部に設けられ、このCCD10では画素単位の色フィルタ[例えばMg(マゼンタ),G(グリーン),Cy(シアン),Ye(イエロー)]を介して被観察体像が捉えられる。即ち、上記光源装置からの光がライトガイドを介してスコープ先端から被観察体に照射されることにより、この被観察体がCCD10で撮像される。また、このCCD10の前方に、変倍レンズが移動可能に組み込まれた対物光学系を設ければ、この変倍レンズを駆動することによって被観察体の拡大像を得ることができる。
【0009】
上記CCD10の後段には、CDS(Correlated Double Sampling−相関二重サンプリング)/AGC(Automatic Gain Control−自動利得制御回路)12が配置されており、このCDS/AGC12はCCD10の出力信号に対し相関二重サンプリングを施すと共に、所定の増幅処理をする。このCDS/AGC12には、A/D(アナログ/デジタル)変換器14を介して、DSP(Digital Signal Processor−デジタル信号プロセッサ)16が設けられている。
【0010】
このDSP16では、ホワイトバランス、ガンマ補正等の各種の処理を施すと共に、Y(輝度)信号とR(赤)−Y及びB(青)−Yの色差(C)信号が形成されており、このDSP16の後段に、上記Y信号とC信号をR(赤),G(緑),B(青)の信号に変換する色変換回路18が設けられる。即ち、当該例では、上記DSP16では、Mg,G,Cy,Yeの各色フィルタを介して得られた信号から色変換演算によってY信号とR−Y及びB−YのC信号が形成されるが、このY,C信号を更に色変換演算することによりR,G,Bの各色信号が得られる。なお、上記DSP16内にて色差信号ではなく、RGB信号を直接形成することもできる。
【0011】
そして、上記色変換回路18から入力されたG信号を微分する微分回路20、この微分回路20から出力された微分信号を増幅するゲイン回路22、このゲイン回路22で得られた微分信号により上記変換回路18から出力されたR,B信号を増幅する血管強調回路24が設けられており、これらの回路により血管を抽出する処理が行われる。
【0012】
即ち、図2(A)には上記微分回路20に入力されるG信号による画像5Gが示されており、このG画像では点線で示す血管3が低いレベル(黒に近いレベル)となる。ここで、このG画像5の水平ラインLaの信号レベルは、図2(B)に示されるように、血管3の部分が急激に低下する信号となるが、微分回路20ではこの信号を微分し、図2(C)に示されるように、低下→この低下の倍量の上昇→元のレベルへの低下となる急激な変化を呈する微分信号を形成する。
【0013】
そして、上記ゲイン回路22は、微分回路20から出力された微分信号を所定増幅率gで増幅し、更にレベル差の大きな信号とし、上記血管強調回路24では、この微分信号をゲイン信号としてR信号,B信号を増幅し、図3に示されるような血管を強調するためのレベル差のあるR信号[図3(A)]とB信号[図3(B)]を形成する。
【0014】
更に、上記血管強調回路24の後段には、上記血管強調のためのR,B信号を入力すると共に上記色変換回路18から出力されたG信号を入力し、これらの信号から輪郭を強調するエンハンサ26が接続され、このエンハンサ26にはモニタ出力するための各種処理を施す信号処理回路28が設けられる。
【0015】
実施形態例は以上の構成からなり、まずスコープ先端部からの照射光により照明された被観察体がCCD10で撮像されると、このCCD10からの出力信号は、CDS/AGC12でサンプリングされると共に増幅され、A/D変換器14を介してデジタル信号としてDSP16へ供給される。このDSP16では、各種の画像処理が施されたY信号とR−Y及びB−YのC(色差)信号が形成され、このY信号とC信号は色変換回路18によりR,G,Bの各色信号に変換される。
【0016】
この内のG信号は、輪郭強調回路であるエンハンサ26に出力されると共に、微分回路20に供給されており、この微分回路20では、このG信号に基づいて血管の位置に対応した図2(C)に示される微分信号が得られる。この微分信号は、ゲイン回路22により所定増幅率gで増幅され、血管強調回路24へそのゲイン信号として供給される。この血管強調回路24では、上述したように、R信号とB信号がゲイン信号としての微分信号で増幅(又は微分信号を係数として乗算)され、血管部分を強調した図3(A)のR信号と図3(B)のB信号が形成される(これらは図2(A)の水平ラインLaの信号として示す)。そして、このR,B信号は、上記色変換回路18から出力されたG信号と共に、エンハンサ26へ供給され、輪郭強調処理が行われた後、信号処理回路28でモニタ出力のための各種処理が施される。
【0017】
図4には、上記血管部分の色形成を説明するための図が示されており、図4(A)は、上記血管強調回路24から出力されたR信号[図3(A)]による画像5Rであり、図示のように、点線の黒の部分と1点鎖線の赤の部分3rで血管(両線が並走する部分)が表示される画像となる。図4(B)は、上記血管強調回路24から出力されたB信号[図3(B)]による画像5Bであり、この場合も、点線の黒の部分と2点鎖線の青の部分3bで血管が表示される画像となる。そして、図4(C)は、上記色変換回路18から出力されたG信号の画像であり、これらのRGB信号が合成されると、図4(D)に示されるように、点線の黒の部分と実線のRGB合成部で構成される血管3が表示されることになる。
【0018】
このようにして、最終的にモニタ画像では、血管(毛細血管)3が粘膜2中に良好なコントラストにて明瞭に表示されることになり、この結果、血管3の走行状態や集中状況が良好に観察でき、またこの血管3の走行状態等を参考に病巣の診断、癌組織の特定等も良好に行われる。
【0019】
上記実施形態例では、血管強調回路24においてR(赤)信号とB(青)信号を微分信号に基づいて増幅したが、このR信号のみを増幅処理して血管を強調することもできる。また、上記微分回路20では、G信号に基づいて微分信号を得るようにしたが、B信号を入力して微分信号を生成し、これに基づいて上記の血管強調処理を実行してもよい。即ち、本発明は血管の主要色である赤色以外の画像信号から血管の存在(位置)を検出しており、G信号以外の色信号を用いることも可能である。
【0020】
【発明の効果】
以上説明したように、本発明によれば、血管の主要色信号であるR信号以外の例えばG信号を微分した微分信号を生成し、かつ増幅し、この微分信号に基づいて少なくともR信号を増幅することにより血管を強調するようにしたので、血管を粘膜等の他の組織に対して高いコントラストにより明確にモニタ表示することができ、被観察体の観察や診断に有益な情報を提供することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態例に係る電子内視鏡装置の主要構成を示すブロック図である。
【図2】実施形態例の各回路で得られるもので、図(A)はG信号画像、図(B)は図(A)のG信号画像の水平ラインLaの信号レベル、図(C)は図(B)のG信号の微分信号を示す図である。
【図3】実施形態例の血管強調回路から出力される水平ラインLaのR信号[図(A)]とB信号[図(B)]を示す図である。
【図4】実施形態例の各回路で得られる画像で、図(A)はR信号画像、図(B)はB信号画像、図(C)はG信号画像、図(D)はRGB合成画像を示す図である。
【図5】電子内視鏡装置で撮像・表示される被観察体の拡大画像を示す図である。
【符号の説明】
10…CCD、 16…DSP、
18…色変換回路、 20…微分回路、
22…ゲイン回路、 24…血管強調回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to image processing of an electronic endoscope apparatus, in particular, an electronic endoscope capable of displaying in detail the capillaries and the like in a body to be observed.
[0002]
[Prior art]
The electronic endoscope apparatus captures an object to be observed captured through an objective optical system by irradiating illumination light with an imaging element such as a CCD (Charge Coupled Device), and uses the object image as a monitor. In recent years, in this type of electronic endoscope apparatus, a zooming mechanism is incorporated in the objective optical system, and an object image is optically enlarged and displayed. Therefore, the details of the site of interest can be satisfactorily observed by the enlarged image displayed on the monitor or the like.
[0003]
[Problems to be solved by the invention]
By the way, in an electronic endoscope apparatus, an imaging target is often in a living body such as a digestive organ, and as shown in FIG. 5, in an enlarged object image 1 (display on a monitor or the like), a mucous membrane 2 A blood vessel (capillary blood vessel) 3 exists in the blood vessel, and the running state of the
[0004]
The present invention has been made in view of the above problems, and an object of the present invention is to provide an electronic endoscope apparatus capable of clearly displaying a blood vessel with high contrast on other tissues such as mucous membranes. It is in.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an electronic endoscope apparatus according to a first aspect of the present invention includes a color signal forming circuit that forms a predetermined color signal based on a signal obtained by an image sensor, and the color signal forming circuit. A differential circuit that generates a differential signal by differentiating a predetermined color signal other than red color obtained in the above, a gain circuit that amplifies the differential signal output from the differential circuit, and a differential signal output from the gain circuit And a blood vessel enhancement circuit for amplifying at least a red signal other than the predetermined color signal to enhance the blood vessel.
According to a second aspect of the present invention, the color signal forming circuit forms red, green, and blue color signals, the differentiation circuit performs differentiation processing on the green signal, and the blood vessel enhancement circuit performs red and blue color processing. Is amplified by a differential signal.
[0006]
According to the above configuration, R (red), G (green), and B (blue) color signals are formed by the color signal forming circuit. For example, the G signal (or B signal) is differentiated by the differentiation circuit. The In this G signal, blood vessels are present in the low-level signal part (black part), and mucous membranes are present in the other parts, and the place where the level changes abruptly in this low-level part is detected by differential processing. To extract the position (presence) of the blood vessel. That is, the present invention detects the position of the blood vessel by differentiating the image signal other than red, which is the main color of the blood vessel.
[0007]
Next, the differential signal obtained by the differential circuit is amplified at a predetermined amplification factor and then supplied to the blood vessel enhancement circuit. Here, the differential signal is used as a gain signal and the R, B signals (or An R object signal is amplified by this R, B signal and a G signal that does not give a differential signal. That is, an image is formed by the R and B signals amplified according to the rapid change level of the differential signal and the G signal immediately before the differential circuit. As a result, the blood vessels in the mucous membrane have a high contrast. Is displayed.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a partial configuration of an electronic endoscope apparatus according to the embodiment. This electronic endoscope apparatus is, for example, a simultaneous type, and includes a scope, a processor device, a light source device, a monitor, and a recording device. Etc. In FIG. 1, a
[0009]
A CDS (Correlated Double Sampling) / AGC (Automatic Gain Control) 12 is arranged at the subsequent stage of the
[0010]
The DSP 16 performs various processes such as white balance and gamma correction, and forms a Y (luminance) signal and R (red) -Y and B (blue) -Y color difference (C) signals. A
[0011]
The
[0012]
That is, FIG. 2A shows an
[0013]
The
[0014]
Further, an R and B signal for blood vessel enhancement are input to the subsequent stage of the blood
[0015]
The embodiment is configured as described above. First, when an object to be observed illuminated by the irradiation light from the distal end of the scope is imaged by the
[0016]
Of these, the G signal is output to the
[0017]
FIG. 4 is a diagram for explaining the color formation of the blood vessel part. FIG. 4A shows an image based on the R signal [FIG. 3A] output from the blood
[0018]
Thus, finally, in the monitor image, the blood vessels (capillaries) 3 are clearly displayed in the
[0019]
In the above-described embodiment, the R (red) signal and the B (blue) signal are amplified based on the differential signal in the blood
[0020]
【The invention's effect】
As described above, according to the present invention, a differential signal obtained by differentiating, for example, the G signal other than the R signal that is the main color signal of the blood vessel is generated and amplified, and at least the R signal is amplified based on the differential signal. Because the blood vessels are emphasized by doing so, the blood vessels can be clearly displayed on the monitor with high contrast against other tissues such as mucous membranes, and provide useful information for observation and diagnosis of the observed object Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a main configuration of an electronic endoscope apparatus according to an embodiment of the present invention.
FIG. 2 is obtained by each circuit of the embodiment. FIG. (A) is the G signal image, FIG. (B) is the signal level of the horizontal line La of the G signal image of FIG. These are figures which show the differential signal of G signal of figure (B).
FIG. 3 is a diagram illustrating an R signal [FIG. (A)] and a B signal [FIG. (B)] of a horizontal line La output from the blood vessel emphasizing circuit of the embodiment.
4A and 4B are images obtained by each circuit according to the embodiment. FIG. 4A is an R signal image, FIG. 4B is a B signal image, FIG. C is a G signal image, and FIG. It is a figure which shows an image.
FIG. 5 is a diagram illustrating an enlarged image of an object to be observed that is captured and displayed by the electronic endoscope apparatus.
[Explanation of symbols]
10 ... CCD, 16 ... DSP,
18 ... color conversion circuit, 20 ... differentiation circuit,
22 ... Gain circuit, 24 ... Blood vessel enhancement circuit.
Claims (2)
この色信号形成回路にて得られた赤色以外の所定の色信号を微分処理して微分信号を生成する微分回路と、
この微分回路から出力された微分信号を増幅するゲイン回路と、
このゲイン回路から出力された微分信号に基づき上記所定色信号以外の少なくとも赤信号を増幅して血管を強調する血管強調回路と、を含んでなる電子内視鏡装置。A color signal forming circuit for forming a predetermined color signal based on a signal obtained by the image sensor;
A differentiating circuit for differentiating a predetermined color signal other than red obtained by the color signal forming circuit to generate a differentiated signal;
A gain circuit for amplifying the differential signal output from the differential circuit;
An electronic endoscope apparatus comprising: a blood vessel enhancement circuit that amplifies at least a red signal other than the predetermined color signal based on a differential signal output from the gain circuit to enhance a blood vessel.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001295273A JP3886757B2 (en) | 2001-09-27 | 2001-09-27 | Electronic endoscope device |
US10/255,079 US6956602B2 (en) | 2001-09-27 | 2002-09-26 | Electronic endoscope for highlighting blood vessel |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001295273A JP3886757B2 (en) | 2001-09-27 | 2001-09-27 | Electronic endoscope device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003093342A JP2003093342A (en) | 2003-04-02 |
JP3886757B2 true JP3886757B2 (en) | 2007-02-28 |
Family
ID=19116738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001295273A Expired - Fee Related JP3886757B2 (en) | 2001-09-27 | 2001-09-27 | Electronic endoscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3886757B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010000183A (en) | 2008-06-19 | 2010-01-07 | Fujinon Corp | Processor device for electronic endoscope |
JP4603097B2 (en) * | 2008-10-27 | 2010-12-22 | オリンパスメディカルシステムズ株式会社 | Image processing apparatus and image processing method |
CN103327883B (en) * | 2011-02-22 | 2016-08-24 | 奥林巴斯株式会社 | Medical image-processing apparatus and medical image processing method |
JP6319370B2 (en) * | 2016-06-23 | 2018-05-09 | カシオ計算機株式会社 | DIAGNOSIS DEVICE, IMAGE PROCESSING METHOD IN THE DIAGNOSIS DEVICE, AND PROGRAM THEREOF |
JP6838549B2 (en) * | 2017-12-08 | 2021-03-03 | カシオ計算機株式会社 | Diagnostic support device, image processing method and its program |
JPWO2019198576A1 (en) * | 2018-04-11 | 2021-04-08 | 富士フイルム株式会社 | Medical image processing equipment |
-
2001
- 2001-09-27 JP JP2001295273A patent/JP3886757B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003093342A (en) | 2003-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7042488B2 (en) | Electronic endoscope for highlighting blood vessel | |
JP4009626B2 (en) | Endoscope video signal processor | |
JP3228627B2 (en) | Endoscope image processing device | |
JP2807487B2 (en) | Endoscope device | |
JP4891990B2 (en) | Endoscope device | |
CN102740760B (en) | Endoscope device | |
JP6234350B2 (en) | Endoscope system, processor device, operation method of endoscope system, and operation method of processor device | |
CN101420901B (en) | Biological observation system | |
JP5288775B2 (en) | Endoscope device | |
JP2011098088A (en) | Electronic endoscope system, processor device for electronic endoscope, and image processing method | |
JP2003010101A (en) | Imaging method and device of endoscope system | |
US6956602B2 (en) | Electronic endoscope for highlighting blood vessel | |
JPH07111978A (en) | Image processor for endoscope | |
JPH11332819A (en) | Fluorescent image device | |
JP3886757B2 (en) | Electronic endoscope device | |
JPH0546816B2 (en) | ||
JP3894762B2 (en) | Electronic endoscope device | |
JP5829568B2 (en) | Endoscope system, image processing apparatus, method of operating image processing apparatus, and image processing program | |
JP2007306974A (en) | Endoscope processor, endoscope program, image processing system, and endoscope image recording / reproducing apparatus | |
JP3958761B2 (en) | Dimming signal generator for endoscope | |
JP2547195B2 (en) | Image signal processing circuit for endoscope | |
JPH0789672B2 (en) | Endoscope device | |
JP2022156811A (en) | Processor for electronic endoscope and electronic endoscope system | |
JP4159291B2 (en) | Electronic endoscope device | |
JP2768936B2 (en) | Electronic endoscope device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061122 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121201 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131201 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |