[go: up one dir, main page]

JP2006136662A - Electronic endoscope system - Google Patents

Electronic endoscope system Download PDF

Info

Publication number
JP2006136662A
JP2006136662A JP2004331045A JP2004331045A JP2006136662A JP 2006136662 A JP2006136662 A JP 2006136662A JP 2004331045 A JP2004331045 A JP 2004331045A JP 2004331045 A JP2004331045 A JP 2004331045A JP 2006136662 A JP2006136662 A JP 2006136662A
Authority
JP
Japan
Prior art keywords
endoscope system
electronic endoscope
unit
electronic
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004331045A
Other languages
Japanese (ja)
Other versions
JP4668587B2 (en
Inventor
Hiroto Watanabe
博人 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2004331045A priority Critical patent/JP4668587B2/en
Publication of JP2006136662A publication Critical patent/JP2006136662A/en
Application granted granted Critical
Publication of JP4668587B2 publication Critical patent/JP4668587B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】
従来プロセッサに接続されていたポインティングデバイスを用いて行われていたGUIによる操作を、煩雑さや無用の負担を感じることなく術者が実行することが可能な電子内視鏡システムを提供すること。
【解決手段】
電子内視鏡システムは、GUIを実装するプロセッサと、体腔内に挿入され生体組織を撮像する電子スコープと、を有する電子内視鏡システムにおいて、電子スコープは、プロセッサに関するGUIによる操作をするための第一操作手段を有し、プロセッサは、第一操作手段の操作に対応した処理が行われるように制御する制御手段を有する構成にした。
【選択図】 図1
【Task】
To provide an electronic endoscope system that allows an operator to execute a GUI operation that has been performed using a pointing device connected to a processor in the past without feeling complicated or useless.
[Solution]
An electronic endoscope system includes a processor that implements a GUI, and an electronic scope that is inserted into a body cavity and images a living tissue. The electronic scope is configured to operate the GUI with respect to the processor. The processor has a first operation unit, and the processor has a control unit that performs control so that processing corresponding to the operation of the first operation unit is performed.
[Selection] Figure 1

Description

この発明は、体内の部位の観察等に使用される先端に固体撮像素子を備えた電子内視鏡システムに関する。   The present invention relates to an electronic endoscope system including a solid-state imaging device at a tip used for observing a part inside the body.

一般的に、体内を観察するための医療用内視鏡システムは、光源部や画像処理部を備えるプロセッサと、体内を照明することにより撮像を行う撮像素子を湾曲可能な挿入部の先端に有する電子スコープとから構成される。近年のプロセッサには、外部入力装置例えばキーボードやマウス等のポインティングデバイスを用いて多くの処理に関する操作が可能なGUI(Graphical User Interface)が実装されている。また、電子スコープには、把持部に、該電子スコープに所定の動作(例えば、湾曲部の回動、湾曲動作や送水動作等)を実行させるための複数のボタンやレバー等からなる操作部が配設される。このように、ポインティングデバイスを備えるプロセッサ及び把持部に操作部を持つ電子スコープ等からなる従来の電子内視鏡システムは、例えば以下の特許文献1に開示される。   In general, a medical endoscope system for observing the inside of a body has a processor including a light source unit and an image processing unit, and an imaging element that performs imaging by illuminating the inside of the body at the distal end of a bendable insertion unit. It consists of an electronic scope. In recent processors, a GUI (Graphical User Interface) capable of performing operations related to many processes using an external input device such as a pointing device such as a keyboard or a mouse is mounted. In addition, the electronic scope has an operation unit composed of a plurality of buttons, levers, and the like for causing the electronic scope to execute a predetermined operation (for example, rotation of the bending unit, bending operation, water supply operation, etc.). Arranged. As described above, a conventional electronic endoscope system including a processor including a pointing device and an electronic scope having an operation unit on a gripping unit is disclosed in, for example, Patent Document 1 below.

特開2003−250756号公報JP 2003-250756 A

一般に、内視鏡観察時、実際に電子スコープを用いて内視鏡観察を実行する術者は、電子スコープ把持部に設けられた操作部を主として操作する。そして、ポインティングデバイスを介したプロセッサに関する操作は、該術者をサポートする看護士等の補助者によって行われる。しかし、例えば中規模、小規模の病院や診療所のように、内視鏡観察に十分な人員を充てることが難しい場合、術者が電子スコープ把持部の操作手段のみならず、ポインティングデバイスによる操作をする必要に迫られる場合がある。その場合、術者は、電子スコープを安全、確実に把持して、被検者の体腔内を傷つけることなく生体組織の観察ができるように留意しつつ、ポインティングデバイスを適切なタイミングで正確に操作しなければならない。そのため、術者に、煩雑さや精神的に過大な負担を与えるおそれがある。   Generally, at the time of endoscopic observation, an operator who actually performs endoscopic observation using an electronic scope mainly operates an operation unit provided on the electronic scope gripping unit. Then, an operation related to the processor via the pointing device is performed by an assistant such as a nurse who supports the operator. However, when it is difficult to allocate enough personnel for endoscopic observation, such as in a medium-scale or small-scale hospital or clinic, the operator can operate not only using the electronic scope gripping unit but also using a pointing device. It may be necessary to do. In that case, the surgeon operates the pointing device accurately at an appropriate timing while taking care to grasp the electronic scope safely and reliably and observe the living tissue without damaging the body cavity of the subject. Must. Therefore, there is a possibility that the surgeon may be complicated and excessively burdensome.

そこで本発明は、上記の事情に鑑み、従来プロセッサに接続されていたポインティングデバイスを用いて行われていたGUIによる操作を、煩雑さや無用の負担を感じることなく術者が実行することが可能な電子内視鏡システムを提供することを目的とする。   Thus, in view of the above circumstances, the present invention enables an operator to perform a GUI operation that has been performed using a pointing device connected to a processor in the past without feeling complicated or useless. An object is to provide an electronic endoscope system.

このため、請求項1に記載の電子内視鏡システムは、GUIを実装するプロセッサと、体腔内に挿入され生体組織を撮像する電子スコープと、を有する電子内視鏡システムにおいて、電子スコープは、プロセッサに関するGUIによる操作をするための第一操作手段を有し、プロセッサは、第一操作手段の操作に対応した処理が行われるように制御する制御手段を有することを特徴とする。   Therefore, an electronic endoscope system according to claim 1 is an electronic endoscope system including a processor that implements a GUI and an electronic scope that is inserted into a body cavity and images a living tissue. It has the 1st operation means for performing operation by GUI about a processor, and a processor has a control means which controls so that processing corresponding to operation of the 1st operation means may be performed.

請求項1に記載の電子内視鏡システムによれば、電子スコープに第一操作手段を配設したことにより、術者がGUIによる操作をするにあたり、術者から離れた位置にあるポインティングデバイスを用いる必要がない。そのため、該操作が内視鏡観察に支障をきたすおそれもなく、術者は負担を感じることなく簡易にGUIによる操作を実行することができる。   According to the electronic endoscope system according to claim 1, since the first operating means is disposed in the electronic scope, the pointing device located at a position away from the operator can be used when the operator operates the GUI. There is no need to use it. Therefore, there is no fear that the operation will interfere with the endoscopic observation, and the operator can easily perform the operation using the GUI without feeling a burden.

請求項2に記載の発明によれば、第一操作手段を、電子スコープにおける把持部に配設することが望ましい。そして把持部には少なくとも電子スコープの動作に関する操作を行うための第二操作手段も配設することが望ましい(請求項3)。これにより、一連の操作手段を把持部に集中して配設することができる。そのため、術者は電子スコープを把持する側の手の指のみで全ての操作を実行することができ、術者の操作性を向上させることができる。   According to the second aspect of the present invention, it is desirable that the first operation means is disposed on the grip portion of the electronic scope. It is desirable that a second operation means for performing at least an operation related to the operation of the electronic scope is also disposed in the gripping portion. Thereby, a series of operation means can be concentrated and arrange | positioned at a holding part. Therefore, the surgeon can perform all operations only with the fingers of the hand on the side holding the electronic scope, and the operability of the surgeon can be improved.

なお、第一操作手段には防水加工が施されていることが望ましい(請求項4)。   The first operating means is preferably waterproofed (Claim 4).

また、請求項5に記載の発明によれば、電子スコープは、上記第一操作手段の使用を禁止する禁止手段を有することができる。これにより、術者の好みに柔軟に対応した電子スコープが提供される。   According to the invention described in claim 5, the electronic scope can have a prohibiting means for prohibiting the use of the first operating means. This provides an electronic scope that flexibly corresponds to the surgeon's preference.

上記禁止手段は、第一操作手段を被う着脱自在な被覆手段として構成することができる(請求項6)。例えば、該被覆手段は、防水性を有するキャップがよい(請求項7)。   The prohibiting means may be configured as a detachable covering means that covers the first operating means (claim 6). For example, the covering means may be a waterproof cap.

請求項8に記載の発明によれば、第一操作手段は、押し込み自在なトラックボールを有することができる。   According to the invention described in claim 8, the first operating means can have a push-in trackball.

具体的には、プロセッサが生体組織を照明するための光を照射する光源部を有する場合には、上記GUIによる操作に、該光源部に関する操作が含まれる(請求項9)。またプロセッサが電子スコープによって撮像された画像データに画像処理を施す画像処理部を有する場合には、上記GUIによる操作に、該画像処理部に関する操作が含まれる(請求項10)。   Specifically, when the processor has a light source unit that emits light for illuminating a living tissue, the operation related to the light source unit is included in the operation using the GUI. When the processor includes an image processing unit that performs image processing on image data captured by the electronic scope, the operation related to the image processing unit is included in the operation using the GUI.

このように、本発明によれば、GUIに関する操作を行うための第一操作手段を電子スコープに配設することにより、内視鏡観察中において、術者は電子スコープを把持した状態で、把持する側の指を用いてプロセッサのGUIによる操作を実行することができる。従って本発明によれば、従来の電子内視鏡システムとは異なり、術者は、負担や煩雑さを感じることなく、プロセッサのGUIによる操作を簡易に実行することができる。これにより、内視鏡観察に必要とされる人員の削減にもつながる。   As described above, according to the present invention, the first operation means for performing the operation related to the GUI is arranged in the electronic scope, so that the operator can grasp the electronic scope while holding the electronic scope during the endoscopic observation. An operation by the GUI of the processor can be executed using the finger on the side to be performed. Therefore, according to the present invention, unlike a conventional electronic endoscope system, an operator can easily perform an operation using a GUI of a processor without feeling burden and complexity. This also leads to a reduction in personnel required for endoscopic observation.

以下、本発明の実施形態の電子内視鏡システム100について説明する。図1は、本実施形態の電子内視鏡システム100の概略構成を示す図である。電子内視鏡システム100は、電子スコープ100a、プロセッサ100b、モニタ100cから構成される。   Hereinafter, an electronic endoscope system 100 according to an embodiment of the present invention will be described. FIG. 1 is a diagram showing a schematic configuration of an electronic endoscope system 100 of the present embodiment. The electronic endoscope system 100 includes an electronic scope 100a, a processor 100b, and a monitor 100c.

電子スコープ100aは、把持部10、固体撮像素子(光学ユニットを含む、以下も同様である)60、駆動回路部80を有する。把持部10には、トラックボール11aを持つ第一操作部11と、複数のレバーやボタンから構成される第二操作部12を有する。第一操作部11および第二操作部12は、いずれも飛散した液体が付着して電子スコープ100内部に進入することを有効に防止すべく、防水仕様になっている。   The electronic scope 100 a includes a grip 10, a solid-state imaging device (including an optical unit, the same applies to the following) 60, and a drive circuit unit 80. The holding unit 10 includes a first operation unit 11 having a trackball 11a and a second operation unit 12 including a plurality of levers and buttons. The first operation unit 11 and the second operation unit 12 are both waterproof to effectively prevent the scattered liquid from adhering and entering the electronic scope 100.

プロセッサ100bは、メイン制御部20、光源部30、画像処理回路40、ライトガイド50、フロントパネル70を有している。また、プロセッサ100bは、外部入力装置、例えばマウス(不図示)を接続することができる。なお、プロセッサ100bは、GUIを実装しており、モニタ100cに表示される視覚的情報に基づいた操作ができるように構成されている。   The processor 100b includes a main control unit 20, a light source unit 30, an image processing circuit 40, a light guide 50, and a front panel 70. The processor 100b can be connected to an external input device such as a mouse (not shown). Note that the processor 100b is equipped with a GUI, and is configured to perform an operation based on visual information displayed on the monitor 100c.

電子内視鏡システム100を使用すると、内視鏡観察は以下のようにして行われる。まず、術者が電子スコープを被検者の体腔内に挿入する。プロセッサ100bでは、メイン制御部20が光源部30に対して発光制御を行う。光源部30から照射された光は、ライトガイド50内を通り、ライトガイド先端50aから外部(体腔内)に照射される。   When the electronic endoscope system 100 is used, endoscopic observation is performed as follows. First, the surgeon inserts an electronic scope into the body cavity of the subject. In the processor 100b, the main control unit 20 performs light emission control on the light source unit 30. The light emitted from the light source unit 30 passes through the light guide 50 and is irradiated from the light guide tip 50a to the outside (inside the body cavity).

電子スコープ先端に配設された固体撮像素子60は、駆動回路部80により駆動制御され、ライトガイド先端50aから照射された光によって照明される生体組織を撮像し、撮像された画像データを画像信号としてプロセッサ100bの画像処理回路40に送信する。   The solid-state imaging device 60 disposed at the distal end of the electronic scope is driven and controlled by the drive circuit unit 80, images a living tissue illuminated by light irradiated from the light guide distal end 50a, and the captured image data is converted into an image signal. To the image processing circuit 40 of the processor 100b.

画像処理回路40は、メイン制御部20の制御の下、駆動回路部80によって駆動している固体撮像素子60から送信された画像信号に所定の画像処理を施し、モニタ100cに出力する。術者等はモニタ100cに表示される画像を観察することにより、体腔内の病変部等を特定したり、摘除したりする。   The image processing circuit 40 performs predetermined image processing on the image signal transmitted from the solid-state imaging device 60 driven by the drive circuit unit 80 under the control of the main control unit 20, and outputs the image signal to the monitor 100c. The surgeon observes the image displayed on the monitor 100c to identify or remove the lesioned part in the body cavity.

以上の内視鏡観察中は、直接術者が電子内視鏡システム100に設けられた複数の操作手段を操作することにより、任意のタイミングで、電子内視鏡システム100の設定を行ったり、所定の動作を実行させたりすることができる。上記の操作手段とは、具体的には、把持部10に配設された第一操作部11と第二操作部12がある。   During the above endoscope observation, the operator directly sets the electronic endoscope system 100 at an arbitrary timing by operating a plurality of operation means provided in the electronic endoscope system 100, A predetermined operation can be executed. Specifically, the above-described operation means includes a first operation unit 11 and a second operation unit 12 disposed in the grip unit 10.

第一操作部11のトラックボール11aは、回転自在に構成されている。また、トラックボール11aは、押し込み自在なボタンとしても機能する。術者がトラックボール11aを回転させると、第一操作部11は、互いに直交する二方向の動きを検出する一対のエンコーダ(不図示)を内部に備えている。該一対のエンコーダによって検出された回転方向や回転速度は、対応する電気信号に変換される。また、術者がトラックボール11aを押し込む操作をすると、第一操作部11内部に配設されている一対の接点が接触状態となり、電気信号が発生する。上記の各電気信号は、メイン制御部20の第一ポート21に送信される。なお、厳密には、各エンコーダからの電気信号および接触状態の接点からの電気信号は、それぞれ異なる信号線を介して、異なる第一ポート21に送信される。つまり、図1では便宜上、一本の信号線と一個の第一ポート21のみ示しているが、実際は、第一操作部11とメイン制御部20間には、信号線と第一ポート21の組が三組配設されている。本実施形態において、第一ポート21はデジタル入力である。よって、第一ポート21に入力される電気信号は、HIGHかLOWのいずれかのレベルとして認識される。メイン制御部20は、各第一ポート21にどのような電気信号が入力したかによって、術者によるトラックボール11aの操作状態を判断する。そしてメイン制御部20は、判断結果に基づいて、様々な制御を行う。   The trackball 11a of the first operation unit 11 is configured to be rotatable. The trackball 11a also functions as a pushable button. When the surgeon rotates the trackball 11a, the first operation unit 11 includes a pair of encoders (not shown) that detect movement in two directions orthogonal to each other. The rotational direction and rotational speed detected by the pair of encoders are converted into corresponding electrical signals. Further, when the surgeon performs an operation of pushing the trackball 11a, the pair of contacts disposed in the first operation portion 11 are brought into contact with each other, and an electric signal is generated. Each electric signal is transmitted to the first port 21 of the main control unit 20. Strictly speaking, the electrical signal from each encoder and the electrical signal from the contact point in contact are transmitted to different first ports 21 via different signal lines. In other words, for the sake of convenience, only one signal line and one first port 21 are shown in FIG. 1, but in reality, a set of signal lines and first port 21 is provided between the first operation unit 11 and the main control unit 20. Are arranged in three sets. In the present embodiment, the first port 21 is a digital input. Therefore, the electric signal input to the first port 21 is recognized as either HIGH or LOW level. The main control unit 20 determines the operation state of the trackball 11a by the operator depending on what electric signal is input to each first port 21. The main control unit 20 performs various controls based on the determination result.

図2は、メイン制御部20によって制御される画像処理回路40からの出力に基づきモニタ100cに表示される画面Dの一例を示す。画面Dには、各々異なる機能が割り振られたボタン200a〜200e、カーソル201、撮像画像202a、202bが表示される。術者は、モニタ100cに表示される画像Dを見つつ、トラックボール11aを回転操作する。メイン制御部20はトラックボール11aの回転操作に対応して第一操作部11から送信される電気信号に基づいて、画面D上でカーソル201を移動させる。術者は、画面D上において、カーソル201が所定の位置まで移動した状態でトラックボール11aを押し込む。トラックボール11aが押し込まれたことによる電気信号を受信すると、制御部20は、カーソル201の位置が確定されたものとして、現在のカーソル201の位置に対応した処理を実行する。言い換えると、術者がトラックボール11aを回転操作してカーソル201を所望の機能に対応した位置まで移動させ、トラックボール11aを押し込むことにより、その機能が選択されて実行される。   FIG. 2 shows an example of a screen D displayed on the monitor 100 c based on the output from the image processing circuit 40 controlled by the main control unit 20. On the screen D, buttons 200a to 200e to which different functions are assigned, a cursor 201, and captured images 202a and 202b are displayed. The surgeon rotates the trackball 11a while viewing the image D displayed on the monitor 100c. The main control unit 20 moves the cursor 201 on the screen D based on the electrical signal transmitted from the first operation unit 11 in response to the rotation operation of the trackball 11a. The surgeon pushes the trackball 11a on the screen D with the cursor 201 moving to a predetermined position. When receiving an electrical signal indicating that the trackball 11a has been pushed in, the control unit 20 executes processing corresponding to the current position of the cursor 201 on the assumption that the position of the cursor 201 has been determined. In other words, when the surgeon rotates the trackball 11a to move the cursor 201 to a position corresponding to a desired function and pushes the trackball 11a, the function is selected and executed.

例えば、カーソル201がメニューボタン200aに位置する状態でトラックボール11aが押し込まれると、図3(A)に示すように、複数の第一下位項目により分割された複数の領域(以下、第一下位項目領域という)からなる第一プルダウンメニューP1を表示する。図3(A)では、第一プルダウンメニューP1を構成する第一下位項目として「操作」、「文字入力」、「照明」、「設定」を例示する。   For example, when the trackball 11a is pushed in with the cursor 201 positioned on the menu button 200a, as shown in FIG. 3A, a plurality of areas divided by a plurality of first subordinate items (hereinafter referred to as the first A first pull-down menu P1 consisting of a lower item area is displayed. In FIG. 3A, “operation”, “character input”, “lighting”, and “setting” are illustrated as the first subordinate items constituting the first pull-down menu P1.

図3(A)に示すプルダウンメニューが表示された状態で、術者は、さらにトラックボール11aを回転操作してカーソル201をいずれかの第一下位項目領域まで移動させる。メイン制御部20は、カーソル201がいずれかの第一下位項目領域まで移動すると、図3(B)〜(D)に示すように、各第一下位項目に対応した第二下位項目により分割された複数の領域(以下、第二下位項目領域という)からなる第二プルダウンメニューP21〜P23を表示する。   While the pull-down menu shown in FIG. 3A is displayed, the surgeon further rotates the trackball 11a to move the cursor 201 to any one of the first lower item areas. When the cursor 201 moves to any one of the first lower item areas, the main control unit 20 uses the second lower item corresponding to each first lower item as shown in FIGS. Second pull-down menus P21 to P23 including a plurality of divided areas (hereinafter referred to as second sub-item areas) are displayed.

例えば、カーソル201を第一プルダウンメニューP1における「操作」項目まで移動させると、メイン制御部20は、「操作」項目に対応する第二プルダウンメニューP21を表示する。図3(B)では、第二プルダウンメニューP21を構成する第二下位項目として「マーキング」、「拡大」、「置換」を例示する。   For example, when the cursor 201 is moved to the “operation” item in the first pull-down menu P1, the main control unit 20 displays the second pull-down menu P21 corresponding to the “operation” item. In FIG. 3B, “marking”, “enlargement”, and “replacement” are illustrated as the second lower items constituting the second pull-down menu P21.

術者は、現在アクティブである撮像画像202aを他の撮像画像と区別しておきたい場合、トラックボール11aを操作して「マーキング」を選択する。術者によって「マーキング」が選択された場合の画面Dにおける撮像画像202aの状態を図4に示す。図4に示すように、術者によって「マーキング」が選択されると、メイン制御部20は、画像処理回路40を介して、画面D上で現在アクティブである撮像画像202aがマーキングされたことを示すマークMを表示させる。   When the operator wants to distinguish the currently active captured image 202a from other captured images, the operator operates the trackball 11a to select “marking”. FIG. 4 shows the state of the captured image 202a on the screen D when “marking” is selected by the surgeon. As shown in FIG. 4, when “marking” is selected by the operator, the main control unit 20 confirms that the currently active captured image 202 a is marked on the screen D via the image processing circuit 40. A mark M is displayed.

なお、図3(B)に示す第二プルダウンメニュー21において、「拡大」が選択されると、メイン制御部20は、現在アクティブである撮像画像202aが拡大表示、例えば全画面表示されるように、画像処理回路40を駆動制御する。また、「置換」が選択されると、メイン制御部20は、現在アクティブである撮像画像202aを非アクティブにして、現在非アクティブである撮像画像202bをアクティブにするように画像処理回路40を駆動制御する。メイン制御部20によって「置換」に対応する処理が実行されると、画面D上では、撮像画像202bが前面に表示され、撮像画像202aが撮像画像202bの背面に移動する。   When “enlarge” is selected in the second pull-down menu 21 shown in FIG. 3B, the main control unit 20 displays the currently active captured image 202a in an enlarged display, for example, a full screen display. The image processing circuit 40 is driven and controlled. When “Replace” is selected, the main control unit 20 drives the image processing circuit 40 so as to deactivate the captured image 202a that is currently active and activate the captured image 202b that is currently inactive. Control. When the processing corresponding to “replacement” is executed by the main control unit 20, on the screen D, the captured image 202b is displayed on the front surface, and the captured image 202a moves to the back surface of the captured image 202b.

術者は、撮像画像202aを観察し、何らかのコメントを付したい場合、第一プルダウンメニューP1において、カーソル201を「文字入力」項目まで移動させる。カーソル201が「文字入力」領域に入ると、メイン制御部20は、「文字入力」項目に対応する第二プルダウンメニューP22を表示する。図3(C)では、第二プルダウンメニューP22を構成する第二下位項目として「定型文A〜C」、「キーボード」、「定型文作成」を例示する。なお、定型文A〜Cとしては、例えば、「陽性」、「陰性」、「進行レベル大」、「進行レベル小」といった、術者が後日撮像画像を診察等に用いる場合の指標となるような用語が例示される。定型文A〜Cは、出荷当初予め登録されていても良く、「定型文作成」を選択することにより術者の任意の語句に設定することも可能である。   The surgeon observes the captured image 202a and moves the cursor 201 to the “character input” item in the first pull-down menu P1 when he / she wants to add some comment. When the cursor 201 enters the “character input” area, the main control unit 20 displays a second pull-down menu P22 corresponding to the “character input” item. FIG. 3C exemplifies “fixed sentences A to C”, “keyboard”, and “create fixed sentence” as the second subordinate items constituting the second pull-down menu P22. Note that the fixed sentences A to C are, for example, an index when the surgeon uses the captured image later for medical examinations such as “positive”, “negative”, “high progress level”, and “low progress level”. The terminology is exemplified. The fixed phrases A to C may be registered in advance at the time of shipment, and can be set to any word of the surgeon by selecting “Create fixed phrases”.

術者が「定型文A」を選択した場合の画面Dにおける撮像画像202aの状態を図5(A)に示す。図5(A)に示すように、術者によって「定型文A」が選択されると、メイン制御部20の制御下、画像処理回路40は、撮像画像202aの一部領域に定型文Aをスーパーインポーズする。   FIG. 5A shows the state of the captured image 202a on the screen D when the surgeon selects “fixed sentence A”. As shown in FIG. 5A, when “fixed sentence A” is selected by the operator, under the control of the main control unit 20, the image processing circuit 40 puts the fixed phrase A in a partial area of the captured image 202a. Superimpose.

また、術者が「キーボード」を選択した場合の画面Dを図5(B)に示す。「キーボード」を選択する状況としては、術者が定型文以外のコメントを画像に付しておきたい場合等が考えられる。術者が「キーボード」を選択すると、画像処理回路40により、画面Dの最前面にキーボード領域200fが表示され、現在アクティブである撮像画像202a内にテキスト入力領域205を形成する。術者は、図5(B)に示す画面Dを参照しつつ、トラックボール11aを介してキーボード領域200f内から画像に付すコメントの語句に対応した文字を順次選択し、テキスト入力領域205に入力する。入力が完了した術者は、画面D右下に設けられた「CLOSE」ボタンを選択する。これにより、画像処理回路40は、キーボード領域200fの表示処理を終了し、撮像画像202aに入力された語句を該画像202aにスーパーインポーズする。   FIG. 5B shows a screen D when the surgeon selects “keyboard”. As a situation where the “keyboard” is selected, there may be a case where the operator wants to add a comment other than the fixed sentence to the image. When the surgeon selects “keyboard”, the image processing circuit 40 displays the keyboard area 200f on the forefront of the screen D, and forms a text input area 205 in the currently active captured image 202a. While referring to the screen D shown in FIG. 5B, the surgeon sequentially selects characters corresponding to the words of comments attached to the image from the keyboard area 200f via the trackball 11a and inputs them to the text input area 205. To do. The operator who has completed the input selects the “CLOSE” button provided at the lower right of the screen D. As a result, the image processing circuit 40 ends the display process of the keyboard area 200f, and superimposes the words input to the captured image 202a on the image 202a.

さらに、術者が画面Dにおける撮像画像202a、202bが暗すぎるまたは明るすぎると判断した場合、カーソル201を第一プルダウンメニューP1における「照明」項目まで移動させる。カーソル201が「照明」領域にはいると、メイン制御部20は、「照明」項目に対応する第二プルダウンメニューP23を表示する。図3(D)では、第二プルダウンメニューP23を構成する第二下位項目として、「明るさUP」、「明るさDOWN」を例示する。術者が、トラックボール11aを用いて「明るさUP」、「明るさDOWN」のいずれかを選択することにより、メイン制御部20は、該選択に対応して光源部から発光される照明光の光量を調整する。   Furthermore, when the surgeon determines that the captured images 202a and 202b on the screen D are too dark or too bright, the cursor 201 is moved to the “illumination” item in the first pull-down menu P1. When the cursor 201 is in the “lighting” area, the main control unit 20 displays a second pull-down menu P23 corresponding to the “lighting” item. In FIG. 3D, “brightness UP” and “brightness DOWN” are illustrated as the second lower items constituting the second pull-down menu P23. When the surgeon selects either “brightness UP” or “brightness DOWN” using the trackball 11a, the main control unit 20 illuminates light emitted from the light source unit in response to the selection. Adjust the amount of light.

図2に示す画面D下部に配設されるボタン200b〜200eは、上述した種々の第二下位項目のうち、術者が頻繁に使用する項目が割り振られた、いわゆるショートカットボタンである。各ボタン200b〜200eへの項目の割り振りは、図3(A)に示す第一プルダウンメニューP1における「設定」項目の下位項目における処理により実行される。各ボタン200b〜200eを使用することにより、術者はメニュー200aから必要とする下位項目までたどる操作が不要となる。例えば、図2に示す画面Dにおいて、術者により、カーソル201がメニューボタン200bに位置する状態でトラックボール11aが押し込まれてメニューボタン200bが選択されると、メイン制御部20は、画像処理回路40に直ちに図4に示す撮像画像202aの状態となるように画像処理回路40を駆動制御する。これにより、術者にとって、より一層の操作性の向上と負担の軽減が達成される。以上が術者が第一操作部11を操作した場合のメイン制御部20を中心としたプロセッサ100bの処理の説明である。   The buttons 200b to 200e arranged at the lower part of the screen D shown in FIG. 2 are so-called shortcut buttons to which items frequently used by the surgeon are allocated among the various second sub-items described above. The allocation of items to the buttons 200b to 200e is executed by processing in the subordinate items of the “setting” item in the first pull-down menu P1 shown in FIG. By using each of the buttons 200b to 200e, the operator does not need to follow the menu 200a to the necessary lower items. For example, on the screen D shown in FIG. 2, when the operator presses the trackball 11a and selects the menu button 200b while the cursor 201 is positioned on the menu button 200b, the main control unit 20 displays the image processing circuit. The image processing circuit 40 is driven and controlled so that the captured image 202a shown in FIG. Thereby, for the operator, further improvement in operability and reduction in burden are achieved. The above is description of the process of the processor 100b centering on the main control part 20 when an operator operates the 1st operation part 11. FIG.

第二操作部12は、主として電子スコープ100a自体に関する動作、例えば、先端部の湾曲動作や送水動作等を行うための部位である。術者が第二操作部12を操作すると、該操作に対応する電気信号がメイン制御部20に送信される。該電気信号は制御部20の第二ポート22に入力する。ここで、厳密には、第二操作部12には複数の操作部材(ボタンやレバー等)が配設されている。従って、第二ポート22も第二操作部12の操作部材と同数だけ設けられている。また、各操作部材と各第二ポート22は、複数の信号線によって各々一対一で対応するように接続されている。但し、図1では説明の便宜上、一つの操作部材についての信号線と第二ポート22のみ示す。第二ポート22による電気信号の認識処理は第一ポート21と同一であるためここでの説明は省略する。   The second operation unit 12 is a part for mainly performing an operation related to the electronic scope 100a itself, for example, a bending operation or a water supply operation of the distal end portion. When the surgeon operates the second operation unit 12, an electrical signal corresponding to the operation is transmitted to the main control unit 20. The electrical signal is input to the second port 22 of the control unit 20. Strictly speaking, the second operation unit 12 is provided with a plurality of operation members (buttons, levers, etc.). Accordingly, the same number of second ports 22 as the operation members of the second operation unit 12 are provided. Each operation member and each second port 22 are connected by a plurality of signal lines so as to correspond one-to-one. However, in FIG. 1, only the signal line and the second port 22 for one operation member are shown for convenience of explanation. Since the recognition process of the electric signal by the second port 22 is the same as that of the first port 21, the description thereof is omitted here.

メイン制御部20は、各第二ポート22にどのような電気信号が入力したかによって、術者による第二操作部12の操作状態を判断する。そしてメイン制御部20は、判断結果に基づいて、様々な制御を行う。例えば、術者が第二操作部12により静止画を得るためのフリーズ動作が設定されたボタンを押した場合、メイン制御部20は、駆動回路部80を駆動制御し、撮像画像を画像処理回路40に送信する。そして、画像処理回路40は、メイン制御部の制御下、モニタ100cに静止画像をスーパーインポーズして表示させる。   The main control unit 20 determines the operation state of the second operation unit 12 by the operator depending on what electric signal is input to each second port 22. The main control unit 20 performs various controls based on the determination result. For example, when the surgeon presses a button for which a freeze operation for obtaining a still image is set by the second operation unit 12, the main control unit 20 drives and controls the drive circuit unit 80 to display the captured image as an image processing circuit. 40. Then, the image processing circuit 40 superimposes and displays the still image on the monitor 100c under the control of the main control unit.

本実施形態の電子内視鏡システム100は、フロントパネル70を用いて該システム100に関するいくつかの操作を実行可能に構成されている。これは、補助者がいる場合に、術者の指示に従って補助者が操作をできるようにするためである。フロントパネル70を用いて行える操作としては、例えばホワイトバランス調整等がある。   The electronic endoscope system 100 of the present embodiment is configured to be able to execute some operations related to the system 100 using the front panel 70. This is to allow the assistant to operate according to the operator's instructions when there is an assistant. Examples of operations that can be performed using the front panel 70 include white balance adjustment.

図6は、電子スコープ100aにおいて、保護キャップ90を装着した第一操作部11近傍を示す一部拡大図である。保護キャップ90は、電子スコープ100a側の端部がねじ切りされた雄ねじ部91として形成されている。保護キャップ90は、雄ねじ部91が電子スコープ100aにおける第一操作部11の周囲に形成されたネジ溝91Hにねじ込まれることにより電子スコープ100aに装着される。電子スコープ100aに装着された状態にある保護キャップ90は、雄ねじ部91とネジ溝91Hによって電子スコープ100aに密着状態にある。つまり、保護キャップ90内部にある第一操作部11は、防水、防汚される。   FIG. 6 is a partially enlarged view showing the vicinity of the first operation unit 11 to which the protective cap 90 is attached in the electronic scope 100a. The protective cap 90 is formed as a male screw portion 91 in which an end portion on the electronic scope 100a side is threaded. The protective cap 90 is attached to the electronic scope 100a when the male screw portion 91 is screwed into a screw groove 91H formed around the first operation portion 11 in the electronic scope 100a. The protective cap 90 attached to the electronic scope 100a is in close contact with the electronic scope 100a by the male screw portion 91 and the screw groove 91H. That is, the first operation unit 11 inside the protective cap 90 is waterproof and antifouling.

保護キャップ90は、上記のように第一操作部11に対する防水、防汚効果を得るためだけではなく、GUIによる操作を行わう必要がない術者が電子スコープ100aを使用する際に装着して誤操作の発生を防止するためにも用いることができる。   The protective cap 90 is attached not only to obtain a waterproof and antifouling effect on the first operation unit 11 as described above, but also when an operator who does not need to perform an operation using the GUI uses the electronic scope 100a. It can also be used to prevent erroneous operations.

以上が本発明の実施形態である。本発明に係る電子内視鏡システム100は、上記実施形態に限定されるものではなく、例えば以下に説明するような変形をしても上記実施形態と同様の効果を奏することができる。   The above is the embodiment of the present invention. The electronic endoscope system 100 according to the present invention is not limited to the above-described embodiment. For example, even when the electronic endoscope system 100 is modified as described below, the same effects as the above-described embodiment can be obtained.

上記実施形態では、回転操作と押し込み操作が可能なトラックボール11aを有する構成の第一操作部11を説明した。第一操作部11は、プロセッサ100bにおけるGUIによる操作が可能であれば、該構成に限定されるものではない。例えば、図7に示すようにトラックボール11aの代わりに圧電素子ジョイスティック11bを設け、ジョイスティック11bを回動操作、押し込み操作するような構成であってもよい。   In the above embodiment, the first operation unit 11 having the trackball 11a that can be rotated and pushed in has been described. The first operation unit 11 is not limited to the configuration as long as the operation by the GUI in the processor 100b is possible. For example, as shown in FIG. 7, a piezoelectric element joystick 11b may be provided instead of the trackball 11a, and the joystick 11b may be rotated and pushed.

また、図2〜図5に示すGUIによる操作時における画面Dの表示態様もあくまで一例であり、これに限定されるものではない。画面Dにおいて、カーソル201で選択可能な複数の項目もあくまで例示であり、該複数の項目のいずれかを削除したり、他の項目を追加したりすることも可能である。   Moreover, the display mode of the screen D at the time of operation by GUI shown in FIGS. 2-5 is an example to the last, and is not limited to this. In the screen D, a plurality of items that can be selected with the cursor 201 are merely examples, and any of the plurality of items can be deleted or another item can be added.

本発明の実施形態の電子内視鏡システム100の概略構成図である。1 is a schematic configuration diagram of an electronic endoscope system 100 according to an embodiment of the present invention. 本発明の実施形態のGUIによる操作時にモニタに表示される画面の一例を示す。An example of the screen displayed on a monitor at the time of operation by GUI of embodiment of this invention is shown. 本発明の実施形態のGUIによる操作時にモニタに表示される画面の一例を示す。An example of the screen displayed on a monitor at the time of operation by GUI of embodiment of this invention is shown. 本発明の実施形態のGUIによる操作時にモニタに表示される画面の一例を示す。An example of the screen displayed on a monitor at the time of operation by GUI of embodiment of this invention is shown. 本発明の実施形態のGUIによる操作時にモニタに表示される画面の一例を示す。An example of the screen displayed on a monitor at the time of operation by GUI of embodiment of this invention is shown. 保護キャップを装着した第一操作部近傍を示す一部拡大図である。FIG. 6 is a partially enlarged view showing the vicinity of a first operation unit equipped with a protective cap. 本発明の実施形態の電子スコープの変形例を示す図である。It is a figure which shows the modification of the electronic scope of embodiment of this invention.

符号の説明Explanation of symbols

100 電子内視鏡システム
100a 電子スコープ
100b プロセッサ
11 第一操作部
11a トラックボール
20 メイン制御部
30 光源部
40 画像処理回路
90 保護キャップ
DESCRIPTION OF SYMBOLS 100 Electronic endoscope system 100a Electronic scope 100b Processor 11 1st operation part 11a Trackball 20 Main control part 30 Light source part 40 Image processing circuit 90 Protective cap

Claims (10)

GUIを実装するプロセッサと、体腔内に挿入され生体組織を撮像する電子スコープと、を有する電子内視鏡システムにおいて、
前記電子スコープは、前記プロセッサに関するGUIによる操作をするための第一操作手段を有し、
前記プロセッサは、前記第一操作手段の操作に対応した処理が行われるように制御する制御手段を有することを特徴とする電子内視鏡システム。
In an electronic endoscope system having a processor that implements a GUI and an electronic scope that is inserted into a body cavity and images a living tissue,
The electronic scope has a first operation means for performing an operation with a GUI related to the processor,
The electronic endoscope system according to claim 1, wherein the processor includes a control unit that performs control so that processing corresponding to the operation of the first operation unit is performed.
請求項1に記載の電子内視鏡システムにおいて、
前記第一操作手段は、前記電子スコープにおける把持部に配設されていることを特徴とする電子内視鏡システム。
The electronic endoscope system according to claim 1,
The electronic endoscope system according to claim 1, wherein the first operation means is disposed in a grip portion of the electronic scope.
請求項2に記載の電子内視鏡システムにおいて、
前記把持部は、少なくとも前記電子スコープの動作に関する操作を行うための第二操作手段を有していることを特徴とする電子内視鏡システム。
The electronic endoscope system according to claim 2,
The electronic endoscope system according to claim 1, wherein the grasping unit includes at least second operation means for performing an operation related to the operation of the electronic scope.
請求項1から請求項3のいずれかに記載の電子内視鏡システムにおいて、
前記第一操作手段は、防水加工が施されていることを特徴とする電子内視鏡システム。
The electronic endoscope system according to any one of claims 1 to 3,
The electronic endoscope system according to claim 1, wherein the first operation means is waterproofed.
請求項1から請求項4のいずれかに記載の電子内視鏡システムにおいて、
前記電子スコープは、前記第一操作手段の使用を禁止する禁止手段を有することを特徴とする電子内視鏡システム。
The electronic endoscope system according to any one of claims 1 to 4,
The electronic endoscope system according to claim 1, wherein the electronic scope includes a prohibiting unit that prohibits use of the first operation unit.
請求項5に記載の電子内視鏡システムにおいて、
前記禁止手段は、前記第一操作手段を被う着脱自在な被覆手段を有していることを特徴とする電子内視鏡システム。
The electronic endoscope system according to claim 5, wherein
The electronic endoscope system according to claim 1, wherein the prohibiting unit includes a removable covering unit that covers the first operation unit.
請求項6に記載の電子内視鏡システムにおいて、
前記被覆手段は、防水性を有するキャップであることを特徴とする電子内視鏡システム。
The electronic endoscope system according to claim 6, wherein
The electronic endoscope system according to claim 1, wherein the covering means is a waterproof cap.
請求項1から請求項7のいずれかに記載の電子内視鏡システムにおいて、
前記第一操作手段は、押し込み自在なトラックボールを有していることを特徴とする電子内視鏡システム。
The electronic endoscope system according to any one of claims 1 to 7,
The electronic endoscope system according to claim 1, wherein the first operation means includes a pushable trackball.
請求項1から請求項8のいずれかに記載の電子内視鏡システムにおいて、
前記プロセッサは、前記電子スコープを介して前記生体組織を照明するための光を照射する光源部を有し、
前記GUIによる操作は、前記光源部に関する操作を含むことを特徴とする電子内視鏡システム。
The electronic endoscope system according to any one of claims 1 to 8,
The processor has a light source unit that emits light for illuminating the living tissue via the electronic scope,
The operation using the GUI includes an operation related to the light source unit.
請求項1から請求項9のいずれかに記載の電子内視鏡システムにおいて、
前記プロセッサは、前記電子スコープによって撮像された画像データに画像処理を施す画像処理部を有し、
前記GUIによる操作は、前記画像処理部に関する操作を含むことを特徴とする電子内視鏡システム。
The electronic endoscope system according to any one of claims 1 to 9,
The processor includes an image processing unit that performs image processing on image data captured by the electronic scope,
The operation using the GUI includes an operation related to the image processing unit.
JP2004331045A 2004-11-15 2004-11-15 Electronic endoscope system Expired - Fee Related JP4668587B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004331045A JP4668587B2 (en) 2004-11-15 2004-11-15 Electronic endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004331045A JP4668587B2 (en) 2004-11-15 2004-11-15 Electronic endoscope system

Publications (2)

Publication Number Publication Date
JP2006136662A true JP2006136662A (en) 2006-06-01
JP4668587B2 JP4668587B2 (en) 2011-04-13

Family

ID=36617836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004331045A Expired - Fee Related JP4668587B2 (en) 2004-11-15 2004-11-15 Electronic endoscope system

Country Status (1)

Country Link
JP (1) JP4668587B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008012998A1 (en) * 2006-07-27 2008-01-31 Olympus Medical Systems Corp. Endoscope system
JP2009142461A (en) * 2007-12-14 2009-07-02 Olympus Corp Endoscope system
US8189993B2 (en) 2008-01-29 2012-05-29 Olympus Medical Systems Corp. Medical support control system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01136625A (en) * 1987-11-25 1989-05-29 Olympus Optical Co Ltd Endoscopic apparatus
JPH05292504A (en) * 1992-04-16 1993-11-05 Olympus Optical Co Ltd Endoscope device
JPH0956716A (en) * 1995-08-24 1997-03-04 Olympus Optical Co Ltd Ultrasonic probe
JP2000014638A (en) * 1998-06-27 2000-01-18 Morita Mfg Co Ltd Dental diagnostic system
JP2000105667A (en) * 1998-09-28 2000-04-11 Matsushita Electric Ind Co Ltd Track ball device with two switch functions
JP2001202193A (en) * 2000-01-24 2001-07-27 Matsushita Electric Ind Co Ltd Track ball device and electronics using the same
JP2001299675A (en) * 2000-04-18 2001-10-30 Olympus Optical Co Ltd Operating system of endoscope apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01136625A (en) * 1987-11-25 1989-05-29 Olympus Optical Co Ltd Endoscopic apparatus
JPH05292504A (en) * 1992-04-16 1993-11-05 Olympus Optical Co Ltd Endoscope device
JPH0956716A (en) * 1995-08-24 1997-03-04 Olympus Optical Co Ltd Ultrasonic probe
JP2000014638A (en) * 1998-06-27 2000-01-18 Morita Mfg Co Ltd Dental diagnostic system
JP2000105667A (en) * 1998-09-28 2000-04-11 Matsushita Electric Ind Co Ltd Track ball device with two switch functions
JP2001202193A (en) * 2000-01-24 2001-07-27 Matsushita Electric Ind Co Ltd Track ball device and electronics using the same
JP2001299675A (en) * 2000-04-18 2001-10-30 Olympus Optical Co Ltd Operating system of endoscope apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008012998A1 (en) * 2006-07-27 2008-01-31 Olympus Medical Systems Corp. Endoscope system
EP2047788A1 (en) * 2006-07-27 2009-04-15 Olympus Medical Systems Corp. Endoscope system
EP2047788A4 (en) * 2006-07-27 2013-07-24 Olympus Medical Systems Corp ENDOSCOPE SYSTEM
JP2009142461A (en) * 2007-12-14 2009-07-02 Olympus Corp Endoscope system
US8189993B2 (en) 2008-01-29 2012-05-29 Olympus Medical Systems Corp. Medical support control system

Also Published As

Publication number Publication date
JP4668587B2 (en) 2011-04-13

Similar Documents

Publication Publication Date Title
US12144661B2 (en) Gesture control using an intraoral scanner
JP7414770B2 (en) Medical arm device, operating method of medical arm device, and information processing device
JP6180692B1 (en) Medical manipulator system
EP2047788B1 (en) Endoscope system
JP2006015078A (en) Medical apparatus
US20160175057A1 (en) Assistance device for imaging support of a surgeon during a surgical operation
US20160066815A1 (en) Surgical equipment control input visualization field
EP4364690A1 (en) Surgery assistance system and operator-side device
WO2017038241A1 (en) Instrument operation device, instrument operation method, and electronic instrument system
EP4039167A1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
CN108778085A (en) Image processing equipment, endoscope surgery system and image processing method
US10123681B2 (en) Endoscope insertion shape observation apparatus having a controller to drive bending of insertion portion of endoscope
WO2020165978A1 (en) Image recording device, image recording method, and image recording program
JP2011087793A (en) Processor for electronic endoscope
JP6488153B2 (en) Cursor control method, cursor control program, scroll control method, scroll control program, cursor display system, and medical device
KR101102242B1 (en) Patient information display device for operating room controlled by doctor's hand gesture and its control method
JP2016189120A (en) Information processing device, information processing system, and head-mounted display
JP4668587B2 (en) Electronic endoscope system
US20240081918A1 (en) Force sense display device, force sense display method, and computer readable medium
JP4723227B2 (en) Electronic endoscope system
EP3540580A1 (en) Information processing device, information processing method, and program
JP2019166246A (en) Endoscope system
US20230126099A1 (en) Endoscope system, controller, and stand
JP4598178B2 (en) Processor for electronic endoscope and electronic endoscope system
CN114025674B (en) Endoscope device, control method, computer-readable recording medium, and endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071005

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees