JP4020192B2 - How to remove image noise - Google Patents
How to remove image noise Download PDFInfo
- Publication number
- JP4020192B2 JP4020192B2 JP2002293167A JP2002293167A JP4020192B2 JP 4020192 B2 JP4020192 B2 JP 4020192B2 JP 2002293167 A JP2002293167 A JP 2002293167A JP 2002293167 A JP2002293167 A JP 2002293167A JP 4020192 B2 JP4020192 B2 JP 4020192B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- original image
- noise removal
- measurement
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000005259 measurement Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 29
- 238000000691 measurement method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 244000284152 Carapichea ipecacuanha Species 0.000 description 1
- 239000009471 Ipecac Substances 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229940029408 ipecac Drugs 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Working Measures On Existing Buildindgs (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像のノイズ除去方法に関するものである。
【０００２】
【従来の技術】
コンクリート構造物の表面に発生するひび割れの計測方法としては、計測対象物を撮像して、デジタル化した元画像データを取得し、この元画像データに二値化処理，シェーディング補正などの画像処理を施して、ひび割れを検出する画像処理によるひび割れ計測方法が提案されている。（例えば、特許文献１参照）
【０００３】
また、同様な画像処理によるひび割れの計測方法であって、ひび割れを自動的に検出する方法が開示されている。（例えば、非特許文献１）
【０００４】
【特許文献１】
特開２０００−２５２３号
【０００５】
【非特許文献】
日本建築学会大会学術講演梗概集、２００１年９月、ｐ３９１−３９２
【０００６】
しかしながら、このような従来の画像処理によるひび割れの計測方法には、以下に説明する技術的な課題があった。
【０００７】
【発明が解決しようとする課題】
すなわち、上述した特許および非特許文献に開示されているひび割れの計測方法では、ＣＣＤカメラなどにより撮像した元画像データには、計測対象であるひび割れや亀裂以外に、汚れ，しみ，影，施工時の継手跡などのノイズ要因が含まれている。
【０００８】
そのため、従来の計測方法では、このようなノイズ要因を除去するために、手作業ないしはフィルターによる除去方法を採用していた。ところが、手作業によるノイズ除去方法では、材料表面の汚れ，しみ，影，施工時の継手跡などのノイズ要因の除去が困難であり、特に、ひび割れや亀裂の近傍にこのようなノイズ要因があると、ノイズ要因の除去によって、ひび割れや亀裂の形状が変形し、その結果、ひび割れや亀裂の計測精度が低下するという問題があった。
【０００９】
また、フィルターによるノイズ要因の除去方法では、フィルターの範囲を超えた材料表面の汚れ，しみ，影などのノイズ要因が残り、完全にノイズ要因を除去することが困難で、残留したノイズ要因がひび割れ計測に大きく影響を及ぼすという問題があった。
【００１０】
本発明は、このような従来の問題点に鑑みてなされたものであって、その目的とするところは、材料表面の汚れ，しみ，影，施工時の継手跡などのノイズ要因をほぼ完全に除去して、高精度のひび割れ計測が可能になる画像のノイズ除去方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、ひび割れや亀裂などの計測対象が存在する構造物表面などの計測対象物を撮像した元画像を得て、前記元画像に基づいてデジタル化された画像データを作成し、前記画像データに二値化などの画像処理を行い、前記計測対象を検出するひび割れの計測方法において、前記元画像から前記計測対象のみを消去したノイズ除去用画像を作成し、前記元画像から前記ノイズ除去用画像を減算して、前記計測対象を抽出し、前記計測対象を抽出した後に、当該計測対象の背景色を、前記元画像に撮像されている前記計測対象近傍の壁面色調へ変換することを特徴としている。
【００１２】
以上のように構成された画像のノイズ除去方法によれば、元画像から計測対象のみを消去したノイズ除去用画像を作成し、元画像からノイズ除去用画像を減算して、計測対象を抽出する。
【００１３】
この場合、元画像には、ひび割れや亀裂などの計測対象だけでなく、計測対象物の汚れ，しみ，影，施工時の継手跡などのノイズ要因、および、計測対象物の背景要素が含まれている。
【００１４】
一方、ノイズ除去用画像は、元画像から計測対象のみを消去しているので、これ以外の要素、すなわち、計測対象物の汚れ，しみ，影，施工時の継手跡などのノイズ要因、および、計測対象物の背景要素が含まれており、これらは、全て元画像のものと一致している。
【００１５】
従って、元画像からノイズ除去用画像を減算すると、元画像に撮像されていたひび割れや亀裂などの計測対象だけが抽出され、これに基づいて、画像処理を行うと、材料表面の汚れ，しみ，影などのノイズ要因をほぼ完全に除去して、高精度のひび割れ計測が可能になる。
【００１６】
前記元画像から前記ノイズ除去用画像を減算する処理は、前記元画像および前記ノイズ除去用画像をそれぞれデジタル化して、対応するピクセル同士の比較により行うことができる。
【００１８】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面に基づいて詳細に説明する。図１から図６は、本発明にかかる画像のノイズ除去方法の一実施例を示している。
【００１９】
図１は、本発明にかかる画像のノイズ除去方法の手順が示されており、手順がスタートすると、まず、ステップｓ１で、元画像Ａの撮像が行われ。この元画像Ａは、図２に示すように、ひび割れや亀裂などの計測対象Ｘが存在する構造物表面などの計測対象物Ｙを撮影することにより得られる。
【００２０】
この撮像に関しては、例えば、ＣＣＤカメラを用いて、デジタル化された撮像情報を得るようにすればよい。得られた元画像Ａは、次に、ステップｓ２で、グレースケール化および色調レベルの補正が行われ、ノイズ除去用画像Ｂを作製するためのノイズ除去用原画像Ｂ０が作成される（ステップｓ３）。
【００２１】
この場合、ノイズ除去用原画像Ｂ０は、デジタル化された元画像Ａに、グレースケール化および色調レベルの補正を行うことで、デジタル化したノイズ除去用原画像Ｂ０とすることができる。
【００２２】
次に、ステップｓ４で、ノイズ除去用原画像Ｂ０から計測対象Ｘのみを消去して、ノイズ除去用画像Ｂを作成する。このノイズ除去用画像Ｂは、例えば、デジタル化したノイズ除去用原画像Ｂ０を、パソコンに取込んで、画像処理ソフトの消しゴムツールを用いて、計測対象Ｘだけを消去すればよい。
【００２３】
図３には、画像処理ソフトの消しゴムツールを用いて、計測対象Ｘだけを消去した状態が示されていて、同図の中央部分に白く表示した部分が消去された測定対象Ｘである。
ノイズ除去用画像Ｂが得られると、次のステップｓ５で、計測対象Ｙだけを抽出する処理が行われる。この計測対象Ｙの抽出処理は、元画像Ａからノイズ除去用画像Ｂを減算することにより行われる。
【００２４】
この場合、元画像Ａおよびノイズ除去用画像Ｂが、ともにデジタル化された情報であれば、例えば、対応するピクセル同士を比較することにより、計測対象Ｙだけを比較的簡単に抽出することができる。
【００２５】
つまり、本実施例の場合、元画像Ａとノイズ除去用画像Ｂの相違は、計測対象Ｙだけが異なっているので、対応するピクセル同士を順次比較して、一致していないものだけを残すと、これが計測対象Ｙとなる。
【００２６】
図４には、抽出された計測対象Ｙの形状を示している。同図に示した図形が測定対象Ｙであって、その背景は、白色になっている。続く、ステップｓ６では、背景色の変換が行われる。
【００２７】
この背景色の変換は、ステップｓ５で得られた測定対象Ｙだけの画像に背景をつける処理であり、背景色をひび割れなどの測定対象Ｙの近傍の壁色（元画像Ａよりノイズが含まれていない部分の壁色を抽出する）に変換する。
【００２８】
このような背景処理が行われると、図５に示したようなひび割れ計測用画像Ｃが得られ、このような画像Ｃが得られると、その後は、前述した特許文献１に開示されているような方法により、二値化処理などを行って、図６に示すような、ひび割れや亀裂などの計測対象Ｙを検出することになる。
【００２９】
さて、以上のように構成された画像のノイズ除去方法によれば、元画像Ａから計測対象Ｙのみを消去したノイズ除去用画像Ｂを作成し、元画像Ａからノイズ除去用画像Ｂを減算して、計測対象Ｙを抽出する。
【００３０】
この場合、元画像Ａには、ひび割れや亀裂などの計測対象Ｙだけでなく、計測対象物Ｘの汚れ，しみ，影，施工時の継手跡などのノイズ要因、および、計測対象物Ｘの背景要素が含まれている。
【００３１】
一方、ノイズ除去用画像Ｂは、元画像Ａから計測対象Ｙのみを消去しているので、これ以外の要素、すなわち、計測対象物Ｘの汚れ，しみ，影，施工時の継手跡などのノイズ要因、および、計測対象物Ｘの背景要素が含まれており、これらは、全て元画像Ａのものと一致している。
【００３２】
従って、元画像Ａからノイズ除去用画像Ｂを減算すると、元画像Ａに撮像されていたひび割れや亀裂などの計測対象Ｙだけが抽出され、これに基づいて、画像処理を行うと、材料表面の汚れ，しみ，影，施工時の継手跡などのノイズ要因をほぼ完全に除去して、高精度のひび割れ計測が可能になる。
【００３３】
【発明の効果】
以上、詳細に説明したように、本発明にかかる画像のノイズ除去方法によれば、材料表面の汚れ，しみ，影などのノイズ要因をほぼ完全に除去して、高精度のひび割れ計測が可能になる。
【図面の簡単な説明】
【図１】本発明にかかる画像のノイズ除去方法の一実施例を示す除去手順のフローチャート図である。
【図２】本発明にかかる画像のノイズ除去方法で用いる元画像の一例を示す説明図である。
【図３】本発明にかかる画像のノイズ除去方法で、図２に示した元画像から測定対象を消去した状態の説明図である。
【図４】本発明にかかる画像のノイズ除去方法で、測定対象を抽出した状態の説明図である。
【図５】本発明にかかる画像のノイズ除去方法で背景色を変換した状態の説明図である。
【図６】本発明にかかる画像のノイズ除去方法で測定対象を検出した状態の説明図である。
【符号の説明】
Ａ 元画像
Ｂ ノイズ除去用画像
Ｂ０ ノイズ除去用原画像
Ｃ ひび割れ計測用画像
Ｘ 計測対象物
Ｙ 計測対象[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image noise removal method.
[0002]
[Prior art]
As a method of measuring the cracks that occur on the surface of concrete structures, the measurement object is imaged, and the digitized original image data is acquired. The original image data is subjected to image processing such as binarization and shading correction. In addition, a crack measurement method using image processing for detecting cracks has been proposed. (For example, see Patent Document 1)
[0003]
Further, there is disclosed a crack measuring method using similar image processing, in which a crack is automatically detected. (For example, Non-Patent Document 1)
[0004]
[Patent Document 1]
JP 2000-2523 A
[Non-patent literature]
Abstracts of Annual Conference of Architectural Institute of Japan, September 2001, p391-392
[0006]
However, such conventional crack measurement methods using image processing have the following technical problems.
[0007]
[Problems to be solved by the invention]
That is, in the crack measurement methods disclosed in the above-mentioned patents and non-patent documents, the original image data captured by a CCD camera or the like includes dirt, stains, shadows, construction time, in addition to cracks and cracks to be measured. Noise factors such as joint traces are included.
[0008]
Therefore, in the conventional measurement method, a manual operation or a removal method using a filter has been adopted in order to remove such a noise factor. However, with manual noise removal methods, it is difficult to remove noise factors such as dirt, stains, shadows, and joint marks at the time of construction. Especially, there are such noise factors near cracks and cracks. However, the removal of noise factors deforms the shape of cracks and cracks, and as a result, the measurement accuracy of cracks and cracks is reduced.
[0009]
Also, the noise factor removal method using a filter leaves noise factors such as dirt, stains, and shadows on the material surface that exceeds the filter range, making it difficult to completely eliminate the noise factor, and the remaining noise factor to crack. There was a problem of greatly affecting the measurement.
[0010]
The present invention has been made in view of such conventional problems, and its object is to almost completely eliminate noise factors such as dirt, stains, shadows, and joint marks during construction on the surface of the material. An object of the present invention is to provide a method for removing noise from an image that enables removal of cracks with high accuracy.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the present invention obtains an original image obtained by imaging a measurement object such as a surface of a structure on which a measurement object such as a crack or a crack exists, and is a digitized image based on the original image. Create data, perform image processing such as binarization on the image data, and in the crack measurement method for detecting the measurement target, create a noise removal image in which only the measurement target is deleted from the original image, After subtracting the noise removal image from the original image, extracting the measurement target, and extracting the measurement target, the background color of the measurement target is captured in the vicinity of the measurement target captured in the original image. It is characterized by conversion to wall color.
[0012]
According to the image noise removal method configured as described above, a noise removal image in which only the measurement target is deleted from the original image is created, and the measurement target is extracted by subtracting the noise removal image from the original image. .
[0013]
In this case, the original image includes not only measurement objects such as cracks and cracks, but also noise factors such as dirt, stains, shadows, joint marks during construction, and background elements of the measurement object. ing.
[0014]
On the other hand, since the image for noise removal has erased only the measurement target from the original image, other factors, that is, noise factors such as dirt, blots, shadows, joint marks during construction, The background elements of the measurement object are included, and these all coincide with those of the original image.
[0015]
Therefore, when the noise removal image is subtracted from the original image, only measurement objects such as cracks and cracks captured in the original image are extracted. Based on this, when image processing is performed, dirt, stains, Noise factors such as shadows are almost completely removed, and high-accuracy crack measurement is possible.
[0016]
The process of subtracting the noise removal image from the original image can be performed by digitizing the original image and the noise removal image, and comparing corresponding pixels.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. 1 to 6 show an embodiment of an image noise removing method according to the present invention.
[0019]
FIG. 1 shows a procedure of an image denoising method according to the present invention. When the procedure starts, first, an original image A is captured in step s1. As shown in FIG. 2, the original image A is obtained by photographing a measurement target Y such as a surface of a structure on which the measurement target X such as a crack or a crack exists.
[0020]
Regarding this imaging, for example, digitized imaging information may be obtained using a CCD camera. Next, in step s2, the obtained original image A is subjected to gray scale correction and tone level correction, and a noise removal original image B 0 for creating a noise removal image B is created (step S2). s3).
[0021]
In this case, the noise removing original image B 0 is the digitized original image A, by performing the grayscale and color levels of the correction may be a digitized noise removing original image B 0.
[0022]
Next, in step s4, to erase only the measurement object X from the original image B 0 for noise removal, to create the image B for noise removal. The noise removing image B, for example, the original image B 0 for digitized noise removal, in ipecac to a computer, using the eraser tool image processing software, may be erased by the target object X.
[0023]
FIG. 3 shows a state in which only the measurement target X is erased by using the eraser tool of the image processing software, and the measurement target X in which the portion displayed in white in the central portion of the figure is erased.
When the noise removal image B is obtained, a process of extracting only the measurement target Y is performed in the next step s5. The measurement target Y extraction process is performed by subtracting the noise removal image B from the original image A.
[0024]
In this case, if the original image A and the noise removal image B are both digitized information, for example, only the measurement target Y can be extracted relatively easily by comparing corresponding pixels. .
[0025]
In other words, in the case of the present embodiment, the difference between the original image A and the noise removal image B is that only the measurement target Y is different, so that the corresponding pixels are sequentially compared to leave only those that do not match. This is the measurement target Y.
[0026]
FIG. 4 shows the extracted shape of the measurement target Y. The figure shown in the figure is the measurement target Y, and the background is white. In subsequent step s6, the background color is converted.
[0027]
This background color conversion is a process of adding a background to the image of only the measurement target Y obtained in step s5, and the background color is a wall color in the vicinity of the measurement target Y such as cracks (including noise from the original image A). (Extract the wall color of the part that is not).
[0028]
When such background processing is performed, a crack measurement image C as shown in FIG. 5 is obtained, and when such an image C is obtained, thereafter, it is disclosed in Patent Document 1 described above. By performing a binarization process or the like, a measurement target Y such as a crack or a crack as shown in FIG. 6 is detected.
[0029]
According to the image noise removal method configured as described above, a noise removal image B in which only the measurement target Y is deleted from the original image A is created, and the noise removal image B is subtracted from the original image A. Then, the measurement target Y is extracted.
[0030]
In this case, the original image A includes not only the measurement target Y such as cracks and cracks, but also noise factors such as dirt, stains, shadows, joint marks at the time of construction, and the background of the measurement target X. Contains elements.
[0031]
On the other hand, since the image B for noise removal has deleted only the measurement target Y from the original image A, other elements, that is, noise such as dirt, stains, shadows on the measurement target X, and joint marks at the time of construction, etc. Factors and background elements of the measurement object X are included, and these all match those of the original image A.
[0032]
Therefore, when the noise removal image B is subtracted from the original image A, only the measurement target Y such as cracks and cracks captured in the original image A is extracted. Based on this, when image processing is performed, Noise factors such as dirt, stains, shadows, and joint marks during construction can be removed almost completely, enabling high-accuracy crack measurement.
[0033]
【The invention's effect】
As described above in detail, according to the image noise removal method of the present invention, noise factors such as dirt, stains and shadows on the surface of the material can be almost completely removed, and high-accuracy crack measurement can be performed. Become.
[Brief description of the drawings]
FIG. 1 is a flowchart of a removal procedure showing an embodiment of an image noise removal method according to the present invention.
FIG. 2 is an explanatory diagram showing an example of an original image used in the image noise removal method according to the present invention.
FIG. 3 is an explanatory diagram showing a state where a measurement object is deleted from the original image shown in FIG. 2 by the image noise removal method according to the present invention.
FIG. 4 is an explanatory diagram of a state in which a measurement object is extracted by the image noise removal method according to the present invention.
FIG. 5 is an explanatory diagram of a state in which a background color is converted by the image noise removal method according to the present invention.
FIG. 6 is an explanatory diagram of a state in which a measurement target is detected by the image noise removal method according to the present invention.
[Explanation of symbols]
A Original image B Noise removal image B 0 Noise removal original image C Crack measurement image X Measurement object Y Measurement object
Claims (2)
前記元画像に基づいてデジタル化された画像データを作成し、
前記画像データに二値化などの画像処理を行い、前記計測対象を検出するひび割れの計測方法において、
前記元画像から前記計測対象のみを消去したノイズ除去用画像を作成し、
前記元画像から前記ノイズ除去用画像を減算して、前記計測対象を抽出し、
前記計測対象を抽出した後に、当該計測対象の背景色を、前記元画像に撮像されている前記計測対象近傍の壁面色調へ変換することを特徴とする画像のノイズ除去方法。Obtain an original image of the measurement object such as the surface of the structure where the measurement object such as a crack or crack exists,
Creating digitized image data based on the original image;
In the crack measurement method for performing image processing such as binarization on the image data and detecting the measurement target,
Create a noise removal image in which only the measurement object is deleted from the original image,
Subtract the noise removal image from the original image to extract the measurement object ,
A method of removing noise from an image , wherein after extracting the measurement target, the background color of the measurement target is converted into a wall color tone in the vicinity of the measurement target captured in the original image .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002293167A JP4020192B2 (en) | 2002-10-07 | 2002-10-07 | How to remove image noise |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002293167A JP4020192B2 (en) | 2002-10-07 | 2002-10-07 | How to remove image noise |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004125716A JP2004125716A (en) | 2004-04-22 |
| JP4020192B2 true JP4020192B2 (en) | 2007-12-12 |
Family
ID=32284152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002293167A Expired - Lifetime JP4020192B2 (en) | 2002-10-07 | 2002-10-07 | How to remove image noise |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4020192B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9812825B2 (en) | 1998-04-10 | 2017-11-07 | Chrimar Systems, Inc. | Ethernet device |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4006007B2 (en) * | 2004-11-10 | 2007-11-14 | 大成建設株式会社 | Crack detection method |
| JP5109598B2 (en) * | 2007-11-02 | 2012-12-26 | 住友ゴム工業株式会社 | Article inspection method |
-
2002
- 2002-10-07 JP JP2002293167A patent/JP4020192B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9812825B2 (en) | 1998-04-10 | 2017-11-07 | Chrimar Systems, Inc. | Ethernet device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004125716A (en) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4675949B2 (en) | Method and apparatus for measuring crack width of structures and products using image processing technique | |
| JP6620477B2 (en) | Method and program for detecting cracks in concrete | |
| JP5421192B2 (en) | Crack detection method | |
| JP4006007B2 (en) | Crack detection method | |
| JP6823486B2 (en) | Crack detection method | |
| JP4488308B2 (en) | Method for detecting cracks on the surface of structures | |
| JP4870016B2 (en) | Crack detection method | |
| JP5812705B2 (en) | Crack detection method | |
| JP2013117409A (en) | Crack detection method | |
| JPH03160349A (en) | Device for detecting crack | |
| CN110660056A (en) | An algorithm and method for measuring the width of building cracks based on image processing | |
| JP4020192B2 (en) | How to remove image noise | |
| CN114841917A (en) | A method and system for dynamic detection of fatigue crack tip on the surface of aviation aluminum alloy | |
| JP2003214827A (en) | Method for measuring craze by image processing | |
| JP2002207996A (en) | Pattern defect detection method and apparatus | |
| JP5157575B2 (en) | Defect detection method | |
| CN1828631B (en) | Method and apparatus for obtaining images of internal structures | |
| JP3772845B2 (en) | Image processing program, image processing apparatus, and photographing apparatus | |
| JP4470513B2 (en) | Inspection method and inspection apparatus | |
| JP4244046B2 (en) | Image processing method and image processing apparatus | |
| JP4980739B2 (en) | Crack detection method | |
| CN110648325B (en) | An authentic inspection system for Nixing pottery pottery big data analysis | |
| CN103208013A (en) | Photo source identification method based on image noise analysis | |
| JP6637823B2 (en) | Crack detection method | |
| JP2000180375A (en) | Method and apparatus for inspecting flat panel display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050926 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070918 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |