[go: up one dir, main page]

JP2005308643A - Imaging device, and using method therefor - Google Patents

Imaging device, and using method therefor Download PDF

Info

Publication number
JP2005308643A
JP2005308643A JP2004128560A JP2004128560A JP2005308643A JP 2005308643 A JP2005308643 A JP 2005308643A JP 2004128560 A JP2004128560 A JP 2004128560A JP 2004128560 A JP2004128560 A JP 2004128560A JP 2005308643 A JP2005308643 A JP 2005308643A
Authority
JP
Japan
Prior art keywords
image
imaging device
imaging
diffraction grating
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004128560A
Other languages
Japanese (ja)
Other versions
JP4297830B2 (en
Inventor
Kenji Itoga
賢二 糸賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004128560A priority Critical patent/JP4297830B2/en
Publication of JP2005308643A publication Critical patent/JP2005308643A/en
Application granted granted Critical
Publication of JP4297830B2 publication Critical patent/JP4297830B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device analyzing a spectral image, using a wavelength-variable filter based on a principle not affected greatly by working precision. <P>SOLUTION: This imaging device 50 for re-image-focusing an image of an object by light from the object is provided with an imaging element 4 for re-image-focusing the object, and the wavelength-variable filter 10. The filter is positioned in front of the imaging element, and has the first and second diffraction gratings 5, 6, and a space regulating mechanism for changing a space between the first and second diffraction gratings. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、撮像装置およびその使用方法に関するものである。   The present invention relates to an imaging apparatus and a method for using the same.

従来の波長可変フィルタを用いたスペクトル画像分析装置は、代表的にはファブリーペロー型の干渉フィルタを波長可変フィルタとして用い、2つの反射層間の間隔を精密に制御することにより波長を可変としている(例えば特許文献1-4参照)。上記のような精密な反射層の間隔制御に支えられるファブリーペロー型の干渉フィルタは、わずかなスペクトル差を識別する場合に適している。   A conventional spectral image analysis apparatus using a wavelength tunable filter typically uses a Fabry-Perot interference filter as a wavelength tunable filter, and makes the wavelength variable by precisely controlling the interval between two reflective layers ( For example, see Patent Documents 1-4). The Fabry-Perot type interference filter supported by the precise control of the reflective layer spacing as described above is suitable for identifying a slight spectral difference.

また、上記の文献とは別に、2組の干渉フィルタを直列に連結することにより特定波長を高い分解能で識別する構成も開示されている(特許文献5)。たとえば500nmの波長と555nmの波長とを識別するシステムにおいて、500nmを取り出すために一つの干渉フィルタを構成する反射層間の間隔を1500nmとし、他方の干渉フィルタの反射層間の間隔を1750nmとする構成が開示されている。
特開平8−285688号公報 特開平11−304588号公報 特開2000−162044号公報 特開2001−165775号公報 特開平11−304582号公報
In addition to the above-mentioned document, there is also disclosed a configuration for identifying a specific wavelength with high resolution by connecting two sets of interference filters in series (Patent Document 5). For example, in a system for discriminating between a wavelength of 500 nm and a wavelength of 555 nm, in order to extract 500 nm, a configuration in which the spacing between the reflective layers constituting one interference filter is 1500 nm and the spacing between the reflective layers of the other interference filter is 1750 nm. It is disclosed.
JP-A-8-285688 Japanese Patent Laid-Open No. 11-304588 JP 2000-162044 A JP 2001-165775 A Japanese Patent Laid-Open No. 11-304582

上記のように構成された干渉フィルタをスペクトル画像分析装置に用いる場合、結像レンズなどセンチメートルオーダのレンズ径に対し、干渉フィルタの間隔を数百nmオーダーで制御する必要がある。たとえば上記特許文献1では、上記の間隔制御に圧電素子を用いて数十nmのオーダで上記間隔を精密に制御する機構が開示されている。このため、干渉フィルタを構成する反射層など薄膜の平面度などに非常に高い加工精度が要求される。   When the interference filter configured as described above is used in a spectral image analysis apparatus, it is necessary to control the distance between the interference filters on the order of several hundred nm with respect to a lens diameter of a centimeter order such as an imaging lens. For example, Patent Document 1 discloses a mechanism for precisely controlling the distance on the order of several tens of nanometers using a piezoelectric element for the distance control. For this reason, extremely high processing accuracy is required for the flatness of a thin film such as a reflective layer constituting an interference filter.

本発明は、加工精度の影響を大きく受けない原理に基づく波長可変フィルタを用いてスペクトル画像分析ができる撮像装置およびその使用方法を提供することを目的とする。   An object of the present invention is to provide an imaging apparatus capable of performing spectral image analysis using a wavelength tunable filter based on a principle that is not greatly affected by processing accuracy, and a method of using the imaging apparatus.

本発明の撮像装置は、物体からの光によりその物体の像を再結像させるための撮像装置である。この撮像装置は、物体を再結像する撮像素子と、撮像素子の前方に位置し、第1および第2の回折格子ならびにその第1の回折格子と第2の回折格子との間隔を変えるための間隔調節機構を有する波長可変フィルタとを備える。   The imaging device of the present invention is an imaging device for re-imaging an image of an object with light from the object. This imaging apparatus is located in front of the imaging element that re-images an object, and changes the distance between the first and second diffraction gratings and the first diffraction grating and the second diffraction grating. And a wavelength tunable filter having an interval adjusting mechanism.

上記構成において、波長可変フィルタは2つの同じピッチの回折格子を用い、第1の回折格子で干渉縞を作り、第2の回折格子との間隔を調整することにより、所望の波長帯の透過率を変えることができる。本方式では回折格子間の間隔は、選択したい波長域の1000倍程度の大きさとなること、またこの間隔の変化に対する各波長の透過率の変動が比較的緩やかであることから、回折格子の平面度および回折格子間隔の精度の影響は小さい。したがって回折格子の間隔を調整するリニアモーションにはモータ方式やソレノイド方式のリニアモーションを使用することができる。   In the above configuration, the wavelength tunable filter uses two diffraction gratings having the same pitch, creates interference fringes with the first diffraction grating, and adjusts the distance from the second diffraction grating to thereby transmit the transmittance in a desired wavelength band. Can be changed. In this method, the interval between the diffraction gratings is about 1000 times as large as the wavelength range to be selected, and the change in transmittance of each wavelength with respect to the change in the interval is relatively gradual. The influence of the accuracy of the degree and the grating interval is small. Accordingly, a motor-type or solenoid-type linear motion can be used for the linear motion for adjusting the interval of the diffraction grating.

また本発明の撮像装置における波長可変フィルタは、電磁波であればどの波長帯域でも有効であり、物質からの反射率がゼロに近いX線領域においても波長を可変とすることができる。   In addition, the wavelength tunable filter in the image pickup apparatus of the present invention is effective in any wavelength band as long as it is an electromagnetic wave, and can change the wavelength even in an X-ray region in which the reflectance from a substance is close to zero.

また、本発明の撮像装置の使用方法は、光学系に第1および第2の回折格子を配置して、撮像素子に物体の像を再結像させる撮像装置の使用方法である。この使用方法は、第1の測定波長域および第2の測定波長域ごとに、第1および第2の回折格子間の間隔を第1間隔として、撮像素子に物体像を再結像させる第1結像工程と、第1および第2の回折格子間の間隔を第1間隔と異なる第2間隔として、撮像素子に物体像を再結像させる第2結像工程とを行う。そして、第1および第2結像工程における撮像素子の出力をもとにして第1および第2の測定波長域の光の強度を求める工程とを備える。   The method of using the imaging apparatus of the present invention is a method of using the imaging apparatus in which the first and second diffraction gratings are arranged in the optical system and an image of an object is re-imaged on the imaging element. In this usage method, for each of the first measurement wavelength region and the second measurement wavelength region, the first image is re-imaged on the image sensor with the interval between the first and second diffraction gratings as the first interval. An image forming step and a second image forming step of re-imaging the object image on the imaging device are performed with the interval between the first and second diffraction gratings being a second interval different from the first interval. And obtaining the intensity of light in the first and second measurement wavelength regions based on the output of the imaging device in the first and second imaging steps.

このような方法により、高い分解能のスペクトル画像分析を迅速かつ容易に行なうことができる。   By such a method, high resolution spectral image analysis can be performed quickly and easily.

次に図面を用いて本発明の実施の形態について説明する。
(実施の形態1)
図1は、本発明の実施の形態1におけるスペクトル画像装置(撮像装置)50を示す図である。図1において、物体像1から発した光7は、第1のレンズ2および第2のレンズ3を経て、複数の画素を有する撮像素子4に到達する。第1のレンズ2と第2のレンズ3との間には、第1の回折格子5と第2の回折格子6とを含む波長可変フィルタ10が配置されている。この第1の回折格子5と第2の回折格子6とには両者の間隔が変えられるような間隔調節機構が設けられている。この間隔調節機構を用いて2つの回折格子5,6の間の間隔を制御することにより、取り出す波長を変え、波長可変フィルタとして機能させることができる。撮像素子4としては各種の電荷結合素子(CCD:Charge Coupled Devices)を用いることができる。撮像素子の寸法Rは、一辺の長さを表わし、ここでは長辺側の長さとする。
Next, embodiments of the present invention will be described with reference to the drawings.
(Embodiment 1)
FIG. 1 is a diagram showing a spectral image device (imaging device) 50 according to Embodiment 1 of the present invention. In FIG. 1, light 7 emitted from an object image 1 reaches an image sensor 4 having a plurality of pixels via a first lens 2 and a second lens 3. A wavelength tunable filter 10 including a first diffraction grating 5 and a second diffraction grating 6 is disposed between the first lens 2 and the second lens 3. The first diffraction grating 5 and the second diffraction grating 6 are provided with a distance adjusting mechanism that can change the distance between them. By controlling the distance between the two diffraction gratings 5 and 6 using this distance adjusting mechanism, the wavelength to be extracted can be changed and function as a wavelength variable filter. Various charge-coupled devices (CCD: Charge Coupled Devices) can be used as the imaging device 4. The dimension R of the image sensor represents the length of one side, and here is the length of the long side.

図1において、L1は物体像1から第1のレンズ2までの距離、L2は第1のレンズ2から第1の回折格子5までの距離、L3は第2の回折格子6から第2のレンズ3までの距離、L4は第2のレンズ3から撮像素子4までの距離である。また上記光学系は主光軸11を有するように配置されている。   In FIG. 1, L1 is the distance from the object image 1 to the first lens 2, L2 is the distance from the first lens 2 to the first diffraction grating 5, and L3 is the second diffraction grating 6 to the second lens. 3 is a distance from the second lens 3 to the image sensor 4. The optical system is disposed so as to have a main optical axis 11.

図2は、波長可変フィルタ10の動作原理図である。上記波長可変フィルタ10に入射光12が入射する。第1および第2の回折格子5,6の開口ピッチをともにdとし、第1の回折格子5と第2の回折格子6との距離(間隔)をzとし、上記開口ピッチの方向をx方向とする。第1の回折格子から出射される波長λの光のx方向の強度分布は、下記(1)式のようになる。(1)式において、kは波数、hはフーリエ成分の次数、Fhはフーリエ係数を表す。Σはフーリエ成分の次数hについて0から無限大(∞)まで和をとることを意味する。   FIG. 2 is an operation principle diagram of the wavelength tunable filter 10. Incident light 12 enters the wavelength tunable filter 10. Both the opening pitches of the first and second diffraction gratings 5 and 6 are d, the distance (interval) between the first diffraction grating 5 and the second diffraction grating 6 is z, and the direction of the opening pitch is the x direction. And The intensity distribution in the x direction of the light of wavelength λ emitted from the first diffraction grating is expressed by the following equation (1). In equation (1), k represents the wave number, h represents the order of the Fourier component, and Fh represents the Fourier coefficient. Σ means taking the sum from 0 to infinity (∞) for the order h of the Fourier component.

u(x)=exp(-ikz)ΣFhexp(iπλh2z/d2)cos(2πhx/d)・・・・・(1)
ここで、2つの回折格子の間隔zとして次の特定の距離を考える。
u (x) = exp (-ikz) ΣF h exp (iπλh 2 z / d 2 ) cos (2πhx / d) (1)
Here, the following specific distance is considered as the distance z between the two diffraction gratings.

z=nd2/λ (n=1,2,・・・) ・・・・・・・(2)
nが偶数の場合(n=2m:m整数)、(1)式のexpの指数部分はi2πmh2となる。N=mh2は整数であるから(1)式においてexp(iπλh2z/d2)=1となる。このため、(1)式はつぎの(3)式のようになる。
z = nd 2 / λ (n = 1,2, ...) (2)
When n is an even number (n = 2m: m integer), the exponent part of exp in the equation (1) is i2πmh 2 . Since N = mh 2 is an integer, exp (iπλh 2 z / d 2 ) = 1 in equation (1). Therefore, equation (1) becomes the following equation (3).

u(x)=exp(-ikz)ΣFhcos(2πhx/d) ・・・・・・・(3)
上記(3)式に従えば、第1の回折格子の開口下が明るく、開口間の部分の下は暗くなる。
u (x) = exp (-ikz) ΣF h cos (2πhx / d) (3)
According to the above equation (3), the area under the opening of the first diffraction grating is bright and the area under the opening is dark.

またnが奇数の場合、(1)式の指数部は(2N+1)πと表すことができるので、つぎの(4)式を得る。   When n is an odd number, the exponent part of the equation (1) can be expressed as (2N + 1) π, and the following equation (4) is obtained.

u(x)=exp(-ikz)ΣFhcos((2πh/d)(x±d/2)) ・・・・・・・(4)
上記(4)式は各フーリエ成分の周期をx方向に1/2ピッチ分だけずらしたものである。(4)式に従えば、開口下は暗く、開口間の下が明るくなるという(3)式が表す像の反転像が形成される。
u (x) = exp (-ikz) ΣF h cos ((2πh / d) (x ± d / 2)) (4)
The above equation (4) is obtained by shifting the period of each Fourier component by ½ pitch in the x direction. According to the equation (4), an inverted image of the image represented by the equation (3) is formed in which the area under the opening is dark and the area under the opening is bright.

上記性質から、2つの回折格子の間隔を可変とする間隔調節機構を設けることにより、2つの回折格子の距離を変えて、ある特定波長についてのみ、第2の回折格子上に反転像を形成することができる。第2の回折格子6に光を吸収したり反射させたりする材料を用いた場合、その特定波長はカットされることになる。   Due to the above property, by providing an interval adjusting mechanism that makes the interval between the two diffraction gratings variable, the distance between the two diffraction gratings is changed, and a reverse image is formed on the second diffraction grating only for a specific wavelength. be able to. When a material that absorbs or reflects light is used for the second diffraction grating 6, the specific wavelength is cut.

2つの回折格子間隔を変える間隔調節機構として、モータ方式あるいは電磁ソレノイド方式などによるリニアモーションが知られている。また動かす範囲が100μm以下であるような場合は、バルクのアクチュエータやばね式のアクチュエータでもよい。   As an interval adjusting mechanism for changing the interval between two diffraction gratings, linear motion using a motor system or an electromagnetic solenoid system is known. Further, when the moving range is 100 μm or less, a bulk actuator or a spring type actuator may be used.

上記のような原理で動作するために、第1のレンズ2から第1の回折格子5に到達するまでの光が主光軸12となす角がほぼゼロ、すなわち略平行になるように第1のレンズ2の焦点距離を選ぶのが望ましい。場合によっては、本システムの前段に光学系を設け、第1の回折格子へ到達する光の入射角を調整してもよい。具体的には第1のレンズを透過した光の入射角θが次の関係を満たすようにするのがよい。   In order to operate on the principle as described above, the first angle is such that the angle formed by the light from the first lens 2 to the first diffraction grating 5 with the main optical axis 12 is substantially zero, that is, substantially parallel. It is desirable to select the focal length of the lens 2. In some cases, an optical system may be provided in the previous stage of the present system to adjust the incident angle of light reaching the first diffraction grating. Specifically, it is preferable that the incident angle θ of the light transmitted through the first lens satisfies the following relationship.

θ≦tan-1(d/z) ・・・・・・・・・・・・・・・・・・(5)
また、第2の回折格子6を通過した光も回折を起し、(dL4/λ)の周期で、ゴーストパターンを生じる。この場合、受光(撮像)素子4の寸法をRとするとき、つぎの不等式が成り立つようにすればよい。
θ ≦ tan -1 (d / z) (5)
In addition, the light that has passed through the second diffraction grating 6 also diffracts, generating a ghost pattern with a period of (dL4 / λ). In this case, when the dimension of the light receiving (imaging) element 4 is R, the following inequality may be satisfied.

(dL4/λ)≦R ・・・・・・・・・・・・・・・・・・(6)
例として波長域3μm〜5μmに感度を持つ赤外線イメージセンサへの適用について述べる。第1、第2のレンズには、ともに同じ焦点距離24mmの平凸レンズを用いる。ただし、レンズは平凸レンズに限る必要はなく、前方と後方とにそれぞれ焦点を持つような凸レンズでもよい。L1、L4を各々第1、第2のレンズの焦点距離と一致させる。
(DL4 / λ) ≦ R (6)
As an example, application to an infrared image sensor having sensitivity in a wavelength range of 3 μm to 5 μm will be described. As the first and second lenses, plano-convex lenses having the same focal length of 24 mm are used. However, the lens need not be limited to a plano-convex lens, and may be a convex lens having focal points on the front and rear sides. L1 and L4 are made to coincide with the focal lengths of the first and second lenses, respectively.

第1、第2の回折格子のピッチdは80μmとし、材料としては金属、セラミックス、高分子材料等の光を透過させないもので構成する。これらの回折格子を置く位置は第1のレンズの焦点位置付近とするが、第1のレンズ2からの光が平行光であれば、高い位置精度は必要としない。   The pitch d of the first and second diffraction gratings is 80 μm, and the material is made of a material that does not transmit light, such as metal, ceramics, and polymer materials. The positions where these diffraction gratings are placed are in the vicinity of the focal position of the first lens. However, if the light from the first lens 2 is parallel light, high positional accuracy is not required.

図3は、上記のように構成した場合において、撮像素子4上で観測した光の波長帯域特性、すなわち透過率の波長依存性を示す図である。同図において、2つの回折格子5,6の間隔を800μmから3600μmまで800μmステップで変化させた場合を示している。同図より、透過率の波長依存性が緩やかであること、格子間隔の変動幅が波長に対して2桁以上大きいことなどから、リニアモーションによる位置が数μmずれたとしても、透過率にはほとんど影響を与えないことがわかる。   FIG. 3 is a diagram showing the wavelength band characteristics of light observed on the image sensor 4, that is, the wavelength dependency of the transmittance when configured as described above. In the same figure, the case where the space | interval of the two diffraction gratings 5 and 6 is changed by the 800 micrometer step from 800 micrometers to 3600 micrometers is shown. The figure shows that the transmittance depends on the transmittance even if the position due to the linear motion is shifted by several μm because the wavelength dependency of the transmittance is gentle and the fluctuation width of the grating interval is two digits or more larger than the wavelength. It turns out that there is almost no influence.

次にスペクトル画像の取り込み方について説明する。まず調べたい波長帯の範囲および調べたい波長帯域の分割数を決める。ここで、例えば波長3μm〜5μmの範囲を8分割した分光スペクトル画像を得る場合について説明する。この場合、2つの回折格子の間隔800μmから3600μmまで、400μmおきに8ステップの画像を取ればよい。2つの回折格子の間隔を変えたときの各波長の透過率は図3より求めることができ、既知の量である。   Next, how to capture a spectral image will be described. First, determine the range of the wavelength band to be examined and the number of divisions of the wavelength band to be examined. Here, for example, a case where a spectrum image obtained by dividing a wavelength range of 3 μm to 5 μm into 8 is obtained will be described. In this case, an image of 8 steps may be taken every 400 μm from the interval of two diffraction gratings from 800 μm to 3600 μm. The transmittance of each wavelength when the distance between the two diffraction gratings is changed can be obtained from FIG. 3 and is a known amount.

各波長をλ1,λ2,・・・,λ8とし、その強度をI1,I2,・・・I8とする。また、回折格子の所定の間隔での各波長の光の透過率をTijとする。図4はある回折格子の間隔での透過率の波長依存性を示すグラフから、各波長λiおよびその波長での透過率Tijを決める方法を説明する図である。Tijは分割した波長帯域内の平均の透過率で代表させることとする。2つの回折格子の間隔が800μmの場合(第1ステップ)の各波長に対する透過率をT11,T12,・・・,T18とし、この時の撮像素子の出力をS1とするとつぎの変数Iiに対する連立1次方程式(7)式が成立する。 Each wavelength λ 1, λ 2, ···, and lambda 8, to the intensity I 1, I 2, and · · · I 8. Further, T ij is the transmittance of light of each wavelength at a predetermined interval of the diffraction grating. FIG. 4 is a diagram for explaining a method of determining each wavelength λ i and the transmittance T ij at that wavelength from a graph showing the wavelength dependence of the transmittance at a certain diffraction grating interval. T ij is represented by an average transmittance within the divided wavelength band. When the distance between the two diffraction gratings is 800 μm (first step), the transmittance for each wavelength is T 11 , T 12 ,..., T 18, and the output of the image sensor at this time is S 1. The simultaneous linear equation (7) for the variable I i is established.

111+I212+....+I818=S1 ・・・・・・・・・・(7)
同様にして2つの回折格子間隔が1200μmの場合(第2ステップ)は、Iiに対して次の連立方程式(8)式が成り立つ。
I 1 T 11 + I 2 T 12 + .... + I 8 T 18 = S 1 (7)
Similarly, when the distance between two diffraction gratings is 1200 μm (second step), the following simultaneous equations (8) are established for Ii.

121+I222+....+I828=S2 ・・・・・・・・・・(8)
2つの回折格子の間隔をさらに400μmずつ順次増やしながら、上記(7)式、(8)式を含む8ステップすべての測定を行なうことにより、次の(9)式の連立方程式を得ることができる。
I 1 T 21 + I 2 T 22 + .... + I 8 T 28 = S 2 (8)
The following simultaneous equations (9) can be obtained by measuring all 8 steps including the above formulas (7) and (8) while further increasing the distance between the two diffraction gratings by 400 μm. .

Figure 2005308643
上記(9)式にまとめられた8行8列の連立方程式をIiについて解くことにより、各波長の強度を知ることができる。
Figure 2005308643
The intensity of each wavelength can be known by solving the 8-by-8 simultaneous equations summarized in the above equation (9) for Ii.

なお上記の例では、8回測定する例をあげたが、最低限、光の波長帯域を2つに分け、2つの回折格子の間隔を第1の間隔として測定した撮像素子における第1の画像出力と、上記間隔を第2の間隔として測定した撮像素子における第2の画像出力とを入力し、分光した画像を演算することにより、スペクトル分析画像を得ることができる。   In the above example, an example in which the measurement is performed eight times is given. However, at least, the first image in the imaging element measured by dividing the wavelength band of light into two and measuring the interval between the two diffraction gratings as the first interval. A spectrum analysis image can be obtained by inputting the output and the second image output of the image sensor measured with the interval as the second interval, and calculating the dispersed image.

図5に上記の撮像装置の構成例を示す。波長可変フィルタ30は、2つの回折格子5,6を間隔調節機構13に一体に組み込んだ構成とする。間隔調節機構13による間隔調節のデータと、撮像素子4からの各画素からの出力データとは、計算機21に導入され、ここで必要な演算や次のステップの指示が出される。一連の測定が終了したあと、スペクトル画像が画像表示装置22の画面に表示される。   FIG. 5 shows a configuration example of the imaging apparatus. The wavelength tunable filter 30 has a configuration in which two diffraction gratings 5 and 6 are integrally incorporated in the interval adjusting mechanism 13. The data for adjusting the interval by the interval adjusting mechanism 13 and the output data from each pixel from the image sensor 4 are introduced into the computer 21 where necessary calculations and instructions for the next step are issued. After the series of measurements is completed, the spectrum image is displayed on the screen of the image display device 22.

(実施の形態2)
本発明の実施の形態2は、第1の回折格子を測定対象の波長に対してほぼ透明な材料で構成する点に特徴がある。たとえば撮像素子4に波長3μm〜5μmの赤外線撮像素子を用いる場合、第1の回折格子を、ZnSe板に深さ1μmの溝を彫り込み、位相シフト型の回折格子とすることができる。
(Embodiment 2)
Embodiment 2 of the present invention is characterized in that the first diffraction grating is made of a material that is substantially transparent to the wavelength to be measured. For example, when an infrared imaging device having a wavelength of 3 μm to 5 μm is used for the imaging device 4, a groove having a depth of 1 μm can be engraved on the ZnSe plate to form a phase shift type diffraction grating.

図6は、第1の回折格子に、ZnSe板に深さ1μmの溝を彫り込んだ回折格子を用いた場合の撮像素子4上で観測した光の透過率の波長依存性を示す図である。図3に示す透過率に比べ、光の最大透過率が2倍程度増大することが分かる。一方、最小透過率はほとんど同じなので、フィルタ効果による光強度のダイナミックレンジが約2倍となる。   FIG. 6 is a diagram showing the wavelength dependence of the transmittance of light observed on the image sensor 4 when a diffraction grating in which a groove of 1 μm depth is carved in a ZnSe plate is used as the first diffraction grating. It can be seen that the maximum light transmittance is increased by a factor of about 2 compared to the transmittance shown in FIG. On the other hand, since the minimum transmittance is almost the same, the dynamic range of the light intensity due to the filter effect is approximately doubled.

(実施の形態3)
本発明の実施の形態3では撮像素子の各位置の画像素子に固有の透過率Tijを与えることにより補正を行なうという特徴を有する。上記本発明の実施の形態1では第1の回折格子へ入射する光の角度に制約を加えた。しかし、大きな開口率を必要とする場合、入射角がθ=tan-1(d/z)以上となる。このような場合、第1、第2の回折格子の間隔zに依存して、撮像素子4上に{d(L3+L4)/z}の周期で干渉縞が現れる。この干渉縞が現れる位置と強度とが分かっているので、上記のように撮像素子の各位置すなわち各画像素子(ピクセル)に対して固有の透過率Tijを与えることにより補正を加えることができる。
(Embodiment 3)
Embodiment 3 of the present invention is characterized in that correction is performed by giving a specific transmittance Tij to the image element at each position of the image sensor. In the first embodiment of the present invention, a restriction is imposed on the angle of light incident on the first diffraction grating. However, when a large aperture ratio is required, the incident angle is θ = tan −1 (d / z) or more. In such a case, depending on the interval z between the first and second diffraction gratings, interference fringes appear on the image sensor 4 with a period of {d (L3 + L4) / z}. Since the position and intensity at which this interference fringe appears is known, correction can be applied by giving a specific transmittance Tij to each position of the image sensor, that is, each image element (pixel) as described above.

補正は、図7に示す補正係数が撮像素子の出力に加味されるように行なう。この補正は、撮像素子の前に上記補正係数を与えるフィルタを配置してもよいし、図5の中の計算機21に予め組み込まれたデータにより上記補正係数を加味するように構成してもよい。   The correction is performed so that the correction coefficient shown in FIG. 7 is added to the output of the image sensor. For this correction, a filter for giving the correction coefficient may be arranged in front of the image sensor, or the correction coefficient may be taken into account by data pre-installed in the computer 21 in FIG. .

(実施の形態4)
本発明の実施の形態4では、回折格子として2次元の格子を用いる点に特徴を有する。すなわち上述の実施の形態1では回折格子として一次元の格子を用いた。しかし、図8に示すように、回折格子に二次元の格子あるいは市松模様などの矩形パターンを用いてもよい。
(Embodiment 4)
Embodiment 4 of the present invention is characterized in that a two-dimensional grating is used as the diffraction grating. That is, in the first embodiment described above, a one-dimensional grating is used as the diffraction grating. However, as shown in FIG. 8, a rectangular pattern such as a two-dimensional grating or a checkered pattern may be used for the diffraction grating.

次に上記本発明の実施の形態を含めて、本発明の実施の形態の変形例を羅列的に説明する。   Next, a modified example of the embodiment of the present invention will be enumerated including the embodiment of the present invention.

上記物体からの光を受けるための第1のレンズと、第1のレンズの後方に位置し、物体像を撮像素子に再結像させるための第2のレンズとを有し、撮像素子は、第2のレンズの後方に位置し、波長可変フィルタは第1と第2のレンズとの間に位置するようにできる。   A first lens for receiving light from the object; and a second lens for rearranging the object image on the image sensor, the image sensor being located behind the first lens. The wavelength tunable filter is located behind the second lens and may be located between the first and second lenses.

この構成により、非常に簡単な構造により、集光レンズおよび結像レンズを含む光学系を得ることができる。   With this configuration, an optical system including a condenser lens and an imaging lens can be obtained with a very simple structure.

上記の物体からの光は第1および第2の帯域を含み、第1の回折格子と第2の回折格子との間隔を第1の間隔として得た撮像素子における第1の画像出力と、第1の回折格子と第2の回折格子との間隔を第2の間隔として得た撮像素子における第2の画像出力とを入力し、第1および第2の帯域に分光した画像を演算して得るための演算部を備えることができる。   The light from the object includes first and second bands, and the first image output in the image sensor obtained by using the first gap as the first gap is the first image output. The second image output of the image sensor obtained by setting the interval between the first diffraction grating and the second diffraction grating as the second interval is input and obtained by calculating the images dispersed in the first and second bands. A calculation unit can be provided.

このような演算部を備えることにより高分解能のスペクトル画像分析を迅速かつ容易に行なうことができる。   By providing such a calculation unit, high-resolution spectral image analysis can be performed quickly and easily.

また、上記の波長可変フィルタを構成する第1の回折格子を半透明とし、光の位相により回折パターンを発生させてもよい。   Further, the first diffraction grating constituting the wavelength tunable filter may be translucent, and a diffraction pattern may be generated by the phase of light.

この構成により、暗い物体像であっても良好なスペクトル画像を得ることができるようになる。   With this configuration, a good spectral image can be obtained even with a dark object image.

上記第1のレンズからの光が主光軸となす角θと、波長可変フィルタを構成する回折格子の開口ピッチdと、第1の回折格子と第2の回折格子との距離zとが、θ≦tan-1(d/z)を満たすように構成することができる。 The angle θ formed by the light from the first lens and the main optical axis, the aperture pitch d of the diffraction grating constituting the wavelength tunable filter, and the distance z between the first diffraction grating and the second diffraction grating, It can be configured to satisfy θ ≦ tan −1 (d / z).

この構成により、干渉縞を撮像素子上に発生させることがなく、スペクトル画像データを得ることができる。   With this configuration, it is possible to obtain spectral image data without generating interference fringes on the image sensor.

また、第2の回折格子と第2のレンズとの距離L3および第2のレンズと撮像素子との距離L4の配置において、{d(L3+L4)/z}の周期で撮像素子側に生じる光の強度の干渉縞に対応して、相対する撮像素子の画素において光の強度補正がなされるように構成できる。   Further, in the arrangement of the distance L3 between the second diffraction grating and the second lens and the distance L4 between the second lens and the image sensor, the light generated on the image sensor side at a cycle of {d (L3 + L4) / z}. Corresponding to the intensity interference fringes, the light intensity correction can be performed in the pixels of the opposing image sensor.

この結果、開口率を大きくとった上で、干渉縞の影響を除くことができる。上記の構成は、第1のレンズからの光が主光軸となす角θと、前記波長可変フィルタを構成する回折格子のピッチdと、前記第1の回折格子と第2の回折格子との距離zとが、θ>tan-1(d/z)の関係にある場合に、とくに有効である。 As a result, the influence of the interference fringes can be eliminated while increasing the aperture ratio. In the above configuration, the angle θ formed by the light from the first lens and the main optical axis, the pitch d of the diffraction grating that constitutes the wavelength tunable filter, and the first diffraction grating and the second diffraction grating This is particularly effective when the distance z is in a relation of θ> tan −1 (d / z).

また、波長可変フィルタを構成する第1および第2の回折格子の開口ピッチdと、第2のレンズから撮像素子までの距離L4と、撮像素子の寸法Rと、分光対象の波長λとが、dL4/λ≦Rの関係を満たしてもよい。   The aperture pitch d of the first and second diffraction gratings constituting the wavelength tunable filter, the distance L4 from the second lens to the image sensor, the dimension R of the image sensor, and the wavelength λ of the spectral object are as follows: The relationship dL4 / λ ≦ R may be satisfied.

この構成により、撮像素子上に0次光のみを取り込むことができるようになる。   With this configuration, only the 0th order light can be captured on the image sensor.

また、上記第1および第2の回折格子の開口部は2次元的に配列されることができる。   The openings of the first and second diffraction gratings can be arranged two-dimensionally.

上記構成により、X方向の格子の周期とY方向の格子の周期とを適当な比率にすることにで、より狭い帯域の波長のみを透過させることができるようになる。   With the above configuration, by setting an appropriate ratio between the period of the grating in the X direction and the period of the grating in the Y direction, only a narrower band wavelength can be transmitted.

上記において、本発明の実施の形態について説明を行ったが、上記に開示された本発明の実施の形態は、あくまで例示であって、本発明の範囲はこれら発明の実施の形態に限定されない。本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内でのすべての変更を含むものである。   Although the embodiments of the present invention have been described above, the embodiments of the present invention disclosed above are merely examples, and the scope of the present invention is not limited to these embodiments. The scope of the present invention is indicated by the description of the scope of claims, and further includes meanings equivalent to the description of the scope of claims and all modifications within the scope.

本発明によれば、加工精度の影響を大きく受けることなくスペクトル画像解析が可能な撮像装置およびその使用方法を得ることができる。また、透過型の回折格子を用いることにより透過率が50%を超えるようにすることができるので暗い物体像でも良好な画像を得ることができる。また、回折格子からの干渉縞を受けないように近軸光線に限定してもよいし、開口率を大きくとり干渉縞が撮像素子に入射することが避けられない場合には、干渉縞に対応する画素の出力を補正することができる。上記のような利点を有するので、今後、スペクトル画像分析の分野で広範に利用されることが期待される。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can perform a spectrum image analysis, and its usage method can be obtained, without being received to the influence of processing precision largely. Further, since the transmittance can be made to exceed 50% by using a transmission type diffraction grating, a good image can be obtained even with a dark object image. In addition, it may be limited to paraxial rays so as not to receive interference fringes from the diffraction grating. If the aperture ratio is large and it is unavoidable that the interference fringes are incident on the image sensor, it corresponds to the interference fringes. The output of the pixel to be corrected can be corrected. Since it has the above advantages, it is expected to be widely used in the field of spectral image analysis in the future.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明の実施の形態1におけるスペクトル画像装置を説明する図である。It is a figure explaining the spectrum image apparatus in Embodiment 1 of this invention. 図1に示すスペクトル画像装置における波長可変フィルタの動作原理を示す図である。It is a figure which shows the principle of operation of the wavelength variable filter in the spectrum image apparatus shown in FIG. 本発明の実施の形態1におけるスペクトル画像装置の波長帯域特性を示す図である。It is a figure which shows the wavelength band characteristic of the spectrum image apparatus in Embodiment 1 of this invention. 本発明の実施の形態1におけるスペクトル画像装置のデータ取り込み方法を示す図である。It is a figure which shows the data acquisition method of the spectrum image apparatus in Embodiment 1 of this invention. 本発明の実施の形態1の撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device of Embodiment 1 of this invention. 本発明の実施の形態2におけるスペクトル画像装置の波長帯域特性を示す図である。It is a figure which shows the wavelength band characteristic of the spectrum image apparatus in Embodiment 2 of this invention. 本発明の実施の形態3の撮像装置における撮像素子の補正の掛け方を示す図である。It is a figure which shows how to apply the correction of the image pick-up element in the image pick-up device of Embodiment 3 of this invention. 本発明の実施の形態4の撮像装置における回折格子の開口パターンを示す図である。It is a figure which shows the opening pattern of the diffraction grating in the imaging device of Embodiment 4 of this invention.

符号の説明Explanation of symbols

1 物体像、2 第1のレンズ、3 第2のレンズ、4 撮像素子(撮像素子)、4a 画素、5 第1の回折格子、6 第2の回折格子、7 光、10 波長可変フィルタ、11 光学系の主光軸、12 入射光、13 間隔調節機構、20 一体型波長可変フィルタ、21 計算機、22 表示装置、50 撮像装置、d,d1,d2 開口ピッチ、z 2つの回折格子の間隔、L1 物体像と第1のレンズとの距離、L2 第1のレンズと第1の回折格子との距離、L3 第2の回折格子と第2のレンズとの距離、L4 第2のレンズと撮像素子との距離、R 撮像素子の寸法(開口径)。   DESCRIPTION OF SYMBOLS 1 Object image, 1st lens, 3rd lens, 4 Image pick-up element (imaging element), 4a pixel, 5 1st diffraction grating, 6 2nd diffraction grating, 7 light, 10 Wavelength variable filter, 11 Main optical axis of optical system, 12 incident light, 13 interval adjustment mechanism, 20 integrated tunable filter, 21 computer, 22 display device, 50 imaging device, d, d1, d2 aperture pitch, z interval between two diffraction gratings, L1 Distance between the object image and the first lens, L2 Distance between the first lens and the first diffraction grating, L3 Distance between the second diffraction grating and the second lens, L4 Second lens and the imaging element And R, the dimensions of the image sensor (opening diameter).

Claims (9)

物体からの光によりその物体の像を再結像させるための撮像装置であって、
前記物体を再結像する撮像素子と、
前記撮像素子の前方に位置し、第1および第2の回折格子ならびにその第1の回折格子と第2の回折格子との間隔を変えるための間隔調節機構を有する波長可変フィルタとを備える、撮像装置。
An imaging device for re-imaging an image of an object with light from the object,
An image sensor for re-imaging the object;
An image pickup comprising a first and second diffraction gratings and a wavelength tunable filter having a distance adjusting mechanism for changing a distance between the first diffraction grating and the second diffraction grating, which is located in front of the image pickup element. apparatus.
前記物体からの光を受けるための第1のレンズと、前記第1のレンズの後方に位置し、前記物体像を前記撮像素子に再結像させるための第2のレンズとを有し、前記撮像素子は、前記第2のレンズの後方に位置し、前記波長可変フィルタは前記第1と第2のレンズとの間に位置する、請求項1に記載の撮像装置。   A first lens for receiving light from the object; and a second lens positioned rearward of the first lens for re-imaging the object image on the imaging device, The imaging device according to claim 1, wherein the imaging element is located behind the second lens, and the wavelength tunable filter is located between the first and second lenses. 前記物体からの光は第1および第2の帯域を含み、前記第1の回折格子と第2の回折格子との間隔を第1の間隔として得た撮像素子における第1の画像出力と、前記第1の回折格子と第2の回折格子との間隔を第2の間隔として得た撮像素子における第2の画像出力とを入力し、前記第1および第2の帯域に分光した光強度を演算して得るための演算部を備える、請求項1または2に記載の撮像装置。   The light from the object includes first and second bands, and the first image output in the imaging device obtained as the first distance between the first diffraction grating and the second diffraction grating; The second image output from the image sensor obtained by setting the distance between the first diffraction grating and the second diffraction grating as the second distance is input, and the light intensity dispersed in the first and second bands is calculated. The imaging device according to claim 1, further comprising an arithmetic unit for obtaining the imaging device. 前記波長可変フィルタを構成する第1の回折格子を半透明とし、光の位相により回折パターンを発生させる、請求項1〜3のいずれかに記載の撮像装置。   The imaging device according to claim 1, wherein the first diffraction grating constituting the wavelength tunable filter is made translucent, and a diffraction pattern is generated by a phase of light. 前記第1のレンズからの光が主光軸となす角θと、前記波長可変フィルタを構成する回折格子の開口ピッチdと、前記第1の回折格子と第2の回折格子との距離zとが、θ≦tan-1(d/z)を満たすように構成された、請求項2〜4のいずれかに記載の撮像装置。 An angle θ formed by the light from the first lens with the main optical axis, an aperture pitch d of the diffraction grating constituting the wavelength tunable filter, and a distance z between the first diffraction grating and the second diffraction grating. The imaging device according to claim 2, wherein the imaging device is configured to satisfy θ ≦ tan −1 (d / z). 前記第2の回折格子と第2のレンズとの距離L3および前記第2のレンズと前記撮像素子との距離L4の配置において、{d(L3+L4)/z}の周期で前記撮像素子側に生じる光の強度の干渉縞に対応して、相対する撮像素子の画素において光の強度補正がなされている、請求項1〜4のいずれかに記載の撮像装置。   In the arrangement of the distance L3 between the second diffraction grating and the second lens and the distance L4 between the second lens and the image sensor, the image is generated on the image sensor side at a period of {d (L3 + L4) / z}. The imaging apparatus according to any one of claims 1 to 4, wherein light intensity correction is performed in pixels of an opposing imaging device in correspondence with interference fringes of light intensity. 前記波長可変フィルタを構成する第1および第2の回折格子の開口ピッチdと、前記第2のレンズから前記撮像素子までの距離L4と、前記撮像素子の寸法Rと、分光対象の波長λとが、dL4/λ≦Rの関係を満たす、請求項1〜6のいずれかに記載の撮像装置。   The aperture pitch d of the first and second diffraction gratings constituting the wavelength tunable filter, the distance L4 from the second lens to the image sensor, the dimension R of the image sensor, and the wavelength λ of the spectral object The imaging device according to claim 1, wherein d satisfies a relationship of dL4 / λ ≦ R. 前記第1および第2の回折格子の開口部が2次元的に配列されている、請求項1〜7のいずれかに記載の撮像装置。   The imaging device according to claim 1, wherein openings of the first and second diffraction gratings are two-dimensionally arranged. 光学系に第1および第2の回折格子を配置して、撮像素子に物体の像を再結像させる撮像装置の使用方法であって、
第1の測定波長域および第2の測定波長域ごとに、
前記第1および第2の回折格子間の間隔を第1間隔として、前記撮像素子に物体像を再結像させる第1結像工程と、
前記第1および第2の回折格子間の間隔を前記第1間隔と異なる第2間隔として、前記撮像素子に物体像を再結像させる第2結像工程とを行い、
前記第1および第2結像工程における撮像素子の出力をもとにして前記第1および第2の測定波長域の光の強度を求める工程とを備える、撮像装置の使用方法。
A method of using an imaging apparatus in which first and second diffraction gratings are arranged in an optical system and an image of an object is re-imaged on an imaging device,
For each of the first measurement wavelength range and the second measurement wavelength range,
A first imaging step of re-imaging an object image on the imaging device, with the interval between the first and second diffraction gratings being a first interval;
A second imaging step of re-imaging an object image on the image sensor with a second interval different from the first interval as an interval between the first and second diffraction gratings;
Using the imaging device in the first and second imaging steps, and determining the intensity of light in the first and second measurement wavelength regions.
JP2004128560A 2004-04-23 2004-04-23 Imaging device and method of using the same Expired - Fee Related JP4297830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004128560A JP4297830B2 (en) 2004-04-23 2004-04-23 Imaging device and method of using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004128560A JP4297830B2 (en) 2004-04-23 2004-04-23 Imaging device and method of using the same

Publications (2)

Publication Number Publication Date
JP2005308643A true JP2005308643A (en) 2005-11-04
JP4297830B2 JP4297830B2 (en) 2009-07-15

Family

ID=35437577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004128560A Expired - Fee Related JP4297830B2 (en) 2004-04-23 2004-04-23 Imaging device and method of using the same

Country Status (1)

Country Link
JP (1) JP4297830B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022176332A1 (en) * 2021-02-18 2022-08-25

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022176332A1 (en) * 2021-02-18 2022-08-25
WO2022176332A1 (en) * 2021-02-18 2022-08-25 株式会社フジクラ Optical diffraction element and position adjustment method for optical diffraction element
JP7608591B2 (en) 2021-02-18 2025-01-06 株式会社フジクラ Optical diffraction element and method for adjusting position of optical diffraction element

Also Published As

Publication number Publication date
JP4297830B2 (en) 2009-07-15

Similar Documents

Publication Publication Date Title
US9142582B2 (en) Imaging device and imaging system
US20080204744A1 (en) High Speed, Optically-Multiplexed, Hyperspectral Imagers and Methods Thereof
WO2013001709A1 (en) Image pickup apparatus
WO2012070314A1 (en) Microscope spectrometer, optical axis shift correction device, spectroscope and microscope using same
JP5880053B2 (en) Spectral characteristic acquisition apparatus and image forming apparatus
JP5517621B2 (en) High sensitivity spectrum analysis unit
US9343491B2 (en) Spectral imaging sensors and methods
JP2020053910A (en) Optical device and imaging device
CN110686777A (en) Spectrum measuring method and device
Kim et al. Aperture-encoded snapshot hyperspectral imaging with a lensless camera
US11199448B2 (en) Spectroscopic measurement device and spectroscopic measurement method
CN211121618U (en) Spectrum measuring device
Kobylinskiy et al. Simple but effective: strong efficiency boost for a linear variable filter-based spectrometer
JP2022033250A (en) Optical spectrum measurement system and optical spectrum measurement method
JP4297830B2 (en) Imaging device and method of using the same
JP2019163990A (en) Spectral instrument, hyperspectral measurement system, and spectroscopic method
JP7582183B2 (en) Manufacturing method of diffraction element and manufacturing method of imaging device
WO2020179628A1 (en) Spectroscopic device
KR101131954B1 (en) Wavelength detector and optical coherence topography having the same
JP2013187812A (en) Imaging apparatus and spectral information generating method
JP5454942B2 (en) Spectrometer and microscope using the same
JP7191311B2 (en) A spectrometer using a spectroscopic element with a light-collecting function
Hahn et al. Novel snapshot hyperspectral imager based on diffractive elements
RU2377510C1 (en) Displaying spectrometre
JP2007240244A (en) Imaging spectrometer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061005

A977 Report on retrieval

Effective date: 20080814

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081023

A131 Notification of reasons for refusal

Effective date: 20090113

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Effective date: 20090414

Free format text: JAPANESE INTERMEDIATE CODE: A61

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees