JP5857782B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5857782B2 JP5857782B2 JP2012030651A JP2012030651A JP5857782B2 JP 5857782 B2 JP5857782 B2 JP 5857782B2 JP 2012030651 A JP2012030651 A JP 2012030651A JP 2012030651 A JP2012030651 A JP 2012030651A JP 5857782 B2 JP5857782 B2 JP 5857782B2
- Authority
- JP
- Japan
- Prior art keywords
- zoom
- optical system
- pupil
- parallax images
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 56
- 210000001747 pupil Anatomy 0.000 claims description 103
- 230000003287 optical effect Effects 0.000 claims description 88
- 238000005286 illumination Methods 0.000 claims description 23
- 238000002834 transmittance Methods 0.000 claims description 11
- 238000009825 accumulation Methods 0.000 claims description 6
- 239000004973 liquid crystal related substance Substances 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims 4
- 238000000034 method Methods 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 241000276498 Pollachius virens Species 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Microscoopes, Condenser (AREA)
Description
本発明は、顕微鏡などに適用される撮像装置に関する。 The present invention relates to an imaging apparatus applied to a microscope or the like.
実体顕微鏡は、1対の結像光学系により物体を異なる角度から結像し、それによって形成される1対の像をユーザの左右の眼に対して個別に観察させるものである。ユーザは、左右の眼で個別に観察する1対の像の相違を脳内で処理することにより、物体の凹凸(奥行き)を感じることができる。 A stereomicroscope forms an image of an object from different angles by a pair of imaging optical systems, and allows a pair of images formed thereby to be individually observed with respect to the left and right eyes of the user. The user can feel the unevenness (depth) of the object by processing in the brain the difference between a pair of images observed individually by the left and right eyes.
近年の実体顕微鏡では、1対の結像光学系へ個別にカメラを取り付けて左右の視差画像を撮像し、それらの視差画像を2眼型の3次元ディスプレイへ表示させることも既に提案されている。 In recent stereomicroscopes, it has already been proposed that a camera is individually attached to a pair of imaging optical systems to capture left and right parallax images and display these parallax images on a binocular three-dimensional display. .
特許文献1には、実体顕微鏡より高い倍率で観察を行う一般の顕微鏡に対してこの技術を適用したものが開示されている(特許文献1などを参照。)。 Patent Document 1 discloses a technique in which this technique is applied to a general microscope that performs observation at a higher magnification than that of a stereomicroscope (see Patent Document 1 and the like).
しかしながら、一般の顕微鏡のように細胞などの微細な物体を扱う場合には、物体の立体的な形状観察を更に詳細に行いたいという要求が高い。 However, when a minute object such as a cell is handled as in a general microscope, there is a high demand for more detailed observation of the three-dimensional shape of the object.
そこで本発明は、微細な物体の立体構造を詳細に観察するのに適した撮像装置を提供することを目的とする。 Therefore, an object of the present invention is to provide an imaging apparatus suitable for observing in detail the three-dimensional structure of a fine object.
本発明の撮像装置の一例は、物体側から順に、対物レンズと、並列配置された複数のズーム結像光学系と、複数の前記ズーム結像光学系の像をそれぞれ撮像する撮像素子とを配置し、制御手段を備える撮像装置であって、複数の前記ズーム結像光学系の入射瞳は、前記対物レンズの射出瞳のそれぞれ異なる領域に対応し、各々の前記ズーム結像光学系は、前記ズーム結像光学系のズームポジションに関わらず前記ズーム結像光学系の入射瞳を同一の瞳位置に保ち、前記瞳位置と同一の位置において前記ズーム結像光学系の光軸と交差する面内に、入射光を減光するマスク部と、前記マスク部よりも高い透過率で入射光を透過させる開口部とを配置した光選択手段を含み、前記制御手段は、各々の前記ズーム結像光学系に含まれる前記光選択手段につき前記面内の3以上の領域に前記光選択手段の前記開口部の形成位置をそれぞれ移動させ、各々の前記ズーム結像光学系で、前記開口部の形成位置の異なる3以上の各状態において前記物体を前記撮像素子で撮像させることにより、前記物体に関する3以上の視差画像を時分割で生成する制御を行う。
An example of an imaging apparatus according to the present invention includes an objective lens, a plurality of zoom imaging optical systems arranged in parallel, and an imaging element that captures images of the plurality of zoom imaging optical systems, in order from the object side. In the imaging apparatus including the control unit, the entrance pupils of the plurality of zoom imaging optical systems correspond to different regions of the exit pupil of the objective lens, and each of the zoom imaging optical systems includes the regardless of the zoom position of the zoom image-forming optical system keeping the entrance pupil of the zoom image-forming optical system at the same pupil position, intersects the optical axis of the zoom image-forming optical system at the location of the pupil position and the same in the plane, includes a mask portion for dimming the incident light, the light selective hand stage arranged an opening for transmitting incident light at a higher transmittance than the mask portion, said control means, each of said zooming The light selector included in the imaging optical system By respectively moving the forming position of the opening of the light selection unit into three or more regions within the surface per, in each of the zoom image-forming optical system, in 3 or more states with different formation position of the openings the Rukoto to image the object with the imaging device, performs a control for generating a time division three or more parallax images related to the object.
本発明によれば、微細な物体の立体構造を詳細に観察するのに適した撮像装置が実現する。 According to the present invention, an imaging apparatus suitable for observing a three-dimensional structure of a fine object in detail is realized.
[第1実施形態]
以下、本発明の実施形態として顕微鏡システムを説明する。
[First Embodiment]
Hereinafter, a microscope system will be described as an embodiment of the present invention.
図1は、本実施形態の顕微鏡システムの構成図である。図1に示すとおり顕微鏡システムには、ズーム顕微鏡30と、コントローラ100と、3次元ディスプレイ200と、落射照明光学系20と、連結機構40とが備えられる。
FIG. 1 is a configuration diagram of the microscope system of the present embodiment. As shown in FIG. 1, the microscope system includes a
ズーム顕微鏡30には、標本1の側から順に、対物レンズ11と、シャッタ12と、アフォーカルズーム系13と、結像光学系14と、撮像素子10とが配置される。このうちアフォーカルズーム系13と結像光学系14との間に、落射照明光学系20の一部(ハーフミラー19)が挿入される。
In the
対物レンズ11は、無限遠補正型の対物レンズであり、対物レンズ11の後側焦点面(=対物レンズ11の射出瞳)は、対物レンズ11とアフォーカルズーム系13との間に位置している。対物レンズ11の仕様は、多くの顕微鏡に適用されるものと同等であり、対物レンズ11の開口数は、例えば、0.2、0.3、0.5などと高い。対物レンズ11は、標本1から射出した光束を無限遠方に向けて結像する。
The
なお、対物レンズ11は、不図示のレボルバなどに装着されており、焦点距離の異なる複数の対物レンズの間で交換可能となっている。但し、交換可能な複数の対物レンズの間では、対物レンズの胴付面から後側焦点面までの距離が共通に設定されているものとする。この場合、対物レンズ11が交換されたとしても、対物レンズ11の射出瞳の位置は変化しない。
The
シャッタ12は、対物レンズ11の後側焦点面に配置されている。シャッタ12は、対物レンズ11の射出瞳の一部に透過率の高い開口部12a(例えば透過率が100%である開口部)を有すると共に、その瞳の他の部分に開口部12aよりも透過率の低いマスク部12b(例えば遮光率が100%であるマスク部)を有し、瞳内における開口部12aの位置が可変(瞳内におけるマスク部12bの位置が可変)な透過型マスクである。なお、3次元ディスプレイ200に表示される画像の劣化が無視できる程度に収まるのであれば、開口部12aの透過率とマスク部12bの遮光率との少なくとも一方が100%より低くても構わない。
このようなシャッタ12としては、例えば、移動又は回動可能な透過型マスク部材や、与えられた電気信号に応じて透過率分布を変化させる液晶素子などが適用可能である。なお、以下では、シャッタ12に液晶素子が適用されたと仮定する。この液晶素子を適用すれば、開口部12aの位置(マスク部12bの位置)だけでなく、開口部12aの形状(マスク部12bの形状)や、開口部12aの透過率をも自在に変化させることが可能である。
The
As such a
アフォーカルズーム系13は、シャッタ12の側から順に、正の屈折力を持つ第1レンズ群G1と、負の屈折力を持つ第2レンズ群G2と、正の屈折力を持つ第3レンズ群G3と、弱い正の屈折力を持つ第4レンズ群G4とを配置し、シャッタ12を通過した光束の径を変換して結像光学系14へと入射させる。なお、結像光学系14を組み合わせたアフォーカルズーム系13の入射瞳位置は、対物レンズ11の後側焦点面(シャッタ12の配置面)に一致している。
The
アフォーカルズーム系13のうち第2レンズ群G2、第3レンズ群G3の光軸方向の位置の組み合わせは可変であって、これらの第2レンズ群G2及び第3レンズ群G3が変倍用レンズ群である。なお、アフォーカルズーム系13は、変倍用レンズ群G2、G3が移動しても(ズーム操作が行われても)前述した入射瞳位置を保つように設計されている。よって、ズーム顕微鏡30では、アフォーカルズーム系13のズーム操作が行われても、シャッタ12がズーム顕微鏡30の瞳から外れることはない。因みに、このようなアフォーカルズーム系の例は、特開2006−178440号公報、2009−008701号公報などにも開示されている。
In the
結像光学系14は、アフォーカルズーム系13から射出した光束を集光し、撮像素子10の撮像面上に標本1の像を形成する。
The imaging
撮像素子10は、コントローラ100から与えられた駆動信号に応じて撮像面上に形成された像を撮像し、撮像した像を画像としてコントローラ100へ送出する。
The
落射照明光学系20は、光ファイバのファイバ端などからなる光源18と、拡散板G6及び可動レンズG5を順に配置した瞳位置補正光学系16と、視野絞り10cと、結像レンズ15と、ハーフミラー19とを順に配置している。落射照明光学系20の光軸は、ズーム顕微鏡30の光学系の光軸と直交しており、これらの光軸が直交する位置にハーフミラー19が位置している。
The epi-illumination
落射照明光学系20のレンズG5及び結像レンズ15は、アフォーカルズーム系13と共に、光源18の像を、アフォーカルズーム系13の入射瞳(シャッタ12の配置位置)に投影する。よって、光源18を射出し標本1へ向かう光は、対物レンズ11の集光作用によって平行光束となる。よって、標本1は、光源18を射出した光によってケーラー照明される。
Along with the
落射照明光学系20の瞳位置補正光学系16は光軸方向に移動可能であり、連結機構40を介してアフォーカルズーム系13の変倍用レンズ群G2、G3に連結されている。連結機構40は、瞳位置補正光学系16を変倍用レンズ群G2、G3に連動させることにより、光源18の像の投影位置を、アフォーカルズーム系13の入射瞳上(シャッタ12の配置位置)に保つ。よって、落射照明光学系20は、ズーム操作時にも標本1の照明状態を維持することができる。因みに、このような落射照明光学系20の例は、特開2009−008701号公報などにも開示されている。
The pupil position correcting
なお、ここでは、瞳位置補正光学系16を変倍用レンズ群G2、G3に連動させる手段として連結機構40を使用したが、連結機構40の代わりに、瞳位置補正光学系16と変倍用レンズ群G2、G3とを個別に駆動する2つのモータと、瞳位置補正光学系16及び変倍用レンズ群G2、G3を連動させるための駆動信号をそれら2つのモータへ供給する駆動回路とを使用してもよい。
Here, the
コントローラ100は、シャッタ12の開口部12aの瞳内の位置を3通り以上に移動させながら、撮像素子10を繰り返し駆動することにより、撮像素子10に対して3以上の画像を生成させる。これらの画像は、瞳内において互いにずれた3以上の部分領域の通過光束が個別に形成する画像であって、互いにずれた3以上の位置から標本1を見たときの視差画像に相当する。よって、コントローラ100は、瞳分割による3以上の視差画像を時分割で生成する。
The
ここでは、コントローラ100による瞳分割パターン(瞳分割方向及び瞳分割数の組み合わせ)を、例えば、図2(A)〜(D)に示すとおり「x方向に4分割」と仮定する。なお、「x方向」は、撮像素子10の水平ラインに対応する方向のことであり、「y方向」は、撮像素子10の垂直ラインに対応する方向のことである。
Here, it is assumed that the pupil division pattern (combination of the pupil division direction and the number of pupil divisions) by the
なお、図2に示した部分領域A1、A2、A3、A4は、瞳分割によって生じた個々の部分瞳であって、これら部分領域A1、A2、A3、A4の各々の位置及び形状は、シャッタ12における開口部12aの各撮像時の位置及び形状によって規定される(後述する図3〜図6の瞳分割パターンについても同様。)。
図2に示した瞳分割パターンによると、ズーム顕微鏡30の瞳は、x方向に並んだ等しい幅の4つの部分領域A1、A2、A3、A4に分割され、撮像素子10は、それら部分領域A1、A2、A3、A4の各々に対応する4枚の視差画像I1、I2、I3、I4を順次に生成する。
Note that the partial areas A1, A2, A3, and A4 shown in FIG. 2 are individual partial pupils generated by pupil division, and the positions and shapes of the partial areas A1, A2, A3, and A4 are the shutters. 12 is defined by the position and shape of each
According to the pupil division pattern shown in FIG. 2, the pupil of the
ここで、4つの部分領域A1、A2、A3、A4を比較すると、瞳周辺部に近い部分領域A1、A4よりも瞳中央部に近い部分領域A2、A3の方が広い面積を有しているので、後者の部分領域に対応する視差画像の方が明るくなり易い。このため、4枚の視差画像I1、I2、I3、I4の間には、(開口部12aの面積差に起因した)明るさのばらつきが生じる可能性がある。
Here, when the four partial areas A1, A2, A3, and A4 are compared, the partial areas A2 and A3 that are closer to the center of the pupil have a larger area than the partial areas A1 and A4 that are closer to the pupil periphery. Therefore, the parallax image corresponding to the latter partial area tends to be brighter. For this reason, there may be a variation in brightness (due to the area difference of the
そこで、コントローラ100は、4枚の視差画像I1、I2、I3、I4の生成時に、撮像素子10の電荷蓄積時間を制御することで、視差画像I1、I2、I3、I4の間の明るさのばらつきを抑えることが望ましい。具体的に、コントローラ100は、視差画像I2、I3の生成時における電荷蓄積時間を、視差画像I1、I4の撮像時における電荷蓄積時間よりも短く設定することが望ましい。
Therefore, the
なお、電荷蓄積時間の制御量の設定は、開口部12aの面積差に起因した明るさのばらつきだけでなく、標本1の照明ムラ等に起因した明るさのばらつきをも考慮して行われることが望ましい。このようにすれば、視差画像I1、I2、I3、I4の明るさのばらつきを確実に抑えることができる。
The control amount of the charge accumulation time is set in consideration of not only the brightness variation due to the area difference of the
続いて、コントローラ100は、以上のとおり生成された一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)を3次元ディスプレイ200に適した形式で(例えば4枚の視差画像I1、I2、I3、I4を水平方向へ並べるサイドバイサイド方式などにより)3次元ディスプレイ200へ転送することで、それら一連の視差画像を3次元ディスプレイ200へ立体表示させる。
Subsequently, the
なお、コントローラ100は、一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)の生成及び転送を繰り返し、標本1に関する立体表示を連続して行う。この生成及び転送の方式としては、例えば、以下の2種類の方式の何れかを適用することができる。
Note that the
第1の方式は、一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)が取得される度に1フレーム分のサイドバイサイド画像を生成・転送する方式である(図9(a))。この方式によると、サイドバイサイド画像の最短の更新周期は、一連の視差画像の取得に要する時間と同等になる。なお、図9に示した一連のブロック(4つのブロック)は、1フレーム分のサイドバイサイド画像の生成元となる一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)を示しており、これら視差画像の各々の符号「Ii」に対して付与された符号「−j」は、同種の視差画像の間の取得順序を示している。 The first method is a method of generating and transferring a side-by-side image for one frame every time a series of parallax images (here, four parallax images I1, I2, I3, and I4) are acquired (FIG. 9 ( a)). According to this method, the shortest update cycle of the side-by-side image is equivalent to the time required to acquire a series of parallax images. Note that the series of blocks (four blocks) shown in FIG. 9 show a series of parallax images (here, four parallax images I1, I2, I3, and I4) from which side-by-side images for one frame are generated. The code “−j” given to the code “Ii” of each of these parallax images indicates the acquisition order between the same type of parallax images.
第2の方式は、一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)の何れか一枚が取得される度に1フレーム分のサイドバイサイド画像を生成・転送する方式である(図9(b))。この方式では、サイドバイサイド画像の生成元となる一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)をメモリへ蓄積し、一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)の何れか1枚が取得される度に、メモリの更新と、サイドバイサイド画像の生成・転送とが行われる。 The second method is a method of generating and transferring a side-by-side image for one frame every time one of a series of parallax images (here, four parallax images I1, I2, I3, and I4) is acquired. Yes (FIG. 9B). In this method, a series of parallax images (here, four parallax images I1, I2, I3, and I4) that are generation sources of side-by-side images are accumulated in a memory, and a series of parallax images (here, four parallax images I1) are stored. , I2, I3, and I4), the memory is updated and the side-by-side image is generated and transferred each time one is acquired.
よって、この第2の方式では、第1フレームのサイドバイサイド画像の生成元となる一連の視差画像と、第2フレームのサイドバイサイド画像の生成元となる一連の視差画像との間では、1枚目の視差画像以外は共通となり、第2フレームのサイドバイサイド画像の生成元となる一連の視差画像と第3フレームのサイドバイサイド画像の生成元となる一連の視差画像との間では、2枚目の視差画像以外は共通となる(以降のフレームも同様)。しかし、この第2の方式によると、サイドバイサイド画像の最短の更新周期を、1枚の視差画像の取得に要する時間と同等にすることができる。 Therefore, in this second method, the first frame is between the series of parallax images that are the generation source of the side-by-side image of the first frame and the series of parallax images that is the generation source of the side-by-side image of the second frame. Except for the second parallax image, a non-parallax image is common, and a series of parallax images from which the second frame side-by-side image is generated and a series of parallax images from which the third frame side-by-side image is generated Are common (the same applies to subsequent frames). However, according to the second method, the shortest update cycle of the side-by-side image can be made equal to the time required to acquire one parallax image.
なお、コントローラ100によるサイドバイサイド画像の転送レートは、例えば、1フレームあたり1/30秒などと高速で行われるものとする。
In addition, the transfer rate of the side-by-side image by the
3次元ディスプレイ200は、ズーム顕微鏡30の瞳分割パターン(ここではx方向に4分割)に対応した多眼型の裸眼型3次元ディスプレイであり、コントローラ100から転送される一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)をリアルタイムで立体表示する。この立体表示の分離方式には、例えば、パララスクバリア方式、レンチキュラーレンズ方式、マイクロレンズアレイ方式などが適用可能である。
The three-
3次元ディスプレイ200の画面に配列された多数のブロックの各々は、一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)の間で互いに対応する一連の画素(ここでは4つの視差画素)を、ズーム顕微鏡30の瞳分割パターン(ここではx方向に4分割)に従って配列しており、そのブロックの射出側には、ブロック内の各視差画素からの射出光束の各々の広がり角度を制限する分離部材(バリア又はレンズ)が設けられている。
Each of a large number of blocks arranged on the screen of the three-
具体的には、一連の視差画像I1、I2、I3、I4の間で座標(i,j)の共通する一連の視差画素をI1(i,j)、I2(i,j)、I3(i,j)、I4(i,j)とおくと、画面上で座標(i、j)に位置するブロックには、それら一連の視差画素I1(i,j)、I2(i,j)、I3(i,j)、I4(i,j)が水平方向へ並べて配列される。 Specifically, a series of parallax pixels having coordinates (i, j) between a series of parallax images I1, I2, I3, and I4 are represented by I1 (i, j), I2 (i, j), I3 (i , J), I4 (i, j), the block located at the coordinates (i, j) on the screen has a series of parallax pixels I1 (i, j), I2 (i, j), I3 (I, j) and I4 (i, j) are arranged side by side in the horizontal direction.
これによって、3次元ディスプレイ200から一定距離に居るユーザの一方の眼には、或る1枚の視差画像のみが見えることとなり、他方の眼には、その視差画像に隣接する1枚の視差画像のみが見えることになる。つまり、3次元ディスプレイ200は、一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)を分離して立体表示する。
As a result, only one certain parallax image is visible to one eye of the user at a certain distance from the three-
また、3次元ディスプレイ200の画面上には、不図示のタッチパネルが敷設されており、ユーザはそのタッチパネルを操作することにより、各種の指示をコントローラ100へ入力することができる。ユーザがコントローラ100へ入力可能な指示の中には、例えば、ズーム顕微鏡30のモードを2Dモードと3Dモードとの間で切り替える指示や、画像生成の開始指示(キャプチャ指示)などがある。
A touch panel (not shown) is laid on the screen of the three-
2Dモードとは、コントローラ100が瞳分割を行わずに(瞳全域を開口部12aとして)1枚の画像のみを生成するモードであり、3Dモードとは、コントローラ100が瞳分割を行い一連の視差画像(ここでは4枚の視差画像I1、I2、I3、I4)を生成するモードである。なお、3次元ディスプレイ200が4枚のサイドバイサイド方式に対応していた場合には、2Dモードにおけるコントローラ100は、生成した1枚の画像を水平方向に4枚並べて3次元ディスプレイ200へ転送すればよい。
The 2D mode is a mode in which the
以上、本実施形態の顕微鏡システムは、物体側(標本1の側)から順に、対物レンズ11と、ズーム結像光学系(アフォーカルズーム系13及び結像光学系14)と、撮像素子10とを配置したズーム顕微鏡30を備え、ズーム結像光学系は、ズーム結像光学系のズームポジションに関わらずズーム顕微鏡30の瞳位置を不動に保つ。
As described above, the microscope system according to this embodiment includes the
また、本実施形態の顕微鏡システムは、瞳位置に配置され、瞳の一部に開口部12aを有し、かつ瞳の他の部分にマスク部12bを有したマスク手段(シャッタ12)と、瞳内の3以上の位置の間でマスク手段の開口部の形成位置を移動させながら撮像素子10を繰り返し駆動することで、標本1に関する3以上の視差画像を時分割で生成する制御手段(コントローラ100)とを備える。
Further, the microscope system of the present embodiment includes a mask unit (shutter 12) that is disposed at a pupil position, has an
すなわち、本実施形態の顕微鏡システムは、3以上の視差画像を生成するために、ズーム顕微鏡30の瞳分割を行い、しかも、ズーム顕微鏡30の瞳位置はズーム操作によらず不動に設定される。このため、本実施形態の顕微鏡システムでは、ズーム操作によらず3以上の視差画像の各々を適正に生成することができる。
したがって、本実施形態の顕微鏡システムのユーザは、標本1を3通り以上の角度から観察することと、標本1を任意の倍率で観察することとの双方が可能である。
また、本実施形態の顕微鏡システムでは、3以上の視差画像の間の明るさのばらつきを抑制するので、ユーザの左右の眼が同時に観察する1対の視差画像の明るさのバランスを保つと共に、ユーザが3次元ディスプレイ200の観察角度を変化させたときに感じる明るさのちらつきを防ぐことができる。
That is, the microscope system of the present embodiment performs pupil division of the
Therefore, the user of the microscope system of the present embodiment can both observe the specimen 1 from three or more angles and observe the specimen 1 at an arbitrary magnification.
Further, in the microscope system of the present embodiment, since the variation in brightness among three or more parallax images is suppressed, while maintaining the balance of the brightness of a pair of parallax images observed by the user's left and right eyes simultaneously, It is possible to prevent the brightness flicker that the user feels when the viewing angle of the three-
また、本実施形態の顕微鏡システムでは、ズーム結像光学系(アフォーカルズーム系13及び結像光学系14)の少なくとも一部を介して光源18の像を瞳位置へ投影する落射照明光学系20を備え、この落射照明光学系20は、ズーム結像光学系のズームポジションに関わらず光源と瞳位置との間の共役関係を維持する。
In the microscope system of the present embodiment, the incident illumination
よって、本実施形態の顕微鏡システムでは、3以上の視差画像の生成時の照明状態(ケーラー照明)を、ズーム操作によらず適正に保つことができる。 Therefore, in the microscope system of the present embodiment, the illumination state (Kohler illumination) at the time of generating three or more parallax images can be appropriately maintained regardless of the zoom operation.
[変形例]
なお、本実施形態の顕微鏡システムでは、3以上の視差画像の間の明るさのばらつきを抑制するために、それら視差画像の生成時における撮像素子10の電荷蓄積時間を制御したが、撮像素子10の電荷蓄積時間と、撮像素子10のゲインと、シャッタ12の開口率と、標本1から撮像素子10へ向かう観察光の強度と、標本1を照明する照明光の強度と、のうち少なくとも1つを制御してもよい。
また、シャッタ12(ここでは透過型マスク)の開口率を制御するためには、開口部12aのサイズと開口部12aの透過率との組み合わせを制御すればよい。
また、観察光の強度を制御するためには、標本1から射出した観察光の光路と、光源18から射出した照明光の光路とのうち、前者の単独光路(ハーフミラー19から撮像素子10までの光路)の何れかの箇所に、透過率可変のフィルタや、光路を開閉するシャッタなどの光学素子を配置し、それを制御すればよい。
また、照明光の強度を制御するためには、標本1から射出した観察光の光路と、光源18から射出した照明光の光路とのうち、後者の単独光路(光源18からハーフミラー19までの光路)の何れかの箇所に、透過率可変のフィルタや、光路を開閉するシャッタなどの光学素子を配置し、それを制御すればよい。
また、本実施形態の顕微鏡システムでは、3以上の視差画像の間の明るさのばらつきを抑制するために、それら視差画像の生成パラメータを制御したが、生成された3以上の視差画像のうち少なくとも1つの輝度を補正してもよい。
[Modification]
In the microscope system of the present embodiment, the charge accumulation time of the
Further, in order to control the aperture ratio of the shutter 12 (here, the transmission mask), the combination of the size of the
In order to control the intensity of the observation light, the former single optical path (from the
Further, in order to control the intensity of the illumination light, the latter single optical path (from the
Further, in the microscope system of the present embodiment, the generation parameters of the parallax images are controlled in order to suppress the brightness variation among the three or more parallax images, but at least of the generated three or more parallax images. One luminance may be corrected.
また、本実施形態の顕微鏡システムでは、瞳分割方向をx方向(水平方向)のみに設定したが(図2参照)、瞳分割方向を複数方向に設定してもよい。
例えば、本実施形態の顕微鏡システムでは、瞳分割パターンを、図3(A)〜(H)に示すとおり「x方向に4分割、かつy方向に4分割」としてもよい。
In the microscope system of this embodiment, the pupil division direction is set only in the x direction (horizontal direction) (see FIG. 2), but the pupil division direction may be set in a plurality of directions.
For example, in the microscope system of the present embodiment, the pupil division pattern may be “four divisions in the x direction and four divisions in the y direction” as shown in FIGS.
図3に示した瞳分割パターンによると、ズーム顕微鏡30の瞳は、x方向に並んだ等しい幅の4つの部分領域A1、A2、A3、A4に分割され、撮像素子10は、それら部分領域A1、A2、A3、A4の各々に対応する4枚の視差画像I1、I2、I3、I4を順次に生成すると共に、ズーム顕微鏡30の瞳は、y方向に並んだ等しい幅の4つの部分領域A5、A6、A7、A8に分割され、撮像素子10は、それら部分領域A5、A6、A7、A8の各々に対応する4枚の視差画像I5、I6、I7、I8を順次に生成する。
According to the pupil division pattern shown in FIG. 3, the pupil of the
なお、この瞳分割パターンが採用される場合は、x方向の瞳分割とy方向の瞳分割とが連続して行われ、8枚の視差画像I1、I2、I3、I4、I5、I6、I7、I8が連続して生成されることが望ましい。これらの8枚の視差画像I1、I2、I3、I4、I5、I6、I7、I8が、(同時に表示されるべき)一連の視差画像として3次元ディスプレイ200へ転送される。
例えば、一連の視差画像I1、I2、I3、I4、I5、I6、I7、I8の間で座標(i,j)の共通する8つの視差画素をI1(i,j)、I2(i,j)、I3(i,j)、I4(i,j)、I5(i,j)、I6(i,j)、I7(i,j)、I8(i,j)とおくと、画面上で座標(i、j)に位置するブロックには、4つの視差画素I1(i,j)、I2(i,j)、I3(i,j)、I4(i,j)が水平方向へ並べて配列され、4つの視差画素I5(i,j)、I6(i,j)、I7(i,j)、I8(i,j)が垂直方向へ並べて配列される。
When this pupil division pattern is adopted, pupil division in the x direction and pupil division in the y direction are performed continuously, and eight parallax images I1, I2, I3, I4, I5, I6, I7 , I8 is preferably generated continuously. These eight parallax images I1, I2, I3, I4, I5, I6, I7, and I8 are transferred to the three-
For example, eight parallax pixels having a common coordinate (i, j) between a series of parallax images I1, I2, I3, I4, I5, I6, I7, and I8 are represented by I1 (i, j), I2 (i, j ), I3 (i, j), I4 (i, j), I5 (i, j), I6 (i, j), I7 (i, j), I8 (i, j) In the block located at the coordinates (i, j), four parallax pixels I1 (i, j), I2 (i, j), I3 (i, j), and I4 (i, j) are arranged in the horizontal direction. The four parallax pixels I5 (i, j), I6 (i, j), I7 (i, j), and I8 (i, j) are arranged side by side in the vertical direction.
なお、このように、2以上の方向に亘る視差画像を分離して立体表示する3次元ディスプレイとしては、例えば、特開平6−214323号公報に開示された3次元ディスプレイを適用することができる。因みに、特開平6−214323号公報に開示された3次元ディスプレイでは、分離方式として、母線方向を90°回転させて重ねた2枚のレンチキュラーレンズが採用されているが、2枚のレンチキュラーレンズの代わりに、マイクロレンズアレイを使用してもよいことは言うまでもない。
なお、図3に示した瞳分割パターンによると、一連の視差画像の間で瞳分割サイズ(開口部12aのサイズ)が非共通となるが、図4に点線で示すとおり瞳の最大径を円形ではなく長方形としておけば、一連の視差画像の間で瞳分割サイズ(開口部12aのサイズ)を共通化することができる。このような変形は、図2の例についても同様に適用できる。
また、図3、図4の何れかに示した例では、開口部12aをx方向へ移動させるときには開口部12aのy方向の幅を最大(瞳の最大径相当)に設定し、開口部12aをy方向へ移動させるときには開口部12aのx方向の幅を最大(瞳の最大径相当)に設定したが、例えば、図5に示すように、部分領域(開口部12a)のxy方向の幅を十分に小さく設定し、開口部12aをxy方向にかけて移動させてもよい。この場合は、一連の視差画像の明るさが全体的に不足する可能性はあるものの、一連の視差画像の間で互いの開口部12aを完全に分離する(開口部同士の重複を無くす)ことができる。
或いは、図6に示すように、瞳中心に頂点を有した扇形の部分領域(開口部12a)を使用し、扇形の開口部12aを、瞳中心の周りに回動させることで、瞳分割を図ってもよい。この場合も、一連の視差画像の間で互いの開口部12aを完全に分離する(開口部同士の重複を無くす)ことができる。
As described above, for example, a three-dimensional display disclosed in Japanese Patent Laid-Open No. 6-214323 can be applied as a three-dimensional display that separates parallax images in two or more directions and stereoscopically displays them. Incidentally, in the three-dimensional display disclosed in Japanese Patent Application Laid-Open No. 6-214323, as a separation method, two lenticular lenses that are overlapped by rotating the busbar direction by 90 ° are employed. It goes without saying that a microlens array may be used instead.
According to the pupil division pattern shown in FIG. 3, the pupil division size (size of the
In the example shown in either FIG. 3 or FIG. 4, when the
Alternatively, as shown in FIG. 6, pupil division is performed by using a sectoral partial area (opening 12a) having a vertex at the center of the pupil and rotating the
因みに、図5、図6に示す例のように一連の視差画像の間で開口部12aの形状を共通化した場合には、シャッタ12として、開口パターンが不変のマスク部材を使用し、それを移動又は回転させるだけで瞳分割を行うことができる。
Incidentally, when the shape of the
また、以上の説明では、開口パターンが可変の液晶素子と、開口パターンが不変のマスク部材との何れか一方を使用することを想定したが、両者を組み合わせて使用してもよいことは言うまでもない。 In the above description, it is assumed that either one of a liquid crystal element having a variable aperture pattern and a mask member having an unchanged aperture pattern is used, but it goes without saying that both may be used in combination. .
また、上述した実施形態のズーム顕微鏡30は、シャッタ12から撮像素子10までの光学系(「瞳分割光学系」と称す。)を1系統しか有していないが、例えば図7に示すとおり瞳分割光学系を複数系統にしてもよい。
Further, the
図7は、瞳分割光学系の系統数を2としたズーム顕微鏡の例であり、2系統の瞳分割光学系は、共通の対物レンズ11の射出瞳のうち互いに重複しない2つの領域を個別に瞳分割するものである。
この場合、図8に示すとおり対物レンズ11の射出瞳P1の内部に2系統の瞳分割光学系の入射瞳P2、P3が重複しないように並べられ、瞳P1のうち瞳P2、P3から外れた領域には余分な光が通過しないよう予め遮光部(マスク部)が設けられており、瞳P2、P3には、2系統の瞳分割光学系のシャッタ12がそれぞれ設けられる(但し、これら遮光部と2系統のシャッタとの少なくとも2つを1つのシャッタで構成してもよいことはいうまでもない。)。
FIG. 7 is an example of a zoom microscope in which the number of pupil division optical systems is two. The two pupil division optical systems individually separate two regions of the exit pupil of the common
In this case, as shown in FIG. 8, the entrance pupils P2 and P3 of the two pupil splitting optical systems are arranged in the exit pupil P1 of the
この場合、2系統の瞳分割光学系を並行して駆動すれば、1対の視差画像を並行して生成する(つまり同時に生成する)ことができる。例えば、2系統の瞳分割光学系の各々の瞳分割パターンを図2の例と同様に設定したならば、x方向(水平方向)に亘る8枚の視差画像を4ショットの撮像で生成することができる。 In this case, if the two pupil division optical systems are driven in parallel, a pair of parallax images can be generated in parallel (that is, generated simultaneously). For example, if the respective pupil division patterns of the two systems of pupil division optical systems are set in the same manner as in the example of FIG. 2, eight parallax images in the x direction (horizontal direction) are generated by capturing four shots. Can do.
なお、ここでは瞳分割光学系を2系統にすることを説明したが、3系統以上にすることで、3以上の視差画像を並行して生成してもよいことは言うまでもない。 Although the description has been given here of the case where the pupil division optical system is two systems, it goes without saying that three or more parallax images may be generated in parallel by using three or more systems.
また、本実施形態の顕微鏡システムの光学系部分の全部は、屈折型で構成されているが、光学系部分の一部又は全部は、反射型で構成されてもよい。
例えば、シャッタ12として、対物レンズ11の射出瞳の一部に反射率の高い開口部12aを有すると共に、その瞳の他の部分に開口部12aよりも反射率の低いマスク部12b(反射率がゼロであるマスク部12b)を有し、瞳内における開口部12aの位置が可変(瞳内におけるマスク部12bの位置が可変)な反射型マスクを使用してもよい。
このようなシャッタ12としては、例えば、移動又は回動可能な反射型マスク部材や、与えられた電気信号に応じて反射率分布を変化させるディジタルミラーデバイス(DMD)などが適用可能である。このディジタルミラーデバイスを適用すれば、開口部12aの位置(マスク部12bの位置)だけでなく、開口部12aの形状(マスク部12bの形状)や、開口部12aの反射率をも自在に変化させることが可能であるので、前述した液晶素子と同様の使い方が可能である。
例えば、シャッタ12(反射型マスク)の開口率を制御するためには、開口部12aのサイズと開口部12aの反射率との組み合わせを制御すればよい。
Further, although all of the optical system portion of the microscope system of the present embodiment is configured as a refractive type, a part or all of the optical system portion may be configured as a reflective type.
For example, the
As such a
For example, in order to control the aperture ratio of the shutter 12 (reflection mask), the combination of the size of the
また、本実施形態では、標本1をマクロ観察する顕微鏡システムに対して本発明を適用したが、一般の被写体をマクロ観察する撮影システムにも本発明は適用が可能である。 In the present embodiment, the present invention is applied to a microscope system that performs macro observation of the specimen 1. However, the present invention can also be applied to an imaging system that performs macro observation of a general subject.
30…ズーム顕微鏡、100…コントローラ、200…3次元ディスプレイ、20…落射照明光学系、40…連結機構40、1…標本、11…対物レンズ、12…シャッタ、13…アフォーカルズーム系、14…結像光学系、10…撮像素子
DESCRIPTION OF
Claims (8)
複数の前記ズーム結像光学系の入射瞳は、前記対物レンズの射出瞳のそれぞれ異なる領域に対応し、
各々の前記ズーム結像光学系は、
前記ズーム結像光学系のズームポジションに関わらず前記ズーム結像光学系の入射瞳を同一の瞳位置に保ち、
前記瞳位置と同一の位置において前記ズーム結像光学系の光軸と交差する面内に、入射光を減光するマスク部と、前記マスク部よりも高い透過率で入射光を透過させる開口部とを配置した光選択手段を含み、
前記制御手段は、
各々の前記ズーム結像光学系に含まれる前記光選択手段につき前記面内の3以上の領域に前記光選択手段の前記開口部の形成位置をそれぞれ移動させ、
各々の前記ズーム結像光学系で、前記開口部の形成位置の異なる3以上の各状態において前記物体を前記撮像素子で撮像させることにより、前記物体に関する3以上の視差画像を時分割で生成する制御を行う
ことを特徴とする撮像装置。 In order from the object side, an objective lens, a plurality of zoom imaging optical systems arranged in parallel, and an imaging device that respectively images the images of the plurality of zoom imaging optical systems are arranged, and an imaging apparatus including a control unit There,
The entrance pupils of the plurality of zoom imaging optical systems correspond to different areas of the exit pupil of the objective lens,
Each of the zoom imaging optical systems
Regardless of the zoom position of the zoom image-forming optical system keeping the entrance pupil of the zoom image-forming optical system at the same pupil position,
The pupil position and the in-plane that intersects the optical axis of the zoom image-forming optical system in the same position, an opening for transmitting incident light and a mask portion for dimming the incident light, at a higher transmittance than the mask portion includes a light selection hand stages arranged and parts,
The control means includes
Formation position of the openings of the light selection unit into three or more regions of the inner surface per said light selection means included in each of the zoom image-forming optical system respectively to move,
In each of the zoom image-forming optical system, generating the object in three or more states with different formation position of the openings by Rukoto it is imaged by the imaging device, in a time division three or more parallax images related to the object Control
Imaging device comprising a call.
前記3以上の視差画像の間の明るさのばらつきを抑制する抑制手段を更に備える
ことを特徴とする撮像装置。 The imaging device according to claim 1,
An imaging apparatus, further comprising suppression means for suppressing variation in brightness among the three or more parallax images.
前記抑制手段は、
前記ばらつきを抑制するために、前記3以上の視差画像の生成時における前記撮像素子の電荷蓄積時間、前記撮像素子のゲイン、前記光選択手段の開口率、前記物体から前記撮像素子へ向かう観察光の強度、前記物体を照明する照明光の強度、のうち少なくとも1つを制御する
ことを特徴とする撮像装置。 The imaging device according to claim 2,
The suppression means is
In order to suppress the variation, the charge accumulation time of the image sensor at the time of generating the three or more parallax images, the gain of the image sensor, the aperture ratio of the light selection means, the observation light traveling from the object to the image sensor At least one of the intensity of the illumination light and the intensity of the illumination light that illuminates the object.
前記抑制手段は、
前記ばらつきを抑制するために、前記3以上の視差画像のうち少なくとも1つの輝度を補正する
ことを特徴とする撮像装置。 The imaging device according to claim 2,
The suppression means is
In order to suppress the variation, at least one luminance among the three or more parallax images is corrected.
前記光選択手段は、前記開口部の形成位置が異なる状態のときに前記開口部の開口面積が異なり、 The light selection means has a different opening area when the opening is formed at different positions.
前記抑制手段は、前記開口部の開口面積の差を相殺するように、前記視差画像の間で明るさのばらつきを抑制する The suppression means suppresses variations in brightness among the parallax images so as to cancel out a difference in opening area of the opening.
ことを特徴とする撮像装置。 An imaging apparatus characterized by that.
前記制御手段は、
前記開口部の移動方向を複数方向に設定する
ことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5 ,
The control means includes
The moving direction of the opening is set in a plurality of directions.
前記光選択手段は、
透過率分布が可変の液晶素子である
ことを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 6 ,
The light selection means includes
An imaging apparatus characterized by being a liquid crystal element having a variable transmittance distribution.
前記ズーム結像光学系の少なくとも一部を介して光源の像を前記瞳位置へ投影する落射照明光学系を更に備え、
前記落射照明光学系は、
前記ズーム結像光学系のズームポジションに関わらず前記光源と前記瞳位置との間の共役関係を維持する
ことを特徴とする撮像装置。
In the imaging device according to any one of claims 1 to 7 ,
An epi-illumination optical system that projects an image of a light source onto the pupil position via at least a part of the zoom imaging optical system;
The epi-illumination optical system is
An imaging apparatus, wherein a conjugate relationship between the light source and the pupil position is maintained regardless of a zoom position of the zoom imaging optical system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012030651A JP5857782B2 (en) | 2012-02-15 | 2012-02-15 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012030651A JP5857782B2 (en) | 2012-02-15 | 2012-02-15 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015246500A Division JP2016035604A (en) | 2015-12-17 | 2015-12-17 | Imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013167746A JP2013167746A (en) | 2013-08-29 |
JP5857782B2 true JP5857782B2 (en) | 2016-02-10 |
Family
ID=49178186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012030651A Active JP5857782B2 (en) | 2012-02-15 | 2012-02-15 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5857782B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014114468A1 (en) | 2014-10-06 | 2016-04-07 | Leica Microsystems (Schweiz) Ag | microscope |
JP6797564B2 (en) * | 2016-06-01 | 2020-12-09 | オリンパス株式会社 | Phase object visualization device, phase object visualization method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3753201B2 (en) * | 1996-07-22 | 2006-03-08 | 富士写真フイルム株式会社 | Parallax image input device |
JP2001061165A (en) * | 1999-08-20 | 2001-03-06 | Sony Corp | Lens device and camera |
JP2002010295A (en) * | 2000-06-21 | 2002-01-11 | Toshiba Tec Corp | Multi-viewpoint image input device |
JP2003060947A (en) * | 2001-08-15 | 2003-02-28 | Canon Inc | Imaging device, imaging lens device, stereoscopic imaging device and stereoscopic imaging lens device |
JP2009008701A (en) * | 2007-06-26 | 2009-01-15 | Nikon Corp | Illuminator and zoom microscope with this illuminator |
JP2010117624A (en) * | 2008-11-14 | 2010-05-27 | Nikon Corp | Illuminating device, and zoom microscope equipped with the illuminating device |
JP5621303B2 (en) * | 2009-04-17 | 2014-11-12 | ソニー株式会社 | Imaging device |
-
2012
- 2012-02-15 JP JP2012030651A patent/JP5857782B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013167746A (en) | 2013-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8547422B2 (en) | Multi-user autostereoscopic display | |
US9910257B2 (en) | Stereoscopic microscope | |
EP3123234B1 (en) | Stereoscopic viewing apparatus | |
JP2013025298A (en) | Stereoscopic image pickup device | |
JP4508569B2 (en) | Binocular stereoscopic observation device, electronic image stereoscopic microscope, electronic image stereoscopic observation device, electronic image observation device | |
JP2014145968A (en) | Surgical microscope system | |
JP7409641B2 (en) | head mounted display | |
JP5857782B2 (en) | Imaging device | |
JP2001215441A (en) | Image observation device | |
JP2014102419A (en) | Electronic image display device | |
JP2012145747A (en) | Stereo microscope apparatus | |
JP2006208407A (en) | Stereoscopic microscope system | |
JP4343509B2 (en) | Stereo microscope | |
JP4970798B2 (en) | Stereoscopic image observation device | |
JP2001066513A5 (en) | ||
JP2011133672A (en) | Display device and display method | |
JP5487935B2 (en) | Display device and display method | |
JP2016035604A (en) | Imaging apparatus | |
JPH08314034A (en) | Stereoscopic picture displaying method and device therefor | |
JP2010164857A (en) | Stereoscopic image photographing device | |
JP2002156599A (en) | Image observation apparatus and image observation system using the same | |
JP3670339B2 (en) | Stereo microscope | |
JP4302199B2 (en) | Stereo microscope that can be observed by multiple people | |
JP6043639B2 (en) | Surgical microscope system | |
JP5608996B2 (en) | ADJUSTMENT DEVICE AND ADJUSTMENT METHOD FOR ADJUSTING A STEREO IMAGE DISPLAY DEVICE, AND ADJUSTMENT DEVICE AND ADJUSTMENT METHOD FOR ADJUSTING A STEREO IMAGE CAPTURE DEVICE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5857782 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |