JP2014149484A - Imaging system and method for controlling the same - Google Patents
Imaging system and method for controlling the same Download PDFInfo
- Publication number
- JP2014149484A JP2014149484A JP2013019272A JP2013019272A JP2014149484A JP 2014149484 A JP2014149484 A JP 2014149484A JP 2013019272 A JP2013019272 A JP 2013019272A JP 2013019272 A JP2013019272 A JP 2013019272A JP 2014149484 A JP2014149484 A JP 2014149484A
- Authority
- JP
- Japan
- Prior art keywords
- imaging system
- focus
- subject
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 description 18
- 239000006059 cover glass Substances 0.000 description 15
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 12
- 230000001575 pathological effect Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 229910052742 iron Inorganic materials 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001000 micrograph Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 206010027540 Microcytosis Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 208000022440 X-linked sideroblastic anemia 1 Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000006278 hypochromic anemia Diseases 0.000 description 1
- 230000010438 iron metabolism Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、焦点位置を変えながら複数回の撮影を行うことにより、被写体内の複数のレイヤーの画像を取得可能な撮像システムに関し、特に、病理標本の顕微鏡像をデジタル化するためのシステムに関する。 The present invention relates to an imaging system capable of acquiring images of a plurality of layers in a subject by performing imaging a plurality of times while changing a focal position, and more particularly to a system for digitizing a microscopic image of a pathological specimen.
病気の診断や原因の究明を目的として、手術または検査で採取された臓器、組織、細胞などの標本を顕微鏡を用いて診断する病理検査と呼ばれる検査がある。近年では、病理標本の顕微鏡像を高感度デジタル撮像装置によって撮影し、得られた高解像のデジタル画像をディスプレイで観察・診断するシステムが実用化され、そのニーズも増加している。このようなシステムは、バーチャルスライドシステムやデジタルパソロジーシステムと呼ばれる。 For the purpose of diagnosing a disease and investigating the cause, there is an examination called a pathological examination in which a specimen such as an organ, tissue, or cell collected by surgery or examination is diagnosed using a microscope. In recent years, a system for taking a microscopic image of a pathological specimen with a high-sensitivity digital imaging apparatus and observing and diagnosing the obtained high-resolution digital image on a display has been put into practical use, and the needs thereof are increasing. Such a system is called a virtual slide system or a digital pathology system.
病理検査の種類の一つに、細胞診と呼ばれる検査がある。細胞診では、病変部から剥がれて痰、尿などに混じった細胞や、注射針を病変部に刺し吸引することで採取された細胞などに、染色を施して病理標本を作成する。このような病理標本はある程度の厚みを持っているため、標本の表面だけでなく、光軸方向(厚み方向又は深さ方向)の様々な深さに対する観察・検査を行う必要がある。 One type of pathology test is a test called cytology. In cytodiagnosis, a pathological specimen is prepared by staining a cell that has been peeled off from a lesion and mixed with sputum or urine, or a cell collected by inserting a needle into the lesion and sucking it. Since such a pathological specimen has a certain thickness, it is necessary to observe and inspect not only the specimen surface but also various depths in the optical axis direction (thickness direction or depth direction).
光軸方向の焦点位置を少しずつずらしながら標本を複数回撮影することで、標本内の異なる深さの複数枚の画像を取得する、という方法が知られている。この方法はZスタックと呼ばれ、得られた画像群はZスタック画像、個々の画像はレイヤー画像とも呼ばれる。特許文献1には、Zスタックにおける焦点の移動ピッチを適切に設定するために、標本の観察のために用いられる光の波長と顕微鏡の対物レンズの開口数とから焦点の移動ピッチを決定することが開示されている。 There is known a method of acquiring a plurality of images at different depths in a sample by photographing the sample a plurality of times while gradually shifting the focal position in the optical axis direction. This method is called a Z stack, and the obtained image group is also called a Z stack image, and individual images are also called layer images. In Patent Document 1, in order to appropriately set the focal movement pitch in the Z stack, the focal movement pitch is determined from the wavelength of light used for specimen observation and the numerical aperture of the objective lens of the microscope. Is disclosed.
標本の中に、小球性低色素性貧血の原因(鉄代謝の病態)の診断のために行う鉄染色を施したものがある。この標本では、赤色に染色された多量のタンパク質粒子の中に、青色に染色された微量の鉄成分が存在している。この標本では、青色に染色された鉄成分が診断において注目すべき物体(以下では診断対象物と呼ぶ)であって詳細に観察する必要がある。しかしながら診断対象物である鉄成分が微量であるため、特許文献1の方法のように一定のピッチで焦点位置を移動させながら撮像した場合には、鉄成分が合焦範囲に入らないケースがある。また、オートフォーカス機能によってフォーカスの当たる位置を探索しようとしても、視野内に多量に存在するタンパク質粒子にフォーカスが当たってしまうため、目的の鉄成分にフォーカスが当っている位置を特定する事は難しい。 Some specimens have been iron-stained to diagnose the cause of microcytic hypochromic anemia (the pathology of iron metabolism). In this specimen, a small amount of iron components stained in blue are present in a large amount of protein particles stained in red. In this specimen, the iron component stained in blue is an object to be noticed in diagnosis (hereinafter referred to as a diagnostic object) and needs to be observed in detail. However, since the iron component which is a diagnostic object is very small, there is a case where the iron component does not enter the in-focus range when imaging is performed while moving the focal position at a constant pitch as in the method of Patent Document 1. . Also, even if you try to search for the focus position using the autofocus function, it will be difficult to identify the position where the target iron component is focused because the protein particles that are present in large amounts in the field of view will be focused. .
このように、複数種類の物体を含み、且つ、注目すべき診断対象物の割合が少ない標本が被写体となる場合には、一定のピッチで焦点位置を移動させると、診断対象物に焦点の合っていない(診断対象物がボケた)画像が得られる可能性が高い。また、オートフォーカスを実行しても、目的の診断対象物に焦点を合わせることが難しいという課題がある。 As described above, when a specimen that includes a plurality of types of objects and has a small proportion of the diagnostic object to be noticed is a subject, if the focal position is moved at a constant pitch, the diagnostic object is focused. There is a high possibility that an image that is not (the diagnostic object is blurred) will be obtained. Further, there is a problem that it is difficult to focus on a target diagnostic object even if autofocus is executed.
本発明はこのような課題に鑑み、光軸方向の複数の焦点位置で被写体を撮影する場合に、被写体中の注目すべき対象物に焦点の合った画像が得られるようにするための技術を提供することを目的とする。 In view of such problems, the present invention provides a technique for obtaining an image focused on an object to be noted in a subject when the subject is photographed at a plurality of focal positions in the optical axis direction. The purpose is to provide.
本発明の第1態様は、光軸方向の焦点位置を変えながら被写体を複数回撮影することにより、前記被写体内の複数のレイヤーの画像を取得する撮像システムであって、前記被写体に含まれる複数種類の物体のうち注目すべき対象物を特定するための情報を設定する設定手段と、前記設定手段により設定された情報に基づいて、各レイヤーにおいて前記対象物に対し焦点の合った画像が得られるように、各レイヤーを撮影するときの光軸方向の焦点位置を調整する制御手段と、を有する撮像システムである。 A first aspect of the present invention is an imaging system that acquires images of a plurality of layers in the subject by photographing the subject a plurality of times while changing the focal position in the optical axis direction, and includes a plurality of the subjects included in the subject Based on the setting means for setting information for identifying the target object of interest among the types of objects and the information set by the setting means, an image focused on the target object in each layer is obtained. As described above, the imaging system includes control means for adjusting the focal position in the optical axis direction when each layer is imaged.
本発明の第2態様は、光軸方向の焦点位置を変えながら被写体を複数回撮影することにより、前記被写体内の複数のレイヤーの画像を取得する撮像システムの制御方法であって、前記被写体に含まれる複数種類の物体のうち注目すべき対象物を特定するための情報を設定する設定ステップと、前記設定ステップにより設定された情報に基づいて、各レイヤーにおいて前記対象物に対し焦点の合った画像が得られるように、各レイヤーを撮影するときの光軸方向の焦点位置を調整する制御ステップと、を有する撮像システムの制御方法である。 According to a second aspect of the present invention, there is provided an imaging system control method for acquiring images of a plurality of layers in a subject by photographing the subject a plurality of times while changing a focal position in an optical axis direction. A setting step for setting information for identifying a target object of interest among a plurality of types of included objects, and the target in each layer is focused based on the information set by the setting step And a control step of adjusting a focal position in the optical axis direction when each layer is photographed so that an image is obtained.
本発明によれば、光軸方向の複数の焦点位置で被写体を撮影する場合に、被写体中の注目すべき対象物に焦点の合った画像を得ることができる。 According to the present invention, when a subject is photographed at a plurality of focal positions in the optical axis direction, it is possible to obtain an image focused on an object to be noted in the subject.
本発明は、光軸方向の焦点位置を変えながら被写体を複数回撮影することにより、被写体内の異なる深さ位置(レイヤー)の画像を取得する機能(Zスタック機能)を有する撮像システムおよびその制御方法に関するものである。従来は、各レイヤーの焦点位置を等間隔に設定していたのに対し、本発明では、各レイヤーにおいて所望の対象物に焦点が合うように各レイヤーの焦点位置を適宜調整する。このとき、焦点を合わせるべき対象物を特定するための情報を予めシステムに与えることで、各レイヤーでの焦点合わせを簡易に且つ精度良く行えるようにする。本発明に関わる技術は、病理標本などの被写体の顕微鏡像をデジタル化するためのシステムや、各種の検査システム、分析システムなどに好ましく適用することができる。
以下、図面を参照しながら本発明の好適な実施の形態を詳細に説明する。
The present invention relates to an imaging system having a function (Z stack function) for acquiring images at different depth positions (layers) in a subject by photographing the subject a plurality of times while changing the focal position in the optical axis direction, and control thereof. It is about the method. Conventionally, the focal position of each layer is set at an equal interval, but in the present invention, the focal position of each layer is appropriately adjusted so that a desired object is focused on each layer. At this time, information for specifying an object to be focused is given to the system in advance so that focusing on each layer can be performed easily and accurately. The technique according to the present invention can be preferably applied to a system for digitizing a microscopic image of a subject such as a pathological specimen, various inspection systems, and an analysis system.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
(システムの全体構成)
図1は、本発明の実施形態に係る撮像システムの全体構成を示す図である。本システムは、顕微鏡100、撮像装置110、コンピュータ120、ディスプレイ(表示装置)130、顕微鏡制御装置200から構成される。
(Overall system configuration)
FIG. 1 is a diagram showing an overall configuration of an imaging system according to an embodiment of the present invention. This system includes a
顕微鏡100は、被写体としての標本103の光学像を拡大し撮像装置110に導く装置である。顕微鏡100は、標本103を支持するステージ102と、対物レンズ(光学系)101を備えている。また顕微鏡100は、図示していない接眼レンズ、標本103に光を照射する照明装置、ステージ102を駆動する電動ステージ駆動装置等を備えている。顕微鏡100は、例えばUSBインタフェースによって顕微鏡制御装置200と接続されており、顕微鏡制御装置200からの制御信号によって制御される。
The
対物レンズ101は、標本103に面するレンズであって、標本103の中間実像を結ぶ。対物レンズ101が結んだ中間実像を図示していない接眼レンズが拡大し、撮像装置110の像面に結像させる。
ステージ102は、図示していない電動ステージ駆動装置によって、平面方向(XY方向)および光軸方向(Z方向)の3軸方向に移動する。ステージ102の平面方向の移動によって顕微鏡100で観察される標本域の平面上の位置(XY位置)が変化し、光軸方向の移動によって顕微鏡100で観察される標本103の光軸上の焦点位置が変化する。
標本103は、例えば複数の細胞を含んだ血液に染色を施したものを、スライドガラス上に乗せ、カバーガラスを被せることで作成されたプレパラートである。
The
The
The
撮像装置110は、顕微鏡100で拡大された標本103の光学像を撮影し、デジタル画像データを生成・出力する装置である。撮像装置110は、例えば、CCDやCMOSなどのイメージセンサにより構成することができる。撮像装置110は、例えばUSBインタフェースによって顕微鏡制御装置200と接続されている。撮像装置110から出力されるデジタル画像データは顕微鏡制御装置200に送られる。
The
コンピュータ120は、例えばUSBインタフェースによって顕微鏡制御装置200と接続されている。コンピュータ120は、図示していないキーボード、マウスなどの入力装置を備えている。コンピュータ120は、顕微鏡制御装置200に対して後述する撮像レイヤー数の設定および診断対象色の設定等を行うGUI(Graphical User Interface)を提供する。ユーザーがキーボードやマウスを操作して、GUIを通じて設定を変更すると、変更された設定データが顕微鏡制御装置200に送られる。
The
撮像レイヤー数とは、Zスタックにおいて一つの被写体から撮影するレイヤー画像の数(一つの被写体に対し設定する焦点位置の数)である。撮像レイヤー数を設定するGUIとしては、例えば、「5/10/15」のような数字のリストの中から所望のレイヤー数を選択させるものでもよいし、任意の数字を入力させるものでもよい。あるいは、ピッチ(レイヤーの間隔)を入力させて、被写体の厚みとピッチから必要なレイヤー数を計算するものでもよい。 The number of imaging layers is the number of layer images taken from one subject in the Z stack (the number of focal positions set for one subject). As a GUI for setting the number of imaging layers, for example, a desired number of layers may be selected from a list of numbers such as “5/10/15”, or an arbitrary number may be input. Alternatively, the number of layers required may be calculated from the thickness and pitch of the subject by inputting the pitch (interval between layers).
診断対象色とは、注目すべき対象物(診断対象物)が取り得る色範囲を表す情報である。この情報は、被写体に複数種類の物体が混在している場合に、被写体画像の中から色情報を基に診断対象物の部分を特定するために利用される。診断対象色を設定するためのGUIとしては、例えば、診断対象物に施された染色の種類を選択させるものでもよいし、サンプル画像や色相パタンの上で所望の色や色範囲を指定させるものでもよいし、リストの中から所望の色や色範囲を選択させるものでもよい。 The diagnosis target color is information representing a color range that can be taken by a target object (diagnosis target object). This information is used to specify the portion of the diagnostic object based on the color information from the subject image when a plurality of types of objects are mixed in the subject. As a GUI for setting a diagnosis target color, for example, a type of staining applied to a diagnosis target may be selected, or a desired color or color range may be specified on a sample image or a hue pattern Alternatively, a desired color or color range may be selected from the list.
コンピュータ120は、汎用のパーソナルコンピュータにより構成してもよいし、タブレット端末やスマートホンのような携帯端末により構成してもよい。またコンピュータ120の機能を顕微鏡制御装置200に内蔵(統合)してもよい。
The
ディスプレイ130は、例えばDVI(Digital Visual Interface)によって顕微鏡制
御装置200と接続されている。ディスプレイ130は、顕微鏡制御装置200から顕微鏡画像を受信して画面に表示する。この画像を画面に表示する機能は、顕微鏡制御装置200又はコンピュータ120で実行されるビューアプログラムによって提供される。
The
顕微鏡制御装置200は、顕微鏡100、撮像装置110、コンピュータ120、ディスプレイ130とそれぞれ接続されている。顕微鏡制御装置200は、コンピュータ120からの設定に従い、顕微鏡100および撮像装置110を制御して、診断対象物にフォーカスが当たった顕微鏡画像を取得して、ディスプレイ130に表示する機能を果たす装置である。顕微鏡制御装置200の詳細については、後述の図2の説明の中で詳述する。
The
(顕微鏡制御装置)
図2は、本実施形態に係る顕微鏡制御装置200の機能構成を示すブロック図である。顕微鏡制御装置200は、映像入力部201、対象色設定部202、対象色フィルタ部203、撮像レイヤー数設定部204、撮像位置調整部205、画像データ記憶部206、フォーカス制御部207を備える。これらの機能はプログラムによって実現してもよいし、その一部又は全部を専用の回路によって実現してもよい。例えば、顕微鏡制御装置200は、汎用コンピュータとプラグラムで構成してもよいし、FPGAやASICで構成することもできる。また上述したように顕微鏡制御装置200とコンピュータ120とを統合することもできる。
(Microscope control device)
FIG. 2 is a block diagram illustrating a functional configuration of the
映像入力部201には、撮像装置110で撮影された標本の画像が入力される。入力された画像は、対象色フィルタ部203、フォーカス制御部207、画像データ記憶部206にそれぞれ送られる。
対象色設定部202は、ユーザーにより設定された診断対象色のデータをコンピュータ120から受け取り、そのデータを対象色フィルタ部203に送る。
The
The target
対象色フィルタ部203は、映像入力部201から取得した標本の画像(元画像)に対して、対象色設定部202から受け取った診断対象色データに応じたフィルタ処理を施し、フィルタされた画像を生成する。フィルタされた画像はフォーカス制御部207に送られる。標本の元画像には、前述したように、診断対象物以外にも様々な色相の物体が混在している場合が多いため、元画像を用いてオートフォーカスによる焦点合わせを行おうとしても、目的とする診断対象物に焦点を合わせることが困難である。そこで例えば、対象色フィルタ部203によって、元画像の中から診断対象色で表される色範囲(すなわち、診断対象物が取り得る色範囲)の部分のみを残し、その色範囲外の部分を所定の画素値(例えば白や黒など)に置き換える。これにより、診断対象物の部分が抽出または強調された画像を得ることができる。後述するフォーカス制御部207では、(元画像ではなく)対象色フィルタ部203でフィルタされた画像を用いて焦点合わせの処理を行う。
The target
撮像レイヤー数設定部204は、ユーザーにより設定された撮像レイヤー数のデータをコンピュータ120から受け取り、そのデータをフォーカス制御部207に送る。
撮像位置調整部205は、フォーカス制御部207から指定される撮像位置へステージを移動させるために、ステージ位置移動制御信号を生成し、顕微鏡100に対して出力する。
The imaging layer number setting unit 204 receives data on the number of imaging layers set by the user from the
The imaging
画像データ記憶部206は、フォーカス制御部207からの画像データ記録指示があった場合に、映像入力部201から取得した画像を記憶媒体に記憶する。記憶媒体としては、例えば、内蔵ハードディスク、外付けのハードディスク、ネットワークストレージ、SSD、USBメモリ、フラッシュメモリ、CD−ROM、DVD−ROMなど、どのような種類の記憶媒体を用いてもよい。
When there is an image data recording instruction from the
フォーカス制御部207は、各レイヤーにおいて診断対象物に焦点の合った画像が得られるように、各レイヤーを撮影するときの光軸方向の焦点位置を調整する制御を担う機能ブロックである。また、フォーカス制御部207は、画像データ記憶部206に対し画像データ記録指示を送出する機能や、撮像位置調整部205に対し撮像位置を送出する機能なども有している。なお、撮像位置とは、撮影するときの顕微鏡100(対物レンズ101)の光軸方向の焦点位置を規定するための位置情報である。焦点位置そのものを撮像位置としてもよいが、本実施形態では、対物レンズ101の焦点深度(被写界深度ともいう)を考慮し、焦点位置を中心とする焦点深度の上端(対物レンズ101に近い側の端)の位置を撮像位置として指示するものとする。フォーカス制御部207の詳しい処理については後述する。
The
(標本の例)
図3は、病理標本の一例を示す断面図であり、標本内の物体配置の例を示している。標本は、スライドガラス301b上に細胞や組織片などのサンプルを載置し、カバーガラス301aをかぶせて固定することにより形成されたプレパラートである。スライドガラス301bとカバーガラス301aの間のサンプルの中には、診断において注目すべき物体(診断対象物)302a、302b、302cと、診断の対象ではない他の物体303a、303b、303cが混在している。本実施形態では、染色によって、診断対象物302a、302b、302cが青色、他の物体303a、303b、303cが赤色というように、異なる色相(色範囲)の色に染められているものとする。
(Sample example)
FIG. 3 is a cross-sectional view showing an example of a pathological specimen, and shows an example of an object arrangement in the specimen. The specimen is a preparation formed by placing a sample such as a cell or a tissue piece on the slide glass 301b and fixing the
(標本の厚みの計算)
図4は、カバーガラスとスライドガラスの間隔を計算する処理のフローチャートである。この処理は顕微鏡制御装置200のフォーカス制御部207によって実行される。まずフォーカス制御部207は、撮像位置調整部205に移動指示を送出し、顕微鏡100のステージ102を対物レンズ101から最も遠い位置(初期位置)に移動した後(S401)、ステージ102を対物レンズ101側に所定距離だけ移動する(S402)。撮像装置110によって撮影された画像が映像入力部201を経由してフォーカス制御部207に取り込まれる。フォーカス制御部207は、取得した画像を用いて、カバーガラス301aの下面に焦点が合っているか否かを、コントラスト方式のオートフォーカス機能によって判定する(S403)。カバーガラス301aの下面が検出されるまで、S402とS403の処理を繰り返す。
(Calculation of specimen thickness)
FIG. 4 is a flowchart of a process for calculating the distance between the cover glass and the slide glass. This process is executed by the
カバーガラス301aの下面が検出された後(S403;Yes)、フォーカス制御部207は、同様にして、ステージ102を所定距離ずつ移動させながら(S404)、スライドガラス301bの上面を検出する処理を行う(S405)。スライドガラス301bの上面検出もオートフォーカス機能を利用して行う。
After the lower surface of the
以上の処理によって、カバーガラス301aの下面の位置とスライドガラス301bの上面の位置が特定されたら、フォーカス制御部207は、両者の位置の差を計算することで、カバーガラス301aとスライドガラス301bの間隔を求める(S406)。この間隔は、標本の厚み、すなわち光軸方向の撮影範囲、に相当する。なお、本実施形態では、光軸方向の撮影範囲の一例としてカバーガラスとスライドガラスの間隔を用いているが、例えば、プレパラート内の細胞が存在する範囲や、プレパラート内の任意の範囲を光軸方向の撮影範囲としても良い。
When the position of the lower surface of the
(焦点位置の調整及び画像の取得)
次に図6のフローチャートに沿って、焦点位置の調整と顕微鏡画像の取得の処理を詳しく説明する。
まず、ユーザーは、コンピュータ120を操作して、診断対象色(診断対象物が取り得
る色範囲)と撮像レイヤー数とを設定する(S801、S802)。設定された診断対象色と撮像レイヤー数のデータはフォーカス制御部207に送られる。
(Focus position adjustment and image acquisition)
Next, the focus position adjustment and microscope image acquisition processing will be described in detail with reference to the flowchart of FIG.
First, the user operates the
次にフォーカス制御部207は、図4のフローチャートで説明した処理により、カバーガラス301aとスライドガラス302bの間隔(光軸方向の撮影範囲)を計算する(S803)。またフォーカス制御部207は、診断対象色のデータと顕微鏡100の対物レンズ101のパラメータ(開口数)から、対物レンズ101の被写体側の焦点深度を計算する(S804)。レンズの焦点深度とは、レンズを通して観察される範囲の中で、焦点が合って見える範囲のことであり、被写界深度とも呼ばれる。焦点深度は下記式で計算することができる。
フォーカス制御部207は、S802で取得した撮像レイヤー数とS803で求めた光軸方向の撮影範囲とから、撮像基準幅を計算する(S804)。撮像基準幅は、焦点位置の基準ピッチであり、下記式により求まる。
また、フォーカス制御部207は、撮像基準幅703、撮像レイヤー数、カバーガラスの下面の位置などから、各レイヤーの撮像基準位置を設定する(S804)。撮像基準位置とは、そのレイヤーを撮影するときの撮像位置の基準値(デフォルト値)である。図5の例では、撮像レイヤー数が5であるため、5つのレイヤーのそれぞれについて5点の撮像基準位置705〜709が設定される。図示のように、最初に撮影されるレイヤーの撮像基準位置705は、撮影範囲の上端であるカバーガラスの下面の位置に設定され、撮像開始基準位置とも呼ばれる。2番目以降の撮像基準位置706〜709は撮像基準幅703おきに等間隔に配置される。
Further, the
さらに、フォーカス制御部207は、撮像基準幅703と焦点深度702から、後述するS808で焦点位置を探索する範囲である探索範囲704を計算する。具体的には、撮像基準幅703から焦点深度702を引いた幅を探索範囲704とする。図5の例では、撮像基準幅703が2μm、焦点深度702が0.55μmであるため、探索範囲704は1.45μmとなる。このように焦点深度との関係で探索範囲704を制限したことにより、無駄な探索を無くすことができ、処理時間を短縮することができる。
Further, the
続いて、フォーカス制御部207は、撮像位置調整部205に撮像開始基準位置705
への移動指示を送り、顕微鏡100のステージ102の位置を撮像開始基準位置705に合わせる(S805)。そしてフォーカス制御部207が、画像データ記憶部206に画像データ記録指示を送り、撮像開始基準位置705での画像を記録する(S806)。
Subsequently, the
To move the
フォーカス制御部207は、隣接する撮像基準位置706との間隔である撮像基準幅703とレンズの焦点深度702とを比較し、撮像基準幅703が焦点深度702より大きい場合は(S807;Yes)、オートフォーカス機能による焦点位置の探索処理を行う。具体的には、フォーカス制御部207は、撮像基準位置を起点として撮像位置を少しずつ下方向に移動しながら、画像のコントラストを評価し、探索範囲704の中でコントラストが最大もしくは極大となる位置、又は、コントラストが所定の閾値を超える位置を検出する。このとき、フォーカス制御部207は、映像入力部201から取得される元画像ではなく、対象色フィルタ部203でフィルタされた画像を用いて、コントラストの評価を行う。これにより、画像中の診断対象物の部分のコントラストのみを評価することができるため、診断対象物に焦点の合う位置を精度良く検出することが可能となる。
The
診断対象物に焦点の合った画像が得られる位置が検出された場合には(S809;Yes)、フォーカス制御部207は、そのときの位置を当該レイヤーの撮像位置(焦点位置)に決定し、画像データ記憶部206に画像データ記録指示を送る。これにより、調整後の適切な撮像位置(焦点位置)で撮影された画像が、撮像基準位置で撮影された画像に対して上書き記録される(S810)。
When a position where an image focused on the diagnostic object is obtained is detected (S809; Yes), the
なお、撮像基準幅703が焦点深度以下である場合(S807;No)は、S808〜S810の焦点位置の探索処理は行わない。撮像基準位置で撮影された画像(S806で記録された画像)において、撮像基準幅702内の全ての領域に焦点が合っているため、焦点位置の調整が必要ないからである。このように、S807で撮像基準幅と焦点深度の大小関係に応じて焦点位置の探索処理の要否を判断したことにより、不必要な処理を省略でき、システム全体の処理効率を向上することができる。
When the imaging reference width 703 is equal to or smaller than the depth of focus (S807; No), the focus position search process in S808 to S810 is not performed. This is because in the image captured at the imaging reference position (the image recorded in S806), since all the areas within the
なお、S809において、診断対象物に焦点の合う位置が検出できなかった場合は、S811の処理に進む。つまり、焦点位置の調整は行われず、対応する撮像基準位置で撮影し記録された画像がそのまま採用される。 In S809, if the position where the diagnostic object is focused cannot be detected, the process proceeds to S811. In other words, the focus position is not adjusted, and an image shot and recorded at the corresponding imaging reference position is used as it is.
ユーザーが設定したレイヤー数分の撮像を全て実行した場合(S811;Yes)には処理を終了し、撮像するレイヤーが残っている場合(S811;No)には次のレイヤーの撮像基準位置へ移動して(S812)、S806からの処理を再び行う。 When all the imagings for the number of layers set by the user have been executed (S811; Yes), the process ends. When there are remaining layers to be imaged (S811; No), the process moves to the imaging reference position of the next layer. In step S812, the processing from step S806 is performed again.
なお、本実施形態では探索範囲704の中で最初に見つかった合焦位置での撮像画像を記録するとしているが、別の方法として、探索範囲704の全てを探索して合焦位置が複数個所見つかった場合に、それら全ての撮像画像を記録しても良い。また、別の方法として、探索範囲704の全てを探索して合焦位置が複数個所見つかった場合に、それぞれの位置でのコントラストを比較して、コントラストが最大となる位置での撮像画像を記録するようにしても良い。
In the present embodiment, the captured image at the first in-focus position found in the
図7は、上記方法による撮像位置(焦点位置)の調整結果の例を示している。図7は、図5で示した標本を撮像した場合の撮像基準位置と実際の撮像位置の関係を表している。901a、902a、903a、904a、905aは5つのレイヤーそれぞれの撮像基準位置を示している。これに対し、901b、902b、903b、904b、905bは各レイヤーを撮影するときの実際の撮像位置を示している。2番目のレイヤーと4番目のレイヤーについて撮像位置が調整されていることが分かる。 FIG. 7 shows an example of the adjustment result of the imaging position (focus position) by the above method. FIG. 7 shows the relationship between the imaging reference position and the actual imaging position when the sample shown in FIG. 5 is imaged. Reference numerals 901a, 902a, 903a, 904a, and 905a indicate imaging reference positions of the five layers. In contrast, reference numerals 901b, 902b, 903b, 904b, and 905b indicate actual imaging positions when each layer is imaged. It can be seen that the imaging positions are adjusted for the second layer and the fourth layer.
図8は、図7の撮像基準位置と実際の撮像位置の数値例を示す表である。1番目、3番目、5番目のレイヤーでは、診断対象物に焦点の合う位置が検出できなかったために、撮像基準位置と実際の撮像位置が一致している。2番目のレイヤーでは、撮像基準位置2μmに対して、実際の撮像位置は2.50μmとなっていて、0.50μm移動した位置で診断対象物に合焦し、その位置の撮像画像が記録されていることを示している。同様に、4番目のレイヤーでは、撮像基準位置6μmに対して1.10μm移動した7.10μmの位置で合焦し、その位置の撮像画像が記録されたことを示している。 FIG. 8 is a table showing numerical examples of the imaging reference position and the actual imaging position in FIG. In the first, third, and fifth layers, since the position where the diagnostic object is focused cannot be detected, the imaging reference position matches the actual imaging position. In the second layer, the actual imaging position is 2.50 μm with respect to the imaging reference position of 2 μm, and the diagnostic object is focused at the position moved by 0.50 μm, and the captured image at that position is recorded. It shows that. Similarly, in the fourth layer, it is shown that the image is focused at the position of 7.10 μm moved by 1.10 μm with respect to the imaging reference position of 6 μm, and the captured image at that position is recorded.
以上述べた本実施形態の構成によれば、診断対象物を特定するための情報をユーザーに設定させ、各レイヤーにおいて診断対象物に対し合焦した画像が得られるように各レイヤーの焦点位置(撮像位置)を調整する。したがって、被写体の中に診断対象物以外の物体が多く含まれている場合であっても、診断に適した画像を得ることができる。また、本実施形態では、染色による色相の違いに着目し、フィルタ処理によって診断対象物の色範囲の部分を抽出し、その画像を用いて焦点位置の探索を行うようにしたので、診断対象物に対する合焦判定を精度良く且つ自動で行うことが可能となる。さらに、レンズの焦点深度に基づき焦点位置の探索範囲を絞ることにより、無駄な探索処理の発生を防止できるので、全体としての処理速度の向上を図ることができる。 According to the configuration of the present embodiment described above, information for specifying the diagnostic object is set by the user, and the focal position of each layer (so that an image focused on the diagnostic object is obtained in each layer ( Adjust the (imaging position). Therefore, an image suitable for diagnosis can be obtained even when the subject includes many objects other than the diagnostic object. In the present embodiment, focusing on the difference in hue due to staining, the portion of the color range of the diagnostic object is extracted by filtering, and the focus position is searched using the image. It is possible to accurately and automatically perform in-focus determination for. Furthermore, by narrowing down the focus position search range based on the focal depth of the lens, it is possible to prevent useless search processing from occurring, so that the overall processing speed can be improved.
なお、上記実施形態は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。例えば、上記実施形態では、コントラスト検出方式のオートフォーカス(画像のコントラストが大きくなる位置を探す方法)を利用したが、他の方法により焦点位置の探索を行っても良い。例えば位相差検出方式のオートフォーカスを利用しても良い。また、上記実施形態では、注目すべき対象物を色範囲で特定したが、他の情報により対象物を特定しても良い。例えば、形状や大きさや位置などに特徴がある場合には、それらの情報で注目すべき対象物を特定することも可能である。また、上記実施形態では、病理診断に用いる顕微鏡システムを例示したが、検査や観察の対象物によっては、顕微鏡ではなく、一般的なデジタルカメラで撮影した画像を用いても良い。 The above embodiment is merely a specific example of the present invention, and is not intended to limit the scope of the present invention. For example, in the above-described embodiment, contrast detection type autofocus (a method of searching for a position where the contrast of an image increases) is used, but the focus position may be searched by other methods. For example, phase difference detection type autofocus may be used. In the above embodiment, the target object to be noticed is specified by the color range, but the target object may be specified by other information. For example, when there is a feature in the shape, size, position, etc., it is also possible to specify an object to be noted with such information. Moreover, although the microscope system used for pathological diagnosis was illustrated in the said embodiment, you may use the image image | photographed with the general digital camera instead of a microscope depending on the target of a test | inspection or observation.
100:顕微鏡、102:標本(被写体)、110:撮像装置、120:コンピュータ、200:顕微鏡制御装置 100: Microscope, 102: Specimen (Subject), 110: Imaging device, 120: Computer, 200: Microscope control device
Claims (16)
前記被写体に含まれる複数種類の物体のうち注目すべき対象物を特定するための情報を設定する設定手段と、
前記設定手段により設定された情報に基づいて、各レイヤーにおいて前記対象物に対し焦点の合った画像が得られるように、各レイヤーを撮影するときの光軸方向の焦点位置を調整する制御手段と、
を有することを特徴とする撮像システム。 An imaging system for acquiring images of a plurality of layers in the subject by photographing the subject a plurality of times while changing a focal position in an optical axis direction,
Setting means for setting information for specifying a target object to be noted among a plurality of types of objects included in the subject;
Control means for adjusting the focal position in the optical axis direction when shooting each layer so that an image focused on the object is obtained in each layer based on the information set by the setting means; ,
An imaging system comprising:
前記制御手段は、前記対象物に対し焦点の合った画像が得られるように焦点位置を調整する際に、前記色フィルタ手段によってフィルタされた画像を用いて前記対象物に対する焦点合わせを行う
ことを特徴とする請求項2に記載の撮像システム。 Color filter means for performing a filtering process for extracting a portion of the color range on an image obtained by photographing the subject;
The control means performs the focusing on the object using the image filtered by the color filter means when adjusting the focal position so that an image focused on the object is obtained. The imaging system according to claim 2, wherein:
前記複数のレイヤーのそれぞれに光軸方向の基準位置を設定し、
各レイヤーについて、対応する基準位置を基準とする所定の探索範囲のなかで、前記対象物に焦点の合った画像が得られる焦点位置を探索することにより、各レイヤーの焦点位置を決定する
ことを特徴とする請求項1〜3のうちいずれか1項に記載の撮像システム。 The control means includes
A reference position in the optical axis direction is set for each of the plurality of layers,
For each layer, the focus position of each layer is determined by searching a focus position at which an image focused on the object is obtained within a predetermined search range based on the corresponding reference position. The imaging system according to any one of claims 1 to 3, wherein the imaging system is characterized in that
ことを特徴とする請求項4に記載の撮像システム。 The control means sets the focus position of the layer at a position corresponding to the reference position when there is no position where an image focused on the object is obtained in the predetermined search range. The imaging system according to claim 4, wherein the imaging system is set.
ことを特徴とする請求項4又は5に記載の撮像システム。 6. The imaging system according to claim 4, wherein the width of the predetermined search range is a width obtained by subtracting a depth of focus on the subject side from an interval between reference positions with adjacent layers.
前記基準位置の間隔が前記焦点深度より大きい場合は、前記所定の探索範囲のなかで前記対象物に焦点の合った画像が得られる焦点位置を探索する処理を行い、
前記基準位置の間隔が前記焦点深度以下である場合は、焦点位置を探索する処理は行わずに、前記基準位置に対応する位置に焦点位置を設定する
ことを特徴とする請求項4〜6のうちいずれか1項に記載の撮像システム。 The control means compares the distance between the reference positions of adjacent layers and the depth of focus on the subject side,
When the interval between the reference positions is larger than the depth of focus, a process for searching for a focal position where an image focused on the object is obtained within the predetermined search range is performed.
The focus position is set at a position corresponding to the reference position without performing a process of searching for the focus position when the interval between the reference positions is equal to or less than the depth of focus. The imaging system of any one of them.
前記被写体は、染色された標本である
ことを特徴とする請求項1〜7のうちいずれか1項に記載の撮像システム。 A microscope, and an imaging unit that captures an image of the subject magnified by the microscope,
The imaging system according to claim 1, wherein the subject is a stained specimen.
前記被写体に含まれる複数種類の物体のうち注目すべき対象物を特定するための情報を設定する設定ステップと、
前記設定ステップにより設定された情報に基づいて、各レイヤーにおいて前記対象物に対し焦点の合った画像が得られるように、各レイヤーを撮影するときの光軸方向の焦点位置を調整する制御ステップと、
を有することを特徴とする撮像システムの制御方法。 An imaging system control method for acquiring images of a plurality of layers in a subject by photographing the subject a plurality of times while changing a focal position in an optical axis direction,
A setting step for setting information for identifying an object to be noted among a plurality of types of objects included in the subject;
A control step of adjusting the focal position in the optical axis direction when shooting each layer based on the information set in the setting step so that an image focused on the object is obtained in each layer; ,
A control method for an imaging system, comprising:
前記制御ステップでは、前記対象物に対し焦点の合った画像が得られるように焦点位置を調整する際に、前記色フィルタ手段によってフィルタされた画像を用いて前記対象物に対する焦点合わせを行う
ことを特徴とする請求項10に記載の撮像システムの制御方法。 The imaging system has color filter means for performing filter processing for extracting a portion of the color range for an image obtained by photographing the subject,
In the control step, when the focus position is adjusted so that an image focused on the object is obtained, the object is focused using the image filtered by the color filter means. The method of controlling an imaging system according to claim 10, wherein
前記複数のレイヤーのそれぞれに光軸方向の基準位置を設定し、
各レイヤーについて、対応する基準位置を基準とする所定の探索範囲のなかで、前記対象物に焦点の合った画像が得られる焦点位置を探索することにより、各レイヤーの焦点位置を決定する
ことを特徴とする請求項9〜11のうちいずれか1項に記載の撮像システムの制御方法。 In the control step,
A reference position in the optical axis direction is set for each of the plurality of layers,
For each layer, the focus position of each layer is determined by searching a focus position at which an image focused on the object is obtained within a predetermined search range based on the corresponding reference position. The method of controlling an imaging system according to any one of claims 9 to 11.
ことを特徴とする請求項12に記載の撮像システムの制御方法。 In the control step, if there is no position where an image focused on the object is obtained in the predetermined search range, the focus position of the layer is set at a position corresponding to the reference position. The imaging system control method according to claim 12, wherein setting is performed.
ことを特徴とする請求項12又は13に記載の撮像システムの制御方法。 The imaging system control method according to claim 12 or 13, wherein the width of the predetermined search range is a width obtained by subtracting a depth of focus on the subject side from an interval of a reference position between adjacent layers.
前記基準位置の間隔が前記焦点深度より大きい場合は、前記所定の探索範囲のなかで前記対象物に焦点の合った画像が得られる焦点位置を探索する処理を行い、
前記基準位置の間隔が前記焦点深度以下である場合は、焦点位置を探索する処理は行わずに、前記基準位置に対応する位置に焦点位置を設定する
ことを特徴とする請求項12〜14のうちいずれか1項に記載の撮像システムの制御方法。 In the control step, the distance between the reference positions of adjacent layers and the depth of focus on the subject side are compared,
When the interval between the reference positions is larger than the depth of focus, a process for searching for a focal position where an image focused on the object is obtained within the predetermined search range is performed.
15. The focus position is set at a position corresponding to the reference position without performing a process of searching for the focus position when the interval between the reference positions is equal to or less than the depth of focus. The control method of the imaging system of any one of them.
前記被写体は、染色された標本である
ことを特徴とする請求項9〜17のうちいずれか1項に記載の撮像システムの制御方法。 The imaging system includes a microscope and imaging means for capturing an image of the subject magnified by the microscope,
The method of controlling an imaging system according to claim 9, wherein the subject is a stained specimen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019272A JP2014149484A (en) | 2013-02-04 | 2013-02-04 | Imaging system and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019272A JP2014149484A (en) | 2013-02-04 | 2013-02-04 | Imaging system and method for controlling the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014149484A true JP2014149484A (en) | 2014-08-21 |
Family
ID=51572488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013019272A Pending JP2014149484A (en) | 2013-02-04 | 2013-02-04 | Imaging system and method for controlling the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014149484A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016203367A1 (en) | 2015-03-04 | 2016-09-08 | Nsk-Warner K.K. | FRICTION DISC AND WET LAMINATE COUPLING WITH THE FRICTION DISC |
JP2023034437A (en) * | 2021-08-31 | 2023-03-13 | ブラザー工業株式会社 | Computer program, image processing apparatus and image processing method |
EP4258638A1 (en) * | 2022-01-04 | 2023-10-11 | Canon Kabushiki Kaisha | Image processing device, image processing method, and storage medium |
-
2013
- 2013-02-04 JP JP2013019272A patent/JP2014149484A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016203367A1 (en) | 2015-03-04 | 2016-09-08 | Nsk-Warner K.K. | FRICTION DISC AND WET LAMINATE COUPLING WITH THE FRICTION DISC |
JP2023034437A (en) * | 2021-08-31 | 2023-03-13 | ブラザー工業株式会社 | Computer program, image processing apparatus and image processing method |
EP4258638A1 (en) * | 2022-01-04 | 2023-10-11 | Canon Kabushiki Kaisha | Image processing device, image processing method, and storage medium |
US12200393B2 (en) | 2022-01-04 | 2025-01-14 | Canon Kabushiki Kaisha | Image processing device, image processing method, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4558047B2 (en) | Microscope system, image generation method, and program | |
JP5490568B2 (en) | Microscope system, specimen observation method and program | |
JP5780865B2 (en) | Image processing apparatus, imaging system, and image processing system | |
US8937653B2 (en) | Microscope system, specimen observing method, and computer-readable recording medium | |
US10444486B2 (en) | Systems and methods for detection of blank fields in digital microscopes | |
US20100141752A1 (en) | Microscope System, Specimen Observing Method, and Computer Program Product | |
JP7661462B2 (en) | Microscope system, program, and projection image generating method | |
JP2022050455A (en) | Sample removing area selection method | |
JP5928308B2 (en) | Image acquisition apparatus and image acquisition method | |
JP5826561B2 (en) | Microscope system, specimen image generation method and program | |
JP2013201530A (en) | Imaging device and control method of the same | |
JP2014044360A (en) | Microscope system, and specimen image generation method and program | |
JP2011002341A (en) | Microscopic system, specimen observation method, and program | |
JP2013114042A (en) | Image acquisition device, image acquisition method and image acquisition program | |
CN112150446A (en) | Microscope examination and film reading scanning method, computer equipment and system | |
JP2010181833A (en) | Microscopic observation system | |
JP2013152426A (en) | Image processing device, image processing system, image processing method and program | |
JP2016125913A (en) | Image acquisition device and control method of image acquisition device | |
JP2012013804A (en) | Image processing apparatus, image processing system and image processing method, and program | |
WO2015107872A1 (en) | Image acquisition apparatus and control method thereof | |
US20190195777A1 (en) | Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program | |
WO2014196097A1 (en) | Image processing system, image processing device, program, storage medium, and image processing method | |
JP2009175661A (en) | Biological-specimen observation apparatus | |
JP2014149484A (en) | Imaging system and method for controlling the same | |
US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium |