[go: up one dir, main page]

JP7494490B2 - 信号取得装置、信号取得システム、及び信号取得方法 - Google Patents

信号取得装置、信号取得システム、及び信号取得方法 Download PDF

Info

Publication number
JP7494490B2
JP7494490B2 JP2020037745A JP2020037745A JP7494490B2 JP 7494490 B2 JP7494490 B2 JP 7494490B2 JP 2020037745 A JP2020037745 A JP 2020037745A JP 2020037745 A JP2020037745 A JP 2020037745A JP 7494490 B2 JP7494490 B2 JP 7494490B2
Authority
JP
Japan
Prior art keywords
signal
image
control unit
output
signal acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020037745A
Other languages
English (en)
Other versions
JP2021140032A (ja
Inventor
健治 山根
陽一 水谷
信裕 林
寛和 辰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2020037745A priority Critical patent/JP7494490B2/ja
Priority to EP21713777.7A priority patent/EP4115164A1/en
Priority to US17/642,233 priority patent/US11842555B2/en
Priority to PCT/JP2021/008717 priority patent/WO2021177446A1/en
Publication of JP2021140032A publication Critical patent/JP2021140032A/ja
Application granted granted Critical
Publication of JP7494490B2 publication Critical patent/JP7494490B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)
  • Lens Barrels (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Focusing (AREA)

Description

本技術は、信号取得装置、信号取得システム、及び信号取得方法に関する。より詳細には、本技術は、生体組織からの光から信号を取得する信号取得装置、当該信号取得装置を含む信号取得システム、及び、生体組織からの光から信号を取得する信号取得方法に関する。
病理診断のために顕微鏡装置により得られた生体組織の画像が用いられることがある。近年では、生体組織のデジタル画像を取得し、当該デジタル画像に基づき病理診断が行われることもある。当該デジタル画像の取得に関する技術について、これまでにいくつか提案されている。
例えば、下記特許文献1には、スライドガラスに載置された病理検体を対物レンズを用いて撮影する撮影部と、前記対物レンズの焦点を前記病理検体に合わせるために、コントラストAF(Auto Focus)方式と位相差AF方式を選択的に切り替えて実行することが可能なAF処理部と、前記病理検体の染色方法を判定し、この判定の結果に応じて前記AF処理部に実行させるAF方式を選択する計算部とを具備する画像取得装置が開示されている。
特開2014-149381号公報
デジタル画像を用いた病理診断を行うために、適切に焦点調整された生体組織画像が求められる。そのような焦点調整のために、対物レンズの光軸方向における異なる複数の位置で撮像された複数の画像を用いることが考えられる。例えば、当該複数の画像を撮像素子から情報処理装置へと送信し、そして、当該情報処理装置により、当該複数の画像を用いて焦点位置を特定することができる。しかしながら、複数の画像のデータ送信は、しばしば多くの時間を要する。また、撮像素子の出力インタフェースによっても、当該送信が律速されうる。
また、デジタル画像を用いた病理診断を行うために、種々の観点から生体組織を撮像して得られた画像を用いることも考えられる。例えば、種々の波長の光を用いて生体組織を撮像して、生体組織のより詳細な特徴を取得することが考えられる。このような撮像はしばしば大量の画像データをもたらす。画像データ量が多くなることによって、やはり、データ送信に要する時間の問題や、撮像素子の出力インタフェースによるデータ送信の律速の問題がより顕著になる。
そこで、本技術は、画像データを高速に処理することを可能とする新たな技法を提供することを目的とする。
本技術は、
生体組織に光を照射する照射部と、
前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、
を備えており、
前記検出器は、
前記信号を取得する取得部と、
前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、
を備え、
前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、
信号取得装置を提供する。
前記検出器は、撮像素子でありうる。
前記信号は、画素信号でありうる。
前記制御部は、学習済みモデルを用いて、前記信号の前記特徴データを取得しうる。
前記制御部は、学習済みモデルを用いて、前記出力データを制御しうる。
本技術の一つの実施態様に従い、前記検出器は撮像素子であってよく、
前記制御部は、前記撮像素子による撮像の焦点の状態に関する情報に基づき、前記出力データを制御しうる。
この実施態様において、前記焦点の状態に関する情報は、前記信号の少なくとも一部の信号についての焦点の状態に関する情報でありうる。
この実施態様において、前記焦点の状態に関する情報は、前記撮像のZ位置、前記信号のボケ量、又は、合焦位置に対する前記Z位置のズレ量でありうる。
この実施態様において、前記制御部は、学習済みモデルを用いて前記焦点の状態に関する情報を取得しうる。
この実施態様において、前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定しうる。
この実施態様において、前記制御部は、前記焦点の状態に関する情報に基づき、前記焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記生体組織を撮像しうる。
この実施態様において、前記制御部は、前記焦点調整された位置での撮像により得られた信号に基づき、前記出力するデータを生成しうる。
本技術の他の実施態様に従い、前記検出器は撮像素子であってよく、
前記制御部は、前記信号の前記特徴データに基づき、前記撮像素子による撮像のために焦点調整を実行するかを判定しうる。
この実施態様において、前記制御部は、前記特徴データに基づき、前記焦点調整された位置で前記生体組織を撮像するように前記取得部を駆動しうる。
この実施態様において、前記制御部は、前記信号、および前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成しうる。
本技術のさらに他の実施態様に従い、前記検出器は撮像素子であってよく、
前記取得部は、前記撮像素子による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得し、
前記制御部は、前記複数の位置で取得された信号セットから、信号の相関に関する情報又は焦点の状態に関する情報を取得しうる。
この実施態様において、前記焦点の状態に関する情報は、フォーカス検波値でありうる。
この実施態様において、前記制御部が、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を前記撮像素子から出力させうる。
この実施態様において、前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像でありうる。
この実施態様において、前記出力画像は、前記信号セットの内、最も合焦している信号から生成した画像でありうる。
この実施態様において、前記出力画像は、前記信号セットの内、複数のZ位置で取得した信号から生成した画像でありうる。
この実施態様において、前記制御部は、学習済みモデルを用いて、前記出力画像を生成しうる。
この実施態様において、前記制御部は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成しうる。
本技術のさらに他の実施態様に従い、前記制御部は、前記取得部により得られた信号に基づき、スペクトル有効領域に関する情報を取得しうる。
この実施態様において、前記制御部は、学習済みモデルを用いて、スペクトル有効領域に関する情報を取得しうる。
この実施態様において、前記制御部は、前記スペクトル有効領域に関する情報に基づき、前記検出器の読み出し領域を制御しうる。
本技術において、前記取得部は、対物レンズを介して前記生体組織からの光から信号を取得しうる。
本技術において、前記生体組織は、生体由来の組織サンプルであってよい。
本技術において、前記信号取得装置は、前記出力データを出力する出力部をさらに備えていてよい。
本技術において、前記信号取得装置は、前記出力データを解析する解析部をさらに備えていてよい。
本技術は、生体組織に光を照射する照射部と、前記照射部により光照射された前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、を備えており、前記検出器は、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、を備え、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、信号取得装置と;
前記信号取得装置から出力された出力データの解析を行う解析部と
を含む信号取得システムも提供する。
前記画像取得システムは、医療画像取得システムであってよい。
前記画像取得システムは、内視鏡システム又は顕微鏡システムであってよい。
また、本技術は、光を照射された生体組織からの光から信号を取得する信号取得工程と、
前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、
前記特徴データに基づき、出力データを生成する出力データ生成工程と
を含む信号取得方法を提供する。
本技術に従う信号取得装置の構成例を説明するための模式図である。 検出器の構成例を示す図である。 検出器の外観構成例の概要を示す斜視図である。 本技術の信号取得装置の一例のブロック図である。 本技術の信号取得装置により行われる処理の一例を示すフロー図である。 学習済みモデルの生成の仕方の例を説明するための図である。 撮像対象の分割の仕方を説明するための図である。 本技術の信号取得装置の一例のブロック図である。 本技術の信号取得装置の一例のブロック図である。 ラインスキャン方式で撮像を行う信号取得装置の構成例を示す図である。 ラインスキャン方式で撮像を行う信号取得装置の光学系の構成例を示す図である。 撮像対象の一例を説明するための図である。 照明エリア及び撮影エリアを説明するための、撮像対象の一部の拡大図である。 撮像素子が単一のイメージセンサで構成される場合の分光データの取得方法を説明する図である。 図14で取得される分光データの波長特性を示す図である。 撮像素子が複数のイメージセンサで構成される場合の分光データの取得方法を説明する図である。 対象に照射されるライン照明の走査方法を説明する概念図である。 複数のライン照明で取得される3次元データ(X、Y、λ)を説明する概念図である。 照射部の波長の構成例を示す図である。 撮像素子の感光可能領域と読み出される領域とを説明するための図である。 情報処理装置の構成例を示す図である。
以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態のみに限定されることはない。なお、本技術の説明は以下の順序で行う。
1.第1の実施形態(信号取得装置)
(1)第1の実施形態の説明
(2)第1の実施形態の例
(2-1)照射部
(2-2)観察光学系
(2-3)検出器
(2-3-1)制御部
(2-3-2)検出器の構成例
(2-4)その他の構成要素
(2-5)信号取得処理の第一の例(焦点の状態に関する情報を用いる画像取得)
(2-5-1)信号取得装置の構成例
(2-5-2)信号取得処理フローの例
(2-5-3)出力データ制御の他の例
(2-6)信号取得処理の第二の例(複数回の撮像が行われる画像取得処理)
(2-6-1)信号取得装置の構成例
(2-6-2)信号取得処理フローの例(圧縮画像の取得)
(2-6-3)信号取得処理フローの例(焦点調整)
(2-6-4)信号取得処理フローの例(解析)
(2-7)信号取得処理の第三の例(スペクトル有効領域に関する情報を用いる画像取得処理)
(2-7-1)信号取得装置の構成例
(2-7-2)信号取得装置の光学系の構成例
(2-7-3)信号取得処理フローの例
2.第2の実施形態(信号取得システム)
3.第3の実施形態(信号取得方法)
1.第1の実施形態(信号取得装置)
(1)第1の実施形態の説明
上記で述べたとおり、例えば病理診断などのために用いられる画像データの量が多くなるにつれて、データ伝送により多くの時間を要し、さらには、データ送信用インタフェースによる律速の影響も表れやすくなる。
特に近年では、撮像素子の多画素化が進展しており、フレーム当たりの画素数が多くなりつつある。これに伴い、撮像素子から出力されるデータ量もより多くなってきており、例えば、100M画素且つ12bit/画素の撮像素子で20フレーム/秒の撮像を行う場合、100Mx12x20=24Mbit/sの高速データ伝送が求められ、フレームあたりの伝送時間は50msとなる。
一方、受光素子は、例えば1ms程度と十分に短い露光時間で動作させることができる。すなわち、受光素子による受光自体は一般的には短時間で行うことができる。そのため、撮像により得られたデータの処理は、データ伝送の速度により律速されうる。
本技術の信号取得装置は、生体組織に光を照射する照射部と、前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、を備えている。
前記検出器は、前記照射部により光照射された生体組織からの光を受光し、当該光を信号、特には電気信号、より特にはデジタル電気信号に変換することができるように構成されうる。前記検出器は、当該変換によって、前記生体組織からの光から信号を取得しうる。前記検出器は、当該取得した信号に基づき出力データを生成する。
前記検出器は、例えば、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、を備えていてよい。本技術の好ましい実施態様において、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されていてよい。前記検出器は、例えば撮像素子であってよく、又は、フォトディテクタであってもよい。前記検出器が撮像素子である場合、前記信号は画素信号であってよい。前記検出器がフォトディテクタである場合、前記信号は光信号であってよい。
本技術の信号取得装置に含まれる前記検出器には前記制御部が備えられているので(特には前記チップ内に配置されているので)、例えば当該検出器内で出力データが制御される(例えば出力データの生成が制御される)。これにより、例えば出力データの量の削減が可能となる。例えば前記検出器が撮像素子である場合、当該制御部によって、撮像により得られた画像データそのものでなく、画像データをより少ないデータ量のデータに変換して、撮像素子外へと出力することが可能となる。これにより、データ送信に要する時間をより少なくすることができ、また、送信用インタフェースによる律速の影響も低減することができる。このように、本技術によって、大量の画像データを高速に処理することが可能となる。
(2)第1の実施形態の例
本技術に従う信号取得装置の例及び当該信号取得装置による信号取得処理の例を、以下で図1を参照しながら説明する。
図1は、本技術に従う信号取得装置の構成例を説明するための模式図である。図1に示される信号取得装置100は、検出器111、観察光学系112、及び照射部113を備えている。信号取得装置100は、生体組織S(以下「対象S」という)が置かれるステージ114をさらに備えていてよい。信号取得装置100は、ステージ114に置かれた対象Sを撮像することができるように構成されている。
なお、図1に示されている信号取得装置は、画像取得装置の模式的な構成例が示すが、本技術の信号取得装置は画像取得装置以外の信号取得装置であってもよい。本技術の信号取得装置は、例えば光信号取得装置であってよい。光信号取得装置の例として、例えばフローサイトメータなどの粒子分析装置を挙げることができる。本技術の信号取得装置は、生体組織からの光から信号を取得する医療用観察装置又は医療用観察システムとして構成されてよい。当該装置又はシステムの例として、例えば顕微鏡装置及び内視鏡装置が挙げられるがこれらに限定されない。
また、図1に示されている信号取得装置は、蛍光観察においてしばしば用いられる同軸落射照明方式の画像取得装置の模式的な構成例が示すが、本技術における照明方式はこれに限定されない。例えば、本技術の信号取得装置は、透過照明方式の信号取得装置であってもよい。透過照明方式は例えば明視野観察において採用されうる。
本技術に従う信号取得装置は、例えば顕微鏡装置として構成されてよく、明視野顕微鏡装置、暗視野顕微鏡装置、又は蛍光顕微鏡装置として構成されてよい。例えば、本技術に従う信号取得装置は、いわゆるWSI(Whole Slid Imaging)スキャナとして構成されてよい。
前記生体組織(tissue)は、信号取得装置の構成に応じて選択されてよい。
本技術の信号取得装置が顕微鏡装置である場合、前記生体組織は、例えば生体由来のサンプルであり、例えば生体由来の組織サンプルでありうる。前記サンプルは、凍結切片又はパラフィン切片であってよい。前記サンプルは、組織サンプル若しくは細胞サンプルであってよく、又は、生細胞(例えば培養中の生細胞など)であってもよい。
本技術の信号取得装置が内視鏡装置または顕微鏡装置である場合、前記生体組織は、体内組織又は臓器でありうる。
本技術の信号取得装置が粒子分析装置である場合、前記生体組織は、例えば細胞、細胞塊、微生物、及びリポソームなどの生物学的微小粒子であってよい。また、当該粒子分析装置は、ゲル粒子、ビーズ、ラテックス粒子、ポリマー粒子、及び工業用粒子などの合成微小粒子を分析対象としてもよい。
(2-1)照射部
照射部113は、検出器111による信号取得において対象Sを照明するための光学系であり、対象Sに光を照射する。検出器111が撮像素子である場合、照射部113は、撮像素子111による撮像において対象Sを照明するための光学系であってよい。
照射部113は、当該照明のための光源を含み、例えば可視光又は紫外光を対象Sに照射しうる。照射部113に含まれる光源は、検出器111により取得されるべき信号又は出力データの種類に応じて当業者により適宜選択されてよい。検出器111が撮像素子である場合、前記光源は、撮像素子111により取得されるべき画素信号又は画像データの種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、LEDランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。例えば、前記画像データが明視野画像データである場合、照射部113は、例えばLEDランプ又はハロゲンランプを含みうる。前記画像データが蛍光画像データである場合、照射部113は、例えばレーザ光源、LEDランプ、水銀ランプ、又はキセノンランプを含みうる。蛍光を発する蛍光体の種類に応じて、照射される光の波長又はランプの種類は選択されてよい。
(2-2)観察光学系
観察光学系112は、例えば検出器111の構成又は受光する光などに応じて適宜選択されてよい。例えば検出器111が撮像素子である場合、観察光学系112は、検出器111が対象Sを拡大して撮像することを可能とするように構成されうる。
観察光学系112は、例えば対物レンズを含みうる。すなわち、後述の取得部は、対物レンズを介して前記生体組織からの光から信号を取得しうる。また、観察光学系112は、対物レンズによって拡大された像を検出器111に中継するためのリレーレンズを含んでもよい。観察光学系112の構成は、対象Sに応じて選択されてよい。例えば対物レンズの倍率は、例えば対象Sに応じて適宜選択されうる。また、リレーレンズの構成は、例えば対物レンズ及び検出器111に応じて適宜選択されうる。観察光学系112は、前記対物レンズ及び前記リレーレンズ以外の光学部品を含んでもよい。
(2-3)検出器
検出器111は、取得部及び制御部を備えている。前記取得部が、前記照射部により光照射された対象Sからの光から信号を取得する。前記制御部が、前記信号の特徴データを取得し、前記特徴データに基づき、出力データを生成する。
検出器111が撮像素子である場合、前記取得部は撮像部ともいう。この場合において、前記撮像部が、照射部113により光照射された対象Sを撮像して、画素信号を取得する。例えば、前記撮像部は、対物レンズを介して対象Sを撮像する。前記制御部は、前記撮像部により得られた画素信号の特徴データを取得し、そして、当該特徴データに基づき、撮像素子111から出力する出力データを制御する。
検出器111がフォトディテクタである場合、前記取得部が、光信号を取得する。前記制御部は、当該光信号の特徴データを取得し、前記特徴データに基づき、出力データを生成する。
(2-3-1)制御部
以下で、制御部により行われる信号からの特徴データの取得及び当該特徴データに基づく出力データ生成の制御について、それぞれ説明する。
前記制御部は、信号から特徴データを取得する。前記信号が画素信号である場合、前記特徴データは、例えば焦点の状態に関する情報(例えば焦点位置に関する情報又は焦点精度に関する情報など)、画素信号の相関に関する情報、又はスペクトル有効領域データであってよい。これらの特徴データについて、以下(2-5)以降における説明を参照されたい。
前記制御部は、前記信号の特徴データを、学習済みモデルを用いて取得してよい。前記学習済みモデルは、取得されるべき特徴データに応じて選択されてよい。例えば、前記学習済みモデルは、生体組織を撮像して得られた画素信号と、当該画素信号に関連付けられた特徴データとを含む教師データを、少なくとも一つ、好ましくは複数用いて機械学習された学習済みモデルであってよい。
前記学習済みモデルは、例えば深層学習(ディープラーニング)により生成された学習済みモデルであってよい。例えば、前記学習済みモデルは、多層ニューラルネットワークであってよく、例えば深層ニューラルネットワーク(DNN:Deep Neural Network)であってよく、より具体的には畳込みニューラルネットワーク(CNN:Convolutional Neural Network)であってもよい。前記多層ニューラルネットワークは、生体組織からの光からの信号(例えば生体組織を撮像して得られた画素信号)を入力する入力層と、前記信号の特徴データを出力する出力層と、入力層と出力層との間に設けられる少なくとも1層、例えば2層以上の中間層とを有しうる。
また、前記学習済みモデルとして、深層学習以外のアルゴリズムが用いられてもよい。当該アルゴリズムとして、例えば、線形回帰、MARS(Multivariate adaptive regression splines)、又はサポートベクターマシン(SVM)が用いられてよい。また、当該アルゴリズムとして、木を使った学習法として、Decision Treeなどの決定木を用いた手法が採用されてよく、又は、例えばK-NN(K-Nearest Neighbor)及びRandom Forestなどのアンサンブル学習器が採用されてもよい。
前記制御部は、前記特徴データに基づき出力データを生成する。制御部は、学習済みモデルを用いて、出力データを生成してもよい。前記制御部は、検出器111から出力する出力データを制御してよく、例えば、前記制御部は、前記特徴データに基づき、検出器111から出力される出力データを選択又は生成しうる。制御部は、学習済みモデルを用いて、撮像素子から出力するデータを制御してもよい。
例えば、前記学習済みモデルは、信号に関連付けられた特徴データと当該特徴データに関連付けられた出力データとを含む教師データを、少なくとも一つ、好ましくは複数用いて機械学習された学習済みモデルであってよい。
前記学習済みモデルも、例えば深層学習により生成された学習済みモデルであってよい。例えば、前記学習済みモデルは、多層ニューラルネットワークであってよく、例えば深層ニューラルネットワークであってよく、より具体的には畳込みニューラルネットワークであってもよい。前記多層ニューラルネットワークは、特徴データを入力する入力層と、出力データを出力する出力層と、入力層と出力層との間に設けられる少なくとも1層、例えば2層以上の中間層とを有しうる。
(2-3-2)検出器の構成例
本技術の一つの実施態様にいおて、検出器111は、撮像素子として構成されてよい。以下で、検出器(撮像素子)111の構成例を図2に示す。なお、検出器111は、撮像素子に限定されるものでなく、例えばフォトディテクタであってもよい。
図2に示されるとおり、撮像素子111は、撮像ブロック20と信号処理ブロック30とを有する。撮像ブロック20と信号処理ブロック30とは、接続線(内部バス)CL1、CL2、及びCL3によって電気的に接続されている。
撮像ブロック20は、撮像部21、撮像処理部22、出力制御部23、出力I/F24、及び撮像制御部25を有する。
信号処理ブロック30は、CPU(Central Processing Unit)31、DSP(Digital Signal Processor)32、及びメモリ33を含みうる。信号処理ブロック30は、さらに通信I/F34、画像圧縮部35、及び、入力I/F36を有していてもよい。信号処理ブロック30は、撮像部により得られた画素信号を用いて、所定の信号処理を行う。信号処理ブロック30によって、上記「(2-1-1)制御部」において説明した特徴データの取得処理及び撮像素子から出力するデータの制御処理が実現される。
以下で、撮像素子111に含まれるこれら構成要素について説明する。
撮像部21は、生体組織を含む対象Sを撮像して、画素信号を取得する。撮像部21は、例えば撮像処理部22によって駆動されて、前記撮像を行いうる。撮像部21は、例えば2次元に並んで配列された複数の画素を備えていてよい。撮像部21に含まれる各画素は、光を受光し、光電変換を行い、そして、受光した光に基づくアナログ画素信号を出力する。
撮像部21が出力する画像(信号)のサイズは、例えば12M(3968×2976)ピクセル又はVGA(Video Graphics Array)サイズ(640×480ピクセル)などの複数のサイズの中から選択することができる。撮像部21が出力する画像は、カラー画像又は白黒画像であってよい。カラー画像は、例えばRGB(赤、緑、青)により表されうる。白黒画像は、例えば輝度のみによってあらわされうる。これらの選択は、撮影モードの設定の一種として行うことができる。
撮像処理部22は、撮像部21による画像の撮像に関連する撮像処理を行いうる。例えば、撮像処理部22は、撮像制御部25の制御に従い、撮像部21の駆動、撮像部21が出力するアナログの画像信号のAD(Analog to Digital)変換、又は撮像信号処理などの撮像処理を行いうる。
前記撮像信号処理は、より具体的には、例えば、撮像部21が出力する画像について、所定の小領域ごとに、画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理、撮像部21が出力する画像をHDR(High Dynamic Range)画像に変換する処理、欠陥補正、又は現像でありうる。
撮像処理部22は、撮像部21が出力するアナログの画像信号のAD変換等によって得られるデジタルの画像信号(例えば12Mピクセル又はVGAサイズの画像)を、撮像画像として出力しうる。
撮像処理部22が出力する撮像画像は、出力制御部23に供給されうる。また、撮像処理部22が出力する撮像画像は、接続線CL2を介して信号処理ブロック30(特には画像圧縮部35)に供給されうる。
出力制御部23には、撮像処理部22から撮像画像が供給されうる。また、出力制御部23には、信号処理ブロック30から、接続線CL3を介して、例えば撮像画像データなどを用いた判別結果が供給されうる。
出力制御部23は、撮像処理部22から供給された撮像画像、及び、信号処理ブロック30による判別結果を、(1つの)出力I/F24から撮像素子111の外部に選択的に出力させる出力制御を行う。
すなわち、出力制御部23は、撮像処理部22からの撮像画像、又は、信号処理ブロック30からの画像を選択し、出力I/F24に供給する。
出力I/F24は、出力制御部23から供給される撮像画像、及び、判別結果を外部に出力するI/Fである。出力I/F24としては、例えばMIPI(Mobile Industriy Processor Interface)などの比較的高速なパラレルI/Fを採用することができる。出力I/F24は、出力制御部23による出力制御に応じて、撮像処理部22からの撮像画像、又は、信号処理ブロック30から画像を、外部に出力する。したがって、例えば、外部において、信号処理ブロック30からの画像だけが必要であり、撮像処理部22からの撮像画像が必要でない場合には、信号処理ブロック30からの画像だけを出力することができ、出力I/F24から外部に出力するデータ量を削減することができる。
また、信号処理ブロック30が、特徴データの取得及び/又はデータ出力制御を行って、撮像素子111の外部の構成要素(例えば情報処理装置など)に送信される画像が、出力I/F24から出力される。これにより、外部で信号処理を行う必要がなくなり、外部の構成要素の負荷を軽減することができる。
撮像制御部25は、レジスタ群27に記憶された撮像情報に従って、撮像処理部22を制御し、これにより、撮像部21による撮像を制御しうる。
レジスタ群27は、撮像情報、撮像処理部22での撮像信号処理の結果、出力制御部23での出力制御に関する出力制御情報を記憶することができる。出力制御部23は、レジスタ群27に記憶された出力制御情報に従って、撮像処理部22からの撮像画像、又は、信号処理ブロック30からの画像を選択的に出力させる出力制御を行うことができる。
撮像制御部25と信号処理ブロック30に含まれるCPUとは接続線CL1を介して接続されていてよい。当該CPUは当該接続線を介して、レジスタ群27に対して、情報の読み書きを行うことができる。すなわち、レジスタ群27に対する情報の読み書きは、通信I/F26から行われてよく、又は、当該CPUからも行われてよい。
信号処理ブロック30は、前記特徴データの取得及び/又は前記特徴データに基づくデータ出力の制御を行う。信号処理ブロック30は、例えばCPU(Central Processing Unit)31、DSP(Digital Signal Processor)32、及びメモリ33を含みうる。信号処理ブロック30は、さらに通信I/F34、画像圧縮部35、及び、入力I/F36を有していてもよい。信号処理ブロック30は、撮像部21により得られた画素信号を用いて、所定の信号処理を行いうる。
信号処理ブロック30を構成するCPU31、DSP32、メモリ33、通信I/F34、入力I/F36は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
CPU31は、メモリ33に記憶されたプログラムを実行することで、例えば信号処理ブロック30の制御又は撮像制御部25のレジスタ群27への情報の読み書きなどの各種の処理を行う。例えば、CPU31は、プログラムを実行することにより、DSP32での信号処理により得られる信号処理結果を用いて、撮像情報を算出する撮像情報算出部として機能し、信号処理結果を用いて算出した新たな撮像情報を、接続線CL1を介して、撮像制御部25のレジスタ群27にフィードバックして記憶させうる。したがって、CPU31は、撮像画像の信号処理結果に応じて、撮像部21による撮像及び/又は撮像処理部22による撮像信号処理を制御することができる。また、CPU31がレジスタ群27に記憶させた撮像情報は、通信I/F26から外部に提供(出力)することができる。例えば、レジスタ群27に記憶された撮像情報のうちのフォーカスの情報は、通信I/F26から、フォーカスを制御するフォーカスドライバ(図示せず)に提供することができる。
DSP32は、メモリ33に記憶されたプログラムを実行することで、撮像処理部22から、接続線CL2を介して、信号処理ブロック30に供給される画像データや、入力I/F36が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
メモリ33は、SRAM(Static Random Access Memory)やDRAM(Dynamic RAM)等で構成されうる。メモリ33は、例えば信号処理ブロック30の処理のために用いられるデータなどの各種データを記憶する。
例えば、メモリ33は、通信I/F34を介して外部から受信したプログラム、画像圧縮部35で圧縮された撮像画像データ、特にはDSP32での信号処理において用いられる撮像画像データ、DSP32で行われた信号処理の信号処理結果、又は、入力I/F36が受け取った情報などを記憶する。
通信I/F34は、例えば、SPI(Serial Peripheral Interface)等のシリアル通信I/F等の第2の通信I/Fであり、外部の構成要素(例えば、撮像素子111外部のメモリ又は情報処理装置など)との間で、CPU31又はDSP32が実行するプログラム等の必要な情報のやりとりを行う。
例えば、通信I/F34は、CPU31又はDSP32が実行するプログラムを外部からダウンロードし、メモリ33に供給して記憶させる。したがって、通信I/F34がダウンロードするプログラムによって、CPU31又はDSP32で様々な処理を実行することができる。なお、通信I/F34は、外部との間で、プログラムだけでなく、任意のデータのやりとりを行うことができる。例えば、通信I/F34は、DSP32での信号処理により得られる信号処理結果を、外部に出力することができる。また、通信I/F34は、CPU31の指示に従った情報を、外部の装置に出力し、これにより、CPU31の指示に従って、外部の装置を制御することができる。
ここで、DSP32での信号処理により得られる信号処理結果は、通信I/F34から外部に出力する他、CPU31によって、撮像制御部25のレジスタ群27に書き込むことができる。レジスタ群27に書き込まれた信号処理結果は、通信I/F26から外部に出力することができる。CPU31で行われた処理の処理結果についても同様である。
画像圧縮部35には、撮像処理部22から接続線CL2を介して、撮像画像が供給される。画像圧縮部35は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。
画像圧縮部35で生成された圧縮画像は、バスを介して、メモリ33に供給されて記憶される。
ここで、DSP32での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部35で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、DSP32での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ33の記憶容量の節約を図ることができる。
画像圧縮部35での圧縮処理としては、例えば、12M(3968×2976)ピクセルの撮像画像を、VGAサイズの画像に変換するスケールダウンを行うことができる。また、DSP32での信号処理が輝度を対象として行われ、かつ、撮像画像がRGBの画像である場合には、圧縮処理としては、RGBの画像を、例えば、YUVの画像に変換するYUV変換を行うことができる。
なお、画像圧縮部35は、ソフトウエアにより実現することもできるし、専用のハードウェアにより実現することもできる。
入力I/F36は、外部から情報を受け取るI/Fである。入力I/F36は、例えば、外部のセンサから、その外部のセンサの出力(外部センサ出力)を受け取り、バスを介して、メモリ33に供給して記憶させる。
入力I/F36としては、例えば、出力I/F24と同様に、MIPI(Mobile Industriy Processor Interface)等のパラレルI/F等を採用することができる。
また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、撮像素子111とは別のイメージセンサを採用することができる。
DSP32では、撮像画像(から生成された圧縮画像)を用いる他、入力I/F36が上述のような外部のセンサから受け取り、メモリ33に記憶される外部センサ出力を用いて、信号処理を行うことができる。
以上のように構成される1チップの撮像素子111では、撮像部21での撮像により得られる画素信号(例えば撮像画像又は撮像画像から生成される圧縮画像)を用いた信号処理がDSP32で行われ、その信号処理の信号処理結果、及び、画素信号が、出力I/F24から選択的に出力される。したがって、撮像素子111が含まれる装置を、小型に構成することができる。
ここで、撮像素子111において、DSP32の信号処理を行わず、したがって、撮像素子111から、信号処理結果を出力せず、撮像画像を出力する場合、すなわち、撮像素子111を、単に、画像を撮像して出力するだけのイメージセンサとして構成する場合、撮像素子111は、出力制御部23を設けない撮像ブロック20だけで構成することができる。
図3は、図2の撮像素子111の外観構成例の概要を示す斜視図である。
撮像素子111は、例えば、図3に示すように、複数のダイが積層された積層構造を有する1チップの半導体装置として構成することができる。
図3では、撮像素子111は、ダイ51及び52の2枚のダイが積層されて構成される。
図3において、上側のダイ51には、撮像部21が搭載され、下側のダイ52には、撮像処理部22ないし撮像制御部25、及び、CPU31ないし入力I/F36が搭載されている。上側のダイ51と下側のダイ52とは、例えば、ダイ51を貫き、ダイ52にまで到達する貫通孔を形成することにより、又は、ダイ51の下面側に露出したCu配線と、ダイ52の上面側に露出したCu配線とを直接接続するCu-Cu接合を行うこと等により、電気的に接続される。
このように、本技術において、前記撮像部と前記制御部とは、単一のチップ内に配置されていてよい。
ここで、撮像処理部22において、撮像部21が出力する画像信号のAD変換を行う方式としては、例えば、列並列AD方式やエリアAD方式を採用することができる。
列並列AD方式では、例えば、撮像部21を構成する画素の列に対してADC(AD Converter)が設けられ、各列のADCが、その列の画素の画素信号のAD変換を担当することで、1行の各列の画素の画像信号のAD変換が並列に行われる。列並列AD方式を採用する場合には、その列並列AD方式のAD変換を行う撮像処理部22の一部が、上側のダイ51に搭載されることがある。
エリアAD方式では、撮像部21を構成する画素が、複数のブロックに区分され、各ブロックに対して、ADCが設けられる。そして、各ブロックのADCが、そのブロックの画素の画素信号のAD変換を担当することで、複数のブロックの画素の画像信号のAD変換が並列に行われる。エリアAD方式では、ブロックを最小単位として、撮像部21を構成する画素のうちの必要な画素についてだけ、画像信号のAD変換(読み出し及びAD変換)を行うことができる。
なお、撮像素子111の面積が大になることが許容されるのであれば、撮像素子111は、1枚のダイで構成することができる。
また、図3では、2枚のダイ51及び52を積層して、1チップの撮像素子111を構成することとしたが、1チップの撮像素子111は、3枚以上のダイを積層して構成することができる。例えば、3枚のダイを積層して、1チップの撮像素子111を構成する場合には、図3のメモリ33を、別のダイに搭載することができる。
(2-4)その他の構成要素
ステージ114は、例えば観察光学系112に含まれる対物レンズの光軸方向(フォーカス方向)に対して垂直である平面を移動可能であるように構成されうる。当該平面は、いわゆるX-Y平面であってよい。
また、ステージ114は、例えば観察光学系112に含まれる対物レンズの光軸方向に移動可能であってもよい。当該光軸方向は、X方向とも呼ばれる。
ステージ140は、対象Sを保持する。例えば、対象Sはステージ140上に載せられてよく、又は、対象Sはステージ140に取り付けられてもよい。ステージ140は、移動可能であるように構成されうる。ステージ140の移動は、例えば制御部130により制御されうる。
信号取得装置100はさらに出力部(図示されていない)を含みうる。当該出力部は、例えば表示装置であってよい。当該出力部は、例えば前記検出器から出力された出力データ(例えば画像データ)を出力しうる。また、当該出力部は、制御部により取得された特徴データを出力してもよい。
信号取得装置100はさらに入力部(図示されていない)を含みうる。当該入力部は、例えばユーザからのデータ入力や、信号取得処理において用いられるデータの入力を受け付ける。当該入力部は、例えば、学習済みモデルを生成するための教師データの入力を受け付けてもよい。
信号取得装置100はさらに解析部(図示されていない)を含みうる。当該解析部は、前記検出器から出力された出力データ(例えば画像データ)を解析しうる。当該解析部は、例えば後述する情報処理装置として構成されてよい。
(2-5)信号取得処理の第一の例(焦点の状態に関する情報を用いる画像取得)
例えばデジタル病理スキャナなどの画像取得装置により生体由来の対象を撮像する場合、オートフォーカス処理を行って当該対象が焦点位置にあるように位置調整されることがある。当該オートフォーカス処理のために、撮像素子から制御装置に画像データを伝送し、当該制御装置が、所定のアルゴリズムに従って判断を行い、ステージを移動させることが考えられる。しかしながら、前記伝送には時間を要する場合がある。加えて、前記伝送は、撮像素子の出力インタフェースにより律速されうる。また、前記伝送に伴いレイテンシーが生じうる。
本技術の信号取得装置は、信号の特徴データを取得し、そして、前記特徴データに基づき、出力データ生成を制御する制御部を備えている。本技術の信号取得装置に備えられる検出器が撮像素子である場合、当該特徴データとして例えば焦点の状態に関する情報、特には焦点位置に関するデータ、を取得することによって、焦点調整が可能となる。
また、例えば前記取得部と前記制御部とが単一のチップ内に配置されているので、オートフォーカス処理のために前記検出器(撮像素子)から外部の制御装置への画像データを伝送する必要がない。そのため、上記で述べた画像データ伝送に伴う問題を解消することができる。
以下で、本技術の信号取得装置による焦点調整の例を、図4及び図5を参照しながら説明する。図4は、画像取得装置として構成された本技術の信号取得装置の一例のブロック図である。図5は、本技術の画像取得装置により行われる処理の一例を示すフロー図である。
(2-5-1)信号取得装置の構成例
図4に示される画像取得装置400は、検出器(撮像素子である)411、ステージ制御部415、及びステージ414を含む。画像取得装置400は、ステージ414に置かれている生体組織(以下「対象S」ともいう)に光を照射する照射部(図示されていない)、及び、対象Sを拡大して観察するための観察光学系(図示されていない)を備えている。当該観察光学系は、対物レンズを含む。
画像取得装置400は、例えば顕微鏡装置として構成されてよい。
撮像素子411は、対象Sを撮像して画素信号を取得する撮像部425を備えている。撮像素子411は、前記撮像により得られた画素信号の特徴データを取得し、そして、前記特徴データに基づき、出力データを生成する制御部424を備えている。撮像部425及び制御部424は、例えば単一のチップ内に配置されていてよい。撮像素子411は、例えば上記「(2-3-2)検出器の構成例」において説明した撮像素子であってよいが、これに限定されない。
ステージ414は、対象Sを保持することができるように構成されている。例えば、ステージ414は、対象Sを載置することができるステージであってよい。ステージ414は、ステージ制御部415によって、X軸、Y軸、及びZ軸のいずれの方向にも移動されることができる。ステージ414は、例えばXYステージであってよい。
ステージ制御部415は、ステージ414の移動を駆動する。ステージ制御部415は、ステージ414を、前記観察光学系の前記対物レンズの光軸方向(フォーカス方向。当該光軸はZ軸ともいう。)に移動させることができる。また、ステージ制御部415は、ステージ414を、前記対物レンズの光軸方向と垂直な平面で移動させることもでき、例えば当該前記光軸と垂直なX軸方向及びY軸方向に移動させることができる。X軸方向及びY軸方向は互いに垂直に交差している。
撮像素子411は制御部424を含む。前記制御部は、撮像素子411により得られた画素信号の特徴データを取得する。当該特徴データは、撮像素子411による撮像の焦点の状態に関する情報であってよく、例えば焦点位置に関するデータであってよい。前記焦点の状態に関する情報は、対象Sに焦点が合うように画像取得装置400を制御するために用いられてよい。
前記焦点の状態に関する情報は、前記画素信号の少なくとも一部の信号についての焦点の状態に関する情報であってよく、すなわち前記画素信号のうちの一部の信号についての焦点の状態に関する情報又は全体の信号についての焦点の状態に関する情報であってもよい。一部の信号についての焦点の状態に関する情報を特徴データとして取得することで、後述の処理において、例えば対象Sのうちの関心領域(例えば目的細胞、より具体的にはガン細胞など)が存在する領域について合焦させることができる。また、全体の信号についての焦点の状態に関する情報を特徴データとして用いてもよい。
前記焦点位置に関するデータは、例えば前記撮像の焦点位置、前記画素信号のボケ量、合焦位置に対する前記焦点位置のズレ量であってよく、又は、前記焦点位置情報若しくは前記ズレ量を特定するために用いられる距離データでありうる。
前記焦点位置は、焦点位置に関する情報であり、例えば最適な焦点位置に関する情報である。前記焦点位置は、例えば前記観察光学系(特には前記観察光学系に含まれる対物レンズ)の焦点位置に関する情報であってよい。
前記画素信号のボケ量は、画素信号全体のうちの焦点が合っていない画素信号の量である。
前記ズレ量は、合焦位置に対する前記撮像の焦点位置のズレ量である。このズレ量に代えて、例えば、対象Sの現在位置と前記観察光学系の焦点位置(特には前記観察光学系に含まれる対物レンズの焦点位置)とのズレ量が採用されてもよく、好ましくは対象Sの現在位置と前記観察光学系の最適な焦点位置に対するズレ量が採用されてもよい。これらのズレ量は、例えば前記観察光学系(特には対物レンズ)の光軸方向(フォーカス方向)におけるズレ量であってよい。
前記距離データは、例えば前記観察光学系(特には対物レンズ)と対象Sとの距離、又は、前記観察光学系(特には対物レンズ)とステージとの距離でありうる。
前記制御部は、好ましくは学習済みモデルを用いて前記焦点の状態に関する情報を取得する。当該学習済みモデルは、例えば、深層学習により生成された学習済みモデルであってよい。当該学習済みモデルは、例えば、生体組織を撮像して得られた画素信号を入力する入力層と、前記画素信号に基づき焦点の状態に関する情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有しうる。
前記制御部は、好ましくは1つの画素信号に基づき、焦点の状態に関する情報を取得する。すなわち、対象Sの1回の撮像により得られた1つの撮像データから、焦点の状態に関する情報が取得される。例えば、前記制御部は、前記学習済みモデルを用いることで、1つの画素信号から、焦点の状態に関する情報を取得することができる。
前記学習済みモデルは、例えば、生体組織の撮像により得られた画素信号と、当該画素信号に関する焦点の状態に関する情報(特には焦点位置情報又は対象Sの現在位置と焦点位置との間のズレ量)との組合せを含む1又は複数の教師データを用いて機械学習された学習済みモデルであってよい。
学習済みモデルの生成の仕方の例について、図6を参照しながら説明する。
図6の左に示されるように、対象Sと同様の生体由来の対象S1が載せられたスライドガラスSGをN枚用意する(Nは1以上の整数である)。例えば、1枚以上、好ましくは2枚以上、より好ましくは3枚以上の前記スライドガラスが用意されうる。
用意されたN枚のスライドガラスのうちの1つを、対物レンズの光軸方向(「Z軸方向」ともいう)における異なる複数の位置で撮像して、撮像データ群(画素信号群)を得る。前記Z軸方向における異なる複数の位置は、図6の右に示されるように、例えば、焦点が合っているZ軸方向における位置(図6における「0」の画像を撮像した位置)から、Z軸方向に+4μmから-4μmまでの間の複数の位置である。例えば0.4μm単位でずらされた各位置で撮像されてよく、この場合、合計で21の撮像データが得られる。同様にして、他のスライドガラスのそれぞれについて、複数の撮像データを得る。これにより、例えばN×21の撮像データが得られる。
各撮像データに関して、焦点が合っているZ軸方向における位置からの距離(すなわち、対象の現在位置と焦点位置との間のズレ量)は既知である。そこで、各撮像データに対し、当該ズレ量を割り当てる。これにより、撮像データと当該撮像データに関連付けられたズレ量との組合せが作成され、このような組合せが複数得られる。当該複数の組合せが、学習済みモデルの生成のための教師データとして用いられる。
以上のように、本技術において、学習済みモデルは、教師データとして、撮像データと当該撮像データに関連付けられた焦点の状態に関する情報(例えば対象の現在位置の焦点位置に対するズレ量又は焦点位置情報など)との、1つ又は複数の組合せを用いて生成されたものであってよい。
前記学習済みモデルは、好ましくは深層学習により生成された学習済みモデルである。例えば、前記学習済みモデルは、前記教師データを用いて、多クラス問題又は線形回帰問題として機械学習された学習済みモデルであってよい。前記多クラス問題に関して、例えば、分類の数は2~50であってよく、好ましくは3~30、より好ましくは5~20でありうる。
例えば、前記学習済みモデルは、多層ニューラルネットワークであってよく、例えば深層ニューラルネットワーク(DNN:Deep Neural Network)であってよく、より具体的には畳込みニューラルネットワーク(CNN:Convolutional Neural Network)であってよい。前記学習済みモデルは好ましくは、撮像データを受け付ける入力層と、当該撮像データの特徴データ(特には焦点の状態に関する情報)を出力する出力層と、を含む学習済みモデルであってよい。前記学習済みモデルは、前記入力層と前記出力層との間に少なくとも一つの中間層を含む。中間層の数は、例えば1~10、好ましくは2~10、より好ましくは2~5でありうる。
また、制御部424は、画像取得装置400のうちステージ制御部415を駆動して、ステージ414を移動させうる。
前記制御部は、例えばステージ制御部415を駆動して、ステージ414を対物レンズの光軸方向に移動させることで、対象Sに焦点を合わせることができる。なお、制御部424は、画像取得装置400のうち前記観察光学系を制御して、対象Sに焦点を合わせてもよい。
制御部424は、例えばステージ制御部415を駆動して、ステージ414を対物レンズの光軸に対して垂直方向に移動させ、これにより撮像領域を変更することができる。例えば図7に示されるように、対象Sの全体を含む領域Rがタイル状に分割され、前記制御部による撮像領域の変更によって、各分割領域が順次撮像されうる。
(2-5-2)信号取得処理フローの例
以下で、画像取得装置400による対象Sの信号取得処理(画像取得処理)の例を図5を参照しながら説明する。
図5のステップS101において、本技術の画像取得装置を用いた画像取得処理が開始される。当該処理の開始に先立ち、生体由来の対象Sがステージ414に置かれる。ステージ414は、画像取得装置400により対象Sが撮像可能な位置に配置されている。
ステップS102の信号取得工程において、画像取得装置400が、光を照射された生体組織からの光から信号を取得する。より具体的には、当該信号取得工程において、画像取得装置400が対象Sを撮像する。当該撮像は例えば以下の通りに行われうる。
ステップS102において、照明部(図示されていない)が、ステージ414上の対象Sに光を照射する。前記照明部に含まれる光源は、撮像素子411により取得されるべき画像データの種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、LEDランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。例えば、前記画像データが明視野画像データである場合、前記照明部は、例えばLEDランプ又はハロゲンランプを含みうる。前記画像データが蛍光画像データである場合、前記照明部は、例えばレーザ光源、LEDランプ、水銀ランプ、又はキセノンランプを含みうる。ステップS102において、処理部(図示されていない)又はユーザが前記照明部を制御して、前記光の照射が行われうる。
ステップS102において、撮像部425が、前記光が対象Sに照射された状態で、観察光学系(図示されていない)を介して対象Sを撮像して、信号(画素信号)を取得する。当該画素信号は、対象Sの全体又は一部の画素信号であってよい。例えば、撮像素子411は、図7に示されるように、対象Sを含む領域Rに関して、タイル状に分割された領域Rのうちのいずれか1つを撮像しうる。
例えば、撮像部425は、図7に示される分割領域R1を撮像しうる。分割領域R1の撮像回数は、1回以上であってよいが、好ましくは1回である。制御部424は、以下の特徴データ取得工程において、前記学習済みモデルを用いることで、1つの画素信号から焦点の状態に関する情報を取得することができるためである。
ステップS103の特徴データ取得工程において、制御部424が、ステップS102において取得された画素信号に基づき、特には1つの画素信号に基づき、画素信号の特徴データとして焦点の状態に関する情報を取得する。当該焦点の状態に関する情報は、例えば焦点位置情報であってよく、又は、焦点位置と対象Sの現在位置との間のズレ量(特には対物レンズの光軸方向におけるずれ量又はフォーカス方向におけるずれ量)であってよい。
ステップS103において、制御部424は、好ましくは学習済みモデルを用いて、前記画素信号に基づき焦点の状態に関する情報を取得する。当該学習済みモデルは、例えば、教師データとして、生体組織を含む対象の画像データと当該対象に関する特徴との組合せを1つ又は複数用いて生成されたものであってよい。
ステップS104において、制御部424は、ステップS103において取得された特徴データである焦点の状態に関する情報に基づき、出力データを生成する。当該出力データが撮像素子411から出力される。当該制御の具体例について、以下で説明する。
前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定する。例えば、前記焦点の状態に関する情報に基づき、対象Sに焦点を合わせるためのステージ414の移動(特には光軸方向(Z軸方向)における移動)又は前記観察光学系の移動を行うかを判定する。前記判定は、例えば、対象の現在位置の焦点位置に対するズレ量が、所定の数値範囲内にあるかに基づき行われてよい。前記所定の数値範囲は、当業者又はユーザにより適宜設定されてよく、例えば所望の画質又は観察光学系の性能に基づき設定されてよい。
前記制御部が焦点調整を実行すると判定した場合、前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で対象Sを撮像する。前記制御部は、前記焦点調整された位置での撮像により得られた画素信号に基づき、前記出力データ(例えば画像データ)を生成する。
例えば、前記制御部は、ステージ制御部415を駆動して、ステージ414を対物レンズの光軸方向に移動させて、対象Sに焦点を合わせる。当該移動の量は、前記焦点の状態に関する情報が前記ズレ量である場合、そのズレ量を解消するような移動量である。また、当該移動の量は、前記焦点の状態に関する情報が焦点位置情報である場合、その焦点位置へ対象Sが移動されるような移動量である。
前記制御部が前記焦点調整を実行した後に、前記制御部は、撮像部425を駆動して、対象Sを撮像する。これにより、撮像素子411が、対象Sに焦点が合った撮像データを得る。
前記制御部は、対象Sに焦点が合った撮像データを撮像素子411の外部(例えば画像取得装置400に有線又は無線で接続された情報処理装置430など)へと出力させる。この場合において、ステップS102において取得された画素信号は出力されなくてよい。これにより、撮像素子411から撮像素子411の外部へ出力されるデータ量が削減されるので、出力インタフェースによる律速の影響又は通信速度の影響が低減される。
制御部424が焦点調整を実行しないと判定した場合は、ステップS102において取得された画素信号は、焦点が対象Sに焦点が合っている状態での撮像により取得されたものである。そのため、上記場合において、制御部424は、ステップS102において取得された画素信号に基づき生成された出力データ(例えば画像データ)を、撮像素子411の外部(例えば画像取得装置400に有線又は無線で接続された情報処理装置430など)へと出力させる。
以上のとおり、制御部424は、ステップS104において、焦点の状態に関する情報に応じて、出力データを生成する。ステップS104において、画素信号に基づき出力データが出力された後、前記制御部は処理をステップS105に進める。
ステップS105において、制御部424は、画像取得処理を終了するかを判定する。例えば、制御部424は、撮像対象である領域Rを分割した分割領域のうち、撮像されるべき分割領域があるかを判定しうる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画素信号及び出力データが取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
ステップS106において、前記制御部は画像取得処理を終了する。
以上の画像取得処理によって、高速にオートフォーカス処理を行うことが可能となる。また、以上の画像取得処理によって、上記で述べた撮像素子から外部の制御装置への画像データの伝送に伴う問題を解消することができる。
(2-5-3)出力データ制御の他の例
上記(2-5-2)において説明したステップS104では、焦点調整を実行すると判定した場合において、焦点調整された位置で撮像が行われ、当該撮像において取得された画素信号に基づくデータが撮像素子411から出力される一方で、ステップS102において取得された画素信号に基づく出力データは出力されない。
本技術の代替的な実施態様に従い、ステップS104において、同ステップにおける焦点調整された位置での撮像により取得された画素信号(以下「第二画素信号」ともいう)に基づく出力データ及びステップS102において取得された画素信号(以下「第一画素信号」ともいう)出力データの両方が、撮像素子411から出力されてもよい。この実施態様における制御部による出力データ制御について、以下で説明する。
ステップS104において、制御部424は、ステップS103において取得された特徴データに基づき、焦点調整を実行するかを判定する。例えば、前記特徴データに基づき、ステージ414の移動(特には光軸方向(Z軸方向)における移動)又は前記観察光学系の移動を行うかを判定する。
前記特徴データは、例えば焦点の状態に関する情報を含みうる。当該焦点の状態に関する情報について、上記(2-5-2)において述べた説明があてはまる。
この実施態様において、前記特徴データは、対象Sに関する特徴データを含んでもよく、例えば対象Sの属性に関する特徴を含んでよい。対象Sの属性に関する特徴は、例えば、対象Sが由来する生物の種類、対象Sの種類、対象Sの組織構成、対象Sが有する細胞の種類若しくはサイズ、又は、対象Sが有しうる疾患に関する特徴を含みうる。
前記制御部が焦点調整を実行すると判定した場合、前記制御部は、前記特徴データに基づき、焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で対象Sを撮像する。
例えば、前記制御部は、ステージ制御部415を駆動して、ステージ414を対物レンズの光軸方向に移動させて、対象Sに焦点を合わせる。当該移動の量は、前記焦点の状態に関する情報が前記ズレ量である場合、そのズレ量を解消するような移動量である。また、当該移動の量は、前記焦点の状態に関する情報が焦点位置情報である場合、その焦点位置へ対象Sが移動されるような移動量である。
また、前記制御部は、対象Sに関する特徴データに基づきステージ制御部415を駆動して、焦点調整を行ってもよい。例えば対象Sの組織構成又は対象Sに含まれる細胞のサイズなどに基づき、焦点調整が行われうる。
前記制御部が前記焦点調整を実行した後に、前記制御部は、取得部(撮像部)425を駆動して、対象Sを撮像させる。これにより、撮像素子411が、焦点調整後の位置で撮像された対象Sの撮像データを得る。
前記制御部は、ステップS102における撮像により得られた第一画素信号及びステップS104における焦点調整後の位置での撮像により得られた第二画素信号に基づき、出力データを生成する。制御部424は、生成された出力データを、撮像素子411の外部(例えば画像取得装置400に有線又は無線で接続された情報処理装置430など)へと出力させる。
制御部424が焦点調整を実行しないと判定した場合は、ステップS102において取得された画素信号に基づく出力データを、撮像素子411の外部へと出力させる。
以上のとおり、制御部424は、ステップS104において、焦点の状態に関する情報に応じて、撮像素子411から出力データ生成を制御する。ステップS104において、画素信号に基づく出力データが出力された後、前記制御部は処理をステップS105に進める。
本技術において、制御部424は、ステップS104における撮像により得られた画素信号に基づき、さらに特徴データを取得してもよい。そして、制御部424は、当該さらなる特徴データに基づき、さらなる焦点調整を実行するかを判定してもよい。制御部424は、さらなる焦点調整を実行すると判定した場合、制御部424は、前記さらなる特徴データに基づき焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記撮像対象を撮像する。当該撮像によって、異なる位置(特には光軸方向における異なる位置)で撮像された追加画素信号が得られる。ステップS104において、前記第一画素信号、前記第二画素信号、及び前記追加画素信号に基づき、出力データが生成されてよい。なお、前記追加画素信号の取得処理は1回又は複数回行われてもよい。
制御部424がさらなる焦点調整を実行しないと判定した場合は、制御部424は処理をステップS105へ進める。
以上の通りの処理によって、例えば光軸方向における異なる複数の位置で撮像するかの判定が行われ、例えばZスタック画像を取得するかの判定が行われる。これにより、本技術の画像取得装置は、必要と判断される場合にだけZスタック画像を取得することができる。
(2-6)信号取得処理の第二の例(複数回の撮像が行われる画像取得処理)
上記「(1)第1の実施形態の説明」において述べたとおり、病理診断などのために用いられる画像データの量が多くなるにつれて、データ送信により多くの時間を要し、送信用インタフェースによる律速の影響も受けやすくなる。例えば厚みのある組織切片の観察などにおいて用いられるZスタック技術では、Z軸方向における複数の画像が取得される。そのため、データ量が多くなりやすい。
本技術の信号取得装置は、受光自体は短い時間で行い、撮像により得られたデータ量を撮像素子内で削減し、そして、より少ない量のデータを撮像素子外に出力することができる。そのため、本技術の信号取得装置は、より高速に大量のデータを処理することが可能であり、Zスタック技術による撮像に適している。
以下で本技術の信号取得装置による画像圧縮処理の例及びオートフォーカス処理の例を、図8を参照しながら説明する。
(2-6-1)信号取得装置の構成例
図8に、画像取得装置として構成された本技術の信号取得装置800を示す。信号取得装置(画像取得装置)500は、検出器(撮像素子である)511、観察光学系512、ステージ514、及びステージ制御部515を含む。画像取得装置500は、さらに、ステージ514に置かれている生体組織(対象S)に光を照射する照射部(図示されていない)を備えている。画像取得装置500は、例えば顕微鏡装置として構成されてよい。
撮像素子511、前記照射部、及び観察光学系512について、上記(2-1)~(2-3)において述べた説明があてはまる。ステージ514及びステージ制御部515について、上記「(2-5-1)信号取得装置の構成例」におけるステージ414及びステージ制御部415についての説明が当てはまる。
撮像素子511は取得部(撮像部ともいう)525を含む。撮像部525は、撮像素子511による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得する。より具体的には、撮像部525は、撮像部525による撮像の光軸方向における複数の位置で、対象Sを撮像する。これにより、信号セット(より具体的には画素信号セット)が得られる。当該複数の位置での撮像のために、ステージ制御部515がステージ514を前記光軸方向に移動させる。当該撮像は、好ましくは、ステージ514を移動させながら行われる。
撮像素子511は制御部524を含む。制御部524は、撮像部525により得られた画素信号の特徴データを取得する。当該特徴データは、信号の相関に関する情報又は焦点の状態に関する情報(例えば焦点精度に関する情報)である。
前記画素信号の相関に関する情報は、例えば輝度値分布に基づく相関であってよいが、これに限定されない。
前記焦点の状態に関する情報は、例えば焦点精度に関する情報である。前記焦点精度に関する情報は、例えばフォーカス検波値であってよいが、これに限定されない。前記フォーカス検波値として、例えば、位相差、高周波成分の量、又はコントラスト値を挙げることができる。
制御部524は、好ましくは学習済みモデルを用いて前記画素信号の相関に関する情報又は前記焦点の状態に関する情報を取得する。当該学習済みモデルは、例えば、深層学習により生成された学習済みモデルであってよい。当該学習済みモデルは、例えば、生体由来の撮像対象を撮像して得られた画素信号を入力する入力層と、前記画素信号の相関に関する情報又は前記焦点の状態に関する情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有しうる。
好ましくは、撮像部525は、撮像部525による撮像の光軸方向における複数の位置で、撮像対象Sを撮像し、制御部524が、前記複数の位置での撮像により得られた画素信号セットから、画素信号の相関に関する情報又は焦点の状態に関する情報を取得する。例えば、制御部524は、前記学習済みモデルを用いて、複数の画素信号から画素信号の相関に関する情報又は焦点の状態に関する情報を取得することができる。
前記学習済みモデルは、例えば、生体組織の撮像により得られた複数の画素信号と当該複数の画素信号の相関に関する情報又は焦点の状態に関する情報との組合せを含む1又は複数の教師データを用いて機械学習された学習済みモデルであってよい。
前記焦点の状態に関する情報がフォーカス検波値である場合の学習済みモデルの生成の仕方の例について、以下で説明する。
撮像素子511により、生体組織を複数回撮像して画素信号セットを得る。当該複数回の撮像は、対物レンズを介して行われ、且つ、対物レンズの光軸方向に前記撮像対象を移動させながら行われる。当該画素信号セットからフォーカス検波値を取得し、当該画素信号セットとフォーカス検波値とのデータセットを得る。フォーカス検波値の取得は、当技術分野で既知の手法により行われてよい。同様にして、前記複数回撮像された撮像領域以外の領域、及び/又は、前記撮像対象以外の対象に対して、複数の撮像データとフォーカス検波値とのデータセットを得る。
このようにして得られた複数のデータセットが、学習済みモデルの生成のための教師データとして用いられる。
以上のように、本技術において、学習済みモデルは、教師データとして、信号セット(特には画素信号セット)と当該信号セットに関連付けられた相関に関する情報又は焦点の状態に関する情報との、1つ又は複数のデータセットを用いて生成されたものであってよい。
前記学習済みモデルは、好ましくは深層学習により生成された学習済みモデルである。例えば、前記学習済みモデルは、多層ニューラルネットワークであってよく、例えば深層ニューラルネットワーク(DNN:Deep Neural Network)であってよく、より具体的には畳込みニューラルネットワーク(CNN:Convolutional Neural Network)であってよい。前記学習済みモデルは好ましくは、撮像データを受け付ける入力層と、当該撮像データの特徴データ(特には相関に関する情報又は焦点精度)を出力する出力層と、を含む学習済みモデルであってよい。前記学習済みモデルは、前記入力層と前記出力層との間に少なくとも一つの中間層を含む。中間層の数は、例えば1~10、好ましくは2~10、より好ましくは2~5でありうる。
制御部524は、画像取得装置500のうちステージ制御部515を駆動して、ステージ514を移動させうる。
制御部524は、例えばステージ制御部515を駆動して、ステージ514を観察光学系512の光軸方向(特には対物レンズの光軸方向)に移動させることで、対象Sに焦点を合わせることができる。なお、前記制御部は、画像取得装置500のうち観察光学系512を制御して、対象Sに焦点を合わせてもよい。
制御部524は、例えばステージ制御部515を駆動して、ステージ514を観察光学系512の光軸に対して垂直方向に移動させ、これにより撮像領域を変更することができる。例えば図7に示されるように、対象Sの全体を含む領域Rがタイル状に分割され、前記制御部による撮像領域の変更によって、各分割領域が順次撮像されうる。
(2-6-2)信号取得処理フローの例(圧縮画像の取得)
以下で、画像取得装置500による対象Sの信号取得処理(画像取得処理)の例を、図5を参照しながら説明する。
図5のステップS101において、本技術の画像取得装置を用いた画像取得処理が開始される。当該処理の開始に先立ち、生体組織(対象S)がステージ514に置かれる。ステージ514は、画像取得装置500により対象Sが撮像可能な位置に配置されている。
ステップS102の撮像工程において、画像取得装置500が対象Sを複数回撮像する。当該撮像は例えば以下の通りに行われうる。
ステップS102において、前記照射部が、ステージ514上の対象Sに光を照射する。前記照射部に含まれる光源は、撮像素子511により取得されるべき画像信号の種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、LEDランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。例えば、前記画像データが明視野画像データである場合、前記照射部は、例えばLEDランプ又はハロゲンランプを含みうる。前記画像データが蛍光画像データである場合、前記照射部は、例えばレーザ光源、LEDランプ、水銀ランプ、又はキセノンランプを含みうる。ステップS102において、制御部524又はユーザが前記照射部を制御して、前記光の照射が行われうる。
ステップS102において、撮像部525が、前記光が対象Sに照射された状態で、ステージ514を、対物レンズの光軸方向に移動させながら、対象Sを連続して複数回撮像して、複数の画素信号を取得する。当該複数の画素信号が、画素信号セットとしてステップS103において用いられる。当該画素信号セットは、対象Sの全体又は一部の画像信号であってよい。例えば、撮像素子511は、図7に示されるように、対象Sを含む領域Rに関して、タイル状に分割された領域Rのうちのいずれか1つを撮像しうる。
ステップS102における前記複数回の撮像は、撮像素子511に備えられている制御部524によって制御されうる。
ステップS102において、好ましくは、ステージ514が等速移動されながら、撮像素子511が対象Sを複数回撮像する。当該等速移動は、例えば制御部524がステージ制御部515を駆動することにより行われてよい。
ステップS103の特徴データ取得工程において、制御部524が、ステップS102において取得された画像信号セットに基づき、特徴データとして当該画素信号セットの相関に関する情報を取得する。当該相関は、例えば輝度値分布に基づく相関あってよい。
ステップS103において、制御部524は、好ましくは学習済みモデルを用いて、当該画素信号セットの相関に関する情報を取得する。
ステップS104において、制御部524は、ステップS103において取得された特徴データである相関に関する情報に基づき、撮像素子511から出力するデータを制御する。当該制御の具体例について、以下で説明する。
制御部524は、前記相関に関する情報に基づき、前記複数の画素信号のデータ量を圧縮する。例えば、2つの画素信号を比較して、画素信号間で変化が無い領域が存在する場合、当該変化が無い領域についてのデータを圧縮する。圧縮処理として、当技術分野で既知の処理方法が採用されてよい。
制御部524は、前記圧縮により得られた撮像データを撮像素子511の外部(例えば画像取得装置500に有線又は無線で接続された情報処理装置又はサーバなど)へと出力させる。この場合において、ステップS102において取得された複数の画素信号そのものは出力されなくてよい。これにより、撮像素子511から撮像素子511外部へ出力されるデータ量が削減されるので、出力インタフェースによる律速の影響又は通信速度の影響が低減される。
以上のとおり、制御部524は、ステップS104において、複数の画素信号の相関に関するデータに基づき、撮像素子511から出力されるデータを制御する。ステップS104において、データが出力された後、制御部524は処理をステップS105に進める。
ステップS105において、前記制御部は、画像取得処理を終了するかを判定する。例えば、制御部524は、撮像対象である領域Rを分割した分割領域のうち、撮像されるべき分割領域があるかを判定しうる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画像信号が取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
ステップS106において、前記制御部は画像取得処理を終了する。
以上のとおりの画像取得処理によって、より高速な撮像データ処理が可能となる。例えばZスタック技術により取得される画像のデータ量を削減することができる。さらに、当該削減は、撮像素子内部の制御部によって行われるので、撮像素子のインタフェース又は通信速度によるデータ伝送の律速の影響を低減することができる。
(2-6-3)信号取得処理フローの例(焦点調整)
以下で、画像取得装置500による対象Sの画像取得処理の他の例を、図5を参照しながら説明する。
図5のステップS101及びS102は、上記「(2-6-2)信号取得処理フローの例(圧縮画像の取得)」におけるステップS101及びS102と同じように行われてよい。
ステップS103の特徴データ取得工程において、制御部524が、ステップS102において取得された信号セット(より具体的には画素信号セット)に基づき、特徴データとして、複数の焦点の状態に関する情報(特には焦点精度に関する情報)を取得する。前記複数の焦点の状態に関する情報は、例えばフォーカス検波値あってよい。
ステップS103において、制御部524は、好ましくは学習済みモデルを用いて、当該焦点精度に関する情報を取得する。
ステップS104において、制御部524は、ステップS103において取得された特徴データである前記複数の焦点の状態に関する情報に基づき、撮像素子511から出力されるデータを制御する。例えば、制御部524は、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を撮像素子511から出力させる。制御部524は、例えば学習済みモデルを用いて、前記出力画像を生成してもよい。
例えば、前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像である。好ましくは、前記出力画像は、最も合焦している画素信号から生成した画像である。
また、前記出力画像は、前記信号セットの内、複数のZ位置(例えば対物レンズの光軸方向における複数の位置)で取得した信号から生成した画像であってもよい。
本技術の一つの実施態様に従い、制御部524は、前記焦点の状態に関する情報(特には焦点精度に関する情報)に基づき、前記信号セットのうちから所定の基準を満たす信号を選択しうる。例えば、焦点精度に関する情報としてフォーカス検波値が採用される場合、前記制御部は、当該フォーカス検波値に基づき、焦点が合っている1以上の信号、特には焦点が最もよく合っている1つの信号を選択しうる。当該選択は、例えば学習済みモデルを用いて行われてもよい。制御部524は、選択された前記信号から、出力画像が生成しうる。
本技術の他の実施態様に従い、制御部524は、前記焦点精度に関する情報に基づき、前記画素信号セットのうちから、2つ以上の信号を選択する。当該選択は、例えば学習済みモデルを用いて行われてもよい。制御部524は、当該選択された2つ以上の信号から、1つの出力画像を生成しうる。
例えば、制御部524は、当該選択された2つ以上の信号のそれぞれから、最も良い焦点精度を有する部分領域の信号を組み合わせて、全体領域の画像を出力画像として生成しうる。
このように、本技術において、制御部524は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成しうる。例えば、制御部524は、ステップS102において取得された複数の画像それぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成しうる。
制御部524は、生成された出力画像を撮像素子211の外部(例えば画像取得装置500に有線又は無線で接続された情報処理装置又はサーバなど)へと出力させる。この場合において、ステップS102において取得された複数の信号そのものは出力されなくてよい。これにより、撮像素子511から撮像素子511外部へ出力されるデータ量が削減されるので、出力インタフェースによる律速の影響又は通信速度の影響が低減される。
以上のとおり、制御部524は、ステップS104において、焦点精度に関する情報に基づき、撮像素子511から出力されるデータを制御する。ステップS104において、当該データが出力された後、制御部524は処理をステップS105に進める。
ステップS105において、制御部524は、画像取得処理を終了するかを判定する。例えば、制御部524は、撮像対象である領域Rを分割した分割領域のうち、撮像されるべき分割領域があるかを判定しうる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画素信号が取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
ステップS106において、制御部524は画像取得処理を終了する。
以上の画像取得処理によって、オートフォーカス処理を高速に行うことができる。例えば、オートフォーカス処理のために、撮像素子外部へ画素信号を伝送する必要がなくなる。また、撮像素子から出力される画素信号は焦点調整されたものであるので、出力される画素信号のデータ量を削減することができる。
(2-6-4)信号取得処理フローの例(解析)
以下で、画像取得装置500による対象Sの画像取得処理の他の例を、図5を参照しながら説明する。
図5のステップS101及びS102は、上記「(2-6-2)画像取得処理フローの例(圧縮画像の取得)」におけるステップS101及びS102と同じように行われてよい。
ステップS103の特徴データ取得工程において、制御部524が、ステップS102において取得された画素信号セットに基づき、特徴データとして、対象Sに関する特徴データを取得しうる。対象Sに関する特徴データは、例えば対象Sの属性に関する特徴を含んでよい。対象Sの属性に関する特徴は、例えば、前記対象Sが由来する生物の種類、前記対象Sの種類、前記対象Sが有する細胞の種類、又は、前記対象Sが有しうる疾患に関する特徴を含みうる。
前記対象Sが由来する生物の種類は、例えば生物の分類学的な種類(例えばヒトなど)、性別的な種類(例えば男性又は女性など)、又は齢に関する種類(例えば年齢、月齢、又は日齢など)であってよい。
前記対象Sの種類は、例えば当該生体組織が由来する器官の種類(例えば胃など)、器官の構成要素の種類(例えば胃の粘膜層又は筋層など)、又は体液の種類(例えば血液など)でありうる。
前記対象Sが有する細胞の種類は、例えば形態、機能、及び細胞構成成分のうちの一つ以上の観点からの分類に基づく種類であってよく、又は、細胞に付された標識(例えば蛍光体又は抗体など)に基づく種類であってよい。
前記対象Sが有しうる疾患に関する特徴は、例えば前記生体組織が疾患を有するかどうか、前記生体組織が疾患を有する可能性、又は当該疾患の種類(例えば疾患の名称又は疾患の進行の程度など)であってよい。
ステップS103において、制御部524は、好ましくは学習済みモデルを用いて、対象Sに関する特徴データに関する情報を取得する。
ステップS104において、制御部524は、ステップS103において取得された特徴データである対象Sに関する特徴データに基づき、撮像素子511からのデータ出力を制御する。
例えば、制御部524は、前記対象Sに関する特徴データだけを出力するように、撮像素子511を制御しうる。すなわち、撮像素子511は、例えば対象Sの疾患情報などを出力するが、取得した画素信号は出力しない。
代替的には、制御部524は、前記対象Sに関する特徴データと画像データを出力しうる。当該画像データは、好ましくは、ステップS102において画素信号セットのうちの一部の画素信号に基づくものである。これにより、出力される画像データ量を削減しつつ、且つ、対象Sの解析結果を出力することができる。
以上のとおり、制御部524は、ステップS104において、対象Sに関する特徴データに基づき、撮像素子511からの出力を制御する。ステップS104における出力後、制御部524は処理をステップS105に進める。
ステップS105において、制御部524は、画像取得処理を終了するかを判定する。例えば、制御部524は、撮像対象である領域Rを分割した分割領域のうち、撮像されるべき分割領域があるかを判定しうる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画素信号が取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
ステップS106において、制御部524は画像取得処理を終了する。
以上の画像取得処理によって、対象Sの解析を高速に行うことができる。例えば、対象Sの解析のために、撮像素子外部へ画素信号を伝送する必要がなくなる。また、撮像素子から出力される画素信号のデータ量が削減されるので、上記で述べた律速の影響が低減される。
(2-7)信号取得処理の第三の例(スペクトル有効領域に関する情報を用いる画像取得処理)
上記「(1)第1の実施形態の説明」において述べたとおり、病理診断などのために用いられる画像データの量が多くなるにつれて、データ送信により多くの時間を要し、送信用インタフェースによる律速の影響も受けやすくなる。
分光データを取得する撮像装置として、いわゆるハイパースペクトルカメラ及びマルチスペクトルカメラが知られている。これらのカメラは、スペクトルイメージング技術を用いて対象を撮像する。スペクトルイメージング技術により取得されるデータは、各画素についての二次元方向(例えばx方向及びy方向)の位置情報に加え、各画素のスペクトル情報も有する。そのため、これらカメラにより取得されるデータ量は特に多くなる。
本技術の信号取得装置は、信号の特徴データを取得し、そして、前記特徴データに基づき、出力データを生成する制御部を備えている。そのため、本技術をスペクトルイメージング技術に適用した場合において、前記制御部によって、より少ない量のデータを撮像素子外に出力することができる。これにより、撮像素子の出力インタフェースによる律速の影響又は通信速度の影響が低減される。そのため、本技術の信号取得装置は、スペクトルイメージング技術により画像を取得するために適している。
以下で、スペクトルイメージングを行う本技術の信号取得装置による信号取得処理の例を、図11及び図12を参照しながら説明する。図11は、画像取得装置として構成された本技術の信号取得装置の一例のブロック図である。図12は、本技術の画像取得装置により行われる処理の一例を示すフロー図である。
(2-7-1)信号取得装置の構成例
図9に示される画像取得装置600は、検出器(撮像素子である)611、観察光学系612、ステージ614、ステージ制御部615、及びスペクトラルイメージング光学系616を含む。画像取得装置600は、さらに、ステージ614に置かれている生体組織(以下「対象S」ともいう)に光を照射する照射部(図示されていない)を備えている。画像取得装置600は、例えば顕微鏡装置として構成されてよい。
撮像素子611、前記照射部、及び観察光学系612について、上記(2-1)~(2-3)において述べた説明があてはまる。ステージ614及びステージ制御部615について、上記「(2-5-1)信号取得装置の構成例」におけるステージ414及びステージ制御部415についての説明が当てはまる。
スペクトラルイメージング光学系616は、対象Sからの光を分光する光学系である。スペクトラルイメージング光学系616は、例えばプッシュブルーム方式(ラインスキャン方式ともいう)の分光方式で前記光を分光するように構成されていてよく、又は、スナップショット方式の分光方式で前記光を分光するように構成されていてよい。
スペクトラルイメージング光学系616がプッシュブルーム方式の光学系である場合、当該光学系は、例えば対象Sからの光を分光する光学部品として回折素子及び/又はプリズム分光器を含みうる。当該回折素子は、例えば光の回折及び/又は干渉を利用して、前記光を分光しうる。当該プリズム分光器は、例えば光の屈折を利用して前記光を分光しうる。
スペクトラルイメージング光学系616がスナップショット方式の光学系である場合、当該光学系は、例えば撮像素子の画素表面に設けられる分光フィルタを含みうる。当該光学系は、例えば1画素単位で異なる波長に分光されるように構成されてよい。
撮像素子611は制御部624を備えている。制御部624は、撮像素子611(特には撮像素子に含まれる取得部)により得られた信号の特徴データを取得する。当該特徴データは、スペクトル有効領域に関する情報であってよい。
スペクトラルイメージング光学系616により分光可能な波長範囲は、対象Sから生じる光の波長範囲よりも広い場合が多い。すなわち、撮像素子611の感光可能領域の全てが感光するのでなく、当該感光可能領域の一部の領域は感光するが、その他の領域は感光しない場合が多い。そのため、前記スペクトル有効領域に関する情報を取得することによって、以下で述べるとおり、必要な領域についてだけ、感光により生じた画素信号を読み出し、他の領域は読み出さないとすることが可能となり、これにより伝送される信号量を減らすことができる。
スペクトル有効領域に関する情報は、例えば、スペクトラルイメージング光学系616によって分光された光の波長範囲に関するデータであってよく、又は、スペクトラルイメージング光学系616によって分光された光のうち、強度が所定の閾値以上である光の波長範囲に関するデータであってもよい。このようなデータによって、撮像素子611について、信号が読み出される領域を限定することができる。
代替的には、スペクトル有効領域に関する情報は、撮像素子611の画素のうちの信号が読み出される領域に関するデータであってもよい。当該信号が読み出される領域は、前記分光された光の波長範囲に基づき設定されてよい。
制御部624は、好ましくは学習済みモデルを用いて前記スペクトル有効領域に関する情報を取得する。当該学習済みモデルは、例えば、深層学習により生成された学習済みモデルであってよい。当該学習済みモデルは、例えば、生体組織を撮像して得られた画素信号を入力する入力層と、前記画素信号のスペクトル有効領域に関する情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有しうる。
前記学習済みモデルは、例えば、生体組織の撮像により得られた画素信号と、当該画素信号に関するスペクトル有効領域に関する情報との組合せを含む1又は複数の教師データを用いて機械学習された学習済みモデルであってよい。
また、制御部624は、画像取得装置600のうちステージ制御部615を駆動して、ステージ614を移動させうる。
制御部624は、例えばステージ制御部615を駆動して、ステージ614を観察光学系の光軸に対して垂直方向に移動させ、これにより撮像領域を変更することができる。例えば、当該移動によって、上記プッシュブルーム方式の分光を行うための走査が行われてよい。
制御部624は、例えばステージ制御部615を駆動して、ステージ614を観察光学系の光軸方向(特には対物レンズのフォーカス方向)に移動させることで、対象Sに焦点を合わせることができる。なお、制御部624は、画像取得装置600のうち前記観察光学系を制御して、対象Sに焦点を合わせてもよい。
(2-7-2)画像取得装置の光学系の構成例
画像取得装置600がラインスキャン方式で撮像を行う場合の光学系の構成例を以下で図10及び11を参照しながら説明する。
図10に示される画像取得装置600は、撮像素子611、観察光学系612、照射部613、ステージ614、及びスペクトラルイメージング光学系616を有する。
照射部613は、異軸平行に配置された波長の異なる複数のライン照明を対象Sに照射する。スペクトラルイメージング光学系616は、照射部613により照射された生体組織から生じた光を分光する。撮像素子611は、当該分光された光を受光する。
ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意昧での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
ステージ614に対して、対物レンズ44などを含む第二観察光学系122を介して、照射部613とスペクトラルイメージング光学系616が接続されている。照射部613はフォーカス機構60によって最適な焦点に追従する機能を持っている。照射部613には、暗視野観察又は明視野観察などを行う非蛍光観察部70が接続されていてもよい。
照射部613は複数の励起波長Ex1、Ex2、・・・、及びExn(nは例えば1~10、特には1~8)の光を出力することができる複数の光源L1、L2、・・・、及びLn(nは例えば1~10、特には1~8)を備える。複数の光源は、典型的には、発光ダイオード(LED)、レーザダイオード(LD)、水銀ランプなどで構成され、それぞれの光がライン照明化され、ステージ614に保持された対象Sに照射される。
対象Sは、典型的には、図12に示すように、例えば組織切片などの生体組織Saを含むスライドで構成されるが、勿論それ以外であってもよい。対象Sは、複数の蛍光色素によって染色されていてよい。画像取得装置600は、対象Sを所望の倍率に拡大して観察する。図6のAの部分を拡大すると、照射部613は図13に示すように、ライン照明が複数(図13では2つ(Ex1及びEx2))配置されており、それぞれの照明エリアに重なるように撮像素子611の撮影エリアR1及びR2が配置される。2つのライン照明Ex1及びEx2はそれぞれX軸方向に沿って平行であり、Y軸方向に所定の距離(Δy)離れて配置される。
撮影エリアR1及びR2は、スペクトラルイメージング光学系616における観測スリット51(図11)の各スリット部にそれぞれ対応する。つまりスペクトラルイメージング光学系616のスリット部もライン照明と同数配置される。図7では照明のライン幅の方がスリット幅よりも広くなっているが、これらの大小関係はどちらであってもよい。照明のライン幅がスリット幅よりも大きい場合、スペクトラルイメージング光学系616に対する照射部613の位置合わせマージンを大きくすることができる。
1つめのライン照明Ex1を構成する波長と、2つめのライン照明Ex2を構成する波長は相互に異なっている。これらライン照明Ex1及びEx2により励起されるライン状の蛍光は、観察光学系612を介してスペクトラルイメージング光学系616に到達し、そして、撮像素子611により受光される。
スペクトラルイメージング光学系616は、複数のライン照明によって励起された蛍光がそれぞれ通過可能な複数のスリット部を有する観測スリット31を有する。撮像素子611が、観測スリット31を通過した蛍光を個々に受光する。撮像素子611には、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの2次元イメージャが採用される。観測スリット51を光路上に配置することで、それぞれのラインで励起された蛍光スペクトルを重なりなく検出することができる。
撮像素子611は、それぞれのライン照明Ex1及びEx2から、撮像素子611の1方向(例えば垂直方向)の画素アレイを波長のチャンネルとして利用した蛍光の分光データ(x、λ)を取得する。得られた分光データ(x、λ)は、それぞれどの励起波長から励起された分光データであるかが紐づけられた状態で、例えば制御部に記録される。
画像取得装置600は、図11に示すように、光路の途中にダイクロイックミラー42やバンドパスフィルタ45が挿入され、励起光(Ex1、Ex2)が撮像素子611に到達しないように構成されている。この場合、撮像素子611上に結像する蛍光スペクトルには間欠部が生じる(図14及び15参照)。当該間欠部を読出し領域から除外することによって、フレームレートを向上させることができる。
撮像素子611は、図11に示すように、観測スリット51を通過した蛍光をそれぞれ受光可能な複数の撮像素子611a及び611bを含んでもよい。この場合、各ライン照明Ex1及びEx2によって励起される蛍光スペクトルFs1及びFs2は、撮像素子611a及び611b上に図16に示すように取得され、記憶部(図示せず)に励起光と紐づけて記憶される。
ライン照明Ex1及びEx2は単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ex1及びEx2がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、スペクトラルイメージング光学系616は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、例えば回折格子又はプリズムなどで構成され、典型的には、観測スリット51と撮像素子611との間の光路上に配置される。
画像取得装置600はさらに、ステージ614に対して複数のライン照明Ex1及びEx2をY軸方向、つまり、各ライン照明Ex1及びEx2の配列方向に走査する走査機構(図示されていない)を備える。前記走査機構を用いることで、サンプルS(観察対象Sa)上において空間的にΔyだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル(蛍光スペクトル)をY軸方向に連続的に記録することができる。この場合、例えば図17に示すように撮影領域RsがX軸方向に複数に分割され、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。1回のスキャンで数種の励起波長によって励起されたサンプル由来の分光スペクトルイメージを撮影することができる。
前記走査機構は、典型的には、ステージ614がY軸方向に走査されるが、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ex1及びEx2がY軸方向に走査されてもよい。最終的に、図18に示すような(X、Y、λ)の3次元データが複数のライン照明Ex1及びEx2についてそれぞれ取得される。各ライン照明Ex1及びEx2由来の3次元データはY軸についてΔyだけ座標がシフトしたデータになるので、あらかじめ記録されたΔy、または撮像素子611の出力から計算されるΔyの値に基づいて、補正され出力される。
ここまでの例では励起光としてのライン照明は2本で構成されたが、これに限定されず、3本、4本あるいは5本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるベく劣化しないように選択された複数の励起波長を含んでもよい。またライン照明が1本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子で取得されるRowデータとを組づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。例えば図19に示すような構成がとられてもよい。
続いて、図11を参照して画像取得装置600の光学系の詳細について説明する。ここでは、図19における構成例2で画像取得装置600が構成される例について説明する。
照射部613は、複数(本例では4つ)の励起光源L1、L2、L3、及びL4を有する。各励起光源L1~L4は、波長がそれぞれ405nm、488nm、561nm及び645nmのレーザ光を出力するレーザ光源で構成される。
照射部613は、各励起光源L1~L4に対応するように複数のコリメータレンズ11及びレーザラインフィルタ12と、ダイクロイックミラー13A、13B、13cと、ホモジナイザ14と、コンデンサレンズ15と、入射スリット16とをさらに有する。
励起光源L1から出射されるレーザ光と励起光源L3から出射されるレーザ光は、それぞれコリメータレンズ11によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ12を透過し、ダイクロイックミラー13Aによって同軸にされる。同軸化された2つのレーザ光は、さらに、ライン照明Ex1となるベくフライアイレンズなどのホモジナイザ14とコンデンサレンズ15によってビーム成形される。
励起光源L2から出射されるレーザ光と励起光源L4から出射されるレーザ光も同様にダイクロイックミラー13B及び13cによって同軸化され、ライン照明Ex1とは異軸のライン照明Ex2となるようにライン照明化される。ライン照明Ex1及びEx2は、各々が通過可能な複数のスリット部を有する入射スリット16(スリット共役)においてΔyだけ離れた異軸ライン照明(1次像)を形成する。
この1次像は、観察光学系612を介してステージ614上の対象Sに照射される。観察光学系612は、コンデンサレンズ41と、ダイクロイックミラー42及び43と、対物レンズ44と、バンドパスフィルタ45と、コンデンサレンズ46とを有する。ライン照明Ex1及びEx2は、対物レンズ44と対になったコンデンサレンズ41で平行光にされ、ダイクロイックミラー42及び43を反射して対物レンズ44を透過し、対象Sに照射される。
対象S面においては図13のような照明が形成される。これらの照明によって励起された蛍光は、対物レンズ44によって集光され、ダイクロイックミラー43を反射し、ダイクロイックミラー42及び励起光をカットするバンドパスフィルタ45を透過し、コンデンサレンズ46で再び集光されて、スペクトラルイメージング光学系616へ入射する。
スペクトラルイメージング光学系616は、観測スリット31と、第1プリズム33と、ミラー34と、回折格子35(波長分散素子)と、第2プリズム36とを有する。
観測スリット31は、コンデンサレンズ46の集光点に配置され、励起ライン数と同じ数のスリット部を有する。観測スリット51を通過した2つの励起ライン由来の蛍光スペクトルは、第1プリズム53で分離され、それぞれミラー54を介して回折格子55の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。このようにして分離された4つの蛍光スペクトルは、ミラー54及び第2プリズム56を介して撮像素子611a及び611bに入射し、分光データとして(x、λ)情報に展開される。
撮像素子611a及び611bの画素サイズ(nm/Pixel)は、例えば2nm以上20nm以下に設定されるが、これに限定されない。この分散値は、回折格子55のピッチや光学的に実現しても良いし、撮像素子611a及び611bのハードウェアビニングをつかって実現しても良い。
ステージ614及び前記走査機構は、X-Yステージを構成し、対象Sの蛍光画像を取得するため、対象SをX軸方向及びY軸方向へ移動させる。WSI(Whole slide imaging)では、Y軸方向に対象Sをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される(図17参照)。
非蛍光観察部70は、光源71、ダイクロイックミラー43、対物レンズ44、コンデンサレンズ72、撮像素子73などにより構成される。非蛍光観察系においては、図11では、暗視野照明による観察系を示している。
光源71は、ステージ614の下方に配置され、ステージ614上の対象Sに対して、ライン照明Ex1及びEx2とは反対側から照明光を照射する。暗視野照明の場合、光源71は、対物レンズ44のNA(開口数)の外側から照明し、対象Sで回折した光(暗視野像)を対物レンズ44、ダイクロイックミラー43及びコンデンサレンズ72を介して撮像素子73で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部70は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム(In-line hologram)画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージの下方に限られず、ステージの上方や対物レンズの周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、あらかじめフォーカス座標(Z座標)を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
なお、画像取得装置600は、上記のような異軸平行に配置されたライン照明を含む構成以外の構成を採用してもよい。画像取得装置600は、例えば、単軸のライン照明を含む照射部と、当該照射部により照射された生体組織から生じた光を分光するスペクトラルイメージング光学系とを含んでもよい。このように画像取得装置600が構成される場合、当該照射部は、1つの励起波長の光を照射するものであってよい。また、当該スペクトラルイメージング光学系は、当該照射部による光照射によって生じた蛍光スペクトルを取得するように構成されてよく、例えば1つの撮像素子(スペクトルカメラ)を含みうる。
(2-7-3)信号取得処理フローの例
以下で、画像取得装置600による対象Sの信号取得処理(画像取得処理)の例を、図12を参照しながら説明する。
図5のステップS101において、本技術の画像取得装置を用いた画像取得処理が開始される。当該処理の開始に先立ち、生体由来の対象Sがステージ614に置かれる。ステージ614は、画像取得装置600により対象Sが撮像可能な位置に配置されている。
ステップS102の撮像工程において、画像取得装置600が対象Sを撮像する。当該撮像は例えば以下の通りに行われうる。
ステップS102において、照射部613が、ステージ614上の対象Sに光を照射する。照射部613に含まれる光源は、撮像素子611により取得されるべき画像信号の種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、LEDランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。例えば、前記画像データが明視野画像データである場合、照射部613は、例えばLEDランプ又はハロゲンランプを含みうる。前記画像データが蛍光画像データである場合、照射部613は、例えばレーザ光源、LEDランプ、水銀ランプ、又はキセノンランプを含みうる。ステップS102において、処理部(図示されていない)又はユーザが照射部613を制御して、前記光の照射が行われうる。
ステップS102において、撮像素子611が、前記光が対象Sに照射された状態で、観察光学系612を介して対象Sを撮像して、画素信号を取得する。当該撮像は、例えばラインスキャン方式で行われてよい。これにより、上記で述べたプッシュブルーム方式の分光が可能となる。ラインスキャン方式では、対象Sを含む領域が、複数の帯状に分割され、各分割領域が順次スキャンされる。
ステップS102において、前記制御部が撮像素子611を制御して、前記撮像が行われうる。
ステップS103の特徴データ取得工程において、撮像素子611(特には撮像素子611に備えらえた制御部624)が、ステップS102において取得された画素信号に基づき、画素信号の特徴データとしてスペクトル有効領域に関する情報を取得する。
ステップS103において、制御部624は、好ましくは学習済みモデルを用いて、前記画像信号に基づきスペクトル有効領域に関する情報を取得する。当該学習済みモデルは、例えば、教師データとして、生体組織を含む対象の画像データと当該対象に関するスペクトル有効領域に関する情報との組合せを1つ又は複数用いて生成されたものであってよい。
ステップS104において、制御部624は、ステップS103において取得された特徴データであるスペクトル有効領域に関する情報に基づき、出力データを生成する。当該出力データが、撮像素子611から出力される。
例えば、制御部624は、前記スペクトル有効領域に関する情報に基づき、前記撮像素子の読み出し領域を制御する。より具体的には、制御部624は、前記スペクトル有効領域に関する情報に基づき、撮像素子611の画素のうちの、読み出される画素の波長範囲を選定する。
例えば図20に示されるように、所定の波長範囲をカバーする感光可能領域のうち、前記所定の波長範囲のうちの一部をカバーする感光可能領域を読み出す領域として選定する。前記一部をカバーする感光可能領域の選定が、前記スペクトル有効領域に関する情報に基づき行われる。好ましくは、当該選定は、学習済みデータを用いて行われる。
これにより、一部の感光可能領域について信号が読み出され、他の領域についての信号は読み出されない。そのため、伝送される信号量が削減され、ラインレートを向上させることができる。
前記制御部は、上記のとおり、感光領域について読み出された信号だけを、撮像素子611の外部(例えば画像取得装置600に有線又は無線で接続された情報処理装置又はサーバなど)へと出力させる。撮像素子611から撮像素子611外部へ出力されるデータ量が削減されるので、出力インタフェースによる律速の影響又は通信速度の影響が低減される。
以上のとおり、前記制御部は、ステップS104において、スペクトル有効領域に関する情報に応じて、撮像素子611から出力されるデータを制御する。ステップS104における出力後、前記制御部は処理をステップS105に進める。
ステップS105において、前記制御部は、画像取得処理を終了するかを判定する。例えば、前記制御部は、撮像対象である領域を帯状に分割した分割領域のうち、撮像されるべき分割領域があるかを判定しうる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~S104が繰り返されることで、領域全体についての画像信号が取得される。
撮像されるべき分割領域がない場合(例えば前記領域の全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
ステップS106において、前記制御部は画像取得処理を終了する。
2.第2の実施形態(信号取得システム)
本技術は、上記1.において述べた信号取得装置と、前記信号取得装置から出力された出力データ(例えば画像データなど)の解析を行う解析部と、を含む信号取得システムも提供する。
この実施形態において、前記解析部は、前記信号取得装置内に設けられていてよく、又は、前記信号取得装置の外部に設けられていてもよい。例えば、前記解析部は、前記信号取得装置と有線又は無線により接続されている情報処理装置として構成されてよい。
前記信号取得システムは、例えば医療画像取得システムであってよい。また、前記画像取得システムは、内視鏡システム又は顕微鏡システムであってよい。
前記情報処理装置の構成例を以下で図21を参照しながら説明する。なお、情報処理装置の構成は以下に限定されない。
図21に示される情報処理装置1000は、CPU(Central Processing Unit)1001、RAM1002、及びROM1003を備えている。CPU1001、RAM1002、及びROM1003は、バス1004を介して相互に接続されている。バス1004には、さらに入出力インタフェース1005が接続されている。
入出力インタフェース1005には、通信装置1006、記憶部1007、ドライブ1008、出力部1009、及び入力部1010が接続されている。
通信装置1006は、情報処理装置1000をネットワーク1011に有線又は無線で接続する。通信装置1006によって、情報処理装置1000は、ネットワーク1011を介して各種データ(例えば画像データなど)を取得することができる。取得したデータは、例えばディスク1007に格納されうる。通信装置1006の種類は当業者により適宜選択されてよい。
記憶部1007は、オペレーティング・システム(例えば、WINDOWS(登録商標)、UNIX(登録商標)、LINUX(登録商標)、ANDROID(登録商標)、又はiOS(登録商標)など)、本技術に従う画像取得方法を顕微鏡装置において実行させるためのプログラム、及び他の種々のプログラム、並びに、各種データ(例えば画像データ及び特徴データなど)が格納されうる。
ドライブ1008は、記録媒体に記録されているデータ(例えば画像データ及び特徴データなど)又はプログラムを読み出して、RAM1002に出力することができる。記録媒体は、例えば、microSDメモリカード、SDメモリカード、又はフラッシュメモリであるが、これらに限定されない。
出力部1009は、画像データに基づき、画像表示部に画像表示光を出力させる。入力部1010は、例えばユーザによる顕微鏡装置の操作を受け付ける。
3.第3の実施形態(信号取得方法)
本技術に従う信号取得方法は、光を照射された生体組織からの光から信号を取得する信号取得工程と、前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、前記特徴データに基づき、出力データを生成する出力データ生成工程とを含む。
前記信号取得工程、前記特徴データ取得工程、及び前記出力制御工程は、上記1.において説明した図5中のステップS102の信号取得工程、ステップS103の特徴データ取得工程、及びステップS104の出力データ生成工程に相当し、これらに関する説明が本実施形態においても当てはまる。
前記信号取得方法は、例えば上記1.において説明した信号取得装置100を用いて行われてよいが、他の装置によって行われてもよい。
なお、本技術は、以下のような構成をとることもできる。
〔1〕
生体組織に光を照射する照射部と、
前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、
を備えており、
前記検出器は、
前記信号を取得する取得部と、
前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、
を備え、
前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、
信号取得装置。
〔2〕
前記検出器は、撮像素子である、〔1〕に記載の信号取得装置。
〔3〕
前記信号は、画素信号である、〔1〕又は〔2〕に記載の信号取得装置。
〔4〕
前記制御部は、学習済みモデルを用いて、前記信号の前記特徴データを取得する、〔1〕~〔3〕のいずれか一つに記載の信号取得装置。
〔5〕
前記制御部は、学習済みモデルを用いて、前記出力データを制御する、〔1〕~〔4〕のいずれか一つに記載の信号取得装置。
〔6〕
前記検出器は撮像素子であり、
前記制御部は、前記撮像素子による撮像の焦点の状態に関する情報に基づき、前記出力データを制御する、〔1〕~〔5〕のいずれか一つに記載の信号取得装置。
〔7〕
前記焦点の状態に関する情報は、前記信号の少なくとも一部の信号についての焦点の状態に関する情報である、〔6〕に記載の信号取得装置。
〔8〕
前記焦点の状態に関する情報は、前記撮像のZ位置、前記信号のボケ量、又は、合焦位置に対する前記Z位置のズレ量である、〔6〕又は〔7〕に記載の信号取得装置。
〔9〕
前記制御部は、学習済みモデルを用いて前記焦点の状態に関する情報を取得する、〔6〕~〔8〕のいずれか一つに記載の信号取得装置。
〔10〕
前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定する、〔6〕~〔9〕のいずれか一つに記載の信号取得装置。
〔11〕
前記制御部は、前記焦点の状態に関する情報に基づき、前記焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記生体組織を撮像する、〔9〕又は〔10〕に記載の信号取得装置。
〔12〕
前記制御部は、前記焦点調整された位置での撮像により得られた信号に基づき、前記出力するデータを生成する、〔11〕に記載の信号取得装置。
〔13〕
前記検出器は撮像素子であり、
前記制御部は、前記信号の前記特徴データに基づき、前記撮像素子による撮像のために焦点調整を実行するかを判定する、〔1〕に記載の信号取得装置。
〔14〕
前記制御部は、前記特徴データに基づき、前記焦点調整された位置で前記生体組織を撮像するように前記取得部を駆動する、〔13〕に記載の信号取得装置。
〔15〕
前記制御部は、前記信号、および前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成する、〔14〕に記載の信号取得装置。
〔16〕
前記検出器は撮像素子であり、
前記取得部は、前記撮像素子による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得し、
前記制御部は、前記複数の位置で取得された信号セットから、信号の相関に関する情報又は焦点の状態に関する情報を取得する、〔1〕に記載の信号取得装置。
〔17〕
前記焦点の状態に関する情報は、フォーカス検波値である、〔16〕に記載の信号取得装置。
〔18〕
前記制御部が、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を前記撮像素子から出力させる、〔16〕又は〔17〕に記載の信号取得装置。
〔19〕
前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像である、〔16〕~〔18〕のいずれか一つに記載の信号取得装置。
〔20〕
前記出力画像は、前記信号セットの内、最も合焦している信号から生成した画像である、〔16〕~〔19〕のいずれか一つに記載の信号取得装置。
〔21〕
前記出力画像は、前記信号セットの内、複数のZ位置で取得した信号から生成した画像である、〔16〕~〔20〕のいずれか一つに記載の信号取得装置。
〔22〕
前記制御部は、学習済みモデルを用いて、前記出力画像を生成する、〔16〕~〔21〕のいずれか一つに記載の信号取得装置。
〔23〕
前記制御部は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成する、〔16〕~〔22〕のいずれか一つに記載の信号取得装置。
〔24〕
前記制御部は、前記取得部により得られた信号に基づき、スペクトル有効領域に関する情報を取得する、〔1〕に記載の信号取得装置。
〔25〕
前記制御部は、学習済みモデルを用いて、スペクトル有効領域に関する情報を取得する、〔24〕に記載の信号取得装置。
〔26〕
前記制御部は、前記スペクトル有効領域に関する情報に基づき、前記検出器の読み出し領域を制御する、〔24〕又は〔25〕に記載の信号取得装置。
〔27〕
前記取得部は、対物レンズを介して前記生体組織からの光から信号を取得する、〔1〕~〔26〕のいずれか一つに記載の信号取得装置。
〔28〕
前記生体組織は、生体由来の組織サンプルである、〔1〕~〔27〕のいずれか一つに記載の信号取得装置。
〔29〕
前記信号取得装置は、前記出力データを出力する出力部をさらに備えている、〔1〕~〔28〕のいずれか一つに記載の信号取得装置。
〔30〕
前記信号取得装置は、前記出力データを解析する解析部をさらに備えている、〔1〕~〔29〕のいずれか一つに記載の信号取得装置。
〔31〕
生体組織に光を照射する照射部と、前記照射部により光照射された前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、を備えており、前記検出器は、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、を備え、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、信号取得装置と;
前記信号取得装置から出力された出力データの解析を行う解析部と
を含む信号取得システム。
〔32〕
前記信号取得システムは、医療画像取得システムである、〔31〕に記載の信号取得システム。
〔33〕
前記信号取得システムは、内視鏡システム又は顕微鏡システムである、〔31〕又は〔32〕に記載の信号取得システム。
〔34〕
光を照射された生体組織からの光から信号を取得する信号取得工程と、
前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、
前記特徴データに基づき、出力データを生成する出力データ生成工程と
を含む信号取得方法。
100 信号取得装置
111 検出器
112 観察光学系
113 照射部


Claims (34)

  1. 生体組織に光を照射する照射部と、
    前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、
    を備えており、
    前記検出器は、
    前記信号を取得する取得部と、
    前記信号の特徴データを取得し、前記特徴データに基づき、焦点調整された生体組織画像として前記出力データを生成する制御部と、
    を備え、
    前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、
    信号取得装置。
  2. 前記検出器は、撮像素子である、請求項1に記載の信号取得装置。
  3. 前記信号は、画素信号である、請求項1に記載の信号取得装置。
  4. 前記制御部は、学習済みモデルを用いて、前記信号の前記特徴データを取得する、請求項1に記載の信号取得装置。
  5. 前記制御部は、学習済みモデルを用いて、前記出力データを制御する、請求項1に記載の信号取得装置。
  6. 前記検出器は撮像素子であり、
    前記制御部は、前記撮像素子による撮像の焦点の状態に関する情報に基づき、前記出力データ生成を制御する、請求項1に記載の信号取得装置。
  7. 前記焦点の状態に関する情報は、前記信号の少なくとも一部の信号についての焦点の状態に関する情報である、請求項6に記載の信号取得装置。
  8. 前記焦点の状態に関する情報は、前記撮像のZ位置、前記信号のボケ量、又は、合焦位置に対する前記Z位置のズレ量である、請求項6に記載の信号取得装置。
  9. 前記制御部は、学習済みモデルを用いて前記焦点の状態に関する情報を取得する、請求項6に記載の信号取得装置。
  10. 前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定する、請求項6に記載の信号取得装置。
  11. 前記制御部は、前記焦点の状態に関する情報に基づき、前記焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記生体組織を撮像する、請求項9に記載の信号取得装置。
  12. 前記制御部は、前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成する、請求項11に記載の信号取得装置。
  13. 前記検出器は撮像素子であり、
    前記制御部は、前記信号の前記特徴データに基づき、前記撮像素子による撮像のために焦点調整を実行するかを判定する、請求項1に記載の信号取得装置。
  14. 前記制御部は、前記特徴データに基づき、前記焦点調整された位置で前記生体組織を撮像するように前記取得部を駆動する、請求項13に記載の信号取得装置。
  15. 前記制御部は、前記信号、および前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成する、請求項14に記載の信号取得装置。
  16. 前記検出器は撮像素子であり、
    前記取得部は、前記撮像素子による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得し、
    前記制御部は、前記複数の位置で取得された信号セットから、信号の相関に関する情報又は焦点の状態に関する情報を取得する、請求項1に記載の信号取得装置。
  17. 前記焦点の状態に関する情報は、フォーカス検波値である、請求項16に記載の信号取得装置。
  18. 前記制御部が、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を前記撮像素子から出力させる、請求項16に記載の信号取得装置。
  19. 前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像である、請求項18に記載の信号取得装置。
  20. 前記出力画像は、前記信号セットの内、最も合焦している信号から生成した画像である、請求項18に記載の信号取得装置。
  21. 前記出力画像は、前記信号セットの内、複数のZ位置で取得した信号から生成した画像である、請求項18に記載の信号取得装置。
  22. 前記制御部は、学習済みモデルを用いて、前記出力画像を生成する、請求項18に記載の信号取得装置。
  23. 前記制御部は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成する、請求項16に記載の信号取得装置。
  24. 前記制御部は、前記取得部により得られた信号に基づき、スペクトル有効領域に関する情報を取得する、請求項1に記載の信号取得装置。
  25. 前記制御部は、学習済みモデルを用いて、スペクトル有効領域に関する情報を取得する、請求項24に記載の信号取得装置。
  26. 前記制御部は、前記スペクトル有効領域に関する情報に基づき、前記検出器の読み出し領域を制御する、請求項24に記載の信号取得装置。
  27. 前記取得部は、対物レンズを介して前記生体組織からの光から信号を取得する、請求項1に記載の信号取得装置。
  28. 前記生体組織は、生体由来の組織サンプルである、請求項1に記載の信号取得装置。
  29. 前記信号取得装置は、前記出力データを出力する出力部をさらに備えている、請求項1に記載の信号取得装置。
  30. 前記信号取得装置は、前記出力データを解析する解析部をさらに備えている、請求項1に記載の信号取得装置。
  31. 生体組織に光を照射する照射部と、前記照射部により光照射された前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、を備えており、前記検出器は、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、焦点調整された生体組織画像として前記出力データを生成する制御部と、を備え、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、信号取得装置と;
    前記信号取得装置から出力された出力データの解析を行う解析部と
    を含む信号取得システム。
  32. 前記信号取得システムは、医療画像取得システムである、請求項31に記載の信号取得システム。
  33. 前記信号取得システムは、内視鏡システム又は顕微鏡システムである、請求項31に記載の信号取得システム。
  34. 光を照射された生体組織からの光から信号を取得する信号取得工程と、
    前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、
    前記特徴データに基づき、焦点調整された生体組織画像として出力データを生成する出力データ生成工程と
    を含み、
    前記信号取得工程、前記特徴データ取得工程、および前記出力データ生成工程を単一のチップ内に配置された取得部及び制御部を備える検出器により実行する信号取得方法。
JP2020037745A 2020-03-05 2020-03-05 信号取得装置、信号取得システム、及び信号取得方法 Active JP7494490B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020037745A JP7494490B2 (ja) 2020-03-05 2020-03-05 信号取得装置、信号取得システム、及び信号取得方法
EP21713777.7A EP4115164A1 (en) 2020-03-05 2021-03-05 Signal acquisition apparatus, signal acquisition system, and signal acquisition method
US17/642,233 US11842555B2 (en) 2020-03-05 2021-03-05 Signal acquisition apparatus, signal acquisition system, and signal acquisition method
PCT/JP2021/008717 WO2021177446A1 (en) 2020-03-05 2021-03-05 Signal acquisition apparatus, signal acquisition system, and signal acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020037745A JP7494490B2 (ja) 2020-03-05 2020-03-05 信号取得装置、信号取得システム、及び信号取得方法

Publications (2)

Publication Number Publication Date
JP2021140032A JP2021140032A (ja) 2021-09-16
JP7494490B2 true JP7494490B2 (ja) 2024-06-04

Family

ID=75143698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020037745A Active JP7494490B2 (ja) 2020-03-05 2020-03-05 信号取得装置、信号取得システム、及び信号取得方法

Country Status (4)

Country Link
US (1) US11842555B2 (ja)
EP (1) EP4115164A1 (ja)
JP (1) JP7494490B2 (ja)
WO (1) WO2021177446A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002679A1 (ja) * 2021-07-19 2023-01-26 浜松ホトニクス株式会社 焦点位置推定システム、焦点位置推定方法、焦点位置推定プログラム、半導体検査システム及び生体観察システム
WO2023189393A1 (ja) * 2022-03-29 2023-10-05 ソニーグループ株式会社 生体試料観察システム、情報処理装置及び画像生成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002047017A1 (en) 2000-12-04 2002-06-13 Green Vision Systems Ltd. Method for in-situ focus-fusion multi-layer spectral imaging and analysis of particulate samples
JP2010525374A (ja) 2007-03-08 2010-07-22 セラビジョン、アクチボラグ 合焦位置を決定する方法及びビジョン検査システム
WO2017022462A1 (ja) 2015-07-31 2017-02-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法、固体撮像素子および固体撮像素子の動作方法、プログラム、並びに電子機器
WO2018051809A1 (ja) 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
WO2019181053A1 (ja) 2018-03-22 2019-09-26 富士フイルム株式会社 デフォーカス量測定装置、方法およびプログラム、並びに判別器
JP2019537011A (ja) 2016-11-14 2019-12-19 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
WO2021177004A1 (ja) 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867851B2 (en) * 1999-11-04 2005-03-15 Regents Of The University Of Minnesota Scanning of biological samples
AU2001263776A1 (en) * 2000-06-02 2001-12-11 Medicometrics Aps Method and system for classifying a biological sample
JP2014149381A (ja) 2013-01-31 2014-08-21 Sony Corp 画像取得装置および画像取得方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002047017A1 (en) 2000-12-04 2002-06-13 Green Vision Systems Ltd. Method for in-situ focus-fusion multi-layer spectral imaging and analysis of particulate samples
JP2010525374A (ja) 2007-03-08 2010-07-22 セラビジョン、アクチボラグ 合焦位置を決定する方法及びビジョン検査システム
WO2017022462A1 (ja) 2015-07-31 2017-02-09 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法、固体撮像素子および固体撮像素子の動作方法、プログラム、並びに電子機器
WO2018051809A1 (ja) 2016-09-16 2018-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、電子機器
JP2019537011A (ja) 2016-11-14 2019-12-19 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
WO2019181053A1 (ja) 2018-03-22 2019-09-26 富士フイルム株式会社 デフォーカス量測定装置、方法およびプログラム、並びに判別器
WO2021177004A1 (ja) 2020-03-05 2021-09-10 ソニーグループ株式会社 顕微鏡装置、画像取得システム、及び画像取得方法

Also Published As

Publication number Publication date
JP2021140032A (ja) 2021-09-16
US20220319207A1 (en) 2022-10-06
WO2021177446A1 (en) 2021-09-10
US11842555B2 (en) 2023-12-12
EP4115164A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
CA2877902C (en) Pathology slide scanners for fluorescence and brightfield imaging and method of operation
CA2824447C (en) Pathology slide scanner
US8743195B2 (en) Whole slide fluorescence scanner
US20140125776A1 (en) 3d pathology slide scanner
JP7586167B2 (ja) 顕微鏡装置、画像取得システム、及び画像取得方法
US11269171B2 (en) Spectrally-resolved scanning microscope
US20180307019A1 (en) Scanning microscope for 3d imaging using msia
JP7494490B2 (ja) 信号取得装置、信号取得システム、及び信号取得方法
JP6968357B2 (ja) 画像取得方法および画像取得装置
JP7501364B2 (ja) 分光イメージング装置および蛍光観察装置
WO2022270015A1 (ja) 生体標本観察装置及び生体標本観察システム
WO2022249598A1 (ja) 情報処理方法、情報処理装置、及びプログラム
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
KR20020047855A (ko) 유전자 판독기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240506

R150 Certificate of patent or registration of utility model

Ref document number: 7494490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150