JP7494490B2 - 信号取得装置、信号取得システム、及び信号取得方法 - Google Patents
信号取得装置、信号取得システム、及び信号取得方法 Download PDFInfo
- Publication number
- JP7494490B2 JP7494490B2 JP2020037745A JP2020037745A JP7494490B2 JP 7494490 B2 JP7494490 B2 JP 7494490B2 JP 2020037745 A JP2020037745 A JP 2020037745A JP 2020037745 A JP2020037745 A JP 2020037745A JP 7494490 B2 JP7494490 B2 JP 7494490B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- control unit
- output
- signal acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Endoscopes (AREA)
- Lens Barrels (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Focusing (AREA)
Description
生体組織に光を照射する照射部と、
前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、
を備えており、
前記検出器は、
前記信号を取得する取得部と、
前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、
を備え、
前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、
信号取得装置を提供する。
前記検出器は、撮像素子でありうる。
前記信号は、画素信号でありうる。
前記制御部は、学習済みモデルを用いて、前記信号の前記特徴データを取得しうる。
前記制御部は、学習済みモデルを用いて、前記出力データを制御しうる。
本技術の一つの実施態様に従い、前記検出器は撮像素子であってよく、
前記制御部は、前記撮像素子による撮像の焦点の状態に関する情報に基づき、前記出力データを制御しうる。
この実施態様において、前記焦点の状態に関する情報は、前記信号の少なくとも一部の信号についての焦点の状態に関する情報でありうる。
この実施態様において、前記焦点の状態に関する情報は、前記撮像のZ位置、前記信号のボケ量、又は、合焦位置に対する前記Z位置のズレ量でありうる。
この実施態様において、前記制御部は、学習済みモデルを用いて前記焦点の状態に関する情報を取得しうる。
この実施態様において、前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定しうる。
この実施態様において、前記制御部は、前記焦点の状態に関する情報に基づき、前記焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記生体組織を撮像しうる。
この実施態様において、前記制御部は、前記焦点調整された位置での撮像により得られた信号に基づき、前記出力するデータを生成しうる。
本技術の他の実施態様に従い、前記検出器は撮像素子であってよく、
前記制御部は、前記信号の前記特徴データに基づき、前記撮像素子による撮像のために焦点調整を実行するかを判定しうる。
この実施態様において、前記制御部は、前記特徴データに基づき、前記焦点調整された位置で前記生体組織を撮像するように前記取得部を駆動しうる。
この実施態様において、前記制御部は、前記信号、および前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成しうる。
本技術のさらに他の実施態様に従い、前記検出器は撮像素子であってよく、
前記取得部は、前記撮像素子による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得し、
前記制御部は、前記複数の位置で取得された信号セットから、信号の相関に関する情報又は焦点の状態に関する情報を取得しうる。
この実施態様において、前記焦点の状態に関する情報は、フォーカス検波値でありうる。
この実施態様において、前記制御部が、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を前記撮像素子から出力させうる。
この実施態様において、前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像でありうる。
この実施態様において、前記出力画像は、前記信号セットの内、最も合焦している信号から生成した画像でありうる。
この実施態様において、前記出力画像は、前記信号セットの内、複数のZ位置で取得した信号から生成した画像でありうる。
この実施態様において、前記制御部は、学習済みモデルを用いて、前記出力画像を生成しうる。
この実施態様において、前記制御部は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成しうる。
本技術のさらに他の実施態様に従い、前記制御部は、前記取得部により得られた信号に基づき、スペクトル有効領域に関する情報を取得しうる。
この実施態様において、前記制御部は、学習済みモデルを用いて、スペクトル有効領域に関する情報を取得しうる。
この実施態様において、前記制御部は、前記スペクトル有効領域に関する情報に基づき、前記検出器の読み出し領域を制御しうる。
本技術において、前記取得部は、対物レンズを介して前記生体組織からの光から信号を取得しうる。
本技術において、前記生体組織は、生体由来の組織サンプルであってよい。
本技術において、前記信号取得装置は、前記出力データを出力する出力部をさらに備えていてよい。
本技術において、前記信号取得装置は、前記出力データを解析する解析部をさらに備えていてよい。
前記信号取得装置から出力された出力データの解析を行う解析部と
を含む信号取得システムも提供する。
前記画像取得システムは、医療画像取得システムであってよい。
前記画像取得システムは、内視鏡システム又は顕微鏡システムであってよい。
前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、
前記特徴データに基づき、出力データを生成する出力データ生成工程と
を含む信号取得方法を提供する。
1.第1の実施形態(信号取得装置)
(1)第1の実施形態の説明
(2)第1の実施形態の例
(2-1)照射部
(2-2)観察光学系
(2-3)検出器
(2-3-1)制御部
(2-3-2)検出器の構成例
(2-4)その他の構成要素
(2-5)信号取得処理の第一の例(焦点の状態に関する情報を用いる画像取得)
(2-5-1)信号取得装置の構成例
(2-5-2)信号取得処理フローの例
(2-5-3)出力データ制御の他の例
(2-6)信号取得処理の第二の例(複数回の撮像が行われる画像取得処理)
(2-6-1)信号取得装置の構成例
(2-6-2)信号取得処理フローの例(圧縮画像の取得)
(2-6-3)信号取得処理フローの例(焦点調整)
(2-6-4)信号取得処理フローの例(解析)
(2-7)信号取得処理の第三の例(スペクトル有効領域に関する情報を用いる画像取得処理)
(2-7-1)信号取得装置の構成例
(2-7-2)信号取得装置の光学系の構成例
(2-7-3)信号取得処理フローの例
2.第2の実施形態(信号取得システム)
3.第3の実施形態(信号取得方法)
一方、受光素子は、例えば1ms程度と十分に短い露光時間で動作させることができる。すなわち、受光素子による受光自体は一般的には短時間で行うことができる。そのため、撮像により得られたデータの処理は、データ伝送の速度により律速されうる。
前記検出器は、前記照射部により光照射された生体組織からの光を受光し、当該光を信号、特には電気信号、より特にはデジタル電気信号に変換することができるように構成されうる。前記検出器は、当該変換によって、前記生体組織からの光から信号を取得しうる。前記検出器は、当該取得した信号に基づき出力データを生成する。
前記検出器は、例えば、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、を備えていてよい。本技術の好ましい実施態様において、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されていてよい。前記検出器は、例えば撮像素子であってよく、又は、フォトディテクタであってもよい。前記検出器が撮像素子である場合、前記信号は画素信号であってよい。前記検出器がフォトディテクタである場合、前記信号は光信号であってよい。
本技術の信号取得装置に含まれる前記検出器には前記制御部が備えられているので(特には前記チップ内に配置されているので)、例えば当該検出器内で出力データが制御される(例えば出力データの生成が制御される)。これにより、例えば出力データの量の削減が可能となる。例えば前記検出器が撮像素子である場合、当該制御部によって、撮像により得られた画像データそのものでなく、画像データをより少ないデータ量のデータに変換して、撮像素子外へと出力することが可能となる。これにより、データ送信に要する時間をより少なくすることができ、また、送信用インタフェースによる律速の影響も低減することができる。このように、本技術によって、大量の画像データを高速に処理することが可能となる。
なお、図1に示されている信号取得装置は、画像取得装置の模式的な構成例が示すが、本技術の信号取得装置は画像取得装置以外の信号取得装置であってもよい。本技術の信号取得装置は、例えば光信号取得装置であってよい。光信号取得装置の例として、例えばフローサイトメータなどの粒子分析装置を挙げることができる。本技術の信号取得装置は、生体組織からの光から信号を取得する医療用観察装置又は医療用観察システムとして構成されてよい。当該装置又はシステムの例として、例えば顕微鏡装置及び内視鏡装置が挙げられるがこれらに限定されない。
また、図1に示されている信号取得装置は、蛍光観察においてしばしば用いられる同軸落射照明方式の画像取得装置の模式的な構成例が示すが、本技術における照明方式はこれに限定されない。例えば、本技術の信号取得装置は、透過照明方式の信号取得装置であってもよい。透過照明方式は例えば明視野観察において採用されうる。
本技術の信号取得装置が顕微鏡装置である場合、前記生体組織は、例えば生体由来のサンプルであり、例えば生体由来の組織サンプルでありうる。前記サンプルは、凍結切片又はパラフィン切片であってよい。前記サンプルは、組織サンプル若しくは細胞サンプルであってよく、又は、生細胞(例えば培養中の生細胞など)であってもよい。
本技術の信号取得装置が内視鏡装置または顕微鏡装置である場合、前記生体組織は、体内組織又は臓器でありうる。
本技術の信号取得装置が粒子分析装置である場合、前記生体組織は、例えば細胞、細胞塊、微生物、及びリポソームなどの生物学的微小粒子であってよい。また、当該粒子分析装置は、ゲル粒子、ビーズ、ラテックス粒子、ポリマー粒子、及び工業用粒子などの合成微小粒子を分析対象としてもよい。
照射部113は、検出器111による信号取得において対象Sを照明するための光学系であり、対象Sに光を照射する。検出器111が撮像素子である場合、照射部113は、撮像素子111による撮像において対象Sを照明するための光学系であってよい。
照射部113は、当該照明のための光源を含み、例えば可視光又は紫外光を対象Sに照射しうる。照射部113に含まれる光源は、検出器111により取得されるべき信号又は出力データの種類に応じて当業者により適宜選択されてよい。検出器111が撮像素子である場合、前記光源は、撮像素子111により取得されるべき画素信号又は画像データの種類に応じて当業者により適宜選択されてよく、例えばハロゲンランプ、LEDランプ、水銀ランプ、及びキセノンランプから選ばれる少なくとも一つを含みうる。例えば、前記画像データが明視野画像データである場合、照射部113は、例えばLEDランプ又はハロゲンランプを含みうる。前記画像データが蛍光画像データである場合、照射部113は、例えばレーザ光源、LEDランプ、水銀ランプ、又はキセノンランプを含みうる。蛍光を発する蛍光体の種類に応じて、照射される光の波長又はランプの種類は選択されてよい。
観察光学系112は、例えば検出器111の構成又は受光する光などに応じて適宜選択されてよい。例えば検出器111が撮像素子である場合、観察光学系112は、検出器111が対象Sを拡大して撮像することを可能とするように構成されうる。
観察光学系112は、例えば対物レンズを含みうる。すなわち、後述の取得部は、対物レンズを介して前記生体組織からの光から信号を取得しうる。また、観察光学系112は、対物レンズによって拡大された像を検出器111に中継するためのリレーレンズを含んでもよい。観察光学系112の構成は、対象Sに応じて選択されてよい。例えば対物レンズの倍率は、例えば対象Sに応じて適宜選択されうる。また、リレーレンズの構成は、例えば対物レンズ及び検出器111に応じて適宜選択されうる。観察光学系112は、前記対物レンズ及び前記リレーレンズ以外の光学部品を含んでもよい。
検出器111は、取得部及び制御部を備えている。前記取得部が、前記照射部により光照射された対象Sからの光から信号を取得する。前記制御部が、前記信号の特徴データを取得し、前記特徴データに基づき、出力データを生成する。
検出器111が撮像素子である場合、前記取得部は撮像部ともいう。この場合において、前記撮像部が、照射部113により光照射された対象Sを撮像して、画素信号を取得する。例えば、前記撮像部は、対物レンズを介して対象Sを撮像する。前記制御部は、前記撮像部により得られた画素信号の特徴データを取得し、そして、当該特徴データに基づき、撮像素子111から出力する出力データを制御する。
検出器111がフォトディテクタである場合、前記取得部が、光信号を取得する。前記制御部は、当該光信号の特徴データを取得し、前記特徴データに基づき、出力データを生成する。
また、前記学習済みモデルとして、深層学習以外のアルゴリズムが用いられてもよい。当該アルゴリズムとして、例えば、線形回帰、MARS(Multivariate adaptive regression splines)、又はサポートベクターマシン(SVM)が用いられてよい。また、当該アルゴリズムとして、木を使った学習法として、Decision Treeなどの決定木を用いた手法が採用されてよく、又は、例えばK-NN(K-Nearest Neighbor)及びRandom Forestなどのアンサンブル学習器が採用されてもよい。
図2に示されるとおり、撮像素子111は、撮像ブロック20と信号処理ブロック30とを有する。撮像ブロック20と信号処理ブロック30とは、接続線(内部バス)CL1、CL2、及びCL3によって電気的に接続されている。
信号処理ブロック30は、CPU(Central Processing Unit)31、DSP(Digital Signal Processor)32、及びメモリ33を含みうる。信号処理ブロック30は、さらに通信I/F34、画像圧縮部35、及び、入力I/F36を有していてもよい。信号処理ブロック30は、撮像部により得られた画素信号を用いて、所定の信号処理を行う。信号処理ブロック30によって、上記「(2-1-1)制御部」において説明した特徴データの取得処理及び撮像素子から出力するデータの制御処理が実現される。
以下で、撮像素子111に含まれるこれら構成要素について説明する。
また、信号処理ブロック30が、特徴データの取得及び/又はデータ出力制御を行って、撮像素子111の外部の構成要素(例えば情報処理装置など)に送信される画像が、出力I/F24から出力される。これにより、外部で信号処理を行う必要がなくなり、外部の構成要素の負荷を軽減することができる。
信号処理ブロック30を構成するCPU31、DSP32、メモリ33、通信I/F34、入力I/F36は、相互にバスを介して接続され、必要に応じて、情報のやりとりを行うことができる。
画像圧縮部35で生成された圧縮画像は、バスを介して、メモリ33に供給されて記憶される。
なお、画像圧縮部35は、ソフトウエアにより実現することもできるし、専用のハードウェアにより実現することもできる。
入力I/F36は、外部から情報を受け取るI/Fである。入力I/F36は、例えば、外部のセンサから、その外部のセンサの出力(外部センサ出力)を受け取り、バスを介して、メモリ33に供給して記憶させる。
入力I/F36としては、例えば、出力I/F24と同様に、MIPI(Mobile Industriy Processor Interface)等のパラレルI/F等を採用することができる。
また、外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる、さらに、外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわち、撮像素子111とは別のイメージセンサを採用することができる。
このように、本技術において、前記撮像部と前記制御部とは、単一のチップ内に配置されていてよい。
また、ステージ114は、例えば観察光学系112に含まれる対物レンズの光軸方向に移動可能であってもよい。当該光軸方向は、X方向とも呼ばれる。
また、例えば前記取得部と前記制御部とが単一のチップ内に配置されているので、オートフォーカス処理のために前記検出器(撮像素子)から外部の制御装置への画像データを伝送する必要がない。そのため、上記で述べた画像データ伝送に伴う問題を解消することができる。
画像取得装置400は、例えば顕微鏡装置として構成されてよい。
前記焦点の状態に関する情報は、前記画素信号の少なくとも一部の信号についての焦点の状態に関する情報であってよく、すなわち前記画素信号のうちの一部の信号についての焦点の状態に関する情報又は全体の信号についての焦点の状態に関する情報であってもよい。一部の信号についての焦点の状態に関する情報を特徴データとして取得することで、後述の処理において、例えば対象Sのうちの関心領域(例えば目的細胞、より具体的にはガン細胞など)が存在する領域について合焦させることができる。また、全体の信号についての焦点の状態に関する情報を特徴データとして用いてもよい。
前記焦点位置に関するデータは、例えば前記撮像の焦点位置、前記画素信号のボケ量、合焦位置に対する前記焦点位置のズレ量であってよく、又は、前記焦点位置情報若しくは前記ズレ量を特定するために用いられる距離データでありうる。
前記焦点位置は、焦点位置に関する情報であり、例えば最適な焦点位置に関する情報である。前記焦点位置は、例えば前記観察光学系(特には前記観察光学系に含まれる対物レンズ)の焦点位置に関する情報であってよい。
前記画素信号のボケ量は、画素信号全体のうちの焦点が合っていない画素信号の量である。
前記ズレ量は、合焦位置に対する前記撮像の焦点位置のズレ量である。このズレ量に代えて、例えば、対象Sの現在位置と前記観察光学系の焦点位置(特には前記観察光学系に含まれる対物レンズの焦点位置)とのズレ量が採用されてもよく、好ましくは対象Sの現在位置と前記観察光学系の最適な焦点位置に対するズレ量が採用されてもよい。これらのズレ量は、例えば前記観察光学系(特には対物レンズ)の光軸方向(フォーカス方向)におけるズレ量であってよい。
前記距離データは、例えば前記観察光学系(特には対物レンズ)と対象Sとの距離、又は、前記観察光学系(特には対物レンズ)とステージとの距離でありうる。
用意されたN枚のスライドガラスのうちの1つを、対物レンズの光軸方向(「Z軸方向」ともいう)における異なる複数の位置で撮像して、撮像データ群(画素信号群)を得る。前記Z軸方向における異なる複数の位置は、図6の右に示されるように、例えば、焦点が合っているZ軸方向における位置(図6における「0」の画像を撮像した位置)から、Z軸方向に+4μmから-4μmまでの間の複数の位置である。例えば0.4μm単位でずらされた各位置で撮像されてよく、この場合、合計で21の撮像データが得られる。同様にして、他のスライドガラスのそれぞれについて、複数の撮像データを得る。これにより、例えばN×21の撮像データが得られる。
各撮像データに関して、焦点が合っているZ軸方向における位置からの距離(すなわち、対象の現在位置と焦点位置との間のズレ量)は既知である。そこで、各撮像データに対し、当該ズレ量を割り当てる。これにより、撮像データと当該撮像データに関連付けられたズレ量との組合せが作成され、このような組合せが複数得られる。当該複数の組合せが、学習済みモデルの生成のための教師データとして用いられる。
以上のように、本技術において、学習済みモデルは、教師データとして、撮像データと当該撮像データに関連付けられた焦点の状態に関する情報(例えば対象の現在位置の焦点位置に対するズレ量又は焦点位置情報など)との、1つ又は複数の組合せを用いて生成されたものであってよい。
前記制御部は、例えばステージ制御部415を駆動して、ステージ414を対物レンズの光軸方向に移動させることで、対象Sに焦点を合わせることができる。なお、制御部424は、画像取得装置400のうち前記観察光学系を制御して、対象Sに焦点を合わせてもよい。
制御部424は、例えばステージ制御部415を駆動して、ステージ414を対物レンズの光軸に対して垂直方向に移動させ、これにより撮像領域を変更することができる。例えば図7に示されるように、対象Sの全体を含む領域Rがタイル状に分割され、前記制御部による撮像領域の変更によって、各分割領域が順次撮像されうる。
例えば、前記制御部は、ステージ制御部415を駆動して、ステージ414を対物レンズの光軸方向に移動させて、対象Sに焦点を合わせる。当該移動の量は、前記焦点の状態に関する情報が前記ズレ量である場合、そのズレ量を解消するような移動量である。また、当該移動の量は、前記焦点の状態に関する情報が焦点位置情報である場合、その焦点位置へ対象Sが移動されるような移動量である。
前記制御部が前記焦点調整を実行した後に、前記制御部は、撮像部425を駆動して、対象Sを撮像する。これにより、撮像素子411が、対象Sに焦点が合った撮像データを得る。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画素信号及び出力データが取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
本技術の代替的な実施態様に従い、ステップS104において、同ステップにおける焦点調整された位置での撮像により取得された画素信号(以下「第二画素信号」ともいう)に基づく出力データ及びステップS102において取得された画素信号(以下「第一画素信号」ともいう)出力データの両方が、撮像素子411から出力されてもよい。この実施態様における制御部による出力データ制御について、以下で説明する。
前記特徴データは、例えば焦点の状態に関する情報を含みうる。当該焦点の状態に関する情報について、上記(2-5-2)において述べた説明があてはまる。
この実施態様において、前記特徴データは、対象Sに関する特徴データを含んでもよく、例えば対象Sの属性に関する特徴を含んでよい。対象Sの属性に関する特徴は、例えば、対象Sが由来する生物の種類、対象Sの種類、対象Sの組織構成、対象Sが有する細胞の種類若しくはサイズ、又は、対象Sが有しうる疾患に関する特徴を含みうる。
例えば、前記制御部は、ステージ制御部415を駆動して、ステージ414を対物レンズの光軸方向に移動させて、対象Sに焦点を合わせる。当該移動の量は、前記焦点の状態に関する情報が前記ズレ量である場合、そのズレ量を解消するような移動量である。また、当該移動の量は、前記焦点の状態に関する情報が焦点位置情報である場合、その焦点位置へ対象Sが移動されるような移動量である。
また、前記制御部は、対象Sに関する特徴データに基づきステージ制御部415を駆動して、焦点調整を行ってもよい。例えば対象Sの組織構成又は対象Sに含まれる細胞のサイズなどに基づき、焦点調整が行われうる。
前記制御部が前記焦点調整を実行した後に、前記制御部は、取得部(撮像部)425を駆動して、対象Sを撮像させる。これにより、撮像素子411が、焦点調整後の位置で撮像された対象Sの撮像データを得る。
制御部424がさらなる焦点調整を実行しないと判定した場合は、制御部424は処理をステップS105へ進める。
本技術の信号取得装置は、受光自体は短い時間で行い、撮像により得られたデータ量を撮像素子内で削減し、そして、より少ない量のデータを撮像素子外に出力することができる。そのため、本技術の信号取得装置は、より高速に大量のデータを処理することが可能であり、Zスタック技術による撮像に適している。
以下で本技術の信号取得装置による画像圧縮処理の例及びオートフォーカス処理の例を、図8を参照しながら説明する。
前記画素信号の相関に関する情報は、例えば輝度値分布に基づく相関であってよいが、これに限定されない。
前記焦点の状態に関する情報は、例えば焦点精度に関する情報である。前記焦点精度に関する情報は、例えばフォーカス検波値であってよいが、これに限定されない。前記フォーカス検波値として、例えば、位相差、高周波成分の量、又はコントラスト値を挙げることができる。
このようにして得られた複数のデータセットが、学習済みモデルの生成のための教師データとして用いられる。
以上のように、本技術において、学習済みモデルは、教師データとして、信号セット(特には画素信号セット)と当該信号セットに関連付けられた相関に関する情報又は焦点の状態に関する情報との、1つ又は複数のデータセットを用いて生成されたものであってよい。
制御部524は、例えばステージ制御部515を駆動して、ステージ514を観察光学系512の光軸方向(特には対物レンズの光軸方向)に移動させることで、対象Sに焦点を合わせることができる。なお、前記制御部は、画像取得装置500のうち観察光学系512を制御して、対象Sに焦点を合わせてもよい。
制御部524は、例えばステージ制御部515を駆動して、ステージ514を観察光学系512の光軸に対して垂直方向に移動させ、これにより撮像領域を変更することができる。例えば図7に示されるように、対象Sの全体を含む領域Rがタイル状に分割され、前記制御部による撮像領域の変更によって、各分割領域が順次撮像されうる。
ステップS103において、制御部524は、好ましくは学習済みモデルを用いて、当該画素信号セットの相関に関する情報を取得する。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画像信号が取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
ステップS103において、制御部524は、好ましくは学習済みモデルを用いて、当該焦点精度に関する情報を取得する。
また、前記出力画像は、前記信号セットの内、複数のZ位置(例えば対物レンズの光軸方向における複数の位置)で取得した信号から生成した画像であってもよい。
例えば、制御部524は、当該選択された2つ以上の信号のそれぞれから、最も良い焦点精度を有する部分領域の信号を組み合わせて、全体領域の画像を出力画像として生成しうる。
このように、本技術において、制御部524は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成しうる。例えば、制御部524は、ステップS102において取得された複数の画像それぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成しうる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画素信号が取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
前記対象Sが由来する生物の種類は、例えば生物の分類学的な種類(例えばヒトなど)、性別的な種類(例えば男性又は女性など)、又は齢に関する種類(例えば年齢、月齢、又は日齢など)であってよい。
前記対象Sの種類は、例えば当該生体組織が由来する器官の種類(例えば胃など)、器官の構成要素の種類(例えば胃の粘膜層又は筋層など)、又は体液の種類(例えば血液など)でありうる。
前記対象Sが有する細胞の種類は、例えば形態、機能、及び細胞構成成分のうちの一つ以上の観点からの分類に基づく種類であってよく、又は、細胞に付された標識(例えば蛍光体又は抗体など)に基づく種類であってよい。
前記対象Sが有しうる疾患に関する特徴は、例えば前記生体組織が疾患を有するかどうか、前記生体組織が疾患を有する可能性、又は当該疾患の種類(例えば疾患の名称又は疾患の進行の程度など)であってよい。
例えば、制御部524は、前記対象Sに関する特徴データだけを出力するように、撮像素子511を制御しうる。すなわち、撮像素子511は、例えば対象Sの疾患情報などを出力するが、取得した画素信号は出力しない。
代替的には、制御部524は、前記対象Sに関する特徴データと画像データを出力しうる。当該画像データは、好ましくは、ステップS102において画素信号セットのうちの一部の画素信号に基づくものである。これにより、出力される画像データ量を削減しつつ、且つ、対象Sの解析結果を出力することができる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~104が繰り返されることで、領域R全体についての画素信号が取得される。
撮像されるべき分割領域がない場合(例えば領域Rの全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
分光データを取得する撮像装置として、いわゆるハイパースペクトルカメラ及びマルチスペクトルカメラが知られている。これらのカメラは、スペクトルイメージング技術を用いて対象を撮像する。スペクトルイメージング技術により取得されるデータは、各画素についての二次元方向(例えばx方向及びy方向)の位置情報に加え、各画素のスペクトル情報も有する。そのため、これらカメラにより取得されるデータ量は特に多くなる。
制御部624は、例えばステージ制御部615を駆動して、ステージ614を観察光学系の光軸に対して垂直方向に移動させ、これにより撮像領域を変更することができる。例えば、当該移動によって、上記プッシュブルーム方式の分光を行うための走査が行われてよい。
制御部624は、例えばステージ制御部615を駆動して、ステージ614を観察光学系の光軸方向(特には対物レンズのフォーカス方向)に移動させることで、対象Sに焦点を合わせることができる。なお、制御部624は、画像取得装置600のうち前記観察光学系を制御して、対象Sに焦点を合わせてもよい。
ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上にないことをいい、軸間の距離は特に限定されない。平行とは、厳密な意昧での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
ステップS102において、前記制御部が撮像素子611を制御して、前記撮像が行われうる。
例えば図20に示されるように、所定の波長範囲をカバーする感光可能領域のうち、前記所定の波長範囲のうちの一部をカバーする感光可能領域を読み出す領域として選定する。前記一部をカバーする感光可能領域の選定が、前記スペクトル有効領域に関する情報に基づき行われる。好ましくは、当該選定は、学習済みデータを用いて行われる。
これにより、一部の感光可能領域について信号が読み出され、他の領域についての信号は読み出されない。そのため、伝送される信号量が削減され、ラインレートを向上させることができる。
撮像されるべき分割領域がある場合、処理をステップS102に戻し、前記撮像されるべき分割領域について、ステップS102~S104を実行する。ステップS102~S104が繰り返されることで、領域全体についての画像信号が取得される。
撮像されるべき分割領域がない場合(例えば前記領域の全ての分割領域について画像取得処理が完了している場合)、前記制御部は処理をステップS106に進める。
〔1〕
生体組織に光を照射する照射部と、
前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、
を備えており、
前記検出器は、
前記信号を取得する取得部と、
前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、
を備え、
前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、
信号取得装置。
〔2〕
前記検出器は、撮像素子である、〔1〕に記載の信号取得装置。
〔3〕
前記信号は、画素信号である、〔1〕又は〔2〕に記載の信号取得装置。
〔4〕
前記制御部は、学習済みモデルを用いて、前記信号の前記特徴データを取得する、〔1〕~〔3〕のいずれか一つに記載の信号取得装置。
〔5〕
前記制御部は、学習済みモデルを用いて、前記出力データを制御する、〔1〕~〔4〕のいずれか一つに記載の信号取得装置。
〔6〕
前記検出器は撮像素子であり、
前記制御部は、前記撮像素子による撮像の焦点の状態に関する情報に基づき、前記出力データを制御する、〔1〕~〔5〕のいずれか一つに記載の信号取得装置。
〔7〕
前記焦点の状態に関する情報は、前記信号の少なくとも一部の信号についての焦点の状態に関する情報である、〔6〕に記載の信号取得装置。
〔8〕
前記焦点の状態に関する情報は、前記撮像のZ位置、前記信号のボケ量、又は、合焦位置に対する前記Z位置のズレ量である、〔6〕又は〔7〕に記載の信号取得装置。
〔9〕
前記制御部は、学習済みモデルを用いて前記焦点の状態に関する情報を取得する、〔6〕~〔8〕のいずれか一つに記載の信号取得装置。
〔10〕
前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定する、〔6〕~〔9〕のいずれか一つに記載の信号取得装置。
〔11〕
前記制御部は、前記焦点の状態に関する情報に基づき、前記焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記生体組織を撮像する、〔9〕又は〔10〕に記載の信号取得装置。
〔12〕
前記制御部は、前記焦点調整された位置での撮像により得られた信号に基づき、前記出力するデータを生成する、〔11〕に記載の信号取得装置。
〔13〕
前記検出器は撮像素子であり、
前記制御部は、前記信号の前記特徴データに基づき、前記撮像素子による撮像のために焦点調整を実行するかを判定する、〔1〕に記載の信号取得装置。
〔14〕
前記制御部は、前記特徴データに基づき、前記焦点調整された位置で前記生体組織を撮像するように前記取得部を駆動する、〔13〕に記載の信号取得装置。
〔15〕
前記制御部は、前記信号、および前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成する、〔14〕に記載の信号取得装置。
〔16〕
前記検出器は撮像素子であり、
前記取得部は、前記撮像素子による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得し、
前記制御部は、前記複数の位置で取得された信号セットから、信号の相関に関する情報又は焦点の状態に関する情報を取得する、〔1〕に記載の信号取得装置。
〔17〕
前記焦点の状態に関する情報は、フォーカス検波値である、〔16〕に記載の信号取得装置。
〔18〕
前記制御部が、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を前記撮像素子から出力させる、〔16〕又は〔17〕に記載の信号取得装置。
〔19〕
前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像である、〔16〕~〔18〕のいずれか一つに記載の信号取得装置。
〔20〕
前記出力画像は、前記信号セットの内、最も合焦している信号から生成した画像である、〔16〕~〔19〕のいずれか一つに記載の信号取得装置。
〔21〕
前記出力画像は、前記信号セットの内、複数のZ位置で取得した信号から生成した画像である、〔16〕~〔20〕のいずれか一つに記載の信号取得装置。
〔22〕
前記制御部は、学習済みモデルを用いて、前記出力画像を生成する、〔16〕~〔21〕のいずれか一つに記載の信号取得装置。
〔23〕
前記制御部は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成する、〔16〕~〔22〕のいずれか一つに記載の信号取得装置。
〔24〕
前記制御部は、前記取得部により得られた信号に基づき、スペクトル有効領域に関する情報を取得する、〔1〕に記載の信号取得装置。
〔25〕
前記制御部は、学習済みモデルを用いて、スペクトル有効領域に関する情報を取得する、〔24〕に記載の信号取得装置。
〔26〕
前記制御部は、前記スペクトル有効領域に関する情報に基づき、前記検出器の読み出し領域を制御する、〔24〕又は〔25〕に記載の信号取得装置。
〔27〕
前記取得部は、対物レンズを介して前記生体組織からの光から信号を取得する、〔1〕~〔26〕のいずれか一つに記載の信号取得装置。
〔28〕
前記生体組織は、生体由来の組織サンプルである、〔1〕~〔27〕のいずれか一つに記載の信号取得装置。
〔29〕
前記信号取得装置は、前記出力データを出力する出力部をさらに備えている、〔1〕~〔28〕のいずれか一つに記載の信号取得装置。
〔30〕
前記信号取得装置は、前記出力データを解析する解析部をさらに備えている、〔1〕~〔29〕のいずれか一つに記載の信号取得装置。
〔31〕
生体組織に光を照射する照射部と、前記照射部により光照射された前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、を備えており、前記検出器は、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、前記出力データを生成する制御部と、を備え、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、信号取得装置と;
前記信号取得装置から出力された出力データの解析を行う解析部と
を含む信号取得システム。
〔32〕
前記信号取得システムは、医療画像取得システムである、〔31〕に記載の信号取得システム。
〔33〕
前記信号取得システムは、内視鏡システム又は顕微鏡システムである、〔31〕又は〔32〕に記載の信号取得システム。
〔34〕
光を照射された生体組織からの光から信号を取得する信号取得工程と、
前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、
前記特徴データに基づき、出力データを生成する出力データ生成工程と
を含む信号取得方法。
111 検出器
112 観察光学系
113 照射部
Claims (34)
- 生体組織に光を照射する照射部と、
前記照射部により光照射された後、前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、
を備えており、
前記検出器は、
前記信号を取得する取得部と、
前記信号の特徴データを取得し、前記特徴データに基づき、焦点調整された生体組織画像として前記出力データを生成する制御部と、
を備え、
前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、
信号取得装置。 - 前記検出器は、撮像素子である、請求項1に記載の信号取得装置。
- 前記信号は、画素信号である、請求項1に記載の信号取得装置。
- 前記制御部は、学習済みモデルを用いて、前記信号の前記特徴データを取得する、請求項1に記載の信号取得装置。
- 前記制御部は、学習済みモデルを用いて、前記出力データを制御する、請求項1に記載の信号取得装置。
- 前記検出器は撮像素子であり、
前記制御部は、前記撮像素子による撮像の焦点の状態に関する情報に基づき、前記出力データ生成を制御する、請求項1に記載の信号取得装置。 - 前記焦点の状態に関する情報は、前記信号の少なくとも一部の信号についての焦点の状態に関する情報である、請求項6に記載の信号取得装置。
- 前記焦点の状態に関する情報は、前記撮像のZ位置、前記信号のボケ量、又は、合焦位置に対する前記Z位置のズレ量である、請求項6に記載の信号取得装置。
- 前記制御部は、学習済みモデルを用いて前記焦点の状態に関する情報を取得する、請求項6に記載の信号取得装置。
- 前記制御部は、前記焦点の状態に関する情報に基づき、焦点調整を実行するかを判定する、請求項6に記載の信号取得装置。
- 前記制御部は、前記焦点の状態に関する情報に基づき、前記焦点調整を実行し、そして、前記撮像素子が前記焦点調整された位置で前記生体組織を撮像する、請求項9に記載の信号取得装置。
- 前記制御部は、前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成する、請求項11に記載の信号取得装置。
- 前記検出器は撮像素子であり、
前記制御部は、前記信号の前記特徴データに基づき、前記撮像素子による撮像のために焦点調整を実行するかを判定する、請求項1に記載の信号取得装置。 - 前記制御部は、前記特徴データに基づき、前記焦点調整された位置で前記生体組織を撮像するように前記取得部を駆動する、請求項13に記載の信号取得装置。
- 前記制御部は、前記信号、および前記焦点調整された位置での撮像により得られた信号に基づき、前記出力データを生成する、請求項14に記載の信号取得装置。
- 前記検出器は撮像素子であり、
前記取得部は、前記撮像素子による撮像の光軸方向における複数の位置で、前記生体組織からの光から信号を取得し、
前記制御部は、前記複数の位置で取得された信号セットから、信号の相関に関する情報又は焦点の状態に関する情報を取得する、請求項1に記載の信号取得装置。 - 前記焦点の状態に関する情報は、フォーカス検波値である、請求項16に記載の信号取得装置。
- 前記制御部が、前記複数の焦点の状態に関する情報に基づき、出力画像を生成し、当該出力画像を前記撮像素子から出力させる、請求項16に記載の信号取得装置。
- 前記出力画像は、前記信号セットの内、或るZ位置で取得した信号から生成した画像である、請求項18に記載の信号取得装置。
- 前記出力画像は、前記信号セットの内、最も合焦している信号から生成した画像である、請求項18に記載の信号取得装置。
- 前記出力画像は、前記信号セットの内、複数のZ位置で取得した信号から生成した画像である、請求項18に記載の信号取得装置。
- 前記制御部は、学習済みモデルを用いて、前記出力画像を生成する、請求項18に記載の信号取得装置。
- 前記制御部は、前記複数の位置で取得された信号に基づく画像のそれぞれを複数の領域に分け、当該複数の領域それぞれの焦点の状態に関する情報を取得し、合焦している領域画像を連結して出力画像を生成する、請求項16に記載の信号取得装置。
- 前記制御部は、前記取得部により得られた信号に基づき、スペクトル有効領域に関する情報を取得する、請求項1に記載の信号取得装置。
- 前記制御部は、学習済みモデルを用いて、スペクトル有効領域に関する情報を取得する、請求項24に記載の信号取得装置。
- 前記制御部は、前記スペクトル有効領域に関する情報に基づき、前記検出器の読み出し領域を制御する、請求項24に記載の信号取得装置。
- 前記取得部は、対物レンズを介して前記生体組織からの光から信号を取得する、請求項1に記載の信号取得装置。
- 前記生体組織は、生体由来の組織サンプルである、請求項1に記載の信号取得装置。
- 前記信号取得装置は、前記出力データを出力する出力部をさらに備えている、請求項1に記載の信号取得装置。
- 前記信号取得装置は、前記出力データを解析する解析部をさらに備えている、請求項1に記載の信号取得装置。
- 生体組織に光を照射する照射部と、前記照射部により光照射された前記生体組織からの光から信号を取得し、前記信号に基づき出力データを生成する検出器と、を備えており、前記検出器は、前記信号を取得する取得部と、前記信号の特徴データを取得し、前記特徴データに基づき、焦点調整された生体組織画像として前記出力データを生成する制御部と、を備え、前記検出器の前記取得部と前記制御部とは、単一のチップ内に配置されている、信号取得装置と;
前記信号取得装置から出力された出力データの解析を行う解析部と
を含む信号取得システム。 - 前記信号取得システムは、医療画像取得システムである、請求項31に記載の信号取得システム。
- 前記信号取得システムは、内視鏡システム又は顕微鏡システムである、請求項31に記載の信号取得システム。
- 光を照射された生体組織からの光から信号を取得する信号取得工程と、
前記信号取得工程において得られた信号の特徴データを取得する特徴データ取得工程と、
前記特徴データに基づき、焦点調整された生体組織画像として出力データを生成する出力データ生成工程と
を含み、
前記信号取得工程、前記特徴データ取得工程、および前記出力データ生成工程を単一のチップ内に配置された取得部及び制御部を備える検出器により実行する信号取得方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037745A JP7494490B2 (ja) | 2020-03-05 | 2020-03-05 | 信号取得装置、信号取得システム、及び信号取得方法 |
EP21713777.7A EP4115164A1 (en) | 2020-03-05 | 2021-03-05 | Signal acquisition apparatus, signal acquisition system, and signal acquisition method |
US17/642,233 US11842555B2 (en) | 2020-03-05 | 2021-03-05 | Signal acquisition apparatus, signal acquisition system, and signal acquisition method |
PCT/JP2021/008717 WO2021177446A1 (en) | 2020-03-05 | 2021-03-05 | Signal acquisition apparatus, signal acquisition system, and signal acquisition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037745A JP7494490B2 (ja) | 2020-03-05 | 2020-03-05 | 信号取得装置、信号取得システム、及び信号取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021140032A JP2021140032A (ja) | 2021-09-16 |
JP7494490B2 true JP7494490B2 (ja) | 2024-06-04 |
Family
ID=75143698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037745A Active JP7494490B2 (ja) | 2020-03-05 | 2020-03-05 | 信号取得装置、信号取得システム、及び信号取得方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11842555B2 (ja) |
EP (1) | EP4115164A1 (ja) |
JP (1) | JP7494490B2 (ja) |
WO (1) | WO2021177446A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023002679A1 (ja) * | 2021-07-19 | 2023-01-26 | 浜松ホトニクス株式会社 | 焦点位置推定システム、焦点位置推定方法、焦点位置推定プログラム、半導体検査システム及び生体観察システム |
WO2023189393A1 (ja) * | 2022-03-29 | 2023-10-05 | ソニーグループ株式会社 | 生体試料観察システム、情報処理装置及び画像生成方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002047017A1 (en) | 2000-12-04 | 2002-06-13 | Green Vision Systems Ltd. | Method for in-situ focus-fusion multi-layer spectral imaging and analysis of particulate samples |
JP2010525374A (ja) | 2007-03-08 | 2010-07-22 | セラビジョン、アクチボラグ | 合焦位置を決定する方法及びビジョン検査システム |
WO2017022462A1 (ja) | 2015-07-31 | 2017-02-09 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置および情報処理方法、固体撮像素子および固体撮像素子の動作方法、プログラム、並びに電子機器 |
WO2018051809A1 (ja) | 2016-09-16 | 2018-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、電子機器 |
WO2019181053A1 (ja) | 2018-03-22 | 2019-09-26 | 富士フイルム株式会社 | デフォーカス量測定装置、方法およびプログラム、並びに判別器 |
JP2019537011A (ja) | 2016-11-14 | 2019-12-19 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール |
WO2021177004A1 (ja) | 2020-03-05 | 2021-09-10 | ソニーグループ株式会社 | 顕微鏡装置、画像取得システム、及び画像取得方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6867851B2 (en) * | 1999-11-04 | 2005-03-15 | Regents Of The University Of Minnesota | Scanning of biological samples |
AU2001263776A1 (en) * | 2000-06-02 | 2001-12-11 | Medicometrics Aps | Method and system for classifying a biological sample |
JP2014149381A (ja) | 2013-01-31 | 2014-08-21 | Sony Corp | 画像取得装置および画像取得方法 |
-
2020
- 2020-03-05 JP JP2020037745A patent/JP7494490B2/ja active Active
-
2021
- 2021-03-05 EP EP21713777.7A patent/EP4115164A1/en active Pending
- 2021-03-05 US US17/642,233 patent/US11842555B2/en active Active
- 2021-03-05 WO PCT/JP2021/008717 patent/WO2021177446A1/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002047017A1 (en) | 2000-12-04 | 2002-06-13 | Green Vision Systems Ltd. | Method for in-situ focus-fusion multi-layer spectral imaging and analysis of particulate samples |
JP2010525374A (ja) | 2007-03-08 | 2010-07-22 | セラビジョン、アクチボラグ | 合焦位置を決定する方法及びビジョン検査システム |
WO2017022462A1 (ja) | 2015-07-31 | 2017-02-09 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置および情報処理方法、固体撮像素子および固体撮像素子の動作方法、プログラム、並びに電子機器 |
WO2018051809A1 (ja) | 2016-09-16 | 2018-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、電子機器 |
JP2019537011A (ja) | 2016-11-14 | 2019-12-19 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール |
WO2019181053A1 (ja) | 2018-03-22 | 2019-09-26 | 富士フイルム株式会社 | デフォーカス量測定装置、方法およびプログラム、並びに判別器 |
WO2021177004A1 (ja) | 2020-03-05 | 2021-09-10 | ソニーグループ株式会社 | 顕微鏡装置、画像取得システム、及び画像取得方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021140032A (ja) | 2021-09-16 |
US20220319207A1 (en) | 2022-10-06 |
WO2021177446A1 (en) | 2021-09-10 |
US11842555B2 (en) | 2023-12-12 |
EP4115164A1 (en) | 2023-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7424286B2 (ja) | 蛍光観察装置及び蛍光観察方法 | |
CA2877902C (en) | Pathology slide scanners for fluorescence and brightfield imaging and method of operation | |
CA2824447C (en) | Pathology slide scanner | |
US8743195B2 (en) | Whole slide fluorescence scanner | |
US20140125776A1 (en) | 3d pathology slide scanner | |
JP7586167B2 (ja) | 顕微鏡装置、画像取得システム、及び画像取得方法 | |
US11269171B2 (en) | Spectrally-resolved scanning microscope | |
US20180307019A1 (en) | Scanning microscope for 3d imaging using msia | |
JP7494490B2 (ja) | 信号取得装置、信号取得システム、及び信号取得方法 | |
JP6968357B2 (ja) | 画像取得方法および画像取得装置 | |
JP7501364B2 (ja) | 分光イメージング装置および蛍光観察装置 | |
WO2022270015A1 (ja) | 生体標本観察装置及び生体標本観察システム | |
WO2022249598A1 (ja) | 情報処理方法、情報処理装置、及びプログラム | |
WO2023189393A1 (ja) | 生体試料観察システム、情報処理装置及び画像生成方法 | |
KR20020047855A (ko) | 유전자 판독기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240506 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7494490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |