[go: up one dir, main page]

JP7017646B2 - 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム - Google Patents

内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム Download PDF

Info

Publication number
JP7017646B2
JP7017646B2 JP2020552467A JP2020552467A JP7017646B2 JP 7017646 B2 JP7017646 B2 JP 7017646B2 JP 2020552467 A JP2020552467 A JP 2020552467A JP 2020552467 A JP2020552467 A JP 2020552467A JP 7017646 B2 JP7017646 B2 JP 7017646B2
Authority
JP
Japan
Prior art keywords
state
unit
endoscope
analysis unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020552467A
Other languages
English (en)
Other versions
JPWO2020084752A1 (ja
Inventor
光隆 木村
大和 神田
誠 北村
勝義 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020084752A1 publication Critical patent/JPWO2020084752A1/ja
Application granted granted Critical
Publication of JP7017646B2 publication Critical patent/JP7017646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラムに関する。
従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処理を行うことができる。
術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカによる強調表示を付与して表示させる、診断支援機能を有する画像処理装置は、一般的に広く知られている。
診断支援機能は、病変部の見落としを抑制するために有効な機能であるが、ユーザが既に気づいている病変部に対して検出枠表示などの強調表示を施すと、ユーザの観察の妨げになる恐れがある。
そこで、例えば、日本国特開2011-255006号公報などにおいて、病変候補が検出されていても、サイズが大きい病変部など、ユーザが既に認識している可能性が高い場合には、検出枠などの強調表示を行わない内視鏡画像処理装置が提案されている。
しかし、日本国特開2011-255006号公報による内視鏡画像処理装置では、病変部が表示されているにもかかわらず、検出枠などの強調表示が行われない場合、ユーザの観察の妨げになるためにあえて強調表示を行っていないのか、診断支援機能が動作していないのかが識別できないという問題があった。
本発明は、前述した事情に鑑みてなされたものであり、診断支援機能の動作状況をユーザが常に識別することができる、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。
本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像入力される入力部と、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも1つに基づき、前記内視鏡の引き抜き速度を解析する取得情報解析部と、前記取得情報解析部における前記内視鏡の引き抜き速度の解析結果に基づき、前記診断支援部の診断支援動作に影響を及ぼす要因を決定して出力する警告表示設定部と、を備える。
本発明の一態様の内視鏡用画像処理装置の作動方法は、入力部と、診断支援部と、取得情報解析部と、警告表示設定部とを備える内視鏡画像処理装置の作動方法であって、前記入力部に、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像入力され前記取得情報解析部が、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも1つに基づき、前記内視鏡の引き抜き速度を解析し、前記警告表示設定部が、前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加、または通知する診断支援動作に対し、影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき決定して出力し、前記要因が検出されない場合、前記診断支援部が、前記診断支援動作を実行する。
本発明の一態様の内視鏡用画像処理プログラムは、入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像取得するステップと、取得情報解析部が、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも1つに基づき、前記内視鏡の引き抜き速度を解析するステップと、警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき、決定して出力するステップと、診断支援部が、前記診断支援動作を実行するステップと、をコンピュータに実行させる。
本発明の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図。 第1の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図。 取得情報解析部の構成を示すブロック図。 警告表示設定部の構成を示すブロック図。 第1の実施形態に係る画像処理装置において行われる診断支援機能に関する動作確認処理の流れの一例を説明するフローチャート。 第1の実施形態に係る取得情報解析処理の流れの一例を説明するフローチャート。 第1の実施形態に係る解析結果に基づく表示内容生成処理の流れの一例を説明するフローチャート。 第2の実施形態に係る機能可否解析処理の流れの一例を説明するフローチャート。 第2の実施形態に係る警告内容決定処理の流れの一例を説明するフローチャート。 第3の実施形態に係るシステム機器状態解析処理の流れの一例を示すフローチャート。 第3の実施形態に係る撮像状態解析処理の流れの一例を示すフローチャート。 第3の実施形態に係る操作状態解析処理の流れの一例を示すフローチャート。 第4の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図。 第4の実施形態に係る支援機能動作情報表示処理の流れの一例を示すフローチャート。 第4の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
(第1の実施形態)
図1は、第1の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム1は、図1に示すように、光源駆動装置11と、内視鏡21と、ビデオプロセッサ31と、内視鏡用画像処理装置(以下、画像処理装置と示す)32と、表示装置41と、を有して構成されている。
光源駆動装置11は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置11は、内視鏡21及びビデオプロセッサ31に接続されている。また、光源駆動装置11は、ビデオプロセッサ31からの光源制御信号に基づき、内視鏡21の光源部23を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡21へ出力するように構成されている。
内視鏡21は、光源駆動装置11及びビデオプロセッサ31に接続されている。また、内視鏡21は、被検者の体腔内に挿入可能な細長形状の挿入部22を有して構成されている。また、挿入部22の先端部には、光源部23と、撮像部24と、が設けられている。
光源部23は、例えば、白色LEDのような発光素子を具備して構成されている。また、光源部23は、光源駆動装置11から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。
撮像部24は、例えば、カラーCCDまたはカラーCMOSのようなイメージセンサを有して構成されている。また、撮像部24は、ビデオプロセッサ31から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部24は、光源部23からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ31へ出力するように構成されている。
ビデオプロセッサ31は、光源駆動装置11及び内視鏡21に接続されている。また、ビデオプロセッサ31は、光源部23の発光状態を制御するための光源制御信号を生成して光源駆動装置11へ出力するように構成されている。また、ビデオプロセッサ31は、撮像部24の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の生成画像を生成する。そして、当該生成した生成画像に対してユーザの設定に応じて強調処理やホワイトバランス補正処理を施した後、画像処理装置32へ1フレームずつ順次出力するように構成されている。
画像処理装置32は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置32は、ビデオプロセッサ31から出力される生成画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置41に表示させるための動作を行うように構成されている。また、画像処理装置32は、図2に示すように、入力部33と、診断支援部34と、表示制御部35と、を有して構成されている。図2は、第1の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。
入力部33は、画像入力部331と、システム情報入力部332と、を有して構成される。画像入力部331は、ビデオプロセッサ31から入力される生成画像を、診断支援部34と表示制御部35とへ出力する。システム情報入力部332は、内視鏡21やビデオプロセッサ31のバージョン情報などを含む各種情報を取得し、表示制御部35へと出力する。
診断支援部34は、病変検出部341と、支援情報生成部342と、支援情報制御部343と、を有して構成される。
病変検出部341は、画像入力部331から順次出力される生成画像に含まれる病変部を検出するように構成されている。病変検出部341は、例えば、ディープラーニング等の学習手法でポリープ画像を鑑別可能な機能を予め取得した画像鑑別器を生成画像に対して適用する処理を行うことにより、当該生成画像から病変部を検出する。なお、病変部の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開2007-244518号公報に開示のようなポリープ候補検出処理などを用いてもよい。
支援情報生成部342は、病変検出部341で検出された病変部の存在をユーザに認知させるために、例えば、当該病変部を囲むマーカ画像を生成して生成画像に付加する、または、表示する支援情報付加処理を行う。支援情報生成部342により付加されるマーカ画像は、病変部の存在を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像は、病変部の存在を示すことができるものであれば、病変部を囲まない画像であっても構わない。例えば、病変部の明るさや色調を周辺領域とは異なるものとすることによって病変部の存在を示してもよい。更には、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。
支援情報制御部343は、病変検出部341で検出された病変部に対して支援情報を生成して付加表示するか否かを判断したり、支援情報の表示タイミングを制御したりする。
表示制御部35は、取得情報解析部351と、警告表示設定部352と、を有して構成される。
取得情報解析部351は、入力部33から出力される生成画像や、各種情報を解析し、診断支援部34における診断支援機能の実行に対する影響の有無を判断する回路である。図3Aは、取得情報解析部351の構成を示すブロック部である。図3Aに示す取得情報解析部351中の各部の動作については、下記の説明の対応する箇所で後述する。図3Aは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第2から第4の実施形態に関わる構成も含めて示している。
警告表示設定部352は、取得情報解析部351の解析結果に基づき、診断支援を正しく実行できない原因を警告内容として特定し、当該警告を含む診断支援機能の状況を表示装置41の表示画面41Aへ表示させる表示内容を設定する回路である。図3Bは、警告表示設定部352の構成を示すブロック部である。図3Bに示す警告表示設定部352中の各部の動作については、下記の説明の対応する箇所で後述する。図3Bは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第2から第4の実施形態に関わる構成も含めて示している。
表示装置41は、モニタ等を具備し、画像処理装置32から出力される表示用画像を表示することができるように構成されている。
続いて、本実施形態の作用について説明する。図4は、第1の実施形態に係る画像処理装置において行われる診断支援機能に関する動作確認処理の流れの一例を説明するフローチャートである。
内視鏡21は、例えば、光源駆動装置11及びビデオプロセッサ31の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ31へ出力する。
ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の生成画像を生成し、当該生成した生成画像を画像処理装置32へ1フレームずつ順次出力する。すなわち、入力部33の画像入力部331は、ビデオプロセッサ31から生体内管腔画像である内視鏡画像(生成画像)を取得する(S1)。また、入力部33のシステム情報入力部332は、ビデオプロセッサ31や内視鏡21において、図示しないメモリ等に格納されている、システム識別情報を取得する(S1)。画像入力部331は、取得した画像を、病変検出部341と取得情報解析部351とに出力する。また、システム情報入力部332は、取得したシステム情報を、取得情報解析部351に出力する。
なお、S1において、取得情報解析部351は、生成画像とシステム情報の少なくともどちらか一方を取得すればよい。勿論、両方を取得してもよい。
続いて、取得情報解析部351では、S1で取得した生成画像、及び/又は、システム情報を解析する(S2)。S2の処理は、例えば、図5に示す手順で実行される。図5は、第1の実施形態に係る取得情報解析処理の流れの一例を説明するフローチャートである。図5に示すように、本実施形態における取得情報解析処理では、生成画像、及び/又は、システム情報に基づき、内視鏡21やビデオプロセッサ31の状態が、診断支援に影響する状態か否かを解析する(S21)。S21の処理は、図3Aにおける機器状態解析部351Aが関わる。
図4のフローに戻り、続いて、S2で取得した解析結果に基づき、診断支援機能の実行に影響すると判断された場合、原因を警告内容として特定し、当該警告を含む診断支援機能の状況を表示装置41の表示画面41Aへ表示させる表示内容を設定する(S3)。S3の処理は、例えば、図6に示す手順で実行される。図6は、第1の実施形態に係る解析結果に基づく表示内容生成処理の流れの一例を説明するフローチャートである。
図6に示すように、本実施形態における解析結果に基づく表示内容生成処理では、まず、S2で取得した解析結果に基づき、診断支援機能の実行に影響する要因を警告内容として特定する(S31)。S31の処理は、図3Bにおける警告内容決定部352Aが関わる。続いて、表示装置41の表示画面41Aへ表示させる表示内容を設定し、出力する(S32)。S32の処理は、図3Bにおける警告方法設定部352Bが関わる。表示内容としては、該警告を解消するための方法や、診断支援機能の状態などが好ましいが、解消方法が提示できない場合は、S31で決定された警告内容そのものを表示してもよい。
一方、S2における取得情報解析処理と並列して、診断支援部34において、S1において病変検出部341に入力された生成画像を用いた診断支援機能が実行される(S4)。なお、S4の処理はS2の処理と並列に実行可能であるが、必ずしもS2の処理と並列に実行する必要はない。S2→S3→S4のように、シーケンシャルに行ってもよい。また、S2の処理を実行する前にS4の処理を実行しても構わない。
このように、上述の実施形態によれば、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析し、影響があると判定された場合、原因を特定し、警告として表示装置41に表示させる。従って、診断支援機能の動作状況をユーザが常に識別することができる。
(第2の実施形態)
上述の第1の実施形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析している。これに対し、本実施の形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の観点から解析を行い、該観点に応じた優先度に従って警告内容を決定する点が異なっている。
本実施形態の画像処理装置は、第1の実施形態の画像処理装置32と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図4、図5、及び、図6に示す処理手順と同様であるが、図5における、診断支援機能に影響する状態か否かを解析する手順(S21)において、複数の観点から解析が行われる点が異なっている。また、図6における、解析結果に基づき診断支援機能の実行に影響する要因を警告内容として特定する手順(S31)が、複数の観点からの解析結果を用いて警告内容を決定する点も異なっている。以下、第1の実施形態と異なる処理について、説明する。
まず、診断支援機能に影響する状態か否かを解析する手順(図5、S21)について説明する。S21の処理は、例えば、図7に示す手順で実行される。図7は、第2の実施形態に係る機能可否解析処理の流れの一例を説明するフローチャートである。図7の処理には、図3Aにおける機器状態解析部351Aに含まれる各解析部(システム機器状態解析部351A1、撮像状態解析部351A2、及び、操作状態解析部351A3)が関わる。なお、本実施の形態では、複数の観点から診断支援機能に影響する状態か否かを解析する場合について説明しているが、図7には、一つの観点のみで解析する場合についても示している。
S21において診断支援機能に影響する状態か否かを解析するにあたり、まず、解析を行う項目(観点)から複数の項目を選択する(S201)。解析の観点としては、例えば、(A)システム機器の状態、(B)撮像の状態、(C)操作の状態、などの項目があげられる。本実施形態においては、これらの項目から2項目以上を選択して解析を行う。
解析項目として(A)システム機器の状態が選択された場合(S202、YES)、S21Aに進み、解析が実行される。S21Aにおけるシステム機器の状態の解析には、システム機器状態解析部351A1が関わる。システム機器状態解析部351A1は、システム情報入力部332から入力される、内視鏡21やビデオプロセッサ31などの内視鏡システムを構成する各機器のシステム情報に基づき、各種システム機器の状態が診断支援機能に適した状態であるか否かを解析する。全ての選択項目について解析が実行された場合(S203、YES)、エンドAに到達して機能状態解析処理を終了する。
一方、解析項目として(A)システム機器の状態が選択されていない場合(S202、NO)、S204に進む。また、全ての選択項目について解析が実行されていない場合も(S203、NO)、S204に進む。解析項目として(B)撮像の状態が選択された場合(S204、YES)、S21Bに進み、解析が実行される。S21Bにおける撮像の状態の解析には、撮像状態解析部351A2が関わる。撮像状態解析部351A2は、画像入力部331から入力される生成画像に基づき、該画像の撮像状態が診断支援機能に適した状態であるか否かを解析する。全ての選択項目について解析が実行されていない場合(S205、NO)、S21Cに進む。また、S204において、撮像の状態が選択されていない場合にも(S204、NO)、S21Cに進む。
S205において、全ての選択項目について解析が実行された場合(S205、YES)、S206に進む。システム機器の状態も解析した場合(S206、YES)、エンドABに到達して機能状態解析処理を終了する。システム機器の状態は解析せず、撮像の状態のみ解析した場合(S206、NO)、エンドBに到達して機能状態解析処理を終了する。
S21Cでは、残る項目として、(C)操作の状態の解析が実行される。S21Cにおける操作の状態の解析には、操作状態解析部351A3が関わる。操作状態解析部351A3は、システム情報入力部332から入力されるシステムに関する情報や、画像入力部331から入力される生成画像に基づき、ユーザによる内視鏡21の操作が診断支援機能に適した状態であるか否かを解析する。続いて、S207に進み、撮像状態を解析したか否かを確認する。
撮像状態も解析した場合(S207、YES)、S208に進んで、システム機器の状態の解析有無を確認する。システム機器の状態も解析した場合(S208、YES)、エンドABCに到達して機能状態解析処理を終了する。一方、システム機器の状態は解析していない場合(S208、NO)、エンドBCに到達して機能状態解析処理を終了する。
一方、撮像状態は解析していない場合(S207、NO),S209に進んで、システム機器の状態の解析有無を確認する。システム機器の状態は解析した場合(S209、YES)、エンドACに到達して機能状態解析処理を終了する。一方、システム機器の状態も解析していない場合(S209、NO)、エンドCに到達して機能状態解析処理を終了する。
すなわち、選択された項目に関する解析が終了すると、解析を行った項目に関する全ての解析結果が出力される。例えば、解析項目として(A)システム機器の状態と、(B)撮像の状態の2項目が選択された場合、図7におけるS21AとS21Bとが実行される。エンドABに到達し、S21Aを実行して得られた解析結果と、S21Bを実行して得られた結果とが出力され、機能状態解析処理を終了する。また、例えば、解析項目として(B)撮像の状態と、(C)操作の状態の2項目が選択された場合、図7におけるS21BとS21Cとが実行される。エンドBCに到達し、S21Bを実行して得られた解析結果と、S21Cを実行して得られた結果とが出力され、機能状態解析処理を終了する。
また、例えば、解析項目として(A)システム機器の状態と、(C)操作の状態の2項目が選択された場合、図7におけるS21AとS21Cとが実行される。エンドACに到達し、S21Aを実行して得られた解析結果と、S21Cを実行して得られた結果とが出力され、機能状態解析処理を終了する。更に、例えば、解析項目として(A)システム機器の状態と、(B)撮像の状態と、(C)操作の状態の3項目が選択された場合、図7におけるS21AとS21BとS21Cとが全て実行される。エンドABCに到達し、S21Aを実行して得られた解析結果と、S21Bを実行して得られた結果と、S21Cを実行して得られた結果とが出力され、機能状態解析処理を終了する。
図7における機能可否解析処理が終了すると、続いて図6のS31が実行される。S31の処理は、例えば、図8に示す手順で実行される。図8は、第2の実施形態に係る警告内容決定処理の流れの一例を説明するフローチャートである。図8の処理には、図3Bにおける警告内容決定部352Aが関わる。
まず、図7の処理で得られた解析結果を、機器状態解析部351Aから取得する(S311)。図7の処理においては、複数の項目について解析が行われている。S311では、解析を行った全ての項目についての結果を、機器状態解析部351Aから取得する。
次に、診断支援機能に寄与する影響の大きさに基づき解析項目に対して付与された優先度(警告内容として優先される順位)を参照し、S311で取得した解析結果の中で、診断支援機能の実行に影響する要因を警告内容として特定する。優先度は、予め画像処理装置32内の図示しないメモリなどに格納されている。S311を実行する際には該メモリを参照し、警告内容を特定する。
上述した3項目は、(A)システム機器の状態、(B)撮像の状態、(C)操作の状態、の順に診断支援機能に寄与する影響が大きい。例えば、生成画像の撮像状態や、ユーザの操作状態が診断支援機能に適した状態であっても、システム機器の状態が診断支援機能に適さない状態である場合、診断支援機能は動作しない。従って、(A)システム機器の状態が、最も診断支援機能に寄与する影響が大きいといえる。また、システム機器の状態が診断支援機能に適した状態である場合、生成画像の撮像状態が診断支援機能に適してなくても、支援機能の信頼度が低下するものの、診断支援機能を動作させることができる可能性がある。更に、システム機器の状態が診断支援機能に適した状態である場合、操作の状態が診断支援機能に適してなくても、支援機能の信頼度が低下するものの、診断支援機能を動作させることは可能である。これより、(B)撮像の状態は、(A)システム機器の状態より診断支援機能に寄与する影響が小さいものの、(C)操作の状態より診断支援機能に寄与する影響が大きいといえる。
以上より、(A)システム機器の状態が最も優先度が高い項目として設定される。次に優先度が高く設定される項目は(B)撮像の状態となり、(C)操作の状態は、最も優先度が低い項目として設定される。
S311においては、機器状態解析部351Aから取得した解析結果のうち、診断支援機能に適した状態ではないと判定された項目を抽出する。抽出した項目のうち、最も優先度が高い項目に関する解析結果を、警告内容として決定する(S312)。
例えば、解析項目として(A)システム機器の状態と、(B)撮像の状態の2項目が選択された場合、システム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、撮像の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。また、解析項目として(B)撮像の状態と、(C)操作の状態の2項目が選択された場合、撮像の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、撮像の状態の解析結果を警告内容として決定する。
また、(A)システム機器の状態と、(C)操作の状態の2項目が選択された場合、システム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。更に、(A)システム機器の状態と、(B)撮像の状態と、(C)操作の状態の3項目が選択された場合、少なくともシステム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、撮像の状態、及び、操作の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。また、システム機器の状態が診断支援機能に適する状態であり、撮像の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、撮像の状態の解析結果を警告内容として決定する。以上のようにして、図8に示すような警告内容決定の一連の処理を終了する。
このように、上述の実施形態によれば、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の項目について診断支援機能の実行に影響があるか否かを解析する。影響があると判定された項目がある場合、該項目の中から診断支援機能に寄与する影響が大きい項目を選択し、警告として決定する。また、警告内容を解決する方法を表示装置41に表示させることで、診断支援機能の動作状況をユーザが常に識別することができ、動作に適さない状態である場合には、その最大の原因と解決方法を容易に把握することができる。
(第3の実施形態)
上述の第2の実施形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の観点から解析を行っている。これに対し、本実施の形態では、個々の観点について個別に解析を行い、診断支援機能の実行に影響があるか否かをより具体的に解析している点が異なっている。
本実施形態の画像処理装置は、第1の実施形態の画像処理装置32と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図4、図5、図6、及び、図7に示す第2の実施形態の処理手順と同様であるが、図7における、システム機器の状態を解析する手順(S21A)、撮像の状態を解析する手順(S21B)、操作の状態を解析する手順(S21C)が、より具体的に行われる点が異なっている。以下、第2の実施形態と異なる処理について、説明する。
まず、システム機器の状態を解析する手順(S21A)について説明する。S21Aの処理は、例えば、図9に示す手順で実行される。図9は、第3の実施形態に係るシステム機器状態解析処理の流れの一例を示すフローチャートである。図9の処理は、図3Aにおけるシステム機器状態解析部351A1が関わる。
システム機器状態解析部351A1は、まず、内視鏡21やビデオプロセッサ31などの内視鏡システムを構成するシステム機器自体が、診断支援機能に不適切な状態であるか否かを判定する(S2111)。
診断支援部34で用いられる病変検出や支援情報生成は、診断対象臓器や診断支援が行われる状況(使用目的)に応じて、それぞれ異なるアルゴリズムが設定された支援アプリケーションを用いて実行される。診断対象臓器とは、例えば、大腸、小腸、食道、胃、などがあげられる。また、使用目的とは、例えば、検査や手術があげられる。例えば、胃の検査における診断支援に用いる支援アプリケーションは、大腸の検査に用いる支援アプリケーションと異なったものであるし、食道の検査における診断支援に用いる支援アプリケーションは、食道の手術における診断支援に用いる支援アプリケーションと異なったものである。
一方、内視鏡21やビデオプロセッサ31も、診断対象臓器や使用目的に応じて、異なる仕様・特性を有するものが用いられる。例えば、内視鏡21は、食道や胃などの上部消化管の検査と、小腸の検査と、大腸の検査と、腹腔鏡手術とでは、それぞれ別の種類のものが用いられる。また、例えば、ビデオプロセッサ31は、外科の検査・手技用と、内科の検査・手技用とで、別の種類のものが用いられる。
従って、内視鏡21やビデオプロセッサ31の種類が、診断支援部34で用いられる支援アプリケーションに適さない場合、支援アプリケーションを実行して診断支援を行うことができない。例えば、診断支援部34において、胃の検査用の支援アプリケーションが選択されている場合において、大腸の検査用の内視鏡21や、外科用のビデオプロセッサ31などが接続されている場合、胃の検査用の支援アプリケーションは、正常な動作ができないため、診断支援機能が実行できない。
このように、システム機器と、診断支援部34に設定されている支援アプリケーションのアルゴリズム対象臓器や使用目的が一致していない場合、システム機器が診断支援機能に不適切な状態であると判定する(S2111、YES)。
また、内視鏡21の撮像部24の解像度が、支援アプリケーションで必要な解像度よりも低い場合も、支援アプリケーションは正常な動作ができないため、診断支援機能が実行できない。従って、内視鏡21の解像度が低い場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2111、YES)。
更に、支援アプリケーションは日々改善が施されバージョンアップされたものが提供されており、バージョンに応じて接続可能な内視鏡21やビデオプロセッサ31が異なってくる。例えば、デジタルデータのみ処理可能な支援アプリケーションが設定されており、画像処理装置32にアナログデータ用のビデオプロセッサ31が接続されている場合、ビデオプロセッサ31から入力されるデータを支援アプリケーションで処理することができないため、診断支援機能が実行できない。
このように、システム機器のバージョンや機能が、診断支援部34に設定されている支援アプリケーションで扱うことができないものである場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2111、YES)。
なお、内視鏡21やビデオプロセッサ31などシステム機器の種類やバージョン、内視鏡21の解像度などのシステム情報は、内視鏡21やビデオプロセッサ31の図示しないメモリ等から取得する。
上述のように、システム機器が診断支援機能に不適切な状態であると判定されると(S2111、YES)、S2114に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、システム機器が不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。
一方、システム機器は適切な状態であると判定されると(S2111、NO)、システム機器状態解析部351A1のパラメータ解析部351A11は、内視鏡21やビデオプロセッサ31などの内視鏡システムを構成するシステム機器のパラメータが、診断支援機能に不適切な設定であるか否かを判定する(S2112)。
例えば、ビデオプロセッサ31において生成画像を生成する際に、エッジ強調処理やホワイトバランス補正処理などの画像強調を行う場合、強調処理のパラメータを診断支援機能として予定された範囲を超えた値に設定して強調処理を施すと、正しく病変部を検出することができず、診断支援機能が正常に動作できない。
このように、内視鏡システムを構成するシステム機器のパラメータが、診断支援機能として予定された範囲外の値に設定されている場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2112、YES)。続いてS2114に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、システム機器のパラメータが不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。
一方、システム機器のパラメータも適切な状態であると判定されると(S2112、NO)、システム機器状態解析部351A1は、診断支援部34において設定されている支援アプリケーション(アルゴリズム対象臓器や使用目的、バージョンなど)が不適切であるか否かを判定する(S2113)。
支援アプリケーションのアルゴリズム対象臓器が未設定であったり、古いバージョンのものが設定されていたりする場合、病変部を検出することができず、診断支援機能が正常に動作できない。
このように、診断支援部34において設定されている支援アプリケーションが不適切である場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2113、YES)。続いてS2114に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、支援アプリケーションのアルゴリズムが不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。
一方、支援アプリケーションのアルゴリズムも適切であると判定された場合(S2113、NO)、システム機器の状態は診断支援機能に適した状態であると判定し(S2115)、システム機器状態の解析処理を終了する。
次に、撮像の状態を解析する手順(S21B)について説明する。S21Bの処理は、例えば、図10に示す手順で実行される。図10は、第3の実施形態に係る撮像状態解析処理の流れの一例を示すフローチャートである。図10の処理は、図3Aにおける撮像状態解析部351A2が関わる。
撮像状態解析部351A2は、まず、撮像機器である内視鏡21の状態が、診断支援機能に不適切な状態であるか否かを判定する(S2121)。
例えば、撮像対象に対して合焦していない場合や、露出が不適切である場合、レンズが曇っている場合、診断支援である生成画像が適切に取得されていないため、診断支援機能が正常に動作しない。このような場合、撮像機器の状態が、診断支援機能に不適切な状態であると判定する(S2121、YES)。続いてS2123に進み、撮像の状態が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。
一方、撮像機器の状態が適切な状態であると判定されると(S2121、NO)、撮像状態解析部351A2は、生成画像が診断支援に不適切であるか否かを判定する(S2122)。生成画像に、残渣や出血や治療痕などの画像部分がある場合、病変部が検出できなかったり、誤検出してしまったりするために、診断支援機能が正常に動作しない。このような場合、撮像対象が、診断支援機能に不適切な状態であると判定する(S2122、YES)。続いてS2123に進み、撮像対象が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。
一方、撮像対象も適切であると判定された場合(S2122、NO)、撮像機器の状態は診断支援機能に適した状態であると判定し(S2124)、撮像状態の解析処理を終了する。
最後に、操作の状態を解析する手順(S21C)について説明する。S21Cの処理は、例えば、図11に示す手順で実行される。図11は、第3の実施形態に係る操作状態解析処理の流れの一例を示すフローチャートである。図11の処理は、図3Aにおける操作状態解析部351A3が関わる。
操作状態解析部351A3は、内視鏡21の移動速度が設定外の速度であるか否かを判定する(S2131)。大腸や上部消化管の検査など、内視鏡21の先端部を引き抜きながら観察を行う場合、引き抜く速度が速すぎると、生成画像から病変部を検出することが困難になったり病変部の検知時間が短くなったりするために、診断支援機能が正常に動作しない。すなわち、診断支援機能を実行する場合には、設定速度範囲内で内視鏡21を移動させる必要がある。
従って、内視鏡21の移動速度が設定外の速度である場合(S2131、YES)、操作の状態が診断支援機能に不適切な状態であると判定する。なお、内視鏡21の引き抜き速度は、複数フレームの生成画像の差分から算出したり、内視鏡21の先端部にジャイロセンサなど速度を検知可能なセンサを設け、該センサの測定値を参照したりするなど、既知の速度を算出する手法を用いて取得する。
上述のように、操作の状態が診断支援機能に不適切な状態であると判定されると(S2131、YES)、S2132に進み、操作の状態が診断支援機能に適した状態ではないと判定し、内視鏡21の移動速度が設定外速度である旨の解析結果を出力して、操作状態の解析処理を終了する。
一方、内視鏡21の移動速度が設定内の速度である場合(S2131、NO)、操作の状態は診断支援機能に適した状態であると判定し(S2133)、操作状態の解析処理を終了する。
上述のように、対象となる解析項目について、診断支援機能に影響する状態か否かの解析が終了すると、解析結果に基づく表示内容生成処理(図6)の一連の手順が実行される。
このように、上述の実施形態によれば、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、個々の観点について診断支援機能の実行に影響があるか否かを詳細な解析を行っている。従って、診断支援機能の実行に影響があると判定された場合、より具体的な原因を特定し、警告として表示装置41に表示させることができる。従って、診断支援機能が動作していない場合、ユーザが迅速に対応することができる。
(第4の実施形態)
上述の実施形態では、取得情報解析部における解析結果に基づき、診断支援機能の実行に影響があると判定された場合には原因を特定し、診断支援機能を適切に動作させるための解決方法や、診断支援機能の状態を表示装置41に表示させる。本実施の形態では、これらの表示内容をより具体的に設定する点が異なっている。
図12は、画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。本実施形態の画像処理装置は、診断支援設定部36が追加されている点を除き、図2に示す第1の実施形態の画像処理装置32と同様の構成を有している。同じ構成要素については、同じ符号を付して説明は省略する。
診断支援設定部36は、表示制御部35での解析結果に基づき、診断支援部34の機能を実行するか否かを制御する。診断支援設定部36において、診断支援機能を実行しない(機能自体をオフにする)旨の制御が行われると、画像入力部331から順次入力される生成画像は、診断支援部34において何も処理を施されることなく、そのまま表示制御部35に出力される。
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図4、図5、及び、図6に示す処理手順と同様であるが、図6における、診断支援機能の状態、解決方法を表示する手順(S32)が、より具体的に行われる点が異なっている。以下、第1の実施形態と異なる処理について説明する。
S32の処理は、例えば、図13に示す手順で実行される。図13は、第4の実施形態に係る支援機能動作情報表示処理の流れの一例を示すフローチャートである。図13の処理は、図3Bにおける警告方法設定部352Bに含まれる各設定部(解決方法表示設定部352B1、信頼度表示設定部352B2、及び、支援不可表示設定部352B3)が関わる。
まず、解決方法表示設定部352B1は、診断支援機能を適切な状態で動作させるための解決方法を導出し、表示装置41へ出力する(S321)。S321においては、S31において特定された、診断支援機能の実行に影響する要因(警告内容)を参照し、警告を解消するための方法を表示させる。例えば、S31において、システム機器の状態が適切な状態でない旨の警告が決定され、内視鏡21の解像度が低すぎるという解析結果が得らている場合、警告内容を踏まえて「システム機器を適切な状態にする」や、更に解析結果を踏まえて「内視鏡の解像度を上げる」などの解決方法が導出される。
次に、信頼度表示設定部352B2は、診断支援機能の信頼度を決定し、表示装置41へ出力する(S32)。信頼度とは、診断支援機能の出力(支援内容)の正確さの度合いを表した指標であり、例えば、病変部を正しく検知し適切な支援情報を生成・表示している場合を100、なんらかの不適切な状態が発生しており、病変部を全く検知できなかったり支援情報が生成・表示されなかったりする場合を0として、0から100の間の数値で表現される。
例えば、システム機器が不適切な状態である場合、診断支援機能が実行不能状態になってしまうため、信頼度は0となる。また例えば、生成画像に残渣があるために撮像対象が不適切な状態である場合、診断支援機能は動作するものの病変部検出の精度が低下する。この場合、信頼度は残渣の状況に応じて適切な数値が算出される。
続いて、支援不可表示設定部352B3は、診断支援機能が正常に動作しているか否かを判定する(S323)。正常動作可否の判定は、機器状態解析部351Aの解析結果に基づいて行う。診断支援機能が動作不可の場合(S323、YES)、診断支援機能が動作していない旨を表示装置41へ出力し(S324)する。
そして、診断支援部34の支援情報制御部343に対し、診断支援機能の実行を停止させる指示を出力する(S325)。すなわち、診断支援機能そのものの異常でなく、システム機器の状態や、撮像の状態、操作の状態など、外的要因により診断支援機能が正常に動作しない場合、正しい支援結果が得られないにも関わらず、診断支援機能が動作し続けてしまうことを防止する。
なお、S325における診断支援機能の実行停止指示は、必ずしも必須ではない。また、S325において診断支援機能の実行を停止させる指示を出力した場合、診断支援機能の実行に影響する要因が解消されて正常に動作可能な状態に戻ったら、診断支援部34の支援情報制御部343に対し、診断支援機能の実行を再開させる指示を出力するようにしてもよい。
一方、診断支援機能が動作不可な状態ではない場合(S323、NO)、診断支援機能動作情報の表示処理を終了する。
図14は、第4の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。表示装置41の表示画面41Aには、例えば、生成画像表示部51や検査情報表示部52と共に、診断支援機能状態表示部53が配置される。診断支援機能状態表示部53には、解決方法表示部531と、信頼度表示部532と、支援機能実行状態表示部533が配置されている。
解決方法表示部531には、解決方法表示設定部352B1で決定された解決方法が、テキスト形式で表示される。信頼度表示部532には、信頼度表示設定部352B2で決定された信頼度が表示される。図14においては、信頼度表示部532は、レベルメータ形式で信頼度を表記しているが、数値など他の形式で表示してもよい。支援機能実行状態表示部533は、診断支援機能自体の動作状況を示している。図14においては、診断支援機能を表すアイコンの上にバツ印を付与することで、診断支援機能の動作を停止していることを表している。支援機能実行状態表示部533も、信頼度表示部532と同様に他の形式で表示してもよい。
なお、図14に示す診断支援機能状態表示部53の表示内容や配置はあくまでも一例であり、ユーザの好みや見易さなどに応じて自由に変更可能である。
以上のように、上述した各実施形態によれば、生成画像、及び/または、システム情報を解析し、診断支援機能の動作に影響する状態か否かを判定して表示することで、診断支援機能の動作状況をユーザが常に識別することができる。従って、検出枠などの強調表示が行われない場合、ユーザの観察の妨げになるためにあえて強調表示を行っていないのか、診断支援機能が動作していないのかが容易に識別できる。 本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

Claims (24)

  1. 被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の 処理を施して生成された生成画像が入力される入力部と、
    前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、
    前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも1つに基づき、前記内視鏡の引き抜き速度を解析する取得情報解析部と、
    前記取得情報解析部における前記内視鏡の引き抜き速度の解析結果に基づき、前記診断支援部の診断支援動作に影響を及ぼす要因を決定して出力する警告表示設定部と、
    を備えることを特徴とする内視鏡用画像処理装置。
  2. 前記取得情報解析部は、前記生成画像と、前記内視鏡の操作状態に係る情報との少なくとも1つを解析して前記診断支援動作に影響を及ぼす要因が存在するか否かを解析する機能状態解析部を備えることを特徴とする、請求項1に記載の内視鏡用画像処理装置。
  3. 前記警告表示設定部は、前記取得情報解析部における解析結果に基づき、前記診断支援動作に影響を及ぼす要因を決定する警告内容決定部と、前記診断支援動作の状態や、前記要因を解消するための解決方法を決定して出力する警告方法設定部とを備えることを特徴とする、請求項2に記載の内視鏡用画像処理装置。
  4. 前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
    前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、を備えており、
    前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  5. 前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、
    前記警告内容決定部は、前記撮像状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  6. 前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
    前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、
    前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  7. 前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
    前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、
    前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  8. 前記入力部は、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力され、
    前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部を備えており、
    前記警告内容決定部は、前記システム機器状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  9. 前記システム機器状態解析部は、前記システム機器の状態が、前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項8に記載の内視鏡用画像処理装置。
  10. 前記システム機器状態解析部は、前記システム機器の設定パラメータが、前記診断支援動作に適した状態であるか否かを判定するパラメータ解析部を備えることを特徴とする、請求項8に記載の内視鏡用画像処理装置。
  11. 前記パラメータ解析部は、前記プロセッサにおける前記撮像信号に対する画像強調処理のパラメータの値が、前記診断支援動作に適した範囲内であるか否かを判定することを特徴とする、請求項10に記載の内視鏡用画像処理装置。
  12. 前記システム機器状態解析部は、前記診断支援部において前記診断支援動作実行のために設定されたアルゴリズムが、前記診断支援動作に適切であるか否かを判定することを特徴とする、請求項8に記載の内視鏡用画像処理装置。
  13. 前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部を備えており、
    前記警告内容決定部は、前記撮像状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  14. 前記撮像状態解析部は、前記生成画像から判断できる前記撮像部の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項13に記載の内視鏡用画像処理装置。
  15. 前記撮像状態解析部は、前記被写体の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項13に記載の内視鏡用画像処理装置。
  16. 前記撮像状態解析部は、前記生成画像に、残渣、出血、治療痕のいずれかの画像部分が存在するか否かを判定することを特徴とする、請求項15に記載の内視鏡用画像処理装置。
  17. 前記機能状態解析部は、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部を備えており、
    前記警告内容決定部は、前記操作状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  18. 前記機能状態解析部は、前記内視鏡の引き抜き速度が設定された所定範囲内であるか否かを判定することを特徴とする、請求項17に記載の内視鏡用画像処理装置。
  19. 前記警告方法設定部は、前記診断支援動作を適切な状態で動作させるための解決方法を導出して出力する解決方法表示設定部を備えていることを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  20. 前記警告方法設定部は、前記診断支援動作による支援結果の信頼度を導出して出力する信頼度表示設定部を備えていることを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  21. 前記警告方法設定部は、前記機能状態解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援動作が動作不可であることを出力する支援不可表示設定部を備えていることを特徴とする、請求項3に記載の内視鏡用画像処理装置。
  22. 前記取得情報解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援部の機能をオフに切り替える診断支援設定部をさらに備えていることを特徴とする、請求項1に記載の内視鏡用画像処理装置。
  23. 入力部と、診断支援部と、取得情報解析部と、警告表示設定部とを備える内視鏡画像処理装置の作動方法であって、
    前記入力部に、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像入力され
    前記取得情報解析部が、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくとも1つに基づき、前記内視鏡の引き抜き速度を解析し、
    前記警告表示設定部が、前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加、または通知する診断支援動作に対し、影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき決定して出力し、
    前記要因が検出されない場合、前記診断支援部が、前記診断支援動作を実行することを特徴とする、
    内視鏡用画像処理装置の作動方法。
  24. 入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサ にて所定の処理を施して生成された生成画像を取得するステップと、
    取得情報解析部が、前記生成画像と、前記内視鏡の操作状態に係る情報と、の少なくと も1つに基づき、前記内視鏡の引き抜き速度を解析するステップと、
    警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察 対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を前記内視鏡の引き抜き速度の解析結果に基づき、決定して出力するステップと、
    診断支援部が、前記診断支援動作を実行するステップと、
    をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
JP2020552467A 2018-10-26 2018-10-26 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム Active JP7017646B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039829 WO2020084752A1 (ja) 2018-10-26 2018-10-26 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2020084752A1 JPWO2020084752A1 (ja) 2021-09-24
JP7017646B2 true JP7017646B2 (ja) 2022-02-08

Family

ID=70331418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020552467A Active JP7017646B2 (ja) 2018-10-26 2018-10-26 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム

Country Status (3)

Country Link
US (1) US11992177B2 (ja)
JP (1) JP7017646B2 (ja)
WO (1) WO2020084752A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
JPWO2023053991A1 (ja) * 2021-09-30 2023-04-06

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265410A (ja) 2002-03-15 2003-09-24 Olympus Optical Co Ltd 内視鏡装置
JP2005124756A (ja) 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP2006166990A (ja) 2004-12-13 2006-06-29 Olympus Corp 医用画像処理方法
JP2015177961A (ja) 2014-02-27 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP2017006489A (ja) 2015-06-24 2017-01-12 オリンパス株式会社 内視鏡装置
JP2017086549A (ja) 2015-11-11 2017-05-25 オリンパス株式会社 走査型内視鏡装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1842481B1 (en) 2004-12-10 2017-02-08 Olympus Corporation Medical image processing method
US7894648B2 (en) * 2005-06-17 2011-02-22 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
JP4891636B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
US7794396B2 (en) * 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
JP2010142597A (ja) * 2008-12-22 2010-07-01 Hoya Corp 内視鏡装置
JP4884567B2 (ja) * 2009-11-06 2012-02-29 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP5926909B2 (ja) 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
WO2013073418A1 (ja) * 2011-11-16 2013-05-23 オリンパスメディカルシステムズ株式会社 内視鏡用映像信号処理装置
JP5977900B2 (ja) * 2014-06-18 2016-08-24 オリンパス株式会社 画像処理装置
JP6013665B1 (ja) * 2014-11-26 2016-10-25 オリンパス株式会社 診断支援装置及び診断支援情報表示方法
JP6243364B2 (ja) * 2015-01-26 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP6779089B2 (ja) * 2016-10-05 2020-11-04 富士フイルム株式会社 内視鏡システム及び内視鏡システムの駆動方法
JP2018139848A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265410A (ja) 2002-03-15 2003-09-24 Olympus Optical Co Ltd 内視鏡装置
JP2005124756A (ja) 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP2006166990A (ja) 2004-12-13 2006-06-29 Olympus Corp 医用画像処理方法
JP2015177961A (ja) 2014-02-27 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP2017006489A (ja) 2015-06-24 2017-01-12 オリンパス株式会社 内視鏡装置
JP2017086549A (ja) 2015-11-11 2017-05-25 オリンパス株式会社 走査型内視鏡装置

Also Published As

Publication number Publication date
WO2020084752A1 (ja) 2020-04-30
US11992177B2 (en) 2024-05-28
JPWO2020084752A1 (ja) 2021-09-24
US20210251470A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
US11457876B2 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
US20210338042A1 (en) Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program
JP7017646B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
WO2020090729A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
JP7189355B2 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP2023552032A (ja) 医療処置中に未検査領域を識別するためのデバイス、システム、及び方法
EP4119933A1 (en) Information processing device, inspection system, program, and information processing method
US20240257348A1 (en) Endoscopic image processing device, endoscopic image processing method, and endoscope system
JP6010261B1 (ja) 内視鏡装置
JP7260060B2 (ja) 情報処理装置、表示方法、及びプログラム
JP7096713B2 (ja) 内視鏡システム
US20220346632A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing computer program
WO2021241735A1 (ja) 内視鏡プロセッサ装置
EP4252617A1 (en) Endoscope system and method of operating endoscope system
WO2024095674A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2023053991A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
WO2024028925A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024029502A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP6800567B2 (ja) 医用画像表示装置
WO2024028924A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024121886A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220127

R151 Written notification of patent or utility model registration

Ref document number: 7017646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250