[go: up one dir, main page]

JP2021191316A - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP2021191316A
JP2021191316A JP2018127059A JP2018127059A JP2021191316A JP 2021191316 A JP2021191316 A JP 2021191316A JP 2018127059 A JP2018127059 A JP 2018127059A JP 2018127059 A JP2018127059 A JP 2018127059A JP 2021191316 A JP2021191316 A JP 2021191316A
Authority
JP
Japan
Prior art keywords
image
display
unit
distance
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018127059A
Other languages
English (en)
Inventor
孝則 牛島
Takanori Ushijima
進 青野
Susumu Aono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018127059A priority Critical patent/JP2021191316A/ja
Priority to PCT/JP2019/004611 priority patent/WO2020008672A1/ja
Priority to US17/122,412 priority patent/US20210099645A1/en
Publication of JP2021191316A publication Critical patent/JP2021191316A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stroboscope Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】観察対象の部位が見づらい場合に立体視画像の見づらさを解消することができる内視鏡システムを提供する。【解決手段】内視鏡システム100は、内視鏡1と、画像生成部21と、表示部3と、表示画像制御部22と、距離検知部13とを備えている。内視鏡1は、第1の撮像素子11および第2の撮像素子12を含む撮像光学系を有している。距離検知部13は、観察窓11A,12Aから観察対象物101までの距離の情報である距離情報を検知する。表示画像制御部22は、距離情報に基づいて、第1の撮像素子11の全撮像領域110のうち第1の撮像画像として撮像信号が出力される第1の出力領域111の位置を変更するように第1の撮像画像を制御し、第2の撮像素子12の全撮像領域120のうち第2の撮像画像として撮像信号が出力される第2の出力領域121の位置を変更するように第2の撮像画像を制御する。【選択図】図7

Description

本発明は、取得した被写体の2つの画像を合成して立体視画像として知覚させる内視鏡システムに関する。
近年、内視鏡装置は、医療分野および工業用分野において広く用いられている。医療分野において用いられる内視鏡装置は、体内に挿入される細長い挿入部を具備しており、臓器の観察、処置具を用いた治療装置、内視鏡観察下における外科手術等に、広く用いられている。
一般的な内視鏡装置は、観察対象の部位を平面画像として観察する内視鏡装置である。平面画像では、例えば観察対象の部位として体腔壁表面の微細な凹凸等の観察や、体腔内の臓器やデバイスとの空間的位置関係を把握したい場合に、遠近感や立体感が得られない。そこで、近年、被写体を立体的に観察することができる立体視内視鏡システムが開発されている。
被写体を立体的に知覚させる方法としては、例えば、内視鏡内に設けられた2つの撮像素子によって視差を有する2つの画像を撮像し、この2つの画像を3D画像として3Dモニターに表示させる方法がある。この方法では、観察者は、偏光メガネ等の3D観察用のメガネを用いて、3D画像を左右の眼で別々に視ることにより、立体視画像を知覚する。
ところで、被写体と対物との距離によっては、立体視画像が見づらくなり、違和感や眼精疲労を生じる場合がある。立体視画像の見づらさを解消する方法としては、例えば、特開2005−334462号公報、特開2005−58374号公報および特開2010−57619号公報に開示されているように、左右画像の不一致領域等の観察しにくい領域に対して所定の処理を行うことによって、立体視画像全体の見づらさを解消する方法がある。
特開2005−334462号公報 特開2005−58374号公報 特開2010−57619号公報
しかしながら、特開2005−334462号公報、特開2005−58374号公報および特開2010−57619号公報に開示された技術は、立体視画像において観察対象の部位が見づらい場合にも見づらい観察対象の部位を見えにくくする技術であり、これらの技術では、観察対象の部位自体を立体視画像として観察することはできない。
また、近年、観察対象の部位をより詳細に観察しやすくするために、3Dモニターの大型化が進んでいる。大型の3Dモニターでは、小型の3Dモニターに比べて、立体視画像の立体感が強くなる傾向がある。そのため、小型の3Dモニターでは快適に観察することができる距離であっても、大型の3Dモニターでは、観察対象の部位が見づらくなる場合がある。
そこで、本発明は、観察対象の部位が見づらい場合に立体視画像の見づらさを解消することができる内視鏡システムを提供することを目的とする。
本発明の一態様によれば、被検体内の被写体を撮像する第1の撮像素子および第2の撮像素子を含む撮像光学系を有する内視鏡と、前記第1の撮像素子が撮像した第1の撮像画像と、前記第2の撮像素子が撮像した第2の撮像画像とに基づいて、3D画像を生成する画像生成部と、表示画像として前記3D画像を表示する表示部と、前記内視鏡、前記画像生成部および前記表示部のうちの少なくとも1つを制御することによって、前記表示画像を変化させる表示画像制御部と、前記撮像光学系の先端に位置する対物面から前記被検体内の所定の観察対象物までの距離の情報である距離情報を検知する距離検知部と、を備え、前記表示画像制御部は、前記距離情報に基づいて、前記第1の撮像素子の全撮像領域のうち前記第1の撮像画像として撮像信号が出力される第1の出力領域の位置を変更するように前記第1の撮像画像を制御し、前記第2の撮像素子の全撮像領域のうち前記第2の撮像画像として撮像信号が出力される第2の出力領域の位置を変更するように前記第2の撮像画像を制御する、内視鏡システムを提供することができる。
本発明によれば、観察対象の部位が見づらい場合に立体視画像の見づらさを解消することができる内視鏡システムを提供することができる。
本発明の一実施の形態に係わる内視鏡システムの概略の構成を示す説明図である。 本発明の一実施の形態に係わる内視鏡システムの構成を示す機能ブロック図である。 本発明の一実施の形態における本体装置のハードウェア構成の一例を示す説明図である。 3Dモニターと観察者との距離上、立体視画像の立体像を快適に観察することができる範囲を模式的に示す説明図である 観察対象物と対物との距離上、立体視画像の立体像を快適に観察することができる範囲を模式的に示す説明図である。 本発明の一実施の形態における撮像素子の撮像領域と出力領域を示す説明図である。 図6に示した状態から出力領域の位置を変更した状態を示す説明図である。 本発明の一実施の形態における第1の処理の第1の例を示す説明図である。 本発明の一実施の形態における第1の処理の第2の例を示す説明図である。 本発明の一実施の形態における左目用画像と右目用画像の各々の表示位置を示す説明図である。 本発明の一実施の形態における第2の処理の第1の例を示す説明図である。 本発明の一実施の形態における第2の処理の第2の例を示す説明図である。 本発明の一実施の形態における視線方向検出部の動作を説明するための説明図である。
以下、図面を参照して、本発明の実施の形態を説明する。
(内視鏡システムの構成)
始めに、本発明の一実施の形態に係わる内視鏡システムの概略の構成について説明する。本実施の形態に係わる内視鏡システム100は、立体視内視鏡を備えた立体視内視鏡システムである。図1は、内視鏡システム100の概略の構成を示す説明図である。図2は、内視鏡システム100の構成を示す機能ブロック図である。
内視鏡システム100は、立体視内視鏡(以下、単に内視鏡と記す。)1と、3Dビデオプロセッサの機能を有する本体装置2と、3Dモニターの機能を有する表示部3と、表示部3を見て立体視画像を知覚するために着用される3D観察用メガネ4とを備えている。内視鏡1と表示部3は、本体装置2に接続されている。3D観察用メガネ4は、有線または無線通信によって、本体装置2と通信できるように構成されている。
内視鏡1は、被検体内に挿入される挿入部10と、挿入部10の基端に連接された操作部(図示せず)と、操作部から延出するユニバーサルコード15とを有している。内視鏡1は、ユニバーサルコード15を介して本体装置2に接続されている。内視鏡1は、挿入部10が硬質管部を有する硬性立体内視鏡として構成されていてもよいし、挿入部が可撓管部を有する軟性立体内視鏡として構成されていてもよい。
また、内視鏡1は、被検体内の被写体を撮像する第1の撮像素子11および第2の撮像素子12を含む撮像光学系と、照明部14を含む照明光学系とを有している。撮像光学系は、挿入部10の先端部に設けられている。また、撮像光学系は、更に、挿入部10の先端面10aに設けられた2つの観察窓11A,12Aを含んでいる。観察窓11A,12Aは、撮像光学系の先端に位置する端面(以下、対物面と言う。)である。第1の撮像素子11の受光面には、観察窓11Aを通して、被写体からの光が入射される。第2の撮像素子12の受光面には、観察窓12Aを通して、被写体からの光が入射される。第1および第2の撮像素子11,12は、例えば、CCDまたはCMOSによって構成されている。
照明光学系は、更に、挿入部10の先端面10aに設けられた2つの照明窓14A,14Bを含んでいる。照明部14は、被写体を照明するための照明光を発生する。照明光は、照明窓14A,14Bから、被写体に照射される。照明部14は、挿入部10の先端部から離れた位置に設けられていてもよい。この場合、照明部14が発生する照明光は、内視鏡1内に設けられたライトガイドによって照明窓14A,14Bに伝送される。あるいは、照明部14は、挿入部10の先端部に設けられたLED等の発光素子によって構成されていてもよい。
内視鏡1は、更に、対物面である観察窓11A,12Aから被検体内の所定の観察対象物101までの距離の情報である距離情報を検知する距離検知部13を有している。本実施の形態では、距離検知部13は、観察窓11A,12Aと同様に、挿入部10の先端面10aに設けられている。距離検知部13は、先端面10aから観察対象物101までの距離の測定結果と、観察窓11A,12Aと距離検知部13の位置関係に基づいて、観察窓11A,12Aから観察対象物101までの距離を算出する。以下、観察窓11Aから観察対象物101までの距離と観察窓11Aから観察対象物101までの距離は、互いに等しいものとする。また、観察窓11A,12Aから観察対象物101までの距離を、記号Cで表す。なお、図1では、便宜上、距離検知部13から観察対象物101までの距離を記号Cで示している。距離検知部13は、例えば、レーザ、赤外線および超音波等を利用して測定対象物との距離を測定するセンサによって構成されている。
表示部3は、表示画像として、後述する第1および第2の撮像画像より画像生成された3D画像を表示する。3D観察用メガネ4は、表示部3に表示された前記3D画像を見て、左右それぞれの目によって第1の撮像画像と第2の撮像画像を観察することで、立体視画像を知覚するために着用されるメガネである。表示部3は、例えば、前記3D画像を異なる偏光フィルタを通して表示する偏光式の3Dモニターであってもよいし、前記3D画像として第1の撮像画像と第2の撮像画像とを交互に表示するアクティブシャッタ方式の3Dモニターであってもよい。3D観察用メガネ4は、表示部3が偏光方式の3Dモニターである場合には偏光メガネであり、表示部3がアクティブシャッタ方式の3Dモニターである場合にはシャッタメガネである。
3D観察用メガネ4は、着用者の視線の方向を検出する視線方向検出部41を有している。視線方向検出部41の検出結果は、有線または無線通信によって、本体装置2に送信される。
内視鏡1は、更に、本体装置2に接続された報知部5を備えている。報知部5については、後で説明する。
(本体装置の構成)
次に、図2を参照して、本体装置2の構成について説明する。本体装置2は、画像生成部21と、表示画像制御部22と、表示部情報取得部23と、視線情報検知部24と、報知信号生成部25とを備えている。
表示画像制御部22は、第1の撮像素子11が撮像した第1の撮像画像と、第2の撮像素子12が撮像した第2の撮像画像に対して、所定の画像処理や、3D画像として出力するための処理を行い、処理済みの第1および第2の撮像画像を画像生成部21に出力する。3D画像として出力するための処理としては、第1の撮像画像と第2の撮像画像に対して、3D画像用として出力領域を切り出す処理や、3D画像を表示するのに必要なパラメータを制御する処理等が行われる。
画像生成部21は、表示画像制御部22から出力された第1および第2の撮像画像に基づいて、3D画像を生成すると共に、生成した3D画像を表示部3に出力する。また、本実施の形態では、画像生成部21は、3D画像を生成する際に、表示画像制御部22に制御されることによって、所定の画像処理を実行する。画像生成部21の画像処理の詳細については、後で説明する。
表示部情報取得部23は、本体装置2に接続された表示部3の表示領域3aの情報である表示部情報を取得するものであり、表示部3から表示部情報を取得することができるように構成されている。表示部情報は、例えば、表示領域3aの情報として、表示領域3aの大きさ、すなわち表示領域3aの縦方向の寸法と横方向の寸法の情報を含んでいる。また、表示部情報取得部23は、取得した表示部情報を、表示画像制御部22に出力する。
視線情報検知部24は、3D観察用メガネ4の視線方向検出部41の検出結果を受信すると共に、視線方向検出部41の検出結果に基づいて、視線の方向の動きの情報である視線情報を検知する。また、視線情報検知部24は、検知した視線情報を、表示画像制御部22に出力する。
表示画像制御部22は、内視鏡1、画像生成部21および表示部3のうちの少なくとも1つを制御し、画像生成部21に第1および第2の撮像画像を出力することによって、または、第1および第2の撮像画像に3D画像を生成するための制御パラメータを付与することによって、表示部3に変化させた3D画像を表示することが可能である。また、表示画像制御部22は、距離検知部13が検知した距離情報に基づいて、表示部3に3D画像を表示するか否かを判断する表示判断部22Aを含んでいる。本実施の形態では、表示画像制御部22は、表示判断部22Aの判断結果と、距離検知部13が検知した距離情報と、表示部情報取得部23が取得した表示部情報の内容と、視線情報検知部24の検知結果に基づいて、表示画像を変化させる処理を実行する。表示画像を変化させる処理の詳細については、後で説明する。
報知信号生成部25は、距離検知部13が検知した距離情報に基づいて、報知信号を生成する。報知信号は、例えば、観察窓11A,12Aから観察対象物101までの距離Cが、観察対象物101が見づらくなるような距離になった場合に、そのことを観察者に知らせる報知信号を生成する。報知信号生成部25は、生成した報知信号を、報知部5に出力する。
報知部5は、表示部3であってもよい。この場合、表示部3は、報知信号に基づいて、観察対象物101が見づらくなったことを知らせる警告を表示してもよい。なお、図2では、便宜上、表示部3と報知部5を別体として描いている。あるいは、報知部5は、スピーカ等によって構成された警報器5Aであってもよい。なお、警報器5Aは、後で説明する図3に示されている。警報器5Aは、例えば、報知信号に基づいて、観察対象物101が見づらくなったこと音声または警告音で知らせてもよい。
ここで、図3を参照して、本体装置2のハードウェア構成について説明する。図3は、本体装置2のハードウェア構成の一例を示す説明図である。図3に示した例では、本体装置2は、プロセッサ2Aと、メモリ2Bと、記憶装置2Cと、入出力部2Dとによって構成されている。
プロセッサ2Aは、画像生成部21、表示画像制御部22、表示部情報取得部23、視線情報検知部24および報知信号生成部25の少なくとも一部の機能を実行するために用いられる。プロセッサ2Aは、例えば、FPGA(Field Programmable Gate Array)によって構成されている。画像生成部21、表示画像制御部22、表示部情報取得部23、視線情報検知部24および報知信号生成部25の少なくとも一部は、FPGAにおける回路ブロックとして構成されていてもよい。
メモリ2Bは、例えば、RAM等の書き換え可能な揮発性の記憶素子によって構成されている。記憶装置2Cは、例えば、フラッシュメモリまたは磁気ディスク装置等の書き換え可能な不揮発性の記憶装置によって構成されている。入出力部2Dは、有線または無線通信によって、本体装置2と外部との間で信号の送受信を行うために用いられる。
なお、プロセッサ2Aは、中央演算処理装置(以下、CPUと記す。)によって構成されていてもよい。この場合、画像生成部21、表示画像制御部22、表示部情報取得部23、視線情報検知部24および報知信号生成部25の少なくとも一部の機能は、CPUが記憶装置2Cまたは図示しない他の記憶装置からプログラムを読み出して実行することによって実現されてもよい。
また、本体装置2のハードウェア構成は、図3に示した例に限られない。例えば、画像生成部21、表示画像制御部22、表示部情報取得部23、視線情報検知部24および報知信号生成部25の各々は、別個の電子回路として構成されていてもよい。
(表示画像を変化させる処理)
次に、図1および図2を参照して、表示画像制御部22によって実行される、表示画像を変化させる処理について詳しく説明する。ここでは、表示画像を変化させる処理のうち、視線情報に基づいて実行される処理以外の処理について説明する。本実施の形態では、表示画像制御部22は、表示画像を変化させる処理として、第1の処理、第2の処理、第3の処理、第4の処理、第5の処理、第6の処理および第7の処理を選択的に実行可能である。また、表示画像制御部22は、表示判断部22Aの判断結果に基づいて、これらの処理を実行する。
始めに、表示判断部22Aの動作について説明する。前述のように、表示判断部22Aは、距離検知部13が検知した距離情報に基づいて、表示部3に3D画像を表示するか否かを判断する。具体的には、例えば、観察窓11A,12Aから観察対象物101までの距離Cが所定の範囲内の場合、表示判断部22Aは、表示部3に3D画像を表示すると判断する。一方、距離Cが所定の範囲外の場合、表示判断部22Aは、表示部3に3D画像を表示しないと判断する。以下、上記の所定の範囲を、表示判定範囲と言う。
表示判定範囲は、予め、図3に示した記憶装置2Cや図示しない記憶装置等に記憶されている。表示判断部22Aは、記憶装置2C等に記憶された表示判定範囲を読み出すことができるように構成されている。なお、後述する第1ないし第3の範囲も、表示判定範囲と同様に、予め、記憶装置2C等に記憶されている。表示画像制御部22は、記憶装置2C等に記憶された第1ないし第3の範囲を読み出すことができるように構成されている。
表示判定範囲は、距離Cが、観察対象物101を快適に観察することができる距離である場合、または、観察対象物101が見づらくなるような距離であるが表示画像を変化させる処理によって立体視画像の見づらさを解消することが可能になる距離である場合に、距離Cが表示判定範囲内となるように規定される。すなわち、観察対象物101を快適に観察することができる場合、または、表示画像を変化させる処理によって立体視画像の見づらさを解消することが可能になる場合には、表示判断部22Aは、表示部3に3D画像を表示すると判断する。一方、表示画像を変化させる処理を行っても立体視画像の見づらさを解消することが不可能な場合には、表示判断部22Aは、表示部3に3D画像を表示しないと判断する。
第1ないし第6の処理は、表示判断部22Aが、表示部3に3D画像を表示すると判断した場合に実行される。第7の処理は、表示判断部22Aが、表示部3に3D画像を表示しないと判断した場合に実行される。なお、第1ないし第6の処理は、表示判断部22Aの判断に関わらずに実行されてもよい。
なお、「観察対象物101を快適に観察することができる」とは、具体的には、例えば、違和感や眼精疲労を生じさせずに、観察対象物101の立体像を観察することができることを意味する。
また、観察対象物101を快適に観察することができる、観察窓11A,12Aから観察対象物101までの距離Cは、観察対象物101の立体像が知覚される位置と対応関係を有している。図4は、観察者が3Dモニターを観察した際に、立体視画像の立体像を快適に観察することができる範囲R1を模式的に示している。図4において、符号200は、観察者を示している。また、図4では、3Dモニターとして表示部3を示している。図4に示したように、立体視画像の立体像を快適に観察することができる範囲R1は、表示部3よりも観察者200により近い所定の第1の位置から、表示部3よりも観察者200からより遠い所定の第2の位置までの範囲である。
観察対象物101の立体像が知覚される位置は、観察窓11A,12Aから観察対象物101までの距離Cに依存して変化する。以下、観察窓11A,12Aから観察対象物101までの距離Cを、観察対象物と対物との距離C、または、単に距離Cとも記す。距離Cが相対的に小さくなると、観察対象物101の立体像が知覚される位置は、観察者200により近い位置になる。また、距離Cが相対的に大きくなると、観察対象物101の立体像が知覚される位置は、観察者200からより遠い位置になる。観察対象物101を快適に観察することができる距離Cは、観察対象物101の立体像が知覚される位置が、図4に示した範囲R1内となるような距離である。
図5は、観察対象物と対物との距離Cの、立体視画像の立体像を快適に観察することができる範囲R2を模式的に示している。図5において、(a)は、挿入部10の先端部と観察対象物101を示し、(b)は、挿入部10の先端部と観察対象物101が(a)に示した位置関係のときの、観察対象物101の立体像102を示している。図5(a)において、記号Cminは、観察対象物101を快適に観察することができる距離Cの最小値を示し、記号Cmaxは、観察対象物101を快適に観察することができる距離Cの最大値を示している。図5(b)に示したように、距離Cが範囲R2内にある場合には、立体像102が知覚される位置は、範囲R1内になる。
次に、第1の処理について説明する。第1の処理では、表示画像制御部22が、内視鏡1の第1の撮像素子11と第2の撮像素子12によって取得された第1および第2の撮像画像を制御する。表示画像制御部22は、距離検知部13が検知した距離情報に基づいて、第1の撮像素子11の全撮像領域のうち第1の撮像画像として撮像信号が出力される第1の出力領域の位置を変更するように第1の撮像画像を制御する。また、表示画像制御部22は、距離情報に基づいて、第2の撮像素子12の全撮像領域のうち第2の撮像画像として撮像信号が出力される第2の出力領域の位置を変更するように第2の撮像画像を制御する。
以下、図6ないし図9を参照して、第1の処理の内容について具体的に説明する。図6は、撮像素子11,12の撮像領域と出力領域を示す説明図である。なお、図6では、第1および第2の撮像素子11,12の撮像領域を、それぞれ横長の矩形で模式的に示している。図6における左右方向の矩形の長さは、第1および第2の撮像素子11,12が並ぶ方向に平行な方向における、第1および第2の撮像素子11,12の撮像領域の寸法を表している。
図6において、符号110は、第1の撮像素子11の全撮像領域を示し、符号111は、第1の撮像画像として撮像信号が出力される第1の出力領域を示している。また、符号120は、第2の撮像素子12の全撮像領域を示し、符号121は、第2の撮像画像として撮像信号が出力される第2の出力領域を示している。図6に示したように、第1の出力領域111は、第1の撮像素子11の全撮像領域110よりも小さく、第2の出力領域121は、第2の撮像素子12の全撮像領域120よりも小さい。
また、図6において、記号Pを付した点は、第1の撮像素子11と観察窓11A(図1参照)とを含む光学系の光軸(以下、第1の光軸と言う。)と、第2の撮像素子12と観察窓12A(図1参照)とを含む光学系の光軸(以下、第2の光軸と言う。)とが交差する点を示している。以下、上記の2つの光軸がなす角度、すなわち内向角を記号αで表す。内向角αは、立体視画像における立体像の奥行き方向の大きさと対応関係を有するパラメータである。内向角αが、人間の左右の目の間隔である眼幅と3Dモニターまでの距離で構成される輻輳角よりも大きいと、立体感が強調され、内向角αが輻輳角と同等以下になると立体感が弱まる。すなわち、内向角αが小さくなるに従って、立体像の奥行き方向の大きさが小さくなり、立体感が弱まる。一方、内向角αが大きくなるに従って、立体像の奥行方向の大きさが大きくなり、立体感が強くなる。また、第1の出力領域111の中心と第2の出力領域121の中心との間隔を、記号kで表す。間隔kは、第1および第2の光軸間距離となる。
図6は、点Pに観察対象物101(図1参照)があり、且つ、観察窓11A,12Aから観察対象物101までの距離Cが所定の第1の範囲内である場合の状態を示している。なお、第1の範囲は、例えば、距離Cが、観察対象物101を快適に観察することができる距離である場合に、距離Cが第1の範囲内となるように規定される。具体的には、図5(b)に示した範囲R2が、第1の範囲となる。図6は、観察対象物101を快適に観察することができる場合の状態を示している。
本実施の形態では、距離Cが第1の範囲外の場合、すなわち、観察対象物101が見づらくなるような距離である場合、表示画像制御部22は、距離Cが第1の範囲内の場合に比べて、第1の出力領域111の中心と第2の出力領域121の中心との間隔kが小さくなるように、第1および第2の撮像画像を制御する。
図7は、図6に示した状態から出力領域111,121の位置を変更した状態を示している。図7に示した状態では、図6に示した状態よりも、第1の出力領域111の中心と第2の出力領域121の中心との間隔kが小さくなっている。また、図7に示した状態では、図6に示した状態よりも、内向角αが小さくなっている。その結果、立体視画像における立体像の奥行き方向の大きさが小さくなり、立体感が弱まる。
図8は、第1の処理の第1の例を示している。図9は、第1の処理の第2の例を示している。第1の例は、距離Cが、観察対象物101を快適に観察することができる距離Cの最小値Cminよりも小さい場合の例である。第2の例は、距離Cが、観察対象物101を快適に観察することができる距離Cの最大値Cmaxよりも大きい場合の例である。図8および図9の各々において、(a)は、挿入部10の先端部と観察対象物101を示し、(b)は、挿入部10の先端部と観察対象物101が(a)に示した位置関係のときの、観察対象物101の立体像102を示している。図8(b)および図9(b)に示した例では、立体像102の一部が、立体視画像の立体像を快適に観察することができる範囲R1からはみ出ている。
また、図8および図9の各々において、(c)は、第1の処理を行った後の立体像102を示している。すなわち、(c)は、図7に示したように、間隔kを小さくしたときの立体像102を示している。なお、(b)は、図6に示したように、間隔kを小さくする前の立体像102を示している。図8(b)、(c)および図9(b)、(c)に示したように、間隔kを小さくして内向角αを小さくすると、立体像102の奥行き方向の大きさが小さくなる。その結果、立体像102の全体が、立体視画像の立体像を快適に観察することができる範囲R1に収まる。
なお、第1の出力領域111の中心と第2の出力領域121の中心との間隔kを小さくする場合、表示画像制御部22は、間隔kを、距離Cに応じて段階的または連続的に変化させてもよい。
ここまでは、観察窓11A,12Aから観察対象物101までの距離Cが第1の範囲内にある状態から第1の範囲外にある状態になった場合における第1の処理について説明してきた。この場合とは逆に、距離Cが第1の範囲外にある状態から第1の範囲内にある状態になった場合には、表示画像制御部22は、第1の出力領域111の中心と第2の出力領域121の中心との間隔kを、図7に示した間隔から図6に示した間隔に変更する。
次に、第2の処理について説明する。第2の処理では、表示画像制御部22によって、画像生成部21が制御される。表示画像制御部22は、距離検知部13が検知した距離情報に基づいて、表示部3における3D画像の左目用画像と右目用画像の各々の表示位置を変更して、観察対象物101の立体像102の奥行方向の位置を変更するように、画像生成部21を制御する。
以下、図10ないし図12を参照して、第2の処理の内容について具体的に説明する。図10は、左目用画像と右目用画像の各々の表示位置を示す説明図である。図10において、符号3を付した二点鎖線は、表示部3の位置を示している。また、符号P1を付した点は、左目用画像における観察対象物101(図1参照)の位置を示し、符号P2を付した点は、右目用画像における観察対象物101の位置を示している。左目用画像における観察対象物101(点P1)を左目201で見て、右目用画像における観察対象物101(点P2)を右目202で見ると、符号P3を付した点の位置に、観察対象物101の立体像102があると知覚される。図10には、観察対象物101があると知覚される点P3が、表示部3の奥側に位置する例を示している。
本実施の形態では、観察窓11A,12Aから観察対象物101までの距離Cが所定の第2の範囲外の場合、表示画像制御部22は、距離Cが第2の範囲内の場合に比べて、左目用画像において観察対象物101が位置する点P1と右目用画像において観察対象物101が位置する点P2との間の距離が小さくなるように、表示部3における左目用画像と右目用画像の各々の表示位置を変更する。これにより、表示部3から観察対象物101の立体像102があると知覚される点P3までの距離D、すなわち観察対象物101の立体像102の飛び出し量が小さくなる。
図11は、第2の処理の第1の例を示している。図12は、第2の処理の第2の例を示している。第1の例は、距離Cが、観察対象物101を快適に観察することができる距離Cの最小値Cminよりも小さい場合の例である。第2の例は、距離Cが、観察対象物101を快適に観察することができる距離Cの最大値Cmaxよりも大きい場合の例である。図11および図12の各々において、(a)は、挿入部10の先端部と観察対象物101を示し、(b)は、挿入部10の先端部と観察対象物101が(a)に示した位置関係のときの、観察対象物101の立体像102を示している。図11(b)および図12(b)に示した例では、立体像102の一部が、立体視画像の立体像を快適に観察することができる範囲R1からはみ出ている。
また、図11および図12の各々において、(c)は、第2の処理を行った後の立体像102を示している。すなわち、(c)は、図10に示した点P1と点P2との間の距離を小さくしたときの立体像102を示している。なお、(b)は、点P1と点P2との間の距離を小さくする前の立体像102を示している。図11(b)、(c)および図12(b)、(c)に示したように、点P1と点P2との間の距離を小さくすると、立体像102の飛び出し量が小さくなって、立体像102の全体が、立体視画像の立体像を快適に観察することができる範囲R1に収まるように、立体像102の奥行き方向の位置が変化する。なお、第2の処理では、第1の処理とは異なり、立体像102の奥行き方向の大きさは変化しない。
なお、第2の範囲は、例えば、第1の範囲と同じように規定されてもよい。この場合には、距離Cが、観察対象物101が見づらくなるような距離である場合、第1の処理と第2の処理が同時に実行される。
あるいは、第2の範囲は、観察対象物101が見づらくなるような距離であるが第1の処理によって観察対象物101を快適に観察することが可能になる距離である場合に、距離Cが第2の範囲内となるように規定されてもよい。このように第2の範囲が規定された場合には、距離Cが第2の範囲外の場合、すなわち、第1の処理を行っても観察対象物101を快適に観察することができない場合に、第1の処理と第2の処理が同時に実行される。なお、観察対象物101が見づらくなるような距離であるが第1の処理によって観察対象物101を快適に観察することが可能になる場合には、第1の処理のみが実行され、第2の処理は実行されない。
また、点P1と点P2との間の距離を小さくする場合、表示画像制御部22は、点P1と点P2との間の距離を、距離Cに応じて段階的または連続的に変化させてもよい。
次に、第3の処理について説明する。第3の処理では、表示画像制御部22によって、内視鏡1の照明部14が制御される。表示画像制御部22は、距離検知部13が検知した距離情報に基づいて、照明光の光量を変更するように照明部14を制御する。
第3の処理は、例えば、観察窓11A,12Aから観察対象物101までの距離Cが、第1の処理を行っても観察対象物101を快適に観察することができない距離の場合に行われる。そして、距離Cが相対的に小さい場合、表示画像制御部22は、照明光の光量が多くなるように照明部14を制御して、ハレーションを発生させる。また、距離Cが相対的に大きい場合、表示画像制御部22は、照明光の光量が少なくなるように照明部14を制御して、立体視画像を暗くする。なお、上述のように照明光の光量を多くする場合または少なくする場合、表示画像制御部22は、照明光の光量を、距離Cに応じて段階的または連続的に変化させてもよい。
次に、第4の処理について説明する。第4の処理では、表示画像制御部22によって、画像生成部21が制御される。表示画像制御部22は、距離検知部13が検知した距離情報に基づいて、3D画像に対してぼかし処理を行うように画像生成部21を制御する。第4の処理は、例えば、観察窓11A,12Aから観察対象物101までの距離Cが、第1の処理を行っても観察対象物101を快適に観察することができない距離の場合に行われる。なお、ぼかし処理を行う場合、表示画像制御部22は、ぼかしの度合いを、距離Cに応じて段階的または連続的に変化させてもよい。
次に、第5の処理について説明する。第5の処理では、表示画像制御部22によって、画像生成部21が制御される。表示画像制御部22は、表示部情報取得部23が取得した表示部情報に基づいて、表示部3に表示される3D画像の左目用画像と右目用画像の各々の面積を変更するように、画像生成部21を制御する。
表示部3の表示領域3aが相対的に大きくなる、すなわち、表示領域3aの縦方向の寸法と横方向の寸法が相対的に大きくなると、立体視画像において知覚される外縁の近傍にある立体像の位置は、表示部3から遠ざかる。第5の処理は、例えば、表示部3の表示領域3aが所定の閾値よりも大きい場合に実行される。この場合、表示画像制御部22は、表示部3に表示される左目用画像と右目用画像の各々の外縁の近傍の部分を削除して、左目用画像と右目用画像の各々の面積を小さくするように、画像生成部21を制御する。
次に、第6の処理について説明する。第6の処理では、表示画像制御部22によって、画像生成部21が制御される。表示画像制御部22は、距離検知部13が検知した距離情報と表示部情報取得部23が取得した表示部情報に基づいて、表示部3における3D画像の左目用画像と右目用画像の各々の表示位置を変更するように、画像生成部21を制御する。具体的には、例えば、表示部3の表示領域3aが所定の閾値よりも大きく、且つ、観察窓11A,12Aから観察対象物101までの距離Cが所定の第3の範囲外の場合、表示画像制御部22は、距離Cが第3の範囲内の場合に比べて、左目用画像において観察対象物101が位置する点P1と右目用画像において観察対象物101が位置する点P2との間の距離(図10参照)が小さくなるように、表示部3における左目用画像と右目用画像の各々の表示位置を変更する。
なお、第3の範囲は、例えば、第2の範囲と同じように規定されてもよい。また、点P1と点P2との間の距離を小さくする場合、表示画像制御部22は、点P1と点P2との間の距離を、距離Cに応じて段階的または連続的に変化させてもよい。
次に、第7の処理について説明する。前述のように、第7の処理は、表示判断部22Aが、表示部3に3D画像を表示しないと判断した場合に実行される。第7の処理では、表示画像制御部22によって、画像生成部21が制御される。表示画像制御部22は、第1および第2の撮像画像に基づいて1つの2D画像を生成するように画像生成部21を制御する。例えば、画像生成部21は、第1および第2の撮像画像の一方を、画像生成部21によって生成される2D画像としてもよい。表示部3は、画像生成部21が生成した2D画像を表示する。
なお、表示画像制御部22は、第1ないし第7の処理の全てを実行することができるように構成されていてもよいし、第1の処理と、第2ないし第7の処理のうちの少なくとも1つを実行することができるように構成されていてもよい。
(視線情報に基づいて実行される処理)
次に、表示画像を変化させる処理のうち、視線情報に基づいて実行される処理について説明する。始めに、図2および図13を参照して、3D観察用メガネ4の視線方向検出部41の動作と、視線情報検知部24の動作について説明する。図13は、視線方向検出部41の動作を説明するための説明図である。視線方向検出部41は、例えば、瞳孔203の位置を検出するカメラ等の図示しないセンサによって構成されており、瞳孔203の位置を検出することによって、着用者の視線の方向を検出する。視線情報検知部24は、視線方向検出部41の検出結果、すなわち着用者の視線の方向の検出結果に基づいて、視線の方向の動きの情報である視線情報を検知する。
次に、視線情報に基づいて実行される処理について説明する。表示画像制御部22は、視線情報検知部24が検知した視線情報に基づいて、表示画像を変化させる処理を実行する。本実施の形態では、表示画像制御部22は、所定の期間内における視線の方向の動きの変化量が所定の閾値以上の場合には、内視鏡1および画像生成部21を制御して、前述の第1ないし第7の処理のうち、少なくとも第1の処理を実行する。なお、表示画像制御部22は、所定の期間内における視線の方向の動きの変化量が所定の閾値以上の場合、距離検知部13が検知した距離情報に関わらずに、上記の処理を行ってもよい。あるいは、表示画像制御部22は、所定の期間内における視線の方向の動きの変化量が所定の閾値以上の場合、且つ、観察窓11A,12Aから観察対象物101までの距離Cが所定の範囲外の場合に、上記の処理を行ってもよい。上記の所定の範囲は、例えば、前述の第1の範囲よりも狭い範囲であってもよい。
(作用および効果)
次に、本実施の形態に係わる内視鏡システム100の作用および効果について説明する。本実施の形態では、表示画像制御部22は、観察窓11A,12Aから観察対象物101までの距離Cの情報である距離情報に基づいて、第1の出力領域111の位置を変更するように第1の撮像画像を制御し、第2の出力領域121の位置を変更するように第2の撮像画像を制御する処理(第1の処理)を実行可能である。前述のように、第1の出力領域111の中心と第2の出力領域121の中心との間隔kが小さくなると、内向角αが小さくなり、内向角αが小さくなると、立体像の奥行き方向の大きさが小さくなる。これにより、立体感が弱くなる。従って、本実施の形態によれば、観察対象物101が見づらくなるような距離である場合に、間隔kが小さくなるように第1および第2の撮像画像を制御することによって、観察対象物101の立体像の立体感を弱くして、観察対象物101の見づらさを解消することができる。その結果、本実施の形態によれば、立体視画像の見づらさを解消することができる。
ここで、観察窓11A,12Aから観察対象物101までの距離Cが前述の第1の範囲内にある場合の間隔kの値を第1の値と言い、距離Cが第1の範囲外にある場合の間隔kの値であって、第1の値とは異なる間隔kの値を第2の値という。本実施の形態では、表示画像制御部22は、距離Cが第1の範囲内にある場合には、間隔kが第1の値になるように第1および第2の撮像画像を制御し、距離Cが第1の範囲外にある場合には、間隔kが第2の値になるように第1および第2の撮像画像を制御する。本実施の形態では特に、第1の範囲は、距離Cが観察対象物101を快適に観察することができる距離である場合に、距離Cが第1の範囲内となるように規定され、第2の値は第1の値よりも小さい。これにより、本実施の形態によれば、距離Cが、観察対象物101を快適に観察することができる距離から観察対象物101が見づらくなるような距離になった場合には、観察対象物101の立体像の立体感を弱くすることができると共に、距離Cが、観察対象物101が見づらくなるような距離から観察対象物101を快適に観察することができる距離に戻った場合には、観察対象物101の立体像の立体感を元に戻すことができる。
なお、第2の値は、上記の第2の値に関する要件を満たす限り、1つの値であってもよいし、複数の値であってもよい。
また、本実施の形態では、第1の出力領域111の中心と第2の出力領域121の中心との間隔kを電気的に変更している。これにより、本実施の形態によれば、第1の出力領域111の中心と第2の出力領域121の中心との間隔kを物理的に変更する機構を設ける場合に比べて、内視鏡1の挿入部10の先端部の構造を簡単にすることができると共に、先端部を小さくすることができる。
また、本実施の形態では、表示画像制御部22は、表示部3における3D画像の左目用画像と右目用画像の各々の表示位置を変更するように、画像生成部21を制御する処理(第2の処理)を実行可能である。これにより、本実施の形態によれば、観察対象物101が見づらくなるような距離である場合に、左目用画像において観察対象物101が位置する点P1と右目用画像において観察対象物101が位置する点P2との間の距離が小さくなるように、表示部3における左目用画像と右目用画像の各々の表示位置を変更することによって、観察対象物101の立体像の飛び出し量を小さくすることができる。これにより、本実施の形態によれば、観察対象物101の見づらさを解消することができ、その結果、立体視画像の見づらさを解消することができる。
なお、第2の処理の実行の有無に関わらず、表示部3における点P1と点P2との間の距離は、例えば、観察窓11A,12Aから観察対象物101までの距離Cと、第1の出力領域111の中心と第2の出力領域121の中心との間隔kと、観察者の左目201と右目202との間隔(眼幅)と、表示部3から観察者までの距離等に基づいて規定されてもよい。
また、本実施の形態では、表示画像制御部22は、照明光の光量を変更するように照明部14を制御する処理(第3の処理)を実行可能である。本実施の形態では、前述のように、観察窓11A,12Aから観察対象物101までの距離Cが、第1の処理を行っても観察対象物101を快適に観察することができない距離の場合に、ハレーションを発生させたり立体視画像を暗くしたりする。本実施の形態では、このようにして、意図的に、観察対象物101の立体像をより見えにくくすることによって、立体視画像の見づらさを解消することができる。
また、本実施の形態では、表示画像制御部22は、3D画像に対してぼかし処理を行うように画像生成部21を制御する処理(第4の処理)を実行可能である。本実施の形態によれば、観察窓11A,12Aから観察対象物101までの距離Cが、第1の処理を行っても観察対象物101を快適に観察することができない距離の場合に、ぼかし処理を行うことにより、意図的に、観察対象物101の立体像をより見えにくくすることによって、立体視画像の見づらさを解消することができる。
また、本実施の形態では、表示画像制御部22は、表示部情報取得部23が取得した表示部情報に基づいて、表示部3に表示される3D画像の左目用画像と右目用画像の各々の面積を変更するように、画像生成部21を制御する処理(第5の処理)を実行可能である。本実施の形態では、前述のように、表示部3に表示される左目用画像と右目用画像の各々の外縁の近傍の部分を削除することによって、立体視画像において知覚される外縁の近傍にある立体像であって、表示部3から遠い部分にある立体像を消去することができる。これにより、本実施の形態によれば、立体視画像の見づらさを解消することができる。
また、本実施の形態では、表示画像制御部22は、距離情報と表示部情報に基づいて、表示部3における3D画像の左目用画像と右目用画像の各々の表示位置を変更するように、画像生成部21を制御する処理(第6の処理)を実行可能である。本実施の形態では、前述のように、表示部3の表示領域3aが所定の閾値よりも大きく、且つ、観察窓11A,12Aから観察対象物101までの距離Cが第3の範囲外の場合に、左目用画像において観察対象物101が位置する点P1と右目用画像において観察対象物101が位置する点P2との間の距離が小さくなるように、表示部3における左目用画像と右目用画像の各々の表示位置を変更することによって、観察対象物101の立体像の飛び出し量を小さくすることができる。これにより、本実施の形態によれば、観察対象物101の見づらさを解消することができ、その結果、立体視画像の見づらさを解消することができる。
また、本実施の形態では、表示判断部22Aが表示部3に3D画像を表示しないと判断した場合、表示画像制御部22は、第1および第2の撮像画像に基づいて1つの2D画像を生成するように画像生成部21を制御する処理(第7の処理)を実行可能である。これにより、本実施の形態によれば、表示画像を変化させる処理を行っても観察対象物101を快適に観察することが不可能な場合に、2D画像を表示して、立体視画像の見づらさに起因する眼精疲労等を防止することができる。
ところで、表示部3から遠い位置にあって見づらい立体像を観察しようとすると、焦点が定まらず、瞳孔の位置すなわち視線の方向も定まらなくなる。このように、視線の方向が定まらない状態は、立体視画像が見づらい状態であると言える。本実施の形態では、表示画像制御部22は、所定の期間内における視線の方向の動きの変化量が所定の閾値以上の場合には、内視鏡1および画像生成部21を制御して、前述の第1ないし第7の処理のうち、少なくとも第1の処理を実行することが可能である。これにより、本実施の形態によれば、立体視画像の見づらさを解消することができる。
また、表示部3の表示領域3aが相対的に大きくなると、相対的に遠い位置にある観察対象物101の立体像は、観察者からより遠い位置にあると知覚されるようになり、相対的に近い位置にある観察対象物101の立体像は、観察者により近い位置にあると知覚されるようになる。これにより、表示部3の表示領域3aが大きくなるに従って、観察対象物101を快適に観察することができる距離の範囲R1(図4参照)が小さくなる。前述のように、第1の範囲は、例えば、観察窓11A,12Aから観察対象物101までの距離Cが、観察対象物101を快適に観察することができる距離である場合に、距離Cが第1の範囲になるように規定される。表示画像制御部22は、表示部情報に基づいて、第1の範囲を変更してもよい。具体的には、表示部3の表示領域3aが相対的に大きい場合には、表示画像制御部22は、第1の範囲を小さくしてもよい。これにより、本実施の形態によれば、観察対象物101の見づらさを解消することができ、その結果、立体視画像の見づらさを解消することができる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。例えば、第2の処理、第5の処理および第6の処理では、表示画像制御部22は、画像生成部21を制御する代わりに、表示部3を制御して、表示部3に表示される3D画像の表示位置や面積を変更してもよい。
1…内視鏡、2…本体装置、3…表示部、4…3D観察用メガネ、5…報知部、10…挿入部、11…第1の撮像素子、11A…観察窓、12…第2の撮像素子、12A…観察窓、13…距離検知部、14…照明部、15…ユニバーサルコード、21…画像生成部、22…表示画像制御部、23…表示部情報取得部、24…視線情報検知部、25…報知信号生成部、41…視線方向検出部、100…内視鏡システム、101…観察対象物、110…全撮像領域、111…第1の出力領域、120…全撮像領域、121…第2の出力領域。

Claims (12)

  1. 被検体内の被写体を撮像する第1の撮像素子および第2の撮像素子を含む撮像光学系を有する内視鏡と、
    前記第1の撮像素子が撮像した第1の撮像画像と、前記第2の撮像素子が撮像した第2の撮像画像とに基づいて、3D画像を生成する画像生成部と、
    表示画像として前記3D画像を表示する表示部と、
    前記内視鏡、前記画像生成部および前記表示部のうちの少なくとも1つを制御することによって、前記表示画像を変化させる表示画像制御部と、
    前記撮像光学系の先端に位置する対物面から前記被検体内の所定の観察対象物までの距離の情報である距離情報を検知する距離検知部と、を備え、
    前記表示画像制御部は、前記距離情報に基づいて、前記第1の撮像素子の全撮像領域のうち前記第1の撮像画像として撮像信号が出力される第1の出力領域の位置を変更するように前記第1の撮像画像を制御し、前記第2の撮像素子の全撮像領域のうち前記第2の撮像画像として撮像信号が出力される第2の出力領域の位置を変更するように前記第2の撮像画像を制御することを特徴とする内視鏡システム。
  2. 前記表示画像制御部は、前記距離が所定の範囲内にある場合には、前記第1の出力領域の中心と前記第2の出力領域の中心との間隔が第1の値になるように前記第1および第2の撮像画像を制御し、前記距離が前記所定の範囲外にある場合には、前記間隔が前記第1の値とは異なる第2の値になるように前記第1および第2の撮像画像を制御することを特徴とする請求項1に記載の内視鏡システム。
  3. 前記所定の範囲は、前記距離が前記観察対象物を快適に観察することができる距離である場合に前記距離が前記所定の範囲内となるように規定され、
    前記第2の値は、前記第1の値よりも小さいことを特徴とする請求項2に記載の内視鏡システム。
  4. 前記表示画像制御部は、前記距離情報に基づいて、前記表示部における前記3D画像の左目用画像と右目用画像の各々の表示位置を変更するように、前記画像生成部または前記表示部を制御することを特徴とする請求項1に記載の内視鏡システム。
  5. 前記表示画像制御部は、前記距離情報に基づいて、前記表示部に前記3D画像を表示するか否かを判断する表示判断部を含み、
    前記表示判断部が前記3D画像を表示すると判断した場合には、前記表示画像制御部は、前記3D画像を生成するように前記画像生成部を制御し、
    前記表示判断部が前記3D画像を表示しないと判断した場合には、前記表示画像制御部は、前記第1および第2の撮像画像に基づいて1つの2D画像を生成するように前記画像生成部を制御し、前記表示部は、前記表示画像として前記2D画像を表示することを特徴とする請求項1に記載の内視鏡システム。
  6. 前記内視鏡は、更に、前記被写体を照明するための照明光を発生する照明部を有し、
    前記表示画像制御部は、前記距離情報に基づいて、前記照明光の光量を変更するように前記照明部を制御することを特徴とする請求項1に記載の内視鏡システム。
  7. 前記表示画像制御部は、前記距離が所定の範囲外の場合には、前記3D画像に対してぼかし処理を行うように前記画像生成部を制御することを特徴とする請求項1に記載の内視鏡システム。
  8. 更に、前記表示部の表示領域の情報である表示部情報を取得する表示部情報取得部を備え、
    前記表示画像制御部は、前記距離情報と前記表示部情報に基づいて、前記内視鏡、前記画像生成部および前記表示部のうちの少なくとも1つを制御して、前記表示画像を変化させることを特徴とする請求項1に記載の内視鏡システム。
  9. 前記表示画像制御部は、前記表示部情報に基づいて、前記表示部に表示される前記3D画像の左目用画像と右目用画像の各々の面積を変更するように前記画像生成部を制御することを特徴とする請求項8に記載の内視鏡システム。
  10. 前記表示画像制御部は、前記距離情報と前記表示部情報に基づいて、前記表示部における前記3D画像の左目用画像と右目用画像の各々の表示位置を変更するように、前記画像生成部または前記表示部を制御することを特徴とする請求項8に記載の内視鏡システム。
  11. 更に、前記距離情報に基づいて報知信号を生成する報知信号生成部を備えたことを特徴とする請求項1に記載の内視鏡システム。
  12. 更に、前記3D画像を見て立体視画像を知覚するために着用され、着用者の視線の方向を検出する視線方向検出部を有する3D観察用メガネと、
    前記視線方向検出部の検出結果に基づいて、前記視線の方向の動きの情報である視線情報を検知する視線情報検知部と、を備え、
    前記表示画像制御部は、所定の期間内における前記視線の方向の動きの変化量が所定の閾値以上の場合には、前記内視鏡、前記画像生成部および前記表示部のうちの少なくとも1つを制御して、前記表示画像を変化させることを特徴とする請求項1に記載の内視鏡システム。
JP2018127059A 2018-07-03 2018-07-03 内視鏡システム Pending JP2021191316A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018127059A JP2021191316A (ja) 2018-07-03 2018-07-03 内視鏡システム
PCT/JP2019/004611 WO2020008672A1 (ja) 2018-07-03 2019-02-08 内視鏡システム
US17/122,412 US20210099645A1 (en) 2018-07-03 2020-12-15 Endoscope system, endoscopic image generating method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018127059A JP2021191316A (ja) 2018-07-03 2018-07-03 内視鏡システム

Publications (1)

Publication Number Publication Date
JP2021191316A true JP2021191316A (ja) 2021-12-16

Family

ID=69060065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018127059A Pending JP2021191316A (ja) 2018-07-03 2018-07-03 内視鏡システム

Country Status (3)

Country Link
US (1) US20210099645A1 (ja)
JP (1) JP2021191316A (ja)
WO (1) WO2020008672A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
US20230200659A1 (en) * 2019-12-09 2023-06-29 Sanovas Intellectual Property, Llc Proximal connector for medical imager
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1051380S1 (en) 2020-11-17 2024-11-12 Adaptivendo Llc Endoscope handle
USD1070082S1 (en) 2021-04-29 2025-04-08 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
USD1066659S1 (en) 2021-09-24 2025-03-11 Adaptivendo Llc Endoscope handle

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005334462A (ja) * 2004-05-28 2005-12-08 Olympus Corp 立体視内視鏡システム
DE102008018636B4 (de) * 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
JP5284731B2 (ja) * 2008-09-02 2013-09-11 オリンパスメディカルシステムズ株式会社 立体画像撮影表示システム
JP6168879B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2015220643A (ja) * 2014-05-19 2015-12-07 株式会社東芝 立体観察装置
JP2018075218A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 医療用支持アーム及び医療用システム

Also Published As

Publication number Publication date
WO2020008672A1 (ja) 2020-01-09
US20210099645A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
JP2021191316A (ja) 内視鏡システム
JP5284731B2 (ja) 立体画像撮影表示システム
JP5965726B2 (ja) 立体視内視鏡装置
CN107710756B (zh) 医用立体观察装置、医用立体观察方法以及程序
US11030745B2 (en) Image processing apparatus for endoscope and endoscope system
JP5730339B2 (ja) 立体内視鏡装置
JP4398352B2 (ja) 医療用立体撮像装置
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
JP6150955B2 (ja) 立体視内視鏡装置およびビデオプロセッサ
CN105208909B (zh) 用于立体显示图像数据的方法和装置
CN104185441B (zh) 立体视觉内窥镜系统
KR20140118608A (ko) 자동 초점 설정 방법 및 이를 위한 장치
JP2012075507A (ja) 手術用カメラ
JP6767481B2 (ja) ライトフィールド顕微鏡法を用いる眼科手術
JP2006158452A5 (ja)
US20120300032A1 (en) Endoscope
JP2017509925A (ja) 3dビデオ顕微鏡装置
JPWO2015111263A1 (ja) 立体内視鏡画像処理装置
JP2005334462A (ja) 立体視内視鏡システム
CN107072479B (zh) 内窥镜装置
JP2015220643A (ja) 立体観察装置
WO2016194446A1 (ja) 情報処理装置、情報処理方法、及び生体内撮像システム
JP6153675B2 (ja) 立体内視鏡装置
JP4246510B2 (ja) 立体内視鏡システム