[go: up one dir, main page]

WO2016080331A1 - 医療装置 - Google Patents

医療装置 Download PDF

Info

Publication number
WO2016080331A1
WO2016080331A1 PCT/JP2015/082076 JP2015082076W WO2016080331A1 WO 2016080331 A1 WO2016080331 A1 WO 2016080331A1 JP 2015082076 W JP2015082076 W JP 2015082076W WO 2016080331 A1 WO2016080331 A1 WO 2016080331A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
index
unit
predetermined
information
Prior art date
Application number
PCT/JP2015/082076
Other languages
English (en)
French (fr)
Inventor
美穂 南里
長谷川　潤
秋本　俊也
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2016543261A priority Critical patent/JP6022133B2/ja
Publication of WO2016080331A1 publication Critical patent/WO2016080331A1/ja
Priority to US15/385,505 priority patent/US10231601B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/303—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the vagina, i.e. vaginoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Definitions

  • the present invention relates to a medical device that is inserted into a subject and acquires an image.
  • endoscope apparatuses equipped with an endoscope as a medical apparatus that is inserted into a subject and observes the inside of the subject or performs a treatment using a treatment tool or the like are widely used.
  • an endoscope observe the inside of a predetermined luminal organ to be observed (or examined), and if a lesion is found, record the lesion image and determine where the lesion image exists.
  • Japanese Patent Laid-Open Publication No. 2006-61469 as a first conventional example describes an image display device including a display unit that displays a series of images in which a desired subject is captured in time series.
  • a display unit that displays a time bar with a time scale indicating the imaging period of the image and an index indicating a position on the time scale corresponding to the imaging time of a desired image selected from the series of images.
  • the structure provided with the control part which controls this is disclosed.
  • Japanese Patent Laid-Open No. 2008-173490 as a second conventional example displays a series of images taken in time series in a subject and a time bar indicating an imaging period of the series of images.
  • a display unit that displays a color-coded display for each part in the subject, and each part in the subject displayed in the series of images, and temporally displays the image group of each part in the determined subject.
  • a configuration is disclosed that includes a control unit that performs control to display an alternative color corresponding to each part in the subject in each region of the corresponding time bar.
  • each image is associated with a time scale.
  • the time bar indicating the imaging period is color-coded for each part in the subject. Therefore, compared to the first conventional example, the surgeon can select a specific part based on the color-coding information. It becomes easy to confirm the image with priority.
  • information such as an index for assigning a priority level is not associated, it is difficult to preferentially confirm a plurality of images in an order desired by an operator or the like. is there.
  • the present invention has been made in view of the above-described points, and an object of the present invention is to provide a medical device capable of preferentially confirming a plurality of images in an order desired by an operator.
  • the medical device includes an information acquisition unit that acquires position information and line-of-sight information of a predetermined viewpoint provided in a predetermined lumen organ, and the inside of the predetermined lumen organ from the predetermined viewpoint.
  • An image acquisition unit that acquires an observed image, an alignment unit that aligns the position information and the line-of-sight information with a coordinate system of the shape of the predetermined lumen organ, and the predetermined lumen organ by the alignment unit
  • a position calculating unit that calculates position information of an inner wall of the predetermined luminal organ facing the line-of-sight direction from the predetermined viewpoint based on the position information and the line-of-sight information fitted to the shape of
  • An index generation unit that generates an index defined based on a predetermined feature on the inner wall; an association unit that associates the index generated by the index generation unit with an image acquired by the image acquisition unit;
  • FIG. 1 is a diagram showing an overall configuration of a medical device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image processing apparatus and the like in FIG.
  • FIG. 3A is a diagram showing an association image with an index on a 2D model image and a 3D image.
  • FIG. 3B is a diagram showing a state in which an endoscopic image having the highest priority is displayed from FIG. 3A.
  • FIG. 3C is a diagram showing a state in which only an endoscopic image having the highest priority is displayed.
  • FIG. 4 is a diagram showing a second coordinate system and the like set in a 3D image in which the bladder is approximated by a sphere.
  • FIG. 1 is a diagram showing an overall configuration of a medical device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image processing apparatus and the like in FIG.
  • FIG. 3A is a diagram showing an association image with an index on a 2
  • FIG. 5 is a diagram when an endoscopic image, a 2D model image, and a 3D image are simultaneously displayed on a monitor.
  • FIG. 6A is a diagram showing the contents of a table in which information with higher priority is recorded in a region where the lesion occurrence frequency is higher in a table format.
  • FIG. 6B is a diagram showing a part of the contents of a table in which information with different priorities is recorded in a tabular format for areas having the same name and different three-dimensional positions.
  • FIG. 6C is a diagram showing an association image in which an index is added on the 2D model image and the 3D image according to the priority of the lesion occurrence frequency (FIG. 6A).
  • FIG. 7 is a flowchart showing an operation at the time of observation according to the first embodiment.
  • FIG. 7 is a flowchart showing an operation at the time of observation according to the first embodiment.
  • FIG. 8A is a flowchart showing processing for generating an index for setting a priority according to the contents of a table when a release operation is performed.
  • FIG. 8B is an explanatory diagram of the operation of FIG. 8A.
  • FIG. 9A is a flowchart showing a processing procedure when a recorded endoscopic image is displayed.
  • FIG. 9B is a diagram showing an association image with an index on the 2D model image and the 3D image (corresponding to the priority P1).
  • FIG. 9C is a diagram showing an association image with indexes on the 2D model image and the 3D image (corresponding to the priority P1 and the priority P2).
  • FIG. 9D is a diagram showing an association image with an index on the 2D model image and the 3D image (the display modification of FIG.
  • FIG. 10 is a diagram illustrating an association image when a time-series order is selected as an item for generating an index.
  • FIG. 11 is a diagram illustrating an association image when an order of lesion size is selected as an item for generating an index.
  • 12 is a flowchart showing processing for generating the index of FIG.
  • FIG. 13 is a diagram showing an association image when an order close to the distance from the urethra is selected as an item for generating an index.
  • FIG. 14 is a diagram showing an association image when a place order for random biopsy is selected as an item for generating an index.
  • FIG. 15 is a view showing a place where random biopsy is performed on the inner wall of the bladder.
  • FIG. 16 is a flowchart showing the process of the modification of FIG. 8A.
  • FIG. 17 is an explanatory diagram showing the contents of the processing of FIG. 16 in a table format.
  • the medical apparatus 1 As shown in FIG. 1, the medical apparatus 1 according to the first embodiment of the present invention is an endoscope that observes (or examines) the inside of a predetermined luminal organ (in the specific example, the bladder B) inside a patient P as a subject.
  • the mirror 2, the light source device 3, the processor 4, the image processing device 5, the monitor 6, and the magnetic field generator 7 are configured.
  • the medical device 1 has a function of observing in two observation modes of normal light observation and special light observation.
  • An operator as a user of the medical device 1 performs an internal view of the inside of the bladder B as a predetermined luminal organ (also simply referred to as a luminal organ or an organ) in the patient P placed on the bed 8 in a supine position or the like. Perform a mirror examination.
  • the endoscope 2 includes an operation unit 2a, a flexible insertion unit 2b, and a universal cable 2c.
  • the endoscope 2 is configured by, for example, an endoscope for bladder examination.
  • a light guide 9 as shown in FIG. 2 is inserted into the universal cable 2c, and the endoscope 2 passes illumination light from the light source device 3 through the light guide 9 and the distal end portion 2d of the insertion portion 2b.
  • the inside of a predetermined luminal organ (as the bladder B) in the subject into which the distal end portion 2d of the insertion portion 2b is inserted is illuminated.
  • the distal end portion 2d of the insertion portion 2b is provided with an objective optical system 10 that receives the light from the subject and connects the optical image thereof, and an imaging surface at the imaging position thereof.
  • an image pickup device 11 that photoelectrically converts an optical image formed on the surface and outputs it as an image pickup signal.
  • the inner wall of the bladder B illuminated by the illumination light of the light source device 3 is imaged by the image sensor 11. Therefore, the objective optical system 10 and the imaging device 11 form an imaging unit (or imaging device) 12 that images the inside of a hollow organ.
  • the imaging signal obtained by the imaging element 11 is input to the processor 4 that generates a captured image inside the bladder B as a luminal organ via a signal line in the universal cable 2 c, and the imaging signal is an image in the processor 4.
  • Image generation processing is performed in the generation circuit 4a, and an endoscope image as a captured image obtained by imaging the inside of the bladder B is generated.
  • the image generation circuit 4a in the processor 4 converts the optical image of the subject imaged on the imaging surface of the imaging device 11 of the imaging unit 12 mounted on the distal end 2d into an electrical imaging signal.
  • the captured image corresponding to the optical image is generated by conversion, and the generated captured image is displayed in the endoscope image display area on the monitor 6.
  • the endoscopic image generated by the image generation circuit 4 a is transferred to another image generated by the image processing device 5 in the endoscopic image display area of the monitor 6 via the image processing device 5. And superimposed or synthesized.
  • the position of the imaging unit 12 that images the inner wall of the bladder B and the imaging direction for imaging are the viewpoint position and the line-of-sight direction when the captured image is generated.
  • the processor 4 has a changeover switch 4b for switching the observation mode.
  • An observation mode signal designated by the changeover switch 4b is input to the image generation circuit 4a.
  • the image generation circuit 4a is an observation designated by the changeover switch 4b.
  • An endoscopic image corresponding to the mode is generated. More specifically, when the normal light observation mode is specified, a normal light observation image captured under illumination of normal light (as white light) is generated, and the special light observation mode is specified In this case, a special light observation image (narrow band light observation image in a narrow sense) is generated.
  • the observation mode signal from the changeover switch 4b is input to the LED control circuit 3a of the light source device 3, and the LED control circuit 3a controls to generate illumination light according to the observation mode.
  • the LED control circuit 3a When the normal light observation mode is designated by the changeover switch 4b, the LED control circuit 3a performs control so that the white LED 3b serving as the light source for the normal light observation mode emits light, and the special light observation mode is designated. In this case, the LED control circuit 3a performs control so that the narrow-band blue LED 3c serving as the light source for the special light observation mode emits light.
  • the narrow-band blue LED 3c When the narrow-band blue LED 3c emits light, the narrow-band blue light is selectively reflected by the dichroic mirror 3d disposed at an angle of 45 degrees on the optical path in which the narrow-band blue light travels, and then is collected by the condenser lens 3e. The condensed light is incident on the base end of the light guide 9.
  • the narrow-band blue illumination light incident on the proximal end of the light guide 9 is transmitted by the light guide 9 and emitted from the illumination window to which the distal end of the light guide 9 is attached.
  • illumination for a narrow-band light observation mode is performed.
  • white light emitted from the white LED 3b is selectively transmitted by the dichroic mirror 3d disposed on the optical path, and most of the white light except for the narrow-band blue light is selectively transmitted by the condenser lens 3e.
  • Light is incident on the proximal end of the light guide 9.
  • White illumination light other than the narrow-band blue light incident on the base end of the light guide 9 is transmitted by the light guide 9 and emitted from the illumination window to which the tip of the light guide 9 is attached, for the normal light observation mode. Do the lighting.
  • the endoscopic image generated by the processor 4 (the image generation circuit 4 a thereof) is output to the monitor 6, and the live endoscopic image is displayed on the monitor 6.
  • the operator who performs the examination can insert the distal end portion 2d of the insertion portion 2b from the urethra of the patient P and observe the inside of the bladder B (shown by a dotted line in FIG. 1) of the patient P.
  • a magnetic sensor 13 as a position sensor is disposed at the distal end portion 2d of the insertion portion 2b. Specifically, as shown in FIG. 2, a magnetic sensor 13 is provided in the vicinity of the objective optical system 10 and the imaging element 11 that constitute the imaging unit 12 of the distal end portion 2 d.
  • the magnetic sensor 13 is used to detect a three-dimensional position (simply a position) that is the viewpoint of the imaging unit 12 at the distal end portion 2d and the line-of-sight direction at that position.
  • a three-dimensional position that is the viewpoint of the imaging unit 12 at the distal end portion 2d and the line-of-sight direction at that position.
  • the optical axis direction of the objective optical system 10 constituting the imaging unit 12 mounted on the distal end portion 2d is parallel to the axial direction of the distal end portion 2d.
  • the position and the line-of-sight direction can be approximated to the position of the tip 2d and its axial direction (simply the direction).
  • an optical image of the subject is formed on the imaging surface of the imaging device 11 arranged at the tip 2d by the objective optical system 10 arranged at the tip 2d.
  • an optical image formed by the objective optical system 10 disposed at the distal end portion 2d is transmitted to the rear (base end) side of the insertion portion 2b, and is disposed at the proximal end side of the insertion portion 2b.
  • the present invention can also be applied to an endoscope that captures an image with an image sensor that has been used.
  • the viewpoint position (and the line-of-sight direction) of the objective optical system 10 (arranged at the tip 2d) is used rather than the expression of the viewpoint position (and the line-of-sight direction) of the imaging unit. Is more reasonable. Therefore, in the following description, the viewpoint position and the line-of-sight direction are mainly used as the viewpoint position and the line-of-sight direction of the objective optical system 10, or instead of the viewpoint position and the line-of-sight direction as an approximate expression (objective optical system In some cases, the position and direction (10 or tip 2d or tip) are used.
  • the magnetic sensor 13 includes, for example, two coils 2e.
  • the magnetic sensor 13 is a sensor that detects the position and direction of the tip 2d.
  • a signal line 2 f of the magnetic sensor 13 extends from the endoscope 2 and is connected to the image processing device 5 (internal position / direction acquisition circuit 25).
  • the magnetic field generator 7 generates a magnetic field at a predetermined position that is known, and the magnetic sensor 13 detects the magnetic field generated by the magnetic field generator 7.
  • the magnetic field detection signal is input from the endoscope 2 to the image processing device 5 (internal position / direction acquisition circuit 25) via the signal line 2f.
  • the position / direction acquisition circuit 25 receives the position information of the viewpoint as the position of the viewpoint of the objective optical system 10 disposed at the distal end portion 2d and the direction of the line of sight based on the amplitude and phase of the input detection signal (both viewpoint position information). And a function of an information acquisition unit (or information acquisition circuit) 25a that acquires the line-of-sight direction information.
  • the luminal organ to be observed is the inner wall of the bladder B, and the bladder B can be approximated by a three-dimensional (3D) image of a sphere as described later. That is, the bladder B is approximated by a 3D image M3 (FIG. 4) represented by a sphere.
  • a release switch (or release button) 14 is provided on the operation unit 2 a of the endoscope 2.
  • the release switch 14 is a switch to be pressed when a user such as an operator records an endoscopic image.
  • a release switch operation signal is input to the processor 4, and the processor 4 generates a release signal and outputs it to the image processing device 5.
  • the endoscopic image when the release switch 14 is pressed is recorded in the memory 22 inside the image processing device 5 through an image capturing circuit 24 that forms an image acquisition unit described later in the image processing device 5.
  • the image capturing circuit 24 and the memory 22 may be defined as forming an image acquisition unit.
  • the endoscope 2 when recording an endoscopic image when the release switch 14 is pressed as described later, for example, a predetermined feature set by the operator, a predetermined predetermined feature, or a plurality of predetermined features A state in which an index assigned a priority reflecting a predetermined feature selected from the predetermined features is associated with position information of the recorded endoscopic image (near the center on the inner wall at the time of recording)
  • the endoscope 2 includes an ID generation unit (simply abbreviated as “ID” in FIG. 2) configured by a ROM (read only memory) that generates identification information (abbreviated as “ID”) unique to each endoscope 2.
  • ID generation unit 15 is input to the image processing device 5 (inside the position / direction acquisition circuit 25) via the processor 4.
  • the ID may be input to the image processing apparatus 5 (the position / direction acquisition circuit 25) without going through the processor 4.
  • the position / direction acquisition circuit 25 captures imaging information when the imaging unit 12 captures images, such as the focal length of the objective optical system 10 from the ID, the number of pixels of the image sensor 11 that captures an optical image by the objective optical system 10, and the size of the pixels.
  • the function of the imaging information acquisition part (or imaging information acquisition circuit) 25b to acquire is provided.
  • the acquired imaging information may be used when generating an index to be described later.
  • the image processing apparatus 5 includes a central processing unit (hereinafter referred to as a CPU) 21, a memory 22, a display interface (hereinafter abbreviated as display I / F) 23, an image capturing circuit 24, and a position / direction acquisition circuit. 25 and a drive circuit 27.
  • the CPU 21, the memory 22, the display I / F 23, the image capture circuit 24, and the position / direction acquisition circuit 25 are connected to each other via a bus 28.
  • the medical device 1 includes an input device 30 that allows the user to input and select various types of information to the image processing device 5.
  • the CPU 21 configures a control unit (or control circuit) that controls processing of each unit in the image processing apparatus 5 and uses the viewpoint position information, the line-of-sight direction information, and the imaging information acquired by the position / direction acquisition circuit 25.
  • the viewpoint of the objective optical system 10 arranged at the distal end portion 2d and the position (or position information including the position) intersecting the inner wall (plane) of the bladder B as a luminal organ that is (at least) on the line of sight from this viewpoint
  • An endoscopic image generated by the position calculation circuit 21c forming the position calculation unit for calculating the image and the image generation circuit 4a and acquired (recorded) in the memory 22 via the image capture circuit 24, or the inner wall of the bladder B
  • an index generation circuit 21b that forms an index generation unit that generates an index that is defined (or determined) based on a predetermined feature.
  • the index generation circuit 21b generates an index reflecting a predetermined feature.
  • an index that reflects the features corresponding to the selected item is generated. To be able to.
  • the position calculation circuit 21c includes a distance calculation circuit 21a that calculates the distance between the position on the inner wall (or position information including the position) calculated by the position calculation circuit 21c and the viewpoint.
  • the CPU 21 also performs a 3D image of the luminal organ (or a 3D model image as an approximate image thereof) M3 and a 2D model image M2 (a bladder schema) as a model image of a two-dimensional (2D) image in which the luminal organ is developed.
  • the 3D / 2D image generation circuit 21d for generating the 3D / 2D image generation circuit 21d and the 3D image M3 or the 2D model image M2, and the position on the inner wall of the luminal organ when the index is generated
  • an image generation circuit 21e that forms an image generation unit that generates an image associated with (information) (also referred to as an association image).
  • the image generation circuit 21e is an endoscope in which an index generated based on a predetermined feature or the like in the inner wall of the bladder B is recorded (or recorded) by a release operation acquired through the image capture circuit 24. It has a function of an associating circuit 21f that forms an associating unit that associates with an image.
  • the association circuit 21f may be provided outside the image generation circuit 21e, or the association circuit 21f may include the image generation circuit 21e.
  • the image generation circuit 21e in FIG. 2 may be configured to include the index generation circuit 21b, or conversely, the index generation circuit 21b may be configured to include the image generation circuit 21e.
  • the index generation circuit 21b may have a function of the association circuit 21f. For example, as illustrated in FIG.
  • the image generation circuit 21 e generates (associates) images on the 2D model image M ⁇ b> 2 and the 3D image and displays them on the monitor 6.
  • the leftmost column in FIG. 3A is an endoscopic image recorded in the memory 22 in a state where a priority Pi that forms an index reflecting a predetermined feature is given (a priority is higher as the number is smaller in order i).
  • the upper position is shown on the bladder schema with an endoscopic image (its thumbnail image) Ii.
  • Ii is also referred to as an image number of an endoscopic image (its thumbnail image).
  • FIG. 3A the position on the inner wall where the recorded endoscopic image is captured is displayed on the 3D image as in the case of the central bladder schema.
  • the thumbnail image is shown with Ii. 3A is displayed on the monitor 6, the endoscope images with high priority are sequentially displayed on the monitor 6.
  • FIG. 3B and 3C show a state where the endoscope image I1 having the highest priority P1 is displayed. Note that the image of FIG. 3B or 3C may be displayed without displaying the image of FIG. 3A.
  • the CPU 21 obtains the first coordinate system (X 0 Y 0 Z as a coordinate system based on the magnetic field generator 7 when the position information and the line-of-sight direction information acquired by the position / direction acquisition circuit 25 are acquired.
  • the coordinate conversion circuit 21g has a function of a coordinate conversion circuit 21g for converting from the bladder entrance to an intermediate coordinate system (X 1 Y 1 Z 1 ) (see FIG. 1). As will be described later, the coordinate conversion circuit 21g also has a function of converting from the intermediate coordinate system (X 1 Y 1 Z 1 ) to the second coordinate system (X 2 Y 2 Z 2 ). Accordingly, the coordinate conversion circuit 21g has a function of converting from the first coordinate system (X 0 Y 0 Z 0 ) to the second coordinate system (X 2 Y 2 Z 2 ). In addition, when performing coordinate conversion between two coordinate systems, the function of the alignment circuit 21h that forms an alignment unit that performs an alignment process for determining a conversion coefficient, a conversion matrix, and the like at positions known in both coordinate systems is provided. Have.
  • the coordinate conversion circuit 21g determines, for example, the position (PR in FIG. 4) and direction of the entrance of the bladder B as the reference position and reference direction for alignment, and acquires the position and direction according to the following expressions (1) and (2).
  • the position / direction information of the circuit 25 is converted into the position / direction information of the intermediate coordinate system (X 1 Y 1 Z 1 ) based on the entrance of the bladder B.
  • P 1 R 01 P 0 + M 01
  • V 1 R 01 V 0 ⁇ formula (2)
  • P 0 and V 0 are respectively a position (vector notation) in the first coordinate system (X 0 Y 0 Z 0 ), which is a coordinate system based on the magnetic field generator 7, and a magnitude of 1 Direction vector.
  • R 01 is a rotation matrix expressed by the following equation (3)
  • M 01 is a parallel progression sequence expressed by the following equation (4).
  • Equation 3 [Equation 4] Accordingly, the point (x 0 , y 0 , z 0 ) on the first coordinate system (X 0 Y 0 Z 0 ) is represented by the intermediate coordinate system (X 1 Y 1 Z) as shown in the following equation (5). 1 ) is converted into a point (x 1 , y 1 , z 1 ) on the top.
  • the condition that the rotation matrix R 01 satisfies is that the Z 1 axis is parallel to the gravity direction, and that V ′ 0 is projected onto the X 1 Y 1 plane perpendicular to the Z 1 axis, and the projected vector direction is represented by Y One axis, a vector perpendicular to the Y 1 Z 1 plane is taken as the X 1 axis.
  • the coordinate conversion circuit 21g converts the position vector and the direction vector of the intermediate coordinate system (X 1 Y 1 Z 1 ) into the center O 2 of the spherical 3D image M3 according to the following equations (7) and (8). Is converted into a position vector and a direction vector in the second coordinate system (X 2 Y 2 Z 2 ).
  • FIG. 4 is a diagram for explaining the relationship between the intermediate coordinate system (X 1 Y 1 Z 1 ) and the second coordinate system (X 2 Y 2 Z 2 ).
  • P 1 and V 1 are a position (vector) and a direction vector at an arbitrary position in the intermediate coordinate system (X 1 Y 1 Z 1 ), respectively, and P 2 and V 2 are the second A position vector and a direction vector when converted into the coordinate system (X 2 Y 2 Z 2 ).
  • P 0 and V 0 are set to a position (vector) representing the position of the viewpoint of the objective optical system 10 of the objective optical system 10 calculated from the position / direction acquisition circuit 25 and a direction vector in the line-of-sight direction
  • P 0 and V 0 are P 1 and V 1 are converted, and P 1 and V 1 are further converted into P 2 and V 2 .
  • Equation 9 [Equation 10] Therefore, a point on the intermediate coordinate system (X 1 Y 1 Z 1) (x 1, y 1, z 1) , as shown in the following equation (11), a second coordinate system (X 2 Y 2 Z 2 ) is converted to a point (x 2 , y 2 , z 2 ) above.
  • Equation 11 When the X 1 Y 1 Z 1 coordinate system is moved R 2 in the Y 1 axis direction, the translation M 12 and the rotation R 12 are as shown in Expression (12) and Expression (13), respectively.
  • FIG 4 shows a state where the insertion portion 2b of the endoscope 2 is inserted into the bladder B with a 3D image M3, and the inner wall surface of a sphere where the line-of-sight direction V intersects from the position of the viewpoint Pv of the objective optical system 10
  • the position of (the inner wall surface of the bladder B) can also be handled using the second coordinate system (X 2 Y 2 Z 2 ).
  • the center O 2 that is the origin of the second coordinate system (X 2 Y 2 Z 2 ) is the position of the midpoint of the line segment that connects the neck PR serving as the entrance to the bladder B and the opposing portion PT.
  • the left side wall side of the bladder B is in the X 2 direction
  • the right side wall side is in the ⁇ X 2 direction
  • the front wall (abdomen) side of the patient P is in the Z 2 direction
  • the patient P is set to be the rear wall (back) side is -Z 2 direction.
  • the 2D model image M2 shown in FIG. 3A or the like is obtained by developing or projecting the 3D image shown in FIG.
  • FIG. 5 shows an image displayed on the monitor 6 when the release operation is not performed.
  • the endoscope image Ien is displayed, and in the right 2D model image display area A2, a 2D model image M2 in a state where no release operation is performed. Is displayed, and a 3D image is displayed in the 3D image display area A3 on the right side thereof.
  • the 2D model image M ⁇ b> 2 includes the above-described representative region of the neck PR, the top corresponding to the neck PR, the left side wall (Left), the right side wall (Right), and the front wall (Front ), The rear wall (Back), the neck PR, and the triangular part (Tr) indicating the left and right ureters.
  • an area Ar back wall portion as shown in the 2D model image M2 currently captured (observed) by the endoscope 2 may be displayed on the 2D model image M2.
  • an area Ar back wall portion as shown in the 2D model image M2 currently captured (observed) by the endoscope 2 may be displayed on the 2D model image M2.
  • the center of the imaging surface 11a of the imaging device 11 is determined.
  • the position Ps that is the coordinate position on the inner wall surface of the sphere imaged at the position (representing the bladder B) is obtained using the radius R of the sphere as follows.
  • a coefficient k satisfying the following equations (15) and (16) is calculated, and a position Ps in the second coordinate system (X 2 Y 2 Z 2 ) is obtained.
  • the position calculation circuit 21c calculates the position Ps of the inner wall that is on the line-of-sight direction V at each viewpoint Pv using Expressions (15) and (16).
  • the distance calculation circuit 21a calculates
  • the shape of the bladder B is a sphere having a radius R (the value of R is a predetermined value).
  • R the radius of the sphere
  • the operator contacts the distal end portion 2d with the inner wall (for example, the top) of the bladder where the distance from the bladder entrance is maximum.
  • the value of the radius of the sphere may be set.
  • the memory 22 shown in FIG. 2 is formed using a ROM, a RAM (Random Access Memory), a flash memory, etc., and this memory 22 records (or stores) various processing programs and various data executed by the CPU 21.
  • An endoscope image when a release operation is performed is recorded (stored).
  • An endoscope image information recording unit (or endoscope image information storage unit) 22a that records (stores) information and line-of-sight direction information is included.
  • the memory 22 associates and records the priority Pi that forms an index reflecting the predetermined feature to the recorded endoscopic image based on the selectively used predetermined feature. It has a recording unit 22b.
  • the association information recording unit 22b stores, as the predetermined feature, table data (referred to as a table) that sets a region or a region (indicating a range of position) in the bladder B where a lesion is likely to occur as a priority.
  • a table storage unit 22c is provided.
  • the association circuit 21f may be configured to include the table.
  • FIG. 6A shows the contents of the table stored in the table storage unit 22c.
  • the triangular portion (region) has the highest priority, and the top portion has the lowest priority.
  • the number indicates the priority, and the smaller the number, the higher the priority.
  • FIG. 6A shows a case where different priorities are assigned to each area name. For example, an area having the same name may be divided into a plurality of areas and assigned different priorities. good.
  • 6B shows an example in which, for example, a region whose name is the rear wall is divided into a plurality of regions and given different priorities. 6A and 6B, the range of coordinates in each region is shown for two or three regions with high priority, and is omitted for those with low priority. As described later, by using the contents of the table of FIG. 6A or 6B, an image as shown in FIG. 6C is generated.
  • the image generation circuit 21e that forms the image generation unit is configured on the 2D model image M2 or the 3D image based on a plurality of types of features on the inner wall or the image acquired by the image acquisition unit.
  • the main feature is to generate an image in which the index is associated with the position information of the inner wall.
  • the multiple types of features include statistical features such as the incidence of lesions on the inner wall of bladder B, visual features such as the size of the lesion and the distance to the inner wall, and the visual features are quantified.
  • the index is determined according to the magnitude of the quantitative value.
  • the generated index is a symbol having regularity as will be described later, and the association circuit 21f or the index generation circuit 21b associates the order of the quantitative value with the symbol in the order of large or small. Depending on the endoscopic image that is released and recorded (acquired), the symbol may be reapplied (corrected) based on the quantitative value of the corresponding observation site (region).
  • the association information recording unit 22b in the memory 22 records the association image shown in FIG. 3A.
  • the bladder B can be approximated by a three-dimensional (3D) image of a sphere, and parameters such as a radius representing the sphere are stored in the patient image information storage unit 22d in the memory 22 as a 3D image M3. Further, image information of the 2D model image M2 obtained by developing a three-dimensional image of the bladder B as a luminal organ is also stored in the patient image information recording unit 22d in the memory 22. For this reason, the patient image information recording unit 22d has a function of a 3D / 2D image recording unit 22e of the 3D image M3 and the 2D model image M2.
  • the 3D image M3 and the 2D model image M2 stored in the memory 22 are read by the CPU 21, for example, and displayed on the monitor 6 via the display I / F 23.
  • the 2D model image M2 and the 3D image M3 are displayed adjacent to the endoscope image Ien that is a moving image.
  • the 3D image M3 and the 2D model image M2 read from the patient image information storage unit 22d have been described, but the acquisition method of the 3D image M3 and the 2D model image M2 is not limited to this.
  • the 3D / 2D image generation circuit 21d is imaged (observed) by the imaging unit 12 of the endoscope 2 using the observation position and gaze direction data based on the endoscope image Ien captured by the imaging unit 12.
  • a 3D image M3 and a 2D model image M2 corresponding to the dimensional image data may be generated.
  • the 3D / 2D image generation circuit 21d responds from one two-dimensional image such as the method described in Japanese Patent No. 5354494 or the other known ShapeShafrom Shading method.
  • a 3D shape may be estimated.
  • a stereo method using two or more images, a three-dimensional shape estimation method using monocular movement vision, a SLAM method, or a method of estimating a 3D shape in combination with a position sensor may be used.
  • the 3D shape data may be constructed with reference to 3D image data acquired from a tomographic image acquisition apparatus such as an external CT apparatus.
  • the endoscope image is recorded in association with the index according to the selected selection information.
  • the image reproduction switch 30b of the input device 30 or the image reproduction switch When an instruction operation (not shown) is performed, the image generation circuit 21e displays an image as shown in FIG. 3A.
  • the image capturing circuit 24 illustrated in FIG. 2 has a function of an image acquisition unit that performs a process of capturing (or acquiring) an endoscopic image generated by the processor 4 at a certain period.
  • the image capture circuit 24 acquires, for example, 30 endoscopic images per second, which are the same as the frame rate, from the processor 4.
  • the image capture circuit 24 also receives a release signal from the processor 4.
  • the position / direction acquisition circuit 25 controls the drive circuit 27 that drives the magnetic field generator 7 to generate a predetermined magnetic field in the magnetic field generator 7, detects the magnetic field by the magnetic sensor 13, and detects the detected magnetic field. From the detection signal, the position coordinates (x, y, z) serving as the viewpoint of the objective optical system 10 and the orientation (ie, Euler angles ( ⁇ , ⁇ , ⁇ )) serving as the viewing direction, that is, the position information of the viewpoint and the viewing direction. Information is generated in real time in the first coordinate system (X 0 Y 0 Z 0 ).
  • the position / direction acquisition circuit 25 acquires the position information and direction information from the magnetic sensor 13 and obtains the position information of the viewpoint of the objective optical system 10 and the line-of-sight direction information (also simply referred to as position-line-of-sight direction information).
  • An information acquisition unit to be acquired is configured.
  • the CPU 21 uses the endoscope image (information thereof) captured by the image capture circuit 24 and the position / direction information calculated from the position / direction information detected by the position / direction acquisition circuit 25 (for example, by the coordinate conversion circuit 21g).
  • the converted coordinate information is stored in the memory 22 after being converted into the second coordinate system (X 2 Y 2 Z 2 ) with the center O 2 as a reference. Note that the data may be stored in the memory 22 without being converted to the second coordinate system (X 2 Y 2 Z 2 ).
  • the memory 22 records association information for associating the endoscopic image captured by the image capturing circuit 24 with the position / direction information when the endoscopic image is captured in the association information recording unit 22b.
  • the input device 30 includes a selection switch 30a that selects a desired item from a plurality of index generation items prepared in advance. The surgeon operates the selection switch 30a, and can select an item reflecting features desired by the surgeon from a plurality of items for index generation reflecting a plurality (types) of features prepared in advance.
  • the index generation circuit 21b may be configured to generate an index reflecting the input feature by inputting the feature desired by the surgeon from the input device 30.
  • an index reflecting the feature may be generated even for a feature that is not prepared in advance, or an association image in which the index is associated with position information may be generated.
  • the CPU 21 constitutes a distance calculation circuit 21a, an index generation circuit 21b, a 3D / 2D image generation circuit 21d, an image generation circuit 21e, a coordinate conversion circuit 21g, and the like. These circuits may be configured using
  • the medical device 1 of the present embodiment is provided in a patient image information storage unit 22d (or memory 22) that forms a storage unit that records information representing the shape of a predetermined luminal organ, and the predetermined luminal organ.
  • a position direction acquisition circuit 25 (information acquisition unit 25a) that forms an information acquisition unit for acquiring position information and line-of-sight information of the predetermined viewpoint, and an image obtained by observing the inside of the predetermined lumen organ from the predetermined viewpoint
  • An image acquisition circuit 24 that forms an image acquisition unit to acquire, and an alignment circuit 21h that forms an alignment unit that aligns the position information and the line-of-sight information with the coordinate system of the shape of the predetermined luminal organ; Based on the position information and the line-of-sight information adjusted to the shape of the predetermined lumen organ by the alignment unit, the inner wall of the predetermined lumen organ facing the line-of-sight direction from the predetermined viewpoint Generated by a position calculation circuit 21c that forms a position calculation unit that calculates position information, an index generation circuit 21
  • the operator When the medical device 1 is in the operating state, the operator performs initial setting in the first step S1.
  • the operator observes the inside of the bladder B from the input device 30 and records an endoscopic image such as a lesioned part, the operator selects an index generation item for generating an index indicating prioritization or the like for confirmation To do.
  • an item for generating a priority index mainly corresponding to the lesion occurrence frequency is selected.
  • the operator inserts the endoscope 2 into the urethra of the patient P, and aligns the coordinate system at a known position.
  • the bladder Alignment with the second coordinate system (X 2 Y 2 Z 2 ) used in B is performed.
  • the alignment between the first coordinate system and the intermediate coordinate system is performed by obtaining the position / orientation information of the bladder inlet. Further, the alignment between the intermediate coordinate system and the second coordinate system is performed by obtaining the center position of the bladder.
  • the position / direction acquisition circuit 25 acquires the position information and the line-of-sight direction information of the tip portion over time by the magnetic sensor 13 of the tip portion 2d.
  • the first coordinate system (X 0 Y 0 Z 0 ) and the intermediate coordinate system (X 1 Y 1 Z 1 ) are aligned, and the intermediate coordinate system (X 1 Y 1 Z 1).
  • the second coordinate system (X 2 Y 2 Z 2 ) thereby aligning the first coordinate system (X 0 Y 0 Z 0 ) and the second coordinate system (X 2 Y 2 Z 2).
  • the position information and the line-of-sight direction information acquired by the position / direction acquisition circuit 25 are converted into the position information and the line-of-sight direction information in the second coordinate system (X 2 Y 2 Z 2 ) by the coordinate conversion circuit 21g. Become.
  • the surgeon inserts the distal end portion 2d of the endoscope 2 into the bladder B.
  • the monitor 6 displays an endoscopic image when the inner wall of the bladder B is observed (imaged), for example, as shown in FIG. 5, and also displays a 2D model image M2 and a 3D image M3. .
  • the position and the line-of-sight direction of the endoscope 2 are not displayed on the 3D image M3 (after the processing from the following step S5, the position of the endoscope 2 is displayed on the 3D image M3.
  • the position and the line-of-sight direction are determined, and the imaged position on the 2D model image M2 is also determined).
  • the position / direction acquisition circuit 25 acquires information on the viewpoint and line-of-sight direction of the objective optical system 10 at the distal end portion 2d in the bladder B.
  • the coordinate conversion circuit 21g obtains this information.
  • the information is converted into information on the viewpoint and line-of-sight direction in the second coordinate system (X 2 Y 2 Z 2 ).
  • the position calculation circuit 21c calculates the position of the inner wall of the bladder B (position Ps in FIG. 4) on the line-of-sight direction (formulas (15) and (16) described above). Further, the distance L from the viewpoint to the inner wall (upper position) may be calculated.
  • the CPU 21 determines whether a release operation has been performed.
  • the index generation circuit 21b includes information on prioritization (priority) to the endoscope image when the release operation is performed based on the information of the above items. Generate indicators. More specifically, with respect to the endoscopic image recorded by the release operation, the priority for defining (or determining) the reproduction order when reproducing for confirmation and the inner wall of the recorded endoscopic image An index representing the position (information) of is generated. Note that the release operation determination in step S8 may be performed between steps S3 and S4. In other words, after the release operation is performed, the position of the inner wall of the bladder B in the line-of-sight direction from the viewpoint may be calculated.
  • the memory 22 (the association information recording unit 22b) records the endoscopic image, the priority information, and the position information in association with each other.
  • the priority order is generated every time image acquisition is performed. However, prioritization may be performed after all image acquisition is completed. Alternatively, provisional priorities may be generated (determined) for each image acquisition, and final prioritization may be performed after all image acquisition is completed.
  • the CPU 21 determines whether or not an instruction to end the observation is input from, for example, the input device 30. If not input, the CPU 21 returns to the process of step S4. Exit. If the release operation is not performed in step S8, the process proceeds to step S4.
  • FIG. 8A shows a processing example when an item for generating a priority index corresponding to the lesion occurrence frequency is selected
  • FIG. 8B shows an explanatory diagram of the operation.
  • FIG. 8B corresponds to a state in which the distal end portion 2d of the endoscope 2 is inserted into the bladder B and the rear wall is observed among the inner walls of the bladder B, and corresponds to the rear wall portion of the bladder B and the rear wall of the bladder schema. Correspondence relationship with the part to be shown.
  • FIG. 8B shows a state of observing the area around the position Ps of the inner wall along the visual line direction V from the viewpoint Pv (of the objective optical system 10) in the distal end portion 2d, and is observed on the left side thereof. A portion of the bladder schema corresponding to the region being shown is shown.
  • the position calculation circuit 21c determines the three-dimensional position (X, Y, Z) of the position Ps of the bladder inner wall facing the visual line direction V from the viewpoint Pv ( Calculate in the second coordinate system (X 2 Y 2 Z 2 ).
  • the index generation circuit 21b refers to the table of FIG. 6A or FIG. 6B to obtain an area corresponding to (or included in) the position Ps, and obtains a priority when the area corresponds to that area.
  • the position Ps is an area in the back wall (Back) as shown in FIG. 8B, referring to FIG. 6A, the priority of P2 or P3 is applicable when referring to P2 and FIG. 6B.
  • the release operations are sorted in descending order of priority, recorded together with the position information in the memory 22, and the process of FIG. 8A ends.
  • the image generation circuit 21e when the release operation is performed at a plurality of positions on the inner wall of the bladder B, the image generation circuit 21e generates an association image as shown in FIG. 6C, for example, and the memory 22 generates the generated association image.
  • the endoscopic image recorded with the endoscopic image (thumbnail image) Ii is recorded on both the 2D model image M2 and the 3D image M3.
  • the position of the endoscopic image recorded with the endoscopic image (thumbnail image) Ii on one of the 2D model image M2 and the 3D image is shown. May be.
  • the association image in FIG. 10 and later described later for example, the position of the endoscopic image recorded with the endoscopic image (its thumbnail image) Ii on the 2D model image M2 is shown.
  • FIG. 9A shows the display processing of the association image.
  • the CPU 21 waits for an input instruction for displaying an associated image from the input device 30 or the like.
  • the CPU 21 sets the parameter i of the priority Pi to 1 in the next step S32.
  • the CPU 22 determines whether or not there is an instruction to display an individual endoscopic image from the input device 30 or the like. The surgeon can check the recorded endoscopic images according to the priority order, but can select display of individual endoscopic images at the intention of the surgeon separately from the priority order.
  • the CPU 21 presents an endoscopic image having the highest priority Pi (that is, the region having the highest lesion occurrence frequency). Control to display.
  • the image in this case is, for example, FIG. 9B.
  • step S33 the CPU 21 performs control to display the instructed endoscopic image in step S37, and then performs the processing in the next step S38. move on.
  • step S38 the CPU 21 continues displaying the instructed endoscopic image until an instruction to stop displaying the instructed endoscopic image is input.
  • step S39 the CPU 21 determines whether or not a display end instruction is input from the input device 30 or the like. If a display end instruction is not input, the process proceeds to step S33. Returning, when an instruction to end the display is input, the processing in FIG. 9A ends.
  • the endoscope image is recorded in association with the priority according to the item for index generation desired by the operator (in other words, the content reflecting the characteristics desired by the operator).
  • a plurality of endoscopic images can be sequentially confirmed with priority given to endoscopic images reflecting characteristics desired by the operator. For this reason, the surgeon can efficiently confirm a plurality of endoscopic images desired to be confirmed.
  • FIG. 8A shows a case where an index generation item reflecting a feature that gives priority to a plurality of endoscope images recorded in time series according to the order of release operations is prioritized.
  • the priority is determined in the order of the release operation without referring to the table as the next step S22 of step S21, and information such as the priority and the position is recorded in the memory 22 together with the endoscope image in the order of the release operation.
  • the release operation time may be recorded, and the priority may be determined from the time.
  • an association image as shown in FIG. 10 is generated, and the association image is recorded in the memory 22.
  • the priority Pi in FIG. 10 is the same as the release operation order Ri when the release operation order is Ri. If the release operation time is Ti instead of the release operation order Ri, the priority Pi is the same as the release operation time Ti (that is, the release operation time Ti is operated earlier in time as the release operation time Ti). The priority Pi becomes higher as the time is increased).
  • the association image illustrated in FIG. 10 and subsequent figures the position of the endoscopic image recorded with the image number of the thumbnail image only on the 2D model image M2 is shown. As shown in FIG. 3A, the position of the endoscopic image recorded with the image No. of the thumbnail image may also be indicated on the 3D image M3. Further, an association image indicating the position of the endoscope image recorded with the image No. of the thumbnail image may be generated only on the 3D image M3.
  • FIG. 11 shows an example of an association image generated when an index generation item is selected with priority given to the size of a lesion.
  • the predetermined feature is a visual feature
  • the visual feature is also a geometric feature.
  • a quantitative value generation unit (or a quantitative value generation circuit) that generates a quantitative value obtained by quantifying the geometric features is provided.
  • an index with priority Pi is generated by the process shown in FIG.
  • the CPU 21 sets a parameter j representing the number of release operations to 1, and in the next step S42, the CPU 21 waits for the release switch 14 that performs the release operation to be turned on.
  • the CPU 21 When the release switch 14 is turned on, in the next step S43, the CPU 21 records the endoscope image at the released timing in the memory 22. Further, as shown in step S44, the CPU 21 calculates the three-dimensional coordinates (X, Y, Z) of the position Ps of the bladder inner wall facing in the visual line direction V at the viewpoint Pv, and calculates the three-dimensional coordinates of the calculated position Ps. Information is also recorded in association with the endoscopic image. As a result, the endoscope image position recorded on the 2D model image or 3D image can be superimposed (added).
  • the CPU 21 calculates a distance L from the viewpoint Pv to the position Ps.
  • the distance calculation circuit 21a forming the quantitative value generation unit calculates the distance L from the viewpoint to the position Ps on the inner wall as a quantitative value with the viewpoint as a predetermined quantification reference position (quantification reference position).
  • quantification reference position a predetermined quantification reference position
  • an index is generated by setting the urethra (neck) as a predetermined feature position in the bladder B to a predetermined quantification reference position, or an association image in which the index is associated with an endoscopic image or the like May be generated.
  • the CPU 21 extracts the lesion (part) in the endoscopic image, calculates the size of the lesion (part) that forms the geometric feature using the information of the distance L, and the endoscope. Record in association with the image.
  • the CPU 21 determines whether or not an instruction to end recording by the release operation has been input. If not, in the next step S48, the CPU 21 increases the parameter j by one and in step S42. Return to processing.
  • the CPU 21 gives priority in descending order of the lesion in the j times of endoscopic image recording.
  • the CPU 21 replaces the size information recorded in association with the recorded endoscopic image with the priority information, records it in the memory 22, and ends the processing of FIG.
  • the image generation circuit 21e generates the association image shown in FIG.
  • the process shown in FIG. 12 generates an association image as shown in FIG. 11, but instead of the size of the lesion forming the geometric feature, the geometric shape forming the geometric feature is obtained.
  • An index that sets the order of the shape of the lesion (more specifically, the shape of the high malignancy of the lesion) in order of high priority and the association image may be generated. In this case, for example, in FIG.
  • step S45 may be deleted, and steps S46, S49, and S50 may be changed to processing contents corresponding to the shape of the lesion.
  • the color or color (color feature) of the lesion is set in the order of high priority.
  • An index and an associated image may be generated. In this case, each pixel value in, for example, an R, G, B component image in an endoscope image (also referred to as an observation image) that is released and recorded is extracted, and quantification of the color features in the endoscope image is performed. Processing to calculate a value is performed.
  • FIG. 13 shows the case where an index generation item is selected (set) with priority when the distance is small according to the distance from the urethra (neck) as the predetermined feature position to the position Ps of the inner wall.
  • An example of the associated image is shown.
  • the association image in FIG. 13 is obtained by setting the distance L in the process shown in FIG. 12 as the distance obtained by replacing the viewpoint Pv with the urethra (neck), and assigning priorities in ascending order of the distance.
  • FIG. 14 shows an example of an associated image that is generated when the order in which random biopsy is performed inside the bladder B is selected as an item for generating an index.
  • the order Bi when the random biopsy is performed becomes the priority Pi.
  • FIG. 15 shows an order Bi in the case of performing a random biopsy in the cross-sectional view of the bladder B.
  • an index may be generated (an association image is generated) that reflects a feature corresponding to the distance from a previously operated location (by selecting an item).
  • an endoscope image is recorded in the normal light observation mode and the special light observation mode (narrow band light observation mode in a narrow sense)
  • the endoscope image recorded in the special light observation mode is given priority.
  • An index may be generated (and an association image is generated).
  • FIG. 16 shows processing for generating an index in consideration of the distance L from the viewpoint Pv in addition to the priority (priority based on the characteristics of lesion occurrence frequency) according to the table shown in FIG. 6A or 6B, for example.
  • the process in this case is, for example, a process obtained by partially changing the process in FIG. Steps S41 to S45 are the same as the processing of FIG. 12, and after step S45, referring to the table as shown in step S61, an area corresponding to the position Ps is obtained, and the priority Pi of the area is provisionally set.
  • the distance L information is also added.
  • the provisional priority Pi (L) of the position Ps with the parameter j is added and recorded in the memory 22 in association with the endoscope image.
  • step S47 the process of step S47 is performed. If it is not an instruction to end recording, the process returns to step S43 via step S48.
  • the provisional priority Pi (L) is ordered according to the priority classification order of the table as shown in step S62. In this case, when the distance L is excluded and the priorities are equal, the smaller distance L is determined as the higher priority.
  • FIG. 17 is an explanatory diagram of the operation of FIG. In FIG. 17, for example, an endoscopic image is recorded five times, and in that case, when recording multiple times within the region of equal priority in the table of FIG. 6A or 6B, along with the priority obtained from the table, The distance L is recorded.
  • the one with the smaller distance L as the final priority (the rightmost column in FIG. 17) is determined as the higher priority.
  • the same priority may be given to the final priority by assigning a number for further ordering. For example, P2-2 has a higher priority than P2-3 and a lower priority than P2-1.
  • priority ordering can be appropriately performed even in the case where equal priority occurs in the feature of only one item.
  • a medical device that can preferentially confirm a plurality of images in the order desired by the operator.
  • an association image with a content index combining a plurality of features can be generated, it is possible to meet the detailed demands of the surgeon.
  • 16 and 17 illustrate an example in which an item related to a distance different from this item is combined with one item, any two or three items or a plurality of items or features described above or An association image may be generated by appropriately combining features.
  • the sphere of the bladder B is used, but the shape of the bladder B may be a known shape such as an ellipsoid or a cone. Furthermore, the inner wall shape of the bladder B may be acquired using an image taken by an apparatus such as CT, MRI, or ultrasound before the examination.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Urology & Nephrology (AREA)
  • Reproductive Health (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

　医療装置は、所定の視点の位置情報と視線情報とを取得する情報取得部と、所定の管腔臓器内を観察した画像を取得する画像取得部と、位置情報及び視線情報を、所定の管腔臓器の形状の座標系に合わせ込む位置合わせ部と、所定の視点から視線方向に対向する所定の管腔臓器の内壁の位置情報を算出する位置算出部と、所定の特徴に基づき規定される指標を生成する指標生成部と、指標を、取得された画像に関連付ける関連付け部と、所定の管腔臓器の３次元画像又は所定の管腔臓器を展開した２次元モデル画像上において、指標と内壁の位置情報とを関連付けた画像を生成する画像生成部と、を備える。

Description

医療装置
　本発明は、被検体内に挿入され、画像を取得する医療装置に関する。
　近年、被検体内に挿入され、被検体内部を観察したり、処置具などを用いて処置する医療装置としての内視鏡を備えた内視鏡装置が広く普及している。内視鏡を用いて、観察（又は検査）対象の所定の管腔臓器内部を観察し、病変部を発見したような場合には、病変画像を記録し、病変画像がどこに存在したかを病変画像とリンクして記録する装置がある。 
　例えば、第１の従来例としての日本国特開２００６－６１４６９号公報は、所望の被写体が時系列に沿って撮像された一連の画像を表示する表示部を備えた画像表示装置において、一連の画像の撮像期間を示す時間スケールが付されたタイムバーを表示すると共に、一連の画像から選択された所望の画像の撮像時刻に対応する時間スケール上の位置を示す指標を表示するように表示部を制御する制御部を備えた構成を開示している。 
　また、第２の従来例としての日本国特開２００８－１７３４９０号公報は、被検体内を時系列に沿って撮像された一連の画像を表示すると共に、一連の画像の撮像期間を示すタイムバーを被検体内の部位毎に色分けして表示する表示部と、一連の画像に表示された被検体内の各部位を判別し、判別した被検体内の各部位の画像群にそれぞれ時間的に対応するタイムバーの各領域に、被検体内の各部位に対応する代替色をそれぞれ表示する制御を行う制御部と、を備えた構成を開示している。
　記録された複数の画像を確認する場合において、術者が望むような順序に従って複数の画像を確認したい場合がしばしばあるが、第１の従来例においては、各画像は時間スケールに関連付けてあるために、時系列に撮像された複数の画像から術者が望むような順序で画像を確認することが困難である。また、第２の従来例においては、撮像期間を示すタイムバーを被検体内の部位毎に色分けしているので、第１の従来例に比較すると術者は、色分けの情報により、特定の部位の画像を優先して確認し易くなる。 
　しかしながら、第２の従来例においては、優先準位を付ける指標のような情報を関連付けていないために、術者等が望むような順序などで複数の画像を優先して確認することが困難である。 
　本発明は上述した点に鑑みてなされたもので、術者が望む順序で複数の画像を優先して確認することを可能とする医療装置を提供することを目的とする。
　本発明の一態様の医療装置は、所定の管腔臓器内に設けられた所定の視点の位置情報と視線情報を取得する情報取得部と、前記所定の視点から前記所定の管腔臓器内を観察した画像を取得する画像取得部と、前記位置情報及び前記視線情報を、前記所定の管腔臓器の形状の座標系に合わせ込む位置合わせ部と、前記位置合わせ部によって前記所定の管腔臓器の形状に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点から前記視線方向に対向する前記所定の管腔臓器の内壁の位置情報を算出する位置算出部と、前記内壁における所定の特徴に基づき規定される指標を生成する指標生成部と、前記指標生成部により生成された前記指標を、前記画像取得部により取得された画像に関連付ける関連付け部と、前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部と、を備える。
図１は本発明の第１の実施形態の医療装置の全体構成を示す図。 図２は図１における画像処理装置等の構成を示すブロック図。 図３Ａは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図。 図３Ｂは図３Ａから優先度が最も高い内視鏡画像を表示した様子を示す図。 図３Ｃは優先度が最も高い内視鏡画像のみを表示した様子を示す図。 図４は膀胱を球体で近似した３Ｄ画像中に設定した第２の座標系等を示す図。 図５はモニタに内視鏡画像、２Ｄモデル画像、３Ｄ画像を同時に表示した場合の図。 図６Ａは病変発生頻度の高い領域ほど高い優先度を付けた情報を記録したテーブルの内容を表形式で示す図。 図６Ｂは同じ名称の領域においても、３次元位置が異なる領域に対しては、異なる優先度を付けた情報を記録したテーブルの内容の一部を表形式で示す図。 図６Ｃは病変発生頻度（図６Ａ）の優先度により２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図。 図７は第１の実施形態の観察の際の動作を示すフローチャート。 図８Ａはレリーズ操作された場合にテーブルの内容に沿った優先度を設定する指標を生成する処理を示すフローチャート。 図８Ｂは、図８Ａの動作の説明図。 図９Ａは記録された内視鏡画像を表示する場合の処理手順を示すフローチャート。 図９Ｂは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図（優先度Ｐ１に対応）。 図９Ｃは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図（優先度Ｐ１、優先度Ｐ２に対応）。 図９Ｄは２Ｄモデル画像上と３Ｄ画像上に指標を付けた関連付け画像を示す図（図９Ｂの表示の変形で、優先度Ｐ２のみに対応）。 図１０は指標を生成する項目として、時系列の順序を選択した場合の関連付け画像を示す図。 図１１は指標を生成する項目として、病変の大きさ順を選択した場合の関連付け画像を示す図。 図１２は、図１１の指標を生成する処理を示すフローチャート。 図１３は指標を生成する項目として、尿道からの距離に近い順を選択した場合の関連付け画像を示す図。 図１４は指標を生成する項目として、ランダムバイオプシーを行う場所順を選択した場合の関連付け画像を示す図。 図１５はランダムバイオプシーを行った場所を膀胱の内壁上において示す図。 図１６は図８Ａの変形例の処理を示すフローチャート。 図１７は図１６の処理の内容を表形式で示す説明図。
　以下、図面を参照して本発明の実施形態を説明する。　
（第１の実施形態）
　図１に示すように本発明の第１の実施形態の医療装置１は、被検体としての患者Ｐ内部の所定の管腔臓器（具体例では膀胱Ｂ）内部を観察（又は検査）する内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、磁場発生装置７とを備えて構成される。医療装置１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有する。医療装置１のユーザとしての術者は、ベッド８上に仰向け等で載置されている患者Ｐにおける所定の管腔臓器（単に管腔臓器、又は臓器とも言う）としての膀胱Ｂ内部の内視鏡検査を行う。 
　内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡により構成される。 
　さらに、ユニバーサルケーブル２ｃ内には、図２に示すようなライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射し、挿入部２ｂの先端部２ｄが挿入された被検体内の所定の管腔臓器（としての膀胱Ｂ）内部を照明する。
　また、図２に示すように、挿入部２ｂの先端部２ｄには、被検体からの光を受けてその光学像を結ぶ対物光学系１０と、その結像位置に撮像面が配置され、撮像面に結像された光学像を光電変換して撮像信号として出力する撮像素子１１とが設けられている。光源装置３の照明光により照明された膀胱Ｂの内壁は、撮像素子１１により撮像される。従って、対物光学系１０と撮像素子１１は、管腔臓器内部を撮像する撮像部（又は撮像装置）１２を形成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介して管腔臓器としての膀胱Ｂ内部の撮像画像を生成するプロセッサ４に入力され、撮像信号は、プロセッサ４内の画像生成回路４ａにおいて画像生成の処理が行われ、膀胱Ｂ内部を撮像した撮像画像としての内視鏡画像が生成される。 
　本実施形態においては、プロセッサ４内の画像生成回路４ａは、先端部２ｄに搭載された撮像部１２の撮像素子１１の撮像面に結像された被検体の光学像を電気的な撮像信号に変換して、光学像に対応する撮像画像を生成し、生成された撮像画像はモニタ６における内視鏡画像表示エリアに表示される。図２の構成においては、画像生成回路４ａにより生成した内視鏡画像は、画像処理装置５を経由してモニタ６の内視鏡画像表示エリアに、画像処理装置５により生成された他の画像と重畳又は合成して表示される。
　膀胱Ｂの内壁を撮像する撮像部１２の位置及び撮像する撮像方向（対物光学系１０の光軸方向）が、撮像画像を生成する場合の視点の位置及び視線方向となる。 
　プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有し、切換スイッチ４ｂにより指定された観察モード信号は画像生成回路４ａに入力され、画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。 
　また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａに入力され、ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するように制御する。
　切換スイッチ４ｂにより、通常光観察モードが指定された場合には、ＬＥＤ制御回路３ａは通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、ＬＥＤ制御回路３ａは特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。 
　狭帯域の青色ＬＥＤ３ｃが発光した場合には、この狭帯域の青色の光が進行する光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）を行う。 
　また、白色ＬＥＤ３ｂが発光した場合の白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過し、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、通常光観察モード用の照明を行う。
　また、プロセッサ４（の画像生成回路４ａ）により生成された内視鏡画像は、モニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う術者は、挿入部２ｂの先端部２ｄを患者Ｐの尿道から挿入し、患者Ｐの膀胱Ｂ（図１において点線で示す）内を観察することができる。 
　さらに、挿入部２ｂの先端部２ｄには、位置センサとしての磁気センサ１３が配置されている。具体的には、図２に示すように先端部２ｄの撮像部１２を構成する対物光学系１０と撮像素子１１の近傍には、磁気センサ１３が設けられている。この磁気センサ１３は、先端部２ｄにおける撮像部１２の視点となる３次元位置（単に位置）と、その位置での視線方向との検出に利用される。 
　図２に示す内視鏡２は、先端部２ｄに搭載された撮像部１２を構成する対物光学系１０の光軸方向が、先端部２ｄの軸方向と平行となるために、撮像部１２の位置及び視線方向は、先端部２ｄの位置及びその軸方向（単に方向）と近似できる。
　なお、本実施形態は、図２に示すように先端部２ｄに配置された対物光学系１０により、先端部２ｄに配置された撮像素子１１の撮像面に被検体の光学像を結像する内視鏡２の場合に限らず、先端部２ｄに配置された対物光学系１０により結像した光学像を挿入部２ｂの後方（基端）側に伝送し、挿入部２ｂの基端側に配置された撮像素子で撮像する内視鏡の場合にも適用できる。 
　この場合を含めた表現としては、撮像部の視点の位置（及び視線方向）の表現を用いるよりも（先端部２ｄに配置された）対物光学系１０の視点の位置（及び視線方向）を用いる方が妥当である。このため、以下においては、主に、視点の位置及び視線方向を対物光学系１０の視点の位置及び視線方向として用いたり、近似的な表現として視点の位置及び視線方向の代わりに（対物光学系１０又は先端部２ｄ又は先端の）位置及び方向を用いる場合もある。 
　図１の拡大図に示すように、磁気センサ１３は、例えば２つのコイル２ｅを有する。磁気センサ１３は、先端部２ｄの位置及び方向を検出するセンサとなる。磁気センサ１３の信号線２ｆは、内視鏡２から延出され、画像処理装置５（内の位置方向取得回路２５）に接続される。
　磁場発生装置７は既知となる所定の位置において磁場を発生し、磁気センサ１３は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から画像処理装置５（内の位置方向取得回路２５）に入力される。 
　位置方向取得回路２５は、入力された検出信号の振幅と位相とから先端部２ｄに配置された対物光学系１０の視点となる位置及び視線方向の情報としての視点の位置情報（視点位置情報とも言う）と視線方向情報とを取得する情報取得部（又は情報取得回路）２５ａの機能を備える。なお、本実施形態においては、観察対象の管腔臓器は膀胱Ｂの内壁であり、膀胱Ｂは、後述するように球体の３次元（３Ｄ）画像で近似することができる。つまり、膀胱Ｂは、球体で表される３Ｄ画像Ｍ３（図４）で近似される。 
　内視鏡２の操作部２ａには、レリーズスイッチ（又はレリーズボタン）１４が設けられている。レリーズスイッチ１４は、術者等のユーザが内視鏡画像を記録するときに、押すためのスイッチである。レリーズスイッチ１４が押されると、レリーズスイッチ操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。
　レリーズスイッチ１４が押されたときの内視鏡画像は、画像処理装置５における後述する画像取得部を形成する画像取込回路２４を経て画像処理装置５内部のメモリ２２に記録される。なお、画像取込回路２４とメモリ２２が画像取得部を形成すると定義しても良い。 
　また、本実施形態においては、後述するようにレリーズスイッチ１４が押されたときの内視鏡画像を記録する場合、例えば術者が設定した所定の特徴や、設定された所定の特徴、又は複数の所定の特徴から選択された所定の特徴を反映した優先度が付けられた指標を、記録される内視鏡画像の（記録された際の内壁上の中心付近の）位置情報と関連付けた状態で記録することにより、記録された内視鏡画像を確認するような場合、優先順位付けを表す優先度が高い複数の内視鏡画像を優先して確認（再生の表示を）することができるようにしている。 
　また、内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５を有し、このＩＤ発生部１５は、プロセッサ４を経て画像処理装置５（内の位置方向取得回路２５）に入力される。
　図２に示すように、ＩＤがプロセッサ４を介することなく、画像処理装置５（内の位置方向取得回路２５）に入力されるようにしても良い。位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部（又は撮像情報取得回路）２５ｂの機能を備える。取得された撮像情報を、後述する指標を生成する場合に利用しても良い。 
　画像処理装置５は、中央処理装置（以下、ＣＰＵという）２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、駆動回路２７を備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５は、バス２８を介して互いに接続されている。また、医療装置１は、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０を有する。
　ＣＰＵ２１は、画像処理装置５内の各部の処理を制御する制御部（又は制御回路）を構成すると共に、位置方向取得回路２５が取得した視点の位置情報と視線方向情報と撮像情報を用いて、先端部２ｄに配置された対物光学系１０の視点と、この視点から（少なくとも）視線方向上となる管腔臓器としての膀胱Ｂの内壁（面）に交差する位置（又は位置を含む位置情報）を算出する位置算出部を形成する位置算出回路２１ｃと、画像生成回路４ａにより生成され、画像取込回路２４を経てメモリ２２内に取得（記録）された内視鏡画像、若しくは膀胱Ｂの内壁における所定の特徴に基づいて規定（又は決定）される指標を生成する指標生成部を形成する指標生成回路２１ｂと、を備える。 
　換言すると、指標生成回路２１ｂは、所定の特徴を反映した指標を生成する。本実施形態においては、後述するように、種類の異なる特徴を反映する複数種類の指標生成用の項目から任意の項目を選択することにより、選択された項目に対応した特徴を反映する指標を生成することができるようにしている。
　位置算出回路２１ｃは、該位置算出回路２１ｃにより算出された内壁上の位置（又は位置を含む位置情報）と視点との距離を算出する距離算出回路２１ａを備える。
　また、ＣＰＵ２１は、管腔臓器の３Ｄ画像（又はその近似画像としての３Ｄモデル画像）Ｍ３と、該管腔臓器を展開した二次元（２Ｄ）画像のモデル画像としての２Ｄモデル画像Ｍ２（膀胱シェーマ又は単にシューマとも言う）とを生成する３Ｄ／２Ｄ画像生成回路２１ｄと、３Ｄ画像Ｍ３又は２Ｄモデル画像Ｍ２上において、上記指標と、該指標を生成した場合の管腔臓器の内壁上の位置（情報）とを関連付けた画像（関連付け画像とも言う）を生成する画像生成部を形成する画像生成回路２１ｅとを有する。
　この画像生成回路２１ｅは、膀胱Ｂの内壁における所定の特徴などに基づいて生成される指標を、画像取込回路２４を介して取得したレリーズ操作により記録される（又は記録された）内視鏡画像に関連付ける関連付け部を形成する関連付け回路２１ｆの機能を有する。なお、画像生成回路２１ｅの外部に関連付け回路２１ｆを設けるようにしても良いし、関連付け回路２１ｆが画像生成回路２１ｅを含む構成にしても良い。また、図２における画像生成回路２１ｅが、指標生成回路２１ｂを含む構成にしても良いし、逆に指標生成回路２１ｂが画像生成回路２１ｅを含む構成でも良い。また、指標生成回路２１ｂが関連付け回路２１ｆの機能を備える構成でも良い。 
　画像生成回路２１ｅは、例えば図３Ａに示すように２Ｄモデル画像Ｍ２上及び３Ｄ画像上において（関連付け）画像を生成し、モニタ６で表示する。 
　図３Ａにおける最も左側の列は、所定の特徴を反映する指標を形成する優先度Ｐｉ（順序ｉが小さい数ほど優先度が高い）が付けられた状態でメモリ２２に記録された内視鏡画像（のサムネイル画像）Ｉｉ（ｉ＝１，２，…，９）を模式的に示し、中央の２Ｄモデル画像Ｍ２（膀胱シェーマ）には記録された内視鏡画像が撮像された膀胱Ｂの内壁上の位置を膀胱シェーマ上において、内視鏡画像（のサムネイル画像）Ｉｉを付けて示す。なお、Ｉｉを内視鏡画像（のサムネイル画像）の画像Ｎｏとも言う。
　また、図３Ａの最も右側の３Ｄ画像には、中央の膀胱シューマ上の場合と同様に、記録された内視鏡画像が撮像された内壁上の位置を３Ｄ画像上において、内視鏡画像（のサムネイル画像）Ｉｉを付けて示す。また、図３Ａの画像をモニタ６で表示した後、優先度の高い内視鏡画像から順次モニタ６に表示する。図３Ｂ、図３Ｃは、最も優先度が高い優先度Ｐ１の内視鏡画像Ｉ１を表示した様子を示す。なお、図３Ａの画像を表示することなく、図３Ｂ又は図３Ｃの画像を表示するようにしても良い。 
　また、ＣＰＵ２１は、位置方向取得回路２５が取得した視点の位置情報と視線方向情報を取得した際に、磁場発生装置７を基準とした座標系としての第１の座標系（X０Y０Z０）（図１参照）から膀胱の入り口を基準とする中間座標系（X１Y１Z１）（図１参照）に変換する座標変換回路２１ｇの機能を持つ。 
　なお、後述するように座標変換回路２１ｇは、中間座標系（X１Y１Z１）から第２の座標系（X２Y２Z２）に変換する機能も備える。従って、座標変換回路２１ｇは、第１の座標系（X０Y０Z０）から第２の座標系（X２Y２Z２）に変換する機能を持つ。また、２つの座標系間において座標変換する場合、両座標系において既知となる位置において変換係数、変換行列等を決定する位置合わせの処理を行う位置合わせ部を形成する位置合わせ回路２１ｈの機能を持つ。
　座標変換回路２１ｇは、例えば膀胱Ｂの入口の位置（図４でＰＲ）と方向を位置合わせの基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向取得回路２５の位置方向情報を、膀胱Ｂの入口を基準とする中間座標系（X１Y１Z１）の位置方向情報に変換する。 
　　Ｐ１＝Ｒ０１Ｐ０＋Ｍ０１　　　　　　　・・・式（１）
　　Ｖ１＝Ｒ０１Ｖ０　　　　　　　　　　・・・式（２）
　ここで、Ｐ０とＶ０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X０Y０Z０）における位置（のベクトル表記）と（大きさが１の）方向ベクトルである。Ｒ０１は、次の式（３）で示される回転行列であり、Ｍ０１は、次の式（４）で示される並進行列である。 
　［数３］
Figure JPOXMLDOC01-appb-I000001
　［数４］
Figure JPOXMLDOC01-appb-I000002
　よって、第１の座標系（X０Y０Z０）上の点（ｘ０，ｙ０，ｚ０）は、次の式（５）に示すように、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）に変換される。
　［数５］
Figure JPOXMLDOC01-appb-I000003
　内視鏡２の先端部２ｄ（の対物光学系１０）の膀胱Ｂ内への挿入が検出されたときに位置方向取得回路２５により取得される位置と方向のベクトルをＰ´0、Ｖ´0とすると、並進行列Ｍ０１は以下の式（６）により求められる。 
　　　　Ｍ０１＝－Ｐ´0　　　　　　　　　・・・式（６）
　また、回転行列Ｒ０１は以下の条件を満たすように求める。回転行列Ｒ０１の満たす条件は、Ｚ1軸が重力方向と平行であること、及びＺ1軸に対して垂直なX1Y1平面にV´0を投影し、その投影したベクトル方向をY1軸、Y1Z1平面に垂直なベクトルをX1軸とする、ことである。 
　更に、上記座標変換回路２１ｇは、次の式（７）と式（８）に従って、中間座標系（X１Y１Z１）の位置ベクトルと方向ベクトルを、球形の３Ｄ画像Ｍ３の中心Ｏ２を基準とする第２の座標系（X２Y２Z２）における位置ベクトルと方向ベクトルに変換する。図４は、中間座標系（X１Y１Z１）と第２の座標系（X２Y２Z２）の関係を説明するための図である。
　　Ｐ２＝Ｒ１２Ｐ１＋Ｍ０２　　　　　　　・・・式（７）
　　Ｖ２＝Ｒ１２Ｖ１　　　　　　　　　　・・・式（８）
　ここで、Ｐ１、Ｖ１は、それぞれ、中間座標系（X１Y１Z１）における任意の位置における位置（ベクトル）と方向ベクトルであり、Ｐ２、Ｖ２は、それぞれ、第２の座標系（X２Y２Z２）に変換された場合の位置ベクトルと方向ベクトルである。 
　Ｐ０、Ｖ０を位置方向取得回路２５から算出される先端部２ｄの対物光学系１０の視点の位置を表す位置（ベクトル）、視線方向の方向ベクトルに設定すると、Ｐ０、Ｖ０は、Ｐ１、Ｖ１に変換され、更に該Ｐ１、Ｖ１は、Ｐ２とＶ２に変換される。 
つまり、Ｐ０、Ｖ０を視点の位置、視線方向の方向ベクトルとして取得すると、対応するＰ２、Ｖ２は、第２の座標系（X２Y２Z２）における対物光学系１０の視点Ｐｖの位置ベクトル（Ｐｖで兼用）、視線方向Ｖの方向ベクトル（Ｖで兼用）となる。Ｒ１２は、次の式（９）で示される回転行列であり、Ｍ０２は、次の式（１０）で示される並進行列である。
　［数９］
Figure JPOXMLDOC01-appb-I000004
［数１０］
Figure JPOXMLDOC01-appb-I000005
　よって、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）は、次の式（１１）に示すように、第２の座標系（X２Y２Z２）上の点（ｘ２，ｙ２，ｚ２）に変換される。 
　［数１１］
Figure JPOXMLDOC01-appb-I000006
　X1Y1Z1座標系をY1軸方向にR2移動した場合、並進M12と回転R12は、それぞれ、式（１２）と式（１３）のようになる。 
　［数１２］
Figure JPOXMLDOC01-appb-I000007
　［数１３］
Figure JPOXMLDOC01-appb-I000008
　以上のように、磁場発生装置７の第１の座標系（X０Y０Z０）における位置Ｐ０は、式（５）と式（１１）より、３Ｄ画像Ｍ３の中心Ｏ２を基準（原点）とする第２の座標系（X２Y２Z２）の位置Ｐ２に変換され、第１の座標系（X０Y０Z０）における方向V０は、次の式（１４）に従って、第２の座標系（X２Y２Z２）の方向V２に変換される。 
　　V２＝Ｒ１２Ｒ０１V０　　　　　　　　・・・式（１４）
　また、図４は、内視鏡２の挿入部２ｂが膀胱Ｂ内に挿入された様子を３Ｄ画像Ｍ３で示し、対物光学系１０の視点Ｐｖの位置から視線方向Ｖが交差する球体の内壁面（膀胱Ｂの内壁面）の位置も第２の座標系（X２Y２Z２）を用いて扱うことができる。
　第２の座標系（X２Y２Z２）の原点となる中心Ｏ２は、膀胱Ｂへの入口となる頸部ＰＲとその対向部位ＰＴとを結ぶ線分の中点の位置となる。また、第２の座標系（X２Y２Z２）は、膀胱Ｂにおける左側壁側がＸ２方向、右側壁側が－Ｘ２方向、患者Ｐの前壁（腹部）側がＺ２方向、患者Ｐの後壁（背中）側が－Ｚ２方向となるように設定される。 
　また、図３Ａ等に示す２Ｄモデル画像Ｍ２は、図４に示す３Ｄ画像（で近似される膀胱Ｂの内壁面）をＸ２，Ｙ２を含む平面に沿って展開、又は投影したものとなる。 
　また、図５は、レリーズ操作が行われていない状態におけるモニタ６に表示される画像を示す。図５における最も左側の内視鏡画像表示エリアＡ１には、内視鏡画像Ｉｅｎが表示され、その右側の２Ｄモデル画像表示エリアＡ２には、レリーズ操作が行われていない状態の２Ｄモデル画像Ｍ２が表示され、その右側の３Ｄ画像表示エリアＡ３には３Ｄ画像が表示される。
　図５においては、２Ｄモデル画像Ｍ２には上記の代表的な領域となる頸部ＰＲ、頸部ＰＲに対応する頂部（Top）、左側壁（Left）、右側壁（Right）、前壁（Front）、後壁（Back）、頸部ＰＲと左右の尿管を示す三角部（Tr）を示している。図５において、２Ｄモデル画像Ｍ２上に、例えば内視鏡２により現在撮像（観察）している領域Ａｒ（２Ｄモデル画像Ｍ２に示すように後壁部分）を表示するようにしても良い。 
　図４に示すように先端部２ｄの対物光学系１０の第２の座標系（X２Y２Z２）における視点Ｐｖの位置と視線方向Ｖが決定すると、撮像素子１１の撮像面１１ａの中心位置に結像される（膀胱Ｂを表す）球体の内壁面上の座標位置となる位置Ｐｓは、以下のように球体の半径Ｒを用いて求める。次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X２Y２Z２）における位置Ｐｓを求める。 
　　Ｐｓ＝Ｐｖ＋ｋＶ　　　　　　　　・・・式（１５）
　　｜Ｐｓ｜＝Ｒ　　　　　　　　　　・・・式（１６）
　位置算出回路２１ｃは、式（１５）、式（１６）を用いて、各視点Ｐｖにおいてその視線方向Ｖ上となる内壁の位置Ｐｓを算出する。また、この位置Ｐｓが算出されると、距離算出回路２１ａは、｜Ｐｖ－Ｐｓ｜を算出して、視点Ｐｖから内壁までの距離（情報）を算出する。
　膀胱Ｂの形状を半径Ｒの球体（Ｒの値を所定の値）としたが、例えば、操作者が先端部２ｄを膀胱の入り口から距離が最大になる膀胱の内壁（例えば、頂部）に接触させて球体の半径の値を設定しても良い。
　図２に示すメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどを用いて形成され、このメモリ２２は、ＣＰＵ２１により実行される各種処理プログラム及び各種データを記録（又は記憶）し、レリーズ操作がされた場合の内視鏡画像を記録（記憶）する。レリーズ操作がされた場合に、画像生成回路４ａにより生成され、画像取込回路２４を経て画像処理装置５内部に取り込まれた内視鏡画像の情報と、位置方向取得回路２５により取得された位置情報と視線方向情報とを記録（格納）する内視鏡画像情報記録部（又は内視鏡画像情報格納部）２２ａを有する。 
　また、このメモリ２２は、選択的に使用された所定の特徴に基づいて、記録される内視鏡画像に、前記所定の特徴を反映する指標を形成する優先度Ｐｉを関連付けて記録する関連付け情報記録部２２ｂを有する。また、例えば関連付け情報記録部２２ｂは、上記所定の特徴として、病変の発生し易い膀胱Ｂにおける（位置の範囲を示す）領域又は部位を優先度に設定するテーブルデータ（テーブルと言う）を格納するテーブル格納部２２ｃを備える。なお、関連付け回路２１ｆが上記テーブルを備える構成にしても良い。
　図６Ａは、上記テーブル格納部２２ｃに格納されているテーブルの内容を示す。図６Ａに示すように膀胱Ｂの内壁を複数の領域に分類した場合、三角部（の領域）が最も優先度が高く、頂部が最も優先度が低い設定となっている。この場合には番号が優先度を示し、番号が小さい程優先度が高い。 
　そして、所定の特徴として、病変の発生し易い領域を優先するテーブルの内容を利用すると、テーブルの内容を反映した指標の画像が生成されることになる。 
　なお、図６Ａにおいては、領域の名称毎にそれぞれに異なる優先度を割り当てた場合を示しているが、例えば同じ名称の領域を複数の領域に区分けして、異なる優先度を付けるようにしても良い。図６Ｂは、例えば名称が後壁の領域を複数の領域に区分けして、異なる優先度を付けるようにした例を示す。 
　図６Ａ、図６Ｂでは、各領域における座標の範囲を、優先度が高い２つ、又は３つの領域に対して示し、優先度が低いものでは省略している。後述するように図６Ａ、又は図６Ｂのテーブルの内容を利用することにより、図６Ｃに示すような画像が生成される。
　本実施形態においては、上述したように画像生成部を形成する画像生成回路２１ｅは、内壁における複数種類の特徴、又は画像取得部により取得された画像に基づいて、２Ｄモデル画像Ｍ２上又は３Ｄ画像上に指標と内壁の位置情報とを関連付けた画像を生成するようにしていることが主要な特徴となる。 
　複数種類の特徴としては、膀胱Ｂの内壁における病変発生頻度のような統計的な特徴、病変の大きさや、内壁までの距離等の視覚的な特徴であったり、視覚的な特徴を定量化した定量値の大小に応じて、指標を決定したりする。 
　また、生成される指標は、後述するように規則性を備えた記号であり、関連付け回路２１ｆ又は指標生成回路２１ｂは、上記定量値の大又は小の順番を前記記号に対応付ける。レリーズされて記録（取得）される内視鏡画像に応じて、対応する観察部位（領域）の定量値に基づき、前記記号を付け直す（修正する）ようにしても良い。
　また、メモリ２２における関連付け情報記録部２２ｂは、図３Ａに示す関連付け画像を記録する。膀胱Ｂは、球体の３次元（３Ｄ）画像で近似することができ、球体を表す半径等のパラメータが、３Ｄ画像Ｍ３として、メモリ２２内における患者画像情報記憶部２２ｄに格納される。また、管腔臓器としての膀胱Ｂの３次元画像を展開した２Ｄモデル画像Ｍ２の画像情報もメモリ２２内における患者画像情報記録部２２ｄに格納される。 
　このため、患者画像情報記録部２２ｄは、３Ｄ画像Ｍ３及び２Ｄモデル画像Ｍ２の３Ｄ／２Ｄ画像記録部２２ｅの機能を持つ。
　メモリ２２内に格納された３Ｄ画像Ｍ３と２Ｄモデル画像Ｍ２は、例えばＣＰＵ２１により読み出され、表示Ｉ／Ｆ２３を介してモニタ６に表示される。この場合、図５に示すように例えば動画となる内視鏡画像Ｉｅｎに隣接して２Ｄモデル画像Ｍ２と３Ｄ画像Ｍ３とが表示される。 
　尚、ここでは患者画像情報記憶部２２ｄから読み出した３Ｄ画像Ｍ３と２Ｄモデル画像Ｍ２を説明したが、３Ｄ画像Ｍ３と２Ｄモデル画像Ｍ２の取得方法はこれに限られるものではない。例えば、３Ｄ／２Ｄ画像生成回路２１ｄが撮像部１２が撮像した内視鏡画像Ienに基づいた観察位置、視線方向データを用いて、内視鏡２の撮像部１２により撮像（観察）された２次元画像データに対応する３Ｄ画像Ｍ３や２Ｄモデル画像Ｍ２を生成するようにしても良い。
　この場合、３Ｄ／２Ｄ画像生成回路２１ｄは例えば日本国特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３Ｄ形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３Ｄ形状を推定する手法でも良い。また、３Ｄ形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３Ｄ画像データを参照して３Ｄ形状データを構築するようにしても良い。
　そして、レリーズ操作がされると、選択された選択情報に従って、内視鏡画像が指標と関連付けて記録され、例えば入力装置３０の画像再生スイッチ３０ｂ、又は内視鏡２に設けた画像再生スイッチ（図示せず）の指示操作を行うと、画像生成回路２１ｅは、図３Ａに示すような画像を表示する。 
　図２に示す画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む（又は取得する）処理を行う画像取得部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。
　位置方向取得回路２５は、磁場発生装置７を駆動する駆動回路２７を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１３により検出し、その検出された磁場の検出信号から、対物光学系１０の視点となる位置座標（ｘ、ｙ、ｚ）と視線方向となる配向（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち視点の位置情報及び視線方向情報を第１の座標系（X０Y０Z０）においてリアルタイムで生成する。すなわち、位置方向取得回路２５は、磁気センサ１３からの位置情報及び方向情報を取得して、対物光学系１０の視点の位置情報と視線方向情報（簡略化して位置視線方向情報とも言う）とを取得する情報取得部を構成する。 
　ＣＰＵ２１は、画像取込回路２４が取り込んだ内視鏡画像（の情報）と、位置方向取得回路２５が検出した位置方向情報から算出された位置方向情報とを（例えば座標変換回路２１ｇにより球体の中心Ｏ２を基準とした第２の座標系（X２Y２Z２）に変換した後）変換した座標情報を、メモリ２２に記憶する。なお、第２の座標系（X２Y２Z２）に変換しない状態でメモリ２２に記憶しても良い。
　メモリ２２は、画像取込回路２４が取り込んだ内視鏡画像と、該内視鏡画像を取り込んだ際の位置方向情報とを関連付ける関連付け情報を、関連付け情報記録部２２ｂに記録する。 
　また、本実施形態においては、例えば入力装置３０は、予め用意された複数の指標生成用の項目から所望とする項目を選択する選択スイッチ３０ａを備えている。術者は、選択スイッチ３０ａを操作して、予め用意された複数（種類）の特徴を反映する複数の指標生成用の項目から術者が望むような特徴を反映した項目を選択することができる。なお、入力装置３０から術者が望む特徴を入力することにより、指標生成回路２１ｂが入力された特徴を反映する指標を生成することもできるようにしても良い。つまり、予め用意されていない特徴に対しても、該特徴を反映した指標を生成したり、該指標と位置情報を関連付けた関連付け画像を生成することができるようにしても良い。なお、図２においては、ＣＰＵ２１により距離算出回路２１ａ、指標生成回路２１ｂ、３Ｄ／２Ｄ画像生成回路２１ｄ、画像生成回路２１ｅ、座標変換回路２１ｇ等を構成しているが、電子回路等のハードウェアを用いてこれらの回路を構成しても良い。
　本実施形態の医療装置１は、所定の管腔臓器の形状を表す情報を記録する記憶部を形成する患者画像情報記憶部２２ｄ（又はメモリ２２）と、前記所定の管腔臓器内に設けられた所定の視点の位置情報と視線情報を取得する情報取得部を形成する位置方向取得回路２５（の情報取得部２５ａ）と、前記所定の視点から前記所定の管腔臓器内を観察した画像を取得する画像取得部を形成する画像取込回路２４と、前記位置情報及び前記視線情報を、前記所定の管腔臓器の形状の座標系に合わせ込む位置合わせ部を形成する位置合わせ回路２１ｈと、前記位置合わせ部によって前記所定の管腔臓器の形状に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点から前記視線方向に対向する前記所定の管腔臓器の内壁の位置情報を算出する位置算出部を形成する位置算出回路２１ｃと、前記内壁における所定の特徴に基づき規定される指標を生成する指標生成部を形成する指標生成回路２１ｂと、前記指標生成部により生成された前記指標を、前記画像取得部により取得された画像に関連付ける関連付け部を形成する関連付け回路２１ｆと、前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部を形成する画像生成回路２１ｅと、を備えることを特徴とする。
　次に図７のフローチャートを参照して本実施形態の観察時における動作を説明する。
　医療装置１が動作状態になると、最初のステップＳ１において、術者は初期設定を行う。術者は、入力装置３０から、膀胱Ｂ内を観察し、病変部等の内視鏡画像を記録した場合、確認する場合の優先順位付け等を表す指標を生成する指標生成用の項目を選択する。以下の例では、主に病変発生頻度に対応した優先度の指標を生成するための項目を選択したことを想定する。 
　次のステップＳ２において術者は、内視鏡２を患者Ｐの尿道内に挿入し、既知となる位置において、座標系の位置合わせを行う。先端部２ｄの磁気センサ１３に対して位置方向取得回路２５が取得する位置情報及び視線方向情報は、第１の座標系（X０Y０Z０）の下での情報となるために、膀胱Ｂ内で用いる第２の座標系（X２Y２Z２）との位置合わせを行う。ここでの第１の座標系と中間座標系との位置合わせは、膀胱入口の位置・向き情報から求めることで位置合わせをする。また、中間座標系と第２の座標系の位置合わせは、膀胱の中心位置を求めることで位置合わせをする。また、位置方向取得回路２５は、先端部２ｄの磁気センサ１３により、先端部の位置情報及び視線方向情報を経時的に取得する。 
　本実施形態においては、第１の座標系（X０Y０Z０）と、中間座標系（X１Y１Z１）との位置合わせを行い、さらに中間座標系（X１Y１Z１）と、第２の座標系（X２Y２Z２）との位置合わせを行うことにより第１の座標系（X０Y０Z０）と第２の座標系（X２Y２Z２）との位置合わせを行う。これにより、位置方向取得回路２５が取得する位置情報及び視線方向情報は、座標変換回路２１ｇにより第２の座標系（X２Y２Z２）における位置情報及び視線方向情報に変換される状態となる。
　次のステップＳ３において術者は、内視鏡２の先端部２ｄを膀胱Ｂ内に挿入する。ステップＳ４に示すようにモニタ６は、例えば図５に示すように膀胱Ｂの内壁を観察（撮像）した場合の内視鏡画像を表示する共に、２Ｄモデル画像Ｍ２と３Ｄ画像Ｍ３とを表示する。但し、この段階においては、３Ｄ画像Ｍ３上においては、内視鏡２の位置及び視線方向は、表示されていない（以下のステップＳ５以降の処理後に、３Ｄ画像Ｍ３上において、内視鏡２の位置及び視線方向が確定する。また、２Ｄモデル画像Ｍ２上での撮像される位置も確定する）。このため、図５の表示例として内視鏡画像のみを表示するようにしても良い。 
　次のステップＳ５において位置方向取得回路２５は、膀胱Ｂ内において先端部２ｄの対物光学系１０の視点と視線方向の情報を取得し、ステップＳ６に示すように座標変換回路２１ｇは、この情報を第２の座標系（X２Y２Z２）における視点と視線方向の情報に変換する。 
 次のステップＳ７において位置算出回路２１ｃは、視線方向上となる膀胱Ｂの内壁の位置（図４の位置Ｐｓ）を算出する（上述した式（１５）、式（１６））。なお、更に視点から内壁（上の位置）までの距離Ｌを算出するようにしても良い。
　 次のステップＳ８においてＣＰＵ２１は、レリーズ操作がされたかを判定する。レリーズ操作がされた場合には、次のステップＳ９において指標生成回路２１ｂは、上記項目の情報に基づいて、レリーズ操作された際の内視鏡画像に優先順位付け（優先度）の情報を含む指標を生成する。より具体的には、レリーズ操作により記録される内視鏡画像に対して、確認のために再生する場合の再生順序を規定（又は決定）する優先度と、記録される内視鏡画像の内壁の位置（情報）とを表す指標を生成する。なお、ステップＳ８におけるレリーズ操作の判定を、ステップＳ３とＳ４の間に行うようにしても良い。換言すると、レリーズ操作が行われた後に、視点から視線方向となる膀胱Ｂの内壁の位置を算出するようにしても良い。 
　次のステップＳ１０においてメモリ２２（の関連付け情報記録部２２ｂ）は、内視鏡画像と優先度の情報、位置情報を関連付けて記録する。なお、図７の処理例においては画像取得を行う毎に優先順位を生成しているが、画像取得を全て完了した後に優先順位付けを行うようにしても良い。又は、画像取得毎に暫定的な優先順位を生成（決定）し、画像取得を全て完了した後に、最終的な優先順位付けを行うようにしても良い。 
　次のステップＳ１１においてＣＰＵ２１は、観察終了の指示が例えば入力装置３０から入力されたか否かを判定し、入力されない場合には、ステップＳ４の処理に戻り、入力された場合には図７の処理を終了する。また、ステップＳ８においてレリーズ操作がされない場合にはステップＳ４の処理に移る。
　このようにして、膀胱Ｂの内壁を観察し、術者がレリーズ操作を行うと、レリーズ操作がされたタイミングの内視鏡画像がメモリ２２に記録されると共に、内壁の位置に基づく情報に基づいて優先度の情報が生成され、これら（内視鏡画像、位置情報、優先度の情報）が関連付けてメモリ２２に記録される。 
　図８Ａは、病変発生頻度に対応した優先度の指標を生成する項目を選択した場合における処理例を示し、図８Ｂは、その動作の説明図を示す。 
　図８Ｂは、膀胱Ｂ内に内視鏡２の先端部２ｄが挿入され、膀胱Ｂの内壁のうち後壁を観察している様子と、膀胱Ｂの後壁部分と膀胱シェーマの後壁に相当する部分との対応関係を示す。図８Ｂにおいては、先端部２ｄ内の（対物光学系１０の）視点Ｐｖから視線方向Ｖに沿った内壁の位置Ｐｓの周辺の領域を観察している様子を示すと共に、その左側には観察されている領域に対応する膀胱シェーマの一部を示す。 
　レリーズスイッチ１４がＯＮされた場合には、最初のステップＳ２１において位置算出回路２１ｃは、視点Ｐｖから視線方向Ｖ上に対向する膀胱内壁の位置Ｐｓの３次元位置（Ｘ，Ｙ，Ｚ）を（第２の座標系（X２Y２Z２）において）算出する。
　次のステップＳ２２において指標生成回路２１ｂは、図６Ａ又は図６Ｂのテーブルを参照し、位置Ｐｓが該当する（又は含まれる）領域を求め、その領域に該当する場合の優先度を求める。位置Ｐｓが、例えば図８Ｂに示すように後壁（Back）内の領域である場合には、図６Ａを参照すると、Ｐ２，図６Ｂを参照した場合にはＰ２、又はＰ３の優先度が該当する。 
　次のステップＳ２３において、複数の位置においてレリーズ操作を行った場合には、優先度が高い順にソートして、位置情報と共に、メモリ２２に記録し、図８Ａの処理を終了する。 
　このようにして、膀胱Ｂの内壁における複数箇所でレリーズ操作を行った場合には、画像生成回路２１ｅは、例えば図６Ｃに示すような関連付け画像を生成し、メモリ２２は、生成された関連付け画像を記録する。なお、図６Ｃの関連付け画像においては、２Ｄモデル画像Ｍ２上と、３Ｄ画像Ｍ３上との両方の画像上に、内視鏡画像（のサムネイル画像）Ｉｉを付けて記録された内視鏡画像の位置を示すようにしているが、２Ｄモデル画像Ｍ２と、３Ｄ画像とにおける一方の画像上に内視鏡画像（のサムネイル画像）Ｉｉを付けて記録された内視鏡画像の位置を示すようにしても良い。後述する図１０以降の関連付け画像においては、例えば２Ｄモデル画像Ｍ２上において、内視鏡画像（のサムネイル画像）Ｉｉを付けて記録された内視鏡画像の位置を示すようにしている。
　術者は、関連付け画像の表示（再生表示）の指示操作を入力装置３０等から行うと、ＣＰＵ２２は図６Ｃに示す関連付け画像をモニタ６に表示するように制御する。図９Ａは関連付け画像の表示の処理を示す。 
　最初のステップＳ３１においてＣＰＵ２１は入力装置３０等から関連付け画像の表示の指示の入力を待つ。指示が入力されると、次のステップＳ３２においてＣＰＵ２１は、優先度Ｐｉのパラメータｉを１に設定する。 
　次のステップＳ３３においてＣＰＵ２２は、入力装置３０等から個別の内視鏡画像の表示の指示が有るか否かを判定する。術者は、優先順位に従って、記録された内視鏡画像を確認することができるが、優先順位とは別に、術者の意思で個別の内視鏡画像の表示を選択することができる。
　個別の内視鏡画像の表示の指示が無い判定結果の場合には、次のステップＳ３４においてＣＰＵ２１は、現在最も優先度Ｐｉが高い（つまり、病変発生頻度が最も高い部位の）内視鏡画像を表示するように制御する。現時点ではｉ＝１となる優先度Ｐｉ（ｉ＝１）の内視鏡画像がモニタ６に表示される。この場合の画像は、例えば図９Ｂとなる。また、図９Ｂ以外に、図３Ｂのように、優先度Ｐｉ（ｉ＝１）の内視鏡画像と共に、その右側に２Ｄモデル画像Ｍ２，３Ｄ画像Ｍ３も表示した表示形態や、図３Ｃに示すように優先度Ｐｉ（ｉ＝１）の内視鏡画像のみを表示するようにしても良い。 
　次のステップＳ３５においてＣＰＵ２１は、入力装置３０等から次の内視鏡画像の表示指示が有るか否かを判定する。次の内視鏡画像の表示指示が有る場合には次のステップＳ３６においてＣＰＵ２１は、優先度Ｐｉのｉを１つ大きくした後、ステップＳ３４の処理に戻る。この場合には図９Ｃ、または図９Ｄに示すように、２番目の優先度Ｐｉ（ｉ＝２）の内視鏡画像が表示されることになる。ステップＳ３５において、次の内視鏡画像の表示指示が無い場合にはステップＳ３６の処理を行うことなくステップＳ３９の処理に移る。
　一方、ステップＳ３３において個別の内視鏡画像の表示の指示が有る場合には、ステップＳ３７においてＣＰＵ２１は、指示された内視鏡画像を表示するように制御した後、次のステップＳ３８の処理に進む。ステップＳ３８においてＣＰＵ２１は、指示された内視鏡画像の表示を停止する指示が入力されるまで、指示された内視鏡画像の表示を続行する。 
　停止する指示が入力されると、ステップＳ３９においてＣＰＵ２１は、入力装置３０等から、表示終了の指示が入力されたか否かを判定し、表示終了の指示が入力されない場合にはステップＳ３３の処理に戻り、表示終了の指示が入力された場合には図９Ａの処理を終了する。 
　このように動作することにより、術者が望む指標生成用の項目（換言すると術者が望む特徴を反映した内容）に従って、優先度と関連付けて内視鏡画像を記録するようにしているので、術者が望む特徴を反映した内視鏡画像を優先して順次、複数の内視鏡画像を確認することが可能になる。このため、術者は、確認したいと望む複数の内視鏡画像を効率良く確認できる。上記の例では、病変発生頻度が高い部位の内視鏡画像から優先して順次確認することができる。
　上述した動作は、指標生成用の項目として膀胱Ｂの内壁における特徴となる病変発生頻度を選択した場合に、病変発生頻度に対応した指標を有する関連付け画像が生成される例で説明したが、病変発生頻度とは種類、又は内容が異なる特徴を反映する項目を選択することができる。以下、入力装置３０から病変発生頻度の項目以外の指標生成用の項目を選択した場合を説明する。 
　術者がレリーズ操作の順序に従って時系列に記録した複数の内視鏡画像を、時系列の記録順に優先するような特徴を反映した指標生成用の項目を選択した場合には、図８Ａに示す処理として、ステップＳ２１の次のステップＳ２２としてテーブルを参照することなく、レリーズ操作の順に優先度を決定し、レリーズ操作の順に内視鏡画像と共に、優先度、位置等の情報をメモリ２２に記録する。この場合、レリーズ操作の時間を記録し、該時間から優先度を決定するようにしても良い。
　この場合には、図１０に示すような関連付け画像が生成され、該関連付け画像がメモリ２２に記録される。図１０における優先度Ｐｉは、レリーズ操作の順序をＲｉとすると、レリーズ操作の順序Ｒｉと同じとなる。また、レリーズ操作の順序Ｒｉでなく、レリーズ操作の時間をＴｉとすると、優先度Ｐｉは、レリーズ操作の時間Ｔｉと同じとなる（つまりレリーズ操作の時間Ｔｉとしてレリーズ操作が時間的に前に操作された時間ほど優先度Ｐｉが高くなる）。 
　なお、図１０以降において図示する関連付け画像としては、２Ｄモデル画像Ｍ２上においてのみサムネイル画像の画像Ｎｏを付けて記録された内視鏡画像の位置を示している。図３Ａに示すように３Ｄ画像Ｍ３上においてもサムネイル画像の画像Ｎｏを付けて記録された内視鏡画像の位置を示すようにしても良い。また、３Ｄ画像Ｍ３上においてのみに、サムネイル画像の画像Ｎｏを付けて記録された内視鏡画像の位置を示す関連付け画像を生成するようにしても良い。
　図１１は病変の大きさを優先して指標生成用の項目を選択した場合に、生成される関連付け画像の１例を示す。この場合には、所定の特徴は、視覚的特徴であり、該視覚的特徴は幾何学的特徴ともなっている。また、以下に説明するように幾何学的特徴を定量化した定量値を生成する定量値生成部（又は定量値生成回路）を備える。 
　この場合には、例えば図１２に示す処理により優先度Ｐｉを付けた指標を生成する。最初のステップＳ４１においてＣＰＵ２１は、レリーズ操作の回数を表すパラメータｊを１に設定し、次のステップＳ４２においてＣＰＵ２１は、レリーズ操作を行うレリーズスイッチ１４がＯＮされるのを待つ。 
　レリーズスイッチ１４がＯＮされると、次のステップＳ４３においてＣＰＵ２１は、レリーズされたタイミングの内視鏡画像をメモリ２２に記録する。また、ステップＳ４４に示すようにＣＰＵ２１は、視点Ｐｖにおける視線方向Ｖ上に対向する膀胱内壁の位置Ｐｓの３次元座標（Ｘ，Ｙ，Ｚ）を算出し、算出した位置Ｐｓの３次元座標の情報も内視鏡画像に関連付けて記録する。これにより２Ｄモデル画像上又は３Ｄ画像上において記録された内視鏡画像の位置を重畳（付加）することができる状態となる。
　また、ステップＳ４５に示すようにＣＰＵ２１は、視点Ｐｖから位置Ｐｓまでの距離Ｌを算出する。換言すると、定量値生成部を形成する距離算出回路２１ａは、視点を所定の定量化基準位置（定量化の基準位置）とし、視点から内壁上の位置Ｐｓまでの距離Ｌを定量値として算出する。なお、後述するように膀胱Ｂにおける所定の特徴位置としての尿道（頸部）を所定の定量化基準位置に設定して指標を生成したり、該指標と内視鏡画像等を関連付けた関連付け画像を生成するようにしても良い。 
　次のステップＳ４６においてＣＰＵ２１は、内視鏡画像における病変（部分）を抽出し、距離Ｌの情報を用いて、幾何学的特徴を形成する病変（部分）の大きさを算出し、内視鏡画像に関連付けて記録する。 
　次のステップＳ４７においてＣＰＵ２１は、レリーズ操作による記録の終了の指示が入力されたか否かを判定し、終了でない場合には次のステップＳ４８においてＣＰＵ２１は、パラメータｊを１つ大きくしてステップＳ４２の処理に戻る。記録の終了の指示が入力された場合には、次のステップＳ４９においてＣＰＵ２１は、ｊ回の内視鏡画像の記録において病変が大きい順に優先度を付ける。
　次のステップＳ５０においてＣＰＵ２１は、記録した内視鏡画像に関連付けて記録した大きさの情報を優先度の情報に置換して、メモリ２２に記録し、図１２の処理を終了する。このような処理を行うことにより、画像生成回路２１ｅは、図１１に示した関連付け画像を生成する。 
　図１２に示す処理により、図１１に示すような関連付け画像が生成されるが、上記幾何学的特徴を形成する病変の大きさの代わりに、幾何学的特徴を形成する幾何学的形状となる病変の形状（より具体的には病変の悪性度の高い形状）順を優先度の高い順序とする指標と、関連付け画像を生成するようにしても良い。 
　この場合には、例えば図１２において、ステップＳ４５を削除し、ステップＳ４６，Ｓ４９，Ｓ５０を病変の形状に対応した処理内容に変更すれば良い。 
　また、上記幾何学的特徴を形成する幾何学的形状となる病変の形状（病変の悪性度の高い形状）順の代わりに病変の色彩又は色（色彩的特徴）を優先度の高い順序とする指標と、関連付け画像を生成するようにしても良い。この場合には、レリーズされて記録される内視鏡画像（観察画像とも言う）における例えばＲ，Ｇ，Ｂ成分画像における各画素値を抽出して、該内視鏡画像における色彩的特徴の定量値を算出する処理を行う。
　また、レリーズ操作した場合の視点から内壁までの距離が小さい程、優先度を高くする指標を生成し（て関連付け画像を生成し）ても良い。この場合、近接した距離が小さい状態で記録した内視鏡画像程、術者にとっての情報量が多いと考えられるために優先度を高くする。この場合に対しても、図１２の処理を、より簡略化した処理により優先度を付けて指標等を生成できる。 
　図１３は、所定の特徴位置としての尿道（頸部）から内壁の位置Ｐｓまでの距離に応じて、該距離が小さい場合を優先する指標生成用の項目を選択（設定）した場合に、生成される関連付け画像の１例を示す。 
　図１３の関連付け画像は、図１２に示す処理における距離Ｌを、視点Ｐｖを尿道（頸部）に置換した距離とし、距離の小さい順に優先度を付けるようにすることにより得られる。
　図１４は、膀胱Ｂの内部でランダムバイオプシーを行う場合の順序を指標を生成する項目として選択した場合に、生成される関連付け画像の１例を示す。この場合、ランダムバイオプシーを行う場合の順序Ｂｉが優先度Ｐｉとなる。なお、図１５は、膀胱Ｂの断面図においてランダムバイオプシーを行う場合の順序Ｂｉを示す。 
　この他に、過去に手術した箇所からの距離に応じた特徴を反映する（項目を選択して）指標を生成し（て関連付け画像を生成し）ても良い。 
　また、通常光観察モードと特殊光観察モード（狭義には狭帯域光観察モード）とにおいて、内視鏡画像を記録した場合においては、特殊光観察モードにおいて記録した内視鏡画像を優先するように指標を生成し（て関連付け画像を生成し）ても良い。 
　また、上述した例では、主に複数の項目又は複数の特徴から１つの項目又は特徴を選択して、指標や関連付け画像を生成する場合を説明したが、複数の項目や複数の特徴を組み合わせて指標を生成するようにしても良い。
　図１６は、例えば図６Ａ又は図６Ｂに示すテーブルによる優先度（病変発生頻度の特徴に基づく優先度）の他に、視点Ｐｖからの距離Ｌを考慮して指標を生成する処理を示す。 
　この場合の処理は、例えば図１２の処理を一部変更した処理となる。ステップＳ４１からステップＳ４５までは図１２の処理と同様であり、ステップＳ４５の次にステップＳ６１に示すようにテーブルを参照し、位置Ｐｓが該当する領域を求め、該領域の優先度Ｐｉを暫定的な優先度として算出し、その場合、距離Ｌの情報も付加する。例えばパラメータｊでの位置Ｐｓの暫定的な優先度Ｐｉ（Ｌ）を付加して、内視鏡画像に関連付けてメモリ２２に記録する。次にステップＳ４７の処理を行い、記録終了の指示でない場合にはステップＳ４８を経てステップＳ４３の処理に戻る。 
　一方、記録終了の指示の場合にはステップＳ６２に示すように暫定的な優先度Ｐｉ（Ｌ）を、テーブルの優先度の区分け順に従って、順序づける。この場合、距離Ｌを除外した場合に、優先度が等しくなる場合には、距離Ｌが小さい方を、優先度が高いと判定する。
　例えば、図６Ａ又は図６Ｂのテーブルにおいては同じ領域に含まれる領域部分を、異なる距離から観察して（複数回）記録した場合には、テーブルにより決定される優先度は同じ優先度として算出されるが、図１６の処理により、距離が小さい方をより高い優先度にするように修正する。 
　次のステップＳ６３において、ステップＳ６２により修正した優先度を最終的な優先度としてメモリ２２に内視鏡画像に関連付けて記録し、図１６の処理を終了する。 
　図１７は図１６の動作の説明図を示す。図１７においては、例えば５回、内視鏡画像を記録し、その場合、図６Ａ又は図６Ｂのテーブルにおいて等しい優先度の領域内で複数回、記録した場合、テーブルから求められる優先度と共に、距離Ｌを付けて記録している。上記のように優先度が等しくなる場合には、最終的な優先度（図１７における最も右の欄）として距離Ｌが小さい方を、優先度が高いと判定する。なお、括弧で示すように等しい優先度のものに関して、さらに順序づける番号を付けて、最終的な優先度を表すようにしても良い。例えばＰ２－２はＰ２－３よりも優先度が高く、Ｐ２－１よりも優先度が低い。
　図１６の処理のように行うことにより、１つの項目のみの特徴においては等しい優先度が発生するような場合に対しても、適切に優先度の順序付けができる。 
　このように本実施形態によれば、術者が望む順序で複数の画像を優先して確認することを可能とする医療装置を提供することができる。 
　また、本実施形態によれば、互いに異なる複数の特徴を反映した項目から選択して、選択された特徴を反映する指標を付けた関連付け画像を生成することができるので、術者の要望が異なる場合にも、広範囲に対応できる。 
　また、複数の特徴を組み合わせた内容の指標を付けた関連付け画像を生成することができるので、術者の詳細な要望にも対応することができる。 
　なお、図１６，図１７は、１つの項目に対して、この項目とは異なる距離に関する項目を組み合わせた例を説明したが、上述した複数の項目又は特徴における任意の２つ又は３つの項目又は特徴を適宜に組み合わせて関連付け画像を生成するようにしても良い。
　本実施形態では、膀胱Ｂの球体としたが、膀胱Ｂの形状を楕円体、円錐体等の既知の形状としても良い。 
　さらに、検査前にＣＴ、ＭＲＩ、超音波等の装置で撮影した画像を利用して膀胱Ｂの内壁形状を取得するようにしても良い。
　本出願は、２０１４年１１月１７日に日本国に出願された特願２０１４―２３２９３６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本明細書、請求の範囲、図面に引用されたものとする。

Claims (17)

  1. 　所定の管腔臓器内に設けられた所定の視点の位置情報と視線情報を取得する情報取得部と、
    　前記所定の視点から前記所定の管腔臓器内を観察した画像を取得する画像取得部と、
    　前記位置情報及び前記視線情報を、前記所定の管腔臓器の形状の座標系に合わせ込む位置合わせ部と、
    　前記位置合わせ部によって前記所定の管腔臓器の形状に対して合わせ込まれた前記位置情報及び前記視線情報に基づき、前記所定の視点から前記視線方向に対向する前記所定の管腔臓器の内壁の位置情報を算出する位置算出部と、
    　前記画像取得部による画像取得、若しくは前記内壁における所定の特徴に基づき規定される指標を生成する指標生成部と、
    　前記指標生成部により生成された前記指標を、前記画像取得部により取得された前記画像に関連付ける関連付け部と、
    　前記所定の管腔臓器の３次元画像又は当該所定の管腔臓器を展開した２次元モデル画像上において、前記指標と前記内壁の位置情報とを関連付けた画像を生成する画像生成部と、
    　を備えることを特徴とする医療装置。
  2. 　更に、前記視点の位置から前記位置算出部により算出された前記内壁の位置までの距離を算出する距離算出部を有することを特徴とする請求項１に記載の医療装置。
  3. 　前記指標生成部は、前記画像取得部により取得された前記画像に対して、前記所定の特徴に基づいて優先順位付けの情報を有する前記指標を生成することを特徴とする請求項１に記載の医療装置。
  4. 　更に、レリーズ操作された際に前記画像取得部により取得された観察画像を記録する画像記録部を有し、
    　前記指標生成部は、レリーズ操作された際に前記画像取得部により取得された前記観察画像に対して、前記所定の特徴に基づいて優先順位付けの情報を有する前記指標を生成し、
    　前記画像記録部は、前記優先順位付けの情報を有する前記指標を、前記観察画像と、該観察画像が取得された前記所定の管腔臓器の内壁上の位置の情報に関連付けて記録することを特徴とする請求項１に記載の医療装置。
  5. 　更に、前記所定の特徴としての視覚的特徴を定量化した定量値を生成する定量値生成部を有し、
    　前記指標生成部は、前記定量値の大きさに基づき、前記内壁に対応つける前記指標を決定することを特徴とする請求項１に記載の医療装置。
  6. 　更に、前記所定の特徴としての視覚的特徴を定量化した定量値を生成する定量値生成部を有し、
    　前記指標は、規則性を備えた記号であり、
    　前記関連付け部は、前記定量値の大きさの順番を前記記号に対応付け、前記画像取得部が前記観察画像を取得することに応じて、取得された前記画像に対応する観察部位の前記定量値に基づき前記記号による前記指標の優先順位付けの情報を決定することを特徴とする請求項３に記載の医療装置。
  7. 　前記関連付け部は、前記所定の特徴として前記内壁における病変発生頻度が指定された場合には、前記病変発生頻度に応じて区分された領域と、前記画像取得部により取得された前記画像とを関連付けることを特徴とする請求項１に記載の医療装置。
  8. 　更に、前記内壁において、予め所定の特徴に基づいて区分けした複数の領域に対して、各領域毎にそれぞれ異なる優先準位を付けたテーブルデータを格納するテーブルデータ格納部を有し、前記指標生成部は、前記画像取得部より取得した前記画像における前記視線方向上となる前記位置情報が前記テーブルデータにおけるいずれの領域に含まれるかに応じて前記優先順位付けの情報を有する前記指標を生成することを特徴とする請求項３に記載の医療装置。
  9. 　更に、前記所定の特徴としての視覚的特徴を定量化した定量値を生成する定量値生成部を有し、
    　前記定量値は、所定の定量化基準位置からの距離であり、前記所定の定量化基準位置は、前記視点又は前記所定の管腔臓器中の所定の特徴位置であることを特徴とする請求項１に記載の医療装置。
  10. 　更に、前記所定の特徴としての幾何学的特徴を定量化した定量値を生成する定量値生成部を有し、
    　前記定量値は、前記幾何学的特徴の幾何学的形状を示す幾何学的特徴量であることを特徴とする請求項１に記載の医療装置。
  11. 　更に、前記所定の特徴としての視覚的特徴を形成する色彩的特徴を定量化した定量値を生成する定量値生成部を有することを特徴とする請求項１に記載の医療装置。
  12. 　更に、前記所定の特徴を定量化する定量値として、前記画像取得部により取得される前記画像の画素値を生成する定量値生成部を有することを特徴とする請求項３に記載の医療装置。
  13. 　前記被検体からの光を受け、前記被検体の光学像を結像する対物光学系と、
    　前記位置情報と前記視線情報として前記情報取得部によって取得された前記対物光学系の位置情報と視線情報を、前記所定の管腔臓器の形状に対して合わせ込む位置合わせ部と、を備えることを特徴とする請求項１に記載の医療装置。
  14. 　前記指標生成部が生成する指標を決定する前記所定の特徴として、前記画像取得部が前記画像を取得した時間を選択する選択部を有することを特徴とする請求項１に記載の医療装置。
  15. 　前記指標生成部が生成する指標を決定する前記所定の特徴として、前記内壁における病変発生頻度を選択する選択部を有することを特徴とする請求項１に記載の医療装置。
  16. 　前記画像記録部に記録された前記観察画像の再生指示がされた場合には、前記優先順位付けの情報を有する前記指標における前記優先順位付けが高い指標に関連付けられた観察画像を優先して読み出し、表示装置に表示する制御部を有することを特徴とする請求項１に記載の医療装置。
  17. 　前記画像記録部に記録された前記観察画像における複数枚の画像再生の指示がされた場合には、前記優先順位付けが高い指標に関連付けられた観察画像を優先して前記複数枚だけ読み出し、表示装置に表示すると共に、前記表示装置に表示された前記複数枚の観察画像に関連付けた前記優先順位付けの情報を有する前記指標を前記３次元画像上又は前記２次元モデル画像上に重畳して表示する制御部を有することを特徴とする請求項１に記載の医療装置。
PCT/JP2015/082076 2014-11-17 2015-11-16 医療装置 WO2016080331A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016543261A JP6022133B2 (ja) 2014-11-17 2015-11-16 医療装置
US15/385,505 US10231601B2 (en) 2014-11-17 2016-12-20 Medical apparatus for associating index indicating priority corresponding to lesion occurrence frequency with position of inner wall opposing in visual line direction of endoscope the position being one at which image is acquired

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-232936 2014-11-17
JP2014232936 2014-11-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/385,505 Continuation US10231601B2 (en) 2014-11-17 2016-12-20 Medical apparatus for associating index indicating priority corresponding to lesion occurrence frequency with position of inner wall opposing in visual line direction of endoscope the position being one at which image is acquired

Publications (1)

Publication Number Publication Date
WO2016080331A1 true WO2016080331A1 (ja) 2016-05-26

Family

ID=56013868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082076 WO2016080331A1 (ja) 2014-11-17 2015-11-16 医療装置

Country Status (3)

Country Link
US (1) US10231601B2 (ja)
JP (1) JP6022133B2 (ja)
WO (1) WO2016080331A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018166932A (ja) * 2017-03-30 2018-11-01 Hoya株式会社 内視鏡システム
US11872077B2 (en) * 2016-09-12 2024-01-16 Fujifilm Corporation Ultrasound diagnostic system and method of controlling ultrasound diagnostic system
WO2024171780A1 (ja) * 2023-02-16 2024-08-22 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7051307B2 (ja) * 2016-05-09 2022-04-11 キヤノンメディカルシステムズ株式会社 医用画像診断装置
JPWO2018020558A1 (ja) * 2016-07-25 2019-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019215869A1 (ja) * 2018-05-10 2019-11-14 オリンパス株式会社 アブレーション処置具の制御装置、アブレーションシステムおよび回腸粘膜のアブレーション処置方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136579A1 (ja) * 2013-03-06 2014-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2014148184A1 (ja) * 2013-03-19 2014-09-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319781B2 (en) * 2003-10-06 2008-01-15 Carestream Health, Inc. Method and system for multiple passes diagnostic alignment for in vivo images
WO2005053518A1 (ja) * 2003-12-05 2005-06-16 Olympus Corporation 表示処理装置
JP4537803B2 (ja) 2004-08-27 2010-09-08 オリンパス株式会社 画像表示装置
US8139818B2 (en) * 2007-06-28 2012-03-20 Toshiba Tec Kabushiki Kaisha Trajectory processing apparatus and method
JP4789961B2 (ja) 2008-02-08 2011-10-12 オリンパス株式会社 画像表示装置
CN102421350B (zh) * 2009-03-11 2014-12-17 奥林巴斯医疗株式会社 图像处理系统、其外部装置及其图像处理方法
JP6301332B2 (ja) * 2012-08-14 2018-03-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のビジョンシステムのレジストレーションのためのシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136579A1 (ja) * 2013-03-06 2014-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2014148184A1 (ja) * 2013-03-19 2014-09-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11872077B2 (en) * 2016-09-12 2024-01-16 Fujifilm Corporation Ultrasound diagnostic system and method of controlling ultrasound diagnostic system
JP2018166932A (ja) * 2017-03-30 2018-11-01 Hoya株式会社 内視鏡システム
WO2024171780A1 (ja) * 2023-02-16 2024-08-22 富士フイルム株式会社 医療支援装置、内視鏡、医療支援方法、及びプログラム

Also Published As

Publication number Publication date
JP6022133B2 (ja) 2016-11-09
US20170095136A1 (en) 2017-04-06
US10231601B2 (en) 2019-03-19
JPWO2016080331A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6022133B2 (ja) 医療装置
US9516993B2 (en) Endoscope system
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5580637B2 (ja) 画像処理装置、内視鏡装置の作動方法及びプログラム
US9662042B2 (en) Endoscope system for presenting three-dimensional model image with insertion form image and image pickup image
US20230281968A1 (en) Recording Medium, Method for Generating Learning Model, Surgical Support Device and Information Processing Method
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5993515B2 (ja) 内視鏡システム
WO2013140667A1 (ja) 画像処理装置
JPWO2014156378A1 (ja) 内視鏡システム
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP7050817B2 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム
JP5750669B2 (ja) 内視鏡システム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
WO2015194242A1 (ja) 画像処理装置
WO2022190366A1 (ja) 内視鏡用形状計測システムおよび内視鏡用形状計測方法
WO2017212725A1 (ja) 医療用観察システム
WO2016076262A1 (ja) 医療装置
WO2016098665A1 (ja) 医療機器システム、医療機器システムの作動方法
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
US20240057847A1 (en) Endoscope system, lumen structure calculation system, and method for creating lumen structure information
JP2011024913A (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
WO2016039292A1 (ja) 内視鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016543261

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15861954

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15861954

Country of ref document: EP

Kind code of ref document: A1