[go: up one dir, main page]

JP2008237369A - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP2008237369A
JP2008237369A JP2007079682A JP2007079682A JP2008237369A JP 2008237369 A JP2008237369 A JP 2008237369A JP 2007079682 A JP2007079682 A JP 2007079682A JP 2007079682 A JP2007079682 A JP 2007079682A JP 2008237369 A JP2008237369 A JP 2008237369A
Authority
JP
Japan
Prior art keywords
image
unit
image data
imaging
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007079682A
Other languages
Japanese (ja)
Inventor
Katsuyuki Hagiwara
克行 萩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007079682A priority Critical patent/JP2008237369A/en
Publication of JP2008237369A publication Critical patent/JP2008237369A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing device which can reduce overlooks by a user such as an operator without necessitating the operation of a switch or the like, and to provide an image processing method. <P>SOLUTION: The image processing device is provided with an imaging section 110, an image accumulation section 1191 accumulating image data imaged by the imaging section 110, an image reproduction section 1192 reproducing image data accumulated by the image accumulation section 191, a gaze information receiving section 1121 detecting the direction of an arbitrarily set person's gaze toward a display device 13 displaying image data reproduced by the image reproduction section 1192, a reproduction control section 1193 controlling the actions of the image reproduction section 1192 in accordance with the result of detection by the gaze information receiving section 1121. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、X線画像診断等の画像診断に好適な画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method suitable for image diagnosis such as X-ray image diagnosis.

従来、可視光画像、超音波探査画像又はX線透視画像を利用した画像診断装置が利用されている。動画像向けX線診断装置においては、撮影したX線動画像データを保存する、所謂シネ撮影機能、又は所定期間の動画像データの再生を繰り返す、所謂シネ・ループ機能を装備するものが一般的である。また、内視鏡を用いた診断でも、表示画像データを録画することが広く行われている。こうした装置において、再生機能の操作は一般的には機器上のボタン又は図5Aのような表示画面上のボタンを操作することによって行われている。   Conventionally, diagnostic imaging apparatuses using a visible light image, an ultrasonic exploration image, or an X-ray fluoroscopic image have been used. A moving image X-ray diagnostic apparatus is generally equipped with a so-called cine imaging function for storing captured X-ray moving image data, or a so-called cine loop function for repeatedly reproducing moving image data for a predetermined period. It is. Also, recording of display image data is widely performed in diagnosis using an endoscope. In such a device, the playback function is generally operated by operating a button on the device or a button on the display screen as shown in FIG. 5A.

しかしながら、ボタンを操作する際には、表示画面から視線をボタンに移す必要がある。そこで、表示画面から視線を外さずに操作可能とすること、及び操作性の改善が求められている。これは、画像診断装置において、使用者が出力画像を注視していないことによる見落としを防止するためである。   However, when operating the button, it is necessary to shift the line of sight from the display screen to the button. Therefore, it is required to be operable without removing the line of sight from the display screen and to improve operability. This is to prevent oversight due to the user not paying attention to the output image in the diagnostic imaging apparatus.

従来、医療現場においてX線画像診断装置を用いて透視や動画撮影を行う場合、一般的に、X線曝射の制御は診療行為を実施する者(以下、術者とする)の操作か、術者の補助を行う放射線技師によって行われている。   Conventionally, when performing fluoroscopy or video shooting using an X-ray diagnostic imaging apparatus in a medical field, generally, the control of X-ray exposure is the operation of a person who performs a medical practice (hereinafter referred to as an operator), It is performed by a radiologist who assists the surgeon.

X線画像診断装置を手術中に用いる場合には、術者は手に手術器具を保持しているので、清潔を維持しなければならない。そこで、特に手術支援用途に用いられるX線画像診断装置においては、曝射スイッチの形態はフットペダル式であることが多い。フットペダル式の曝射スイッチの場合、術者が前記フットペダルを踏下している期間、X線曝射がなされる。その一方で、手術中において術者は、血圧及び心電図等の情報を把握するために、他の測定機器にも注意を払わねばならず、常にX線画像診断装置の透視画像を注視できるわけではない。   When the X-ray diagnostic imaging apparatus is used during surgery, the surgeon holds the surgical instrument in his hand, and thus must maintain cleanliness. In view of this, in particular, in an X-ray image diagnostic apparatus used for surgery support applications, the form of the exposure switch is often a foot pedal type. In the case of a foot pedal type exposure switch, X-ray exposure is performed while the operator is stepping on the foot pedal. On the other hand, during the operation, the operator must pay attention to other measuring devices in order to grasp information such as blood pressure and electrocardiogram, and cannot always watch the fluoroscopic image of the X-ray diagnostic imaging apparatus. Absent.

画像診断装置においては、使用者が出力画像を見ることが重要である。しかしながら、上記のように視線を外さざるを得ない状況も存在するため、視線を外している間に重要な画像を見逃してしまう可能性がある。   In an image diagnostic apparatus, it is important for a user to see an output image. However, as described above, there is a situation in which the line of sight must be removed, so that an important image may be missed while the line of sight is removed.

録画・再生装置を併用することで、見落とした期間に対応する画像を遡って確認することは可能であるが、巻き戻し、及び再生のための操作が必要である。また、同一部位を継続して撮影している場合は、変化に乏しく、どのフレームまで確認済みで、どのフレームで視線を外したのか判別が難しい。更に、操作性においても、所望のフレームに正確に巻き戻すことが難しいため、操作に時間がかかる。そして、操作の間に新たな見落としが発生することもある。   By using the recording / playback device in combination, it is possible to check back the image corresponding to the overlooked period, but rewinding and playback operations are required. Further, when the same part is continuously photographed, the change is scarce, and it is difficult to determine which frame has been confirmed and which line of sight has been removed. Further, in terms of operability, it is difficult to accurately rewind to a desired frame, so that the operation takes time. And a new oversight may occur during the operation.

また、内視鏡検査において腫瘍を発見した場合、その一部を精密検査のために切除して取り出すことも行われている。このため、異常があれば、それを検査中に発見することが望ましい。また、消化管内部には湾曲部及びひだ等があり、それらの裏側等は観察しにくい。このため、その観察のためには、内視鏡を回転させながら動かす操作等が必要とされるが、この操作は患者にとって苦痛であり、また、消化管が傷つくこともある。このため、なるべく手早く検査を終えることが望ましい。   In addition, when a tumor is discovered by endoscopy, a part of the tumor is excised and taken out for close examination. For this reason, it is desirable to detect any abnormality during inspection. In addition, there are curved portions and folds in the digestive tract, and the back side thereof is difficult to observe. For this reason, an operation for moving the endoscope while rotating it is necessary for the observation, but this operation is painful for the patient, and the digestive tract may be damaged. For this reason, it is desirable to finish the inspection as quickly as possible.

このような要請に対し、観察者が医用動画像から視線をそらさずに医用動画像の再生制御を行う目的で、ボタンやスイッチの操作に代えて画面の特定領域の選択により再生制御を行う技術がある。この技術では、図5Bのように表示画面をいくつかの領域に区分しておいて、例えば、領域501に右回転、領域502に通常再生、領域503に早送りの機能を対応付けておく(特許文献1参照)。   In response to such a request, a technique for performing reproduction control by selecting a specific area of the screen instead of operating a button or switch for the purpose of performing reproduction control of the medical moving image without the observer diverting the line of sight from the medical moving image There is. In this technique, the display screen is divided into several areas as shown in FIG. 5B. For example, the area 501 is associated with the right rotation function, the area 502 is normally reproduced, and the area 503 is associated with the fast-forward function (patent). Reference 1).

特開平9-116868号公報JP-A-9-116868

しかしながら、特許文献1に記載された従来の技術によっても、依然として特定領域を選択する必要があり、注目すべき領域と異なる領域を選択する場合に診断用の画像から注意が逸れることある。また、術者の所望の操作に時間がかかることがある。   However, even with the conventional technique described in Patent Document 1, it is still necessary to select a specific region, and attention may be distracted from the diagnostic image when a region different from the region of interest is selected. Further, it may take time for the operator's desired operation.

本発明は、スイッチ等の操作を必要とせずに、術者等の使用者による見落としを低減することができる画像処理装置及び画像処理方法を提供することを目的とする。   An object of the present invention is to provide an image processing apparatus and an image processing method capable of reducing oversight by a user such as an operator without requiring operation of a switch or the like.

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。   As a result of intensive studies to solve the above problems, the present inventor has come up with various aspects of the invention described below.

本発明に係る画像処理装置は、撮像手段の撮像によって得られた画像データを蓄積する蓄積手段と、前記蓄積手段により蓄積された画像データを再生する再生手段と、表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出手段と、前記注視検出手段による検出結果に応じて、前記再生手段の動作を制御する制御手段と、を有することを特徴とする。   An image processing apparatus according to the present invention is arbitrarily set in a storage unit that stores image data obtained by imaging by an imaging unit, a playback unit that plays back image data stored in the storage unit, and a display unit. It has gaze detection means for detecting whether or not a person's line of sight is directed, and control means for controlling the operation of the reproduction means according to the detection result by the gaze detection means.

本発明に係る画像処理方法は、撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、を有することを特徴とする。   An image processing method according to the present invention includes an accumulation step of accumulating image data obtained by imaging by an imaging unit in an accumulation unit, a reproduction step of reproducing the image data accumulated in the accumulation unit in the accumulation step, and a display A gaze detection step for detecting whether or not a gaze of an arbitrarily set person is directed to the means, and a control step for controlling an operation in the regeneration step according to a detection result in the gaze detection step. It is characterized by that.

本発明によれば、スイッチ等の操作がなくとも、視線の検出に基づいて再生の制御が行われるので、視線が表示手段から外れている期間があっても、表示手段に戻った時から再生することができる。このため、使用者の見落としを低減することができる。更に、撮像動作を視線の向きに連動させることも可能である。   According to the present invention, even if there is no operation of a switch or the like, the reproduction is controlled based on the detection of the line of sight. Therefore, even when there is a period when the line of sight is off the display unit, the reproduction is performed from the time when the display unit returns. can do. For this reason, an oversight of a user can be reduced. Furthermore, the imaging operation can be linked to the direction of the line of sight.

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。   Hereinafter, embodiments of the present invention will be specifically described with reference to the accompanying drawings.

(第1の実施形態)
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係るX線画像診断装置の構成を示す機能ブロック図である。また、図2は、X線画像診断システムを示す図である。
(First embodiment)
First, a first embodiment of the present invention will be described. FIG. 1 is a functional block diagram showing the configuration of the X-ray image diagnostic apparatus according to the first embodiment of the present invention. FIG. 2 is a diagram showing an X-ray image diagnostic system.

本実施形態に係るX線画像診断装置11(画像処理装置)は、例えば、図2に示すように、Cアーム型装置であるが、これに限定されない。X線画像診断装置11には、図1に示すように、撮像部110、管理部111、通信部112、操作部113、表示画像選択部118、画像蓄積部1191、画像再生部1192、及び画像制御部1193が設けられている。   The X-ray image diagnostic apparatus 11 (image processing apparatus) according to the present embodiment is a C-arm type apparatus as shown in FIG. 2, for example, but is not limited thereto. As shown in FIG. 1, the X-ray image diagnostic apparatus 11 includes an imaging unit 110, a management unit 111, a communication unit 112, an operation unit 113, a display image selection unit 118, an image storage unit 1191, an image reproduction unit 1192, and an image. A control unit 1193 is provided.

管理部111は、図示していないが、X線画像診断装置11内の各部と接続されており、各部の制御を行う。   Although not shown, the management unit 111 is connected to each unit in the X-ray image diagnostic apparatus 11 and controls each unit.

撮像部110には、X線曝射制御部114、X線発生部115、X線受像部116、及び画像処理部117が設けられている。X線曝射制御部114は、X線発生条件を決定し、X線発生部115に印加する管電圧、管電流、及びパルス幅を制御する。X線曝射制御部114は、タイマ1141を有しており、所定の時間間隔で曝射制御を行うことが可能である。X線発生部115には、X線発生管1151が設けられており、このX線発生管1151は、X線曝射制御部114による制御に基づいてX線を発生させる。X線受像部116は、X線発生部115により曝射され被検体を透過したX線を検出し、透視画像を取得する。画像処理部117は、X線受像部116により取得されたX線画像データに対して、ノイズ低減及びゲイン調整等の加工を必要に応じて行う。また、画像処理部117は、タイマ1141の時刻に従って画像データが取得された時刻をフレームごとに関連付ける。   The imaging unit 110 is provided with an X-ray exposure control unit 114, an X-ray generation unit 115, an X-ray image receiving unit 116, and an image processing unit 117. The X-ray exposure control unit 114 determines X-ray generation conditions and controls the tube voltage, tube current, and pulse width applied to the X-ray generation unit 115. The X-ray exposure control unit 114 includes a timer 1141 and can perform exposure control at predetermined time intervals. The X-ray generation unit 115 is provided with an X-ray generation tube 1151, and the X-ray generation tube 1151 generates X-rays based on control by the X-ray exposure control unit 114. The X-ray image receiving unit 116 detects X-rays that are exposed by the X-ray generation unit 115 and transmitted through the subject, and acquires a fluoroscopic image. The image processing unit 117 performs processing such as noise reduction and gain adjustment on the X-ray image data acquired by the X-ray image receiving unit 116 as necessary. Further, the image processing unit 117 associates the time when the image data is acquired according to the time of the timer 1141 for each frame.

通信部112は、院内での情報管理等を行う外部装置(図示せず)と通信を行う。通信部112には、注視情報受信部1121が設けられており、この注視情報受信部1121は、図2に示す注視検出装置12によって判定された表示装置注視の判定信号を受信する。つまり、注視情報受信部1121は、判定信号に基づいて表示装置13に視線が向けられているか否かを検出する。   The communication unit 112 communicates with an external device (not shown) that performs information management in the hospital. The communication unit 112 is provided with a gaze information receiving unit 1121. The gaze information receiving unit 1121 receives a display device gaze determination signal determined by the gaze detection device 12 illustrated in FIG. That is, the gaze information receiving unit 1121 detects whether or not the line of sight is directed to the display device 13 based on the determination signal.

操作部113は、術者の操作を受け付ける。操作部113には、X線曝射の実施の指示のためのX線曝射指示部1131、X線量の調整のためのX線量調整部1132、及びX線画像診断装置11の状態を表示する表示部1133が設けられている。X線曝射指示部1131は術者がX線画像診断装置11に対してX線曝射指示を行うためのスイッチであり、例えば、図2に示すCアーム型装置のフットペダルに相当する。   The operation unit 113 receives a surgeon's operation. The operation unit 113 displays the states of an X-ray exposure instruction unit 1131 for instructing execution of X-ray exposure, an X-ray dose adjustment unit 1132 for adjusting the X-ray dose, and the X-ray image diagnostic apparatus 11. A display portion 1133 is provided. The X-ray exposure instruction unit 1131 is a switch for the operator to give an X-ray exposure instruction to the X-ray image diagnostic apparatus 11, and corresponds to, for example, a foot pedal of the C-arm type apparatus shown in FIG.

画像蓄積部1191は、画像処理部117により加工された画像データを保存するハードディスクドライブ等の蓄積装置である。   The image storage unit 1191 is a storage device such as a hard disk drive that stores image data processed by the image processing unit 117.

画像再生部1192は、画像蓄積部1191により保存された画像データを再生する。   The image playback unit 1192 plays back the image data stored by the image storage unit 1191.

再生制御部1193は、注視情報受信部1121が受信した表示装置注視の判定信号(検出結果)に応じて、画像蓄積部1191、画像再生部1192、及び表示画像選択部118の動作を制御する。   The reproduction control unit 1193 controls the operations of the image storage unit 1191, the image reproduction unit 1192, and the display image selection unit 118 according to the display device gaze determination signal (detection result) received by the gaze information reception unit 1121.

表示画像選択部118は、再生制御部1193の制御に従って、画像蓄積部1191を介さずに撮像部117によって取得された画像、及び画像再生部1192による再生画像のうち一方を選択し、これらの一方を図2に示す表示装置13に表示させる。表示画像選択部118は、主に、注視検出装置12において術者の視線が表示装置13に向けられていないときに取得された画像データが画像蓄積部1191に未再生の状態で存在していない場合に、撮像部110により撮像された画像データの出力を選択する。一方、注視検出装置12において術者の視線が表示装置13に向けられていないときに取得された画像データが画像蓄積部1191に未再生の状態で存在する場合には、表示画像選択部118は、画像再生部1192により再生された画像データの出力を選択する。   Under the control of the reproduction control unit 1193, the display image selection unit 118 selects one of the image acquired by the imaging unit 117 without going through the image storage unit 1191 and the reproduction image by the image reproduction unit 1192, and Is displayed on the display device 13 shown in FIG. The display image selection unit 118 mainly does not have image data acquired when the operator's line of sight is not directed at the display device 13 in the gaze detection device 12 in an unreproduced state in the image storage unit 1191. In this case, output of image data captured by the imaging unit 110 is selected. On the other hand, when the image data acquired when the gaze of the operator is not directed to the display device 13 in the gaze detection device 12 is present in the image storage unit 1191 in an unreproduced state, the display image selection unit 118 is The output of the image data reproduced by the image reproduction unit 1192 is selected.

画像データの蓄積処理において、再生制御部1191は、注視検出装置12において術者の視線が表示装置13に向けられていなかったときの不図示の内蔵タイマに従う期間情報を内蔵メモリに保持しておく。そして、再生制御部1191は、撮像部110によって取得された画像データのフレームに関連付けられた時刻がこの期間内である場合、術者の視線が表示装置13に向けられていなかった旨を示すフラグaを該当する画像データのフレームに付加する。そして画像蓄積部1191に蓄積する。   In the image data accumulation process, the reproduction control unit 1191 holds in the built-in memory period information according to a built-in timer (not shown) when the gaze of the surgeon is not directed to the display device 13 in the gaze detection device 12. . Then, when the time associated with the frame of the image data acquired by the imaging unit 110 is within this period, the reproduction control unit 1191 has a flag indicating that the operator's line of sight has not been directed to the display device 13. a is added to the frame of the corresponding image data. Then, the image is accumulated in the image accumulation unit 1191.

再生制御部1193は、注視検出装置12において術者の視線が表示装置13に向けられていることが検出された場合、表示画像選択部118に対して、画像再生部1192から出力される画像データを選択させる。この制御とともに、再生制御部1193は、フラグaが付加されたフレームの画像データを画像蓄積部19から読み出し、画像再生部1192に再生処理を実行させる。   When the gaze detection device 12 detects that the operator's line of sight is directed to the display device 13, the reproduction control unit 1193 outputs image data output from the image reproduction unit 1192 to the display image selection unit 118. To select. Along with this control, the playback control unit 1193 reads out the image data of the frame to which the flag a is added from the image storage unit 19 and causes the image playback unit 1192 to execute playback processing.

再生制御部1193は、再生処理された画像データのフレームに再生処理された旨を示すフラグbを付加する。再生制御部1193は、フラグaが付加されているフレームであって、フラグbが付加されていないフレーム(未再生)の存在がなくなることを確認した場合、表示選択部118に画像蓄積部1191を介さずに撮像部117によって取得された画像を選択させる。   The playback control unit 1193 adds a flag b indicating that the playback process has been performed to the frame of the image data that has been played back. When the reproduction control unit 1193 confirms that there is no frame (unreproduced) with the flag a added and the flag b not added, the image storage unit 1191 is added to the display selection unit 118. The image acquired by the imaging unit 117 is selected without intervention.

図2に示すように、X線画像診断装置11には、注視検出装置12及び表示装置13が接続されている。   As shown in FIG. 2, a gaze detection device 12 and a display device 13 are connected to the X-ray image diagnostic device 11.

表示装置13は、X線画像診断装置11によって撮影された透視画像等を表示する。   The display device 13 displays a fluoroscopic image taken by the X-ray image diagnostic device 11.

注視検出装置12は、表示装置13の近傍に設置され、所定の範囲内に存在する術者の注視点の方向を検出する。この際に、注視検出装置12は、所定の範囲内に存在する術者の顔が予め任意に定められた所定の術者の顔であるかの判別も行う。そして、所定の術者が表示装置13に対して注視状態になっているかを判定する。また、注視検出装置12は、X線画像診断装置11に対して、判定の結果を表示装置注視の判定信号として送信する。表示装置注視の判定信号は、所定の術者が注視状態となっているか否かを示す信号である。なお、画像データから個人を判別する方法は限定されず、公知の携帯電話機の内蔵データ保護目的で実用化されている方法等を採用することができる。また、注視状態になっているか否かを判定する方法も限定されず、公知の顔検出方法及び該検出された顔から視線を検出する方法等を採用することができる。例えば、特開平8−207617号公報に記載されている車両の脇見運転防止装置の技術を採用することが可能である。術者の識別が行われるのは、医療現場には複数のスタッフがいることが多いため、術者が診断を下すことができる特定の人物であるか否かを判別するためである。このような識別は、例えば、顔の特徴情報及び診断が可能か否かの情報の組み合わせか、予め診断が可能な者であると登録された人物の顔の特徴情報を用いて行われる。これらの情報は、例えば、通信部112を介して接続された情報管理等を行う外部装置(図示せず)等に記憶させておけばよい。   The gaze detection device 12 is installed in the vicinity of the display device 13 and detects the direction of the operator's gaze point existing within a predetermined range. At this time, the gaze detection device 12 also determines whether the operator's face existing within the predetermined range is a predetermined operator's face that is arbitrarily determined in advance. Then, it is determined whether or not a predetermined operator is in a gaze state with respect to the display device 13. The gaze detection device 12 transmits the determination result to the X-ray image diagnosis device 11 as a determination signal for the display device gaze. The display device gaze determination signal is a signal indicating whether or not a predetermined operator is in a gaze state. The method for discriminating an individual from image data is not limited, and a method that has been put into practical use for the purpose of protecting built-in data in a mobile phone can be employed. The method for determining whether or not the user is in a gaze state is not limited, and a known face detection method, a method for detecting a line of sight from the detected face, and the like can be employed. For example, it is possible to employ the technology of a vehicle sideways driving prevention device described in JP-A-8-207617. The surgeon is identified in order to determine whether or not the surgeon is a specific person who can make a diagnosis because there are often a plurality of staff in the medical field. Such identification is performed using, for example, a combination of facial feature information and information indicating whether or not diagnosis is possible, or using facial feature information of a person registered in advance as a person who can be diagnosed. These pieces of information may be stored in, for example, an external device (not shown) that performs information management or the like connected via the communication unit 112.

また、医療現場内には、図2に示すように、寝台203上の患者の心臓の動き等を測定する種々の測定機器201が配置されている。更に、表示装置13及び注視検出装置12はカート202上に載置されている。   In the medical field, as shown in FIG. 2, various measuring devices 201 that measure the movement of the patient's heart on the bed 203 are arranged. Further, the display device 13 and the gaze detection device 12 are placed on the cart 202.

次に、上述のように構成されたX線画像診断装置11を備えたX線画像撮影システムにおける画像蓄積の方法、再生の方法、及び表示の制御方法について説明する。表1は、本実施形態における曝射指示信号、表示注視信号及び滞留フレーム数と、撮像フレームレート、表示フレームレート及び表示画像選択部118が表示のために選択する画像データとの関係を示す図である。ここで、曝射指示信号は、X線曝射指示部1131の操作により有効となる信号であり、表示注視信号は、注視情報受信部1121が注視検出装置12から、所定の術者が表示装置13を注視している旨の判別信号を受信した場合に有効となる信号である。   Next, an image accumulation method, a reproduction method, and a display control method in an X-ray imaging system including the X-ray image diagnostic apparatus 11 configured as described above will be described. Table 1 is a diagram showing the relationship between the exposure instruction signal, the display gaze signal, and the number of staying frames, the imaging frame rate, the display frame rate, and the image data selected for display by the display image selection unit 118 in this embodiment. It is. Here, the exposure instruction signal is a signal that is activated by the operation of the X-ray exposure instruction unit 1131, and the display gaze signal is displayed by the gaze information receiving unit 1121 from the gaze detection device 12, and a predetermined operator displays the display device. 13 is a signal that is effective when a determination signal indicating that the user is watching the image 13 is received.

Figure 2008237369
Figure 2008237369

本実施形態では、表1に示す関係に基づいて、撮像フレームレート、表示フレームレート及び表示選択が行われる。   In the present embodiment, the imaging frame rate, display frame rate, and display selection are performed based on the relationship shown in Table 1.

表1において、曝射指示の項目において、「0」は「曝射指示なし」を示し、「1」は「曝射指示あり」を示している。   In Table 1, in the item of the exposure instruction, “0” indicates “no exposure instruction”, and “1” indicates “with exposure instruction”.

また、表示注視の項目において、「x」は、表示注視ありまたはなしの任意の状態を示し、「0」は、表示注視なしを示し、「1」は、表示注視ありを示している。   In the display gaze item, “x” indicates an arbitrary state with or without display gaze, “0” indicates no display gaze, and “1” indicates display gaze.

また、滞留フレーム数の項目において、「0」は滞留フレームなしを示し、「>0」は滞留フレーム数あり(1以上)を示し、「x」は滞留フレーム数が0または1以上の数を示している。   In the stay frame number item, “0” indicates no stay frame, “> 0” indicates the number of stay frames (1 or more), and “x” indicates the number of stay frames is 0 or 1 or more. Show.

また、撮像フレームレートの項目において、「0」は、撮像動作が実行されていないことを示し、「1/2」、「1」はそれぞれ1/2、1のフレームレートで画像データを取得するための撮像動作が実行されていることを示している。   In the item of the imaging frame rate, “0” indicates that the imaging operation is not executed, and “1/2” and “1” acquire image data at a frame rate of 1/2 and 1, respectively. It is shown that the imaging operation for this is executed.

また、表示フレームレートの項目において、「0」は、あるフレームの画像が表示装置13上に固定表示されていることを示し、「1」は1のフレームレートで画像が表示装置13上に表示されていることを示している。撮像フレームレートおよび表示フレームレートの単位は例えば毎秒である。   In the display frame rate item, “0” indicates that an image of a certain frame is fixedly displayed on the display device 13, and “1” indicates that an image is displayed on the display device 13 at a frame rate of 1. It has been shown. The unit of the imaging frame rate and the display frame rate is, for example, every second.

また、表示選択の項目において、「蓄積」は、表示装置13上に表示される画像として、表示画像選択部118が画像蓄積部1191において蓄積され、画像再生部1192において再生された画像データを選択することを示している。また、「撮像」は、表示画像選択部118が表示装置13上に表示される画像として、画像蓄積部1191を介さずに撮像部110において取得された画像データを選択することを示している。   In the display selection item, “accumulate” selects image data that the display image selection unit 118 accumulates in the image accumulation unit 1191 as an image to be displayed on the display device 13 and is reproduced in the image reproduction unit 1192. It shows that “Imaging” indicates that the display image selection unit 118 selects the image data acquired by the imaging unit 110 without going through the image storage unit 1191 as an image to be displayed on the display device 13.

例えば、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視している場合には、状態Eに該当するため、次のような動作が行われる。   For example, when the predetermined operator is gazing at the display device 13 while the X-ray image diagnostic apparatus 11 is receiving the exposure instruction signal, since it corresponds to the state E, the following operation is performed. Done.

先ず、術者等によりX線曝者指示部1131、例えばフットペダルが操作されると、X線発生部1151がX線を曝射し、X線受像部116が患者等の被検体を透過したX線を検出する。そして、画像処理部117がX線画像データの処理を行う。その後、表示画像選択部118が、画像処理部117により処理された画像データを表示装置13に出力する。また、画像処理部117により処理された画像データは、術者の識別情報と共に画像蓄積部1191に保存される。このとき、画像再生部1192は休止している。   First, when an operator or the like operates an X-ray exposure instruction unit 1131 such as a foot pedal, the X-ray generation unit 1151 emits X-rays, and the X-ray image reception unit 116 transmits a subject such as a patient. X-rays are detected. Then, the image processing unit 117 processes the X-ray image data. Thereafter, the display image selection unit 118 outputs the image data processed by the image processing unit 117 to the display device 13. The image data processed by the image processing unit 117 is stored in the image storage unit 1191 together with the operator's identification information. At this time, the image reproduction unit 1192 is at rest.

また、注視検出装置12が所定の術者の注視を検出し、この結果を示す判定信号をX線画像診断装置11に送信する。そして、注視情報受信部1121がこの判定信号を受信する。ここでは、注視情報受信部1121は、所定の術者が表示装置13を注視しているという判定信号を受信することになる。   Further, the gaze detection device 12 detects a predetermined operator's gaze, and transmits a determination signal indicating the result to the X-ray image diagnosis device 11. The gaze information receiving unit 1121 receives this determination signal. Here, the gaze information receiving unit 1121 receives a determination signal that a predetermined operator is gazing at the display device 13.

そして、管理部111が、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。この結果、表示画像選択部118は、画像処理部117が処理した画像データを選択し、これを表示装置13に送信する。   Then, the management unit 111 sets the imaging frame rate to “1”, the display frame rate to “1”, and selects “imaging”. As a result, the display image selection unit 118 selects the image data processed by the image processing unit 117 and transmits it to the display device 13.

また、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視したり、他の表示装置201を注視したりする場合には、次のような動作が行われる。図3は、X線画像診断装置11の動作を示すタイミングチャートである。なお、撮像と表示との間には処理のための遅延が発生するが、図3では、説明の簡素化のために、遅延がないものとしている。   Further, when the predetermined operator gazes at the display device 13 or other display device 201 while the X-ray image diagnostic apparatus 11 receives the exposure instruction signal, the following is performed. Operation is performed. FIG. 3 is a timing chart showing the operation of the X-ray image diagnostic apparatus 11. Although a delay for processing occurs between imaging and display, in FIG. 3, it is assumed that there is no delay in order to simplify the description.

先ず、時刻t0と時刻t1との間では、曝射指示信号が有効となっていないものとする。この時間帯では、状態Aに該当するため、X線画像診断装置11は、X線の曝射及び撮像処理を行わない。   First, it is assumed that the exposure instruction signal is not valid between time t0 and time t1. In this time zone, since it corresponds to the state A, the X-ray image diagnostic apparatus 11 does not perform X-ray exposure and imaging processing.

その後、時刻t1において、表示注視信号が有効となり、かつ曝射指示信号が有効となる。そして、管理部111は、時刻t1から時刻t2までの間では、状態Eに該当するため、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。つまり、X線画像診断装置11が曝射指示信号を受けている間に、所定の術者が表示装置13を注視している場合の動作と同様である。時刻t2において、術者が他の測定機器201に視線を移し、表示注視信号が有効でなくなるものとする。   Thereafter, at time t1, the display gaze signal becomes valid and the exposure instruction signal becomes valid. And since it corresponds to the state E from the time t1 to the time t2, the management part 111 sets an imaging frame rate to "1", a display frame rate to "1", and selects "imaging". That is, the operation is the same as when the predetermined operator is gazing at the display device 13 while the X-ray image diagnostic apparatus 11 receives the exposure instruction signal. At time t2, the surgeon moves his / her line of sight to another measuring device 201, and the display gaze signal becomes invalid.

その後、管理部111は、時刻t2から時刻t3までの間では、状態Dに該当するため、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、画像処理部117が処理した画像データを画像蓄積部1191が蓄積し、画像蓄積部1191により蓄積された画像データのうちで、時刻t2のものを画像再生部1192が再生し続ける。そして、表示画像選択部118は、画像再生部1192により再生された時刻t2の画像データを選択し、これを表示装置13に送信する。この結果、時刻t2から時刻t3までの間の表示フレームは、時刻t2での表示フレームに固定される。但し、表示フレームが固定されていても、撮像部110は「1/2」のフレームレートで撮像を行う。このため、図3に示すように、滞留フレーム数は増加する。撮像フレームレートと表示フレームレートとの差が「1/2」であるため、滞留フレーム数は2単位の時間毎に1フレーム増加する。   Thereafter, the management unit 111 corresponds to the state D from time t2 to time t3, and therefore sets the imaging frame rate to “1/2”, the display frame rate to “0”, and selects “accumulate”. To do. As a result, the image storage unit 1191 stores the image data processed by the image processing unit 117, and among the image data stored by the image storage unit 1191, the image playback unit 1192 continues to play back the data at time t2. Then, the display image selection unit 118 selects the image data at time t2 reproduced by the image reproduction unit 1192, and transmits this to the display device 13. As a result, the display frame from time t2 to time t3 is fixed to the display frame at time t2. However, even if the display frame is fixed, the imaging unit 110 performs imaging at a frame rate of “½”. For this reason, as shown in FIG. 3, the number of staying frames increases. Since the difference between the imaging frame rate and the display frame rate is “½”, the number of staying frames increases by one frame every two units of time.

その後、時刻t3において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t3から時刻t4までの間では、状態Fに該当するため、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、画像処理部117が処理した画像データを画像蓄積部1191が蓄積し、画像蓄積部1191により蓄積された画像データのうちで、時刻t2以降のものを画像再生部1192が再生する。そして、表示画像選択部118は、画像再生部1192により再生された画像データを選択し、これを表示装置13に送信する。つまり、時刻t3から時刻t4までの間では、それ以前に蓄積された画像から順に表示される。また、撮像フレームレートと表示フレームレートとの差が「−1/2」であるため、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。   After that, at time t3, the display gaze signal is valid while the exposure instruction signal is valid. Since it corresponds to the state F from time t3 to time t4, the management unit 111 sets the imaging frame rate to “1/2”, the display frame rate to “1”, and selects “accumulate”. As a result, the image storage unit 1191 stores the image data processed by the image processing unit 117, and among the image data stored by the image storage unit 1191, the image playback unit 1192 plays back the data after time t2. Then, the display image selection unit 118 selects the image data reproduced by the image reproduction unit 1192 and transmits it to the display device 13. That is, during the period from time t3 to time t4, images are displayed in order from the image accumulated before that. Further, since the difference between the imaging frame rate and the display frame rate is “−½”, the number of staying frames decreases by one frame every two units of time as shown in FIG.

つまり、術者が表示装置13を注視していない間(時刻t2〜時刻t3)に滞留フレーム数が増加するが、その後の術者が注視している間(時刻t3〜時刻t4)に滞留フレーム数が減少する。   That is, while the surgeon is not gazing at the display device 13 (time t2 to time t3), the number of staying frames increases, while the surgeon is gazing after (time t3 to time t4). The number decreases.

その後、時刻t4において、曝射指示信号が有効なまま、表示注視信号が有効でなくなるものとする。管理部111は、時刻t4から時刻t5までの間では、状態Dに該当するため、時刻t2から時刻t3のまでの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、時刻t4から時刻t5までの間の表示フレームは、時刻t4での表示フレームに固定される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム増加する。   Thereafter, at time t4, the display gaze signal is no longer valid while the exposure instruction signal is valid. Since the management unit 111 corresponds to the state D from time t4 to time t5, the imaging frame rate is set to “1/2” and the display frame rate is set to “1/2” similarly to the time from time t2 to time t3. Set “0” and select “Accumulate”. As a result, the display frame from time t4 to time t5 is fixed to the display frame at time t4. Also, as shown in FIG. 3, the number of staying frames increases by one frame every two units of time.

その後、時刻t5において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t5から時刻t6までの間では、状態Fに該当するため、時刻t3から時刻t4までの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t5から時刻t6までの間では、それ以前に蓄積された画像から順に表示される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。   Thereafter, at time t5, the display gaze signal becomes valid while the exposure instruction signal remains valid. Since the management unit 111 corresponds to the state F from time t5 to time t6, the imaging frame rate is set to “1/2” and the display frame rate is set to “1” similarly to the time from time t3 to time t4. "And select" Accumulate ". As a result, during the period from the time t5 to the time t6, images are displayed in order from the previous accumulated image. In addition, as shown in FIG. 3, the number of staying frames decreases by one frame every two units of time.

その後、時刻t6において、滞留フレーム数が0になるものとする。管理部111は、時刻t6から時刻t7までの間では、状態Eに該当するため、時刻t1から時刻t2までの間と同様に、撮像フレームレートを「1」、表示フレームレートを「1」と設定し、「撮像」を選択する。この結果、表示画像選択部118は、画像処理部117が処理した画像データを選択し、これを表示装置13に送信する。   Thereafter, it is assumed that the staying frame number becomes 0 at time t6. Since the management unit 111 corresponds to the state E from time t6 to time t7, the imaging frame rate is set to “1” and the display frame rate is set to “1” as in the time from time t1 to time t2. Set and select “Imaging”. As a result, the display image selection unit 118 selects the image data processed by the image processing unit 117 and transmits it to the display device 13.

その後、時刻t7において、曝射指示信号が有効なまま、表示注視信号が有効でなくなるものとする。管理部111は、時刻t7から時刻t8までの間では、状態Dに該当するため、時刻t2から時刻t3のまでの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「0」と設定し、「蓄積」を選択する。この結果、時刻t7から時刻t8までの間の表示フレームは、時刻t4での表示フレームに固定される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム増加する。   After that, at time t7, the display gaze signal is no longer valid while the exposure instruction signal is valid. Since the management unit 111 corresponds to the state D from time t7 to time t8, the imaging frame rate is set to “1/2” and the display frame rate is set to “1/2” similarly to the time from time t2 to time t3. Set “0” and select “Accumulate”. As a result, the display frame from time t7 to time t8 is fixed to the display frame at time t4. Also, as shown in FIG. 3, the number of staying frames increases by one frame every two units of time.

その後、時刻t8において、曝射指示信号が有効なまま、表示注視信号が有効となるものとする。管理部111は、時刻t8から時刻t9までの間では、状態Fに該当するため、時刻t3から時刻t4までの間と同様に、撮像フレームレートを「1/2」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t8から時刻t9までの間では、それ以前に蓄積された画像から順に表示される。また、図3に示すように、滞留フレーム数が2単位の時間毎に1フレーム減少する。そして、時刻t9において、撮像が停止するが、滞留フレーム数が0より大きい状態となっている。   After that, at time t8, the display gaze signal is valid while the exposure instruction signal is valid. Since the management unit 111 corresponds to the state F from time t8 to time t9, the imaging frame rate is set to “1/2” and the display frame rate is set to “1” similarly to the time from time t3 to time t4. "And select" Accumulate ". As a result, during the period from the time t8 to the time t9, the images accumulated before that are displayed in order. In addition, as shown in FIG. 3, the number of staying frames decreases by one frame every two units of time. At time t9, imaging stops, but the number of staying frames is greater than zero.

その後、時刻t9において、表示注視信号が有効なまま、曝射指示信号が有効でなくなるものとする。管理部111は、時刻t9から時刻t10までの間では、状態Cに該当するため、撮像フレームレートを「0」、表示フレームレートを「1」と設定し、「蓄積」を選択する。この結果、時刻t9から時刻t10までの間では、それ以前に蓄積された画像から順に表示される。また、撮像フレームレートと表示フレームレートとの差が「−1」であるため、図3に示すように、滞留フレーム数が1単位の時間毎に1フレーム減少する。そして、時刻t10において、滞留フレーム数が0になるものとする。   Thereafter, at time t9, the exposure instruction signal is no longer valid while the display gaze signal is valid. Since it corresponds to the state C from time t9 to time t10, the management unit 111 sets the imaging frame rate to “0”, the display frame rate to “1”, and selects “accumulate”. As a result, during the period from time t9 to time t10, images are displayed in order from the image accumulated before that time. Further, since the difference between the imaging frame rate and the display frame rate is “−1”, as shown in FIG. 3, the number of staying frames decreases by one frame every unit of time. At time t10, the staying frame number is assumed to be zero.

その後の動作は、操作部113が受け付けた指示に従ったものとなる。例えば、最終の表示画像データを保持したり、又は記録した画像データを再生したりする。   Subsequent operations follow the instructions received by the operation unit 113. For example, the final display image data is held or the recorded image data is reproduced.

このような第1の実施形態によれば、術者による操作部113による操作がなくても、表示装置13を注視するか否かによって、術者が出力画面を注視していなかった期間の画像データを、視線を戻した直後から再生することが可能となる。よって、表示装置13から視線を外していたことによる診断画像の見落としを減少させることができる。また、一時的に撮像フレームレートを「1/2」としているため、患者のX線被曝量が低減される。   According to such a 1st embodiment, even if there is no operation by operation part 113 by a surgeon, it is an image of the period when the surgeon was not gazing at the output screen depending on whether or not to gaze at display device 13. It becomes possible to reproduce the data immediately after returning the line of sight. Therefore, it is possible to reduce oversight of the diagnostic image due to the line of sight being removed from the display device 13. Further, since the imaging frame rate is temporarily set to “1/2”, the patient's X-ray exposure dose is reduced.

なお、蓄積されていた画像データを再生する際には、透視画像を即時的に表示している場合と区別するために、蓄積されていた画像データの再生であることを表示することが好ましい。また、撮像と表示との間の滞留フレーム数又は時間差をも表示することが好ましい。   When reproducing the stored image data, it is preferable to display that the stored image data is being reproduced in order to distinguish it from the case where the fluoroscopic image is displayed immediately. It is also preferable to display the number of staying frames or the time difference between imaging and display.

また、画像蓄積部1191に保存する情報に、撮影日時及び患者名等の情報を含めてもよい。また、より長期間の保存のためには、画像蓄積部1191に一時保存した情報を、通信部112経由で外部装置(図示せず)に転送してもよい。   In addition, information stored in the image storage unit 1191 may include information such as the imaging date and patient name. For longer storage, information temporarily stored in the image storage unit 1191 may be transferred to an external device (not shown) via the communication unit 112.

また、図4Aに示すように、曝射指示信号が有効であるが、表示注視信号が有効でない期間、例えば時刻t2から時刻t3までの期間において、撮像フレームレートを表示フレームレートと同一とすると共に、撮像した画像を随時そのまま表示してもよい。但し、この場合には、表示注視信号が有効でなくなった時に表示していたフレームのインデックスを記憶しておき、表示注視信号が有効となった時に当該フレームからの画像を再生することが好ましい。例えば、時刻t2において表示していたフレームのインデックスを記憶しておき、時刻t3からは、時刻t2において表示していたフレームからの画像を再生することが好ましい。   Further, as shown in FIG. 4A, in the period when the exposure instruction signal is valid but the display gaze signal is not valid, for example, the period from time t2 to time t3, the imaging frame rate is made the same as the display frame rate. The captured image may be displayed as it is at any time. However, in this case, it is preferable to store the index of the frame displayed when the display gaze signal is no longer valid, and to reproduce the image from the frame when the display gaze signal is valid. For example, it is preferable to store the index of the frame displayed at time t2 and reproduce the image from the frame displayed at time t2 from time t3.

また、表示装置13の能力によっては、滞留フレーム数が0を超えていて、曝射指示信号が有効である場合(状態D又は状態Fの場合)に、撮像フレームレートを1と設定してもよい。この場合には、全てのフレームを表示しながら滞留フレーム数を減少させることが可能となる。特に、表示注視信号も有効の場合(状態Fの場合)には、表示フレームレートを2とすることが好ましい。   Further, depending on the capability of the display device 13, even when the number of staying frames exceeds 0 and the exposure instruction signal is valid (in the state D or the state F), the imaging frame rate may be set to 1. Good. In this case, it is possible to reduce the number of staying frames while displaying all the frames. In particular, when the display gaze signal is also valid (in the case of state F), it is preferable to set the display frame rate to 2.

また、撮像したフレームの全てを画像蓄積部1191に記録しておきつつ、表示注視信号が有効となっている間に、2フレーム毎に1フレームを表示してもよい。このような制御を行うことにより、表示フレームが撮像フレームに追いつくようになる。   Further, one frame may be displayed every two frames while the captured image signal is valid while all the captured frames are recorded in the image storage unit 1191. By performing such control, the display frame catches up with the imaging frame.

更に、図4Bに示すように、曝射指示信号が有効で表示注視信号が有効でない期間でも撮像した画像を随時そのまま表示し、表示注視信号が有効となった時に、遡って表示をするか、又は表示を継続するかの選択結果を外部から受け取るようにしてもよい。つまり、外部からの選択を受け付ける選択手段が設けられていてもよい。このような選択が可能な場合、表示注視信号が有効でない期間の画像が不要であれば、そのまま表示を継続することにより、滞留フレーム数を速やかに減少させることができる。この結果、撮像した画像データをリアルタイムで観察することが早期に可能となる。   Further, as shown in FIG. 4B, the captured image is displayed as it is even when the exposure instruction signal is valid and the display gaze signal is not valid, and when the display gaze signal becomes valid, the image is displayed retrospectively. Or you may make it receive the selection result of continuing a display from the outside. That is, a selection unit that accepts an external selection may be provided. When such a selection is possible, if an image during a period when the display gaze signal is not valid is unnecessary, the number of staying frames can be quickly reduced by continuing the display as it is. As a result, it becomes possible to observe the captured image data in real time at an early stage.

なお、X線画像診断装置11の形態は、Cアーム型装置の他の形態であってもよい。   The form of the X-ray image diagnostic apparatus 11 may be another form of the C-arm type apparatus.

(第2の実施形態)
次に、本発明の第2の実施形態について説明する。図6は、本発明の第2の実施形態に係る内視鏡検査システムの構成を示す図である。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. FIG. 6 is a diagram showing a configuration of an endoscopic inspection system according to the second embodiment of the present invention.

本実施形態に係る内視鏡検査システムには、カメラ601、ケーブル602、画像処理装置603、視線検出センサ604、及び表示装置605が設けられている。   The endoscope inspection system according to the present embodiment includes a camera 601, a cable 602, an image processing device 603, a line-of-sight detection sensor 604, and a display device 605.

カメラ601は、可視光を用いた内視鏡による観察画像を撮像する。カメラ601には、照明のための光源が付属している。   The camera 601 captures an image observed by an endoscope using visible light. The camera 601 is attached with a light source for illumination.

ケーブル602は、カメラ601により撮像された画像データを取得するための配線を内包している。ケーブル602の先端には、カメラ601の他に、手術等の医療行為に用いられる装置(図示せず)が装備されている。ケーブル602のもう一方の先端は画像処理装置603に接続されている。   The cable 602 includes wiring for acquiring image data captured by the camera 601. In addition to the camera 601, the end of the cable 602 is equipped with a device (not shown) used for medical treatment such as surgery. The other end of the cable 602 is connected to the image processing apparatus 603.

画像処理装置603は、ケーブル602、表示装置605、及び視線検出センサ604に接続されている。画像処理装置603の構成については後述する。   The image processing device 603 is connected to the cable 602, the display device 605, and the line-of-sight detection sensor 604. The configuration of the image processing apparatus 603 will be described later.

視線検出センサ604は、操作者が表示装置605を注視しているか否かを検出する。   The line-of-sight detection sensor 604 detects whether or not the operator is gazing at the display device 605.

表示装置605は、検査画像を表示する。   The display device 605 displays an inspection image.

ここで、画像処理装置603の詳細について説明する。図7は、画像処理装置603の構成を示す機能ブロック図である。画像処理装置603には、画像処理部701、画像蓄積部702、画像再生部703、視線判定部704、及び再生制御部705が設けられている。   Here, the details of the image processing apparatus 603 will be described. FIG. 7 is a functional block diagram illustrating a configuration of the image processing apparatus 603. The image processing apparatus 603 includes an image processing unit 701, an image storage unit 702, an image reproduction unit 703, a line-of-sight determination unit 704, and a reproduction control unit 705.

画像蓄積部701は、カメラ601が取得した画像データを格納する。画像再生部702は、再生制御部705の指示によって画像蓄積部701に格納された画像データを再生し、出力する。画像処理部703は、画像データを見やすい角度で表示するために回転させたり、拡大・縮小表示をしたり、明るさを調整したりする。視線判定部704は、視線検出センサ604からの信号を処理し、操作者が表示装置605を注視しているか否かを判定する。再生制御部705は、視線判定部704の判定結果によって、次に表示すべきフレームを選択して画像再生部702に指示する。再生制御部705は、画像蓄積部701より保持されているフレームのインデックス情報を取得する。また、再生制御部705は、画像再生部702に対して直前に指示した再生すべきフレームのインデックスを記憶する。また、再生制御部705には、表示の更新間隔を管理するためのタイマ(図示せず)が内蔵されている。   The image storage unit 701 stores image data acquired by the camera 601. The image reproduction unit 702 reproduces and outputs the image data stored in the image storage unit 701 according to an instruction from the reproduction control unit 705. The image processing unit 703 rotates the image data to display it at an easy-to-view angle, performs enlargement / reduction display, and adjusts the brightness. The line-of-sight determination unit 704 processes the signal from the line-of-sight detection sensor 604 and determines whether or not the operator is gazing at the display device 605. The reproduction control unit 705 selects a frame to be displayed next based on the determination result of the line-of-sight determination unit 704 and instructs the image reproduction unit 702. The playback control unit 705 acquires the index information of the frames held from the image storage unit 701. Also, the playback control unit 705 stores the index of the frame to be played that was instructed immediately before to the image playback unit 702. The playback control unit 705 has a built-in timer (not shown) for managing the display update interval.

このように構成された画像処理装置603は、以下に説明するように、操作者が表示装置605から視線を逸らしていた場合の検査画像の見逃しを低減させるための動作を行う。   The image processing apparatus 603 configured as described above performs an operation for reducing oversight of the inspection image when the operator has turned away from the display device 605 as described below.

図8は、再生制御部705による処理内容を示すフローチャートである。再生制御部705は、図8に示すように、検査終了となるまで所定の更新間隔で以下の動作を行う。   FIG. 8 is a flowchart showing the contents of processing by the playback control unit 705. As shown in FIG. 8, the reproduction control unit 705 performs the following operation at a predetermined update interval until the inspection is completed.

先ず、ステップS801において、再生制御部705は、検査終了を判定する。再生制御部705は、終了スイッチ(図示せず)が操作されている場合に、検査終了(true)と判定し、操作されていない場合は、操作継続(false)と判定する。   First, in step S801, the reproduction control unit 705 determines the end of inspection. When the end switch (not shown) is operated, the reproduction control unit 705 determines that the inspection is ended (true), and when it is not operated, determines that the operation is continued (false).

次に、ステップS802において、再生制御部705は、所定の表示更新間隔の時間経過を待つ。ステップS802からステップS803への遷移が所定間隔となるようにタイマが設けられているのである。   Next, in step S802, the reproduction control unit 705 waits for the elapse of a predetermined display update interval. A timer is provided so that the transition from step S802 to step S803 is at a predetermined interval.

次に、ステップS803において、視線判定部704が視線検出センサ604からの信号(表示注視信号)に応じて、操作者の視線が表示装置605に向いているか否かを判定する。そして、再生制御部705は、表示注視信号が有効であれば(true)、ステップS804に進み、そうでなければ(false)、ステップS802に戻り、再度所定の更新間隔の時間経過を待つ。   Next, in step S <b> 803, the line-of-sight determination unit 704 determines whether the operator's line of sight is facing the display device 605 in accordance with a signal (display gaze signal) from the line-of-sight detection sensor 604. If the display gaze signal is valid (true), the reproduction control unit 705 proceeds to step S804. If not (false), the reproduction control unit 705 returns to step S802 and again waits for the elapse of a predetermined update interval.

ステップS804において、再生制御部705は、画像蓄積部701が保持している最終のフレームのインデックスを、画像再生部702に対して直前に指示した再生フレームのインデックスと比較する。そして、画像再生部702に対して直前に指示したフレームより後の画像データが画像蓄積部701にあれば(true)、ステップS805において、再生制御部705は、再生フレームを更新する。そうでなければ(false)、再生制御部705は、ステップS802に戻り、再度所定の更新間隔の時間経過を待つ。   In step S804, the playback control unit 705 compares the index of the last frame held by the image storage unit 701 with the index of the playback frame instructed immediately before to the image playback unit 702. If image data after the frame instructed immediately before to the image playback unit 702 is in the image storage unit 701 (true), the playback control unit 705 updates the playback frame in step S805. Otherwise (false), the reproduction control unit 705 returns to step S802 and waits for the elapse of a predetermined update interval again.

このように構成された第2の実施形態によれば、操作者の視線が表示装置605に向いている場合に限って再生フレームが更新されるため、検査装置における検査画像の見逃しを低減させることができる。   According to the second embodiment configured as described above, the reproduction frame is updated only when the operator's line of sight is directed to the display device 605, and therefore, the miss of the inspection image in the inspection device can be reduced. Can do.

(第3の実施形態)
次に、本発明の第3の実施形態について説明する。図9は、本発明の第3の実施形態に係る超音波診断装置(画像処理装置)の構成を示す機能ブロック図である。本実施形態には、第2の実施形態におけるカメラ601に代えて、超音波発生器及びセンサを備えた超音波センサ部901が設けられており、更に、画像蓄積部701と超音波センサ部901との間に超音波を可視化する可視化処理部902が設けられている。そして、超音波センサ部901及び可視化処理部902により超音波診断画像が取得される。また、本実施形態では、可視化処理部902の出力は、画像蓄積部701に受け渡されるだけでなく、画像再生部702を迂回して画像処理部703に直接受け渡され得る。
(Third embodiment)
Next, a third embodiment of the present invention will be described. FIG. 9 is a functional block diagram showing a configuration of an ultrasonic diagnostic apparatus (image processing apparatus) according to the third embodiment of the present invention. In this embodiment, an ultrasonic sensor unit 901 including an ultrasonic generator and a sensor is provided instead of the camera 601 in the second embodiment, and further, an image storage unit 701 and an ultrasonic sensor unit 901 are provided. Between the two, a visualization processing unit 902 for visualizing the ultrasonic waves is provided. Then, an ultrasonic diagnostic image is acquired by the ultrasonic sensor unit 901 and the visualization processing unit 902. Further, in the present embodiment, the output of the visualization processing unit 902 can be directly delivered to the image processing unit 703 bypassing the image reproduction unit 702 as well as being delivered to the image storage unit 701.

このような第3の実施形態によれば、未確認画像データがない場合に、表示の遅延を少なくすることが可能である。また、未確認画像データがある場合には、画像処理部703は、可視化処理部902からの出力、又は画像再生部702による未確認画像データの出力のいずれか一方を選択して表示することが可能である。なお、両者を縮小した後に、縮小後の両画像を並べて表示してもよい。   According to the third embodiment, display delay can be reduced when there is no unconfirmed image data. When there is unconfirmed image data, the image processing unit 703 can select and display either the output from the visualization processing unit 902 or the output of unconfirmed image data by the image reproduction unit 702. is there. Note that, after reducing both, the reduced images may be displayed side by side.

なお、第3の実施形態を内視鏡検査システムに適用してもよく、第2の実施形態を超音波診断装置に適用してもよい。   Note that the third embodiment may be applied to an endoscopy system, and the second embodiment may be applied to an ultrasonic diagnostic apparatus.

また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したCD−ROM等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。   The embodiment of the present invention can be realized by, for example, a computer executing a program. Also, means for supplying a program to a computer, for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium such as the Internet for transmitting such a program is also applied as an embodiment of the present invention. Can do. The above program can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.

本発明の第1の実施形態に係るX線画像診断装置の構成を示す機能ブロック図である。1 is a functional block diagram showing a configuration of an X-ray image diagnostic apparatus according to a first embodiment of the present invention. X線画像診断システムを示す図である。It is a figure which shows an X-ray image diagnostic system. X線画像診断装置11の動作を示すタイミングチャートである。3 is a timing chart showing the operation of the X-ray image diagnostic apparatus 11. 第1の実施形態の変形例の動作を示すタイミングチャートである。It is a timing chart which shows operation of the modification of a 1st embodiment. 第1の実施形態の他の変形例の動作を示すタイミングチャートである。It is a timing chart which shows operation of other modifications of a 1st embodiment. 従来の技術を示す図である。It is a figure which shows the prior art. 他の従来の技術を示す図である。It is a figure which shows another conventional technique. 本発明の第2の実施形態に係る内視鏡検査システムの構成を示す図である。It is a figure which shows the structure of the endoscopy system which concerns on the 2nd Embodiment of this invention. 画像処理装置603の構成を示す機能ブロック図である。3 is a functional block diagram illustrating a configuration of an image processing apparatus 603. FIG. 再生制御部705による処理内容を示すフローチャートである。10 is a flowchart showing processing contents by a reproduction control unit 705. 本発明の第3の実施形態に係る超音波診断装置(画像処理装置)の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the ultrasonic diagnosing device (image processing apparatus) which concerns on the 3rd Embodiment of this invention.

符号の説明Explanation of symbols

11:X線画像診断装置
12:視線検出センサ
13:表示装置
110:撮像部
111:管理部
112:通信部
1121:注視情報受信部
113:操作部
1131:X線曝射指示部
1132:X線量調整部
1133:表示部
114:X線曝射制御部
1141:タイマ
115:X線発生部
1151:X線発生管
116:X線受像部
117:画像処理部
118:表示画像選択部
1191:画像蓄積部
1192:画像再生部
201:測定機器
202:カート
203:寝台
601:カメラ
602:ケーブル
603:画像処理装置
604:視線検出センサ
605:表示装置
701:画像蓄積部
702:画像再生部
703:画像処理部
704:視線判定部
705:再生制御部
901:超音波センサ部
902:可視化処理部
DESCRIPTION OF SYMBOLS 11: X-ray image diagnostic apparatus 12: Gaze detection sensor 13: Display apparatus 110: Imaging part 111: Management part 112: Communication part 1121: Gaze information receiving part 113: Operation part 1131: X-ray exposure instruction part 1132: X-ray dose Adjustment unit 1133: Display unit 114: X-ray exposure control unit 1141: Timer 115: X-ray generation unit 1151: X-ray generation tube 116: X-ray image reception unit 117: Image processing unit 118: Display image selection unit 1191: Image storage Unit 1192: image reproduction unit 201: measuring device 202: cart 203: bed 601: camera 602: cable 603: image processing device 604: gaze detection sensor 605: display device 701: image storage unit 702: image reproduction unit 703: image processing Unit 704: line-of-sight determination unit 705: reproduction control unit 901: ultrasonic sensor unit 902: visualization processing unit

Claims (11)

撮像手段の撮像によって得られた画像データを蓄積する蓄積手段と、
前記蓄積手段により蓄積された画像データを再生する再生手段と、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出手段と、
前記注視検出手段による検出結果に応じて、前記再生手段の動作を制御する制御手段と、
を有することを特徴とする画像処理装置。
Storage means for storing image data obtained by imaging by the imaging means;
Playback means for playing back the image data stored by the storage means;
Gaze detection means for detecting whether or not the line of sight of an arbitrarily set person is directed to the display means;
Control means for controlling the operation of the reproduction means according to the detection result by the gaze detection means;
An image processing apparatus comprising:
前記制御手段は、前記任意に設定された人の視線が前記表示手段に向けられていないことが前記注視検出手段によって検出された場合、前記撮像手段により撮像された画像データを前記蓄積手段に蓄積させ、前記任意に設定された人の視線が前記表示手段に向けられていることが前記注視検出手段によって検出された場合、前記蓄積手段によって蓄積された画像データを前記再生手段により再生させることを特徴とする請求項1に記載の画像処理装置。   When the gaze detection unit detects that the arbitrarily set line of sight of the person is not directed to the display unit, the control unit stores the image data captured by the imaging unit in the storage unit And when the gaze detection means detects that the line of sight of the arbitrarily set person is directed to the display means, the reproduction means reproduces the image data accumulated by the accumulation means. The image processing apparatus according to claim 1, wherein: 前記撮像手段により撮像された画像データ及び前記再生手段により再生された画像データのうちの一方を選択して出力する選択手段を有することを特徴とする請求項1又は2に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a selection unit that selects and outputs one of the image data captured by the imaging unit and the image data reproduced by the reproduction unit. 前記選択手段は、前記蓄積手段に未再生の画像データが存在しない場合に、前記撮像手段により撮像された画像データの出力を選択し、前記蓄積手段に未再生の画像データが存在する場合に、前記再生手段により再生された画像データの出力を選択することを特徴とする請求項3に記載の画像処理装置。   The selecting means selects the output of the image data captured by the imaging means when there is no unreproduced image data in the storage means, and when there is unreproduced image data in the storage means, 4. The image processing apparatus according to claim 3, wherein an output of the image data reproduced by the reproducing unit is selected. 前記撮像手段は、前記蓄積手段に未再生の画像データが存在する場合、前記蓄積手段に未再生の画像データがない場合よりも遅いフレームレートで撮像を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。   5. The imaging device according to claim 1, wherein when there is unreproduced image data in the storage unit, imaging is performed at a slower frame rate than when there is no unreproduced image data in the storage unit. The image processing apparatus according to any one of the above. 前記再生手段は、前記蓄積手段に未再生の画像データが存在しない場合、前記撮像手段が撮像するフレームレートよりも速いフレームレートで再生を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。   5. The playback device according to claim 1, wherein when there is no unreproduced image data in the storage unit, the playback unit performs playback at a frame rate faster than a frame rate captured by the imaging unit. The image processing apparatus according to item. 前記撮像手段は、X線画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the imaging unit acquires an X-ray image. 前記撮像手段は、内視鏡による観察画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the imaging unit acquires an image observed by an endoscope. 前記撮像手段は、超音波診断画像を取得することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the imaging unit acquires an ultrasound diagnostic image. 撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、
前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、
前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、
を有することを特徴とする画像処理方法。
An accumulation step for accumulating image data obtained by imaging by the imaging means in the accumulation means;
A reproduction step of reproducing the image data accumulated in the accumulation means in the accumulation step;
A gaze detection step for detecting whether or not the line of sight of a person set arbitrarily on the display means is directed;
A control step for controlling an operation in the regeneration step according to a detection result in the gaze detection step;
An image processing method comprising:
コンピュータに、
撮像手段の撮像によって得られた画像データを蓄積手段に蓄積する蓄積ステップと、
前記蓄積ステップにおいて前記蓄積手段に蓄積された画像データを再生する再生ステップと、
表示手段に任意に設定された人の視線が向けられているか否かを検出する注視検出ステップと、
前記注視検出ステップにおける検出結果に応じて、前記再生ステップにおける動作を制御する制御ステップと、
を実行させることを特徴とするプログラム。
On the computer,
An accumulation step for accumulating image data obtained by imaging by the imaging means in the accumulation means;
A reproduction step of reproducing the image data accumulated in the accumulation means in the accumulation step;
A gaze detection step for detecting whether or not the line of sight of a person set arbitrarily on the display means is directed;
A control step for controlling an operation in the regeneration step according to a detection result in the gaze detection step;
A program characterized in that is executed.
JP2007079682A 2007-03-26 2007-03-26 Image processing device and image processing method Pending JP2008237369A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007079682A JP2008237369A (en) 2007-03-26 2007-03-26 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007079682A JP2008237369A (en) 2007-03-26 2007-03-26 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
JP2008237369A true JP2008237369A (en) 2008-10-09

Family

ID=39909429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007079682A Pending JP2008237369A (en) 2007-03-26 2007-03-26 Image processing device and image processing method

Country Status (1)

Country Link
JP (1) JP2008237369A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014113209A (en) * 2012-12-06 2014-06-26 Toshiba Corp X-ray diagnostic apparatus and control program
JP2014516595A (en) * 2011-03-16 2014-07-17 コントローラッド システムズ、インコーポレイテッド Radiation control and minimization system and method
JP2015093147A (en) * 2013-11-14 2015-05-18 オリンパスメディカルシステムズ株式会社 Medical system
WO2016006284A1 (en) * 2014-07-09 2016-01-14 オリンパス株式会社 Image playback control device and image playback control method
JP2017049781A (en) * 2015-09-01 2017-03-09 株式会社東芝 Glasses-type wearable device, control method thereof, and information management server
WO2018061383A1 (en) * 2016-09-28 2018-04-05 富士フイルム株式会社 Three-dimensional image projection device and method, and three-dimensional image projection control program
JPWO2020194845A1 (en) * 2019-03-26 2020-10-01

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014516595A (en) * 2011-03-16 2014-07-17 コントローラッド システムズ、インコーポレイテッド Radiation control and minimization system and method
JP2014113209A (en) * 2012-12-06 2014-06-26 Toshiba Corp X-ray diagnostic apparatus and control program
JP2015093147A (en) * 2013-11-14 2015-05-18 オリンパスメディカルシステムズ株式会社 Medical system
WO2016006284A1 (en) * 2014-07-09 2016-01-14 オリンパス株式会社 Image playback control device and image playback control method
JP2017049781A (en) * 2015-09-01 2017-03-09 株式会社東芝 Glasses-type wearable device, control method thereof, and information management server
WO2018061383A1 (en) * 2016-09-28 2018-04-05 富士フイルム株式会社 Three-dimensional image projection device and method, and three-dimensional image projection control program
JPWO2018061383A1 (en) * 2016-09-28 2019-02-28 富士フイルム株式会社 3D image projection apparatus and method, and 3D image projection control program
US11122250B2 (en) 2016-09-28 2021-09-14 Fujifilm Corporation Three-dimensional image projection apparatus, three-dimensional image projection method, and three-dimensional image projection control program
JPWO2020194845A1 (en) * 2019-03-26 2020-10-01
WO2020194845A1 (en) * 2019-03-26 2020-10-01 富士フイルム株式会社 Image transfer device, method, and program
JP7192093B2 (en) 2019-03-26 2022-12-19 富士フイルム株式会社 Image transfer device, method and program
US11998378B2 (en) 2019-03-26 2024-06-04 Fujifilm Corporation Image transmission apparatus, image transmission method, and image transmission program

Similar Documents

Publication Publication Date Title
WO2015045368A1 (en) Image processing device, image display system, imaging system, image processing method, and program
JP4153963B2 (en) Endoscope insertion shape detection device
JP2004267461A (en) Endoscopic surgery system
US20050261550A1 (en) System, apparatus, and method for supporting insertion of endoscope
JP2008237369A (en) Image processing device and image processing method
WO2015044979A1 (en) Information processing device, imaging system, information processing method and program
JP2012081180A (en) Medical image diagnosis device and medical image processing method
JP4716794B2 (en) Image display device
WO2020165978A1 (en) Image recording device, image recording method, and image recording program
JP6313913B2 (en) Endoscopic image observation support system
JP6026982B2 (en) Image display control device, operation method thereof, and image display control program
JP2008054763A (en) Medical image diagnostic apparatus
JP6100910B2 (en) Information processing apparatus, photographing system, information processing method, and program
JP7414585B2 (en) Medical image recording equipment and X-ray imaging equipment
JP2008110200A (en) X-ray diagnostic apparatus and x-ray diagnostic system
JP4615842B2 (en) Endoscope system and endoscope image processing apparatus
JP2006130129A (en) X-ray diagnostic imaging apparatus
JP2004081569A (en) Equipment for angiographic photography
JP2002034948A (en) Medical image display apparatus
JPH07178078A (en) Image displaying method
JP2009011571A (en) X-ray fluoroscope
JP5044330B2 (en) Medical image processing apparatus and medical image processing system
JP2004215939A (en) Medical image diagnostic apparatus
JP4354353B2 (en) Insertion support system
JP5111924B2 (en) Medical diagnostic imaging equipment