JP4286556B2 - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP4286556B2 JP4286556B2 JP2003045554A JP2003045554A JP4286556B2 JP 4286556 B2 JP4286556 B2 JP 4286556B2 JP 2003045554 A JP2003045554 A JP 2003045554A JP 2003045554 A JP2003045554 A JP 2003045554A JP 4286556 B2 JP4286556 B2 JP 4286556B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- image
- hand
- screen
- virtual plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000000149 penetrating effect Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000035515 penetration Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 5
- 238000002601 radiography Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/28—Details of apparatus provided for in groups G01R33/44 - G01R33/64
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、医用画像や検査レポート等を所定の操作に従って表示する画像表示装置に関するものである。
【０００２】
【従来の技術】
従来から、グラフィカル・ユーザ・インタフェース（以下、ＧＵＩと称する）ベースの読影、検査、患者説明等を支援する画像表示装置として、画像ビューアが存在している（例えば、特許文献１参照）。
【０００３】
当該画像ビューアに用いられるＧＵＩとしては、キーボード、マウス、或いは、特別な操作パネル等がある。また、表示装置としては、モニタやプロジェクタ等がある。
【０００４】
医師等の操作者は、キーボード、マウス、或いは、特別な操作パネル等を操作することで、モニタやプロジェクタによって表示される医用画像や検査レポート等の内容を変更して、所望の医用情報を表示させる。また、表示された医用情報の大きさ、配列、画質、階調等を調整する。さらには、表示された医用情報に必要な情報を書き込む。
【０００５】
因みに、医用画像や検査レポートは、医用Ｘ線ＣＴ装置、磁気共鳴画像診断装置、或いは、デジタルラジオグラフィ装置などの検査装置によって収集、作成され、一旦、画像サーバに保持された後、医師等の操作者が、キーボード、マウス、或いは、特別な操作パネル等を操作することで、呼び出し、表示される。
【０００６】
ところで、当該画像ビューアにおいて読影を行う場合には、医師等の操作者は、キーボードやマウス等を、随時、選択して操作しなければならない。
【０００７】
しかしながら、例えばカンファレンスの際には、操作者は多数存在するため、キーボードやマウス等の受け渡しを行うことが必要となり、操作を行う者が制限されて不便な場合がある。また、術式の際には、衛生上の問題から、キーボードやマウス等に触れて、これを使用することは不可能な場合がある。
【０００８】
因みに、キーボードやマウス等を用いることなく、操作者の手の形状を認識することで、これを動作表現とすることが可能な装置がある。このような装置を用いたものとしては、例えば特開２０００−２２２０９８号公報に記載されるハンドポインティング装置がある（例えば、特許文献２参照）。
【０００９】
当該ハンドポインティング装置によれば、操作者は、自身の手による指示位置を表示画面上に表示することができると共に、指示位置を表現するマーカのふらつきを抑えることができる。
【００１０】
【特許文献１】
特開平５−１２３５２号公報
（段落〔００２８〕‐〔００７５〕、第１図乃至第３５図）
【特許文献２】
特開２０００−２２２０９８号公報
（段落〔００２４〕‐〔００８４〕、第１図乃至第１５図）
【００１１】
【発明が解決しようとする課題】
しかしながら、当該ハンドポインティング装置においては、医師等の操作者が画像ビューアにおいて行う、例えば、所望する線、図形、或いは、文字等を表示画面上に描画する操作や、マウス操作におけるドラック、ダブルクリック等に対応する操作を行うことはできなかった。また、上述した表示画面上の所望の位置を指示す操作は、自身の視界内において行われるため、煩わしく感じる場合があった。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、操作者の所定の操作に応じて、操作権限者を規定すると共に、この操作権限者に対して、キーボードやマウス等に相当する操作手段を所定の空間部分に定義することで、操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もなく、操作者の操作に関する利便性をより向上させることのできる画像表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明は、画像を画面に表示する表示手段と、操作者を撮影した画像に基づいて、当該操作者の目及び手の三次元的位置を検出すると共に、検出された前記操作者のいずれかの目を視点として設定する操作位置検出手段と、前記操作者の目の三次元的位置に基づいて、前記画面と前記操作者との間に仮想平面を前記視点から前記画面に表示される画像の４隅までの領域内に定義する仮想平面定義手段と、前記操作者の手の三次元的位置情報と、前記仮想平面の三次元的位置情報とに基づいて、前記仮想平面と前記操作者の手との接触を判定する判定手段と、前記操作者の手と視点の三次元的位置情報に基づいて前記操作者の手により指示される前記画面内の二次元座標を算出する指示位置算出手段と、前記判定手段による判定結果及び前記二次元座標に基づいて、前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする。
【００１４】
また、請求項２記載の発明は、請求項１記載の画像表示装置であって、人の手の形状を検出する形状検出手段と、前記形状検出手段により、前記手が所定の形状となったことが検出された場合に、その人を操作権限者として認識する操作権限者認識手段と、を備えたことを特徴とする。
【００１６】
また、請求項３記載の発明は、請求項１記載の画像表示装置であって、前記操作者の腕の長さを検出する長さ検出手段を備え、前記仮想平面定義手段は、前記長さ検出手段による検出結果に基づいて、前記操作者の腕の長さの範囲内に前記仮想平面を定義することを特徴とする。
【００１７】
また、請求項４記載の発明は、請求項１乃至請求項３の何れか一項に記載の画像表示装置であって、前記表示制御手段は、前記指示位置算出手段による算出結果に基づいて、前記操作者の手により指示される前記画面内の位置を軌跡として表示する制御を行うことを特徴とする。
【００１８】
また、請求項５記載の発明は、請求項１乃至請求項４の何れか一項に記載の画像表示装置であって、前記判定手段は、前記仮想平面と前記操作者の手との接触時間を計時する計時手段と、前記仮想平面を貫く前記操作者の手の貫通量を算出する貫通量算出手段と、を備え、前記表示制御手段は、前記計時手段による計時結果と前記貫通量算出手段による算出結果とに基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする。
【００１９】
また、請求項６記載の発明は、請求項５記載の画像表示装置であって、前記操作内容は、マウス操作であるクリック操作、ダブルクリック操作、ドラッグ操作の何れかを含むことを特徴とする。
【００２０】
また、請求項７記載の発明は、請求項１乃至請求項６の何れか一項に記載の画像表示装置であって、前記仮想平面に仮想キーボードを定義する仮想キーボード定義手段を備え、前記判定手段は、前記操作位置検出手段による検出結果と、前記仮想キーボード定義手段により定義される前記仮想キーボードの位置情報とに基づいて、前記仮想キーボードと前記操作者の手との接触を判定して、前記表示制御手段は、前記判定手段による判定結果に基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする。
【００２１】
また、請求項８記載の発明は、請求項１乃至請求項７の何れか一項に記載の画像表示装置であって、前記画面の両側端部に配置され、操作者を異なる方向より撮影する撮影手段を更に備え、前記操作位置検出手段は、前記撮影手段による撮影結果から前記操作者の目及び手の三次元的位置を検出することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明に係る画像表示装置の好適な実施の形態の一例について、図面を参照して具体的に説明する。
【００２３】
（画像表示システムの全体構成）
図１に、本実施形態における画像表示装置を含み構成される画像表示システムの全体構成を示す。図１に示すように、当該画像表示システムは、画像表示装置としての画像ビューア１と、医用Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置２、磁気共鳴画像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）診断装置３、図示省略のＸ線透視撮影装置と組み合わせて使用され、Ｘ線画像をデジタル処理するデジタルラジオグラフィ（Ｄｉｇｉｔａｌ Ｒａｄｉｏｇｒａｐｈｙ）装置４等の検査装置と、これらの検査装置において収集、生成された医用画像や検査レポートを保管する画像サーバ５を含み構成されている。尚、これらはＬＡＮ等を介して互いに通信可能に接続されている。
【００２４】
このような構成において、医用Ｘ線ＣＴ装置２、磁気共鳴画像診断装置３、デジタルラジオグラフィ装置４等において収集、生成された医用画像や検査レポートは、一旦、画像サーバ５に保持される。医師等の操作者は、画像ビューア１において、キーボード、マウス、或いは、特別な操作パネル等を操作することで、この画像サーバ５に保持される医用画像や検査レポートを呼び出し、これを表示する。尚、画像ビューア１においては、特別な操作パネルとして、後述する仮想平面及び仮想キーボードを定義する。
【００２５】
（画像表示装置の全体構成）
画像ビューア１は、本発明の画像表示装置に相当するものであり、図２にその全体構成を示す。図２に示すように、当該画像ビューア１は、画像を表示するプロジェクタ１０及びスクリーン１１と、操作者Ｐの手や目（視点）の位置を検出するカメラ１２ａ、１２ｂと、カメラ１２ａ、１２ｂからの画像データに基づいて、スクリーン１１と操作者Ｐの視点との距離を算出して、スクリーン１１と操作者Ｐの視点との間に仮想平面Ｇを定義すると共に、仮想平面Ｇと操作者Ｐの手との接触を判定して、その判定結果と、スクリーン１１と操作者Ｐの視点との距離に関する情報とに基づいて、スクリーン１１に表示される医用画像や検査レポートの画像表示に係る制御を行う制御装置１３と、を含み構成されている。尚、プロジェクタ１０、カメラ１２ａ、１２ｂと制御装置１３とは、ケーブル又は赤外線通信等により通信可能に接続されている。
【００２６】
このような構成において、カメラ１２ａ、１２ｂは、スクリーン１１と所定の位置関係になるように、スクリーン１１を挟んで両側に設置される。そして、操作者Ｐが仮想平面Ｇに対して行った操作は、カメラ１２ａ、１２ｂにより画像として収集され、その画像データに基づいて、制御装置１３は、操作者Ｐが仮想平面Ｇに対して行った操作内容を判断して、その操作内容に応じた画像処理を行い、プロジェクタ１０によって、その結果をスクリーン１１に表示する。尚、本発明は、プロジェクタ１０の替わりに通常のＣＲＴモニタ等を用いても良い。
【００２７】
（制御装置の制御構成）
図３に、制御装置１３の制御構成を示す。図３に示すように、当該制御装置１３は、カメラ１２ａ、１２ｂにより収集された画像から操作者Ｐの位置（代表的には、目又は頭部の位置）や手（代表的には指先）の３次元的な位置の検出を行う位置・形状・音声認識部１３ａと、スクリーン１１と操作者Ｐの間に仮想平面Ｇを定義し、さらに、この仮想平面Ｇ上に仮想キーボードの３次元的な位置を定義する仮想平面・仮想キーボード処理部１３ｂと、操作者Ｐに関する個別情報を保持する情報ファイル保存部１３ｃと、ＬＡＮ等を介して、検査装置において収集、生成された医用画像や検査レポートを画像サーバ５から取得する通信部１３ｄと、仮想平面Ｇや仮想キーボードによる入力操作を行うためのＧＵＩ１３ｅと、手の３次元的な位置情報を画面上の２次元的な位置情報へ変換する処理と、定義された仮想平面Ｇや仮想キーボードの位置と手の３次元的な位置情報からクリック動作の判定を行う位置情報・画面サイズ情報処理部１３ｆと、スクリーン１１に表示される画像の大きさ、即ち、画面の大きさに関する情報を収集する画像表示画面サイズ情報収集部１３ｇと、ＧＵＩ１３ｅにおいて行われた操作を処理して、動作表現、即ち、対応する画像表示を行う情報処理部１３ｈと、スクリーン１１に表示される医用画像や検査レポート等に関する情報を保持する画像データ保存部１３ｉと、を含み構成されている。
【００２８】
このような構成において、操作者Ｐが操作を行うべく設定範囲内に進入すると、カメラ１２ａ、１２ｂは、これを画像として収集して、位置・形状・音声認識部１３ａは、その画像データから操作者Ｐの目と手の３次元的な位置情報を求め、仮想平面・仮想キーボード処理部１３ｂ、位置情報・画面サイズ情報処理部１３ｆに出力する。カメラ１２ａ、１２ｂは、スクリーン１１と所定の位置関係を保って設置されているため、目と手の３次元的な位置情報は、スクリーン１１との相対的な位置関係を表すものとなる。
【００２９】
複数の操作者Ｐが設定範囲内に存在する場合、位置・形状・音声認識部１３ａは、その中から操作権限者を決め、その操作権限者の目、手の位置を仮想平面・仮想キーボード処理部１３ｂ、位置情報・画面サイズ情報処理部１３ｆに出力する。この操作権限者の決定を行うため、位置・形状・音声認識部１３ａは、各操作者Ｐの手の形状認識処理を行っており、操作者Ｐが手を開く等して、手を所定の形状にした場合に、その操作者Ｐを操作権限者と判断する。また、操作者Ｐが所定の言葉を発した場合には、カメラ１２ａ、１２ｂは、これを音声として収集して、位置・形状・音声認識部１３ａは、その音声データから、その操作者Ｐを操作権限者と判断する。尚、操作権限者として判断される操作者Ｐの手の形状や、音声に関する情報は、予め、位置・形状・音声認識部１３ａにおいて保持されているものとする。
【００３０】
位置・形状・音声認識部１３ａは、さらに、操作権限者Ｐの目（片目を閉じている場合は開いている目、両目を開いているときは利き目）を視点として設定し、操作権限者Ｐの視点とスクリーン１１との距離、操作権限者Ｐの視点の高さ、操作権限者Ｐの手とスクリーン１１との距離等を算出する。尚、情報ファイル保存部１３ｃには、予め、操作者Ｐ毎に操作権限を取得するための手の形状と利き目に関する情報とを関連付けたテーブルが保持されており、位置・形状・音声認識部１３ａは、操作者Ｐが手の形状を所望の形状にした場合には、このテーブルを参照することで、その形状と関連付けられた目を、その操作権限者Ｐの利き目と判断するものとする。
【００３１】
仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの目の３次元的な位置情報等に基づいて、操作権限者Ｐの視点とスクリーン１１との間の所定の位置に仮想平面Ｇを定義し、この仮想平面Ｇの３次元的な位置を表す情報を位置情報・画面サイズ情報処理部１３ｆへ送る。この際、図４に示すように、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの視点Ｒから、例えば操作権限者Ｐの腕の長さの半分の位置Ｌに仮想平面Ｇを設定する。この際、仮想平面Ｇは、操作権限者Ｐの視点Ｒからスクリーン１１に表示される画像の４隅までの領域内に設定されることとする。因みに、仮想平面Ｇの位置Ｌや大きさは、任意に設定することができることとする。尚、操作権限者Ｐの腕の長さは、例えば操作者Ｐの肩、肘、手等の３点に予め貼付されたマーカをカメラ１２ａ、１２ｂが画像として収集し、位置・形状・音声認識部１３ａが、その画像データから各マーカの位置を抽出して、仮想平面・仮想キーボード処理部１３ｂが、各マーカ間の距離を算出して、これを加算することで得られるものとする。
【００３２】
仮想平面・仮想キーボード処理部１３ｂは、さらに、仮想平面Ｇ上の所定の位置に仮想キーボードを定義し、この仮想キーボードの３次元的な位置を表す情報を、位置情報・画面サイズ情報処理部１３ｆを経由して、ＧＵＩ１３ｅへ送る。因みに、この仮想キーボードは、仮想平面Ｇの任意の位置に設定できるものとする。この際、ＧＵＩ１３ｅは、この仮想キーボードの画面上の位置にキーボードのグラフィック画像を表示する処理を行い、図５に示すように、仮想キーボードＨに対応するキーボードＪをスクリーン１１の画像上の所定の位置に表示する。これにより、操作権限者Ｐは、仮想キーボードＨに対する操作をキーボードＪにて確認することができる。
【００３３】
ところで、操作権限者Ｐが、仮想キーボードＨに対する操作が自身の視界内で行われることを煩わしく感じる場合には、仮想平面Ｇを寝かせた状態で定義することも可能である。これにより、操作権限者Ｐの目線から下方に仮想キーボードＨを定義することができる。因みに、このような場合であっても、スクリーン１１の画像上には、キーボードＪが表示されるので、操作権限者Ｐは、仮想キーボードＨに対する操作をキーボードＪにて確認することができる。
【００３４】
画像表示画面サイズ情報収集部１３ｇは、スクリーン１１に表示される画面の大きさに関する情報を収集する。尚、スクリーン１１に表示される画面の大きさは、スクリーン１１とプロジェクタ１０との距離、及び、プロジェクタ１０本体における画像の拡大倍率により規定され、例えば、スクリーン１１とプロジェクタ１０との距離に関する情報は、予め画像表示画面サイズ情報収集部１３ｇが保持していることとし、また、プロジェクタ１０本体における画像の拡大倍率に関する情報は、通信部１３ｄを介して、プロジェクタ１０本体から取得することとする。
【００３５】
位置情報・画面サイズ情報処理部１３ｆは、画像表示画面サイズ情報収集部１３ｇにより収集される、スクリーン１１の表示画面サイズに関する情報と、位置・形状・音声認識部１３ａにより収集される、操作権限者Ｐの目や手の３次元的な位置情報に基づいて、スクリーン１１の画像上における２次元的な座標位置情報を求めてＧＵＩ１３ｅに送る。また、操作権限者Ｐの手の３次元的な位置情報と、仮想平面Ｇの３次元的な位置情報等からクリック操作、ダブルクリック操作の判定を行い、その判定結果を情報処理部１３ｈへ送る。
【００３６】
ＧＵＩ１３ｅは、アイコン、キーボード、カーソル等の入力操作を行うためのグラフィック画像をスクリーン１１に表示するための処理、及び、これらを用いた入力操作にかかる処理を行う。具体的には、ＧＵＩ１３ｅは、位置情報・画面サイズ情報処理部１３ｆからの２次元座標位置に基づいて、カーソルの移動処理を行う。また、ＧＵＩ１３ｅは、クリック操作がアイコンの位置で行われた場合には、そのアイコンに関連付けられた動作（処理）を行うよう、情報処理部１３ｈへ指示を出す。又、操作権限者により、仮想キーボードＨ上でクリック操作が行われた場合には、その触った位置のキーの文字が入力されたものとして、その文字情報を情報処理部１３ｈへ送る。情報処理部１３ｈは、ＧＵＩ１３ｅから指示された動作に対応するプログラムを実行し、各種画像処理等を行う。尚、この画像処理等を行うにあたり、座標、クリック判定の結果等が必要な場合には、ＧＵＩ１３ｅから適宜取得する。これらの操作は、位置情報・画面サイズ情報処理部１３ｆにおいて処理され、さらに、情報処理部１３ｈにおいて動作表現とされる。その結果は、プロジェクタ１０を介して、スクリーン１１の画面内に表示される。因みに、この動作表現の対象となる画像データ等は、予め画像データ保存部１３ｉに保存されていることとする。或いは、通信部１３ｄを介して画像サーバ５から取得された上で、予め画像データ保存部１３ｉに保存されていることとする。
【００３７】
尚、本発明の「表示手段」は、プロジェクタ１０及びスクリーン１１により構成される。本発明の「撮影手段」は、カメラ１２ａ、１２ｂにより構成される。本発明の「操作位置検出手段」、「形状検出手段」、「操作権限者認識手段」、「視点位置検出手段」は、カメラ１２ａ、１２ｂ及び位置・形状・音声認識部１３ａにより構成される。本発明の「仮想平面定義手段」及び「仮想キーボード定義手段」は、仮想平面・仮想キーボード処理部１３ｂにより構成される。本発明の「長さ検出手段」は、カメラ１２ａ、１２ｂ、位置・形状・音声認識部１３ａ及び仮想平面・仮想キーボード処理部１３ｂにより構成される。本発明の「指示位置算出手段」及び「判定手段」は、位置情報・画面サイズ情報処理部１３ｆにより構成される。本発明の「表示制御手段」は、ＧＵＩ１３ｅ、情報処理部１３ｈにより構成される。
【００３８】
（位置情報・画面サイズ情報処理部における処理）
次に、位置情報・画面サイズ情報処理部１３ｆにおける処理、具体的には、カーソルの移動操作や、仮想平面Ｇ上におけるクリック操作、ダブルクリック操作及びドラッグ操作や、仮想キーボードＨ上におけるテキスト入力操作に応じた動作表現処理について説明する。
【００３９】
尚、当該画像ビューア１においては、医師等のユーザが読影を行うことを支援するために各種モードが設定されている。具体的には、スクリーン１１の表示画面に表示される医用画像のコマ数を変更する“コマ数変更モード”や、スクリーン１１の表示画面に表示される医用画像において、所望の２地点間の距離を計測する“距離計測モード”や、スクリーン１１の表示画面に表示される医用画像上に、フリーハンドによって所望のラインを描画する“フリーハンドモード”や、スクリーン１１の表示画面に表示される医用画像の階調を変更する“階調変更モード”や、この他、スクリーン１１の表示画面に表示される医用画像上に、所望の記号や文字等を入力する“テキスト入力モード”等がある。
【００４０】
位置情報・画面サイズ情報処理部１３ｆは、位置・形状・音声認識部１３ａからの操作者Ｐの目と手の３次元的な位置情報に基づいて、スクリーン１１上の２次元座標を算出する。この算出は、操作者Ｐの目の位置と手の位置を通る直線が、スクリーン１１の画面上に交わる座標を求める。これにより、操作者Ｐから見て、手（指先）の重なっている部分のスクリーン１１の座標が求められる。
【００４１】
位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの手が仮想平面Ｇを貫いていた時間をＳ［秒］、仮想平面を貫いた量をＸ［ｍｍ］とした場合、これらのパラメータに基づいて、以下のような判定を行う。因みに、位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの手と仮想平面Ｇとの接触時間を計時する図示省略のタイマーと、操作権限者Ｐの手が仮想平面Ｇを貫いた量を検出する図示省略の処理部とを備えている。
【００４２】
尚、図示省略のタイマーは、本発明の「計時手段」を構成する。また、図示省略の処理部は、本発明の「貫通量算出手段」を構成する。
【００４３】
・クリックについて
操作権限者Ｐの手が仮想平面Ｇを貫いていた時間が所定時間Ｓ［秒］内である場合、位置情報・画面サイズ情報処理部１３ｆは、これをクリック操作が行われたものと判断する（例えば、０＜Ｓ＜１）。例えば、Ｓ＝０．５［秒］（Ｘ＝１０［ｍｍ］）である場合には、上記判断によりクリック操作と判定される。
【００４４】
因みに、このクリック操作が行われる例としては、例えば図６に示すように、各種モードを選択する場合がある。この場合、仮想平面Ｇの領域Ａにおいてクリック操作を行うと、距離計測モードが選択されることになる。
【００４５】
・ダブルクリックについて
クリック操作が行われた間隔が所定時間Ｔ［秒］内である場合、位置情報・画面サイズ情報処理部１３ｆは、これをダブルクリック操作が行われたものと判断する（例えば、０＜Ｔ＜１）。例えば、Ｓ＝０．３［秒］（Ｘ＝１０［ｍｍ］）の操作が１［秒］以内に２回行われた場合には、上記判断によりダブルクリックと判定される。
【００４６】
因みに、このダブルクリック操作が行われる例としては、例えば図７に示すように、“コマ数変更モード”において、画像が１コマで表示されている際に、画像を２×２コマで表示させるべく、カーソルＣを“コマ増”釦に移動させて、これを選択する場合などがある。この場合、画像は、２×２コマで表示されることになる。因みに、カーソルＣの移動は、仮想平面Ｇに接触しない状態で、スクリーン１１に表示される画像上の所望の位置を指示すことによって行われるものとする。
【００４７】
・ドラッグについて
仮想平面Ｇを貫いていた時間が所定時間Ｕ［秒］以上であって、仮想平面を貫いた量が所定量Ｘ［ｍｍ］以上である場合、位置情報・画面サイズ情報処理部１３ｆは、これをドラッグ操作が行われたものと判断する。例えば、Ｓ＝５［秒］、Ｘ＝１０［ｍｍ］の操作が１［秒］以上継続して行われた場合には、上記判断からドラッグと判定される。
【００４８】
因みに、このドラッグ操作が行われる例としては、例えば図８に示すように、“フリーハンドモード”において、所望の線を描画する場合などがある。この場合、仮想平面Ｇ上において行われた操作がスクリーン１１の画面上に軌跡として描画されることになる。尚、この軌跡は、所定の長さ以上になった場合、又は、所定時間の経過後に、先に描画された部分が順次消えていくこととしても良い。これにより、スクリーン１１の画面上に表示される書込みを一定量に制限することができる。また、手の平などが仮想平面Ｇを大きく貫いた場合に、これを“消しゴム”とみなして、これまでの書込みを消去することができるようにしても良い。
【００４９】
この他にも、このドラッグ操作が行われる例としては、例えば図６に示すように、“距離計測モード”において、所望の２地点間の距離を計測する場合などがある。この場合、仮想平面Ｇに触れることなく開始点まで手を移動させて、仮想平面Ｇを貫き、そのままの状態で終了点まで移動して、終了点において仮想平面Ｇから手を引き抜くことでドラッグ操作が完了する。これにより、開始点と終了点間の距離が計測されることになる。
【００５０】
（画像表示に関する処理の流れ）
次に、上述した当該画像ビューア１の画像表示に関する処理の流れについて、図９及び図１０に示すフローチャートを参照しつつ説明する。
【００５１】
図９に示すように、操作者Ｐが操作を行うべく設定範囲内に進入すると、カメラ１２ａ、１２ｂは、これを画像として収集して、位置・形状・音声認識部１３ａは、操作者Ｐが設定範囲内に進入したことを認識する（Ｓ０１、Ｙｅｓ）。
【００５２】
次に、画像表示画面サイズ情報収集部１３ｇは、スクリーン１１と操作者Ｐとの距離、及び、スクリーン１１に表示される画面のサイズ等を検出する（Ｓ０２）。
【００５３】
ここで、操作者Ｐが手を開くなどして、手の形状を所望の形状にした場合には、位置・形状・音声認識部１３ａは、これを認識して、その操作者Ｐを操作権限者と判断する。また、操作者Ｐが所定の言葉を発した場合には、カメラ１２ａ、１２ｂは、これを音声として収集して、位置・形状・音声認識部１３ａは、その音声データから、その操作者Ｐを操作権限者と判断する。そして、操作権限者Ｐの目（片目を閉じている場合は開いている目、両目を開いているときは利き目）を視点として設定し（Ｓ０３）、操作権限者Ｐの視点とスクリーン１１との距離、操作権限者Ｐの視点の高さ、操作権限者Ｐの手とスクリーン１１との距離等を算出する。
【００５４】
次に、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの目や手の位置、形状に関する情報等に基づいて、操作権限者Ｐの視点とスクリーン１１との間の所定の位置に仮想平面Ｇを定義する。具体的には、操作権限者Ｐの腕の長さを検出して（Ｓ０４）、操作権限者Ｐの視点Ｒから、例えば操作権限者Ｐの腕の長さの半分の位置Ｌに仮想平面Ｇを設定する（Ｓ０５）。
【００５５】
次に、位置・形状・音声認識部１３ａは、操作権限者Ｐ以外の人が、操作権利取得のポーズをしていないかを判定する（Ｓ０６）。ここで、操作権利取得のポーズをしている操作者がいた場合には（Ｓ０６、Ｙｅｓ）、この操作者に対して、Ｓ０３からＳ０５までの工程を繰り返す。
【００５６】
図１０に示すように、次に、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの手と仮想平面Ｇとが接触しているか否かを判定する（Ｓ０７）。ここで、それらが接触していると判断された場合には、さらに、操作権限者Ｐの手と仮想平面Ｇとの接触時間及び接触量を検知して、その検知結果に基づいて、仮想平面Ｇ上において行われた操作の内容、例えばクリック、ダブルクリック、ドラッグの何れであるかを判定する（Ｓ０８）。
【００５７】
次に、情報処理部１３ｈは、その判定結果に基づく動作表現処理を行う（クリックの場合はＳ０９、ダブルクリックの場合はＳ１０、ドラッグの場合はＳ１１へ移行）。尚、Ｓ０７において、操作権限者Ｐの手と仮想平面Ｇとが接触していないと判断された場合には（Ｓ０７、Ｎｏ）、情報処理部１３ｈは、操作権限者Ｐの目の位置に関する情報と、スクリーン１１に表示される画像の位置及びサイズに関する情報とに基づいて、操作権限者Ｐの手の動きに応じたカーソルＣの移動処理を行う（Ｓ１２）。
【００５８】
図５に戻って、次に、位置・形状・音声認識部１３ａは、操作権限者Ｐが設定範囲外へ移動したか否かを判定する（Ｓ１３）。ここで、操作権限者Ｐが設定範囲外へ移動している場合には（Ｓ１３、Ｙｅｓ）、当該画像ビューア１に対する操作が終了したものと判断して、Ｓ０１へと移行する。また、ここで、操作権限者Ｐが設定範囲外へ移動していない場合いには（Ｓ１３、Ｎｏ）、操作権限者Ｐの目の位置等に関する補正を行うべく、再度、Ｓ０３へと移行する。
【００５９】
以上に説明したように、本実施形態における画像表示装置においては、操作者の所定の操作に応じて、操作権限者Ｐを規定すると共に、この操作権限者Ｐに対して、キーボードやマウス等に相当する操作手段である仮想平面Ｇや仮想キーボードＨが適切な空間部分に定義されるので、操作権限者Ｐは、操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もないため、操作に関する利便性がより向上されることとなる。
【００６０】
尚、本実施形態における画像表示装置、及び画像表示システムにおいては、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの腕の長さに基づいて、仮想平面Ｇの設定位置を決定することとしたが、例えば、操作権限者Ｐの手の平を基準として、所定の距離だけ離れた位置に手の平と平行になるように設定することにしても良い。
【００６１】
また、位置・形状・音声認識部１３ａや位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの目や手の位置、スクリーン１１と操作権限者Ｐの視点との距離、スクリーン１１に表示される画面の大きさに関する情報等を収集することとしたが、各々が、その標準値を予め保持していることにしても良い。
【００６２】
また、位置・形状・音声認識部１３ａは、操作者Ｐが手の形状を所望の形状にした場合、或いは、操作者が所定の言葉を発した場合に、その操作者を操作権限者Ｐと判断することとしたが、操作者が操作を行うべく設定範囲内に進入した場合には、その操作者を、そのまま操作権限者Ｐとして判断することにしても良い。或いは、最初に設定範囲内に進入した操作者を操作権限者Ｐとして判断することにしても良い。
【００６３】
また、情報処理部１３ｈは、仮想平面Ｇや仮想キーボードＪにおける操作に応じてスクリーン１１の画像上に描画する線、図形、文字等の大きさ、或いは、太さを、スクリーン１１と操作権限者Ｐの視点との距離に応じて調整することにしても良い。
【００６４】
【発明の効果】
以上に説明したように、本発明に係る画像表示装置によれば、操作者の位置に基づいて設定された仮想平面と手（指先）の接触判定結果に基づいて、装置の操作を行うので、良好な操作性が得られる。
【図面の簡単な説明】
【図１】本実施形態における画像表示装置（画像ビューア）を含み構成される画像表示システムの全体構成を表す構成図である。
【図２】図１に示す画像ビューアの全体構成を表す構成図である。
【図３】図２に示す画像ビューアの制御構成を表す機能ブロック図である。
【図４】図２に示す画像ビューアにおいて、仮想平面が定義される過程を説明するための説明図である。
【図５】図２に示す画像ビューアにおいて、仮想平面上に仮想キーボードが定義される過程を説明するための説明図である。
【図６】図２に示す画像ビューアにおいて、クリック操作が行われる場合の一例について説明するための説明図である。
【図７】図２に示す画像ビューアにおいて、ダブルクリック操作が行われる場合の一例について説明するための説明図である。
【図８】図２に示す画像ビューアにおいて、ドラッグ操作が行われる場合の一例について説明するための説明図である。
【図９】図２に示す画像ビューアの画像表示に関する処理の流れについて説明するためのフローチャートである。
【図１０】図２に示す画像ビューアの画像表示に関する処理の流れについて説明するためのフローチャートである。
【符号の説明】
１ 画像ビューア
２ 医用Ｘ線ＣＴ装置
３ 磁気共鳴画像診断装置
４ デジタルラジオグラフィ装置
５ 画像サーバ
１０ プロジェクタ
１１ スクリーン
１２ａ、１２ｂ カメラ
１３ 制御装置
１３ａ 位置・形状・音声認識部
１３ｂ 仮想平面・仮想キーボード処理部
１３ｃ 情報ファイル保存部
１３ｄ 通信部
１３ｅ ＧＵＩ
１３ｆ 位置情報・画面サイズ情報処理部
１３ｇ 画像表示画面サイズ情報収集部
１３ｈ 情報処理部
１３ｉ 画像データ保存部
Ｃ カーソル
Ｇ 仮想平面
Ｈ 仮想キーボード
Ｊ キーボード
Ｐ 操作者（操作権限者）
Ｒ 視点
【発明の属する技術分野】
本発明は、医用画像や検査レポート等を所定の操作に従って表示する画像表示装置に関するものである。
【０００２】
【従来の技術】
従来から、グラフィカル・ユーザ・インタフェース（以下、ＧＵＩと称する）ベースの読影、検査、患者説明等を支援する画像表示装置として、画像ビューアが存在している（例えば、特許文献１参照）。
【０００３】
当該画像ビューアに用いられるＧＵＩとしては、キーボード、マウス、或いは、特別な操作パネル等がある。また、表示装置としては、モニタやプロジェクタ等がある。
【０００４】
医師等の操作者は、キーボード、マウス、或いは、特別な操作パネル等を操作することで、モニタやプロジェクタによって表示される医用画像や検査レポート等の内容を変更して、所望の医用情報を表示させる。また、表示された医用情報の大きさ、配列、画質、階調等を調整する。さらには、表示された医用情報に必要な情報を書き込む。
【０００５】
因みに、医用画像や検査レポートは、医用Ｘ線ＣＴ装置、磁気共鳴画像診断装置、或いは、デジタルラジオグラフィ装置などの検査装置によって収集、作成され、一旦、画像サーバに保持された後、医師等の操作者が、キーボード、マウス、或いは、特別な操作パネル等を操作することで、呼び出し、表示される。
【０００６】
ところで、当該画像ビューアにおいて読影を行う場合には、医師等の操作者は、キーボードやマウス等を、随時、選択して操作しなければならない。
【０００７】
しかしながら、例えばカンファレンスの際には、操作者は多数存在するため、キーボードやマウス等の受け渡しを行うことが必要となり、操作を行う者が制限されて不便な場合がある。また、術式の際には、衛生上の問題から、キーボードやマウス等に触れて、これを使用することは不可能な場合がある。
【０００８】
因みに、キーボードやマウス等を用いることなく、操作者の手の形状を認識することで、これを動作表現とすることが可能な装置がある。このような装置を用いたものとしては、例えば特開２０００−２２２０９８号公報に記載されるハンドポインティング装置がある（例えば、特許文献２参照）。
【０００９】
当該ハンドポインティング装置によれば、操作者は、自身の手による指示位置を表示画面上に表示することができると共に、指示位置を表現するマーカのふらつきを抑えることができる。
【００１０】
【特許文献１】
特開平５−１２３５２号公報
（段落〔００２８〕‐〔００７５〕、第１図乃至第３５図）
【特許文献２】
特開２０００−２２２０９８号公報
（段落〔００２４〕‐〔００８４〕、第１図乃至第１５図）
【００１１】
【発明が解決しようとする課題】
しかしながら、当該ハンドポインティング装置においては、医師等の操作者が画像ビューアにおいて行う、例えば、所望する線、図形、或いは、文字等を表示画面上に描画する操作や、マウス操作におけるドラック、ダブルクリック等に対応する操作を行うことはできなかった。また、上述した表示画面上の所望の位置を指示す操作は、自身の視界内において行われるため、煩わしく感じる場合があった。
【００１２】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、操作者の所定の操作に応じて、操作権限者を規定すると共に、この操作権限者に対して、キーボードやマウス等に相当する操作手段を所定の空間部分に定義することで、操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もなく、操作者の操作に関する利便性をより向上させることのできる画像表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明は、画像を画面に表示する表示手段と、操作者を撮影した画像に基づいて、当該操作者の目及び手の三次元的位置を検出すると共に、検出された前記操作者のいずれかの目を視点として設定する操作位置検出手段と、前記操作者の目の三次元的位置に基づいて、前記画面と前記操作者との間に仮想平面を前記視点から前記画面に表示される画像の４隅までの領域内に定義する仮想平面定義手段と、前記操作者の手の三次元的位置情報と、前記仮想平面の三次元的位置情報とに基づいて、前記仮想平面と前記操作者の手との接触を判定する判定手段と、前記操作者の手と視点の三次元的位置情報に基づいて前記操作者の手により指示される前記画面内の二次元座標を算出する指示位置算出手段と、前記判定手段による判定結果及び前記二次元座標に基づいて、前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする。
【００１４】
また、請求項２記載の発明は、請求項１記載の画像表示装置であって、人の手の形状を検出する形状検出手段と、前記形状検出手段により、前記手が所定の形状となったことが検出された場合に、その人を操作権限者として認識する操作権限者認識手段と、を備えたことを特徴とする。
【００１６】
また、請求項３記載の発明は、請求項１記載の画像表示装置であって、前記操作者の腕の長さを検出する長さ検出手段を備え、前記仮想平面定義手段は、前記長さ検出手段による検出結果に基づいて、前記操作者の腕の長さの範囲内に前記仮想平面を定義することを特徴とする。
【００１７】
また、請求項４記載の発明は、請求項１乃至請求項３の何れか一項に記載の画像表示装置であって、前記表示制御手段は、前記指示位置算出手段による算出結果に基づいて、前記操作者の手により指示される前記画面内の位置を軌跡として表示する制御を行うことを特徴とする。
【００１８】
また、請求項５記載の発明は、請求項１乃至請求項４の何れか一項に記載の画像表示装置であって、前記判定手段は、前記仮想平面と前記操作者の手との接触時間を計時する計時手段と、前記仮想平面を貫く前記操作者の手の貫通量を算出する貫通量算出手段と、を備え、前記表示制御手段は、前記計時手段による計時結果と前記貫通量算出手段による算出結果とに基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする。
【００１９】
また、請求項６記載の発明は、請求項５記載の画像表示装置であって、前記操作内容は、マウス操作であるクリック操作、ダブルクリック操作、ドラッグ操作の何れかを含むことを特徴とする。
【００２０】
また、請求項７記載の発明は、請求項１乃至請求項６の何れか一項に記載の画像表示装置であって、前記仮想平面に仮想キーボードを定義する仮想キーボード定義手段を備え、前記判定手段は、前記操作位置検出手段による検出結果と、前記仮想キーボード定義手段により定義される前記仮想キーボードの位置情報とに基づいて、前記仮想キーボードと前記操作者の手との接触を判定して、前記表示制御手段は、前記判定手段による判定結果に基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする。
【００２１】
また、請求項８記載の発明は、請求項１乃至請求項７の何れか一項に記載の画像表示装置であって、前記画面の両側端部に配置され、操作者を異なる方向より撮影する撮影手段を更に備え、前記操作位置検出手段は、前記撮影手段による撮影結果から前記操作者の目及び手の三次元的位置を検出することを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明に係る画像表示装置の好適な実施の形態の一例について、図面を参照して具体的に説明する。
【００２３】
（画像表示システムの全体構成）
図１に、本実施形態における画像表示装置を含み構成される画像表示システムの全体構成を示す。図１に示すように、当該画像表示システムは、画像表示装置としての画像ビューア１と、医用Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置２、磁気共鳴画像（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）診断装置３、図示省略のＸ線透視撮影装置と組み合わせて使用され、Ｘ線画像をデジタル処理するデジタルラジオグラフィ（Ｄｉｇｉｔａｌ Ｒａｄｉｏｇｒａｐｈｙ）装置４等の検査装置と、これらの検査装置において収集、生成された医用画像や検査レポートを保管する画像サーバ５を含み構成されている。尚、これらはＬＡＮ等を介して互いに通信可能に接続されている。
【００２４】
このような構成において、医用Ｘ線ＣＴ装置２、磁気共鳴画像診断装置３、デジタルラジオグラフィ装置４等において収集、生成された医用画像や検査レポートは、一旦、画像サーバ５に保持される。医師等の操作者は、画像ビューア１において、キーボード、マウス、或いは、特別な操作パネル等を操作することで、この画像サーバ５に保持される医用画像や検査レポートを呼び出し、これを表示する。尚、画像ビューア１においては、特別な操作パネルとして、後述する仮想平面及び仮想キーボードを定義する。
【００２５】
（画像表示装置の全体構成）
画像ビューア１は、本発明の画像表示装置に相当するものであり、図２にその全体構成を示す。図２に示すように、当該画像ビューア１は、画像を表示するプロジェクタ１０及びスクリーン１１と、操作者Ｐの手や目（視点）の位置を検出するカメラ１２ａ、１２ｂと、カメラ１２ａ、１２ｂからの画像データに基づいて、スクリーン１１と操作者Ｐの視点との距離を算出して、スクリーン１１と操作者Ｐの視点との間に仮想平面Ｇを定義すると共に、仮想平面Ｇと操作者Ｐの手との接触を判定して、その判定結果と、スクリーン１１と操作者Ｐの視点との距離に関する情報とに基づいて、スクリーン１１に表示される医用画像や検査レポートの画像表示に係る制御を行う制御装置１３と、を含み構成されている。尚、プロジェクタ１０、カメラ１２ａ、１２ｂと制御装置１３とは、ケーブル又は赤外線通信等により通信可能に接続されている。
【００２６】
このような構成において、カメラ１２ａ、１２ｂは、スクリーン１１と所定の位置関係になるように、スクリーン１１を挟んで両側に設置される。そして、操作者Ｐが仮想平面Ｇに対して行った操作は、カメラ１２ａ、１２ｂにより画像として収集され、その画像データに基づいて、制御装置１３は、操作者Ｐが仮想平面Ｇに対して行った操作内容を判断して、その操作内容に応じた画像処理を行い、プロジェクタ１０によって、その結果をスクリーン１１に表示する。尚、本発明は、プロジェクタ１０の替わりに通常のＣＲＴモニタ等を用いても良い。
【００２７】
（制御装置の制御構成）
図３に、制御装置１３の制御構成を示す。図３に示すように、当該制御装置１３は、カメラ１２ａ、１２ｂにより収集された画像から操作者Ｐの位置（代表的には、目又は頭部の位置）や手（代表的には指先）の３次元的な位置の検出を行う位置・形状・音声認識部１３ａと、スクリーン１１と操作者Ｐの間に仮想平面Ｇを定義し、さらに、この仮想平面Ｇ上に仮想キーボードの３次元的な位置を定義する仮想平面・仮想キーボード処理部１３ｂと、操作者Ｐに関する個別情報を保持する情報ファイル保存部１３ｃと、ＬＡＮ等を介して、検査装置において収集、生成された医用画像や検査レポートを画像サーバ５から取得する通信部１３ｄと、仮想平面Ｇや仮想キーボードによる入力操作を行うためのＧＵＩ１３ｅと、手の３次元的な位置情報を画面上の２次元的な位置情報へ変換する処理と、定義された仮想平面Ｇや仮想キーボードの位置と手の３次元的な位置情報からクリック動作の判定を行う位置情報・画面サイズ情報処理部１３ｆと、スクリーン１１に表示される画像の大きさ、即ち、画面の大きさに関する情報を収集する画像表示画面サイズ情報収集部１３ｇと、ＧＵＩ１３ｅにおいて行われた操作を処理して、動作表現、即ち、対応する画像表示を行う情報処理部１３ｈと、スクリーン１１に表示される医用画像や検査レポート等に関する情報を保持する画像データ保存部１３ｉと、を含み構成されている。
【００２８】
このような構成において、操作者Ｐが操作を行うべく設定範囲内に進入すると、カメラ１２ａ、１２ｂは、これを画像として収集して、位置・形状・音声認識部１３ａは、その画像データから操作者Ｐの目と手の３次元的な位置情報を求め、仮想平面・仮想キーボード処理部１３ｂ、位置情報・画面サイズ情報処理部１３ｆに出力する。カメラ１２ａ、１２ｂは、スクリーン１１と所定の位置関係を保って設置されているため、目と手の３次元的な位置情報は、スクリーン１１との相対的な位置関係を表すものとなる。
【００２９】
複数の操作者Ｐが設定範囲内に存在する場合、位置・形状・音声認識部１３ａは、その中から操作権限者を決め、その操作権限者の目、手の位置を仮想平面・仮想キーボード処理部１３ｂ、位置情報・画面サイズ情報処理部１３ｆに出力する。この操作権限者の決定を行うため、位置・形状・音声認識部１３ａは、各操作者Ｐの手の形状認識処理を行っており、操作者Ｐが手を開く等して、手を所定の形状にした場合に、その操作者Ｐを操作権限者と判断する。また、操作者Ｐが所定の言葉を発した場合には、カメラ１２ａ、１２ｂは、これを音声として収集して、位置・形状・音声認識部１３ａは、その音声データから、その操作者Ｐを操作権限者と判断する。尚、操作権限者として判断される操作者Ｐの手の形状や、音声に関する情報は、予め、位置・形状・音声認識部１３ａにおいて保持されているものとする。
【００３０】
位置・形状・音声認識部１３ａは、さらに、操作権限者Ｐの目（片目を閉じている場合は開いている目、両目を開いているときは利き目）を視点として設定し、操作権限者Ｐの視点とスクリーン１１との距離、操作権限者Ｐの視点の高さ、操作権限者Ｐの手とスクリーン１１との距離等を算出する。尚、情報ファイル保存部１３ｃには、予め、操作者Ｐ毎に操作権限を取得するための手の形状と利き目に関する情報とを関連付けたテーブルが保持されており、位置・形状・音声認識部１３ａは、操作者Ｐが手の形状を所望の形状にした場合には、このテーブルを参照することで、その形状と関連付けられた目を、その操作権限者Ｐの利き目と判断するものとする。
【００３１】
仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの目の３次元的な位置情報等に基づいて、操作権限者Ｐの視点とスクリーン１１との間の所定の位置に仮想平面Ｇを定義し、この仮想平面Ｇの３次元的な位置を表す情報を位置情報・画面サイズ情報処理部１３ｆへ送る。この際、図４に示すように、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの視点Ｒから、例えば操作権限者Ｐの腕の長さの半分の位置Ｌに仮想平面Ｇを設定する。この際、仮想平面Ｇは、操作権限者Ｐの視点Ｒからスクリーン１１に表示される画像の４隅までの領域内に設定されることとする。因みに、仮想平面Ｇの位置Ｌや大きさは、任意に設定することができることとする。尚、操作権限者Ｐの腕の長さは、例えば操作者Ｐの肩、肘、手等の３点に予め貼付されたマーカをカメラ１２ａ、１２ｂが画像として収集し、位置・形状・音声認識部１３ａが、その画像データから各マーカの位置を抽出して、仮想平面・仮想キーボード処理部１３ｂが、各マーカ間の距離を算出して、これを加算することで得られるものとする。
【００３２】
仮想平面・仮想キーボード処理部１３ｂは、さらに、仮想平面Ｇ上の所定の位置に仮想キーボードを定義し、この仮想キーボードの３次元的な位置を表す情報を、位置情報・画面サイズ情報処理部１３ｆを経由して、ＧＵＩ１３ｅへ送る。因みに、この仮想キーボードは、仮想平面Ｇの任意の位置に設定できるものとする。この際、ＧＵＩ１３ｅは、この仮想キーボードの画面上の位置にキーボードのグラフィック画像を表示する処理を行い、図５に示すように、仮想キーボードＨに対応するキーボードＪをスクリーン１１の画像上の所定の位置に表示する。これにより、操作権限者Ｐは、仮想キーボードＨに対する操作をキーボードＪにて確認することができる。
【００３３】
ところで、操作権限者Ｐが、仮想キーボードＨに対する操作が自身の視界内で行われることを煩わしく感じる場合には、仮想平面Ｇを寝かせた状態で定義することも可能である。これにより、操作権限者Ｐの目線から下方に仮想キーボードＨを定義することができる。因みに、このような場合であっても、スクリーン１１の画像上には、キーボードＪが表示されるので、操作権限者Ｐは、仮想キーボードＨに対する操作をキーボードＪにて確認することができる。
【００３４】
画像表示画面サイズ情報収集部１３ｇは、スクリーン１１に表示される画面の大きさに関する情報を収集する。尚、スクリーン１１に表示される画面の大きさは、スクリーン１１とプロジェクタ１０との距離、及び、プロジェクタ１０本体における画像の拡大倍率により規定され、例えば、スクリーン１１とプロジェクタ１０との距離に関する情報は、予め画像表示画面サイズ情報収集部１３ｇが保持していることとし、また、プロジェクタ１０本体における画像の拡大倍率に関する情報は、通信部１３ｄを介して、プロジェクタ１０本体から取得することとする。
【００３５】
位置情報・画面サイズ情報処理部１３ｆは、画像表示画面サイズ情報収集部１３ｇにより収集される、スクリーン１１の表示画面サイズに関する情報と、位置・形状・音声認識部１３ａにより収集される、操作権限者Ｐの目や手の３次元的な位置情報に基づいて、スクリーン１１の画像上における２次元的な座標位置情報を求めてＧＵＩ１３ｅに送る。また、操作権限者Ｐの手の３次元的な位置情報と、仮想平面Ｇの３次元的な位置情報等からクリック操作、ダブルクリック操作の判定を行い、その判定結果を情報処理部１３ｈへ送る。
【００３６】
ＧＵＩ１３ｅは、アイコン、キーボード、カーソル等の入力操作を行うためのグラフィック画像をスクリーン１１に表示するための処理、及び、これらを用いた入力操作にかかる処理を行う。具体的には、ＧＵＩ１３ｅは、位置情報・画面サイズ情報処理部１３ｆからの２次元座標位置に基づいて、カーソルの移動処理を行う。また、ＧＵＩ１３ｅは、クリック操作がアイコンの位置で行われた場合には、そのアイコンに関連付けられた動作（処理）を行うよう、情報処理部１３ｈへ指示を出す。又、操作権限者により、仮想キーボードＨ上でクリック操作が行われた場合には、その触った位置のキーの文字が入力されたものとして、その文字情報を情報処理部１３ｈへ送る。情報処理部１３ｈは、ＧＵＩ１３ｅから指示された動作に対応するプログラムを実行し、各種画像処理等を行う。尚、この画像処理等を行うにあたり、座標、クリック判定の結果等が必要な場合には、ＧＵＩ１３ｅから適宜取得する。これらの操作は、位置情報・画面サイズ情報処理部１３ｆにおいて処理され、さらに、情報処理部１３ｈにおいて動作表現とされる。その結果は、プロジェクタ１０を介して、スクリーン１１の画面内に表示される。因みに、この動作表現の対象となる画像データ等は、予め画像データ保存部１３ｉに保存されていることとする。或いは、通信部１３ｄを介して画像サーバ５から取得された上で、予め画像データ保存部１３ｉに保存されていることとする。
【００３７】
尚、本発明の「表示手段」は、プロジェクタ１０及びスクリーン１１により構成される。本発明の「撮影手段」は、カメラ１２ａ、１２ｂにより構成される。本発明の「操作位置検出手段」、「形状検出手段」、「操作権限者認識手段」、「視点位置検出手段」は、カメラ１２ａ、１２ｂ及び位置・形状・音声認識部１３ａにより構成される。本発明の「仮想平面定義手段」及び「仮想キーボード定義手段」は、仮想平面・仮想キーボード処理部１３ｂにより構成される。本発明の「長さ検出手段」は、カメラ１２ａ、１２ｂ、位置・形状・音声認識部１３ａ及び仮想平面・仮想キーボード処理部１３ｂにより構成される。本発明の「指示位置算出手段」及び「判定手段」は、位置情報・画面サイズ情報処理部１３ｆにより構成される。本発明の「表示制御手段」は、ＧＵＩ１３ｅ、情報処理部１３ｈにより構成される。
【００３８】
（位置情報・画面サイズ情報処理部における処理）
次に、位置情報・画面サイズ情報処理部１３ｆにおける処理、具体的には、カーソルの移動操作や、仮想平面Ｇ上におけるクリック操作、ダブルクリック操作及びドラッグ操作や、仮想キーボードＨ上におけるテキスト入力操作に応じた動作表現処理について説明する。
【００３９】
尚、当該画像ビューア１においては、医師等のユーザが読影を行うことを支援するために各種モードが設定されている。具体的には、スクリーン１１の表示画面に表示される医用画像のコマ数を変更する“コマ数変更モード”や、スクリーン１１の表示画面に表示される医用画像において、所望の２地点間の距離を計測する“距離計測モード”や、スクリーン１１の表示画面に表示される医用画像上に、フリーハンドによって所望のラインを描画する“フリーハンドモード”や、スクリーン１１の表示画面に表示される医用画像の階調を変更する“階調変更モード”や、この他、スクリーン１１の表示画面に表示される医用画像上に、所望の記号や文字等を入力する“テキスト入力モード”等がある。
【００４０】
位置情報・画面サイズ情報処理部１３ｆは、位置・形状・音声認識部１３ａからの操作者Ｐの目と手の３次元的な位置情報に基づいて、スクリーン１１上の２次元座標を算出する。この算出は、操作者Ｐの目の位置と手の位置を通る直線が、スクリーン１１の画面上に交わる座標を求める。これにより、操作者Ｐから見て、手（指先）の重なっている部分のスクリーン１１の座標が求められる。
【００４１】
位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの手が仮想平面Ｇを貫いていた時間をＳ［秒］、仮想平面を貫いた量をＸ［ｍｍ］とした場合、これらのパラメータに基づいて、以下のような判定を行う。因みに、位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの手と仮想平面Ｇとの接触時間を計時する図示省略のタイマーと、操作権限者Ｐの手が仮想平面Ｇを貫いた量を検出する図示省略の処理部とを備えている。
【００４２】
尚、図示省略のタイマーは、本発明の「計時手段」を構成する。また、図示省略の処理部は、本発明の「貫通量算出手段」を構成する。
【００４３】
・クリックについて
操作権限者Ｐの手が仮想平面Ｇを貫いていた時間が所定時間Ｓ［秒］内である場合、位置情報・画面サイズ情報処理部１３ｆは、これをクリック操作が行われたものと判断する（例えば、０＜Ｓ＜１）。例えば、Ｓ＝０．５［秒］（Ｘ＝１０［ｍｍ］）である場合には、上記判断によりクリック操作と判定される。
【００４４】
因みに、このクリック操作が行われる例としては、例えば図６に示すように、各種モードを選択する場合がある。この場合、仮想平面Ｇの領域Ａにおいてクリック操作を行うと、距離計測モードが選択されることになる。
【００４５】
・ダブルクリックについて
クリック操作が行われた間隔が所定時間Ｔ［秒］内である場合、位置情報・画面サイズ情報処理部１３ｆは、これをダブルクリック操作が行われたものと判断する（例えば、０＜Ｔ＜１）。例えば、Ｓ＝０．３［秒］（Ｘ＝１０［ｍｍ］）の操作が１［秒］以内に２回行われた場合には、上記判断によりダブルクリックと判定される。
【００４６】
因みに、このダブルクリック操作が行われる例としては、例えば図７に示すように、“コマ数変更モード”において、画像が１コマで表示されている際に、画像を２×２コマで表示させるべく、カーソルＣを“コマ増”釦に移動させて、これを選択する場合などがある。この場合、画像は、２×２コマで表示されることになる。因みに、カーソルＣの移動は、仮想平面Ｇに接触しない状態で、スクリーン１１に表示される画像上の所望の位置を指示すことによって行われるものとする。
【００４７】
・ドラッグについて
仮想平面Ｇを貫いていた時間が所定時間Ｕ［秒］以上であって、仮想平面を貫いた量が所定量Ｘ［ｍｍ］以上である場合、位置情報・画面サイズ情報処理部１３ｆは、これをドラッグ操作が行われたものと判断する。例えば、Ｓ＝５［秒］、Ｘ＝１０［ｍｍ］の操作が１［秒］以上継続して行われた場合には、上記判断からドラッグと判定される。
【００４８】
因みに、このドラッグ操作が行われる例としては、例えば図８に示すように、“フリーハンドモード”において、所望の線を描画する場合などがある。この場合、仮想平面Ｇ上において行われた操作がスクリーン１１の画面上に軌跡として描画されることになる。尚、この軌跡は、所定の長さ以上になった場合、又は、所定時間の経過後に、先に描画された部分が順次消えていくこととしても良い。これにより、スクリーン１１の画面上に表示される書込みを一定量に制限することができる。また、手の平などが仮想平面Ｇを大きく貫いた場合に、これを“消しゴム”とみなして、これまでの書込みを消去することができるようにしても良い。
【００４９】
この他にも、このドラッグ操作が行われる例としては、例えば図６に示すように、“距離計測モード”において、所望の２地点間の距離を計測する場合などがある。この場合、仮想平面Ｇに触れることなく開始点まで手を移動させて、仮想平面Ｇを貫き、そのままの状態で終了点まで移動して、終了点において仮想平面Ｇから手を引き抜くことでドラッグ操作が完了する。これにより、開始点と終了点間の距離が計測されることになる。
【００５０】
（画像表示に関する処理の流れ）
次に、上述した当該画像ビューア１の画像表示に関する処理の流れについて、図９及び図１０に示すフローチャートを参照しつつ説明する。
【００５１】
図９に示すように、操作者Ｐが操作を行うべく設定範囲内に進入すると、カメラ１２ａ、１２ｂは、これを画像として収集して、位置・形状・音声認識部１３ａは、操作者Ｐが設定範囲内に進入したことを認識する（Ｓ０１、Ｙｅｓ）。
【００５２】
次に、画像表示画面サイズ情報収集部１３ｇは、スクリーン１１と操作者Ｐとの距離、及び、スクリーン１１に表示される画面のサイズ等を検出する（Ｓ０２）。
【００５３】
ここで、操作者Ｐが手を開くなどして、手の形状を所望の形状にした場合には、位置・形状・音声認識部１３ａは、これを認識して、その操作者Ｐを操作権限者と判断する。また、操作者Ｐが所定の言葉を発した場合には、カメラ１２ａ、１２ｂは、これを音声として収集して、位置・形状・音声認識部１３ａは、その音声データから、その操作者Ｐを操作権限者と判断する。そして、操作権限者Ｐの目（片目を閉じている場合は開いている目、両目を開いているときは利き目）を視点として設定し（Ｓ０３）、操作権限者Ｐの視点とスクリーン１１との距離、操作権限者Ｐの視点の高さ、操作権限者Ｐの手とスクリーン１１との距離等を算出する。
【００５４】
次に、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの目や手の位置、形状に関する情報等に基づいて、操作権限者Ｐの視点とスクリーン１１との間の所定の位置に仮想平面Ｇを定義する。具体的には、操作権限者Ｐの腕の長さを検出して（Ｓ０４）、操作権限者Ｐの視点Ｒから、例えば操作権限者Ｐの腕の長さの半分の位置Ｌに仮想平面Ｇを設定する（Ｓ０５）。
【００５５】
次に、位置・形状・音声認識部１３ａは、操作権限者Ｐ以外の人が、操作権利取得のポーズをしていないかを判定する（Ｓ０６）。ここで、操作権利取得のポーズをしている操作者がいた場合には（Ｓ０６、Ｙｅｓ）、この操作者に対して、Ｓ０３からＳ０５までの工程を繰り返す。
【００５６】
図１０に示すように、次に、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの手と仮想平面Ｇとが接触しているか否かを判定する（Ｓ０７）。ここで、それらが接触していると判断された場合には、さらに、操作権限者Ｐの手と仮想平面Ｇとの接触時間及び接触量を検知して、その検知結果に基づいて、仮想平面Ｇ上において行われた操作の内容、例えばクリック、ダブルクリック、ドラッグの何れであるかを判定する（Ｓ０８）。
【００５７】
次に、情報処理部１３ｈは、その判定結果に基づく動作表現処理を行う（クリックの場合はＳ０９、ダブルクリックの場合はＳ１０、ドラッグの場合はＳ１１へ移行）。尚、Ｓ０７において、操作権限者Ｐの手と仮想平面Ｇとが接触していないと判断された場合には（Ｓ０７、Ｎｏ）、情報処理部１３ｈは、操作権限者Ｐの目の位置に関する情報と、スクリーン１１に表示される画像の位置及びサイズに関する情報とに基づいて、操作権限者Ｐの手の動きに応じたカーソルＣの移動処理を行う（Ｓ１２）。
【００５８】
図５に戻って、次に、位置・形状・音声認識部１３ａは、操作権限者Ｐが設定範囲外へ移動したか否かを判定する（Ｓ１３）。ここで、操作権限者Ｐが設定範囲外へ移動している場合には（Ｓ１３、Ｙｅｓ）、当該画像ビューア１に対する操作が終了したものと判断して、Ｓ０１へと移行する。また、ここで、操作権限者Ｐが設定範囲外へ移動していない場合いには（Ｓ１３、Ｎｏ）、操作権限者Ｐの目の位置等に関する補正を行うべく、再度、Ｓ０３へと移行する。
【００５９】
以上に説明したように、本実施形態における画像表示装置においては、操作者の所定の操作に応じて、操作権限者Ｐを規定すると共に、この操作権限者Ｐに対して、キーボードやマウス等に相当する操作手段である仮想平面Ｇや仮想キーボードＨが適切な空間部分に定義されるので、操作権限者Ｐは、操作手段の受け渡しを行う必要がなく、また、衛生上の問題を考慮する必要もないため、操作に関する利便性がより向上されることとなる。
【００６０】
尚、本実施形態における画像表示装置、及び画像表示システムにおいては、仮想平面・仮想キーボード処理部１３ｂは、操作権限者Ｐの腕の長さに基づいて、仮想平面Ｇの設定位置を決定することとしたが、例えば、操作権限者Ｐの手の平を基準として、所定の距離だけ離れた位置に手の平と平行になるように設定することにしても良い。
【００６１】
また、位置・形状・音声認識部１３ａや位置情報・画面サイズ情報処理部１３ｆは、操作権限者Ｐの目や手の位置、スクリーン１１と操作権限者Ｐの視点との距離、スクリーン１１に表示される画面の大きさに関する情報等を収集することとしたが、各々が、その標準値を予め保持していることにしても良い。
【００６２】
また、位置・形状・音声認識部１３ａは、操作者Ｐが手の形状を所望の形状にした場合、或いは、操作者が所定の言葉を発した場合に、その操作者を操作権限者Ｐと判断することとしたが、操作者が操作を行うべく設定範囲内に進入した場合には、その操作者を、そのまま操作権限者Ｐとして判断することにしても良い。或いは、最初に設定範囲内に進入した操作者を操作権限者Ｐとして判断することにしても良い。
【００６３】
また、情報処理部１３ｈは、仮想平面Ｇや仮想キーボードＪにおける操作に応じてスクリーン１１の画像上に描画する線、図形、文字等の大きさ、或いは、太さを、スクリーン１１と操作権限者Ｐの視点との距離に応じて調整することにしても良い。
【００６４】
【発明の効果】
以上に説明したように、本発明に係る画像表示装置によれば、操作者の位置に基づいて設定された仮想平面と手（指先）の接触判定結果に基づいて、装置の操作を行うので、良好な操作性が得られる。
【図面の簡単な説明】
【図１】本実施形態における画像表示装置（画像ビューア）を含み構成される画像表示システムの全体構成を表す構成図である。
【図２】図１に示す画像ビューアの全体構成を表す構成図である。
【図３】図２に示す画像ビューアの制御構成を表す機能ブロック図である。
【図４】図２に示す画像ビューアにおいて、仮想平面が定義される過程を説明するための説明図である。
【図５】図２に示す画像ビューアにおいて、仮想平面上に仮想キーボードが定義される過程を説明するための説明図である。
【図６】図２に示す画像ビューアにおいて、クリック操作が行われる場合の一例について説明するための説明図である。
【図７】図２に示す画像ビューアにおいて、ダブルクリック操作が行われる場合の一例について説明するための説明図である。
【図８】図２に示す画像ビューアにおいて、ドラッグ操作が行われる場合の一例について説明するための説明図である。
【図９】図２に示す画像ビューアの画像表示に関する処理の流れについて説明するためのフローチャートである。
【図１０】図２に示す画像ビューアの画像表示に関する処理の流れについて説明するためのフローチャートである。
【符号の説明】
１ 画像ビューア
２ 医用Ｘ線ＣＴ装置
３ 磁気共鳴画像診断装置
４ デジタルラジオグラフィ装置
５ 画像サーバ
１０ プロジェクタ
１１ スクリーン
１２ａ、１２ｂ カメラ
１３ 制御装置
１３ａ 位置・形状・音声認識部
１３ｂ 仮想平面・仮想キーボード処理部
１３ｃ 情報ファイル保存部
１３ｄ 通信部
１３ｅ ＧＵＩ
１３ｆ 位置情報・画面サイズ情報処理部
１３ｇ 画像表示画面サイズ情報収集部
１３ｈ 情報処理部
１３ｉ 画像データ保存部
Ｃ カーソル
Ｇ 仮想平面
Ｈ 仮想キーボード
Ｊ キーボード
Ｐ 操作者（操作権限者）
Ｒ 視点
Claims (8)
- 画像を画面に表示する表示手段と、
操作者を撮影した画像に基づいて、当該操作者の目及び手の三次元的位置を検出すると共に、検出された前記操作者のいずれかの目を視点として設定する操作位置検出手段と、
前記操作者の目の三次元的位置に基づいて、前記画面と前記操作者との間に仮想平面を前記視点から前記画面に表示される画像の４隅までの領域内に定義する仮想平面定義手段と、
前記操作者の手の三次元的位置情報と、前記仮想平面の三次元的位置情報とに基づいて、前記仮想平面と前記操作者の手との接触を判定する判定手段と、
前記操作者の手と視点の三次元的位置情報に基づいて前記操作者の手により指示される前記画面内の二次元座標を算出する指示位置算出手段と、
前記判定手段による判定結果及び前記二次元座標に基づいて、前記画像の表示に関する制御を行う表示制御手段と、を備えたことを特徴とする画像表示装置。 - 人の手の形状を検出する形状検出手段と、
前記形状検出手段により、前記手が所定の形状となったことが検出された場合に、その人を操作権限者として認識する操作権限者認識手段と、を備えたことを特徴とする請求項１記載の画像表示装置。 - 前記操作者の腕の長さを検出する長さ検出手段を備え、
前記仮想平面定義手段は、前記長さ検出手段による検出結果に基づいて、前記操作者の腕の長さの範囲内に前記仮想平面を定義することを特徴とする請求項１記載の画像表示装置。 - 前記表示制御手段は、前記指示位置算出手段による算出結果に基づいて、前記操作者の手により指示される前記画面内の位置を軌跡として表示する制御を行うことを特徴とする請求項１乃至請求項３の何れか一項に記載の画像表示装置。
- 前記判定手段は、前記仮想平面と前記操作者の手との接触時間を計時する計時手段と、前記仮想平面を貫く前記操作者の手の貫通量を算出する貫通量算出手段と、を備え、
前記表示制御手段は、前記計時手段による計時結果と前記貫通量算出手段による算出結果とに基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像表示装置。 - 前記操作内容は、マウス操作であるクリック操作、ダブルクリック操作、ドラッグ操作の何れかを含むことを特徴とする請求項５記載の画像表示装置。
- 前記仮想平面に仮想キーボードを定義する仮想キーボード定義手段を備え、
前記判定手段は、前記操作位置検出手段による検出結果と、前記仮想キーボード定義手段により定義される前記仮想キーボードの位置情報とに基づいて、前記仮想キーボードと前記操作者の手との接触を判定して、
前記表示制御手段は、前記判定手段による判定結果に基づいて、前記操作者の手による操作内容を判断して、その操作内容に応じた前記画像の表示に関する制御を行うことを特徴とする請求項１乃至請求項６の何れか一項に記載の画像表示装置。 - 前記画面の両側端部に配置され、操作者を異なる方向より撮影する撮影手段を更に備え、
前記操作位置検出手段は、前記撮影手段による撮影結果から前記操作者の目及び手の三次元的位置を検出することを特徴とする請求項１乃至請求項７の何れか一項に記載の画像表示装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003045554A JP4286556B2 (ja) | 2003-02-24 | 2003-02-24 | 画像表示装置 |
| CNB2004100070848A CN100353295C (zh) | 2003-02-24 | 2004-02-24 | 使操作员能够不操作设备而发出指令的操作识别系统 |
| US10/784,164 US7343026B2 (en) | 2003-02-24 | 2004-02-24 | Operation recognition system enabling operator to give instruction without device operation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003045554A JP4286556B2 (ja) | 2003-02-24 | 2003-02-24 | 画像表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004258714A JP2004258714A (ja) | 2004-09-16 |
| JP4286556B2 true JP4286556B2 (ja) | 2009-07-01 |
Family
ID=33112327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003045554A Expired - Fee Related JP4286556B2 (ja) | 2003-02-24 | 2003-02-24 | 画像表示装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7343026B2 (ja) |
| JP (1) | JP4286556B2 (ja) |
| CN (1) | CN100353295C (ja) |
Families Citing this family (109)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4566596B2 (ja) * | 2004-03-29 | 2010-10-20 | アルパイン株式会社 | 操作指示装置 |
| US8473869B2 (en) * | 2004-11-16 | 2013-06-25 | Koninklijke Philips Electronics N.V. | Touchless manipulation of images for regional enhancement |
| WO2006087689A2 (en) * | 2005-02-18 | 2006-08-24 | Koninklijke Philips Electronics N. V. | Automatic control of a medical device |
| GB2440683B (en) * | 2005-02-23 | 2010-12-08 | Zienon L L C | Method and apparatus for data entry input |
| US9760214B2 (en) | 2005-02-23 | 2017-09-12 | Zienon, Llc | Method and apparatus for data entry input |
| US20100302165A1 (en) | 2009-05-26 | 2010-12-02 | Zienon, Llc | Enabling data entry based on differentiated input objects |
| US9204116B2 (en) * | 2005-02-24 | 2015-12-01 | Brainlab Ag | Portable laser projection device for medical image display |
| EP1695670A1 (de) * | 2005-02-24 | 2006-08-30 | BrainLAB AG | Tragbare Laserprojektionsvorrichtung für die medizintechnische Bilddarstellung |
| JP5111739B2 (ja) * | 2005-05-12 | 2013-01-09 | 三菱電機株式会社 | 質感表示装置 |
| JP4312737B2 (ja) * | 2005-05-13 | 2009-08-12 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| JP4760831B2 (ja) * | 2005-08-02 | 2011-08-31 | 日産自動車株式会社 | 車両周囲監視装置及び車両周囲監視方法 |
| JP4389855B2 (ja) | 2005-09-05 | 2009-12-24 | トヨタ自動車株式会社 | 車両用操作装置 |
| US20070057912A1 (en) * | 2005-09-14 | 2007-03-15 | Romriell Joseph N | Method and system for controlling an interface of a device through motion gestures |
| CN101309816A (zh) * | 2005-09-20 | 2008-11-19 | 富士通天株式会社 | 车内显示设备 |
| US7840040B2 (en) * | 2005-09-30 | 2010-11-23 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for controlling ultrasound imaging systems having positionable transducers |
| WO2007063306A2 (en) * | 2005-12-02 | 2007-06-07 | Spiral Scratch Limited | Virtual computer interface |
| EP1795117A1 (de) * | 2005-12-12 | 2007-06-13 | F. Hoffmann-La Roche AG | Patientengerät mit abgesetzter Bedienoberfläche |
| KR100713720B1 (ko) | 2005-12-29 | 2007-05-04 | 주식회사 웰텍텔레콤 | 가상 키보드의 키패드 |
| US9152241B2 (en) * | 2006-04-28 | 2015-10-06 | Zienon, Llc | Method and apparatus for efficient data input |
| JP4254887B2 (ja) * | 2006-07-06 | 2009-04-15 | 日産自動車株式会社 | 車両用画像表示システム |
| US20090128630A1 (en) * | 2006-07-06 | 2009-05-21 | Nissan Motor Co., Ltd. | Vehicle image display system and image display method |
| US7715606B2 (en) * | 2006-10-18 | 2010-05-11 | Varian Medical Systems, Inc. | Marker system and method of using the same |
| DE102006053261B4 (de) * | 2006-11-11 | 2015-04-16 | Visus Technology Transfer Gmbh | System zur Wiedergabe medizinischer Bilder |
| KR100851977B1 (ko) * | 2006-11-20 | 2008-08-12 | 삼성전자주식회사 | 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치. |
| KR101437653B1 (ko) * | 2007-01-26 | 2014-09-12 | 삼성전자주식회사 | 재생시점 변경용 ｇｕｉ 제공방법 및 이를 적용한 영상기기 |
| US8094189B2 (en) | 2007-01-30 | 2012-01-10 | Toyota Jidosha Kabushiki Kaisha | Operating device |
| JP4356763B2 (ja) * | 2007-01-30 | 2009-11-04 | トヨタ自動車株式会社 | 操作装置 |
| KR101055554B1 (ko) * | 2007-03-27 | 2011-08-23 | 삼성메디슨 주식회사 | 초음파 시스템 |
| JP5073359B2 (ja) * | 2007-05-09 | 2012-11-14 | 株式会社タニタ | 生体測定装置 |
| JP5416890B2 (ja) * | 2007-06-28 | 2014-02-12 | 株式会社東芝 | 医用画像観察システム、及び医用画像観察装置 |
| US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| US8531399B2 (en) * | 2007-12-07 | 2013-09-10 | Sony Corporation | Control apparatus, input apparatus, control system, control method, and handheld apparatus |
| US8103966B2 (en) * | 2008-02-05 | 2012-01-24 | International Business Machines Corporation | System and method for visualization of time-based events |
| EP2103751A1 (de) * | 2008-03-19 | 2009-09-23 | BrainLAB AG | Einbaueinheit für Anzeigevorrichtungen |
| EP2108328B2 (de) * | 2008-04-09 | 2020-08-26 | Brainlab AG | Bildbasiertes Ansteuerungsverfahren für medizintechnische Geräte |
| JP4816704B2 (ja) * | 2008-09-25 | 2011-11-16 | 富士ゼロックス株式会社 | 指示システム、指示プログラム |
| JP4701424B2 (ja) | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
| JP5614014B2 (ja) | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
| US20110063425A1 (en) * | 2009-09-15 | 2011-03-17 | Delphi Technologies, Inc. | Vehicle Operator Control Input Assistance |
| JP5570801B2 (ja) * | 2009-12-23 | 2014-08-13 | 株式会社モリタ製作所 | 医療用診療装置 |
| JP4900741B2 (ja) * | 2010-01-29 | 2012-03-21 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
| KR101190353B1 (ko) | 2010-02-12 | 2012-10-11 | 김연수 | 웹사이트 문자 및 숫자 입력 시스템 그 방법 |
| US9513716B2 (en) * | 2010-03-04 | 2016-12-06 | Autodesk, Inc. | Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector |
| JP5873445B2 (ja) * | 2010-03-15 | 2016-03-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 少なくとも１つのデバイスを制御するための方法及びシステム |
| KR101134245B1 (ko) | 2010-05-28 | 2012-04-09 | 엘지이노텍 주식회사 | 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법 |
| JP5573379B2 (ja) * | 2010-06-07 | 2014-08-20 | ソニー株式会社 | 情報表示装置および表示画像制御方法 |
| US9141189B2 (en) | 2010-08-26 | 2015-09-22 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling interface |
| KR101815020B1 (ko) * | 2010-08-26 | 2018-01-31 | 삼성전자주식회사 | 인터페이스 제어 장치 및 방법 |
| JP5465135B2 (ja) * | 2010-08-30 | 2014-04-09 | 富士フイルム株式会社 | 医療情報表示装置および方法、並びにプログラム |
| US20120056989A1 (en) * | 2010-09-06 | 2012-03-08 | Shimane Prefectural Government | Image recognition apparatus, operation determining method and program |
| KR101522991B1 (ko) * | 2010-09-22 | 2015-05-26 | 시마네켄 | 조작입력장치 및 방법, 그리고 프로그램 |
| JP5515067B2 (ja) * | 2011-07-05 | 2014-06-11 | 島根県 | 操作入力装置および操作判定方法並びにプログラム |
| JP5167523B2 (ja) * | 2010-09-22 | 2013-03-21 | 島根県 | 操作入力装置および操作判定方法並びにプログラム |
| US8600123B2 (en) | 2010-09-24 | 2013-12-03 | General Electric Company | System and method for contactless multi-fingerprint collection |
| EP2659339A1 (en) * | 2010-12-30 | 2013-11-06 | Danmarks Tekniske Universitet | Input device with three-dimensional image display |
| US20120235065A1 (en) | 2011-03-16 | 2012-09-20 | Intellirad Control, Inc. | Radiation control and minimization system and method |
| TW201239644A (en) * | 2011-03-24 | 2012-10-01 | Hon Hai Prec Ind Co Ltd | System and method for dynamically adjusting font size on screen |
| TW201239869A (en) * | 2011-03-24 | 2012-10-01 | Hon Hai Prec Ind Co Ltd | System and method for adjusting font size on screen |
| JP2013017577A (ja) * | 2011-07-08 | 2013-01-31 | Toshiba Corp | 画像処理システム、装置、方法及び医用画像診断装置 |
| DE102011083634B4 (de) * | 2011-09-28 | 2021-05-06 | Siemens Healthcare Gmbh | Vorrichtung und Verfahren für eine Bilddarstellung |
| TWI455007B (zh) * | 2011-09-29 | 2014-10-01 | Wistron Corp | 用於具有攝影機之電子裝置之非接觸指令輸入方法 |
| JP2013109538A (ja) * | 2011-11-21 | 2013-06-06 | Hitachi Consumer Electronics Co Ltd | 入力方法及び入力装置 |
| KR101953165B1 (ko) | 2012-02-24 | 2019-05-22 | 토마스 제이. 모스카릴로 | 제스처 인식 디바이스들 및 방법들 |
| CN103294377B (zh) * | 2012-02-28 | 2016-03-23 | 深圳泰山在线科技有限公司 | 虚拟屏的标定方法及系统 |
| JP5929376B2 (ja) * | 2012-03-19 | 2016-06-08 | 株式会社リコー | 情報処理装置、操作者決定プログラム及び投影システム |
| KR101925058B1 (ko) | 2012-04-26 | 2018-12-04 | 삼성전자주식회사 | 초음파 장치의 버튼의 기능을 버튼에 디스플레이하는 방법 및 장치 |
| JP5174978B1 (ja) * | 2012-04-26 | 2013-04-03 | 株式会社三菱東京Ｕｆｊ銀行 | 情報処理装置、電子機器およびプログラム |
| KR101921176B1 (ko) * | 2012-05-07 | 2019-02-13 | 엘지전자 주식회사 | 전자 장치 및 가상 터치스크린을 제공하는 방법 |
| US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
| JP5966596B2 (ja) * | 2012-05-16 | 2016-08-10 | 株式会社リコー | 情報処理装置、投影システム及び情報処理プログラム |
| JP5773944B2 (ja) * | 2012-05-22 | 2015-09-02 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| US8750568B2 (en) | 2012-05-22 | 2014-06-10 | Covidien Lp | System and method for conformal ablation planning |
| US9439623B2 (en) | 2012-05-22 | 2016-09-13 | Covidien Lp | Surgical planning system and navigation system |
| US9439622B2 (en) | 2012-05-22 | 2016-09-13 | Covidien Lp | Surgical navigation system |
| US9498182B2 (en) | 2012-05-22 | 2016-11-22 | Covidien Lp | Systems and methods for planning and navigation |
| US9439627B2 (en) | 2012-05-22 | 2016-09-13 | Covidien Lp | Planning system and navigation system for an ablation procedure |
| KR101334585B1 (ko) * | 2012-05-29 | 2013-12-05 | 주식회사 브이터치 | 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법 |
| DE102012209190A1 (de) * | 2012-05-31 | 2013-12-05 | Siemens Aktiengesellschaft | Verfahren zu einer Erfassung von Informationen wenigstens eines auf einer Patientenlagerungsvorrichtung angeordneten Objekts in einer medizinischen Bildgebungsvorrichtung sowie eine medizinische Bildgebungsvorrichtung zur Durchführung des Verfahrens |
| JP2013250882A (ja) * | 2012-06-01 | 2013-12-12 | Sharp Corp | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム |
| WO2013190538A1 (en) * | 2012-06-20 | 2013-12-27 | Pointgrab Ltd. | Method for touchless control of a device |
| US9305229B2 (en) | 2012-07-30 | 2016-04-05 | Bruno Delean | Method and system for vision based interfacing with a computer |
| TWI471756B (zh) * | 2012-11-16 | 2015-02-01 | Quanta Comp Inc | 虛擬觸控方法 |
| JP5974238B2 (ja) * | 2012-12-25 | 2016-08-23 | 東芝メディカルシステムズ株式会社 | 画像処理システム、装置、方法及び医用画像診断装置 |
| CN104981757B (zh) * | 2013-02-14 | 2017-08-22 | 苹果公司 | 灵活的房间控制器 |
| DE102013203918A1 (de) * | 2013-03-07 | 2014-09-11 | Siemens Aktiengesellschaft | Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung |
| CN105144228B (zh) | 2013-04-26 | 2018-07-06 | 富士通株式会社 | 图像处理方法以及信息终端 |
| KR101489069B1 (ko) * | 2013-05-30 | 2015-02-04 | 허윤 | 동작 기반의 정보 입력 방법 및 이러한 방법을 사용한 입력 장치 |
| US20140368434A1 (en) * | 2013-06-13 | 2014-12-18 | Microsoft Corporation | Generation of text by way of a touchless interface |
| KR20150003560A (ko) | 2013-07-01 | 2015-01-09 | 삼성전자주식회사 | 사용자의 모션 정보에 기초하여 사용자 인터페이스(ｕｉ)를 변경시키는 방법 및 장치 |
| US20150254881A1 (en) * | 2014-03-10 | 2015-09-10 | Beijing Lenovo Software Ltd. | Information processing method and electronic device |
| KR102049459B1 (ko) * | 2014-03-26 | 2019-11-27 | 삼성전자주식회사 | 의료 영상 장치 및 그에 따른 사용자 인터페이스 화면의 디스플레이 방법 |
| US9841844B2 (en) * | 2014-06-20 | 2017-12-12 | Funai Electric Co., Ltd. | Image display device |
| KR101630764B1 (ko) * | 2014-07-03 | 2016-06-24 | 삼성메디슨 주식회사 | 초음파 진단 장치, 초음파 진단 장치의 제어 방법 및 그를 기록한 기록 매체 |
| US10064603B2 (en) | 2014-07-03 | 2018-09-04 | Samsung Medison Co., Ltd. | Ultrasound diagnosis apparatus, method of controlling ultrasound diagnosis apparatus, and storage medium having the method recorded thereon |
| EP3180721A4 (en) * | 2014-08-15 | 2018-04-04 | The University of British Columbia | Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information |
| JP6381361B2 (ja) * | 2014-08-20 | 2018-08-29 | キヤノン株式会社 | データ処理装置、データ処理システム、データ処理装置の制御方法、並びにプログラム |
| CN104199550B (zh) * | 2014-08-29 | 2017-05-17 | 福州瑞芯微电子股份有限公司 | 一种虚拟键盘操作装置、系统及方法 |
| CN104856729B (zh) * | 2015-05-25 | 2018-07-31 | 无锡海斯凯尔医学技术有限公司 | 弹性检测设备的操作控制方法和弹性检测设备 |
| WO2016195684A1 (en) * | 2015-06-04 | 2016-12-08 | Siemens Healthcare Gmbh | Apparatus and methods for a projection display device on x-ray imaging devices |
| CN107787497B (zh) * | 2015-06-10 | 2021-06-22 | 维塔驰有限公司 | 用于在基于用户的空间坐标系中检测手势的方法和装置 |
| CN106774936B (zh) * | 2017-01-10 | 2020-01-07 | 上海木木机器人技术有限公司 | 人机交互方法及系统 |
| CN106951087B (zh) * | 2017-03-27 | 2020-02-21 | 联想(北京)有限公司 | 一种基于虚拟交互平面的交互方法及装置 |
| JP7039179B2 (ja) * | 2017-04-13 | 2022-03-22 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
| WO2019039065A1 (ja) * | 2017-08-25 | 2019-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP7027961B2 (ja) * | 2018-03-02 | 2022-03-02 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| US11707329B2 (en) | 2018-08-10 | 2023-07-25 | Covidien Lp | Systems and methods for ablation visualization |
| JP7058198B2 (ja) * | 2018-08-21 | 2022-04-21 | グリー株式会社 | 画像表示システム、画像表示方法及び画像表示プログラム |
| CN109710075B (zh) * | 2018-12-29 | 2021-02-09 | 北京诺亦腾科技有限公司 | 一种在vr场景中显示内容的方法及装置 |
| JP2023151420A (ja) * | 2022-03-31 | 2023-10-16 | パナソニックＩｐマネジメント株式会社 | 情報処理装置、情報処理システム、および情報処理方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05324181A (ja) * | 1992-05-26 | 1993-12-07 | Takenaka Komuten Co Ltd | ハンドポインティング式入力装置 |
| US6201516B1 (en) * | 1996-10-21 | 2001-03-13 | Hitachi, Ltd | Projector, projecting system, system for sensation and method of manufacturing translucent screen |
| JP3749369B2 (ja) * | 1997-03-21 | 2006-02-22 | 株式会社竹中工務店 | ハンドポインティング装置 |
| US6407762B2 (en) * | 1997-03-31 | 2002-06-18 | Intel Corporation | Camera-based interface to a virtual reality application |
| JP2000035948A (ja) * | 1998-07-17 | 2000-02-02 | Casio Comput Co Ltd | 電子機器及び記憶媒体 |
| US6204852B1 (en) * | 1998-12-09 | 2001-03-20 | Lucent Technologies Inc. | Video hand image three-dimensional computer interface |
| JP2000222098A (ja) * | 1999-01-29 | 2000-08-11 | Takenaka Komuten Co Ltd | ハンドポインティング装置、指示位置表示方法及び記録媒体 |
| JP3599268B2 (ja) * | 1999-03-08 | 2004-12-08 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理方法、画像処理装置及び記録媒体 |
| CN100438623C (zh) * | 1999-04-16 | 2008-11-26 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
| US6842175B1 (en) * | 1999-04-22 | 2005-01-11 | Fraunhofer Usa, Inc. | Tools for interacting with virtual environments |
| US6648640B2 (en) * | 1999-11-30 | 2003-11-18 | Ora Metrix, Inc. | Interactive orthodontic care system based on intra-oral scanning of teeth |
| US7007236B2 (en) * | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
-
2003
- 2003-02-24 JP JP2003045554A patent/JP4286556B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-24 CN CNB2004100070848A patent/CN100353295C/zh not_active Expired - Fee Related
- 2004-02-24 US US10/784,164 patent/US7343026B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1595334A (zh) | 2005-03-16 |
| US7343026B2 (en) | 2008-03-11 |
| US20040242988A1 (en) | 2004-12-02 |
| CN100353295C (zh) | 2007-12-05 |
| JP2004258714A (ja) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4286556B2 (ja) | 画像表示装置 | |
| US11801035B2 (en) | Systems and methods for remote graphical feedback of ultrasound scanning technique | |
| CN110517758B (zh) | 显示设备和使用所述显示设备的图像显示方法 | |
| KR101712757B1 (ko) | 슬라이드 포텐셔미터들을 포함하는 트윈-모니터 전자 디스플레이 시스템 | |
| KR101728045B1 (ko) | 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법 | |
| US7376903B2 (en) | 3D display system and method | |
| CN103941855B (zh) | 医用图像参照装置以及医用图像参照方法 | |
| CN112740285A (zh) | 在虚拟环境中对医学图像的叠加和操纵 | |
| JP6112689B1 (ja) | 重畳画像表示システム | |
| US20050285853A1 (en) | 3D display system and method | |
| US6407762B2 (en) | Camera-based interface to a virtual reality application | |
| JP2020081280A (ja) | 画像表示制御システム、画像表示システム及び画像解析装置 | |
| US20050285844A1 (en) | 3D display system and method | |
| US20050285854A1 (en) | 3D display system and method | |
| JP2024041755A (ja) | ディスプレイ上のマーカの正確な位置決め | |
| JP4025516B2 (ja) | マウス代替方法、マウス代替プログラム、および同プログラムを記録した記録媒体 | |
| JP2007310914A (ja) | マウス代替方法、マウス代替プログラム、および記録媒体 | |
| KR101611484B1 (ko) | 의료영상의 제공방법 | |
| JP3953753B2 (ja) | マウスポインタの誘導方法、マウスポインタの誘導プログラム、および同プログラムを記録した記録媒体 | |
| JP6142462B1 (ja) | 重畳画像表示システム | |
| JP7279133B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2022147320A (ja) | 医用画像処理装置 | |
| JP2003281672A (ja) | 形状情報伝達システム | |
| JP2023017143A (ja) | 制御プログラム、医用画像表示装置及び医用画像表示システム | |
| JP2021086548A (ja) | 画像処理システム、画像処理装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090122 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090325 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4286556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |