JP2006258798A

JP2006258798A - 改良された形状特徴化のためのデバイスおよび方法

Info

Publication number: JP2006258798A
Application number: JP2006028557A
Authority: JP
Inventors: La Barrera Jose Luis M De; ルイスモクテズマデラバレラホセ; Waldean A Schulz; エー．シュルツウォルディン; Donald W Malackowski; ダブリュ．マラコウスキドナルド
Original assignee: Stryker Leibinger GmbH and Co KG
Current assignee: Stryker Leibinger GmbH and Co KG
Priority date: 2005-02-04
Filing date: 2006-02-06
Publication date: 2006-09-28
Also published as: DE102006005036B4; DE102006005036A1; US7623250B2; US20060241404A1

Abstract

【課題】非接触でトラッキングデバイスに相対するボディの形状および向きを決定する。
【解決手段】形状特徴化を用いて、剛性または略剛性の移動可能なボディの形状および向きが決定される。センサは、ボディの境界ボリュームを決定するために解析されるボディの異なるパースペクティブ（透視図）の複数表示をキャプチャする。ボディの形状は境界ボリュームに基づいて決定される。ボディは、ボディの位置を検知するトラッキングデバイスを用いて位置決めされる。境界ボリュームと位置情報が組み合わされて、ボディの空間における形状および向き、特に、ボディの対象となるポイントの位置を画定する。
【選択図】図１

Description

[関連出願に対する関連文献]
該当なし

[国家支援による研究開発に関する文献]
該当なし

[以降のリスト]
該当なし

本発明は、剛性または略剛性のボディの形状の決定に係る。より詳細には、本発明は、コンピュータナビゲーションシステムを用いたこのようなボディの形状決定に関する。

ボディの位置のコンピュータによる決定は、長年、製造および医療の分野において使用されてきた。コンピュータナビゲーションは、ナビゲーションシステムによってトラッキングされるべきボディが、公知の形状を有することを必要とすることから、これらのボディの向きおよび位置は、該システムによって適正にトラッキングされ得る。トラッキングは、該ボディにトラッキングデバイスを装着させたり、該トラッキングデバイスを該ボディに埋め込んだりすることによって、達成される。能動的および受動的な光学的トラッキングシステム、磁気システムおよび慣性システムを含む多数のトラッキング技術が提供されている。

多くのアプリケーションにとって、ボディを音場較正（ｆｉｅｌｄｃａｌｉｂｒａｔｅ）することが必要であり、これによって、その後、ナビゲーションシステムがボディをトラッキングし、コンピュータディスプレイ上で、ボディを、リアリスティック（写実的）に、グラフィカルに、レンダリングすることができる。一般に、これは、ボディと固定関係にあるトラッキングデバイスを装着し、次に、較正デバイスへボディを挿入することによって、実行される。これらのデバイスは、ナビゲーションシステムと公知の関係にあるディボット（くぼみ）と同じくらいシンプルであり得るが、ボディの先端を所定の位置に配置させてナビゲーションシステムに相対して所定の姿勢になるようにボディを制約するデバイスともなり得る。現在のトラッキング較正では、ボディと較正デバイスの間に何らか物理的接触が必要とされる。

いくつかの状況において、他のデバイスまたはボディとの接触を最小限とすることが望ましいとされ得る。例えば、外科手術の場合、無菌が必要条件であることから、使用されるボディが無菌でなければならず、いかなる方法であろうと接触する全てのボディが無菌でなければならない。これによって、較正デバイスを滅菌し、無菌領域内に較正デバイスを置くことが必要とされる。外科手術室のスペースの需要過多を考慮した場合、これは問題である。

さらに、ねじ回し、ねじ、移植挿入デバイス、その他などのアタッチメント（付属品）を含むボディは、新しい付属品が挿入されるたびに再較正を必要とする。最後に、デバイスによっては、これらのボディの軸方向の形状を有しておらず、その結果、公知の方法ではこのようなボディを音場較正することが難しかった。

本発明の一つの態様によれば、システムは、トラッキングデバイスに相対するボディの形状および向きを決定する。検知デバイスは、ボディの一連の表示を生成する。コンピュータナビゲーションシステムによって検出可能なトラッキングデバイスは、コンピュータナビゲーションシステムに相対するボディを位置決めできるようにボディに対応付けられる。中央処理装置（ＣＰＵ）を有するコンピュータナビゲーションシステムは、トラッキングデバイスに相対するボディの形状および向きを決定するためにボディの一連の表示および相対位置を処理する。

本発明の他の態様によれば、エミッタに相対するボディの形状および向きがシステムによって決定される。検知デバイスは、ボディの一連の表示を生成する。コンピュータナビゲーションシステムによって検知可能なエミッタは、ボディがコンピュータナビゲーションシステムに相対して位置決めされるように、ボディに対応付けられる。中央処理装置を有するコンピュータナビゲーションシステムは、エミッタに相対するボディの形状および向きを決定するためにボディの一連の表示および相対的な位置を処理する。

本発明の更なる態様によれば、コンピュータナビゲーションシステムを用いてトラッキングデバイスに相対するボディの形状および向きを決定するため方法であって、ボディの一連の表示を生成し、その後、これらの表示を用いて、ボディの複合境界ボリュームを決定するステップを含む。複合境界ボリュームによって、ボディの形状が決定される。コンピュータナビゲーションシステムと通信するボディに対応付けられるトラッキングデバイスを用いて、ボディの位置および向きが決定される。

本発明のまた更なる態様において、コンピュータナビゲーションシステムを用いてボディの形状および向きを決定するための方法であって、少なくとも二つのパースペクティブ（透視画）からボディの一連の表示を生成するステップを含む。一連の表示から複合境界ボリュームが決定され、複合境界ボリュームからボディの形状が決定される。ボディの位置および向きが、ボディの形状および一連の表示から決定される。

図１は、ボディ１０２を特徴付けるために有用な形状特徴化システム１００の一つの実施の形態を示す。形状特徴化システム１００は、ナビゲーションコンピュータ１０４、位置トラッキングデバイス１０６、複数のカメラ１０８−１乃至１０８−Ｍおよび複数の背景１１０−Ｍ乃至１１０−Ｎを含む。形状特徴化システム１００は、ナビゲーションコンピュータ１０４によって確立されたグローバル座標システム１１２に相対してボディ１０２の位置および向きを空間において配置する。具体的には、形状特徴化システム１００は、ナビゲーションコンピュータ１０４によって確立されたグローバル座標システム１１２に相対して、ボディ１０２に局所的なボディの軸Ｘ_B１１４、Ｙ_B１１６、およびＺ_B１１８の位置および向きを決定する。形状特徴化システム１００によって決定されるボディ軸１１４、１１６、および１１８の位置および形状は、ボディの軸１１４、１１６、および１１８によって画定された局所的座標空間におけるボディ１０２上のポイントをグローバル座標システム１１２におけるポイントにマッピングする線形変換マトリックスとして表され得る。

位置トラッキングデバイス１０６は、局所的座標システム１２０を有し、カメラ１０８−１乃至１０８−Ｍは、それぞれ、それ自体の局所的座標システム１２２−１乃至１２２−Ｍを有する。カメラ１０８−１乃至１０８−Ｍとして使用される好適なデバイスには、公知のディジタルビデオカメラ、ディジタルスチールカメラ、および画像キャプチャデバイス等がある。

位置トラッキングデバイス１０６は、ボディ１０２に対して所定および固定関係を有し、コンピュータナビゲーションシステム１０４へ較正される。更にまた、位置トラッキングデバイス１０６は、位置トラッキングデバイス１０６の座標システム１２０またはナビゲーションコンピュータ１０４の座標システム１１２の二つの座標システムが互いに較正されるので、これら二つの座標システムのいずれかに対するボディ１０２の表面上の固定点１２４の位置をトラッキングすることが可能である。二つの座標システムの較正によって、位置トラッキングデバイス１０６の座標システム１２０に対するボディ１０２上のポイント１２４の任意の測定値が、線形変換によって、ナビゲーションコンピュータ１０４の座標システム１１２にマッピングされるのが可能となる。

位置トラッキングデバイス１０６は、ボディ１０２から物理的に分離しており、あるいは、位置トラッキングデバイス１０６は、ボディ１０２に装着されるか、そうでない場合は、ボディ１０２に組み込まれ、さらに、必要な位置情報を提供することができる。ポイント１２４は、位置トラッキングデバイス１０６に相対する固定位置に配置されてよいし、以下に記載される較正方法によって決定されてもよい。ポイント１２４は、以下に説明されるように、位置トラッキングデバイス１０６によって使用されるエミッタの位置であってもよい。

位置トラッキングデバイス１０６は、当業者に公知の任意の多数の位置検知デバイスの一つであってよい。図２ａは、光位置センサ２０４を使用する位置トラッキングデバイス２００の使用例を示す。光位置センサ２０４を用いてボディをトラッキングするには、ボディ１０２上にエミッタ２０６を配置することが必要となる。ここで、エミッタ２０６は、放射光（可視または赤外線）源である。また、複数のエミッタ２０６は公知の構成でボディ１０２へ固定され得る。光位置センサ２０６は、ボディ１０２と共に移動しながら、光源によって放出された光を検出し、放射光源２０６をトラッキングするように調整される光センサ２０８を使用する。発光ダイオード（ＬＥＤ）は、代表的な放射光源２０６であり、電荷結合素子（ＣＣＤ）は、代表的な光センサ２０８である。ＦｌａｓｈＰｏｉｎｔＳｙｓｔｅｍｏｆＳｔｒｙｋｅｒＣｏｒｐｏｒａｔｉｏｎ（Ｋａｌａｍａｚｏｏ，Ｍｉｃｈｉｇａｎ）（ストライカー社（ミシガン州、カラマズー）製「フラッシュポイントシステム」）は、図２ａに示されるように、光トラッキングシステムの例である。

図２ｂは、他のタイプの光位置センサ２１２を利用した他のタイプの光位置トラッキングデバイス２１０を使用した場合を示す。この他の光位置トラッキングデバイス２１０を使ってボディをトラッキングするには、ボディ１０２上に反射ボディ（例えば、再帰反射器）２１４を固定する必要がある。放射光源２１６は、放射光源２１６によって生成された光ビーム２１８が反射ボディ２１４から反射するように反射ボディ２１４と位置合わせされ、その後、光位置センサ２１２における光センサ２２０が反射された光ビーム２１８を検出し、これによって、ボディ１０２と共に移動しながら、光センサ２２０が反射ボディ２１４の位置をトラッキングする。図２ｂに示されるように、位置測定装置としては、ＭｏｔｕｓＳｙｓｔｅｍｏｆＰｅａｋＰｅｒｆｏｒｍａｎｃｅＴｅｃｈｎｏｌｏｇｉｅｓ，Ｉｎｃ．（Ｅｎｇｌｅｗｏｏｄ，Ｃｏｌｏｒａｄｏ）（ピークパフォーマンステクノロジー社（コロラド州、イングルウッド）製「モータシステム」）が挙げられる。

図２ｃは、ボディ１０２に固定された磁石２２６を使用する位置トラッキングデバイス２２４の使用した場合を示す。磁石方向２２６がボディ１０２とともに移動するときの磁石２２６の磁束方向と振幅の変化が磁気位置センサ２２８によって検知され、磁気２２６の位置を決定するために使用される。例えば、このタイプのトラッキング技術の製造者としては、ＰｏｌｈｅｍｕｓＩｎｃｏｒｐｏｒａｔｅｄｏｆＣｏｌｃｈｅｓｔｅｒ，Ｖｅｒｍｏｎｔ）（ポヒマス社（バーモント州、コルチェスター））およびＡｓｃｅｎｓｉｏｎＴｅｃｈｎｏｌｏｇｙＣｏｒｐｏｒａｔｉｏｎ，Ｂｕｒｌｉｎｇｔｏｎ，Ｖｅｒｍｏｎｔ）（アセンションテクノロジーコーポレーション（バーモント州、バーリントン）が挙げられる。

説明を簡単にするために、ボディ１０２の表面上にトラッキングされている一つのポイント１２４だけが示されているが、それぞれ別個の位置トラッキングデバイスによって、複数のトラッキングポイントが同一ボディ１０２上でトラッキングされてもよいことは明確であろう。実際、ボディ１０２を全回転したときの向きを決定するためには複数のトラッキングポイントが必要となる。複数のボディ１０２も単一システムによって同時にトラッキングされ得る。

図１に戻ってみると、形状特徴化システムは、ボディ１０２の境界ボリュームを推定し、境界ボリュームの軸を決定することによって、グローバル座標システム１１２に相対して、それぞれ、１１４、１１６、および１１８と番号付けされたアイテムとして示されるボディ１０２の軸Ｘ_B、Ｙ_B、およびＺ_Bの向きを識別する。具体的には、ボディ１０２の対象となる軸は、軸１１４、１１６、および１１８から、推定される境界ボリュームの解析に基づいて決定され得る。次に、決定された軸以外の軸は、決定された軸に対しておよび互いに対して法線をなす。必要であれば、残りの軸の向きは、トラッキングデバイスと推定された境界ボリュームによってもたらされた位置情報を解析することによってより正確に決定され得る。特定の対象となる一つのポイント１２４は、ボディ１０２の先端１２６である。先端１２６は、対象となる軸と同軸的に配置されるか（例えば、ボディ軸Ｘ_B１１４）、または、対象となる軸以外の任意の他のポイントに配置され得る。

ボディの周辺に配置された複数のカメラ１０８−１乃至１０８−Ｍは、異なるパースペクティブ（透視画）から、ボディの画像をキャプチャする。これらのカメラ１０８−１乃至１０８−Ｍは、固定画像カメラやビデオカメラ、または、二つのカメラ技術のいくつかの組合せのいずれかであってよい。ビデオカメラを使用する場合、ビデオカメラによってキャプチャされたビデオの個々のフレーム（コマ）が単一画像として処理される。好ましくは、全てのカメラが、時間的に略同期して、フレームをキャプチャするので、複数の視界ポイントからの画像は、相互に関連付けられる。カメラ１０８−１乃至１０８−Ｍの位置および座標システム１２２−１乃至１２２−Ｍは、互いに、そして、ナビゲーションコンピュータ１０４によって確立されたグローバル座標システム１１２へ、較正される。カメラの較正の方法の一つの実施の形態が以下に説明される。好ましい実施の形態において、カメラ１０８−１乃至１０８−Ｍは、デスクトップパーソナルコンピュータにおけるフレームキャプチャハードウェア付きのスタンダードビデオカメラ、または、従来の技術においてよく知られたファイヤーワイヤー（Ｆｉｒｅｗｉｒｅ）またはユーエスビー（ＵＳＢ）ベースのカメラである。

固定背景１１０−１乃至１１０−Ｎは、好ましくは、カメラの反対側のボディの周辺に配置される。これらの背景１１０−１乃至１１０−Ｎは、カメラ１０８−１乃至１０８−Ｍによってキャプチャされた画像内に既知のサラウンド（周辺）を提供し、画像内のボディ１０２のエッジを識別するのを補助する。背景１１０−１乃至１１０−Ｎは、背景１１０−１乃至１１０−Ｎを表す画像の部分と、ボディ１０２を示す画像の部分との間のコントラストを大きくする中間色、ブラック、ホワイト、または任意のカラーであってもよい。また、これらの背景は、このコントラストをさらに大きくする照光式であってもよい。固定背景を含まずに、本発明の実施の形態による方法を実行することも可能である。しかしながら、この方法は、ボディ１０２の画像から背景画像を減算しなければならないことによって形状決定がより一層複雑化するので、好ましくない。

ナビゲーションコンピュータ１０４は、カメラ１０８−１乃至１０８−Ｍによってキャプチャされた画像を処理する。ナビゲーションコンピュータ１０４は、ナビゲーションコンピュータ１０４が識別しなければならない一般的なボディに関する形状情報によって母集されたボディデータベース１３０を利用してもよい。ボディデータベース１３０内のボディの形状情報は、好ましくは、コンピュータ補助されたデザインシステムから一般に利用できるようなボディの頂点の座標である。ナビゲーションコンピュータ１０４は、カメラ１０８−１乃至１０８−Ｍからの画像処理によって推定される境界ボリュームを、ボディデータベース１３０に記憶された形状情報と比較することによって、一つ以上の比較測定法を展開させる。ボディデータベース１３０のボディの一体に対する形状情報が、推定された境界ボリュームと関連性が高いと判断された場合、ナビゲーションコンピュータは、ボディの形状情報を使用して、推定された境界ボリュームを改良してもよい。例えば、ナビゲーションコンピュータは、推定された境界ボリュームの各頂点と、ボディデータベース１３０のボディの形状情報の一部として記憶された対応する頂点との間の距離を解析することによって、比較測定法を展開させてもよい。例えば、展開され得る他の比較測定法の例としては、推定された境界ボリュームの慣性モーメント軸の特性を解析した結果をボディデータベース１３０のボディの慣性モーメント軸と比較する比較測定法が挙げられる。比較測定法の追加も当業者に公知である。好ましい実施の形態によれば、推定された境界ボリュームとボディデータベース１３０に記憶されたボディとの相関関係の度合いを決定するために複数の比較測定法を使用してもよい。

カメラ１０８−１乃至１０８−Ｍがボディ全体を画像形成する必要はない。対象となるボディ１０２の部分のみがカメラ１０８−１乃至１０８−Ｍによって画像形成される必要がある。更に、ボディ１０２とカメラ１０８−１乃至１０８−Ｍは、好ましくは、相対的に位置決めされ、これによって、各カメラの視界がボディの略同じ部分をキャプチャする。

図３は、キャプチャされた画像から境界ボリュームを推定するために使用されるステップからなるフローチャート３００を示す。カメラ１０８−１乃至１０８−Ｍのそれぞれによってキャプチャされた各画像３０２−１乃至３０２−Ｍは、ブロック３０４−１乃至３０４−Ｍにおいて、最初に修正される。即ち、画像に関しては、レンズの任意の既知の凹凸の補正、使用されているレンズの既知の焦点長さの正規化、カメラ解像度の調整などが行われる。ブロック３０６−１乃至３０６−Ｍにおいては、ボディの表示を画像の背景の表示から分離するために、ブロック３０４−１乃至ブロック３０４−Ｍにおいて生成された修正画像を処理する。ブロック３０８−１乃至３０８−Ｍにおいては、ブロック３０６−１乃至３０６−Ｍにおいて生成された分離されたボディの画像上でエッジ検出動作を実行する。ブロック３１０−１乃至３１０−Ｍにおいては、ボディに対してＫ_j個の顔を有する一般的な境界ピラミッドを推定するためにブロック３０８−１乃至３０８−Ｍにおいて生成されたエッジ情報を使用する。ここで、１＜＝ｊ＜＝Ｍ。カメラによってキャプチャされた画像３０１−１乃至３０１−Ｍの各々からこのように計算された境界ピラミッドは、この画像のキャプチャ時間と、ブロック３１４−１乃至ブロック３１４−Ｍにおいて提供されたようなカメラの位置に基づいて、ブロック３１２によって正規化される。更に、ブロック３１４−１乃至ブロック３１４−Ｍにおいては、ボディの境界ボリュームに達するまで、全ての境界ピラミッドが相互に交差される。ブロック３１６において、推定された境界ボリュームが、ブロック３１８において提供されたような位置トラッキングデバイスからのボディの位置と組み合わされ、ボディの位置および向きを推定する。ボディデータベース１３０がナビゲーションコンピュータ１０４によって使用可能である場合、ブロック３１６において、境界ボリュームを、該ボディデータベース１３０に含まれている全てのボディに関する形状情報と、比較する。ボディデータベース１３０内のボディが境界ボリュームに対して所定の許容誤差をもった寸法と形状を有すると判断された場合、ナビゲーションコンピュータは、ボディのデータベース内のボディの形状情報を使用して、境界ボリュームの推定値を修正する。好ましい実施の形態において、カメラ１０８は、ボディ１０２の画像を連続的に（または、カメラと同様に速く）キャプチャし、ボディ１０２が回転するにつれて、これらの更なる画像からの境界ピラミッドが予め計算された境界ボリュームと交差されて、ボディ１０２の推定された境界ボリュームと推定された向きを改良する。

図４は、三つのカメラ１０８−１、１０８−２、および１０８−３を用いて生成されるボディ１０２の境界ボリューム４００の初期推定の例を示す。ボディ１０２の境界ボリュームは、この決定を行うために利用可能な任意の多数の周知の方法によって決定され得る。以下に説明されるように、カメラ１０８−１乃至１０８−Ｍの個数または単一カメラ１０８−１からの視界（ビュー）の数に応じて、結合された境界ボリュームの交差によってボディ１０２の形状の近似化が開始される。

図５は、本発明の他の実施の形態による形状特徴化システム５００を示す。図中例えば、矢印５０２によって示される経路に沿った空間を介して、ボディ１０２が回転および移動するとき、１個のカメラ１０８が、ボディ１０２の複数の画像をキャプチャするために使用される。図３のブロック３０４乃至３１８において、ボディ１０２に対して異なる視点で、あたかも異なるカメラが各画像をキャプチャしたが如く、ボディ１０２のカメラ１０８によってキャプチャされた画像の全てが処理される。

図６は、本発明のさらに他の実施の形態による形状特徴化システム６００を示す。図中、カメラ１０８は、ボディ１０２の画像と、ボディ１０２のミラー６０２の反射画像を同時にキャプチャする。この実施の形態において、ナビゲーションコンピュータ１０４は、カメラ１０８によってキャプチャされた画像を処理し、画像を二つの画像へ分割する。ここで、一つの画像は、ボディ１０２の画像を含み、他の画像は、ミラー６０２において反射されたボディ１０２の反射画像を含む。事実上、ミラー６０２は、第２の補助的バーチャルなカメラとして作用する。このようにして、図３に示されたフローチャート３００のブロック３０２乃至３１８において、あたかも、画像が個別のカメラによってキャプチャされたかの如く、ミラー６０２に映るボディ１０２の反射画像が作用する。同様に、一つ以上のミラー６０２が用いられてもよい。

本発明の実施の形態による形状特徴化システム１００のカメラ１０８−１乃至１０８−Ｍの座標システム１２２−１乃至１２２−Ｍを、相対的に、および、コンピュータナビゲーションシステムの座標システムに対して、較正するためには、明確に分かっている形状を有する較正ボディを使用することによって行なわれる。図７は、このような較正ボディ７００の例を示す。図７ａは、較正ボディ７００の正面図７０２を示す。図７ｂは、較正ボディ７００の側面図７０４を示す。図７ｃは、較正ボディ７０６の平面図を示す。

図８は、カメラを較正するために必要とされるステップからなるフローチャート８００を示す。ブロック８０４−１乃至８０４−Ｍにおいては、各カメラからの画像８０２−１乃至８０２−Ｍが修正され、ボディから分離され、そのエッジが識別される。ここで、各画像８０２−１乃至８０２−Ｍは、較正ボディの既知の透視図（例：正面図７０２、側面図７０４、および平面図７０６）の画像である。ブロック８０６−１乃至８０６−Ｍは、各カメラ１０８の位置および向きを推定し、この位置と向きの推定に基づいて、ブロック８０４−１乃至８０４−Ｍにおいて生成されたエッジを補正する。ブロック８０８において、ブロック８０６−１乃至８０６−Ｍにおいて補正されたエッジを較正ボディの透視図の既知のエッジ情報と比較する。補正されたエッジが既知のエッジの所定の許容誤差の範囲内であれば、カメラ１０８−１乃至１０８−Ｍの較正済みと判断され、ブロック８０６において生成された位置および向き情報がナビゲーションコンピュータ１０４によって使用可能となる。補正されたエッジが既知のエッジの所定の許容誤差外である場合、補正されたエッジと既知のエッジの間の差がブロック８１０において計算され、ブロック８０６へ送られ、各カメラの位置および向きの推測が更新される。ブロック８０６、８０８および８１０は、全てのカメラ１０８が較正されるまで、反復される。

図９は、本発明の他の実施の形態による形状特徴化システム９００を示す。背景１１０−１乃至１１０−Ｎをバックにボディ１０２の画像をキャプチャするためにカメラ１０８−１乃至１０８−Ｍを使う代わりに、本実施の形態では、センサ９０４−１乃至９０４−Ｎに相対して位置決めされた光源９０２−１乃至９０２−Ｍが使用される。光源９０２−１乃至９０２−Ｍとセンサ９０４−１乃至９０４−Ｎの位置は、互いに所定の固定関係を有し、ナビゲーションコンピュータ１０４には既知である。或いは、ナビゲーションコンピュータ１０４が、光源９０２−１乃至９０２−Ｍの全てとセンサ９０４−１乃至９０４−Ｎの位置の全てをトラッキングし、これらのセンサからの情報をシステムために得られる情報と同等になるように変換することができる。ここで、光源９０２−１乃至９０２−Ｍの位置はセンサ９０４−１乃至９０４−Ｎの位置と固定関係にある。更に、ナビゲーションコンピュータ１０４は、光源９０２−１乃至９０２−Ｍまたはセンサ９０４−１乃至９０４−Ｎの位置変化をトラッキングする。更にまた、光源９０２−１乃至９０２−Ｍおよびセンサ９０４−１乃至９０４−Ｎは、相対的に、そして、ボディに対して、位置決めされ、これによって、ボディ１０２は、光源９０２−１乃至９０２−Ｍの各々からの光を遮断し、光源９０２−１乃至９０２−Ｍおよびボディ１０２と同一直線状にあるセンサ９０４−１乃至９０４−Ｎの一つへシャドウ（影）を投射する。センサ９０４−１乃至９０４−Ｎは、ボディ１０２のシャドウ９０６−１乃至９０６−Ｎ内にある領域をそれ以外の領域と区別すること可能な２次元検知デバイスである。センサ９０４−１乃至９０４−Ｎの各々は、ナビゲーションコンピュータ１０４へシャドウ９０６−１乃至９０６−Ｎ内領域に関する情報を提供する。対象となるボディ１０２の部分のシャドウ９０６−１乃至９０６−Ｎだけがセンサ９０４−１乃至９０４−Ｎへ入射されなければならない。好ましいセンサタイプは、２次元電荷結合素子（ＣＣＤ）アレイである。このようなＣＣＤアレイは、一般に、各画素が一つの２次元アレイのＣＣＤ素子に対応する画素からなる、画像を形成する。

図１０は、センサ９０４−１乃至９０４−Ｎによって生成された画像から境界ボリュームを推定するために使用されるステップからなるフローチャート９２５を示す。ブロック９２８−１乃至９２８−Ｎにおいて、各センサ９０４−１乃至９０４−Ｎからの各画像９２６−１乃至９２６−Ｎが最初に修正される。即ち、ブロック９２８−１乃至９２８−Ｎにおいて、センサにおける任意の既知の凹凸に対して画像が補正されたり、センサ９０４−１乃至９０４−Ｎの解像度のシャドウ情報が修正されたりする。ブロック９３０−１乃至９３０−Ｎにおいては、ブロック９２８−１乃至９２８−Ｎによって生成された修正画像が処理され、シャドウの投射を示す画像の部分が分離される。ブロック９３２−１乃至９３２−Ｎにおいて、ブロック９３０−１乃至９３０−Ｎにおいて生成された分離されたシャドウの画像上でエッジ検出動作を実行する。ブロック９３４−１乃至９３４−Ｎにおいては、ブロック９３２−１乃至９３２−Ｎにおいて生成されたエッジ情報を使用して、ボディのＮ個のフェースによって一般的な境界ピラミッドを推定する。センサによって生成される画像９２６−１乃至９２６−Ｎの各々からこのように計算された境界ピラミッドは、ブロック９３８−１乃至９３８−Ｎにおいて提供された画像のキャプチャ時間およびカメラ１０８−１乃至１０８−Ｍの位置に基づいて、ブロック９３６において、正規化される。ブロック９３６において、全ての境界ピラミッドが更に互いに交差され、ボディの境界ボリュームを推定する。ブロック９４０において、推定された境界ボリュームと位置トラッキングデバイスからのボディの位置が組み合わされ、ブロック９４２において、ボディの位置と向きが推定される。ブロック９４０において、使用可能であるならば、データベースからのボディの形状情報が使用される。具体的には、ボディデータベース１３０におけるボディが、境界ボリュームに相対して所定の許容誤差範囲内の寸法と形状を有すると判断された場合、ナビゲーションコンピュータ１０４は、ボディデータベースのボディに対する形状情報を使用して、境界ボリュームの推定値を更新する。好ましい実施の形態において、センサ９０４−１乃至９０４−Ｎは、ボディ１０２のシャドウ９０６−１乃至９０６−Ｎを連続的に表示し（または、センサと同じ速さで）、ボディ１０２が回転するにつれて、これらの追加的な表示から得られた境界ボリュームが予め計算された境界ボリュームと交差され、推定された境界ボリュームと推定されたボディ１０２の向きを修正する。

図１１は、本発明の他の実施の形態による形状特徴化システム９５０を示す。図中、例えば、矢印Ｒ５０２が付された経路に沿って、一つの光源９０２によって照射されながら、ボディ１０２が、空間を移動する間、ボディ１０２のシャドウ９０６の表示を有する複数の画像を生成するために一つのセンサ９０４が使用される。図１０のブロック９２８乃至９４０は、あたかも異なるセンサが各画像を生成したように、ボディ１０２のセンサ９０４によって生成される全ての画象を処理することができる。

シャドウ検知デバイスは、既知の形状および寸法のボディを用いて較正される。図７ａには、較正に使用され得る表示ボディ７００が示され、シャドウ検知デバイスを較正するためのボディの使用については、シャドウ９０６−１乃至９０６−Ｎからの画像がカメラ１０８からの画像に代わって使用される以外は、上記のカメラ較正プロセスと同じである。

ボディ１０２の形状を推定するために使用されるアルゴリズムは、コンピュータグラフィックスの分野で使用されている周知のアルゴリズムのいずれかであってよい。このようなアルゴリズムは、本明細書中に参照することによって組み込まれている、ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ：ＰｒｉｎｃｉｐｌｅｓａｎｄＰｒａｃｔｉｃｅ，ＪａｍｅｓＤ．Ｆｏｌｅｙ，ｅｔａｌ（Ａｄｄｉｓｏｎ−Ｗｅｌｓｅｙ）（コンピュータグラフィックス、「基本原理と実践」（１９９０年）ジェームスＤ．フォリー他（アディソン−ウェルシー）に開示されている。決定されたボディ１０２の形状に基づいて、システムは、先端１２６の位置を決定することができる。

少なくとも二つの検知デバイス（カメラ１０８またはシャドウ検知デバイス９０４のいずれか）が使用された場合、エミッタ１２４と位置トラッキングデバイス１０６は必要でない。というのは、複数のデバイスの一つのためのボディ１０２の画像が（またはボディ１０２のシャドウ）は他のデバイスについてのボディ１０２の相対位置についての情報を提供する。この情報は、例えば、ボディ１０２の少なくとも二つのカメラ視点において複数の同種のポイントペアを立体図形的に決定することによってナビゲーションコンピュータ１０４の座標システム１１２に相対してボディ１０２の位置を決定するために使用され得る。これは、ナビゲーションコンピュータ１０４の座標システム１１２に相対して検知Ｈデバイス（１０８または９０４）の位置が既知であり、形状特徴化システムの動作中にトラッキングされるからであり、したがって、検知デバイス１０８または９０４の座標システムとナビゲーションコンピュータ１０４をマッピングするために線形変換を使用することができる。

さらに、ディスプレイモニタにディスプレイする際に、ボディ１０２をより一層本物に近づけるために着色またはテクスチャも公知の方法によって任意を作成することもできる。この場合、一つ以上の光源１２８は、コンピュータグラフィックスクリーン上でボディ１０２のレンダリングされた視界に陰影付けするために任意にシミュレートされ得る。

本発明の一つの実施の形態を概略的に示す表示である。本発明の更なる実施の形態を概略的に示す図である。本発明の更なる実施の形態を概略的に示す図である。本発明の更なる実施の形態を概略的に示す図である。本発明の一つの実施の形態による形状を決定する方法を示すフローチャートである。図３の形状決定方法のグラフィカルな描画を示す図である。本発明の更なる実施の形態を概略的に示す図である。本発明によるまた更なる実施の形態を概略的に示す図である。好ましい較正ボディを示す斜視図である。図７ａの好ましい較正ボディを示す正面図である。図７ａの好ましい較正ボディを示す側面図である。図７ａの好ましい較正ボディを示す平面図である。カメラ較正プロセスを示すフローチャートである。本発明の他の実施の形態を概略的に示す表示である。図９に示された本発明の実施の形態による形状を決定する方法を示すフローチャートである。本発明のまた他の実施の形態を示す図である。

Claims

ボディの形状および向きを画定するためのシステムであって、
コンピュータナビゲーションシステムと、
ボディの一連の表示を生成可能な検知デバイスと、
前記ボディと固定関係において対応付けられとともに、前記コンピュータナビゲーションシステムに相対して前記ボディを位置付けるために該コンピュータナビゲーションシステムによって検出可能な、トラッキングデバイスと、
を含み、
前記コンピュータナビゲーションシステムが、前記一連の表示と、該コンピュータナビゲーションシステムに相対する該ボディの位置と、を処理することができる中央処理装置を含み、前記トラッキングデバイスに相対する前記ボディの形状および向きを決定する、
システム。
前記検知デバイスが複数のディジタルカメラを含み、各表示が該カメラによってキャプチャされた画像である、請求項１に記載のシステム。
前記検知デバイスがビデオカメラであり、該表示が該ビデオカメラによってキャプチャされたビデオのフレームである、請求項２に記載のシステム。
前記検知デバイスが前記ボディによって投影されたシャドウを検知し、前記表示が該シャドウの画像である、請求項１に記載のシステム。
固定背景も含む、請求項２に記載のシステム。
前記トラッキングシステムが、光学的トラッキングシステムである、請求項１に記載のシステム。
前記トラッキングデバイスが、前記ボディに対応したアクティブエミッタを含む、請求項６に記載のシステム。
前記トラッキングデバイスが発光ダイオードを含む、請求項６に記載のシステム。
前記トラッキングデバイスが非光学的トラッキングデバイスである、請求項１に記載のシステム。
前記トラッキングデバイスが磁気トラッキングデバイスである、請求項９に記載のシステム。
前記トラッキングデバイスが前記ボディに固定的に装着される、請求項１に記載のシステム。
前記トラッキングデバイスが前記ボディと一体化している、請求項１に記載のシステム。
前記検知デバイスが、前記ボディが前記カメラに相対して移動している間に複数の画像をキャプチャする単一カメラであり、各表示が、該カメラによってキャプチャされた画像である、請求項１に記載のシステム。
前記検知デバイスが、前記ボディが前記検知デバイスに相対して移動している間に該ボディによって投影される前記シャドウの移動を検知する電荷結合素子のアレイである、請求項４に記載のシステム。
前記コンピュータナビゲーションシステムが、前記ボディの決定された形状および向きに基づいて該ボディ上のランドマークポイントの位置をトラッキングする、請求項１に記載のシステム。
前記ナビゲーションコンピュータが、前記ボディの形状の推定値を該ナビゲーションコンピュータに記憶された複数のモデルから選択されたボディのモデル値と比較する、請求項１に記載のシステム。
ボディの形状および向きを画定するためのシステムであって、
コンピュータナビゲーションシステムと、
前記ボディと前記検知デバイス間の相対的な移動に基づいて該ボディの一連の表示を生成可能な検知デバイスと、
前記ボディと固定関係において対応付けられとともに、前記コンピュータナビゲーションシステムに相対して前記ボディを位置付けるために該コンピュータナビゲーションシステムによって検出可能な、エミッタと、
を含み、
前記コンピュータナビゲーションシステムが、前記一連の画像と、該コンピュータナビゲーションシステムに相対する該ボディの位置と、を処理することができる中央処理装置を含み、前記エミッタに相対する前記ボディの形状および向きを決定する、
システム。
前記検知デバイスが複数のディジタルビデオカメラを含む、請求項１７に記載のシステム。
固定背景をも含む、請求項１８に記載のシステム。
前記トラッキングデバイスが光学的トラッキングシステムである、請求項１７に記載のシステム。
前記トラッキングデバイスが前記ボディに対応したアクティブエミッタを含む、請求項２０に記載のシステム。
前記トラッキングデバイスが発光ダイオードを含む、請求項２０に記載のシステム。
前記トラッキングデバイスが非光学的トラッキングデバイスである、請求項１７に記載のシステム。
前記トラッキングデバイスが磁気トラッキングデバイスである、請求項２３に記載のシステム。
前記トラッキングデバイスが前記ボディに固定的に装着される、請求項１７に記載のシステム。
前記トラッキングデバイスが前記ボディと一体化している、請求項１７に記載のシステム。
前記検知デバイスが、前記ボディが単一カメラであり、各表示が該カメラによってキャプチャされた画像である、請求項１７に記載のシステム。
前記検知デバイスが、前記ボディによって投影されたシャドウを検知する、請求項１７に記載のシステム。
前記コンピュータナビゲーションシステムが、前記ボディの決定された形状および向きに基づいて、該ボディ上のランドマークポイントの位置をトラッキングする、請求項１７に記載のシステム。
前記ナビゲーションコンピュータが、前記ボディの形状の推定値を該ナビゲーションコンピュータに記憶された複数のモデルから選択されたボディのモデル値と比較する、請求項１７に記載のシステム。
コンピュータナビゲーションシステムを用いたボディの形状を決定する方法であって、該方法が、
前記ボディの一連の表示を生成し、
前記一連の表示から前記ボディの複合境界ボリュームを決定し、
前記複合境界ボリュームから前記ボディの形状を決定し、
前記コンピュータナビゲーションシステムと通信するボディに対応するトラッキングデバイスを用いて前記ボディの位置および向きを決定する
ステップを含む方法。
前記方法が、前記コンピュータナビゲーションシステムへ前記ボディを較正するステップを更に含み、これによって、該コンピュータナビゲーションシステムが前記ボディの位置および向きをトラッキングすることができる、請求項３１に記載の方法。
前記生成ステップが、ビデオカメラを使用して行われ、各表示がビデオカメラのビデオのフレームである、請求項３１に記載の方法。
前記生成ステップが、前記ボディによって投影されたシャドウを検知することによって行われ、各表示が該シャドウの画像である、請求項３１に記載の方法。
前記トラッキングデバイスが光学的トラッキングシステムである、請求項３１に記載の方法。
前記トラッキングデバイスが前記ボディに対応するアクティブエミッタを含む、請求項３１に記載の方法。
前記トラッキングデバイスが発光ダイオードを含む、請求項３６に記載の方法。
前記トラッキングデバイス非光学的トラッキングデバイス、請求項３１に記載の方法。
前記トラッキングデバイスが磁気トラッキングデバイスである、請求項３８に記載の方法。
前記トラッキングデバイスが前記ボディに固定的に装着される、請求項３１に記載の方法。
前記トラッキングデバイスが前記ボディに一体化される、請求項３１に記載の方法。
前記生成ステップが、前記ボディが前記カメラに相対して移動している間に複数の画像をキャプチャする単一カメラによって実行される、請求項３１に記載の方法。
前記コンピュータナビゲーションシステムが、前記ボディの決定された形状および向きに基づいて、該ボディ上のランドマークポイントの位置をトラッキングする、請求項３１に記載のシステム。
前記決定ステップが、前記ボディの形状の推定値を、前記ナビゲーションコンピュータに記憶されている複数のモデルから選択されたボディのモデル値と比較する、請求項３１に記載のシステム。
コンピュータナビゲーションシステムを用いてボディの形状および向きを決定する方法であって、該方法が、
少なくとも二つのパースペクティブから前記ボディの一連の表示を生成し、
前記一連の表示から前記ボディの複合境界ボリュームを決定し、
前記複合境界ボリュームから前記ボディの形状を決定し、
前記ボディの形状および該ボディの一連の表示から該ボディの位置および向きを決定する、
ステップを含む、方法。
前記生成ステップが、少なくとも二つのビデオカメラを用いて実行され、各表示が各ビデオカメラからのビデオのフレームである、請求項３９に記載の方法。
前記生成ステップが、前記ボディによって投射された少なくとも二つのシャドウを検知することによって実行され、各表示が前記シャドウの画像である、請求項３９に記載の方法。
前記決定ステップが、前記ボディの形状の推定値を、該ナビゲーションコンピュータに記憶された複数のモデルから選択されたボディのモデル値と比較する、請求項３９に記載の方法。