JPH1145349A - ワイヤーフレームモデル整合装置及び方法と記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】正確な特徴点抽出を可能とし、もって、横顔を
表示したときでも自然な画像が得られるようにするこ
と。 【解決手段】３次元ワイヤーフレームモデルを対応する
顔の画像に整合するワイヤーフレームモデル整合装置
は、レンジファインダ等の距離画像入力装置１０、入力
された距離画像に基づいて演算処理を行う演算処理装置
３０、及び演算処理装置３０の出力を表示する表示装置
２０からなる。演算処理装置３０における曲率演算部３
６，美部噴煙算部３８，及び特徴抽出部４０は、上記距
離画像入力装置１０から入力された基準から顔の各点ま
での距離情報に基づいて、上記ワイヤーフレームモデル
の制御点に対応する顔画像上の特徴点を抽出する。そし
て、演算処理装置３０における整合部４２は、上記抽出
された上記顔画像上の各特徴点に、上記ワイヤーフレー
ムモデルの対応する制御点を整合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば顔画像の表
情合成を行うための顔のワイヤフレームモデルを顔画像
に整合するような、３次元ワイヤーフレームモデルを対
応する物体の画像に整合するワイヤーフレームモデル整
合装置及び方法、並びにそのような３次元ワイヤーフレ
ームモデルを対応する物体の画像に整合するための整合
プログラムを記録した機械読み取り可能な記録媒体に関
し、特に、距離画像を用いて物体の各部を自動的に特徴
抽出し、整合を行う手法に関する。

【０００２】

【従来の技術】例えば、遠隔地におけるコミュニケーシ
ョン、バーチャルリアリティ、ヒューマンインタフェー
スの分野において、顔画像を用いた画像処理で、顔の表
情を合成する技術が求められている。

【０００３】従来、顔画像処理において表情合成を行う
手法として、顔画像にワイヤフレームモデルを整合する
手法が用いられていた。顔画像を、ワイヤフレーム構造
で表現し、ワイヤフレームモデル上の頂点を移動するこ
とにより顔画像の変形操作を行うことにすれば、情報圧
縮の面においても有利になる。この手法は、信学論，Ｊ
７３−Ａ，１２７０−１２８０（１９９０）に示されて
いるように、標準的な顔の３次元形状に合わせて作成さ
れたワイヤフレームモデルを用いて、ワイヤフレームモ
デル上の制御点を、正面から撮影された顔画像の目、
鼻、口、眉、顔輪郭、髪等の特徴点に設定し、制御点以
外の点については、アフィン変換等で変換を行うことに
より、対象とする個人の顔画像にワイヤフレームモデル
を整合させるものである。この顔標準ワイヤフレームモ
デルは、ＦＡＣＳ（Facial ActionCoding System, Cons
ulting Psychologist Press (1977））に基づいた、顔
の変形規則を用いることにより顔の表情合成を行うこと
ができるモデルとなっている。このモデルにより、顔の
基本６表情（怒り、嫌悪、恐れ、喜び、悲しみ、驚き）
を始めとして様々な表情の合成を行うことができるもの
である。

【０００４】また、信学論，Ｊ５６−Ｄ，２２６−２３
２（１９７３）や、信学技報，ＨＣ９１−４３（１９９
２）や、特開平８−７７３３４に示されているように、
ワイヤフレームモデルを顔画像に自動整合を行うため
に、顔画像から特徴点検出を行い、抽出された特徴点に
ワイヤフレームモデルの制御点を整合させることによ
り、ワイヤフレームモデルの自動整合を行う例がある。
これは、撮影された顔画像にガウシアンフィルタやソー
ベルフィルタを作用させることによりエッジ等の特徴抽
出を行い、この特徴を顔特徴と対応付けしてワイヤフレ
ームモデルの自動整合を行うものである。

【０００５】さらに、信学技報，ＰＲＵ９２−７９（１
９９２）に示されるように、奥行き方向も含めて正確に
わみ整合を行うために、距離画像を利用してワイヤフレ
ームモデルの奥行き情報の整合を行う手法に関して提案
されている。これは、整合が行われたワイヤフレームモ
デルに対し、各頂点の奥行き成分を正面距離画像を用い
て整合を行うものである。

【０００６】

【発明が解決しようとする課題】ところが、従来の顔画
像へのワイヤフレームモデルの整合は、正面から撮影さ
れた顔画像を用いて行われているため、顔側面に対して
は正確な整合を行うことができず、横顔を表示したとき
に画像が不自然になるという課題がある。

【０００７】また、ワイヤフレームモデルの自動整合の
ための特徴点抽出において、色画像や濃淡画像を用いて
行ったものでは、照明条件など、撮影のときの条件によ
って抽出される特徴点が異なってしまう可能性があり、
常に同一条件で特徴抽出を行うことは困難であるという
課題がある。

【０００８】本発明は、上記の点に鑑みてなされたもの
で、正確な特徴点抽出を可能とし、もって、横顔を表示
したときでも自然な画像が得られるような３次元ワイヤ
ーフレームモデルを対応する物体の画像に整合するワイ
ヤーフレームモデル整合装置及び方法、並びにそのよう
な３次元ワイヤーフレームモデルを対応する物体の画像
に整合するための整合プログラムを記録した機械読み取
り可能な記録媒体を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明によるワイヤーフレームモデル整合装置
は、３次元ワイヤーフレームモデルを対応する物体の画
像に整合するワイヤーフレームモデル整合装置であっ
て、基準から上記物体上の各点までの距離情報に基づい
て、上記ワイヤーフレームモデルの制御点に対応する物
体画像上の特徴点を抽出する特徴点抽出手段と、上記特
徴点抽出手段によって抽出された上記物体画像上の各特
徴点に、上記ワイヤーフレームモデルの対応する制御点
を整合する整合手段とを具備することを特徴とする。

【００１０】また、本発明によるワイヤーフレームモデ
ル整合方法は、３次元ワイヤーフレームモデルを対応す
る物体の画像に整合するワイヤーフレームモデル整合方
法であって、基準から上記物体上の各点までの距離情報
を入力する工程と、上記距離情報に基づいて、上記ワイ
ヤーフレームモデルの制御点に対応する物体画像上の特
徴点を抽出する特徴点抽出工程と、抽出された上記物体
画像上の各特徴点に、上記ワイヤーフレームモデルの対
応する制御点を整合する整合工程とを具備することを特
徴とする。

【００１１】さらに、本発明の記録媒体は、３次元ワイ
ヤーフレームモデルを対応する物体の画像に整合するた
めの整合プログラムを記録した機械読み取り可能な記録
媒体であって、該整合プログラムは、コンピュータに、
基準から上記物体上の各点までの距離情報に基づいて上
記ワイヤーフレームモデルの制御点に対応する物体画像
上の特徴点を抽出させ、抽出された上記物体画像上の各
特徴点に、上記ワイヤーフレームモデルの対応する制御
点を整合させることを特徴とする。

【００１２】即ち、本発明のワイヤーフレームモデル整
合装置及び方法と記録媒体によれば、距離情報に基づい
て特徴点を抽出するようにしているので、正確な特徴点
抽出が可能となる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００１４】［第１の実施の形態］図１の（Ａ）は、本
発明の第１の実施の形態にかかるワイヤーフレームモデ
ル整合装置のブロック構成図である。本実施の形態のワ
イヤーフレームモデル整合装置は、距離画像入力装置１
０、表示装置２０、及び演算処理装置３０からなる。な
お、表示装置２０と演算処理装置３０の間は、近接位置
にあっても良いし、ネットワークを介した遠隔地にあっ
ても良い。

【００１５】なお、本実施の形態は、表示装置２０より
顔のワイヤフレームモデルの３次元構造を表示する場合
を例に説明する。ここで、図１の（Ｂ）乃至（Ｄ）は、
顔のワイヤフレームモデルの３次元構造を正面、斜め方
向、及び横方向から表示したものである。

【００１６】距離画像入力装置１０は、測定対象物（本
実施の形態では顔）の画像の撮影に用いられる装置であ
り、例えば、測定対象物の周りを回転しながら、３６０
°の全周を測定することのできる全周型レンジファイン
ダである。この全周型レンジファインダでは、図２の
（Ａ）及び（Ｂ）に示ような測定対象物の全周型色情報
（テクスチャ画像）１００と全周型距離情報１０２とを
測定することができる。全周型距離画像１０２は、その
画像上の各点の値がレンジファインダの回転中心からの
距離を表すような画像である。この例においては、明る
く描かれている部分ほど回転中心からの距離が大きくな
るように描かれている。計測された全周型テクスチャ画
像及び距離画像１００，１０２は、測定方向を示す角度
を横軸、測定対象物の測定された高さを縦軸とするよう
な画像として示される。

【００１７】演算処理装置３０は、このような距離画像
入力装置１０から入力された測定対象物（顔）の全周型
テクスチャ画像及び距離画像１００，１０２に基づいて
演算処理を行い、その演算結果として得られたワイヤー
フレームモデルを上記表示装置２０に出力する。ここ
で、この演算処理装置３０は、制御部３２、メモリ３
４、曲率演算部３６、微分演算部３８、特徴抽出部４
０、整合部４２、及び展開部４４より構成されている。
なお、これら各部は、実際には１つのＣＰＵ及びメモリ
などから構成することができ、また、曲率演算部３６、
微分演算部３８、展開部４４等は、専用のＤＳＰにより
構成することもできる。

【００１８】制御部３２は、当該演算処理装置３０内の
制御を行うもので、信号線５０を介して上記距離画像入
力装置１０から上記全周型テクスチャ画像及び距離画像
１００，１０２を受信し、また、演算処理結果を信号線
６０を介して上記表示装置２０へ送信する。メモリ３４
は、上記制御部３２に接続され、上記距離画像入力装置
１０からの上記全周型テクスチャ画像及び距離画像１０
０，１０２を格納するフレームメモリや、その他の情報
を格納するためのワークメモリ等を含む。

【００１９】曲率演算部３６は、上記メモリ３４に格納
された全周型距離画像１０２から対象物（顔）上の点に
おける曲率を計算する。微分演算部３８は、ソーベルフ
ィルタなどの微分フィルタを有し、上記メモリ３４に格
納された全周型距離画像１０２から対象物（顔）のエッ
ジ抽出を行う。特徴抽出部４０は、上記曲率演算部３６
で計算された曲率情報や上記微分演算部３８で抽出され
たエッジ情報などの特徴量を基に、ワイヤーフレームモ
デルの制御点に対応する特徴点を抽出するための演算を
行う。整合部４２は、上記特徴抽出部４０で抽出された
特徴点にワイヤーフレームモデルの制御点を整合する。
展開部４４は、奥行き成分の整合を行うため、上記メモ
リ３４に格納された全周型距離画像１０２に整合すべき
展開ワイヤーフレームを生成する。

【００２０】即ち、上記全周型距離画像１０２に対し３
次元形状モデリングを行い、上下方向が正しく表示され
るように設定した上で上記全周型テクスチャ画像１００
を用いて正面視点画像のテクスチャマッピング画像とし
て表示した正面テクスチャ画像が図２の（Ｃ）に参照番
号１０４で示す画像であり、この正面テクスチャ画像１
０４に対してワイヤフレームモデルの整合を行うため
に、上記特徴抽出部４０で、上記全周型距離画像１０２
を用いて顔画像の特徴点抽出を行う。この特徴点抽出を
行うため、各画像に対して前処理を施しておく必要があ
る。

【００２１】図２の（Ｄ）は、上記正面テクスチャ画像
１０４と同一の視点から表示されるように設定された３
次元形状モデリング画像の表示平面に対する距離分布を
示した正面距離画像１０６であり、この正面距離画像１
０６は、画像上の各点が、表示平面からの距離情報を示
すように表示される。この例では、明るい部分は表示平
面からの距離が大きい。

【００２２】そして、上記曲率演算部３６において、上
記全周型距離画像１０２に対して、その画像上の各点に
ついて、測定対象物上のその点が指し示す位置における
曲率を計算する。図３の（Ａ）は、各画素が曲率の値を
持つように表示した全周型曲率画像１０８である。ここ
で、曲率の正負は、この全周型曲率画像１０８の表示平
面に対して、手前方向に凸である点を正、手前方向に凹
である点を負と定義する。この例では、明るいほど負の
曲率が大きく、暗いほど正の曲率が大きくなるように描
かれている。この曲率分布をテクスチャとみなして、３
次元形状モデリング画像に張り付け、正面から表示した
正面曲率画像が図３の（Ｂ）に参照番号１１０で示す画
像である。

【００２３】上記微分演算部３８は、上記正面距離画像
１０６に対してエッジ抽出を行うためにソーベルフィル
タ（微分フィルタ）を作用させる。これにより、図３の
（Ｃ）に示すような正面エッジ画像１１２が得られる。
この例では、エッジ情報、即ち微分値が大きいほど明る
くなるように描かれている。上記全周型曲率画像１０
８、正面曲率画像１１０、及び正面エッジ画像１１２
は、任意の点が上記全周型テクスチャ画像１００，全周
型距離画像１０２又は上記正面テクスチャ画像１０４，
正面距離画像１０６と対応付けられてあり、距離情報も
色情報も参照できる。

【００２４】このような前処理を行った、上記正面テク
スチャ画像１０４，正面距離画像１０６，全周型曲率画
像１０８，正面曲率画像１１０，及び正面エッジ画像１
１２の一連の画像を用いて、上記特徴抽出部４０にて特
徴点抽出を行う。そして、整合部４２は、この特徴抽出
部４０で抽出された特徴点を、図４の（Ａ）に示すよう
なワイヤフレーム上の制御点のいくつかに対して整合さ
せることにより、ワイヤフレーム整合を行う。

【００２５】上記特徴抽出部４０で上記一連の画像１０
４〜１１２から抽出する特徴点としては、鼻頂点、鼻下
端、鼻両端、上唇と下唇の境界線、口両端、口上下端、
顔輪郭を含む。各特徴点の抽出の順序は、図５に示す流
れに従って行う。

【００２６】即ち、最初に、顔の両端の抽出を行う必要
がある（ステップＳ１０）。この特徴点は、目の位置の
水平線上と顔の輪郭の交点位置として定義された特徴点
である。この特徴点の検出は、目の位置を考慮しながら
微妙に調節を行うため、手動で行う。

【００２７】次に、鼻頂点の抽出を行う（ステップＳ１
２）。この鼻頂点抽出は、正面距離画像１０６において
最も手前にある点の位置として抽出するが、まず、ノイ
ズを除去するために、平滑化フィルタによりノイズの除
去操作を行っておき、フィルタリングされた距離画像上
で距離値が最も手前にある点を鼻の位置とする。また、
レンジファインダで測定が困難である頭髪部を特徴点探
索の領域内に含めると、誤抽出の可能性が高くなる。そ
のため、表示領域内で、例えば下側の１／３の領域のみ
で鼻の検出を行うことにして、上記正面テクスチャ画像
１０４及び正面距離画像１０６を表示する際、頭髪部測
定困難である領域は上側１／３の領域に設定して表示を
行うようにして、鼻頂点検出の領域から除外しておく。

【００２８】そして、上記正面曲率画像１１０から、負
の曲率が大きくなる位置として、鼻輪郭（鼻下端、鼻両
端）、上唇と下唇との境界線を抽出し、正の曲率の大き
な位置として口上端、口下端を抽出する。また、上記正
面エッジ画像１１２から顔下端の抽出と顔輪郭の抽出を
行う。

【００２９】即ち、鼻下端、鼻両端、口上下端、顔輪郭
を表す特徴点の抽出は、各特徴画像を用いて、図４の
（Ｂ）に示す手法で行う。ここで同図は、暗いところほ
ど細かいハッチングで示し、明るいところはハッチング
をしないことで表している。つまり、同図に示す画像で
は、明るく示されている領域ほど特徴量が大きいものと
する。そして、参照番号２００で示すような形の特徴量
の大きな領域があるとき、長方形のウィンドウ２０２を
この画像上で走査する。即ち、抽出する特徴点は、特徴
量が極大または極小となる領域であり、このような領域
では、特徴量の極大または極小値に近い値をとる領域
が、細長い形をしているものが多い。従って、特徴点探
索を行う画像Ｃ（ｘ，ｙ）上で、点Ｐ（ｘ，ｙ）を中心
とする参照番号２０２で示す一定の大きさの長方形のウ
ィンドウｗ（ｘ，ｙ）を、参照番号２０４で示すような
一定の範囲で走査し、点Ｐ（ｘ，ｙ）を中心とする横の
長さｗ_x ，縦の長さｗ_y のウィンドウ内に含まれる画素
の特徴量の合計をｆ（ｘ，ｙ）と定義し、この関数が最
大、または最小となる位置を特徴点とすることにする。
この図においては、長方形ウィンドウ２０２が参照番号
２０６で示す位置にあるときに関数ｆ（ｘ，ｙ）が最大
となり、この長方形の中心が特徴位置となる。ここで、
ウィンドウｗ（ｘ，ｙ）の大きさは、その特徴点を検出
する操作を行う手前の操作までに整合が行われているワ
イヤフレームモデルの大きさに従って決定される。

【００３０】而して、ステップＳ１６以降から行う各特
徴点の抽出では、そのときまでに整合の行われているワ
イヤフレームモデルの大きさ情報を用いる必要があるた
め、先ず、顔の下端の特徴点抽出を行い、ワイヤフレー
ムモデルの顎の先端の点を整合し、ある程度、ワイヤフ
レームモデルの大きさを顔画像に合わせておく（ステッ
プＳ１４）。

【００３１】このステップＳ１４での顔下端の特徴抽出
は、上記正面エッジ画像１１２を用いて、 ｗ_x ×ｗ_y ＝（ワイヤフレームモデル上の初期的に整合
した顔の両端の点の間隔／４）×５画素 の大きさのウィンドウ２０２を、上記ステップＳ１２で
抽出した鼻頂点に対応する位置から、上記正面テクスチ
ャ画像１０４の画像下端に対応する位置まで走査し、エ
ッジ強度のｆ（ｘ，ｙ）が最大となる位置を顔下端とす
る。

【００３２】次に、鼻の下端を抽出する（ステップＳ１
６）。この鼻下端抽出は、上記正面曲率画像１１０を用
いて、 ｗ_x ×ｗ_y ＝（ワイヤフレームモデルの鼻の幅）×５画
素 の大きさのウィンドウ２０２を、上記ステップＳ１２で
抽出した鼻頂点に対応する位置から、ワイヤフレームモ
デルの口上端の高さまで走査し、曲率のｆ（ｘ，ｙ）が
最小となる位置を鼻下端とする。

【００３３】次に、鼻の両端を抽出する（ステップＳ１
８）。この鼻両端抽出は、上記正面曲率画像１１０を用
いて、 ｗ_x ×ｗ_y ＝５×（ワイヤフレームモデルの鼻頂点から
鼻下端までの長さ）画素 の大きさのウィンドウ２０２を、ワイヤフレームモデル
の鼻頂点と鼻下端の中心の高さの水平線に沿って、上記
ステップＳ１２で抽出した鼻頂点に対応する位置を含む
顔の中心線から左右に（上記ステップＳ１０で抽出した
顔両端に基づく顔の幅／４）分だけ走査し、曲率のｆ
（ｘ，ｙ）が最小となる位置をそれぞれ鼻の一端とす
る。

【００３４】次に、口の特徴点の抽出を行う。この口特
徴点としては口両端、口中心、口上下端を含むが、これ
らを抽出するために、先ず、仮の口中心抽出を行い（ス
テップＳ２０）、その抽出した仮の口中心を用いて、正
確な各口特徴点を抽出する。即ち、仮の口中心は、上記
正面曲率画像１１０を用いて、 ｗ_x ×ｗ_y ＝（ワイヤフレームモデルの口の幅）×５画
素 の大きさのウィンドウ２０２を、上記ステップＳ１６で
抽出した鼻下端に対応する位置から上記ステップＳ１４
で抽出した顔下端に対応する位置まで走査し、曲率のｆ
（ｘ，ｙ）が最小となる位置を仮の口中心とする。

【００３５】そして、正確な各口特徴点抽出として、先
ず口両端抽出を行う（ステップＳ２２）。この口両端抽
出は、上記正面曲率画像１１０を用い、上記ステップＳ
２０で抽出した仮の口中心位置を中心とした、（ワイヤ
フレームモデル上の初期的に整合した顔の両端の点の間
隔／２）×（ワイヤフレームモデルの鼻下端から仮の口
中心までの長さ×２）画素の大きさの長方形領域を設定
し、この長方形領域内部の特徴量の平均値をＣ_mean、標
準偏差をＣ_std としたとき、特徴値がＣ_mean＋Ｃ_std よ
り大きな値を持つ点のうち最も左の点を口の左端、最も
右の点を口の右端とする。

【００３６】こうして口両端が決定されたならば、その
中点を中心とする長さ４０画素の鉛直線上で曲率最小と
なる位置を探索し、その位置を正確な口中心とする（ス
テップＳ２４）。

【００３７】そして、口の上端及び下端を抽出する（ス
テップＳ２６）。この口上下端抽出は、上記正面曲率画
像１１０を用い、 ｗ_x ×ｗ_y ＝（ワイヤフレームモデルの口の幅／２）×
５画素 の大きさのウィンドウ２０２を、上記ステップＳ２４で
抽出した口中心に対応する位置から、上方向には上記ス
テップＳ１６で抽出した鼻下端に対応する位置まで、下
方向には上記ステップＳ１４で抽出した顔下端に対応す
る位置までそれぞれ走査し、曲率のｆ（ｘ，ｙ）が最大
となるそれぞれの位置を口上端及び口下端とする。

【００３８】最後に、顔の輪郭抽出を行う（ステップＳ
２８）。この顔輪郭抽出は、上記正面エッジ画像１１２
を用いて、上記ステップＳ１２で抽出した鼻頂点に対応
する位置から各輪郭制御点へ直線を延ばし、この直線に
垂直な方向に長い、１５×５画素の大きさのウィンドウ
を各制御点の水平線上で、各制御点より５０画素内側か
ら、上記ステップＳ１０で抽出した顔両端に対応する位
置より１０画素外側まで走査し、エッジ強度の曲率のｆ
（ｘ，ｙ）が最大となる位置をそれぞれ顔の輪郭点とす
る。

【００３９】次に、上記整合部４２は、ワイヤフレーム
の各制御点をこれら抽出された各特徴点に整合すること
で、ワイヤフレームの自動整合を行う。そして、このワ
イヤフレームモデルに対して、奥行き成分の整合を上記
正面距離画像１０６を用いて行う。即ち、ワイヤフレー
ムモデル上のすべての頂点ｐ（ｘ，ｙ，ｚ）に対して、
２次元的な整合においてはｘ，ｙの値は正確であるが、
ｚの値が不正確であるので、上記正面距離画像１０６を
用いて、ｚの値を整合する。

【００４０】さらに、この正面距離画像１０６を用いて
整合したワイヤフレームモデルに対し、顔側面に関し
て、表示面に対して垂直に近い面の整合を正確に行うた
めに、上記全周型距離画像１０２への補正整合を行う。
そのため、上記展開部４４は、これまでの作業で整合さ
れたワイヤフレームモデルを、円筒座標変換することに
より、全周型距離画像１０２と同一の座標系にする。即
ち、デカルト座標系におけるワイヤフレーム上の頂点ｐ
（ｘ，ｙ，ｚ）を、円筒座標変換して、ｐ（ｒ，θ，
ｙ）に変換する。図６は、こうして変換されたワイヤフ
レームモデルを示す。

【００４１】上記整合部４２は、この展開部４４により
変換されたワイヤフレームモデルを、上記のような全周
型テクスチャ画像１００の重ね合わせや、ワイヤフレー
ムモデルとずれた特徴点の上記正面距離画像１０６を用
いた整合を行っただけでは正確な整合を行なうことので
きていない、図６において黒丸で示された顔側面部の点
について、修正整合を行う。

【００４２】こうして修正整合されたワイヤフレームモ
デルが最終的な演算処理装置３０の演算処理結果とし
て、表示装置２０に表示出力される。

【００４３】［第２の実施の形態］次に、本発明の第２
の実施の形態を説明する。

【００４４】標準的なワイヤフレームモデルは、平均的
な顔をモデルとして作成されており、通常は情報量削減
のため、ワイヤフレームモデルを構成する各三角形パッ
チは適当に荒く作成される。ところが、個人顔への整合
の課程で、部分的に三角形パッチの大きさが大きくなり
過ぎて、場所によっては、顔画像の表示を行ったときに
滑らかさが失われてしまう部分が生じることがある。従
って、情報量の増大がなるべく少なくし、且つ表面形状
を滑らかに保つことが課題となる。

【００４５】そこで、本第２の実施の形態では、前述の
第１の実施の形態におけるワイヤーフレームモデル整合
装置の演算処理装置３０に、図１の（Ａ）に示すよう
に、さらに細分化部４６を備える。

【００４６】この細分化部４６は、ワイヤフレームモデ
ルの各三角形パッチの内部の点に対して、上記全周型曲
率画像１０８を用いて閾値処理を行い、特徴量が閾値よ
り大きい場合は三角形パッチを細かく分割する処理を行
い、表面形状を滑らかにする。

【００４７】これは、図６の円筒座標変換されたワイヤ
フレームと上記全周型曲率画像１０８とを重ね、各三角
形パッチを細分割するか否かの判断は、曲率の絶対値に
基づいて行う。即ち、各三角形で内部の曲率Ｃの絶対値
｜Ｃ｜の最大値を｜Ｃ｜_maxとしたとき、｜Ｃ｜_max に
対する曲率半径ｒ_max ＝１／｜Ｃ｜_max を三角形の面積
の平方根

【００４８】

【数１】 で正規化を行った量

【００４９】

【数２】 と、予め設定された閾値ｃ_thと比較を行い、次の不等式
（１）を満たさない場合には、細分割を行うことにす
る。

【００５０】

【数３】 この分割は、図７の（Ａ）に示すように、各三角形パッ
チに対して、各頂点から中心となる点（重心、内心、外
心等）に点線を引いてできる３つの三角形に分割を行う
ことによる。

【００５１】あるいは、図７の（Ｂ）に示すように、２
つの隣り合う三角形の、接する辺のそれぞれの頂点を結
ぶ点線により分割するようにしても良い。

【００５２】このような分割が行われた後で、上記整合
部４２は、新たに生成された頂点に対して、距離画像を
用いて頂点の座標の距離値ｒを整合しておく。

【００５３】以上実施の形態に基づいて本発明を説明し
たが、本発明は上述した実施の形態に限定されるもので
はなく、本発明の要旨の範囲内で種々の変形や応用が可
能である。

【００５４】上記説明は、顔画像に関して述べたが、こ
の手法は特に顔画像に限定されるものではなく、より一
般的な距離画像に対しても利用することができる。例え
ば、人、動物、植物、風景等、任意の物体に関して適用
することができる。人、または動物の全身の全周型距離
画像を利用すれば、全身のワイヤフレームモデルの整合
を行うことができ、人体、または動物の動作モデルを生
成することができる。また、手、腕、足等の体の一部分
の形状を計測することにより、これらのモデルヘの整合
を行うこともでき、同様にこれらの部位の動作モデルを
生成することができる。これらのモデル整合を行うため
には、関節等の屈曲可能な点を特徴点として利用するこ
とができる。さらには、手術中体内の距離画像計測を行
い、体内の心臓、胃等の臓器モデルヘの整合を行うこと
によりこれらの臓器の変形シミュレーションを行うこと
もできる。加えて、木やバラ等の植物の形状を計測する
ことによりこれらのモデルへの整合を行い、成長や環境
変化をシミュレートできる。机、いす、ロボット、電子
機器、建造物、山、風景等についても同様に変形シミュ
レーションを行うことができる。

【００５５】ここで、本発明の要旨をまとめると以下の
ようになる。

【００５６】（１） ３次元ワイヤーフレームモデルを
対応する物体の画像に整合するワイヤーフレームモデル
整合装置において、基準から上記物体上の各点までの距
離情報に基づいて、上記ワイヤーフレームモデルの制御
点に対応する物体画像上の特徴点を抽出する特徴点抽出
手段と、上記特徴点抽出手段によって抽出された上記物
体画像上の各特徴点に、上記ワイヤーフレームモデルの
対応する制御点を整合する整合手段と、を具備すること
を特徴とするワイヤーフレームモデル整合装置。

【００５７】即ち、距離情報に基づいて特徴点を抽出す
るようにしているので、正確な特徴点抽出が可能とな
る。従来例は、ワイヤーフレーム整合後に距離画像で奥
行き方向の情報を追補するものであり、特徴点抽出に距
離画像が生きない。

【００５８】（２） 上記距離情報の分布に基づいて、
上記ワイヤーフレームモデルの細分化を行う細分化手段
を更に具備することを特徴とする上記（１）に記載のワ
イヤーフレームモデル整合装置。

【００５９】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００６０】（３） 上記特徴点抽出手段は、上記距離
情報に基づいて上記物体上の各点における曲率を求める
曲率演算手段を有し、該曲率演算手段によって得られた
曲率情報に基づいて上記ワイヤーフレームモデルの制御
点に対応する上記物体画像上の特徴点を抽出することを
特徴とする上記（１）に記載のワイヤーフレームモデル
整合装置。

【００６１】即ち、物体形状の特徴量として曲率に着目
している。

【００６２】（４） 上記曲率情報の分布に基づいて、
上記ワイヤーフレームモデルの細分化を行う細分化手段
を更に具備することを特徴とする上記（３）に記載のワ
イヤーフレームモデル整合装置。

【００６３】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００６４】（５） 上記特徴点抽出手段は、上記物体
上の各点における上記距離情報の微分値を求める微分手
段を有し、該微分手段によって得られた微分値に基づい
て上記ワイヤーフレームモデルの制御点に対応する上記
物体画像上の特徴点を抽出することを特徴とする上記
（１）に記載のワイヤーフレームモデル整合装置。

【００６５】即ち、物体形状の特徴量としてエッジ成分
に着目している。

【００６６】（６） 上記微分情報の分布に基づいて、
上記ワイヤーフレームモデルの細分化を行う細分化手段
を更に具備することを特徴とする上記（５）に記載のワ
イヤーフレームモデル整合装置。

【００６７】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００６８】（７） 上記特徴点抽出手段は、上記物体
の全方位の各点における距離情報を有する全周型距離画
像に基づいて、上記ワイヤーフレームモデルの制御点に
対応する物体画像上の特徴点を抽出するものであり、上
記整合手段は、ワイヤーフレームモデルを平面に展開す
る展開手段を有し、展開されたワイヤーフレームモデル
を上記全周型距離画像に整合することを特徴とする上記
（１）に記載のワイヤーフレームモデル整合装置。

【００６９】即ち、全方位での整合可能である。

【００７０】（８） 上記距離情報は全周型距離画像を
含み、上記展開手段はワイヤーフレームモデルに対し円
筒座標変換を行う円筒座標変換手段を含むことを特徴と
する上記（７）に記載のワイヤーフレームモデル整合装
置。

【００７１】即ち、全周型レンジファインダにより入力
した全周型距離画像と、円筒座標変換で平面に展開され
たワイヤーフレームモデルとがマッチングされ、正確な
整合が取れる。

【００７２】（９） ３次元ワイヤーフレームモデルを
対応する物体の画像に整合するワイヤーフレームモデル
整合方法において、基準から上記物体上の各点までの距
離情報を入力する工程と、上記距離情報に基づいて、上
記ワイヤーフレームモデルの制御点に対応する物体画像
上の特徴点を抽出する特徴点抽出工程と、抽出された上
記物体画像上の各特徴点に、上記ワイヤーフレームモデ
ルの対応する制御点を整合する整合工程と、を具備する
ことを特徴とするワイヤーフレームモデル整合方法。

【００７３】即ち、距離情報に基づいて特徴点を抽出す
るようにしているので、正確な特徴点抽出が可能とな
る。従来例は、ワイヤーフレーム整合後に距離画像で奥
行き方向の情報を追補するものであり、特徴点抽出に距
離画像が生きない。

【００７４】（１０） 上記距離情報の分布に基づい
て、上記ワイヤーフレームモデルの細分化を行う細分化
工程を更に具備することを特徴とする上記（９）に記載
のワイヤーフレームモデル整合方法。

【００７５】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００７６】（１１） 上記特徴点抽出工程は、上記距
離情報に基づいて上記物体上の各点における曲率を求め
る曲率演算工程を有し、該曲率演算工程によって得られ
た曲率情報に基づいて上記ワイヤーフレームモデルの制
御点に対応する上記物体画像上の特徴点を抽出すること
を特徴とする上記（９）に記載のワイヤーフレームモデ
ル整合方法。

【００７７】即ち、物体形状の特徴量として曲率に着目
している。

【００７８】（１２） 上記曲率情報の分布に基づい
て、上記ワイヤーフレームモデルの細分化を行う細分化
工程を更に具備することを特徴とする上記（１１）に記
載のワイヤーフレームモデル整合方法。

【００７９】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００８０】（１３） 上記特徴点抽出工程は、上記物
体上の各点における上記距離情報の微分値を求める微分
工程を有し、該微分工程によって得られた微分値に基づ
いて上記ワイヤーフレームモデルの制御点に対応する上
記物体画像上の特徴点を抽出することを特徴とする上記
（９）に記載のワイヤーフレームモデル整合方法。

【００８１】即ち、物体形状の特徴量としてエッジ成分
に着目している。

【００８２】（１４） 上記微分情報の分布に基づい
て、上記ワイヤーフレームモデルの細分化を行う細分化
工程を更に具備することを特徴とする上記（１３）に記
載のワイヤーフレームモデル整合方法。

【００８３】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００８４】（１５） 上記特徴点抽出工程は、上記物
体の全方位の各点における距離情報を有する全周型距離
画像に基づいて、上記ワイヤーフレームモデルの制御点
に対応する物体画像上の特徴点を抽出する工程であり、
上記整合工程は、ワイヤーフレームモデルを平面に展開
する展開工程を有し、展開されたワイヤーフレームモデ
ルを上記全周型距離画像に整合することを特徴とする上
記（９）に記載のワイヤーフレームモデル整合方法。

【００８５】即ち、全方位での整合可能である。

【００８６】（１６） 上記距離情報は全周型距離画像
を含み、上記展開工程はワイヤーフレームモデルに対し
円筒座標変換を行う円筒座標変換工程を含むことを特徴
とする上記（１５）に記載のワイヤーフレームモデル整
合方法。

【００８７】即ち、全周型レンジファインダにより入力
した全周型距離画像と、円筒座標変換で平面に展開され
たワイヤーフレームモデルとがマッチングされ、正確な
整合が取れる。

【００８８】（１７） ３次元ワイヤーフレームモデル
を対応する物体の画像に整合するための整合プログラム
を記録した機械読み取り可能な記録媒体であって、該整
合プログラムは、コンピュータに、基準から上記物体上
の各点までの距離情報に基づいて上記ワイヤーフレーム
モデルの制御点に対応する物体画像上の特徴点を抽出さ
せ、抽出された上記物体画像上の各特徴点に、上記ワイ
ヤーフレームモデルの対応する制御点を整合させる、こ
とを特徴とする３次元ワイヤーフレームモデルを対応す
る物体の画像に整合するための整合プログラムを記録し
た記録媒体。

【００８９】即ち、距離情報に基づいて特徴点を抽出す
るようにしているので、正確な特徴点抽出が可能とな
る。従来例は、ワイヤーフレーム整合後に距離画像で奥
行き方向の情報を追補するものであり、特徴点抽出に距
離画像が生きない。

【００９０】（１８） 上記整合プログラムは、コンピ
ュータに上記距離情報の分布に基づいて上記ワイヤーフ
レームモデルの細分化を行わせることを特徴とする上記
（１７）に記載の３次元ワイヤーフレームモデルを対応
する物体の画像に整合するための整合プログラムを記録
した記録媒体。

【００９１】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００９２】（１９）上記整合プログラムは、コンピュ
ータに上記距離情報に基づいて上記物体上の各点におけ
る曲率を求めさせ、得られた曲率情報に基づいて上記ワ
イヤーフレームモデルの制御点に対応する上記物体画像
上の特徴点を抽出することを特徴とする上記（１７）に
記載の３次元ワイヤーフレームモデルを対応する物体の
画像に整合するための整合プログラムを記録した記録媒
体。

【００９３】即ち、物体形状の特徴量として曲率に着目
している。

【００９４】（２０） 上記整合プログラムは、コンピ
ュータに上記曲率情報の分布に基づいて、上記ワイヤー
フレームモデルの細分化を行わせることを特徴とする上
記（１９）に記載の３次元ワイヤーフレームモデルを対
応する物体の画像に整合するための整合プログラムを記
録した記録媒体。

【００９５】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【００９６】（２１） 上記整合プログラムは、コンピ
ュータに上記物体上の各点における上記距離情報の微分
値を求めさせ、得られた微分値に基づいて上記ワイヤー
フレームモデルの制御点に対応する上記物体画像上の特
徴点を抽出させることを特徴とする上記（１７）に記載
の３次元ワイヤーフレームモデルを対応する物体の画像
に整合するための整合プログラムを記録した記録媒体。

【００９７】即ち、物体形状の特徴量としてエッジ成分
に着目している。

【００９８】（２２） 上記整合プログラムは、コンピ
ュータに上記微分情報の分布に基づいて、上記ワイヤー
フレームモデルの細分化を行わせることを特徴とする上
記（２１）に記載の３次元ワイヤーフレームモデルを対
応する物体の画像に整合するための整合プログラムを記
録した記録媒体。

【００９９】即ち、特徴量変化の激しい部分などにおい
て、物体を忠実に再現できる。

【０１００】（２３） 上記整合プログラムは、コンピ
ュータに上記物体の全方位の各点における距離情報を有
する全周型距離画像に基づいて、上記ワイヤーフレーム
モデルの制御点に対応する物体画像上の特徴点を抽出さ
せ、ワイヤーフレームモデルを平面に展開させ、展開さ
れたワイヤーフレームモデルを上記全周型距離画像に整
合させることを特徴とする上記（１７）に記載の３次元
ワイヤーフレームモデルを対応する物体の画像に整合す
るための整合プログラムを記録した記録媒体。

【０１０１】即ち、全方位での整合可能である。

【０１０２】（２４） 上記距離情報は全周型距離画像
を含み、上記整合プログラムは、コンピュータにワイヤ
ーフレームモデルに対し円筒座標変換を行わせることを
特徴とする上記（２３）に記載の３次元ワイヤーフレー
ムモデルを対応する物体の画像に整合するための整合プ
ログラムを記録した記録媒体。

【０１０３】即ち、全周型レンジファインダにより入力
した全周型距離画像と、円筒座標変換で平面に展開され
たワイヤーフレームモデルとがマッチングされ、正確な
整合が取れる。

【０１０４】

【発明の効果】以上詳述したように、本発明によれば、
正確な特徴点抽出を可能とし、もって、横顔を表示した
ときでも自然な画像が得られるような３次元ワイヤーフ
レームモデルを対応する物体の画像に整合するワイヤー
フレームモデル整合装置及び方法、並びにそのような３
次元ワイヤーフレームモデルを対応する物体の画像に整
合するための整合プログラムを記録した機械読み取り可
能な記録媒体を提供することができる。

【図面の簡単な説明】

【図１】（Ａ）は本発明の第１の実施の形態にかかるワ
イヤーフレームモデル整合装置のブロック構成図でり、
（Ｂ）乃至（Ｄ）はそれぞれ顔のワイヤフレームモデル
の３次元構造を正面、斜め方向、及び横方向から示した
図である。

【図２】（Ａ）乃至（Ｄ）はそれぞれ全周型色情報（テ
クスチャ画像）、全周型距離情報、正面テクスチャ画
像、及び正面距離画像を示すディスプレイ上に表示した
中間画像の写真である。

【図３】（Ａ）乃至（Ｃ）はそれぞれ全周型曲率画像、
正面曲率画像、及び正面エッジ画像を示すディスプレイ
上に表示した中間画像の写真である。

【図４】（Ａ）はワイヤフレーム上の制御点を示す図で
あり、（Ｂ）は特徴点抽出用のウィンドウを説明するた
めの図である。

【図５】特徴点の抽出の順序を示す図である。

【図６】円筒座標変換されたワイヤフレームモデルを示
す図である。

【図７】（Ａ）及び（Ｂ）はそれぞれ本発明の第２の実
施の形態における三角形パッチの分割方の例を示す図で
ある。

【符号の説明】

１０ 距離画像入力装置 ２０ 表示装置 ３０ 演算処理装置 ３２ 制御部 ３４ メモリ ３６ 曲率演算部 ３８ 微分演算部 ４０ 特徴抽出部 ４２ 整合部 ４４ 展開部 ４６ 細分化部 １００ 全周型色情報（テクスチャ画像） １０２ 全周型距離情報 １０４ 正面テクスチャ画像 １０６ 正面距離画像 １０８全周型曲率画像 １１０ 正面曲率画像 １１２ 正面エッジ画像 ２０２ ウィンドウ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ３次元ワイヤーフレームモデルを対応す
   る物体の画像に整合するワイヤーフレームモデル整合装
   置において、 基準から上記物体上の各点までの距離情報に基づいて、
   上記ワイヤーフレームモデルの制御点に対応する物体画
   像上の特徴点を抽出する特徴点抽出手段と、 上記特徴点抽出手段によって抽出された上記物体画像上
   の各特徴点に、上記ワイヤーフレームモデルの対応する
   制御点を整合する整合手段と、 を具備することを特徴とするワイヤーフレームモデル整
   合装置。
2. 【請求項２】 ３次元ワイヤーフレームモデルを対応す
   る物体の画像に整合するワイヤーフレームモデル整合方
   法において、 基準から上記物体上の各点までの距離情報を入力する工
   程と、 上記距離情報に基づいて、上記ワイヤーフレームモデル
   の制御点に対応する物体画像上の特徴点を抽出する特徴
   点抽出工程と、 抽出された上記物体画像上の各特徴点に、上記ワイヤー
   フレームモデルの対応する制御点を整合する整合工程
   と、 を具備することを特徴とするワイヤーフレームモデル整
   合方法。
3. 【請求項３】 ３次元ワイヤーフレームモデルを対応す
   る物体の画像に整合するための整合プログラムを記録し
   た機械読み取り可能な記録媒体であって、 該整合プログラムは、 コンピュータに、基準から上記物体上の各点までの距離
   情報に基づいて上記ワイヤーフレームモデルの制御点に
   対応する物体画像上の特徴点を抽出させ、 抽出された上記物体画像上の各特徴点に、上記ワイヤー
   フレームモデルの対応する制御点を整合させる、 ことを特徴とする３次元ワイヤーフレームモデルを対応
   する物体の画像に整合するための整合プログラムを記録
   した記録媒体。