JPH0814860A - モデル作成装置 - Google Patents

Abstract

(57)【要約】 【目的】 モデルと実際の物体との相違箇所の発見及び
モデル修正作業を自動化したモデル作成装置を提供する
こと。 【構成】 モデルを記憶するモデル記憶手段と、モデル
化された物体をある視点から撮影した画像を記憶する画
像記憶手段と、モデルを用いて上記視点から撮影するこ
とを想定して画像を生成する予測画像生成手段と、画像
記憶手段が記憶した画像と予測画像生成手段が生成した
画像とを比較する画像比較手段と、画像比較手段の比較
により、２つの画像間の相違領域を発見する相違領域発
見手段と、発見された相違領域に従ってモデルを変更す
るモデル変更手段からなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はコンピュータグラフィク
スや図面作成等に用いるモデルを作成・変更するための
モデル作成装置に関する。

【０００２】

【従来の技術】近年、工業部品などの設計を支援するた
めの３次元ＣＡＤや、３次元コンピュータグラフィクス
を用いた映像作成、及び知能移動ロボットのニーズが、
急速に高まっている。これらの技術においては、設計、
またはコンピュータグラフィクス表示を行う対象、また
はロボットが移動する環境の幾何形状、表面属性、及び
必要であれば動きのデータを計算機に入力することが必
要である（この仮定をモデリングと呼び、計算機内部に
表現された数値データをモデルと呼ぶ）がこの部分は現
在、人間が多くの労力を掛けて行っており、自動化が強
く望まれている。

【０００３】最近、３次元ＣＡＤへの適用のために、レ
ンジファインダと呼ばれる距離画像装置を用いて、呈示
した対象の形状の自動入力を行うシステムが提案されて
いる。また、従来よりテレビカメラ画像から直接対象の
３次元情報を抽出する手法として、複数台のカメラを用
い３角測量の原理を利用したステレオ法や、１台のカメ
ラで焦点距離を変化させて得た画像系列を解析し３次元
情報を得る技術などの研究が活発に行われている。これ
らの技術をモデリングに適用した例として、例えば臨場
感通信や会議を想定し、ステレオ視の技術を用いて人間
の顔の形状を自動入力する研究が行われている。また、
屋内の移動するロボットに、超音波センサや複数台のカ
メラを搭載して、移動する空間の既略の記述を自動作成
する研究も行われている。しかし、モデルと実際の物体
との相違点の発見、及び相違を修正するためのモデルの
変更は人手で行われており、モデルの自動作成システム
を実現する上での障害となっていた。

【０００４】

【発明が解決しようとする課題】以上述べた様に、従来
のモデル作成装置では、モデルと実際の物体との相違点
を発見し、修正することが自動的に行えないという欠点
が有った。そこで本発明の目的は、モデルと実際の物体
との相違点の発見と修正作業を自動化したモデル作成装
置を提供することにある。

【０００５】

【課題を解決するための手段】本発明は、物体の表面を
小平面単位で構成し、３次元空間内での前記物体の位置
を小平面毎に記述したモデルを記憶するモデル記憶手段
と、このモデル記憶手段に記憶されたモデルに従って前
記物体を所定視点から撮影した画像を予測生成する予測
画像生成手段と、前記物体を前記所定視点から撮影した
実際の画像を記憶する画像記憶手段と、前記予測画像生
成手段より生成された予測画像と前記画像記憶手段に記
憶された実際の画像とを比較する画像比較手段と、この
画像比較手段の比較結果に従って前記予測画像及び実際
の画像の相違領域を発見する相違領域発見手段と、この
相違領域発見手段より発見された相違領域に従って前記
モデル記憶手段内のモデルの該当する小平面を変更する
モデル変更手段と、を具備したことを特徴とするもので
ある。

【０００６】

【作用】小平面に分割された表面と模様な色などの表面
属性による物体の表現モデルと呼ぶ。本発明は、ある視
点から撮影した画像と、モデルが正しければカメラに映
るはずの画像とを比較して相違点を自動的に発見し、モ
デルを変更するモデル作成装置を実現する。このため
に、画像の比較の際に、モデルの小平面に該当する作成
された予測画像の領域について、撮影された実際の画像
との比較を行う。また、画像の比較の際に、小平面の法
線方向を求め、この法線方向と視線方向のなす角が使用
者の決めた値以下か、またはそれよりも小さい値である
小平面を求め、作成された画像中でこの小平面に該当す
る領域を含む領域について、撮影された画像との比較を
行なうことを特徴とし、複数の画像を用いてモデルを変
更することを特徴とする。

【０００７】

【実施例】本発明の実施例を図を参照しながら説明す
る。なお、本発明でのモデルとは、物体の形状を表現す
る多角形の小平面の集合と、小平面の有する色や模様な
どの属性である。また、画像はあらかじめ撮影されてい
るものとする。

【０００８】図１に本発明のモデル作成装置の全体構成
を示す。モデル作成装置はモデル記憶部１と画像記憶部
２と予測画像生成部３と画像比較部４と相違領域発見部
５とモデル変更部６とから構成される。

【０００９】図２にモデル作成装置の処理の流れを示
す。ステップａにおいて、画像記憶部２がモデリングさ
れた物体をある視点から撮影した実際の画像を記憶す
る。以後、記憶された画像を撮影画像と呼ぶ。ステップ
ｂにおいて、予測画像生成部３が、モデルが正しければ
カメラに移るはずの画像を生成する。以後、生成された
画像を予測画像と呼ぶ。ステップｃにおいて、画像比較
部４が撮影画像と予測画像とを比較し、ステップｄにお
いて、相違領域発見部５が、画像比較部の比較結果を用
いて２つの画像間の相違領域を発見し、ステップｅにお
いて、モデル変更部６が該当するモデルを変更し、ステ
ップｆにおいてモデル記憶部が変更されたモデルを記憶
する。

【００１０】以下に各部の構成及び動作を説明する。モ
デル記憶部１は、以下に示す表現のモデルを記憶する。
空間内に存在する物体の表面を小平面単位に分割し、こ
の小平面毎に当該物体の位置及び表面属性を記述したも
のを当該物体のモデルとする。

【００１１】本実施例では小平面を三角形とし、モデル
記憶部１が記憶するモデルは、各三角形の頂点の３次元
座標値と、各小平面の色や模様などの属性である。この
属性としては実際に撮影した画像を各小平面毎に貼り付
けてもよし、色・模様などの特徴情報のみを抽出して属
性として保持してもよい。

【００１２】画像記憶部２は、カメラなどにより撮影さ
れた実際の画像と、視点の座標値、視線方向を記憶す
る。図３に予測画像生成部３の構成を示す。予測画像生
成部３は、画像作成部７と、予測画像記憶部８とから構
成される。

【００１３】図４に予測画像生成部３での処理の流れを
示す。ステップｇでは、画像作成部７がモデル記憶部１
からモデルを読み出し、画像記憶部２から視点の座標値
を読み出す。ステップｈでは、画像作成部７が以下のよ
うにしてモデルと視点の座標値から予測画像を作成し、
ステップｉでは、作成された予測画像を予測画像記憶部
８が記憶する。

【００１４】画像作成部７の予測画像の生成の手順を参
照しながら説明する。図５はモデルを構成する一小平面
と撮影面との位置関係を示している。モデル中の小平面
の頂点ｐの位置ベクトルを

【００１５】

【数１】 とする。小平面の属性をＣで表す。視点Ｐの位置ベクト
ル、視線方向の単位ベクトルを夫々

【００１６】

【数２】 で表す。撮影に用いたカメラの焦点距離をｆとする。図
６に示すように撮影面上への各頂点の写像ｐ′は、画像
上の座標系のベクトル

【００１７】

【数３】

【００１８】

【数４】

【００１９】ここで、ベクトルＩとＪはそれぞれ撮影面
での座標系でのＸとＹ方向の単位ベクトルである。また
はベクトルの内積を示す。各頂点の写像で囲まれた領域
を小平面の写像領域と呼ぶ。

【００２０】モデル内の全ての小平面について上記の手
順で写像領域を求め、同一小平面の写像領域内の点の属
性を、その小平面の属性とする。なお、撮影面上の同一
点が異なる小平面の写像領域に含まれる場合は、最も視
点に近い小平面の写像領域に含まれるとし、属性はその
点が含まれる写像領域に該当する小平面の属性とする。

【００２１】以上の処理により予測画像を小平面の写像
領域の集合として得る。図７に画像比較部４の構成図を
示す。画像比較部４は角度計算部９と、比較領域決定部
１０と、法線臨界値記憶部１１と、領域間演算部１２と
比較結果記憶部１３とから構成される。

【００２２】図８に画像比較部４での処理の流れを示
す。ステップｊでは、角度計算部９が予測画像の各写像
領域に該当する小平面の座標値をモデル記憶部１から読
みだして法線ベクトルを求め、画像記憶部２から視線方
向を読みだして視線方向との間の角度を算出する。ステ
ップｋでは、比較領域決定部１０が法線臨界値記憶部１
１から角度値を読み出して、算出された角度が、その値
以下か、またはそれよりも小さい値である小平面を決定
する。決定された小平面を対象小平面と呼ぶ。ステップ
１では、領域間演算部１２が、予測面像中での対象小平
面の写像領域と、撮影画像中での同じ位置の領域との間
で演算を行なう。ステップｍでは、比較結果記憶部１３
が演算結果を記憶する。

【００２３】領域間演算部１２の演算の例を以下に説明
する。図９（ａ）のような物体Ｓのモデルを変更する場
合について説明する。物体Ｓのモデルが図９（ｂ）に示
すＳ′である時モデルＳ′が正しければ視点Ｐから撮影
した場合に移るはずの予測画像が図９（ｂ）のようにな
ったとする。予測画像中の斜線部分Ｏ′がモデルＳ′の
斜線部で示す対象小平面Ｔの写像領域である。この写像
領域Ｏ′を含む予測画像を図１０（ａ）に示す。一方、
撮影画像が図１０（ｂ）のようであり、対象小平面の写
像領域Ｏ′に該当する領域を斜線部分Ｏとする。次に、
撮影画像中で対象小平面と同一の属性を持つ領域を図の
横線部のようにＱで示すと、図１０（ｃ）のようにＯと
Ｑとの属性の差の領域はｄＯとなり、これを演算結果と
する。なお、以後演算結果の領域を相違領域と呼び、本
例ではｄＯが相違領域である。

【００２４】ここで、撮影画像中での領域Ｑの抽出方法
として、ユーザが手動により対象小平面Ｔに対応した領
域を指定してもよく、又、モデル記憶部内に記憶された
対象小平面Ｔの属性と同一の属性を有する領域を自動抽
出してもよい。

【００２５】図１１に相違領域発見部５の構成を示す。
相違領域発見部５は、頂点照合部１４と、相違予測頂点
記憶部１５と、相違撮影頂点記憶部１６とから構成され
る。図１２に相違領域発見部５での処理の流れを示す。
ステップｎにおいて頂点照合部１４が相違領域を比較結
果記憶部１３から読み出し、例えば、近傍の画素から算
出した輪郭線の傾きの変化があらかじめ設定した閾値よ
りも大きい画素を抽出する方法や、相違領域の境界線上
の隣接する画素について、画素と相違領域中の画素から
求めた重心との間の距離を順次算出し、距離の変化が設
定した閾値よりも大きい画素を抽出する方法などを用い
たり、前処理として相違領域の収縮、膨脹などでノイズ
除去や境界線の整形や領域統合などをした後に、これら
の抽出方法を用いて相違領域の頂点を抽出し、写像領域
の頂点との位置の照合を行なう。照合は例えば、相違領
域の頂点と写像領域の頂点との距離を算出し、最も近い
頂点を選択して、その距離が設定した閾値以上となるよ
うな頂点を異なった頂点とするといった方法を用いる。
照合の結果、異なっている頂点はステップＯにおいて相
異撮影頂点記憶部１６に記憶される。（つまり相異領域
の各頂点のうちで、図１０（ａ）の写像領域Ｏ′の頂点
と一致しないものは、撮影画像中の対応領域での異なる
頂点であるとして、相違撮影頂点記憶部に記憶する）。

【００２６】次にステップｐにおいて、頂点照合部１４
が画像記憶部２から撮影画像を読みだす。ステップｑに
おいて、例えば、対象小領域と同一の属性を持つ画素の
みを図１０（ｂ）の領域Ｏから抽出した後に相違領域の
頂点の抽出と同様の方法を用いて、図１０（ｂ）の領域
Ｑの頂点を抽出する。相違領域の頂点と位置の照合を行
ない、異なっている頂点はステップｒにおいて相違予測
頂点記憶部１５に記憶される。（つまり相異領域の各頂
点のうちで、図１０（ｂ）の領域Ｑの頂点と一致しない
ものは、予測画像中の写像領域Ｏ′での異なる頂点であ
るとして、相違予測頂点記憶部に記憶する）。

【００２７】図１３にモデル変更部６の構成を示す。モ
デル変更部６は、頂点視点間距離計算部１７と、小平面
変更部１８とから構成される。図１４にモデル変更部６
での処理の流れを示す。ステップｒにおいて、頂点視点
間距離計算部１７は、相違予測頂点記憶部１５と相違撮
影頂点記憶部１６とから頂点を読みだす。相違予測頂点
記憶部１５から読み出した頂点をＡ、相違撮影頂点記憶
部１６から読み出した頂点をＢとする。ステップＳにお
いて、頂点視点間距離計算部１７は空間内での頂点Ａと
視点との間の距離ｄを計算する。ステップｔにおいて、
小平面変更部１８はモデル記憶部１から頂点Ａを含む小
平面のモデルを読みだし、頂点Ｂと視点を通る直線上に
あり、視点からの距離がｄである点をＡ′として、Ａ′
の座標値をＡの座標値と交換する。

【００２８】図１５（ａ）（ｂ）はこの処理を具体的に
示す図である。図１５（ａ）において、画像面上の予測
頂点Ａは小平面モデルの頂点座標Ａから写像された点で
ある。しかしながら画像面上で予測頂点Ａは撮影頂点Ｂ
と異なっている。従って小平面モデルの頂点Ａを変更す
る必要がある。そこで図１５（ｂ）に示すように、視点
と頂点Ｂとの直線上にあって視点からの距離がｄである
空間内の点Ａ′の座標値をＡに代えて小平面モデルの１
頂点とする。この様にしてモデル記憶部内のモデルは実
際の物体の位置・形状に沿うように順次修正される。

【００２９】また、相違撮影頂点記憶部１６にＮ個の点
｛Ｂ_i ：ｉ＝１，２，…，Ｎ｝が記憶されている場合
は、例えば、以下のようにする。頂点視点間距離計算部
１７がＡと空間内の視点との間の距離ｄを算出した後
に、小平面変更部がモデル記憶部１から頂点Ａを含む小
平面のモデルを読みだし、｛Ｂ_i ：ｉ＝１，２，…，
Ｎ｝について、Ｂ_i と視点とを通る直線上にあり視点か
らの距離がｄである点Ａ_i の座標値を求める。｛Ａ_i ：
ｉ＝１，２，…，Ｎ｝と小平面のＡを除く２頂点とから
三次元のデローニ三角法を用いて四面体を作成した後
に、モデルの最も外にある三角形を表面とし、読み出し
た小平面と交換する。

【００３０】図１６（ａ）（ｂ）はこの処理を具体的に
示す図である。図１６（ａ）において画像面上の予測頂
点Ａは小平面モデルの頂点座標Ａから写像された点であ
る。しかしながら画像面上の相異領域にはこれと異なる
撮影頂点Ｂ₁ Ｂ₂ が含まれている。従って小平面モデル
の頂点Ａを変更する必要がある。そこで図１５（ｂ）に
示すように、先ず視点とＢ₁ とを結ぶ直線上にあって視
点からの距離がｄである空間内の点をＡ₁ とし、これ
と、元の小平面モデルの３頂点Ｂ，Ｃ，Ｄとから第１の
四面体を作成する。次に視点とＢ₂ とを結ぶ直線上にあ
って視点からの距離がｄである空間内の点をＡ₂ とし、
これと元の小平面モデルの３頂点Ｂ，Ｃ，Ｄとから第２
の四面体を作成する。これら第１及び第２の四面体を組
み合わせた立体に対し、元の対象小平面に対応する三角
形を夫々抽出する。つまり第１の四面体からは三角形
Ａ，ＢＣが抽出され、第２の四面体からは三角形Ａ₁ Ａ
₂ Ｃが抽出される。こうして図１６（ａ）に示す元の対
象小平面ＡＢＣに代えて、図１６（ｂ）に示す四辺形Ａ
₁ Ａ₂ ＢＣが作成されたことになる。

【００３１】以上の処理によってモデルが実際の撮影画
像に従って順次変更されることにより、この修正された
モデルがモデル記憶部１に記憶される。尚、異なる複数
の視点から順次撮影された画像を用いて以上の処理を繰
り返し適用することにより、モデルを順次完全なデータ
として修正してもよい。

【００３２】

【発明の効果】本発明によれば、記憶されているモデル
から予測画像を生成し、これを実際の撮影画像と比較す
ることにより相違点を検出し、修正する。従って空間内
で物体の位置・形状を記述したモデルを、人手を介さず
自動的に実物にしたデータとして修正できるという効果
を奏する。

【図面の簡単な説明】

【図１】 本発明のモデル作成装置の全体構成図

【図２】 本発明のモデル作成装置の処理フローチャー
ト

【図３】 本発明の予測画像生成部の構成図

【図４】 本発明の予測画像生成部の処理フローチャー
ト

【図５】 モデルを構成する一小平面と撮影面との位置
関係を示す図

【図６】 撮影面上への小平面の頂点の写像を示す図

【図７】 本発明の画像比較部の構成図

【図８】 本発明の画像比較部の処理フローチャート

【図９】 物体のモデルとその予測画像との関係を示す
図

【図１０】 予測画素と実際の撮影画像とその差分領域
との関係を示す図

【図１１】 本発明の相違領域発見部の構成図

【図１２】 本発明の相違領域発見部の処理フローチャ
ート

【図１３】 本発明のモデル変更部の構成図

【図１４】 本発明のモデル変更部の処理フローチャー
ト構成図

【図１５】 モデル変更部によるモデル頂点修正処理を
具体的に示す図

【図１６】 モデル変更部による別のモデル頂点修正処
理を具体的に示す図

【符号の説明】

１…モデル記憶部 ２…画像記憶部 ３…予測画像生成部 ４…画像比較部 ５…相違領域発見部 ６…モデル変更部 ７…画像作成部 ８…予測画像記憶部 ９…角度計算部 １０…比較領域決定部 １１…法線臨界値記憶部 １２…領域間演算部 １３…比較結果記憶部 １４…頂点照合部 １５…相違予測頂点記憶部 １６…相違撮影頂点記憶部 １７…頂点視点間距離計算部 １８…小平面変更部

Claims (4)

【特許請求の範囲】
1. 【請求項１】物体の表面を小平面単位で構成し、３次元
   空間内での前記物体の位置を小平面毎に記述したモデル
   を記憶するモデル記憶手段と、 このモデル記憶手段に記憶されたモデルに従って前記物
   体を所定視点から撮影した画像を予測生成する予測画像
   生成手段と、 前記物体を前記所定視点から撮影した実際の画像を記憶
   する画像記憶手段と、 前記予測画像生成手段より生成された予測画像と前記画
   像記憶手段に記憶された実際の画像とを比較する画像比
   較手段と、 この画像比較手段の比較結果に従って前記予測画像及び
   実際の画像の相違領域を発見する相違領域発見手段と、 この相違領域発見手段より発見された相違領域に従って
   前記モデル記憶手段内のモデルの該当する小平面を変更
   するモデル変更手段と、 を具備したことを特徴とするモデル作成装置。
2. 【請求項２】前記画像比較手段は、前記モデルの特定の
   小平面に該当する前記予測画像の領域と前記実際の画像
   の領域とを比較するものである請求項１記載のモデル作
   成装置。
3. 【請求項３】前記特定の小平面は、その法線方向と前記
   所定視点の方向とのなす角が予め定められた値以下のも
   のである請求項２記載のモデル作成装置。
4. 【請求項４】前記相違領域発見手段は、前記特定の小平
   面に該当する前記予測画像の領域の各頂点と前記実際の
   画像の領域の各頂点との位置の相違を検出することによ
   り、相違領域を発見するものである請求項２記載のモデ
   ル作成装置。