JPH0831126B2 - 眼鏡装用シミュレーション装置における合成画像作成方法 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、眼鏡装用シミユレーシヨン装置における合
成画像作成方法に関する。すなわち、本発明は、眼鏡を
装用していない人物像に対して眼鏡像の画像を作成し、
眼鏡装用の合成画像を表示する眼鏡装用シミユレーシヨ
ン装置における合成画像作成方法に関する。

（従来の技術） 従来、眼鏡店等で、メガネを購入する場合において、
処方とは別に所望のメガネフレームを選択するとき、そ
のフレームをかけた自分の顔の状態を知るには、直接フ
レームをかけ、鏡に反射された自分の顔を見ることによ
り行われていた。

しかし、強度の近視、乱視等の人ではメガネをはずす
とかなり近い位置でも像がぼけてしまうため、眼鏡枠の
みを装着した状態では正しく自分の顔の状態を知ること
ができなかつた。この為メガネをかけたままで、この装
着状態を知ることができるメガネ装用シミユレーシヨン
装置として、特開昭61−80222号公報に記載の装置が提
案されている。この方法は、画像合成処理技術を利用し
たもので、ビデオカメラによりメガネを外した人物像を
撮像し、該人物像の撮像信号をAD変換してデジタル信号
として画像記憶装置に取り込み、該画像記憶装置に記憶
した人物像のデータ及びメガネフレームのデータを合成
した表示信号を作成し、表示装置に該人物がメガネをか
けた状態を表示することによりメガネ合せを行うもので
ある。

当該装置においては、人物像を記憶する場合、ビデオ
カメラにより撮像した人物像を表示装置の決められた表
示位置に表示し、メガネフレームも同様に予め決められ
た表示すべき位置に人物の顔がくるようにビデオカメラ
を操作して撮像される。

これはメガネフレームの画像を作成する場合、その大
きさ、位置、角度が固定されている方が、コンピユータ
ーの能力が小さくてよいためである。従つて表示装置に
メガネフレームの位置を示す四角の枠を表示し、この四
角の枠の表示信号とビデオカメラからの撮像信号を合成
して表示しつつ、ビデオカメラを動かして、この枠にち
ようどメガネをかける顔の部分が入るようにして撮像す
るものである。これにより、メガネフレームのデータを
顔の大きさ、位置、傾きにより補正しなくてもよくな
り、またコンピユーター側の能力が小さくてもよくな
る。

さらに当該方法は、この画像記録装置にメガネフレー
ムのデータを別の記憶装置から転送して合成するもので
ある。

（発明が解決しようとする問題点） しかし、この方法においては、ビデオカメラで撮像す
る人物像はメガネを外した人物像であり、視力矯正用に
メガネを使用している人は、メガネをはずして、表示装
置を見ることになる。この場合、当人は像がぼやけて、
鮮明に注視することができないので、自分自身独自では
表示装置での顔の位置合せを行うことができない。

また比較的視力の良い人でもビデオカメラの方を向い
てまま、表示装置を見た場合ビデオカメラと表示装置は
同一位置ではないので視線の向きがビデオカメラに対し
て正面でない顔の状態で撮像されてしまう。

さらに、一般的に人間がカメラ等に対して正対し、撮
像される場合の人の顔は水平に静止しておらず多少左右
に顔を傾けたりするくせを持つているので、眼鏡合せ装
置で合成画像を表示した場合メガネフレームの大きさ、
位置（傾き）が多少ずれても違和感を生じ、実物のメガ
ネフレームをかけて場合とかなりくいちがつてしまうこ
とがあり、正確な人物像と眼鏡フレーム像との合成画像
を表示することは困難であつた。

また前述の特開昭61−80222号公報の方法は指定され
た画面の大きさに正確に人物像を表示しなければならな
いので人物を撮影するためにビデオカメラを動かし大き
さの位置合せをしなければならないため撮影者、又は撮
影位置、角度等の調整可能な遠隔操作装置を必要とす
る。

即ち、撮像した顔を表示装置画面のメガネフレーム位
置の枠に取り込むためには、その固定された表示画面の
位置に顔の大きさを一致させなければならない。

その為には、ビデオカメラ等の撮影手段を前後に移動
させたり、左右に移動させたりする等、正確で微細な調
整が必要であり、その調整作業は煩雑であり、又、調整
のための時間を要する。

本発明は、このような欠点を除去するものであり、第
１にカメラで撮像する時に被写体の正確な位置、表示画
面の水平線に対する両眼部の傾き、固定画面と撮像人物
との大きさの合せを必要とせず自然な表情の人物像を撮
像できること、および第２にメガネフレームの像の位
置、傾き、大きさを正確に人物像に合成することを可能
にするものである。

（問題点を解決するための手段） 本発明は、CPU、AD変換器、画像記憶メモリー、DA変
換器、第１の合成倍率で取込まれた眼鏡フレームデータ
メモリー、プログラムメモリー、および操作手段を有す
るコンピユーターと撮像装置と表示装置と測距手段と、
により構成され、前記コンピユーターによつて、前記第
１の合成倍率で取込まれた眼鏡フレームの撮像データと
前記撮像装置からの人物像の撮像データとの合成画像を
作成し、前記表示装置に人物が眼鏡を装着した状態を表
示する眼鏡装用シミユレーシヨン装置における合成画像
を作成方法であつて、前記撮像装置によつて前記コンピ
ユーターに取り込まれた眼鏡を装用していない人物の表
示画面における静止画像から検出した左右両眼の角膜頂
点位置座標と前記測距手段により測定された人物と撮像
装置との間の距離情報とより、前記表示画面における表
示画像の実際の人物に対する第２の合成倍率を計算し、
前記第２の合成倍率に基づき前記表示画面における眼鏡
フレーム合成位置、ならびに人物像および眼鏡フレーム
像の第３の合成倍率を計算し、人物と眼鏡フレームとの
合成画像を前記表示装置に表示させること特徴とする眼
鏡装用シミユレーシヨン装置における合成画像作成方法
を提供するものである。

（作用） 本発明の眼鏡装用シミユレーシヨン装置はCPU、AD変
換器、画像記憶メモリー、DA変換器、第１の合成倍率で
取込まれた眼鏡フレームデータメモリー、プログラムメ
モリー、および操作手段を有するコンピユーターとビデ
オカメラと表示装置とに測距手段とより構成され人物は
メガネをはずした状態でビデオカメラにより撮像され
る。従つてメガネをはずした撮像される人物はただ注視
目標を見ているだけでよく、顔の位置、傾きに注意をは
らわなくてもよい。

次に人物像の撮像信号はA/D変換器をへて画像メモリ
ーに取込まれ、D/A変換器をへて表示装置に静止画像と
して表示される。この表示画像よりＸ方向、Ｙ方向のド
ツト数により左右両眼の角膜頂点座標（X_L，Y_L）、
（X_R，Y_R）が検出される。これらのデータから左眼と右
眼の角膜頂点位置を結ぶ直線の表示装置のＸ方向（水平
方向）に対する傾きθは として求められ、両眼の傾き角度が算出される。左眼と
右眼との角膜頂点位置座標の中点（中心座標）（X₀，
Y₀）よりフレーム画像合成の回転のためのフレームの回
転中心基準を求めることができる。その中心座標は として算出される。

次に、測距手段により測定された人物とビデオカメラ
との間の距離（ｌ）とあらかじめフレームデータの取り
込み時に固定値として算出したときのフレームとカメラ
との間の距離（Ｌ）（図示せず）により人物とフレーム
との合成画像作成のための合成倍率（ｍ）は、 の式で算出される。従つて、（１）、（２）、（３）式
がプログラミングされ、プログラムメモリーに読み込ん
であるので、CPU、眼鏡フレームデータメモリー、プロ
グラムメモリーにより人物とフレームとの合成画像作成
のためのフレーム合成倍率、合成位置が算出され、フレ
ームと人物との合成画像データが作られ、D/A変換器を
へて表示装置にフレームと人物との合成画像が表示され
る。

従つて、任意の画面サイズで正しく合成ができるた
め、使用目的に応じた画面サイズで撮像できる。また、
正しい位置、大きさ、傾きで、メガネフレームを合成で
きるために実際のフレームを装用した場合との印象の差
を小さくすることができる。

（実施例） 本発明の実施例を第１図から第5B図により詳細に説明
する。第１図は、眼鏡装用シミユレーシヨン装置の構成
を説明する図であり、第２図は、人物像を表示した表示
画面を示す図であり、第３図は、基本的な眼鏡装用シミ
ユレーシヨンの方法を示すフローチヤートである。

第１図において、眼鏡装用シミユレーシヨン装置（以
下本装置という）１は人物２を撮像するビデオカメラ３
と、A/D変換器４、画像メモリー５、D/A変換器６、CPU
7、フレームデータメモリ８、プログラムメモリー９、
操作手段10からなるコンピユーター装置11と表示装置12
と測距装置13とから構成される。

ビデオカメラ３は、眼鏡を外した状態での人物を撮像
する画像入力装置として使用し、人物２を撮影する際、
顔を一定方向に向かせ、あらかじめ設定された注視目標
14を注視させる。

この場合、メガネを装用していない状態であることが
前提条件となり、前述の注視目標等の設定に関しては任
意であり通常の自然なリラツクスした状態の撮像が好ま
しい。またその他の撮像装置としてはビデオカメラの他
にスキヤナー等の使用も可能である。

次に、この撮像装置であるビデオカメラ３からの撮像
信号は画像記憶メモリー５に取り込まれさらにこの人物
像の撮像信号はA/D変換器４を経由して画像記録メモリ
５に取り込まれる。こうして画像メモリー５に取り込ま
れたデータはD/A変換器６を経由して表示装置12に静止
画像として表示される。（第２図に示す。） この画像より、操作手段10から、左右眼の角膜頂点位
置座標（X_R，Y_R），（X_L，Y_L）を検出し、これらの前記
画像での人物の画像取込情報をえて、画像メモリー５、
CPU7、フレームデータメモリー８、プログラムメモリー
９により、人物像とメガネフレームとの合成画像データ
を作成し、このデータをD/A変換器６を経由して、表示
装置12に合成画像を表示する。

これらの本実施例のビデオカメラ３、コンピユーター
装置11、表示装置12に関しては、構成及び機械装置機構
において公知のコンピユーターの画像合成システムを使
用するものであり、撮像信号のコンピユーターをへて表
示装置へ表示される迄の撮像信号のD/A変換、A/D変換あ
るいは画像表示の装置及び原理理論は周知でありこの周
知の画像処理技術を用いて実施されるので、詳細な説明
は省略する。

従つて画像記録メモリー５に取り込むデーターは、RG
Bの３色別のデータでも、NTSC等のビデオ信号でもよ
い。CPU7は演算処理を行ない、フレームデータメモリー
８には、予め一定取込み倍率で、フレームデータがビデ
オカメラにより撮像してあり、ビデオカメラの撮像信号
をA/D変換を経由してデジタル信号化して画像メモリー
に取込み、フロツピーデイスク等に数値データとしてデ
ータを読み込んでフレームデータメモリーとして必要の
都度読み出してやる。

また、このフレームの撮像データの記憶装置への読み
込み、読み出し等の処理技術に関しては公知であり、特
に本願の特徴としないものである。

眼鏡フレーム画像取込方法については、特願昭62−43
98号に示されるように、眼鏡フレームデータでは表示装
置の画素の１ドツトごとの色を読み取り、眼鏡フレーム
の背景の色はその色が表示画面の走査線方向にどのくら
い存在しているかによりそのドツトの色を読みとる。従
つて眼鏡フレームの色とその眼鏡フレームの背景の色と
が異ならなければならない。

また前記背景の色は均一である方が好ましい。この方
法によれば、鮮明な眼鏡フレーム画像を取り込むことが
できる。次に、プログラムメモリ９には人物とフレーム
の合成画像の作成（後述する）のプログラムが読み込ま
れており、必要の都度読み出される。画像記録メモリー
５の容量は人物像及び眼鏡フレーム像を表示装置12に自
然な色彩及び形状（輪郭）で表示できる容量であること
が好ましく容量が小さいと表示画像の鮮明さに劣る（本
実施例では各色８ビツトを使用）。

また、表示装置12の表示画面はドツトの集合体により
構成されているので（本実施例では、縦480ドツト、0.3
7mm/ドツト、横640ドツト、0.37mm/ドツト）、その１ド
ツトごとにコンピユータのメモリーアドレス及び色の内
容（R.G.B）が振り分けられている。

すなわち、R.G.Bの成分が個々の輝度レベルを示して
一つのベクトルとして１つの色彩を表現している。輝度
レベルのステツプはコンピユータのビツト数による。例
えばRGB各８ビツトの場合、１色につき2⁸＝256ステツプ
その３色の色組合せは、256³＝16777216通りであり、す
なわち16777216色の表現可能なシステムとなる。

操作手段10は、IPDあるいはフレームデータの型名等
の入力のためのキーボード、表示画面上の座標位置を入
力するタツチパネルにより構成される。

タツチパネルは、本実施例では、抵抗膜方式の透明タ
ツチパネルを使用する。その構成はタツチを検出するた
め、表示装置の画面に２枚のポリエステルシートに透明
な抵抗膜で出来た導線を格子状に付けてある。通常ポリ
エステルシートは離れており、指で押すと、交差する多
数の２本線のどれかが導通しこの接触点を検出する。

このタツチパネルによる位置検出方式には、容量方
式、音響方式、光学式等の方式があり、またタツチパネ
ル方式以外にも、表示画面からの入力手段には例えばラ
イトペンによる方法等があり、その入力手段において
は、本実施例以外の手段も使用でき特に限定されるもの
ではない。

次に、測距手段13は公知のものを使用でき、特に限定
されないが、例えば、第４図又は第5A図および第5B図の
測距方法が好ましい。第４図において、人顔101に対し
て、測距装置108は、受光レンズ103、受光センサー104
からなる受光装置102と投光レンズ106光源107からなる
投光装置105と、波形整形回路109、演算回路110との計
算部とにより構成されている。

投光レンズ106と光源107との間の距離を調節すること
により、投光装置105より出た照射光111は人顔101に点
状又は線状に照射され、照射された位置は、受光装置10
2にて計測することができる。即ち、人顔101上の照射さ
れた輝点の像が受光装置102の受光センサー104上にでき
るように受光レンズ106を動かすことによつて行われ
る。ここで、この受光装置102において、受光センサー1
04からの信号は、波形整形回路109に入り、波形整形さ
れ、演算回路110に入る。これにより、受光センサー104
上の光軸112からの像位置ｘに応じて測距装置108と人顔
101との距離ｌが下の式より求まる。

但し、X₀は投光レンズ106の光輪112からの距離、Z₀は
受光レンズ103と受光センサ104との間の距離、およびL₀
は、照射光111が光軸112と交わる点Ｐから受光レンズ10
3までの距離である。また受光センサーとしては、CCD,P
SD等が使用できる。

第5A図は、発音体203を収納した測距装置210の構成を
示すもので、この装置210は、原発振回路発202、発音体
203ゲート回路204、ゲートパルス発生回路205、受音セ
ンサー206波形整形回路207、位相比較回路208、演算回
路209より構成される。

ここで、第5A図において、原発振回路202からの連続
信号はゲート回路204に入り、ゲートパルス発生回路205
からのゲートパルスによりこの信号は断続的になり発音
体203に入り、断続音を発生する。

発音体203から発生した音波は人顔201に当たり、反射
して受音センサー206に入る。

受音センサー206からの信号は波形整形回路207により
波形整形され位相比較回路208に入る。

位相比較回路208は、第5B図に示すように、ゲートパ
ルス発生回路205よりのゲートパルス（ａ）と波形整形
回路207よりの信号（ｂ）を比較し位相差ｔを出力す
る。

位相差ｔは演算回路209に入り、下の式より測距装置2
10と人顔201との間の距離が求まる。

（但し、ｖは空気中の音速）、 従つて、本発明は、これらの第１図に示す構成によ
り、ビデオカメラによつてコンピユーターに取り込まれ
た眼鏡を装用していない人物の表示画面における静止画
像から検出した左右両眼の角膜頂点位置座標と、前記測
距手段により測定された人物とビデオカメラとの間の距
離情報とにより、前記表示画面における表示画像の実際
の人物に対する合成倍率を計算し、前記合成倍率に基づ
き前記表示画面における眼鏡フレーム合成位置、ならび
に人物像および眼鏡フレーム像の合成倍率を計算し、人
物と眼鏡フレームとの合成画像を表示装置に表示させる
こと特徴とする眼鏡装用シミユレーシヨン装置における
合成画像作成方法を示すものである。

以下その具体的方法を第３図のフローチヤートに基づ
き詳細に説明する。

（ステツプ１〜３） 人物２をビデオカメラ３で撮像し、静止画像として表
示画像に表示する。この人物の撮像データは、表示画面
の特定位置及び特定の大きさの撮影倍率に限定して撮像
されておらず、一定の静止した自然のリラツクスした顔
の状態で撮像してあり、このビデオカメラからの撮像信
号をコンピユーター装置を経由して表示装置に静止画像
として表示する。

ここで人物２とビデオカメラ３との間の距離（ｌ）は
測距手段により測定される。

（ステツプ４〜５） 次に、この表示画面の人物像の左眼角膜頂点位置座標
（X_L，Y_L）、右眼角膜頂点位置座標（X_R，Y_R）をタツチ
パネルによる入力手段により、コンピユータに入力す
る。

（ステツプ６〜８） ここでは、両眼の画像位置情報の検出とフレームと人
物との合成倍率の決定が行われる。即ち、両眼の画面水
平方向に対する傾き角度の検出と両眼の中心位置との検
出が行われる。そこで前記表示画面での左右両眼の位置
座標は前述に述べた入力手段から画面上のＸ方向、Ｙ方
向のドツト数により容易に求めることができるのでこれ
らのデータから左眼と右眼の角膜頂点（位置）を結ぶ直
線の表示装置のＸ方向（水平方向）に対する傾きθは として求められる。

次に、この人物の表示画像に眼鏡フレームを合成する
ために眼鏡フレーム画像も人物の表示画像と傾きを一致
させなくてはならない。この傾きは既に（１）の式にて
求められており、それは、左眼と右眼との角膜頂点位置
座標の中点（中心座標）（X₀，Y₀）を求めれば、画像合
成の回転のための回転中心基準を求めることができる。
その中心座標は となる。

ここで、測距手段により、人物とフレームとの合成画
像作成のための合成倍率（ｍ）は、あらかじめフレーム
データの取り込時のフレームとカメラとの間の距離
（Ｌ）が、固定値として算出されているので、 の式で求められる。

また、フレームデータの合成位置情報は、前述の式
（１）、（２）より求められる。従つて、これらの画像
合成方法は、プログラムミングされ、プログラムメモリ
にあるので随時、前述の角膜頂点位置座標及び測距手段
に基づいて人物とフレームとの合成画像作製のためのフ
レームの合成倍率、合成位置が（１）〜（３）の式を使
つて決定される。

（ステツプ９〜13） フレームの選択は、カタログ等の描画してあるフレー
ム、あるいは実物等によつて選択でき、これらは、あら
かじめコンピユーターにフレームデータとして登録して
あるので、その型式等の数値をキーボード等の入力操作
によりデータを読み出すことができ、さらに人物とフレ
ームとの合成画像の作成処理が行われ、表示画像に送り
出され合成画像が表示される。

そこで、好みのフレームが決定するまで、フレームデ
ータの入力操作が継続される好みのフレームの選択が行
われる。

以上が基本的なフローであるが、例えば人物像の顔色
を変化させ、日照の状態をシミユレーシヨンさせたり、
レンズの色を変えたりして、シミユレーシヨンを行うこ
とも、周知の画像合成技術を用いることにより可能であ
る。

（発明の効果） 本発明によればメガネをはずした撮像される人物はた
だ注視目標を見ているだけでよく、顔の位置、傾きに注
意をはらわなくてもよい。したがつて従来のように専従
のオペレータを必要とせず自分自身のみで操作を行う事
ができる。また任意の画面サイズで正しく合成ができる
ため、使用目的に応じた画面サイズで撮像できる。また
正しい位置、大きさ、傾きでメガネフレームを合成でき
るために実際のフレームを装用した場合との印象の差を
小さくすることができさらに、該メガネフレーム上での
アイポイント等、メガネレンズ加工に必要なデータを高
い精度で、容易に測定することができる。

【図面の簡単な説明】

第１図は、本実施例の眼鏡シミユレーシヨン装置の構成
を説明する図、第２図は本実施例の表示装置画面の部分
拡大図、第３図は、本実施例の眼鏡シミユレーシヨン装
置の操作のフローチヤートを示す図である。また第４図
および第5A図は測距法を示す模式図、ならびに第5B図は
パルス間の位相差を示す図である。 （参照符号の説明） １……眼鏡装用シミユレーシヨン装置、２……人物、３
……ビデオカメラ、11……コンピユーター装置、12……
表示装置。

Claims (1)

【特許請求の範囲】
1. 【請求項１】CPU、AD変換器、画像記憶メモリー、DA変
   換器、第１の合成倍率で取込まれた眼鏡フレームのフレ
   ームデータメモリー、プログラムメモリー、および操作
   手段を有するコンピユーターと撮像装置と表示装置と測
   距手段とにより構成され、前記コンピユーターによつ
   て、前記第１の合成倍率で取込まれた眼鏡フレームの撮
   像データと前記撮像装置からの人物像の撮像データとの
   合成画像を作成し、前記表示装置に人物が眼鏡を装着し
   た状態を表示する眼鏡装用シミユレーシヨン装置におけ
   る合成画像作成方法であつて、前記撮像装置によつて前
   記コンピユーターに取り込まれた眼鏡を装用していない
   人物の表示画面における静止画像から検出した左右両眼
   の角膜頂点位置座標と、前記測距手段により測定された
   人物と前記撮像装置との間の距離情報とにより、前記表
   示画面における表示画像の実際の人物に対する第２の合
   成倍率を計算し、前記第２の合成倍率に基づき前記表示
   画面における眼鏡フレーム合成位置、ならびに人物像お
   よび眼鏡フレーム像の第３の合成倍率を計算し、人物と
   眼鏡フレームとの合成画像を前記表示装置に表示させる
   ことを特徴とする眼鏡装用シミユレーシヨン装置におけ
   る合成画像作成方法。