JP3499608B2 - 入力座標判定装置 - Google Patents
入力座標判定装置Info
- Publication number
- JP3499608B2 JP3499608B2 JP25423994A JP25423994A JP3499608B2 JP 3499608 B2 JP3499608 B2 JP 3499608B2 JP 25423994 A JP25423994 A JP 25423994A JP 25423994 A JP25423994 A JP 25423994A JP 3499608 B2 JP3499608 B2 JP 3499608B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- image
- brightness
- unit
- lightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
と、自動もしくは手動により入力された座標情報との重
なり具合いを検出する入力座標判定装置に関する。
た座標情報の位置関係を用いて正しく入力されたかどう
かを検査したり、入力された座標における近傍画素を調
べることで検査していた。すなわち、前者では入力され
た各座標間の距離の比を計算し、これと予め登録してい
た基準データと比較したり、後者では入力された座標に
おける画像の勾配ベクトルを求め、その傾きを基準デー
タと比較するなどしていた。
画像情報を、入力された座標情報を用いて変形整合し、
得られる画像を出力するような画像処理において、入力
された座標情報が誤っていると、出力される画像も誤っ
たものになってしまうという問題があった。そこで、こ
のような問題を解決するために、入力された座標情報と
画像情報との整合性を検査する必要があった。
みで検査する場合、画像とのずれは判別できない。ま
た、近傍画素を調べる場合には、座標情報が大きくずれ
た場合などには、検査を誤ってしまう場合があった。
考慮し、安定して入力画像と入力座標との誤差検出を行
なうことができ、入力画像を用いた画像変形等が可能と
なる入力座標判定装置を提供することを目的とするもの
である。
る画像入力部と、入力された画像を記憶する画像記憶部
と、前記画像における特定の部位の座標を入力する座標
入力部と、入力される画像の基準構造を予めパッチの集
合で記述した基準構造モデル部と、前記座標入力部で以
て入力された座標を元に前記基準構造モデルを変形整合
させる構造モデル整合部と、前記整合された構造モデル
の各パッチに対し、前記画像記憶部の画像から明度を計
算する明度計算部と、入力されるべき画像の標準的な明
度分布を記録した基準データ部と、前記明度計算部によ
り得られた各パッチ毎の明度と、前記基準データ部の各
パッチ毎の明度とを比較計算し、前記座標入力部より入
力された座標が、正しく入力されているか否かの判定を
行なう判定部とを供えた入力座標判定装置である。
置情報を用いて、基準構造モデル部の構造モデルを構造
モデル整合部により変形整合させる。さらに、得られた
構造モデルの各パッチにおける明度を明度計算部により
計算する。入力された位置情報が正しければ変形整合さ
れた構造モデルは画像記憶部内の画像に正しく整合して
いるので、各パッチにおける明度分布は、入力される画
像が基準データ部に記録された同種類の画像であれば、
同じような明度分布になるはずである。
となる同種の画像の明度分布を格納しておき、明度計算
部より得られた明度との相違を判定部において計算し、
計算結果から位置情報と入力画像との相違を検出するも
のである。
て説明する。
構成を示すブロック図である。図中、1は画像を入力す
る画像入力部、2は画像を記憶する画像記憶部、3は画
像の特定部位の座標を入力する座標入力部、4は前記入
力される画像の構造をパッチの集合で記述した基準構造
モデル部、5は前記構造モデルを前記入力された座標に
より変形整合させる構造モデル整合部、6は整合された
構造モデルを元に前記画像記憶部の画像から明度を計算
する明度計算部、7は入力されるべき画像の平均明度分
布を記録した基準データ部、8は前記明度計算部6より
得られた明度と前記基準データ部7内の明度との相違を
計算し、前記座標入力部3より入力された座標が、前記
画像入力部1より得られる画像上に正しく存在するか否
かの判定を行なう判定部である。以降、本実施例では入
力される画像として顔を例にとり、更により具体的に説
明する。
用い、カラー顔画像を取り込み、画像記憶部2に入力す
る。画像記憶部2の顔画像に対し、座標入力部3では、
マウスを使うことによって眉、目、鼻、口などの各特徴
点の位置情報を手動で入力したり、例えば既に特許出願
を行なっている(特開平5−197793号)「顔画像
特徴点抽出装置」に記載されている装置を用い、自動で
入力する。
の一例を示す。本実施例では、入力すべき座標Pを49
個としている。たとえば、頭頂点、左右目横点、左右口
上横点等である。その際、手動、自動にかかわらず誤っ
て入力されたり、不適切に入力されることがある。
る構造モデルの一例を示す。このように、構造モデルは
3角パッチの集合より構成される。より具体的には、構
造モデルは頂点データv0(x0,y0),v1(x1,y1),v2(x2,y2)
…と、それらを連結して出来る連結データp0(v0,v1,v
2),p1(v0,v2,v3)…、とから構成される。図3の構造モ
デルの場合、205個の頂点データと、380個の連結
データより構成される。それらのデータの中に、頭頂
点、左右目横点、左右口上横点等が存在する。
3により得られた座標Pに合うように、構造モデルを変
形整合する。具体的には、構造モデル上の各頂点を前記
座標入力部3より得られる座標Pに対応している頂点
(頭頂点同士、左右目横点同士等)と、そうでない頂点
に分類する。対応している頂点については、得られてい
る座標Pの座標値をそのまま用いる。対応していない頂
点については、対応している頂点との位置関係を保った
まま次のように線形補間することにより、全ての頂点の
座標を更新し、入力画像に整合した構造モデルを生成す
る。この線形補間を式で表わすと、 q(x,y)…構造モデル内の補間すべき頂点 p0(x0,y0) p1(x1,y1) p2(x2,y2) ・・・構造モデル内の、下記条件を満たす
特徴点 m0:m1:m2 ・・・頂点qと特徴点p0,p1,p2の距離
の比 p0'(x0',y0') p1'(x1',y1') p2'(x2',y2') ・・・入力画像から得られる特徴点 とすると、補間によって得られる頂点q'(x',y')は、
(数1)で求められる。
点を結んで得られる3角形の内部にあること。 ・特徴点を結んで得られる3角形の位相が構造モデル
と、抽出された特徴点とで同じであること。 ・補間すべき頂点からの距離が近い特徴点であること。 である。図4に整合された構造モデルの一例を示す。
造モデルの各パッチに対し、画像記憶部2の画像データ
から明度を計算する。具体的には3つの頂点で囲まれる
画素の平均明度を求めればよい。その後、基準データ部
7内の基準明度と明度計算部6により得られた次に述べ
るような明度の相違を判定部8により計算し、その差が
ある閾値Tより小さい場合、座標入力された値は、正し
く入力画像上にあると判定する。
部6により得られた明度を示し(右図)、図6に基準デ
ータ部7内の基準明度を示す。また、図7に誤った自動
抽出により得られた座標頂点(白い点)並びに入力画像
(左図)、それによって明度計算部6より得られた明度
を示す(右図)。本実施例の場合、例えば判定部8によ
り、各々の形状モデルに対し、各パッチの明度の和をあ
る値に正規化し、基準データとの差分の絶対値の和を取
ると、図5の場合だと0.80、図7の場合だと1.2
0となる。従って、ある閾値TをT=1.00と定める
事により、図7における座標入力値(白い点)は、誤っ
た座標自動抽出であったことがわかる。
データ部7内に光源方向別に例えば、正面、右、左、
上、下の5方向に光源がある場合のデータを用意してお
き、判定部8において、各々の基準データとの差分を比
較し、絶対値の和が最小のものを入力画像との距離とす
ることで、光源の変動に強い判定が可能となる。
部8において計算されるのは、構造モデルの各パッチに
おける明度をそのまま用いずに、各パッチ間の明度の差
分を用いる。明度の差分を用いることで、より照明条件
に強い判定が可能となる。
施例の構成を示すブロック図である。図中、9は顔画像
の明度を補正する明度補正部であり、明度計算部6の後
段に付加した例である。その他、前記図1と同じ機能ブ
ロックには同じ符号で示してある。前記明度補正部9で
明度補正処理を行なうには、基準構造モデル部4に各パ
ッチの法線ベクトルが得られるよう頂点データを3次元
で有しておく。明度補正部9では、明度計算部6より得
られる各パッチの明度と前記法線ベクトルとから、光源
の位置を推定する。推定には顔の皮膚領域のパッチを用
い、明度の大きい複数個のパッチの法線ベクトルの平均
を用いることにより、光源を推定することが出来る。す
なわち、明るい領域が存在する側に光源が存在すると推
定する。推定された光源と基準データ部7内の基準デー
タとの光源の位置が違う場合、どちらか一方の光源に合
うよう、明度を補正する。即ち古い光源方向の法線に近
いパッチの明度を下げて、新しい光源方向の法線に近い
パッチは明度を上げる。このような補正を行なうことに
より、幅広い照明条件下での判定が可能となる。
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。
ず、他の形状のパッチでもかまわない。
は、線形補間に限らず、他の方法で行うことも可能であ
る。
本発明の入力座標判定装置は、入力された画像並びに座
標から、その画像に整合した構造モデルを生成し、入力
された画像から明度を求め、構造モデルに明度情報を付
加する。得られた構造モデル上の明度と、基準データの
明度を比較することで、入力された画像と座標の整合性
を判断するので、照明条件が多少変動しても明度の変化
は比較的少ないので、安定して入力画像と入力座標との
誤差検出を行なうことができ、その結果、入力画像を用
いた画像変形等が可能となる。
を示すブロック図である。
る。
図である。
を表わす図である。
度の一例を表わす図である。
並びにそれより得られる明度を表わす図である。
を示すブロック図である。
Claims (5)
- 【請求項1】 画像を入力する画像入力部と、入力され
た画像を記憶する画像記憶部と、前記画像における特定
の部位の座標を入力する座標入力部と、入力される画像
の基準構造を予めパッチの集合で記述した基準構造モデ
ル部と、前記座標入力部で以て入力された座標を元に前
記基準構造モデルを変形整合させる構造モデル整合部
と、前記整合された構造モデルの各パッチに対し、前記
画像記憶部の画像から明度を計算する明度計算部と、入
力されるべき画像の標準的な明度分布を記録した基準デ
ータ部と、前記明度計算部により得られた各パッチ毎の
明度と、前記基準データ部の各パッチ毎の明度とを比較
計算し、前記座標入力部より入力された座標が、正しく
入力されているか否かの判定を行なう判定部とを供えた
ことを特徴とする入力座標判定装置。 - 【請求項2】 基準データ部は、入力されるべき画像に
対し、光源方向別に複数の標準明度分布データを記録し
ていることを特徴とする請求項1記載の入力座標判定装
置。 - 【請求項3】 判定部において計算されるのは、前記明
度計算部により得られた各パッチ間における明度の差分
値と、前記基準データ部の各パッチ間における明度の差
分値の相違であることを特徴とする請求項1記載の入力
座標判定装置。 - 【請求項4】 判定部において計算されるのは、前記明
度計算部により得られた各パッチ間における明度の差分
値と、前記基準データ部のにおける複数のデータの各パ
ッチ間における明度の差分値の相違であることを特徴と
する請求項2記載の入力座標判定装置。 - 【請求項5】 基準構造モデル部は前記情報を3次元の
態様で有し、明度補正部が、前記明度計算部より得られ
る各パッチ毎の明度と、前記3次元情報を元に、各パッ
チにおける平均明度を補正することを特徴とする請求項
1、又は3記載の入力座標判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25423994A JP3499608B2 (ja) | 1994-09-22 | 1994-09-22 | 入力座標判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25423994A JP3499608B2 (ja) | 1994-09-22 | 1994-09-22 | 入力座標判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0896137A JPH0896137A (ja) | 1996-04-12 |
JP3499608B2 true JP3499608B2 (ja) | 2004-02-23 |
Family
ID=17262212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25423994A Expired - Fee Related JP3499608B2 (ja) | 1994-09-22 | 1994-09-22 | 入力座標判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3499608B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283216A (ja) | 2000-04-03 | 2001-10-12 | Nec Corp | 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体 |
JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
US9536345B2 (en) * | 2012-12-26 | 2017-01-03 | Intel Corporation | Apparatus for enhancement of 3-D images using depth mapping and light source synthesis |
JP2018124990A (ja) * | 2017-01-31 | 2018-08-09 | キヤノン株式会社 | モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム |
-
1994
- 1994-09-22 JP JP25423994A patent/JP3499608B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
秋本高明 外1名,"正面像と側面像に基づく頭部三次元モデルの生成",NTT R&D,社団法人電気通信協会,1993年 4月10日,第42巻,第4号,p.455−464 |
長谷川浩史 外1名,"パターンマッチングを用いた顔画像照合の−検討",テレビジョン学会技術報告,社団法人テレビジョン学会,1992年 7月23日,第16巻,第47号,p.49−56 |
Also Published As
Publication number | Publication date |
---|---|
JPH0896137A (ja) | 1996-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1677250B9 (en) | Image collation system and image collation method | |
US5995639A (en) | Apparatus for identifying person | |
US6774889B1 (en) | System and method for transforming an ordinary computer monitor screen into a touch screen | |
US9141873B2 (en) | Apparatus for measuring three-dimensional position, method thereof, and program | |
US6714689B1 (en) | Image synthesizing method | |
CN101807299B (zh) | 变更脸图像的规定的纹理特征量的图像处理 | |
EP1742169B1 (en) | Tracking apparatus | |
US10452938B2 (en) | System and method for pattern detection and camera calibration | |
US9049397B2 (en) | Image processing device and image processing method | |
US20110043610A1 (en) | Three-dimensional face capturing apparatus and method and computer-readable medium thereof | |
US20120002841A1 (en) | Information processing apparatus, three-dimensional position calculation method, and program | |
JPH1186033A (ja) | ワイヤフレームトポロジーへの顔面イメージの自動マッピング | |
JPWO2010122721A1 (ja) | 照合装置、照合方法および照合プログラム | |
JPH09171560A (ja) | 顔の傾き検出装置 | |
JP6942566B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP3499608B2 (ja) | 入力座標判定装置 | |
CN113674139B (zh) | 人脸图像的处理方法、装置、电子设备及存储介质 | |
US20120038785A1 (en) | Method for producing high resolution image | |
JPH06168317A (ja) | 個人識別装置 | |
JP2007219899A (ja) | 個人識別装置、個人識別方法および個人識別プログラム | |
CN114792288A (zh) | 一种曲面屏图像的灰度校正方法及相关装置 | |
JPH1145349A (ja) | ワイヤーフレームモデル整合装置及び方法と記録媒体 | |
JP2006227739A (ja) | 画像処理装置及び画像処理方法 | |
JPH06281421A (ja) | 画像処理方法 | |
JP2006072829A (ja) | 画像認識システム及び画像認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081205 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091205 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091205 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |