[go: up one dir, main page]

JP3499608B2 - 入力座標判定装置 - Google Patents

入力座標判定装置

Info

Publication number
JP3499608B2
JP3499608B2 JP25423994A JP25423994A JP3499608B2 JP 3499608 B2 JP3499608 B2 JP 3499608B2 JP 25423994 A JP25423994 A JP 25423994A JP 25423994 A JP25423994 A JP 25423994A JP 3499608 B2 JP3499608 B2 JP 3499608B2
Authority
JP
Japan
Prior art keywords
input
image
brightness
unit
lightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25423994A
Other languages
English (en)
Other versions
JPH0896137A (ja
Inventor
義恭 角
一生 登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP25423994A priority Critical patent/JP3499608B2/ja
Publication of JPH0896137A publication Critical patent/JPH0896137A/ja
Application granted granted Critical
Publication of JP3499608B2 publication Critical patent/JP3499608B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力された画像情報
と、自動もしくは手動により入力された座標情報との重
なり具合いを検出する入力座標判定装置に関する。
【0002】
【従来の技術】従来このような処理は、例えば入力され
た座標情報の位置関係を用いて正しく入力されたかどう
かを検査したり、入力された座標における近傍画素を調
べることで検査していた。すなわち、前者では入力され
た各座標間の距離の比を計算し、これと予め登録してい
た基準データと比較したり、後者では入力された座標に
おける画像の勾配ベクトルを求め、その傾きを基準デー
タと比較するなどしていた。
【0003】
【発明が解決しようとする課題】ところで、入力された
画像情報を、入力された座標情報を用いて変形整合し、
得られる画像を出力するような画像処理において、入力
された座標情報が誤っていると、出力される画像も誤っ
たものになってしまうという問題があった。そこで、こ
のような問題を解決するために、入力された座標情報と
画像情報との整合性を検査する必要があった。
【0004】しかしながら、従来の技術では座標情報の
みで検査する場合、画像とのずれは判別できない。ま
た、近傍画素を調べる場合には、座標情報が大きくずれ
た場合などには、検査を誤ってしまう場合があった。
【0005】本発明は、このような従来の技術の課題を
考慮し、安定して入力画像と入力座標との誤差検出を行
なうことができ、入力画像を用いた画像変形等が可能と
なる入力座標判定装置を提供することを目的とするもの
である。
【0006】
【課題を解決するための手段】本発明は、画像を入力す
る画像入力部と、入力された画像を記憶する画像記憶部
と、前記画像における特定の部位の座標を入力する座標
入力部と、入力される画像の基準構造を予めパッチの集
合で記述した基準構造モデル部と、前記座標入力部で以
て入力された座標を元に前記基準構造モデルを変形整合
させる構造モデル整合部と、前記整合された構造モデル
の各パッチに対し、前記画像記憶部の画像から明度を計
算する明度計算部と、入力されるべき画像の標準的な明
度分布を記録した基準データ部と、前記明度計算部によ
り得られた各パッチ毎の明度と、前記基準データ部の各
パッチ毎の明度とを比較計算し、前記座標入力部より入
力された座標が、正しく入力されているか否かの判定を
行なう判定部とを供えた入力座標判定装置である。
【0007】
【作用】本発明によれば、座標入力部により得られる位
置情報を用いて、基準構造モデル部の構造モデルを構造
モデル整合部により変形整合させる。さらに、得られた
構造モデルの各パッチにおける明度を明度計算部により
計算する。入力された位置情報が正しければ変形整合さ
れた構造モデルは画像記憶部内の画像に正しく整合して
いるので、各パッチにおける明度分布は、入力される画
像が基準データ部に記録された同種類の画像であれば、
同じような明度分布になるはずである。
【0008】そこで、基準データ部のデータとして基準
となる同種の画像の明度分布を格納しておき、明度計算
部より得られた明度との相違を判定部において計算し、
計算結果から位置情報と入力画像との相違を検出するも
のである。
【0009】
【実施例】以下、本発明の実施例について図面を参照し
て説明する。
【0010】図1は請求項1項記載の発明の一実施例の
構成を示すブロック図である。図中、1は画像を入力す
る画像入力部、2は画像を記憶する画像記憶部、3は画
像の特定部位の座標を入力する座標入力部、4は前記入
力される画像の構造をパッチの集合で記述した基準構造
モデル部、5は前記構造モデルを前記入力された座標に
より変形整合させる構造モデル整合部、6は整合された
構造モデルを元に前記画像記憶部の画像から明度を計算
する明度計算部、7は入力されるべき画像の平均明度分
布を記録した基準データ部、8は前記明度計算部6より
得られた明度と前記基準データ部7内の明度との相違を
計算し、前記座標入力部3より入力された座標が、前記
画像入力部1より得られる画像上に正しく存在するか否
かの判定を行なう判定部である。以降、本実施例では入
力される画像として顔を例にとり、更により具体的に説
明する。
【0011】画像入力部1は具体的にはテレビカメラを
用い、カラー顔画像を取り込み、画像記憶部2に入力す
る。画像記憶部2の顔画像に対し、座標入力部3では、
マウスを使うことによって眉、目、鼻、口などの各特徴
点の位置情報を手動で入力したり、例えば既に特許出願
を行なっている(特開平5−197793号)「顔画像
特徴点抽出装置」に記載されている装置を用い、自動で
入力する。
【0012】図2に人物の顔画像に対し入力すべき座標
の一例を示す。本実施例では、入力すべき座標Pを49
個としている。たとえば、頭頂点、左右目横点、左右口
上横点等である。その際、手動、自動にかかわらず誤っ
て入力されたり、不適切に入力されることがある。
【0013】図3に基準構造モデル部4に記述されてい
る構造モデルの一例を示す。このように、構造モデルは
3角パッチの集合より構成される。より具体的には、構
造モデルは頂点データv0(x0,y0),v1(x1,y1),v2(x2,y2)
…と、それらを連結して出来る連結データp0(v0,v1,v
2),p1(v0,v2,v3)…、とから構成される。図3の構造モ
デルの場合、205個の頂点データと、380個の連結
データより構成される。それらのデータの中に、頭頂
点、左右目横点、左右口上横点等が存在する。
【0014】次に構造モデル整合部5では、座標入力部
3により得られた座標Pに合うように、構造モデルを変
形整合する。具体的には、構造モデル上の各頂点を前記
座標入力部3より得られる座標Pに対応している頂点
(頭頂点同士、左右目横点同士等)と、そうでない頂点
に分類する。対応している頂点については、得られてい
る座標Pの座標値をそのまま用いる。対応していない頂
点については、対応している頂点との位置関係を保った
まま次のように線形補間することにより、全ての頂点の
座標を更新し、入力画像に整合した構造モデルを生成す
る。この線形補間を式で表わすと、 q(x,y)…構造モデル内の補間すべき頂点 p0(x0,y0) p1(x1,y1) p2(x2,y2) ・・・構造モデル内の、下記条件を満たす
特徴点 m0:m1:m2 ・・・頂点qと特徴点p0,p1,p2の距離
の比 p0'(x0',y0') p1'(x1',y1') p2'(x2',y2') ・・・入力画像から得られる特徴点 とすると、補間によって得られる頂点q'(x',y')は、
(数1)で求められる。
【0015】
【数1】 なお、ここで言う条件とは、 ・構造モデル上において、補間すべき頂点が、特徴点3
点を結んで得られる3角形の内部にあること。 ・特徴点を結んで得られる3角形の位相が構造モデル
と、抽出された特徴点とで同じであること。 ・補間すべき頂点からの距離が近い特徴点であること。 である。図4に整合された構造モデルの一例を示す。
【0016】次に明度計算部6では、前記整合された構
造モデルの各パッチに対し、画像記憶部2の画像データ
から明度を計算する。具体的には3つの頂点で囲まれる
画素の平均明度を求めればよい。その後、基準データ部
7内の基準明度と明度計算部6により得られた次に述べ
るような明度の相違を判定部8により計算し、その差が
ある閾値Tより小さい場合、座標入力された値は、正し
く入力画像上にあると判定する。
【0017】図5に入力画像(左図)並びに、明度計算
部6により得られた明度を示し(右図)、図6に基準デ
ータ部7内の基準明度を示す。また、図7に誤った自動
抽出により得られた座標頂点(白い点)並びに入力画像
(左図)、それによって明度計算部6より得られた明度
を示す(右図)。本実施例の場合、例えば判定部8によ
り、各々の形状モデルに対し、各パッチの明度の和をあ
る値に正規化し、基準データとの差分の絶対値の和を取
ると、図5の場合だと0.80、図7の場合だと1.2
0となる。従って、ある閾値TをT=1.00と定める
事により、図7における座標入力値(白い点)は、誤っ
た座標自動抽出であったことがわかる。
【0018】本発明の請求項2記載の発明の場合、基準
データ部7内に光源方向別に例えば、正面、右、左、
上、下の5方向に光源がある場合のデータを用意してお
き、判定部8において、各々の基準データとの差分を比
較し、絶対値の和が最小のものを入力画像との距離とす
ることで、光源の変動に強い判定が可能となる。
【0019】本発明の請求項3記載の発明の場合、判定
部8において計算されるのは、構造モデルの各パッチに
おける明度をそのまま用いずに、各パッチ間の明度の差
分を用いる。明度の差分を用いることで、より照明条件
に強い判定が可能となる。
【0020】図8は本発明の請求項5記載の発明の一実
施例の構成を示すブロック図である。図中、9は顔画像
の明度を補正する明度補正部であり、明度計算部6の後
段に付加した例である。その他、前記図1と同じ機能ブ
ロックには同じ符号で示してある。前記明度補正部9で
明度補正処理を行なうには、基準構造モデル部4に各パ
ッチの法線ベクトルが得られるよう頂点データを3次元
で有しておく。明度補正部9では、明度計算部6より得
られる各パッチの明度と前記法線ベクトルとから、光源
の位置を推定する。推定には顔の皮膚領域のパッチを用
い、明度の大きい複数個のパッチの法線ベクトルの平均
を用いることにより、光源を推定することが出来る。す
なわち、明るい領域が存在する側に光源が存在すると推
定する。推定された光源と基準データ部7内の基準デー
タとの光源の位置が違う場合、どちらか一方の光源に合
うよう、明度を補正する。即ち古い光源方向の法線に近
いパッチの明度を下げて、新しい光源方向の法線に近い
パッチは明度を上げる。このような補正を行なうことに
より、幅広い照明条件下での判定が可能となる。
【0021】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。
【0022】また、基準構造モデルは3角パッチに限ら
ず、他の形状のパッチでもかまわない。
【0023】また、構造モデル整合部の行う変形整合
は、線形補間に限らず、他の方法で行うことも可能であ
る。
【0024】
【発明の効果】以上述べたところから明らかなように、
本発明の入力座標判定装置は、入力された画像並びに座
標から、その画像に整合した構造モデルを生成し、入力
された画像から明度を求め、構造モデルに明度情報を付
加する。得られた構造モデル上の明度と、基準データの
明度を比較することで、入力された画像と座標の整合性
を判断するので、照明条件が多少変動しても明度の変化
は比較的少ないので、安定して入力画像と入力座標との
誤差検出を行なうことができ、その結果、入力画像を用
いた画像変形等が可能となる。
【図面の簡単な説明】
【図1】本発明の請求項1記載の発明の一実施例の構成
を示すブロック図である。
【図2】入力されるべき特徴点Pの一例を示す図であ
る。
【図3】基準構造モデルの一例を示す図である。
【図4】入力画像に整合された構造モデルの一例を示す
図である。
【図5】入力画像並びに、明度計算部より得られた明度
を表わす図である。
【図6】基準データ部に格納されている基準データの明
度の一例を表わす図である。
【図7】入力画像並びに誤って自動抽出された特徴点、
並びにそれより得られる明度を表わす図である。
【図8】本発明の請求項5記載の発明の一実施例の構成
を示すブロック図である。
【符号の説明】
1…画像力部 2…画像記憶部 3…座標入力部 4…基準構造モデル部 5…構造モデル整合部 6…明度計算部 7…基準データ部 8…判定部 9…明度補正部
フロントページの続き (56)参考文献 特開 平3−158997(JP,A) 特開 平4−306782(JP,A) 特開 平6−259532(JP,A) 秋本高明 外1名,”正面像と側面像 に基づく頭部三次元モデルの生成”,N TT R&D,社団法人電気通信協会, 1993年 4月10日,第42巻,第4号, p.455−464 長谷川浩史 外1名,”パターンマッ チングを用いた顔画像照合の−検討”, テレビジョン学会技術報告,社団法人テ レビジョン学会,1992年 7月23日,第 16巻,第47号,p.49−56 (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 G06B 11/00 G06T 11/80 CSDB(日本国特許庁)

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像を入力する画像入力部と、入力され
    た画像を記憶する画像記憶部と、前記画像における特定
    の部位の座標を入力する座標入力部と、入力される画像
    の基準構造を予めパッチの集合で記述した基準構造モデ
    ル部と、前記座標入力部で以て入力された座標を元に前
    記基準構造モデルを変形整合させる構造モデル整合部
    と、前記整合された構造モデルの各パッチに対し、前記
    画像記憶部の画像から明度を計算する明度計算部と、入
    力されるべき画像の標準的な明度分布を記録した基準デ
    ータ部と、前記明度計算部により得られた各パッチ毎の
    明度と、前記基準データ部の各パッチ毎の明度とを比較
    計算し、前記座標入力部より入力された座標が、正しく
    入力されているか否かの判定を行なう判定部とを供えた
    ことを特徴とする入力座標判定装置。
  2. 【請求項2】 基準データ部は、入力されるべき画像に
    対し、光源方向別に複数の標準明度分布データを記録し
    ていることを特徴とする請求項1記載の入力座標判定装
    置。
  3. 【請求項3】 判定部において計算されるのは、前記明
    度計算部により得られた各パッチ間における明度の差分
    値と、前記基準データ部の各パッチ間における明度の差
    分値の相違であることを特徴とする請求項1記載の入力
    座標判定装置。
  4. 【請求項4】 判定部において計算されるのは、前記明
    度計算部により得られた各パッチ間における明度の差分
    値と、前記基準データ部のにおける複数のデータの各パ
    ッチ間における明度の差分値の相違であることを特徴と
    する請求項2記載の入力座標判定装置。
  5. 【請求項5】 基準構造モデル部は前記情報を3次元の
    態様で有し、明度補正部が、前記明度計算部より得られ
    る各パッチ毎の明度と、前記3次元情報を元に、各パッ
    チにおける平均明度を補正することを特徴とする請求項
    1、又は3記載の入力座標判定装置。
JP25423994A 1994-09-22 1994-09-22 入力座標判定装置 Expired - Fee Related JP3499608B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25423994A JP3499608B2 (ja) 1994-09-22 1994-09-22 入力座標判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25423994A JP3499608B2 (ja) 1994-09-22 1994-09-22 入力座標判定装置

Publications (2)

Publication Number Publication Date
JPH0896137A JPH0896137A (ja) 1996-04-12
JP3499608B2 true JP3499608B2 (ja) 2004-02-23

Family

ID=17262212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25423994A Expired - Fee Related JP3499608B2 (ja) 1994-09-22 1994-09-22 入力座標判定装置

Country Status (1)

Country Link
JP (1) JP3499608B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283216A (ja) 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2009273116A (ja) * 2008-04-07 2009-11-19 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
JP2018124990A (ja) * 2017-01-31 2018-08-09 キヤノン株式会社 モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
秋本高明 外1名,"正面像と側面像に基づく頭部三次元モデルの生成",NTT R&D,社団法人電気通信協会,1993年 4月10日,第42巻,第4号,p.455−464
長谷川浩史 外1名,"パターンマッチングを用いた顔画像照合の−検討",テレビジョン学会技術報告,社団法人テレビジョン学会,1992年 7月23日,第16巻,第47号,p.49−56

Also Published As

Publication number Publication date
JPH0896137A (ja) 1996-04-12

Similar Documents

Publication Publication Date Title
EP1677250B9 (en) Image collation system and image collation method
US5995639A (en) Apparatus for identifying person
US6774889B1 (en) System and method for transforming an ordinary computer monitor screen into a touch screen
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
US6714689B1 (en) Image synthesizing method
CN101807299B (zh) 变更脸图像的规定的纹理特征量的图像处理
EP1742169B1 (en) Tracking apparatus
US10452938B2 (en) System and method for pattern detection and camera calibration
US9049397B2 (en) Image processing device and image processing method
US20110043610A1 (en) Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US20120002841A1 (en) Information processing apparatus, three-dimensional position calculation method, and program
JPH1186033A (ja) ワイヤフレームトポロジーへの顔面イメージの自動マッピング
JPWO2010122721A1 (ja) 照合装置、照合方法および照合プログラム
JPH09171560A (ja) 顔の傾き検出装置
JP6942566B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP3499608B2 (ja) 入力座標判定装置
CN113674139B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
US20120038785A1 (en) Method for producing high resolution image
JPH06168317A (ja) 個人識別装置
JP2007219899A (ja) 個人識別装置、個人識別方法および個人識別プログラム
CN114792288A (zh) 一种曲面屏图像的灰度校正方法及相关装置
JPH1145349A (ja) ワイヤーフレームモデル整合装置及び方法と記録媒体
JP2006227739A (ja) 画像処理装置及び画像処理方法
JPH06281421A (ja) 画像処理方法
JP2006072829A (ja) 画像認識システム及び画像認識方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees