JPH09171560A

JPH09171560A - 顔の傾き検出装置

Info

Publication number: JPH09171560A
Application number: JP7349152A
Authority: JP
Inventors: Kenji Okano; 健治岡野
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1995-12-20
Filing date: 1995-12-20
Publication date: 1997-06-30

Abstract

(57)【要約】【課題】目を閉じている場合等でも顔の傾きを補正す
ることが可能な装置を実現する。【解決手段】画像回転手段４は、回転角度指定手段３
で指定された角度で顔の画像データを回転する。回転画
像記憶手段５は画像回転手段４で回転された顔の画像デ
ータを記憶する。中心線算出手段６は、回転画像記憶手
段５に記憶された回転画像より、顔の対称性に基づいて
その中心線を算出し、その時の中心線らしさの度合を出
力する。傾き決定手段７は、回転角度指定手段３が指定
したそれぞれの角度に対して、中心線算出手段６が出力
した中心線らしさの度合を監視し、最も中心線らしさの
度合の高い角度を検出して顔の傾きを決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔の画像認識を行
って顔の傾きを検出する顔の傾き検出装置に関する。

【０００２】

【従来の技術】顔をビデオカメラ等で撮影し、撮影した
顔画像を用いて個人識別を行ったり、唇の動きを抽出し
て機械読唇を行うなどの試みがなされている。

【０００３】例えば顔の正面画像を用いて個人識別を行
う場合、先ず、識別したい人物の顔の画像と、その人物
名を予め辞書に登録しておく。認識を行う場合は、入力
された画像から顔の領域を見つけて顔画像を作成し、こ
の顔画像が辞書の中に存在するかをマッチングにより見
つける。もし存在した場合は辞書の人物名を結果として
出力する。

【０００４】しかしながら、顔画像を撮影する時に被写
体となる人に何の条件も与えない場合には、人によって
は顔が傾いてしまう場合がある。このように顔が傾いて
しまった場合、マッチング処理等において識別を失敗し
てしまう場合があった。この問題を解決するために、例
えば、「横顔と正面顔画像の統合による人物の同定」信
学技報、IE93-76(1993-11)に記載されているように、マ
ッチング処理の前処理において、両目の中心を求めてそ
れぞれの位置が水平になるように画像を回転している。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の技術では、まばたき等により目が閉じている場合
や、サングラスをかけている場合は目の中心を検出する
ことができず、従って、画像の回転処理が行えない場合
があった。

【０００６】このような点から、目を閉じている場合
や、サングラス等をかけて両目が隠れている場合でも顔
の傾きを補正することが可能な顔の傾き検出装置を実現
することが望まれていた。

【０００７】

【課題を解決するための手段】本発明は、前述の課題を
解決するため次の構成を採用する。〈請求項１の構成〉顔画像の画像データを出力する画像
入力装置と、画像入力装置で出力された顔の画像データ
を記憶する画像記憶手段と、予め決められた範囲で角度
を変化させてその値を出力する回転角度指定手段と、回
転角度指定手段が出力した角度に基づいて、画像記憶手
段に記憶された画像データを回転する画像回転手段と、
画像回転手段が出力した画像を記憶する回転画像記憶手
段と、回転画像記憶手段に記憶された回転画像より顔の
中心線を決定し、その時の中心線らしさの度合を出力す
る中心線算出手段と、回転角度指定手段が指定したそれ
ぞれの角度に対して、中心線算出手段が出力した中心線
らしさの度合を監視し、最も中心線らしさの度合の高い
角度を検出することにより顔の傾きを決定する傾き決定
手段を設けたことを特徴とするものである。

【０００８】〈請求項２の構成〉請求項１の発明におけ
る中心線算出手段が、顔の左右の対称性に基づいて中心
線を決定することを特徴とするものである。

【０００９】〈請求項１、２の説明〉請求項１、２の発
明は、入力された顔画像をある角度の範囲で回転させ
て、それぞれの画像について顔の中心線を求め、最も中
心線である可能性が高い場合の角度を顔の傾きとして決
定するようにしたことを特徴としている。

【００１０】このような処理を行うため、先ず、顔の画
像データを画像記憶手段で記憶し、この画像データを画
像回転手段で回転する。この時、回転角度は、回転角度
指定手段で指定される。そして、画像回転手段で回転し
た回転画像は回転画像記憶手段で記憶しておく。中心線
算出手段は、回転画像記憶手段に記憶された回転画像か
ら顔の中心線を決定し、その時の中心線らしさの度合を
出力する。傾き決定手段は、回転角度指定手段が指定し
たそれぞれの角度に対して、中心線算出手段が出力した
中心線らしさの度合を監視し、最も中心線らしさの度合
の高い角度を検出する。即ち、最も中心線の可能性の高
い角度を求める。そして、その角度を顔の傾きとして決
定する。

【００１１】また、請求項２の発明における顔の中心線
の算出方法として、例えば、顔の画像データに対してＸ
＝ａという直線を設定し、この直線に対して線対称な画
素同士の画素値の距離を求め、その距離の総和（dist）
をＸ＝ａにおける対称性の目安とする。そして、このよ
うな処理をある領域で行ってdistの最小値distmin を求
め、この時のＸを中心線として出力する。また、distの
最小値distmin を中心線らしさの度合として出力する。

【００１２】従って、顔画像のマッチング処理等を行っ
て顔の傾きを検出するのに比較して、目が閉じている場
合やサングラスをかけている場合であっても顔の傾きを
検出することができる。

【００１３】

【発明の実施の形態】本発明の顔の傾き検出装置は、入
力された顔画像をある角度の範囲で回転させて、それぞ
れの画像について顔の中心線を求め、最も中心線である
可能性が高い場合の角度を顔の傾きとして決定するよう
にしたことを特徴としている。

【００１４】以下、本発明の実施の形態を図面を用いて
詳細に説明する。図１は本発明の顔の傾き検出装置の具
体例を示す構成図である。図示のように、具体例の装置
は、画像入力装置１、画像記憶手段２、回転角度指定手
段３、画像回転手段４、回転画像記憶手段５、中心線算
出手段６、傾き決定手段７、出力端子８から構成され
る。

【００１５】以下、上記各構成要素の機能および動作を
順を追って詳細に説明する。尚、本具体例では処理の対
象をカラー画像として説明する。

【００１６】画像入力装置１は、顔画像を入力し、Ａ／
Ｄ変換を行ってディジタル画像データを出力する機能を
有し、顔の画像を入力するために使用する。この装置は
ビデオカメラやＶＴＲ等とＡ／Ｄ変換器より構成され
る。尚、通信回線等を介して顔の画像データを入力する
構成であってもよい。画像入力装置１は、ある一定の周
期で入力画像信号をＡ／Ｄ変換する。ここで、入力画像
の幅と高さをＷ、Ｈとする。画像入力装置１は、入力さ
れた画像の（Ｘ，Ｙ）の位置のアナログ値を（ただし、
画像の左上を（０，０）、右下を（Ｗ，Ｈ）とする）Ａ
／Ｄ変換し、赤、緑、青、３つのデジタル値を出力す
る。この出力値をそれぞれ、Ｒ（Ｘ，Ｙ）、Ｇ（Ｘ，
Ｙ）、Ｂ（Ｘ，Ｙ）とする。ただし、Ｒ、Ｇ、Ｂは０以
上２５５以下の値をとる。そして、これらの出力値は画
像記憶手段２に出力される。

【００１７】画像記憶手段２は、画像入力装置１が出力
した赤、緑、青の値、Ｒ（Ｘ，Ｙ）、Ｇ（Ｘ，Ｙ）、Ｂ
（Ｘ，Ｙ）を記憶する機能を有している。画像記憶手段
２は半導体メモリやディスク等の補助記憶装置などから
構成される。

【００１８】画像記憶手段２に記憶されたＲ、Ｇ、Ｂの
値は座標（Ｘ，Ｙ）を指定することで呼び出すことがで
きる。画像記憶手段２で記憶されたＲ、Ｇ、Ｂの値は、
画像回転手段４で使用される。回転角度指定手段３は、
画像記憶手段２に画像が入力されると、角度をある範囲
で変化させて、その角度をその都度、画像回転手段４お
よび傾き決定手段７に出力する機能を有している。ここ
で、角度変化の幅をＳＨとすると、出力される角度Ｓを
以下の範囲で変化させる。 −ＳＨ≦Ｓ≦ＳＨ

【００１９】実際の処理の手順を以下に示す。ただし、
ＳＴは出力する角度の刻み幅である。１．Ｓ＝−ＳＨ２．Ｓを出力する。３．Ｓ＝Ｓ＋ＳＴ４．もし、Ｓ＞ＳＨならば処理を終了し、条件を満たさ
ない場合は２．へ戻る。尚、上記の角度変化の幅ＳＨ、および刻み幅ＳＴは被写
体や撮影条件などにより適宜決定する。

【００２０】画像回転手段４は、回転角度指定手段３で
指定された角度Ｓに従って画像記憶手段２に記憶されて
いる入力画像を回転する機能を有している。

【００２１】図２は、画像回転手段４の回転動作の説明
図である。図中、幅Ｗ、高さＨで表される矩形が入力画
像であり、この入力画像を角度Ｓだけ時計回りに回転さ
せた矩形が、入力画像を角度Ｓだけ回転させた画像であ
る。また、図中、黒塗りで表した部分が、回転させたこ
とにより入力画像から消滅する領域である。

【００２２】図３に、画像回転手段４の動作フローチャ
ートを示す。先ず、、ステップ１０１において、画像を
回転する時の中心座標（Ｘ０，Ｙ０）を計算する。即
ち、Ｘ０＝（Ｗ÷２）、Ｙ０＝（Ｈ÷２）（ただし、小
数点以下は切り捨てる）である。

【００２３】以下のステップ１０２〜１１２までの処理
は、Ｙを０からＨまで変化させ、それぞれのＹについ
て、Ｘを０からＷまで変化させて処理を行う。ここで、
座標（Ｘ，Ｙ）は回転後の画像における座標値である。

【００２４】ステップ１０２において、Ｙ座標を初期化
（Ｙ＝０）し、ステップ１０３において、Ｘ座標を初期
化（Ｘ＝０）する。次のステップ１０４では、座標
（Ｘ，Ｙ）が、回転前の画像においてどの座標に位置し
ていたかを求める。回転前の座標（ＤＸ，ＤＹ）は、ス
テップ１０４の式に示すように、座標（Ｘ０，Ｙ０）を
中心に角度（−ＳＨ）だけ、座標（Ｘ，Ｙ）を回転処理
することにより求めることができる。

【００２５】次に、上記ステップ１０４の式により求ま
った座標（ＤＸ，ＤＹ）が入力画像からはみ出す場合が
あるので、ステップ１０５、１０６によりはみ出してい
るかどうかを判定する。即ち、ステップ１０５において
Ｘ座標、ステップ１０６においてＹ座標をチェックす
る。

【００２６】次に、上記ステップ１０５、１０６におい
て、範囲内にあると判定された場合には、ステップ１０
７により、入力画像中の座標（ＤＸ，ＤＹ）の赤、緑、
青成分の値（Ｒ、Ｇ、Ｂ）を、回転画像中の座標（Ｄ
Ｘ，ＤＹ）の赤、緑、青成分の値（ＤＲ、ＤＧ、ＤＢ）
に代入する。ここで、回転後の画像の赤、緑、青成分の
値は、ＤＲ（Ｘ，Ｙ）、ＤＧ（Ｘ，Ｙ）、ＤＢ（Ｘ，
Ｙ）という配列に代入される。一方、ステップ１０５、
１０６において、範囲外だと判定された場合には、ステ
ップ１０８に移行し、ＤＲ、ＤＧ、ＤＢには０を代入す
る。即ち、この場合は、図２における回転することによ
り消滅した領域であり、この領域は、黒色（赤、緑、青
成分の値が３つとも０）にする。

【００２７】ステップ１０９では、Ｘが幅Ｗになったか
を判定し、もしＸがＷ未満の場合にはステップ１１０に
進んで、Ｘに１を加算し、ステップ１０４に戻って上記
の処理を繰り返す。そして、ＸがＷになった場合は次の
ステップ１１１に処理を移す。

【００２８】ステップ１１１では、Ｙが高さＨになった
かを判定する。もし、ＹがＨ未満の場合にはステップ１
１２に進んで、Ｙに１を加算し、ステップ１０３に戻
る。そして、ＹがＨになった場合には、本処理を終了す
る。

【００２９】このように、画像回転手段４で回転された
画像の座標の赤、緑、青の値はＤＲ（Ｘ，Ｙ）、ＤＧ
（Ｘ，Ｙ）、ＤＢ（Ｘ，Ｙ）に代入される。そして、画
像回転手段４で出力されたＤＲ、ＤＧ、ＤＢは回転画像
記憶手段５に出力される。

【００３０】回転画像記憶手段５は、画像回転手段４が
出力した赤、緑、青の値、ＤＲ（Ｘ，Ｙ）、ＤＧ（Ｘ，
Ｙ）、ＤＢ（Ｘ，Ｙ）を記憶する。画像回転手段４は半
導体メモリやディスク等の補助記憶装置などから構成さ
れる。

【００３１】これらのＤＲ、ＤＧ、ＤＢの値は、座標
（Ｘ，Ｙ）を指定することで呼び出される。画像回転手
段４で記憶されたＤＲ、ＤＧ、ＤＢの値は、中心線算出
手段６で使用される。

【００３２】次に、中心線算出手段６について説明す
る。中心線算出手段６は、回転画像記憶手段５に記憶さ
れた画像データに基づいて、顔の中心線を算出する機能
を有している。中心線算出処理では、回転画像記憶手段
５に記憶された画像データの中で最も左右の対称性が高
いＸ座標を求める。また、その時の対称性を表す値(dis
t)も結果として出力する。

【００３３】図４に中心線算出手段６の動作フローチャ
ートを示す。先ず、本処理では画像の回転処理により影
響を受けない領域を使用するため、ステップ２０１にお
いて、その画像の範囲を決定する。

【００３４】図５は、中心線算出手段６で使用する領域
の説明図である。ステップ２０１において、中心線算出
処理で使用する画像の範囲を決定する。先ず、（Ｘ０，
Ｙ０）は画像を回転するための中心座標で、それぞれ幅
Ｗ、高さＨの２分の１にする。また、座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）は中心線算出処理で使用する領域
の左上の座標および右下の座標である。ここで、これら
の座標は次のような値である。即ち、Ｘ１は、座標
（０，０）を座標（Ｘ０，Ｙ０）を中心に角度（ＳＨ）
だけ回転して得られた座標のｘ座標の値である。また、
Ｙ１は、座標（０，０）を座標（Ｘ０，Ｙ０）を中心に
角度（−ＳＨ）だけ回転して得られた座標のｙ座標の値
である。更に、Ｘ２は、座標（Ｗ，Ｈ）を座標（Ｘ０，
Ｙ０）を中心に角度（ＳＨ）だけ回転して得られた座標
のｘ座標の値、Ｙ２は座標（Ｗ，Ｈ）を座標（Ｘ０，Ｙ
０）を中心に角度（−ＳＨ）だけ回転して得られた座標
のｙ座標の値である。

【００３５】このように、中心線算出処理で使用する画
像の範囲は、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）を対角線
にもつ矩形領域である。そして、以下で説明する処理で
も、この矩形領域のみを処理の対称とする。

【００３６】図６に、中心線算出処理の説明図を示す。
図６の太線で示すように、中心線算出処理とは、入力画
像に対して、Ｘ＝a という直線を設定し、この直線を中
心にして幅（ＣＨ×２）の矩形を考える。この矩形内
で、Ｘ＝ａに対して線対称な画素同士の画素値の距離を
求め、その距離の総和（dist）をＸ＝ａにおける対称性
の目安とする。このような処理を、Ｘの値を（Ｘ１＋Ｃ
Ｈ）から（Ｘ２−ＣＨ）まで変化させ、distの最小値(d
istmin) を求め、この時のＸを中心線とする。また、領
域の幅を示すＣＨの値は（Ｘ２−Ｘ１）÷２よりも小さ
な値を設定する。ただし、この値は、入力画像に写って
いる顔の大きさや位置により適宜決定する。以下、これ
らの動作を、図４のフローチャートに沿って更に詳細に
説明する。

【００３７】先ず、ステップ２０２において、Ｘ＝（Ｘ
１＋ＣＨ）を代入する（Ｘの初期化）。また、左右対称
性を計算するための変数distの最小値distmin には無限
大を代入する。次に、ステップ２０３において、ｙ座標
の初期化を行う（Ｙ＝Ｙ１）。また、dist＝０とする。
更に、ステップ２０４で、ｉに１を代入してｉを初期化
する。尚、ｉは中心線からの距離（ｘ方向）を示す値で
ある。そして、ステップ２０５では、中心線（ｘ＝Ｘ）
に対して線対称な座標ｘ（ただし中心線との距離をｉと
する）を求める。求めた座標値をそれぞれＸ０、Ｘ１と
する。

【００３８】その後、ステップ２０６で、座標（Ｘ０，
Ｙ）と座標（Ｘ１，Ｙ）がどれぐらい似通っているかを
距離計算により求める。即ち、このステップでは、それ
ぞれの座標における赤、緑、青成分の値の差分の２乗を
加算し、平方根をとっている。ここで求めた距離はdist
に加算する。次のステップ２０７ではｉがＣＨであるか
を判定する。もし、ｉがＣＨ未満である場合はステップ
２０８においてｉに１を加算し、ステップ２０５に戻
る。また、ｉがＣＨである場合は、ステップ２０９に処
理を移す。

【００３９】ステップ２０９では、ＹがＹ２であるかを
判定する。もし、ＹがＹ２未満である場合には、ステッ
プ２１０においてＹに１を加算し、ステップ２０４に戻
る。また、ＹがＹ２である場合はステップ２１１に処理
を移す。このように、上記のステップ２０３〜２１０の
一連の処理により、中心線を（ｘ＝Ｘ）と仮定した場合
の左右対称性distを求めることができる。

【００４０】次に、ステップ２１１では、求めたdistが
それまでのdistの最小値distmin よりも小さいかを判定
する。もし、最小値よりも小さかった場合にはステップ
２１２において、現在のＸとdistを記憶する（ＫＸ＝
Ｘ、distmin ＝dist）。また、最小値以上であった場合
は、ステップ２１３に進む。

【００４１】ステップ２１３では、Ｘが（Ｘ２−ＣＨ）
であるかを判定する。この条件を満たさない場合にはス
テップ２１４においてＸに１を加算し、ステップ２０３
に戻る。もし、条件を満たした場合には、ステップ２１
５に処理を移す。

【００４２】ステップ２１５では、distの最小値distmi
n および、その時のｘ座標ＫＸを出力し、処理を終了す
る。ここでｘ＝ＫＸが上記の処理で算出された中心線
で、distmin はそのときの中心線らしさの度合となる。
そして、本処理で求めた距離の最小値distmin および中
心線の値（ＫＸ）は傾き決定手段７に出力される。

【００４３】次に、傾き決定手段７について説明する。
傾き決定手段７の処理は、回転角度指定手段３が指定し
た角度に対して中心線算出手段６が出力したdistmin の
中で、最小の値を見つけて、その時の角度を顔の傾きと
判断し、その角度を出力するものである。

【００４４】図７に、中心線算出手段６が出力した結果
の一例を示す。ただし、回転角度指定手段３において、
ＳＨ＝４、ＳＴ＝１と設定した場合の結果である。この
例では、角度Ｓ＝２の時に、distmin が最小値７７をと
るので、Ｓ＝２を結果として出力する。また、必要であ
ればその時の中心線の値も出力する。

【００４５】以上、具体例の説明をしたが以下の様な変
形が可能である。入力画像としてカラー画像を用いたが濃淡（白黒）画
像を利用する。回転角度指定手段３で直前のフレームの回転角度付近
のみを出力することにより処理量を軽減できる。中心線算出手段６で、直前のフレームの中心線の近辺
のみを探索することにより処理量を軽減できる。本具体例では、顔の傾きを補正した画像の出力は行っ
ていないが、傾き決定手段７で決定した角度を画像回転
手段４に出力することにより傾きを補正した画像を得る
ことが可能である。

【００４６】〈効果〉上記具体例により顔の傾きを算出
でき、算出結果に基づいて顔画像の傾きを補正する事が
可能になり、顔画像を用いた処理（個人識別や機械読唇
など）の性能向上が期待できる。また、顔画像を撮影す
る時の顔の傾きに関する制約を緩和することができる。

【図面の簡単な説明】

【図１】本発明の顔の傾き検出装置の具体例の構成を示
すブロック図である。

【図２】本発明の顔の傾き検出装置における画像回転手
段の回転動作の説明図である。

【図３】本発明の顔の傾き検出装置における画像回転手
段の動作フローチャートである。

【図４】本発明の顔の傾き検出装置における中心線算出
手段の動作フローチャートである。

【図５】本発明の顔の傾き検出装置における中心線算出
手段で使用する領域の説明図である。

【図６】本発明の顔の傾き検出装置における中心線算出
手段の説明図である。

【図７】本発明の顔の傾き検出装置における中心線算出
手段の出力結果の一例を示す説明図である。

【符号の説明】

１画像入力装置２画像記憶手段３回転角度指定手段４画像回転手段５回転画像記憶手段６中心線算出手段７傾き決定手段

Claims

【特許請求の範囲】

【請求項１】顔画像の画像データを出力する画像入力
装置と、前記画像入力装置で出力された顔の画像データを記憶す
る画像記憶手段と、予め決められた範囲で角度を変化させてその値を出力す
る回転角度指定手段と、前記回転角度指定手段が出力した角度に基づいて、前記
画像記憶手段に記憶された画像データを回転する画像回
転手段と、前記画像回転手段が出力した画像を記憶する回転画像記
憶手段と、前記回転画像記憶手段に記憶された回転画像より顔の中
心線を決定し、その時の中心線らしさの度合を出力する
中心線算出手段と、前記回転角度指定手段が指定したそれぞれの角度に対し
て、前記中心線算出手段が出力した中心線らしさの度合
を監視し、最も中心線らしさの度合の高い角度を検出す
ることにより顔の傾きを決定する傾き決定手段を設けた
ことを特徴とする顔の傾き検出装置。
【請求項２】中心線算出手段は顔の左右の対称性に基
づいて中心線を決定することを特徴とする請求項１記載
の顔の傾き検出装置。