JPH03196277A - データ処理装置のための特徴データ選択方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、複数の特徴データの組合せよりなる入力デー
タ群を、ニューラルネットワークあるいはこれと等価な
構成よりなるデータ処理装置によって識別するための特
徴データ選択方法に関する。

〔従来の技術〕

ニューラルネットワークは従来公知のように、ニューロ
ンを並列に設けて層状に構成される。各ニューロンにお
いて、外部から入力されるデータＩｔ、ｒｚ、■３、・
・・Ｉｌｌにはそれぞれ重みＷ、、Ｗ、　、Ｗ、、・・
・Ｗ７が掛けられ、これらの総和と閾値θとの比較結果
に応じたデータ０が出力される。この比較方法としては
種々のものが可能であるが、例えば正規化関数１〔ｆ〕
を採用すると、出力データＯは、 ０＝１　〔ΣＷ７・１７−θ〕 と表され、ΣＷ７・■７が閾値０以上の時「１」となり
、またΣＷｏ・■１が閾値θより小さい時「０」となる
。

このようにニューロンは、入力データに応じて「ｌ」ま
たは「０」を出力する。このニューロンの発火パターン
、すなわち各ニューロンのうちどのニューロンが発火す
るかは、入力データによって異なる。

さて従来、ニューラルネットワークにより文字等を認識
する方法として、特開平１−２０９Ｅ８２号公報には、
文字の特徴データ（例えば端点数、分岐点数等）を求め
、この特徴データがどの文字のものに該当するかを判断
することにより行うものが開示されている。

ここに、前述の文字認識に限らず、複数の特徴データの
組合せよりなる入力データ群をいかに高精度に識別する
かは前記データ処理装置の重要な課題であり、また同一
の識別機能を最小限のニューラルネットワークにより実
現するかという点もデータ処理装置の実用化において不
可欠な検討課題である。そこで前述の従来例では活字の
日本語文字について有効といわれている特徴データを使
用することとしていたが、手書き文字、くずし字、手書
き欧文、アラビア文字等の特殊な文字、その他に関し、
どのような特徴データが有効であるか未知の場合がある
。しかし、考えられてる特徴データの全てを採用したと
すれば、極めて大規模なデータ処理装置が必要となる。

〔発明が解決しようとする課題〕 本発明はこのような従来の問題点を解消すべく創案され
たもので、有効な特徴データが絞りきれていない場合の
特徴データの選択方法を提供することを目的する。

〔問題を解決するための手段〕

本発明に係るデータ処理装置のための特徴データ選択方
法は、異なる入力データについて一部の対応特徴データ
を相互に交換したときの出力の類似性が高い特徴データ
を除外し、各入力データのデータ量を節減することを特
徴としている。

〔実施例〕

以下図示実施例により本発明を説明する。

第２図は本発明を適用したデータ処理装置の一例である
文字認識システムの構成を示し、この認識システムにお
いて、文字はビデオカメラ１１から入力される。入力さ
れた文字の特徴データ、すなわち例えば端点数、分岐点
数等は、画像処理システム１２により求められる。なお
、この求め方は従来公知であり、ここではその説明を省
略する。

さて、画像処理システム１２はコンピュータ２０に接続
されており、このコンピュータ２０はニューラルネット
ワークによって構築され、文字の特徴データを用いて文
字認識を行う。つまりこのコンピュータ２０は、入力さ
れた特徴データがどの文字の特徴データに最も近いかを
調べ、これによりその文字を認識する。認識された文字
は、出力処理システム１３に入力されて所定のデータ形
式に変換され、表示装置１４によって表示される。

表示装置１４は例えばＣＲＴを有し、認識された文字を
画面上に表示する。

なお出力処理システム１３は画像処理システム１２にも
接続され、後述するように、コンピュータ２０の出力側
のニューロンの発火パターンを画像処理システム１２へ
出力し、これにより画像処理システムＩ２は文字の特徴
データの選択を行うように構成されている。

コンピュータ２０は上述したようにニューラルネットワ
ークによって構築されており、第２図はニューラルネッ
トワークの構成を模式的に示している。この図から理解
されるように、本実施例におけるニューラルネットワー
クは３つのニューラルレイヤ２１２２．２３を有し、各
二二一うルレイヤ２１，２２．２３はそれぞれ多数のニ
ューロンｎから構成される。入力側のニューラルレイヤ
２工の各ニューロンｎは、中間層のニューラルレイヤ２
２の各ニューロンｎにそれぞれ接続され、同様にして、
中間層のニューラルレイヤ２２の各ニューロンｎは、出
力側のニューラルレイヤ２３の各ニューロンｎにそれぞ
れ接続されている。

各ニューロンｎは、例えばオペアンプから構成されるも
のであり、また、前述したように各入力データそれぞれ
重みを掛けたものの総和と闇値とを比較し、その比較結
果に応じた出力を発生する。

すなわちニューロンｎは、例えば総和が闇値を越えた場
合発火してｒｌ、を出力し、また総和が闇値よりも小さ
い場合「０」を出力する。

第３図（ａ）、（ｂ）は、出力側のニューラルレイヤ２
３のニューロンをＸＹ座標により示したもので、図中、
発火したニューロンは黒で示され、発火していないニュ
ーロンは白で示されている。

ここで、第３図（ａ）は、カメラ１１により入力された
文字が「Ａ」である場合におけるニューラルレイヤ２３
のニューロンの発火パターンであり、また第３図（ｂ）
は、入力された文字がｒ１３Ｊである場合におけるニュ
ーロンの発火パターンである、と仮定する。この図から
理解されるように、「Ａ」の場合、左側のニューロンが
多く発火しており、ｒ１３Ｊの場合、右下のニューロン
が多く発火している。このように、発火パターンはその
ニューラルレイヤに入力されたデータによって変化する
。

第１図は、第２図の認識システムにより実施される文字
認識の方法の例、すなわち本発明の一実施例を示す。

ステップ３１では、入力された多数の文字群から個々の
文字を分離するため、画像処理システム１２において、
文字の切出しが行われる。つまり本実施例では、カメラ
１１は多数の文字を一度に撮影するので、ステップ３１
では、その後−つの文字について認識処理を行うために
文字の切出しを行う。例えば第４図に示すように、図中
、横方向にＸ軸、縦方向にＹ軸をとり、文字群が一行目
にｒＡＢＣ，、、、、二行目にｒＭＮｏ、　１．Ｊと並
ぶものであるとすると、まず符号Ｐで示すようにＹ座標
に関する濃度投影をとって各行間の切れ目を検出し、次
に符号Ｑで示すようにＸ座標に関する濃度投影をとって
各文字間の切れ目を検出する。この後、フィレ径をとり
、このフィレ径の中においてノイズ処理を行うとともに
ラベリングを行い、これにより各文字が切り出される。

次いでステップ３２では、１番目の文字、すなわち第４
図の例では「Ａ」が読み込まれる。文字の特徴データと
して、端点数、分岐点数、穴数、グループ数、ストロー
ク、濃度投影および曲率があり、ステップ３３では、ま
ず１番目の文字について、これら７つの特徴データが得
られる。これらの特徴データは、画像処理システム１２
において従来公知の手法により得られ、またこのシステ
ム１２内のメモリに格納されるとともに、コンピュータ
２０に入力される。ステップ３４では、これらの特徴デ
ータが人力された時の出力側ニューラルレイヤ２３にお
ける発火パターンが記憶される。

ステップ３５ではパラメータ「Ｎ」が２に定められ、ス
テップ３６ではＮ番目、すなわち２番目の文字がステッ
プ３２と同様にして読み込まれる。

ステップ３７では、２番目の文字について上記７つの特
徴データが得られる。これらの特徴データは画像処理シ
ステム１２のメモリに格納されるとともにコンピュータ
２０に入力される。ステップ３８では、ステップ３４と
同様に、２番目の文字の発火パターンが記憶される。

ステップ４１ではパラメータ「ｉ」が１に定められる。

ステップ４２では、１番目の文字（「ＡＪ）の特徴デー
タのうちｉ番目すなわち１番目の特徴データ（例えば端
点数）が、２番目の文字（’ＢＪ）の１番目の特徴デー
タに置き換えられ、つまり１番目の文字について、１番
目の特徴データのみが２番目の文字のものに置き換えら
れる。

このようにひとつの特徴データが置き換えられると、こ
れにより出力側のニューラルレイヤ２３のニューロンの
発火パターンはもとの発火パターンから変化する。すな
わち、第３図（ａ）の発火パターンが図示のものから変
化する。ステップ４３では、発火パターンがどの程度変
化したかが評価される。この発火パターンの変化の評価
については、後述する。

ステップ４４では、全ての特徴データについてステップ
４２およびステップ４３が実行されたか否か検討される
。ここで、全ての特徴データについてステップ４２．４
３の処理が終了していればステップ４６が実行されるが
、終了していなければ、ステップ４５においてパラメー
タ「ｉ」が１だけ増加せしめられ、ステップ４２．４３
が繰返される。すなわち、１番目の文字（’ＡＪ　）の
特徴データのうち次の特徴データ（例えば分岐点数）が
、２番目の文字（’ＢＪ）の対応する特徴データによっ
て置き換えられ、発火パターンの変化が評価される。

しかして７つの特徴データについて発火パターンの変化
が評価されると、ステップ４６において、どの特徴デー
タを置き換えた場合、発火パターンの変化が最も小さい
か、すなわち発火パターンの変化に最も影響を及ぼさな
い特徴データが選ばれ、この特徴データが以後の処理か
ら除外される。

次にステップ４３において実行される発火パターンの変
化の評価について説明する。発火パターンの変化の評価
は、例えばクラス内分散とクラス間分散を比較すること
により行われる。

すなわち、発火パターンを第３図（ａ）および（ｂ）に
示すようにＸＹ平面上に表し、そして発火したニューロ
ンのＸ座標およびＸ座標をとる。

例えば入力された文字が「Ａ」の場合、Ｘ座標に関する
クラス内分散■。は、 Ｖ、ｌＡ＝Σ（ｘＡ−ｘＡ）”　　　　　　・・・（１
）となる。ただし、ｘＡは発火した各ニューロンのＸ座
標、ＸＡは発火した全ニューロンのＸ座標の平均値であ
る。同様にして、Ｘ座標に関するクラス内分散ｖＶＡは
、 ｖｖＡ＝Σ（ｙａ　−ＹＡ　）　”　　　　　　−−−
（２）となる。

ステップ４２において特徴データのひとつを置き換えた
場合の発火パターンについても、同様にしてＸ座標およ
びＸ座標に関するクラス内分散をとる。すなわち、この
場合のＸ座標に関するクラス内分散を■。とすると、 ｖｘａ＝Σ（ｘｓ　−ＸＩ　）　”　　　　　　−−・
（３）また、Ｘ座標に関するクラス内分散をｖｖｍとす
ると、 ■□＝Σ（ＹＩ　　　Ｙ！＋）”　　　　　　・・・（
４）となる。

次に、文字「Ａ」の場合の発火パターンと、ひとつの特
徴データを置き換えた場合の発火パターンとのクラス間
分散を求める。これは、両者の場合の少なくとも一方に
おいて発火したニューロンについて求めるものであり、
Ｘ座標に関するクラス内分散をＶＸＴとすると、 ■８．＝ΣＣＸＴ　　Ｘ？　）”　　　　　　・・・（
５）また、Ｘ座標に関するクラス内分散をＶ□とすると
、 ■□＝Σ（Ｙｌ　−ｙｉ＋　）　”　　　　　　・・・
（６）である。

クラス内分散とクラス間分散との比、すなわち分散比は
、Ｘ座標に関しては（１）、（３）、（５）式よりＦＸ
　＝Ｖｘｙ／　（ＶＸＡＸＶＸＩ）　　　　　−・−（
７）またＸ座標に関しては（２）、（４）、（６）式よ
りＦ　ｙ　−Ｖｙｙ／　（ＶＹＡＸ　Ｖ□）　　　　・
・・（８）である。

以上のようにして、特徴データを置き換えた場合の発火
パターンの変化が評価され、ステップ４６では、この変
化の最も小さい特徴データが抽出される。すなわち、文
字認識にとって有効でない特徴データが抽出される。こ
の抽出においては、分散比Ｆ、ｌとＦｖの総和を相互に
比較してもよいし、あるいは分散比ＦｘとＦｖの小さい
方どうし、または大きい方どうしを比較してもよい。

このように発火したニューロンのＸおよびＸ座標につい
ての分散を調べる他、回帰直線を用いて分散を調べても
よい。ここで、発火ニューロンから回帰直線までの距離
を、元の特徴データの場合についてはｄＡ、ひとつの特
徴データを置き換えた場合についてはｄ、、またこれら
の平均値をそれぞれｄＡ、ｄ、とする。元の特徴データ
についてのクラス内分散■、は、 ■Ａ＝Σ（ｄＡ−１Ａ）２　　　　　・・・００）ひと
つの特徴データを置き換えた場合についてのクラス内分
散Ｖ、は、 Ｖ、＝Σ（ａｍ　　ａｍ）”　　　　　　・・・（ＩＩ
）である、またクラス間分散ｖＴは、 ＶＴ　＝Σ（ｄｙ　　ｄｔ　）”　　　　　　・・・Ｑ
７Ｊである。

したがって分散比Ｆは、 Ｆ＝ＶＴ　／　（ｖａ　ｘＶ、）　　　　　　・・・０
３）となり、この分散°比により、文字認識に対して有
効ではない特徴データが抽出される。

このように、ステップ４３およびステップ４６において
実行される、発火パターンの変化に有効でない特徴デー
タの抽出は、テクスチャ解析によりコントラストあるい
はモーメントを考慮することにより行ってもよい。また
、統計学の手法として、Ｂａｙｓｅの定理を用い、２つ
の発火パターンの独立性を検討してもよい。

さて、ステップ４６において文字認識に有効でない特徴
データが抽出されると、次いでステップ４７では、予定
されていた特徴データの抽出が終了したか否か判定され
る。本実施例では、７つの特徴データのうち４つが有効
でないとして除去されると、この特徴データの除去処理
は終了する。

これに対し、まだ４つの有効でない特徴データが除去さ
れていないと、ステップ４日においてパラメータＮが１
だけ増加せしめられてステップ３６へ戻り、次の文字に
ついて上述したのと同様な処理が実行され、有効でない
特徴データが選択されて除去される。

このようにして３つの特徴データが選択されると、以後
はこの３つの特徴データのみを用いて文字認識を行うこ
とが可能になる。しかして本実施例方法によれば、有効
な特徴データのみを用いて文字認識を行うシステムを容
易に開発することができる。またこのようにして得られ
た文字認識システムは、使用される特徴データの数が少
ないため、ニューラルネットワークの容量を必要最小限
まで節減することができ、ニューラルネットワークある
いはこれと等価な構成よりなるデータ処理装置を小型化
することができる。

なお、ステップ３６において次の文字を読み込む場合、
例えばパターンマツチングを行って前回と同じ文字を読
み込まないようにしてもよい。

さらに、上記実施例は文字認識を行う場合における有効
な特徴データの選択を行うものであったが、図形を認識
するシステムにおいても同様な方法を通用することがで
き、また記号認識についても全く同様である。

〔発明の効果〕

以上のように本発明によれば、有効な特徴データが絞り
きれていなくても、特徴データを効率的に選択すること
ができ、ひいてはデータ処理装置を小型化することが可
能になる。

【図面の簡単な説明】

第１図は本発明の一実施例における有効特徴データの選
択方法を示すフローチャート、第２図は本発明方法を適
用した認識システムの構成例を示すブロック図、 第３図（ａ）、（ｂ）は出力側のニューラルネットワー
クにおけるニューロンの発火パターンの例を示す図、 第４図は文字群およびその濃度投影を示す図である。 ２０・・・コンピュータ ２１．２２．２３・・・ニューラルレイヤｎ・・・ニュ
ーロン

Claims (1)

【特許請求の範囲】
1. （１）複数の特徴データの組合せよりなる入力データ群
   を、ニューラルネットワークあるいはこれと等価な構成
   よりなるデータ処理装置によって識別するための特徴デ
   ータ選択方法であって、異なる入力データについて一部
   の対応特徴データを相互に交換したときの出力の類似性
   が高い特徴データを除外し、各入力データのデータ量を
   節減することを特徴とするデータ処理装置のための特徴
   データ選択方法。