JP5725576B2

JP5725576B2 - パターン認識及びその学習方法

Info

Publication number: JP5725576B2
Application number: JP2013143460A
Authority: JP
Inventors: 健星野
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2013-07-09
Filing date: 2013-07-09
Publication date: 2015-05-27
Anticipated expiration: 2033-07-09
Also published as: JP2015018312A

Description

本発明はパターン認識の学習装置、学習方法及び学習プログラム、並びに学習機能を備えたパターン認識装置に関する。

パターン認識では、ニューラルネットのパーセプトロンなどを用いて音声、文字、画像などのデータから特定のパターンを認識する。パターン認識では、認識対象のデータを特定の種類のパターンに対応付ける識別関数が用いられる。識別関数はパターンの種類毎に識別境界によってデータ空間を分割し、分割された領域に属するデータが当該種類のパターンに対応する。例えば、対象データが２次元データの場合には、識別関数が与える識別境界は識別線になり、３次元データの場合には識別面になり、一般にｎ次元データの場合には識別ｎ次平面（「識別高次平面」ともいう）になる。

例えば、２次元データの場合、パターン認識装置は、識別関数が与える識別線によって、複数の点からなる一つのデータ群（「カテゴリ」ともいう）を他のデータ群から分離し、２次元データ面上にそのデータ群の領域を作る。そして、新たに未知のデータが入力されると、そのデータが分離された領域内に存在するかどうか確認し、領域内に存在する場合、未知のデータは事前に分離したデータ群と同じ種類であると識別される。もし、領域外である場合は、別の種類であると識別される。

図１は、データ群Ａをデータ群Ｂとデータ群Ｃから分離する識別線を表しており、図中の未知データは、識別線よりデータ群Ａ側の領域に存在するため、データ群Ａのデータであると識別される。

関連技術では、パーセプトロンの学習完了時、識別関数が与える識別高次平面は、学習データ（「学習パターン」ということがある）の近傍に配置されることが多く、すなわち、未知のデータを入力した際に間違えやすい位置に配置され、必ずしも識別能力の高い位置に配置されなかった。そのため、カルバック・ライブラー・ダイバージェンスや距離関数等を用いて、学習完了後の識別高次平面を学習データから遠ざけるような識別能力向上法が用いられてきた。例えば、特許文献１には、クロスエントロピー誤差を最小化するようにパターン認識システムのトレーニング可能パラメータを更新することが開示されている。

しかし、その際、各学習データ群の中間位置に識別高次平面を配置しようとするため、大きく分散の異なるデータ群を分離する識別高次平面の場合、最適な位置に配置されない場合があった。例えば、図２に示されるように、識別高次平面に対して、垂直方向に分散が大きい学習データ群（カテゴリｋ）と、垂直方向に分散が小さい学習データ群（カテゴリｋ’）の中央に識別高次平面を配置した場合、カテゴリｋの未知データは、識別高次平面に対して垂直方向に散らばったデータ（すなわち、図２において点線で表される領域に存在するデータ）となることが予想されるため、カテゴリｋ’と誤認識される可能性があった。

特開２００３−２９６７３７号公報

関連技術の方法では、カテゴリ内の学習データの分散を考慮せずに、識別高次平面を設定していたため、最適な位置に識別高次平面が設定されず、未知データを正しく判定できないという問題があった。

本発明は、上記問題を解決し、パターン認識の識別関数を最適化することを目的とする。

本発明のパターン認識学習装置は、パターン認識を学習するためのパターン認識学習装置であって、パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定手段と、前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化手段と、を含み、前記最適化手段は、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする。

本発明のパターン認識学習方法は、パターン認識の識別関数を決定する決定手段と、前記識別関数を最適化する最適化手段とを有するパターン認識学習装置におけるパターン認識を学習するパターン認識学習方法であって、前記決定手段において、パターン認識の学習データから各学習データのカテゴリを識別する前記識別関数を決定する決定ステップと、前記最適化手段において、前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化ステップと、を含み、前記最適化ステップでは、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする。

本発明のプログラムは、コンピュータを、パターン認識を学習するためのパターン認識学習装置として機能させるためのプログラムであって、前記コンピュータを、パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定手段、及び前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化手段、として機能させ、前記最適化手段により、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする。

本発明により、パターン認識の識別関数を最適化することができる。

パターン認識における識別線の説明図である。パターン認識において起こり得る誤認識の説明図である。パターン認識装置の構成例を示すブロック図である。記憶部の構成例を示すブロック図である。パターン認識の学習方法のフローチャートである。学習完了直後（最適化前）の識別高次平面の配置を示す。識別能力評価関数のグラフである。カテゴリ間の中央付近に識別高次平面が存在する場合を示す（最適化前）。カテゴリの重心間の距離についての説明図である。最適化後の識別高次平面の配置を示す。

以下、本発明の実施の形態について図面を参照して説明する。

図３は本発明の実施の形態におけるパターン認識装置の構成を示すブロック図である。パターン認識装置１００は、データ入力部１１０とデータ処理部１２０とデータ出力部１３０と記憶部１４０とを備える。

データ入力部１１０は、認識対象のデータ、学習データ、及び必要に応じて各種パラメータを受け取り、必要に応じて記憶部１４０に記憶する。データ処理部１２０はパターン認識学習部１２２とパターン認識部１２４とを備える。パターン認識学習部１２２は、学習段階において、学習データから識別関数を取得すると共に、識別関数の最適化を行う。パターン認識部１２４は、データ入力部１１０で受けた認識対象データについて、記憶部１４０に記憶された識別関数に関する情報を用いてパターン認識を行い、認識結果をデータ出力部１３０に送る。データ出力部１３０は、認識結果を表示器（図示せず）等に送る。

図３では、データ処理部１２０がパターン認識部１２４を含んでいるが、パターン認識部１２４を含まない構成、あるいはパターン認識部１２４の機能をパターン認識学習部１２２に含める構成とすることもできる。この場合には、パターン認識装置１００は、学習によりパターン認識用の識別関数を取得する機能を有するパターン認識学習装置となる。

図４に示すように、記憶部１４０は、結合係数記憶部１４２、閾値記憶部１４４、学習データ記憶部１４６、カテゴリ重心記憶部１４８、パーセプトロン出力データ記憶部１５０、正解信号記憶部１５２などを必要に応じて備え、識別関数の取得や最適化において使用する。また、記憶部１４０は最適化された識別関数（又は識別高次平面）を記憶するための識別関数記憶部（図示せず）を備える構成とし、パターン認識部１２４がパターン認識を実行する際に使用するようにしてもよい。

本発明の実施の形態におけるパターン認識器は、例えば、顔画像を認識するために、画像データが学習データとして記憶されているパーソナルコンピュータ上などに構築することが可能である。この場合、データ処理部１２０はＣＰＵ、ＲＡＭ、ＲＯＭなどから構成でき、記憶部１４０はＲＡＭ、ＲＯＭなどから構成できる。

（原理及び動作の説明）
Ｃ個の学習データ群（カテゴリ）に属する複数の学習データをカテゴリ毎に分離する課題を例として、図５のフローチャートを参照して、本発明の原理及び動作を説明する。ここでは、Ｃ個のカテゴリに分類されるＮ個のデータを学習データＩ_ｎ（ｎ＝１，…，Ｎ）で表す。

カテゴリｃを分離する識別高次平面の式を式（１）に示す。式（１）中、ｗ^（ｃ）はパーセプトロンの結合係数、θ^（ｃ）は閾値、ｕ^（ｃ）は出力を表す。

例として、図６は、２次元平面上の３個のカテゴリについてパーセプトロンで学習処理を行い、カテゴリｋを線形分離した状態を示す（図５のステップＳ１０）。パーセプトロンは、識別能力を考慮せずカテゴリの分離のみを行うため、学習完了直後は、図６に示されるように識別高次平面が学習データの近傍に配置されてしまい、未知データを誤認識しやすくなる。

学習データの近傍に存在している識別高次平面を学習データから遠ざけて識別能力を向上させるために、パーセプトロンで線形分離した識別高次平面を、カルバック・ライブラー・ダイバージェンスを用いて再配置する。

具体的には、識別能力評価関数Ｅとして、式（２）を定義し、Ｅを最大化することによって、識別高次平面を各学習データから遠ざけることが出来る。

式（２）中、ｒ_ｎ ^（ｃ）は下記式（３）のシグモイド関数値、ｕ_ｎ ^（ｃ）は下記式（４）で算出されるパーセプトロンの出力である。ｔ_ｎ ^（ｃ）は正解信号を表し、学習データＩ_ｎがカテゴリｃに属する場合は“１”、カテゴリｃ以外に属する場合は“０”となる。

識別能力評価関数Ｅ（式（２））のΣ中の項をグラフに表すと、図７に示すようなグラフになる。このグラフは、出力と正解信号との絶対誤差と共に単調減少する関数であることがわかる。

上記識別能力評価関数を表す式（２）に対して、最大傾斜法を用いて、結合係数ｗ^（ｃ）及び閾値θ^（ｃ）を逐次計算し、識別能力評価関数Ｅの値を最大化する。実際の計算では、式（５）及び（６）を用いて、逐次結合係数と閾値を変化させて、識別能力評価関数値を最大化する。ここで、εは１回で更新する割合を決めるパラメータであり、状況に応じて調節する。

ここで、上記の識別能力評価関数の式（２）を最大化するように識別高次平面を移動すると、図８に示すように各カテゴリ間の中央付近に識別高次平面が存在してしまうという問題が発生する。図８を見てみると、カテゴリｋは、識別高次平面に対して垂直方向に分散が大きく、カテゴリｋ’は、識別高次平面に対して平行方向に分散が大きくなっている。この様な場合、カテゴリｋに属する未知のデータは、識別高次平面に対して垂直方向へ散らばったデータになり、逆にカテゴリｋ’に属する未知のデータは、識別高次平面に対して水平方向に散らばったデータになると考えられる。したがって、このようなカテゴリ間の中央に、識別高次平面を配置することは、識別能力の点から最適ではない。そこで、本実施形態では、カテゴリｋを分離する識別高次平面から最も近いカテゴリｋ’に着目し、カテゴリｋとカテゴリｋ’の分散値に応じて、識別能力評価関数Ｅ（式（２））を変形し、識別高次平面を最適な位置に移動する方法を採る。

まず、各カテゴリの重心ｇ^（ｃ）を式（７）で計算し、次に図９に示すように、識別高次平面によって分離されているカテゴリｋの重心ｇ^（ｋ）からカテゴリｋ以外のカテゴリの重心ｇ^（ｃ）までの距離ｌ_ｃ ^（ｋ）を式（８）で算出する。式（７）で、Ｍ^（ｃ）は、カテゴリｃに属する学習データの個数を示す。この距離ｌ_ｃ ^（ｋ）のうち、最小の値を持つカテゴリをカテゴリｋ’とする（図５のステップＳ２０）。

次に、カテゴリｋとｋ’に属する全学習データについて、カテゴリｋを分離する識別高次平面からの距離ｐ_ｍ ^（ｋ），ｐ_ｍ ^（ｋ’）を式（１０）及び（１１）により算出する。ここで、＜・＞は、内積を表す。

求めた距離ｐ_ｍ ^（ｋ），ｐ_ｍ ^（ｋ’）から標本分散ｓ^（ｋ）２，ｓ^{（ｋ’）２}を式（１２）及び（１３）により算出する（図５のステップＳ３０）。ここで、μ^（ｋ），μ^（ｋ’）は、それぞれカテゴリｋ，ｋ’に属する学習データの識別高次平面からの距離の平均を示す。

上記の標本分散を用いて、識別能力評価関数の式（２）を、式（１４）のような式に変更することによって、分散を考慮した識別能力評価関数（「分散考慮型カルバック・ライブラ・ダイバージェンス」ともいう）になる。

式（１４）の識別能力評価関数を式（５）及び式（６）で最大化することによって、分散を考慮した最適な位置に識別高次平面を移動させることが出来る（図５のステップＳ４０）。この例では、図１０に示すように若干カテゴリｋ’に近い位置に識別高次平面が配置される。

以上述べたように、本発明の実施形態では、一つのデータ群（カテゴリ）を複数のデータ群から分離する識別境界（識別線や識別高次平面）を決定する方式のパターン認識装置において、識別境界によるデータ群の分離後、識別境界をデータ群から遠ざけるような処理（識別能力向上処理）を行い、その際、各データ群に属するデータの分散度合いを考慮して、識別境界を各データ群に最適な位置に配置することによって、より高い識別能力を得ることができる。

具体的には、ニューラルネットのパーセプトロンを用いたパターン認識学習装置において、識別線を高次元化した識別高次平面による高次元データ群分離後、各学習データの分散を考慮したカルバック・ライブラー・ダイバージェンス（式（１４））に対して最大傾斜法を用いて、識別高次平面を学習データ群から遠ざけることにより、高い識別能力を得ることができる。

（発明の他の実施形態）
上記実施形態では、識別高次平面に最も近いカテゴリを１つ選択したが、識別高次平面に近いカテゴリを複数選択することによって、更に識別能力の高い位置へ識別高次平面を設定することが可能となる。例えば、特定のカテゴリに近いもの順に所定個数の複数のカテゴリを選択してもよい。識別能力評価関数は、特定のカテゴリの識別境界から、そのカテゴリに属する学習データまでの距離の分散と、選択した複数のカテゴリに属する学習データまでの距離の分散とを考慮したものに変更し得る。

また、上記実施形態では、識別能力評価関数としてカルバック・ライブラー・ダイバージェンスを用いたが、識別高次平面から学習データへのユークリッド距離の総和の逆数を識別能力評価関数として用いることも可能である。

また、上記実施形態では、顔認証を例に説明したが、画像データから２次元バーコードを解析する際に、初期処理段階で上記実施形態の手法を用いて、コード種類を大分類することによって、その後の処理を簡略化でき、バーコード解析処理を高速化することが可能となる。

また、上記実施形態では、顔認証を例に説明したが、上記実施形態の手法によって、文字認識用のパーセプトロンの識別能力を向上させておくことによって、画像データから抽出された、汚れや書き損じがある文字を認識する装置を構築することが可能となる。

顔認証以外の上記適用例においても、パーセプトロンを用いて識別高次平面を決定した後、分散を考慮したカルバック・ライブラー・ダイバージェンスを用い、カテゴリ内の学習データの分散が異なっているデータ群に対し、識別高次平面を最適な位置に再設定することによって、識別能力を向上することが可能となる。

なお、上記のパターン認識学習装置及びパターン認識装置の全部又は一部は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。また、上記のパターン認識学習方法及びパターン認識方法も、ハードウェア、ソフトウェア又はこれらに組合せにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
パターン認識を学習するためのパターン認識学習装置であって、
パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定手段と、
前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化手段と、
を含むことを特徴とするパターン認識学習装置。

（付記２）
前記最適化手段は、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記１に記載のパターン認識学習装置。

（付記３）
前記識別能力評価関数として前記分散を考慮したカルバック・ライブラー・ダイバージェンスを用いることを特徴とする付記２に記載のパターン認識学習装置。

（付記４）
前記識別能力評価関数として前記カテゴリの識別境界から該カテゴリに属する学習データまでのユークリッド距離の総和の逆数を用いることを特徴とする付記２に記載のパターン認識学習装置。

（付記５）
前記最適化手段は、前記カテゴリのうち特定のカテゴリに最も近い別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記２〜４のいずれか１に記載のパターン認識学習装置。

（付記６）
前記最適化手段は、前記カテゴリのうち特定のカテゴリに近いもの順に所定個数の複数の別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記複数の別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記２〜４のいずれか１に記載のパターン認識学習装置。

（付記７）
前記最適化手段は、前記特定のカテゴリの重心と前記特定のカテゴリ以外のカテゴリの重心との距離に基づいてカテゴリ間の近さを判定することを特徴とする付記５又は６に記載のパターン認識学習装置。

（付記８）
前記最適化手段は、最大傾斜法に基づいて前記識別能力評価関数の値が最大化するように前記識別境界を移動させることを特徴とする付記２〜７のいずれか１に記載のパターン認識学習装置。

（付記９）
前記決定手段は、パーセプトロンを用いて前記識別関数を決定することを特徴とする付記１〜８のいずれか１に記載のパターン認識学習装置。

（付記１０）
付記１〜９のいずれか１に記載のパターン認識学習装置と、
前記最適化手段により最適化された識別関数を用いて入力データのパターン認識を行うパターン認識手段と、
を含むことを特徴とするパターン認識装置。

（付記１１）
パターン認識を学習するパターン認識学習方法であって、
パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定ステップと、
前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化ステップと、
を含むことを特徴とするパターン認識学習方法。

（付記１２）
前記最適化ステップでは、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記１１に記載のパターン認識学習方法。

（付記１３）
前記識別能力評価関数として前記分散を考慮したカルバック・ライブラー・ダイバージェンスを用いることを特徴とする付記１２に記載のパターン認識学習方法。

（付記１４）
前記識別能力評価関数として前記カテゴリの識別境界から該カテゴリに属する学習データまでのユークリッド距離の総和の逆数を用いることを特徴とする付記１２に記載のパターン認識学習方法。

（付記１５）
前記最適化ステップでは、前記カテゴリのうち特定のカテゴリに最も近い別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記１２〜１４のいずれか１に記載のパターン認識学習方法。

（付記１６）
前記最適化ステップは、前記カテゴリのうち特定のカテゴリに近いもの順に所定個数の複数の別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記複数の別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記１２〜１４のいずれか１に記載のパターン認識学習方法。

（付記１７）
前記最適化ステップでは、前記特定のカテゴリの重心と前記特定のカテゴリ以外のカテゴリの重心との距離に基づいてカテゴリ間の近さを判定することを特徴とする付記１５又は１６に記載のパターン認識学習方法。

（付記１８）
前記最適化ステップでは、最大傾斜法に基づいて前記識別能力評価関数の値が最大化するように前記識別境界を移動させることを特徴とする付記１２〜１７のいずれか１に記載のパターン認識学習方法。

（付記１９）
前記決定ステップでは、パーセプトロンを用いて前記識別関数を決定することを特徴とする付記１１〜１８のいずれか１に記載のパターン認識学習方法。

（付記２０）
付記１１〜１９のいずれか１に記載のパターン認識学習方法に加え、
前記最適化ステップにより最適化された識別関数を用いて入力データのパターン認識を行うパターン認識ステップ、
を含むことを特徴とするパターン認識方法。

（付記２１）
コンピュータを、パターン認識を学習するためのパターン認識学習装置として機能させるためのプログラムであって、
前記コンピュータを、
パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定手段、及び
前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化手段、
として機能させるためのプログラム。

（付記２２）
前記最適化手段は、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記２１に記載のプログラム。

（付記２３）
前記識別能力評価関数として前記分散を考慮したカルバック・ライブラー・ダイバージェンスを用いることを特徴とする付記２２に記載のプログラム。

（付記２４）
前記識別能力評価関数として前記カテゴリの識別境界から該カテゴリに属する学習データまでのユークリッド距離の総和の逆数を用いることを特徴とする付記２２に記載のプログラム。

（付記２５）
前記最適化手段は、前記カテゴリのうち特定のカテゴリに最も近い別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記２２〜２４のいずれか１に記載のプログラム。

（付記２６）
前記最適化手段は、前記カテゴリのうち特定のカテゴリに近いもの順に所定個数の複数の別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記複数の別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする付記２２〜２４のいずれか１に記載のプログラム。

（付記２７）
前記最適化手段は、前記特定のカテゴリの重心と前記特定のカテゴリ以外のカテゴリの重心との距離に基づいてカテゴリ間の近さを判定することを特徴とする付記２５又は２６に記載のプログラム。

（付記２８）
前記最適化手段は、最大傾斜法に基づいて前記識別能力評価関数の値が最大化するように前記識別境界を移動させることを特徴とする付記２２〜２７のいずれか１に記載のプログラム。

（付記２９）
前記決定手段は、パーセプトロンを用いて前記識別関数を決定することを特徴とする付記２１〜２８のいずれか１に記載のプログラム。

（付記３０）
付記２１〜２９のいずれか１に記載のプログラムにおいて、
前記コンピュータを、更に、
前記最適化手段により最適化された識別関数を用いて入力データのパターン認識を行うパターン認識手段として機能させることを特徴とするプログラム。

本発明は画像認識、音声認識、文字認識などのパターン認識に利用できる。

１００パターン認識装置
１１０データ入力部
１２０データ処理部
１２２パターン認識学習部
１２４パターン認識部
１３０データ出力部
１４０記憶部

Claims

パターン認識を学習するためのパターン認識学習装置であって、
パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定手段と、
前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化手段と、
を含み、
前記最適化手段は、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とするパターン認識学習装置。
前記識別能力評価関数として前記分散を考慮したカルバック・ライブラー・ダイバージェンスを用いることを特徴とする請求項１に記載のパターン認識学習装置。
前記識別能力評価関数として前記カテゴリの識別境界から該カテゴリに属する学習データまでのユークリッド距離の総和の逆数を用いることを特徴とする請求項１に記載のパターン認識学習装置。
前記最適化手段は、前記カテゴリのうち特定のカテゴリに最も近い別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする請求項１〜３のいずれか１項に記載のパターン認識学習装置。
前記最適化手段は、前記カテゴリのうち特定のカテゴリに近いもの順に所定個数の複数の別カテゴリを決定し、前記特定のカテゴリの識別境界から前記特定のカテゴリに属する学習データまでの距離の分散と、前記識別境界から前記複数の別カテゴリに属する学習データまでの距離の分散とを考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とする請求項１〜３のいずれか１項に記載のパターン認識学習装置。
前記最適化手段は、前記特定のカテゴリの重心と前記特定のカテゴリ以外のカテゴリの重心との距離に基づいてカテゴリ間の近さを判定することを特徴とする請求項４又は５に記載のパターン認識学習装置。
請求項１〜６のいずれか１項に記載のパターン認識学習装置と、
前記最適化手段により最適化された識別関数を用いて入力データのパターン認識を行うパターン認識手段と、
を含むことを特徴とするパターン認識装置。
パターン認識の識別関数を決定する決定手段と、前記識別関数を最適化する最適化手段とを有するパターン認識学習装置におけるパターン認識を学習するパターン認識学習方法であって、
前記決定手段において、パターン認識の学習データから各学習データのカテゴリを識別する前記識別関数を決定する決定ステップと、
前記最適化手段において、前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化ステップと、
を含み、
前記最適化ステップでは、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とするパターン認識学習方法。
コンピュータを、パターン認識を学習するためのパターン認識学習装置として機能させるためのプログラムであって、
前記コンピュータを、
パターン認識の学習データから各学習データのカテゴリを識別する識別関数を決定する決定手段、及び
前記カテゴリにおける学習データの分散特性を考慮して前記識別関数を最適化する最適化手段、
として機能させ、
前記最適化手段により、前記識別関数が与えるカテゴリの識別境界から該カテゴリに属する学習データまでの距離の分散を考慮した識別能力評価関数の値を最大化するように前記識別境界を移動させることを特徴とするプログラム。