JP3334807B2

JP3334807B2 - ニュ−ラルネットを利用したパタ−ン分類方法および装置

Info

Publication number: JP3334807B2
Application number: JP18608991A
Authority: JP
Inventors: 浩孝水野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1991-07-25
Filing date: 1991-07-25
Publication date: 2002-10-15
Anticipated expiration: 2017-10-15
Also published as: US5577166A; JPH0535707A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニュ−ラルネットを用
いたパタ−ン分類方法および装置に関し、特に分類対象
となる入力パタ−ンが学習用デ−タの入力パタ−ンの分
布から外れる可能性がある場合や、ニュ−ラルネットの
学習を行った後に問題の構造が変化して、分類対象の入
力パタ−ンとそれに対する正解出力パタ−ンの組が学習
用デ−タの内容と矛盾する可能性がある場合に、それら
を修正して適切な分類を行うことが可能なニュ−ラルネ
ットを利用したパタ−ン分類方法および装置に関する。

【０００２】

【従来の技術】従来、入力パタ−ンを予め決められたカ
テゴリ−に分類するパタ−ン分類処理に、ニュ−ラルネ
ットを用いて行う方法は、『ニュ−ラルネットワ−ク情
報処理』麻生英樹著（産業図書）1988に記載されてい
る。ここでは、階層的なネットワ−クの情報処理は、パ
タ−ンの識別またはパタ−ンの変換であり、また、ネッ
トワ−クの学習は、変換の例を提示されることにより、
ネットワ−クが望ましい変換を真似することであると述
べている。図４は、従来におけるニュ−ラルネットの原
理を示す模式図である。ニュ−ラルネット１１は、神経
細胞を真似したノ−ド４１を階層形に配列し、隣り合う
層のノ−ド４１間をア−ク４２で結合したネットワ−ク
状の計算モデルである。ア−ク４２には結合の重み付け
が行われているので、ノ−ド４１間を伝達する信号の強
弱を調節することができる構造となっている。また、ノ
−ド４１には閾値が付与されており、前の層の各ノ−ド
４１から伝達される入力の総和がこの閾値より大きくな
ると、次の層のノ−ド４１に信号が伝達される。入力パ
タ−ン１８は、第１層の各ノ−ド４１の状態値として付
与される。これに従って、第２層、第３層に順次ノ−ド
４１の状態値が求められ、ネットワ−クの出力パタ−ン
１９は最終層のノ−ドの状態値として得られる。

【０００３】図４において、入力パターン１８がｍ個の
要素Ｘｉ（ｉ＝１，２，・・ｍ）からなる場合には、入
力パターン１８は以下に示すようなベクトルＸとして表
わされる。Ｘ＝（Ｘ１，Ｘ２，・・・Ｘｍ）・・・・・・・・・・・・・・・（１）いま、入力パターン１８をｎ個のカテゴリーのいずれか
に分類しようとする場合、分類結果である出力パターン
１９は、ｎ個の要素Ｙｉ（ｉ＝１，２，・・・ｎ）から
なる以下に示すようなベクトルＹとして表わされる。Ｙ＝（Ｙ１，Ｙ２，・・・・Ｙｎ）・・・・・・・・・・・・・（２）なお、入力パターン１８がｉ番目のカテゴリーに属する
ときには、Ｙｉ＝１となり、ｉ番目に属さないときに
は、Ｙｉ＝０となる。ニューラルネット１１の学習を行
う場合、先ず、ニューラルネット１１に入力パターンで
あるベクトルＸを入力して、出力パターンであるベクト
ルＹを計算させる。そして、これら入力パターンＸに対
する望ましい出力パターンとしての教師パターンＳを教
示する。ここで、ＳはＹと同じようにｎ個の要素Ｓ1〜
Ｓｎからなるベクトルである。Ｓを教示されることによ
り、ニューラルネット１１は、現状の出力パターンＹと
望ましい出力パターンＳとの差を減少させる方向に各ア
ークの重みを修正する。このようにして、変換の例示と
重み修正の過程を入力パターンＸと教師パターンＳの組
の全てに対して、繰り返し行うことにより、ニューラル
ネット１１は入力パターンＸから出力パターンＹへの望
ましい変換を真似るようになる。

【０００４】

【発明が解決しようとする課題】ところで、前述した従
来の技術では、ニュ−ラルネットが入力パタ−ンの全範
囲にわたる学習用デ−タを用いて学習を行った場合を前
提としているが、もし全範囲にわたる学習用デ−タを用
いて学習を行ったという保証がない場合には、ニュ−ラ
ルネットによる分類結果はどのようになるか不明であ
り、これについては、前述の文献には何も述べられてい
ない。すなわち、例えば、時系列に得られるデ−タから
なる入力パタ−ンが分類の対象である場合、学習用デ−
タとして利用できるものは現在までに得られている過去
のデ−タだけである。そして、これ以降の将来に得られ
るデ−タから作られる入力パタ−ンが、過去の入力パタ
−ンのいずれにも似ていない場合が起り得る。過去には
現われなかった入力パタ−ンが入力された場合にも、ニ
ュ−ラルネットは何らかの出力パタ−ンを分類結果とし
て出力するが、従来の文献では、このような場合の出力
パタ−ンの解釈方法については全く触れていなかった。
本発明の目的は、このような従来の課題を解決し、入力
パタ−ンが学習用デ−タの入力パタ−ンの分布から外れ
ているときでもそれを判断して、正解率の低下を検出で
き、出力パタ−ンの信頼度を判断できるニュ−ラルネッ
トを利用したパタ−ン分類方法および装置を提供するこ
とにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明によるニューラルネットを利用したパターン
分類方法は、（イ）ニューラルネットを用いて分類対象
である入力パターンを分類結果である出力パターンに変
換するパターン分類装置において、与えられた入力パタ
ーンと上記ニューラルネットの学習に用いる学習用デー
タの入力パターンとを比較する入力パターン監視モジュ
ール、学習用データを格納する学習用データファイル、
与えられた入力パターンに対する上記ニューラルネット
の出力パターンと該入力パターンについての正解出力パ
ターンとを比較して、比較結果を履歴として蓄積し、該
比較結果から異常を判断する実行履歴監視モジュール、
該比較結果の履歴を格納する実行履歴ファイル、および
該実行履歴ファイルの内容と上記学習用データファイル
の内容を読み出し、新たに学習用データを作成してファ
イル内容を更新する学習用データ更新処理モジュールを
具備することに特徴がある。また、（ロ）上記入力パタ
ーン監視モジュールは、分類対象として与えられた入力
パターンが全学習用データの入力パターンの分布上のど
こに位置するかを計算するとともに、分類対象として与
えられた上記入力パターンに類似する入力パターンを持
つ学習用データを検索することにも特徴がある。また、
（ハ）上記実行履歴監視モジュールは、分類対象として
与えられた入力パターンと、該入力パターンについての
ニューラルネットの出力パターンと、該入力パターンに
ついての正解出力パターンとを、実行履歴として実行履
歴ファイルに蓄積することにも特徴がある。また、
（ニ）上記実行履歴監視モジュールは、分類対象である
入力パターンについてのニューラルネットの出力パター
ンと、該入力パターンについての正解出力パターンとの
間の誤差を全実行履歴について平均した平均誤差を算出
して、算出結果を実行履歴ファイルに保持し、該平均誤
差が予め定められた閾値を越えたときには、上記ニュー
ラルネットの再学習を行う必要があることを利用者に通
知することにも特徴がある。さらに、（ホ）上記ニュー
ラルネットの再学習では、前回の学習に用いた学習用デ
ータに、前回の学習以後に得られた実行履歴を加えたも
のを新たに学習用データとして用い、前回の学習用デー
タのうち実行履歴中のデータと矛盾するものを該再学習
の対象から除去することにも特徴がある。

【０００６】

【作用】本発明においては、入力パタ−ン監視モジュ−
ルにより、入力パタ−ンとニュ−ラルネットの学習に用
いる各学習用デ−タの入力パタ−ンとを比較するととも
に、入力パタ−ンと学習用デ−タの入力パタ−ン全体の
分布とを比較する。すなわち、与えられた入力パタ−ン
の学習用デ−タの入力パタ−ン全体の分布における位置
を計算し、かつ与えられた入力パタ−ンに類似した入力
パタ−ンを持つ学習用デ−タを検索する。これにより、
与えられた入力パタ−ンがどの学習用デ−タの入力パタ
−ンとも類似していない場合には、この事実を検出する
ことができるので、利用者は与えられた入力パタ−ンに
対しての分類結果の信頼度が低いことを知ることができ
る。さらに、実行履歴監視モジュ−ルにより、出力パタ
−ンと後に得られる入力パタ−ンに対する正解出力パタ
−ンとを比較し、その結果を実行履歴として蓄積して、
蓄積された実行履歴を監視し、正解率が低下した場合に
ニュ−ラルネットの再学習の必要性を通知する。すなわ
ち、与えられた入力パタ−ンについての正解出力パタ−
ンが得られた時点で、与えられた入力パタ−ンに対する
ニュ−ラルネットの出力パタ−ンと正解出力パタ−ンと
を比較し、その結果を実行履歴として蓄積する。次に、
蓄積された実行履歴からニュ−ラルネットの出力パタ−
ンと正解出力パタ−ンとの間の平均誤差（分類の誤りの
頻度）が増加したときには、これを検出して、利用者に
この事実を通知する。これにより、利用者は、現状のニ
ュ−ラルネットのままでは問題があるので、これまでに
蓄積していた実行履歴デ−タを新たに学習用デ−タに追
加して、ニュ−ラルネットの学習を再度実行する必要が
あることを知る。

【０００７】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図２は、本発明の一実施例を示すパタ−ン分
類装置のハ−ドウェア構成図である。本発明のパタ−ン
分類装置は、ニュ−ラルネットを利用してパタ−ンを分
類するコンピュ−タ２１と、ニュ−ラルネツトの学習の
ための学習用デ−タおよびパタ−ン分類の実行結果の履
歴を格納しておくための補助記憶装置２２と、分類対象
である入力パタ−ンを外部から受け付けるパタ−ン入力
装置２３と、パタ−ン分類の結果を表示するディスプレ
イ装置２４と、利用者からの指示を受け付けるキ−ボ−
ド２５とを具備している。本発明の特徴は、このハ−ド
ウェア構成にあるのではなく、パタ−ン分類を実行する
コンピュ−タ２１内の機能モジュ−ルの構成にある。以
下、図１により機能モジュ−ルの構成を説明する。

【０００８】図１は、本発明の一実施例を示すパタ−ン
分類装置の機能ブロック図である。図１に示すように、
ニュ−ラルネット１１、入力パタ−ン監視処理部１２、
実行履歴監視処理部１３、学習用デ−タ更新処理部１
４、およびこれらの起動を制御する制御処理部１５が、
コンピュ−タ２１内にプログラムモジュ−ルとして内蔵
されている。また、学習用デ−タファイル１６および実
行履歴ファイル１７が、補助記憶装置２２内に格納され
ている。ニュ−ラルネット１１は、分類実行時には、パ
タ−ン入力装置２３を介して外部から入力された入力パ
タ−ン１８を変換して、分類結果である出力パタ−ン１
９を出力する。また、ニュ−ラルネット１１は、学習実
行時には、学習用デ−タファイル１６から学習用デ−タ
を読み込み、学習用デ−タの入力パタ−ンから出力パタ
−ンへの変換を真似るように、ニュ−ラルネット１１内
部のパラメ−タを修正する。次に、入力パタ−ン監視処
理部１２は、パタ−ン入力装置２３から入力パタ−ン１
８を、また学習用デ−タファイル１６から学習用デ−タ
を、それぞれ入力して、入力パタ−ン監視結果１１０を
出力する。さらに、実行履歴監視処理部１３は、パタ−
ン入力装置２３からの入力パタ−ン１８と、パタ−ン入
力装置２３からの正解出力パタ−ンと、ニュ−ラルネッ
ト１１からの出力パタ−ンとを、それぞれ入力して、こ
れらを実行履歴ファイル１７に追加記録する。また、実
行履歴監視処理部１３は、内部に保持している平均誤差
に基づいて実行履歴監視結果１１２を出力する。学習用
デ−タ更新処理部１４は、再学習の指示があったとき
に、実行履歴ファイル１７の内容と学習用デ−タファイ
ル１６の内容を読み込み、新たに学習用デ−タを作成し
て、学習用デ−タファイル１６に追加記録する。

【０００９】図３は、本発明の一実施例を示すパタ−ン
分類装置の処理フロ−チャ−トである。先ず制御処理部
１５は、ディスプレイ装置２４の画面にガイダンス表示
を行って、利用者に対し学習実行か、あるいは分類実行
か、いずれかの指示を入力するように要求する。制御処
理部１５は、これに対する利用者からの指示をキ−ボ−
ド２５を介して受け付け、これをコンピュ−タに入力す
る（ステップ３１）。利用者からの指示が学習実行であ
る場合には、制御処理部１５はニュ−ラルネット１１を
起動して、学習実行を命令する。これにより、起動され
たニュ−ラルネット１１は、学習用デ−タファイル１６
から学習用デ−タを読み込み、この学習用デ−タを用い
て学習を実行する（ステップ３２）。利用者からの指示
が分類実行である場合には、制御処理部１５はニュ−ラ
ルネット１１を起動して、分類実行を命令するととも
に、入力パタ−ン監視処理部１２、実行履歴監視処理部
１３を起動する。ニュ−ラルネット１１は、入力パタ−
ン１８がパタ−ン入力装置２３を介して外部から入力さ
れると、入力パタ−ン１８を変換して分類結果である出
力パタ−ン１９を、ディスプレイ装置２４と実行履歴監
視処理部１３に出力する（ステップ３３，３４）。次
に、入力パタ−ン監視処理部１２は、入力パタ−ン１８
と学習用デ−タファイル１６から読み込んだ学習用デ−
タとを入力し、入力パタ−ン監視結果１１０をディスプ
レイ装置２４に出力する（ステップ３５）。さらに、実
行履歴監視処理部１３は、入力パタ−ン１８と、ニュ−
ラルネット１１の出力パタ−ン１９とを入力し、これら
の値を保持しておく（ステップ３６）。そして、ステッ
プ３３に戻る。

【００１０】正解出力パタ−ン１１１がパタ−ン入力装
置２３を介して入力された場合には（ステップ３３）、
実行履歴監視処理部１３は、保持していた入力パタ−ン
と出力パタ−ンと入力された正解出力パタ−ン１１１と
を、実行履歴ファイル１７に格納していく。また、分類
開始時点から保持していた平均誤差を更新する（ステッ
プ３７）。もし、平均誤差が予め設定されている一定値
を越えた場合には（ステップ３８）、ディスプレイ装置
２４の画面に実行履歴監視結果１１２を出力表示し、平
均誤差が増加したことを利用者に通知する。制御処理部
１５は、ニュ−ラルネット１１の再学習を行うか否かの
指示を入力するように、利用者に要求する。そして、利
用者からの指示をキ−ボ−ド２５を介して入力する（ス
テップ３９）。利用者からの指示が再学習である場合に
は、制御処理部１５は学習用デ−タ更新処理部１４を起
動する。起動された学習用デ−タ更新処理部１４は、実
行履歴ファイル１７の内容と学習用デ−タファイル１６
の内容を読み込んで、新たに学習用デ−タを作成する。
そして、作成した学習用デ−タを学習用デ−タファイル
１６に記録し、次に実行履歴ファイル１７の内容を消去
する（ステップ３１０）。再びステップ３２に戻って、
制御処理部１５はニュ−ラルネット１１を起動し、学習
を実行させる。

【００１１】図５は、図１における学習用デ−タファイ
ルの内部構成図である。学習用デ−タファイル１６に
は、入力パタ−ン５１と教師パタ−ン５２の組である学
習用デ−タ、および学習終了後のニュ−ラルネット１１
が入力パタ−ン５１に対して出力した出力パタ−ン５３
からなるデ−タが複数個格納されている。また、このフ
ァイル１６には、全ての学習用デ−タの入力パタ−ン５
１の分布を表わす量が格納される。すなわち、全ての学
習用デ−タの入力パタ−ン５１についての平均５４と、
標準偏差５５と、最小値５６と、最大値５７とが、それ
ぞれ格納されている。いま、学習用デ−タファイル１６
に格納された学習用デ−タの個数をＮＬとし、第ｊ番目
の学習用デ−タの入力パタ−ン５１を次のように置く。ＸＬ（ｊ）＝（ＸＬ（ｊ）１，ＸＬ（ｊ）２，・・・・，ＸＬ（ｊ）ｍ）ここでｊ＝１，・・・，ＮＬ・・・・・・・・・・・（３）この場合には、平均５４と標準偏差５５は、それぞれ次
の値で示される。Ｍ＝（Ｍ１，Ｍ２，・・・，Ｍｍ）・・・・・・・・・・・・・（４）Ｓ＝（Ｓ１，Ｓ２，・・・，Ｓｍ）・・・・・・・・・・・・・（５）ただし、上記ＭｉとＳｉ（ｉ＝１，・・・，ｍ）は、次
式により得られる。

【数１】

【数２】最小値と最大値は、それぞれ次の式で表わされる。Ａ＝（Ａ１，Ａ２，・・・・，Ａｍ）・・・・・・・・・・・（６）Ｂ＝（Ｂ１，Ｂ２，・・・・，Ｂｍ）・・・・・・・・・・・（７）ここで、上記ＡｉとＢｉ（ｉ＝１，２，・・・，ｍ）
は、次式により得られる。

【００１２】図６は、本発明における入力パタ−ン監視
処理部の処理フロ−チャ−トである。ここでは、先ず学
習用デ−タファイル１６の中の入力パタ−ン５１の分布
上での現在の入力パタ−ン１８の位置Ｐを計算する（ス
テップ６１）。入力パタ−ン１８を次式で置くと、Ｘ＝（Ｘ１，Ｘ２，・・・，Ｘｍ）・・・・・・・・・・・・（10）位置Ｐは次式で与えられる。Ｐ＝（Ｐ１，Ｐ２，・・・・，Ｐｍ）・・・・・・・・・・・(11）ただし、Ｐｉ（ｉ＝１，・・・，ｍ）は、次式により得
られる。Ｐｉ＝（Ｘｉ−Ｍｉ）／Ｓｉ・・・・・・・・・・・・・・・（12）つまり、ＰｉはＸｉの平均Ｍｉからの偏差を標準偏差Ｓ
ｉで規格化して表現したものである。これにより、利用
者は入力パタ−ンＸが分布のどこに位置するかを知るこ
とができる。Ｐｉの絶対値が大きいほど、入力パタ−ン
１８の第ｉ要素は非常に希な位置、つまり分布の端の方
に位置していることが判る。

【００１３】次に、学習用デ−タで、現在の入力パタ−
ン１８に最も似ている入力パタ−ン５１を持つものを検
索する。ここでは、学習用デ−タの個数をＮＬ、第ｊ番
目の学習用デ−タの入力パタ−ンをＸＬ（ｊ）、教師パ
タ−ンをＴＬ（ｊ）、入力パタ−ンＸＬ（ｊ）について
の学習後のニュ−ラルネットの出力パタ−ンをＹＬ
（ｊ）とする。ＸＬ（ｊ）＝（ＸＬ（ｊ）１，ＸＬ（ｊ）２，・・，ＸＬ（ｊ）ｍ）ｊ＝１，・・・，ＮＬ・・・・・・・・・（13）ＴＬ（ｊ）＝（ＴＬ（ｊ）１，ＴＬ（ｊ）２，・・，ＴＬ（ｊ）ｍ）ｊ＝１，・・・，ＮＬ・・・・・・・・・（14）ＹＬ（ｊ）＝（ＹＬ（ｊ）１，ＹＬ（ｊ）２，・・，ＹＬ（ｊ）ｍ）ｊ＝１，・・・，ＮＬ・・・・・・・・・（15）現在の入力パタ−ンＸと上記学習用デ−タの入力パタ−
ンＸＬ（ｊ）との距離Ｄ（ｊ）を、ｊ＝１，・・・，Ｎ
Ｌについてそれぞれ計算する（ステップ６２）。なお、
距離Ｄ（ｊ）は、次の式により求められる。Ｄ（ｊ）＝ｓｑｒｔ（Ｄ（ｊ）１²＋Ｄ（ｊ）２²＋・・＋Ｄ (ｊ)²ｍ）ｓｑｒｔは√を示す。・・・・・・・・・・・・・（16）ただし、Ｄ(ｊ)ｉ＝ａｂｓ（（Ｘｉ−ＸＬ(ｊ)ｉ）／Ｓ
ｉ）（ｉ＝１，・・・，ｍ、またａｂｓは絶対値記号を示す。）・・・・（17）次に、学習用デ−タを、上記距離Ｄｊが小さいものか
ら順に並べ替える。求められた第ｊｍｉｎ番の学習用デ
−タについて、入力パタ−ンＸＬ（ｊｍｉｎ）、教師パ
タ−ンＴＬ（ｊｍｉｎ）、入力パタ−ンＸＬ（ｊｍｉ
ｎ）についての学習後のニュ−ラルネットの出力パタ−
ンＹＬ（ｊｍｉｎ）をディスプレイ装置２４に出力し
て、利用者に知らせる（ステップ６３）。

【００１４】図７は、ニュ−ラルネットの出力結果と入
力パタ−ン監視処理部の出力結果を表示した画面の図で
ある。図７に示すように、画面の上部には、与えられた
入力パタ−ンＸ１８と、これに対する分類結果であるニ
ュ−ラルネット１１の出力パタ−ンＹ１９とが表示され
ている。また、画面の中央部には、学習用デ−タファイ
ル１６内の学習用デ−タの入力パタ−ン全体の分布が表
示されている。具体的には、上方から順に最小値Ａ５
６、最大値Ｂ５７、平均値Ｍ５４、標準偏差Ｓ５５が表
示され、さらにその下方の行には、上記分布における入
力パタ−ン１８の位置Ｐ７１が表示されている。さら
に、画面の下部には、学習用デ−タファイル１６内の学
習用デ−タの中で与えられた入力パタ−ンＸ１８に類似
した入力パタ−ンを持つものを検索した結果が表示され
る。画面では、入力パタ−ン間の距離７２、入力パタ−
ンＸＬ（ｊｍｉｎ）５１、教師パタ−ンＴＬ（ｊｍｉ
ｎ）５２、学習後のニュ−ラルネット１１の出力パタ−
ンＹＬ（ｊｍｉｎ）５３の順序で表示される。

【００１５】図８は、本発明における実行履歴監視処理
部の処理フローチャートである。先ず、入力パターンＸ
と出力パターンＹが得られると、これらを時系列に保持
しておく（ステップ８１）。正解出力パターンＴが得ら
れた時点で、これに対応した入力パターンＸと、そのＸ
に対するニューラルネット１１の出力パターンＹと、正
解出力パターンＴとを実行履歴ファイル１７に時系列に
記録していく（ステップ８２）。次に、出力パターンＹ
と正解出力パターンＴの誤差（Ｙ−Ｔ）を用いて平均誤
差Ｅを求め、これを実行履歴ファイル１７に記録する
（ステップ８３）。平均誤差Ｅが閾値より大きいときに
は（ステップ８４）、利用者に対して平均誤差Ｅが増加
したことを通知する（ステップ８５）。これにより、利
用者は再学習を実行する。平均出力誤差Ｅの監視と、通
知については、次の図９によりさらに詳述する。なお、
正解出力パターンＴについて説明すると、現在のデータ
から作った入力パターンＸをネットワークに入力し、結
果として分類結果を示す出力パターンＹが出力される
が、その時点では正解出力パターンＴは不明である。そ
して、ある時間が経過した時点で、入力パターンＸに対
応する正解出力パターンＴが判明する場合がある。その
時点で、パターンＸについて、ＹとＴとの比較結果を蓄
積するのである。

【００１６】図９は、本発明における実行履歴ファイル
の内部構成図である。このファイル１７には、入力パタ
−ンＸＨ９１、入力パタ−ンＸＨ９１に対するニュ−ラ
ルネット１１の出力パタ−ンＹＨ９２、後で得られる正
解出力パタ−ンＴＨ９３、および出力パタ−ン間の誤差
９４が時系列に格納される。また、出力誤差の累積誤差
９５および平均誤差９６も、記録される。平均出力誤差
９６をＥとし、分類が始まってから現在までにファイル
１７に蓄積された履歴デ−タの個数をＮＨとすると、Ｅ
は次式により算出される。

【数３】実行履歴監視処理部１３は、保持している平均出力誤差
Ｅを監視して、Ｅが予め設定された閾値を越えたときに
は、利用者にニュ−ラルネットの再学習を行う必要があ
ることを通知する（図８のステップ８４，８５）。

【００１７】ニュ−ラルネットの再学習では、前回の学
習に用いた学習用デ−タと、前回の学習以後に得られた
実行履歴の両方を学習用デ−タとして用いる。先ず、実
行履歴ファイル１７の中の入力パタ−ン９１および正解
出力パタ−ン９３を、学習用デ−タファイル１６に入力
パタ−ンおよび教師パタ−ンとして追加記録する。ただ
し、前回の学習用デ−タ中のデ−タで、実行履歴ファイ
ル１７中のデ−タと矛盾するものは学習の対象から除外
する。再学習が開始されると、ニュ−ラルネット１１は
学習用デ−タファイル１６の中の入力パタ−ン５１と教
師パタ−ン５２の組を提示されることにより、学習を実
行する。本実施例では、利用者は図７に示す画面を見る
ことにより、次の事項を確認することができる。（イ）入力パタ−ンＸと学習用デ−タの入力パタ−ンＸ
Ｌ（ｊｍｉｎ）との距離が大きい場合には、入力パタ−
ンＸが過去に学習したどの入力パタ−ンとも似ていない
ことを意味するので、入力パタ−ンＸに対するニュ−ラ
ルネットの出力結果である出力パタ−ンＹの信頼度は低
いと判断することができる。（ロ）入力パタ−ンＸと学習用デ−タの入力パタ−ンＸ
Ｌ（ｊｍｉｎ）との距離が小さく、かつ学習後の出力パ
タ−ンＹＬ（ｊｍｉｎ）と教師パタ−ンＴＬ（ｊｍｉ
ｎ）とが等しく、出力パタ−ンＹが学習後の出力パタ−
ンＹＬ（ｊｍｉｎ）と類似である場合には、出力パタ−
ンＹの信頼度は高いと判断することができる。（ハ）また、実行履歴監視処理部１３は、保持してい
る平均出力誤差Ｅを常に監視し、Ｅが予め設定された閾
値を越えたときには、利用者に対して平均誤差が増加し
たことを通知するので、それにより利用者はニュ−ラル
ネットの再学習を行う必要のあることを知ることができ
る。

【００１８】

【発明の効果】以上説明したように、本発明によれば、
入力パタ−ンと学習用デ−タとを比較して、入力パタ−
ンが学習用デ−タの入力パタ−ンの分布から外れている
か否かを知ることができるので、利用者はニュ−ラルネ
ットの出力パタ−ンの信頼度を判断することができる。
また、実行履歴の監視により、正解率の低下を検出で
き、再学習の通知を受けるので、利用者はニュ−ラルネ
ットの再学習を行って信頼度を向上させることができ
る。

【００１９】

【図面の簡単な説明】

【図１】本発明の一実施例を示すパタ−ン分類装置の機
能ブロック図である。

【図２】本発明の一実施例を示すパタ−ン分類装置のハ
−ドウェア構成図である。

【図３】図１におけるパタ−ン分類装置の処理フロ−チ
ャ−トである。

【図４】従来のニュ−ラルネットの動作原理を示す図で
ある。

【図５】図１における学習用デ−タファイルの内部構成
図である。

【図６】図１における入力パタ−ン監視処理部の処理フ
ロ−チャ−トである。

【図７】図１における入力パタ−ン監視結果の画面を示
す図である。

【図８】図１における実行履歴監視処理部の処理フロ−
チャ−トである。

【図９】図１における実行履歴ファイルの内部構成図で
ある。

【符号の説明】

１１ニュ−ラルネット、１２入力パタ−ン監視処理
部、１３実行履歴監視処理部、１４学習用デ−タ更
新処理部、１５制御処理部、１６学習用デ−タファ
イル、１７実行履歴ファイル、１８入力パタ−ン、
１９出力パタ−ン、１１０入力パタ−ン監視結果、
１１１正解出力パタ−ン、１１２実行履歴監視結
果、２１コンピュ−タ、２２補助記憶装置、２３
パタ−ン入力装置、２４ディスプレイ装置、２５キ
−ボ−ド、４１ニュ−ラルネットのノ−ド、４２ニ
ュ−ラルネットのア−ク、５１学習用デ−タファイル
内の入力パタ−ン、５２教師パタ−ン、５３ニュ−
ラルネットの出力パタ−ン、５４入力パタ−ン全体の
平均、５５入力パタ−ン全体の標準偏差、５６入力
パタ−ンの最小値、５７入力パタ−ンの最大値、７１
学習用デ−タの入力パタ−ン分布の現在の入力パタ−
ンの位置、７２入力パタ−ンと学習用デ−タの入力パ
タ−ンの距離、９１実行履歴ファイル内の入力パタ−
ン、９２同じく出力パタ−ン、９３同じく正解出力
パタ−ン、９４同じく出力パタ−ン間の誤差、９５
同じく出力パタ−ン間の誤差の累積値、９６同じく出
力パタ−ン間の誤差の平均値。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims

(57)【特許請求の範囲】

【請求項１】ニューラルネットを用いて分類対象であ
る入力パターンを用類結果である出力パターンに変換す
るパターン分類装置において、与えられた入力パターンと上記ニューラルネットの学習
に用いる学習用データの入力パターンとを比較する入力
パターン監視モジュール、学習用データを格納する学習
用データファイル、与えられた入力パターンに対する上
記ニューラルネットの出力パターンと該入力パターンに
ついての正解出力パターンとを比較して、比較結果を履
歴として蓄積し、該比較結果から異常を判断する実行履
歴監視モジュール、該比較結果の履歴を格納する実行履
歴ファイル、および該実行履歴ファイルの内容と上記学
習用データファイルの内容を読み出し、読み出された該
実行履歴ファイルの内容を該学習用データファイルに追
加記録し、該実行履歴ファイルと比較して矛盾が検出さ
れない学習用データを新たに作成してファイル内容を更
新する学習用データ更新処理モジュールを具備すること
を特徴とするニューラルネットを利用したパターン分類
装置。
【請求項２】請求項１に記載のニューラルネットを利
用したパターン分類装置において、上記入力パターン監視モジュールは、分類対象として与
えられた入力パターンが全学習用データの入力パターン
の分布上のどこに位置するかを計算するとともに、分類
対象として与えられた上記入力パターンに類似する入力
パターンを持つ学習用データを検索することを特徴とす
るニューラルネットを利用したパターン分類装置。
【請求項３】請求項１に記載のニューラルネットを利
用したパターン分類装置において、上記実行履歴監視モジュールは、分類対象として与えら
れた入力パターンと、該入力パターンについてのニュー
ラルネットの出力パターンと、該入力パターンについて
の正解出力パターンとを、実行履歴として実行履歴ファ
イルに蓄積することを特徴とするニューラルネットを利
用したパターン分類装置。
【請求項４】請求項１に記載のニューラルネットを利
用したパターン分類装置において、上記実行履歴監視モジュールは、分類対象である入力パ
ターンについてのニューラルネットの出力パターンと、
該入力パターンについての正解出力パターンとの間の誤
差を全実行履歴について平均した平均誤差を算出して、
算出結果を実行履歴ファイルに保持し、該平較誤差が予
め定められた閾値を越えたときには、上記ニューラルネ
ットの再学習を行う必要があることを利用者に通知する
ことを特徴とするニューラルネットを利用したパターン
分類装置。
【請求項５】請求項４に記載のニューラルネットを利
用したパターン分類装置において、上記ニューラルネットの再学習では、前回の学習に用い
た学習用データに、前回の学習以後に得られた実行履歴
を加えたものを新たに学習用データとして用い、前回の
学習用データのうち実行履歴中のデータと矛盾するもの
を該再学習の対象から除去することを特徴とするニュー
ラルネットを利用したパターン分類装置。