JPH02108179A - パターン分別・学習装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

この発明はニューラルネットワークを用いた例えば、文
字読取、音声認識２画像認識、信号理解などにおけるパ
ターン分別・パターン学習装置に関するものである。

【従来の技術】

第５図は、例えば「概念の学習分散表現」　〔ジー・イ
ー・ヒントン著、第８回認知科学会国際会議予稿集、１
９８６年発行）　　（Ｇ、Ｅ、Ｈｉｎｔｏｎ、”Ｌｅａ
ｒ−ｎｉｎｇ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｒｅｐｒｅｓ
ｅｎｔａｔｉｏｒ＋ｓ　ｏｆ　ｃｏｎｃｅｐｔｓｌ”Ｐ
ｒｏｃｅｅｄｉｎｇｓ　ｏｆ　８ｔｈ　Ａｎｎｕａｌ　
Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　ｔｈｅＣｏｇｎｉｔｉｖ
ｅ　５ｃｉｅｎｃｅ　５ｏｃｉｅｔｙ、　１９８６＋　
ｐｐｌ−ｐｐｌ２）に示された従来の手法にもとづくパ
ターン分別・学習装置の構成図である。図においてｌは
人力信号中にいかなるパターンが存在するかを示す出力
信号を後述のニューラルネットワーク３を用いて生成す
るパターン分別装置、２はパターン分別装置１が望まし
い出力信号を出力しなかったときに望ましい出力を外部
より受け取ってニューラルネットワーク３に学習させる
パターン学習装置、３はニューラルネットワーク、４は
入力信号、５は出力信号、６は望ましい出力、７はニュ
ーラルネットワーク３を用いてパターン分別装置１が出
力信号５を計算するための入力信号の正規化情報である
。 次に第５図の動作を第６図のフローチャートを参照して
以下に説明する。まずパターンを分別する機能について
説明する。第２図は一般的なニューラルネットワーク３
の構成例である。図においてニューラルネットワーク３
は１つの入力層１２と１つ以上の中間層１３．１つの出
力層１４とより構成されている。各層に対して入力層１
２に近い層を下位の層、出力層１４に近い層を上位の層
と呼ぶことにする。各層は１つ以上のユニット１０から
できている。各ユニット１０からは１つ上位の層のすべ
て、もしくは一部のユニットｌＯに向けて任意の値の重
みをもった結合１１が伸びている。各ユニット１０には
（０，１）の範囲の連続した値が入力される。ユニッ）
ｕｊの入力（ｉ　ｘ　ｊは、このユニット１０への結合
１１をもつ１つ下位の層中のユニットをＵム、入力値を
Ｘ、出力値をｙ、ユニットｕｉからユニットｕ４への結
合１１の重みをＷｊ！とすると（１）式が成立する。 Ｘｊ＝ΣＷ　ｊ　ｉ・ｙ　ｔ−−−−−−・・−・−・
・−・−−−−−・・−・・・（１）このときある関数
ｇ　（ｘ）を使い、出力値ｙｊはｙｊ＝ｇ　（ＸＪ　） によって決定される。一般に関数ｇ　（ｘ）には（２）
式％式％ 入力層１２のユニット１０に与えられる入力値のベクト
ルが入力信号１５であり、出力層１４のユニット１０か
ら得られる出力値のベクトルが出力信号１６である。各
ユニット１０の出力値を入力Ｊｉ１２から出力Ｊｉ１４
に向かって順に計算して行くことにより出力信号１６が
得られる。ただし、入力層１２中のユニッｌ−１０の出
力値を計算するさいには入力信号１５は（０，１３の範
囲の値に正規化されなければならない（ステップ、５Ｔ
Ｉ）。 すなわち、入力信号１５がとりうる値の範囲である制限
を知った上でこの制限内での相対値として入力信号１５
は入力層１２の各ユニッ）１０に与えられる（ステップ
、５Ｔ２）。第５図における正規化情報７はこのために
使用される。出力値の解釈は、例えばニューラルネット
ワーク３が分別すべきパターンがｎ個あるとき出力層１
４にｎ個のユニット１０を設けてこれをパターン１つ１
つに対応させ、出力値が一定値以上のユニット１０に対
応するパターンが入力信号中に含まれていたと解釈した
りする。 学習は、例えば後向き誤差伝播アルゴリズムを用いて実
現される。この学習アルゴリズムのための基本方針は、
入力信号１５をニューラルネットワーク３に与えて出力
信号１６を計算しこの出力信号１６と望ましい出力信号
１６との誤差を山登り法により重みＷＢを設定し、これ
を変えて最小化していく（ステップ、５Ｔ３）。次に入
出力信号の組である例題の集合に対して学習を繰り返す
（ステップ、ＳＴ４〜５）。誤差Ｅは と定義する。ここでＣは例題のインデックス、ｊは出力
層１４のユニットＩＯのインデックス、ｙは出力値、ｄ
は望ましい出力６である。誤差Ｅを最小化するために誤
差Ｅの重みＷに関する変微分係数を求めることにする。 第一にθＥ／θｙｊを各出カニニットに対して求める。 Ｃを固定するとθＥ／θＶｔ　＝’ｊｔ　　　ｄｊ　’
−−−−−・−・・−・−−−−一−−・（４）ここで
、θＥ／θＸｊを求めるためにｃｈａｉｎ辷ｕｌｅθＥ
／θＸ、＝（θＥ／θｙ、）（θｙｊ／θＸｊ）と式（
２）の微分を用いると（５）式が得られる。 θＥ／θＸ、＝（θＥ／θｙ＝）ｙａ（ｙ＝　　１）・
−（５）これは誤差Ｅが出カニニット１０への入力によ
り影響されることを示しているがＸｊは下位レベルのユ
ニット１０の出力と重みＷの線型関数で表されるので、
誤差Ｅが下位レベルのユニッ）１０（７）出力と重みＷ
の影響をいかに受けるかが簡単に計算できる。ｃｈａｉ
ｎ　ｒｕｌｅにより（θ　Ｅ／θ　ｗ　ｊｔ）＝（θ　
Ｅ／θ　Ｘ　　Ｊ）（ａ　ｘ　　ｊ／　θ　Ｗ　ｊｉ）
Ｘ　ｊ　”　Ｗ　ｊ　ｉ　’／　１　とかけるが、Ｗｊ
、を変化させてもｙｉはＸＪに影響しないのでｙｌは定
数とみなせる。よって （θＥ／θＷｊ正）＝（θＥ／θＸＪ）Ｖ正　・−・−
（６）また、ｉ番目のユニット１０の出力値ｙが誤差已
にもたらす影響は同様にして θＥ／θｙ、＝（θＥ／θｘｊ）（θＸｊ／θｙｚ）＝
（θＥ／θＸｊ）Ｗｊ五 となる。そこでｉ番目のユニットｌＯから放射されてい
るすべての結合を考慮すると θＥ／θｙｔ　＝Σ（θＥ／θｘ　Ｊ）　　ＷＪ＝　・
−−−（７）となり、出力層１４より１つ下位レベルの
ユニット１０に対する誤差Ｅの変動θＥ／θｙ、は、（
５）式と（７）式とより、出力層１４でのユニットｌＯ
の出力ｙｊに関する誤差Ｅの変動θＥ／θ’ｉｊで次の
ように表される。 θＥ／θｙｉ＝Σ（θＥ／θｙ　ｉ）　ｙ　ｊ（ｙ　ｉ
　　１）　ｗｊ！・・−・・　　　−（χ） 式（ｘ）はある下位のレベルのユニット１０の出力の変
動が誤差已に及ぼす影響はその１つ上位のレベルのユニ
ットｌＯの出力の変動が誤差に及ぼす影響により表され
ることを示している。この手続きは出力Ｊｉｉ１４のユ
ニット１０とその１つ下位レベルのユニット１０との結
合１１以外の結合の場合も使える。 今度は重みＷの変動が誤差Ｅに及ぼす影響について考え
る。もっとも簡単な山登りの方式として重みＷをθＥ／
θＷに比例した量だけ変動させることを考える。つまり
、 ΔＷ＝−ε　（θＥ／θＷ）・・−・−−−−一−・−
・・−・−（８）式（８）に弐（５）（６）を適用する
とΔＷ　ｊ　！　＝−ε（θＥ／θｘ＝）ｙｔ＝−ε（
θＥ／θ）’ｉ））’ｊＯ’＝　　１）ｙｔ−（Ｙ）と
なる。この式（Ｙ）と（Ｘ）とよりユニットｉからユニ
ットｊへの重みＷｉｊの変動分ΔＷＪ、はユニットｊよ
りルベル上位のユニットにおけるθＥ／θｙを計算する
ことにより求めることができることが判明する。 実際に重みＷを更新する手続きは出力層１４から人力層
１２に向けて、出力値を求める手続きとは逆向きに行わ
れる。ニューラルネットワーク３がｎ層からできている
場合で考える。第ｎ層（出力層）におけるユニット１０
のθＥ／θｙは（４）式より出力値と望ましい出力との
差である。これと（Ｙ）式により第ｎ層のユニットと第
ｎ−１層のユニットの間の結合の重みＷを更新する。さ
らに更新前の重みＷと第ｎ層におけるユニットのθＥ／
θｙを用いて（Ｘ）式より第ｎ−１層のユニットのθＥ
／θｙを求める。以後ｎを減少させる方向にこの操作を
繰り返すことにより重みＷが順次更新されていく。 このアルゴリズムを実現するために第２図に示されたニ
ューラルネットワーク３中の各ユニット１０と結合１１
は例えば、ＩＣメモリなどの記憶素子で構成される。各
ユニットｌＯは自らの出力値ｙと出力の変動に対する誤
差Ｅの変動分θＥ／ａｙを記憶している。各結合は重み
Ｗと重みの変化分ΔＷを記憶している。ただし各結合中
のＷの初期値は全く任意に決められる。このようにして
、各パターンに対し、例題の生成と学とが行われ、全て
のパターンをこの方法で分別可能か否か繰り返し判別す
る（ステップ、５Ｔ６）。第５図に示されたパターン分
類装置は、前記ステップ、　　ＳＴ６を実行するもので
、例えばマイクロプロセッサのような計算機構を用いて
（１）（２）式より各ユニット１０の出力値ｙを計算す
る。この処理が完了したときに出力層１４の各ユニット
ｌＯから得られた出力信号１６が望ましい出力と異なっ
ている場合、第５図に示されたパターン学習装置が起動
される。 パターン学習装置はユニットｌＯ中のθＥ／θｙと結合
中の誤差ΔＷを例えばマイクロプロセッサのような計算
機構を用いて（Ｘ）　（Ｙ）式にもとづいて計算する。 以上のように、第６図のフローチャートに基いてパター
ンの分別と学習とが行われる。

【発明が解決しようとする課題】

従来のパターン分別・学習装置は以上のように構成され
ているので、パターン分別装置が複数のパターンを正し
く分別できるようになるまで、使用者が絶えず望ましい
出力６をパターン学習装置に入力してやる必要がありニ
ューラルネットワーク３中の結合１１の重みを学習させ
ていかなければならないという課題があった。また、従
来のパターン分別・学習装置では入力信号を（０，１）
の範囲に正規化するために正規化情報をパターン分別の
度に入力しなければならないという課題があった。 この発明は上記のような課題を解消するためになされた
もので、分別すべき入カバターンの特徴を予め一定の規
則に従って指定しておくことによりこれを分別するよう
なニューラルネットワーク３中の結合１１の重みを自動
的に生成するパターン分別・学習装置を得ることを目的
とする。

【課題を解決するための手段】

この発明に係るパターン分別・学習装置はパターン記述
変換装置にパターン記述を入力し、そのパターン記述に
特徴が記述されたパターンを分別できるニューラルネッ
トワークを自動的に生成するようにし、前記パターン記
述より入力信号を正規化するための正規化情報の両方を
自動的に生成する前記パターン記述変換装置を従来のパ
ターン分別・学習装置に付加しニューラルネットワーク
の結合の重みを自動的に生成するようにしたものである
。

【作用】

この発明におけるパターン分別・学習装置はパターン記
述により分別すべきパターンの特徴と入力信号の制限が
指定されるので、前記パターン記述に指定されたパター
ンを分別するニューラルネットワークを自動的に生成で
き、また、入力信号の正規化情報をオンライン記憶化し
てこれをパターン分別装置にかけ、入力信号の正規化を
自動的に行う。更に、この発明におけるパターン分別・
学習装置にはパターン学習装置も備えているのでパター
ン記述に指定されたパターンの特徴に不備があった場合
でも学習によりニューラルネットワークを自動的に修正
する。

【実施例】

以下、この発明の一実施例を図について説明する。図中
、第５図と同一の部分は同一の符号をもって図示した第
１図において、８はパターン記述変換装置、９はパター
ン記述である。入力信号４の正規化情報７と第５図に示
す入力信号との相違点は、オンライン記憶化されている
ことにある。 第１図のパターン記述９は、第３図に示すように、人力
信号４の特徴を指定した変数宣言９Ａと、パターンの特
徴を指定したスケルトン宣言９Ｂとからなる。変数宣言
９Ａは入力信号１５を表現する変数名と人力信号１５が
とりうる値の制限範囲を指定した制限とからなる。制限
はたとえば、第４図に示したような規則にもとづいてい
る。ただし制限Ａは一意的制限Ｂと集合的制限Ｃとに分
けられる。集合的制限は外延的表現りと内包的表現Ｅと
に分けられる。そして例えば 変数１＝・５．２： 変数２　：　ｅｎｕｍ（２，４，８）；変数３：〉・１
６３．２．＜　６１１．２８；のように書かれる。各式
の意味は順に「変数１の値は５．２でなければならない
。」　「変数２の値は２．４．８のいづれかでなければ
ならない。」　「変数３の値は１６３．２以上で６１１
．２８未満である。」これらを順にＢ−一意的制限Ｄ外
延的表現、Ｅ内包的表現と呼ぶことにする。スケルトン
宣言９Ｂとは先に宣言された変数の値に対して満足され
るべき条件を付加することにより認識すべきパターンの
特徴を記述したものである。スケルトンは分別すべきパ
ターンに１対１に対応して宣言される。 スケルトン宣言９Ｂは第４図に示したように変数名とそ
の値に対する制限、さらに複数の変数間で満足されるべ
き条件を示した制約からなる。制限は先と同様の手法で
指定される。制約は例えば第４図に示したような規則に
したがって指定される。 制約中の論理式とは変数間で満足されるべき条件を表し
た、真と偽の２値をもつ式である。これは例えば ｄｏｕｂｌｅ（変数１．変数２）へＮＤ変数２＝＝８−
＞変数２＝＝４；変数１　＞＝　１００　ＯＲ変数２＜
＝　３．３＜−＞変数３・・１．０；のように書かれ、
順に「変数１の値の２倍が変数２の値であり、かつ変数
２の値が８であるなら変数１の値は４である。」　「変
数１が１００以上であるかまたは変数２が３．３以下で
あることは変数３が１．０であることと等価である。」
という意味である。 次に第１図の動作について説明する。まず従来のパター
ン分別・学習装置ではニューラルネットワーク３の各結
合１１の重みＷの初期値は任意の値を設定しているが、
本方式ではパターン分別・学習装置の使用者がパターン
記述９に入力信号１５から分別すべきパターンの特徴を
スケルトンとして記述しておきこれをもとにパターン記
述変換装置８がニューラルネットワーク３の各結合の重
みの初期値を設定する。その後、入力信号４がパターン
分別装置１に与えられ、パターン分別装置１はニューラ
ルネットワーク３を用いてこの入力信号４を分別する。 さらに、もしパターン記述９に不備があって使用者の意
図にそくわない分別が行われたときは、使用者はパター
ン学習装置２にニューラルネットワーク３と望ましい出
力を与えニューラルネットワーク３をトレーニングする
。 パターン記述変換装置８は入力信号４の正規化情報７と
ニューラルネットワーク３の構造および各結合の重みを
生成する。入力信号４の正規化情報７は先の変数の制限
にもとづいて生成される。 一意的制限Ｂの場合は入力信号４は［０，１）の範囲中
の一定値に正規化される。外延的表現りの場合は［０，
１）の範囲中の離散した値に対応づけられて正規化され
る。したがって、これら２つの場合には制限として与え
られた値とそれに対応する正規化値との組が正規化情報
として出力される。内包的表現Ｅの場合には 正規化値＝（入力値−最小値）／最大値の計算式が正規
化情報７として出力される。この正規化情報７はパター
ン分別装置１が入力信号４を正規化するための手段とし
てオンライン的に用いられる。ネットワークについては
第２図に示すように入力層１２．中間層１３．出力層１
４の３層からできているものと仮定し、パターン記述変
換装置８はニューラルネットワーク３のユニット１０と
各結合１１の重みを生成する。入力層１２中の各ユニッ
ト１０はパターン記述で指定された変数１つ１つに対応
するものとして、入力層１２中のユニット１０は変数の
数だけつくられる。出力層１４中のユニット１０の数は
分別すべきパターンの数だけ、すなわちスケルトンの数
だけ用意される。中間層１３のユニット数は出力層１４
のユニット数をＮとして ｌｏｇｚＮ≦Ｘ　＜　１０ｇｚ　（Ｎ　＋　１　）を満
足する整数Ｘに設定される。これらのユニット間の結合
の重みは全く任意に設定される。次にパターン記述変換
装置８はスケルトンによって指定された制限・制約を満
たすような例題を発生させる。すなわち、制限が指定さ
れた変数に対してはその制限を満足するような値を、制
限が指定されていない変数に対しては全く任意な値を設
定し、さらにこれらのうち制約を満足するものだけを取
り出す。このようにしてできた例題をパターン記述変換
装置８はパターン分別装置１に与え出力信号１６を計算
させる。、さらに、パターン記述変換装置８はこの出力
信号１６と望ましい出力６、ニューラルネットワーク３
をパターン学習装置２に入力してニューラルネットワー
ク３を学習させる。 この操作はパターン記述に指定されたすべてのパターン
をパターン分別装置１が分別できるようになるまで続け
られる。このようにして指定されたパターンを分別でき
るニューラルネットワーク３が自動生成される。 なお、上記実施例ではニューラルネットワーク３は記憶
装置、パターン分別装置１とパターン学習装置２はマイ
クロプロセッサなどの計算機構として別々に実現されて
いたが、ニューラルネットワーク３の各ユニット１０が
メモリとマイクロプロセッサを持ち合わせたようなマル
チマイクロプロセッサなどの並列計算機を用いても同様
の効果が期待できる。

【発明の効果】

この発明は以上説明したとおり、予め指定されたパター
ンを自動的にパターン分別装置で分別できるように予め
ニューラルネットワークにパターンを記憶させておき、
そのパターンをパターン記述変換装置によって学習させ
ておくので、使用者が望ましい出力をパターン学習装置
に入力してやる必要もなくニューラルネットワークの重
みを学習させる必要がないという効果がある。また、こ
の発明にはパターン学習装置も付加されているので、パ
ターン記述に不備があった場合でもニューラルネットワ
ークの使用時にこれを使用者が修正して行くことができ
る。さらに、パターン記述から抽出された正規化情報が
オンライン記憶化されているのでパターン分別のさいの
入力信号の正規化も自動化できるという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例によるパターン分別・学習装
置の構成図、第２図は一般的なニューラルネットワーク
の構成図、第３図はこの発明によるパターン記述の構成
図、第４図は第３図のパターン記述のための規則を示し
た説明図、第５図は従来のパターン分別・学習装置の構
成図、第６図は第５図の動作フローチャートである。 図において、１はパターン分別装置、２はパターン学習
装置、３はニューラルネットワーク、８はパターン記述
変換装置である。第１図、第５図において、楕円は処理
を行う各ブロックを、各ブロックに左から入る矢印はそ
のブロックに対する入力を、下から入る矢印はそのブロ
ックが自己の処理の中で使用する手段を、右から出る矢
印はそのブロックの出力を、矢印機に付けられた枠はそ
の矢印によって選ばれる情報の内容をそれぞれ表してい
る。 なお、各図中同一符号は同一または相当部分を示す。 ｉｉ４図 手 続 補 正 ２、発明の名称 パターン分別・学習装置 ３、補正をする者 代表者 ｄブ 書 昭和 岐 寸 （自　発） ６３１つ１９ 年“月°日 哉 ６、補正の内容 （１）明細書第２頁第１Ｏ行目のｒｏｆ８ｔｈＪとある
のをｒｏｆ　ｔｈｅ　８ｔｈＪと補正する。 （２）明細書第２頁第１１行目のｒ　ｐｐｌ−ｐｐ１２
Ｊとあるのをｒｐｐ、１−１２　Ｊと補正する。 （３）明細書第３頁第２０行目から第４頁第１行目にか
けて「人力値をＸ、出力値をｙ、」とあるのをｒｕ＋の
出力値をｙ＋、Ｊと補正する。 （４）明細書第４頁第８行目の ｒ　ｌ　／　（１＋　ｅｘｐ（ｘｌ）　Ｊとあるのをｒ
　１　／　（１＋ｅｘｐ（−に））」と補正する６（５
）明細書第５頁第１３行目から同頁筒１４行目にかけて
「誤差を山登り法」とあるのを「差を誤差とし、山登り
法」と補正する。 （６）明細書筒５亘第１４の行目の「最小」とあるのを
「誤差を最小」と補正する。 （７）明細書第９頁第１６行目の「学とが」とあるのを
「学習とが」と補正する。 （８）明細書第１１頁第１４行目から同頁筒１５行目に
かけて「生成するようにし、」とあるのを「生成し、さ
らに、」と補正する。 （９）明細書第１１頁第１６行目の「正規化情報の両方
を自動的に」とあるのを「正規化情報を自動的に」と補
正する。 （１０）明細書第１１頁第１９行目の「生成するように
」とあるのを「生成・修正するようにＪと補正する。 （１１）明細書第１３頁第１６行目の「いづれかで」と
あるのを「いずれかで」と補正する。 （１２）明細書第１７頁第１行目の［ユニット数は出力
層」とあるのを［ユニット数は５例えば。 出力層」と補正する。 以　　上

Claims (1)

【特許請求の範囲】
1. 入力信号と出力信号の間に入力層、中間層及び出力層で
   結合してなるニューラルネットワークと、前記入力信号
   中にいかなるパターンが存在するかを示す出力信号を前
   記ニューラルネットワークを用いて生成するパターン分
   別装置と、前記パターン分別装置が望ましい出力信号を
   出力しなかったときに該望ましい出力を外部より受け取
   って同一の入力信号が入力された時には前記望ましい出
   力信号が得られるようにニューラルネットワークに学習
   させるパターン学習装置と、前記パターンの判別すべき
   特徴のパターン記述を解釈し、これよりニューラルネッ
   トワークを自動的に生成するパターン記述変換装置とか
   らなるパターン分別・学習装置。