JPH02238560A - 自己拡張形ニユーラル・ネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業」二の利用分野〉 この発明は、学習結果に基づいて自己拡張することがで
きる自己拡張形ニューラル・ネットワークに関する。

〈従来の技術〉 従来、誤差逆伝播（バソクプ口パゲーション）方式によ
って学習する多層パーセプトロン型ニク−ーラル・ネッ
トワークがある。この多層ノくーセプトロン型ニューラ
ル・ネットワークは、夫々ユニソトを有する入力層．中
間層および出力層から成り、各層のユニッｌ・間はンナ
プス結合によって結合さ力層と出力層の２層から成り、
出力層には同一カテゴリを表ず複数の出力ノードが存在
ずる。そして、この一つのカテゴリを表す出力ノード数
によってカテゴリ識別性能が左右される。そのため、つ
のカテゴリを表す出力ノード数は予め予想される必要数
よりも多く設定されるのが一般的である。

ここで、上記ノード（ユニット）は、他のノード（ユニ
ット）からの入力を受け取る入力部と、入力されたデー
タを所定のアルゴリズムによって演算する演算部と、演
算した結果を出力ずる出力部とから成る。

く発明が解決しようとする課題〉 上述のように、学習によってニューラル・ネツ１・ワー
クの構造を設定する場合には、多層パーセプトロン型ニ
ューラル・ネットワークの中間層の層数や中間層のユニ
ット数、あるいは、コホーネン型ニューラル・ネッ１・
ワークの出力層のノード数はいずれも、予想必要数より
も多く設定されるのが一般的である。

しかしながら、上記ニューラル・ネソｌ・ワークのよう
に層の数や各層に含まれるノー｝・（ユニット）数を多
く設定すると、各ノード（ユニット）間の結合が多くな
り、而のノード（ユニット）からの信号を所定のアルゴ
リズムによって変換して次のノード（ユニット）に出力
する際の計算量が多くなり、学習動作あるいは識別動作
が遅くなるという問題かある。ところが、層の数や各層
に含まれるユニット数を必要数より少なく設定すると、
学習データに対して十分に学習しない（すなわち、学習
が収束しなしり。また、ノード間の重み関数（エネルギ
ー関数）の局所最適値に陥って学習が収束しない場合が
生じるという問題もある。

そこで、この発明の目的は、学習時において必要に応じ
てネットワーク構造を自己拡張することによって、中間
層の層数や各層内のノード（ユニット）数を必要最小限
の数に設定して学背時問および識別時間を短縮し、学習
が収束しない場合は収束に向かうようにして学習を効率
良くできる自己拡張形ニューラル・ネットワークを提供
することにある。

？ トワーク構造によって学習を継続することを特徴として
いる。

また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層７中
間層および出力層から成る多層二，ーラル・ネットワー
クであって、上記自己拡張部がネットワーク構造を自己
拡張する際に、上記新たなノードを上記中間層内に設け
るようになっていることが望ましい。

また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、出力層の複
数のノードが同一のカテゴリを表ずニューラル・ネット
ワークであって、上記自己拡張部がネットワーク構造を
自己拡張する際に、上記新たなノードを上記出力層内に
設けるようになっていることが望ましい。

また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層，中
間層および出力層から成る多層ニューラル・ネットワー
クであって、」−記自己拡張部〈課題を解決するだめの
手段〉 上記目的を達成するため、この発明の自己拡張形ニュー
ラル・ネットワークは、学習に際して、入力された学習
データとノード間結合重みの値を用いて出力データを求
め、この出力データに基づいて学習の収束判定を行い、
その結果学習が収束していない場合には上記ノード間結
合重みの値を所定の規則に従って更新するニューラル・
ネットワークにおいて、上記出力データとノード間結合
重みの値に基づいて学習が進行しているか否かを判定し
、学習が進行していないと判定した場合は、ネットワー
ク構造の拡張を指示する拡張指示信号を出力する学習進
行判定部と、上記学習進行判定部からの拡張指示信号に
従って新たなノードを設け、この新たに設けられたノー
ドのノード間結合の状態および新たに設けられたノード
間結合のノーＦ間結合重みの初期値を設定することによ
ってネットワークの構造を自己拡張する自己拡張部を設
けて、上記自己拡張部によってネソトワーク構造が自己
拡張された場合は、自己拡張されたネツ８一 がネットワーク構造を自己拡張する際に、上記新たなノ
ードで新たな中間層を構成し、この新たな中間層を上記
中間層に付加して設けるようになっていることが望まし
い。

また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層，中
間層および出力層から成る多層ニューラル・ネットワー
クであって、上記自己拡張部がネットワーク構造を自己
拡張する際に、上記新たなノードで新たな出力層を構成
し、この新たな出力層を上記出力層の上層として設ける
と共に、上記出力層を新たな中間層として上記中間層に
付加して設けるようになっていることが望ましい。

また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、出力層の複
数のノードが同一のカテゴリに割り付けられて教師有り
学習によって学習が行われるニューラル・ネットワーク
であって、上記自己拡張部がネットワーク構造を自己拡
張する際に、上記新たなノードを上記出力層内に設け、
その際に最も誤りの程度の大きな学習データの各要素の
値を、その学習データが属するカテゴリに新たに割り付
けられたノードのノード間結合重みの各要素の初期値と
して設定ずる．Ｌうになっていることが望ましい。

く作用〉 学習に際して、学習データが入力されると、この入力さ
れた学習データとノード間結合重みの値を用いて出力デ
ータが求められる。そして、この出力データに基づいて
学習が収束していないと判定された場合は、上記ノード
間結合重みの値が所定の規則に従って更新される。その
際に、学習進行判定部によって、上記出力データとノー
ド間結合重みの値に基づいて学習が進行しているか否か
が判定される。その結果、学習が進行していないと判定
された場合は、ネットワーク構造の拡張を指示する拡張
指示信号が出力される。そうすると、自己拡張部によっ
て、上記拡張指示信号に従って新たなノードが設けられ
、この新たに設けられたノードのノード間結合の状態お
よび新たに設けら１Ｉ 力層の複数のノードが同一のカテゴリを表ずニューラル
・ネットワークであって、上記自己拡張部がネットワー
ク構造を自己拡張する際に、上記新たなノードを上記出
力層内に設けるようになっているので、上記出力層内の
ノード数を増加することができる。したがって、当初上
記出力層内のノード数を予想される数より少なめに設定
すれば、出力層内のノーＦ数を必要最小限の数に設定す
ることができる。

また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、入力層，中間層お
よび出力層から成る多層ニューラル・ネットワークであ
って、上記自己拡張部がネットワーク構造を自己拡張す
る際に、上記新たなノードで新たな中間層を構成し、こ
の新たな中間層を上記中間層に付加して設けるようにな
っているので、上記中間層の暦数を増加するこ七ができ
る。

したがって、当初上記中間層の層数を予想される数より
少なめに設定すれば、中間層の層数を必要最小限の数に
設定することができる。

れたノード間結合のノード間結合重みの初期値が設定さ
れてネットワークの構造が自己拡張される。

こうして、ネットワーク構造が自己拡張された後は、自
己拡張されたネットワーク構造によって学習が続行され
るのである。したがって、当初ノード数を予想される数
より少なめに設定すれば、ノード数を必要最小限の数に
設定することができる。

また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、入力層，中間層お
よび出力層から成る多層ニューラル・ネットワークであ
って、上記自己拡張部がネットワーク構造を自己拡張す
る際に、上記新たなノードが上記中間層内に設けられる
ようになっているので、上記中間層内のノード数を増加
することができる。したがって、当初上記中間層内のノ
ード数を予想される数より少なめに設定すれば、中間層
内のノード数を必要最小限の数に設定することができる
。

また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、出また、上記自己
拡張形ニューラル・ネットワークにおける上記ニューラ
ル・ネットワークは、入力層，中間層および出力層から
成る多層ニューラル・ネットワークであって、上記自己
拡張部がネソトワーク構造を自己拡張する際に、上記新
たなノードで新たな出力層を構成し、この新たな出力層
を上記出力層の上層として設けると共に、上記出力層を
新たな中間層として上記中間層に付加して設けるように
なっているので、上記中間層の層数を増加することがで
きる。したがって、当初上記中間層の層数を予想される
数より少なめに設定すれば、中間層の層数を必要最小限
の数に設定することができる。

また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、出力層の複数のノ
ードが同一のカテゴリに割り付けられて教師有り学習に
よって学習が行われるニューラル・ネットワークであっ
て、上記自己拡張部がネットワーク構造を自己拡張する
際に、上記新たなノードを上記出力層内に設け、その際
に最ム誤りの程度の大きな学習データの各要素の値を、
その学習データが属するカテゴリに新たに割りイ」けら
れたノードのノード間結合重みの各要素の初期値として
設定するようになっているので、上記出ノノ層内に新た
なノードを設けることができると共に、最も誤りの程度
の大きな学習データに対して正しいカテゴリ識別結果が
得られるように、上記出力層内に新たに設けられたノー
ドのノード間結合重みの初期値が設定される。

〈実施例〉 以下、この発明を図示の実施例により詳細に説明する。

第１図はこの発明の自己拡張ニューラル・ネットワーク
のブロック図である。このブロック図における入ノＪ部
１，演算部２および出力部３は、バックプロパケーソヨ
ンによって学習する多層バーセプトロン型ニューラル・
ネットワークの場合には次のように考えればよい。すな
わち、入力部１は入力層におけるノードの入力部であり
、演算部２は入力層のノードから中間層の最上層のノー
ドま出力する。そうすると、演算部２は所定のアルゴリ
ズムに従って新たなノード間結合重みの値を算出して、
ノード間結合重み格納部４の内容を更新する。一方、学
習か収束した場合には演算郎２に対してノード間結合重
みの値を更新する指示信号を出力せず、学習を終了する
のである。第１図においては省略しているが、教師有り
学習の場合には収束判定部６に教師データが入力され、
収束判定部６は出力部３からの出力データと上記教師デ
ータとに基づいて学習の収束を判定するのである。

上述のような学習過程において、学習進行判定部８は、
出力部３からの出力データ，収束判定部６からの判定結
果およびノード間結合重み格納部４からのノード間結合
重みの値を取り込んで、学習が進行しているか否かを判
定し、学習が進行しない場合にはニューラル・ネットワ
ークの構造を自己拡張する指示信号を自己拡張部７に出
力する。

そうすると、後に詳述するように自己拡張部７は予め決
められた規則に従ってニューラル・ネットワークの構造
を拡張（所定の層内におけるノードでの演算部を一まと
めにして表現したものであり、出力部３は出力層におけ
る出力部である。

第１図において、学習時に際して学習サンプルのデータ
が入力郎Ｉに入力されて演算部２に送られる。そうする
と、演算部２は、学習制御部５の制御に従ってノード間
結合重み格納部４に格納されている各ノード間のノード
間結合重みの値を読み出し、上記学習データと各ノード
間結合重みの値から所定のアルゴリズムによって出力値
を算出し、算出された出力値を出力部３に送出する。そ
して、出力部３は入力された出力値から成る出力データ
を外部に出力する。

上記出力部３からの出力データが収束判定部６に入力さ
れる。そうすると、収束判定郎６は入力された出力デー
タに基づいて、学習が収束したか否かを判定する。そし
て、その判定結果を学習制御部５および学習進行判定部
８に出力する。学習制御部５は収束判定部６からの判定
結果に基づいて、学習が収束していない場合には演算部
２に対してノード間結合重みの値を更新する指示信号を
数の増加および中間層の層数の増加等）すると共に、増
設したノードに対応するノード間結合重みの値の初期値
を設定する。そして、学習制御部５および演算部２に対
して自己拡張したことを知らせる信号を出力し、新しく
設定したノード間結合重みの初期値をノード間結合重み
格納部４に出力する。

そうすると、ノード間結合重み格納部４は新しく設定さ
れたノード間結合重みの初期値を格納する。そして、次
の学習データが入力された場合には、演算部２は学習制
御部５の制御に従ってノード間結合重み格納部４に格納
された新しいノード間結合重みの値をも用いて、自己拡
張部７からの信号に基づいて新設ノードあるいは新設層
にまで演算範囲を広げて出力値の算出等を実行するので
ある。上記学習進行判定部８および自己拡張部７がこの
発明に係る主要部分である。

その際に、第Ｉ図においては省略しているが、教師有り
学習の場合には学習進行判定郎８に教師データが入力さ
れ、学習進行判定部８は収束判定部６からの判定結果、
出力部３からの出力値，ノード間結合重み格納部４から
のノード間結合重みの値および上記教師データとに基づ
いて学習の収束を判定するのである。

上記学習進行判定部８によって学習の進行の滞りを判定
する際には、以下に例示するような条件例を満たす場合
に学習の進行が滞っていると判定するのである。

条件例Ｉ ｔ回学習時におけるノード間結合重みの値と（Ｅｎ）回
学習時におけるノード間結合重みの値との変化量の絶対
値の総和の値が閾値未満である。

条件例２ ｔ回学習時におけるノード間結合重みの値と（ｔｎ）回
学習時におけるノード間結合重みの値との変化奄の二乗
和の値が閾値未満である。

条件例３ ｔ回学習時におけるノード間結合重みの値と（ｔｎ）回
学習時におけるノード間結合重みの値との変化量と、ｔ
回学習時にお１づるノード間結合重み学習を行う条件に
あてはまる学習サンプルの数が閾値未満である。

条件例１０ 教師有り学習において、出力値と教師データの値との差
の変化量が閾値以」二である。

上記学習の進行の滞りを検出する際の条件例は、単独で
用いても幾つか組み合わせて用いてもよい。

上記自己拡張形ニューラル・ネットワークは、学習時に
おいて目的とする出力値が得られず、かつ、学習の進行
が極端に滞っている状態になれば、自己拡張を行う。第
２図は自己拡張動作のフローチャートである。

ステップＳ１で、所定の学習アルゴリズムによって学習
が実行される。

ステップＳ２で、出力部３からの出力値（教師有り学習
の場合には、上記出力値と教師データ）に基づいて、学
習が収束に向かっているか否かが判別される。その結果
収束していれば自己拡張動作を含むニューラル・ネット
ワークの学習を終了する。また、そうでなければステッ
プＳ３に進む。

の値との比の二乗和の値が閾値未満である。

条件例４ ｔ回学習時における出力値と（ｔ−ｎ）回学習時におけ
る出力値との変化里と、ｔ回学習時における出力値との
比の二乗和の値が閾値未満である。

条件例５ ｔ回学冒時における出力値と（ｔ−ｎ）回学習時におけ
る出力値との変化量の二乗和の値が閾値未満である。

条件例６ 教師有り学習において、出力値と教師データの値との差
の二乗和の値が閾値以上である。

条件例７ ｔ回学習時における出力値と、ｔ回学習時における出力
値と（ｔ−ｎ）回学習時における出力値との変化量との
和の値が閾値未満である。

条件例８ 規定回数ｎ回学習を行ったとき、総ての学習ザンプルに
対して正しい出力結果が得られない。

条件例９ ステップＳ３で、学習が進行しているか否かが判別され
る。その結果進行していればステップＳ１に戻って学習
が続行され、そうでなければステップＳ４に進む。

ステップＳ４で、ニューラル・ネットワークの構造が自
己拡張された後、ステップＳ１に戻って学習が続行され
る。

次に、上記学習進行判定部８による学習進行の判定結果
とそれに基づくニューラル・ネットワークの自己拡張例
の一例について、具体的に説明する。自己拡張には大き
く分けて中間層のノード数増加，出力層のノード数増加
および中間層の層数増加がある。

（Ａ）　　中間層のノード数増加 多層バーセプトロン型ニコーラル・ネッ｝・ワークのよ
うな中間層を有するニューラル・ネットワークの学習時
において、学習の進行が滞っている状態になった場合に
は中間層のノード数を増加して学習を続行する。この場
合、中間層をもつニューラル・ネッｌ・ワークであれば
、どのようなネットワーク構造あるいは学習アルゴリズ
ムであっても構わない。また、ノードを増加させる際の
ノード間の結合状態やノード数は、必要に応じて任意に
設定できる。通常は、同一層にお（Ｊる他のノドのノー
ド間結合状態と同じノード間結合状急によって結合し、
その際のノード間結合重みの初期値はＯに近い乱数を与
える。

自己拡張例（Ａ）−１ 第３図はパックプロパゲーションによって学習を行う全
結合３層パーセプ１・ロン型ニューラル・ネットワーク
の概略図である。入力層のノードには学習データを入力
する一方、出力ノードのノードには教師データを入力し
、その際の出力データが教師データと同しになる」ユう
に学習が実行される。

いま、総ての学習データに対して、（ｔ　−　ｎ）回目
の学習における中間層の１番目のノードと出力層のｊ番
目のノードとの間の結合重みの値Ｗｉｊ（ｔ−ｎ）と、
ｔ回目の学習における中間層の】番目のノードと出力層
のｊ番目のノードとの間の結合重みの値上記パックプロ
パゲーンブンによって学習を行う全結合３層パーセプ｝
・ロン型ニクーラル・ネットワークにおいて、総ての学
習データに対して、（ｔ　−　ｎ）回目の学習にお（Ｊ
る出力層のｊ番目のノードの出力値Ｏｊ（ｔ−ｎ）とｔ
回目の学習における出力層のｊ番目のノードの出力値Ｏ
　ｊ（ｔ）との変化量と、ｔ回目の学習における出力層
の１番目のノードの出力値Ｏ　ｊ（ｔ）との比の二乗和
Ｈａ Ｊ Ｈｏ一Σ　Ｃｏｏ　．ｉ（ｔ）−０　．ｉ（ｔ　−　ｎ
）｝／Ｏ　ｊ（ｔ）：］’ｊ・１ が、閾値Ｃ未満になり、かつ、出力層のＪ番目のノード
からの出力値Ｏｊ（Ｌ）とこのｊ番目のノードに入力さ
れる教師データの信号値Ｔｉとの差の二乗和Ｅ Ｊ Ｅ一Σ　｛Ｏ　ｊ（ｔ）　−　’Ｉ”　．ｉ｝’コ・Ｉ が、閾値Ｂ以」二の場合（ずなわら、上記条件例４と条
件例６を満たず場合）に、次のようにネットワークを自
己拡張する。すなわち、自己拡張部７は中間層に含まれ
るノードの数をｎ個（ネッ１・ワーＷｉｊ（ｔ）との変
化量の二乗和△Ｗ が、閾値Ａ未満になり、かつ、出力層のｊ番目のノード
からの出力値Ｏｊ（ｔ）とこのｊ番目のノードに入力さ
れる教師データの信号値Ｔ１との差の二乗和Ｅ Ｊ Ｅ一Σ　｛Ｏ　ｊ（ｔ）　−　Ｔ　ｊ）　’ｊ−１ が、閾値Ｂ以」二の場合（すなわち、上記条件例２と条
件例６を八たず場合）に、次のようにネットワークを自
己拡張する。すなわち、自己拡張部７は中間層に含まれ
るノードの数をｍ％（任意に定めることができ、例えば
少数点以下は切り上げる）増加する。その際に、増加し
たノードは下側の層（この場合は入力層）の全ノードお
よび」二側の層（この場合は出力層）の全ノードと結合
する。また、その際のノード間結合重みの初期値として
はＯに近い乱数が与えられる。

ク構造によって所定値を定める）増加する。その際に、
増加したノードは下側の層（この場合は入力層）の全ノ
ードおよび上側の層（この場合は出力層）の全ノードと
結合する。また、その際のノード間結合重みの初期値と
しては、ノード数を増加する而の中間層におけるノード
間結合重みの値の最大値より小さい乱数が与えられる。

自己拡張例（Ａ）−３ 第４図はパックプロパゲーソヨンによって学習を行う部
分結合３層パーセブ｝・ロン型ニューラル・ネットワー
クの概略図である。このニューラル・ネソトワークは、
入力層の全ソ一ドと中間層の全ソ一ドが結合されるので
はなく、入力層に含まれる全ソ一ドを幾つかのブロック
に分けると同時に、出力値に含まれる全ノードをも同じ
数のブロックに分けろ。そｌ２て、入力層の任意のブロ
ック内の各ノー１・は中間層の任意のブロック内の全ソ
一ドと結合する。その際に、複数のブロックにまたがっ
て結合してもよい。ここで、上記ブＵｊ　ツクのことを
窓と呼ぶ。学習の際には、入力層のノードには学習デー
タを入力する一方、出力ノードのノードには教師データ
を入力し、その際の出力データが教師データと同じにな
るように学習が実行される。

いま、総ての学習データに対して、（ｔ−ｎ）回目の学
習における出力層のｊ番目のノードの出力値Ｏｊ（ｔ−
ｎ）とｔ回目の学習における出力層のｊ番目のノードの
出力値Ｏ　ｊ（ｔ）との変化量の値の二乗和△Ｏ Ｊ △０−Σ　｛Ｏ　ｊ（ｔ）　一〇　ｊ（Ｌ　−　ｎ））
　’ｊ・１ が、閾値Ｃ未満になり、かつ、出力層のｊ番目のノード
からの出力値Ｏ　ｊ（ｔ）とこのｊ番目のノードに入力
される教師データの信号値Ｔｉとの差の二乗和Ｅ Ｊ Ｅ一Σ　｛Ｏ　ｊ（ｔ）　−　Ｔ　ｊ）”ｊ＝１ が、閾値Ｂ以上の場合（すなわち、上記条件例５と条件
例６を満たす場合）に、次のようにネットワークを自己
拡張する。すなわち、自己拡張部７は中間層の各窓に含
まれるノードの数を夫々ｍ個（ネＩ Ｗｋｎ＝（Σ　Ｗ　ｋ　ｉ　）　／ｍ　ａ１二１ を与えるのである。

（Ｂ）　　出力層のノード数増加 コホーネン型ニューラル・ネットワークのように、出力
層の複数のノードが同一のカテゴリを表しているニュー
ラル・ネットワークの学習時において、学習の進行が滞
っている状態になった場合には出力層のノード数を増加
して学習を続行する。

この場合、上述のような構造のニューラル・ネットワー
クであれば、どのような学習アルゴリズムであっても構
わない。また、ノードを増加させる際のノード間結合状
態やノード数は、必要に応じて任意に設定できる。

自己拡張例（Ｂ）−１ 第５図は自己組織化特徴写像によって学習を行うコホー
ネン型ニューラル・ネットワークの概略図である。入力
層の各ノードに学習データが入力されると出力層の各ノ
ードから出力値が出力される。その際に、最大値を出力
しているノードを中ットワーク構造によって所定値を定
める）増加する。その際に、増加したノードのノード間
結合の状態はその中間層の窓に含まれるｍ。個の他のノ
ードと同じノード間結合の状態とする。また、増加され
たノードのノード間結合重みの初期値は次のように与え
る。

いま、増加されたノードは、窓２の中間層におけるｎ番
目のノード（以下、ノードｎと表し、他のノードも同様
に表す）であるとする。そうすると、中間層の増加ノー
ドｎと出力層のノードｊとのノード間結合重みの値Ｗｎ
ｊとして、窓２内の中間層の各非増加ノードと出力層の
ノードｋとのノーＦ間結合重みの値Ｗｉｊの平均値 ■ Ｗｎｊ−（　　Σ　Ｗ！Ｄ／ｍｏ ｉ＝］ を与える。

一方、中間層の増加ノードｎと入力層のノードｋとのノ
ード間結合重みの値Ｗｋｎとして、窓２内の中間層の各
非増加ノードと入力層のノードｋとのノード間結合重み
の値Ｗｋｉの平均値 心とした所定領域に在るノードに対応ずるノード間結合
重みの値を大きくし、上記所定領域付近が上記学習デー
タが属するカテゴリを表すように学習が実行される いま、規定回数ｎ回の学習が終了しても学習が終了しな
い（すなわち、総ての学習サンプルに対して正しくカテ
ゴリ分割が行われない・上記条件例８を満たす）場合に
、次のようにネットワークを自己拡張する。すなわち、
自己拡張部７は出力層のノードをｍ個新たに設ける。そ
の際に、この新設されたノードは入力層のノードに全結
合する。

また、その際のノード間結合重みの初期値としては０に
近い乱数が与えられる。ここで、上記新設ノード数ｍは
、ニューラル・ネットワークの構造およびニューラル・
ネットワークの規模によって予め設定しておく。

自己拡張例（Ｂ）−２ 第６図は学習ベクトル量子化２（ＬＶＱ２）によって学
習を行うコポーネン型ニューラル・ネットワークの概略
図である。入力層の各ノードに学習データが入力される
と出力層の各ノードから出力値が出力される。その際に
、学習データが属するカテゴリに割り付けられた出力層
のノードが最大値を出力するように学習が実行される いま、規定回数ｎ回の学習が終了しても学習が終了しな
い（すなわち、総ての学習データに対して学習データが
属するカテゴリに割り付けられた出力層のノードが最大
出力値を出力しない、換言すれば、正しい出力結果が得
られない二上記条件例８を満たず）場合に、次のように
ネットワークを自己拡張する。すなわち、自己拡張部７
は、総ての学習データに対して正しく識別されるカテゴ
リを除く全カテゴリに割り付けられる出力層のノード数
を、夫々のカテゴリにおいてｍ個新設する。

そして、出力層に新設されたノードは入力層のノードに
全結合する。ここで、上記新設ノード数ｍは、ニューラ
ル・ネットワークの構造およびニューラル・ネットワー
クの規模によって予め設定しておく。

また、その際のノード間結合重みの初期値は次３】 要素の値を、カテゴリｉ，に新たに割り付けられたノー
ドのノード間結合重みのベクトル要素の初期値とする。

以下、同様にして各新設ノードのノード間結合重みの初
期値が与えられる。

こうすることによって、上記誤りの程度の大きな学習デ
ータに対して正しい出力結果を得るように、新設ノード
のノード間結合重みの初期値を設定することができるの
である。

（Ｃ）　　中間層の層数増加 上述のパックプロパゲーションによって学習を行う多層
パーセプトロン型ニューラル・ネットワークに代表され
るフィードフォワード型のニューラル・ネットワークの
学昔において、学習の進行が滞っている状態になった場
合には中間層の層数を増加して学習を続行する。その際
に、中間層の層数を増加する方法として次の２つの方法
がある。

（ａ）出力層の上に新たな出力層を設け、旧出力層を中
間層の最上層とずる。

（ｂ）入力層と出力層との間の任意の位置に新たな中間
層を設ける。その際に、新たな中間層を設｛Ｊのように
して与える。上述のように出力層にノードを新設した後
、入力層のノードにある学習データを入力する。そして
、入力された学習データが属するカテゴ１月に割り付け
られた出力層のノードからの最大出力値Ｒｉと、他のカ
テゴリに割り付けられた出力層のノードからの最大出力
値Ｆｊ（ここで、Ｆｊを出力するノードが割り付けられ
ているカテゴリをｊとする）との比Ｈ Ｈ　＝　Ｆ　ｊ／Ｒ　ｉ を算出する。このようにして、同一カテゴリに含まれる
総ての学習データに対してＨを算出して値の大きい順に
並べる。そして、まず最大のＨの値Ｈ＋（一Ｆｊ＋／Ｒ
Ｉ＋：　ｊ＋はＨ１が得られたときのｊの値、Ｉ＋はＨ
．が得られたときの１の値である）が得らる学習データ
（すなわち、最も誤りの程度の大きな学習データ）のベ
クトル要素の値を、その学習データが属するカテゴリｉ
Ｉに新たに割り付けられたノードのノード間結合重みの
ベクトル要素の初期値とする。次に、２番目に大きなＨ
の値Ｈ２（’　Ｆ　ｊｓ／Ｒ　Ｌ）が得られる学習デー
タのベクトルる位置およびこの新たな中間層のノード数
は用途に応じて最適に設定する。

自己拡張例（Ｃ）−１ 第７図はパックプロパゲーションによって学習を行う多
層バーセプトロン型ニューラル・ネットワークの概略図
である。学習時において、上記学習の進行の滞りを検出
するための条件例のいずれかが満たされて、学習の進行
が滞っていると判定された場合に、次のようにネットワ
ークを自己拡張する。すなわち、自己拡張部７は出力層
ＬＯの上部に新たな出力層ＬＥを設ける。新出力層ＬＥ
のノード数は新中間層ＬＯと同じにし、新出力層ＬＥと
新中間層ＬＯとの間の新ノード間結合の結合状態は全結
合とする。また、上記新ノード間結合におけるノード間
結合重みの初期値は０に近い乱数を与える。

その際に、新出力層ＬＥと新中間層ＬＯとの間の新ノー
ド間結合の状態および新ノード間結合重みの初期値は、
必要に応じて最適に設定できる。

また、新中間層ＬＯに含まれるノードのノード数を上述
（Ａ）のように変更可能にできる。

自己拡張例（Ｃ）−　２ 第８図はパックプロパゲーンヨンによって学習を行う多
層パーセプトロン型ニューラル・ネットワークの概略図
である。学習時において、上述（Ａ）のようにして中間
層Ｌ１のノーＦ数を規定回数ｎ回増加したにも拘わらず
、上記学習の進行の滞りを検出するための条件例のいず
れかが満たされて学習の進行が滞っていると判定された
場合に、次のようにネットワークを自己拡張する。すな
わち、自己拡張部７は出力層ＬＯと中間層Ｌ　Ｉとの間
に新たな中間層ＬＮを設ける。新中間層ＬＮのノード数
は中間層Ｌ　Ｉと同じにし、新中間層ＬＮと出力層ＬＯ
との間の新ノード間結合の状態、および、新中間層ＬＮ
と中間層Ｌ　ｌとの間の新ノード間結合の状態は全結合
七する。その際に、出力層ＬＯと中間層Ｌ　Ｉとの間の
旧ノード間結合は切らずに接続したままにしておく。そ
して、上記新中間層ＬＮと中間層Ｌ　＋との間の新ノー
ド間結合重みの初期値は、出力層ＬＯと中間層Ｌ１との
間の旧ノくして、学習時間および識別時間を短縮するこ
とができる。また、学習が収束しない場合には強制的に
学習が収束に向かうようにして、学習の効率を良くする
ことができる。

この発明におけるニューラル・ネットワーク形状．学習
アルゴリズム，ノード間結合状態およびノード間結合重
みの初期値の与え方等の内容、および、それらの組み合
わせは、上記実施例に限定されるものではない。したが
って、上記実施例における自己拡張例（Ａ）＝　１また
は自己拡張例（Ａ）２と、自己拡張例（Ｃ）−１または
自己拡張例（Ｃ）２とを組み合わせても何等差し支えな
い。

この発明において、学習の進行の滞りを判定するための
条件例は上記実施例に限定されるものではない。また、
上述の条件例の中から使用するニューラル・ネットワー
クの形状等によって最適な条件例を幾つか組み合わせて
もよい。

く発明の効果〉 以上より明らかなように、この発明の自己拡張形ニュー
ラル・ネットワークは、出力データに基ード間結合重み
の値に０に近い乱数を加算した値を与える。また、新中
間層ＬＮと出力層ＬＯとの間の新ノード間結合重みの初
期値は０に近い乱数を与える。

その際に、新中間層ＬＮと中間層Ｌ１との間の新ノード
間結合の状態と新ノード間結合重みの初期値、および、
新中間層ＬＮと出力層ＬＯとの間の新ノード間結合の状
態と新ノード間結合重みの初期値は、必要に応じて最適
に設定できる。

上述のように、この発明の自己拡張ニコーラル・ネッ｝
・ワークは、学習時に際して、学習進行判定部８によっ
て学習の進行が滞っていると判定された場合には、自己
拡張部７によって、中間層のノード数．出力層のノード
数，中間層の層数を増加し、あるいは、出力層の上層に
新たな出力層を設けるようにしたので、当初中間層のノ
ード数や出力層のノード数あるいは中間層の層数を必要
予想数より少なめに設定しておけば、中間層の層数や各
層内のノード数を必要最小限の数に設定することができ
、学習時や識別時における計算量を少なづいて学習が収
束していないと判定した場合に、ノード間結合重みの値
を更新するニューラル・ネットワークに、学習進行判定
部と自己拡張部を設けて、上記学習進行判定部が学習が
進行していないと判定してネッ｝・ワーク構造の拡張を
指示する拡張指示信号を出力すると、この拡張指示信号
に従って、上記自己拡張部は新たなノードを設け、この
新たに設けられたノードのノード間結合の状態および新
たに設けられたノード間結合のノード間結合重みの初期
値を設定することによってネットワーク構造を自己拡張
し、更に学習を継続するようにしたので、当初のノード
数を予想される数より少なく設定すれば、学習によって
ノード゛数を必要最小限の数に設定することができる。

したがって、この発明の自己拡張形ニコーラル・ネッｌ
・ワークは、学習時や識別時における計算量を少なくで
き、学習時間および識別時間を短縮ずろことができる。

さらに、学習が進行しないようになった場合に強制的に
学習が収束に．向かうようにでき、効率よく学習を実行
１ることができる。

また、この発明の自己拡張形ニクーラル・ネットワーク
におげるニューラル・ネソｌ・ワークは、中間層を有す
る多層二コーラル・ネットワークであって、上記自己拡
張部がネソトワーク構造を自己拡張する際に、」一記新
たなノードを上記中間層内に設けるようにしたものであ
る。したがって、当初上記中間層内のノード数を予想さ
れる数より少なめに設定すれば、中間層内のノード数を
必要最小限の数に設定することができ、学習時間および
識別時間を短縮することかできる。さらに、学習が進行
しない場合に強制的に学習か収束に向かうようにでき、
効率よく学習を実行することができる。

また、この発明の自己拡張形ニコーラル・ネッｌ・ワー
クにおける」一記ニューラル・ネットワークは、出力層
の複数のノードが同一のカテゴリを表ずニューラル・ネ
ットワークであって、上記自己拡張部がネットワーク構
造を自己拡張する際に、上記新たなノードを上記出力層
内に設（ノるようにしたものである。したがって、当初
上記出力層内トワーク１こおける上記ニューラノレ・ネ
ットワークは、入力層，中間層および出力層から成る多
層ニューラル・ネットワークであって、上記自己拡張部
がネットワーク構造を自己拡張する際に、上記新たなノ
ードで新たな出ノｊ層を構成し、この新たな出力層を上
記出力層の」一層として設けると共に、上記出力層を新
たな中間層として上記中間層に付加して設けるようにし
たものである。したがって、当初上記中間層の層数を予
想される数より少なめに設定すれば、中間層の層数を必
要最小限の数に設定することができ、学習時間および識
別時間を短縮することができる。さらに、学習が進行し
ない場合に強制的に学習が収束に向かうようにでき、効
率よく学習を実行することができる。

また、この発明の自己拡張形ニコーラル・ネッｌ・ワー
クにおける上記二コーラル・ネットワークは、出力層の
複数のノーＩＳが同一のカテゴリに割り｛＝ｊ’　ＩＪ
られて教師有り学習によって学習が行われるニューラル
・ネッｌ・ワークであって、上記自己拡張部がネッ１・
ワーク構造を自己拡張する際に、のノ一ド数を予想され
る数より少なめに設定すれば、出力層内のノード数を必
要最小限の数に設定することができ、学習時間および識
別時間を短縮することができる。さらに、学習が進行し
ない場合に強制的に学習が収束に向かうようにでき、効
率よく学習を実行することができる。

また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、中間層を有
する多層ニューラル・ネットワークであって、上記自己
拡張部がネットワーク構造を自己拡張する際に、上記新
たなノードで新たな中間層を構成し、この新たな中間層
を上記中間層に付加して設けるようにしたものである。

したがって、当初上記中間層の層数を予想される数より
少なめに設定すれば、中間層の層数を必要最小限の数に
設定することができ、学習時間および識別時間を短縮す
ることができる。さらに、学習が進行しない場合に強制
的に学冒が収束に向かうようにでき、効率よく学習を実
行することができる。

また、この発明の自己拡張形ニューラル・ネツ上記新た
なノードを上記出力層内に設け、その際に最も誤りの程
度の大きな学習データの各要素の値を、その学習データ
が属するカテゴリに新たに割り付けられたノードのノー
ド間結合重みの各要素の初期値として設定するようにし
たものである。

したがって、当初上記出力層内のノー｝・数を予想され
る数より少なめに設定すれば、出力層内のノード数を必
要最小限の数に設定することができると共に、最も誤り
の程度の大きな学習データに対して正しいカテゴリ識別
結果が得られるように、上記出力層内に新たに設けられ
たノードのノード間結合重みの初期値が設定され、学習
時間および識別時間を短縮することができる。さらに、
学習が進行しない場合に強制的に学習が収束に向かうよ
うにでき、効率よく学習を実行することができる。

【図面の簡単な説明】

第１図はこの発明の自己拡張形ニューラル・ネツｌ・ワ
ークの一実施例におけるブロック図、第２図は自己拡張
動作のフローチャート、第３図は全結合３層パーセプト
ロン型ニューラル・ネットワークの概略図、第４図は部
分結合３層バーセプトロン型ニューラル・ネットワーク
の概略図、第５図は自己組織化特徴写像によって学習す
るコホーネン型ニューラル・ネットワークの概略図、第
６図はＬ　Ｖ　Ｑ　２によって学習ずるコホーネン型ニ
ューラル・ネットワークの概略図、第７図は新たに出力
層を設けた場合の多層パーセプトロン型ニューラル・ネ
ットワークの概略図、第８図は新たに中間層を設けた場
合の多層パーセプトロン型ニューラル・ネットワークの
概略図である。 １・・・入力部、　２・・・演算部、　３・・出力部、
４　ノード間結合重み格納部、 ５・・・学習制御部、　　　６・収束判定部、７・・自
己拡張部、　　　　８・・・学習進行判定部。

Claims (6)

【特許請求の範囲】
1. （１）学習に際して、入力された学習データとノード間
   結合重みの値を用いて出力データを求め、この出力デー
   タに基づいて学習の収束判定を行い、その結果学習が収
   束していない場合には上記ノード間結合重みの値を所定
   の規則に従って更新するニューラル・ネットワークにお
   いて、 上記出力データとノード間結合重みの値に基づいて学習
   が進行しているか否かを判定し、学習が進行していない
   と判定した場合は、ネットワーク構造の拡張を指示する
   拡張指示信号を出力する学習進行判定部と、 上記学習進行判定部からの拡張指示信号に従って新たな
   ノードを設け、この新たに設けられたノードのノード間
   結合の状態および新たに設けられたノード間結合のノー
   ド間結合重みの初期値を設定することによってネットワ
   ークの構造を自己拡張する自己拡張部を設けて、 上記自己拡張部によってネットワーク構造が自己拡張さ
   れた場合は、自己拡張されたネットワーク構造によって
   学習を継続することを特徴とする自己拡張形ニューラル
   ・ネットワーク。
2. （２）上記ニューラル・ネットワークは、入力層，中間
   層および出力層から成る多層ニューラル・ネットワーク
   であって、上記自己拡張部がネットワーク構造を自己拡
   張する際に、上記新たなノードを上記中間層内に設ける
   ことを特徴とする請求項１に記載の自己拡張形ニューラ
   ル・ネットワーク。
3. （３）上記ニューラル・ネットワークは、出力層の複数
   のノードが同一のカテゴリを表すニューラル・ネットワ
   ークであって、上記自己拡張部がネットワーク構造を自
   己拡張する際に、上記新たなノードを上記出力層内に設
   けることを特徴とする請求項１に記載の自己拡張形ニュ
   ーラル・ネットワーク。
4. （４）上記ニューラル・ネットワークは、入力層，中間
   層および出力層から成る多層ニューラル・ネットワーク
   であって、上記自己拡張部がネットワーク構造を自己拡
   張する際に、上記新たなノードで新たな中間層を構成し
   、この新たな中間層を上記中間層に付加して設けること
   を特徴とする請求項１または請求項２に記載の自己拡張
   形ニューラル・ネットワーク。
5. （５）上記ニューラル・ネットワークは、入力層，中間
   層および出力層から成る多層ニューラル・ネットワーク
   であって、上記自己拡張部がネットワーク構造を自己拡
   張する際に、上記新たなノードで新たな出力層を構成し
   、この新たな出力層を上記出力層の上層として設けると
   共に、上記出力層を新たな中間層として上記中間層に付
   加して設けることを特徴とする請求項１，請求項２また
   は請求項４に記載の自己拡張形ニューラル・ネットワー
   ク。
6. （６）上記ニューラル・ネットワークは、出力層の複数
   のノードが同一のカテゴリに割り付けられて教師有り学
   習によって学習が行われるニューラル・ネットワークで
   あって、上記自己拡張部がネットワーク構造を自己拡張
   する際に、上記新たなノードを上記出力層内に設け、そ
   の際に最も誤りの程度の大きな学習データの各要素の値
   を、その学習データが属するカテゴリに新たに割り付け
   られたノードのノード間結合重みの各要素の初期値とし
   て設定することを特徴とする請求項１または請求項３に
   記載の自己拡張形ニューラル・ネットワーク。