JP3172278B2 - ニューラルネットワーク回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の認識処理等を行
うニューラルネットワーク回路の改良に関するものであ
る。

【０００２】

【従来の技術】近年、情報処理のニューラルネットワー
クの分野に大きな関心が集まってきている。これ等のニ
ューラルネットワークは、人の生体の神経信号処理を模
倣して実現している。現在、様々なニューラルネットワ
ークが提案されているが、その中の一つである量子化ニ
ューロンのネットワークによる画像認識、例えば文献
「機能別階層ネットワークを用いた文字認識システム」
（平成２年度画像電子通信学会全国大会予稿７７〜８０
頁、または「Multi-Functional Layered Networ
k using Quantizer Neurons 」 Computer World '90,No
vember 1990 ）について説明する。

【０００３】図２１に量子化ニューロンのネットワーク
を示す。このネットワークは、最下段から第一層、第二
層、及び第三層にて図中○印で示す量子化ニューロンを
多層ネットワーク状に連結すると共に、第四層を教師入
力層とし、第五層（最上段の最終層）に多入力１出力の
通常の人工神経細胞を連結した構成となっている。この
ネットワークの各層に与える特徴データとしては、その
一例として、画像を縦８個、横８個の６４個に区分した
画素値、その８×８個の画素値間の横方向の差分値、お
よびその８×８個の画素値の縦方向の差分値としてい
る。同図に示すように、第一層は８×８画素数に相当す
る６４個の量子化ニューロンからなり、これらの量子化
ニューロンは、図２２に示すように各々量子化信号入力
端子Ｓを有し、この各量子化信号入力端子Ｓには、特徴
データとしての画素値が入力される。また、第二層の量
子化ニューロンの量子化信号入力端子Ｓには特徴データ
として画素値の横方向の差分値が入力され、第三層の量
子化ニューロンの量子化信号入力端子Ｓには特徴データ
として画素値の縦方向の差分値が入力される。第四層の
教師入力層は、教師入力によって最終層の各ニューロン
のシナプシスの結合係数を変化させるものである。最終
層は解答の出力層であって、例えば、解答が英数字６２
文字に対するものである場合には、６２個の通常の多入
力１出力の人工神経細胞からなる。

【０００４】出力層のニューロンは、図２５に示すよう
に、それぞれの入力データに対して、学習により決定さ
れている重みＷｎ（ｎは入力の番号）を掛けた後、それ
らの総和を出力する。

【０００５】第一層ないし第三層の量子化ニューロン
（量子化セル）は、図２２に示すように、量子化信号入
力端子Ｓの他に、選択信号入力端子Ｒと、複数の出力と
を有している。選択信号入力端子Ｒより入力された信号
は、量子化信号入力端子Ｓからの入力値ｘによって、例
えば（数１）に従った重みτが掛けられて各出力に出力
される。

【０００６】

【数１】τｊ＝１−β（｜ｊ−ｘ｜） ｜ｊ−ｘ｜：ｊ
−ｘの絶対値 ｊ：量子化ニューロンの出力番号 図２２の量子化ニューロンは、量子化信号入力端子Ｓか
ら入力された特徴データの入力レベルが８種のレベルで
あり、出力数が８つのものである。例えば、１−βの関
数を図２４で示すものとするならば、量子化信号入力端
子Ｓからの入力の値が０であったときには、量子化ニュ
ーロンの８つの出力に現れる値は、選択信号入力端子Ｒ
に与えられる値に、図２３（ａ）で示される結合係数を
掛け合わせたものである。また、選択信号入力端子Ｒに
与えられる値に拘らず、量子化信号入力端子Ｓの入力値
が３であったときには、それぞれの結合係数は図２３
（ｂ）に示すように、上記図２３（ａ）に示す結合係数
を３つ右へスライドしたものと同様となる。すなわち、
図２３（ａ）の出力番号に３を加えることで、量子化信
号の入力値が３の場合の結合係数を得ることができる。
ただし、７を越えた場合はさらに−８にする必要があ
る。

【０００７】第一層の量子化ニューロンの選択信号入力
端子Ｒに与えられる入力は、最大の値が与えられる。例
えば、量子化ニューロンでの演算を８ビットの演算で行
うとするならば、第一層について、図２３（ａ）の結合
係数とし、量子化信号入力端子Ｓに与えられる値がレベ
ル０の場合は、 選択信号入力＝ＦＦ 出力番号０＝ＦＦ 出力番号１＝７Ｆ 出
力番号２＝０ 出力番号３＝０ 出力番号４＝０ 出
力番号５＝０ 出力番号６＝０ 出力番号７＝７Ｆ （１６進
表現） となる。

【０００８】図２２に示したように、量子化信号入力端
子Ｓに与えられる入力のレベルが８レベル、出力数が８
つの量子化ニューロンでネットワークを構成する場合、
第一層の量子化ニューロンの８つの出力のそれぞれに、
第二層の量子化ニューロンの選択信号入力端子Ｒが接続
され、この第二層の量子化ニューロンの８つの出力のそ
れぞれに第三層の量子化ニューロンの選択信号入力端子
Ｒが接続される。すなわち、このネットワークでは、第
一層の量子化ニューロン１個から第二層の各量子化ニュ
ーロンを経由してツリー状に分岐する第三層の量子化ニ
ューロンの総出力数は５１２となる。

【０００９】第一層の量子化ニューロンの８つの出力に
接続される第二層の８個の量子化ニューロンの量子化信
号入力、およびその第二層の量子化ニューロンの８つの
出力に接続される８個の第三層の量子化ニューロンの量
子化信号入力は、第一層の量子化ニューロンの量子化信
号入力端子Ｓに入力される特徴データとしての画素値と
同位置にある横方向差分値、および縦方向差分値がそれ
ぞれ与えられる。

【００１０】また、第二層および第三層の量子化ニュー
ロンの選択信号入力端子に入力される信号は、それぞれ
第一層および第二層の各量子化ニューロンの出力であ
る。

【００１１】したがって、第三層の量子化ニューロンの
出力は、第一層のニューロンの結合係数、第二層のニュ
ーロンの結合係数、及び第三層のニューロンの結合係数
の３つの結合係数と、第一層の量子化ニューロンの選択
信号入力値とを掛け合わせたものとなる。

【００１２】最終層の多入力１出力ニューロン１個は、
第三層の量子化ニューロンの６４×５１２の数の出力
と、その各々に与えられる第四層（教師入力層）の結合
係数とを掛け合わせたものを入力とする。

【００１３】ニューラルネットワークの演算の多くは、
従来のフォン・ノイマン型の計算機で実現されており、
その場合の演算量、例えば図２１のネットワークの演算
量は、１入力当り（数２）であるので、

【数２】乗算 ：８×８×８＝５１２ 積和演算：８×８×８×６２＝３１７４４ ８×８の入力画像に対して（数３）となる。

【００１４】

【数３】乗算 ：５１２×６４＝３２７６８ 積和演算：３１７４４×６４＝２０３１６１６

【００１５】

【発明が解決しようとする課題】しかしながら、ハード
ウェアにより構成したニューロコンピュータの多くは、
フォン・ノイマン型のディジタル計算機を用いて全ての
ネットワークの計算を逐次直列的に行っているため、上
記のように演算量の多い場合には、処理速度は速いとは
決していえない。

【００１６】そこで、処理の高速化を行う方策として、
例えば演算器を数多く持ち、その演算器を並列に動作さ
せて複数の演算を同時に行う方法が考えられるが、回路
規模が膨大になり、とても高価なものとなってしまう。

【００１７】この発明の目的は、上記従来の欠点に鑑
み、ネットワークを小規模のハードウェアにより構成で
き、処理能力の点でも従来以上の高速の処理速度が得ら
れるニューラルネットワーク回路を提供することにあ
る。

【００１８】

【課題を解決するための手段】前記目的を達成するため
に本発明の請求項１記載のニューラルネットワーク回路
は、与えられた特徴データをネットワークの演算の実行
によって認識処理する多層のニューラルネットワーク回
路であって、入力された特徴データに基いてネットワー
クの中で結合係数が有効なネットのアドレスのみを出力
するアドレス発生又は変換器と、該アドレス発生又は変
換器のアドレスに対応する各層間の結合係数を総合した
総合結合係数を出力する係数メモリと、前記アドレス発
生又は変換器のアドレスに対応する最終層のニューロン
の重みを出力する重みメモリと、前記係数メモリから出
力される総合結合係数及び重みメモリから出力される最
終層のニューロンの重みとを累積加算する累積演算器と
を有して、結合係数が有効なネットワークに対してのみ
演算を実行することを特徴とする。

【００１９】本発明の請求項２記載のニューラルネット
ワーク回路は、与えられた特徴データをネットワークの
演算の実行によって認識処理する多層のニューラルネッ
トワーク回路であって、前記特徴データにより変化する
各層間のニューロンの結合係数、及び該各層間の結合係
数に関するデータを記憶し、入力される特徴データに対
応する結合係数に関するデータを読み出す各層のテーブ
ルメモリと、該テーブルメモリから読み出されたデータ
によりネットワークの中で結合係数が有効なネットのア
ドレスのみを出力し、該アドレスにより前記テーブルメ
モリから対応する結合係数を読み出すアドレス発生器
と、最終層以外の各層間のニューロンの結合係数を総合
した総合結合係数を記憶し、前記アドレス発生器のアド
レスにより前記テーブルメモリから読み出した各層の結
合係数をアドレスとして、該アドレスに対応する総合結
合係数を出力する係数メモリと、最終層のニューロンに
対する重みを記憶し、前記アドレス発生器のアドレス及
び前記テーブルメモリに入力される特徴データのアドレ
スとをアドレスとし、該両アドレスに対応する最終層の
ニューロンの重みを出力する重みメモリと、前記係数メ
モリの出力と重みメモリの出力とを累積加算する累積演
算器とを有して、結合係数が有効なネットワークに対し
てのみ演算を実行することを特徴とする。

【００２０】本発明の請求項３記載のニューラルネット
ワーク回路は、与えられた特徴データをネットワークの
演算の実行によって認識処理する多層のニューラルネッ
トワーク回路であって、計算すべきネットワークの回数
を出力する制御回路と、該制御回路の出力により計算す
べきネットワークの回数を順次カウントするアドレス発
生器と、特徴データを記憶し、前記アドレス発生器のカ
ウントに従って順次特徴データを読み出す特徴データメ
モリと、最終層のニューロンの重みを記憶する重みメモ
リと、最終層以外の各層のニューロンの結合係数を記憶
する各層の係数メモリと、前記アドレス発生器の出力、
前記特徴データメモリの出力、及び前記制御回路の出力
に基いてネットワークの中で結合係数が有効なネットの
アドレスのみを演算し、該アドレスを前記係数メモリに
与えると共に、前記重みメモリに与えるアドレスを演算
して出力するアドレス変換器と、該アドレス変換器から
出力されるアドレスに対応して前記各層の係数メモリか
ら読み出された各層の結合係数をアドレスとし、該アド
レスに対応する各層の結合係数を掛け合せた総合結合係
数を出力するテーブルメモリと、該テーブルメモリの出
力と前記重みメモリの出力を累積加算する累積演算器
と、前記アドレス発生器から出力されたアドレスに前記
累積演算器の結果を保持する出力メモリとを有し、結合
係数が有効なネットワークに対してのみ演算を実行する
ことを特徴とする。

【００２１】本発明の請求項４記載のニューラルネット
ワーク回路は、前記請求項３記載のニューラルネットワ
ーク回路において、重みメモリから出力される最終層の
ニューロンの重みを入力し、該重みに、予め定めた設定
更新値を与える重み更新器を有し、最終層のニューロン
の重みを更新することにより特徴データの認識処理を学
習することを特徴とする。

【００２２】本発明の請求項５記載のニューラルネット
ワーク回路は、前記請求項３記載のニューラルネットワ
ーク回路において、テーブルメモリから出力される総合
結合係数を入力とし、該総合結合係数に応じた更新値を
出力するシフタと、該シフタから出力される更新値及び
重みメモリから出力される最終層のニューロンの重みと
を入力し、該重みに更新値を加算して、該重みを更新す
る重み更新器とを有し、最終層のニューロンの重みの更
新をニューロンの発火量に応じた値を用いて行って、特
徴データの認識処理を学習することを特徴とする。

【００２３】本発明の請求項６記載のニューラルネット
ワーク回路は、前記請求項３記載のニューラルネットワ
ーク回路において、重みメモリから出力される最終層の
ニューロンの重みの値に対して該重みを更新した新たな
重みの値を仮り決定し、該更新した新たな最終層のニュ
ーロンの重みの値がオーバーフローする場合には、前記
重みメモリに記憶されている全ての重みの値を同率の割
合で減じる重み更新器を有し、最終層の重みの値がオー
バーフローしないように最終層のニューロンの重みを更
新して学習することを特徴とする。

【００２４】本発明の請求項７記載のニューラルネット
ワーク回路は、前記請求項３記載のニューラルネットワ
ーク回路において、特徴データをアドレスとし、該特徴
データを非線形変換して特徴データメモリに記憶させる
ルックアップテーブルを有し、特徴データメモリに入力
する特徴データを予め非線形変換することを特徴として
いる。

【００２５】また、本出願の請求項８記載の発明のニュ
ーラルネットワーク回路は、前記請求項３記載のニュー
ラルネットワーク回路において、アドレス変換器は制御
信号を出力し、該制御信号の内容を、有効な結合係数の
アドレスが最も大きい結合係数を持つアドレスに対して
連続しないときと連続するときとで変更するものであ
り、該アドレス変換器の制御信号を受け、有効な結合係
数のアドレスが最も大きい結合係数を持つアドレスに対
して連続しないとき“０”を出力し、有効な結合係数の
アドレスが最も大きい結合係数を持つアドレスに対して
連続するとき係数メモリからの結合係数を出力するよう
選択するマルチプレクサを有し、テーブルメモリは前記
マルチプレクサの出力を入力とするものであることを特
徴とするものである。

【００２６】また、本出願の請求項９記載の発明のニュ
ーラルネットワーク回路は、前記請求項３記載のニュー
ラルネットワーク回路において、複数の特徴データを量
子化する量子化変換回路を有し、該量子化変換回路は、
特徴データ毎に量子化変換の閾値を複数保持する量子化
変換閾値メモリと、与えられた特徴データを前記量子化
変換閾値メモリから読み出された閾値と比較する比較器
と、該比較器の出力に基いて次に比較すべき量子化変換
閾値メモリの閾値のアドレスを計算する加算器と、該加
算器の出力を保持して前記量子化変換閾値メモリにアド
レスを与えるレジスタと、該レジスタの入力と出力とを
入力とし、前記比較器の比較結果に基いてレジスタの入
力と出力との何れか一方を出力とし、該出力を量子化変
換結果とする２入力マルチプレクサとで構成されてい
て、特徴データメモリは、前記量子化変換器により量子
化された特徴データを記憶し、与えられた特徴データの
それぞれを異なる閾値を用いて量子化変換することを特
徴とする。

【００２７】更に、本出願の請求項１０記載の発明のニ
ューラルネットワーク回路は、前記請求項３記載の発明
のニューラルネットワーク回路において、更に、初期学
習用として複数の特徴データが予め記憶された初期学習
用特徴データメモリと、教師データが入力され、上記初
期学習用特徴データメモリから読み出された特徴データ
の認識結果を教師データと比較する比較器と、重みメモ
リから出力される最終層のニューロンの重みを入力し、
該重みを前記比較器の比較結果に基いて更新する重み更
新器とを設けて、最終層のニューロンの重みを更新する
ことによる特徴データの認識処理の学習を、予め、初期
学習用特徴データメモリに記憶された複数の特徴データ
を参照して行うことを特徴とする。

【００２８】

【作用】前記の構成により、請求項１記載の発明では、
ニューラルネットワーク回路に特徴データが入力される
と、アドレス発生又は変換器がその特徴データに対して
ネットワークの中で結合係数が有効なネットのアドレス
のみを出力するので、そのアドレスに対応する総合結合
係数及び最終層のニューロンの重みが各々係数メモリ及
び重みメモリから算出され、この総合結合係数及び重み
が累積演算器により累積加算される。従って、ネットワ
ークの演算を行う際に結合係数が０でないネットのみ、
即ち、演算が有効であるネットのみを検出し演算するの
で、画像認識等の高速化が図られる。

【００２９】また、請求項２記載の発明では、ニューラ
ルネットワーク回路に特徴データが入力されると、この
入力された特徴データに対応する結合係数に関するデー
タがテーブルメモリから読み出される。アドレス発生器
は、前記テーブルメモリから読み出されたデータに基い
て、ネットワークの中で結合係数が有効なネットのアド
レスのみを出力し、テーブルメモリは該アドレスに対応
した有効な結合係数のみを出力する。更に、係数メモリ
は、上記テーブルメモリからの有効な結合係数をアドレ
スとしてこれ等各結合係数を総合した総合結合係数を出
力し、重みメモリは、前記アドレス発生器から出力され
たアドレスに対応する最終層のニューロンの重みを算出
する。そして、累積演算器は、上記出力された総合結合
係数と最終層のニューロンの重みとを累積加算する。従
って、請求項１記載の発明と同様に、演算が有効である
ネットワークのみを検出し演算するので、画像認識等の
高速化が図られる。しかも、各層毎に量子化ニューロン
の結合係数を記憶する係数メモリを設ければよいので、
ハードウェアの小規模化が可能になり、処理能力に優れ
たニューラルネットワークが構成される。

【００３０】更に、請求項３記載の発明では、特徴デー
タメモリの出力、制御回路の出力（計算すべきネットワ
ークの回数）、及びアドレス発生器の出力（計算してい
るネットワークの回数番号）に基いて、アドレス変換器
が、ネットワークの中で結合係数が有効なネットのアド
レスのみを演算し、出力するので、係数メモリ及び重み
メモリがそれぞれ前記出力されたアドレスに対応する各
層の結合係数及び最終層のニューロンの重みを出力す
る。また、テーブルメモリは、上記各層の係数メモリか
らの結合係数を掛け合せた総合結合係数を出力する。そ
して、累積演算器が上記出力された総合結合係数と最終
層のニューロンの重みとを累積加算し、その加算結果が
出力メモリに保持される。従って、請求項１記載の発明
と同様に、演算が有効であるネットワークのみを検出し
演算するので、画像認識の高速化が図られる。しかも、
各層毎に量子化ニューロンの結合係数を記憶する係数メ
モリを設ければよいので、ハードウェアの小規模化が可
能になり、処理能力に優れたニューラルネットワークが
構成される。

【００３１】更に、請求項４記載の発明では、入力され
た特徴データに対応してネットワークの中で結合係数が
有効なネットのアドレスに対応する最終層のニューロン
の重みが重みメモリから読み出されると、この読み出さ
れた重みが重み更新器により設定更新値だけ加算され
て、より重く更新される。従って、次第に特徴データの
認識率が向上する。

【００３２】加えて、請求項５記載の発明では、入力さ
れた特徴データに対応してネットワークの中で結合係数
が有効なネットのアドレスが出力され、このアドレスに
対応して各層間の結合係数を総合した総合結合係数がテ
ーブルメモリから出力されると共に、前記出力されたア
ドレスに対応して最終層のニューロンの重みが重みメモ
リから読み出されると、前記出力された総合結合係数に
応じた更新値、つまりニューロンの発火量に応じた更新
値がシフタから出力され、この更新値が重み更新器によ
り、重みメモリの前記読み出された最終層のニューロン
の重りに加算されて、該重みが更新される。従って、最
終層のニューロンの重りの更新がニューロンの発火量に
応じて行われるので、特徴データの認識率を短期間で向
上させることができる。

【００３３】また、請求項６記載の発明では、重みメモ
リに記憶された最終層のニューロンの重りがその更新に
よってオーバーフローする場合には、該重みメモリに記
憶された全ての重みの値が同率の割合で減じられので、
重みのオーバーフローを生じることなくその全ての重み
を適切に更新できて、小回路規模のハードウェアで効率
良く特徴データの認識率を向上できる。

【００３４】更に、請求項７記載の発明では、特徴デー
タを特徴データメモリに記憶するに先立って、該特徴デ
ータがルックアップテーブルにより非線形変換され、そ
の後に、この非線形変換された特徴データが特徴データ
メモリに記憶される。従って、画像間に濃淡が付けられ
たと等しくなるので、元の特徴データに画像間の差が出
にくい場合であっても、認識率の向上が図られる。

【００３５】加えて、請求項８記載の発明では、有効な
結合係数の出力時に、そのアドレスが、最も高い結合係
数のアドレスに対して連続しないときには、マルチプレ
クサが前記有効な結合係数に代えて、“０”の結合係数
を出力するので、最も高い結合係数のアドレスに対して
連続しないアドレスにおける結合係数では、その結合係
数を用いた演算は行われない。従って、例えば画素の右
端が、その画素の右隣りに位置する画素の右端と連続す
るような演算が防止されて、特徴データの認識率の向上
が図られる。

【００３６】さらにまた、請求項９記載の発明では、特
徴データが与えられると、量子化変換閾値メモリ内の該
特徴データに対応する複数の閾値のうち１つが特徴デー
タと比較される。また、次に比較すべき量子化変換閾値
メモリ内の他の閾値が加算器及びレジスタにより特定さ
れ、この閾値と上記与えられた特徴データとが比較器に
て比較される。そして、比較器の比較結果に基いて２入
力マルチプレクサが、比較に用いた閾値のうち特徴デー
タの値に近接する閾値のアドレスを選択し、該アドレス
が特徴データの量子化変換結果となる。従って、与えら
れた特徴データ別に異なる複数の閾値を用いて特徴デー
タを量子化変換することができるので、量子化ニューロ
ン毎に量子化変換メモリを持つことが不要になり、小さ
い回路規模のハードウェアでニューラルネットワーク回
路を構成できる。

【００３７】更に、請求項１０記載の発明では、初期学
習時には、初期学習用特徴データメモリに記憶された複
数個の初期学習用特徴データが参照され、この特徴デー
タに対して認識及びその認識処理の学習が行われる。従
って、初期学習が完了するまでに同一の初期学習用特徴
データを複数回参照するに際して、その同一の特徴デー
タをその参照毎に外部からメモリに読込むことを繰返す
必要がなくなるので、特徴データに対する初期学習が高
速に行われることになる。

【００３８】

【実施例】

（実施例１）本発明の第１の実施例を図１に示す。図１
において、１０−ｊ，１０−ｋ，１０−ｈは、それぞれ
ネットワークの前記図２１の第一層、第二層、第三層の
各量子化ニューロンの量子化信号入力端子Ｓに入力する
量子化信号としての特徴データである。１１はアドレス
発生器であって、量子化ニューロン同志の結合係数の有
効部，即ち値が０でない部分のみをアクセスするアドレ
スを出力するものである。１２、１３、１４は量子化ニ
ューロンの結合係数に対応する出力レベルを格納するフ
ァンクションテーブルであって、それぞれネットワーク
の第一層、第二層、第三層に対応しており、特徴データ
１０−Ｊ、１０−ｋ、１０−ｈとアドレス発生器１１の
出力とをアドレスとしている。１５は係数メモリであっ
て、ファンクションテーブル１２、１３、１４の出力デ
ータをアドレスとし、量子化ニューロンによるニューラ
ルネットワークの第三層の出力値を内蔵データとしてい
る。即ち、係数メモリ１５では、前記図２１から判るよ
うに、第二層の量子化ニューロンの選択入力信号が第一
層の量子化ニューロンの出力であり、第三層の量子化ニ
ューロンの選択入力信号が第二層の量子化ニューロンの
出力である点から、第三層の量子化ニューロンの出力
は、第一層のニューロンの結合係数と、第二層のニュー
ロンの結合係数と、第三層のニューロンの結合係数と、
第一層のニューロンの選択入力信号値とを掛け合わせた
ものであることに着目し、これ等を掛け合せた結果を係
数メモリ１５に記憶しておくことにより、最終層以外で
の乗算を不要としている。

【００３９】次に、ネットワークのうち結合係数の値が
０である部分をスキップする方法を説明する。この方法
を採るのは、図２に示した関数を見て判るように、量子
化ニューロンの結合係数は一部にのみ値があり、その他
は０となっており、係数が０の場合には乗算の結果は常
に０であって演算する必要がないので、処理時間が大幅
に短縮できるからである。

【００４０】先ず、初期設定として、ファンクションテ
ーブル１２、１３、１４に対して、各層に対応する結合
係数のレベルを書き込む。これは結合係数の値自体を書
き込むのではなく、出力を８レベルとした場合の相対的
な値を書き込む。この様子を図２で説明する。図２にお
いて、２１は結合係数の関数の１つ、２２は関数２１を
数値データとしたもの、２３はネットワークの結合係数
２１を有した層に数値データ２２が書き込まれるファン
クションテーブルである。それぞれの関数は前記（数
１）であり、βはすべて同じである。例えば、カラムア
ドレス３の結合係数はカラムアドレス１のそれを２つ右
へシフトしたものである。また、Ｓ、Ｎはこの結合係数
ごとに付与したタグであって、Ｓは結合係数が０でない
値をとる最初のアドレス、Ｎは０でない値の個数であ
る。すなわち、結合係数２１の場合は、Ｓ＝４、Ｎ＝３
となる。

【００４１】いま、ファンクションテーブル１２、１
３、１４のタグをそれぞれＳｊ、Ｓｋ、Ｓｈ、Ｎｊ、Ｎ
ｋ、Ｎｈとすると共に、アドレス発生器１１からファン
クションテーブル１２、１３、１４に出力するアドレス
信号をそれぞれＡｊ、Ａｋ、Ａｈと置いて、アドレス発
生器１１のタイミングチャートを示すと、図３のように
なる。

【００４２】先ず、第１サイクルで、特徴データ１０−
Ｊ、１０−ｋ、１０−ｈがそれぞれファンクションテー
ブル１２、１３、１４に入力されてカラムアドレスが各
々決定すると、各ファンクションテーブル１２、１３、
１４からアドレス発生器１１に各タグＳｊ、Ｓｋ、Ｓ
ｈ、Ｎｊ、Ｎｋ、Ｎｈがアドレス発生器１１に出力され
る。該アドレス発生器１１は、アドレスＡｊ、Ａｋ、Ａ
ｈの初期値として、結合係数が０でない値をとる最初の
アドレスＳｊ、Ｓｋ、ＳｈをＡｊ＝Ｓｊ、Ａｋ＝Ｓｋ、
Ａｈ＝Ｓｈと設定する。

【００４３】次の第２のサイクルでは、Ｓｊに１だけ加
算し、Ａｊ＝Ｓｊ＋１としてこれを出力する。このこと
を０でない値の個数，つまりＮｊ回だけ加算して出力す
る。第Ｎｊ＋１サイクルから第Ｎｊ×Ｎｋサイクルまで
は、第１サイクルから第Ｎｊサイクルと同じ操作をＮｋ
回だけ繰り返す。第Ｎｊ×Ｎｋ＋１サイクルはＡｊ＝Ｓ
ｊ、Ａｋ＝Ｓｋとし、ＡｈをＳｈに１だけ加算して出力
する。第Ｎｊ×Ｎｋ＋１サイクルから第Ｎｊ×Ｎｋ×Ｎ
ｈまでは第１サイクルから第Ｎｊ×Ｎｋサイクルと同じ
操作をＮｈ回だけ繰り返す。以上の動作により、アドレ
ス発生器１１は３層からなるネットワークにおいてその
結合係数が０でない値をもつネットのみをアクセスする
ことが可能となる。

【００４４】前記アドレス発生器１１のアドレス信号Ａ
ｊ、Ａｋ、Ａｈは、それぞれファンクションテーブル１
２、１３、１４に出力され、該各アドレス信号Ａｊ、Ａ
ｋ、Ａｈによってそのアドレスにあるファンクションテ
ーブルのデータＤｊ、Ｄｋ、Ｄｈが読み出されると、そ
のデータＤｊを上位ビット、データＤｋを中位ビット、
データＤｈを下位ビットとして、これ等データ自体が係
数メモリ１５のアドレスとなる。

【００４５】前記係数メモリ１５は、３層のネットワー
クの第三層からの出力値を保持しており、量子化ニュー
ロンの出力の数が８つとすると、第三層からの出力値は
８×８×８＝５１２通りのみであり、これ以外の値はと
らない。前記（数１）を見て判るように、結合係数τは
最大値１、最小値０であるから、これを８レベルとした
場合には、いかなるβの値を持とうとも結合係数τの取
り得る値は、この５１２種類に限定される。すなわち、
この係数メモリ１５はＲＯＭでも記憶することが可能で
あり、勿論ＲＡＭでもよい。

【００４６】更に、図１において、１６は重みメモリで
あって、ネットワークの第三層の出力と最終層のニュー
ロンの入力との結合の重み付けの値を格納するものであ
る。１８は入力ブロックアドレスであって、対象となる
データをＮ×Ｎに分割したときの各ブロックのアドレス
を示すものである。前記重みメモリ１６は、アドレス発
生器１１のアドレス信号と入力ブロックアドレス１８の
アドレス信号とを入力し、その両アドレスを合成したア
ドレスによりアクセスされ、そのアドレスでのニューロ
ンの信号に対応する重みの値をデータとする。この重み
メモリ１６をＲＡＭで構成することにより、学習が可能
なニューラルネットワークとなる。

【００４７】加えて、１７は積和演算器であって、係数
メモリ１５の出力、すなわちネットワークからの結合係
数τｉｊｋｈを乗数とし、被乗数を重みメモリ１６の出
力として、１つの最終層のニューロンについて、その１
つの最終層のニューロンに接続されている入力の数だけ
乗算を繰返し実行して、その結果を逐次累算するもので
ある。

【００４８】したがって、従来のフォン・イノマン型の
逐次計算機では、入力ブロック数（画素数）が６４個の
場合、最大６４×８×８×８＝３２７６８回の積和演算
を実行し、その結果を用いて最終層の出力ニューロンの
出力値を決定しなければならないのに対し、本発明によ
れば、量子化ニューロンの結合係数の有効部が、例えば
各層それぞれ３個、４個、３個の場合、演算回数は６４
×３×４×３となるから、通常の演算と比較して３６／
５１２の演算量となる。つまり、それだけ処理速度が向
上する効果が得られる。

【００４９】（実施例２）本発明の第２の実施例を図４
に示す。図４の第２の実施例は、認識すべき画像の特徴
データを特徴データメモリ１０７、１０８、１０９に与
え、その特徴データから所定画像を認識するニューラル
ネットワーク回路、即ち特徴データについてネットワー
クの演算を行うものである。

【００５０】３個の特徴データメモリ１０７、１０８、
１０９は、それぞれ第一層、第二層、第三層の量子化ニ
ューロンの量子化信号入力Ｓに与えられるべき認識すべ
き画像の特徴データを書き込み、保持している。また、
３個の係数メモリ１０１、１０２、１０３は、それぞれ
第一層、第二層、第三層の量子化ニューロンの結合係数
を保持している。テーブルメモリ１１２は、請求項１記
載の発明の係数メモリとして機能し、前記係数メモリ１
０１〜１０３の各出力Ｊ，Ｋ，Ｈを入力とし、それらを
掛け合わせた値を出力するものである。重みメモリ１１
８は量子化ニューロンのネットワークの最終層のニュー
ロンの重みを保持する。累積演算器１１３は、テーブル
メモリ１１２の出力と重みメモリ１１８の出力とを入力
とし、その両出力の累積加算を行うものである。制御回
路１１７は、第一層〜第三層の各結合係数の０以外のデ
ータの数Ｗｊ、Ｗｋ、Ｗｈの各信号をアドレス発生器１
１９及びアドレス変換器１０４〜１０６に与えるもので
ある。アドレス変換器１０４〜１０６は、アドレス発生
器１１０と特徴データメモリ１０７〜１０９のデータと
を受け取り、それぞれ係数メモリ１０１〜１０３のアド
レスへの変換と重みメモリ１１８へのアドレスへの変換
を行う。

【００５１】前記アドレス発生器１１９は、図５に示す
ように、５つのカウンタ、即ち第一層カウンタ１２０、
第二層カウンタ１２１、第三層カウンタ１２２、特徴デ
ータカウンタ１２３、および出力層カウンタ１２４で構
成されている。第一層カウンタ１２０は、第一層の結合
係数の０以外のデータの数Ｗｊをカウントの幅として入
力し、キャリ入力が１のときに、０から（幅入力の値Ｗ
ｊ−１）までカウントアップするものであって、その出
力ｘは、図６に示すように、例えば幅入力Ｗｊの値が３
であれば、０、１、２とカウントした後、０に戻り、再
び１、２と変化するものである。また、第二層カウンタ
１２１は、第二層の結合係数の０以外のデータの数Ｗｋ
をカウントの幅として入力し、前記第一層カウンタ１２
０の出力ｘがリセットされる毎に＋１を加算して、その
出力ｙが、図６に示すように、０から（幅入力の値Ｗｋ
−１）まで順次変化するものである。更に、第三層カウ
ンタ１２２は、第三層の結合係数の０以外のデータの数
Ｗｈをカウントの幅として入力し、前記第二層カウンタ
１２１の出力ｙがリセットされる毎に＋１を加算して、
その出力ｚが、０から（幅入力の値Ｗｈ−１）まで順次
変化するものである。加えて、特徴データカウンタ１２
３は、特徴データの数（図６では６４個）だけカウント
するカウンタであって、前記第三層カウンタ１２２の出
力ｚがリセットされる毎に＋１を加算して、その出力ｉ
が、０から（特徴データの個数−１）まで順次変化する
ものであり、その出力ｉにより特徴データメモリ１０
７、１０８、１０９から各層に与えられる特徴データ
ｊ、ｋ、ｈを読み出させるものである。出力層カウンタ
１２４は、最終層のニューロンの数（例えば６２個）だ
けカウントするカウンタであって、前記特徴データカウ
ンタ１２３の出力ｉがリセットされる毎に＋１を加算し
て、その出力ｐが、図６に示すように、０から（出力ニ
ューロンの数−１）まで順次変化するものである。

【００５２】次に、アドレス変換器１０４〜１０６の構
成を説明する。アドレス変換器１０４は、特徴データメ
モリ１０７からの第一層の特徴データｊ、アドレス発生
器１１９の第一層カウンター１２０の出力ｘ、および第
一層の結合係数の０以外のデータの個数Ｗｊを入力と
し、これ等を変換式（数４）を用いて、第一層の量子化
ニューロンの結合係数を保持している係数メモリ１０４
のアドレスｊｊｊに変換すると共に、変換式（数５）を
用いて最終層のニューロンの結合係数を記憶している重
みメモリ１１８のアドレスｊｊの一部に変換する。

【００５３】

【数４】ｊｊｊ＝−Ｗｊ／２＋ｘ

【数５】ｊｊ＝ｊ−Ｗｊ／２＋ｘ ここで、量子化ニューロンの出力数を８、量子化信号入
力端子Ｓの入力レベルを０〜７とした場合、その量子化
ニューロンの出力の変数の範囲は０〜７である。ｊｊ
ｊ、ｊｊの結果の下位より３ビットを出力とする。従っ
て、第一層の結合係数が例えば図２４に示すものである
場合には、Ｗｊ＝３であるので、アドレス変換器１０４
のアドレスｊｊｊの出力は、図６に示すように順次、ｊ
ｊｊ＝−１、０、１とカウントして、図２４で結合係数
が０でない値を取る最初のアドレスから逐次１づつシフ
トし、第一層カウンタ１２０の出力ｘと同期する。ま
た、重みメモリ１１８のアドレスｊｊの出力は、例えば
特徴データｊ＝３であれば、図６に示すように、絶対的
なアドレス２からスタートして、順次、３、４とカウン
トした後、リセットし、第一層カウンタ１２０の出力ｘ
と同期する。

【００５４】同様に、アドレス変換器１０５は、特徴デ
ータメモリ１０８からの第二層の特徴データｋ、アドレ
ス発生器１１９の第二層カウンター１２１の出力ｙ、お
よび第二層の結合係数の０以外のデータの個数Ｗｋを入
力とし、これ等を、第二層の量子化ニューロンの結合係
数を保持している係数メモリ１０２のアドレスｋｋｋ
と、最終層のニューロンの係数を記憶している重みメモ
リ１１８のアドレスの一部ｋｋとに変換し、出力する。
例えば、アドレスｋｋｋは、図６に示すように第二層カ
ウンター１２１の出力ｙと同期して、順次、−１、０、
１とカウントし、アドレスｋｋは、アドレス変換器１０
４から出力されるアドレスｊｊがリセットされる毎に＋
１を加算し、特徴データメモリ１０８からの特徴データ
ｋが例えばｋ＝６のときでは、順次、５、６、７と変化
してリセットされ、第二層カウンター１２１の出力ｙと
同期する。

【００５５】また、アドレス変換器１０６は、特徴デー
タメモリ１０９からの第三層の特徴データｈ、アドレス
発生器１１９の第三層カウンター１２２の出力ｚ、およ
び第三層の結合係数の０以外のデータの個数Ｗｈを入力
とし、これ等を、第三層の量子化ニューロンの結合係数
を保持している係数メモリ１０３のアドレスｈｈｈと、
最終層のニューロンの係数を記憶している重みメモリ１
１８のアドレスの一部ｈｈとに変換し、出力する。例え
ば、アドレスｈｈｈは、図６に示すように第三層カウン
ター１２１の出力ｚと同期して、順次、−１、０、１と
カウントしてリセットされ、アドレスｈｈは、アドレス
変換器１０５から出力されるアドレスｋｋがリセットさ
れる毎に＋１を加算し、特徴データメモリ１０９からの
特徴データｈが例えばｈ＝４のときでは、順次、３、
４、５と変化してリセットされ、第三層カウンター１２
２の出力ｚと同期する。

【００５６】したがって、３個の係数メモリ１０１〜１
０３は、それぞれ第一層〜第三層の量子化ニューロンの
結合係数のうち、アドレス変換器１０４〜１０６から入
力されたアドレスに対応して値が０でない結合係数を出
力すると共に、テーブルメモリ１１２は、前記各係数メ
モリ１０１〜１０３から出力される結合係数を入力とし
てこれ等３つの結合係数を掛け合わせて、第三層の量子
化ニューロンの出力を得る。一方、量子化ニューロンの
ネットワークの最終層のニューロンの重みを保持する重
みメモリ１１８は、アドレス変換器１０４、１０５、１
０６からのアドレス信号の入力と、アドレス発生器１１
９の特徴データカウンター１２３の出力ｉと、出力層カ
ウンター１２４の出力ｐを入力することによって、テー
ブルメモリ１１２の出力データ（即ち、第三層の量子化
ニューロンの出力）に対応する出力ニューロンの重みデ
ータを出力する。累積演算器１１３は、テーブルメモリ
１１２の出力と重みメモリ１１８の出力を掛け合わせ、
累積する。以上の動作をアドレス発生器１１９のカウン
トアップに従って実行する。アドレス発生器１１９の出
力層カウンタ１２４が変化するときに、出力メモリ１１
４のそのアドレスに累積演算器１１３の値を書き込ん
で、累積演算器１１３の値を０にする。

【００５７】アドレス発生器１１９のカウントアップが
終了すれば、画像認識の演算が終了し、出力メモリ１１
４には量子化ニューロンのネットワークの解答出力が得
られる。

【００５８】ここに、量子化ニューロンの結合係数の有
効部のみについて演算しているので、値が０を含む全て
の結合係数について演算する場合に比較して、処理速度
が向上する効果が得られる。

【００５９】（実施例３）本発明の第３の実施例を図７
に示す。本発明の図７の実施例は、特徴データメモリ１
０７〜１０９に与えた特徴データを逐次学習しながら認
識する回路、即ち特徴データによって最終層の重みの値
を更新すると共にネットワークの演算を行う回路であ
る。すなわち、量子化ニューロンよりなるネットワーク
の学習は、教師入力，即ち学習する特定の出力層のニュ
ーロンの入力において、それらの入力データの値が０以
外となる入力の重みをより重く変更すること、換言すれ
ば、第四層の値（第三層の出力）が０以外の場合に、学
習する出力層のニューロンのシナプシスの重みを重く変
更するによって行う。例えば、重みの変更は、元の重み
に＋１を加算することによって行い、これにより、入力
された特徴データの学習を実行する。ここに、図４と共
通の構成要素は同一の番号としている。

【００６０】図７では、特に重み更新器１１６を追加し
ている。該重み更新器１１６は、重みメモリ１１１から
出力される重みデータを入力とし、その重みデータに＋
１を加算して更新し、その更新された重みデータを重み
メモリ１１１に出力する。また、制御回路１１５は、重
みメモリ１１１に対し前記重み更新器１１６から出力さ
れる更新データの書き込みを指令する書き込み制御信号
ＷＥを出力すると共に、アドレス発生器１１０に対し
て、重みデータの学習制御を指令する学習制御信号Ｔ
と、学習させる最終層のニューロンの番号Ｔｐの信号を
出力する。

【００６１】図８に示すアドレス発生器１１０は、５つ
のカウンタ１２０〜１２４に加えて、１つの選択回路１
２５を備える。該選択回路１２５は、制御回路１１５か
らの学習制御信号Ｔを受けている学習時には、制御回路
１１５から出力された学習すべき最終層のニューロンの
番号Ｔｐを選択し、学習制御信号Ｔを受けていない特徴
データの認識時には、出力層カウンタ１２４の出力を選
択するものである。

【００６２】その他の構成は前記第２の実施例と同様で
ある。すなわち、特徴データメモリ１０７〜１０９は、
それぞれ第一層〜第三層の量子化ニューロンの量子化信
号入力端子Ｓに与えるデータを保持し、係数メモリ１０
１〜１０３は、それぞれ第一層〜第三層の量子化ニュー
ロンの結合係数を保持し、テーブルメモリ１１２は係数
メモリ１０１〜１０３からの出力を入力とし、それらの
結合係数を掛け合わせた値を出力する。重みメモリ１１
１は量子化ニューロンのネットワークの最終層のニュー
ロンの重みを保持する。累積演算器１１３は、テーブル
メモリ１１２の出力である総合結合係数と重みメモリ１
１１の出力である重りとを入力とし、その両者の乗算結
果の累積加算を行う。また、制御回路１１５は、第一層
〜第三層の各結合係数の０以外のデータの個数Ｗｊ、Ｗ
ｋ、Ｗｈをアドレス発生器１１０とアドレス変換器１０
４〜１０６に与える。アドレス変換器１０４〜１０６
は、アドレス発生器１１０と対応する特徴データメモリ
１０７〜１０９のデータを受け取り、それぞれ係数メモ
リ１０１〜１０３へのアドレスの変換と重みメモリ１１
１へのアドレスの変換を行う。

【００６３】また、図８に示すアドレス発生器１１０に
おいて、第一層カウンタ１２０、第二層カウンタ１２
１、及び第三層カウンタ１２２は、キャリ入力が値１の
とき、０から（幅入力の値−１）までカウントアップ
し、特徴データカウンタ１２３は、特徴データ数だけカ
ウントし、出力層カウンタ１２４は出力ニューロン数だ
けカウントする。

【００６４】次に、本発明の第３の実施例の動作につい
て説明する。

【００６５】先ず、特徴データの認識の場合について説
明する。この場合は、第２の実施例と同様の動作を行う
ことになる。各層の特徴データメモリ１０７、１０８、
１０９には、認識すべき画像の特徴データが書き込まれ
ている。

【００６６】アドレス発生器１１０の特徴データカウン
タ１２３の出力ｊによって特徴データメモリ１０７、１
０８、１０９から各層の特徴データｊ、ｋ、ｈが読み出
される。

【００６７】アドレス変換器１０４は、第一層の特徴デ
ータｊ、アドレス発生器１１０の第一層カウンタ１２０
の出力ｘ、第一層の結合係数の０以外のデータの個数Ｗ
ｊを入力としている。アドレス変換器１０４は、第一層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０１のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部を算出変
換する。

【００６８】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロンの出力数を８、量子化信号入力のレベルを０
〜７とした場合、その出力の変数の範囲は０〜７であ
る。ｊｊｊ、ｊｊの結果の下位より３ビットを出力とす
る。

【００６９】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部とを算出
して出力し、アドレス変換器１０６は、第三層の係数メ
モリ１０３のアドレスと、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部とを算
出し、出力する。

【００７０】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からの入力ｊｊ、
ｋｋ、ｈｈと、アドレス発生器１１０の特徴データカウ
ンタ１２３の出力ｉと、アドレス発生器１１０の選択回
路１２５により選択された出力層カウンター１２４の出
力の値ｐからの入力によって、テーブルメモリ１１２の
出力データ（すなわち、第三層の量子化ニューロンの出
力）に一致する最終層のニューロンの重みデータを出力
する。

【００７１】累積演算器１１３はテーブルメモリ１１２
の出力と重みメモリ１１１の出力を掛け合わせ累積す
る。

【００７２】以上の動作を、アドレス発生器１１０のカ
ウントアップに従って実行する。アドレス発生器１１０
の出力層カウンタ１２４の出力が変化するときに、その
アドレスに累積演算器１１３の値を出力メモリ１１４に
書き込み、累積演算器１１３の値を０に戻す。

【００７３】アドレス発生器１１０のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。このように、第２の実施例と同様の動作を行う。

【００７４】次に、重みメモリ１１１に記憶している重
みデータの学習を説明する。

【００７５】先ず、アドレス発生器１１０の特徴データ
カウンタ１２３の出力ｉによって特徴データメモリ１０
７、１０８、１０９から、各層に与えられる特徴データ
ｊ、ｋ、ｈが読み出される。アドレス変換器１０４は、
第一層の特徴データＪ、アドレス発生器１１０の第一層
カウンター１２０の出力ｘ、第一層の結合係数の０以外
のデータの個数Ｗｊを入力として、最終層のニューロン
の重みを記憶している重みメモリ１１１のアドレスの一
部を算出する。この算出式は、認識時と同一であり、重
みメモリ１１１のアドレスへの出力ｊｊは前記第１の実
施例での（数４）である。同様に、他の２個のアドレス
変換器１０５，１０６も、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部ｋｋ、
ｈｈを算出し、その各アドレスｋｋ、ｈｈを出力する。

【００７６】学習モードであるので、制御回路１１５か
らは学習制御信号Ｔ、及び学習させる最終層のニューロ
ンの番号Ｔｐの信号が出力され、アドレス発生器１１０
の選択回路１２５は、制御回路１１５からの学習するニ
ューロンの番号Ｔｐを選択する。

【００７７】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からのアドレス入
力ｊｊ、ｋｋ、ｈｈと、アドレス発生器１１０の特徴デ
ータカウンタ１２３の出力ｉと、アドレス発生器１１０
の選択回路１２５で選択された制御回路１１５からの学
習ニューロンの番号Ｔｐである出力値ｐからの入力によ
って、これ等に対応するアドレスに記憶された重みデー
タであって第三層の量子化ニューロンの出力が０以外の
値を持つデータを重み更新器１１６に出力する。

【００７８】重み更新器１１６は、重みメモリ１１１か
ら入力された重みデータに＋１を加え、その値を更新デ
ータとして重みメモリ１１１の入力に出力する。重みメ
モリ１１１は、制御回路１１５からの書き込み信号ＷＥ
によって、重み更新器１１６に重みデータを読み出して
いるアドレスと同じアドレスに、前記重み更新器１１６
から入力された更新データを書き込んで、重みデータを
更新する。以上の動作をアドレス発生器１１０のカウン
トアップに従って実行し、アドレス発生器１１０の第一
層カウンタ１２０から特徴データカウンタ１２３までカ
ウントアップが終了すれば、学習が終了し、学習させる
出力層のニューロンの入力データの値が０以外のとなる
入力の重みが全て、より重く変更されたことになる。

【００７９】（実施例４）本発明の第４の実施例を図９
に示す。本発明の図９の実施例は、前記図７の実施例と
同様に特徴データを学習、認識する回路であるが、最終
層の重みの値の更新について、第三層の量子化ニューロ
ンの出力の大小、即ち、強く反応したネットワークに対
しては重みをより一層重く変更し、さほど反応しなかっ
たネットワークに対しては重みを少しだけ重く変更する
ように、重み変更するものである。

【００８０】本発明の図９の実施例においては、重み更
新器１２６に加えて、シフタ１２７が追加されている。
該シフタ１２７への入力は、第三層の量子化ニューロン
の出力であるテーブルメモリ１１２の出力、すなわち３
層のニューラルネットワークの発火量である。

【００８１】前記シフタ１２７は、テーブルメモリ１１
２の出力に基いて、その出力の値に応じた値の重み更新
量を算出するものである。例えば、テーブルメモリ１１
２の値が８ビット（００〜ＦＦ）（１６進表現）であ
り、重みメモリ１１１の値も８ビットであり、シフタ１
２７は４ビット右にシフトするもので構成されるとす
る。すなわち、シフタ１２７が算出する重み更新量は、
テーブルメモリ１１２の値を４ビット右にシフト（例え
ば最大値ＦＦであるときには右４ビットシフトした０Ｆ
になる）して、重み更新量を重みメモリ１１１の重みの
値よりも小値の量としている。

【００８２】前記シフタ１２７の重み更新量は重み更新
器１２６に出力されている。該重み更新器１２６は、図
１０に示すように、重みメモリ１１１から出力された重
みデータと、シフタ１２７から出力された重み更新量と
を加算して重み更新値を算出する加算器１２８で実現さ
れている。該加算器１２８から出力される重み更新量は
重みメモリ１１１に出力される。

【００８３】その他の構成は、前記第３の実施例と同様
である。すなわち、特徴データメモリ１０７〜１０９
は、それぞれ第一層〜第三層の量子化ニューロンの量子
化信号入力端子Ｓに与えるデータが保持されている。係
数メモリ１０１〜１０３は、それぞれ第一層〜第三層の
量子化ニューロンの結合係数が保持されている。テーブ
ルメモリ１１２は、それぞれ係数メモリ１０１〜１０３
からの出力を入力とし、それらの結合係数を掛け合わせ
た値を出力する。重みメモリ１１１は量子化ニューロン
のネットワークの最終層のニューロンの重みを保持す
る。累積演算器１１３は、テーブルメモリ１１２の出力
と重みメモリ１１１の出力とを入力とし、総合結合係数
と重みとの乗算結果を累積加算する。制御回路１１５
は、書き込み制御ＷＥを重みメモリ１１１に出力し、学
習制御信号Ｔ、及び学習させる最終層のニューロンの番
号Ｔｐをアドレス発生器１１０に出力し、第一層〜第三
層の各結合係数の０以外のデータの個数Ｗｊ、Ｗｋ、Ｗ
ｈをアドレス発生器１１０及びアドレス変換器１０４〜
１０６に出力する。アドレス変換器１０４〜１０６は、
アドレス発生器１１０と対応する特徴データメモリ１０
７〜１０９のデータを受け取り、これ等を、それぞれ係
数メモリ１０１〜１０３へのアドレスと、重みメモリ１
１１への一部のアドレスに変換する。

【００８４】本発明の第４の実施例の動作について説明
する。

【００８５】先ず、特徴データの認識の場合について説
明する。この場合は、第２の実施例と同様の動作を行う
ことになる。各層の特徴データメモリ１０７、１０８、
１０９には、認識すべき画像の特徴データが書き込まれ
ている。

【００８６】アドレス発生器１１０の特徴データカウン
タ１２３の出力ｊによって特徴データメモリ１０７、１
０８、１０９から各層の特徴データｊ、ｋ、ｈが読み出
される。

【００８７】アドレス変換器１０４は、第一層の特徴デ
ータｊ、アドレス発生器１１０の第一層カウンタ１２０
の出力ｘ、第一層の結合係数の０以外のデータの個数Ｗ
ｊを入力としている。アドレス変換器１０４は、第一層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０１のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部を算出変
換する。

【００８８】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロンの出力数を８、量子化信号入力のレベルを０
〜７とした場合、その出力の変数の範囲は０〜７であ
る。ｊｊｊ、ｊｊの結果の下位より３ビットを出力とす
る。

【００８９】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部とを算出
して出力し、アドレス変換器１０６は、第三層の係数メ
モリ１０３のアドレスと、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部とを算
出し、出力する。

【００９０】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からの入力ｊｊ、
ｋｋ、ｈｈと、アドレス発生器１１０の特徴データカウ
ンタ１２３の出力ｉと、アドレス発生器１１０の選択回
路１２５により選択された出力層カウンター１２４の出
力の値ｐからの入力によって、テーブルメモリ１１２の
出力データ（すなわち、第三層の量子化ニューロンの出
力）に一致する最終層のニューロンの重みデータを出力
する。

【００９１】累積演算器１１３はテーブルメモリ１１２
の出力と重みメモリ１１１の出力を掛け合わせ累積す
る。

【００９２】以上の動作を、アドレス発生器１１０のカ
ウントアップに従って実行する。アドレス発生器１１０
の出力層カウンタ１２４の出力が変化するときに、その
アドレスに累積演算器１１３の値を出力メモリ１１４に
書き込み、累積演算器１１３の値を０に戻す。

【００９３】アドレス発生器１１０のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。このように、第２の実施例と同様の動作を行う。

【００９４】次に、重みメモリ１１１に記憶している重
みデータの学習を説明する。

【００９５】先ず、アドレス発生器１１０の特徴データ
カウンタ１２３の出力ｉによって特徴データメモリ１０
７、１０８、１０９から、各層に与えられる特徴データ
ｊ、ｋ、ｈが読み出される。アドレス変換器１０４は、
第一層の特徴データＪ、アドレス発生器１１０の第一層
カウンター１２０の出力ｘ、第一層の結合係数の０以外
のデータの個数Ｗｊを入力として、最終層のニューロン
の重みを記憶している重みメモリ１１１のアドレスの一
部を算出する。この算出式は、認識時と同一であり、重
みメモリ１１１のアドレスへの出力ｊｊは前記第１の実
施例での（数４）である。同様に、他の２個のアドレス
変換器１０５，１０６も、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部ｋｋ、
ｈｈを算出し、その各アドレスｋｋ、ｈｈを出力する。

【００９６】学習モードであるので、制御回路１１５か
らは学習制御信号Ｔ、及び学習させる最終層のニューロ
ンの番号Ｔｐの信号が出力され、アドレス発生器１１０
の選択回路１２５は、制御回路１１５からの学習するニ
ューロンの番号Ｔｐを選択する。

【００９７】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からのアドレス入
力ｊｊ、ｋｋ、ｈｈと、アドレス発生器１１０の特徴デ
ータカウンタ１２３の出力ｉと、アドレス発生器１１０
の選択回路１２５で選択された制御回路１１５からの学
習ニューロンの番号Ｔｐである出力値ｐからの入力によ
って、これ等に対応するアドレスに記憶された重みデー
タであって第三層の量子化ニューロンの出力が０以外の
値を持つデータを重み更新器１１６に出力する。

【００９８】また、シフタ１２７では、テーブルメモリ
１１２の出力値に応じた値の重み更新量が算出され、重
み更新器１２６は、前記重みメモリ１１１から入力され
た重みデータと、シフタ１２７から入力された重み更新
量を加算し、その加算結果の重み更新値を重みメモリ１
１１の入力に出力する。重みメモリ１１１は、制御回路
１１５からの書き込み信号ＷＥを受けることによって、
前記重み更新器１２６にデータを読み出しているアドレ
スと同じアドレスに重み更新値を書き込む。したがっ
て、強く反応した，すなわち発火量が大きい量子化ニュ
ーロンが接続されているネットワークの重みは一層重く
変更され、弱い反応の，すなわち発火量が小さい量子化
ニューロンが接続されているネットワークの重みは若干
重く変更される。その結果、ネットワークの反応の強弱
を表している演算結果の大小によって重みの変更濃度が
可変となるので、早期の学習効果が得られる。

【００９９】以上の動作をアドレス発生器１１０のカウ
ントアップに従って実行する。アドレス発生器１１０の
第一層カウンタ１２０から特徴データカウンタ１２３ま
でカウントアップが終了すれば、重みの学習が終了し、
学習させる出力層のニューロンの入力データの値が０以
外のとなる入力の重みを全て変更したことになる。

【０１００】（実施例５）本発明の第５の実施例を図１
１に示す。本発明の図１１の実施例は、特徴データを学
習、認識し、最終層の重みの値を更新する回路である
が、その重みの値がより重い側に変更されることに起因
してオーバーフローする場合を考慮したものである。

【０１０１】すなわち、図１１及び図１２に示す重み更
新器１３１には、重みメモリ１１１の重みデータに＋１
を加算する加算器１３２が備えられると共に、重みメモ
リ１１１の重みデータを１／２に減少させる１／２回路
１３３が備えられる。前記加算器１３２は、重みデータ
に＋１を加算した際に、その加算結果としての重み更新
値がオーバーフローした場合（例えば、重みメモリ１１
１のデータ幅が８ビットの場合にはＦＦ（１６進表現）
に＋１すると本来１００（１６進表現）となるべきであ
るにも拘らず、００となってしまい、重みの値が壊れて
しまう場合）には、オーバーフロー発生信号ＯＶを制御
回路１３５に出力するものである。

【０１０２】また、制御回路１３５は、前記重み更新器
１３１の加算器１３２からのオーバーフロー発生信号Ｏ
Ｖの発生時には、書き込み信号ＷＥを重みメモリ１１１
に出力しない。また、制御回路１３５は、重み更新器１
３１に選択信号Ｓを出力し、学習が進行して学習する出
力層のニューロンの入力の重みを全て変更した後は、そ
の選択信号Ｓを、加算器１３２の出力を選択する内容か
ら、１／２回路１３３の出力を選択する内容に切換える
と共に、アドレス発生器１１０に与えるべき結合係数の
０でない個数Ｗｊ、Ｗｋ、Ｗｈをそれぞれ最大値、この
実施例では８に設定し直す機能を有する。

【０１０３】更に、前記重み更新器１３１は、図１２に
示すように、選択回路１３４を有する。該選択回路１３
４は、制御回路１３５から出力される選択信号Ｓの内容
に従って加算器１３２の出力又は１／２回路１３３の出
力を選択するものである。

【０１０４】その他の構成は、前記第３の実施例と同様
である。すなわち、特徴データメモリ１０７〜１０９
は、それぞれ第一層〜第三層の量子化ニューロンの量子
化信号入力端子Ｓに与えるデータが保持されている。係
数メモリ１０１〜１０３は、それぞれ第一層〜第三層の
量子化ニューロンの結合係数が保持されている。テーブ
ルメモリ１１２は、それぞれ係数メモリ１０１〜１０３
からの出力を入力とし、それらの結合係数を掛け合わせ
た値を出力する。重みメモリ１１１は量子化ニューロン
のネットワークの最終層のニューロンの重みを保持す
る。累積演算器１１３は、テーブルメモリ１１２の出力
と重みメモリ１１１の出力とを入力とし、総合結合係数
と重みとの乗算結果を累積加算する。制御回路１３５
は、書き込み制御ＷＥを重みメモリ１１１に出力し、学
習制御信号Ｔ、及び学習させる最終層のニューロンの番
号Ｔｐをアドレス発生器１１０に出力し、第一層〜第三
層の各結合係数の０以外のデータの個数Ｗｊ、Ｗｋ、Ｗ
ｈをアドレス発生器１１０及びアドレス変換器１０４〜
１０６に出力する。アドレス変換器１０４〜１０６は、
アドレス発生器１１０と対応する特徴データメモリ１０
７〜１０９のデータを受け取り、これ等を、それぞれ係
数メモリ１０１〜１０３へのアドレスと、重みメモリ１
１１への一部のアドレスに変換する。

【０１０５】本発明の第５の実施例の動作について説明
する。

【０１０６】先ず、特徴データの認識の場合について説
明する。この場合は、第２の実施例と同様の動作を行う
ことになる。各層の特徴データメモリ１０７、１０８、
１０９には、認識すべき画像の特徴データが書き込まれ
ている。

【０１０７】アドレス発生器１１０の特徴データカウン
タ１２３の出力ｊによって特徴データメモリ１０７、１
０８、１０９から各層の特徴データｊ、ｋ、ｈが読み出
される。

【０１０８】アドレス変換器１０４は、第一層の特徴デ
ータｊ、アドレス発生器１１０の第一層カウンタ１２０
の出力ｘ、第一層の結合係数の０以外のデータの個数Ｗ
ｊを入力としている。アドレス変換器１０４は、第一層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０１のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部を算出変
換する。

【０１０９】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロンの出力数を８、量子化信号入力のレベルを０
〜７とした場合、その出力の変数の範囲は０〜７であ
る。ｊｊｊ、ｊｊの結果の下位より３ビットを出力とす
る。

【０１１０】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部とを算出
して出力し、アドレス変換器１０６は、第三層の係数メ
モリ１０３のアドレスと、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部とを算
出し、出力する。

【０１１１】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からの入力ｊｊ、
ｋｋ、ｈｈと、アドレス発生器１１０の特徴データカウ
ンタ１２３の出力ｉと、アドレス発生器１１０の選択回
路１２５により選択された出力層カウンター１２４の出
力の値ｐからの入力によって、テーブルメモリ１１２の
出力データ（すなわち、第三層の量子化ニューロンの出
力）に一致する最終層のニューロンの重みデータを出力
する。

【０１１２】累積演算器１１３はテーブルメモリ１１２
の出力と重みメモリ１１１の出力を掛け合わせ累積す
る。

【０１１３】以上の動作を、アドレス発生器１１０のカ
ウントアップに従って実行する。アドレス発生器１１０
の出力層カウンタ１２４の出力が変化するときに、その
アドレスに累積演算器１１３の値を出力メモリ１１４に
書き込み、累積演算器１１３の値を０に戻す。

【０１１４】アドレス発生器１１０のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。このように、第２の実施例と同様の動作を行う。

【０１１５】次に、重みメモリ１１１に記憶している重
みデータの学習を説明する。

【０１１６】先ず、アドレス発生器１１０の特徴データ
カウンタ１２３の出力ｉによって特徴データメモリ１０
７、１０８、１０９から、各層に与えられる特徴データ
ｊ、ｋ、ｈが読み出される。アドレス変換器１０４は、
第一層の特徴データＪ、アドレス発生器１１０の第一層
カウンター１２０の出力ｘ、第一層の結合係数の０以外
のデータの個数Ｗｊを入力として、最終層のニューロン
の重みを記憶している重みメモリ１１１のアドレスの一
部を算出する。この算出式は、認識時と同一であり、重
みメモリ１１１のアドレスへの出力ｊｊは前記第１の実
施例での（数４）である。同様に、他の２個のアドレス
変換器１０５，１０６も、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部ｋｋ、
ｈｈを算出し、その各アドレスｋｋ、ｈｈを出力する。

【０１１７】学習モードであるので、制御回路１１５か
らは学習制御信号Ｔ、及び学習させる最終層のニューロ
ンの番号Ｔｐの信号が出力され、アドレス発生器１１０
の選択回路１２５は、制御回路１１５からの学習するニ
ューロンの番号Ｔｐを選択する。

【０１１８】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からのアドレス入
力ｊｊ、ｋｋ、ｈｈと、アドレス発生器１１０の特徴デ
ータカウンタ１２３の出力ｉとを有する。

【０１１９】また、前記重みメモリ１１は、図１３のフ
ローチャートのステップＳ１に示すように、アドレス発
生器１１０の選択回路１２５で選択された制御回路１１
５からの学習ニューロン番号Ｔｐの出力の値ｐからの入
力によって、第三層の量子化ニューロンの出力が０以外
の値を持つ重みデータのうち更新すべきアドレスが指定
されて、ステップＳ２に示すように指定されたアドレス
の重みデータを読み出し、該重みデータを重み更新器１
３１に出力する。

【０１２０】重み更新器１３１では、選択回路１３４が
制御回路１３５からの選択信号Ｓの内容によって加算器
１３２の出力を選択している。従って、重み更新器１３
１の加算器１３２が、ステップＳ３に示すように前記重
み更新器１３１から入力された重みデータに＋１を加算
する。そして、ステップＳ４に示すように重みデータの
更新結果がオーバーフローしているか否かを判別し、オ
ーバーフローしている場合には、ステップＳ５に示すよ
うに加算器１３２はオーバーフロー発生信号ＯＶを制御
回路１３５に出力する。このため、制御回路１３５は、
このオーバーフロー発生時に書き込み信号ＷＥを重みメ
モリ１１１に出力しないので、このオーバーフロー発生
時では、重み更新器１３１にデータを読み出しているア
ドレスと同じアドレスの重みデータの更新は行われな
い。一方、オーバーフローしていない場合には、選択回
路１３４は、その重みデータの加算結果を重みメモリ１
１１の入力に出力する。重みメモリ１１１では、制御回
路１３５からの書き込み信号ＷＥを受けることによっ
て、ステップＳ６に示すように前記重み更新器１３１か
らデータを読み出しているアドレスと同じアドレスに重
みデータの更新結果を書き込むことにより、重みデータ
を更新する。そして、ステップＳ７に示すように重みデ
ータの更新が全て済んでいるか否かを判別し、更新が全
て済んでいない場合、即ち、以上の動作がアドレス発生
器１１０のカウントアップに従って行われ、アドレス発
生器１１０の第一層カウンタ１２０から特徴データカウ
ンタ１２３までカウントアップが終了していない場合に
は、ステップＳ８に示すように次に更新すべき重みメモ
リ１１１のアドレスを指定して、ステップＳ２に戻る。

【０１２１】その後、重みデータの学習が進行し、終了
すれば、学習させる出力層のニューロンの入力データの
値が０以外のとなる入力の重みが変更されたことにな
る。ここで、ステップＳ９に示すように前記オーバーフ
ロー発生信号ＯＶが出力されていない場合には、そのま
ま終了するが、オーバーフロー発生信号ＯＶの出力時に
は、制御回路１３５からの選択信号Ｓの内容が切換えら
れることによって、重み更新器１３１の選択回路１３４
は１／２回路１３３の出力を選択すると共に、制御回路
１３５からアドレス発生器１１０に与えられる数値（結
合係数が０でない個数）Ｗｊ、Ｗｋ、Ｗｈがそれぞれ最
大値である８に設定し直されるので、アドレス発生器１
１０をカウントアップしていくことにより、重みメモリ
１１１の全てのアドレスにアクセスして、ステップＳ１
０に示すように、その各アドレスの重みの値は全て１／
２回路１３３において同率の割合、即ち１／２に書き換
えられ、減少させられる。そして、全ての重みの値の書
き換えを終了した時点で、制御回路１３５からの選択信
号ｓの内容が切換えられることによって選択回路１３４
は再び加算器１３２の出力を選択して、通常の状態に戻
る。

【０１２２】以上の構成により、特徴データの学習を有
限なハードウェアで効率よく実行することができる。

【０１２３】（実施例６）本発明の第６の実施例を図１
４に示す。

【０１２４】本発明の図１４の実施例は、濃淡が単調で
変化に乏しい画像の間でも高い認識率が得られるよう
に、入力する特徴データを特殊に変換して特徴データ間
の差を拡げた後、特徴データメモリ１３７〜１３９に与
え、その後、特徴データによって最終層の重みの値の更
新しながら、ネットワークの演算を行って、特徴データ
を認識する回路である。ここで、図４と共通の構成要素
は同一の番号を付している。

【０１２５】図１４の第６の実施例においては、ルック
アップテーブル１４１〜１４３が追加されている。該各
ルックアップテーブル１４１〜１４３は、外部から与え
られる特徴データをアドレスとし、該特徴データをルッ
クアップテーブル１４１〜１４３内に書かれた内容、例
えば指数伸長や対数伸長などに従って非線形変換するも
のであり、その変換された特徴データは特徴データメモ
リ１３７〜１３９に入力される。

【０１２６】その他の構成は、前記第３の実施例と同様
である。すなわち、特徴データメモリ１０７〜１０９
は、それぞれ第一層〜第三層の量子化ニューロンの量子
化信号入力端子Ｓに与えるデータが保持されている。係
数メモリ１０１〜１０３は、それぞれ第一層〜第三層の
量子化ニューロンの結合係数が保持されている。テーブ
ルメモリ１１２は、それぞれ係数メモリ１０１〜１０３
からの出力を入力とし、それらの結合係数を掛け合わせ
た値を出力する。重みメモリ１１１は量子化ニューロン
のネットワークの最終層のニューロンの重みを保持す
る。累積演算器１１３は、テーブルメモリ１１２の出力
と重みメモリ１１１の出力とを入力とし、総合結合係数
と重みとの乗算結果を累積加算する。

【０１２７】重み更新器１１６は、重みメモリ１１１か
ら出力される重みデータを入力とし、その入力された重
みデータに＋１を加算して更新データを算出し、この更
新データを重みメモリ１１１に出力している。制御回路
１１５は、書き込み制御ＷＥを重みメモリ１１１に出力
し、学習制御信号Ｔ、及び学習させる最終層のニューロ
ンの番号Ｔｐをアドレス発生器１１０に出力し、第一層
〜第三層の各結合係数の０以外のデータの個数Ｗｊ、Ｗ
ｋ、Ｗｈをアドレス発生器１１０及びアドレス変換器１
０４〜１０６に出力する。アドレス変換器１０４〜１０
６は、アドレス発生器１１０と対応する特徴データメモ
リ１０７〜１０９のデータを受け取り、これ等を、それ
ぞれ係数メモリ１０１〜１０３へのアドレスと、重みメ
モリ１１１への一部のアドレスに変換する。

【０１２８】図８に示すように、アドレス発生器１１０
は、５つのカウンタと１つの選択回路で構成されてい
る。第一層カウンタ１２０、第二層カウンタ１２１と第
三層カウンタ１２２は、キャリ入力が値１のとき、０か
ら（幅入力の値−１）までカウントアップする。例え
ば、幅入力の値が３であれば、０、１、２とカウントし
た後、０に戻り、再び１、２とカウントする。特徴デー
タカウンタ１２３は、特徴データ数だけカウントするカ
ウンタであり、出力層カウンタ１２４は出力ニューロン
数だけカウントするカウンタである。選択回路１２５
は、学習制御信号Ｔによって制御回路１１５からの学習
させる最終層のニューロンの番号Ｔｐか、又は出力層カ
ウンタ１２４の出力を選択するものであり、学習制御信
号Ｔを受信している学習時には学習させる最終層のニュ
ーロンの番号Ｔｐが選択され、学習制御信号Ｔを受信し
ていない認識時には、出力層カウンタ１２４が選択され
る。

【０１２９】本発明の第６の実施例の動作について説明
する。

【０１３０】各層に特徴データが入力される。これらの
特徴データは１４１〜１４３のルックアップテーブル１
４１〜１４３の内容に従ってデータが指数伸長又は対数
伸長等の非線形変換が行われ、その後、この非線形変換
された特徴データが特徴データメモリ１３７〜１３９に
それぞれ保持される。

【０１３１】前記特徴データメモリ１３７〜１３９に特
徴データが保持された状態でこの特徴データを認識する
場合について以下説明する。この認識の場合は、第２の
実施例と同様の動作を行うことになる。各層の特徴デー
タメモリ１０７、１０８、１０９には、認識すべき画像
の特徴データが書き込まれている。

【０１３２】アドレス発生器１１０の特徴データカウン
タ１２３の出力ｊによって特徴データメモリ１０７、１
０８、１０９から各層の特徴データｊ、ｋ、ｈが読み出
される。

【０１３３】アドレス変換器１０４は、第一層の特徴デ
ータｊ、アドレス発生器１１０の第一層カウンタ１２０
の出力ｘ、第一層の結合係数の０以外のデータの個数Ｗ
ｊを入力としている。アドレス変換器１０４は、第一層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０１のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部を算出変
換する。

【０１３４】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロンの出力数を８、量子化信号入力のレベルを０
〜７とした場合、その出力の変数の範囲は０〜７であ
る。ｊｊｊ、ｊｊの結果の下位より３ビットを出力とす
る。

【０１３５】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの重みを記
憶している重みメモリ１１１のアドレスの一部とを算出
して出力し、アドレス変換器１０６は、第三層の係数メ
モリ１０３のアドレスと、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部とを算
出し、出力する。

【０１３６】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からの入力ｊｊ、
ｋｋ、ｈｈと、アドレス発生器１１０の特徴データカウ
ンタ１２３の出力ｉと、アドレス発生器１１０の選択回
路１２５により選択された出力層カウンター１２４の出
力の値ｐからの入力によって、テーブルメモリ１１２の
出力データ（すなわち、第三層の量子化ニューロンの出
力）に一致する最終層のニューロンの重みデータを出力
する。

【０１３７】累積演算器１１３はテーブルメモリ１１２
の出力と重みメモリ１１１の出力を掛け合わせ累積す
る。

【０１３８】以上の動作を、アドレス発生器１１０のカ
ウントアップに従って実行する。アドレス発生器１１０
の出力層カウンタ１２４の出力が変化するときに、その
アドレスに累積演算器１１３の値を出力メモリ１１４に
書き込み、累積演算器１１３の値を０に戻す。

【０１３９】アドレス発生器１１０のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。このように、第２の実施例と同様の動作を行う。

【０１４０】次に、重みメモリ１１１に記憶している重
みデータの学習を説明する。

【０１４１】先ず、アドレス発生器１１０の特徴データ
カウンタ１２３の出力ｉによって特徴データメモリ１０
７、１０８、１０９から、各層に与えられる特徴データ
ｊ、ｋ、ｈが読み出される。アドレス変換器１０４は、
第一層の特徴データＪ、アドレス発生器１１０の第一層
カウンター１２０の出力ｘ、第一層の結合係数の０以外
のデータの個数Ｗｊを入力として、最終層のニューロン
の重みを記憶している重みメモリ１１１のアドレスの一
部を算出する。この算出式は、認識時と同一であり、重
みメモリ１１１のアドレスへの出力ｊｊは前記第１の実
施例での（数４）である。同様に、他の２個のアドレス
変換器１０５，１０６も、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部ｋｋ、
ｈｈを算出し、その各アドレスｋｋ、ｈｈを出力する。

【０１４２】学習モードであるので、制御回路１１５か
らは学習制御信号Ｔ、及び学習させる最終層のニューロ
ンの番号Ｔｐの信号が出力され、アドレス発生器１１０
の選択回路１２５は、制御回路１１５からの学習するニ
ューロンの番号Ｔｐを選択する。

【０１４３】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１０４、１０５、１０６からのアドレス入
力ｊｊ、ｋｋ、ｈｈと、アドレス発生器１１０の特徴デ
ータカウンタ１２３の出力ｉと、アドレス発生器１１０
の選択回路１２５で選択された制御回路１１５からの学
習ニューロンの番号Ｔｐである出力値ｐからの入力によ
って、これ等に対応するアドレスに記憶された重みデー
タであって第三層の量子化ニューロンの出力が０以外の
値を持つデータを重み更新器１１６に出力する。

【０１４４】重み更新器１１６は、入力された重みデー
タに＋１を加え、その加算結果である重み更新値を重み
メモリ１１１の入力に出力する。重みメモリ１１１は、
制御回路１１５からの書き込み信号ＷＥによって、重み
更新器１１６に重みデータを読み出しているアドレスと
同じアドレスに、前記重み更新器１１６から入力された
重み更新値を書き込む。

【０１４５】以上の動作を、アドレス発生器１１０のカ
ウントアップに従って実行する。アドレス発生器１１０
の第一層カウンタ１２０から特徴データカウンタ１２３
までカウントアップが終了すれば、学習が終了し、学習
させる出力層のニューロンの入力データの値が０以外の
となる入力の重みを全て変更したことになる。

【０１４６】したがって、本実施例では、画像の濃淡が
単調で変化が乏しくて、画素値や、その横方向の差分
値、縦方向の差分値が小さく、特徴データに画像間の差
が出にくい場合であっても、入力する特徴データがルッ
クアップテーブル１４１〜１４３によって非線形変換さ
れて、その特徴データ間の差が拡げられた後、特徴デー
タメモリ１３７〜１３９に与えられるので、認識すべき
画像に適切な濃淡が付けられて、その画像の認識率が高
くなる。

【０１４７】（実施例７）本発明の第７の実施例を図１
５に示す。本発明の図１５の実施例は、画像の認識率を
一層高めるものである。すなわち、量子化ニューロン間
の結合係数が例えば図２３（ａ）の量子化信号入力＝０
のときの場合には、値が０以外である出力番号は同図か
ら判るように０、１、７であるが、出力番号＝７での値
は、出力番号＝０（即ち、結合係数が最も大きい部分）
と離れた位置にあり、このため画像の認識率が低下す
る。このことは、画像の右端と左端とでは、画像そのも
のの連続性がないこと、つまり、ある画素に注目したと
き、その画素の右端は、その画素のひとつ右側に位置す
る画素の左端とは連続しているが、その画素の右端とは
連続していないことからも判る。以上のことから、例え
ば図２３（ａ）に示す結合係数をもつ場合には、出力番
号７では結合係数を０にすることで認識率の向上を図る
こととしている。

【０１４８】図１５に示す第７の実施例では、図４と共
通の構成要素は同一の番号としている。

【０１４９】図１５に示す第７の実施例では、第一層〜
第三層の各アドレス変換器１４４〜１４６は、それぞれ
制御信号Ｇを出力する。この各制御信号Ｇは、対応する
係数メモリ１０１〜１０３のアドレスへの出力ｊｊｊ、
ｋｋｋ，ｈｈｈが第２の実施例の演算式（数４）により
計算された結果、ｊｊｊ＜０又はｊｊｊ＞７の場合、ｋ
ｋｋ＜０又はｋｋｋ＞７の場合、及びｈｈｈ＜０又はｈ
ｈｈ＞７の場合に、対応する各アドレス変換器１４４〜
１４６から出力される。

【０１５０】また、図１５の回路では、マルチプレクサ
１４７〜１４９が追加されている。該各マルチプレクサ
１４７〜１４９は、０のアドレス信号と、対応する係数
メモリ１０１〜１０３からのアドレス信号Ｊ、Ｋ、Ｈと
を受けると共に、制御信号として前記対応するアドレス
変換器１４４〜１４６からの制御信号Ｇを受け、該制御
信号Ｇを受けたときには、“０”の方を選択して、テー
ブルメモリ１１２の対応するアドレスＪ、Ｋ、Ｈに
“０”を入力するものである。

【０１５１】その他の構成は前記第３の実施例と同様で
ある。すなわち、図１５の回路において、特徴データメ
モリ１０７〜１０９は、それぞれ第一層〜第三層の量子
化ニューロンの量子化信号入力端子Ｓに与える特徴デー
タが保持されている。係数メモリ１０１〜１０３には、
それぞれ第一層〜第三層の量子化ニューロンの結合係数
が保持されている。テーブルメモリ１１２は、係数メモ
リ１０１〜１０３からの出力を入力とし、それらの各結
合係数を掛け合わせた値を出力する。重みメモリ１１１
は量子化ニューロンのネットワークの最終層のニューロ
ンの重みを保持する。累積演算器１１３は、テーブルメ
モリ１１２の出力と重みメモリ１１１の出力とを入力と
し、累積加算を行う。

【０１５２】重み更新器１１６は、重みメモリ１１１か
ら出力された最終層ニューロンの重みを入力とし、該重
みを更新した新な重みを更新データとして出力してい
る。制御回路１１５は、重みメモリ１１１に書き込み制
御ＷＥを出力すると共に、アドレス発生器１１０に対し
て学習制御信号Ｔと、学習させる最終層のニューロンの
番号Ｔｐの信号を出力し、第一層〜第三層の各結合係数
の０以外のデータの個数Ｗｊ、Ｗｋ、Ｗｈをアドレス発
生器１１０及びアドレス変換器１０４〜１０６に出力し
ている。アドレス変換器１４４〜１４６は、アドレス発
生器１１０と対応する特徴データメモリ１０７〜１０９
の両データを受け取り、それぞれ、係数メモリ１０１〜
１０３へのアドレスの変換と重みメモリ１１１へのアド
レスへの変換を行う。

【０１５３】また、図８に示すアドレス発生器１１０に
おいて、第一層カウンタ１２０、第二層カウンタ１２
１、及び第三層カウンタ１２２は、キャリ入力が値１の
とき、０から（幅入力の値−１）までカウントアップ
し、特徴データカウンタ１２３は、特徴データの数だけ
カウントし、出力層カウンタ１２４は出力ニューロン数
だけカウントする。選択回路１２５は、学習制御信号Ｔ
によって、制御回路１１５からの学習させる最終層のニ
ューロンの番号Ｔｐか、出力層カウンタ１２４の出力か
の何れかを選択し、学習制御信号Ｔを受けた学習時に
は、学習させる最終層のニューロンの番号Ｔｐを選択
し、学習制御信号Ｔを受けない特徴データの認識時に
は、出力カウンタ１２４の出力を選択する。

【０１５４】本発明の第７の実施例の動作について説明
する。

【０１５５】先ず、特徴データの認識の場合について説
明する。この場合は、第２の実施例と同様の動作を行う
ことになる。特徴データメモリ１０７、１０８、１０９
には、認識すべき画像の特徴データが書き込まれてい
る。

【０１５６】アドレス発生器１１０の特徴データカウン
タ１２３の出力ｊによって特徴データメモリ１０７、１
０８、１０９から各層の特徴データｊ、ｋ、ｈが読み出
される。

【０１５７】アドレス変換器１４４は、第一層の特徴デ
ータｊ、アドレス発生器１１０の第一層カウンター１２
０の出力ｘ、制御回路１１５からの第一層の結合係数の
０以外のデータの個数Ｗｊを入力としている。アドレス
変換器１４４は、第一層の量子化ニューロンの結合係数
を保持している係数メモリ１０１のアドレスと、最終層
のニューロンの結合係数を記憶している重みメモリ１１
１のアドレスの一部を算出する。

【０１５８】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロン出力数を８、量子化信号入力のレベルを０〜
７とした場合、それの変数の範囲は０〜７である。ｊｊ
ｊ、ｊｊの結果の下位より３ビットを出力とする。ここ
で、（数４）において、ｊｊｊ＜０又はｊｊｊ＞７の場
合には、対応するアドレス変換器１４４からの制御信号
Ｇによってマルチプレクサ１４７は“０”の方を選択す
る。つまり、テーブルメモリ１１２のアドレスＪには
“０”が入力される。

【０１５９】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスｋｋｋと、最終層のニューロンの係
数を記憶している重みメモリ１１１のアドレスｋｋの一
部を算出して出力し、アドレス変換器１０６は、第三層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０３のアドレスｈｈｈと、最終層のニューロンの係
数を記憶している重みメモリ１１１のアドレスの一部ｈ
ｈを算出し、出力する。第一層の場合と同様に、ｋｋｋ
＜０またはｋｋｋ＞７の場合には、対応するアドレス変
換器１４５の制御信号Ｇによりマルチプレクサ１４８は
“０”を選択し、ｈｈｈ＜０またはｈｈｈ＞７の場合に
は、アドレス変換器１４６の制御信号Ｇによりマルチプ
レクサ１４８は“０”を選択し、それぞれテーブルメモ
リ１１２のアドレスＫ、Ｈに“０”を入力する。

【０１６０】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１４４、１４５、１４６からの入力ｊｊ、
ｋｋ、ｈｈと、アドレス発生器１１０の特徴データカウ
ンター１２３の出力ｉと、アドレス発生器１１０の選択
回路１２５により選択された出力層カウンター１２４の
出力の値ｐからの入力によって、テーブルメモリ１１２
の出力データ（すなわち、第三層の量子化ニューロンの
出力）に一致する最終層のニューロンの重みデータを出
力する。

【０１６１】累積演算器１１３はテーブルメモリ１１２
の出力と重みメモリ１１１の出力とを掛け合わせ、累積
する。

【０１６２】以上の動作を、アドレス発生器１１０のカ
ウントアップに従って実行する。アドレス発生器１１０
の出力層カウンタ１２４が変化するときに、そのアドレ
スに累積演算器１１３の値を書き込み、累積演算器１１
３の値を０にする。

【０１６３】アドレス発生器１１０のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。このように、第２の実施例と同様の動作を行う。

【０１６４】次に、本実施例における学習の場合につい
て説明する。

【０１６５】先ず、アドレス発生器１１０の特徴データ
カウンタ１２３の出力ｉによって特徴データメモリ１０
７、１０８、１０９から、各層に与えられる特徴データ
ｊ、ｋ、ｈが読み出される。アドレス変換器１４４は、
第一層の特徴データＪ、アドレス発生器１１０の第一層
カウンター１２０の出力ｘ、制御回路１１５からの第一
層の結合係数の０以外のデータの個数Ｗｊを入力とし
て、最終層のニューロンの結合係数を記憶している重み
メモリ１１１のアドレスの一部を算出する。この算出式
は、認識時と同様であり、重みメモリ１１１のアドレス
への出力ｊｊは前記第１の実施例での（数４）である。
同様に、他の２個のアドレス変換器１４５，１４６は、
最終層のニューロンの係数を記憶している重みメモリ１
１１のアドレスの一部ｋｋ、ｈｈを算出し、その各アド
レスｋｋ、ｈｈを出力する。

【０１６６】学習モードであるので、制御回路１１５か
らは学習制御信号Ｔ、及び学習させる最終層のニューロ
ンの番号Ｔｐの信号が出力され、アドレス発生器１１０
の選択回路１２５は、制御回路１１５からの学習ニュー
ロン番号Ｔｐを選択する。

【０１６７】量子化ニューロンのネットワークの最終層
のニューロンの重みを保持する重みメモリ１１１は、ア
ドレス変換器１４４、１４５、１４６からのアドレス入
力ｊｊ、ｋｋ、ｈｈと、アドレス発生器１１０の特徴デ
ータカウンター１２３の出力ｉと、アドレス発生器１１
０の選択回路１２５で選択された制御回路１１５からの
学習ニューロンの番号Ｔｐである出力の値ｐからの入力
によって、これ等に対応するアドレスに記憶された重み
データであって第三層の量子化ニューロンの出力が０以
外の値を持つ重みデータを重み更新器１１６に出力す
る。

【０１６８】重み更新器１１６は、入力された重みデー
タに＋１を加え、その値を更新データとして重みメモリ
１１１の入力に出力する。重みメモリ１１１は、制御回
路１１５からの書き込み信号ＷＥによって、重み更新器
１１６に重みデータを読み出しているアドレスと同じア
ドレスに、前期重み更新器１１６から入力された更新デ
ータを書き込んで、重みデータを更新する。以上の動作
をアドレス発生器１１０のカウントアップに従って実行
し、アドレス発生器１１０の第一層カウンタ１２０から
特徴データカウンタ１２３までカウントアップが終了す
れ、学習が終了し、学習させる最終層のニューロンの入
力データの値が０以外のとなる入力の重みが全て、より
重く変更されたことになる。

【０１６９】ここに、ｊｊｊ＜０又はｊｊｊ＞７、ｋｋ
ｋ＜０又はｋｋｋ＞７、及びｈｈｈ＜０又はｈｈｈ＞７
の場合、即ち結合係数に値のある出力番号（アドレス）
が、結合係数の値が最も大きい出力番号（アドレス）と
離れた位置にある場合には、対応する係数メモリ１０１
〜１０３からは値のある結合係数Ｊ、Ｋ、Ｈが出力され
るが、対応するアドレス変換器１４４〜１４６からは制
御信号Ｇが出力され、このため、対応するマルチプレク
サ１４７〜１４９は、“０”の結合係数を選択し、この
結合係数をテーブルメモリ１１２への対応するアドレス
Ｊ、Ｋ、Ｈとして入力する。従って、画素の右端が、そ
の画素のひとつ右側に位置する画素の右端と連続するこ
とが防止されるので、特徴データの認識率が向上する。

【０１７０】（実施例８）図１６及び図１７は本発明の
第８の実施例を示す。本実施例では、特徴データを量子
化変換し、この量子化変換した特徴データを特徴データ
メモリ１０７〜１０９に蓄え、それら特徴データによっ
て認識するニューラルネットワーク回路である。即ち、
量子化変換された特徴データによってネットワークの演
算を行うものである。

【０１７１】前記図１６及び図１７の第８の実施例で
は、備えるべき量子化変換メモリの数を少なく制限し
て、ニューラルネットワーク回路を小規模のハードウェ
アで構成しつつ、高い画像認識率を得るニューラルネッ
トワーク回路を提供したものである。図１６及び図１７
の本発明の回路を説明する前に、本発明者が先に考えた
ニューラルネットワーク回路を図１８に示す。

【０１７２】図１８に示すニューラルネットワーク回路
において、量子化変換メモリ１６１〜１６３には、予
め、外部から与えられる特徴データを最適に量子化でき
る量子化変換テーブルが与えられている。

【０１７３】制御回路１１５は、画像の特徴データの記
憶動作時には、特徴データのロードアドレスを示すＡＤ
信号を出力すると共に、特徴データのＬoad 信号を出力
する。マルチプレクサ１５４〜１５６は、前記制御回路
１１５のLoad信号を受けて制御回路１１５のＡＤ信号を
特徴データメモリ１０７〜１０９のアドレス入力に与え
る。外部から与えられた各層第１番目の特徴データは、
それぞれ、対応する量子化変換メモリ１６１〜１６３の
アドレスに与えられて量子化変換された後、特徴データ
メモリ１０７〜１０９に与えられ、制御回路１１５のラ
イトイネーブル信号ＷＥh 、ＷＥj 、ＷＥk により内部
に書き込まれる。

【０１７４】制御回路１１５のＡＤ信号の値が１だけカ
ウントアップされて第２番目の特徴データが対応する量
子化変換メモリ１６１〜１６３に入力され、上記と同様
の処理が行われる。外部から与えられる全ての特徴デー
タに対して前記の動作が繰り返し行われることにより、
外部から与えられる全ての特徴データは、量子化変換メ
モリ１６１〜１６３で量子化された後、その量子化され
た値が対応する特徴データメモリ１０７〜１０９に蓄え
られる。

【０１７５】例えば、量子化ニューロンが８レベルのも
のとしたとき、外部より与えられる特徴データが８レベ
ルの値に変換される。

【０１７６】図１８の回路の他の構成は図３の回路と同
様である。すなわち、図１８において、特徴データメモ
リ１０７〜１０９は、それぞれ第一層〜第三層の量子化
ニューロンの量子化信号入力端子Ｓに与えるデータが保
持されている。係数メモリ１０１〜１０３は、それぞれ
第一層〜第三層の量子化ニューロンの結合係数が保持さ
れている。テーブルメモリ１１２は、係数メモリ１０１
〜１０３からの出力を入力とし、それら結合係数を掛け
合せた値を出力する。重みメモリ１１１は量子化ニュー
ロンのネットワークの最終層のニューロンの重みを保持
する。累積演算器１１３は、テーブルメモリ１１２の出
力と重みメモリ１１１の出力を入力とし、その両者の累
積加算を行う。制御回路１１５は、第一層〜第三層の各
結合係数の０以外のデータの数Ｗｊ，Ｗｋ，Ｗｈをアド
レス発生器１１９とアドレス変換器１０４〜１０６に出
力する。アドレス変換器１０４〜１０６は、アドレス発
生器１１９及び特徴データメモリ１０７〜１０９の両デ
ータを受け取り、それぞれ係数メモリ１０１〜１０３へ
のアドレスの算出と重みメモリ１１１へのアドレスの算
出を行う。

【０１７７】図５に示すように、アドレス発生器１１９
において、第一層カウンタ１２０、第二層カウンタ１２
１、及び第三層カウンタ１２２は、キャリ入力が値１の
とき、０から（幅入力の値−１）までカウントアップ
し、特徴データカウンタ１２３は、特徴データ数だけカ
ウンとし、出力層カウンタ１２４は出力ニューロン数だ
けカウントする。

【０１７８】次に、この従来回路での画像認識の実行動
作について説明する。

【０１７９】先ず、アドレス発生器１１９の特徴データ
カウンター１２３の出力ｊによって特徴データメモリ１
０７、１０８、１０９から各層の特徴データｊ，ｋ，ｈ
が読み出される。

【０１８０】アドレス変換器１０４は、第一層の特徴デ
ータｊ、アドレス発生器１１９の第一層カウンター１２
０の出力ｘ、第一層の結合係数の０以外のデータの数Ｗ
ｊを入力としている。アドレス変換器１０４は、第一層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０１のアドレスと、最終層のニューロンの結合係数
を記憶している重みメモリ１１１のアドレスの一部を算
出する。

【０１８１】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロンの出力数を８、量子化信号入力のレベルを０
〜７とした場合、その出力変数の範囲は０〜７である。
アドレスｊｊｊ、ｊｊの結果の下位より３ビットを出力
とする。

【０１８２】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの係数を記
憶している重みメモリ１１１のアドレスの一部とを算出
して出力し、アドレス変換器１０６は、第三層の量子化
ニューロンの結合係数を保持している係数メモリ１０３
のアドレスと、最終層のニューロンの係数を記憶してい
る重みメモリ１１１のアドレスの一部とを算出し、出力
する。

【０１８３】量子化ニューロンのネットワークの最終層
のニューロンの重み保持する重みメモリ１１１は、アド
レス変換器１０４、１０５、１０６からの入力ｊｊ、ｋ
ｋ、ｈｈと、アドレス発生器１１９の特徴データカウン
ター１２３の出力ｉと、出力層カウンター１２４の出力
の値ｐの入力によって、テーブルメモリ１１２の出力デ
ータ（即ち、第三層の量子化ニューロンの出力）に一致
する最終層のニューロンの重みデータを出力する。

【０１８４】累積演算器７はテーブルメモリ１１２の出
力と重みメモリ１１１の出力とを掛け合わせ、その乗算
結果を累積する。

【０１８５】以上の動作を、アドレス発生器１１９のカ
ウントアップに従って実行する。アドレス発生器１１９
の出力層カウンタ１２４の出力が変化するときに、その
アドレスに累積演算器１１３の値を出力メモリ１１４に
書き込むと同時に、累積演算器１１３の値を０に戻す。

【０１８６】アドレス発生器１１９のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。上記図１８に示す量子化ニューロンを使ったニュー
ラルネットワークの従来回路では、各入力層毎に１つの
量子化変換メモリしか持っておらず、高い認識率の達成
が困難である。このため、量子化ニューロン毎に量子化
変換メモリを持つこととすると、ハードウェアが膨大に
なり、非常に高価になってしまう。

【０１８７】次に、図１６及び図１７に示す本発明の第
８の実施例のニューラルネットワーク回路を説明する。

【０１８８】本発明の第８実施例のニューラルネットワ
ーク回路では、量子化変換器２０１〜２０３は、量子化
変換の閾値が保持されている量子化閾値メモリ２１９
と、そのアドレスを計算するシフタ２１２と、加算器２
１３と、アドレスレジスタ２１６と、マルチプレクサ２
１１と、外部から与えられる特徴データ入力と前記量子
化閾値メモリ２１９の出力とを比較する比較器２１８
と、出力の値を選択する出力マルチプレクサ２１４と、
対応する量子化変換器２０１〜２０３を制御する変換制
御回路２２１で構成されている。

【０１８９】量子化変換器２０１〜２０３の動作につい
て各部の波形図１９を用いて説明する。予め、量子化閾
値メモリ２１９には特徴データの順番に８アドレス毎
に、個々の特徴データに対応した７つの閾値が保持され
ている。８アドレス毎の一番小さなアドレスのデータは
無効とされ、閾値の小さい順番に７種の閾値が記憶され
ている。ここで例えば図１９に示すものでは、アドレス
の若い順番に、無効、30,60,90,120,150,180,210, 無
効、25,50,75,125,150,175, 無効、55,80,105,130,180,
205,無効、45,75,105,140,175,205,235 、無効、…200,
230 が保持されている。

【０１９０】量子化閾値メモリ２１９のアドレスの下位
３ビットはレジスタ２１６から供給され、上位の６ビッ
トは演算制御回路２０３から供給される。

【０１９１】特徴データメモリ１０７〜１０９への特徴
データのロード時には、演算制御回路２２０はLoad信号
及びｓｅｔ信号を出力すると共に、特徴データのロード
アドレスＡＤ信号を出力する。マルチプレクサ１５４〜
１５６は前記演算制御回路２２０からのLoad信号を受け
て、演算制御回路２２０のロードアドレスＡＤを選択す
る。

【０１９２】アドレスレジスタ２１６は、演算制御回路
２２０からのｓｅｔ信号により、その出力値が４にセッ
トされ、同時に変換制御回路２２１は演算制御回路２２
０からのｓｅｔ信号を受けて初期状態にセットされる。
その後、変換制御回路２２１はクロックに従い、シフト
信号とゲート信号とを出力する。シフト信号は、図１９
に示すようにセット信号でＨＩＧＨになり、第２クロッ
クでＬＯＷとなる。また、ゲート信号は同図に示すよう
に、セット信号でＨＩＧＨになり、第３クロックでＬＯ
Ｗとなる。

【０１９３】アドレスレジスタ２１６の出力は、量子化
変換閾値メモリ２１９の下位アドレスに供給されてお
り、量子化変換閾値メモリ２１９の上位アドレスは、演
算制御回路２２０のロードアドレスＡＤが供給されてい
る。すなわち、量子化変換閾値メモリ２１９は、ロード
アドレスＡＤにより、量子化する際の７つの閾値を有す
る組を選択すると共に、当初はｓｅｔ信号によって下位
アドレスに与えられる値４により前記選択した組のうち
４番目の閾値、すなわち中央の閾値を読み出す。例え
ば、演算制御回路２２０のロードアドレスＡＤの値が０
である場合には、閾値１２０が読み出される。

【０１９４】前述のように量子化変換閾値メモリ２１９
から読み出された４番目の閾値は比較器２１８に出力さ
れ、該比較器２１８によって、入力されている特徴デー
タが４番目の閾値と比較される。比較器２１８の出力
は、特徴データ入力の値が、量子化変換閾値メモリ２１
９より読み出された閾値より大きいときＬＯＷを出力
し、小さいときＨＩＧＨを出力する。例えば入力された
第１番目の特徴データの値が１３０である場合には、量
子化変換閾値メモリ２１９から読み出された値１２０と
比較され、比較器２１８の出力はＬＯＷとなる。

【０１９５】比較器２１８の出力信号と、変換制御回路
２２１のゲート信号とはアンド回路２１７に入力され、
該アンド回路２１７は前記両信号の論理和をとり、該ア
ンド回路２１７によりマルチプレクサ２１１が制御され
る。マルチプレクサ２１１は、アンド２１７の出力がＨ
ＩＧＨである場合には−１の入力を、ＬＯＷである場合
には＋１の入力を選択する。即ち、マルチプレクサ２１
１の出力は、図１９に示すように、第１クロック及び第
２クロックである場合には、比較器２１８の出力に依存
し、第３クロックである場合にはマルチプレクサ２１１
は−１の入力を選択する。

【０１９６】マルチプレクサ２１１の出力はシフタ２１
２に入力される。該シフタ２１２は、変換制御回路２２
１のシフト信号によって０ビット又は１ビットの算術右
シフトを行う。即ち、シフタ２１２は、第１クロックの
み入力データの１ビットの算術右シフトを実行する。

【０１９７】シフタ２１２の出力とアドレスレジスタの
値とは加算器２１３で加算される。加算器２１３は、前
記の加算によって次の量子化変換閾値メモリ２１９のア
ドレスを計算するものである。即ち、第１クロックで中
央の閾値が量子化変換閾値メモリ２１９から読み出さ
れ、入力された特徴データと比較された結果に応じて、
２つ上の閾値又は２つ下の閾値のアドレスの計算を実行
する。例えば、第１番目の特徴データの値１３０と、量
子化変換閾値メモリ２１９から読み出された値１２０と
が比較され、マルチプレクサ２１１が＋１を選択し、こ
の＋１がシフタ２１２により１ビット算術右シフトされ
て、シフタ２１２の出力が値２となると、加算器２１３
は、アドレスレジスタ２１４の値４とシフタ２１２の出
力値２との加算を行い、次の閾値が納められているアド
レス６を出力する。

【０１９８】次に、第２クロックでは、アドレスレジス
タ２１６は、加算器２１３の出力を取り込み、次の閾値
が納められているアドレス６を量子化変換閾値メモリ２
１９に与える。

【０１９９】続いて、第１番目の特徴データの値１３０
と、量子化変換閾値メモリ２１９から読み出された次の
閾値１８０とが再び比較器２１８で比較され、該比較器
２１８の出力がＨＩＧＨとなって、マルチプレクサ２１
１が−１を選択し、その−１がシフタ２１２により０ビ
ット算術右シフトされて、シフタ２１２の出力が値−１
となる。加算器２１３は、アドレスレジスタ２１４の値
６とシフタ２１２の出力値−１の加算を行い、次の閾値
が納められているアドレス５を出力する。

【０２００】第３クロックでは、アドレスレジスタ２１
６は、加算器２１３の出力を取り込み、次の閾値が納め
られているアドレス５を量子化変換閾値メモリ２１９に
与える。更にもう一度、第１番目の特徴データの値１３
０と、量子化変換閾値メモリ２１９から読み出された次
の閾値１５０とが比較器２１８により比較される。この
場合、第３クロックではマルチプレクサ２１１は必ず−
１を選択し、シフタ２１２の出力は必ず値−１となる。
従って、加算器２１３は、アドレスレジスタ２１４の値
５とシフタ２１２の出力の値−１の加算を行い、値４を
出力する。このとき、出力レジスタ２１６の入力値は、
出力レジスタ２１６の出力値より１小さい値となってい
る。

【０２０１】出力マルチプレクサ２１４は、比較器２１
８の出力に応じて、出力レジスタ２１６の入力値又は出
力値を選択し、比較器２１８の出力がＨＩＧＨの場合に
は出力レジスタ２１６の入力を選択し、比較器２１８の
出力がＬＯＷの場合には出力レジスタ２１６の出力を選
択し、出力する。即ち、例えば第３クロックでは、特徴
データの入力値が１３０であり、量子化変換閾値メモリ
２１９から読み出された値が１５０であるので、比較器
２１８の出力はＨＩＧＨとなり、出力マルチプレクサ２
１４は、出力レジスタ２１６の入力を選択し、値４を出
力する。

【０２０２】以上のように、第３クロック目で、入力さ
れた特徴データの量子化結果が得られ、この値が、対応
するマルチプレクサ１５６を介し特徴データメモリ１０
９に与えられ、演算制御回路２２０からのライトイネー
ブル信号ＷＥh によって特徴データメモリ１０９に書き
込まれる。

【０２０３】その後、演算制御回路２２０のロードアド
レスＡＤがカウントアップされ、がい演算制御回路２２
０からｓｅｔ信号が量子化変換器２０３に与えられ、上
記と同様の制御が行われる。

【０２０４】以上の動作を繰り返して、全ての特徴デー
タの量子化変換が行われ、マルチプレクサ１５６を介し
て、量子化変換された特徴データの全てが特徴データメ
モリ１０４にロードされる。

【０２０５】ここに、量子化変換器２０１〜２０３は、
それぞれ第一層〜第三層に対応して各１個当てのみ設け
られていて、且つ各量子化ニューロン毎に異なる７個の
量子化変換の閾値でもって対応する特徴データを量子化
できるので、各層１個の量子化変換器２０１〜２０３で
もって、量子化ニューロン毎に量子化変換メモリを持っ
たに等しいハードウェアとして、ニューラルネットワー
ク回路を小規模で低高価に構成しつつ、高い画像認識率
を得ることができる。

【０２０６】そして、前記のように全ての特徴データが
量子化変換されて特徴データメモリ１０７〜１０９に書
き込まれた後は、演算制御回路２２０のLoad信号の内容
が切換えられ、該Ｌoad 信号に基いてマルチプレクサ１
５４〜１５６は、アドレス発生器１１９の出力ｉの入力
を選択し、特徴データメモリ１０７〜１０９に記憶され
た特徴データに対してネットワークの演算が実行され
る。

【０２０７】以降、ネットワークの演算による画像認識
の実行は従来技術と同様である。

【０２０８】すなわち、特徴データメモリ１０７〜１０
９には、それぞれ、前述の通り第一層〜第三層の量子化
変換後の特徴データが書き込まれており、該各特徴デー
タメモリ１０７〜１０９より各層に与えられる特徴デー
タｊ，ｋ，ｈは、アドレス発生器１１９の特徴データカ
ウンター１２３の出力ｉにより読み出される。

【０２０９】アドレス変換器１０４は、第１層の特徴デ
ータｊ，アドレス発生器１１９の第一層カウンター１２
０の出力ｘ、第１層の結合係数の０以外のデータの数Ｗ
ｊを入力とし、第一層の量子化ニューロンの結合係数を
保持している係数メモリ１０１のアドレスと、最終層の
ニューロンの結合係数を記憶している重みメモリ１１１
のアドレスの一部とを算出し、出力する。

【０２１０】係数メモリ１０１のアドレスへの出力ｊｊ
ｊは（数４）で与えられ、重みメモリ１１１のアドレス
への出力ｊｊは（数５）で与えられる。ここで、量子化
ニューロンの出力数を８、量子化信号入力のレベルを０
〜７とした場合、その出力の変数の範囲は０〜７であ
る。ｊｊｊ、ｊｊの結果の下位より３ビットを出力とす
る。

【０２１１】同様に、アドレス変換器１０５は、第二層
の量子化ニューロンの結合係数を保持している係数メモ
リ１０２のアドレスと、最終層のニューロンの係数を記
憶している重みメモリ１１１のアドレスの一部とを算出
して出力し、アドレス変換器１０６は、第三層の係数メ
モリ１０３のアドレスと、最終層のニューロンの重みを
記憶している重みメモリ１１１のアドレスの一部とを算
出し、出力する。

【０２１２】量子化ニューロンのネットワークの最終層
のニューロンの重み保持する重みメモリ１１１は、アド
レス変換器１０４、１０５、１０６からの入力ｊｊ、ｋ
ｋ、ｈｈと、アドレス発生器１１９の特徴データカウン
ター１２３の出力ｉと、アドレス発生器１１０の出力層
カウンター１２４の出力の値ｐからの入力によって、テ
ーブルメモリ１１２の出力データ（即ち、第三層の量子
化ニューロンの出力）に一致する最終層のニューロンの
重みデータを出力する。

【０２１３】累積演算器１１３はテーブルメモリ１１２
の出力と重みメモリ１１１の出力を掛け合わせ累積す
る。

【０２１４】以上の動作を、アドレス発生器１１９のカ
ウントアップに従って実行する。アドレス発生器１１９
の出力層カウンタ１２４の出力が変化するときに、出力
メモリ１１４のそのアドレスに累積演算器１１３の値を
書き込み、累積演算器１１３の値を０なる。

【０２１５】アドレス発生器１１９のカウントアップが
終了すれば、認識の演算が終了し、出力メモリ１１４に
は量子化ニューロンのネットワークの解答出力が得られ
る。尚、以上の説明では、量子化ニューロンを用いたネ
ットワークを、１層の特徴データが８×８の６４個の３
層のネットワークとし、量子化数を８レベルとし、３層
の特徴データとして説明したが、本発明はこれに限定さ
れず、種々の変形例を含むものである。

【０２１６】（実施例９）図２７ないし図３０は本発明
の第９の実施例を示す。本実施例では、初期学習用とし
ての特徴データを予め初期学習用特徴データメモリに記
憶しておき、実際の画像認識の前段階として、前記予め
記憶した特徴データを繰返し参照して最終層のニューロ
ンの重みを更新して、認識処理の学習を行うものであ
る。

【０２１７】すなわち、図２７では、重みメモリ１１
１、累積演算器１１３等、前記実施例３（図７）と同一
の回路が備えられる他、別途、初期学習用特徴データメ
モリ３００が設けられる。該初期学習用特徴データメモ
リ３００には、予め、図２８に示すように、例えばＡ，
Ｂ，Ｃ及びＤの４種の文字よりなる４個の初期学習用特
徴データが記憶される。該４個の初期学習用特徴データ
は、各々、８×８の画素より成ると共に、第１番目（ｍ
＝０）の特徴データはその認識時には図２１の最終層の
ニューロンのうちｐ＝０のニューロンの出力値が最大値
になるものが選定され、以下、第２番目（ｍ＝１）の特
徴データは最終層のｐ＝１のニューロンの出力値が、第
３番目（ｍ＝２）の特徴データは最終層のｐ＝２のニュ
ーロンの出力値が、第４番目（ｍ＝３）の特徴データは
最終層のｐ＝３のニューロンの出力値が各々最大値にな
るものが選定される。

【０２１８】前記初期学習用特徴データメモリ３００に
記憶される特徴データに基づく初期学習を図２９のフロ
ーチャートに基いて説明する。先ず、ステップＳ１で重
みメモリ１１３を初期化すると共に、ステップＳ２で初
期学習用特徴データメモリ３００に前記図２８に示す初
期学習用の複数個の特徴データを記憶する。また、ステ
ップＳ３では、認識を実行した特徴データの数を示すカ
ウンタ値ｍをｍ＝０に初期設定すると共に、学習が実行
された場合に「１」になる学習フラグＦＬＡＧをＦＬＡ
Ｇ＝０に初期設定する。

【０２１９】その後、ステップＳ４で初期学習モードに
切換え、ステップＳ５でｍ番目（初回はｍ＝０）の特徴
データを初期学習用特徴データメモリ３００から読み出
して、この読み出した特徴データの認識を実行する。こ
の認識の実行は前記実施例２と同一の演算により行われ
る。

【０２２０】そして、その後は、ステップＳ６で前記認
識の結果が教師データと一致するか否かを判断し、一致
する場合には認識処理の学習の必要がなく、直ちにステ
ップＳ８に進むが、一致しない場合，即ち特徴データの
認識が困難な場合にはステップＳ７で教師データと一致
しなかった特徴データに対して、重みメモリ１１１の最
終層のニューロンの重みをＨｅｂｂの学習則に従って更
新すると共に、学習フラグＦＬＡＧをＦＬＡＧ＝１に設
定する。

【０２２１】続いて、ステップＳ８では認識する特徴デ
ータが初期学習用特徴データメモリ３００内の最後に位
置する特徴データか否かを判別し、最後の特徴データで
ない場合には、ステップＳ９でカウンタｍに「１」を加
算して（ｍ＝ｍ＋１）、ステップＳ４に戻って次の特徴
データに対する認識を実行する。一方、最後に位置する
特徴データである場合には、ステップＳ１０で学習フラ
グＦＬＡＧの値を判別し、ＦＬＡＧ＝１の学習有りの場
合には、ステップＳ１１でｍ＝０，ＦＬＡＧ＝０に戻し
てステップＳ４に戻り、再びｍ＝０番目の特徴データか
ら認識実行及び必要な場合の学習を行う。一方、ＦＬＡ
Ｇ＝０の学習無しの場合には、全ての特徴データを良好
に認識し終えたと判断して、終了する。

【０２２２】次に、前記図２９のフローチャートに示す
特徴データの認識処理の初期学習を行う回路の構成を図
２７に基いて説明する。

【０２２３】同図において、３００，３０１，３０２は
各層の初期学習用特徴データメモリ、３０３，３０４，
３０５は前記初期学習用特徴データメモリ３００〜３０
２と、これと対応する層の特徴データメモリ１０７〜１
０９とを切換えるマルチプレクサである。制御回路１１
５は前記各層のマルチプレクサ３０３〜３０５に対して
初期学習信号ＩＬを出力し、該各マルチプレクサ３０３
〜３０５は初期学習信号ＩＬを受けて初期学習用特徴デ
ータメモリ３００〜３０２を選択する。

【０２２４】また、アドレス発生器１１０は、内部に、
図３０に示すように、トレーニングカウンタ３２０と、
３入力マルチプレクサより成る選択回路３２１とを別途
有する。前記トレーニングカウンタ３２０は、図２７の
制御回路１１５から初期化信号（ｍ＝０）及びカウント
信号（ｍ＝ｍ＋１）を受けて、認識を実行した特徴デー
タの数ｍを計測する。前記選択回路３２１は、図２７の
制御回路１１５から初期学習信号ＩＬ、学習制御信号
Ｔ、及び学習させる最終層のニューロンの番号Ｔｐの信
号が出力されている場合にはその信号を受け、初期学習
信号ＩＬの受信時に学習制御信号Ｔを受けた場合にはト
レーニングカウンタ３２０の出力ｑを選択し、初期学習
信号ＩＬの非受信時に学習制御信号Ｔを受けた場合に
は、学習させる最終層のニューロンの番号Ｔｐの信号を
選択し、前記以外の場合には出力層カウンタ１２４の出
力を選択するものである。

【０２２５】また、図２７において、３３０は最大値ア
ドレス検出器であって、該検出器３３０は、累積演算器
１１３の演算結果である最終層のニューロンの出力値
と、アドレス発生器１１０からのその最終層のニューロ
ンのアドレスｐとを順次受けて、その受けた各出力値の
うち最大値のニューロンのアドレスを検出するものであ
る。更に、３３１は比較器であって、該比較器３３１
は、前記最大値アドレス検出器３３０で検出された出力
値が最大のニューロンのアドレスと、教師データとして
トレーニングカウンタ３２０の出力ｑとを受けて、この
両者が一致するとき一致信号を、不一致のとき不一致信
号を制御回路１１５に出力するものである。制御回路１
１５は、前記不一致信号を受信した場合に、初期学習用
特徴データメモリ３００に記憶された全ての特徴データ
の認識実行が終了すると、再び第１番目（ｍ＝０）の特
徴データから順次認識実行及び必要な学習を開始する。

【０２２６】したがって、前記実施例においては、特徴
データの認識処理の初期学習を行う際には、制御回路１
１５から初期学習信号ＩＬが出力されて、マルチプレク
サ３０３〜３０５により初期学習用特徴データメモリ３
００〜３０２が選択され、該初期学習用特徴データメモ
リ３００に記憶された複数の特徴データがトレーニング
カウンタ３２０のカウンタ値ｑに従って第１番目（ｍ＝
０）から順次認識実行される。そして、各特徴データの
認識時において、最終層のニューロンのうち最大値の出
力となったニューロンのアドレスがトレーニングカウン
タ３２１の出力値ｑと一致しない場合には、Ｈｅｂｂの
学習による最終層の重みの更新が行われ、少くとも１個
の初期学習用特徴データに対して学習が行われたときに
は、再度第１番目の初期学習用特徴データからその認識
を実行することが繰返され、学習なしに全ての特徴デー
タの認識の実行が終了すれば、初期学習が完了する。
尚、この認識の実行及び重みの学習の説明は前記実施例
３で詳細に行ったので、ここでは省略する。

【０２２７】ここに、複数個の初期学習用の特徴データ
は、その全ての特徴データの認識処理に対する初期学習
が終了するまでに複数回，例えば各特徴データ毎に１０
回程度繰返し参照されるものの、この複数個の特徴デー
タは予め初期学習用特徴データメモリ３００に記憶され
ているので、その初期学習用の同一の特徴データを参照
毎に外部から逐一ロードして読込む必要がなく、複数個
の特徴データの初期学習を高速に行うことが可能にな
る。

【０２２８】

【発明の効果】以上説明したように、請求項１記載の発
明によれば、量子化ニューロンを用いたニューラルネッ
トワーク回路において、結合係数に値のあるネットのみ
の演算を行ったので、演算処理を高速化して、画像認識
等の処理速度の向上を図ることができる。

【０２２９】また、請求項２及び請求項３記載の発明に
よれば、前記請求項１記載の発明の効果に加えて、多層
のニューラルネットワーク回路において、その各層にお
ける量子化ニューロンの結合係数を記憶する係数メモリ
を各層当り１個設けることにより、ハードウェアの小規
模化が可能になるので、回路規模を減少させることがで
きる。

【０２３０】更に、請求項４記載の発明によれば、入力
された特徴データに基いて重みメモリから読み出される
最終層のニューロンの重みを、重み更新器を用いてより
重く更新したので、特徴データを学習して、特徴データ
の認識率の向上を図ることができる。

【０２３１】加えて、請求項５記載の発明によれば、最
終層のニューロンの重りの更新をニューロンの発火量に
応じて行ったので、ネットワークの反応の強弱によって
重みを適切に更新でき、特徴データの認識率を短期間で
向上させることができる効果を奏する。

【０２３２】さらにまた、請求項６記載の発明によれ
ば、最終層のニューロンの重りの更新に際して該重みが
オーバーフローする場合には、最終層の各ニューロンの
全ての重みの値を同率の割合で減じたので、重みのオー
バーフローを招かずに全ての重みを適切に更新でき、小
回路規模のハードウェアで効率良く特徴データの認識率
を向上できる。

【０２３３】また、請求項７記載の発明によれば、特徴
データをルックアップテーブルにより非線形変換した後
に特徴データメモリに記憶したので、元の特徴データに
画像間の差が出にくい場合であっても、画像認識率の向
上を図ることができる。

【０２３４】更に、請求項８記載の発明によれば、最も
高い結合係数周りの結合係数に対してのみ演算を実行す
るようにしたので、例えば画素の右端が、その画素の右
隣りに位置する画素の右端と連続するような演算を防止
して、特徴データを精度良く認識することができる。

【０２３５】加えて、請求項９記載の発明によれば、量
子化ニューロンを用いた多層ニューラルネットワーク回
路において、各層に入力すべき特徴データを量子化変換
する場合に、各層の量子化ニューロン別に異なる複数の
量子化変換用の閾値を記憶しておき、入力された特徴デ
ータをこの閾値と比較して特徴データを量子化変換した
ので、各層の量子化ニューロン毎に量子化変換メモリを
持つことを不要にし、小さい回路規模のハードウェアで
もってニューラルネットワーク回路を構成しつつ、各層
の量子化ニューロン別に量子化変換メモリを持ったに等
しい構成にできて、画像認識率の向上を図ることができ
る。

【０２３６】また、請求項１０記載の発明によれば、初
期学習用の特徴データを予め初期学習用特徴データメモ
リに記憶しておき、初期学習時にはこの記憶しておいた
特徴データを繰返し参照して特徴データの認識及びその
認識処理の学習を実行したので、同一の特徴データを参
照毎に繰返し外部からメモリに読込む必要をなくすこと
ができ、その分、初期学習の高速化を図ることができ、
初期学習を短時間で終えることができる。

【図面の簡単な説明】

【図１】請求項２記載の発明の実施例におけるニューラ
ルネットワーク回路の構成図である。

【図２】請求項２記載の発明の実施例におけるファンク
ションテーブルの構成図である。

【図３】請求項２記載の発明の実施例におけるアドレス
発生器のタイミングチャート図である。

【図４】請求項３記載の発明の実施例におけるニューラ
ルネットワーク回路の構成図である。

【図５】請求項３記載の発明の実施例におけるアドレス
発生器の構成図である。

【図６】請求項３記載の発明の実施例におけるアドレス
発生器及びアドレス変換器の出力タイミングチャート図
である。

【図７】請求項４記載の発明の実施例における認識およ
び学習可能なニューラルネットワーク回路の構成図であ
る。

【図８】請求項４記載の発明の実施例におけるアドレス
発生器の構成図である。

【図９】請求項５記載の発明の実施例における認識およ
び学習可能なニューラルネットワーク回路の構成図であ
る。

【図１０】請求項５記載の発明の実施例における重み更
新器の構成図である。

【図１１】請求項６記載の発明の実施例における認識お
よび学習可能なニューラルネットワーク回路の構成図で
ある。

【図１２】請求項６記載の発明の実施例における重み更
新器の構成図である。

【図１３】請求項６記載の発明の実施例における重みの
更新順序を示すフローチャート図である。

【図１４】請求項７記載の発明の実施例における認識お
よび学習可能なニューラルネットワーク回路の構成図で
ある。

【図１５】請求項８記載の発明の実施例における認識お
よび学習可能なニューラルネットワーク回路の構成図で
ある。

【図１６】請求項９記載の発明の実施例におけるニュー
ラルネットワーク回路の一部の構成図である。

【図１７】請求項９記載の発明の実施例におけるニュー
ラルネットワーク回路の他部の構成図である。

【図１８】量子化変換テーブルを記憶した量子化変換メ
モリを各層１個づつ配置する場合のニューラルネットワ
ーク回路の構成図である。

【図１９】請求項９記載の発明の実施例におけるニュー
ラルネットワーク回路の各部の波形図である。

【図２０】請求項９記載の発明の実施例における量子化
変換閾値メモリの内容を示す説明図である。

【図２１】量子化ニューロンによる多層ニューラルネッ
トワーク回路の構造の説明図である。

【図２２】量子化ニューロンの説明図である。

【図２３】量子化ニューロンの結合係数の説明図であ
る。

【図２４】（１−β）の関数の説明図である。

【図２５】量子化ニューロンによるニューラルネットワ
ークの最終層のニューロンの説明図である。

【図２６】量子化ニューロンの結合係数の説明図であ
る。

【図２７】請求項１０記載の発明の実施例における認識
及び学習可能なニューラルネットワーク回路の構成図で
ある。

【図２８】初期学習用特徴データを示す図である。

【図２９】初期学習の流れを示すフロー図である。

【図３０】請求項１０記載の発明の実施例におけるアド
レス発生器の構成図である。

【符号の説明】

１５、１０１〜１０３ 係数メモリ １０４〜１０６、１４４〜１４６ アドレス変換器 １０７〜１０９、１３７〜１３９ 特徴データメモリ １２〜１４、１１２ テーブルメモリ １１３ 累積加算器 １６、１１８、１１１ 重みメモリ １１５、１１７、１３６ 制御回路 １１、１１０、１１９ アドレス発生器 １１６、１２６、１３１ 重み更新器 １２０ 第一層カウンタ １２１ 第二層カウンタ １２２ 第三層カウンタ １２３ 特徴データカウンタ １２４ 出力層カウンタ １２５、１３４ 選択回路 １２７ シフタ １２８、１３２ 加算器 １３３ １／２回路 １４１〜１４３ ルックアップテーブ
ル １４７〜１４９ マルチブレクサ １７ 積和演算器 １５４〜１５６、２１１ マルチプレクサ １６１〜１６３ 量子化変換メモリ ２０１〜２０３ 量子化変換器 ２１４ 出力マルチプレクサ ２１３ 加算器 ２１６ アドレスレジスタ ２１９ 量子化変換閾値メモ
リ ２１２ シフタ ２１７ アンド ２１８ 比較器 ２２０ 演算制御回路 ２２１ 変換制御回路 ３００ 初期学習用特徴デー
タメモリ ３２０ トレーニングカウン
タ ３２１ 選択回路 ３３０ 最大値アドレス検出
器 ３３１ 比較器

フロントページの続き (72)発明者 丸野 進 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 電子情報通信学会技術研究報告 Ｖｏ ｌ．93 Ｎｏ．233 17．09．1993 Ｐ 39−46 中平博幸 他「量子化ニューロ ンを用いたディジタルニューロプロセッ サ」 Ｎａｔｉｏｎａｌ Ｔｅｃｈｎｉｃａ ｌ Ｒｅｐｏｒｔ 第42巻 第６号（平 成８年12月）ｐ736−742 中平博幸 他 「適応増殖量子化ニューロチップ」 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 3/00 550 G06G 7/60 G06T 1/40 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (10)

(57)【特許請求の範囲】
1. 【請求項１】 与えられた特徴データをネットワークの
   演算の実行によって認識処理する多層のニューラルネッ
   トワーク回路であって、 入力された特徴データに基いてネットワークの中で結合
   係数が有効なネットのアドレスのみを出力するアドレス
   発生又は変換器と、該アドレス発生又は変換器のアドレ
   スに対応する各層間の結合係数を総合した総合結合係数
   を出力する係数メモリと、前記アドレス発生又は変換器
   のアドレスに対応する最終層のニューロンの重みを出力
   する重みメモリと、前記係数メモリから出力される総合
   結合係数及び重みメモリから出力される最終層のニュー
   ロンの重みとを累積加算する累積演算器とを有して、結
   合係数が有効なネットワークに対してのみ演算を実行す
   ることを特徴とするニューラルネットワーク回路。
2. 【請求項２】 与えられた特徴データをネットワークの
   演算の実行によって認識処理する多層のニューラルネッ
   トワーク回路であって、 前記特徴データにより変化する各層間のニューロンの結
   合係数、及び該各層間の結合係数に関するデータを記憶
   し、入力される特徴データに対応する結合係数に関する
   データを読み出す各層のテーブルメモリと、該テーブル
   メモリから読み出されたデータによりネットワークの中
   で結合係数が有効なネットのアドレスのみを出力し、該
   アドレスにより前記テーブルメモリから対応する結合係
   数を読み出すアドレス発生器と、最終層以外の各層間の
   ニューロンの結合係数を総合した総合結合係数を記憶
   し、前記アドレス発生器のアドレスにより前記テーブル
   メモリから読み出した各層の結合係数をアドレスとし
   て、該アドレスに対応する総合結合係数を出力する係数
   メモリと、最終層のニューロンに対する重みを記憶し、
   前記アドレス発生器のアドレス及び前記テーブルメモリ
   に入力される特徴データのアドレスをアドレスとし、該
   両アドレスに対応する最終層のニューロンの重みを出力
   する重みメモリと、前記係数メモリの出力と重みメモリ
   の出力とを累積加算する累積演算器とを有して、結合係
   数が有効なネットワークに対してのみ演算を実行するこ
   とを特徴とするニューラルネットワーク回路。
3. 【請求項３】 与えられた特徴データをネットワークの
   演算の実行によって認識処理する多層のニューラルネッ
   トワーク回路であって、 計算すべきネットワークの回数を出力する制御回路と、
   該制御回路の出力により計算すべきネットワークの回数
   を順次カウントするアドレス発生器と、特徴データを記
   憶し、前記アドレス発生器のカウントに従って順次特徴
   データを読み出す特徴データメモリと、最終層のニュー
   ロンの重みを記憶する重みメモリと、最終層以外の各層
   のニューロンの結合係数を記憶する各層の係数メモリ
   と、前記アドレス発生器の出力、前記特徴データメモリ
   の出力、及び前記制御回路の出力に基いてネットワーク
   の中で結合係数が有効なネットのアドレスのみを演算
   し、該アドレスを前記係数メモリに与えると共に、前記
   重みメモリに与えるアドレスを演算して出力するアドレ
   ス変換器と、該アドレス変換器から出力されるアドレス
   に対応して前記各層の係数メモリから読み出された各層
   の結合係数をアドレスとし、該アドレスに対応する各層
   の結合係数を掛け合せた総合結合係数を出力するテーブ
   ルメモリと、該テーブルメモリの出力と前記重みメモリ
   の出力を累積加算する累積演算器と、前記アドレス発生
   器から出力されたアドレスに前記累積演算器の結果を保
   持する出力メモリとを有し、結合係数が有効なネットワ
   ークに対してのみ演算を実行することを特徴とするニュ
   ーラルネットワーク回路。
4. 【請求項４】 重みメモリから出力される最終層のニュ
   ーロンの重みを入力し、該重みに、予め定めた設定更新
   値を与える重み更新器を有し、最終層のニューロンの重
   みを更新することにより特徴データの認識処理を学習す
   ることを特徴とする請求項３記載のニューラルネットワ
   ーク回路。
5. 【請求項５】 テーブルメモリから出力される総合結合
   係数を入力とし、該総合結合係数に応じた更新値を出力
   するシフタと、該シフタから出力される更新値及び重み
   メモリから出力される最終層のニューロンの重みとを入
   力し、該重みに更新値を加算して、該重みを更新する重
   み更新器とを有し、最終層のニューロンの重みの更新を
   ニューロンの発火量に応じた値を用いて行って、特徴デ
   ータの認識処理を学習することを特徴とする請求項３記
   載のニューラルネットワーク回路。
6. 【請求項６】 重みメモリから出力される最終層のニュ
   ーロンの重みの値に対して該重みを更新した新たな重み
   の値を仮り決定し、該更新した新たな最終層のニューロ
   ンの重みの値がオーバーフローする場合には、前記重み
   メモリに記憶されている全ての重みの値を同率の割合で
   減じる重み更新器を有し、最終層の重みの値がオーバー
   フローしないように最終層のニューロンの重みを更新し
   て学習することを特徴とする請求項３記載のニューラル
   ネットワーク回路。
7. 【請求項７】 特徴データをアドレスとし、該特徴デー
   タを非線形変換して特徴データメモリに記憶させるルッ
   クアップテーブルを有し、特徴データメモリに入力する
   特徴データを予め非線形変換することを特徴とする請求
   項３記載のニューラルネットワーク回路。
8. 【請求項８】 アドレス変換器は制御信号を出力し、該
   制御信号の内容を、有効な結合係数のアドレスが最も大
   きい結合係数を持つアドレスに対して連続しないときと
   連続するときとで変更するものであり、該アドレス変換
   器の制御信号を受け、有効な結合係数のアドレスが最も
   大きい結合係数を持つアドレスに対して連続しないとき
   “０”を出力し、有効な結合係数のアドレスが最も大き
   い結合係数を持つアドレスに対して連続するとき係数メ
   モリからの結合係数を出力するよう選択するマルチプレ
   クサを有し、テーブルメモリは前記マルチプレクサの出
   力を入力とするものであることを特徴とする請求項３記
   載のニューラルネットワーク回路。
9. 【請求項９】 複数の特徴データを量子化する量子化変
   換回路を有し、該量子化変換回路は、特徴データ毎に量
   子化変換の閾値を複数保持する量子化変換閾値メモリ
   と、与えられた特徴データを前記量子化変換閾値メモリ
   から読み出された閾値と比較する比較器と、該比較器の
   出力に基いて次に比較すべき量子化変換閾値メモリの閾
   値のアドレスを計算する加算器と、該加算器の出力を保
   持して前記量子化変換閾値メモリにアドレスを与えるレ
   ジスタと、該レジスタの入力と出力とを入力とし、前記
   比較器の比較結果に基いてレジスタの入力と出力との何
   れか一方を出力とし、該出力を量子化変換結果とする２
   入力マルチプレクサとで構成されていて、特徴データメ
   モリは、前記量子化変換器により量子化された特徴デー
   タを記憶し、与えられた特徴データのそれぞれを異なる
   閾値を用いて量子化変換することを特徴とする請求項３
   記載のニューラルネットワーク回路。
10. 【請求項１０】 初期学習用として複数の特徴データが
    予め記憶された初期学習用特徴データメモリと、教師デ
    ータが入力され、上記初期学習用特徴データメモリから
    読み出された特徴データの認識結果を教師データと比較
    する比較器と、重みメモリから出力される最終層のニュ
    ーロンの重みを入力し、該重みを前記比較器の比較結果
    に基いて更新する重み更新器とを備えて、最終層のニュ
    ーロンの重みを更新することによる特徴データの認識処
    理の学習を、予め、初期学習用特徴データメモリに記憶
    された複数の特徴データを参照して行うことを特徴とす
    る請求項３記載のニューラルネットワーク回路。