JP2004515002A

JP2004515002A - ニューラル・コルテックス

Info

Publication number: JP2004515002A
Application number: JP2002547024A
Authority: JP
Inventors: ヤン・ミン・ポク; アレクセイ・ミクハイロフ
Original assignee: Individual
Current assignee: Individual
Priority date: 2000-11-30
Filing date: 2000-11-30
Publication date: 2004-05-20
Also published as: MXPA03005942A; CA2433999A1; WO2002044926A8; US20040034609A1; WO2002044926A1; KR20030057562A; US7305370B2; EP1340160A1; EP1340160A4; AU2001215675A1; CN1470022A

Abstract

ニューラル・ネットワーク・システムは、ランダム・アクセス・メモリ（ＲＡＭ）、およびコラム状トポグラフィをもつインデックス・ベースの重みの無いニューラル・ネットワークを含む。そこではバイナリ接続のパターン、および出力ノードのアクティビティの値が、ＲＡＭに格納される。情報は、ニューラル・ネットワークを使用したパターン認識によって処理されるものであり、認識すべき複数の出力パターンをパターン・インデックスに格納し、入力パターンを受け入れ、入力パターンを複数の成分に分割し、パターン・インデックスによって各成分を処理して、入力パターンに対応する認識出力パターンを識別する。

Description

【０００１】
発明の分野
本発明は、インデックス・ベースのニューラル・ネットワーク、およびニューラル・ネットワークを使用したパターン認識によって情報を処理する方法に関する。詳細には、これに限定するものではないが、コラム状トポグラフィ（ｃｏｌｕｍｎａｒ　ｔｏｐｏｇｒａｐｈｙ）をもつインデックス・ベースの重みの無いニューラル・ネットワークを有するニューラル・ネットワーク・コンピュータ・システム、およびそれによって入力パターンが複数の成分に分割され、各成分が単一のパターン・インデックスに従って処理されて、その入力パターンに対応する認識された出力パターンを識別する方法に関する。
【０００２】
発明の背景
人工ニューラル・ネットワークは、一般に人工ニューロンと呼ばれるいくつかの相互接続されたユニットで構成される構造物である。各ユニットは、入力／出力特性を有し、ローカルの計算または機能を実施する。何れのユニットの出力も、その入力／出力特性、および他のユニットとの相互接続によって決定することができる。一般に、ユニットの入力／出力特性は比較的単純である。
【０００３】
人工ニューラル・ネットワークに関連する３つの主な問題がある。即ち、（ａ）スケーリングおよびハードウェア・サイズの実用上の制限、（ｂ）ネットワーク・トポロジ、および（ｃ）訓練である。スケーリングおよびハードウェア・サイズの問題が起きるのは、アプリケーションの複雑さと人工ニューラル・ネットワークのサイズとの間に関係があるからであり、高解像度の画像に適応するためのスケーリングは、実用上の限界を超えるハードウェア・リソースを必要とすることがあるからである。
【０００４】
達成される全体的な機能または機能性はネットワーク・トポロジによって決定されるが、ネットワーク・トポロジの問題は、任意のアプリケーションに対する明確な規則や設計指針がないということにより生じる。
【０００５】
訓練の問題は、訓練をなし遂げるのが難しいために生じる。
これらの問題に対処する試みに、ｎ組分類器（ｎ−Ｔｕｐｌｅ　Ｃｌａｓｓｉｆｉｅｒ）が提案されている。この分類器は、最初に提案されたＲＡＭベースのニューラル・ネットワーク概念である。ｎ組の概念の最初のハードウェア実装は、１９７９年頃にブルネル大学（Ｂｒｕｎｅｌ　Ｕｎｉｖｅｒｓｉｔｙ）で開発されたＷＩＳＡＲＤシステムである（「Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｉｎｄｕｓｔｒｙ」、１９８２年、Ｉ　Ａｌｅｘａｎｄｅｒ、Ｔ　Ｓｔｏｎｈａｍ、およびＢ　Ｗｉｌｋｉｅ著の第１０章に記載されている「Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｉｎｄｕｓｔｒｙ：　Ｃｏｍｐａｒｉｓｏｎｓ」を参照）。ＷＩＳＡＲＤシステムは、ＲＡＭベースの重みの無いニューラル・ネットワークのクラスに属する。この様式のニューラル・ネットワークは、データをＲＡＭネットワークに書き込むことによって大量の計算ベースの訓練の問題、および普遍的なＲＡＭベースのネットワーク構造を提案することによってトポロジの問題に対処する。しかし、ＷＩＳＡＲＤタイプの普遍的な構造のネットワーク・トポロジは、生物学的なニューラル・ネットワークに見られる高いレベルのニューロン構成をシミュレートしていない。これはメモリの無駄遣いにつながり、その結果、スケーリングの問題は、ＲＡＭベースのニューラル・ネットワーク内で依然として深刻なままであり、ＷＩＳＡＲＤ技術の適用範囲が限定される。
【０００６】
簡単な記憶タスクによって訓練の問題を克服するニューラル・ネットワークの他の例が、スパース分散メモリ（Ｓｐａｒｓｅ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｍｅｍｏｒｙ）である（「Ｓｐａｒｓｅ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｍｅｍｏｒｙ」、Ｐ　Ｋａｎｅｒｖａ、１９９８年、ケンブリッジ・マサチューセッツ：ＮＩＴ　Ｐｒｅｓｓ）。しかし、スパース分散メモリに関する問題は、ＷＩＳＡＲＤシステムと同様、メモリのサイズが大きいことである。スパース分散メモリのもう１つの不利な点は、その計算の複雑さである。これは、このタイプのメモリの場合、入力単語をすべてのメモリ場所と比較しなければならないためである。
【０００７】
ｎ組分類システムは認識の方法を使用し、この方法では、ニューラル・ネットワークへの入力がいくつかの成分（ｎ組）に分割されて、各成分が一連の成分ルックアップ・テーブルと比較される。通常、成分ごとに個々のルックアップ・テーブルがある。次いで、ネットワークは、多数のルックアップ・テーブルに照らして各成分を処理して、マッチ（整合）が存在しているかどうかを判断する。ある成分についてマッチが存在する場合、このことは、成分が認識されていることを示す。１つの入力の各成分の認識は、その入力の認識につながる。
【０００８】
いくつかのルックアップ・テーブルの存在により、結果としてメモリ・サイズが大きくなる可能性がある。必要とされるメモリ・サイズは、ネットワークが識別することができる成分の数に比例する。このことは、パターン・サイズが増大するところでは、メモリの実質的な増大につながる可能性がある。例えば、人工ニューラル・ネットワークは、最初にｎ×ｎの画像を使用した画像処理アプリケーション用に設計することができる。ここではｎ＝１２８である。これは、現在の標準に基づくと比較的解像度の低い画像である。処理すべき画像がｎ＝１２８からｎ＝２０４８へ増加する場合、ニューロン数、ネットワークのサイズは、２５６倍に増大する。このメモリの増大によって、ネットワークの拡張が必要となり、追加のハードウェア・モジュール・ブロックが必要になる可能性がある。画像の解像度が高くなる場合、高解像度の画像に適応するためのスケーリングが実際に達成可能なメモリ限界を超えるポイントに早く到達する。
【０００９】
本発明の目的は、従来技術に存在する一部またはすべての欠点に取り組み、それを克服または軽減することである。
【００１０】
発明の概要
本発明の第１の態様によれば、
（ａ）ランダム・アクセス・メモリ（ＲＡＭ）と、
（ｂ）コラム状トポグラフィをもつインデックス・ベースの重みの無いニューラル・ネットワークと
を含み、バイナリ接続のパターン、および出力ノードのアクティビティの値がＲＡＭに格納される
ニューラル・ネットワーク・システムが提供される。
【００１１】
ニューラル・ネットワーク・システムはコンピュータ・ハードウェア・コンポーネントを含んでいることが好ましい。
好ましい形態では、ニューラル・ネットワーク・システムはスケーリングの潜在能力を有する。スケーリングは、適切な任意の様式で達成することができる。システム的な拡張はＲＡＭのサイズを増大させることによって達成することが好ましい。
【００１２】
ニューラル・ネットワークは、適切な任意の様式で訓練することができる。ニューラル・ネットワークは、データをＲＡＭに書き込むことによって訓練され、ネットワーク・トポロジが訓練を通して形成されることが好ましい。
【００１３】
ニューラル・ネットワークの性能は、入力データの分解様式を変更し、それによって入力成分の動的範囲を変更することによって、調整可能であることが好ましい。
ニューラル・ネットワークへの入力成分が単一の共通インデックスをアドレスすることが好ましい。
【００１４】
本発明の第２の態様によれば、
（ａ）認識すべき複数の出力パターンをパターン・インデックスに格納するステップ、
（ｂ）入力パターンを受け入れ、入力パターンを複数の成分に分割するステップ、
（ｃ）入力パターンに対応する認識された出力パターンを識別するために、パターン・インデックスに従って各成分を処理するステップ
を含むニューラル・ネットワークを使用したパターン認識によって情報を処理する方法が提供される。
【００１５】
各出力パターンは、複数の認識される成分に分割され、それぞれの認識される成分が、認識用にパターン・インデックスに格納されることが好ましい。インデックスは、コラムで構成され、各コラムが１つまたは複数の認識される成分に対応していることが好ましい。インデックスが、認識される成分の数以下の数のコラムに分割されることが好ましい。インデックスが、認識される成分の数に等しい数のコラムに分割されることがより好ましい。
【００１６】
この方法は、各入力成分が対応する認識された成分のコラムと比較されるステップと、１つまたは複数の認識される成分にスコア（点数）が割り振られるステップとを更に含むことができる。パターンのそれぞれの認識される成分に対するスコアが追加され、最高のスコアをもつ認識されるパターンが出力パターンとして識別されることが好ましい。
【００１７】
次に本発明を、添付の図面を参照して更に詳しく説明する。添付の図面は、本発明の形態の例を示す。以下の説明の詳細は上記の開示の一般性を限定するものではないことを理解されたい。
【００１８】
詳細な説明
本発明は、標準のデジタル・チップを使用して構築されたニューラル・カードの使用によって実施することができる。本発明は、バイナリ接続のパターン、および出力ノードのアクティビティの値をＲＡＭに格納するコラム状トポロジをもつインデックス・ベースの重みの無いニューラル・ネットワークである。ネットワークは以下のものを提供する。
【００１９】
（ａ）スケーリングの潜在能力：
ニューラル・ネットワークのシステム的な拡張は、以前の人工ニューラル・ネットワークのように余分なモジュール方式のビルディング・ブロックを追加するのではなく、追加のコラムを含めるためにＲＡＭサイズを増大させることによって、またはインデックスの高さを増加することによって、達成することができる。例えば、１６００万の接続は、６４ＭＢのＲＡＭで実施することができる。
【００２０】
（ｂ）ＷＩＳＡＲＤシステムなどのような従来のｎ組システムと比較して、必要なメモリ・サイズがＮ倍減少する。Ｎは、入力成分（ｎ組）の数である。これは、ｎ組分類器がＮ個のルックアップ・テーブルを必要とし、一方、本発明では１つの共通記憶装置だけでよいからである。
【００２１】
（ｃ）ネットワーク・トポロジが、訓練の間に自動的に形成される。
（ｄ）訓練は、ＲＡＭへのデータの書込みへと低減される。
（ｅ）性能は、入力成分のダイナミック・レンジを変更することによって容易に調整することができ、これは入力データの分解様式を変更することによって達成できる。
【００２２】
本発明によって作られる装置を、以下、Ｎｅｕｒａｌ　Ｃｏｒｔｅｘ（ニューラル・コルテックス（神経皮質））と呼ぶ。従来の人工ニューラル・ネットワーク、および従来のＲＡＭベースの人工ニューラル・ネットワークはいずれも、ニューロンのような演算器のネットワークである。しかし、人間の脳の演算器は、マルチニューロン皮質柱（ｍｕｌｔｉ−ｎｅｕｒｏｎ　ｃｏｒｔｉｃａｌ　ｃｏｌｕｍｎ）である。本発明がベースにしている単一の共通インデックスの一般的な概念は、縦方向のコラムの集まりと説明するのが最適であり、ここでは、信号が下から上へというように伝わる。
【００２３】
従来のＲＡＭベースのニューラル・ネットワークとは異なり、ニューラル・コルテックスは、成分ルックアップ・テーブルにおけるクラス名の記憶によるものではなく、入力成分のインデックス（リンクされたデータ表現）を作成および記憶することによって動作する。このインデックスは、クラス名（クラス参照番号）を含み、訓練で作成される。
【００２４】
ニューラル・コルテックスは、リトリーブのときに、ｎ組分類器のように、入力成分によって活性化された名前を合計する。この合計動作は、ニューラル・ネットワークに特有の一般化能力（ｇｅｎｅｒａｌｉｚｉｎｇ　ａｂｉｌｉｔｙ）を提供する。しかし、「一人の勝者がすべてを手に入れる（ｗｉｎｎｅｒ−ｔａｋｅｓ−ａｌｌ）」戦略が使われているｎ組分類器とは異なり、ニューラル・コルテックスは、「複数の勝者がすべてを手に入れる（ｗｉｎｎｅｒｓ−ｔａｋｅ−ａｌｌ）」戦略を使用する。これは好みの問題ではなく、単一の共通記憶装置を使用することによってもたらされる必然である。ｎ組分類器の場合、それぞれの入力成分（ｎ組）が、それ自体のルックアップ・テーブルをアドレスする。ニューラル・コルテックスの場合、すべての入力成分が、単一の共通インデックスをアドレスする。これによって、メモリ・サイズが劇的に減少する。ｎ組分類器およびスパース分散メモリの両者のシステムにおいて単一の共通インデックスがないということは、従来のＲＡＭベースのニューラル・ネットワークではメモリ要件、即ち、そのサイズが大きいことで適用範囲をかなり制限していたというメモリ要件の点での問題があったことの理由の説明となる。
【００２５】
更に、単一の共通インデックスは、ニューラル・ネットワークの拡張の問題にとって有効な解決法である。上述したように、従来の人工ニューラル・ネットワークおよび従来のＲＡＭベースの人工ニューラル・ネットワークの両者には、アプリケーションのサイズが大きくなったときにスケーリングの問題がある。例えば、画像のサイズが１２８×１２８ピクセルから２０４８×２０４８ピクセルに増大した場合、従来の人工ニューラル・ネットワークでは、メモリを２５６倍増やす必要がある。なぜなら、ｎ組の数が２５６のファクタ＝２０４８×２０４８／１２８×１２８で増加するためである。しかし、同じ状況において逆説的に、本発明によるニューラル・コルテックスのサイズは、依然として共通のインデックスが１つだけ使用されるため、変わらないことになる。
【００２６】
本発明は、入力成分の単一のパターン・インデックスを作成する。インデックスは、出力成分を含み、インデックスは、出力パターンを格納し、パターン・インデックス内に格納されたパターンを認識するようにニューロンを訓練することによって、作成される。
【００２７】
出力パターンＳは、各成分Ｓ_ｉがインデックスからのコラムのアドレスとして解釈されるように、Ｎ個の成分Ｓ_１、Ｓ_２、・・・Ｓ_Ｎに分解される。各コラムは、それらのパターンの参照番号を記憶し、それらのパターンは、１または複数のそれらの成分に値Ｓ_ｉを有している。各コラムは、各参照番号の１つより多いサンプルを含まない。入力Ｉを受け取ったとき、これはいくつかの成分Ｉ_１、Ｉ_２、・・・Ｉ_ｘに分割される。それぞれの入力成分Ｉ_１からＩ_ｘは、成分をパターン・インデックスと比較することによって、ネットワークによって処理される。入力Ｉ_ｉの成分が出力の成分Ｓ_ｉに一致（マッチ）している場合、Ｓ_ｉのコラムにリストされている各参照番号は、１点を取得してその合計に加算される。このプロセスが入力成分ごとに繰り返される。次いでスコアが加算されて勝者を決定する。勝者は、最高スコアを有する参照番号である。認識される出力パターンに対応している参照番号は、ネットワークによって識別される。
【００２８】
図１に、パターンイ・ンデックスの一例を示している。この図では、インデックスは、３つの単語「ｂａｃｋｇｒｏｕｎｄ」、「ｖａｒｉａｂｌｅ」、および「ｍｏｕｓｅ」を認識するように訓練またはプログラムされている。この図では、単語には参照番号１、２、３がそれぞれ割り当てられている。出力パターンは、「ａ」から「ｚ」までの文字であり、これらはインデックス内にコラムとして含まれる。ネットワークが入力を受け取ったとき、入力の各成分は、この単一のパターン・インデックスを参照することによって処理される。この例では、入力は、単語「ｍｏｕｓｅ」の形である。この入力は、続いて５つの文字に分けられる。各文字は、インデックスを使用することによってネットワークで処理される。ネットワークで行われる処理が同時的な性質をもっていることによって、各成分の処理が事実上確実に同時に行われるようにすることができる。以下の処理が行われる。
【００２９】
（ａ）入力の成分「ｍ」が処理され、この場合、１点が、変数３のものとされるスコアに加算される。
（ｂ）入力成分「ｏ」が処理され、１点が変数１および３に加算される。
【００３０】
（ｃ）入力成分「ｕ」が処理され、１点が変数１および３のものとされる。
（ｄ）入力成分「ｓ」が処理され、１点が変数３のものとされる。
（ｅ）入力成分「ｅ」が処理され、１点が変数２および３のものとされる。
【００３１】
次いでネットワークは、それぞれの変数のものとされる点を合計する。この場合、変数１は点数２を、変数２は点数１を、変数３は点数５を有する。最も高い点数をもつ変数が勝者であると決定され、従って識別される。点数５を持つ変数３は、単語「ｍｏｕｓｅ」に対応し、従って識別されたとみなされる。
【００３２】
標準ＲＡＭの場合、異なる２つのアドレスの語は常に、異なる２つのメモリ位置の方を指す。ニューラル・コルテックスの場合、もはやそうではない。例えば、入力パターンが３つの成分（ａ，ｂ，ｃ）を有し、成分のダイナミック・レンジが１バイトの場合、パターン（ａ，ｃ，ｂ）、（ｂ，ａ，ｃ）、（ｂ，ｃ，ａ）、（ｃ，ａ，ｂ）、（ｃ，ｂ，ａ）は、３という同じ点数を生成する。なぜなら、ニューラル・コルテックスは置換に関して不変であるからである。この不変性は、すべての成分（ｎ組）が単一の共通記憶装置をアドレスするということに起因する。共通の記憶装置は、Ｎ次元の空間を１次元の空間に縮小し、従って、置換の不変性が作り出される。これは、従来のＲＡＭベースのニューラル・ネットワークと比べてメモリ・サイズが劇的に低減することに対して払われる代償である。この不変性がニューラル・コルテックスの鍵である。同時に、これはこの手法の長所である。なぜなら、成分のダイナミック・レンジが増大したときにこの不変性は事実上無害になるからである。上記の例の場合、２バイトのダイナミック・レンジを使用することによって、パターン（ａ，ｂ，ｃ）が２個の成分パターン（ａｂ，ｂｃ）に変換される場合、次の点数、即ち、（ａ，ｂ，ｃ）＝＞２、（ａ，ｃ，ｂ）＝＞０、（ｂ，ａ，ｃ）＝＞０、（ｂ，ｃ，ａ）＝＞１、（ｃ，ａ，ｂ）＝＞１、（ｃ，ｂ，ａ）＝＞０が得られ、従って、パターン（ａ，ｂ，ｃ）が正確に識別される。
【００３３】
一般的な場合、ｎ個の成分入力パターン（ｓ_１，ｓ_２，．．．，ｓ_Ｎ）を、新しいパターン、即ち、成分がより大きいダイナミック・レンジを有し且つＭ＜Ｎである新しいパターン（ｃ_ｌ，ｃ_２，．．．，ｃ_Ｍ）へ変換することは、ニューラル・コルテックス・カードのソフトウェア・ドライバによって行われるのが好ましい。
【００３４】
この変換は、すべての入力パターンのシーケンスを１次元のカオス反復マップ（ｃｈａｏｔｉｃ　ｉｔｅｒａｔｅｄ　ｍａｐ）に変換する場合には、Ｃ（カオス）変換（Ｃ（ｈａｏｓ）−ｔｒａｎｓｆｏｒｍ）と呼ぶことができる。識別の曖昧さがないことの十分条件は、Ｃ変換されたすべての入力パターンのシーケンスがカオス反復マップであるということである。これは真である。なぜなら、この場合には、すべてのパターン成分が異なり、識別の曖昧さの余地がないからである。事実、この条件は強すぎる。なぜなら、少なくとも、任意の２つのパターンが１つの成分において異なることで十分であるからである。実用的にするためにＣ変換の適切な近似を得ることができ、そのＣ変換の適切な近似は、２、３以上の成分が結合されて、例えば（ａ，ｂ，ｃ）が２つの成分パターン（ａｂ，ｂｃ）に変換されるときに、成分のダイナミック・レンジを２バイト、３バイト、その他などに増大させることによって得ることができる。
【００３５】
図２に、ニューラル・コルテックスの読み取りサイクルのブロック図を示す。ブロック「Ｒｏｏｔｓ（ルート）」、「Ｌｉｎｋｓ（リンク）」、「Ｎａｍｅｓ（名前）」、「Ｓｃｏｒｅ（スコア）」はＲＡＭ装置である。Σは加算器である。Ｔロジックは終端論理装置である。
【００３６】
１．各パターン成分（Ａ−ワード）が「Ｒｏｏｔｓ」ＲＡＭのアドレス・バスへ渡される。
２．「Ｒｏｏｔｓ」ＲＡＭの出力値Ｒが「Ｌｉｎｋｓ」ＲＡＭのアドレス・バスへ渡される。
【００３７】
３．「Ｌｉｎｋｓ」ＲＡＭの出力値Ｌが「Ｎａｍｅｓ」ＲＡＭのアドレス・バスへ渡される。
４．最後に、「Ｎａｍｅｓ」ＲＡＭの出力値Ｎが「Ｓｃｏｒｅ」ＲＡＭのアドレス・バスへ渡される。
【００３８】
Ｌが０の場合、Ｔロジックはプロセスを終了する。そうでない場合、「Ｎａｍｅｓ」ＲＡＭの出力によって決定されるアドレスＮにある「Ｓｃｏｒｅ」ＲＡＭの内容が、値１だけ増分される。次に、「Ｌｉｎｋｓ」ＲＡＭの出力が「Ｌｉｎｋｓ」ＲＡＭアドレス・バスにフィードバックされる。プロセスはポイント３から繰り返す。
【００３９】
図３にニューラル・コルテックスの書き込みサイクルのブロック図を示す。ブロック「Ｒｏｏｔｓ（ルート）」、「Ｌｉｎｋｓ（リンク）」、「Ｎａｍｅｓ（名前）」はＲＡＭ装置である。ＣＵは制御装置である。
【００４０】
１．各パターン成分Ａが「Ｒｏｏｔｓ」ＲＡＭのアドレス・バスへ渡される。
２．「Ｒｏｏｔｓ」ＲＡＭの出力値Ｒが「Ｌｉｎｋｓ」ＲＡＭのアドレス・バスへ渡される。
【００４１】
３．「Ｌｉｎｋｓ」ＲＡＭの出力値Ｌが「Ｎａｍｅｓ」ＲＡＭのアドレス・バスへ渡される。「Ｎａｍｅｓ」ＲＡＭの出力値をＮで表し、現在のパターン名をＰで表す。
【００４２】
４．値Ｒ、Ｌ、Ｎ、およびＰが制御装置に渡され、ここで次の論理が使用される。Ｌが０の場合、制御装置は、「Ｒｏｏｔｓ」ＲＡＭ、「Ｌｉｎｋｓ」ＲＡＭ、および「Ｎａｍｅｓ」ＲＡＭを更新することを決める（ポイント５）。そうでない場合、Ｌは、「Ｌｉｎｋｓ」ＲＡＭアドレス・バスへフィードバックされる。プロセスはポイント３から繰り返す。
【００４３】
５．判断論理：
ａ）Ｎ＝Ｐの場合、処理を終了する
Ｒ＝０の場合、カウンタ値Ｃを１だけ増分する
Ｃを「Ｒｏｏｔｓ」ＲＡＭにアドレスＡで書き込む
Ｃを「Ｌｉｎｋｓ」ＲＡＭにアドレスＲで書き込む
Ｐを「Ｎａｍｅｓ」ＲＡＭにアドレスＬで書き込む
Ｒ＞０かつＬ＝０の場合、カウンタ値Ｃを１だけ増分する
Ｃを「Ｌｉｎｋｓ」ＲＡＭにアドレスＲで書き込む
Ｐを「Ｎａｍｅｓ」ＲＡＭにアドレスＬで書き込む
ｂ）プロセスを終了する。
【００４４】
ニューラル・コルテックスの性能は、メモリ・サイズおよび読取り／書込み回数の点で調整することができる。普通は、訓練が続行するにつれてクラスの数が増加したとき、記憶回数および呼戻し回数が増える。クラスの追加によって、インデックス・コラムに格納される参照番号の量が増え、従って、アクセスする必要のあるインデックス・セルの量が増える。救済策として、入力パターン成分のダイナミック・レンジＤを増大させることができる。これによって、インデックス・コラムの数が増加する。なぜなら、インデックス・アドレスの空間がＤに等しいためである。結果として、同じ量の参照番号が、より広い領域に広がり、それにより、平均インデックス高Ｈが減る。
【００４５】
記憶および呼戻しの処理時間は、アクセスされるメモリセルの数に比例し、それはＨＮに比例する。ここでは、Ｎは、パターン成分の数である。Ｄが増えるにつれて、処理時間はＯ（Ｎ）に近づく。これは、ＨがＤに反比例するということに従ったものである。
【００４６】
メモリ・サイズはＨＤに比例する。しかしＨは、Ｄよりも早く増加／減少する。従って、ダイナミック・レンジＤの調整によって、メモリ・サイズを効率よく制御することができる。最悪の場合でも、ニューラル・コルテックスのサイズがＣＤを超えない。ここではＣはパターン・クラスの数である。ＣＤを越えない理由は、ニューラル・コルテックスは１つのみの「ルックアップ・テーブル」を有するからである。一方、従来のＲＡＭベースの人工ニューラル・ネットワークのメモリ・サイズはＣＤＮである。なぜなら、このタイプの人工ニューラル・ネットワークの場合、入力ルックアップ・テーブルの数が入力パターン成分の数Ｎに等しいためである。
【００４７】
本発明の範囲を逸脱することなく、上記の部分に様々な変形、代替、および／または追加を加えることができることを理解されたい。
【図面の簡単な説明】
【図１】
図１は、本発明の一実施形態による入力の処理を示すインデックス・テーブルである。
【図２】
図２は、本発明の一実施形態による入力の処理を示す概略ブロック図である。
【図３】
図３は、本発明の一実施形態による出力の処理を示す概略ブロック図である。

Claims

（ａ）ランダムアクセスメモリ（ＲＡＭ）と、
（ｂ）コラム状トポグラフィをもつインデックス・ベースの重みの無いニューラル・ネットワークと
を含み、バイナリ接続のパターンおよび出力ノードのアクティビティの値が前記ＲＡＭに格納される、
ニューラル・ネットワーク・システム。
コンピュータ・ハードウェア・コンポーネントを含む請求項１に記載のニューラル・ネットワーク・システム。
前記ＲＡＭのサイズを増やすことによってシステム的な拡張が達成される請求項１または２に記載のニューラル・ネットワーク・システム。
前記ニューラル・ネットワークが、データを前記ＲＡＭに書き込むことによって訓練され、ネットワーク・トポロジが、訓練の間に形成される、請求項１ないし３の何れかに記載のニューラル・ネットワーク・システム。
性能が、入力データの分解様式を変更し、それによって入力成分のダイナミック・レンジを変更することによって調整可能である、請求項１ないし４の何れかに記載のニューラル・ネットワーク・システム。
入力成分が単一の共通インデックスをアドレスする、請求項１ないし５の何れかに記載のニューラル・ネットワーク・システム。
ニューラル・ネットワークを使用したパターン認識によって情報を処理する方法であって、
（ａ）認識すべき複数の出力パターンをパターン・インデックスに格納するステップ、
（ｂ）入力パターンを受け入れ、前記入力パターンを複数の成分に分割するステップ、
（ｃ）前記パターン・インデックスに従って各成分を処理して、前記入力パターンに対応する認識された出力パターンを識別するステップ
を含む方法。
各出力パターンが、複数の認識される成分に分割され、各認識される成分が、認識用のパターン・インデックスに格納される、請求項７に記載の方法。
前記インデックスがコラムで構成され、各コラムが１または複数の認識される成分に対応する、請求項８に記載の方法。
前記インデックスが、認識される成分の数以下のいくつかのコラムに分割される、請求項９に記載の方法。
前記インデックスが、認識される成分の数に等し数のコラムに分割される、請求項９に記載の方法。
各入力成分が、対応する認識された成分のコラムと比較され、１または複数の認識された成分にスコアが割り振られる、請求項８ないし１０の何れかに記載の方法。
パターンのそれぞれの認識された成分に対するスコアが加算され、最高のスコアを有する認識されたパターンが出力パターンとして識別される、請求項１２に記載の方法。