JP2785738B2

JP2785738B2 - 分散メモリ型マルチプロセッサ情報処理システム

Info

Publication number: JP2785738B2
Application number: JP7026795A
Authority: JP
Inventors: 尚夫小柳
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1995-03-29
Filing date: 1995-03-29
Publication date: 1998-08-13
Anticipated expiration: 2013-08-13
Also published as: JPH08272749A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は分散メモリ型マルチプロ
セッサ情報処理システムに関し、特に各々がローカルメ
モリを有する複数のプロセッサが互いにネットワークを
介して接続され、これ等プロセッサの各々が自ローカル
メモリのみならず他ローカルメモリへもアクセス可能と
された分散メモリ型マルチプロセッサ情報処理システム
に関するものである。

【０００２】

【従来の技術】この種の分散メモリ型マルチプロセッサ
情報処理システムの例として、図１７や図１８に示す様
な構成のものがある。図１７の例では、ＣＰＵとローカ
ルメモリを１組としたＰＥ（ＰｒｏｃｅｓｓｉｎｇＥ
ｌｅｍｅｎｔ）と称される複数組のＰＥ＃１〜＃ｎを高
速のネットワークにより相互接続したものである。

【０００３】この構成では、ＣＰＵから同一ＰＥ内のロ
ーカルメモリへのリクエストは高速に処理可能である
が、他のＰＥのローカルメモリへのアクセスは処理が遅
いばかりではなく、特別なアクセス制御が必要となる。
従来においては、この様なアクセス制御は全てＯＳによ
り行っており、ハードウェアによるサポートは一切採用
されていないために、外部ＰＥをアクセスする毎にソフ
トウェア割込みが発生して、著しい性能低下を招来して
いる。

【０００４】この問題を解決すべくなされたものとし
て、分散共有メモリ方式がある。この方式は、外部ＰＥ
に対してもＯＳの介存無しにユーザプログラムがあたか
も自ＰＥのローカルメモリをアクセスしているかのよう
に外部メモリアクセスを実行できる様になっている。こ
の方式の実現のために様々な方式が考えられてきてい
る。

【０００５】図１８にはクラスタ（＃１〜＃Ｎ）と称さ
れる共有メモリ型マルチプロセッサシステムを、高速な
ネットワークで相互接続したものであり、各クラスタ
（＃１〜＃Ｎ）は、複数ＣＰＵとこれ等ＣＰＵに共通の
メモリとを有する構成である。

【０００６】この方式において、自クラスタ外へのメモ
リアクセスの場合、図１７に示した方式と同様な問題が
発生する。すなわち、自クラスタ外へのアクセスが発生
した場合、ＯＳのサービスが必要になることによる性能
低下である。

【０００７】図１８のようなマルチクラスタシステムの
利点は、共有メモリ型マルチプロセッサで実績のあるユ
ーザープログラムをチューニングする場合、比較的変更
が少なく済むことである。逆に短所は、プログラムのチ
ューニングがうまくいかないと、ＣＰＵ／メモリ資源を
有効に使えないことである。

【０００８】図１７のようなシステムを前提に従来の処
理方式を説明すると、あるＰＥで発生した他ＰＥへのメ
モリリクエストを処理する場合、以下の様な処理を必要
とする。すなわち、まずリクエストを発生させるＰＥ
で、それが他ＰＥへのリクエストであることが分かる
と、例外を発生させ、その後の処理をＯＳに任せる。こ
の時ＯＳは以下の処理を行う。すなわち、目的地ＰＥに
対してプロセッサ間通信を送り、それを受け取ったＰＥ
はその時処理されているプロセスに割込みをかけ、ＯＳ
に処理を渡し、ＯＳは指定されたアドレスに対して処理
を行い、リクエスト送出元にリプライを返す処理を行
う。

【０００９】この様な処理によって生じるユーザ／ＯＳ
間のプロセス切り替え回数は、リクエストの送出／受取
側ＰＥの各々で２回である。

【００１０】また特開平２−１４１８６３号公報に示さ
れている様に、外部ＰＥのローカルメモリに対するアク
セスに対して、別空間に固定化する方式もハードウェア
の作り易さという長所も存在するが、そのことをユーザ
プログラムあるいはコンパイラが認識しつつオブジェク
トコードを生成し、ＯＳが制御することは非常に困難で
ある。

【００１１】

【発明が解決しようとする課題】上述した如く、従来方
式では、ユーザプロセス／ＯＳプロセス相互間の切り替
えによる性能低下が避けられないという問題があり、ま
たＯＳ制御の困難さという問題もある。

【００１２】本発明の目的は、ＯＳの介在無しに他ＰＥ
へのリクエスト処理のハードウェア機構を準備すること
により、実効性能の向上を可能とした分散メモリ型マル
チプロセッサ情報処理システムを提供することである。

【００１３】

【課題を解決するための手段】本発明によれば、各々が
ローカルメモリを有する複数のプロセッサが互いにネッ
トワークを介して接続され、前記プロセッサの各々は自
ローカルメモリのみならず他ローカルメモリへもアクセ
ス可能とされた分散メモリ型マルチプロセッサ情報処理
システムであって、前記プロセッサの各々は、前記ロー
カルメモリに対するアクセスのための論理アドレスを物
理アドレスに変換するためのアドレス変換バッファ手段
と、前記論理アドレスにより索引されこの論理アドレス
を含むローカルメモリの所在を示すプロセッサ番号と前
記アドレス変換バッファ手段のエントリを示すエントリ
番号とを対にして格納した格納手段と、前記論理アドレ
スの発生に応答して、自プロセッサ番号と前記論理アド
レスにより索引された前記格納手段のプロセッサ番号と
を比較する比較手段と、この比較結果が一致を示したと
き当該プロセッサ番号に対応する前記格納手段のエント
リ番号により前記アドレス変換バッファ手段を索引する
索引手段と、前記索引手段による索引結果である物理ア
ドレスにより前記ローカルメモリをアクセスするアクセ
ス手段と、前記比較結果が不一致を示したとき前記論理
アドレスを含むアクセス情報を他プロセッサへ送出する
送出手段と、を含むことを特徴とする分散メモリ型マル
チプロセッサ情報処理システムが得られる。

【００１４】

【作用】ＣＰＵとローカルメモリとの組からなる複数組
のＰＥ（ＰｒｏｃｅｓｓｉｎｇＥｌｅｍｅｎｔ）の各々
に、自ローカルメモリのためのアドレス変換バッファ
（ＴＬＢ；ＴｒａｎｓｌａｔｉｏｎＬｏｏｋａｓｉｄ
ｅＢｕｆｆｅｒ）以外に、他ＰＥのローカルメモリの
アドレス管理用バッファを設け、このアドレス管理用バ
ッファによりアクセスアドレスが自ＰＥか他ＰＥのロー
カルメモリアドレスかを判断し、他ＰＥのそれであれば
他ＰＥへこのアクセスアドレスを含むアクセス情報を送
出するようにする。

【００１５】こうすることで、アクセスする側のＰＥが
アクセスされる側のＰＥの都合を考えることなく、また
ＯＳの介在無く、メモリアクセスが可能となる。

【００１６】

【実施例】以下、図面を用いて本発明の実施例について
説明する。

【００１７】図１は本発明の実施例の概略ブロック図で
あり、メモリリクエスト送出ＰＥ＃ｉとメモリリクエス
ト受取りＰＥ＃ｊとの一部を示す。先ず、メモリへのリ
クエストを発行する場合、レジスタ１に論理アドレスが
設定される。その内容は、ＰＳ＃：ページ空間番号１−
１、ＰＡＧＥ＃：リクエスト送出先ページ番号１−２、
ＲＰＡ：ローカルＰＥアドレス１−３である。ＰＳ＃は
ＴＬＢ２の索引アドレスを示す。また、ＰＡＧＥ＃はＴ
ＬＢ４のセット番号を示す（尚、ＴＬＢ４は複数セット
からなっているものとする）。最後に、ＲＰＡは物理ア
ドレスのオフセットアドレスに相当する。

【００１８】論理アドレスレジスタ１にセットされた論
理アドレスのＰＳ＃によって、ＴＬＢ２が索引される。
このＴＬＢ２は以下に示す様なフィールドで構成された
エントリを持つ記憶領域である。先ず、ＰＥ＃：ＰＥ番
号２−１は、その論理アドレスの領域のローカルメモリ
を有するＰＥの番号を示す。この時、ＰＥ＃が自ＰＥと
同じであれば、自ＰＥ内のアクセスであることを示す。
ＴＬＢ４エントリ＃２−２はＴＬＢ４のセット内エント
リ番号であり、すなわちＴＬＢ４のアドレスである。

【００１９】自ＰＥ＃レジスタ３は自ＰＥ番号を予め格
納したレジスタであり、システム初期時にセットされ
る。ＴＬＢ２から索引されたＰＥ＃とこのレジスタ３の
自ＰＥ＃との比較器１０による比較により、メモリリク
エストが自ＰＥか他ＰＥかを定める様になっている。

【００２０】ＴＬＢ４は複数セットからなり、その１セ
ットはローカルメモリのベースアドレス：ＢＡＳＥ４−
１と有効ビット：Ｖ４−２とからなる。ＴＬＢ４のセッ
トの選択は、論理アドレスのＰＡＧＥ＃によって行わ
れ、セット内の索引アドレスはＴＬＢ２内のＴＬＢ４エ
ントリ＃アドレス２−２が使用される。この時、論理ア
ドレスが他ＰＥである場合は、索引されない。

【００２１】ローカルメモリ５は各ＰＥ内に存在し、Ｒ
ＰＡ（１−３）＋ＢＡＳＥ（４−１）によって索引され
る。この値が自ＰＥ内ローカルメモリ５の物理アドレス
である。

【００２２】一方、ＴＬＢ２から索引したＰＥ＃２−１
と自ＰＥ＃３とを比較した結果が不一致であった場合、
他ＰＥに対してリクエストを発行する必要がある。この
時、外部リクエスト有効フラグ６が点灯するが、それと
同時に、リクエストパケットレジスタ７に有効な情報が
セットされている必要がある。このレジスタ７の内訳は
以下の通りである。

【００２３】先ず、ＰＥ＃７−１は外部リクエストパケ
ットの送出先ＰＥを示す。各ＰＥには、パケットを受取
るために、自分のＰＥ番号と受信パケットのＰＥ番号と
を比較する回路が備えられており（図２，３で詳述す
る）、その結果が一致した場合、そのパケットを取り込
む。

【００２４】ＰＡＧＥ＃７−２は外部ＰＥ＃ｊのＴＬＢ
８のセットを選択する情報であり、ＴＬＢエントリ＃７
−３はその選択されたＴＬＢのセットを索引するための
情報であり、選択されたセット内のエントリを索引する
セット内アドレスである。ＲＰＡ７−４は外部ＰＥ＃ｊ
のローカルメモリ９内の物理アドレスのオフセットとし
て使われる。

【００２５】このリクエストパケットレジスタ７から送
出されたリクエストパケットはＰＥ＃ｊにて受取られ
て、このパケット内のＰＥ＃７−１（目的地ＰＥ番号）
と受取りＰＥ＃ｊのＰＥ番号とが比較され、一致すると
この受取ったリクエストパケットが自ＰＥ（＃ｊ）のロ
ーカルメモリ９へのメモリアクセスパケットであると見
なして、ＰＡＧＥ＃７−１とＴＬＢエントリ＃とにより
ＴＬＢ８の索引が行われ、物理アドレスＢＡＳＥ（８−
１）が読出され、オフセットアドレスＲＰＡ（７−４）
と共にローカルメモリ９のアクセスがなされるのであ
る。

【００２６】こうして、メモリリクエスト受取りＰＥ＃
ｊにおいては、同じＰＥ内のＣＰＵからメモリリクエス
トが到来したかの如く物理アドレスが生成可能となる。

【００２７】図１のシステム構成においては、ＰＥ＃ｉ
からＰＥ＃ｊへの一方向のメモリアクセスについてのみ
示して簡単化し、本発明の基本的考え方を説明したが、
図２，３に本発明の実施例の構成の詳細について示す。
尚、図１と同等部分は同一符号により示している。

【００２８】尚、メモリ転送リクエスト制御とパケット
受け付け制御の実行要求は同時に行われるものである
が、本発明とは直接関係が無いため、この２つの制御シ
ーケンスの調停制御についての説明は省く。よって、こ
の２つの制御シーケンスの衝突は無いことを前提とす
る。

【００２９】先ず、メモリ転送リクエストレジスタ１
は、以下の情報を格納する。すなわち、有効なメモリ転
送命令が存在することを示すＶビットと、該命令が如何
なるものであるかを示すコマンドと、部分空間番号ＰＳ
＃と、ページ番号ＰＡＧＥ＃と、ローカルページアドレ
スＲＰＡとを格納する。

【００３０】メモリ間転送命令の場合、ＲＥＡＤ／ＷＲ
ＩＴＥ側の２つの命令に分解される。デコーダ１１は、
論理アドレスＲＥＧに存在する命令がＲＥＡＤ側かＷＲ
ＩＴＥ側であるかを判断するための論理回路である。Ａ
ＮＤゲート３１，３２は、デコーダ１１のデコード出力
１０２，１０３及びＶビット１０１よりメモリ転送リク
エストレジスタ１に有効なＲＥＡＤ／ＷＲＩＴＥ命令が
存在することを示す信号１０９，１００を生成し、パケ
ット制御部１４に報告する。

【００３１】ＴＬＢ２は複数のエントリから構成され、
エントリ内はＰＥ＃とＴＬＢ４のアドレスから構成され
ている。これは、信号線１０５によって送られて来るメ
モリ転送リクエストレジスタ１のＰＳ＃によって索引さ
れ、ＰＥ＃が信号線４１によってパケット送出レジスタ
７に送られる。更に、ＴＬＢ４アドレスが信号線４２に
出力される。

【００３２】自ＰＥ番号レジスタ３の自ＰＥ＃は信号線
５０１によって、他ＰＥあるいは自ＰＥかを判断する比
較器１０，２７に送られる。比較器１０は信号線４１の
ＴＬＢ２の出力と信号線５０１の自ＰＥ番号を比較し
て、その結果を信号線６１でパケット制御部１４に報告
する。ＡＮＤゲート３３は、パケット受けレジスタ２３
に如何なるパケットが存在するかを判断し、パケット制
御部１４に報告するものである。

【００３３】パケット送出レジスタ７は複数の情報格納
領域からなり、その内訳は以下の通りである。すなわ
ち、有効なパケットがパケット送出レジスタに存在する
ことを示すＶビット（パケット制御部１４からの信号線
８０１によってセットされる）と、パケットが如何なる
ものであるかを示すコマンド（パケット制御部１４から
の信号線８０２によって制御される）と、パケットを送
出する送信元ＰＥ番号（自ＰＥ番号レジスタ３の値が信
号線５０１によってそのまま格納される）と、パケット
の送出先ＰＥ番号（ＴＬＢ２の出力のＰＥ番号が信号線
４１によってそのまま格納される）と、ネットワークリ
プライバッファＮＷＲＢＦ１５のエントリを示すＴＡＧ
番号（セレクタ２６から信号線１９１を介してセットさ
れる）と、パケット送出先ＰＥでＴＬＢ４を索引するた
めのアドレスＡＤＤＲ（信号線４２を介して、ＴＬＢ２
から読出されたＴＬＢ４アドレスがセットされる）と、
パケット送出先ＰＥでＴＬＢ４を索引するためのページ
番号ＰＡＧＥ＃（メモリ転送リクエストレジスタ１のＰ
ＡＧＥ＃の値が、信号線１０６を介して送られてくる）
と、パケット送出先ＰＥで物理アドレスを生成するため
のローカルページアドレスＲＰＡ（メモリ転送リクエス
トレジスタ１から信号線１０７を介して送られてくる）
と、ＷＲＩＴＥリクエストパケットでの書き込みデータ
ＤＡＴＡ（ローカルメモリ読出しレジスタ２２から信号
線２２０１を介してセットされる）とである。

【００３４】ＴＬＢ４アドレスレジスタ３４は、信号線
４２からのＴＬＢ２の出力結果、あるいは信号線２３０
５からのパケット受けレジスタ２３のＡＤＤＲ内容が格
納され、信号線７１によってＴＬＢ４が索引される。

【００３５】ＴＬＢ４は、セレクタ２８の出力信号２８
０１と、ＴＬＢ４アドレスレジスタ３４の出力信号７１
で索引される。

【００３６】パケット制御部１４は図４に示すパケット
群を生成して外部ＰＥに対してパケットを送出する制御
を行う。また、信号線８０３によって、ＴＡＧ管理レジ
スタ１３に対してＴＡＧ番号の取得を要求する。

【００３７】加算器９０は信号線１５１のＴＬＢ４の出
力と信号線１４０１のセレクタ１４の出力を加算し、物
理アドレスレジスタ１６に加算結果を格納する。

【００３８】ローカルメモリ５は、信号線１６０１を介
して物理アドレスレジスタ１６からアドレスが送られ、
ローカルメモリ書込みレジスタ２０の値が書込まれ、ロ
ーカルメモリ読出しレジスタ２２に読出しデータが格納
される。

【００３９】パケット受レジスタ２３は複数の情報から
なり、その内訳は以下の通りである。すなわち、有効な
パケットがパケット受けレジスタに存在することを示す
Ｖビットと、パケットが如何なるものであるかを示すコ
マンド（デコーダ２５にその情報が送られ、その受付け
パケットの制御に使用される）と、パケットを送出した
送信元ＰＥ信号（信号線２３０６を介して、送出パケッ
ト生成のためにパケット送出レジスタ７に送られる）
と、パケットの送出先ＰＥ番号（信号線２３０７を介し
て比較器２７で、自分のＰＥに来たものであるかを認識
する）と、信号線２３０２によってデコーダ２４に送出
されるＴＡＧ（ＴＡＧ番号の解放制御が行われる）と、
第２のＴＬＢ４を索引するためのアドレスＡＤＤＲ（信
号線２３０５を介して、第２のＴＬＢアドレスレジスタ
３４に対して、値がセットされる。あるいは、起動リク
エストパケットの場合は、信号線２３０５によってＰＳ
＃がメモリ転送リクエストレジスタ１に送られる）と、
第２のＴＬＢを索引するためのページ番号ＰＡＧＥ＃
（信号線２３０９を介してセレクタ２８に送られる）
と、物理アドレスを生成するためのローカルアドレスＲ
ＰＡ（信号線２３０３を介してセレクタ１４に送られ
る。あるいは起動リクエストパケットの場合は、信号線
２３１２を介してメモリ転送リクエストレジスタ１に送
られる）と、ＷＲＩＴＥパケットでの書込みデータＤＡ
ＴＡ（信号線２３０４を介してローカルメモリ書込みレ
ジスタ２０に送られる）とを有する。

【００４０】フリップフロップ１２は、ＮＷＲＢＦ１５
のＷＥ（ｗｒｉｔｅｅｎａｂｌｅ）を保持し、信号線
１２０１によって、ＮＷＲＢＦ１５に対して書込みを指
示する。また、その制御は信号線８０３でパケット制御
部１４によって行われる。

【００４１】ネットワークリプライバッファＮＷＲＢＦ
１５のエントリ（ＴＡＧ）は、メモリリクエストが他Ｐ
Ｅのローカルメモリの場合に他ＰＥのローカルメモリの
物理アドレスを保持しておくものであり、このアドレス
は当該メモリリクエストのリプライデータ（リードレス
ポンス）を、自ＰＥのローカルメモリへ書込むために必
要な物理アドレスである。

【００４２】デコーダ２５は、パケット受けレジスタ２
３のコマンドを参照して、如何なるパケットが到着した
かを解析し、パケット制御部１４に信号線２５１とＡＮ
Ｄゲート３３とによって報告し、リプライパケットの生
成制御に使われる。また、ＴＡＧ管理レジスタ１３のリ
セット制御にも使用される。

【００４３】ＴＡＧ管理レジスタ１３は、ＮＷＲＢＦ１
５の空き状態を管理する。パケット制御部１４から信号
線８０３を介してＴＡＧ登録要求が送られてくると、未
使用のＴＡＧがプライオリティエンコーダ１８で検出さ
れ、信号線１８０１を介して報告され、ＡＮＤゲート３
５で論理積がとられ、そのビット番号のＴＡＧ管理レジ
スタ１３がセットされる。

【００４４】また、信号線１８０１によって送られたＴ
ＡＧ管理レジスタ１３の空きビット番号は、エンコーダ
１９によってエンコードされ、信号線１９０１、セレク
タ２６を介して、パケット送出レジスタ７へ送られる。
レジスタ１７はＮＷＲＢＦ１５の書込みアドレスであ
り、ＴＡＧ登録と同時にＮＷＲＢＦ１５に対して物理ア
ドレス、あるいは受信パケットのＴＡＧ登録が行われ
る。

【００４５】セレクタ１４は、アドレス加算器９に対し
て、メモリ転送リクエストレジスタ１とパケット受けレ
ジスタ２３のＲＰＡの切換えを行う。セレクタ２６は、
信号線１９０１のエンコーダ１９の出力、信号線２３０
２のパケット受けレジスタ２３、信号線１４０２のＮＷ
ＲＢＦ１５の３つから来るＴＡＧを選択する。セレクタ
２８は、メモリ転送リクエストレジスタ１とパケット受
けレジスタ２３のＰＡＧＥ＃を選択する。

【００４６】セレクタ１４，２６，２８のその切換え制
御は、メモリ転送リクエスト制御とパケット受付け制御
の調停制御部が行うものであり、本実施例では説明を省
く。

【００４７】ＮＥＲＢＦ１５には、信号線１６０１を介
して物理アドレスが、あるいは信号線１９０１を介して
ＴＡＧ番号が格納される。

【００４８】次に図４に基づいてＰＥ間で受け渡される
パケットについて説明する。パケットには以下の６種類
が存在する。

【００４９】１）ＷＲＩＴＥリクエストパケット：メモ
リに対してデータを書込む要求を行う。コマンド，送出
元ＰＥ番号，送出先ＰＥ番号，ＴＡＧ，ＴＬＢ２アドレ
ス，ＰＡＧＥ＃，ＲＰＡ，ＷＲＩＴＥデータが含まれ
る。

【００５０】２）ＲＥＡＤリクエストパケット：メモリ
からデータを読込む要求を行う。コマンド，送出元ＰＥ
番号，送出先ＰＥ番号，ＴＡＧ，ＴＬＢ２アドレス，Ｐ
ＡＧＥ＃，ＲＰＡが含まれる。

【００５１】３）起動リクエストパケット：メモリ転送
が他ＰＥと他ＰＥ間であった場合、命令を発行したＰＥ
（起動ＰＥ）からＷＲＩＴＥデータが存在するＰＥ（処
理ＰＥ）に対してメモリ転送制御を要求する。コマン
ド，送出元ＰＥ，送出先ＰＥ番号，ＴＡＧ，ＴＬＢ２ア
ドレス（ＲＥＡＤ側），ＰＡＧＥ＃（ＲＥＡＤ側），Ｒ
ＰＡ（ＲＥＡＤ側），論理アドレス（ＷＲＩＴＥ側）が
含まれる。但し、最後の論理アドレス（ＷＲＩＴＥ側）
は、１サイクルで送出できる容量を越えているため、起
動リクエストパケットは２回に分けられて送られ、２回
目にＷＲＩＴＥ側論理アドレスが送られる。図４では
（１），（２）として示している。

【００５２】４）ＷＲＩＴＥリプライパケットＷＲＩＴＥリクエストパケットの返答で、書込みを要求
されたＰＥが書込みを要求したＰＥに対して、ＷＲＩＴ
Ｅが終了したことを報告する。例外が発生し、ＷＲＩＴ
Ｅに失敗した場合は例外情報が添えられる。コマンド，
送出元ＰＥ番号，送出先ＰＥ番号，ＴＡＧ，例外情報が
含まれる。

【００５３】５）ＲＥＡＤリプライパケットＲＥＡＤリクエストパケットの返答で、読出しを要求さ
れたＰＥが読出しを要求したＰＥに対して、ＲＥＡＤし
たデータと共に、ＲＥＡＤが終了したことを通知する。
コマンド，送出元ＰＥ番号，送出先ＰＥ番号，ＴＡＧ，
例外情報，ＲＥＡＤデータが含まれる。

【００５４】６）起動リプライパケット他ＰＥと他ＰＥ間のデータ転送が発生した場合の、起動
ＰＥからの起動リクエストに対するリプライ，コマン
ド，送出元ＰＥ番号，送出先ＰＥ番号，ＴＡＧ，例外情
報を含む。

【００５５】これらのパケットは、図２，３で説明した
パケット送出レジスタ７とパケット受けレジスタ２３を
介して、ＰＥ間を接続するネットワークによって送受が
行われる。

【００５６】次にメモリ転送命令の動作について説明す
る。先ず、図５，図６に基づいて、リクエストが発生し
たＰＥと同一ＰＥ内のメモリ同士の転送命令が発生した
場合の動きについて説明する。読出し／書込みアドレス
を伴うメモリ間転送命令が、先ず読出しアドレスでＴＬ
Ｂ２を索引し、自ＰＥへのアクセスであることを判断す
る。そして、自ＰＥメモリからデータを読出す。それと
並行して書込みアドレスをＴＬＢ２で索引し、自ＰＥ内
メモリへ自ＰＥから読出したデータを書込む。

【００５７】次に、図７〜９に基づいて、他ＰＥから自
ＰＥへの動作について説明する。先ず、読出しアドレス
でＴＬＢ２を索引し、その結果、他ＰＥへのアクセスで
あることが判明した場合、ＮＷＲＢＦ１５へ登録し、タ
グＴＡＧを生成する。更に、そのタグとＴＬＢ２の索引
結果、送出先ＰＥ、送出元ＰＥをパケットにまとめてＰ
Ｅ間接続ネットワークに送出する。

【００５８】書込みアドレスについては、自ＰＥへのア
クセスであると判断した結果、ＴＬＢ４も索引し物理ア
ドレスを生成し、それを先程生成したＮＷＲＢＦ１５の
タグのアドレスに格納する。リクエスト出し側ＰＥは、
この動作が完了した後にリプライが返るまで待ち続け
る。

【００５９】一方、リクエストを受け取ったＰＥは、そ
のリクエストが自分に対するものであることを認識する
と、パケット内のＴＬＢ４アドレス、ＰＡＧＥ＃からＴ
ＬＢ４を索引し、パケット内のＲＰＡと加算して物理ア
ドレスを生成し、リクエスト受け付けＰＥ内のメモリか
らデータを読込む。

【００６０】更に、そのデータをパケット送出レジスタ
７に入れて送出元ＰＥに返す。送出元ＰＥは、受け付け
ＰＥよりリプライが返ったことを知ると、ＮＷＲＢＦ１
５からタグによって物理アドレスを読出し、そのアドレ
スにリプライパケットで選ばれてきたデータを書込む。

【００６１】次に、図１０〜１２に基づいて、自ＰＥで
読出したデータを他ＰＥに書込む場合の動作について説
明する。先ず、ＲＥＡＤアドレスでＴＬＢ２を索引し、
自ＰＥ内のメモリをアクセスすることを判断すると、Ｔ
ＬＢ４も索引し、物理アドレスを生成して自ＰＥ内のメ
モリからデータを読出す。

【００６２】それと同時にＷＲＩＴＥアドレスでＴＬＢ
２を索引し、そのアドレスが他ＰＥのものであることが
判明した場合、ＮＷＲＢＦ１５への登録を行いタグＴＡ
Ｇを生成する。また、外部に送出するパケットには、同
一ＰＥ内で読出したデータ、タグ、ＷＲＩＴＥアドレス
のＴＬＢ２の索引結果を盛り込み、ＰＥ間接続ネットワ
ークに送出する。送出側ＰＥは、ここまでの作業が終了
するとリプライを待つ。

【００６３】リクエストパケットを受け取ったＰＥは、
パケット内のＷＲＩＴＥアドレスのＴＬＢ４アドレス、
ＰＡＧＥ＃でＴＬＢ４を索引し、受信パケットのＲＰＡ
で物理アドレスを生成し、そのアドレスに対して、リク
エストパケット内部のＷＲＩＴＥデータを書込む。この
動作が終わる頃を見計らってタグを盛り込んだリプライ
パケットを送出元ＰＥに対して返す。リプライパケット
を受け取った送出元ＰＥは、リプライパケット内のタグ
が示すＮＷＲＢＦ１５のエントリを開放し、命令制御部
に終了通知を送る。

【００６４】最後に、他ＰＥから他ＰＥへのメモリ転送
について説明する。図１６にその概要を示す。先ず、命
令を発行する起動ＰＥが、ＲＥＡＤデータが存在するメ
モリを保持する処理ＰＥに対して送出する。処理ＰＥ
は、起動パケットを受け取ると自ＰＥ内メモリのデータ
を他ＰＥ内のメモリへＷＲＩＴＥする動作を行う。

【００６５】すなわち、処理ＰＥは、データを書込むメ
モリが存在するＷＲＩＴＥＰＥへＷＲＩＴＥリクエス
トパケットを送り、その結果、終了通知が処理ＰＥに戻
ってくる。その終了通知を受けた処理ＰＥは、起動ＰＥ
に対して終了通知を発行する。

【００６６】図１３に基づいて、起動ＰＥの動作につい
て詳細に説明する。先ず、ＲＥＡＤアドレスでＴＬＢ２
を索引し、他ＰＥへのアクセスであることが判明する
と、ＮＷＲＢＦ１５へ登録しタグを生成する。更に、Ｗ
ＲＩＴＥアドレスでＴＬＢ２を索引した結果から、これ
も他ＰＥへのアクセスであることが判明すると、転送起
動パケットを生成する。その中には、ＲＥＡＤアドレス
ＴＬＢ２索引結果、ＷＲＩＴＥ側論理アドレス、タグ等
を含む。

【００６７】起動リクエストパケットは、２つのアドレ
スを送る必要があるので、２つに分かれ、その後半でＷ
ＲＩＴＥ側論理アドレスを送る。このパケットを処理Ｐ
Ｅに送出すると、処理ＰＥからの終了通知リプライを待
つ。

【００６８】図１４に基づいて、処理ＰＥの動作につい
て詳細に説明する。処理ＰＥは、受け取ったパケットが
自分宛の起動パケットであることを知ると、ＲＥＡＤア
ドレスでＴＬＢ４を索引し、物理アドレスを生成し、自
ＰＥのメモリからデータを読出す。それと同時にＷＲＩ
ＴＥ論理アドレスでＴＬＢ２を索引し、ＷＲＩＴＥ側が
どのＰＥであるかを判断する。

【００６９】その際、ＷＲＩＴＥ側のアドレスが処理Ｐ
Ｅ内のローカルメモリに存在する場合、ＷＲＩＴＥアド
レスについてもＴＬＢ４を索引し、ＷＲＩＴＥ側の物理
アドレスも生成する。ＷＲＩＴＥアドレスがそろったと
ころで、処理ＰＥのローカルメモリから読出したデータ
を同じローカルメモリに書込む。

【００７０】その後に、起動ＰＥから受け取ったタグを
添えて、起動ＰＥに対して起動リプライパケットを送出
する。ＷＲＩＴＥアドレスが処理ＰＥとは別のＰＥのロ
ーカルメモリのものであった場合は、処理ＰＥ内のＮＷ
ＲＢＦ１５で別のＴＡＧを生成し、ＷＲＩＴＥリクエス
ト処理を行う。すなわち、ＷＲＩＴＥＰＥに対してＷ
ＲＩＴＥリクエストパケットを送出する処理を行う。

【００７１】その際、起動リクエストに付与されている
起動ＰＥ内のＴＡＧ番号は、起動リプライパケットの生
成のためにＮＷＲＢＦ１５内に保存される。その後、処
理ＰＥは、ＷＲＩＴＥリクエストに対するリプライがＷ
ＲＩＴＥＰＥからくるまで待ち続ける。

【００７２】ＷＲＩＴＥリプライがＷＲＩＴＥＰＥか
ら返ってきたら、ＮＷＲＢＦ１５のＴＡＧ番号を解放す
ると共に、ＮＷＲＢＦ１５内に登録されている起動ＰＥ
内のＴＡＧを起動リプライパケット内に埋め込むなどし
て、起動ＰＥに対して起動リプライを送出する。

【００７３】図１５に基づいて、図１６で示したＷＲＩ
ＴＥＰＥ内の制御について説明する。ＷＲＩＴＥＰ
Ｅは処理ＰＥからのＷＲＩＴＥリクエストのパケットを
受信すると、ＴＬＢ４をパケット内のＴＬＢ４アドレ
ス、ＰＡＧＥ＃で索引し、その結果とＷＲＩＴＥリクエ
ストパケット内のＲＰＡと加算し、ＷＲＩＴＥ先の物理
アドレスを得る。その物理アドレスに対してＷＲＩＴＥ
リクエストパケット内のＷＲＩＴＥデータを書く。その
後、ＷＲＩＴＥＰＥは処理ＰＥに対するＷＲＩＴＥリ
プライパケットを生成し送出する。そのパケット内に
は、ＴＡＧとＴＬＢ４索引時の例外情報が入る。

【００７４】図１２，１３に基づいて受け付けパケット
制御について説明する。先ず、受付たパケットが自分宛
かどうかを判断するために、パケット受けレジスタ２３
の送信先ＰＥ番号と自ＰＥ番号レジスタ３の内容を比較
器２７で比較する。

【００７５】次に、パケット毎にその制御を説明する。

【００７６】１）ＷＲＩＴＥリクエストパケットの場
合：ａ）ローカルメモリに対するＷＲＩＴＥ；パケット受け
レジスタ２３のＡＤＤＲとＰＡＧＥ＃によって、ＴＬＢ
４を索引した結果と、パケット受けレジスタ２３のＲＰ
Ａの値を加算器９０で加算し、物理アドレスレジスタ１
６に格納する。ＴＬＢ４の索引の際に例外が発生する場
合は、例外情報を生成する。一方、パケット受けレジス
タ２３のＤＡＴＡがローカルメモリ書込みレジスタ２０
に格納され、次のサイクルで、ローカルメモリ５の物理
アドレスレジスタ１６のアドレスに値が書込まれる。更
に、パケット制御部１４はＷＲＩＴＥリクエストの終了
を通知するリプライパケットを生成する。

【００７７】ｂ）ＲＥＡＤリクエストパケット；ＷＲＩ
ＴＥリクエストと同様、パケット受けレジスタ２３のＡ
ＤＤＲとＰＡＧＥ＃によって、ＴＬＢ４を索引した結果
と、パケット受けレジスタ２３のＲＰＡの値を加算器９
で加算し、物理アドレスレジスタ１６に格納する。ＴＬ
Ｂ４の索引の際に例外が発生する場合は、例外情報を生
成する。次のサイクルでローカルメモリ読出しレジスタ
２２に、メモリの値が格納される。更に、パケット制御
部１４は、ＲＥＡＤリクエストの終了を通知するリプラ
イパケットを生成する。そのため、パケット送出レジス
タ７には、ローカルメモリ読出しレジスタ２２の値が信
号線２２０１を経由して送られる。

【００７８】ｃ）起動リクエストパケット；起動リクエ
ストパケットは、長いためＷＲＩＴＥ側論理アドレスだ
けは、２回目に送られてくる。起動リクエストを受け付
けたＰＥは、ＲＥＡＤ側のデータが該ＰＥに存在するこ
とが保証されているので、パケット受けレジスタ２３の
ＡＤＤＲとＰＡＧＥ＃でＴＬＢ４を索引し、その結果と
パケット受けレジスタ２３のＲＰＡを加算した値が物理
アドレスレジスタ１６に格納され、ローカルメモリ５か
らローカルメモリ読出しレジスタ２２へ値が格納され
る。

【００７９】更に、ＷＲＩＴＥ側の論理アドレスによっ
て、ＴＬＢ２を索引する。その際、２回目のパケットの
内容が格納されているパケット受けレジスタ２３のＡＤ
ＤＲ部が信号線２３１０を介してメモリ転送リクエスト
レジスタ１のＰＳ＃に送られる。また、パケット受けレ
ジスタ２３のＰＡＧＥ＃は信号線２３０９を介してメモ
リ転送リクエストレジスタ１のＰＡＧＥ＃に、ＲＰＡが
信号線２３１２を介してメモリ転送リクエストレジスタ
１のＲＰＡに格納される。

【００８０】更に、メモリ転送リクエストレジスタ１の
Ｖビットが点灯し、コマンドにはＷＲＩＴＥリクエスト
であることを示す情報が格納される。その後、メモリ転
送リクエストレジスタ１に格納されたＰＳ＃でＴＬＢ２
が索引され、その結果、ＷＲＩＴＥ先のアドレスが自Ｐ
Ｅのものであれば、引き続きＴＬＢ４を索引し、メモリ
転送リクエストレジスタ１のＲＰＡと加算し、その結果
を物理アドレスレジスタ１６に格納する。更に、先にＲ
ＥＡＤしローカルメモリ読出しレジスタ２２に格納され
たデータをそのまま信号線２２０１でローカルメモリ５
に格納する。

【００８１】一方、ＴＬＢ２を索引した結果、ＷＲＩＴ
Ｅ側アドレスが他ＰＥを指し示すものであると判断され
た場合、パケット制御部１４によって、そのＰＥへのＷ
ＲＩＴＥリクエストパケットを生成する制御が起動す
る。その際、通常のＷＲＩＴＥリクエストパケットの生
成と同様ＴＡＧが生成され、ＮＷＲＢＦ１５の領域がア
サインされるが、信号線２３０２を介して、その中に起
動リクエストパケットで送出されてくるＴＡＧを格納す
る。その他の制御は、通常のＷＲＩＴＥリクエストパケ
ット生成制御と同様である。

【００８２】ｄ）ＷＲＩＴＥリプライパケット；パケッ
ト制御部１４によって、パケット送出レジスタ７のＶビ
ット、コマンドが設定される。更に、パケット送出レジ
スタ７の送信元ＰＥには、自ＰＥ番号レジスタ３の値が
信号線５０１によって設定され、パケット送出レジスタ
７の送信先ＰＥは、パケット受けレジスタ２３の送信元
ＰＥの値が信号線２３０６によって設定される。ＴＡＧ
は、パケット受けレジスタ２３のＴＡＧが信号線２３０
２，セレクタ２６，信号線１９１を介して設定される。

【００８３】ｅ）ＲＥＡＤリプライパケット；パケット
受けレジスタ２３のＡＤＤＲ，ＰＡＧＥ＃によって、Ｔ
ＬＢ４が索引され、その結果とパケット受けレジスタ２
３のＲＰＡの値が加算器９０によって加算され、ローカ
ルメモリ５の物理アドレスが計算される。その次のサイ
クルでは、ローカルメモリ５からＲＥＡＤデータが読出
され、パケット送出レジスタ７のＤＡＴＡ部に信号線２
２０１を介して設定される。パケット制御部１４によっ
て、パケット送出レジスタ７のＶビット、コマンドが設
定される。

【００８４】更に、パケット送出レジスタ７の送信元Ｐ
Ｅには、自ＰＥ番号レジスタ３の値が信号線５０１によ
って、パケット送出レジスタ７の送信先ＰＥには、パケ
ット受けレジスタ２３の送信元ＰＥの値が信号線２３０
６を介して設定される。ＴＡＧは、パケット受けレジス
タ２３のＴＡＧが信号線２３０２，セレクタ２６，信号
線１９１を介して設定される。

【００８５】ｆ）起動リプライパケット；メモリ転送が
起動ＰＥに対して、他ＰＥ−他ＰＥ間で行われた場合、
起動ＰＥに対して転送処理が終了したことを通知する。
本パケットを受け取った場合の動作は、パケット受けレ
ジスタ２３のＴＡＧを参照してＴＡＧ番号とＮＷＲＢＦ
１５の領域を解放するだけである。

【００８６】次にＴＡＧ管理制御について図２，３に基
づいて説明する。ＴＡＧはある１つのＰＥにおいてユニ
ークな番号であり、そのＰＥ内のＮＷＲＢＦ１５のアド
レスに相当する。ＴＡＧは、そのＰＥが外部ＰＥに対し
て起動／ＲＥＡＤ／ＷＲＩＴＥリクエストパケットを送
る状況が発生した場合に生成される。

【００８７】ＴＡＧの生成指示は、パケット制御部１４
によって、信号線８０３を介して行われる。生成要求に
よって登録される番号は、プライオリティ・エンコーダ
１８によって選択／デコードされ毎サイクル信号線１８
０１に送出される。

【００８８】そのデコードされたＴＡＧ番号と生成指示
がＡＮＤゲート３５によって論理積をとられ、ＴＡＧ管
理レジスタ１３をセットする。ＴＡＧ管理レジスタ１３
はＮＷＲＢＦ１５の使用状況を管理するフラグ群であ
る。これと同時にフリップフロップ１２によって物理ア
ドレス、あるいはパケット受けレジスタ２３のＴＡＧが
格納される。

【００８９】一方、ＴＡＧの解放指示は、リプライパケ
ットの到着によって行われる。パケット受けレジスタ２
３のコマンドを見てデコーダ２５がリプライパケットで
あることを認識し、パケット受けレジスタ２３のＴＡＧ
をデコーダー２４でデコードし、ＴＡＧ管理レジスタ１
３のリセット信号を生成する。同時に、パケット受けレ
ジスタ２３のＴＡＧが信号線２３０２によってＮＷＲＢ
Ｆ１５へ送られ、それがＮＷＲＢＦ１５のＲＥＡＤアド
レスとなり、ＮＷＲＢＦ１５に登録されていた物理アド
レスあるいはＴＡＧが読出される。

【００９０】本実施例での例外検出方式について若干説
明する。物理アドレス生成のためのアドレス変換の際
に、アドレス空間が不在であるといった例外が発生する
ことが良くある。その時の例外情報をリプライパケット
にいれる。このリプライを受け取ったＰＥは、この例外
付き終了報告であることを認識して命令制御部（ＣＰ
Ｕ）に対して報告する。これを受けた命令制御部は例外
処理を開始するのである。

【００９１】

【発明の効果】以上述べた様に、本発明によれば、ＯＳ
の介在無しにユーザプログラムが他ＰＥへアクセスする
ことが可能となり実効性能が向上するという効果があ
る。

【図面の簡単な説明】

【図１】本発明の実施例の概略を示すシステムブロック
図である。

【図２】本発明の実施例の具体例の一部ブロック図であ
る。

【図３】本発明の実施例の具体例の一部ブロック図であ
る。

【図４】本実施例にて使用されるリクエストパケットの
例を示す図である。

【図５】自ＰＥ−自ＰＥ間のメモリ転送の制御フローを
示す図である。

【図６】図５の制御フローに従った転送制御タイミング
図である。

【図７】他ＰＥ−自ＰＥ間のメモリ転送の制御フローを
示す図である。

【図８】他ＰＥ−自ＰＥ間のメモリ転送の制御フローを
示す図である。

【図９】図７，８の制御フローに従った転送制御タイミ
ング図である。

【図１０】自ＰＥ−他ＰＥ間のメモリ転送の制御フロー
を示す図である。

【図１１】自ＰＥ−他ＰＥ間のメモリ転送の制御フロー
を示す図である。

【図１２】図１０，１１の制御フローに従った転送制御
タイミング図である。

【図１３】他ＰＥ−他ＰＥ間のメモリ転送の起動ＰＥの
制御フローを示す図である。

【図１４】他ＰＥ−他ＰＥ間のメモリ転送の処理ＰＥの
制御フローを示す図である。

【図１５】他ＰＥ−他ＰＥ間のメモリ転送のＷＲＩＴＥ
ＰＥの制御フローを示す図である。

【図１６】他ＰＥ−他ＰＥ間のメモリ転送の概略につい
て説明する図である。

【図１７】分散メモリ型マルチプロセッサシステムの一
例を示す図である。

【図１８】分散メモリ型マルチプロセッサシステムの他
の例を示す図である。

【符号の説明】

１メモリ転送リクエストレジスタ２第１のＴＬＢ３自ＰＥ＃レジスタ４第２のＴＬＢ５ローカルメモリ７パケット送出レジスタ１０，２７比較器１４パケット制御部１５ネットワークリプライバッファ２０ローカルメモリ書込みレジスタ２２ローカルメモリ読出しレジスタ２３パケット受けレジスタ

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/16 370 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】各々がローカルメモリを有する複数のプ
ロセッサが互いにネットワークを介して接続され、前記
プロセッサの各々は自ローカルメモリのみならず他ロー
カルメモリへもアクセス可能とされた分散メモリ型マル
チプロセッサ情報処理システムであって、前記プロセッサの各々は、前記ローカルメモリに対するアクセスのための論理アド
レスを物理アドレスに変換するためのアドレス変換バッ
ファ手段と、前記論理アドレスにより索引されこの論理アドレスを含
むローカルメモリの所在を示すプロセッサ番号と前記ア
ドレス変換バッファ手段のエントリを示すエントリ番号
とを対にして格納した格納手段と、前記論理アドレスの発生に応答して、自プロセッサ番号
と前記論理アドレスにより索引された前記格納手段のプ
ロセッサ番号とを比較する比較手段と、この比較結果が一致を示したとき当該プロセッサ番号に
対応する前記格納手段のエントリ番号により前記アドレ
ス変換バッファ手段を索引する索引手段と、前記索引手段による索引結果である物理アドレスにより
前記ローカルメモリをアクセスするアクセス手段と、前記比較結果が不一致を示したとき前記論理アドレスを
含むアクセス情報を他プロセッサへ送出する送出手段
と、を含むことを特徴とする分散メモリ型マルチプロセッサ
情報処理システム。
【請求項２】前記アクセス情報は、前記格納手段の索
引結果である目的地プロセッサ番号と前記アドレス変換
バッファ手段のエントリ番号を含み、前記プロセッサの
各々は更に、他プロセッサから送出されてきた前記アク
セス情報を受取る手段と、前記アクセス情報に含まれる
前記目的地プロセッサ番号と自プロセッサ番号とを比較
する第２の比較手段と、この比較結果が一致を示したと
きに前記索引手段を起動する手段とを含むことを特徴と
する請求項１記載の分散メモリ型マルチプロセッサ情報
処理システム。
【請求項３】各々がローカルメモリを有する複数のプ
ロセッサが互いにネットワークを介して接続され、前記
プロセッサの各々は自ローカルメモリのみならず他ロー
カルメモリへもアクセス可能とされた分散メモリ型マル
チプロセッサ情報処理システムであって、前記プロセッサの各々は、前記ローカルメモリに対するアクセスのための論理アド
レスを物理アドレスに変換するためのアドレス変換バッ
ファ手段と、自プロセッサか他プロセッサへのリクエストであるかを
判断するためのプロセッサ番号と前記アドレス変換バッ
ファ手段のエントリ番号とが格納された格納手段と、前記格納手段を索引の結果、他プロセッサへのリクエス
トであることが判明した場合、自プロセッサ内のメモリ
アクセスを中止し、他プロセッサへのアクセスパケット
を生成して前記ネットワークへ送出する手段と、前記ネットワークからのアクセスパケットが自プロセッ
サのものかを判断し、自プロセッサへのパケットの場
合、このパケットの情報に従って前記アドレス変換バッ
ファを索引して物理アドレスを生成する手段とを含むこ
とを特徴とする分散メモリ型マルチプロセッサ情報処理
システム。