JP3424968B2 - 計算機システム及びプロセッサチップ及び障害復旧方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、多重構成による高信
頼化計算機において、特に高周波クロックで動作し、複
数のプロセッシングユニットを備え高性能な処理能力を
有する計算機システムと、障害発生後の障害回復方式に
関するものである。

【０００２】

【従来の技術】フォールトトレラント計算機の分野にお
いて、計算機の信頼性を高める方法として、故障率の高
いモジュールを多重化し、あるモジュールが故障しても
残りのモジュールで正しい動作を行う方式が一般的にと
られている。この、多重化の範囲はＣＰＵ、メモリ、バ
スなどであり、これらに種々のエラーチェック機能を付
加して、高信頼化を行っている。

【０００３】従来例として、例えば、特開昭５８−１３
７０５４号では、プロセッシングボード、主記憶、入出
力制御装置が、通称ペア＆スペアとよばれる二重化され
た２枚のボードで構成され（プロセッシングユニットと
しては、全体で４個のプロセッサを必要とする）、完全
に同期動作を行う。各ボード内では、出力段の比較照合
を行い、一致しなければ、そのボードは故障したものと
みなし、外部バスへのアクセスをしない。故障したボー
ドの情報はスペア側に伝えられ、スペア側のみでシステ
ムは動作を実行し続けることができる。

【０００４】また、特開平２−２０２６３６号では、３
つの独立したプロセッシングボード（同一周波数だが位
相が異なるクロックで各々動作する）で構成され、各プ
ロセッシングボードは、プロセッサ、キャッシュメモ
リ、ローカルメモリから成る。各プロセッシングボード
は、グローバルメモリへのアクセス時、およびサイクル
カウンタと称するカウンタのオーバフロー時に同期をと
りながら動作する。

【０００５】さらに、特開平４−２４１０３８号及び特
開平４−２４１０３９号では、同一プロセッシングボー
ドに３つのプロセッサを実装し、同一クロックで完全同
期して動作する。該プロセッサのうち、選択回路により
選択された２つの出力をそれぞれ外部に出力する。プロ
セッサからキャッシュメモリや外部へのアクセス経路
は、選択回路の判定結果に従って内部バスのゲートの開
閉することで決定される。

【０００６】さらに、特開昭５９−１６０８９９号で
は、同一プロセッシングボードに２つのプロセッサと１
つのキャッシュを実装し、プロセッシングボードが処理
を行なう場合は、命令およびデータを２重化された主記
憶からキャッシュ（ストアインキャッシュ）にロードし
てきて、該２つのプロセッサは同期動作を行ない、実行
結果を比較する。一連の処理が正常に完了する（即ち、
２重化プロセッサの処理が常に一致していた）場合また
はキャッシュがオーバーフローする場合にキャッシュの
内容を主記憶に書き戻す。この方式は、２重化された主
記憶（の少なくとも一方）に常に正しいデータを確保す
ることを保証とすることによって、信頼性を向上してい
る。プロセッシングユニットの障害は、正しく検知さえ
できればよい（該ユニットによる継続はできなくてよ
い）。プロセシングユニットの障害時には、そのユニッ
トが行なった処理を、（古いが）正しい主記憶上のデー
タをもとに別のプロセッシングユニットで再実行する。

【０００７】また、図３１に示すように、従来の計算機
システムの高信頼化の一方式として、プロセッサを３重
化し、各プロセッサは同一命令を実行し、出力を多数決
回路で、比較・選択し、システムバスに出力する方式が
ある。こうすることによって単一のプロセッサの故障に
対して、システムは正常な運用が続行できる。

【０００８】

【発明が解決しようとする課題】従来の技術によると、
１つの箇所が故障しても、正常に動作を続けるフォール
トトレラント計算機を実現するために、さまざまな方法
がなされているが、これらの方法で、高周波クロックで
動作し、複数のプロセッシングユニットを要する高性能
な計算機を構築しようとすると以下の問題点があった。

【０００９】上記従来例の特開昭５８−１３７０５４号
では、プロセッシングユニットがペア＆スペアの２枚で
構成されているため、１プロセッシングユニットあたり
４個のプロセッサが必要である。一般に高速動作可能な
プロセッサチップは、他の部品に比較して非常に高価な
ため、このような構成はコストが高くなる。

【００１０】また、上記従来例の特開平２−２０２６３
６号では、３つの独立したプロセッサボードで構成され
ている。各プロセッサボードは、同一周波数（厳密には
同一ではない）だが位相の異なるクロックで動作するた
め、各プロセッサボード間の同期あわせのための特別な
機構を必要とし、マルチプロセッサ化などの高速性能化
手法を適用するのは困難が伴うと思われる。

【００１１】また、上記従来例の特開平４−２４１０３
８、特開平４−２４１０３９号では、プロセッシングユ
ニットを同一のボードで構成し、３つのプロセッサを実
装し、同一クロックで完全同期して動作するもので、マ
ルチプロセッサ化による高性能化も適用できる。しか
し、プロセッサとキャッシュメモリ間にプロセッサの出
力の正当性を確認する回路が入り、プロセッサのノーウ
ェイト動作と高周波数の動作の障害となり、やはり高性
能化を阻害している。

【００１２】また、上記従来例の特開昭５９−１６０８
９９号では、プロセッシングボードは独立クロックで動
作し、内部は２つのプロセッサで構成され、プロセッサ
故障時は、前回のキャッシュメモリのフラッシュタイミ
ングで主記憶に格納された内容から別のプロセッシング
ユニットが処理を再実行するチェックポイント方式で、
通常処理においてもキャッシュメモリのフラッシュなど
のオーバヘッドがあり、障害時にはチェックポイントま
で後戻りする欠点があり、性能が低下する。

【００１３】また、図３１に示す方式だと、１論理ＣＰ
Ｕ毎に多数決回路が必要であり、論理ＣＰＵの台数が多
いマルチプロセッサの構成を考えた場合、相対的に多く
のＨ／Ｗを必要とする。また、ＣＰＵの周波数も付加回
路で制約を受けやすいし、キャッシュを有するプロセッ
サの場合、キャッシュのスヌープおよびコヒーレンシを
とるためのバストランザクションが発生するが、このよ
うな処理でオーバヘッドが発生して、性能が低下する。

【００１４】この発明は、上記のような問題点を解消す
るためになされたもので、高性能なフォールトトレラン
ト計算機、特に最新の技術を用いた標準の高性能なプロ
セッサチップおよび周辺のチップセットの有する高速性
を十分発揮させ、またマルチプロセッサ技術を包含する
最新のオペレーティングシステムを搭載することで、非
常に高い性能を発揮できるフォールトトレラント計算機
を提供することにある。

【００１５】また、上記のような計算機において障害発
生時やその回復処理において、信頼性を低下させない障
害回復方法や、性能を低下させない障害回復方法を有す
る計算機システムを提供する。

【００１６】また、同じハードウェア構成で、信頼性を
要求するシステムと、性能を要求するシステムの両方に
対応できる計算機ハードウェア構成を提供する。

【００１７】

【課題を解決するための手段】この発明の計算機システ
ムは、以下の要素を有することを特徴とする。 （ａ）データを転送する３以上複数のバス、 （ｂ）上記複数のバスに個々に接続され同一動作する３
以上複数のプロセッサを備えたプロセッシングユニッ
ト、 （ｃ）上記プロセッサからバスを介してアクセスされる
デバイスと、上記３以上のバスと上記デバイスの間にあ
ってバスの選択を行う選択手段と、選択手段により選択
されたバスとデバイス間のデータ転送を制御する制御部
を備えたサブシステム。

【００１８】上記プロセッシングユニットは、複数存在
し、ひとつのバスに複数のプロセッサを備えたことを特
徴とする。

【００１９】上記選択手段は、バスからデバイスへデー
タを転送する場合、複数のバスからひとつのバスを選択
してデバイスと接続し、デバイスからバスへデータを転
送する場合、複数のバスを選択してデバイスと接続する
ことを特徴とする。

【００２０】上記制御部は、上記３以上のバスのデータ
を比較して、障害の発生を検出し、その検出結果に基づ
いて上記選択手段のバスの選択を制御する障害検出手段
を備えたことを特徴とする。

【００２１】上記計算機システムは、上記障害検出手段
の検出結果に基づいて、障害があったバスを切り離す切
り離し手段を備えたことを特徴とする。

【００２２】上記サブシステムは、主記憶装置であり、
上記デバイスはメモリであり、上記制御部はメモリとバ
ス間のデータ転送を行うメモリ制御部であることを特徴
とする。

【００２３】上記主記憶装置を複数備え、上記複数のバ
スにそれぞれ接続したことを特徴とする。

【００２４】上記サブシステムは、周辺機器システムで
あり、上記デバイスは入出力装置であり、上記制御部は
入出力装置とバス間のデータ転送を行う入出力制御装置
であることを特徴とする。

【００２５】上記周辺機器システムは、上記複数のバス
に対応する３以上の第２バスと、上記バスと第２のバス
をそれぞれ接続する３以上のバスブリッジを備えたこと
を特徴とする。

【００２６】上記周辺機器システムは、上記選択手段と
上記入出力装置の間にひとつバスから成る第３のバスを
備えたことを特徴とする。

【００２７】上記周辺機器システムは、上記選択手段を
ふたつ備え、ふたつの選択手段と上記入出力装置の間に
ふたつのバスから成る第４のバスを備えたことを特徴と
する。

【００２８】上記複数の主記憶装置は、バスに対してデ
ータを送出するプライマリ主記憶装置とバスに対してデ
ータを送出しないセカンダリ主記憶装置を備えたことを
特徴とする。

【００２９】上記プライマリ主記憶装置は、バスに転送
するデータの正当性をチェックするチェック手段と、チ
ェック手段のチェック結果に基づいてセカンダリ主記憶
装置とプライマリ主記憶装置を交替する交替手段を備え
たことを特徴とする。

【００３０】上記チェック手段は、各バスから転送され
てきたデータの正当性をチェックする冗長コードを生成
する複数の冗長コード生成手段と、生成された複数の冗
長コードから正しい冗長コードを選択して記憶する冗長
コード選択手段を備えたことを特徴とする。

【００３１】上記チェック手段は、各バスに対応して冗
長コードをチェックする複数の冗長コードチェック手段
を備えたことを特徴とする。

【００３２】上記計算機システムは、動作モードとして
３以上のバスを同期動作させる同期動作モードと、３以
上のバスをそれぞれ非同期に動作させる個別動作モード
を備えたことを特徴とする。

【００３３】上記選択手段は、個別動作モードにおい
て、複数のバスからデバイスへのデータ競合を制御する
とともに、デバイスからデータを対応するいずれかのバ
スに出力することを特徴とする。

【００３４】上記計算機システムは、さらに、同期動作
モードにおいて、複数のバスへ出力されたバス獲得要求
をひとつのバス獲得要求として処理し、個別動作モード
において、複数のバスへ出力されたバス獲得要求ををそ
れぞれ個別のバス獲得要求として処理するアビトレーシ
ョン手段を備えたことを特徴とする。

【００３５】上記計算機システムは、動作モードとして
３以上のバスを同期動作させる同期動作モードと、３以
上のバスをそれぞれ非同期に動作させる個別動作モード
を備え、上記複数の主記憶装置は、個別動作モードにお
いて異なるアドレスを用いてアクセスされるメモリを備
えたことを特徴とする。

【００３６】上記計算システムは、上記動作モードを指
定するモード指定手段と、モード指定手段により指定さ
れたモードに設定するモード設定手段を備えたことを特
徴とする。

【００３７】この発明のプロセッサチップは、以下の要
素を有することを特徴とする。 （ａ）第１のプロセッサ、 （ｂ）第２のプロセッサ、 （ｃ）上記第１と第２のプロセッサを個別にリセットす
るリセット手段、 （ｄ）上記第１と第２のプロセッサの動作を個別に停止
させる停止手段、 （ｅ）上記第１と第２のプロセッサのバス使用要求を個
別に出力するバス使要求出力手段、 （ｆ）上記第１と第２のプロセッサへバス使用許可を個
別に入力するバス使用許可入力手段、 （ｇ）上記第１と第２のプロセッサのその他の入出力を
共通化して行なう共用手段。

【００３８】また、３以上のバスと、各バスに対応して
上記プロセッサチップを３以上備え、第１と第２のプロ
セッサをそれぞれ同一のバスに接続したことを特徴とす
る。

【００３９】また、上記バスを４つ備えたことを特徴と
する。

【００４０】また、この発明は第１、第２、第３のバス
にそれぞれ個々に接続され同一動作を行なう第１、第
２、第３のプロセッサを備えた第１のプロセッシングユ
ニットと、第１、第２、第３のバスにそれぞれ個々に接
続され同一動作を行なう第４、第５、第６のプロセッサ
を備えた第２のプロセッシングユニットとを備えた計算
機システムの第１のプロセッサに障害が発生した場合の
障害復旧方法において、以下の工程を有することを特徴
とする。 （ａ）第１のプロセッシングユニットで実行中の処理を
第２及び第３のプロセッサにより継続して実行する継続
実行工程、 （ｂ）上記継続実行工程後、第１のプロセッシングユニ
ットの動作を停止させ、第２のプロセッシングユニット
により次の処理を開始するシングルユニット処理工程。

【００４１】上記継続実行工程は、 （ａ）第１のプロセッサと第４のプロセッサの出力を抑
止する出力抑止工程と、 （ｂ）第１のバスの動作を第２、第３のバスの動作に追
随させ第４のプロセッサの出力を除く動作を継続実行さ
せる追随工程を備え、上記シングルユニット処理工程
は、 （ａ）第１のプロセッシングユニットの動作停止後、第
４のプロセッサの出力を許可する許可工程と、 （ｂ）第１のバスを第２、第３のバスに同期させる同期
工程を備えたことを特徴とする。

【００４２】上記追随工程は、第１のバスの動作を１サ
イクル以上所定サイクル停止させてから第１のバスの動
作を第２、第３のバスの動作に追随させるバス追随工程
と、第４のプロセッサの動作を所定サイクル停止させて
第５、第６のプロセッサから所定サイクル遅れた同期動
作を行なわせるプロセッサ追随工程を備え、上記同期工
程は、第５、第６のプロセッサの動作を所定サイクル停
止させて第４のプロセッサの動作と同期させるプロセッ
サ同期工程と、第１のバスの動作を第２、第３のバスの
動作と同期させるバス同期工程を備えたことを特徴とす
る。

【００４３】また、この発明は、第１、第２、第３のバ
スにそれぞれ個々に接続され同一動作を行なう第１、第
２、第３のプロセッサを備えた第１のプロセッシングユ
ニットと、第１、第２、第３のバスにそれぞれ個々に接
続され同一動作を行なう第４、第５、第６のプロセッサ
を備えた第２のプロセッシングユニットとを備えた計算
機システムの第１のプロセッサに障害が発生した場合の
障害復用方法において、 （ａ）第１のプロセッシングユニットで実行中の処理
を、第２、第３のプロセッサにより継続して実行、第２
のプロセッシングユニットで実行中の処理を、第５、第
６のプロセッサにより継続して実行する継続実行工程、 （ｂ）上記継続実行工程中に、第１と第４のプロセッサ
を新規なプロセッサを交換する交換工程、 （ｃ）上記交換工程後、第１と第４のプロセッサを他の
プロセッサと同期させて動作させる同期工程を備えたこ
とを特徴とする。

【００４４】上記同期手段は、 （ａ）第１のバスを第２、第３のバスの動作から１サイ
クル以上所定サイクル遅らせて動作させるバス追随工程
と、 （ｂ）第１と第４のプロセッサ他のプロセッサの動作か
ら所定サイクル遅らせて動作させるプロセッサ追随工程
と、 （ｃ）上記第２、第３、第５、第６のプロセッサの動作
を所定サイクル停止させて第１と第４のプロセッサの動
作と同期させるプロセッサ同期工程と、 （ｄ）第１のバスの動作を第２、第３のバスの動作と同
期させるバス同期工程を備えたことを特徴とする。

【００４５】

【作用】この発明に係わる計算機システムは、システム
の高性能化のためにプロセッサとシステムバスを一体化
して３重化したものである。この一体化したプロセッサ
とシステムバスを同一クロックで同期動作させることに
より、システムの高性能化が計れる。一方、主記憶装置
等のサブシステムは、プロセッサやシステムバスほど高
速化は要求されないため、かつ多重化する場合に費用が
かかるため３重化されない。プロセッサ及びシステムバ
スが３重化されているのに対してサブシステムが３重化
されていないためサブシステムに対して選択手段を設け
３重化されたバスとの間でのデータ転送を制御する。こ
の発明は従来の様にプロセッサの多重化を行なうだけで
なくシステムプロセッサとシステムバスを一体化して多
重化している点に特徴がある。バスまで多重化すること
によりシステム全体の信頼性を向上させることができ
る。一方サブシステムは、プロセッサやシステムバスに
比べて高性能に動作する必要はなくさほど高速処理が要
求されない。また、主記憶装置等のサブシステムを３重
化することはシステムのコストを増加させてしまうとい
う欠点がある。従って、この発明においては、プロセッ
サとシステムバスを一体化して３重化し、サブシステム
はこれら３重化された出力を選択手段により選択するよ
うにしたものである。また、プロセッサとシステムを３
重化することにより単に２重化した場合に比べて３つの
出力を比較するという簡単な方法によりエラーを検出す
ることが可能になる。プロセッサやバスを単に２重化し
た場合には単に２つの出力を比較しただけではどちらが
障害を起こしているか判断することができずパリティチ
ェックやＥＣＣ等の冗長コードを用いた特殊なエラー検
出機能を持たせなければならない。これに対し３重化し
た場合には多数決を取るという簡単な回路により障害を
起こしたものを特定することができる。

【００４６】本発明は、一つのバスに複数のプロセッサ
を備え、バスの使用効率を向上する。

【００４７】本発明は、選択手段は複数のバスから一つ
のバスを選択してデバイスにデータを転送し、逆にデバ
イスからのデータを複数のバスに転送するようにしてい
るのでバスが３重化されていてもデータ転送が矛盾なく
行なえる。

【００４８】本発明は、障害検出手段が単にバスのデー
タを比較することにより障害を検出することができ簡単
な構成により障害を検出できる。このようにバスが３本
以上ある場合にはパリティやＥＣＣ等の冗長機能を不要
にできる。

【００４９】本発明は、障害が発見された場合にはその
バスを切り離すため障害のあったバスが他のバスに影響
を及ぼすことはなくなる。

【００５０】本発明は、サブシステムが主記憶装置であ
ることを特徴としている。主記憶装置は価格的にも高価
格であるため、プロセッサやバスと同じ数だけ多重化す
ることはできない為、複数のプロセッサ及び複数のバス
により共有化される。

【００５１】本発明は、主記憶装置を複数備えそれぞれ
の主記憶装置を複数のバスに接続したことを特徴として
いる。このように主記憶装置を複数にすることにより主
記憶装置の信頼性を向上させる。

【００５２】本発明は、複数のバスに周辺機器システム
を接続したことを特徴とするものである。周辺機器シス
テムには、デバイスとして入出力装置が存在し、制御部
として入出力制御装置が存在する。この様に周辺機器シ
ステムをサブシステムとして接続する場合でも前述した
複数のバスとの間でデータの転送を行なうことができ
る。この周辺機器システムにおいても周辺機器システム
内に選択手段があることにより３重化されたプロセッサ
及びバスを選択的に入出力装置に接続する。

【００５３】本発明は、上記周辺機器システム内には第
２のバス（ローカルバス）が存在しており、この第２の
バスは前述した複数のバスにそれぞれ対応して設けられ
ている。第２のバスをそれぞれ接続する場合にはバスブ
リッジを介して接続する。この様に周辺機器システム内
にあるローカルバスを多重化することにより信頼性を高
めることができる。

【００５４】本発明は、周辺機器システム内のバスを単
一のバスとした場合である。周辺機器システムの経済性
を考えた場合の構成である。

【００５５】本発明は、周辺機器システム内のバスを２
重化する場合の構成であり、周辺機器システム内部のバ
スを２重化する場合には選択手段を二つ設け２重化され
たバスに対して接続する。このようにして３重化された
バスを２重化されたバスのそれぞれに接続できるように
なる。

【００５６】本発明は、主記憶装置が多重化された場合
に、その一つをプライマリ主記憶装置として通常バスに
対してデータを送出するようにしたものである。プライ
マリ主記憶装置以外はセカンダリ主記憶装置としてバス
に対してデータを送出しない。この様にして主記憶装置
からバスに対してのデータの転送を矛盾なく行なう。

【００５７】本発明は、プライマリ主記憶装置にデータ
の正当性をチェックするチェック手段を設けているため
チェック手段により障害発生が検出された場合にはいず
れかのセカンダリ主記憶装置をプライマリ主記憶装置に
変更する。

【００５８】本発明は、各バスに対応してデータの正当
性をチェックする冗長コードを生成する複数の冗長コー
ド生成手段を設けており、生成されたコードの中から誤
りのないコードを選択して記憶する。従って生成された
冗長コードの信頼性が高まる。

【００５９】本発明は、各バスに対応して冗長コードを
チェックする冗長コードチェック手段を備えているので
各バスに出力されるデータの正当性を個別チェックする
ことができる。また、主記憶装置内のメモリからバスの
間で起きる障害をチェックすることができる。

【００６０】本発明は、前述した複数のバスをそれぞれ
非同期に動作させる個別動作モードを備えている。従っ
て、バスを同期させて動作させる場合にはシステムの信
頼性が向上すると共に、非同期に個別動作させる場合に
は、各プロセッサ及び各バスはそれぞれ別個の処理をす
ることができ性能を向上させることができる。

【００６１】本発明は、個別動作モードにおいて、選択
手段が同期動作モードとは異なる動作をすることを特徴
としている。個別モード動作においては各バスが個別に
動作するためサブシステムに対するアクセスが競合す
る。従って、選択手段はこの競合を制御して矛盾なく扱
う。一方、デバイスからのデータをバスに出力する場合
には同期動作をしている場合と異なり個別のバスに出力
する。

【００６２】本発明は、同期動作モードと個別動作モー
ドにおいて異なる処理を行なうアービトレーション手段
を備えている。同期動作モードにおいては複数のバスは
同一動作を行なう為、複数のバスからのバス獲得要求は
一つのバス獲得要求として処理し、個別動作モードの場
合は、複数のバスが個別に動作している為それぞれのバ
ス獲得要求を独立のバス獲得要求として処理する。

【００６３】本発明は、主記憶装置が複数存在する場合
であって、かつ、個別動作を行う場合には、主記憶装置
の各メモリが異なるアドレス空間に割り当てられること
を特徴としている。個別モード動作の場合は、プロセッ
サ及びバスが個別に動作するため主記憶装置も複数存在
する場合はそれぞれ個別にアクセスできるようにして広
範囲なメモリ空間を提供する。

【００６４】本発明は、前述した同期動作モードと個別
動作モードを指定するモード指定手段が存在し、このモ
ード指定手段により指定されたモードにシステムを設定
するモード設定手段を備えている。従って、電源投入時
やシステムリセット時に所望のモードにシステムを切り
替えることができる。

【００６５】本発明は、二つのプロセッサを封入したプ
ロセッサチップに対して、リセット手段と停止手段とバ
ス使用要求出力手段とバス使用許可入力手段がそれぞれ
第１と第２のプロセッサに対して個別に働くように設計
されている。その他の信号線（データ線やアドレス線）
は第１と第２のプロセッサで共用して用いられる。この
様なプロセッサチップにおいては、第１と第２のプロセ
ッサを同期させて同一動作をさせることも可能である
し、また第１と第２のプロセッサを個別に動作させるこ
とも可能になる。

【００６６】本発明は、前述したプロセッサチップを３
以上備えたことを特徴としており、各チップの第１と第
２のプロセッサは同一バスに接続されている。従って、
第１の発明で説明した計算機システムにおいて同期動作
モードと個別動作モードの両方を可能にするシステムを
提供することができる。

【００６７】本発明は、バスを４重化した場合でありシ
ステムの信頼性を更に向上させることができる。

【００６８】本発明は、３重化されたシステムにおいて
障害が発生した場合の信頼性の低下を回避する障害復旧
方法を提供するものである。第１のプロセッサに障害が
発生した場合には第２、第３のプロセッサにより継続し
て処理を続行すると共に、第１のプロセッングユニット
の処理を適当な時点で終了させ、その後は、第２のプロ
セッシングユニットにより処理を行なうようにしたこと
により、システムが３重化されて動作する機会をなるべ
く多くし、システムの信頼性を維持することができる。

【００６９】本発明は、障害が発生したバスを他の正常
なバスに追随させる様にして処理を続行し、第２のプロ
セッシングユニットにより次の処理を回避する場合には
追随動作を終了させ三つのバスを同期させる様にしたも
のである。

【００７０】本発明は、前述した追随動作の方法をさら
に具体化したものであり、第１のバスを所定サイクル停
止させた後に、他のバスに追随させると共に、第４のプ
ロセッサを所定サイクル停止させて、他のプロセッサに
追随させる様にしたものである。また、同期を戻す場合
には、正常なプロセッサを所定サイクル停止させて同期
させると共に、追随動作しているバスを他の正常なバス
と同期させる様にしたものである。

【００７１】本発明は、障害の回復処理時の性能の低下
を回避する。性能を維持する場合は、動作可能なプロセ
ッサの数を維持して処理をさせることが望ましい。従っ
て、第１のプロセッサが故障した場合でも、第２と第３
のプロセッサを動作させ続けることにより性能を維持す
る。そして同一バスに接続されている第４のプロセッサ
と故障した第１のプロセッサを交換する。この第１と第
４のプロセッサの交換は、新しく挿入された第１と第４
のプロセッサを他のプロセッサと同期させて動作させる
ことにより、故障の前後においてプロセッサの動作する
数が等しくなる。

【００７２】本発明は、プロセッサを交換した後の同期
動作の手順を示している。具体的には第一のバスを他の
バスに追随させるとともに、第１と第４のプロセッサを
他のプロセッサに追随させる。その後正常なプロセッサ
を所定サイクル停止させて第１と第４のプロセッサと同
期させ最後に３つのバスの同期をとることによりプロセ
ッサ交換後の同期をとることができる。

【００７３】

【実施例】実施例１． 図１は、この発明の計算機システムの概略図である。こ
の図においては、システムバスを３重化し、各システム
バス上のおのおのにプロセッサを接続する。従って１つ
の論理ＣＰＵが３つのプロセッサで構成され、通常は同
一の命令を実行する。３重化されたシステムバスも同一
のトランザクションを同期して実行し、メモリアクセス
をする場合、そのアクセスのうち動作が正しいと判断さ
れるものを選択回路で選択し、結果をインタフェースユ
ニットで出力し、他のシステムバスもそれと同じレスポ
ンスをメモリ装置から受ける。従って、正常状態では３
重化システムバスの動きは同期しつづける。プロセッサ
の１つに何等かの障害が発生した場合、そのシステムバ
スの動きが他２者とは異なるので障害が選択回路で検知
され、選択の対象からはずされる。よって、プロセッサ
の故障がメモリの内容に影響を及ぼさず、システムは正
常な動作を続行できる。このような構成によれば、複数
の論理ＣＰＵ間に付加回路がない（プロセッサとシステ
ムバスが直結している）ので、キャッシュのコヒーレン
シが高速にとれる。また、選択回路の数は論理ＣＰＵの
数に比例して多くならないので、大規模なマルチプロセ
ッサ・システムになってもハードウェア量は比較的少な
くでき、高性能な高信頼計算機が容易に構築できる。

【００７４】図２は、更にこの発明の他の例を示す図で
ある。図２において、図１と異なる点は論理ＣＰＵが２
重化されている点である。論理ＣＰＵ１と論理ＣＰＵ２
は個別に動作し、それぞれの論理ＣＰＵ内のプロセッサ
はすべて同期した同一動作を行なう。この様に論理ＣＰ
Ｕを２重化することにより、バスの使用効率とシステム
の性能が向上する。

【００７５】図３は、更にこの発明の他の構成を示す図
である。図３において図２と異なる点は主記憶装置を２
重化した点である。メモリＡとメモリＢは、同一のアド
レス空間に配置されており、同一のデータを記憶する。
図３に示すように、この構成はメモリモジュール、選択
回路、インタフェースユニットを２重化する。メモリへ
のデータライト時には、両メモリ（メモリＡ、Ｂ）へラ
イトし、リード時にはどちらかの内容を３重化システム
バスに出力する。また、このシステムは、メモリおよび
選択回路、インタフェースユニットに対する障害検知能
力を持ち、これらの部位で障害が検知されたら、システ
ムから切り離し、もう片系のメモリ、選択回路、インタ
フェースユニットでシステムの動作を継続する。このよ
うな構成にすると、プロセッサのみならず、メモリ、選
択回路、インタフェース回路の１点故障に対してはシス
テムの正常続行ができ、信頼性のより高い計算機システ
ムが構築できる。

【００７６】図４は、この発明の他の構成を示す図であ
る。図１から図３においては、信頼性を向上させるため
３つのシステムバスを同一動作をさせる場合について説
明したが、図４の場合は高性能なシステムを得るために
それぞれのプロセッサを個別に動作させるものである。
この構成においては、Ｓ／Ｗからのコマンドで３重化プ
ロセッサを個別に動作するように切り換えることができ
る。即ち、選択回路が、システムバス間のメモリアクセ
スの競合制御を行ない、逐次アクセスするモードを持
つ。従って、図２のような構成のシステムが２論理ＣＰ
Ｕから６論理ＣＰＵに拡張され、システムの演算性能が
向上する。このような構成によれば、１つのハードウェ
ア構成で、信頼性を要求されるシステムとＣＰＵの演算
性能を要求されるシステムの両者に対応でき、効率的な
ハードウェアの使用ができる。また図４は、メモリＡと
メモリＢが個別のアドレス空間を持つ場合を示してい
る。前述したようにこのシステムＳ／Ｗからのコマンド
で、３重化プロセッサを個別に動作するように切り換え
ることができるとともに、２重化されたメモリを別の空
間としてアクセスできるように切り換えることができる
モードを持つ。こうすることによって、ＣＰＵの演算能
力が増大し、Ｓ／Ｗから使用できるメモリ空間も増大
し、システム性能が向上する。このようにこの構成によ
れば、１つのハードウェア構成で、信頼性を要求される
システムとシステム性能を要求されるシステムの両者に
対応でき、効果的にハードウェアリソースの利用でき
る。

【００７７】図５は、この発明の他の構成を示す図であ
る。図５においては、前述した構成に第２階層システム
バス及びその第２階層システムバスに接続される入出力
装置を接続した点が特徴である。このシステムにおいて
は、第２階層システムバスも３重化されておりこの３重
化された第２階層システムバスに対して選択回路および
インタフェースユニットが接続されている。選択回路と
インタフェースユニットは前述したメモリに用いられる
選択回路およびインタフェースユニットと同様のもので
ある。このように図５においては、第２階層システムバ
スを有している場合でも、これらの第２階層システムバ
スを含んでサブシステムと考えることができる。即ち、
第１階層のシステムバスと第２階層のシステムバスはバ
スアダプターにより接続されており連続したシステムバ
スと同様のものと考えることができる。このように図５
に示す構成においては、３重化されたシステムバスのお
のおのに対してバスアダプタを介して、第２階層システ
ムバスを接続する。従って、第２階層システムバスも３
重化される。３重化されたシステムバスと制御装置は、
選択回路とインタフェースユニットを介してアクセスさ
れる。３重化された第１階層システムバスとバスアダプ
タおよび第２階層システムバスの組は、障害がないとき
は同期動作をおこない、プロセッサやバスアダプタに障
害が発生した場合、動作の同期がくずれ、障害が選択回
路で検知される。そして、障害発生の系を切り離し、正
しいデータのみを制御装置やメモリに提供し、システム
は停止しない。一般に第２階層システムバスは、第１階
層システムバスと比べ、低速ではあるが、安価に制御装
置が作成可能という経済性、前機種のものがそのまま使
えるという互換性、市販されている制御装置がそのまま
つかえるという汎用性を満たすものを選択できる。この
ような構成にすると、経済性、互換性、汎用性を維持し
つつ、最新のテクノロジを利用した高性能で高信頼な計
算機システムが構築できる。

【００７８】図６は、この発明の他の構成を示す図であ
る。図６が図５と異なる点は、サブシステム内に含まれ
る第２階層システムバスがシングルバスである点であ
る。このように第２階層システムバスがシングルバスで
ある場合には、第１階層システムバスと第２階層システ
ムバスの間に選択回路を設けることによりデータの転送
を行なうことができる。図６に示す構成においては、３
重化したシステムバスのおのおのに対してバスアダプタ
および選択回路を介して第２階層システムバスを接続す
る。障害がないときは、３重化システムバスは同期動作
を行ない、プロセッサやバスアダプタに障害が発生した
場合、動作の同期がくずれ、障害が選択回路で検知され
る。そして、障害発生系の第１のシステムバスを切り離
す。第２階層システムバス上の制御装置やメモリには選
択回路により正しいデータが供給され、システムは停止
しない。図５および図６に示すように第２階層システム
バスは３重化したりあるいは１重化したりすることがで
きる。特に図６に示す第２階層システムバスは、互換
性、汎用性を満足し、しかも経済的に構成できる。ま
た、図５に示す構成に比べて制御装置毎の選択回路が不
要なので、より経済的である。このような構成にする
と、経済性、互換性、汎用性を維持しつつ、最新のテク
ノロジを利用した高性能で高信頼な計算機システムが構
築できる。

【００７９】図７はこの発明の他の構成を示す図であ
る。図７が前述した構成と異なる点は第２階層システム
バスが２重化されている点である。第２階層システムバ
スが２重化されている場合には選択回路を２重化するこ
とにより３重化された第１階層システムバスとのインタ
フェースをとることができる。図７に示す構成において
は３重化されたバスアダプタのうち、いずれか一つの出
力を選択する選択回路とインタフェースユニットを２つ
持ち、第２階層システムバスを２重化することができ
る。第２階層システムバスは、エラーの検知機能があ
り、第２階層システムバス上で障害が発生すると、２つ
の選択回路のうち、障害のない方がバスアダプタにアク
セスする。このようにすると、プロセッサ、バスアダプ
タ、メモリ、選択回路／インタフェースユニット、第１
および第２階層システムバスで１つの障害が発生して
も、システムは停止せず、処理が続行できる。このよう
な構成にすると、経済性、互換性、汎用性を維持しつ
つ、最新のテクノロジを利用した高性能で高信頼な計算
機システムが構築できる。

【００８０】図８は前述したような構成において故障し
たＣＰＵを切り離しする場合の動作を説明する図であ
る。この構成においては、第１、第２、第３のシステム
バスから構成され、論理ＣＰＵは、第１、第２、第３の
プロセッサを備え、同一の演算を実行しており、論理Ｃ
ＰＵ２は、第４、第５、第６のプロセッサを備え、別の
同一の演算を実行しており、第１のプロセッサは第１の
システムバスに、第２のプロセッサは第２のシステムバ
スに、第３のプロセッサは第３のシステムバスに、それ
ぞれ接続され、同様に第４のプロセッサは第１のシステ
ムバスに第５のプロセッサは第２のシステムバスに、第
６のプロセッサは第３のシステムバスにそれぞれ接続さ
れる。上記の論理ＣＰＵ内のプロセッサのうち、いずれ
か一つ（例えば第１のプロセッサ）が故障した時に、故
障したプロセッサの接続されていない残り２つのバス上
のプロセッサ（第２、第３のプロセッサ）により、現在
実行中のプログラムを切りの良いところ（他の論理ＣＰ
Ｕにプログラムの移行が可能となるところ）まで実行さ
せ正常に停止させた後、故障プロセッサを有するバス
（第１のバス）上の故障していないプロセッサ（第４の
プロセッサ）を他の二つのプロセッサ（第５、第６のプ
ロセッサ）と同じ内部状態に復元し、故障のない論理Ｃ
ＰＵ（論理ＣＰＵ２）は、同一の命令を実行し、従っ
て、３本のシステムバスは同一の動作を行なう。故障し
た論理ＣＰＵで実行していた処理は、別の論理ＣＰＵ
（論理ＣＰＵ２＝第４、第５、第６のプロセッサ）に移
行する。以上のようにこの復旧方法によれば実行中のプ
ログラムを破棄することなく、故障した論理ＣＰＵを切
り離し、正常な論理ＣＰＵおよびシステムバスは３重化
の同期動作を継続でき、信頼性の高い計算機システムが
構築できる。

【００８１】図９は故障したプロセッサを交換する場合
の一例を示す図である。図９に示すように３つのプロセ
ッサが一つのＣＰＵボードに搭載されている場合にはＣ
ＰＵボード単位の交換が行なわれる。図９に示す構成に
おいては論理ＣＰＵ（論理ＣＰＵ１または２）の、各プ
ロセッサ（第１、第２、第３のプロセッサまたは第４、
第５、第６のプロセッサ）が同一の交換モジュール（Ｃ
ＰＵボード）内に配置されており、故障したプロセッサ
（例では第１のプロセッサ）を含むＣＰＵボード（ＣＰ
Ｕボード１）を、全てのプロセッサに障害がない正常な
ＣＰＵボードと交換する。交換されるＣＰＵボードは、
３重化システムバスにアクセスを抑止され、システムバ
スの動作は妨害されない。交換後はＣＰＵボードは、３
重化システムバスにアクセス可能となる。このように図
９に示す構成においては、システムの運転状態が故障発
生以前の状態に戻り、演算性能が回復し、次の障害にも
耐久性ができるため、高信頼性、高性能性を長期に渡っ
て維持できる計算機システムが構築できる。特に交換モ
ジュールの引き抜き時にもバスの３重化動作が続行で
き、信頼性が低下しない。

【００８２】図１０は故障したプロセッサを交換する他
の例を示す図である。図１０においては、２つのプロセ
ッサが一つのＣＰＵボードに搭載されている。そして一
つのＣＰＵボードに搭載された二つのプロセッサは同一
のシステムバスに接続されている。このような構成で、
プロセッサが故障した場合には二つのプロセッサを搭載
したＣＰＵボード単位の交換になる。図１０に示す構成
においては、同一システムバス（第１または第２または
第３のシステムバス）に接続されている各プロセッサ
（第１と第４、または、第２と第５、または、第３と第
６）が同一交換モジュール（ＣＰＵボード）内に配置さ
れており、故障したプロセッサ（例では第１のプロセッ
サ）を含むＣＰＵボード（ＣＰＵボード１）を、全ての
プロセッサに障害がない正常なＣＰＵボードと交換す
る。交換されるＣＰＵが接続されるシステムバスは、シ
ステムの他の部位（例えばメモリ）と切り放され、交換
によりシステムは影響を受けない。

【００８３】図１１は、図１０に示した二つのプロセッ
サを搭載したＣＰＵボードを集積化して一つのチップに
封入する場合の構成を示す図である。システムの運転状
態が故障発生以前の状態以前の状態に戻り、演算性能が
回復し、次の障害にも耐久性ができるため、高信頼性、
高性能を長期に渡って維持できる計算機システムが構築
できる。特に交換モジュールのコネクタ部分のピン数が
少なくハードウェア量が減り、小型化、低価格化に有利
である。また、論理ＣＰＵ数も減少しないので性能低下
がない。図１１に示すようにこのシステムにおいては、
同一バスに接続する複数のプロセッサを同一のチップに
パックする。このチップを各システムバス上に接続し３
重化し、高信頼計算機システムを構築する。このような
構成によれば、複数のマイクロプロセッサがパッケージ
ングされたチップを使用し、小型で安価で高性能な高信
頼計算機システムが構築できる。

【００８４】実施例２． 前述した実施例においては概略を説明したが、ここでは
前述した構成の具体的実施例について説明する。図１２
において、１、２、３は３重化されたシステムバスであ
る。１０はプロセッシングユニット、１１、１２、１３
はプロセッシングユニット１０を構成する３重化された
プロセッサで、バスインタフェースユニット１４、１
５、１６を経由してそれぞれシステムバス１、２、３に
接続されている。２０も同様にプロセッシングユニット
で、２１、２２、２２はプロセッサ、２４、２５、２６
はバスインタフェースユニットである。５０は主記憶装
置、５１はメモリアレイブロック、５２はメモリインタ
フェースユニット、５３は３つのシステムバスの出力を
一つ選択したりメモリの出力を複数のシステムバスに送
出する選択回路である。６０も同様に主記憶装置で、６
１はメモリアレイ、６２はメモリインタフェースユニッ
ト、６３は選択回路である。９０はシステムバスの使用
者を決定するアービトレーション回路、１０１、１０
２、１０３はシステムバスと第２層のシステムバスを接
続するバスブリッジ、１１０は３重化されたバスブリッ
ジの出力の内何れか一つを選択する第２階層システムバ
スインタフェースユニット、１０４は第２階層システム
バスである。１１１、１１２、１１３は第２階層システ
ムバス１０４に接続される入出力制御装置、１２１、１
２２、１２３はそれぞれ、入出力制御装置１１１、１１
２、１１３に接続される入出力装置（フロッピーディス
ク、磁気テープ、プリンタ）である。また、２０１、２
０２、２０３はシステムバスと別の第２層システムバス
を接続するバスブリッジ、２０４、２０５、２０６はそ
れぞれ、バスブリッジ２０１、２０２、２０３に接続さ
れた３重化された第２層のシステムバスである。２１
１、２１２、２１３は、第２階層システムバス２０４、
２０５、２０６の出力を選択する入出力インタフェース
ユニット、２２１、２２２、２２３は入出力インタフェ
ースユニット２１１、２１２、２１３に接続される入出
力制御装置、２３１、２３２、２３３は入出力制御装置
２２１、２２２、２２３に接続される入出力装置（ディ
スク、ＬＡＮ）である。

【００８５】（１．正常実行動作） 次に正常実行動作について説明する。プロセッシングユ
ニット１０は、プロセッサ１１、１２、１３から構成さ
れるが、プロセッサ１１、１２、１３は同一クロックで
動作し、常に同一の命令を実行している。同様に、プロ
セッシングユニット２０も、プロセッサ２１、２２、２
３から構成されるが、プロセッサ２１、２２、２３は同
一クロックで動作し、常に同一の命令を実行している。
また、各プロセッシングユニットがシステムバスを使用
するときは、各プロセッサ毎に同時にシステムバス要求
をアービトレーション回路９０に送出し、同時にシステ
ムバス使用許可信号が返され、同一プロセッシングユニ
ットの各プロセッサは、同時に同一のバストランザクシ
ョンを発行する。また、後述するとおり、バスブリッジ
１０１、１０２、１０３またはバスブリッジ２０１、２
０２、２０３のシステムバス上へのバストランザクショ
ンも同期している。従って、プロセッシングユニットか
らシステムバス１、２、３へのバストランザクションは
正常動作時は同期している。選択回路５３、６３および
メモリインタフェースユニット５２、６２はシステムバ
スからのトランザクションに対して、お互い同期して動
作し、メモリライトに対しては、５０、６０両方の主記
憶装置にライトし、メモリリードに対しては、一方がプ
ライマリ（ここでは５０とする）となり、もう一方がセ
カンダリ（ここでは６０とする）となり、プライマリ
（５０）のみが１、２、３に対して同時にリードされた
データを送出する。

【００８６】（１．１ ＣＰＵ動作） ここで、図１３で、上記動作のうちプロセッサ１１の動
作を詳細に説明する。図１３において、１はシステムバ
ス、１１はプロセッサ、１４はバスインタフェースユニ
ットである。１４ａ、１４ｂ、１４ｃ、１４ｄ、１４ｅ
はドライバである１４ｆは出力イネーブル信号、１４ｈ
はリセット信号である。１１ｒはシステムバス要求信
号、１１ｇはシステムバス使用許可信号である。

【００８７】通常実行時は、リセット信号１４ｈは有意
でないのでプロセッサは動作できる。出力イネーブル信
号１４ｆは有意で、ドライバ１４ｂはプロセッサ１１の
出力をシステムバス１に送出する。ドライバ１４ｃはプ
ロセッサ１１のシステムバス要求をシステムバス要求信
号１１ｒとしてアービトレーション回路に送出する。ア
ービトレーション回路はシステムバス使用許可信号１１
ｇを用いて該プロセッサがシステムバス１を使用可能な
ことを伝える。

【００８８】（１．２ 主記憶装置の動作） さらに、図１４で、主記憶装置５０の動作を詳細に説明
する。図１４において、メモリアレイブロック５１は、
メモリデータバス５１ａ、ＥＣＣデータバス５１ｂ、メ
モリアレイ５１ｃ、ＥＣＣアレイ５１ｄから構成され
る。メモリインタフェースユニット５２は、メモリ制御
回路５２ａ、ＥＣＣ生成回路５２ｂ、ＥＣＣチェック回
路５２ｃ、プライマリビット５２ｄ、ＡＮＤ素子５２
ｅ、他プライマリ要求出力線５２ｆ、自プライマリ要求
入力線５２ｇ、ドライバ５２ｈ、５２ｉ、５２ｊ、ＡＮ
Ｄ素子５２ｋ、５２ｌ、５２ｍ、メモリ２重化指定ビッ
ト５２ｏ、ＡＮＤ素子５２ｐから構成される。メモリ制
御回路５２ａは、メモリアドレス範囲のどの部分に対し
てアクセスするかを指定するメモリアドレス範囲指定レ
ジスタ５２ａａを有している。インタフェースユニット
５３は、セレクタ５３ａ、比較回路５３ｂ、セレクタ５
３ｃ、システムバスの状態を保持するレジスタ５３ｊ、
５３ｋ、５３ｌ、ドライバ素子５３ｍ、５３ｍ、５３ｏ
から構成される。プライマリビット５２ｄは、その主記
憶装置がプライマリでリードデータをドライブすること
を示すビットであり、２重化された主記憶装置５０、６
０の一方のプライマリビット５２ｄがプラマリとしてセ
ットされており、もう一方はセカンダリとなりプライマ
リビット５２ｄはセットされない。この例では、主記憶
装置５０がプライマリなので、プライマリビット５２ｄ
はセットされる。主記憶装置６０の同等のビット（図に
はないが６２ｄとする）はセットされていないものとす
る。尚、主記憶装置６０は主記憶装置５０と同じ構成を
とり、主記憶装置６０内の構成要素は主記憶装置５０内
のそれの５０番台の番号を６０番台にふり直したものと
する（例えば、５２ｄを６２ｄとするなど）。ここで、
各種レジスタの初期値は、メモリアドレス範囲指定レジ
スタ５２ａａおよび６２ａａは同じアドレス範囲が設定
してあり、メモリ２重化指定ビット５２ｏ、６２ｏは共
に１がセットしてあるものとする。これらの設定の手順
については後述する。また、９１はプロセッサを個別に
実行するか３重化同期動作させるかを指定する個別実行
指定信号、９２はシステムバス選択信号である。ここで
の説明では個別実行指定信号９１は３重化同期動作を指
定するように固定されているものとする。さらに、主記
憶装置５０と６０が相互に連絡するために自プライマリ
要求入力線５２ｇと他プライマリ要求入力線６２ｆは接
続されており、自プライマリ要求入力線６２ｇと他プラ
イマリ要求入力線５２ｆは接続されている。

【００８９】システムバス１、２、３よりシステムバス
の動作が比較回路５３ｂで比較され、セレクタ５３ｃを
経由してセレクタ５３ａに選択信号が伝えられる。そこ
で正常動作しているバスの出力がセレクタ５３ａで選択
され、メモリデータバス５１ａに出力される（ここで、
正常動作しているバスとは、他の２者のバスと動作の異
なるバス以外のバスである。つまり、１本のバスが他の
２本のバスと動作が異なる場合、その一本のバスを正常
動作でないバスとみなし、他の２本のバスを正常動作し
ているバスとする）。メモリ制御回路５２ａはバストラ
ンザクションを解析し、そのアドレスが５２ａａで指定
する範囲内であれば、自メモリへのアクセス（リードま
たはライト）とし、以下の動作を行う。

【００９０】メモリライト時は、メモリ制御回路５２ａ
がメモリデータバス５１ａ上のデータをメモリアレイ５
１ｃにライトするべく制御を行い、データはメモリアレ
イ５１ｃに格納される。同時に、５１ａ上のデータ毎に
ＥＣＣ生成回路５２ｂがＥＣＣコードを生成し、ＥＣＣ
データバス５１ｂを経由してＥＣＣアレイ５１ｄにメモ
リ制御回路５２ａの制御によりＥＣＣコードを格納す
る。

【００９１】メモリリード時は、メモリ制御回路５２ａ
がメモリアレイ５１ｃ、ＥＣＣアレイ５１ｄ内の所望の
アドレスのデータをリードすべく制御を行い、メモリデ
ータはメモリデータバス５１ａに、ＥＣＣデータはＥＣ
Ｃデータバス５１ｂに出力される。これらのデータより
ＥＣＣチェック回路５２ｃがリードされたデータの正当
性をチェックする。データが正当であれば、プライマリ
ビット５２ｄの内容は変化せずセットされたままであ
る。従って、ドライバ５２ｈ、５２ｉ、５２ｊは、ＡＮ
Ｄ素子５２ｅおよびＡＮＤ素子５２ｋ、５２ｌ、５２ｍ
を経由したメモリ制御回路５２ａの制御により、メモリ
データバス５１ａ上のメモリデータを、システムバス
１、２、３に出力する。

【００９２】メモリアレイ５１ｃやＥＣＣアレイ５１ｄ
に障害がある場合は、メモリリード時に、ＥＣＣチェッ
ク回路５２ｃによりＥＣＣエラーとして検知され、１ビ
ット誤りなど自己訂正可能なものであれば、訂正したも
のをメモリデータバス５１ａに送出すればよい。一方、
自己訂正不能な障害が発生した場合は、ＥＣＣチェック
回路５２ｃからの制御によりプライマリビット５２ｄを
リセットし、自主記憶装置はセカンダリになる。同時
に、メモリ２重化ビット５２ｏがセットされているの
で、ＡＮＤ素子５２ｐを経由して、他プライマリ要求出
力線５２ｆが出力される。これによってペアとなってい
る主記憶装置６０に、プライマリになる要求を自プライ
マリ要求入力線６２ｇを介して伝え、主記憶装置６０の
プライマリビット６２ｄがセットされ、主記憶装置６０
がプライマリになり、リードデータを出力する。ここ
で、主記憶装置５０、６０のプライマリビットのセッ
ト、リセット条件を図１５に示す。

【００９３】以上のような構成であるので、プロセッシ
ングユニット１０、２０のような高速動作が要求される
部分には、ボータや選択回路が含まれておらず、高速化
の阻害要因とならない。さらに、システムバスが３重化
されているため、バスのデータの正当性を保証するため
の冗長データ、例えば、パリティビットやＥＣＣコード
を付加しなくともバスの信頼性および耐障害性は十分と
いえ、これらの冗長コードを省けば、バスの高速化が計
れる。本実施例におけるプロセッサ〜メモリ間の障害検
知、正常系選択のための構成を図にすると図１６に示す
ようになる。一方、従来例のものは、一般に図１７とし
て表される。これらの図を比較してもわかるように本実
施例により、障害検知、正常系選択のための手段が簡略
かされ、プロセッサ〜メモリ間のデータ転送が高速に行
えることが分かる。また、選択回路を別の構成にするこ
とで、更に高速化（および高信頼化）が図れるが、別の
実施例として後述する。

【００９４】（１．３ 入出力装置の動作） 入出力装置は、その入出力装置に求められている要求
（信頼性、経済性、汎用性など）で最適な構成が異なっ
てくる。第２階層のシステムバスは多重化されていない
第２階層システムバス１０４と、３重化された第２階層
システムバス２０４、２０５、２０６の２つの異なる構
成をとり、上記の要求に応えている。ディスクやＬＡＮ
などシステムの根幹である入出力装置は、高い信頼性を
要求される。従って、３重化した第２階層システムバス
２０４、２０５、２０６に入出力インタフェースユニッ
ト２１１、２１２、２１３を介して接続する。こうする
ことで、第２階層システムバスの障害が発生しても、入
出力インタフェースユニット２１１などで検知され、検
知された障害バスを切り離し、システムとしては正常な
運転が継続できる。一方、ある種のデバイス、例えば、
フロッピーディスク、磁気テープ、プリンタなどは、そ
れ自体が故障して使用不能になってもシステムとして
は、直ちにダウンにつながることはなく、ユーザや専任
のオペレータの運用で障害が切り抜けられるものもあ
る。しかし、市販されている様々なデバイスのレパート
リィをサポートでき、しかも安価に接続する必要があ
る。この様な場合には、第２階層システムバス１０４の
構成にすれば良い。第２階層システムバス１０４をＩＳ
Ａ、ＥＩＳＡ、ＶＭＥなどの汎用バスにすれば、市販さ
れている多数のデバイスが接続可能となる。また、３重
化バスに比べて入出力インタフェースユニットが不要な
ので安価になる。

【００９５】図１２に戻って、ディスク２３１から主記
憶装置５０、６０へのデータ転送について説明する。デ
ィスク２３１からメモリへのデータ転送要求およびその
データは入出力制御装置２２１でメモリライトトランザ
クション（データを含む）として発行され入出力インタ
フェースユニット２１１に送られる。入出力インタフェ
ースユニット２１１は第２階層システムバス２０４、２
０５、２０６に該トランザクションを同期して送出し、
それぞれバスブリッジ２０１、２０２、２０３がシステ
ムバス１、２、３を使用して主記憶装置５０、６０にラ
イトする。このとき、バスブリッジ２０１、２０２、２
０３は同時にシステムバス要求をアービトレーション回
路９０に送出し、同時にアービトレーション回路９０か
らシステムバス使用許可信号が返され、従って、同時に
同一のトランザクションが発行される。また、主記憶装
置５０、６０のライト動作は前述と同様である。

【００９６】逆に主記憶装置５０、６０からディスク２
３１へのデータ転送について説明する。主記憶装置５
０、６０へディスク２３１からのデータリード要求は、
ライトトランザクションと同じ３つの経路で主記憶装置
５０、６０に伝わる。プライマリである主記憶装置５０
がリードデータをシステムバス１、２、３に送出し、主
記憶装置６０は送出しない。リードデータは、それぞれ
バスブリッジ２０１→第２階層システムバス２０４、バ
スブリッジ２０２→第２階層システムバス２０５、バス
ブリッジ２０３→第２階層システムバス２０６を経由し
て入出力インタフェースユニット２１１に到達し、入出
力インタフェースユニット２１１はデータを選択し入出
力制御装置２２１に送る。入出力装置２３１は入出力制
御装置２２１にデータをライトする。以上の動作は３重
化された部分はすべて同期動作する。

【００９７】ここで、入出力インタフェースユニット２
１１の動作を図１８において、説明する。図において、
２０４、２０５、２０６は３重化された第２階層のシス
テムバス、２１１は入出力インタフェースユニット、２
１１ａはセレクタ、２１１ｂは比較回路、２１１ｃ、２
１１ｄ、２１１ｅはドライバ素子、２１１ｆ、２１１ｇ
はバスモニタ、２１１ｈはドライバ素子である。

【００９８】図において、第２階層のシステムバス２０
４、２０５、２０６は、同期動作をしている。第２階層
のシステムバス２０４、２０５、２０６から入出力制御
装置２２１へ向う信号は、比較回路２１１ｂで比較され
正常動作しているシステムバスを判定し、セレクタ２１
１ａで選択し出力する。バスモニタ２１１ｇによりバス
トランザクションを監視し、入出力制御装置２２１へ送
出すべき信号を判定し、該信号をドライバ素子２１１ｈ
が入出力制御装置２２１に送出する。入出力制御装置２
２１から第２階層システムバス２０４、２０５、２０６
へ向う信号は、バスモニタ２１１ｆが監視し、送出すべ
き信号を判定し、該信号をドライバ２１１ｃ、２１１
ｄ、２１１ｅを経由して第２階層システムバス２０４、
２０５、２０６に送出する。

【００９９】次に図１２に戻って、磁気テープ１２２か
ら主記憶装置５０、６０へのデータ転送を説明する。入
出力制御装置１１２は磁気テープ１２２のデータをリー
ドし、メモリライトトランザクションを発行し、第２階
層システムバス１０４を経由し、第２階層システムバス
インタフェースユニット１１０に到達する。第２階層シ
ステムバスインタフェースユニット１１０は３つのバス
ブリッジ１０１、１０２、１０３にメモリライトトラン
ザクションを送出し、それぞれバスブリッジ１０１→シ
ステムバス１、バスブリッジ１０２→システムバス２、
バスブリッジ１０３→システムバス３を経由して主記憶
装置５０、６０に到達する。主記憶装置５０、６０は受
信したデータをそれぞれメモリアレイ５１、６１にライ
トする。逆に、主記憶装置５０、６０から磁気テープ１
２２へのデータ転送について説明する。入出力制御装置
１１２はメモリリードトランザクションを第２階層シス
テムバス１０４に発行し、メモリライトトランザクショ
ンと同じ３つの経路で主記憶装置５０、６０に到達す
る。プライマリである主記憶装置５０がリードデータを
システムバス１、２、３に送出し、主記憶装置６０は送
出しない。リードデータは、それぞれバスブリッジ１０
１、１０２、１０３を経由して第２階層システムバスイ
ンタフェースユニット１１０で選択され第２階層システ
ムバス１０４に送出される。入出力装置１１２が第２階
層システムバス１０４のリードデータを受信し、磁気テ
ープ１２２にライトする。以上３重化された部位は、す
べて同期動作をしている。

【０１００】ここで、インタフェースユニット１１０の
動作を図１９に基づいて、説明する。図において、１０
１、１０２、１０３は３重化されたバスブリッジ、１０
４は第２階層システムバス、１１０はインタフェースユ
ニット、１１０ａはセレクタ、１１０ｂは比較回路、１
１０ｃ、１１０ｄ、１１０ｅはドライバ素子、１０１
ｆ、１０１ｇはバスモニタ、１０１ｈはドライバ素子で
ある。

【０１０１】図において、バスブリッジ１０１、１０
２、１０３は、同期動作をしている。バスブリッジ１０
１、１０２、１０３から第２階層システムバス１０４へ
向う信号は、比較回路１１０ｂで比較され、正常動作し
ているシステムバスを判定し、セレクタ１１０ａで選択
する。バスモニタ１０１ｇでバストランザクションを監
視し、第２階層システムバス１０４へ送出すべき信号を
判定し、ドライバ素子１０１ｈが該信号を第２階層シス
テムバス１０４へ出力する。第２階層システムバス１０
４からバスブリッジ１０１、１０２、１０３へ向う信号
は、バスモニタ１０１ｆが監視し、バスブリッジ１０
１、１０２、１０３に送出する必要のある信号を判定
し、ドライバ１１０ｃ、１１０ｄ、１１０ｅを経由して
バスブリッジ１０１、１０２、１０３に送出する。

【０１０２】（２．プロセッサの障害時の動作及び復旧
処理） 次に一つのプロセッサが障害を発生した場合について説
明する。障害発生から回復までの動作は、正常動作時と
は異なり、信頼性か性能かのどちらかが犠牲になり低下
する。別の言い方をすれば、信頼性を維持するか、性能
を維持するかで障害発生から回復までの処理が異なる。
また、それにともない、プロセッサのオンライン交換の
単位が異なる。信頼性を維持する場合は、故障プロセッ
サを含むプロセッシングユニット以外のプロセッシング
ユニットは常に３重化同期動作を行うべきであり、従っ
て、オンライン交換の単位はプロセッシングユニット単
位が望ましい。一方、性能を維持する場合は、故障プロ
セッサを含むシステムバス以外のプロセッサは常に動作
を行い正常時と同等のプロセッシングユニット数を維持
すべきであり、従って、オンライン交換の単位はシステ
ムバス単位が望ましい。以下にその両方の場合について
説明する。

【０１０３】（２．１ 信頼性維持の場合） 図１２に基づいて説明する。二つのプロセッシングユニ
ットは、それぞれ別の演算を行なっている状態で、プロ
セッシングユニット１０のプロセッサ１１に障害が発生
したケースについて説明する。プロセッサ１１の故障に
より、システムバス１の動作は、他のシステムバスと動
作が異なり、選択回路５３および６３で故障が検知され
る。選択回路は、すぐさま、システムバス１上のプロセ
ッサ１１、２１の出力をディセーブル（図１３のドライ
バ１４ｆを有意にしない）し、替りに主記憶装置５０が
システムバス２の出力をシステムバス１に送出する追随
モードになる。したがって、システムバス１上のトラン
ザクションは、プロセッサ１１が故障したといえども正
常なものを送出でき、システムバス１に接続された他の
プロセッサ２１はプロセッサ２２、２３との同期動作を
継続することができる。従って、故障したプロセッシン
グユニット１０をＳ／Ｗの都合のよいタイミング（たと
えばタスクの切り換え時）に停止させ、以降バストラン
ザクションが発生しないようにする。一旦プロセッシン
グユニット１０が停止したら、システムバス１を追随モ
ードから３者比較モードに戻すことが可能である。なぜ
なら、プロセッサ１１の障害にもかかわらずプロセッサ
２１は追随モードによりプロセッサ２２、２３と同一の
演算を実行し続けたので内部状態は、他のプロセッサと
同一である。プロセッサ２１の出力をイネーブルにし、
メモリ制御回路を追随モードから３者比較モードに戻す
とプロセッサ２１、２２、２３の同期動作による３者比
較が可能になる。続いて、プロセッサ１１を含むプロセ
ッシングユニット１０をオンラインで交換し、システム
が再度使用を開始すればもとの状態に回復する。

【０１０４】システムバス１が追随モードの場合、図１
４に示した比較回路５３ｂでは、システムバス２、３の
比較のみ行い、システムバス１は比較および選択の対象
にしない。また、メモリリード時にはＡＮＤ素子５２ｅ
からのドライバ制御信号を、比較回路５３ｂからの制御
信号を入力するＡＮＤ回路５２ｋでマスクすることで抑
止し、ドライバ５２ｈはデータをドライブしない。一
方、比較回路５３ｂの制御により、クロック毎にシステ
ムバス３の内容が保持されたレジスタ５３ｌの内容をド
ライバ５３ｏを経由して出力する。こうすることで、シ
ステムバス３（システムバス２と同じ）の内容がシステ
ムバス１に出力される。但し、１サイクル遅い状態が伝
播される。

【０１０５】（２．２ 性能維持の場合） 再度図１２に基づいて説明する。二つのプロセッシング
ユニットはそれぞれ別の演算を行なっている状態で、プ
ロセッシングユニット１０のプロセッサ１１に障害が発
生したケースについて説明する。プロセッサ１１の故障
により、システムバス１の動作は、他のシステムバスと
動作が異なり、選択回路５３および６３で故障が検知さ
れる。システムバス１の動作は選択回路５３でマスクさ
れ、システムバス１の動作がメモリに伝わることはな
い。性能維持の場合はシステムバス１に接続されるプロ
セッサ１１、２１が一つのオンライン交換の単位とし、
これらをオンラインで交換する。このときプロセッサ１
２と１３、２２と２３は同期動作を継続し、性能は故障
発生以前ものが維持できる。オンライン交換後、システ
ムバス１を追随モードにし、システムバス２、３と同期
動作をさせる。続いて、プロセッシングユニット１０を
Ｓ／Ｗの都合のよいタイミング（たとえばタスクの切り
換え時）に初期化する。こうすることで、新規挿入され
たプロセッサ１１がプロセッサ１２、１３と同期動作開
始する。さらに、同様にプロセッシングユニット２０を
Ｓ／Ｗの都合のよいタイミング（たとえばタスクの切り
換え時）に初期化する。同様に新規挿入されたプロセッ
サ２１がプロセッサ２２、２３と同期動作開始する。プ
ロセッサ１１、２１の出力をイネーブルにし、メモリ制
御回路を追随モードから３者比較モードに戻すともとの
同期動作に復旧する。

【０１０６】（３．高信頼モード／高性能モードの切り
換え） ここで、同一ハードウェア構成で、高信頼な計算機シス
テムと高性能な計算機システムをとる例について説明す
る。図２０の表に示すとおり、本実施例の計算機ハード
ウェアは、高信頼を実現する高信頼モードと高性能を実
現する高性能モードをもち、高信頼モードでは、プロセ
ッサの３重化、主記憶装置の２重化により信頼性と連続
運転性を高め、一方、高性能モードでは、プロセッサを
個別動作させプロセッシングユニットの数を増大させ、
主記憶装置も別々のアドレス範囲のデータを格納するこ
とで広いアドレス空間をサポートすることで高性能を実
現する。

【０１０７】図２１でアービトレーション回路９０の内
部について説明する。図において、９０ａは、ＣＰＵ高
性能／高信頼を指定するＣＰＵ個別実行指定ビット、９
０ｂ、９０ｃは３者の入力の多数決をとる多数決回路、
９０ｄ、９０ｅ、９０ｆ、９０ｇ、９０ｈ、９０ｉはセ
レクタ、９０ｊは４者からの１者を選択するアービトレ
ーション回路、９０ｋは１２者から１者を選択するアー
ビトレーション回路、９０ｌ、９０ｍ、９０ｎはＯＲ素
子、９０ｏ、９０ｐは多数決回路、９０ｑ、９０ｒ、９
０ｓ、９０ｔ、９０ｕ、９０ｖはセレクタ、９０ｗ、９
０ｘ、９０ｙはＯＲ素子、９１はＣＰＵ個別実行モード
指定信号、９２は９０ｌ、９０ｍ、９０ｎの出力を束ね
たもので個別実行モードでどのシステムバスが選択され
ているかを示すシステムバス選択信号である。信号線１
１ｒ〜２３ｒはそれぞれプロセッサ１１〜２３からのシ
ステムバスリクエスト信号で該プロセッサがシステムバ
スを要求していることを表し、信号線１１ｇ〜２３ｇは
プロセッサ１１〜２３へのシステムバス使用許可信号で
該プロセッサにシステムバスの使用を許可したことを表
す。信号線１０１ｒ〜１０３ｒ、２０１ｒ〜２０３ｒは
それぞれバスブリッジ１０１〜１０３、２０１〜２０３
からのシステムバスリクエスト信号で該バスブリッジが
システムバスを要求していることを表し、信号線１０１
ｇ〜１０３ｇ、２０１ｇ〜２０３ｇはバスブリッジ１０
１〜１０３、２０１〜２０３へのシステムバス使用許可
信号で該プロセッサにシステムバスの使用を許可したこ
とを表す。

【０１０８】高性能モードの動作について説明する。図
２１において、アービトレーション回路９０のＣＰＵ個
別実行モードビット９０ａをセットし、ＣＰＵを個別実
行させ処理性能を向上させる。また、図２０において、
選択回路５０、６０のメモリ２重化指定ビット５２ｏ、
６２ｏによりメモリ個別アクセスを設定し、プライマリ
ビット５２ｄ、６２ｄをともにセットし、メモリアドレ
ス範囲指定レジスタ５２ａａ、６２ａａにメモリアドレ
スのを範囲ををれぞれセットする。メモリアドレス範囲
指定レジスタ５２ａａと６２ａａにセットするアドレス
範囲は異なる（重ならないで連続するものが望ましい）
ようにセットする。以上のレジスタおよびビットのセッ
トをシステムのパワーオン直後か、システムリセットの
直後に行うことで、以後そのシステムを高性能モードで
使用することができる。

【０１０９】６個のプロセッサおよび６個のバスブリッ
ジは、それぞれ信号線１１ｒ〜２３ｒでシステムバス使
用要求をアービトレーション回路に伝え、１２者から１
者を選択するアービトレーション回路９０ｋで１個のプ
ロセッサが選択される。以降、例えばプロセッサ１１が
選択されたとする。アービトレーション回路９０ｋから
の出力がセレクタ９０ｄを経由して、プロセッサ１１に
対するバス使用権信号１１ｇが出力されプロセッサ１１
に伝えられる。ＣＰＵ個別実行モードビット９０ａがセ
ットされているので、セレクタ９０ｄは、アービトレー
ション回路９０ｊの出力ではなくアービトレーション回
路９０ｋの出力を選択する。また、同時にアービトレー
ション回路９０ｋの出力はＯＲ素子９０ｌを経由して、
システムバス選択信号９２として出力される。ＣＰＵ個
別実行モードビット９０ａの内容も、ＣＰＵ個別実行指
定モード信号９１として出力される。続いて、図１４
で、ＣＰＵ個別実行指定モード信号９１により、セレク
タ５３ｃはシステムバス選択信号９２を選択し、この信
号でセレクタ５３ａは、システムバス１を選択し、プロ
セッサ１１がメモリにアクセスすることができる。この
ようにして、６個のプロセッサは独立に動作を実行する
ことができる。各プロセッサがキャッシュを持っていれ
ば、少ないバスアクセスで多くの処理を実行できるの
で、２個のプロセッシングユニットで実行していたとき
より、格段の性能向上が期待できる。

【０１１０】また、メモリアクセスに際しては、２つの
主記憶装置５０、６０において、メモリアクセス範囲指
定レジスタ５２ａａに個別の値がセットされていて、プ
ライマリビット５２ｄ、６２ｄ共にセットされているの
で、主記憶装置はそれぞれ個別のメモリ空間に対してプ
ライマリ（即ち、リード／ライト可能）として動作す
る。メモリ２重化指定ビット５２ｏをセットし、ＡＮＤ
回路５２ｐでマスクすることで、ＥＣＣチェック回路５
２ｃの出力がもう一方の主記憶装置に影響を及ぼすのを
防いでいる。このようにして、メモリを２重化して使用
したときより大容量なメモリ空間をサポートすることが
可能になり、メモリを多く使用するアプリケーションや
非常に多くのプログラムを並行して処理するケースに対
しては、メモリのディスクへの退避の頻度を減少させる
ことができ性能の向上が期待できる。

【０１１１】ここで、パワーオン直後または、システム
のリセット直後からの高性能モードまたは高信頼モード
の設定手順について説明する。図２２にそのフローを示
す。本実施例の計算機がパワーオンされたり、リセット
が入りそれが解除されるとプロセッサは主記憶装置、バ
ス、プロセッサ自身などハードウェアリソースの診断を
実行する。このときは、モードは高性能でも高信頼でも
都合のよい方でよい。診断でＯＫであれば、あるプロセ
ッシングユニットは、これから設定すべき実行モードを
判定する。実行モードは、計算機外部のスイッチ情報、
不揮発性のメモリの内容、通常の主記憶装置の特定アド
レスの内容、あるいはシステムコンソールからの入力な
どの手段およびそれらの組み合わせなどで決定される。
実行モードが決ると該プロセッシングユニットは、モー
ドを指定するための各種レジスタ（９０ａ、５２ａａ、
５２ｄ、５２ｏ、６２ａａ、６２ｄ、６２ｏ）に値をセ
ットする。セットする値の一例を図２３に示す。これら
のレジスタをセットし終ると所望のモードになる。続い
て、オペレーティングシステムを立ちあげ、システムを
稼働状態にする。オペレーティングシステムはこのとき
現在認識できるプロセッシングユニットまたは、メモリ
空間に応じて、プロセッサ管理テーブルやメモリ管理テ
ーブルを生成すればよく、標準のオペレーティングシス
テムの移植性は損なわれない。

【０１１２】以上のように、この実施例は、システムバ
スとこのシステムバスに接続される主記憶装置、システ
ムバスに接続される１つまたは複数のプロセッシングユ
ニットからなる高信頼計算機システムにおいて、各プロ
セッシングユニットと主記憶装置は、同一の動作を実行
する３本以上の複数のシステムバスで接続され、各プロ
セッシングユニットは同一の演算を実行する３台以上の
プロセッサで構成され、上記プロセッサはバスインタフ
ェースユニットによりシステムバスに個別に接続され、
主記憶装置は、データを格納するメモリアレイと、上記
３つのシステムバスのうちいずれか一つの出力を選択す
る選択回路と、選択された出力をメモリアレイにライト
し、またメモリアレイからリードしたデータをシステム
バスに出力するためのメモリインタフェースユニットか
ら構成され、上記回路の故障部位を取り除いた残りの構
成によって運転継続させる故障検出と故障部切り離し機
構とから構成されることを特徴とする。

【０１１３】また、主記憶装置は２台以上複数が３本以
上複数のシステムバスに接続され、同一のデータを保持
し、各主記憶装置は、保持したデータの誤りを検出する
手段を有することを特徴とする。

【０１１４】また、これらシステムバスに接続される同
一の動作を実行する３台以上のバスブリッジを有し、そ
れぞれに第２階層のシステムバスが接続され、上記３本
の第２階層のシステムバスのうちいずれか一つの出力を
選択する選択回路と、選択された出力を入出力制御装置
に出力し、また入出力制御装置からのデータを取り込む
ための入出力インタフェースユニットを有することを特
徴とする。

【０１１５】また、これらシステムバスに接続される同
一の動作を実行する３台以上のバスブリッジを有し、上
記３つバスブリッジのうちいずれか一つの出力を選択す
る選択回路、選択された出力を第２階層システムバスに
出力し、また、第２階層システムバスからの信号を３台
のバスブリッジに送出する機能を有する第２階層システ
ムバスインタフェースユニットを有することを特徴とす
る。

【０１１６】この実施例は、さらに、前記システムバス
は第１、第２、第３のシステムバスから構成され、同一
の動作を行い、前記各プロセッシングユニットは第１、
第２、第３のプロセッサを備えて、同一の演算を実行し
ており、第１のプロセッサは第１のシステムバスに、第
２のプロセッサは第２のシステムバスに、第３のプロセ
ッサは第３のシステムバスにそれぞれ接続されており、
同様に第４のプロセッサは第１のシステムバスに、第５
のプロセッサは第２のシステムバスに、第６のプロセッ
サは第３のシステムバスにそれぞれ接続されており、プ
ロセッシングユニットが１つのオンライン交換単位であ
る高信頼計算機システムにおいて、上記３つのプロセッ
サの内いずれか一つが故障した時に、残りの２つのプロ
セッサにより現在実行中のプログラムの実行を正常に停
止させた後、そのプログラムの再開は第４、第５、第６
のプロセッサによる同一演算に処理を移行することを特
徴とする。

【０１１７】また、プロセッサの故障をそれが接続され
るシステムバスの動作を監視することで検知する機能
と、各プロセッサの出力を個別に抑止する機能と、シス
テムバスの動作を他のシステムバスの動作に強制的に同
期動作（追随動作）させるシステムバス追随機能を有
し、第１のプロセッサが故障した場合、第１のプロセッ
サの出力を抑止し、同時に第１のシステムバスに接続さ
れた第４のプロセッサの出力を抑止し、第１のシステム
バスは第２または第３のシステムバスと同じ動作を実行
し、故障していない第４のプロセッサを第５、第６のプ
ロセッサと同じ演算を実行させ、第２、第３のプロセッ
サが停止した後、第４のプロセッサの出力を再び許可
し、第１のシステムバスが第２、第３のシステムバスと
の同期動作を再開することを特徴とする。また、各プロ
セッサは、そのバスに障害が検知された場合、１サイク
ルまたは複数サイクル停止する機能と、他のシステムバ
スに対して追随動作を実行しているシステムバスは、１
サイクルまたは複数サイクル遅れた追随動作を行う機能
と、および、指令により、任意のプロセッサを１サイク
ルまたは複数サイクル停止する機能を有し、第１のプロ
セッサが故障した場合、第１のプロセッサの出力を抑止
し、第１のシステムバスに接続された第４のプロセッサ
の出力を抑止するとともに、１または複数サイクル停止
させることで、第１のシステムバスは第２または第３の
システムバスに１または複数サイクル遅れてと同じ動作
を実行し、故障していない第４のプロセッサを第５、第
６のプロセッサに一定サイクル遅れた同期動作を行い、
第２、第３のプロセッサが停止した後は、指令により第
５、第６のプロセッサを１または複数サイクル停止さ
せ、第４のプロセッサの出力を許可し、その後、第１の
システムバスが第２、第３のシステムバスと同期動作を
再開することを特徴とする。

【０１１８】また、同一システムバスに接続されるプロ
セッサ（第１と第４、第２と第５、第３と第６）が一つ
のオンライン交換単位である高信頼計算機システムにお
いて、第１のプロセッサが故障した場合、第２と第３、
第５と第６のそれぞれのプロセッサが同期動作を継続す
る機能を有し、第１と第４のプロセッサを含む交換単位
を、第２と第３、第５と第６のプロセッサを動作させな
がら交換したあと、第１のシステムバスを第２または第
３のシステムバスに追随動作ができる機能を有し、第１
のプロセッサの動作を、第２または第３のプロセッサの
動作にあわせ、続いて、第４のプロセッサの動作を、第
５または第６のプロセッサの動作にあわせることを特徴
とする。

【０１１９】また、各プロセッサボードは、システムバ
スへの出力を抑止する手段を有し、メモリインタフェー
スユニットは、システムバスの出力を他のシステムバス
の動作の一定サイクル遅れた信号変化を出力する手段を
有し、プロセッシングユニットを構成するプロセッサ
（例えば、第１、第２、第３のプロセッサ）の内、任意
の一つのプロセッサを他の２つのプロセッサに比べて、
一定サイクル遅れてリセットを解除する手段を有し、各
プロセッサおよび各システムバスは、一定サイクル動作
を停止する手段を有し、第１、第４のプロセッサをオン
ライン交換した場合、第１のシステムバスを第２、第３
のシステムバスに一定サイクル遅れた追随動作をさせ、
第１のプロセッサの動作を、第２または第３のプロセッ
サの動作にあわせるとき、第１のプロセッサのリセット
を第２、第３のプロセッサのリセットを解除するより一
定サイクル遅らせて解除し、第１のプロセッサの動作
を、第２または第３のプロセッサの一定サイクル遅れた
動作にあわせ、同様に、第４のプロセッサの動作を、第
５または第６のプロセッサの一定サイクル遅れた動作に
あわせ、以上が完了した後、第２、第３、第５、第６の
プロセッサおよび、第２、第３のシステムバスを一定サ
イクル動作を停止し、同時に第１、第４のプロセッサの
出力を許可し、バスインタフェースユニットは、第１の
システムバスを追随モードから他の２本のシテムバスと
の比較するモードに変更し、第１のプロセッサは第２、
第３のプロセッサと、第４のプロセッサは第５、第６の
プロセッサと、第１のシステムバスは第２、第３のシス
テムバスと同期動作を回復することを特徴とする。

【０１２０】また、この実施例は上記の高信頼計算機シ
ステムにおいて、第１および第２の主記憶装置を有し、
第１の主記憶装置は第１のメモリインタフェースユニッ
ト、第１の選択回路、第１のメモリアレイを有し、第２
の主記憶装置は第２のメモリインタフェースユニット、
第２の選択回路、第２のメモリアレイを有し、各選択回
路は、それぞれ３本のシステムバスに接続され、システ
ムバスを比較し、故障したシステムバスの故障を検知
し、故障していないシステムバスの信号を選択して主記
憶装置に取り込む手段を有し、また、第１および第２の
メモリインタフェースユニットは、通常時は同期動作
し、選択されたシステムバスの信号を第１、第２のメモ
リアレイに同時に送出する手段と、第１、第２のメモリ
アレイからのリードデータを正当性をチェックするため
のチェックコードを生成する手段、上記チェックコード
よりリードデータの正当性をチェックする手段、プライ
マリおよびセカンダリというモードを保持する手段を有
し、上記プライマリ状態のメモリインタフェースユニッ
トは、システムバスに信号を送出し、セカンダリ状態の
メモリインタフェースユニットは、システムバスへは信
号を送出せず、第１と第２のメモリインタフェースユニ
ットは排他的にプライマリとセカンダリのモードにな
り、メモリインタフェースユニットをプライマリとする
主記憶装置の保持するデータが自己訂正不可能な誤りを
有する場合、２つのメモリインタフェースユニットのプ
ライマリとセカンダリを交換する機能を有することを特
徴とする。

【０１２１】また、同一の演算を実行する３台以上のプ
ロセッサが指令によって異なる演算を実行するモードを
有し、選択回路は３本のシステムバスの出力を競合制御
を実施して逐次的にメモリに出力するモードをもち、ま
たメモリからのデータをいずれかのシステムバスに出力
する手段を持つメモリインタフェースユニットを有する
ことを特徴とする。

【０１２２】また、システムバスの使用権は各プロセッ
サからの使用要求をアービトレーション回路で裁定する
高信頼計算機システムにおいて、システムバスのアービ
トレーション回路は、３重化同期動作のモードと個別動
作のモードを有し、３重化同期動作のモードにおいて
は、同一動作が期待されている３つのプロセッシングユ
ニットおよび３つのバスブリッジからのバス要求信号は
多数決回路で一つにまとめたあと、バスアービトレショ
ンを行う手段と、個別動作のモードでは、すべてのプロ
セッシングユニットとすべてのバスブリッジからのバス
要求信号に対してバスアービトレションを行う手段を有
し、上記２つの手段がソフトウェアからの指令によって
選択できる手段を有することを特徴とする。

【０１２３】また、同一の演算を実行する３台以上のプ
ロセッサが指令によって異なる演算を実行するモードを
有し、選択回路は各システムバスの出力を競合制御を実
施して逐次的にメモリに出力するモードをもち、またメ
モリからのデータをいずれかのシステムバスに出力する
手段を持つメモリインタフェースユニットを有し、２つ
のメモリは異なるアドレスでアクセスされるメモリであ
るようなモードを有することを特徴とする。

【０１２４】また、外部スイッチや特定アドレスのメモ
リや不揮発性のメモリ素子などにより、システムバスの
動作モードおよび主記憶装置の動作モードを指定する手
段と、ソフトウェアで動作モードおよび主記憶装置の動
作モードを設定する手段を有し、システムの電源投入直
後または、リセット直後に、外部スイッチ情報あるいは
特定アドレスのメモリあるいは不揮発性のメモリの内容
から、システムバスの動作モードまたは、主記憶装置の
動作モードを読み、モード設定に必要な手段により該モ
ードをセットし、それらが完了した後オペレーティング
システムを立ちあげる手順を有することを特徴とする。

【０１２５】このシステムによれば、ＣＰＵの高性能化
のために、プロセッサ、キャッシュメモリ、システムバ
スを一体化して３重化し、それらを同一クロックで同期
動作させる。プロセッサ程高速化が要求されない主記憶
装置は、３重化されたシステムバスとインタフェース装
置で接続される。主記憶装置の信頼性を要求する場合
は、これを２重化する。Ｉ／Ｏ装置は、Ｉ／Ｏの要求さ
れる性質（信頼性、経済性、汎用性、互換性）などによ
り構成上のバリエーション（Ｉ／Ｏバスの３重化、２重
化、非冗長）がある。

【０１２６】また、このシステムによれば３重化された
システムバスのうち、障害発生・回復処理を必要とする
プロセッサが接続されているシステムバスを他のシステ
ムバスに追随させることで、障害発生時の信頼性の低下
を回避する構成や回復処理時の性能の低下を回避する構
成をとれる。

【０１２７】さらに、このシステムによれば３重化され
たシステムバスおよびそれに接続されたプロセッサを個
別に動作させるモード、２重化された主記憶装置を個別
のアドレス空間として認識できるようにさせるモード、
多重化されたＩ／Ｏバスを個別にアクセスできるモード
を持つことで、同一のハードウェアで高性能な計算機シ
ステムが構築できる。

【０１２８】実施例３． 実施例１とは異なる第２階層のシステムバスの構成例を
示す。図２４に基づいて、以下、この実施例を説明す
る。図において、図１と同一符号は図１と同一又は担当
部分を示し、その説明を省略する。３０１、３０２はバ
ススイッチ、３０３、３０４は第２階層システムバス、
３１１、３１２は第２階層システムバス３０３、３０４
の出力を選択する入出力インタフェースユニット、３２
１、３２２は入出力制御装置、３３１、３３２は入出力
装置（ディスク、ＬＡＮ）である。

【０１２９】ＣＰＵからのメモリアクセスに関しては、
実施例１と同等なので説明省略する。ここでは、入出力
装置３３１、３３２からのメモリアクセスについて説明
する。この実施例における、第２階層システムバス３０
３、３０４はバス上にパリティなどの障害検知機能を付
加する必要がある。パリティ生成は、バスブリッジまた
はバススイッチおよび入出力インタフェースユニットに
よってなされ、これにより、第２階層システムバスの障
害を入出力インタフェースユニットやバススイッチが検
知し、正しいバスのデータを選択できる。この場合を実
施例１の３重化された第２階層システムバス２０１、２
０２、２０３と信頼性および経済性を比較すると、実施
例１の３重化バスに比べれば、入出力インタフェースユ
ニットが小型で安価にでき、経済的である（信頼性に関
しては一部の制御線にパリティを付加できなければ、信
頼性上問題が残ることがある）。また、パリティ等のな
い非冗長バスに比べれば、経済的には不利であるが、障
害発生時に障害検知・切り離しによる連続運転ができる
ので信頼性はかなり高いといえる。

【０１３０】ここで、ディスク３３１から主記憶装置５
０、６０へのデータ転送を説明する。ディスク３３１か
らメモリへのデータ転送要求およびデータは入出力制御
装置３２１でライトトランザクションになり入出力イン
タフェースユニット３１１に送られる。入出力インタフ
ェースユニット３１１は第２階層システムバス３０３、
３０４にトランザクション（データを含む）を送出し、
それぞれバススイッチ３０１、３０２に到達する。バス
スイッチ３０１と３０２のうちの一方がプライマリとな
り、バスブリッジ１０１、１０２、１０３にトランザク
ションを送出し、それぞれ、システムバス１、２、３を
経由して主記憶装置５０、６０にライトする。もし、第
２階層システムバスに障害があれば、パリティなどのバ
スの障害検知機構によりバススイッチ３０１、３０２で
検知され、障害がなかった方がプライマリとなり、バス
ブリッジ１０１、１０２、１０３にトランザクションを
送出する。したがって、第２階層システムバスに障害が
発生してもシステムは停止せず処理を続行できる。

【０１３１】逆に主記憶装置５０、６０からディスク３
３１へのデータ転送をする場合について説明する。主記
憶装置５０、６０のメモリデータのディスク３３１から
の転送要求は、ライトトランザクションと同じ３つの経
路で主記憶装置５０、６０に伝わる。プライマリである
主記憶装置５０がリードデータをシステムバス１、２、
３に送出し、主記憶装置６０は送出しない。リードデー
タは、バススイッチ１０１、１０２、１０３を経由して
バススイッチ３０１、３０２に到達し、バススイッチ３
０１、３０２がバススイッチ１０１〜１０３からのデー
タを比較し、正しいデータをそれぞれ第２階層システム
バス３０３、３０４に送出し、入出力インタフェースユ
ニット３１１がその両者のデータを受け、正しい方を選
択し、入出力制御装置３２１に転送する。入出力制御装
置３２１はメモリからのリードデータをディスク３３１
に格納する。もし、第２階層システムバス３０３または
３０４に障害があれば、パリティなどのバスの障害検知
機構により入出力インタフェースユニット３１１で検知
され、入出力インタフェースユニット３１１は障害がな
い方のデータを選択し、入出力制御装置３２１に転送す
る。したがって、第２階層システムバスに障害が発生し
てもシステムは停止せず処理を続行できる。

【０１３２】ここでバススイッチ３０１の動作を、図２
５に基づいて説明する。図において、１０１、１０２、
１０３はバスブリッジ、３０３は第２階層システムバス
で、通常バス３０３ａとパリティバス３０３ｂから構成
される。３０１はバススイッチで、セレクタ３０１ａ、
比較回路３０１ｂ、ドライバ素子３０１ｃ、３０１ｄ、
３０１ｅ、パリティチェック回路３０１ｆ、パリティ生
成回路３０１ｇ、ドライバ素子３０１ｈ、プライマリビ
ット３０１ｉ、他プライマリ要求出力信号３０１ｊ、自
プライマリ要求入力信号３０１ｋ、バスモニタ３０１
ｌ、ドライバ素子３０１ｍ、バスモニタ３０１ｏ、ＡＮ
Ｄ素子３０１ｐから構成される。通常は、プライマリビ
ット３０１ｉと３０２ｉ（バススイッチ３０２のプライ
マリビット）のうち一方が排他的にセットされる。ここ
では、プライマリビット３０１ｉがセットされていると
する。

【０１３３】バスブリッジ１０１、１０２、１０３から
第２階層システムバス３０３、３０４に送出する信号の
場合、バスブリッジ１０１、１０２、１０３は同期動作
をし、その出力信号が比較回路３０１ｂで比較され、正
常動作している出力がセレクタ３０１ａで選択・出力さ
れる。その出力をバスモニタ３０１ｌが監視し、通常バ
ス３０３ａに出力すべき信号を判定し、該信号をドライ
バ３０１ｈが第２階層システムバスの通常バス３０３ａ
に出力する。同時にパリティ信号がパリティ生成回路３
０１ｇで生成され、ドライバ素子３０１ｍでパリティバ
ス３０３ｂに出力される。この場合バススイッチ３０１
のペアとなるバススイッチ３０２も全く同じ動作をする
ので、バススイッチ３０２により第２階層システムバス
３０３と３０４は同期動作をする。

【０１３４】一方、第２階層システムバス３０３、３０
４からバスブリッジ１０１、１０２、１０３に送出する
信号の場合、第２階層システムバス３０３、３０４は同
期動作をしているので、バススイッチ３０１と３０２は
同期動作をしている。バスモニタ３０１ｏはバストラン
ザクションを監視し、バススイッチ１０１、１０２、１
０３に送出すべき信号がある場合、パリティ信号３０３
ｂと通常バス３０３ａの信号をパリティチェック回路３
０１ｆがチェックし、第２階層システムバス３０３の正
当性をチェックする。もし、誤りがなければ、プライマ
リビット３０１ｉはセットされたままなので３０１ｏか
らの出力制御信号がＡＮＤ素子３０１ｐを経由してドラ
イバ３０１ｃ、３０１ｄ、３０１ｅに伝えられる。そこ
で、通常バス３０３ａの信号をドライバ３０１ｃ、３０
１ｄ、３０１ｅが出力し、バススイッチ１０１、１０
２、１０３が受信する。誤りがあれば、プライマリビッ
ト３０１ｉはリセットされ、バススイッチ３０１は第２
階層システムバス３０３の信号を出力しない。同時に他
プライマリ要求信号３０１ｊが出力され、ペアのバスス
イッチ３０２は自プライマリ要求入力信号３０２ｋとし
て入力され、プライマリビット３０２ｉがセットされ、
第２階層システムバス３０４に誤りがなければ、その信
号を出力し、バススイッチ１０１、１０２、１０３が受
信する。

【０１３５】ここで、入出力インタフェースユニット３
１１の動作について、図２６に基づいて説明する。図に
おいて、３０３ａは第１の第２階層システムバスの通常
バス、３０３ｂは同パリティバス、３０４ａは第２の第
２階層システムバスの通常バス、３０４ｂは同パリティ
バス、３１１ａはセレクタ、３１１ｂはパリティチェッ
ク回路、３１１ｃ、３１１ｄはパリティ生成回路、３１
１ｆはドライバ素子、３１１ｇはバスモニタ、３２１は
入出力制御装置である。

【０１３６】図において、第２階層のシステムバス３０
３、３０４は、同期動作をしていて第２階層のシステム
バス、３０３、３０４から入出力制御装置３２１へ向う
信号は、比較回路３１１ｂで両第２階層システムバスの
パリティをチェックし正常動作している第２階層システ
ムバスを判定し、セレクタ３１１ａで選択し出力する。
バスモニタ３１１ｅによりバストランザクションを監視
し、入出力制御装置３２１へ送出すべき信号を判定し、
該信号をドライバ素子３１１ｆが入出力制御装置３２１
に送出する。入出力制御装置３２１から第２階層システ
ムバス３０３、３０４へ向う信号は、バスモニタ３１１
ｇが監視し、送出すべき信号を判定し、該信号をドライ
バ２１１ｈ、２１１ｉを経由して通常バス３０３ａ、３
０４ａに送出する。同時にパリティ生成回路３１１ｃ、
３１１ｄでパリティデータが生成されパリティバス３０
３ｂ、３０４ｂに送出される。

【０１３７】以上のように、この実施例は、各プロセッ
シングユニットは同一の演算を実行する３台以上のプロ
セッサで構成され、上記プロセッサはバスインタフェー
スユニットによりシステムバスに個別に接続され、これ
らシステムバスに接続される同一の動作を実行する３台
以上のバスブリッジを有し、上記３つバスブリッジのう
ちいずれか一つの出力を選択する２つの選択回路、選択
された出力を第２階層システムバスに出力し、また、第
２階層システムバスからの信号を３台のバスブリッジに
送出する２つの第２階層システムバスインタフェースユ
ニットを有することを特徴とする。

【０１３８】実施例４． 実施例１で示した主記憶装置は、信頼性の点で、次の問
題点がある。メモリライト時にメモリデータバス５１ａ
のデータを使用して、ＥＣＣ生成回路５２ｂがＥＣＣを
生成するが、セレクタ５３ａからＥＣＣ生成回路５２ｂ
までのパスでメモリデータバス５１ａに障害があった場
合、変更された不正なデータに対してＥＣＣ生成回路５
２ｂはＥＣＣを生成してしまい、そのデータをリードす
る時にはＥＣＣチェック回路５２ｃでデータのエラーを
検知できない。従って、その主記憶装置がプライマリで
あれば誤ったデータをそのまま３重化システムバスに出
力してしまう。また、メモリリード時には、本主記憶装
置がプライマリの場合、メモリデータバス５１ａ上のＥ
ＣＣチェック回路５２ｃがデータを取り込む地点からシ
ステムバス１、２、３に分岐する地点の間で障害があっ
た場合、ＥＣＣチェック回路５２ｃがエラーを検知して
いない正しいデータが変更され、不正なデータとしてシ
ステムバス１、２、３に送出されてしまう。このような
ことが起れば、システムが誤動作してしまう。

【０１３９】そこで別の実施例として、選択回路を実施
例１で示したものより高性能化、高信頼化した例を図２
７に示す。図において、メモリアレイブロック５１は、
メモリデータバス５１ａ、ＥＣＣデータバス５１ｂ、メ
モリアレイ５１ｃ、ＥＣＣアレイ５１ｄから構成され
る。メモリインタフェースユニット５２は、メモリ制御
回路５２ａ、プライマリビット５２ｄ、ＡＮＤ素子５２
ｅ、他プライマリ要求出力線５２ｆ、自プライマリ要求
入力線５２ｇ、ＥＣＣチェック回路５２ｈ、５２ｉ、５
２ｊ、ＯＲ素子５２ｎ、メモリデータバスドライバ５２
ｋ、５２ｌ、５２ｍから構成される。インタフェースユ
ニット５３は、セレクタ５３ａ、比較回路５３ｂ、シス
テムバスドライバ５３ｃ、５３ｄ、５３ｅ、ＥＣＣ生成
回路５３ｆ、５３ｇ、５３ｈ、セレクタ５３ｉから構成
される。プライマリビット５２ｄは、その主記憶装置が
プライマリでリードデータをドライブすることを示すビ
ットであり、主記憶装置５０、６０で２重化された主記
憶装置の一方のプライマリビットがプラマリとしてセッ
トされており、もう一方のプライマリビットはセカンダ
リとしてセットされていない。この例では、主記憶装置
５０がプライマリなので、プライマリビット５２ｄはセ
ットされていて、主記憶装置６０の同等のビット（図に
はないが６２ｄとする）はセットされていないものとす
る。

【０１４０】システムバス１、２、３よりシステムバス
の動作が５３ｂ比較回路で比較され、正常動作している
バスの出力がセレクタ５３ａで選択され、メモリデータ
バス５１ａに出力される。同時にＥＣＣ生成回路５３
ｆ、５３ｇ、５３ｈがシステムバス１、２、３のデータ
よりＥＣＣデータを生成し、正常動作しているバスのデ
ータから生成されたＥＣＣデータがセレクタ５３ｉによ
り選択され、ＥＣＣデータバス５１ｂに出力される。メ
モリ制御回路５２ａはバストランザクションを解析し、
自メモリへのアクセス（リードまたはライト）であれ
ば、以下の動作を行う。

【０１４１】メモリライト時は、メモリ制御回路５２ａ
がメモリデータバス５１ａ上のデータをメモリアレイ５
１ｃにライトするべく制御を行い、データはメモリアレ
イ５１ｃに格納される。同時に、ＥＣＣデータバス５１
ｂ上のＥＣＣデータをＥＣＣアレイ５１ｄにメモリ制御
回路５２ａの制御により格納する。実施例１に比べ、Ｅ
ＣＣデータデバイス５３ｂによる障害検知とＥＣＣ生成
回路５３ｆ、５３ｇ、５３ｈによるＥＣＣ生成が同時
に、また、メモリアレイ５１ｃとＥＣＣアレイ５１ｄへ
の書込みが同時にできるため、メモリライト動作が短い
時間で完了する。この様子を図２８に示す。また、ＥＣ
Ｃを生成するためのデータを５１ａとは別のシステムバ
ス１、２、３から直接取っているので、メモリデータバ
ス５１ａが障害を発生して、不正データをメモリアレイ
５１ｃにライトしたら、リード時にＥＣＣエラーとして
検出できる。また、ＥＣＣ生成回路５３ｆ、５３ｇ、５
３ｈの近辺のバスが障害を発生した場合は、セレクタ５
３ｉで不正なＥＣＣコードが選択されＥＣＣアレイ５１
ｄにライトされるが、やはりリード時にそれを検知でき
る。

【０１４２】メモリリード時は、メモリ制御回路５２ａ
がメモリアレイ５１ｃ、ＥＣＣアレイ５１ｄ内の所望の
アドレスのデータをリードすべく制御を行い、メモリデ
ータはメモリデータバス５１ａに、ＥＣＣデータはＥＣ
Ｃデータバス５１ｂに出力される。これらのデータはメ
モリデータバスドライバ５２ｋ、５２ｌ、５２ｍを経由
した後、ＥＣＣチェック回路５２ｈ、５２ｉ、５２ｊに
より正当性をチェックされる。ＥＣＣチェック回路５２
ｈ、５２ｉ、５２ｊのいずれかがＥＣＣ２ビットエラー
を検知すると、それらの出力がＯＲ素子を経由してプラ
イマリビット５２ｄをリセットする。データが正当であ
れば、プライマリビット５２ｄの内容は変化せずセット
されたままである。従って、システムバスドライバ５３
ｃ、５３ｄ、５３ｅは、ＡＮＤ素子５２ｅを経由したメ
モリ制御回路５２ａの制御により、メモリデータバス５
１ａ上のメモリデータを、システムバス１、２、３に出
力する。このようにしているので、メモリアレイブロッ
ク５１、メモリインタフェースユニット５２、インタフ
ェースユニット５３内のデータパスの１点の障害は、Ｅ
ＣＣチェック回路５２ｈ、５２ｉ、５２ｊで検知される
か、検知されなくとも誤って不正データを送出するのは
システムバス１、２、３のうち一本に限られ、システム
の誤動作は回避できる。

【０１４３】以上のように、この実施例は、メモリデー
タの正当性のチェックコードの生成手段を３重化し、３
つのシステムバスのそれぞれに接続し、システムバスの
比較回路の出力により、それらのうち１つを選択し、格
納する機能を有することを特徴とする。また、チェック
コードによるメモリデータの正当性のチェック手段を３
重化し、３重化システムバスへのデータパスのそれぞれ
に接続したことを特徴とする。

【０１４４】実施例５． 更に、別の実施例として、複数のプロセッサを１チップ
に封入した例を図２９に示す。図において、１はシステ
ムバス、４１は２つのプロセッサが封入されているＬＳ
Ｉで、内部にプロセッサ１１と１２を有し、４１ａはプ
ロセッサ１１のリセット信号、４１ｂはプロセッサ１２
のリセット信号、４１ｃはプロセッサ１１のシステムバ
ス要求信号、４１ｄはプロセッサ１２のシステムバス要
求信号、４１ｅは１１のシステムバス使用許可信号、４
１ｆはプロセッサ１２のシステムバス使用許可信号、４
１ｇはプロセッサ１１および１２に対するその他の入出
力信号でアドレス、データ、制御線を含む。４２はバス
インタフェースユニット、４２ａ〜４２ｈはドライバ素
子、４２ｉは出力イネーブル信号、４２ｊはプロセッサ
１１のリセット信号、４２ｋはプロセッサ１２リセット
信号である。

【０１４５】動作について説明する。プロセッサ１１、
１２は個別に演算を行い、システムバス１を使用する要
求が発生したら、それぞれシステムバス要求信号４１
ｃ、４１ｄをアービトレーション回路に送出し、それが
アービトレーション回路からそれぞれシステムバス使用
許可信号４１ｅ、４１ｆを受信すると入出力信号４１ｇ
を用いてドライバ４２ａ、４２ｂを経由してシステムバ
ス１を使用する。ここで、システムバス１１を使用する
のはアービトレーション回路によってプロセッサ１１、
１２のうちの一方に限られるから、リセット、システム
バス要求、システムバス使用許可信号以外の信号は一度
に一方しか使わないので、共通にできる。一方、システ
ムバス要求、システムバス使用許可信号はバスの使用者
を外部回路に明確にするため共通にしない。また、リセ
ットも、プロセッサごとにリセットをかけられるよう共
通にしない。

【０１４６】プロセッサ毎にリセット、バスの使用権を
明確に区別することによって、システムが実行中に一方
のプロセッサが停止していても、もう一方のプロセッサ
は追随モードで処理を同期実行することができる。従っ
て、プロセッシングユニットの再同期処理によるリセッ
ト、初期化処理による通常処理の中断は、一度には一つ
のプロセッサの実行中断に限られ、性能低下は少なく押
えられる。

【０１４７】以上のように、この実施例は、第１と第
４、第２と第５、第３と第６ののプロセッサをそれぞれ
同一チップに封入し、同一チップ内と言えども、プロセ
ッサ毎にチップ外部からリセットが入力でき、プロセッ
サ毎にチップ外部からプロセッサの停止を制御する手段
を有し、外部へのシステムバスの使用要求出力およびそ
の返答であるバス使用許可入力は、プロセッサごとに制
御可能であることを特徴とする。

【０１４８】このように、複数のプロセッサを一部の入
力信号（リセット、バス許可信号）をプロセッサ毎に分
離し、それ以外の信号線を共通化して一つのＬＳＩに封
入することで、少ないＩ／Ｏピンで高性能なチップを実
現できる。

【０１４９】また、複数プロセッサを１チップに封入
し、大部分の入出力信号を共通のピンにすることで、同
一性能を得るのに少ない部品数、少ないピン数で実現さ
れ、信頼性が向上する。

【０１５０】実施例６． 更に、この発明の別の実施例を図に基づいて説明する。
図３０において、１、２、３、４は４重化されたシステ
ムバスである。１０はプロセッシングユニット、１１、
１２、１３、１４はプロセッシングユニット１０を構成
する４重化されたプロセッサで、バスインタフェースユ
ニット１５、１６、１７、１８を経由してそれぞれシス
テムバス１、２、３、４に接続されている。２０も同様
にプロセッシングユニットであり、２１、２２、２２、
２４はプロセッサ、２５、２６、２６、２７はバスイン
タフェースユニットである。５０は主記憶装置であり、
５１はメモリアレイブロック、５２はメモリインタフェ
ースユニット、５３は４つのシステムバスの出力を一つ
選択する選択回路である。６０も同様に主記憶装置であ
り、６１はメモリアレイ、６２はメモリ制御回路、６３
は選択回路である。９０はシステムバスの使用者を決定
するアービトレーション回路、１０１、１０２、１０
３、１０４はシステムバスと第２層システムバスを接続
するバスブリッジ、１１０は４重化されたバスブリッジ
の出力の内何れか一つを選択する第２階層システムバス
インタフェースユニット、１０５は第２階層システムバ
スである。１１１、１１２、１１３は、第２階層システ
ムバス１０５に接続される入出力制御装置、１２１、１
２２、１２３はそれぞれ、入出力制御装置１１１、１１
２、１１３に接続される入出力装置である。

【０１５１】続いて、動作について説明する。正常動作
時には、プロセッサ１１、１２、１３、１４は同じ演算
を実行し、プロセッサ２１、２２、２３、２４も同じ演
算を実行し、バスブリッジ１０１、１０２、１０３、１
０４は同じ処理を行い、従って、システムバス１、２、
３、４は同じ動作を行う。

【０１５２】一つのプロセッサ（例えばプロセッサ１
１）に障害が発生した場合、システムバス１１の動作が
他の３者と異なり、選択回路５３、６３および第２階層
システムバスインタフェースユニット１１０は、障害を
発生したシステムバス１を選択せず、システムは正常実
行を続けられる。つまり、プロセッサ１２、１３、１４
は同じ演算が継続でき、プロセッサ２２、２３、２４も
同じ演算が継続でき、バスブリッジ１０２、１０３、１
０４も同じ演算が継続でき、従って、システムバス２、
３、４は同じ動作を継続する。

【０１５３】この状態で、オペレータや保守員によって
プロセッサ１１が交換されるのを待つ。この間、通常は
数時間から１日程度が望ましいが、場合によっては、数
日程度待たねばならないこともありうる。この間に別の
プロセッサが更に故障する可能性もある。しかし、この
場合もシステムバスは３重化同期動作をしているので、
その故障を選択回路５３、６３、第２階層システムバス
インタフェースユニット１１０は正しく検知し、切り離
す（即ち選択しないということ）ことができ、システム
は正常に動作を続けることができる。

【０１５４】プロセッサ１１が交換されたあと、システ
ムバス１を追随モードにし、他のシステムバス２、３、
４と同じ動作をさせ、続いて、プロセッサ１１、１２、
１３、１４を同時にリセット・初期化し、内部状態を合
わせ、同様に、プロセッサ２１、２２、２３、２４を同
時にリセット・初期化し、内部状態を合わせ、システム
バス１の追随モードを解除し、システムは正常実行状態
にもどる。

【０１５５】上記に示すようにシステムバスを４重化す
ることによって、１つのプロセッサに障害が発生して
も、プロセッサの交換作業が完了するまで、システムバ
スを３重化同期動作させることで、各選択回路はいわゆ
る多数決による正常バスの判定ができ、もう一つの別の
プロセッサの障害に対しても正しく障害を検知、切り離
しができる。従って、障害発生時に性能も信頼性も低下
させない構成が可能である。

【０１５６】実施例７． この構成で、別の動作例について説明する。図３０にお
いて、正常動作時には、プロセッサ１１、１２、１３は
同じ演算を実行し、プロセッサ２１、２２、２３も同じ
演算を実行し、バスブリッジ１０１、１０２、１０３は
同じ処理を行い、従って、システムバス１、２、３は同
じ動作を行う。プロセッサ１４、２４およびバスブリッ
ジ１０４は予備用として、停止している。従って、プロ
セッサ１４、２４、バスブリッジ１０４の動作時に比べ
て消費電力は少なくなる。

【０１５７】一つのプロセッサ（例えばプロセッサ１
１）に障害が発生した場合、システムバス１１の動作が
他の２者と異なり、選択回路５３、６３および第２階層
システムバスインタフェースユニット１１０は、障害を
発生したシステムバス１を選択せず、システムは正常実
行を続けられる。つまり、プロセッサ１２、１３は同じ
演算が継続でき、プロセッサ２２、２３も同じ演算が継
続でき、バスブリッジ１０２、１０３も同じ演算が継続
でき、従って、システムバス２、３は同じ動作を継続す
る。

【０１５８】プロセッサ１１、２１、バスブリッジ１０
１を停止したあと、プロセッサ１４、２４、バスブリッ
ジ１０４を動作開始させ（ここでは、他のプロセッサと
の同期動作はしていない）、続いて、システムバス４を
追随モードにし、他のシステムバス２、３と同じ動作を
させる。プロセッサ１２、１３、１４を同時にリセット
・初期化し、内部状態を合わせ、同様に、プロセッサ２
２、２３、２４を同時にリセット・初期化し、内部状態
を合わせ、システムバス４の追随モードを解除し、シス
テムはシステムバス２、３、４の３重化同期実行状態に
なる。

【０１５９】この状態で、オペレータや保守員によって
プロセッサ１１が交換されるのを待つ。この間、通常は
数時間から１日程度が望ましいが、場合によっては、数
日程度待たねばならないこともありうる。この間に別の
プロセッサが更に故障する可能性もある。しかし、この
場合もシステムバスは３重化同期動作をしているので、
その故障を選択回路５３、６３、第２階層システムバス
インタフェース１１０は正しく検知し、切り離す（即ち
選択しないということ）ことができ、システムは正常に
動作を続けることができる。

【０１６０】プロセッサ１１が交換されたあと、プロセ
ッサ１４、２４、バスブリッジ１０４を停止させ、続い
て、プロセッサ１１、２１、バスブリッジ１０１を動作
開始させる。続いて、システムバス１を追随モードに
し、他のシステムバス２、３と同じ動作をさせ、続い
て、プロセッサ１１、１２、１３を同時にリセット・初
期化し、内部状態を合わせ、同様に、プロセッサ２１、
２２、２３を同時にリセット・初期化し、内部状態を合
わせ、システムバス１の追随モードを解除し、システム
は元の正常実行状態にもどる。

【０１６１】上記に示すようにシステムバスを４重化
し、そのうち３本を同期動作させ、一本を予備とするこ
とによって、１つのプロセッサに障害が発生しても、プ
ロセッサの交換作業が完了するまで、システムバスを３
重化同期動作させることで、各選択回路はいわゆる多数
決による正常バスの判定ができ、もう一つの別のプロセ
ッサの障害に対しても正しく障害を検知、切り離しがで
きる。従って、障害発生時に性能も信頼性も低下させな
い構成が可能である。しかも、通常システムバス３本分
しか動作していないので、実施例５に比べて消費電力が
少なくて済み、また容量の小さい電源で済むので経済的
に有利である。

【０１６２】以上のように、この実施例は、前記システ
ムバスは第１、第２、第３、第４のシステムバスから構
成され、同一の動作を行い、前記各プロセッシングユニ
ットは第１、第２、第３、第４のプロセッサを備えて、
同一の演算を実行しており、第１のプロセッサは第１の
システムバスに、第２のプロセッサは第２のシステムバ
スに、第３のプロセッサは第３のシステムバスに、第４
のプロセッサは第４のシステムバスそれぞれ接続されて
おり、同様に第５のプロセッサは第１のシステムバス
に、第６のプロセッサは第２のシステムバスに、第７の
プロセッサは第３のシステムバスに、第８のプロセッサ
は第４のシステムバスにれぞれ接続されており、同一シ
ステムバスに接続されるプロセッサ（第１と第５、第２
と第６、第３と第７、第４と第８）が一つのオンライン
交換単位である高信頼計算機システムにおいて、第１の
プロセッサが故障した場合、第２と第６、第３と第７、
第４と第８のそれぞれのプロセッサが同期動作を継続す
る機能を有し、第１と第５のプロセッサを含む交換単位
を、第２と第６、第３と第７、第４と第８のプロセッサ
を動作させながら交換したあと、第１のシステムバスを
第２または第３または第４のシステムバスに追随動作が
できる機能を有し、第１のプロセッサの動作を、第２ま
たは第３または第４のプロセッサの動作にあわせ、続い
て、第５のプロセッサの動作を、第６または第７または
第８のプロセッサの動作にあわせることを特徴とする。

【０１６３】また、前記システムバスは第１、第２、第
３、第４のシステムバスから構成され、上記プロセッシ
ングユニットは第１、第２、第３、第４のプロセッサを
備えて、第１のプロセッサは第１のシステムバスに、第
２のプロセッサは第２のシステムバスに、第３のプロセ
ッサは第３のシステムバスに、第４のプロセッサは第４
のシステムバスそれぞれ接続されており、同様に別のプ
ロセッシングユニットは、第５、第６、第７、第８のプ
ロセッサを備えて、第５のプロセッサは第１のシステム
バスに、第６のプロセッサは第２のシステムバスに、第
７のプロセッサは第３のシステムバスに、第８のプロセ
ッサは第４のシステムバスにれぞれ接続されており、第
１、第２、第３のシステムバスは同一の動作を行い、第
４のシステムバスは待機系として停止しており、第１、
第２、第３のプロセッサは同一の演算を実行し、第４の
プロセッサは停止しており、また、第５、第６、第７の
プロセッサは同一の演算を実行し、第８のプロセッサは
停止しており、同一システムバスに接続されるプロセッ
サ（第１と第５、第２と第６、第３と第７、第４と第
８）が一つのオンライン交換単位である高信頼計算機シ
ステムにおいて、第１のプロセッサが故障した場合、第
２と第６、第３と第７のそれぞれのプロセッサが同期動
作を継続する手段と、直ちに第４のプロセッサを第２ま
たは第３のプロセッサの状態に、第８のプロセッサを第
６または第７の状態に同期させる手段を有し、第１と第
５のプロセッサを含む交換単位を、第２と第６、第３と
第７、第４と第８のプロセッサを動作させながら交換し
たあと、第１のシステムバスを第２または第３または第
４のシステムバスに追随動作ができる機能を有し、第１
のプロセッサの動作を、第２または第３または第４のプ
ロセッサの動作にあわせ、続いて、第５のプロセッサの
動作を、第６または第７または第８のプロセッサの動作
にあわせることを特徴とする。

【０１６４】

【発明の効果】以上のように、この発明によれば、プロ
セッサの高周波数動作の阻害要因が入らないかたちで、
プロセッサの３重化による高信頼化を行える。また、高
性能な高信頼計算機が構築でき、また、Ｉ／Ｏも信頼性
の要求される構成がとれるし、経済性が要求される構成
もとれる効果がある。

【０１６５】さらに、障害発生・回復処理時に信頼性の
低下しない計算機システムや性能の低下しない計算機シ
ステムが構築できる効果がある。

【０１６６】さらに、同一のハードウェアで、高信頼性
を要求されるシステムと高性能を要求されるシステムの
両者が構築できる効果がある。

【０１６７】さらに、１つのパッケージに複数のプロセ
ッサを封入することにより、高性能なシステムが、より
小型に実現できる効果がある。

【０１６８】本発明によれば、プロセッサとシステムバ
スを３重化しているので、多重化計算機の高性能化が計
れる。

【０１６９】本発明によれば、１つのバスに複数のプロ
セッサが存在するためさらに、計算機システムの性能が
向上する。

【０１７０】本発明によれば、選択回路によりデータの
転送を制御するので多重化されたバスと多重化されてい
ないデバイスとの間でのデータ転送が、矛盾なく行なえ
る。

【０１７１】本発明によれば、バスが３重化されている
ため障害検出手段が容易に障害を検出することができ
る。

【０１７２】本発明によれば、障害のあったバスを切り
離すため障害が発生しても信頼性が低下しないシステム
を提供することができる。

【０１７３】本発明によれば、主記憶装置を３重化した
バスに接続するため主記憶装置までのデータ転送の高信
頼化が計れる。

【０１７４】本発明によれば、主記憶装置を２重化して
いるのでメモリ部分の高信頼化が計れる。

【０１７５】本発明によれば、周辺機器システムを３重
化されたシステムに接続することが可能になる。

【０１７６】本発明によれば、周辺機器システム内のシ
ステムを３重化しているので周辺機器システム自身が高
信頼化できる。

【０１７７】本発明によれば、周辺機器システム内のバ
スをシングルバスとしているため周辺機器システムを安
価に作成することができる。

【０１７８】本発明によれば、周辺機器システム内部の
バスを２重化しており前述したような３重化されたバス
よりも安価にできると共にシングルバスに比べて高信頼
化が計れる。

【０１７９】本発明によれば、主記憶装置が複数存在す
る場合にでも、データの送出をプライマリ記憶装置に行
なわせることにより矛盾なくデータの転送が行なえる。

【０１８０】本発明によれば、チェック手段によりデー
タの正当性がないと判断された場合にはプライマリ主記
憶装置を交換することができるので故障が生じた場合で
も正当なデータを転送することができる。

【０１８１】本発明によれば、チェックコードの生成を
３重化したため主記憶装置の高信頼化が計れる。

【０１８２】本発明によれば、チェック手段を３重化し
たため主記憶装置の高信頼化が計れる。

【０１８３】本発明によれば、同期動作モードと個別動
作モードを備えているため高信頼な計算機と高性能な計
算機を同一のハードウェアで実現することができる。

【０１８４】本発明によれば、個別動作モードにおいて
は選択回路が個別動作用の制御を行なうため個別動作モ
ードにおいてもその他の部分に対して特別な変更を要し
ない。

【０１８５】本発明においては、アービトレーション手
段が同期動作モードと個別動作モードに対応できるため
いずれの動作モードにおいてもバスの獲得を正常に行な
うことができる。

【０１８６】本発明によれば、複数の主記憶装置が存在
する場合個別モードにおいてはそれぞれのアドレス空間
を異ならせるようにしているため、より広いアドレス空
間に対してアクセスすることが可能になる。

【０１８７】本発明によれば、モード指定手段とモード
設定手段によりシステムの立ち上げ時あるいはシステム
のリセット時にいずれかのモードを任意にセットするこ
とができる。

【０１８８】本発明によれば、１つのチップに２つのプ
ロセッサを封入しながらも個別にプロセッサを制御する
ことができる。

【０１８９】本発明によれば、前述したプロセッサチッ
プをシステムに用いているため高性能なシステムがより
小型に実現できる。

【０１９０】本発明によれば、バスを４重化したため、
さらに信頼性のあるシステムを得ることができる。

【０１９１】本発明によれば、障害が発生した場合にも
信頼性を維持するような方法でプロセッサを動作させる
ため障害時においても信頼性を維持することができる。

【０１９２】本発明によれば、障害の発生時及び障害の
復旧後においても高信頼な計算機システムを提供するこ
とができる。

【０１９３】本発明によれば、障害の復旧を複数サイク
ル停止するだけで行なうことができる。

【０１９４】本発明によれば、障害発生時にも高性能な
システムを提供することができる。

【０１９５】本発明によれば、前述した障害発生時であ
っても性能を維持しながら処理を続行する障害復旧方法
を一定サイクルの遅延のみで実現することができる。

【図面の簡単な説明】

【図１】この発明の概略構成図である。

【図２】この発明の論理ＣＰＵが２台の場合の概略構成
図である。

【図３】この発明のメモリが２重化された場合の概略構
成図である。

【図４】この発明の高性能モードの概略構成図である。

【図５】この発明の周辺機器システムを有した概略構成
図である。

【図６】この発明の周辺機器システムを有した概略構成
図である。

【図７】この発明の周辺機器システムを有した概略構成
図である。

【図８】この発明の故障したＣＰＵを切り離す場合の動
作を説明する図である。

【図９】この発明のＣＰＵボードの交換を示す図であ
る。

【図１０】この発明のＣＰＵボードの交換を示す図であ
る。

【図１１】この発明のプロセッサチップの概略図であ
る。

【図１２】この発明の一実施例による高信頼計算機のブ
ロック図である。

【図１３】この発明の一実施例によるプロセッサまわり
のブロック図である。

【図１４】この発明の一実施例による主記憶装置のブロ
ック図である。

【図１５】この発明の一実施例によるプライマリビット
のセット／リセットを示す図である。

【図１６】この発明の一実施例による障害検知の手段を
表す図である。

【図１７】従来例による障害検知の手段を表す図であ
る。

【図１８】この発明の一実施例による入出力インタフェ
ースユニットのブロック図である。

【図１９】この発明の一実施例によるインタフェースユ
ニットのブロック図である。

【図２０】この発明の一実施例による高信頼モード／高
性能モードを表す図である。

【図２１】この発明の一実施例によるアービトレーショ
ン回路のブロック図である。

【図２２】この発明の一実施例によるパワーオン／リセ
ット直後のフロー図である。

【図２３】この発明の一実施例によるモード設定関連レ
ジスタの設定例を示す図である。

【図２４】この発明の別の実施例による高信頼計算機の
ブロック図である。

【図２５】この発明の別の実施例による第２階層システ
ムバスインタフェースユニットのブロック図である。

【図２６】この発明の別の実施例による入出力インタフ
ェースユニットのブロック図である。

【図２７】この発明の別の実施例による主記憶装置のブ
ロック図である。

【図２８】この発明の別の実施例による障害検知の手段
を表す図である。

【図２９】この発明の別の実施例によるプロセッサまわ
りのブロック図である。

【図３０】この発明の別の実施例による高信頼計算機の
ブロック図である。

【図３１】従来の高信頼計算機のブロック図である。

【符号の説明】

１ システムバス ２ システムバス ３ システムバス １０ プロセシングユニット １１ プロセッサ １２ プロセッサ １３ プロセッサ １４ バスインタフェースユニット １５ バスインタフェースユニット １６ バスインタフェースユニット ２０ プロセシングユニット ２０ プロセシングユニット ２１ プロセッサ ２２ プロセッサ ２３ プロセッサ ２４ バスインタフェースユニット ２５ バスインタフェースユニット ２６ バスインタフェースユニット ５０ 主記憶装置 ５１ メモリアレイ ５２ メモリインタフェースユニット ５３ 選択回路 ６０ 主記憶装置 ６１ メモリアレイ ６２ メモリインタフェースユニット ６３ 選択回路 ９０ アービトレーション回路 １０１ バスブリッジ １０２ バスブリッジ １０３ バスブリッジ １０４ 第２階層システムバス １１０ 第２階層システムバスインタフェースユニット １１１ 入出力制御装置 １１２ 入出力制御装置 １１３ 入出力制御装置 １２１ 入出力装置 １２２ 入出力装置 １２３ 入出力装置 ２０１ バスブリッジ ２０２ バスブリッジ ２０３ バスブリッジ ２０４ 第２階層システムバス ２０５ 第２階層システムバス ２０６ 第２階層システムバス ２１１ 入出力インタフェースユニット ２１２ 入出力インタフェースユニット ２１３ 入出力インタフェースユニット ２２１ 入出力制御装置 ２２２ 入出力制御装置 ２２３ 入出力制御装置 ２３１ 入出力装置 ２３２ 入出力装置 ２３３ 入出力装置

フロントページの続き (72)発明者 安永 裕明 鎌倉市上町屋325番地 三菱電機株式会 社 コンピュータ製作所内 (56)参考文献 特開 昭61−212138（ＪＰ，Ａ) 特開 平１−267701（ＪＰ，Ａ) 実開 平５−23257（ＪＰ，Ｕ) ＡＬＢＥＲＴ Ｌ．ＨＯＰＫＩＮＳ, ＪＲ．，ＦＴＭＰ − Ａ Ｈｉｇｈｌ ｙ Ｒｅｌｉａｂｌｅ Ｆａｕｌｔ−Ｔ ｏｌｅｒａｎｔ Ｍｕｌｔｉｐｒｏｃｅ ｓｓｏｒ ｆｏｒ Ａｉｒｃｒａｆｔ, Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，米国，ＩＥＥＥ，ＶＯＬ. 60 ＮＯ．10，Ｐ1221−1239 南谷崇，フォールトトレラントコンピ ュータ，日本，オーム社，1991年 ２月 ５日，Ｐ187−190 当麻喜弘，フォールトトレラントシス テムの構成と設計，日本，槙書店，1991 年 ３月30日，Ｐ17−18 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 11/16 - 11/20 G06F 13/00 G06F 15/16 - 15/177 G05B 9/03

Claims (18)

(57)【特許請求の範囲】
1. 【請求項１】 データを転送する３以上複数のバスと、 上記複数のバスに個々に接続され同一動作する３以上複
   数のプロセッサを有するプロセッシングユニットと、 上記複数のプロセッサからバスを介してアクセスされる
   デバイスと、上記３以上のバスと上記デバイスの間にあ
   って上記複数のプロセッサによるアクセスのうち動作が
   正しいと判断されるバスの選択を行う選択手段と、選択
   手段により選択されたバスとデバイス間のデータ転送を
   制御する制御部を有するサブシステムとを備えた計算機
   システムであって、 上記プロセッシングユニットは、複数存在し、ひとつの
   バスに複数のプロセッサを接続し、 上記複数存在するプロセッシングユニットのいずれかの
   プロセッシングユニットは、予め、障害発生時に実行す
   る実行モードを高性能モードまたは高信頼モードのいず
   れかに設定し、 上記制御部は、上記３以上複数のバスのデータを比較し
   て、障害の発生を検出し、その検出結果に基づいて上記
   選択手段のバスの選択を制御する障害検出部を備え、 上記計算機システムは、 上記障害検出部が障害の発生を検出した場合であって、
   上記実行モードを高信頼モードに設定した場合には、上
   記障害検出部の検出結果に基づいて、障害の発生を検出
   したプロセッサとひとつのバスによって接続されるすべ
   てのプロセッサの出力を抑止し、障害が発生していない
   バスの出力を障害の発生を検出したバスに送出して追随
   させ、障害の発生を検出したプロセッサを含むプロセッ
   シングユニットの動作を停止させ、障害の発生を検出し
   たプロセッサとひとつのバスによって接続される他のプ
   ロセッサの出力を許可し、障害の発生を検出したプロセ
   ッサを含むプロセッシングユニットをオンライン交換
   し、障害が発生したバスを障害が発生していない他のバ
   スに同期させて動作させ、 上記障害検出部が障害の発生を検出した場合であって、
   上記実行モードを高性能モードに設定した場合には、上
   記障害検出部の検出結果に基づいて、上記複数のプロセ
   ッシングユニットの各プロセッシングユニットで実行中
   の処理を障害が発生していないバスに接続されたプロセ
   ッサにより継続して実行させ、障害の発生を検出したプ
   ロセッサとひとつのバスによって接続されるすべてのプ
   ロセッサをオンライン交換し、交換したプロセッサを同
   一のプロセッシングユニットの他のプロセッサと同期さ
   せて動作させることを特徴とする計算機システム。
2. 【請求項２】 上記選択手段は、バスからデバイスへデ
   ータを転送する場合、複数のバスからひとつのバスを選
   択してデバイスと接続し、デバイスからバスへデータを
   転送する場合、複数のバスを選択してデバイスと接続す
   ることを特徴とする請求項１記載の計算機システム。
3. 【請求項３】 上記サブシステムは、主記憶装置であ
   り、上記デバイスはメモリであり、上記制御部はメモリ
   とバス間のデータ転送を行うメモリ制御部であることを
   特徴とする請求項１記載の計算機システム。
4. 【請求項４】 上記サブシステムは、上記主記憶装置を
   複数備え、上記複数のバスにそれぞれ接続したことを特
   徴とする請求項３記載の計算機システム。
5. 【請求項５】 上記サブシステムは、周辺機器システム
   であり、上記デバイスは入出力装置であり、上記制御部
   は入出力装置とバス間のデータ転送を行う入出力制御装
   置であることを特徴とする請求項１記載の計算機システ
   ム。
6. 【請求項６】 上記周辺機器システムは、上記複数のバ
   スに対応する３以上の第２バスと、上記バスと第２のバ
   スをそれぞれ接続する３以上のバスブリッジを備えたこ
   とを特徴とする請求項５記載の計算機システム。
7. 【請求項７】 上記周辺機器システムは、上記選択手段
   と上記入出力装置の間にひとつのバスから成る第３のバ
   スを備えたことを特徴とする請求項５記載の計算機シス
   テム。
8. 【請求項８】 上記複数の主記憶装置は、バスに対して
   データを送出するプライマリ主記憶装置とバスに対して
   データを送出しないセカンダリ主記憶装置を備えたこと
   を特徴とする請求項４記載の計算機システム。
9. 【請求項９】 上記プライマリ主記憶装置は、バスに転
   送するデータの正当性をチェックするチェック手段と、
   チェック手段のチェック結果に基づいてセカンダリ主記
   憶装置とプライマリ主記憶装置を交替する交替手段とを
   備えることを特徴とする請求項８記載の計算機システ
   ム。
10. 【請求項１０】 上記チェック手段は、各バスから転送
    されてきたデータの正当性をチェックする冗長コードを
    生成する複数の冗長コード生成手段と、生成された複数
    の冗長コードから正しい冗長コードを選択して記憶する
    冗長コード選択手段を備えたことを特徴とする請求項９
    記載の計算機システム。
11. 【請求項１１】 上記チェック手段は、各バスに対応し
    て冗長コードをチェックする複数の冗長コードチェック
    手段を備えたことを特徴とする請求項９記載の計算機シ
    ステム。
12. 【請求項１２】 上記計算機システムは、動作モードと
    して３以上のバスを同期動作させる同期動作モードと、
    ３以上のバスをそれぞれ非同期に動作させる個別動作モ
    ードを備え、 上記複数の主記憶装置は、個別動作モードにおいて異な
    るアドレスを用いてアクセスされるメモリを備えたこと
    を特徴とする請求項４記載の計算機システム。
13. 【請求項１３】 上記計算機システムは、上記動作モー
    ドを指定するモード指定手段と、モード指定手段により
    指定されたモードに設定するモード設定手段を備えたこ
    とを特徴とする請求項１２記載の計算機システム。
14. 【請求項１４】 上記バスを４つ備えたことを特徴とす
    る請求項１記載の計算機システム。
15. 【請求項１５】 第１、第２、第３のバスにそれぞれ個
    々に接続され同一動作を行なう第１、第２、第３のプロ
    セッサを備えた第１のプロセッシングユニットと、第
    １、第２、第３のバスにそれぞれ個々に接続され同一動
    作を行なう第４、第５、第６のプロセッサを備えた第２
    のプロセッシングユニットとを備えた計算機システムの
    第１のプロセッサに障害が発生した場合の障害復旧方法
    において、 第１のプロセッシングユニットで実行中の処理を第２及
    び第３のプロセッサにより継続して実行する継続実行工
    程と、 上記継続実行工程後、第１のプロセッシングユニットの
    動作を停止させ、第２のプロセッシングユニットにより
    次の処理を開始するシングルユニット処理工程とを有
    し、 上記継続実行工程は、 （ａ）第１のプロセッサと第４のプロセッサの出力を抑
    止する出力抑止工程と、 （ｂ）第１のバスの動作を第２、第３のバスの動作に追
    随させ第４のプロセッサと第５、第６のプロセッサとの
    同期動作を継続実行させる追随工程を備え、 上記シングルユニット処理工程は、 （ａ）第１のプロセッシングユニットの動作停止後、第
    ４のプロセッサの出力を許可する許可工程と、 （ｂ）第１のバスを第２、第３のバスに同期させる同期
    工程を備えたことを特徴とする障害復旧方法。
16. 【請求項１６】 上記追随工程は、 第１のバスの動作を１サイクル以上所定サイクル停止さ
    せてから第１のバスの動作を第２、第３のバスの動作に
    追随させるバス追随工程と、第４のプロセッサの動作を
    所定サイクル停止させて第５、第６のプロセッサから所
    定サイクル遅れた同期動作を行なわせるプロセッサ追随
    工程を備え、 上記同期工程は、第５、第６のプロセッサの動作を所定
    サイクル停止させて第４のプロセッサの動作と同期させ
    るプロセッサ同期工程と、第１のバスの動作を第２、第
    ３のバスの動作と同期させるバス同期工程を備えたこと
    を特徴とする請求項１５記載の障害復旧方法。
17. 【請求項１７】 第１、第２、第３のバスにそれぞれ個
    々に接続され同一動作を行なう第１、第２、第３のプロ
    セッサを備えた第１のプロセッシングユニットと、第
    １、第２、第３のバスにそれぞれ個々に接続され同一動
    作を行なう第４、第５、第６のプロセッサを備えた第２
    のプロセッシングユニットとを備えた計算機システムの
    第１のプロセッサに障害が発生した場合の障害復旧方法
    において、 （ａ）第１のプロセッシングユニットで実行中の処理
    を、第２、第３のプロセッサにより継続して実行、第２
    のプロセッシングユニットで実行中の処理を、第５、第
    ６のプロセッサにより継続して実行する継続実行工程、 （ｂ）上記継続実行工程中に、第１と第４のプロセッサ
    を新規なプロセッサを交換する交換工程、 （ｃ）上記交換工程後、第１と第４のプロセッサを他の
    プロセッサと同期させて動作させる同期工程を備えたこ
    とを特徴とする障害復旧方法。
18. 【請求項１８】 上記同期手段は、 （ａ）第１のバスを第２、第３のバスの動作から１サイ
    クル以上所定サイクル遅らせて動作させるバス追随工程
    と、 （ｂ）第１と第４のプロセッサを他のプロセッサの動作
    から所定サイクル遅らせて動作させるプロセッサ追随工
    程と、 （ｃ）上記第２、第３、第５、第６のプロセッサの動作
    を所定サイクル停止させて第１と第４のプロセッサの動
    作と同期させるプロセッサ同期工程と、 （ｄ）第１のバスの動作を第２、第３のバスの動作と同
    期させるバス同期工程を備えたことを特徴とする請求項
    １７記載の障害復旧方法。