DE69410671T2

DE69410671T2 - Datensicherung in einer Datenverarbeitungsanlage

Info

Publication number: DE69410671T2
Application number: DE69410671T
Authority: DE
Inventors: James E. California 95120 Mcilvain; Robert Wesley Morgan Hill California 95037 Shomler
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1993-03-23
Filing date: 1994-03-17
Publication date: 1999-02-25
Anticipated expiration: 2014-03-18
Also published as: DE69410671D1; EP0617362A1; EP0617362B1; JPH06290125A; JP2509460B2; US5446871A

Description

Diese Erfindung bezieht sich auf die Sicherung von Daten in einer Datenverarbeitungsanlage und insbesondere auf das Aktualisieren von Sicherungskopien, die an einem entfernten Standort gespeichert sind, anhand von Kopien, die sich in einem Speicher an einem primären Standort befinden.
Das Kopieren von Daten ist eine Form der Datenerhaltung in einem Informationsverarbeitungs- oder Computersystem. Jedoch muß die Datenerhaltung mittels des Kopierens von Daten viele Faktoren in Rechnung stellen. Dies ist von besonderer Bedeutung da, wo angenommen wird, daß Daten, die kopiert und an einem entfernten Standort gespeichert werden, die Ablage für jede fortgesetzte Interaktion mit den Daten ist, sollten die Arbeit und die Daten eines primären Standortes unverfügbar werden. Die Faktoren von Interesse beim Kopieren schließen ein die Schutzdomäne (System- und/oder Umgebungsausfall oder Gerät- und/oder Speichermedienausfall), Datenverlust (kein Verlust/Teilverlust), die Zeit, in der das Kopieren erfolgt, bezogen zu dem Auftreten von anderen Daten und Prozessen (Zeitpunkt/Realzeit), der Grad der Unterbrechung für Anwendungen, die auf dem genannten Computer ausgeführt werden, und ob die Kopie auf einer Anwendung oder einem Speichersubsystem basiert. Im Hinblick auf den letzten Faktor schließt auf der Anwendung basierendes Kopieren Protokolldateien ein, Datendateien, Programmroutinen, während auf dem Speicher basierendes Kopieren ein Verständnis der Adressen des Direktzugriffsspeichers und der Bezeichner der Dateien einschließt.
Wie unten dargelegt, ist der Stand der Technik voll von Verfahren und Vorrichtungen zum Sichern und/oder Duplizieren von Daten für Wiederherstellungs- und Archivierungszwecke. Während eine gewisse Unstimmigkeit zwischen einer ursprünglichen und einer kopierten Datei tolerierbar sein kann, ist es die Unkenntnis des Auftretens fehlender Daten, die solch eine Unschärfe unannehmbar macht. Das heißt, Unschärfe einer kopierten Datei bedeutet, daß ein Wiederherstellungsprozess nicht den Zustand der Datenkopie bestimmen kann.
Ein zum Stand der Technik gehörendes Verfahren zum Erzeugen konsistenter Sicherungsdaten (verlustloses Kopieren) schließt das Kopieren eines Teiles von auf einem Direktzugriffsspeicher gespeichereten Daten auf ein Magnetband einmal am Tag ein (Zeitpunktkopieren) und das Transportieren der Bandspeichermedien zu einem entfernten Platz mittels eines Lastwagens. Daher würde der Lastwagentransport von auf Band kopierten Daten (nimm an, daß jede Bandspule 200 Megabytes an Daten speichert, wenn sie durch einen Lastwagen weggebracht wird, der 200 solche Bandspulen zu einem entfernten Standort trägt, der 50 Meilen von dem primären entfernt ist, in angenommen einer Stunde) ein Übertragen mit einer durchschnittlichen Geschwindigkeit von 40 000 MB/3600 sec oder 4,444 Megabytes pro sec bedeuten. Solch eine Datenverdopplungspraxis war ungefähr um 1950 vollständig anwendungszersetzend. Darüberhinaus bot sie bestenfalls Unbequemlichkeit und einen Unterschied im Wert eines Tages in dem Datenzustand zwischen dem primären und dem entfernten Standort.
Noch ein anderes Verfahren schloß die Benutzung der Nachrichtenübertragung (z. B. T1-Leitungen) für das Übertragen der Sicherungskopie ein. Zeitigere Fernkopien, selbst bis auf die Minute, werden durch einige Datenbank-Managementsysteme (IMS, DB2) angeboten. Während solches Fernkopieren in Realzeit erfolgt, stützt es sich auf eine auf einer Anwendung basierende Kopie anstatt auf eine auf einem Speicher basierende Kopie, wie sie über einen kontinuierlich verfügbaren, ausschließlich zugeordneten Pfad zwischen den Standorten übertragen wird.
Das US-Patent 5 133 065 von Cheffetz et al. "Backup Computer Program for Networks", erteilt am 21.7.1992, offenbart ein lokales Rechnernetz (LAN), das einen Dateiserver aufweist, für den jeder lokale Knoten eine Liste lokaler, zu sichernder Dateien erstellt und überträgt. Solche Fernerzeugung hat den Zweck des Verringerns des Verkehrs, der da verursacht wird, wo ein Netzwerkserver das Erstellen einer Liste und die Aktivität des Dateikopierens aufruft. Mit Recht kann man behaupten, der Stand der Technik vor dieser Referenz lehrt eine zentralverwaltete Dateiauswahl. Das resultierte in Kompromissen zwischen lokaler Knotensicherheit und Überbenutzung des Servers. Dies wird vermutlich durch die nach Cheffetz am lokalen Knoten erzeugten Listen und die Verringerung der Listen für den Dateiserver vermieden.
Zweifelsfrei gibt Cheffetz eine Form von Zeitpunkt-Kopieren an mit einigem Bezug für das Ausgleichen von Belastungen und Sicherheit. Jedoch gibt es keine Vorkehrung für Datenintegrität, d. h. das Berücksichtigen irgendeiner Unschärfe in den durch den Dateiserver tatsächlich kopierten Daten.
Mikkelsens gleichzeitig anhängige Anmeldung "Method and Means for Time Zero Backup Copying of Data", WO93/08529, lehrt das Sicherungskopieren von bereitgestellten Datenmengen, das eine Zeitpunktkonsistenz in einer ZE darstellt, auf ein Direktzugriffsspeicher-Subsystem gleichzeitig mit der ZE-Anwendung durch Verschieben der Ausführung nur lange genug, um eine logische in eine echte Adressenkonkordanz zu bilden und danach die Datenmengen auf dem Speicher-Subsystem auf einer geplanten oder opportunistischen Grundlage direkt zu sichern.
Mikkelsens Verfahren und Vorrichtung liefern vorteilhaft Zeitpunktkopieren von ausgewählten, auf dem Speicher basierenden Datenmengen auf einer die Anwendung nicht unterbrechenden Basis. Trotzdem besteht der Engpaß darin, daß Zeitpunkt-Daten an dem entfernten Standort als ein Schnappschuß der Daten zu dem Zeitpunkt ankommen, an dem die gleichzeitige Kopie startete. Dies stellt einen Datenzustand viele Stunden früher dar als nachfolgende Datenaktualisierungen. Beachte, daß asynchrones, entferntes Datenduplizieren eine Kopieroperation darstellt, die in Realzeit auftritt, in der Aktualisierungen fortwährend vorausgesendet werden.
Das US-Patent 4 862 411 von Dishon et al., "Multiple Copy Data Mechanism on Synchronous Disk Drives", erteilt am 29.10.89, stellt eine zweifache Kopie sicher durch Bewirken, daß parallele Schreibpfade auf ein Paar von Direktzugriffsspeichern unabhängig von dem Kanalsteuerwort (KSW) synchronisiert werden und vermeidet den einzigen Doppelkopiepfad einer Steuereinheit, wie das in dem US-Patent 4 837 680 von Crockett et al. "Controlling Asynchronously Operating Peripherals" gezeigt ist, das am 6.6.89 erteilt wurde. In solchen Systemen wie dem IBM S/370 und dergleichen wurde ein virtueller Computer, der als "Kanal" bezeichnet wurde, benutzt, um den Pfadaufbau und die Datenübertragung zwischen dem Hauptspeicher der ZE und dem externen Speicher in die Wege zu leiten. Die Steuerung wurde ausgedrückt in der Form von KSWen, die durch den Kanal zu der Steuereinheit des externen Speichers zur Interpretation und Ausführung übertragen wurden.
Dishon erläutert durch ein Beispiel ein die Anmeldung nicht unterbrechendes Kopieren in Realzeit, das die Daten gegen Ausfall der Speichermedien oder des Gerätes schützt, behandelt aber keine System- oder Umgebungsfehler, wie sie gelegentlich durch einen fehlerhaften primären Standort auftreten.
Das US-Patent 5 155 845 von Beale et al. "Data Storage System for Providing Redundant Copies of Data", erteilt am 13.10.92, beschreibt das Erstellen zweifacher Kopien von Datensätzen variabler Länge (CKD) in zwei oder mehr externen Speichern durch Bewirken einer Schreiboperation, die durch die Steuereinheit des ersten Speichers zu verarbeiten ist und parallel über eine direkte Verbindung (Breitbandpfad) zu einer Steuereinheit eines zweiten Speichers übertragen wird. Dies beseitigt die Pfadlängenbeschränkung zwischen dem Standort für eine primäre und eine Fernkopie. Solch eine Beschränkung wird durch die Tatsache verursacht, daß die CKD-Abruf/Antwort-Architektur bezüglich der Länge (Bandbreite) auf einen Bereich von etwa 150 Metern begrenzt ist:
Beale behandelt in der Art von Dishon das die Anmeldung nicht unterbrechende zweifache Kopieren in Realzeit, das die Datenverfügbarkeit nur beim Vorliegen von Geräte- oder Speichermedienausfall schützt.
Anders ausgedrückt, das Aktualisieren eines entfernten Standortes asynchron und unabhängig von einem primären Standort schließt ein Verständnis ein, wie Schreib-Aktualisierungsoperationen an einem primären Standort erzeugt werden. In dieser Hinsicht schließt ein primärer Standort eine oder mehrere Anwendungen ein, die gleichzeitig auf einem Prozessor laufen, in dem jede Anwendung das erzeugt, was als "anwendungsabhängige Schreibvorgänge" bezeichnet wird. Das heißt, das Speicher- Subsystem hat keine Kenntnis oder kein Bewußtsein der Schreiboperationen oder ihrer eine Warteschlange bildenden Zeitplanung, die über das Betriebssystem aufgerufen werden soll. Eine variierende Verzögerung ist lokal. Die Anwendungen schreiben nicht nur auf einen einzigen oder den gleichen Direktzugriffsspeicher. In der Tat können sie ihre Schreibvorgänge in unterschiedlichen Mustern anhäufen, so daß sowohl die Länge der Warteschlange als auch die Geschwindigkeit des Aufrufs der Warteschlange unter den verschiedenen Direktzugriffsspeichern sowohl für anfängliche Schreib- und Kopieerzeugungszwecke variieren kann. Dies bedeutet, daß die Kopien, die an dem entfernten Standort empfangen werden, eine vernünftig hohe Wahrscheinlichkeit besitzen, daß sie während eines großen Teils der Zeit in einer ungeordneten Reihenfolge sind und Verzögerungen oder Verlusten unterworfen sind.
Mit einem Wort, asynchron und unabhängig ablaufende Anwendungen und Prozessoren erzeugen einen Strom von Schreiboperationen gegen einen lokalen Speicher und entfernte Standorte, welcher Strom sowohl eine Warteschlange bildet als auch mit verschiedenen Geschwindigkeiten ausgeführt wird, was in einer nahezu zufällig geordneten Kopienfolge resultiert.
Die vorliegende Erfindung, wie sie in den unabhängigen Ansprüchen 1 und 4 zum Ausdruck gebracht ist, löst die Probleme älterer Datenerhaltungssysteme und gibt demgemäß bei einem ersten Aspekt ein Verfahren an zum Aktualisieren von Sicherungsdaten, die an einem entfernten Speicher-Standort gespeichert sind als Antwort auf Schreib-Aktualisierungsoperationen in dem primären Speicher, die durch Anwendungen erzeugt werden, die auf einem Prozessor an einem primären Standort ausgeführt werden, wobei das Verfahren die Schritte umfaßt des: Erzeugens entsprechend einer Schreib-Aktualisierungsoperation an dem primären Standort einer Schreib-Zeichenfolge für die genannte Operation, die eine eindeutige Reihenfolgenummer und eine Adresse im primären Speicher einschließt, Sendens von Nachrichten von dem primären zu dem entfernten Speicher- Standort, wobei jede Nachricht selektiv eine Liste von kürzlich erzeugten Schreib-Zeichenfolgen zuzüglich Aktualisierungsdaten einschließt, die aufgelisteten Zeichenfolgen entsprechen, die in der gleichen Nachricht oder in früheren Nachrichten gesendet wurden, Wartens an dem entfernten Speicher-Standort einer anhängigen Schreib-Warteschlange und des Abgleichens entsprechend jeder von dem primären Standort empfangenen Nachricht der Aktualisierungsdaten mit den Zeichenfolgen und Zuordnens und Schreibens abgeglichener Aktualisierungen an dem entfernten Speicher-Standort in der Reihenfolge der Reihenfolgenummern.
Bei einem zweiten Aspekt der Erfindung wird ein Datenverarbeitungssystem angegeben, das einen Prozessor umfaßt, ein Betriebssystem, das in dem Prozessor residiert, einen primären Speicher, Mittel entsprechend den Anwendungen, die auf dem genannten Prozessor ausgeführt werden für Schreib-Aktualisierungen für den primären Speicher durch Aufrufe an das genannte Betriebssystem, und Mittel für das Übertragen dualer Kopien der genannten Aktualisierungen zu einem Speicher-Standort entfernt von dem primären Speicher und asynchron zur Ausführung der Anwendung, wobei die genannten Übertragungsmittel Mittel einschließen für das asynchrone Schreiben der genannten dualen Kopien der genannten Aktualisierungen an dem genannten entfernten Speicher-Standort, wobei die genannten Mittel für die duale Kopie umfassen: Mittel zum Bilden entsprechend einer Schreib-Aktualisierungsoperation in dem primären Speicher einer Schreib-Zeichenfolge, die eine eindeutige Aktualisierungs- Reihenfolgenummer und eine primäre Speicheradresse einschließt, Mittel zum Senden von Nachrichten über einen Verbindungsweg zwischen dem primären Speicher und dem entfernten Speicher- Standort, wobei jede Nachricht selektiv eine Liste einschließt von kürzlich erzeugten Schreib-Zeichenfolgen und Duplikat- Aktualsierungsdaten von aufgelisteten Zeichenfolgen, die in der gleichen Nachricht oder in früheren Nachrichten gesendet wurden, und Mittel an dem entfernten Speicher-Standort zum Warten entsprechend jeder empfangenen Nachricht einer anhängigen Schreib-Warteschlange, um Aktualisierungsdaten mit Zeichenfolgen abzugleichen für das Sortieren und Schreiben der Aktualisierungsdaten an dem entfernten Speicher-Standort nur, wenn sie mit der Duplikat-Zeichenfolge und in der Reihenfolge der Reihenfolgenummer sortiert sind.
Die vorliegende Erfindung gibt daher ein Verfahren und eine Vorrichtung an für das Unterstützen der Sicherung von Daten in Realzeit, bei denen das Kopieren laufende Anwendungen nicht unterbricht und bei denen weiter ein Datenverlust, der durch Verluste im Fluge verursacht wird oder durch Aktualisierungen, die nie zum Zeitpunkt irgendeiner Unterbrechung zwischen dem primären und dem entfernten Standort empfangen wurden (Unschärfe), bei dem entfernten Standort berücksichtigt werden.
Die vorliegende Erfindung unterstützt den Sicherungsmechanismus, bei dem die Integrität einer asynchron aufrechterhaltenen entfernten dualen Datenkopie veranlaßt wird, die gleiche zu sein, wie die der primären Kopie ohne diejenigen Aktualisierungen im Flug oder Aktualisierungen, die nie zu dem Zeitpunkt empfangen wurden, an dem die Quelle für die Aktualisierungskopie unterbrochen wurde. Typischerweise werden solche Unterbrechungen durch natürliche oder vom Menschen herbeigeführte Katastrophen verursacht, die die Arbeit und die Daten an dem primären Standort unverfügbar machen und unterstellen, daß irgendeine fortlaufende Arbeit und die kopierten und an dem entfernten Standort gespeicherten Daten sich gegenseitig beeinflussen.
Bei einem bevorzugten Ausführungsbeispiel der Erfindung benachrichtigt das Betriebssystem, abgekürzt als OS ( = operating system), des Prozessors das externe Speichersubsystem mit Direktzugriff, daß das Übertragen von Aktualisierungsdaten in einem bestimmten Ausmaß (Gruppen von Spuren und Zylindern) auszuführen ist, wobei der Ausdruck "Übertragen" das Weiterleiten von Kopien zu dem entfernten Standort bezeichnet. Das Speichersubsystem mit Direktzugriff überwacht dann dieses Ausmaß für die Schreibaktivität und benachrichtigt einen Reihenfolgedienst, daß ein Schreibvorgang im Gange ist. Diese Nachricht wird geliefert durch eine Zeichenfolge des Direktzugriffsspeichers, die die Spuren und Datensätze des Direktzugriffsspeichers beschreibt, in die geschrieben wird. Der Reihenfolgedienst kombiniert die vom Direktzugriffsspeicher gelieferte Zeichenfolge mit einer Reihenfolgenummer, die die zeitliche Reihenfolge dieses Schreibvorgangs relativ zu allen anderen markiert, die innerhalb der zusammenarbeitenden Menge von Systemen übertragen werden. Wenn diese Reihenfolgenummer zugeordnet wurde und die Schreibdaten zu dem Subsystem übertragen wurden, dann kann das Subsystem dem Hauptrechner, der die E-/A-Schreiboperation aufrief, signalisieren, daß die Operation beendet ist. Die Zeichenfolge und die Reihenfolgenummern werden auch zusammen mittels einer asynchronen Nachricht zu der sekundären Stelle geschickt, um Vorabinformationen zu liefern, daß der identifizierte Direktzugriffsspeicher aktualisiert werden wird.
Nachfolgend erhält ein Datenübertragungsvorgang, nachdem ihm die Reihenfolgenummer und Zeichenfolge angegeben wurden, die aktualisierten Daten von dem Subsystem zurück und veranlaßt, daß sie zusammen mit der Reihenfolgenummer und der Zeichenfolge zu der entfernten oder sekundären Stelle zurückgeschickt werden. Die entfernte oder sekundäre Stelle veranlaßt, daß die Aktualisierungsdaten des Direktzugriffsspeichers, wenn sie empfangen werden, in eine Warteschlange eingereiht werden. Danach steuert die entfernte Station Zugriffsvorgänge auf ihre lokal gespeicherten Informationen, um ihre Begleit-(Doppel-) Datenkopien in der gleichen Reihenfolge zu aktualisieren, wie sie in den primären Systemen erschienen. Im Fall einer Katastrophe an dem primären Standort kann ein Wiederherstellungsprozeß an der sekundären Datenstation die aufeinanderfolgenden Zeichenfolgen und Datenaktualisierungen interpretieren, die an der sekundären Stelle empfangen wurden, um ein zeitlich konsistentes Bild der Daten darzustellen, wie sie zur Zeit der letzten Aktualisierungsdaten vorlagen, die an dem entfernten oder sekundären Standort empfangen wurden.
Ein befriedigender Wiederherstellungsprozeß an dem entfernten oder sekundären Standort sollte möglich sein, um ein Bild der Daten des Direktzugriffsspeichers an dem Wiederherstellungsplatz zu liefern, das äquivalent zu den Daten ist, die auf dem Direktzugriffsspeicher an dem primären Standort gewesen wären, hätte der primäre Systemkomplex einen vollständigen und totalen Ausfall erlitten, aber ohne Gerätezerstörung. Nach der Ausführung des Wiederherstellungsprozesses an dem entfernten Standort sollten die sekundären Daten für die Anwendungen, die auf den Systemprozessoren ausgeführt werden, genauso erscheinen, wie sie es für die primären wären nach einem anfänglichen Systemanlauf IPL eine kurze Zeit vorher an dem primären Standort. Der Zeitbetrag "vorher" ist ein 'Fenster des Datenverlustes', das variiert werden kann als eine Funktion der Entfernung des Wiederherstellungsstandortes von dem primären, der verfügbaren Übertragungsbandbreite zwischen dem primären und dem Wiederherstellungsstandort und der verfügbaren Verarbeitungsleistung für die Datenübertragungseinrichtung. Ein bevorzugtes Ausführungsbeispiel der Erfindung wird jetzt lediglich als Beispiel beschrieben unter Bezugnahme auf die zugehörigen Zeichnungen, in denen:
Fig. 1 die Begriffsbildung der verschiedenen Faktoren darlegt, die in Rechnung gestellt werden müssen, wenn Daten mittels Kopieren geschützt werden,
Fig. 2 die Netzwerkbeziehungen oder Topologie veranschaulicht zwischen dem Hauptrechner, seinem angeschlossenen externen Speicher, dem entfernten Standort, an dem die Daten verdoppelt werden, und der Schnittstelle für den Informationsaustausch zwischen dem externen Speichersubsystem und dem entfernten Standort,
Fig. 3 die gleichen Beziehungen zeigt wie Fig. 2 mit der Angabe nummerierter Pfade der aufeinanderfolgenden Aktivitäten,
Fig. 4 das Format der Zeichenfolge darstellt, die Reihenfolgenummer und die Nachrichtenformate, die zwischen dem Subsystem und dem entfernten Standort benutzt und übertragen werden,
Fig. 5 eine Warteschlange von Nachrichten und Zeichenfolgen an dem entfernten Standort darstellt als ein Schnappschuß der Schreibaktualisierungsaktivität an dem primären Standort zu einem früheren Zeitpunkt.
Die Erfindung kann bequem in einer Konfiguration ausgeführt werden, in der jede ZE in einem System die ZE-Architektur eines Modells IBM/360 oder 370 aufweisen kann, die ein IBM-MVS- Betriebssystem aufweist. Eine ZE mit der Architektur der IBM/360 ist vollständig beschrieben in dem US-Patent 3 400 371 von Amdahl et al. "Data Processing System", das am 3. September 1968 erteilt wurde. Eine Konfiguration, die den gemeinsamen Zugriff von ZEen auf einen externen Speicher einschließt, ist im US-Patent 4 207 609 von Luiz et al. "Path Independent Device Reservation and Reconnection in a Multi-CPU and Shared Device Access System" beschrieben, das am 10. Juni 1980 erteilt wurde. Luiz beschreibt auch den virtuellen Computer oder das "Kanal"- Management und die Steuerung des externen Speichers durch Folgen oder Ketten von Kanalsteuerwörtern und dergleichen, die von dem "Kanal" ausgehen und durch das Speichersubsystem empfangen und interpretiert werden.
Ein MVS-Betriebssystem ist auch in der IBM-Veröffentlichung GC28-1150, "MVS/Extended Architecture System Programming Library : System Macros and Facilities", Volume 1, beschrieben. Einzelheiten des normalen MVS oder anderer Dienstleistungen des Betriebssystems, wie das lokale Verriegelungsmanagement, Aufruf des Subsystems durch Unterbrechung oder Monitor und das Übertragen und Warten von Aufgaben sind weggelassen. Diese OS- Dienstleistungen werden als von den Fachleuten gut verstanden angesehen.
Es wird jetzt auf Fig. 1 Bezug genommen. Darin ist ein Konzept der verschiedenen Faktoren dargestellt, die bei der Erhaltung von Daten mittels Kopieren in einem System einbezogen sind, das entweder einem System- oder Geräteausfall unterworfen ist. Wie dargestellt, kann der Schutzbereich das System und die Umgebung umfassen oder auf Verfügbarkeitsverbesserungen auf der Ebene des Gerätes und der Speichermedien beschränkt sein.
Wie in Fig. 1 dargestellt, war historisch das Kopieren zu einem Zeitpunkt unterbrechend für die Anwendung. Es erfordert, daß die Ausführung unterbrochen wird, bis die Operation des Sicherungskopierens beendet ist. Moderne Systeme liefern eine geplante Übertragung von Speichersubsystemen mit Direktzugriff auf Magnetband. Während die vorher erwähnte, ebenfalls anhängige Anmeldung von Mikkelsen das Unterbrechen der Ausführung einer Anwendung eliminiert und ein opportunistisches Planen der Sicherung zu einem Zeitpunkt gestattet, bleibt trotzdem der Datenzustand an irgendeinem verdoppelten Standort oder Aufbewahrungsort immer hinter dem laufenden Datenzustand des primären Standortes zurück.
Gemäß Fig. 1 ist Kopieren in Realzeit gewöhnlich nicht unterbrechend für die Ausführung der Anwendung, schließt minimalen oder keinen Datenverlust ein und hält den entfernten Standort mit dem primären auf dem Laufenden. Diese Realzeit- Kopierverfahren, die Matrizen mit Direktzugriff einschließen und vom doppelten Kopieren zum Schreiben speziell unterteilter, redundanzkodierter Gruppen von Datenblöcken über Geräte reichen, verbessern nur asysnchron die Datenverfügbarkeit im Hinblick auf den Ausfall von Geräten und Speichermedien und ziehen die Unverfügbarkeit des primären Standortes nicht in Betracht.
Andere Realzeit-Kopierverfahren, die auf einer Übertragung zu einem entfernten Standort basieren, verlangen einen dedizierten Pfad und können sehr wohl den Prozessor, das Speichersubsystem und den entfernten Standort blockieren. Dies kennzeichnet auf einem Logbuch basierende Systeme zum Transaktionsmanagement, wie z. B. relationale Datenbanken, automatisierte Zähler und dergleichen. In solchen Systemen hat nur die Anwendung Kenntnis von dem Ursprung der Kopie und der Forderung, daß der Datenzustand wiederherstellbar sein muß in einen mit der Transaktion konsistenten Zustand, der auf einen Ausfall folgt.
Es wird jetzt auf Fig. 2 Bezug genommen. Dort ist ein primärer Standort 1 dargestellt, der aus einem oder mehreren Systemen 3 besteht, die sich in den Zugriff auf eine Anzahl von Subsystemen 5 eines Direktzugriffsspeichers teilen, und eine Schnittstelle 7, die entfernte oder sekundäre Prozessorstandorte 9 verbindet. Für die Zwecke dieser Erfindung wird eines von diesen Systemen als das "ausgewählte primäre System" bezeichnet. Jedes ausgewählte primäre System schließt einen Prozessor ein, der ein Betriebssystem (OS) aufweist. Wiederum schließt das OS einen Parallel-Serienwandler und eine Übertragungseinrichtung für Daten, abgekürzt (DSÜ) 13, und eine virtuelle Datenfernübertragungs-Zugriffsmethode, abgekürzt (VTAM = Virtual Telecommunications Access Method) 11 oder dergleichen ein für das Bewirken von Informationsaustausch zwischen der Schnittstelle 7 und dem entfernten Standort 9.
Der Teil zur Parallel-Serienumwandiung der DSÜ ordnet ein Schreibfolgezeichen jeder Schreiboperation zu und fügt diese Zeichen in Nachrichten für die VTAM 11 ein, um sie zu einem Empfangssystem (VTAM 15 und Datenübertragungseinrichtung 17) an dem sekundären Platz (dem entfernten Standort 9) zu übertragen. Auch der Datenübertragungsteil der DSÜ 13 erhält geänderte Datensätze, die zu dem primären Direktzugriffsspeicher geschrieben werden, und formt sie und ihre Zeichen in Nachrichten für die VTAM 11 um, die an den sekundären Standort 9 zu senden sind.
Die VTAM 11 ist Teil des Hauptprozessors der Systemnetzwerkarchitektur (SNA), die von P. E. Green in "An Introduction to Network Architectures and protocols", beschrieben ist und im IBM System Journal, Vol. 18, No. 2, 1979, gedruckt wurde. Für weitere Einzelheiten der VTAM-Funktion und Implementierung kann auch auf das US-Patent 4 914 619 von Harris et al. "Apparatus and Method for Interconnecting and Application of a Transparent Services Access Facility to Remote Source", erteilt am 4.3.1990, und das US-Patent 4 855 905 von Astride et al. "Multiprotocol I/O Communications Controller Unit Including Emulated I/O Controllers and Tables Translation of Common Commands and Device Addresses", erteilt am 8.8.1989, Bezug genommen werden. Beachte, die VTAM 11 und 15 sind sowohl an dem primären Standort 1 als auch an dem sekundären 9 funktionell wirksam.
Es wird wieder auf Fig. 2 Bezug genommen. Der Zweck der VTAM 11 und 15 und der SNA- oder ESCON-Verbindung 7 in dem primären System und dem sekundären System 9 besteht darin, Nachrichten zwischen ihnen zu übertragen. Diese Nachrichten übertragen das Erstellen von schattierten (verdoppelten) Datenerweiterungen, Zeichenfolgen, die angeben, daß Aktualisierungen im Gange sind, und Zeichenfolgen mit geänderten Daten, die für die sekundären Datenkopien zu verwenden sind. Die VTAM ist funktionsfähig in Übertragungsnetzwerken hoher Handbreite einer oder mehrerer Verbindungen von Kanal zu Kanal, abgekürzt (KZK), die primäre und sekundäre Systeme verbinden. T1-Leitungen, T3-Leitungen oder andere Nachrichtenübertragungsdienste können benutzt werden, um Entfernungen zu unterstützen, die größer als ESCON sind, oder andere direkte KZK-Verbindungen können unterstützen. Der sekundäre Standort 9 kann sich in irgendeiner Entfernung von dem primären Standort 1 befinden.
In ähnlicher Weise hat das OS, das in dem Prozessorteil des sekundären Systems 9 residiert, eine Datenübertragungskomponente 17 zusätzlich zu seiner oben beschriebenen Dienstleistung der VTAM 15, die auf dem OS basiert. Die sekundäre Datenübertragungseinrichtung 17 empfängt die Nachrichten, die von dem primären Standort über die VTAM 25 gesendet werden, extrahiert und wartet die die Reihenfolge festlegende Zeichenfolge und legt aktualisierte Daten an Kopien des Direktzugriffsspeichers an dem sekundären Standort an.
Die Verdoppelungsoperation ist für ausgewählte Volumina oder Bareiche des Direktzugriffsspeichers durch das primäre System eingerichtet, ähnlich dem Verfahren für das Erstellen einer T-Null (T0)-Kopiersitzung, wie es in der ebenfalls anhängigen Anmeldung von Mikkelsen beschrieben ist. Bei dem Mikkelsen- Verfahren liest die primäre Datenübertragungseinrichtung eine T0-Zeitpunkt-Kopie der identifizierten Datenbereiche und schickt diese Daten zu dem sekundären Standort, um eine sekundäre Anfangskopie der verdoppelten Daten zu erstellen. Nachdem die Verdoppelungssitzung einmal begonnen wurde (mit oder ohne eine begleitende Zeitpunkt-Null-Kopie), überwachen die Subsysteme des Direktzugriffsspeichers diese Bereiche auf Datenschreibvorgänge und nehmen die folgende Maßnahme vor, wenn eine Schreiboperation begonnen wird.

Schreiboperationen an dem externen Speichersubsystem des primären Standortes

Es wird jetzt auf Fig. 3 Bezug genommen. Dort ist eine Angabe für die aufeinanderfolgenden Tätigkeiten durch nummerierte Pfade für die Konfiguration in Fig. 2 dargestellt. In dieser Hinsicht erzeugen an dem primären Standort der Kanalteil des OS und der Prozessor ein KSW, das eine Datenschreibfolge an einer verdoppelteln Adresse des Direktzugriffsspeichers einleitet. Dies wird durch das primäre Subsystem 5 des Direktzugriffsspeichers verarbeitet, (dies kann das erste von einigen KSW für diese Folge sein, wie für ein ECKD-KSW 'Lokalisiere Datensatz') die Daten werden von dem Schreibsystem zu dem primären Direktzugriffsspeicher über den Pfad (1) übertragen. Das Subsystem des primären Direktzugriffsspeichers schickt eine Schreib-Zeichenfolge über den Pfad (2) zu dem DSÜ- Parallel-Serienwandler 13, (der sich auf dem gleichen System befinden kann oder nicht, das die Daten in den Direktzugriffsspeicher schreibt). Die Anforderungs-Zeichenfolge identifiziert die Verdopplungssitzung, das Gerät, die Spuren und die zu schreibenden Datensätze. Sie kann auch eine Ereignis- Zeichenfolge eines eindeutigen Subsystems enthalten. Der DSÜ- Parallel-Serienumsetzer 13 ordnet eine globale Reihenfolgenummer dieser Zeichenfolge des Direktzugriffsspeichers zu und fügt die kombinierte Zeichenfolge für Reihenfolge + Direktzugriffsspeicher der nächsten Nachricht hinzu, die zu der VTAM 11 weitergeleitet wird, um zu dem sekundären oder entfernten Standort 9 geschickt zu werden. Die Nachricht wird über den Pfad (4) zu dem Standort 9 geschickt.
Das Subsystem 5 des Direktzugriffsspeichers, das das Datenschreiben im Direktzugriffsspeicher durchführt, vollendet seinen Datenschreibvorgang und signalisiert dem anfordernden System über den Pfad (3): " Schreiben beendet". (Wenn dies das Ende des Kanalprogramms des Hauptrechners ist, wird das "Schreiben beendet" zu dem anfordernden Programm abgesandt; sonst interpretiert der Kanal das Signal, das Kanalprogramm mit der nächsten Operation fortzusetzen.)
Als eine separate Operation asynchron zu der ursprünglichen Schreiboperation liest eine Datenübertragungseinrichtung, die auch im Block 13 residiert, die geänderten Daten des Subsysystems 5 des Direktzugriffsspeichers unter Benutzung der Adreßinformation für den Direktzugriffsspeicher der von dem Direktzugriffsspeicher über den Pfad (5) gelieferten, beschriebenen Zeichenfolge. Die Datenübertragungseinrichtung 13 wiederum fügt diese Daten zusammen mit ihrer Reihenfolge-Zeichenfolge zu der nächsten Nachricht hinzu, die zu dem sekundären Standort über eine Schaltung zu schicken ist, die die VTAM 11, die Schnittstelle, die VTAM 15 und eine Datenübertragungseinrichtung 17 einschließt, siehe Pfad (6) zwischen primärem und sekundärem Standort. (Es können mehrfache Datenübertragungsprozesse stattfinden, um den Schreibverkehr unterzubringen.)

Positive Rückmeldungs-Zeichenfolge

Ein stabileres Ausführungsbeispiel dieser Erfindung schließt die DSÜ 13 ein, die die Schreib-Zeichenfolge mit ihrer zugeordneten globalen Reihenfolgenummer zu dem Subsystem 5 des Direktzugriffsspeichers zurückschickt. Das Subsystem des Direktzugriffsspeichers hängt anschließend die von der DSÜ gelieferte Zeichenfolge an die geänderten Daten an, wenn sie zu der Datenübertragungseinrichtung geschickt werden. Dies eliminiert eine mögliche Unsicherheit im Fall schneller, mehrfacher Aktualisierungen des gleichen Datensatzes, eine Bedingung, der sich der früher beschriebene Basisentwurf durch Programmierung anpassen muß. Dieses Verfahren der positiven Rückmelde-Zeichenfolge erfordert, daß das Subsystem des Direktzugriffsspeichers eine beständige Arbeitsliste von Kreuz- E-/A-Operationen anhängiger Zeichenfolgen und (durch einen Zeiger) zugeordneter Daten aufrechterhalten muß, ein Entwurf, der für einige Subsysteme des Direktzugriffsspeicher mit Spuren- Cache nicht geeignet ist (Schreib-Aktualisierungsverdoppelung durch Datensatz des Direktzugriffsspeichers).

Datenkopieroperationen an dem sekundären Standort:

Nachdem Verdoppelungssitzungen erstellt worden sind, empfängt der sekundäre Standort 9 eine Mitteilung von anhängigen Schreibvorgängen und die aktualisierten Schreibdaten für den Direktzugriffsspeicher 19, die er in doppelter Kopie aufrechterhält. Die VTAM 15 empfängt die Nachrichten vom primären Standort 1 und leitet sie zu der sekundären Datenübertragungseinrichtung 17 weiter. Jede dieser Nachrichten enthält drei Inhaltssegmente, die durch die primäre Datenübertragungseinrichtung aufgebaut werden und von der sekundären Datenübertragungseinrichtung interpretiert werden.
Es wird jetzt auf Fig. 4 Bezug genommen. Dort sind drei Segmente jeder Nachricht abgebildet. Diese sind als M0, M1 und M2 bezeichnet.
M0 ist ein Vorsatz für eine Übertragung von der Datenübertragungseinrichtung 13 zu der Datenübertragungseinrichtung 17, der dazu dient, die logische Kontinuität des Nachrichtenstromes aufrechtzuerhalten und der den Nachrichteninhalt identifiziert.
Der Nachrichteninhalt kann eine Übertragung der Zeichenfolgedaten (M1-M2) einschließen, Verdoppelungssitzungen erstellen oder beenden, die einleitende Kopie einer Zeitpunkt- Kopie übertragen oder eine andere Form der einleitenden Datenkopie, logische Bestätigungen (acks) von dem sekundären zu dem primären Standort und die Mitteilung einer Ausnahmebedingung und von Wiederherstellungsmaßnahmen.
M1 enthält die Menge von Zeichenfolgen, die durch die primäre DSÜ seit der letzten vorhergehenden Nachricht zugeordnet wurden. Diese stellen im Gange befindliche Schreiboperationen dar, für die die Daten nicht an dem sekundären Standort sind.
M2 enthält eine Reihe von Feldern, wobei jedes Feld eine Zeichenfolge plus die Schreib(-Aktualisierungs)daten enthält, die der Zeichenfolge zugeordnet sind.
Die Länge der Nachricht und die Häufigkeit ihrer Übertragung sind Entwurfsüberlegungen, die den Wirkungsgrad der Übertragung innerhalb des Systems gegen den Betrag an Zeitverzögerung für das Benachrichtigen des sekundären Standortes über im Gang befindliche Schreiboperationen tauschen. Der Wirkungsgrad wird erreicht durch Stapeln von anhängigen Zeichenfolgen und Daten in den Nachrichten, was den Übertragungsaufwand über eine große Anzahl von M1- und M2-Nachrichtenelementen amortisiert. Kürzere, häufiger gesendete Nachrichten führen einen größeren Übertragungsaufwand herbei, dienen aber dazu, den sekundären Standort besser in Synchronismus mit (weniger hinter) dem primären Standort zu halten. Das Konzept besteht darin, daß die primäre Datenübertragungseinrichtung eine Nachricht zu der VTAM weiterleitet, wenn der Nachrichtenpuffer gefüllt ist oder am Ende eines Zeitintervalls, seitdem die vorausgehende Nachricht gesendet wurde, was jeweils kürzer ist. Es wird angenommen, daß sowohl die Größe des Nachrichtenpuffers als auch das Zeitintervall wählbar sind.
Jede Zeichenfolge enthält genügend Informationen, so daß die sekundäre Datenübertragungseinrichtung in der Lage ist, zu bestimmen, welche physischen Datensätze des Direktzugriffsspeichers zu aktualisieren sind und diese Schreibvorgänge in der gleichen Reihenfolge zu ordnen, in der die Reihenfolge-Zeichenfolgen zugeordnet wurden (,welches die gleiche Reihenfolge ist, die von den Anwendungen gesehen wird, die die Schreiboperationen auf dem primären Direktzugriffsspeicher durchführten. Die sekundäre Datenübertragungseinrichtung sieht zuerst jede Zeichenfolge, wenn sie in dem M1-Nachrichtensegment empfangen wird. Die Datenübertragungseinrichtung benutzt diese Zeichenfolgen, um eine anhängige Schreib-Warteschlange zu warten. Wenn die Daten für jede Zeichenfolge in M2-Segmenten empfangen werden, werden sie mit ihren Zeichenfolgen in der anhängigen Schreib-Warteschlange verglichen (Fig. 3 und 4).
Die sekundäre Datenübertragungseinrichtung 17 steuert die Schreibvorgänge zu dem Direktzugriffsspeicher 19 des sekundären Standortes in der Reihenfolge ihrer anhängigen Einträge in die Schreib-Warteschlange. Dies ist in Fig. 3 als eine eine Warteschlange bildende Übertragung über den Pfad (7) dargestellt. Das heißt, Daten für einen Eintrag in die Warteschlange werden nicht für das Schreiben bereitgestellt, bis die Warteschlangenelemente vor ihnen für das Schreiben in den Direktzugriffsspeicher bereitgestellt wurden. Daten treffen in M2-Nachrichtensegmenten als eine Funktion ein, wann sie durch die primäre Datenübertragungseinrichtung bereitgestellt wurden. Diese Datenankünfte erfolgen wahrscheinlich nicht in der strikten Aktualisierungs-Reihenfolge. Daher kann zu jedem Zeitpunkt der Aktivität die anhängige Schreib-Warteschlange eine Folge von vollständigen Einträgen aufweisen - Zeichenfolgen plus zugehörige Schreibdaten, 'unvollständige' Zeichenfolgen - ohne Schreibdaten, gefolgt von vollständigeren Zeichenfolgen und unvollständigen Zeichenfolgen. Dies ist in Fig. 5 veranschaulicht.

Datenwiederherstellung im Direktzugriffsspeicher am sekundären Standort bei Ausfall des primären:

Die oben beschriebenen Nachrichten liefern Informationen am sekundären System 9 für das Wiederherstellen von primären, verdoppelten Daten. Wenn der primäre Standort 1 eine Katastrophe erfährt derart, daß die Datenwiederherstellung im sekundären System verlangt wird, können operative Systemprozeduren einen Wiederherstellungsvorgang an dem sekundären Standort für alle oder irgendeinen Teil der verdoppelten Daten aufrufen.
Es wird jetzt auf Fig. 5 Bezug genommen. Ein Wiederherstellungsprozeß für das System, das den sekundären Standort benutzt, beginnt durch Beenden anhängiger Datenschreibvorgänge der anhängigen Schreib-Warteschlange bis zu dem Punkt der ersten unvollständigen Zeichenfolge in der Warteschlange. Wie geschildert, sind die Daten konsistent bis zu einem Zeitpunkt, wie sie es etwas früher an dem primären Standort waren, d. h. einige Zeit vor dem primären Ausfall. Dies ist durch 'A' in Fig. 5 dargestellt. Diese Daten sind hinter den primären zu der Zeit ihres Ausfalls um die restlichen Einträge in der anhängigen Schreib-Warteschlange zurück, wie durch die Einträge zwischen 'A' und 'B' in Fig. 5 dargestellt ist, und Schreiboperationen, die geplant waren und an dem primären Standort ausgeführt sein können, aber für die die der DSÜ zugeordnete Reihenfolge-Zeichenfolge NICHT an dem sekundären Standort in einem M1-Nachrichtensegment empfangen wurde, das in Fig. 5 als auf dem Punkt 'B' folgend dargestellt ist.
Wenn die Wiederherstellung des Systems Daten benutzen kann, die zu dem Zeitpunkt konsistent waren, kann es sogleich wiederherstellen. Es wird erwartet, daß dies weitgehend dasselbe ist wie ein einleitender Programmladeprozeß (IPL) beim Einschalten des Systems an dem primären Standort, wenn der primäre Standort ausfiel ohne Zerstörung der Hardware des Systems oder der Daten des Direktzugriffsspeichers (d. h. Aufträge in Bearbeitung und Daten im flüchtigen Speicher sind verlorengegangen, und offene Datenmengen können sich in inkonsistenten Zuständen befinden, aber auf Daten, die in Subsysteme des Direktzugriffsspeichers geschrieben wurden, kann zugegriffen werden).
Für diejenigen Anwendungen, für die Wiederherstellungs- und Wiederaufnahmeoperationen mehr Informationen darüber erfordern, welche Daten an dem primären Standort verlorengingen, kann der Inhalt der anhängigen Schreib-Warteschlange interpretiert werden, um die Spuren und Datensätze des Direktzugriffsspeichers zu identifizieren, bei denen Aktualisierungen am primären Standort vor dem Ausfall im Gange waren, zusammen mit der Reihenfolge derjenigen Operationen, sollte das für die Wiederherstellung bedeutsam sein. Für einige Aktualisierungen könnten sogar die aktualisierten Daten an dem entfernten Standort rückgefragt werden, obgleich diese Aktualisierungen in dem entfernten Direktzugriffsspeicher nicht widergespiegelt worden wären, da eine oder mehrere frühere Aktualisierungen nicht empfangen wurden. Diese Aktualisierungen sind als Reihenfolgenummern 131 und 135 zwischen (A) und (B) in Fig. 5 dargestellt.
Außerdem können Informationen, die als Teil des Erstellens der Verdopplungssitzungen gesendet wurden oder die getrennt zwischen zusammenarbeitenden Systemen zum Speichermanagement gesendet wurden, verwendet werden, um im Direktzugriffsspeicher die Adressen von anhängigen Schreibvorgängen zu den Datenmengen in Beziehung zu setzen, von denen sie ein Teil sind. Die einzigen im Gange befindlichen Schreibprozesse, die nicht identifiziert wurden, sind diejenigen in dem M1, die aufgebaut, aber nicht von dem primären Standort gesendet wurden, und irgendwelche M1- Nachrichten, die sich zur Zeit des Ausfalls im Flug befanden. Daher kann der Wiederherstellungsprozeß zu einem zum Ausfall sehr nahen Zeitpunkt exakt identifizieren, welche Daten verloren wurden, wenn das beim Wiederherstellen der Datenmengen zu einem konsistenten Zustand und beim Wiederaufnehmen der Systemoperationen benötigt wird.
Dieses neue Verfahren definiert ein Mittel für das auf einem Speicher in großer Entfernung basierende Verdoppeln von Daten, das für das Erhalten von Aktualisierungsfolgen über alle Direktzugriffsspeicher von Wichtigkeit sorgt, und minimiert den Einfluß auf die primäre Schreibleistung (minimiert das Hinzufügen der Antwortzeit zu E-/A-Schreiboperationen im Direktzugriffsspeicher).
Früher bekannte Verfahren erfordern a) mehr als auf dem Speicher basierende Datenkenntnis, wie z. B. die Kenntnis des Festschreibungspunktes der Datenbank-Transaktion, b) liefern keine Datenkonsistenzerhaltung von Daten-Aktualisierungsfolgen über alle die verdoppelten Daten des Direktzugriffsspeichers oder c) arbeiten synchron zur E-/A-Schreiboperationen des Direktzugriffsspeichers und fügen in unannehmbarer Weise zu der E-/A-Operation die Anwortzeit hinzu.

Erweiterungen

Eine Erweiterung zu dem Verfahren und der Vorrichtung dieser Erfindung besteht darin, Vorteil aus ihrer beträchtlichen kombinatorischen Flexibilität zu ziehen. Zur Erklärung, es können Verdopplungssitzungen mit mehreren sekundären Stellen erstellt werden, indem einige primäre Daten zu einem sekundären Standort geschickt werden, einige zu einem anderen und einige zu mehr als einem.
Diese und andere Erweiterungen der Erfindung können vorgenommen werden, ohne von ihrem Schutzumfang abzuweichen, wie er in den angefügten Ansprüchen genau geschildert ist.

Claims

1. In einem Datenverarbeitungssystem, das an einem primären Standort umfaßt einen Prozessor, der Anwendungen ausführt, ein Betriebssystem, das in dem genannten Prozessor residiert, und einen primären Speicher (5), wobei das genannte System weiter umfaßt einen entfernten Speicher- Standort (9, 19), der mit einem primären Standort über einen Verbindungsweg verbunden ist, ein Verfahren zum Übertragen dualer Kopien von Aktualisierungsdaten zu einem entfernten Speicher-Standort asynchron zur Anwendungsausführung als Antwort auf Schreib- Aktualisierungsoperationen in dem primären Speicher (5) durch Aufrufe an das genannte Betriebssystem und erzeugt durch das Ausführen von Anwendungen auf einem Prozessor an einem primären Standort (1), wobei die Methode die Schritte umfaßt des:

Erzeugens entsprechend einer Schreib- Aktualisierungsoperation an dem primären Standort einer Schreib-Zeichenfolge für die genannte Operation, die eine eindeutige Reihenfolgenummer und eine primäre Speicheradresse einschließt,

Sendens von Nachrichten von dem primären zu dem entfernten Speicher-Standort, wobei jede Nachricht selektiv eine Liste von kürzlich erzeugten Schreib-Zeichenfolgen zuzüglich Aktualisierungsdaten einschließt, die aufgelisteten Zeichenfolgen entsprechen, die in der gleichen Nachricht oder in früheren Nachrichten gesendet wurden,

Wartens an dem entfernten Speicher-Standort einer anhängigen Schreib-Warteschlange und des Abgleichens entsprechend jeder von dem primären Standort empfangenen Nachricht der Aktualisierungsdaten mit den Zeichenfolgen und

Zuordnens und Schreibens abgeglichener Aktualisierungen an dem entfernten Speicher-Standort in der Reihenfolge der Reihenfolgenummer.

2. Verfahren nach Anspruch 1, bei dem das genannte Verfahren weiter die Schritte umfaßt des:

Abfragens entsprechend der Unterbrechung von zumindest einem Teil der Folge von Aktualisierungen der gewarteten, anhängigen Schreib-Warteschlange an dem entfernten Speicher-Standort und Interpretierens der sortierten Zeichenfolgen und Aktualisierungen, die an dem Standort empfangen wurden so, daß sie ein in der Zeit konsistentes Bild der Daten darstellen, offenkundig durch die Reihenfolge von Schreib-Aktualisierungsoperationen, wie sie an dem primären Standort vorlag.

3. Verfahren nach Anspruch 1 oder Anspruch 2, bei dem der Schritt des Sendens von Nachrichten weiter die Schritte einschließt des:

Sendens von Nachrichten zwischen dem primären Standort und einer Mehrzahl von entfernten Standorten, einschließlich des Sendens von entweder zumindest einer Nachricht zu dem ersten Standort, des Sendens zumindest einer anderen Nachricht zu einem zweiten Standort oder des Sendens zumindest einer Nachricht sowohl zu dem genannten ersten als auch dem zweiten Standort.

4. Datenverarbeitungssystem, umfassend einen Prozessor, ein Betriebssystem, das in dem Prozessor residiert, einen primären Speicher (5), Mittel (3) entsprechend Anwendungen, die auf dem genannten Prozessor ausgeführt werden für Schreib-Aktualisierungen für den primären Speicher durch Aufrufe an das genannten Betriebssystem, und Mittel (11, 13) für das Übertragen dualer Kopien der genannten Aktualisierungen zu einem Speicher-Standort (9, 19) entfernt von dem primären Speicher und asynchron zur Ausführung der Anwendung, wobei die Übertragungsmittel Mittel einschließen für das asynchrone Schreiben der genannten dualen Kopien der genannten Aktualisierungen an dem genannten entfernten Speicher-Standort, wobei die genannten Mittel für die duale Kopie umfassen:

Mittel (13) zum Bilden entsprechend einer Schreib- Aktualisierungsoperation in dem primären Speicher einer Schreib-Zeichenfolge, die eine eindeutige Aktualisierungs- Reihenfolgenummer und eine primäre Speicheradresse einschließt,

Mittel (11) zum Senden von Nachrichten über einen Verbindungsweg zwischen dem primären Speicher und dem entfernten Speicher-Standort, wobei jede Nachricht selektiv eine Liste einschließt von kürzlich erzeugten Schreib- Zeichenfolgen und Duplikat-Aktualisierungsdaten von aufgelisteten Zeichenfolgen, die in der gleichen Nachricht oder in früheren Nachrichten gesendet wurden, und

Mittel (15, 17) an dem entfernten Speicher-Standort zum Warten entsprechend jeder empfangenen Nachricht einer anhängigen Schreib-Warteschlange, um Aktualisierungsdaten mit Zeichenfolgen abzugleichen für das Sortieren und Schreiben der Aktualisierungsdaten an dem entfernten Speicher-Standort nur, wenn sie mit der Duplikat- Zeichenfolge und in der Reihenfolge der Reihenfolgenummer sortiert sind.