DE102004036261A1 - Verfahren und Anordnung zum Synchronisieren des Speicherinhalts zwischen zwei redundanten Einrichtungen im laufenden Betrieb - Google Patents

Abstract

Verfahren zum Kopieren eines statischen Speicherinhalts eines ersten Speichers eines ersten, aktiven Prozessorboards in einen zweiten Speicherbereich eines zweiten, redundanten Prozessorboards über eine Schnittstelle, wobei zur Sicherung vollständiger Datenkonsistenz zwischen dem Datenbestand des ersten und zweiten Prozessorboards Updates des ersten Prozessorboards über die Kopierlogik umgelenkt werden oder durch diese geleitet werden.

Description

• Die Erfindung betrifft ein Verfahren und eine Anordnung zum Kopieren von Speicherinhalten aus einem aktiven Prozessorboard in ein redundantes Prozessorboard.
• Für komplexe technische Systeme mit elektronischer Steuerung und Datenverwaltungssysteme sind die Systemverfügbarkeit und die Sicherheit vor Datenverlusten und damit einhergehenden Funktionsstörungen von zentraler Bedeutung. Es ist daher für solche Systeme seit langem üblich, redundante zentrale Funktionseinheiten vorzuhalten und diese mit dem jeweils aktuellen Datenbestand der im aktiven Betrieb befindlichen Systemteile zu versorgen.
• Die Wahrscheinlichkeit des Auftretens eines Hardware-Defektes eines typischen Prozessorboards, bestehend aus einer CPU, einem Chip-Set, Hauptspeicher und Peripheriebausteinen, liegt pro Jahr im einstelligen Prozentbereich. Telekommunikationssysteme oder auch sog. Data-Center bestehen in der Regel aus einer Vielzahl solcher Boards. Typischerweise sind Systeme wie Vermittlungsstellen aus bis zu einigen Hundert solcher Prozessorboards aufgebaut, wodurch die Wahrscheinlichkeit des Ausfalls einer beliebigen Hardware-Komponente bezogen auf den Jahreszeitraum sehr hoch wird. Insbesondere an Telekommunikationssysteme, aber auch in zunehmenden Masse an Datenverwaltungszentren, wird die Forderung nach einer hohen Systemverfügbarkeit gestellt, z.B. nach einer Verfügbarkeit von > 99,999% bzw. einer Nichtverfügbarkeit von wenigen Minuten im Jahr.
• Da der Austausch eines Prozessorboards und die Wiederherstellung des Dienstes im Falle eines Hardwaredefektes in der Re gel im Bereich einige 10 Minuten bis zu einigen Stunden dauert, müssen für diesen Fall auf Systemebene entsprechende Vorkehrungen getroffen werden, um die genannte Forderung bezüglich der Systemverfügbarkeit erfüllen zu können.
• Grundsätzlich ist die Forderung dieses Niveaus von Verfügbarkeit nur durch redundante Systemkomponenten erfüllbar. Gemäß einer parallelen unveröffentlichten Patentanmeldung der Anmelderin werden im laufenden Betrieb alle Veränderungen des Speichers der aktiven Einheit durch eine Trap-Routine auf die redundante Einheit kopiert. Im Fall eines Fehlers kann dann ohne Verlust von Informationen auf die redundante Einheit umgeschaltet werden.
• Dieses Verfahren stellt sicher, dass laufende Veränderungen des Speichers auf die redundante Einheit gespiegelt werden. Wird jedoch während des Betriebs eine Einheit z.B. wegen eines Defektes ausgetauscht, hat diese nicht mehr den identischen Speicherzustand des aktiven Boards. In diesem Fall müssen auch alle statischen Daten, d.h. solche, die im Betrieb nicht mehr verändert werden, zur ausgetauschten redundanten Einheit übertragen werden.
• Dieses Kopieren des statischen Speicherinhalts der aktiven auf die redundante Einheit ist nicht trivial, da es während des laufenden Betriebs der aktiven Einheit erfolgen muss. Hierbei können Veränderungen von Daten auftreten, während sie gerade durch den Kopiervorgang zur redundanten Einheit übertragen werden. Insbesondere kann die aktive Einheit gerade dann ein Datum verändern, nachdem es in das Prozessor-Register geladen wurde, aber bevor es auf der redundanten Einheit abgespeichert werden konnte.
• Die dadurch mögliche Inkonsistenz von Daten auf der aktiven und redundanten Einheit wird in bisherigen Systemen durch eine geeignete proprietäre Hardware-Schaltung in den Datenwegen zwischen Prozessor und Speicher ausgeschlossen.
• In 1 ist ein beispielhaftes Mehrprozessor-System 100 dargestellt, bestehend aus zwei CPUs 101, 103 jeweils mit angeschlossenem Hauptspeicher 105, 107, und (nicht separat bezeichneten) Standardschnittstellen, wie beispielsweise PCI-Express, RapidlO oder ähnlichem in einem Prozessorboard 109. Als redundante Systemkomponente ist ein redundantes Prozessorboard 111 vorgesehen, welches in gleicher Weise zwei CPUs 113, 115, jeweils mit zugeordnetem Hauptspeicher 117 bzw. 119, und Standardschnittstellen aufweist. Außerdem ist im aktiven Prozessorboard 109 eine erste Kopierlogik (FPGA) 121 vorgesehen, und das zweite, redundante Prozessorboard 111 weist in analoger Weise eine Kopierlogik 123 auf.
• Über die Standardschnittstellen ist es beiden Boards möglich, Daten zu schreiben bzw. zu lesen. Im Normalbetrieb wird das auf dem aktiven Board 109 erzeugte Schreibdatum für den eigenen Speicher 105 (WRO), z.B. mittels Trap über die Standardschnittstelle auf das Standby-Board 111 in dessen Speicher 117 geschrieben (WR1). Damit werden, ab der Inbetriebnahme des Standby-Boards, alle Veränderungen "gesichert". Zusätzlich muss auch der statische Hauptspeicherinhalt durch einen nebenläufigen Kopiervorgang im FPGA (Kopierlogik) auf kopiert werden. Zwischen dem Zeitpunkt der Anforderung der Lesedaten vom aktiven Board durch die Kopierlogik und dem Schreiben in den Speicher des Standby-Boards kann, aufgrund von Befehlsabarbeitung der CPUs die nicht mit der Kopierlogik synchronisiert arbeiten, ein Update in den gerade kopierten Bereich durch einen der Prozessoren erfolgen. Damit könnte es passieren, dass sich die Schreibzugriffe der Kopierlogik und des Updates überholen und danach im Speicher der Standby-Seite inkonsistente Daten stehen.
• Der Erfindung liegt nach obigem die Aufgabe der Bereitstellung eines verbesserten Verfahrens sowie einer verbesserten Anordnung der gattungsgemäßen Art zugrunde, mit denen insbesondere in zuverlässiger Weise die vollständige Datenkonsis tenz beim Spiegeln von Daten zwischen einem aktiven und einem redundanten Prozessorboard und somit ein Systembetrieb mit dem letzteren mit vollständig aktuellem Datenbestand gesichert werden kann.
• Die Aufgabe wird in ihrem Verfahrensaspekt durch ein Verfahren mit den Merkmalen des Anspruchs 1 und in ihrem Anordnungsaspekt durch eine Prozessoranordnung mit den Merkmalen des Anspruchs 6 gelöst. Zweckmäßige Fortbildungen des Erfindungsgedankens sind jeweils Gegenstand der abhängigen Ansprüche.
• Die Erfindung schließt den wesentlichen Gedanken ein, zur Sicherung vollständiger Datenkonsistenz zwischen dem Datenbestand des ersten und zweiten Prozessorboards Updates des ersten Prozessorboards über die Kopierlogik umzulenken. Dies eröffnet die Möglichkeit, jeglichen Update, abhängig vom Ablaufen eines Kopiervorganges für Inhalte des ersten Speichers, für das Kopieren in geeigneter Weise zu berücksichtigen.
• Weiterhin schließt die Erfindung den Gedanken ein, dass die Kopierlogik einen Vergleich der von dem jeweiligen Update betroffenen Speicheradressen mit einem aktuell von ihr kopierten Speicheradressbereich ausführt und, falls die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, ein wiederholtes Kopieren dieses Speicherbereichs in den zweiten Speicher initiiert. Damit wird sichergestellt, dass ein während des Kopierens eines Speicheradressbereiches zufällig gerade ablaufendes Update nicht dazu führt, dass die in den Speicher des zweiten Prozessorboards kopierten Inhalte vom Datenbestand nach dem Update abweichen.
• In einer ersten bevorzugten Verfahrensführung ist vorgesehen, dass im Ansprechen auf die Feststellung, dass die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, die Kopierlogik ein Update-Beendigungs signal empfängt und daraufhin unmittelbar die Wiederholung des Kopierens dieses Speicheradressbereiches startet.
• Alternativ hierzu ist vorgesehen, dass im Ansprechen auf die Feststellung, dass die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, ein Indikator des entsprechenden Speicheradressbereiches in der Kopierlogik gespeichert und die Wiederholung des Kopierens dieses Speicheradressbereiches zeitverzögert getriggert wird. Bei beiden Vorgehensweisen ist zweckmäßigerweise sicherzustellen, dass eine Wiederholung des Kopierens eines gerade von einem Update betroffenen Speicheradressbereiches so lange erfolgt, bis der Kopiervorgang mit Sicherheit ohne Beeinträchtigung durch einen gerade ablaufenden Update abgeschlossen wurde.
• Weitere bevorzugte Verfahrensführungen sehen vor, dass das Kopieren von Speicherinhalten des ersten Speichers in den zweiten Speicher mittels einer Trap-Routine ausgeführt wird und/oder dass als Kopierlogik ein FPGA (Field Programmable Gate Array) eingesetzt wird. Alternativ kann ein ASIC zum Einsatz kommen, oder eine gleichwertige Logik.
• Um die Datenkonsistenz zu sichern, werden also, mit anderen Worten, die Updates des aktiven Boards im Kopierbetrieb zu der Kopierlogik umgeleitet oder durch die Kopierlogik geleitet. Dies geschieht beispielsweise durch eine geeignete Programmierung der Standard-Interface-Logik, wenn diese z.B. Adressübersetzung unterstützt. Alternativ sorgt die Trap-Routine des aktiven Boards dafür, dass die Updates nicht an die Adresse des Speichers des Standby-Boards geschrieben werden, sondern z.B. durch das Addieren einen Offset in die Kopierlogik (FPGA) gelangen.
• Die Kopierlogik vergleicht nun die Adresse der Updates und den Adressbereich, der von ihr gerade kopiert wird. Fällt die Adresse eines Updates außerhalb des Bereiches (z.B. Cache-Line), der gerade kopiert wird, so wird der Update in den Speicher des Standby-Boards geschrieben. Fällt die Adresse eines Updates in den gerade kopierten Speicherbereich, so wird dieser Speicherbereich erneut kopiert. Die Wiederholung des Kopierens kann sofort erfolgen, oder die Kopierlogik merkt sich die Adresse, z.B. als ein Bit in einem Verwaltungs-Speicher der mit dieser Cache-Zeile korrespondiert, und kopiert diese Bereiche in einem zweiten, dritten, n-ten Durchgang später.
• Ein wesentlicher Vorteil der Erfindung ist, dass Systeme bestehend aus Standard-Baugruppen/Komponenten ohne spezielle Redundanz-Unterstützung in Hardware im laufenden Betrieb synchronisiert werden können und so auch nach einem Austausch einer Einheit wieder in einen redundanten Betrieb mit schneller Umschaltmöglichkeit gebracht werden können.
• Ein weiterer wesentlicher Vorteil dieses hardwareunterstützten Verfahrens ist es, dass die Performance des aktiven Boards durch den Kopierbetrieb nicht beeinträchtigt wird, da der Kopiervorgang und die Sicherstellung der Datenkonsistenz durch eine einfache Hardware, die an eine Standardschnittstelle angeschlossen ist, nebenläufig zum Prozessgeschehen der CPUs gesteuert wird.
• Damit ist auch künftig möglich, ohne hohen Aufwand neue Generationen von Steuerungs-Rechnern einzuführen, d.h. die Innovationszyklen können wesentlich kürzer werden. Da die umfangreichen Software-Pakete unverändert bleiben können, und sich selbst ein hochverfügbares System aus kommerziellen Standard-Komponenten aufbauen lässt, sind die Risiken sehr gering.
• Vorteile und Zweckmäßigkeiten der Erfindung ergeben sich im übrigen aus der Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung anhand von 2.
• 2 zeigt ein Mehrprozessorsystem 200, das grundsätzlich den gleichen Aufbau hat wie das in 1 dargestellte System 100. Es sind lediglich die dortigen Bezugszeichen mit der Anfangsziffer "1" durch Bezugszeichen mit der Anfangsziffer "2" ersetzt. Der wesentliche Unterschied besteht in den Datenwegen bei den Schreibvorgängen.
• Um den gesamten erforderlichen Speicherinhalt des aktiven Boards 209, beispielsweise nach späterem Hinzustecken des Standby-Boards 211 ohne eine Betriebsunterbrechung des aktiven Boards 209 zu erreichen, wird in dem Beispiel in 2 auf dem Standby-Board (wahlweise auf dem aktiven Board) die Kopierlogik 223 (z.B. wiederum realisiert als FPGA) in Betrieb genommen. Die Kopierlogik kennt die Adressen der zu kopierenden Bereiche des Speichers, und generiert Lesezyklen (RD-Copy) mittels der Standardschnittstelle aus dem Speicher 205 des aktiven Boards 209, zum Beispiel mit der Granularität einer Chache-Line, und speichert die gelesenen Daten zwischen. Nachdem die angeforderten Daten (z.B. Cache-Line) empfangen wurden, werden sie von der Kopierlogik 223 in den Speicher 217 des Standby-Boards 211 geschrieben (WR-Copy).
• Die Ausführung der Erfindung ist nicht auf das obige Beispiel sowie die vorstehend hervorgehobenen Aspekte beschränkt, sondern auch in einer Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.

Claims (8)

1. Verfahren zum Kopieren eines statischen Speicherinhalts eines ersten Speicher eines ersten, aktiven Prozessorboards in einen zweiten Speicherbereich eines zweiten, redundanten Prozessorboards über eine Schnittstelle, wobei auf dem ersten oder zweiten Prozessorboard oder in einer Datenverbindung zwischen diesen eine Kopierlogik in Betrieb ist, welche mittels der Schnittstelle Lesezyklen aus dem ersten Speicher generiert, die gelesenen Daten zwischenspeichert und in den zweiten Speicher schreibt, dadurch gekennzeichnet, dass zur Sicherung vollständiger Datenkonsistenz zwischen dem Datenbestand des ersten und zweiten Prozessorboards Updates des ersten Prozessorboards über die Kopierlogik umgelenkt werden oder durch diese geleitet werden und die Kopierlogik einen Vergleich der von dem jeweiligen Update betroffenen Speicheradressen mit einem aktuell von ihr kopierten Speicheradressbereich ausführt und, falls die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, ein wiederholtes Kopieren dieses Speicherbereichs in den zweiten Speicher initiiert.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass im Ansprechen auf die Feststellung, dass die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, die Kopierlogik ein Kopier-Beendigungssignal empfängt und daraufhin unmittelbar die Wiederholung des Kopierens dieses Speicheradressbereiches startet.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass im Ansprechen auf die Feststellung, dass die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, ein Indikator des entsprechenden Speicheradressbereiches in der Kopierlogik gespeichert und die Wiederholung des Kopierens dieses Speicheradressbereiches zeitverzögert getriggert wird.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Kopieren von Speicherinhalten des ersten Speichers in den zweiten Speicher mittels einer Trap-Routine oder eine andere geeignete Update-Funktion ausgeführt wird.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als Kopierlogik ein FPGA oder ASIC eingesetzt wird.
6. Redundante Prozessoranordnung mit einem ersten, aktiven Prozessorboard, das einen ersten Speicher umfasst, und einem zweiten, redundanten Prozessorboard, das einen zweiten Speicher umfasst, mindestens einer, dem ersten oder zweiten Prozessorboard oder einer Datenverbindung zwischen diesen zugeordneten Kopierlogik und einer zwischen der Kopierlogik und dem Prozessor des entsprechenden Prozessorboards vorgesehenen Schnittstelle, dadurch gekennzeichnet, dass eine Datenverbindung, über die Updates des ersten Prozessorboards laufen, über die Kopierlogik geführt ist und die Kopierlogik derart ausgebildet ist, dass sie einen Vergleich der von dem jeweiligen Update betroffenen Speicheradressen mit einem aktuell von ihr kopierten Speicheradressbereich ausführt und, falls die Speicheradresse eines Updates in einen aktuell kopierten Speicheradressbereich fällt, ein wiederholtes Kopieren dieses Speicherbereichs in den zweiten Speicher initiiert.
7. Anordnung nach Anspruch 6, dadurch gekennzeichnet, dass sowohl das erste als auch das zweite Prozessorboard eine Kopierlogik und eine zugehörige Schnittstelle aufweisen und die Datenverbindung insbesondere über die Kopierlogik und Schnittstelle des zweiten Prozessorboards geführt ist.
8. Anordnung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Kopierlogik als FPGA oder ASIC ausgebildet ist.