DE19933753A1

DE19933753A1 - Zeitsynchronisierung verwendende Systemanwendungsverfahren

Info

Publication number: DE19933753A1
Application number: DE19933753A
Authority: DE
Inventors: John C Eidson
Original assignee: Hewlett Packard Co
Current assignee: Keysight Technologies Inc
Priority date: 1998-07-22
Filing date: 1999-07-19
Publication date: 2000-01-27
Anticipated expiration: 2019-07-20
Also published as: DE19933753B4; US6370159B1; GB2340356B; GB9916550D0; JP2000148286A; GB2340356A

Abstract

Ein Verfahren und eine Vorrichtung zum genauen Verteilen von verfolgbaren Zeitwerten zu einem Satz von Knoten in einem System. Jeder Knoten umfaßt einen Slave-Taktgeber, der einen Slave-Zeitwert unter Verwendung eines Synchronisierungsprotokolls synchronisiert. Das System umfaßt eine Verfolgbarzeitquelle, die einen verfolgbaren Zeitwert erzeugt, und einen Master-Knoten, der einen Master-Taktgeber aufweist, der einen Master-Zeitwert mit dem verfolgbaren Zeitwert synchronisiert, und der den Master-Zeitwert zu den Slave-Taktgebern über die Kommunikationsverbindung verteilt. Die Knoten können verteilte Knoten oder Karten sein, die mit einer Rückwandleiterplatte verbunden sind.

Description

Die vorliegende Erfindung betrifft das Gebiet von Systemen. Insbesondere bezieht sich diese Erfindung auf Systemanwen dungsverfahren die eine Zeitsynchronisierungstechnologie verwenden.

Verteilte Steuersysteme sind im allgemeinen als eine Ansamm lung von Knoten angeordnet, die durch eine oder mehrere Netzkommunikationsverbindungen miteinander verbunden sind. Diese Netzkommunikationsverbindungen können paketisierte Verbindungen, wie beispielsweise Ethernet, oder eine oder mehrere von einer Vielfalt von anderen paketisierten Verbin dungen sein, die an verteilte Steuersystemanwendungen ange paßt sind.

Verteilte Steuersysteme profitieren im allgemeinen von der präzisen Zeitsteuerung bei den verteilten Knoten. Das US-Patent Nr. 5,566,180 von Eidson u. a. sieht ein Verfah ren und eine Vorrichtung zum Liefern einer präzisen Zeit steuerung in verteilten Knoten durch Synchronisieren der lokalen Taktgeber in den verteilten Knoten vor. Bei vielen Anwendungen kann es wünschenswert sein, daß die Zeit, die von den verteilten Knoten gehalten wird, auf eine Standard zeit zurückverfolgbar ist. Dies kann bei Anwendungen nütz lich sein, bei denen beispielsweise Ereignisse in den ver teilten Knoten in Hinsicht auf ein spezielles Datum und/oder eine spezielle Tageszeit genau auftreten müssen.

Die Aufgabe der vorliegenden Erfindung besteht darin ein System und ein Datenerfassungs- und Steuersystem zu schaf fen, die ein genaues Verteilen von verfolgbaren Zeitwerten auf einen Satz von Knoten in einem System ermöglichen.

Diese Aufgabe wird durch ein System gemäß den Ansprüchen 1, 7, 10 und 13 und ein Datenerfassungs- und Steuersystem gemäß Anspruch 17 gelöst.

Es sind ein Verfahren und eine Vorrichtung zum genauen Ver teilen von verfolgbaren Zeitwerten auf einen Satz von Knoten in einem System offenbart. Jeder Knoten umfaßt einen Slave-Takt geber (Nebentaktgeber), der einen Slave-Zeitwert unter Verwendung eines Synchronisierungsprotokolls synchronisiert. Das System umfaßt eine Verfolgbarzeitquelle, die einen ver folgbaren Zeitwert erzeugt, und einen Master-Knoten (Haupt knoten), der einen Master-Taktgeber (Haupttaktgeber) auf weist, der einen Master-Zeitwert mit dem verfolgbaren Zeit wert synchronisiert, und der den Master-Zeitwert zu den Slave-Taktgebern über die Kommunikationsverbindung verteilt. Die Knoten können verteilte Knoten oder Karten sein, die mit einer Rückwandleiterplatte verbunden sind. Es ist ferner eine Vielfalt von Verfahren zum Verteilen der Informationen, die dem Synchronisierungsprotokoll zugeordnet sind, und eine Vielfalt von Anwendungen für die synchronisierte Zeitsteu erung in den Slave-Knoten offenbart.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:

Fig. 1 ein verteiltes System, das einen Master-Knoten, der verfolgbare Zeitwerte zu einem Satz von Knoten ver teilt, umfaßt;

Fig. 2 einen Knoten mit einem Signalformgenerator, der ei ne Signalformperiode von dem Zähler in einem Slave-Taktgeber herleitet;

Fig. 3 einen Master-Taktgeber mit verfolgbarer Zeit bei einem Ausführungsbeispiel;

Fig. 4 ein Verfahren zum Einführen einer verfolgbaren Zeit in ein System, das einen Satz von Computersystemen umfaßt;

Fig. 5 ein Verfahren zum Verwenden eines Synchronisie rungsprotokolls um die Zeitwerte zu verteilen, die von einem unterschiedlichen Synchronisierungsproto koll geliefert werden;

Fig. 6 ein Verfahren zum Verteilen von verfolgbaren Zeit werten zu Knoten, die mit unterschiedlichen Teil netzen von einem System verbunden sind;

Fig. 7 ein Ausführungsbeispiel von einem Mas ter/Slave-Taktgeber in einem Grenzknoten; und

Fig. 8 eine Taktgebersynchronisierung in einem Datenerfas sungs- und Steuersystem, das einen Satz von Karten umfaßt, die mit einer Rückwandleiterplatte verbun den sind.

Fig. 1 zeigt ein verteiltes System 10, das einen Master-Kno ten 14 umfaßt, der verfolgbare Zeitwerte zu einem Satz von Knoten 20-22 verteilt. Der Master-Knoten 14 und die Knoten 20-22 sind über eine Kommunikationsverbindung 12 untereinander verbunden. Der Master-Knoten 14 umfaßt einen Master-Taktgeber 18 und die Knoten 20-22 umfassen einen Satz von Slave-Taktgebern 30-32.

Der Master-Knoten 14 umfaßt eine Verfolgbarzeitquelle 16, die verfolgbare Zeitwerte erzeugt. Ein verfolgbarer Zeitwert kann als ein Zeitwert definiert sein, der von einer Stan dardzeit, wie beispielsweise der UTC-Zeit, die früher als Greenwich Mean Time (GMT) bekannt war, hergeleitet wird. Der Master-Taktgeber 18 umfaßt Vorrichtungen, die einen Master-Zeit wert, der in dem Master-Taktgeber 18 gehalten wird, mit den verfolgbaren Zeitwerten, die von der Verfolgbarzeitquel le 16 erhalten werden, synchronisiert.

Der Master-Taktgeber 18 und die Slave-Taktgeber 30-32 im plementieren ein Synchronisierungsprotokoll 100. Gemäß dem Synchronisierungsprotokoll 100 tauschen der Master-Taktgeber 18 und die Slave-Taktgeber 30-32 Datenpakete über die Kom munikationsverbindung 12 aus, so daß sich die Slave-Taktge ber 30-32 mit dem Master-Zeitwert, der in dem Master-Takt geber 18 gehalten wird, synchronisieren. Als eine Konsequenz sind verfolgbare Zeitwerte unter Verwendung des Synchroni sierungsprotokolls 100 genau auf die Knoten 20-22 ver teilt, da der Master-Zeitwert in dem Master-Taktgeber 18 mit den verfolgbaren Zeitwerten von der Verfolgbarzeitquelle 16 synchronisiert ist.

Bei einem Ausführungsbeispiel stellen das Synchronisierungs protokoll 100 und die entsprechenden Vorrichtungen, die in dem Master-Taktgeber 18 und den Slave-Taktgebern 30 bis 32 implementiert sind, diejenigen dar, die in dem US-Patent Nr. 5,566,180 beschrieben sind. Beispielsweise kann jeder der Slave-Taktgeber 30-32 eine Schaltungsanordnung zum Einstellen des jeweiligen lokal gespeicherten Zeitwerts derselben umfassen, der auf Berechnungen der Sende- und Emp fangszeit von Zeitdatenpaketen basiert, die über die Kommu nikationsverbindung 12 übertragen werden. Die Einstellung von einem lokal gespeicherten Zeitwert kann durch Implemen tieren eines lokalen Taktgebers in jedem Slave-Taktgeber 30-32 als ein Zähler durchgeführt werden, der von einem Os zillator mit einer ausreichenden Stabilität betrieben wird. Die wenigen niedrigstwertigen Bits des Zählers können als Addierer implementiert sein, so daß die Zunahme an Oszilla torperioden gelegentlich erhöht oder erniedrigt werden kann, um den lokalen Taktgeber gemäß den Resultaten der Berechnung effektiv zu beschleunigen oder zu verlangsamen.

Bei einem Ausführungsbeispiel ist die Verfolgbarzeitquelle 16 ein Globalpositionssystem-(GPS-)Empfänger. Bei anderen Ausführungsbeispielen können andere Typen von Verfolgbar zeitquellen verwendet werden, was Rundfunkzeitquellen, wie beispielsweise WWV oder Atomuhren umfaßt.

Der Master-Knoten 14 und die Knoten 20-22 können von jedem Typ eines Knotens in dem verteilten System 10 sein. Bei spielsweise können der Master-Knoten 14 und die Knoten 20-22 alle oder mehrere ein Sensorknoten, ein Betätigerknoten, ein Anwendungssteuerknoten oder eine Kombination von diesen in einem verteilten Steuersystem sein. Der Master-Knoten 14 und die Knoten 20-22 können alle oder mehrere ein Compu tersystem, wie beispielsweise ein Personalcomputer, sein.

Die Kommunikationsverbindung 12 kann mit einer oder mehreren einer Vielfalt von Kommunikationsvorrichtungen implementiert sein. Bei einem Ausführungsbeispiel ist die Kommunikations verbindung 12 ein Ethernet-Kommunikationsnetz. Bei einem weiteren Ausführungsbeispiel ist die Kommunikationsverbin dung 12 ein LonTalk-Field-Level-Steuerbus, der für die Pro zeßsteuerumgebung spezialisiert ist. Bei anderen Ausfüh rungsbeispielen kann die Kommunikationsverbindung 12 mit einem Zeitvielfachzugriff (TDMA; TDMA = Time Division Multi ple Access) oder mit Token-Ring-Protokollen implementiert sein, um lediglich ein paar Möglichkeiten zu nennen.

Das Synchronisierungsprotokoll 100, mit oder ohne verfolg bare Zeit, kann verwendet werden um periodische, phasen kohärente Signale bei breit gestreuten Punkten, die den physischen Positionen der Knoten 20-22 entsprechen, zu liefern. Beispielsweise kann jeder der Knoten 20-22 einen Zeitplan implementieren, der die erwünschten Signalereig nisse markiert. Jeder Knoten 20-22 vergleicht diese ge planten Zeiten mit den lokalen Zeiten, die von den entspre chenden Slave-Taktgebern 30-32 geliefert werden. Wenn eine geplante Ereignis zeit mit geeigneter Genauigkeit mit der lo kalen Zeit übereinstimmt, dann wird ein geplantes Ereignis erzeugt. Die geplanten Ereignisse können Abtastereignisse sein, bei denen die Knoten 20-22 befestige Sensoren umfas sen. Die Knoten 20-22 können Signalformgeneratoren umfas sen, wenn für Ereignisse analoge Signale benötigt werden. In solch einem Fall löst eine Übereinstimmung zwischen einer lokalen Zeit und einer Zeit eines geplanten Ereignisses ei nen Signalformgenerator aus.

Fig. 2 stellt den Knoten 20 mit einem Signalformgenerator dar, der eine Signalformperiode aus dem Zähler in dem Slave-Taktgeber 30 herleitet. Der Slave-Taktgeber 30 umfaßt einen Taktgeberoszillator 160, einen lokalen Taktgeber 162 und eine Taktgebersynchronisierungsvorrichtung 164. Die Taktgebersynchronisierungsvorrichtung 164 erhält Zeitdaten pakete von der Kommunikationsverbindung 12 und synchroni siert einen Slave-Zeitwert in dem lokalen Taktgeber 162 unter Verwendung des Synchronisierungsprotokolls 100. Der lokale Taktgeber 162 liefert einen Slave-Zeitwert 184 zu einem Komparator 170. Der Komparator 170 vergleicht den Slave-Zeitwert 184 mit einer Ereigniszeit, die in einem Register 168 gehalten wird. Die Ereigniszeit wird durch eine Berechnungsvorrichtung 166 geliefert. Wenn der Slave-Zeit wert 184 mit der Ereignis zeit in dem Register 168 überein stimmt, löst der Komparator 170 einen periodischen Signal generator 172 aus, der eine Signalform 180 erzeugt.

Die Periode der Signalform 180 wird durch einen Satz von Signalen 182 von dem lokalen Taktgeber 162 gesteuert. Der lokale Taktgeber 162 umfaßt einen Zählerabschnitt und einen Taktgebereinstellabschnitt. Vorzugsweise liefern die Signale 182 Bits von dem Zählerabschnitt des lokalen Taktgebers 162, die höherwertiger als die Bits niedriger Ordnung des lokalen Taktgebers 162 sind, die für den Taktgebereinstellabschnitt verwendet werden. Der periodische Signalgenerator 172 kann unter Verwendung einer digitalen Phasenregelschleife, die von dem Signal 182 getrieben wird, oder unter Verwendung an derer gut bekannter Verfahren implementiert sein.

Das Synchronisierungsprotokoll 100, mit oder ohne verfolg bare Zeit, kann verwendet werden, um die Basis für die Zeit vielfachzugriff-(TDMA-)Kommunikation oder andere zeitlich gegenseitig ausschließende Kommunikationsprotokolle unter dem Master-Knoten 14 und den Knoten 20-22 zu liefern. Dem Master-Knoten 14 und jedem Knoten 20-22 können Zeitschlit ze zugeteilt sein, deren Grenzen Ereignisauslöser für die TDMA-Kommunikation liefern. Die Ereignisauslösungsverfahren, die oben beschrieben sind, können verwendet werden, um eine Zeitschlitzkommunikation in der Kommunikationsverbindung 12 in sowohl dem Master-Knoten 14 als auch dem Knoten 20-22 auszulösen.

Das Synchronisierungsprotokoll 100, mit oder ohne verfolg bare Zeit, kann verwendet werden, um eine genaue Zeitbasis für eine Datenerfassungs- und -steuerung in dem System 10 vorzusehen. Die Verfahren zum Liefern von phasenkohärenten Signalen in den Master-Knoten 14 und den Knoten 20-22, die oben offenbart wurden, ermöglichen die Einrichtung einer periodischen Zeitbasis für die Datenerfassung und -steue rung. Die Erzeugung von diesem phasenkohärenten Signal kann verwendet werden, um die Basis für eine Klasse von Über wachungssteuerungs- und Datenerfassungs-(SCADA; SCADA = supervisory control and data acquisition)Systemen zu bil den.

Die oben offenbarten Verfahren zum Liefern von phasenkohä renten Signalen ermöglichen es, die Zeitfunktion auf die tatsächlichen Messungs- oder Steuerknoten zu verteilen. Dies sieht eine verbesserte Genauigkeit, Stabilität und Flexibi lität vor. Als ein Beispiel für Flexibilität können unter schiedliche Abschnitte von einem SCADA-System unter Verwen dung der Verfahren, die hierin offenbart sind, konfiguriert sein, um mit unterschiedlichen periodischen oder geplanten Frequenzen ohne jeglichen Konflikt von Betriebsmitteln (Resourcen) zu laufen. Dies ist im Gegensatz zu früheren zentralisierten Systemen, bei denen die Verwaltung von zwei oder mehreren Prozessen mit unterschiedlicher Periodizität im allgemeinen eine Betriebsmittelkonkurrenz in den Anwen dungen erzeugt. Dies kann Zeitjitter in den gesteuerten Pro zessen bewirken.

Ein verteiltes System, das "Zeitsteuertakte" unter Verwen dung der vorliegenden Verfahren zum Liefern von phasenko härenten Signalen erzeugt, ist genauer als bekannte Systeme. Zusätzlich ist ein solches System robuster derart, daß das Synchronisierungsprotokoll 100 dazu tendiert, die lokalen Taktgeber selbst angesichts verlorener Zeitdatenpakete, synchron zu halten. Das Synchronisierungsprotokoll 100 ver braucht ferner im Vergleich zu bekannten Systemen minimale Mengen der Netzbandbreite.

Fig. 3 stellt den Master-Taktgeber 18 in einem Ausführungs beispiel dar. Der Master-Taktgeber 18 umfaßt eine Berech nungsvorrichtung 40, ein Zeitstempel-Latch 42, einen ein stellbaren Taktgeber 44, ein Zeitstempel-Latch 46 und einen Zeitpaketerkenner 48. Die gezeigte Anordnung bewirkt, daß der Zeitwert in dem einstellbaren Taktgeber 44 durch die Verfolgbarzeitquelle 16 gesteuert wird, und bewirkt, daß die Zeitwerte, die in den Slave-Taktgebern 30-32 gehalten wer den, von dem Zeitwert in dem einstellbaren Taktgeber 44 ge steuert werden.

Die Verfolgbarzeitquelle 16 erzeugt einen aktualisierten verfolgbaren Zeitwert 50 und einen Satz von Pulsen 52, die bei einem Ausführungsbeispiel einmal pro Sekunde auftreten. Die Pulse 52 bewirken, daß das Zeitstempel-Latch 42 Zeit werte von dem einstellbaren Taktgeber 44 fortdauernd zwi schenspeichert. Die Berechnungsvorrichtung 40 vergleicht den aktualisierten verfolgbaren Zeitwert 50 mit den Zeitwerten von dem Zeitstempel-Latch 42 und gibt einen Satz von Taktge bereinstellsignalen 54 aus, die bewirken, daß der einstell bare Taktgeber 44 sich hin zu dem aktualisierten verfolg baren Zeitwert 50 bewegt und schließlich mit demselben über einstimmt.

Die Berechnungsvorrichtung 40 gibt die Taktgebereinstell signale 54 aus, um zu bewirken, daß der einstellbare Takt geber 44 entweder beschleunigt, sich verlangsamt, die Rate beibehält oder einen neuen Zeitwert neu lädt. Bei einem Aus führungsbeispiel ist der einstellbare Taktgeber 44 als ein Zähler implementiert, der von einem Oszillator mit einem Addierer, der entweder 0, 1 oder 2 zu dem Zähler während jeder Periode des Oszillators addiert, getrieben wird. Wenn der Zeitwert, der in dem Zeitstempel-Latch 42 gehalten ist, kleiner als der aktualisierte verfolgbare Zeitwert 50 ist, dann gibt die Berechnungsvorrichtung 40 die Taktgeberein stellsignale 54 aus, um zu bewirken, daß eine 2 zu dem Zäh ler des einstellbaren Taktgebers 44 addiert wird. Wenn der Zeitwert, der in dem Zeitstempel-Latch 42 gehalten wird, dem aktualisierten verfolgbaren Zeitwert 50 gleicht, dann gibt die Berechnungsvorrichtung 40 die Taktgebereinstellsignale 54 aus, um zu bewirken, daß eine 1 zu dem Zähler des ein stellbaren Taktgebers 44 addiert wird. Wenn der Zeitwert, der in dem Zeitstempel-Latch 42 gehalten wird, größer als der aktualisierte verfolgbare Zeitwert 50 ist, dann gibt die Berechnungsvorrichtung 40 die Taktgebereinstellsignale 54 aus, um zu bewirken, daß eine 0 zu dem Zähler des einstell baren Taktgebers 44 addiert wird. Wenn der Unterschied zwi schen dem Zeitwert, der in dem Zeitstempel-Latch 42 gehalten wird, und dem aktualisierten verfolgbaren Zeitwert 50 größer als ein vorbestimmter Zeitwert ist, dann verwendet die Be rechnungsvorrichtung 40 das Taktgebereinstellsignal 54, um den einstellbaren Taktgeber 44 neu zu laden.

Das Zeitstempel-Latch 46 erhält Zeitwerte von dem einstell baren Taktgeber 44. Als Antwort erzeugt der Zeitpaketerken ner 48 Zeitdatenpakete und überträgt diese über die Kommuni kationsverbindung 12, um zu bewirken, daß sich die Slave-Takt geber 30-32 mit dem Zeitwert, der in dem Zeitstem pel-Latch 46 gehalten wird, synchronisieren. Dies ist in Über einstimmung mit dem Synchronisierungsprotokoll 100.

Fig. 4 stellt ein Verfahren zum Einführen einer verfolgbaren Zeit in ein System 70 dar, das einen Satz von Computersyste men 60-62 umfaßt, die an einem Synchronisierungsprotokoll 72 teilnehmen, das sich von dem Synchronisierungsprotokoll 100 unterscheidet. Bei einem Ausführungsbeispiel stellt das Synchronisierungsprotokoll 72, das durch die Computersysteme 60-62 implementiert ist, das Netzzeitprotokoll (NTP; NTP = network time protocoll) dar.

Die Computersysteme 60-62 können Personalcomputer, Work stations oder eine Kombination derselben sein. Entsprechend dem NTP tauschen die Computersysteme 60-62 periodisch Nachrichten, die die lokale Systemtaktgeberzeit enthalten, über eine Kommunikationsverbindung 64 aus. Als Antwort stellt jedes Computersystem 60-62 den Systemtaktgeber des selben ein. Schließlich konvergieren die Systemtaktgeber in den Computersystemen 60-62.

Das Computersystem 60 implementiert nicht nur das NTP-Proto koll, sondern umfaßt ferner einen Slave-Taktgeber 66, der dasselbe mit den verfolgbaren Zeitwerten synchronisiert, die von dem Master-Taktgeber 18 unter Verwendung des Synchroni sierungsprotokolls 100 verteilt werden. Die Softwareschich ten des NTP-Protokolls in dem Computersystem 60 erhalten Zeitwerte von dem Slave-Taktgeber 66 und nicht von dem Sy stemtaktgeber des Computersystems 60. Zusätzlich bleibt der Slave-Taktgeber 66 zu dem Master-Taktgeber 18 synchronisiert und derselbe konvergiert nicht mit dem NTP-Protokoll, so wie es die Systemtaktgeber der Computersysteme 61-62 tun. Folglich konvergieren die Systemtaktgeber der Computersys teme 61-62 schließlich in dem Zeitwert in dem Slave-Takt geber 66, der die verfolgbare Zeit darstellt.

Der Slave-Taktgeber 66 kann auf einer standardisierten Schnittstellenkarte für das Computersystem 60 implementiert sein. Dieselbe Schnittstellenkarte kann sowohl den Slave-Takt geber 66 als auch die Elemente enthalten, die für eine Kommunikation in der Kommunikationsverbindung 64 benötigt werden. Zum Beispiel kann eine Schnittstellenkarte den Slave-Taktgeber 66 und eine Ethernet-Schnittstelle enthal ten, falls die Kommunikationsverbindung 64 eine Ethernet-Kom munikationsverbindung ist.

Bei einem Ausführungsbeispiel ist der Master-Knoten 14 ein Computersystem, wie beispielsweise ein Personalcomputer oder eine Workstation (Arbeitsplatzrechner). Bei einem solchen Ausführungsbeispiel kann der Hostprozessor des Master-Kno tens 14 die Funktionen durchführen, die der Berechnungsvor richtung 40 zugeordnet sind.

Fig. 5 stellt ein Verfahren zum Verwenden des Synchroni sierungsprotokolls 100 dar, um die Zeitwerte, die mit dem Synchronisierungsprotokoll 72 erhalten werden, zu verteilen. Ein System 80 ist gezeigt, das einen Satz von Computersyste men 90-92 umfaßt, die an dem Synchronisierungsprotokoll 72 teilnehmen, das ein NTP über eine Kommunikationsverbindung 82 sein kann. Das Computersystem 90 umfaßt einen Master-Takt geber 86, der an dem Synchronisierungsprotokoll 100 über die Kommunikationsverbindung 82 teilnimmt, wobei ein Knoten 84 einen Slave-Taktgeber 88 aufweist. Das Computersystem 90 erhält einen Zeitwert von dem Systemtaktgeber desselben und liefert denselben zu dem Master-Taktgeber 86. Der Master-Takt geber 86 verteilt diesen Zeitwert unter Verwendung des Synchronisierungsprotokolls 100 zu dem Slave-Taktgeber 88.

Der Master-Taktgeber 86 kann auf einer standardisierten Schnittstellenkarte für das Computersystem 90 implementiert sein. Dieselbe Schnittstellenkarte kann sowohl den Master-Takt geber 86 als auch die Elemente enthalten, die für eine Kommunikation in der Kommunikationsverbindung 82 benötigt werden. Der Hostrechner des Computersystems 90 kann die Funktionen durchführen, die der Berechnungsvorrichtung des Master-Taktgebers 86 zugeordnet sind. Alternativ kann der Master-Taktgeber 86 eine Berechnungsvorrichtung enthalten, die Systemzeitwerte von dem Hostprozessor des Computersy stems 90 erhält.

Fig. 6 zeigt ein Verfahren für das Verteilen von verfolg baren Zeitwerten zu Knoten, die mit unterschiedlichen Teil netzen von einem System 150 verbunden sind. Ein Teilnetz von dem System 150 umfaßt einen Satz von Knoten 120-122, der mit einer Kommunikationsverbindung 110 gekoppelt ist, und ein weiteres Teilnetz von dem System 150 umfaßt einen Satz von Knoten 130-132, die mit einer Kommunikationsverbindung 112 gekoppelt sind.

Verfolgbare Zeitwerte werden in das System 150 unter Verwen dung eines Master-Knotens 140, der eine Verfolgbarzeitquelle 144 und einen Master-Taktgeber 146 umfaßt, eingeführt. Die Verfolgbarzeitquelle 144 liefert verfolgbare Zeitwerte zu dem Master-Taktgeber 146, und der Master-Taktgeber 146 ver teilt die verfolgbaren Zeitwerte zu einem Satz von Slave-Takt gebern 140-142 in den Knoten 120-122 unter Verwen dung des Synchronisierungsprotokolls 100.

Das System 150 umfaßt einen Grenzknoten 142, der zwischen die Kommunikationsverbindungen 110-112 gekoppelt ist. Der Grenznetzknoten 142 umfaßt einen Master/Slave-Taktgeber 152. Der Master/Slave-Taktgeber 152 verhält sich wie ein Slave-Takt geber, dahingehend, daß derselbe sich mit den verfolg baren Zeitwerten synchronisiert, die durch den Master-Takt geber 146 über die Kommunikationsverbindung 110 verteilt werden. Zusätzlich verhält sich der Master/Slave-Taktgeber 152 wie ein Master-Taktgeber, dahingehend, daß derselbe seinerseits die verfolgbaren Zeitwerte zu einem Satz von Slave-Taktgebern 150-152 in den Knoten 130-132 über die Kommunikationsverbindung 112 verteilt.

Fig. 7 stellt ein Ausführungsbeispiel des Master/Slave-Takt gebers 152 dar. Der Master/Slave-Taktgeber 152 umfaßt zusam men mit einem einstellbaren Taktgeber 254 einen Zeitpaketer kenner 250 und ein Latch 252 für die Slave-Seite der Kom munikationsverbindung 110 und einen Zeitpaketerkenner 258 und ein Latch 256 für die Master-Seite auf der Kommunika tionsverbindung 112. Eine Berechnungsvorrichtung 260 führt die Berechnungen sowohl für die Master- als auch die Slave-Sei te des Master/Slave-Taktgebers 152 durch.

Der Betrieb der Slave-Seite des Master/Slave-Taktgebers 152 ist wie folgt. Der Master-Taktgeber 146 überträgt ein Zeit datenpaket (ein Zeitereignis) über die Kommunikationsver bindung 110 und überträgt dann ein Datenpaket, das einen verfolgbaren Zeitwert für das Zeitereignis (die Zusatzin formation für das Zeitereignis) enthält, über die Kommuni kationsverbindung 110. Als Antwort auf das Zeitereignis be wirkt der Zeitpaketerkenner 250, daß das Latch 252 die lo kale Zeit in dem einstellbaren Taktgeber 254 zwischenspei chert. Die Berechnungsvorrichtung 260 empfängt die Zusatz information und berechnet den Unterschied zwischen dem Zeit wert in dem Latch 252 und dem verfolgbaren Zeitwert aus der Zusatzinformation und stellt dann den einstellbaren Taktge ber 254 demgemäß ein. Dies bewirkt, daß sich der einstell bare Taktgeber 254 zu den verfolgbaren Zeitwerten, die durch den Master-Taktgeber 146 verteilt werden, synchronisiert.

Der Betrieb der Master-Seite des Master/Slave-Taktgebers 152 ist wie folgt. Die Berechnungsvorrichtung 260 erzeugt perio disch ein Zeitdatenpaket und überträgt dasselbe über die Kommunikationsverbindung 112 zu den Slave-Taktgebern 150-152. Als Antwort auf ein Zeitdatenpaket bewirkt der Zeitpa keterkenner 258, daß das Latch 256 die lokale Zeit in dem einstellbaren Taktgeber 254 zwischenspeichert. Die Berech nungsvorrichtung 260 erhält dann den zwischengespeicherten Zeitwert von dem Latch 256 und überträgt denselben als Zu satzinformationen über die Kommunikationsverbindung 112 zu den Slave-Taktgebern 150-152. Dies ermöglicht, daß sich die Berechnungsvorrichtungen in den Slave-Taktgebern 150-152 zu den verfolgbaren Zeitwerten des einstellbaren Takt gebers 254 synchronisieren. Zum Beispiel verwendet der Slave-Taktgeber 150 den Unterschied zwischen seiner Emp fangszeit eines Zeitdatenpakets und dem verfolgbaren Zeit wert, der von der entsprechenden Zusatzinformation geliefert wird, um den lokalen, einstellbaren Taktgeber desselben ein zustellen.

Die Berechnungsvorrichtung 260 kann als Antwort auf die In formationen, die von den Taktgebern, die an jeder Kommunika tionsverbindung 110-112 befestigt sind, geliefert werden, eine Bestimmung davon liefern, welches die Master-Seite und welches die Slave-Seite des Master/Slave-Taktgebers 152 ist. Diese Informationen können die Genauigkeit der Taktgeber da hingehend umfassen, ob ein Taktgeber verfolgbare Zeitwerte entweder direkt oder als ein Slave zu einer Verfolgbarzeit quelle liefert, und ob Taktgeber selbst zweiseitige Taktge ber von einem Grenzknoten darstellen.

Ein Master/Slave-Taktgeber in einem Grenzknoten hat im all gemeinen eine Slave-Seite und n Master-Seiten zum Verbinden von bis zu n zusätzlichen Teilnetzen. Jede Slave-Seite und jede der n Master-Seiten weisen entsprechende Zeitpaketer kenner und Latches auf, und dieselbe Berechnungsvorrichtung kann unter diesen geteilt werden. Die Slave-Seite stellt in dem Teilnetz ein Slave dar, das die beste Zeitquelle gemäß einem vorausgewählten Kriterium, wie beispielsweise der Genauigkeit oder jedem der anderen Kriterien, die oben dargestellt sind, aufweist.

Fig. 8 zeigt ein Datenerfassungs- und Steuersystem 200, das einen Satz von Karten 210-213 umfaßt, die mit einer Rück wandleiterplatte 202 verbunden sind. Die Karten 210-213 umfassen jeweils eine Schaltungsanordnung zum Liefern von synchronisierten Takten unter Verwendung des Synchronisier ungsprotokolls 100 und umfassen eine Schaltungsanordnung zum Erzeugen von phasenkohärenten Signalen unter Verwendung der Verfahren, die oben skizziert sind.

Das Synchronisierungsprotokoll 100 erfordert, daß zwei Grundtypen von Informationen zwischen den Karten 210-213 kommuniziert werden. Die Grundtypen sind ein Zeitereignis und ein Satz von Zusatzinformationen, der dem Zeitereignis zugeordnet ist. Zum Beispiel ist ein Zeitdatenpaket ein Zeitereignis. Falls eine verfolgbare Zeit von einer GPS-Quel le geliefert wird, dann treten Zeitdatenpakete normaler weise einmal pro Sekunde auf.

Die Zusatzinformation für ein Zeitereignis ist eine Inter pretation des Zeitereignisses. Wenn beispielsweise ein Zeit ereignis einer GPS-Quelle zugeordnet ist, dann ist die Zu satzinformation für das Zeitereignis die UTC-Zeit, bei der das Zeitereignis erzeugt wurde. Wenn ein Zeitereignis einem Master-Taktgeber zugeordnet ist, dann ist die Zusatzinforma tion für das Zeitereignis die Zeit, bei der der Knoten, der den Master-Taktgeber aufweist, das Zeitereignis erzeugt hat.

Die Karten 210-213 kommunizieren Zeitereignisse unter Ver wendung eines Satzes von Kommunikationsverbindungen 220-223, der als eine Prioritätsverkettung (Daisy Chain) ange ordnet ist. Jede der Karten 210-213 umfaßt ein Prioritäts verkettungseingangstor (IN) und ein Prioritätsverkettungs ausgangstor (OUT). Jede der Karten 210-213 empfängt Zeit ereignisse an dem IN-Tor derselben und gibt Zeitereignisse an dem OUT-Tor derselben aus. Wenn eine Karte keine Zeiter eignisse an dem IN-Tor derselben erfaßt, dann kann ange nommen werden, daß dieselbe der Master des Datenerfassungs- und Steuersystems 200 ist. Alternativ kann der Master des Datenerfassungs- und Steuersystems 200 durch einen Hostpro zessor konfiguriert sein, der mit der Rückwandleiterplatte 202 verbunden ist. Diejenige der Karten 210-213, die der Master ist, gibt Zeitereignisse mit einer geeigneten Rate aus. Jede der verbleibenden dieser Karten 210-213, die eine Slave-Karte ist, leitet jedes Zeitereignis von dem IN-Tor derselben zu dem OUT-Tor derselben ohne wesentliche Ver zögerung weiter.

Bei einem Ausführungsbeispiel sind die Kommunikationsverbin dungen 220-223 Signalleitungen. Bei einem weiteren Ausfüh rungsbeispiel sind die Kommunikationsverbindungen 220-223 Faseroptikverbindungen. Die Karten 210-223 können LEDs und Photodioden umfassen, so daß, wenn jede Karte 210-223 in die Rückwandleiterplatte 202 eingesetzt ist, eine Priori tätsverkettungseingangs- und eine Prioritätsverkettungs ausgangsverbindung gebildet wird. Bei anderen Ausführungs beispielen können die Kommunikationsverbindungen 220-223 RS232-Verbindungen oder Netzkommunikationsverbindungen, wie beispielsweise Ethernet-Verbindungen, sein.

Diejenige der Karten 210-213, die den Master-Taktgeber aufweist, erzeugt die Zusatzinformationen und kann als die Masterkarte bezeichnet werden. Der Rest der Karten 210-213 empfängt die Zusatzinformationen und kann als Slave-Karten bezeichnet werden. Bei einem Ausführungsbeispiel kommunizie ren die Karten 210-213 die Zusatzinformationen unter Ver wendung von Kommunikationswegen auf der Rückwandleiterplatte 202, da die Zusatzinformationen weniger zeitkritisch als die Zeitereignisse sind und daher die Verzögerungen, die der Kommunikation in der Rückwandleiterplatte 202 zugeordnet sind, tolerierbar sein können. Dieses Ausführungsbeispiel ermöglicht einfache und preiswerte Implementationen der Kommunikationsverbindungen 220-223. Zum Beispiel können die Kommunikationsverbindungen 220-223 Signalleitungen sein, die CMOS-Signale mit Kommunikations-Zeitereignissen tragen.

Bei einem alternativen Ausführungsbeispiel kommunizieren die Karten 210-213 die Zusatzinformationen unter Verwendung der Kommunikationsverbindungen 220-223. Dieses Ausfüh rungsbeispiel kann erfordern, daß die Kommunikationsver bindungen 220-223 in einer etwas komplexeren Weise imple mentiert werden. Zum Beispiel können Informationen in den Kommunikationsverbindungen 220-223 unter Verwendung eines Signalpakets getragen werden. Ein Start eines Rahmenab schnitts des Signalpakets kann das Zeitereignis anzeigen, und die Zusatzinformationen können in dem Rest des Signal pakets codiert sein. Eine weitere Möglichkeit ist eine RS232-Implementation der Kommunikationsverbindungen 220-223.

Bei einem Ausführungsbeispiel ist die Karte 213 die Master karte, die einen Master-Taktgeber umfaßt, der Zeitwerte zu den Slave-Taktgebern in den Karten 210-212 und zu Slave- Taktgebern in den Knoten, die mit einer Kommunikationsver bindung 204 verbunden sind, verteilt. Diese Zeitwerte können von einem Hostprozessor erhalten werden, der mit der Rück wandleiterplatte 202 verbunden ist, die das NTP-Protokoll implementiert.

Bei einem weiteren Ausführungsbeispiel umfaßt die Karte 213 einen Master-Taktgeber, der Zeitwerte zu Slave-Taktgebern in den Karten 210-212 verteilt, und umfaßt einen Slave-Takt geber, der sich zu einem Master-Taktgeber in einem Knoten, der mit der Kommunikationsverbindung 204 verbunden ist, syn chronisiert. Der Knoten, der mit der Kommunikationsverbin dung 204 verbunden ist und den Master-Taktgeber aufweist, kann eine Verfolgbarzeitquelle, wie beispielsweise GPS, wie oben beschrieben wurde, umfassen. Die Kommunikationsverbin dung 204, kann eine Netzkommunikationsverbindung 204 wie beispielsweise Ethernet sein. Die Karte 213 kann ferner als ein Tor zu der Kommunikationsverbindung 204 für einen Host prozessor, der mit der Rückwandleiterplatte 202 verbunden ist, dienen.

Die Berechnungen, die für das Synchronisierungsprotokoll 100 benötigt werden, können durch eine Berechnungsschaltungsan ordnung durchgeführt werden, die auf den Karten 210-213 implementiert ist. Alternativ können die Berechnungen, die für das Synchronisierungsprotokoll 100 benötigt werden, von einem Hostprozessor durchgeführt werden, der mit der Rück wandleiterplatte 202 verbunden ist.

Die Rückwandleiterplatte 202 kann die eines Personalcompu ters, einer Workstation oder eines spezialisierten Systems sein. Die Rückwandleiterplatte 202 kann eine standardmäßige Rückwandleiterplatte wie beispielsweise PCI, VME oder ISA sein, um einige wenige Beispiele zu nennen.

Eine Kommunikationsverbindung für das Kommunizieren der Zeitereignisse und der Zusatzinformationen für das Syn chronisierungsprotokoll 100 kann als eine zusätzliche Leiterbahn auf der Rückwandleiterplatte 202 implementiert sein. Jedoch kann dies eine Modifikation eines bestehenden Rückwandleiterplattenstandards erfordern, was nicht prak tisch sein kann. Zusätzlich kann die Kommunikationsverbin dung zum Kommunizieren der Zeitereignisse und der Zusatz informationen ein paketisiertes Netz, wie beispielsweise Ethernet, sein, das mit jeder der Karten 210-213 verbunden ist. Dies kann zu teuer sein, um ein Rückwandleiter plattensystem zu implementieren.

Claims

1. System, mit folgenden Merkmalen:
einem Satz von Knoten (20-22), die mit einer Kom munikationsverbindung (12) gekoppelt sind, und die jeweils einen Nebentaktgeber (30-32) aufweisen, der einen Nebenzeitwert unter Verwendung eines Synchroni sierungsprotokolls (100) synchronisiert;
einer Verfolgbarzeitquelle (16), die einen verfolgba ren Zeitwert erzeugt;
einem Hauptknoten (14), der mit der Kommunikationsver bindung (12) gekoppelt ist, und der einen Haupttaktge ber (18) aufweist, der einen Hauptzeitwert mit dem verfolgbaren Zeitwert synchronisiert, und der den Hauptzeitwert zu den Nebentaktgebern (30-32) über die Kommunikationsverbindung (12) unter Verwendung des Synchronisierungsprotokolls (100) verteilt.

2. System gemäß Anspruch 1, bei dem die Verfolgbarzeit quelle (16) in dem Hauptknoten (14) enthalten ist.

3. System gemäß Anspruch 1 oder 2, bei dem die Verfolg barzeitquelle (16) ein GPS-Empfänger ist.

4. System gemäß Anspruch 1, das ferner ein Computersystem (60) aufweist, das mit der Kommunikationsverbindung (64) gekoppelt ist, und das einen Nebentaktgeber (66) aufweist, der sich mit dem Hauptzeitwert über die Kom munikationsverbindung (64) unter Verwendung des Syn chronisierungsprotokolls (100) synchronisiert, wobei das Computersystem (60) einen Satz von Software zum Synchronisieren eines Systemtaktgebers des Computer systems (60) mit einem Satz von anderen Systemtakt gebern in einem Satz von anderen Computersystemen (61-62) ausführt, die mit der Kommunikationsverbindung (64) gekoppelt sind, derart, daß das Computersystem (60) einen Zeitwert von dem Nebentaktgeber (66) für einen Zeitwert in dem Systemtaktgeber zur Verwendung beim Synchronisieren der anderen Systemtaktgeber in den anderen Computersystemen (61-62) einsetzt.

5. System gemäß Anspruch 4, bei dem die Kommunikations verbindung (64) eine Kommunikation unter Verwendung eines paketisierten Netzkommunikationsprotokolls er möglicht.

6. System gemäß Anspruch 5, bei dem sowohl der Nebentakt geber (66) des Computersystems (60) als auch die Schaltungsanordnung für das paketisierte Netzkommuni kationsprotokoll auf einer Schnittstellenkarte für das Computersystem implementiert sind.

7. System, mit folgenden Merkmalen:
einem Satz von Knoten, die mit einer Kommunikations verbindung (12) gekoppelt sind, und die jeweils einen Nebentaktgeber (66) aufweisen, der einen Nebenzeitwert unter Verwendung eines Synchronisierungsprotokolls (100) synchronisiert;
einem Computersystem (90), das mit der Kommunikations verbindung (82) gekoppelt ist, und das einen Satz von Software zum Synchronisieren eines Systemtaktgebers des Computersystems (90) mit einem Satz von anderen Systemtaktgebern in einem Satz von anderen Computersy stemen, die mit der Kommunikationsverbindung (82) ge koppelt sind, synchronisiert, wobei das Computersystem (90) einen Haupttaktgeber (86) aufweist, der einen Hauptzeitwert mit dem Systemtaktgeber synchronisiert und der den Hauptzeitwert zu den Nebentaktgebern (88) über die Kommunikationsverbindung (82) unter Verwen dung des Synchronisierungsprotokolls (100) verteilt.

8. System gemäß Anspruch 7, bei dem die Kommunikations verbindung (82) unter Verwendung eines paketisierten Netzkommunikationsprotokolls eine Kommunikation ermög licht.

9. System gemäß Anspruch 8, bei dem der Haupttaktgeber (86) und die Schaltungsanordnung für das paketisierte Netzkommunikationsprotokoll auf einer Schnittstellen karte für das Computersystem (90) implementiert sind.

10. System, mit folgenden Merkmalen:
einem ersten Teilnetz, das einen Satz von ersten Kno ten- (120-122) aufweist, die mit einer ersten Kommu nikationsverbindung (110) gekoppelt sind, wobei jeder erste Knoten (120-122) einen Nebentaktgeber (140-142) aufweist, der einen Nebenzeitwert unter Verwen dung eines Synchronisierungsprotokolls (100) in der ersten Kommunikationsverbindung (110) synchronisiert;
einem zweiten Teilnetz, das einen Satz von zweiten Knoten (130-132) aufweist, die mit einer zweiten Kommunikationsverbindung (112) gekoppelt sind, wobei jeder zweite Knoten (130-132) einen Nebentaktgeber (150-152) aufweist, der einen Nebenzeitwert unter Verwendung des Synchronisierungsprotokolls (100) in der zweiten Kommunikationsverbindung (112) synchroni siert;
einer Verfolgbarzeitquelle (144), die einen verfolgba ren Zeitwert erzeugt;
einem Hauptknoten (140), der mit der ersten Kommunika tionsverbindung (110) gekoppelt ist, und der einen Haupttaktgeber (146) aufweist, der einen Hauptzeitwert mit dem verfolgbaren Zeitwert synchronisiert, und der den Hauptzeitwert zu den Nebentaktgebern (140-142) über die erste Kommunikationsverbindung (110) unter Verwendung des Synchronisierungsprotokolls (100) ver teilt;
einem Grenzknoten (142), der mit der ersten Kommunika tionsverbindung (110) gekoppelt ist und der einen Haupt/Neben-Taktgeber (152) aufweist, der sich mit dem Hauptzeitwert synchronisiert, der durch den Haupttakt geber (146) unter Verwendung des Synchronisierungspro tokolls (100) in der ersten Kommunikationsverbindung (110) verteilt wird, und der den Hauptzeitwert zu den Nebentaktgebern (150-152) des zweiten Teilnetzes über die zweite Kommunikationsverbindung (112) unter Verwendung des Synchronisierungsprotokolls verteilt.

11. System gemäß Anspruch 10, bei dem die Verfolgbarzeit quelle (144) in dem Hauptknoten (140) enthalten ist.

12. System gemäß Anspruch 10 oder 11, bei dem die Verfolg barzeitquelle (144) ein GPS-Empfänger ist.

13. System, mit folgenden Merkmalen:
einem Hauptknoten (14), der mit einer Kommunikations verbindung (12) gekoppelt ist, und der einen Haupt taktgeber (18) aufweist, der einen Hauptzeitwert über die Kommunikationsverbindung (12) unter Verwendung eines Synchronisierungsprotokolls (100) verteilt;
einem Satz von Knoten (20-22), die mit der Kommuni kationsverbindung (12) gekoppelt sind, und die jeweils einen Nebentaktgeber (30-32) aufweisen, der einen Nebenzeitwert mit dem Hauptzeitwert unter Verwendung des Synchronisierungsprotokolls (100) synchronisiert, wobei einer oder mehrere der Knoten eine Schaltungs anordnung zum Erzeugen eines phasenkohärenten, perio dischen Signals als Antwort auf den Nebenzeitwert auf weisen.

14. System gemäß Anspruch 13, bei dem das phasenkohärente, periodische Signal für das Synchronisieren der Zeit vielfachzugriff-Kommunikation in der Kommunikations verbindung verwendet wird.

15. System gemäß Anspruch 13, bei dem das phasenkohärente, periodische Signal für eine Zeitbasis bei der Datener fassung und -steuerung verwendet wird.

16. System gemäß Anspruch 13, das ferner eine Verfolgbar zeitquelle (16) aufweist, die einen verfolgbaren Zeit wert derart erzeugt, daß der Haupttaktgeber (18) den Hauptzeitwert mit dem verfolgbaren Zeitwert synchroni siert.

17. Datenerfassungs- und Steuersystem (200) mit folgenden Merkmalen:
einem Satz von Nebenkarten (210-213), die mit einer Rückwandleiterplatte (202) verbunden sind, wobei jede Nebenkarte (210-213) einen Nebentaktgeber zur Ver wendung mit einem Synchronisierungsprotokoll (100) aufweist, das mindestens ein Zeitereignis und einen Satz von Zusatzinformationen aufweist, der dem Zeit ereignis zugeordnet ist;
einer Hauptkarte, die mit der Rückwandleiterplatte (202) verbunden ist und die einen Haupttaktgeber zur Verwendung mit dem Synchronisierungsprotokoll (200) aufweist;
einer Prioritätsverkettungskommunikationsverbindung zwischen der Hauptkarte und den Nebenkarten (210-213), derart, daß die Hauptkarte die Zeitereignisse zu den Nebenkarten (210-213) unter Verwendung der Prio ritätsverkettungskommunikationsverbindung kommuni ziert.

18. Datenerfassungs- und Steuersystem (200) gemäß Anspruch 17, bei dem die Hauptkarte die Zusatzinformationen zu den Nebenkarten (210-213) unter Verwendung der Prio ritätsverkettungskommunikationsverbindung kommuni ziert.

19. Datenerfassungs- und Steuersystem (200) gemäß Anspruch 17, bei dem die Hauptkarte die Zusatzinformationen zu den Nebenkarten (210-213) unter Verwendung eines Kommunikationswegs auf der Rückwandleiterplatte (202) kommuniziert.

20. Datenerfassungs- und Steuersystem (200) gemäß Anspruch 17, bei dem die Hauptkarte mit einer Netzkommunika tionsverbindung gekoppelt ist, die mit einem oder mehreren Knoten verbunden ist, wobei jeder derselben einen Nebentaktgeber derart aufweist, daß der Haupt taktgeber in der Hauptkarte das Zeitereignis und die Zusatzinformationen zu den Knoten über die Netzkom munikationsverbindung verteilt.