DE4325404C2 - Verfahren zum Ermitteln und Klassifizieren von Störgeräuschtypen - Google Patents

Description

Die Erfindung betrifft ein Verfahren zum Ermitteln und Klassi­ fizieren von Störgeräuschtypen unter Anwendung von für die Sprachanalyse bekannten Verfahren nach dem Oberbegriff des Pa­ tentanspruchs 1.

In einem Fachbericht mit dem Titel "Einzelwort-Erkennung in ge­ räuschvoller Umgebung", der in einem Tagungsband zur Konferenz über Sprachverarbeitung unter ungünstigen Bedingungen (Cannes- Mandelieu, vom 10. bis 13. Nov. 1992; ISSN 1018-4554) ab Seite 215 abgedruckt ist, wird ein Verfahren beschrieben, womit eine Spracherkennung auch dann ermöglicht wird, wenn Geräusche auf­ treten. Unter Anwendung der bekannten Vektorquantisierung wird dabei für jedes spezifische Geräusch in einer Trainingsphase ein Satz von "Verborgenen Markov-Modellen" erzeugt und abge­ speichert. Beim Erkennen einer mit Geräusch behafteten Sprach­ äußerung muß dann eine Vielzahl von Vektorquantisierern vorge­ sehen werden, um die verschiedenen Markov-Modelle ansteuern zu können, damit dasjenige herausgefunden werden kann, welches die besten Erkennungsergebnisse liefert. Wie auf Seite 216 be­ schrieben wird, ist dazu eine sehr hohe Rechnerleistung erfor­ derlich und es können nur Sprachäußerungen erkannt werden, die mit Geräuschen behaftet sind, für welche bereits Markov-Modelle vorhanden sind. Für den Fall, daß in dem zu erkennenden Ein­ gangssignal ein Geräusch vorhanden ist, welches rächt katalogi­ siert ist, müssen zusätzliche Maßnahmen durchgeführt werden.

Zur Lösung dieses Problems ist eine zusätzliche sogenannte spektrale Subtraktion vorgesehen. Hierzu sind zusätzliche mit Vektorquantisierung trainierte Modelle von möglichen Geräusch­ typen erforderlich. Es wird dann die sukzessive Vektorquanti­ sierung-Rahmenstörung über einen Tiefpaß gefiltert und ein Ver­ gleich durchgeführt. Damit wird erreicht, daß ein möglichst ähnliches Geräusch erkannt wird, welches vom Eingabesignal nach dessen Vektorquantisierung subtrahiert wird. Das daraus resul­ tierende Signal wird dann einem weiteren speziellen Vektorquan­ tisierer zugeführt, womit eine reine Sprache repräsentiert wer­ den soll, welche dann mit Markov-Modellen der reinen Sprache verglichen wird. Bei einem derartigen Verfahren ist eine große Speicherkapazität erforderlich, und die Rechnerleistung muß re­ lativ hoch sein.

Ausgehend vom vorgenannten Stand der Technik besteht die Auf­ gabe der Erfindung darin, ein Verfahren anzugeben, mit dem bei relativ geringem Speicher und Rechneraufwand zunächst ein Ge­ räusch eindeutig oder annähernd bestimmt werden kann. Mit dem dabei erzielten Ergebnis soll die Spracherkennung optimiert werden können.

Zur Lösung dieser Aufgabe ist eine Merkmalskombination vorgese­ hen, wie sie im Patentanspruch 1 angegeben ist.

Damit wird in vorteilhafter Weise erreicht, daß von jedem Stör­ geräuschtyp lediglich eine Tabelle über die Häufigkeitsvertei­ lung von Merkmalsvektoren gespeichert sein muß. Das Vergleichen einer vom aktuell eingegebenen Signal erstellten Häufigkeits­ verteilungs-Tabelle der dabei ermittelten Merkmalsvektoren mit gespeicherten Vergleichstabellen nimmt wenig Rechnerleistung in Anspruch. Das beim Erkennen eines Störgeräuschtyps auftretende Signal kann außer zur Spracherkennung auch für andere Schaltbe­ fehle benutzt werden.

Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand von Zeichnungen näher erläutert.

Es zeigt

Fig. 1 ein Blockschaltbild für das Trainieren und Er­ kennen von Störgeräuschtypen

Fig. 2 ein Blockschaltbild einer Anordnung zur Erken­ nung von gestörter Sprache unter Verwendung von mehreren Codebüchern

In der Fig. 1 ist eine Anordnung dargestellt, die sowohl zum Trainieren von Sprach- und Geräuschmodellen dient und auch zum Erkennen von Sprache und Geräuschen geeignet ist. Um dies zu ermöglichen, wird zunächst ungestörte Sprache Spr von einem Mi­ krofon M aufgenommen und einer Sprachanalyseeinheit SA zuge­ führt. Dort werden einzelne Zeitabschnitte gleicher Länge in sogenannte Merkmalsvektoren MV überführt. Über einen Vektor­ quantisierer VQ werden aus diesen Merkmalsvektoren MV die Code­ buchvektoren CV1 bis CVm für das Standardcodebuch SCB trainiert und dort eingetragen sowie jeweils mit einem Index I1 bis Im versehen.

Wenn auf diese Weise ein Standardcodebuch SCB mit ungestörter Sprache trainiert worden ist, so sind darin Codebuchvektoren CV1 bis CVm enthalten, die jeweils ihren zugeordneten Index I1 bis Im haben. Danach kann damit begonnen werden, Sprachäuße­ rungen Spr zusammen mit Störgeräuschtypen SG1 bis SGn über das Mikrofon M einzugeben. Die vom Mikrofon M aufgenommenen Signale werden von der Sprachanalyseeinheit SA, wie zuvor bereits beschrieben worden ist, in Merkmalsvektoren MV überführt und dem Vektorquantisierer VQ zugeführt. Der Vektorquantisierer VQ vergleicht nun alle Codebuchvektoren CV1 bis CVm mit dem gerade anstehenden Merkmalsvektor MV. Dabei wird herausgefunden, wel­ cher Codebuchvektor CV1 bis CVm dem angebotenen Merkmalsvektor MV am ähnlichsten ist. Der dazugehörige Index, z. B. 12 gelangt dann in eine Erfassungseinrichtung EE und wird dort zwischenge­ speichert. Dies geschieht nacheinander mit allen Merkmalsvekto­ ren MV, wobei in der Erfassungseinrichtung EE jedem Index zuge­ ordnet die Häufigkeit seines Auftretens gespeichert wird. Auf diese Weise entsteht eine Zahlenreihe, die für jeden einzelnen Index I1 bis Im angibt, wie oft er während der Eingabe der mit einem Störgeräuschtyp, z. B. SG1, behafteten Sprache Spr aufgetreten ist. Diese Zahlenreihe stellt eine Häufigkeitsverteilung der einzelnen Merkmalsvektoren MV dar, welche für den betref­ fenden Störgeräuschtyp SG1 als charakteristische Häufigkeits­ verteilung PR1 in einem Indexspeicher ISP eingetragen wird. Auch für die ungestörte Sprache Spr kann auf diese Weise eine Häufigkeitsverteilung PR0 im Indexspeicher ISP vorhanden sein. Der Indexspeicher ISP weist Bereiche, beispielsweise Zeilen auf, die jeweils einem Störgeräuschtyp SG1 bis SGn und auch der ungestörten Sprache Spr zugeordnet sind, in denen jeweils die Häufigkeitsverteilungen PR0 bis PRn abgelegt sind.

Mit dem Inhalt dieses Indexspeichers ISP ist es nun möglich, einen Störgeräuschtyp SG1 bis SGn zu erkennen. Zu diesem Zweck wird eine Sprachäußerung Spr zusammen mit einem unbekannten Störgeräuschtyp SGu vom Mikrofon aufgenommen und der Sprachana­ lyseeinheit SA zugeführt. Die dabei entstehenden Merkmalsvekto­ ren MV werden nun durch den Vektorquantisierer VQ mit allen im Standardcodebuch SCB vorhandenen Codebuchvektoren verglichen. Die dabei sich ergebenden Indizes I1 bis Im von dem jeweils ähnlichsten Codebuchvektor CV werden in der Erfassungseinrich­ tung EE zwischengespeichert, wobei ermittelt wird, wie häufig jeweils ein Index I aufgetreten ist. Die dabei sich ergebende Häufigkeitsverteilung PT wird einem Vergleichsrechner VGR ange­ boten, welcher die Häufigkeitsverteilung PT mit allen im Index­ speicher ISP befindlichen Häufigkeitsverteilungen PR0 bis PRn vergleicht. Bei diesem Vorgang wird vom Vergleichsrechner ein Abweichungswert d ermittelt, der sich wie folgt berechnet:

Wenn sich bei dieser Gegenüberstellung der Häufigkeitsvertei­ lung PT von Indizes aus der aktuellen Merkmalsvektoren MV und den im Indexspeicher ISP befindlichen Häufigkeitsverteilungen PR0 bis PRn ein Abweichungswert d ergibt, der ein Minimum auf­ weist, so hat eine Störgeräuscherkennung SGE stattgefunden. Der Vergleichsrechner VGR stellt dabei fest, bei welcher im Index­ speicher ISP befindlichen Häufigkeitsverteilung PR0 bis PRn sich dieser minimale Abweichungswert d ergeben hat. Daraus re­ sultiert die Beschaffenheit des Signals für die Störgeräusch­ erkennung SGE, welches angibt, um welchen Störgeräuschtyp SG1 bis SGn es sich handelt. Die Störgeräuscherkennung SGE kann in Form eines binär kodierten Wortes ausgegeben werden, welches direkt als Schalt- oder Ansteuerbefehl verwendet werden kann.

In der Fig. 2 ist eine Anordnung dargestellt, bei der mehrere Codebücher SCB, CB1 bis CBn verwendet werden. Diese Anordnung dient dazu, eine Spracherkennung zu optimieren, wenn bekannte oder unbekannte Störgeräusche vorhanden sind. Das Mikrofon M nimmt die Sprachäußerung Spr zusammen mit bekannten Störgeräu­ schen SG1 bis SGn oder unbekannten Störgeräuschen SGu auf und gibt sie an die Sprachanalyseeinheit SA ab. In der Sprachanaly­ seeinheit SA entstehen Merkmalsvektoren MV, die einem Vektor­ quantisierer zugeführt werden. Der Vektorquantisierer VQ ist mit einem Codebuchmultiplexer CBM verbunden, welcher durch das Störgeräuscherkennungssignal SGE eingestellt wird. Damit wird gezielt dasjenige Codebuch SCB, CB1 bis CBn angesteuert, wel­ ches für den erkannten Störgeräuschtyp zuständig ist. Selbst­ verständlich müssen die für verschiedene Störgeräuschtypen SG1 bis SGn vorhandenen Codebücher CB1 bis CBn vorher trainiert worden sein. Für die ungestörte Sprache Spr ist das bereits be­ schriebene Standardcodebuch SCB vorhanden. Der Störgeräuschtyp SG0 entspricht demnach einer ungestörten Spracheingabe Spr. In einer Auswerteeinrichtung AE werden dann diejenigen Codebuch­ vektoren CV aus dem betreffenden Codebuch CB1 bis CBn oder auch SCB herausgefunden, welche den vom Eingabesignal gebildeten Merkmalsvektoren MV am ähnlichsten sind, um ein Spracherken­ nungssignal SE zu erhalten. Bei der in Fig. 2 dargestellten Anordnung sind selbstverständlich die funktionsgleichen Kompo­ nenten Sprachanalyseeinheit SA, Vektorquantisierer VQ sowie das Standardcodebuch SCB mit den in der Fig. 1 dargestellten gleichartigen Einrichtungen identisch.

Mit der in Fig. 2 dargestellten Anordnung ist es also möglich, für eine optimale Spracherkennung gezielt eines von mehreren vorhandenen Codebüchern SCB, SG1 bis SGn und den jeweils dazu gehörenden diskreten Markov-Modellen (HMMS, HMM1 bis HMMn) anzusteuern. Hierzu dient das Störgeräuscherkennungssignal SGE, welches den Codebuchmultiplexer CBM so einstellt, daß der Vektorquantisierer VQ mit einem der Codebücher SCB, CB1 bis CBn verbunden wird. Dabei können auch bei einem unbekannten Stör­ geräusch SGu, wofür kein Codebuch besteht, bessere Ergebnisse bei der Spracherkennung SE erzielt werden.

Das Störgeräuscherkennungssignal SGE kann auch dazu verwendet werden, die betreffende Störgeräuschquelle zumindest vorüber­ gehend abzuschalten. So ist es beispielsweise möglich, auf Grund des erkannten Störgeräuschtyps SG1 bis SGn mit entspre­ chenden elektrischen oder elektronischen Schalteinrichtungen einen Lüfter auszuschalten oder ein Fenster bzw. eine Tür zu schließen. Das Störgeräuscherkennungssignal SGE kann auch dazu dienen, irgendwelche Einrichtungen zu überwachen, welche Geräu­ sche von sich geben und dabei ihren Betriebszustand erkennen lassen. Es kann also erkannt werden, ob ein wichtiges elektri­ sches oder elektronisches Gerät in Betrieb ist oder nicht. Hieraus könnten Alarmmeldungen abgeleitet werden, wenn z. B. ein bestimmter Geräuschtyp von seinem Sollwert abweicht. Außer­ dem kann eine Spracherkennung SE noch weiter verbessert werden, wenn Störgeräuschtypen SG1 bis SGn eliminiert worden sind und eine nahezu ungestörte Sprache Spr ausgewertet werden kann.

Claims (4)

1. Verfahren zum Ermitteln und Klassifizieren von Störge­ räuschtypen unter Anwendung von für die Sprachanalyse be­ kannten Verfahren, wobei in einer Trainings- oder Lernphase Referenzmuster gebildet werden, die akustisch eingegebene Signale beschreiben und in einem Codebuch abgespeichert wer­ den, um als Grundlage zur späteren Erkennung dieser Signale zu dienen, dadurch gekennzeichnet,
daß zunächst ein Standardcodebuch (SCB) erstellt wird, wel­ ches die Referenzmuster von Sprachäußerungen (Spr), die ohne Störgeräusch (SG0) eingegeben und trainiert wurden, in Form von mit Indizes (I1 bis Im) versehenen Codebuchvektoren (CBV1 bis CBVm) enthält,
daß danach die Sprachäußerungen (Spr), ohne und mit ver­ schiedenen Störgeräuschtypen (SG0 bis SGn) überlagert, ein­ zeln verarbeitet werden, wobei von den jeweiligen Merkmals­ vektoren (MV), die durch Vektorquantisierung (VQ) mit dem Standardcodebuch (SCB) resultierenden Häufigkeitsverteilun­ gen (PR0 bis PRn) der Indizes (I) durch eine Erfassungsein­ richtung (EE) ermittelt und in einem Indexspeicher (ISP) ab­ gespeichert werden,
daß nach Abschluß der Trainingsphase von aktuell eingegebe­ nen Sprachäußerungen (Spr), die mit einem zunächst unbekann­ ten Störgeräuschtyp (SGu) behaftet sind, Merkmalsvektoren (MV) gebildet werden und die Häufigkeitsverteilungen (PT) der Indizes (I), die aus der Vektorquantisierung (VQ) mit dem Standardcodebuch (SCB) resultieren, ebenfalls ermittelt werden,
daß dann diese Häufigkeitsverteilung (PT) mit allen im In­ dexspeicher (ISP) abgelegten Werten der jeweils einem Stör­ geräuschtyp (SG0 bis SGn) zugeordneten Häufigkeitsvertei­ lungswerten (PR0 bis PRx) verglichen wird, indem in einem Vergleichsrechner (VGR) ein Abweichungswert (d) durch Sum­ menbildung errechnet wird,
und daß der gesuchte Störgeräuschtyp (z. B. SG1) dann gefun­ den ist, wenn dieser Abweichungswert (d) einen Extremwert hat.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß nach dem Ermitteln eines Störgeräuschtyps (z. B. SG1) über einen Codebuchmultiplexer (CBM) gezielt ein dafür vor­ her trainierter Hidden-Markov-Spracherkenner mit an den Störgeräuschtyp (SG1) angepaßten Codebuch (CB1) und Modellen (HMM1) angesteuert wird, wodurch eine genauere Spracherken­ nung (SE) ermöglicht wird.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß aufgrund des erkannten Störgeräuschtyps (z. B. SG2) Schaltmaßnahmen durchführbar sind, die eine Beseitigung oder Reduzierung der Wirkung dieser Störgeräuschquelle bewirken können.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß nach der Eliminierung eines Störgeräuschtyps (z. B. SG2) erneute Spracheingaben und Berechnungen vorgenommen werden, wenn dies zur Ermittlung von weiteren Störgeräuschtypen (SG) oder zur besseren Spracherkennung (SE) erforderlich ist.