DE3642591A1

DE3642591A1 - Method for voice recognition in a noisy environment

Info

Publication number: DE3642591A1
Application number: DE19863642591
Authority: DE
Inventors: Max Josef Probst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 1985-12-20
Filing date: 1986-12-12
Publication date: 1987-11-12
Also published as: DE3642591C2

Abstract

In a method for voice recognition in a noisy environment, particularly in a motor vehicle, incoming acoustic signals are divided into packets of predetermined length in time and conducted via a frequency analyzer. If these packets contain frequencies which are characteristic of human voice, the packets are subjected to a comparison with predetermined noise patterns. The difference forming during this process is compared with predetermined word patterns. If a difference corresponds to a word pattern, the respective word is thus recognised. An associated control command is then executed in known manner.

Description

Die Erfindung bezieht sich auf ein Verfahren nach dem Oberbegriff des Patentanspruchs 1.The invention relates to a method according to the preamble of claim 1.

Gerade in geräuschvoller Umgebung bereitet das selbsttätige Erkennen menschlicher Sprache nicht unerhebliche Schwierigkeiten. Die Sprachinformation ist häufig von Geräuschen überlagert und derart gestört, daß sogar die Erkennung mit Hilfe des menschlichen Gehörs häufig mißlingt. Darüber hinaus ist gerade das exakte Erkennen von gesprochener menschlicher Information in besonderen Anwendungsfällen, beispielsweise beim Kraftfahrzeug das schnelle und exakte Erfassen derartiger Informationen, unbedingt erforderlich, um ggf. davon abhängige Steuervorgänge schnell und sicher durchführen zu können.In a noisy environment, automatic recognition is particularly helpful difficulties not insignificant in human language. The voice information is often overlaid with noise and so disturbed that even recognition with the help of human Hearing often fails. In addition, it is precisely that Recognize spoken human information in particular Applications, for example in the motor vehicle the fast and exact recording of such information, absolutely necessary, in order to quickly and securely control processes that depend on it to be able to perform.

Es ist zwar theoretisch möglich, akustische Signale hinsichtlich verschiedener Parameter, wie beispielsweise Grundfrequenz, Energieinhalt und dgl. zu analysieren. Derartiges erfordert jedoch einen erheblichen apparativen Aufwand und ist in der Regel besonders zeitaufwendig. Diese Möglichkeit scheidet somit sowohl unter Kosten- als auch unter Zeitgründen für die meisten Anwendungsfälle aus.It is theoretically possible to consider acoustic signals various parameters, such as basic frequency, energy content and the like to analyze. However, this requires a considerable amount of equipment and is usually special time consuming. This possibility is therefore different for reasons of cost and time for most applications out.

Der Erfindung liegt die Aufgabe zugrunde, eine Verfahren der eingangs genannten Art zu schaffen, das mit geringem apparativem Aufwand ein exaktes Erkennen menschlicher Worte ermöglicht.The invention has for its object a method of to create the kind mentioned that with little equipment Effort enables an exact recognition of human words.

Die Erfindung löst diese Aufgabe durch die kennzeichnenden Merkmale des Patentanspruchs 1. The invention solves this problem by the characterizing Features of claim 1.

Unter Frequenzmuster ist ein aus einer Frequenzanalyse gewonnenes n-, vorzugsweise zwei-dimensionales Muster zu verstehen, wie z. B. aus der Veröffentlichung eines Vortragsmanuskripts eines Mitarbeiters der Gippon Electronic, Kawasaki City vom 09. 11. 1984 zum Thema "A speech recognition LSI chip set" hervorgeht.Frequency pattern is an n -, preferably two-dimensional pattern obtained from a frequency analysis. B. from the publication of a lecture manuscript by an employee of Gippon Electronic, Kawasaki City on November 9, 1984 on the topic "A speech recognition LSI chip set".

Wesentlich für die Erfindung ist zunächst die Analyse der akustischen Signale hinsichtlich ihrer Frequenz. Menschliche Sprache zeichnet sich im Unterschied zu Geräuschen dadurch aus, daß sie definierte Frequenzen bzw. Frequenzen in vorgegebenen Bereichen enthält. So ist menschlicher Sprache eine Grundfrequenz gemeinsam, die bedingt durch die anatomischen Verhältnisse des Sprechers zwischen 80 Hertz (bei Männern) und 400 Hertz (bei Kindern) liegt. Damit zusammenhängend sind Oberfrequenzen, die in definiertem Verhältnis zur Grundfrequenz stehen und die bei der Laut- oder Wortbildung erzeugt werden. Wird ein Paket akustische Signale z. B. hinsichtlich des angegebenen Bereiches für die Grundfequenz untersucht und ist eine derartige Frequenz nicht vorhanden, so läßt sich daraus mit Sicherheit ableiten, daß es sich nicht um menschliche Sprache handelt.First of all, the analysis of the acoustic is essential for the invention Signals in terms of their frequency. Human language In contrast to noises, it is characterized by the fact that it defined frequencies or frequencies in predetermined ranges contains. So human speech has a fundamental frequency in common, which depends on the anatomical conditions of the speaker between 80 Hertz (for men) and 400 Hertz (for children) lies. Related to this are harmonic frequencies that are defined in Relation to the fundamental frequency and the at Sound or word formation are generated. A package will be acoustic Signals z. B. with regard to the specified range for the basic frequency examined and there is no such frequency, so it can be deduced with certainty that it is not is human language.

In diesem Falle wird das Paket akustischer Signale eindeutig dem Bereich des Geräusches zugeordnet und in Form eines Vergleichsmustes abgespeichert. Die Anzahl der zum Vergleich herangezogenen Vergleichsmuster für die Geräusche ist abhängig vom jeweiligen Einsatzort und auf eine maximale Zahl von zehn bis zwölf beschränkt. Für besondere Anwendungsfälle, bespielsweise in relativ ruhiger Umgebung, genügen in der Regel eine Anzahl von zwei bis drei Vergleichsgeräusche, um sämtliche akustische Signale eindeutig dem Bereich Geräusch oder menschliche Sprache zuzuordnen. Bei einer Umgebung, die wesentlich geräuschvoller ist, wie beispielsweise im Kraftfahrzeug, genügt eine Zahl von maximal zwölf Vergleichssignalen bzw. Vergleichsmustern, um sämtliche Geräusche abzudecken und mit deren Hilfe den Inhalt menschlicher Sprache in einem Paket akustischer Signale zu erkennen. In this case, the package of acoustic signals is clearly the Assigned area of the noise and in the form of a comparison saved. The number of used for comparison Comparison pattern for the noises depends on the respective Place of use and limited to a maximum of ten to twelve. For special applications, for example in relative quiet surroundings, usually a number of two to enough three comparison sounds to make all acoustic signals unique to be assigned to the area of noise or human speech. In an environment that is much more noisy, such as in a motor vehicle, a maximum of twelve is sufficient Comparison signals or comparison patterns around all noises to cover and with their help the content of human language in to recognize a package of acoustic signals.

Hierzu werden die Pakete, die aufgrund der vorhandenen Frequenzen dem Bereich der menschlichen Sprache zuzuordnen sind, von ihrem Geräuschanteil befreit. Dies geschieht, indem von derartigen Paketen, die neben den akustischen Signalen aufgrund menschlicher Sprache auch Geräusche enthalten, der Geräuschanteil abgezogen wird. Hierzu werden von diesen Paketen die gespeicherten Geräuschmuster abgezogen. Zumindest eines der verbleibenden Differenzmuster enthält die gesuchte sprachliche Information, die ihrerseits mit einer vorgegebenen Information in Form eines Wortmusters verglichen wird. Das Wortmuster ist nach demselben Algorithmus wie das Frequenzmuster dieses Pakets gebildet. Durch Übereinstimmung wird damit die gesprochene Information identifiziert.For this, the packets based on the existing frequencies can be assigned to the realm of human language, from their Noise component freed. This is done by such Packets in addition to the acoustic signals due to human Speech also contain noises, the noise component deducted becomes. For this purpose, the stored of these packages Noise pattern subtracted. At least one of the remaining ones Difference pattern contains the requested linguistic information, the in turn with given information in the form of a word pattern is compared. The word pattern is the same Algorithm like the frequency pattern of this packet is formed. By The spoken information is identified accordingly.

Die Vergleichsmuster können auf unterschiedliche Weise vorgehalten werden. So ist es beispielsweise möglich, eine Reihe von Standard- Vergleichsmustern vorzuhalten. Demgegenüber ist es wesentlich vorteilhafter, die für Umgebungsgeräusche typischen Muster anhand der tatsächlichen Geräusche abzuspeichern. Hierzu werden die Pakete, die eindeutig dem Bereich der Geräusche zuzuordnen sind, nacheinander abgespeichert und durch das jeweils zuletzt abgespeicherte Geräuschmuster das erste abgespeicherte Geräuschmuster ersetzt. Die Arbeitsweise dieser Speicheranordnung ist dann entsprechend der eines Schieberegisters. Es sind somit die letzten Geräuschmuster abgespeichert, die für die situativen Geräusche maßgeblich sind und die somit zumindest annähernd identisch sind mit den auf das zuletzt abgespeicherte Geräuschmuster folgenden Geräuschmustern.The comparison samples can be kept in different ways will. For example, it is possible to use a number of standard To hold comparative samples. In contrast, it is essential more advantageous, based on the patterns typical of ambient noise to save the actual sounds. For this, the Packets that are clearly assigned to the area of noise saved one after the other and by the last one saved Noise pattern the first saved noise pattern replaced. The mode of operation of this memory arrangement is then corresponding that of a shift register. So they are the last Noise pattern saved for the situational noise are decisive and are therefore at least approximately identical with the ones following the last saved noise pattern Noise patterns.

Auch die Differenzmuster können auf unterschiedliche Weise erzeugt sein. So ist es beispielsweise möglich, ebenfalls mit Standards zu arbeiten. Demgegenüber ist es wesentlich den tatsächlichen Verhältnissen angepaßt, wenn die Wortmuster in einem vorangehenden Lernschritt festgehalten werden. Damit werden auch die unterschiedlichen Wortmuster, die von ein und demselben Sprecher zu unterschiedlichen Zeiten geliefert werden, ohne weiteres erkennbar. The difference patterns can also be generated in different ways be. So it is possible, for example, to also use standards work. In contrast, it is essential the actual circumstances adjusted if the word pattern in a previous Learning step. This also makes the different Word patterns created by the same speaker different times can be delivered, easily recognizable.

Eine Verbesserung der Erfindung besteht in den Merkmalen, die im Patentanspruch 4 angegeben sind. Die Wahl der unterschiedlich, den Umgebungsgeräuschen angespaßten Algorithmen sei anhand eines Beispiels verdeutlicht. Es seien g(x) und f(x) diese unterschiedlichen Algorithmen, a der symbolische Ausdruck für ein Geräusch und w ein zu identifizierendes Wort, das von angenommen demselben Geräusch a überlagert ist. Das Differenzmuster ergibt sich dann zuAn improvement of the invention consists in the features specified in claim 4. The choice of the different algorithms that are adapted to the ambient noise is illustrated using an example. Let g ( x ) and f ( x ) be these different algorithms, a the symbolic expression for a noise and w a word to be identified, which is assumed to be overlaid by the same noise a . The difference pattern then results in

g(x)|_x=a+w- f(x)|_x=a = g(a+w)--f(a) =
g(a)-f(a) + w · g′(a) + . . . . g ( x ) | _{x = a + w} - f ( x ) | _{x = a} = g ( a + w ) - f ( a ) =
g ( a ) - f ( a ) + wg ′ ( a ) +. . . .

Damit ergibt sich aber der geschilderte Zusammenhang. Abhängig vom Geräusch a ist bei geeigneter Wahl der Algorithmen g und f die Differenz g(a)-f(a) = 0, der verbleibende Ausdruck enthält das Wort w und einen Therm, der den Resteinfluß des Algorithmus g, bezogen auf das Geräusch a beschreibt. Bei nicht zu stark variablem Geräusch innerhalb des Pakets ist die Ableitung g′ nahezu eine Konstante.However, this gives the connection described. Depending on the noise a , with a suitable choice of the algorithms g and f, the difference g ( a ) - f ( a ) = 0, the remaining expression contains the word w and a therm, which is the remaining influence of the algorithm g , based on the noise a describes. If the noise within the packet is not too variable, the derivative g ′ is almost a constant.

Die Erfindung ist anhand eines in der Zeichnung dargestellten Ausführungsbeispiels weiter erläutert.The invention is based on one shown in the drawing Embodiment explained further.

Das Verfahren zur Spracherkennung in einem Kraftfahrzeug ist hinsichtlich der verwendeten Elemente in der Zeichnung dargestellt. Als erstes werden die vorhandenen akustischen Signale mit Hilfe eines Mikrofons 1 aufgenommen, in Pakete zeitlich gleicher Länge aufgeteilt und diese Pakete in einem Frequenzanalysator 2 eingegeben. Sind in diesen Paketen Frequenzen, wie sie typischerweise für menschliche Sprache charakteristisch sind, nicht vorhanden, so werden diese Pakete in eine Mustererzeugungseinrichtung 3 geleitet. Dort wird mit Hilfe des Algorithmus f bekannterweise ein zweidimensionales Flächenmuster erzeugt, das repräsentativ ist für den zeitlichen Frequenzverlauf der Pakete. Ein derartiges Paket ist schematisch im Mustererzeuger 3 gezeigt. Die dort erzeugten Frequenzmuster werden als Referenzmuster in einen Geräuschspeicher 4 eingegeben, der in der Lage ist, zwölf aufeinander folgende Frequenzmuster zu speichern. Er arbeitet nach Art eines Schieberegisters. Das bedeutet, daß das zuletzt auftretende Referenzmuster das zeitlich erste gespeicherte Referenzmuster ersetzt. Im Geräuschspeicher 4 sind somit die zwölf zuletzt aufgetretenen Referenzmuster gespeichert.The method for speech recognition in a motor vehicle is shown in the drawing with regard to the elements used. First, the existing acoustic signals are recorded with the aid of a microphone 1 , divided into packets of the same length in time, and these packets are entered in a frequency analyzer 2 . If frequencies, as are typically characteristic of human speech, are not present in these packets, these packets are passed to a pattern generation device 3 . As is known, the algorithm f is used to generate a two-dimensional surface pattern which is representative of the temporal frequency profile of the packets. Such a package is shown schematically in the pattern generator 3 . The frequency patterns generated there are entered as reference patterns in a sound memory 4 which is able to store twelve successive frequency patterns. It works like a shift register. This means that the last occurring reference pattern replaces the first stored reference pattern. The twelve most recently occurring reference patterns are thus stored in the sound memory 4 .

Sind in den Paketen hingegen Frequenzen vorhanden, die für menschliche Sprache charakteristisch sind, so wird das auftretende Paket mit Hilfe des Analysators 2 in einen Mustererzeuger 5 eingeleitet, der insoweit entsprechend dem Mustererzeuger 3 arbeitet, als er ebenfalls ein zweidimensionales Frequenzmuster erzeugt. Er bildet dieses Frequenzmuster vorzugsweise nach einem anderen Algorithmus g. Die beiden verwendeten Algorithmen f und g sind abhängig von der Umgebung bzw. der Form der Referenzmuster so gewählt, daß die Differenzmuster die wesentlichen Merkmale der jeweiligen Sprache vollständig und nur gering durch die Geräusche beeinflußt enthalten.If, on the other hand, frequencies are present in the packets that are characteristic of human speech, the packet that occurs is introduced with the aid of the analyzer 2 into a pattern generator 5 , which operates in accordance with the pattern generator 3 insofar as it also generates a two-dimensional frequency pattern. It preferably forms this frequency pattern according to another algorithm g . The two algorithms f and g used are selected depending on the environment or the shape of the reference pattern so that the difference patterns contain the essential features of the respective language completely and only slightly influenced by the noise.

Das im Mustererzeuger 5 gebildete Frequenzmuster wird in eine Vergleichseinrichtung 6 eingegeben, die hiervon die im Geräuschspeicher 4 enthaltenen Referenzmuster subtrahiert. Die sich daraus ergebenden und in einen Teil 6′ der Vergleichseinrichtung 6 gebildeten Differenzmuster werden mit vorgegebenen Wortmustern verglichen. Dabei ist die Zahl der Differenzmuster gleich der Zahl der im Geräuschspeicher 4 enthaltenen Referenzmuster.The frequency pattern formed in the pattern generator 5 is input into a comparison device 6 , from which the reference patterns contained in the noise memory 4 are subtracted. The resultant and in a part 6 'of the comparison device 6 formed difference patterns are compared with predetermined word patterns. The number of difference patterns is equal to the number of reference patterns contained in the sound memory 4 .

Die zum Vergleich herangezogenen Wortmuster wiederum sind in einem Wortspeicher 7 enthalten. In diesem Wortspeicher werden die Wortmuster unter definierten Bedingungen und beispielsweise in einem vorangehenden Lernschritt bei fehlendem Geräusch eingegeben.The word patterns used for comparison are in turn contained in a word memory 7 . The word patterns are entered in this word memory under defined conditions and, for example, in a previous learning step in the absence of noise.

Jedem der Wortmuster ist eine definierte Folge von Steuerbefehlen oder dergleichen zugeordnet, die bei Übereinstimmung des im Vergleicher 6 enthaltenen Differenzmusters mit einem Wortmuster ausgelöst werden. Die dadurch hervorgerufene Steuerung von Ausrüstungs- oder Steuerbauteilen des Kraftfahrzeugs geschieht in bekannter Weise.Each of the word patterns is assigned a defined sequence of control commands or the like, which are triggered when the difference pattern contained in the comparator 6 matches a word pattern. The resulting control of equipment or control components of the motor vehicle takes place in a known manner.

Claims

1. A method for speech recognition in a noisy environment, in particular in a motor vehicle, characterized in that the acoustic signals are divided into packets of constant length, analyzed for their frequencies and reproduced as a frequency pattern, that the packets are examined for frequencies typical of human speech that the frequency patterns of the packets, which do not contain such frequencies, are successively stored as comparison patterns, so that the existing comparison patterns are subtracted from each frequency pattern of the packets, which contain such frequencies, and that the difference patterns remaining thereafter are compared with predetermined word patterns.

2. The method according to claim 1, characterized in that the Comparative samples continuously according to the way of working a shift register can be saved.

3. The method according to claim 1 or 2, characterized in that the word patterns are recorded in a previous learning step will.

4. The method according to any one of claims 1 to 3, characterized in that the frequency pattern of the packets that are for human Speech contain typical frequencies and the comparison pattern formed according to different algorithms are designed depending on the respective environment are that the difference patterns are the essential characteristics of the human language included.