[go: up one dir, main page]

DE10101473B4 - Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler - Google Patents

Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler Download PDF

Info

Publication number
DE10101473B4
DE10101473B4 DE2001101473 DE10101473A DE10101473B4 DE 10101473 B4 DE10101473 B4 DE 10101473B4 DE 2001101473 DE2001101473 DE 2001101473 DE 10101473 A DE10101473 A DE 10101473A DE 10101473 B4 DE10101473 B4 DE 10101473B4
Authority
DE
Germany
Prior art keywords
music
piece
phase
tempo
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE2001101473
Other languages
English (en)
Other versions
DE10101473A1 (de
Inventor
Friedemann Becker
Thomas Holl
Michael Kurz
Toine Diepstraten
Daniel Haver
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Native Instruments Software Synthesis GmbH
Original Assignee
Native Instruments Software Synthesis GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Native Instruments Software Synthesis GmbH filed Critical Native Instruments Software Synthesis GmbH
Priority claimed from DE10164686A external-priority patent/DE10164686B4/de
Priority to DE10164686A priority Critical patent/DE10164686B4/de
Priority to US10/251,000 priority patent/US7615702B2/en
Priority to AU2002244636A priority patent/AU2002244636A1/en
Priority to JP2002556874A priority patent/JP2004527786A/ja
Priority to EP02712804A priority patent/EP1380026A2/de
Priority to PCT/EP2002/000074 priority patent/WO2002056292A2/de
Publication of DE10101473A1 publication Critical patent/DE10101473A1/de
Publication of DE10101473B4 publication Critical patent/DE10101473B4/de
Application granted granted Critical
Priority to US12/565,766 priority patent/US8680388B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/195Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response or playback speed
    • G10H2210/241Scratch effects, i.e. emulating playback velocity or pitch manipulation effects normally obtained by a disc-jockey manually rotating a LP record forward and backward
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/061MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes mit den folgenden Verfahrensschritten:
– näherungsweise Ermittlung des Tempos (A) des Musikstückes durch eine statistische Auswertung (STAT) der zeitlichen Abstände (Ti) rhythmusrelevanter Beat-Informationen in den digitalen Audiodaten (Ei),
– näherungsweise Ermittlung der Phase (P) des Musikstückes anhand der Lage der Takte in den digitalen Audiodaten im Zeitraster eines mit einer dem ermittelten Tempo proportionalen Frequenz schwingenden Referenz-Oszillators (MCLK),
– sukzessive Korrektur von ermitteltem Tempo (A) und Phase (P) des Musikstückes anhand einer Phasenverschiebung des Referenz-Oszillators (MCLK) relativ zu den digitalen Audiodaten durch Auswertung der resultierenden systematischen Phasenverschiebung und Regulierung der Frequenz des Referenz-Oszillators proportional zur ermittelten Phasenverschiebung.

Description

  • Die Erfindung betrifft die Erkennung und Anpassung von Tempo und Phase von Musikstücken, insbesondere zur Realisierung eines interaktiven Musikabspielers, der unter anderem eine Möglichkeit zur Reproduktion von mehreren zu einem neuen Gesamtwerk synchronisierten Musikstücken bietet. Dabei werden digitale Musikdaten nach einer vorteilhaften Ausgestaltung durch ein gleichzeitiges Abspielen von mehreren Musikstücken auf einem Standard-CD-ROM-Laufwerk in Echtzeit gewonnen.
  • Der Beruf des Disk Jockeys (kurz: DJ) erfährt in der heutigen, durch moderne elektronische Musik geprägten Tanz-Kultur eine enorme technische Aufwertung. Zum Handwerk dieses Berufes gehört das Arrangieren der Musiktitel zu einem Gesamtwerk (dem Set, dem Mix) mit einem eigenen Spannungsbogen. Dabei ist es unter anderem unerlässlich, die einzelnen Titel in ihrem Tempo und ihrer Phase, also der Lage der Takte im Zeitraster, derart anzugleichen (engl. kurz: „Beatmatching"), dass die Stücke in den Übergängen zu einem Ganzen verschmelzen und der Rhythmus nicht unterbrochen wird.
  • In diesem Zusammenhang stellt sich das technische Problem der Tempo- und Phasenangleichung zweier Musikstücke bzw. Audiotracks in Echtzeit. Dabei wäre es wünschenswert, wenn eine Möglichkeit zur automatischen Tempo- und Phasenangleichung zweier Musikstücke bzw. Audiotracks in Echtzeit zur Verfügung stünde, um den DJ von diesem technischen Aspekt des Mixens zu befreien, bzw. einen Mix automatisch oder halbautomatisch, ohne die Hilfe eines versierten DJ's erstellen zu können.
  • Bisher wurde dieses Problem nur in Teilaspekten gelöst. So gibt es Software-Player für das Format MP3 (ein Standardformat für komprimierte digitale Audiodaten), die reine Echt– zeit-Tempoerkennung und -anpassung realisieren. Die Erkennung der Phase muss jedoch weiterhin durch das Gehör und die Anpassung des DJ manuell erfolgen. Dadurch wird ein beträchtliches Maß an Aufmerksamkeit des DJ in Anspruch genommen, was andernfalls für künstlerische Aspekte wie Musikzusammenstellung etc. zur Verfügung stünde.
  • Weiter sind Hardware-Effektgeräte zur Bearbeitung von Audioinformationen bekannt, die zwar Echtzeit-Tempo- und -Phasenerkennung realisieren, jedoch keine Anpassung von Tempo und Phase am Audiomaterial vornehmen können, wenn dieses nur analog eingespeist wird. Es kann lediglich die relative Phasenverschiebung der beiden Audiotracks optisch angezeigt werden.
  • Aus der Patentschrift US 5 256 832 A ein Verfahren zur Bestimmung von Beat-Positionen bekannt. Dabei wird an Hand von Schwellwerten innerhalb eines Intervalls die Beat-Position bestimmt. Eine entsprechende MIDI Clock wird auf der Basis der Beat-Positionen bestimmt, die an einen MIDI-Sequenzer ausgegeben wird.
  • Es sind jedoch keine Geräte bekannt, welche die Tempo-Information zur Berechung von Loops (das sind kurze Audio-Teilstücke, die fortlaufend wiederholt wiedergegeben werden können) und Loop-Längen nutzt. Diese werden bei den bisher dafür verwendeten Wiedergabegeräten entweder vorher geschnitten und geladen (Software-MP3-Player) oder manuell gesetzt und angepasst (Hardware-CD-Player).
  • Eine Aufgabe der vorliegenden Erfindung besteht somit in der Schaffung einer Möglichkeit zur automatischen Tempo- und Phasenangleichung zweier Musikstücke bzw. Audiotracks in Echtzeit mit möglichst hoher Genauigkeit.
  • Eine wesentliche zu überwindende technische Hürde stellt dabei die Genauigkeit einer Tempo- und Phasen-Messung dar, welche mit der für diese Messung zur Verfügung stehenden Zeit sinkt. Das Problem stellt sich somit vorrangig für eine Ermittlung des Tempos und der Phase in Echtzeit, wie es u.a. beim Live-Mixen der Fall ist.
  • Gelöst wird diese Aufgabe durch eine Erfindung mit den Merkmalen der unabhängigen Ansprüche.
  • Insbesonder wird die Erfindung durch ein Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes mit den folgenden Verfahrensschritten gelöst.
    • a) näherungsweise Ermittlung des Tempos (A) des Musikstückes durch eine statistische Auswertung (STAT) der zeitlichen Abstände (Ti) rhythmusrelevanter Beat-Informationen in den digitalen Audiodaten (Ei),
    • b) näherungsweise Ermittlung der Phase (P) des Musikstückes anhand der Lage der Takte in den digitalen Audiodaten im Zeitraster eines mit einer dem ermittelten Tempo proportionalen Frequenz schwingenden Referenz-Oszillators (MCLK),
    • c) sukzessive Korrektur von ermitteltem Tempo (A) und Phase (P) des Musikstückes anhand einer Phasenverschiebung des Referenz-Oszillators (MCLK) relativ zu den digitalen Audiodaten durch Auswertung der resultierenden systematischen Phasenverschiebung und Regulierung der Frequenz des Referenz-Oszillators proportional zur ermittelten Phasenverschiebung.
  • Es erfolgt also eine sukzessive Annäherung an den idealen Wert in einem Regelkreis.
  • Dabei hat es sich als günstig erwiesen, wenn rhythmusrelevante Beat-Informationen durch Bandpassfilterung der zugrunde liegenden digitalen Audiodaten in verschiedenen Frequenzbereichen gewonnen werden.
  • Besonders gut gelingt dies, wenn Rhythmusintervalle der Audiodaten im Bedarfsfall durch Multiplikation ihrer Frequenz mit 2er Potenzen in eine vordefinierte Frequenz-Oktave transformiert werden, wo diese Zeitintervalle zur Tempoermittlung liefern. Wenn der Frequenz-Transformation eine Gruppierung von Rhythmusintervallen, insbesondere in Paare oder Dreiergruppen, durch Addition ihrer Zeitwerte vorausgeht, so ergeben sich zusätzliche relevante Intervalle.
  • Nach einer vorteilhaften Ausgestaltung wird die gewonnene Menge an Daten von Zeitintervallen der rhythmusrelevanten Beat-Informationen auf Häufungspunkte untersucht. Die näherungsweise Tempoermittlung erfolgt dann anhand der Informationen eines Häufungsmaximums.
  • Nach einer weiteren vorteilhaften Ausgestaltung des Verfahrens gemäß der vorliegenden Erfindung wird zur näherungsweisen Ermittlung der Phase des Musikstückes die Phase des Referenz-Oszillators derart gewählt, dass sich die größtmögliche Übereinstimmung zwischen den rhythmusrelevanten Beat-Informationen in den digitalen Audiodaten und den Nulldurchgängen des Referenz-Oszillators einstellt.
  • Weiter hat es sich als günstig erwiesen, wenn eine sukzessive Korrektur von ermitteltem Tempo und Phase des Musikstückes in regelmäßigen Abständen in so kurzen Zeitintervallen erfolgt, dass resultierende Korrekturbewegungen und/oder Korrekturverschiebungen unterhalb der Hörbarkeitsgrenze bleiben.
  • Indem alle sukzessiven Korrekturen von ermitteltem Tempo und Phase des Musikstückes über die Zeit akkumuliert werden, können darauf aufbauend weitere Korrekturen mit stetig steigender Präzision erfolgen.
  • Anstelle solche sukzessiven Korrekturen permanent vorzunehmen, kann dies alternativ auch solange erfolgen, bis ein vorgegebener tolerierbarer Fehlergrenzwert unterschritten wird. Dafür eignet sich für das ermittelte Tempo insbesondere ein Fehlergrenzwert kleiner als 0,1%.
  • Damit eine Anpassung auf mögliche Tempoänderungen im Musikstück erreicht wird, erfolgt für den Fall, dass die Korrekturen über einen vorgebbaren Zeitraum hinweg immer jeweils negativ oder positiv sind, eine erneute näherungsweise Ermittlung von Tempo und Phase mit anschließender sukzessiver Korrektur.
  • Neben der voranstehenden automatischen Erkennung von Tempo und Phase von Musikstücken bedarf es zur Lösung der eingangs genannten Aufgabe auch noch einer Anpassung von Tempo und Phase der Musikstücke.
  • Dieses Problem wird gelöst, indem nach einer ersten näherungsweisen Ermittlung des Tempos und der Phase des Musikstückes das Ergebnis und die Anpassung sukzessive durch Rückwirkung auf die Abspielgeschwindigkeit des Musikstückes verbessert wird.
  • Gemäß der Erfindung erfolgt dies durch ein Verfahren zur Synchronisierung von mindestens zwei in digitalem Format vorliegenden Musikstücken mit folgenden Verfahrensschritten:
    • – vollständige Ermittlung von Tempo und Phase des ersten Musikstückes wie voranstehend beschrieben,
    • – näherungsweise Ermittlung von Tempo und Phase des weiteren Musikstückes wie voranstehend beschrieben,
    • – Anpassung der Abspielgeschwindigkeit und der Abspielphase dieses weiteren Musikstückes durch sukzessive Anpassung der Frequenz und der Phase des diesem weiteren Musikstück zugeordneten Referenz-Oszillators an die Frequenz und die Phase des dem anderen Musikstück zugeordneten Referenz-Oszillators.
  • Dabei hat es sich als vorteilhaft herausgestellt, wenn zur Anpassung der Abspielgeschwindigkeit und der Abspielphase des weiteren Musikstückes anhand einer möglichen Phasenverschie bung des diesem weiteren Musikstück zugeordneten Referenz-Oszillators relativ zu dem Referenz-Oszillator des anderen Musikstückes eine Auswertung der resultierenden systematischen Phasenverschiebung und eine Regulierung der Frequenz des dem weiteren Musikstück zugeordneten Referenz-Oszillators proportional der ermittelten Phasenverschiebung erfolgt.
  • Es erfolgt also eine sukzessive Annäherung an den idealen Wert in einem Regelkreis, in welchem die Tempo und Phasen-Informationen auf die Steuerung der Abspielgeschwindigkeit des Audiomaterials zurückwirken.
  • Zum Abspielen von vorproduzierter Musik werden heutzutage verschiedenartige Geräte für verschiedene Speichermedien wie Schallplatte, CD oder Cassette verwendet. Diese Formate wurden jedoch nicht dafür entwickelt, in den Abspielprozess einzugreifen, um die Musik damit auf kreative Art zu bearbeiten. Diese Möglichkeit ist aber wünschenswert und wird heutzutage trotz der gegebenen Einschränkungen von den eingangs erwähnten Disk Jockeys praktiziert. Dabei werden bevorzugt Vinyl-Schallplatten verwendet, weil man dort am leichtesten mit der Hand die Abspielgeschwindigkeit und -position beeinflussen kann.
  • Heute werden aber überwiegend digitale Formate wie Audio-CD und MP3 zum Speichern von Musik verwendet. Mit der vorangehend beschriebenen Erfindung wird nun der genannte kreative Umgang mit Musik auf beliebigen digitalen Formaten ermöglicht.
  • Durch das vorangehend beschriebene Verfahren gemäß der Erfindung ist es nämlich möglich, aus einer Sammlung von Musiktiteln auf vollautomatische Weise einen Mix zu erstellen, bei welchem die Stücke tempo- und phasenrichtig aneinandergereiht werden.
  • Dies wird durch einen Musik-Abspieler ermöglicht, bei dem mindestens zwei in digitalem Format vorliegende Musikstücke wie voranstehend dargestellt in Echtzeit synchronisierbar sind.
  • Besonders effektiv gelingt dies bei einem solchen Musik-Abspieler, bei dem jeweils rhythmusrelevante Beat-Informationen eines vorgegebenen zurückliegenden Zeitraums ausgehend von einer aktuellen Abspielposition des Musikstückes als Grundlage zur Tempoermittlung in Echtzeit dienen.
  • Durch die automatische Tempoerkennung kann auf Wunsch des Hörers der Inhalt einer Musikdatenquelle, z.B. einer Compakt Disk CD, in einer von ihm wählbaren z.B. tempoabhängigen Reihenfolge als homogener Mix wiedergegeben werden.
  • Die Erfindung umfasst daher auch einen solchen Musik-Abspieler, bei dem synchronisierte Musikstücke automatisch zu einem Gesamtwerk mit einheitlichem Rhythmus arrangierbar und abspielbar sind.
  • Um gezielt Eingreifen zu können, ist es wichtig, eine grafische Repräsentation der Musik zu haben, in der man die aktuelle Abspielposition und auch einen gewissen Zeitraum in der Zukunft und in der Vergangenheit erkennt. Dazu stellt man üblicherweise die Amplitudenhüllkurve der Klangwellenform über einen Zeitraum von mehreren Sekunden vor und nach der Abspielposition dar. Die Darstellung verschiebt sich in Echtzeit in der Geschwindigkeit, in der die Musik spielt.
  • Dabei besteht das prinzipielle Bedürfnis, möglichst viel hilfreiche Information in der grafischen Darstellung haben, um gezielt eingreifen zu können. Außerdem möchte man ergonomisch in den Abspielvorgang eingreifen können, auf vergleichbare Art mit dem von DJ's häufig praktizierten "Scratching" auf Vinylplattenspielern, wobei der Plattenteller während der Wiedergabe angehalten und vorwärts sowie rückwärts bewegt wird.
  • Zur Lösung dieses Problems schlägt die vorliegende Erfindung einen interaktiven Musik-Abspieler vor, der
    • – ein Mittel zur graphischen Darstellung von mit einer Tempo- und Phasenerkennungsfunktion, insbesondere einer solchen wie vorangehend beschrieben, bestimmten Taktgrenzen eines in der Wiedergabe befindlichen Musikstückes in Echtzeit,
    • – ein erstes Steuerelement zum Wechsel zwischen einem ersten Betriebsmodus, in dem das Musikstück mit einem konstanten Tempo abgespielt wird, und einem zweiten Betriebsmodus, in dem die Abspielposition und/oder Abspielgeschwindigkeit vom Anwender direkt beeinflussbar in Echtzeit ist, und
    • – ein zweites Steuerelement zur Manipulation der Abspielposition in Echtzeit umfasst.
  • Nach einer vorteilhaften Ausgestaltung dieses interaktiven Musik-Abspielers ist dieser zusätzlich ausgestattet mit
    • – einem Mittel zur graphischen Darstellung der aktuellen Abspielposition, mit dem eine Amplitudenhüllkurve der Klangwellenform des wiedergegebenen Musikstückes über einen vorgebbaren Zeitraum vor und nach der aktuellen Abspielposition darstellbar ist, wobei sich die Darstellung in Echtzeit mit dem Tempo der Wiedergabe des Musikstückes verschiebt, und mit
    • – einem Mittel zur Glättung eines stufigen Verlaufs zeitlich begrenzter, mit dem zweiten Steuerelement vorgegebener Abspiel-Positionsdaten zu einem sich gleichmäßig mit einer der Audio-Abtastrate entsprechenden zeitlichen Auflösung ändernden Signal.
  • Dabei hat es sich als vorteilhaft erwiesen, wenn zur Glättung eines stufigen Verlaufs zeitlich begrenzter Abspiel-Positionsdaten ein Mittel zur Rampenglättung vorgesehen ist, durch das mit jeder vorgegebenen Abspiel-Positionsnachricht eine Rampe mit konstanter Steigung auslösbar ist, die in einem vorgebbaren Zeitintervall das geglättete Signal von seinem bisherigen Wert auf den Wert der Abspiel-Positionsnachricht fährt. Alternativ oder zusätzlich kann ein lineares digitales Tiefpaß-Filter, insbesondere ein Resonanzfilter zweiter Ordnung, zur Glättung eines stufigen Verlaufs vorgegebener zeitlich begrenzter Abspiel-Positionsdaten dienen.
  • Um Sprünge bei der Wiedergabe zu vermeiden, dient im Fall eines Wechsels zwischen den Betriebsmodi die im vorhergehenden Modus erreichte Position als Ausgangsposition im neuen Modus.
  • Im Fall eines Wechsels zwischen den Betriebsmodi wird zur Vermeidung von abrupten Geschwindigkeitsänderungen die im vorhergehenden Modus erreichte aktuelle Abspielgeschwindigkeit durch eine Glättungsfunktion, insbesondere eine Rampenglättung oder ein lineares digitales Tiefpaß-Filter, auf die dem neuen Betriebsmodus entsprechende Abspielgeschwindigkeit geführt.
  • Um beim Abspielen mit sich stark und schnell ändernder Geschwindigkeit eine möglichst authentische Wiedergabe ähnlich dem „Scratchen" mit einem Vinyl-Plattenspieler zu erreichen, verwendet eine weitere vorteilhafte Ausführungsform des interaktiven Musik-Abspielers nach der Erfindung für ein Audiosignal ein Scratch-Audio-Filter, wobei das Audiosignal einer Pre-Emphase-Filterung (Vorverzerrung) unterzogen und in einem Pufferspeicher abgelegt wird, aus dem es in Abhängigkeit von der jeweiligen Abspielgeschwindigkeit mit variablem Tempo auslesbar ist, um anschließend einer De-Emphase-Filterung (Rückentzerrung) unterzogen und wiedergegeben zu werden.
  • Aus den Tempoinformationen lässt sich die Länge eines oder mehrerer Takte mit hinreichender Genauigkeit ermitteln um auf Tastendruck die Länge eines Loops so zu setzten, dass sich dieser „knackfrei" und mit dem Tempo des ursprünglichen Audiotracks spielen lässt. Bei einem solchen interaktiven Musik- Abspieler, der Tempoinformationen auf die beschriebene Weise gemäß der Erfindung ermittelt, ist nach einer weiteren vorteilhaften Ausgestaltung für eines oder mehrere der synchronisierten Musikstücke anhand der ermittelten Tempoinformation des jeweiligen Musikstückes die Länge einer über einen oder mehrere Takte dieses Musikstückes reichenden Wiedergabe-Schleife in Echtzeit taktsynchron definierbar und abspielbar.
  • Die Phasen-Informationen können dazu genutzt werden, wiederum auf Tastendruck, Sprungmarken innerhalb des Tracks, sogenannte Cue-Points, oder ganze Loops genau auf einen Taktanfangs-Beat zu legen. Ein vorteilhafter interaktiver Musik-Abspieler wird also dadurch weitergebildet, dass für eines oder mehrere der synchronisierten Musikstücke anhand der ermittelten Phaseninformation des jeweiligen Musikstückes in Echtzeit taktsynchrone Sprungmarken definierbar und innerhalb dieses Musikstückes um ganzzahlige Vielfache von Takten verschiebbar sind. Solche Cue-Points und Loops können auch auf Tastendruck um ganzzahlige Vielfache von Takten innerhalb des Tracks verschoben werden. Beides erfolgt in Echtzeit, während der Wiedergabe des Audio-Tracks.
  • Des weiteren ermöglicht die gewonnene Information über das Tempo und die Phase eines Audiotracks die Ansteuerung sogenannter temposynchroner Effekte. Dabei wird das Audiosignal passend zum eigenen Rhythmus manipuliert, was rhythmisch effektvolle Echtzeit-Klangveränderung ermöglicht. Insbesondere kann die Tempo-Information dazu genutzt werden, Loops mit taktgenauen Längen in Echtzeit aus dem Audiomaterial herauszuschneiden.
  • Ein weiter vorteilhafter interaktiver Musik-Abspieler zeichnet sich daher dadurch aus, dass jeder wiedergegebene Audiodatenstrom durch Signalverarbeitungsmittel in Echtzeit manipulierbar ist, insbesondere durch Filtereinrichtungen und/oder Audioeffekte.
  • Herkömmlicherweise werden beim Mischen mehrerer Musikstücke die Audioquellen von Tonträgern auf mehreren Abspielgeräten, z.B. Plattenspielern oder CD-Playern, abgespielt und über ein Mischpult abgemischt. Bei dieser Vorgehensweise beschränkt sich eine Audioaufnahme auf eine Aufzeichnung des Endresultats. Auf der Grundlage von Computersystemen mit Audioschnittstellen mit geeigneter Audioverarbeitungssoftware wie Audio-Sequenzern oder sogenannten Samplebearbeitungsprogrammen, bei denen digitale Audioinformationen manipuliert werden können, ist ein interaktives Eingreifen des Anwenders während der Wiedergabe nicht möglich.
  • Für eine Reproduktion des Mischvorganges oder um zu einem späteren Zeitpunkt exakt an einer vorgebbaren Position innerhalb eines Musikstückes weitermischen zu können, wäre es wünschenswert, wenn nicht nur das Endresultat abspeicherbar wäre.
  • Diese Anforderung wird gemäß der Erfindung durch einen interaktiven Musik-Abspieler gelöst, der dadurch weitergebildet ist, dass Echtzeiteingriffe über den zeitlichen Ablauf als digitale Steuerinformationen speicherbar sind, insbesondere solche eines Mischvorganges mehrerer Musikstücke und/oder zusätzliche Signalverarbeitungen.
  • Indem Mischvorgänge von Musikstücken und/oder interaktive Eingriffe in Musikstücke mit Audiosignalverarbeitungsmitteln als ein neues Gesamtwerk unabhängig von digitalen Audioinformationen von Musikstücken in Form digitaler Steuerinformationen, insbesondere zu Reproduktionszwecken, speicherbar sind, lässt sich der Vorgang des interaktiven Mischens und einer interaktiven Effektbearbeitung aufzeichnen und jederzeit wiedergeben.
  • Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung weisen gespeicherte digitale Steuerinformationen ein Format auf, das Informationen zur Identifikation der verarbeiteten Musikstücke und eine jeweilige diesen zugeordnete zeitliche Abfolge von Abspielpositionen und Zustandsinformationen der Stellglieder des Musik-Abspielers umfasst.
  • Ein entscheidender Vorteil dieser Aufzeichnungsmöglichkeit und des vorgeschlagenen Formates besteht in der Tatsache, dass eine digitale Aufzeichnung des Mischvorgangs unabhängig von den Audiodaten der gemischten Musikstücke und damit ohne urheberrechtlich problematisches Kopieren dieser Audiodaten erfolgen kann. Das Gesamtresultat kann damit jederzeit selbständig wiedergegeben, weiterverarbeitet, vervielfältigt und übertragen werden.
  • Ein besonders vorteilhafter interaktiver Musik-Abspieler ist durch ein geeignet programmiertes mit Audioschnittstellen ausgestattetes Computersystem realisiert. Dabei können standardmäßige Datenspeicher des Computersystems zur Aufnahme der Steuerdatei dienen. Auch wird damit ein besonders interessanter Austausch der in der Regel wenig speicherintensiven Aufzeichnungsdateien z.B. auch über das Internet ermöglicht.
  • In diesem Zusammenhang ermöglicht die Erfindung auch die Bereitstellung eines Datenträgers, insbesondere einer Compact Disc, der
    • – einen ersten Datenbereich mit digitalen Audiodaten eines oder mehrerer Musikstücke und
    • – einen zweiten Datenbereich mit einer Steuerdatei mit digitalen Steuerinformationen zur Ansteuerung eines Musik-Abspielers umfasst, insbesondere eines solchen wie im vorangehenden beschrieben, wobei
    • – die Steuerdaten des zweiten Datenbereichs auf Audiodaten des ersten Datenbereichs Bezug nehmen.
  • Dabei ist es besonders vorteilhaft, wenn die digitalen Steuerinformationen des zweiten Datenbereichs Mischvorgänge von Musikstücken und/oder interaktive Eingriffe in Musikstücke mit Audiosignalverarbeitungsmitteln als ein neues Gesamtwerk der digitalen Audioinformationen von Musikstücken des ersten Datenbereichs repräsentieren.
  • Weiter hat es sich als günstig erwiesen, wenn gespeicherte digitale Steuerinformationen des zweiten Datenbereichs ein Format aufweisen, das Informationen zur Identifikation der verarbeiteten Musikstücke des ersten Datenbereichs und eine jeweilige diesen zugeordnete zeitliche Abfolge von Abspielpositionen und Zustandsinformationen der Stellglieder des Musik-Abspielers umfasst.
  • Auf einem solchen Datenträger lässt sich auch vorteilhaft ein Computerprogrammprodukt anordnen, das direkt in den internen Speicher eines digitalen Computers geladen werden kann und Softwareabschnitte umfasst, mit denen dieser digitale Computer die Funktion eines Musik-Abspielers übernimmt, insbesondere eines solchen wie vorangehend beschrieben, mit dem entsprechend den Steuerdaten des zweiten Datenbereichs des Datenträgers, die auf Audiodaten des ersten Datenbereichs des Datenträgers verweisen, ein durch die Steuerdaten repräsentiertes Gesamtwerk abspielbar ist, wenn das Programmprodukt auf einem Computer ausgeführt wird.
  • Dadurch dass der interaktive Musik-Abspieler die Audio-Wiedergabe, die Signal-Analyse und die Signal-Transformation mittels Effekten und Loops vereint, besteht die Möglichkeit erstmalig sowohl eine Echtzeit-Erkennung des Tempos und der Phase eines Audiotracks als auch deren automatische Angleichung zu realisieren. Zusätzlich liefert die Analyse notwendigen Ausgangsdaten für die Steuerung temposynchroner Effekte und Loops.
  • Vorteile sind unter anderem die dadurch geschaffene Möglichkeit der Automatisierung des sog. Beatmatchings, einer nicht leicht erlernbare Grundvoraussetzung des DJ-Mixens, die bei jedem Übergang zweier Musikstücke einen erheblichen Teil der Aufmerksamkeit des DJ's in Anspruch nimmt. Weiterhin besteht die Möglichkeit den gesamten Mix-Vorgang zu automatisieren.
  • Weitere Vorteile und Details der Erfindung ergeben sich anhand der folgenden Beschreibung vorteilhafter Ausführungsbeispiele und in Verbindung mit den Figuren. Es zeigt in Prinzipdarstellung:
  • 1 ein Blockschaltbild zur Veranschaulichung der Gewinnung rhythmusrelevanter Informationen und deren Auswertung zur näherungsweisen Ermittlung von Tempo und Phase eines Musikdatenstroms,
  • 2 ein weiteres Blockschaltbild zur sukzessiven Korrektur von ermitteltem Tempo und Phase,
  • 4 ein Blockschaltbild eines interaktiven Musik-Abspielers gemäß der Erfindung mit Eingriffsmöglichkeit in eine aktuelle Abspielposition,
  • 5 ein Blockschaltbild einer zusätzlichen Signalverarbeitungskette zur Realisierung eines Scratch-Audio-Filters gemäß der Erfindung und
  • 6 einen Datenträger, der Audiodaten und Steuerdateien zur Reproduktion von aus den Audiodaten gemäß der Erfindung erstellten Gesamtwerken vereint.
  • Im folgenden soll eine mögliche Realisierung der näherungsweisen Tempo- und Phasenerkennung sowie Tempo- und Phasenanpassung gemäß der Erfindung dargestellt werden.
  • Erster Schritt der Prozedur ist eine erste, näherungsweise Ermittlung des Tempos des Musikstückes. Dies erfolgt durch eine statistische Auswertung der zeitlichen Abstände der sog. Beat-Ereignisse. Eine Möglichkeit zur Gewinnung rhythmusrelevanter Ereignisse aus dem Audiomaterial erfolgt durch schmale Bandpassfilterung des Audiosignals in verschiedenen Frequenzbereichen. Um das Tempo in Echtzeit zu ermitteln, werden für die folgenden Berechnungen jeweils nur die Beatereignisse der letzten Sekunden verwendet. Dabei entsprechen 8 bis 16 Ereignisse in etwa 4 bis 8 Sekunden.
  • Aufgrund der quantisierten Struktur von Musik (16tel Noten Raster) können nicht nur Viertelnoten Beat-Intervalle zur Tempoberechnung herangezogen werden. Auch andere Intervalle (16tel, 8tel, ½ und ganze Noten) können durch Oktavierung (z.B. durch Multiplizieren ihrer Frequenz mit 2er Potenzen) in eine vordefinierte Frequenz-Oktave (z.B. 80 – 160 bpm, Englisch für Beats per minute) transformiert werden und somit temporelevante Informationen liefern. Fehlerhafte Oktavierungen (z.B. von Triolen-Intervallen) fallen später wegen ihrer verhältnismäßigen Seltenheit bei der statistischen Auswertung nicht ins Gewicht.
  • Um auch Triolen, bzw. geschuffelte Rhythmen (einzelne leicht aus dem 16tel Raster versetzte Noten) zu erfassen, werden die im ersten Punkt gewonnenen Zeitintervalle zusätzlich noch in Paaren und Dreiergruppen durch Addition ihrer Zeitwerte gruppiert bevor sie oktaviert werden. Durch dieses Verfahren wird die rhythmische Struktur zwischen den Takten aus den Zeitintervallen herausgerechnet.
  • Die so gewonnene Menge an Daten wird auf Häufungspunkte untersucht. Es entstehen dabei in der Regel drei Häufungsmaxima bedingt durch die Oktavierungs- und Gruppierungsverfahren, deren Wert in rationalen Verhältnis (2/3, 5/4, 4/5 oder 3/2) zueinander stehen. Sollte aus der Stärke eines der Maxima nicht deutlich genug hervorgehen, das dieses das tatsächliche Tempo des Musikstückes angibt, lässt sich das korrekte Maximum aus dem rationalen Verhältnissen der Maxima untereinander ermitteln.
  • Zur näherungsweisen Ermittlung der Phase wird ein Referenz-Oszillator verwendet. Dieser schwingt mit dem zuvor ermittelten Tempo. Seine Phase wird vorteilhaft so gewählt, dass sich die beste Übereinstimmung zwischen Beat-Ereignisse des Audiomaterials und Nulldurchgängen des Oszillators ergibt.
  • Anschließend erfolgt eine sukzessive Verbesserung der Tempo- und Phasenermittlung. Durch die natürliche Unzulänglichkeit der ersten näherungsweisen Tempoermittlung wird sich zunächst nach einigen Sekunden die Phase des Referenz-Oszillators relativ zum Audiotrack verschieben. Diese systematische Phasenverschiebung gibt Auskunft darüber, um welche Menge das Tempo des Referenz-Oszillators verändert werden muss. Eine Korrektur des Tempos und der Phase erfolgt vorteilhaft in regelmäßigen Abständen, um unterhalb der Hörbarkeitsgrenze der Verschiebungen und der Korrekturbewegungen zu bleiben.
  • Sämtliche Phasenkorrekturen, die ab der näherungsweisen Phasenkorrelation erfolgt sind, werden über die Zeit akkumuliert, so dass die Berechnung des Tempos und der Phase auf einem ständig wachsenden Zeitintervall basiert. Dadurch werden die Tempo- und Phasen-Werte zunehmend präziser und verlieren den eingangs erwähnten Makel der näherungsweisen Echtzeitmessung. Nach kurzer Zeit (ca. 1 min) sinkt der Fehler des mit diesem Verfahren ermittelten Tempo-Wertes unterhalb 0.1%, ein Maß an Genauigkeit, das Vorraussetzung für die Berechnung von Loop-Längen ist.
  • Die Darstellung gemäß 1 zeigt eine mögliche technische Realisierung der beschriebenen näherungsweisen Tempo- und Phsenerkennung eines Musikdatenstroms in Echtzeit anhand eines Blockschaltbildes. Die gezeigte Struktur kann auch als ,Beat Detector' bezeichnet werden.
  • Als Input liegen zwei Ströme von Audio-Events bzw. Audio-Ereignissen Ei mit Wert 1 vor, welche den Peaks in den Frequenzbändern F1 bei 150 Hz und F2 bei 4000Hz oder 9000 Hz entsprechen. Diese beiden Eventströme werden vorerst getrennt behandelt, indem diese durch jeweilige Bandpassfilter mit jeweiliger Grenzfrequenz F1 und F2 gefiltert werden.
  • Folgt ein Event innerhalb von 50 ms dem vorhergehenden, wird das zweite Event nicht berücksichtigt. Eine Zeit von 50 ms entspricht der Dauer eines 16tels bei 300 bpm, liegt also weit unter der Dauer des kürzesten Intervalls, in dem die Musikstücke üblicherweise angesiedelt sind.
  • Aus dem Strom der gefilterten Events Ei wird nun in jeweiligen Verarbeitungseinheiten BD1 und BD2 ein Strom aus den einfachen Zeitintervallen Ti zwischen den Events gebildet.
  • Aus dem Strom der einfachen Zeitintervalle Tli werden in gleichen Verarbeitungseinheiten BPM_C1 und BPM_C2 jeweils zusätzlich zwei weitere Ströme der bandbegrenzten Zeitintervalle gebildet, nämlich mit Zeitintervallen T2i, den Summen von jeweils zwei aufeinanderfolgenden Zeitintervallen, und mit Zeitintervallen T3i, den Summen von jeweils drei aufeinanderfolgenden Zeitintervallen. Die dazu herangezogenen Events dürfen sich auch überlappen.
  • Dadurch werden aus dem Strom: t1, t2, t3, t4, t5, t6, ... zusätzlich folgende zwei Ströme erzeugt:
    T2i: (t1+t2), (t2+t3), (t3+t4), (t4+t5), (t5+t6), ... und
    T3i: (t1+t2+t3), (t2+t3+t4), (t3+t9+t5), (t4+t5+t6), ...
  • Die drei Ströme T1i, T2i, T3i, werden nun zeit-oktaviert in entsprechenden Verarbeitungseinheiten OKT. Die Zeit-Oktavierung OKT erfolgt derart, dass die einzelnen Zeitintervalle jedes Stroms so oft verdoppelt werden, bis sie in einem vorgegebenen Intervall BPM_REF liegen. Auf diese Weise erhält man drei Datenströme T1io, T2io, T3io, ... Die obere Grenze des Intervalls berechnet sich aus der unteren bpm-Grenze nach der Formel: thi [ms] = 60000/bpmlow
  • Die untere Grenze des Intervalls liegt bei 0.5* thi.
  • Jeder der so erhaltenen drei Ströme wir nun für beide Frequenzbänder F1, F2 in jeweiligen weiteren Verarbeitungseinheiten CHK auf seine Konsistenz überprüft. Damit wird ermittelt, ob jeweils eine gewisse Anzahl aufeinanderfolgender, zeit-oktavierter Intervallwerte innerhalb einer vorgegebenen Fehlergrenze liegen. Dazu überprüft man beispielsweise im einzelnen mit folgenden Werten:
    Für T1i überprüft man dessen letzte 4 Events t11o, t12o, t13o, t14o daraufhin, ob gilt:
    • a) [t11o – t12o)2 + (t11o – t13o)2 + (t11o – t14o)2 < 20
  • Ist dies der Fall, wird der Wert t11o als gültiges Zeitintervall ausgegeben.
  • Für T2i überprüft man dessen letzte 4 Events t21o, t22o, t23o, t24o daraufhin, ob gilt:
    • b) (t21o – t22o)2 + (t21o – t23o)2 + (t21o – t24o)2 < 20
  • Ist dies der Fall, wird der Wert t11o als gültiges Zeitintervall ausgegeben.
  • Für T3i überprüft man dessen letzte 3 Events t31o, t32o, t33o, daraufhin, ob gilt:
    • C) (t31o – t32o)2 + (t31o – t33o)2 < 20
  • Ist dies der Fall, wird der Wert t31o als gültiges Zeitintervall ausgegeben.
  • Hierbei hat die Konsistenzprüfung a) Vorrang vor b) und b) hat Vorrang vor c). Wird also bei a) ein Wert ausgegeben, werden b) und c) nicht mehr untersucht. Wird bei a) kein Wert ausgegeben, so wird b) untersucht, usw. Wird hingegen weder bei a) noch bei b) noch bei c) ein konsistenter Wert gefunden, so wird die Summe der letzten 4 nicht oktavierten Einzelintervalle (t1+t2+t3+t4) ausgegeben.
  • Der so aus den drei Strömen ermittelte Wertestrom konsistenter Zeitintervalle wird wiederum in einer nachgeschalteten Verarbeitungseinheit OKT in das vorgegebene Zeit-Intervall BPM_REF oktaviert. Anschließend wird das oktavierte Zeit-Intervall in einen BPM Wert umgerechnet.
  • Als Resultat liegen jetzt zwei Ströme BPM1 und BPM2 von bpm-Werten vor – einer für jeden der beiden Frequenzbereiche F1 und F2. In einem Prototyp werden diese Ströme mit einer festen Frequenz von 5 Hz abgefragt und die jeweils letzten acht Events aus beiden Strömen für die statistische Auswertung herangezogen. Man kann an dieser Stelle jedoch durchaus auch eine variable (eventgesteuerte) Abtastrate verwenden und man kann auch mehr als nur die letzten 8 Events verwenden, beispielsweise 16 oder 32 Events.
  • Diese letzten 8, 16 oder 32 Events aus jedem Frequenzband F1, F2 werden zusammengeführt und in einer nachgeschalteten Verarbeitungseinheit STAT auf Häufungsmaxima N betrachtet. In der Prototyp-Version wird ein Fehlerintervall von 1,5 bpm verwendet, d.h. solange Events weniger als 1,5 bpm voneinander differieren, werden sie als zusammengehörig betrachtet und addieren sich in der Gewichtung. Die Verarbeitungseinheit STAT ermittelt hierbei, bei welchen BPM-Werten Häufungen auftreten und wie viele Events den jeweiligen Häufungspunkten zuzuordnen sind. Der am stärksten gewichtete Häufungspunkt kann als die lokale BPM-Messung gelten und liefert den gewünschten Tempowert A.
  • In einer ersten Weiterbildung dieses Verfahrens erfolgt zusätzlich zu der lokalen BPM-Messung eine globale Messung, indem man die Zahl, der verwendeten Events auf 64, 128 etc. ausweitet. Bei alternierenden Rhythmus-Patterns, in welchen nur jeden 4. Takt das Tempo klar durchkommt, kann häufig eine Eventzahl von mindestens 128 nötig sein. Solch eine Messung ist zuverlässiger, benötigt jedoch auch mehr Zeit.
  • Eine weitere entscheidende Verbesserung kann durch folgende Maßnahme erzielt werden:
    In Betracht gezogen wird nicht nur das erste Häufungsmaximum, sondern auch das zweite. Dieses zweite Maximum entsteht fast immer durch vorhandene Triolen und kann sogar stärker als das erste Maximum sein. Das Tempo der Triolen hat jedoch ein klar definiertes Verhältnis zum Tempo der Viertel Noten, so dass sich aus dem Verhältnis der Tempi der beiden ersten Maxima ermitteln lässt, welches Häufungsmaximum den Vierteln und welches den Triolen zuzuordnen ist.
  • Nimmt man T1 als das Tempo des ersten Maximums in bpm und T2 als das des zweiten Maximums an, so gelten folgende Regeln Wenn T2 = 2/3·T1, dann ist T2 das Tempo.
    Wenn T2 = 4/3·T1, dann ist T2 das Tempo.
    Wenn T2 = 2/5·T1, dann ist T2 das Tempo.
    Wenn T2 = 4/5·T1, dann ist T2 das Tempo.
    Wenn T2 = 3/2·T1, dann ist T1 das Tempo.
    Wenn T2 = 3/4·T1, dann ist T1 das Tempo.
    Wenn T2 = 5/2·T1, dann ist T1 das Tempo.
    Wenn T2 = 5/4·T1, dann ist T1 das Tempo.
  • Ein näherungsweiser Phasenwert P wird anhand einer der beiden gefilterten einfachen Zeitintervalle Ti zwischen den Events ermittelt, vorzugsweise anhand derjenigen Werte, die mit der niedrigeren Frequenz F1 gefiltert sind. Diese dienen zur groben Bestimmung der Frequenz des Referenz-Oszillators.
  • Die Darstellung nach 2 zeigt ein mögliches Blockschaltbild zur sukzessiven Korrektur von ermitteltem Tempo A und Phase P, im folgenden als ,CLOCK CONTROL' bezeichnet.
  • Zunächst wird der Referenz-Oszillator bzw. die Referenz-Clock MCLK in einem ersten Schritt 1 mit den groben Phasenwerten P und Tempowerten A aus der Beat-Detection gestartet, was quasi einem Reset des in 2 gezeigten Regelkreises gleichkommt. Anschließend werden in einem weiteren Schritt 2 die Zeitintervalle zwischen Beat-Events des eingehenden Audiosignals und der Referenz-Clock MCLK ermittelt. Dazu werden die näherungsweisen Phasenwerte P mit einem Referenzsignal CLICK, welches die Frequenz des Referenz-Oszillators MCLK aufweist, in einem Komparator V verglichen.
  • Bei systematischem Überschreiten (+) einer „kritischen" Abweichung bei mehreren aufeinanderfolgenden Ereignissen mit einem Wert von beispielsweise über 30ms wird in einem weiteren Verarbeitungsschritt 3 die Referenz-Clock MCLK durch eine kurzzeitige Tempoänderung A(i+1) = A(i) + q oder A(i+1) = A(i) – qentgegen der Abweichung (wieder) an das Audio-Signal angepasst, wobei q die verwendete Absenkung oder Anhebung des Tempos darstellt. Andernfalls (–) wird das Tempo konstant gehalten.
  • Im weiteren Verlauf erfolgt in einem weiteren Schritt 4 eine Summierung aller Korrektur-Ereignisse aus Schritt 3 und der seit dem letzten „Reset" verstrichenen Zeit in eigenen Speichern (nicht gezeigt). Bei ungefähr jedem 5. bis 10. Ereignis einer annähernd akkuraten Synchronisierung (Differenz zwischen den Audiodaten und der Referenz-Clock MCLK etwa unterhalb 5 ms) wird der Tempo-Wert auf der Basis des bisherigen Tempo-Wertes, der bis dahin akkumulierten Korrektur-Ereig nisse und der seit dem verstrichenen Zeit in einem weiteren Schritt 5 wie folgt neu errechnet.
  • Mit
    • – q als der in Schritt 3 verwendeten Absenkung oder Anhebung des Tempos (beispielsweise um den Wert 0.1),
    • – dt als der Summe der Zeit, für welche das Tempo insgesamt abgesenkt oder angehoben wurde (Anhebung positiv, Absenkung negativ),
    • – T als dem seit dem letzten Reset (Schritt 1) verstrichenen Zeitintervall, und
    • – bpm als dem in Schritt 1 verwendeten Tempowert A errechnet sich das neue, verbesserte Tempo nach folgender einfachen Formel: bpm_neu = bpm·(1+(q·dt)/T)
  • Weiter wird geprüft, ob die Korrekturen in Schritt 3 über einen gewissen Zeitraum hinweg immer jeweils negativ oder positiv sind. In solch einem Fall liegt wahrscheinlich eine Tempo-Änderung im Audiomaterial vor, die mit obigem Verfahren nicht korrigiert werden kann. Dieser Status wird erkannt und bei Erreichen des nächsten annähernd perfekten Synchronisations-Ereignisses (Schritt 5) werden der Zeit- und der Korrekturspeicher in einem Schritt 6 gelöscht, um den Ausgangspunkt in Phase und Tempo neu zu setzten. Nach diesem „Reset" beginnt die Prozedur erneut mit einem Aufsetzen auf Schritt 2 das Tempo zu optimieren.
  • Eine Synchronisierung eines zweiten Musikstückes erfolgt nun durch Anpassung von dessen Tempo und Phase. Die Anpassung des zweiten Musikstückes erfolgt indirekt über den Referenz-Oszillator. Nach der oben beschriebenen näherungsweisen Tempo- und Phasenermittlung des Musikstückes werden diese Werte sukzessive nach obigem Verfahren an den Referenz-Oszillator angepasst, nur wird diesmal die Abspielphase und die Abspielgeschwindigkeit des Tracks selbst verändert. Das originale Tempo des Tracks lässt sich rückwärts leicht aus der notwendigen Veränderung seiner Abspielgeschwindigkeit gegenüber der Original-Abspielgeschwindigkeit errechnen.
  • Zum Abspielen von vorproduzierter Musik werden herkömmlicherweise verschiedenartige Geräte für verschiedene Speichermedien wie Schallplatte, Compakt Disk oder Cassette verwendet. Diese Formate wurden nicht dafür entwickelt, in den Abspielprozess einzugreifen, um die Musik damit auf kreative Art zu bearbeiten. Diese Möglichkeit ist aber wünschenswert, und wird heutzutage trotz der gegebenen Einschränkungen von den genannten DJ's praktiziert. Dabei werden bevorzugt Vinyl-Schallplatten verwendet, weil man dort am leichtesten mit der Hand die Abspielgeschwindigkeit und -position beeinflussen kann.
  • Heute werden aber überwiegend digitale Formate wie Audio CD und MP3 zum Speichern von Musik verwendet. Bei MP3 handelt es sich um ein Kompressionsverfahren für digitale Audiodaten nach dem MPEG-Standard (MPEG 1 Layer 3). Das Verfahren ist asymmetrisch, d.h. die Codierung ist sehr viel aufwendiger als die Decodierung. Ferner handelt es sich um ein verlustbehaftetes Verfahren. Die vorliegende Erfindung ermöglicht nun den genannten kreativen Umgang mit Musik auf beliebigen digitalen Formaten durch einen geeigneten interaktiven Musik-Abspieler, der von den durch die vorangehend dargestellten erfindungsgemäßen Maßnahmen geschaffenen neuen Möglichkeiten Gebrauch macht.
  • Um gezielt Eingreifen zu können, ist es wichtig, eine grafische Repräsentation der Musik zu haben, in der man die aktuelle Abspielposition erkennt und auch einen gewissen Zeitraum in der Zukunft und in der Vergangenheit erkennt. Dazu stellt man üblicherweise die Amplitudenhüllkurve der Klangwellenform über einen Zeitraum von mehreren Sekunden vor und nach der Abspielposition dar. Die Darstellung verschiebt sich in Echtzeit in der Geschwindigkeit, in der die Musik spielt.
  • Prinzipiell möchte man möglichst viel hilfreiche Information in der grafischen Darstellung haben, um gezielt eingreifen zu können. Außerdem möchte man möglichst ergonomisch in den Abspielvorgang eingreifen können, auf vergleichbare Art zum sogenannten "Scratching" auf Vinylplattenspielern, worunter man das Anhalten und vorwärts oder rückwärts Bewegen des Plattentellers während der Wiedergabe versteht.
  • Bei dem durch die Erfindung geschaffenen interaktiven Musik-Abspieler können nun musikalisch relevante Zeitpunkte, insbesondere die Taktschläge, mit der vorangehend (1 und 2) erläuterten Takterkennungsfunktion aus dem Audiosignal extrahiert und als Markierungen in der grafischen Darstellung angezeigt werden, z.B. auf einem Display oder auf einem Bildschirm eines digitalen Computers, auf dem der Musik-Abspieler durch eine geeignete Programmierung realisiert ist.
  • Weiter ist ein Hardware-Steuerelement R1 vorgesehen, z.B. ein Knopf, insbesondere der Mausknopf, mit dem man zwischen zwei Betriebsarten umschaltet:
    • a) Musik läuft frei, mit konstantem Tempo,
    • b) Abspielposition und -geschwindigkeit wird vom Anwender direkt beeinflusst.
  • Der Modus a) entspricht einer Vinylplatte, die man nicht anfasst und deren Geschwindigkeit gleich der des Plattentellers ist. Der Modus b) hingegen entspricht einer Vinylplatte, die man mit der Hand anhält und hin- und herschiebt.
  • In einer vorteilhaften Ausführungsform eines interaktiven Musik-Abspielers wird die Abspielgeschwindigkeit in Modus a) weiter beeinflusst durch die automatische Steuerung zur Synchronisierung des Takts der abgespielten Musik zu einem anderen Takt (vgl. 1 und 2). Der andere Takt kann synthe tisch erzeugt oder von einer anderen gleichzeitig spielenden Musik gegeben sein.
  • Außerdem ist ein weiteres Hardware-Steuerelement R2 vorgesehen, mit dem man im Betriebsmodus b) quasi die Plattenposition bestimmt. Dies kann ein kontinuierlicher Regler, oder auch die Computermaus sein.
  • Die Darstellung nach 4 zeigt ein Blockschaltbild einer solchen Anordnung mit den im folgenden erläuterten Signalverarbeitungsmitteln, mit denen ein interaktiver Musik-Abspieler gemäß der Erfindung mit Eingriffsmöglichkeit in eine aktuelle Abspielposition geschaffen wird.
  • Die mit diesem weiteren Steuerelement R2 vorgegebenen Positionsdaten haben üblicherweise eine begrenzte zeitliche Auflösung, d.h. es wird nur in regelmäßigen oder unregelmäßigen Abständen eine Nachricht geschickt, die die aktuelle Position übermittelt. Die Abspielposition des gespeicherten Audiosignals soll sich aber gleichmäßig ändern, mit einer zeitlichen Auflösung, die der Audio-Abtastrate entspricht. Deshalb verwendet die Erfindung an dieser Stelle eine Glättungsfunktion, die aus dem mit dem Steuerelement R2 vorgegebenen stufigen Signal ein hochaufgelöstes, gleichmäßig sich änderndes Signal erzeugt.
  • Eine Methode hierzu besteht darin, mit jeder vorgegebenen Positionsnachricht eine Rampe mit konstanter Steigung auszulösen, die in einer vorgegebenen Zeit das geglättete Signal von seinem alten Wert auf den Wert der Positionsnachricht fährt. Eine weitere Möglichkeit ist, die stufige Wellenform in einen linearen digitalen Tiefpaß-Filter LP zu schicken, dessen Ausgang das gewünschte geglättete Signal darstellt. Dafür eignet sich besonders ein 2-Pol Resonanzfilter. Eine Kombination (Reihenschaltung) der beiden Glättungen ist auch möglich und vorteilhaft und ermöglicht folgende vorteilhafte Signalverarbeitungskette:
    vorgegebenes Stufensignal -> Rampenglättung -> Tiefpassfilter -> exakte Abspielposition
    oder
    vorgegebenes Stufensignal -> Tiefpassfilter -> Rampenglättung -> exakte Abspielposition
  • Das Blockschaltbild nach 4 veranschaulicht die an einem vorteilhaften Ausführungsbeispiel in Form einer Prinzipskizze. Das Steuerelement R1 (hier ein Taster) dient zum Wechsel der Betriebsmodi a) und b), indem dieser einen Schalter SW1 triggert. Der Regler R2 (hier ein kontinuierlicher Schieberegler) liefert die Positionsinformation mit zeitlich begrenzter Auflösung. Diese dient einem Tiefpaß-Filter LP zur Glättung als Eingangssignal. Das geglättete Positionssignal wird nun differenziert (DIFF) und liefert die Abspielgeschwindigkeit. Der Schalter SW1 wird mit diesem Signal an einem ersten Eingang IN1 angesteuert (Modus b). Der andere Eingang IN2 wird mit dem Tempowert A, der wie in 1 und 2 beschrieben ermittelt werden kann, beaufschlagt (Modus a). Über das Steuerelement R1 erfolgt der Wechsel zwischen den Eingangssignalen.
  • Wenn man vom einen in den anderen Modus wechselt (entspricht dem Festhalten und Loslassen des Plattentellers), darf die Position nicht springen. Aus diesem Grund übernimmt der vorgeschlagene interaktive Musik-Abspieler die im vorhergehenden Modus erreichte Position als Ausgangsposition im neuen Modus. Ebenso soll die Abspielgeschwindigkeit (1. Ableitung der Position) sich nicht Sprunghaft ändern. Deswegen übernimmt man auch die aktuelle Geschwindigkeit und führt sie durch eine Glättungsfunktion, wie oben beschrieben, zu der Geschwindigkeit, die dem neuen Modus entspricht. Nach 4 erfolgt dies durch einen Slew Limiter SL, der eine Rampe mit konstanter Steigung auslöst, die in einer vorgegebenen Zeit das Signal von seinem alten Wert auf den neuen Wert fährt. Dieses posi tions- bzw. geschwindigkeitsabhängige Signal steuert dann die eigentliche Abspieleinheit PLAY zur Wiedergabe des Audiotracks an, indem es die Abspielgeschwindigkeit beeinflusst.
  • Beim "Scratching" mit Vinyl-Platten, also dem Abspielen mit sich stark und schnell ändernder Geschwindigkeit, ändert sich die Tonwellenform auf charakteristische Art, aufgrund der Eigenheiten des Aufzeichnungsverfahrens, das standardmäßig für Schallplatten verwendet wird. Beim Erstellen des Press-Masters für die Schallplatte im Aufnahmestudio durchläuft das Tonsignal ein Pre-Emphase-Filter (Vorverzerrungs-Filter) nach RIAA-Norm, der die Höhen anhebt (sogenannte „Schneidekennlinie"). In jeder Anlage, die zum Abspielen von Schallplatten verwendet wird, befindet sich ein entsprechendes De-Emphase-Filter (Rückentzerrungs-Filter), das die Wirkung umkehrt, so dass man näherungsweise das ursprüngliche Signal erhält.
  • Wenn nun aber die Abspielgeschwindigkeit nicht mehr dieselbe ist, wie bei der Aufnahme, was u.a. beim "Scratching" auftritt, so werden alle Frequenzanteile des Signals auf der Schallplatte entsprechend verschoben und deswegen vom De-Emphase-Filter unterschiedlich bedämpft. Dadurch ergibt sich ein charakteristischer Klang.
  • Nach einer weiteren vorteilhaften Ausgestaltung eines erfindungsgemäßen interaktiven Musik-Abspielers nach der Erfindung mit einem Aufbau entsprechend 4 ist ein Scratch-Audio-Filter zur Simulation des beschriebenen charakteristischen Effekts vorgesehen. Dazu wird, insbesondere für eine digitale Simulation dieses Vorgangs, das Audiosignal innerhalb der Abspieleinheit PLAY aus 4 einer weiteren Signalverarbeitung unterzogen, wie diese in 5 dargestellt ist. Dazu wird das Audiosignal, nachdem die digitalen Audiodaten des wiederzugebenden Musikstücks von einem Medium D bzw. Tonträger (z.B. CD oder MP3) gelesen und (vor allem im Fall des MP3-Formats) dekodiert DEC wurde, einer entsprechenden Pre-Emphase-Filterung PEF unterzogen. Das so vorgefilterte Signal wird dann in einem Pufferspeicher B abgelegt, aus dem es in einer weiteren Verarbeitungseinheit R je nach Betriebsmodus a) oder b), wie in 4 beschrieben, entsprechend dem Ausgangssignal von SL mit variierender Geschwindigkeit ausgelesen wird. Das ausgelesene Signal wird dann mit einem De-Emphase-Filter DEF behandelt und dann wiedergegeben (AUDIO_OUT).
  • Für das Pre- und De-Emphase Filter PEF und DEF, die den gleichen Frequenzgang wie in der RIAA-Norm festgelegt haben sollten, verwendet man günstigerweise jeweils ein digitales IIR-Filter 2.Ordnung, d.h. mit zwei günstig gewählten Polstellen und zwei günstig gewählten Nullstellen. Wenn die Polstellen des einen Filters gleich den Nullstellen des anderen Filters sind, heben sich, wie gewünscht, die beiden Filter in ihrer Wirkung genau auf, wenn das Audiosignal mit Originalgeschwindigkeit abgespielt wird. In allen anderen Fällen erzeugen die genannten Filter den charakteristischen Toneffekt beim "Scratching". Selbstverständlich kann das beschriebene Scratch-Audio-Filter auch im Zusammenhang mit beliebigen anderen Arten von Musik-Abspielgeräten mit „Scratching"-Funktion eingesetzt werden.
  • In Kombination mit dem vorgeschlagenen CD-Grabbing-Verfahren ergibt sich unter anderem auch die vorteilhafte Möglichkeit, ein und denselben Titel zweimal in den interaktiven Musik-Abspieler zu laden und über das Automix-Verfahren mit sich selbst zu mischen bzw. zu ,remixen' oder als Ein-Song-Dauer-Mix laufen zu lassen, ohne jemals aus dem Takt zu kommen. Sehr kurze Titel können dadurch vom DJ beliebig verlängert werden.
  • Das Tempo eines Mix kann darüber hinaus über eine gezielte Frequenzänderung an der Master-Clock MCLK (dem Referenz-Oszillator aus 2) allmählich im Verlauf eines mehrstündigen Sets automatisch angehoben oder abgesenkt werden, um gezielte Effekte der Steigerung oder der Beruhigung beim Publikum zu erzeugen.
  • Wie bereits eingangs erwähnt, werden herkömmlicherweise beim Mischen mehrerer Musikstücke die Audioquellen von Tonträgern auf mehreren Abspielgeräten abgespielt und über ein Mischpult abgemischt. Bei dieser Vorgehensweise beschränkt sich eine Audioaufnahme auf eine Aufzeichnung des Endresultats. Eine Reproduktion des Mischvorganges oder ein Aufsetzen zu einem späteren Zeitpunkt exakt an einer vorgebbaren Position innerhalb eines Musikstückes ist damit nicht möglich.
  • Genau dies erreicht nun die vorliegende Erfindung, indem ein Dateiformat für digitale Steuerinformationen vorgeschlagen wird, welches die Möglichkeit biete, den Vorgang des interaktiven Mischens und eine eventuelle Effektbearbeitung von Audioquellen aufzuzeichnen und akkurat wiederzugeben. Dies ist insbesondere mit einem wie vorangehend beschriebenen Musik-Abspieler möglich.
  • Die Aufzeichnung gliedert sich in eine Beschreibung der verwendeten Audioquellen und einen zeitlichen Ablauf von Steuerinformationen des Mischvorgangs und zusätzlicher Effektbearbeitung.
  • Es werden nur die Information über den eigentlichen Mischvorgang und über die Ursprungsaudioquellen benötigt, um das Resultat des Mischvorgangs wiederzugeben. Die eigentlichen digitalen Audiodaten werden extern zur Verfügung gestellt. Dies vermeidet urheberrechtlich problematische Kopiervorgänge von geschützten Musikstücken. Es können durch das Abspeichern von digitalen Steuerinformationen somit Mischvorgänge von mehreren Audiostücken im Hinblick auf Abspielpositionen, Synchronisationsinformationen, Echtzeiteingriffe mit Audio-Signalverarbeitungsmitteln etc. als ein Mix der Audioquellen und deren Effektbearbeitung als neues Gesamtwerk mit vergleichsweise langer Abspieldauer realisiert werden.
  • Dies bietet den Vorteil, dass die Beschreibung der Bearbeitung der Audioquellen im Vergleich zu den erzeugten Audiodaten des Mischvorgangs gering sind, der Mischvorgang an beliebigen Stellen editiert und wiederaufgesetzt werden kann. Außerdem können vorhandene Audiostücke in verschiedenen Zusammenfassungen oder als längere zusammenhängende Interpretationen wiedergegeben werden.
  • Mit bisherigen Tonträgern und Musik-Abspielgeräten war es hingegen nicht möglich, die Interaktion eines Anwenders aufzuzeichnen und wiederzugeben, da den bekannten Abspielgeräten die technischen Voraussetzungen fehlen, diese genau genug zu steuern. Dies wird erst durch die vorliegende Erfindung ermöglicht, indem mehrere digitale Audioquellen wiedergegeben und deren Abspielpositionen bestimmt und gesteuert werden können. Dadurch wird es möglich, den gesamten Vorgang digital zu verarbeiten und entsprechende Steuerdaten in einer Datei zu speichern. Diese digitalen Steuerinformationen werden vorzugsweise in einer Auflösung abgelegt, die der Abtastrate der verarbeiteten digitalen Audiodaten entspricht.
  • Die Aufzeichnung gliedert sich im wesentlichen in 2 Teile:
    • – eine Liste der verwendeten Audioquellen z.B. digitale Aufgezeichnete Audiodaten in komprimierter und unkomprimierter Form wie z.B. WRV, MPEG, AIFF und digitale Tonträger wie etwa eine Compact Disk und
    • – den zeitlichen Ablauf der Steuerinformation.
  • Die Liste der Verwendeten Audioquellen enthält u.a.:
    • – Informationen zur Identifizierung der Audioquelle
    • – zusätzlich berechnete Information, die Charakteristiken der Audioquelle beschreibt (z.B. Abspiellänge und Tempoinformationen)
    • – beschreibende Information zur Herkunft und Urheberinformation der Audioquelle (z.B. Künstler, Album, Verlag etc.)
    • – Metainformation, z.B. Zusatzinformation die über den Hintergrund der Audioquelle informiert (z.B. Musikgenre, Information zum Künstler und Verlag)
  • Die Steuerinformation speichert u.a.:
    • – die zeitliche Abfolge von Steuerdaten
    • – die zeitliche Abfolge von exakten Abspielpositionen in der Audioquelle
    • – Intervalle mit kompletter Zustandsinformation aller Stellglieder, um als Wiederaufsetzpunkte der Wiedergabe zu dienen
  • Im Folgenden ist ein mögliches Beispiel der Verwaltung der Liste von Audiostücken in einer Ausprägung des XML Formats dargestellt. Dabei steht XML als Abkürzung für Extensible Markup Language. Dies ist eine Bezeichnung für eine Metasprache zur Beschreibung von Seiten im WWW (World Wide Web). Dabei ist es im Gegensatz zu HTML (Hypertext Markup Language) möglich, dass der Autor eines XML-Dokumentes im Dokument selbst bestimmte Erweiterungen von XML im Document-Type-Definition-Teil des Dokumentes definiert und im gleichen Dokument auch nutzt.
  • Figure 00310001
  • Figure 00320001
  • Figure 00330001
  • Die Steuerinformationsdaten, referenziert durch die Liste von Audiostücken, werden vorzugsweise im Binärformat gespeichert. Der prinzipielle Aufbau der abgespeicherten Steuerinformationen in einer Datei lässt sich beispielhaft wie folgt beschreiben:
    Figure 00330002
  • Mit [Kennung des Controllers] ist ein Wert bezeichnet, der ein Steuerglied (z.B. Lautstärke, Geschwindigkeit, Position) des interaktiven Musik-Abspielers identifiziert. Solchen Steuergliedern können mehrere Unterkanäle [controller Kanal], z.B. Nummer des Abspielmoduls, zugeordnet sein. Ein eindeuti ger Steuerpunkt M wird durch [Kennung des Controllers], [Controller Kanal] adressiert.
  • Als Resultat entsteht eine digitale Aufzeichnung des Mischvorgangs, der gespeichert, nicht-destruktiv im Bezug auf das Audiomaterial reproduziert, vervielfältigt und übertragen werden kann, z.B. über das Internet.
  • Eine vorteilhafte Ausführung mit solchen Steuerdateien stellt ein Datenträger D dar, wie dieser anhand von 6 veranschaulicht ist. Dieser weist eine Kombination einer normalen Audio-CD mit digitalen Audiodaten AUDIO_DATA eines ersten Datenbereichs D1 mit einem auf einem weiteren Datenteil D2 der CD untergebrachten Programm PRG_DATA zum Abspielen solcher ebenfalls vorhandener Mixdateien MIX_DATA auf, die unmittelbar auf die auf der CD abgelegten Audio-Daten AUDIO_DATA zugreifen. Dabei muss die Abspiel- bzw. Mix-Applikation PRG_DATR nicht zwingend Bestandteil eines solchen Datenträgers sein. Auch eine Kombination aus einem ersten Datenbereich D1 mit digitalen Audioinformationen AUDIO_DATA und einem zweiten Datenbereich mit einer oder mehreren Dateien mit den genannten digitalen Steuerdaten MIX_DATA ist vorteilhaft, denn ein solcher Datenträger beinhaltet in Verbindung mit einem Musik-Abspieler der Erfindung alle erforderlichen Informationen zur Reproduktion eines zu einem früheren Zeitpunkt erstellten neuen Gesamtwerkes aus den vorhandenen digitalen Audioquellen.
  • Besonders vorteilhaft jedoch lässt sich die Erfindung auf einem geeignet programmierten digitalen Computer mit entsprechenden Audio-Schnittstellen realisieren, indem ein Softwareprogramm die im vorangehenden dargestellten Verfahrensschritte auf dem Computersystem durchführt (z.B. die Abspiel- bzw. Mix-Applikation PRG_DATA). Der beschriebene Datenträger in Verbindung mit dem auf einem Standard-CD-Rom-Laufwerk durchgeführten vorteilhaften CD-Grabbing-Verfahren ermöglicht dann die komplette Funktionalität der Erfindung.
  • Alle in der vorstehenden Beschreibung erwähnten bzw. in den Figuren dargestellten Merkmale sollen, sofern der bekannte Stand der Technik dies zulässt, für sich allein oder in Kombination als unter die Erfindung fallend angesehen werden.

Claims (31)

  1. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes mit den folgenden Verfahrensschritten: – näherungsweise Ermittlung des Tempos (A) des Musikstückes durch eine statistische Auswertung (STAT) der zeitlichen Abstände (Ti) rhythmusrelevanter Beat-Informationen in den digitalen Audiodaten (Ei), – näherungsweise Ermittlung der Phase (P) des Musikstückes anhand der Lage der Takte in den digitalen Audiodaten im Zeitraster eines mit einer dem ermittelten Tempo proportionalen Frequenz schwingenden Referenz-Oszillators (MCLK), – sukzessive Korrektur von ermitteltem Tempo (A) und Phase (P) des Musikstückes anhand einer Phasenverschiebung des Referenz-Oszillators (MCLK) relativ zu den digitalen Audiodaten durch Auswertung der resultierenden systematischen Phasenverschiebung und Regulierung der Frequenz des Referenz-Oszillators proportional zur ermittelten Phasenverschiebung.
  2. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach Anspruch 1, wobei rhythmusrelevante Beat-Informationen (Ti) durch Bandpassfilterung (F1, F2) der zugrunde liegenden digitalen Audiodaten in verschiedenen Frequenzbereichen gewonnen werden.
  3. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach Anspruch 1 oder 2, wobei die aus den Audiodaten ermittelten Rhythmusintervalle im Bedarfsfall durch Multiplikation ihrer Frequenz mit 2er-Potenzen (OKT) in eine vordefinierte Frequenz-Oktave in die Werte(T1io...T3io) transformiert werden, welche in der Folge zur Tempoermittlung dienen.
  4. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach Anspruch 3, wobei in der Frequenz-Transformation (OKT) neben den einzelnen Rhytmusintervallen des Audiomaterials (Ti,T1i) auch die durch Addition der Zeitwerte von zwei (T2i), drei (T3i) oder weiteren aufeinanderfolgenden dieser Rhythmusintervalle gebildeten Zeitintervalle verwendet werden.
  5. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach einem der vorangehenden Ansprüche 2 bis 4, wobei die gewonnene Menge an Daten von Zeitintervallen (BPM1, BPM2) der rhythmusrelevanten Beat-Informationen auf Häufungspunkte (N) untersucht wird und die näherungsweise Tempoermittlung anhand der Informationen eines Häufungsmaximums erfolgt.
  6. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach einem der vorangehenden Ansprüche, wobei zur näherungsweisen Ermittlung der Phase (P) des Musikstückes die Phase des Referenz-Oszillators (MCLK) derart gewählt wird, dass sich die größtmögliche Übereinstimmung zwischen den rhythmusrelevanten Beat-Informationen in den digitalen Audiodaten und den Nulldurchgängen des Referenz-Oszillators (MCLK) einstellt.
  7. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach einem der vorangehenden Ansprüche, wobei eine sukzessive Korrektur (2, 3, 4, 5) von ermitteltem Tempo und Phase des Musikstückes in regelmäßigen Abständen in so kurzen Zeitintervallen erfolgt, dass resultierende Korrekturbewegungen und/oder Korrekturverschiebungen unterhalb der Hörbarkeitsgrenze bleiben.
  8. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach einem der vorangehenden Ansprüche, wobei alle sukzessiven Korrekturen von ermitteltem Tempo und Phase des Musikstückes über die Zeit akkumuliert (4) werden und darauf aufbauend weitere Korrekturen mit stetig steigender Präzision erfolgen.
  9. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach Anspruch 8, wobei sukzessive Korrekturen solange erfolgen, bis ein vorgegebener tolerierbarer Fehlergrenzwert unterschritten wird,.
  10. Verfahren zur Erkennung von Tempo und Phase eines in digitalem Format vorliegenden Musikstückes nach einem der vorangehenden Ansprüche, wobei für den Fall, dass die Korrekturen über einen vorgebbaren Zeitraum hinweg immer jeweils negativ oder positiv sind (6), eine erneute (RESET) näherungsweise Ermittlung von Tempo (A) und Phase (P) mit anschließender sukzessiver Korrektur (2, 3, 4, 5) erfolgt.
  11. Verfahren zur Synchronisierung von mindestens zwei in digitalem Format vorliegenden Musikstücken mit folgenden Verfahrensschritten: – vollständige Ermittlung von Tempo und Phase des ersten Musikstückes nach einem der vorangehenden Ansprüche, – näherungsweise Ermittlung von Tempo und Phase des weiteren Musikstückes nach einem der vorangehenden Ansprüche, – Anpassung der Abspielgeschwindigkeit und der Abspielphase dieses weiteren Musikstückes durch sukzessive Anpassung der Frequenz und der Phase des diesem weiteren Musikstück zugeordneten Referenz-Oszillators an die Frequenz und die Phase des dem anderen Musikstück zugeordneten Referenz-Oszillators.
  12. Verfahren zur Synchronisierung von mindestens zwei in digitalem Format vorliegenden Musikstücken nach Anspruch 11, wobei zur Anpassung der Abspielgeschwindigkeit und der Abspielphase des weiteren Musikstückes anhand einer Phasenverschiebung des diesem weiteren Musikstück zugeordneten Referenz-Oszillators relativ zu dem Referenz-Oszillator des anderen Musikstückes eine Auswertung der resultierenden systematischen Phasenverschiebung und eine Regulierung der Frequenz des dem weiteren Musikstück zugeordneten Referenz-Oszillators proportional der ermittelten Phasenverschiebung erfolgt.
  13. Musik-Abspieler, bei dem mindestens zwei in digitalem Format vorliegende Musikstücke gemäß Anspruch 11 oder 12 in Echtzeit synchronisierbar sind.
  14. Musik-Abspieler nach Anspruch 13, wobei jeweils rhythmusrelevante Beat-Informationen (Ti) eines vorgegebenen zurückliegenden Zeitraums ausgehend von einer aktuellen Abspielposition des Musikstückes als Grundlage zur Tempoermittlung in Echtzeit dienen.
  15. Musik-Abspieler nach einem der vorangehenden Ansprüche 13 oder 14, wobei synchronisierte Musikstücke automatisch zu einem Gesamtwerk mit einheitlichem Rhythmus arrangierbar und abspielbar sind.
  16. Interaktiver Musik-Abspieler, der – ein Mittel zur graphischen Darstellung von mit einer Tempo- und Phasenerkennungsfunktion, bestimmten Taktgrenzen eines in der Wiedergabe befindlichen Musikstückes in Echtzeit, – ein erstes Steuerelement (R1) zum Wechsel zwischen einem ersten Betriebsmodus (a), in dem das Musikstück mit einem konstanten Tempo abgespielt wird, und einem zweiten Betriebsmodus (b), in dem die Abspielposition und/oder Abspielgeschwindigkeit vom Anwender direkt beeinflussbar in Echtzeit ist, und – ein zweites Steuerelement (R2) zur Manipulation der Abspielposition in Echtzeit umfasst.
  17. Interaktiver Musik-Abspieler nach Anspruch 16, mit – einem Mittel zur graphischen Darstellung der aktuellen Abspielposition, mit dem eine Amplitudenhüllkurve der Klangwellenform des wiedergegebenen Musikstückes über einen vorgebbaren Zeitraum vor und nach der aktuellen Abspielposition darstellbar ist, wobei sich die Darstellung in Echtzeit mit dem Tempo der Wiedergabe des Musikstückes verschiebt, und mit – einem Mittel zur Glättung (LP, SL) eines stufigen Verlaufs zeitlich begrenzter, mit dem zweiten Steuerelement (R2) vorgegebener Abspiel-Positionsdaten zu einem sich gleichmäßig mit einer der Audio-Abtastrate entsprechenden zeitlichen Auflösung ändernden Signal.
  18. Interaktiver Musik-Abspieler nach Anspruch 17, wobei zur Glättung eines stufigen Verlaufs zeitlich begrenzter Abspiel-Positionsdaten ein Mittel zur Rampenglättung (SL) vorgesehen ist, durch das mit jeder vorgegebenen Abspiel-Positionsnachricht eine Rampe mit konstanter Steigung auslösbar ist, die in einem vorgebbaren Zeitintervall das geglättete Signal von seinem bisherigen Wert auf den Wert der Abspiel-Positionsnachricht fährt.
  19. Interaktiver Musik-Abspieler nach Anspruch 17, wobei ein lineares digitales Tiefpaß-Filter (LP),, zur Glättung eines stufigen Verlaufs zeitlich begrenzter vorgegebener Abspiel-Positionsdaten dient.
  20. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 16 bis 19, wobei im Fall eines Wechsels zwischen den Betriebsmodi (a, b) die im vorhergehenden Modus erreichte Position als Ausgangsposition im neuen Modus dient.
  21. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 16 bis 20, wobei im Fall eines Wechsels zwischen den Betriebsmodi (a, b) die im vorhergehenden Modus erreichte aktuelle Abspielgeschwindigkeit (DIFF) durch eine Glättungsfunktion, auf die dem neuen Betriebsmodus entsprechende Abspielgeschwindigkeit führbar ist.
  22. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 16 bis 21, wobei ein Audiosignal ein Scratch-Audio-Filter durchläuft, indem das Audiosignal einer Pre-Emphase-Filterung (PEF) unterzogen und in einem Pufferspeicher (B) abgelegt wird, aus dem es in Abhängigkeit von der jeweiligen Abspielgeschwindigkeit mit variablem Tempo auslesbar (R) ist, um anschließend einer De-Emphase-Filterung (DE F) unterzogen und wiedergegeben zu werden.
  23. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 13 bis 22, wobei für eines oder mehrere der synchronisierten Musikstücke anhand der ermittelten Tempoinformation des jeweiligen Musikstückes die Länge einer über einen oder mehrere Takte dieses Musikstückes reichenden Wiedergabe-Schleife in Echtzeit taktsynchron definierbar und abspielbar ist.
  24. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 13 bis 23, wobei für eines oder mehrere der synchronisierten Musikstücke anhand der ermittelten Phaseninformation des jeweiligen Musikstückes in Echtzeit taktsynchrone Sprungmarken definierbar und innerhalb dieses Musikstückes um ganzzahlige Vielfache von Takten verschiebbar sind.
  25. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 13 bis 24, wobei jeder wiedergegebene Audiodatenstrom durch Signalverarbeitungsmittel in Echtzeit manipulierbar ist.
  26. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 13 bis 25, wobei Echtzeiteingriffe über den zeitlichen Ablauf als digitale Steuerinformationen (MIX_DATA) speicherbar sind.
  27. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 13 bis 26, wobei Mischvorgänge von Musikstücken und/oder interaktive Eingriffe in Musikstücke mit Audiosignalverarbeitungsmitteln als ein neues Gesamtwerk unabhängig von digitalen Audioinformationen von Musikstücken in Form digitaler Steuerinformationen (MIX_DATA speicherbar sind.
  28. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 26 oder 27, wobei gespeicherte digitale Steuerinformationen ein Format aufweisen, das Informationen zur Identifikation der verarbeiteten Musikstücke und eine jeweilige diesen zugeordnete zeitliche Abfolge von Abspielpositionen und Zustandsinformationen der Stellglieder des Musik-Abspielers umfasst.
  29. Interaktiver Musik-Abspieler nach einem der vorangehenden Ansprüche 13 bis 28, der durch ein geeignet programmiertes mit Audioschnittstellen ausgestattetes Computersystem realisiert ist.
  30. Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Computers geladen werden kann und Softwareabschnitte umfasst, mit denen die Verfahrensschritte gemäß einem der Ansprüche 1 bis 12 ausgeführt werden, wenn das Programmprodukt auf einem Computer ausgeführt wird.
  31. Datenträger (D), der – einen ersten Datenbereich (D1) mit digitalen Audiodaten (AUDIO_DATA) eines oder mehrerer Musikstücke (TR1...TRn) und – einen zweiten Datenbereich (D2) mit einer Steuerdatei (MIX_DATA) mit digitalen Steuerinformationen zur Ansteuerung eines Musik-Abspielers umfasst, wobei – die Steuerdaten (MIX_DATA) des zweiten Datenbereichs (D2) auf Audiodaten (AUDIO_DATA) des ersten Datenbereichs (D1) Bezug nehmen.
DE2001101473 2001-01-13 2001-01-13 Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler Expired - Lifetime DE10101473B4 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE10164686A DE10164686B4 (de) 2001-01-13 2001-01-13 Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
EP02712804A EP1380026A2 (de) 2001-01-13 2002-01-07 Automatische erkennung und anpassung von tempo und phase von musikstücken und darauf aufbauender interaktiver musik-abspieler
AU2002244636A AU2002244636A1 (en) 2001-01-13 2002-01-07 Automatic recognition and matching of tempo and phase of pieces of music, and an interactive music player based thereon
JP2002556874A JP2004527786A (ja) 2001-01-13 2002-01-07 メロディのテンポ、及び位相の自動検出方法、及び調和方法、及びそれらを用いた対話型音楽再生装置
US10/251,000 US7615702B2 (en) 2001-01-13 2002-01-07 Automatic recognition and matching of tempo and phase of pieces of music, and an interactive music player based thereon
PCT/EP2002/000074 WO2002056292A2 (de) 2001-01-13 2002-01-07 Automatische erkennung und anpassung von tempo und phase von musikstücken und darauf aufbauender interaktiver musik-abspieler
US12/565,766 US8680388B2 (en) 2001-01-13 2009-09-24 Automatic recognition and matching of tempo and phase of pieces of music, and an interactive music player

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10164686A DE10164686B4 (de) 2001-01-13 2001-01-13 Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler

Publications (2)

Publication Number Publication Date
DE10101473A1 DE10101473A1 (de) 2002-07-25
DE10101473B4 true DE10101473B4 (de) 2007-03-08

Family

ID=7711271

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2001101473 Expired - Lifetime DE10101473B4 (de) 2001-01-13 2001-01-13 Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler

Country Status (1)

Country Link
DE (1) DE10101473B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2420998A1 (de) 2010-08-16 2012-02-22 Klaus Dzida Spielanalysevorrichtung für ein Tasteninstrument

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20111375A1 (it) * 2011-07-25 2013-01-26 Diachronic Media Ltd Apparecchiatura per l'elaborazione di files audio/video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5256832A (en) * 1991-06-27 1993-10-26 Casio Computer Co., Ltd. Beat detector and synchronization control device using the beat position detected thereby
US5512704A (en) * 1992-10-12 1996-04-30 Yamaha Corporation Electronic sound signal generator achieving scratch sound effect using scratch readout from waveform memory
WO1997001168A1 (en) * 1995-06-20 1997-01-09 Rickli Andre Digital processing device for audio signal
US5793739A (en) * 1994-07-15 1998-08-11 Yamaha Corporation Disk recording and sound reproducing device using pitch change and timing adjustment
US5869783A (en) * 1997-06-25 1999-02-09 Industrial Technology Research Institute Method and apparatus for interactive music accompaniment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5256832A (en) * 1991-06-27 1993-10-26 Casio Computer Co., Ltd. Beat detector and synchronization control device using the beat position detected thereby
US5512704A (en) * 1992-10-12 1996-04-30 Yamaha Corporation Electronic sound signal generator achieving scratch sound effect using scratch readout from waveform memory
US5793739A (en) * 1994-07-15 1998-08-11 Yamaha Corporation Disk recording and sound reproducing device using pitch change and timing adjustment
WO1997001168A1 (en) * 1995-06-20 1997-01-09 Rickli Andre Digital processing device for audio signal
US5869783A (en) * 1997-06-25 1999-02-09 Industrial Technology Research Institute Method and apparatus for interactive music accompaniment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2420998A1 (de) 2010-08-16 2012-02-22 Klaus Dzida Spielanalysevorrichtung für ein Tasteninstrument

Also Published As

Publication number Publication date
DE10101473A1 (de) 2002-07-25

Similar Documents

Publication Publication Date Title
DE10164686B4 (de) Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
EP1415297B1 (de) Automatische erzeugung von musikalischen sratch-effekten
DE69623318T2 (de) Verfahren und vorrichtung zur interaktiven bildung von neuen bearbeitungen von musikstücken
DE69930787T2 (de) Multimedia-System und Verfahren für die automatische Selektion einer Szene
DE202020005830U1 (de) Vorrichtung zum Zerlegen, Rekombinieren und Abspielen von Audiodaten
DE69823947T2 (de) Verfahren, Vorrichtung und Aufzeichnungsmedium zur Erzeugung von Tondaten
DE3528719C2 (de)
DE69922284T2 (de) Vorrichtung und Verfahren zur Wiedergabe von Musik zusammen mit Taktschlaginformation
DE60225348T2 (de) Auswahl eines Musikstücks anhand von Metadaten und einer externen Tempo-Eingabe
DE69732311T2 (de) Verfahren zur Erzeugung von Musiktönen
DE60024157T2 (de) Vorrichtung und Verfahren zur Eingabe eines Vortragstils
DE102007034356A1 (de) Vorrichtung zur Tempobestimmung und Computerprogramm zur Tempobestimmung
DE60026189T2 (de) Verfahren und Vorrichtung zur Wellenformkomprimierung und Erzeugung
DE69611874T2 (de) Verfahren und Vorrichtung zur Musiktonerzeugung
DE19714688C2 (de) Verfahren zur Reproduzierung von Audiosignalen und Audioabspielgerät
DE68920730T2 (de) Plattenwiedergabegerät.
DE19843702A1 (de) Editieren digitalisierter Audio/Videodaten über ein Netzwerk
DE60033098T2 (de) Verfahren und Vorrichtung zur Aufnahme/Wiedergabe oder Erzeugung von Wellenformen mittels Zeitlageinformation
DE69921048T2 (de) Vorrichtung zum automatischen Vortrag mit veränderlichen Arpeggiothema
DE3885979T2 (de) Wiedergabegerät für optische Platten.
DE10101473B4 (de) Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
DE112019006852T5 (de) Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE69029319T2 (de) Verfahren und Gerät zur Synchronisation einer Vielzahl von CD-Spielern
DE69732797T2 (de) Verfahren und vorrichtung zur speicherung von tonfolgen in cyclischen schleifen
DE69123989T2 (de) Informationsaufzeichenanordnung und Informationsaufleseanordnung

Legal Events

Date Code Title Description
AH Division in

Ref document number: 10164686

Country of ref document: DE

OP8 Request for examination as to paragraph 44 patent law
AH Division in

Ref document number: 10164686

Country of ref document: DE

8364 No opposition during term of opposition
R071 Expiry of right