Unterscheiden von Instrumenten in einer Musikdatei

Question

Gibt es eine Musikdatei, ist es möglich, jedes gespielte Instrument aufzuteilen? I.e. Sagen wir, ich habe songSong.mp3, und in diesem Song gibt es Gesang, Gitarre, Bass und Schlagzeug. Ich möchte 4 "Spuren" bekommen - eine für jedes einzelne Instrument.

Ich vermute, dass es fast unmöglich ist, dies zu tun, da sich Instrumente überlappen können, und es ist notorisch schwierig, überlappende Stimmen zu unterscheiden, geschweige denn Instrumente.

Aber ist da ist eine Bibliothek oder ein Algorithmus, oder EINIGE Möglichkeit, dies zu tun, wäre ich neugierig zu hören, wie.

Answer 1

Mein Undergraduate-Projekt beschäftigt sich mit dem Transkribieren von Noten aus einer WAV-Datei in eine MIDI-Datei. Wir haben nur den einfachen Fall eines Instruments behandelt, möglicherweise mehr als eine Note gleichzeitig (ein Klavier zum Beispiel). Unsere Forschung zu dem Thema, bevor wir anfingen, zeigte, dass sogar dieses (d. H. Nur ein Instrument) als nicht-trivial angesehen wird. Grundsätzlich ist das Problem:

• finden Sie, welche Frequenzen zu einem bestimmten Zeitpunkt spielen. Dies kann durch eine DFT/FFT von kleinen Fenstern nacheinander erfolgen.
• Verwenden Sie eine Heuristik, um zu erraten, welche Frequenzen Harmonien der gleichen Note sind und welche zu verschiedenen Noten gehören. Dieses kann einfach sein, wenn Sie wissen, welches Instrument spielt, aber es ist im allgemeinen Fall schwierig, weil die Größen jeder Harmonie durch Instrument unterschiedlich sind. Zum Beispiel könnten Sie zwei Cs eine Oktave von einem Instrument entfernt haben, oder Sie könnten ein C haben, aber von einem anderen Instrument.
• Wenn Sie wissen, welche Noten zu jeder Zeit gespielt werden, müssen Sie raten, wann Sie in den Noten Pausen haben. Sie könnten eine lange Note oder eine Reihe kurzer Noten haben. Abhängig von der Größe der Fenster, die Sie für die anfängliche DFT verwendet haben, können Sie hier unterschiedliche Ergebnisse erzielen.

Nun, wenn Sie zu einem Zeitpunkt mehr als ein Instrument haben, und keine zwei sind die gleichen Noten oder Harmonien davon auf einmal zu spielen, Sie könnte der Lage sein, die Instrumente zu unterscheiden einige Heuristik auf der Größen der Harmonien oder der Notenfolgen, die sie spielen. Höchstwahrscheinlich wird es Zeiten geben, in denen zwei Instrumente die gleiche Note spielen. Dann haben Sie nicht wirklich die Möglichkeit zu entscheiden, ob (a) ein Instrument die Note spielt, (b) zwei Instrumente mit der gleichen Lautstärke spielen, (c) die eine weich und die andere laut oder (d) anspielt Kombination davon.

Wie auch immer, das ist die kurze Liste der zu lösenden Probleme. Ich kenne keinen Algorithmus, der dies im allgemeinen Fall löst. Ich glaube nicht, dass dieses Problem schon gelöst ist.

Edit: Meine Projektpräsentation können bei http://www-sipl.technion.ac.il/new/Archive/Special_Events/sipl2004/Projects_PowerPoint/WAV-to-MIDI.pdf

Answer 2

Der einfachste Weg, dies zu tun, besteht darin, die Instrumente an erster Stelle zu halten. Aus diesem Grund verwenden viele intermediäre Musikverarbeitungsanwendungen MIDI, um Instrumentennachrichten in abstrakter Form auf separaten Spuren zu speichern.

Answer 3

Jedes Instrument hat eine charakteristische Störschwingung. Wenn Sie also einzelne Noten (mit einer DFT/FFT) isolieren und die anderen Frequenzen zu diesem Zeitpunkt vergleichen, können Sie mindestens verschiedene Arten von Instrumenten unterscheiden.

Answer 4

mp3 ist ein verlustbehaftetes Format. Es funktioniert, indem es die akustische Antwort einer Person modelliert und Informationen wegwirft, von denen sie glaubt, dass sie nicht gehört werden können. Im Wesentlichen lauter Instrumente, die weiche Instrumente überschatten - der weichere wird verworfen. Dies bedeutet, dass Sie nie in der Lage sein werden, das zu extrahieren, was ursprünglich in die mp3-Datei gegangen ist, geschweige denn die Instrumente zu trennen.

Ich habe einen Freund, der ein Toningenieur ist und er muss immer "Nein" zu Leuten sagen, die ihn bitten, einen als mp3 aufgenommenen Track neu zu konstruieren.

Vor ein paar Wochen sah ich eine Studie, die nahelegte, dass die jüngere Generation den Klang von MP3s gegenüber vollständigeren Formaten vorzog, da sie damit aufgewachsen waren.

Answer 5

Lange Rede, kurzer Sinn: Das können Sie nur, wenn Ihre vier Instrumente Synthesizer sind, die reine Sinuswellen spielen.

Answer 6

Ich habe tatsächlich in einem sehr interessanten Algorithmus ICA (Independent Component Analysis) genannt gestoßen zu finden. Das Konzept hinter diesem Algorithmus stammt nicht aus der Signalverarbeitungswelt, sondern aus probabilistischen Theorien. Wir haben es verwendet, um zwei Songs zu trennen, die in einzelne mp3-Dateien gemischt wurden. Sie können eine Implementierungsbibliothek in Matlab \ C++ \ Python namens FastICA here finden. Probieren Sie es aus, es ist wirklich nett.