Die Open Source AI Spleeter isoliert Gesang und Instrumente aus Musik
Das Isolieren von Stimmn oder einzelnen Instrumenten aus bestehenden Musikstücken ist kein neues Thema. Neben den „einfachen“ Studiotricks wie das Auslöschen bestimmter Frequenzen mit einer in der Phase umgekehrten Kopie oder wilden EQ- und Filter-Spielereien haben auch einige Firmen aufwendige Lösungen entwickelt. Der Streaming-Dienst Deezer hat sich seit einiger Zeit ebenfalls intensiv damit beschäftigt. Jetzt wurde die eigene Entwicklung Spleeter als Open Source auf Github gestellt. Spleeter nutzt AI-Technologie, um einen Track in bis zu fünf Stems zu zerlegen.
Spleeter erzeugt Stems aus Musikstücken
Mal eben die Vocals aus einem Stück zu „zaubern“, ist durchaus praktisch. Vielleicht wollt ihr einen Karaoke-Abend machen und findet kein Instrumental von Scatman Johns „Scatman (Ski-Ba-Bop-Ba-Dop-Bop)“. Vielleicht soll es auch genau andersherum sein und ihr wollt mit dem Gesang einen neuen Remix basteln. Mit den einzelnen Spuren Drums und Bass ist auch ein Mashup kein Problem. Spleeter nimmt sich dieser Aufgabe automatisch an und erzeugt bis zu fünf Stems:
- 2 Stems: Vocals / Musik (2 stems)
- 4 Stems: Vocals / Drums / Bass / weitere Musik
- 5 Stems: Vocals / Drums / Bass / Piano / weitere Musik
Je sauberer die einzelnen isolierten Tracks klingen, desto besser ist das natürlich. Spleeter schafft da schon relativ beeindruckende Ergebnisse. Manchmal sind Glitches zu hören – vermutlich hängt die Qualität der herauskommenden Stems auch von der Komplexität des Ausgangsmaterials ab. „Perfekt“ ist Spleeter also auch nicht, aber im Vergleich bereits sehr gut und ein Ausblick auf zukünftige Möglichkeiten der KI/AI-Technik. Im Vergleich zu anderen Methoden schlägt sich das Tool jedenfalls auch sehr schnell – wenn eine GPU im Einsatz ist.
Spleeter Stems · Quelle: Deezer
Das Team von Deezer hat bei der Entwicklung den Streaming-Musikkatalog benutzt, um Spleeter mit Machine Learning auf die Aufgabe zu trainieren. Dabei wurden verschiedene Stile als Ausgangsmaterial verwendet.
Das Spannende ist, dass Spleeter nun als Open Source auf Github gelandet ist und so alle davon profitieren können. Falls ihr jetzt direkt in Stimmung seid, ein paar Titel in ihre Bestandteile zu zerlegen, solltet ihr euch aber mit Phython oder Googles AI Toolkit TensorFlow auskennen. In der jetzigen Form ist das Werkzeug nur über Kommandozeilen ansprechbar. Für eine größere Anwenderschicht müssen also jetzt erst einmal einfach zu bedienende Apps oder Interfaces programmiert werden. Ich kann mir aber gut vorstellen, dass das vielleicht gar nicht so lange auf sich warten lässt. Ein Plug-in für Audacity oder vergleichbare Apps wäre auf jeden Fall ein Knaller!
Weitere Infos
Videos
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Das könnte Dich auch interessieren
