Flea, Bootsy und Co. bald arbeitslos? – Sony entwickelt KI Bassist!
Endlich einen Jamming-Partner finden, der immer mitspielt, immer passend spielt, immer groovt und immer wach ist! Oder überhaupt jemand, der so Bass spielt, dass es immer zum Gitarrenriff oder Drum-Groove passt? So könnt der KI-Bassist funktionieren, den Forscher an Sony Computer Science Laboratories (Sony CSL) nun in einem Paper vorgestellt haben.
Der KI-Bassist könnte der perfekte musikalische Begleiter sein
Wir bleiben ganz klar im Konjunktiv. Könnte. Denn das jetzt auf der Plattform für wissenschaftliche Paper arXiv (ausgesprochen: „archive“) veröffentlichte Dokument illustriert das neue Modell. Aber noch gibt es kein kommerzielles Produkt oder DAW-Feature. Aber genau die, DAW- und Plugin-Hersteller wie wahrscheinlich auch Pedal-Buden, werden hier genau hinsehen.
Das Besondere am KI-Bassisten-Modell der Forscher am Sony CSL ist, dass es sich bei Stil und Sound auf den Input einstellen kann. Dabei spielt es keine Rolle, ob der KI ein ganzer Mix oder nur ein einzelnes Instrument, wie zum Beispiel ein Gitarrenriff oder ein A-cappella-Gesang, vorgegeben wird. Die Bassline passt sich perfekt an das Klangmaterial an.
Die Technologie dahinter: Latent Diffusion
Der KI-Bassist basiert auf der neuerdings immer beliebter werdenden Technologie namens ‚Latent Diffusion‘. Wie die drei Forscher Marco Pasini, Stefan Lattner und Maarten Grachten in ihrem Paper erklären, wird dabei das Eingangsmaterial analysiert und auf seine Essenz hin komprimiert. Der Latent Diffuser erzeugt dann aus dem komprimierten Material weitaus bessere Ergebnisse in viel höherer Qualität als normale Diffuser-Modelle.
Dazu ist es möglich, den KI-Bassisten mit eigenem Klangmaterial zu trainieren. Sprich, man hat eine Aufnahme einer Bassline und „füttert“ die KI damit. Lässt man sie dann eine neue Bassline passend zu einem Song oder einer Einzelaufnahme generieren, übernimmt sie Stil und Sound des Trainingsmaterial.
Das könnte, wenn es als Plugin, DAW-Feature oder Hardware kommerziell erhältlich wäre, enorme kreative Möglichkeiten für Producer bieten. Einmal einen Funk-Bass à la Boosty Collins unter den selbst produzierten Reggae-Track packen oder einen eine Slapping-Party à la Flea (Red Hot Chili Peppers) für den House-Track erzeugen – wie man es nie selbst könnte! Und falls das kommerzielle Produkt „fair“ vermarktet würde, würden die entsprechenden Bassistinnen und Bassisten, mit deren Material der KI-Bassist trainiert wurde, auch finanziell beteiligt.
Infos zum KI Bassist
- Mehr über Sony
- Interview mit den beteiligten Forschen bei Techexplore
- Paper bei arXiv