Riffusion KI – eine ernste Bedrohung für Musiker?

Riffusion KI Website  ·  Quelle: Riffusion

• 

Previous Next

Riffusion KI erzeugt ganze Songs nur über die Eingabe einiger Worte. Und das geht fast ohne Verzögerung. Denn hier sitzt die aus Midjourney und Stable Diffusion bekannte Technologie dahinter. Müssen sich Songwriter Sorgen machen? Ist hier der perfekte Melodieerzeuger am Werk? Wir haben uns die künstliche Musikintelligenz einmal näher angesehen und -gehört. Und haben ein Urteil gefällt. 

So funktioniert die Riffusion KI für euch

Der Einstieg ist denkbar einfach. Denn auf der Website von Riffusion KI gibt man in einem Textfeld seine Idee ein. Damit erzeugt die KI dann in einer Warteliste die musikalische Idee. Wir probieren möglichst schräge Kombinationen aus. Denn die Engine soll ja kreativ werden. So haben wir „Rammstein Jazz„, „Schlager IDM„, „LoFi Prog Hyperpop“ oder auch „Pavarotti Gangsta Rap“ eingegeben. Und die Ergebnisse sprechen eine deutliche Sprache. Denn was hier zu hören ist, erinnert größtenteils eher an die MIDI-Player auf den frühen Windows-Systemen, als an fertige Songs.

https://youtu.be/NlJm-ErA1gg?t=84

Weder kann man eine Songstruktur erkennen, noch kommt bei den meisten Texteingaben, auch „Prompts“ genannt, ansatzweise das heraus, was man erwarten würde. Auch klingen alle Instrumente schlechter als im härtesten LoFi. Was tatsächlich sogar teilweise als Ideengeber funktioniert, sind Prompts wie „Trumpet solo in E-Minor“. Aber wir können hier ganz eindeutig Entwarnung geben: Im Vergleich zu den Grafik-KIs wie Midjourney oder Dall-E 2 sind diese Ergebnisse noch weit entfernt von einer Konkurrenz zu Musikern und Musikerinnen.

Das steckt unter der Haube

Riffusion KI basiert auf der Open-Source-Source-Engine Stable Diffusion. Und diese erzeugt wie die erwähnten Midjourney und Dall-E 2 durch Texteingaben Grafiken. Wie die zwei Programmierer Hayk Martiros und Seth Forsgren auf ihrer Website erklären, erzeugt jede Texteingabe auch in Riffusion Grafiken – Spektrogramme.

Das Verfahren basiert auf Stable Diffusion 1.5. Da diese Engine open-source ist, kann sie jeder für seine Zwecke „trainieren„. Denn die Funktionsweise der Engine basiert auf gigantischen Mengen an graphischen Daten. Diese wurden mit dem Algorithmus analysiert und jeder Grafik verschiedene Worte und Beschreibungen zugeordnet. Bei Midjourney und Dall-E 2 sind diese Daten verschlossen, auch kann man die Engines kaum (Midjourney) bis gar nicht (Dall-E 2) mit eigenen Daten füttern. Im Falle von Stable Diffusion fütterten Martiros und Forsgen die Engine mit unzähligen Spektrogrammen. So spukt sie bei Texteingabe auch nur wieder Spektrogramme aus.

Die eigentliche Umwandlung der Bilder in Audio passiert mit einem Short-time Fourier transform (STFT) genannten Verfahren. Mit diesem werden normalerweise auch Spektrogramme erstellt. Es basiert auf der Annahme, dass man annäherungsweise jeden Klang mit genug Sinuswellen darstellen kann. Die Frequenz, Lautstärke und Phase der Sinuswellen ist das, was ein Spektrogramm darstellt. Und die beiden Programmierer haben für die eigentliche Klangerzeugung in Riffusion KI dieses Verfahren einfach umgedreht. Denn das Spektogramm ist ja schon da!

Ist die Zukunft von uns Musikern durch KI bedroht?

Kurzgesagt: Nein. KI wird auch in der Musik und Musikproduktion in den nächsten Jahren gewaltige Veränderungen mit sich bringen. Aber, um es mit den Worten von YouTuber und Fachmann Benn Jordan zusagen: bei 100.000 hochgeladenen Songs pro Tag auf Spotify und einem Urheberrecht, das oft mehr blockiert als hilft, ist KI unsere kleinste Sorge.

Und das hört man an Riffusion KI deutlich. Was sagt ihr? Welche Kombinationen und Prompts haben besonders schöne oder schräge Sounds erzeugt? Schreibt es uns in den Kommentaren!

Infos über KI und Riffusion

• Website von Riffusion KI
• Erklärung der Programmierer über die Funktionsweise
• Alles über KI

Videos über Riffusion KI

Das könnte Dich auch interessieren

ChatGPT – Ist die KI eine Bedrohung für Musiker oder ein Gewinn?

Dolly Parton Jolene mit KI – sind Musiker endgültig ersetzbar?

Die interessantesten Produkte für Musiker 2014 – das Fazit des Musiker-Board Gewinnspiels

iLep – modulare iOS Effekte für Musiker