Sprachsynthese aus einer anderen Perspektive – Mechanische Synthesizer
Schwerpunkt Sprachsynthese: Synthesizer sind normalerweise elektronisch. Aber auch zuvor hat man Experimente gemacht mit eher mechanischen Apparaturen. Aber was ist mit elektroakustischen Synthese-Ideen, die mit „heutiger Technik“ gemacht werden können?
Sprachsynthese – der künstliche Mund
Das Faszinierenste war eine lange Zeit die Simulation der menschlichen Sprache. Dazu muss man zurück zur „Königin der Instrumente“, der Pfeifenorgel. Man nehme einen stark formbaren Gummi-Körper und eine große Anzahl an kleinen Hebeln, die den so geformten „Gummi–Rachenraum“ gezielt schließen und deformieren können, und bringe einen recht obertonreichen Grundton aus einer Orgelpfeife als Oszillator in die Sprachsynthese ein und nutze den künstlichen „Rachen/Gaumen“ als Resonator.
Roboter formten diesen schönen Körper
Mit den „Roboter-Händen“ können die einzelnen Segmente des künstlichen Rachens bewegt und die einzelnen Vokale und Laute nachgebildet werden. Die Position der einzelnen „Arme“ lässt sich speichern und sehr schnell wiederherstellen, damit ein artikulierter Phonem wie „Ah“ oder „ö“ entsteht. Deutsch hat eine andere Anzahl an benötigten Sprachsynthese-Einzelsounds, nämlich 64. Im Chinesischen gibt es eine Reihe von viel mehr R- und L-Zwischenlauten, als wir sie kennen. Deshalb muss für jede Sprache ein passendes Modell gefunden werden.
Hier ist der Sprach-Apparat im Einsatz. Die Sprachmaschine
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Das singend-sprechende Synthese-Klavier
Ein anderer Weg ist die relativ einfach mechanisierbare Hammermechanik eines Klaviers zu nutzen und deren Saiten möglichst gut zu dämpfen, damit es nicht zu viele Obertöne gibt. Mittels immerhin 88 Tasten lassen sich analog zu den additiven Sinustönen, aus denen eigentlich jeder Ton zusammensetzbar (Synthese = zusammengesetzt) ist, auch Sprache oder Musik oder auch „Sounds“ direkt per Taste „spielen“. Allerdings könnte das nur ein 88-armiger Mensch mit ausreichend mechanischen Fähigkeiten. Ein Weglassen würde durchaus Sprache und Sounds durch simples Spielen der Töne zwar noch andeuten, aber es wäre nur schwer spielbar und würde zu viele notwendige Töne „auslassen“, deshalb muss es ein Rechner tun. Dabei kann man sich die Herstellung am ehesten wie eine additive Methode wie die in einem Kawai K5000 vorstellen.
Was spricht besser? Klavier oder Orgel?
Klaviersaiten und die resultierenden Töne sind deutlich „dreckiger“ und daher nicht perfekt geeignet. Eine Sinus-Orgel wäre also besser und verständlicher. Sie würde aber auch mehr Töne benötigen, da die Sprache sonst etwas zu wenig „Material“ in Form der einzelnen Töne hätte, um die benötigten Formanten bis 3-4 kHz herzustellen. Ein Computer kann die Töne zumindest schnell genug spielen, um Sprache zu erzeugen und bei den im Video gespielten Liedern versteht man mit etwas Phantasie sogar den Text von z. B. Sweet Dreams (Eurythmics). Aber als Kompromiss ist ein sogar eher hart gespieltes Klavier besser für den Zweck oder eine Orgel mit mehr als nur Sinus oder auch ein Synthesizer. Jedoch wäre das einfach weniger reizvoll, um zu das belegen.
Sprachsynthese vs. Vocoder mit dem Klavier
Theoretisch lässt sich so ein Piano-Tool auch als eine Art Sampler-Vocoder nutzten, indem die Frequenz der Töne jeweils abgefragt und wie in einem Vocoder-Analyse-Teil erkannt werden. Beim Abspielen kann dann der entsprechende Ton jeweils gespielt werden und kann so einfache „Sounds“ re-synthetisieren. Auch die in ein Mikrofon gesprochene deutliche Sprache könnte die passenden Frequenzen ausreichend bedienen, was eigentlich die Basis hinter einem Vocoder ist. Würde man so ein Stück in Notenform aufschreiben, wäre es sogar kryptisch genug, nicht zu verstehen, was gesprochen wird. Es bleibt natürlich eher „schwer“ verständlich, aber es ist möglich.
Das Klavier als Synthesizer
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Besser verständlich ist diese Variante mit „deutlicheren Konturen“ und „heftiger gespielten Einzeltönen“, wie oben erklärt. Ebenfalls vom Rechner aus gespielt und mit Robot-Stößeln, die die Hämmerchen bewegen, jedoch schon etwas klarer:
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Wer Spaß am schnellen Pianospiel hat, kann sich hier mal ansehen und anhören, wie extrem schnell sich gespielte Melodien bei 500 und mehr BPM auf einem mechanischen Klavier auswirken. Transferleistungen auf Synthese und Synthesizer sind rein zufällig.
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
2 Antworten zu “Sprachsynthese aus einer anderen Perspektive – Mechanische Synthesizer”
Das geht auf dem Klavier aber noch besser:
https://youtu.be/BzcBusxDThM
Ich habe eine interessante Mail vom Ersteller bekommen, worüber ich mich sehr gefreut habe – und das möchte ich dann direkt mit euch teilen –
Zusammen mit Peter Ablinger die Transformation entwickelt
Das „Paper“ dazu: http://smc.afim-asso.org/smc11/papers/smc2011_116.pdf
Erstes Bild und Link zum Video: Es war ein Beitrag von 3-sat, der „illegal“
hochgeladen wurde und in dem die Referenzen auf den Entwickler bzw. Künstler
nicht vorkommen:
Bild: „Speaking Piano“ – Winfried Ritsch entwickelte Transkription Software
von Sprache auf Klavier und dafür eigens automatischen Klavierspieler./ 3-Sat
Der Automatenspieler ist quasi Open Hardware:
– https://github.com/algorythmics/pianoplayer
bzw.: https://algo.mur.at/projects/autoklavierspieler
Ein Link zu Ablinger wäre:
– https://ablinger.mur.at/docu11.html
Apropos: der Name seines Atelier Algorythmics war natürlich eine Anspielung an
Eurythmics in den 80ern …
lG vielen Dank an:
Winfried Ritsch
PS.: Neuestes Werk dazu: Transkription Musik auf Klavier: Doors Music’s Over
Aufnahme – https://www.youtube.com/watch?v=4CzOKmeK4KY&t=2s
Interviews – https://www.youtube.com/watch?v=D1-C01BOJjg