Notenblatt: KI findet zum Sound passende Texte (Foto: pixabay.com, stevepb)

Forscher der University of Waterloo haben mit "Lyricjam" ein intelligentes KI-System entwickelt, das zu Instrumentalmusik automatisch passende Songtexte schreibt. Es analysiert einzelne Audioclips oder live gespielte Stücke von Solokünstlern oder Bands und generiert dann auf Basis verschiedener Faktoren wie dem Tempo oder den verwendeten Akkorden in Echtzeit Texte, die auch die Stimmung der gespielten Musik widerspiegelt.

"Ich hatte schon immer eine tiefe Leidenschaft für Musik und ein grosses Interesse daran, etwas über die kreativen Prozesse zu lernen, die bei der Entstehung einiger meiner Lieblingssongs eine wichtige Rolle gespielt haben", so Olga Vechtomova, Associate Professor am Department of Management Sciences der University of Waterloo. "Das hat mich dazu gebracht, den Zusammenhang von Musik und Songtexten genauer zu untersuchen und zu erforschen, wie maschinelles Lernen dazu genutzt werden kann, Tools zu entwickeln, die Musiker inspirieren können."

Das Ziel, das sie gemeinsam mit ihren Projektkollegen Gaurav Sahu and Dhruv Kumar anpeilte, war die Entwicklung eines Systems, das Songtexte schreibt, die auch wirklich zur jeweiligen Musik passen - also auch deren Stimmung und Emotionen einfangen und ausdrücken können. Nach einigen Jahren intensiver Forschungsarbeit sei nun ein KI-Tool entstanden, das einen "echten kreativen Partner für Musiker" darstellt, wie Vechtomova betont.

Was Lyricjam von anderen ähnlichen Computer-Tools unterscheidet, die selbständig Texte generieren können, ist die Tatsache, dass Songtexte hier tatsächlich sehr genau auf die instrumentale Musik abgestimmt sind und in Echtzeit ausgegeben werden. Aus Anwender-Perspektive funktioniert das Ganze recht einfach: Wird eine Musik abgespielt, zeigt das System gleichzeitig passende Textzeilen an. Diese werden für die Dauer einer Aufnahme-Session abgespeichert, sodass der Künstler auch nach dem Musizieren darauf zugreifen kann.

Technisch gesehen werden dabei im Hintergrund rohe Audiodateien in Spektogramme konvertiert, um dann daraus mithilfe von Deep-Learning-Modellen Texte zu erstellen. Hierbei werden zwei unterschiedliche Autoencoder eingesetzt: einer wurde speziell für das Erfassen von Instrumentalmusik trainiert, der andere für das Erstellen von Texten. "Auf diese Weise kann das System auch erkennen, welche Art von Texten gut zu welcher Instrumentalmusik passt", erklärt Vechtomova.
http://lyricjam.ai