The Black Box Experience – AI Music & Emotion

Das methodisch klug aufgestellte Projekt „The Black Box Experience – AI Music & Emotion” von Stephan Baumann gemeinsam mit Iuliia Brishtel, Hubertus Rath und Armin Pommeranz hatte zum Ziel die emotionale Wirkung von KI-generierter Musik im Rahmen einer künstlerischen Installation zu analysieren. Das ArtScience-Projekt setzt auf die gegenseitige Befruchtung von Kunst und Wissenschaft bei den ausführenden Teammitgliedern sowie dem Publikum. ArtScience wird erlebbar, das Mysterium KI greifbar. Ein schwarzer Überseecontainer steht metaphorisch für das schwer erfassbare Phänomen KI und zugleich als Provokation im öffentlichen Raum, im Artspace oder musealen Kontext. Im komplett dunklen Inneren sollte sich ein audiophiles Soundsystem befinden und die Probanden mit Smartband und portablem EEG auf ihre emotionale Reaktion vermessen werden, die beim Hören von KI-generierter Musik entsteht. Die erfassten Daten gingen in einen Datenpool, der seinerseits der Forschung zur Verfügung gestellt und parallel iterativ vom Team zur Projektlaufzeit für das Training eines Deep Learning Emotionsklassifikators verwendet wurde. Die gewonnenen Erkenntnisse lassen sich für künftige GAN/VAE/CAN-Topologien nutzen. Im Interview berichtet Stephan Baumann von der gemeinsamen Arbeit.

Der erste Aufruf des AI+ART LINK MASTERS Programms, sich für potenzielle Stipendien zu bewerben, wurde mir von meinem Forschungsabteilungsleiter am DFKI übergeben. Ich habe mich sehr gefreut, da es in der Vergangenheit schwierig war, Fördermittel an der Schnittstelle von KI und Kunst einzuwerben. Da ich seit langem Musiker und KI-Forscher bin, war ich sehr daran interessiert, in das Antragsverfahren einzusteigen.
Die Hauptantriebskraft hinter dem Projekt war unser Interesse an der emotionalen Wirkung von Musik, einschließlich des Hypes um KI-generierte Musik. Da ich bereits vor zehn Jahren mit biophysikalischen Sensoren zur Messung von Stress und Emotionen gearbeitet habe, lag es auf der Hand, dass es Möglichkeiten geben könnte, Menschen mit emotional interessanter Musik zu konfrontieren und die affektive Reaktion zu messen.
Aus künstlerischer Sicht wollte ich ein „mobiles Labor“ einrichten, eine fertige monolithische Installation, um neue Erfahrungen im Kontext von Bürgerwissenschaft, partizipativer Kunst usw. zu erforschen.
Da die Erklärbarkeit ein schwieriges und gefragtes Thema in der KI-Forschung ist, sollte die Metapher der „Black Box“ den Rahmen für dieses Projekt bilden, und wir wollten Wege finden, wie wir für die Menschen im Alltag Licht in die KI bringen können.

Der Prozess der Teambildung war nicht ganz einfach. In den ersten Speed-Dating-Runden bei LINK Masters konnte ich bereits Kontakte zu Komponisten, KI-Ingenieuren und Musikern knüpfen. Aber sie entschieden sich für ihre eigenen Projekte. Durch Zufall stieß ich auf zwei Doktoranden an unserem Institut, die bereits an Music Retrieval mit KI und an kognitionswissenschaftlichen Fragestellungen mit Unterstützung von biophysikalischen Sensoren arbeiteten. Daher waren Mahta und Iuliia gerne bereit, sich dem Projekt anzuschließen und leisteten einen unglaublich wertvollen konkreten Beitrag. Mahta kodierte ein tiefes Netzwerk zur Klassifizierung von Emotionen aus Audiomerkmalen. Iuliia erweiterte ihre Routinen zur Erkennung von Emotionen anhand der Rohwerte des EMPATICA-Armbandes, das den Hautleitwert misst. Auf diese Weise hatten wir bereits einen funktionierenden Versuchsaufbau. Außerdem bat ich meinen in Berlin lebenden Freund Beat, sich uns anzuschließen, da er ein ausgezeichneter Videofilmer und Kurator ist. Ich war mir sicher, dass er eine große Hilfe sein würde, um das Projekt auf die geplante öffentliche Ausstellung auszuweiten. Das Deutsche Museum beteiligte sich an einer dreimonatigen Dauerausstellung, und ein anderer Freund versprach, die Auftaktveranstaltungen in seinem beeindruckenden Steinbruch zu unterstützen, der oft für Kunstausstellungen auf dem Land genutzt wird. Unser High-End-Audiosystem von VOID wurde von Michael Turecki ausgewählt und optimiert, der ein bekannter Beschallungsdienstleister für weltbekannte Live-Acts und Veranstaltungen für elektronische Musik in ganz Deutschland ist. Last but not least haben wir PORTRAIT XO kontaktiert. Sie ist eine in Berlin lebende Künstlerin, die an der Spitze der KI-generierten Musik arbeitet, mehrfach ausgezeichnet wurde und sich sehr intensiv mit dem Thema beschäftigt. Sie freute sich sehr, Teil des Projekts zu sein, um ihre neuesten Kompositionen mit Freiwilligen zu testen.

Es war wichtig, schon in der Planungsphase voll produktiv zu sein! Deshalb haben wir viel Energie darauf verwendet, das gesamte Erlebnis und die entsprechenden Arbeitsabläufe innerhalb von ein paar Monaten fertigzustellen. Wir haben emotionale Musik ausgewählt, die auf Forschungsliteratur und auf dem neuesten Stand der KI-generierten Musik basiert. Wir haben die BLACK BOX EXPERIENCE in einem DFKI-Büro mit mehreren Probanden durchgeführt. Wir haben eine Datenstruktur für die Speicherung und anschließende KI-Verarbeitung eingerichtet. Das EMPATICA-Armband und das VOID-Soundsystem wurden unmittelbar nach Annahme unseres Vorschlags angeschafft. Auf diese Weise verfügten wir über einen Indoor-Aufbau im Institutsbüro, der leicht auf Ausstellungen im Freien oder außerhalb übertragen werden kann, um große Mengen an Nutzerdaten zu sammeln.

Die größte Herausforderung bestand darin, einen Weg zu finden, die Idee, die Auswirkungen, die Überschneidung von Kunst und Wissenschaft zu kommunizieren, warum dieses Projekt ein interessantes Ergebnis haben würde, warum die Erfahrung die Macht hätte, die Denkweise der Menschen zu verändern. Bei einigen Gelegenheiten ist uns das gut gelungen (z. B. Presse- und Medieninteresse in der Anfangsphase), aber am Ende war es leider immer noch zu verschwommen, zu multidimensional, um die Jury für einen Full Grant zu überzeugen.

Am Anfang wollten wir zeigen, dass KI-generierte Musik genauso interessant oder langweilig ist wie konventionelle Musik. Im Laufe des Projekts wurde uns klar, dass viel mehr dahintersteckt. Künstler wie PORTRAIT XO bereits am Anfang ihres Kompositionsprozesses mit unserem Ansatz zu konfrontieren, war viel spannender als die ursprüngliche Absicht.

Wir sehen in unserem Ansatz einen dreifachen Nutzen:
- KI wird verwendet, um Musik zu generieren, und unser Ansatz wird emotionale Kategorien und Merkmale integrieren (basierend auf bestehenden Open-Source-Projekten wie JUKEBOX, die erweitert werden könnten)
- KI wird verwendet, um menschliche affektive Reaktionen in emotionale Kategorien zu „klassifizieren“, und wir lernen, welche tiefen Netzwerke dafür am besten geeignet sind (LSTMs haben sich dabei bewährt)
- KI-Techniken werden allgemein der Öffentlichkeit vorgestellt, um utopische und dystopische Szenarien zu entmystifizieren, da es im Allgemeinen wichtig ist, „KI für das Gute“ zu erforschen, was möglich ist.

Stephan Baumann studierte Informatik an der Technischen Universität Kaiserslautern und ist seit 1992 Mitarbeiter des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI). Er schrieb seine Dissertation über Künstliche Hörsysteme am DFKI und IRCAM / Paris. Parallel zu seiner Forschung am DFKI gründete er 2001 die sonicson GmbH, ein Spin-off für Musik Musikempfehlungsmaschinen, und 2008 die tiqqer GmbH, ein Unternehmen, das sich mit Memetracking und Blog-Überwachung. Er war Gastdozent an der Popakademie Baden-Württemberg für Musikempfehlungssysteme von 2009-2018. Seine aktuellen Forschungsinteressen umfassen AI & Kreativität und Sensorstream Mining. Er war Projektleiter und Senior Researcher in mehreren Projekten, die durch BMBF, BMWI, EU-Förderung und Industriepartner des DFKI finanziert wurden. Er ist aktiver Musiker und Klangkünstler mit einer Vorliebe für modularen Techno und interaktive Installationen.

Iuliia Brishtel hat einen Bachelor of Arts in Social Science und einen Master of Science in Cognitive Science an der Technischen Universit t Kaiserslautern von 2013-2018 erworben. Sie hat Internships an der Osaka University, dem Westpfalzklinikum und der University of Melbourne von 2017-2020 zu den Themen Physiologische Sensorik und Kognitive Workload durchgeführt. Expertise: EDA, EEG Recordings und Evaluation im klinischen- und Forschungsumfeld. Forschung: Ph.D KandidatIn am DFKI zum Thema physiologische und mentale Beobachtung mit non-invasiver Sensorik (Spektralkamera, EDA, HR, Eyetracking) und KI.

Prof. Hubertus Rath studierte in Düsseldorf Ton- und Bildtechnik – nach seinem Abschluss wurde er 1991 wissenschaftlicher Mitarbeiter am Institut für Rundfunktechnik im Forschungsbereich Mehrkanalton für HDTV. 1994 wechselte er als Mischtonmeister in die Tonstudios der Bavaria Film GmbH, und blieb dort bis 2014. Seitdem ist er als freiberuflicher Mischtonmeister tätig.

Expertise: Sound - Sound for Picture
Lehre und Forschung: Tonmischung und Sounddesign – Ton für 360 Projekte – objektbasiertes Audio – Sprachverständlichkeit

Prof. Armin Pommeranz studierte Komposition und Musiktheorie an der Hochschule für Musik „Hans Eisler“ Berlin. 2001 DAAD Stipendiat an der University of Southampton im Fach Musicology.
Komponist von Theater-, Film- und Kammermusik, Lehrbeauftragter an der Berliner Hochschule für Musik. 2008 als Professor für Musiktheorie und Musikgestaltung an die Hochschule für Film und Fernsehen „Konrad Wolf“ (Filmuniversität Babelsberg) berufen.

Expertise: Musiktheorie
Lehre und Forschung: Instrumentation, Gehörbildung, Harmonische Analyse, Formenlehre