Interaktive Musik für immersive XR Games

Wie kann interaktive XR Musik in immersiven Medien genutzt werden?

Diese ByteFM Sendung wird präsentiert von Sophia Fischer. Im Interview:

• Christoph Spinger, VR-Nerds
• Martin Rieger, VRTonung
• Michaela Pňačeková, Symphony of Noice

Interaktive, animierte Musikvideos

In Teil 1 haben wir schon einen kurzen Einblick gegeben, doch fassen wir nochmal kurz die drei Säulen zusammen: Die erste Variante ist also die der animiertem, interaktivem XR Musikvideos. Da gibt es zum Beispiel eines das in der Presse total abgefeiert wurde. Da hat sich einer diesen treibenden Song “Old Friend” von Future Islands genommen, und dazu ein knallbuntes Feuerwerk von Musikvideos geschaffen. Wenn man die Zauberbrille auf hat, kann man einen wahrhaftig absurden Trip erleben. Mit witzigen, tanzenden Figuren in wechselnden Farben mit unter Konfetti beregneten Landschaften. Könnt ihr euch nicht vorstellen? Ist auch schwer zu erklären. Die LA-Times meinte dazu:

„Wenn es jemals einen Inhalt gab, das man erleben musste, um ihn zu verstehen, dann ist es das hier“. Man kann es auch nicht beschreiben, man muss es erleben.

Volumetrische Aufnahmen

Die zweite Version, ist die, in der Musiker vor Greenscreens meinetwegen ihren Song aufnehmen und man selbst mittels dazugehöriger Technik quasi neben ihnen im Musikvideo oder auf der Bühne stehen kann. Sehr eindrucksvoll hat das unter anderem die isländische Künstlerin Björk geschafft. Die Dame, deren Universum vielfach größer ist, als sich nur um Interaktive XR Musik zu drehen. Sie versucht fortwährend mit ihrer Kunst die Grenzen des Möglichen und, auch des technisch Möglichen auszuloten. Sie hat für ihre Single „Notget“ aus ihrem 2015er Album „Volnicura“, ein irres Spektakel geschaffen, in das man eintauchen kann. Dabei kann man in dunkler, surrealer Kulisse Björk dabei zuzuschauen, wie sie oder vielmehr ihr Avatar, sich in wahrlich fabelhafte Wesen verwandelt. Durch elfenhaftes Licht durchströmt, im Wortsinn fantastisch.

360° Musik Videos

Und dann gibt es eben noch die 360 Grad Variante, die man sich so vorstellen muss dass man in einem Setting starr steht, sich aber eben um 360 Grad drehen und was auch immer da gezeigt, wird miterleben kann. Vielleicht etwas weniger spannend weil es eben nicht so aktiv ist, aber für den Sound ist das dennoch schon ziemlich cool. Denn anders als im Reallife, kann man hier mit 360° Sound auch hören, wo du Musiker stehen. In Echt nimmt man die Musik nur von der Bühne war, genaugenommen von den Lautsprechern. Hier gibt es aber die Möglichkeit, die Sänger auch wirklich da zu hören, wo er gerade steht. Dadurch hat die Band und man selber noch eine ganz andere Präsenz in virtuellen Raum.
Das Einzige, was man nicht mehr hören wird, sind zum Beispiel Leute die hinter einem stehen und die ganze Zeit sabbeln. Und wenn man sich jetzt noch überlegt dass man nicht mehr anzustehen braucht, um sicherzugehen, dass man seine HeldenInnen nicht nur in Stecknadel Größe auf der Bühne aus hundert Kilometern Entfernung sieht. Oder völlig ausgelassen tanzen kann und nicht wie eine Sardine eingequetscht im Mopp stehen muss.

Das Abtauchen in die Musik

Das geistige Abschalten funktionierte so vielleicht bei dem einen oder anderen noch besser. Wenn man sich eben nicht nur auditive, sondern sich auch zusätzlich noch visuell aus der Wirklichkeit treiben lassen kann. Und davon abgesehen, ist VR auch keine reine Beobachtungs-Technologie. Mitgestaltung ist ein weiteres, spannendes Feld. Das geht natürlich schon im klassischen Gaming-Bereich. So kann man mittlerweile auch virtuell Schlagzeug spielen kann, wenn man schon eine VR-Brille und zwei Sticks hat. Oder eben auch nur mit seiner Anwesenheit im virtuellen Raum:

Symphony of Noise VR

Damit kann man auch interaktive XR Musik machen, so zum Beispiel beim VR Projekt “Symphony of Noise”, das im vergangenen Jahr auf dem Reeperbahn Festival präsentiert wurde. Was da genau passiert erklärt die Fachfrau lieber mal selbst. Michaela Pnacekova, Creative Director des Projekts, beschreibt das Ganze wie folgt:

“Man taucht in, wir nennen sie, Soundscapes und man entdeckt und co-kreiert Töne. Das heißt, man arbeitet viel mit seinem Körper, mit seinem Atmen, mit seiner Stimme und bewegt sich in dem Raum. Aber man entdeckt natürlich auch Töne, die schon da sind und die man in verschiedenen Spaces sammelt. Dann kombiniert man das alles zusammen und dirigiert.”

Der Mensch wird Musik. Alles wird Musik. Eine immersive Reise. Immersive ist übrigens eine der Lieblings-Vokabeln im VR Bereich und beschreibt einfach nur, wie sehr man die Realität vergisst und in eine neue abtacht.
Man setzte sich also die Brille auf, hörte seinen Herzschlag, Schritte, vielleicht einen Champagnerkorken knallen, Gläser auf den Boden fallen und den Atem. Ich habe es leider nicht persönlich mitgemacht, aber habe gehört, das auch schon behauptet wurde, die Ohren seien danach wie neu gestimmt gewesen. Das kann ich mir schon vorstellen, wenn man mal darauf aufmerksam gemacht wird, dass auch in den Alltags-Geräuschen, die uns stetig umgeben, ein Hauch von interaktiver XR Musik innewohnt.

Fazit interaktive XR Musik

Nun ja, ich ahne da kommt noch einiges, Abgefahrenes es auf uns zu. Wir werden sehen, also im Wortsinn genauer genommen hören. Damit möchte ich diese Ausgabe hier beenden. Ich weise ganz unverfänglich darauf hin, dass man diesen Podcast bei Gefallen oder auch meinetwegen bei Nichtgefallen, abonnieren kann. Die Freude wäre meinerseits gleichsam der euch in der nächsten Ausgabe wieder auf der anderen Seite der Matrix zu wissen. Habt vielen Dank für eure geschätzte Aufmerksamkeit Ich bin Leonie Möhring, macht’s hübsch.