Virtual Reality Musik bei cinematischen 360° Videos

Dank der Welt von Virtual Reality (VR) Videos muss man wieder damit beginnen, Dinge zu hinterfragen, die seit Jahrzehnten eigentlich klar sind – wie etwa den Einsatz von Musik.

Das Problem ist nämlich folgendes: Hört man Musik im 360°-Raum, dann müsste man doch auch irgendwo Musiker oder Künstler sehen, oder nicht? Und wenn man sie trotzdem nutzt, soll sie sich auch mit der Blickrichtung mitdrehen oder statisches Stereo sein?

Diese Fragen lassen sich pauschal nicht so einfach beantworten, da sie stark von der Anwendung abhängen. Deswegen möchte ich hier die einzelnen Szenarien diskutieren.

Anmerkung: Dieser Artikel bezieht sich ausschließlich auf zeitlich lineare Videos. Musik bei interaktiven VR-Inhalten ist nochmal ein ganz anderes Thema, dem ich bei Gelegenheit auch mal auf den Grund gehen werde.

Neue Tools um die Audience mit Virtual Reality Brillen zu begeistern

Die Technik hat sich in den letzten Jahren rasant weiterentwickelt, insbesondere im Bereich der Virtual Reality (VR). Diese Entwicklung bringt nicht nur neue Möglichkeiten für Gaming und Streaming, sondern eröffnet auch völlig neue Welten im Bereich der Musikproduktion und des Musikerlebnisses. Mit der Kombination aus fortschrittlicher Technologie und kreativer Anwendung entsteht ein einzigartiges Erlebnis, das sowohl für den klassischen Musikliebhaber als auch für den modernen Technik-Enthusiasten von Interesse ist.

Der richtige Inhalt ist mehr als ein Spiel

Es ist faszinierend zu beobachten, wie VR in Verbindung mit Musik das Wohnzimmer in ein Konzerthaus verwandeln kann, das eine ganz neue Art von Immersion und Interaktion bietet. Dies ist nicht nur eine technische, sondern auch eine kreative Revolution, die die Art und Weise, wie wir Musik erleben, grundlegend verändern könnte.

Es geht nicht nur um neue Musikinstrumente, die quasi aus dem Nichts in solch einem VR-Titel entstehen können. Hier möchte ich eher aus der Richtung vom Film kommend schauen, wie die Songs die Besucher die richtigen Infos über das Erlebnis geben sollen – ob Beethoven bei allem mit einem Headset begeistert wäre? Entscheide es mit deinem Projekt selbst.

Live-Musik in 360°

Der einfachste Fall ist wohl die Videoaufzeichnung einer Live-Performance. In einem Konzerthaus sieht man meist Musiker auf einer Bühne, hier stimmt also der Ton/Bild-Bezug und es ist klar, dass die Musik auch aus Richtung der Musik kommt. Während z.B. Applaus aus Richtung der Zuschauer und vom Publikum kommen würde.
Vorsicht bei Realismus: In Echt würde nämlich der Sound aus den Lautsprechern kommen. Hier würde es aber mehr Sinn machen, den Klang von z.B. der E-Gitarre auch auf die Position des E-Gitarristen zu setzen.

VR360 Musik-Video

Der einfachste Fall ist wohl die Videoaufzeichnung einer Live-Performance. In einem Konzerthaus sieht man meist Musiker auf einer Bühne, hier stimmt also der Ton/Bild-Bezug und es ist klar, dass die Musik auch aus Richtung der Musik kommt. Während z.B. Applaus aus Richtung der Zuschauer und vom Publikum kommen würde. Vorsicht bei Realismus: In Echt würde nämlich der Sound aus den Lautsprechern kommen. Hier würde es aber mehr Sinn machen, den Klang von z.B. der E-Gitarre auch auf die Position des E-Gitarristen zu setzen.

VR360 Musik-Video

Musik-Videos setzen dem Song das Sahnehäubchen auf und erfreuen sich einer unveränderten Beliebtheit. Der Trend geht aber zu 360° Videos – wer hätte es gedacht? Aus persönlicher Erfahrung kann ich sagen: Zurecht! Mit einer VR-Brille auf den Augen und der Musik auf den Ohren, taucht man nochmal wahnsinnig tief in die Musik ein. Es ist ein bisschen so, wie wenn man die Augen schließt und in der Musik versinkt. Doch statt Kopfkino zeigt das Video, wohin die musikalische Reise auch visuell geht.

Hier kann nicht ohne weiteres die Frage beantwortet werden, ob eine statische Stereo-Mischung oder die potentiell immersivere Variante in Richtung Virtual Reality Musik sinnvoller ist.

Stereo-Mix

Es ist naheliegend einfach die Musik-Mischung zu nehmen, die auch im Radio läuft. Für mich einer der wenigen Anwendungen, um bei Virtual Reality Videos komplett auf Spatial Sound zu verzichten. Der Vorteil ist, dass die Musik immer genau so gehört wird, wie es gedacht wird, da es nur genau eine Version gibt, die plattform- und geräteübergreifend funktioniert.

3D Audio Musik

Hierfür muss aus den Spuren der Musik eine extra Leistung erbracht werden, die natürlich die Produktionskosten und den -aufwand erhöht. Ich stelle gerade fest, dass ich hierfür fast einen eigenen Blogeintrag machen müsste, um alle Vor- und Nachteile ausführlich festhalten zu können. Doch am besten bildet man sich ein eigenes Urteil zur Virtual Reality Musik mit folgendem Beispiel:

Great Case: EDEN – drugs (VR Experience)

Für diesen Song wurde der Aufwand betrieben, für alle möglichen VR-Plattformen eine Spatial Audio Mischung zu machen. Heißt auf YouTube mit Ambisonics, auf JauntVR mit Dolby Atmos VR. Aber natürlich gibt es auch den handelsüblichen Stereo-Mix auf YouTube. Am besten einfach mal selber den Vergleich mit Kopfhörern machen, JauntVR auf der GearVR, auf Android mit der YouTube-App oder dem Chrome-Browser auf Desktop.

Ich persönlich finde den räumlichen Eindruck bei der Spatial Mischung toll, da hier die Tondrehung mit dem Bild übereinstimmt und dadurch die Immersion größer ist. Aber auch der Stereo-Mischung kann ich etwas abgewinnen. Sie wirkt für mich direkter am Ohr/im Kopf, so wie man Musik eben aus dem MP3-Player kennt.

Storytelling in Cinematic VR mit Musik

Über dieses Thema kann ebenfalls viel gesagt werden, ich möchte es aber aufs Einfachste herunterbrechen: Der Einsatz von Filmmusik innerhalb eines 360° Videos muss grundlegend hinterfragt werden, da die Musik im seltensten Fall durch sichtbare Schallquellen wiedergespiegelt werden kann (Musiker, Lautsprecher im Bild etc.).

Doch man kann es sich auch einfach machen und Filmmusik so nutzen, wie es bei nicht-VR Videos gemacht wird. Der Zuschauer hat im Kino gelernt, sich durch die Musik emotional leiten zu lassen und denkt sich nicht „Ich höre ein Orchester, wo ist also Hans Zimmer!?“.

Ich persönlich nutze Musik eher sparsam, aber dann, wenn in einer Reihe von Szenen wenig passiert und die Musik die Sinneseindrücke nicht überlädt. Dabei bleibe ich im herkömmlichen Stereo. Ich habe für mich als Komponist entschieden, dass ich nicht möchte, dass der Betrachter einen Einfluss auf die Virtuelle Realität Musik nehmen kann. Hier stecken aber auch Möglichkeiten, den Zuschauer über den O-Ton hinaus zu lenken, etwa mit einzelnen Instrumenten, die in den Raum gelegt werden und sich im Vergleich zum Rest der Musik mitdrehen.

Musik in Surround, ohne Virtual Reality

Eine letzte Unterscheidung möchte ich noch durchführen. Musik in Surround (5.1, Dolby Atmos, Auro 3D etc.) zu mischen, ist schon seit etlichen Jahren gängig. Die Herangehensweisen beim Mixing können aber nicht ohne weiteres auf VR-Inhalte übertragen werden. Der Grund ist folgender: Bei Surround-Mischungen wird von einer fixen Blickrichtung ausgegangen, da der Zuschauer meist in einem Surround-Lautsprecher-Setup sitzt und sich vor ihm der Bildschirm befindet. So ist es z.B. üblich, den Gesang oder die Snare-Drum im Center zu platzieren, somit kommt sie für den Zuhörer „von vorne“.

Würde man diese Mischung aber in 360° übernehmen und über Kopfhörer wiedergeben, hätte das zur Folge, dass bei einer Kopfdrehung nun z.B. der Gesang auf nur einem Ohr wiedergegeben wird, wenn man sich um 90° dreht. Es kann also vereinfacht gesagt werden, dass bei Virtueller Realität Musik einzelne Instrumente weniger extrem auf einer Position platziert werden, da sie durch das Headtracking weitaus schneller herausstechen können.

Fazit Virtuelle Realität Musik

Virtual Reality Music bietet eine spannende und revolutionäre Möglichkeit, Musik auf eine völlig neue Art und Weise zu erleben. Die Kombination von visuellen und auditiven Erlebnissen in einem virtuellen Raum öffnet Türen zu bislang ungeahnten kreativen Möglichkeiten. Trotz der Herausforderungen, die die Technik und die Produktion mit sich bringen, bietet sie ein enormes Potenzial für immersive Erlebnisse, die weit über das hinausgehen, was herkömmliche Audio- oder Videoformate bieten können. Während wir uns noch in den Anfängen dieser neuen Ära befinden, ist es spannend zu sehen, wie Content-Producer, Musiker und Technologen diese Technologie nutzen werden, um das Musikhören in die nächste Dimension zu heben.

Es gibt keine allgemein gültige Antwort. Diese hängt eben stark vom Case ab. Persönlich bevorzuge ich Musik im statischen Stereo, da es die Musikproduktion klassisch hält und weniger Überraschungen bietet. Trotzdem ist hier viel unerforschtes Terrain und ich werde auch selber vermehrt mit dem Thema Virtuelle Realität Musik experimentieren und bin gespannt, wie andere Content-Producer mit dieser neuen Möglichkeit und Technologie arbeiten werden.