360 Musik Video – Warum das 3D Audio Potential nie ausgereizt wurde?

Immer wieder wurde in der Vergangenheit versucht, mit 360 Musik Video die Sparte der Musikvideos neu zu beleben. Auch wenn der erste Hype um nicht mehr in unseren alltäglichen Köpfen ist, sind 360 Musik Videos alles andere als tot. Es wurde nur leider extrem selten das Potential voll ausgeschöpft. Jedoch bieten VR Brillen und Social Media Plattformen die Möglichkeit des Rundumblicks, was sowohl visuell als auch auditiv einen wirklichen Mehrwert liefern kann.

Und als wäre das noch nicht genug, nutzen die wenigsten 360 Musik Videos Spatial Audio – eine verpasste Chance, wenn man mich fragt. Klar ist es naheliegend einfach den Ton als Stereo zu belassen. Doch Youtube, Facebook, Oculus und Co unterstützen den Raumklang in Form von Ambisonics und Dolby Atmos ja nicht zum Spaß.

In diesem Artikel soll es also weniger um VR Konzerte gehen, dazu gibt es hier bereits einen ausführlichen Artikel: Es ist aber gar nicht so einfach hier eine Trennung zu ziehen, weil in vielen Musikvideos gerne auch eine Band etwa live performt. Wir wollen uns hier aber auf die Kategorie VR360 beschränken, also lineare Videos, ohne uns in den Diskussionen über das Metaverse zu verlieren.

Also: Welche Musikvideos nutzen die Möglichkeiten von 360°-Videos richtig? Was gibt es für Beispiele für Videos, denen Spatial Audio wirklich einen Mehrwert gebracht hätte? Und was macht ein gutes 360 Musik Video wirklich aus? Diesen Fragen gehe ich in diesem Beitrag nach.

Wie kann das 360° Musik Video geschaut werden?

Zunächst ist es wichtig zu differenzieren, wie 360°-Videos überhaupt geschaut werden. Ob diese nämlich im Browser mit Maus und Tastatur, auf einem Mobiltelefon oder auf einer VR-Brille geschaut werden, ist ein meilenweiter Unterschied. Es ist ein bisschen so, als würde man einen Film mit Popcorn im Kino schauen und damit vergleichen, wie gut viel Spaß dieser auf dem Handy im Zug funktioniert.

YouTubeVR stellt dazu eine schöne Übersicht in vier Kategorien: VR.YouTube Für mich sind es aber nur drei, weil eine VR-Brille dem Erlebnis einer Cardboard sehr nahe kommt. Zumindest in den Punkten die mir hier wichtig sind. Also wollen wir mal:

Das volle Programm mit VR Brille

Doch auch die User Experience spielt eine Rolle: Denn bei einer VR-Brille dreht man wirklich physisch sein Kopf. Damit funktioniert auch die Rotation vom dynamischen Headtracking des Tones für unser Gehirn besser.

Auf einer VR-Brille erfährt man die volle intendierte Wirkung des 360°-Videos. Es geschieht Immersion, wie gern das vollständige eintauchen in eine digitalie Realität bezeichnet wird. Man kann sich intuitiv umdrehen und das Bild und Audio bewegt sich mit. Auf einem stationären Device sieht das anders aus – die Bewegung muss aktiv vom Zuschauer veranlasst werden. Vielleicht wird das Video auch komplett ohne Bewegung geschaut.

Der Vollständigkeit halber sollten an dieser Stelle die günstigen Cardboards erwähnt werden. Diese sind in der VR-Szene nicht gerade beliebt, weil gerne eine „atmeberaubende Immersion“ versprochen wird. Doch das Tracking eines Smartphones, das man in eine Papphalterung steckt ist einfach nicht so gut wie das eines HMD (head mounted displays). Außerdem ist der Field of View (FoV) wesentlich geringer und das VR-Erlebnis wird durch schwarze Ränder an den beiden Seiten sprichwörtlich eingeschränkt.

Social Media am Desktop mit der Maus

Wenn aber vor uns ein Computermonitor steht und den Bildausschnitt nur per Mausklick anpassen, bewegen wir unseren Kopf nicht. Der Ton bewegt sich zwar und wir hören das sich der Raumklang je nach Blickrichtung adaptiert. Doch die Lokalisation von Audioquellen ist erst mit einer VR-Brille wirklich gut.

Gaze View auf dem Smartphone

Es gibt noch einen Zwischenschritt: Man kann auch sein Smartphone nutzen und als „Fenster in die VR-Welt“ verwenden. Dabei hält man das Gerät – ein Tablet ist auch möglich – vor sein Gericht und bewegt seinen Körper um Kreis. So kann man sich in der Szene umsehen und erkennt die Inhalte eben auf seinem Display.

Diese Herangehensweise wird aufgrund ihrer Beschaffenheit am liebsten bei AR (Augmented Reality) Anwendungen genutzt. Der Grund ist, dass man bei AR um das Smartphone hinaus ja seinen Raum sieht. Auf dem Smartphone sieht man durch die eingebaute Kamera weiterhin diesen Raum, nur mit AR-Objekten. Die Umgebung wird also erweitert.

Bei 360° Musikvideos kann man also schon erahnen, dass es schwer fallen wird, alles um sein Smartphone herum zu vergessen. Man sieht ja auch, dass man weiterhin in seinem Raum ist und nur auf sein Smart-Device starrt. Daher wäre hier auch mal wieder der Ton so wichtig, weil der die Immersion unterstützt. Man hört, dass man in einer anderen Welt ist und die Augen, welche auf das Display schauen unterstützen diesen Eindruck.

Die Qual der Wahl ist eigentlich keine

All diese Möglichkeiten muss der oder die ProduzentIn eines solchen Videos in die Produktion mit einfließen lassen – und damit auch eine zu starke Fokussierung auf die „hinteren“ Bildteile vermeiden. Genau auf diese kann mit dem Ton aufmerksam gemacht werden. Ich sag ja immer:

„Man kann in VR Sachen übersehen – aber nicht überhören“.

Das trifft auf 360° Musikvideos natürlich genauso zu. Es ist also durchaus möglich etwa zusätzliches Sounddesign zu nutzen und mit seiner Stereo-Musik zu kombinieren. Oder man mischt seinen Song neu in 3D Audio, um noch immersiver den VR-Raum zu bespielen

Doch auch wenn man denkt, man könnte sich für eine der drei Plattformen entscheiden trügt der Schein. Denn einzig der/die KonsumentIn entscheidet, wie sie in Kontakt mit dem 360° Musikvideo kommt. Man kann aber als ProduzentIn sich fragen, ob man für ein Medium besonders gut funktionieren mag. Oder ob man eben für alle ungefähr gleich gut funktionieren möchte. Mit alle Vor- und Nachteilen, die die Technologie mit sich bringt.

Was ist das beste 360° Musikvideo?

Es ist natürlich sehr schwierig hier den imaginären Oscar für die beste Arbeit zu verleihen. Vielmehr soll die Übersicht als Inspiration dienen, welche Werke es schon gibt. Was einem daran gefällt oder nicht, kann der oder die LeserIn für sich bestimmen.

Fakt ist, dass es Parameter gibt, die zeigen wie viel Arbeit und Gedanken in ein VR Musikvideo gesteckt wurden. Die allermeisten Produktionen müssen sich aber meinen Vorwurf gefallen lassen, dass man es einfach mal ausprobiert hat, um innovativ zu sein. Daran ist erstmal nichts verkehrt, ich finde super, wenn mit neuen und immersiven Medien herumexperimentiert wird.

Doch meist hat man erst während der Produktion erst gemerkt, dass für das Storytelling, die Produktion und Postproduktion – also eigentlich alles – andere Gesetze gelten. Die allermeisten Regisseure hat das dann abgeschreckt und es blieb bei dem Erstversuch. Schade, denn ich spreche aus Erfahrung wenn ich sage, dass sich das Dranbleiben lohnt!

Gorillaz – Saturnz Barz (Spirit House) 360

Fangen wir an mit einem 360 Video von den Gorillaz. “Saturn Barz (Spirit House)”. In diesem Video sehen wir, wie die vier Bandmitglieder der virtuellen Band ein altes Haus erforschen. Dabei macht das Video vieles richtig – als ich das Video angesehen habe, konnte ich dem Hauptgeschehen immer folgen und man hatte auch Lust, sich innerhalb des Videos umzudrehen und die Umgebung zu erforschen.

Allerdings gibt es das Video nur mit statischem head-locked-Stereo, und das ist wirklich schade. Viele Szenen, vor allem die, wo die Bandmitglieder reden oder Soundeffekte zu hören sind, hätten von 3D-Audio wirklich stark profitiert!

360 Musikvideo mit 3D Audio

Nun wird es spannender und für den Ton auch entsprechender. Es gibt nämlich ein paar sehr wenige Beispiele, die bereits im 3D Raumklang gearbeitet haben. Einerseits sind das die sogenannten Live-Performances. Man sieht also Künstler und hört auch den Ton aus der entsprechenden Richtung, was total Sinn macht. Anderseits gibt es abstrakte Videos, wo der Sound auch mal ganz frei im VR Raum platziet wurde. Also spätestens jetzt lohnt es sich die VR-Brille oder Kopfhörer auszupacken!

EDEN – drugs (VR Experience)

Ein weiteres tolles Beispiel für ein gelungenes 360 Musik Video stellt das Video “drugs” des irischen Produzenten und Songwriters EDEN dar. Darin entsteht durch Punkte, Linien und Formen eine abstrakte Welt, die allein visuell schon ansprechend ist. Ich bin eh großer Fan von solchen Audio bzw. Musikvisualisierungen. Wenn also das Bild auf die Audio Wellenform reagiert. Manch einer kennt vielleicht noch den iTunes Visualizer oder Winamp.

Der auditive Teil wurde auch in Dolby Atmos VR produziert. Dies ermöglicht theoretisch den Export, also transcodieren nach Ambisonics. Damit hätte es auf YouTube in Ambisonics verfügbar gemacht werden können. Aber nach meiner Erfahrung passiert bei der Umwandlung irgendwas … komisch. Als würden die Transienten kaputt gemacht werden. Daher haben sich hier die Produzenten auf YouTube jedenfalls lieber für das Stereo entschieden.

Allgemein lässt sich sagen, dass Dolby Atmos über Kopfhörer zwar etwas an Qualitätseinbußen mit sich bringt, allerdings bei VR tatsächlich Sinn macht. Man hat damit mehr das Gefühl, Teil der Szenerie zu sein und hat eben nicht diese starke “Im-Kopf”-Lokalisation. Zu dem Thema habe ich auch schon etwas auf vrtonung.de geschrieben – das könnt ihr hier nachlesen: Hier klicken.

Hier wurde meines Erachtens auch untypisch für Dolby Atmos gearbeitet. Bei Dolby Atmos Music etwa wird stark mit dem Center-Kanal gearbeitet. Es wird bei dem Format nämlich davon ausgegangen, dass die ZuhörerInnen immer nach vorne schauen. Also wie im Kino auf eine Leinwand starren.

Doch bei 360° Videos gibt es im klassischen Sinne kein “Vorne”. Daher sind auch hier in der Mischung die Objekte freier im Raum platziert oder ermutigen sogar das umherschauen. Das Head-Tracking ist nämlich bei Dolby Atmos Music weniger erwünscht.

U2 – Song for someone 360 Version

Und last but not least: Es gibt auch noch 360 Musik Performance Videos. Ein nennenswertes Beispiel ist hier von U2 “Song for someone”. In dem Video sehen wir zunächst nur den Gitarristen und das Bild geht nach und nach weiter auf. Dann kommen Cuts von Szenen aus aller Welt hinzu – Musiker:innen, die den selben Song performen. Hin und wieder wechselt das Bild zurück zu Bono und der Band.

Dieses Video profitiert stark vom spatialisierten Sound. Die genaue Lokalisation ermöglicht es dem Zuschauer, die Position der neu hinzukommenden Instrumente zu erahnen bevor man seinen Kopf in die Richtung gedreht hat und den neuen Musiker visuell erkannt hat. Dieses 360 Musikvideo ist für das VR-Zeitalter schon relativ alt. Dennoch ist es immer noch herausragend und ein echtes Pionierbeispiel.

Reeps One: Does Not Exist – VR Beatbox with 3D sound

Ich würde sagen das folgende Video spricht für sich. Stark gemacht vom Bildschnitt, den Locations und natürlich vom Ton. Hier wurden auch direkt Drehorte genommen die für den Ton spannend sind. Der 360 Audio Mix ist eine gute Mischung aus Tönen, die im Studio aufgenommen wurden. Sowie Töne, die klingen als stammen sie vom Ort.

Fazit

Diese Videos und noch viele mehr zeigen, dass das Potential von 360 Musik Videos noch lange nicht ausgeschöpft ist. Gerade durch den Verzicht auf 3D-Audio und somit Fallback auf Stereosound bei solchen Videos, wie beispielsweise auch bei dem Musikvideo “Revolt” der Band Muse gibt es noch einiges an Ausbaumöglichkeiten. 360 Musik Videos sind also ein Spielfeld, das es weiter zu erforschen gilt. Wer dabei Hilfe braucht, kann einfach mal unverbindlich Kontakt mit mir aufnehmen.