VR Sound Design mit 3D audio – Games, Metaverse und mehr!

Dieser Blogbeitrag basiert auf dem Interview, das ich mit Patrick Schappert von GrobiTv zum Thema 3D Audio Anwendungen gegeben habe. Hier ist das Video dazu auf YouTube, das aus dem Livestream entstanden ist:

Ich wollte aber die wichtigsten Punkte nochmal … auf den Punkt bringen:

Was ist 3D Audio im klassischen Sinn?

Wir wollen heute über den interessanten Aspekt zum Thema 3D Sound berichten, der eben mal nicht Film ist.
Oder auch nicht die klassische Musik über mindestens neun Lautsprecher ist wie bei Auro 3D und Dolby Atmos. Sondern wir reden mit jemandem, der sich im wesentlichen darum kümmert, dass das 3D Sound Erlebnis über Kopfhörer rüberkommt.

Richtig. Ich setze mich total dafür ein, dass das Thema 3D Audio auch wirklich voll zur Geltung kommt. Leider fällt da fast immer unter den Tisch, dass man zwar Musik und Film machen kann, aber auch ganz viele andere tolle Sachen. Welche das sind wie es sein kann, dass 3D Audio für alle Kopfhörer funktioniert erfahren wir heute.

Mir geht es darum die Leute da draußen etwas “aufzuklären”. Es geistern gerade die verschiedensten Begriffe wie Raumklang, 3D Sound, Binaural, Spatial Audio durch die Gegend. Es wird viel darüber geredet aber meist nur an den Mainstream gedacht. Klar erreichen Filme und Musik derzeit Milliarden von Menschen. Aber der Mehrwert und das Potential von diesem immersiven Klang liegt woanders. Also bleibt gespannt.

Wie kann 3D Audio in VR genutzt werden?

Die virtuelle Realität hatte am Anfang ein ziemlich schlechtes Image bei mir gehabt. Damals bin ich immer nur von Zombies weggelaufen und das ist ja eigentlich nicht das einzige was VR kann.
Nun kenne ich die Jungs von Magic Horizons die haben beispielsweise das ganze zum Thema Entspannung und Relaxen entwickelt. Dabei legen sie auch sehr viel Wert auf die Akustik, schließlich muss das ganze schon eine Einheit bilden, oder?

Richtig, alle reden immer von Immersion, also dem Eintauchen in virtuelle Welten. Das alles nur mit einer Daten-Brille, welche man sich aufsetzen muss. Wenn jedoch deine Ohren was anderes wahrnehmen als deine Augen erwarten würden, dann sagt das Gehirn: “Moment, hier stimmt etwas nicht”. Deswegen ist es wichtig, dass der Ton das Bild unterstützt. Erst dann kann man wirklich von Immersion sprechen. Ich bin auch voll bei dir, dass VR am Anfang und auch die letzten Jahre immer wieder Probleme hatte.

• Die HMD Devices sind klobig
• die Bildauflösung ist pixelig
• einem wird dann doch irgendwie relativ schnell schlecht
• die Kosten sind dazu nicht gerade günstig

Oculus aka Meta und das Metaverse

Jedoch ist mittlerweile auch wahnsinnig viel passiert. Die Oculus Quest II (Jetzt: Meta Quest) ist mittlerweile auf dem Markt. Leider wird die in Deutschland aus Datenschutzgründen nicht verkauft. Das ist wirklich das erste Gerät welches ich wirklich empfehlen würde. Weil du, sobald du diese aufsetzt, wirklich sofort in VR drinnen bist. Die Einrichtung ist super simpel. Es hat Kameras die deinen Raum immer trackt. Du musst dir nur Marker auf den Boden malen, damit du nicht gegen die Wand läufst und kannst schon loslegen.

VR Inhalte sind doch nur Gaming oder nicht?

Ich weiß noch vor fünf Jahren als ich mir das erstmal eine Brille aufgesetzt habe und dachte: “Super, ich kann jetzt VR erleben und schau mich um… Nur um mich dann zu fragen wo ist alles? Es gab nix! Keine Inhalte!” Du musstest selber Inhalte produzieren oder das was es gab, war nicht so gut produziert, weil das einfach wahnsinnig aufwendig war.

Selbst einfache Games wie auf der PS5 heute gab es damals noch nicht. Weil für A-Level Titel muss ja erst mal wahnsinnig viel Geld in die Hand genommen werden. Aktuell hast ja gar keine große Zielgruppe. Nur für ein paar vermeintliche Nerds, die so eine VR-Brille haben. Mittlerweile sind es zwar ein paar Millionen Nerds. Aber das ist immer noch kein riesiger Markt, würde man behaupten.

Was gibt es für VR Anwendungen in der Industrie?

Deswegen hat sich die letzten Jahre VR eher als Industrie Medium entwickelt. Ich kenne viele, die nutzen das Metaverse Medium zum Onboarding von neuen Mitarbeitern. Statt langweiligen Schulungen gibt es ein immersives Erlebnis. Nehmen wir z.B. eine/n AzubIne, der/die lernen soll, einen Kran zu steuern. Man muss nicht mehr in einen echten Kran gesetzt werden. Sondern die ganze Simulation läuft digital ab. Somit können auch keine gravierenden Fehler mehr gemacht werden, wenn der falsche Hebel getätigt wird. In der Realität kann ein falscher Knopfdruck einen Millionenschaden bedeuten.

Auf einmal sind die Kosten um so ein VR Projekt zu erstellen im Verhältnis zu den potentiellen Schäden gar nicht mehr so hoch. Sei es nicht nur bei leblosen Gebäuden, sondern auch im Medizinbereich wie bei Operationen. Wenn du die OPs in VR üben kannst, so oft und lange du willst. Das ist wesentlich besser, als am lebendem Menschen.

Schon hat man mit einem Medium, das die meisten nur aus der Unterhaltung oder dem Gaming kennen, einen Mehrwert geschaffen. Darum geht es nämlich gerade: Solche Anwendungen zu finden, in denen die virtuelle Realität einen Mehrwert bringt. Zu solchen VR-Training habe ich einen Artikel geschrieben. Mehr Infos wie 3D Audio dort genutzt werden kann, gibt es also hier.

Was sind die VR Hardware Anforderungen?

Okay, dann mal zur Hardware. VR ist wie gesagt eine Brille, die ich mir aufsetze. Was kann Oculus Quest II denn mehr, als die Vorgängermodelle? Wieso Oculus aka Meta und nicht etwa HTC Vive, Pico und Co?

Welche VR-Brille ist für Einsteiger geeignet?

Schauen wir uns die Geräte doch mal kurz an. Die Oculus Quest 2 kann man sich über Amazon Frankreich kaufen und legal in Deutschland nutzen. Sie hat vorne vier Kameras eingebaut. Das heißt, du bist in VR, kannst aber jederzeit auch auf die Kameras umschalten um wieder die Realität zu sehen. Sie warnt einen also, wie weit die Wand noch entfernt ist um nicht dagegen zu laufen. Dann zeichnest du dir so ein virtuellen Marker hin. Das Einrichten machst du innerhalb von 10 Sekunden und dann springt die Brille vom Mixed-Reality Betrieb wieder zurück in VR. Dann kannst du direkt loslegen.

Mittlerweile machen sie jeden Monat ein Update. Jetzt wurde z.B. Hände Tracking aktiviert. Das heißt, du siehst deine Hände in VR. Das heißt langfristig brauchst du nicht mal Controller in jeder Hand um zu navigieren. Hat ein bisschen was magisches, wenn über Nacht die VR-Brille auf einmal dazu gelernt hat. Auch seine Hände auf einmal virtuell zu sehen ist schon verrückt.

Ich möchte aber gar nicht so stark über Pixel, Kabelage und Computer reden. Entscheidend sind weiterhin die Inhalte und Anwendungen. Man kann sich aber in Zukunft auf immer leichtere, besser und günstigere Geräte frauen. Während man früher noch eine Brille für etwa 700€ mit mehreren Kabeln an einen Leistungsstarken PC anschließen musste ab 2000€. Kann man nun bereits besagte all-in-one solution kaufen für gerade etwas über 450€.

Metawas? Metaverse!

Meta (formals Facebook und Oculus) sind da ordentlich am Entwickeln. Wenn man natürlich nicht in dieser Welt drinnen ist, kriegt man das gar nicht mit. Aber mittlerweile geben die Vollgas. Die wollen auch 10.000 Jobs allein in Deutschland für dieses „Metaverse“ schaffen. Gerade steht die Frage im Raum: Wie kann VR noch am Arbeitsplatz genutzt werden?

Vielleicht mit lauter virtuellen Screens die man sich an den Schreibtisch holt. Ein bisschen wie Minority Report.

Wie kann VR für die bessere Kommunikation genutzt werden? Es ist weniger ermüdend als ein Zoom Call.

Einerseits zum Brainstorming, dass du dich mit Leuten triffst in VR und dir 3D Objekte platzieren kannst, wie du es in echt nie könntest. Das Whiteboard hat ausgedient. So hast halt sehr viele Möglichkeiten, aber ehrlich gesagt machen wenige davon auch wirklich Sinn. Wir sind gerade noch so ein bisschen in dieser experimentellen Phase. Okay, jetzt haben wir solche Brillen, aber wie können wir sie auch wirklich kreativ und sinnvoll nutzen.

Man munkelt, dass Apple auch bald auf den Zug aufspringen wird. Daher gibt Meta auch gerade so viel Gas. Um sich einen Vorsprung zu erarbeiten. Im Hintergrund werden viele Manager und Mitarbeiter aufgekauft, Startups gekauft etc. Alle sind auf der Suche nach spannenden Demos für die Technologie. Genau den Ansatz nutze ich auch bei 3D Audio. Die Technik ist toll. Aber was kann man eigentlich wertbringend damit machen?

Apple macht jetzt schon sehr viel im Bereich “Spatial Audio”. Neben den Airpods unterstützen mittlerweile fast alle Geräte wie das iPhone, AppleTV etc. den Raumklang. Diese Technik lässt sich auch für VR adaptieren. Eine Übersicht der unterstützten Hardware und Software gibt es hier.

Wie kann 3D Sound bei VR Gaming gehört werden?

Wir suchen also den Inhalt. Content, wie wir Neu-Deutsch so schön sagen. Schlussendlich heißt es wir haben die Brillen und die Technik ist auch schon ziemlich weit. Aber der private Einsatz ist doch weiterhin sehr orientiert an Unterhaltungsmedien, oder? Obwohl es den meisten Spielern bestimmt gar nicht bewusst ist, dass wir auch hier mittlerweile dreidimensionalen Sound nutzen. Stichwort Dolby Atmos, gibt es bei vielen Games. Oder die Tempest 3D Audio Engine der Playstation 5. Gibt es 3D Sound auch bei bei den VR Brillen?

Du hast recht! Wenn du die Konsumenten erreichen willst, dann machst du es meistens über Games. Der Vorteil für das Hören bei VR ist, dass man keine fixe Blick Position hat. Ich meine, wenn man Gaming am Computer spielt schaut man immer nach vorne. Wenn du aber dabei hörst ob dein Gegner von hinten kommt wäre es schon cool.

Gamer sind mal wieder einen Schritt voraus

Gerade bei Ego-Shootern ist das auch wirklich eine Bereicherung. Wenn du weißt, dass der Gegner von hinten kommt, kannst du besser reagieren. Du hast intuitive eine bessere Überlebenschance und bekommst idealerweise eine besser Punktzahl. Das allein ist eine schöne Anwendung für 3D Audio – ginge es nicht gerade um Killerspiele.

Bei VR hast du aber noch diesen Pluspunkt, dass du diese physische Kopfdrehung hast. Ich bin ein wahnsinniger Fan von dynamischem Head Tracking. Über das Head-Tracked Audio bin ich von VR auf das ganze 3D Audio Thema gekommen. Auf einmal dreht sich der Ton dynamisch mit. Wenn das gut gemischt ist, dann macht es auch wahnsinnig viel Spaß.

Was ist Head-Tracking Audio und wie geht das in VR?

Da hast du dann eben nicht mehr diese Probleme, wie man sie klassisch hat bei Kopfhörer 3D hat. Dass du vorne und hinten – oder oben und unten eigentlich nie unterscheiden kannst. Man sagt auch Front-Back confusion. Sobald du ein bisschen deinen Kopf drehen kannst, hörst du sofort, wo alle Objekte im Raum sind. In Kombination mit dem Visuellen hat es für Games einen krassen Mehrwert. Der Vorteil mit der Kopfdrehung gilt für alle interaktiven Anwendungen im XR Bereich. Also über Games hinaus auch für die Trainings die ich genannt habe.

Wer mehr darüber erfahren will, Head-Tracking gibt es bereits in etlichen Kopfhörern.

Hier ein Beispiel anhand eines 360° Videos. Die Frauenstimme am Anfang ist head-locked. Heißt man nimmt sie als Im-Kopf-Lokalisation war. Sie verändert sich nicht mit der Video Rotation. Ab 0:25 hört man aber den Jungen klar aus einer Richtung kommen. Verändert man den Bildausschnitt mit dem Mauszeige bei YouTube, hört man, wie sich der Raumklang der Stimme anpasst:

Paradebeispiel Beat Saber: Ein Rhythmusspiel

Es ist so Okay, das ist schon sehr nah an der Realität. Aber mit Games hast du dich auch nicht befasst. Sondern du hast einen eigenen Themenbereich gefunden mit dem du dich beschäftigst?

Genauso würde ich es sagen. Games an sich finde ich super, ich bin nur selber kein Gamer. In meiner Jugend habe ich genug gezockt. Heute fehlt mir die Zeit. Bis auf eine Ausnahme, was ich aber noch kurz erwähnen möchte ist “Beat Saber”.

Vielleicht hat man schon mal davon gehört? Da hältst du in deinen zwei Händen jeweils ein Lichtschwert. Es fliegen dann virtuell Blöcke auf dich zu und du musst sie im Takt der Musik mit deinen Schwertern zerschneiden. Das macht so unfassbar viel Spaß! Die Leute setzen die Brille auf und verstehen sofort, wie es funktioniert. VR kann auch sehr intuitiv sein. Hierbei kann man die Technologie einfach vergessen da sonst nichts anderes benötigt wird (z.B. Controller). Dieses Game hat vor kurzem in App Käufen über die 100 Millionen Marke geknackt. Wie man sieht, kann man auch hier mittlerweile ernsthaft Geld damit verdienen. Ich sage gern

”hier hat jemand das Spiel “Guitar Hero” mit “Fruit Ninja” gepaart und in VR gepackt – dabei ist Beat Saber rausgekommen und es ist fantastisch.”

Also, man kann sich schon mit Gaming befassen. Aber das ist nicht meine persönliche Motivation. Weil ich festgestellt habe, dass Ton viel mehr sein kann als Unterhaltung. Ich persönlich bin so angefixt von Erlebnissen, wie etwa im Medizinbereich. Wo ich Leuten mit Ton helfen kann. Sei es dem Patienten die man durch Relax-Erfahrungen führen kann. Oder der Arzt bei einer VR Simulation hören kann, wann er bei der OP z.B. den Knochen durchbohrt hat. Da kann ich persönlich mit dem Sound einen Mehrwert schaffen.

VR Sound Design und Storytelling

Mir kommt dabei die Frage was musst du tun, damit du den Ton bekommst? Musst du dreimal bohren und das mit einem Mikrofon aufnehmen? Oder wie funktioniert der VR Sound?

Das hängt immer total von der Anwendung ab. Ich versuche möglichst viel vor Ort aufzunehmen. Dann klingt alles in sich stimmig, vor allem wenn ich alles mit speziellen Mikrofonen aufnehme. Zum Beispiel im OP-Saal, dann klingen die Töne einfach schon mal nach diesem OP-Saal. Das ist schon mal super glaubwürdig und besser, als wenn du aus einer Sound Library versuchen würdest, irgendwelche Bohrer Sounds rauszuholen.

Ein guter Sounddesigner kann es schon machen, aber dauert meist länger. Der Trick ist vorab eine gute Strategie zu entwerfen und sich Arbeit zu sparen. Da kann ich auch viel Erfahrung zurückgreifen und berate solche Projekte vorab.

VR Sound Effect Library

Was genau heißt Library? – Hast du da eine Datenbank, wo du dann ganz viele Geräusche hast, die du vielleicht raussuchen kannst oder die man sogar kaufen kann? Aber es ist nicht optimal, da die Räumlichkeiten nicht passen?

Genauso ist es. Jeder Ton-Mensch hat sein Audio Archiv. Ein Sammelsurium an irgendwelchen Sounds, die aber nicht unbedingt immer gleich ineinander passen. Deswegen mache ich möglichst viel selber.

VR Storytelling und Emotionen mit Sound

Dann kommt aber auch endlich Storytelling zum Einsatz. Oder gar Emotionen und Story Living wie es genannt wird. Geht es nur um den Bohrer oder muss auch virtuell simuliert werden, wie stressig eine Operation sein kann? Da gibt es einige Faktoren:

• das Piepen des EKG um zu zeigen wie der Herzschlag ist
• das sich immer wieder verändernde Piepen des Herzschlags, das auf die Nutzer Eingaben der UX und UI reagiert
• Geräte, die vielleicht ausfallen und auch zum Piepen anfangen
• Aber mehr als Piepen: AssistentInnen im OP, die auch kommunizieren.

Solche Geräusche können in VR sehr realistisch simuliert werden. Durch cleveren Musikeinsatz und Soundeffekte kann das Erlebnis emotional noch gesteigert werden. So kann getestet und geübt werden, damit ein Arzt in stressigen Situationen nicht aus der Fassung gebracht wird. Worst-Case-Szenarien in VR zu üben ist doch um einiges besser als in echt. Das alles kratzt auch nur an der Oberfläche, daher kann man mir bei Fragen einfach gerne eine Mail schreiben.