Das nächste Level des Gamings mit 3D Audio

Von Martin Rieger, Immersive Audio Producer, VRTonung und Dominik Zingler, Senior Audio Designer, CryTek

Es besteht kaum ein Zweifel daran, dass gut gestaltetes 3D-Audio das Spielerlebnis erheblich verbessern kann. Die Möglichkeit, Geräusche aus allen Richtungen zu hören, kann zu einem wesentlich intensiveren und spannenderen Spiel beitragen.

Dieser Artikel befasst sich mit dem aktuellen Stand der Technik und der Frage, welches zukünftige Potential sich durch 3D-Audio in Games bieten kann. Es gibt jedoch auch einige Fallstricke – wie immer, es handelt sich schließlich um “Spatial Audio”!

Das dazugehörige wissenschaftliche Paper der ACM Digital Library (Association for Computing Machinery) ist hier zu finden.

Ist 3D-Audio automatisch besser?

Dreidimensionales Audio wird eingesetzt, um den Spielern ein möglichst realistisches Klangerlebnis zu ermöglichen – man befindet sich mitten im Geschehen und vergisst oft sogar, dass man Kopfhörer trägt. Dieses Phänomen wird auch als Externalisierung bezeichnet.

Es ist super, wenn Spieler verstehen, welche Geräusche Teil der Szene sind (z. B. Schritte, die Umgebung usw.). Aber man sollte 3D-Audio nicht nur einsetzen, weil “man kann”. Sondern eben dann, wenn es Sinn macht.

Denn: Wenn es nicht sorgfältig eingesetzt wird, kann 3D-Audio den Spieler sogar ablenken. Für Sprecher, also etwa Erzählstimmen, wird immer noch Mono bevorzugt. Bei Musik, die im Hintergrund läuft ist meist Stereo die bessere Wahl.

Durch das Tragen von Kopfhörern, wird der Klang nicht um einen herum, sondernim Kopf lokalisiert (“In-Kopf-Lokalisierung”). Dort treffen die Schallwellen, die vom linken und rechten Ohrhörer geschickt werden, aufeinander. Wir haben uns daran gewöhnt, Klänge in unserem Kopf wahrzunehmen – mit der Einführung von 3D-Audio zeigt sich nun aber, dass diese Gewohnheit zum Problem werden kann.

Als Faustregel gilt, dass alles, was diegetisch (Teil der Spielszene) ist, 3D sein sollte. Der Rest des Audioinhalts ist damit nicht-diegetisch und sollte somit kein 3D-Audio sein. Der Schlüssel zum Erfolg von immersivem Audio liegt also darin, ein Konzept zu finden, bei welchem der Benutzer sofort versteht, welche Klänge in welchem Zusammenhang stehen.

Hier liegen Unternehmen wie Dolby, Microsoft und DTS im Moment falsch. Sie versuchen, alles in 3D zu machen, wobei meine Devise eher lautet: Die Kombination von Formaten ist der Schlüssel (Mono, Stereo und 3D).

Content ist das Wichtigste

Es hängt wirklich vom jeweiligen Szenario ab, ob 3D-Audio das Spielerlebnis verbessern kann. Bei POV- oder Third-Person-View-Spielen liegen die Vorteile auf der Hand.

Die Spieler bewegen sich durch eine 3D-Umgebung, also sollte auch der Sound dreidimensional sein – klingt plausibel, oder? In einem Ballerspiel könnte man so genau feststellen, von wo aus der Gegner schießt.

Aber nun als Gegenbeispiel mal ein Stragegiespiel: Man selbst ist im Grunde eine Art Gott, und verantwortet z.B. die Entwicklung einer Zivilisation aus der Draufsicht. Hier ist Stereoton völlig in Ordnung und Geräusche von hinten könnten eher verwirrend sein.

Was bringt Head-Tracking bei Games?

Was kommt also als Nächstes? Gamer sind es gewohnt, auf einen Bildschirm vor sich zu starren.

Aber im Alltag macht unser Kopf ständig Mikrobewegungen, die uns helfen, uns in unserer Umgebung – oder beim Betrachten eines Bildschirms – zu orientieren. An dieser Stelle führt Head-Tracking die nächste Evolution des binauralen 3D-Audio ein.

Denn diese kleine Kopf-Bewegungen helfen dabei, Töne, die von vorne kommen, von denen zu unterscheiden, die von hinten kommen. Derzeit ist diese so genannte Front-Back-Confusion (FBC) ein sehr reales Problem bei binauralem Audio. Man kann zwar links und rechts gut unterscheiden. Trotz raffinierter Algorithmen bei binauralem Audio ist der Unterschied vorne / hinten noch recht schwierig.

Gaming Headsets mit 3D Audio

Apple baut bereits räumliche Audiotechnologie und Head-Tracking in seine AirPods ein. Es gibt also bereits Millionen von Geräten auf dem Markt, Zahl steigend. Auch Gaming-Headsets beginnen damit, Gyroskope oder Webcam-Tracker als Add-ons zu implementieren. Also Achtung, viele Gaming Headsets prahlen mit Surround Sound. Aber erst mit dem Hardware Feature Head-Tracking klingt Ton wirklich räumlich. Sonst kann die Magie auch einfach software-seitig passieren.

Das dynamische Head-Tracking sorgt aber nicht nur für ein natürlicheres Klangerlebnis, sondern kann auch für Gesten genutzt werden. Nicken oder Kopfschütteln sind gängige Kommunikationsformen in unserem Alltag, aber auf größeren Bildschirmen können sie auch mitteilen, worauf wir gerade achten.

In Kombination mit der Spracherkennung werden wir bald interaktivere Formen des Spielens haben. Künstliche Intelligenz wird immer cleverer; und mit mehr sensorischen Eingaben, die noch natürlicher auf Benutzereingaben reagieren, wird das Spielerlebnis flüssiger und lebensechter werden.

KI auf dem Vormarsch

In dem Maße, wie sich künstliche Intelligenz und neuronale Netze weiterentwickeln, werden sich auch die Möglichkeiten für Spiele-Audio verändern. Derzeit arbeiten wir mit vorgerenderten Audio-Assets. Aber wie Tools wie Midjourney und Dall-E zeigen, könnte auch das Audio adaptiver und personalisierter sein. Das bedeutet: die Generierung von Soundeffekten und Musik in Echtzeit.

Jeder Benutzer hat eine etwas andere Wahrnehmung und einen etwas anderen Geschmack – mit der Personalisierung kann das Spiel mehr nach den Vorstellungen des Spielers klingen, wodurch es realistischer und glaubwürdiger wird. ChatGPT von Open.ai macht es vor: Chat-Bots können auch unfassbar menschlich wirken.

Mit dieser neuen Infrastruktur wird es bestimmt bald einen neuen Markt für Spiele geben, bei denen der Sound an erster Stelle steht. Diese Spiele könnten rein akustisch sein oder visuelle Hinweise enthalten, bei denen die Ohren den Augen helfen, das nächste Level freizuschalten.

Bei den meisten Spielen ist die Blickrichtung ganz klassisch nach vorn. Mit Head-Tracking kann jedoch der Kopf um mehrere Achsen bewegt werden: Genau diese Bewegung des Körpers machen sich Virtual-Reality-Erlebnisse (VR) bereits zunutze. Was aber vielen dieser virtuellen Welten fehlt, ist echter Realismus.

Die Zukunft von realistischem Audio

Der Drang nach mehr Realismus und – damit verbunden – höherer Wiedergabetreue trieb viele technologische Fortschritte in der Computergrafikindustrie und insbesondere bei Spielen voran. Diese Konzentration auf die Grafiktreue ließ nur wenige Ressourcen für die Forschung und Entwicklung von realistischerem In-Game-Audio übrig.

Da sich die Investitionen in die Grafiktreue immer weniger lohnen, wenden sich immer mehr Studios und Entwickler wieder dem Thema Game-Audio zu, da sie dessen enormes Potenzial zur Verbesserung des Benutzererlebnisses erkannt haben.

Themen wie 3D-Audio-Rendering, realistische Raumsimulationen und Schallausbreitung erhalten immer mehr Aufmerksamkeit, um noch glaubwürdigeres Game Audio in Spielen zu ermöglichen.

Technologie richtig einsetzen

Während einige dieser Technologien eine „Einheitslösung“ sein können, wie z. B. 3D-Audio-Rendering-Techniken, müssen andere, wie z. B. Raumsimulation und Schallausbreitung, im Kern dieser Technologien flexibel sein, damit die Designer sie weiter anpassen können.

Die größte Herausforderung, selbst bei all diesen beeindruckenden neuen Technologien, ist die Anpassung an die kreative Vision eines Spiels. Einer der größten Fehler beim Streben nach einem höheren Grad an Realismus ist, dass eine echte akustische Realität unmöglich und oft nichtmal wünschenswert ist.

Das eigentliche Ziel sollte eine authentische, natürlich wirkende, psychoakustisch fundierte Hörwelt sein, die eine hohe Wiedergabetreue aufweist.

Audiodesigner werden eine simulierte Umgebung immer kreativ an die Bedürfnisse eines Spiels anpassen müssen. Die Schalldämpfung basiert selten auf einer physikalisch korrekten Simulation der Abnahme des Schalldruckpegels und der wahrgenommenen Lautstärke. Vielmehr handelt es sich um eine manuell angepasste Kurve, die auf die Bedürfnisse eines Spiels zugeschnitten ist.

Die Next Generation Audio-Features müssen sorgfältig in den Inhalt eines Spiels integriert werden. Das alles mit einem umfangreichen Toolset, das es den Sounddesignern ermöglicht, ihre kreativen Visionen vollständig umzusetzen.

Echtzeit Raumsimulation

Während die Simulation von Schallhindernissen in Videospielen mit einfachen Ray-Casting-Methoden schon seit Jahren üblich ist, sind anspruchsvollere Methoden zur Schallverdeckung, -absorption, -übertragung und -ausbreitung, die mit Raytracing-Operationen arbeiten, immer noch unüblich.

Dies könnte sowohl an der mangelnden Verfügbarkeit von Softwarelösungen liegen als auch, was wahrscheinlich noch wichtiger ist, an Hardwarebeschränkungen auf Seiten der Verbraucher. Diese Systeme sind in der Regel kostenintensiv, wenn sie richtig implementiert werden sollen (sowohl aus technischer als auch aus gestalterischer Sicht).

Diese Implementierung hatte keinen großen Vorteil gegenüber herkömmlichen Ansätzen, da sie von den meisten Spielern nicht in vollem Umfang (oder überhaupt nicht) genutzt werden konnte, da sie einfach nicht über die erforderliche Hardware-Komponenten verfügten.

Reflektionen, Reflektionen

Jetzt, wo mehr Menschen besseren Zugang zu Hochleistungs-Hardware in Form von Current-Gen-Konsolen oder Cloud-Computing-Vai-Streaming haben, werden diese Technologien immer realisierbarer.

Aber auch in der nahen Zukunft kann selbst die fortschrittlichste Raumsimulationstechnologie noch verbessert werden, z.B. durch die Entwicklung ausgefeilter und optimierter Systeme für Early Reflexions, die alle Vorteile von 3D-Audio nutzen.

Die exakte Positionierung der Early Reflexions erster Ordnung wird eine natürlicher klingende Ausbreitung von Audiowellen in einer simulierten Umgebung ermöglichen.

Unsichtbare Kopfhörer

Aber was ist mit Kopfhörern? Es gibt sowohl Menschen, die gern mit Kopfhörern spielen, als auch jene, die keine Kopfhörer benutzen wollen. Gerade bei längerem Spielen kann das falsche Kopfhörerpaar unangenehm am Kopf oder den Ohren drücken.

Unternehmen wie Audioscenic entwickeln hierfür eine Lösung. Und zwar eine Soundbar, die unter dem Bildschirm steht. Normalerweise würde man hören, dass sie etwas entfernt steht. Hier kommt nun das Beamforming ins Spiel. Klingt schick – und ist es auch!

Eine Webcam verfolgt, wo sich die Ohren des Spielers befinden. Durch eine intelligente Verarbeitung der Audiowellenform wird der Ton direkt in den Gehörgang „gebeamt“. Obwohl der Ton von vorne kommt, hat das Gehirn das Gefühl, dass der Ton auch von links oder sogar aus der Umgebung kommen würde.

Dieses Konzept wird als „unsichtbare Kopfhörer“ bezeichnet und klingt im wahrsten Sinne vielversprechend!

Fazit

Die Spieleindustrie ist immer auf der Suche nach neuen Möglichkeiten, das Spielerlebnis zu verbessern, und 3D-Audio ist eine Möglichkeit, die sehr viel Potential mit sich bringt. Mit der richtigen Kombination von Technologien kann 3D-Audio jedoch nicht nur das Spielerlebnis verbessern, sondern auch neue Möglichkeiten für das Spielen mit Head-Tracking schaffen. Die Computergrafikindustrie bemüht sich schon seit Jahren um Realismus – jetzt ist es an der Zeit, dass die Spiele-Audioindustrie den Weg zu einer noch höheren Realitätsnähe ebnet. Dabei wird 3D-Audio nur der erste Schritt zur Erreichung dieses Ziels sein.

Also worauf warten? Bringen Sie ihr Spiel auf das nächste Level und nehmen Kontakt mit mir auf!