Die große 3D Audio Content Übersicht – inspirierende Demo Inhalte

3D Audio ist mittlerweile bei etlichen im Consumer-Bereich relevanten Medien angekommen. Es ist also die Zeit gekommen den Überblick zu verlieren! Deshalb soll mithilfe folgender Übersicht von wieder etwas Licht ins Dunkel gebracht werden. Außerdem kann man sich dabei gleich etwas Inspiration abholen, weil die Anwendungsgebiete für 3D Audio Inhalte absolut kreativ, vielfältig und noch lange nicht ausgeschöpft sind.

Es ist gar nicht so leicht, hier eine Struktur zu finden, da es viele Überschneidungen gibt. Ich habe mich letztendlich dazu entschieden nach “Abspielmedien” zu unterscheiden. Jedes Medium wird als eigenes Kapitel behandelt, welches wiederum in einzelne Kategorien gegliedert ist. Nach einer kurzen Beschreibung hinsichtlich der genutzten Audio- und Wiedergabeformate, folgen Audiobeispiele oder weiterführende Links. So könnt ihr direkt erleben wovon die Rede ist.

Hörspiele, Sound-Experiences ohne Bildbezug

Audioinhalte, die ohne einen zusätzlichen visuellen Reiz konsumiert werden, können von 3D Audio-Technologien ungemein profitieren. Hierzu gehören z.B. Hörspiele, Soundscapes, Ambient-Aufnahmen, ASMR und natürlich Musik. Letztere wird jedoch noch extra als eigenes Medium betrachtet werden, da die Umsetzung stark von gewollten Wirkung abhängt. 3D-Audio bietet ein beeindruckendes Klangerlebnis, das mit herkömmlichem Stereo-Sound nicht vergleichbar ist.

Doch nicht nur die Immersion wird verstärkt, auch gibt es mehr narrative Möglichkeiten in Sachen Storytelling. Aufgrund der räumlichen Abbildungsmöglichkeiten von Klang, bieten sich durch 3D Audio noch mehr Optionen den/die HörerIn in eine mitreißende Geschichte oder Umgebung einzubinden.

Lineare 3D Sound Hörspiele

Diese Hörspiele sind in der Regel über Kopfhörer zu genießen – also ohne großen Hürde daheim und Unterwegs zu genießen. Daher wird hier binaurales Stereo verwendet, welches entweder mittels binauralen Mikrofonen aufgenommen oder mit entsprechender Software reproduziert werden kann. Binaurale Audioaufnahmen sind für die Wiedergabe über Kopfhörer bestimmt, da es zu keinem Übersprechungseffekt zwischen den Lautsprechern kommen darf. Nur so können die Raumeindrücke akkurat dargestellt werden.

Ein Klassiker der immer gut funktioniert ist der Virtual Barber Shop. Hier kann man sich – achtung Überraschung – in einem virtuellen Barbershop bedienen lassen:

Nicht-lineare 3D Hörspiele

Das Unternehmen Owlfield hat sich beispielsweise auf 3D Hörspiele spezialisiert. Hier werden auch nicht-lineare 3D Hörspiel Inhalte angeboten. Das heißt, man hat als HörerIn durch Entscheidungsmöglichkeiten am Ende jedes Kapitels die Möglichkeit auf die Geschichte Einfluss zu nehmen. Für die Wiedergabe sollten wegen des binauralen Formats ebenfalls Kopfhörer benutzt werden.

Als Beispiel gibt es ein Probekapitel eines solchen interaktiven 3D Hörspiels auf Youtube. Der Interaktions-Aspekt fällt hier jedoch weg. Für die Ungeduldigen: richtig los geht es bei 1:30min.

ASMR

Auch im trendigen ASMR-Bereich werden gerne binaurale Mikrofone verwendet. Hiermit kann das erwünschte Gefühl von Nähe und Sinnlichkeit nämlich besser vermittelt werden. Zwar liegt hier der dreidimensionale Aspekt nicht im Vordergrund, doch die verwendete Audiotechnologie ist in Form von Kunstköpfen fast identisch. Es unterscheidet sich lediglich, wie kreativ mit den 3D-Mikrofonen gearbeitet wird. ASMR Videos findet vor allem auf Social Media große Beliebtheit.

Ambiences

Zur Entspannung erfreuen sich derzeit auch binaurale Ambientaufnahmen großer Beliebtheit (im Beispiel als 8D Audio vermarktet, mehr dazu beim Thema Musik). Unterhaltung ist hier also nicht der Fokus, eher die Berieslung im Hintergrund oder aktive Stressbehandlung. Hier ist etwa eine Regenaufnahme mit über 1,6 Millionen Klicks:

Klanginstallationen

Klanginstallationen kann man natürlich schwer in eine Schublade stecken, wollen aber hier trotzdem kurz erwähnt werden. In Bezug auf 3D Audio handelt es sich hierbei meist um kreis- oder kuppelförmige Lautsprecheranordnungen die einhüllende Erlebnisse schaffen können. Zur technischen Umsetzung bieten sich hier kanalunabhängige Formate wie Ambisonics. an. Aber auch die Spatial-Sound-Wave (Wellenfeldsynthese) ist ein beliebtes Medium.

Da Installationen hier online nicht erlebbar gemacht werden können, verweise ich auf diesen interessanten Artikel über die Ambisonics-Installation “Kaleidoscope of Rooms”. Ebenfalls erwähnenswert ist hier das innsbrucker Audioversum – ein Museum rund um Audio und begehrbarer Klanginstallation

Musik

3D Audio im Musikbereich ist, wie sich wahrscheinlich erahnen lässt, ein umfangreiches Thema. 3D Audio hat den Musikbereich revolutioniert, insbesondere Dolby Atmos Music, vom Musik Streaming Dienst Apple Music, bietet ein beeindruckendes räumliches Klangerlebnis. Dolby Atmos hat die Art und Weise, wie wir Musik erleben, revolutioniert, indem es Surround Sound in die Welt des Streamings gebracht hat. Mit einem Premium Abo können Nutzer vom Streaming Dienst Apple Music die volle Bandbreite von 3D-Audio und Surround Sound genießen. Es wurde vermutlich jede 3D Audiotechnologie schon mal für Musik angewendet. Daher macht es wohl eher Sinn, sich dem Thema im Hinblick auf die Nutzung zu widmen.

Musikstreaming mit 3D Audio

Mittlerweile bieten einige Streaming-Services eigens in 3D Audio gemischte und gemasterte Musik an, für mehr Details klicke hier beim Blogeintrag. Zurzeit kommen die Audioformate AC-4 (Dolby Atmos Music) und MPEG-H (Sony 360 Reality Audio) zum Einsatz bei Musik. Die Musik Wiedergabe dieser objektbasierten Formate kann über Lautsprecher, als auch binauralisiert über Kopfhörer erfolgen. Die Lautsprecherwiedergabe ist aktuell mit Soundbars wie der Sennheiser Ambeo Soundbar oder Smartspeakern wie dem Amazon Echo Studio möglich. Die AirPods Pro / Max mit Spatial Audio sind Apples Antwort auf die steigende Nachfrage nach immersivem Klang in tragbaren Formaten. Mit Spatial Audio können Inhalte auf unterschiedlichen Geräten und Plattformen, einschließlich MacBooks, iPads und iPhones, in bester Qualität wiedergegeben werden. Musikliebhaber schätzen Spatial Audio für die Möglichkeit, Musik in einer vollkommen neuen Dimension zu erleben.

Jene von Euch die über einen Amazon Music HD Account besitzen, können nach der “Best of 3D Audio” – Playlist für entsprechende Hörbeispiele suchen oder im besagten Blogeintrag oben nachlesen.

8D Audio

Nicht zu vernachlässigen ist auch der unter “8D Audio” bekannt gewordene Trend. Dieser ist zwar aus produktionstechnsicher Sicht nichts Besonderes (warum erfährst du hier ), jedoch scheint es angesichts der teils extrem hohen Klickzahlen auf Youtube einen gewissen Nerv getroffen zu haben.

Anbei ein typisches Beispiel für “8D Musik”, hier wird lediglich das Masterfile des Songs mittels einem binauralen Panner um den/die HörerIn bewegt:

Binaurale Kompositionen

Bei 8D Audio wird üblicherweise einfach ein Stereofile binaural um den/die HörerIn bewegt. Dies mag zwar einen netten Effekt haben, bringt dem Song kompositorisch aber keinen Mehrwert. Manche Artists nutzen diese Technologie jedoch zur Bereicherung ihrer Musik. Eigens im binauralen Format komponierte Musik nutzt das verfügbare 3D Klangfeld viel besser aus als 8D Musik. Denn hier können verschiedene Sounds aus unterschiedlichen Richtungen kommen. Das Stichwort lautet „Einhüllung“, damit die Musik nicht – wie sonst über Kopfhörer – im Kopf lokalisiert wird, sondern als würde sie von außen kommen (Externalisierung). Damit vergisst man fast, dass man überhaupt Kopfhörer trägt. Hier ein schönes Beispiel von meinen lieben Kollegen Delta Soundworks.

Natürlich kann 3D Musik nicht nur über Kopfhörer produziert werden. Mit Dolby Atmos etwa, und den bereits erwähnen Streaming-Anbietern wird durch die Audioobjekte die Möglichkeit in der Hinterhand gehalten, diese Werke auch auf etlichen Lautsprechern abzuspielen. Doch dies ist eben Menschen vorbehalten, die eine HiFi-Anlage mit mehrkanaligen Setup besitzen. Doch Smartspeaker und Soundbars werden hier in Zukunft dabei helfen, 3D Mixe zugänglicher auch im Wohnzimmer zu machen.

Stereo-Upmix

Kurz erwähnt sei hier noch der Stereo-Upmix. Das mag zunächst nach Nische klingen, doch vor allem Soundbars und auch Smartspeaker machen von dieser Technologie vermehrt Gebrauch. Hier wird versucht ‘normalen’ Stereo-Inhalten durch komplexes Signalprocessing mehr Räumlichkeit zu verleihen. Die vorhin erwähnte Sennheiser Soundbar als auch der Echo Studio Smartspeaker haben diese Funktion beispielsweise. Ich darf verraten, dass sich mein Masterand diesem Thema gewidmet hat und spannende Entdeckungen machen konnte.

Film, TV und Video

Audiovisuelle Medien sind besonders schwer zu gliedern. Ich habe dieses Kapitel jetzt so genannt, um die meiner Meinung nach wichtigsten Eckpfeiler zu nennen. Auf visueller Ebene beschäftigt sich dieses Kapitel mit linearen 2D-Formaten wie Filmen, denn Videospiele und VR wird noch extra behandelt.

Film: Kino und Streaming

Das Medium Film ist und war immer schon mit dem Thema Immersion verknüpft. Die Nutzung von 3D-Audio in Filmen und Serien auf Streaming-Diensten wie Netflix, Amazon Prime und Disney+ ist auf dem Vormarsch. Diese Plattformen bieten eine breite Auswahl an Inhalten mit räumlichem Klang. Es ist also nicht verwunderlich, dass 3D Audio hier eine große Rolle spielt. Abseits des Kinos ist guter und einhüllender Klang auch im privaten Homekino-Bereich gefragt. 5.1 Surround Sound werden die meisten vermutlich schon mal gehört haben. Bis heute hält sich dieses Wiedergabesystem sowohl in Kinos, als auch im privaten Bereich. Auch zurecht, denn ein gutes Surround System bietet zweifelsohne gute immersive Hörerlebnisse und bringt das Kino Feeling für Filme in die eigenen vier Wände. Was jedoch fehlt sind Richtungsinformationen auf der vertikalen Ebene, also Lautsprecher an der Decke. Hier kommen nun neuere Audioformate wie Dolby Atmos, Auro-3D, oder DTS:X ins Spiel, die Kanalinformationen für Höhenlautsprecher beinhalten für besseren Raumklang. Natürlich sollte hier auch das Film-Streaming erwähnt werden. Netflix bietet neben Stereo Mischungen für manche Filme auch Surround Sound und sogar Dolby Atmos.

Aus Gründen der technischen Umsetzung werden hier binaurale Beispiele gezeigt. Eine Szene aus dem amerikanischen Blockbuster Transformers katapultiert den/die HörerIn dank Dolby Atmos mitten in eine Schießerei. Obwohl das Audio binauralisiert ist, sollte man die Szene nicht unbedingt mit einer tatsächlichen Dolby Atmos Kinoerfahrung gleichsetzen.

Wer aber z.B. einen Netflix Account hat und eine Soundbar oder ein mehrkanaliges Wiedergabesystem besitzt, kann selber einmal stöbern nach Serien und Filmen. Hier gibt es eine Liste der Filme die in bestimmten 3D-Audioformaten gemischt wurden. Man kann unter anderem nach Medium (z.B. Netflix, Blue Ray Disc, etc.) und Format (z.B. Dolby Atmos, DTS:X, etc.) filtern. Netflix hat sich als einer der führenden Streaming-Anbieter für 3D-Audio-Inhalte etabliert, um seinen Nutzern ein immersives Filmerlebnis zu bieten.

TV: Live, Broadcast und Shows

Natürlich gibt es auch im Fernsehen Filme und Serien, jene Unterteilung in TV soll daher den Bereich der Live-Übertragungen betreffen. Hier tut sich nämlich 3D audiotechnisch auch einiges. Neben den schon im Filmbereich genannten Aspekten, werden im Übertragungssektor Interaktionsmöglichkeiten immer mehr zum Thema.
Hier ist das Fraunhofer Institut mit ihrem MPEG-H Format Vorreiter. Neben 3D Audio bietet das objektbasierte Format auch Interaktionsmöglichkeiten für den/die ZuschauerIn. Dadurch ist es beispielsweise möglich einzelne Tonspuren, etwa zur Sprachverständlichkeit, lauter zu drehen oder auch auszuschalten. Theoretisch könnte man mit diesem Format sogar einzelne Spuren als Audio-Objekt im Raum pannen. Man sieht und hört, an den technischen Möglichkeiten scheitert es nicht. Die Herausforderung ist zur Zeit viel mehr, wie man diese Technologie userfreundlich gestaltet und so auf den Markt bringt. Doch auch bedarf es gewissen diplomatischen oder demokratischen Regeln, denn ist es beispielsweise sinnvoll wenn die Zuseher bei Politdiskussionen einzelne Teilnehmer stummschalten können? Südkorea ist in diesem Bereich Vorreiter, dort steht die Technik hinter dem MPEG-H Format bereits zur Verfügung

Folgendes Video gibt einen kleinen Einblick in die Möglichkeiten von MPEG-H. Es wird beispielsweise gezeigt, dass Perspektivenwechsel oder Switches von Stereo auf einen einhüllenden Klang möglich sind für Zuschauer.

Über Next Generation Audio (NGA) kannst du hier mehr erfahren.

Video: Online, Social Media

Auch Online-Videos sind nicht zu vernachlässigen. Hier gibt es ebenfalls ein beachtlichen Angebot an Inhalten wo 3D Audio eine Rolle spielt. Auf Youtube und anderen Social Media Plattformen lassen sich einige Videos mit 3D Audio finden – üblicherweise binaural für Kopfhörer.

Als Beispiel passt hier eines aus eigener Feder ganz gut 😉 : Die Videoreihe mit dem Titel „Sounds of Germany“ stellt mittels visuellen Impressionen und dazu passenden binauralen Klängen einige deutsche Städte vor. In meinem Portfolio findet ihr noch mehr Informationen zu dem Projekt.

Ein großes Thema sind 360 Videos auch auf Social Media, welche wir aber später im Thema Virtual Reality behandeln werden.

Gaming und Interaktives

Ähnlich wie beim Film ist eine Symbiose aus Bild und Ton bei Videospielen extrem wichtig. Denn auch hier gilt es ein möglichst immersives Erlebnis zu schaffen. Games haben hier sogar noch den Vorteil der Interaktion. Deshalb ist es nur logisch, dass auch hier 3D Audio immer wichtiger wird. Die Verwendung von 3D-Audioformaten in VR-Games sorgt für eine noch intensivere Spielerfahrung. 3D-Sound in Spielen wie ‚Half Life: Alyx‘ ermöglicht es den Spielern, Gegner aufgrund des Klangs zu lokalisieren. Bei Ego-Shootern ist es beispielsweise wichtig zu wissen wo die Gegner sind. So kommt Spatial Audio zum Einsatz, um diese lokalisieren durch den Ton zu können, ohne diese sehen zu müssen.
Viele Games spielt man üblicherweise mit einem Headset, also Kopfhörer plus Mikrofon. Das Thema Surround-Headset sei an dieser stelle ausgeklammert. Hier gibt es etliche Produkte, die besonderen Fokus auf den Sound bei Computerspielen legen. Erst heuer haben die Kollegen von Dear Reality ein Plug-In auf den Markt gebracht mit dem man ihr Spatializer Plugin in die Spiele-Engine Unity einbinden kann. Doch auch die meisten anderen gängigen Engines, wie z.B. Unreal Engine, bieten Möglichkeiten Spatial Audio einzubinden und als sogenannte Middleware noch mehr Möglichkeiten den Ton filigran zu gestalten und dadurch auch für bessere Sprachverständlichkeit in den Spielen sorgen.

Eines der Ego-Shooter Spiele das auf binaurales Audio setzt, ist Battlefield V. Beim beigefügten Beispiel erlebt man einen Fallschirmabsprung, ehe man auf dem Schlachtfeld landet. Hier lassen sich beispielsweise die Schüsse der Feinde, wie erwähnt, gut orten.

Weiters bin ich auf ein interessantes Spiel namens “Ear Hockey” gestoßen, welches primär für visuell eingeschränkte oder blinde Personen entwickelt wurde. Das Spielprinzip ist ähnlich dem Spieleklassiker “Pong”, nur dass der Ball auditiv lokalisierbar ist. Das Spiel gibt es hier sogar gratis zum Download.

Zudem bin ich noch auf eine Liste von Spielen die binaurales Audio nutzen gestoßen. Für diejenigen unter euch die dazu noch weiterforschen wollen.

Auch interessant ist dieser Artikel, welcher sich mit dem Einfluss von immersiven Audio in Games, anhand des Spiels Hellblade befasst.

Virtual Reality

Wer hätte es gedacht, doch auch in VR spielt 3D Audio eine Rolle, wie der/die regelmäßige LeserIn hier natürlich weiß 😉 VR ist zurzeit wohl das Medium das den höchsten Grad an Immersion bieten kann. Durch die Nutzung von VR-Brillen kann man wortwörtlich in andere Welten eintauchen die man visuell und auditiv aus allen Richtungen erleben kann.

Zu VR-Experiences zählen VR-Games, 360°-Videos und auch social VR. Die Überschneidungen zu den bereits aufgezählten Anwendungen sind also vorprogrammiert. Der Teufel steckt aber im Detail, da für jede dieser Experiences 3D Audio Grundvoraussetzung sein sollte, da es sonst den Zuschauer eher verwirren, als das Storytelling unterstützen kann.

Das Wiedergabemedium von VR-Erlebnissen sind VR-Brillen, auch HMDs genannt (Head-Mounted Displays). Diese verfügen im Normalfall über Kopfhörer, das heißt spatial Audio wird in Echtzeit binaural dekodiert. Entscheidend für die binaurale Audiowiedergabe in VR ist das Headtracking. Headtracking ist die Erkennung von Kopfbewegungen. Das bedeutet, dass die Kopfbewegungen von der Brille aufgezeichnet werden, sodass sowohl das Bild, als auch der Ton gegenbewegt werden kann.

Aus der Sicht der Audioproduktion können daher keine statischen, also kanalabhängigen, Formate genutzt werden. Deswegen werden kanalunabhängige Formate wie Ambisonics oder objektbasiertes Audio genutzt, die erst bei der Wiedergabe binaural gerendert werden. Bei VR-Experiences wird grundsätzlich zwischen 3 Degrees of Freedom (3DoF) und 6 Degrees of Freedom (6DoF) unterschieden. Letzteres bedeutet, dass man sich innerhalb der virtuellen Umgebung frei bewegen kann. Dabei werden Körper- sowie Kopfbewegungen getrackt. Bei 3DoF hat man ‘nur’ die Möglichkeit in alle Richtungen zu schauen, was erstmal kein Nachteil sein muss.

VR-Games

Diese Videospiele können entweder 3DoF oder 6DoF haben. Die Audioreproduktion erfolgt in jedem Falle, wie oben erwähnt, binauralisiert über Kopfhörer.
Eines der bekanntesten, speziell für VR gemachte, Videospiele der letzten Jahre ist Half Life: Alyx. Hier gibt es einen kurzen Auszug mit binauralem Audio.

360°-Videos

Das sind Videos die man aus allen Richtungen schauen kann. Haben also 3DoF, um es mit einem VR-Terminus auszudrücken. 360°-Videos können mittlerweile auch ohne VR-Brillen angeschaut werden. Die Web-Player von Facebook und Youtube unterstützen dieses Format in Bild und Ton (Ambisonics).
Als Beispiel verweise ich wieder auf ein eigenes Projekt. Hier könnt ihr das Video zum #EUsavesLives 2 Kenia Projekt anschauen.
Für weitere gute VR-Experiences verlinke ich auf meinen Blogeintrag Beste VR Inhalte mit Fokus auf VR-Sound.

Augmented Reality/Extended Reality

AR und XR vermischen Erlebnisse der echten Realität mit virtuellen, die Realität wird also digital erweitert. Diese Erweiterungen können visuell, auditiv oder sogar taktil sein.

Soundwalks

Im 3D-Audiobereich sind in Sachen AR vor allem GPS unterstützte Soundwalks ein Thema. Hier kann der/die HörerIn beispielsweise auf öffentlichen Plätzen lokalisierbare Klänge durch Kopfhörer wahrnehmen die in Wirklichkeit nicht da sind, dies kann z.B. nützlich für Stadttouren sein, etwa um historische Ereignisse auditiv nachzustellen mit Hilfe von 3D Audio. Bei solchen Soundwalks ist es wichtig die Position des/der HörerIn zu kennen, daher dient meist das Smartphone als Tracker über GPS. Das Handy ersetzt also den Headtracker. Über Kopfhörer können dann binaural gerenderte Audioinhalte gehört werden.

Mit der kostenlosen App “INSIDE MPHIL – St. Nikolai” kann man sich auf einer Wiese hinter der Kirche in St. Nikolai ein virtuelles Konzert der Münchner Philharmoniker anhören. Dabei kann man sich einzelnen Instrumenten nähern und so quasi durch das spielende Orchester spazieren. Hier gibt es einen Überblick dazu.

Ein anderes Soundwalk-Konzept kommt aus Wien. Hier wird eine Geschichte von der Vergangenheit bis in die Zukunft rund um den wiener Heldenplatz erzählt durch 3D Audio. Als Zuhörer kann man der Geschichte durch einen Spaziergang wortwörtlich folgen und in 3D Audio nachempfinden. Weitere Infos gibt es hier.

Abschließendes Fazit

Ich hoffe man sieht an Hand dieser Übersicht wie breit gefächert 3D Audio mittlerweile eingesetzt wird. Es gibt hier keine Gewähr auf Vollständigkeit, zumal immer neuer Content durch den Einsatz von neuen Technologien und dadurch neue Medien entstehen. Die Nachfrage nach 3D-Audioinhalten wächst stetig, und immer mehr Künstler und Content-Ersteller nutzen diese Technologie, um ihren Zuschauern und Hörern ein faszinierendes Klangerlebnis zu bieten. Daher soll diese Reihe den gegenwärtigen Stand der Dinge zeigen und für die weitere Entwicklung von 3D Audio neugierig machen. Ich bin mir sicher, dass da noch einiges kommen wird an Technik! Inspiriert worden? Lass es mich gerne wissen!