Spatial 3D Audio Apps – Apple Airpods Pro, Galaxy Buds Head tracking

Spätestens seit der Etablierung von VR-Brillen als ernstzunehmende Wiedergabegeräte in der Unterhaltungsindustrie hat die Head Tracking Technologie einen großen Anwendungsbereich gefunden.

Dass das Potential von 360° Sound noch lange nicht erschöpft ist, lässt sich an den neuesten Entwicklungen im Spatial Audio Bereich erahnen. Mit der Einführung von Head Tracking – fähigen Kopfhörer bzw. Pods machen die beiden Big Player Apple und Samsung einen gewaltigen Schritt in Richtung der Etablierung von 3D Audio am Konsumenten Markt – heraus vom Nischendasein.

Der Folgende Artikel soll einen Überblick über die aktuell wichtigsten Apps zur Wiedergabe von Spatial Audio über Handheld Devices wie Smartphones und Tablets geben.

Update

• 21/04: M1 MNTR CTRL (Mach1 Spatial) wurde zur Liste der Apps für Apple Airpods Pro und Bose AR ergänzt
• 21/06: Sony WF-1000XM4 True Wireless Kopfhörer für 360 Audio Reality hinzugefügt.
• 21/08: Netflix unterstüzt nun 3D Spatial Audio mit Airpods Pro
• 22/01: Artikel erweitert um Artikel über AR 3D Audio Headphones und dynamic head-trackers
• 23/03: Immersive Audio-Erfahrung „Ammersive“ hinzugefügt. Sowie Portal – Immersive Escapes zu den Headtracking Apps für Airpods

Wenn Kopfhörer das Tracking der VR-Brille ersetzen

Ich finde es zunächst wichtig, die grundsätzliche Funktionsweise dieser Anwendungen darzulegen, nicht nur aus technologischer, sondern aus konzeptueller Sicht. Das soll die ‘falsche‘ Nutzung dieser Technologie vorbeugen und damit auch einhergehende Enttäuschungen.

Außerdem werden aktuell Begrifflichkeiten um die Spatial Audio Technologie wild durcheinander geworfen. Apple spricht von 3D-Audio mit dynamischer Kopferfassung. Samsung von einer 360 Audio Funktion mit smartem Bewegungsmelder. Bose AR sprach sogar von Augmented Audio Reality (ARR).

Doch alle reden letztendlich von einem immersiven, kino ähnlichen Surround-Sound, der die Blickrichtung der Kopfhörer erkennt. Passend zum Thema Filme direkt ein Spoiler: die Hersteller aktivieren die Funktion aktuell fast ausschließlich in Kombination mit Bewegtbild. Dabei gibt es tolle Anwendungen, die auch ohne Bildanteil funktionieren, beispielsweise 3D Podcasts und Hörspiele. Oder immersive 3d Musik mit Dolby Atmos auf die ich später eingehen werde.

Head-Tracking: die dynamische Kopfbewegung

Damit das Head-Tracking in Bezug auf die Bewegungsfreiheit in einer virtuellen Klang-Szenerie funktioniert, braucht es neben den passenden Kopfhörern einen Bezugspunkt. Diesen stellt das Handy oder Tablet dar. Die Kopfhörer wissen also anhand der Position des Abspielgeräts aus welcher Richtung die Sounds kommen sollen.

Head Tracking sorgt dafür, dass der Sound immer aus der richtigen Richtung kommt und die Hörerlebnisse noch realistischer werden. Die Verwendung von 3D Sound und Head Tracking ermöglicht es, den Klang in alle Richtungen zu lenken und so ein räumliches Kinoerlebnis zu schaffen, das seinesgleichen sucht.

Aber Achtung, das bedeutet nicht, dass der Sound nur aus der Richtung des Handys kommt, dieses dient, wie eben erwähnt, nur zur Kalibrierung der Klangszene. So kann sichergestellt werden, dass beispielsweise Klänge die von links kommen sollen auch wirklich von links kommen.

Technik macht Spaß, wenn 3D Sound auch funktioniert

Der entscheidende Aspekt zur Nutzung von besagten Kopfhörern ist die Software, also die Smartphone Apps und das richtige Betriebssystem. Auch wenn für einen statischen, räumlichen 3D Audio Eindruck handelsübliche Kopfhörer reichen. Für Headtracking muss gewährleistet sein, dass die entsprechenden Apps ebenfalls Spatial Audio unterstützen.

Im Usecase sind das größtenteils diverse Streaming-Plattformen. Bei meiner Recherche hatte ich nämlich bei manchen User-Berichten das Gefühl, dass es nicht immer klar ist, dass es hier eine Kompatibilität geben muss.

Damit dem/der treuen LeserIn dieses Blogs solche Diskrepanzen ausbleiben, soll im Folgenden Klarheit über die Hardware- und Software-Komponenten geschaffen werden, damit einem 3D Audio-Erlebnis nichts mehr im Wege steht.

Spatial Audio für Apple vom Appstore

Apple war mit der Einführung der AirPods Pro und der AirPods Max Vorreiter in Sachen Spatial Audio mit Head Tracking für Handheld Devices. Bei Apple werden Surround Sound Formate wie 5.1 und 7.1, sowie Dolby Atmos unterstützt (anders als Auro 3D).

Allerdings heißt das nicht, dass jeder Streaming-Anbieter der Surround Sound oder Atmos anbietet auch kompatibel mit Apple ist. Mit Spatial Audio können Nutzer Musik in einer völlig neuen Dimension erleben und Klänge aus verschiedenen Richtungen wahrnehmen.

Apps, die 3D Audio unterstützen, eröffnen eine Welt voller neuer akustischer Möglichkeiten für Musikliebhaber und Kinofans. Einen kleinen Überblick die AirPods Pro gibt im folgenden Video, interessant wird es ab 0:57:

Hardware und Software Anforderungen für immersive audio

Abgesehen von den Streaming-Services muss auch die Hardware und das Betriebssystem stimmen. In Sachen Hardware benötigt man ein iPhone 7 oder neuer, oder ein iPad. Zudem ist das Betriebssystem iOS 14 bzw. iPadOS 14 erforderlich, doch wie die technischen Anforderungen im Detail aussehen erfährst du hier.

Bewertung der User Experience Apple 3D Audio

Es immer etwas schwierig ist, zu beschreiben, wie Ton klingt. Trotzdem ein kurzes Fazit aus meiner Tonmeister Sicht zu Klangqualität:

• Die dynamische Kopferfassung funktioniert gut und hat eine nicht wahrnehmbare Latenz,. Das trotz Bluetooth.
• Die Usability ist sehr gelungen. Man weiß anhand der Symbole sofort, ob die Funktion aktiviert ist und hat ein kleines Demo. Unterstützt eine App das Headtracking wird auch das visuell verstärkt. Hier muss Samsung nachlegen, doch später mehr.
• Wird 3D-Audio aktiviert, wird die Lautheit etwas erhöht. Außerdem wird der Ton zusätzlich mit einem künstlichen Raum mit noch mehr Hallanteil versetzt. Das mag für den Tonmeister kritisch sein, für den Konsumenten aber gut
• Obwohl die AirPods Pro im Hörkanal sitzen, wirkt der Eindruck der Immersion gelungen. Man hat das Gefühl, der Ton kommt von außerhalb der Ohrhörer. Die sogenannte Externalisierung ist also gut.

Überblick der kompatiblen Apps für AirPods Pro und AirPods Max

360 Audio für Samsung aus dem Google Playstore

Kurz nach den AirPods von Apple schickte Samsung die Galaxy Buds Pro ins Rennen. Diese nutzen Dolby Head Tracking Technologie (TM). Was für Apple Spatial Audio ist, ist für Samsung 360 Audio – zwei Begriffe für das gleiche Konzept.

Dennoch steckt der Teufel im Detail. Aktuell funktioniert das Spatial Audio nämlich automatisch bei jedem Video. Heißt, selbst wenn das Video nur Mono oder Stereo sound enthält, wird der Ton künstlich virtualisiert. Damit hört man den Ton zwar deutlich vom Handy gerichtet.

Aber es ist kein immersiver, einhüllender Ton, wie es die Apple Airpods schaffen. Es werden also nicht die Vorteile von mehrkanaligem Surround – oder 3D Sound genutzt.

Um diese Technologie erst einmal nutzen zu können, muss natürlich Hardware und Software stimmen. 360 Audio funktioniert bei Samsung Galaxy Handys und Tablets mit dem neuesten Betriebssystem One UI 3.1. Wie die 360 Audio Funktion der Galaxy Buds Pro verwendet werden kann, findet sich hier beschrieben.

Das Feature wurde zunächst ausschließlich für die neuen Modelle wie dem Galaxy S21 angekündigt. Doch kurz darauf, wurde das neue Betriebssystem auch für mein S10 ausgerollt und kann nun mitreden.

Youtube, Facebook, LinkedIn und Co.?

Wie erwähnt ermöglichen die Galaxy Buds kein 3D Audio im Sinne einer 360° Beschallung. Der Vorteil dieser Technologie ist wiederum, dass diese Klang-Virtualisierung mit sämtlichen Schallquellen funktioniert. So aktiviert sich die Funktion sobald man etwa auf Facebook, LinkedIn, YouTube, oder wo auch immer Audio- bzw. Videocontent konsumiert.

Ich habe zum Beispiel auf meinem Handy einen Podcast gehört und durch die sozialen Medien gescrollt. Sobald ein Video in meinem Newsfeed auftauchte, wurde das 360 Audio automatisch aktiviert. Dann ist zu hören, wie der Podcast plötzlich von Stereo auf Spatial Audio umschaltet.

Außerdem wurde das Video nun spatialisiert und gleichzeitig abgespielt. So lässt sich gut hören, was die Funktion überhaupt mit Medien macht.

Die Chancen stehen aber gut, dass hier nachgebessert wird. Grundsätzlich haben die Galaxy Buds Pro die nötige Hardware verbaut, wie sie auch die Apple Airpods verwenden. Auch die Plattformen nutzen im Backend meist schon Dolby Atmos oder vergleichbare, mehrkanalige Audioformate. Wir können also gespannt sein.

Apps mit 3D Audio aber ohne Head-Tracking

Zwar liegt der Fokus dieses Artikels beim Head-Tracking, jedoch sollen an dieser Stelle noch ein paar weitere Apps erwähnt werden, die zwar kein Head Tracking unterstützen, aber trotzdem für immersive Hörerlebnisse sorgen können.

Das ist der sanfte Einstieg in das immersive 3D Audio, für alle handelsüblichen Stereo Kopfhörer. Der Ton ist hier nämlich binaural und damit für alle zugänglich.

Headspace

Diese App bietet geführte Meditationen und Achtsamkeitsübungen an. Zusätzlich gibt es Klangwelten mit 3D-Aufnahmen der „schönsten Orte der Welt“. z.B. Bachlauf, Regen, Gebirgsbach, Wälder, Meere und so weiter.

Leider sind die Aufnahmen mit 45-500 Minuten riesige Dateien. So müssen meist erst einmal 800MB heruntergeladen werden, was der Entspannung durchaus im Weg steht.

Synctuition

Ähnlich wie Headspace ist Synctuition eine App zur Entspannung und Meditation. Doch hier wurde nicht nur mit Kunstkopf Aufnahmen für den binauralen Ton gearbeitet. Es wurde auch Musik ergänzt und mit Spatialisierungs-Tools in den Raum gemischt.

So wurde eine gesamte Sound-Experience geschaffen und mit binaural Beats kombiniert, welche ich noch einmal genauer unter die Lupe nehmen werde. Diese Audio Experiences sind mit 25 Minuten und auch einer nicht unerheblichen Ladezeit verbunden. Auch dies könnte man besser machen. Aber da kommen wir noch hin.

Audible Reality

Audible Reality bietet die Möglichkeit Stereo-Musik, beispielsweise über Spotify, in einem anderen räumlichen Kontext wiederzugeben. Die Musik wird in einem virtuellen Raum abgespielt, die in der App als Vibes bezeichnet werden. Das ganze erinnert an den YouTube Hype um 8D Audio. Hier sind ähnliche Klangverfärbungen zu finden wie etwa Bass-Boosted Musik.

Ich finde den Aspekt der Klang Personalisierung super, nur leider leidet hier das Stereo sehr darunter. Es sind phasing-Artefakte zu hören. Hier ist der Ansatz von Sonarworks mit Sound-ID besser

Waves NX

Auch wenn wir das Thema Headtracking gerade abgehakt haben, gibt es einen kleinen Sonderling. Der Audio Software Hersteller hat mit einer eigenen App eine Möglichkeit im Angebot, die sich mit jedem Kopfhörer kombinieren lässt. Man kann also den Hardware Headtracker nicht nur mit dem Computer verbinden. Über Bluetooth ist dieser auf mit dem Smartphone einsatzbereit.

In der App kann man schließlich Musik oder eigenes Audio anhören. Passend zum Nx Virtual Mixing Room, klingt der Stereo Ton nun so, als würde man im Abbey Road Studio 3 sitzen. Leider wurde aber hier nicht der mehrkanalige 5.1 Surround Sound implementiert, wie es beim DAW plugin der Fall ist.

Es gibt sogar eigene Kopfhörer, die den Headtracker im Gerät verbaut haben. Die Audeze Mobius 3D Headphones. Vom Prinzip also genau das, was Apple mit den Airpods Max gemacht hat – nur Jahre später 😉

Artist Connection

Auch hier eine kleine Sonderrolle von Sony 360 Reality Audio. Auch hier ist die Idee, immersive und direkt in den Sound einzutauchen. Genau genommen in Musik, denn hier stehen auch Künstler im Vordergrund.

Dieser produzieren mit den eigenen Tools von Sony 360RA, der Creative Suite, wie sie auch auf TIDAL genutzt wird. Auch hier gibt es eigene Kopfhörer, die das Klangerlebnis weiter verbessern sollen: Die Sony 1000XM2, kabellose Kopfhörer mit Noise Cancelling. Oder die True-Wireless-Kopfhörern Sony WF-1000XM4 In-Ears.

Ammersive

Mit ihrem Potenzial, Stress und Ängste zu reduzieren, die kognitive Leistung zu verbessern und ein Gefühl der Entspannung und Ruhe zu vermitteln, kann eine immersive Klanglandschaft ein wirkungsvolles Instrument sein. Auf der Suche nach ganzheitlicheren Lösungen für die Bewältigung des psychischen Wohlbefindens wird weiter geforscht, um ein tieferes Verständnis dieses Prozesses zu erlangen.

Ammersive ist eine App, mit der sich solche einzigartigen immersiven Klangerlebnisse ganz einfach einbinden lassen. Immersive Klanglandschaften werden mit räumlichem Audio erzeugt, das ein „3D“-Hörerlebnis schafft und dem Nutzer das Gefühl gibt, sich tatsächlich in der dargestellten Umgebung zu befinden.

Allerdings können nicht alle Personen die gleichen Effekte von Klanglandschaften erleben. Es ist wichtig, die individuellen Reaktionen beim Hören zu berücksichtigen und sich selbst die Erlaubnis zu geben, das Hören jederzeit zu beenden, wenn die Klänge unangenehm sind oder eine unerwünschte Reaktion auslösen.

Es lohnt sich, immersive Klanglandschaften zu erforschen, da sie therapeutische Wirkungen haben können, die in vielen Studien beschrieben werden.

Musik-Streaming Dienste

Mittlerweile bieten einige Musik-Streaming Plattformen Musik in Dolby Atmos oder 360 Reality Audio an. Hier sei auf diesen Blogeintrag verwiesen.

Unternehmen werben auch vermehrt für den Einsatz im Auto für Lautsprecher. Außerdem ist das Spiel, also Gaming immer beliebter für das 3D Klangerlebnis.

Problem ist aber bei einem Lautsprechersystem, dass man an seiner Seite eben mehrere Lautsprecher braucht. Da spricht von 5.1, 7.1, also viele Kanäle zunächst auf der Horizontalen Achse. Darüber hinaus gibt es aber eine Ebenen der Lokalisation für die Hörer von oben und unten. Für einen Film ist es nicht unbedingt der riesige Unterschied, aber bei einem Spiel kann die Bereitstellung von mehreren Lautsprechern zu einem großen Teil zum Realismus beitragen.

Virtual Reality benötigt keine Lautsprecher, sondern das entsprechende Audioformat berechnet das Klangbild auf ein andere Art und Weise. Beim Wiedergabesystem für die Ohren werden in der Praxis Game-Engines genutzt, die unabhängig von der Anzahl der Audiokanäle ist.

Rekapitulation und Action!

Wie man sieht gibt es mittlerweile wirklich viele Möglichkeiten Spatial Audio Inhalte zu genießen. Glücklicherweise erkennen die meisten ohnehin sehr populären Streaming-Dienste das Potential von immersiven Hörerlebnissen.

Es bleibt zu hoffen, dass die Head Tracking kompatiblen Kopfhörer auf Anklang stoßen. Denn in Kombination mit dem Streaming-Hype könnte das die bisher größte Chance für 3D Audio sein endlich die berechtigte Anerkennung am Markt zu finden!

Die richtige Technologie braucht aber auch die richtigen Inhalte. Egal ob Apple Airpods-Pro oder Samsung Galaxy-Buds-Pro. Bisher wird oft schon bestehendes Material in entsprechende räumliche Audioformate “umgewandelt”, bzw. Upmixing betrieben.

Das wahre Potential von Spatial Audio liegt aber darin, Inhalte speziell zu erstellen, um mit Kreativität das beste aus der Technologie zu holen. Und genau das ist meine Aufgabe hier bei VRTonung, wenn du darüber mehr erfahren willst oder sogar schon konkrete Ideen im Kopf hast, zögere nicht Kontakt aufzunehmen!