Apple 3D Audio – Welches Gerät oder App gibt Spatial Surround Effekt?

Seit kurzem ist Apple am Vormarsch Spatial Audio zu etablieren. Mit Apple Music und der Unterstützung von Dolby Atmos ist der Konzern dabei die Vorreiterrolle in Sachen kommerziell verfügbaren 3D Audio Produkten und Applikationen einzunehmen. Auch nimmt dank Apple das Interesse an Spatial Audio zurzeit generell stark zu. Alle tun so, als wüssten sie was es bedeutet. Aber was zum Geier bringt jetzt das jetzt für existierende Apple Hardware und Software?

Mittlerweile ist gefühlt jedes Appleprodukt mit Raumklang Features ausgestattet. Bemerkung am Rande: Während im Englischen die Rede von „Spatial Audio“ ist, wird im Deutschen „3D Audio“ benutzt. Also viele Begriffe für ein und dieselbe Technologie? Nicht ganz, weil zwar mit dem räumlichen Hören gearbeitet wird, aber je nach Anwendungsfall der Ton anders gedacht werden muss.

Daher soll im Folgenden ein Überblick geschaffen werden, was für uns Konsumenten und Content Creator der Mehrwert ist. Damit man sich wieder auskennt wo und wie Apples Spatial Audio zurzeit funktioniert.

Updates

• 22/12: Es gab immer wieder Gerüchte über Apples Einstieg in die virtuelle Realität, die erweiterte Realität – oder das Metaverse, wie manche sagen. Ich bin kein Fan davon, Mutmaßungen zu verbreiten, aber ich habe einen Abschnitt für Insider-News hinzugefügt.
• 23/01: Die zweite Generation des Apple HomePod unterstützt 3D-Audio mit Dolby Atmos für Audio und Video sowohl mit einem Lautsprecher als auch mit zwei HomePods, die zu einem Stereopaar kombiniert werden.
• 23/06: Apple Vision Pro mit VisionOS und dem HMD selbst hinzugefügt. Das VR Headset vom Giganten ist endlich da, erfahre unten mehr über den ersten räumlichen Computer
• 23/06: RealityKit und räumliche Audiofunktionen hinzugefügt.

Was ist Apple 3D Audio eigentlich?

Man könnte Apples 3D Audio Angebot in eine Applikation- und eine Produkt-Komponente gliedern die mehr oder weniger gegenseitig von sich abhängig sind. Sprich, es wird/wurde spezielle Software und Hardware gebaut, manchmal auch in Kombination. Es wird in Zukunft also noch so einiges auf uns zukommen. Etwa mit den Airpods Pro 2, doch was gibt es heute schon?

Apple 3D Audio Apps

Hiermit meine ich all jene Apps die von Apple-Produkten im 3D Audio Kontext unterstützt werden. Allen voran ist wohl die eigene Musikstreaming-Plattform Apple Music zu nennen. Hier wird seit kurzem Dolby Atmos unterstützt, so bietet der Streamingdienst mittlerweile tausende in diesem Format gemischte Songs, neben den 75 Millionen ‘normal’ in Stereo produzierten Titeln. Warum Dolby Atmos Musik allerdings noch nicht ganz überzeugen kann, erfährst du hier.

Natürlich beschränkt sich Apple 3D Audio nicht nur auf Musik. Eine mittlerweile große Auswahl an entsprechendem Content findet man nämlich im Videostreaming-Bereich. Ich würde sogar sagen, dass hier zurzeit die Stärken der Apple-Produkte liegen. Welche Streaming-Apps von Apple unterstützt werden kannst du in diesem Blogpost nachlesen. Hier wird nämlich mit dem sogenannten Headtracking gearbeitet.

So kann man etwa einen Film schauen und es klingt wie im Kino. Man bewegt seinen Kopf und der Ton folgt der Blickrichtung. Bei Musik wurde etwa darauf verzichtet und der Klang bleibt von der Kopfdrehung unberührt. Daraus wird klar: selbst bei identischer Hardware Nutzung, entscheidet der Inhalt, wie bei Apple mit 3D Audio umgegangen wird. Doch welche Geräte nutzen das Apple Headtracking?

Apple 3D Audio Produkte

Darunter fällt demnach Apples Hardware Angebot das Spatial Audio unterstützt. Dieses reicht mittlerweile von Kopfhörern wie den Airpods Pro 2, über Mediaplayer wie dem Apple TV 4K, bis zu Smartspeaker wie dem Homepod. Natürlich fallen auch iPhone und iPad in diese Kategorie.

Die handheld Smart Geräte werden meist in Kombination mit Apples Kopfhöreren genutzt. Doch wirbt Dolby Atmos Music etwa damit, dass auch ohne Kopfhörer der eingebaute Lautsprecher genutzt werden kann. Dass man davon aber nicht zu viel erwarten sollte, ist hoffentlich klar. Handys und Tablets klingen zwar immer besser, aber sind keine Boombox.

Was diese Produkte nun können und wie unterschiedlich sie hinsichtlich 3D Audio zu nutzen sind, kommt sofort.

AirPods Pro / Airpods Max Kopfhörer

Wie schon in einem früheren Blogpost beschrieben, funktionieren Apples Spatial Audio fähige Kopfhörer wirklich gut. Die Headphones gibt es als In-Ear Airpods Pro 2 und Over-Ear AirPods Max Ausführung. Verbunden werden sie kabellos über Bluetooth, zumal das Silicon Valley Unternehmen den guten Alten Stereo Anschluss von iPhone und iPad verbannt hat.

Durch eingebaute Gyroskope und Accelerometer, also Bewegungssensoren, wird Headtracking ermöglicht. Damit werden Klangerlebnisse in der Regel deutlich immersiver wahrgenommen. Die Kopfhörer sind dabei mit dem iPhone oder iPad verbunden und nutzen dieses als Bezugspunkt. Wenn man also den Kopf bewegt, wird das vom Gerät erkannt und das Audio wird zur Kopfrotation gegenbewegt. Somit bleibt die Klangszene subjektiv stabil und dreht sich nicht mit. Es fällt uns dadurch viel leichter in eine Klangszene einzutauchen. Doch ob das überhaupt für jede Art von Content erstrebenswert ist, wird sich wohl erst in Zukunft herausstellen.

Damit man Apple 3D Audio über die Kopfhörer nutzen kann, braucht man natürlich entsprechenden Content. Den findet man mittlerweile recht leicht, denn es wird der Großteil der gängigen Streaminganbieter von Apple unterstützt. Darunter Apple Music, Tidal, Netflix und Hulu, um ein paar zu nennen.

Bezüglich der Audioformate werden 5.1 und 7.1 Surround Sound, sowie Dolby Atmos unterstützt.

Zudem sei noch erwähnt, dass die Kopfhörer eine aktive Noise-Cancelling Funktion haben. Das hat zwar nicht direkt etwas mit Apple 3D Audio zu tun, hilft aber definitiv beim Genuss wenn man sich beispielsweise in einer lärmenden Umgebung befindet.

iPhone / iPad

Im Kontext von Apple 3D Audio dienen die Mobile Devices wie iPhone und iPad als Wiedergabegeräte und im Falle von Headtracking-Applikationen als Bezugsobjekte. Doch nicht alle iPhones und iPads können Apple Spatial Audio wiedergeben. Dies ist mit Geräten ab dem iPhone 7 und den neueren iPads möglich, wichtig ist hier vor allem das Betriebssystem: iOS 14 und neuer unterstützen entsprechende Spatial Audio Apps.

Als spannend könnten sich auch die neuen Lidar-Sensoren herausstellen, die in den neuen Apple-Geräten wie iPhone 12 und iPad Pro verbaut sind. Lidar – kurz für Light Detection and Ranging – wird zur Vermessung von Räumen genutzt und ist demnach sehr interessant für AR-Anwendungen. Und dass Audio für AR wichtig ist, konnten wir schon hier feststellen.

Möglich gemacht wird es mit dem ARkit, dem Augmented Reality Apple Developer. Hiermit kann aus jeder beliebigen Richtung der Szene eine Audioquelle abgespielt werden. Dies funktioniert über die sogenannte SCNaudiosource an die der Ton gehängt wird. Erzeugt man noch den SCNAudioPlayer, so wird der 3d Klang auch hörbar. So einfach geht Apple 3D Audio in AR.

Apple TV 4k

Das Apple TV System funktioniert mittels sogenannter Set-Top-Boxen (STB), also Medienplayer die mit dem Fernsehgerät verbunden sind und Zugang auf diverse Streamingplattformen bzw. Apps haben. Mittlerweile ist man im Hause Apple bei der sechsten Generation dieser STBs angekommen. Seit der vierten Generation arbeiten diese Boxen mit dem eigenen Bertriebssystem tvOS, welches dem Betriebssystem für mobile Geräte iOS sehr ähnlich ist.

Apple TV mit Dolby Atmos Soundsystem

Die Einführung dieses Betriebssystems ermöglichte die Unterstützung von Dolby Atmos. Man benötigt also noch eine kompatible Dolby Atmos Soundanlage. Natürlich müssen auch die Filminhalte in 5.1 oder 7.1 verfügbar sein. Das sind nicht alle, wie im Kleingedruckten steht, aber die Meisten.

Nicht jeder hat aber noch mehrere Lautsprecher oder eine Soundbar neben dem Fernseher stehen. Daher gibt es auch die Möglichkeit Apple TV direkt mit den firmeneigenen Kopfhörern zu koppeln. Hier eine Anleitung.

Update tvOS15

Mit der Einführung von tvOS 15 wird mit kommenden Herbst auch Headtracking unterstützt. Damit können die Airpods Pro 2 und AirPods Max mit der STB verbunden werden. Wie beim iPhone oder iPad fungiert die Box dann als Bezugspunkt, wodurch ein immersives Hörgefühl entstehen soll, das vergessen lässt, dass man Kopfhörer auf hat.

Seit der vierten Generation der Set-Top-Boxen von Apple können also Dolby Atmos-wiedergabefähige Systeme genutzt werden: Von Lautsprecher Set-Ups über Soundbars bis Smartspeaker. Durch die eben erwähnte Einführung des neuen Betriebssystems tvOS 15 wird zusätzlich die Wiedergabe von 3D Audio ohne Lautsprecher ermöglicht – der/die eine NachbarIn wird dankbar sein.

Hinsichtlich des verfügbaren Contents gibt es vor allem im Film und Videobereich schon einiges an Auswahl. Doch auch Apple Music wird hier unterstützt, man hat also auch im musikalischen Bereich einiges zu entdecken. Allerdings sei dahingestellt, ob die Apple Music Unterstützung einen echten Mehrwert bietet, da man beim Musikhören dann mehr oder weniger an die Couch gebunden ist. Naja, jedenfalls schaden tut das Feature aber auch nicht.

Homepod Smartspeaker

Apples Smartspeaker-Flaggshiff ist der Homepod. Ausgestattet mit 7 gerichteten Lautsprechern und einem Woofer kann der Speaker mittels Beamforming ein 360°-Klangerlebnis erzeugen. Klingt nach einer sehr spannenden Technologie. Wer mehr über den 3D Klang bei Soundbars und Smartspeaker erfahren möchte, findet hier die Magie.

Seit dem neusten Apple Music Update, nämlich der schon erwähnten Unterstützung von Dolby Atmos, wird 3D Audio-Wiedergabe auch über die hauseigene Musik-Streamingplattform möglich. Damit man jedoch Audio über den Smartspeaker wiedergeben kann, muss dieser mit einem iPhone, iPad, oder einer Apple TV STB verbunden sein.

Dass der Homepod das neueste Apple Music Update, nämlich Apple Lossless Audio (ALAC), nicht unterstützt verwundert nicht, denn leider wird dieser in Zukunft nicht mehr weitergeführt. Stattdessen will man sich in Zukunft mehr auf den gefragteren Homepod mini konzentrieren.

Die zweite Generation des Apple HomePod unterstützt 3D-Audio mit Dolby Atmos für Audio und Video, wobei sowohl ein Lautsprecher als auch zwei HomePods zu einem Stereopaar kombiniert werden können.

Apple Facetime Chat

Im Zuge des neuen iOS 15 Updates erhält auch der Videotelefonie-Messenger Facetime eine 3D Audio Unterstützung. Damit sollen Video-Meetings zukünftig viel natürlicher und angenehmer werden, Stichwort Zoom Fatigue.

Doch nicht nur Apple setzt auf 3D Audio bei Videocalls, immer mehr Firmen erkennen den Mehrwert dahinter und auch ich habe mich diesem Thema schon gewidmet. Denn es ist trotzdem noch bei weitem nicht das ganze Potential in Sachen 3D Audio ausgeschöpft. Hier erfährst du mehr darüber.

Logic Pro Apple Music

Bald soll Apple’s hauseigene DAW (Digital Audio Workstation) mit Tools für Spatial Audio Mischungen ausgestattet werden. Aktuell unterstützt die Software neben Stereo auch Quadro, 5.1 Surround (ITU 775) bis 7.1 SDDS (Sony Dynamic Digital Sound). Damit wird aktuell eine maximale Kanalzahl von 8 unterstützt.

Vergleichbare Audiosoftware zur Musikproduktion wie ProTools, Nuendo oder Reaper unterstützen jeweils auch Higher Order Ambisonics mit 16 Kanälen. Bei Reaper sind sogar bis zu 64 Kanäle pro Spur möglich. Damit hat Logic Pro also aktuell noch nachholbedarf.

Nun die Preisfrage, was bedeutet das für Apple 3D Audio über das alle reden? Mehr als angekündgit wurde es noch nicht, aber als Audio Engineer können wir hier etwas spekulieren. Denn bereits erwähnte Audio-Programme können das ja bereits. Zieht Apple mit Logic Pro also nach oder führt etwas neues ein?

Spekulation 1: Dolby Atmos Music Schnittstelle

Apple will natürlich die eigene Plattform Apple Music befeuern. Diese wird mit Dolby Atmos Music technisch umgesetzt. Damit ist es naheliegend, dass nun auch Dolby ein spezielles Panning in Logic Pro einzug erhält. Avid Pro Tools Ultimate hat danke der Kooperation eine eigene Objekt Audio Spur erhalten.

Damit lässt sich der Dolby Atmos Renderer ansteuern, welche seperat zu ProTools oder etwa Steinberg Nuendo läuft. Damit werden auch die Kanallimitationen umgangen, die es software seitig gibt. Das eigentliche Spatialisieren übernimmt also die Dolby Software. Die DAW schickt lediglich die Mono-Objekte zum Renderer und dieser kann die Audiomischung als binaurales Audio oder auch mehrkanalig auf Lautsprecher wiedergeben.

Nachdem Dolby Atmos aber meist noch eine sogannente Bett-Spur hat, kann es sein, dass hier Logic Pro nachgerüstet wird. ProTools hat etwa eine 7.1.2 Spur erhalten, welche zu den Audioobjekten ergänzt wird. Sie wird etwa verwendet für räumlichen Hall, Atmos oder mehrkanalige Aufnahmen.

Spekulation 2: Spatializer Plugins

Für mich eher unwahrscheinlich, aber vielleicht bringt Apple auch seine eigenen AU Plugins heraus. Ich bezweifle, dass es für Apple interessant ist, mehrkanalige Spuren zu implementieren, die über 7.1 hinausgehen. Das ist für Nutzer wohl irritierend. Tatsächlich wird auf Apple Music aktuelle ja eh nur Stereo wiedergegeben.

Es könnte also sein, dass Apple damit einen Spatializer herausbringt, der etwa DearVR Micro ähnelt. Hier wird einfach ein Mono-Sound in einen virtuellen 3D Reverb gegeben und direkt binauralisiert. Dadurch wird ein Sound räumlich, wie man es aus 8D Musik kennt.

Weit gedacht wäre es aber nicht, dass alle Mixing Ingenieure dann nur ein Stereo anliefern. Denkbar wäre es, dass beim Export etwa ein ALAC ausgespielt wird, dass die 3D Meta-Daten aus der Logic Pro Session abgreift. So hat man zwar beim Abspielen ein binaurales, 3D Stereo. Doch hätte im Container immer noch die Möglichkeit, mehr Informationen zu erhalten. Gerade, wenn personalisierte HRTF und Headtracking in Zukunft noch ein Thema werden.

Vorsicht mit 3D Musik

Damit will Apple den typischen Bedroom producern auch den Zugang zu 3D Audio ermöglichen. Das finde ich erst einmal super, weil die ganze Arbeit kann ich eh nicht alleine machen. Dennoch ist hier Vorsicht geboten, da viele Techniken, wie man sie aus dem Stereo-Workflow kennt nicht in 3D funktionieren. Das ist einer der Gründe, wieso es bei Apple Music zunächst zu einiger Ernüchterung kam, wie “hier“ zu lesen.

Wie man das vermeiden bei der 3D Audio Technologie aus dem vollen schöpft? Dabei helfe ich gerne!

Apple VisionPro

Es ist noch nicht bekannt, ob es so etwas geben wird, aber entscheiden Sie selbst: https://appleinsider-com.cdn.ampproject.org/c/s/appleinsider.com/articles/22/12/01/apple-ar-vr-operating-system-now-called-xros/amp/

Update: Jetzt wissen wir es, das Apple VisionPro AR/VR-Headset ist da. Lesen Sie alles, was Sie über das Apple VR-Headset wissen müssen. Es beinhaltet Funktionen wie:

• Facetime Spatial Audio, wie oben beschrieben, aber mit zusätzlicher Immersion
• Spatial Audio-Aufnahme mit sechs Mikrofonen
• Audio-Pods, die ein personalisiertes räumliches Audioerlebnis mit Audio-Raytracing ermöglichen
• Unity-Partnerschaft, um alle VR-Apps in den App Store zu bringen und VisionOS Betriebssystem

RealityKit Pro 3D Audio

Entdecken Sie die drei Arten von Audio in RealityKit: Spatial, Ambient und Channel. Werfen wir einen Blick ins Detail:

• RealityKit-Sounds sind standardmäßig räumlich, sodass Audioquellen so klingen, als würden sie tatsächlich in Ihrer Umgebung existieren. Mit der räumlichen Audiokomponente können Sie anpassen, wie Ihre Objekte den Klang in Ihren Raum abgeben. So können Sie sie noch realistischer oder künstlerischer gestalten. Verwenden Sie die Richtwirkung, um Klänge in alle Richtungen auszulassen oder um Klänge in eine bestimmte Richtung zu projizieren.
• Die Ambient-Audiokomponente eignet sich hervorragend für mehrkanalige Dateien, die den Klang einer Umgebung einfangen, ohne dass den Ambient-Spuren zusätzlicher Hall hinzugefügt wird. Jeder Kanal des Ambientes wird aus einer festen Richtung abgespielt, geeignet für 5.1-Aufnahmen oder Ambisonics
• Kanal-Audiokomponente: Sie sendet die Kanäle der Audiodateien direkt zu den Lautsprechern, ohne jegliche Spezialeffekte. Dies ist ideal für Hintergrundmusik, die nicht mit einem visuellen Element verbunden ist. Also auch nicht-diegetische Elemente wie eine Erzählerstimme.

Sie können Audio zu Ihrer Szene in Reality, Composer, Pro hinzufügen und mit ihr über RealityKit interagieren, oder Sie können Audio und Code koppeln. Mehr über 3D Audio Datei Formate erfahren Sie in einem eigenen Artikel.

Fazit

Man sieht, wie für Apple üblich, dass alles irgendwie verbunden bzw. abhängig voneinander ist. Im Falle von Apple 3D Audio wird also erstens ein Host-Gerät wie iPhone, iPad, oder Apple TV STB benötigt: Zum Einen wird hier die Verbindung zu entsprechendem Content in Form von kompatibler Apps wie Apple Music hergestellt, und zum Anderen dienen diese Geräte im Falle der Nutzung von Headtracking-fähigen Kopfhörern als Bezugspunkte für eine akkurate Stabilisierung der Klangszene. Und zweitens werden entsprechende Wiedergabegeräte benötigt, das wären von Apple die Kopfhörer Airpods Pro 2 und AirPods Max , sowie der Homepod Smartspeaker.

Diese Interkonnektivität ist in der Theorie natürlich praktisch, jedoch bedeutet das einerseits, dass man sehr Markenabhängig ist, wobei man das als Apple-UserIn ja schon gewohnt ist, aber andererseits bedeutet das auch, dass mancher Content eben besser und mancher schlechter funktioniert. Doch welcher das ist und wie man sich das zu Nutze machen kann, kann ich dir bei einem unverbindlichen Gespräch näher erklären.